CN102469309B - 影像处理方法 - Google Patents

Abstract

本发明提供一种影像处理方法，用以处理视频串流。视频串流具有多个视频帧以及相对于上述视频帧的多个字幕信息。上述视频帧区分为多个关键帧及多个非关键帧。当以快于一般的播放速度来快进或快退地播放视频串流时，视频解码引擎会寻找离目前播放时间一预定时间间隔内的至少一字幕信息及多个关键帧。视频解码引擎并依据所寻找到的字幕信息的起始显示时间或结束显示时间，择一输出上述预定时间间隔内的关键帧。藉此，以字幕的数据为索引，来搜寻并播放上述视频串流的视频帧。

Description

影像处理方法

技术领域

本发明是有关于一种影像处理方法，且特别是有关于一种以字幕的数据为索引以搜寻所要播放的视频帧的影像处理方法。

背景技术

当播放一个视频时，经常会需要快进/快退播放节目。当前采取的做法是快进/快退中不显示字幕信息，也不播放音频，只有视频图像需要解码。此时视频图像的解码是根据当中某些关键帧(例如I帧)出现的时间点来确定是否跳转，由于关键帧在流中出现的时间是随机的，所以每次跳转的时间间隔并不全部相等。

当快进/快退播放节目时，因节目画面中并不显示字幕，故使用者难以从快进/快退播放的节目画面中掌握清楚的信息。在不显示字幕的情况下，倘若使用者想要以快进/快退播放的方式搜寻节目中特定的画面或片段，则使用者只能从不包含字幕的画面中猜测节目的内容(如演员的对白)，对想快速地搜寻以掌握相关信息的使用者来说，这样的操作方式并不友善。

发明内容

本发明提供一种影像处理方法，其以字幕的数据为索引，搜寻所要播放的视频帧。如此，当使用者快进/快退播放视频时，画面上仍能显示字幕，而使人机介面更为友善、操作更为人性化。

本发明提出一种影像处理方法。上述的影像处理方法包括下述步骤：接收视频串流，视频串流具有多个视频帧以及相对于上述视频帧的多个字幕信息，上述视频帧适以以第一播放速度完整地被播放，上述视频帧包括多个关键帧及多个非关键帧，每一字幕信息包含字串、起始显示时间及结束显示时间；解码上述视频串流，以取得多个视频帧及多个字幕信息；以快于第一播放速度的第二播放速度，沿第二播放速度的播放方向，寻找以目前播放时间起算一预定时间间隔内的多个关键帧及至少一字幕信息；以及依据所取得的至少一字幕信息的起始显示时间或结束显示时间，择一输出其播放时间最接近上述至少一字幕信息的起始显示时间或结束显示时间的关键帧。

在本发明的一实施例中，上述第一播放速度与第二播放速度的播放方向相同，且其中是依据所取得的上述至少一字幕信息的起始显示时间，择一输出其播放时间最接近上述至少一字幕信息的起始显示时间的关键帧。

在本发明的一实施例中，倘若在上述预定时间间隔找到任一字幕信息，则依据预定时间间隔内的字幕信息的起始显示时间，择一输出预定时间间隔内的关键帧，其中被选择输出的关键帧的时间戳(timestamp)所对应的一播放时间最接近预定时间间隔内的字幕信息的起始显示时间。

在本发明的一实施例中，上述的影像处理方法另包括：倘若在预定时间间隔寻找不到任一字幕信息，则择一输出在预定时间间隔内的关键帧。

在本发明的一实施例中，其中倘若在预定时间间隔内被选择的关键帧的时间戳所对应的播放时间并不介于在预定时间间隔内所找到字幕信息的起始显示时间和起始显示时间之间，则判断被选择的关键帧所对应的播放时间与在预定时间间隔内所找到字幕信息的起始显示时间之间的时间间隔是否大于一预设临界值。倘若被选择的关键帧所对应的播放时间与在预定时间间隔内所找到字幕信息的起始显示时间之间的时间间隔大于预设临界值，则输出在预定时间间隔内被选择且未嵌入任一字串的关键帧。倘若被选择的关键帧所对应的播放时间与在预定时间间隔内所找到字幕信息的起始显示时间之间的时间间隔小于预设临界值，则将预定时间间隔内所找到字幕信息的字串嵌入至被选择的关键帧，并输出以嵌入字串的关键帧。

在本发明的一实施例中，上述的第一播放速度与第二播放速度的播放方向相反，且其中是依据所取得的上述至少一字幕信息的结束显示时间，择一输出其播放时间最接近上述至少一字幕信息的结束显示时间的关键帧。

在本发明的一实施例中，倘若在预定时间间隔找到任一字幕信息，则依据预定时间间隔内的字幕信息的结束显示时间，择一输出预定时间间隔内的关键帧，其中被选择输出的关键帧的一时间戳(timestamp)所对应的播放时间最接近预定时间间隔内的字幕信息的结束显示时间。

在本发明的一实施例中，其中倘若在预定时间间隔内被选择的关键帧的时间戳所对应的播放时间并不介于在预定时间间隔内所找到字幕信息的起始显示时间和结束显示时间之间，则判断被选择的关键帧所对应的播放时间与在预定时间间隔内所找到字幕信息的结束显示时间之间的时间间隔是否大于一预设临界值。倘若被选择的关键帧所对应的播放时间与在预定时间间隔内所找到字幕信息的结束显示时间之间的时间间隔大于预设临界值，则输出在预定时间间隔内被选择且未嵌入任一字串的关键帧。倘若被选择的关键帧所对应的播放时间与在预定时间间隔内所找到字幕信息的结束显示时间之间的时间间隔小于预设临界值，则将预定时间间隔内所找到字幕信息的字串嵌入至被选择的关键帧，并输出以嵌入字串的关键帧。

在本发明的一实施例中，上述的影像处理方法另包括：通过一显示器，播放上述择一输出的关键帧。

在本发明的一实施例中，上述的影像处理方法另包括：将所取得的至少一字幕信息的字串嵌入至上述择一输出的关键帧。

在本发明的一实施例中，上述的视频串流为符合MPEG2标准的视频串流，而上述的关键帧为MPEG2标准的I帧。

在本发明的一实施例中，上述的视频串流为符合H.264标准的视频串流，而上述的关键帧为H.264标准的I帧。

本发明的上述实施例，以字幕的数据为索引，来搜寻并播放上述视频串流的视频帧。当以快于一般的播放速度来快进或快退地播放视频串流时，会先寻找离目前播放时间一预定时间间隔内的至少一字幕信息及多个关键帧。之后，再依据所寻找到的字幕信息的起始显示时间或结束显示时间，择一输出上述预定时间间隔内的关键帧。藉此，当快进或快退地播放视频串流时，使观看者仍可观看到字幕。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1为依据本发明一实施例的影像处理方法处理视频串流的视频解码引擎以及耦接于上述视频解码引擎的显示器的功能方块图。

图2为用以说明当图1的视频解码引擎进行快进操作时，视频串流S_In的时序图。

图3为用以说明当图1的视频解码引擎进行快退操作时，视频串流S_In的时序图。

图4为图2中的字幕信息的数据结构示意图。

图5为本发明一实施例的视频帧的数据结构示意图。

图6为本发明一实施例的影像处理方法的流程图。

图7为依据本发明一实施例的影像处理方法处理视频串流的视频解码引擎以及耦接于上述视频解码引擎的显示器的功能方块图。

图8为用以说明当图7的视频解码引擎进行快进操作时，视频串流S_In的时序图。

图9为图7的视频解码引擎进行快进操作时的流程图。

图10为用以说明当图7的视频解码引擎进行快退操作时，视频串流S_In的时序图。

图11为图7的视频解码引擎进行快退操作时的流程图。

附图标号：

100、700：视频解码引擎

110、710：字幕处理单元

120：显示器

210：视频帧

212：时间戳

214：影像数据区

220：字幕信息

222：字串

a、b、c、d、e：关键帧

N：非关键帧

S：关键帧

S_In：视频串流

S610～S640、S910～S990、S1110～S1190：流程步骤

T_S、T_S1、T_S2、T_S3：起始显示时间

T_E、T_E1、T_E2、T_E3：结束显示时间

T_d：预定时间间隔

V1：第一播放速度V1

V2：第二播放速度

具体实施方式

请参考图1和图2，图1为依据本发明一实施例的影像处理方法处理视频串流S_In的视频解码引擎100以及耦接于视频解码引擎100的显示器120的功能方块图，图2为图1中视频串流S_In的时序图。视频解码引擎100依据本发明一实施例的影像处理方法处理视频串流S_In。在本实施例中，视频解码引擎100是一种微处理器。在本发明另一实施例中，视频解码引擎100则是一种软件或是固件，而可由特定的硬件(如：中央处理器)所执行。

视频串流S_In具有多个视频帧210以及在时间轴上相对于上述视频帧210的多个字幕信息220。值得注意地，虽然图2中以上下分离的方式来表示视频串流S_In中的视频帧210及字幕信息220，但实际上，视频帧210及字幕信息220是以编码的方式包含在视频串流S_In，而视频解码引擎100则是在接收到视频串流S_In之后，再解码视频串流S_In以取得其中的视频帧210及字幕信息220。在本发明一实施例中，视频解码引擎100会先读取储存在媒体(如光盘)的档案，以产生上述的视频串流S_In。另外，在本发明一实施例中，视频解码引擎100则会以无线或有线的方式从网络中接收视频串流S_In，其中上述的网络可以是利用WiMAX、WiFi、LTE等技术的网络。

在本发明一实施例中，视频解码引擎100具有字幕处理单元110。视频解码引擎100通过字幕处理单元110，解码视频串流S_In以取得其中的字幕信息220。此外，在本发明另一实施例中，字幕处理单元110则独立于视频解码引擎100，其中视频解码引擎100与视频解码引擎100同时接收视频串流S_In，以分别解码以取得视频帧210及字幕信息220。字幕处理单元110会将所解码的字幕信息220再传送至视频解码引擎100。

上述的多个视频帧210包括多个关键帧S及多个非关键帧N，而关键帧S和非关键帧N是依其播放的时间先后次序绘示于图2上。在以正常速度播放的模式下，视频解码引擎100会依照视频帧210的播放次序输出视频帧210至显示器120，之后显示器120再显示视频帧210所对应的画面。以图2为例，当以上述正常速度播放，越靠近时间轴的左侧的视频帧210会较早从视频解码引擎100输出，而越靠近时间轴的右侧的视频帧210会较晚从视频解码引擎100输出。

视频解码引擎100所解码取得的多个视频帧210适以以第一播放速度V1完整地被播放。举例来说，在本发明一实施例中，第一播放速度V1为每秒播放60个视频帧210(即60视频帧/秒)。又例如在本发明另一个实施例中，第一播放速度V1为每秒播放240个视频帧210(即240视频帧/秒)。值得注意地，上述60视频帧/秒或240视频帧/秒的第一播放速度V1仅为示例性的说明，本发明并不以此为限，本发明所属技术领域的技术人员应能理解第一播放速度V1可以是其他的播放速度。当视频串流S_In以第一播放速度V1时，视频解码引擎100会依照视频帧210的播放次序连续地输出视频帧210。举例来说，倘若第一播放速度V1为60视频帧/秒，且视频解码引擎100在时间点TS1和时间点TS2之间以第一播放速度V1输出视频帧210，则介于时间点TS1和时间点TS2的关键帧S和多个非关键帧N会照着其播放的次序，一一地由视频解码引擎100输出至显示器120。

视频解码引擎100除了以第一播放速度V1正常地输出视频帧210之外，亦可以快进或快退的方式输出视频帧210。当视频解码引擎100以快进或快退的方式输出视频帧210时，视频帧210在显示器120的播放速度在图示中是以第二播放速度V2表示，其中第二播放速度V2快于第一播放速度V1。其中，第一播放速度V1和第二播放速度V2的播放方向，在图示中是以对应的箭头所指向的方向表示。当视频解码引擎100以快进的方式输出视频帧210时，第一播放速度V1与第二播放速度V2的播放方向相同，如图2所示。当视频解码引擎100以快退的方式输出视频帧210时，第一播放速度V1与第二播放速度V2的播放方向相反，如图3所示。

在本实施例中，当视频帧210以第二播放速度V2被播放时，视频解码引擎100只会选择关键帧S，并输出到显示器120。因此，当视频帧210以第二播放速度V2播放时，显示器120只会显示关键帧S所对应的画面，而不显示非关键帧N所对应的画面。在本发明的一实施例中，上述的视频串流S_In为符合MPEG2标准的视频串流，而上述的关键帧S为MPEG2标准的I帧。此外，在本发明的一实施例中，上述的视频串流S_In为符合H.264标准的视频串流，而上述的关键帧S为H.264标准的I帧。

此外，当视频帧210以第二播放速度V2被播放时，视频解码引擎100会依据字幕信息220的起始显示时间(例如T_S1、T_S2、T_S3)或结束显示时间(例如T_E1、T_E2、T_E3)，来选择所要输出的关键帧S。

请参考图4，图4为字幕信息220的数据结构示意图。每一字幕信息220包含字串222、起始显示时间T_S及结束显示时间T_E。字串222通常是有意义的句子或文字，适于嵌入至视频解码引擎100所输出的视频帧210中，以与对应的视频帧210同时显示于显示器120。起始显示时间T_S用以标示字串222开始显示的时间点，而结束显示时间T_E用以标示字串222结束显示的时间点。视频解码引擎100依据字幕信息220的起始显示时间T_S及结束显示时间T_E将对应的字串222嵌入至于时间轴上对应的视频帧210。值得注意地，图4所绘示的字幕信息220的数据结构仅为示例性的说明，本发明所属技术领域的技术人员应能理解字串222、起始显示时间T_S及结束显示时间T_E在字幕信息220中的排列位置可依需要或规格而变更。

请参考图1～图4，在本发明一实施例中，当以快进的方式输出视频帧210时，第一播放速度V1与第二播放速度V2的播放方向相同，而视频解码引擎100会依据字幕信息220的起始显示时间(例如T_S1、T_S2、T_S3)，来选择所要输出的关键帧S。而当以快退的方式输出视频帧210时，第一播放速度V1与第二播放速度V2的播放方向相反，而视频解码引擎100会依据字幕信息220的结束显示时间(例如T_E1、T_E2、T_E3)，来选择所要输出的关键帧S。然而，值得注意地，本发明并不以此为限。举例来说，在本发明另一实施例中，当以快进的方式输出视频帧210时，视频解码引擎100会依据字幕信息220的结束显示时间(例如T_E1、T_E2、T_E3)，来选择所要输出的关键帧S。而当以快退的方式输出视频帧210时，视频解码引擎100会依据字幕信息220的起始显示时间(例如T_S1、T_S2、T_S3)，来选择所要输出的关键帧S。

在此一实施例中，当视频解码引擎100操作于第二播放速度V2时，由于视频解码引擎100只会选择部分的关键帧S，故当以第二播放速度V2进行操作时，视频解码引擎100“选择性地”输出上述的关键帧S，而非输出全部的关键帧S。

在本发明一实施例中，当视频解码引擎100操作于第二播放速度V2时，视频解码引擎100会选择离字幕信息220的起始显示时间或结束显示时间最近的关键帧S。更进一步地说，在本发明一实施例中，当以快进的方式处理并播放视频串流S_In时，视频解码引擎100会依据起始显示时间(例如T_S1、T_S2、T_S3)，选择离字幕信息220的起始显示时间最近的关键帧S；而当以快退的方式处理并播放视频串流S_In时，视频解码引擎100会依据结束显示时间(例如T_E1、T_E2、T_E3)，选择离字幕信息220的结束显示时间最近的关键帧S。

在本发明一实施例中，每一视频帧210具有时间戳(timestamp)，用以标示视频帧210在时间轴上的播放时间。请参考图5，图5为本发明一实施例的视频帧210的数据结构示意图。每一视频帧210具有时间戳212以及影像数据区214。其中，时间戳212用以表示视频帧210所对应的播放时间，而影像数据区214则具有视频帧210相关的画面数据。当视频解码引擎100处理视频串流S_In时，会依据关键帧S的时间戳所对应的播放时间，判断哪一个关键帧S在时间轴上最接近字幕信息220的起始显示时间或结束显示时间，进而选出所要输出的关键帧S。值得注意地，图5所绘示的视频帧210的数据结构仅为示例性的说明，本发明所属技术领域的技术人员应能理解时间戳212以及影像数据区214在视频帧210中的排列位置及编码方式可依需要或规格而变更。

请参考图6，图6为本发明一实施例的影像处理方法的流程图。首先，在步骤S610中，视频解码引擎100会接收视频串流S_In。之后，在步骤S620中，视频解码引擎100会解码视频串流S_In，以取得多个视频帧210及多个字幕信息220。在步骤S630中，视频解码引擎100以快于第一播放速度V1的第二播放速度V2，沿第二播放速度V2的播放方向，寻找以目前播放时间T_P起算一预定时间间隔T_d内的多个关键帧S及至少一字幕信息220。之后，在步骤S640中，视频解码引擎100依据所取得的上述至少一字幕信息220的起始显示时间T_S或结束显示时间T_E，择一输出其播放时间最接近上述至少一字幕信息220的起始显示时间T_S或结束显示时间T_E的关键帧S。在本实施例中，依据字幕信息220的起始显示时间T_S或结束显示时间T_E选择所要输出的关键帧S的方式，可参照前面的说明，在此即不再赘述。

此外，在本发明另一实施例中，视频解码引擎100会依据一预设临界值，判断是否需将步骤S620所取得的字幕信息220的字串222嵌入至所选择输出的关键帧S中。以图2为例，假设目前播放时间为T_P，当视频解码引擎100以第二播放速度V2进行视频的快进操作时，视频解码引擎100会解码以取得其起始显示时间和结束显示时间分别为T_S2和T_E2的字幕信息220。之后，视频解码引擎100选择离起始显示时间T_S2最近且介于目前播放时间T_P与起始显示时间T_S2间的关键帧S为所要输出的关键帧S。在所选择的关键帧S与所解码取得的字幕信息220在时间轴上的播放区段并不重叠的情况下，视频解码引擎100会进一步地判断所要输出的关键帧S的播放时间与起始显示时间T_S2之间的时间间隔是否大于上述的预设临界值。倘若所要输出的关键帧S其播放时间与起始显示时间T_S2之间的时间间隔大于上述的预设临界值，则视频解码引擎100不会将所取得的字幕信息220的字串222嵌入至所选择输出的关键帧S中；相对地，倘若所要输出的关键帧S其播放时间与起始显示时间T_S2之间的时间间隔小于上述的预设临界值，则视频解码引擎100会将所取得的字幕信息220的字串222嵌入至所选择输出的关键帧S中，以使显示器120显示嵌有字串222的关键帧S。

请参考图7和图8，图7为依据本发明一实施例的影像处理方法处理视频串流S_In的视频解码引擎700以及耦接于视频解码引擎700的显示器120的功能方块图，图8为用以说明当视频解码引擎700进行快进操作时，视频串流S_In的时序图。视频解码引擎700依据本发明一实施例的影像处理方法处理视频串流S_In。在本实施例中，视频解码引擎700亦可以是一种微处理器。而在本发明另一实施例中，视频解码引擎700则是一种软件或固件，并可由特定的硬件(如：中央处理器)所执行。在本发明一实施例中，视频解码引擎700亦具有字幕处理单元710。视频解码引擎700通过字幕处理单元710，解码视频串流S_In以取得字幕信息220。

如上所述，视频串流S_In具有多个视频帧210以及在时间轴上相对于上述视频帧210的多个字幕信息220。上述的多个视频帧210包括多个关键帧S及多个非关键帧N，而关键帧S和非关键帧N是依其播放的先后次序绘示于图8上。在以正常速度播放的模式下(即播放速度为第一播放速度V1)，视频解码引擎700同样地会依照视频帧210的播放次序输出视频帧210至显示器120，之后显示器120再显示视频帧210所对应的画面。

当视频解码引擎700进行快进操作时，视频解码引擎700沿第二播放速度V2的播放方向(即播放时间较晚的方向)，寻找离目前播放时间T_P一预定时间间隔T_d内的多个关键帧S及至少一字幕信息220。以图8为例，视频解码引擎700会寻找到分别标示为a、b、c、d、e的关键帧S，以及其起始显示时间与结束显示时间分别为T_Sa及T_Ea的字幕信息220。其中，视频解码引擎700会先判断在上述预定时间间隔T_d内是否有任何的字幕信息220。倘若在预定时间间隔T_d寻找不到任一字幕信息220，则将在预定时间间隔T_d内的关键帧a、b、c、d、e择一地输出；倘若在上述预定时间间隔T_d内找到任一字幕信息200，则依据预定时间间隔T_d内的字幕信息220的起始显示时间T_Sa，择一地输出关键帧a、b、c、d、e，其中被选择输出的关键帧的时间戳所对应的播放时间最接近起始显示时间T_Sa。其中，所述的“最接近”是相较于其他未被选到的关键帧S的时间戳所对应的播放时间来说，被选到的关键帧S的时间戳所对应的播放时间最近接起始显示时间T_Sa。以图8为例，视频解码引擎700会选择关键帧a为所要输出的关键帧。

值得注意地，预定时间间隔T_d可依据第二播放速度V2调整，当快进或快退的速度越快时，第二播放速度V2越大，且对应的预定时间间隔T_d越长；而当快进或快退的速度越慢时，第二播放速度V2越小，且对应的预定时间间隔T_d越短。

此外，倘若在上述预定时间间隔T_d内被选择的关键帧a的时间戳所对应的播放时间并不介于在预定时间间隔T_d内所找到字幕信息220的起始显示时间T_Sa和结束显示时间T_Ea之间，则表示关键帧a所对应的播放时间落在所找到的字幕信息220的字幕播放时间(即T_Sa至T_Ea)之外。在此情况下，视频解码引擎700会判断关键帧a所对应的播放时间与起始显示时间T_Sa之间的时间间隔是否大于上述的预设临界值。倘若关键帧a所对应的播放时间与起始显示时间T_Sa之间的时间间隔大于上述的预设临界值，视频解码引擎700则输出未嵌入任一字串222的关键帧a；倘若关键帧a所对应的播放时间与起始显示时间T_Sa之间的时间间隔小于上述的预设临界值，视频解码引擎700则输出嵌入字串222的关键帧a，其中其字串222被嵌入至关键帧a的字幕信息220其对应的起始显示时间与结束显示时间分别为T_Sa及T_Ea。

值得注意地，在本发明一实施例中，上述的预设临界值为一秒。然而，本发明所属技术领域的技术人员应能理解上述的预设临界值可以是不同长度的时间间隔。此外，在本发明的其他实施例中，上述的预设临界值可依据第二播放速度V2加以调整。再者，上述说明是在以选择到关键帧a的状况下来说明，而本发明所属技术领域的技术人员应能理解倘若选到其他关键帧S(例如关键帧b、c、d或e)时，视频解码引擎700在决定是否将字幕信息220的字串222嵌入至所选到的关键帧S的判断方式，亦是依据被选到的关键帧S其所对应的播放时间以及字幕信息220的显示时间T_Sa来加以判断。举例来说，倘若视频解码引擎700选择到关键帧是关键帧b，此情况下会因关键帧b所对应的播放时间落在起始显示时间T_Sa和结束显示时间T_Ea之间，故视频解码引擎700会将字幕信息220的字串222嵌入至关键帧b。

请参考图9并同时参照图8，其中图9为图7的视频解码引擎700进行快进操作时的流程图。在步骤S910中，视频解码引擎700会往播放时间较晚的方向(即与图8中的第二播放速度V2相同的方向)寻找以目前播放时间T_P起算一预定时间间隔T_d内的关键帧S。在步骤S920中，视频解码引擎700会判断是否在上述的预定时间间隔T_d内找到任何的关键帧S。倘若视频解码引擎700没有在上述的预定时间间隔T_d内找到任何的关键帧S，则结束本次的快进操作，以开始进行下一次的快进操作(即再次执行步骤S910)。倘若视频解码引擎700于步骤S920中在上述的预定时间间隔T_d内寻找到关键帧S，则视频解码引擎700会判断是否在上述的预定时间间隔T_d内找到任一字幕信息220(步骤S930)。倘若视频解码引擎700在上述的预定时间间隔T_d内并未找到任何的字幕信息220，则视频解码引擎700会择一地输出在预定时间间隔T_d内所找到的关键帧S(步骤S940)，并回到步骤S910进行下一次的快进操作。相对地，倘若视频解码引擎700在上述的预定时间间隔T_d内找到任一字幕信息220，则视频解码引擎700会选择在预定时间间隔T_d内的一个关键帧S(步骤S950)。之后，视频解码引擎700会判断在上述的预定时间间隔T_d内被选择的关键帧S所对应的播放时间，是否介于在预定时间间隔T_d内所找到字幕信息220的起始显示时间T_Sa和结束显示时间T_Ea之间(步骤S960)。倘若上述的预定时间间隔T_d内被选择的关键帧S所对应的播放时间，介于起始显示时间T_Sa和结束显示时间T_Ea之间，则视频解码引擎700会将在预定时间间隔T_d内所找到字幕信息220的字串222嵌入至被选择最接近的关键帧S，并输出已嵌入字串222的关键帧(步骤S970)，并回到步骤S910进行下一次的快进操作。相对地，倘若上述的预定时间间隔T_d内被选择的关键帧S所对应的播放时间，并不介于起始显示时间T_Sa和结束显示时间T_Ea之间，则视频解码引擎700会进一步地判断被选择最接近的关键帧S所对应的播放时间，与在预定时间间隔T_d内所找到字幕信息220的起始显示时间T_Sa之间的时间间隔，是否大于上述的预设临界值(步骤S980)。倘若被选择的关键帧S所对应的播放时间，与在预定时间间隔T_d内所找到字幕信息220的起始显示时间T_Sa之间的时间间隔小于上述的预设临界值，则视频解码引擎700会将在预定时间间隔T_d内所找到字幕信息220的字串222嵌入至被选择最接近的关键帧S，并输出已嵌入字串222的关键帧(步骤S970)，并回到步骤S910进行下一次的快进操作。相对地，倘若被选择的关键帧S所对应的播放时间，与在预定时间间隔T_d内所找到字幕信息220的起始显示时间T_Sa之间的时间间隔大于上述的预设临界值，则视频解码引擎700会输出在预定时间间隔T_d内被选择最接近且未嵌入任一字串的关键帧S(步骤990)，并回到步骤S910进行下一次的快进操作。如此一来，当视频解码引擎700进行快进操作时，即可以字幕信息220为索引，来搜寻并输出视频串流S_In中的关键帧S。

请参考图7和图10，图10为用以说明当视频解码引擎700进行快退操作时，视频串流S_In的时序图。当视频解码引擎700进行快退操作时，视频解码引擎700沿第二播放速度V2的播放方向(即播放时间较早的方向)，寻找离目前播放时间T_P一预定时间间隔T_d内的多个关键帧S及至少一字幕信息220。以图10为例，视频解码引擎700会寻找到分别标示为a、b、c、d、e的关键帧S，以及其起始显示时间与结束显示时间分别为T_Sa及T_Ea的字幕信息220。其中，视频解码引擎700会先判断在上述预定时间间隔T_d内是否有任何的字幕信息220，倘若在预定时间间隔T_d寻找不到任一字幕信息220，则择一地输出在预定时间间隔T_d内的关键帧a、b、c、d、e。倘若在上述预定时间间隔T_d内找到任一字幕信息200，则依据预定时间间隔T_d内的字幕信息220的结束显示时间T_Ea，择一地输出关键帧a、b、c、d、e，其中被选择输出的关键帧S的时间戳所对应的播放时间最接近结束显示时间T_Ea。其中，所述的「最接近」是相较于其他未被选到的关键帧S的时间戳所对应的播放时间来说，被选到的关键帧S的时间戳所对应的播放时间最近接结束显示时间T_Ea。以图10为例，视频解码引擎700会选择关键帧d为所要输出的关键帧。

请参考图11并同时参照图10，其中图11为图7的视频解码引擎700进行快退操作时的流程图。在步骤S1110中，视频解码引擎700会往时间较早的方向(即与图10中的第二播放速度V2相同的方向)寻找以目前播放时间T_P起算一预定时间间隔T_d内的关键帧S。在步骤S1120中，视频解码引擎700会判断是否在上述的预定时间间隔T_d内找到任何的关键帧S。倘若视频解码引擎700没有在上述的预定时间间隔T_d内找到任何的关键帧S，则结束本次的快退操作，以开始进行下一次的快退操作(即再次执行步骤S1110)。倘若视频解码引擎700于步骤S1120中在上述的预定时间间隔T_d内寻找到关键帧S，则视频解码引擎700判断是否在上述的预定时间间隔T_d内找到任一字幕信息220(步骤S1130)。倘若视频解码引擎700在上述的预定时间间隔T_d内并未找到任何的字幕信息220，则视频解码引擎700会择一地输出在预定时间间隔T_d内所找到的关键帧S(步骤S1140)，并回到步骤S1110进行下一次的快退操作。相对地，倘若视频解码引擎700在上述的预定时间间隔T_d内找到任一字幕信息220，则视频解码引擎700会选择在预定时间间隔T_d内的一个关键帧S(步骤S1150)。之后，视频解码引擎700会判断在上述的预定时间间隔T_d内被选择的关键帧S所对应的播放时间，是否介于在预定时间间隔T_d内所找到字幕信息220的起始显示时间T_Sa和结束显示时间T_Ea之间(步骤S1160)。倘若上述的预定时间间隔T_d内被选择的关键帧S所对应的播放时间，介于起始显示时间T_Sa和结束显示时间T_Ea之间，则视频解码引擎700会将在预定时间间隔T_d内所找到字幕信息220的字串222嵌入至被选择最接近的关键帧S，并输出已嵌入字串222的关键帧(步骤S1170)，并回到步骤S1110进行下一次的快退操作。相对地，倘若上述的预定时间间隔T_d内被选择的关键帧S所对应的播放时间，并不介于起始显示时间T_Sa和结束显示时间T_Ea之间，则视频解码引擎700会进一步地判断被选择最接近的关键帧S所对应的播放时间，与在预定时间间隔T_d内所找到字幕信息220的结束显示时间T_Ea之间的时间间隔，是否大于上述的预设临界值(步骤S1180)。倘若被选择的关键帧S所对应的播放时间，与在预定时间间隔T_d内所找到字幕信息220的结束显示时间T_Ea之间的时间间隔小于上述的预设临界值，则视频解码引擎700会将在预定时间间隔T_d内所找到字幕信息220的字串222嵌入至被选择最接近的关键帧S，并输出已嵌入字串222的关键帧(步骤S1170)，并回到步骤S1110进行下一次的快退操作。相对地，倘若被选择的关键帧S所对应的播放时间，与在预定时间间隔T_d内所找到字幕信息220的结束显示时间T_Ea之间的时间间隔大于上述的预设临界值，则视频解码引擎700会输出在预定时间间隔T_d内被选择最接近且未嵌入任一字串的关键帧S(步骤1190)，并回到步骤S1110进行下一次的快退操作。如此一来，当视频解码引擎700进行快退操作时，即可以字幕信息220为索引，来搜寻并输出视频串流S_In中的关键帧S。

综上所述，本发明的上述实施例，以字幕的数据为索引，来搜寻并播放上述视频串流的视频帧。当以快于一般的播放速度来快进或快退地播放视频串流时，会先寻找离目前播放时间一预定时间间隔内的至少一字幕信息及多个关键帧。之后，再依据所寻找到的字幕信息的起始显示时间或结束显示时间，择一地输出上述预定时间间隔内的关键帧。藉此，当快进或快退地播放视频串流时，使观看者仍可观看到字幕，而使人机介面更为友善、操作更为人性化。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何本发明所属技术领域的技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当以权利要求所界定的为准。

Claims (13)

1.一种影像处理方法，其特征在于，所述影像处理方法包括下述步骤：

接收一视频串流，所述视频串流具有多个视频帧以及相对于所述视频帧的多个字幕信息，所述视频帧以一第一播放速度完整地被播放，所述视频帧包括多个关键帧及多个非关键帧，每一字幕信息包含一字串、一起始显示时间及一结束显示时间；

解码所述视频串流，以取得多个视频帧及多个字幕信息；

以快于所述第一播放速度的一第二播放速度，沿所述第二播放速度的播放方向，寻找以目前播放时间起算一预定时间间隔内的多个关键帧及至少一字幕信息；

倘若在所述预定时间间隔找到任一字幕信息，则依据在所述预定时间间隔内所取得的所述至少一字幕信息的所述起始显示时间或所述结束显示时间，择一输出其播放时间最接近所述至少一字幕信息的所述起始显示时间或所述结束显示时间的关键帧；以及

倘若在所述预定时间间隔寻找不到任一字幕信息，则择一输出在所述预定时间间隔内的所述关键帧。

2.如权利要求1所述的影像处理方法，其特征在于，所述第一播放速度与所述第二播放速度的播放方向相同，且

其中是依据所取得的所述至少一字幕信息的所述起始显示时间，择一输出其播放时间最接近所述至少一字幕信息的所述起始显示时间的关键帧。

3.如权利要求2所述的影像处理方法，其特征在于，倘若在所述预定时间间隔找到任一字幕信息，则依据所述预定时间间隔内的所述字幕信息的所述起始显示时间，择一输出所述预定时间间隔内的所述关键帧，其中被选择输出的所述关键帧的一时间戳所对应的一播放时间最接近所述预定时间间隔内的所述字幕信息的所述起始显示时间。

4.如权利要求3所述的影像处理方法，其特征在于，倘若在所述预定时间间隔内被选择的所述关键帧的所述时间戳所对应的所述播放时间介于在所述预定时间间隔内所找到所述字幕信息的所述起始显示时间和所述结束显示时间之间，则将所述预定时间间隔内所找到所述字幕信息的所述字串嵌入至被选择的所述关键帧，并输出以嵌入所述字串的所述关键帧。

5.如权利要求3所述的影像处理方法，其特征在于，倘若在所述预定时间间隔内被选择的所述关键帧的所述时间戳所对应的所述播放时间并不介于在所述预定时间间隔内所找到所述字幕信息的所述起始显示时间和所述结束显示时间之间，则判断被选择的所述关键帧所对应的所述播放时间与在所述预定时间间隔内所找到所述字幕信息的所述起始显示时间之间的时间间隔是否大于一预设临界值；

其中倘若被选择的所述关键帧所对应的所述播放时间与在所述预定时间间隔内所找到所述字幕信息的所述起始显示时间之间的时间间隔大于所述预设临界值，则输出在所述预定时间间隔内被选择且未嵌入任一字串的所述关键帧；

其中倘若被选择的所述关键帧所对应的所述播放时间与在所述预定时间间隔内所找到所述字幕信息的所述起始显示时间之间的时间间隔小于所述预设临界值，则将所述预定时间间隔内所找到所述字幕信息的所述字串嵌入至被选择的所述关键帧，并输出以嵌入所述字串的所述关键帧。

6.如权利要求1所述的影像处理方法，其特征在于，所述第一播放速度与所述第二播放速度的播放方向相反，且

其中是依据所取得的所述至少一字幕信息的所述结束显示时间，择一输出其播放时间最接近所述至少一字幕信息的所述结束显示时间的关键帧。

7.如权利要求6所述的影像处理方法，其特征在于，倘若在所述预定时间间隔找到任一字幕信息，则依据所述预定时间间隔内的所述字幕信息的所述结束显示时间，择一输出所述预定时间间隔内的所述关键帧，其中被选择输出的所述关键帧的一时间戳所对应的一播放时间最接近所述预定时间间隔内的所述字幕信息的所述结束显示时间。

8.如权利要求7所述的影像处理方法，其特征在于，倘若在所述预定时间间隔内被选择的所述关键帧的所述时间戳所对应的所述播放时间介于在所述预定时间间隔内所找到所述字幕信息的所述起始显示时间和所述结束显示时间之间，则将所述预定时间间隔内所找到所述字幕信息的所述字串嵌入至被选择的所述关键帧，并输出以嵌入所述字串的所述关键帧。

9.如权利要求7所述的影像处理方法，其特征在于，倘若在所述预定时间间隔内被选择的所述关键帧的所述时间戳所对应的所述播放时间并不介于在所述预定时间间隔内所找到所述字幕信息的所述起始显示时间和所述结束显示时间之间，则判断被选择的所述关键帧所对应的所述播放时间与在所述预定时间间隔内所找到所述字幕信息的所述结束显示时间之间的时间间隔是否大于一预设临界值；

其中倘若被选择的所述关键帧所对应的所述播放时间与在所述预定时间间隔内所找到所述字幕信息的所述结束显示时间之间的时间间隔大于所述预设临界值，则输出在所述预定时间间隔内被选择且未嵌入任一字串的所述关键帧；

其中倘若被选择的所述关键帧所对应的所述播放时间与在所述预定时间间隔内所找到所述字幕信息的所述结束显示时间之间的时间间隔小于所述预设临界值，则将所述预定时间间隔内所找到所述字幕信息的所述字串嵌入至被选择的所述关键帧，并输出以嵌入所述字串的所述关键帧。

10.如权利要求1所述的影像处理方法，其特征在于，所述的影像处理方法另包括下述步骤：

通过一显示器，播放上述择一输出的所述关键帧。

11.如权利要求1所述的影像处理方法，其特征在于，所述的影像处理方法另包括下述步骤：

将所述至少一字幕信息的所述字串嵌入至上述择一输出的所述关键帧。

12.如权利要求1所述的影像处理方法，其特征在于，所述视频串流为符合MPEG2标准的视频串流，而所述关键帧为MPEG2标准的I帧。

13.如权利要求1所述的影像处理方法，其特征在于，所述视频串流为符合H.264标准的视频串流，而所述关键帧为H.264标准的I帧。

Images