CN101377852A - 用来判断运动视频中精彩片段的装置 - Google Patents

Abstract

用来判断运动视频中精彩片段的装置。该运动视频一般包含多个图像帧。该装置包含有一接收模块、一分析模块、一用户接口、一检测模块以及一判断模块。该接收模块用来接收该运动视频。该分析模块耦接于该接收模块，用来对该运动视频进行分析，以辨识一计分板图像及多个计分板特征。该用户接口耦接于该分析模块，用来显示至少一已辨识计分板特征，并产生一相对应请求讯息，以接收一使用者响应。其中，该使用者响应包含该至少一已辨识计分板特征的一确认结果。该检测模块耦接于该用户接口，用来根据该使用者响应，检测该计分板图像在该多个图像帧间的变化。该判断模块耦接于该检测模块，用来根据该计分板图像的变化，判断该运动视频中的精彩片段。

Description

用来判断运动视频中精彩片段的装置

技术领域

本发明涉及一种用来判断运动视频中精彩片段的装置，尤其涉及一种通过事先通过一用户接口(user interface)确认所辨识计分板特征是否正确，以提升判断运动视频精彩片段的正确性的装置。

背景技术

近年来，由于运动活动的普及，收看运动节目变成日常生活中重要且普遍的休闲活动。然而，由于运动节目往往持续好几个小时，因此观众常会对球员的准备时间、比赛暂停时间或无趣的广告片段感到不耐烦。在此情形下，现在观众一般会事先将运动节目录影下来，以在观看时将不感兴趣的片段快转，或者通过快转或倒带搜寻视频中的精彩片段，例如棒球比赛中的全垒打、足球比赛中的射门或是网球比赛中的发球得分等片段，而取代观看完整的运动比赛。

然而，随着多媒体技术的发展，某些图像处理工具可进一步地对运动视频进行分析，以自动提取出观众感兴趣的事件或是精彩片段。某些已知技术可根据运动视频中特别的声音或是其本身的图像特性来判断精彩片段，例如可通过分析运动视频中的哨音、喇叭声或是观众鼓掌的声音来检测犯规、比赛结束或是得分等精彩事件。或者，图像特征的分析亦可用来判断运动视频中的精彩片段。

请参考图1，图1是显示在一屏幕上一运动视频的一图像帧100的示意图。图像帧100包含有运动视频的主要内容及显示在右上角的一计分板图像110。计分板图像110代表运动比赛的当前状态，其包含有多个计分板特征。如果以美式足球作为例，计分板图像100包含有计时器120、局数122、攻击进度124、球的位置126及犯规举旗128等计分板特征。

一般来说，已知技术必须先对运动视频中的特别声音及图像特征进行辨识，以进行后续精彩事件的判断。然而，实际上，观众感兴趣的事件或精彩片段很难被正确地被判断，因此使用者仍必须自己手动寻找运动视频中的精彩片段，如此将导致使用上的不方便及降低观看运动视频的乐趣。

发明内容

因此，本发明在于提供一种用来判断运动视频中精彩片段的装置。

本发明公开一种用来判断一运动视频中精彩片段的装置。该运动视频包含多个图像帧。该装置包含有一接收模块、一分析模块、一用户接口、一检测模块以及一判断模块。该接收模块用来接收该运动视频。该分析模块耦接于该接收模块，用来对该运动视频进行分析，以辨识一计分板图像及多个计分板特征。该用户接口耦接于该分析模块，用来显示至少一已辨识计分板特征，并产生一相对应请求讯息，以接收一使用者响应。其中，该使用者响应包含该至少一已辨识计分板特征的一确认结果。该检测模块耦接于该用户接口，用来根据该使用者响应，检测该计分板图像在该多个图像帧间的变化。该判断模块耦接于该检测模块，用来根据该计分板图像的变化，判断该运动视频中的精彩片段。

附图说明

图1是显示在一屏幕上一运动视频的一图像帧的示意图。

图2是本发明用来判断一运动视频中精彩片段的一流程的实施例示意图。

图3是本发明用于一显示系统中用来判断运动视频中精彩片段的一装置的实施例示意图。

图4是本发明用来提取一运动视频中精彩片段的一流程的另一实施例示意图。

图5A是本发明实施例用来产生一用户接口的一流程的示意图。

图5B是实现图5A流程的一用户接口的实施例示意图。

图6A是本发明实施例用来产生一用户接口的一流程的示意图。

图6B是实现图6A流程的一用户接口的实施例示意图。

图7A是本发明实施例用来产生一用户接口的一流程的示意图。

图7B是实现图7A流程的一用户接口的实施例示意图。

图8A是本发明实施例用来产生一用户接口的一流程的示意图。

图8B是实现图8A流程的一用户接口的实施例示意图。

图9是本发明所提取的一精彩片段的实施例示意图。

【主要元件符号说明】

100、FR1～FR8图像帧

110、501、605、701、801、907    计分板图像

120           计时器

122           局数

124           攻击进度

126           球的位置

128           犯规举旗

20、40、50、60、70、80      流程

200～260、400～490、500～540、600～640、700～750、800～840

步骤

30        装置

310          接收模块

320          分析模块

330          用户接口

340          检测模块

350          判断模块

322          第一比较器

324          第一辨识器

326          第二比较器

328          第二辨识器

332          请求讯息产生器

334          使用者响应接收器

360          数据库

50B、60B、70B、80B        用户接口

502、604、606、702、802   请求讯息

503、504、703、704        确认按键

705           计分板特征

805           使用者响应

90            精彩片段

909       出局数栏位

903       提取区域

905       显示区域

901       时间区域

具体实施方式

以下实施例中公开本发明用来判断运动视频中精彩片段的方法及装置。请参考图2，图2是本发明用来判断一运动视频中精彩片段的一流程20的实施例示意图。首先，由步骤210开始接收包含有多个图像帧(ImageFrame)的运动视频。接着，步骤220对运动视频进行分析，以辨识一计分板图像及多个计分板特征。在步骤230中，本发明在一用户接口上显示至少一已辨识计分板特征，并产生一相对应请求讯息，以接收一使用者响应。其中，该使用者响应包含该至少一已辨识计分板特征的一确认结果。在步骤240中，本发明可根据该使用者响应，检测该计分板图像在该多个图像帧间的变化。最后，在步骤250中，本发明可根据该计分板图像的变化，判断该运动视频中的精彩片段。

优选地，运动视频存储在一存储装置中，并且该多个图像帧中的至少一图像帧包含有该计分板图像。因此，在对运动视频中多个图像帧进行比较之后，该多个图像帧间具有小变化的一区域可以被辨识并判断为该计分板图像。另外，当运动视频中精彩片段被判断出来之后，精彩片段的发生时间、长度及次数等信息所形成的元数据(metadata)可进一步地存储在数据库中。另一方面，本发明亦可将已辨识计分板图像存储至数据库，以形成一参考图案，进而作为分析相同运动比赛类型的运动视频的依据。因此，当本发明对运动视频中多个图像帧进行比较时，图像帧中具有符合该数据库所存储参考图案的区域可被判断为计分板图像，而其上的计分板特征亦可被轻易地判断出来。

请注意，通过本发明方法，运动视频中不论观众感兴趣的事件(即精彩片段)或观众不感兴趣的事件(例如广告)皆可被判断出来。换句话说，当对运动视频进行本发明精彩片段判断方法之后，使用者不仅可由运动视频中提取出感兴趣的事件，亦可跳过如广告等不感兴趣的事件。

请参考图3，图3是本发明用于一显示系统中用来判断运动视频中精彩片段的一装置30的实施例示意图。装置30是用来实现上述流程20，其包含有一接收模块310、一分析模块320、一用户接口330、一检测模块340及一判断模块350。接收模块310用来接收具有多个图像帧的运动视频。在某些实施例中，运动视频可由一服务器广播并预录在与装置30相耦接的一存储装置。分析模块320耦接于接收模块310，包含有一第一比较器322及一第一辨识器324。第一比较器322用来比较运动视频的多个图像帧，以判断出图像帧间具有小变化的一区域。第一辨识器324则用来判断该区域是否为该计分板图像，并辨识计分板图像上的多个计分板特征。用户接口330耦接于分析模块320，包含有一请求讯息产生器332及一使用者响应接收器334。请求讯息产生器332用来在用户接口上显示至少一已辨识计分板特征，并产生一相对应请求讯息。使用者响应接收器334用来接收一使用者响应，以判断该至少一已辨识计分板特征是否正确。其中，该使用者响应包含该至少一已辨识计分板特征的一确认结果。检测模块340耦接于用户接口330，用来根据使用者响应，检测该计分板图像在多个图像帧间的变化。判断模块350耦接于检测模块340，则用来根据计分板图像的变化，判断运动视频中的精彩片段。关于装置30的详细操作，请继续参考以下说明。

在某些实施例中，装置30还包含一数据库360，用来存储计分板图像的辨识结果，以形成一参考图案，作为分析相同运动比赛类型的运动视频的依据。在此情形下，分析模块320还包含有一第二比较器326及一第二辨识器328。第二比较器326用来根据数据库360所存储的参考图案，对多个图像帧进行比较。接着，第二辨识器328则用来判断图像帧中具有符合数据库所存储参考图案的区域是否为计分板图像，并辨识其上的计分板特征。

在操作上，本发明在用户接口中显示对应于一图像帧的计分板图像及至少一已辨识计分板特征，并产生一请求讯息，以请求使用者确认已辨识计分板特征是否正确。接着，本发明可根据使用者响应来判断已辨识计分板特征的正确性。如此一来，本发明可进一步检测计分板图像在多个图像帧间的变化。由于计分板图像的变化往往代表运动比赛事件的发生，因此，本发明可据此判断出运动视频的精彩片段。

因此，本发明通过事先通过用户接口确认计分板图像及其上计分板特征的正确性，以正确地判断运动视频中的精彩片段，进而提升使用者搜寻并提取运动视频中精彩片段的便利性。

优选地，对计分板特征进行辨识还包含对计分板特征的内容数据进行辨识。计分板特征的内容数据包含有计分板特征在每一图像帧中的数字数据、文字数据、亮度及状态。举例来说，当运动视频是一棒球比赛节目，计分板特征可以是比数、安打数、失误、上垒状态、坏球数、好球数及出局数等计分板栏位；当运动视频是一美式足球比赛节目时，计分板特征可以是计时器、比数、旗号、达阵(TD，Touch down)或是射门(FG，FieldGoal)等计分板栏位；而当运动视频是一足球比赛节目时，计分板特征可以是计时器、比数、犯规数、红牌数、黄牌数、犯规数等计分板栏位。

请继续参考图4，图4是本发明用来提取一运动视频中精彩片段的一流程40的另一实施例示意图。在本实施例中，首先从一视频来源，例如VCD播放器、DVD播放器或电视，接收运动视频，并存储在一存储装置(步骤410)。接着，从运动视频中提取多个图像帧(步骤420)。通过比较该多个图像帧，将具有小变化的一图像区域判断为运动视频的一计分板图像(步骤430)。然后，根据存储在一数据库中对应于相同运动比赛类型的计分板参考图案，对该计分板图像及其上的计分板特征进行辨识和分析(步骤440)。

为了接收用来指示已辨识计分板特征是否正确的一使用者响应，本发明在用户接口上显示计分板图像及至少一已辨识计分板特征，并产生一请求讯息(步骤450)。关于用户接口的实现方式，请参考以下实施例的说明。如此一来，在根据使用者响应判断已辨识计分板特征的正确性之后，本发明可进一步检测图像帧间计分板图像的变化(步骤460)。最后，本发明可根据图像帧间计分板图像的变化，正确地判断出运动视频中的精彩片段(步骤470)。

请注意，记分板图像的变化可区分为下列两种形式:记分板图像本身的变化以及计分板图像中计分板特征的变化。记分板图像本身的变化通常发生在计分板图像消失于运动视频中的时候，其可能代表的是一广告片段或是运动比赛中一精彩事件的特写镜头等情况。相对地，计分板图像中计分板特征的变化则是如上所述的计分板特征的变化，其代表如得分、犯规、出局等运动比赛事件。

举例来说，得分事件可根据计分板图像中比数栏位的数字数据变化来判断，而犯规事件则可根据计分板图像中犯规旗号的亮度变化来判断等等，以此类推。当然，每一计分板特征变化事件的时间长度或其重要性可事先进行定义，并形成一元数据存储在数据库中。因此，本发明可根据计分板特征变化的发生时间及存储在数据库的元数据，正确地将运动视频的精彩片段提取出来，并可进一步地将其存储在存储装置中(步骤480)。

优选地，每一运动视频的精彩片段的发生时间、长度及发生次数等信息亦可进一步形成元数据并存储在数据库中，以作为处理其他具相同运动比赛类型的运动视频的依据。

请参考图5A，图5A是本发明实施例用来产生一用户接口的一流程50的示意图。流程50用来实现用户接口，以请求使用者确认对应于一计分板图像的计分板特征是否辨识正确。在本实施例中，首先在用户接口上显示计分板图像及标示至少一已辨识计分板特征的位置(步骤510)。接着，在用户接口同时产生一请求讯息，以接收一使用者响应(步骤520)。最后，所标示位置的正确性可根据使用者响应来进行判断(步骤530)。

当使用者响应指示所标示位置皆正确时，其代表计分板特征已被正确地辨识，因此本发明可继续进行后续判断精彩片段的步骤。相反地，用户接口则在计分板图像中标示已辨识计分板特征的其他可能位置，并产生另一相对应请求讯息，直到接收到使用者响应指示所标示的位置皆为正确为止。

请参考图5B，图5B是实现本发明流程50的一用户接口50B的实施例示意图。用户接口50B包含一计分板图像501，一请求讯息502及确认按键503及504。计分板图像501显示运动视频中一棒球比赛的当前状况，其包含有垒包状态、队名(「AAA」及「BBB」)、分数(「3」及「2」)、局数(「▲2」)、出局数(「2-out」)、好球数与坏球数(「3-2」)等计分板特征。请求讯息502用来请求使用者确认计分板图像501中所标示的分数栏位(「3」及「2」)的位置是否正确，其通过箭头符号标示，如图5B所示。确认按键503及504则用来根据所标示位置的正确性产生使用者响应。因此，通过确认按键503及504所产生的使用者响应，本发明可判断已辨识计分板特征的正确性。

当使用者响应为确认按键503所产生的「是」时，本发明可将运动视频中已辨识计分板特征视为正确，以进一步地根据已辨识计分板特征的变化，判断运动视频的精彩片段。相反地，当使用者响应为确认按键504所产生的「否」时，其代表所标示的位置不正确，用户接口50B则在计分板图像中标示分数栏位的其他可能位置，并产生另一相对应请求讯息，直到接收到使用者响应指示所标示的位置皆为正确为止(未显示在图5B中)。

请继续参考图6A，图6A是本发明另一实施例用来产生一用户接口的一流程60的示意图。流程60亦用来实现用户接口，以请求使用者确认对应于一计分板图像的计分板特征是否辨识正确。在本实施例中，首先在用户接口上显示计分板图像及标示已辨识计分板特征的多个可能位置(步骤610)。接着，在用户接口同时产生一请求讯息，以接收一使用者响应，其为使用者直接选择一正确位置所产生(步骤620)。如果所有标示的可能位置皆不正确，用户接口则产生另一请求讯息，以请求使用者直接在计分板图像中标示计分板特征的正确位置。最后，本发明可根据使用者响应来判断已辨识计分板特征的实际位置(步骤630)。

举例来说，请参考图6B，图6B是实现本发明流程60的一用户接口60B的实施例示意图。相较于图5B，用户接口60B同时提供计分板图像605中已辨识计分板特征(即垒包状态)的四个可能位置，并产生一请求讯息604，其用来请求使用者由上述四个可能位置选出一正确位置，以及产生另一请求讯息606，其用来请求使用者直接标示已辨识计分板特征的一正确位置。在此情形下，如果用户接口60B所提供的所有可能位置皆不正确，使用者可根据请求讯息606，直接在计分板图像上标示已辨识计分板特征的正确位置。因此，通过对应于请求讯息604及606的使用者响应，本发明可判断已辨识计分板特征的正确性。当然，用户接口60B所提供的可能位置数量可根据实际需求进行调整，而不限于此。

简单地讲，由于本发明事先对所辨识计分板特征的正确性进行判断，因此本发明可大幅地提升根据计分板特征变化所提取出的精彩片段的正确性。

请继续参考图7A，图7A是本发明另一实施例用来产生一用户接口的一流程70的示意图。流程70亦用来实现用户接口，以请求使用者确认对应于一计分板图像的计分板特征是否辨识正确。在本实施例中，首先分析已辨识计分板特征的一内容数据(步骤710)。接着，在用户接口上显示已辨识计分板特征的内容数据(步骤720)。然后，同时产生一请求讯息于该用户接口上，以请求使用者确认所分析的内容数据是否正确，进而接收一使用者响应(步骤730)。最后，本发明可根据使用者响应来判断已辨识计分板特征的内容数据是否正确(步骤740)。

举例来说，请参考图7B，图7B是实现本发明流程70的一用户接口70B的实施例示意图。用户接口70B显示一计分板图像701，并通过一箭头符号标示一已辨识计分板特征705(即队伍「AAA」的分数栏位)，如图7B所示。接着，用户接口70B同时产生一请求讯息702，以请求使用者确认计分板特征705的一分析数据是否正确。如果计分板特征705的分析数据经使用者确认为正确，本发明可将运动视频中已辨识的计分板特征视为正确，以进一步地根据已辨识计分板特征的变化，判断运动视频的精彩片段。相反地，如果计分板特征705的分析数据不正确，用户接口70B则产生另一相对应请求讯息，以请求使用者确认其他分析数据的正确性，直到接收到使用者响应的指示为正确为止。

因此，通过确认分析数据的正确性，本发明实施例可进一步判断运动视频中已辨识的计分板特征的正确性，以利后续精彩片段判断步骤的进行。

请参考图8A，图8A是本发明另一实施例用来产生一用户接口的一流程80的示意图。流程80亦用来实现用户接口，以请求使用者确认对应于一计分板图像的计分板特征是否辨识正确。在本实施例中，首先在用户接口上显示一计分板图像(步骤810)。接着，在用户接口同时产生一请求讯息，以请求使用者直接在计分板图像中标示一计分板特征的位置，进而接收一使用者响应(步骤820)。最后，本发明可根据该使用者响应来判断已辨识计分板特征的正确性(步骤830)。

举例来说，请参考图8B，图8B是实现本发明流程80的一用户接口80B的实施例示意图。用户接口80B显示一计分板图像801，并同时产生一请求讯息802，以请求使用者在计分板图像801中标示一计分板特征的位置，例如队伍「BBB」分数栏位的位置。在此情形下，一使用者响应805，其可通过计算机鼠标产生，在计分板图像801中标示队伍「BBB」分数栏位的位置，如图8B中的箭头符号，因此本发明实施例可据以获得计分板特征的确切位置。

因此，通过上述实施例，本发明可通过用户接口，根据使用者的确认信息判断运动视频中已辨识计分板特征的正确性。在此情形下，运动视频中的精彩片段可更正确地被判断。请注意。上述用户接口的实施例仅为本发明的举例说明，本领域具通常知识者当可根据实际需求作适当地修改，例如将上述实施方式作适当地结合等变化，其亦属本发明的范围。

在根据使用者响应判断已辨识计分板特征的正确性之后，本发明可进一步根据计分板特征的变化，正确地判断出运动视频中的精彩片段。请参考图9，图9是本发明所提取的一精彩片段90的实施例示意图。在本实施例中，精彩片段90根据计分板图像907中一出局数栏位909的数字变化所判断出来的一球员出局事件。其中，本发明实施例根据存储在数据库中相关事件的信息，分析和记录球员出局事件的发生时间，以从棒球运动视频中提取出图像帧FR1～FR8，进而产生精彩片段90，并在一提取区域903进行编辑。此外，精彩片段90另可通过一显示区域905进行浏览，而图像帧FR1～FR8的发生时间被显示在一时间区域901中。

综合上述实施例，本发明通过事先通过用户接口确认计分板图像中已辨识计分板特征的正确性，以提高判断运动视频中精彩片段的正确性，进而提升使用者观看运动视频的乐趣及使用的便利性。

以上所述仅为本发明的优选实施例，凡依本发明权利要求书所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (15)

1.一种用来判断一运动视频中精彩片段的装置，该运动视频包含多个图像帧，该装置包含有:

一接收模块，用来接收该运动视频；

一分析模块，耦接于该接收模块，用来对该运动视频进行分析，以辨识一计分板图像及多个计分板特征；

一用户接口，耦接于该分析模块，用来显示至少一已辨识计分板特征，并产生一相对应请求讯息，以接收一使用者响应，该使用者响应包含该至少一已辨识计分板特征的一确认结果；

一检测模块，耦接于该用户接口，用来根据该使用者响应，检测该计分板图像在该多个图像帧间的变化；以及

一判断模块，耦接于该检测模块，用来根据该计分板图像的变化，判断该运动视频中的精彩片段。

2.如权利要求1所述的装置，其中该多个图像帧中的至少一图像帧包含有该计分板图像。

3.如权利要求1所述的装置，其中该装置还包含有一数据库，用来存储一元数据。

4.如权利要求3所述的装置，其中该元数据包含该运动视频中精彩片段的发生时间、长度及次数。

5.如权利要求3所述的方法，其中该元数据根据该使用者响应产生。

6.如权利要求5所述的装置，其中该使用者响应包含该至少一已辨识计分板特征的位置信息。

7.如权利要求5所述的装置，其中该使用者响应包含「是」、「否」、「正确」及「不正确」等信息中的其中之一。

8.如权利要求5所述的装置，其中该使用者响应包含一数字。

9.如权利要求1所述的装置，其中该分析模块还包含有:

一第一比较器，用来比较该多个图像帧，以辨识出该多个图像帧间具有小变化的一区域；以及

一第一辨识器，用来判断该区域是否为该计分板图像。

10.如权利要求1所述的装置，其中该装置还包含一数据库，用来存储该计分板图像，以形成一参考图案，作为分析相同运动比赛类型的运动视频的依据。

11.如权利要求10所述的装置，其中该分析模块还包含有:

一第二比较器，用来根据该数据库所存储的参考图案，对该多个图像帧进行比较；以及

一第二辨识器，用来辨识该多个图像帧中符合该数据库所存储参考图案的一区域，以判断为该多个计分板特征。

12.如权利要求1所述的装置，其中该分析模块对该运动视频进行分析，以辨识该多个计分板特征的内容数据，每一计分板特征的内容数据包含有对应于每一图像帧的数字数据、文字数据、亮度及状态。

13.如权利要求1所述的装置，其中该分析模块对该运动视频进行分析，以辨识该多个计分板特征的位置、尺寸及形状。

14.如权利要求1所述的装置，其中该用户接口还包含:

一请求讯息产生器，用来产生对应于该至少一已辨识计分板特征的该请求讯息。

15.如权利要求1所述的方法，其中该用户接口还包含:

一使用者响应接收器，用来接收该使用者响应，以判断该至少一已辨识计分板特征是否正确。

Images