CN101018347A - 用以检测媒体数据流中精彩片段的装置以及相关方法 - Google Patents

用以检测媒体数据流中精彩片段的装置以及相关方法 Download PDF

Info

Publication number
CN101018347A
CN101018347A CNA2006101107571A CN200610110757A CN101018347A CN 101018347 A CN101018347 A CN 101018347A CN A2006101107571 A CNA2006101107571 A CN A2006101107571A CN 200610110757 A CN200610110757 A CN 200610110757A CN 101018347 A CN101018347 A CN 101018347A
Authority
CN
China
Prior art keywords
audio frequency
threshold values
video
picture
wonderful
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101107571A
Other languages
English (en)
Other versions
CN101018347B (zh
Inventor
叶家宏
刘荣文
郭致宏
施宣辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MAVs Lab Inc
Original Assignee
MAVs Lab Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MAVs Lab Inc filed Critical MAVs Lab Inc
Publication of CN101018347A publication Critical patent/CN101018347A/zh
Application granted granted Critical
Publication of CN101018347B publication Critical patent/CN101018347B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

一种用以检测媒体数据流的精彩片段的装置。此装置包含视频处理模块、音频处理模块、镜头变换检测器以及后处理器。此视频处理模块是用来决定视频阀值，而音频处理模块用来决定至少一音频阀值。镜头变换检测器电连接于视频处理模块与音频处理模块，用来决定镜头变换以告知视频处理模块与音频处理模块。后处理器电连接于视频处理模块与音频处理模块，用来根据视频参数和视频阀值决定视频精彩片段并根据音频参数和音频阀值决定出音频精彩片段，最后依据视频精彩片段与音频精彩片段来决定媒体数据流的精彩片段。

Description

用以检测媒体数据流中精彩片段的装置以及相关方法
技术领域
本发明涉及一种用来检测媒体数据流中精彩片段的装置以及相关方法，特别涉及一种装置，其利用视频特征决定视频精彩片段，再利用音频特征决定音频精彩片段，然后同时根据视频和音频精彩片段决定整体的精彩片段。
背景技术
现有利用特殊程序自动化撷取精彩片段的技术是依赖视频内容或者音频内容，例如，体育精彩片段是由场景的颜色检测而得，然而，对于一般的电影影片而言，便需要一种可同时考虑音频内容和视频内容的方法，以更准确地获得电影精彩片段。
为检测视频内容以获得精彩片段，现有技术会将一画面分割成数个颜色区块，并将这些颜色区块和一参考画面相比较以辨识出场景，由于精彩片段通常出现于一些特殊的场景中，因此用来获得精彩片段所需处理的候选画面的数量便可减少。另外，对于经由检测音频内容以获得精彩片段而言，既然会评量音频数据的音量峰值，假如数个峰值在短时间出现，则一彼此部分重迭的区段会被撷取出来作为精彩片段，如此一来，上述现有方法的检测精彩片段的准确度便不佳。
再者，目前尚未有可同时利用音频和视频内容来检测电影精彩片段的架构，所以，一种可以同时考虑音频和视频内容以在一般电影影片中自动检测精彩片段的装置将会大幅提升影音节目的品质。
发明内容
根据本发明的申请专利范围，本发明揭露一种用以检测媒体数据流的精彩片段的装置。此装置包含视频处理模块、音频处理模块、镜头变换检测器以及后处理器。此视频处理模块用来决定视频阀值，而音频处理模块用来决定音频阀值，而镜头变换检测器电连接于视频处理模块和音频处理模块，用以决定镜头变换以告知视频处理模块和音频处理模块。后处理器电连接于视频处理模块和音频处理模块，用来根据视频参数和视频阀值决定出视频精彩片段，然后根据音频参数和音频阀值决定出音频精彩片段，最后根据视频精彩片段和音频精彩片段决定出媒体数据流的精彩片段。
根据本发明的申请专利范围，其另揭露一种检测媒体数据流的精彩片段的方法。此方法包含决定一视频阀值、决定至少一音频阀值、检测一镜头转换以将媒体数据流区分为数个镜头，以及根据视频参数和视频阀值确定视频精彩片段，然后根据音频参数和音频阀值确定音频精彩片段，最后根据视频精彩片段和音频精彩片段决定媒体数据流的精彩片段。
附图说明
图1为本发明第一实施例的检测精彩片段的装置的示意图。
图2为图1所示的第一实施例检测精彩片段的方法流程图。
图3为本发明第二实施例的检测精彩片段的装置的示意图。
图4为图3所示的第二实施例检测精彩片段的方法流程图。
图5为本发明第三实施例的检测精彩片段的装置的示意图。
图6为图5所示的第三实施例检测精彩片段的方法流程图。
附图符号说明
100、300、500      装置
110、310、510      移动向量运算器
115、315、515      色阶分布运算器
120、125、325、525 视频阀值决定单元
135、335、535      音量运算器
140、340、540      过零率运算器
150、350、550      音频阀值决定单元
155、355、555      镜头变换检测器
160、360、560      后处理器
320、345、520、545 镜头数据处理单元
具体实施方式
请参阅图1，图1是本发明第一实施例的检测精彩片段(highlight)的装置100的示意图。装置100包含一移动向量运算器(motion-vectorcalculator)110、一色阶分布运算器(histogram calculator)115、多个镜头数据处理单元(shot data processing unit)120、145、一视频阀值决定单元125、一音量运算器135、一过零率运算器(zero-crossing ratecalculator)140、一音频阀值决定单元150、一镜头变换检测器(shot changedetector)155以及一后处理器(post processor)160。因为移动向量运算器110、色阶分布运算器115、镜头数据处理单元120以及视频阀值决定单元125是共同来处理一媒体数据流(media stream)SM以产生一视频阀值TV，用以决定视频精彩片段，而这些功能方块便结合起来形成一视频处理模块105。同样地，音量运算器135、过零率运算器140、镜头数据处理单元145以及音频阀值决定单元150共同来处理一媒体数据流SM以产生一音频阀值TA，用以决定音频精彩片段，而这些功能区块结合起来便形成一音频处理模块130。
如图1所示，媒体数据流SM分别传送到镜头变换检测器155、视频处理模块105、音频处理模块130以及后处理器160中。视频处理模块105会根据媒体数据流SM决定视频阀值TV，并传送视频阀值TV到后处理器160中，在此同时，音频处理模块130根据媒体数据流SM决定音频阀值TA，并传送音频阀值TA到后处理器160中，接着，后处理器160便根据媒体数据流SM的视频参数(video parameter)和视频阀值TV决定视频精彩片段，以及另根据媒体数据流SM的音频参数(audio parameter)和音频阀值TV来决定音频精彩片段，之后，在根据视频精彩片段和音频精彩片段来决定出媒体数据流SM中的精彩片段H。在视频处理模块105中，色阶分布运算器115是接收媒体数据流SM并计算出两邻近画面(frame)的色阶分布差值(histogram difference)，而移动向量运算器110则计算出一个画面中移动向量的总和。镜头变换检测器155将媒体数据流SM划分成数段镜头(shot)，并传送至镜头数据处理单元120、145中，若一镜头的时间很短则表示其仅包含极少数的画面，所以镜头数据处理单元120个别地处理每个具有画面个数小于一画面参考值的镜头，例如，镜头数据处理单元120计算出这些镜头的过零率，并将此过零率和全部媒体数据流SM的平均过零率相较以决定其精彩片段。镜头数据处理单元120更利用每一剩余镜头的色阶分布差值来计算出一色阶分布平均值，并且又利用各个剩余镜头的画面所对应的移动向量的总和来计算出一移动向量平均值。色阶分布平均值和移动向量平均值皆传送至视频阀值决定单元125，因此视频阀值决定单元125会再次计算出所有剩余镜头的色阶分布平均值的平均值来作为色阶分布参考值，并将每个剩余镜头的色阶分布平均值和色阶分布参考值相比较，其中，当镜头的色阶分布平均值大于色阶分布参考值时，就不适用于决定视频阀值。
最后，视频阀值决定单元125仅平均具有色阶分布平均值不大于色阶分布参考值的镜头所对应的移动向量平均值，以产生一最终移动向量平均值，而此最终移动向量平均值乘以一加权系数(weighting factor)，例如0.8，作为视频阀值。在此请注意，一并考虑色阶分布差值和媒体数据流SM的移动向量，可增加检测精彩片段的准确性，但是也可以只考虑移动向量以节省成本。
在音频处理模块130中，音量运算器135接收媒体数据流SM，并测量媒体数据流SM中每个画面的音量(volume energy)，而过零率运算器140则检测每一画面的过零率，其中音量和过零率两者皆传送至镜头数据处理单元145。镜头变换检测器155会将镜头长度(shot length)告知镜头数据处理单元145，而镜头数据处理单元145便舍弃画面个数小于画面参考值的镜头，并且计算出剩余镜头的音量的音量平均值，并将计算出剩余镜头的过零率的过零率平均值。
音频阀值决定单元150和视频阀值决定单元125的运作方式不同。音频阀值决定单元150藉由平均媒体数据流的所有音量平均值计算出一第一音频阀值，且平均媒体数据流的所有过零率平均值计算出一第二音频阀值，而两个不同的音频阀值便可以根据不同的需求来决定出音频精彩片段。后处理器160接收到视频阀值TV，并将视频阀值TV和媒体数据流SM的目前画面(currentframe)有关的移动向量的总和相比较，如果总和大于视频阀值TV，后处理器160便选择目前画面当作一视频精彩片段，假如总和不大于视频阀值，则后处理器160不会选择目前画面来作为一视频精彩片段。相同地，后处理器160接收到音频阀值TA，并将音频阀值TA和媒体数据流SM的目前画面有关的音量或者过零率相比较，举例来说，假如音量大于音频阀值TA，则后处理器160会选择目前画面当作一音频精彩片段；假如音量未大于音频阀值TA，后处理器160就不会选择目前画面来作为一音频精彩片段。后处理器160最后会利用上述视频精彩片段和音频精彩片段来决定出精彩片段H。
请特别注意，后处理器160是在一时间域(time domain)中决定精彩片段，所以，后处理器160便能够根据视频阀值和音频阀值决定出精彩片段镜头(highlight shot)，并结合位于精彩片段镜头之前或者之后的多个镜头，以便构成一完整的精彩片段，使得使用者能看到更顺畅的精彩片段画面而不至于被过多中断所干扰。
请参考图2，图2是图1所示的第一实施例检测精彩片段的方法流程图。
此方法的相关步骤如下：
步骤205：开始；
步骤210：检测镜头变换以将媒体数据流区分成多个镜头，然后执行步骤215和步骤260；
步骤215：此镜头的画面个数是否小于10？假如是，执行步骤221；假如不是，则依序执行步骤225和步骤230；
步骤221：计算镜头的过零率；
步骤222：决定高频率的精彩片段，接着跳至步骤290；
步骤225：平均所有媒体数据流的色阶分布差值以得到一色阶分布参考值，接着执行步骤235；
步骤230：平均镜头的色阶分布差值以求得一色阶分布平均值；
步骤235：色阶分布平均值是否大于色阶分布参考值？假如是，执行步
骤236，假如不是，则执行步骤245；
步骤236：计算镜头的移动向量，接着执行步骤255；
步骤245：计算镜头的移动向量以得到一移动向量平均值，以及再将移动向量平均值乘以0.8来得到一视频阀值；
步骤255：根据视频阀值和媒体数据流的目前画面相关的移动向量的总和来决定视频精彩片段，接着执行步骤285；
步骤260：计算出画面的音量和过零率；
步骤270：平均音量和过零率得到一音频阀值，接着执行步骤222和步骤280；
步骤280：根据媒体数据流的目前画面的音频阀值和音频参数(如音量和过零率)来决定音频精彩片段；
步骤285：根据视频精彩片段和音频精彩片段来决定出精彩片段；
步骤286：结合在精彩片段镜头之前或者之后的多个镜头以构成一完整的精彩片段；
步骤290：结束。
请参阅图3，图3是本发明第二实施例的检测精彩片段的装置300的示意图。装置300包含一移动向量运算器310、一色阶分布运算器315、多个镜头数据处理单元320、345、一视频阀值决定单元325、一音量运算器335、一过零率运算器340、一音频阀值决定单元350、一镜头变换检测器355以及一后处理器360。将第二实施例和图1的第一实施例作比较可发现，两者的功能方块是相同的，但是连接方式却不同，在第二实施例中，装置300先处理媒体数据流SM的视频部分，以输出一视频阀值TV传送进入后处理器360，然后由后处理器360根据媒体数据流SM中每个画面的移动向量的总和以及视频阀值TV来决定出视频精彩片段HV，接下来，装置300利用第一实施例中所述的检测音频精彩的方法来处理对应视频精彩片段HV的镜头以得到音频阀值TA，最后，后处理器360便根据音频参数(例如：音量与过零率)和音频阀值TA，由视频精彩片段镜头中决定出音频精彩片段以作为最终的精彩片段H。因为装置300优先处理视频部分，所以处理音频部分的数据量会大量减少，因此，处理速度便会相对地提高。另外，在一些特殊的电影影片中，例如：动作片，由于视频内容比音频内容更具特色，所以一开始先由视频内容来决定，接着再由音频内容进一步选取出来的精彩画面便会更加正确且品质更佳。
请参考图4，图4是图3所示的第二实施例检测精彩片段的方法流程图。不同于图2中的流程，在此实施例中会优先处理视频部分，然后才处理音频部分并决定出最终的精彩片段，但在图2中，视频部分和音频部分却是在同一时间被考虑并决定出最终的精彩片段。图4中的相关步骤如下：
步骤405：开始；
步骤410：检测镜头变换以将媒体数据流区分成数个镜头；
步骤415：此镜头的画面个数是否小于10？假如是，执行步骤421；假如不是，则依序执行步骤425和步骤430；
步骤421：计算镜头的过零率；
步骤422：决定高频率的精彩片段，接着跳至步骤490；
步骤425：平均所有媒体数据流的色阶分布差值以得到一色阶分布参考值，接着执行步骤435；
步骤430：平均镜头的色阶分布差值求得一色阶分布平均值；
步骤435：色阶分布平均值是否大于色阶分布参考值？假如是，执行步骤436，假如不是，则执行进入步骤445；
步骤436：计算镜头的移动向量，接着执行步骤455；
步骤445：计算镜头的移动向量以得到一移动向量平均值，并再将移动向量平均值乘以0.8以得到一视频阀值；
步骤455：根据视频阀值和媒体数据流的现在画面相关的移动向量的总和来决定出视频精彩片段；
步骤460：计算出视频精彩片段镜头的音量和过零率；
步骤470：平均音量和过零率以得到音频阀值，接着执行步骤422和步骤485；
步骤485：根据音频阀值和音频参数从视频精彩片段镜头中决定音频精彩片段；
步骤486：结合在精彩片段镜头之前或者之后的多个镜头以构成完整的精彩片段；
步骤490：结束。
另外，不一定只能优先处理视频部分，也可以优先处理音频部分。请参考图5，图5是本发明第三实施例的检测精彩片段的装置500的示意图。装置500包含一移动向量运算器510、一色阶分布运算器515、多个镜头数据处理单元520、545、一视频阀值决定单元525、一音量运算器535、一过零率运算器540、一音频阀值决定单元550、一镜头变换检测器555以及一后处理器560。第三实施例中的功能方块和第一、二实施例相同，但是连接方式却不同。在第二实施例中，装置500先处理媒体数据流SM的音频部分，以输出一音频阀值TA传送进入后处理器560，然后，后处理器560便根据媒体数据流SM中的音频参数(例如：音量和过零率)和音频阀值TA决定出视频精彩片段HA，接下来，装置500利用第一实施例所述的检测音频精彩片段的方法来处理音频精彩片段HA所对应的镜头以得到视频阀值TA，最后，后处理器560根据音频精彩片段镜头的移动向量的总和与视频阀值TV，由音频精彩片段镜头中决定出视频精彩片段以作为最终的精彩片段H。因为装置500优先处理音频部分，所以处理视频部分的数据量会大量减少，因此，处理速度也如同在第二实施例中的描述一样地会大幅提高。另外，在一些特殊的电影影片中，例如：剧情片，由于音频内容比视频内容更具特色，所以一开始先由音频内容来决定，接着再由视频内容进一步选取出来的精彩画面便会更加正确且品质更佳。
请参考图6，图6是图5所示的第三实施例检测精彩片段的方法流程图。图6中的步骤执行顺序会先进行音频部分，然后进行视频部分，最后决定出最终精彩片段。图6中的相关步骤如下：
步骤605：开始；
步骤610：检测镜头变换以将媒体数据流区分成数个镜头，然后执行步骤660；
步骤615：此镜头的画面个数是否小于10？假如是，执行步骤621；假如不是，则依序执行步骤625和步骤630；
步骤621：计算镜头的过零率；
步骤622：决定高频率的精彩片段，接着跳至步骤690；
步骤625：平均所有音频精彩片段镜头的色阶分布差值以得到一色阶分布参考值，接着执行步骤635；
步骤630：平均音频精彩片段镜头的色阶分布差值以求得一色阶分布平均值；
步骤635：色阶分布平均值是否大于色阶分布参考值？假如是，执行步骤636，假如不是，则执行步骤645；
步骤636：计算镜头的移动向量，接着执行步骤655；
步骤645：计算镜头的移动向量以得到一移动向量平均值，并再将移动向量平均值乘以0.8以得到一视频阀值；
步骤655：根据视频阀值和音频精彩片段镜头相关的移动向量的总和决定出最终精彩片段，接着跳至步骤690；
步骤660：计算出画面的音量和过零率；
步骤670：平均音量和过零率以得到音频阀值，接着执行步骤622和步骤680；
步骤680：根据媒体数据流的目前画面的音频阀值和音频参数(例如：音量和过零率)决定出音频精彩片段，接着跳至步骤615；
步骤686：结合在精彩片段镜头之前或者之后的多个镜头以构成完整的精彩片段；
步骤690：结束。
本发明提供一种装置和方法以根据视频参数和音频参数来检测精彩片段，其处理流程可依照实际情况来加以设定，例如，在动作片中，可优先处理视频部分，然后才处理音频部分；而在剧情片中，则可优先处理音频部分，然后才处理视频部分。请特别注意，即使没有设定特定的处理顺序，本发明依旧可以实施。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (44)

1.一种用以检测一媒体数据流的精彩片段的装置，该装置包含：
一视频处理模块，用来决定一视频阀值；
一音频处理模块，用来决定至少一音频阀值；
一镜头变换检测器，电连接于该视频处理模块和该音频处理模块，用以决定一镜头变换来告知该视频处理模块和该音频处理模块；以及
一后处理器，电连接于该视频处理模块和该音频处理模块，用来根据多个视频参数和该视频阀值决定出多个视频精彩片段，根据多个音频参数和该音频阀值决定出多个音频精彩片段，然后根据该多个视频精彩片段和该多个音频精彩片段决定出该媒体数据流的精彩片段。
2.如权利要求1所述的装置，其中，该视频处理模块包含：
一移动向量运算器，用以计算该媒体数据流中一画面的一移动向量总和；
一镜头数据处理单元，电连接于该镜头变换检测器和该移动向量运算器，用来根据每一镜头中多个画面的多个移动向量总和计算出一第一数值；以及
一视频阀值决定单元，电连接于该镜头数据处理单元，用来根据该第一数值决定该视频阀值。
3.如权利要求2所述的装置，其中，该镜头数据处理单元会平均对应该多个画面的该多个移动向量总和以产生一移动向量平均值作为该第一数值。
4.如权利要求3所述的装置，其中，该视频阀值决定单元将该移动向量平均值乘以一加权系数以计算出该视频阀值。
5.如权利要求2所述的装置，其中，该镜头数据处理单元将具有一画面个数小于一画面参考值的该镜头的一过零率与一过零率平均值作比较以得到该媒体数据流的精彩片段。
6如权利要求2所述的装置，其中，该视频处理模块更包含：
一色阶分布运算器，用以计算出两个邻近画面的一色阶分布差值；
其中，该镜头数据处理单元更根据该镜头的多个色阶分布差值来计算出一第二数值；以及该视频阀值决定单元更根据该媒体数据流的多个色阶分布差值计算出一色阶分布参考值，以及当该第二数值小于该色阶分布参考值时，该视频阀值决定单元就只根据该第一数值决定出该视频阀值。
7.如权利要求6所述的装置，其中，该镜头数据处理单元平均该镜头的该多个色阶分布差值以产生一色阶分布平均值以作为该第二数值，以及该视频阀值决定单元平均该媒体数据流的该多个色阶分布差值平均来得到该色阶分布参考值。
8.如权利要求1所述的装置，其中，该音频处理模块包含：
一音量运算器，用以检测该媒体数据流中每个画面的音量；
一镜头数据处理单元，电连接于该镜头转换检测器和该音量运算器，用来根据一镜头中画面的音量决定出一数值；以及
一音频阀值决定单元，电连接于该镜头数据处理单元，用来根据该数值决定出该音频阀值。
9.如权利要求8所述的装置，其中，该镜头数据处理单元平均该镜头中每个画面的音量以得到一音量平均值来作为该数值。
10.如权利要求9所述的装置，其中，该音频阀值决定单元平均该媒体数据流中多个音量平均值以得到该音频阀值。
11.如权利要求1所述的装置，其中，该音频处理模块包含：
一过零率运算器，用以检测一画面的一过零率；
一镜头数据处理单元，电连接于该镜头变换检测器和该过零率运算器，用来根据一镜头中画面所计算出的过零率来决定出一第一数值；以及
一音频阀值决定单元，电连接于该镜头数据处理单元，用来根据该第一数值决定出该音频阀值。
12.如权利要求11所述的装置，其中，该镜头数据处理单元平均该镜头中画面的过零率以产生一过零率平均值作为该第一数值。
13.如权利要求12所述的装置，其中，该音频阀值决定单元平均该媒体数据流中多个过零率以决定出该音频阀值。
14.如权利要求11所述的装置，更包含：
一音量运算器，用以检测一画面的音量；
其中，该镜头数据处理单元更根据该镜头中画面的音量计算出一第二数值；以及该音频阀值决定单元根据该第一、二数值决定出该音频阀值。
15.如权利要求1所述的装置，其中，每一视频参数是一移动向量总和，该后处理器比较对应于一目前画面的移动向量总和以及该视频阀值，假如目前画面的移动向量总和大于该视频阀值，则该后处理器以该目前画面作为一视频精彩片段，以及假如该目前画面的移动向量总和不大于该视频阀值，则该后处理器不会以该目前画面作为一视频精彩片段。
16.如权利要求1所述的装置，其中，该多个音频参数中一音频参数是音量，该后处理器比较一目前画面的音量和该音频阀值，假如该目前画面的音量比该音频阀值大，则该后处理器以该目前画面作为一音频精彩片段，以及假如该目前画面的音量不大于该音频阀值，该后处理器不会以该目前画面作为一音频精彩片段。
17.如权利要求1所述的装置，其中，该多个音频参数中一音频参数是过零率，该后处理器比较一目前画面的过零率和该音频阀值，假如该目前画面的过零率较该音频阀值大，则该后处理器将以该目前画面作为一音频精彩片段，以及假如该目前画面的过零率未大于该音频阀值，则该后处理器不会以该目前画面作为一音频精彩片段。
18.如权利要求1所述的装置，其中，该后处理器优先决定该多个视频精彩片段，之后才决定该多个音频精彩片段，并且根据该多个音频精彩片段处理该多个视频精彩片段以决定该媒体数据流的精彩片段。
19.如权利要求1所述的装置，其中，该后处理器优先决定该多个音频精彩片段，之后才决定该多个视频精彩片段，并且根据该多个视频精彩片段处理该多个音频精彩片段以决定该媒体数据流的精彩片段。
20.如权利要求1所述的装置，其中，该后处理器在同一时间决定该多个视频精彩片段与该多个音频精彩片段，以决定该媒体数据流的精彩片段
21.如权利要求1所述的装置，其中，该多个音频参数和该多个视频参数是针对不同预设环境来分别加以设定。
22.如权利要求1所述的装置，其中，该后处理器另结合位在该媒体数据流的精彩片段之前或者之后的多个镜头以建立一完整的精彩片段。
23.一种检测一媒体数据流的精彩片段的方法，该方法包含：
决定一视频阀值；
决定至少一音频阀值；
检测一镜头转换以将该媒体数据流区分为数个镜头；以及
根据多个视频参数和该视频阀值来决定出多个视频精彩片段，根据多个音频参数和该音频阀值来决定出多个音频精彩片段，然后根据该多个视频精彩片段和该多个音频精彩片段来决定该媒体数据流的精彩片段。
24.如权利要求23所述的方法，其中，决定一视频阀值的步骤包含有：
计算出该媒体数据流中一画面的一移动向量总和；
根据每一镜头中多个画面的多个移动向量总和计算出一第一数值；以及
根据该第一数值计算出该视频阀值。
25.如权利要求24所述的方法，其中，该第一数值是一移动向量平均值，其利用平均该多个画面的该多个移动向量总和而得。
26.如权利要求25所述的方法，其中，该视频阀值是经由该移动向量平均值乘以一加权系数而得。
27.如权利要求24所述的方法，更包含：
将具有一画面个数小于一画面参考值的该镜头的一过零率与一过零率平均值相比较以获得该媒体数据流的精彩片段。
28.如权利要求24所述的方法，更包含：
计算两个相邻画面的一色阶分布差值；
根据该镜头的多个色阶分布差值得到一第二数值；以及
根据该媒体数据流的多个色阶分布差值计算出一色阶分布参考值，当该第二数值小于该色阶分布参考值时，仅根据该第一数值决定该视频阀值。
29.如权利要求28所述的方法，其中，该第二数值是一色阶分布平均值，其经由平均该镜头的该多个色阶分布差值所得，以及该色阶分布参考值是经由平均该媒体数据流中多个色阶分布差值所得。
30.如权利要求23所述的方法，其中，决定至少一音频阀值的步骤包含：
检测该媒体数据流中每个画面的音量；
根据一镜头中画面的音量计算出一数值；以及
根据该数值决定出该音频阀值。
31.如权利要求30所述的方法，其中，该数值是藉由平均该镜头中每个画面的音量而计算出。
32.如权利要求31所述的方法，其中，该音频阀值是藉由平均该媒体数据流中多个音量平均值而得。
33.如权利要求23所述的方法，其中，决定至少一音频阀值的步骤包含：
检测一画面的一过零率；
根据一镜头中画面所计算出的过零率来决定出一第一数值；以及
根据该第一数值决定出该音频阀值。
34.如权利要求33所述的方法，其中，该第一数值是藉由平均该镜头中画面的过零率而得。
35.如权利要求34所述的方法，其中，该音频阀值是藉由平均该媒体数据流中多个过零率而得。
36.如权利要求33所述的方法，更包含：
检测一画面的音量；
根据该镜头中画面的音量计算出一第二数值；以及
根据该第一、二数值决定出该音频阀值。
37.如权利要求23所述的方法，其中，每一视频参数是一移动向量总和，以及该方法另包含有：
比较对应于一目前画面的移动向量总和和该视频阀值，假如该目前画面的移动向量总和大于该视频阀值，则以该目前画面作为一视频精彩片段，假如该目前画面的移动向量总和不大于该视频阀值，则不以该目前画面作为一视频精彩片段。
38.如权利要求23所述的方法，其中，该多个音频参数中一音频参数是音量，该方法更包含：
比较一目前画面的音量和该音频阀值，假如该目前画面的音量大于该音频阀值，则以该目前画面作为一音频精彩片段，假如该目前画面的音量不大于该音频阀值，则不以该目前画面作为一音频精彩片段。
39.如权利要求23所述的方法，其中，该多个音频参数中一音频参数是过零率，该方法更包含：
比较一目前画面的过零率和该音频阀值，假如该目前画面的过零率大于该音频阀值，则以该目前画面作为一音频精彩片段，假如该目前画面的过零率不大于该音频阀值，则不以该目前画面作为一音频精彩片段。
40.如权利要求23所述的方法，其中，决定该媒体数据流的精彩片段的步骤是优先决定该多个视频精彩片段，然后决定该多个音频精彩片段，最后再根据该多个音频精彩片段来处理该多个视频精彩片段以决定该媒体数据流的精彩片段。
41.如权利要求23所述的方法，其中，决定该媒体数据流的精彩片段的步骤是优先决定该多个音频精彩片段，然后决定该多个视频精彩片段，最后再根据该多个视频精彩片段来处理该多个音频精彩片段以决定该媒体数据流的精彩片段。
42.如权利要求23所述的方法，其中，该媒体数据流的精彩片段是同时参考该多个视频精彩片段和该多个音频精彩片段而得。
43.如权利要求23所述的方法，其中，该多个音频参数和该多个视频参数是针对不同预设环境来分别加以设定。
44.如权利要求23所述的方法，其中，决定该媒体数据流的精彩片段的步骤另包含：
结合位在该媒体数据流的精彩片段之前或者之后的多个镜头以建立一完整的精彩片段。
CN2006101107571A 2006-02-09 2006-08-11 用以检测媒体数据流中精彩片段的装置以及相关方法 Expired - Fee Related CN101018347B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/307,496 US7584428B2 (en) 2006-02-09 2006-02-09 Apparatus and method for detecting highlights of media stream
US11/307,496 2006-02-09

Publications (2)

Publication Number Publication Date
CN101018347A true CN101018347A (zh) 2007-08-15
CN101018347B CN101018347B (zh) 2010-07-21

Family

ID=38335404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101107571A Expired - Fee Related CN101018347B (zh) 2006-02-09 2006-08-11 用以检测媒体数据流中精彩片段的装置以及相关方法

Country Status (3)

Country Link
US (1) US7584428B2 (zh)
CN (1) CN101018347B (zh)
TW (1) TWI325722B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547141A (zh) * 2012-02-24 2012-07-04 央视国际网络有限公司 基于体育赛事视频的视频数据筛选方法及装置
CN102595206A (zh) * 2012-02-24 2012-07-18 央视国际网络有限公司 基于体育赛事视频的数据同步方法及装置
CN105898340A (zh) * 2015-11-30 2016-08-24 乐视网信息技术（北京）股份有限公司 现场直播中的关键点提示方法、服务器、用户终端和系统
CN106326910A (zh) * 2015-07-06 2017-01-11 无锡天脉聚源传媒科技有限公司 一种视频镜头的分类标注方法及装置
CN106339655A (zh) * 2015-07-06 2017-01-18 无锡天脉聚源传媒科技有限公司 一种视频镜头标注方法及装置
CN108521612A (zh) * 2018-04-25 2018-09-11 腾讯科技（深圳）有限公司 视频摘要的生成方法、装置、服务器及存储介质
CN113170228A (zh) * 2018-07-30 2021-07-23 斯特兹有限责任公司 用于从视听内容中提取可变长度不相交片段的音频处理
KR20230119248A (ko) * 2019-06-24 2023-08-16 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 클록 드리프트 프로세싱 방법, 네트워크 기능 네트워크엘리먼트들, 및 저장 매체

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132924A1 (en) * 2007-11-15 2009-05-21 Yojak Harshad Vasa System and method to create highlight portions of media content
KR20110023878A (ko) * 2008-06-09 2011-03-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오/비주얼 데이터 스트림의 요약을 생성하기 위한 방법 및 장치
US8805862B2 (en) 2009-08-18 2014-08-12 Industrial Technology Research Institute Video search method using motion vectors and apparatus thereof
WO2012176109A1 (en) * 2011-06-22 2012-12-27 Koninklijke Philips Electronics N.V. Method and apparatus for generating a signal for a display
US9804729B2 (en) * 2013-03-15 2017-10-31 International Business Machines Corporation Presenting key differences between related content from different mediums
US9158435B2 (en) 2013-03-15 2015-10-13 International Business Machines Corporation Synchronizing progress between related content from different mediums
US9495365B2 (en) 2013-03-15 2016-11-15 International Business Machines Corporation Identifying key differences between related content from different mediums
US9693030B2 (en) 2013-09-09 2017-06-27 Arris Enterprises Llc Generating alerts based upon detector outputs
WO2015038749A1 (en) 2013-09-13 2015-03-19 Arris Enterprises, Inc. Content based video content segmentation
US9924148B2 (en) * 2014-02-13 2018-03-20 Echostar Technologies L.L.C. Highlight program
WO2018208638A1 (en) * 2017-05-07 2018-11-15 Invexer Technology Inc. A method of rendering visual presentations of data
US11113229B2 (en) * 2019-06-03 2021-09-07 International Business Machines Corporation Providing a continuation point for a user to recommence consuming content
GB2587627B (en) 2019-10-01 2023-05-03 Sony Interactive Entertainment Inc Apparatus and method for generating a recording
US11949944B2 (en) 2021-12-29 2024-04-02 The Nielsen Company (Us), Llc Methods, systems, articles of manufacture, and apparatus to identify media using screen capture

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6901362B1 (en) * 2000-04-19 2005-05-31 Microsoft Corporation Audio segmentation and classification
US6973256B1 (en) * 2000-10-30 2005-12-06 Koninklijke Philips Electronics N.V. System and method for detecting highlights in a video program using audio properties
JP4036328B2 (ja) * 2002-09-30 2008-01-23 株式会社Ｋｄｄｉ研究所 動画像データのシーン分類装置
CN1233147C (zh) * 2002-12-24 2005-12-21 中国科学院计算技术研究所 在体育比赛视频中检测精彩片断的方法
US7027513B2 (en) * 2003-01-15 2006-04-11 Microsoft Corporation Method and system for extracting key frames from video using a triangle model of motion based on perceived motion energy
US20060059120A1 (en) * 2004-08-27 2006-03-16 Ziyou Xiong Identifying video highlights using audio-visual objects
US20070041706A1 (en) * 2005-08-09 2007-02-22 Sony Corporation Systems and methods for generating multimedia highlight content
US20070292112A1 (en) * 2006-06-15 2007-12-20 Lee Shih-Hung Searching method of searching highlight in film of tennis game

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102595206A (zh) * 2012-02-24 2012-07-18 央视国际网络有限公司 基于体育赛事视频的数据同步方法及装置
CN102595206B (zh) * 2012-02-24 2014-07-02 央视国际网络有限公司 基于体育赛事视频的数据同步方法及装置
CN102547141A (zh) * 2012-02-24 2012-07-04 央视国际网络有限公司 基于体育赛事视频的视频数据筛选方法及装置
CN106339655A (zh) * 2015-07-06 2017-01-18 无锡天脉聚源传媒科技有限公司 一种视频镜头标注方法及装置
CN106326910A (zh) * 2015-07-06 2017-01-11 无锡天脉聚源传媒科技有限公司 一种视频镜头的分类标注方法及装置
WO2017092258A1 (zh) * 2015-11-30 2017-06-08 乐视控股（北京）有限公司 现场直播中的关键点提示方法、服务器、用户终端和系统
CN105898340A (zh) * 2015-11-30 2016-08-24 乐视网信息技术（北京）股份有限公司 现场直播中的关键点提示方法、服务器、用户终端和系统
CN108521612A (zh) * 2018-04-25 2018-09-11 腾讯科技（深圳）有限公司 视频摘要的生成方法、装置、服务器及存储介质
CN108521612B (zh) * 2018-04-25 2021-02-09 腾讯科技（深圳）有限公司 视频摘要的生成方法、装置、服务器及存储介质
CN113170228A (zh) * 2018-07-30 2021-07-23 斯特兹有限责任公司 用于从视听内容中提取可变长度不相交片段的音频处理
CN113170228B (zh) * 2018-07-30 2023-07-14 斯特兹有限责任公司 用于从视听内容中提取可变长度不相交片段的音频处理
KR20230119248A (ko) * 2019-06-24 2023-08-16 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 클록 드리프트 프로세싱 방법, 네트워크 기능 네트워크엘리먼트들, 및 저장 매체
KR102648251B1 (ko) 2019-06-24 2024-03-14 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 클록 드리프트 프로세싱 방법, 네트워크 기능 네트워크 엘리먼트들, 및 저장 매체

Also Published As

Publication number Publication date
TWI325722B (en) 2010-06-01
US20070186163A1 (en) 2007-08-09
TW200731798A (en) 2007-08-16
US7584428B2 (en) 2009-09-01
CN101018347B (zh) 2010-07-21

Similar Documents

Publication Publication Date Title
CN101018347B (zh) 用以检测媒体数据流中精彩片段的装置以及相关方法
KR20110053348A (ko) 에지 검출을 이용하여 깊이 데이터를 생성하기 위한 시스템 및 방법
TW200536389A (en) Intelligent key-frame extraction from a video
KR101519576B1 (ko) 비디오 프레임의 회전을 보정하는 방법 및 장치
CN103763458B (zh) 一种场景变化检测方法及装置
CN102903085A (zh) 基于角点匹配的快速图像拼接方法
CN105427286B (zh) 一种基于灰度和梯度分割的红外目标检测方法
CN105225281B (zh) 一种车辆检测方法
CN110674886B (zh) 一种融合多层级特征的视频目标检测方法
US20230214981A1 (en) Method for detecting appearance defects of a product and electronic device
CN104823437A (zh) 一种图片处理方法、装置
CN103093458A (zh) 关键帧的检测方法及装置
CN108918093A (zh) 一种滤光片镜面缺陷检测方法、装置及终端设备
CN108064006A (zh) 智能音箱及播放控制方法
CN113538223A (zh) 噪声图像生成方法、装置、电子设备及存储介质
US20140185955A1 (en) Blemish detection method
CN110740266A (zh) 图像选帧方法、装置、存储介质及电子设备
CN116320387B (zh) 摄像头模组检测系统及检测方法
US10230955B2 (en) Method and system to detect and utilize attributes of frames in video sequences
JP2003087646A (ja) 撮像装置
CN112616017B (zh) 基于多摄像机交叉摄影的视频全景拼接融合方法和系统
CN104735531B (zh) 基于图像画质分析的3d信号自动识别方法
US7804526B2 (en) Auto white balance method using windows of a plurality of windows that form an image and image photographing apparatus using the same
CN110971781B (zh) 图像处理方法、装置、存储介质及电子设备
CN103489149B (zh) 一种图像获取的方法及一种电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100721

Termination date: 20190811

CF01 Termination of patent right due to non-payment of annual fee