CN102365867B - 渐进视频中的节奏检测 - Google Patents

渐进视频中的节奏检测 Download PDF

Info

Publication number
CN102365867B
CN102365867B CN201080014184.7A CN201080014184A CN102365867B CN 102365867 B CN102365867 B CN 102365867B CN 201080014184 A CN201080014184 A CN 201080014184A CN 102365867 B CN102365867 B CN 102365867B
Authority
CN
China
Prior art keywords
progressive
motion
frame
frames
rhythm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080014184.7A
Other languages
English (en)
Other versions
CN102365867A (zh
Inventor
S·加格
N·巴尔兰姆
M·比斯瓦斯
V·纳布迪里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National LLC
Xinatiekesi Ltd By Share Ltd
Original Assignee
Mawier International Trade Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mawier International Trade Co Ltd filed Critical Mawier International Trade Co Ltd
Publication of CN102365867A publication Critical patent/CN102365867A/zh
Application granted granted Critical
Publication of CN102365867B publication Critical patent/CN102365867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)

Abstract

讨论了与节奏检测相关联的设备、方法以及其他实施方式。在一个实施方式中，一种装置分析渐进视频流并且从渐进视频流确定节奏模式。

Description

渐进视频中的节奏检测
相关申请的交叉引用
本申请要求2009年4月1日提交的序列号为61/165,612的美国临时申请的权益，在此通过引用的方式将该临时申请的全部内容并入。
背景技术
胶片电影是以24Hz的帧速率(例如24帧每秒，fps)拍摄的。虽然先进的数字电视支持24fps并且天然就能够显示电影，但模拟电视和很多数字电视不能。作为结果，电影材料被显示设备(例如DVD播放器或电视)转换为30个交织帧(30i)或60个渐进帧(60p)。为将24Hz上转换到60Hz，将四个渐进电影帧转换为五个交织帧或10个渐进帧。该转换过程称为“3:2抓片(pulldown)”或“2:3抓片”。
在作为视频的回放期间，生成60Hz交织视频流。当将电影转换为交织视频时，每个电影帧被转化为两个或三个视频场(field)，这产生了场的不均匀分布。此外，电影帧可以被分割为奇数和偶数视频场，其中奇数场是只具有奇数像素行的帧，偶数场是只具有偶数像素行的帧。通常，交织视频的奇数和偶数视频帧称为场。
电视电影是用于将电影内容转换为电视/视频形式的术语。节奏(cadence)校正是对视频材料中的原始帧序列的恢复。节奏校正通常用于将把拍摄在胶片上的电影转换为交织视频的电视电影处理逆转回原始的24帧每秒的渐进电影序列。节奏校正是解交织的一部分，其为了应用适当的算法，必须确定原始的电影是利用胶片还是摄像机拍摄的。节奏校正又称为节奏检测、胶片模式检测、逆转电视电影，反转电视电影以及逆转3:2抓片。解交织器处理交织视频并且将视频转换为渐进形式。解交织器不处理已经是渐进形式的输入流。
发明内容
在一个实施方式中，一种装置包括帧运动检测器，该帧运动检测器分析渐进帧并且确定渐进帧之间的运动值。节奏检测器从所分析的渐进帧的运动值确定节奏模式。帧速率转换器至少部分地基于节奏模式生成不同的节奏。
在另一实施方式中，一种解交织器包括运动检测逻辑，该运动检测逻辑分析输入视频流并且确定运动的模式，该运动检测逻辑可在以下两者之间重新配置：当输入视频流是交织流时，确定交织场之间的运动模式；以及当输入视频流是渐进流时，确定渐进帧之间的运动模式。该解交织器进一步包括节奏检测器，该节奏检测器从运动的模式确定节奏模式。转换器至少部分地基于节奏模式将输入视频流转换为不同的节奏。
在另一实施方式中，一种方法包括分析渐进视频流并且比较邻近的渐进帧，以及生成用于帧序列的邻近的渐进帧之间的运动值。然后，该方法生成和存储表示从运动值确定的渐进视频流的节奏模式的节奏信息。然后，至少部分地基于节奏信息将渐进视频流转换为具有不同节奏的流。
附图说明
包含在说明书中并且构成说明书一部分的附图图示了本公开的各种方法以及其他实施方式。应当理解，图中所图示的元件边界(例如框、成组的框或者其他形状)表示边界的一个示例。本领域技术人员将理解，在某些示例中，一个元件可以被设计为多个元件或者多个元件可以被设计为一个元件。在某些示例中，示出为另一元件的内部部件的元件可以实现为外部部件，并且反之亦然。另外，元件可能不是按比例描绘的。
图1图示了与节奏检测相关联的装置的一个实施方式。
图2A图示了运动映射的示例。
图2B图示了用于图2A的运动映射的柱状图的示例。
图2C图示了运动映射的另一示例。
图2D图示了用于图2C的运动映射的柱状图的示例。
图3A图示了解交织器的一个实施方式。
图3B图示了用于控制解交织器的方法的一个实施方式。
图4图示了来自图3A的帧运动检测器和节奏检测器的一个实施方式。
图5图示了用于检测节奏的方法的一个实施方式。
具体实施方式
在此描述的是与渐进视频中的节奏检测相关联的方法以及其他实施方式的示例。在一个实施方式中，本公开涉及从渐进视频输入检测胶片模式的数字视频格式转换器中的视频处理。
下面包括在此采用的所选择的术语的定义。这些定义包括落入术语的范围内并且可以用于实现的部件的各种示例和/或形式。示例并非旨在进行限制。这些定义可以包括术语的单数和复数形式两者。
对“一个实施方式”、“实施方式”、“一个示例”、“示例”等等的引用表明如此描述的实施方式或示例可以包括特定特征、结构、特性、性质、元件或限定，但并非每个实施方式或示例都必然包括特定特征、结构、特性、性质、元件或限定。另外，重复使用短语“在一个实施方式中”虽然有可能是指代相同实施方式，但并非必然指代相同实施方式。
在此所用的“逻辑”包括但不限于硬件、固件、存储在存储器中或者在机器上执行的指令，和/或每一种的组合，以执行功能或动作，和/或引起来自另一逻辑、方法和/或系统的功能或动作。逻辑可以包括软件控制的微处理器、离散逻辑(例如，ASIC)、模拟电路、数字电路、编程的逻辑设备、包含指令的存储器设备等等。逻辑可以包括一个或多个门、门的组合或者其他电路部件。在描述了多个逻辑性逻辑时，有可能将该多个逻辑性逻辑包含到一个物理逻辑中。类似地，在描述了单一的逻辑性逻辑时，有可能将该单一的逻辑性逻辑分布在多个物理逻辑之间。
图1图示了检测渐进视频流中的节奏的装置100的一个实施方式。装置100包括帧运动检测器105和节奏检测器110。在确定了节奏之后，装置100生成节奏状态信息，该节奏状态信息被输出到帧速率转换器120。出于说明的目的，将讨论包含3:2抓片节奏的60Hz渐进(60p)输入视频流。应当理解，可以使用其他帧频率和节奏模式(例如，2:2、2:3:3:2、8:7等等)。
帧运动检测器105从存储器115或其他源接收渐进视频流。渐进视频流由渐进帧形成(例如，60Hz渐进视频流)。帧运动检测器105分析渐进视频流以生成表示在渐进帧之间或跨渐进帧的运动的运动值。节奏检测器110从所分析的渐进帧的运动值确定节奏模式，并且至少部分地基于节奏模式生成用于渐进视频流的节奏状态序列。将所生成的值存储在存储器中。在下面的表1中示出了运动值和节奏状态序列的一个示例。
表1
在表1中，“24p”是原始的24Hz渐进帧流。字母“A”、“B”、“C”等等表示不同的帧A、B、C等。“60p”是60Hz渐进帧流。60p流是通过以3:2帧节奏上转换到60Hz而从24p流生成的。例如，重复帧A三次(A1，A2，A3)，重复帧B两次(B1，B2)并且模式重复。
当接收到诸如60p流之类的视频流时，装置100处理该流以识别帧和帧的模式。这可以通过检测两个邻近帧之间的运动来执行。如果两个邻近帧之间没有运动，则将这些帧宣告为相同帧。如果有运动，则将这些帧宣告为不同帧。
为检测在帧之间/跨帧的运动，帧运动检测器105将序列中的每个帧与其相邻的右边帧相比较，并且生成用于该帧的运动值。例如，在表1中，通过将帧A1与帧A2相比较来确定用于帧A1的帧运动值。在表1中，帧运动值是“0”，这表明没有运动，并且从而帧是相同的。值“1”表明帧是不同的(例如，将A3与B1相比较会产生帧运动值“1”)。
在一个实施方式中，从来自帧A2的像素值中减去帧A1的像素值。如果结果是零，则帧是一样的。如果不一样的帧足够类似，则也可以将它们宣告为相同帧。随着减去像素值后的结果变得远离零，帧更可能不相似。为确保更可靠的确定，可以设置可编程阈值以宣告何时接近零的值宣告两个帧为相同。可以使用其他方法来检测运动，在此在不同的实施方式中讨论这些其他方法。
继续进行帧比较，直到获得足够的运动值以可靠地识别节奏模式为止。对于表1中的3:2模式，运动值是“00101”并且这一模式重复。可以将节奏检测器10编程有具有一个或多个节奏模式，节奏检测器10试图将这些节奏模式与输入帧序列的运动值匹配。当发现匹配时，便确定了节奏。3:2节奏具有“00101”的模式并且这与表1中的运动值匹配。
然后，节奏检测器110生成节奏状态信息，该节奏状态信息被提供给帧速率转换器120。帧速率转换器120将60p渐进流转换/变换为所希望的胶片模式(例如24p平滑电影模式等等)，从而恢复节奏模式。在3:2节奏模式中，每个第五节奏状态值是“0”，这在表1的节奏状态序列中表示。一般地，节奏状态是反映如何在重复的节奏模式中识别帧的序列。在表1中的节奏状态中，“0”状态与含三个重复帧的群组(A1A2A3，C1C2C3，E1E2E3)中的中间帧(例如A2，C2，E2等)相关联。由于3:2模式包括五个帧然后重复，因此针对五个帧对节奏状态进行编号(例如0至4)。利用针对“0”状态值的这一起始点，可以识别节奏模式中的其他帧。例如，在节奏状态“2”处，已知的是发现两帧重复集的第一个帧(例如来自B1B2的B1，或者来自D1D2的D1)。当然，可以使用针对“0”值的不同起始点，并且可以使用不同的编号方案。帧速率转换器120使用节奏状态来确定添加或丢弃哪些帧以生成平滑电影节奏(例如AB；AABB；AAABBB等)。在一个示例中，平滑电影节奏是均衡的或均匀地重复的帧模式，其中存在相等数目的每个帧。例如，选择特定节奏状态，在所选择的状态处的帧被添加或丢弃，以从原始的3:2序列生成平滑电影节奏。某些示例可以包括：a)在节奏状态3处插入帧以导出3:3节奏(例如AAABB变为AAABBB)；b)在节奏状态1处丢弃帧以导出2:2节奏(例如AAABB变为AABB)；或者c)在节奏状态0、2和4处丢弃帧以导出24Hz(例如A2A3B1B2C1变为A3B2)。使用所选择的节奏状态来识别渐进流中帧的插入或丢弃的正确定位。
在另一实施方式中，通过使用像素分片来检测帧之间的运动。例如，帧运动检测器105配置为通过比较来自两个帧的像素分片来将渐进帧与邻近的渐进帧相比较。例如，对于每个帧，限定贯穿该帧的像素分片群组(例如每分片100像素)。确定对应的像素分片之间的运动矢量，并且从来自每个分片的该运动矢量生成运动值的柱状图。至少部分地基于该柱状图生成帧差异值，该帧差异值表明当前渐进帧与邻近的渐进帧是相同的还是不同的。在图2A中示出了一个示例。
参照图2A，示出了针对像素群组的运动矢量的运动映射200的示例。在该映射中，指向左边的箭头表示大多数像素的从右向左的运动。实心点表示该像素从当前帧到下一个帧没有运动。例如，运动映射200可以表示表1的渐进帧A3与B1之间的运动。
帧运动检测器105从运动矢量生成柱状图以确定跨特定像素群组的运动的量。图2B示出了可以从映射200的运动矢量生成的示例柱状图205。柱状图x轴值(例如-2，-1，0...5，6...)可以表示运动矢量的幅度。纵轴表示所发现的具有这种像素幅度的运动矢量的数目。因此，位于值“5”处的最大的柱状图条210将意味着，对于运动映射200中的像素群组，具有幅度为5的运动矢量是出现得最多的矢量。示出了表示在其他方向上的运动矢量(例如负值)或不表示任何运动的运动矢量(例如“0”值)的较小的柱状图条。可以生成用于柱状图的运动值，并且将其存储在存储器中(例如，1对应于运动，或者0对应于无运动)。例如，如果柱状图中的运动矢量的数目达到或超过阈值，则确定存在运动。
针对正在被分析的帧的其他或所有部分生成附加的像素分片和柱状图。一旦完成，就分析柱状图信息和累计的运动值，以确定如果在两个帧之间出现了足够的运动就宣告帧不同，否则就宣告帧相同。在一个实施方式中，可以使用可编程阈值来判断帧是相同的还是不同的。
使用像素分片来确定运动还可以识别帧中不同类型的内容。例如，图2C图示了运动映射215，该运动映射215示出了针对帧的运动矢量。在这一示例中，该帧包含滚动文本的叠加视频。将原始的帧内容示出为区域220并且将滚动文本示出为区域225。该滚动文本可以是滚动新闻更新、滚动股票信息或者其他类型的叠加的移动公告。正如在图2C中看到的那样，区域220主要包括非移动矢量(实心点)，而区域225包括全部移动的矢量(箭头)。
通过生成针对贯穿该帧的像素分片群组的运动矢量，可以生成检测不同类型的内容的柱状图。例如，在运动映射215的情况下，可能导致双模柱状图230(图2D)，其包括2个占主导地位的运动值：在条235处的针对非运动区域220的值“0”以及在条带240处的针对移动区域225的值“5”。通过这一信息，装置100能够确定不同内容区域的位置，并且确定将要由帧速率转换器120应用于视频流的适当的内插比率。例如，将非运动区域220确定为胶片内容，其将被转换为24p。将移动区域225确定为60Hz的视频内容。如果所希望的最终输出流是120Hz，则装置100发送指令给帧速率转换器120，以针对来自胶片区域220的像素执行5x内插，并且针对来自视频区域225的像素执行2x内插。然后相应地生成适当的帧。
图3A图示了处理交织视频流和渐进视频流两者的解交织器300的一个实施方式。该解交织器300包括运动检测逻辑305，该运动检测逻辑305分析输入视频流并且确定运动的模式。运动检测逻辑305可改变为用作两个不同的部件：场运动检测器310或帧运动检测器315。在一个实施方式中，运动检测器逻辑305包括至少部分地在场运动检测器310与帧运动检测器315这两个功能之间共享的硬件。控制器320根据输入视频流的类型来控制运动检测逻辑305的功能性。如果输入流是交织的，则激活场运动检测器310。如果输入流是渐进的，则激活帧运动检测器315。在一个实施方式中，处于激活包括通过运动检测逻辑305的特定部件处理来自输入视频流的信号，以执行场运动检测或帧运动检测。下面更详细地描述这一点。
类似于图1中的节奏检测器110来实现节奏检测器325。节奏检测器325至少部分地基于来自运动检测逻辑305的运动模式来确定输入流的节奏模式(是交织的还是渐进的)。当确定了节奏时，生成节奏信息。如果输入视频流是交织的，则转换器330将该输入视频流转换为渐进流。当输入流已经是渐进形式时，不需要转换。解交织器300向在图1中所描述的帧速率转换器120输出渐进视频流和节奏信息。
在确定输入流是交织流的情况下，激活场运动检测器310以处理该流。虽然在图3中将输入路径图示为依赖于输入流类型的两个单独的路径，但应当理解，可以实现一条进入运动检测逻辑305的输入路径。然后，控制运动检测逻辑305的内部逻辑以不同地处理输入流。
例如，对于交织流，场运动检测器310确定交织流的交织场之间的运动模式。对于渐进流，帧运动检测器315确定渐进帧之间的运动模式。在一个实施方式中，将场运动检测器310和帧运动检测器315被实现为共享部件，并且可以在一个电路裸片上。依赖于输入流的类型，输入信号通过特定部件处理而绕过其他部件。
为处理交织流，解交织器300通过确定交织场之间的运动来检测节奏，然后将交织视频流转换为渐进视频流。表2示出了60Hz交织流(60i)以及对应的帧和场运动值的示例。例如，交织场是从存储器元件(例如从存储器115)被访问的。在场运动检测器310的逻辑中，使用场延迟元件访问三个交织场(例如当前场、上一个场以及下一个场)并且如下所述将它们成对比较。场运动检测器310的配置可以用多种方式实现，并且不详细示出。
表2
在表2中，“24p”是原始的24Hz渐进帧流。如前所述，字母“A”、“B”、“C”等等表示不同的帧A、B、C等。“60p”是使用3:2帧重复通过上转换而从24p流生成的60Hz渐进帧流。“60i”是通过保持来自偶数场中的帧的偶数像素行(同时丢弃奇数像素行)并且保持来自奇数场中的帧的奇数像素行(同时丢弃偶数像素行)而从60p流生成的交织流。例如，“Ae”表示只具有偶数像素行(例如，奇数行被丢弃)的帧“A”，并且“Ao”表示只具有奇数像素行(例如，偶数行被丢弃)的帧A。60i流是将输入到解交织器300的视频流。转换器330通过组合适当的偶数/奇数场(例如Ae+Ao＝A)来生成原始的60p渐进帧。在一个实施方式中，转换器330包括运动自适应解交织器电路，该运动自适应解交织器电路基于节奏模式将交织场编排在一起以生成渐进视频流。
继续参照表2，针对交织流60i的“帧运动”将来自60i流的在当前场的任一侧上的相邻场进行比较。例如，如果当前场是“Ao”，则在“Ao”场之下的帧运动值“0”通过将左边的场(其为Ae，即上一个场)与右边的场(其为Ae，即下一个场)相比较来确定。值“1”意味着场是不同的，并且值“0”意味着它们是相同的。“场运动”将60i流中的每个场与其右边的邻居相比较。针对表2中所示的交织流的帧运动比较不同于针对表1中所示的渐进流的帧运动比较。分析和比较不同元件以确定运动。
在一个实施方式中，将帧运动检测器315实现为场运动检测器310的子集。因此，可以实现两种检测器并且这两种检测器可以共享特定硬件部件。此外，使得帧运动检测器315使用比场运动检测器更少的部件，这是因为该帧运动检测器315需要更少的比较并且不执行从交织到渐进的格式转换。换言之，帧检测器部件由场检测器功能和帧检测器功能两者使用。
对于渐进输入流，控制器320使得或配置运动检测逻辑300以从访问和比较交织流的交织场切换到访问和比较来自渐进流的邻近的渐进帧。在一个实施方式中，可以使用不同数目的数据延迟元件来访问不同的场或帧。例如，使用两个延迟元件来隔开和访问来自输入流的三个场，或者使用一个延迟元件来隔开和访问来自输入流的两个帧。进一步参照图4来描述这一点。在图3B中示出了该方法的一个示例。在350处，接收输入视频流。在355处，确定视频流的形式/类型。在360处，基于该形式，生成一个或多个控制信号以控制解交织器300的部分。在365处，例如，运动检测逻辑305响应于一个或多个控制信号，并且改变从输入视频流访问哪些存储器元件，从而使得访问的是渐进帧而不是交织场。另外，绕过了用于将交织流转换为渐进流的部件。可以包括在运动检测逻辑300中的、用于处理交织流但将被绕过的其他部件是像素场运动检测器和场运动全局累计器(其确定在场之间是否有运动)，以及基于节奏模式和场的编排方向将交织场编排在一起，以生成渐进视频流的运动自适应时间空间混合器。
图4中所图示的是用于实现图3A的帧运动检测器315的逻辑的一个实施方式。场/帧延迟元件405使得从输入流访问当前帧和活动的(live)(下一个)帧。虽然未示出，但在硬件中包括两个场/帧延迟元件405并且当输入流是交织的时，它们将用于把输入流分裂为三个场。场信号线是“活动的”(下一个)场、“当前的”场以及“先前的”场。然而，当处理渐进视频流时，可以使用控制信号来绕过第二延迟元件。因此，只使用“活动的”信号线和“当前的”信号线，其访问如图4所示的活动的(下一个)帧和当前帧。没有图示“先前的”场信号线。因此，在一个实施方式中，将逻辑配置为执行帧运动检测或场运动检测意味着，控制针对特定输入流使用哪些部件以及绕过哪些部件。
场/帧延迟元件405可以是一个或多个寄存器、触发器、锁存器等等。像素帧运动检测器410将来自当前帧与下一个帧的对应像素相比较以确定运动。帧运动全局累计器415累计表示帧之间的总运动的值并且输出针对该帧的运动值(例如如果帧是相同的，则为“0”，如果它们是不同的，则为“1”)。然后，将帧运动值序列输出给节奏检测器325以确定节奏(例如，参见来自表1的帧运动值)。在一个实施方式中，节奏检测器325可编程为从多个节奏模式检测所选择的节奏模式。例如，将运动值与已知节奏模式进行匹配。当发现匹配时，便确定了节奏。在另一实施方式中，类似于图1中示出的帧运动检测器105来实现像素帧运动检测器410和帧运动全局累计器415。
在另一实施方式中，为确定在所比较的两个对象(帧或场)之间是否存在运动，运动检测逻辑305包括可编程阈值。设置可编程阈值以宣告何时所比较的两个交织场是不同的或相同的，并且可以设置不同的阈值以宣告何时所比较的两个渐进场是不同的或相同的。针对输入流的类型设置适当的阈值能够使得运动确定更加可靠。
例如，解交织器300通常不知道交织输入流的源。在到达解交织器300处之前，交织流可能已经经过多次编码和解码处理。作为多次编码/解码的结果，应当一样的场不再一样(例如，场Ae不等于下一个Ae场)。因此，当将场Ae与另一场Ae相比较时，结果可能表明场之间的某些像素运动。在此情况下，可以更积极地设置可编程阈值以将更接近零的比较宣告为相同的场。可能得到更可靠的运动确定，其能够提高节奏确定的可靠性。
参照图5，图示了方法500的一个实施方式，其示出了处理输入视频流和确定其节奏的各个方面。方法500一般地反映了在先前的实施方式中描述的功能的部分。这样，可以从先前的实施方式获得方法500的特定示例和细节。
在505处，接收输入视频流，并且在510处，确定流的形式。如果输入流是渐进视频流，则在515处，分析渐进视频流并且比较邻近的渐进帧。正如在图3B中所描述的那样，一个或多个控制信号可以使得运动检测逻辑305改变从输入视频流访问哪些存储器元件，从而使得访问渐进帧而不是交织场，交织场在方法进行到块535时访问。在520处，生成用于帧序列的邻近的渐进帧之间的运动值。在525处，生成和存储节奏信息，该节奏信息表示从运动值确定的渐进视频流的节奏模式。在530处，至少部分地基于节奏信息将渐进视频流转换为具有不同节奏(例如，平滑电影节奏)的流。
如果在510处该方法确定输入视频流是交织的，则执行解交织处理。在一个实施方式中，该方法包括基于输入视频流的形式而在分析渐进视频流与对解交织视频流解交织之间切换电路。在535处，分析交织流的交织场。在540处，从交织场确定运动值，并且在545处，生成表示交织流的节奏模式的节奏信息。在550处，一旦确定节奏模式，就通过组合和编排适当的场来将交织流转换为解交织的渐进流。然后，该方法继续到530，在此从渐进流生成不同的节奏(例如，平滑电影节奏)。
尽管出于简化说明的目的，将所图示的方法示出和描述为一系列块。但是，应当理解，该方法不受到块的顺序的限制，并且某些块可以按照不同的顺序发生以及/或者与所示出和描述的块的其他块并发地发生。另外，可以使用所图示的块中的非全部来实现该方法。可以将块组合或分成多个部件。另外，附加的和/或替代性的方法可以采用附加的未图示的块。
应当理解，在某些实施方式中，在此描述的方法、设备或者部件的某些或所有可以实现为逻辑，实现为存储在机器可读存储介质上的计算机可执行指令，实现为一个或多个电路等等。这些功能可以在半导体芯片中实现。
尽管已经通过描述示例来说明了示例系统、方法等等，并且尽管已经非常详细地描述了这些示例，但是申请人并非意在将所附权利要求书的范围约束或以任何方式限制为这种细节。当然，为了描述在此描述的系统、方法等等，不可能描述部件或方法的每个能够想到的组合。因此，本发明不限于所示出和描述的特定细节、代表性装置以及说明性示例。因此，本申请旨在涵盖落入所附权利要求书范围内的变更、修改和变型。

Claims (17)

1.一种用于节奏检测的装置，包括：
帧运动检测器，配置为分析由渐进帧形成的渐进视频流并且确定所述渐进帧之间的运动值；
节奏检测器，用于从所分析的渐进帧的所述运动值确定所述渐进帧的节奏模式；以及
帧速率转换器，用于通过至少部分地基于所述节奏模式添加或丢弃来自所述渐进视频流的帧对所述渐进视频流进行转换以具有不同的节奏。
2.根据权利要求1的装置，其中，所述装置被连接为向所述帧速率转换器提供所述渐进帧和节奏状态序列，其中所述节奏状态序列提供用于从所述渐进帧恢复所述节奏模式的指令。
3.根据权利要求1的装置，其中，所述帧运动检测器被配置为通过以下步骤来识别所述渐进视频流内的不同类型的内容：
生成来自所述渐进帧的帧和邻近帧的像素群组的多个分片；
确定来自所述邻近帧的对应分片之间的运动矢量；
使用所述运动矢量来生成针对所述多个分片中的每一个的柱状图，所述柱状图表明所述对应分片中的所述帧与所述邻近帧之间的运动的量；以及
如果所述柱状图是双模柱状图，则确定存在不同类型的内容。
4.根据权利要求1的装置，其中，所述装置实现在解交织器中，所述解交织器配置为将交织视频流转换为所述渐进视频流，其中所述解交织器包括：
场运动检测器，用于访问和比较来自所述交织视频流的场并且确定所述场之间的场运动；以及
控制器，用于通过响应于确定输入了渐进视频而访问和比较帧而不是所述场，来将所述场运动检测器配置为用作所述帧运动检测器。
5.根据权利要求1的装置，其中，所述帧运动检测器被配置为通过以下步骤将渐进帧与邻近的渐进帧相比较：
将来自所述渐进帧和所述邻近的渐进帧的像素分片相比较；
确定所述像素分片之间的运动矢量；
从所述运动矢量生成运动值的柱状图；以及
至少部分地基于所述柱状图生成帧差异值，所述帧差异值表明所述渐进帧是否不同于所述邻近的渐进帧。
6.一种解交织器，包括：
运动检测逻辑，配置为分析输入视频流并且确定运动的模式，所述运动检测逻辑可在以下两者之间重新配置：
当所述输入视频流是交织流时，确定交织场之间的所述运动的模式；以及
当所述输入视频流是渐进流时，确定渐进帧之间的所述运动的模式；
节奏检测器，配置为从所述运动的模式确定节奏模式；以及
转换器，用于通过至少部分地基于所述节奏模式添加或丢弃来自所述渐进视频流的帧对为渐进流的所述输入视频流进行转换以具有不同的节奏。
7.根据权利要求6的解交织器，进一步包括：配置为控制所述运动检测逻辑以使其在比较所述交织流的所述交织场与比较来自所述渐进流的所述渐进帧之间起作用的控制器。
8.根据权利要求6的解交织器，其中，当所述输入视频流是渐进流时，所述运动检测逻辑响应于控制信号而改变从所述输入视频流访问的存储元件以访问所述渐进帧而不是所述交织场。
9.根据权利要求6的解交织器，其中，所述运动检测逻辑可改变为用作场运动检测器或帧运动检测器，并且所述帧运动检测器是所述场运动检测器的子集。
10.根据权利要求6的解交织器，其中，所述运动检测逻辑被配置为通过将每个帧与邻近帧相比较并且确定所述帧是否为不同的帧来分析所述渐进帧。
11.根据权利要求6的解交织器，其中，所述运动检测逻辑包括可编程阈值，所述可编程阈值设置为宣告何时所比较的两个交织场不同以及何时所比较的两个渐进场不同，其中，所述可编程阈值针对所述交织流和针对所述渐进流不同地设置。
12.根据权利要求6的解交织器，其中，所述节奏检测器可编程为从多个节奏模式检测所选择的节奏模式。
13.一种用于节奏检测的方法，包括：
分析渐进视频流并且比较邻近的渐进帧；
生成用于帧序列的邻近的渐进帧之间的运动值；
生成和存储节奏信息，所述节奏信息表示从所述运动值确定的所述渐进视频流的节奏模式；以及
通过至少部分地基于所述节奏信息添加或丢弃来自所述渐进视频流的渐进帧将所述渐进视频流转换为具有不同节奏的流。
14.根据权利要求13的方法，其中，在所述分析以前，所述方法包括：
接收输入视频流；
确定所述输入视频流是交织流还是渐进视频流；
如果确定是交织流，则：
确定来自所述交织流的交织场的场运动；
生成和存储节奏信息，所述节奏信息表示从所述运动值确定的所述交织流的节奏模式；以及
至少部分地基于所述节奏模式将所述交织流转换为解交织的渐进流。
15.根据权利要求13的方法，其中，生成所述运动值包括：
比较来自所述邻近的渐进帧的像素分片；
确定所述像素分片之间的运动矢量；
从所述运动矢量生成运动值的柱状图；以及
至少部分地基于所述柱状图生成帧差异值，所述帧差异值表明所述邻近的渐进帧是否是不同的。
16.根据权利要求13的方法，其中，将所述渐进视频流转换为具有不同节奏的流包括，将所述流生成为具有统一数目的重复帧。
17.根据权利要求13的方法，进一步包括：
接收以渐进视频流或交织视频流形式的输入视频流；
基于所述输入视频流的所述形式而在分析所述渐进视频流与对所述交织视频流解交织之间切换电路。
CN201080014184.7A 2009-04-01 2010-03-29 渐进视频中的节奏检测 Active CN102365867B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16561209P 2009-04-01 2009-04-01
US61/165,612 2009-04-01
PCT/US2010/029003 WO2010120480A1 (en) 2009-04-01 2010-03-29 Cadence detection in progressive video

Publications (2)

Publication Number Publication Date
CN102365867A CN102365867A (zh) 2012-02-29
CN102365867B true CN102365867B (zh) 2015-12-16

Family

ID=42333538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080014184.7A Active CN102365867B (zh) 2009-04-01 2010-03-29 渐进视频中的节奏检测

Country Status (5)

Country Link
US (1) US8619187B2 (zh)
EP (1) EP2415259B1 (zh)
JP (1) JP5709319B2 (zh)
CN (1) CN102365867B (zh)
WO (1) WO2010120480A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8957961B2 (en) * 2006-12-27 2015-02-17 Intel Corporation Method and sytem for telecine detection and restoration
US20100177161A1 (en) * 2009-01-15 2010-07-15 Dell Products L.P. Multiplexed stereoscopic video transmission
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US9094714B2 (en) 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for on-screen graphics detection
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
US8595781B2 (en) 2009-05-29 2013-11-26 Cognitive Media Networks, Inc. Methods for identifying video segments and displaying contextual targeted content on a connected television
TWI448159B (zh) * 2011-02-18 2014-08-01 Novatek Microelectronics Corp 可動視訊態樣偵測裝置與方法
CN102655582B (zh) * 2011-03-04 2015-01-21 联咏科技股份有限公司 可动视讯态样检测装置与方法
CN102655581A (zh) * 2011-03-04 2012-09-05 联咏科技股份有限公司 检测混合模式影片的装置与方法
WO2012137269A1 (ja) * 2011-04-01 2012-10-11 パナソニック株式会社 映像信号のフレームレート変換装置及びその方法、そのフレームレート変換を用いた映像処理装置
CN103477631A (zh) * 2011-04-05 2013-12-25 松下电器产业株式会社 帧频变换方法以及采用该帧频变换方法的视频处理装置
US9148620B2 (en) * 2011-04-11 2015-09-29 Intel Corporation Detecting video formats
JP6255751B2 (ja) * 2012-07-12 2018-01-10 ノーリツプレシジョン株式会社 画像処理プログラムおよび画像処理装置
US8902358B1 (en) 2012-07-26 2014-12-02 Altera Corporation Method and apparatus for performing robust cadence detection in a video deinterlacer
US8836858B1 (en) * 2012-11-16 2014-09-16 Altera Corporation Method and apparatus for performing multi-cadence detection in a motion adaptive video deinterlacer
US9955192B2 (en) 2013-12-23 2018-04-24 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
WO2015132665A2 (en) * 2014-03-07 2015-09-11 Wolf, Lior System and method for the detection and counting of repetitions of repetitive activity via a trained network
GB201407665D0 (en) * 2014-05-01 2014-06-18 Imagination Tech Ltd Cadence analysis for a video signal having an interlaced format
KR102246402B1 (ko) * 2014-10-17 2021-04-30 삼성전자주식회사 디코더, 상기 디코더를 포함하는 애플리케이션 프로세서, 및 상기 디코더의 동작 방법
BR112017016123A2 (pt) 2015-01-30 2018-04-17 Inscape Data Inc servidor de correspondência para identificação de conteúdo de vídeo que é exibido por um sistema de televisão, método executado por computador, e produto de programa informático concretamente incorporado a um meio de armazenamento de leitura por máquina permanente de um dispositivo de informática
CN107949849B (zh) 2015-04-17 2021-10-08 构造数据有限责任公司 缩减大数据集中数据密度的系统和方法
US9918041B1 (en) 2015-04-24 2018-03-13 Synaptics Incorporated Motion adaptive de-interlacing and advanced film mode detection
EP3323245B1 (en) 2015-07-16 2021-08-25 Inscape Data, Inc. Detection of common media segments
US10080062B2 (en) * 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
AU2016291674B2 (en) 2015-07-16 2021-08-26 Inscape Data, Inc. Systems and methods for partitioning search indexes for improved efficiency in identifying media segments
EP3678364B1 (en) 2015-12-16 2023-06-14 GoPro, Inc. Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence
US9787900B2 (en) 2015-12-16 2017-10-10 Gopro, Inc. Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence
US10638047B2 (en) 2015-12-16 2020-04-28 Gopro, Inc. Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence
US9779777B2 (en) * 2015-12-16 2017-10-03 Gopro, Inc. Synchronization of frame rate to a detected cadence in a time lapse image sequence using sampling
TWI664852B (zh) * 2018-03-19 2019-07-01 瑞昱半導體股份有限公司 影像處理裝置及影像處理方法
CN113949930B (zh) * 2020-07-17 2024-03-12 晶晨半导体(上海)股份有限公司 选取参考帧的方法、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1198137A1 (en) * 2000-10-13 2002-04-17 Matsushita Electric Industrial Co., Ltd. Method and apparatus for film mode detection in video fields
CN1694497A (zh) * 2004-04-30 2005-11-09 松下电器产业株式会社 块模式自适应运动补偿

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4579455A (en) 1983-05-09 1986-04-01 Kla Instruments Corporation Photomask inspection apparatus and method with improved defect detection
US6058140A (en) 1995-09-08 2000-05-02 Zapex Technologies, Inc. Method and apparatus for inverse 3:2 pulldown detection using motion estimation information
US6111610A (en) * 1997-12-11 2000-08-29 Faroudja Laboratories, Inc. Displaying film-originated video on high frame rate monitors without motions discontinuities
JP2001024988A (ja) * 1999-07-09 2001-01-26 Hitachi Ltd 画像信号の動き補償フレーム数変換方式および装置
US6940557B2 (en) * 2001-02-08 2005-09-06 Micronas Semiconductors, Inc. Adaptive interlace-to-progressive scan conversion algorithm
KR100926506B1 (ko) 2001-07-30 2009-11-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 플라즈마 디스플레이를 위한 움직임 보상된 상향변환
JP3994720B2 (ja) * 2001-11-12 2007-10-24 松下電器産業株式会社 映像信号処理装置
US7219352B2 (en) 2002-04-15 2007-05-15 Microsoft Corporation Methods and apparatuses for facilitating processing of interlaced video images for progressive video displays
US7154555B2 (en) * 2003-01-10 2006-12-26 Realnetworks, Inc. Automatic deinterlacing and inverse telecine
JP2004328634A (ja) 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
US7558320B2 (en) 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
JP2005027068A (ja) * 2003-07-03 2005-01-27 Pioneer Electronic Corp 映像信号変換装置及び方法
US7580457B2 (en) 2003-10-23 2009-08-25 Broadcom Corporation Unified system for progressive and interlaced video transmission
US7391468B2 (en) 2004-07-06 2008-06-24 Magnum Semiconductor, Inc. Telecine conversion detection for progressive scan playback
US7751632B2 (en) 2005-02-15 2010-07-06 Panasonic Corporation Intelligent, dynamic, long-term digital surveilance media storage system
JP4655218B2 (ja) * 2005-09-16 2011-03-23 ソニー株式会社 信号処理装置および方法、プログラム、並びに記録媒体
US20070171280A1 (en) 2005-10-24 2007-07-26 Qualcomm Incorporated Inverse telecine algorithm based on state machine
TWI327863B (en) 2006-06-19 2010-07-21 Realtek Semiconductor Corp Method and apparatus for processing video data
US7961256B2 (en) * 2006-10-17 2011-06-14 Broadcom Corporation System and method for bad weave detection for inverse telecine
US8233087B2 (en) * 2006-11-08 2012-07-31 Marvell International Ltd. Systems and methods for deinterlacing high-definition and standard-definition video
JP4749314B2 (ja) * 2006-11-28 2011-08-17 富士通株式会社 インタレース／プログレッシブ変換方法および変換装置
JP4181598B2 (ja) * 2006-12-22 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US8134640B2 (en) * 2006-12-26 2012-03-13 Broadcom Corporation Video processor architecture and method for frame rate conversion
US8542747B2 (en) * 2006-12-26 2013-09-24 Broadcom Corporation Low latency cadence detection for frame rate conversion
US8115866B2 (en) 2006-12-29 2012-02-14 Texas Instruments Incorporated Method for detecting film pulldown cadences
TWI342714B (en) 2007-05-16 2011-05-21 Himax Tech Ltd Apparatus and method for frame rate up conversion
US8300958B2 (en) 2007-07-11 2012-10-30 Samsung Electronics Co., Ltd. System and method for detecting scrolling text in mixed mode film and video
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US20090161766A1 (en) 2007-12-21 2009-06-25 Novafora, Inc. System and Method for Processing Video Content Having Redundant Pixel Values
US8125524B2 (en) * 2008-12-12 2012-02-28 Nxp B.V. System and method for the detection of de-interlacing of scaled video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1198137A1 (en) * 2000-10-13 2002-04-17 Matsushita Electric Industrial Co., Ltd. Method and apparatus for film mode detection in video fields
CN1694497A (zh) * 2004-04-30 2005-11-09 松下电器产业株式会社 块模式自适应运动补偿

Also Published As

Publication number Publication date
US8619187B2 (en) 2013-12-31
EP2415259A1 (en) 2012-02-08
EP2415259B1 (en) 2015-09-16
CN102365867A (zh) 2012-02-29
WO2010120480A1 (en) 2010-10-21
JP5709319B2 (ja) 2015-04-30
US20100253838A1 (en) 2010-10-07
JP2012523161A (ja) 2012-09-27

Similar Documents

Publication Publication Date Title
CN102365867B (zh) 渐进视频中的节奏检测
US8768103B2 (en) Video processing apparatus and video display apparatus
US20090060042A1 (en) System and method for motion vector collection based on k-means clustering for motion compensated interpolation of digital video
FI96563B (fi) Liike-estimoija
EP0535746A2 (en) Motion vector estimation, motion picture encoding and storage
JPH10145779A (ja) フィールド検出装置およびフィールド検出方法、画像符号化装置および画像符号化方法、並びに記録媒体および記録方法
WO1997022083A1 (en) Method and apparatus for motion estimation in a video signal
US20100309372A1 (en) Method And System For Motion Compensated Video De-Interlacing
US5793443A (en) Motion vector detection circuit
US8345764B2 (en) Motion estimation device having motion estimation processing elements with adder tree arrays
JP2008536429A (ja) 領域の動的なアスペクト比を用いた領域ベース３ｄｒｓ動き推定
US20110194605A1 (en) Method for video-coding a series of digitized pictures
CN1853416A (zh) 运动矢量场的再定时
CN1507265A (zh) 非隔行扫描的装置和方法
Song et al. Improving RGB-D salient object detection via modality-aware decoder
CN1536876A (zh) 隔行与逐行视频信号的帧频转换方法
US8279936B1 (en) Method and apparatus for fractional pixel expansion and motion vector selection in a video codec
US5982910A (en) Method and circuit arrangement for undersampling in the case of movement estimation
JP2010521118A (ja) 圧縮したビデオ源からのマルチフレーム動画の推定
US20040196918A1 (en) Low-latency high-speed trellis decoder
KR20060010776A (ko) 비디오 데이터 처리 방법 및 데이터 프레임의 제 1 블럭에대한 움직임 벡터 생성 방법
CN1110209C (zh) 用于预测运动的设备及其相应的图像压缩系统
Yeo et al. A modular high-throughput architecture for logarithmic search block-matching motion estimation
CN101437136B (zh) 图像处理设备
CN100340118C (zh) 运动估计的超大规模集成电路体系结构及数据缓存的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20171019

Address after: Bermuda Hamilton

Patentee after: Maver International Ltd.

Address before: Babado J San Mega Le

Patentee before: Mawier International Trade Co., Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180705

Address after: American California

Co-patentee after: National limited liability company

Patentee after: Xinatiekesi Limited by Share Ltd

Address before: Bermuda Hamilton

Patentee before: Maver International Ltd.

TR01 Transfer of patent right