CN101926174A - 自适应图片组(agop)结构确定 - Google Patents

自适应图片组(agop)结构确定 Download PDF

Info

Publication number
CN101926174A
CN101926174A CN2008801254756A CN200880125475A CN101926174A CN 101926174 A CN101926174 A CN 101926174A CN 2008801254756 A CN2008801254756 A CN 2008801254756A CN 200880125475 A CN200880125475 A CN 200880125475A CN 101926174 A CN101926174 A CN 101926174A
Authority
CN
China
Prior art keywords
crosscorrelation
rank
video
frame
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2008801254756A
Other languages
English (en)
Inventor
史考特·T·斯瓦泽伊
塞伊富拉·哈利特·奥古兹
阿密特·罗哈吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101926174A publication Critical patent/CN101926174A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)

Abstract

本发明针对用于基于视频序列中所包括的多个帧之间的交叉相关来确定所述帧中的每一者的图片类型的技术。所述交叉相关包括所述视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关及若干对所述第一阶交叉相关之间的第二阶交叉相关。可分析所述第一阶交叉相关以检测所述帧之间的视频转变效果。可比较分析所述第一阶交叉相关及所述第二阶交叉相关以确定所述帧之间的时间相似性。因此，所述基于相关的确定技术基于所述视频转变效果及所述时间相似性来确定所述帧的图片类型。所述基于相关的确定技术可计算若干对帧内的图像之间或若干对帧内的子图像集合之间的第一阶交叉相关，接着在所述若干对帧中的每一对帧的所述子图像上求所述第一阶交叉相关的平均值。

Description

自适应图片组(AGOP)结构确定
技术领域
本发明涉及视频数据的编码，且更确切地说，涉及自适应地确定视频数据的图片组(GOP)结构。
背景技术
已建立用于对数字视频序列编码的若干不同视频编码标准。举例来说，运动图片专家组(MPEG)已开发出若干标准，包括MPEG-1(第2部分)、MPEG-2(第2部分)及MPEG-4(第2部分)。其它实例包括国际电信联盟(ITU-T)H.261及H.263标准及也在MPEG-4第10部分中陈述的标题为“高级视频编码，AVC(Advanced Video Coding，AVC)”的ITU-T H.264标准。这些视频编码标准通常通过以压缩方式对数据进行编码而支持视频序列的改进的传输及存储效率。压缩减少需要传输或存储以供有效传输或存储视频帧的数据总量。在许多情形(包括视频串流、视频摄录机、个人视频记录器(PVR)、数字视频记录器(DVR)、视频电话(VT)、视频会议、视频CD(VCD)及数字通用/视频光盘(DVD)上的数字视频分配及视频广播应用)下，经由有线及无线传输媒体两者且在磁性及光学存储媒体两者上使用视频编码。
MPEG-1、MPEG-2、MPEG-4、ITU-T H.261、ITU-T H.263及ITU-T H.264标准支持利用连续视频帧之间的相似性(被称作时间或帧间相关)的视频编码技术以提供帧间压缩。这些标准还支持利用个别视频帧内的相似性(被称作空间或帧内相关)的视频编码技术以提供帧内压缩。帧间压缩技术通过将视频帧的基于像素的表示转换为基于像素块的平移运动表示来跨越邻近或紧密间隔的视频帧而采用数据冗余。使用帧间技术来编码的视频帧通常被称作P(“经预测的”)帧或B(“双向预测性”)帧。使用空间压缩来编码通常被称作I(“帧内”)帧的一些帧，其可为非预测性的(亦即，如在H.264前标准中，仅基于变换编码)或预测性的(亦即，如在H.264中，基于空间预测及变换编码两者)。此外，一些帧可包括经帧内编码的块与经帧间编码的块两者的组合。这些编码标准提供非常适于无线视频广播应用的高度有效的编码。
在使用上文提及的有效编码标准中的任一者来执行编码之前，编码装置可将所接收的视频序列分割为包括多个帧的图片组(GOP)结构。编码装置可接着在对视频数据进行编码以用于传输或存储之前确定GOP结构中所包括的帧中的每一者的图片编码类型。以图片编码类型来确定GOP结构对于编码效率而言是重要的。因此，不仅对先前未压缩的原始视频数据起作用的编码方案受益于GOP结构确定。对先前压缩的视频数据起作用的代码转换方案也可受益。举例来说，无线视频广播所需要的一些视频数据(例如，数字电视信号)是以其原始形式使用例如MPEG-2(第2部分)的不提供当前最有效的压缩的视频编码标准来编码的。在此情况下，代码转换器可将视频数据转换为例如ITU-TH.264的提供较有效的压缩以用于无线视频广播的编码标准。为转换视频数据，代码转换器可首先将视频数据从第一编码标准解码，且可接着在使用较适用于无线视频广播的第二编码标准来对视频数据进行重新编码之前将视频序列分割为GOP结构且执行GOP结构确定。
因为视频信号随时间改变其统计性质，所以编码装置应调适GOP结构以便在对于最有效压缩而言所可能的最大程度上采用可用的时间冗余。总地来说，编码装置基于周围帧的内容及对例如剪辑场景改变(cut scene change)、闪光帧(flash frame)、交叉淡化(cross-fade)及相机摇摄(pan)与卷动(scroll)的视频转变效果的识别来自适应地确定GOP结构内的候选帧的图片编码类型。现有自适应GOP(AGOP)结构确定方法包括使用直方图或方差测量、基于边缘确定的算法及基于运动向量场演变或时间预测效率量度的算法来分析亮度信号及色度信号两者的统计特征。然而，现有AGOP结构确定方法对于实现日益复杂的无线视频广播应用所需要的有效压缩而言可能不够准确。
发明内容
总地来说，本发明是针对用于基于视频序列中所包括的多个帧之间的交叉相关来确定所述帧中的每一者的图片编码类型的技术。更具体来说，所述技术可基于图片组(GOP)结构中所包括的帧之间的交叉相关来自适应地确定所述帧的图片类型。所述交叉相关包括所述视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关及若干对所述第一阶交叉相关之间的第二阶交叉相关。可分析所述第一阶交叉相关以检测所述帧之间的视频转变效果。可比较分析所述第一阶交叉相关及所述第二阶交叉相关以确定相邻帧之间的时间相似性。因此，基于相关的确定技术基于所述视频转变效果及所述时间相似性将所述帧的图片类型确定为P(“经预测的”)、B(“双向预测性”)或I(“帧内”)图片。
在一个方面中，一种基于图像相关的确定技术计算所述视频序列中所包括的若干对帧内的图像之间的所述第一阶交叉相关。所述基于图像相关的确定技术可确定全帧的图片类型。在另一方面中，一种基于子图像相关的确定技术计算所述视频序列中所包括的若干对帧内的子图像(例如，宏块)的集合之间的所述第一阶交叉相关，且在所述若干对帧中的每一对帧的所述子图像的全部或一部分上求所述交叉相关的平均值。此外，可将所述视频序列中所包括的所述帧中的每一者划分为多个片断以使得所述基于子图像相关的确定技术可确定所述帧中的每一者的所述个别片断的图片类型。
可在由实时或非实时编码装置利用的基于相关的自适应图片组(AGOP)结构确定模块内执行本文中所描述的技术。在一些方面中，可使用所述基于相关的AGOP结构确定模块作为在实时编码装置中实施的其它AGOP结构确定方法可与之比较的离线基准。在其它方面中，所述基于相关的AGOP结构确定模块可在实时或非实时编码装置中实施。在实时编码装置的情况下，可通过适当的复杂性降低来实施所述基于相关的AGOP结构确定模块以使得能够进行对图片类型的实时确定。
作为一实例，可由实时或非实时代码转换器利用所述基于相关的AGOP结构确定模块以用于对先前压缩的视频数据进行重新编码。所述代码转换器可通过例如ITU-TH.264的提供有效的帧间及帧内压缩的编码标准来对所述视频数据重新编码。所述技术可尤其适用于需要高度有效的数据压缩的无线视频广播应用。作为另一实例，可由对先前未压缩的原始视频数据起作用的实时或非实时、单遍或多遍视频编码器利用所述基于相关的AGOP结构确定模块。
在一个方面中，本发明提供一种方法，其包含计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关及计算若干对所述第一阶交叉相关之间的第二阶交叉相关。所述方法进一步包含基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型。
在另一方面中，本发明提供一种装置，其包含相关器，所述相关器计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关且计算若干对所述第一阶交叉相关之间的第二阶交叉相关。所述装置还包括图片类型确定模块，所述图片类型确定模块基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型。
在另一方面中，本发明提供一种包含计算机可读媒体的计算机程序产品，所述计算机可读媒体包含指令。所述指令使计算机计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关，计算若干对所述第一阶交叉相关之间的第二阶交叉相关且基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型。
在又一方面中，本发明提供一种装置，其包含用于计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关及若干对所述第一阶交叉相关之间的第二阶交叉相关的装置。所述装置还包含用于基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型的装置。
在另一方面中，本发明提供一种无线通信装置手持机，其包含相关器，所述相关器计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关且计算若干对所述第一阶交叉相关之间的第二阶交叉相关。所述手持机进一步包含图片类型确定模块，所述图片类型确定模块基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型。
在又一方面中，本发明提供一种包含至少一个处理器的用于处理数字图像数据的集成电路装置，所述至少一个处理器经配置以计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关，计算若干对所述第一阶交叉相关之间的第二阶交叉相关且基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型。
在一额外方面中，本发明提供一种系统，其包含编码装置，所述编码装置包括将视频数据分割为包括多个帧的GOP结构的GOP分割器及实时地确定所述GOP结构中所包括的所述帧的图片类型的AGOP结构确定模块。所述系统还包括定位在所述代码转换器外部的基于相关的AGOP结构确定模块，其基于所述GOP结构中所包括的若干对帧内的图像信息之间的第一阶交叉相关及若干对第一阶交叉相关之间的第二阶交叉相关来确定所述帧的基准图片类型。所述系统进一步包含基准比较器，其将所述图片类型与所述基准图片类型比较以确定所述集成在所述编码装置中的AGOP结构确定模块的准确度。
在另一方面中，本发明提供一种编码装置，其包含GOP分割器，所述GOP分割器将视频数据分割为包括多个帧的GOP结构。所述编码装置还包含基于相关的AGOP结构确定模块，其基于所述GOP结构中所包括的若干对帧内的图像信息之间的第一阶交叉相关及若干对第一阶交叉相关之间的第二阶交叉相关来实时地确定所述帧的图片类型。在一种情况下，所述编码装置可包含对先前压缩的视频数据起作用的实时或非实时代码转换器。在另一情况下，所述编码装置可包含对先前未压缩的原始视频数据起作用的实时或非实时编码器。
本发明中所描述的技术可以硬件、软件、固件或其任一组合实施。如果以软件实施，则所述软件可在计算机中执行。起初可将所述软件存储为指令、程序代码或其类似物。因此，本发明还预期一种包含计算机可读媒体的用于处理视频数据的计算机程序产品，其中所述计算机可读媒体包含用于使计算机执行根据本发明的技术及功能的指令。或者，如果以硬件实施，则所述硬件实施方案可为数字的、模拟的或两者兼有。本发明的方面可在计算机可读媒体或包含计算机可读媒体的计算机程序产品中实施。计算机程序产品可包括封装材料。
在随附图式及以下描述中阐明了各种实例的额外细节。其它特征、目标、优势及实例将通过描述及图式且通过权利要求书变得显而易见。
附图说明
图1为说明作为在实时代码转换器中实施的AGOP结构确定模块可与之比较的离线基准的基于相关的AGOP结构确定模块的示范性实施的框图。
图2为说明在实时代码转换器中实施的基于相关的AGOP结构确定模块的示范性实施的框图。
图3为说明作为在实时编码器中实施的AGOP结构确定模块可与之比较的离线基准的基于相关的AGOP结构确定模块的示范性实施的框图。
图4为说明在实时编码器中实施的基于相关的AGOP结构确定模块的示范性实施的框图。
图5为说明作为由实时编码装置利用的离线基准的来自图1及图3的基于相关的AGOP结构确定模块的示范性操作的流程图。
图6为说明在实时或非实时编码装置中实施的来自图2及图4的基于相关的AGOP结构确定模块的示范性操作的流程图。
图7为更详细地说明来自图1到图4的基于相关的AGOP结构确定模块的框图。
图8A到图8C为说明视频序列中所包括的帧之间的第一阶交叉相关及第二阶交叉相关的图式。
图9为说明来自图7的基于相关的AGOP结构确定模块中所包括的相关器的示范性实施的框图。
图10为说明来自图7的基于相关的AGOP结构确定模块中所包括的相关器的另一示范性实施的框图。
图11为说明来自图7的基于相关的AGOP结构确定模块中所包括的相关分析器的示范性实施的框图。
图12为说明作为来自图11的相关分析器中所包括的视频转变检测器的一部分的紧凑支持事件检测器的框图。
图13为说明作为来自图11的相关分析器中所包括的视频转变检测器的一部分的扩展支持事件检测器的框图。
图14为说明作为来自图11的相关分析器中所包括的视频转变检测器的一部分的全局运动检测器的框图。
图15为说明基于相关的AGOP结构确定模块基于图像交叉相关来确定视频序列中所包括的帧的图片类型的示范性操作的流程图。
图16为说明基于相关的AGOP结构确定模块基于子图像交叉相关来确定视频序列中所包括的帧的图片类型的示范性操作的流程图。
图17为说明包括剪辑场景改变指纹及闪光帧指纹的来自图12的紧凑支持事件检测器的输出的曲线图。
图18为说明包括部分场景改变指纹的来自图12的紧凑支持事件检测器的输出的曲线图。
图19为说明包括交叉淡化指纹的来自图13的扩展支持事件检测器的输出的曲线图。
图20A及图20B为说明包括相机摇摄指纹及相机卷动指纹的来自图14的全局运动检测器的输出的曲线图。
具体实施方式
本发明描述用于基于视频序列中所包括的多个帧之间的交叉相关来确定所述帧中的每一者的图片类型的技术。所述交叉相关包括所述视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关及若干对所述第一阶交叉相关之间的第二阶交叉相关。可分析所述第一阶交叉相关以检测所述帧之间的视频转变效果，例如，剪辑场景改变、闪光帧、交叉淡化及相机摇摄与卷动。可比较分析所述第一阶交叉相关及所述第二阶交叉相关以确定所述帧之间的时间相似性。因此，所述基于相关的确定技术基于所述视频转变效果及所述时间相似性来确定所述帧的图片类型。所述基于相关的确定技术可计算若干对帧内的图像之间或若干对帧内的子图像(例如，宏块)的集合之间的第一阶交叉相关，在所述若干对帧中的每一对帧的所述子图像的全部或一部分上求所述第一阶交叉相关的平均值。
更具体来说，所述技术可基于图片组(GOP)结构中所包括的帧之间的交叉相关来自适应地确定所述帧的图片类型。GOP结构基于帧内及帧间编码技术而将视频数据的长序列分割为可管理的数据集合。举例来说，GOP结构通常以I(“帧内”)帧开始，继之以P(“经预测的”)帧(其指的是先前I及P帧)或B(“双向预测性”)帧(其指的是先前及后续I及P帧)。在一些情况下，GOP结构可为闭合式的，以使得GOP结构中所包括的帧形成可在不参考GOP结构外的帧的情况下完全解码的自含单元。在其它情况下，GOP结构可为开放式的，以使得GOP结构中所包括的帧可参考GOP结构外的帧。
可在基于相关的自适应图片组(AGOP)结构确定模块内执行本文中所描述的技术，所述基于相关的自适应图片组(AGOP)结构确定模块能够确定GOP结构中所包括的多个帧中的每一者的图片类型且更新所述GOP结构以指定所述帧中的每一者的所确定的图片类型。从编码效率的观点来说，本文中所描述的基于相关的AGOP结构确定技术在确定GOP结构中所包括的帧的图片类型时实现高水平的准确度且可被视为AGOP结构确定技术的“黄金标准”。基于相关的AGOP确定模块的输出展现时间相似性量度的直观行为且以高敏感度提供关于相关动态特性的信息。此外，基于相关的AGOP确定模块的性能在很大程度上取决于帧内容、速率-失真最佳化特性及编码带宽机制(encodingbandwidth regime)特性。
图1为说明作为在实时代码转换器10中实施的AGOP结构确定模块18可与之比较的离线基准的基于相关的AGOP结构确定模块22的示范性实施的框图。代码转换器10可至少部分形成为可被统称为集成电路装置的一个或一个以上集成电路装置。在一些方面中，代码转换器10可形成例如移动电话的无线通信装置手持机的一部分。如图1中所说明，代码转换器10包括解码器11、预处理器12及编码器14。预处理器12包括GOP分割器16且编码器14包括AGOP结构确定模块18。在其它实施方案中，可在预处理器12与编码器14之间划分AGOP结构确定模块18的功能。
代码转换器10从视频数据提供者接收包括经编码的视频数据的视频序列。视频序列可包含使用一视频编码标准来编码的视频数据，所述视频编码标准不支持最有效地利用连续帧之间或单个帧内的相似性的算法。举例来说，视频序列可包含使用MPEG-2(第2部分)来编码的数字电视数据，所述MPEG-2(第2部分)不提供当前最有效的帧间及帧内压缩。然而，许多视频应用(特别是无线视频广播应用)需要由例如ITU-T H.264的更高级的编码标准提供的高度有效的数据压缩，所述更高级的编码标准通过较复杂的算法来利用帧间及帧内的数据冗余。因此，代码转换器10可将视频序列转换为另一更高级的编码标准。举例来说，代码转换器10可对所述视频序列进行重新编码以使视频帧对无线视频广播、有效存储或需要高度有效的数据压缩的其它应用或服务作好准备。
为了转换视频序列，解码器11将视频序列从较低效的原始编码标准解码。预处理器12内的GOP分割器16接着将经解码的视频序列分割为包括多个帧的GOP结构。GOP分割器16可根据基于使得能够进行视频序列的均匀I帧间隔的随机存取的预定GOP结构大小或根据使得能够进行视频序列内的I个帧的随机存取的随机定位而将经解码的视频序列分割为帧群组。举例来说，GOP分割器16可将经解码的视频序列分割为约三十个帧的若干群组，其中每一群组以一I帧开始。
编码器14内的AGOP结构确定模块18确定由GOP分割器16产生的GOP结构中所包括的帧中的每一者的图片类型。AGOP结构确定模块18可执行任何非基于相关的AGOP结构确定技术。举例来说，AGOP结构确定模块18可使用直方图或方差测量、基于边缘确定的算法或基于运动向量场演变或时间预测效率量度的算法来执行对亮度信号及色度信号的统计特征的分析以确定GOP结构中所包括的帧的图片类型。编码器14接着使用所要编码标准来对帧进行重新编码且将所述经重新编码的帧发送到发射器以用于无线视频广播、发送到存储装置以用于存储或发送到其它设备以用于需要高度有效的数据压缩的应用或服务。
根据本发明的一方面，基于相关的AGOP结构确定模块22可定位在代码转换器10外部以作为在代码转换器10中实施的AGOP结构确定模块18可与之比较的离线基准。基于相关的AGOP结构确定模块22基于由GOP分割器16产生的GOP结构中所包括的帧之间的交叉相关来确定所述帧中的每一者的基准图片类型。
由基于相关的AGOP结构确定模块22执行的交叉相关计算可包括GOP结构中所包括的若干对帧内的图像信息之间的第一阶交叉相关及若干对所述第一阶交叉相关之间的第二阶交叉相关。可在像素域中计算第一阶交叉相关计算。可分析所述第一阶交叉相关以检测所述帧之间的视频转变效果。可比较分析所述第一阶交叉相关及所述第二阶交叉相关以确定相邻帧之间的时间相似性。以此方式，基于相关的AGOP结构确定模块22基于视频转变及时间相似性来确定所述帧的图片类型。
视频转变效果指用以从一视频序列的当前场景转变到同一视频序列的另一场景或另一视频序列的另一场景的视觉视频效果。总地来说，可将视频转变效果划分为三类：例如剪辑场景改变、镜头边界及闪光帧的紧凑支持效果(compact support effect)；例如交叉淡化及溶解(dissolve)的扩展支持效果；及例如相机摇摄与相机卷动的全局运动效果。时间相似性指当前帧与相邻帧之间的图像内容或细节重复程度。测量时间相似性可帮助确定当前帧是否包括适于编码为P、B或I图片的内容。举例来说，如果当前帧不类似于任何相邻帧，则应将当前帧编码为I图片。如果当前帧类似于先前相邻帧但不类似于后续相邻帧，则应将当前帧编码为P图片。如果当前帧类似于先前相邻帧及后续相邻帧，则应将其编码为P图片或B图片。
在一个方面中，基于相关的AGOP结构确定模块22计算所述GOP结构中所包括的若干对帧内的图像之间的第一阶交叉相关。第一阶图像交叉相关识别所述若干对帧之间的全局(亦即，总体)相似性及全局移动的量，但不识别在帧内在较小规模的子图像处发生的移动。在此情况下，基于相关的AGOP结构确定模块22可确定全帧的图片类型。
在另一方面中，基于相关的AGOP结构确定模块22计算GOP结构中所包括的若干对帧内的子图像(例如，宏块)的集合之间的第一阶交叉相关且在所述若干对帧中的每一对帧的子图像的全部或一部分上求所述交叉相关的平均值。第一阶子图像交叉相关识别所述若干对帧之间的子图像相似性及移动量，且识别在帧内于何处发生移动。在此情况下，基于相关的AGOP结构确定模块22通过添加填充像素来填充子图像集合中的每一子图像以实现共同图像大小。以此方式，基于相关的AGOP结构确定模块22可使第一帧内的经填充的子图像中的每一者与第二帧内的具有潜在不同的原始大小的经填充的子图像交叉相关。举例来说，一子图像可包含一可填充为64×64图像的16×16宏块。在其它实例中，子图像可包含16×8、8×16、8×8或更小的像素块。此外，可将所述视频序列中所包括的所述帧中的每一者划分为多个片断，以使得基于相关的AGOP结构确定模块22可确定所述帧中的每一者的个别片断的图片类型。
从编码效率的观点来说，基于相关的AGOP结构确定模块22在确定GOP结构中所包括的帧的图片类型时实现高水平的准确度，以使得其可被视为用于评估其它AGOP确定技术的“黄金标准”。基准比较器20将由AGOP结构确定模块18实时确定的图片类型与由基于相关的AGOP结构确定模块22确定的基准图片类型比较以确定集成在实时代码转换器10中的AGOP结构确定模块18的准确度。以此方式，在实施于代码转换器10内之前，AGOP结构确定模块18的改变可根据基于相关的AGOP结构确定模块22的“黄金标准”来加以测试。
准确地确定GOP结构中所包括的帧的图片类型减少所需编码位速率且使得能够进行帧的有效压缩。举例来说，准确地确定I、P及B帧的GOP结构允许编码器14通过利用帧的不同冗余类型及相依结构、针对帧的不同复杂性而利用适当的压缩工具集合及支持例如广播应用的通道切换的应用特定要求来有效地对帧进行编码。以此方式，编码器14可改进代码转换器10内的速率-失真权衡。此外，依赖于内容的图片类型确定使编码器14能够更好地利用信号相关以用于改进的编码效率及视频转变的更好处置。
编码器14可根据例如MPEG-2(第2部分)、MPEG-4(第2部分)、ITU-T H.263或ITU-T H.264/MPEG-4(第10部分)高级视频编码(AVC)的视频压缩标准来操作。虽然图1中未图示，但在一些方面中，编码器14可与音频解码器及编码器集成，且包括适当的多路复用器-多路分用器单元或其它硬件及软件，以处置在共同数据流中或作为单独数据流的音频及视频两者的编码。如果适用，则多路复用器-多路分用器单元可遵照ITU-T H.223多路复用器协议或例如用户数据报协议(UDP)的其它协议。
H.264/MPEG-4第10部分(AVC)标准由ITU-T视频编码专家组(VCEG)与ISO/IEC运动图片专家组(MPEG)一起制定以作为被称作联合视频团队(JVT)的集体合伙关系的产品。H.264标准由ITU-T研究组描述于ITU-T建议H.264“一般音视频服务的高级视频编码(Advanced video coding for generic audiovisual services)”中，且标注日期为2005年3月，所述建议在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。
联合视频团队(JVT)继续从事H.264/MPEG-4AVC的可缩放视频编码(SVC)扩展。演进SVC扩展的规范采取联合草案(JD)的形式。由JVT建立的联合可缩放视频模型(JSVM)实施用于在可缩放视频编码中使用的工具，所述工具可在代码转换器10内使用以用于本发明中所描述的各种编码任务。关于精细粒度可缩放性(FGS)编码的详细信息可在联合草案文献中找到，例如，在托马斯·维根德(Thomas Wiegand)、盖瑞·苏里文(Gary Sullivan)、朱里安·瑞切尔(Julien Reichel)、海克·斯华兹(Heiko Schwarz)及马瑟亚斯·维恩(Mathias Wien)的联合草案6(SVC JD6)“联合草案6：可缩放视频编码(Joint Draft 6：Scalable Video Coding)”(JVT-S 201，2006年4月，日内瓦)中，及在托马斯·维根德、盖瑞·苏里文、朱里安·瑞切尔、海克·斯华兹及马瑟亚斯·维恩的联合草案9(SVC JD9)“联合草案9：SVC修正(Joint Draft 9 of SVC Amendment)”(JVT-V201，2007年1月，摩洛哥，马拉喀什)中。
在一些方面中，对于视频广播来说，可将本发明中所描述的技术应用于增强型H.264视频编码以用于使用将作为技术标准TIA-1099公开的仅前向链路(FLO)空中接口规范“陆上移动多媒体多播的仅前向链路空中接口规范(Forward Link Only Air InterfaceSpecification for Terrestrial Mobile Multimedia Multicast)”)(“FLO规范”)而在陆上移动多媒体多播(TM3)系统中递送实时视频服务。FLO规范包括界定适合于FLO空中接口的位流语法及语义以及解码过程的实例。或者，可根据例如DVB-H(数字视频广播-手持型)、ISDB-T(集成服务数字广播-陆上型)或DMB(数字多媒体广播)的其它标准来广播视频。因此，可从移动无线终端、视频串流服务器或视频广播服务器发送经编码的视频数据的视频序列。然而，本发明中所描述的技术不限于任何特定类型的广播、多播、单播或其它点对点系统。在广播的情况下，视频数据提供者可将经编码视频数据的若干通道广播到多个接收装置。
图2为说明在实时代码转换器24中实施的基于相关的AGOP结构确定模块22的示范性实施的框图。在图2的实例中，使用基于相关的AGOP结构确定模块22来进行转码，而非如同在图1中用作评估不同GOP结构确定模块的基准。代码转换器24可至少部分形成为可被统称为集成电路装置的一个或一个以上集成电路装置。在一些方面中，代码转换器24可形成例如移动电话的无线通信装置手持机的一部分。
如图2中所说明，代码转换器24包括解码器25、预处理器26及编码器28。预处理器26包括GOP分割器30及复杂性降低模块32。编码器28包括基于相关的AGOP结构确定模块22。在图2中所说明的实施方案中，整个基于相关的AGOP结构确定模块22包括在编码器28中。在其它实施方案中，可在预处理器26与编码器28之间划分基于相关的AGOP结构确定模块22的功能。举例来说，基于相关的AGOP结构确定模块22可在预处理器26内计算交叉相关且可在编码器28内执行相关分析及图片类型确定。
代码转换器24从视频数据提供者接收包括经编码的视频数据的视频序列。如上文参看图1所描述，视频序列可包含使用不支持最有效地利用连续帧之间或单个帧内的相似性的算法的视频编码标准来编码的视频数据，例如，使用MPEG-2(第2部分)来编码的数字电视数据。代码转换器24可将视频序列转换为例如ITU-T H.264的另一更高级的编码标准。举例来说，代码转换器24可对所述视频序列进行重新编码以使视频帧对无线视频广播、有效存储或需要高度有效的数据压缩的其它应用或服务作好准备。
为了转换视频序列，解码器25将视频序列从较低效的原始编码标准解码。预处理器26内的GOP分割器30接着将经解码的视频序列分割为包括多个帧的GOP结构。GOP分割器30可根据基于使得能够进行视频序列的均匀I帧间隔的随机存取的预定GOP大小或根据使得能够进行视频序列内的I个帧的随机存取的随机定位而将经解码的视频序列分割为帧群组。举例来说，GOP分割器30可将经解码的视频序列分割为约三十个帧的若干群组，其中每一群组以一I帧开始。
如上文参看图1所描述，在非实时地执行交叉相关计算时，可将基于相关的AGOP结构确定模块22视为AGOP确定技术的“黄金标准”。因此，在基于相关的AGOP结构确定模块22实施于非实时代码转换器内的情况下，基于相关的AGOP结构确定模块22可在无任何复杂性降低的情况下非实时地确定图片类型。然而，在图2中所说明的方面中，在代码转换器24包含实时代码转换器的情况下，实施于代码转换器24内的基于相关的AGOP结构确定模块22可经受复杂性降低以使得能够进行对图片类型的实时确定。
在图2中所说明的实施方案中，预处理器26包括复杂性降低模块32，所述复杂性降低模块32执行特定复杂性降低以使基于相关的AGOP结构确定模块22能够以最小的准确度损失来实时地计算交叉相关。举例来说，复杂性降低模块44可降低GOP结构中所包括的帧内的图像信息的分辨率。复杂性降低模块32还可限制基于相关的AGOP结构确定模块22可在确定任何给定帧的图片类型时计算的交叉相关计算的数目。在一些实施方案中，复杂性降低模块32可对视频数据或基于相关的AGOP结构确定模块22的实时功能执行其它复杂性降低。
一旦复杂性降低模块44已执行必要的复杂性降低，编码器24内的基于相关的AGOP结构确定模块22便基于由GOP分割器30产生的GOP结构中所包括的帧之间的交叉相关而实时地确定所述帧中的每一者的图片类型。编码器28接着使用所要编码标准来对帧进行重新编码且将所述经重新编码的帧发送到发射器以用于无线视频广播、发送到存储装置以用于存储或发送到其它设备以用于需要高度有效的数据压缩的应用或服务。
基于相关的AGOP结构确定模块22如上文参看图1所描述而操作。在图2中所说明的实例中，基于相关的AGOP结构确定模块22的操作可经受复杂性降低。然而，图2中所说明的实例不希望是限制性的。在其它实例中，代码转换器24可包括软件、硬件及/或固件平台，其就每单位时间所支持的计算数目性能而言足够强大以实时地且在无任何复杂性降低的情况下实施基于相关的AGOP结构确定模块22。
所述交叉相关包括GOP结构中所包括的若干对帧内的图像信息之间的第一阶交叉相关及若干对所述第一阶交叉相关之间的第二阶交叉相关。可在像素域中计算第一阶交叉相关。可分析所述第一阶交叉相关以检测所述帧之间的视频转变。可比较分析第一阶交叉相关及第二阶交叉相关以确定相邻帧之间的时间相似性。以此方式，基于相关的AGOP结构确定模块22基于视频转变及时间相似性来确定所述帧的图片类型。
在一个方面中，基于相关的AGOP结构确定模块22计算GOP结构中所包括的若干对帧内的图像之间的第一阶交叉相关。第一阶图像交叉相关识别所述若干对帧之间的全局(亦即，总体)相似性及全局移动的量，但不识别在帧内在较小规模的子图像处发生的移动。在此情况下，基于相关的AGOP结构确定模块22可确定全帧的图片类型。
在另一方面中，基于相关的AGOP结构确定模块22计算GOP结构中所包括的若干对帧内的子图像(例如，宏块)的集合之间的第一阶交叉相关且在所述若干对帧中的每一对帧的子图像的全部或一部分上求所述交叉相关的平均值。第一阶子图像交叉相关识别所述若干对帧之间的子图像相似性及移动量，且识别在帧内于何处发生移动。在此情况下，基于相关的AGOP结构确定模块22通过添加填充像素来填充子图像集合中的每一子图像以实现共同图像大小。以此方式，基于相关的AGOP结构确定模块22可使第一帧内的经填充的子图像中的每一者与第二帧内的潜在不同原始大小的经填充的子图像交叉相关。举例来说，一子图像可包含一可填充为64×64图像的16×16宏块。在其它实例中，子图像可包含16×8、8×16、8×8或更小的像素块。此外，可将所述视频序列中所包括的所述帧中的每一者划分为多个片断，以使得基于相关的AGOP结构确定模块22可确定所述帧中的每一者的个别片断的图片类型。
从编码效率的观点来说，基于相关的AGOP结构确定模块22使得能够进行对GOP结构中所包括的帧的图片类型的准确实时确定。准确地确定GOP结构中所包括的帧的图片类型减少编码位速率且使得能够进行帧的有效压缩。举例来说，准确地确定I、P及B帧的GOP结构允许编码器28通过利用帧的不同冗余类型及相依结构、针对帧的不同复杂性利用适当的压缩工具集合且支持例如广播应用的通道切换的应用特定要求来有效地对帧进行编码。以此方式，编码器28可改进代码转换器24内的速率-失真权衡。此外，依赖于内容的图片类型确定使编码器28能够更好地利用信号相关以用于改进的编码效率及视频转变的更好处置。编码器28可大体上类似于图1的编码器14而操作。因此，经编码的视频数据的视频序列可为移动无线终端、视频串流服务器或视频广播服务器。在广播的情况下，视频数据提供者可将经编码的视频数据的若干通道广播到多个接收装置。
在另一方面中，代码转换器24可包括基于相关的AGOP结构确定模块22及类似于来自图1的AGOP结构确定模块18的AGOP结构确定模块两者。以此方式，当足够资源可用以基于交叉相关实时地确定图片类型时，代码转换器24可利用基于相关的AGOP结构确定模块22。然而，当资源不足时，代码转换器24可改为利用可更快但较不准确的非基于相关的AGOP结构确定模块以用于对图片类型的实时确定。
图3为说明作为在实时编码器36中实施的AGOP结构确定模块40可与之比较的离线基准的基于相关的AGOP结构确定模块22的示范性实施的框图。编码器36可至少部分形成为可被统称为集成电路装置的一个或一个以上集成电路装置。在一些方面中，编码器36可形成例如移动电话的无线通信装置手持机的一部分。
如图3中所说明，编码器36包括GOP分割器38及AGOP结构确定模块40。编码器36可包含单遍或多遍视频编码器。编码器36可根据例如MPEG-2(第2部分)、MPEG-4(第2部分)、ITU-T H.263或ITU-T H.264/MPEG-4(第10部分)高级视频编码(AVC)的视频压缩标准来操作。
编码器36从视频数据提供者接收包括先前未压缩的原始视频数据的视频序列。许多视频应用(特别是无线视频广播应用)需要由例如ITU-T H.264的高级编码标准提供的高度有效的数据压缩，所述高级编码标准通过更复杂的算法来利用跨越帧及帧内的数据冗余。举例来说，编码器36可对所述视频序列进行编码以使视频帧对无线视频广播、有效存储或需要高度有效的数据压缩的其它应用或服务作好准备。
为了对视频序列进行编码，GOP分割器38将视频序列分割为包括多个帧的GOP结构。GOP分割器38可根据基于使得能够进行视频序列的均匀I帧间隔的随机存取的预定GOP结构大小或根据使得能够进行视频序列内的I个帧的随机存取的随机定位而将视频序列分割为帧群组。举例来说，GOP分割器38可将视频序列分割为约三十个帧的若干群组，其中每一群组以一I帧开始。在其它情况下，GOP分割器38可根据基于基本传输方案的物理层包化及数据突发特性的考虑而将视频序列分割为帧群组。统计多路复用方案的存在及其设计还可影响GOP分割器38将视频序列分割为帧群组的方式。
编码器36内的AGOP结构确定模块40确定由GOP分割器38产生的GOP结构中所包括的帧中的每一者的图片类型。AGOP结构确定模块40可执行任何非基于相关的AGOP结构确定技术。编码器36接着使用所要编码标准来对帧进行编码且将所述经编码的帧发送到发射器以用于无线视频广播、发送到存储装置以用于存储或发送到其它设备以用于需要高度有效的数据压缩的应用或服务。
根据本发明的一方面，基于相关的AGOP结构确定模块22可定位在编码器36外部以作为在编码器36中实施的AGOP结构确定模块40可与之比较的离线基准。基于相关的AGOP结构确定模块22基于由GOP分割器38产生的GOP结构中所包括的帧之间的交叉相关来确定所述帧中的每一者的基准图片类型。基于相关的AGOP结构确定模块22如上文参看图1所述而操作。
从编码效率的观点来说，基于相关的AGOP结构确定模块22在确定GOP结构中所包括的帧的图片类型时实现高水平的准确度，以使得其可被视为用于评估其它AGOP确定技术的“黄金标准”。基准比较器42将由AGOP结构确定模块40实时确定的图片类型与由基于相关的AGOP结构确定模块22确定的基准图片类型比较以确定在实时编码器36中集成的AGOP结构确定模块40的准确度。以此方式，在实施于编码器36内之前，AGOP结构确定模块40的改变可对照基于相关的AGOP结构确定模块22的“黄金标准”来加以测试。
图4为说明在实时编码器44中实施的基于相关的AGOP结构确定模块22的示范性实施的框图。在图4的实例中，使用基于相关的AGOP结构确定模块22来进行编码，而非如同在图3中用作评估不同GOP结构确定模块的基准。编码器44可至少部分形成为可被统称为集成电路装置的一个或一个以上集成电路装置。在一些方面中，编码器44可形成例如移动电话的无线通信装置手持机的一部分。
如图4中所说明，编码器44包括GOP分割器46、复杂性降低模块48及基于相关的AGOP结构确定模块22。编码器44可包含单遍或多遍视频编码器。编码器44可根据例如MPEG-2(第2部分)、MPEG-4(第2部分)、ITU-T H.263或ITU-T H.264/MPEG-4(第10部分)高级视频编码(AVC)的视频压缩标准来操作。
编码器44从视频数据提供者接收包括先前未压缩的原始视频数据的视频序列。编码器32可对所述视频序列进行编码以使视频帧对无线视频广播、有效存储或需要高度有效的数据压缩的其它应用或服务作好准备。为了对视频序列进行编码，GOP分割器46将视频序列分割为包括多个帧的GOP结构。如上文所描述，在非实时地执行交叉相关计算时，可将基于相关的AGOP结构确定模块22视为AGOP确定技术的“黄金标准”。因此，在基于相关的AGOP结构确定模块22实施于非实时编码器内的情况下，基于相关的AGOP结构确定模块22可在无任何复杂性降低的情况下非实时地确定图片类型。然而，在图4中所说明的方面中，在编码器44包含实时编码器的情况下，实施于编码器44内的基于相关的AGOP结构确定模块22可经受复杂性降低以使得能够进行对图片类型的实时确定。
在图4中所说明的实施方案中，复杂性降低模块48执行特定复杂性降低以使基于相关的AGOP结构确定模块22能够以最小的准确度损失来实时地执行交叉相关计算。复杂性降低模块48大体类似于图2的代码转换器24的预处理器26内的复杂性降低模块32而操作。
基于相关的AGOP结构确定模块22如上文参看图1所描述而操作。在图4中所说明的实例中，基于相关的AGOP结构确定模块22的操作可经受复杂性降低。然而，图4中所说明的实例不希望是限制性的。在其它实例中，编码器44可包括软件、硬件及/或固件平台，其就每单位时间所支持的计算数目性能而言足够强大以实时地且在无任何复杂性降低的情况下实施基于相关的AGOP结构确定模块22。
图5为说明作为由实时代码转换器10利用的离线基准的基于相关的AGOP结构确定模块22的示范性操作的流程图。将与图1的实时代码转换器10相关地描述图5的流程图。一旦预处理器12从解码器11接收到经解码的视频数据，GOP分割器16便将视频数据分割为各包括多个帧的GOP结构(50)。
在实时代码转换器10中实施的AGOP结构确定模块18实时地确定GOP结构中所包括的帧的图片类型(52)。定位在实时代码转换器10外部的基于相关的AGOP结构确定模块22确定GOP结构中所包括的帧的基准图片类型(54)。可将基于相关的AGOP结构确定模块22的输出视为图片类型确定技术的“黄金标准”。因此，基准比较器20将由AGOP结构确定模块18确定的实时计算的图片类型与由基于相关的AGOP结构确定模块22确定的基准图片类型比较以确定AGOP结构确定模块18的准确度(55)。
图6为说明在实时代码转换器24中实施的基于相关的AGOP结构确定模块22的示范性操作的流程图。将与图2的实时代码转换器24相关地描述图6的流程图。一旦预处理器26从解码器25接收到经解码的视频数据，GOP分割器30便将视频数据分割为各包括多个帧的GOP结构(56)。
复杂性降低模块32降低GOP结构中所包括的帧内的图像信息的分辨率(57)。在一些情况下，复杂性降低模块32还可限制基于相关的AGOP结构确定模块22可在确定任何给定帧的图片类型时计算的交叉相关的数目。在实时代码转换器24中实施的基于相关的AGOP结构确定模块22接着实时地确定GOP结构中所包括的帧的图片类型(58)。
图7为更详细地说明基于相关的AGOP结构确定模块22的框图。如上文所描述，基于相关的AGOP结构确定模块22可用作位于实时编码装置外部的离线基准(图1及图3)或可在实时编码装置中实施(图2及图4)。如图7中所说明，基于相关的AGOP结构确定模块22包括分析窗定位模块60、相关器62、相关分析器64、图片类型确定模块66及评估模块68。
总地来说，基于相关的AGOP结构确定模块22接收GOP结构中所包括的帧且基于若干对帧内的图像信息之间的交叉相关来确定所述帧中的每一者的图片类型。分析窗定位模块60在GOP结构内定位一具有预定帧计数宽度的分析窗，其以候选帧为中心。举例来说，分析窗可具有五个帧的时间宽度，以使得所述分析窗在以候选帧为中心时还包括所述候选帧的两个先前相邻帧及两个后续相邻帧。
相关器62计算分析窗中所包括的若干对帧内的图像之间的第一阶交叉相关。以此方式，分析窗对相关器62计算以确定候选帧的图片类型的第一阶交叉相关的数目设置限制。在一个方面中，相关器62计算全帧图像之间的第一阶交叉相关。第一阶图像交叉相关识别所述若干对帧之间的全局(亦即，总体)相似性及全局移动的量，但不识别在帧内在较小规模的子图像处发生的移动。相关器62接着计算若干对第一阶图像交叉相关之间的第二阶交叉相关。
在另一方面中，相关器62计算若干对帧内的子图像集合之间的第一阶交叉相关。可将所述帧中的每一者内的图像划分为例如宏块的多个子图像。举例来说，子图像可包含16×16、16×8、8×16、8×8或更小的像素块。接着将第一帧的子图像中的每一者填充为共同图像大小且与来自第二帧的经填充的子图像交叉相关。相关器62通过在所述若干对帧中的每一对帧的子图像的全部或一部分上求峰值子图像交叉相关值的平均值来产生第一阶交叉相关。第一阶子图像交叉相关识别所述若干对帧之间的子图像相似性及移动量，且识别在帧内于何处发生移动。相关器62接着计算若干对第一阶子图像交叉相关之间的第二阶交叉相关。
相关分析器64从相关器62接收第一阶交叉相关及第二阶交叉相关。相关分析器64基于第一阶交叉相关而检测分析窗内的帧之间的视频转变效果。视频转变效果指用以从一视频序列的当前场景转变为同一视频序列的另一场景或另一视频序列的另一场景的视觉视频效果。举例来说，相关分析器64可检测包括剪辑场景改变、镜头边界、闪光帧及部分场景改变的紧凑支持视频效果。当视频序列因同一内容通道上的内容改变或因通道或相机切换而从一个视频场景改变为不同视频场景时，可发生剪辑场景改变。当帧组成物的一部分从一个场景改变为不同场景且所述帧组成物的剩余部分为静态(例如，边界、图形及文本覆盖)时，可发生部分场景改变。当视频序列因在视频记录事件时的闪光摄影而瞬间改变亮度值时，可出现闪光帧。
相关分析器64还可检测扩展支持视频效果，其包括交叉淡化及溶解(其包括淡入及淡出以作为特殊情况)以及放大及缩小。当视频序列因内容改变而从一个视频场景逐渐改变为不同视频场景(例如，天气图从国家的一个地区改变为另一地区)时，可发生交叉淡化。此外，相关分析器64可检测包括相机摇摄及相机卷动的全局运动视频效果。当视频序列因视频相机的水平移动而从一个视频场景逐渐改变为不同视频场景时，可发生相机摇摄。当视频序列因视频相机的垂直移动而从一个视频场景递增地改变为不同视频场景时，可发生相机卷动。
不同视频转变效果在分析窗中所包括的候选帧与相邻帧之间展现不同程度的图像数据及细节重复，且因此表示候选帧的不同图片类型。举例来说，如果在候选帧中发生剪辑场景改变，则因为视频场景完全改变，所以应将候选帧编码为I图片。在于候选帧中发生部分场景改变的情况下，可将候选帧的包括静态边界、图形或文本覆盖的部分编码为P片断，且可将候选帧的包括发生改变的有效视频场景的部分编码为I片断。如果在候选帧中发生闪光帧、交叉淡化、放大或缩小或者相机摇摄或卷动，则因为视频场景略微或逐渐依赖于先前帧及可能的后续帧而改变，所以可将候选帧编码为P图片或B图片。
相关分析器64还在第一阶交叉相关与第二阶交叉相关之间执行比较分析且基于所述比较分析来确定分析窗内的相邻帧之间的时间相似性。时间相似性指分析窗中所包括的候选帧与相邻帧之间的图像细节重复程度。时间相似性的量表示候选帧的图片类型。举例来说，如果候选帧不类似于任何先前相邻帧，但其类似于后续相邻帧，则应将所述候选帧编码为I图片。如果候选帧类似于先前相邻帧但不类似于后续相邻帧，则应将所述候选帧编码为P图片。如果候选帧类似于先前相邻帧及后续相邻帧两者，则应将其编码为P图片或B图片。在此情况下，分析窗中所包括的相邻帧之间的第一阶交叉相关及第二阶交叉相关可帮助确定应将候选帧编码为P图片还是B图片。举例来说，如果先前相邻帧类似于后续相邻帧，则应将所述候选帧编码为P图片。
图片类型确定模块66从相关分析器64接收视频转变效果信息及时间相似性信息。图片类型确定模块66基于在分析窗内检测的视频转变效果及分析窗中所包括的帧之间的时间相似性来确定候选帧的图片类型。在相关器62计算图像交叉相关的实施方案中，图片类型确定模块66可确定整个候选帧的图片类型。在相关器62计算子图像交叉相关的实施方案中，可将候选帧划分为多个片断，以使得图片类型确定模块66可确定候选帧的个别片断中的每一者的图片类型。
评估模块68基于图片类型确定模块66对帧内容、速率-失真改进特性及编码带宽机制特性的依赖性来测量图片类型确定模块66的性能。评估模块68可利用取决于GOP结构中的所确定的P、B及I图片的数目及时间位置的编码增益模型或PSNR改进模型。对于在PSNR改进模型中的使用而言，可以可用于时间预测的参考图片的有效计数的形式来概述所确定的图片类型。可使用评估模块68的输出来进一步改进由基于相关的AGOP结构确定模块22进行的图片类型确定的准确度。评估模块68的输出可呈数值或表格的形式。评估模块68可特别适用于基于相关的AGOP结构确定模块22实施于实时编码装置内的实施方案中(图2及图4)。
在视频数据在基础层及增强层中被编码的实施方案中(亦即，对于可缩放视频编码(SVC)而言)，基于相关的AGOP结构确定模块22可包括一分层模块(图7中未图示)以使得能够进行基于增强层来改变基础层中的帧类型确定。举例来说，基础层中所包括的特定帧类型可改进基础层与增强层之间的带宽平衡。因此，分层模块可基于增强层内的帧类型来改变基础层编码内的帧类型以便改进带宽平衡。
图8A到图8C为说明视频序列中所包括的帧之间的第一阶交叉相关及第二阶交叉相关的图式。在一个方面中，来自图7的相关器62计算本文中所描述的在分析窗70中所包括的若干对帧内的图像之间的第一阶交叉相关。在另一方面中，相关器62计算本文中所描述的在所述分析窗70中所包括的若干对帧内的子图像(例如，宏块)的集合之间的第一阶交叉相关且在所述若干对帧中的每一对帧的子图像的全部或一部分上求交叉相关的平均值。
图8A说明由来自图7的分析窗定位模块60进行的在GOP结构内定位分析窗70。如图8A中所展示，分析窗70以候选帧(fk)72为中心定位在GOP结构内且包括预定数目个相邻帧。举例来说，分析窗70具有五个帧的预定时间宽度，以使得分析窗在以候选帧(fk)72为中心时还包括候选帧(fk)72的两个先前相邻帧(fk-1及fk-2)及两个后续相邻帧(fk+1及fk+2)。以此方式，相关器62计算分析窗70中所包括的帧之间的第一阶交叉相关以确定候选帧72的图片类型。换句话说，分析窗70的使用对相关器62计算以确定GOP结构中所包括的每一帧的图片类型的第一阶交叉相关的数目设置限制。
图8B说明由相关器62在分析窗70中所包括的帧之间执行的第一阶交叉相关计算。相关器62计算第一先前相邻帧(fk-1)与候选帧(fk)72之间的第一前向交叉相关(F1)74。相关器62接着计算第二先前相邻帧(fk-2)与候选帧(fk)72之间的第二前向交叉相关(F2)75。相关器62还计算第一后续相邻帧(fk+1)与候选帧(fk)72之间的第一后向交叉相关(B1)76。相关器62接着计算第二后续相邻帧(fk+2)与候选帧(fk)72之间的第二后向交叉相关(B2)77。相关器62接着计算第一先前相邻帧(fk-1)与第一后续相邻帧(fk+1)之间的第一对称交叉相关计算(S2)78。相关器62接着计算第二先前相邻帧(fk-2)与第二后续相邻帧(fk+2)之间的第二对称交叉相关计算(S4)79。
图8C说明由相关器62在分析窗70内的第一阶交叉相关之间执行的第二阶交叉相关计算。相关器62计算第一阶第一前向交叉相关(F1)74与第一阶第一后向交叉相关(B1)76之间的第二阶第一相邻交叉相关(O1)80。相关器62接着计算第一阶第二前向交叉相关(F2)75与第一阶第二后向交叉相关(B2)77之间的第二阶第二相邻交叉相关(O2)81。
在一些方面中，如图1及图3中所展示，可在基于相关的AGOP确定模块22内使用相关器62以作为位于实时编码装置外部的离线基准。在此情况下，相关器62非实时地计算本文中所描述的第一阶交叉相关及第二阶交叉相关。在其它方面中，如图2及图4中所展示，可在实施于实时编码装置中的基于相关的AGOP确定模块22内使用相关器62。在一些情况下，复杂性降低可限制相关器62可在确定候选帧72的图片类型时计算的交叉相关的数目。举例来说，当分析窗70具有等于五个帧的时间宽度时，相关器62可仅计算三个第一阶交叉相关及两个第二阶交叉相关。举例来说，相关器62可计算第一前向交叉相关(F1)74、第一对称交叉相关(S2)78、第二对称交叉相关(S4)79、第二阶第一相邻交叉相关(O1)80及第二阶第二相邻交叉相关(O2)81。
图9为说明基于相关的AGOP结构确定模块22中所包括的相关器62的示范性实施的框图。如图9中所展示，相关器62A包含基于二维快速傅立叶变换(2D FFT)的计算以执行图像交叉相关。相关器62A可计算视频序列中所包括的若干对帧内的图像之间的第一阶交叉相关及若干对所述第一阶图像交叉相关之间的第二阶交叉相关两者。
当相关器62A正在计算第一阶图像交叉相关时，预调节模块82接收第一帧内的图像且将经预调节的图像馈入到傅立叶变换(F)84。同时，预调节模块83接收第二帧内的图像且将经预调节的图像馈入到复共轭(F*)傅立叶变换85。将第一帧图像的变换及第二帧图像的复共轭变换相乘且馈入到傅立叶逆变换(F-1)88。标准化器89接着将逆变换输出标准化且最大值滤波器90确定第一帧与第二帧内的图像之间的经标准化的第一阶交叉相关的最大值。接着，留存经标准化的第一阶图像交叉相关的最大值以作为用于由相关分析器64使用的特性值。
当相关器62A正在计算第二阶交叉相关时，预调节模块82接收第一对帧之间的第一阶图像交叉相关且将经预调节的第一阶图像交叉相关馈入到傅立叶变换(F)84。同时，预调节模块83接收第二对帧之间的第一阶图像交叉相关且将经预调节的第一阶图像交叉相关馈入到复共轭(F*)傅立叶变换85。将第一对帧之间的图像交叉相关的变换及第二对帧之间的图像交叉相关的复共轭变换相乘并馈入到傅立叶逆变换(F-1)88。标准化器89接着将逆变换输出标准化且最大值滤波器90确定第一对帧与第二对帧之间的第一阶图像交叉相关之间的经标准化的第二阶交叉相关的最大值。接着，留存经标准化的第二阶图像交叉相关的最大值以作为用于由相关分析器64使用的特性值。
图10为说明基于相关的AGOP结构确定模块22中所包括的相关器62的另一示范性实施的框图。如图10中所展示，相关器62B包含基于二维(2D)FFT的计算以执行子图像交叉相关。相关器62B可计算视频序列中所包括的若干对帧内的子图像之间的第一阶交叉相关及若干对所述第一阶子图像交叉相关之间的第二阶交叉相关两者。
当相关器62B正在计算第一阶子图像交叉相关时，预调节模块92接收第一帧内的子图像(例如，宏块的集合)且将经预调节的子图像馈入到傅立叶变换(F)94。预调节模块92将第一帧内的子图像填充为共同图像大小。同时，预调节模块93接收第二帧内的子图像(例如，宏块的集合)且将经预调节的子图像馈入到复共轭傅立叶变换(F*)95。预调节模块93将第二帧内的子图像填充为共同图像大小。将第一帧的经填充的子图像的变换及第二帧的经填充的子图像的复共轭变换相乘且馈入到傅立叶逆变换(F-1)98。标准化器99接着将逆变换输出标准化且最大值滤波器100确定第一帧内的子图像与第二帧内的子图像之间的经标准化的第一阶交叉相关的最大值。平均模块102接着在第一帧内的子图像集合中的子图像的全部或一部分上求经标准化的交叉相关的最大值的平均值。接着，留存经标准化的第一阶交叉相关的经平均的最大值以作为用于由相关分析器64使用的特性值。
当相关器62B正在计算第二阶交叉相关计算时，预调节模块92接收第一对帧之间的第一阶交叉相关子区段且将经预调节的第一阶交叉相关子区段馈入到傅立叶变换(F)94。同时，预调节模块93接收第二对帧之间的第一阶交叉相关子区段且将经预调节的第一阶交叉相关子区段馈入到复共轭(F*)傅立叶变换95。将第一对帧之间的第一阶交叉相关子区段的变换及第二对帧之间的第一阶交叉相关子区段的复共轭变换相乘并馈入到傅立叶逆变换(F-1)98。标准化器99接着将逆变换输出标准化且最大值滤波器100确定第一对帧与第二对帧内之间的第一阶交叉相关子区段之间的经标准化的第二阶交叉相关的最大值。接着，留存经标准化的第二阶交叉相关的最大值以作为用于由相关分析器64使用的特性值。
图11为说明基于相关的AGOP结构确定模块22中所包括的相关分析器64的示范性实施的框图。如图11中所说明，相关分析器64包含第一阶相关分析器104、比较分析器106、第二阶相关分析器108及视频转变效果检测器110。视频转变效果检测器110包括紧凑支持事件检测器112、扩展支持事件检测器114及全局运动检测器116。
相关分析器64从相关器62接收第一阶交叉相关及第二阶交叉相关。第一阶相关分析器104编译第一阶交叉相关且将第一阶交叉相关馈入到视频转变效果检测器110及比较分析器106。第二阶相关分析器108编译第二阶交叉相关且将第二阶交叉相关施加到比较分析器106。
视频转变效果检测器110基于第一阶交叉相关而检测当前处理的GOP结构的帧之间的视频转变效果。如参看图12到图14所描述，视频转变效果检测器110经由紧凑支持事件检测器112、扩展支持事件检测器114及全局运动检测器116基于对视频特殊效果的识别来检测视频转变效果。更具体地说，紧凑支持事件检测器112从第一阶交叉相关识别剪辑场景改变指纹、闪光帧指纹及部分场景改变指纹。扩展支持事件检测器114从第一阶交叉相关识别包括淡入及淡出的交叉淡化指纹及放大及缩小指纹。全局运动检测器116从第一阶交叉相关识别相机摇摄指纹及相机卷动指纹。本文中定义指纹以意谓来自与特定视频转变效果唯一匹配的匹配的滤波器的特定响应，以使得检测到此特定响应等效于检测到其相关联的视频转变效果。
视频转变效果检测器110接着将所检测的视频转变效果输出到图片类型确定模块66(图7)。举例来说，如果在候选帧72中发生剪辑场景改变，则因为视频场景完全改变，所以应将候选帧72编码为I图片。在于候选帧72中发生部分场景改变的情况下，可将候选帧72的包括静态边界、图形或文本覆盖的部分编码为P片断，且可将候选帧72的包括发生改变的有效视频场景的部分编码为I片断。如果在候选帧中发生闪光帧、交叉淡化、放大或缩小或者相机摇摄或卷动，则因为视频场景依赖于先前帧及可能的后续帧而略微或逐渐改变，所以可将候选帧72编码为P图片或B图片。
比较分析器106在第一阶交叉相关与第二阶交叉相关之间执行比较分析。比较分析器106接着基于所述比较分析来确定分析窗70内的相邻帧之间的时间相似性。当执行比较分析时，比较分析器106比较帧之间的相关程度以确定候选帧72与其先前及后续相邻帧两者相似的程度及相邻帧彼此相似的程度。比较分析器106接着将时间相似性输出到图片类型确定模块66(图7)。举例来说，如果候选帧72与后续相邻帧很好地相关但不与先前相邻帧很好地相关(亦即，第一前向交叉相关74是低的且第一后向交叉相关76是高的)，则应将候选帧72编码为与先前帧无关且充当后续帧的参考的I图片。作为另一实例，如果候选帧72与后续相邻帧及先前相邻帧两者均很好地相关，则应将候选帧72编码为P图片或B图片。然而，如果后续相邻帧与先前相邻帧很好地相关(亦即，第一对称交叉相关78是高的)，则可将候选帧72编码为P图片。
图12为说明作为来自图11的相关分析器64中所包括的视频转变效果检测器110的一部分的紧凑支持事件检测器112的框图。紧凑支持事件检测器112可利用匹配的滤波器组以在第一阶交叉相关分析器104的输出内检测与紧凑支持视频效果相关联的指纹。紧凑支持视频效果包括剪辑场景改变、部分场景改变及闪光帧。举例来说，当视频序列内容因同一通道上的内容改变或因通道切换而从一个视频场景瞬时改变为不同视频场景时，可发生剪辑场景改变。当视频序列中的帧内容的一部分从一个视频场景改变为不同视频场景且所述视频序列中的帧内容的剩余部分为静态(例如，边界、图形或文本覆盖)时，可发生部分场景改变。当视频序列内容因在视频记录事件时的闪光摄影而瞬间改变亮度值时，可发生闪光帧。
在图12中所说明的实例中，紧凑支持事件检测器112利用来自图6的第一阶第一前向交叉相关(F1)74、第一阶第一对称交叉相关(S2)78及第一阶第二对称交叉相关(S4)79的输出。紧凑支持事件检测器112使第一阶交叉相关输出中的每一者传递通过非线性高通滤波器120A到120C中的专用一者。将非线性高通滤波器120A到120C中的每一者的输出输入到剪辑场景改变匹配的滤波器122及闪光帧匹配的滤波器124两者。
剪辑场景改变匹配的滤波器122隔离第一阶交叉相关的输出中所包括的类似于剪辑场景改变的预期指纹的时间系列特征。举例来说，如图17中的特征180所展示，因视频场景的完全改变，剪辑场景改变指纹包含帧之间的低相关的单个下降(dip)。紧凑支持事件检测器112将剪辑场景改变匹配的滤波器122的输出馈入到阈值比较器123以准确地识别特征中的哪些包含剪辑场景改变指纹。阈值比较器123将由剪辑场景改变匹配的滤波器122隔离的特征与设定为预定值(例如，0.29)的阈值(Tcsc)比较。紧凑支持事件检测器112在具有大于阈值的匹配的滤波器响应的那些特征位置处检测剪辑场景改变。接着，阈值比较器123在检测到剪辑场景改变的情况下将其布尔(Boolean)输出(Bcsc)设定为等于1，且在未检测到剪辑场景改变的情况下将其设定为等于0。
紧凑支持事件检测器112还可通过使用剪辑场景改变匹配的滤波器122及阈值比较器123来检测部分场景改变。如图18中的特征184所展示，大体类似于剪辑场景改变指纹，部分场景改变指纹包含单个下降，但因视频场景的静态部分而具有较高相关。部分场景改变指纹的相对小的下降可能不会触发待被紧凑支持事件检测器112检测到的来自剪辑场景改变匹配的滤波器122的足够大的响应。可降低输入到阈值比较器123的阈值(Tcsc)以使得能够进行对部分场景改变的检测，但此可通过增加错误地检测紧凑支持视频效果的可能性(亦即，增加的误警率)而导致额外的准确度问题。实情为，相关器62可执行静态边界检测以识别静态边界的存在且计算对应于视频场景的有效部分的子图像之间的第一阶交叉相关。以此方式，仅具有静态边界的有效视频场景的完全改变可呈现等效于剪辑场景改变指纹的指纹。
闪光帧匹配的滤波器124隔离第一阶交叉相关的输出中所包括的类似于闪光帧的预期指纹的时间系列特征。举例来说，如图17的特征182所展示，因视频场景内的亮度值改变，闪光帧指纹包含帧之间的较低相关的连续下降。紧凑支持事件检测器112将闪光帧匹配的滤波器124的输出馈入到阈值比较器125以准确地识别特征中的哪些包含闪光帧指纹。阈值比较器125将由闪光帧匹配的滤波器124隔离的特征与设定为预定值(例如，0.20)的阈值(TFF)比较。紧凑支持事件检测器112在具有大于阈值的匹配的滤波器的响应的那些特征位置处检测闪光帧。接着，阈值比较器125在检测到闪光帧的情况下将其布尔输出(BFF)设定为等于1，且在未检测到闪光帧的情况下将其设定为等于0。
图13为说明作为来自图11的相关分析器64中所包括的视频转变效果检测器110的一部分的扩展支持事件检测器114的框图。扩展支持事件检测器114利用多分辨率分析以在第一阶交叉相关分析器104的输出内检测与扩展支持视频效果相关联的指纹。扩展支持视频效果包括交叉淡化、淡入、淡出及缩放。举例来说，当视频序列因内容改变而从一个视频场景逐渐改变为不同视频场景时(例如，天气图从国家的一个地区改变为另一地区)，可发生交叉淡化。
在图13中所说明的实例中，扩展支持事件检测器114利用来自图6的第一阶第一前向交叉相关(F1)74、第一阶第一对称交叉相关(S2)78及第一阶第二对称交叉相关(S4)79的输出。扩展支持事件检测器114使第一阶交叉相关输出中的每一者传递通过非线性低通滤波器126A到126C中的专用一者。非线性低通滤波器126A到126C中的每一者的输出被输入到多分辨率分析器128A到128C中的专用一者。多分辨率分析器128A到128C识别第一阶交叉相关的输出中所包括的类似于交叉淡化或缩放的预期指纹的特征。举例来说，如图19的特征186所展示，因视频场景的逐渐改变，交叉淡化指纹包含帧之间的低相关的凹口。多分辨率分析器128A到128C使得能够进行以统一方式进行的具有变化很大的持续时间的特征的检测及其实际持续时间的确定。
扩展支持事件检测器114将多分辨率分析器128A到128C的输出施加到经结构化显著峰值分析器130以准确地识别特征中的哪些包含交叉淡化或缩放指纹。经结构化显著峰值分析器130组合由多分辨率分析器128A到128C中的每一者识别的特征且确定第一阶交叉相关的输出的每一者中的低相关的凹口是否以特定次序时间性地对准。扩展支持事件检测器114可在第一阶交叉相关的凹口时间性地相互对准的情况下宣称交叉淡化。此外，理想地，应将所述凹口的最小值排序为第一阶第一前向交叉相关(F1)74大于第一阶第一对称交叉相关(S2)78大于第一阶第二对称交叉相关(S4)79。
图14为说明作为来自图11的相关分析器64中所包括的视频转变效果检测器110的一部分的全局运动检测器116的框图。全局运动检测器116利用全局位移估计以在第一阶交叉相关分析器104的输出内检测与全局运动相关联的指纹。全局运动视频效果包括相机摇摄、相机卷动及影响整个视频场景的其它平移运动。举例来说，当视频序列因视频相机的水平移动而从一个视频场景逐渐改变为不同视频场景时，可发生相机摇摄。当视频序列因视频相机的垂直移动而从一个视频场景逐渐改变为不同视频场景时，可发生相机卷动。
在图14中所说明的实例中，全局运动检测器116利用来自图6的第一阶第一前向交叉相关(F1)74、第一阶第一对称交叉相关(S2)78及第一阶第二对称交叉相关(S4)79的输出。全局运动检测器116将第一阶交叉相关输出中的每一者传递通过最大值位置滤波器132A到132C中的专用一者。最大值位置滤波器132A到132C识别第一阶交叉相关的输出中所包括的类似于相机摇摄及相机卷动的预期指纹的特征。举例来说，如图20A中的特征188所展示，因视频场景的逐渐改变，相机摇摄指纹包含在最大交叉相关值位置中始终存在的相对于原点的显著水平偏移。如图20B中的特征200所展示，因视频场景的递增改变，相机卷动指纹包含在最大交叉相关值位置中始终存在的相对于原点的显著垂直偏移。最大值位置滤波器132A到132C以相关联的第一阶交叉相关的时间距离各输出水平位移估计(h)及垂直位移估计(v)。
然而，例如振荡(ringing)及模糊的压缩假象使根据第一阶交叉相关的位移估计的准确度降级。因此，全局运动检测器116利用多通道融合模块134使水平位移估计及垂直位移估计平滑以避免压缩假象的类降级噪声的影响。此外，紧凑支持视频效果及扩展支持视频效果可中断全局运动位移估计，此可导致异常的位移估计值。多通道融合模块134可通过跨越所检测的紧凑支持视频效果及扩展支持视频效果而执行位移估计的非线性平滑化来减小或消除此效果。
如图14中所说明，多通道融合模块134包括用于以时间距离2进行的位移估计的1/2权重以及用于以时间距离4进行的位移估计的1/4权重以补偿与不同位移估计相关联的不同时间距离。多通道融合模块134还包括用于位移估计中的每一者的均匀权重(例如，1/3)136A到136C以均衡以不同时间距离进行的位移估计的强调。在其它方面中，多通道融合模块134可使用非均匀权重以强调以选定的时间距离进行的位移估计。最后，多通道融合模块134包括水平加法器142，其通过加入根据时间距离中的每一者的经加权的水平位移估计来产生单个经平滑化的水平位移估计值。多通道融合模块134还包括垂直加法器144，其通过加入根据时间距离中的每一者的垂直位移估计来产生单个经平滑化的垂直位移估计值。
图15为说明基于相关的AGOP结构确定模块22基于图像交叉相关来确定视频序列中所包括的帧的图片类型的示范性操作的流程图。将关于图7的基于相关的AGOP确定模块22、图8A到图8C的分析窗70及图11的相关分析器64来描述图15的流程图。
分析窗定位模块60在GOP结构内定位分析窗70，所述分析窗70以候选帧(fk)72为中心且包括先前相邻帧(fk-1及fk-2)及后续相邻帧(fk+1及fk+2)(150)。相关器62计算分析窗70中所包括的若干对帧内的图像之间的第一阶交叉相关(152)。相对于所述图像的像素域数据执行第一阶交叉相关。在此方面中，相关器62计算全帧图像之间的第一阶交叉相关。如上文参看图8B所描述，第一阶交叉相关可包括第一前向交叉相关74、第二前向交叉相关75、第一后向交叉相关76、第二后向交叉相关77、第一对称交叉相关78及第二对称交叉相关79。第一阶图像交叉相关识别所述若干对帧之间的全局(亦即，总体)相似性及全局移动的量，但不识别在帧内在较小规模的子图像处发生的移动。相关器62接着计算若干对第一阶图像交叉相关之间的第二阶交叉相关(154)。如上文参看图8C所描述，第二阶交叉相关可包括第一相邻交叉相关80及第二相邻交叉相关81。
相关分析器64从相关器62接收第一阶交叉相关及第二阶交叉相关。第一阶相关分析器104编译第一阶交叉相关且将第一阶交叉相关馈入到视频转变效果检测器110及比较分析器106。第二阶相关分析器108编译第二阶交叉相关且将第二阶交叉相关馈入到比较分析器106。
视频转变效果检测器110基于第一阶交叉相关而检测当前处理的GOP结构内的帧之间的视频转变效果(156)。如参看图10到图12所描述，视频转变效果检测器110经由紧凑支持事件检测器112、扩展支持事件检测器114及全局运动检测器116基于对视频效果的识别来检测视频转变效果。更具体地说，紧凑支持事件检测器112从第一阶交叉相关中识别剪辑场景改变指纹、闪光帧指纹及部分场景改变指纹。扩展支持事件检测器114从第一阶交叉相关中识别包括淡入及淡出指纹的交叉淡化指纹及放大及缩小指纹。全局运动检测器116识别相机摇摄指纹及相机卷动指纹。
比较分析器106在第一阶交叉相关与第二阶交叉相关之间执行比较分析。比较分析器106接着基于所述比较分析来确定分析窗70内的相邻帧之间的时间相似性、其强度及性质(158)。当执行比较分析时，比较分析器106比较帧之间的相关程度以确定候选帧72与其相邻帧相似的程度及相邻帧彼此相似的程度。
图片类型确定模块66从视频转变效果检测器110接收视频转变效果信息且从比较分析器106接收时间相似性信息。图片类型确定模块66接着基于在分析窗70内检测的视频转变效果及分析窗70中所包括的帧之间的时间相似性来确定候选帧72的图片类型(160)。
图16为说明基于相关的AGOP结构确定模块22基于子图像交叉相关来确定视频序列中所包括的帧的图片类型的示范性操作的流程图。将关于图7的基于相关的AGOP确定模块22、图8A到图8C的分析窗70及图11的相关分析器64来描述图16的流程图。
分析窗定位模块60在GOP结构内定位分析窗70，所述分析窗70以候选帧(fk)72为中心且包括先前相邻帧(fk-1及fk-2)及后续相邻帧(fk+1及fk+2)(164)。相关器62计算分析窗70中所包括的若干对帧内的子图像集合之间的第一阶交叉相关(166)。相对于所述子图像的像素域数据来执行子图像第一阶交叉相关。可将所述帧中的每一者内的图像划分为多个子图像(例如，宏块)。接着将第一帧的子图像中的每一者填充为共同图像大小且与第二帧的子图像交叉相关。举例来说，子图像可包含填充为64×64图像的16×16宏块。相关器62通过在所述若干对帧中的每一对帧的子图像的全部或一部分上求峰值(亦即，最大)子图像交叉相关值的平均值来产生第一阶交叉相关(168)。第一阶子图像交叉相关识别所述若干对帧之间的子图像相似性及移动量，且识别在帧内于何处发生移动。相关器62接着计算若干对第一阶子图像交叉相关之间的第二阶交叉相关(170)。
相关分析器64从相关器62接收第一阶交叉相关及第二阶交叉相关。第一阶相关分析器104编译第一阶交叉相关且将第一阶交叉相关馈入到视频转变效果检测器110及比较分析器106。第二阶相关分析器108编译第二阶交叉相关且将第二阶交叉相关馈入到比较分析器106。视频转变效果检测器110基于第一阶交叉相关而检测当前处理的GOP结构内的帧之间的视频转变效果(172)。比较分析器106在第一阶交叉相关与第二阶交叉相关之间执行比较分析。比较分析器106接着基于所述比较分析来确定分析窗70内的相邻帧之间的时间相似性、其强度及性质(174)。
图片类型确定模块66从视频转变效果检测器110接收视频转变效果信息且从比较分析器106接收时间相似性信息。可将候选帧72划分为多个片断，以使得图片类型确定模块66可基于在分析窗70内检测的视频转变效果及分析窗70中所包括的帧之间的时间相似性来确定候选帧72的个别片断中的每一者的图片类型(176)。
图17为说明包括剪辑场景改变指纹180及闪光帧指纹182的来自图12的紧凑支持事件检测器112的输出的曲线图。当视频序列内容因同一通道上的内容改变(例如，因选定的相机馈入的改变)或因通道切换而从一个视频场景改变为不同视频场景时，可发生剪辑场景改变。因此，因视频场景的完全改变，剪辑场景改变指纹180包含帧之间的低相关的单个下降。当视频序列因在视频记录事件时的闪光摄影而瞬间改变亮度值时，可出现闪光帧。因此，因视频场景内的亮度值改变，闪光帧指纹182包含帧之间的较低相关的连续下降。所述连续下降是由视频序列中的快闪诱发的增加的亮度的出现及消失而产生。在闪光帧的情况下，与剪辑场景改变的单次改变相比，在极短的时帧中有效地发生两次改变。
图18为说明包括部分场景改变指纹184的来自图12的紧凑支持事件检测器112的输出的曲线图。当视频序列帧内容的一部分从一个视频场景改变为不同视频场景且所述视频序列帧内容的剩余部分为静态(例如，边界及图形及文本覆盖)时，可发生部分场景改变。因此，大体类似于剪辑场景改变指纹180，部分场景改变指纹184包含单个下降，但因视频场景的静态部分而具有较高相关。
图19为说明包括交叉淡化指纹186的来自图13的扩展支持事件检测器114的输出的曲线图。当视频序列帧内容因内容改变而从一个视频场景逐渐改变为不同视频场景(例如，天气图从国家的一个地区改变为另一地区)时，可发生交叉淡化。因此，交叉淡化指纹186包含帧之间的低相关的凹口，以使得因视频场景的逐渐改变，不同交叉相关时间系列中的这些凹口以特定次序时间性地对准。
图20A及图20B为说明包括相机摇摄指纹188及相机卷动指纹200的全局运动检测器116的输出的曲线图。当视频序列帧内容因视频相机的水平移动而从一个视频场景逐渐改变为不同视频场景时，可发生相机摇摄。如图18A中所说明，因视频场景的逐渐全局平移改变，相机摇摄指纹188包含在所检测的运动的水平分量中始终存在的相对于值0的显著偏移或偏差，亦即，在最大交叉相关值位置中始终存在的与原点的显著水平偏移。所述偏移的量取决于运动量以及观察或估计所述偏移时所通过的时间距离，亦即，特定第一阶交叉相关时间系列。在图20A中，可分别以1个、2个及4个帧间隔的时间距离来观察约-1.5个像素、-3个像素及-6个像素的平均偏移。
当视频序列帧内容因视频相机的垂直移动而从一个视频场景逐渐改变为不同视频场景时，可发生相机卷动。如图20B中所说明，因视频场景的逐渐全局平移改变，相机卷动指纹200包含在所检测的运动的垂直分量中始终存在的相对于值0的显著偏移或偏差，亦即，在交叉相关峰值位置中始终存在的相对于原点的显著垂直偏移。所述偏移的量取决于运动量以及观察或估计所述偏移时所通过的时间距离，亦即，特定第一阶交叉相关时间系列。在图20B中，(例如)在帧索引10到16周围观察到的最早的下降(亦即，相对于0的负偏差)分别以1个、2个及4个帧间隔的时间距离对应于-1个、-2个及-4个像素的平均偏移。在此时间间隔期间，视频相机可能因短暂震动而经历突然的短垂直位移。
本发明的技术是针对基于视频序列中所包括的多个帧之间的交叉相关来确定所述帧中的每一者的图片类型。更具体地说，所述技术是针对基于GOP结构中所包括的帧之间的交叉相关来自适应地确定所述帧的图片类型。所述交叉相关包括所述视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关及若干对所述第一阶交叉相关之间的第二阶交叉相关。可分析所述第一阶交叉相关以检测所述帧之间的视频转变效果。可比较分析第一阶交叉相关及第二阶交叉相关以确定相邻帧之间的时间相似性。因此，所述基于相关的确定技术基于所述视频转变效果及所述时间相似性来确定所述帧的图片类型。
所述基于相关的确定技术可计算若干对帧内的图像之间或若干对帧内的子图像(例如，宏块)的集合之间的第一阶交叉相关，接着在所述若干对帧中的每一对帧的所述子图像的全部或一部分上求所述第一阶交叉相关的统计值(例如，最大值)的平均值。本文中所描述的技术可在由代码转换器利用的基于相关的AGOP结构确定模块内执行以用于以例如ITU-T H.264的提供有效的帧间及帧内压缩的编码标准来对视频数据进行重新编码。在一个方面中，可使用所述基于相关的AGOP结构确定模块作为在实时代码转换器中实施的其它AGOP结构确定方法可与之比较的离线基准。在另一方面中，可在实时代码转换器中实施具有适当的复杂性降低的基于相关的AGOP结构确定模块。在其它方面中，可在单遍或多遍、实时或非实时视频编码器中利用基于相关的AGOP结构确定模块以用于以例如ITU-T H.264的提供有效的帧间及帧内压缩的编码标准来对先前未压缩的原始视频数据进行编码。
本文中所描述的技术可以硬件、软件、固件或其任一组合实施。所述技术可在例如通用计算机、无线通信装置手持机或具有包括无线通信装置手持机及其它装置中的应用的多种用途的集成电路装置的各种装置的任一者中实施。被描述为模块或组件的任何特征可一起实施于集成式逻辑装置中或单独实施为离散但可交互操作的逻辑装置。如果以硬件实施，则可使用数字硬件、模拟硬件或其组合来实现所述技术。如果以软件实施，则可至少部分地由在计算机程序产品的计算机可读媒体上存储或传输的一个或一个以上指令或代码来实现所述技术。计算机可读媒体可包括计算机存储媒体、通信媒体或两者，且可包括有助于将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。计算机程序产品可包括封装材料。
举例来说且并非限制，所述计算机可读媒体可包含RAM(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器PROM、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储装置或可用以载运或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。
此外，可适当地将任何连接称为计算机可读媒体。举例来说，如果使用网络电缆、同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或例如红外线、无线电及微波的无线技术而从网站、服务器或其它远程源传输软件，则网络电缆、同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包括在媒体的定义中。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字通用光盘(DVD)、软磁盘及蓝光(blu-ray)光盘，其中磁盘通常以磁性方式再现数据，而光盘例如使用激光以光学方式再现数据。上述各物的组合也应包括在计算机可读媒体的范围内。
与计算机程序产品的计算机可读媒体相关联的代码可由计算机执行，例如，由一个或一个以上处理器(例如，一个或一个以上数字信号处理器(DSP))、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA，也被称作现场可编程逻辑阵列(FPLA))或其它等效集成或离散逻辑电路来执行。在一些方面中，本文中所描述的功能性可提供在经配置以用于编码及解码的专用软件模块或硬件模块内或并入在经组合的视频编码器-解码器(编解码器)中。
然而，在不偏离随附权利要求书的范围的情况下，可对所描述的技术进行各种修改。

Claims (100)

1.一种方法，其包含：
计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关；
计算若干对所述第一阶交叉相关之间的第二阶交叉相关；以及
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型。
2.根据权利要求1所述的方法，其中确定所述帧中的每一者的图片类型包含确定应将所述视频序列中所包括的所述帧中的每一者编码为帧内图片、经预测的图片还是双向预测性图片。
3.根据权利要求1所述的方法，其中确定所述帧中的每一者的图片类型包含：
通过将所述第一阶交叉相关的输出中所包括的特征识别为视频效果指纹来检测所述视频序列中所包括的所述帧之间的视频转变效果；以及
基于对所述第一阶交叉相关及所述第二阶交叉相关的比较分析来确定所述视频序列中所包括的所述帧之间的时间相似性。
4.根据权利要求3所述的方法，其中检测视频转变效果包含基于所述第一阶交叉相关来检测一个或一个以上紧凑支持视频转变效果，其中所述紧凑支持视频转变效果包括剪辑场景改变视频效果、部分场景改变视频效果及闪光帧视频效果，且其中检测所述一个或一个以上紧凑支持视频转变效果包含：
将所述第一阶交叉相关的输出施加到与所述紧凑支持视频转变效果匹配的滤波器，所述滤波器检测所述输出内的大体类似于紧凑支持视频效果指纹的多个特征；以及
将所述匹配的滤波器的输出施加到阈值比较器，所述阈值比较器识别所述所检测的特征中的哪些为紧凑支持视频效果指纹。
5.根据权利要求3所述的方法，其中检测视频转变效果包含基于所述第一阶交叉相关来检测一个或一个以上扩展支持视频转变效果，其中所述扩展支持视频转变效果包括交叉淡化视频效果、淡入视频效果、淡出视频效果、放大视频效果及缩小视频效果，且其中检测所述一个或一个以上扩展支持视频转变效果包含：
将所述第一阶交叉相关的输出施加到多分辨率分析器，所述多分辨率分析器检测所述输出内的大体类似于扩展支持视频效果指纹的多个特征；以及
将所述多分辨率分析器的输出施加到经结构化显著峰值分析器，所述经结构化显著峰值分析器识别所述所检测的特征中的哪些为扩展支持视频效果指纹。
6.根据权利要求3所述的方法，其中检测视频转变效果包含基于所述第一阶交叉相关来检测一个或一个以上全局运动视频转变效果，其中所述全局运动视频转变效果包括相机摇摄视频效果及相机卷动视频效果，且其中检测所述一个或一个以上全局运动视频转变效果包含：
将所述第一阶交叉相关的输出施加到最大值位置滤波器，所述最大值位置滤波器检测所述输出内的大体类似于全局运动视频效果指纹的多个特征且确定对所述特征中的每一者的水平位移估计及垂直位移估计；以及
将所述最大值位置滤波器的输出施加到多通道融合模块，所述多通道融合模块使所述所检测的特征中的每一者的所述水平位移估计及所述垂直位移估计平滑且识别所述所检测的特征中的哪些为全局运动视频效果指纹。
7.根据权利要求1所述的方法，其进一步包含基于对帧内容、速率-失真改进特性及编码带宽机制特性的依赖性来评估所述视频序列中所包括的所述帧中的每一者的所述所确定的图片类型的准确度。
8.根据权利要求1所述的方法，其进一步包含将所述视频序列分割为包括多个帧的图片组(GOP)结构，其中确定所述帧中的每一者的图片类型包含：
在所述GOP结构内定位分析窗，以使得所述分析窗以候选帧为中心且包括预定数目个相邻帧；
计算所述分析窗中所包括的帧的图像信息之间的第一阶交叉相关；
计算所述分析窗中所包括的若干对所述第一阶交叉相关之间的第二阶交叉相关；以及
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述候选帧的图片类型。
9.根据权利要求1所述的方法，
其中计算第一阶交叉相关包含在所述视频序列中所包括的若干对帧内的图像信息之间执行基于二维快速傅立叶变换的计算，且
其中计算第二阶交叉相关包含在若干对第一阶交叉相关之间执行基于二维快速傅立叶变换的计算。
10.根据权利要求1所述的方法，其中计算第一阶交叉相关包含计算所述视频序列中所包括的若干对帧内的全帧图像之间的第一阶交叉相关。
11.根据权利要求1所述的方法，其中计算第一阶交叉相关包含：
将所述视频序列中所包括的若干对帧内的子图像集合中的子图像填充为共同图像大小；
计算所述子图像集合之间的第一阶子图像交叉相关；以及
在所述若干对帧中的每一对帧的所述子图像的至少一部分上求所述子图像交叉相关的平均值。
12.根据权利要求11所述的方法，其中确定所述帧中的每一者的图片类型包含：
将所述视频序列中所包括的所述帧中的每一者划分为多个片断；以及
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的所述个别片断的图片类型。
13.根据权利要求1所述的方法，其中确定所述帧中的每一者的图片类型包含确定所述视频序列中所包括的所述帧中的每一者的基准图片类型，进一步包含将实时确定的图片类型与所述基准图片类型比较以确定所述实时确定的图片类型的准确度。
14.根据权利要求1所述的方法，其中确定所述帧中的每一者的图片类型包含实时确定所述视频序列中所包括的所述帧中的每一者的图片类型。
15.根据权利要求14所述的方法，其进一步包含执行复杂性降低以使得能够进行对所述图片类型的实时确定。
16.根据权利要求1所述的方法，其进一步包含基于所述针对所述帧而确定的图片类型而对所述视频序列中所包括的所述帧中的每一者进行编码。
17.一种装置，其包含：
相关器，其计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关，且计算若干对所述第一阶交叉相关之间的第二阶交叉相关；以及
图片类型确定模块，其基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型。
18.根据权利要求17所述的装置，其中所述图片类型确定模块确定应将所述视频序列中所包括的所述帧中的每一者编码为帧内图片、经预测的图片还是双向预测性图片。
19.根据权利要求17所述的装置，其进一步包含相关分析器，所述相关分析器包括：
视频转变效果检测器，其基于所述第一阶交叉相关的输出中所包括的被识别为视频效果指纹的特征来检测所述视频序列中所包括的所述帧之间的视频转变效果；以及
比较分析器，其基于对所述第一阶交叉相关及所述第二阶交叉相关的比较分析来确定所述视频序列中所包括的所述帧之间的时间相似性。
20.根据权利要求19所述的装置，其中所述视频转变效果检测器包括：
紧凑支持事件检测器，其基于所述第一阶交叉相关来检测一个或一个以上紧凑支持视频转变效果，其中所述紧凑支持视频转变效果包括剪辑场景改变视频效果、部分场景改变视频效果及闪光帧视频效果，且其中所述紧凑支持事件检测器包含：
与所述紧凑支持视频转变效果匹配的滤波器，所述滤波器检测所述第一阶交叉相关的输出内的大体类似于紧凑支持视频效果指纹的多个特征；以及
阈值比较器，其识别所述匹配的滤波器的输出中的所述所检测的特征中的哪些为紧凑支持视频效果指纹。
21.根据权利要求19所述的装置，其中所述视频转变效果检测器包括：
扩展支持事件检测器，其基于所述第一阶交叉相关来检测一个或一个以上扩展支持视频转变效果，其中所述扩展支持视频转变效果包括交叉淡化视频效果、淡入视频效果、淡出视频效果、放大视频效果及缩小视频效果，且其中所述扩展支持事件检测器包含：
多分辨率分析器，其检测所述第一阶交叉相关的输出内的大体类似于扩展支持视频效果指纹的多个特征；以及
经结构化显著峰值分析器，其识别所述多分辨率分析器的输出中的所述所检测的特征中的哪些为扩展支持视频效果指纹。
22.根据权利要求19所述的装置，其中所述视频转变效果检测器包括：
全局运动检测器，其基于所述第一阶交叉相关来检测一个或一个以上全局运动视频转变效果，其中所述全局运动视频转变效果包括相机摇摄视频效果及相机卷动视频效果，且其中所述全局运动检测器包含：
最大值位置滤波器，其检测所述第一阶交叉相关的输出内的大体类似于全局运动视频效果指纹的多个特征且确定对所述特征中的每一者的水平位移估计及垂直位移估计；以及
多通道融合模块，其使所述最大值位置滤波器的输出中的对所述所检测的特征中的每一者的所述水平位移估计及所述垂直位移估计平滑且识别所述所检测的特征中的哪些为全局运动视频效果指纹。
23.根据权利要求17所述的装置，其进一步包含评估模块，所述评估模块基于对帧内容、速率-失真改进特性及编码带宽机制特性的依赖性来评估由所述图片类型确定模块针对所述视频序列中所包括的所述帧中的每一者而确定的所述图片类型的准确度。
24.根据权利要求17所述的装置，其进一步包含：
图片组(GOP)分割器，其将所述视频序列分割为包括多个帧的GOP结构；以及
分析窗定位模块，其在所述GOP结构内定位分析窗以使得所述分析窗以候选帧为中心且包括预定数目个相邻帧，
其中所述相关器计算所述分析窗中所包括的帧的图像信息之间的第一阶交叉相关，且计算所述分析窗中所包括的若干对所述第一阶交叉相关之间的第二阶交叉相关，且
其中所述图片类型确定模块基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述候选帧的图片类型。
25.根据权利要求17所述的装置，其中所述相关器在所述视频序列中所包括的若干对帧内的图像信息之间执行基于二维快速傅立叶变换的计算以产生所述第一阶交叉相关，且在若干对第一阶交叉相关之间执行基于二维快速傅立叶变换的计算以产生所述第二阶交叉相关。
26.根据权利要求17所述的装置，其中所述相关器计算所述视频序列中所包括的若干对帧内的全帧图像之间的第一阶交叉相关。
27.根据权利要求17所述的装置，其中所述相关器：
将所述视频序列中所包括的若干对帧内的子图像集合中的子图像填充为共同图像大小；
计算所述子图像集合之间的第一阶子图像交叉相关；且
在所述若干对帧中的每一对帧的所述子图像的至少一部分上求所述子图像交叉相关的平均值以产生所述第一阶交叉相关。
28.根据权利要求27所述的装置，其中所述图片类型确定模块：
将所述视频序列中所包括的所述帧中的每一者划分为多个片断；且
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的所述个别片断的图片类型。
29.根据权利要求17所述的装置，其中所述图片类型确定模块确定所述视频序列中所包括的所述帧中的每一者的基准图片类型以用于与实时确定的图片类型比较从而确定所述实时确定的图片类型的准确度。
30.根据权利要求17所述的装置，其中所述图片类型确定模块实时确定所述视频序列中所包括的所述帧中的每一者的图片类型。
31.根据权利要求30所述的装置，其进一步包含复杂性降低模块，所述复杂性降低模块执行复杂性降低以使所述图片类型确定模块能够执行对所述图片类型的实时确定。
32.根据权利要求17所述的装置，其进一步包含编码器，所述编码器基于所述针对所述帧而确定的图片类型而对所述视频序列中所包括的所述帧中的每一者进行编码。
33.一种包含计算机可读媒体的计算机程序产品，所述计算机可读媒体包含用于使计算机执行以下操作的指令：
计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关；
计算若干对所述第一阶交叉相关之间的第二阶交叉相关；且
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型。
34.根据权利要求33所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机确定应将所述视频序列中所包括的所述帧中的每一者编码为帧内图片、经预测的图片还是双向预测性图片。
35.根据权利要求33所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机：
基于所述第一阶交叉相关的输出中所包括的被识别为视频效果指纹的特征来检测所述视频序列中所包括的所述帧之间的视频转变效果；且
基于对所述第一阶交叉相关及所述第二阶交叉相关的比较分析来确定所述视频序列中所包括的所述帧之间的时间相似性。
36.根据权利要求35所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机基于所述第一阶交叉相关来检测一个或一个以上紧凑支持视频转变效果，其中所述紧凑支持视频转变效果包括剪辑场景改变视频效果、部分场景改变视频效果及闪光帧视频效果，且其中所述使所述计算机检测一个或一个以上紧凑支持视频转变效果的指令使所述计算机：
将所述第一阶交叉相关的输出施加到与所述紧凑支持视频转变效果匹配的滤波器，所述滤波器检测所述输出内的大体类似于紧凑支持视频效果指纹的多个特征；且
将所述匹配的滤波器的输出施加到阈值比较器，所述阈值比较器识别所述所检测的特征中的哪些为紧凑支持视频效果指纹。
37.根据权利要求35所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机基于所述第一阶交叉相关来检测一个或一个以上扩展支持视频转变效果，其中所述扩展支持视频转变效果包括交叉淡化视频效果、淡入视频效果、淡出视频效果、放大视频效果及缩小视频效果，且其中所述使所述计算机检测所述一个或一个以上扩展支持视频转变效果的指令使所述计算机：
将所述第一阶交叉相关的输出施加到多分辨率分析器，所述多分辨率分析器检测所述输出内的大体类似于扩展支持视频效果指纹的多个特征；且
将所述多分辨率分析器的输出施加到经结构化显著峰值分析器，所述经结构化显著峰值分析器识别所述所检测的特征中的哪些为扩展支持视频效果指纹。
38.根据权利要求35所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机基于所述第一阶交叉相关来检测一个或一个以上全局运动视频转变效果，其中所述全局运动视频转变效果包括相机摇摄视频效果及相机卷动视频效果，且其中所述使所述计算机检测所述一个或一个以上全局运动视频转变效果的指令使所述计算机：
将所述第一阶交叉相关的输出施加到最大值位置滤波器，所述最大值位置滤波器检测所述输出内的大体类似于全局运动视频效果指纹的多个特征且确定对所述特征中的每一者的水平位移估计及垂直位移估计；且
将所述最大值位置滤波器的输出施加到多通道融合模块，所述多通道融合模块使所述所检测的特征中的每一者的所述水平位移估计及所述垂直位移估计平滑且识别所述所检测的特征中的哪些为全局运动视频效果指纹。
39.根据权利要求33所述的包含计算机可读媒体的计算机程序产品，其进一步包含使所述计算机基于对帧内容、速率-失真改进特性及编码带宽机制特性的依赖性来评估所述视频序列中所包括的所述帧中的每一者的所述所确定的图片类型的准确度的指令。
40.根据权利要求33所述的包含计算机可读媒体的计算机程序产品，其进一步包含使所述计算机执行以下操作的指令：
将所述视频序列分割为包括多个帧的图片组(GOP)结构；
在所述GOP结构内定位分析窗以使得所述分析窗以候选帧为中心且包括预定数目个相邻帧；
计算所述分析窗中所包括的帧的图像信息之间的第一阶交叉相关；
计算所述分析窗中所包括的若干对所述第一阶交叉相关之间的第二阶交叉相关；且
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述候选帧的图片类型。
41.根据权利要求33所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机：
在所述视频序列中所包括的若干对帧内的图像信息之间执行基于二维快速傅立叶变换的计算以产生所述第一阶交叉相关，且
在若干对第一阶交叉相关之间执行基于二维快速傅立叶变换的计算以产生所述第二阶交叉相关。
42.根据权利要求33所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机计算所述视频序列中所包括的若干对帧内的全帧图像之间的第一阶交叉相关。
43.根据权利要求33所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机：
将所述视频序列中所包括的若干对帧内的子图像集合中的子图像填充为共同图像大小；
计算所述子图像集合之间的第一阶子图像交叉相关；且
在所述若干对帧中的每一对帧的所述子图像的至少一部分上求所述子图像交叉相关的平均值以产生所述第一阶交叉相关。
44.根据权利要求43所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机：
将所述视频序列中所包括的所述帧中的每一者划分为多个片断；且
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的所述个别片断的图片类型。
45.根据权利要求33所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机确定所述视频序列中所包括的所述帧中的每一者的基准图片类型，且将实时确定的图片类型与所述基准图片类型比较以确定所述实时确定的图片类型的准确度。
46.根据权利要求33所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机实时确定所述视频序列中所包括的所述帧中的每一者的图片类型。
47.根据权利要求46所述的包含计算机可读媒体的计算机程序产品，其中所述指令使所述计算机执行复杂性降低以使得能够进行对所述图片类型的实时确定。
48.根据权利要求33所述的包含计算机可读媒体的计算机程序产品，其进一步包含使所述计算机基于所述针对所述帧而确定的图片类型而对所述视频序列中所包括的所述帧中的每一者进行编码的指令。
49.一种装置，其包含：
用于计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关及若干对所述第一阶交叉相关之间的第二阶交叉相关的装置；以及
用于基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型的装置。
50.根据权利要求49所述的装置，其中所述用于确定图片类型的装置确定应将所述视频序列中所包括的所述帧中的每一者编码为帧内图片、经预测的图片还是双向预测性图片。
51.根据权利要求49所述的装置，其进一步包含：
用于基于所述第一阶交叉相关的输出中所包括的被识别为视频效果指纹的特征来检测所述视频序列中所包括的所述帧之间的视频转变效果的装置；以及
用于基于对所述第一阶交叉相关及所述第二阶交叉相关的比较分析来确定所述视频序列中所包括的所述帧之间的时间相似性的装置。
52.根据权利要求51所述的装置，其中所述用于检测视频转变效果的装置包括用于基于所述第一阶交叉相关来检测一个或一个以上紧凑支持视频转变效果的装置，其中所述紧凑支持视频转变效果包括剪辑场景改变视频效果、部分场景改变视频效果及闪光帧视频效果，且其中所述用于检测一个或一个以上紧凑支持视频转变效果的装置包含：
与所述紧凑支持视频转变效果匹配的滤波器，所述滤波器检测所述第一阶交叉相关的输出内的大体类似于紧凑支持视频效果指纹的多个特征；以及
阈值比较器，其识别所述匹配的滤波器的输出中的所述所检测的特征中的哪些为紧凑支持视频效果指纹。
53.根据权利要求51所述的装置，其中所述用于检测视频转变效果的装置包括用于基于所述第一阶交叉相关来检测一个或一个以上扩展支持视频转变效果的装置，其中扩展支持视频转变效果包括交叉淡化视频效果、淡入视频效果、淡出视频效果、放大视频效果及缩小视频效果，且其中所述用于检测一个或一个以上扩展支持视频转变效果的装置包含：
多分辨率分析器，其检测所述第一阶交叉相关的输出内的大体类似于扩展支持视频效果指纹的多个特征；以及
经结构化显著峰值分析器，其识别所述多分辨率分析器的输出中的所述所检测的特征中的哪些为扩展支持视频效果指纹。
54.根据权利要求51所述的装置，其中所述用于检测视频转变效果的装置包括用于基于所述第一阶交叉相关来检测一个或一个以上全局运动视频转变效果的装置，其中全局运动视频转变效果包括相机摇摄视频效果及相机卷动视频效果，且其中所述用于检测所述一个或一个以上全局运动视频转变效果的装置包含：
最大值位置滤波器，其检测所述第一阶交叉相关的输出内的大体类似于全局运动视频效果指纹的多个特征且确定对所述特征中的每一者的水平位移估计及垂直位移估计；以及
多通道融合模块，其使所述最大值位置滤波器的输出中的对所述所检测的特征中的每一者的所述水平位移估计及所述垂直位移估计平滑且识别所述所检测的特征中的哪些为全局运动视频效果指纹。
55.根据权利要求49所述的装置，其进一步包含用于基于对帧内容、速率-失真改进特性及编码带宽机制特性的依赖性来评估所述视频序列中所包括的所述帧中的每一者的所述所确定的图片类型的准确度的装置。
56.根据权利要求49所述的装置，其进一步包含：
用于将所述视频序列分割为包括多个帧的GOP结构的装置；以及
用于在所述GOP结构内定位分析窗以使得所述分析窗以候选帧为中心且包括预定数目个相邻帧的装置，
其中所述用于计算的装置计算所述分析窗中所包括的帧的图像信息之间的第一阶交叉相关，且计算所述分析窗中所包括的若干对所述第一阶交叉相关之间的第二阶交叉相关，且
其中所述用于确定图片类型的装置基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述候选帧的图片类型。
57.根据权利要求49所述的装置，其中所述用于计算的装置在所述视频序列中所包括的若干对帧内的图像信息之间执行基于二维快速傅立叶变换的计算以产生所述第一阶交叉相关，且在若干对第一阶交叉相关之间执行基于二维快速傅立叶变换的计算以产生所述第二阶交叉相关。
58.根据权利要求49所述的装置，其中所述用于计算的装置计算所述视频序列中所包括的若干对帧内的全帧图像之间的第一阶交叉相关。
59.根据权利要求49所述的装置，其中所述用于计算的装置：
将所述视频序列中所包括的若干对帧内的子图像集合中的子图像填充为共同图像大小；
计算所述子图像集合之间的第一阶子图像交叉相关；且
在所述若干对帧中的每一对帧的所述子图像的至少一部分上求所述子图像交叉相关的平均值以产生所述第一阶交叉相关。
60.根据权利要求59所述的装置，其中所述用于确定图片类型的装置：
将所述视频序列中所包括的所述帧中的每一者划分为多个片断；且
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的所述个别片断的图片类型。
61.根据权利要求49所述的装置，其中所述用于确定图片类型的装置确定所述视频序列中所包括的所述帧中的每一者的基准图片类型以用于与实时确定的图片类型比较从而确定所述实时确定的图片类型的准确度。
62.根据权利要求49所述的装置，其中所述用于确定图片类型的装置实时确定所述视频序列中所包括的所述帧中的每一者的图片类型。
63.根据权利要求62所述的装置，其进一步包含用于执行复杂性降低以使所述图片类型确定模块能够执行对所述图片类型的实时确定的装置。
64.根据权利要求49所述的装置，其进一步包含用于基于所述针对所述帧而确定的图片类型而对所述视频序列中所包括的所述帧中的每一者进行编码的装置。
65.一种无线通信装置手持机，其包含：
相关器，其计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关，且计算若干对所述第一阶交叉相关之间的第二阶交叉相关；以及
图片类型确定模块，其基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型。
66.根据权利要求65所述的手持机，其中所述图片类型确定模块确定应将所述视频序列中所包括的所述帧中的每一者编码为帧内图片、经预测的图片还是双向预测性图片。
67.根据权利要求65所述的手持机，其进一步包含相关分析器，所述相关分析器包括：
视频转变效果检测器，其基于所述第一阶交叉相关的输出中所包括的被识别为视频效果指纹的特征来检测所述视频序列中所包括的所述帧之间的视频转变效果；以及
比较分析器，其基于对所述第一阶交叉相关及所述第二阶交叉相关的比较分析来确定所述视频序列中所包括的所述帧之间的时间相似性。
68.根据权利要求67所述的手持机，其中所述视频转变效果检测器包括：
紧凑支持事件检测器，其基于所述第一阶交叉相关来检测一个或一个以上紧凑支持视频转变效果，其中所述紧凑支持视频转变效果包括剪辑场景改变视频效果、部分场景改变视频效果及闪光帧视频效果，且其中所述紧凑支持事件检测器包含：
与所述紧凑支持视频转变效果匹配的滤波器，所述滤波器检测所述第一阶交叉相关的输出内的大体类似于紧凑支持视频效果指纹的多个特征；以及
阈值比较器，其识别所述匹配的滤波器的输出中的所述所检测的特征中的哪些为紧凑支持视频效果指纹。
69.根据权利要求67所述的手持机，其中所述视频转变效果检测器包括：
扩展支持事件检测器，其基于所述第一阶交叉相关来检测一个或一个以上扩展支持视频转变效果，其中所述扩展支持视频转变效果包括交叉淡化视频效果、淡入视频效果、淡出视频效果、放大视频效果及缩小视频效果，且其中所述扩展支持事件检测器包含：
多分辨率分析器，其检测所述第一阶交叉相关的输出内的大体类似于扩展支持视频效果指纹的多个特征；以及
经结构化显著峰值分析器，其识别所述多分辨率分析器的输出中的所述所检测的特征中的哪些为扩展支持视频效果指纹。
70.根据权利要求67所述的手持机，其中所述视频转变效果检测器包括：
全局运动检测器，其基于所述第一阶交叉相关来检测一个或一个以上全局运动视频转变效果，其中所述全局运动视频转变效果包括相机摇摄视频效果及相机卷动视频效果，且其中所述全局运动检测器包含：
最大值位置滤波器，其检测所述第一阶交叉相关的输出内的大体类似于全局运动视频效果指纹的多个特征且确定对所述特征中的每一者的水平位移估计及垂直位移估计；以及
多通道融合模块，其使所述最大值位置滤波器的输出中的对所述所检测的特征中的每一者的所述水平位移估计及所述垂直位移估计平滑且识别所述所检测的特征中的哪些为全局运动视频效果指纹。
71.根据权利要求65所述的手持机，其进一步包含评估模块，所述评估模块基于对帧内容、速率-失真改进特性及编码带宽机制特性的依赖性来评估由所述图片类型确定模块针对所述视频序列中所包括的所述帧中的每一者而确定的所述图片类型的准确度。
72.根据权利要求65所述的手持机，其进一步包含：
图片组(GOP)分割器，其将所述视频序列分割为包括多个帧的GOP结构；以及
分析窗定位模块，其在所述GOP结构内定位分析窗以使得所述分析窗以候选帧为中心且包括预定数目个相邻帧，
其中所述相关器计算所述分析窗中所包括的帧的图像信息之间的第一阶交叉相关，且计算所述分析窗中所包括的若干对所述第一阶交叉相关之间的第二阶交叉相关，且
其中所述图片类型确定模块基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述候选帧的图片类型。
73.根据权利要求65所述的手持机，其中所述相关器在所述视频序列中所包括的若干对帧内的图像信息之间执行基于二维快速傅立叶变换的计算以产生所述第一阶交叉相关，且在若干对第一阶交叉相关之间执行基于二维快速傅立叶变换的计算以产生所述第二阶交叉相关。
74.根据权利要求65所述的手持机，其中所述相关器计算所述视频序列中所包括的若干对帧内的全帧图像之间的第一阶交叉相关。
75.根据权利要求65所述的手持机，其中所述相关器：
将所述视频序列中所包括的若干对帧内的子图像集合中的子图像填充为共同图像大小；
计算所述子图像集合之间的第一阶子图像交叉相关；且
在所述若干对帧中的每一对帧的所述子图像的至少一部分上求所述子图像交叉相关的平均值以产生所述第一阶交叉相关。
76.根据权利要求75所述的手持机，其中所述图片类型确定模块：
将所述视频序列中所包括的所述帧中的每一者划分为多个片断；且
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的所述个别片断的图片类型。
77.根据权利要求65所述的手持机，其中所述图片类型确定模块实时确定所述视频序列中所包括的所述帧中的每一者的图片类型。
78.根据权利要求77所述的手持机，其进一步包含复杂性降低模块，所述复杂性降低模块执行复杂性降低以使所述图片类型确定模块能够执行对所述图片类型的实时确定。
79.根据权利要求65所述的手持机，其进一步包含编码器，所述编码器基于所述针对所述帧而确定的图片类型而对所述视频序列中所包括的所述帧中的每一者进行编码。
80.一种包含至少一个处理器的用于处理数字图像数据的集成电路装置，所述至少一个处理器经配置以：
计算视频序列中所包括的若干对帧内的图像信息之间的第一阶交叉相关；
计算若干对所述第一阶交叉相关之间的第二阶交叉相关；且
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的图片类型。
81.根据权利要求80所述的集成电路装置，其中所述至少一个处理器经配置以确定应将所述视频序列中所包括的所述帧中的每一者编码为帧内图片、经预测的图片还是双向预测性图片。
82.根据权利要求80所述的集成电路装置，其中所述至少一个处理器经配置以：
基于所述第一阶交叉相关的输出中所包括的被识别为视频效果指纹的特征来检测所述视频序列中所包括的所述帧之间的视频转变效果；且
基于对所述第一阶交叉相关及所述第二阶交叉相关的比较分析来确定所述视频序列中所包括的所述帧之间的时间相似性。
83.根据权利要求82所述的集成电路装置，其中所述至少一个处理器经配置以基于所述第一阶交叉相关来检测一个或一个以上紧凑支持视频转变效果，其中所述紧凑支持视频转变效果包括剪辑场景改变视频效果、部分场景改变视频效果及闪光帧视频效果，且其中所述至少一个处理器经配置以：
将所述第一阶交叉相关的输出施加到与所述紧凑支持视频转变效果匹配的滤波器，所述滤波器检测所述输出内的大体类似于紧凑支持视频效果指纹的多个特征；且
将所述匹配的滤波器的输出施加到阈值比较器，所述阈值比较器识别所述所检测的特征中的哪些为紧凑支持视频效果指纹。
84.根据权利要求82所述的集成电路装置，其中所述至少一个处理器经配置以基于所述第一阶交叉相关来检测一个或一个以上扩展支持视频转变效果，其中所述扩展支持视频转变效果包括交叉淡化视频效果、淡入视频效果、淡出视频效果、放大视频效果及缩小视频效果，且其中所述至少一个处理器经配置以：
将所述第一阶交叉相关的输出施加到多分辨率分析器，所述多分辨率分析器检测所述输出内的大体类似于扩展支持视频效果指纹的多个特征；且
将所述多分辨率分析器的输出施加到经结构化显著峰值分析器，所述经结构化显著峰值分析器识别所述所检测的特征中的哪些为扩展支持视频效果指纹。
85.根据权利要求82所述的集成电路装置，其中所述至少一个处理器经配置以基于所述第一阶交叉相关来检测一个或一个以上全局运动视频转变效果，其中所述全局运动视频转变效果包括相机摇摄视频效果及相机卷动视频效果，且其中所述至少一个处理器经配置以：
将所述第一阶交叉相关的输出施加到最大值位置滤波器，所述最大值位置滤波器检测所述输出内的大体类似于全局运动视频效果指纹的多个特征且确定对所述特征中的每一者的水平位移估计及垂直位移估计；且
将所述最大值位置滤波器的输出施加到多通道融合模块，所述多通道融合模块使对所述所检测的特征中的每一者的所述水平位移估计及所述垂直位移估计平滑且识别所述所检测的特征中的哪些为全局运动视频效果指纹。
86.根据权利要求80所述的集成电路装置，其中所述至少一个处理器经配置以基于对帧内容、速率-失真改进特性及编码带宽机制特性的依赖性来评估所述视频序列中所包括的所述帧中的每一者的所述所确定的图片类型的准确度。
87.根据权利要求80所述的集成电路装置，其中所述至少一个处理器经配置以：
将所述视频序列分割为包括多个帧的图片组(GOP)结构；
在所述GOP结构内定位分析窗以使得所述分析窗以候选帧为中心且包括预定数目个相邻帧；
计算所述分析窗中所包括的帧的图像信息之间的第一阶交叉相关；
计算所述分析窗中所包括的若干对所述第一阶交叉相关之间的第二阶交叉相关；且
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述候选帧的图片类型。
88.根据权利要求80所述的集成电路装置，其中所述至少一个处理器经配置以：
在所述视频序列中所包括的若干对帧内的图像信息之间执行基于二维快速傅立叶变换的计算以产生所述第一阶交叉相关，且
在若干对第一阶交叉相关之间执行基于二维快速傅立叶变换的计算以产生所述第二阶交叉相关。
89.根据权利要求80所述的集成电路装置，其中所述至少一个处理器经配置以计算所述视频序列中所包括的若干对帧内的全帧图像之间的第一阶交叉相关。
90.根据权利要求80所述的集成电路装置，其中所述至少一个处理器经配置以：
将所述视频序列中所包括的若干对帧内的子图像集合中的子图像填充为共同图像大小；
计算所述子图像集合之间的第一阶子图像交叉相关；且
在所述若干对帧中的每一对帧的所述子图像的至少一部分上求所述子图像交叉相关的平均值以产生所述第一阶交叉相关。
91.根据权利要求90所述的集成电路装置，其中所述至少一个处理器经配置以：
将所述视频序列中所包括的所述帧中的每一者划分为多个片断；且
基于所述第一阶交叉相关及所述第二阶交叉相关来确定所述视频序列中所包括的所述帧中的每一者的所述个别片断的图片类型。
92.根据权利要求80所述的集成电路装置，其中所述至少一个处理器经配置以确定所述视频序列中所包括的所述帧中的每一者的基准图片类型，且将实时确定的图片类型与所述基准图片类型比较以确定所述实时确定的图片类型的准确度。
93.根据权利要求80所述的集成电路装置，其中所述至少一个处理器经配置以实时确定所述视频序列中所包括的所述帧中的每一者的图片类型。
94.根据权利要求93所述的集成电路装置，其中所述至少一个处理器经配置以执行复杂性降低从而使得能够进行对所述图片类型的实时确定。
95.根据权利要求80所述的集成电路装置，其中所述至少一个处理器经配置以基于所述针对所述帧而确定的图片类型而对所述视频序列中所包括的所述帧中的每一者进行编码。
96.一种系统，其包含：
编码装置，其包括将视频数据分割为包括多个帧的图片组(GOP)结构的GOP分割器及实时确定所述GOP结构中所包括的所述帧的图片类型的自适应图片组(AGOP)结构确定模块；
定位在所述编码装置外部的基于相关的AGOP结构确定模块，其基于若干对帧内的图像信息之间的第一阶交叉相关及若干对第一阶交叉相关之间的第二阶交叉相关来确定所述GOP结构中所包括的所述帧的基准图片类型；以及
基准比较器，其将所述图片类型与所述基准图片类型比较以确定集成在所述编码装置中的所述AGOP结构确定模块的准确度。
97.根据权利要求96所述的系统，其中所述编码装置包含代码转换器或编码器中的一者。
98.一种编码装置，其包含：
图片组(GOP)分割器，其将视频数据分割为包括多个帧的GOP结构；以及
基于相关的自适应图片组(AGOP)结构确定模块，其基于若干对帧内的图像信息之间的第一阶交叉相关及若干对第一阶交叉相关之间的第二阶交叉相关来实时确定所述GOP结构中所包括的所述帧的图片类型。
99.根据权利要求98所述的编码装置，其进一步包含复杂性降低模块，所述复杂性降低模块执行以下操作中的至少一者：降低所述GOP结构中所包括的所述帧内的图像信息的分辨率及限制由所述基于相关的AGOP结构确定模块计算的第一阶交叉相关的数目。
100.根据权利要求98所述的编码装置，其中所述装置包含代码转换器或编码器中的一者。
CN2008801254756A 2007-12-17 2008-12-17 自适应图片组(agop)结构确定 Pending CN101926174A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/957,582 2007-12-17
US11/957,582 US9628811B2 (en) 2007-12-17 2007-12-17 Adaptive group of pictures (AGOP) structure determination
PCT/US2008/087256 WO2009079595A1 (en) 2007-12-17 2008-12-17 Adaptive group of pictures (agop) structure determination

Publications (1)

Publication Number Publication Date
CN101926174A true CN101926174A (zh) 2010-12-22

Family

ID=40568323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801254756A Pending CN101926174A (zh) 2007-12-17 2008-12-17 自适应图片组(agop)结构确定

Country Status (7)

Country Link
US (1) US9628811B2 (zh)
EP (1) EP2073554A3 (zh)
JP (1) JP2011507461A (zh)
KR (1) KR20100093131A (zh)
CN (1) CN101926174A (zh)
TW (1) TW200945899A (zh)
WO (1) WO2009079595A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0701202D0 (en) * 2007-01-22 2007-02-28 Wanzke Detlev Data analysis
WO2009017105A1 (ja) * 2007-07-30 2009-02-05 Nec Corporation 通信端末、配信システム、変換方法、及びプログラム
US8212720B2 (en) * 2008-09-24 2012-07-03 Texas Instruments Incorporated Detecting lack of movement to aid GNSS receivers
EP2438555B1 (en) * 2009-06-02 2017-03-08 Sofast GmbH Superresolution optical fluctuation imaging (sofi)
US9363534B2 (en) 2009-10-29 2016-06-07 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and device for processing a video sequence
US9426477B2 (en) * 2010-02-25 2016-08-23 International Business Machines Corporation Method and apparatus for encoding surveillance video
US8928809B2 (en) * 2010-09-15 2015-01-06 Verizon Patent And Licensing Inc. Synchronizing videos
KR101181732B1 (ko) * 2010-11-22 2012-09-19 (주)엔써즈 동영상 핑거프린트 정보에 기반한 동영상 마크업 데이터 생성 방법 및 이를 이용한 정보 제공 방법 및 시스템
EP2458510B1 (en) * 2010-11-29 2014-05-07 NTT DoCoMo, Inc. Method and apparatus for performing a cross-correlation
CN103493481A (zh) * 2011-01-28 2014-01-01 艾艾欧有限公司 基于场景的适应性比特率控制
MX2013008755A (es) * 2011-01-28 2014-01-31 Eye Io Llc Codificacion de secuencias de video basada en el tipo de escena.
US10165274B2 (en) * 2011-01-28 2018-12-25 Eye IO, LLC Encoding of video stream based on scene type
US9159139B2 (en) * 2011-07-14 2015-10-13 Technische Universitat Berlin Method and device for processing pixels contained in a video sequence
EP2761597A4 (en) * 2011-10-01 2015-07-01 Intel Corp SYSTEMS, METHODS, AND COMPUTER PROGRAM PRODUCTS FOR INTEGRATED POST-PROCESSING AND PRE-PROCESSING IN VIDEO TRANSFORMING
US9071842B2 (en) * 2012-04-19 2015-06-30 Vixs Systems Inc. Detection of video feature based on variance metric
US9460204B2 (en) * 2012-10-19 2016-10-04 Sony Corporation Apparatus and method for scene change detection-based trigger for audio fingerprinting analysis
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US10178394B2 (en) * 2016-06-10 2019-01-08 Apple Inc. Transcoding techniques for alternate displays
CN109151469B (zh) * 2017-06-15 2020-06-30 腾讯科技（深圳）有限公司 视频编码方法、装置及设备
US10902825B2 (en) * 2018-12-21 2021-01-26 Arris Enterprises Llc System and method for pre-filtering crawling overlay elements for display with reduced real-time processing demands
US10970555B2 (en) 2019-08-27 2021-04-06 At&T Intellectual Property I, L.P. Data-driven event detection for compressed video
US20210352341A1 (en) * 2020-05-06 2021-11-11 At&T Intellectual Property I, L.P. Scene cut-based time alignment of video streams
CN116055715B (zh) * 2022-05-30 2023-10-20 荣耀终端有限公司 编解码器的调度方法及电子设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5508750A (en) * 1995-02-03 1996-04-16 Texas Instruments Incorporated Encoding data converted from film format for progressive display
JPH0974566A (ja) * 1995-09-04 1997-03-18 Sony Corp 圧縮符号化装置及び圧縮符号化データの記録装置
JP3530902B2 (ja) * 1995-10-30 2004-05-24 ミノルタ株式会社 画像再生装置
JPH09130732A (ja) * 1995-11-01 1997-05-16 Matsushita Electric Ind Co Ltd シーンチェンジ検出方法および動画像編集装置
US5767922A (en) * 1996-04-05 1998-06-16 Cornell Research Foundation, Inc. Apparatus and process for detecting scene breaks in a sequence of video frames
US6580829B1 (en) * 1998-09-25 2003-06-17 Sarnoff Corporation Detecting and coding flash frames in video data
US6771825B1 (en) 2000-03-06 2004-08-03 Sarnoff Corporation Coding video dissolves using predictive encoders
US20040125877A1 (en) * 2000-07-17 2004-07-01 Shin-Fu Chang Method and system for indexing and content-based adaptive streaming of digital video content
US6959044B1 (en) * 2001-08-21 2005-10-25 Cisco Systems Canada Co. Dynamic GOP system and method for digital video encoding
TWI238650B (en) * 2002-11-27 2005-08-21 Nat Kaohsiung First University A MPEG-II video encoder assembly
AU2003903511A0 (en) 2003-07-08 2003-07-24 Canon Kabushiki Kaisha Image registration method improvement
EP1690232A2 (en) * 2003-11-24 2006-08-16 Koninklijke Philips Electronics N.V. Detection of local visual space-time details in a video signal
US7664175B1 (en) * 2004-06-16 2010-02-16 Koplar Interactive Systems International, L.L.C. Mark-based content modulation and detection
US20070258702A1 (en) 2004-07-06 2007-11-08 Groupe Traimtech Inc. Encoding or Decoding Device and Recording/Reproduction Terminal
JP2004288222A (ja) 2004-07-13 2004-10-14 Nec Corp 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体
US7548259B2 (en) * 2004-08-12 2009-06-16 Microsoft Corporation System and method for producing a higher resolution still image from video information
US20060239347A1 (en) * 2005-04-25 2006-10-26 Ashish Koul Method and system for scene change detection in a video encoder
US9467659B2 (en) * 2005-09-27 2016-10-11 Qualcomm Incorporated Method and apparatus for progressive channel switching
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
WO2007072543A1 (ja) 2005-12-19 2007-06-28 Monolith Co., Ltd. 動画符号化方法
KR100739790B1 (ko) 2006-02-02 2007-07-13 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
JP2007300455A (ja) 2006-05-01 2007-11-15 Victor Co Of Japan Ltd 算術符号化装置、および算術符号化装置におけるコンテキストテーブル初期化方法
US8208556B2 (en) * 2007-06-26 2012-06-26 Microsoft Corporation Video coding using spatio-temporal texture synthesis
US20090109341A1 (en) * 2007-10-30 2009-04-30 Qualcomm Incorporated Detecting scene transitions in digital video sequences

Also Published As

Publication number Publication date
US9628811B2 (en) 2017-04-18
KR20100093131A (ko) 2010-08-24
JP2011507461A (ja) 2011-03-03
TW200945899A (en) 2009-11-01
US20090154816A1 (en) 2009-06-18
WO2009079595A1 (en) 2009-06-25
EP2073554A2 (en) 2009-06-24
EP2073554A3 (en) 2009-08-19

Similar Documents

Publication Publication Date Title
CN101926174A (zh) 自适应图片组(agop)结构确定
RU2682859C1 (ru) Выбор точности вектора движения
JP5346076B2 (ja) 奥行きを用いた視点間スキップモード
Metkar et al. Motion estimation techniques for digital video coding
US8238439B2 (en) Methods and apparatus for multi-view information conveyed in high level syntax
KR101675555B1 (ko) 깊이 맵의 코딩
US9729818B2 (en) Adaptive post-processing for mobile video calling system
KR102343700B1 (ko) 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신
US8913503B2 (en) Method and system for frame buffer compression and memory resource reduction for 3D video
US10511766B2 (en) Video transmission based on independently encoded background updates
US20180249178A1 (en) Method and device for encoding and decoding a light field based image, and corresponding computer program product
KR20210107865A (ko) 비디오 디코딩 방법, 비디오 코딩 방법, 장치, 디바이스, 및 저장 매체
JPWO2006082690A1 (ja) 画像符号化方法および画像符号化装置
US20110096151A1 (en) Method and system for noise reduction for 3d video content
Jin et al. Plenoptic 2.0 intra coding using imaging principle
WO2011074189A1 (ja) 画像符号化方法及び画像符号化装置
US20210400295A1 (en) Null tile coding in video coding
Uhrina et al. Impact of compression on the video quality
Polak et al. Study of advanced compression tools for stereoscopic video by objective metrics
Corrales-Garcia et al. Variable and constant bitrate in a DVC to H. 264/AVC transcoder
RU2628198C1 (ru) Способ межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения
Mallik et al. A mixed resolution based high efficiency video codec (HEVC)
CN116916032A (zh) 视频编码方法、装置、电子设备及存储介质
Bedanta Spatially Scalable Video Coding (SSVC) Using Motion Compensated Recursive Temporal Filtering (MCRTF)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101222