CN101326809A - 在视频串流中用于拍摄检测的方法和设备 - Google Patents

Abstract

本发明包含用于处理多媒体数据的装置和方法。此类方法可包括：获得指示多个视频帧中的选定帧与邻近帧之间的差异的至少一个度量，所述度量包含双向运动信息和亮度差异信息；基于所述至少一个度量来确定所述选定帧中的拍摄事件；和基于所述拍摄事件来适应性地对所述选定帧进行编码。一种用于处理多媒体数据的设备可包括：运动补偿器，其经配置以获得指示多个视频帧的邻近帧之间的差异的度量，所述度量包含双向运动信息和亮度信息；拍摄分类器，其经配置以基于所述度量来确定所述多个视频帧中的拍摄事件；和编码器，其经配置以基于所述拍摄事件来适应性地对所述多个帧进行编码。

Description

在视频串流中用于拍摄检测的方法和设备

本专利申请案主张2005年10月17日申请的题为“METHOD AND APPARATUS FORSHOT DETECTION IN VIDEO STREAMING”的第60/727,644号临时申请案的优先权，所述临时申请案转让给本受让人并以引用的方式明确地并入本文中。

技术领域

本发明大体上涉及多媒体数据处理，且更明确地说涉及基于拍摄检测处理来对多媒体数据进行编码。

背景技术

拍摄检测涉及确定图片组(GOP)中的帧何时显示出指示场景变化已发生的数据。通常，在GOP内，帧在任何两个或三个(或三个以上)邻近帧中可不具有任何显著的变化，或者可存在缓慢变化或快速变化。当然，如果有必要，这些场景变化分类可取决于特定应用而被进一步细分为较大等级的变化。

检测拍摄或场景变化对于视频的有效编码很重要。通常，当GOP并未显著地改变时，在所述GOP的开始处且后面为一定数目的预测帧的I帧可对所述视频进行充分编码以使得所述视频的随后解码和显示视觉上可接受。然而，当场景正突然或缓慢地改变时，可使用额外的I帧和较少的预测编码(P帧和B帧)来产生随后被解码且视觉上可接受的结果。在拍摄检测和使用拍摄检测结果的对应编码中的改进可改进编码效率且克服此项技术中与GOP分割相关联的其它问题。

发明内容

本文中所描述的发明设备和方法的每一者具有若干方面，其中任一单一方面不单独对其所需的属性负责。在不限定本发明的范围的情况下，现将简要地讨论其较突出的特性。在考虑此讨论之后且尤其在阅读题为“具体实施方式”的部分之后，将了解本发明的特性如何提供对于多媒体数据处理设备和方法的改进。

一种处理多媒体数据的方法，所述方法包含：获得指示在多个视频帧中的选定帧与在时间上邻近所述选定帧的帧之间的差异的至少一个度量，所述至少一个度量包含与所述选定帧和在时间上邻近所述选定帧的所述帧相关联的双向运动信息和亮度差异信息；基于所述至少一个度量来确定与所述选定帧相关联的拍摄事件；和基于所述拍摄事件来适应性地对所述选定帧进行编码。在一个方面，获得所述至少一个度量包含计算所述至少一个度量。如果所述拍摄事件指示所述选定帧为突然场景变化，那么所述选定帧可被适应性地编码为I帧。如果所述拍摄事件指示所述选定帧为包含缓慢场景变化的多个帧的一部分，那么所述选定帧可被编码为P帧或B帧中的任一者。在另一方面，如果所述拍摄事件指示所述选定帧含有至少一个相机闪光，那么所述选定帧可被识别为需要特殊处理。此类特殊处理的实例包括从视频中去除所述选定帧，且复制在时间上邻近所述选定帧的帧并用所述复制帧来代替所述选定帧。在某些方面，所述拍摄事件指示所述选定帧包含突然场景变化、缓慢场景变化的一部分或者至少一个相机闪光。在某些方面，如果所述拍摄事件未指示所述选定帧包含突然场景变化、一缓慢场景变化的一部分或者至少一个相机闪光，那么适应性地编码包含将所述选定帧编码为I帧。

在另一方面，一种用于处理多媒体数据的设备包括：运动补偿器，其经配置以获得指示在多个视频帧中的选定帧与在时间上邻近所述选定帧的帧之间的差异的至少一个度量，所述至少一个度量包含双向运动信息和亮度信息；拍摄分类器，其经配置以基于所述至少一个度量来确定与所述选定帧相关联的拍摄事件；和编码器，其经配置以基于所述拍摄事件来适应性地对所述选定帧进行编码。

在另一方面，一种用于处理多媒体数据的设备包括：用于获得指示在多个视频帧中选定帧与在时间上邻近所述选定帧的帧之间的差异的至少一个度量的装置，所述至少一个度量包含与所述选定帧和在时间上邻近所述选定帧的所述帧相关联的双向运动信息和亮度差异信息；用于基于所述至少一个度量来确定与所述选定帧相关联的拍摄事件的装置；和用于基于所述拍摄事件来适应性地对所述选定帧进行编码的装置。如果所述拍摄事件指示所述选定帧为突然场景变化，那么所述适应性编码装置可用于将所述选定帧编码为I帧。在另一方面，如果所述拍摄事件指示所述选定帧为包含缓慢场景变化的多个帧的一部分，那么所述适应性编码装置可包含用于将所述选定帧编码为P帧或B帧中的任一者的装置。在另一方面，所述拍摄事件指示所述选定帧含有至少一个相机闪光，且所述适应性编码装置可包括用于将所述选定帧识别为需要特殊处理的装置。

在另一方面，一种机器可读媒体包括用于处理多媒体数据的指令，其中所述指令在执行时导致一机器：获得指示在多个视频帧中的选定帧与在时间上邻近所述选定帧的帧之间的差异的至少一个度量，所述至少一个度量包含与所述选定帧和在时间上邻近所述选定帧的所述帧相关联的双向运动信息和亮度差异信息；基于所述至少一个度量来确定与所述选定帧相关联的拍摄事件；并基于所述拍摄事件来适应性地对所述选定帧进行编码。

在另一方面，一种用于处理多媒体数据的处理器，所述处理器经配置以包含一配置来：获得指示在多个视频帧中的选定帧与在时间上邻近所述选定帧的帧之间的差异的至少一个度量，所述至少一个度量包含与所述选定帧和在时间上邻近所述选定帧的所述帧相关联的双向运动信息和亮度差异信息；基于所述至少一个度量来确定与所述选定帧相关联的拍摄事件；并基于所述拍摄事件来适应性地对所述选定帧进行编码。

附图说明

图1是用于递送串流多媒体数据的通信系统的框图；

图2是用于对多媒体数据进行编码的数字传输设施的某些组件的框图；

图3A是用于拍摄检测和基于检测到的拍摄来编码的处理装置的框图；

图3B是用于拍摄检测和基于检测到的拍摄来编码的处理装置的框图；

图4是说明基于拍摄检测来对多媒体数据进行编码的方法的程序框图；

图5是说明获得多个视频帧的邻近帧之间的差异的度量的方法的程序框图；

图6是说明基于所确定的度量来确定拍摄变化的方法的程序框图；

图7是说明基于拍摄变化来对视频流进行编码的方法的程序框图；

图8是说明确定突然场景变化的方法的程序框图；

图9是说明确定缓慢场景变化的方法的程序框图；

图10是说明确定相机闪光的方法的程序框图；

图11是展示使当前帧C的像素与过去帧P和未来(或后继)帧N匹配的实例的说明；

图12是展示亮度直方图差值λ(lamda)与λ×(2×λ+1)的关系的曲线图；以及

图13说明运动向量确定过程和预测帧编码的一实例。

具体实施方式

在以下描述中，提供特定细节以提供对各方面的全面了解。然而，所属领域的一般技术人员将了解，可在没有这些特定细节的情况下实践所述方面。举例来说，可以框图来展示通信系统和视频处理装置以便不会以不必要的细节混淆所述方面。

本文中描述改进现有编码系统的性能的拍摄检测和编码系统及方法的某些发明方面。这些方面利用包括视频数据的邻近帧之间的统计比较的统计(或度量)来确定是否发生突然场景变化、场景是否正在缓慢改变，或者在所述场景中是否存在可使视频编码变得特别复杂的相机闪光。所述统计可从预处理器获得且接着被发送到编码装置，或者其可在编码装置中产生(例如，通过经配置以执行运动补偿的处理器)。所得统计帮助场景变化检测决策。在执行转码(transcoding)的系统中，常常存在适当预处理器或可配置的处理器。如果所述预处理器执行运动补偿辅助解交错，那么运动补偿统计为可用的且即可使用。

本文所描述的拍摄检测器可仅利用来自先前帧、当前帧和后继帧的统计以使得算法具有非常低的等待时间。所述拍摄检测器区分若干不同类型的拍摄事件，包括突然场景变化、交叉衰减和其它缓慢场景变化以及相机闪光。通过在编码器中用不同策略来确定不同类型的拍摄事件，编码效率和视觉质量得以提高。

本文所引用的“一个方面”、“一方面”、“一些方面”或“某些方面”意味着结合所述方面所描述的特定特征、结构或特性中的一者或一者以上可包括于拍摄检测和编码系统的至少一个方面中。这些短语出现在说明书中的不同地方未必完全表示同一方面，也不是与其它方面相互排斥的单独方面或替代方面。此外，描述可由一些方面而非由其它方面展现的多种特征。类似地，描述可为对于一些方面而非其它方面的要求的多种要求。

本文所使用的“多媒体数据”或“多媒体”是广义术语，其包括视频数据(其可包括音频数据)、音频数据或视频数据与音频数据两者。本文用作广义术语的“视频数据”或“视频”表示含有文本、图像和/或音频数据的图像的一个或一个以上系列或序列，且可用以表示多媒体数据，或者所述术语可替换使用(除非另外规定)。

图1是用于递送串流多媒体的通信系统10的框图。此系统应用于将数字压缩视频传输到多重终端，如图1所示。数字视频源可为(例如)数字电缆或卫星馈给或者经数字化的模拟源。视频源在传输设施2中经处理，在所述传输设施2中其被编码且调制到载波上以经由网络4传输到一个或一个以上终端6。终端6解码所接收的视频且通常显示所述视频的至少一部分。网络4是指适于经编码数据的传输的任何类型的通信网络(有线或无线的)。举例来说，网络4可为手机网络、有线或无线的局域网(LAN)或广域网(WAN)或因特网。终端6可为能够接收和显示数据的任何类型的通信装置，包括(但不限于)手机、PDA(个人数字助理)、家用或商用视频显示设备、计算机(便携式、膝上型、手提式、PC(个人计算机)和较大的基于服务器的计算机系统)和能够使用多媒体数据的个人娱乐装置。

图2是根据某些方面用于对多媒体数据进行编码的数字传输设施的某些组件的框图。数字传输设施2中的接收器21接收数字视频源且将所述视频提供到用于对所述视频进行处理和编码的编码组件(或设备)22。编码组件22包括运动补偿器23、拍摄分类器24和编码器25以便对所述视频进行处理。

运动补偿器23可经配置以确定关于所述视频中的帧的双向运动信息。运动补偿器23还可经配置以确定一个或一个以上差异度量(例如，绝对差之和(SAD)或平方差之和(SSD))，且计算其它信息，包括关于一个或一个以上帧的亮度信息(例如，宏区块(MB)亮度平均值或差异)、亮度直方图差异和帧差异度量(参考等式1-3描述其实例)。所述拍摄分类器可经配置以利用所述运动补偿器所确定的信息来将视频中的帧分类为两个或两个以上种类的“拍摄”。所述编码器经配置以基于所述拍摄分类来适应性地对多个帧进行编码。下文参考等式1-10来描述所述运动补偿器、拍摄分类器和编码器。

编码组件22、其组件和其中所含的过程可通过硬件、软件、固件、中间件、微码或其任何组合来实施。举例来说，运动补偿器23、拍摄分类器24和编码器25可为独立组件，作为硬件、固件、中间件并入于另一装置的组件中，或实施于在处理器上执行的微码或软件中，或其组合。当实施于软件、固件、中间件或微码中时，执行运动补偿、拍摄分类和编码过程的程序码或码片段可存储于例如存储媒体等机器可读媒体中。码片段可表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类别或者指令、数据结构或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容，可使码片段耦合到另一码片段或硬件电路。

图3A是根据某些方面包含处理器31的多媒体处理装置30的框图，所述处理器31用于拍摄检测和基于检测到拍摄进行编码。在某些方面，图3中的多媒体处理装置30还可为图2中的编码组件22。数字视频源可由多媒体处理装置30外部的来源提供且被传达到多媒体处理装置30中的通信模块36。多媒体处理装置30含有与处理器31通信的存储媒体25，处理器31与存储媒体25两者均与通信模块36通信。处理器31包括运动补偿器32、拍摄分类器和编码器，其可操作以产生运动信息、将视频数据的帧中的拍摄分类且对所述视频数据进行编码。所述运动补偿器、拍摄分类器和编码器可对视频进行处理以确定下文参考等式1-10所描述的信息。明确地说，处理器31可具有一配置以获得指示多个视频帧的邻近帧之间的差异的度量(所述度量包含双向运动信息和亮度信息)，基于所述度量来确定所述多个视频帧中的拍摄变化，且基于所述拍摄变化来适应性地对所述多个帧进行编码。在某些方面，所述度量可由处理器31外部的装置或过程计算，所述装置或过程也可在多媒体处理装置30外部且直接或者经由另一装置或存储器间接地与处理器31通信。所述度量还可由处理器31计算，例如由处理器31的运动补偿器32计算。

多媒体处理装置30可提供经编码视频以便进一步处理和/或传输到其它装置(例如，终端6(图1))。在某些方面，所述经编码视频可为可缩放的多层经编码视频，其可包含基础层和增强层。可缩放层编码在共同待决的第11/373,604号(代理人案号050078)美国专利申请案中进一步描述，所述专利申请案题为“SCALABLE VIDEO CODING WITHTWO LAYER ENCODING AND SINGLE LAYER DECODING”且由本受让人所拥有，且其全文以引用的方式并入本文中。图3B是用于拍摄检测且基于检测到的拍摄来编码的多媒体处理装置30的另一说明性方面的框图。多媒体处理装置30包括用于获得指示选定帧与在时间上邻近所述选定帧的帧之间的差异的至少一个度量的装置，例如模块37。多媒体处理装置30还包括用于确定拍摄事件的装置，例如用于基于所述至少一个度量来确定所述选定帧中的拍摄事件的模块38，所述度量由模块37确定。确定拍摄事件的说明性过程使用下文中的等式4-9。多媒体处理装置30还包括用于基于所述拍摄事件来适应性地对所述选定帧进行编码的装置，例如模块39。在一个方面，如果所述拍摄事件指示所述选定帧为突然场景变化，那么模块39可适应性地将选定帧编码为I帧。在另一方面，如果所述拍摄事件指示所述选定帧为包含缓慢场景变化的多个帧的一部分，那么模块39适应性地将选定帧编码为P帧或B帧中的任一者。在另一方面，如果所述拍摄事件指示所述选定帧含有至少一个相机闪光，那么模块39可适应性地将选定帧识别为需要特殊处理，所述特殊处理可包括丢弃选定帧、复制邻近所述选定帧的帧且使用所述复制帧来代替选定帧、内插邻近所述选定帧的帧以形成新的帧来取代选定帧、对选定帧执行错误隐藏，或者为选定帧执行另一预定编码过程。

在某些方面，结合图2、3A和3B以及本文所揭示的其它实例和图式所描述的各种说明性逻辑区块、组件、模块和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文所描述的功能的其任何组合来实施或执行。通用处理器(例如图2所示的通用处理器)可以是微处理器，但在替代实施例中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器，或任何其它此类配置。

视频编码通常对结构化图片组(GOP)操作。GOP一般以帧内编码帧(I帧)开始，随后为一系列的P(预测)帧或B(双向)帧。通常，I帧可存储用于显示所述帧的所有数据，B帧依赖于先前帧和随后帧中的数据(例如，仅含有从先前帧改变的数据或与后继帧中的数据不同)，且P帧含有已从先前帧改变的数据。

在正常使用中，I帧在经编码视频中夹杂着P帧和B帧。在大小方面(例如，用于对帧进行编码的位的数目)，I帧通常要比P帧大得多，而P帧又比B帧大。为了有效的编码、传输和解码处理，GOP的长度应足够长以减少来自大I帧的有效损耗且足够短以克服编码器与解码器之间的失配或者信道损失。此外，P帧中的宏区块(MB)可因为相同的理由而被帧内编码。

视频编码器可使用场景变化检测来确定适当的GOP长度且基于所述GOP长度来插入I帧，而不是以固定间隔来插入通常不需要的I帧。在实践中的串流视频系统中，通信信道通常由于位错误或包丢失而受损害。在何处放置I帧或I MB可显著地影响经解码视频质量和观看体验。一个编码方案是将帧内编码帧用于与分配的先前图片或图片部分显著不同的图片或图片部分。一般不能通过运动估计来有效且高效地预测这些区域，且如果此类区域不使用帧间编码技术(例如，使用B帧和P帧进行编码)，那么编码可更高效地进行。在信道损失的情形中，那些区域很可能发生错误传播，所述错误传播可通过帧内编码来减少或消除(或者几乎消除)。

可将GOP视频的选定帧或一部分分类为两个或两个以上种类，其中每一帧或部分可具有可取决于特定实施方案的不同帧内编码准则。作为说明性实例，视频中的选定帧可经处理以确定其是否包括可用于基于帧的内容将所述帧分类成三个种类中的一者的某个“拍摄事件”；即每一种类指示由帧俘获或者帧为其一部分的一种类型的拍摄事件。这三个种类为突然场景变化、交叉衰减和/或其它缓慢场景变化的一部分，或者作为含有至少一个相机闪光(camera flash)(也称作“相机闪光(camera flashlight)”)的帧。

被分类为突然场景变化的帧包括与先前帧显著不同的帧。这些突然场景变化通常由视频的编辑或产生期间的相机操作造成。举例来说，从不同的相机产生的视频可因为所述相机具有不同的视点而包括突然场景变化。并且，在记录视频时突然地改变相机的视场可导致突然场景变化。由于被分类为突然场景变化的帧的内容与先前帧的内容不同，所以通常应将突然场景变化帧编码为I帧。

被分类为缓慢场景变化的一部分的帧包括具有交叉衰减和其它缓慢场景变化或者场景的缓慢切换的视频。在某些实例中，此可由相机拍摄的计算机处理造成。两个不同场景的逐渐混合对于人类眼睛来说看起来较舒适，但其对视频编码却是挑战。对于一些缓慢改变的场景，运动补偿不能有效地降低那些帧的位速率。在某些情况下，可将更多的帧内编码MB用于这些帧。

被分类为具有相机闪光或相机闪光事件的帧可包括具有包括一个或一个以上相机闪光的内容的帧。此类闪光持续时间相对较短(例如，一个帧)且可极其明亮使得一帧中描绘闪光的像素相对于邻近帧上的对应区域显示出不寻常的高亮度。相机闪光突然地且迅速地转换图片的亮度。相机闪光的持续时间常常比人类视觉系统(HVS)的时间遮蔽持续时间(通常定义为44ms)短。人眼对于亮度的这些短突发的质量不敏感，且因此可对其进行粗略编码。因为不能通过运动补偿来有效地处理闪光帧且所述闪光帧是未来帧的不良预测候选帧，所以这些帧的粗略编码不会降低未来帧的编码效率。被分类为闪光的场景由于“人工”高亮度而不应被用来预测其它帧，且其它帧由于相同的理由不能被有效地用来预测这些帧。一旦经识别，就可将这些帧取出，因为其可需要相对较大量的处理。一种选择为去除被确定为包括相机闪光的帧且在其位置上编码DC系数；此种解决方法简单，计算迅速且在编码期间可节省许多位。

当上述类型的场景变化的任一者在一帧中被检测到时，宣告拍摄事件且所检测到的场景类型可用来确定可如何对帧进行编码；换句话说，所述帧可基于确定的拍摄事件而被适应性地编码。拍摄检测不仅对改进编码质量有用，其还可帮助识别视频内容搜索和索引。场景检测过程的一个方面将在下文中进行描述。

图4说明在GOP上操作且在一些方面可用来基于视频帧中的拍摄检测来对视频进行编码的过程40，其中参考图5-10描述和说明过程40的若干部分(或者子过程)。编码组件22(图2)或处理器31可经配置以包含过程40。在过程40开始之后，其进行到框42，其中获得关于视频帧的度量(信息)，所述度量包括指示邻近帧之间的差异的信息。所述度量包括双向运动信息和基于亮度的信息，其随后用于确定出现于邻近帧之间且可用于拍摄分类的变化。此类度量可从另一装置或过程获得，或者由(例如)编码组件22或处理器31计算得出。参考图5中的过程A和等式1-10来描述度量产生的说明性实例。

过程40接着进行到框44，其中基于所述度量确定视频中的拍摄变化。视频帧可根据哪种类型的拍摄包含于所述帧中而被分类为两个或两个以上种类，例如突然场景变化、缓慢改变的场景或者含有高亮度值的场景(相机闪光)。某些实施方案编码可需要其它种类。参考图6中的过程B描述拍摄分类的说明性实例，且分别参考图8-10中的过程D、E和F更详细地描述所述说明性实例。

一旦帧被分类，过程40就进行到框46，其中可使用拍摄分类结果对所述帧进行编码或者指定所述帧用于编码。此类结果可影响是用帧内编码帧还是用预测帧(例如，P帧或B帧)来对帧进行编码。图7中的过程C展示使用拍摄结果的编码方案的实例。

图5说明用于获得视频的度量的过程的实例。图5说明发生于图4的框42中的某些步骤。仍参看图5，在框52中，过程A获得或确定视频的双向运动估计和补偿信息。图2和图3的运动补偿器23可经配置以对帧执行双向运动估计且确定可用于随后的拍摄分类的运动补偿信息。过程A接着进行到框54，其中其产生包括关于当前帧或选定帧与一个或一个以上邻近帧的亮度差异直方图的亮度信息。最后，过程A接着继续到框56，其中计算指示帧中所含的拍摄的度量。一种此类度量为帧差异度量，其展示于等式4和10的两个实例中。确定运动信息、亮度信息和帧差异度量的说明性实例在下文中进行描述。

运动补偿

为了执行双向运动估计/补偿，视频序列可由双向运动补偿器进行预处理，所述双向运动补偿器使当前帧的每一8×8区块与所述帧的最邻近相邻帧的两者(一者为过去帧，一者为将来帧)中的区块匹配。所述运动补偿器为每一区块产生运动向量和差异度量。图11说明此概念，其展示使当前帧C的像素与过去帧P和未来(或后继)帧N匹配的实例，且描绘到匹配像素的运动向量(过去运动向量MV_P和未来运动向量MV_N)。下文是对双向运动向量产生和相关编码的说明性方面的简要描述。

图13说明(例如)MPEG-4中的运动向量确定过程和预测帧编码的实例。图13中所描述的过程是对可发生于图5的框52中的实例过程的较详细说明。在图13中，当前图片134由5×5宏区块组成，其中在此实例中宏区块的数目为任意的。宏区块由16×16像素组成。像素可由8位亮度值(Y)和两个8位色度值(Cr和Cb)界定。

在MPEG中，Y、Cr和Cb分量可以4:2:0格式存储，其中Cr分量和Cb分量在X方向和Y方向上以2被向下取样。因此，每一宏区块将由256个Y分量、64个Cr分量和64个Cb分量组成。当前图片134的宏区块136是从处于与当前图片134不同时间点处的参考图片132预测到的。在参考图片132中进行搜索来定位在Y值、Cr值和Cb值方面最接近正被编码的当前宏区块136的最匹配宏区块138。在运动向量140中编码最匹配宏区块138在参考图片132中的位置。参考图片132可为解码器在构造当前图片134之前将已重建的I帧或P帧。从当前宏区块136减去最匹配宏区块138(计算Y分量、Cr分量和Cb分量的每一者的差异)导致残余误差142。残余误差142以二维(2D)离散余弦变换(DCT)144进行编码且接着被量化146。可执行量化146以通过(例如)将较少的位分配给高频率系数且同时将较多的位分配给低频率系数来提供空间压缩。残余误差142的经量化系数以及运动向量140和参考图片132识别信息是代表当前宏区块136的经编码信息。所述经编码信息可存储于存储器中以供将来使用，或者出于(例如)错误校正或图像增强的目的而对所述经编码信息进行操作，或者经由网络4传输所述经编码信息。

可在编码器中使用残余误差142的经编码量化系数以及经编码运动向量140来重建当前宏区块136，以用作用于随后的运动估计和补偿的参考帧的一部分。所述编码器可模拟用于此P帧重建的解码器的程序。解码器的模拟将导致编码器与解码器两者以相同参考图片为工作对象。此处呈现无论是为了进一步的帧间编码在编码器中进行还是在解码器中进行的重建过程。P帧的重建可在重建参考帧(或者正被参考的图片或帧的一部分)之后开始。对经编码量化系数解量化150且接着执行二维(2D)反向DCT(或IDCT)152，从而导致经解码或重建的残余误差154。解码经编码运动向量140且使用其将已重建的最匹配宏区块156定位于已重建的参考图片132中。接着将经重建残余误差154添加到经重建最匹配宏区块156以形成经重建宏区块158。经重建宏区块158可存储于存储器中、独立地显示或与其它经重建宏区块一起显示在一图片中，或为图像增强而进一步加以处理。

使用B帧(或以双向预测编码的任何区段)的编码可利用在当前图片中的一区域与先前图片中的最匹配预测区域和随后图片中的最匹配预测区域之间的时间冗余。将随后最匹配预测区域与先前最匹配预测区域组合以形成组合双向预测区域。当前图片区域与最匹配组合双向预测区域之间的差异为残余误差(或预测误差)。最匹配预测区域在随后参考图片中的位置以及最匹配预测区域在先前参考图片中的位置可在两个运动向量中编码。

亮度直方图差异

在一个方面，运动补偿器可为每一区块产生一差异度量。所述差异度量基于一个帧中的区块与在时间上邻近的先前帧和在时间上邻近的后继帧中的对应区块之间的亮度差异。差异度量可(例如)包括平方差之和(SSD)或绝对差之和(SAD)。在不失一般性的情况下，此处将SAD用作说明性实例。

对于当前(或选定)帧，SAD比率如等式1所示而计算：

$\mathrm{\γ}=\frac{\mathrm{\ϵ}+{\mathrm{SAD}}_P}{\mathrm{\ϵ}+{\mathrm{SAD}}_N}---\left[1\right]$

其中SAD_p和SAD_N分别为选定帧的前向和反向差异度量的绝对差之和。应注意，分母含有小正数ε来防止“除零”错误。分子也含有值ε来平衡分母中的统一(unity)效果。举例来说，如果先前帧、当前帧和后继帧为相同的，那么运动搜索应得出SAD_p＝SAD_N＝0。在此状况下，上述计算产生γ＝1而非0或无穷大。

可为每一帧计算一亮度直方图。通常多媒体图像具有八位的亮度深度(例如，“仓”(bin)的数目)。用于根据某些方面来计算亮度直方图的亮度深度可设定为16从而获得所述直方图。在其它方面，所述亮度深度可设定为适当的数字，所述数字可取决于正被处理的数据的类型、可用的计算能力或其它预定准则。在某些方面，所述亮度深度可基于所计算或所接收的度量(例如数据的内容)来动态地设定。

等式2说明计算亮度直方图差异(λ)的一个实例：

$\mathrm{\λ}=\underset{i=1}{\overset{16}{\mathrm{\Σ}}}|N_{\mathrm{pi}}-N_{\mathrm{ci}}|/N---\left[2\right]$

其中N_Pi为先前帧的第i仓中的区块的数目，且N_Ci为当前帧的第i仓中的区块的数目，且N为一帧中的区块的总数。如果先前帧与当前帧的亮度直方图差异完全不相似(或不相交)，那么λ＝2。

参考图5的框56所讨论的帧差异度量D可如等式3所示来计算：

$D=\frac{{\mathrm{\γ}}_C}{{\mathrm{\γ}}_P}+\mathrm{A\λ}(2\mathrm{\λ}+1)---\left[3\right]$

其中A为由应用选择的常数，且 ${\mathrm{\γ}}_C=\frac{\mathrm{\ϵ}+{\mathrm{SAD}}_P}{\mathrm{\ϵ}+{\mathrm{SAD}}_N},$ 和 ${\mathrm{\γ}}_P=\frac{\mathrm{\ϵ}+{\mathrm{SAD}}_{\mathrm{PP}}}{\mathrm{\ϵ}+{\mathrm{SAD}}_C}.$

图6说明使用为视频获得或确定的度量来确定三个种类的拍摄(或场景)变化的过程B的实例。图6说明发生于图4的框44的一个方面的某些步骤。再次参看图6，在框62中，过程B首先确定帧是否满足被指定为突然场景变化的某些条件或一个或一个以上准则。图8中的过程D说明此确定的一实例。过程B接着进行到框64，其中其确定帧是否为缓慢改变的场景的一部分。图9中的过程C说明确定缓慢改变场景的实例。最后，过程B在框66处确定帧是否含有相机闪光，换句话说，确定帧是否含有与先前帧不同的高亮度值。图10中的过程F说明确定含有相机闪光的帧的实例。下文中描述这些过程的说明性实例。

突然场景变化

图8为是说明确定突然场景变化的过程的程序框图。图8进一步详细描述可发生于图6的框62的一些方面的某些步骤。在框82处，如果帧差异度量D满足等式4中所示的准则：

$D=\frac{{\mathrm{\γ}}_C}{{\mathrm{\γ}}_P}+\mathrm{A\λ}(2\mathrm{\λ}+1)\≥T_1---\left[4\right]$

其中A为由应用选择的常数，且T₁为阈值(例如，阈值准则)。如果满足所述阈值，那么过程D在框84处将帧指定为突然场景变化，且在此实例中，可不需要任何进一步的拍摄分类。

在一个实例中，模拟展示：设定A＝1和T₁＝5实现良好的检测性能。如果当前帧为突然场景变化帧，那么γ_C应较大且γ_P应较小。可使用比率

而非仅使用γ_C以使得度量经标准化为所述情形的活动等级。

应注意，等式4中以非线性的方式来使用准则亮度直方图差异拉姆达(λ)。图12说明λ×(2λ+1)为凸函数。当拉姆达(λ)较小(例如，邻近零)时，λ×(2λ+1)的影响相对较小。然而，当λ变大时，函数λ×(2λ+1)的重要性增加。对于任何大于1.4的拉姆达(λ)，在阈值T₁设为5时检测到突然场景变化。

交叉衰减和缓慢场景变化

图9进一步说明可发生于图6的框64中的一些方面的更多细节。参看图9，过程E在框92处确定帧是否为描绘缓慢场景变化的一系列帧的一部分。对于特定数目的连续帧，如果帧差异度量D如等式5所说明小于第一阈值T₁且大于或等于第二阈值T₂，那么过程E确定当前帧为交叉衰减或其它缓慢场景变化：

T₂≤D＜T₁    [5]

其中T₁是与等式4中所用的阈值相同的阈值且T₂是另一阈值。通常，准则T₁和T₂由于可能的实施方案中的差异而通过标准实验或模拟确定。如果满足等式5中的准则，那么过程E在框94处将帧分类为缓慢改变场景的一部分。可能不需要帧的任何进一步的分类，且选定帧的拍摄分类结束。

相机闪光事件

图10中所示的过程F是可确定当前帧是否包含相机闪光的过程的实例。在相机的此说明性方面，使用亮度直方图统计来确定当前帧是否包含相机闪光。过程F通过首先确定当前帧的亮度是否大于先前帧的亮度和后继帧的亮度来确定相机闪光事件在选定帧中(框102处所示)。如果不是，那么帧并非相机闪光事件；但如果是，那么其可能是相机闪光事件。在框104处，过程F确定反向差异度量是否大于或等于某一阈值以及前向差异度量是否大于或等于一阈值；如果满足这两个条件，那么过程F在框106处将当前帧分类为具有相机闪光。

在一个说明性实例中，在框102处，过程F确定当前帧的平均亮度减去先前帧的平均亮度是否等于或超过阈值T₃，且过程F还确定当前帧的平均亮度减去后继帧的平均亮度是否大于或等于所述阈值T₃，如等式6和7中所示：

Y_C-Y_P≥T₃    [6]

Y_C-Y_N≥T₃    [7]

如果未满足等式6和7的准则，那么不将当前帧分类为包含相机闪光且过程F返回。如果满足等式6和7中所说明的准则，那么过程F进行到框104，其中其确定反向差异度量SAD_P和前向差异度量SAD_N是否大于或等于某一阈值T₄，如以下等式8和9中所说明：

SAD_P≥T₄     [8]

SAD_N≥T₄     [9]

其中Y_C为当前帧的平均亮度，Y_P为先前帧的平均亮度，Y_N为后继帧的平均亮度，且SAD_P和SAD_N分别为与当前帧相关联的前向和反向差异度量。如果未满足等式8和9中所说明的准则，那么过程F返回；如果满足所述准则，那么拍摄事件指示所述帧含有至少一个相机闪光。

由于所描述的过程的实施可导致在包括阈值的操作参数中的差异，所以阈值T₃的值通常通过标准实验确定。因为相机闪光通常仅占据一个帧，所以SAD值包括于所述确定中，且归因于亮度差异，不能使用来自前向方向与反向方向两者的运动补偿对此帧进行很好的预测。

在某些方面，预定阈值T₁、T₂、T₃和T₄的一者或一者以上且这些值并入到编码装置中的拍摄分类器中。通常，这些阈值通过拍摄检测的特定实施的测试来选择。在某些方面，可在处理(例如，动态处理)期间基于使用供应给拍摄分类器的信息(例如，元数据)或者基于拍摄分类器本身所计算出的信息来设定阈值T₁、T₂、T₃和T₄的一者或一者以上。

现参看图7，其展示用于基于选定帧的拍摄分类来为视频确定编码参数或对视频进行编码的过程C。过程C在框70处确定选定帧是否被分类为突然场景变化。如果是，那么在框71处当前帧被分类为突然场景变化，且所述帧可被编码为I帧且可确定GOP边界。如果不是，那么过程C进行到框72；如果当前帧被分类为缓慢改变场景的一部分，那么在框73处，可将当前帧和缓慢改变场景中的其它帧编码为预测帧(例如，P帧或B帧)。过程C接着进行到框74，其中其检查当前帧是否被分类为包含一个或一个以上相机闪光(闪光)的场景。如果是，那么在框75处，帧可被识别为用于特殊处理。所述特殊处理可包括(例如)去除选定帧、复制邻近帧且代替选定帧(例如，先前或随后帧)，或者为所述帧编码特定的系数。如果帧未被分类为含有一个或一个以上相机闪光，那么不为选定帧确定特定的拍摄事件，且可根据其它的一个或一个以上准则来对所述选定帧进行编码(编码为I帧或者跳过(例如，丢弃)以使得不对所述选定帧进行编码)。过程C可实施于编码器25(例如，图2)中或处理器31中(例如，图3中的处理器31中的编码器34中)。

在以上描述的方面，待压缩的帧与其邻近两个帧之间的差异量由帧差异度量D指示。如果检测到显著量的单调亮度变化，那么其表示帧中的交叉衰减效应。交叉衰减越显著，通过使用B帧可实现的增益就越多。在某些方面，如下文等式10中所示使用经修改的帧差异度量：

其中d_P＝|Y_C-Y_P|和d_N＝|Y_C-Y_N|分别为当前帧与先前帧之间的明度(luma)差异以及当前帧与后继帧之间的明度差异，Δ代表可在标准实验中确定的常数，因为其可取决于实施方案；且α是具有0与1之间的值的加权变量。

如果观察到明度转换的稳定趋势且转换强度足够大，那么经修改的帧差异度量D₁仅与原始帧差异度量D不同。D₁等于或小于D。如果明度变化为稳定的(dp＝d_N)，那么经修改的帧差异度量D₁比原始帧差异度量D低，最低比率为(1-α)。

下文中的表1展示通过增加突然场景变化检测的性能改进。在非场景变化(NSC)情形与场景变化(SC)情形两者下的I帧的总数近似相同。在NSC情形下，I帧均匀地分布在整个序列中，而在SC情形下，I帧仅被指定给突然场景变化帧。

可发现，在PSNR方面通常可实现0.2～0.3dB的改进。模拟结果展示拍摄检测器在确定以上提及的拍摄事件中非常准确。具有标准交叉衰减效应的五个剪辑的模拟展示在Δ＝5.5且α＝0.4时，在相同的位速率下实现PSNR增益0.226031dB。

序列\度量	位速率(kbps)	平均QP	PSNR(dB)
				动画NSC	226.2403	31.1696	35.6426
动画SC	232.8023	29.8171	36.4513
				音乐NSC	246.6394	32.8524	35.9337
音乐SC	250.0994	32.3209	36.1202
				标题NSC	216.9493	29.8304	38.9804
标题新闻SC	220.2512	28.9011	39.3151
				篮球NSC	256.8726	33.1429	33.5262
篮球SC	254.9242	32.4341	33.8635

表1：突然场景变化检测的模拟结果

应注意，可将本文描述的拍摄检测和编码方面描述为过程，其被描绘为流程图、程序框图、结构图或框图。尽管图式中所示的流程图可将操作描述为依序过程，但所述操作中的许多操作可并行或同时执行。另外，操作的次序可重新配置。当过程的操作完成时，过程终止。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时，其终止对应于所述函数返回调用函数或主函数。

所属领域的技术人员还应了解，在不影响装置的操作的情况下可重新配置本文所揭示的装置的一个或一个以上元件。类似地，在不影响装置的操作的情况下可组合本文所揭示的装置的一个或一个以上元件。所属领域的一般技术人员将了解，可使用各种不同技术和技法中的任一者来表示信息和多媒体数据。一般技术人员将进一步了解，结合本文所揭示的实例所描述的多种说明性逻辑区块、模块和算法步骤可实施为电子硬件、固件、计算机软件、中间件、微码或其组合。为了清楚地说明硬件和软件的此互换性，上文已大体上根据其功能性描述了多种说明性组件、区块、模块、电路和步骤。将此互换性实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同的方式实施所描述的功能性，但这些实施决策不应被解释为会导致与所揭示的方法的范围脱离。

举例来说，结合本文所揭示的拍摄检测和编码实例及图式而描述的方法或算法的步骤可直接实施在硬件中、由处理器执行的软件模块中或所述两者的组合中。所述方法和算法尤其适用于通信技术，包括视频到手机、计算机、膝上型计算机、PDA和所有类型的个人和商业通信装置的无线传输。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可拆卸磁盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。例示性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息并向存储媒体写入信息。在代替实施例中，存储媒体可与处理器成一体式。处理器和存储媒体可驻存在专用集成电路(ASIC)中。ASIC可驻存在无线调制解调器中。在代替实施例中，处理器和存储媒体可作为离散组件驻存在无线调制解调器中。

另外，结合本文所揭示的实例而描述的各种说明性逻辑区块、组件、模块和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文所描述的功能的其任何组合来实施或执行。通用处理器可以是微处理器，但在替代实施例中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器，或任何其它此类配置。

提供对所揭示的实例的先前描述以使所属领域的一般技术人员能够制造或使用所揭示的方法和设备。所属领域的技术人员将易于了解对这些实例的多种修改，且可在不脱离所揭示的方法和设备的精神或范围的情况下将本文所定义的原理应用于其它实例且可添加额外元件。对所述方面的描述希望为说明性的且不应限制权利要求书的范围。

Claims (38)

1.一种处理多媒体数据的方法，所述方法包含：

获得指示多个视频帧中的选定帧与在时间上邻近所述选定帧的帧之间的差异的至少一个度量，所述至少一个度量包含与所述选定帧和在时间上邻近所述选定帧的所述帧相关联的双向运动信息和亮度差异信息；

基于所述至少一个度量来确定与所述选定帧相关联的拍摄事件；以及基于所述拍摄事件来适应性地对所述选定帧进行编码。

2.根据权利要求1所述的方法，其中获得至少一个度量包含计算所述至少一个度量。

3.根据权利要求1所述的方法，其中所述拍摄事件指示所述选定帧为突然场景变化，且其中适应性地编码包含将所述选定帧编码为I帧。

4.根据权利要求1所述的方法，其中所述拍摄事件指示所述选定帧为包含缓慢场景变化的多个帧的一部分，且其中适应性地编码包含将所述选定帧编码为P帧或B帧。

5.根据权利要求1所述的方法，其中所述拍摄事件指示所述选定帧含有至少一个相机闪光，且其中适应性地编码包含将所述选定帧识别为需要特殊处理。

6.根据权利要求5所述的方法，其中所述特殊处理包含跳过所述选定帧以使得所述选定帧未被编码。

7.根据权利要求5所述的方法，其中所述特殊处理包含复制在时间上邻近所述选定帧的帧，且用所述复制帧代替所述选定帧。

8.根据权利要求1所述的方法，其中所述拍摄事件指示所述选定帧包含突然场景变化、缓慢场景变化的一部分或者至少一个相机闪光。

9.根据权利要求1所述的方法，其中适应性地编码包含：如果所述拍摄事件未指示所述选定帧包含突然场景变化、缓慢场景变化的一部分或者至少一个相机闪光，那么将所述选定帧编码为I帧。

10.根据权利要求1所述的方法，其中适应性地编码包含：如果所述拍摄事件未指示所述选定帧包含突然场景变化、缓慢场景变化的一部分或者至少一个相机闪光，那么丢弃所述选定帧。

11.根据权利要求1所述的方法，其中所述至少一个度量包含帧差异度量，且其中确定拍摄事件包含：如果所述帧差异度量大于第一阈值T₁，那么确定所述选定帧为突然场景。

12.根据权利要求11所述的方法，其中所述选定帧的所述帧差异度量基于第一差异度量与第二差异度量的比率，其中所述第一差异度量包含所述选定帧与在时间上邻近的先前帧之间的差异和所述选定帧与在时间上邻近的后继帧之间的差异的比率，且所述第二差异度量包含所述先前帧与在时间上邻近所述先前帧且先于所述先前帧的帧之间的差异和所述先前帧与所述选定帧之间的所述差异的比率。

13.根据权利要求11所述的方法，其中所述选定帧的所述帧差异度量包含γ_C与γ_P的比率，其中γ_C为当前选定帧的前向与反向差异度量的比率，且γ_P为在时间上邻近所述当前选定帧且先于所述当前选定帧的帧的前向与反向差异度量的比率。

14.根据权利要求11所述的方法，其中所述帧差异度量基于与在时间上先于所述选定帧的帧和所述选定帧相关联的亮度直方图差异。

15.根据权利要求11所述的方法，其中确定拍摄事件包含：如果所述选定帧未被确定为突然场景变化且所述帧差异度量指示所述选定帧与邻近帧之间的差异小于所述第一阈值T₁且大于或等于第二阈值T₂，那么确定所述选定帧为缓慢场景变化的一部分。

16.根据权利要求15所述的方法，其中所述确定拍摄事件包含

确定所述选定帧、在时间上邻近所述选定帧的先前帧和在时间上邻近所述选定帧的后继帧的平均亮度；以及如果

所述选定帧未被确定为突然帧或缓慢变化帧，

所述选定帧的平均亮度减去在时间上邻近所述选定帧的先前帧的平均亮度等于或超过第三阈值T₃，

所述选定帧的平均亮度减去在时间上邻近所述选定帧的后继帧的平均亮度等于或超过所述第三阈值T₃，且

与所述选定帧相关联的前向差异度量和反向差异度量两者均等于或超过第四阈值T₄，那么

确定所述选定帧含有至少一个相机闪光。

17.根据权利要求1所述的方法，其中所述确定拍摄事件包含参考至少一个阈值来评估所述选定帧的亮度差异信息。

18.根据权利要求1所述的方法，其中所述拍摄事件被分类为三个或三个以上拍摄类型。

19.根据权利要求1所述的方法，其中获得至少一个度量包含执行双向运动补偿来产生双向运动信息，且其中基于所述双向运动补偿来为所述选定帧确定所述双向运动信息和亮度差异信息。

20.根据权利要求1所述的方法，其中确定拍摄事件包含参考多个阈值来评估所述至少一个度量。

21.一种用于处理多媒体数据的设备，其包含：

运动补偿器，其经配置以获得指示多个视频帧中的选定帧与在时间上邻近所述选定帧的帧之间的差异的至少一个度量，所述至少一个度量包含双向运动信息和亮度信息；

拍摄分类器，其经配置以基于所述至少一个度量来确定与所述选定帧相关联的拍摄事件；以及

编码器，其经配置以基于所述拍摄事件来适应性地对所述选定帧进行编码。

22.一种用于处理多媒体数据的设备，其包含：

用于获得指示多个视频帧中的选定帧与在时间上邻近所述选定帧的帧之间的差异的至少一个度量的装置，所述至少一个度量包含与所述选定帧和在时间上邻近所述选定帧的所述帧相关联的双向运动信息和亮度差异信息；

用于基于所述至少一个度量来确定与所述选定帧相关联的拍摄事件的装置；以及用于基于所述拍摄事件来适应性地对所述选定帧进行编码的装置。

23.根据权利要求22所述的设备，其中所述拍摄事件指示所述选定帧为突然场景变化，且其中所述适应性编码装置包含用于将所述选定帧编码为I帧的装置。

24.根据权利要求22所述的设备，其中所述拍摄事件指示所述选定帧为包含缓慢场景变化的多个帧的一部分，且其中所述适应性编码装置包含用于将所述选定帧编码为P帧或B帧的装置。

25.根据权利要求22所述的设备，其中所述拍摄事件指示所述选定帧含有至少一个相机闪光，且其中所述适应性编码装置包含用于将所述选定帧识别为需要特殊处理的装置。

26.根据权利要求22所述的设备，其中所述特殊处理包含跳过或丢弃所述选定帧以使得所述选定帧未被编码。

27.根据权利要求26所述的设备，其中所述特殊处理包含用于复制在时间上邻近所述选定帧的帧并用所述复制帧来代替所述选定帧的装置。

28.根据权利要求22所述的设备，其中所述拍摄事件指示所述选定帧包含突然场景变化、缓慢场景变化的一部分或者包括至少一个相机闪光。

29.根据权利要求22所述的设备，其中所述适应性编码装置包含用于如果所述拍摄事件未指示所述选定帧包含突然场景变化、缓慢场景变化的一部分或者至少一个相机闪光那么将所述选定帧编码为I帧的装置。

30.根据权利要求22所述的设备，其中所述适应性编码装置包含如果所述拍摄事件未指示所述选定帧包含突然场景变化、缓慢场景变化的一部分或者至少一个相机闪光那么丢弃所述选定帧。

31.根据权利要求22所述的设备，其中所述至少一个度量包含帧差异度量，且其中所述确定拍摄事件的装置包含用于如果所述帧差异度量大于第一阈值T₁那么确定所述选定帧为突然场景的装置。

32.根据权利要求31所述的设备，其中所述选定帧的所述帧差异度量基于第一差异度量与第二差异度量的比率，其中所述第一差异度量包含所述选定帧与在时间上邻近的先前帧之间的差异和所述选定帧与在时间上邻近的后继帧之间的差异的比率，且所述第二差异度量包含所述先前帧与在时间上邻近所述先前帧且先于所述先前帧的帧之间的差异和所述先前帧与所述选定帧之间的所述差异的比率。

33.根据权利要求31所述的设备，其中所述选定帧的所述帧差异度量包含γ_C与γ_P的比率，其中γ_C为当前所述选定帧的前向与反向差异度量的比率，且γ_P为在时间上邻近所述选定帧且先于所述选定帧的帧的前向与反向差异度量的比率。

34.根据权利要求31所述的设备，其中所述帧差异度量基于与在时间上先于所述选定帧的邻近帧和所述选定帧相关联的亮度直方图差异。

35.根据权利要求31所述的设备，其中所述确定拍摄事件的装置包含用于如果所述选定帧未被分类为突然场景变化且所述帧差异度量指示所述选定帧与邻近帧之间的差异小于所述第一阈值T₁且大于或等于第二阈值T₂那么将所述选定帧分类为缓慢场景变化的装置。

36.根据权利要求35所述的设备，其中确定拍摄事件的装置包含：

用于确定所述选定帧、在时间上邻近的先前帧和在时间上邻近的后继帧的平均亮度的装置；以及

用于如果所述选定帧未被确定为突然帧或缓慢变化帧，

所述选定帧的平均亮度减去在时间上邻近所述选定帧的先前帧的平均亮度等于或超过第三阈值T₃，

所述选定帧的平均亮度减去在时间上邻近所述选定帧的后继帧的平均亮度等于或超过所述第三阈值T₃，且

与所述选定帧相关联的前向差异度量与反向差异度量两者均等于或超过第四阈值T₄，那么

将所述选定帧分类为相机闪光场景的装置。

37.一种机器可读媒体，其包含用于处理多媒体数据的指令，其中所述指令在执行时致使一机器：

获得指示多个视频帧中的选定帧与在时间上邻近所述选定帧的帧之间的差异的至少一个度量，所述至少一个度量包含与所述选定帧和在时间上邻近所述选定帧的所述帧相关联的双向运动信息和亮度差异信息；

基于所述至少一个度量来确定与所述选定帧相关联的拍摄事件；且

基于所述拍摄事件来适应性地对所述选定帧进行编码。

38.一种用于处理多媒体数据的处理器，所述处理器包含一配置以：

获得指示多个视频帧中的选定帧与在时间上邻近所述选定帧的帧之间的差异的至少一个度量，所述至少一个度量包含与所述选定帧和在时间上邻近所述选定帧的帧相关联的双向运动信息和亮度差异信息；

基于所述至少一个度量来确定与所述选定帧相关联的拍摄事件；且

基于所述拍摄事件来适应性地对所述选定帧进行编码。

Images