CN102907092A - 相机参数辅助式视频帧速率上转换 - Google Patents

Abstract

本发明描述用于获得与视频俘获装置相关联的一个或一个以上视频俘获参数且使用所述所获得的视频俘获参数来控制视频解码过程的技术。所述所获得的视频俘获参数可为(例如)与自动曝光控制AE、自动聚焦AF和自动白平衡AWB、变焦、所俘获帧中的运动等相关联的参数。视频编码装置可将所述视频俘获参数嵌入经编码的视频位流中以使得解码器可在帧速率上转换期间利用所述相机参数。

Description

相机参数辅助式视频帧速率上转换

相关申请案的交叉参考

本申请案主张2010年5月26日申请且题目为“相机参数辅助式视频帧速率上转换(Camera Parameter-Assisted Video Frame Rate Up Conversion)”的第61/348,400号美国临时申请案的优先权，所述申请案的揭示内容以全文引用的方式并入本文。

技术领域

本发明涉及视频编码和解码。更具体来说，本发明涉及获得一个或一个以上视频俘获参数且使用那些参数来控制视频解码过程。

背景技术

已经研究解码器侧帧速率上转换(frame rate up-conversion)，且已经提出许多算法。在一些现有技术帧速率上转换算法中，根据使用由视频编码装置传输的视频数据进行解码的相邻帧来预测(例如，使用运动向量处理或使用新运动估计)经内插帧的运动向量。常用的策略是基于来自相邻帧的运动向量信息而计算用于丢失的或待内插的帧的新的经内插运动向量，以实现平滑的视频内容过渡。另一方法是执行旨在提供较准确的运动向量的新运动估计算法。在经内插帧的所预测运动向量产生不准确的结果的情况下，相邻经解码的帧之间的平均像素值可用于插入的帧。

图1说明常规的现有技术帧速率上转换技术。在此实例中，视频解码装置可接收经编码的视频帧的视频流。视频解码装置可对所述经编码的视频流进行解码，且输出包含图1所示的序列的经解码的视频帧。所述序列可包含经解码的帧102和104作为用于经内插帧100的参考帧。使用用于帧速率上转换的常规技术，可如图1中说明使用来自紧邻的帧102、紧接在经内插帧100之前和之后或较远的帧104来预测经内插帧100。用以预测经内插帧100的帧可用于经内插帧的运动向量预测。举例来说，参考帧可为N个相邻的经解码的帧(N=1,2,...)。然而，根据常规技术确定用于经内插帧100的预测的运动向量可能是计算上复杂的且不准确的。

发明内容

根据一个方面，揭示一种用于对视频数据进行编码的方法。所述方法包含：从相机获得至少一个视频帧；获得至少一个相机参数；对所述至少一个视频帧进行编码以形成经编码帧；以及将所述相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对所述视频数据进行帧速率上转换。

根据另一方面，揭示一种电子装置。所述装置包含：用于从相机获得至少一个视频帧的装置；用于获得至少一个相机参数的装置；用于对所述至少一个视频帧进行编码以形成经编码帧的装置；以及用于将所述至少一个相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对所述视频数据进行帧速率上转换的装置。

根据另一方面，揭示一种电子装置。所述装置包含：视频俘获装置，其经配置以从相机获得至少一个视频帧；处理器，其经配置以获得至少一个相机参数；以及编码器，其经配置以对所述至少一个视频帧进行编码以形成经编码帧，且将所述相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对所述视频数据进行帧速率上转换。

根据另一方面，揭示一种非暂时性计算机可读媒体，其上存储有代码，所述代码在执行时实行一方法。所述方法包含：从相机获得至少一个视频帧；获得至少一个相机参数；对所述至少一个视频帧进行编码以形成经编码帧；以及将所述相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对所述视频数据进行帧速率上转换。

根据另一方面，揭示一种用于对视频数据进行解码的方法。所述方法包含：接收包含视频数据和嵌入的数据的位流；从所述嵌入的数据获得至少一个相机参数；以及基于所述至少一个相机参数对视频帧速率进行上转换。

根据另一方面，揭示一种装置。所述装置包含：用于接收包含视频数据和嵌入的数据的位流的装置；用于从所述嵌入的数据获得至少一个相机参数的装置；以及用于基于所述至少一个相机参数对视频帧速率进行上转换的装置。

根据另一方面，揭示一种装置。所述装置包含：解码器，其经配置以接收包含视频数据和嵌入的数据的位流，且从所述嵌入的数据获得至少一个相机参数；以及处理器，其经配置以基于所述至少一个相机参数对视频帧速率进行上转换。

根据另一方面，揭示一种非暂时性计算机可读媒体，其上存储有代码，所述代码在执行时实行一方法。所述方法包含：接收包含视频数据和嵌入的数据的位流；从所述嵌入的数据获得至少一个相机参数；以及基于所述至少一个相机参数对视频帧速率进行上转换。

本发明的一个或一个以上方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。

附图说明

图1说明常规的帧速率上转换技术。

图2是说明视频俘获装置的框图。

图3A到3C说明根据本发明的方面的总体系统结构。

图4说明根据本发明的方面的对视频数据进行编码的方法的流程图。

图5说明根据本发明的方面的帧速率上转换方法的流程图。

图6A说明根据本发明的方面的基于变焦信息的帧速率上转换方法的流程图。

图6B说明根据本发明的方面的用于帧速率上转换的变焦信息的实例性使用。

图7说明根据本发明的方面的基于自动聚焦和模糊度信息的帧速率上转换方法的流程图。

图8A说明根据本发明的方面的基于亮度信息的实例性帧速率上转换方法的流程图。

图8B说明根据本发明的方面的用于帧速率上转换的亮度信息的实例性使用。

图9A说明根据本发明的方面的基于自动白平衡的实例性帧速率上转换方法的流程图。

图9B说明根据本发明的方面的用于帧速率上转换的白平衡信息的实例性使用。

图10A说明根据本发明的方面的基于运动信息的实例性帧速率上转换方法的流程图。

图10B说明根据本发明的方面的用于帧速率上转换的运动信息的实例性使用。

具体实施方式

本发明描述用于利用与视频俘获装置相关联的一个或一个以上参数来控制例如帧速率上转换等视频解码功能性的技术。通过使用与视频俘获装置相关联的参数，视频解码装置可提高视频质量，同时减小视频解码装置中的计算复杂性。

可通过例如摄像机等视频俘获装置在视频帧的俘获期间获得与视频俘获装置相关联的参数。视频俘获装置可包含经配置以在视频帧的编码期间嵌入参数的视频编码装置。视频解码装置可利用所述参数中的一者或一者以上来对视频帧进行解码。以此方式，视频解码器可利用在俘获时与相机相关的信息来对所述帧进行解码，进而减小与解码功能相关联的计算复杂性。举例来说，解码器可在帧速率上转换过程期间利用所述信息来减小计算复杂性。

一个实施例涉及用于获得与视频俘获装置相关联的一个或一个以上视频俘获参数且使用所获得的视频俘获参数来控制视频解码过程的技术。所获得视频俘获参数可为(例如)与自动曝光控制(AE)、自动聚焦(AF)、自动白平衡(AWB)、变焦、所俘获帧中的运动等相关联的参数。视频编码装置可将视频俘获参数编码(例如，包化)为元数据，所述元数据也含有与基于视频俘获参数所作出的确定相关的信息。在源编码器侧处所获得的此视频俘获参数元数据可随后被传输到目的地解码器侧。所述目的地可包含经配置以显示视频数据的装置。

在一些视频系统中，可利用帧速率上转换来适应不同于视频俘获速率的显示速率。可在编码器侧或解码器侧处执行帧速率上转换。在解码器侧上执行帧速率上转换可能更有效，因为经编码的视频可能被传输到需要不同的帧速率(且因此不同量的上转换)的系统。用于帧速率上转换的技术旨在将帧添加到视频流中，而不添加可能由简单地重复的帧引起的假影。因此，帧速率上转换技术产生在位于所产生的帧之前和之后的两个原始帧之间提供平滑过渡的帧。

对经内插运动向量的计算是复杂的，且当视频流含有数字和/或光学变焦、自动聚焦重聚焦、场景改变、突发性亮度改变、白平衡改变等时变得尤其困难和不准确。因此，以良好的空间-时间质量内插所插入的帧可涉及视频流中的具有较低准确性的高计算复杂性，所述视频流涉及视频数据的俘获期间的参数的改变。这些改变可包含(例如)变焦、亮度、聚焦等。在先前不知晓此前端视频信息的情况下，归因于与补偿视频数据的俘获期间的改变相关联的计算复杂性，对所插入的帧的计算可变得耗时且低效。另外，常规的方法利用运动向量或模式信息来实施帧速率上转换，而不考虑视频前端信息，所述视频前端信息在不同系统之间可变化。

本文中所描述的实施例包含利用由视频俘获装置获得的参数来辅助视频解码装置执行更有效的帧速率上转换和视频回放的系统和过程。通过使用此系统，视频解码装置可实现对所插入的帧的更有效和准确的运动向量预测。视频俘获装置可在俘获视频帧的同时获得参数。在俘获之后，视频处理装置可将所获得的参数和与所述参数相关的信息包化为元数据。经包化的参数可附加到对应帧，以用于传输到视频解码装置来辅助帧速率上转换过程。通过读取元数据中所包含的视频俘获参数，视频解码装置可使用所述数据来作出关于如何预测所插入的经内插帧的运动向量的早期决策。元数据对于更准确地计算经内插运动向量也可有用，因为元数据是由相机专有信息组成，如将在下文更详细地论述。使用本发明的技术可显著减小帧速率上转换的计算复杂性，且增强经内插帧的准确性和质量。可包含到元数据中的视频俘获装置信息的实例可包含变焦量、自动聚焦和重聚焦设定、亮度中的改变、自动曝光控制、白平衡中的改变、场景改变检测和由运动传感器检测到的帧中的运动，等等。

图2是说明实例性图像俘获装置60的框图。图像俘获装置60可包括透镜组合件62、图像传感器64、图像处理器66、图像存储装置68、编码器67和网络接口69。另外，图像俘获装置60可包含用于调整参数的模块和若干模块，例如自动聚焦(AF)模块72、自动白平衡(AWB)模块74和自动曝光(AE)模块76。根据一些方面，图像处理器66可为视频前端(VFE)图像处理器等。

本发明的各方面可用于多种记录、编码、解码和回放装置中的任一者中。出于此论述的目的，将摄像机用作实例性图像俘获装置60。然而，应理解，本发明的各方面可由具有图像或视频俘获组件以及图像或视频编码组件以及其它组件的多种装置和系统实施。举例来说，如本文中所描述的用于俘获视频数据且用于显示视频数据的装置可包含电子相机、视频记录器、网络相机、建置于便携式或移动计算机中的相机，便携式或移动计算机包含(但不限于)蜂窝式电话、智能电话、便携式媒体播放器、个人数字助理、膝上型计算机或桌上型计算机。图像俘获装置60可为数字相机，例如数字摄像机、数字静态图像相机，或以上两者的组合。图像俘获装置60可为例如独立相机等独立装置，或集成于例如无线通信装置等另一多用途装置中。图像俘获装置60可经配备以俘获彩色图像、黑白图像，或以上两者。在一些方面中，图像俘获装置60还可包含麦克风以俘获音频。在本发明中，术语“图像”或类似术语可互换地指代视频或静态图片。

透镜组合件62可包含一个或一个以上透镜且可由透镜致动器控制，所述透镜致动器在透镜组合件62的外壳内在多个不同透镜位置之间移动透镜以使透镜聚焦来用于俘获场景。图像传感器64可包含经由透镜接收光且响应于所接收的图像而产生图像数据的例如电荷耦合装置(CCD)阵列或其它图像感测装置等图像传感器元件。图像传感器64获得图像俘获装置60正俘获的场景的图像信息。在一个实例中，图像传感器64可提供关于所俘获的视频流中的运动的信息。图像处理器66处理所述图像信息并将所述图像信息存储于图像存储装置68中。图像传感器64还可获得正俘获的场景的图像信息以用于在例如AF、AWB和AE功能等功能中使用。图像处理器66利用所述图像信息来用于对AF、AWB和AE功能的初步处理。

在一个实例中，图像处理器66可基于来自图像传感器64的图像信息而控制AF模块72以起始自动聚焦过程。在视频记录期间，视频俘获装置正俘获的场景内的改变可触发AF功能重聚焦。AF功能可涉及计算若干透镜位置处的聚焦值，且选择具有针对当前场景的最大聚焦值的透镜位置，所述最大聚焦值可对应于最大图像锐度值。AF模块72可基于对由图像传感器64获得的图像信息内的像素对比度值的分析来确定图像锐度。AF模块72可当在重聚焦过程期间正俘获一帧时提供指示。在重聚焦过程期间，AF模块72可提供与所俘获的帧相关联的信息，例如聚焦值和透镜位置。在一个实例中，当触发重聚焦过程时，AF模块72可跟踪重聚焦过程开始时的透镜位置和在实现重聚焦时的透镜位置。

在一个实例中，可通过图像处理器66获得用于校准图像传感器64的图像信息。所述信息可包含AWB和AE数据，所述AWB和AE数据可指示关于环境色彩、照度和辉度特性的信息。AWB模块74可获得并分析由图像传感器64获得的原始图像信息。AWB模块74可基于所分析的图像信息而输出场景的环境的指示。举例来说，如果图像信息指示与室内环境一致的照明色彩特性和/或强度，则AWB模块74可输出室内环境的指示。在一个实例中，AWB模块74可针对每一所俘获的帧输出灰色世界决策。AWB灰色世界决策可基于灰色世界假设，所述灰色世界假设规定，在给定图像中，图像的RGB分量的平均值应平均为一共同灰色值。基于所确定的灰色值，AWB模块74可将图像分类到一类别或群集中。举例来说，在给定系统中，可存在三种灰色世界类别或群集：室外群集、室内群集和地平线群集。可基于帧内的色温来组织所述群集。AWB模块74可指示与每一所俘获的帧相关联的类别或群集。

AE模块76可获得并分析由图像传感器64获得的原始图像信息。AE模块76可使用所俘获的帧的辉度值来评估所俘获的帧的亮度水平，且基于所分析的图像信息而输出场景的亮度水平的指示。在一些实例中，AE模块76可以勒克斯(Lux)来表达亮度水平，下文更详细地论述。原始图像信息可包含(例如)所俘获的帧中的像素的原始辉度值。AE模块76可利用所述辉度值来提供帧内的辉度值的统计，如下文更详细地描述。AE模块76还可向所俘获的帧提供关于所述帧中的亮度的信息，例如下文更详细地论述的与所述帧相关联的平均帧辉度和曝光指数。

由图像俘获装置60俘获的视频流可包含原始视频数据和相机参数，其可用于在由视频处理装置(例如，视频编码装置)解译时确定所俘获的视频帧的特性(例如，变焦、亮度水平、自动聚焦重聚焦、运动、白平衡等)

所俘获的视频流连同相机参数一起可被发送到经配置以对视频流进行编码的编码器67，如将参考图3A到3B更详细地描述。经编码的视频数据可随后被发送到网络接口69，网络接口69经配置以将经编码的视频数据传输到通信网络中的另一装置。

网络接口69可包含天线和收发器(未图示)，以使得图像俘获装置60可经由通信网络与一个或一个以上装置通信。网络接口69还可具有一些处理能力以用于执行对经编码的视频数据的额外处理。连接到网络接口69的天线(未图示)可发射和接收信号。在一些实施方案中，所述天线根据IEEE 16.11标准(包含IEEE 16.11(a)、(b)或(g))或IEEE802.11标准(包含IEEE 802.11a、b、g或n)来发射和接收RF信号。在一些实施方案中，所述天线根据蓝牙标准来发射和接收RF信号。在蜂窝式电话的情况下，所述天线可经设计以接收码分多址(CDMA)、频分多址(FDMA)、时分多址(TDMA)、全球移动通信系统(GSM)、GSM/通用分组无线电服务(GPRS)、增强型数据GSM环境(EDGE)、陆地集群无线电(TETRA)、宽带-CDMA(W-CDMA)、演进数据优化(EV-DO)、lxEV-DO、EV-DO版本A、EV-DO版本B、高速分组接入(HSPA)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进型高速分组接入(HSPA+)、长期演进(LTE)、AMPS，或用于在无线网络(例如利用3G或4G技术的系统)内通信的其它已知信号。网络接口69的收发器(未图示)可对从天线接收的信号进行预处理，以使得所述信号可由视频俘获装置接收并进一步操纵。举例来说，收发器可处理从视频显示装置80接收的反馈信号。

视频显示装置80可经配置以与图像俘获装置60通信。举例来说，视频显示装置80可从图像俘获装置60接收经编码的位流。所述经编码的位流可由视频显示装置80的解码器82解码。解码器82产生经解码的视频帧且从所接收的位流提取嵌入的相机参数。经解码的视频帧可随后由后处理器84处理。后处理器84可经配置以处理经解码的视频帧且执行例如对视频数据的视频帧速率进行上转换等操作。另外，后处理器84可基于所获得的相机参数来调整经解码的视频帧的各种参数。经处理的视频数据随后由视频显示装置80的显示器86显示。

图3A到3C说明根据本发明的方面的实例性总体系统结构。图像处理器66(例如，VFE)可处理由视频俘获装置俘获的帧，且将与AF、AWB、AE、变焦和运动相关的信息包化为元数据，且分别将元数据210、212、214和216附加到对应的视频帧200、202、204和206以发送到编码器67进行编码。如上文所论述，元数据210、212、214和216可含有与原始数据和相机参数相关的信息和/或由图像俘获装置60获得的统计资料。编码器67对帧200、202、204和206以及对应的元数据210、212、214和216进行编码以产生经编码的位流，如图3B中所说明。经编码的位流可包含经编码的视频帧信息300、302、304和306以及嵌入在对应的经编码的视频帧的末尾处的经编码的元数据310、312、314和316。所属领域的技术人员将认识到，嵌入的元数据310、312、314和316可嵌入在对应的经编码的视频帧的开头处。另外，或替代地，元数据可嵌入在每一对应的经编码的视频帧的开头处，或经编码的视频帧信息内。可将经编码的视频流传输到其它装置以进行解码、存储和/或显示。

参考图3C，解码器82可利用元数据210、212、214和216来用于解码器侧帧速率上转换，此与常规系统相比可带来针对经内插帧的较不复杂的计算和更准确的结果。

如图3C中所说明，视频解码装置对其接收的经编码的视频流进行解码，其产生经解码的视频帧350、352和354及其对应的附加的元数据360、362和364。视频显示装置可在帧速率上转换过程期间利用元数据360、362和364和经解码的视频帧350、352和354来产生经内插帧370和372。经上转换的视频流随后被发送到显示器86。

在一个实例中，附加到对应帧的元数据可含有VFE信息，例如变焦、自动聚焦状态、透镜位置、AE收敛状态、帧辉度、AWB收敛状态、全局运动信息、帧模糊度信息等。可利用元数据来辅助解码器侧帧速率上转换以减小计算复杂性。另外，还可在编码过程中利用元数据来作出编码决策，其可另外减小数据速率和计算复杂性。下表说明附加到对应帧的元数据的实例性内容：

表1：

3A元数据内容

变焦信息
	自动聚焦状态、透镜位置
AEC收敛旗标、帧辉度
	AWB收敛旗标
全局运动信息
	帧模糊度水平
………

图4说明根据本发明的方面的对视频数据进行编码的实例性方法的流程图。如图4中所说明，方法400可在方框402处通过从相机获得视频帧而开始。所述方法在方框404处通过获得相机参数而继续。所述相机参数可对应于在俘获对应的视频帧时的相机的设定。在方框406处，对视频帧进行编码，且在方框408处，将相机参数嵌入经编码的视频帧中。举例来说，如上文参考图3所描述，相机参数可经包化且作为元数据附加到视频帧，且可对所述视频帧和所附加的元数据进行编码以产生经编码的位流。

图5说明根据本发明的方面的实例性帧速率上转换方法的流程图。如图5中所说明，方法500可在方框502处通过接收位流而开始。举例来说，所述位流可对应于包含嵌入的相机参数的经编码的视频数据。在方框504处，方法500可从嵌入的数据获得相机参数。所述方法可提取与视频帧一起编码的元数据且通过对元数据进行解码而获得相机参数。举例来说，所述方法可对经编码的帧进行解码且对嵌入的元数据进行拆包。在方框506处，所述方法可基于所获得的相机参数对帧速率进行上转换。

现在将参考以下图6到10描述基于特定相机参数对视频帧速率进行上转换的方法。如上文所论述，可包含于经编码的位流中的相机参数可包含相机变焦信息。

数字放大/缩小是随着视场改变而上缩放/下缩放图像内容的过程。光学放大/缩小涉及通过传感器接收真实信息，其中真实光学分辨率可放大/缩小聚焦的对象。在数字和光学变焦两者中，放大/缩小改变了帧中的视场。在变焦发生时，图像处理器66可得到变焦因数且将变焦因数附加到对应帧。举例来说，如果在帧350中发生以因数K进行放大，则附加到帧350的变焦信息可指示放大因数。视频解码装置可随视频流接收变焦信息，且可使用变焦信息来简化用于对应帧的帧速率上转换过程以及所插入的帧的内插，如图6A到6B中所说明。

视频解码装置可利用变焦因数和其它变焦信息来导出用于经内插帧的运动向量。在一个实例中，视频编码装置可执行用于帧速率上转换过程的运动补偿预测。在另一实例中，所述解码装置可基于是发生放大还是缩小而使用上缩放和下缩放来内插经内插的帧，而不使用基于运动向量的预测。

图6A说明根据本发明的方面的基于变焦信息的实例性帧速率上转换方法的流程图。图6B说明根据本发明的方面的用于帧速率上转换的变焦信息的实例性使用。如图6A中所说明，方法600可在方框602处通过获得经解码的帧的放大因数K而开始。参考图6B，在本发明的一个实例中，放大可能已在图像俘获装置60俘获帧350的视频俘获期间发生，随后以因数K进行放大且俘获帧352。与放大相关联的因数K可附加到帧350和/或352。帧350和352可为经解码的视频流中的紧邻的帧，或可为基于内插方法的远隔的帧。

所述方法可在方框604处通过以因数SQRT(K)对经解码的帧进行缩放而继续。举例来说，在视频解码装置侧处，可在与经解码的帧350和352相关联的元数据中得到放大因数K。在帧速率上转换期间，视频解码装置可以因数SQRT(K)对帧350进行上缩放，且可以因数SQRT(K)对帧352进行下缩放，如图6B中所说明。所得的经上缩放的帧380和经下缩放的帧382可随后具有彼此相同的变焦量。帧380和382的变焦可对应于处于帧350和帧352的变焦之间的水平的经调整变焦。经调整的变焦对应于所插入的经内插帧370应具有的变焦量。

为了显示平滑图像，可将经内插帧370产生为帧350的经放大版本或帧352的经缩小版本，其中放大因数和缩小因数具有相同的值，其为SQRT(K)。结果，可实现两个帧350与352之间的平滑视觉过渡。

所述方法可随后在方框606处继续从经缩放的帧预测运动向量。分别使用帧350和352的经上缩放和经下缩放的版本简化了运动向量预测。在一个实例中，从帧350到帧352可不发生运动，且可直接将经上缩放的帧350和经下缩放的帧352用作所插入的帧370。在另一实例中，从帧350到帧352可发生运动，且可使用来自经上缩放的帧350和经下缩放的帧352的运动向量预测来执行对对应于经内插帧370的运动向量390的运动向量预测。通过上缩放帧350和下缩放帧352，可简化运动向量预测，因为是将具有相同变焦量的两个帧而不是具有两个不同变焦因数的帧进行比较。基于所预测的运动向量，随后可对帧进行内插以对视频帧速率进行上转换，如方框608所说明。

根据一些实施例，嵌入到经编码的视频帧的相机参数可包含自动聚焦和模糊度水平。在视频俘获期间，随着图像俘获装置60的视场中的对象改变和移动，所俘获帧中的焦点改变，且连续自动聚焦功能性通过调整透镜位置来实现最佳聚焦量而重聚焦。在重聚焦过程期间，所俘获的图像内容可随着透镜位置在搜索提供最佳聚焦的最佳透镜位置中改变而变得模糊。在重聚焦过程期间所俘获的帧中的模糊度水平可取决于透镜位置的改变量而变化。在一些情况下，取决于所俘获的帧的内容中的模糊量，视频解码装置可使用对应于帧的元数据中所包含的自动聚焦和透镜位置信息来简化帧速率上转换期间的内插。可由图像处理器获得并确定对应帧的自动聚焦重聚焦状态和模糊度水平，且经由附加到对应帧的元数据将所述自动聚焦重聚焦状态和模糊度水平传输到视频解码装置。

图7说明根据本发明的方面的基于自动聚焦和模糊度信息的实例性帧速率上转换方法的流程图。方法700可包含在方框702处获得经解码的帧的自动聚焦状态信号和模糊度水平。基于所接收的经解码的帧的自动聚焦信号和模糊度水平，视频解码装置可通过根据所接收的自动聚焦状态信号确定当前经解码的帧是否为在重聚焦过程期间被俘获的而预测经内插帧，如由决策方框704所说明。如果所述帧不是在重聚焦操作期间被俘获，则基于模糊度信息对视频帧速率进行上转换的方法在方框706处结束。如果自动聚焦信号指示所述帧是在重聚焦期间被俘获，则所述方法继续进行到决策方框708。在决策方框708处，所述方法确定模糊度水平是否高于预定义的阈值。举例来说，所述方法可确定以下等式1的结果。

$\frac{({\mathrm{BlurrinessLevel}}_{\mathrm{frame}\left(n\right)}+{\mathrm{BlurrinessLevel}}_{\mathrm{frame}(n+1)})}{2}>{\mathrm{Th}}_{\mathrm{AF}}$ 等式(1)

其中Th_AF可由用户定义、由系统预定义，或由系统自动调整。如等式1中所示，可通过对相邻的两个经解码的帧的位于同一地点的像素值进行平均而产生经内插帧的模糊度水平。如果所述模糊度水平高于预定阈值Th_AF，则所述方法可随后通过对相邻的经解码的帧的像素进行平均而内插帧，如方框710中所说明。

如果所述模糊度水平低于预定义的阈值Th_AF，则可在方框712处以不同的运动向量搜索范围来预测经内插帧的运动向量。所述运动向量搜索范围

是与用于正常的运动向量估计/预测模式中的运动向量搜索范围(SR_MV)相比有所减小的搜索范围。可根据以下等式2来确定所述减小的运动向量搜索范围

$q\∝\frac{({\mathrm{BlurrinessLevel}}_{\mathrm{frame}\left(n\right)}+{\mathrm{BlurrinessLevel}}_{\mathrm{frame}(n+1)})}{2}{\mathrm{SR}}_{\mathrm{MV}}^{\mathrm{AF}}=\frac{{\mathrm{SR}}_{\mathrm{MV}}}{p},p=\mathrm{function}\left(q\right)$ 等式(2)

其中q与在经内插帧之前和之后的帧中的模糊度的量成比例，且p是q的函数，且可为用户定义的。因此，随着模糊度增加，q增加。基于所预测的运动向量，随后可产生经内插帧以用于对帧速率进行上转换，如方框714中所说明。

在一个实例中，图像处理器66可在连续自动聚焦重聚焦过程期间评估模糊度。可基于在FV下降(与表示在起始重聚焦之前的聚焦值的原始FV值(FV₀)相比)之后的聚焦值(FV)改变的百分比来估计初始的模糊度水平(B0)。举例来说，可根据以下等式3来确定初始模糊度水平(B0)：

$B_0=\frac{|{\mathrm{FV}}_1-{\mathrm{FV}}_0|}{{\mathrm{FV}}_0}$ 等式(3)

其中FV₁对应于时间T=l处的聚焦值。

一旦触发重聚焦，便通过找到导致FV增加的透镜位置改变方向来确定搜索方向。一旦确定了搜索方向，便逐步调整透镜以实现最佳聚焦位置。根据以下等式4评估此过程期间的模糊度：

等式(4)

其中K是可调整的常数且默认值是：K=FV₁，Gi是梯度的绝对值，且是基于以下等式5来计算：

$G_i=\left|\frac{{\mathrm{FV}}_i-{\mathrm{FV}}_{i-1}}{{\mathrm{LensP}}_i-{\mathrm{LensP}}_{i-1}}\right|$ 等式(5)

其中LensPi是对应于FV_i的透镜位置。

一旦找到峰值(FV_N)，重聚焦过程便终止且将模糊度复位到零。

根据一些实施例，相机参数还可包含亮度信息。图像处理器66的自动曝光控制(AEC)功能可通过操作自动曝光模块76来调整图像传感器64以实现所需范围内的所需亮度水平。随着图像俘获装置60正记录的场景中的亮度改变，自动曝光(AE)收敛功能可将亮度水平重新调整回到对应于所需亮度水平范围的目标辉度的容限范围。在一些图像俘获装置中，可使用AEC慢收敛技术来重新调整所俘获的帧中的亮度水平。亮度重新调整过程可为缓慢的，例如花费多达2到3秒，但其提供亮度改变中的平滑过渡。慢收敛技术可包含两个阶段：保持时间控制和收敛过程。在保持时间控制期间，亮度水平可突然改变，但传感器驱动的亮度重新调整过程尚未开始。在收敛过程期间，基于根据对应的亮度水平改变而确定的曝光步进大小来逐渐地重新调整帧辉度值。可将亮度水平改变视为场景改变(取决于改变的水平)。视频解码装置可利用与其接收到的亮度相关的信息来调整帧速率上转换过程。

举例来说，如果亮度改变高于某一量，且因此场景改变可能已发生，则视频解码装置可跳过内插，因为与所插入的帧相邻的两个帧将来自两个不同的场景。在另一实例中，视频解码装置可将运动估计方法从基于像素的搜索改变为对亮度改变更具抵抗性的频域方法。

在一个实例中，AEC收敛状态、收敛阶段旗标(关于保持时间控制和收敛过程的旗标)以及帧辉度值可在附加到对应帧的元数据中被传输到视频解码装置侧。在保持时间控制的实例中，不存在亮度水平重新调整，而是存在帧辉度中的突发性改变。在此实例中，可使用具有相同亮度水平的中间参考帧来简化所插入的帧的内插。在收敛过程的实例中，帧之间的亮度改变是平滑的，但所插入的帧的运动向量内插也需要中间参考帧。在任一实例中，中间帧可具有相同的亮度水平以获得排除亮度因素的更准确的预测。

图8A说明根据本发明的方面的基于亮度信息的实例性帧速率上转换方法的流程图。图8B说明根据本发明的方面的用于帧速率上转换的亮度信息的实例性使用。如图8A中所说明，方法800包含在方框802处获得视频帧序列中的经解码的帧n和n+1的亮度信息。

在方框804处，将帧n+1的亮度水平设定为等于帧n的亮度水平。在图8B中进一步说明此操作。通过知道收敛过程期间的经解码的帧的帧辉度值，将经内插帧370的相邻帧380和382中的一者恢复为处于与经解码的视频流的前一帧350或下一帧352的亮度水平相同的亮度水平。举例来说，如图8B中所说明，增加下一帧352的亮度水平以产生相邻帧382，以使得帧382的亮度与帧380的亮度匹配。

返回参考图8A，在方框806处，计算经内插帧的运动向量的预测，且在方框808处通过基于所预测的运动向量对帧进行内插而对视频帧速率进行上转换。通过处于相同亮度水平的参考帧，可执行经内插帧的运动向量预测，且可实现比不具有关于AEC收敛信息的任何知识的情况更准确的结果。

举例来说，参考图8B，基于相邻帧380和382，可确定中间帧380的像素值。根据一些实施例，可使用以下等式6来获得此中间帧390的像素值：

${\mathrm{PixelValue}}_{\mathrm{frame}(n+1)}=\frac{{\mathrm{PixelValue}}_{\mathrm{frame}(n+1)}\×{\mathrm{FrameLuma}}_{\mathrm{frame}\left(n\right)}}{{\mathrm{FrameLuma}}_{\mathrm{frame}(n+1)}}$ 等式(6)

可根据以下等式7来描述最终的经内插帧370的平均帧辉度值：

${\mathrm{FrameLuma}}_{\mathrm{InterpFrame}}=1+\frac{{\mathrm{FrameLuma}}_{\mathrm{frame}(n+1)}-{\mathrm{frameLuma}}_{\mathrm{frame}\left(n\right)}}{2\×{\mathrm{FrameLuma}}_{\mathrm{frame}\left(n\right)}}$ 等式(7)

在方框810处，调整经内插帧的亮度。举例来说，通过根据以下等式8重新调整每一像素值而获得最终的经内插帧370，其中PixelValue_InterpFrame′是从相同亮度水平参考帧获得的经内插帧中的像素值

${\mathrm{PixelValue}}_{\mathrm{InterpFrame}}=\frac{{\mathrm{PixelValue}}_{{\mathrm{InterpFrame}}^{\′}}\×{\mathrm{FrameLuma}}_{\mathrm{frame}\left(n\right)}}{{\mathrm{FrameLuma}}_{\mathrm{InterpFrame}}}$ 等式(8)

可包含于经编码的位流中的另一相机参数对应于自动白平衡(AWB)和色彩增益信息。当所俘获的场景中存在光温改变时，图像俘获装置60的AWB慢收敛通过重新调整R/G增益和B/G增益而努力收敛到新的光温。AWB模式强调稳定性和过渡平滑性。应尽可能地抑制色彩抖动。相同的原理对于帧速率上转换过程也适用。为了传达在所插入的帧之前和之后的两个经解码的帧之间的平滑色彩过渡，应尽可能地抑制色彩抖动。AWB收敛过程根据以下等式调整每一帧的R/G增益和B/G增益：

新增益=旧增益*w+当前增益*(1-w)    等式(9)

其中W对应于预定义的收敛增益值。举例来说，对于QCamcorder AWB收敛设定，可将W设定为等于0.025。可基于用户偏好重新调整W。“新增益”可对应于应用于图像处理器66的白平衡增益。“旧增益”可对应于前一帧的白平衡增益，且“当前增益”可对应于当前帧的白平衡增益。

在本发明的一个方面中，视频解码装置可调整帧速率上转换中的经内插帧的色彩增益且保留平滑的色彩过渡。经解码的前一帧与当前帧之间的AWB收敛状态以及R/G和B/G增益的差经由元数据被传输到视频解码装置侧。可根据以下等式10描述色彩增益的差：

$\mathrm{\Δ}{\left(\frac{R}{G}\right)}_{\mathrm{frame}\left(n\right)}^{\mathrm{frame}(n+1)}={\left(\frac{R}{G}\right)}_{\mathrm{frame}(n+1)}{-\left(\frac{R}{G}\right)}_{\mathrm{frame}\left(n\right)}{\mathrm{\Δ}\left(\frac{B}{G}\right)}_{\mathrm{frame}\left(n\right)}^{\mathrm{frame}(n+1)}={\left(\frac{B}{G}\right)}_{\mathrm{frame}(n+1)}-{\left(\frac{B}{G}\right)}_{\mathrm{frame}\left(n\right)}$ 等式(10)

在本发明的一个方面中，所插入的帧的运动向量内插主要依赖于辉度域内插。然而，在执行辉度域运动向量预测之后，可针对经内插帧重新调整R/G和B/G增益以实现平滑的视觉色彩过渡。可根据以下等式11来调整所插入的帧的R/G和B/G增益：

${\left(\frac{R}{G}\right)}_{\mathrm{frame}\left(\mathrm{interp}\right)}={\left(\frac{R}{G}\right)}_{\mathrm{frame}\left(n\right)}(1+\frac{1}{2}\mathrm{\Δ}{\left(\frac{R}{G}\right)}_{\mathrm{frame}\left(n\right)}^{\mathrm{frame}(n+1)})$

${\left(\frac{B}{G}\right)}_{\mathrm{frame}\left(\mathrm{interp}\right)}={\left(\frac{B}{G}\right)}_{\mathrm{frame}\left(n\right)}(1+\frac{1}{2}\mathrm{\Δ}{\left(\frac{B}{G}\right)}_{\mathrm{frame}\left(n\right)}^{\mathrm{frame}(n+1)})$ 等式(11)

图9A说明根据本发明的方面的基于自动白平衡的实例性帧速率上转换方法的流程图。图9B说明根据本发明的方面的用于帧速率上转换的白平衡信息的实例性使用。如图9A中说明，方法900可包含在方框902处从经解码的帧获得自动白平衡(AWB)和R/G、B/G增益。可在方框904处通过内插帧来对视频流的帧速率进行上转换。在帧的内插后，可如方框906中所说明调整经内插帧的AWB、R/G和B/G。

参考图9B，基于经解码的帧350和352来内插经内插帧370。通过将经解码的帧转换为相邻的辉度域帧380和382来产生相邻帧380和382。在亮度域中预测用以产生经内插帧370的中间帧390的运动向量。在经内插帧370的内插后，调整经内插帧370的AWB、R/G和B/G。

根据一些实施例，相机参数还可包含全局运动信息。在图像处理器66处，可由运动传感器(例如，加速度计)检测全局运动信息。对于可能不具有运动传感器的视频俘获装置，也可通过某种处理，例如分析行和与列和，或在相机参数确定阶段处的其它处理，来获得全局运动信息。

在视频俘获装置具有运动传感器的实例中，运动传感器可提供全局运动的以下信息中的一些：

-3个维度中的移动加速度信息(a_x,a_y,a_z)

-3个维度中的移动速率信息(V_x,V_y,V_z)

-3个维度中的移动距离信息(D_x,D_y,D_z)

-移动旋转角度信息(α,β,γ)

将参考图10A和10B描述利用全局运动信息用于帧速率上转换的方法。图10A说明根据本发明的方面的基于运动信息的实例性帧速率上转换方法的流程图。图10B说明根据本发明的方面的用于帧速率上转换的运动信息的实例性使用。

如图10A中说明，方法1000包含在方框1002处获得经解码的帧的全局运动信息。在方框1004处基于全局运动信息来确定运动向量搜索范围。在方框1006处在运动向量搜索范围内预测运动向量。在方框1008处基于所预测的运动向量来产生用于帧速率上转换的经内插帧。

在知道传输到视频显示装置80的图像俘获装置60的全局运动信息的情况下，视频解码装置可在插入的帧370的运动向量预测中利用从帧350到帧352的全局运动的方向，如图10B中说明。

举例来说，例如(a_x,a_y,a_z)、(V_x,V_y,V_z)、(D_x,D_y,D_z)或(α,β,γ)等全局运动信息通过元数据被发送到视频显示装置80以用于辅助帧速率上转换。根据本发明的一个方面，通过知道全局运动信息，可指定关于参考帧的运动向量预测范围。通过预先知道全局运动信息，运动向量搜索可更有效且更准确，因为其减少了针对帧中的像素上与已知位置的匹配的块的搜索。具有先前的全局运动信息可通过减少算法为了找到帧中的匹配块以确定运动向量所需要执行的搜索量而减小帧速率上转换算法的复杂性。

在图10B的实例中，通过知道水平全局运动信息(D_x,D_y,D_z)，可将运动向量预测范围可指定到对应于全局运动信息的区。因此，简化了运动搜索计算且改善了内插准确性。

根据一些实施例，发送到视频显示装置80的相机参数还可包含以上描述的相机参数的任一组合。另外，使用所接收的相机参数的对其它参数的计算可被发送到视频显示装置80，或可由视频显示装置80基于所接收的相机参数来计算以便辅助视频帧速率上转换。

举例来说，可基于相机参数确定模糊帧模糊值(BV)计算。根据一些实施例，可基于所估计的总运动值(MV)、曝光时间(T_exp)和帧周期T_frame来计算第i帧的模糊值(BVi)。可将帧周期T_frame定义为1/视频流的帧速率。根据一些实例，可将T_frame设定为等于大约0.33ms。

可根据以下等式12计算总运动值MV：

MV=|MV_device|+|MV_object|    等式(12)

其中MV_device对应于由于例如摇摄和手抖动而引起的相机的运动，且MV_object对应于所俘获的场景中的对象的运动。

随后可基于以下等式13来计算模糊值(BV_i)：

等式(13)

其中K是用于模糊值的正规化参数，使得模糊值落在0到1的范围内，MT₀对应于所选择的下阈值，在所述下阈值以下可忽略模糊假影，MT₁对应于所选择的上阈值，在所述上阈值以上模糊假影足够高且可经归类为其中可对模糊值进行近似以使得BV=1的情况。基于不同的运动估计技术，可以不定地选择阈值且可通过图像俘获装置60来调谐阈值。

根据一些实施例，可使用相机参数的不同组合来辅助帧速率上转换。举例来说，在许多情况下，在视频数据俘获期间的若干相机调整可能同时发生。举例来说，在摇摄期间，也可触发自动聚焦重聚焦。在此情形中，如果环境亮度从初始摇摄位置到其它位置发生改变，那么AEC可开始收敛。在这些组合情形中，也可组合所提出的个别策略以辅助帧速率上转换过程。

本发明的各方面可提供用于通过从图像俘获装置发送元数据来辅助视频解码装置侧帧速率上转换的技术。元数据可含有可由装置解码装置使用以执行帧速率上转换的信息。所述信息可包含：数字/光学放大/缩小信息、自动聚焦重聚焦信息、帧模糊度信息、AEC收敛信息、AWB收敛信息、全局运动信息等。通过使用元数据来用于帧速率上转换，可显著减小关于运动向量内插的计算且还可显著改善预测结果的准确性。

应理解，任何所揭示的过程中的步骤的任何特定次序或层级是样本方法的实例。基于设计偏好，应理解，过程中的步骤的特定次序或层级可重新布置，同时保持在本发明的范围内。随附的方法权利要求项以样本次序呈现各种步骤的要素，且其并不意味着限于所呈现的特定次序或层级。

在一个实例中，系统可包括能够执行本发明的技术的装置。所述系统可为独立视频系统，或为包括视频处理系统的其它功能性的另一系统的部分。在一些实例中，视频俘获装置、视频编码装置和视频解码装置可实施于一个或一个以上装置中。

本发明中所描述的技术可至少部分以硬件、软件、固件，或其组合来实施。举例来说，所描述技术的各种方面可实施于一个或一个以上处理器内，包含一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其它等效集成或离散逻辑电路，以及此些组件的任何组合。术语“处理器”或“处理电路”通常可指代单独或与其它逻辑电路组合的前述逻辑电路中的任一者，或任何其它等效电路。包括硬件的控制单元也可执行本发明的技术中的一者或一者以上。

此类硬件、软件和固件可实施于相同装置内或单独装置内，以支持本发明中所描述的各种操作和功能。另外，所描述的单元、模块或组件中的任一者可一起实施，或单独地实施为离散但可互操作的逻辑装置。将不同特征描绘为模块或单元意在突出不同功能方面，且未必暗示必须通过单独的硬件或软件组件来实现此些模块或单元。而是，与一个或一个以上模块或单元相关联的功能性可由单独的硬件、固件和/或软件组件执行，或集成于共同或单独的硬件或软件组件内。

本发明中所描述的技术还可体现或编码于含有指令的计算机可读媒体(例如，非暂时性计算机可读存储媒体)中。嵌入或编码于非暂时性计算机可读媒体中的指令(例如)在所述指令被执行时可致使一个或一个以上可编程处理器或其它处理器执行方法。计算机可读存储媒体可包含：随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、硬盘、CD-ROM、软盘、盒式磁带、磁性媒体、光学媒体或其它计算机可读媒体。

所属领域的技术人员将理解，可使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示可在整个以上描述中参考的数据、指令、命令、信息、信号、位、符号及码片。

在实例实施方案中，本发明中所描述的技术可由数字视频译码硬件设备执行，而不论是否部分地由硬件、固件和/或软件实施。

已描述各种方面和实例。然而，可在不脱离所附权利要求书的范围的情况下对本发明的结构或技术进行修改。

前述描述和权利要求项可能涉及“连接”或“耦合”在一起的元件或特征。如本文中所使用，除非另外明确规定，否则“连接”意味着一个元件/特征直接或间接连接到另一元件/特征，且不必是以机械方式。同样，除非另外明确规定，否则“耦合”意味着一个元件/特征直接或间接耦合到另一元件/特征，且不必是以机械方式。因此，尽管图中所展示的各种示意图描绘元件和组件的实例性布置，但额外的介入元件、装置、特征或组件可存在于实际的实施例中(假设不会不利地影响所描绘的电路的功能性)。

因此，所属领域的技术人员将了解，实例实施方案的配置和原理可适于任何其它电子系统。可将采用上述配置的电路实施到各种电子装置或集成电路中。电子装置的实例可包含(但不限于)消费型电子产品、消费型电子产品的部分、电子测试设备、医疗保健监视器等。此外，电子装置可包含未完成的产品。

Claims (60)

1.一种用于对视频数据进行编码的方法，其包括：

从相机获得至少一个视频帧；

获得至少一个相机参数；

对所述至少一个视频帧进行编码以形成经编码帧；以及

将所述相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对所述视频数据进行帧速率上转换。

2.根据权利要求1所述的方法，其中所述至少一个相机参数包含以下各项中的一者或一者以上：变焦因数、自动聚焦状态、透镜位置、帧辉度、自动曝光AE收敛状态、自动白平衡AWB收敛状态、全局运动信息，和帧模糊度信息。

3.根据权利要求1所述的方法，其进一步包括：

针对每一对应所俘获的视频帧将所述至少一个相机参数包化；以及

将所述经包化的至少一个相机参数作为元数据附加到所述对应所俘获的视频帧。

4.根据权利要求1所述的方法，其进一步包括：

至少部分地基于所述至少一个相机参数来确定用于视频帧的编码过程；以及

基于所述所确定的编码过程对所述视频帧进行编码。

5.根据权利要求1所述的方法，其中所述至少一个相机参数对应于所述相机在所述至少一个视频帧的俘获期间的相机参数。

6.根据权利要求1所述的方法，其中所述相机是无线电话。

7.一种电子装置，其包括：

用于从相机获得至少一个视频帧的装置；

用于获得至少一个相机参数的装置；

用于对所述至少一个视频帧进行编码以形成经编码帧的装置；以及

用于将所述至少一个相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对视频数据进行帧速率上转换的装置。

8.根据权利要求7所述的装置，其中所述用于从相机获得至少一个视频帧的装置包括摄像机

9.根据权利要求7所述的装置，其中所述用于获得至少一个相机参数的装置包括处理器。

10.根据权利要求7所述的装置，其中所述用于对所述至少一个视频帧进行编码的装置包括所述相机中的视频编码器。

11.根据权利要求7所述的装置，其中所述至少一个相机参数包含以下各项中的一者或一者以上：变焦因数、自动聚焦状态、透镜位置、帧辉度、自动曝光AE收敛状态、自动白平衡AWB收敛状态、全局运动信息，和帧模糊度信息。

12.根据权利要求7所述的装置，其中所述用于嵌入所述至少一个相机参数的装置包括：

用于针对每一对应所俘获的视频帧将所述至少一个相机参数包化的装置；以及

用于将所述经包化的至少一个相机参数作为元数据附加到所述对应所俘获的视频帧的装置。

13.根据权利要求7所述的装置，其进一步包括：

用于至少部分地基于所述至少一个相机参数来确定用于视频帧的编码过程的装置；以及

用于基于所述所确定的编码过程对所述视频帧进行编码的装置。

14.根据权利要求7所述的装置，其中所述至少一个相机参数对应于所述相机在所述至少一个视频帧的俘获期间的相机参数。

15.根据权利要求7所述的装置，其中所述装置是无线电话。

16.一种电子装置，其包括：

视频俘获装置，其经配置以从相机获得至少一个视频帧；

处理器，其经配置以获得至少一个相机参数；以及

编码器，其经配置以对所述至少一个视频帧进行编码以形成经编码帧，且将所述相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对视频数据进行帧速率上转换。

17.根据权利要求16所述的装置，其中所述至少一个相机参数包含以下各项中的一者或一者以上：变焦因数、自动聚焦状态、透镜位置、帧辉度、自动曝光AE收敛状态、自动白平衡AWB收敛状态、全局运动信息，和帧模糊度信息。

18.根据权利要求16所述的装置，其中所述处理器进一步经配置以：

针对每一对应所俘获的视频帧将所述至少一个相机参数包化；以及

将所述经包化的至少一个相机参数作为元数据附加到所述对应所俘获的视频帧。

19.根据权利要求16所述的装置，其中所述编码器进一步经配置以：

至少部分地基于所述至少一个相机参数来确定用于视频帧的编码过程；以及

基于所述所确定的编码过程对所述视频帧进行编码。

20.根据权利要求16所述的装置，其中所述至少一个相机参数对应于所述相机在所述至少一个视频帧的俘获期间的相机参数。

21.根据权利要求16所述的装置，其中所述电子装置是无线电话。

22.一种非暂时性计算机可读媒体，其上存储有代码，所述代码在被执行时执行包括以下各项的方法：

从相机获得至少一个视频帧；

获得至少一个相机参数；

对所述至少一个视频帧进行编码以形成经编码帧；以及

将所述相机参数嵌入所述经编码帧中以使得解码器可读取所述嵌入的参数且对视频数据进行帧速率上转换。

23.根据权利要求22所述的非暂时性计算机可读媒体，其中所述至少一个相机参数包含以下各项中的一者或一者以上：变焦因数、自动聚焦状态、透镜位置、帧辉度、自动曝光AE收敛状态、自动白平衡AWB收敛状态、全局运动信息，和帧模糊度信息。

24.根据权利要求22所述的非暂时性计算机可读媒体，其进一步包括在被执行时进行以下操作的代码：

针对每一对应所俘获的视频帧将所述至少一个相机参数包化；以及

将所述经包化的至少一个相机参数作为元数据附加到所述对应所俘获的视频帧。

25.根据权利要求22所述的非暂时性计算机可读媒体，其进一步包括在被执行时进行以下操作的代码：

至少部分地基于所述至少一个相机参数来确定用于视频帧的编码过程；以及

基于所述所确定的编码过程对所述视频帧进行编码。

26.根据权利要求22所述的非暂时性计算机可读媒体，其中所述至少一个相机参数对应于所述相机在所述至少一个视频帧的俘获期间的相机参数。

27.根据权利要求22所述的非暂时性计算机可读媒体，其中所述相机是无线电话。

28.一种用于对视频数据进行解码的方法，其包括：

接收包含视频数据和嵌入的数据的位流；

从所述嵌入的数据获得至少一个相机参数；以及

基于所述至少一个相机参数对视频帧速率进行上转换。

29.根据权利要求28所述的方法，其中所述至少一个相机参数包含以下各项中的一者或一者以上：变焦因数、自动聚焦状态、透镜位置、帧辉度、自动曝光AE收敛状态、自动白平衡AWB收敛状态、全局运动信息，和帧模糊度信息。

30.根据权利要求28所述的方法，其中所述嵌入的数据包括元数据。

31.根据权利要求28所述的方法，其进一步包括：

针对每一对应所俘获的视频帧将所述至少一个相机参数拆包；以及

读取所述经拆包的至少一个相机参数以对所述视频帧速率进行上转换。

32.根据权利要求28所述的方法，其中所述至少一个相机参数对应于所述相机在所述至少一个视频帧的俘获期间的相机参数。

33.根据权利要求32所述的方法，其中所述相机是无线电话。

34.根据权利要求28所述的方法，其中所述至少一个相机参数包括放大信息，且其中对所述视频帧速率进行上转换包括：

对所述位流进行解码以产生经解码帧；

基于所述放大信息的因数来缩放所述经解码帧；

基于所述经缩放的帧来预测运动向量；

基于所述所预测的运动向量来内插帧。

35.根据权利要求28所述的方法，其中所述至少一个相机参数包括模糊度信息，且其中对所述视频帧速率进行上转换包括：

对所述位流进行解码以产生经解码帧；

从所述经解码帧获得所述模糊度信息；

基于所述模糊度信息来选择性地确定运动向量搜索范围；

从所述所确定的搜索范围中预测运动向量；以及

基于所述所预测的运动向量来内插帧。

36.根据权利要求35所述的方法，其中所述至少一个相机参数包括自动聚焦信息，所述方法进一步包括基于所述自动聚焦信息来确定所述经解码帧是否是在重聚焦操作期间俘获的，且其中当在重聚焦操作期间俘获所述经解码帧时执行基于所述模糊度信息来选择性地确定所述运动向量搜索范围。

37.根据权利要求36所述的方法，其进一步包括当在重聚焦操作期间未俘获相邻的经解码帧时通过对所述相邻的经解码帧的像素进行平均来内插帧。

38.根据权利要求28所述的方法，其中所述至少一个相机参数包括亮度信息，且其中对所述视频帧速率进行上转换包括：

对所述位流进行解码以产生第一经解码帧和第二经解码帧；

从所述第一经解码帧和所述第二经解码帧获得所述亮度信息；

基于所述亮度信息将所述第二经解码帧的亮度水平设定为等于所述第一经解码帧的亮度水平以产生第一和第二参考帧；

基于所述第一和第二参考帧来预测所述经内插帧的运动向量；

基于所述所预测的运动向量来内插帧；以及

基于所述亮度信息来调整所述经内插帧的亮度。

39.根据权利要求28所述的方法，其中所述至少一个相机参数包括自动白平衡AWB信息和色彩增益信息，且其中对所述视频帧速率进行上转换包括：

对所述位流进行解码以产生经解码帧；

基于所述经解码帧来内插帧；

基于所述AWB和色彩增益信息来调整所述经内插帧的AWB和色彩增益。

40.根据权利要求28所述的方法，其中所述至少一个相机参数包括全局运动信息，且其中对所述视频帧速率进行上转换包括：

对所述位流进行解码以产生经解码帧；

从所述经解码帧获得所述全局运动信息；

基于所述全局运动信息来确定运动向量搜索范围；

基于所述运动向量搜索范围来预测运动向量；以及

基于所述所预测的运动向量来内插帧。

41.一种装置，其包括：

用于接收包含视频数据和嵌入的数据的位流的装置；

用于从所述嵌入的数据获得至少一个相机参数的装置；以及

用于基于所述至少一个相机参数对视频帧速率进行上转换的装置。

42.根据权利要求41所述的装置，其中所述用于接收位流的装置和所述用于获得至少一个相机参数的装置包括解码器，且其中所述用于对视频帧进行上转换的装置包括处理器。

43.根据权利要求41所述的装置，其中所述至少一个相机参数包含以下各项中的一者或一者以上：变焦因数、自动聚焦状态、透镜位置、帧辉度、自动曝光AE收敛状态、自动白平衡AWB收敛状态、全局运动信息，和帧模糊度信息。

44.根据权利要求41所述的装置，其中所述嵌入的数据包括元数据。

45.根据权利要求41所述的装置，其进一步包括：

用于针对每一对应所俘获的视频帧将所述至少一个相机参数拆包的装置；以及

用于读取所述经拆包的至少一个相机参数以对所述视频帧速率进行上转换的装置。

46.根据权利要求41所述的装置，其中所述至少一个相机参数对应于所述相机在所述至少一个视频帧的俘获期间的相机参数。

47.根据权利要求46所述的装置，其中所述相机是无线电话。

48.根据权利要求41所述的装置，其中所述至少一个相机参数包括放大信息，且其中对所述视频帧速率进行上转换包括：

用于对所述位流进行解码以产生经解码帧的装置；

用于基于所述放大信息的因数来缩放所述经解码帧的装置；

用于基于所述经缩放的帧来预测运动向量的装置；

用于基于所述所预测的运动向量来内插帧的装置。

49.根据权利要求41所述的装置，其中所述至少一个相机参数包括模糊度信息，且其中对所述视频帧速率进行上转换包括：

用于对所述位流进行解码以产生经解码帧的装置；

用于从所述经解码帧获得所述模糊度信息的装置；

用于基于所述模糊度信息来选择性地确定运动向量搜索范围的装置；

用于从所述所确定的搜索范围预测运动向量的装置；以及

用于基于所述所预测的运动向量来内插帧的装置。

50.根据权利要求49所述的装置，其中所述至少一个相机参数包括自动聚焦信息，所述方法进一步包括基于所述自动聚焦信息来确定所述经解码帧是否是在重聚焦操作期间俘获的，且其中在重聚焦操作期间俘获所述经解码帧时基于所述模糊度信息来执行选择性地确定所述运动向量搜索范围。

51.根据权利要求50所述的装置，其进一步包括当在重聚焦操作期间未俘获相邻的经解码帧时通过对所述相邻的经解码帧的像素进行平均来内插帧。

52.根据权利要求41所述的装置，其中所述至少一个相机参数包括模糊度信息，且其中对所述视频帧速率进行上转换包括：

用于对所述位流进行解码以产生第一经解码帧和第二经解码帧的装置；

用于从所述第一经解码帧和所述第二经解码帧获得所述亮度信息的装置；

用于基于所述亮度信息将所述第二经解码帧的亮度水平设定为等于所述第一经解码帧的亮度水平以产生第一和第二参考帧的装置；

用于基于所述第一和第二参考帧来预测所述经内插帧的运动向量的装置；

用于基于所述所预测的运动向量来内插帧的装置；以及

用于基于所述亮度信息来调整所述经内插帧的亮度的装置。

53.根据权利要求41所述的装置，其中所述至少一个相机参数包括自动白平衡AWB信息和色彩增益信息，且其中对所述视频帧速率进行上转换包括：

用于对所述位流进行解码以产生经解码帧的装置；

用于基于所述经解码帧来内插帧的装置；

用于基于所述AWB和色彩增益信息来调整所述经内插帧的AWB和色彩增益的装置。

54.根据权利要求41所述的装置，其中所述至少一个相机参数包括全局运动信息，且其中对所述视频帧速率进行上转换包括：

用于对所述位流进行解码以产生经解码帧的装置；

用于从所述经解码帧获得所述全局运动信息的装置；

用于基于所述全局运动信息来确定运动向量搜索范围的装置；

用于基于所述运动向量搜索范围来预测运动向量的装置；以及

用于基于所述所预测的运动向量来内插帧的装置。

55.一种装置，其包括：

解码器，其经配置以接收包含视频数据和嵌入的数据的位流且从所述嵌入的数据获得至少一个相机参数；以及

处理器，其经配置以基于所述至少一个相机参数对视频帧速率进行上转换。

56.根据权利要求55所述的装置，其中所述至少一个相机参数包含以下各项中的一者或一者以上：变焦因数、自动聚焦状态、透镜位置、帧辉度、自动曝光AE收敛状态、自动白平衡AWB收敛状态、全局运动信息，和帧模糊度信息。

57.根据权利要求55所述的装置，其中所述至少一个相机参数对应于所述相机在所述至少一个视频帧的俘获期间的相机参数。

58.根据权利要求57所述的装置，其中所述相机是无线电话。

59.一种非暂时性计算机可读媒体，其上存储有代码，所述代码在被执行时执行包括以下各项的方法：

接收包含视频数据和嵌入的数据的位流；

从所述嵌入的数据获得至少一个相机参数；以及

基于所述至少一个相机参数对视频帧速率进行上转换。

60.根据权利要求59所述的非暂时性计算机可读媒体，其进一步包括在被执行时进行以下操作的代码：

针对每一对应所俘获的视频帧将所述至少一个相机参数拆包；以及

读取所述经拆包的至少一个相机参数以对所述视频帧速率进行上转换。

Images