CN114005066A - 基于hdr的视频帧图像处理方法、装置、计算机设备及介质 - Google Patents

Abstract

本发明公开了一种基于HDR的视频帧图像处理方法、装置、计算机设备及介质，所述方法包括：从每秒接收到的输入视频帧中，获取至少2个视频帧组，其中，每个视频帧组包含K个连续视频帧，K为大于等于3的整数，针对每个视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧，对对齐视频帧进行图像融合，得到融合视频帧，将融合视频帧进行编码输出，采用本发明可提高了输出视频帧的质量。

Description

基于HDR的视频帧图像处理方法、装置、计算机设备及介质

技术领域

本发明涉及图像处理领域，尤其涉及一种基于HDR的视频帧图像处理方法、装置、计算机设备及介质。

背景技术

HDR(HIGH-DYNAMIC RANGE)技术，也就是高动态范围成像技术，是用来实现比普通数字图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。传统视频信号中所能展现的亮度范围极为有限，与人眼所能感知的范围相差甚远。例如：真实世界的烟花、火光中心都是有颜色的，但传统方案极大压缩了真实亮度层次中的色彩范围，视频还原时，烟花与火光中心处的颜色可能就无法表达出来，只会是一片惨白；另一种极端情形，是对极低亮度条件下的成像，由于无法记录大范围的黑色域级别，视频无法还原更多深邃的黑色；可见，特定条件下，传统视频质量下降的原因是画面明亮处的亮度提不上去，暗处暗不下来，这导致了人眼最终所感知到的画面层次感较差，大量细节丢失。

HDR技术，能实现对极限亮暗的等级控制，能包容的亮度范围越大，亮度的层次也会越多，同样的色彩、灰度这些信息也会更加丰富，也就能将极限亮度下的色彩表达的更加精准。经过HDR技术处理，视频帧图像也就包含了更多的亮部和暗部细节，全方位提升了图画的明暗对比度，同一幅画面就能够显示更多的颜色信息，更多图像的细节纹理；使视频帧画面更真实的保障其最自然的样子，于是视频播放时人眼看起来，画面更加饱满，颜色过渡更加平滑。因为经过HDR技术的处理，让原先的暗场景变得更明亮更通透，使拍出的照片更加逼真清晰，渲染出更好更真实的场景，能极大改善设备成像性能，现在HDR技术已经应用在了家电、影像设备、智能终端等各个方面。

目前，HDR通常实现方法是，通过设多组参数值来对当前拍摄的景物曝光，其中一张照片是使用当前测光从而算出来的正常情况下的标准参数曝光，另外多张则分别使用标准参数一定比例范围内的值作为参数进行曝光；最终对多张照片按某种算法进行合成；比如：暗处的景物使用高范围参数曝光的局部照片，而亮处的物体则使用低范围区间参数曝光的局部照片；这样就能使得整个照片的场景都不致于太亮或太暗。

GOOGLE的HDR实现方法是选择一个连拍中的图像作为“参考”帧，然后将这些帧中的那些补丁与确信已经成像的其他“替代”帧对齐并合并到此帧中场景的相同部分。此外，为了减少计算复杂度，仅合并每个替代帧中的单个修补程序。虽然保守的合并可能会导致最终图像的某些部分显得比其他部分更嘈杂，但是这个工件很少。通过对齐和合并多个帧，生成的中间图像比输入帧具有更高的比特深度，更高的动态范围和更低的噪声。然而，方案的目标之一就是制作出自然的照片，即使场景包含强烈的对比。因此，反而会增加阴影，保留局部对比度，同时牺牲全局对比度。

但是，现有的这些方式采用的多是相对简单的基于位置区域的分区法，该方法很难做到对图像内相对独立物体、分布一致性区域的准确锚定，可能会将图像中独立物体影像划分到不同单元进行处理，进而将相近纹理数据采用不同参数进行加工，损害数据处理的完整性要求，导致生成的视频帧图像质量不高。

发明内容

本发明实施例提供一种基于HDR的视频帧图像处理方法、装置、计算机设备和存储介质，以提高输出视频帧的质量。

为了解决上述技术问题，本申请实施例提供一种基于HDR的视频帧图像处理方法，包括：

从每秒接收到的输入视频帧中，获取至少2个视频帧组，其中，每个所述视频帧组包含K个连续视频帧，K为大于等于3的整数；

针对每个所述视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧；

对所述对齐视频帧进行图像融合，得到融合视频帧；

将所述融合视频帧进行编码输出。

可选地，所述从每秒接收到的输入视频帧中，获取至少2个视频帧组包括：

按照预设的选取方式，选取K个连续视频帧，作为一组视频帧；

将每组视频帧中间的视频帧作为参考帧，将参考帧之前的视频帧作为欠爆帧，将参考帧之后的视频帧作为过爆帧；

按照由大到小的K元组参数，对所述欠爆帧、所述参考帧和所述过爆帧进行曝光处理，得到所述视频帧组。

可选地，所述针对每个所述视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧包括：

将连续视频帧中的每个视频帧作为一个基础帧；

对每个所述基础帧进行多次度下采样，并基于采样结果构建图像金字塔；

基于所述图像金字塔，进行特征点提取，得到特征点；

基于特征点匹配的方式，对每个基础帧中的区块进行对齐处理，得到区块数据一致的所述对齐视频帧。

可选地，所述基于所述图像金字塔，进行特征点提取，得到特征点包括：

对所述图像金字塔中的每层图像做高斯模糊，得到模糊图；

根据SIFT描述子对所述模糊图进行特征提取，得到每个模糊图的特征点。

可选地，所述对所述对齐视频帧进行图像融合，得到融合视频帧包括：

基于特征提取的方式，获取所述对齐视频帧的关键点，得到关键点集合；

对所述关键点集合进行近邻聚类，得到预设数量的类聚区；

获取K个类聚区的图像块，作为目标图像块；

计算所述目标图像块的区域的梯度和与均方差，并将得到的梯度和均方差作为图像相似度评估值；

基于所述图像相似度评估值确定融合比例系数，并基于所述融合比例系数进行图像融合，得到融合视频帧。

为了解决上述技术问题，本申请实施例还提供一种基于HDR的视频帧图像处理装置，包括：

视频帧组获取模块，用于从每秒接收到的输入视频帧中，获取至少2个视频帧组，其中，每个所述视频帧组包含K个连续视频帧，K为大于等于3的整数；

特征匹配模块，用于针对每个所述视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧；

帧融合模块，用于对所述对齐视频帧进行图像融合，得到融合视频帧；

编码输出模块，用于将所述融合视频帧进行编码输出。

可选地，视频帧组获取模块包括：

视频帧选取单元，用于按照预设的选取方式，选取K个连续视频帧，作为一组视频帧；

帧分类单元，用于将每组视频帧中间的视频帧作为参考帧，将参考帧之前的视频帧作为欠爆帧，将参考帧之后的视频帧作为过爆帧；

曝光处理单元，用于按照由大到小的K元组参数，对所述欠爆帧、所述参考帧和所述过爆帧进行曝光处理，得到所述视频帧组。

可选地，所述特征匹配模块包括：

基础帧确定单元，用于将连续视频帧中的每个视频帧作为一个基础帧；

图像金字塔构建单元，用于对每个所述基础帧进行多次度下采样，并基于采样结果构建图像金字塔；

特征点提取单元，用于基于所述图像金字塔，进行特征点提取，得到特征点；

区块对齐单元，用于基于特征点匹配的方式，对每个基础帧中的区块进行对齐处理，得到区块数据一致的所述对齐视频帧。

可选地，所述特征点提取单元包括：

高斯模糊子单元，用于对所述图像金字塔中的每层图像做高斯模糊，得到模糊图；

特征提取子单元，用于根据SIFT描述子对所述模糊图进行特征提取，得到每个模糊图的特征点。

可选地，所述帧融合模块包括：

关键点集合确定单元，用于基于特征提取的方式，获取所述对齐视频帧的关键点，得到关键点集合；

聚类单元，用于对所述关键点集合进行近邻聚类，得到预设数量的类聚区；

目标图像块确定单元，用于获取K个类聚区的图像块，作为目标图像块；

图像相似度评估单元，用于计算所述目标图像块的区域的梯度和与均方差，并将得到的梯度和均方差作为图像相似度评估值；

融合单元，用于基于所述图像相似度评估值确定融合比例系数，并基于所述融合比例系数进行图像融合，得到融合视频帧。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于HDR的视频帧图像处理方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于HDR的视频帧图像处理方法的步骤。

本发明实施例提供的基于HDR的视频帧图像处理方法、装置、计算机设备及存储介质，通过从每秒接收到的输入视频帧中，获取至少2个视频帧组，其中，每个视频帧组包含K个连续视频帧，K为大于等于3的整数，针对每个视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧，对对齐视频帧进行图像融合，得到融合视频帧，将融合视频帧进行编码输出，确保不同图像间HDR处理时数据的一致性和完整性，提高了输出视频帧的质量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是本申请的基于HDR的视频帧图像处理方法的一个实施例的流程图；

图3是根据本申请的基于HDR的视频帧图像处理装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E界面显示perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureE界面显示perts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的基于HDR的视频帧图像处理方法由服务器执行，相应地，基于HDR的视频帧图像处理装置设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。

请参阅图2，图2示出本发明实施例提供的一种基于HDR的视频帧图像处理方法，以该方法应用在图1中的服务端为例进行说明，详述如下：

S201：从每秒接收到的输入视频帧中，获取至少2个视频帧组，其中，每个视频帧组包含K个连续视频帧，K为大于等于3的整数。

进一步地，从每秒接收到的输入视频帧中，获取至少2个视频帧组包括：

按照预设的选取方式，选取K个连续视频帧，作为一组视频帧；

将每组视频帧中间的视频帧作为参考帧，将参考帧之前的视频帧作为欠爆帧，将参考帧之后的视频帧作为过爆帧；

按照由大到小的K元组参数，对欠爆帧、参考帧和过爆帧进行曝光处理，得到视频帧组。

具体地，由于硬件技术的进步，现在设备可以获得较高的抓拍帧率，这为HDR的实现提供了良好的硬件支撑条件，示例性地，本实施例中将设备成像帧率设为每秒150帧，但最终输出视频帧率设为30帧每秒，且每一输出帧由连续抓拍帧的5帧经过HDR处理获得(也即将K设置为5)，这里一方面考虑了HDR的处理效率，5帧是为了尽量获得实时的视频流输出；其次，选取5帧中的中间帧作为参考帧(正常曝光采集帧)，其前2帧为欠爆帧，后两帧为过爆帧，处理策略上做到对欠爆、过爆处理的平衡；曝光参数为一个5元组值[0.1X，0.25X，0.5X，0.75X，0.9X]，其中0.5X对应正常曝光，[0.1X,0.25X]为欠爆采集参数，[0.75X,0.9X]为过爆采集参数，设备的图像抓拍操作中用这一5元组依序控制曝光，并以5帧为一个独立抓拍单元，循环这个5元参数组完成图像采集；后续HDR处理也以5元组参数下对应的5张图为一个完整处理单元。

其中，K元组参数的获得方式，主要通过采集大量不同的场景图，同场景中含光照强度、方位和角度变化，然后每个场景通过统计分析获得合适的参数；实际应用场景中，将现场采集统计数据与参考集统计数据做匹配，匹配上类似的场景就借鉴该场景的曝光参数。

S202：针对每个视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧。

具体地，针对每个视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧包括：

将连续视频帧中的每个视频帧作为一个基础帧；

对每个基础帧进行多次度下采样，并基于采样结果构建图像金字塔；

基于图像金字塔，进行特征点提取，得到特征点；

基于特征点匹配的方式，对每个基础帧中的区块进行对齐处理，得到区块数据一致的对齐视频帧。

进一步地，基于图像金字塔，进行特征点提取，得到特征点包括：

对图像金字塔中的每层图像做高斯模糊，得到模糊图；

根据SIFT描述子对模糊图进行特征提取，得到每个模糊图的特征点。

本实施例中，首先对连续视频帧做滤波处理，优选地，本实施例采用中值滤波，在滤除噪点的同时尽可能多的保留局部纹理信息；进而对联系视频帧对应滤波图像做多个尺度的下采样，从而建立图像金字塔，以提高处理速度；再对金字塔中每一层图像做高斯模糊，模糊处理时采用较大的高斯窗参数(大于3)，且由塔尖到塔基该参数逐渐增大，因为本步骤处理目的是为了对齐图像，考虑到成像时镜头固定，而大多数场景中物体相对运动有限，利用图像的概要信息就能做到相对精确的匹配，并不需要过多的图像细节信息；然后对金字塔的模糊图做SIFT描述子的特征点提取，最后用特征点匹配方法实现对连续视频帧图像内相对独立单元的对齐，从而保障后续融合处理中图像对应区块数据的一致性。

S203：对对齐视频帧进行图像融合，得到融合视频帧。

具体地，对对齐视频帧进行图像融合，得到融合视频帧包括：

基于特征提取的方式，获取对齐视频帧的关键点，得到关键点集合；

对关键点集合进行近邻聚类，得到预设数量的类聚区；

获取K个类聚区的图像块，作为目标图像块；

计算目标图像块的区域的梯度和与均方差，并将得到的梯度和均方差作为图像相似度评估值；

基于图像相似度评估值确定融合比例系数，并基于融合比例系数进行图像融合，得到融合视频帧。

需要说明的是，在步骤S202中，可能会获得很多的对齐点，如果以所有独立的对齐点为中心做小范围图像融合，那么，一方面系统计算量会剧增，同时处理区域的碎片化，也会使图像局部区域的整体性感观打折扣；考虑到图像抓拍的连续性，及图像内独立单元的有限性，各图像间会存在较多的区块数据冗余，本实施例中，融合操作将基于区块来运作，具体实现过程如下：

首先对关键点集合根据距离远近原则和特征相似度原则做K近邻聚类，获得预设数量的类聚区。

优选地，本实施例基于处理效率和综合场景复杂度考虑，将类聚区的预设数量设置为30个左右，类聚区以包含聚类的关键点为准,并划分为矩形区；类聚区数量如果多于35或小于25，则调整聚类参数重新分区；矩形区具体尺寸从正常曝光处理图的聚类结果中获得，避免弱曝光、过曝光图图像信息缺失造成的边界信息丢失带来的影响。

其次，获取连续图像帧中指定类聚区的图像块，边缘部分如果欠爆或过爆图信息无法完全填充矩形区，那么取获取连续图像帧中最小的内接矩形作为处理区；分别统计所有连续图像帧中该区域的梯度和与均方差，作为图像粗略相似度评估值，如果评估值大于阈值，说明该区块内不同采集图像帧间数据存在较大差别，于是该区块将被输入后续流程继续处理；否则说明图像间该区块内容高度吻合，无需继续处理，可以直接作为结果图像块数据；接着，对被判需继续处理的连续图像帧取曝光帧和欠爆帧，与参考帧对应块做像素差，然后差的倒数作为对应块融合时的比例系数，且参考帧作为参照图，其比例系数为1；显然，如果对应块跟参照相差的越多，比例系数就越低，如果跟参考图差的越小，比例系数会越大；该运算就相当于每张图对应块都会取一部分根据权值进行融合，不同帧的欠曝光、过曝光画面数据被补偿进了最终图像里，同时又消除了欠爆、过爆中形成的噪点。、

最后，将融合块覆盖掉参考图中对应区块数据，依上述方法逐块处理掉所有的类聚块；当不同类聚区存在交叉区时，交叉区数据由不同类聚块的增强数据做平均后获得，从而缓和图像局部出现方块效应。

S204：将融合视频帧进行编码输出。

具体地，将HDR增强后的融合图像依序逐帧输入视频编码器，根据预先设定的视频流标准实现视频流编码输出。

本实施例中，从每秒接收到的输入视频帧中，获取至少2个视频帧组，其中，每个视频帧组包含K个连续视频帧，K为大于等于3的整数，针对每个视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧，对对齐视频帧进行图像融合，得到融合视频帧，将融合视频帧进行编码输出，确保不同图像间HDR处理时数据的一致性和完整性，提高了输出视频帧的质量。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图3示出与上述实施例基于HDR的视频帧图像处理方法一一对应的基于HDR的视频帧图像处理装置的原理框图。如图3所示，该基于HDR的视频帧图像处理装置包括视频帧组获取模块31、特征匹配模块32、帧融合模块33和编码输出模块34。各功能模块详细说明如下：

视频帧组获取模块31，用于从每秒接收到的输入视频帧中，获取至少2个视频帧组，其中，每个视频帧组包含K个连续视频帧，K为大于等于3的整数；

特征匹配模块32，用于针对每个视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧；

帧融合模块33，用于对对齐视频帧进行图像融合，得到融合视频帧；

编码输出模块34，用于将融合视频帧进行编码输出。

可选地，视频帧组获取模块31包括：

视频帧选取单元，用于按照预设的选取方式，选取K个连续视频帧，作为一组视频帧；

帧分类单元，用于将每组视频帧中间的视频帧作为参考帧，将参考帧之前的视频帧作为欠爆帧，将参考帧之后的视频帧作为过爆帧；

曝光处理单元，用于按照由大到小的K元组参数，对欠爆帧、参考帧和过爆帧进行曝光处理，得到视频帧组。

可选地，特征匹配模块32包括：

基础帧确定单元，用于将连续视频帧中的每个视频帧作为一个基础帧；

图像金字塔构建单元，用于对每个基础帧进行多次度下采样，并基于采样结果构建图像金字塔；

特征点提取单元，用于基于图像金字塔，进行特征点提取，得到特征点；

区块对齐单元，用于基于特征点匹配的方式，对每个基础帧中的区块进行对齐处理，得到区块数据一致的对齐视频帧。

可选地，特征点提取单元包括：

高斯模糊子单元，用于对图像金字塔中的每层图像做高斯模糊，得到模糊图；

特征提取子单元，用于根据SIFT描述子对模糊图进行特征提取，得到每个模糊图的特征点。

可选地，帧融合模块33包括：

关键点集合确定单元，用于基于特征提取的方式，获取对齐视频帧的关键点，得到关键点集合；

聚类单元，用于对关键点集合进行近邻聚类，得到预设数量的类聚区；

目标图像块确定单元，用于获取K个类聚区的图像块，作为目标图像块；

图像相似度评估单元，用于计算目标图像块的区域的梯度和与均方差，并将得到的梯度和均方差作为图像相似度评估值；

融合单元，用于基于图像相似度评估值确定融合比例系数，并基于融合比例系数进行图像融合，得到融合视频帧。

关于基于HDR的视频帧图像处理装置的具体限定可以参见上文中对于基于HDR的视频帧图像处理方法的限定，在此不再赘述。上述基于HDR的视频帧图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于HDR的视频帧图像处理方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于HDR的视频帧图像处理方法，其特征在于，包括：

从每秒接收到的输入视频帧中，获取至少2个视频帧组，其中，每个所述视频帧组包含K个连续视频帧，K为大于等于3的整数；

针对每个所述视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧；

对所述对齐视频帧进行图像融合，得到融合视频帧；

将所述融合视频帧进行编码输出。

2.如权利要求1所述的基于HDR的视频帧图像处理方法，其特征在于，所述从每秒接收到的输入视频帧中，获取至少2个视频帧组包括：

按照预设的选取方式，选取K个连续视频帧，作为一组视频帧；

将每组视频帧中间的视频帧作为参考帧，将参考帧之前的视频帧作为欠爆帧，将参考帧之后的视频帧作为过爆帧；

按照由大到小的K元组参数，对所述欠爆帧、所述参考帧和所述过爆帧进行曝光处理，得到所述视频帧组。

3.如权利要求1所述的基于HDR的视频帧图像处理方法，其特征在于，所述针对每个所述视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧包括：

将连续视频帧中的每个视频帧作为一个基础帧；

对每个所述基础帧进行多次度下采样，并基于采样结果构建图像金字塔；

基于所述图像金字塔，进行特征点提取，得到特征点；

基于特征点匹配的方式，对每个基础帧中的区块进行对齐处理，得到区块数据一致的所述对齐视频帧。

4.如权利要求3所述的基于HDR的视频帧图像处理方法，其特征在于，所述基于所述图像金字塔，进行特征点提取，得到特征点包括：

对所述图像金字塔中的每层图像做高斯模糊，得到模糊图；

根据SIFT描述子对所述模糊图进行特征提取，得到每个模糊图的特征点。

5.如权利要求1至4任一项所述的基于HDR的视频帧图像处理方法，其特征在于，所述对所述对齐视频帧进行图像融合，得到融合视频帧包括：

基于特征提取的方式，获取所述对齐视频帧的关键点，得到关键点集合；

对所述关键点集合进行近邻聚类，得到预设数量的类聚区；

获取K个类聚区的图像块，作为目标图像块；

计算所述目标图像块的区域的梯度和与均方差，并将得到的梯度和均方差作为图像相似度评估值；

基于所述图像相似度评估值确定融合比例系数，并基于所述融合比例系数进行图像融合，得到融合视频帧。

6.一种基于HDR的视频帧图像处理装置，其特征在于，包括：

视频帧组获取模块，用于从每秒接收到的输入视频帧中，获取至少2个视频帧组，其中，每个所述视频帧组包含K个连续视频帧，K为大于等于3的整数；

特征匹配模块，用于针对每个所述视频帧组，对K个连续视频帧进行滤波处理和特征点匹配，得到区块数据一致的对齐视频帧；

帧融合模块，用于对所述对齐视频帧进行图像融合，得到融合视频帧；

编码输出模块，用于将所述融合视频帧进行编码输出。

7.如权利要求6所述的基于HDR的视频帧图像处理装置，其特征在于，所述视频帧组获取模块包括：

视频帧选取单元，用于按照预设的选取方式，选取K个连续视频帧，作为一组视频帧；

帧分类单元，用于将每组视频帧中间的视频帧作为参考帧，将参考帧之前的视频帧作为欠爆帧，将参考帧之后的视频帧作为过爆帧；

曝光处理单元，用于按照由大到小的K元组参数，对所述欠爆帧、所述参考帧和所述过爆帧进行曝光处理，得到所述视频帧组。

8.如权利要求6所述的基于HDR的视频帧图像处理装置，其特征在于，所述特征匹配模块包括：

基础帧确定单元，用于将连续视频帧中的每个视频帧作为一个基础帧；

图像金字塔构建单元，用于对每个所述基础帧进行多次度下采样，并基于采样结果构建图像金字塔；

特征点提取单元，用于基于所述图像金字塔，进行特征点提取，得到特征点；

区块对齐单元，用于基于特征点匹配的方式，对每个基础帧中的区块进行对齐处理，得到区块数据一致的所述对齐视频帧。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的基于HDR的视频帧图像处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于HDR的视频帧图像处理方法。

Images