CN115601248A - 实时视频的hdr方法、系统、存储介质及计算机设备 - Google Patents
实时视频的hdr方法、系统、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN115601248A CN115601248A CN202110781691.3A CN202110781691A CN115601248A CN 115601248 A CN115601248 A CN 115601248A CN 202110781691 A CN202110781691 A CN 202110781691A CN 115601248 A CN115601248 A CN 115601248A
- Authority
- CN
- China
- Prior art keywords
- image
- hdr
- video
- real
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 39
- 238000004590 computer program Methods 0.000 claims abstract description 22
- 238000009877 rendering Methods 0.000 claims abstract description 20
- 238000003062 neural network model Methods 0.000 claims abstract description 19
- 238000005286 illumination Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 18
- 238000005282 brightening Methods 0.000 claims description 8
- 230000002087 whitening effect Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种实时视频的HDR方法，包括步骤：通过自动曝光处理实时获取欠曝的视频帧图像；检测识别所述视频帧图像中是否包含人脸；将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像；将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像；基于处理后的所述第一HDR图像和/或第二HDR图像，以实现对视频的实时高动态光照渲染。还提供了一种实时视频的HDR系统、用于存储执行所述方法的计算机程序的存储介质以及计算机设备。借此，本发明能够对图像高光区域的细节充分保留，并且可以对图像的暗部进行充分的提亮，提升图像的动态范围。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种实时视频的HDR方法、系统、存储介质及计算机设备。
背景技术
随着手机终端硬件的升级优化，人们日益习惯于使用手机进行录像；然而，由于手机摄像头的光圈很小，限制了摄像头传感器获取光子的数量，导致了手机仅可以获取有限的动态范围。关于视频HDR(High-Dynamic Range，高动态范围成像)的方法，目前普遍采用的方案为基于不同曝光的图像合成，此方案对硬件有一定的要求。而对于普通的手机摄像头传感器而言，不支持视频流获取不同曝光图像，而且基于不同曝光的图像合成，难免会受限于快速移动物体的对齐以及鬼影的影响，其算法复杂度较高，做到实时需要复杂的算法加速手段。
现有基于单帧的视频HDR方法，可以采用16比特大小的raw(未经加工格式)数据进行处理，然而对于此方案需要实现整个手机ISP(Image Signal Processing，图像信号处理)流程，实现难度非常大。或者采用8比特大小的LDR(Low-Dynamic Range，低动态范围图像)，采用色调映射(tone mapping)以及高光复原的方式，采用传统的图像处理局部色调映射(local tone mapping)或者全局色调映射(global tone mapping)的方法处理。基于全局色调映射的方法由于高光和暗光区域处理的方式不一样，很难达到比较好的效果，基于局部色调映射的方式可以达到比较好的效果，但是受限于算法复杂度以及自适应性，很难在手机端做到实时。基于高光复原的算法，如果输入的图像为8比特大小的LDR，采用高光复原的算法，高光复原的效果甚微。
综上可知，现有的方法在实际使用上，存在着较多的问题，所以有必要加以改进。
发明内容
针对上述的缺陷，本发明的目的在于提供一种实时视频的HDR方法，系统、存储介质及其计算机设备，能够对图像高光区域的细节充分保留，并且可以对图像的暗部进行充分的提亮，提升图像的动态范围。
为了实现上述目的，本发明提供一种实时视频的HDR方法，包括步骤：
通过自动曝光处理实时获取欠曝的视频帧图像；
检测识别所述视频帧图像中是否包含人脸；
将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像；
将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像；
基于处理后的所述第一HDR图像和/或所述第二HDR图像，以实现对视频的实时高动态光照渲染。
可选的，所述将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像的步骤之前还包括：
通过预设的第一样本数据对所述第一卷积神经网络模型进行训练；其中，所述第一样本数据是对人像进行提亮美白处理的图像数据。
可选的，所述将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像的步骤之前还包括：
通过预设的第二样本数据对所述第二卷积神经网络模型进行训练；其中，所述第二样本数据为基于包围曝光的HDR算法选取的欠曝图像样本与对应输出的HDR图像样本构成的数据对。
可选的，用于模型训练的样本数据为8比特大小的低动态范围RGB(RGB colormode，一种色彩模式)数据。
可选的，所述通过自动曝光处理实时获取欠曝的视频帧图像的步骤包括：
逐帧获取所述视频录制过程中的图像数据；
根据所述视频的录制场景自动曝光所述图像数据，并获取欠曝的所述视频帧图像。
可选的，所述检测识别所述视频帧图像中是否包含人脸的步骤具体包括：
基于人脸检测算法，检测识别所述视频帧图像中是否包含有人脸。
可选的，所述所述检测识别所述视频帧图像中是否包含人脸的步骤还包括：
基于人脸检测结果，将对应的所述视频帧图像分别标识为所述第一视频帧图像或所述第二视频帧图像。
还提供了一种实时视频的HDR系统，包括有：
获取单元，用于通过自动曝光处理实时获取欠曝的视频帧图像；
检测单元，用于检测识别所述视频帧图像中是否包含人脸；
第一增强处理单元，用于将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像；
第二增强处理单元，用于将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像；
视频渲染单元，用于基于处理后的所述第一HDR图像和/或所述第二HDR图像，以实现对视频的实时高动态光照渲染。
另外，还提供了一种存储介质和计算机设备，所述存储介质用于存储一种用于执行上述实时视频的HDR方法的计算机程序。
所述计算机设备包括存储介质、处理器以及存储在所述存储介质上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的实时视频的HDR方法。
本发明所述的实时视频的HDR方法及其系统，通过自动曝光处理实时获取欠曝的视频帧图像，进而检测该视频帧图像上是否包含人脸，若包含有人脸则将对应的第一视频帧图像输入至第一卷积神经网络模型，以获得对应输出的人像增强处理的第一HDR图像；若不包含有人脸则将对应的第二视频帧图像输入至第二卷积神经网络模型，以获得对应输出的非人像场景增强处理的第二HDR图像；根据所获得的第一HDR图像和/或第二HDR图像，以实现对视频的实时高动态光照渲染。本发明能够实时提升手机等设备终端的视频流获取图像的动态范围；还可基于不同的场景以及需求训练对应的模型，以使图像画质自适应增强；并且基于卷积神经网络的复杂运算方式不局限于传统的图像处理方式，同样可以模拟人工修图的效果。
附图说明
图1为本发明一实施例提供的所述实时视频的HDR方法的步骤流程图；
图2为本发明一实施例提供的所述实时视频的HDR方法用于获取视频帧图像可选的步骤流程图；
图3为本发明一实施例提供的所述实时视频的HDR系统的结构示意框图；
图4为本发明一实施例提供的所述实时视频的HDR系统的所述获取单元可选的结构示意框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的，本说明书中针对“一个实施例”、“实施例”、“示例实施例”等的引用，指的是描述的该实施例可包括特定的特征、结构或特性，但是不是每个实施例必须包含这些特定特征、结构或特性。此外，这样的表述并非指的是同一个实施例。进一步，在结合实施例描述特定的特征、结构或特性时，不管有没有明确的描述，已经表明将这样的特征、结构或特性结合到其它实施例中是在本领域技术人员的知识范围内的。
此外，在说明书及后续的权利要求当中使用了某些词汇来指称特定组件或部件，所属领域中具有通常知识者应可理解，制造商可以用不同的名词或术语来称呼同一个组件或部件。本说明书及后续的权利要求并不以名称的差异来作为区分组件或部件的方式，而是以组件或部件在功能上的差异来作为区分的准则。在通篇说明书及后续的权利要求书中所提及的“包括”和“包含”为一开放式的用语，故应解释成“包含但不限定于”。以外，“连接”一词在此系包含任何直接及间接的电性连接手段。间接的电性连接手段包括通过其它装置进行连接。
图1示出本发明一实施例提供的实时视频的HDR方法，该方法部署于智能终端上以实现智能终端视频录制过程的HDR处理，所述智能终端包括但不限于手机或平板电脑。所述方法包括步骤如下：
S101：通过自动曝光处理实时获取欠曝的视频帧图像。欠曝是指进光量不足，导致被拍对象及周围环境整体偏黑灰色调，看不清细节；为了最大限度对视频的高光区域进行恢复，本实施例采用欠曝的图像，利用自动曝光处理而获取的图像能够最大限度的保留高光细节，同时暗部区域的细节不丢失。
参见图2，一种可选的实施方式中，步骤S101包括：
S1011：逐帧获取所述视频录制过程中的图像数据。例如，在视频录制过程中，以每秒一帧或每半秒一帧或每0.1秒一帧捕获视频录制画面；所述图像数据即为当前视频的录制画面。在具体实施中，可根据应用终端的软硬件性能以确定逐帧捕获图像的时间间隔，为了更好的实现对视频实施HDR的效果，该时间间隔应当尽量缩短。
S1012：根据所述视频的录制场景自动曝光所述图像数据，并获取欠曝的所述视频帧图像。具体实施时，所述录制场景的考量因素为场景的光照亮度；即本实施例是基于所述视频的录制场景的光照亮度而自动曝光所述图像数据，从而最大范围保留该图像数据的高光区域；以手机作为应用终端为例，本实施例通过手机相机的自动曝光功能对捕获的图像数据进行处理，进而选取其中欠曝的所述视频帧图像。
S102：检测识别所述视频帧图像中是否包含人脸。
S103：将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像。所述第一卷积神经网络模型即为基于卷积神经网络的人像增强模型，若欠曝的视频帧图像上存在人脸，则确定该人脸即为优先增强处理对象，进而将该视频帧图像输入至对应的第一卷积神经网络模型，所述第一卷积神经网络模型侧重于对人脸区域的处理，背景部分则只对暗光部分进行提亮处理，最终得到的图像上人脸提亮明显，而且图像的高光细节得到恢复，暗部区域提亮，同时噪声抑制明显。
S104：将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像。所述第二卷积神经网络模型即为基于卷积神经网络的非人像增强模型，若欠曝的视频帧图像并不存在人脸，则不存在优先增强处理对象，即第二卷积神经网络模型侧重于对非人像的场景增强处理，具体为对整幅图像进行增强处理，使得图像的高光细节同样得以保留，暗部细节提亮明显，且噪声抑制明显。
S105：基于处理后的所述第一HDR图像和/或所述第二HDR图像，以实现对视频的实时高动态光照渲染。即本实施例在视频录制过程中针对欠曝的图像数据经上述处理而将对应的视频帧图像转换为HDR图像，实现了对视频的实时高动态光照渲染。
可选的，步骤S105具体包括：将处理后的所述第一HDR图像和/或所述第二HDR图像实时映射于所述视频对应的录制画面。在具体实施中，通过对视频录制过程中捕获的视频帧图像实时处理而获得的第一HDR图像和/或第二HDR图像，将第一HDR图像和/或第二HDR图像对应映射于视频录制过程中的录制画面，最终实现对视频的实时HDR处理，录制完成的视频即为经HDR处理后的最终视频。
为了提升图像细节以及在手机端部署可以达到实时处理效果，本实施例采用基于卷积神经网络的方法对图像进行增强，此方法是基于数据驱动的图像local tone mapping(局部色调映射)，并且可以在手机端处理1080P(一种视频显示格式)图像达到30FPS(FramePer Second，画面每秒传输帧数)以上。此方法在提升图像细节的同时可以减少噪声，增加动态范围，同时保护图像边缘，减少帧间抖动，具有很强的鲁棒性以及很高的效率。此方法基于数据驱动，可以学习到更复杂的图像处理方法；基于CNN(卷积神经网络)的图像增强方法，不局限于传统local tone mapping的方式，也可以基于人工修图的方式，学习人工对图像的处理方法。
可选的，步骤S103之前还包括：通过预设的第一样本数据对所述第一卷积神经网络模型进行训练；其中，所述第一样本数据是对人像进行提亮美白处理的图像数据。为了使第一卷积神经网络模型对于多种设备很容易做到泛化，便于在实际场景中应用；本实施例用于模型训练的样本数据采用8比特大小的低动态范围RGB数据，即第一样本数据为8比特大小的低动态范围RGB数据。
可选的，步骤S104之前还包括：通过预设的第二样本数据对所述第二卷积神经网络模型进行训练；其中，所述第二样本数据为基于包围曝光的HDR算法选取的欠曝图像样本与对应输出的HDR图像样本构成的数据对。对应输出的HDR图像样本即为欠曝图像样本经HDR算法输出的正常曝光图像；所述数据对可以充分学习真实场景欠曝图像到正确曝光图像的映射关系。为了使第二卷积神经网络模型对于多种设备很容易做到泛化，便于在实际场景中应用；本实施例用于模型训练的样本数据采用8比特大小的低动态范围RGB数据，即第二样本数据为8比特大小的低动态范围RGB数据。
与常见的基于服务器在线处理的方法，或者采用低分辨率的图像进行处理，然后采用高分辨的图像近似低分辨图像的处理不同的是：本实施例所述采用的基于卷积神经网络的模型，将复杂的运算应用于低分辨图像，然后采用高分辨率像素的灰度信息的函数作为导向图，采用双边网格，以及基于高分辨图像对的L2损失函数进行训练。在前向推理阶段，同样采用低分辨的图像进行复杂的卷积运算，通过计算得到的双边网格系数，然后采用切片的操作，基于高分辨的导向图以及双边网格系数进行差值处理，然后通过仿射变换得到最终输出的动态范围提升的高分辨图像。
一种可选的实施方式中，步骤S102具体包括：基于人脸检测算法，检测识别所述视频帧图像中是否包含有人脸。以手机为例，具体实施时，可通过手机ISP自带的人脸检测算法检测识别该视频帧图像是否包含有人脸，所述ISP(Image Signal Processing)即图像信号处理单元，在手机的集成电路中主要负责拍照部分，主要作用是对前端图像传感器输出的信号做后期处理，如降噪和HDR补正；同时，ISP芯片也可以实现人脸识别、自动场景识别等功能。
可选的，所述步骤S102还包括：基于人脸检测结果，将对应的所述视频帧图像分别标识为所述第一视频帧图像或所述第二视频帧图像。进而可根据视频帧图像对应的标识信息，而将对应的第一视频帧图像输入至第一卷积神经网络模型，将对应的第二视频帧图像输入至第二卷积神经网络模型。
图3示出本发明一实施例提供的实时视频的HDR系统100，该系统100部署于智能终端中，所述智能终端包括但不限于手机或平板电脑，所述系统100包括有获取单元10、检测单元20、第一增强处理单元30、第二增强处理单元40以及视频渲染单元50，其中：
获取单元10用于通过自动曝光处理实时获取欠曝的视频帧图像；检测单元20用于检测识别所述视频帧图像中是否包含人脸；第一增强处理单元30用于将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像；第二增强处理单元40用于将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像；视频渲染单元50用于基于处理后的所述第一HDR图像和/或所述第二HDR图像，以实现对视频的实时高动态光照渲染。
该系统100解决了现有智能终端如手机的摄像头的光圈很小，导致摄像头仅可以获取有限的动态范围，在高动态的场景中，获取的图像动态范围较小，暗部区域细节不明显，以及高光区域过度曝光的问题。
一方面，还包括有第一训练单元60，其用于通过预设的第一样本数据对所述第一卷积神经网络模型进行训练；其中，所述第一样本数据是对人像进行提亮美白处理的图像数据。
另一方面，还包括有第二训练单元70，其用于通过预设的第二样本数据对所述第二卷积神经网络模型进行训练；其中，所述第二样本数据为基于包围曝光的HDR算法选取的欠曝图像样本与对应输出的HDR图像样本构成的数据对。
可选的，用于模型训练的样本数据为8比特大小的低动态范围RGB数据。
参见图4，一种可选的实施方式中，获取单元10包括有第一获取子单元11和第二获取子单元12，其中：
第一获取子单元11用于逐帧获取所述视频录制过程中的图像数据；第二获取子单元12用于根据所述视频的录制场景自动曝光所述图像数据，并获取欠曝的所述视频帧图像。
可选的，所述检测单元10具体用于：基于人脸检测算法，检测识别所述视频帧图像中是否包含有人脸。
可选的，所述检测单元10还用于：基于人脸检测结果，将对应的所述视频帧图像分别标识为所述第一视频帧图像或所述第二视频帧图像。
可选的，所述视频渲染单元50具体用于：将处理后的所述第一HDR图像和/或所述第二HDR图像实时映射于所述视频对应的录制画面。
本发明还提供一种存储介质，用于存储如图1～图2所述实时视频的HDR方法的计算机程序。例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的存储介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输和/或被存储在根据程序指令运行的计算机设备的存储介质中。在此，根据本申请的一个实施例包括如图3所示实时视频的HDR系统的计算机设备，所述计算机设备优选包括用于存储计算机程序的存储介质和用于执行计算机程序的处理器，其中，当该计算机程序被该处理器执行时，触发该计算机设备执行基于前述多个实施例中的方法和/或技术方案。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
根据本发明的方法可以作为计算机实现方法在计算机上实现、或者在专用硬件中实现、或以两者的组合的方式实现。用于根据本发明的方法的可执行代码或其部分可以存储在计算机程序产品上。计算机程序产品的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。优选地，计算机程序产品包括存储在计算机可读介质上以便当所述程序产品在计算机上执行时执行根据本发明的方法的非临时程序代码部件。
在优选实施例中，计算机程序包括适合于当计算机程序在计算机上运行时执行根据本发明的方法的所有步骤的计算机程序代码部件。优选地，在计算机可读介质上体现计算机程序。
综上所述，本发明所述的实时视频的HDR方法及其系统，通过自动曝光处理实时获取欠曝的视频帧图像，进而检测该视频帧图像上是否包含人脸，若包含有人脸则将对应的第一视频帧图像输入至第一卷积神经网络模型，以获得对应输出的人像增强处理的第一HDR图像；若不包含有人脸则将对应的第二视频帧图像输入至第二卷积神经网络模型，以获得对应输出的非人像场景增强处理的第二HDR图像；根据所获得的第一HDR图像和/或第二HDR图像，以实现对视频的实时高动态光照渲染。本发明能够实时提升手机等设备终端的视频流获取图像的动态范围；还可基于不同的场景以及需求训练对应的模型，以使图像画质自适应增强；并且基于卷积神经网络的复杂运算方式不局限于传统的图像处理方式，同样可以模拟人工修图的效果。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
还提供了A1、一种实时视频的HDR方法，包括步骤：
通过自动曝光处理实时获取欠曝的视频帧图像；
检测识别所述视频帧图像中是否包含人脸；
将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像；
将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像；
基于处理后的所述第一HDR图像和/或所述第二HDR图像，以实现对视频的实时高动态光照渲染。
A2、根据A1所述的实时视频的HDR方法，所述将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像的步骤之前还包括：
通过预设的第一样本数据对所述第一卷积神经网络模型进行训练；其中，所述第一样本数据是对人像进行提亮美白处理的图像数据。
A3、根据A1所述的实时视频的HDR方法，所述将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像的步骤之前还包括：
通过预设的第二样本数据对所述第二卷积神经网络模型进行训练；其中，所述第二样本数据为基于包围曝光的HDR算法选取的欠曝图像样本与对应输出的HDR图像样本构成的数据对。
A4、根据A2或A3所述的实时视频的HDR方法，用于模型训练的样本数据为8比特大小的低动态范围RGB数据。
A5、根据A1所述的实时视频的HDR方法，所述通过自动曝光处理实时获取欠曝的视频帧图像的步骤包括：
逐帧获取所述视频录制过程中的图像数据；
根据所述视频的录制场景自动曝光所述图像数据，并获取欠曝的所述视频帧图像。
A6、根据A1所述的实时视频的HDR方法，所述检测识别所述视频帧图像中是否包含人脸的步骤具体包括：
基于人脸检测算法，检测识别所述视频帧图像中是否包含有人脸。
A7、根据A6所述的实时视频的HDR方法，所述所述检测识别所述视频帧图像中是否包含人脸的步骤还包括：
基于人脸检测结果，将对应的所述视频帧图像分别标识为所述第一视频帧图像或所述第二视频帧图像。
A8、根据A1所述的实时视频的HDR方法，所述基于处理后的所述第一HDR图像和/或所述第二HDR图像，以实现对视频的实时高动态光照渲染的步骤具体包括：
将处理后的所述第一HDR图像和/或所述第二HDR图像实时映射于所述视频对应的录制画面。
还提供了B9、一种实时视频的HDR系统，包括有：
获取单元，用于通过自动曝光处理实时获取欠曝的视频帧图像；
检测单元，用于检测识别所述视频帧图像中是否包含人脸；
第一增强处理单元，用于将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像；
第二增强处理单元，用于将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像；
视频渲染单元，用于基于处理后的所述第一HDR图像和/或所述第二HDR图像，以实现对视频的实时高动态光照渲染。
B10、根据B9所述的实时视频的HDR系统，还包括有：
第一训练单元，用于通过预设的第一样本数据对所述第一卷积神经网络模型进行训练；其中，所述第一样本数据是对人像进行提亮美白处理的图像数据。
B11、根据B9所述的实时视频的HDR系统，还包括有：
第二训练单元，用于通过预设的第二样本数据对所述第二卷积神经网络模型进行训练；其中，所述第二样本数据为基于包围曝光的HDR算法选取的欠曝图像样本与对应输出的HDR图像样本构成的数据对。
B12、根据B10或B11所述的实时视频的HDR系统，用于模型训练的样本数据为8比特大小的低动态范围RGB数据。
B13、根据B9所述的实时视频的HDR系统，所述获取单元具体包括：
第一获取子单元，用于逐帧获取所述视频录制过程中的图像数据；
第二获取子单元，用于根据所述视频的录制场景自动曝光所述图像数据，并获取欠曝的所述视频帧图像。
B14、根据B9所述的实时视频的HDR系统，所述检测单元具体用于：
基于人脸检测算法，检测识别所述视频帧图像中是否包含有人脸。
B15、根据B9所述的实时视频的HDR系统，所述检测单元还用于：
基于人脸检测结果，将对应的所述视频帧图像分别标识为所述第一视频帧图像或所述第二视频帧图像。
B16、根据B9所述的实时视频的HDR系统，所述视频渲染单元具体用于：
将处理后的所述第一HDR图像和/或所述第二HDR图像实时映射于所述视频对应的录制画面。
还提供了C17、一种存储介质，用于存储一种用于执行A1～A8中任意一种所述实时视频的HDR方法的计算机程序。
还提供了D18、一种计算机设备，包括存储介质、处理器以及存储在所述存储介质上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现A1～A8任一项所述的实时视频的HDR方法。
Claims (10)
1.一种实时视频的HDR方法，其特征在于，包括步骤：
通过自动曝光处理实时获取欠曝的视频帧图像；
检测识别所述视频帧图像中是否包含人脸；
将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像；
将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像；
基于处理后的所述第一HDR图像和/或所述第二HDR图像，以实现对视频的实时高动态光照渲染。
2.根据权利要求1所述的实时视频的HDR方法，其特征在于，所述将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像的步骤之前还包括：
通过预设的第一样本数据对所述第一卷积神经网络模型进行训练；其中，所述第一样本数据是对人像进行提亮美白处理的图像数据。
3.根据权利要求1所述的实时视频的HDR方法，其特征在于，所述将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像的步骤之前还包括：
通过预设的第二样本数据对所述第二卷积神经网络模型进行训练；其中，所述第二样本数据为基于包围曝光的HDR算法选取的欠曝图像样本与对应输出的HDR图像样本构成的数据对。
4.根据权利要求2或3所述的实时视频的HDR方法，其特征在于，用于模型训练的样本数据为8比特大小的低动态范围RGB数据。
5.根据权利要求1所述的实时视频的HDR方法，其特征在于，所述通过自动曝光处理实时获取欠曝的视频帧图像的步骤包括：
逐帧获取所述视频录制过程中的图像数据；
根据所述视频的录制场景自动曝光所述图像数据，并获取欠曝的所述视频帧图像。
6.根据权利要求1所述的实时视频的HDR方法，其特征在于，所述检测识别所述视频帧图像中是否包含人脸的步骤具体包括：
基于人脸检测算法，检测识别所述视频帧图像中是否包含有人脸。
7.根据权利要求6所述的实时视频的HDR方法，其特征在于，所述所述检测识别所述视频帧图像中是否包含人脸的步骤还包括：
基于人脸检测结果，将对应的所述视频帧图像分别标识为所述第一视频帧图像或所述第二视频帧图像。
8.一种实时视频的HDR系统，其特征在于，包括有：
获取单元，用于通过自动曝光处理实时获取欠曝的视频帧图像；
检测单元，用于检测识别所述视频帧图像中是否包含人脸；
第一增强处理单元，用于将包含有人脸的第一视频帧图像输入至预训练的第一卷积神经网络模型，获得人像增强处理的第一HDR图像；
第二增强处理单元，用于将未包含有人脸的第二视频帧图像输入至预训练的第二卷积神经网络模型，获得非人像场景增强处理的第二HDR图像；
视频渲染单元，用于基于处理后的所述第一HDR图像和/或所述第二HDR图像，以实现对视频的实时高动态光照渲染。
9.一种存储介质，其特征在于，用于存储一种用于执行权利要求1～7中任意一种所述实时视频的HDR方法的计算机程序。
10.一种计算机设备，包括存储介质、处理器以及存储在所述存储介质上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～7任一项所述的实时视频的HDR方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110781691.3A CN115601248A (zh) | 2021-07-09 | 2021-07-09 | 实时视频的hdr方法、系统、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110781691.3A CN115601248A (zh) | 2021-07-09 | 2021-07-09 | 实时视频的hdr方法、系统、存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115601248A true CN115601248A (zh) | 2023-01-13 |
Family
ID=84841399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110781691.3A Withdrawn CN115601248A (zh) | 2021-07-09 | 2021-07-09 | 实时视频的hdr方法、系统、存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115601248A (zh) |
-
2021
- 2021-07-09 CN CN202110781691.3A patent/CN115601248A/zh not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
| CN110072051B (zh) | 基于多帧图像的图像处理方法和装置 | |
| CN110619593B (zh) | 一种基于动态场景的双曝光视频成像系统 | |
| CN109636754B (zh) | 基于生成对抗网络的极低照度图像增强方法 | |
| CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2020207262A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN110248098B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110033418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2020057198A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| KR101661215B1 (ko) | 영상 처리 방법 및 영상 처리 장치 | |
| CN110248106B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
| WO2020207261A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN108833775B (zh) | 一种抗运动鬼影的hdr方法、装置及便携式终端 | |
| CN110264420B (zh) | 基于多帧图像的图像处理方法和装置 | |
| WO2021047408A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111739110B (zh) | 一种图像过暗或过曝检测方法及装置 | |
| CN110213502A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111242860B (zh) | 超级夜景图像的生成方法、装置、电子设备及存储介质 | |
| US10602075B2 (en) | Automatically determining a set of exposure values for a high dynamic range image capture device | |
| CN110266954A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111586310B (zh) | 一种实时高动态成像方法及成像系统 | |
| CN110047060B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110198418A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110198419A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN113810593B (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230113 |