CN114827484B - 视频画质增强方法、装置、设备及存储介质 - Google Patents

视频画质增强方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114827484B
CN114827484B CN202210427568.6A CN202210427568A CN114827484B CN 114827484 B CN114827484 B CN 114827484B CN 202210427568 A CN202210427568 A CN 202210427568A CN 114827484 B CN114827484 B CN 114827484B
Authority
CN
China
Prior art keywords
enhancement
brightness
video
video image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210427568.6A
Other languages
English (en)
Other versions
CN114827484A (zh
Inventor
马晓
王�琦
潘兴浩
谢于贵
许海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210427568.6A priority Critical patent/CN114827484B/zh
Publication of CN114827484A publication Critical patent/CN114827484A/zh
Application granted granted Critical
Publication of CN114827484B publication Critical patent/CN114827484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Abstract

本发明公开了一种视频画质增强方法、装置、设备及存储介质，属于HDR视频技术领域。本发明通过对待增强视频图像进行数据解析，得到原始视频数据和扩展后的元数据，根据所述原始视频数据确定增强加权因子；根据所述扩展后的元数据确定亮度增强信息；根据所述增强加权因子和所述亮度增强信息对所述待增强图像区域进行亮度增强，通过对元数据进行扩展后，然后结合增强加权因子以及亮度增强信息，对原始视频的画面进行针对性的增强，能够满足特殊场景或者定制化的质量增强需求。

Description

视频画质增强方法、装置、设备及存储介质
技术领域
本发明涉及HDR视频技术领域，尤其涉及一种视频画质增强方法、装置、设备及存储介质。
背景技术
现有HDR视频技术中，动态元数据语法语义均参照标准规定实现，没有自定义增强部分，针对演艺场景和体育赛事这些特殊场景，用户有不同的观看需求，目前的HDR视频技术无法满足特殊场景或者定制化的质量增强需求。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种视频画质增强方法、装置、设备及存储介质，旨在解决现有技术无法满足特殊场景或者定制化的质量增强需求的技术问题。
为实现上述目的，本发明提供了一种视频画质增强方法，所述视频画质增强方法包括：
对待增强视频图像进行数据解析，得到原始视频数据和扩展后的元数据，所述待增强视频图像是通过亮度增强信息对网络抽象层中的附加增强信息单元内的基础元数据进行扩展后，得到的视频图像；
根据所述原始视频数据确定增强加权因子；
根据所述扩展后的元数据确定亮度增强信息；
根据所述增强加权因子和所述亮度增强信息对所述待增强图像区域进行亮度增强。
可选地，所述根据所述原始视频数据确定增强加权因子，包括：
从所述原始视频数据中提取出原始像素值和原始图像位深；
对所述待增强视频图像进行图像处理，得到平滑图像；
根据预设增强程度和所述原始像素值确定残差增益图像；
根据所述原始像素值、所述原始图像位深、所述平滑图像以及所述残差增益图像计算增强加权因子。
可选地，所述增强加权因子包括灰度加权因子和空间加权因子；
所述根据所述原始像素值、所述原始图像位深、所述平滑图像以及所述残差增益图像计算增强加权因子，包括：
根据预设对比度调整系数、所述原始像素值和所述原始图像位深计算灰度加权因子；
根据所述平滑图像和所述残差增益图像计算空间加权因子。
可选地，所述根据所述增强加权因子和所述亮度增强信息对所述待增强图像区域进行亮度增强，包括：
确定所述原始视频数据对应的色调映射函数曲线；
根据所述亮度增强信息将所述增强加权因子添加至目标映射函数中；
通过所述色调映射函数曲线对应的描述参数和所述目标映射函数对所述待增强图像区域进行亮度增强。
可选地，所述根据所述亮度增强信息将所述增强加权因子添加至目标映射函数中之前，还包括：
根据所述待增强视频图像的视频场景确定所述待增强视频图像对应的亮度关注区域；
根据所述亮度增强信息确定所述亮度关注区域对应的亮度等级；
根据所述区域亮度等级确定目标映射函数。
可选地，所述根据所述区域亮度等级确定目标映射函数，包括：
获取所述色调映射曲线对应的多个分段函数；
确定各个分段函数对应的亮度等级；
将所述亮度关注区域对应的区域亮度等级与各个分段函数对应的亮度等级进行匹配；
基于匹配结果从多个分段函数中筛选出目标映射函数。
可选地，所述根据所述亮度增强信息将所述增强加权因子添加至目标映射函数中，包括：
获取所述亮度关注区域在所述待增强视频图像中的相对位置；
根据所述相对位置确定所述增强加权因子对应的目标添加位置；
按照所述目标添加位置将所述增强加权因子添加至目标映射函数中
此外，为实现上述目的，本发明还提出一种视频画质增强装置，所述视频画质增强装置包括：
解析模块，用于对待增强视频图像进行数据解析，得到原始视频数据和扩展后的元数据，所述待增强视频图像是通过亮度增强信息对网络抽象层中的附加增强信息单元内的基础元数据进行扩展后，得到的视频图像；
计算模块，用于根据所述原始视频数据确定增强加权因子；
获取模块，用于根据所述扩展后的元数据确定亮度增强信息；
增强模块，用于根据所述增强加权因子和所述亮度增强信息对所述待增强图像区域进行亮度增强。
此外，为实现上述目的，本发明还提出一种视频画质增强设备，所述视频画质增强设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的视频画质增强程序，所述视频画质增强程序配置为实现如上文所述的视频画质增强方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有视频画质增强程序，所述视频画质增强程序被处理器执行时实现如上文所述的视频画质增强方法。
本发明通过对待增强视频图像进行数据解析，得到原始视频数据和扩展后的元数据，根据所述原始视频数据确定增强加权因子；根据所述扩展后的元数据确定亮度增强信息；根据所述增强加权因子和所述亮度增强信息对所述待增强图像区域进行亮度增强，通过对元数据进行扩展后，然后结合增强加权因子以及亮度增强信息，对原始视频的画面进行针对性的增强，能够满足特殊场景或者定制化的质量增强需求。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视频画质增强设备的结构示意图；
图2为本发明视频画质增强方法第一实施例的流程示意图；
图3为本发明视频画质增强方法第二实施例的流程示意图；
图4为本发明视频画质增强方法第三实施例的流程示意图；
图5为本发明视频画质增强装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的视频画质增强设备结构示意图。
如图1所示，该视频画质增强设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对视频画质增强设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频画质增强程序。
在图1所示的视频画质增强设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明视频画质增强设备中的处理器1001、存储器1005可以设置在视频画质增强设备中，所述视频画质增强设备通过处理器1001调用存储器1005中存储的视频画质增强程序，并执行本发明实施例提供的视频画质增强方法。
本发明实施例提供了一种视频画质增强方法，参照图2，图2为本发明一种视频画质增强方法第一实施例的流程示意图。
本实施例中，所述视频画质增强方法包括以下步骤：
步骤S10：对待增强视频图像进行数据解析，得到原始视频数据和扩展后的元数据。
在本实施例中，本实施例的执行主体可以为视频画质增强设备，视频画质增强设备可以是电脑或者平板等设备，还可以为其他可实现相同或相似功能的电子设备，本实施例对此不加以限制，在本实施例及下述各实施例中，以视频画质增强设备为例对本发明视频画质增强方法进行说明。
需要说明的是，现有高动态范围成像(High Dynamic Range imaging，HDR)视频技术中，动态元数据语法语义均参照标准规定实现，没有自定义增强部分，针对演艺场景和体育赛事这些特殊场景，对亮度和位置的区域，用户有不同的关注程度，目前的HDR视频技术无法满足特殊场景或者定制化的质量增强需求。例如在演艺场景中，通常会有强光源和大面积的背景光源，有很强的明暗对比出现。这种画面的视觉特点为：光源集中，高亮区域集中，暗区分布在背景画面。在观看此类画面时，人眼会集中于打光处的高亮区域，因此，在做HDR适配处理时，高亮区域需要还原接近真实的细节。又如在体育赛事场景中，以室外的足球场景为例。整体画面高亮区域分布较分散且随机，暗区分布为背景区域。用户在观看此类画面时，关注点不在亮度较高的操场区域和背景区域，而是在运动中的球员。因此，在进行HDR适配时，在中亮度区域需要还原接近现实的细节。目前的现有技术中针对这些具体的场景，无法满足用户不同的画质增强需求。
为了解决上述技术问题，本实施例中在兼容原始HDR视频技术标准的基础上，可灵活扩展动态元数据的类型和个数，在终端适配时，适配算法参考元数据语义进行加权调整，从而提高特殊场景视频的视频质量，具体地，可以按照如下方式实现。
需要说明的是，本实施例中通过亮度增强信息对网络抽象层中的附加增强信息单元内的基础元数据进行扩展，从而得到待增强视频图像，然后对待增强视频图像进行数据解析之后，可以得到原始视频数据以及扩展后的元数据，扩展后的元数据中包含有亮度增强信息。
进一步地，本实施例中可以接收用户输入的画质增强指令，在接收到画质增强指令之后，根据画质增强指令对视频画质进行增强，本实施例中也可以设置一预设时间，在达到预设时间时，实现定时自动对视频画质进行增强，此外，还可以采取其他方式对视频质量进行增强，具体方式可以根据用户实际需求，本实施例中对此不加以限制。
需要说明的是，本实施例中是基于亮度增强信息进行视频画质的增强，因此需要先将亮度增强信息进行添加，增强信息的添加是在编码端进行的，具体过程可以按照如下方式实现。
在具体实现中，本实施例中为了满足不同场景的画质增强需求，在添加亮度增强信息之前，需要先确定待增强视频图像的视频场景，然后根据该视频场景确定待增强视频图像中的亮度关注区域，以及该亮度关注区域的区域范围，最后再生成相应的亮度增强信息，然后将亮度增强信息进行添加在原始视频中。
需要说明的是，亮度关注区域为需要增强和加权调整的亮度区域范围，本实施例中10bit位深的图像用1024个灰度表示亮度范围，转换到线性光空间时，对应0到1000nits左右的亮度。其中，0表示暗区，1表示中等亮度区域，2表示高亮区域。亮度关注区域的区域范围表示亮度关注区域在点光源位置及以点光源为中心的扩散范围。主要表征的是关注信息在画面中的(x,y)位置。该区域范围的语法表示为x,y,w,h，其中，x,y表示亮度关注区域左上角位置的坐标，w表示该区域的宽，y表示该区域的高。上述亮度关注区域以及亮度关注区域的范围可以根据用户实际需求进行相应地调整，本实施例中对此不加以限制。根据亮度关注区域和区域范围即可得到亮度增强信息，亮度增强信息包括但不限于亮度增强区域以及范围。
进一步地，在得到亮度增强信息之后，将亮度增强信息添加在原始视频中。具体地，视频包括视频编码层(VCL，Video Coding Layer)和网络抽象层(NAL，NetworkAbstraction Layer)，其中，视频编码层面负责高效的视频内容表示，网络抽象层面负责以网络所要求的恰当的方式对数据进行打包和传送，本实施例中是将得到的亮度增强信息添加在待增强视频图像对应的网络抽象层中的附加增强信息单元内，附加增强信息单元(SEI，Supplemental enhancement information)包含了视频画面定时等信息。
需要说明的是，本实施例中的扩展元数据，添加在H.265，AVS2，AVS3的编码后的NAL数据包中，不经过压缩编码的过程。以H.265为例进行说明，NALU的数据结构为开始码+NALU头+NALU数据。NALU头部包括两个字节，Nalu Type标识NALU类型。扩展元数据添加在NAL单元的SEI单元中，具体地，本实施例中是将扩展元数据添加在未注册的user_data_unregistered中。H265规范中，NALU的SEI type为39。写入的SEI的payloadType为5，表示用户自定义的类型，用户数据未注册SEI语法，添加过程如下表1所示，
表1：
本实施例中是将亮度增强信息添加在user_data_payload_byte中，进一步地，完成添加的user_data_payload_byte中的数据如表2所示，
表2：
user_data_payload_byte(){ 描述符
key1:value1 Key 8bit
key2:value2 Value string
最终得到的附加增强信息单元的信息结构如下所示：
{
uuid:"6578-8976-78896”,
"Light":L
"Focus":x,y,w,h
}
步骤S20：根据所述原始视频数据确定增强加权因子。
在具体实施中，在得到原始视频数据之后，可以根据原始视频数据确定增强加权因子，本实施例中的增强加权因子包括但不限于灰度加权因子和空间加权因子，具体地，本实施例中可以根据原始视频的原始像素值、原始图像位深、平滑图像以及残差增益图像计算增强加权因子，还可以根据实际需求选择其他方式计算增强加权因子，本实施例中对此不加以限制。
步骤S30：根据所述扩展后的元数据确定亮度增强信息。
在具体实施中，在得到扩展后的元数据之后，对扩展后的元数据进行信息提取，即可得到亮度增强信息，亮度增强信息用于根据不同场景的需求对视频的画面亮度进行增强。
步骤S40：根据所述增强加权因子和所述亮度增强信息对所述待增强图像区域进行亮度增强。
在具体实施中，在得到增强加权因子和亮度增强信息之后，根据增强加权因子和亮度增强信息即可对待增强视频图像进行画质增强。具体地，本实施例中可以根据增强加权因子确定增强对比度以及增强程度，同时结合亮度增强信息对待增强视频图像的画质进行增强，使得增强后的视频画面亮度能够还原真实场景细节。
本实施例通过对待增强视频图像进行数据解析，得到原始视频数据和扩展后的元数据，根据所述原始视频数据确定增强加权因子；根据所述扩展后的元数据确定亮度增强信息；根据所述增强加权因子和所述亮度增强信息对所述待增强图像区域进行亮度增强，通过对元数据进行扩展后，然后结合增强加权因子以及亮度增强信息，对原始视频的画面进行针对性的增强，能够满足特殊场景或者定制化的质量增强需求。
参考图3，图3为本发明一种视频画质增强方法第二实施例的流程示意图。
基于上述第一实施例，本实施例视频画质增强方法中，所述步骤S20具体包括：
步骤S201：从所述原始视频数据中提取出原始像素值和原始图像位深。
在本实施例中，在进行视频画质增强时，需要获取待增强视频图像的原始像素值和原始图像位深，原始像素值和原始图像位深可以直接从原始视频数据中提取。
步骤S202：对所述待增强视频图像进行图像处理，得到平滑图像。
在具体实施中，本实施例中需要对待增强视频图像进行图像处理，得到平滑图像，具体地，本实施例中所采取的图像处理方式可以为双边滤波，当然还可以根据实际需求采取其他图像处理方式，本实施例中对此不加以限制。
步骤S203：根据预设增强程度和所述原始像素值确定残差增益图像。
在具体实现中，本实施例中还需要获取残差增益图像，具体地，本实施例中可以根据获取到的原始像素值以及预设增强程度确定残差增益图像，预设增强程度可由用户进行设置，本实施例中对此不加以限制。
需要说明的是，本实施例中可以按照如下公式确定残差增益图像，公式如下：
其中，α为预设增强程度，且α的取值范围为(0,5]，I(i,j)为原始像素值。
步骤S204：根据所述原始像素值、所述原始图像位深、所述平滑图像以及所述残差增益图像计算增强加权因子。
在具体实施中，本实施例中进一步根据原始像素值、原始图像位深、平滑图像以及残差增益图像计算增强加权因子，并且需要说明的，本实施例中的增强加权因子包括灰度加权因子和空间加权因子，根据预设对比度调整系数、所述原始像素值和所述原始图像位深计算灰度加权因子，具体公式如下：
其中，ρL(i,j)为灰度加权因子，I(i,j)为原图像素值，C为预设对比度调整系数，通常取值范围为[1，1.5]，depth为表示原始图像位深，例如8bit，10bit，该灰度加权因子的目的是增强对比度。
进一步地，根据平滑图像和残差增益图像计算空间加权因子，具体公式如下：
其中，ψs(i,j)为空间加权因子，ID(i,j)为平滑图像，Z(i,j)为残差增益图像。
本实施例通过获取待增强视频图像的原始像素值和原始图像位深；对所述待增强视频图像进行双边滤波，得到平滑图像；根据预设增强程度和所述原始像素值确定残差增益图像；根据预设对比度调整系数、所述原始像素值和所述原始图像位深计算灰度加权因子；根据所述平滑图像和所述残差增益图像计算空间加权因子，能够更加准确的计算得到灰度加权因子和空间加权因子。
参考图4，图4为本发明一种视频画质增强方法第三实施例的流程示意图。
基于上述第一实施例或第二实施例，提出本发明一种视频画质增强方法的第三实施例。
在本实施例中，所述步骤S40具体包括：
步骤S401：确定所述原始视频数据对应的色调映射函数曲线。
步骤S402：根据所述亮度增强信息将所述增强加权因子添加至目标映射函数中。
在具体实施中，本实施例中采取色调映射方式对视频画质进行增强，具体地，将增强加权因子添加到色调映射中对应映射曲线的公式，也即目标映射函数中。
需要说明的是，本实施例中需要在对增强加权因子进行添加之前，获取目标映射函数，具体地，可以按照如下方式实现。
在具体实现中，根据待增强视频图像的视频场景确定待增强视频图像对应的亮度关注区域，然后根据亮度增强信息确定各个亮度关注区域对应的亮度等级，例如户外体育场景为例，亮度关注区域A为中等灰度区域，也即该区域的亮度为中，亮度关注区域B为暗区，也即该区域的亮度等级为低。色调映射曲线是按亮度划分的分段区间函数，均包含暗区、中等亮度区间、亮区，不同的亮度区间，在色调映射曲线中，对应不同的映射函数，根据区域亮度等级即可从色调映射曲线对应的多个映射函数中筛选出目标映射函数。
进一步地，本实施例中还需要确定增强加权因子的添加位置，具体地可以按照如下方式实现。
在具体实现中，本实例中可以在待增强图像中获取各个亮度关注区域的相对位置，亮度关注区域在待增强图像中的相对位置与增强加权因子在目标映射函数中的添加位置具有对应关系，基于该对应关系可以得到增强加权因子对应的目标添加位置，最后按照所述目标添加位置将所述增强加权因子添加至目标映射函数中，其中，亮度关注区域的相对位置与增强加权因子的添加位置之间的对应关系可以根据实际需求进行调整，本实施例中对此不加以限制。
步骤S403：通过所述色调映射函数曲线对应的描述参数和所述目标映射函数对所述待增强图像区域进行亮度增强。
在具体实施中，将描述参数代入目标映射函数中即可对所述待增强视频图像进行画质增强，具体过程如下：
上述公式中的m_p、m_m、m_n、m_a、m_b、K1、K2以及K3即为描述参数，用于描述基础曲线的非线性参数，将这些描述参数代入目标映射函数之后即可得上述计算式，其中，(i,j)∈Focus表示当前像素在Focus空间范围内。(i,j)∈[Ll,Lr]表示当前像素灰度值在[Ll,Lr]灰度区间，H(i,j)表示增强后的区域。不同HDR标准对区间的边界值定义不完全相同，根据亮度关注区域定义如暗区或亮区，在HDR标准中获取区间的左右边界值。
本实施例通过确定所述原始视频数据对应的色调映射函数曲线；根据所述亮度增强信息将所述增强加权因子添加至目标映射函数中；通过所述色调映射函数曲线对应的描述参数和所述目标映射函数对所述待增强图像区域进行亮度增强，通过所述描述参数和所述目标映射函数对所述待增强视频图像进行画质增强，提高了画质增强效果，使得增强后的视频画质能够满足特殊场景或者定制化的质量增强需求。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有视频画质增强程序，所述视频画质增强程序被处理器执行时实现如上文所述的视频画质增强方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
参照图5，图5为本发明视频画质增强装置第一实施例的结构框图。
如图5所示，本发明实施例提出的视频画质增强装置包括：
解析模块10，用于对待增强视频图像进行数据解析，得到原始视频数据和扩展后的元数据，所述待增强视频图像是通过亮度增强信息对网络抽象层中的附加增强信息单元内的基础元数据进行扩展后，得到的视频图像。
计算模块20，用于根据所述原始视频数据确定增强加权因子。
获取模块30，用于根据所述扩展后的元数据确定亮度增强信息。
增强模块40，用于根据所述增强加权因子和所述亮度增强信息对所述待增强图像区域进行亮度增强。
本实施例通过对待增强视频图像进行数据解析，得到原始视频数据和扩展后的元数据，根据所述原始视频数据确定增强加权因子；根据所述扩展后的元数据确定亮度增强信息；根据所述增强加权因子和所述亮度增强信息对所述待增强图像区域进行亮度增强，通过对元数据进行扩展后，然后结合增强加权因子以及亮度增强信息，对原始视频的画面进行针对性的增强，能够满足特殊场景或者定制化的质量增强需求。
在一实施例中，所述计算模块20，还用于从所述原始视频数据中提取出原始像素值和原始图像位深；对所述待增强视频图像进行图像处理，得到平滑图像；根据预设增强程度和所述原始像素值确定残差增益图像；根据所述原始像素值、所述原始图像位深、所述平滑图像以及所述残差增益图像计算增强加权因子。
在一实施例中，所述增强加权因子包括灰度加权因子和空间加权因子；
所述计算模块20，还用于根据预设对比度调整系数、所述原始像素值和所述原始图像位深计算灰度加权因子；根据所述平滑图像和所述残差增益图像计算空间加权因子。
在一实施例中，所述增强模块40，还用于确定所述原始视频数据对应的色调映射函数曲线；根据所述亮度增强信息将所述增强加权因子添加至目标映射函数中；通过所述色调映射函数曲线对应的描述参数和所述目标映射函数对所述待增强图像区域进行亮度增强。
在一实施例中，所述增强模块40，还用于根据所述待增强视频图像的视频场景确定所述待增强视频图像对应的亮度关注区域；根据所述亮度增强信息确定所述亮度关注区域对应的亮度等级；根据所述区域亮度等级确定目标映射函数。
在一实施例中，所述增强模块40，还用于获取所述色调映射曲线对应的多个分段函数；确定各个分段函数对应的亮度等级；将所述亮度关注区域对应的区域亮度等级与各个分段函数对应的亮度等级进行匹配；基于匹配结果从多个分段函数中筛选出目标映射函数。
在一实施例中，所述增强模块40，还用于获取所述亮度关注区域在所述待增强视频图像中的相对位置；根据所述相对位置确定所述增强加权因子对应的目标添加位置；按照所述目标添加位置将所述增强加权因子添加至目标映射函数中。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的视频画质增强方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种视频画质增强方法，其特征在于，所述视频画质增强方法包括：
对待增强视频图像进行数据解析，得到原始视频数据和扩展后的元数据，所述待增强视频图像是通过亮度增强信息对网络抽象层中的附加增强信息单元内的基础元数据进行扩展后，得到的视频图像，所述扩展后的元数据中包含亮度增强信息，所述亮度增强信息是通过确定待增强视频图像的视频场景，根据该视频场景确定待增强视频图像中的亮度关注区域，以及该亮度关注区域的区域范围生成的，并通过编码端添加在原始视频数据中；
根据所述原始视频数据确定增强加权因子，所述增强加权因子用于确定增强对比度以及增强程度；
对所述扩展后的元数据进行信息提取，得到亮度增强信息；
根据所述增强加权因子和所述亮度增强信息对所述待增强图像进行亮度增强。
2.如权利要求1所述的视频画质增强方法，其特征在于，所述根据所述原始视频数据确定增强加权因子，包括：
从所述原始视频数据中提取出原始像素值和原始图像位深；
对所述待增强视频图像进行图像处理，得到平滑图像；
根据预设增强程度和所述原始像素值确定残差增益图像，计算公式如下：
其中，α为预设增强程度，且α的取值范围为(0,5]，I(i,j)为原始像素值；
根据所述原始像素值、所述原始图像位深、所述平滑图像以及所述残差增益图像计算增强加权因子。
3.如权利要求2所述的视频画质增强方法，其特征在于，所述增强加权因子包括灰度加权因子和空间加权因子；
所述根据所述原始像素值、所述原始图像位深、所述平滑图像以及所述残差增益图像计算增强加权因子，包括：
根据预设对比度调整系数、所述原始像素值和所述原始图像位深计算灰度加权因子；
根据所述平滑图像和所述残差增益图像计算空间加权因子。
4.如权利要求1至3中任一项所述的视频画质增强方法，其特征在于，所述根据所述增强加权因子和所述亮度增强信息对所述待增强图像区域进行亮度增强，包括：
确定所述原始视频数据对应的色调映射函数曲线；
根据所述亮度增强信息将所述增强加权因子添加至目标映射函数中，所述色调映射函数曲线是按亮度划分的分段区间函数，均包含暗区、中等亮度区间、亮区，不同的亮度区间在色调映射曲线中对应不同的映射函数，根据区域亮度等级从色调映射函数曲线对应的多个映射函数中筛选出目标映射函数，所述区域亮度等级由所述亮度增强信息确定；
所述根据所述亮度增强信息将所述增强加权因子添加至目标映射函数中，包括：
获取所述亮度关注区域在所述待增强视频图像中的相对位置；
根据所述相对位置确定所述增强加权因子对应的目标添加位置；
按照所述目标添加位置将所述增强加权因子添加至目标映射函数中；
通过所述色调映射函数曲线对应的描述参数和所述目标映射函数对所述待增强图像区域进行亮度增强。
5.如权利要求4所述的视频画质增强方法，其特征在于，所述根据所述亮度增强信息将所述增强加权因子添加至目标映射函数中之前，还包括：
根据所述待增强视频图像的视频场景确定所述待增强视频图像对应的亮度关注区域；
根据所述亮度增强信息确定所述亮度关注区域对应的亮度等级；
根据所述区域亮度等级确定目标映射函数。
6.如权利要求5所述的视频画质增强方法，其特征在于，所述根据所述区域亮度等级确定目标映射函数，包括：
获取所述色调映射函数曲线对应的多个分段函数；
确定各个分段函数对应的亮度等级；
将所述亮度关注区域对应的区域亮度等级与各个分段函数对应的亮度等级进行匹配；
基于匹配结果从多个分段函数中筛选出目标映射函数。
7.一种视频画质增强装置，其特征在于，所述视频画质增强装置包括：
解析模块，用于对待增强视频图像进行数据解析，得到原始视频数据和扩展后的元数据，所述待增强视频图像是通过亮度增强信息对网络抽象层中的附加增强信息单元内的基础元数据进行扩展后，得到的视频图像，所述扩展后的元数据中包含亮度增强信息，所述亮度增强信息是通过确定待增强视频图像的视频场景，根据该视频场景确定待增强视频图像中的亮度关注区域，以及该亮度关注区域的区域范围生成的，并通过编码端添加在原始视频数据中；
计算模块，用于根据所述原始视频数据确定增强加权因子，所述增强加权因子用于确定增强对比度以及增强程度；
获取模块，用于对所述扩展后的元数据进行信息提取，得到亮度增强信息；
增强模块，用于根据所述增强加权因子和所述亮度增强信息对所述待增强图像进行亮度增强。
8.一种视频画质增强设备，其特征在于，所述视频画质增强设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的视频画质增强程序，所述视频画质增强程序配置为实现如权利要求1至6中任一项所述的视频画质增强方法。
9.一种存储介质，其特征在于，所述存储介质上存储有视频画质增强程序，所述视频画质增强程序被处理器执行时实现如权利要求1至6任一项所述的视频画质增强方法。
CN202210427568.6A 2022-04-22 2022-04-22 视频画质增强方法、装置、设备及存储介质 Active CN114827484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210427568.6A CN114827484B (zh) 2022-04-22 2022-04-22 视频画质增强方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210427568.6A CN114827484B (zh) 2022-04-22 2022-04-22 视频画质增强方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114827484A CN114827484A (zh) 2022-07-29
CN114827484B true CN114827484B (zh) 2023-10-20

Family

ID=82505107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210427568.6A Active CN114827484B (zh) 2022-04-22 2022-04-22 视频画质增强方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114827484B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104246867A (zh) * 2012-04-20 2014-12-24 三星电子株式会社 感知无损失的显示功率降低
EP3131285A1 (en) * 2015-08-13 2017-02-15 Thomson Licensing Methods, systems and apparatus for hdr to hdr inverse tone mapping
CN109325922A (zh) * 2018-09-12 2019-02-12 深圳开阳电子股份有限公司 一种图像自适应增强方法、装置及图像处理设备
CN110769210A (zh) * 2019-11-07 2020-02-07 湖南国科微电子股份有限公司 一种生成hdr图像的方法及装置
CN111383181A (zh) * 2018-12-28 2020-07-07 展讯通信（上海）有限公司 图像增强方法及装置、存储介质、终端
CN112352437A (zh) * 2018-06-26 2021-02-09 交互数字Vc控股公司 Hdr分发中的元数据转换
EP3896959A1 (en) * 2013-06-20 2021-10-20 Saturn Licensing LLC Device for displaying hdr video content
WO2021259613A1 (en) * 2020-06-26 2021-12-30 Interdigital Ce Patent Holdings, Sas Inverse tone mapping with adaptive bright-spot attenuation
CN114078452A (zh) * 2020-08-14 2022-02-22 华为技术有限公司 调节内容对比度的方法、电子设备和存储介质
CN114143491A (zh) * 2021-11-17 2022-03-04 深蓝感知(杭州)物联科技有限公司 一个单编5g记录仪录像分片生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129458B2 (en) * 2016-12-29 2018-11-13 Automotive Research & Testing Center Method and system for dynamically adjusting parameters of camera settings for image enhancement

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104246867A (zh) * 2012-04-20 2014-12-24 三星电子株式会社 感知无损失的显示功率降低
EP3896959A1 (en) * 2013-06-20 2021-10-20 Saturn Licensing LLC Device for displaying hdr video content
EP3131285A1 (en) * 2015-08-13 2017-02-15 Thomson Licensing Methods, systems and apparatus for hdr to hdr inverse tone mapping
CN112352437A (zh) * 2018-06-26 2021-02-09 交互数字Vc控股公司 Hdr分发中的元数据转换
CN109325922A (zh) * 2018-09-12 2019-02-12 深圳开阳电子股份有限公司 一种图像自适应增强方法、装置及图像处理设备
CN111383181A (zh) * 2018-12-28 2020-07-07 展讯通信（上海）有限公司 图像增强方法及装置、存储介质、终端
CN110769210A (zh) * 2019-11-07 2020-02-07 湖南国科微电子股份有限公司 一种生成hdr图像的方法及装置
WO2021259613A1 (en) * 2020-06-26 2021-12-30 Interdigital Ce Patent Holdings, Sas Inverse tone mapping with adaptive bright-spot attenuation
CN114078452A (zh) * 2020-08-14 2022-02-22 华为技术有限公司 调节内容对比度的方法、电子设备和存储介质
CN114143491A (zh) * 2021-11-17 2022-03-04 深蓝感知(杭州)物联科技有限公司 一个单编5g记录仪录像分片生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HDR/WCG关键技术分析及标准化进展;冯宁 等;;电视技术(02);全文 *
一种面向新一代可伸缩视频编码的上采样设计;王永建等;电视技术(23);全文 *

Also Published As

Publication number Publication date
CN114827484A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US11470383B2 (en) Dynamic video overlays
KR102049481B1 (ko) 이미지 변환을 수행하는 전자 장치 및 이의 방법
JP5492087B2 (ja) コンテンツベースの画像調整
CN111954053B (zh) 获取蒙版帧数据的方法、计算机设备及可读存储介质
CN108460732B (zh) 用于处理图像的方法和计算设备
CN110827204B (zh) 图像处理方法、装置及电子设备
CN111724316B (zh) 处理高动态范围图像的方法和装置
CN113518185A (zh) 视频转换处理方法、装置、计算机可读介质及电子设备
CN110310231B (zh) 一种将第一动态范围视频转换为第二动态范围视频的设备及其方法
CN108495054B (zh) 高动态范围信号的处理方法、装置及计算机存储介质
CN112435244A (zh) 直播视频的质量评价方法、装置、计算机设备和存储介质
CN114598919A (zh) 视频处理方法、装置、计算机设备和存储介质
CN114827484B (zh) 视频画质增强方法、装置、设备及存储介质
CN114567813B (zh) 画质提升方法、装置、播放设备及计算机可读存储介质
CN109544441B (zh) 图像处理方法及装置、直播中的肤色处理方法及装置
WO2021047177A1 (zh) 数据编码方法及装置
CN111935509A (zh) 一种多媒体数据播放的方法、相关装置、设备及存储介质
CN113573044A (zh) 视频数据处理方法、装置、计算机设备及可读存储介质
US20220327672A1 (en) Hdr tone mapping based on creative intent metadata and ambient light
CN116152272A (zh) 红外图像压缩方法、装置、存储介质及电子设备
CN108495053B (zh) 高动态范围信号的元数据处理方法和装置
CN113822785A (zh) 一种资源版权设置方法、校验方法、装置和电子设备
CN110784716B (zh) 媒体数据处理方法、装置及介质
CN117714712A (zh) 视频会议的数据隐写方法、设备及存储介质
CN117011124A (zh) 增益图的生成方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant