CN112714356B - 图像亮度校正方法、装置、设备以及存储介质 - Google Patents

图像亮度校正方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN112714356B
CN112714356B CN202011502782.0A CN202011502782A CN112714356B CN 112714356 B CN112714356 B CN 112714356B CN 202011502782 A CN202011502782 A CN 202011502782A CN 112714356 B CN112714356 B CN 112714356B
Authority
CN
China
Prior art keywords
corrected
area
gamma
image
gamma curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011502782.0A
Other languages
English (en)
Other versions
CN112714356A (zh
Inventor
张琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011502782.0A priority Critical patent/CN112714356B/zh
Publication of CN112714356A publication Critical patent/CN112714356A/zh
Application granted granted Critical
Publication of CN112714356B publication Critical patent/CN112714356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本申请公开了图像亮度校正方法、装置、设备以及存储介质，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域。该方法的一具体实施方式包括：确定待校正图像的分段数以及各段待校正区域对应的像素值范围；基于各段待校正区域的像素值范围确定对应的各个伽玛值；基于对应的各个伽玛值生成相应的分段伽玛曲线；对分段伽玛曲线的不平滑处做滤波处理，得到平滑伽玛曲线；基于平滑伽玛曲线对待校正图像的亮度进行校正。该实施方式提供了一种基于分段伽玛曲线的图像亮度校正方法，实时性好，方便移植到移动端，适合在实际的直播场景中使用。

Description

图像亮度校正方法、装置、设备以及存储介质
技术领域
本申请实施例涉及计算机领域，具体涉及计算机视觉、深度学习等人工智能领域，尤其涉及图像亮度校正方法、装置、设备以及存储介质。
背景技术
在短视频占据大半内容分发领域的移动互联网时代，人们越来越重视视频的质量，其中就包括物理层面的质量—即视频的清晰度、可视性等。但视频的拍摄并不都具备完美的场景，因此，后期的处理是必不可少的，其中亮度的调节就是非常重要的一个环节。
图像亮度自适应调整技术是图像处理领域最为常见的技术之一，用于对整张曝光不足或者局部曝光不足的图像进行亮度的调整以获得更好的主观视觉效果。目前普遍采用如下两种方案来解决：
(1)基于线性变换对图像亮度进行调整。
(2)基于卷积神经网络CNN的图像亮度自动增强方法：基于CNN的图像亮度自动增强的方法从大量标注数据中学习亮度较差图像和亮度较好的图像之间的非线性映射关系，在给定亮度较差图像时，能够利用学习好的模型将其转化为亮度较好的图像。
发明内容
本申请实施例提出了一种图像亮度校正方法、装置、设备以及存储介质。
第一方面，本申请实施例提出了一种图像亮度校正方法，包括：确定待校正图像的分段数以及各段待校正区域对应的像素值范围；基于各段待校正区域的像素值范围确定对应的各个伽玛值；基于对应的各个伽玛值生成相应的分段伽玛曲线；对分段伽玛曲线的不平滑处做滤波处理，得到平滑伽玛曲线；基于平滑伽玛曲线对待校正图像的亮度进行校正。
第二方面，本申请实施例提出了一种图像亮度校正装置，包括：分段模块，被配置成确定待校正图像的分段数及各段待校正区域对应的像素值范围；确定模块，被配置成基于各段待校正区域的像素值范围确定对应的各个伽玛值；生成模块，被配置成基于对应的各个伽玛值生成相应的分段伽玛曲线；滤波模块，被配置成对分段伽玛曲线的不平滑处做滤波处理，得到平滑伽玛曲线；校正模块，被配置成基于平滑伽玛曲线对待校正图像的亮度进行校正。
第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
第五方面，本申请实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的图像亮度校正方法、装置、设备以及存储介质，首先确定待校正图像的分段数以及各段待校正区域对应的像素值范围；之后基于各段待校正区域的像素值范围确定对应的各个伽玛值；而后基于对应的各个伽玛值生成相应的分段伽玛曲线；然后对分段伽玛曲线的不平滑处做滤波处理，得到平滑伽玛曲线；最后基于平滑伽玛曲线对待校正图像的亮度进行校正。本申请基于传统图像处理，对视频图像处理可以达到60FPS+(Frames Per Second，每秒传输帧数)，且实时性好，方便移植到移动端，适合在实际的直播场景中使用。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的图像亮度校正方法的一个实施例的流程图；
图3是根据本申请的图像亮度校正方法的另一个实施例的流程图；
图4是图像亮度校正前后的效果示意图；
图5是分段伽玛曲线图；
图6是平滑伽玛曲线图；
图7是根据本申请的图像亮度校正装置的一个实施例的结构示意图；
图8是用来实现本申请实施例的图像亮度校正方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的图像亮度校正方法或图像亮度校正装置的实施例的示例性系统架构100。
如图1所示，系统架构100中可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送图像消息等。终端设备101上可以安装有各种客户端应用，例如即时通信工具、社交平台直播软件等等。
终端设备101可以是硬件，也可以是软件。当终端设备101为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器103可以提供各种服务。例如，服务器103可以对从终端设备101获取到的图像等数据进行分析和处理，并生成处理结果(例如校正后的图像)。
需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的图像亮度校正方法一般由服务器103执行，相应地，图像亮度校正装置一般设置于服务器103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
此外，本申请实施例所提供的图像亮度校正方法可以移植到移动端，此时，本申请实施例所提供的图像亮度校正方法可以由终端设备101执行，相应地，图像亮度校正装置一般设置于终端设备101中。系统架构100仅设置终端设备即可。
继续参考图2，其示出了根据本申请的图像亮度校正方法的一个实施例的流程200。该图像亮度校正方法包括以下步骤：
步骤201，确定待校正图像的分段数以及各段待校正区域对应的像素值范围。
在本实施例中，图像亮度校正方法的执行主体(例如图1所示的服务器103)可以根据实际场景来确定待校正图像的分段数，将待校正图像分为多段，并确定相应的各段待校正区域对应的像素值范围。具体的，根据实际场景的环境、灯光等因素来确定待校正图像的分段数，该段数不限于两段。例如，根据实际场景一般将图像分为三段，分别为特别亮的区域、一般亮暗的区域和特别暗的区域。将待校正图像进行分段校正能使调整校正后的图像尽可能保留原始的像素分布。
步骤202，基于各段待校正区域的像素值范围确定对应的各个伽玛值。
在本实施例中，上述执行主体可以根据各段待校正区域的像素值范围确定每段对应的伽玛gamma值。伽玛曲线值的特点为：小于1的伽玛值会使图像的亮度增大，大于1的伽玛值会使图像的亮度变小。所以，若是想让图像亮度增强，就选择小于1的伽玛值；若是想让图像亮度变小，就选择大于1的伽玛值；并根据图像不同区域的亮暗度来选择伽玛值，例如，对于特别暗的区域，选择稍微大一些的伽玛值，尽量对原图进行比较小的调整；对于特别亮的区域，也尽可能对原图进行比较小的改动，这样特别白的区域也不会再变得更白从而导致过曝；而对于一般亮暗的区域，可以采取稍微大一些的伽玛值进行正常调整。将待校正图像进行分段调整，并为各段待校正区域确定相应的gamma值，能有针对性地对图像进行校正调整，能够极大的保留原图像中的细节，使调整后图像能够尽可能保持最初的像素相对分布。
步骤203，基于对应的各个伽玛值生成相应的分段伽玛曲线。
在本实施例中，上述执行主体可以基于步骤202确定的对应的伽玛值生成相应的分段伽玛曲线。对于待校正图像的各个待校正区域，在确定该区域对应的gamma值的情况下，就可以计算出该区域对应的像素值范围内的任一像素值校正后的值，从而生成该待校正区域对应的gamma曲线，从而生成整个待校正图像的分段gamma曲线。其中，分段gamma曲线展示了待校正图像的各个像素点的原始像素值与调整后得到的像素值的对应关系。
在本实施例的一些可选实现方式中，可以基于确定的各段待校正区域的gamma值和各段待校正区域的像素值范围来生成与各段待校正区域相对应的分段函数，再将各个待校正区域的像素值代入所对应的函数中，得到该像素值经过校正后的像素值，从而生成该待校正区域所对应的gamma曲线，从而生成待调整图像的分段gamma曲线。根据各个待调整区域的图像的亮暗情况确定其需要进行怎样的调整，再基于gamma值的特点，确定各个待调整区域所对应的gamma值、分段函数和分段曲线，这样能根据各个待调整区域的图像的不同情况进行有针对性的调整，使得调整后的图像也尽可能地保留了原始图像的像素分布。
步骤204，对分段伽玛曲线的不平滑处做滤波处理，得到平滑伽玛曲线。
在本实施例中，上述执行主体可以对分段gamma曲线的不平滑处做滤波处理，从而得到处理后的平滑伽玛曲线。通过滤波对分段gamma曲线中出现跳跃的地方进行平滑处理，能使原本分段明显的伽玛曲线变得平滑，从而使得校正后的像素不出现断层现象。
在本实施例的一些可选实现方式中，分段伽玛曲线的不平滑处为分段伽玛曲线的拐点处。该拐点处即各个待校正区域的像素值范围的边界值处。各段gamma曲线对应于各个待调整区域的像素值范围内的调整过的像素值，所以在各个像素值范围的边界值处(拐点处)会出现跳跃情况，对分段gamma曲线中出现跳跃的地方进行滤波处理，以使得原本不平滑的曲线变成平滑曲线，消除了在像素值分段处出现的断层现象，从而提升了用户的观感。
在本实施例的一些可选实现方式中，基于SG滤波对所述分段伽玛曲线不平滑处进行处理。
步骤205，基于平滑伽玛曲线对待校正图像的亮度进行校正。
在本实施例中，上述执行主体可以基于滤波处理后的平滑伽玛曲线对待校正图像的亮度进行校正。
在本实施例的一些可选实现方式中，基于所述平滑伽玛曲线和预先建立的伽玛校正查找表对所述待校正图像的亮度进行校正。由于图像的像素值为0～255之间的任一整数，而该像素值经过校正后，所对应的校正后的像素值是唯一的，并且也落在0～255这个范围内。所以将0～255之间的每一个整数执行校正操作，将其对应的校正后的像素值存入一个预先建立的伽玛校正查找表中，这样就可以使用该伽玛校正查找表对任何像素值在0～255之间的像素进行gamma校正，从而只需在伽玛校正查找表进行查找就能得到校正后的像素值，提升了对待校正图像的校正速度。
本申请实施例提供的图像亮度校正方法、装置、设备以及存储介质，首先确定待校正图像的分段数以及各段待校正区域对应的像素值范围；之后基于各段待校正区域的像素值范围确定对应的各个伽玛值；而后基于对应的各个伽玛值生成相应的分段伽玛曲线；然后对分段伽玛曲线的不平滑处做滤波处理，得到平滑伽玛曲线；最后基于平滑伽玛曲线对待校正图像的亮度进行校正。本方法基于传统图像处理，对视频图像处理可以达到60FPS+，且实时性好，方便移植到移动端，适合在实际的直播场景中使用。
进一步参考图3，其示出了本申请的图像亮度校正方法的另一个实施例的流程300。该图像亮度校正方法包括以下步骤：
步骤301，将待校正图像分为三段，并确定各段待校正区域对应的像素值范围。
在本实施例中，上述执行主体将待校正图像分为三段，第一待校正区域为特别暗的区域，其对应的像素值范围是0-thresh1；第二待校正区域为一般亮暗的区域，其对应的像素值范围为thresh1-thresh2；第三待校正区域为特别亮的区域，其对应的像素值范围为thresh2-255，且0<thresh1<thresh2<255。根据图像的亮暗度进行分段从而进行有针对性地调整，保证了原本很亮的区域不会变得更亮而导致过曝。
在本实施例的一些可选实现方式中，第一待校正区域的像素值范围为[0,80)；第二待校正区域的像素值范围为[80,210]；第三待校正区域的像素值范围为(210,255)。日常生活中的大部分场景下的图像的像素值都符合这个分布。
步骤302，基于三段待校正区域对应的像素值范围确定对应的各个伽玛值。
在本实施例中，上述执行主体基于第一待校正区域、第二待校正区域和第三待校正区域的像素值范围来确定对应的伽玛值gamma1、gamma2和gamma3。基于上述论证过的gamma曲线值的特点，能得出：对于第一待校正区域(特别暗的区域)，应尽可能对原图进行比较小的调整，以保证头发不会变白，所以选择稍微大一些的gamma值；对于第二待校正区域(一般亮暗的区域)，可以采取稍微大一些的gamma值进行正常调整；对于第三待校正区域(特别亮的区域)，应尽可能对原图进行比较小的改动，以保证特别白、特别亮的区域不会变得更白从而导致过曝，从而也选择稍微大一些的gamma值。例如，可以将gamma1、gamma2和gamma3设定为：0.85、0.7和0.85。
步骤303，基于第一待校正区域、第二待校正区域、第三待校正区域对应的伽玛值确定各个待校正区域对应的分段函数。
在本实施例中，上述执行主体基于上述第一待校正区域、第二待校正区域、第三待校正区域对应的伽玛值gamma1、gamma2、gamma3来确定其相对应的分段函数。
在本实施例的一些可选实现方式中，对于图像中的任意像素值，对该像素值进行校正的过程包括以下步骤：
归一化：将像素值转换为0-1之间的实数，记为第一数据；
预补偿：计算所述第一数据以伽马值的倒数为指数的对应值，记为第二数据；
反归一化：将所述第二数据反变换为0-255之间的整数值，得到所述像素值对应的预补偿值。
对上述过程进行总结可以得到：对于任意一个0-255之间的像素值f(i，j)，将其进行矫正得到矫正后的像素值f(i1，j1)可以表示为：
Figure BDA0002843954330000081
其中，f(i，j)为原始像素值，f(i1，j1)为矫正后的像素值，gamma为伽玛值。
基于第一待校正区域、第二待校正区域及第三待校正区域所对应的像素值范围为0-thresh1、thresh1-thresh2及thresh2-255、第一待校正区域、第二待校正区域及第三待校正区域所对应的伽玛值gamma1、gamma2及gamma3和上述公式(1)，可以得到第一待校正区域、第二待校正区域及第三待校正区域所对应的分段函数，将其表示为以下形式：
Figure BDA0002843954330000091
结合各个待校正区域的伽玛值及像素值范围来生成各个待校正区域对应的分段函数，从而得到各个像素值经过调整后的像素值，实现了对各个待校正区域进行有针对性地调整。
步骤304，基于分段函数得到各个待校正区域对应的像素值范围内的各个像素值所对应的预补偿值。
在本实施例中，将各个待校正区域所对应的像素值范围内的各个像素值代入对应的分段函数中，就可以得到各个像素值所对应的预补偿值。
步骤305，基于预补偿值生成相应的分段伽玛曲线。
在本实施例中，基于步骤304得到的各个像素值所对应的预补偿值生成相应的分段伽玛曲线图。该伽玛曲线图展示了各个像素值范围内的各个像素点的原始像素值与校正后的像素值的对应关系。
步骤306，基于SG滤波对分段伽玛曲线不平滑处进行处理。
在本实施例的一些可选实现方式中，基于SG滤波对所述分段伽玛曲线不平滑处进行处理的过程包括以下步骤：
确定滤波算法的窗口宽度m，表示为m＝2n+1，其中，m、n为正整数，例如可以将m取值为5；
假设对于当前时刻t的前后一共有2n+1个观测值，即窗口m＝5，n＝2，用k-1阶多项式对其进行拟合，k为正整数，表示为：
xt＝a0+a1*t+a2*t2+…+ak-1*tk-1；
通过拟合得到2n+1个式子，构成一个矩阵，将该矩阵表示为：
Figure BDA0002843954330000101
要使上述矩阵有解，必须满足2n+1>k，从而通过最小二乘法确定加权系数ak，并通过矩阵计算得到加权滤波后的值xt。
步骤305生成的分段gamma曲线，是一段0～255之间的信号。对此信号进行SG滤波，滤波之后使得分段伽玛曲线变得平滑，不会在像素值分段处出现断层的现象，从而提升了用户的观感。
步骤307，基于平滑伽玛曲线和预先建立的伽玛校正查找表对待校正图像的亮度进行校正。
在本实施例的一些可选实现方式中，由于图像的像素值为0-255之间的任一整数，该像素值经过步骤303的“归一化、预补偿、反归一化”操作后，所对应的结果是唯一的，并且也落在0-255这个范围内。基于上述原理，对0-255之间的每一个整数执行此预补偿操作，将其对应的预补偿值存入一个预先建立的伽玛校正查找表中，这样就可以使用该伽玛校正查找表对任何像素值在0-255之间的像素进行gamma校正，从而得到校正后的图像。
本申请实施例提供的图像亮度校正方法，首先将待校正图像分为三段，并确定各段待校正区域对应的像素值范围；然后基于三段待校正区域对应的像素值范围确定对应的各个伽玛值，再基于第一待校正区域、第二待校正区域、第三待校正区域对应的伽玛值确定各个待校正区域对应的分段函数，基于分段函数得到各个待校正区域对应的像素值范围内的各个像素值所对应的预补偿值，从而生成相应的分段伽玛曲线；其次基于SG滤波对分段伽玛曲线不平滑处进行处理；最后基于平滑伽玛曲线和预先建立的伽玛校正查找表对待校正图像的亮度进行校正。本方法基于传统图像处理，对视频图像处理可以达到60FPS+，且实时性好，方便移植到移动端，适合在实际的直播场景中使用。
下面提供了图像亮度校正方法的一个应用场景，参考图4，图4中的(a)部分示出了图像亮度校正前的示意图。该场景为人像直播场景，将待校正图像分为三段，分别为第一待校正区域，该区域是特别暗的区域，对应于图4中的(a)部分标号为1的区域；第二待校正区域，该区域是一般亮暗的区域，对应于图4中的(a)部分标号为2的区域；第三待校正区域，该区域是特别亮的区域，对应于图4中的(a)部分标号为3的区域；这三段待校正区域所对应的像素值范围分别为[0,80]、(80,210]、(210,255)，并将这三段待校正图像所对应的gamma值设定为0.85、0.7、0.85。再将上述确定的各个gamma值代入公式(1)中得到分段函数，将其表示为如下所示：
Figure BDA0002843954330000111
基于上述分段函数生成相应的分段伽玛曲线，生成的分段伽玛曲线如图5所示，如图5所示，生成的gamma曲线出现了跳跃的现象。
基于SG滤波对上述分段伽玛曲线的不平滑处进行处理，从而得到如图6所示的平滑伽玛曲线，如图6所示，经过滤波处理后的分段gamma曲线变得平滑。基于得到的平滑曲线和预先建立的伽玛校正查找表对待校正图像的亮度进行校正。图6中的平滑伽玛曲线实际上是一个256维度的数组，将这个数组与查表法结合应用到图像上的过程是：若数组中下标为2的位置的值是15，这就意味着图像中像素值为2的像素会被调整到15，也就是暗的地方会变得不那么暗了，基于对各个像素点进行调整，得到亮度校正后的图像。使用查表法进行调整的优点是速度非常快，因为只需要查0～255的位置分别对应什么值就可以了。
继续参考图4，图4中的(b)部分示出了图像亮度校正后的效果示意图。可以看出使用本方案对待校正图像进行调整校正，在脸部区域(图4中的(b)部分标号为2的区域)增亮比较明显，但头发区域(图4中的(b)部分标号为1的区域)和白色衣服区域(图4中的(b)部分标号为3的区域)又能保持图像原本的亮度，不至于过曝，从而保证了调整后的图像尽可能保留原始的像素分布。
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种图像亮度校正装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例的图像亮度校正装置700可以包括：分段模块701、确定模块702、生成模块703、滤波模块704和校正模块705。其中，分段模块701，被配置成确定待校正图像的分段数及各段待校正区域对应的像素值范围；确定模块702，被配置成基于各段待校正区域的像素值范围确定对应的各个伽玛值；生成模块703，被配置成基于对应的各个伽玛值生成相应的分段伽玛曲线；滤波模块704，被配置成对分段伽玛曲线的不平滑处做滤波处理，得到平滑伽玛曲线；校正模块705，被配置成基于平滑伽玛曲线对待校正图像的亮度进行校正。
在本实施例中，图像亮度校正装置700中：分段模块701、确定模块702、生成模块703、滤波模块704和校正模块705的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-205的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，分段模块701进一步配置成：将待校正图像分为三段，包括第一待校正区域、第二待校正区域及第三待校正区域，第一待校正区域、第二待校正区域、第三待校正区域对应的像素值范围为0-thresh1、thresh1-thresh2、thresh2-255，0<thresh1<thresh2<255。
在本实施例的一些可选的实现方式中，生成模块703包括：确定子模块，被配置成基于第一待校正区域、第二待校正区域、第三待校正区域对应的伽玛值确定各个待校正区域对应的分段函数；第一生成子模块，被配置成基于分段函数得到各个待校正区域对应的像素值范围内的各个像素值所对应的预补偿值；第二生成子模块，被配置成基于预补偿值生成相应的分段伽玛曲线。
在本实施例的一些可选的实现方式中，第一生成子模块进一步被配置成：将像素值转换为0-1之间的实数，记为第一数据；计算第一数据以伽马值的倒数为指数的对应值，记为第二数据，伽玛值为该分段函数对应的伽玛值；将第二数据反变换为0-255之间的整数值，得到像素值对应的预补偿值。
在本实施例的一些可选的实现方式中，滤波模块704包括：处理子模块，被配置成基于SG滤波对分段伽玛曲线不平滑处进行处理，分段伽玛曲线不平滑处为分段伽玛曲线的拐点处。
在本实施例的一些可选的实现方式中，处理子模块进一步被配置成：确定滤波算法的窗口宽度m，表示为m＝2n+1，其中，m、n为正整数；对于当前时刻的前后一共有2n+1个观测值，用k-1阶多项式对其进行拟合，k为正整数；通过拟合得到2n+1个式子，构成一个矩阵；通过最小二乘法确定加权系数，并通过矩阵计算得到加权滤波后的值。
在本实施例的一些可选的实现方式中，校正模块705进一步配置成：基于平滑伽玛曲线和预先建立的伽玛校正查找表对待校正图像的亮度进行校正。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图8所示，是根据本申请实施例图像亮度校正方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像亮度校正方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像亮度校正方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像亮度校正方法对应的程序指令/模块(例如，附图7所示的分段模块701、确定模块702、生成模块703、滤波模块704和校正模块705)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像亮度校正方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像亮度校正方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至图像亮度校正方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像亮度校正方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的图像信息，以及产生与图像亮度校正方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请的技术方案，首先确定待校正图像的分段数以及各段待校正区域对应的像素值范围；之后基于各段待校正区域的像素值范围确定对应的各个伽玛值；而后基于对应的各个伽玛值生成相应的分段伽玛曲线；然后对分段伽玛曲线的不平滑处做滤波处理，得到平滑伽玛曲线；最后基于平滑伽玛曲线对待校正图像的亮度进行校正。本方法基于传统图像处理，对视频图像处理可以达到60FPS+，且实时性好，方便移植到移动端，适合在实际的直播场景中使用。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种图像亮度校正方法，包括：
确定待校正图像的分段数以及各段待校正区域对应的像素值范围；
基于所述各段待校正区域的像素值范围确定对应的各个伽玛值；
基于所述对应的各个伽玛值生成相应的分段伽玛曲线；
对所述分段伽玛曲线的不平滑处做滤波处理，得到平滑伽玛曲线；
基于所述平滑伽玛曲线对所述待校正图像的亮度进行校正；
其中，所述对所述分段伽玛曲线的不平滑处做滤波处理，包括：
基于SG滤波对所述分段伽玛曲线不平滑处进行处理，包括：
确定滤波算法的窗口宽度m，表示为m＝2n+1，其中，m、n为正整数；
对于当前时刻的前后一共有2n+1个观测值，用k-1阶多项式对其进行拟合，k为正整数；
通过拟合得到2n+1个式子，构成一个矩阵；
通过最小二乘法确定加权系数，并通过矩阵计算得到加权滤波后的值；
其中，所述分段伽玛曲线不平滑处为所述分段伽玛曲线的拐点处。
2.根据权利要求1所述的方法，其中，所述确定待校正图像的分段数以及各段待校正区域对应的像素值范围，包括：
将待校正图像分为三段，包括第一待校正区域、第二待校正区域及第三待校正区域，所述第一待校正区域、第二待校正区域、第三待校正区域对应的像素值范围为：0-thresh1、thresh1-thresh2、thresh2-255，0<thresh1<thresh2<255。
3.根据权利要求2所述的方法，其中，所述基于所述对应的各个伽玛值生成相应的分段伽玛曲线，包括：
基于所述第一待校正区域、第二待校正区域、第三待校正区域对应的伽玛值确定各个待校正区域对应的分段函数；
基于所述分段函数得到各个待校正区域对应的像素值范围内的各个像素值所对应的预补偿值；
基于所述预补偿值生成相应的分段伽玛曲线。
4.根据权利要求3所述的方法，其中，所述基于所述分段函数得到各个待校正区域对应的像素值范围内的各个像素值所对应的预补偿值，包括：
将像素值转换为0-1之间的实数，记为第一数据；
计算所述第一数据以伽马值的倒数为指数的对应值，记为第二数据，所述伽玛值为该分段函数对应的伽玛值；
将所述第二数据反变换为0-255之间的整数值，得到所述像素值对应的预补偿值。
5.根据权利要求1所述的方法，其中，所述基于所述平滑伽玛曲线对所述待校正图像的亮度进行校正，包括：
基于所述平滑伽玛曲线和预先建立的伽玛校正查找表对所述待校正图像的亮度进行校正。
6.一种图像亮度校正装置，包括：
分段模块，被配置成确定待校正图像的分段数及各段待校正区域对应的像素值范围；
确定模块，被配置成基于所述各段待校正区域的像素值范围确定对应的各个伽玛值；
生成模块，被配置成基于所述对应的各个伽玛值生成相应的分段伽玛曲线；
滤波模块，被配置成对所述分段伽玛曲线的不平滑处做滤波处理，得到平滑伽玛曲线；
校正模块，被配置成基于所述平滑伽玛曲线对所述待校正图像的亮度进行校正；
其中，所述滤波模块包括：
处理子模块，被配置成基于SG滤波对所述分段伽玛曲线不平滑处进行处理，所述处理子模块进一步被配置成：
确定滤波算法的窗口宽度m，表示为m＝2n+1，其中，m、n为正整数；
对于当前时刻的前后一共有2n+1个观测值，用k-1阶多项式对其进行拟合，k为正整数；
通过拟合得到2n+1个式子，构成一个矩阵；
通过最小二乘法确定加权系数，并通过矩阵计算得到加权滤波后的值；
其中，所述分段伽玛曲线不平滑处为所述分段伽玛曲线的拐点处。
7.根据权利要求6所述的装置，其中，所述分段模块进一步配置成：
将待校正图像分为三段，包括第一待校正区域、第二待校正区域及第三待校正区域，所述第一待校正区域、第二待校正区域、第三待校正区域对应的像素值范围为：0-thresh1、thresh1-thresh2、thresh2-255，0<thresh1<thresh2<255。
8.根据权利要求7所述的装置，其中，所述生成模块包括：
确定子模块，被配置成基于所述第一待校正区域、第二待校正区域、第三待校正区域对应的伽玛值确定各个待校正区域对应的分段函数；
第一生成子模块，被配置成基于所述分段函数得到各个待校正区域对应的像素值范围内的各个像素值所对应的预补偿值；
第二生成子模块，被配置成基于所述预补偿值生成相应的分段伽玛曲线。
9.根据权利要求8所述的装置，其中，所述第一生成子模块进一步被配置成：
将像素值转换为0-1之间的实数，记为第一数据；
计算所述第一数据以伽马值的倒数为指数的对应值，记为第二数据，所述伽玛值为该分段函数对应的伽玛值；
将所述第二数据反变换为0-255之间的整数值，得到所述像素值对应的预补偿值。
10.根据权利要求6所述的装置，其中，所述校正模块进一步配置成：
基于所述平滑伽玛曲线和预先建立的伽玛校正查找表对所述待校正图像的亮度进行校正。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
CN202011502782.0A 2020-12-18 2020-12-18 图像亮度校正方法、装置、设备以及存储介质 Active CN112714356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011502782.0A CN112714356B (zh) 2020-12-18 2020-12-18 图像亮度校正方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011502782.0A CN112714356B (zh) 2020-12-18 2020-12-18 图像亮度校正方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112714356A CN112714356A (zh) 2021-04-27
CN112714356B true CN112714356B (zh) 2023-03-21

Family

ID=75544495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011502782.0A Active CN112714356B (zh) 2020-12-18 2020-12-18 图像亮度校正方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112714356B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115689903A (zh) * 2021-07-23 2023-02-03 Oppo广东移动通信有限公司 图像处理方法及装置、设备、存储介质
CN113763281B (zh) * 2021-09-17 2023-12-12 无锡睿勤科技有限公司 伽马曲线调整方法及装置
CN114244969B (zh) * 2021-12-21 2024-03-15 上海集成电路装备材料产业创新中心有限公司 一种图像亮度校正方法和硬件系统
CN114390157A (zh) * 2021-12-31 2022-04-22 上海宇思微电子有限公司 一种Gamma校正的方法及系统
CN114677983B (zh) * 2022-03-30 2023-04-28 Oppo广东移动通信有限公司 显示校准方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266103B1 (en) * 1998-04-03 2001-07-24 Da Vinci Systems, Inc. Methods and apparatus for generating custom gamma curves for color correction equipment
CN101075428A (zh) * 2007-06-26 2007-11-21 四川长虹电器股份有限公司 多段Gamma曲线校正方法
CN101771827A (zh) * 2008-12-29 2010-07-07 深圳艾科创新微电子有限公司 一种通过伽玛校正调整图像亮度的装置及方法
CN105976760A (zh) * 2016-06-30 2016-09-28 维沃移动通信有限公司 一种终端屏幕的亮度调节方法及移动终端
CN108322739A (zh) * 2018-02-06 2018-07-24 四川长虹电器股份有限公司 一种降低亮度损失的液晶电视gamma曲线调试方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266103B1 (en) * 1998-04-03 2001-07-24 Da Vinci Systems, Inc. Methods and apparatus for generating custom gamma curves for color correction equipment
CN101075428A (zh) * 2007-06-26 2007-11-21 四川长虹电器股份有限公司 多段Gamma曲线校正方法
CN101771827A (zh) * 2008-12-29 2010-07-07 深圳艾科创新微电子有限公司 一种通过伽玛校正调整图像亮度的装置及方法
CN105976760A (zh) * 2016-06-30 2016-09-28 维沃移动通信有限公司 一种终端屏幕的亮度调节方法及移动终端
CN108322739A (zh) * 2018-02-06 2018-07-24 四川长虹电器股份有限公司 一种降低亮度损失的液晶电视gamma曲线调试方法

Also Published As

Publication number Publication date
CN112714356A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN112714356B (zh) 图像亮度校正方法、装置、设备以及存储介质
US9826149B2 (en) Machine learning of real-time image capture parameters
US20090317017A1 (en) Image characteristic oriented tone mapping for high dynamic range images
CN111598818A (zh) 人脸融合模型训练方法、装置及电子设备
CN111524166B (zh) 视频帧的处理方法和装置
CN106504278A (zh) 高动态范围色调映射
US10783837B2 (en) Driving method and driving device of display device, and related device
KR102552532B1 (ko) 이미지 렌더링 방법 및 장치
EP3379822A1 (en) Real-time video enhancement method, terminal, and nonvolatile computer readable storage medium
CN108596828B (zh) 图像泛光处理方法与装置、电子设备、存储介质
CN107077830B (zh) 适用于无人机控制端的屏幕亮度调整方法及无人机控制端
CN108600783B (zh) 一种帧率调节方法、装置及终端设备
US20130039577A1 (en) Method for improving image quality
CN112541868B (zh) 图像处理方法、装置、计算机设备和存储介质
WO2020001164A1 (en) Image enhancement method and apparatus
CN112102153A (zh) 图像的卡通化处理方法、装置、电子设备和存储介质
CN113014936A (zh) 视频插帧方法、装置、设备以及存储介质
CN113706393A (zh) 视频增强方法、装置、设备及存储介质
CN102938140A (zh) 图像的自动锐化
Vo et al. HDR10+ adaptive ambient compensation using creative intent metadata
US11354875B2 (en) Video blending method, apparatus, electronic device and readable storage medium
US11276154B2 (en) Multi-frame depth-based multi-camera relighting of images
Jang et al. Noniterative power-constrained contrast enhancement algorithm for OLED display
CN112614454A (zh) 显示亮度调节方法、装置和系统以及计算机可读存储介质
CN114727029B (zh) 视频的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant