CN112561847B - 图像处理方法及装置、计算机可读介质和电子设备 - Google Patents
图像处理方法及装置、计算机可读介质和电子设备 Download PDFInfo
- Publication number
- CN112561847B CN112561847B CN202011550070.6A CN202011550070A CN112561847B CN 112561847 B CN112561847 B CN 112561847B CN 202011550070 A CN202011550070 A CN 202011550070A CN 112561847 B CN112561847 B CN 112561847B
- Authority
- CN
- China
- Prior art keywords
- image
- adaptive
- target
- processed
- brightness data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 64
- 230000004927 fusion Effects 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000003044 adaptive effect Effects 0.000 claims description 150
- 238000013507 mapping Methods 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 25
- 230000000694 effects Effects 0.000 abstract description 6
- 235000019557 luminance Nutrition 0.000 description 95
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本公开提供一种图像处理方法、图像处理装置、计算机可读介质和电子设备涉及图像处理技术领域。该方法包括：获取待处理图像的待处理亮度数据，并基于预设亮度参数集合和待处理亮度数据确定自适应亮度数据集合；基于自适应亮度数据集合对待处理亮度数据和待处理图像进行图像处理，得到目标融合图像；提取目标融合图像的融合亮度数据和待处理图像的待处理色度数据，将融合亮度数据和待处理色度数据合并输出目标图像。本公开可以对图像处理的过程进行控制，避免使用相同数据对不同内容的图像进行处理导致的处理效果不可控的问题，同时可以实现对待处理图像的不同区域进行局部调整，增加局部图像细节的效果。
Description
技术领域
本公开涉及图像处理技术领域，具体涉及一种图像处理方法、图像处理装置、计算机可读介质和电子设备。
背景技术
在计算机发展迅速的时代，依托手机、数码相机等电子设备记录生活已经成为人类生活中不可或缺的一部分。相对于人眼能够同时感知明亮和黑暗区域的细节而言，摄像机在拍摄图像时，对亮度的感知存在较大的局限性，因此不能同时捕捉明亮和黑暗区域的细节。对应的，通过摄像机拍摄得到的图像则可能出现包含过曝光的明亮区域或者欠曝光的阴暗区域的问题。例如，在阳光下进行拍摄时，阳光照射的区域容易出现过曝光，导致该区域过于明亮的情况，相反没有阳光照射的区域则容易出现欠曝光，导致该区域过于阴暗的情况；再如，在对人脸进行拍摄时，若进行逆光拍摄，则很容易出现人脸过曝光的情况。
发明内容
本公开的目的在于提供一种图像处理方法、图像处理装置、计算机可读介质和电子设备，进而至少在一定程度上对图像动态范围不足的问题进行调整，避免相关技术中，由于过曝光、欠曝光等问题造成图像细节丢失，图像失真等问题。
根据本公开的第一方面，提供一种图像处理方法，包括：获取待处理图像的待处理亮度数据，并基于预设亮度参数集合和待处理亮度数据确定自适应亮度数据集合；基于自适应亮度数据集合对待处理亮度数据和待处理图像进行图像处理，得到目标融合图像；提取目标融合图像的融合亮度数据和待处理图像的待处理色度数据，将融合亮度数据和待处理色度数据合并输出目标图像；
其中，基于自适应亮度数据集合对待处理亮度数据和待处理图像进行图像处理，得到目标融合图像，包括：从自适应亮度数据集合中提取一组目标自适应亮度数据；基于目标自适应亮度数据和中间图像生成自适应掩膜，并基于目标自适应亮度数据对中间图像进行图像变换得到变换图像；其中，中间图像在初始状态下为待处理图像；根据自适应掩膜对变换图像和中间图像进行融合，得到融合图像；通过融合图像对中间图像进行更新，将目标自适应亮度数据从自适应亮度数据集合中删除；直至自适应亮度数据集合为空时，将中间图像作为目标融合图像输出。
根据本公开的第二方面，提供一种图像处理装置，包括：
数据生成模块，用于获取待处理图像的待处理亮度数据，并基于预设亮度参数集合和待处理亮度数据确定自适应亮度数据集合；
图像处理模块，用于基于自适应亮度数据集合对待处理亮度数据和待处理图像进行图像处理，得到目标融合图像；
图像生成模块，用于提取目标融合图像的融合亮度数据和待处理图像的待处理色度数据，将融合亮度数据和待处理色度数据合并输出目标图像；
其中，基于自适应亮度数据集合对待处理亮度数据和待处理图像进行图像处理，得到目标融合图像，包括：从自适应亮度数据集合中提取一组目标自适应亮度数据；基于目标自适应亮度数据和中间图像生成自适应掩膜，并基于目标自适应亮度数据对中间图像进行图像变换得到变换图像；其中，中间图像在初始状态下为待处理图像；根据自适应掩膜对变换图像和中间图像进行融合，得到融合图像；通过融合图像对中间图像进行更新，将目标自适应亮度数据从自适应亮度数据集合中删除；直至自适应亮度数据集合为空时，将中间图像作为目标融合图像输出。
根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面，提供一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
本公开的一种实施例所提供的图像处理方法，通过基于预设亮度参数集合和待处理亮度数据确定的自适应亮度数据集合，对待处理亮度数据和待处理图像进行处理，以生成自适应掩膜和变换图像，进而融合得到目标融合图像。然后基于目标融合图像的融合亮度数据和待处理图像原始的待处理色度数据共同输出目标图像。一方面，基于预设亮度参数集合和待处理亮度数据确定自适应亮度数据集合，进而对图像处理的过程进行控制，避免使用相同数据对不同内容的图像进行处理导致的处理效果不可控的问题；另一方面，基于自适应掩膜对变换图像和中间图像进行融合，可以实现对待处理图像的不同区域进行局部调整，增加局部图像细节的效果。此外，在整个处理过程中，仅需提前设置预设亮度参数集合，不需要对处理过程中其它参数进行调整，降低了调参过程的人力、无力消耗。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
图2示出了可以应用本公开实施例的一种电子设备的示意图；
图3示意性示出本公开示例性实施例中一种图像处理方法的流程图；
图4示意性示出本公开示例性实施例中一种得到目标融合图像的方法的流程图；
图5示出了可以应用本公开实施例的一帧待处理图像；
图6示出了本公开示例性实施例中一种自适应阴影掩膜；
图7示出了本公开示例性实施例中一种自适应高光掩膜；
图8示出了本公开示例性实施例中一种融合图像；
图9示出了本公开示例性实施例中另一种融合图像；
图10示出了本公开示例性实施例中的导向滤波处理过程示意图；
图11示出了本公开示例性实施例中另一种自适应阴影掩膜；
图12示出了本公开示例性实施例中另一种自适应高光掩膜；
图13示意性示出本公开示例性实施例中一种对待处理图像进行处理的方法的流程图；
图14示意性示出本公开示例性实施例中另一种对待处理图像进行处理方法的流程图；
图15示意性示出本公开示例性实施例中图像处理装置的组成示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种图像处理方法及装置的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的图像处理方法一般由终端设备101、102、103中执行，相应地，图像处理装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的图像处理方法也可以由服务器105执行，相应的，图像处理装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103包括的摄像头采集待处理图像，然后将待处理图像发送至服务器105，服务器通过本公开实施例所提供的图像处理方法得到输出的目标图像后，将目标图像返回至终端设备101、102、103等。
本公开的示例性实施方式提供一种用于实现图像处理方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行图像处理方法。
下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。
如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。
处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。在一些实施例中，可以通过NPU对用于二值化的算法模型进行训练，进而基于训练好的二值化模型对待处理亮度数据进行二值化。
处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。在一些实施例中，移动终端200可以通过无线通信功能接收其他终端发送的待处理图像，并在处理之后将目标图像返回。
移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中，ISP用于处理摄像模组291反馈的数据；摄像模组291用于捕获静态图像或视频；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。在一些实施例中，可以直接通过ISP和处理器210结合，对摄像模组291采集到的待处理图像执行本公开的图像处理方法，得到目标图像后直接在显示屏290中显示。
此外，移动终端200中还可包括其它提供辅助功能的设备。例如，按键294包括开机键，音量键等，用户可以通过按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如，指示器292、马达293、SIM卡接口295等。
在相关技术中，为了能够对图像的动态范围进行调整，往往会采用以下方式对对动态范围不足的图像进行处理：一是采用融合多帧不同曝光方式图像的方式提高图像的动态范围。例如，分别采用短曝光的方式获取明亮区域的图像，采用长曝光获取阴暗区域的图像，然后将两个图像融合，实现增加明亮区域和阴暗区域细节的效果。二是通过对单帧图像的对比度进行调整提高图像的动态范围。
上述两种方法，前者需要进行多张图像的采集，可能会出现多张图像拍摄角度不同，或者拍摄范围不同造成处理后的图像出现失真的问题；而后者，由于不同图像的内容不同，因此对整张图像进行对比度调整后，可能会导致原本亮度合适的区域变亮或变暗，造成调整效果不稳定，且不可控的问题。
基于上述一个或多个问题，本示例实施方式提供了一种图像处理方法。该图像处理方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。参考图3所示，该图像处理方法可以包括以下步骤S310至S330：
在步骤S310中，获取待处理图像的待处理亮度数据，并基于预设亮度参数集合和待处理亮度数据确定自适应亮度数据集合。
其中，预设亮度参数集合中可以包括至少一组预设亮度参数。具体的预设亮度参数可以包括针对不同区域设置的色调阈值和强度。例如，若需对过曝光的明亮区域进行处理时，可以设置高光色调阈值和高光强度；再如针对人脸区域进行识别时，可以设置人脸色调阈值和人脸强度。需要说明的是，上述强度值是指通过设置明亮/阴影强度“数量”调整光照校正量。强度的数值越大，阴影区域的增亮程度或者明亮区域的变暗程度越大；上述色调阈值是用于控制阴影或明亮区域中色调的修改范围的参数。当色调阈值较小时，只会针对亮度更低的一部分阴影区域进行调整，或者针对亮度更高的一部分明亮区域进行调整；当色调阈值较大时，则会将原本的亮度范围增大。例如，假设色调阈值为1时，仅针对亮度为0～1的阴影区域进行整，若色调阈值为2，则会针对亮度为0～2的阴影区域进行调整。
此外，为了进一步控制处理的过程，还可以设置处理的半径大小。具体的，半径大小是指每个像素周围的局部相邻像素的大小。相邻像素用于确定该像素是在阴影区域还是在明亮区域中。局部相邻像素的最佳大小取决于图像的分辨率。如果“半径”太大，则调整倾向于使整个图像变亮(或变暗)，而不是只使感兴趣区域变亮(或变暗)。
其中，待处理亮度数据可以包括针对YUV图像提取的Y通道数据，也可以包括其它方式获取到的用于表征图像亮度的数据，例如灰度值等。需要说明的是，在待处理图像并非YUV图像时，为了提取Y通道数据，可以提取对待处理图像进行转换，将其转换为YUV图像。
在一示例性实施例中，在基于预设亮度参数集合和待处理亮度数据确定自适应亮度数据集合时，可以先对待处理亮度数据进行二值化，获取二值化对应的分割阈值，然后分别根据预设亮度参数集合中的至少一组预设亮度参数组和分割阈值计算该组预设亮度参数对应的自适应亮度数据，进而基于每组预设亮度参数对应的自适应亮度数据生成自适应亮度数据集合。其中，进行二值化的过程可以基于各种算法进行，例如大律算法等。
举例而言，假设预设亮度参数包括两组，分别为针对高光区域和阴影区域设置的，包括高光色调阈值、高光强度，以及阴影色调阈值和阴影强度。此时，可以先基于大律算法对待处理图像亮度数据进行二值化，得到最佳阈值作为分割阈值。然后基于分割阈值和预设亮度参数组进行计算得到针对高光区域的自适应亮度数据和针对阴影区域的自适应亮度数据，进而得到自适应亮度数据集合。
其中，基于大律算法对待处理图像亮度数据进行二值化，得到最佳阈值作为分割阈值的过程，可以例如为：根据图像亮度数据的灰度特性，得到一最佳分割阈值，以将图像分成前景和背景两部分，并使得类间方差最大。具体的，对于一幅分辨率为M*N的图像，设当前景与背景的分割阈值为T时，前景像素占整幅图像比例为w0，平均灰度值为u0；背景像素占整幅图像比例为w1，平均灰度值为u1；图像中像素的灰度值小于阈值T的像素个数记作K0，像素灰度值大于阈值T的像素个数记作K1，设整个图像的平均灰度值为u，则有以下关系：
K0+K1＝MN 公式(3)
w0+w1＝1 公式(4)
u＝w0u0+w1u1 公式(5)
此时，可以基于公式(6)计算图像对应的类间方差g(T)，并确定使得g(T)最大的最佳分割阈值T，将其作为二值化对应的分割阈值Tmax：
g(T)＝w0(u0-u)2+w1(u0-u1)2 公式(6)
其中，基于分割阈值和预设亮度参数组进行计算得到针对高光区域的自适应亮度数据和针对阴影区域的自适应亮度数据，可以例如为：基于公式(7)至公式(10)，根据得到的分割阈值Tmax和两组预设亮度参数计算每组预设亮度参数对应的自适应亮度数据。
highlight_tonal＝Tmax×hl_tonal×0.028 公式(7)
highlight_amount＝Tmax×hl_amount×0.0067 公式(8)
shadow_tonal＝Tmax×sh_tonal×0.005 公式(9)
shadow_amount＝Tmax×sh_amount×0.0059 公式(10)
其中，hl_tonal和hl_amount分别为高光色调阈值和高光强度；sh_tonal和sh_amount分别为阴影色调阈值和阴影强度；highlight_tonal和highlight_amount为高光区域对应的一组自适应亮度数据；shadow_tonal和shadow_amount则为阴影区域对应的一组自适应亮度数据。
需要说明的是，上述计算公式作为一种实施方式在此处列举，除了上述计算公式以外，还可以采用其他公式进行计算，具体采用的计算方式可以根据不同图像区域的需求进行不同的设置，本公开对此不做特殊限定。
在步骤S320中，基于自适应亮度数据集合对待处理亮度数据和待处理图像进行图像处理，得到目标融合图像。
具体的，基于自适应亮度数据集合对待处理亮度数据和待处理图像进行图像处理，得到目标融合图像，参照图4所示，可以包括以下步骤S410至S450：
在步骤S410中，从自适应亮度数据集合中提取一组目标自适应亮度数据。
其中，自适应亮度数据集合中可以只包括一组自适应亮度数据，也可以同时包括多组自适应亮度数据。在自适应亮度数据集合中包括多组自适应亮度数据，为了使得目标融合图像对应的融合亮度数据为经过所有自适应亮度数据进行图像处理之后的图像，可以基于各组自适应亮度数据依次对待处理亮度数据和待处理图像进行处理。
具体的，可以先从自适应亮度数据集合中提取任意一组作为目标自适应亮度数据，在根据目标自适应亮度数据处理结束后，再在自适应亮度数据集合中提取下一组目标自适应亮度数据进行处理，直至自适应亮度数据集合中的所有自适应亮度数据均处理完毕。
在步骤S420中，基于目标自适应亮度数据和中间图像生成自适应掩膜，并基于目标自适应亮度数据对中间图像进行图像变换得到变换图像。
在一示例性实施例中，基于目标自适应亮度数据和中间图像生成自适应掩膜时，初始状态下，可以将待处理图像作为中间图像进行处理，先基于抽取的第一组目标自适应亮度数据和中间图像对应的中间亮度数据，对中间图像进行区域划分得到第一区域和第二区域，然后根据目标自适应亮度数据对第一区域和第二区域赋值，并根据第一区域和第二区域的赋值结果生成自适应掩膜。
在一示例性实施例中，在目标自适应亮度数据中包括目标色调阈值时，可以依据目标色调阈值对中间图像进行区域划分。具体的，可以目标色调阈值为界限，将中间亮度数据大于等于目标色调阈值的部分对应的中间图像区域确定为第一区域，并将其余中间亮度数据小于目标色调阈值的部分对应的中间图像区域确定为第二区域。
需要说明的是，在根据目标自适应亮度数据对第一区域和第二区域赋值时，可以根据目标自适应亮度数据的不同选择不同的方式进行赋值，本公开对不同目标自适应亮度数据对应的赋值方式不做特殊限定。
在一示例性实施例中，在目标色调阈值包括目标阴影阈值时，即需要处理的区域为由于欠曝光等原因导致的阴影区域时，可以生成自适应阴影掩膜。在进行赋值时，可以基于目标阴影阈值对第一区域对应的中间亮度数据进行映射，得到阴影掩膜赋值，然后以阴影掩膜赋值为第一区域的赋值，以预设阴影参数为第二区域的赋值，生成自适应阴影掩膜。
其中，基于目标阴影阈值对第一区域对应的中间亮度数据进行映射，得到阴影掩膜赋值的过程可以例如为：根据目标阴影阈值确定参数scale＝0.9*shadow_tonal，然后基于公式(11)将第一区域对应的中间亮度数据映射为阴影掩膜赋值：
H(i,j)＝(scale/I(i,j))4 公式(11)
其中，H(i,j)为阴影掩膜赋值，I(i,j)为中间亮度数据，scale为上述根据目标阴影阈值确定的参数。基于上述阴影掩膜赋值的确定方法，结合预设阴影参数对如图5所示的中间图像进行处理，可以得到如图6所示的自适应阴影掩膜。
在一示例性实施例中，在目标色调阈值包括目标高光阈值时，即需要处理的区域为由于过曝光等原因导致的明亮区域时，可以生成自适应高光掩膜。在进行赋值时，可以基于目标高光阈值对第二区域对应的中间亮度数据进行映射，得到高光掩膜赋值，然后以预设高光参数为第一区域的赋值，以高光掩膜赋值为第二区域的赋值，生成自适应高光掩膜。
其中，基于目标高光阈值对第二区域对应的中间亮度数据进行映射，得到高光掩膜赋值的过程可以例如为：在目标高光阈值大于0时，确定一个参数scale＝0.9/highlight_tonal，否则确定参数scale＝1.0。然后基于公式(12)将第二区域对应的中间亮度数据映射为高光掩膜赋值：
Y(i,j)＝(X(i,j)*scale)4 公式(12)
其中，Y(i,j)为高光掩膜赋值，X(i,j)为中间亮度数据，scale为上述根据目标高光阈值确定的参数。基于上述高光掩膜赋值的确定方法，结合预设高光参数对如图5所示的中间图像进行处理，可以得到如图7所示的自适应高光掩膜。
在一示例性实施例中，目标自适应亮度数据中包括目标自适应强度时，可以根据目标自适应强度对中间图中进行图像变换。具体的，可以基于目标自适应强度计算gamma值，然后以计算得到的gamma值为参数对中间图像进行gamma变换得到变换图像。
需要说明的是，针对不同的目标自适应强度，可以选择不同的方式确定对应的gamma值。例如，在需要处理的区域为由于欠曝光等原因导致的阴影区域时，目标自适应强度可以包括目标阴影强度shadow_amount。此时，可以根据如下公式(13)计算对应的gamma值：
再如，在需要处理的区域为由于过曝光等原因导致的明亮区域时，目标自适应强度可以包括目标高光强度highlight_amount。此时，可以根据如下公式(14)计算对应的gamma值：
需要说明的是，在目标自适应强度包括目标阴影强度时，为了进一步对阴影区域进行提亮，突出阴影区域的细节内容，可以在根据自适应掩膜对变换图像和中间图像进行融合之前，可以基于目标阴影强度对变换图像进行曲线映射，得到曲线映射后的变化图像，再对映射后的变化图像进行后续处理。
具体的，在对变换图像进行曲线映射时，可以根据目标阴影强度确定关键点参数，然后基于关键点参数确定目标关键点，并以预设关键点和目标关键点为基础对预设函数进行曲线拟合得到映射曲线，进而根据得到的映射曲线对变换图像的变换亮度数据进行映射，得到映射后的变换图像。
举例而言，可以先将变换图像的变换亮度数据归一化为成0～1之间的实数，此时可以设置预设关键点为(0，0)，(0.25,0.25)，(1,1)，然后基于如下公式(15)计算关键点参数：
在计算得到关键点参数后，可以根据关键点参数分别确定目标关键点(0.125,0.25×(0.125/0.25)contrast和(0.375，0.25×(0.375/0.25)contrast)。然后以上述三个预设关键点和确定的两个目标关键点为基础，对预设函数进行拟合，得到拟合后的映射曲线，并基于该映射曲线对变换图像的变换亮度数据进行映射，然后对其进行反归一化，得到映射后的变换图像。
此外，由于gamma变换时也需要对中间图像进行归一化，因此可以在gamma变换之后先不进行反归一化，直接基于映射曲线进行映射，并在映射结束后进行反归一化，以避免重复工作。
在步骤S430中，根据自适应掩膜对变换图像和中间图像进行融合，得到融合图像。
在一示例性实施例中，在得到自适应掩膜后，可以基于自适应掩膜对变换图像和中间图像进行融合。具体的，可以以自适应掩膜对应的赋值为权重，将变换图像和中间图像融合，生成融合图像。
例如，以进行图像变换后的图像5为基础，基于如图6所示的自适应阴影掩膜进行上述融合处理后，可以得到如图8所示，对阴影区域进行处理后的融合图像；再如，以进行图像变换后的图像5为基础，基于如图7所示的自适应高光掩膜进行上述融合处理后，可以得到如图9所示，对高光区域进行处理后的融合图像。
在步骤S440中，通过融合图像对中间图像进行更新，并将目标自适应亮度数据从自适应亮度数据集合中删除；
在步骤S450中，直至自适应亮度数据集合为空时，将中间图像作为目标融合图像输出。
在一示例性实施例中，在自适应亮度数据集合中包括多组自适应亮度数据时，为了避免进行重复处理，可以通过融合图像对中间图像进行更新，然后将目标自适应亮度数据从自适应亮度数据集合中删除。在经过所有的自适应亮度数据处理后，即自适应亮度数据集合为空时，可以将中间图像作为目标融合图像输出。
在步骤S330中，提取目标融合图像的融合亮度数据和待处理图像的待处理色度数据，将融合亮度数据和待处理色度数据合并输出目标图像。
在一示例性实施例中，在得到目标融合图像后，可以将提取目标融合图像对应的融合亮度数据，以及待处理图像的待处理色度数据，然后将合并，共同输出目标图像。
举例而言，在待处理图像为YUV图像时，可以提取目标融合图像对应的Y通道数据，即融合亮度数据，与待处理图像的UV通道数据，即待处理色度数据，然后基于提取的Y通道数据和UV通道数据，共同输出目标图像。
此外，在根据自适应掩膜对变换图像和中间图像进行融合之前，还可以以自适应掩膜为导向图像进行导向滤波，获取导向滤波后的自适应掩膜，进而根据导向滤波后的自适应掩膜进行后续处理。
其中，导向滤波是一种图像滤波技术，可以通过一帧导向图像I对输入图像P进行滤波处理，使得最后的输出图像整体与输入图像P相似，但是纹理部分与导向图像I相似，导向滤波过程的可以示意为如图10所示的过程。
具体的，导向滤波可以通过如下步骤实现：
依次计算导向率的相关系数，包括导向图像均值meanI、原始待滤波图像均值meanp、互相关均值corrIp及自相关均值corrI，自相关方差varI，互相关协方差covIp，窗口线性变换参数系数a、b，以及窗口线性变换参数系数a、b的均值。计算公式如下：
meanI＝fmean(I) 公式(16)
meanp＝fmean(p) 公式(17)
corrI＝fmean(I.*I) 公式(18)
corrIp＝fmean(I.*p) 公式(19)
varI＝corrI-meanI.*meanI 公式(20)
covIp＝corrIp-meanI.*meanp 公式(21)
a＝conIp./(varI+ε) 公式(22)
b＝meanp-a.*meanI 公式(23)
meana＝fmean(a) 公式(24)
meanb＝fmean(b) 公式(25)，
然后基于上述计算得到导向滤波输出图像P，如公式(26)所示：
q＝meana.*I+meanb 公式(26)
需要说明的是，在进行导向滤波时，针对不同的处理需求，可以选择不同的输入图像P。例如，在需要处理的区域为由于欠曝光等原因导致的阴影区域时，输入图像P可以是P(i,j)＝1/255。此时，对图6所示的自适应阴影掩膜进行导向滤波可以得到如图11所示的导向滤波后的自适应阴影掩膜；再如，在需要处理的区域为由于过曝光等原因导致的明亮区域时，输入图像P可以是P(i,j)＝254/255。此时，对图7所示的自适应高光掩膜进行导向滤波可以得到如图12所示的导向滤波后的自适应高光掩膜。
以下参照图13和图14，对本公开实施例的技术方案进行详细阐述。
针对待处理图像，假设同时需要对明亮区域和阴影区域进行处理，则可以基于针对明亮区域设置的预设亮度参数和针对阴影区域设置的预设亮度参数分别确定对应的自适应亮度数据，然后根据针对明亮区域和阴影区域的自适应亮度数据分别进行处理，得到目标融合图像，最后提取目标融合图像对应的融合亮度数据和待处理图像对应的待处理色度数据，并将融合亮度数据作为亮度通道数据，将待处理色度数据作为色度通道数据，合并输出目标图像。
其中，根据自适应亮度数据进行处理时，可以先针对明亮区域进行处理，后针对阴影区域进行处理；也可以先针对阴影区域进行处理，再针对明亮区域进行处理，本公开对处理的先后顺序不做特殊限定。
假设自适应亮度数据集合中仅包括上述针对明亮区域和针对阴影区域的两组自适应亮度数据，且从自适应亮度数据集合中提取两次目标自适应亮度数据的顺序为：针对明亮区域的自适应亮度数据、针对阴暗区域的自适应亮度数据。此时，可以先针对明亮区域进行处理，后针对阴影区域进行处理。具体的处理过程如下：
从自适应亮度数据集合中提取的第一组目标自适应亮度数据为针对明亮区域的自适应亮度数据，包括目标高光阈值和目标高光强度。参照图13所示，在步骤S1310中，以待处理图像为中间图像，提取待处理图像的Y通道数据；在步骤S1320中，基于目标高光阈值生成自适应高光掩膜；在步骤S1330中，对上述自适应高光掩膜进行导向滤波得到导向滤波后的自适应高光掩膜；在步骤S1340中，基于目标高光强度对待处理图像进行gamma变换，得到变换图像；在步骤S1350中，基于导向滤波后的自适应高光掩膜对变换图像和待处理图像进行加权融合，得到融合图像。
随后，以融合图像替换待处理图像作为中间图像，将针对明亮区域的自适应亮度数据从自适应亮度数据集合中删除。此时，自适应亮度数据集合中仅包括针对阴影区域的自适应亮度数据，包括目标阴影阈值和目标阴影强度。参照图14所示，在步骤S1410中，以步骤S1350中得到的融合图像为中间图像，提取中间图像的Y通道数据；在步骤S1420中，基于目标阴影阈值生成自适应阴影掩膜；在步骤S1430中，对上述自适应阴影掩膜进行导向滤波得到导向滤波后的自适应阴影掩膜；在步骤S1440中，基于目标阴影强度对中间图像进行gamma变换，得到变换图像；在步骤S1450中，根据目标阴影轻度确定的目标关键点和预设关键点进行曲线拟合，并基于拟合得到的映射曲线对变换图像的变换亮度数据进行映射，得到映射后的变换图像；在步骤S1460中，基于导向滤波后的自适应阴影掩膜对映射后的变换图像和中间图像进行加权融合，得到融合图像。
随后，利用步骤S1460中得到的融合图像对中间图像进行更新，并将针对阴影区域的自适应亮度数据从自适应亮度数据集合中删除。删除后，自适应亮度数据集合为空，因此可以将中间图像作为目标融合图像输出。
综上，本示例性实施方式中，通过对单张图像的明亮区域和阴影区域分别进行亮度调整，既可以恢复待处理图像中阴影区域的细节，又可以降低明亮区域中过亮像素的亮度，同时可以增强画面质感，便于用户对待处理图像进行分区域曝光调节。这一方法同时还可以提高更高的动态范围，增加图像细节，丰富图像内容，避免了用户高频逆光拍摄时无法同时捕捉到明亮区域和阴影区域细节的问题。
此外，作为本公开实施例的一种扩展方案，上述对待处理图像进行图像处理的过程，还可以用于人像分离曝光和主体分离曝光。具体的，可以在待处理图像中识别人脸或者主体，然后生成针对人脸或者主体以及其周围的过渡区域的掩膜，进而分别进行曝光调节，使得对人脸或者主体以及其周围的过渡区域的调节，不影响背景区域的调节；或者针对背景区域进行调节，而不影响人脸或者主体及其周围的过程区域。
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图15所示，本示例的实施方式中还提供一种图像处理装置1500，包括数据生成模块1510、图像处理模块1520和图像生成模块1530。其中：
数据生成模块1510可以用于获取待处理图像的待处理亮度数据，并基于预设亮度参数集合和待处理亮度数据确定自适应亮度数据集合。
图像处理模块1520可以用于基于自适应亮度数据集合对待处理亮度数据和待处理图像进行图像处理，得到目标融合图像。
其中，基于自适应亮度数据集合对待处理亮度数据和待处理图像进行图像处理，得到目标融合图像，包括：
从自适应亮度数据集合中提取一组目标自适应亮度数据；
基于目标自适应亮度数据和中间图像生成自适应掩膜，并基于目标自适应亮度数据对中间图像进行图像变换得到变换图像；其中，中间图像在初始状态下为待处理图像；
根据自适应掩膜对变换图像和中间图像进行融合，得到融合图像；
通过融合图像对中间图像进行更新，将目标自适应亮度数据从自适应亮度数据集合中删除；
直至自适应亮度数据集合为空时，将中间图像作为目标融合图像输出。
图像生成模块1530可以用于提取目标融合图像的融合亮度数据和待处理图像的待处理色度数据，将融合亮度数据和待处理色度数据合并输出目标图像。
在一示例性实施例中，数据生成模块1510可以用于对待处理亮度数据进行二值化，以获取二值化对应的分割阈值；基于预设亮度参数集合中的至少一组预设亮度参数组和分割阈值进行计算，得到各预设亮度参数组对应的自适应亮度数据；基于各预设亮度参数组对应的自适应亮度数据生成自适应亮度数据集合。
在一示例性实施例中，图像处理模块1520可以用于基于目标自适应亮度数据和中间图像对应的中间亮度数据，对中间图像进行区域划分得到第一区域和第二区域；根据目标自适应亮度数据对第一区域和第二区域进行赋值生成自适应掩膜。
在一示例性实施例中，图像处理模块1520可以用于以目标色调阈值为界限，将中间图像中中间亮度数据大于等于目标色调阈值的区域确定为第一区域，并将中间图像中，中间亮度数据小于目标色调阈值的区域确定为第二区域。
在一示例性实施例中，图像处理模块1520可以用于基于目标阴影阈值对第一区域对应的中间亮度数据进行映射，得到阴影掩膜赋值；以阴影掩膜赋值为第一区域的赋值，以预设阴影参数为第二区域的赋值，生成自适应阴影掩膜。
在一示例性实施例中，图像处理模块1520可以用于基于目标高光阈值对第二区域对应的中间亮度数据进行映射，得到高光掩膜赋值；以预设高光参数为第一区域的赋值，以高光掩膜赋值为第二区域的赋值，生成自适应高光掩膜。
在一示例性实施例中，图像处理模块1520可以用于基于目标自适应强度计算gamma值，并以gamma值为参数对中间图像进行gamma变换得到变换图像。
在一示例性实施例中，图像处理模块1520可以用于根据目标阴影强度确定关键点参数，并基于关键点参数确定目标关键点；基于预设关键点和目标关键点对预设函数进行曲线拟合，以确定映射曲线；基于映射曲线对变换图像的变换亮度数据进行映射，得到映射后的变换图像。
在一示例性实施例中，图像处理模块1520可以用于对自适应掩膜进行导向滤波，以获取导向滤波后的自适应掩膜。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图4、图13至图14中任意一个或多个步骤。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像的待处理亮度数据，并基于预设亮度参数集合和所述待处理亮度数据确定自适应亮度数据集合；
基于所述自适应亮度数据集合对所述待处理亮度数据和所述待处理图像进行图像处理，得到目标融合图像；
提取所述目标融合图像的融合亮度数据和所述待处理图像的待处理色度数据，将所述融合亮度数据和所述待处理色度数据合并输出目标图像；
其中，所述基于所述自适应亮度数据集合对所述待处理亮度数据和所述待处理图像进行图像处理，得到目标融合图像，包括：
从所述自适应亮度数据集合中提取一组目标自适应亮度数据；
基于所述目标自适应亮度数据和中间图像生成自适应掩膜，并基于所述目标自适应亮度数据对所述中间图像进行图像变换得到变换图像；其中，所述中间图像在初始状态下为所述待处理图像；
根据所述自适应掩膜对所述变换图像和所述中间图像进行融合，得到融合图像；
通过所述融合图像对所述中间图像进行更新，将所述目标自适应亮度数据从所述自适应亮度数据集合中删除；
直至所述自适应亮度数据集合为空时，将所述中间图像作为目标融合图像输出。
2.根据权利要求1所述的方法，其特征在于，所述基于预设亮度参数集合和所述待处理亮度数据确定自适应亮度数据集合，包括：
对所述待处理亮度数据进行二值化，以获取二值化对应的分割阈值；
基于所述预设亮度参数集合中的至少一组预设亮度参数组和所述分割阈值进行计算，得到各所述预设亮度参数组对应的自适应亮度数据；
基于各所述预设亮度参数组对应的自适应亮度数据生成自适应亮度数据集合。
3.根据权利要求1所述的方法，其特征在于，所述基于所述目标自适应亮度数据和中间图像生成自适应掩膜，包括：
基于所述目标自适应亮度数据和所述中间图像对应的中间亮度数据，对所述中间图像进行区域划分得到第一区域和第二区域；
根据所述目标自适应亮度数据对所述第一区域和所述第二区域进行赋值生成自适应掩膜。
4.根据权利要求3所述的方法，其特征在于，所述目标自适应亮度数据包括目标色调阈值；
所述基于所述目标自适应亮度数据和所述中间图像对应的中间亮度数据，对所述中间图像进行区域划分得到第一区域和第二区域，包括：
以所述目标色调阈值为界限，将所述中间图像中所述中间亮度数据大于等于所述目标色调阈值的区域确定为第一区域，并将所述中间图像中，所述中间亮度数据小于所述目标色调阈值的区域确定为第二区域。
5.根据权利要求4所述的方法，其特征在于，在所述目标色调阈值包括目标阴影阈值时，所述自适应掩膜包括自适应阴影掩膜；
所述根据所述目标自适应亮度数据对所述第一区域和所述第二区域进行赋值生成自适应掩膜，包括：
基于所述目标阴影阈值对所述第一区域对应的中间亮度数据进行映射，得到阴影掩膜赋值；
以所述阴影掩膜赋值为第一区域的赋值，以预设阴影参数为所述第二区域的赋值，生成自适应阴影掩膜。
6.根据权利要求4所述的方法，其特征在于，在所述目标色调阈值包括目标高光阈值时，所述自适应掩膜包括自适应高光掩膜；
所述根据所述目标自适应亮度数据对所述第一区域和所述第二区域进行赋值生成自适应掩膜，包括：
基于所述目标高光阈值对所述第二区域对应的中间亮度数据进行映射，得到高光掩膜赋值；
以预设高光参数为所述第一区域的赋值，以所述高光掩膜赋值为第二区域的赋值，生成自适应高光掩膜。
7.根据权利要求1所述的方法，其特征在于，所述目标自适应亮度数据包括目标自适应强度；
所述基于所述目标自适应亮度数据对所述中间图像进行图像变换得到变换图像，包括：
基于所述目标自适应强度计算gamma值，并以所述gamma值为参数对所述中间图像进行gamma变换得到变换图像。
8.根据权利要求7所述的方法，其特征在于，所述目标自适应强度包括目标阴影强度；
在所述根据所述自适应掩膜对所述变换图像和所述中间图像进行融合之前，所述方法还包括：
根据所述目标阴影强度确定关键点参数，并基于所述关键点参数确定目标关键点；
基于预设关键点和所述目标关键点对预设函数进行曲线拟合，以确定映射曲线；
基于所述映射曲线对所述变换图像的变换亮度数据进行映射，得到映射后的变换图像。
9.根据权利要求1所述的方法，其特征在于，在所述根据所述自适应掩膜对所述变换图像和所述中间图像进行融合之前，所述方法还包括：
对所述自适应掩膜进行导向滤波，以获取导向滤波后的自适应掩膜。
10.一种图像处理装置，其特征在于，包括：
数据生成模块，用于获取待处理图像的待处理亮度数据，并基于预设亮度参数集合和所述待处理亮度数据确定自适应亮度数据集合；
图像处理模块，用于基于所述自适应亮度数据集合对所述待处理亮度数据和所述待处理图像进行图像处理，得到目标融合图像；
图像生成模块，用于提取所述目标融合图像的融合亮度数据和所述待处理图像的待处理色度数据，将所述融合亮度数据和所述待处理色度数据合并输出目标图像；
其中，所述基于所述自适应亮度数据集合对所述待处理亮度数据和所述待处理图像进行图像处理，得到目标融合图像，包括：
从所述自适应亮度数据集合中提取一组目标自适应亮度数据；
基于所述目标自适应亮度数据和中间图像生成自适应掩膜，并基于所述目标自适应亮度数据对所述中间图像进行图像变换得到变换图像；其中，所述中间图像在初始状态下为所述待处理图像；
根据所述自适应掩膜对所述变换图像和所述中间图像进行融合，得到融合图像；
通过所述融合图像对所述中间图像进行更新，将所述目标自适应亮度数据从所述自适应亮度数据集合中删除；
直至所述自适应亮度数据集合为空时，将所述中间图像作为目标融合图像输出。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法。
12.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011550070.6A CN112561847B (zh) | 2020-12-24 | 2020-12-24 | 图像处理方法及装置、计算机可读介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011550070.6A CN112561847B (zh) | 2020-12-24 | 2020-12-24 | 图像处理方法及装置、计算机可读介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112561847A CN112561847A (zh) | 2021-03-26 |
| CN112561847B true CN112561847B (zh) | 2024-04-12 |
Family
ID=75033355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011550070.6A Active CN112561847B (zh) | 2020-12-24 | 2020-12-24 | 图像处理方法及装置、计算机可读介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561847B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1231566A1 (de) * | 2001-02-09 | 2002-08-14 | GRETAG IMAGING Trading AG | Digitale lokale Bildeigenschaftssteuerung mittels Masken |
| CN106373096A (zh) * | 2016-08-30 | 2017-02-01 | 电子科技大学 | 一种多特征权值自适应的阴影消除方法 |
| CN108171677A (zh) * | 2017-12-07 | 2018-06-15 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及相关设备 |
| CN110728648A (zh) * | 2019-10-25 | 2020-01-24 | 北京迈格威科技有限公司 | 图像融合的方法、装置、电子设备及可读存储介质 |
| CN111179282A (zh) * | 2019-12-27 | 2020-05-19 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
| CN111539905A (zh) * | 2020-05-15 | 2020-08-14 | 北京百度网讯科技有限公司 | 用于生成图像的方法、装置、设备以及存储介质 |
| CN111738122A (zh) * | 2020-06-12 | 2020-10-02 | Oppo广东移动通信有限公司 | 图像处理的方法及相关装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8644638B2 (en) * | 2011-02-25 | 2014-02-04 | Microsoft Corporation | Automatic localized adjustment of image shadows and highlights |
| JP6929711B2 (ja) * | 2017-06-15 | 2021-09-01 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム |
-
2020
- 2020-12-24 CN CN202011550070.6A patent/CN112561847B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1231566A1 (de) * | 2001-02-09 | 2002-08-14 | GRETAG IMAGING Trading AG | Digitale lokale Bildeigenschaftssteuerung mittels Masken |
| CN106373096A (zh) * | 2016-08-30 | 2017-02-01 | 电子科技大学 | 一种多特征权值自适应的阴影消除方法 |
| CN108171677A (zh) * | 2017-12-07 | 2018-06-15 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及相关设备 |
| CN110728648A (zh) * | 2019-10-25 | 2020-01-24 | 北京迈格威科技有限公司 | 图像融合的方法、装置、电子设备及可读存储介质 |
| CN111179282A (zh) * | 2019-12-27 | 2020-05-19 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
| CN111539905A (zh) * | 2020-05-15 | 2020-08-14 | 北京百度网讯科技有限公司 | 用于生成图像的方法、装置、设备以及存储介质 |
| CN111738122A (zh) * | 2020-06-12 | 2020-10-02 | Oppo广东移动通信有限公司 | 图像处理的方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112561847A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11765466B2 (en) | Imaging control method and apparatus, electronic device, and computer readable storage medium | |
| CN110033418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110766621B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111179282B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN113518185B (zh) | 视频转换处理方法、装置、计算机可读介质及电子设备 | |
| CN116113976A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN110047060B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN113781370A (zh) | 图像的增强方法、装置和电子设备 | |
| CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
| CN109348207B (zh) | 色温调节方法、图像处理方法及装置、介质和电子设备 | |
| CN112822413B (zh) | 拍摄预览方法、装置、终端和计算机可读存储介质 | |
| CN113658065A (zh) | 图像降噪方法及装置、计算机可读介质和电子设备 | |
| CN113066020A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN105338221B (zh) | 一种图像处理方法及电子设备 | |
| CN113112422A (zh) | 图像处理方法、装置、电子设备、计算机可读介质 | |
| CN111953888B (zh) | 暗光成像方法、装置、计算机可读存储介质及终端设备 | |
| CN112561847B (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN112489144A (zh) | 图像处理方法、图像处理装置、终端设备及存储介质 | |
| CN111447360A (zh) | 应用程序控制方法及装置、存储介质、电子设备 | |
| CN116614716A (zh) | 图像处理方法、图像处理装置、存储介质及电子设备 | |
| CN113298829B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113011328B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113610720A (zh) | 视频去噪方法及装置、计算机可读介质和电子设备 | |
| CN114119413A (zh) | 图像处理方法及装置、可读介质和移动终端 | |
| CN115187487A (zh) | 图像处理方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |