CN110047060A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110047060A
CN110047060A CN201910300345.1A CN201910300345A CN110047060A CN 110047060 A CN110047060 A CN 110047060A CN 201910300345 A CN201910300345 A CN 201910300345A CN 110047060 A CN110047060 A CN 110047060A
Authority
CN
China
Prior art keywords
brightness
region
clothes region
clothes
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910300345.1A
Other languages
English (en)
Other versions
CN110047060B (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910300345.1A priority Critical patent/CN110047060B/zh
Publication of CN110047060A publication Critical patent/CN110047060A/zh
Application granted granted Critical
Publication of CN110047060B publication Critical patent/CN110047060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备,其中,本申请实施例获取目标场景的多帧raw图像和第一合成图像;识别第一合成图像中人像的服装区域,并判断服装区域的颜色是否符合预设条件;若是,则检测服装区域在多帧raw图像中的亮度;根据亮度确定服装区域的期望亮度;根据服装区域在第一合成图像中的当前亮度和期望亮度,计算局部色调映射算子;根据局部色调映射算子对服装区域进行色调映射处理、根据预设色调映射算子对除服装区域之外的区域进行色调映射处理,将第一合成图像转换为第二合成图像,能够避免生成的HDR图像中人像的服装区域失真。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
传统的HDR(High-Dynamic Range,高动态范围)图像处理方案,在色调映射过程中,通常会对合成图像中过曝的像素点进行压暗处理。而在人像拍摄模式下,一般会有限考虑人像的亮度,为了使人像的亮度保持在正常水平,一般从曝光度高的图像中获取人像部分的大部分信息。这种模式下,如果人物穿着亮色衣服,合成图像中亮色衣服区域会呈现出过曝状态,故在之后的色调映射(tone mapping)过程中,亮色衣服区域会被压暗处理,可能会造成人像中的衣服在整个图像中的亮度显示效果与实际场景相差较大的情况,导致合成图像中人像的服装区域失真。
发明内容
本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备能够避免生成的HDR图像中人像的服装区域失真。
第一方面,本申请实施例了提供了的一种图像处理方法,包括:
获取多帧raw图像和根据所述多帧raw图像生成的第一合成图像,其中,所述多帧raw图像的曝光度不同,所述第一合成图像具有高动态范围;
识别所述第一合成图像中人像的服装区域,并判断所述服装区域的颜色是否符合预设条件;
若是,则检测所述服装区域在所述多帧raw图像中的亮度;
根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度;
根据所述服装区域在所述第一合成图像中的当前亮度,以及所述期望亮度,计算所述服装区域对应的局部色调映射算子;
根据所述局部色调映射算子对所述服装区域进行色调映射处理、根据预设色调映射算子对除所述服装区域之外的区域进行色调映射处理,将所述第一合成图像转换为第二合成图像。
第二方面,本申请实施例了提供了的一种图像处理装置,包括:
图像获取模块,用于获取多帧raw图像和根据所述多帧raw图像生成的第一合成图像,其中,所述多帧raw图像的曝光度不同,所述第一合成图像具有高动态范围;
区域检测模块,用于识别所述第一合成图像中人像的服装区域,并判断所述服装区域的颜色是否符合预设条件;
亮度检测模块,用于若所述服装区域的颜色符合预设条件,则检测所述服装区域在所述多帧raw图像中的亮度;
参数计算模块,用于根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度;
以及,根据所述服装区域在所述第一合成图像中的当前亮度,以及所述期望亮度,计算所述服装区域对应的局部色调映射算子;
图像处理模块,用于根据所述局部色调映射算子对所述服装区域进行色调映射处理、根据预设色调映射算子对除所述服装区域之外的区域进行色调映射处理,将所述第一合成图像转换为第二合成图像。
第三方面,本申请实施例提供的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的图像处理方法。
第四方面,本申请实施例提供了一种电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的图像处理方法。
本申请实施例提供的技术方案,获取目标场景的多帧raw图像以及根据多帧raw图像生成的第一合成图像,识别第一合成图像中的服装区域,并判断服装区域的颜色是否符合预设条件,若是,则检测该服装区域在多帧raw图像中的亮度,根据服装区域在多帧raw图像中的亮度确定其在第二合成图像中的期望亮度,根据服装区域在第一合成图像中的当前亮度和期望亮度计算对应的局部色调映射算子,在对第一合成图像进行色调映射处理时,按照计算得到的局部色调映射算子对服装区域的亮度进行压缩处理,按照预设色调映射算子对除了服装区域之外的区域的亮度进行压缩处理,以使得到的第二合成图像中的服装区域的亮度接近实际场景的亮度,以使压缩后的第二合成图像中人物的衣服在整个图像中的亮度显示效果接近实际场景的显示效果,能够避免生成的HDR图像中人像的服装区域失真。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法的第一种流程示意图。
图2为本申请实施例提供的图像处理方法中人像区域与服装区域的示意图。
图3为本申请实施例提供的图像处理方法的第二种流程示意图。
图4为本申请实施例提供的图像处理装置的结构示意图。
图5为本申请实施例提供的电子设备的结构示意图。
图6为本申请实施例提供的电子设备的图像处理电路的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种图像处理方法,该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备,其中该图像处理装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参照图1,图1为本申请实施例提供的图像处理方法的第一种流程示意图。本申请实施例提供的图像处理方法的具体流程可以如下:
101、获取多帧raw图像和根据所述多帧raw图像生成的第一合成图像,其中,所述多帧raw图像的曝光度不同,所述第一合成图像具有高动态范围。
本申请实施例中,电子设备的摄像头由透镜和图像传感器构成,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即RAW图像。其中,RAW图像是图像感应器将捕捉到的光源信号转化为数字信号的原始数据,是未经处理、也未经压缩的格式,可以将RAW图像理解为“RAW图像编码数据”或者形象地称为“数字底片”。
为了更好地反映真实环境中的视觉效果,针对相同的目标场景,按照不同的曝光参数连续拍摄多张曝光程度不同的图像,这些不同曝光的图像中有欠曝光、正常曝光以及过曝光的图像,将这些不同曝光程度的多张图像进行合成处理,可以得到一张无论在阴影部分还是高光部分都有细节的高动态范围图像,即第一合成图像,相比普通的图像,能够提供更大的动态范围和图像细节。其中,曝光(Exposure)是指摄影的过程中允许进入镜头照在感光媒体(胶片相机的底片或是数码照相机的图像传感器)上的光量。“曝光”可以经由光圈,快门和感光媒体的感光度的组合来控制。
其中,在上述多帧图像曝光程度不同的图像中,过曝光的图像保留了目标场景中较暗区域的特征,欠曝光的图像保留了目标场景中较亮区域的特征,在合成时可以利用过曝光的图像保留的目标场景中较暗区域的特征以及欠曝光的图像保留的目标场景中较亮区域的特征进行合成得到合成图像,这样,合成图像既保留了目标场景中较暗区域的特征,又保留了目标场景中较亮区域的特征,从而实现高动态范围的效果。
102、识别所述第一合成图像中人像的服装区域,并判断所述服装区域的颜色是否符合预设条件。
在一些实施例中,可以采用预先设置的服装区域识别算法对第一合成图像中人像的服装区域进行识别,例如,预先训练好的能够识别人物衣服的卷积神经网络模型等。或者,在另外一些实施例中,“识别所述第一合成图像中人像的服装区域”包括:识别所述第一合成图像中的人脸区域;根据所述人脸区域的位置确定所述服装区域。具体地,先识别出第一合成图像中的人脸区域,假设人脸区域下方一定距离内的区域为服装区域,则对该区域进行检测,检测出服装的轮廓,根据检测到轮廓确定服装区域。参照图2所示,图2为本申请实施例提供的图像处理方法中人像区域与服装区域的示意图。其中,服装区域仅为便于说明本方案的简略示意,在实际应用中,可以通过服装区域识别算法准确识别服装区域的边界。
在确定服装区域后,检测服装区域的颜色,并判断颜色是否符合预设条件,其中,预设条件用于判断服装区域的颜色是否为亮色,亮色一般是指RGB三通道的像素值比较高、且接近于白色的颜色。例如,在一些实施例中,可以通过以下方式判断。
“判断所述服装区域的颜色是否符合预设条件”包括:获取所述服装区域各像素点在RGB三通道的像素值;判断是否有预设比例的像素点符合所述预设条件,其中,所述预设条件为所述RGB三通道中至少有两个通道的像素值大于第三预设阈值。对于第一合成图像,对服装区域的全部像素点的RGB三通道的像素值进行检测,当有预设比例的像素点的RGB三通道中至少有两个通道的像素值大于第三预设阈值,则判定服装区域的颜色符合条件。或者,在一些实施例中,预设条件为所述RGB三通道中至少有两个通道的像素值大于第三预设阈值、且另一通道的像素值大于第四预设阈值,其中,第四预设阈值小于第三预设阈值。
或者,在其他实施例中,“判断所述服装区域的颜色是否符合预设条件”包括:获取所述服装区域各像素点的灰度;判断是否有预设比例的像素点的灰度大于第二预设阈值,其中,若是,则判定所述服装区域的颜色符合所述预设条件。对于第一合成图像,获取其服装区域中各像素点的灰度,当这些像素点中有预设比例的像素点的灰度大于第二预设阈值时,判定服装区域的颜色满足预设条件,否则,判定不满足预设条件。其中,上述第二预设阈值、第三预设阈值、第四预设阈值均为经验值,可以根据实际需求进行调整。
103、若是,则检测所述服装区域在所述多帧raw图像中的亮度。
104、根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度。
由于常见的数字图像显示设备通常只支持0-255共256个亮度级,并不能直接显示由原始的raw图像合成得到的第一合成图像,因此在图像显示之前的某个阶段,需要对通过HDR合成处理生成的第一合成图像进行动态范围压缩处理,生成第二合成图像,以适应显示设备的能力,这个对图像进行压缩处理的过程即为色调映射(Tone Mapping)。本质上来讲,色调映射是进行大幅度的对比度衰减将场景亮度变换到可以显示的范围,同时保持图像细节与颜色等对于表现原始场景非常重要的信息。
需要说明的是,在获取到raw图像之后,计算期望亮度之前,可以将获取到的多帧raw图像均转换为8bit的灰度图,转换后的灰度图具有256个亮度级。
另外,可以理解的是,图像是由多个像素点构成的,因此,一个区域的亮度实际上是由该区域内的全部像素点的亮度构成的。基于这样的原理,可以使用区域内全部像素点的亮度构成的集合来表示该区域的亮度,本文中的一个区域的亮度并不是一个的单一的数值,而是多个数值的集合。此外,本申请实施例中使用灰度来表示像素点的亮度。由原始的raw图像转换得到的8bit灰度图和最终生成的第二合成图像都是具有256个亮度级,即具有256个灰度级。
此外,由于高动态范围图像中像素点的亮度值分布的很不均匀,只有少数的像素点较亮,如果直接对图像进行线性的归一化(把亮度最大值映射为255,最小值映射为0),然后再进行显示,则图像会呈现出一片黑,这是因为图像中大多数像素点的亮度都被压缩到0。故色调映射时一般会按照非线性的参数对图像进行压缩,例如,色调映射参数可以是色调映射算子,色调映射算子体现在坐标系中时为一条曲线,一般是根据需要的显示效果预先配置在相机中。
HDR相关方案中,一般会根据不同的拍照模式,预先设置好对应的图像合成参数设置在相机或者电子设备中。例如,针对人像拍摄模式,会预先设置适用于该模式的预设合成参数。但是在相关的HDR方案中,人像拍摄模式下,保证拍摄得到的图像中人像区域的亮度是评估图像质量的首要因素。故在拍摄HDR图像时,为了使人像的亮度保持在正常水平,一般更多的从亮帧图像中获取人像部分的信息,如果拍摄场景中的人物穿着颜色较亮的衣服,会导致合成图像中亮色衣服的区域呈现出过曝的状态,而在之后的色调映射(tonemapping)过程中,如果采用通用的色调映射算子对图像整体进行色调映射处理,会使过曝程度高的区域被压暗处理,则导致亮色衣服区域也被压暗处理,可能出现整体的人像区域的显示效果与实际场景相差较大,导致人像看起来不真实。
本申请实施例中,为了使最终经过压缩处理后的第二合成图像能够尽可能还原实际场景,避免图像失真,从合成的高动态图像中识别出人像的服装区域,对服装区域在原始的raw图像中的亮度进行分析,确定出服装区域在第二合成图像中的期望亮度,根据服装区域分别在第一合成图像中的当前亮度和在第二合成图像中的期望亮度,反推出服装区域的局部色调映射算子,那么在色调映射过程中,即可根据局部色调映射算子服装区域进行单独处理,避免其亮度被过度压缩,使其保证应有的亮度。
若检测到服装区域的颜色满足预设条件,则对服装区域在多帧原始的raw图像中的亮度进行检测,获取服装区域中每个像素点分别在多帧raw图像中的亮度值,根据获取到的多个亮度值从多帧raw图像中选择曝光度高于第一预设阈值的raw图像作为参考图像,以该参考图像中服装区域的亮度作为基准,计算期望亮度。
参照图3所示,图3为本申请实施例提供的图像处理方法的第二种流程示意图。
“根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度”包括:
1041、从所述多帧raw图像中获取所述服装区域的曝光度大于第一预设阈值的raw图像,作为参考图像;
1042、获取与所述参考图像的曝光度对应的调整参数;
1043、根据所述服装区域在所述参考图像中的亮度和所述调整参数,计算所述服装区域的期望亮度。
例如,电子设备在HDR拍照模式下,对目标场景分别以欠曝光、正常曝光、过曝光三种不同的曝光参数进行拍照,获取三张曝光度不同的raw图像。需要说明的是,在不同的场景下,光线强度不同,即使是按照同样的曝光参数拍照,拍摄得到的图像的曝光度也不相同。而实际拍照时,会根据拍摄场景的光线情况选择对应的曝光参数进行拍照,例如、在拍摄明亮的沙滩、雪景、强烈的阳光下景物、阴天时的场景等,场景光线不同,需要的曝光参数也不相同。此外,即使同一张图像,不同的区域曝光度也不同,例如,在强烈的阳光下,以天空为背景拍摄人物,如果采用过曝光的曝光参数拍摄图像,拍摄得到的raw图像中,可能人像区域为正常亮度,但是明亮的天空区域可能出现过曝。例如,对于本实施例中的场景来说,人像的服装区域为亮色时,根据经验值来说,大概率会出现过曝。
其中,第一预设阈值和调整参数为经验值。调整参数与曝光度之间成反比,例如,若曝光度较高,实际场景中的一些亮色在图像中的亮度较高,大概率能够满足对合成图像的期望亮度,调整参数可以较小,例如设置为1-1.1,若曝光度稍低,实际场景中的一些亮色在图像中的亮度可能不能够满足对合成图像的期望亮度,则调整参数可以较大,例如,设置为1.1-1.2,根据经验值预先设置曝光度与调整参数之间的映射关系。
以对目标场景分别以欠曝光、正常曝光、过曝光三种不同的曝光参数进行拍照,获取三张曝光度不同的raw图像为例,假设获取的三帧raw图像中只有过曝光拍摄的raw图像中服装区域的曝光度大于第一预设阈值,则将该过曝光拍摄的raw图像作为参考图像,获取该raw图像的曝光度,并根据预先设置的曝光度与调整参数之间的映射关系获取该曝光度对应的调整参数,根据服装区域在参考图像中的亮度和调整参数计算期望亮度。其中,在计算期望亮度时,计算根据服装区域的每个像素点在参考图像中的亮度和调整参数,计算服装区域的每个像素点的期望亮度。
如果获取的多帧raw图像中有至少两帧raw图像中服装区域的曝光度均大于第一预设阈值,则可以选择其中任意一帧raw图像作为参考图像,计算期望亮度。
105、根据所述服装区域在所述第一合成图像中的当前亮度,以及所述期望亮度,计算所述服装区域对应的局部色调映射算子。
“根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度”包括:根据所述服装区域中每一像素点在所述多帧raw图像中的亮度,确定所述服装区域中每一像素点的期望亮度;由所述服装区域中每一像素点的期望亮度构成所述服装区域的期望亮度。
“根据所述服装区域在所述第一合成图像中的当前亮度,以及所述期望亮度,计算所述服装区域对应的局部色调映射算子”包括:获取所述服装区域每一像素点在所述第一合成图像中的当前亮度,以及期望亮度;计算每一像素点的期望亮度和当前亮度之间的比值;根据每一像素点的所述比值,生成局部色调映射算子。
其中,第二合成图像中像素点的亮度=第一合成图像中像素点的亮度*色调映射算子,因此,在得到服装区域在第二合成图像中的期望亮度后,根据服装区域在第二合成图像中的期望亮度,以及在第一合成图像中的当前亮度,可以计算出服装区域对应的亮度范围内的局部色调映射算子。假设第一合成图像为10bit,则服装区域在第一合成图像中亮度可能处于一个较高的范围,例如800-1100,局部色调映射算子中包含有这个亮度范围的每个亮度值对应的映射系数,计算每一像素点的期望亮度和所述当前亮度之间的比值,根据每一像素点的所述比值,生成局部色调映射算子。
106,根据所述局部色调映射算子对所述服装区域进行色调映射处理、根据预设色调映射算子对除所述服装区域之外的区域进行色调映射处理,将所述第一合成图像转换为第二合成图像。
接下来,对第一合成图像进行色调映射处理,具体的,按照局部色调映射算子对服装区域进行色带哦映射处理,按照当前的拍照场景或者拍照模式下,默认的预设色调映射算子对除服装区域之外的区域进行色调映射处理,将第一合成图像转换为第二合成图像。
在一些实施例中,还可以根据对图像质量需求的不同设置其他的图像处理方案对转换得到的第二合成图像进行处理,以优化图像质量。
具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
由上可知,本申请实施例提出的图像处理方法,获取目标场景的多帧raw图像以及根据多帧raw图像生成的第一合成图像,识别第一合成图像中的服装区域,并判断服装区域的颜色是否符合预设条件,若是,则检测该服装区域在多帧raw图像中的亮度,根据服装区域在多帧raw图像中的亮度确定其在第二合成图像中的期望亮度,根据服装区域在第一合成图像中的当前亮度和期望亮度计算对应的局部色调映射算子,在对第一合成图像进行色调映射处理时,按照计算得到的局部色调映射算子对服装区域的亮度进行压缩处理,按照预设色调映射算子对除了服装区域之外的区域的亮度进行压缩处理,以使得到的第二合成图像中的服装区域的亮度接近实际场景的亮度,以使压缩后的第二合成图像中人物的衣服在整个图像中的亮度显示效果接近实际场景的显示效果,能够避免生成的HDR图像中人像的服装区域失真,使HDR图像在电子设备上呈现出更好的显示效果。
在一实施例中还提供了一种图像处理装置。请参阅图4,图4为本申请实施例提供的图像处理装置400的结构示意图。其中该图像处理装置400应用于电子设备,该图像处理装置400包括图像获取模块401、区域检测模块402、亮度检测模块403、参数计算模块404以及图像处理模块405,如下:
图像获取模块401,用于获取多帧raw图像和根据所述多帧raw图像生成的第一合成图像,其中,所述多帧raw图像的曝光度不同,所述第一合成图像具有高动态范围;
区域检测模块402,用于识别所述第一合成图像中人像的服装区域,并判断所述服装区域的颜色是否符合预设条件;
亮度检测模块403,用于若所述服装区域的颜色符合预设条件,则检测所述服装区域在所述多帧raw图像中的亮度;
参数计算模块404,用于根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度;
以及,根据所述服装区域在所述第一合成图像中的当前亮度,以及所述期望亮度,计算所述服装区域对应的局部色调映射算子;
图像处理模块405,用于根据所述局部色调映射算子对所述服装区域进行色调映射处理、根据预设色调映射算子对除所述服装区域之外的区域进行色调映射处理,将所述第一合成图像转换为第二合成图像。
在一些实施例中,参数计算模块404还用于:获取所述服装区域每一像素点在所述第一合成图像中的当前亮度和期望亮度;
计算每一像素点的所述期望亮度和所述当前亮度之间的比值;
根据每一像素点的所述比值,生成局部色调映射算子。
在一些实施例中,参数计算模块404还用于:从所述多帧raw图像中获取所述服装区域的曝光度大于第一预设阈值的raw图像,作为参考图像;
获取与所述参考图像的曝光度对应的调整参数;
根据所述服装区域在所述参考图像中的亮度和所述调整参数,计算所述服装区域的期望亮度。
在一些实施例中,区域检测模块402还用于:获取所述服装区域各像素点的灰度;
判断是否有预设比例的像素点的灰度大于第二预设阈值,其中,若是,则判定所述服装区域的颜色符合所述预设条件。
在一些实施例中,区域检测模块402还用于:获取所述服装区域各像素点在RGB三通道的像素值;
判断是否有预设比例的像素点符合所述预设条件,其中,所述预设条件为所述RGB三通道中至少有两个通道的像素值大于第三预设阈值。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
应当说明的是,本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思,在图像处理装置上可以运行图像处理方法实施例中提供的任一方法,其具体实现过程详见图像处理方法实施例,此处不再赘述。
由上可知,本申请实施例提出的图像处理装置,图像获取模块401获取目标场景的多帧raw图像以及根据多帧raw图像生成的第一合成图像,区域检测模块402识别第一合成图像中的服装区域,并判断服装区域的颜色是否符合预设条件,若是,则亮度检测模块403检测该服装区域在多帧raw图像中的亮度,根据服装区域在多帧raw图像中的亮度确定其在第二合成图像中的期望亮度,以及,根据服装区域在第一合成图像中的当前亮度和期望亮度计算对应的局部色调映射算子,图像处理模块405在对第一合成图像进行色调映射处理时,按照计算得到的局部色调映射算子对服装区域的亮度进行压缩处理,按照预设色调映射算子对除了服装区域之外的区域的亮度进行压缩处理,以使得到的第二合成图像中的服装区域的亮度接近实际场景的亮度,以使压缩后的第二合成图像中人物的衣服在整个图像中的亮度显示效果接近实际场景的显示效果,能够避免生成的HDR图像中人像的服装区域失真,使HDR图像在电子设备上呈现出更好的显示效果。
本申请实施例还提供一种电子设备,该电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图5,图5为本申请实施例提供的电子设备的结构示意图。电子设备800可以包括摄像模组801、存储器802、处理器803、触摸显示屏804、扬声器805、麦克风806等部件。
摄像模组801可以包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图6,图6为本实施例中图像处理电路的结构示意图。为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
例如图像处理电路可以包括:摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中,摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中,摄像头可为长焦摄像头或广角摄像头中的任一者。
摄像头采集的图像传输给图像信号处理器进行处理。图像信号处理器处理图像后,可将图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数,从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外,图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
存储器802存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器803通过运行存储在存储器802的应用程序,从而执行各种功能应用以及数据处理。
处理器803是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器802内的应用程序,以及调用存储在存储器802内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
触摸显示屏804可以用于接收用户对电子设备的触摸控制操作。扬声器805可以播放声音信号。麦克风806可以用于拾取声音信号。
在本实施例中,电子设备中的处理器803会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器802中,并由处理器803来运行存储在存储器802中的应用程序,从而执行:
获取多帧raw图像和根据所述多帧raw图像生成的第一合成图像,其中,所述多帧raw图像的曝光度不同,所述第一合成图像具有高动态范围;
识别所述第一合成图像中人像的服装区域,并判断所述服装区域的颜色是否符合预设条件;
若是,则检测所述服装区域在所述多帧raw图像中的亮度;
根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度;
根据所述服装区域在所述第一合成图像中的当前亮度,以及所述期望亮度,计算所述服装区域对应的局部色调映射算子;
根据所述局部色调映射算子对所述服装区域进行色调映射处理、根据预设色调映射算子对除所述服装区域之外的区域进行色调映射处理,将所述第一合成图像转换为第二合成图像。
在一些实施例中,在根据所述服装区域在所述第一合成图像中的当前亮度,以及所述期望亮度,计算所述服装区域对应的局部色调映射算子时,处理器803执行:
获取所述服装区域每一像素点在所述第一合成图像中的当前亮度和期望亮度;
计算每一像素点的所述期望亮度和所述当前亮度之间的比值;
根据每一像素点的所述比值,生成局部色调映射算子。
在一些实施例中,在根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度时,处理器803执行:
从所述多帧raw图像中获取所述服装区域的曝光度大于第一预设阈值的raw图像,作为参考图像;
获取与所述参考图像的曝光度对应的调整参数;
根据所述服装区域在所述参考图像中的亮度和所述调整参数,计算所述服装区域的期望亮度。
在一些实施例中,在判断所述服装区域的颜色是否符合预设条件时,处理器803执行:
获取所述服装区域各像素点的灰度;
判断是否有预设比例的像素点的灰度大于第二预设阈值,其中,若是,则判定所述服装区域的颜色符合所述预设条件。
在一些实施例中,在判断所述服装区域的颜色是否符合预设条件时,处理器803执行:
获取所述服装区域各像素点在RGB三通道的像素值;
判断是否有预设比例的像素点符合所述预设条件,其中,所述预设条件为所述RGB三通道中至少有两个通道的像素值大于第三预设阈值。
由上可知,本申请实施例提供了一种电子设备,所述电子设备获取目标场景的多帧raw图像以及根据多帧raw图像生成的第一合成图像,识别第一合成图像中的服装区域,并判断服装区域的颜色是否符合预设条件,若是,则检测该服装区域在多帧raw图像中的亮度,根据服装区域在多帧raw图像中的亮度确定其在第二合成图像中的期望亮度,根据服装区域在第一合成图像中的当前亮度和期望亮度计算对应的局部色调映射算子,在对第一合成图像进行色调映射处理时,按照计算得到的局部色调映射算子对服装区域的亮度进行压缩处理,按照预设色调映射算子对除了服装区域之外的区域的亮度进行压缩处理,以使得到的第二合成图像中的服装区域的亮度接近实际场景的亮度,以使压缩后的第二合成图像中人物的衣服在整个图像中的亮度显示效果接近实际场景的显示效果,能够避免第一合成图像中人像的服装区域失真。
本申请实施例还提供一种存储介质,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,所述计算机执行上述任一实施例所述的图像处理方法。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可以存储于计算机可读存储介质中,所述存储介质可以包括但不限于:只读存储器(ROM,Read OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
此外,本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的图像处理方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取多帧raw图像和根据所述多帧raw图像生成的第一合成图像,其中,所述多帧raw图像的曝光度不同,所述第一合成图像具有高动态范围;
识别所述第一合成图像中人像的服装区域,并判断所述服装区域的颜色是否符合预设条件;
若是,则检测所述服装区域在所述多帧raw图像中的亮度;
根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度;
根据所述服装区域在所述第一合成图像中的当前亮度,以及所述期望亮度,计算所述服装区域对应的局部色调映射算子;
根据所述局部色调映射算子对所述服装区域进行色调映射处理,并根据预设色调映射算子对除所述服装区域之外的区域进行色调映射处理,将所述第一合成图像转换为第二合成图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度,包括:
根据所述服装区域中每一像素点在所述多帧raw图像中的亮度,确定所述服装区域中每一像素点的期望亮度;
由所述服装区域中每一像素点的期望亮度构成所述服装区域的期望亮度;
所述根据所述服装区域在所述第一合成图像中的当前亮度,以及所述期望亮度,计算所述服装区域对应的局部色调映射算子,包括:
获取所述服装区域每一像素点在所述第一合成图像中的当前亮度和期望亮度;
计算每一像素点的期望亮度和当前亮度之间的比值;
根据每一像素点的所述比值,生成局部色调映射算子。
3.如权利要求1所述的图像处理方法,其特征在于,所述根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度,包括:
从所述多帧raw图像中获取所述服装区域的曝光度大于第一预设阈值的raw图像,作为参考图像;
获取与所述参考图像的曝光度对应的调整参数;
根据所述服装区域在所述参考图像中的亮度和所述调整参数,计算所述服装区域的期望亮度。
4.如权利要求1至3任一项所述的图像处理方法,其特征在于,所述判断所述服装区域的颜色是否符合预设条件,包括:
获取所述服装区域各像素点的灰度;
判断是否有预设比例的像素点的灰度大于第二预设阈值,其中,若是,则判定所述服装区域的颜色符合所述预设条件。
5.如权利要求1至3任一项所述的图像处理方法,其特征在于,所述判断所述服装区域的颜色是否符合预设条件,包括:
获取所述服装区域各像素点在RGB三通道的像素值;
判断是否有预设比例的像素点符合所述预设条件,其中,所述预设条件为所述RGB三通道中至少有两个通道的像素值大于第三预设阈值。
6.一种图像处理装置,其特征在于,包括:
图像获取模块,用于获取多帧raw图像和根据所述多帧raw图像生成的第一合成图像,其中,所述多帧raw图像的曝光度不同,所述第一合成图像具有高动态范围;
区域检测模块,用于识别所述第一合成图像中人像的服装区域,并判断所述服装区域的颜色是否符合预设条件;
亮度检测模块,用于若所述服装区域的颜色符合预设条件,则检测所述服装区域在所述多帧raw图像中的亮度;
参数计算模块,用于根据所述服装区域在所述多帧raw图像中的亮度,确定所述服装区域的期望亮度;
以及,根据所述服装区域在所述第一合成图像中的当前亮度,以及所述期望亮度,计算所述服装区域对应的局部色调映射算子;
图像处理模块,用于根据所述局部色调映射算子对所述服装区域进行色调映射处理、根据预设色调映射算子对除所述服装区域之外的区域进行色调映射处理,将所述第一合成图像转换为第二合成图像。
7.如权利要求6所述的图像处理装置,其特征在于,所述参数计算模块还用于:根据所述服装区域中每一像素点在所述多帧raw图像中的亮度,确定所述服装区域中每一像素点的期望亮度;
由所述服装区域中每一像素点的期望亮度构成所述服装区域的期望亮度;
以及,获取所述服装区域每一像素点在所述第一合成图像中的当前亮度和期望亮度;
计算每一像素点的所述期望亮度和所述当前亮度之间的比值;
根据每一像素点的所述比值,生成局部色调映射算子。
8.如权利要求6所述的图像处理装置,其特征在于,所述参数计算模块还用于:从所述多帧raw图像中获取所述服装区域的曝光度大于第一预设阈值的raw图像,作为参考图像;
获取与所述参考图像的曝光度对应的调整参数;
根据所述服装区域在所述参考图像中的亮度和所述调整参数,计算所述服装区域的期望亮度。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至5任一项所述的图像处理方法。
10.一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至5任一项所述的图像处理方法。
CN201910300345.1A 2019-04-15 2019-04-15 图像处理方法、装置、存储介质及电子设备 Active CN110047060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910300345.1A CN110047060B (zh) 2019-04-15 2019-04-15 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910300345.1A CN110047060B (zh) 2019-04-15 2019-04-15 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110047060A true CN110047060A (zh) 2019-07-23
CN110047060B CN110047060B (zh) 2022-12-20

Family

ID=67277166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910300345.1A Active CN110047060B (zh) 2019-04-15 2019-04-15 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110047060B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796689A (zh) * 2019-10-28 2020-02-14 咪咕视讯科技有限公司 一种视频处理方法、电子设备及存储介质
CN111263216A (zh) * 2020-02-14 2020-06-09 Tcl移动通信科技(宁波)有限公司 一种视频传输方法、装置、存储介质及终端
CN112317363A (zh) * 2020-10-15 2021-02-05 胡以亮 一种工业产品智能检测系统及检测方法
CN114463191A (zh) * 2021-08-26 2022-05-10 荣耀终端有限公司 一种图像处理方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157078A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated High dynamic range image combining
US20150170389A1 (en) * 2013-12-13 2015-06-18 Konica Minolta Laboratory U.S.A., Inc. Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
CN104835131A (zh) * 2015-04-20 2015-08-12 中国科学技术大学先进技术研究院 一种基于ic实现hdr图像生成及色调映射的方法和系统
CN107945107A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108109180A (zh) * 2017-12-12 2018-06-01 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN108198152A (zh) * 2018-02-07 2018-06-22 广东欧珀移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157078A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated High dynamic range image combining
US20150170389A1 (en) * 2013-12-13 2015-06-18 Konica Minolta Laboratory U.S.A., Inc. Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
CN104835131A (zh) * 2015-04-20 2015-08-12 中国科学技术大学先进技术研究院 一种基于ic实现hdr图像生成及色调映射的方法和系统
CN107945107A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108109180A (zh) * 2017-12-12 2018-06-01 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN108198152A (zh) * 2018-02-07 2018-06-22 广东欧珀移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
芦碧波等: "亮度分区自适应对数色调映射算法", 《计算机应用研究》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796689A (zh) * 2019-10-28 2020-02-14 咪咕视讯科技有限公司 一种视频处理方法、电子设备及存储介质
CN111263216A (zh) * 2020-02-14 2020-06-09 Tcl移动通信科技(宁波)有限公司 一种视频传输方法、装置、存储介质及终端
CN111263216B (zh) * 2020-02-14 2022-06-10 Tcl移动通信科技(宁波)有限公司 一种视频传输方法、装置、存储介质及终端
CN112317363A (zh) * 2020-10-15 2021-02-05 胡以亮 一种工业产品智能检测系统及检测方法
CN114463191A (zh) * 2021-08-26 2022-05-10 荣耀终端有限公司 一种图像处理方法及电子设备
CN114463191B (zh) * 2021-08-26 2023-01-31 荣耀终端有限公司 一种图像处理方法及电子设备

Also Published As

Publication number Publication date
CN110047060B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
CN107635102B (zh) 高动态范围图像曝光补偿值获取方法和装置
CN110445988B (zh) 图像处理方法、装置、存储介质及电子设备
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
CN108683862B (zh) 成像控制方法、装置、电子设备及计算机可读存储介质
CN108989700B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN110198417A (zh) 图像处理方法、装置、存储介质及电子设备
CN110062160A (zh) 图像处理方法和装置
CN108712608B (zh) 终端设备拍摄方法和装置
CN110047060A (zh) 图像处理方法、装置、存储介质及电子设备
CN110766621B (zh) 图像处理方法、装置、存储介质及电子设备
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN110225248A (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN108805103A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108156369B (zh) 图像处理方法和装置
CN110445989A (zh) 图像处理方法、装置、存储介质及电子设备
CN110381263A (zh) 图像处理方法、装置、存储介质及电子设备
CN110246101B (zh) 图像处理方法和装置
CN110213502A (zh) 图像处理方法、装置、存储介质及电子设备
CN107800971B (zh) 全景拍摄的自动曝光控制处理方法、装置及设备
CN109040607B (zh) 成像控制方法、装置、电子设备和计算机可读存储介质
US11601600B2 (en) Control method and electronic device
CN110166706A (zh) 图像处理方法、装置、电子设备以及存储介质
CN107454322A (zh) 拍照方法、装置、计算机可存储介质和移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant