CN110035237B - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110035237B CN110035237B CN201910280090.7A CN201910280090A CN110035237B CN 110035237 B CN110035237 B CN 110035237B CN 201910280090 A CN201910280090 A CN 201910280090A CN 110035237 B CN110035237 B CN 110035237B
- Authority
- CN
- China
- Prior art keywords
- image
- synthesized
- scene
- dynamic range
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 65
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 65
- 230000002194 synthesizing effect Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 18
- 239000002131 composite material Substances 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 230000000717 retained effect Effects 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备,其中,电子设备可以首先获取到拍摄场景的图像序列,其中包括曝光参数不同的多个场景图像,在合成其中前两个场景图像得到合成图像之后,该合成图像中某些区域的合成效果已经达到要求,不需要再进行合成,而对于合成效果未达到要求的区域(即动态范围值未达到预设动态范围值的目标区域),依序选取图像序列中尚未合成的下一个图像进行合成,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像。由此,并不需要对所有场景图像的全部区域都进行合成,能够提高合成得到高动态范围图像的效率。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
由于电子设备本身的硬件限制,目前的电子设备只能拍摄亮度范围比较小的场景,若在场景明暗相差太大时进行拍摄,拍摄出来的图像容易丢失明处和/或暗处的细节。为此,相关技术提出了高动态范围(或称宽动态范围)合成技术,通过拍摄多张图像合成一张高动态范围的图像。然而,相关技术合成高动态范围图像的效率较低。
发明内容
本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备,能够高效的实现高动态范围图像的合成。
第一方面,本申请实施例提供了一种图像处理方法,应用于电子设备,所述图像处理方法包括:
获取拍摄场景的图像序列,所述图像序列包括曝光参数不同的多个场景图像;
提取所述图像序列中的前两个场景图像,并合成所述前两个场景图像得到合成图像;
识别出所述合成图像中动态范围值未达到预设动态范围值的目标区域;
从所述图像序列中提取尚未合成的下一个图像,并根据所述目标区域合成所述尚未合成的下一个图像以及所述合成图像,直至合成得到所有区域的动态范围值均达到所述预设动态范围值的高动态范围图像。
第二方面,本申请实施例提供了一种图像处理装置,应用于电子设备,所述图像处理装置包括:
图像获取模块,用于获取拍摄场景的图像序列,所述图像序列包括曝光参数不同的多个场景图像;
图像合成模块,用于提取所述图像序列中的前两个场景图像,并合成所述前两个场景图像得到合成图像;
区域识别模块,用于识别出所述合成图像中动态范围值未达到预设动态范围值的目标区域;
所述图像合成模块还用于从所述图像序列中提取尚未合成的下一个图像,并根据所述目标区域合成所述尚未合成的下一个图像以及所述合成图像,直至合成得到所有区域的动态范围值均达到所述预设动态范围值的高动态范围图像。
第三方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请实施例提供的图像处理方法中的步骤。
第四方面,本申请实施例提供了一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请实施例提供的图像处理方法中的步骤。
本申请实施例中,电子设备可以首先获取到拍摄场景的图像序列,其中包括曝光参数不同的多个场景图像,在合成其中前两个场景图像得到合成图像之后,该合成图像中某些区域的合成效果已经达到要求,不需要再进行合成,而对于合成效果未达到要求的区域(即动态范围值未达到预设动态范围值的目标区域),依序选取图像序列中尚未合成的下一个图像进行合成,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像。由此,并不需要对所有场景图像的全部区域都进行合成,能够提高合成得到高动态范围图像的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的一流程示意图。
图2是本申请实施例中逐帧合成场景图像的示意图。
图3是本申请实施例中识别合成图像中目标区域的示意图。
图4是本申请实施例中第一摄像头和第二摄像头的设置位置示意图。
图5是本申请实施例中排序多个场景图像得到图像序列的一示意图。
图6是本申请实施例中拍摄多个场景图像得到图像序列另一示意图。
图7是本申请实施例提供的图像处理方法的另一流程示意图。
图8是本申请实施例提供的图像处理装置的一结构示意图。
图9是本申请实施例提供的电子设备的一结构示意图。
图10是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
本申请实施例首先提供一种图像处理方法,该图像处理方法应用于电子设备。其中,该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备,该图像处理装置可以采用硬件或者软件的方式实现,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。
请参照图1,图1为本申请实施例提供的图像处理方法的流程示意图。该图像处理方法应用于本申请实施例提供的电子设备,如图1所示,本申请实施例提供的图像处理方法的流程可以如下:
在101中,获取拍摄场景的图像序列,图像序列包括曝光参数不同的多个场景图像。
其中,电子设备在根据用户操作启动拍摄类应用程序(比如电子设备的系统应用“相机”)后,其摄像头所对准的场景即为拍摄场景。比如,用户通过手指点击电子设备上“相机”应用的图标启动“相机应用”后,若用户使用电子设备的摄像头对准一包括XX物体的场景,则该包括XX物体的场景即为拍摄场景。根据以上描述,本领域技术人员应当理解的是,拍摄场景并非特指某一特定场景,而是跟随摄像头的指向所实时对准的场景。
本申请实施例中,电子设备获取到对应拍摄场景的多个曝光参数不同的场景图像。其中,曝光参数包括曝光时长和曝光值(即俗称的EV值),比如,电子设备可以获取到长曝光时长和短曝光时长依次交叠的多个场景图像,以构成拍摄场景的图像序列;又比如,电子设备还可以获取到过曝光值和欠曝光值依次交叠的多个场景图像,以构成拍摄场景的图像序列;又比如,电子设备还可以以包围曝光的方式获取到拍摄场景的多个场景图像,以构成拍摄场景的图像序列。
在102中,提取图像序列中的前两个场景图像,并合成前两个场景图像得到合成图像。
本申请实施例中,电子设备在获取到拍摄场景的图像序列之后,电子设备首先提取出图像序列中的前两个场景图像,假设图像序列中共包括拍摄场景的3个场景图像,依序为场景图像A、场景图像B以及场景图像C,则电子设备从中提取出场景图像A和场景图像B以待合成。
在提取到图像序列中的前两个场景图像之后,电子设备进一步合成该前两个场景图像得到合成图像。
比如,假设前两个场景图像为短曝光时长的场景图像A和长曝光时长的场景图像B,由于场景图像A的曝光时长较场景图像B的曝光时长短,则场景图像A相较于场景图像B更多的保留拍摄场景中较亮区域的特征,而场景图像B则相较于场景图像A更多的保留拍摄场景中较暗区域的特征,由此,可以利用长曝光时长的场景图像A保留的拍摄场景中较暗区域的特征以及短曝光时长的场景图像B保留的拍摄场景中较亮区域的特征合成得到合成图像,该合成图像相较于原始的场景图像A和场景图像B具有更高的动态范围。
又比如,假设前两个场景图像为欠曝光的场景图像A和过曝光的场景图像B,由于场景图像A欠曝,则场景图像A相较于场景图像B更多的保留拍摄场景中较亮区域的特征,由于场景图像B过曝,则场景图像B则相较于场景图像A更多的保留拍摄场景中较暗区域的特征,由此,可以利用过曝光的场景图像A保留的拍摄场景中较暗区域的特征以及欠曝光的场景图像B保留的拍摄场景中较亮区域的特征合成得到合成图像,该合成图像相较于原始的场景图像A和场景图像B具有更高的动态范围。
在103中,识别出合成图像中动态范围值未达到预设动态范围值的目标区域。
本申请实施例中,电子设备在合成图像序列的前两个图像得到合成图像之后,进一步识别出合成图像中动态范围值未达到预设动态范围值的目标区域。
比如,电子设备可以将合成图像换分为多个子区域,对于合成图像的任一子区域,根据其图像亮度值对应的直方图方差来确定其动态范围值,或者根据其中亮度最高值和亮度最低值来确定其动态范围值;在确定出各子区域的动态范围值之后,确定出其中动态范围值未达到预设动态范围值的子区域,作为合成图像的目标区域。
应当说明的是,本申请实施例中对于预设动态范围值的取值不做具体限制,可由本领域普通技术人员根据实际需要取合适值。
在104中,从图像序列中提取尚未合成的下一个图像,并根据目标区域合成尚未合成的下一个图像以及合成图像,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像。
本申请实施例中,电子设备在识别出合成图像中动态范围值未达到预设动态范围值的目标区域之后,进一步从图像序列中提取尚未合成的下一个图像,并根据目标区域合成尚未合成的下一个图像以及合成图像,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像。请参照图2,通俗的说,即在完成图像序列中前两个合成图像的合成之后,其中某些区域的合成效果已经达到要求,不需要再进行合成,而对于合成效果未达到要求的区域(即动态范围值未达到预设动态范围值的目标区域),依序选取图像序列中尚未合成的下一个图像针对合成效果未达到要求的区域进行合成,得到新的合成图像,再确定出新的合成图像中合成效果未达到要求的区域继续合成,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像(如图2所示,随着合成次数的增加,合成效果未达到要求的区域(即目标区域)逐渐减小)。
由上可知,本申请实施例中,电子设备可以首先获取到拍摄场景的图像序列,其中包括曝光参数不同的多个场景图像,在合成其中前两个场景图像得到合成图像之后,该合成图像中某些区域的合成效果已经达到要求,不需要再进行合成,而对于合成效果未达到要求的区域(即动态范围值未达到预设动态范围值的目标区域),依序选取图像序列中尚未合成的下一个图像进行合成,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像。由此,并不需要对所有场景图像的全部区域都进行合成,能够提高合成得到高动态范围图像的效率。
在一实施例中,“识别出合成图像中动态范围值未达到预设动态范围值的目标区域”,包括:
(1)降采样合成图像得到降采样图像;
(2)获取降采样图像中各区域的动态范围值,并确定出降采样图像中动态范围值未达到预设动态范围值的区域;
(3)根据降采样图像中动态范围值未达到预设动态范围值的区域在合成图像中确定出目标区域。
应当说明的是,在本申请实施例中,考虑到合成图像的分辨率较高,若直接对其进行识别,可能会花费较长的识别时间。因此,请参照图3,为了能够更高效的识别出合成图像中动态范围值未达到预设动态范围值的目标区域,电子设备首先降采样合成图像得到降采样图像,该降采样图像的图像内容与合成图像的图像内容相同,但是分辨率更低。然后,电子设备将降采样图像划分为多个区域,对于降采样图像的任一区域,电子设备根据其图像亮度值对应的直方图方差来确定其动态范围值,或者根据其中亮度最高值和亮度最低值来确定其动态范围值。在确定出降采样图像中各区域的动态范围值之后,电子设备即可将降采样图像各区域的动态范围值与预设动态范围值进行比较,从而确定出降采样图像中动态范围值未达到预设动态范围值的区域。由于降采样图像与合成图像的图像内容相同,但分辨率不同,因此,电子设备进一步根据降采样图像和合成图像的分辨率将降采样图像中动态范围值未达到预设动态范围值的区域映射到合成图像中,得到合成图像中动态范围值未达到预设动态范围值的目标区域。
在一实施例中,“合成前两个场景图像得到合成图像”,包括:
(1)根据前两个场景图像中相同位置的像素点数据获取图像合成的权重值;
(2)根据权重值合成前两个场景图像得到合成图像。
本申请实施例中,考虑到前两个场景图像的大小相同,但是曝光参数不同,比如前两个场景图像为场景图像A和场景图像B,其中场景图像A为长曝光图像、场景图像B为短曝光图像,或者场景图像A为过曝光图像、场景图像B为欠曝光图像。由此,前两个场景图像中同一位置的像素点数据(比如亮度值)能够反映拍摄场景在不同曝光参数下的差异,根据该差异即可分析得到对前两个场景图像进行图像合成的权重值。
在确定出对前两个场景图像进行图像合成的权重值之后,即可根据该权重值合成前两个场景图像得到合成图像,且该合成图像相较于前两个场景图像具有更高的动态范围。
在一实施例中,“获取拍摄场景的图像序列”,包括:
(1)若接收到图像拍摄请求,则对拍摄场景进行逆光环境识别;
(2)若识别到拍摄场景处于逆光环境,则获取拍摄场景的图像序列。
本申请实施例中,考虑到如逆光环境等明暗相差太大的拍摄场景进行拍摄时,拍摄出来的图像更容易容易丢失明处和/或暗处的细节。因此,电子设备可以在接收到图像拍摄请求时,对拍摄场景进行逆光环境识别,从而在识别到拍摄场景处于逆光环境时,获取到拍摄场景的图像序列,以根据该图像序列来合成得到拍摄场景的高动态范围图像。
应当说明的是,对拍摄场景进行逆光环境识别可以通过多种方式实现,作为一种可选的实施方式,可以获取拍摄场景的环境参数,根据获取到的环境参数对拍摄场景进行逆光环境识别。
其中,由于电子设备与拍摄场景处于同一环境下,可以获取电子设备的环境参数,将电子设备的环境参数作为拍摄场景的环境参数。其中,环境参数包括但不限于时间信息,电子设备所处位置的时区信息、位置信息、天气信息,以及电子设备的方位信息等。在获取到拍摄场景的环境参数之后,可以将获取到的这些环境参数输入到预先训练的支持向量机分类器中,由该支持向量机分类器根据输入的环境参数进行分类,以判定拍摄场景是否处于逆光环境中。
作为另一种可选的实施方式,可以获取拍摄场景在预设通道的直方图信息,根据获取到的直方图信息对拍摄场景进行逆光环境识别。
其中,预设通道包括R、G、B三个通道,在获取拍摄场景的直方图信息时,可以获取到拍摄场景的预览图像,再获取预览图像在R、G、B三个通道的直方图信息,将获取到的R、G、B三个通道的直方图信息作为拍摄场景在预设通道的直方图信息。之后,对拍摄场景的直方图信息进行统计,得到统计结果。其中,具体统计不同亮度下的像素数量。在得到统计结果之后,判断统计结果是否满足预设条件,是则判定拍摄场景处于逆光环境,否则判定拍摄场景不处于逆光环境。比如,前述预设条件可以设置为:第一亮度区间和第二亮度区间的像素数量均达到预设数量阈值,且最低亮度小于第一预设亮度阈值和/或最高亮度大于第二预设亮度阈值,其中,预设数量阈值、第一预设亮度阈值和第二预设亮度阈值为经验参数,可由本领域普通技术人员根据实际需要取合适值。
在一实施例中,“获取拍摄场景的图像序列”,包括:
(1)分别通过第一摄像头和第二摄像头按照不同曝光参数对拍摄场景进行拍摄,得到拍摄场景的多个场景图像;
(2)排序拍摄场景的多个场景图像得到图像序列。
请参照图4,在本申请实施例中,电子设备的同一侧设置有第一摄像头和第二摄像头。
电子设备在获取拍摄场景的图像序列时,分别通过第一摄像头和第二摄像头按照不同曝光参数对拍摄场景进行拍摄,得到拍摄场景的多个场景图像。比如,电子设备通过第一摄像头按照短曝光时长对拍摄场景进行曝光,同时通过第二摄像头按照长曝光时长对拍摄场景进行曝光,从而利用“一次曝光操作”获取到拍摄场景的两个场景图像,分别为长曝光图像和短曝光图像;又比如,电子设备通过第一摄像头对拍摄场景进行过曝光,同时通过第二摄像头对拍摄场景进行欠曝光,从而利用“一次曝光操作”获取到拍摄场景的两个场景图像,分别为过曝光图像和欠曝光图像。由此,可以提升场景图像的获取效率。
在拍摄得到拍摄场景的多个场景图像后,电子设备排序该多个场景图像得到拍摄场景的图像序列。比如,第一摄像头和第二摄像头分别按照长曝光时长和短曝光时长进行拍摄,则电子设备可以按照长曝光时长和短曝光时长交叠的方式对拍摄得到的多个场景图像进行排序,如图5所示;又比如,第一摄像头和第二摄像头分别对拍摄场景进行过曝光和欠曝光,则电子设备可以按照过曝光和欠曝光交叠的方式对拍摄得到的多个场景图像进行排序,如图6所示。
在一实施例中,“获取拍摄场景的图像序列”,包括:
从预设的图像缓存队列中获取拍摄场景的图像序列。
应当说明的是,电子设备中还预先设置有图像缓存队列,该图像缓存队列可以为定长队列,也可以为变长队列,比如,该图像缓存队列为定长队列,能够缓存8个图像。电子设备在使能摄像头后,会将摄像头实时采集到的拍摄场景(摄像头按照不同曝光参数交替)的场景图像缓存到图像缓存队列中。由此,电子设备在获取拍摄场景的图像序列时,即可从预设的图像缓存队列中获取拍摄场景的图像序列。
在一实施例中,本申请提供的图像处理方法还包括:
在合成得到高动态范围图像后,对高动态范围图像进行质量优化处理。
应当说明的是,本申请实施例中所进行的质量优化处理包括但不限于锐化和降噪等,具体可由本领域普通技术人员根据实际需要选取合适的质量优化处理方式。通过对合成得到的高动态范围图像进行质量优化处理,以进一步提高其图像质量。
请结合参照图7,图7为本申请实施例提供的图像处理方法的另一种流程示意图,该图像处理方法的流程可以包括:
在201中,电子设备获取拍摄场景的图像序列,图像序列包括曝光参数不同的多个场景图像。
其中,电子设备在根据用户操作启动拍摄类应用程序(比如电子设备的系统应用“相机”)后,其摄像头所对准的场景即为拍摄场景。比如,用户通过手指点击电子设备上“相机”应用的图标启动“相机应用”后,若用户使用电子设备的摄像头对准一包括XX物体的场景,则该包括XX物体的场景即为拍摄场景。根据以上描述,本领域技术人员应当理解的是,拍摄场景并非特指某一特定场景,而是跟随摄像头的指向所实时对准的场景。
本申请实施例中,电子设备获取到对应拍摄场景的多个曝光参数不同的场景图像。其中,曝光参数包括曝光时长和曝光值(即俗称的EV值),比如,电子设备可以获取到长曝光时长和短曝光时长依次交叠的多个场景图像,以构成拍摄场景的图像序列;又比如,电子设备还可以获取到过曝光值和欠曝光值依次交叠的多个场景图像,以构成拍摄场景的图像序列;又比如,电子设备还可以以包围曝光的方式获取到拍摄场景的多个场景图像,以构成拍摄场景的图像序列。
在202中,电子设备提取图像序列中的前两个场景图像,并合成前两个场景图像得到合成图像。
本申请实施例中,电子设备在获取到拍摄场景的图像序列之后,电子设备首先提取出图像序列中的前两个场景图像,假设图像序列中共包括拍摄场景的3个场景图像,依序为场景图像A、场景图像B以及场景图像C,则电子设备从中提取出场景图像A和场景图像B以待合成。
在提取到图像序列中的前两个场景图像之后,电子设备进一步合成该前两个场景图像得到合成图像。
比如,假设前两个场景图像为短曝光时长的场景图像A和长曝光时长的场景图像B,由于场景图像A的曝光时长较场景图像B的曝光时长短,则场景图像A相较于场景图像B更多的保留拍摄场景中较亮区域的特征,而场景图像B则相较于场景图像A更多的保留拍摄场景中较暗区域的特征,由此,可以利用长曝光时长的场景图像A保留的拍摄场景中较暗区域的特征以及短曝光时长的场景图像B保留的拍摄场景中较亮区域的特征合成得到合成图像,该合成图像相较于原始的场景图像A和场景图像B具有更高的动态范围。
又比如,假设前两个场景图像为欠曝光的场景图像A和过曝光的场景图像B,由于场景图像A欠曝,则场景图像A相较于场景图像B更多的保留拍摄场景中较亮区域的特征,由于场景图像B过曝,则场景图像B则相较于场景图像A更多的保留拍摄场景中较暗区域的特征,由此,可以利用过曝光的场景图像A保留的拍摄场景中较暗区域的特征以及欠曝光的场景图像B保留的拍摄场景中较亮区域的特征合成得到合成图像,该合成图像相较于原始的场景图像A和场景图像B具有更高的动态范围。
在203中,电子设备降采样合成图像得到降采样图像。
在204中,电子设备获取降采样图像中各区域的动态范围值,并确定出降采样图像中动态范围值未达到预设动态范围值的区域。
在205中,电子设备根据降采样图像中动态范围值未达到预设动态范围值的区域在合成图像中确定出目标区域。
本申请实施例中,电子设备在合成图像序列的前两个图像得到合成图像之后,进一步识别出合成图像中动态范围值未达到预设动态范围值的目标区域。
考虑到合成图像的分辨率较高,若直接对其进行识别,可能会花费较长的识别时间。因此,请参照图3,为了能够更高效的识别出合成图像中动态范围值未达到预设动态范围值的目标区域,电子设备首先降采样合成图像得到降采样图像,该降采样图像的图像内容与合成图像的图像内容相同,但是分辨率更低。然后,电子设备将降采样图像划分为多个区域,对于降采样图像的任一区域,电子设备根据其图像亮度值对应的直方图方差来确定其动态范围值,或者根据其中亮度最高值和亮度最低值来确定其动态范围值。在确定出降采样图像中各区域的动态范围值之后,电子设备即可将降采样图像各区域的动态范围值与预设动态范围值进行比较,从而确定出降采样图像中动态范围值未达到预设动态范围值的区域。由于降采样图像与合成图像的图像内容相同,但分辨率不同,因此,电子设备进一步根据降采样图像和合成图像的分辨率将降采样图像中动态范围值未达到预设动态范围值的区域映射到合成图像中,得到合成图像中动态范围值未达到预设动态范围值的目标区域。
在206中,电子设备从图像序列中提取尚未合成的下一个图像,并根据目标区域合成尚未合成的下一个图像以及合成图像,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像。
本申请实施例中,电子设备在识别出合成图像中动态范围值未达到预设动态范围值的目标区域之后,进一步从图像序列中提取尚未合成的下一个图像,并根据目标区域合成尚未合成的下一个图像以及合成图像,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像。请参照图2,通俗的说,即在完成图像序列中前两个合成图像的合成之后,其中某些区域的合成效果已经达到要求,不需要再进行合成,而对于合成效果未达到要求的区域(即动态范围值未达到预设动态范围值的目标区域),依序选取图像序列中尚未合成的下一个图像针对合成效果未达到要求的区域进行合成,得到新的合成图像,再确定出新的合成图像中合成效果未达到要求的区域继续合成,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像(如图2所示,随着合成次数的增加,合成效果未达到要求的区域(即目标区域)逐渐减小)。
本申请实施例还提供一种图像处理装置。请参照图8,图8为本申请实施例提供的图像处理装置的结构示意图。其中该图像处理装置应用于电子设备,该电子设备包括图像传感器,该图像传感器具有第一工作模式和第二工作模式,该图像处理装置包括图像获取模块501、图像合成模块502、区域识别模块503以及图像合成模块504,如下:
图像获取模块501,用于获取拍摄场景的图像序列,图像序列包括曝光参数不同的多个场景图像;
图像合成模块502,用于提取图像序列中的前两个场景图像,并合成前两个场景图像得到合成图像;
区域识别模块503,用于识别出合成图像中动态范围值未达到预设动态范围值的目标区域;
图像合成模块504,用于从图像序列中提取尚未合成的下一个图像,并根据目标区域合成尚未合成的下一个图像以及合成图像,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像。
在一实施例中,在识别出合成图像中动态范围值未达到预设动态范围值的目标区域时,区域识别模块503可以用于:
降采样合成图像得到降采样图像;
获取降采样图像中各区域的动态范围值,并确定出降采样图像中动态范围值未达到预设动态范围值的区域;
根据降采样图像中动态范围值未达到预设动态范围值的区域在合成图像中确定出目标区域。
在一实施例中,在合成前两个场景图像得到合成图像时,图像合成模块502可以用于:
根据前两个场景图像中相同位置的像素点数据获取图像合成的权重值;
根据权重值合成前两个场景图像得到合成图像。
在一实施例中,在获取拍摄场景的图像序列时,图像获取模块501可以用于:
若接收到图像拍摄请求,则对拍摄场景进行逆光环境识别;
若识别到拍摄场景处于逆光环境,则获取拍摄场景的图像序列。
在一实施例中,在获取拍摄场景的图像序列时,图像合成模块502可以用于:
分别通过第一摄像头和第二摄像头按照不同曝光参数对拍摄场景进行拍摄,得到拍摄场景的多个场景图像;
排序拍摄场景的多个场景图像得到图像序列。
在一实施例中,在获取拍摄场景的图像序列时,图像合成模块502可以用于:
从预设的图像缓存队列中获取拍摄场景的图像序列。
在一实施例中,图像处理装置还包括图像优化模块,用于:
在合成得到高动态范围图像后,对高动态范围图像进行质量优化处理。
应当说明的是,本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思,在图像处理装置上可以运行图像处理方法实施例中提供的任一方法,其具体实现过程详见图像处理方法实施例,此处不再赘述。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当其存储的计算机程序在计算机上执行时,使得计算机执行如本申请实施例提供的图像处理方法中的步骤。其中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)或者随机存取器(Random Access Memory,RAM)等。
本申请实施例还提供一种电子设备,请参照图9,电子设备包括处理器701和存储器702。其中,处理器701与存储器702电性连接。
处理器701是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器702内的计算机程序,以及调用存储在存储器702内的数据,执行电子设备的各种功能并处理数据。
存储器702可用于存储软件程序以及模块,处理器701通过运行存储在存储器702的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器702还可以包括存储器控制器,以提供处理器701对存储器702的访问。
在本申请实施例中,电子设备中的处理器701会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器702中,并由处理器701运行存储在存储器702中的计算机程序,从而实现各种功能,如下:
获取拍摄场景的图像序列,图像序列包括曝光参数不同的多个场景图像;
提取图像序列中的前两个场景图像,并合成前两个场景图像得到合成图像;
识别出合成图像中动态范围值未达到预设动态范围值的目标区域;
从图像序列中提取尚未合成的下一个图像,并根据目标区域合成尚未合成的下一个图像以及合成图像,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像。
请参照图10,图10为本申请实施例提供的电子设备的另一结构示意图,与图9所示电子设备的区别在于,电子设备还包括输入单元703和输出单元704等组件。
其中,输入单元703可用于接收输入的数字、字符信息或用户特征信息(比如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入等。
输出单元704可用于显示由用户输入的信息或提供给用户的信息,如屏幕。
在本申请实施例中,电子设备中的处理器701会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器702中,并由处理器701运行存储在存储器702中的计算机程序,从而实现各种功能,如下:
获取拍摄场景的图像序列,图像序列包括曝光参数不同的多个场景图像;
提取图像序列中的前两个场景图像,并合成前两个场景图像得到合成图像;
识别出合成图像中动态范围值未达到预设动态范围值的目标区域;
从图像序列中提取尚未合成的下一个图像,并根据目标区域合成尚未合成的下一个图像以及合成图像,直至合成得到所有区域的动态范围值均达到预设动态范围值的高动态范围图像。
在一实施例中,在识别出合成图像中动态范围值未达到预设动态范围值的目标区域时,处理器701可以执行:
降采样合成图像得到降采样图像;
获取降采样图像中各区域的动态范围值,并确定出降采样图像中动态范围值未达到预设动态范围值的区域;
根据降采样图像中动态范围值未达到预设动态范围值的区域在合成图像中确定出目标区域。
在一实施例中,在合成前两个场景图像得到合成图像时,处理器701可以执行:
根据前两个场景图像中相同位置的像素点数据获取图像合成的权重值;
根据权重值合成前两个场景图像得到合成图像。
在一实施例中,在获取拍摄场景的图像序列时,处理器701还可以执行:
若接收到图像拍摄请求,则对拍摄场景进行逆光环境识别;
若识别到拍摄场景处于逆光环境,则获取拍摄场景的图像序列。
在一实施例中,在获取拍摄场景的图像序列时,处理器701可以执行:
分别通过第一摄像头和第二摄像头按照不同曝光参数对拍摄场景进行拍摄,得到拍摄场景的多个场景图像;
排序拍摄场景的多个场景图像得到图像序列。
在一实施例中,在获取拍摄场景的图像序列时,处理器701可以执行:
从预设的图像缓存队列中获取拍摄场景的图像序列。
在一实施例中,处理器701还可以执行:
在合成得到高动态范围图像后,对高动态范围图像进行质量优化处理。
应当说明的是,本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思,在电子设备上可以运行图像处理方法实施例中提供的任一方法,其具体实现过程详见特征提取方法实施例,此处不再赘述。
需要说明的是,对本申请实施例的图像处理方法而言,本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理方法,应用于电子设备,其特征在于,所述图像处理方法包括:
获取拍摄场景的图像序列,所述图像序列包括曝光参数不同的多个场景图像;
提取所述图像序列中的前两个场景图像,并合成所述前两个场景图像得到合成图像;
识别出所述合成图像中动态范围值未达到预设动态范围值的目标区域,所述目标区域与合成次数反相关;
从所述图像序列中提取尚未合成的下一个图像,并根据所述目标区域合成所述尚未合成的下一个图像以及所述合成图像,直至合成得到所有区域的动态范围值均达到所述预设动态范围值的高动态范围图像,其中,在合成所述尚未合成的下一个图像以及所述合成图像时,所述目标区域和所述尚未合成的下一个图像中与所述目标区域对应的相应区域需要进行合成,所述合成图像中除所述目标区域之外的区域和所述尚未合成的下一个图像中除所述相应区域之外的区域无需进行合成。
2.根据权利要求1所述的图像处理方法,其特征在于,所述识别出所述合成图像中动态范围值未达到预设动态范围值的目标区域,包括:
降采样所述合成图像得到降采样图像;
获取所述降采样图像中各区域的动态范围值,并确定出所述降采样图像中动态范围值未达到所述预设动态范围值的区域;
根据所述降采样图像中动态范围值未达到所述预设动态范围值的区域在所述合成图像中确定出所述目标区域。
3.根据权利要求1所述的图像处理方法,其特征在于,所述合成所述前两个场景图像得到合成图像,包括:
根据所述前两个场景图像中相同位置的像素点数据获取图像合成的权重值;
根据所述权重值合成所述前两个场景图像得到所述合成图像。
4.根据权利要求1所述的图像处理方法,其特征在于,所述获取拍摄场景的图像序列,包括:
若接收到图像拍摄请求,则对所述拍摄场景进行逆光环境识别;
若识别到所述拍摄场景处于逆光环境,则获取所述拍摄场景的所述图像序列。
5.根据权利要求4所述的图像处理方法,其特征在于,所述获取所述拍摄场景的所述图像序列,包括:
分别通过第一摄像头和第二摄像头按照不同曝光参数对所述拍摄场景进行拍摄,得到所述拍摄场景的多个场景图像;
排序所述拍摄场景的多个场景图像得到所述图像序列。
6.根据权利要求4所述的图像处理方法,其特征在于,所述获取所述拍摄场景的所述图像序列,包括:
从预设的图像缓存队列中获取所述拍摄场景的所述图像序列。
7.根据权利要求1所述的图像处理方法,其特征在于,所述图像处理方法还包括:
在合成得到所述高动态范围图像后,对所述高动态范围图像进行质量优化处理。
8.一种图像处理装置,应用于电子设备,其特征在于,所述图像处理装置包括:
图像获取模块,用于获取拍摄场景的图像序列,所述图像序列包括曝光参数不同的多个场景图像;
图像合成模块,用于提取所述图像序列中的前两个场景图像,并合成所述前两个场景图像得到合成图像;
区域识别模块,用于识别出所述合成图像中动态范围值未达到预设动态范围值的目标区域,所述目标区域与合成次数反相关;
所述图像合成模块还用于从所述图像序列中提取尚未合成的下一个图像,并根据所述目标区域合成所述尚未合成的下一个图像以及所述合成图像,直至合成得到所有区域的动态范围值均达到所述预设动态范围值的高动态范围图像,其中,在合成所述尚未合成的下一个图像以及所述合成图像时,所述目标区域和所述尚未合成的下一个图像中与所述目标区域对应的相应区域需要进行合成,所述合成图像中除所述目标区域之外的区域和所述尚未合成的下一个图像中除所述相应区域之外的区域无需进行合成。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至7任一项所述的图像处理方法中的步骤。
10.一种电子设备,包括处理器和存储器,所述存储器储存有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至7任一项所述的图像处理方法中的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910280090.7A CN110035237B (zh) | 2019-04-09 | 2019-04-09 | 图像处理方法、装置、存储介质及电子设备 |
PCT/CN2020/083572 WO2020207387A1 (zh) | 2019-04-09 | 2020-04-07 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910280090.7A CN110035237B (zh) | 2019-04-09 | 2019-04-09 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110035237A CN110035237A (zh) | 2019-07-19 |
CN110035237B true CN110035237B (zh) | 2021-08-31 |
Family
ID=67237668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910280090.7A Active CN110035237B (zh) | 2019-04-09 | 2019-04-09 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110035237B (zh) |
WO (1) | WO2020207387A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110035237B (zh) * | 2019-04-09 | 2021-08-31 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN111083389B (zh) * | 2019-12-27 | 2021-11-16 | 维沃移动通信有限公司 | 一种拍摄图像的方法和装置 |
CN113891012B (zh) * | 2021-09-17 | 2024-05-28 | 天津极豪科技有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
CN117714835B (zh) * | 2023-08-02 | 2024-09-06 | 荣耀终端有限公司 | 一种图像处理方法、电子设备及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103002225A (zh) * | 2011-04-20 | 2013-03-27 | Csr技术公司 | 多曝光高动态范围图像捕捉 |
CN106060418A (zh) * | 2016-06-29 | 2016-10-26 | 深圳市优象计算技术有限公司 | 基于imu信息的宽动态图像融合方法 |
CN107566739A (zh) * | 2017-10-18 | 2018-01-09 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
CN108184075A (zh) * | 2018-01-17 | 2018-06-19 | 百度在线网络技术(北京)有限公司 | 用于生成图像的方法和装置 |
CN109218613A (zh) * | 2018-09-18 | 2019-01-15 | Oppo广东移动通信有限公司 | 高动态范围图像合成方法、装置、终端设备和存储介质 |
CN109496425A (zh) * | 2018-03-27 | 2019-03-19 | 华为技术有限公司 | 拍照方法、拍照装置和移动终端 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8947555B2 (en) * | 2011-04-18 | 2015-02-03 | Qualcomm Incorporated | White balance optimization with high dynamic range images |
KR102145201B1 (ko) * | 2013-08-12 | 2020-08-18 | 삼성전자주식회사 | 이미지의 동적 범위 향상을 위한 방법 및 장치 |
CN105323493B (zh) * | 2014-06-25 | 2018-11-06 | 恒景科技股份有限公司 | 局部增强装置、多重曝光影像系统以及局部增强方法 |
CN105959591A (zh) * | 2016-05-30 | 2016-09-21 | 广东欧珀移动通信有限公司 | 局部hdr的实现方法及系统 |
CN106108941A (zh) * | 2016-06-13 | 2016-11-16 | 杭州融超科技有限公司 | 一种超声图像区域质量增强装置及方法 |
US10165194B1 (en) * | 2016-12-16 | 2018-12-25 | Amazon Technologies, Inc. | Multi-sensor camera system |
CN110035237B (zh) * | 2019-04-09 | 2021-08-31 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2019
- 2019-04-09 CN CN201910280090.7A patent/CN110035237B/zh active Active
-
2020
- 2020-04-07 WO PCT/CN2020/083572 patent/WO2020207387A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103002225A (zh) * | 2011-04-20 | 2013-03-27 | Csr技术公司 | 多曝光高动态范围图像捕捉 |
CN106060418A (zh) * | 2016-06-29 | 2016-10-26 | 深圳市优象计算技术有限公司 | 基于imu信息的宽动态图像融合方法 |
CN107566739A (zh) * | 2017-10-18 | 2018-01-09 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
CN108184075A (zh) * | 2018-01-17 | 2018-06-19 | 百度在线网络技术(北京)有限公司 | 用于生成图像的方法和装置 |
CN109496425A (zh) * | 2018-03-27 | 2019-03-19 | 华为技术有限公司 | 拍照方法、拍照装置和移动终端 |
CN109218613A (zh) * | 2018-09-18 | 2019-01-15 | Oppo广东移动通信有限公司 | 高动态范围图像合成方法、装置、终端设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020207387A1 (zh) | 2020-10-15 |
CN110035237A (zh) | 2019-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110035237B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109996009B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
EP3457683B1 (en) | Dynamic generation of image of a scene based on removal of undesired object present in the scene | |
JP7266672B2 (ja) | 画像処理方法および画像処理装置、ならびにデバイス | |
US9681040B2 (en) | Face tracking for controlling imaging parameters | |
US7606417B2 (en) | Foreground/background segmentation in digital images with differential exposure calculations | |
CN109862282B (zh) | 人物图像处理方法和装置 | |
CN110620873B (zh) | 设备成像方法、装置、存储介质及电子设备 | |
EP2198394B1 (en) | Face tracking in a camera processor | |
US20080309770A1 (en) | Method and apparatus for simulating a camera panning effect | |
JP2022505115A (ja) | 画像処理の方法および装置並びにデバイス | |
CN110796600B (zh) | 一种图像超分重建方法、图像超分重建装置及电子设备 | |
CN110971841B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US20110268359A1 (en) | Foreground/Background Segmentation in Digital Images | |
US20140184852A1 (en) | Method and apparatus for capturing images | |
JP2010500687A (ja) | デジタル画像取得装置におけるリアルタイムの顔探知 | |
CN109729272B (zh) | 一种拍摄控制方法、终端设备及计算机可读存储介质 | |
JP2012059076A (ja) | 情報処理装置、その認識方法及びプログラム | |
CN107147851B (zh) | 照片处理方法、装置、计算机可读存储介质及电子设备 | |
CN111028276A (zh) | 图像对齐方法、装置、存储介质及电子设备 | |
CN107623819A (zh) | 一种拍照的方法及移动终端和相关介质产品 | |
CN110493515B (zh) | 高动态范围拍摄模式开启方法、装置、存储介质及电子设备 | |
CN112949423B (zh) | 物体识别方法、物体识别装置及机器人 | |
CN110033421B (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |