CN117392030A - 图像生成的方法、装置、存储介质及芯片 - Google Patents
图像生成的方法、装置、存储介质及芯片 Download PDFInfo
- Publication number
- CN117392030A CN117392030A CN202210775458.9A CN202210775458A CN117392030A CN 117392030 A CN117392030 A CN 117392030A CN 202210775458 A CN202210775458 A CN 202210775458A CN 117392030 A CN117392030 A CN 117392030A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- scene
- hdr
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000004927 fusion Effects 0.000 claims abstract description 127
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 230000006835 compression Effects 0.000 claims description 21
- 238000007906 compression Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 20
- 238000012805 post-processing Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000007499 fusion processing Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本公开涉及一种图像生成方法、装置、存储介质及芯片,可以获取目标场景的多帧第一场景图像,所述第一场景图像包括一帧第一图像和至少一帧第二图像;所述第一图像为多帧所述第一场景图像中预设曝光程度对应的图像,所述第二图像为多帧所述第一场景图像中除所述第一图像之外的图像;根据所述第一图像对目标图像进行运动区域检测,得到所述目标图像的运动区域检测结果,所述目标图像包括任意一帧第二图像;根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像。
Description
技术领域
本公开涉及图像生成领域,尤其涉及一种图像生成的方法、装置、存储介质及芯片。
背景技术
HDR(High Dynamic Range,高动态范围)成像技术旨在从一张或多张LDR(LowDynamic Range,低动态范围)图像中合成出一张HDR图像,这样可以实现比普通数位图像技术更大的曝光动态范围(即更大的明暗差别),例如,夜晚场景具有很高的动态范围,以城市夜景为例,天空属于暗区,路灯下属于亮区。
传统的图像采集装置单次拍摄的图像无法捕捉自然场景中的全部动态范围,因此通常需要多帧不同曝光程度的LDR图像来合成一张HDR图像。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像生成方法、装置、存储介质及芯片。
根据本公开实施例的第一方面,提供一种图像生成方法,包括:获取目标场景的多帧第一场景图像,所述第一场景图像包括一帧第一图像和至少一帧第二图像;所述第一图像为多帧所述第一场景图像中预设曝光程度对应的图像,所述第二图像为多帧所述第一场景图像中除所述第一图像之外的图像;
根据所述第一图像对目标图像进行运动区域检测,得到所述目标图像的运动区域检测结果,所述目标图像包括任意一帧第二图像;
根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像。
可选地,所述运动区域检测结果包括运动区域掩码图,所述根据所述第一图像对目标图像进行运动区域检测,得到目标图像的运动区域检测结果包括:
将所述第一图像和目标图像输入预设运动区域检测模型,得到所述运动区域掩码图。
可选地,所述根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合包括:
将所述运动区域掩码图、所述第一图像以及所述目标图像输入预设融合模型,得到融合掩码图;
根据所述融合掩码图对所述第一图像和所述目标图像进行图像融合,得到所述目标HDR图像。
可选地,所述融合掩码图用于指示所述目标图像上的运动区域和非运动区域;所述第一图像的曝光时间大于所述目标图像的曝光时间,所述根据所述融合掩码图对所述第一图像和所述目标图像进行图像融合,得到所述目标HDR图像包括:
针对所述融合掩码图对应的运动区域,获取所述目标图像上对应所述运动区域的第一区域;
针对所述融合掩码图对应的非运动区域,获取所述第一图像上对应所述非运动区域的第二区域;
对所述第一区域和所述第二区域进行图像拼接后,生成所述目标HDR图像。
可选地,所述非运动区域包括多个子区域,所述方法还包括:
针对多个所述子区域中的高亮度区域,获取所述目标图像上对应所述高亮度区域的第三区域;
针对多个所述子区域中的低亮度区域,获取所述第一图像上对应所述低亮度区域的第四区域;
对所述第一区域、所述第三区域以及所述第四区域进行图像拼接后,生成所述目标HDR图像。
可选地,所述根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合之前,所述方法还包括:
根据所述运动区域检测结果确定所述目标图像上的目标运动区域;
根据所述第一图像采用预设对齐算法对所述目标图像上的所述目标运动区域进行对齐操作,得到对齐后的第三图像;
根据所述第一图像对所述第三图像上的目标运动区域进行去鬼影操作,得到第四图像;
所述根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合包括:
根据所述运动区域检测结果对所述第一图像和所述第四图像进行HDR图像融合。
可选地,所述根据所述运动区域检测结果对所述第一图像和所述第四图像进行HDR图像融合包括:
对所述第一图像进行亮度压缩,得到第五图像,所述第五图像与所述第四图像的亮度一致;
根据所述运动区域检测结果对所述第五图像和所述第四图像进行HDR图像融合。
可选地,所述对所述第一图像进行亮度压缩,得到第五图像包括:
获取所述第一图像和所述第四图像分别对应的进光量;
根据所述第一图像对应的进光量,和所述第四图像对应的进光量确定亮度压缩倍数;
根据所述亮度压缩倍数对所述第一图像进行亮度压缩,得到所述第五图像。
可选地,所述方法还包括:
针对所述第二图像中除所述目标图像之外的其它图像,依次遍历每帧其它图像;
将当前遍历的其它图像作为更新后的目标图像,并通过执行预设图像融合步骤得到新的HDR图像;
将所述新的HDR图像作为更新后的目标HDR图像后重新执行所述预设图像融合步骤,直至遍历完所述其它图像。
可选地,所述预设图像融合步骤包括:
根据所述目标HDR图像对更新后的目标图像进行运动区域检测,得到所述更新后的目标图像的运动区域检测结果;
根据所述运动区域检测结果对所述目标HDR图像和所述更新后的目标图像进行HDR图像融合,得到新的HDR图像。
可选地,在所述获取目标场景的多帧第一场景图像之前,所述方法还包括:
按照目标曝光策略采集所述目标场景的第二场景图像;
所述获取目标场景的多帧第一场景图像包括:
在所述目标曝光策略为多帧曝光策略的情况下,将所述第二场景图像作为所述第一场景图像。
可选地,所述方法还包括:
在所述目标曝光策略为单帧曝光策略的情况下,通过预设单帧HDR生成模型将所述第二场景图像合成为HDR图像。
可选地,所述按照目标曝光策略采集所述目标场景的第二场景图像后,所述方法还包括:
通过预设场景检测器对所述第二场景图像进行图像识别,确定所述第二场景图像对应的图像参数;
根据所述图像参数确定下一个曝光策略,并将所述下一个曝光策略作为更新后的目标曝光策略。
可选地,所述图像参数包括图像内容、图像亮度以及亮暗区域中的一种或者多种。
可选地,所述根据所述图像参数确定下一个曝光策略包括:
将所述图像参数输入预设策略生成模型,得到所述下一个曝光策略。
可选地,所述方法还包括:
根据所述图像参数确定图像后处理参数;
根据所述图像后处理参数对所述目标HDR图像进行画质后处理操作。
可选地,所述图像后处理参数包括以下参数中的至少一个参数:
去噪强度、图像信号处理ISP控制参数、去模糊参数以及超分辨率重构参数。
根据本公开实施例的第二方面,提供一种图像生成装置,包括:
获取模块,被配置为获取目标场景的多帧第一场景图像,所述第一场景图像包括一帧第一图像和至少一帧第二图像;所述第一图像为多帧所述第一场景图像中预设曝光程度对应的图像,所述第二图像为多帧所述第一场景图像中除所述第一图像之外的图像;
运行区域检测模块,被配置为根据所述第一图像对目标图像进行运动区域检测,得到所述目标图像的运动区域检测结果,所述目标图像包括任意一帧第二图像;
第一图像生成模块,被配置为根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像。
根据本公开实施例的第三方面,提供一种图像生成装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取目标场景的多帧第一场景图像,所述第一场景图像包括一帧第一图像和至少一帧第二图像;所述第一图像为多帧所述第一场景图像中预设曝光程度对应的图像,所述第二图像为多帧所述第一场景图像中除所述第一图像之外的图像;
根据所述第一图像对目标图像进行运动区域检测,得到所述目标图像的运动区域检测结果,所述目标图像包括任意一帧第二图像;
根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的图像生成方法的步骤。
根据本公开实施例的第五方面,提供一种芯片,包括处理器和接口;所述处理器用于读取指令以执行本公开第一方面所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:可以将多帧第一场景图像中曝光程度为预设曝光程度的第一图像作为base图像,根据该第一图像对目标图像进行运动区域检测,得到目标图像的运动区域检测结果,然后根据运动区域检测结果对第一图像和目标图像进行高动态范围HDR图像融合,得到目标HDR图像,这样,结合运动区域检测结果进行HDR图像融合的过程中,针对目标图像上的运动区域,可以采用具有短曝光时间的图像上对应区域的像素进行像素替换,从而避免了HDR图像融合过程中对于运动区域造成的运动模糊问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像生成方法的流程图。
图2是根据一示例性实施例示出的一种步骤S103的方法的流程图。
图3是根据一示例性实施例示出的另一种步骤S103的方法的流程图。
图4是根据一示例性实施例示出的另一种像生成方法的流程图。
图5是根据一示例性实施例示出的第一种图像生成装置的框图。
图6是根据一示例性实施例示出的第二种图像生成装置的框图。
图7是根据一示例性实施例示出的第三种图像生成装置的框图。
图8是根据一示例性实施例示出的一种装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
首先,对本公开的应用场景进行介绍,本公开主要应用于生成HDR图像的场景中,在相关技术中主要通过以下方式生成HDR图像:
可以为图像采集装置(如数码相机、配置在终端上的相机等)设置视频帧率(例如可以为25FPS,30FPS,60FPS),图像采集装置的视频帧率不同,其对应的一帧图像的最大曝光时间也不同,例如,视频帧率为25FPS时,一帧图像的最大曝光时间为40ms,视频帧率为30FPS时,一帧图像的最大曝光时间为33ms;对于采用多帧LDR图像合成一帧HDR图像的情况,多帧LDR图像的总的曝光时间小于或者等于一帧图像的最大曝光时间,例如,对应一帧图像的最大曝光时间为40ms的情况,可以采集具有不同曝光程度的LDR1图像和LDR2图像,其中LDR1图像(可以记为ev0)的曝光时间可以为30ms,LDR2图像(可以记为ev-)的曝光时间可以为10ms,这样对LDR1图像和LDR2图像进行图像融合以后,即可生成HDR图像。
相关技术中在对LDR1图像和LDR2图像进行图像融合的过程中,首先对LDR1图像和LDR2图像分别进行去噪处理。考虑到如果两张LDR图像可以完美对齐,即没有物体运动和相机抖动,则静态图像可以很好地进行融合,但使用手机等终端设备进行视频拍摄时难免会出现抖动,或者被拍摄物体本身处于运动状态,因此,在进行图像融合得到HDR图像之前,需要处理曝光LDR图像的错位问题,从而避免出现鬼影现象。
相关技术中主要通过以下方式实现去鬼影操作:在对各帧LDR图像进行去噪处理以后,可以对多帧LDR图像进行整体对齐操作,然后对于发生变化的区域,用base图像(多帧LDR图像中的任意一帧图像,例如ev0)中的像素替换其他曝光图像(如ev+,ev-等)中对应的像素,以避免由于运动而带来的鬼影问题。
在进行去鬼影操作以后,相关技术中可以通过以下方式进行多帧融合操作:将不同曝光图(即LDR图像)中的不同曝光量区域进行组合,以LDR图像分别为ev+、ev0、ev-为例,假设ev0为base图像,在进行多帧融合的过程中,可以将ev0中的过曝区域像素点的像素值替换为ev-中的对应区域像素点的像素值,将ev0中的欠曝区域像素点的像素值替换为ev+中的对应区域后,即可得到融合的HDR图像,之后对该HDR图像进行ISP(Image SignalProcessing,图像信号处理)处理后,即得到最终的RGB图像。
但是上述介绍的相关技术中的HDR图像融合方法存在以下问题:
首先,现有的HDR图像融合方案中,如果以长曝光帧(一般指多帧LDR图像中曝光时间最长的图像)ev0作为base图像进行图像HDR融合,对于某些大运动场景下会有明显的运动模糊,如果以短曝光帧(一般指多帧LDR图像中曝光时间最短的图像)ev-作为base图像进行图像HDR融合,虽然没有运动模糊,但短帧的噪声会相对较大,最终输出就会有噪声残留。
其次,现有的去鬼影方案中,一般都是对LDR图像整体对齐后进行去鬼影操作,但如果采用的对齐算法中,对齐强度较大的话,对于图像中的非明显运动区域(如草地、地面、天空)就会出现模糊、拼接错误、断层等现象。如果对齐强度较小的话,会有鬼影残留问题。
另外,相关技术中无论是什么场景均使用预设的多帧曝光策略,即采集多帧不同曝光程度的LDR图像,基于多帧不同曝光程度的LDR图像合成一张HDR图像,但是实际的应用场景中对于非高动态范围的场景(如亮度几乎一致的天空,或者是昏暗的房间等),这些场景的亮度动态范围不高,只需要单个正常曝光的图像就可以捕获所有的动态范围,因此,对于这种不是高动态范围的场景图像,若还基于多帧不同曝光程度的LDR图像进行HDR图像合成,不仅会浪费系统资源,也会增加功耗。
与此同时,由于融合后的HDR图是从每帧LDR图像中取一部分区域,而没用到的区域是不需要去噪处理的,现有的去噪方法中对每帧LDR图像整体进行去噪再进行融合的策略中,存在去噪操作的冗余。
为解决上述存在的问题,本公开提供一种图像生成方法、装置、存储介质及芯片,可以将多帧第一场景图像中曝光程度为预设曝光程度的第一图像作为base图像,根据该第一图像对目标图像(即多帧所述第一场景图像中除所述第一图像之外的任意一帧图像)进行运动区域检测,得到所述目标图像的运动区域检测结果,然后根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像,这样,结合运动区域检测结果进行HDR图像融合的过程中,针对目标图像上的运动区域,可以采用具有短曝光时间的图像上对应区域的像素进行像素替换,从而避免了HDR图像融合过程中对于运动区域造成的运动模糊问题。
本申请中对于目标图像中的非运动区域,若该非运动区域中包含高亮度区域,针对该非运动区域中的高亮度区域,在进行HDR图像融合的过程中也可以采用具有短曝光时间的图像上对应区域的像素进行像素替换,这样也避免了HDR图像的噪声以及过曝问题的出现。
另外,本申请对目标图像进行运动区域检测后,在进行去鬼影操作之前,可以仅对运动区域进行对齐操作,而对静止区域可以不进行对齐处理,相比较于现有方案的整体对齐,这样可以避免出现对静止区域进行对齐操作所带来的去鬼影错误的问题。
进一步地,本申请可以针对不同的图像采集场景,基于采集的场景图像的图像参数(包括图像内容、图像亮度以及亮暗区域中的一种或者多种),选用不同的曝光策略(包括多帧曝光策略或者单帧曝光策略)进行场景图像采集,这样可以针对不同的场景动态调整曝光策略,提高后续合成HDR图像的画质的同时,也能降低功耗。
并且,本申请中可以在得到HDR融合图像后,再进行去噪和ISP处理,去噪强度可以由场景检测器控制,如果场景亮度高,细节区域较多的话,则可以选用相对较弱的去噪强度进行去噪,保留更多细节信息的同时还可以减少噪声;对于场景亮度较低、平坦区域较多场景图像,可以选用相对较强的去噪强度进行去噪,从而尽可能的避免噪声。
下面结合附图对本公开的具体实施方式进行详细说明。
图1是根据一示例性实施例示出的一种图像生成方法的流程图,该方法可以应用于图像采集装置或者配置有图像采集装置的终端设备(如手机),如图1所示,该方法包括以下步骤:
在步骤S101中,获取目标场景的多帧第一场景图像,该第一场景图像包括一帧第一图像和至少一帧第二图像。
其中,该目标场景例如可以为城市夜景,该城市夜景可以进一步包括亮度变化具有高动态范围的第一场景,以及亮度变化范围属于低动态范围的第二场景,其中,该第一场景例如可以为夜晚的天空、路灯下,天空属于暗区,路灯下属于亮区;该第二场景例如可以为夜晚亮度几乎一致的天空或者昏暗的房间等。第一场景图像是指进行HDR图像合成之前采集的不同曝光程度的多帧LDR图像,该第一图像为多帧第一场景图像中预设曝光程度对应的图像,该第二图像为多帧第一场景图像中除第一图像之外的图像,在实际的HDR融合场景中,需要从多帧LDR图像选取一帧bsae图像作为图像融合的基础图像,图像的曝光程度可以用曝光时间表征,在进光量相同的情况下,曝光时间越长,对应图像的曝光程度就越高。
上述已经提及,图像的曝光时间与图像采集装置的视频帧率有关,假设视频帧率为25FPS时,一帧图像的最大曝光时间为40ms,此种情况下,可以设置该预设曝光程度为30ms(或者该预设曝光程度也可以为10ms),若采集了两帧不同曝光程度的LDR图像,其中一帧LDR图像的曝光时间为30ms,该图像记为ev0,另一帧LDR图像的曝光时间为10ms,该图像记为ev-,那么ev0即为该第一图像,ev-即为该第二图像,此处仅是举例说明,本公开对此不作限定。
在步骤S102中,根据第一图像对目标图像进行运动区域检测,得到目标图像的运动区域检测结果,该目标图像包括任意一帧第二图像。
以该第一场景图像包括ev0和ev-两张LDR图像为例,若ev0为第一图像,ev-即为第二图像,并且该目标图像为ev-。
考虑到图像采集装置在采集图像的过程中难免会出现抖动,或者被拍摄物体本身处于运动状态的情况,均会造成采集的图像中存在运动区域,为了避免生成的HDR图像存在运动模糊的现象,需要对目标图像进行运动区域检测,其中,该运动区域检测结果包括运动区域掩码图(mask图),该运动区域掩码图通常为一个二值图,例如在该二值图中,像素值为1的区域为检测出的运动区域,像素值为0的区域为非运动区域。
在本步骤中,可以将该第一图像和目标图像输入预设运动区域检测模型,得到该运动区域掩码图,该预设运动区域检测模型可以为预先训练得到的深度学习模型。
在步骤S103中,根据运动区域检测结果对第一图像和目标图像进行高动态范围HDR图像融合,得到目标HDR图像。
在本步骤中,可以将该运动区域掩码图、该第一图像以及该目标图像输入预设融合模型,得到融合掩码图;该融合掩码图用于指示该目标图像上的运动区域和非运动区域;根据该融合掩码图对该第一图像和该目标图像进行图像融合,得到该目标HDR图像,其中,该融合掩码图也可以为一个二值图,在该融合掩码图中可以用像素值为1(或者0)的区域表征该运动区域,像素值为0(或者1)的区域表征非运动区域,该预设融合模型也可以为预先训练得到的深度学习模型。
示例地,继续以视频帧率为25FPS为例,一帧图像的最大曝光时间为40ms,在采集了两帧LDR图像的情况下,一帧LDR图像(即ev0)的曝光时间为30ms,另一帧LDR图像(即ev-)的曝光时间为10ms,这样ev0可以称之为长曝光帧,ev-可以称之为短曝光帧,并且长曝光帧ev0为该第一图像(即base图像),短曝光帧ev-即为该目标图像,在本实施例中,可以通过以下方式对ev0和ev-进行HDR融合,得到目标HDR图像:将检测得到的短曝光帧ev-中的运动区域掩码图、短曝光帧ev-以及长曝光帧ev0输入该预设融合模型,即可得到用于指示短曝光帧ev-上运动区域和非运动区域的融合掩码图,之后可以根据该融合掩码图对长曝光帧ev0和短曝光帧ev-进行图像融合,得到融合后的目标HDR图像,此处仅是举例说明,本公开对此不作限定。
下面介绍根据该融合掩码图对第一图像和目标图像进行图像融合,得到目标HDR图像的具体实现方式。
方式一、图2是根据一示例性实施例示出的步骤S103的方法的流程图,如图2所示,一种可能的实现方式中,可以通过以下步骤根据该融合掩码图对该第一图像和该目标图像进行图像融合,得到该目标HDR图像:
在步骤S1031中,针对融合掩码图对应的运动区域,获取目标图像上对应运动区域的第一区域;
在步骤S1032中,针对融合掩码图对应的非运动区域,获取第一图像上对应非运动区域的第二区域;
在步骤S1033中,对第一区域和第二区域进行图像拼接后,生成目标HDR图像。
在本实施例中,该第一图像的曝光时间大于该目标图像的曝光时间,并且第一图像作为base图像,也就是说,该第一图像属于长曝光帧,该目标图像属于短曝光帧,相比较于短曝光帧来说,长曝光帧的图像亮度更高,但长曝光帧的运动模糊现象更为明显,因此,为了避免将长曝光帧作为base图像进行HDR图像融合时的运动模糊问题,针对融合掩码图对应的运动区域,可以选用短曝光帧(即目标图像)上的第一区域(与该运动区域对应的区域)的像素作为融合后的目标HDR图像中对应区域的像素,为了保证合成后图像具有较高的亮度,针对融合掩码图对应的非运动区域,可以选用长曝光帧(即第一图像)上的第二区域(与该非运动区域对应的区域)的像素作为融合后的目标HDR图像中对应区域的像素,这样,将第一区域和第二区域进行图像拼接后,即可得到合成后的目标HDR图像。
示例地,继续以对长曝光帧ev0和短曝光帧ev-进行图像融合,得到目标HDR图像为例,在得到用于指示短曝光帧ev-上运动区域和非运动区域的融合掩码图后,可以针对融合掩码图对应的运动区域,获取短曝光帧ev-上对应该运动区域的第一区域,并针对融合掩码图对应的非运动区域,获取长曝光帧ev0对应该非运动区域的第二区域,之后将短曝光帧ev-的第一区域和长曝光帧ev0的第二区域进行图像拼接后,即可得到该目标HDR图像,上述示例仅是举例说明,本公开对此不作限定。
考虑到若对于非运动区域均使用长曝光帧中第二区域的像素作为目标HDR图像对应区域的像素,若长曝光帧中的该第二区域存在过度曝光的问题,合成后的该目标HDR图像也会存在过度曝光的问题,因此,为了解决该问题,还可以通过以下方式根据该融合掩码图对该第一图像和该目标图像进行图像融合,得到该目标HDR图像:
方式二、该非运动区域包括多个子区域,图3是根据一示例性实施例示出的步骤S103的方法的流程图,如图3所示,另一种可能的实现方式中,可以通过以下步骤根据该融合掩码图对该第一图像和该目标图像进行图像融合,得到该目标HDR图像:
在步骤S1031中,针对融合掩码图对应的运动区域,获取目标图像上对应运动区域的第一区域;
在步骤S1034中,针对多个子区域中的高亮度区域,获取目标图像上对应高亮度区域的第三区域。
其中,高亮度区域通常是指存在过度曝光问题的过曝区域。
在步骤S1035中,针对多个子区域中的低亮度区域,获取第一图像上对应低亮度区域的第四区域。
其中,该低亮度区域通常是指非运动区域中除高亮度区域之外的其它区域。
在步骤S1036中,对第一区域、第三区域以及第四区域进行图像拼接后,生成目标HDR图像。
这样,可以将非运动区域划分为多个子区域,基于图像识别技术确定每个子区域的亮度信息,进而可以确定每个子区域属于高亮度区域还是低亮度区域,可以理解的是,相比较于短曝光帧,由于长曝光帧的曝光时间较长,因此长曝光帧中更容易出现过曝问题,针对非运动区域上的高亮度区域,为了解决过度曝光问题,可以选用短曝光帧(即目标图像)中对应该高亮度区域的第三区域的像素作为目标HDR图像中对应区域的像素。
采用上述方法,可以将多帧第一场景图像中曝光程度为预设曝光程度的第一图像作为base图像,根据该第一图像对目标图像(即多帧所述第一场景图像中除所述第一图像之外的任意一帧图像)进行运动区域检测,得到所述目标图像的运动区域检测结果,然后根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像,这样,结合运动区域检测结果进行HDR图像融合的过程中,针对目标图像上的运动区域,可以采用具有短曝光时间的图像上对应区域的像素进行像素替换,从而避免了HDR图像融合过程中对于运动区域造成的运动模糊问题。
另外,在进行HDR图像融合的过程中,为了解决帧间不对齐的问题,提高生成的HDR图像的画质,需要对LDR图像进行对齐、去鬼影操作。
图4是根据图1所示实施例示出的一种图像生成方法的流程图,如图4所示,该方法还包括以下步骤:
在步骤S104中,根据运动区域检测结果确定目标图像上的目标运动区域。
相关技术中,一般是对LDR图像进行整体对齐、去鬼影,但若采用的对齐算法中选用的对齐强度过大,对于非明显运动的区域(或者称之为静止区域)(比如草地、地面、天空)就会出现模糊、拼接错误、断层等现象,若选用的对齐强度过小,会有鬼影残留,因此,在本公开中,可以对目标图像上的目标运动区域进行检测,这样可以仅对该目标运动区域进行对齐、去鬼影操作,避免了对静止区域的影响。
在本步骤中,可以根据检测得到的目标图像的运动区域掩码图确定该目标图像上的该目标运动区域(例如,该运动区域掩码图中像素值为1的区域)。
在步骤S105中,根据第一图像对目标图像上的目标运动区域进行对齐操作,得到对齐后的第三图像,并根据第一图像对第三图像上的目标运动区域进行去鬼影操作,得到第四图像。
在本步骤中,可以将该目标图像上的目标运动区域的像素替换为该第一图像上目标区域(该目标区域与该目标运动区域对应)的像素后,得到对齐后的该第三图像,然后将该第一图像和该第三图像输入预设去鬼影模型后,完成对该第三图像上目标运动区域的去鬼影操作,得到该第四图像。
在进行去鬼影操作后,在执行步骤S103的过程中,可以根据运动区域检测结果对第一图像和第四图像进行HDR图像融合,得到目标HDR图像。
为了提高图像融合的准确度,在进行去鬼影操作后,可以对该第一图像进行亮度压缩,得到第五图像,使得第五图像与该第四图像的亮度一致,这样可以根据该运动区域检测结果对该第五图像和该第四图像进行HDR图像融合。
具体地,可以通过以下方式对该第一图像进行亮度压缩,得到第五图像:获取该第一图像和该第四图像分别对应的进光量;根据该第一图像对应的进光量,和该第四图像对应的进光量确定亮度压缩倍数;根据该亮度压缩倍数对该第一图像进行亮度压缩,得到该第五图像。
由于图像的亮度与采集图像过程中的进光量有关,因此若想要两张图像的亮度保持一致,需要两张图像的进光量保持一致。
示例地,由于进光量为曝光时间和感光度(ISO)的乘积,假设该第一图像的曝光时间为30ms,该第四图像(即对目标图像进行去鬼影操作以后得到的图像)的曝光时间为10ms,两张图像的感光度都为10,那么该第一图像对应的进光量即为300,该第二图像的进光量即为100,为了实现与该第四图像的亮度保持一致,两者的进光量可以保持一致,因此,该亮度压缩倍数可以为3,这样,可以将该第一图像中的每个像素点的像素值除以3即可对该第一图像进行亮度压缩,得到第五图像,并且该第五图像与该第四图像的图像亮度一致,上述示例仅是举例说明,本公开对此不作限定。
在对该第一图像和该目标图像进行HDR融合得到该目标HDR图像后,若采集到的该第一场景图像中包括多帧第二图像,基于上述的方法仅实现了第一图像与其中一帧第二图像(即目标图像)的HDR融合,对于其他第二图像,还需继续进行HDR融合,在本公开中,可以将上述生成的目标HDR图像作为新的base图像,将其他帧的第二图像与该目标HDR图像继续进行图像HDR融合。
因此,如图4所示,该方法还包括以下步骤:
在步骤S106中,针对第二图像中除目标图像之外的其它图像,依次遍历每帧其它图像,并将当前遍历的其它图像作为更新后的目标图像,并通过执行预设图像融合步骤得到新的HDR图像。
其中,该预设图像融合步骤包括:根据该目标HDR图像对更新后的目标图像进行运动区域检测,得到该更新后的目标图像的运动区域检测结果;根据该运动区域检测结果对该目标HDR图像和该更新后的目标图像进行HDR图像融合,得到新的HDR图像。
预设图像融合步骤的具体实现与上述描述的对第一图像和目标图像进行HDR融合,得到目标HDR图像的过程类似,在此不再赘述。
在步骤S107中,将新的HDR图像作为更新后的目标HDR图像后重新执行预设图像融合步骤,直至遍历完其它图像。
通过执行步骤S106-S107,即可实现对全部的LDR图像进行HDR融合,得到最终的HDR图像。
另外,考虑到相关技术中无论是什么场景均使用预设的多帧曝光策略,即采集多帧不同曝光程度的LDR图像,基于多帧不同曝光程度的LDR图像合成一张HDR图像,但是对于非高动态范围的场景(如亮度几乎一致的天空,或者是昏暗的房间等),这些场景的亮度动态范围不高,只需要单个正常曝光的图像就可以捕获所有的动态范围,因此,对于这种不是高动态范围的场景图像,若还基于多帧不同曝光程度的LDR图像进行HDR图像合成,不仅会浪费系统资源,也会增加功耗。
因此,在本公开中,可以首先对当前的目标场景进行检测,针对不同的场景,基于采集的场景图像的图像参数选用不同的曝光策略(包括多帧曝光策略或者单帧曝光策略)进行场景图像采集,从而可以针对不同的场景动态调整曝光策略,提高后续合成HDR图像的画质的同时,也能降低功耗。
因此,如图4所示,该方法还包括:
在步骤S108中,按照目标曝光策略采集目标场景的第二场景图像。
这样,在执行步骤S101的过程中,在该目标曝光策略为多帧曝光策略的情况下,可以将该第二场景图像作为第一场景图像。
需要说明的是,由于首次采集的目标场景的场景图像主要用于进行场景检测,因此,在首次采集该目标场景的场景图像时,可以采用默认的曝光策略(例如单帧曝光策略)采集该第二场景图像,并且该目标曝光策略可以包括单帧曝光策略,或者多帧曝光策略,顾名思义,采用单帧曝光策略时,仅采集一帧该第二场景图像,采用多帧曝光策略时,可以采集多帧该第二场景图像,并且相比较于合成后的HDR图像,多帧该第二场景图像均为LDR图像。
在步骤S109中,在目标曝光策略为单帧曝光策略的情况下,通过预设单帧HDR生成模型将第二场景图像合成为HDR图像。
其中,该预设单帧HDR生成模型也可以为预先训练得到的深度学习模块,在本步骤中,可以将该第二场景图像输入该预设单帧HDR生成模型后,通过模型输出合成后的HDR图像。
在步骤S110中,通过预设场景检测器对第二场景图像进行图像识别,确定第二场景图像对应的图像参数。
其中,该图像参数包括图像内容、图像亮度以及亮暗区域中的一种或者多种,在采集到多帧该第二场景图像的情况下,可以对任意一帧第二场景图像进行图像识别,以获得该图像参数。
在本步骤一种可能的实现方式中,可以基于深度学习模型对该第二场景图像进行语义分割,得到不同区域的图像内容(比如纯天空区域、高楼、室内场景),采用直方图统计的方法统计该第二场景图像上每个像素点亮度的分布,即统计每个亮度(或者亮度区间)对应的像素点个数,然后基于统计结果,确定该第二场景图像的亮度等级(例如高亮、较暗或者亮度适中三个等级),之后可以用该亮度等级表征该第二场景图像的图像亮度;本步骤在对该第二场景图像进行亮暗区域检测时,可以先采用语义分割网络根据图像内容的不同,将图像划分成不同的区域,然后检测每个区域的亮度,针对每个区域,确定该区域属于亮区还是暗区,并统计亮区的数量和暗区的数量。
在步骤S111中,根据图像参数确定下一个曝光策略,并将下一个曝光策略作为更新后的目标曝光策略。
其中,该下一个曝光策略是指图像采集装置下一次采集该目标场景的场景图像时的曝光策略,在根据该图像参数确定目标场景的亮度具有高动态范围时,可以确定下一个曝光策略为多帧曝光策略,即需要采集多帧不同曝光程度的LDR图像,基于多帧LDR图像生成HDR图像,在根据该图像参数确定目标场景的亮度具有低动态范围时,可以确定下一个曝光策略为单帧曝光策略,即仅需采集一帧场景图像即可捕获场景包含的亮度动态范围。
另外,在确定该下一个曝光策略为多帧曝光策略后,还可以根据该图像参数进一步确定具体的多帧控制策略中的曝光帧数,以及每帧图像分别对应的曝光时间,例如,该多帧曝光策略具体可以为曝光两帧图像LDR1和LDR2,其中,LDR1的曝光时间为30ms,LDR2的曝光时间为10ms;该多帧曝光策略还可以为曝光三帧图像LDR1、LDR2以及LDR3,其中,LDR1的曝光时间为30ms,LDR2的曝光时间为9ms,LDR3的曝光时间为1ms,此处仅是举例说明,本公开对此不作限定。
示例地,假设对该第二场景图像进行图像识别以后,确定图像内容包括高楼、高楼里边透过窗户有灯光,还有路灯和草丛(记为场景A),并且根据亮暗区域检测以及亮度检测可以确定该第二场景图像对应的亮度动态范围属于第一范围(可以理解为亮度区间),此种情况对应的曝光策略可以为曝光两帧图像LDR1和LDR2,其中,LDR1的曝光时间为30ms,LDR2的曝光时间为10ms;假设对该第二场景图像进行图像识别以后,确定图像内容包括室内较昏暗的环境,并且在该昏暗的室内环境中还有一个亮着的电脑屏幕(记为场景B),场景B的亮度动态范围明显高于场景A,因此,为了考虑HDR图像融合过程中,电脑屏幕区域的过曝光问题,以及其它昏暗环境的欠曝光问题,可以设置曝光策略为曝光两帧图像LDR1和LDR2,其中,LDR1的曝光时间为39ms,LDR2的曝光时间为1ms,这样,在基于LDR1和LDR2进行图像融合得到HDR图像后,基于39ms曝光时间得到的图像LDR1可以补偿昏暗环境的欠曝光问题,基于1ms曝光时间得到的图像LDR2,可以解决电脑屏幕区域的过曝光问题,上述示例仅是举例说明,本公开对此不作限定。
在本步骤中,可以将图像参数输入预设策略生成模型,得到下一个曝光策略。其中,该预设策略生成模型可以为预先训练得到的深度学习模型。
在步骤S112中,根据图像参数确定图像后处理参数;根据图像后处理参数对目标HDR图像进行画质后处理操作。
其中,该图像后处理参数包括以下参数中的至少一个参数:去噪强度、图像信号处理ISP控制参数、去模糊参数以及超分辨率重构参数。
一种可能的实现方式中,也可以将该图像参数输入预先训练得到的深度学习模型,基于模型输出确定上述图像后处理参数。
需要说明的是,本申请在得到HDR融合图像后,再进行去噪和ISP处理,可以避免冗余的去噪操作,并且去噪强度可以由场景检测器控制,如果场景亮度高,细节区域较多的话,则可以选用相对较弱的去噪强度进行去噪,保留更多细节信息的同时还可以减少噪声;对于场景亮度较低、平坦区域较多场景图像,可以选用相对较强的去噪强度进行去噪,从而尽可能的避免噪声。
采用上述方法,可以将多帧第一场景图像中曝光程度为预设曝光程度的第一图像作为base图像,根据该第一图像对目标图像(即多帧所述第一场景图像中除所述第一图像之外的任意一帧图像)进行运动区域检测,得到所述目标图像的运动区域检测结果,然后根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像,这样,结合运动区域检测结果进行HDR图像融合的过程中,针对目标图像上的运动区域,可以采用具有短曝光时间的图像上对应区域的像素进行像素替换,从而避免了HDR图像融合过程中对于运动区域造成的运动模糊问题。
本申请中对于目标图像中的非运动区域,若该非运动区域中包含高亮度区域,针对该非运动区域中的高亮度区域,在进行HDR图像融合的过程中也可以采用具有短曝光时间的图像上对应区域的像素进行像素替换,这样也避免了HDR图像的噪声以及过曝问题的出现。
另外,本申请对目标图像进行运动区域检测后,在进行去鬼影操作之前,可以仅对运动区域进行对齐操作,而对静止区域可以不进行对齐处理,相比较于现有方案的整体对齐,这样可以避免出现对静止区域进行对齐操作所带来的去鬼影错误的问题。
进一步地,本申请可以针对不同的图像采集场景,基于采集的场景图像的图像参数(包括图像内容、图像亮度以及亮暗区域中的一种或者多种),选用不同的曝光策略(包括多帧曝光策略或者单帧曝光策略)进行场景图像采集,这样可以针对不同的场景动态调整曝光策略,提高后续合成HDR图像的画质的同时,也能降低功耗。
图5是根据一示例性实施例示出的一种图像生成装置的框图。参照图5,该装置包括:
获取模块501,被配置为获取目标场景的多帧第一场景图像,所述第一场景图像包括一帧第一图像和至少一帧第二图像;所述第一图像为多帧所述第一场景图像中预设曝光程度对应的图像,所述第二图像为多帧所述第一场景图像中除所述第一图像之外的图像;
运动区域检测模块502,被配置为根据所述第一图像对目标图像进行运动区域检测,得到所述目标图像的运动区域检测结果,所述目标图像包括任意一帧第二图像;
第一图像生成模块503,被配置为根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像。
可选地,所述运动区域检测结果包括运动区域掩码图,所述运动区域检测模块502,被配置为将所述第一图像和目标图像输入预设运动区域检测模型,得到所述运动区域掩码图。
可选地,所述第一图像生成模块503,被配置为将所述运动区域掩码图、所述第一图像以及所述目标图像输入预设融合模型,得到融合掩码图;根据所述融合掩码图对所述第一图像和所述目标图像进行图像融合,得到所述目标HDR图像。
可选地,所述融合掩码图用于指示所述目标图像上的运动区域和非运动区域;所述第一图像的曝光时间大于所述目标图像的曝光时间,所述第一图像生成模块503,被配置为针对所述融合掩码图对应的运动区域,获取所述目标图像上对应所述运动区域的第一区域;针对所述融合掩码图对应的非运动区域,获取所述第一图像上对应所述非运动区域的第二区域;对所述第一区域和所述第二区域进行图像拼接后,生成所述目标HDR图像。
可选地,所述非运动区域包括多个子区域,所述第一图像生成模块503,被配置为针对多个所述子区域中的高亮度区域,获取所述目标图像上对应所述高亮度区域的第三区域;针对多个所述子区域中的低亮度区域,获取所述第一图像上对应所述低亮度区域的第四区域;对所述第一区域、所述第三区域以及所述第四区域进行图像拼接后,生成所述目标HDR图像。
可选地,图6是根据图5所示实施例示出的一种图像生成装置的框图,如图6所示,该装置还包括:
确定模块504,被配置为根据所述运动区域检测结果确定所述目标图像上的目标运动区域;
去鬼影模块505,被配置为根据所述第一图像采用预设对齐算法对所述目标图像上的所述目标运动区域进行对齐操作,得到对齐后的第三图像;根据所述第一图像对所述第三图像上的目标运动区域进行去鬼影操作,得到第四图像;
所述第一图像生成模块503,被配置为根据所述运动区域检测结果对所述第一图像和所述第四图像进行HDR图像融合。
可选地,所述第一图像生成模块503,被配置为对所述第一图像进行亮度压缩,得到第五图像,所述第五图像与所述第四图像的亮度一致;根据所述运动区域检测结果对所述第五图像和所述第四图像进行HDR图像融合。
可选地,所述第一图像生成模块503,被配置为获取所述第一图像和所述第四图像分别对应的进光量;根据所述第一图像对应的进光量,和所述第四图像对应的进光量确定亮度压缩倍数;根据所述亮度压缩倍数对所述第一图像进行亮度压缩,得到所述第五图像。
可选地,所述第一图像生成模块503,还被配置为针对所述第二图像中除所述目标图像之外的其它图像,依次遍历每帧其它图像;将当前遍历的其它图像作为更新后的目标图像,并通过执行预设图像融合步骤得到新的HDR图像;将所述新的HDR图像作为更新后的目标HDR图像后重新执行所述预设图像融合步骤,直至遍历完所述其它图像。
可选地,所述预设图像融合步骤包括:
根据所述目标HDR图像对更新后的目标图像进行运动区域检测,得到所述更新后的目标图像的运动区域检测结果;
根据所述运动区域检测结果对所述目标HDR图像和所述更新后的目标图像进行HDR图像融合,得到新的HDR图像。
可选地,图7是根据图5所示实施例示出的一种图像生成装置的框图,如图7所示,该装置还包括:
图像采集模块506,被配置为按照目标曝光策略采集所述目标场景的第二场景图像;
所述获取模块501,被配置为在所述目标曝光策略为多帧曝光策略的情况下,将所述第二场景图像作为更新后的第一场景图像。
可选地,如图7所示,该装置还包括:
第二图像生成模块507,被配置为在所述目标曝光策略为单帧曝光策略的情况下,通过预设单帧HDR生成模型将所述第二场景图像合成为HDR图像。
可选地,如图7所示,该装置还包括:
场景检测模块508,被配置为通过预设场景检测器对所述第二场景图像进行图像识别,确定所述第二场景图像对应的图像参数;根据所述图像参数确定下一个曝光策略,并将所述下一个曝光策略作为更新后的目标曝光策略。
可选地,所述图像参数包括图像内容、图像亮度以及亮暗区域中的一种或者多种。
可选地,所述场景检测模块508,被配置为将所述图像参数输入预设策略生成模型,得到所述下一个曝光策略。
可选地,如图7所示,该装置还包括:
图像后处理模块509,被配置为根据所述图像参数确定图像后处理参数;根据所述图像后处理参数对所述目标HDR图像进行画质后处理操作。
可选地,所述图像后处理参数包括以下参数中的至少一个参数:去噪强度、图像信号处理ISP控制参数、去模糊参数以及超分辨率重构参数。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
采用上述装置,可以将多帧第一场景图像中曝光程度为预设曝光程度的第一图像作为base图像,根据该第一图像对目标图像(即多帧所述第一场景图像中除所述第一图像之外的任意一帧图像)进行运动区域检测,得到所述目标图像的运动区域检测结果,然后根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像,这样,结合运动区域检测结果进行HDR图像融合的过程中,针对目标图像上的运动区域,可以采用具有短曝光时间的图像上对应区域的像素进行像素替换,从而避免了HDR图像融合过程中对于运动区域造成的运动模糊问题。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的图像生成方法的步骤。
图8是根据一示例性实施例示出的一种用于图像生成的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的图像生成方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
输入/输出接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述图像生成方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述图像生成方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
上述装置除了可以是独立的电子设备外,也可是独立电子设备的一部分,例如在一种实施例中,该装置可以是集成电路(Integrated Circuit,IC)或芯片,其中该集成电路可以是一个IC,也可以是多个IC的集合;该芯片可以包括但不限于以下种类:GPU(GraphicsProcessing Unit,图形处理器)、CPU(Central Processing Unit,中央处理器)、FPGA(Field Programmable Gate Array,可编程逻辑阵列)、DSP(Digital Signal Processor,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、SOC(System on Chip,SoC,片上系统或系统级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码),以实现上述的图像生成方法。其中该可执行指令可以存储在该集成电路或芯片中,也可以从其他的装置或设备获取,例如该集成电路或芯片中包括处理器、存储器,以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中,当该可执行指令被处理器执行时实现上述的图像生成方法;或者,该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行,以实现上述的图像生成方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的图像生成方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (21)
1.一种图像生成方法,其特征在于,包括:
获取目标场景的多帧第一场景图像,所述第一场景图像包括一帧第一图像和至少一帧第二图像;所述第一图像为多帧所述第一场景图像中预设曝光程度对应的图像,所述第二图像为多帧所述第一场景图像中除所述第一图像之外的图像;
根据所述第一图像对目标图像进行运动区域检测,得到所述目标图像的运动区域检测结果,所述目标图像包括任意一帧第二图像;
根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像。
2.根据权利要求1所述的方法,其特征在于,所述运动区域检测结果包括运动区域掩码图,所述根据所述第一图像对目标图像进行运动区域检测,得到目标图像的运动区域检测结果包括:
将所述第一图像和目标图像输入预设运动区域检测模型,得到所述运动区域掩码图。
3.根据权利要求2所述的方法,其特征在于,所述根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合包括:
将所述运动区域掩码图、所述第一图像以及所述目标图像输入预设融合模型,得到融合掩码图;
根据所述融合掩码图对所述第一图像和所述目标图像进行图像融合,得到所述目标HDR图像。
4.根据权利要求3所述的方法,其特征在于,所述融合掩码图用于指示所述目标图像上的运动区域和非运动区域;所述第一图像的曝光时间大于所述目标图像的曝光时间,所述根据所述融合掩码图对所述第一图像和所述目标图像进行图像融合,得到所述目标HDR图像包括:
针对所述融合掩码图对应的运动区域,获取所述目标图像上对应所述运动区域的第一区域;
针对所述融合掩码图对应的非运动区域,获取所述第一图像上对应所述非运动区域的第二区域;
对所述第一区域和所述第二区域进行图像拼接后,生成所述目标HDR图像。
5.根据权利要求4所述的方法,其特征在于,所述非运动区域包括多个子区域,所述方法还包括:
针对多个所述子区域中的高亮度区域,获取所述目标图像上对应所述高亮度区域的第三区域;
针对多个所述子区域中的低亮度区域,获取所述第一图像上对应所述低亮度区域的第四区域;
对所述第一区域、所述第三区域以及所述第四区域进行图像拼接后,生成所述目标HDR图像。
6.根据权利要求1所述的方法,其特征在于,所述根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合之前,所述方法还包括:
根据所述运动区域检测结果确定所述目标图像上的目标运动区域;
根据所述第一图像采用预设对齐算法对所述目标图像上的所述目标运动区域进行对齐操作,得到对齐后的第三图像;
根据所述第一图像对所述第三图像上的目标运动区域进行去鬼影操作,得到第四图像;
所述根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合包括:
根据所述运动区域检测结果对所述第一图像和所述第四图像进行HDR图像融合。
7.根据权利要求6所述的方法,其特征在于,所述根据所述运动区域检测结果对所述第一图像和所述第四图像进行HDR图像融合包括:
对所述第一图像进行亮度压缩,得到第五图像,所述第五图像与所述第四图像的亮度一致;
根据所述运动区域检测结果对所述第五图像和所述第四图像进行HDR图像融合。
8.根据权利要求7所述的方法,其特征在于,所述对所述第一图像进行亮度压缩,得到第五图像包括:
获取所述第一图像和所述第四图像分别对应的进光量;
根据所述第一图像对应的进光量,和所述第四图像对应的进光量确定亮度压缩倍数;
根据所述亮度压缩倍数对所述第一图像进行亮度压缩,得到所述第五图像。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
针对所述第二图像中除所述目标图像之外的其它图像,依次遍历每帧其它图像;
将当前遍历的其它图像作为更新后的目标图像,并通过执行预设图像融合步骤得到新的HDR图像;
将所述新的HDR图像作为更新后的目标HDR图像后重新执行所述预设图像融合步骤,直至遍历完所述其它图像。
10.根据权利要求9所述的方法,其特征在于,所述预设图像融合步骤包括:
根据所述目标HDR图像对更新后的目标图像进行运动区域检测,得到所述更新后的目标图像的运动区域检测结果;
根据所述运动区域检测结果对所述目标HDR图像和所述更新后的目标图像进行HDR图像融合,得到新的HDR图像。
11.根据权利要求1-10任一项所述的方法,其特征在于,在所述获取目标场景的多帧第一场景图像之前,所述方法还包括:
按照目标曝光策略采集所述目标场景的第二场景图像;
所述获取目标场景的多帧第一场景图像包括:
在所述目标曝光策略为多帧曝光策略的情况下,将所述第二场景图像作为所述第一场景图像。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
在所述目标曝光策略为单帧曝光策略的情况下,通过预设单帧HDR生成模型将所述第二场景图像合成为HDR图像。
13.根据权利要求11所述的方法,其特征在于,所述按照目标曝光策略采集所述目标场景的第二场景图像后,所述方法还包括:
通过预设场景检测器对所述第二场景图像进行图像识别,确定所述第二场景图像对应的图像参数;
根据所述图像参数确定下一个曝光策略,并将所述下一个曝光策略作为更新后的目标曝光策略。
14.根据权利要求13所述的方法,其特征在于,所述图像参数包括图像内容、图像亮度以及亮暗区域中的一种或者多种。
15.根据权利要求13所述的方法,其特征在于,所述根据所述图像参数确定下一个曝光策略包括:
将所述图像参数输入预设策略生成模型,得到所述下一个曝光策略。
16.根据权利要求13所述的方法,其特征在于,所述方法还包括:
根据所述图像参数确定图像后处理参数;
根据所述图像后处理参数对所述目标HDR图像进行画质后处理操作。
17.根据权利要求16所述的方法,其特征在于,所述图像后处理参数包括以下参数中的至少一个参数:
去噪强度、图像信号处理ISP控制参数、去模糊参数以及超分辨率重构参数。
18.一种图像生成装置,其特征在于,包括:
获取模块,被配置为获取目标场景的多帧第一场景图像,所述第一场景图像包括一帧第一图像和至少一帧第二图像;所述第一图像为多帧所述第一场景图像中预设曝光程度对应的图像,所述第二图像为多帧所述第一场景图像中除所述第一图像之外的图像;
运行区域检测模块,被配置为根据所述第一图像对目标图像进行运动区域检测,得到所述目标图像的运动区域检测结果,所述目标图像包括任意一帧第二图像;
第一图像生成模块,被配置为根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像。
19.一种图像生成装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取目标场景的多帧第一场景图像,所述第一场景图像包括一帧第一图像和至少一帧第二图像;所述第一图像为多帧所述第一场景图像中预设曝光程度对应的图像,所述第二图像为多帧所述第一场景图像中除所述第一图像之外的图像;
根据所述第一图像对目标图像进行运动区域检测,得到所述目标图像的运动区域检测结果,所述目标图像包括任意一帧第二图像;
根据所述运动区域检测结果对所述第一图像和所述目标图像进行高动态范围HDR图像融合,得到目标HDR图像。
20.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1~17中任一项所述方法的步骤。
21.一种芯片,其特征在于,包括处理器和接口;所述处理器用于读取指令以执行权利要求1~17中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210775458.9A CN117392030A (zh) | 2022-07-01 | 2022-07-01 | 图像生成的方法、装置、存储介质及芯片 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210775458.9A CN117392030A (zh) | 2022-07-01 | 2022-07-01 | 图像生成的方法、装置、存储介质及芯片 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117392030A true CN117392030A (zh) | 2024-01-12 |
Family
ID=89439722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210775458.9A Pending CN117392030A (zh) | 2022-07-01 | 2022-07-01 | 图像生成的方法、装置、存储介质及芯片 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117392030A (zh) |
-
2022
- 2022-07-01 CN CN202210775458.9A patent/CN117392030A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10674088B2 (en) | Method and device for acquiring image, terminal and computer-readable storage medium | |
CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
CN111586282B (zh) | 拍摄方法、装置、终端及可读存储介质 | |
KR20200019728A (ko) | 촬영 이동 단말 | |
CN108040204B (zh) | 一种基于多摄像头的图像拍摄方法、装置及存储介质 | |
CN112492198B (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN112669231B (zh) | 图像处理方法、图像处理模型的训练方法、装置、介质 | |
CN114500821B (zh) | 拍照方法及装置、终端及存储介质 | |
CN111586280B (zh) | 拍摄方法、装置、终端及可读存储介质 | |
CN108156381B (zh) | 拍照方法及装置 | |
CN111461950A (zh) | 图像处理方法及装置 | |
US11617023B2 (en) | Method for brightness enhancement of preview image, apparatus, and medium | |
CN114070998B (zh) | 一种拍摄月亮的方法、装置、电子设备及介质 | |
CN117392030A (zh) | 图像生成的方法、装置、存储介质及芯片 | |
CN111277754B (zh) | 移动终端拍摄方法及装置 | |
CN111835977B (zh) | 图像传感器、图像生成方法及装置、电子设备、存储介质 | |
CN112312024A (zh) | 拍照处理方法、装置及存储介质 | |
US20240005521A1 (en) | Photographing method and apparatus, medium and chip | |
CN115134536B (zh) | 拍摄方法及其装置 | |
WO2023236209A1 (zh) | 图像处理方法、装置、电子设备和存储介质 | |
WO2023236215A1 (zh) | 图像处理方法、装置及存储介质 | |
CN111225158B (zh) | 图像生成方法及装置、电子设备、计算机可读存储介质 | |
CN116843603A (zh) | 一种图像处理方法及装置、电子设备、存储介质 | |
CN116152078A (zh) | 图像处理方法、装置、系统及存储介质 | |
CN116366988A (zh) | 图像获取方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |