CN116233607A - 一种多曝光图像处理方法、装置、芯片及电子设备 - Google Patents
一种多曝光图像处理方法、装置、芯片及电子设备 Download PDFInfo
- Publication number
- CN116233607A CN116233607A CN202111451630.7A CN202111451630A CN116233607A CN 116233607 A CN116233607 A CN 116233607A CN 202111451630 A CN202111451630 A CN 202111451630A CN 116233607 A CN116233607 A CN 116233607A
- Authority
- CN
- China
- Prior art keywords
- exposure
- image
- target pixel
- motion
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 153
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000007499 fusion processing Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims description 118
- 238000010586 diagram Methods 0.000 claims description 103
- 229920006395 saturated elastomer Polymers 0.000 claims description 43
- 230000003068 static effect Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 10
- 239000000523 sample Substances 0.000 claims 1
- 239000000758 substrate Substances 0.000 claims 1
- 101100075995 Schizosaccharomyces pombe (strain 972 / ATCC 24843) fma2 gene Proteins 0.000 description 34
- 239000000203 mixture Substances 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 6
- 238000002156 mixing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
本申请实施例公开了一种多曝光图像处理方法、装置、芯片及电子设备，该方法包括：获取目标场景在不同曝光时间下拍摄到的多个曝光图像；对多个曝光图像中的第一曝光图像进行运动模糊修正；对除长曝光图像之外的其他曝光图像进行降噪；确定多个曝光图像的第一融合权重；基于第一融合权重，对处理后的曝光图像进行融合处理，以获得目标场景的高动态范围图像。如此，通过对第一曝光图像进行运动模糊修正能有效抑制长曝光图像中的运动模糊，提升HDR图像运动物体边缘的清晰度，通过对第二曝光图像进行降噪，减轻噪声对HDR图像质量的影响，还会针对性地通过调节第一融合权重，减弱HDR图像中两种曝光交界区域的信噪比跳变，整体而言提高HDR图像质量。
Description
技术领域
本申请涉及图像处理技术，尤其涉及一种多曝光图像处理方法、装置、芯片及电子设备。
背景技术
高动态范围(High Dynamic Range，HDR)摄影的实现有多种方法，目前较为主流的方法是数字重叠(Digital Overlap，DOL)，其具体做法是对同一场景分别做长曝光、中曝光和短曝光，采集到三张图像，然后把这三张图像做融合，最后得到一张高动态范围图像。在对三张图像做融合时，长曝光图像曝光时间较长更容易发生运动模糊，若引入到融合图像中，视觉上会觉察到运动物体边缘有模糊或重影，中曝光、短曝光图像因为曝光时间相对较短，噪声相对明显，噪声被引入到融合图像中，降低融合图像质量。因此，解决多曝光图像的融合技术亟待优化。
发明内容
为解决上述技术问题，本申请实施例期望提供一种多曝光图像处理方法、装置、芯片及电子设备。
本申请的技术方案是这样实现的：
第一方面，提供了一种多曝光图像处理方法，包括：
获取目标场景在不同曝光时间下拍摄到的多个曝光图像；
对所述多个曝光图像中的第一曝光图像进行运动模糊修正；
对所述多个曝光图像中的第二曝光图像进行降噪；
确定所述多个曝光图像的第一融合权重；
基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行图像融合处理，以获得所述目标场景下的高动态范围图像；
其中，所述第一曝光图像具有第一曝光时间，所述第二曝光图像是不同于所述第一曝光图像的另一曝光图像。
第二方面，提供了一种图像处理装置，包括：
获取模块，用于获取目标场景在不同曝光时间下拍摄到的多个曝光图像；
运动模糊修正模块，用于对所述多个曝光图像中的第一曝光图像进行运动模糊修正；
降噪模块，用于对所述多个曝光图像中的第二曝光图像进行降噪；
融合权重生成模块，用于确定所述多个曝光图像的第一融合权重；
融合模块，用于基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行图像融合处理，以获得所述目标场景下的高动态范围图像；
其中，所述第一曝光图像具有第一曝光时间，所述第二曝光图像是不同于所述第一曝光图像的另一曝光图像。
第三方面，提供了一种图像处理装置，包括：
传感器，配置成：
获取目标场景在不同曝光时间下拍摄到的多个曝光图像；
处理器，配置成：
对所述多个曝光图像中的第一曝光图像进行运动模糊修正；
对所述多个曝光图像中的第二曝光图像进行降噪；
确定所述多个曝光图像的第一融合权重；
基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行融合处理，以获得所述目标场景下的高动态范围图像；
其中，所述第一曝光图像具有第一曝光时间，所述第二曝光图像是不同于所述第一曝光图像的另一曝光图像。
第四方面，提供了一种图像处理芯片，所述芯片包括处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行前述第一方面所述方法的步骤。
第五方面，提供了一种电子设备，所述电子设备包括：图像采集装置以及前述图像处理芯片。
第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法的步骤。
如此，对HDR摄影的多曝光图像进行处理时，通过对长曝光图像进行运动模糊修正能有效抑制第一曝光图像中的运动模糊，提升HDR图像运动物体边缘的清晰度，通过对第二曝光图像进行降噪，减轻噪声对HDR图像质量的影响，还会针对性地通过调节第一融合权重，减弱HDR图像中两种曝光交界区域的信噪比跳变，整体而言提高HDR图像质量。
附图说明
图1为本申请实施例中多曝光图像处理方法的流程示意图；
图2为本申请实施例中曝光选择特征图的原理示意图；
图3为本申请实施例中运动特征图的原理示意图；
图4为本申请实施例中运动模糊修正方法的流程示意图；
图5为本申请实施例中运动检测时第一检测窗口示意图；
图6为本申请实施例中采用线性插值得到第一运动特征图的原理示意图；
图7为本申请实施例中运动检测时第一检测窗口的上窗口示意图；
图8为本申请实施例中运动检测时第一检测窗口的下窗口示意图；
图9为本申请实施例中3x5个像素的运动特征图；
图10为本申请实施例中暗区检测示意图；
图11为本申请实施例中采用线性插值进行暗区修正的原理示意图；
图12为本申请实施例中选择判断策略的第一流程示意图；
图13为本申请实施例中选择判断策略的第二流程示意图；
图14为本申请实施例中第一融合权重确定方法的流程示意图；
图15为本申请实施例中最大平均值统计时第一窗口示意图；
图16为本申请实施例中最大像素值统计时第二窗口示意图；
图17为本申请实施例中采用线性插值确定第一融合权重的原理示意图；
图18为本申请实施例中图像处理装置的第一组成结构示意图；
图19为本申请实施例中图像处理装置的第二组成结构示意图；
图20为本申请实施例中图像处理装置的第三组成结构示意图；
图21为本申请实施例中图像处理芯片的组成结构示意图；
图22为本申请实施例中电子设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
本申请实施例的提供了一种多曝光图像处理方法，在陈述本申请实施例之前，先对多曝光图像处理方法中所涉及的技术术语进行介绍。
多曝光图像，摄像头对同一目标场景快速地分多次进行不同时间的曝光，以三张曝光图像为例为例，会得到长曝光图像、中曝光图像和短曝光图像三张曝光图像。长曝光图像中的过亮区域因为像素饱和或者接近饱和导致细节不够明显，但是在中曝光和短曝光图像中对应的位置，因为曝光时间短，不会发生像素饱和，细节得以保留。相反地，在中曝光和短曝光图像中过暗区域因为光线不足导致细节不够明显，但是在长曝光图像中的对应位置，因为曝光时间长，其细节得以保留。
曝光图像对，按照曝光时间长短，相邻曝光图像为一对，例如，长曝光和中曝光为一对，中曝光和短曝光为一对。“较短曝光图像”是指每对曝光图像中曝光时间较短的图像，“较长曝光图像”是指每对曝光图中曝光时间较长的图像。
目标像素，指的是HDR图像中待生成的2x2 Bayer格式子像素，也可以称为“目标像素窗口”。多曝光图像融合过程中，每次只处理2x2个Bayer格式子像素，处理完成后沿水平方向右移两个子像素位置，开始处理下一个2x2 Bayer格式子像素。一个2x2 Bayer行处理完毕后，向下移动两行，开始新的Bayer行的处理。
Bayer格式，是以发明人Bayer名字命名的像素排列方法，首先把一张图像划分为很多个2x2块，每个2x2块中有一个蓝色块(Blue，可省略写为B)，一个红色块(Red，可省略写为R)和两个绿色块(Green，可省略写为G)，其中两个绿色块只能处于对角线的位置。一般为了区分两个绿色块，把与蓝色块在同一行的那个绿色块称为Gb，把与红色块在同一行的那个绿色块称为Gr，Gb和Gr可认为是不同的颜色。2x2块中所有可能的Bayer格式有RGrGbB、BGbGrR、GrRBGb和GbBRGr四种模式。本申请中心窗口为像素窗口中心位置的2x2块，四个Bayer格式子像素以RGrGbB为例来进行举例说明，其他三种格式同样适用。
特征图，它不是一幅真正的图片，而是表示某种特征的数值或者这些数值的集合(这里的“图”更贴近“地图”的含义，目的是建立像素与特征之间一一对应关系，后续进行其他操作时如果需要用到特征图就可以按图索骥)。比如运动特征图(Motion Map)，指的是每个目标像素可以对应有一个8bit的数值，用来表征每对曝光图像之间物体发生运动的程度。再比如，噪声特征图(Noise Map)，指的是每个目标像素可以对应有一个4bit的数值，用来表征噪声的强弱。还有曝光选择特征图，指的是在融合图像中，某个位置的像素要用到哪些曝光图来进行合成，是长曝光图像和中曝光图像，还是中曝光图像和短曝光图像。
多曝光图像融合(multiple exposure fusion)，字面意思是把多张曝光图像合成一张，总体思路就是把长曝光图像中的过亮区域“替换”成中曝光或短曝光的图像数据，把中曝光或短曝光中的过暗区域“替换”成长曝光图像数据，这就使得在合成后的图像中无论是亮区还是暗区，细节都能得以保留。这就好像把不同曝光图像的不同区域缝合在一张图像中，有一个很形象的词叫帧拼接(frame stitching)。实际操作中，并不是这样简单地“替换”图像数据，而是长曝光、中曝光和短曝光按比例融合在一起；不同亮度区域融合时三种曝光贡献的比例是不同的。多曝光图像融合的核心点就在于计算不同亮度区域三种曝光图像对最终融合结果的贡献比例。
运动模糊，日常拍照时一般要保持拍摄设备稳定或者要求被拍摄对象不动，这样拍出来的照片才清晰。这是因为拍照成像并不是一瞬间完成的事情，而是需要十几毫秒或者更久的时间来获取图像，如果在这十几毫秒时间内，拍照设备发生晃动或者被拍照对象处于运动状态，最终的成像就会变得模糊，这种现象叫运动模糊(motion blur)。可以想象，当拍摄有物体、人物在动的画面时，这种motion blur不可避免。
图像噪声，指的是图像数据中存在的不必要的、多余的干扰信息。信噪比(Signal-Noise Ratio，SNR)可以用来衡量图像噪声严重程度，信噪比越大，图像越清晰，信噪比越小，噪声越明显。一张图像中，如果一个区域信噪比大，相邻的区域信噪比小，那么人眼视觉上这两个相邻区域会有明显的边界，这种现象叫做信噪比跳变(SNR drop)。对应到我们的多曝光图像融合技术中，较长曝光图像的噪声与较短曝光图像的噪声，其强弱不一样，那么，当两者融合到同一张图片中后，不可避免地会有信噪比跳变的现象。
针对图像运动模糊和噪声的问题，本申请实施例提供一种多曝光图像处理方法，以解决HDR图像融合过程中的运动模糊和噪声问题，提高HDR图像质量。
下面对本申请实施例提供了一种多曝光图像处理方法进行详细的举例说明，图1为本申请实施例中多曝光图像处理方法的流程示意图，如图1所示，该方法具体可以包括：
步骤101：获取目标场景在不同曝光时间下拍摄到的多个曝光图像；
步骤102：对所述多个曝光图像中的第一曝光图像进行运动模糊修正；
其中，所述第一曝光图像具有第一曝光时间，所述第二曝光图像是不同于所述第一曝光图像的另一曝光图像。也就是说，第一曝光图像和第二曝光图像为不同曝光图像。
示例性的，第一曝光图像为多个曝光图像中的具有较长曝光时间的曝光图像，在较长曝光时间内拍摄对象的移动幅度相对大，运动模糊会更明显，需要进行运动模糊修正，与此相反，在较短曝光图像中，物体即便有运动，因为曝光时间太短，其记录下来的运动幅度也不会太大，运动模糊不显著。示例性的，第一曝光图像具体可以为最长曝光时间对应的长曝光图像，由于它的曝光时间相对于其他曝光图像更长，运动模糊最明显最需要进行运动模糊修正。
因此，本申请实施例在对多曝光图像进行融合之前，基于预设的运动模糊修正策略对长曝光图像进行运动模糊修正，以减弱长曝光图像的运动模糊，以免引入到融合图像中，减弱甚至消除运动物体边缘的模糊或重影，提高融合图像质量。
示例性的，在一些实施例中，所述对所述多个曝光图像中的第一曝光图像进行运动模糊修正，包括：按照曝光时间将N个曝光图像划分为曝光时间相邻的N-1对曝光图像；其中，所述N个曝光图像是所述多个曝光图像的子集；
确定每对曝光图像的运动特征图以及曝光选择特征图；基于所述曝光选择特征图确定参与目标像素运动模糊修正的一对曝光图像；基于所确定的一对曝光图像及对应的运动特征图进行图像融合处理。这里，目标像素可以理解为长曝光图像中包括四个Bayer格式子像素的像素，通过上述步骤对长曝光图像中所有像素进行运动模糊修正，得到运动模糊修正后的长曝光图像。
这里，曝光选择特征图，指示参与长曝光图像的目标像素运动模糊修正的一对曝光图像，当N取大于2的整数时包含至少两对曝光图像，曝光选择特征图用于指示用到那一对曝光图像相同位置的像素对长曝光图像的目标像素进行运动模糊修正。示例性的，以三张曝光图像为例，包括长曝光图像、中曝光图像和短曝光图像，图2为本申请实施例中曝光选择特征图的原理示意图，长曝光图像中左上角当前2x2Bayer格式的目标像素，使用长、中曝光图像相同位置的像素进行融合，得到运动模糊修正后的目标像素，其他像素同理。
运动特征图，指示每对曝光图像中的像素都对应有一个数值，用来表征每对曝光图像之间物体发生运动的程度，用于长曝光图像的运动模糊修正。示例性的，运动特征图的数值可以是8bit。图3为本申请实施例中运动特征图的原理示意图。
也就是说，在对长曝光图像进行运动模糊修正时，先基于曝光选择特征图确定一对曝光图像，再基于运动特征图对确定一对曝光图像的目标像素进行融合处理，得到运动模糊修正后的目标像素。
步骤103：对所述多个曝光图像中的第二曝光图像进行降噪；
示例性的，第二曝光图像为多个曝光图像中的具有较短曝光时间的曝光图像，在较短曝光图像中，物体即便有运动，因为曝光时间太短，其记录下来的运动幅度也不会太大，运动模糊不显著，不需要进行运动模糊修正，只进行降噪处理。
图像传感器在低照度情况下采集到的图像通常噪声比较明显。这是因为低照度下进入图像传感器的光信号比较少，产生的电信号比较弱，容易收到干扰而形成噪声。除长曝光图像之外，其他曝光图像因为曝光时间相对较短，噪声会相对明显，若直接进行图像融合后，噪声会被带入到融合图像中降低融合图像质量。所以，在融合之前，基于预设的降噪策略，对除长曝光图像之外的其他曝光图像进行降噪处理，减轻噪声对融合后的HDR图像质量的影响。
步骤104：确定所述多个曝光图像的第一融合权重；
这里，在确定第一融合权重时，针对两种曝光图像交界区域的信噪比跳变现象，调节第一融合权重，从而减弱融合图像中两种曝光交界区域的信噪比跳变。
步骤105：基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行图像融合处理，以获得所述目标场景下的高动态范围图像；
示例性的，基于alpha混合(alpha blending)，对处理后的曝光图像进行融合处理。
具体地，alpha混合，是把图像A和图像B的每个像素各自抽取一定比例融合成一张图像的方法。alpha混合时，某个图像贡献的比例一般叫第一融合权重(blend ratio)，融合后的图像C＝图像Ax(1-blend_ratio)+图像B x blend_ratio，这里，blend ratio取值范围从0到1。
需要说明的是，当N大于2时，在对某个位置像素进行图像融合处理时，需要先确定用到哪些曝光图像进行融合，再根据第一融合权重进行融合处理。
示例性的，在一些实施例中，N大于2时，所述第一融合权重包括N-1对曝光图像的第一融合权重；
所述基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行图像融合处理，包括：按照曝光时间从长到短的顺序，确定当前对曝光图像；所述当前对曝光图像不为最后一对曝光图像，所述当前对曝光图像中目标像素的第一融合权重大于0时，基于所述当前对曝光图像中目标像素的第一融合权重，对所述当前对曝光图像进行融合，得到所述高动态范围图像的目标像素；所述当前对曝光图像中目标像素的第一融合权重等于0时，比较下一对曝光图像中目标像素的第一融合权重的大小；所述当前对曝光图像为最后一对曝光图像，基于所述当前对曝光图像中目标像素的第一融合权重，对所述当前对曝光图像进行融合，得到所述高动态范围图像的目标像素。
示例性的，N取3时，目标像素的融合是基于长曝光图像和中曝光图像进行融合，还是基于中曝光图像和短曝光图像进行融合，只需要判断长曝光图像和中曝光图像之间的blend ratio，如果其值等于0，则要基于中曝光图像和短曝光图像进行融合，否则，要基于长曝光图像和中曝光图像进行融合。融合计算公式如下：
其中，PTT0为融合后的HDR图像，Plong为选中的一对曝光图像中用来进行融合计算的较长曝光图像，Pshort为选中的一对曝光图像中用来进行融合计算的较短曝光图像，blend_ratio为选中的用来进行融合计算的第一融合权重，blend_ratio设定的取值范围为0-255，用于表示某个图像的贡献比例，blend_ratio越大表示较长曝光图像贡献比例越大，blend_ratio越小表示较短曝光图像贡献比例越大。
采用上述方案，对HDR摄影的多曝光图像进行处理时，通过对长曝光图像进行运动模糊修正能有效抑制第一曝光图像中的运动模糊，提升HDR图像运动物体边缘的清晰度，通过对第二曝光图像进行降噪，减轻噪声对HDR图像质量的影响，还会针对性地通过调节第一融合权重，减弱HDR图像中两种曝光交界区域的信噪比跳变，整体而言提高HDR图像质量。
示例性的，在一些实施例中，所述方法还包括：基于所述运动特征图和所述第一融合权重确定所述高动态范围图像的噪声特征图；其中，所述噪声特征图用于对所述高动态范围图像进行降噪处理。
这里，噪声特征图，是指HDR图像中每个子像素都对应有一个数值，用来表征噪声的强弱，指导后续降噪处理单元对HDR图像有针对性地进行降噪处理，提高降噪效率。示例性的，噪声特征图的数值可以是4bit。
示例性的，在一些实施例中，所述基于所述运动特征图和所述第一融合权重确定所述高动态范围图像的噪声特征图，包括：目标像素的运动特征图为预设最小值，确定所述目标像素的噪声特征图为预设最小值；所述目标像素的运动特征图为预设最大值，确定所述目标像素的噪声特征图为预设最大值；所述目标像素的运动特征图为大于所述预设最小值，小于所述预设最大值，基于所述目标像素四个Bayer格式子像素的最小第一融合权重和所述运动特征图，确定所述目标像素的噪声特征图。
需要说明的是，运动特征图的取值范围和噪声特征图的取值范围可以相同，也可以不相同，即运动特征图的预设最小值和噪声特征图的预设最小值可以相同也可以不同，运动特征图的预设最大值和噪声特征图的预设最大值可以相同也可以不同，本申请实施例不做具体限定。
具体地，当运动特征图为0时，噪声特征图设置为预设最小值(例如0)；当运动特征图为255时，噪声特征图设置为寄存器设定的预设最大值(例如255)；当运动特征图大于0、小于255时，噪声特征图(Noise_Map)由以下公式给定：
其中，Blend-Min为目标像素中四个Bayer格式子像素的blend ratio中的最小值，Motion-Map为目标像素的运动特征图。
这样，在多曝光图像融合过程中提取噪声特征图，送出去给后续降噪处理单元用，指导后续降噪处理单元对HDR图像有针对性地进行降噪处理，提高降噪效率。
基于上述实施例，对运动模糊修正方法进行进一步举例说明，示例性的，如图4所示，运动模糊修正方法包括：
步骤401：按照曝光时间将N个曝光图像划分为曝光时间相邻的N-1对曝光图像；
其中，所述N个曝光图像是所述多个曝光图像的子集。
具体地，按照曝光时间长短划分为相邻的N-1对曝光图像，每对曝光图像的曝光时间相邻。
步骤402：基于运动检测策略确定每对曝光图像的第一运动特征图；
这里，运动检测策略用于对每对曝光图像进行运动检测，得到第一运动特征图(可以称为“初始运动特征图”)。示例性的，运动检测策略可以为比较每对曝光图像在划定尺寸的第一检测窗口内的像素值的差异来判断窗口内物体是否发生运动，以及运动程度，得到第一运动特征图。当N＝2时，2幅曝光图像对应一套第一运动特征图；当N＝3时，3幅曝光图像对应两套第一运动特征图，以此类推。
示例性的，在一些实施例中，所述运动检测策略包括：确定第一检测窗口的尺寸；每对曝光图像中所述第一检测窗口中心像素的任意一个绿色点饱和时，确定所述第一检测窗口的中心像素的运动特征图为预设最大值；其中，所述中心像素包括四个Bayer格式子像素；所述第一检测窗口中心像素的任意一个绿色点不饱和时，对每对曝光图像中所述第一检测窗口内相同位置的不饱和绿色点先作差，再取绝对值，再求所有绝对值的平均值，得到第一平均值；所述第一平均值小于或者等于第一下限阈值，确定所述中心像素的运动特征图为预设最小值；所述第一平均值大于所述第一下限阈值，且小于第一上限阈值，采用线性插值确定所述中心像素的运动特征图；所述第一平均值大于或者等于所述第一上限阈值，确定所述中心像素的运动特征图为预设中间值。
实际应用中，为了便于后续做不同曝光图像之间的像素值比较，所述运动检测策略还包括：把每对曝光图像中较短曝光图像乘上与长曝光图像之间曝光比例，使得待比较的图像像素都处于与长曝光同样量级的曝光时间。以三曝光图像为例，中曝光图像乘上长中曝光比例，短曝光图像乘上长短曝光比例。
这里，首先划定一个以目标像素为中心像素的第一检测窗口，本申请实施例中第一检测窗口的尺寸以10x18(10行，每行18个子像素)为例，如图5所示，运动检测只会用到绿色像素，把Gb和Gr两个绿色点标注为不同灰度，红色和蓝色不呈现。以下每个第一检测窗口中心像素包括2x2子像素，作为当前进行运动检测的目标像素。
其次，对第一检测窗口中的每对曝光图像间、相同位置的、非饱和的绿色点(Gb和Gr两个绿色点)作差、求绝对值，然后对这些差值的绝对值求平均值，得到第一平均值。得到像素差异的第一平均值后，需要拿它跟两个阈值比较。
如果像素差异的第一平均值小于或者等于第一下限阈值MDthd_LO，说明窗口内运动程度太小，我们就判定该第一检测窗口中心2x2子像素为静止的，motion map设置为预设最小值(例如0)；
如果像素差异平均值大于第一上限阈值MDthd_HI，说明第一检测窗口内中心像素运动剧烈，该第一检测窗口中心像素的第一运动特征图(motion map)设置为预设中间值(例如254)；
如果像素差异第一平均值大于第一下限阈值而小于第一上限阈值，认为该像素有一定程度的运动，如图6所示，采用线性插值的方法来得到该第一检测窗口中心像素的第一运动特征图，线性插值计算公式可以为：
B＝254×(A-MDthd_LO)/(MDthd_HI-MDthd_LO) (3)
其中，A为当前第一检测窗口对应的第一平均值，B为通过线性插值计算公式计算得到的中心像素的第一运动特征图。
如果每对曝光图像之间、第一检测窗口中心像素的相同位置的绿色像素点，只要有任何一个绿色点是饱和的，当前第一检测窗口的中心像素的第一运动特征图就标记为预设最大值(例如255)。
需要说明的是，摄像头上每个像素点位置的传感器，会把接收到的光信号转成电信号，然后用一个数值(例如，12bit)去量化这个电信号的强弱，该数值大小就代表一种颜色的强弱。一张图像中，光线强的地方，成像后的颜色在人眼感官上就亮一些，光线弱的地方，成像后的颜色在人眼感官上就暗一些。如果光线过于强烈，成像后的颜色会达到12bit数值能表示的最大值(即4095)，不会再增强了，我们称像素“饱和”了，对应英文saturation。
进一步的，在一些实施例中，所述运动检测策略还包括：计算每对曝光图像中所述第一检测窗口的所有绿色点的平均值，得到第二平均值；基于每对曝光图像的较长曝光图像中所述第一检测窗口的第二平均值和寄存器参数，确定所述第一下限阈值；基于每对曝光图像中所述第一检测窗口的第二平均值、所述第一下限阈值和寄存器参数，确定所述第一上限阈值。这里，较长曝光图像是指每对曝光图像中曝光时间较长的图像，相应的较短曝光图像是指每对曝光图像中曝光时间较短的图像。
也就是说，运动检测策略中用于判断中心像素运动程度的第一下限阈值和第一上限阈值可以基于曝光图像中实际像素值来确定。
示例性的，第一下限阈值MDthd_LO和第一上限阈值MDthd_HI，计算公式如下。(注：每张曝光图像的每个第一检测窗口都有这两个阈值。)
其中，noisefloor，Again，Dgain都是图像传感器(image sensor)的固定参数，只要HDR成像所使用的图像传感器确定下来，这几个参数数值在每幅曝光图像内就是定值，与具体的像素值无关。Plong指的是一对曝光图像中较长曝光图像中当前第一检测窗口内的绿色像素点的第二平均值，Pshort指的是一对曝光图中较短曝光图中当前第一检测窗口内的绿色像素点的第二平均值。
在另一些实施例中，第一下限阈值和第一上限阈值还可以为寄存器参数，即软件设定值。
进一步的，在一些实施例中，所述运动检测策略还包括：对目标像素进行运动检测时，确定以所述目标像素为中心像素的第一检测窗口尺寸；基于所述第一检测窗口尺寸确定所述目标像素的初始运动特征图；基于所述上窗口尺寸和所述下窗口尺寸，确定所述目标像素的上下侧像素的参考运动特征图；将所述第一检测窗口、所述上窗口和所述下窗口沿水平方向移动，以确定所述目标像素的左右侧像素的参考运动特征图；将所述初始运动特征图和多个参考运动特征图进行低通滤波，得到所述目标像素的运动特征图。
可以理解为，除了采用上述运动检测策略直接得到第一检测窗口的中心像素的运动特征图之外，还可以划分不同尺寸的窗口，得到中心像素及其周围像素的运动特征图，再对得到的所有运动特征图进行低通滤波，得到中心像素的运动特征图。
这里，首先划定一个以目标像素为中心像素的第一检测窗口，本申请实施例中第一检测窗口的尺寸以10x18(10行，每行18个子像素)为例，如图5所示，除了这个全尺寸窗口，还会用到第一检测窗口的前6行组成的“上窗口”和后6行组成的“下窗口”。如图7所示，“上窗口”为第一检测窗口上部分，上窗口尺寸为6x18，如图8所示，“下窗口”为第一检测窗口上部分，下窗口尺寸为6x18。运动检测只会用到绿色像素，把Gb和Gr两个绿色点标注为不同灰度，红色和蓝色不呈现。以下每个第一检测窗口中心像素包括2x2子像素，作为当前进行运动检测的目标像素。
其次，根据公式(4)和公式(5)计算第一下限阈值MDthd_LO和第一上限阈值MDthd_HI。这里，第一检测窗口包括如图5所示的全尺寸第一检测窗口，如图7所示的上窗口，以及如图8所示的下窗口。
再者，在划定的三个窗口内，分别对当前第一检测窗口中的每对曝光图像间、相同位置的、非饱和的绿色点(Gb和Gr两个绿色点)作差、求绝对值，然后对这些差值的绝对值求平均值，得到第一平均值。得到像素差异的第一平均值后，需要拿它跟两个阈值比较。
如果像素差异的第一平均值小于或者等于第一下限阈值MDthd_LO，说明窗口内运动程度太小，我们就判定该第一检测窗口中心2x2子像素为静止的，motion map设置为预设最小值(例如0)；
如果像素差异平均值大于第一上限阈值MDthd_HI，说明第一检测窗口内中心像素运动剧烈，该第一检测窗口中心像素的第一运动特征图(motion map)设置为预设中间值(例如254)；
如果像素差异第一平均值大于第一下限阈值而小于第一上限阈值，我们认为该像素有一定程度的运动，采用线性插值的方法来得到该第一检测窗口中心像素的第一运动特征图；
如果每对曝光图像之间、第一检测窗口中心像素的相同位置的绿色像素点，只要有任何一个绿色点是饱和的，当前第一检测窗口的中心像素的第一运动特征图就标记为预设最大值(例如255)。
需要说明的是，虽然上述三个第一检测窗口只得到各自中心2x2子像素块的运动特征图，但是当左右移动三个第一检测窗口，其实可以得到如图9所示第3行至第8行共15个2x2子像素的运动特征图(3行，每行5个2x2子像素)，当前需要检测的目标像素位于这15个2x2子像素的中心位置。
最后，得到的3x5个运动特征图做低通滤波，得到目标像素(10x18第一检测窗口的中心像素)的第一运动特征图。示例性的，低通滤波可以为均值低通滤波，对15个运动特征图取平均值，得到目标像素的第一运动特征图。
步骤403：基于暗区修正策略对所述第一运动特征图进行第一次修正，得到第二运动特征图；
这里，暗区修正策略用于对较长曝光图像进行暗区检测，对分布在暗区的第一运动特征图进行修正。在修正过程中，降低暗区图像参与运动模糊修正时的融合比例，从而提高后续运动模糊修正效果。
示例性的，在一些实施例中，所述暗区修正策略包括：对每对曝光图像的较长曝光图像进行亮度统计；获取所述较长曝光图像中目标像素的亮度值；其中，所述目标像素包括四个Bayer格式子像素；所述目标像素的亮度值小于第二下限阈值，将所述目标像素的第一运动特征图修正为预设最小值；所述目标像素的亮度值大于或者等于所述第二下限阈值，且小于或者等于第二上限阈值，采用线性插值修正所述目标像素的第一运动特征图；所述目标像素的亮度值大于所述第二上限阈值，不对所述目标像素的第一运动特征图进行修正。
示例性的，所述对每对曝光图像的较长曝光图像进行亮度统计，包括：将所述较长曝光图像划分为P*Q个图像块；对图像块进行亮度统计，得到图像块的亮度值(也可以称为“亮度统计值”)。示例性的，由于人眼对绿色更为敏感，因此亮度统计可以通过统计绿色点的像素值来实现，先把曝光图像划分为32x32个图像块，然后计算每一图像块内的绿色子像素的像素平均值，作为图像块的亮度值。
示例性的，在一些实施例中，该方法还包括：对每个图像块的亮度值进行低通滤波，得到滤波后的亮度值。考虑到图像块与图像块之间可能亮度差异较大，可以设置了一个3x3低通滤波电路对32x32块的统计值进行平滑操作，使得相邻块之间的差异变得更缓一些。
实际应用中，可以使用上一帧曝光图像的亮度值，或者前面间隔几帧曝光图像的亮度值，或者直接使用当前帧曝光图像的亮度值，对当前帧曝光图像进行暗区检测。
示例性的，在一些实施例中，所述获取所述较长曝光图像中目标像素的亮度值，包括：获取所述目标像素所在第一图像块的亮度值；获取所述第一图像块的右侧第二图像块，下侧第三图像块和右下侧第四图像块的亮度值；基于所述目标像素的第二融合权重，将所述第一图像块、所述第二图像块、所述第三图像块和所述第四图像块的亮度值进行融合，得到所述目标像素的亮度值。
示例性的，在一些实施例中，所述第二融合权重包括X向融合权重和Y向融合权重；所述基于所述目标像素的融合权重，将所述第一图像块、所述第二图像块、所述第三图像块和所述第四图像块的亮度值进行融合，包括：基于所述Y向融合权重，对所述第一图像块和所述第三图像块的亮度值进行融合，得到第一融合亮度值；基于所述Y向融合权重，对所述第二图像块和所述第四图像块的亮度值进行融合，得到第二融合亮度值；基于所述X向融合权重，对所述第一融合亮度值和所述第二融合亮度值进行融合，得到所述目标像素的亮度值。
具体地，如图10所示，根据当前目标像素在整张图像中的坐标，把它映射到32x32块中的块A(即第一图像块)；然后读取目标像素所在块A以及其右侧块B(第二图像块)、下侧块C(第三图像块)、右下侧块D(第四图像块)共四个图像块的亮度值，按照以下alpha混合算法，计算得到当前目标像素的亮度值：
Blend_AC＝A亮度值x Blend_ratio_Y+C亮度值x(1-Blend_ratio_Y) (6)
Blend_BD＝B亮度值x Blend_ratio_Y+D亮度值x(1-Blend_ratio_Y) (7)
Blend_ABCD＝Blend_AC x Blend_ratio_X+Blend_BD x(1-Blend_ratio_X) (8)
其中，Blend_ratio_X为X向融合权重，Blend_ratio_Y为Y向融合权重，二者根据当前像素坐标在块A中的位置计算得到，Blend_ABCD就是当前目标像素的亮度值。
在另一些实施例中，所述获取所述较长曝光图像中目标像素的亮度值，包括：获取所述目标像素所在第一图像块的亮度值，作为目标像素的亮度值。
之后，拿当前目标像素的亮度值与用于限制亮度值的第二下限阈值和第二上限阈值做比较来对运动特征图进行第一次修正，修正方法如下述。
a.当目标像素亮度值小于第二下限阈值Darkthd_LO时，表明目标像素位于光线特别暗的区域，这时，强制把运动特征图修正为预设最小值(例如0)。用于表示一对曝光图像中较短曝光图像的目标像素将不会参与后续的“运动模糊修正”。
b.当目标像素亮度值大于第二上限阈值Darkthd_HI，表明目标像素位于光线足够亮的区域，此时不对运动特征图做任何修正。
c.当目标像素亮度值位于第二下限阈值和第二上限阈值之间时，表明目标像素位于暗区，这时，如图11所示，根据目标像素亮度值与两个阈值之间的关系来做线性插值，得到修正后的第二运动特征图，线性插值计算公式可以为：
B＝初始值×(A-Darkthd-LO)/(Darkthd-HI-Darkthd-LO) (9)
其中，A为当前目标像素的亮度值，B为通过线性插值计算公式计算得到的中心像素的第二运动特征图。
修正后的第二运动特征图比初始值(即第一运动特征图)会小一些，其物理含义是降低较短曝光图中的暗区对“运动模糊修正”的融合操作过程的贡献比例。
步骤404：基于选择判断策略对每对曝光图像的第二运动特征图进行第二次修正和选择，得到最终的运动特征图和曝光选择特征图；
这里，选择判断策略用于对第二运动特征图进行条件判断、修正和选择，得到最终的运动特征图和曝光选择特征图。具体地，先判断像素是否饱和，再根据饱和与不饱和两种情况，分别进行运动和静止判断，对满足修正条件的运动特征图进行修正，并确定曝光选择特征图。
这里，饱和像素可以理解为运动特征图为预设最大值的像素。
示例性的，在一些实施例中，所述选择判断策略包括：按照曝光时间从长到短的顺序，确定当前对曝光图像；确定所述当前对曝光图像中目标像素饱和，且所述当前对曝光图像为最后一对曝光图像，判断所述当前对曝光图像中所述目标像素是否静止；所述目标像素静止时，确定所述目标像素最终的运动特征图为预设最大值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；所述目标像素运动时，确定所述目标像素最终的运动特征图为预设中间值减去第一修正值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正。
示例性的，在一些实施例中，所述选择判断策略还包括：确定所述当前对曝光图像中目标像素饱和，确定下一对曝光图像中目标像素不饱和，判断所述当前对曝光图像中所述目标像素是否静止；所述目标像素静止时，确定所述目标像素最终的运动特征图为预设最大值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；所述目标像素运动时，判断所述下一对曝光图像中所述目标像素是否静止。这里，判断下一对曝光图像中目标像素是否饱和时，可以将下一对曝光图像作为当前对曝光图像，采用同样方法进行选择判断。
示例性的，在一些实施例中，所述选择判断策略还包括：确定当前对曝光图像中目标像素不饱和，判断所述当前对曝光图像中所述目标像素是否静止；所述目标像素静止时，确定所述目标像素最终的运动特征图为预设最小值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；所述目标像素运动时，所述目标像素的第二运动特征图小于第一判断值时，确定所述目标像素最终的运动特征图为预设最小值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；所述目标像素运动时，所述目标像素的第二运动特征图大于或者等于所述第一判断值，且小于或者等于第二判断值，确定所述目标像素最终的运动特征图为第二运动特征图加上第二修正值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；所述目标像素运动时，所述目标像素的第二运动特征图大于第二判断值，且所述当前对曝光图像不为最后一对曝光图像时，判断所述下一对曝光图像中目标像素是否饱和；其中，所述第一判断值小于所述第二判断值。这里，当前对曝光图像可以为N-1对曝光图像中任意对曝光图像。
在运动检测时，将第二运动特征图为预设最大值(例如255)的像素定义饱和像素，本申请实施例采用选择判断策略对饱和像素的运动特征图进行第二次修正。示例性的，如果目标像素是饱和且静止的，目标像素满足公式(10)，不满足公式(10)认为目标像素是饱和且运动的。
Pshort×Exposure_ratio(Plong，Pshort)≥Plong_saturation (10)
其中，Pshort为较短曝光图像中目标像素的像素值，Plong_saturation为较长曝光图像中目标像素的像素值，Exposure-ratio(Plong，Pshort)较长曝光图像和较短曝光图像之间的曝光比例。
下面对选择判断策略进行进一步举例说明，图12为本申请实施例中选择判断策略的第一流程示意图，如图12所示，当前对曝光图像的目标像素饱和时，选择判断策略具体包括：
步骤1201：初始化i；
这里，i初始值可以取1，最大值取N-1，按照曝光时间从长到短的顺序，i＝1表示曝光时间最长的一对曝光图像，i取N-1时，表示曝光时间最短的一对曝光图像。
步骤1202：判断第i对曝光图像中目标像素是否饱和；如果饱和，执行步骤1203；
这里，基于第i对曝光图像的第二运动特征图判断是否饱和，第i对曝光图像的第二运动特征图用符号“map2(i)”表示，map2(i)为255时，表示目标像素饱和。
步骤1203：判断是否为最后一对曝光图像？如果是，执行步骤1204；如果否，执行步骤1207；
这里，通过判断i是否等于N-1来判断是否为最后一对曝光图像。
步骤1204：判断最后一对曝光图像中目标像素是否静止；如果静止，执行步骤1205；如果运动，执行步骤1206；
步骤1205：目标像素静止时，map＝255，选择最后一对曝光图像参与目标像素的运动模糊修正；
这里，map表示目标像素最终的运动特征，map2(N-1)表示最后一对曝光图像的第二运动特征图，255为本申请运动特征图的预设最大值。
可以理解为，目标像素静止时，目标像素最终的运动特征图为预设最大值，也可以理解为将最后一对曝光图像中目标像素的第二运动特征图作为最终的运动特征图，不对运动特征图进行修改，只确定选择最后一对曝光图像参与后续目标像素运动模糊修正的融合过程。
步骤1206：目标像素运动时，map＝254-第一修正值，选择最后一对曝光图像参与目标像素的运动模糊修正；
这里，254为本申请运动特征图的预设中间值，第一修正值可以是预先设定值。
步骤1207：判断第i+1对曝光图像中目标像素是否饱和；如果饱和，执行步骤1203；如果不饱和，执行步骤1208；
第i+1对曝光图像的第二运动特征图用符号“map2(i+1)”表示，map2(i+1)为255时，表示目标像素饱和。
步骤1208：判断第i对曝光图像中目标像素是否静止；如果静止，执行步骤1209；如果运动，执行步骤1210；
步骤1209：map＝255，选择第i对曝光图像参与目标像素的运动模糊修正；
这里，map表示目标像素最终的运动特征，map2(N-1)表示最后一对曝光图像的第二运动特征图，255为本申请运动特征图的预设最大值。
可以理解为，当前对曝光图像中目标像素饱和，且下一对曝光图像中目标像素不饱和，先判断当前对曝光图像中目标像素是否静止，若静止，则目标像素最终的运动特征图为预设最大值，也可以理解为将当前对曝光图像中目标像素的第二运动特征图作为最终的运动特征图，不对运动特征图进行修改，只确定选择最后一对曝光图像参与后续目标像素运动模糊修正的融合过程。
若运动，再判断下一对曝光图像中目标像素是否静止。
步骤1210：判断第i+1对曝光图像中目标像素是否静止；如果静止，执行步骤1211；如果运动，执行步骤1212；
步骤1211：map＝0，选择第i+1对曝光图像参与目标像素的运动模糊修正；
这里，0为本申请实施例中运动特征图的预设最小值。
步骤1212：比较map2(i+1)大小；
这里，map2(i+1)表示第i+1对曝光图像的第二运动特征图，map2(i+1)大小表示目标像素运动幅度大小，越大表示运动幅度越大，越小表示运动幅度越小，具体比较map2(i+1)与第一判断值K1，第二判断值K2之间大小关系。
步骤1213：map2(i+1)<K1时map＝0，选择第i+1对曝光图像参与目标像素的运动模糊修正；
这里，map2(i+1)<K1表示目标像素运动幅度很小，可以认定为静止。
步骤1214：K1≤map2(i+1)≤K2，map＝map2(i+1)+第二修正值，选择第i+1对曝光图像参与目标像素的运动模糊修正；
这里，K1≤map2(i+1)≤K2表示目标像素运动幅度较大，需要对第二运动特征map2(i+1)进行修正，第二修正值可以是预先设定值。
步骤1215：K2<map2(i+1)，i+1不等于N-1，i自加1，返回步骤1202；判断下一对曝光图像中目标像素是否饱和；
这里，K2<map2(i+1)表示目标像素运动幅度较大，若第i+1对不为最后一对曝光图像，则弃用第i+1对曝光图像，i自加1返回步骤1202继续判断。
i+1等于N-1表示第i+1对曝光图像为最后一对曝光图像。示例性的，K2<map2(i+1)，i+1等于N-1，map2(i+1)+第二修正值，选择最后一对曝光图像参与目标像素的运动模糊修正。
图13为本申请实施例中选择判断策略的第二流程示意图，如图13所示，当前对曝光图像的目标像素不饱和时，选择判断策略具体包括：
步骤1201：初始化i；
这里，i初始值可以取1，最大值取N-1，按照曝光时间从长到短的顺序，i＝1表示曝光时间最长的一对曝光图像，i取N-1时，表示曝光时间最短的一对曝光图像。
步骤1202：判断第i对曝光图像中目标像素是否饱和；如果不饱和，执行步骤1216；
步骤1216：判断第i对曝光图像中目标像素是否静止；如果静止，执行步骤1217；如果运动，执行步骤1218；
步骤1217：map＝0，选择第i对曝光图像参与目标像素的运动模糊修正；
这里，0为本申请实施例中运动特征图的预设最小值。
步骤1218：比较map2(i)大小；
这里，map2(i)表示第i对曝光图像的第二运动特征图，map2(i)大小表示目标像素运动幅度大小，越大表示运动幅度越大，越小表示运动幅度越小，具体比较map2(i)与第一判断值K1，第二判断值K2之间大小关系。
步骤1219：map2(i)<K1时map＝0，选择第i对曝光图像参与目标像素的运动模糊修正；
这里，map2(i)<K1表示目标像素运动幅度很小，可以认定为静止。
步骤1220：K1≤map2(i)≤K2，map＝map2(i)+第二修正值，选择第i对曝光图像参与目标像素的运动模糊修正；
这里，K1≤map2(i)≤K2表示目标像素运动幅度较大，需要对第二运动特征map2(i)进行修正，第二修正值可以是预先设定值。
步骤1221：K2<map2(i)，i不等于N-1，i自加1，返回步骤1202；判断下一对曝光图像中目标像素是否饱和；
这里，K2<map2(i)表示目标像素运动幅度较大，若第i对不为最后一对曝光图像，则弃用第i对曝光图像，i自加1返回步骤1202继续判断。
i等于N-1表示第i对曝光图像为最后一对曝光图像。示例性的，K2<map2(i)，i等于N-1，map2(i)+第二修正值，选择最后一对曝光图像参与目标像素的运动模糊修正。
下面对选择判断策略进行进一步举例说明，以三张曝光图像为例，包括长曝光图像、中曝光图像和短曝光图像三张曝光图像，包含以下三种情况：
1、饱和+饱和
长、中饱和，中、短也饱和，则放弃长、中(因为当中、短都饱和时意味着长、中的饱和程度太大)，考虑中、短。此时进一步判断中、短饱和像素是静止还是运动，如果判定静止，最终的运动特征图(motion map)标记为255；如果判定运动，则对motion map进行修正，运动特征图修正为“254减去第一修正值”。
2、饱和+不饱和
长、中饱和，中、短不饱和，则先判断长、中饱和像素是否静止，如果判定静止，motion map标记为255；如果判定运动，启用中、短。对中、短曝光，也是先判断是否静止，如果是静止的，motion map标记为0；如果是运动的，因为仅三曝，这已经是最后一对曝光图像了，此时不管运动幅度多大，都要启用修正流程，例如，运动特征图修正为“当前值+第二修正值”。
3、不饱和+未知
长、中不饱和，进一步判断目标像素是否静止，如果判定静止，motion map标记为0，含义是较短曝光不参与融合，只拿长曝光输出；如果判定是运动的，且运动幅度较小，则直接基于长、中运动特征图进行修正；如果判定是运动的，且运动幅度过大，就要弃用长、中运动特征图，而要用中、短曝光。此时要对中、短曝光图像运动特征图再分饱和和不饱和两种情况进行判断。
步骤405：基于所述曝光选择特征图确定参与目标像素运动模糊修正的一对曝光图像；
步骤406：基于确定的一对曝光图像及其运动特征图进行融合处理，得到运动模糊修正后的目标像素。
运动模糊修正的所有前期工作已经在前述步骤401至步骤404中完成，此时只需要利用确定的一对曝光图像及其运动特征图进行融合处理即可。
示例性的，融合处理包括：根据运动特征图判断目标像素是否饱和；不饱和时利用公式(11)计算长曝光图像运动模糊修正后的目标像素T0；饱和时，则用当前对曝光图像中较短曝光图像的对应像素乘以曝光比例进行输出即可。
其中，P0是原始输入的长曝光图像，Plong代表当前目标像素所使用到的较长曝光图像，Pshort代表当前目标像素所使用到的较短曝光图像，ExpRatio(P0，Plong)为长曝光图像和当前对曝光图像中较长曝光图像之间的曝光比例，ExpRatio(P0，Pshort)为长曝光图像和当前对曝光图像中较短曝光图像之间的曝光比例，map就是motion map的简写。
基于上述实施例，对第一融合权重确定方法进行进一步举例说明，示例性的，如图14所示，所述确定所述多个曝光图像的第一融合权重，包括：
步骤1401：确定第二检测窗口的尺寸；
这里，在第二检测窗口为曝光图像的局部区域，设置第二检测窗口用于统计曝光图像局部最大值和最大平均值。第二检测窗口尺寸包括宽度和高度，第二检测窗口尺寸可以和长曝光图像进行运动检测时的第一检测窗口尺寸一致，也可以不一致。
本申请实施例中第二检测窗口尺寸以10x18(10行，每行18个子像素)为例，在10x18统计最大像素值和最大平均值。
步骤1402：每对曝光图像的较长曝光图像中，在以所述目标子像素为中心子像素的第一窗口内，计算四个Bayer格式子像素各自的平均值，并确定最大平均值；
确定最大平均值(maxAvg)时，首先划定一个以目标像素为中心像素的10(行)x18(像素)大的第二检测窗口，然后在第二检测窗口内分别以目标像素的四个子像素为中心子像素，将第二检测窗口细分为四个9(行)x17(像素)第一窗口，如图15，以中心像素的红色子像素R为第一窗口的中心子像素，在第一窗口内分别统计四个颜色通道各自的平均值(即R平均值、B平均值、Gr平均值、Gb平均值)，取四个平均值中最大平均值，即为maxAvg。同理，还可以分别以绿色子像素Gr、Gb和蓝色子像素B为第一窗口的中心子像素，计算各自对应的maxAvg，也就是说，每个子像素都对应有一个maxAvg。
步骤1403：在以目标子像素为中心子像素的第二窗口内，确定最大像素值；
确定最大像素值(maxVal)时，第二窗口尺寸与第一窗口尺寸有所不同，分别以目标像素的四个子像素为中心子像素划分四个5(行)x5(像素)第二窗口，如图16所示，以中心像素的红色子像素R为第二窗口的中心子像素，在第二窗口内统计25个像素中的最大像素值，即为maxVal。同理，还可以分别以绿色子像素Gr、Gb和蓝色子像素B为第二窗口的中心子像素，统计各自对应的maxVal，也就是说，每个子像素都对应有一个maxVal。
步骤1404：基于所述最大像素值和所述最大平均值，确定所述目标子像素的第一融合权重。
示例性的，在一些实施例中，所述基于所述最大像素值和所述最大平均值，确定所述目标子像素的第一融合权重，包括：将所述最大像素值和所述最大平均值进行融合，得到所述目标子像素的融合索引；所述融合索引小于或者等于第三下限阈值时，确定所述第一融合权重为最大融合权重；所述融合索引大于所述第三下限阈值，且小于第三上限阈值，采用线性插值确定所述第一融合权重；所述融合索引大于或者等于所述第三上限阈值，确定第一融合权重为所述最小融合权重。
示例性的，分两步完成，第一步先利用公式(12)对maxVal和maxAvg做alpha混合，生成一个融合索引(blend_index)，该数表征当前第二检测窗口的亮度水平。
其中，AvgVal_ratio是寄存器值，可以通过软件配置，它表示maxAvg的值在跟maxVal做alpha混合时的权重。这样，通过设置AvgVal_ratio，可以设置当前第二检测窗口的亮度水平主要是由maxAvg决定还是主要由maxVal决定。
第二步，把blend_index映射到融合权重范围(例如0-255)，作为最终的第一融合权重(blend ratio)。具体地，当blend_index小于第三下限阈值Blend_thd1时，对应最大融合权重blend ratio＝255；当blend_index大于第三上限阈值Blend_thd2时，对应最小融合权重blend ratio＝0；当blend_index大小介于上下限阈值之间时，可以通过线性插值的方法得到其对应的blend ratio值，如图17所示，采用线性插值的方法来得到得到blendratio值，线性插值计算公式可以为：
B＝255×(Blend-thd2-A)/(Blend-thd2-Blend-thd1) (13)
其中，A为当前第二检测窗口中目标子像素的融合索引，B为通过线性插值计算公式计算得到的目标子像素的第一融合权重。
进一步的，基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行图像融合处理，以获得所述目标场景下的高动态范围图像；
其中，所述第一曝光图像具有第一曝光时间，所述第二曝光图像是不同于所述第一曝光图像的另一曝光图像。
为实现本申请实施例的方法，基于同一发明构思本申请实施例还提供了一种一种图像处理装置，如图18所示，该图像处理装置包括：
获取模块181，用于获取目标场景在不同曝光时间下拍摄到的多个曝光图像；
运动模糊修正模块182，用于对所述多个曝光图像中的第一曝光图像进行运动模糊修正；
降噪模块183，用于对所述多个曝光图像中的第二曝光图像进行降噪；
融合权重生成模块184，用于确定所述多个曝光图像的第一融合权重；
融合模块185，用于基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行图像融合处理，以获得所述目标场景下的高动态范围图像；
其中，所述第一曝光图像具有第一曝光时间，所述第二曝光图像是不同于所述第一曝光图像的另一曝光图像。
示例性的，在一些实施例中，运动模糊修正模块182，具体用于按照曝光时间将N个曝光图像划分为曝光时间相邻的N-1对曝光图像；其中，所述N个曝光图像是所述多个曝光图像的子集；确定每对曝光图像的运动特征图以及曝光选择特征图；基于所述曝光选择特征图确定参与目标像素运动模糊修正的一对曝光图像；基于所确定的一对曝光图像及对应的运动特征图进行图像融合处理。
示例性的，在一些实施例中，如图19所示，可以将运动模糊修正模块182划分为：
运动检测单元1821，用于基于运动检测策略确定每对曝光图像的第一运动特征图；
第一修正单元1822，用于基于暗区修正策略对所述第一运动特征图进行第一次修正，得到第二运动特征图；
第二修正单元1823，用于基于选择判断策略对每对曝光图像的第二运动特征图进行第二次修正和选择，得到最终的运动特征图和曝光选择特征图；
以及，
运动模糊修正单元1824，用于基于所述曝光选择特征图确定参与目标像素运动模糊修正的一对曝光图像；基于确定的一对曝光图像及其运动特征图进行融合处理，得到运动模糊修正后的目标像素。
示例性的，参与运动模糊修正的曝光图像包括：长曝光图像、降噪处理后的其他曝光图像，将这些曝光图像按照曝光时间长短的顺序，划分为至少一对曝光图像，运动模糊修正单元1824，用于基于所述曝光选择特征图确定参与目标像素运动模糊修正的一对曝光图像。
图19中以三曝光图像为例，长曝光图像(简称“长曝”)，中曝光图像(简称“中曝”)，短曝光图像(简称“短曝”)。
示例性的，在一些实施例中，运动检测单元1821，具体用于确定第一检测窗口的尺寸；每对曝光图像中所述第一检测窗口中心像素的任意一个绿色点饱和时，确定所述第一检测窗口的中心像素的运动特征图为预设最大值；其中，所述中心像素包括四个Bayer格式子像素；所述第一检测窗口中心像素的任意一个绿色点不饱和时，对每对曝光图像中所述第一检测窗口内相同位置的不饱和绿色点先作差，再取绝对值，再求所有绝对值的平均值，得到第一平均值；所述第一平均值小于或者等于第一下限阈值，确定所述中心像素的运动特征图为预设最小值；所述第一平均值大于所述第一下限阈值，且小于第一上限阈值，采用线性插值确定所述中心像素的运动特征图；所述第一平均值大于或者等于所述第一上限阈值，确定所述中心像素的运动特征图为预设中间值。
这里，预设最小值和预设最大值为运动特征图的下限值和上限值。
示例性的，在一些实施例中，所述运动检测策略还包括：计算每对曝光图像中所述第一检测窗口的所有绿色点的平均值，得到第二平均值；基于每对曝光图像的较长曝光图像中所述第一检测窗口的第二平均值和寄存器参数，确定所述第一下限阈值；基于每对曝光图像中所述第一检测窗口的第二平均值、所述第一下限阈值和寄存器参数，确定所述第一上限阈值。
也就是说，运动检测策略中用于判断中心像素运动程度的第一下限阈值和第一上限阈值可以基于曝光图像中实际像素值来确定。
示例性的，在一些实施例中，所述运动检测策略还包括：对目标像素进行运动检测时，确定以所述目标像素为中心像素的第一检测窗口尺寸；基于所述第一检测窗口尺寸确定所述目标像素的初始运动特征图；基于所述上窗口尺寸和所述下窗口尺寸，确定所述目标像素的上下侧像素的参考运动特征图；将所述第一检测窗口、所述上窗口和所述下窗口沿水平方向移动，以确定所述目标像素的左右侧像素的参考运动特征图；将所述初始运动特征图和多个参考运动特征图进行低通滤波，得到所述目标像素的运动特征图。
示例性的，如图19所示，第一修正单元1822可以划分为：
亮度统计单元，用于对每对曝光图像的较长曝光图像进行亮度统计；
暗区修正单元，用于获取所述较长曝光图像中目标像素的亮度值；其中，所述目标像素包括四个Bayer格式子像素；所述目标像素的亮度值小于第二下限阈值，将所述目标像素的第一运动特征图修正为预设最小值；所述目标像素的亮度值大于或者等于所述第二下限阈值，且小于或者等于第二上限阈值，采用线性插值修正所述目标像素的第一运动特征图；所述目标像素的亮度值大于所述第二上限阈值，不对所述目标像素的第一运动特征图进行修正。
示例性的，亮度统计单元，具体用于将所述较长曝光图像划分为P*Q个图像块；对图像块进行亮度统计，得到图像块的亮度值。这里，P和Q为32。
相应的，暗区修正单元，具体用于获取所述目标像素所在第一图像块的亮度值；获取所述第一图像块的右侧第二图像块，下侧第三图像块和右下侧第四图像块的亮度值；基于所述目标像素的第二融合权重，将所述第一图像块、所述第二图像块、所述第三图像块和所述第四图像块的亮度值进行融合，得到所述目标像素的亮度值。
示例性的，在一些实施例中，所述第二融合权重包括X向融合权重和Y向融合权重；
暗区修正单元，具体用于基于所述Y向融合权重，对所述第一图像块和所述第三图像块的亮度值进行融合，得到第一融合亮度值；基于所述Y向融合权重，对所述第二图像块和所述第四图像块的亮度值进行融合，得到第二融合亮度值；基于所述X向融合权重，对所述第一融合亮度值和所述第二融合亮度值进行融合，得到所述目标像素的亮度值。
示例性的，在一些实施例中，亮度统计单元，还用于对每个图像块的亮度值进行低通滤波，得到滤波后的亮度值。
示例性的，在一些实施例中，第二修正单元1823，用于按照曝光时间从长到短的顺序，确定当前对曝光图像；
确定所述当前对曝光图像中目标像素饱和，且所述当前对曝光图像为最后一对曝光图像，判断所述当前对曝光图像中所述目标像素是否静止；
所述目标像素静止时，确定所述目标像素最终的运动特征图为预设最大值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；所述目标像素运动时，确定所述目标像素最终的运动特征图为预设中间值减去第一修正值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正。
示例性的，在一些实施例中，第二修正单元1823，还用于确定所述当前对曝光图像中目标像素饱和，确定下一对曝光图像中目标像素不饱和，判断所述当前对曝光图像中所述目标像素是否静止；
所述目标像素静止时，确定所述目标像素最终的运动特征图为预设最大值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；
所述目标像素运动时，判断所述下一对曝光图像中所述目标像素是否静止。
示例性的，在一些实施例中，第二修正单元1823，还用于确定当前对曝光图像中目标像素不饱和，判断所述当前对曝光图像中所述目标像素是否静止；
所述目标像素静止时，确定所述目标像素最终的运动特征图为预设最小值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；
所述目标像素运动时，所述目标像素的第二运动特征图小于第一判断值时，确定所述目标像素最终的运动特征图为预设最小值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；
所述目标像素运动时，所述目标像素的第二运动特征图大于或者等于所述第一判断值，且小于或者等于第二判断值，确定所述目标像素最终的运动特征图为第二运动特征图加上第二修正值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；
所述目标像素运动时，所述目标像素的第二运动特征图大于第二判断值，且所述当前对曝光图像不为最后一对曝光图像时，判断所述下一对曝光图像中目标像素是否饱和；
其中，所述第一判断值小于所述第二判断值。
示例性的，在一些实施例中，融合模块185，还用于基于所述运动特征图和所述第一融合权重，确定所述高动态范围图像的噪声特征图；其中，所述噪声特征图用于对所述高动态范围图像进行降噪处理。
示例性的，在一些实施例中，融合模块185，具体用于目标像素的运动特征图为预设最小值，确定所述目标像素的噪声特征图为预设最小值；所述目标像素的运动特征图为预设最大值，确定所述目标像素的噪声特征图为预设最大值；所述目标像素的运动特征图大于所述预设最小值，小于所述预设最大值，基于所述目标像素四个Bayer格式子像素的最小第一融合权重和所述运动特征图，确定所述目标像素的噪声特征图。
示例性的，在一些实施例中，如图19所示，可以将融合权重生成模块184划分为：
局部最大值统计单元1841，用于确定第二检测窗口的尺寸；每对曝光图像的较长曝光图像中，在以所述目标子像素为中心子像素的第一窗口内，计算四个Bayer格式子像素各自的平均值，并确定最大平均值；在以目标子像素为中心子像素的第二窗口内，确定最大像素值；
生成单元1842，用于基于所述最大像素值和所述最大平均值，确定所述目标子像素的第一融合权重。
示例性的，生成单元1842，具体用于将所述最大像素值和所述最大平均值进行融合，得到所述目标子像素的融合索引；所述融合索引小于或者等于第三下限阈值时，确定所述第一融合权重为最大融合权重；所述融合索引大于所述第三下限阈值，且小于第三上限阈值，采用线性插值确定所述第一融合权重；所述融合索引大于或者等于所述第三上限阈值，确定第一融合权重为所述最小融合权重。
示例性的，在一些实施例中，N大于2时，所述第一融合权重包括N-1对曝光图像的第一融合权重；
融合模块185，具体用于按照曝光时间从长到短的顺序，确定当前对曝光图像；
所述当前对曝光图像不为最后一对曝光图像，所述当前对曝光图像中目标像素的第一融合权重大于0时，基于所述当前对曝光图像中目标像素的第一融合权重，对所述当前对曝光图像进行融合，得到所述高动态范围图像的目标像素；所述当前对曝光图像中目标像素的第一融合权重等于0时，比较下一对曝光图像中目标像素的第一融合权重的大小；所述当前对曝光图像为最后一对曝光图像，基于所述当前对曝光图像中目标像素的第一融合权重，对所述当前对曝光图像进行融合，得到所述高动态范围图像的目标像素。
采用上述装置，对HDR摄影的多曝光图像进行处理时，通过对长曝光图像进行运动模糊修正能有效抑制第一曝光图像中的运动模糊，提升HDR图像运动物体边缘的清晰度，通过对第二曝光图像进行降噪，减轻噪声对HDR图像质量的影响，还会针对性地通过调节第一融合权重，减弱HDR图像中两种曝光交界区域的信噪比跳变，整体而言提高HDR图像质量。
为实现本申请实施例的方法，基于同一发明构思本申请实施例还提供了一种一种图像处理装置，如图20所示，该图像处理装置200包括：
传感器2001，配置成：
获取目标场景在不同曝光时间下拍摄到的多个曝光图像；
处理器2002，配置成：
对所述多个曝光图像中的第一曝光图像进行运动模糊修正；
对所述多个曝光图像中的第二曝光图像进行降噪；
确定所述多个曝光图像的第一融合权重；
基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行融合处理，以获得所述目标场景下的高动态范围图像；
其中，所述第一曝光图像具有第一曝光时间，所述第二曝光图像是不同于所述第一曝光图像的另一曝光图像。
在实际应用中，传感器为图像传感器。
处理器，配置成：实现本申请实施例中任一种多曝光图像处理方法。
本申请还提供了一种图像处理芯片，如图21所示，所述芯片210包括处理器2101和配置为存储能够在处理器上运行的计算机程序的存储器2102，处理器2101可以从存储器2102中调用并运行计算机程序，以实现本申请实施例中的方法。
其中，存储器2102可以是独立于处理器2101的一个单独的器件，也可以集成在处理器2101中。
可选地，该芯片210还可以包括输入接口2103。其中，处理器2101可以控制该输入接口2103与其他设备或芯片进行通信，具体地，可以获取其他设备或芯片发送的信息或数据。
可选地，该芯片210还可以包括输出接口2104。其中，处理器2101可以控制该输出接口2104与其他设备或芯片进行通信，具体地，可以向其他设备或芯片输出信息或数据。
可选地，该芯片可应用于本申请实施例中的第一用户设备或第二用户设备，并且该芯片可以实现本申请实施例的各个方法中由第一用户设备或第二用户设备实现的相应流程，为了简洁，在此不再赘述。
可选地，该图像处理芯片可应用于本申请实施例中的电子设备。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
在实际应用中，上述处理器可以为特定用途集成电路(ASIC，ApplicationSpecific Integrated Circuit)、数字信号处理装置(DSPD，Digital Signal ProcessingDevice)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
本申请实施例还提供了电子设备，本申请中描述的电子设备具备拍摄功能，能够拍摄不同曝光时间的曝光图像，电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(PortableMedia Player，PMP)、可穿戴设备、相机、智能汽车等。
如图22所示，该电子设备220包括：图像采集装置2201以及前述图像处理芯片2202。
示例性的，图像采集装置2201，用于采集目标场景在至少两种曝光时间下拍摄到的至少两张曝光图像；
图像处理芯片2202，为上述实施例中任一项图像处理芯片，用于对不同曝光图像采用不同的降噪处理策略进行降噪处理。
可选地，所述图像处理芯片2202还用于将降噪后的曝光图像进行融合。
当然，实际应用时，如22所示，该电子设备220中的各个组件通过总线系统2203耦合在一起。可理解，总线系统2203用于实现这些组件之间的连接通信。总线系统2203除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图22中将各种总线都标为总线系统2203。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由处理器执行，以完成前述方法的步骤。
本申请实施例还提供了一种计算机程序产品，包括计算机程序指令。
可选的，该计算机程序产品可应用于本申请实施例中的处理器，并且该计算机程序指令使得计算机执行本申请实施例的各个方法中由处理器实现的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供了一种计算机程序。
可选的，该计算机程序可应用于本申请实施例中的处理器，当该计算机程序在计算机上运行时，使得计算机执行本申请实施例的各个方法中由处理器实现的相应流程，为了简洁，在此不再赘述。
应当理解，在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本申请中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (23)
1.一种多曝光图像处理方法，其特征在于，所述方法包括：
获取目标场景在不同曝光时间下拍摄到的多个曝光图像；
对所述多个曝光图像中的第一曝光图像进行运动模糊修正；
对所述多个曝光图像中的第二曝光图像进行降噪；
确定所述多个曝光图像的第一融合权重；
基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行图像融合处理，以获得所述目标场景下的高动态范围图像；
其中，所述第一曝光图像具有第一曝光时间，所述第二曝光图像是不同于所述第一曝光图像的另一曝光图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述多个曝光图像中的第一曝光图像进行运动模糊修正包括：
按照曝光时间将N个曝光图像划分为曝光时间相邻的N-1对曝光图像；其中，所述N个曝光图像是所述多个曝光图像的子集；
确定每对曝光图像的运动特征图以及曝光选择特征图；
基于所述曝光选择特征图确定参与目标像素运动模糊修正的一对曝光图像；
基于所确定的一对曝光图像及对应的运动特征图进行图像融合处理。
3.根据权利要求2所述的方法，其特征在于，所述确定每对曝光图像的运动特征图以及曝光选择特征图包括：
基于运动检测策略确定每对曝光图像的第一运动特征图；
基于暗区修正策略对所述第一运动特征图进行第一次修正，得到第二运动特征图；
基于选择判断策略对每对曝光图像的第二运动特征图进行第二次修正和选择，得到最终的运动特征图和曝光选择特征图。
4.根据权利要求3所述的方法，其特征在于，
所述运动检测策略包括：
确定第一检测窗口的尺寸；
每对曝光图像中所述第一检测窗口中心像素的任意一个绿色点饱和时，确定所述第一检测窗口的中心像素的运动特征图为预设最大值；其中，所述中心像素包括四个Bayer格式子像素；
所述第一检测窗口中心像素的任意一个绿色点不饱和时，对每对曝光图像中所述第一检测窗口内相同位置的不饱和绿色点先作差，再取绝对值，再求所有绝对值的平均值，得到第一平均值；
所述第一平均值小于或者等于第一下限阈值，确定所述中心像素的运动特征图为预设最小值；
所述第一平均值大于所述第一下限阈值，且小于第一上限阈值，采用线性插值确定所述中心像素的运动特征图；
所述第一平均值大于或者等于所述第一上限阈值，确定所述中心像素的运动特征图为预设中间值。
5.根据权利要求4所述的方法，其特征在于，所述运动检测策略还包括：
计算每对曝光图像中所述第一检测窗口的所有绿色点的平均值，得到第二平均值；
基于每对曝光图像的较长曝光图像中所述第一检测窗口的第二平均值和寄存器参数，确定所述第一下限阈值；
基于每对曝光图像中所述第一检测窗口的第二平均值、所述第一下限阈值和寄存器参数，确定所述第一上限阈值。
6.根据权利要求4所述的方法，其特征在于，所述运动检测策略还包括：
对目标像素进行运动检测时，确定以所述目标像素为中心像素的第一检测窗口尺寸；
确定所述第一检测窗口的上窗口尺寸和下窗口尺寸；
基于所述第一检测窗口尺寸确定所述目标像素的初始运动特征图；
基于所述上窗口尺寸和所述下窗口尺寸确定所述目标像素的上下侧像素的参考运动特征图；
将所述第一检测窗口、所述上窗口和所述下窗口沿水平方向移动，以确定所述目标像素的左右侧像素的参考运动特征图；
将所述初始运动特征图和多个参考运动特征图进行低通滤波，得到所述目标像素的运动特征图。
7.根据权利要求3所述的方法，其特征在于，
所述暗区修正策略包括：
对每对曝光图像的较长曝光图像进行亮度统计；
获取所述较长曝光图像中目标像素的亮度值；其中，所述目标像素包括四个Bayer格式子像素；
所述目标像素的亮度值小于第二下限阈值，将所述目标像素的第一运动特征图修正为预设最小值；
所述目标像素的亮度值大于或者等于所述第二下限阈值，且小于或者等于第二上限阈值，采用线性插值修正所述目标像素的第一运动特征图；
所述目标像素的亮度值大于所述第二上限阈值，不对所述目标像素的第一运动特征图进行修正。
8.根据权利要求7所述的方法，其特征在于，所述对每对曝光图像的较长曝光图像进行亮度统计，包括：
将所述较长曝光图像划分为P*Q个图像块；
对图像块进行亮度统计，得到图像块的亮度值；
所述获取所述较长曝光图像中目标像素的亮度值，包括：
获取所述目标像素所在第一图像块的亮度值；
获取所述第一图像块的右侧第二图像块，下侧第三图像块和右下侧第四图像块的亮度值；
基于所述目标像素的第二融合权重，将所述第一图像块、所述第二图像块、所述第三图像块和所述第四图像块的亮度值进行融合，得到所述目标像素的亮度值。
9.根据权利要求8所述的方法，其特征在于，所述第二融合权重包括X向融合权重和Y向融合权重；
所述基于所述目标像素的第二融合权重，将所述第一图像块、所述第二图像块、所述第三图像块和所述第四图像块的亮度值进行融合，包括：
基于所述Y向融合权重，对所述第一图像块和所述第三图像块的亮度值进行融合，得到第一融合亮度值；
基于所述Y向融合权重，对所述第二图像块和所述第四图像块的亮度值进行融合，得到第二融合亮度值；
基于所述X向融合权重，对所述第一融合亮度值和所述第二融合亮度值进行融合，得到所述目标像素的亮度值。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
对每个图像块的亮度值进行低通滤波，得到滤波后的亮度值。
11.根据权利要求3所述的方法，其特征在于，
所述选择判断策略包括：
按照曝光时间从长到短的顺序确定当前对曝光图像；
确定所述当前对曝光图像中目标像素饱和，且所述当前对曝光图像为最后一对曝光图像，判断所述当前对曝光图像中所述目标像素是否静止；
所述目标像素静止时，确定所述目标像素最终的运动特征图为预设最大值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；
所述目标像素运动时，确定所述目标像素最终的运动特征图为预设中间值减去第一修正值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正。
12.根据权利要求11所述的方法，其特征在于，
所述选择判断策略还包括：
确定所述当前对曝光图像中目标像素饱和，确定下一对曝光图像中目标像素不饱和，判断所述当前对曝光图像中所述目标像素是否静止；
所述目标像素静止时，确定所述目标像素最终的运动特征图为预设最大值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；
所述目标像素运动时，判断所述下一对曝光图像中所述目标像素是否静止。
13.根据权利要求11或12所述的方法，其特征在于，
所述选择判断策略还包括：
确定当前对曝光图像中目标像素不饱和，判断所述当前对曝光图像中所述目标像素是否静止；
所述目标像素静止时，确定所述目标像素最终的运动特征图为预设最小值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；
所述目标像素运动时，所述目标像素的第二运动特征图小于第一判断值时，确定所述目标像素最终的运动特征图为预设最小值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；
所述目标像素运动时，所述目标像素的第二运动特征图大于或者等于所述第一判断值，且小于或者等于第二判断值，确定所述目标像素最终的运动特征图为第二运动特征图加上第二修正值，且曝光选择特征图表征选择所述当前对曝光图像参与所述目标像素的运动模糊修正；
所述目标像素运动时，所述目标像素的第二运动特征图大于第二判断值，且所述当前对曝光图像不为最后一对曝光图像时，判断所述下一对曝光图像中目标像素是否饱和；
其中，所述第一判断值小于所述第二判断值。
14.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于所述运动特征图和所述第一融合权重确定所述高动态范围图像的噪声特征图；其中，所述噪声特征图用于对所述高动态范围图像进行降噪处理。
15.根据权利要求14所述的方法，其特征在于，所述基于所述运动特征图和所述第一融合权重确定所述高动态范围图像的噪声特征图，包括：
所述目标像素的运动特征图为预设最小值，确定所述目标像素的噪声特征图为预设最小值；
所述目标像素的运动特征图为预设最大值，确定所述目标像素的噪声特征图为预设最大值；
所述目标像素的运动特征图大于所述预设最小值，小于所述预设最大值，基于所述目标像素四个Bayer格式子像素的最小第一融合权重和所述运动特征图，确定所述目标像素的噪声特征图。
16.根据权利要求1所述的方法，其特征在于，所述确定所述多个曝光图像的第一融合权重包括：
确定第二检测窗口的尺寸；
每对曝光图像的较长曝光图像中，在以所述目标子像素为中心子像素的第一窗口内，计算四个Bayer格式子像素各自的平均值，并确定最大平均值；
在以目标子像素为中心子像素的第二窗口内，确定最大像素值；
基于所述最大像素值和所述最大平均值确定所述目标子像素的第一融合权重。
17.根据权利要求16所述的方法，其特征在于，所述基于所述最大像素值和所述最大平均值确定所述目标子像素的第一融合权重，包括：
将所述最大像素值和所述最大平均值进行融合，得到所述目标子像素的融合索引；
所述融合索引小于或者等于第三下限阈值时，确定所述第一融合权重为最大融合权重；
所述融合索引大于所述第三下限阈值，且小于第三上限阈值，采用线性插值确定所述第一融合权重；
所述融合索引大于或者等于所述第三上限阈值，确定第一融合权重为所述最小融合权重。
18.根据权利要求1所述的方法，其特征在于，
所述基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行图像融合处理，包括：
按照曝光时间确定当前对曝光图像；
所述当前对曝光图像不为最后一对曝光图像，所述当前对曝光图像中目标像素的第一融合权重大于0时，基于所述当前对曝光图像中目标像素的第一融合权重，对所述当前对曝光图像进行融合，得到所述高动态范围图像的目标像素；所述当前对曝光图像中目标像素的第一融合权重等于0时，比较下一对曝光图像中目标像素的第一融合权重的大小；
所述当前对曝光图像为最后一对曝光图像，基于所述当前对曝光图像中目标像素的第一融合权重，对所述当前对曝光图像进行融合，得到所述高动态范围图像的目标像素。
19.一种图像处理装置，包括：
传感器，配置成：
获取目标场景在不同曝光时间下拍摄到的多个曝光图像；
处理器，配置成：
对所述多个曝光图像中的第一曝光图像进行运动模糊修正；
对所述多个曝光图像中的第二曝光图像进行降噪；
确定所述多个曝光图像的第一融合权重；
基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行融合处理，以获得所述目标场景下的高动态范围图像；
其中，所述第一曝光图像具有第一曝光时间，所述第二曝光图像是不同于所述第一曝光图像的另一曝光图像。
20.一种图像处理装置，其特征在于，包括：
获取模块，用于获取目标场景在不同曝光时间下拍摄到的多个曝光图像；
运动模糊修正模块，用于对所述多个曝光图像中的第一曝光图像进行运动模糊修正；
降噪模块，用于对所述多个曝光图像中的第二曝光图像进行降噪；
融合权重生成模块，用于确定所述多个曝光图像的第一融合权重；
融合模块，用于基于所述第一融合权重，对经过运动模糊修正的所述第一曝光图像和经过降噪处理的所述第二曝光图像进行图像融合处理，以获得所述目标场景下的高动态范围图像；
其中，所述第一曝光图像具有第一曝光时间，所述第二曝光图像是不同于所述第一曝光图像的另一曝光图像。
21.一种图像处理芯片，其特征在于，所述芯片包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至18任一项所述方法的步骤。
22.一种电子设备，其特征在于，所述电子设备包括：图像采集装置以及如权利要求21所述的图像处理芯片。
23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至18任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111451630.7A CN116233607A (zh) | 2021-12-01 | 2021-12-01 | 一种多曝光图像处理方法、装置、芯片及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111451630.7A CN116233607A (zh) | 2021-12-01 | 2021-12-01 | 一种多曝光图像处理方法、装置、芯片及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116233607A true CN116233607A (zh) | 2023-06-06 |
Family
ID=86579133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111451630.7A Pending CN116233607A (zh) | 2021-12-01 | 2021-12-01 | 一种多曝光图像处理方法、装置、芯片及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116233607A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797897A (zh) * | 2023-07-07 | 2023-09-22 | 中国人民解放军国防科技大学 | 基于时空特征融合的检测模型生成及红外小目标检测方法 |
| CN117014729A (zh) * | 2023-09-27 | 2023-11-07 | 合肥辉羲智能科技有限公司 | 一种二次曝光图像融合高动态范围图像的方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100259626A1 (en) * | 2009-04-08 | 2010-10-14 | Laura Savidge | Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging |
| US20110069200A1 (en) * | 2009-09-22 | 2011-03-24 | Samsung Electronics Co., Ltd. | High dynamic range image generating apparatus and method |
| CN103945145A (zh) * | 2013-01-17 | 2014-07-23 | 三星泰科威株式会社 | 处理图像的设备和方法 |
| CN105122302A (zh) * | 2013-04-15 | 2015-12-02 | 高通股份有限公司 | 无重影高动态范围图像的产生 |
| US9883119B1 (en) * | 2016-09-22 | 2018-01-30 | Qualcomm Incorporated | Method and system for hardware-based motion sensitive HDR image processing |
| CN108668093A (zh) * | 2017-03-31 | 2018-10-16 | 华为技术有限公司 | Hdr图像的生成方法及装置 |
| CN110418065A (zh) * | 2018-04-27 | 2019-11-05 | 北京展讯高科通信技术有限公司 | 高动态范围图像运动补偿方法、装置及电子设备 |
| CN111835982A (zh) * | 2020-07-02 | 2020-10-27 | 维沃移动通信有限公司 | 图像获取方法、图像获取装置、电子设备及存储介质 |
| JP2021005775A (ja) * | 2019-06-26 | 2021-01-14 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2021
- 2021-12-01 CN CN202111451630.7A patent/CN116233607A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100259626A1 (en) * | 2009-04-08 | 2010-10-14 | Laura Savidge | Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging |
| US20110069200A1 (en) * | 2009-09-22 | 2011-03-24 | Samsung Electronics Co., Ltd. | High dynamic range image generating apparatus and method |
| CN103945145A (zh) * | 2013-01-17 | 2014-07-23 | 三星泰科威株式会社 | 处理图像的设备和方法 |
| CN105122302A (zh) * | 2013-04-15 | 2015-12-02 | 高通股份有限公司 | 无重影高动态范围图像的产生 |
| US9883119B1 (en) * | 2016-09-22 | 2018-01-30 | Qualcomm Incorporated | Method and system for hardware-based motion sensitive HDR image processing |
| CN108668093A (zh) * | 2017-03-31 | 2018-10-16 | 华为技术有限公司 | Hdr图像的生成方法及装置 |
| CN110418065A (zh) * | 2018-04-27 | 2019-11-05 | 北京展讯高科通信技术有限公司 | 高动态范围图像运动补偿方法、装置及电子设备 |
| JP2021005775A (ja) * | 2019-06-26 | 2021-01-14 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN111835982A (zh) * | 2020-07-02 | 2020-10-27 | 维沃移动通信有限公司 | 图像获取方法、图像获取装置、电子设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797897A (zh) * | 2023-07-07 | 2023-09-22 | 中国人民解放军国防科技大学 | 基于时空特征融合的检测模型生成及红外小目标检测方法 |
| CN116797897B (zh) * | 2023-07-07 | 2024-03-12 | 中国人民解放军国防科技大学 | 基于时空特征融合的检测模型生成及红外小目标检测方法 |
| CN117014729A (zh) * | 2023-09-27 | 2023-11-07 | 合肥辉羲智能科技有限公司 | 一种二次曝光图像融合高动态范围图像的方法及系统 |
| CN117014729B (zh) * | 2023-09-27 | 2023-12-05 | 合肥辉羲智能科技有限公司 | 一种二次曝光图像融合高动态范围图像的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101698876B1 (ko) | 고스트-프리 높은 동적 레인지 이미지들의 생성 | |
| CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| KR101662846B1 (ko) | 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법 | |
| CN110602467B (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
| US10021313B1 (en) | Image adjustment techniques for multiple-frame images | |
| US8760537B2 (en) | Capturing and rendering high dynamic range images | |
| CN104717432A (zh) | 处理一组输入图像的方法、图像处理设备和数字照相机 | |
| CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| CN116233607A (zh) | 一种多曝光图像处理方法、装置、芯片及电子设备 | |
| EP3480784A1 (en) | Image processing method, and device | |
| CN107454285A (zh) | 图像噪声估计方法及装置与图像提取装置 | |
| JP2011521521A (ja) | 最適映像選択 | |
| CN106210712A (zh) | 一种图像坏点检测及处理方法 | |
| CN109242794B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| TWI779948B (zh) | 相機模組的鏡頭髒污偵測方法 | |
| CN113395440A (zh) | 一种图像处理方法及电子设备 | |
| WO2023137956A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110740266B (zh) | 图像选帧方法、装置、存储介质及电子设备 | |
| CN102724541B (zh) | 一种监控影像智能诊断恢复方法 | |
| EP3363193B1 (en) | Device and method for reducing the set of exposure times for high dynamic range video imaging | |
| Chang et al. | Beyond camera motion blur removing: How to handle outliers in deblurring | |
| CN111160340B (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| CN113658197B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113706402A (zh) | 神经网络训练方法、装置及电子设备 | |
| JP4831344B2 (ja) | 目の位置の検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |