CN117641135A - 一种图像处理方法及装置、设备、存储介质 - Google Patents
一种图像处理方法及装置、设备、存储介质 Download PDFInfo
- Publication number
- CN117641135A CN117641135A CN202311581465.6A CN202311581465A CN117641135A CN 117641135 A CN117641135 A CN 117641135A CN 202311581465 A CN202311581465 A CN 202311581465A CN 117641135 A CN117641135 A CN 117641135A
- Authority
- CN
- China
- Prior art keywords
- image
- reference image
- characteristic
- value
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 75
- 238000005070 sampling Methods 0.000 claims description 58
- 230000004927 fusion Effects 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000013441 quality evaluation Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 4
- 238000001303 quality assessment method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法及装置、设备、存储介质，该方法包括：获取目标摄像头在第一曝光参数下拍摄到的多帧第一图像，以及在第二曝光参数下拍摄到的第二图像；获取目标摄像头的目标变焦倍率；根据目标变焦倍率和多帧第一图像，得到第三图像；根据目标变焦倍率和第二图像，得到第四图像；对第三图像和第四图像进行融合，得到目标图像。如此，只需要一个摄像头在不同曝光参数下分别采集多帧第一图像和单帧第二图像，并且根据目标变焦倍率对图像进行变焦处理，使得相机可以在任一变焦倍率下实现HDR拍照，且只需调用一颗摄像头，能够降低HDR拍照的功耗，便于在移动终端上实现。
Description
技术领域
本申请涉及图像处理技术，尤其涉及一种图像处理方法及装置、设备、存储介质。
背景技术
高动态范围(High Dynamic Range，HDR)是一种用于增强图像对比度和亮度范围的技术，与普通图像相比，HDR可以提供更多的动态范围和图像细节，利用每个曝光时间相对应最佳细节的低动态范围(Low Dynamic Range，LDR)图像来合成最终HDR图像，能够更好地反映出真实环境中的视觉效果。
目前，一种HDR拍照方案是，同时调用两个摄像头进行拍照，获取多个曝光参数下拍摄得到的多个图像，再进行HDR融合得到目标图像，这种方法会产生较大的功耗，应用在移动终端上存在耗电量大和易发热等问题。
发明内容
本申请实施例期望提供一种图像处理方法及装置、设备、存储介质。
本申请的技术方案是这样实现的：
第一方面，提供了一种图像处理方法，包括：
获取目标摄像头在第一曝光参数下拍摄到的多帧第一图像；
获取所述目标摄像头在第二曝光参数下拍摄到的第二图像；
根据所述目标摄像头的目标变焦倍率和所述多帧第一图像，得到第三图像；
根据所述目标变焦倍率和所述第二图像，得到第四图像；
对所述第三图像和所述第四图像进行融合，得到目标图像。
第二方面，提供了一种图像处理装置，包括：
获取单元，用于获取目标摄像头在第一曝光参数下拍摄到的多帧第一图像；
所述获取单元，还用于获取所述目标摄像头在第二曝光参数下拍摄到的第二图像；
第一处理单元，用于根据所述目标摄像头的目标变焦倍率和所述多帧第一图像，得到第三图像；
第二处理单元，用于根据所述目标变焦倍率和所述第二图像，得到第四图像；
融合单元，用于对所述第三图像和所述第四图像进行融合，得到目标图像。
第三方面，提供了一种图像处理设备，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
本申请实施例中提供了一种图像处理方法及装置、设备、存储介质，该方法包括：获取目标摄像头在第一曝光参数下拍摄到的多帧第一图像，以及在第二曝光参数下拍摄到的第二图像；获取所述目标摄像头的目标变焦倍率；根据目标变焦倍率和所述多帧第一图像，得到第三图像；根据所述目标变焦倍率和所述第二图像，得到第四图像；对所述第三图像和所述第四图像进行融合，得到目标图像。如此，只需要一个摄像头在不同曝光参数下分别采集多帧第一图像和单帧第二图像，并且根据目标变焦倍率对图像进行变焦处理，使得相机可以在任一变焦倍率下实现HDR拍照，且只需调用一颗摄像头，能够降低HDR拍照的功耗，便于在移动终端上实现。
附图说明
图1为本申请实施例中图像处理方法的第一流程示意图；
图2为本申请实施例中图像处理方法的第二流程示意图；
图3为本申请实施例中多帧超分辨率算法的流程示意图；
图4为本申请实施例中图像配准方法的流程示意图；
图5为本申请实施例中噪声估计方法的流程示意图；
图6为本申请实施例中图像金字塔融合算法的流程示意图；
图7为本申请实施例中高斯金字塔和拉普拉斯金字塔的结构示意图；
图8为本申请实施例中拉普拉斯金字塔的融合结构示意图；
图9为本申请实施例中基于图像金字塔的图像重建过程示意图；
图10为本申请实施例中图像处理装置的组成结构示意图；
图11为本申请实施例中图像处理设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
图1为本申请实施例中图像处理方法的第一流程示意图，如图1所示，该方法具体可以包括：
步骤101：获取目标摄像头在第一曝光参数下拍摄到的多帧第一图像；
步骤102：获取目标摄像头在第二曝光参数下拍摄到的第二图像；
第一曝光参数和第二曝光参数不同，具体可以是以下光圈大小、快门速度、感光度ISO中的至少之一不同。
在一些实施例中，该方法还包括：确定目标摄像头针对当前拍摄场景进行拍摄时的第一曝光参数；对第一曝光参数进行负补偿，得到第二曝光参数。
第一曝光参数是针对当前拍摄场景的实际光线条件由相机自动设定或者由用户手动设定，得到当前拍摄场景最合适的曝光参数。第二曝光参数可以理解为针对当前拍摄场景设定的一种欠曝光参数来减少曝光量，使得拍摄得到的第二图像保留暗部的细节和色彩，使得后续图像融合得到一张具有宽广色域和更好对比度的HDR图像。
步骤103：根据目标摄像头的目标变焦倍率和多帧第一图像，得到第三图像；
步骤104：根据目标变焦倍率和第二图像，得到第四图像；
需要说明的是，本申请实施例中目标变焦倍率可以为一种数码变焦倍率，当第一图像和第二图像为摄像头输出的原始图像时，在对第一图像和第二图像的处理过程中需要根据目标变焦倍率对图像进行裁剪，得到匹配当前视场角的图像。
在一些实施例中，根据目标摄像头的目标变焦倍率和多帧第一图像，得到第三图像，可以包括：根据目标变焦倍率，对多帧第一图像进行裁剪，得到变焦后的多帧第一图像；基于多帧超分辨率算法对变焦后的多帧第一图像进行重建，得到第三图像。
需要说明的是，多帧包括两帧或以上帧，目标变焦倍率用于对每帧第一图像进行裁剪，得到变焦后的第一图像；利用多帧超分辨率算法对变焦后的多帧第一图像进行重建，得到与原始第一图像分辨率相同的第三图像，用于后续的图像融合。
示例性的，多帧超分辨率算法可以采用以下至少之一：
基于插值的多帧超分辨率算法，这类算法通过裁剪后的低分辨率图像进行插值，从而得到高分辨率图像，再对多帧高分辨率图像通过一定算法得到目标图像。插值算法可以为双线性插值、双三次插值等。
基于深度学习的多帧超分辨率算法，利用深度神经网络对低分辨率图像进行端到端的学习，得到高分辨率图像。
基于运动估计的多帧超分辨率算法，通过对低分辨率图像序列进行运动估计，得到高分辨率图像，再对多帧高分辨率图像通过一定算法得到目标图像。常见的算法有基于全局运动估计的算法、基于局部运动估计的算法等。
基于图像融合的多帧超分辨率算法，将多帧低分辨率图像融合起来，得到高分辨率图像。融合算法可以为基于加权平均的算法、基于多尺度分解的算法等。
在一些实施例中，根据目标变焦倍率和第二图像，得到第四图像，包括：根据目标变焦倍率，对第二图像进行裁剪，得到变焦后的第二图像；基于单帧超分辨率算法对变焦后的第二图像根据进行重建，得到第四图像。
需要说明的是，目标变焦倍率用于对每帧第二图像进行裁剪，得到变焦后的第二图像；利用单帧超分辨率算法对变焦后的第二图像进行重建，得到与原始第二图像分辨率相同的第四图像，用于后续的图像融合。
示例性的，单帧超分辨率算法可以采用以下至少之一：
上采样，通过上采样技术将低分辨率图像放大到原始高分辨率图像。上采样算法可以为：双线性插值、最近邻插值、反卷积等。
基于深度学习的单帧超分辨率算法，利用深度神经网络对低分辨率图像进行端到端的学习，得到高分辨率图像。
步骤105：对第三图像和第四图像进行融合，得到目标图像。
具体地，对第三图像和第四图像进行HDR融合，得到高动态范围的目标图像。
HDR融合是一种图像处理技术，它可以在明亮的区域(如强光下的高光区域)和暗区(如阴影或室内暗部区域)之间实现更好的对比度和色彩，使得亮度和暗区都能够获得比普通图像更佳的细节和层次，更接近真实的视觉效果。
HDR融合算法的主要原理是：对于多曝光图像序列，取每一张图像中最有价值的部分用于合成。例如，曝光时间长的图像中暗区细节丰富同时噪声水平低，那么暗区就是有价值的部分。显然，需要一个指标来衡量每张图像中哪些像素有价值，然后通过计算每张图每个像素的价值指标当作对应的权重，最终通过加权融合的方式得到HDR。
采用上述技术方案，只需要一个摄像头在不同曝光参数下分别采集多帧第一图像和单帧第二图像，并且根据目标变焦倍率对图像进行变焦处理，使得相机可以在任一变焦倍率下实现HDR拍照，且只需调用一颗摄像头，能够降低HDR拍照的功耗，便于在移动终端上实现。
为了能更加体现本申请的目的，在本申请上述实施例的基础上，进行进一步的举例说明，如图2所示，该方法具体包括：
步骤201：确定目标摄像头针对当前拍摄场景进行拍摄时的第一曝光参数。
步骤202：对第一曝光参数进行负补偿，得到第二曝光参数。
步骤203：获取目标摄像头在第一曝光参数下拍摄到的多帧第一图像。
步骤204：获取目标摄像头在第二曝光参数下拍摄到的第二图像。
步骤205：根据目标变焦倍率对多帧第一图像进行裁剪，得到变焦后的多帧第一图像。
步骤206：基于多帧超分辨率算法对变焦后的多帧第一图像进行重建，得到第三图像。
需要说明的是，目标变焦倍率用于对每帧第一图像进行裁剪，得到变焦后的第一图像；利用多帧超分辨率算法对变焦后的多帧第一图像进行重建，得到与原始第一图像分辨率相同的第三图像，用于后续的图像融合。
图3为本申请实施例中多帧超分辨率算法的流程示意图，如图3所示，多帧超分辨率算法具体实现步骤可以包括：
步骤301：基于预设的图像质量评价指标，从多帧第一图像中选取参考一帧图像；
在一些实施例中，图像质量评价指标用于评价图像质量，图像质量评价指标包括以下至少之一：图像清晰度、图像锐度。
示例性的，图像质量评价指标包括锐度参考值时，基于预设的图像质量评价指标，从多帧第一图像中选取参考图像，包括：获取第一图像中第一像素点的灰度值，以及第一像素点的第一参考像素点的第二灰度值；计算第一灰度值和第二灰度值的灰度差平方值；根据第一图像中所有像素点对应的灰度差平方值，得到第一图像的锐度参考值；选取最大锐度参考值对应的第一图像作为参考图像。
图像锐度的计算方法为对于图像中的每一个像素点，首先，取出当前像素点(x,y)的灰度值和水平右侧邻域像素点(x+2,y)的灰度值，进行相减运算。接下来，我们会将相减后的结果进行相乘。最后，我们将所有像素的结果进行累加，以得到相邻两个像素灰度差的平方。公式可为：
P(f)＝ΣyΣx|f(x+2,y)-f(x,y)|2
其中，f(x,y)表示图像f对应像素点(x,y)的灰度值，f(x+2,y)表示像素点(x,y)的邻域像素点(x+2,y)的灰度值，P(f)为图像锐度。选出P(f)最大的一张图作为参考图像。
需要说明的是，本申请实施例锐度参考值的计算方法包括但不限于上述方案，实际应用中还可以采用其他锐度计算方法来计算每张图像的锐度参考值。
步骤302：根据参考图像对多帧第一图像中的第一非参考图像进行图像配准，得到与参考图像匹配的第二非参考图像；
需要说明的是，图像配准就是将同一个场景的不同图像转换到同样的坐标系统中的过程。图4为本申请实施例中图像配准方法的流程示意图，如图4所示，图像配准方法具体可以包括：
步骤401：对参考图像和第一非参考图像进行特征点检测，确定参考图像的特征点和第一非参考图像的特征点；
在一些实施例中，该方法具体可以包括：分别对参考图像和第一非参考图像进行下采样，确定图像尺寸小于尺寸阈值的第一图像层和第二图像层；基于第一特征点检测算法对第一图像层和第二图像层进行特征点检测，确定第一图像层的特征点和第二图像层的特征点；根据第一图像层的特征点，确定参考图像的特征点；根据第二图像层的特征点，确定第一非参考图像的特征点。
需要说明的是，在保证特征点检测的准确性的基础上，通过对图像进行下采样再进行特征点检测可以减少计算量，进一步地，对检测到的特征点的坐标进行上采样，以得到原图像中特征点的坐标。
示例性的，分别对参考图像和第一非参考图像进行下采样，构建参考图像的第一图像金字塔，以及非参考图像的第二图像金字塔；确定第一图像金字塔中的图像尺寸不超过第一尺寸阈值且与第一尺寸阈值最接近的第一图像层，以及第二图像金字塔中的图像尺寸不超过第一尺寸阈值且与第一尺寸阈值最接近的第二图像层。在实际应用中，图像尺寸可以为图像宽度和高度中的较大值，图像尺寸还可以为图像面积，即宽度和高度的乘积。
在另一些实施例中，也可以基于第一特征点检测算法对参考图像和第一非参考图像直接进行特征点检测。
第一特征点检测算法可以为Harris角点检测算法、尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)算法、加速分段测试特征点检测(Features fromAccelerated Segment Test，FAST)算法等任一种特征点检测算法。
本申请一些实施例中可以基于Harris角点检测算法检测参考图像和第一非参考图像的特征点。
步骤402：基于正向光流估计算法，确定参考图像的特征点在第一非参考图像中的估计点；根据第一非参考图像的特征点和估计点之间的距离参考值，剔除第一非参考图像中距离参考值大于距离阈值的第一特征点，得到第一非参考图像的第二特征点；
正向光流估计算法具体是将参考图像的特征点映射到第一非参考图像中，确定参考图像的特征点在第一非参考图像中的估计点。
距离参考值用于表征估计点与最近特征点的距离，任一帧第一非参考图像的第一估计点与第一特征点的距离参考值大于距离阈值，剔除所有第一非参考图像中的第一特征点。示例性的，距离参考值可以为欧氏距离，也可以为曼哈顿距离。
步骤403：基于反向光流估计算法，确定第一非参考图像的第二特征点在参考图像中的估计点；根据参考图像的特征点和估计点之间的距离参考值，剔除参考图像中距离参考值大于距离阈值的第一特征点，得到参考图像的第二特征点；
反向光流估计算法具体是将第一非参考图像的特征点映射到参考帧中，确定第一非参考图像的特征点在参考图像中的估计点。
距离参考值用于表征估计点与最近特征点的距离，参考图像的第一估计点与第一特征点的距离参考值大于距离阈值，剔除参考图像中的第一特征点。
步骤404：根据参考图像的第二特征点和第一非参考图像的第二特征点，对第一非参考图像进行仿射变换，得到第二非参考图像。
经过正向光流估计和反向光流估计，使得参考图像和第一非参考图像中的特征点能够一一对应，提高特征点的检测准确性。进而以参考图像的第二特征点为基准，对所有第一非参考图像做仿射变换，使得到的第二非参考图像的特征点的位置能与参考图像的特征点的位置匹配上，实现图像配准。
也就是说，本申请实施例具体采用一种图像配准，包括三个步骤：特征点检测，特征点匹配，图像变换，使得所有图像对齐。
步骤303：对第二非参考图像进行噪声估计，确定第二非参考图像的噪声级别特征图；
需要说明的是，噪声估计具体可以是对第二非参考图像中每个像素点进行噪声估计，从而确定用于表征每个像素点噪声级别的特征值，每个像素点的特征值构成噪声级别特征图。图5为本申请实施例中噪声估计方法的流程示意图，如图5所示，噪声估计方法具体可以包括：
步骤501：根据参考图像中采样点的灰度值和第二非参考图像中采样点的灰度值，确定第二非参考图像相对于参考图像的噪声差异；
示例性的，将参考图像和第二非参考图像划分为多个采样单元；计算参考图像的每个采样单元中多个采样点的灰度值之和，得到参考图像的每个采样单元的采样值；计算第二非参考图像的每个采样单元中多个采样点的灰度值之和，得到第二非参考图像的每个采样单元的采样值；计算参考图像与第二非参考图像中对应采样单元的采样值之差的绝对值，得到每个采样单元的噪声差异；所有采样单元的噪声差异进行累加，得到第二非参考图像相对于参考图像的噪声差异。
示例性的，具体可以表示为以下公式：
参考图像采样单元的采样值＝∑采样点的灰度值
非参考图像采样单元的采样值＝∑采样点的灰度值
噪声差异+＝|参考图像采样单元的采样值-非参考图像采样单元的采样值|
步骤502：对所有第二非参考图像的噪声差异进行排序，根据噪声差异中值确定所有第二非参考图像的噪声级别；
在一些实施例中，噪声差异中值处于非参考图像的帧数，得到噪声级别。具体可以表示为以下公式：
噪声级别＝噪声差异中值除以帧数。
步骤503：根据噪声级别，以及参考图像与第二非参考图像中每个像素点的灰度差绝对值，确定第二非参考图像中每个像素点的第一特征值；
在一些实施例中，噪声级别与灰度差绝对值相乘，得到每个像素点的第一特征值。具体可以表示为以下公式：
第一特征值＝噪声级别*|其他输入图像素点灰度值-参考图像素点灰度值|
步骤504：根据第二非参考图像中每个像素点的第一特征值，得到第二非参考图像的噪声级别特征图。
示例性的，对第二非参考图像中每个像素点的第一特征值进行平滑操作，得到第二非参考图像中每个像素点的第二特征值；根据特征阈值对第二非参考图像中每个像素点的第二特征值进行二值化操作，得到第二非参考图像的噪声级别特征图。其中，特征阈值可以为所有像素点第二特征值的平均值。
具体地，每张第二非参考图像的初始噪声级别特征图进行中值滤波实现平滑操作，然后设定一个特征阈值，根据特征阈值进行二值化操作，输出最终的噪声级别特征图。具体地，若某个像素点的第一特征值超过该特征阈值则可以判定为运动点，否则判定为非运动点。
步骤304：根据噪声级别特征图对参考图像和第二非参考图像进行融合，得到融合图像；
进一步地，在进行多帧融合时，使用参考图像，逐张加上第二非参考图像，合成时根据噪声级别特征图判定当前第二非参考图像的某个像素点是否为运动点，若是，则降低其融合权重(甚至忽略)，并提高参考图图像对应像素点的权重。若否，则采用预设权重，对该点进行融合，例如，取两个像素点的平均值。
步骤305：对融合图像进行上采样，得到第三图像。
在一些实施例中，基于插值算法对融合图像进行上采样，使得目标变焦倍率对应的目标区域被扩大到原图像大小。示例性的，插值算法可以为双线性插值。
步骤207：根据目标变焦倍率对第二图像进行裁剪，得到变焦后的第二图像；
步骤208：基于单帧超分辨率算法对变焦后的第二图像根据进行重建，得到第四图像；
需要说明的是，目标变焦倍率用于对每帧第二图像进行裁剪，得到变焦后的第二图像；利用单帧超分辨率算法对变焦后的第二图像进行重建，得到与原始第二图像分辨率相同的第四图像，用于后续的图像融合。示例性的，单帧超分辨率算法可以为基于双线性插值的单帧超级分辨率算法。
步骤209：对第三图像和第四图像进行融合，得到目标图像。
在一些实施例中，对第三图像和第四图像进行融合，得到目标图像，包括：根据第三图像对第四图像进行图像配准，得到与第三图像匹配的第五图像；基于图像金字塔融合算法对第三图像和第五图像进行融合，得到目标图像。
在一些实施例中，根据第三图像对第四图像进行图像配准，得到与第三图像匹配的第五图像，包括：对第三图像和第四图像进行特征点检测，确定第三图像的特征点和第四图像的特征点；剔除第三图像和第四图像中位于过曝区域和边缘区域的第三特征点，得到第三图像的第四特征点和第四图像的第四特征点；根据第三图像的第四特征点和第四图像的第四特征点，对第四图像进行仿射变换，得到第五图像。本申请实施例中通过剔除过曝区域和边缘区域的第三特征点可以提高图像配准的准确性。
在一些实施例中，该方法具体可以包括：分别对第三图像和第四图像进行下采样，确定图像尺寸小于尺寸阈值的第三图像层和第三图像层；基于第二特征点检测算法对第三图像层和第四图像层进行特征点检测，确定第三图像层的特征点和第四图像层的特征点；根据第三图像层的特征点，确定第三图像的特征点；根据第四图像层的特征点，确定第四图像的特征点。
在另一些实施例中，也可以基于第二特征点检测算法对第三图像和第四图像直接进行特征点检测。
第二特征点检测算法可以为Harris角点检测算法、SIFT算法、FAST算法等任一种特征点检测算法。
本申请一些实施例中可以基于FAST算法检测第三图像和第四图像的特征点。
进一步地，分别去第三图像和第四图像中过曝区域和边缘区域的第三特征点，得到第三图像的第四特征点和第四图像的第四特征点；然后以第三图像的第四特征点为基准，对第四图像做仿射变换，使得第四图像的特征点的位置能与第三图像的特征点的位置匹配上，实现图像配准。
图像金字塔是对图像进行多分辨率表示的一种有效且简单的结构。一个图像金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像。图像金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率表示。
图6为本申请实施例中图像金字塔融合算法的流程示意图，如图6所示，图像金字塔融合算法具体实现步骤可以包括：
步骤601：根据第三图像，确定第一高斯金字塔和第一拉普拉斯金字塔；
高斯金字塔是指通过高斯模糊滤波和下采样不断地将图像的尺寸缩小，进而在金字塔中包含多个分辨率的一组图像。如图7所示，第三图像为高分辨率表示的待处理图像，对待处理图像高斯模糊滤波和下采样不断地将图像的尺寸缩小，总共得到4级高斯金字塔，高斯金字塔的每个图像层表示为G0-G3。
拉普拉斯金字塔实际上是为了实现高斯金字塔的图像重建而存在的，它是在高斯金字塔的基础上生成的。拉普拉斯金字塔是高斯金字塔与其上一层通过上采样扩大后图像的图像残差，这里的上采样一般采用插值的方式实现。也就是说，拉普拉斯金字塔是通过将原图像减去先缩小后再放大的图像的一系列图像构成的，保留图像残差，用于图像还原。如图7所示，分别对G1-G3图像层进行上采样，再将相同尺寸的原图像和上采样后图像作差，总共得到3层拉普拉斯金字塔，拉普拉斯金字塔的每个图像层表示为L0-L2。
步骤602：根据第五图像，确定第二高斯金字塔和第二拉普拉斯金字塔；
步骤603：对第一拉普拉斯金字塔和第二拉普拉斯金字塔进行加权融合，得到混合拉普拉斯金字塔；
如图8所示，第一拉普拉斯金字塔和第二拉普拉斯金字塔相同图像层进行加权融合，得到3层混合拉普拉斯金字塔。
在一些实施例中，根据权重金字塔中每个图像层配置的权重进行加权融合。权重金字塔可以预设金字塔，或者根据第三图像和第五图像的图像特征确定的。
步骤604：对第一高斯金字塔和第二高斯金字塔的第一图像层进行加权融合，得到图像融合起始层；
在一些实施例中，该方法还可以包括：确定第三图像和第五图像之间的融合区域的图像掩码；根据图像掩码，确定权重金字塔；从权重金字塔中，确定第一拉普拉斯金字塔和第二拉普拉斯金字塔各个图像层对应的权重层；确定权重金字塔的第一权重层为第一高斯金字塔和第二高斯金字塔的第一图像层对应的权重层；其中，权重层包括对应图像层的各个像素点的权重值。
需要说明的是，融合区域可以理解为第三图像和第五图像需要进行HDR融合的区域，融合区域可以为第三图像的过曝区域、图像边缘区域等，对于融合区域可以与第五图像进行融合，对于非融合区域可以无需与第五图像进行融合，融合二者优点，提高目标图像质量。
融合区域的图像掩码可以包含了第三图像和第五图像融合区域的融合权重。融合区域具有相同权重或者不相同权重，通过对图像掩码进行下采样得到权重金字塔。
步骤605：根据图像融合起始层和混合拉普拉斯金字塔，确定目标图像。
示例性的，对图像融合起始层进行上采样，将上采样后的图像与混合拉普拉斯金字塔的第一层进行融合，将融合后图像进行上采样，将上采样后的图像与混合拉普拉斯金字塔的第二层进行融合，以此类推，直到与最后一层融合，得到目标图像。
如图9所示，取第三图像和第五图像的高斯金字塔第一层(G3)，根据权重金字塔第一层权重进行加权融合，得到图像融合起始层，然后把图像融合起始层上采样后与混合拉普拉斯金字塔的第一层(L2)进行融合，然后继续上采样并与拉普拉斯金字塔第二层(L1)进行融合，然后继续上采样并与拉普拉斯金字塔最后一层(L0)进行融合，得到目标图像。
需要说明的是，本申请实施例进行HDR融合时包括但不限于上述基于图像金字塔融合算法，实际应用中还可以采用其他融合算法进行HDR融合。
本申请实施例提供的技术方案，只需要一个摄像头在不同曝光参数下分别采集多帧第一图像和单帧第二图像，并且根据目标变焦倍率对图像进行变焦处理，使得相机可以在任一变焦倍率下实现HDR拍照，且只需调用一颗摄像头，能够降低HDR拍照的功耗，便于在移动终端上实现。
为实现本申请实施例的方法，基于同一发明构思本申请实施例还提供了一种图像处理装置，如图10所示，该图像处理装置100包括：
获取单元1001，用于获取目标摄像头在第一曝光参数下拍摄到的多帧第一图像；
获取单元1001，还用于获取目标摄像头在第二曝光参数下拍摄到的第二图像；
第一处理单元1002，用于根据目标摄像头的目标变焦倍率和多帧第一图像，得到第三图像；
第二处理单元1003，用于根据目标变焦倍率和第二图像，得到第四图像；
融合单元1004，用于对第三图像和第四图像进行融合，得到目标图像。
在一些实施例中，该图像处理装置100还包括确定单元，用于确定目标摄像头针对当前拍摄场景进行拍摄时的第一曝光参数；对第一曝光参数进行负补偿，得到第二曝光参数。
在一些实施例中，第一处理单元1002，用于根据目标变焦倍率对多帧第一图像进行裁剪，得到变焦后的多帧第一图像；基于多帧超分辨率算法对变焦后的多帧第一图像进行重建，得到第三图像；根据目标变焦倍率和第二图像，得到第四图像，包括：根据目标变焦倍率对第二图像进行裁剪，得到变焦后的第二图像；基于单帧超分辨率算法对变焦后的第二图像根据进行重建，得到第四图像。
在一些实施例中，多帧超分辨率算法，包括：基于预设的图像质量评价指标，从多帧第一图像中选取一帧参考图像；根据参考图像对多帧第一图像中的第一非参考图像进行图像配准，得到与参考图像匹配的第二非参考图像；对第二非参考图像进行噪声估计，确定第二非参考图像的噪声级别特征图；根据噪声级别特征图对参考图像和第二非参考图像进行融合，得到融合图像；对融合图像进行上采样，得到第三图像。
在一些实施例中，图像质量评价指标包括锐度参考值；
第一处理单元1002，用于获取第一图像中第一像素点的灰度值，以及第一像素点的第一参考像素点的第二灰度值；计算第一灰度值和第二灰度值的灰度差平方值；根据第一图像中所有像素点对应的灰度差平方值，得到第一图像的锐度参考值；选取最大锐度参考值对应的第一图像作为参考图像。
在一些实施例中，第一处理单元1002，用于对参考图像和第一非参考图像进行特征点检测，确定参考图像的特征点和第一非参考图像的特征点；基于正向光流估计算法，确定参考图像的特征点在第一非参考图像中的估计点；根据第一非参考图像的特征点和估计点之间的距离参考值，剔除第一非参考图像中距离参考值大于距离阈值的第一特征点，得到第一非参考图像的第二特征点；基于反向光流估计算法，确定第一非参考图像的第二特征点在参考图像中的估计点；根据参考图像的特征点和估计点之间的距离参考值，剔除参考图像中距离参考值大于距离阈值的第一特征点，得到参考图像的第二特征点；根据参考图像的第二特征点和第一非参考图像的第二特征点，对第一非参考图像进行仿射变换，得到第二非参考图像。
在一些实施例中，第一处理单元1002，用于分别对参考图像和第一非参考图像进行下采样，确定图像尺寸小于尺寸阈值的第一图像层和第二图像层；基于第一特征点检测算法对第一图像层和第二图像层进行特征点检测，确定第一图像层的特征点和第二图像层的特征点；根据第一图像层的特征点，确定参考图像的特征点；根据第二图像层的特征点，确定第一非参考图像的特征点。
在一些实施例中，第一处理单元1002，用于根据参考图像中采样点的灰度值和第二非参考图像中采样点的灰度值，确定第二非参考图像相对于参考图像的噪声差异；对所有第二非参考图像的噪声差异进行排序，根据噪声差异中值确定所有第二非参考图像的噪声级别；根据噪声级别，以及参考图像与第二非参考图像中每个像素点的灰度差绝对值，确定第二非参考图像中每个像素点的第一特征值；根据第二非参考图像中每个像素点的第一特征值，得到第二非参考图像的噪声级别特征图。
在一些实施例中，第一处理单元1002，用于将参考图像和第二非参考图像划分为多个采样单元；计算参考图像的每个采样单元中多个采样点的灰度值之和，得到参考图像的每个采样单元的采样值；计算第二非参考图像的每个采样单元中多个采样点的灰度值之和，得到第二非参考图像的每个采样单元的采样值；计算参考图像与第二非参考图像中对应采样单元的采样值之差的绝对值，得到每个采样单元的噪声差异；所有采样单元的噪声差异进行累加，得到第二非参考图像相对于参考图像的噪声差异。
在一些实施例中，第一处理单元1002，用于对第二非参考图像中每个像素点的第一特征值进行平滑操作，得到第二非参考图像中每个像素点的第二特征值；根据特征阈值对第二非参考图像中每个像素点的第二特征值进行二值化操作，得到第二非参考图像的噪声级别特征图。
在一些实施例中，第二处理单元1003，用于基于双线性插值对变焦后的第二图像进行超分辨率重建，得到第四图像。
在一些实施例中，融合单元1004，用于根据第三图像对第四图像进行图像配准，得到与第三图像匹配的第五图像；基于图像金字塔融合算法对第三图像和第五图像进行融合，得到目标图像。
在一些实施例中，融合单元1004，用于对第三图像和第四图像进行特征点检测，确定第三图像的特征点和第四图像的特征点；剔除第三图像和第四图像中位于过曝区域和边缘区域的第三特征点，得到第三图像的第四特征点和第四图像的第四特征点；根据第三图像的第四特征点和第四图像的第四特征点，对第四图像进行仿射变换，得到第五图像。
在一些实施例中，融合单元1004，用于根据第三图像，确定第一高斯金字塔和第一拉普拉斯金字塔；根据第五图像，确定第二高斯金字塔和第二拉普拉斯金字塔；对第一拉普拉斯金字塔和第二拉普拉斯金字塔进行加权融合，得到混合拉普拉斯金字塔；对第一高斯金字塔和第二高斯金字塔的第一图像层进行加权融合，得到图像融合起始层；根据图像融合起始层和混合拉普拉斯金字塔，确定目标图像。
在一些实施例中，融合单元1004，还用于确定第三图像和第五图像之间的融合区域的图像掩码；根据图像掩码，确定权重金字塔；从权重金字塔中，确定第一拉普拉斯金字塔和第二拉普拉斯金字塔各个图像层对应的权重层；确定权重金字塔的第一权重层为第一高斯金字塔和第二高斯金字塔的第一图像层对应的权重层；其中，权重层包括对应图像层的各个像素点的权重值。
本申请实施例提供的技术方案，只需要一个摄像头在不同曝光参数下分别采集多帧第一图像和单帧第二图像，并且根据目标变焦倍率对图像进行变焦处理，使得相机可以在任一变焦倍率下实现HDR拍照，且只需调用一颗摄像头，能够降低HDR拍照的功耗，便于在移动终端上实现。
实际应用中，上述装置可以是终端设备，也可以是应用于终端设备的芯片。在本申请中，该装置可以通过或软件、或硬件、或软件与硬件相结合的方式，实现多个单元的功能，使该装置可以执行如上述任一实施例所提供的图像处理方法。且该装置的各技术方案的技术效果可以参考图像处理方法中相应的技术方案的技术效果，本申请对此不再一一赘述。
本申请中描述的终端设备可以包括诸如手机、平板电脑、相机、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(PortableMedia Player，PMP)、可穿戴设备、智能手环等。
基于上述图像处理装置中各单元的硬件实现，本申请实施例还提供了一种图像处理设备，如图11所示，该图像处理设备110包括：处理器1101和配置为存储能够在处理器上运行的计算机程序的存储器1102；
其中，处理器1101配置为运行计算机程序时，执行前述实施例中的方法步骤。
当然，实际应用时，如图11所示，该图像处理设备110中的各个组件通过总线系统1103耦合在一起。可理解，总线系统1103用于实现这些组件之间的连接通信。总线系统1103除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图中将各种总线都标为总线系统1103。
在实际应用中，上述处理器可以为特定用途集成电路(ASIC，ApplicationSpecific Integrated Circuit)、数字信号处理装置(DSPD，Digital Signal ProcessingDevice)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
可选地，图像处理设备可以为一种芯片，该芯片还可以包括输入接口。其中，处理器可以控制该输入接口与其他设备或芯片进行通信，具体地，可以获取其他设备或芯片发送的信息或数据。
可选地，该芯片还可以包括输出接口。其中，处理器可以控制该输出接口与其他设备或芯片进行通信，具体地，可以向其他设备或芯片输出信息或数据。
可选地，该芯片可应用于本申请实施例中的终端设备，并且该芯片可以实现本申请实施例的各个方法中由终端设备实现的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由图像处理设备的处理器执行，以完成前述方法的步骤。
本申请实施例还提供了一种计算机程序产品，包括计算机程序指令。
可选的，该计算机程序产品可应用于本申请实施例中的图像处理设备，并且该计算机程序指令使得计算机执行本申请实施例的各个方法中由图像处理设备实现的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供了一种计算机程序。
可选的，该计算机程序可应用于本申请实施例中的图像处理设备，当该计算机程序在计算机上运行时，使得计算机执行本申请实施例的各个方法中由图像处理设备实现的相应流程，为了简洁，在此不再赘述。
应当理解，在本申请实施例中，涉及到用户信息等相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
应当理解，在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本申请中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (17)
1.一种图像处理方法，其特征在于，所述方法包括：
获取目标摄像头在第一曝光参数下拍摄到的多帧第一图像；
获取所述目标摄像头在第二曝光参数下拍摄到的第二图像；
根据所述目标摄像头的目标变焦倍率和所述多帧第一图像，得到第三图像；
根据所述目标变焦倍率和所述第二图像，得到第四图像；
对所述第三图像和所述第四图像进行融合，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述目标摄像头针对当前拍摄场景进行拍摄时的所述第一曝光参数；
对所述第一曝光参数进行负补偿，得到所述第二曝光参数。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标摄像头的目标变焦倍率和所述多帧第一图像，得到第三图像，包括：
根据所述目标变焦倍率对所述多帧第一图像进行裁剪，得到变焦后的多帧第一图像；
基于多帧超分辨率算法对所述变焦后的多帧第一图像进行重建，得到所述第三图像；
所述根据所述目标变焦倍率和所述第二图像，得到第四图像，包括：
根据所述目标变焦倍率对所述第二图像进行裁剪，得到变焦后的第二图像；
基于单帧超分辨率算法对所述变焦后的第二图像根据进行重建，得到所述第四图像。
4.根据权利要求3所述的方法，其特征在于，所述多帧超分辨率算法，包括：
基于预设的图像质量评价指标，从多帧第一图像中选取一帧参考图像；
根据所述参考图像对所述多帧第一图像中的第一非参考图像进行图像配准，得到与所述参考图像匹配的第二非参考图像；
对所述第二非参考图像进行噪声估计，确定所述第二非参考图像的噪声级别特征图；
根据所述噪声级别特征图对所述参考图像和所述第二非参考图像进行融合，得到融合图像；
对所述融合图像进行上采样，得到所述第三图像。
5.根据权利要求4所述的方法，其特征在于，所述图像质量评价指标包括锐度参考值；
所述基于预设的图像质量评价指标，从多帧第一图像中选取参考图像，包括：
获取所述第一图像中第一像素点的灰度值，以及所述第一像素点的第一参考像素点的第二灰度值；
计算所述第一灰度值和所述第二灰度值的灰度差平方值；
根据所述第一图像中所有像素点对应的灰度差平方值，得到所述第一图像的锐度参考值；
选取最大锐度参考值对应的第一图像作为所述参考图像。
6.根据权利要求4所述的方法，其特征在于，所述根据所述参考图像对所述多帧第一图像中的第一非参考图像进行图像配准，得到与所述参考图像匹配的第二非参考图像，包括：
对所述参考图像和第一非参考图像进行特征点检测，确定所述参考图像的特征点和所述第一非参考图像的特征点；
基于正向光流估计算法，确定所述参考图像的特征点在所述第一非参考图像中的估计点；
根据所述第一非参考图像的特征点和估计点之间的距离参考值，剔除所述第一非参考图像中距离参考值大于距离阈值的第一特征点，得到所述第一非参考图像的第二特征点；
基于反向光流估计算法，确定所述第一非参考图像的第二特征点在所述参考图像中的估计点；
根据所述参考图像的特征点和估计点之间的距离参考值，剔除所述参考图像中距离参考值大于距离阈值的第一特征点，得到所述参考图像的第二特征点；
根据所述参考图像的第二特征点和所述第一非参考图像的第二特征点，对所述第一非参考图像进行仿射变换，得到所述第二非参考图像。
7.根据权利要求6所述的方法，其特征在于，所述对所述参考图像和第一非参考图像进行特征点检测，确定所述参考图像的特征点和所述第一非参考图像的特征点，包括：
分别对所述参考图像和所述第一非参考图像进行下采样，确定图像尺寸小于尺寸阈值的第一图像层和第二图像层；
基于第一特征点检测算法对所述第一图像层和第二图像层进行特征点检测，确定第一图像层的特征点和第二图像层的特征点；
根据所述第一图像层的特征点，确定所述参考图像的特征点；
根据所述第二图像层的特征点，确定所述第一非参考图像的特征点。
8.根据权利要求4所述的方法，其特征在于，所述对所述第二非参考图像进行噪声估计，确定所述第二非参考图像的噪声级别特征图，包括：
根据所述参考图像中采样点的灰度值和所述第二非参考图像中采样点的灰度值，确定所述第二非参考图像相对于所述参考图像的噪声差异；
对所有第二非参考图像的噪声差异进行排序，根据噪声差异中值确定所有第二非参考图像的噪声级别；
根据所述噪声级别，以及所述参考图像与所述第二非参考图像中每个像素点的灰度差绝对值，确定所述第二非参考图像中每个像素点的第一特征值；
根据所述第二非参考图像中每个像素点的第一特征值，得到所述第二非参考图像的噪声级别特征图。
9.根据权利要求8所述的方法，其特征在于，所述根据所述参考图像中采样点的灰度值和所述第二非参考图像中采样点的灰度值，确定所述第二非参考图像相对于所述参考图像的噪声差异，包括：
将所述参考图像和所述第二非参考图像划分为多个采样单元；
计算所述参考图像的每个采样单元中多个采样点的灰度值之和，得到所述参考图像的每个采样单元的采样值；
计算所述第二非参考图像的每个采样单元中多个采样点的灰度值之和，得到所述第二非参考图像的每个采样单元的采样值；
计算所述参考图像与所述第二非参考图像中对应采样单元的采样值之差的绝对值，得到每个采样单元的噪声差异；
所有采样单元的噪声差异进行累加，得到所述第二非参考图像相对于所述参考图像的噪声差异。
10.根据权利要求8所述的方法，其特征在于，所述根据所述第二非参考图像中每个像素点的第一特征值，得到所述第二非参考图像的噪声级别特征图，包括：
对所述第二非参考图像中每个像素点的第一特征值进行平滑操作，得到所述第二非参考图像中每个像素点的第二特征值；
根据特征阈值对所述第二非参考图像中每个像素点的第二特征值进行二值化操作，得到所述第二非参考图像的噪声级别特征图。
11.根据权利要求1所述的方法，其特征在于，所述对所述第三图像和所述第四图像进行融合，得到目标图像，包括：
根据所述第三图像对所述第四图像进行图像配准，得到与所述第三图像匹配的第五图像；
基于图像金字塔融合算法对所述第三图像和所述第五图像进行融合，得到所述目标图像。
12.根据权利要求11所述的方法，其特征在于，所述根据所述第三图像对所述第四图像进行图像配准，得到与所述第三图像匹配的第五图像，包括：
对所述第三图像和所述第四图像进行特征点检测，确定所述第三图像的特征点和所述第四图像的特征点；
剔除所述第三图像和所述第四图像中位于过曝区域和边缘区域的第三特征点，得到所述第三图像的第四特征点和所述第四图像的第四特征点；
根据所述第三图像的第四特征点和所述第四图像的第四特征点，对所述第四图像进行仿射变换，得到所述第五图像。
13.根据权利要求11所述的方法，其特征在于，所述基于图像金字塔融合算法对所述第三图像和所述第五图像进行融合，得到所述目标图像，包括：
根据所述第三图像，确定第一高斯金字塔和第一拉普拉斯金字塔；
根据所述第五图像，确定第二高斯金字塔和第二拉普拉斯金字塔；
对所述第一拉普拉斯金字塔和所述第二拉普拉斯金字塔进行加权融合，得到混合拉普拉斯金字塔；
对所述第一高斯金字塔和所述第二高斯金字塔的第一图像层进行加权融合，得到图像融合起始层；
根据所述图像融合起始层和所述混合拉普拉斯金字塔，确定所述目标图像。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
确定所述第三图像和所述第五图像之间的融合区域的图像掩码；
根据所述图像掩码，确定权重金字塔；
从所述权重金字塔中，确定所述第一拉普拉斯金字塔和所述第二拉普拉斯金字塔各个图像层对应的权重层；
确定所述权重金字塔的第一权重层为所述第一高斯金字塔和所述第二高斯金字塔的第一图像层对应的权重层；
其中，所述权重层包括对应图像层的各个像素点的权重值。
15.一种图像处理装置，其特征在于，所述装置包括：
获取单元，用于获取目标摄像头在第一曝光参数下拍摄到的多帧第一图像；
所述获取单元，还用于获取所述目标摄像头在第二曝光参数下拍摄到的第二图像；
第一处理单元，用于根据所述目标摄像头的目标变焦倍率和所述多帧第一图像，得到第三图像；
第二处理单元，用于根据所述目标变焦倍率和所述第二图像，得到第四图像；
融合单元，用于对所述第三图像和所述第四图像进行融合，得到目标图像。
16.一种图像处理设备，其特征在于，所述设备包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至14任一项所述方法的步骤。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至14任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311581465.6A CN117641135A (zh) | 2023-11-23 | 2023-11-23 | 一种图像处理方法及装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311581465.6A CN117641135A (zh) | 2023-11-23 | 2023-11-23 | 一种图像处理方法及装置、设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117641135A true CN117641135A (zh) | 2024-03-01 |
Family
ID=90019214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311581465.6A Pending CN117641135A (zh) | 2023-11-23 | 2023-11-23 | 一种图像处理方法及装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117641135A (zh) |
-
2023
- 2023-11-23 CN CN202311581465.6A patent/CN117641135A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428366B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110276767B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| EP3937481A1 (en) | Image display method and device | |
| CN108694705B (zh) | 一种多帧图像配准与融合去噪的方法 | |
| JP6159298B2 (ja) | 複数スケールの規格化された相互相関を用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法 | |
| US9779491B2 (en) | Algorithm and device for image processing | |
| CN113992861B (zh) | 一种图像处理方法及图像处理装置 | |
| CN110473185B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| EP1924966B1 (en) | Adaptive exposure control | |
| EP2489007B1 (en) | Image deblurring using a spatial image prior | |
| KR101662846B1 (ko) | 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법 | |
| EP2987134B1 (en) | Generation of ghost-free high dynamic range images | |
| US8947501B2 (en) | Scene enhancements in off-center peripheral regions for nonlinear lens geometries | |
| CN109767413B (zh) | 一种抗运动伪影的hdr方法、装置及便携式终端 | |
| CN110661977B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
| CN110349163B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| JP2009506688A (ja) | 画像分割方法および画像分割システム | |
| CN111028170B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| An et al. | Single-shot high dynamic range imaging via deep convolutional neural network | |
| Chang et al. | Beyond camera motion blur removing: How to handle outliers in deblurring | |
| US9466007B2 (en) | Method and device for image processing | |
| CN113793257A (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质 | |
| CN111083359B (zh) | 图像处理方法及其装置、电子设备和计算机可读存储介质 | |
| CN110992284A (zh) | 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 | |
| CN117641135A (zh) | 一种图像处理方法及装置、设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |