CN111563552A - 图像融合方法以及相关设备、装置 - Google Patents
图像融合方法以及相关设备、装置 Download PDFInfo
- Publication number
- CN111563552A CN111563552A CN202010374258.3A CN202010374258A CN111563552A CN 111563552 A CN111563552 A CN 111563552A CN 202010374258 A CN202010374258 A CN 202010374258A CN 111563552 A CN111563552 A CN 111563552A
- Authority
- CN
- China
- Prior art keywords
- weight
- pixel point
- preset
- region
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像融合方法以及相关设备、装置。图像融合方法包括：获取待融合的原始广角图像和原始长焦图像；按照预设比例调整原始广角图像，得到调整广角图像；将原始长焦图像匹配至调整广角图像中的部分区域，并利用部分区域确定调整广角图像中的待融合区域；利用第一预设权值、第二预设权值分别对待融合区域中第一像素点的像素值、原始长焦图像中与第一像素点匹配的第二像素点的像素值进行加权处理，得到最终融合图像中与第一像素点对应的第三像素点的像素值；且越远离待融合区域的中心位置的第一像素点，对应的第一预设权值越大，第二预设权值与第一预设权值为负相关关系。上述方案，能够得到大视野且远距离具有高清晰度的高质量图像。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像融合方法以及相关设备、装置。
背景技术
随着信息技术的发展以及电子技术的提高，人们对于图像的要求也越来越高。一方面要求图像具有更大的视野范围，另一方面要求图像具有更高的清晰度。以交通监控场景为例，实际应用中，通常有更远距离的车辆抓拍和更大场景的车道抓拍需求。然而，若只抓拍远距离图像，则会丢失大场景的视野区域；反之，若只抓怕大场景图像，则会使得远距离区域变得模糊。有鉴于此，如何得到大视野且远距离具有高清晰度的高质量图像成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种图像融合方法以及相关设备、装置，能够得到大视野且远距离具有高清晰度的高质量图像。
为了解决上述问题，本申请第一方面提供了一种图像融合方法，包括：获取待融合的原始广角图像和原始长焦图像；按照一预设比例调整原始广角图像，得到一调整广角图像；将原始长焦图像匹配至调整广角图像中的部分区域，并利用部分区域确定调整广角图像中的待融合区域；利用第一预设权值、第二预设权值分别对待融合区域中第一像素点的像素值、原始长焦图像中与第一像素点匹配的第二像素点的像素值进行加权处理，得到最终融合图像中与第一像素点对应的第三像素点的像素值；其中，越远离待融合区域的中心位置的第一像素点，对应的第一预设权值越大，且第二预设权值与第一预设权值为负相关关系。
为了解决上述问题，本申请第二方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的图像融合方法。
为了解决上述问题，本申请第三方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于上述第一方面中的图像融合方法。
上述方案，通过获取原始广角图像和原始长焦图像，并按照一预设比例调整原始广角图像，得到一调整广角图像，从而将原始长焦图像匹配至调整广角图像中的部分区域，并利用部分区域确定调整广角图像中的待融合区域，进而利用第一预设权值、第二预设权值分别对待融合区域中的第一像素点的像素值、原始长焦图像中与第一像素点匹配的第二像素点的像素值进行加权处理，得到最终融合图像中与第一像素点对应的第三像素点的像素值，且越远离待融合区域的中心位置的第一像素点，对应的第一预设权值越大，第二预设权值与第一预设权值为负相关关系，故在最终融合图像中，越靠近待融合区域的中心位置的像素点越依赖于长焦图像，从而能够有利于保留原始长焦图像的远距离具有高清晰度这一特性，而越远离待融合区域的中心位置的像素点越依赖于广角图像，从而能够有利于在保留广角图像的大视野这一特性的同时，使得待融合区域边缘平滑过渡，提高最终融合图像的质量。故此，能够得到大视野且远距离具有高清晰度的高质量图像。
附图说明
图1是本申请图像融合方法一实施例的流程示意图；
图2是原始广角图像一实施例的示意图；
图3是原始长焦图像一实施例的示意图；
图4是将原始长焦图像匹配至调整广角图像中的部分区域一实施例的示意图；
图5是待融合区域中第一像素点逆映射至原始长焦图像一实施例的示意图；
图6是最终融合图像一实施例的示意图；
图7是亮度融合一实施例的流程示意图；
图8是待融合区域一实施例的示意图；
图9是待融合区域另一实施例的示意图；
图10是细节融合一实施例的流程示意图；
图11是本申请图像融合装置一实施例的框架示意图；
图12是本申请电子设备一实施例的框架示意图；
图13是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像融合方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取待融合的原始广角图像和原始长焦图像。
具体地，原始广角图像可以由广角镜头拍摄得到，原始长焦图像可以由长焦镜头拍摄得到。广角镜头的焦距可以在40mm以下，例如，焦距可以在17mm～35mm的区间范围内，长焦镜头的焦距可以在60mm以上，例如，焦距可以在60mm～400mm的区间范围内，故广角镜头具有短焦距、宽视角的特点，而长焦镜头具有长焦距、窄视角，且适合拍摄远距离处的对象。
请结合参阅图2和图3，图2是原始广角图像一实施例的示意图，图3是原始长焦图像一实施例的示意图，如图2和图3所示，原始广角图像相较于原始长焦图像具有更宽的视野，而原始长焦图像相对于原始广角图像具有更好的远距离对象成像效果。图2和图3所示仅仅是交通监控场景中可能的广角图像和长焦图像，原始广角图像和原始长焦图像可以是在其他场景拍摄得到的图像，例如，人物摄像场景、风景摄像场景等等，在此不做限定。
在一个实施场景中，可以获取长焦镜头采集得到的原始长焦信息和广角镜头采集得到的原始广角信息，并对原始长焦信息和原始广角信息分别经过去马赛克处理、宽动态处理、白平衡处理、降噪处理、伽马亮度调整等前置图像处理，得到原始长焦图像和原始广角图像。为了便于后续处理，原始长焦图像和原始广角图像可以为以YUV编码的图像数据，其每个像素点的像素值均包含亮度值Y和色彩值UV。
在一个实施场景中，为了提高后续图像匹配的成功率，原始广角图像和原始长焦图像具体可以是对同一场景在同一时刻分别拍摄得到的；或者，也可以是对同一场景在间隔较近的不同时刻分别拍摄得到的，例如，可以是对同一场景在间隔0.001秒、0.002秒等不同时刻分别拍摄得到的，具体的间隔时间可以根据不同场景具体设置，例如，相对于动态场景，静态场景的间隔时间可以设置地稍大一些，反之，相对于静态场景，动态场景的间隔时间可以设置地稍小一些，具体数值可以根据实际情况进行设置，在此不做限定。在一个具体的实施场景中，原始长焦图像和原始广角图像可以分别由独立的长焦摄像器件和广角摄像器件拍摄得到；在另一个具体的实施场景中，原始长焦图像和原始广角图像可以由集成有长焦镜头和广角镜头的双目摄像机拍摄得到，在此不做限定。
步骤S12：按照一预设比例调整原始广角图像，得到一调整广角图像。
预设比例具体可以根据拍摄原始长焦图像和拍摄原始广角图像所采用的焦距、最终融合图像的输出分辨率等因素确定。例如，原始广角图像和原始长焦图像均为2K分辨率，而业务需要最终融合图像的输出分辨率为4K分辨率，则可以将原始广角图像的长和宽各放大一倍，其他场景可以以此类推，在此不再一一举例。
具体的调整方式可以包括但不限于：最邻近差值法、双线性插值法、双三次差值法、超分辨率差值法，在此不做限定。
步骤S13：将原始长焦图像匹配至调整广角图像中的部分区域，并利用部分区域确定调整广角图像中的待融合区域。
具体地，可以以调整广角图像为基底，将原始长焦图像和调整广角图像进行匹配。在一个实施场景中，具体可以采用特征点法、光流法、卷积神经网络等方式进行图像匹配，在此不做限定。例如，在利用特征点法进行匹配时，可以在调整广角图像和原始长焦图像中分别提取特征点(如，纹理丰富的边缘点等)，并利用梯度直方图、局部随机二值特征等数学特征对特征点进行描述，从而通过对各个特征点的数学特征描述来确定原始长焦图像和调整广角图像之间的映射关系；或者，在利用光流法进行匹配时，可以分别提取调整广角图像和原始长焦图像中的光流信息，并基于两者的光流信息的相似性，确定原始长焦图像和调整广角图像之间的映射关系；或者，在利用卷积神经网络进行图像匹配时，可以利用卷积神经网络估计调整广角图像和原始长焦图像之间的相似性度量，并进行迭代优化，从而得到原始长焦图像和调整广角图像之间的映射关系，或者还可以利用卷积神经网络直接预测得到调整广角图像和原始长焦图像之间的映射关系，在此不做限定。
在一个实施场景中，利用诸如特征点法、光流法、卷积神经网络等预设图像匹配方式将原始长焦图像匹配至调整广角图像后，能够得到一映射关系，从而可以利用映射关系将原始长焦图像顶点映射至调整广角图像，得到顶点在调整广角图像中的目标位置，进而利用顶点在调整广角图像中的目标位置，确定原始长焦图像在调整广角图像中所匹配的部分区域，并将部分区域朝远离其中心的方向拓宽预设数量个像素，进而将拓宽后的部分区域作为待融合区域。故此，能够为后续的融合处理预留更多的融合空间，从而能够有利于提升图像融合效果，进而能够有利于提升最终融合图像的图像质量。
请结合参阅图4，图4是将原始长焦图像匹配至调整广角图像中的部分区域一实施例的示意图。为了便于描述，将映射关系表示为Tform，具体地，映射关系Tform可以为一矩阵(如，3*3的矩阵)。如图4所示，原始长焦图像的顶点的坐标位置分别为(0,0)、(long_w-1,0)、(0,long_h-1)、(long_w-1,long_h-1)，long_w和long_h分别表示原始长焦图像的宽度和高度。故可以利用映射关系Tform将上述坐标位置映射至调整广角图像中，分别得到顶点在调整广角图像中的目标位置：(bx0,by0)、(bx1,by1)、(bx2,by2)、(bx3,by3)。映射关系Tform表示的是原始长焦图像至调整广角图像的映射关系，故将原始长焦图像的顶点映射至调整广角图像的映射过程可以称之为正映射，反之则可以称之为逆映射。具体地，可以采用下式进行映射，得到顶点在调整广角图像中的目标位置：
w＝x·t11+y·t21+t31
u＝x·t12+y·t22+t32
z＝x·t13+y·t23+t33
(tx,ty)＝(w./z,u./z)
上式中，(x,y)表示顶点在原始长焦图像中的坐标位置，(w,u,z)表示中间计算结果，(tx,ty)表示顶点映射至调整广角图像中的目标位置，矩阵
表示映射关系Tform。
请继续结合参阅图4，在一个实施场景中，可以将顺序连接目标位置所形成的区域，作为部分区域，例如，可以将图4中顺序连接目标位置(bx0,by0)、(bx1,by1)、(bx2,by2)、(bx3,by3)所形成的区域作为部分区域。在另一个实施场景中，还可以利用经过各个目标位置的水平线和垂直线围成多个区域，在多个区域中选择包含目标位置的最小区域，作为部分区域，例如，可以将图4中经过目标位置(bx0,by0)、(bx1,by1)、(bx2,by2)、(bx3,by3)的水平线和垂直线所围成的虚线区域，作为部分区域。此外，朝远离部分区域的中心的方向拓展的预设数量个像素，可以是4的整数倍个像素，例如32个像素，在此不做限定。
步骤S14：利用第一预设权值、第二预设权值分别对待融合区域中第一像素点的像素值、原始长焦图像中与第一像素点匹配的第二像素点的像素值进行加权处理，得到最终融合图像中与第一像素点对应的第三像素点的像素值。
具体地，可以利用原始长焦图像至调整广角图像之间的映射关系，将位于调整广角图像待融合区域中的第一像素点逆映射至原始长焦图像，确定原始长焦图像中与第一像素点匹配的第二像素点。请结合参阅图5，图5是待融合区域中第一像素点逆映射至原始长焦图像一实施例的示意图。如图5所示，虚线所示为待融合区域，(nbx0,nby0)、(nbx1,nby1)、(nbx2,nby2)、(nbx3,nby3)分别为待融合区域的顶点，通过下式可以确定原始长焦图像中与第一像素点匹配的第二像素点：
w＝x·t′11+y·t′21+t′31
u＝x·t′12+y·t′22+t′32
z＝x·t′13+y·t′23+t′33
(tx,ty)＝(w./z,u./z)
上式中，(x,y)表示待融合区域中的第一像素点的位置坐标，(w,u,z)表示中间计算结果，(tx,ty)表示原始长焦图像中与第一像素点匹配的第二像素点的位置坐标，
表示映射关系Tform的逆。
此外，上述第二像素点的位置坐标即为图5所示的(txm,tyn)，其中，m和n的取值范围可以根据待融合区域的宽度和高度确定，例如，待融合区域的宽度为wm时，m的取值范围为0～wm；待融合区域的高度为wn时，n的取值范围为0～wn。在一个具体的实施场景中，请结合参阅图5，位于待融合区域(即图5虚线矩形)内且在部分区域(即图5平行四边形)外的第一像素点的位置坐标逆映射后所得到的位置坐标(txm,tyn)还可能出现小于0的情况，可以对逆映射得到的第二像素点的位置坐标(txm,tyn)中小于0的坐标重置为0。在另一个具体的实施场景中，请继续结合参阅图4和图5，位于待融合区域(即图5虚线矩形)内且在部分区域(即图5平行四边形)外的第一像素点的位置坐标逆映射后所得到的位置坐标(txm,tyn)还可能出现txm大于long_w-1的情况，可以将txm重置为long_w-1，或者，还可能出现tyn大于long_h-1的情况，可以将tyn重置为long_h-1，或者，还可能同时出现txm大于long_w-1与tyn大于long_h-1的情况，可以将txm重置为long_w-1，并将tyn重置为long_h-1。在又一个具体的实施场景中，通过逆映射得到的第二像素点的位置坐标(txm,tyn)可能出现小数坐标，故为了确定第二像素点的位置坐标(txm,tyn)所对应的像素值，可以对逆映射得到的第二像素点的位置坐标(txm,tyn)进行插值计算。具体地，插值计算的方式可以包括但不限于：最邻近插值法、双线性插值法、双三次插值法、超分辨率插值法，在此不做限定。
为了提高融合效果，越远离待融合区域的中心位置的第一像素点，对应的第一预设权值可以设置地越大，且第二预设权值与第一预设权值为负相关关系。例如，当第一预设权值的取值范围为0～255时，第二预设权值可以采用255减去第一预设权值计算得到；或者，类似地，当第二预设权值的取值范围为0～255时，第一预设权值可以采用255减去第二预设权值得到，在此不做限定。
在一个实施场景中，像素值可以包括亮度值，例如，当采用YUV编码方式时，像素值可以包括亮度值Y，故为了提高亮度融合效果，可以利用第一预设亮度权值、第二预设亮度权值分别对第一像素点的亮度值和第二像素点的亮度值进行加权处理，从而得到最终融合图像中第三像素点的亮度值，且越远离待融合区域的中心位置的第一像素点，对应的第一预设亮度权值可以设置地越大，第二预设亮度权值与第一预设亮度权值为负相关关系。例如，当第一预设亮度权值的取值范围为0～255时，第二预设亮度权值可以采用255减去第一预设亮度权值计算得到；或者，类似地，当第二预设亮度权值的取值范围为0～255时，第一预设亮度权值可以采用255减去第二预设亮度权值计算得到，在此不做限定。
在另一个实施场景中，为了进一步提升亮度融合效果，还可以对由第一像素点的亮度值构成的图像数据进行分解，得到广角亮度数据和广角细节数据，并对由第二像素点的亮度值构成的图像数据进行分解，得到长焦亮度数据和长焦细节数据，从而利用第一预设细节权值、第二预设细节权值分别对广角细节数据、长焦细节数据进行加权处理，得到融合细节数据，实现细节融合，此外，还可以利用第一预设亮度权值、第二预设亮度权值分别对广角亮度数据、长焦亮度数据进行加权处理，得到融合亮度数据，从而将融合亮度数据和融合细节数据进行重构处理，得到包含第三像素点亮度值的图像数据。在一个具体的实施场景中，可以采用高斯金字塔、拉普拉斯金字塔、小波金字塔、导向滤波金字塔等方式进行分解，在此不做限定。在另一个具体的实施场景中，第一预设细节权值、第二预设细节权值可以根据每一像素点附近亮度值的离散程度确定，例如，亮度值越离散，对应的细节权值越大，在此不做限定。
在又一个实施场景中，像素值可以包括色彩值UV，例如，当采用YUV编码方式时，像素值可以包括色彩值UV，故为了提高色彩融合效果，可以利用第一预设色彩权值、第二预设色彩权值分别对第一像素点的色彩值、第二像素点的色彩值进行加权处理，得到最终融合图像中第三像素点的色彩值，且越远离待融合区域的中心位置的第一像素点，对应的第一预设色彩权值可以设置地越大，且第二预设色彩权值随第一预设色彩权值的增大而减小。例如，第一预设色彩权值的取值范围设置为0～255时，第二预设色彩权值可以采用255减去第一预设色彩权值得到；或者，第二预设色彩权值的取值范围设置为0～255时，第一预设色彩权值可以采用255减去第二预设色彩权值得到，在此不做限定。
在又一个实施场景中，在融合过程中，可以仅执行上述亮度融合步骤；或者，还可以执行上述亮度融合和色彩融合的步骤，从而使得最终融合图像在待融合区域既实现亮度的平滑过渡，又实现色彩的平滑过程；或者，还可以执行上述亮度融合和细节融合的步骤，从而进一步提高最终融合图像在待融合区域在亮度通道的细节表现；或者，还可以执行上述亮度融合、细节融合和色彩融合的步骤，从而使得最终融合图像在待融合区域的亮度和色彩通道均能够平滑过渡，且提高在亮度通道的细节表现，在此不做限定。
在又一个实施场景中，可以将调整广角图像中位于待融合区域之外的第四像素点的像素值作为最终融合图像中与第四像素点对应的第五像素点的像素值。故此，在调整广角图像的待融合区域内的像素点的像素值为利用调整广角图像和原始长焦图像融合得到，而在调整广角图像的待融合外的像素点的像素值直接采用调整广角图像的第四像素点的像素值，能够降低图像融合的运算量，且能够进一步确保待融合区域内外的平滑过渡。请结合参阅图6，图6是最终融合图像一实施例的示意图，图6是利用上述步骤将图2所示的广角图像和图3所示的长焦图像融合得到的最终融合图像，如图6所示，通过上述步骤将图2所示的广角图像和图3所示的长焦图像融合之后所得到的最终融合图像能够保持图像整体自然、平滑。
上述方案，通过获取原始广角图像和原始长焦图像，并按照一预设比例调整原始广角图像，得到一调整广角图像，从而将原始长焦图像匹配至调整广角图像中的部分区域，并利用部分区域确定调整广角图像中的待融合区域，进而利用第一预设权值、第二预设权值分别对待融合区域中的第一像素点的像素值、原始长焦图像中与第一像素点匹配的第二像素点的像素值进行加权处理，得到最终融合图像中与第一像素点对应的第三像素点的像素值，且越远离待融合区域的中心位置的第一像素点，对应的第一预设权值越大，第二预设权值与第一预设权值为负相关关系，故在最终融合图像中，越靠近待融合区域的中心位置的像素点越依赖于长焦图像，从而能够有利于保留原始长焦图像的远距离具有高清晰度这一特性，而越远离待融合区域的中心位置的像素点越依赖于广角图像，从而能够有利于在保留广角图像的大视野这一特性的同时，使得待融合区域边缘平滑过渡，提高最终融合图像的质量。故此，能够得到大视野且远距离具有高清晰度的高质量图像。
下面分别从亮度融合、细节融合、色彩融合三方面，说明本申请图像融合方法。
请结合参阅图7，图7是亮度融合一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S71：将待融合区域划分为包含中心位置的第一区域和包围中心位置的第二区域。
请结合参阅图8，图8是待融合区域一实施例的示意图。如图8所示，实线矩形表示待融合区域，采用如图8所示的虚线矩形将待融合区域换分为包含中心位置的第一区域，即虚线矩形内的区域，以及包围中心位置的第二区域，即实线矩形和虚线矩形之间的区域。在一个实施场景中，待融合区域也可以是其他形状，例如，梯形、平行四边形等，在此不做限定。在另一个实施场景中，还可以采用其他形状将待融合区域划分为第一区域和第二区域，例如，还可以采用平行四边形、圆形、梯形等，在此不做限定。
此外，还可以按照i行j列的方式划分待融合区域，并将位于i行j列中心的至少一个区域作为第一区域，其他区域作为第二区域，具体地，i和j可以均设置为大于或等于3的整数。例如，按照4行4列的方式划分待融合区域，将位于4行4列中第2行第2列、第2行第3列、第3行第2列、第3行第3列的区域统一作为包含中心位置的第一区域，其他区域作为包围中心位置的第二区域，当采用其他划分方式时，可以以此类推，在此不再一一举例。
请参阅图9，图9是待融合区域另一实施例的示意图。如图9所示，可以将待融合区域划分为3行3列，故按照3行3列的方式划分待融合区域，得到九个子区域。具体地，利用待融合区域上边界距上边界第一边距的第一划分线、平行于待融合区域下边界且距下边界第二边距的第二划分线、平行于待融合区域左边界且距左边界第三边距的第三划分线，以及平行于待融合区域右边界且距右边界第四边距的第四划分线，将待融合区域划分为九个子区域。第一边距、第二边距、第三边距和第四边距的具体数值可以根据实际情况进行设置，例如，可以将第一边距、第二边距、第三边距和第四边距设置为相同的数值，如128个像素；或者，根据需要，还可以将第一边距、第二边距、第三边距和第四边距设置为不同的数值，在此不做限定。
步骤S72：将与第一区域中的第一像素点匹配的第二像素点的第二预设亮度权值设置为第一常数值。
在一个实施场景，请继续参阅图8，可以将虚线矩形内的第一区域中的第一像素点匹配的第二像素点的第二预设亮度权值统一设置为第一常数值(如，255)。在另一个实施场景中，当按照i行j列划分待融合区域时，可以将第一区域中的第一像素点匹配的第二像素点的第二预设亮度权值设置为第一常数值(如，255)。在又一个实施场景中，请继续参阅图9，可以将图9中虚线包围的矩形区域作为第一区域，并将与位于该区域中的第一像素点匹配的第二像素点的第二预设亮度权值设置为第一常数值(如，255)。当采用其他方式划分待融合区域时，可以以此类推，在此不再一一举例。
步骤S73：基于与第二区域中的第一像素点到第一区域与第二区域之间边界的像素距离，确定与第一像素点匹配的第二像素点的第二预设亮度权值，且第一常数值减去第二预设亮度权值的差值与像素距离为正相关关系。
请继续结合参阅图8，可以基于虚线矩形与实线矩形之间的第二区域中的第一像素点到虚线的像素距离，确定与第一像素点匹配的第二像素点的第二预设亮度权值，且若第一像素点越远离虚线矩形，其第一预设亮度权值越大，且与其匹配的第二像素点的第二预设亮度权值越小。在一个具体的实施场景中，第二预设亮度权值的数值范围可以设置为0～255，第一常数值为255，利用255减去第二预设亮度权值可以计算得到第一预设亮度权值。
在一个实施场景中，待融合区域被划分为i行j列，且位于i行j列中心的至少一个区域为第一区域，其他区域为第二区域。故此，若第二区域与第一区域存在公共边，则可以基于第一像素点到公共边之间的第一像素距离，确定与第一像素点匹配的第二像素点的第二预设亮度权值，且第一像素距离越大，与第一像素点匹配的第二像素点的第二预设亮度权值越小，具体地，第一常数值减去第二预设亮度权值与第一像素距离为正相关关系，在一个具体的实施场景中，可以将第一常数值减去第二预设亮度权值的差值，作为第一预设亮度权值；而若第二区域与第一区域不存在公共边且存在共用顶点，则可以基于第一像素点到共用顶点之间的第二像素距离，确定与第一像素点匹配的第二像素点的第二预设亮度权值，且第二像素距离越大，与第一像素点匹配的第二像素点的第二预设亮度权值越小，具体地，第一常数值减去第二预设亮度权值与第一像素距离为正相关关系，在一个具体的实施场景中，可以将第一常数值减去第二预设亮度权值的差值，作为第一预设亮度权值。第一常数值的具体数值可以设置为255，具体可以根据实际情况进行设置，在此不做限定。
请结合参阅图9，如图9所示，待融合区域被第一划分线、第二划分线、第三划分线和第四划分线划分为九个子区域，从而可以将位于中间的子区域中的第一像素点匹配的第二像素点的第二预设亮度权值设置为第一常数值(例如，255)，并分别确定其他子区域中第一像素点匹配的第二像素点的第二预设亮度权值。在一个实施场景中，可以在确定第二预设亮度权值之前，可以先确定少量基础的子权值，从而可以直接利用不同子权值的组合，确定第二预设亮度权值。
具体地，可以将第一像素点到待融合区域的左边界的距离与第三边距的比值与第一常数值的乘积，作为第一子权值，为了便于描述，可以将第一子权值表示为w1；可以将第一像素点到待融合区域的上边界的距离与第一边距的比值与第一常数值的乘积，作为第二子权值，为了便于描述，可以将第二子权值表示为w2；可以将第一常数值，以及第一像素点到第四划分线的距离与第四边距之间比值的差值，作为第三子权值，为了便于描述，可以将第三子权值表示为w3；可以将第一常数值，以及第一像素点到第二划分线的距离与第二边距之间的比值的差值，作为第四子权值，为了便于描述，可以将第四子权值表示为w4。
在确定得到各个子权值之后，可以分别确定图9所示的各个子区域中第一像素点匹配的第二像素点的第二预设亮度权值。在一个具体的实施场景中，若第二区域与第一区域存在公共边，且公共边位于第一划分线上，则将位于该子区域内的第一像素点匹配的第二像素点的第二预设亮度权值设置为第二子权值，即位于图9中标号为1的子区域中的第一像素点匹配的第二像素点的第二预设亮度权值可以设置为第二子权值w2；若第二区域与第一区域存在公共边，且公共边位于第二划分线上，则位于该子区域内的第一像素点匹配的第二像素点的第二预设亮度权值设置为第四子权值，即位于图9中标号为2的子区域中的第一像素点匹配的第二像素点的第二预设亮度权值可以设置为第四子权值w4；若第二区域与第一存在公共边，且公共边位于第三划分线上，则位于该子区域内的第一像素点匹配的第二像素点的第二预设亮度权值设置为第一子权值，即位于图9中标号为3的子区域中的第一像素点匹配的第二像素点的第二预设亮度权值可以设置为第一子权值w1；若第二区域与第一区域存在公共边，且公共边位于第四划分线上，则位于该子区域内的第一像素点匹配的第二像素点的第二预设亮度权值可以设置为第三子权值，即位于图9中标号为4的子区域中的第一像素点匹配的第二像素点的第二预设亮度权值可以设置为第三子权值w3。在另一个具体的实施场景中，若第二区域与第一区域不存在公共边且存在共用顶点，则若该共用顶点为第一划分线和第三划分线之间的交点，可以将第一子权值和第二子权值的乘积与第二常数值的比值作为位于该子区域内的第一像素点匹配的第二像素点的第二预设亮度权值，即位于图9中标号为5的子区域中的第一像素点匹配的第二像素点的第二预设亮度权值可以设置为w1*w2/C2；若该共用顶点为第一划分线和第四划分线的交点，可以将第二子权值和第三子权值的乘积与第二常数值的比值作为位于该子区域内的第一像素点匹配的第二像素点的第二预设亮度权值，即位于图9中标号为6的子区域内的第一像素点匹配的第二像素点的第二预设亮度权值可以设置为w2*w3/C2；若该共用顶点为第二划分线和第三划分线的交点，可以将第一子权值和第四子权值的乘积与第二常数值的比值作为位于该子区域内的第一像素点匹配的第二像素点的第二预设亮度权值，即位于图9中标号为7的子区域内的第一像素点匹配的第二像素点的第二预设亮度权值可以设置为w1*w4/C2；若该共用顶点为第二划分线和第四划分线的交点，可以将第三子权值和第四子权值的乘积与第二常数值的比值作为位于该子区域内的第一像素点匹配的第二像素点的第二预设亮度权值，即位于图9中标号为8的第一像素点匹配的第二像素点的第二预设亮度权值可以设置为w3*w4/C2。其中，第二常数值可以根据第一常数值进行设置，例如，第一常数值为255时，第二常数值可以设置为256。
在一个实施场景中，还可以将原始长焦图像按照与图9类似的方式划分为九个子区域，并利用逆映射得到的第二像素点的位置坐标(txm,tyn)所在的子区域，确定第二像素点的第二预设亮度权值。具体地，第二像素点的位置坐标(txm,tyn)中可能存在小数，故可以对第二像素点的位置坐标(txm,tyn)进行下取整处理，得到校正坐标(txxm,tyyn)。并利用校正坐标(txxm,tyyn)分别确定不同子区域的子权值，例如，标号为1的子区域内，其子权值可以设置为第二像素点的校正坐标(txxm,tyyn)到原始长焦图像的上边界的距离(即tyyn)与标号为1的子区域的宽度之间的比值与第一常数值的乘积；或者，标号为3的子区域内，其子权值可以设置为第二像素点的校正坐标(txxm,tyyn)到原始长焦图像的左边界的距离(即txxm)与标号为3的子区域的长度之间的比值与第一常数值的乘积，以此类推，可以利用第二像素点的校正坐标与原始长焦图像各个子区域之间的位置关系，确定得到第二像素点的第二预设亮度权值。
步骤S74：利用第一预设亮度权值、第二预设亮度权值分别对第一像素点的亮度值、第二像素点的亮度值进行加权处理，得到最终融合图像中第三像素点的亮度值。
通过上述步骤，可以确定位于待融合区域各个部位的第一像素点匹配的第二像素点的第二预设亮度权值，具体地，可以将第一常数值减去第二预设亮度权值的差值，作为对应第一像素点的第一预设亮度权值，例如，当第一常数值为255时，与待融合区域中某第一像素点A匹配的第二像素点B的第二预设亮度权值为lw，则第一像素点A的第一预设亮度权值可以设置为255-lw。
故此，可以通过下式得到最终融合图像中第三像素点的亮度值：
fusion_y＝(long_y*lw+short_y*(C1-lw))/C2
上式中，fusion_y表示最终融合图像中第三像素点的亮度值，short_y表示待融合区域中第一像素点的亮度值，long_y表示与第一像素点匹配的第二像素点的亮度值，255-lw表示第一像素点的第一预设亮度权值，lw表示第二像素点的第二预设亮度权值，C1、C2分别表示第一常数值、第二常数值。此外，第二像素点的亮度值具体可以通过将第一像素点逆映射得到的位置坐标进行插值计算得到，具体可以参阅前述实施例中的相关步骤，在此不再赘述。
区别于前述实施例，通过将待融合区域划分为包含中心位置的第一区域和包围中心位置的第二区域，并将与第一区域中第一像素点匹配的第二像素点的第二预设亮度权值设置为第一常数值，以及基于与第二区域中每一像素点到第一区域与第二区域之间边界的像素距离，确定与第一像素点匹配的第二像素点的第二预设亮度权值，且第一常数值减去第二预设亮度权值的差值与像素距离为正相关关系，故能够确保越靠近于待融合区域中心的像素点的亮度值，在融合后能够更多地保留其在原始长焦图像中的亮度值，而越靠近待融合区域边界的像素点的亮度值，在融合后能够更多地保留其在调整广角图像中的亮度值，故使得原始长焦图像和调整广角图像融合后能够确保亮度的自然平滑过渡，提升亮度融合效果。
请参阅图10，图10是细节融合一实施例的流程示意图。具体地，可以包括如下步骤：
步骤S1010：将包含第一像素点的亮度值的图像数据，作为待处理广角数据，并将包含第二像素点的亮度值的图像数据，作为待处理长焦数据。
为了便于描述，可以将包含第一像素点的亮度值的待处理广角数据表示为short_y，将包含与第一像素点匹配的第二像素点的亮度值的待处理长焦数据表示为long_y。
在一个实施场景中，可以将每一第一像素点对应的第一预设亮度权值按照第一像素点在待融合区域中的排列顺序组成第一亮度权值图，为了便于描述，可以将第一亮度权值图表示为weightshort，第一亮度权值图中每一像素点的像素值为对应第一像素点的第一预设亮度权值，相应地，可以将每一第一像素点匹配的第二像素点对应的第二预设亮度权值按照第一像素点在待融合区域中的排列顺序组成第二亮度权值图weightlong，第二亮度权值图中每一像素点的像素值为对应的第一像素点匹配的第二像素点的第二预设亮度权值。
步骤S1020：将待处理广角数据分解为待处理广角亮度数据和待处理广角细节数据，并将待处理长焦数据分解为待处理长焦亮度数据和待处理长焦细节数据。
在一个实施场景中，可以采用高斯金字塔、拉普拉斯金字塔、小波金字塔、导向滤波金字塔中的任一种进行分解，在此不做限定。具体地，可以将待处理广角数据short_y进行一次分解，得到对应第一分辨率的子广角数据
再利用待处理广角数据short_y减去子广角数据
得到与子广角数据
对应的子细节数据
再对子广角数据
进行一次分解，得到对应第二分辨率的子广角数据
再利用子广角数据
减去子广角数据
得到与子广角数据
对应的子细节数据
依次类推，可以得到对应第m分辨率的子广角数据
以及与子广角数据
对应的子细节数据
对待处理长焦数据long_y进行类似的处理，可以得到对应第m分辨率的子长焦数据
以及与子长焦数据
对应的子细节数据
故可以将上述对应第m分辨率的子广角数据
作为待处理广角亮度数据，并将对应第1分辨率的子细节数据
至第m分辨率的子细节数据
作为待处理广角细节数据，将上述对应第m分辨率的子长焦数据
作为待处理长焦亮度数据，并将对应第1分辨率的子细节数据
至对应第m分辨率的子细节数据
作为待处理长焦细节数据。此外，为了便于后续处理，还可以对第一亮度权值图weightshort进行类似的处理，可以得到对应第1分辨率的第一子亮度权值图
至第m分辨率的第一子亮度权值图
对第二亮度权值图weightlong进行类似的处理，得到对应第1分辨率的第二子亮度权值图
至第m分辨率的第二子亮度权值图
步骤S1030：利用第一预设亮度权值、第二预设亮度权值分别对待处理广角亮度数据、待处理长焦亮度数据进行加权处理，得到待处理融合亮度数据。
具体地，可以利用对应第m分辨率的第一子亮度权值图
对应第m分辨率的第二子亮度权值图
分别对对应第m分辨率的子广角数据
进行加权处理，得到对应第m分辨率的待处理融合亮度数据
步骤S1040：利用第一预设细节权值、第二预设细节权值分别对待处理广角细节数据、待处理长焦细节数据进行加权处理，得到待处理融合细节数据。
具体地，第二预设细节权值可以是利用第二预设亮度权值和一细节子权值确定得到的，且第一预设细节权值和第二预设细节权值可以为负相关关系，例如，第二预设细节权值的取值范围为0～255时，第一预设细节权值可以采用255减去第二预设细节权值得到，在此不做限定。在一个实施场景中，可以获取每一第二像素点及附近像素点的第一亮度值分布情况，并获取与第二像素点匹配的第一像素点及附近像素点的第二亮度值分布情况，从而利用每一第二像素点对应的第一亮度值分布情况和第二亮度值分布情况，确定对应第二像素点的细节子权值，并在第二像素点对应的第二预设亮度权值为第一常数值时，将对应的第二预设细节权值也设置为第一常数值，否则将对应的第二预设细节权值设置为对应的第二预设亮度权值与对应的细节子权值的乘积。具体地，第一亮度值分布情况越平稳，第二亮度值分布情况越不平稳，细节子权值越小。此外，还可以将以第二像素点为中心半径为预设数值的窗口范围内的其他第二像素点，作为其附近像素点，类似地，可以将以第一像素点为中心半径为预设数值的窗口范围内的其他第一像素点，作为其附近像素点。在一个具体的实施场景中，可以采用下式分别计算得到第一亮度值分布情况和第二亮度值分布情况：
上式中，short_y(i,j)和long_y(i,j)分别表示第一像素点(i，j)的亮度值和与第一像素点(i，j)匹配的第二像素点的亮度值，r表示以像素点(i，j)为中心的窗口区域的半径，mean_short_y和mean_long_y分别表示第一像素点(i，j)窗口区域内的所有像素点亮度值的均值、与第一像素点(i，j)匹配的第二像素点窗口区域内的所有像素点亮度值的均值，long_dw和short_dw分别表示第一亮度值分布情况和第二亮度值分布情况。
在另一个具体的实施场景中，与第一像素点(i，j)匹配的第二像素点对应的细节子权值具体可以采用下式计算得到：
上式中，long_dw和short_dw分别表示第一亮度值分布情况和第二亮度值分布情况，dw0表示细节子权值。
通过上述细节子权值，可以将第二亮度权值图weightlong中第二预设亮度权值为第一常数值(如，255)的第二像素点对应的第二预设细节权值也设置为第一常数值(如，255)，并将其他第二像素点对应的第二预设细节权值设置为对应的第二预设亮度权值与对应的细节子权值的乘积。请结合参阅图9，可以将位于标号为1的子区域中的第一像素点匹配的第二像素点的第二预设细节权值设置为w2*dw0，可以将位于标号为2的子区域中的第一像素点匹配的第二像素点的第二预设细节权值设置为w4*dw0，可以将位于标号为3的子区域中的第一像素点匹配的第二像素点的第二预设细节权值设置为w1*dw0，可以将位于标号为4的子区域中的第一像素点匹配的第二像素点的第二预设细节权值设置为w3*dw0，可以将位于标号为5的子区域中的第一像素点匹配的第二像素点的第二预设细节权值设置为w1*w2*dw0/C2，可以将位于标号为6的子区域中的第一像素点匹配的第二像素点的第二预设细节权值设置为w2*w3*dw0/C2，可以将位于标号为7的子区域中的第一像素点匹配的第二像素点的第二预设细节权值设置为w1*w4*dw0/C2，可以将标号为8的子区域中的第一像素点匹配的第二像素点的第二预设细节权值设置为w3*w4*dw0/C2，其中，C2表示第二常数值，第二常数值可以根据第一常数值进行设置，例如，第一常数值为255，第二常数值可以设置为256，在此不做限定。在一个具体的实施场景中，可以利用下式得到待处理融合细节数据：
fusion_d＝(long_d*dw+short_d*(C1-dw))/C2
上式中，short_d和long_d分别表示待处理广角细节数据、待处理长焦细节数据，dw表示第二预设细节权值，C1-dw表示第一预设细节权值，C1、C2分别表示第一常数值、第二常数值，fusion_d表示待处理融合细节数据。
在一个实施场景中，可以将第一常数值与第二预设细节权值的差值，作为第一预设细节权值，从而通过上述步骤，可以得到与第二亮度权值图weightlong对应的第二细节权值图weight_dlong，以及与第一亮度权值图weightshort对应的第一细节权值图weight_dshort。通过前述分解方式分别将第一细节权值图weight_dshort和第二细节权值图weight_dlong进行分解，可以得到对应第1分辨率的第一子细节权值图
至对应第m分辨率的第一子细节权值图
以及对应第1分辨率的第二子细节权值图
和对应第m分辨率的第二子细节权值图
故可以利用对应第1分辨率的第一子细节权值图
第二子细节权值图
对对应第1分辨率的子细节数据
进行逐像素加权处理，得到对应第1分辨率的待融合子细节数据
其中，逐像素加权处理的具体方式可以参阅上述fusion_d的计算公式，在此不再赘述。其他分辨率以此类推，可以获取对应第2分辨率的待融合子细节数据
至对应第m分辨率的待融合子细节数据
上述步骤S1030和步骤S1040可以按照先后顺序执行，例如，先执行步骤S1030，后执行步骤S1040；或者，先执行步骤S1040，后执行步骤S1030，在此不做限定。此外，上述步骤S1030和步骤S1040还可以同时执行。
步骤S1050：将待处理融合亮度数据和待处理融合细节数据进行重构处理，得到包含第三像素点亮度值的图像数据。
具体地，可以将对应第m分辨率的待融合亮度数据
和对应第m分辨率的待融合子细节数据
进行重构，得到对应第m-1分辨率的待融合亮度数据
并将对应第m-1分辨率的待融合亮度数据
和对应第m-1分辨率的待融合子细节数据
进行重构，得到对应第m-2分辨率的待融合亮度数据
以此类推，可以得到对应第1分辨率的待融合亮度数据
并将对应第1分辨率的待融合子细节数据
进行重构处理，得到对应原始分辨率的融合亮度数据fusion_y，融合亮度数据fusion_y为包含第三像素点亮度值的图像数据。
区别于前述实施例，将包含第一像素点的亮度值的图像数据，作为待处理广角数据，并将包含第二像素点的亮度值的图像数据，作为待处理长焦数据，将待处理广角数据分解为待处理广角亮度数据和待处理广角细节数据，并将待处理长焦数据分解为待处理长焦亮度数据和待处理长焦细节数据，从而利用第一预设亮度权值、第二预设亮度权值分别对待处理广角亮度数据、待处理长焦亮度数据进行加权处理，得到待处理融合亮度数据，并利用第一预设细节权值、第二预设细节权值分别对待处理广角细节数据、待处理长焦细节数据进行加权处理，得到待处理融合细节数据，且第二预设细节权值是利用第二预设亮度权值和一细节子权值确定得到的，且第一预设细节权值与第二预设细节权值为负相关关系，进而将待处理融合亮度数据和待处理融合细节数据进行重构处理，得到包含第三像素点亮度值的图像数据，能够使亮度融合后的图像数据亮度过渡更加自然、平滑，进而能够进一步提升亮度融合效果。
在一些实施例中，像素值还可以包括色彩值UV，故利用第一预设色彩权值、第二预设色彩权值分别对第一像素点的色彩值、第二像素点的色彩值进行加权处理，可以得到最终融合图像中第三像素点的色彩值。具体地，越远离待融合区域中心位置的第一像素点，对应第一预设色彩权值越大，且第二预设色彩权值随第一预设色彩权值的增大而减小。例如，当第一预设权值为cw时，第二预设色彩权值可以设置为C1-cw，其中，C1为一常数值，通过下式可以计算得到最终融合图像中第三像素点的色彩值：
fusion_uv＝(long_uv*(C1-cw)+short_uv*cw)/C2
上式中，long_uv表示第二像素点的色彩值，C1-cw表示第二预设色彩权值，short_uv表示第一像素点的色彩值，cw表示第一预设色彩权值。C1、C2分别表示第一常数值、第二常数值。第二常数值可以根据第一常数值进行设置，例如，当第一常数值为255时，第二常数值可以为256，在此不做限定。
在一个具体的实施场景中，请继续结合参阅图9，如图9所示，待融合区域为一矩形区域，可以获取第一像素点到待融合区域的垂直中线的第一距离，并获取第一像素点到待融合区域的水平中线的第二距离，如图9所示，垂直中线为连接上边界中心点和下边界中心点的线，水平中线为连接左边界中心点和右边界中心点的线。从而获取第一距离的两倍与待融合区域的长度的第一比值，并获取第二距离的两倍与待融合区域的宽度的第二比值，并将第一比值与第二比值的平方和与第一常数之积，作为第一像素点的候选色彩权值。如图9所示，越靠近待融合区域中心的第一像素点，对应的第一比值和第二比值越小，故对应的候选色彩权值越小，反之，越远离待融合区域中心的第一像素点，对应的第一比值或第二比值越大，故对应的候选色彩权值越大。第一常数值可以根据实际情况进行设置，例如，第一常数值可以设置为255，在此不做限定。则若候选色彩权值大于第一常数值(如，255)时，可以将第一常数值作为第一像素点的第一预设色彩权值，否则可以将候选色彩权值作为第一像素点的第一预设色彩权值。
区别于前述实施例，利用第一预设色彩权值、第二预设色彩权值分别对第一像素点的色彩值、第二像素点的色彩值进行加权处理，得到最终融合图像中第三像素点的色彩值，且越远离待融合区域的中心位置的第一像素点，对应的第一预设色彩权值越大，且第二预设色彩权值随第一预设色彩权值的增大而减小，能够使色彩融合后的图像数据色彩过渡自然、平滑，进而能够提升色彩融合效果。
请参阅图11，图11是本申请图像融合装置1100一实施例的框架示意图。图像融合装置1100包括图像获取模块1110，用于获取待融合的原始广角图像和原始长焦图像，图像融合装置1100包括图像调整模块1120，用于按照一预设比例调整原始广角图像，得到一调整广角图像，图像融合装置1100包括图像匹配模块1130，用于将原始长焦图像匹配至调整广角图像中的部分区域，并利用部分区域确定调整广角图像中的待融合区域，图像融合装置1100包括加权处理模块1140，用于利用第一预设权值、第二预设权值分别对待融合区域中第一像素点的像素值、原始长焦图像中与第一像素点匹配的第二像素点的像素值进行加权处理，得到最终融合图像中与第一像素点对应的第三像素点的像素值，且越远离待融合区域的中心位置的第一像素点，对应的第一预设权值越大，且第二预设权值与第一预设权值为负相关关系。
上述方案，通过获取原始广角图像和原始长焦图像，并按照一预设比例调整原始广角图像，得到一调整广角图像，从而将原始长焦图像匹配至调整广角图像中的部分区域，并利用部分区域确定调整广角图像中的待融合区域，进而利用第一预设权值、第二预设权值分别对待融合区域中的第一像素点的像素值、原始长焦图像中与第一像素点匹配的第二像素点的像素值进行加权处理，得到最终融合图像中与第一像素点对应的第三像素点的像素值，且越远离待融合区域的中心位置的第一像素点，对应的第一预设权值越大，第二预设权值与第一预设权值为负相关关系，故在最终融合图像中，越靠近待融合区域的中心位置的像素点越依赖于长焦图像，从而能够有利于保留原始长焦图像的远距离具有高清晰度这一特性，而越远离待融合区域的中心位置的像素点越依赖于广角图像，从而能够有利于在保留广角图像的大视野这一特性的同时，使得待融合区域边缘平滑过渡，提高最终融合图像的质量。故此，能够得到大视野且远距离具有高清晰度的高质量图像。
在一些实施例中，像素值包括亮度值，加权处理模块1140包括亮度加权处理子模块，用于利用第一预设亮度权值、第二预设亮度权值分别对第一像素点的亮度值、第二像素点的亮度值进行加权处理，得到最终融合图像中第三像素点的亮度值；其中，越远离待融合区域的中心位置的第一像素点，对应的第一预设亮度权值越大，且第二预设亮度权值与第一预设亮度权值为负相关关系。
在一些实施例中，加权处理模块1140还包括区域划分子模块，用于将待融合区域划分为包含中心位置的第一区域和包围中心位置的第二区域，加权处理模块1140还包括第一亮度权值设置子模块，用于将与第一区域中的第一像素点匹配的第二像素点的第二预设亮度权值设置为第一常数值，加权处理模块1140还包括第二亮度权值设置子模块，用于基于与第二区域中的第一像素点到第一区域与第二区域之间边界的像素距离，确定与第一像素点匹配的第二像素点的第二预设亮度权值，且第一常数值减去第二预设亮度权值的差值与像素距离为正相关关系。
在一些实施例中，待融合区域为一矩形区域，区域划分子模块具体用于按照i行j列的方式划分待融合区域，并将位于i行j列中心的至少一个区域作为第一区域，将其他区域作为第二区域，第二亮度权值设置子模块包括第一确定单元，用于在第二区域与第一区域存在公共边时，基于第一像素点到公共边之间的第一像素距离，确定与第一像素点匹配的第二像素点的第二预设亮度权值，第二亮度权值设置子模块包括第二确定单元，用于在第二区域与第一区域不存在公共边且存在共用顶点时，基于第一像素点到共用顶点之间的第二像素距离，确定与第一像素点匹配的第二像素点的第二预设亮度权值；其中，i和j均为大于或等于3的整数，第一常数值减去第二预设亮度权值的差值分别与第一像素距离、第二像素距离为正相关关系。
在一些实施例中，i为3，j为3，区域划分子模块具体用于利用平行于待融合区域上边界距上边界第一边距的第一划分线、平行于待融合区域下边界且距下边界第二边距的第二划分线、平行于待融合区域左边界且距左边界第三边距的第三划分线，以及平行于待融合区域右边界且距右边界第四边距的第四划分线，将待融合区域划分为九个子区域，第二亮度权值设置子模块还包括亮度子权值确定单元，用于将第一像素点到待融合区域的左边界的距离与第三边距的比值与第一常数值的乘积，作为第一子权值；将第一像素点到待融合区域的上边界的距离与第一边距的比值与第一常数值的乘积，作为第二子权值；将第一常数值，以及第一像素点到第四划分线的距离与第四边距之间比值的差值，作为第三子权值；将第一常数值，以及第一像素点到第二划分线的距离与第二边距之间的比值的差值，作为第四子权值，第一确定单元具体用于若公共边位于第一划分线上，则将对应的第二预设亮度权值设置为第二子权值；若公共边位于第二划分线上，则将对应的第二预设亮度权值设置为第四子权值；若公共边位于第三划分线上，则将对应的第二预设亮度权值设置为第一子权值；若公共边位于第四划分线上，则将对应的第二预设亮度权值设置为第三子权值，第二确定单元具体用于若共用顶点为第一划分线和第三划分线的交点，则将第一子权值和第二子权值的乘积与第二常数值的比值作为对应的第二预设亮度权值；若共用顶点为第一划分线和第四划分线的交点，则将第二子权值和第三子权值的乘积与第二常数值的比值作为对应的第二预设亮度权值；若共用顶点为第二划分线和第三划分线的交点，则将第一子权值和第四子权值的乘积与第二常数值的比值作为对应的第二预设亮度权值；若共用顶点为第二划分线和第四划分线的交点，则将第三子权值和第四子权值的乘积与第二常数值的比值作为对应的第二预设亮度权值。
在一些实施例中，加权处理模块1140还包括图像数据获取子模块，用于将包含第一像素点的亮度值的图像数据，作为待处理广角数据，并将包含第二像素点的亮度值的图像数据，作为待处理长焦数据，加权处理模块1140还包括图像数据分解子模块，用于将待处理广角数据分解为待处理广角亮度数据和待处理广角细节数据，并将待处理长焦数据分解为待处理长焦亮度数据和待处理长焦细节数据，亮度加权处理子模块包括亮度融合单元，用于利用第一预设亮度权值、第二预设亮度权值分别对待处理广角亮度数据、待处理长焦亮度数据进行加权处理，得到待处理融合亮度数据，亮度加权处理子模块包括细节融合单元，用于利用第一预设细节权值、第二预设细节权值分别对待处理广角细节数据、待处理长焦细节数据进行加权处理，得到待处理融合细节数据，亮度加权处理子模块包括重构处理单元，用于将待处理融合亮度数据和待处理融合细节数据进行重构处理，得到包含第三像素点亮度值的图像数据，其中，第二预设细节权值是利用第二预设亮度权值和一细节子权值确定得到的，且第一预设细节权值与第二预设细节权值为负相关关系。
在一些实施例中，亮度加权处理子模块包括分布情况获取单元，用于获取每一第二像素点及附近像素点的第一亮度值分布情况，并获取与第二像素点匹配的第一像素点及附近像素点的第二亮度值分布情况，亮度加权处理子模块包括细节子权值确定单元，用于利用每一第二像素点对应的第一亮度值分布情况和第二亮度值分布情况，确定对应第二像素点的细节子权值，亮度加权处理子模块包括预设细节权值确定单元，用于在第二像素点对应的第二预设亮度权值为第一常数值时，将对应的第二预设细节权值设置为第一常数值，否则将对应的第二预设细节权值设置为对应的第二预设亮度权值与对应的细节子权值的乘，其中，第一亮度值分布情况越平稳，第二亮度值分布情况越不平稳，细节子权值越小。
在一些实施例中，像素值包括色彩值，加权处理模块1140包括色彩加权处理子模块，用于利用第一预设色彩权值、第二预设色彩权值分别对第一像素点的色彩值、第二像素点的色彩值进行加权处理，得到最终融合图像中第三像素点的色彩值，其中，越远离待融合区域的中心位置的第一像素点，对应的第一预设色彩权值越大，且第二预设色彩权值随第一预设色彩权值的增大而减小。
在一些实施例中，第一预设色彩权值不大于第一常数值，待融合区域为一矩形区域，色彩加权处理子模块包括距离获取单元，用于获取第一像素点到待融合区域的垂直中线的第一距离，并获取第一像素点到待融合区域的水平中线的第二距离，色彩加权处理子模块包括比值获取单元，用于获取第一距离的两倍与待融合区域的长度的第一比值，并获取第二距离的两倍与待融合区域的宽度的第二比值，色彩加权处理子模块包括候选色彩权值确定单元，用于将第一比值与第二比值的平方和与第一常数值之积，作为第一像素点的候选色彩权值，色彩加权处理子模块包括预设色彩权值确定单元，用于在候选色彩权值大于第一常数值时，将第一常数值作为第一像素点的第一预设色彩权值，否则将候选色彩权值作为第一像素点的第一预设色彩权值。
在一些实施例中，图像匹配模块1130包括映射关系确定子模块，用于利用预设图像匹配方式将原始长焦图像匹配至调整广角图像，得到一映射关系，图像匹配模块1130包括顶点映射子模块，用于利用映射关系，将原始长焦图像顶点映射至调整广角图像，得到顶点在调整广角图像中的目标位置，图像匹配模块1130包括匹配区域确定子模块，用于利用顶点在调整广角图像中的目标位置，确定部分区域，图像匹配模块1130包括区域拓展子模块，用于将部分区域朝远离部分区域中心的方向拓宽预设数量个像素，并将拓宽后的部分区域作为待融合区域。
在一些实施例中，图像融合装置1100还包括图像处理模块，用于将调整广角图像中位于待融合区域之外的第四像素点的像素值，作为最终融合图像中与第四像素点对应的第五像素点的像素值。
请参阅图12，图12是本申请电子设备1200一实施例的框架示意图。电子设备1200包括相互耦接的存储器1210和处理器1220，存储器1210存储有程序指令，处理器1220用于执行程序指令以实现上述任一图像融合方法实施例中的步骤。具体地，电子设备1200可以包括监控相机、手机、平板电脑等设备，在此不做限定。
具体而言，处理器1220用于控制其自身以及存储器1210以实现上述任一图像融合方法实施例中的步骤。处理器1220还可以称为CPU(Central Processing Unit，中央处理单元)。处理器1220可能是一种集成电路芯片，具有信号的处理能力。处理器1220还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器1220可以由多个集成电路芯片共同实现。
上述方案，能够得到大视野且远距离具有高清晰度的高质量图像。
请参阅图13，图13为本申请存储装置1300一实施例的框架示意图。存储装置1300存储有能够被处理器运行的程序指令1310，程序指令1310用于实现上述任一图像融合方法实施例中的步骤。
上述方案，能够得到大视野且远距离具有高清晰度的高质量图像。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (13)
1.一种图像融合方法，其特征在于，包括：
获取待融合的原始广角图像和原始长焦图像；
按照一预设比例调整所述原始广角图像，得到一调整广角图像；
将所述原始长焦图像匹配至所述调整广角图像中的部分区域，并利用所述部分区域确定所述调整广角图像中的待融合区域；
利用第一预设权值、第二预设权值分别对所述待融合区域中第一像素点的像素值、所述原始长焦图像中与所述第一像素点匹配的第二像素点的像素值进行加权处理，得到最终融合图像中与所述第一像素点对应的第三像素点的像素值；
其中，越远离所述待融合区域的中心位置的第一像素点，对应的所述第一预设权值越大，且所述第二预设权值与所述第一预设权值为负相关关系。
2.根据权利要求1所述的方法，其特征在于，所述像素值包括亮度值；
所述利用第一预设权值、第二预设权值分别对所述待融合区域中第一像素点的像素值、所述原始长焦图像中与所述第一像素点匹配的第二像素点的像素值进行加权处理，得到最终融合图像中与所述第一像素点对应的第三像素点的像素值包括：
利用第一预设亮度权值、第二预设亮度权值分别对所述第一像素点的亮度值、所述第二像素点的亮度值进行加权处理，得到所述最终融合图像中所述第三像素点的亮度值；
其中，越远离所述待融合区域的中心位置的第一像素点，对应的所述第一预设亮度权值越大，且所述第二预设亮度权值与所述第一预设亮度权值为负相关关系。
3.根据权利要求2所述的方法，其特征在于，所述利用第一预设亮度权值、第二预设亮度权值分别对所述第一像素点的亮度值、所述第二像素点的亮度值进行加权处理，得到所述最终融合图像中所述第三像素点的亮度值之前，所述方法还包括：
将所述待融合区域划分为包含所述中心位置的第一区域和包围所述中心位置的第二区域；
将与所述第一区域中的第一像素点匹配的第二像素点的第二预设亮度权值设置为第一常数值；以及，
基于与所述第二区域中的第一像素点到所述第一区域与所述第二区域之间边界的像素距离，确定与所述第一像素点匹配的第二像素点的第二预设亮度权值，且所述第一常数值减去所述第二预设亮度权值的差值与所述像素距离为正相关关系。
4.根据权利要求3所述的方法，其特征在于，所述待融合区域为一矩形区域；所述将所述待融合区域划分为包含所述中心位置的第一区域和包围所述中心位置的第二区域包括：
按照i行j列的方式划分所述待融合区域，并将位于i行j列中心的至少一个区域作为所述第一区域，将其他区域作为所述第二区域；
所述基于与所述第二区域中的第一像素点到所述第一区域与所述第二区域之间边界的像素距离，确定与所述第一像素点匹配的第二像素点的第二预设亮度权值包括：
若所述第二区域与所述第一区域存在公共边，则基于所述第一像素点到所述公共边之间的第一像素距离，确定与所述第一像素点匹配的第二像素点的第二预设亮度权值；以及，
若所述第二区域与所述第一区域不存在公共边且存在共用顶点，则基于所述第一像素点到所述共用顶点之间的第二像素距离，确定与所述第一像素点匹配的第二像素点的第二预设亮度权值；
其中，所述i和所述j均为大于或等于3的整数，所述第一常数值减去所述第二预设亮度权值的差值分别与所述第一像素距离、所述第二像素距离为正相关关系。
5.根据权利要求4所述的方法，其特征在于，所述i为3，所述j为3，所述按照三行三列的方式划分所述待融合区域包括：
利用平行于所述待融合区域上边界距所述上边界第一边距的第一划分线、平行于所述待融合区域下边界且距所述下边界第二边距的第二划分线、平行于所述待融合区域左边界且距所述左边界第三边距的第三划分线，以及平行于所述待融合区域右边界且距所述右边界第四边距的第四划分线，将所述待融合区域划分为九个子区域；
所述确定与所述第一像素点匹配的第二像素点的第二预设亮度权值之前，所述方法还包括：
将所述第一像素点到所述待融合区域的左边界的距离与所述第三边距的比值与所述第一常数值的乘积，作为第一子权值；将所述第一像素点到所述待融合区域的上边界的距离与所述第一边距的比值与所述第一常数值的乘积，作为第二子权值；将所述第一常数值，以及所述第一像素点到所述第四划分线的距离与所述第四边距之间比值的差值，作为第三子权值；将所述第一常数值，以及所述第一像素点到所述第二划分线的距离与所述第二边距之间的比值的差值，作为第四子权值；
所述若所述第二区域与所述第一区域存在公共边，则基于所述第一像素点到所述公共边之间的第一像素距离，确定与所述第一像素点匹配的第二像素点的第二预设亮度权值包括：
若所述公共边位于所述第一划分线上，则将对应的所述第二预设亮度权值设置为所述第二子权值；若所述公共边位于所述第二划分线上，则将对应的所述第二预设亮度权值设置为所述第四子权值；若所述公共边位于所述第三划分线上，则将对应的所述第二预设亮度权值设置为所述第一子权值；若所述公共边位于所述第四划分线上，则将对应的所述第二预设亮度权值设置为所述第三子权值；
所述若所述第二区域与所述第一区域不存在公共边且存在共用顶点，则基于所述第一像素点到所述共用顶点之间的第二像素距离，确定与所述第一像素点匹配的第二像素点的第二预设亮度权值包括：
若所述共用顶点为所述第一划分线和所述第三划分线的交点，则将所述第一子权值和所述第二子权值的乘积与第二常数值的比值作为对应的所述第二预设亮度权值；若所述共用顶点为所述第一划分线和所述第四划分线的交点，则将所述第二子权值和所述第三子权值的乘积与所述第二常数值的比值作为对应的所述第二预设亮度权值；若所述共用顶点为所述第二划分线和所述第三划分线的交点，则将所述第一子权值和所述第四子权值的乘积与所述第二常数值的比值作为对应的第二预设亮度权值；若所述共用顶点为所述第二划分线和所述第四划分线的交点，则将所述第三子权值和所述第四子权值的乘积与所述第二常数值的比值作为对应的所述第二预设亮度权值。
6.根据权利要求2所述的方法，其特征在于，所述利用第一预设亮度权值、第二预设亮度权值分别对所述第一像素点的亮度值、所述第二像素点的亮度值进行加权处理，得到所述最终融合图像中所述第三像素点的亮度值之前，所述方法还包括：
将包含所述第一像素点的亮度值的图像数据，作为待处理广角数据，并将包含所述第二像素点的亮度值的图像数据，作为待处理长焦数据；
将所述待处理广角数据分解为待处理广角亮度数据和待处理广角细节数据，并将所述待处理长焦数据分解为待处理长焦亮度数据和待处理长焦细节数据；
所述利用第一预设亮度权值、第二预设亮度权值分别对所述第一像素点的亮度值、所述第二像素点的亮度值进行加权处理，得到所述最终融合图像中所述第三像素点的亮度值包括：
利用所述第一预设亮度权值、所述第二预设亮度权值分别对所述待处理广角亮度数据、所述待处理长焦亮度数据进行加权处理，得到待处理融合亮度数据；以及，
利用第一预设细节权值、第二预设细节权值分别对所述待处理广角细节数据、所述待处理长焦细节数据进行加权处理，得到待处理融合细节数据；
将所述待处理融合亮度数据和所述待处理融合细节数据进行重构处理，得到包含所述第三像素点亮度值的图像数据；
其中，所述第二预设细节权值是利用所述第二预设亮度权值和一细节子权值确定得到的，且所述第一预设细节权值与所述第二预设细节权值为负相关关系。
7.根据权利要求6所述的方法，其特征在于，所述利用第一预设细节权值、第二预设细节权值分别对所述待处理广角细节数据、所述待处理长焦细节数据进行加权处理，得到待处理融合细节数据之前，所述方法还包括：
获取每一所述第二像素点及附近像素点的第一亮度值分布情况，并获取与所述第二像素点匹配的第一像素点及附近像素点的第二亮度值分布情况；
利用每一所述第二像素点对应的第一亮度值分布情况和第二亮度值分布情况，确定对应所述第二像素点的细节子权值；
若所述第二像素点对应的第二预设亮度权值为第一常数值，则将对应的第二预设细节权值设置为所述第一常数值，否则将对应的第二预设细节权值设置为对应的第二预设亮度权值与对应的细节子权值的乘积；
其中，所述第一亮度值分布情况越平稳，所述第二亮度值分布情况越不平稳，所述细节子权值越小。
8.根据权利要求1所述的方法，其特征在于，所述像素值包括色彩值；
所述利用第一预设权值、第二预设权值分别对所述待融合区域中第一像素点的像素值、所述原始长焦图像中与所述第一像素点匹配的第二像素点的像素值进行加权处理，得到最终融合图像中与所述第一像素点对应的第三像素点的像素值包括：
利用第一预设色彩权值、第二预设色彩权值分别对所述第一像素点的色彩值、所述第二像素点的色彩值进行加权处理，得到所述最终融合图像中所述第三像素点的色彩值；
其中，越远离所述待融合区域的中心位置的第一像素点，对应的所述第一预设色彩权值越大，且所述第二预设色彩权值随所述第一预设色彩权值的增大而减小。
9.根据权利要求8所述的方法，其特征在于，所述第一预设色彩权值不大于第一常数值，所述待融合区域为一矩形区域；所述方法还包括：
获取所述第一像素点到所述待融合区域的垂直中线的第一距离，并获取所述第一像素点到所述待融合区域的水平中线的第二距离；
获取所述第一距离的两倍与所述待融合区域的长度的第一比值，并获取所述第二距离的两倍与所述待融合区域的宽度的第二比值；
将所述第一比值与所述第二比值的平方和与所述第一常数值之积，作为所述第一像素点的候选色彩权值；
若所述候选色彩权值大于所述第一常数值，则将所述第一常数值作为所述第一像素点的第一预设色彩权值，否则将所述候选色彩权值作为所述第一像素点的第一预设色彩权值。
10.根据权利要求1所述的方法，其特征在于，所述将所述原始长焦图像匹配至所述调整广角图像中的部分区域，并利用所述部分区域确定所述调整广角图像中的待融合区域包括：
利用预设图像匹配方式将所述原始长焦图像匹配至所述调整广角图像，得到一映射关系；
利用所述映射关系，将所述原始长焦图像顶点映射至所述调整广角图像，得到所述顶点在所述调整广角图像中的目标位置；
利用所述顶点在所述调整广角图像中的目标位置，确定所述部分区域；
将所述部分区域朝远离所述部分区域中心的方向拓宽预设数量个像素，并将拓宽后的所述部分区域作为所述待融合区域。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述调整广角图像中位于所述待融合区域之外的第四像素点的像素值，作为所述最终融合图像中与所述第四像素点对应的第五像素点的像素值。
12.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至11任一项所述的图像融合方法。
13.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至11任一项所述的图像融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010374258.3A CN111563552B (zh) | 2020-05-06 | 2020-05-06 | 图像融合方法以及相关设备、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010374258.3A CN111563552B (zh) | 2020-05-06 | 2020-05-06 | 图像融合方法以及相关设备、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111563552A true CN111563552A (zh) | 2020-08-21 |
| CN111563552B CN111563552B (zh) | 2023-09-05 |
Family
ID=72071847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010374258.3A Active CN111563552B (zh) | 2020-05-06 | 2020-05-06 | 图像融合方法以及相关设备、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111563552B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112188035A (zh) * | 2020-09-29 | 2021-01-05 | Oppo（重庆）智能科技有限公司 | 图像处理方法、图像处理器、拍摄装置、电子设备 |
| CN112785543A (zh) * | 2021-03-01 | 2021-05-11 | 天地伟业技术有限公司 | 一种双通道融合的交通相机图像增强方法 |
| WO2021088821A1 (en) * | 2019-11-05 | 2021-05-14 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image processing |
| CN112819738A (zh) * | 2021-01-19 | 2021-05-18 | 合肥英睿系统技术有限公司 | 红外图像融合方法、装置、计算机设备和存储介质 |
| CN112907497A (zh) * | 2021-03-19 | 2021-06-04 | 苏州科达科技股份有限公司 | 图像融合方法以及图像融合装置 |
| CN113570537A (zh) * | 2021-09-26 | 2021-10-29 | 熵基科技股份有限公司 | 安检图像融合方法、装置、存储介质及计算机设备 |
| CN113592777A (zh) * | 2021-06-30 | 2021-11-02 | 北京旷视科技有限公司 | 双摄拍照的图像融合方法、装置和电子系统 |
| CN113689361A (zh) * | 2021-10-27 | 2021-11-23 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN115719415A (zh) * | 2022-03-28 | 2023-02-28 | 南京诺源医疗器械有限公司 | 一种视野可调双视频融合成像方法及系统 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003289429A (ja) * | 2002-03-28 | 2003-10-10 | Minolta Co Ltd | プログラム |
| JP2012100360A (ja) * | 2012-02-21 | 2012-05-24 | Morpho Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2014149798A (ja) * | 2013-02-04 | 2014-08-21 | Casio Comput Co Ltd | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| CN106385541A (zh) * | 2016-09-30 | 2017-02-08 | 虹软(杭州)科技有限公司 | 利用广角摄像组件及长焦摄像组件实现变焦的方法 |
| WO2017092592A1 (zh) * | 2015-12-03 | 2017-06-08 | 阿里巴巴集团控股有限公司 | 一种图像融合的方法、装置和设备 |
| JP2017103695A (ja) * | 2015-12-04 | 2017-06-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びそのプログラム |
| CN107343155A (zh) * | 2017-07-10 | 2017-11-10 | 广东欧珀移动通信有限公司 | 抑制aec跳变的方法及装置、终端设备 |
| WO2018040751A1 (zh) * | 2016-08-29 | 2018-03-08 | 努比亚技术有限公司 | 图像生成装置及方法、图像处理设备及存储介质 |
| US20180070018A1 (en) * | 2016-09-07 | 2018-03-08 | Multimedia Image Solution Limited | Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism |
| US20180096487A1 (en) * | 2016-09-30 | 2018-04-05 | Qualcomm Incorporated | Systems and methods for fusing images |
| CN108243299A (zh) * | 2016-12-23 | 2018-07-03 | 联发科技股份有限公司 | 一种双摄像头设备 |
| WO2018201809A1 (zh) * | 2017-05-05 | 2018-11-08 | 中国科学院计算技术研究所 | 基于双摄像头的图像处理装置及方法 |
| CN109120840A (zh) * | 2017-06-23 | 2019-01-01 | 三星电子株式会社 | 用于数字拍摄设备中两个相机的图像之间的差异补偿的应用处理器 |
| CN109166075A (zh) * | 2018-06-20 | 2019-01-08 | 南京理工大学 | 一种针对小重合区域图像拼接方法 |
| WO2019133266A1 (en) * | 2017-12-29 | 2019-07-04 | Microsoft Technology Licensing, Llc | Image transformation by fusion |
| CN110210541A (zh) * | 2019-05-23 | 2019-09-06 | 浙江大华技术股份有限公司 | 图像融合方法及设备、存储装置 |
| CN110222789A (zh) * | 2019-06-14 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 图像识别方法及存储介质 |
| CN110622497A (zh) * | 2017-06-05 | 2019-12-27 | 三星电子株式会社 | 具备具有不同焦距的相机的设备及实现相机的方法 |
| CN110855883A (zh) * | 2019-11-05 | 2020-02-28 | 浙江大华技术股份有限公司 | 一种图像处理系统、方法、装置设备及存储介质 |
| CN110868541A (zh) * | 2019-11-19 | 2020-03-06 | 展讯通信（上海）有限公司 | 视场融合方法及装置、存储介质、终端 |
| CN111028190A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2020
- 2020-05-06 CN CN202010374258.3A patent/CN111563552B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003289429A (ja) * | 2002-03-28 | 2003-10-10 | Minolta Co Ltd | プログラム |
| JP2012100360A (ja) * | 2012-02-21 | 2012-05-24 | Morpho Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2014149798A (ja) * | 2013-02-04 | 2014-08-21 | Casio Comput Co Ltd | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| WO2017092592A1 (zh) * | 2015-12-03 | 2017-06-08 | 阿里巴巴集团控股有限公司 | 一种图像融合的方法、装置和设备 |
| JP2017103695A (ja) * | 2015-12-04 | 2017-06-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びそのプログラム |
| WO2018040751A1 (zh) * | 2016-08-29 | 2018-03-08 | 努比亚技术有限公司 | 图像生成装置及方法、图像处理设备及存储介质 |
| US20180070018A1 (en) * | 2016-09-07 | 2018-03-08 | Multimedia Image Solution Limited | Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism |
| US20180096487A1 (en) * | 2016-09-30 | 2018-04-05 | Qualcomm Incorporated | Systems and methods for fusing images |
| CN106385541A (zh) * | 2016-09-30 | 2017-02-08 | 虹软(杭州)科技有限公司 | 利用广角摄像组件及长焦摄像组件实现变焦的方法 |
| CN108243299A (zh) * | 2016-12-23 | 2018-07-03 | 联发科技股份有限公司 | 一种双摄像头设备 |
| WO2018201809A1 (zh) * | 2017-05-05 | 2018-11-08 | 中国科学院计算技术研究所 | 基于双摄像头的图像处理装置及方法 |
| CN110622497A (zh) * | 2017-06-05 | 2019-12-27 | 三星电子株式会社 | 具备具有不同焦距的相机的设备及实现相机的方法 |
| CN109120840A (zh) * | 2017-06-23 | 2019-01-01 | 三星电子株式会社 | 用于数字拍摄设备中两个相机的图像之间的差异补偿的应用处理器 |
| CN107343155A (zh) * | 2017-07-10 | 2017-11-10 | 广东欧珀移动通信有限公司 | 抑制aec跳变的方法及装置、终端设备 |
| WO2019133266A1 (en) * | 2017-12-29 | 2019-07-04 | Microsoft Technology Licensing, Llc | Image transformation by fusion |
| CN109166075A (zh) * | 2018-06-20 | 2019-01-08 | 南京理工大学 | 一种针对小重合区域图像拼接方法 |
| CN110210541A (zh) * | 2019-05-23 | 2019-09-06 | 浙江大华技术股份有限公司 | 图像融合方法及设备、存储装置 |
| CN110222789A (zh) * | 2019-06-14 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 图像识别方法及存储介质 |
| CN110855883A (zh) * | 2019-11-05 | 2020-02-28 | 浙江大华技术股份有限公司 | 一种图像处理系统、方法、装置设备及存储介质 |
| CN110868541A (zh) * | 2019-11-19 | 2020-03-06 | 展讯通信（上海）有限公司 | 视场融合方法及装置、存储介质、终端 |
| CN111028190A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Non-Patent Citations (5)
| Title |
|---|
| YIPENG LIU: "Region level based multi-focus image fusion using quaternion wavelet and normalized cut" * |
| YIPENG LIU: "Region level based multi-focus image fusion using quaternion wavelet and normalized cut", 《SIGNAL PROCESSING》 * |
| 柴勇: "基于改进的区域能量特征多分辨率图像融合算法", pages 2 * |
| 王文爽: "警用无人机图像拼接及全景构建技术研究与应用" * |
| 黄立勤: "全景图拼接中图像融合算法的研究" * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021088821A1 (en) * | 2019-11-05 | 2021-05-14 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image processing |
| CN112188035A (zh) * | 2020-09-29 | 2021-01-05 | Oppo（重庆）智能科技有限公司 | 图像处理方法、图像处理器、拍摄装置、电子设备 |
| CN112188035B (zh) * | 2020-09-29 | 2023-02-17 | Oppo（重庆）智能科技有限公司 | 图像处理方法、图像处理器、拍摄装置、电子设备 |
| CN112819738A (zh) * | 2021-01-19 | 2021-05-18 | 合肥英睿系统技术有限公司 | 红外图像融合方法、装置、计算机设备和存储介质 |
| CN112819738B (zh) * | 2021-01-19 | 2024-01-02 | 合肥英睿系统技术有限公司 | 红外图像融合方法、装置、计算机设备和存储介质 |
| CN112785543B (zh) * | 2021-03-01 | 2023-01-24 | 天地伟业技术有限公司 | 一种双通道融合的交通相机图像增强方法 |
| CN112785543A (zh) * | 2021-03-01 | 2021-05-11 | 天地伟业技术有限公司 | 一种双通道融合的交通相机图像增强方法 |
| CN112907497A (zh) * | 2021-03-19 | 2021-06-04 | 苏州科达科技股份有限公司 | 图像融合方法以及图像融合装置 |
| CN113592777A (zh) * | 2021-06-30 | 2021-11-02 | 北京旷视科技有限公司 | 双摄拍照的图像融合方法、装置和电子系统 |
| CN113570537B (zh) * | 2021-09-26 | 2022-02-08 | 熵基科技股份有限公司 | 安检图像融合方法、装置、存储介质及计算机设备 |
| CN113570537A (zh) * | 2021-09-26 | 2021-10-29 | 熵基科技股份有限公司 | 安检图像融合方法、装置、存储介质及计算机设备 |
| CN113689361B (zh) * | 2021-10-27 | 2022-02-22 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113689361A (zh) * | 2021-10-27 | 2021-11-23 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN115719415A (zh) * | 2022-03-28 | 2023-02-28 | 南京诺源医疗器械有限公司 | 一种视野可调双视频融合成像方法及系统 |
| CN115719415B (zh) * | 2022-03-28 | 2023-11-10 | 南京诺源医疗器械有限公司 | 一种视野可调双视频融合成像方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111563552B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563552B (zh) | 图像融合方法以及相关设备、装置 | |
| CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
| KR101780057B1 (ko) | 고해상도 영상 복원 방법 및 장치 | |
| CN111353948B (zh) | 一种图像降噪方法、装置及设备 | |
| US8160391B1 (en) | Panoramic image fill | |
| WO2018082185A1 (zh) | 图像处理方法和装置 | |
| CN111402139B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US8040558B2 (en) | Apparatus and method for shift invariant differential (SID) image data interpolation in fully populated shift invariant matrix | |
| CN112017222A (zh) | 视频全景拼接与三维融合方法及装置 | |
| CN114615480B (zh) | 投影画面调整方法、装置、设备、存储介质和程序产品 | |
| CN113039576A (zh) | 图像增强系统和方法 | |
| CN115063303B (zh) | 一种基于图像修复的图像3d化方法 | |
| CN109257540A (zh) | 多摄镜头组的摄影校正方法及摄影装置 | |
| CN111640065A (zh) | 基于相机阵列的图像拼接方法、成像装置 | |
| CN113379609A (zh) | 一种图像处理方法、存储介质及终端设备 | |
| CN109600667B (zh) | 一种基于网格与帧分组的视频重定向的方法 | |
| CN112184609B (zh) | 图像融合方法及装置、存储介质、终端 | |
| CN113506305A (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
| CN109118427B (zh) | 图像光效处理方法和装置、电子设备、存储介质 | |
| CN115965531A (zh) | 模型训练方法及图像生成方法、装置、设备和存储介质 | |
| CN112203023B (zh) | 一种十亿像素视频生成方法及装置、设备、介质 | |
| CN111161204B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN111988592B (zh) | 影像色彩还原与增强电路 | |
| CN113902644A (zh) | 一种图像处理方法、装置、设备以及存储介质 | |
| Zhao et al. | Stripe sensitive convolution for omnidirectional image dehazing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |