CN116188343A - 一种图像融合方法、装置、电子设备、芯片及介质 - Google Patents
一种图像融合方法、装置、电子设备、芯片及介质 Download PDFInfo
- Publication number
- CN116188343A CN116188343A CN202310180632.XA CN202310180632A CN116188343A CN 116188343 A CN116188343 A CN 116188343A CN 202310180632 A CN202310180632 A CN 202310180632A CN 116188343 A CN116188343 A CN 116188343A
- Authority
- CN
- China
- Prior art keywords
- image
- determining
- pixel point
- pixel
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000007499 fusion processing Methods 0.000 claims description 5
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 18
- 238000001914 filtration Methods 0.000 abstract description 15
- 238000004364 calculation method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本公开提供一种图像融合方法、装置、电子设备、芯片及介质，涉及数字图像处理领域，该方法包括：确定多帧图像的待处理区域，多帧图像包括第一图像和至少一个第二图像，多帧图像的待处理区域大小相同且位置对应；确定第一图像的待处理区域中的第一像素点；确定导向图中与第一像素点对应的像素点的导向像素值，导向图为对多帧图像进行融合的参考图像；对多帧图像中的每个待处理区域的每个像素进行遍历，基于第一像素点的位置信息和第一像素值以及导向像素值，对多帧图像进行加权融合，得到融合图像，解决融合图像细节较差的问题，通过在多帧图像进行融合时联合导向滤波，保证融合后的图像能够保留更多的细节信息，有效避免鬼影和噪声等问题。
Description
技术领域
本公开涉及数字图像处理领域，尤其涉及一种图像融合方法、装置、电子设备、芯片及介质。
背景技术
HDR(high dynamic range，高动态范围)图像相较于普通的图像，可以提供更多的动态范围和图像细节，能够更好的反映人真实环境中的视觉效果，提供更好的观看体验。高动态范围图像可以通过对一些列低动态范围图像进行融合得到。目前各大手机厂商的手机设备都支持HDR图像、视频的功能。
但是，现有技术无法联合导向滤波对多帧图像进行融合，容易导致融合后的图像细节较差，产生鬼影和噪声等问题。
发明内容
本公开提供一种图像融合方法、装置、电子设备、芯片及介质，以解决相关技术中融合图像细节较差的问题，通过在多帧图像进行融合时，联合导向滤波对同一待处理区域中不同帧的所有像素点进行加权计算，保证了融合后的图像能够保留更多的细节信息，能够有效避免鬼影和噪声等问题。
本公开的第一方面实施例提出了一种图像融合方法，该方法包括：确定多帧图像的待处理区域，多帧图像包括第一图像和至少一个第二图像，多帧图像的待处理区域大小相同且位置对应；确定第一图像的待处理区域中的第一像素点；确定导向图中与第一像素点对应的像素点的导向像素值，导向图为对多帧图像进行融合的参考图像；对多帧图像中的每个待处理区域的每个像素进行遍历，基于第一像素点的位置信息和第一像素值以及导向像素值，对多帧图像进行加权融合，得到融合图像。
在本公开的一些实施例中，确定导向图中与第一像素点对应的导向像素值包括：将第一图像确定为导向图；将第一像素点对应的第一像素值确定为导向像素值。
在本公开的一些实施例中，确定导向图中与第一像素点对应的导向像素值包括：从至少一个第二图像中确定第三图像，并将第三图像确定为导向图；将导向图中与第一像素点对应位置的像素点的像素值，确定为导向像素值。
在本公开的一些实施例中，基于第一像素点的位置信息以及导向像素值，对多帧图像进行加权融合，得到融合图像包括：基于第一像素点的位置信息，确定第一像素点与第一图像的待处理区域中的每个像素点的空间距离；确定多帧图像的待处理区域内每个像素点的像素值与导向像素值之间的差值；基于空间距离和差值，确定第一图像的加权系数；对多帧图像进行遍历，确定至少一个第二图像的加权系数；基于第一图像的加权系数和所至少一个第二图像的加权系数以及多帧图像的待处理区域的每个像素点的像素值，对多帧图像进行加权融合，得到融合图像。
在本公开的一些实施例中，该方法还包括：将融合图像确定为导向图；将融合图像中的每个像素点的像素值确定为导向像素值；基于导向像素值，对多帧图像进行再融合处理。
本公开的第二方面实施例提出了一种图像融合装置，该装置包括：第一确定单元，用于确定多帧图像的待处理区域，多帧图像包括第一图像和至少一个第二图像，多帧图像的待处理区域大小相同且位置对应；第二确定单元，用于确定第一图像的待处理区域中的第一像素点；第三确定单元，用于确定导向图中与第一像素点对应的像素点的导向像素值，导向图为对多帧图像进行融合的参考图像；融合单元，用于对多帧图像中的每个待处理区域的每个像素进行遍历，基于第一像素点的位置信息和第一像素值以及导向像素值，对多帧图像进行加权融合，得到融合图像。
本公开的第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例中描述的方法。
本公开的第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开第一方面实施例中描述的方法。
本公开的第五方面实施例提出了一种芯片，该芯片包括一个或多个接口电路和一个或多个处理器；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令，当处理器执行计算机指令时，使得电子设备执行本公开第一方面实施例中描述的方法。
综上，根据本公开提出的图像融合方法，确定多帧图像的待处理区域，多帧图像包括第一图像和至少一个第二图像，多帧图像的待处理区域大小相同且位置对应；确定第一图像的待处理区域中的第一像素点；确定导向图中与第一像素点对应的像素点的导向像素值，导向图为对多帧图像进行融合的参考图像；对多帧图像中的每个待处理区域的每个像素进行遍历，基于第一像素点的位置信息和第一像素值以及导向像素值，对多帧图像进行加权融合，得到融合图像，解决了融合图像细节较差的问题，通过在多帧图像进行融合时，联合导向滤波对同一待处理区域中不同帧的所有像素点进行加权计算，保证了融合后的图像能够保留更多的细节信息，能够有效避免鬼影和噪声等问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1为本公开实施例提供的一种图像融合方法的流程图；
图2为本公开实施例提供的一种图像融合方法的流程图；
图3为本公开实施例提供的一种一种多帧图像融合的示意图；
图4为本公开实施例提供的一种联合导向滤波算法的示意图；
图5为本公开实施例提供的一种图像融合装置的结构示意图；
图6为本公开实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本公开的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实。
HDR(high dynamic range，高动态范围)图像相较于普通的图像，可以提供更多的动态范围和图像细节，能够更好的反映人真实环境中的视觉效果，提供更好的观看体验。高动态范围成像的目的就是要正确地表示真实世界中从太阳光直射到最暗的阴影这样大的范围亮度。高动态范围图像可以通过对一些列低动态范围图像进行融合得到。目前各大手机厂商的手机设备都支持HDR图像、视频的功能。
但是，现有技术无法联合导向滤波对多帧图像进行融合，容易导致融合后的图像细节较差，产生鬼影和噪声等问题。
为了解决相关技术中存在的问题，本公开提出一种图像融合方案，确定多帧图像的待处理区域，多帧图像包括第一图像和至少一个第二图像，多帧图像的待处理区域大小相同且位置对应；确定第一图像的待处理区域中的第一像素点；确定导向图中与第一像素点对应的像素点的导向像素值；对多帧图像中的每个待处理区域的每个像素进行遍历，基于第一像素点的位置信息和第一像素值以及导向像素值，对多帧图像进行加权融合，得到融合图像，解决了融合图像细节较差的问题，通过在多帧图像进行融合时，联合导向滤波对同一待处理区域中不同帧的所有像素点进行加权计算，保证了融合后的图像能够保留更多的细节信息，能够有效避免鬼影和噪声等问题。
本公开提出的图像融合方法可以应用于遥感领域、医学影像、视频监控、摄影应用等领域。在本公开中主要以高动态范围成像过程中多帧低动态范围图像融合的应用场景为例。
下面结合附图对本申请所提供的图像融合方法进行详细介绍。
图1为本公开实施例提供的一种图像融合方法的流程图。如图1所示，该图像融合方法包括步骤101-103。
步骤101，确定多帧图像的待处理区域，多帧图像包括第一图像和至少一个第二图像，多帧图像的待处理区域大小相同且位置对应。
在本公开的实施例中，多帧图像的待处理区域指的是多帧图像中每一帧图像为了进行加权融合选取的固定位置的处理区域，该处理区域的在每一帧图像的位置和大小都是相同的，该处理区域中所有的像素点均要进行加权融合。其中，待处理区域是预先设定的，其大小和形状可以根据实际需求设定，例如可以是3*3、5*5的正方形矩阵。
第一图像是指当前想要处理的帧的图像，第二图像是指多帧图像中除去当前帧的第一图像的剩余帧的图像。
可以理解的是，第一图像确定待处理区域之后，第二图像根据第一图像的待处理区域确定相应大小和位置的第二图像的待处理区域。
步骤102，确定第一图像的待处理区域中的第一像素点。
在本公开的实施例中，根据第一图像的待处理区域，可以确定当前想要处理的帧的图像的所有像素点，在所有像素点中选择一个需要处理的像素点作为第一像素点。
需要注意的是，第一像素点仅作为名称上的区别，对其功能在本公开中不予限制。第一像素点指的是当前处理图像中确定的像素点，即当前处理图像不是固定不变的，其是多帧图像中选择的其中一个待处理的图像，该第一像素点就是当前待处理图像中选择的待处理像素点。
步骤103，确定导向图中与第一像素点对应的像素点的导向像素值，导向图为对多帧图像进行融合的参考图像。
在本公开的实施例中，导向像素值是当前待处理图像和导向图中对应位置的一对像素点的像素值。导向滤波(Guided Fliter)显式地利用guidance image(影像导引)计算输出图像，其中guidance image可以是输入图像本身或者其他图像。例如导向图为G，输入图像P，输出图像Q。导向滤波的目标是使得输入P和输出Q尽可能相同，同时纹理部分和导向图G相似。在本公开中影像引导就是导向图，导向图可以与第一图像对应，可以对应至少一个第二图像中的任一个图像，也可以与经过上述第一图像或至少一个第二图像得到的融合结果对应，三种方式均可，在本公开中不予限制。
步骤104，对多帧图像中的每个待处理区域的每个像素进行遍历，基于第一像素点的位置信息和第一像素值以及导向像素值，对多帧图像进行加权融合，得到融合图像。
在本公开的实施例中，第一像素点的位置信息是指当前待处理像素点在待处理区域内的行列坐标，例如待处理区域为3*3的正方形矩阵，其行坐标为0、1、2，列坐标为0、1、2，若选取左上第一点作为第一像素点，则第一像素点的位置信息则为(0，0)。
根据第一像素点的位置信息以及第一像素值可以确定第一图像的加权系数，同理由于对多帧图像中的每个待处理区域的每个像素进行遍历，则可以得到其余每一帧图像的加权系数，即至少一个第二图像的加权系数，根据上述两个加权系数以及多帧图像中待处理区域的所有像素点的像素值，可以对多帧图像进行加权融合，以此得到融合图像。
综上，根据本公开提出的图像融合方法，确定多帧图像的待处理区域，多帧图像包括第一图像和至少一个第二图像，多帧图像的待处理区域大小相同且位置对应；确定第一图像的待处理区域中的第一像素点；确定导向图中与第一像素点对应的像素点的导向像素值；对多帧图像中的每个待处理区域的每个像素进行遍历，基于第一像素点的位置信息和第一像素值以及导向像素值，对多帧图像进行加权融合，得到融合图像，解决了融合图像细节较差的问题，通过在多帧图像进行融合时，联合导向滤波对同一待处理区域中不同帧的所有像素点进行加权计算，保证了融合后的图像能够保留更多的细节信息，能够有效避免鬼影和噪声等问题。
基于图1所示的实施例，图2进一步示出本公开提出的一种图像融合方法的流程图。图2基于图1所示的实施例，对步骤101、步骤102以及步骤103，进行进一步定义。在图2所示的实施例中，步骤101包括步骤201；步骤102包括步骤202、步骤203以及步骤204；步骤103包括步骤205和步骤206。如图2所示，该方法包括如下步骤：
步骤201，确定多帧图像的待处理区域，多帧图像包括第一图像和至少一个第二图像，多帧图像的待处理区域大小相同且位置对应。
在本公开的实施例中，待处理区域的大小是根据实际需求设定的，待处理区域越大其融合后的结果越精确，待处理区域的大小会影响计算结果质量以及计算量的复杂度。
具体的，对于N帧图像，在每一帧图像对应的位置取w*w大小的待处理区域，根据待处理区域可以得到参与运算的所有像素点，参与运算的所有像素点就是待处理区域中的所有像素点。
上述步骤201的原理与图1所示实施例中步骤101的原理相同，可参考上述实施例的描述，在此不再赘述。
步骤202，确定第一图像的待处理区域中的第一像素点。
在本公开的实施例中，在待处理区域所有像素点中选取一个待处理的像素点，例如当前待处理的图像为第k帧，则在第k帧的待处理区域内选取一个位置为(i，j)(i∈[0，w-1]，j∈[0，w-1])的像素点，其对应像素值为fk(i，j)。
步骤203，确定导向图中与第一像素点对应的像素点的导向像素值，导向图为对多帧图像进行融合的参考图像。
在本公开的实施例中，确定导向图像素值的方式如下：第一种，将第一图像确定为导向图；将第一像素点对应的第一像素值确定为导向像素值。第二种，从至少一个第二图像中确定第三图像，并将第三图像确定为导向图；将导向图中与第一像素点对应位置的像素点的像素值，确定为导向像素值。其中，第三图像为至少一个第二图像中任意一个图像，在本公开中不予限制。
此外，也可以将进行加权融合后的融合图像确定为导向图；将融合图像中的每个像素点的像素值确定为导向像素值；基于导向像素值，对多帧图像进行再融合处理。其中，第一次加权融合处理选取的导向图可以通过上述第一种或第二种的方法选取，也可以随机设定一个数值(例如gk(i，j)＝0)进行第一次处理，具体选取方法以实际需求为主，在本公开中不予限制。
在本公开中一种可选的实施例，导向图中与第一像素点对应的像素点的导向像素值为gk(i，j)。对于引导图有(但不局限于)以下三种计算方式：
第一种方式：gk(i，j)＝fk(i，j)，即，导向图为原始的待滤波图像。
第二种方式：gk(i，j)＝fn(i，j)，即，导向图像素和参与计算的图像像素值相同。
第三种方式：gk(i，j)＝Fk(i，j)，即，导向图为上一轮加权融合计算得到的结果，通过循环对原始图像滤波，换言之通过第一轮计算当前图像的所有像素点，此时该图像的已完成加权融合，将完成加权融合的图像作为导向图进行当前的加权融合计算。
步骤204，基于第一像素点的位置信息，确定第一像素点与第一图像的待处理区域中的每个像素点的空间距离。
在本公开的实施例中，根据第一像素点与当前待处理图像的其余像素点在待处理区域中的位置信息，即位置坐标，得到第一像素点与其余像素点之间的空间距离。例如：第一像素点的坐标为(i，j)，其余像素点的其中一个像素点的坐标为(p，q)，则第一像素点与其余像素点的空间距离为i-p和j-q。
步骤205，确定多帧图像的待处理区域内每个像素点的像素值与导向像素值之间的差值。
在本公开的实施例中，多帧图像中当前待处理图像的待处理区域内每个图像的像素点的像素值为fn(p，q)。导向像素值为上述步骤203中确定得到，即gk(i，j)，其之间的差值，就是像素值与导向像素值之间的差值，即fn(p，q)-gk(i，j)。
步骤206，基于空间距离和差值，确定第一图像的加权系数。
在本公开的实施例中，基于空间距离和差值，可以根据如下公式计算出当前待处理图像的加权系数。
其中，N为多帧图像的帧数，(i，j)是第一像素点的横纵坐标，gk(i，j)为导向像素值，多帧图像的待处理区域内每个图像的像素点的像素值为fn(p，q)，σs是高斯滤波的斜方差，根据这个斜方差可以调整每一帧图像的权重。
步骤207，对多帧图像进行遍历，确定至少一个第二图像的加权系数。
在本公开的实施例中，对多帧图像进行遍历，将多帧图像的每一帧图像都作为当前待处理的图像进行上述计算，得到其余图像的加权系数。例如，多帧图像为5帧图像时，先确定第1帧图像的加权系数，之后将待处理区域进行平移，通过同样的计算方式，确定其余4帧图像的加权系数，即至少一个第二图像的加权系数。
步骤208，基于第一图像的加权系数和至少一个第二图像的加权系数以及多帧图像的待处理区域的每个像素点的像素值，对多帧图像进行加权融合，得到融合图像。
在本公开的实施例中，根据上述步骤得到的第一图像的加权系数和第一图像的待处理区域的每个像素点对应的像素值，以及至少一个第二图像的加权系数和至少一个第二图像的待处理区域的每个像素点对应的像素值，根据如下公式计算得到融合结果。
其中，WeightSumn(p，q)为多帧图像的待处理区域的每个像素点的加权系数，fn(i，j)为多帧图像的待处理区域的每个像素点对应的像素值。
综上，通过本公开的提供的方法，确定多帧图像的待处理区域，多帧图像包括第一图像和至少一个第二图像，多帧图像的待处理区域大小相同且位置对应，确定第一图像的待处理区域中的第一像素点，确定导向图中与第一像素点对应的像素点的导向像素值，导向图为对多帧图像进行融合的参考图像，基于第一像素点的位置信息，确定第一像素点与第一图像的待处理区域中的每个像素点的空间距离，确定多帧图像的待处理区域内每个像素点的像素值与导向像素值之间的差值，基于空间距离和差值，确定第一图像的加权系数，对多帧图像进行遍历，确定至少一个第二图像的加权系数，基于第一图像的加权系数和至少一个第二图像的加权系数以及多帧图像的待处理区域的每个像素点的像素值，对多帧图像进行加权融合，得到融合图像，通过联合导向滤波，提高了融合图像的细节，使最终得到的融合图像可以具有较好的动态范围，同时能够有效避免鬼影和噪声等问题。
基于图1、图2所示的实施例，如图3所示一种多帧图像融合的示意图、图4所示一种联合导向滤波算法的示意图。
在本公开的实施例中，联合导向滤波算法，用于对多帧图像进行融合，联合导向滤波对同一窗口(即待处理范围)内不同帧的所有像素点进行加权计算，以此得到融合图像。
如图3，对于N帧图像，在每一帧图像对应的位置取w*w大小的窗口，得到参与运算的所有像素点。如图4所示对第k帧窗口中位置为[i，j](i∈[0，w-1]，j∈[0，w-1])的像素点为例进行多帧图像融合，其像素值为fk(i，j)对应的导向图相应位置的像素值为gk(i，j)，那么根据图3中窗口中的每个像素点进行加权融合后的结果为Fk(i，j)，即得到的融合图像。
其中，权重的设计考虑了滤波窗口内像素之间的空间距离，以及像素值之间的差值，同时权重可以根据不同帧图像进行调整，即对不同帧之间进行权重衰减。
综上，通过本公开得到的融合图像具有较好的动态范围，同时能够抑制融合的鬼影，并对图像中存在的噪声进行抑制。
图5为本公开实施例提供的一种图像融合装置500的结构示意图。如图5所示，该图像融合装置包括：
第一确定单元510，用于确定多帧图像的待处理区域，多帧图像包括第一图像和至少一个第二图像，多帧图像的待处理区域大小相同且位置对应；
第二确定单元520，用于确定第一图像的待处理区域中的第一像素点；
第三确定单元530，用于确定导向图中与第一像素点对应的像素点的导向像素值，导向图为对多帧图像进行融合的参考图像；
融合单元540，用于对多帧图像中的每个待处理区域的每个像素进行遍历，基于第一像素点的位置信息和第一像素值以及导向像素值，对多帧图像进行加权融合，得到融合图像。
在一些实施例中，第三确定单元530用于：将第一图像确定为导向图；将第一像素点对应的第一像素值确定为导向像素值。
在一些实施例中，第三确定单元530用于：从至少一个第二图像中确定第三图像，并将第三图像确定为导向图；将导向图中与第一像素点对应位置的像素点的像素值，确定为导向像素值。
在一些实施例中，融合单元540用于：基于第一像素点的位置信息，确定第一像素点与第一图像的待处理区域中的每个像素点的空间距离；确定多帧图像的待处理区域内每个像素点的像素值与导向像素值之间的差值；基于空间距离和差值，确定第一图像的加权系数；对多帧图像进行遍历，确定至少一个第二图像的加权系数；基于第一图像的加权系数和所至少一个第二图像的加权系数以及多帧图像的待处理区域的每个像素点的像素值，对多帧图像进行加权融合，得到融合图像。
在一些实施例中，第三确定单元530用于：将融合图像确定为导向图；将融合图像中的每个像素点的像素值确定为导向像素值；基于导向像素值，对多帧图像进行再融合处理。
综上，通过图像融合装置，确定多帧图像的待处理区域，多帧图像包括第一图像和至少一个第二图像，多帧图像的待处理区域大小相同且位置对应；确定第一图像的待处理区域中的第一像素点；确定导向图中与第一像素点对应的像素点的导向像素值，导向图为对多帧图像进行融合的参考图像；对多帧图像中的每个待处理区域的每个像素进行遍历，基于第一像素点的位置信息和第一像素值以及导向像素值，对多帧图像进行加权融合，得到融合图像，解决了融合图像细节较差的问题，通过在多帧图像进行融合时，联合导向滤波对同一待处理区域中不同帧的所有像素点进行加权计算，保证了融合后的图像能够保留更多的细节信息，能够有效避免鬼影和噪声等问题。
与上述几种实施例提供的方法相对应，本公开还提供一种图像融合装置，由于本公开实施例提供的装置与上述几种实施例提供的方法相对应，因此方法的实施方式也适用于本实施例提供的装置，在本实施例中不再详细描述。
上述本申请提供的实施例中，对本申请实施例提供的方法及装置进行了介绍。为了实现上述本申请实施例提供的方法中的各功能，电子设备可以包括硬件结构、软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能可以以硬件结构、软件模块、或者硬件结构加软件模块的方式来执行。
图6是根据一示例性实施例示出的一种用于实现上述图像融合方法的电子设备600的框图。例如，电子设备600可以是移动电话，计算机，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，电子设备600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制电子设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变，用户与电子设备600接触的存在或不存在，电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G LTE、5G NR(NewRadio)或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开的实施例还提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开上述实施例中描述的图像融合方法。
本公开的实施例还提出一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开上述实施例中描述的图像融合方法。
本公开的实施例还提出了一种芯片，该芯片包括一个或多个接口电路和一个或多个处理器；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令，当处理器执行计算机指令时，使得电子设备执行本公开上述实施例中描述的图像融合方法。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(控制方法)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施实施进行变化、修改、替换和变型。
Claims (9)
1.一种图像融合方法，其特征在于，所述方法包括：
确定多帧图像的待处理区域，所述多帧图像包括第一图像和至少一个第二图像，所述多帧图像的待处理区域大小相同且位置对应；
确定所述第一图像的待处理区域中的第一像素点；
确定导向图中与所述第一像素点对应的像素点的导向像素值，所述导向图为对所述多帧图像进行融合的参考图像；
对所述多帧图像中的每个待处理区域的每个像素进行遍历，基于所述第一像素点的位置信息和所述第一像素值以及所述导向像素值，对所述多帧图像进行加权融合，得到融合图像。
2.根据权利要求1所述的方法，其特征在于，所述确定导向图中与所述第一像素点对应的导向像素值包括：
将所述第一图像确定为所述导向图；
将所述第一像素点对应的第一像素值确定为所述导向像素值。
3.根据权利要求1所述的方法，其特征在于，所述确定导向图中与所述第一像素点对应的导向像素值包括：
从所述至少一个第二图像中确定第三图像，并将所述第三图像确定为所述导向图；
将所述导向图中与所述第一像素点对应位置的像素点的像素值，确定为所述导向像素值。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一像素点的位置信息以及所述导向像素值，对所述多帧图像进行加权融合，得到融合图像包括：
基于所述第一像素点的位置信息，确定所述第一像素点与所述第一图像的待处理区域中的每个像素点的空间距离；
确定所述多帧图像的待处理区域内每个像素点的像素值与所述导向像素值之间的差值；
基于所述空间距离和所述差值，确定所述第一图像的加权系数；
对所述多帧图像进行遍历，确定所述至少一个第二图像的加权系数；
基于所述第一图像的加权系数和所述至少一个第二图像的加权系数以及多帧图像的待处理区域的每个像素点的像素值，对所述多帧图像进行加权融合，得到所述融合图像。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
将所述融合图像确定为导向图；
将所述融合图像中的每个像素点的像素值确定为所述导向像素值；
基于所述导向像素值，对所述多帧图像进行再融合处理。
6.一种图像融合装置，其特征在于，所述装置包括：
第一确定单元，用于确定多帧图像的待处理区域，所述多帧图像包括第一图像和至少一个第二图像，所述多帧图像的待处理区域大小相同且位置对应；
第二确定单元，用于确定所述第一图像的待处理区域中的第一像素点；
第三确定单元，用于确定导向图中与所述第一像素点对应的像素点的导向像素值，所述导向图为对所述多帧图像进行融合的参考图像；
融合单元，用于对所述多帧图像中的每个待处理区域的每个像素进行遍历，基于所述第一像素点的位置信息和所述第一像素值以及所述导向像素值，对所述多帧图像进行加权融合，得到融合图像。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
9.一种芯片，其特征在于，包括一个或多个接口电路和一个或多个处理器；所述接口电路用于从电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括存储器中存储的计算机指令，当所述处理器执行所述计算机指令时，使得所述电子设备执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310180632.XA CN116188343A (zh) | 2023-02-27 | 2023-02-27 | 一种图像融合方法、装置、电子设备、芯片及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310180632.XA CN116188343A (zh) | 2023-02-27 | 2023-02-27 | 一种图像融合方法、装置、电子设备、芯片及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116188343A true CN116188343A (zh) | 2023-05-30 |
Family
ID=86432466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310180632.XA Pending CN116188343A (zh) | 2023-02-27 | 2023-02-27 | 一种图像融合方法、装置、电子设备、芯片及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188343A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740182A (zh) * | 2023-08-11 | 2023-09-12 | 摩尔线程智能科技(北京)有限责任公司 | 一种鬼影区域确定方法、装置、存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160080626A1 (en) * | 2014-09-16 | 2016-03-17 | Google Technology Holdings LLC | Computational Camera Using Fusion of Image Sensors |
| EP3686845A1 (en) * | 2017-10-13 | 2020-07-29 | Huawei Technologies Co., Ltd. | Image processing method and device and apparatus |
| KR102161166B1 (ko) * | 2019-03-27 | 2020-09-29 | 한화시스템 주식회사 | 영상 융합 방법 및 기록 매체 |
| CN113313661A (zh) * | 2021-05-26 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像融合方法、装置、电子设备及计算机可读存储介质 |
| CN115035013A (zh) * | 2022-06-22 | 2022-09-09 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
| CN115578273A (zh) * | 2022-09-19 | 2023-01-06 | 黑芝麻智能科技有限公司 | 图像多帧融合的方法、装置、电子设备及存储介质 |
-
2023
- 2023-02-27 CN CN202310180632.XA patent/CN116188343A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160080626A1 (en) * | 2014-09-16 | 2016-03-17 | Google Technology Holdings LLC | Computational Camera Using Fusion of Image Sensors |
| EP3686845A1 (en) * | 2017-10-13 | 2020-07-29 | Huawei Technologies Co., Ltd. | Image processing method and device and apparatus |
| KR102161166B1 (ko) * | 2019-03-27 | 2020-09-29 | 한화시스템 주식회사 | 영상 융합 방법 및 기록 매체 |
| CN113313661A (zh) * | 2021-05-26 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像融合方法、装置、电子设备及计算机可读存储介质 |
| CN115035013A (zh) * | 2022-06-22 | 2022-09-09 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
| CN115578273A (zh) * | 2022-09-19 | 2023-01-06 | 黑芝麻智能科技有限公司 | 图像多帧融合的方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740182A (zh) * | 2023-08-11 | 2023-09-12 | 摩尔线程智能科技(北京)有限责任公司 | 一种鬼影区域确定方法、装置、存储介质及电子设备 |
| CN116740182B (zh) * | 2023-08-11 | 2023-11-21 | 摩尔线程智能科技(北京)有限责任公司 | 一种鬼影区域确定方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3905203A1 (en) | Method and apparatus for processing video, and storage medium | |
| US20170178289A1 (en) | Method, device and computer-readable storage medium for video display | |
| KR101755412B1 (ko) | 동영상 파일의 식별자를 처리하는 방법, 장치, 프로그램 및 기록매체 | |
| CN107948505B (zh) | 一种全景拍摄方法及移动终端 | |
| JP6170626B2 (ja) | 構図変更方法、構図変更装置、端末、プログラム及び記録媒体 | |
| EP3945494A1 (en) | Video processing method, apparatus and storage medium | |
| CN111340731A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN104168422A (zh) | 处理图像的方法及装置 | |
| KR20150117820A (ko) | 영상 표시 방법 및 전자 장치 | |
| CN112738397A (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
| CN116188343A (zh) | 一种图像融合方法、装置、电子设备、芯片及介质 | |
| CN107730443B (zh) | 图像处理方法、装置及用户设备 | |
| CN114500821B (zh) | 拍照方法及装置、终端及存储介质 | |
| EP3799415A2 (en) | Method and device for processing videos, and medium | |
| CN111614910B (zh) | 一种文件生成方法、装置、电子设备及存储介质 | |
| CN114666490B (zh) | 对焦方法、装置、电子设备和存储介质 | |
| CN114422687B (zh) | 预览图像切换方法及装置、电子设备及存储介质 | |
| US11792518B2 (en) | Method and apparatus for processing image | |
| CN112669231B (zh) | 图像处理方法、图像处理模型的训练方法、装置、介质 | |
| EP3905660A1 (en) | Method and device for shooting image, and storage medium | |
| CN113315903B (zh) | 图像获取方法和装置、电子设备、存储介质 | |
| CN113873160B (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| CN110876013B (zh) | 确定图像分辨率的方法及装置、电子设备及存储介质 | |
| CN110876015B (zh) | 确定图像分辨率的方法及装置、电子设备及存储介质 | |
| EP4040437A1 (en) | Method and apparatus for playing an animation, device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |