CN111369481A - 图像融合方法、装置、存储介质和电子设备 - Google Patents
图像融合方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN111369481A CN111369481A CN202010131363.4A CN202010131363A CN111369481A CN 111369481 A CN111369481 A CN 111369481A CN 202010131363 A CN202010131363 A CN 202010131363A CN 111369481 A CN111369481 A CN 111369481A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- transparency
- template
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 88
- 230000000694 effects Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000003708 edge detection Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种图像融合方法、装置、存储介质和电子设备，该方法通过获取目标视频数据中第一图像和第二图像，该第一图像和该第二图像为相邻的两帧图像；确定该第一图像与该第二图像的重叠区域；从目标图像库中获取目标模板图像，该目标图像库中包括多个不同透明度的黑白模板图像；根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合。这样，根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合，能够有效提升图像融合效率，也能够有效提高图像融合效果的可靠性。
Description
技术领域
本公开涉及图像处理技术领域，具体地，涉及一种图像融合方法、装置、存储介质和电子设备。
背景技术
图像融合通常用于将具有时空上的相关性及信息上的互补性的多幅图像综合成一幅新的图像，一般融合后得到的图像可以获得对场景更全面、清晰的描述。目前在进行图像融合时，基本是由人工对待融合图像的重叠部分进行Alpha处理，即由人工分别调节两张待融合图像中相互重叠的目标区域对应的透明度，然后将两张图像中的目标区域部分进行线性加权处理，以实现该两张图像的融合。
然而，由于人工调节透明度是比较费时费力的事情，会导致图像融合效率较低，也不利于人工成本的节约，并且由于在调节过程中人工的不可控因素太多，也会出现图像融合效果可靠性较低的问题。
发明内容
本公开的目的是提供一种图像融合方法、装置、存储介质和电子设备，用于解决目前图像融合效率低，图像融合效果可靠性较差的问题。
为了实现上述目的，在本公开的第一方面提供一种图像融合方法，所述方法包括：
获取目标视频数据中第一图像和第二图像，所述第一图像和所述第二图像为相邻的两帧图像；
确定所述第一图像与所述第二图像的重叠区域；
从目标图像库中获取目标模板图像，所述目标图像库中包括多个不同透明度的黑白模板图像；
根据所述目标模板图像的透明度调节所述重叠区域的透明度，以使所述第一图像与所述第二图像的重叠区域融合。
可选地，所述从目标图像库中获取目标模板图像包括：
根据每个所述黑白模板图像对所述第一图像和所述第二图像中的所述重叠区域进行融合，以得到多个待定融合图像；
确定每个待定融合图像的融合效果；
根据所述融合效果从多个所述黑白模板图像中确定所述目标模板图像。
可选地，所述确定每个待定融合图像的融合效果包括：
对每个所述待定融合图像进行边缘检测和/或直线检测，以得到所述待定融合图像对应的痕迹线；
获取所述痕迹线的目标长度；
根据所述目标长度确定所述融合效果，其中，所述目标长度与所述融合效果负相关。
可选地，所述根据所述融合效果从多个所述黑白模板图像中确定所述目标模板图像，包括：
将融合效果最好的待定融合图像对应的黑白模板图像确定为所述目标模板图像。
可选地，所述根据所述目标模板图像的透明度调节所述重叠区域的透明度，以使所述第一图像与所述第二图像的重叠区域融合，包括：
根据所述目标模板图像的透明度调节所述第一图像中所述重叠区域处的透明度，以得到第一中间图像；
根据所述目标模板图像的透明度调节所述第二图像中所述重叠区域的透明度，以得到第二中间图像；
将所述第一中间图像与所述第二中间图像进行叠加，以使所述第一图像与所述第二图像的所述重叠区域融合。
可选地，在所述获取目标视频数据中第一图像和第二图像之前，所述方法还包括：
获取多个不同透明度的黑白模板图像，并根据所述黑白模板图像建立所述目标图像库。
在本公开的第二方面提供一种图像融合装置，所述装置包括：
第一获取模块，用于获取目标视频数据中第一图像和第二图像，所述第一图像和所述第二图像为相邻的两帧图像；
确定模块，用于确定所述第一图像与所述第二图像的重叠区域；
第二获取模块，用于从目标图像库中获取目标模板图像，所述目标图像库中包括多个不同透明度的黑白模板图像；
调节模块，用于根据所述目标模板图像的透明度调节所述重叠区域的透明度，以使所述第一图像与所述第二图像的重叠区域融合。
可选地，所述第二获取模块，包括：
生成子模块，用于根据每个所述黑白模板图像对所述第一图像和所述第二图像中的所述重叠区域进行融合，以得到多个待定融合图像；
第一确定子模块，用于确定每个待定融合图像的融合效果；
第二确定子模块，用于根据所述融合效果从多个所述黑白模板图像中确定所述目标模板图像。
可选地，所述第一确定子模块用于：
对每个所述待定融合图像进行边缘检测和/或直线检测，以得到所述待定融合图像对应的痕迹线；
获取所述痕迹线的目标长度；
根据所述目标长度确定所述融合效果，其中，所述目标长度与所述融合效果负相关。
可选地，所述第二确定子模块用于：
将融合效果最好的待定融合图像对应的黑白模板图像确定为所述目标模板图像。
可选地，所述调节模块，包括：
第一调节子模块，用于根据所述目标模板图像的透明度调节所述第一图像中所述重叠区域处的透明度，以得到第一中间图像；
第二调节子模块，用于根据所述目标模板图像的透明度调节所述第二图像中所述重叠区域的透明度，以得到第二中间图像；
融合子模块，用于将所述第一中间图像与所述第二中间图像进行叠加，以使所述第一图像与所述第二图像的所述重叠区域融合。
可选地，所述装置还包括：
第三获取模块，用于获取多个不同透明度的黑白模板图像，并根据所述黑白模板图像建立所述目标图像库。
在本公开的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上第一方面所述方法的步骤。
在本公开的第四方面提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现以上第一方面所述方法的步骤。
上述技术方案，通过获取目标视频数据中第一图像和第二图像，所述第一图像和所述第二图像为相邻的两帧图像；确定所述第一图像与所述第二图像的重叠区域；从目标图像库中获取目标模板图像，所述目标图像库中包括多个不同透明度的黑白模板图像；根据所述目标模板图像的透明度调节所述重叠区域的透明度，以使所述第一图像与所述第二图像的重叠区域融合。这样，根据所述目标模板图像的透明度调节所述重叠区域的透明度，以使所述第一图像与所述第二图像的重叠区域融合，能够有效提升图像融合效率，也能够有效提高图像融合效果的可靠性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开一示例性实施例示出的一种图像融合方法的流程图；
图2是本公开一示例性实施例示出的一种重叠区域的示意图；
图3是本公开另一示例性实施例示出的一种图像融合方法的流程图；
图4是本公开又一示例性实施例示出的一种图像融合装置的框图；
图5是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
在详细介绍本公开的具体实施方式之前，首先对本公开的应用场景进行简单说明，本公开可以应用于图像镶嵌过程，该图像镶嵌是指将对多幅图像通过透明度处理、去除重叠、色调调整等处理后，使多幅图像镶嵌到一起生成一幅新的图像的影像处理方法，在图像镶嵌过程中要尽量保证镶嵌后的影像没有镶嵌缝，图像质量不下降，色彩均衡，无鬼影。其中，去除重叠最常用的方法为对两幅图像的重叠区域进行图像融合，一般融合后得到的图像可以获得对场景更全面、清晰的描述。目前在进行图像融合时，基本是由人工对待融合图像的重叠部分进行Alpha处理，即由人工分别调节两张待融合图像中相互重叠的目标区域对应的透明度，然后将两张图像中的目标区域部分进行线性加权处理，以实现该两张图像的融合。然而，由于人工调节透明度是比较费时费力的事情，会导致图像融合效率较低，也不利于人工成本的节约，并且由于在调节过程中人工的不可控因素太多，也会出现图像融合效果可靠性较低的问题。
为了解决上述技术问题，本公开提供一种图像融合方法、装置、存储介质和电子设备，该方法通过获取目标视频数据中第一图像和第二图像，该第一图像和该第二图像为相邻的两帧图像；确定该第一图像与该第二图像的重叠区域；从目标图像库中获取目标模板图像，该目标图像库中包括多个不同透明度的黑白模板图像；根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合。这样，根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合，能够有效提升图像融合效率，也能够有效提高图像融合效果的可靠性。
图1是本公开一示例性实施例示出的一种图像融合方法的流程图；参见图1，该方法可以包括以下步骤：
步骤101，获取目标视频数据中第一图像和第二图像。
其中，该第一图像和该第二图像为相邻的两帧图像。
在本步骤中，可以先对目标视频图像进行解码，以获得按照时间先后顺序排列的序列帧图像数据，从该序列帧图像数据中获取相邻的两帧图像，并将该相邻的两帧图像中的任一帧确定为该第一图像，另一帧确定为第二图像。
步骤102，确定该第一图像与该第二图像的重叠区域。
其中，该重叠区域可以是该第一图像中包含的画面场景与该第二图像中涉及到的画面场景相同或者相似的部分。
示例地，参见图2所示，图2是本公开一示例性实施例示出的一种重叠区域的示意图；在该图2中，图像A拍摄到了一颗树的左半部分L和中间树干部分C，图像B拍摄到了这颗树的右半部分R及中间树干部分C，在该图像A与该图像B中都包含了该树的中间树干部分C，因此该图像A与该图像B对应的该重叠区域为中间树干部分C。
步骤103，从目标图像库中获取目标模板图像。
其中，该目标图像库中包括多个不同透明度的黑白模板图像，该黑白模板图像可以是渐变图像，噪声图像及泊松图像等。
在本步骤中，一种可能的实施方式为：根据每个该黑白模板图像对该第一图像和该第二图像中的该重叠区域进行融合，以得到多个待定融合图像；确定每个待定融合图像的融合效果；根据该融合效果从多个该黑白模板图像中确定该目标模板图像。在确定每个待定融合图像的融合效果时，可以对每个该待定融合图像进行边缘检测和/或直线检测，以得到该待定融合图像对应的痕迹线；获取该痕迹线的目标长度；根据该目标长度确定该融合效果，其中，该目标长度与该融合效果负相关。
需要说明的是，该目标图像库为在执行步骤101之前预先建立的，在建立该目标图像库时，可以根据人工经验收集适合调节图像透明度的黑白图像作为黑白模板图像，并对该黑白模板图像进行适当的标记，建立该目标图像库，以方便再次调取和利用。
另外，在采用该边缘检测方式确定该待融合图像的融合效果时，可以通过Canny边缘检测算法获取该重叠区域内的边缘线，并确定该重叠区域内包含的所有边缘线的长度之和，并将该长度之和确定为该痕迹线的目标长度，该长度之和越大，表征该融合效果越差，该长度之和越小，说明该融合效果越好；在采用直线检测方式确定该待融合图像的融合效果时，可以通过LSD(a Line Segment Detector，直线检测)算法获取该重叠区域内包含的轮廓线，并获取该重叠区域内包含的所有轮廓线的长度之和，并将所有轮廓线的长度之和确定为该痕迹线的目标长度，在痕迹线的目标长度越长，表征该融合效果越差，获取到的痕迹线的目标长度越短，说明该融合效果越好。同时通过Canny边缘检测算法和LSD算法对每个该待定融合图像进行检测时，通过Canny边缘检测算法能够得到该重叠区域内包含的边缘线，采用LSD算法能够得到该重叠区域内包含的轮廓线，这样同时对每个该待定融合图像进行边缘检测和直线检测，能够得到每个该待定融合图像对应的边缘线和轮廓线，然后获取每个该待定融合图像对应的边缘线和轮廓线的总长度，并将该边缘线和轮廓线的总长度确定为该痕迹线的该目标长度，同样该目标长度越长，表征该融合效果越差，获取到的痕迹线的目标长度越短，说明该融合效果越好。其中，该Canny边缘检测算法和该LSD算法均为本领域内技术人员的常用技术，本公开在此不再赘述。
步骤104，根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合。
其中，该目标模板图像中指定区域中的像素点与该第一图像和该第二图像上的该重叠区域中的像素点一一对应，该指定区域可以包括该目标模板图像中的部分区域或者全部区域。
本步骤中一种可能的实施方式为，根据该目标模板图像的透明度调节该第一图像中该重叠区域处的透明度，以得到第一中间图像；根据该目标模板图像的透明度调节该第二图像中该重叠区域的透明度，以得到第二中间图像；将该第一中间图像与该第二中间图像进行叠加，以使该第一图像与该第二图像的该重叠区域融合。
需要说明的是，该目标模板图像上指定区域中的像素点与该第一图像和该第二图像上的该重叠区域中的像素点一一对应，即在该指定区域中的每个像素点在该第一图像和该第二图像上的该重叠区域都有一个像素点与其对应，该指定区域可以包括该目标模板图像中的部分区域或者全部区域。在根据该目标模板图像的透明度调节该第一图像中该重叠区域处的透明度与该第二图像中该重叠区域处的透明度时，若该目标模板图像中目标像素点处对应的透明度为d时，可以将第一图像中该重叠区域内与该目标像素点对应的像素点处的透明度调节为d，并将该第二图像中该重叠区域内与该目标像素点对应的像素点处的透明度调节为1-d，其中d∈[0,1]，在该目标像素点的透明度为0时，在该目标模板图像上该目标像素点处显示为白色，在该透明度为1时，在该目标模板图像上该目标像素点处为黑色。在将该第一中间图像与该第二中间图像进行叠加时，可以采用以下公式进行：
C＝d·A+(1-d)·B；
其中，d表示目标模板图像中该目标像素点的透明度，C表示融合后目标像素点对应位置处的颜色值，A表示该第一图像中该重叠区域内与该目标像素点对应的像素点处的颜色值，B表示该第二图像中该重叠区域内与该目标像素点对应的像素点处的颜色值，该目标像素点以是该目标模板图像中的任一像素点。
上述技术方案，通过获取目标视频数据中第一图像和第二图像，该第一图像和该第二图像为相邻的两帧图像；确定该第一图像与该第二图像的重叠区域；从目标图像库中获取目标模板图像，该目标图像库中包括多个不同透明度的黑白模板图像；根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合。这样，根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合，能够有效提升图像融合效率，也能够有效提高图像融合效果的可靠性。
图3是本公开另一示例性实施例示出的一种图像融合方法的流程图；参见图3，该方法可以包括以下步骤：
步骤301，获取多个不同透明度的黑白模板图像，并根据该黑白模板图像建立该目标图像库。
其中，该黑白模板图像可以是渐变图像，噪声图像及泊松图像等。
在本步骤中，可以根据人工经验收集适合调节图像透明度的黑白图像作为黑白模板图像，并对该黑白模板图像进行适当的标记，建立该目标图像库，以方便再次调取和利用。
步骤302，获取目标视频数据中第一图像和第二图像。
其中，该第一图像和该第二图像为相邻的两帧图像。
在本步骤中，可以先对目标视频图像进行解码，以获得按照时间先后顺序排列的序列帧图像数据，从该序列帧图像数据中获取相邻的两帧图像，并将该相邻的两帧图像中的任一帧确定为该第一图像，另一帧确定为第二图像。
步骤303，确定该第一图像与该第二图像的重叠区域。
其中，该重叠区域可以是该第一图像中包含的画面场景与该第二图像中涉及到的画面场景相同或者相似的部分。
步骤304，根据每个该黑白模板图像对该第一图像和该第二图像中的该重叠区域进行融合，以得到多个待定融合图像。
其中，该黑白模板图像中的目标区域中的像素点与该第一图像和该第二图像上的重叠区域中的像素点一一对应，即在该目标区域中的每个像素点在该第一图像和该第二图像上的该重叠区域都有一个像素点与其对应，该目标区域可以包括该黑白模板图像中的部分区域或者全部区域。
在本步骤中一种可能的实施方式为：根据每个黑白模板图像的透明度调节该第一图像和该第二图像中该重叠区域处的透明度，以得到相应的中间图像；并将每个黑白模板图像对应的两个中间图像进行叠加，以得到该黑白模板图像对应的待定融合图像。
需要说明的是，根据该黑白模板图像的透明度调节该第一图像和该第二图像中该重叠区域处的透明度时，若该黑白模板图像中某指定像素点处对应的透明度为d，则可以将第一图像中该重叠区域内与该指定像素点位置对应的像素点处的透明度调节为d，并将该第二图像中该重叠区域内与该指定像素点位置对应的像素点处的透明度调节为1-d，其中d∈[0,1]，在该指定像素点的透明度为0时，在该黑白模板图像上该指定像素点处显示为白色，在该透明度为1时，在该黑白模板图像上该指定像素点处为黑色。上述将两个中间图像进行叠加的过程可以采用以下公式进行：
C＝d·A+(1-d)·B；
其中，d表示该黑白模板图像中指定像素点的透明度，C表示融合后该指定像素点对应位置处的颜色值，A表示该第一图像中该重叠区域内与该指定像素点对应的像素点处的颜色值，B表示该第二图像中该重叠区域内与该指定像素点对应的像素点处的颜色值，该指定像素点可以是该黑白模板图像中的任一像素点。
另外，还需说明的是，在该黑白模板图像被确定为该目标模板图像之后，该目标区域即为指定区域，该指定像素点即为目标像素点。
步骤305，对每个该待定融合图像进行边缘检测和/或直线检测，以得到该待定融合图像对应的痕迹线。
本步骤中可以包括以下三总实施方式：
方式一：采用边缘检测的方式对每个该待定融合图像进行边缘检测，以得到每个该待定融合图像对应的边缘线，然后获取每个该待定融合图像对应的边缘线的总长度，并将该边缘线的总长度确定为该痕迹线的目标长度。
方式二：采用直线检测的方式对每个该待定融合图像进行直线检测，以得到每个该待定融合图像对应的轮廓线，然后获取每个该待定融合图像对应的轮廓线的总长度，并将该轮廓线的总长度确定为该痕迹线的目标长度。
方式三：采用边缘检测的方式对每个该待定融合图像进行边缘检测，并采用直线检测的方式对每个该待定融合图像进行直线检测，以得到每个该待定融合图像对应的边缘线和轮廓线，然后获取每个该待定融合图像对应的边缘线和轮廓线的总长度，并将该边缘线和轮廓线的总长度确定为该痕迹线的该目标长度。
步骤306，获取该痕迹线的目标长度。
步骤307，根据该目标长度确定该融合效果。
其中，该目标长度与该融合效果负相关；也就是说，在痕迹线的目标长度越长，表征该融合效果越差，获取到的痕迹线的目标长度越短，说明该融合效果越好。
步骤308，将融合效果最好的待定融合图像对应的黑白模板图像确定为该目标模板图像。
步骤309，根据该目标模板图像的透明度调节该第一图像中该重叠区域处的透明度，以得到第一中间图像。
其中，该目标模板图像上指定区域中的像素点与该第一图像上的该重叠区域中的像素点一一对应，即在该指定区域中的每个像素点在该第一图像上的该重叠区域都有一个像素点与其对应，该指定区域可以包括该目标模板图像中的部分区域或者全部区域。在根据该目标模板图像的透明度调节该第一图像中该重叠区域处的透明度时，按照该指定区域中的像素点与该第一图像上的该重叠区域中的像素点一一对应关系，根据该指定区域中的像素点的透明度调节该第一图像上的该重叠区域中每个像素点处的透明度。
步骤310，根据该目标模板图像的透明度调节该第二图像中该重叠区域的透明度，以得到第二中间图像。
其中，该目标模板图像上指定区域中的像素点与该第二图像上的该重叠区域中的像素点一一对应，即在该指定区域中的每个像素点在该第二图像上的该重叠区域都有一个像素点与其对应，该指定区域可以包括该目标模板图像中的部分区域或者全部区域。在根据该目标模板图像的透明度调节该第二图像中该重叠区域处的透明度时，按照该指定区域中的像素点与该第二图像上的该重叠区域中的像素点一一对应关系，根据该指定区域中的像素点的透明度调节该第二图像上的该重叠区域中每个像素点处的透明度。
步骤311，将该第一中间图像与该第二中间图像进行叠加，以使该第一图像与该第二图像的该重叠区域融合。
在本步骤中，对该第一中间图像和该第二中间图像进行叠加的详细实施方式，可以参考上述图1中步骤104所述的实施过程，此处不再赘述。
上述技术方案，通过获取目标视频数据中第一图像和第二图像，该第一图像和该第二图像为相邻的两帧图像；确定该第一图像与该第二图像的重叠区域；从目标图像库中获取目标模板图像，该目标图像库中包括多个不同透明度的黑白模板图像；根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合。这样，根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合，能够有效提升图像融合效率，也能够有效提高图像融合效果的可靠性。
图4是本公开又一示例性实施例示出的一种图像融合装置的框图；参见图4，该装置包括：
第一获取模块401，用于获取目标视频数据中第一图像和第二图像，该第一图像和该第二图像为相邻的两帧图像；
确定模块402，用于确定该第一图像与该第二图像的重叠区域；
第二获取模块403，用于从目标图像库中获取目标模板图像，该目标图像库中包括多个不同透明度的黑白模板图像；
调节模块404，用于根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合。
上述技术方案，通过第一获取模块401获取目标视频数据中第一图像和第二图像，该第一图像和该第二图像为相邻的两帧图像；通过确定模块402确定该第一图像与该第二图像的重叠区域；通过第二获取模块403从目标图像库中获取目标模板图像，该目标图像库中包括多个不同透明度的黑白模板图像；通过调节模块404根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合。这样，根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合，能够有效提升图像融合效率，也能够有效提高图像融合效果的可靠性。
可选地，该第二获取模块403，包括：
生成子模块4031，用于根据每个该黑白模板图像对该第一图像和该第二图像中的该重叠区域进行融合，以得到多个待定融合图像；
第一确定子模块4032，用于确定每个待定融合图像的融合效果；
第二确定子模块4033，用于根据该融合效果从多个该黑白模板图像中确定该目标模板图像。
可选地，该第一确定子模块4032用于：
对每个该待定融合图像进行边缘检测和/或直线检测，以得到该待定融合图像对应的痕迹线；
获取该痕迹线的目标长度；
根据该目标长度确定该融合效果，其中，该目标长度与该融合效果负相关。
可选地，该第二确定子模块4033用于：
将融合效果最好的待定融合图像对应的黑白模板图像确定为该目标模板图像。
可选地，该调节模块404，包括：
第一调节子模块4041，用于根据该目标模板图像的透明度调节该第一图像中该重叠区域处的透明度，以得到第一中间图像；
第二调节子模块4042，用于根据该目标模板图像的透明度调节该第二图像中该重叠区域的透明度，以得到第二中间图像；
融合子模块4043，用于将该第一中间图像与该第二中间图像进行叠加，以使该第一图像与该第二图像的该重叠区域融合。
可选地，该装置还包括：
第三获取模块405，用于获取多个不同透明度的黑白模板图像，并根据该黑白模板图像建立该目标图像库。
这样，根据该目标模板图像的透明度调节该重叠区域的透明度，以使该第一图像与该第二图像的重叠区域融合，能够有效提升图像融合效率，也能够有效提高图像融合效果的可靠性。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备500可以被提供为一服务器。参照图5，电子设备500包括处理器522，其数量可以为一个或多个，以及存储器532，用于存储可由处理器522执行的计算机程序。存储器532中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器522可以被配置为执行该计算机程序，以执行上述的图像融合方法。
另外，电子设备500还可以包括电源组件526和通信组件550，该电源组件526可以被配置为执行电子设备500的电源管理，该通信组件550可以被配置为实现电子设备500的通信，例如，有线或无线通信。此外，该电子设备500还可以包括输入/输出(I/O)接口558。电子设备500可以操作基于存储在存储器532的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像融合方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器532，上述程序指令可由电子设备500的处理器522执行以完成上述的图像融合方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (10)
1.一种图像融合方法，其特征在于，所述方法包括：
获取目标视频数据中第一图像和第二图像，所述第一图像和所述第二图像为相邻的两帧图像；
确定所述第一图像与所述第二图像的重叠区域；
从目标图像库中获取目标模板图像，所述目标图像库中包括多个不同透明度的黑白模板图像；
根据所述目标模板图像的透明度调节所述重叠区域的透明度，以使所述第一图像与所述第二图像的重叠区域融合。
2.根据权利要求1所述的方法，其特征在于，所述从目标图像库中获取目标模板图像包括：
根据每个所述黑白模板图像对所述第一图像和所述第二图像中的所述重叠区域进行融合，以得到多个待定融合图像；
确定每个待定融合图像的融合效果；
根据所述融合效果从多个所述黑白模板图像中确定所述目标模板图像。
3.根据权利要求2所述的方法，其特征在于，所述确定每个待定融合图像的融合效果包括：
对每个所述待定融合图像进行边缘检测和/或直线检测，以得到所述待定融合图像对应的痕迹线；
获取所述痕迹线的目标长度；
根据所述目标长度确定所述融合效果，其中，所述目标长度与所述融合效果负相关。
4.根据权利要求2所述的方法，其特征在于，所述根据所述融合效果从多个所述黑白模板图像中确定所述目标模板图像，包括：
将融合效果最好的待定融合图像对应的黑白模板图像确定为所述目标模板图像。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标模板图像的透明度调节所述重叠区域的透明度，以使所述第一图像与所述第二图像的重叠区域融合，包括：
根据所述目标模板图像的透明度调节所述第一图像中所述重叠区域处的透明度，以得到第一中间图像；
根据所述目标模板图像的透明度调节所述第二图像中所述重叠区域的透明度，以得到第二中间图像；
将所述第一中间图像与所述第二中间图像进行叠加，以使所述第一图像与所述第二图像的所述重叠区域融合。
6.根据权利要求1至5任一项所述的方法，其特征在于，在所述获取目标视频数据中第一图像和第二图像之前，所述方法还包括：
获取多个不同透明度的黑白模板图像，并根据所述黑白模板图像建立所述目标图像库。
7.一种图像融合装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标视频数据中第一图像和第二图像，所述第一图像和所述第二图像为相邻的两帧图像；
确定模块，用于确定所述第一图像与所述第二图像的重叠区域；
第二获取模块，用于从目标图像库中获取目标模板图像，所述目标图像库中包括多个不同透明度的黑白模板图像；
调节模块，用于根据所述目标模板图像的透明度调节所述重叠区域的透明度，以使所述第一图像与所述第二图像的重叠区域融合。
8.根据权利要求7所述的装置，其特征在于，所述第二获取模块，包括：
生成子模块，用于根据每个所述黑白模板图像对所述第一图像和所述第二图像中的所述重叠区域进行融合，以得到多个待定融合图像；
第一确定子模块，用于确定每个待定融合图像的融合效果；
第二确定子模块，用于根据所述融合效果从多个所述黑白模板图像中确定所述目标模板图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010131363.4A CN111369481B (zh) | 2020-02-28 | 2020-02-28 | 图像融合方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010131363.4A CN111369481B (zh) | 2020-02-28 | 2020-02-28 | 图像融合方法、装置、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111369481A true CN111369481A (zh) | 2020-07-03 |
| CN111369481B CN111369481B (zh) | 2020-11-20 |
Family
ID=71212320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010131363.4A Active CN111369481B (zh) | 2020-02-28 | 2020-02-28 | 图像融合方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111369481B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112565722A (zh) * | 2020-10-24 | 2021-03-26 | 北京博睿维讯科技有限公司 | 一种基于图像融合的融合带调校方法、装置及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617605A (zh) * | 2013-09-22 | 2014-03-05 | 天津大学 | 针对三模态医学图像的透明度加权融合方法 |
| CN103729834A (zh) * | 2013-12-23 | 2014-04-16 | 西安华海盈泰医疗信息技术有限公司 | 一种x射线影像的自适应拼接方法及其拼接系统 |
| CN104644202A (zh) * | 2013-11-20 | 2015-05-27 | 株式会社东芝 | 医用图像数据处理装置、医用图像数据处理方法以及医用图像数据处理程序 |
| CN105894451A (zh) * | 2016-03-30 | 2016-08-24 | 沈阳泰科易科技有限公司 | 全景图像拼接方法和装置 |
| CN107146200A (zh) * | 2017-04-25 | 2017-09-08 | 广西大学 | 一种基于图像拼接质量评价的无人机遥感图像拼接方法 |
| CN107204034A (zh) * | 2016-03-17 | 2017-09-26 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及终端 |
| CN108989678A (zh) * | 2018-07-27 | 2018-12-11 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端 |
| CN109102464A (zh) * | 2018-08-14 | 2018-12-28 | 四川易为智行科技有限公司 | 全景图像拼接方法及装置 |
| US20190259139A1 (en) * | 2016-11-17 | 2019-08-22 | Sony Corporation | Image processing device and image processing method |
| CN110544218A (zh) * | 2019-09-03 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
| CN110838086A (zh) * | 2019-11-07 | 2020-02-25 | 上海大学 | 一种基于相关性模板匹配的室外图像拼接方法 |
-
2020
- 2020-02-28 CN CN202010131363.4A patent/CN111369481B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617605A (zh) * | 2013-09-22 | 2014-03-05 | 天津大学 | 针对三模态医学图像的透明度加权融合方法 |
| CN104644202A (zh) * | 2013-11-20 | 2015-05-27 | 株式会社东芝 | 医用图像数据处理装置、医用图像数据处理方法以及医用图像数据处理程序 |
| CN103729834A (zh) * | 2013-12-23 | 2014-04-16 | 西安华海盈泰医疗信息技术有限公司 | 一种x射线影像的自适应拼接方法及其拼接系统 |
| CN107204034A (zh) * | 2016-03-17 | 2017-09-26 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及终端 |
| CN105894451A (zh) * | 2016-03-30 | 2016-08-24 | 沈阳泰科易科技有限公司 | 全景图像拼接方法和装置 |
| US20190259139A1 (en) * | 2016-11-17 | 2019-08-22 | Sony Corporation | Image processing device and image processing method |
| CN107146200A (zh) * | 2017-04-25 | 2017-09-08 | 广西大学 | 一种基于图像拼接质量评价的无人机遥感图像拼接方法 |
| CN108989678A (zh) * | 2018-07-27 | 2018-12-11 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端 |
| CN109102464A (zh) * | 2018-08-14 | 2018-12-28 | 四川易为智行科技有限公司 | 全景图像拼接方法及装置 |
| CN110544218A (zh) * | 2019-09-03 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
| CN110838086A (zh) * | 2019-11-07 | 2020-02-25 | 上海大学 | 一种基于相关性模板匹配的室外图像拼接方法 |
Non-Patent Citations (3)
| Title |
|---|
| DHEERAJ SINGARAJU 等: "Estimation of Alpha Mattes for Multiple Image Layers", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 万国挺 等: "图像拼接质量评价方法", 《通信学报》 * |
| 石云飞 等: "基于模板匹配的柱面全景图拼接优化算法", 《工程学图报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112565722A (zh) * | 2020-10-24 | 2021-03-26 | 北京博睿维讯科技有限公司 | 一种基于图像融合的融合带调校方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111369481B (zh) | 2020-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9892493B2 (en) | Method, apparatus and system for performing geometric calibration for surround view camera solution | |
| CN107945112B (zh) | 一种全景图像拼接方法及装置 | |
| CN101431617B (zh) | 用于合并视频以实时显示的方法和系统 | |
| US20210208381A1 (en) | Information processing apparatus, imaging control method, program, digital microscope system, display control apparatus, display control method, and program including detection of a failure requiring reimaging | |
| US9533618B2 (en) | Method, apparatus and system for processing a display from a surround view camera solution | |
| US20090161982A1 (en) | Restoring images | |
| CA2702165C (en) | Image generation method and apparatus, program therefor, and storage medium which stores the program | |
| JPH1091765A (ja) | 画像合成装置及びその方法 | |
| CN108769578A (zh) | 一种基于多路摄像头的实时全景成像系统及方法 | |
| JP4798236B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| US20220180475A1 (en) | Panoramic image synthesis device, panoramic image synthesis method and panoramic image synthesis program | |
| CN111311528B (zh) | 图像融合优化方法、装置、设备和介质 | |
| CN111369481B (zh) | 图像融合方法、装置、存储介质和电子设备 | |
| CN105139340A (zh) | 一种全景照片的拼接方法及装置 | |
| Cha et al. | Seamless and fast panoramic image stitching | |
| KR101819984B1 (ko) | 실시간 영상 합성 방법 | |
| CN109218602B (zh) | 影像撷取装置、影像处理方法及电子装置 | |
| CN107426561B (zh) | 一种3d360度的虚拟现实直播方法及装置 | |
| JP5076002B1 (ja) | 画像処理装置及び画像処理方法 | |
| US20240029386A1 (en) | Video stitching method and system | |
| CN110677577A (zh) | 图像处理方法及装置 | |
| Chang et al. | A low-complexity image stitching algorithm suitable for embedded systems | |
| JPH1083442A (ja) | 画像合成方法 | |
| Su et al. | A practical and adaptive framework for super-resolution | |
| CN113837979B (zh) | 直播图像合成方法、装置、终端设备以及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 307, 3 / F, supporting public building, Mantingfangyuan community, qingyanli, Haidian District, Beijing 100086 Patentee after: Beijing Wuyi Vision digital twin Technology Co.,Ltd. Address before: Room 307, 3 / F, supporting public building, Mantingfangyuan community, qingyanli, Haidian District, Beijing 100086 Patentee before: DANGJIA MOBILE GREEN INTERNET TECHNOLOGY GROUP Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |