CN109285136A - 一种图像的多尺度融合方法、装置、存储介质及终端 - Google Patents
一种图像的多尺度融合方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN109285136A CN109285136A CN201811012085.XA CN201811012085A CN109285136A CN 109285136 A CN109285136 A CN 109285136A CN 201811012085 A CN201811012085 A CN 201811012085A CN 109285136 A CN109285136 A CN 109285136A
- Authority
- CN
- China
- Prior art keywords
- image
- focal length
- short focus
- key point
- reference block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 238000002156 mixing Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000010586 diagram Methods 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 238000002844 melting Methods 0.000 claims 1
- 230000008018 melting Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像的多尺度融合方法、装置、存储介质及终端。该方法包括：获取一张短焦图像和至少一张长焦图像；利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的；从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像；利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。通过采用本申请所提供的技术方案，可以集成于非结构化相机阵列中，用于实现降低硬件需求，提高图像融合速度与鲁棒性的效果。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像的多尺度融合方法、装置、存储介质及终端。
背景技术
随着科技水平的发展，以及现阶段对图像或者视频的像素要求的提升，十亿像素图像已经成为行业中的需求。
十亿像素图像技术，采用的是一个短焦相机和多个长焦相机同时记录下场景图像，再利用将长焦相机拍摄得到的图像替换掉短焦相机相应位置的图像，这样就可以得到范围大而且图像清晰的效果，其中需要涉及到定位、图像结合的技术手段。现有技术中，不仅对硬件提出了极高的要求，同时对软件方面也是极大的挑战，由于需要在短时间内完成大量信息的处理，所以计算效率和鲁棒性都成为了行业的痛点。
发明内容
本申请实施例提供一种图像的多尺度融合方法、装置、存储介质及终端，可以集成于非结构化相机阵列中，用于实现降低硬件需求，提高图像融合速度与鲁棒性的效果。
第一方面，本申请实施例提供了一种图像的多尺度融合方法，该方法包括：
获取一张短焦图像和至少一张长焦图像；
利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的；
从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像；
利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
进一步的，所述利用块匹配算法，确定短焦参考块，包括：
利用块匹配算法，对所述短焦图像和所述长焦图像进行块匹配，得到第一响应图；
对所述短焦图像的结构边缘图和所述长焦图像的结构边缘图进行块匹配，得到第二响应图；
将所述第一响应图和所述第二响应图做点积来定位所述长焦图像对应到所述短焦图像中的位置；并从所述短焦图像中抠出的和所述长焦图像对应的部分，确定为短焦参考块。
进一步的，从所述长焦图像和所述短焦参考块中取4对匹配点，包括：
对所述短焦参考块按照预设方式切分，得到短焦参考块子块，作为搜索区域；
对所述长焦图像按照所述预设方式切分，得到长焦图像子图像，并在每个长焦图像子图像中间选择预设区域作为模板；
将所述模板和所述搜索区域做匹配，得到4对匹配点。
进一步的，所述预设方式切分为按照长宽方向划分为2*2的4图像区域；
相应的，
所述将所述模板和所述搜索区域做匹配，得到4对匹配点，包括：
将所述4个模板和所述4个搜索区域进行对应位置匹配，得到每个所述模板和每个所述搜索区域的1对匹配点，共计得到4对匹配点。
进一步的，利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像，包括：
对于所述短焦参考块进行关键点检测；
对于每个所述关键点，确定对应的关键点图像块；
通过所述关键点图像块的结构边缘图计算关键点分数，对所述关键点分数低于预设阈值的关键点进行滤除；
利用滤除后的关键点与所述粗对齐长焦图像进行关键点匹配；
根据关键点匹配结果，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
进一步的，通过所述关键点图像块的结构边缘图计算关键点分数，包括：
通过所述关键点图像块的结构边缘图中，计算所有像素点的像素值之和，确定为关键点分数。
进一步的，利用滤除后的关键点与所述粗对齐长焦图像进行关键点匹配，包括：
在所述短焦参考块中，以滤除后的关键点为中心，以M个像素点为边长的块作为关键点匹配模板；
在所述粗对齐长焦图像中，以滤除后的关键点在所述短焦参考块的坐标位置所对应的在所述粗对齐长焦图像中的像素点为中心，以N个像素点为边长的块作为关键点匹配搜索区域；其中M小于N；
将所述关键点匹配模板和所述关键点匹配搜索区域做匹配，得到在所述粗对齐长焦图像中与所述滤除后的关键点匹配的关键点。
进一步的，所述M和所述N均为2的正整数次幂。
进一步的，在将所述关键点匹配模板和所述关键点匹配搜索区域做匹配，得到在所述粗对齐长焦图像中与所述滤除后的关键点匹配的关键点之后，所述方法还包括：
将所述短焦参考块和所述粗对齐长焦图像划分为网格；
采用至少两种不同的尺度对所述短焦参考块滤除后的关键点和所述粗对齐长焦图像与所述滤除后的关键点匹配的关键点采用随机抽样一致算法进行去噪，得到高置信度的匹配关键点。
进一步的，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像，包括：
将所述短焦参考块和所述粗对齐长焦图像划分为网格；
采用至少两种不同的尺度，确定每个尺度所对应的单应性矩阵；
根据所述每个尺度所对应的单应性矩阵，确定控制网格的网格控制点的位置；其中，在同一尺度内，被多个单应性矩阵覆盖的网格控制点，按照每个覆盖单应性矩阵的所计算出的位置的平均值，作为被多个单应性矩阵覆盖的网格控制点的位置；
根据所得到的网格控制点的位置确定每个尺度下的目标网格；
对所述每个尺度下的目标网格进行融合，得到融合图像。
进一步的，对所述每个尺度下的目标网格进行融合，得到融合图像，包括：
以大尺度的目标网格的控制点为中心确定置信区域；
当小尺度的目标网格的控制点在置信区域范围内时，则以小尺度的目标网格的控制点为准；遍历所有的尺度，确定最终目标网格的控制点的位置；
根据所述最终目标网格的控制点的位置确定融合图像。
第二方面，本申请实施例还提供了一种图像融合装置，该装置包括：
图像获取模块，用于获取一张短焦图像和至少一张长焦图像；
短焦参考块确定模块，用于利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的；
粗对齐长焦图像确定模块，用于从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像；
图像融合模块，用于利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的图像的多尺度融合方法。
第四方面，本申请实施例提供了一种终端，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的图像的多尺度融合方法。
本申请实施例所提供的技术方案，通过获取一张短焦图像和至少一张长焦图像；利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的；从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像；利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。通过采用本申请所提供的技术方案，可以集成于非结构化相机阵列中，用于实现降低硬件需求，提高图像融合速度与鲁棒性的效果。
附图说明
图1是本申请实施例一提供的图像的多尺度融合方法的流程图；
图2是本申请实施例二提供的图像的多尺度融合方法的流程图；
图3是本申请实施例三提供的图像的多尺度融合方法的流程图；
图4是本申请实施例四提供的图像的多尺度融合方法的流程图；
图5是本申请实施例五提供的图像融合装置的结构示意图；
图6为本申请实施例提供的一种终端的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本申请实施例一提供的图像的多尺度融合方法的流程图，本实施例可适用图像或者视频采集的情况，该方法可以由本申请实施例所提供的图像融合装置来执行，该装置可以由软件和/或硬件的方式来实现，并可集成于非结构化相机阵列图像获取终端中。
如图1所示，所述图像的多尺度融合方法包括：
S110、获取一张短焦图像和至少一张长焦图像。
其中，短焦图像和长焦图像可以是相对而言的，例如，在一组相机阵列中，可以是将焦距最短的相机所获取到的图像作为短焦图像，其他摄像头所获取到的图像作为长焦图像，这样，得到的短焦图像为一张，长焦图像为多张，长焦图像最少也可以是一张。除此之外，还可以将短焦图像和长焦图像根据相机的焦距来进行定义，如，相机的焦距为4-16mm的，获取到的图像作为短焦图像，相机的焦距为25-135mm甚至更大的，获取到的图像作为长焦图像。由于本实施例所提供的技术方案是将长焦图像和短焦图像进行融合，得到高分辨率的图像，所以短焦图像只要一张就可以，所以在一组相机阵列中，可以只设置一个短焦相机，再设置多个长焦相机。这样，将所有的长焦相机得到的长焦图像融合到短焦相机中，就可以得到一张像素高于单个相机所拍摄的到的图像，最终形成高像素图像或者视频。
S120、利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的。
其中，块匹配算法可以是ZNCC算法(zero-mean normalized 2d crosscorrelation，去均值归一化模板互相关算法)，采用ZNCC算法的好处是性能更加稳定，抗干扰能力强。短焦参考块可以是在短焦图像中与长焦图像相对应的参考图块。
在本实施例中，短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的。其中，包括通过短焦图像和长焦图像进行图像块匹配得到的结果，还有短焦图像的结构边缘图和长焦图像的结构边缘图进行块匹配得到的结果。本实施例这样设置的好处是可以更加准确的确定短焦图像中长焦图像的位置。示例性的，例如一块长10米、宽8米的宣传画，在一定距离处的一组相机阵列中，其在短焦相机拍摄到的结果中可能是图像的1/10的范围内，而在一个长焦相机拍摄到的结果中可能是图像的全部范围，而通过图像块匹配和结构边缘图块匹配就可以确定长焦图像中的影像在短焦图像中的具体位置，进而确定短焦参考块。本实施例中，通过将两次匹配结果进行融合，可以得到更加准确的短焦参考块，可以提高本方案的图像同和的准确性，鲁棒性强。
S130、从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像。
其中，单应性矩阵是同一物体在两个图像中成像，由于视距视角的不同，而呈现出不同的图像，比如，一个物体可以通过旋转相机镜头获取两张不同的照片(这两张照片的内容不一定要完全对应，部分对应即可)，我们可以把单应性设为一个二维矩阵M，那么照片1乘以M就是照片2。这有着很多实际应用，比如图像校正、图像对齐或两幅图像之间的相机运动计算(旋转和平移)等。
可以通过获取到4对匹配点的坐标来实现单应性矩阵的运算，并且通过单应性矩阵，已知图像中各个像素点在变换后的位置，形成变换后的图像。例如，可以首先获取书本四个顶点的坐标pts_src；然后我们需要知道书本的宽高比，此书的宽高比是3：4，所以可使输出图像的size为300*400，就可设其四个点的坐标为(0,0)，(299,0)，(299,399)，(0,399)保存在pts_dst中；通过pts_src和pts_dst获取单应性矩阵(homography)；对原图应用homography得到输出新图像。
在本实施例中，从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像。其中，粗对齐长焦图像可以理解为是根据4对匹配点，采用单应性矩阵输出的图像，这样得到的粗对齐长焦图像不会由于拍摄相机的视差造成图像的扭曲，其中的物体的图像相对于断交参考块是更加准确的，这样设置的好处是可以利用单应性矩阵对长焦图像进行一次粗对齐，可以降低后续步骤中精细对齐的计算量，并且提高精细对齐过程的准确性。
S140、利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
其中，粗对齐长焦图像的网格可以是8*8的网格，也可以是16*16的网格，或者32*32的网格。优选的，将网格的数量设置为2的正整数次幂，这样设置有利于数据计算。
以16*16的网格为例，共存在17*17个网格控制点。本实施例可以利用粗对齐长焦图像与短焦参考块之间的关键点匹配结果，确定每个网格控制点的位置，来得到网格变换后的图像，并将其与原来的短焦图像进行融合，形成融合后的图像。
本实施例，通过在粗对齐中，本申请通过估计一个全局的单应性将长焦图像和短焦参考块进行粗对齐，但是在实际情况中，由于场景存在深度变化，相机之间存在视差，一个全局的单应性矩阵难以将两者很好地对齐。因此本申请在第三步精细对齐中采用网格变形的方式来对输入的长焦相机图像进行一次非均匀变形，得到更好的对齐效果。
本申请实施例所提供的技术方案，通过获取一张短焦图像和至少一张长焦图像；利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的；从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像；利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。通过采用本申请所提供的技术方案，可以实现降低硬件需求，提高图像融合速度与鲁棒性的效果。
实施例二
图2是本申请实施例二提供的图像的多尺度融合方法的流程图。本实施例在上述实施例的基础上，具体优化为：所述利用块匹配算法，确定短焦参考块，包括：利用块匹配算法，对所述短焦图像和所述长焦图像进行块匹配，得到第一响应图；对所述短焦图像的结构边缘图和所述长焦图像的结构边缘图进行块匹配，得到第二响应图；将所述第一响应图和所述第二响应图做点积来定位所述长焦图像对应到所述短焦图像中的位置；并从所述短焦图像中抠出的和所述长焦图像对应的部分，确定为短焦参考块。
如图2所示，所述图像的多尺度融合方法包括：
S210、获取一张短焦图像和至少一张长焦图像。
S220、利用块匹配算法，对所述短焦图像和所述长焦图像进行块匹配，得到第一响应图。
其中，首先可以根据长焦图像和短焦图像的焦距差距缩小长焦图像的尺寸。这样可以使得同一个物体在短焦相机图像和长焦相机图像中的像素大小一样。例如，一个物体在16mm的短焦相机中的大小为50个像素，那么在135mm的长焦相机中的大小约为50*135/16＝422个像素。这一步的目的是缩小长焦相机图像，使得长焦相机图像中该物体的大小也为50个像素。
将短焦图像与缩小后的长焦图像进行ZNCC块匹配，从而得到第一响应图。
S230、对所述短焦图像的结构边缘图和所述长焦图像的结构边缘图进行块匹配，得到第二响应图。
在本实施例中，可以计算缩小后的长焦图像的结构边缘图，并且计算短焦图像的结构边缘图，将两个图像的结构边缘图进行ZNCC块匹配，进而得到第二响应图。
其中，结构边缘图的计算方式可以采用随机森林算法，或者其他能够实现得到结构边缘图的算法，比如先将图像做一次双边滤波，抹去小的细节，留下结构信息，然后计算边缘图。
S240、将所述第一响应图和所述第二响应图做点积来定位所述长焦图像对应到所述短焦图像中的位置；并从所述短焦图像中抠出的和所述长焦图像对应的部分，确定为短焦参考块。
每次ZNCC块匹配都可以得到一张响应图(response map)，响应图上值最大的位置就是长焦相机图像对应的位置。但是，这种块匹配算法并不鲁棒，很容易发生匹配错误的情况。所以本申请再加入结构边缘图来计算另一个响应图，然后通过融合这两张响应图来得到最终的结果。融合的方式为对两张响应图做点积(element-wise product)得到新的响应图：R＝ZNCC(Ir,Il)⊙ZNCC(Er,El)。其中Ir，Il为输入的短焦相机图像和长焦相机图像(缩小之后)，Er，El代表计算得到的结构边缘图。
S250、从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像。
S260、利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
本实施例在上述实施例的基础上，提供了确定短焦参考块的一种实现方式，本实施例采用将两种图像分别进行匹配并做点积来确定短焦图像中短焦参考块的位置，这样设置的好处是可以提高本申请所提供的技术方案的准确性，鲁棒性好。
实施例三
图3是本申请实施例三提供的图像的多尺度融合方法的流程图。本实施例在上述实施例的基础上，具体优化为：从所述长焦图像和所述短焦参考块中取4对匹配点，包括：对所述短焦参考块按照预设方式切分，得到短焦参考块子块，作为搜索区域；对所述长焦图像按照所述预设方式切分，得到长焦图像子图像，并在每个长焦图像子图像中间选择预设区域作为模板；将所述模板和所述搜索区域做匹配，得到4对匹配点。
如图3所示，所述图像的多尺度融合方法包括：
S310、获取一张短焦图像和至少一张长焦图像。
S320、利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的。
S330、对所述短焦参考块按照预设方式切分，得到短焦参考块子块，作为搜索区域。
其中，预设方式可以是对所述短焦参考块按照长宽方向划分为2*2的4个子块，得到4个短焦参考块子块，作为4个搜索区域。其中，预设方式还可以是其他方式，具体可以根据需求，对此处进行设定。
S340、对所述长焦图像按照所述预设方式切分，得到长焦图像子图像，并在每个长焦图像子图像中间选择预设区域作为模板。
在本实施例中，优选的，所述预设方式切分为按照长宽方向划分为2*2的4图像区域；相应的，所述将所述模板和所述搜索区域做匹配，得到4对匹配点，包括：将所述4个模板和所述4个搜索区域进行对应位置匹配，得到每个所述模板和每个所述搜索区域的1对匹配点，共计得到4对匹配点。对于长焦图像按照与短焦参考块相同的方式进行切分，这样设置的好处是便于找到与每个搜索区域对应的模板，这样才能够快速的确定4对关键点，减小计算量，提高计算速度。所以此处也按照预设方式进行切分。
S350、将所述模板和所述搜索区域做匹配，得到4对匹配点。
将每个模板与对应的每个搜索区域进行匹配，确定4对匹配点。
在本实施例中，优选的可以对将长焦图像的每个长焦图像子图像中，确定一个更小的范围，作为模板，具体的，可以确定每个长焦图像的长和宽的75％，甚至50％的这一个区域作为模板，这样设置的好处是可以减小计算量，更加快速的找到匹配点。但是也不宜设置过小，如果设置的过小，可能会出现由于模板中没有比较明显的特征用来匹配的话，可能影响匹配点的准确性。
S360、确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像。
根据4对匹配点确定了由长焦图像到短焦参考块的单应性矩阵，再根据单应性矩阵，得到粗对齐的长焦图像。虽然这样得到的长焦图像的外部轮廓可能是稍微有些扭曲的，但是可以避免因为长焦相机和短焦相机的视差问题，才成的图像内容的扭曲，所以粗对齐长焦图像的图像内容相对于长焦图像而言，是由一定的校正效果的。
S370、利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
本实施例在上述各实施例的基础上，提供了一种对于长焦图像进行粗对齐的方法，这样设置的好处是提高图像的准确性的同时，还能够减小工作量，提高图像融合过程中的速度，并且鲁棒性好。
实施例四
图4是本申请实施例四提供的图像的多尺度融合方法的流程图。本实施例在上述实施例的基础上，具体优化为：利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像，包括：对于所述短焦参考块进行关键点检测；对于每个所述关键点，确定对应的关键点图像块；通过所述关键点图像块的结构边缘图计算关键点分数，对所述关键点分数低于预设阈值的关键点进行滤除；利用滤除后的关键点与所述粗对齐长焦图像进行关键点匹配；根据关键点匹配结果，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
如图4所示，所述图像的多尺度融合方法包括：
S410、获取一张短焦图像和至少一张长焦图像。
S420、利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的。
S430、从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像。
S440、对于所述短焦参考块进行关键点检测。
在本实施例中，关键点指的是包含结构纹理信息丰富的点。原因是基于ZNCC块匹配算法需要足够多的结构纹理信息才能给出可靠的结果。在本实施例中，检测关键点使用的是经典的角点检测算法(goodfeaturestotrack算法)，采用该算法能够找多很多带有丰富结构纹理信息的关键点。
S450、对于每个所述关键点，确定对应的关键点图像块。
其中，关键点图像块为包含该关键点的图像块，优选的，是以关键点位中心，以一个固定的像素点为半径来确定关键点图像块。例如，以检测出的关键点为中心，以32个像素点为关键点图像块的边长，来确定一个关键点图像块。
S460、通过所述关键点图像块的结构边缘图计算关键点分数，对所述关键点分数低于预设阈值的关键点进行滤除。
在本实施例中，优选的，通过所述关键点图像块的结构边缘图计算关键点分数，包括：通过所述关键点图像块的结构边缘图中，计算所有像素点的像素值之和，确定为关键点分数。
其中，对于每个关键点，都可以以该关键点为中心，抠出一个关键点图像块，再利用关键点图像块的结构边缘图可以计算关键点分数。在本申请中，关键点的分数定义为：
Si＝∑E(pi)；
Si代表第i个关键点的分数score，pi代表第i个关键点，E(pi)代表从抠出来的对应块计算得到的结构边缘图，关键点的分数就定义为结构边缘图上所有像素值之和。
其中，可以优先对短焦参考块划分为一定数量的格子，例如可以是16个。在计算得到关键点分数之后，再对所有的关键点根据分数大小进行重排序，最后留下每个格子中分数最高的关键点，经过关键点筛选之后，每个格子中只会留下少量关键点，例如1-3个，这样可以大大减少了关键点的数量，提高计算速度。其中，也可以存在某些格子中并没有关键点的情况，如在筛选之后，关键点的数量少了很多，有些格子没有关键点留下是因为没有检测到关键点或者是关键点分数太低，但这并不会影响高分数的关键点的确定。
S470、利用滤除后的关键点与所述粗对齐长焦图像进行关键点匹配。
在本实施例中，优选的，利用滤除后的关键点与所述粗对齐长焦图像进行关键点匹配，包括：在所述短焦参考块中，以滤除后的关键点为中心，以M个像素点为边长的块作为关键点匹配模板；在所述粗对齐长焦图像中，以滤除后的关键点在所述短焦参考块的坐标位置所对应的在所述粗对齐长焦图像中的像素点为中心，以N个像素点为边长的块作为关键点匹配搜索区域；其中M小于N；将所述关键点匹配模板和所述关键点匹配搜索区域做匹配，得到在所述粗对齐长焦图像中与所述滤除后的关键点匹配的关键点。
在本实施例中，优选的，所述M和所述N均为2的正整数次幂。
可以对滤除后的关键点采用ZNCC匹配，如在短焦参考块上的以关键点为中心抠出256x256的块作为模板(在图像大小2000x1500的图像上使用256x256的块，如果是其他尺寸的输入图像可以对模板大小进行等比例调整。模板块的大小最好设置为2n，这种大小的块可以加速ZNCC模板匹配的计算)。在长焦相机图像上选取以同一个关键点坐标为中心，大小为512x512的块作为关键点匹配搜索区域(关键点匹配搜索区域为大图像，大小也随图像大小进行相应调整)。最后进行ZNCC匹配即可得到匹配的关键点。
在上述技术方案的基础上，优选的，在将所述关键点匹配模板和所述关键点匹配搜索区域做匹配，得到在所述粗对齐长焦图像中与所述滤除后的关键点匹配的关键点之后，所述方法还包括：将所述短焦参考块和所述粗对齐长焦图像划分为网格；采用至少两种不同的尺度对所述短焦参考块滤除后的关键点和所述粗对齐长焦图像与所述滤除后的关键点匹配的关键点采用随机抽样一致算法进行去噪，得到高置信度的匹配关键点。
其中，可以对短焦图像和粗对齐长焦图像划分为16*16的网格，选取三种尺度(更加精细的网格则可以采用更多的尺度)，例如：全局尺度，对全部匹配点做一次随机抽样一致算法(Random sample consensus，RANSAC)，将误差超过阈值的匹配点标记为噪声；2x2尺度，将16x16的网格分为2x2个区域，每个区域8x8个格子，分别对那个区域中的匹配点做一次RANSAC，将误差超过阈值的匹配点标记为噪声；4x4尺度。方法同2x2尺度。在这几个尺度的RANSAC中，阈值的大小可以根据实际情况进行调整。通常对于2000x1500的图像来说，选取3到7个像素左右的阈值比较合适。
在上述技术方案中，选择采用集中尺度可以根据对短焦图像和粗对齐长焦图像所划分的网格数有关系，例如如果划分为16*16的网格，则可以采用两种、三种甚至四种不同的网格尺度，如果划分为32*32的网格，则可以设计更多的尺度，具体可以根据实际计算过程中对计算速度和计算准确度的需求来确定。
最后，将所有被标记为噪声的点去除，剩下高置信度的匹配点，一些低置信度的匹配点就被去除了。这样可以利用多尺度的RANSAC来对匹配点进行去噪，降低噪声对图像融合结果的干扰，
S480、根据关键点匹配结果，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
本实施例在上述各实施例的基础上，提供了一种对于短焦参考块的关键点进行检测和过滤的方法，使得过滤后的短焦参考块关键点的特征更加明显，不仅提高了本方案的计算准确性，同时还减小了计算量。
在上述各实施例中，优选的，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像，包括：将所述短焦参考块和所述粗对齐长焦图像划分为网格；采用至少两种不同的尺度，确定每个尺度所对应的单应性矩阵；根据所述每个尺度所对应的单应性矩阵，确定控制网格的网格控制点的位置；其中，在同一尺度内，被多个单应性矩阵覆盖的网格控制点，按照每个覆盖单应性矩阵的所计算出的位置的平均值，作为被多个单应性矩阵覆盖的网格控制点的位置；根据所得到的网格控制点的位置确定每个尺度下的目标网格；对所述每个尺度下的目标网格进行融合，得到融合图像。
其中，可以对粗对齐长焦图像划分为16*16的网格，则会有17*17个网格控制点，其中至少两种不同的尺度可以是全局尺度、2*2区域尺度、4*4区域尺度和8*8区域尺度，还可以是其他尺度。其中，2*2区域尺度为将16*16的网格切分为4个区域，每个区域为4*4个网格，这样使得2*2区域尺度刚好覆盖全部网格而且不会出现区域之间会有网格重合的情况，4*4区域尺度和8*8区域尺度也采用这种方式来确定。可以在每个尺度下确定对应的单应性矩阵，具体方式可以是选择每个尺度下的4对匹配点，如全局尺度则在全局范围内选择4对匹配点，在2*2区域尺度中，则在4个区域内，每个区域选择4对匹配点，并计算每个区域的单应性矩阵，以此类推。这样在每个尺度中，会有多个单应性矩阵，例如在在2*2区域尺度的4个区域中，以每个单应性矩阵来计算相应区域控制点的位置坐标，当同一个控制点被多个单应性矩阵控制时，也就是控制点在所划分的区域的交界处时，则可以通过求取所有覆盖这个控制点的单应性矩阵所确定的坐标的平均值，作为该控制点的坐标，从而确定该尺度下的目标网格。本技术方案给出了目标网格的控制点的确定方式，该方式计算简单，并且可以由较高的抗干扰能力，计算结果更加准确。
同样的，对于粗对齐长焦图像划分不同数量的网格，可以选取不同种的尺度，不仅选取尺度的数目不容，每种尺度还可以对应划分为不同的区域。例如如果划分为16*16的网格，则可以采用两种、三种甚至四种不同的网格尺度，其中三种尺度可以包括全局尺度、2*2区域尺度以及4*4区域尺度，还可以是全局尺度、2*2区域尺度以及8*8区域尺度，如果划分为32*32的网格，则可以设计更多的尺度，具体可以根据实际计算过程中对计算速度和计算准确度的需求来确定。
在上述技术方案的基础上，优选的，对所述每个尺度下的目标网格进行融合，得到融合图像，包括：以大尺度的目标网格的控制点为中心确定置信区域；当小尺度的目标网格的控制点在置信区域范围内时，则以小尺度的目标网格的控制点为准；遍历所有的尺度，确定最终目标网格的控制点的位置；根据所述最终目标网格的控制点的位置确定融合图像。
其中，置信区域可以是以大尺度的目标网格的控制点为中心，以预设长度为半径来确定，在本实施例中，可以以网格的长度和宽度较小的一个的10％作为置信区域的半径。当小尺度网格的控制点落在置信区域内时，接受小尺度网格的控制点，否则不接受小尺度网格的控制点。通过遍历所有的尺度，则可确定最终目标网格，并根据最终目标网格的控制点的位置进行图像融合。这样可以利用控制点置信区间来对融合所有网格，进一步去除错误匹配点对结果造成的影响。
实施例五
图5是本申请实施例五提供的图像融合装置的结构示意图。如图5所示，所述图像融合装置，包括：
图像获取模块510，用于获取一张短焦图像和至少一张长焦图像；
短焦参考块确定模块520，用于利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的；
粗对齐长焦图像确定模块530，用于从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像；
图像融合模块540，用于利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
本申请实施例所提供的技术方案，通过获取一张短焦图像和至少一张长焦图像；利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的；从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像；利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。通过采用本申请所提供的技术方案，可以实现降低硬件需求，提高图像融合速度与鲁棒性的效果。
上述产品可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例六
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像的多尺度融合方法，该方法包括：
获取一张短焦图像和至少一张长焦图像；
利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的；
从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像；
利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的图像融合的操作，还可以执行本申请任意实施例所提供的图像的多尺度融合方法中的相关操作。
实施例七
本申请实施例提供了一种终端，该终端中可集成本申请实施例提供的图像融合装置。图6为本申请实施例提供的一种终端的结构示意图。如图6所示，该终端可以包括：存储器601、中央处理器(Central Processing Unit，CPU)602(又称处理器，以下简称CPU)、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部；所述CPU602和所述存储器601设置在所述电路板上；所述电源电路，用于为所述终端的各个电路或器件供电；所述存储器601，用于存储可执行程序代码；所述CPU602通过读取所述存储器601中存储的可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以实现以下步骤：
获取一张短焦图像和至少一张长焦图像；
利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的；
从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像；
利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
所述终端还包括：外设接口603、RF(Radio Frequency，射频)电路605、音频电路606、扬声器611、电源管理芯片608、输入/输出(I/O)子系统609、触摸屏612、其他输入/控制设备610以及外部端口604，这些部件通过一个或多个通信总线或信号线607来通信。
应该理解的是，图示终端600仅仅是终端的一个范例，并且终端600可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面就本实施例提供的用于图像融合终端进行详细的描述，该终端以手机为例。
存储器601，所述存储器601可以被CPU602、外设接口603等访问，所述存储器601可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口603，所述外设接口603可以将设备的输入和输出外设连接到CPU602和存储器601。
I/O子系统609，所述I/O子系统609可以将设备上的输入输出外设，例如触摸屏612和其他输入/控制设备610，连接到外设接口603。I/O子系统609可以包括显示控制器6091和用于控制其他输入/控制设备610的一个或多个输入控制器6092。其中，一个或多个输入控制器6092从其他输入/控制设备610接收电信号或者向其他输入/控制设备610发送电信号，其他输入/控制设备610可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是，输入控制器6092可以与以下任一个连接：键盘、红外端口、USB接口以及诸如鼠标的指示设备。
触摸屏612，所述触摸屏612是用户终端与用户之间的输入接口和输出接口，将可视输出显示给用户，可视输出可以包括图形、文本、图标、视频等。
I/O子系统609中的显示控制器6091从触摸屏612接收电信号或者向触摸屏612发送电信号。触摸屏612检测触摸屏上的接触，显示控制器6091将检测到的接触转换为与显示在触摸屏612上的用户界面对象的交互，即实现人机交互，显示在触摸屏612上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是，设备还可以包括光鼠，光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸。
RF电路605，主要用于建立手机与无线网络(即网络侧)的通信，实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地，RF电路605接收并发送RF信号，RF信号也称为电磁信号，RF电路605将电信号转换为电磁信号或将电磁信号转换为电信号，并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路605可以包括用于执行这些功能的已知电路，其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder，编译码器)芯片组、用户标识模块(Subscriber Identity Module，SIM)等等。
音频电路606，主要用于从外设接口603接收音频数据，将该音频数据转换为电信号，并且将该电信号发送给扬声器611。
扬声器611，用于将手机通过RF电路605从无线网络接收的语音信号，还原为声音并向用户播放该声音。
电源管理芯片608，用于为CPU602、I/O子系统及外设接口所连接的硬件进行供电及电源管理。
本申请实施例提供的终端，可以实现降低硬件需求，提高图像融合速度与鲁棒性的效果。
上述实施例中提供的图像融合装置、存储介质及终端可执行本申请任意实施例所提供的图像的多尺度融合方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的图像的多尺度融合方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (14)
1.一种图像的多尺度融合方法，其特征在于，包括：
获取一张短焦图像和至少一张长焦图像；
利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的；
从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像；
利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
2.根据权利要求1所述的方法，其特征在于，所述利用块匹配算法，确定短焦参考块，包括：
利用块匹配算法，对所述短焦图像和所述长焦图像进行块匹配，得到第一响应图；
对所述短焦图像的结构边缘图和所述长焦图像的结构边缘图进行块匹配，得到第二响应图；
将所述第一响应图和所述第二响应图做点积来定位所述长焦图像对应到所述短焦图像中的位置；并从所述短焦图像中抠出的和所述长焦图像对应的部分，确定为短焦参考块。
3.根据权利要求1所述的方法，其特征在于，从所述长焦图像和所述短焦参考块中取4对匹配点，包括：
对所述短焦参考块按照预设方式切分，得到短焦参考块子块，作为搜索区域；
对所述长焦图像按照所述预设方式切分，得到长焦图像子图像，并在每个长焦图像子图像中间选择预设区域作为模板；
将所述模板和所述搜索区域做匹配，得到4对匹配点。
4.根据权利要求3所述的方法，其特征在于，所述预设方式切分为按照长宽方向划分为2*2的4图像区域；
相应的，
所述将所述模板和所述搜索区域做匹配，得到4对匹配点，包括：
将所述4个模板和所述4个搜索区域进行对应位置匹配，得到每个所述模板和每个所述搜索区域的1对匹配点，共计得到4对匹配点。
5.根据权利要求1所述的方法，其特征在于，利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像，包括：
对于所述短焦参考块进行关键点检测；
对于每个所述关键点，确定对应的关键点图像块；
通过所述关键点图像块的结构边缘图计算关键点分数，对所述关键点分数低于预设阈值的关键点进行滤除；
利用滤除后的关键点与所述粗对齐长焦图像进行关键点匹配；
根据关键点匹配结果，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
6.根据权利要求5所述的方法，其特征在于，通过所述关键点图像块的结构边缘图计算关键点分数，包括：
通过所述关键点图像块的结构边缘图中，计算所有像素点的像素值之和，确定为关键点分数。
7.根据权利要求5所述的方法，其特征在于，利用滤除后的关键点与所述粗对齐长焦图像进行关键点匹配，包括：
在所述短焦参考块中，以滤除后的关键点为中心，以M个像素点为边长的块作为关键点匹配模板；
在所述粗对齐长焦图像中，以滤除后的关键点在所述短焦参考块的坐标位置所对应的在所述粗对齐长焦图像中的像素点为中心，以N个像素点为边长的块作为关键点匹配搜索区域；其中M小于N；
将所述关键点匹配模板和所述关键点匹配搜索区域做匹配，得到在所述粗对齐长焦图像中与所述滤除后的关键点匹配的关键点。
8.根据权利要求7所述的方法，其特征在于，所述M和所述N均为2的正整数次幂。
9.根据权利要求7所述的方法，其特征在于，在将所述关键点匹配模板和所述关键点匹配搜索区域做匹配，得到在所述粗对齐长焦图像中与所述滤除后的关键点匹配的关键点之后，所述方法还包括：
将所述短焦参考块和所述粗对齐长焦图像划分为网格；
采用至少两种不同的尺度对所述短焦参考块滤除后的关键点和所述粗对齐长焦图像与所述滤除后的关键点匹配的关键点采用随机抽样一致算法进行去噪，得到高置信度的匹配关键点。
10.根据权利要求5所述的方法，其特征在于，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像，包括：
将所述短焦参考块和所述粗对齐长焦图像划分为网格；
采用至少两种不同的尺度，确定每个尺度所对应的单应性矩阵；
根据所述每个尺度所对应的单应性矩阵，确定控制网格的网格控制点的位置；其中，在同一尺度内，被多个单应性矩阵覆盖的网格控制点，按照每个覆盖单应性矩阵的所计算出的位置的平均值，作为被多个单应性矩阵覆盖的网格控制点的位置；
根据所得到的网格控制点的位置确定每个尺度下的目标网格；
对所述每个尺度下的目标网格进行融合，得到融合图像。
11.根据权利要求10所述的方法，其特征在于，对所述每个尺度下的目标网格进行融合，得到融合图像，包括：
以大尺度的目标网格的控制点为中心确定置信区域；
当小尺度的目标网格的控制点在置信区域范围内时，则以小尺度的目标网格的控制点为准；遍历所有的尺度，确定最终目标网格的控制点的位置；
根据所述最终目标网格的控制点的位置确定融合图像。
12.一种图像融合装置，其特征在于，包括：
图像获取模块，用于获取一张短焦图像和至少一张长焦图像；
短焦参考块确定模块，用于利用块匹配算法，确定短焦参考块；其中，所述短焦参考块是通过对所述短焦图像和所述长焦图像进行图像块匹配和结构边缘图块匹配得到的；
粗对齐长焦图像确定模块，用于从所述长焦图像和所述短焦参考块中取4对匹配点，确定所述长焦图像到所述短焦参考块的单应性矩阵；根据所述单应性矩阵，得到粗对齐长焦图像；
图像融合模块，用于利用与所述短焦参考块的关键点匹配，对所述粗对齐长焦图像的网格控制点进行融合，得到融合图像。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的图像的多尺度融合方法。
14.一种终端，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-11中任一所述的图像的多尺度融合方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811012085.XA CN109285136B (zh) | 2018-08-31 | 2018-08-31 | 一种图像的多尺度融合方法、装置、存储介质及终端 |
| PCT/CN2019/103226 WO2020043155A1 (zh) | 2018-08-31 | 2019-08-29 | 图像的多尺度融合方法、装置、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811012085.XA CN109285136B (zh) | 2018-08-31 | 2018-08-31 | 一种图像的多尺度融合方法、装置、存储介质及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109285136A true CN109285136A (zh) | 2019-01-29 |
| CN109285136B CN109285136B (zh) | 2021-06-08 |
Family
ID=65183360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811012085.XA Active CN109285136B (zh) | 2018-08-31 | 2018-08-31 | 一种图像的多尺度融合方法、装置、存储介质及终端 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109285136B (zh) |
| WO (1) | WO2020043155A1 (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110217271A (zh) * | 2019-05-30 | 2019-09-10 | 成都希格玛光电科技有限公司 | 基于图像视觉的快速轨道侵限识别监测系统及方法 |
| CN110378850A (zh) * | 2019-07-09 | 2019-10-25 | 浙江大学 | 一种结合块匹配和神经网络的变焦图像生成方法 |
| WO2020043155A1 (zh) * | 2018-08-31 | 2020-03-05 | 清华-伯克利深圳学院筹备办公室 | 图像的多尺度融合方法、装置、存储介质及终端 |
| CN111292278A (zh) * | 2019-07-30 | 2020-06-16 | 展讯通信（上海）有限公司 | 图像融合方法及装置、存储介质、终端 |
| CN111818304A (zh) * | 2020-07-08 | 2020-10-23 | 杭州萤石软件有限公司 | 图像融合方法及装置 |
| CN111818262A (zh) * | 2020-07-08 | 2020-10-23 | 杭州萤石软件有限公司 | 图像重建方法及装置 |
| CN112261387A (zh) * | 2020-12-21 | 2021-01-22 | 展讯通信（上海）有限公司 | 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 |
| CN112702575A (zh) * | 2020-12-23 | 2021-04-23 | 杭州中威电子股份有限公司 | 一种基于图像融合技术的多焦距图像采集装置及分析方法 |
| CN113052900A (zh) * | 2021-04-23 | 2021-06-29 | 深圳市商汤科技有限公司 | 一种位置确定方法及装置、电子设备和存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882589A (zh) * | 2020-06-23 | 2020-11-03 | 广州万维创新科技有限公司 | 基于图像的单目视觉slam的初始化方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101866482A (zh) * | 2010-06-21 | 2010-10-20 | 清华大学 | 基于摄像设备自标定技术的全景图拼接方法和装置 |
| CN104200450A (zh) * | 2014-08-25 | 2014-12-10 | 华南理工大学 | 一种红外热图像清晰度增强方法 |
| US20150199585A1 (en) * | 2014-01-14 | 2015-07-16 | Samsung Techwin Co., Ltd. | Method of sampling feature points, image matching method using the same, and image matching apparatus |
| CN105719239A (zh) * | 2016-01-21 | 2016-06-29 | 科盾科技股份有限公司 | 一种用于图像拼接的方法及装置 |
| CN107959805A (zh) * | 2017-12-04 | 2018-04-24 | 深圳市未来媒体技术研究院 | 基于混合相机阵列的光场视频成像系统及视频处理方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014178234A1 (ja) * | 2013-04-30 | 2014-11-06 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN107659774B (zh) * | 2017-09-30 | 2020-10-13 | 北京拙河科技有限公司 | 一种基于多尺度相机阵列的视频成像系统及视频处理方法 |
| CN107734271B (zh) * | 2017-10-16 | 2019-09-06 | 深圳市未来媒体技术研究院 | 高动态范围十亿像素视频生成方法 |
| CN108156383B (zh) * | 2017-12-29 | 2020-08-28 | 清华大学 | 基于相机阵列的高动态十亿像素视频采集方法及装置 |
| CN109285136B (zh) * | 2018-08-31 | 2021-06-08 | 清华-伯克利深圳学院筹备办公室 | 一种图像的多尺度融合方法、装置、存储介质及终端 |
-
2018
- 2018-08-31 CN CN201811012085.XA patent/CN109285136B/zh active Active
-
2019
- 2019-08-29 WO PCT/CN2019/103226 patent/WO2020043155A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101866482A (zh) * | 2010-06-21 | 2010-10-20 | 清华大学 | 基于摄像设备自标定技术的全景图拼接方法和装置 |
| US20150199585A1 (en) * | 2014-01-14 | 2015-07-16 | Samsung Techwin Co., Ltd. | Method of sampling feature points, image matching method using the same, and image matching apparatus |
| CN104200450A (zh) * | 2014-08-25 | 2014-12-10 | 华南理工大学 | 一种红外热图像清晰度增强方法 |
| CN105719239A (zh) * | 2016-01-21 | 2016-06-29 | 科盾科技股份有限公司 | 一种用于图像拼接的方法及装置 |
| CN107959805A (zh) * | 2017-12-04 | 2018-04-24 | 深圳市未来媒体技术研究院 | 基于混合相机阵列的光场视频成像系统及视频处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| ALEXANDRE EUDES等: "Visuo-inertia fusion for homography-based filtering and estimation", 《IEEE INERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020043155A1 (zh) * | 2018-08-31 | 2020-03-05 | 清华-伯克利深圳学院筹备办公室 | 图像的多尺度融合方法、装置、存储介质及终端 |
| CN110217271A (zh) * | 2019-05-30 | 2019-09-10 | 成都希格玛光电科技有限公司 | 基于图像视觉的快速轨道侵限识别监测系统及方法 |
| CN110378850A (zh) * | 2019-07-09 | 2019-10-25 | 浙江大学 | 一种结合块匹配和神经网络的变焦图像生成方法 |
| CN110378850B (zh) * | 2019-07-09 | 2021-03-30 | 浙江大学 | 一种结合块匹配和神经网络的变焦图像生成方法 |
| WO2021017532A1 (zh) * | 2019-07-30 | 2021-02-04 | 展讯通信（上海）有限公司 | 图像融合方法及装置、存储介质、终端 |
| CN111292278A (zh) * | 2019-07-30 | 2020-06-16 | 展讯通信（上海）有限公司 | 图像融合方法及装置、存储介质、终端 |
| CN111818262B (zh) * | 2020-07-08 | 2021-12-03 | 杭州萤石软件有限公司 | 图像重建方法及装置 |
| CN111818262A (zh) * | 2020-07-08 | 2020-10-23 | 杭州萤石软件有限公司 | 图像重建方法及装置 |
| CN111818304A (zh) * | 2020-07-08 | 2020-10-23 | 杭州萤石软件有限公司 | 图像融合方法及装置 |
| WO2022007851A1 (zh) * | 2020-07-08 | 2022-01-13 | 杭州萤石软件有限公司 | 图像重建方法及装置 |
| WO2022007840A1 (zh) * | 2020-07-08 | 2022-01-13 | 杭州萤石软件有限公司 | 图像融合方法及装置 |
| US11778327B2 (en) | 2020-07-08 | 2023-10-03 | Hangzhou Ezviz Software Co., Ltd. | Image reconstruction method and device |
| CN112261387A (zh) * | 2020-12-21 | 2021-01-22 | 展讯通信（上海）有限公司 | 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 |
| CN112261387B (zh) * | 2020-12-21 | 2021-03-23 | 展讯通信（上海）有限公司 | 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 |
| CN112702575A (zh) * | 2020-12-23 | 2021-04-23 | 杭州中威电子股份有限公司 | 一种基于图像融合技术的多焦距图像采集装置及分析方法 |
| CN113052900A (zh) * | 2021-04-23 | 2021-06-29 | 深圳市商汤科技有限公司 | 一种位置确定方法及装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020043155A1 (zh) | 2020-03-05 |
| CN109285136B (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109285136A (zh) | 一种图像的多尺度融合方法、装置、存储介质及终端 | |
| CN106204660B (zh) | 一种基于特征匹配的地面目标跟踪装置 | |
| CN105512685B (zh) | 物体识别方法和装置 | |
| CN105979165A (zh) | 虚化照片生成方法、装置和移动终端 | |
| CN105205494B (zh) | 相似图片识别方法及装置 | |
| CN106249508B (zh) | 自动对焦方法和系统、拍摄装置 | |
| WO2021136386A1 (zh) | 数据处理方法、终端和服务器 | |
| CN111698553A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN105827928A (zh) | 一种选择对焦区域的方法及装置 | |
| CN105578023A (zh) | 一种快速拍摄图像方法及装置 | |
| CN106331497A (zh) | 一种图像处理方法及终端 | |
| CN112149545B (zh) | 样本生成方法、装置、电子设备及存储介质 | |
| CN110287877A (zh) | 视频目标的处理方法及装置 | |
| CN110505398A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN113050860A (zh) | 一种控件识别方法和相关装置 | |
| CN111199169A (zh) | 图像处理方法和装置 | |
| WO2022111461A1 (zh) | 识别方法、装置及电子设备 | |
| CN109658453B (zh) | 圆心确定方法、装置、设备及存储介质 | |
| CN108769538B (zh) | 自动对焦方法、装置、存储介质及终端 | |
| CN111210506A (zh) | 一种三维还原方法、系统、终端设备和存储介质 | |
| CN108989666A (zh) | 拍摄方法、装置、移动终端及计算机可读取存储介质 | |
| CN111050027B (zh) | 镜头畸变补偿方法、装置、设备和存储介质 | |
| CN105120153A (zh) | 一种图像拍摄方法及装置 | |
| CN105898145A (zh) | 一种拍照方法及终端 | |
| CN110765926A (zh) | 图画书识别方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221124 Address after: 518000 2nd floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Shenzhen International Graduate School of Tsinghua University Address before: 518055 Nanshan Zhiyuan 1001, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong. Patentee before: TSINGHUA-BERKELEY SHENZHEN INSTITUTE |