CN111582283A - 双视场图像融合方法及装置 - Google Patents
双视场图像融合方法及装置 Download PDFInfo
- Publication number
- CN111582283A CN111582283A CN202010343167.3A CN202010343167A CN111582283A CN 111582283 A CN111582283 A CN 111582283A CN 202010343167 A CN202010343167 A CN 202010343167A CN 111582283 A CN111582283 A CN 111582283A
- Authority
- CN
- China
- Prior art keywords
- image
- field
- point
- pixel point
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 27
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 238000001914 filtration Methods 0.000 claims abstract description 44
- 238000010606 normalization Methods 0.000 claims abstract description 42
- 230000000877 morphologic effect Effects 0.000 claims abstract description 40
- 238000010586 diagram Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 11
- 230000009977 dual effect Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims 1
- 230000015654 memory Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 239000000872 buffer Substances 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种双视场图像融合方法及装置，方法包括：获取双视场图像，并计算各视场图像的稠密的SIFT算子；根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；对所述活跃度图像进行逐点比较，得到初始判决图；对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；根据所述形态学滤波和所述归一化操作的结果，进行图像判决；根据所述图像判决的结果进行图像融合；本申请能够有效提高双视场图像融合的准确性。
Description
技术领域
本申请涉及图像处理领域，具体涉及一种双视场图像融合方法及装置。
背景技术
双视场图像系统广泛的应用于安防、军事等领域，用于对不同距离的表进行检测或者侦查，正因为如此，对于双视场图像系统的成像质量及融合算法提出了很高的要求，既要满足实时性、同时也要有较高的融合效果，为后续的图像检测或侦查提供良好的基础。
在现有的技术方案中，双视场图像融合系统算法包括基于特征的融合算法，基于场景的融合算法，但是现有的算法结构均不能保证良好的实时性，切在不能有效解决光学系统带来的失配问题。
发明内容
针对现有技术中的问题，本申请提供一种双视场图像融合方法及装置，能够有效提高双视场图像融合的准确性。
为了解决上述问题中的至少一个，本申请提供以下技术方案：
第一方面，本申请提供一种双视场图像融合方法，包括：
获取双视场图像，并计算各视场图像的稠密的SIFT算子；
根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；
对所述活跃度图像进行逐点比较，得到初始判决图；
对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；
根据所述形态学滤波和所述归一化操作的结果，进行图像判决；
根据所述图像判决的结果进行图像融合。
进一步地，所述计算各视场图像的稠密的SIFT算子，包括：
以每个像素点为中心，构建图像矩阵；
计算所述图像矩阵的梯度大小及方向，并对每个像素点的梯度大小及方向，利用局部窗口进行单元划分，得到稠密的SIFT算子。
进一步地，所述对所述活跃度图像进行逐点比较，得到初始判决图，包括：
对所述活跃度图像进行逐点比较，若一视场的值大于另一视场的值则置1，否则置0；
对于得到的结果图像，以一预设窗口进行累加，所得值为该窗口内像素点个数总和，则将该点的初始判决图置1，所得值为0则将该点的初始判决图置0，否则置为不确定。
进一步地，所述根据所述形态学滤波和所述归一化操作的结果，进行图像判决，包括：
根据所述形态学滤波和所述归一化操作的结果进行图像匹配，分别得到在设定范围内一视场的像素点a1和在另一视场内的匹配像素点b1，以及所述另一视场像素点b2在所述视场内的匹配像素点a2；
对于在初始判决中不确定的像素点，根据所述像素点a1、像素点a2、像素点b1、像素点b2的图像活跃度进行最终的图像判决。
第二方面，本申请提供一种双视场图像融合装置，包括：
SIFT算子确定模块，用于获取双视场图像，并计算各视场图像的稠密的SIFT算子；
活跃度图像确定模块，用于根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；
初始判决图确定模块，用于对所述活跃度图像进行逐点比较，得到初始判决图；
滤波归一化处理模块，用于对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；
图像判决模块，用于根据所述形态学滤波和所述归一化操作的结果，进行图像判决；
图像融合模块，用于根据所述图像判决的结果进行图像融合。
进一步地，所述SIFT算子确定模块包括：
图像矩阵构建单元，用于以每个像素点为中心，构建图像矩阵；
SIFT算子计算单元，用于计算所述图像矩阵的梯度大小及方向，并对每个像素点的梯度大小及方向，利用局部窗口进行单元划分，得到稠密的SIFT算子。
进一步地，所述初始判决图确定模块包括：
逐点比较单元，用于对所述活跃度图像进行逐点比较，若一视场的值大于另一视场的值则置1，否则置0；
点值判断单元，用于对于得到的结果图像，以一预设窗口进行累加，所得值为该窗口内像素点个数总和，则将该点的初始判决图置1，所得值为0则将该点的初始判决图置0，否则置为不确定。
进一步地，所述图像判决模块包括：
图像匹配单元，用于根据所述形态学滤波和所述归一化操作的结果进行图像匹配，分别得到在设定范围内一视场的像素点a1和在另一视场内的匹配像素点b1，以及所述另一视场像素点b2在所述视场内的匹配像素点a2；
图像判决单元，用于对于在初始判决中不确定的像素点，根据所述像素点a1、像素点a2、像素点b1、像素点b2的图像活跃度进行最终的图像判决。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的双视场图像融合方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的双视场图像融合方法的步骤。
由上述技术方案可知，本申请提供一种双视场图像融合方法及装置，通过获取双视场图像，并计算各视场图像的稠密的SIFT算子；根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；对所述活跃度图像进行逐点比较，得到初始判决图；对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；根据所述形态学滤波和所述归一化操作的结果，进行图像判决；根据所述图像判决的结果进行图像融合，本申请能够有效提高双视场图像融合的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的双视场图像融合方法的流程示意图；
图2为本申请实施例中的双视场图像融合装置的结构图；
图3为本申请实施例中的硬件实现架构图；
图4为本申请实施例中的基于单口ram的矩阵产生模块图；
图5为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到现有的技术方案中，双视场图像融合系统算法包括基于特征的融合算法，基于场景的融合算法，但是现有的算法结构均不能保证良好的实时性，切在不能有效解决光学系统带来的失配的问题，本申请提供一种双视场图像融合方法及装置，通过获取双视场图像，并计算各视场图像的稠密的SIFT算子；根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；对所述活跃度图像进行逐点比较，得到初始判决图；对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；根据所述形态学滤波和所述归一化操作的结果，进行图像判决；根据所述图像判决的结果进行图像融合，本申请能够有效提高双视场图像融合的准确性。
为了能够有效提高双视场图像融合的准确性，本申请提供一种双视场图像融合方法的实施例，参见图1，所述双视场图像融合方法具体包含有如下内容：
步骤S101：获取双视场图像，并计算各视场图像的稠密的SIFT算子；
步骤S102：根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；
步骤S103：对所述活跃度图像进行逐点比较，得到初始判决图；
步骤S104：对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；
步骤S105：根据所述形态学滤波和所述归一化操作的结果，进行图像判决；
步骤S106：根据所述图像判决的结果进行图像融合。
可以理解的是，本申请采用稠密的SIFT算子，进行双视场图像融合，所谓稠密的SIFT是指，对每一个像素点利用一个局部窗口，该窗口大小为48x48，划分成4x4个单元，每个单元有8个bins的梯度方向，由此而产生4x4x8＝128维的特征描述子，由此可见，稠密的SIFT不具有旋转和尺度不变性。SIFT，则是先利用DoG尺度空间检测图像中的特征点，然后再生成特征点的128维的特征描述子，该描述子是典型的具有旋转和尺度不变性的特征描述子。
可以理解的是，本申请基于未归一化的稠密的SIFT进行图像的融合处理，将每个像素点的128维的特征描述子进行求和作为每个像素点清晰度的描述，形成其清晰度指示图，同时为了说明这种描述方式是有效的，文章对其进行了简单的验证。即通过对同一幅图像利用不同的标准差进行不同程度的高斯模糊，计算每张图中像素点的稠密的SIFT值并求和得到图像S，然后求S的平均值作为清晰度检测值，观察结果，更模糊的图像其清晰度描述的值是否是更小的，实验表明该清晰度描述方式是有效的。
从上述描述可知，本申请实施例提供的双视场图像融合方法，能够通过获取双视场图像，并计算各视场图像的稠密的SIFT算子；根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；对所述活跃度图像进行逐点比较，得到初始判决图；对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；根据所述形态学滤波和所述归一化操作的结果，进行图像判决；根据所述图像判决的结果进行图像融合，本申请能够有效提高双视场图像融合的准确性。
在本申请的双视场图像融合方法的一实施例中，还可以具体包含如下内容：
步骤S201：以每个像素点为中心，构建图像矩阵；
步骤S202：计算所述图像矩阵的梯度大小及方向，并对每个像素点的梯度大小及方向，利用局部窗口进行单元划分，得到稠密的SIFT算子。
可选地，1.计算各视场图像的稠密的SIFT。以每个像素点为中心，构建3x3的图像矩阵，然后计算该图像矩阵的梯度大小及方向，然后对每一个像素点的梯度大小及方向，利用一个局部窗口，该窗口大小为48x48，划分成4x4个单元，每个单元有8个bins的梯度方向，由此而产生4x4x8＝128维的稠密的SIFT(注意此时的稠密的SIFT为未归一化的值)。
可选地，根据得到的稠密的SIFT计算计算图像的活跃度图像，具体实现方法为将128维的稠密的SIFT数值相加。
在本申请的双视场图像融合方法的一实施例中，还可以具体包含如下内容：
步骤S301：对所述活跃度图像进行逐点比较，若一视场的值大于另一视场的值则置1，否则置0；
步骤S302：对于得到的结果图像，以一预设窗口进行累加，所得值为该窗口内像素点个数总和，则将该点的初始判决图置1，所得值为0则将该点的初始判决图置0，否则置为不确定。
可选地，计算初始判决图，以划分聚焦区域和非聚焦区域。具体方法为对双视场图像的活跃度图像进行逐点比较，若视场1的值大于视场2的值则置1，否则置0。然后对于得到的结果图像，将nxn窗口进行累加，若所得值为该窗口内的像素个数总和，则将该点的初始判决图置1，所得值为0则将该点的初始判决图置0，否则置为不确定。
可选地，对初始判决图进行形态学滤波，以移除一些不正常的判决点，同时，将得到的未归一化的稠密的SIFT进行归一化操作。
在本申请的双视场图像融合方法的一实施例中，还可以具体包含如下内容：
步骤S401：根据所述形态学滤波和所述归一化操作的结果进行图像匹配，分别得到在设定范围内一视场的像素点a1和在另一视场内的匹配像素点b1，以及所述另一视场像素点b2在所述视场内的匹配像素点a2；
步骤S402：对于在初始判决中不确定的像素点，根据所述像素点a1、像素点a2、像素点b1、像素点b2的图像活跃度进行最终的图像判决。
可选地，首先，根据输入的归一化的稠密的SIFT进行图像匹配，分别找出在3x3范围内视场1像素点a1在视场2内的匹配像素点b1，以及视场2像素点b2在视场1内的匹配像素点a2。其次，对于在初始判决中，不确定的像素点，根据点a1,a2,b1,b2的图像活跃度进行最终的图像判决。具体方法为，若a1>b1且a2>b2，则将最终的图像判决置1，若a1<b1且a2<b2，则将最终的图像判决置0，否则将最终的图像判决置位0.5。
可选地，根据最终的图像判决，若该像素点判决值为1，则取视场1的像素点，若该像素点的判决值为0，则取视场2的像素点，否则为量视场的像素点相加取平均。
为了能够有效提高双视场图像融合的准确性，本申请提供一种用于实现所述双视场图像融合方法的全部或部分内容的双视场图像融合装置的实施例，参见图2，所述双视场图像融合装置具体包含有如下内容：
SIFT算子确定模块10，用于获取双视场图像，并计算各视场图像的稠密的SIFT算子；
活跃度图像确定模块20，用于根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；
初始判决图确定模块30，用于对所述活跃度图像进行逐点比较，得到初始判决图；
滤波归一化处理模块40，用于对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；
图像判决模块50，用于根据所述形态学滤波和所述归一化操作的结果，进行图像判决；
图像融合模块60，用于根据所述图像判决的结果进行图像融合。
从上述描述可知，本申请实施例提供的双视场图像融合装置，能够通过获取双视场图像，并计算各视场图像的稠密的SIFT算子；根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；对所述活跃度图像进行逐点比较，得到初始判决图；对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；根据所述形态学滤波和所述归一化操作的结果，进行图像判决；根据所述图像判决的结果进行图像融合，本申请能够有效提高双视场图像融合的准确性。
在本申请的双视场图像融合装置的一实施例中，所述SIFT算子确定模块10包括：
图像矩阵构建单元，用于以每个像素点为中心，构建图像矩阵；
SIFT算子计算单元，用于计算所述图像矩阵的梯度大小及方向，并对每个像素点的梯度大小及方向，利用局部窗口进行单元划分，得到稠密的SIFT算子。
在本申请的双视场图像融合装置的一实施例中，所述初始判决图确定模块30包括：
逐点比较单元，用于对所述活跃度图像进行逐点比较，若一视场的值大于另一视场的值则置1，否则置0；
点值判断单元，用于对于得到的结果图像，以一预设窗口进行累加，所得值为该窗口内像素点个数总和，则将该点的初始判决图置1，所得值为0则将该点的初始判决图置0，否则置为不确定。
在本申请的双视场图像融合装置的一实施例中，所述图像判决模块50包括：
图像匹配单元，用于根据所述形态学滤波和所述归一化操作的结果进行图像匹配，分别得到在设定范围内一视场的像素点a1和在另一视场内的匹配像素点b1，以及所述另一视场像素点b2在所述视场内的匹配像素点a2；
图像判决单元，用于对于在初始判决中不确定的像素点，根据所述像素点a1、像素点a2、像素点b1、像素点b2的图像活跃度进行最终的图像判决。
为了更进一步说明本方案，本申请还提供一种应用上述双视场图像融合装置实现双视场图像融合方法的硬件上的具体应用实例，参见图3，具体包含有如下内容：
首先，两幅输入图像分别送入DDR缓冲以及稠密的SIFT算子产生模块，由稠密的SIFT算子产生模块计算得到的两幅图像的稠密的SIFT特征值分别送入DDR缓冲和active_level计算模块，active_level计算模块用于计算两幅图像基于像素点的清晰图，将计算结果送给decision1模块进行初始的判断，由初始判断得出的二值初始决定图像由于存在“野点”，需要经过mor_filter进行形态学滤波，将滤波输出的结果送个decision2模块，同时decision2模块还需要输入原始图像以及未归一化的稠密的SIFT算子，进行特征匹配，图像频率计算，最终清晰度判断之后，得到最终的决定图像，fusion模块根据最终决定图像进行图像的融合操作。
具体地，参见图4，为基于单口ram的矩阵产生模块示意图，从上述算法流程可知，在硬件实现过程中，几乎每一个模块都需要产生图像矩阵，因此本专利设计了一种特殊的基于单口ram实现图像矩阵的形式，可以有效降低资源消耗；使用单端口存储器来缓存输入行可以有效的降低存储器的资源。以3x3的图像矩阵为例，这需要2个缓冲存储器，将输入写入一个缓冲区和窗口的第0行，同时从其他行缓冲区读取窗口的其他行。缓冲器的状态控制可以用环形计数器实现，直接控制对存储器和多路复用器的读/写信号。
可以理解的是，由稠密的SIFT算子的结构可知，在进行特征匹配时，需要对两个128维的特征向量进行匹配，计算两个向量之间的欧几里得举例，在任何平台上实现都是非常耗时且浪费资源的。因此，本申请设计了一种新型的特征匹配实现方式，即对每一个维度的特征值，首先进行阈值判断，大于阈值的取1，小于阈值的取0，同时将该维度的特征值与下一个维度的特征值进行比较，大于下一个维度的取1，小于则取0。这样就将一个128为的特征向量量化成了一个256bit的特征向量，最后通过求两个特征向量之间的汉明距离，就可以得出特征向量之间的相似度。
从硬件层面来说，为了能够有效提高双视场图像融合的准确性，本申请提供一种用于实现所述双视场图像融合方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现双视场图像融合装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的双视场图像融合方法的实施例，以及双视场图像融合装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，双视场图像融合方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图5为本申请实施例的电子设备9600的系统构成的示意框图。如图5所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图5是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，双视场图像融合方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤S101：获取双视场图像，并计算各视场图像的稠密的SIFT算子；
步骤S102：根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；
步骤S103：对所述活跃度图像进行逐点比较，得到初始判决图；
步骤S104：对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；
步骤S105：根据所述形态学滤波和所述归一化操作的结果，进行图像判决；
步骤S106：根据所述图像判决的结果进行图像融合。
从上述描述可知，本申请实施例提供的电子设备，通过获取双视场图像，并计算各视场图像的稠密的SIFT算子；根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；对所述活跃度图像进行逐点比较，得到初始判决图；对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；根据所述形态学滤波和所述归一化操作的结果，进行图像判决；根据所述图像判决的结果进行图像融合，本申请能够有效提高双视场图像融合的准确性。
在另一个实施方式中，双视场图像融合装置可以与中央处理器9100分开配置，例如可以将双视场图像融合装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现双视场图像融合方法功能。
如图5所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图5中所示的所有部件；此外，电子设备9600还可以包括图5中没有示出的部件，可以参考现有技术。
如图5所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的双视场图像融合方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的双视场图像融合方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤S101：获取双视场图像，并计算各视场图像的稠密的SIFT算子；
步骤S102：根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；
步骤S103：对所述活跃度图像进行逐点比较，得到初始判决图；
步骤S104：对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；
步骤S105：根据所述形态学滤波和所述归一化操作的结果，进行图像判决；
步骤S106：根据所述图像判决的结果进行图像融合。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过获取双视场图像，并计算各视场图像的稠密的SIFT算子；根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；对所述活跃度图像进行逐点比较，得到初始判决图；对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；根据所述形态学滤波和所述归一化操作的结果，进行图像判决；根据所述图像判决的结果进行图像融合，本申请能够有效提高双视场图像融合的准确性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种双视场图像融合方法，其特征在于，所述方法包括：
获取双视场图像，并计算各视场图像的稠密的SIFT算子；
根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；
对所述活跃度图像进行逐点比较，得到初始判决图；
对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；
根据所述形态学滤波和所述归一化操作的结果，进行图像判决；
根据所述图像判决的结果进行图像融合。
2.根据权利要求1所述的双视场图像融合方法，其特征在于，所述计算各视场图像的稠密的SIFT算子，包括：
以每个像素点为中心，构建图像矩阵；
计算所述图像矩阵的梯度大小及方向，并对每个像素点的梯度大小及方向，利用局部窗口进行单元划分，得到稠密的SIFT算子。
3.根据权利要求1所述的双视场图像融合方法，其特征在于，所述对所述活跃度图像进行逐点比较，得到初始判决图，包括：
对所述活跃度图像进行逐点比较，若一视场的值大于另一视场的值则置1，否则置0；
对于得到的结果图像，以一预设窗口进行累加，所得值为该窗口内像素点个数总和，则将该像素点的初始判决图置1，所得值为0则将该点的初始判决图置0，否则置为不确定。
4.根据权利要求1所述的双视场图像融合方法，其特征在于，所述根据所述形态学滤波和所述归一化操作的结果，进行图像判决，包括：
根据所述形态学滤波和所述归一化操作的结果进行图像匹配，分别得到在设定范围内一视场的像素点a1和在另一视场内的匹配像素点b1，以及所述另一视场像素点b2在所述视场内的匹配像素点a2；
对于在初始判决中不确定的像素点，根据所述像素点a1、像素点a2、像素点b1、像素点b2的图像活跃度进行最终的图像判决。
5.根据权利要求1所述的双视场图像融合方法，其特征在于，所述根据所述形态学滤波和所述归一化操作的结果，进行图像判决，还包括：
对每一个维度的特征值，首先进行阈值判断，大于阈值的取1，小于阈值的取0，同时将该维度的特征值与下一个维度的特征值进行比较，大于下一个维度的取1，小于则取0。
6.一种双视场图像融合装置，其特征在于，包括：
SIFT算子确定模块，用于获取双视场图像，并计算各视场图像的稠密的SIFT算子；
活跃度图像确定模块，用于根据所述稠密的SIFT算子计算图像的活跃度，得到活跃度图像；
初始判决图确定模块，用于对所述活跃度图像进行逐点比较，得到初始判决图；
滤波归一化处理模块，用于对所述初始判决图进行形态学滤波，并对未归一化的稠密的SIFT算子进行归一化操作；
图像判决模块，用于根据所述形态学滤波和所述归一化操作的结果，进行图像判决；
图像融合模块，用于根据所述图像判决的结果进行图像融合。
7.根据权利要求6所述的双视场图像融合装置，其特征在于，所述SIFT算子确定模块包括：
图像矩阵构建单元，用于以每个像素点为中心，构建图像矩阵；
SIFT算子计算单元，用于计算所述图像矩阵的梯度大小及方向，并对每个像素点的梯度大小及方向，利用局部窗口进行单元划分，得到稠密的SIFT算子。
8.根据权利要求6所述的双视场图像融合装置，其特征在于，所述初始判决图确定模块包括：
逐点比较单元，用于对所述活跃度图像进行逐点比较，若一视场的值大于另一视场的值则置1，否则置0；
点值判断单元，用于对于得到的结果图像，以一预设窗口进行累加，所得值为该窗口内像素点个数总和，则将该像素点的初始判决图置1，所得值为0则将该点的初始判决图置0，否则置为不确定。
9.根据权利要求6所述的双视场图像融合装置，其特征在于，所述图像判决模块包括：
图像匹配单元，用于根据所述形态学滤波和所述归一化操作的结果进行图像匹配，分别得到在设定范围内一视场的像素点a1和在另一视场内的匹配像素点b1，以及所述另一视场像素点b2在所述视场内的匹配像素点a2；
图像判决单元，用于对于在初始判决中不确定的像素点，根据所述像素点a1、像素点a2、像素点b1、像素点b2的图像活跃度进行最终的图像判决。
10.根据权利要求6所述的双视场图像融合装置，其特征在于，所述图像判决模块包括：
加速优化单元，用于对每一个维度的特征值，首先进行阈值判断，大于阈值的取1，小于阈值的取0，同时将该维度的特征值与下一个维度的特征值进行比较，大于下一个维度的取1，小于则取0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010343167.3A CN111582283A (zh) | 2020-04-27 | 2020-04-27 | 双视场图像融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010343167.3A CN111582283A (zh) | 2020-04-27 | 2020-04-27 | 双视场图像融合方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111582283A true CN111582283A (zh) | 2020-08-25 |
Family
ID=72125399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010343167.3A Pending CN111582283A (zh) | 2020-04-27 | 2020-04-27 | 双视场图像融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582283A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427269A (zh) * | 2015-12-09 | 2016-03-23 | 西安理工大学 | 一种基于wemd和pcnn的医学图像融合方法 |
| CN106228528A (zh) * | 2016-07-29 | 2016-12-14 | 华北电力大学 | 一种基于决策图与稀疏表示的多聚焦图像融合方法 |
| US20200104977A1 (en) * | 2018-09-30 | 2020-04-02 | Augentix Inc. | Method of Adaptive Image Stitching and Image Processing Device |
-
2020
- 2020-04-27 CN CN202010343167.3A patent/CN111582283A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427269A (zh) * | 2015-12-09 | 2016-03-23 | 西安理工大学 | 一种基于wemd和pcnn的医学图像融合方法 |
| CN106228528A (zh) * | 2016-07-29 | 2016-12-14 | 华北电力大学 | 一种基于决策图与稀疏表示的多聚焦图像融合方法 |
| US20200104977A1 (en) * | 2018-09-30 | 2020-04-02 | Augentix Inc. | Method of Adaptive Image Stitching and Image Processing Device |
Non-Patent Citations (5)
| Title |
|---|
| YU LIU ET AL: "Multi-focus image fusion with dense SIFT", pages 139 - 145 * |
| 候宏录等: "改进SIFT匹配的动态背景下运动目标检测算法", 自动化仪表, vol. 40, no. 8, 30 August 2019 (2019-08-30), pages 60 - 63 * |
| 刘纪原等主编: "自然灾害与空间信息体系", 30 September 2013, 中国宇航出版社, pages: 317 - 325 * |
| 李倩;江泽涛;: "二值化的SIFT特征描述子及图像拼接优化", no. 12, pages 1593 - 1596 * |
| 陈迪等: "基于粒子群算法的医学图像分类算法研究", 电子设计工程, vol. 27, no. 2, 30 January 2019 (2019-01-30), pages 189 - 192 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765340B (zh) | 模糊图像处理方法、装置及终端设备 | |
| US20140112572A1 (en) | Fast correlation search for stereo algorithm | |
| CN110070496B (zh) | 图像特效的生成方法、装置和硬件装置 | |
| CN108564550B (zh) | 图像处理方法、装置及终端设备 | |
| KR102389766B1 (ko) | 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체 | |
| US10964028B2 (en) | Electronic device and method for segmenting image | |
| CN110597740A (zh) | 共享存储空间的访问方法、装置以及系统和存储介质 | |
| CN111767750A (zh) | 图像处理方法和装置 | |
| CN110489955B (zh) | 应用于电子设备的图像处理、装置、计算设备、介质 | |
| CN110188782B (zh) | 图像相似性确定方法、装置、电子设备及可读存储介质 | |
| CN117934888A (zh) | 数据聚合方法、系统、设备以及存储介质 | |
| CN110619602B (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
| CN111754435A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN113516739A (zh) | 一种动画处理方法、装置、存储介质及电子设备 | |
| CN111582283A (zh) | 双视场图像融合方法及装置 | |
| CN108270973B (zh) | 一种拍照处理方法、移动终端及计算机可读存储介质 | |
| CN116342940A (zh) | 图像审批方法、装置、介质及设备 | |
| CN111382831A (zh) | 加速卷积神经网络模型前向推理的方法及装置 | |
| CN110337074B (zh) | 一种交互信息的传输方法、系统及终端设备 | |
| CN113807407A (zh) | 目标检测模型训练方法、模型性能检测方法及装置 | |
| CN113191210A (zh) | 一种图像处理方法、装置及设备 | |
| CN113516738A (zh) | 一种动画处理方法、装置、存储介质及电子设备 | |
| CN111027683A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN111292268B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN115150553B (zh) | 对焦方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200825 |