CN111724425B - 航标图拼接方法、装置及终端设备 - Google Patents

航标图拼接方法、装置及终端设备 Download PDF

Info

Publication number
CN111724425B
CN111724425B CN202010470788.8A CN202010470788A CN111724425B CN 111724425 B CN111724425 B CN 111724425B CN 202010470788 A CN202010470788 A CN 202010470788A CN 111724425 B CN111724425 B CN 111724425B
Authority
CN
China
Prior art keywords
pictures
spliced
image
navigation mark
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010470788.8A
Other languages
English (en)
Other versions
CN111724425A (zh
Inventor
李锋
甄涛
江道伟
陈国伟
谢奎
洪长华
薛晗
俞万能
兰培真
黄鹏飞
孙洪波
陈麒龙
王金铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aids To Navigation Department Of Donghai Navigation Safety Administration Mot
Jimei University
Original Assignee
Shanghai Aids To Navigation Department Of Donghai Navigation Safety Administration Mot
Jimei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aids To Navigation Department Of Donghai Navigation Safety Administration Mot, Jimei University filed Critical Shanghai Aids To Navigation Department Of Donghai Navigation Safety Administration Mot
Priority to CN202010470788.8A priority Critical patent/CN111724425B/zh
Publication of CN111724425A publication Critical patent/CN111724425A/zh
Application granted granted Critical
Publication of CN111724425B publication Critical patent/CN111724425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种航标图拼接方法、装置及终端设备，所述方法包括：载入待拼接图片，获取所述待拼接图片的数量和图片内容信息；对所述待拼接图片预处理；特征点检测与提取，采用四元数分数阶微分Harris角点检测技术检测所述待拼接图片的特征点，并进一步提取所述特征点；特征点的匹配与仿射映射；进一步地，基于多幅所述待拼接图片之间的几何变换关系，实现图片的融合，并生成新的全景图像。本发明还对应提出了一种航标图拼接装置及终端设备。本申请的航标图拼接方法，能够保留低频区域的纹理信息，避免把纹理细节中的角点过滤掉，使得航标的情况更加精确并接近实际情况的原貌图像，宽视角的航标成像便于工作人员即时监控航标的运行状态。

Description

航标图拼接方法、装置及终端设备
技术领域
本发明涉及航海航运技术领域，具体涉及为一种航标图拼接方法、装置及终端设备。
背景技术
由于各国航海航运事业的蓬勃发展，对于保障航海环境的安全尤为重要，加上业界各大海事组织，如IALA，IMO等对航海保障的要求和对助航技术的重视，加大航标性能的研究已成为各国的基本措施。但由于拍摄与监控设备的简陋与陈旧，再加上航标数量日益增多，容易出现图像失真，图片缺失，图像重叠从而导致的对航标目前情况的误判，这就使得对航标拍摄技术有更高的要求，能提供航标全景图的块匹配图像拼接技术运用到航标图像采集上也成为了必然的趋势。
发明内容
鉴于上述状况，本申请提供一种航标图拼接方法、装置及终端设备，以解决航标图拼接时图像失真、图像确实、图像重叠从而导致对航标情况误判的技术问题。
本发明提供了一种航标图拼接方法，包括：
载入待拼接图片，获取所述待拼接图片的数量和图片内容信息；
对所述待拼接图片预处理，通过对所述待拼接的图片进行滤波处理并去除噪声，进一步产生图像增强效果；
特征点检测与提取，采用四元数分数阶微分Harris角点检测技术检测所述待拼接图片的特征点，并进一步提取所述特征点；
特征点的匹配，在特征点的匹配过程中，结合相关系数并进一步通过归一化相关法进行初始匹配；
特征点的仿射映射，对所述特征点进行仿射映射处理，建立多幅所述待拼接图片之间的对应关系，确定多幅所述待拼接图片之间的几何变换关系；
图片融合处理，基于多幅所述待拼接图片之间的几何变换关系，实现图片的融合，并生成新的全景图像；
输出全景图像，进一步输出融合完成后的所述全景图像。
进一步地，所述四元数分数阶微分Harris角点检测技术包括：
求出图像I(x,y)在x、y方向上的梯度Ix,Iy；
分别求出x,y方向上的梯度乘积；
进行高斯加权，采用指定的分数阶模板扫描所述待拼接图片中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值；
求出每个所述像素的Harris响应值R，设定阈值，另小于所述阈值的响应值R为零；
进行3×3临阈非极大值抑制；
记录所述角点在所述待拼接图片中的位置；
提取所述待拼接图片中所述角点周围图像的特征。
进一步地，所述四元数分数阶微分Harris角点检测技术，采用四元数分数方向导数掩模对所述角点检测算子中使用的模板进行替换，从而改进Harris算法。
进一步地，所述特征点的仿射映射具体包括：
对所述待拼接图片进行角点检测；
进行特征点的匹配，并输出两幅所述待拼接图片拼接后的图片；
进一步进行角点检测及特征点的匹配；
输出所述多幅待拼接图片拼接后的全景图片。
进一步地，所述图像融合处理还包括：
融合后的图像检测；
确定保留低频区域的纹理信息及图像中的目标轮廓；
检测所述新的全景图像是否存在堆叠；
输出无堆叠的所述全景图像；
对于有堆叠的所述全景图像进一步进行图像融合处理。
本申请还提出了一种航标图拼接装置，包括：
图片输入模块，用于载入待拼接图片的信息；
预处理模块，用于对所述待拼接图片进行预处理；
检测提取模块，用于检测和提取所述待拼接图片的特征点；
融合处理模块，用于建立多幅所述待拼接图片之间的对应关系，并生成新的全景图像；
图片输出模块，用于输出融合处理完成后的全景图像；
显示模块，用于在用户界面上显示所述全景图片的具体信息。
进一步地，所述检测提取模块包括：
特征点检测模块和特征点提取模块。
进一步地，所述融合处理模块和图片输出模块之间还设置有：
融合后的图像处理模块，用于将存在堆叠的所述全景图片发送至所述融合处理模块，并再次进行所述待拼接图片的融合处理；
将无堆叠的所述全景图像传送至图片输出模块。
本申请还提供了一种终端设备，包括处理器和存储器；
所述存储器存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-5任一所述的航标图拼接方法。
本申请还提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-5任一所述的航标图拼接方法。
本发明提供的航标图拼接方法、装置和终端设备，采用四元数分数方向导数掩模，对角点检测算子中所使用的模板进行替换来改进Harris算法。以保留更多的处于低频区域的纹理信息，保持图像中的目标轮廓，避免把纹理细节中的角点过滤掉。相对于现有技术，本申请能够实现多幅图像的拼接，提供航标全景图的匹配，使得航标的情况更加精确，并展示接近实际情况的原貌图像，便于工作人员即时监控航标的运行状态。
附图说明
图1是本发明的一个实施例中的航标图拼接方法的流程框图。
图2是本发明一个实施例中的基于改进的Harris角点检测的图像拼接流程框图。
图3是本发明一个实施例中的特征点的仿射映射流程框图。
图4是本发明的一个实施例中的图像融合处理的流程框图。
图5a是本发明的一个实施例中的待拼接图片的原图。
图5b是本发明的一个实施例中的角点检测图。
图5c是本发明的一个实施例中的两图图像特征点匹配图。
图5d是本发明的一个实施例中的两图拼接结果图。
图5e是本发明的一个实施例中的第二轮角点检测图。
图5f是本发明的一个实施例中的三图图像特征点的匹配图。
图5g是本发明的一个实施例中的三图拼接结果图。
图6是采用基本的Harris角点检测生成的拼接结果图。
图7a是本发明的一个实施例中的基于终端设备的某一角度拍摄的第一张图片。
图7b是本发明的一个实施例中的基于终端设备的另一角度拍摄的第二张图片。
图7c是本发明的一个实施例中的基于终端设备的拼接结果图。
图8是本发明的一个实施例中的两个航标所在的海图位置的拼接结果图。
图9是本发明的航标图拼接装置的结构图。
图10是本图9所述的实施例中的检测提取模块的具体框图。
图11是图9所述实施例中的经融合处理模块处理后的具体流程框图。
图12是本发明的一个实施例中的终端框图。
主要元件符号说明
终端 100
图片输入模块 120
预处理模块 130
特征点检测模块 131
特征点提取模块 132
融合处理模块 140
融合后的图像处理模块 141
图片输出模块 150
显示模块 160
处理器 210
存储器 220
RAM 221
高速缓存 222
存储系统 223
程序模块 224
I/O接口 230
网络适配器 240
显示器 250
外部设备 260
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
另外还需要说明的是，为了便于描述，附图中仅出示了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描绘成顺序的处理，但是其中的很多操作可以被并行地、并发地或者同时实施。此外，各种操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
请参阅图1，本发明的实施例提供了一种航标图的拼接方法，本实施例的拼接方法可以由航标图拼接装置来执行，该装置可通过硬件和/或软件的方式来执行，并一般可集成于设备中。本实施例的具体方法包括：
S100、载入待拼接图片。
在本实施例中，载入待拼接的图片后，获取所述待拼接图片的数量和图片内容信息。
S200、对所述待拼接图片预处理。
获取两幅或多幅所述待拼接图片后，通过对所述待拼接的图片进行滤波处理并去除噪声，进一步产生图像增强效果。其中，所述待拼接图片的数量可以由用户自行设定。
S300、特征点检测与提取。
在本实施例中，采用四元数分数阶微分Harris角点检测技术检测所述待拼接图片的特征点，并进一步提取所述特征点。
S400、特征点的匹配。
对提取的所述特征点，进行特征点的匹配，在匹配过程中结合相关系数并通过归一化相关法进行初始匹配。
S500、特征点的仿射映射。
通过对所述特征点进行仿射映射处理，建立多幅所述待拼接图片之间的对应关系，进一步确定多幅所述待拼接图片之间的几何变换关系。
S600、图片融合处理。
在本实施例中，基于多幅所述待拼接图片之间的几何变换关系，实现图片之间的融合，并生成新的全景图像。
S700、输出全景图像。
输出融合完成后的所述全景图像，并在终端上显示。
在本实施例中，图片的融合处理在不降低有效信息去除冗余的情况下，可以让观察者看到完整丰富的全景图像。可使得航标的监视情况更加精确并可以浏览接近实际情况的原貌图像。
图2为本发明实施例提供的基于改进的Harris角点检测的图像拼接流程框图。本实施例以上述实施例为基础进一步优化，给出了一种基于改进的Harris角点检测的图像拼接流程的具体实施方式。
相应地，本实施例的方法具体包括：
S310、求出图像I(x,y)在x、y方向上的梯度Ix,Iy。
S320、分别求出x,y方向上的梯度乘积。
S330、进行高斯加权，采用指定的分数阶模板扫描所述待拼接图片中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
在本实施例中，所述指定的分数阶模板满足：
其中，此处σ值为常数，在本实施例中，σ可取值为2。
S340、求出每个所述像素的Harris响应值R，设定阈值，另小于所述阈值的响应值R为零。
S350、进行3×3临阈非极大值抑制。
S360、记录所述角点在所述待拼接图片中的位置。
S370、提取所述待拼接图片中所述角点周围图像的特征。
在本实施例中，基于改进的Harris角点检测算法，在图像拼接过程中，能够避免出现大量的伪角点，可以保留更多的处于低频区域的纹理信息，避免把纹理细节中的角点过滤掉。
需要说明的是，在Harris角点检测中，对于图像I(x,y),当在点(x,y)处平移后的自相似性可以通过自相关函数给出：
其中，W(x,y)是以点(x,y)为中心的窗口，w(x,y)为加权函数，既可以用常数表示，又可以用高斯加权函数表示。
根据泰勒展开，对图像I(x,y)在平移后进行一阶近似：
在公式(2)中，Ix,Iy是图像I(x,y)的偏导数。这样，公式(1)就能近似表示为：
其中：
图像I(x,y)在点(x,y)处平移后的自相关函数可以近似为二次项函数：
根据二次项函数特征值的计算方法，可以求公式(4)的特征值。Harris算法中给出的角点判别方法并不需要计算具体的特征值，而是计算一个角点响应值R来判断角点。R的计算公式为
R＝detM-α(trace(M))2 (6)
式中detM为矩阵的行列式；traceM为矩阵M的迹；α为经验常数，取值范围为0.04～0.06。
进一步地，为了保留更多的处于低频区域的纹理信息，避免把纹理细节中的角点过滤掉，采用四元数分数方向导数掩模，对角点检测算子中所使用的模板进行替换，从而改进Harris算法。采用分数微积分的Riemann-Liouville定义如下：
首先，对于区间[t0,t]中的绝对可积函数x(t)，其Riemann-Liouville积分如下：
式中α的实部为正。伽马函数Γ(x)定义为：
其次，对于区间[t0,t]中的绝对可积函数x(t)，其Riemann-Liouville微分定义为：
式中α∈[m-1,m)，m为正整数。
表示沿东方向的分数阶微分，/>表示沿南方向的分数阶微分，/>表示沿东南方向的分数阶微分，/>表示沿东北方向的分数阶微分。基于四元数的分数方向导数定义如下：
式中a为非零系数:
在本实施例中，四元分数方向导数掩模如表1所示：
表1四元分数方向导数掩模
进一步地，其分数阶微分定义为：
请参阅图3及图5a、图5b、图5c、图5d、图5e、图5f、图5g，分别给出了本发明实施例中的特征点仿射映射的流程框图和多张图像精确匹配图。
在本实施例中，给出了多幅所述待拼接图片拼接过程的具体实施方式，其步骤包括：
S510、对所述待拼接图片进行角点检测。
其中，所述待拼接图片如图5a所示，为未经任何处理的原始图片。
S520、进行特征点的匹配，并输出两幅所述待拼接图片拼接后的图片。
可参照图5b、图5c以及图5d，具体给出了角点检测图、两图图像的特征点的匹配以及两图的拼接结果。在本实施例中，首先通过利用四元分数阶微分Harris角点检测算法，实现两张所述待拼接图片的匹配。
S530、进一步进行角点检测及特征点的匹配。
进一步结合图5e和图5f可以看出，在该实施例中，对多幅所述待拼接图片进行进一步的角点检测，实现多图图像的特征点的匹配。在本实施例中，所述待拼接图片的数量为3。
S540、输出所述多幅待拼接图片拼接后的全景图片。
如图5g所示，为三幅所述待拼接图片拼接后的结果。相应地，在该实施例中，所述待拼接图片的数量不限于3幅，经过多次的角点检测和特征点的匹配，可输出全景图片。
图6为采用基本的Harris角点检测对航标图像进行拼接的结果。进一步对比图5g与图6可知，采用四元分数阶微分Harris角点检测技术对航标图进行拼接，可以保留更多的处于低频区域的纹理信息，有利于保持图像中的目标轮廓，便于监视航标图的运行状态。
图9是本发明提供的一种航标图拼接装置的结构图。如图9所示，所述装置包括：
图片输入模块110，用于获取所述待拼接图片的数量和图片内容信息。
预处理模块120，用于对所述待拼接图片预处理。
检测提取模块130，用于检测所述待拼接图片的特征点，并进一步提取所述特征点。其中，检测方式为四元数分数阶微分Harris角点检测。
融合处理模块140，用于对所述待拼接图片进行融合处理，建立多幅所述待拼接图片之间的对应关系，获取拼接后的全景图像。
图片输出模块150，用于输出拼接完成后的全景图像。
显示模块160，用于显示全景图像。
本实施例提供了一种航标图拼接装置，该装置首先通过图片输入模块110获取所述待拼接图片，经预处理模块120处理后，然后通过检测提取模块130和融合处理模块对所述待拼接图片进行检测、提取特征点，建立拼接后的全景图像，经图片输出模块150输出全景图像后，在显示模块160上进一步显示。
该装置解决了现有技术中，航标图拼接处理时出现伪角点、无法保留低频区域的纹理信息、图像失真的技术问题。
图10是检测提取模块130的具体框图。在上述实施例的基础上，所述检测提取模块130进一步包括特征点检测模块131和特征点提取模块132，用以检测和提取特征点。
进一步地，结合图11所示。在本实施例中，所述融合处理模块140和图片输出模块150之间还设置有：融合后的图像处理模块141。所述融合后的图像处理模块141用于将存在堆叠的所述全景图片发送至所述融合处理模块140，并再次进行所述待拼接图片的融合处理；将无堆叠的所述全景图像传送至所述图片输出模块150。
为了进一步验证所述航标图拼接装置的拼接效果，在本实施例中，采用一终端设备进一步进行了测试。
图7a和图7b为某一水域不同角度的拍摄图片，图7c为基于所述航标图拼接装置的图像拼接结果。经验证，该水域的拼接结果完整，图片的匹配度较高，且运转速度快，适于实用。
为了进一步确定所述航标图拼接装置在航海航运中具有较强的实用性，对所述装置进行了进一步的航标拼接测试。所述航标的具体坐标如表2所示：
航标名 经度 纬度
猴屿灯桩 118°03′21.1″E 24°28′4.7″N
702号浮 118°03′21.5″E 24°27′59.8″N
表2两个航标坐标
结合图8中两个航标所在的海图位置可以看出，经过拼接后的航标图，符合实际航标的配布位置。实验结果显示，所述航标图拼接方法中角点的匹配准确率较高，且运算速度快，拼接结果较好，实用性较强。
图12为本发明实施例提供的一种终端的结构框图。图12给出的终端100适于用来实现本发明的实施方式。图12显示的终端100仅仅是一个示例，不应对本发明实施例的功能和适用范围带来任何限制。
如图12所示，终端100的组件可以包括但不限于：一个或者多个处理器16，系统存储器220。在本实施例中，终端100包括多种计算机系统可读介质。这些介质可以是任何能够被终端100访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器220可以包括易失性存储器形式的计算机系统可读介质，例如随机存储存储器(RAM)和或/高速缓存存储器32。存储器220可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块224，这些程序模块被配置以执行本发明各实施例的功能。
所述终端100也可以与一个或多个外部设备260(例如电源、显示器250等)通信，还可与一个或多个使得用户能与该终端100交互的终端通信。这种通信可通过输入/输出(I/O)接口230进行。所述终端100还可以通过网络适配器240与一个或多个网络(例如局域网、广域网及英特网等)通信。
所述处理单元16通过运行存储在存储器220中的程序，从而执行各项功能应用以及数据处理，例如本发明实施例所提供的航标图拼接方法。
本发明的实施例还提供了一种计算机可读的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的航标图拼接方法。在本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。
本实施例的计算机可读的存储介质可以是电、磁、光或半导体的系统、装置或器件，或任意以上的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或器件使用或者与其结合使用。
在本发明的实施例中，可以以一种或多种程序设计语言或其组合来编写用于本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式设计语言。程序代码可完全地、部分地或者远程地在计算机上执行。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。计算机装置权利要求中陈述的多个单元或计算机装置也可以由同一个单元或计算机装置通过软件或者硬件来实现。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (6)

1.一种航标图拼接方法，其特征在于，包括以下步骤：
载入待拼接图片，获取所述待拼接图片的数量和图片内容信息；
对所述待拼接图片预处理，通过对所述待拼接的图片进行滤波处理并去除噪声，进一步产生图像增强效果；
特征点检测与提取，采用四元数分数阶微分Harris角点检测技术检测所述待拼接图片的特征点，并进一步提取所述特征点；
特征点的匹配，在特征点的匹配过程中，结合相关系数并进一步通过归一化相关法进行初始匹配；
特征点的仿射映射，对所述特征点进行仿射映射处理，建立多幅所述待拼接图片之间的对应关系，确定多幅所述待拼接图片之间的几何变换关系；
图片融合处理，基于多幅所述待拼接图片之间的几何变换关系，实现图片的融合，并生成新的全景图像；
输出全景图像，进一步输出融合完成后的所述全景图像；
所述四元数分数阶微分Harris角点检测技术包括：
求出图像I(x,y)在x、y方向上的梯度Ix,Iy；
分别求出x,y方向上的梯度乘积；
进行高斯加权，采用指定的分数阶模板扫描所述待拼接图片中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值；
求出每个所述像素的Harris响应值R，设定阈值，令小于所述阈值的响应值R为零；
进行3×3邻域非极大值抑制；
记录角点在所述待拼接图片中的位置；
提取所述待拼接图片中所述角点周围图像的特征；
所述特征点的仿射映射具体包括：
对所述待拼接图片进行角点检测；
进行特征点的匹配，并输出两幅所述待拼接图片拼接后的图片；
进一步进行角点检测及特征点的匹配；
输出多幅待拼接图片拼接后的全景图片；
所述四元数分数阶微分Harris角点检测技术，采用四元数分数方向导数掩模对所述角点检测算子中使用的模板进行替换，从而改进Harris算法。
2.如权利要求1所述的航标图拼接方法，其特征在于，所述图像融合处理还包括：
融合后的图像检测；
确定保留低频区域的纹理信息及图像中的目标轮廓；
检测所述新的全景图像是否存在堆叠；
输出无堆叠的所述全景图像；
对于有堆叠的所述全景图像进一步进行图像融合处理。
3.一种航标图拼接装置，其特征在于，包括：
图片输入模块，用于载入待拼接图片的信息，获取所述待拼接图片的数量和图片内容信息；
预处理模块，用于对所述待拼接图片进行预处理，通过对所述待拼接的图片进行滤波处理并去除噪声，进一步产生图像增强效果；
检测提取模块，用于检测和提取所述待拼接图片的特征点；所述检测提取模块包括：特征点检测模块和特征点提取模块，采用四元数分数阶微分Harris角点检测技术检测所述待拼接图片的特征点，并进一步提取所述特征点；
所述四元数分数阶微分Harris角点检测技术包括：求出图像I(x,y)在x、y方向上的梯度Ix,Iy；分别求出x,y方向上的梯度乘积；进行高斯加权，采用指定的分数阶模板扫描所述待拼接图片中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值；求出每个所述像素的Harris响应值R，设定阈值，令小于所述阈值的响应值R为零；进行3×3邻域非极大值抑制；记录角点在所述待拼接图片中的位置；提取所述待拼接图片中所述角点周围图像的特征；
所述四元数分数阶微分Harris角点检测技术，采用四元数分数方向导数掩模对所述角点检测算子中使用的模板进行替换，从而改进Harris算法；
融合处理模块，用于建立多幅所述待拼接图片之间的对应关系，并生成新的全景图像；对应关系具体为几何变换关系，在特征点的匹配过程中，结合相关系数并进一步通过归一化相关法进行初始匹配，对所述特征点进行仿射映射处理，建立多幅所述待拼接图片之间的对应关系，确定多幅所述待拼接图片之间的几何变换关系；特征点的仿射映射具体包括：对所述待拼接图片进行角点检测；进行特征点的匹配，并输出两幅所述待拼接图片拼接后的图片；进一步进行角点检测及特征点的匹配；输出多幅待拼接图片拼接后的全景图片；
图片输出模块，用于输出融合处理完成后的全景图像；
显示模块，用于在用户界面上显示所述全景图片的具体信息。
4.如权利要求3所述的航标图拼接装置，其特征在于，所述融合处理模块和图片输出模块之间还设置有：
融合后的图像处理模块，用于将存在堆叠的所述全景图片发送至所述融合处理模块，并再次进行所述待拼接图片的融合处理；
将无堆叠的所述全景图像传送至图片输出模块。
5.一种终端设备，其特征在于，包括处理器和存储器；
所述存储器存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-2任一所述的航标图拼接方法。
6.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-2任一所述的航标图拼接方法。
CN202010470788.8A 2020-05-28 2020-05-28 航标图拼接方法、装置及终端设备 Active CN111724425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010470788.8A CN111724425B (zh) 2020-05-28 2020-05-28 航标图拼接方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010470788.8A CN111724425B (zh) 2020-05-28 2020-05-28 航标图拼接方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN111724425A CN111724425A (zh) 2020-09-29
CN111724425B true CN111724425B (zh) 2023-11-10

Family

ID=72565292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010470788.8A Active CN111724425B (zh) 2020-05-28 2020-05-28 航标图拼接方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN111724425B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800635B (zh) * 2021-04-08 2021-07-20 深圳市鼎阳科技股份有限公司 矢量网络分析仪和统计眼图生成的方法
CN113919421A (zh) * 2021-09-30 2022-01-11 国网北京市电力公司 调整目标检测模型的方法、装置和设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN105139412A (zh) * 2015-09-25 2015-12-09 深圳大学 一种高光谱图像角点检测方法与系统
CN105761233A (zh) * 2014-12-15 2016-07-13 南京理工大学 一种基于fpga的实时全景图像拼接方法
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN106204570A (zh) * 2016-07-05 2016-12-07 安徽工业大学 一种基于非因果分数阶梯度算子的角点检测方法
CN107767330A (zh) * 2017-10-17 2018-03-06 中电科新型智慧城市研究院有限公司 一种图像拼接方法
CN107808388A (zh) * 2017-10-19 2018-03-16 中科创达软件股份有限公司 包含运动目标的图像处理方法、装置及电子设备
CN109978755A (zh) * 2019-03-11 2019-07-05 广州杰赛科技股份有限公司 全景图像合成方法、装置、设备与存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339390B2 (en) * 2016-02-23 2019-07-02 Semiconductor Components Industries, Llc Methods and apparatus for an imaging system
US10210616B2 (en) * 2017-04-27 2019-02-19 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Kernal approximation on fractional differential operator for edge detection
CN109360203B (zh) * 2018-10-30 2021-12-03 京东方科技集团股份有限公司 图像配准方法、图像配准装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN105761233A (zh) * 2014-12-15 2016-07-13 南京理工大学 一种基于fpga的实时全景图像拼接方法
CN105139412A (zh) * 2015-09-25 2015-12-09 深圳大学 一种高光谱图像角点检测方法与系统
CN106204570A (zh) * 2016-07-05 2016-12-07 安徽工业大学 一种基于非因果分数阶梯度算子的角点检测方法
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN107767330A (zh) * 2017-10-17 2018-03-06 中电科新型智慧城市研究院有限公司 一种图像拼接方法
CN107808388A (zh) * 2017-10-19 2018-03-16 中科创达软件股份有限公司 包含运动目标的图像处理方法、装置及电子设备
CN109978755A (zh) * 2019-03-11 2019-07-05 广州杰赛科技股份有限公司 全景图像合成方法、装置、设备与存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于Harris角点和高斯差分的特征点提取算法;高健 等;《模式识别与人工智能》;20080415;第12卷(第2期);第171-176页 *
基于QDCT马尔科夫方法的彩色图像拼接检测;王金伟 等;《应用科学学报》;20171130;第35卷(第6期);第754-762页 *
航标遥测遥控系统的优化;李子富 等;《集美大学学报(自然科学版)》;20100915;第358-363页 *

Also Published As

Publication number Publication date
CN111724425A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
Liu et al. Robust color guided depth map restoration
Koch et al. Evaluation of cnn-based single-image depth estimation methods
US10269092B2 (en) Image processing device, image processing method, and storage medium
US9400939B2 (en) System and method for relating corresponding points in images with different viewing angles
CN109035292B (zh) 基于深度学习的运动目标检测方法及装置
CN111724425B (zh) 航标图拼接方法、装置及终端设备
Santana-Cedrés et al. Automatic correction of perspective and optical distortions
CN112529097B (zh) 样本图像生成方法、装置以及电子设备
CN111898610B (zh) 卡片缺角检测方法、装置、计算机设备及存储介质
CN112802208B (zh) 一种航站楼内三维可视化方法及装置
CN115359239A (zh) 风电叶片缺陷检测定位方法、装置、存储介质和电子设备
CN112017231A (zh) 基于单目摄像头的人体体重识别方法、装置及存储介质
US11544839B2 (en) System, apparatus and method for facilitating inspection of a target object
CN112333468B (zh) 图像处理方法、装置、设备及存储介质
CN113255756B (zh) 图像融合方法、装置、电子设备及存储介质
CN112785524B (zh) 一种人物图像的修复方法、装置及电子设备
CN112581460B (zh) 扫描规划方法、装置、计算机设备和存储介质
CN114267016A (zh) 一种用于线下多人考试的视觉辅助监考系统
JP2017085297A (ja) 画像処理装置、画像処理方法およびプログラム
Zhang et al. Fisheye image correction based on straight-line detection and preservation
JP6686890B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
Petrou et al. Super-resolution in practice: the complete pipeline from image capture to super-resolved subimage creation using a novel frame selection method
CN111131689A (zh) 全景图像修复方法和系统
CN114549613B (zh) 基于深度超分辨率网络的结构位移测量方法及装置
US20210168292A1 (en) Operation assistance device, operation assistance method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant