CN109493279A - 一种大规模无人机图像并行拼接方法 - Google Patents

一种大规模无人机图像并行拼接方法 Download PDF

Info

Publication number
CN109493279A
CN109493279A CN201811250707.2A CN201811250707A CN109493279A CN 109493279 A CN109493279 A CN 109493279A CN 201811250707 A CN201811250707 A CN 201811250707A CN 109493279 A CN109493279 A CN 109493279A
Authority
CN
China
Prior art keywords
image
unmanned plane
value
parallel
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811250707.2A
Other languages
English (en)
Other versions
CN109493279B (zh
Inventor
葛岚波
罗宇驰
张昕煜
滕德强
魏大保
巫义锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201811250707.2A priority Critical patent/CN109493279B/zh
Publication of CN109493279A publication Critical patent/CN109493279A/zh
Application granted granted Critical
Publication of CN109493279B publication Critical patent/CN109493279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种大规模无人机图像并行拼接方法,属于无人机图像处理领域。本发明包括以下步骤:步骤1,通过无人机采集图像数据并输入至系统当中;步骤2,在Spark大数据计算平台上定义相关的拼接处理操作,并按之后的步骤并行执行;步骤3,并行完成图像畸变矫正的预处理;步骤4,判断无人机飞行模式是顺序飞行还是乱序飞行,针对无人机的乱序飞行,需通过图像相似图匹配有序化;步骤5,使用PCA‑SIFT进行图像特征检测和提取;步骤6,通过已提取的特征进行图像间的匹配和融合,并行将大规模的图像以两两合并拼接的方式最终融合成一幅完整图像。本发明具有很强的鲁棒性,检测效果好,可以准确完成大规模无人机图像拼接任务。

Description

一种大规模无人机图像并行拼接方法
技术领域
本发明涉及一种大规模无人机图像并行拼接方法,属于无人机图像处理领域。
背景技术
近年来,无人机在航空摄影、农业生产、灾害观测和军事用途等方面显示出了满足户外空中探测需求的显著潜力。基于航空影像拍摄的的高分辨率图像可以为用户提供大量、丰富的信息处理和分析。
图像拼接是通过识别相邻位置图像的相似部分,然后通过融合相邻图像生成结果来自动构建高分辨率图像的方法。事实上,镶嵌技术已经得到了很好的发展,并且已经应用到大多数手机和相机中。
在大数据时代背景下,数据的快速增长导致无法使用传统的一般方法进行处理。
发明内容
本发明提出了一种大规模无人机图像并行拼接方法,可以更快更高效地处理大规模或实时输入的无人机图像拼接问题。
本发明为解决其技术问题采用如下技术方案:
一种大规模无人机图像并行拼接的方法,包括以下步骤:
步骤1,通过无人机采集图像数据并输入至系统当中;
步骤2,在Spark大数据计算平台上定义相关的拼接处理操作,并按之后的步骤并行执行;
步骤3,并行完成图像畸变矫正的预处理;
步骤4,判断无人机飞行模式是顺序飞行还是乱序飞行;针对无人机的乱序飞行,需通过图像相似图匹配有序化;
步骤5,使用PCA-SIFT进行图像特征检测和提取;
步骤6,通过已提取的特征进行图像间的匹配和融合,并行将大规模的图像以两两合并拼接的方式最终融合成一幅完整图像。
所述步骤3具体过程如下:
步骤31,获取图像的相关计算参数:像素、分辨率、色彩通道;
步骤32,按照下面的阈线性变换模型进行图像的畸变矫正处理:
其中:x为素值在图像中的行坐标,y为像素值在图像中的纵坐标,w是齐次坐标;x1为像素值在校正图像中的行坐标,y1为像素值在校正图像中的纵坐标,w1为校正后的齐次坐标,Su是X轴的飞行参数,Sv是Y轴的飞行参数。
所述步骤4具体过程如下:
步骤41,对于无人机乱飞模式下得到的无序图像,选取图像中能够进行拼接的区域求出其灰度直方图:
其中nk是图像中灰度值为k的像素个数,N为图像的像素总个数,L为图像的灰度级,h(k)为直方图的向量表示;
步骤42,采用累计概率函数作为直方图均衡化的映射函数,设[f(i,j)]m×n和[g(i,j)]m×n分别为处理前后的图像,则直方图均衡化映射函数为:
当f(i,j)=s,,则
其中L为图像的灰度级,s为图像(i,j)处的灰度值,p(fk)为图像在灰度值为k处的像素点个数,f(i,j)为图像处理前(i,j)处的像素值,g(i,j)为图像处理后(i,j)处的像素值;
按此公式直接由原图像的各像素值直接得到直方图均衡化后个像素的灰度值;
步骤43,利用直方图来搜索并配对两幅航拍图像,通过比较一个无序的图像序列中两幅图像的子区域之间的相似性,按下面的公式:
其中G为标准图像,S为待匹配图像,Sim(G,S)为标准图像与待匹配图像的相似度,gi,j,k为标准图像的像素统计值,si,j,k待匹配图像的像素统计值;
在这种方式下搜索水平相邻图像并将它们配对,在计算相似度之后,我们粗略地将两幅图像配对:
P(Ii)=argmjaxSim(Ii,Ij),其中Ii,Ij∈D
其中Ii是待配对图像,Ij是其他图像,P(Ii)为计算出能与Ii配对的图像,Sim(Ii,Ij)为标准图像与待匹配图像的相似度,D为所有图像集合。
所述步骤41中,根据无人机拍摄的图像的重叠率不同,从图像拼接方向起选取每幅图大小的30%-50%计算直方图并进行相似度匹配。
所述步骤6具体过程如下:
步骤61,根据步骤4完成的拼接顺序按序整理图像文件;
步骤62,并行完成所有图像两两特征匹配的过程;
步骤63,设置和调整实验参数;
步骤64,针对完成配准的图像,在Spark集群系统中进行图像融合的并行处理。
本发明的有益效果如下:
(1)本发明实现了计算机科学两大技术领域的交叉融合:Spark大数据科学与计算机视觉。针对图像拼接所研究出的并行图像拼接算法达到了大规模图像快速处理的目标。
(2)本发明在并行处理的基础之上优化了图像算法。在图像特征提取时使用PCA-SIFT即主成分分析法降维特征,进一步加速了处理所用的时间。
(3)本发明考虑到无人机飞行方式的不同,针对乱序飞行模式提出了图像的直方图匹配方法。该方法针对不同形式的图像数据源都可进行处理。
附图说明
图1为本发明流程图。
图2为待拼接示例图像1。
图3为待拼接示例图像2。
图4为预处理前的示例图像,
图5为预处理后的示例图像。
图6为无序图像序列化后的部分有序图像序列。
图7为图像特征提取与配准结果图。
图8为最终完成的图像拼接结果图。
具体实施方式
下面结合附图对本发明做进一步详细说明。
如图1所示,本发明是一种大规模无人机图像并行拼接方法,包括以下步骤:
步骤1:通过无人机采集图像数据并输入至系统当中,输入图像的部分示例图参照图2和图3;
步骤2:包括以下步骤:
首先,针对实验环境设置分区数、内存大小等相关集群参数;
其次,使用转化操作将输入的图像按照之后的步骤定义出预处理、图像排序、特征提取、图像配准和融合等步骤,等待执行;
步骤3:包括以下步骤:
首先,获取图像的相关计算参数:像素、分辨率、色彩通道;
其次,按照下面的阈线性变换模型进行图像的畸变矫正处理,计算方法为:
其中x为素值在图像中的行坐标,y为像素值在图像中的纵坐标,w是齐次坐标。而x1为像素值在校正图像中的行坐标,y1为像素值在校正图像中的纵坐标,w1为校正后的齐次坐标。Su是X轴的飞行参数,Sv是Y轴的飞行参数,可以直接从无人机中得到并使用。
最后按照上述计算过程由原始图像得到处理后的待拼接图像。
步骤3得到的预处理前后的待拼接图像参照图4和图5。
步骤4:包括以下步骤:
首先,对于无人机乱飞模式下得到的无序图像,选取取图像能够进行拼接的区域求出其灰度直方图,计算方法为:
其中nk是图像中灰度值为k的像素个数,N为图像的像素总个数,L为图像的灰度级,h(k)为直方图的向量表示。
此外对于拼接区域的选取,根据无人机拍摄的图像的重叠率不同,从图像拼接方向起选取每幅图大小的30%-50%计算直方图并进行相似度匹配。
其次,采用累计概率函数作为直方图均衡化的映射函数。设[f(i,j)]m×n和[g(i,j)]m×n分别为处理前后的图像,则直方图均衡化映射函数为:
当f(i,j)=s,则
其中L为图像的灰度级,s为图像(i,j)处的灰度值,p(fk)为图像在灰度值为k处的像素点个数,f(i,j)为图像处理前(i,j)处的像素值,g(i,j)为图像处理后(i,j)处的像素值。
按此公式可以直接由原图像的各像素值直接得到直方图均衡化后个像素的灰度值。
然后,利用直方图来搜索并配对两幅航拍图像,通过比较一个无序的图像序列中两幅图像的子区域之间的相似性,按下面的公式:
其中G为标准图像,S为待匹配图像,Sim(G,S)为标准图像与待匹配图像的相似度,gi,j,k为标准图像的像素统计值,si,j,k待匹配图像的像素统计值。
在这种方式下搜索水平相邻图像并将它们配对。分割块用于提高直方图方法的鲁棒性。在计算相似度之后,粗略地将两幅图像配对:
P(Ii)=argmjaxSim(Ii,Ij),其中Ii,Ij∈D
其中Ii是待配对图像,Ij是其他图像,P(Ii)为计算出能与Ii配对的图像,Sim(Ii,Ij)为标准图像与待匹配图像的相似度,D为所有图像集合。
步骤4执行完成后将得到已排好序可以按序进行拼接的图像序列参照图6;
步骤5:使用PCA-SIFT(主成分分析法)进行图像特征检测和提取。传统SIFT(尺度不变特征变换)方法提取的128维特征对于大规模图像拼接过程中的特征分析具有较低的效率,这里通采用PCA(主成分分析法)进行特征降维能够极大的提高效率。
步骤6:包括以下步骤:
首先,按照之前的步骤已经确定图像的拼接顺序,针对两张确定的图像进行特征的匹配,这一过程完成图像配准。特征匹配过程对于多组图像来说是一个完全可以并行的过程。
其次,针对完成配准的图像,在Spark集群系统中进行图像融合的并行处理。上述步骤在Spark计算平台上的具体实现步骤为:
(1)实例化SparkContext对象,用于设置集群节点、结点内存配置等相关实验参数;
(2)读取预处理后的图像数据,通过转化操作生成初始RDD(弹性分布式数据集);
(3)利用RDD的转化与行动操作,结合此图像并行拼接处理算法,对图像数据进行读取与转化,以定义这一系列操作(不执行);
(4)由集群Master(管理器结点)进行资源调度,并安排计算任务到集群的各个Worker(工作结点);
(5)Spark任务执行,由各个Worker结点负责执行图像拼接的处理工作,主要完成图像的畸变矫正预处理、排序以及通过PCA-SIFT(主成分分析法)图像算法来完成图像特征提取、配准和融合;
(6)并行地完成像融合的任务后,各个Worker结点的工作将汇总。分层次多次执行,直到完成整个图像的拼接工作。这一过程具体包括下面几个步骤:
(1)将原始数据读入并定义RDD及其图像处理操作,其中转化操作结果会创建新的RDD,并引用其父节点RDD;
(2)依次按照程序中定义的每个RDD按上一步操作,构建RDD的有向无环图(DAG);
(3)RDD定义的行动操作把有向无环图强制转译为执行计划;
(4)每当调用一个RDD的行动操作,则计算该RDD,也计算出其父节点;
(5)Spark调度器提交一个作业来计算所有必要的RDD,每个作业包含多个并行处理的图像拼接任务;
(6)这些任务在集群中调度并执行。
步骤5、步骤6得到的图像配准结果图和最终融合的结果图参照图7和图8。

Claims (5)

1.一种大规模无人机图像并行拼接方法,其特征在于:包括以下步骤:
步骤1,通过无人机采集图像数据并输入至系统当中;
步骤2,在Spark大数据计算平台上定义相关的拼接处理操作,并按之后的步骤并行执行;
步骤3,并行完成图像畸变矫正的预处理;
步骤4,判断无人机飞行模式是顺序飞行还是乱序飞行;针对无人机的乱序飞行,需通过图像相似图匹配有序化;
步骤5,使用PCA-SIFT进行图像特征检测和提取;
步骤6,通过已提取的特征进行图像间的匹配和融合,并行将大规模的图像以两两合并拼接的方式最终融合成一幅完整图像。
2.根据权利要求1所述一种大规模无人机图像并行拼接方法,其特征在于:所述步骤3具体过程如下:
步骤31,获取图像的相关计算参数:像素、分辨率、色彩通道;
步骤32,按照下面的阈线性变换模型进行图像的畸变矫正处理:
其中:x为素值在图像中的行坐标,y为像素值在图像中的纵坐标,w是齐次坐标;x1为像素值在校正图像中的行坐标,y1为像素值在校正图像中的纵坐标,w1为校正后的齐次坐标,Su是X轴的飞行参数,Sv是Y轴的飞行参数。
3.根据权利要求1所述一种大规模无人机图像并行拼接方法,其特征在于:所述步骤4具体过程如下:
步骤41,对于无人机乱飞模式下得到的无序图像,选取图像中能够进行拼接的区域求出其灰度直方图:
其中nk是图像中灰度值为k的像素个数,N为图像的像素总个数,L为图像的灰度级,h(k)为直方图的向量表示;
步骤42,采用累计概率函数作为直方图均衡化的映射函数,设[f(i,j)]m×n和[g(i,j)]m×n分别为处理前后的图像,则直方图均衡化映射函数为:
当f(i,j)=s,,则
其中L为图像的灰度级,s为图像(i,j)处的灰度值,p(fk)为图像在灰度值为k处的像素点个数,f(i,j)为图像处理前(i,j)处的像素值,g(i,j)为图像处理后(i,j)处的像素值;
按此公式直接由原图像的各像素值直接得到直方图均衡化后个像素的灰度值;
步骤43,利用直方图来搜索并配对两幅航拍图像,通过比较一个无序的图像序列中两幅图像的子区域之间的相似性,按下面的公式:
其中G为标准图像,S为待匹配图像,Sim(G,S)为标准图像与待匹配图像的相似度,gi,j,k为标准图像的像素统计值,si,j,k待匹配图像的像素统计值;
在这种方式下搜索水平相邻图像并将它们配对,在计算相似度之后,我们粗略地将两幅图像配对:
其中Ii,Ij∈D
其中Ii是待配对图像,Ij是其他图像,P(Ii)为计算出能与Ii配对的图像,Sim(Ii,Ij)为标准图像与待匹配图像的相似度,D为所有图像集合。
4.根据权利要求3所述一种大规模无人机图像并行拼接方法,其特征在于:所述步骤41中,根据无人机拍摄的图像的重叠率不同,从图像拼接方向起选取每幅图大小的30%-50%计算直方图并进行相似度匹配。
5.根据权利要求4所述一种大规模无人机图像并行拼接方法,其特征在于:所述步骤6具体过程如下:
步骤61,根据步骤4完成的拼接顺序按序整理图像文件;
步骤62,并行完成所有图像两两特征匹配的过程;
步骤63,设置和调整实验参数;
步骤64,针对完成配准的图像,在Spark集群系统中进行图像融合的并行处理。
CN201811250707.2A 2018-10-25 2018-10-25 一种大规模无人机图像并行拼接方法 Active CN109493279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811250707.2A CN109493279B (zh) 2018-10-25 2018-10-25 一种大规模无人机图像并行拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811250707.2A CN109493279B (zh) 2018-10-25 2018-10-25 一种大规模无人机图像并行拼接方法

Publications (2)

Publication Number Publication Date
CN109493279A true CN109493279A (zh) 2019-03-19
CN109493279B CN109493279B (zh) 2022-09-09

Family

ID=65691796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811250707.2A Active CN109493279B (zh) 2018-10-25 2018-10-25 一种大规模无人机图像并行拼接方法

Country Status (1)

Country Link
CN (1) CN109493279B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461986A (zh) * 2020-04-01 2020-07-28 深圳市科卫泰实业发展有限公司 一种无人机夜间实时二维图像拼接方法
CN111723221A (zh) * 2020-06-19 2020-09-29 珠江水利委员会珠江水利科学研究院 基于分布式架构的海量遥感数据处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679676A (zh) * 2013-12-02 2014-03-26 西北工业大学 基于多层次词袋聚类的快速无序图像拼接方法
CN104200523A (zh) * 2014-09-11 2014-12-10 中国科学院自动化研究所 一种融合附加信息的大场景三维重建方法
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
CN105550994A (zh) * 2016-01-26 2016-05-04 河海大学 一种基于卫星影像的无人机影像快速概略拼接方法
CN107272734A (zh) * 2017-06-13 2017-10-20 深圳市易成自动驾驶技术有限公司 无人机飞行任务执行方法、无人机及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679676A (zh) * 2013-12-02 2014-03-26 西北工业大学 基于多层次词袋聚类的快速无序图像拼接方法
CN104200523A (zh) * 2014-09-11 2014-12-10 中国科学院自动化研究所 一种融合附加信息的大场景三维重建方法
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
CN105550994A (zh) * 2016-01-26 2016-05-04 河海大学 一种基于卫星影像的无人机影像快速概略拼接方法
CN107272734A (zh) * 2017-06-13 2017-10-20 深圳市易成自动驾驶技术有限公司 无人机飞行任务执行方法、无人机及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENGQI LI 等: "Large Scale Image Mosaic Construction for Agricultural Applications", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *
ZHENMAN FANG等: "A Comprehensive Analysis and Parallelization of an Image Retrieval Algorithm", 《2016 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461986A (zh) * 2020-04-01 2020-07-28 深圳市科卫泰实业发展有限公司 一种无人机夜间实时二维图像拼接方法
CN111461986B (zh) * 2020-04-01 2023-11-03 深圳市科卫泰实业发展有限公司 一种无人机夜间实时二维图像拼接方法
CN111723221A (zh) * 2020-06-19 2020-09-29 珠江水利委员会珠江水利科学研究院 基于分布式架构的海量遥感数据处理方法及系统
CN111723221B (zh) * 2020-06-19 2023-09-15 珠江水利委员会珠江水利科学研究院 基于分布式架构的海量遥感数据处理方法及系统

Also Published As

Publication number Publication date
CN109493279B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
US11475246B2 (en) System and method for generating training data for computer vision systems based on image segmentation
US10936911B2 (en) Logo detection
Zeng et al. 3dmatch: Learning local geometric descriptors from rgb-d reconstructions
US10824910B2 (en) Image processing method, non-transitory computer readable storage medium and image processing system
CN109766873B (zh) 一种混合可变形卷积的行人再识别方法
CN110110755B (zh) 基于ptgan区域差距与多重分支的行人重识别检测方法及装置
CN108846404B (zh) 一种基于相关约束图排序的图像显著性检测方法及装置
WO2017181892A1 (zh) 前景分割方法及装置
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
JP7173309B2 (ja) 学習方法、学習プログラム、および、学習装置
CN109493279A (zh) 一种大规模无人机图像并行拼接方法
Cheng et al. A grasp pose detection scheme with an end-to-end CNN regression approach
Bellavia et al. Image orientation with a hybrid pipeline robust to rotations and wide-baselines
Hagelskjær et al. Does vision work well enough for industry?
CN106603888A (zh) 图像颜色提取处理结构
JP2017054450A (ja) 認識装置、認識方法及び認識用プログラム
CN114973384A (zh) 基于关键点和视觉显著目标检测的电子人脸照片采集方法
TWI632528B (zh) 空拍機影像分析系統及其方法
Xi et al. Localizing 3-d anatomical landmarks using deep convolutional neural networks
CN112883959B (zh) 身份证照完整性检测方法、装置、设备及存储介质
Chen et al. Fast and Accurate Homography Estimation Using Extendable Compression Network
JP2020087155A (ja) 情報処理装置、情報処理方法及びプログラム
CN114155281B (zh) 一种无人机目标跟踪自动初始化方法
CN114677444B (zh) 一种优化的视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant