CN105631431A - 一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法 - Google Patents

一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法 Download PDF

Info

Publication number
CN105631431A
CN105631431A CN201511027643.6A CN201511027643A CN105631431A CN 105631431 A CN105631431 A CN 105631431A CN 201511027643 A CN201511027643 A CN 201511027643A CN 105631431 A CN105631431 A CN 105631431A
Authority
CN
China
Prior art keywords
aircraft
parts
target
attitude
interested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511027643.6A
Other languages
English (en)
Other versions
CN105631431B (zh
Inventor
张天序
喻洪涛
药珩
黄伟
姚守悝
王凤林
李正涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201511027643.6A priority Critical patent/CN105631431B/zh
Publication of CN105631431A publication Critical patent/CN105631431A/zh
Application granted granted Critical
Publication of CN105631431B publication Critical patent/CN105631431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法，包括：(1)建立典型飞机目标轮廓姿态数据库；(2)对实测飞机目标可见光图像进行测谱，包括：(2.1)获取飞机目标的可见光图像；(2.2)获得目标轮廓特征；(2.3)用目标轮廓匹配步骤(1)中建立的轮廓姿态数据库，得到飞机的对应姿态，以及在此种姿态下的部件对应几何关系；(2.4)根据轮廓与各个部件之间的相互关系，寻找目标各部件测谱的中心位置坐标；(2.5)把测谱中心点移到感兴趣部件；控制测谱设备对相关部件区域作扫描，测量相关部件光谱。本发明方法检测模型能方便的使用部分匹配技术，即使在目标被部分遮挡的情况下仍能找到未被遮挡的特征块，可以提高检测鲁棒性。

Description

一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法
技术领域
本发明属于图像检测识别技术领域，更具体地，涉及一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法，可应用于飞机目标感兴趣区的检测与其光谱测量。
背景技术
飞机目标的各个部位的辐射和反射光谱不同，为了在外场实测各个部位的辐射和反射光谱，必须自动检测识别定位各个感兴趣部件，并持续跟踪测其光谱。而现有的测试方法都需要人工识别、检测定位感兴趣部件，非常耗时耗力。因此，必须发展自动快速识别定位的测谱方法。
一般的飞机目标检测方法都是根据飞机的全局特征来进行检测。在给定的图像中检测感兴趣目标可以归结为在尺度和图像空间中计算检测窗口出现感兴趣目标的概率。根据飞机目标表示方法的不同，现有的感兴趣目标检测方法大致可以分为两类：(1)不使用模型，仅用一些底层的特征来表示感兴趣目标，称为无模型方法；(2)用事先设计好的模型表示飞机目标，称为有模型方法。
发明内容
一般基于全局的目标检测算法只能根据目标大致轮廓特征,并不能学习到更为精细的感兴趣目标区域特征。同时传统模型只是单一的目标模型，并不能很好地表示目标感兴趣部件的温度及位置特征，对姿态变化很大的目标检测存在一定的困难。为此本方法对传统模型进行扩展，学习感兴趣目标的投影全局模型以及更为精细的投影感兴趣部件模型来提高检测精度。
为实现上述发明目的，本发明提供了一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法，包括：
(1)建立典型飞机目标轮廓姿态数据库；
(2)对实测飞机目标可见光图像进行测谱，包括如下子步骤：
(2.1)获取飞机目标的可见光图像；
(2.2)对可见光图像进行图像分割、去噪和提取边缘，获得目标轮廓特征；
(2.3)用目标轮廓匹配步骤(1)中建立的轮廓姿态数据库，得到飞机的对应姿态，以及在此种姿态下的部件对应几何关系；
(2.4)根据轮廓与各个部件之间的相互关系，寻找目标各部件测谱的中心位置坐标。
(2.5)把测谱中心点移到感兴趣部件；控制测谱设备对相关部件区域作扫描，测量相关部件光谱。
本发明的一个实施例中，所述步骤(1)具体包括如下子步骤：
(1.1)由收集的飞机图像，建立飞机的三维模型；
(1.2)建立飞机的感兴趣部件之间的相互几何关系，所述感兴趣部件包括机头、机尾、机翼、发动机和起落架；
(1.3)根据飞机在空中可能出现的姿态对飞机划分为m*n个全局姿态模型，即针对飞机的m个观察方向，每个观察方向又划分为n个观察角度，根据飞机的三维视角划分为m*n个全局模型；
(1.4)建立各姿态的轮廓模型；
(1.5)建立飞机感兴趣部件在飞机各典型姿态中的几何关系；
(1.6)建立不同观测角度下飞机的各感兴趣部件在飞机各典型姿态中的几何关系；
(1.7)建立不同观测角度下飞机各感兴趣部件在飞机各典型姿态中的几何关系的典型飞机目标轮廓姿态数据库。
本发明的一个实施例中，所述m个观察方向具体为6个观察方向，分别为俯视、仰视、前视、后视、左视、右视。
本发明的一个实施例中，所述n个观察角度为7个观察角度，分别为左机翼部分、左发动机部分、机头部分、机身部分、机尾部分、右发动机部分和右机翼部分。
与现有技术相比，本发明方法具有如下有益效果：
本方法提出通过将目标全局信息与局部信息融合的思路来提高目标检测性能，提出首先检测全局目标然后在全局模型中检测局部感兴趣部件的检测思路。在检测局部感兴趣部件的过程中，采用基于特征块的目标表示，此种模型不把目标看做一个整体，而是把目标表示为一些特征块的集合。同时，本方法检测模型的特征块之间没有固定的相对位置关系，更具有灵活性。此外，本方法检测模型能方便的使用部分匹配技术，即使在目标被部分遮挡的情况下仍能找到未被遮挡的特征块，可以提高检测鲁棒性。
附图说明
图1为本发明可见光目标轮廓模型指导的飞机感兴趣区测谱方法总体流程示意图；
图2为本发明由可见光目标轮廓定位飞机感兴趣区的图谱一体化设备结构框图；
图3为本发明实施例下对飞机不同姿态下的不同部分模型划分进行对应部分建模；其中左图为投影模型数据库，右边示图为匹配结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如附图1所示，本发明提供了一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法，本发明方法是利用图谱一体化设备进行快速准确测量的新方法，该设备结构框图如图2所示，主要包括伺服系统、镜头、可见光成像模块、测谱模块。
本发明主要分为两个步骤，首先收集飞机目标图像，建立目标各姿态的轮廓模型数据库以及全局轮廓投影模型模型与感兴趣区的几何关系；其次由实测的目标图像对目标姿态数据库匹配，获得目标各个感兴趣部件位置。
具体地，本发明方法包括建立投影姿态数据库的步骤和对实测飞机目标可见光图像进行测谱的步骤，其中：
(1)建立典型飞机目标轮廓姿态数据库，具体包括如下子步骤：
(1.1)由收集的飞机图像，建立飞机的三维模型；
(1.2)建立飞机的感兴趣部件之间的相互几何关系，所述感兴趣部件包括机头、机尾、机翼、发动机和起落架；
(1.3)根据飞机在空中可能出现的姿态对飞机划分为m*n个全局姿态模型，即针对飞机的m个观察方向，每个观察方向又划分为n个观察角度，根据飞机的三维视角划分为m*n个全局模型；
(1.4)建立各姿态的轮廓模型；
(1.5)建立飞机感兴趣部件在飞机各典型姿态中的几何关系；
(1.6)建立不同观测角度下飞机的各感兴趣部件在飞机各典型姿态中的几何关系；
(1.7)建立不同观测角度下飞机各感兴趣部件在飞机各典型姿态中的几何关系的典型飞机目标轮廓姿态数据库。
(2)对实测飞机目标可见光图像进行测谱，测量感兴趣部件目标光谱。
(2.1)获取飞机目标的可见光图像；
(2.2)对可见光图像进行图像分割、去噪和提取边缘，获得目标轮廓特征；
(2.3)用目标轮廓匹配步骤(1)中建立的轮廓姿态数据库，得到飞机的对应姿态，以及在此种姿态下的部件对应几何关系；
(2.4)根据轮廓与各个部件之间的相互关系，寻找目标各部件测谱的中心位置坐标。
(2.5)把测谱中心点移到感兴趣部件；控制测谱设备对相关部件区域作扫描，测量相关部件光谱。
进一步地，所述m个观察方向分别为俯视、仰视、前视、后视、左视、右视等6个观察方向；所述n个观察角度分别为左机翼部分、左发动机部分、机头部分、机身部分、机尾部分、右发动机部分和右机翼部分等7个观察角度。
具体地，对上述步骤(1)中各部件几何位置关系以及各姿态模型建立数据库说明如下：
在基于飞机可分离部件的飞机感兴趣部件分析方法中，首先将飞机的全局模型分离成不同的部分：
1.在飞机的俯视观察方向分为：左机翼部分，左发动机部分，机头部分，机身部分，机尾部分，右发动机部分，右机翼部分；
2.在飞机的仰视观察方向分为：左机翼部分，左发动机部分，机头部分，机身部分，机尾部分，右发动机部分，右机翼部分；
3.在飞机的前视观察方向分为：左机翼部分，机头部分，机身部分，右机翼部分；
4.在飞机的后视观察方向分为：左机翼部分，机身部分，机尾部分，右机翼部分；
5.在飞机的左视观察方向分为：左机翼部分，左发动机部分，机头部分，机身部分，机尾部分；
6.在飞机的右视观察方向分为：机头部分，机身部分，机尾部分，右发动机部分，右机翼部分；
对上述的6个观察方向，不同的飞机姿态建立全局模型，确定各个观察方向上飞机各个部件的位置关系，建立飞机不同视角上的多姿态各部件位置关系数据库。
具体建立模型数据库方法如下：基于特征块的感兴趣部件的模型表达。本方法用图像结构框架丰富传统目标检测模型，由此可以得到由投影全局模型以及投影的感兴趣部件模型组成的目标模型。首先从飞机现场数据库中选取各个姿态所需的训练样本，这些样本由带标注的边界矩形的感兴趣目标组成，同时包含构成感兴趣目标的部件标注，这样就可以训练各个投影全局模型和对应的投影感兴趣部件模型。与传统计算方法一样，也都是在图像的多级滤波器下进行计算得到飞机的全局姿态的多级特征，其中训练部件模型时的图像尺度是训练根模型尺度的两倍，投影全局模型是感兴趣目标整体图像经过计算多级特征训练得到，能描述目标的整体轮廓。而投影感兴趣部件模型由感兴趣目标部件样本训练得到，能够捕捉到更为精细的目标感兴趣部件轮廓。因此，该算法更有利于精确地检测目标。投影感兴趣部件模型的偏离程度度量是由一系列子模板和它们之间几何关系构成，模型的优化目标既包括每个投影感兴趣部件模型的匹配程度，还包括投影感兴趣部件模型之间的几何偏离(投影感兴趣部件模型偏离投影全局模型中正确位置的距离)。
对步骤(2)检索飞机疑似目标各部件几何位置关系以及姿态。具体步骤如下：
获取飞机目标实时图像，对获取的图像进行图像分割，去除背景干扰，获得飞机目标的轮廓，对获取的飞机轮廓进行特征匹配，获得实时图像飞机各部件位置几何关系，存储各部件中心位置，记为(xi,yi)，由伺服系统控制镜头转至部件的中心位置，控制伺服系统作扫描，启动测谱模块，测量各目标部件光谱。
图3为本发明实施例下对飞机不同姿态下的不同部分模型划分进行对应部分建模；其中左图为投影模型数据库，右边示图为匹配结果。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法，其特征在于，所述方法包括如下步骤：
(1)建立典型飞机目标轮廓姿态数据库；
(2)对实测飞机目标可见光图像进行测谱，包括如下子步骤：
(2.1)获取飞机目标的可见光图像；
(2.2)对可见光图像进行图像分割、去噪和提取边缘，获得目标轮廓特征；
(2.3)用目标轮廓匹配步骤(1)中建立的轮廓姿态数据库，得到飞机的对应姿态，以及在此种姿态下的部件对应几何关系；
(2.4)根据轮廓与各个部件之间的相互关系，寻找目标各部件测谱的中心位置坐标。
(2.5)把测谱中心点移到感兴趣部件；控制测谱设备对相关部件区域作扫描，测量相关部件光谱。
2.如权利要求1所述的方法，其特征在于，所述步骤(1)具体包括如下子步骤：
(1.1)由收集的飞机图像，建立飞机的三维模型；
(1.2)建立飞机的感兴趣部件之间的相互几何关系，所述感兴趣部件包括机头、机尾、机翼、发动机和起落架；
(1.3)根据飞机在空中可能出现的姿态对飞机划分为m*n个全局姿态模型，即针对飞机的m个观察方向，每个观察方向又划分为n个观察角度，根据飞机的三维视角划分为m*n个全局模型；
(1.4)建立各姿态的轮廓模型；
(1.5)建立飞机感兴趣部件在飞机各典型姿态中的几何关系；
(1.6)建立不同观测角度下飞机的各感兴趣部件在飞机各典型姿态中的几何关系；
(1.7)建立不同观测角度下飞机各感兴趣部件在飞机各典型姿态中的几何关系的典型飞机目标轮廓姿态数据库。
3.如权利要求1或2所述的方法，其特征在于，所述m个观察方向具体为6个观察方向，分别为俯视、仰视、前视、后视、左视、右视。
4.如权利要求1或2所述的方法，其特征在于，所述n个观察角度为7个观察角度，分别为左机翼部分、左发动机部分、机头部分、机身部分、机尾部分、右发动机部分和右机翼部分。
CN201511027643.6A 2015-12-31 2015-12-31 一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法 Active CN105631431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511027643.6A CN105631431B (zh) 2015-12-31 2015-12-31 一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511027643.6A CN105631431B (zh) 2015-12-31 2015-12-31 一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法

Publications (2)

Publication Number Publication Date
CN105631431A true CN105631431A (zh) 2016-06-01
CN105631431B CN105631431B (zh) 2017-09-15

Family

ID=56046344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511027643.6A Active CN105631431B (zh) 2015-12-31 2015-12-31 一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法

Country Status (1)

Country Link
CN (1) CN105631431B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108344931A (zh) * 2018-02-06 2018-07-31 国网山西省电力公司电力科学研究院 基于紫外图谱技术的电力设备安全分析系统
CN110148217A (zh) * 2019-05-24 2019-08-20 北京华捷艾米科技有限公司 一种实时三维重建方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930300A (zh) * 2012-11-21 2013-02-13 北京航空航天大学 一种飞机目标识别方法及系统
CN103617328A (zh) * 2013-12-08 2014-03-05 中国科学院光电技术研究所 一种飞机三维姿态解算方法
CN103778441A (zh) * 2014-02-26 2014-05-07 东南大学 一种基于DSmT和HMM的序列飞机目标识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930300A (zh) * 2012-11-21 2013-02-13 北京航空航天大学 一种飞机目标识别方法及系统
CN103617328A (zh) * 2013-12-08 2014-03-05 中国科学院光电技术研究所 一种飞机三维姿态解算方法
CN103778441A (zh) * 2014-02-26 2014-05-07 东南大学 一种基于DSmT和HMM的序列飞机目标识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108344931A (zh) * 2018-02-06 2018-07-31 国网山西省电力公司电力科学研究院 基于紫外图谱技术的电力设备安全分析系统
CN110148217A (zh) * 2019-05-24 2019-08-20 北京华捷艾米科技有限公司 一种实时三维重建方法、装置及设备

Also Published As

Publication number Publication date
CN105631431B (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN104215239B (zh) 基于视觉的无人机自主着陆导引装置实现的导引方法
CN104197928B (zh) 多摄像机协同的无人机检测、定位及跟踪方法
KR101445739B1 (ko) 도로표지판의 위치검출 방법
RU2613735C2 (ru) Способ обнаружения положения и местонахождения посредством виртуальных опорных изображений
CN109658457A (zh) 一种激光与相机任意相对位姿关系的标定方法
CN107480727A (zh) 一种sift和orb相结合的无人机影像快速匹配方法
CN106772417B (zh) 一种动目标多维度多尺度红外光谱特征测量方法及系统
CN110223380B (zh) 融合航拍与地面视角图像的场景建模方法、系统、装置
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN113012292B (zh) 一种基于无人机航拍的ar远程施工监控方法及系统
CN107742276A (zh) 一种基于无人机遥感图像机载一体化快速处理系统和方法
Kim et al. As-is geometric data collection and 3D visualization through the collaboration between UAV and UGV
US20130093880A1 (en) Height Measurement Apparatus And Method
CN116310678A (zh) 固态激光雷达与热成像视觉融合的火源识别及定位方法
CN116030208A (zh) 一种真实无人机虚拟仿真输电线路场景搭建方法及系统
Schleiss et al. VPAIR--Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments
CN105631431A (zh) 一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法
CN105678230B (zh) 一种红外目标投影模型指导的飞机感兴趣区测谱方法
CN116957360A (zh) 一种基于无人机的空间观测与重建方法及系统
Douret et al. A multi-cameras 3d volumetric method for outdoor scenes: a road traffic monitoring application
CN113436276B (zh) 基于视觉相对定位的多无人机编队方法
CN113781639B (zh) 一种大场景道路基础设施数字化模型快速构建方法
CN111412898B (zh) 基于地空耦合的大区域变形摄影测量方法
CN115909183B (zh) 一种燃气输送外部环境监测系统与监测方法
Tommaselli et al. Measuring photogrammetric control targets in low contrast images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant