CN110532997B - 一种用于机场的多相机融合自动获取站坪完整信息的方法 - Google Patents

一种用于机场的多相机融合自动获取站坪完整信息的方法 Download PDF

Info

Publication number
CN110532997B
CN110532997B CN201910838773.XA CN201910838773A CN110532997B CN 110532997 B CN110532997 B CN 110532997B CN 201910838773 A CN201910838773 A CN 201910838773A CN 110532997 B CN110532997 B CN 110532997B
Authority
CN
China
Prior art keywords
target
target feature
global map
detected
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910838773.XA
Other languages
English (en)
Other versions
CN110532997A (zh
Inventor
王书平
吴晓晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shizai Technology Co ltd
Original Assignee
Hangzhou Shizai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shizai Technology Co ltd filed Critical Hangzhou Shizai Technology Co ltd
Priority to CN201910838773.XA priority Critical patent/CN110532997B/zh
Publication of CN110532997A publication Critical patent/CN110532997A/zh
Application granted granted Critical
Publication of CN110532997B publication Critical patent/CN110532997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于机场的多相机融合自动获取站坪完整信息的方法，涉及图像检测技术领域。包括以下步骤：建立停机位的全局地图，对需检测的目标特征进行标记；采用两个相机获取停机位图像并检测目标特征，获得两个特征向量；求解停机位图像到全局地图的坐标变换矩阵；将两个特征向量中坐标变换为全局地图中的坐标；对两个特征向量进行合并；对合并后的特征向量进行最近邻搜索，筛选实际检测到的目标特征，统计检测状态。本发明采用了多相机获取准确完整的停机坪信息，不需三维重构地图，降低了计算量。

Description

一种用于机场的多相机融合自动获取站坪完整信息的方法
技术领域
本发明涉及图像检测技术领域，尤其涉及一种用于机场的多相机融合自动获取站坪完整信息的方法。
背景技术
当前机场停机坪有很多信息需要获取，在飞机未停靠前的对机位红线区的保障工作的信息，飞机停靠时迎机人员是否就位，在飞机停靠后的飞机状态包括客舱门是否打开，货舱门是否打开，行李拖车是否就位，是否出现滞留旅客等信息。但是机位信息通过单个相机无法完整获取，存在严重的遮挡问题。
发明内容
本发明的目的在于提供一种用于机场的多相机融合自动获取站坪完整信息的方法，采用多相机获取准确完整的停机坪信息，不需三维重构地图，降低了计算量。
为实现上述目的，本发明提供如下技术方案：
一种用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，包括以下步骤，
S1，建立停机位的全局地图，对需检测的目标特征进行标记；
S2，采用两个相机获取停机位图像并检测目标特征，获得两个特征向量；
S3，求解停机位图像到全局地图的坐标变换矩阵；
S4，将两个特征向量中坐标变换为全局地图中的坐标；
S5，对两个特征向量进行合并；
S6，对合并后的特征向量进行最近邻搜索，筛选实际检测到的目标特征，统计检测状态。
进一步的，所述S1中，对需检测的目标特征进行标记的具体方法如下：
统计每一目标特征在全局地图中的位置信息和种类标签，构建目标信息向量gi＝[xi,yi,wi,hi,ci]；其中，下标i代表目标特征，xi和yi分别是目标特征i左上角的横坐标和纵坐标；wi和hi分别是目标特征i的宽度和高度，ci为目标特征i的种类标签；
生成目标特征向量G＝[g0,g1,g2,...,gs]T，s为目标特征的总数。
进一步的，所述S2中的两个相机位于飞机的前方且关于飞机左右对称。
进一步的，所述S2中，检测目标特征的具体方法如下：
将两个相机获取的图像分别送入目标检测网络中，检测目标特征，得到两个特征向量Fl＝[tl0,tl1,tl2,...,tln]T和Fr＝[tr0,tr1,tr2,...,trm]T，其中tli＝[xi,yi,wi,hi,ci]为左侧相机检测到的目标特征i的目标向量，tri＝[xi,yi,wi,hi,ci]为右侧相机检测到的目标特征i的目标向量，n和m分别为左侧相机和右侧相机检测到的目标特征的数量。
进一步的，所述S3的具体内容如下：
选取全局地图的四个位置，并在其中一幅停机位图像中选取对应的四个位置，构建如下对应公式，
Figure BDA0002193021830000021
Figure BDA0002193021830000022
其中，xi和yi分别为全局地图中选取的第i个坐标的横坐标和纵坐标，xli和yli分别为停机位图像中选取的第i个坐标的横坐标和纵坐标；
依次代入选取的四个坐标即可求得全局地图到该停机位图像的坐标变换矩阵
Figure BDA0002193021830000031
同理可求得全局地图到另一幅停机位图像的坐标变换矩阵
Figure BDA0002193021830000032
进一步的，所述S6中最近邻搜索的具体方法如下：保留合并后的特征向量中位于目标特征向量中记录的目标特征指定半径内且距离该目标特征最近的目标特征，作为实际检测到的目标特征。
与现有技术相比，本发明的有益效果是：本发明基于多相机协调配合获取了相对完整的停机坪信息，形成了对即为的全局内搜索，方法简单高效，不需要三维重构地图，大大降低了计算量，获取的极为信息完整且准确。
附图说明
图1为本发明的方法流程图。
图2为本发明的两个相机的安装位置示意图。
图3为本发明求解坐标变换矩阵时的位置选取示意图。
图中：1、停机位；2、左侧相机；3、右侧相机；4、目标特征。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，包括以下步骤，
S1，建立停机位的二维全局地图，内容为俯视视角的停机位全局图，该地图中停机位的像素距离与实际停机位的比例完全一致，该全局地图的目的是汇总自动识别的目标的信息，如飞机是否以进入机位，迎机人员是否出现飞机，各部位对应的雪糕桶摆放情况，舱门是否打开，保障识别设备是否就位等信息。对需检测的目标特征进行标记，生成目标特征向量G＝[g0,g1,g2,...,gs]T；标记的具体方法如下：
统计每一目标特征在全局地图中的位置信息和种类标签，该位置信息在地图上的体现为一矩形框。构建目标信息向量gi＝[xi,yi,wi,hi,ci]；其中，下标i代表目标特征，xi和yi分别是目标特征i左上角的横坐标和纵坐标；wi和hi分别是目标特征i的宽度和高度，ci为目标特征i的种类标签；目标特征的种类包括飞机，发动机，雪糕桶，地勤人员，以及保障设备。
生成目标特征向量G＝[g0,g1,g2,...,gs]T，s为目标特征的总数。
S2，如图2所示，采用位于停机位1的前方且关于飞机左右对称的两个相机包括左侧相机2和右侧相机3，分别获取停机位图像Imagel和Imager；并检测目标特征4，获得左侧相机的特征向量Fl＝[tl0,tl1,tl2,...,tln]T和右侧相机的Fr＝[tr0,tr1,tr2,...,trm]T；其中检测目标特征的具体方法如下：
将两个相机获取的图像分别送入目标检测网络中，检测目标特征，得到两个特征向量Fl＝[tl0,tl1,tl2,...,tln]T和Fr＝[tr0,tr1,tr2,...,trm]T，其中tli＝[xi,yi,wi,hi,ci]为左侧相机检测到的目标特征i的目标向量，具体含义请参考目标信息向量gi＝[xi,yi,wi,hi,ci]；同理，tri＝[xi,yi,wi,hi,ci]为右侧相机检测到的目标特征i的目标向量，n和m分别为左侧相机和右侧相机检测到的目标特征的数量。
S3，求解停机位图像到全局地图的坐标变换矩阵。具体内容如下：
如图3所示，以左侧相机的停机位图像为例，选取全局地图左侧的四个位置(图3中的黑圆点)，并在其中左侧相机的停机位图像中选取对应的四个位置，构建如下对应公式，
Figure BDA0002193021830000051
Figure BDA0002193021830000052
其中，xi和yi分别为全局地图中选取的第i个坐标的横坐标和纵坐标，xli和yli分别为左侧相机的停机位图像中选取的第i个坐标的横坐标和纵坐标；
依次代入选取的四个坐标即可求得全局地图到左侧相机的停机位图像的坐标变换矩阵
Figure BDA0002193021830000061
同理，在求解可求得全局地图到右侧相机的停机位图像的坐标变换矩阵时，选取全局地图右侧的四个位置，并在其中右侧相机的停机位图像中选取对应的四个位置，构建如下对应公式，
Figure BDA0002193021830000062
Figure BDA0002193021830000063
其中，xi和yi分别为全局地图中选取的第i个坐标的横坐标和纵坐标，xri和yri分别为右侧相机的停机位图像中选取的第i个坐标的横坐标和纵坐标；
依次代入选取的四个坐标即可求得全局地图到右侧相机的停机位图像的坐标变换矩阵
Figure BDA0002193021830000064
S4，进行图像变换，将S2得到的停机位图像Imagel和Imager变换为对应S1中全局地图的图像；
Imagel'＝Ml*Imagel
Imager'＝Mr*Imager
由此，便可将两个特征向量Fl＝[tl0,tl1,tl2,...,tln]T和Fr＝[tr0,tr1,tr2,...,trm]T中坐标变换为全局地图中的坐标Fl'＝[tl0',tl1',tl2',tl3',…,tln']T和Fr'＝[tr0',tr1',tr2',tr3',…,trm']T；具体的坐标变换如下：
Figure BDA0002193021830000071
Figure BDA0002193021830000072
S5，对两个特征向量进行合并，即Fl'＝[tl0',tl1',tl2',tl3',…,tln']T和Fr'＝[tr0',tr1',tr2',tr3',…,trm']T合并为F＝[tl0',tl1',tl2',tl3',…,tln',tr0',tr1',tr2',tr3',…,trm']T。
S6，对于S5得到的向量F＝[tl0',tl1',tl2',tl3',…,tln',tr0',tr1',tr2',tr3',…,trm']T，由于两个相机有重复区域，两张停机位图像中都会检测到同一目标，因此向量F＝[tl0',tl1',tl2',tl3',…,tln',tr0',tr1',tr2',tr3',…,trm']T中存在重复和冗余。因此我们需要对F＝[tl0',tl1',tl2',tl3',…,tln',tr0',tr1',tr2',tr3',…,trm']T进行降维处理，对合并后的特征向量进行最近邻搜索，筛选实际检测到的目标特征，统计检测状态。最近邻搜索的方法如下：保留合并后的特征向量中位于目标特征向量中记录的目标特征指定半径内且距离该目标特征最近的目标特征，作为实际检测到的目标特征。
具体的，以目标特征g0为例，在向量F＝[tl0',tl1',tl2',tl3',…,tln',tr0',tr1',tr2',tr3',…,trm']T中查找目标特征g0指定范围内的目标特征向量；若未找到，则判定该目标特征未检测到；若找到一个目标特征向量，则该目标特征向量即为对应目标特征g0所实际检测到的目标；找到两个及以上的目标特征向量，选取距离目标特征g0最近的目标特征向量为对应目标特征g0所实际检测到的目标。
统计实际所检测到目标与未检测到的目标反映给工作人员即可。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (4)

1.一种用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，包括以下步骤，
S1，建立停机位的全局地图，对需检测的目标特征进行标记；
S2，采用两个相机获取停机位图像并检测目标特征，获得两个特征向量；
S3，求解停机位图像到全局地图的坐标变换矩阵；
S4，将两个特征向量中坐标变换为全局地图中的坐标；
S5，对两个特征向量进行合并；
S6，对合并后的特征向量进行最近邻搜索，筛选实际检测到的目标特征，统计检测状态；
所述S3的具体内容如下：
选取全局地图的四个位置，并在其中一幅停机位图像中选取对应的四个位置，构建如下对应公式，
Figure FDA0003461463290000011
Figure FDA0003461463290000012
其中，xi和yi分别为全局地图中选取的第i个坐标的横坐标和纵坐标，xli和yli分别为停机位图像中选取的第i个坐标的横坐标和纵坐标；
依次代入选取的四个坐标即可求得全局地图到该停机位图像的坐标变换矩阵
Figure FDA0003461463290000021
同理可求得全局地图到另一幅停机位图像的坐标变换矩阵
Figure FDA0003461463290000022
所述S6中最近邻搜索的具体方法如下：在合并后的特征向量中查找目标特征指定范围内的目标特征向量；若未找到，则判定该目标特征未检测到；若找到一个目标特征向量，则该目标特征向量即为对应目标特征所实际检测到的目标；找到两个及以上的目标特征向量，选取距离目标特征最近的目标特征向量为对应目标特征所实际检测到的目标。
2.根据权利要求1所述的用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，所述S1中，对需检测的目标特征进行标记的具体方法如下：
统计每一目标特征在全局地图中的位置信息和种类标签，构建目标信息向量gi＝[xi,yi,wi,hi,ci]；其中，下标i代表目标特征，xi和yi分别是目标特征i左上角的横坐标和纵坐标；wi和hi分别是目标特征i的宽度和高度，ci为目标特征i的种类标签；
生成目标特征向量G＝[g0,g1,g2,...,gs]T，s为目标特征的总数。
3.根据权利要求1所述的用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，所述S2中的两个相机位于飞机的前方且关于飞机左右对称。
4.根据权利要求1所述的用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，所述S2中，检测目标特征的具体方法如下：
将两个相机获取的图像分别送入目标检测网络中，检测目标特征，得到两个特征向量Fl＝[tl0,tl1,tl2,...,tln]T和Fr＝[tr0,tr1,tr2,...,trm]T，其中tli＝[xi,yi,wi,hi,ci]为左侧相机检测到的目标特征i的目标向量，tri＝[xi,yi,wi,hi,ci]为右侧相机检测到的目标特征i的目标向量，n和m分别为左侧相机和右侧相机检测到的目标特征的数量。
CN201910838773.XA 2019-09-05 2019-09-05 一种用于机场的多相机融合自动获取站坪完整信息的方法 Active CN110532997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910838773.XA CN110532997B (zh) 2019-09-05 2019-09-05 一种用于机场的多相机融合自动获取站坪完整信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910838773.XA CN110532997B (zh) 2019-09-05 2019-09-05 一种用于机场的多相机融合自动获取站坪完整信息的方法

Publications (2)

Publication Number Publication Date
CN110532997A CN110532997A (zh) 2019-12-03
CN110532997B true CN110532997B (zh) 2022-04-12

Family

ID=68667056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910838773.XA Active CN110532997B (zh) 2019-09-05 2019-09-05 一种用于机场的多相机融合自动获取站坪完整信息的方法

Country Status (1)

Country Link
CN (1) CN110532997B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989598A (zh) * 2020-07-10 2022-01-28 华为技术有限公司 基于图像的识别方法、装置及车辆

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4556120B2 (ja) * 2005-01-07 2010-10-06 ソニー株式会社 情報処理装置および方法、並びにプログラム
TW200838750A (en) * 2007-03-22 2008-10-01 Univ Chang Gung Intelligent driving safety monitoring system integrating multiple direction information and method thereof
CN101277429B (zh) * 2007-03-27 2011-09-07 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和系统
CN103247040B (zh) * 2013-05-13 2015-11-25 北京工业大学 基于分层拓扑结构的多机器人系统地图拼接方法
CN108280398A (zh) * 2017-12-26 2018-07-13 北京建筑大学 一种基于多视角融合的步态识别方法及系统
CN109099883A (zh) * 2018-06-15 2018-12-28 哈尔滨工业大学 高精度大视场机器视觉测量与标定装置及方法
CN109214324A (zh) * 2018-08-27 2019-01-15 曜科智能科技（上海）有限公司 基于多相机阵列的最正脸图像输出方法及输出系统
CN110197206B (zh) * 2019-05-10 2021-07-13 杭州深睿博联科技有限公司 图像处理的方法及装置

Also Published As

Publication number Publication date
CN110532997A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN100538723C (zh) 多视觉传感器信息融合的内河船舶自动识别系统
CN103425967B (zh) 一种基于行人检测和跟踪的人流监控方法
CN101214851B (zh) 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN103359020B (zh) 一种机动车驾驶培训或考试监控方法和系统
EP2736018A2 (en) Determining pushback direction
CN105389797A (zh) 一种基于超分辨率重建的无人机视频小目标检测方法
CN106096604A (zh) 基于无人平台的多波段融合探测方法
CN110619674B (zh) 用于事故和警情场景还原的三维增强现实设备及方法
CN109410628A (zh) 路内泊位的状态检测方法、系统及其数据处理装置
CN107728633A (zh) 获取目标物位置信息方法及装置、移动装置及其控制方法
CN104590573A (zh) 直升机避障系统及避障方法
CN109828267A (zh) 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
CN108090459A (zh) 一种适用于车载视觉系统的交通标志检测识别方法
CN104156946B (zh) 一种空间绳系机器人抓捕区域内的障碍物检测方法
CN110532997B (zh) 一种用于机场的多相机融合自动获取站坪完整信息的方法
CN108416798A (zh) 一种基于光流的车辆距离估计方法
Callahan et al. Close-Range Photogrammetry with Laser Scan Point Clouds
CN106960027A (zh) 空间信息辅助的无人机视频大数据多时相关联分析方法
CN206193248U (zh) 一种飞机泊位障碍物检测系统
CN115049322B (zh) 一种集装箱堆场的集装箱管理方法及系统
CN204297108U (zh) 直升机避障系统
Bian et al. A robust vanishing point detection method for UAV autonomous power line inspection
CN111046822A (zh) 一种基于人工智能视频识别的大型车辆防盗方法
Nejadasl et al. Optical flow based vehicle tracking strengthened by statistical decisions
CN113824880B (zh) 一种基于目标检测和uwb定位的车辆跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant