CN110532997A - 一种用于机场的多相机融合自动获取站坪完整信息的方法 - Google Patents

一种用于机场的多相机融合自动获取站坪完整信息的方法 Download PDF

Info

Publication number
CN110532997A
CN110532997A CN201910838773.XA CN201910838773A CN110532997A CN 110532997 A CN110532997 A CN 110532997A CN 201910838773 A CN201910838773 A CN 201910838773A CN 110532997 A CN110532997 A CN 110532997A
Authority
CN
China
Prior art keywords
target signature
global map
target
airport
level ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910838773.XA
Other languages
English (en)
Other versions
CN110532997B (zh
Inventor
王书平
吴晓晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU VISION TECHNOLOGY Co Ltd
Original Assignee
HANGZHOU VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU VISION TECHNOLOGY Co Ltd filed Critical HANGZHOU VISION TECHNOLOGY Co Ltd
Priority to CN201910838773.XA priority Critical patent/CN110532997B/zh
Publication of CN110532997A publication Critical patent/CN110532997A/zh
Application granted granted Critical
Publication of CN110532997B publication Critical patent/CN110532997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Abstract

本发明公开了一种用于机场的多相机融合自动获取站坪完整信息的方法，涉及图像检测技术领域。包括以下步骤：建立停机位的全局地图，对需检测的目标特征进行标记；采用两个相机获取停机位图像并检测目标特征，获得两个特征向量；求解停机位图像到全局地图的坐标变换矩阵；将两个特征向量中坐标变换为全局地图中的坐标；对两个特征向量进行合并；对合并后的特征向量进行最近邻搜索，筛选实际检测到的目标特征，统计检测状态。本发明采用了多相机获取准确完整的停机坪信息，不需三维重构地图，降低了计算量。

Description

一种用于机场的多相机融合自动获取站坪完整信息的方法
技术领域
本发明涉及图像检测技术领域，尤其涉及一种用于机场的多相机融合自动获取站坪完整信息的方法。
背景技术
当前机场停机坪有很多信息需要获取，在飞机未停靠前的对机位红线区的保障工作的信息，飞机停靠时迎机人员是否就位，在飞机停靠后的飞机状态包括客舱门是否打开，货舱门是否打开，行李拖车是否就位，是否出现滞留旅客等信息。但是机位信息通过单个相机无法完整获取，存在严重的遮挡问题。
发明内容
本发明的目的在于提供一种用于机场的多相机融合自动获取站坪完整信息的方法，采用多相机获取准确完整的停机坪信息，不需三维重构地图，降低了计算量。
为实现上述目的，本发明提供如下技术方案：
一种用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，包括以下步骤，
S1，建立停机位的全局地图，对需检测的目标特征进行标记；
S2，采用两个相机获取停机位图像并检测目标特征，获得两个特征向量；
S3，求解停机位图像到全局地图的坐标变换矩阵；
S4，将两个特征向量中坐标变换为全局地图中的坐标；
S5，对两个特征向量进行合并；
S6，对合并后的特征向量进行最近邻搜索，筛选实际检测到的目标特征，统计检测状态。
进一步的，所述S1中，对需检测的目标特征进行标记的具体方法如下：
统计每一目标特征在全局地图中的位置信息和种类标签，构建目标信息向量gi＝[xi,yi,wi,hi,ci]；其中，下标i代表目标特征，xi和yi分别是目标特征i左上角的横坐标和纵坐标；wi和hi分别是目标特征i的宽度和高度，ci为目标特征i的种类标签；
生成目标特征向量G＝[g0,g1,g2,...,gs]T，s为目标特征的总数。
进一步的，所述S2中的两个相机位于飞机的前方且关于飞机左右对称。
进一步的，所述S2中，检测目标特征的具体方法如下：
将两个相机获取的图像分别送入目标检测网络中，检测目标特征，得到两个特征向量Fl＝[tl0,tl1,tl2,...,tln]T和Fr＝[tr0,tr1,tr2,...,trm]T，其中tli＝[xi,yi,wi,hi,ci]为左侧相机检测到的目标特征i的目标向量，tri＝[xi,yi,wi,hi,ci]为右侧相机检测到的目标特征i的目标向量，n和m分别为左侧相机和右侧相机检测到的目标特征的数量。
进一步的，所述S3的具体内容如下：
选取全局地图的四个位置，并在其中一幅停机位图像中选取对应的四个位置，构建如下对应公式，
其中，xi和yi分别为全局地图中选取的第i个坐标的横坐标和纵坐标，xli和yli分别为停机位图像中选取的第i个坐标的横坐标和纵坐标；
依次代入选取的四个坐标即可求得全局地图到该停机位图像的坐标变换矩阵同理可求得全局地图到另一幅停机位图像的坐标变换矩阵
进一步的，所述S6中最近邻搜索的具体方法如下：保留合并后的特征向量中位于目标特征向量中记录的目标特征指定半径内且距离该目标特征最近的目标特征，作为实际检测到的目标特征。
与现有技术相比，本发明的有益效果是：本发明基于多相机协调配合获取了相对完整的停机坪信息，形成了对即为的全局内搜索，方法简单高效，不需要三维重构地图，大大降低了计算量，获取的极为信息完整且准确。
附图说明
图1为本发明的方法流程图。
图2为本发明的两个相机的安装位置示意图。
图3为本发明求解坐标变换矩阵时的位置选取示意图。
图中：1、停机位；2、左侧相机；3、右侧相机；4、目标特征。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，包括以下步骤，
S1，建立停机位的二维全局地图，内容为俯视视角的停机位全局图，该地图中停机位的像素距离与实际停机位的比例完全一致，该全局地图的目的是汇总自动识别的目标的信息，如飞机是否以进入机位，迎机人员是否出现飞机，各部位对应的雪糕桶摆放情况，舱门是否打开，保障识别设备是否就位等信息。对需检测的目标特征进行标记，生成目标特征向量G＝[g0,g1,g2,...,gs]T；标记的具体方法如下：
统计每一目标特征在全局地图中的位置信息和种类标签，该位置信息在地图上的体现为一矩形框。构建目标信息向量gi＝[xi,yi,wi,hi,ci]；其中，下标i代表目标特征，xi和yi分别是目标特征i左上角的横坐标和纵坐标；wi和hi分别是目标特征i的宽度和高度，ci为目标特征i的种类标签；目标特征的种类包括飞机，发动机，雪糕桶，地勤人员，以及保障设备。
生成目标特征向量G＝[g0,g1,g2,...,gs]T，s为目标特征的总数。
S2，如图2所示，采用位于停机位1的前方且关于飞机左右对称的两个相机包括左侧相机2和右侧相机3，分别获取停机位图像Imagel和Imager；并检测目标特征4，获得左侧相机的特征向量Fl＝[tl0,tl1,tl2,...,tln]T和右侧相机的Fr＝[tr0,tr1,tr2,...,trm]T；其中检测目标特征的具体方法如下：
将两个相机获取的图像分别送入目标检测网络中，检测目标特征，得到两个特征向量Fl＝[tl0,tl1,tl2,...,tln]T和Fr＝[tr0,tr1,tr2,...,trm]T，其中tli＝[xi,yi,wi,hi,ci]为左侧相机检测到的目标特征i的目标向量，具体含义请参考目标信息向量gi＝[xi,yi,wi,hi,ci]；同理，tri＝[xi,yi,wi,hi,ci]为右侧相机检测到的目标特征i的目标向量，n和m分别为左侧相机和右侧相机检测到的目标特征的数量。
S3，求解停机位图像到全局地图的坐标变换矩阵。具体内容如下：
如图3所示，以左侧相机的停机位图像为例，选取全局地图左侧的四个位置(图3中的黑圆点)，并在其中左侧相机的停机位图像中选取对应的四个位置，构建如下对应公式，
其中，xi和yi分别为全局地图中选取的第i个坐标的横坐标和纵坐标，xli和yli分别为左侧相机的停机位图像中选取的第i个坐标的横坐标和纵坐标；
依次代入选取的四个坐标即可求得全局地图到左侧相机的停机位图像的坐标变换矩阵
同理，在求解可求得全局地图到右侧相机的停机位图像的坐标变换矩阵时，选取全局地图右侧的四个位置，并在其中右侧相机的停机位图像中选取对应的四个位置，构建如下对应公式，
其中，xi和yi分别为全局地图中选取的第i个坐标的横坐标和纵坐标，xri和yri分别为右侧相机的停机位图像中选取的第i个坐标的横坐标和纵坐标；
依次代入选取的四个坐标即可求得全局地图到右侧相机的停机位图像的坐标变换矩阵
S4，进行图像变换，将S2得到的停机位图像Imagel和Imager变换为对应S1中全局地图的图像；
Imagel'＝Ml*Imagel
Imager'＝Mr*Imager
由此，便可将两个特征向量Fl＝[tl0,tl1,tl2,...,tln]T和Fr＝[tr0,tr1,tr2,...,trm]T中坐标变换为全局地图中的坐标Fl'＝[tl0',tl1',tl2',tl3',…,tln']T和Fr'＝[tr0',tr1',tr2',tr3',…,trm']T；具体的坐标变换如下：
S5，对两个特征向量进行合并，即Fl'＝[tl0',tl1',tl2',tl3',…,tln']T和Fr'＝[tr0',tr1',tr2',tr3',…,trm']T合并为F＝[tl0',tl1',tl2',tl3',…,tln',tr0',tr1',tr2',tr3',…,trm']T。
S6，对于S5得到的向量F＝[tl0',tl1',tl2',tl3',…,tln',tr0',tr1',tr2',tr3',…,trm']T，由于两个相机有重复区域，两张停机位图像中都会检测到同一目标，因此向量F＝[tl0',tl1',tl2',tl3',…,tln',tr0',tr1',tr2',tr3',…,trm']T中存在重复和冗余。因此我们需要对F＝[tl0',tl1',tl2',tl3',…,tln',tr0',tr1',tr2',tr3',…,trm']T进行降维处理，对合并后的特征向量进行最近邻搜索，筛选实际检测到的目标特征，统计检测状态。最近邻搜索的方法如下：保留合并后的特征向量中位于目标特征向量中记录的目标特征指定半径内且距离该目标特征最近的目标特征，作为实际检测到的目标特征。
具体的，以目标特征g0为例，在向量F＝[tl0',tl1',tl2',tl3',…,tln',tr0',tr1',tr2',tr3',…,trm']T中查找目标特征g0指定范围内的目标特征向量；若未找到，则判定该目标特征未检测到；若找到一个目标特征向量，则该目标特征向量即为对应目标特征g0所实际检测到的目标；找到两个及以上的目标特征向量，选取距离目标特征g0最近的目标特征向量为对应目标特征g0所实际检测到的目标。
统计实际所检测到目标与未检测到的目标反映给工作人员即可。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (6)

1.一种用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，包括以下步骤，
S1，建立停机位的全局地图，对需检测的目标特征进行标记；
S2，采用两个相机获取停机位图像并检测目标特征，获得两个特征向量；
S3，求解停机位图像到全局地图的坐标变换矩阵；
S4，将两个特征向量中坐标变换为全局地图中的坐标；
S5，对两个特征向量进行合并；
S6，对合并后的特征向量进行最近邻搜索，筛选实际检测到的目标特征，统计检测状态。
2.根据权利要求1所述的用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，所述S1中，对需检测的目标特征进行标记的具体方法如下：
统计每一目标特征在全局地图中的位置信息和种类标签，构建目标信息向量gi＝[xi,yi,wi,hi,ci]；其中，下标i代表目标特征，xi和yi分别是目标特征i左上角的横坐标和纵坐标；wi和hi分别是目标特征i的宽度和高度，ci为目标特征i的种类标签；
生成目标特征向量G＝[g0,g1,g2,...,gs]T，s为目标特征的总数。
3.根据权利要求1所述的用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，所述S2中的两个相机位于飞机的前方且关于飞机左右对称。
4.根据权利要求1所述的用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，所述S2中，检测目标特征的具体方法如下：
将两个相机获取的图像分别送入目标检测网络中，检测目标特征，得到两个特征向量Fl＝[tl0,tl1,tl2,...,tln]T和Fr＝[tr0,tr1,tr2,...,trm]T，其中tli＝[xi,yi,wi,hi,ci]为左侧相机检测到的目标特征i的目标向量，tri＝[xi,yi,wi,hi,ci]为右侧相机检测到的目标特征i的目标向量，n和m分别为左侧相机和右侧相机检测到的目标特征的数量。
5.根据权利要求1所述的用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，所述S3的具体内容如下：
选取全局地图的四个位置，并在其中一幅停机位图像中选取对应的四个位置，构建如下对应公式，
其中，xi和yi分别为全局地图中选取的第i个坐标的横坐标和纵坐标，xli和yli分别为停机位图像中选取的第i个坐标的横坐标和纵坐标；
依次代入选取的四个坐标即可求得全局地图到该停机位图像的坐标变换矩阵同理可求得全局地图到另一幅停机位图像的坐标变换矩阵
6.根据权利要求2所述的用于机场的多相机融合自动获取站坪完整信息的方法，其特征在于，所述S6中最近邻搜索的具体方法如下：保留合并后的特征向量中位于目标特征向量中记录的目标特征指定半径内且距离该目标特征最近的目标特征，作为实际检测到的目标特征。
CN201910838773.XA 2019-09-05 2019-09-05 一种用于机场的多相机融合自动获取站坪完整信息的方法 Active CN110532997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910838773.XA CN110532997B (zh) 2019-09-05 2019-09-05 一种用于机场的多相机融合自动获取站坪完整信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910838773.XA CN110532997B (zh) 2019-09-05 2019-09-05 一种用于机场的多相机融合自动获取站坪完整信息的方法

Publications (2)

Publication Number Publication Date
CN110532997A true CN110532997A (zh) 2019-12-03
CN110532997B CN110532997B (zh) 2022-04-12

Family

ID=68667056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910838773.XA Active CN110532997B (zh) 2019-09-05 2019-09-05 一种用于机场的多相机融合自动获取站坪完整信息的方法

Country Status (1)

Country Link
CN (1) CN110532997B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022007858A1 (zh) * 2020-07-10 2022-01-13 华为技术有限公司 基于图像的识别方法、装置及车辆

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1801183A (zh) * 2005-01-07 2006-07-12 索尼株式会社 信息处理装置和方法以及程序
US20080230297A1 (en) * 2007-03-22 2008-09-25 Chang Gung University Intelligent driving safety monitoring system and method integrating multiple direction information
CN101277429A (zh) * 2007-03-27 2008-10-01 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和系统
CN103247040A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于分层拓扑结构的多机器人系统地图拼接方法
CN108280398A (zh) * 2017-12-26 2018-07-13 北京建筑大学 一种基于多视角融合的步态识别方法及系统
CN109099883A (zh) * 2018-06-15 2018-12-28 哈尔滨工业大学 高精度大视场机器视觉测量与标定装置及方法
CN109214324A (zh) * 2018-08-27 2019-01-15 曜科智能科技（上海）有限公司 基于多相机阵列的最正脸图像输出方法及输出系统
CN110197206A (zh) * 2019-05-10 2019-09-03 杭州深睿博联科技有限公司 图像处理的方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1801183A (zh) * 2005-01-07 2006-07-12 索尼株式会社 信息处理装置和方法以及程序
US20080230297A1 (en) * 2007-03-22 2008-09-25 Chang Gung University Intelligent driving safety monitoring system and method integrating multiple direction information
CN101277429A (zh) * 2007-03-27 2008-10-01 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和系统
CN103247040A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于分层拓扑结构的多机器人系统地图拼接方法
CN108280398A (zh) * 2017-12-26 2018-07-13 北京建筑大学 一种基于多视角融合的步态识别方法及系统
CN109099883A (zh) * 2018-06-15 2018-12-28 哈尔滨工业大学 高精度大视场机器视觉测量与标定装置及方法
CN109214324A (zh) * 2018-08-27 2019-01-15 曜科智能科技（上海）有限公司 基于多相机阵列的最正脸图像输出方法及输出系统
CN110197206A (zh) * 2019-05-10 2019-09-03 杭州深睿博联科技有限公司 图像处理的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022007858A1 (zh) * 2020-07-10 2022-01-13 华为技术有限公司 基于图像的识别方法、装置及车辆

Also Published As

Publication number Publication date
CN110532997B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN103425967B (zh) 一种基于行人检测和跟踪的人流监控方法
CN105197252B (zh) 一种小型无人机降落方法及系统
CN107067794B (zh) 一种基于视频图像处理的室内车辆定位导航系统及方法
CN104536009B (zh) 一种激光红外复合的地面建筑物识别及导航方法
Li et al. Automatic registration of panoramic image sequence and mobile laser scanning data using semantic features
CN105205785B (zh) 一种可定位的大型车辆运行管理系统及其运行方法
CN103075998B (zh) 一种单目空间目标测距测角方法
CN110108258A (zh) 一种单目视觉里程计定位方法
CN109253722A (zh) 融合语义分割的单目测距系统、方法、设备及存储介质
CN106127683A (zh) 一种无人机载sar图像实时拼接方法
CN106778540B (zh) 停车检测准确的基于双层背景的停车事件检测方法
CN110232387A (zh) 一种基于kaze-hog算法的异源图像匹配方法
CN109712127A (zh) 一种用于机巡视频流的输电线路故障检测方法
CN108871409A (zh) 一种故障检测方法和系统
CN108765468A (zh) 一种基于特征融合的目标跟踪方法和装置
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
Schunert et al. Grouping of persistent scatterers in high-resolution SAR data of urban scenes
CN103488801B (zh) 一种基于地理信息空间库的机场目标检测方法
CN104156946B (zh) 一种空间绳系机器人抓捕区域内的障碍物检测方法
CN110532997A (zh) 一种用于机场的多相机融合自动获取站坪完整信息的方法
CN110659593A (zh) 基于改进DiracNet的城市雾霾能见度检测方法
Tang et al. Content-based 3-D mosaics for representing videos of dynamic urban scenes
CN113763484A (zh) 基于视频图像分析技术的船舶目标定位及速度估算方法
CN110543612B (zh) 一种基于单目视觉测量的集卡定位方法
CN104809720A (zh) 基于小交叉视场的两相机目标关联方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant