CN114822084A - 交通控制方法、目标跟踪方法、系统、设备及存储介质 - Google Patents

交通控制方法、目标跟踪方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114822084A
CN114822084A CN202110118753.2A CN202110118753A CN114822084A CN 114822084 A CN114822084 A CN 114822084A CN 202110118753 A CN202110118753 A CN 202110118753A CN 114822084 A CN114822084 A CN 114822084A
Authority
CN
China
Prior art keywords
target
determining
airplane
target tracking
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110118753.2A
Other languages
English (en)
Inventor
谢榛
高玉涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202110118753.2A priority Critical patent/CN114822084A/zh
Publication of CN114822084A publication Critical patent/CN114822084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0082Surveillance aids for monitoring traffic from a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0086Surveillance aids for monitoring terrain

Abstract

本申请实施例提供一种交通控制方法、目标跟踪方法、系统、设备及存储介质。其中,方法包括如下的步骤:获取对机场中的泊位所在区域进行监测得到的监测数据;根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态;根据所述飞机的入位状态,对所述泊位附近的道路进行交通控制。本申请实施例提供的技术方案在飞机入位的过程中,可避免机场其他交通设备在该道路上的行驶对飞机驾驶员造成视线干扰,从而可避免飞机与泊位附近的廊桥或其他建筑物发生碰撞,提高飞机入位安全。

Description

交通控制方法、目标跟踪方法、系统、设备及存储介质
技术领域
本申请涉及控制技术领域,尤其涉及一种交通控制方法、目标跟踪方法、系统、设备及存储介质。
背景技术
随着世界民航服务行业的迅猛发展,机场规模越来越大,机场内用于停放飞机、进行上下客、飞机保障的泊位也越来越多。为了保证机场高效运转,飞机降落机场后,需要停靠到指定泊位。飞机在进入泊位和稳定停靠的过程中,一般需要通过地面机务人员指挥或者通过飞机泊位引导系统引导。
目前,现有的飞机泊位引导系统是通过其内部的激光传感器在飞机进入泊位后,对飞机进行检测,以根据检测结果对飞机进行引导。飞机在泊位系统的引导下停靠至泊位的指定位置处。
发明内容
本申请提供一种交通控制方法、目标跟踪方法、系统、设备及存储介质,其中,交通控制方法用于提高移动设备(例如:飞机)入位安全;目标跟踪方法用于提高目标跟踪的准确率。
于是,在本申请的一个实施例中,提供了一种交通控制方法。该方法包括:
获取对机场中的泊位所在区域进行监测得到的监测数据;
根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态;
根据所述飞机的入位状态,对所述泊位附近的道路进行交通控制。
在本申请的一个实施例中,提供了一种目标跟踪方法。该方法包括:
结合目标对象的历史目标跟踪结果,预测所述目标对象在当前帧图像中的目标预测框;
确定所述当前帧图像中至少一个候选对象对应的目标检测框;
根据所述目标预测框与所述至少一个候选对象对应的目标检测框中各目标检测框的重叠度以及距离,确定目标检测框与各目标预测框的匹配结果;
根据匹配结果,确定所述目标对象在所述当前帧图像中的目标跟踪框。
在本申请的另一实施例中,提供了一种交通控制系统,该系统包括:监测设备和控制设备;其中,
所述监测设备,用于对机场中的泊位所在区域进行监测,得到监测数据;
所述控制设备,用于获取所述监测数据;根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态;根据所述飞机的入位状态,对所述泊位附近的道路进行交通控制。
在本申请的又一个实施例中,提供了一种交通控制方法。该方法包括:
获取对泊位所在区域进行监测得到的监测数据;
根据所述监测数据,确定需停靠至所述泊位的移动设备的入位状态;
根据所述移动设备的入位状态,对所述泊位附近的道路进行交通控制。
在本申请的另一实施例中,提供了一种电子设备,该电子设备包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于实现上述任一项所述交通控制方法中的步骤。
在本申请的另一实施例中,提供了一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现任一项所述交通控制方法中的步骤。
在本申请的另一实施例中,提供了一种电子设备,该电子设备包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于实现上述任一项所述目标跟踪方法中的步骤。
在本申请的另一实施例中,提供了一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现任一项所述目标跟踪方法中的步骤。
在本申请的另一实施例中,提供了一种电子设备,该电子设备包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于实现上述任一项所述交通控制方法中的步骤。
在本申请的另一实施例中,提供了一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现任一项所述交通控制方法中的步骤。
本申请实施例提供的技术方案中,对机场中的泊位所在区域进行监测,得到监测数据;根据监测数据,确定需停靠至该泊位的飞机的入位状态;根据入位状态,对泊位附近的道路进行交通控制。这样一来,在飞机入位的过程中,可避免机场其他交通设备(例如:车辆)在该道路上的行驶对飞机驾驶员造成视线干扰,从而避免了飞机与泊位附近的廊桥或其他建筑物发生碰撞,提高飞机入位安全。
本申请又一实施例提供的技术方案中,根据目标对象在当前帧图像中的目标预测框与当前帧图像中候选对象的目标检测框之间的重叠度以及距离,从当前帧图像中选出与目标对象匹配的候选对象,从而确定出目标对象在当前帧图像中目标跟踪结果,从而提高了目标跟踪的准确率。
本申请实施例提供的技术方案可避免在移动设备入位时,因附近道路上车辆的通行导致的安全事故,提高了移动设备入位安全。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本申请一实施例提供的交通控制系统的结构框图;
图1b为本申请又一实施例提供的交通控制方法的流程示意图;
图1c为本申请一实施例提供的飞机入位的示例图;
图2为本申请一实施例提供的目标跟踪方法的流程示意图;
图3为本申请一实施例提供的交通控制装置的结构框图;
图4为本申请一实施例提供的目标跟踪装置的结构框图;
图5为本申请一实施例提供的电子设备的结构框图。
具体实施方式
在飞机进入泊位和稳定停靠的过程中,一般通过地面机务指挥人员指挥或者通过飞机泊位引导系统引导。机场中存在一些泊位,在其与机务指挥人员或者飞机泊位引导系统之间会存在车辆通行的服务道,在飞机入位过程中,由于存在航站楼墙体、设备设施和廊桥的遮挡,存在视线盲区,车辆驾驶员无法准确判断飞机泊位引导系统的安装位置和该泊位是否有飞机进位,增加了行驶车辆和进位飞机存在冲突的风险,例如,当车辆行驶至机务指挥人员或飞机泊位引导系统与飞机之间时,车辆会遮挡住飞机驾驶员的视线,导致飞机驾驶员无法看到机务指挥人员或飞机泊位引导系统的显示屏,增加了飞机与廊桥等设施的碰撞风险。目前,市面上没有专门针对这个问题的解决方案。
为了解决该问题,本申请实施例提供了一种交通控制方法,通过对泊位进行监测,得到监测数据;根据监测数据,确定需停靠至泊位的飞机的入位状态;根据入位状态,对泊位附近的道路进行交通控制,形成一套完整的智能识别、预警反馈的闭环系统,从而保证飞机入位的安全。
为了使本技术领域的人员更好地理解本申请方案,下面将根据本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
此外,在本申请的说明书、权利要求书及上述附图中描述的一些流程中,包含了按照特定顺序出现的多个操作,这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等,仅仅是用于区分各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本申请实施例提供一种交通控制方法,该方法,包括:
A、获取对泊位所在区域进行监测得到的监测数据;
B、根据所述监测数据,确定需停靠至所述泊位的移动设备的入位状态;
C、根据所述移动设备的入位状态,对所述泊位附近的道路进行交通控制。
上述步骤A中,上述泊位可以是飞机泊位(即机场中的停机位)、船舶泊位、车辆泊位,等等。上述监测数据可包括一个或多个传感器数据。传感器可包括:视觉传感器(也即摄像设备)、激光传感器,等等。实际应用时,可在泊位附近设置一个或多个视觉传感器,和/或在泊位附近设置一个或多个激光传感器,视觉传感器、激光传感器的具体设置可根据实际需要来设定,本申请实施例对此不做具体限定。
上述步骤B中的移动设备可以是飞机、船舶、车辆,等等。入位指的是移动设备从泊位以外区域进入泊位区域的动作,那么,入位状态指的就是移动设备从泊位以外区域进入泊位区域过程中的各种状态,例如:入位状态可包括:正在入位和入位完成。正在入位指的是:移动设备从泊位以外区域进入泊位区域,尚未停稳;入位完成指的是:移动设备已进入泊位并停稳。
可对监测数据进行分析,以确定出需停靠至所述泊位的移动设备的入位状态。
上述步骤C中,在一实例中,可在所述道路上设置交通提示设备,例如:信号灯、提示屏或语音提示器。该交通提示设备,用于对需经过所述道路的通行对象进行交通提示。该通信对象可以是车辆。上述C中“根据所述移动设备的入位状态,对所述泊位附近的道路进行交通控制”,具体可包括:
C11、根据所述移动设备的入位状态,对所述道路对应的交通提示设备进行控制。
在另一实例中,可根据所述移动设备的入位状态,向所述泊位附近的所有交通对象的通信设备发送有关该泊位附近的道路的交通提示消息;或者,仅向需经过所述道路的通信对象的通信设备发送有关该道路的交通提示消息。实际应用时,可根据通信对象的定位设备上传的定位数据,确定出所述泊位附近的所有交通对象或需经过所述道路的交通对象。
这样一来,就避免了在移动设备入位时,因附近道路上车辆的通行导致的安全事故。
可选的,上述“根据所述移动设备的入位状态,对所述泊位附近的道路进行交通控制”,包括:
根据所述移动设备的入位状态,对所述道路对应的交通提示设备进行控制;
其中,所述交通提示设备用于对需经过所述道路的通行对象进行交通提示。
可选的,上述“根据所述移动设备的入位状态,对所述道路对应的交通提示设备进行控制”,包括:
当所述移动设备的入位状态为正在入位时,控制所述道路对应的交通提示设备提示需经过所述道路的通行对象暂停通行;
当所述移动设备的入位状态为入位完成时,控制所述道路对应的交通提示设备提示需经过所述道路的通行对象正常通行。
可选的,上述方法,还包括:
接收到有关所述泊位的待入位通知后,控制所述道路对应的交通提示设备提示需经过所述道路的通行对象所述泊位待入位。
可选的,所述监测数据包括多个传感器数据;
根据所述监测数据,确定需停靠至所述泊位的移动设备的入位状态,包括:
分别根据所述多个传感器数据中各传感器数据,确定所述移动设备的参考入位状态,得到多个参考入位状态;
综合所述多个参考入位状态,确定所述移动设备的入位状态。
可选的,综合所述多个参考入位状态,确定所述移动设备的入位状态,包括:
当所述多个参考入位状态中存在一个参考入位状态为正在入位,确定所述移动设备的入位状态为正在入位;和/或,
当所述多个参考入位状态均为入位完成时,确定所述移动设备的入位状态为入位完成。
可选的,所述监测数据中包括视觉传感器数据;所述视觉传感器数据包括:当前帧图像;
根据所述监测数据,确定需停靠至所述泊位的移动设备的入位状态,包括:
结合有关所述移动设备的目标对象的历史目标跟踪结果,在所述当前帧图像中对所述目标对象进行目标跟踪,得到所述当前帧图像的目标跟踪结果;
根据所述当前帧图像的目标跟踪结果,更新所述目标对象的移动轨迹数据;
根据更新后所述目标对象的移动轨迹数据,确定所述飞机的入位状态。
可选的,有关所述移动设备的目标对象包括:移动设备各部件。当所述移动设备为飞机时,所述目标对象还包括:引导车。
可选的,结合有关所述移动设备的目标对象的历史目标跟踪结果,在所述当前帧图像中对所述目标对象进行目标跟踪,得到所述当前帧图像的目标跟踪结果,包括:
结合与所述移动设备相关的目标对象的历史目标跟踪结果,预测所述目标对象在所述当前帧图像中的目标预测框;
确定所述当前帧图像中至少一个候选对象对应的目标检测框;
根据所述目标预测框与所述至少一个候选对象对应的目标检测框的匹配结果,确定所述目标对象在所述当前帧图像中的目标跟踪框,以得到所述当前帧图像的目标跟踪结果。
可选的,所述方法,还包括:
根据所述目标预测框与所述至少一个候选对象的目标检测框中各目标检测框的重叠度以及距离,确定所述目标预测框与各目标检测框的匹配结果。
可选的,所述方法,还包括:
根据所述目标预测框与所述至少一个候选对象的目标检测框中各目标检测框的重叠度、距离以及所述目标对象和所述候选对象的对象类型,确定所述目标预测框与各目标检测框的匹配结果。
可选的,根据所述目标预测框与所述至少一个候选对象对应的目标检测框的匹配结果,确定所述目标对象在所述当前帧图像中的目标跟踪框,包括:
根据所述目标预测框以及所述至少一个候选对象对应的目标检测框中与所述目标预测框匹配的目标检测框,确定所述目标对象在所述当前帧图像中的目标跟踪框。
可选的,所述方法,还包括:
若所述目标预测框与所述至少一个候选对象的目标检测框均不匹配,则确定所述目标对象的历史目标跟踪结果中最近n次目标跟踪得到的目标跟踪框是否均为通过单目标跟踪算法跟踪得到的;其中,n为正整数;
当所述目标对象的历史目标跟踪结果中最近n次目标跟踪得到的目标跟踪框并非均为通过单目标跟踪算法跟踪得到的时,采用单目标跟踪算法在所述当前帧图像中针对所述目标对象进行目标跟踪,得到所述目标对象在所述当前帧图像中的目标跟踪框。
可选的,所述方法,还包括:
确定所述至少一个候选对象中是否存在与已跟踪到的多个对象不匹配的第一候选对象;
若存在所述第一候选对象,则采用单目标跟踪算法在所述当前帧图像之前的m帧图像中针对所述第一候选对象进行目标跟踪,得到所述第一候选对象在所述m帧图像中的目标跟踪框;其中,m为正整数;
根据所述第一候选对象在所述m帧图像中的目标跟踪框以及所述已跟踪到的多个对象在所述m帧图像中的目标跟踪框,将所述第一候选对象与所述多个对象进行重新匹配;
若所述第一候选对象与所述多个对象中第一对象匹配,则将所述第一候选对象确定为所述第一对象。
可选的,根据所述当前帧图像的目标跟踪结果,更新所述目标对象的移动轨迹数据,包括:
根据所述当前帧图像的目标跟踪结果,通过坐标转换确定所述目标对象在预设坐标系下的第一参考位置;
获取其他传感器最近一次监测到的所述目标对象的第二参考位置;
结合所述第二参考位置和所述第一参考位置,更新所述目标对象的移动轨迹数据。
下面将结合飞机入位的具体应用场景对本本申请实施例提供的技术方案进行介绍:
在介绍本申请提供的有关飞机入位应用场景的交通控制方法之前,先对本申请提供的所述方法所基于的系统架构进行说明。
图1a为本申请实施例提供的一种交通控制系统的结构示意图。如图1a所示,该交通控制系统包括:监测设备100和控制设备200;其中,
所述监测设备100,用于对机场中的泊位所在区域进行监测,得到监测数据;
所述控制设备200,用于获取所述监测数据;根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态;根据所述飞机的入位状态,对所述泊位附近的道路进行交通控制。
可选的,所述系统,还包括:所述道路对应的交通提示设备300;所述交通提示设备300用于对需经过所述道路的通行对象进行交通提示;
所述控制设备200,用于对所述交通提示设备300进行控制。
本实施例中,交通控制系统中各设备的具体工作流程及之间的信令交互将在以下各实施例中作进一步的说明。
图1b示出了本申请一实施例提供的交通控制方法的流程示意图。如图1b所示,该方法包括:
101、获取对机场中的泊位所在区域进行监测得到的监测数据。
102、根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态。
103、根据所述飞机的入位状态,对所述泊位附近的道路进行交通控制。
上述101中,上述监测数据可包括一个或多个传感器数据。传感器可包括:视觉传感器(也即摄像设备)、激光传感器,等等。实际应用时,可在泊位附近设置一个或多个视觉传感器,和/或在泊位附近设置一个或多个激光传感器,视觉传感器、激光传感器的具体设置可根据实际需要来设定,本申请实施例对此不做具体限定。在一实例中,可直接利用现有的飞机泊位引导系统的显示屏所在位置处的视觉传感器或激光传感器。此外,上述传感器还可包括雷达,其中,雷达可以是机场场监雷达。
在一实例中,上述监测数据可包括视觉传感器数据和雷达数据。多种传感器数据的联合使用,有助于提高识别准确率。
上述102中,入位指的是飞机从滑行道进入泊位的动作,那么,飞机的入位状态指的就是飞机从滑行道进入泊位过程中的各状态,例如,飞机的入位状态可包括:正在入位和入位完成。正在入位指的是:飞机从滑行道进入泊位,尚未停稳;入位完成指的是飞机已进入泊位并停稳。
可对监测数据进行分析,以确定出需停靠至所述泊位的飞机的入位状态。
上述103中,如图1c所示,泊位附近的道路指的是位于飞机泊位引导系统的显示屏15所在位置或地面指挥人员指挥时所处位置与泊位之间的道路。对泊位附近的道路进行交通控制,具体地,是对该道路位于飞机泊位引导系统的显示屏所在位置或地面指挥人员指挥时所处位置与该泊位之间的路段进行交通控制。
在一实例中,可在所述道路上设置交通提示设备,例如:信号灯、提示屏或语音提示器。该交通提示设备,用于对需经过所述道路的通行对象进行交通提示。该通信对象可以是车辆。上述103中“根据所述飞机的入位状态,对所述泊位附近的道路进行交通控制”,具体可包括:
1031、根据所述飞机的入位状态,对所述道路对应的交通提示设备进行控制。
在另一实例中,可根据所述飞机的入位状态,向机场内的所有交通对象的通信设备发送有关该泊位附近的道路的交通提示消息;或者,仅向需经过所述道路的通信对象的通信设备发送有关该泊位附近的道路的交通提示消息。实际应用时,可根据通信对象的定位设备上传的定位数据,从机场内所有交通对象中确定出需经过所述道路的交通对象。
这样一来,就避免了在飞机入位时,因车辆的通行遮挡了飞机驾驶员的视线所导致的安全事故。
本申请实施例提供的技术方案中,对机场中的泊位所在区域进行监测,得到监测数据;根据监测数据,确定需停靠至该泊位的飞机的入位状态;根据入位状态,对泊位附近的道路进行交通控制。这样一来,在飞机入位的过程中,可避免机场其他交通设备(例如:车辆)在该道路上的行驶对飞机驾驶员造成视线干扰,从而避免了飞机与泊位附近的廊桥或其他建筑物发生碰撞,提高飞机入位安全。
在一种可实现的方案中,上述1031中“根据所述飞机的入位状态,对所述道路对应的交通提示设备进行控制”,可包括如下步骤:
S11、当所述飞机的入位状态为正在入位时,控制所述道路对应的交通提示设备提示需经过所述道路的通行对象暂停通行。
S12、当所述飞机的入位状态为入位完成时,控制所述道路对应的交通提示设备提示需经过所述道路的通行对象正常通行。
飞机正在入位时,泊位附近的道路禁止通行对象通行;飞机入位完成后,泊位附近的道路才会允许通行对象通行。这样,就避免了在飞机入位时,因车辆的通行遮挡了飞机驾驶员的视线所导致的安全事故。
实际应用时,以上述交通提示设备为交通信号灯为例,当所述飞机的入位状态为正在入位时,可控制交通信号灯亮红灯;当飞机的入位状态为入位完成时,控制交通信号灯亮绿灯。此外,该泊位没有飞机时,也可控制交通信号灯亮绿灯。
实际应用中,在飞机即将降落之前,机场泊位分配系统就会为飞机分配一个指定泊位,飞机在降落之后需要停靠到为其分配的指定泊位。可在机场泊位分配系统为飞机分配指定泊位之后,生成一个待入位通知。接收到有关该泊位的待入位通知后,控制所述道路对应的交通提示设备提示需经过所述道路的通行对象所述泊位待入位。以上述交通提示设备为交通信号灯为例,接收到有关该泊位的待入位通知后,控制交通信号灯亮黄灯。
视觉传感器容易受到外部环境(例如:雨雾、光线)干扰,导致识别不准确;激光传感器虽然检测准确度和定位精度高,但是捕获和识别飞机入位的距离有限,导致识别入位不够及时,无法及时预警;机场场监雷达由于雷达本身的特性,在靠近航站楼、廊桥等部位,容易受到遮挡,导致在泊位附近,定位精度和稳定性不高。本方案把多个传感器数据进行融合,例如:机场场监雷达数据和视觉传感器数据,相互弥补各自的不足,提升识别精度和稳定性,进而提高交通控制的精准度。具体地,上述监测数据包括多个传感器数据。多个传感器数据可包括视觉传感器数据、激光传感器数据、雷达传感器数据中的至少两个。上述102中“根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态”,可采用如下步骤来实现:
1021、分别根据所述多个传感器数据中各传感器数据,确定所述飞机的参考入位状态,得到多个参考入位状态。
1022、综合所述多个参考入位状态,确定所述飞机的入位状态。
上述1021中,可根据视觉传感器数据,确定飞机的一个参考入位状态;可根据雷达数据,确定飞机的另一个参考入位状态;可根据激光传感器数据,确定飞机的又一个参考入位状态。
上述1021中,综合多个参考入位状态,确定飞机的入位状态。
在一种可实现的方案中,上述1021中“综合所述多个参考入位状态,确定所述飞机的入位状态”,可包括如下步骤中一个或多个:
S21、当所述多个参考入位状态中存在一个参考入位状态为正在入位,确定所述飞机的入位状态为正在入位。
飞机入位时,需要及时地对泊位附近的道路进行交通控制,以给需经过该道路的交通对象预留出足够的反应时间和刹车时间。故当多个参考入位状态中存在一个参考入位状态为正在入位时,确定飞机的入位状态为正在入位。
S22、当所述多个参考入位状态均为入位完成时,确定所述飞机的入位状态为入位完成。
在飞机入位完成后,需要确保飞机是否真的停稳了,以避免还未停稳就放行车辆导致的安全事故。故当多个参考入位状态均为入位完成时,确定飞机的入位状态为入位完成。
在一种可实现的方案中,所述监测数据中包括视觉传感器数据;所述视觉传感器数据包括:当前帧图像。上述102中“根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态”,具体可采用如下步骤来实现:
1023、结合有关所述飞机的目标对象的历史目标跟踪结果,在所述当前帧图像中对所述目标对象进行目标跟踪,得到所述当前帧图像的目标跟踪结果。
1024、根据所述当前帧图像的目标跟踪结果,更新所述目标对象的移动轨迹数据。
1025、根据更新后所述目标对象的移动轨迹数据,确定所述飞机的入位状态。
上述1023中,有关飞机的目标对象可包括引导车和飞机各部件。机场中,通常通过引导车将飞机引导至指定泊位。并且,一般引导车会率先进入泊位所在区域,飞机紧跟在其后。故在判断飞机的入位状态是否为正在入位时,可依据引导车的移动轨迹数据来判断。
在一具体实例中,可采用目标跟踪算法对目标对象进行目标跟踪。具体地,上述1023中“结合有关所述飞机的目标对象的历史目标跟踪结果,在所述当前帧图像中对所述目标对象进行目标跟踪,得到所述当前帧图像的目标跟踪结果”,可采用如下步骤来实现:
S31、结合与所述飞机相关的目标对象的历史目标跟踪结果,预测所述目标对象在所述当前帧图像中的目标预测框。
S32、确定所述当前帧图像中至少一个候选对象对应的目标检测框。
S33、根据所述目标预测框与所述至少一个候选对象对应的目标检测框的匹配结果,确定所述目标对象在所述当前帧图像中的目标跟踪框,以得到所述当前帧图像的目标跟踪结果。
上述S31中,目标对象的历史目标跟踪结果可包括目标对象在时间戳早于所述当前帧图像的时间戳的其他帧图像中的目标跟踪框。根据目标对象在时间戳早于所述当前帧图像的时间戳的其他帧图像中的目标跟踪框,预测所述目标对象在当前帧图像中的目标预测框。可采用卡尔曼滤波器来预测目标对象在当前帧图像中的目标预测框。
上述S32中,可采用目标检测模型对当前帧图像进行目标检测,得到至少一个候选对象的目标检测框。
在一具体实例中,可采用基于深度学习模型。该深度学习模型可利用CNN(Convolutional Neural Networks,卷积神经网络)特征和多尺度网络,完成各类目标对象(如飞机、飞机部件、车辆)的检测分析。该深度学习模型的输入是图片,输出是目标分类和目标定位的结果。目标定位的结果包括目标检测框。该深度学习模型的基础神经网络由CNN和双向特征金字塔结构构成,然后通过三个预测分支进行目标类别和位置的估计,其中,三个预测分支分别对应一种尺度的特征图。采用三个预测分支来进行目标类别和位置的估计目的是为了能够实现对多种不同尺度大小的目标的检测。
上述S33中,根据所述目标预测框与所述至少一个候选对象对应的目标检测框的匹配结果,确定所述目标对象在所述当前帧图像中的目标跟踪框,以得到所述当前帧图像的目标跟踪结果。
在一实例中,可根据目标预测框以及至少一个候选对象对应的目标检测框中与所述目标预测框匹配的目标检测框,确定目标对象在当前帧图像中的目标跟踪框。具体地,可由卡尔曼滤波器结合目标预测框和与该目标预测框匹配的目标检测框,找到当前状态的估计值,以作为所述目标对象在所述当前帧图像中的目标跟踪框。
在实际应用时,可采用如下方式中一种或多种来实现目标预测框与目标检测框的匹配:
方式一:根据所述目标预测框与所述至少一个候选对象的目标检测框中各目标检测框的重叠度,确定所述目标预测框与各目标检测框的匹配结果。
具体地,计算目标预测框与各目标检测框的重叠度IOU(Intersection overUnion);根据重叠度确定代价值;根据代价值,确定目标检测框与各目标预测框是否匹配。其中,重叠度越大,代价值越小。在一实例中,可筛选出代价值大于预设代价阈值的目标检测框;并从代价值大于预设代价阈值的目标检测框中选取代价值最大的目标检测框作为与目标预测框匹配的目标检测框。在另一实例中,可采用匈牙利算法来实现根据代价值,确定目标检测框与各目标预测框是否匹配的步骤,具体实现方式可参见现有技术,在此不再赘述。
方式二:根据所述目标预测框与所述至少一个候选对象的目标检测框中各目标检测框的重叠度以及距离,确定所述目标预测框与各目标检测框的匹配结果。
在方式二中,计算目标预测框与各目标检测框的重叠度以及距离;根据目标预测框与各目标检测框的重叠度以及距离,确定代价值;根据代价值,确定目标检测框与各目标预测框是否匹配。当距离固定时,重叠度越大,代价值就越小;当重叠度固定时,距离越小,代价值就越小。根据代价值,确定确定目标检测框与各目标预测框是否匹配步骤的具体实现可参见上述实施例中相应内容,在此不再赘述。
方式二与方式一相比,在匹配时,除了考虑重叠度,还考虑距离。这是因为,申请人通过研究发现,有些时候同一目标对象在同一帧中的目标预测框与目标检测框的重叠度很小,甚至没有重叠。如果仅根据重叠度IOU,不一定能够将目标预测框与目标检测框关联上,导致目标追踪失败。尤其卡尔曼滤波器是依赖线性运动的,如果运动目标的运动不是线性运动,特别容易出现这种情况。在本申请实施例中,加入距离就能够降低这种情况的出现次数。
方式三:根据所述目标预测框与所述至少一个候选对象的目标检测框中各目标检测框的重叠度、距离以及所述目标对象和所述候选对象的对象类型,确定所述目标预测框与各目标检测框的匹配结果。
考虑到本申请实施例提供的技术方案需要对多种类型的对象进行追踪,例如:飞机、飞机各种部件、车辆,等等。因此,在进行匹配时,可将目标对象和候选对象的对象类型考虑进来,有助于提高目标跟踪的准确度。计算目标预测框与各目标检测框的重叠度以及距离;根据目标预测框与各目标检测框的重叠度、距离以及目标对象和候选对象的对象类型,确定代价值;根据代价值,确定目标检测框与各目标预测框是否匹配。当距离、目标对象和候选对象的对象类型都固定时,重叠度越大,代价值就越小;当重叠度、目标对象和候选对象的对象类型都固定时,距离越小,代价值就越小;当重叠度和距离固定时,若目标对象和候选对象的对象类型一致,代价值就越小,若目标对象和候选对象的对象类型不一致,代价值就越大。
上述所描述的目标跟踪过程是基于多目标跟踪算法来实现的,为了进一步提高目标跟踪效果,还可结合单目标跟踪算法来对上述目标跟踪过程进行优化。具体地,上述方法,还可包括:
104、若所述目标预测框与所述至少一个候选对象的目标检测框均不匹配,则确定所述目标对象的历史目标跟踪结果中最近n次目标跟踪得到的目标跟踪框是否均为通过单目标跟踪算法跟踪得到的。
其中,n为正整数。
105、当所述目标对象的历史目标跟踪结果中最近n次目标跟踪得到的目标跟踪框并非均为通过单目标跟踪算法跟踪得到的时,采用单目标跟踪算法在所述当前帧图像中针对所述目标对象进行目标跟踪,得到所述目标对象在所述当前帧图像中的目标跟踪框。
上述n可理解为预设的单目标跟踪算法跟踪的最大帧数。当某一个跟踪链不能关联当前帧图像中的目标时,引入一个单目标跟踪器(对应单目标跟踪算法)来继续对其进行跟踪最多n帧,若期间该跟踪链重新满足了多目标跟踪的跟踪条件,则停止单目标跟踪过程,而继续多目标跟踪过程;否则,终止跟踪链。设置n,是为了避免引入单目标跟踪算法进行长距离跟踪导致的不准确问题。
上述104中,若所述目标对象的历史目标跟踪结果中最近n次目标跟踪得到的目标跟踪框并非均为通过单目标跟踪算法跟踪得到的,则说明可以使用单目标跟踪算法进行目标跟踪;若所述目标对象的历史目标跟踪结果中最近n次目标跟踪得到的目标跟踪框均为通过单目标跟踪算法跟踪得到的,则说明针对该目标对象的跟踪链,已采用单目标跟踪算法跟踪了n帧了,需要终止该目标对象的跟踪链。
采用单目标跟踪算法在所述当前帧图像中针对所述目标对象进行目标跟踪,得到所述目标对象在所述当前帧图像中的目标跟踪框。具体地,上述单目标跟踪算法可包括中值光流(Median-Flow)跟踪算法。其中,中值光流(Median-Flow)跟踪算法的具体实现原理和过程可参见现有技术,在此不再详述。
可选的,上述方法,还可包括:
106、确定所述至少一个候选对象中是否存在与已跟踪到的多个对象不匹配的第一候选对象。
107、若存在所述第一候选对象,则采用单目标跟踪算法在所述当前帧图像之前的m帧图像中针对所述第一候选对象进行目标跟踪,得到所述第一候选对象在所述m帧图像中的目标跟踪框。
其中,m为正整数。
108、根据所述第一候选对象在所述m帧图像中的目标跟踪框以及已跟踪到的多个对象在所述m帧图像中的目标跟踪框,将所述第一候选对象与所述多个对象进行重新匹配。
109、若所述第一候选对象与所述多个对象中第一对象匹配,则将所述第一候选对象确定为所述第一对象。
上述106中,已跟踪到的多个对象中包括上述目标对象。候选对象与已跟踪到的对象的匹配也即是候选对象在当前帧图像中目标检测框与已跟踪到的对象在当前帧图像中的目标预测框的匹配。具体的匹配过程,可参见上述各实施例中候选对象的目标检测框与目标对象的目标预测框的匹配过程,在此不再赘述。需要说明的是,已跟踪到的对象包括尚未终止跟踪的对象和已终止跟踪的对象;可直接判定候选对象与已终止跟踪的对象不匹配;依据上述框的匹配与否来判定候选对象与尚未终止跟踪的对象是否匹配。
上述107中,若存在第一候选对象,则采用单目标跟踪算法在当前帧图像之前的m帧图像中针对第一候选对象进行目标跟踪,得到第一候选对象在m帧图像中的目标跟踪框。上述m的大小可根据实际需要来设定,本申请实施例对此不做具体限定。在一实例中,上述m的值与上述n的值可相等。
上述108中,已跟踪到的多个对象包括第一对象;第一对象为已跟踪到的多个对象中任一个。
根据第一候选对象在所述m帧图像中的目标跟踪框以及所述第一对象在所述m帧图像中的目标跟踪框,将所述第一候选对象与所述第一对象进行重新匹配。具体地,可计算第一候选对象和第一对象在所述m帧图像中各帧图像中目标跟踪框之间的重叠度;若第一候选对象和第一对象在所述m帧图像中某一帧图像中目标跟踪框之间的重叠度大于或等于设定阈值,则确定第一候选对象与第一对象匹配;否则,确定第一候选对象与第一对象不匹配。
上述109中,若所述第一候选对象与所述多个对象中第一对象匹配,则将所述第一候选对象确定为所述第一对象。将第一候选对象确定为第一对象,也即是将第一候选对象的跟踪链与第一对象的跟踪链进行合并。
通过单目标跟踪算法,有助于将多目标跟踪算法跟丢的对象进行关联,提高了跟踪的稳定性,有助于提高事件(入位、停稳等)判断的准确性。
考虑到视觉方式容易收到外部环境干扰(光线、雨雾),
在一种可实现的方案中,上述1024中“根据所述当前帧图像的目标跟踪结果,更新所述目标对象的移动轨迹数据”,可采用如下步骤来实现:
S41、根据所述当前帧图像的目标跟踪结果,通过坐标转换确定所述目标对象在预设坐标系下的第一参考位置。
S42、获取其他传感器最近一次监测到的所述目标对象的第二参考位置。
S43、结合所述第二参考位置和所述第一参考位置,更新所述目标对象的移动轨迹数据。
上述S41中,预设坐标系可以是世界坐标系,世界坐标系具体可以为GIS(Geographic Information System,地理信息系统)坐标系。
在一实例中,获取所述当前帧图像对应的视觉传感器的单应矩阵;根据单应矩阵,将目标对象在当前帧图像中的像素位置转换为目标对象在预设坐标系下的第一参考位置。其中,目标对象在当前帧图像的像素位置可包括目标对象在当前帧图像中的目标跟踪框的中心点像素坐标、右上角像素坐标或左下角像素坐标。其中,单应矩阵为该视觉传感器采集的图像的像素坐标系与预设坐标系之间的转换矩阵。应用时,可根据视觉传感器采集的图像与GIS图像之间的特征点匹配结果,采用随机采样一致性方法求解出图像间的对应关系,也即单应矩阵。单应矩阵的具体确定方式可参见现有技术,在此不再赘述。
在另一实例中,获取所述当前帧图像对应的视觉传感器的内参和外参;根据内参和外参,将目标对象在当前帧图像中的像素位置转换为目标对象在预设坐标系下的第一参考位置。
其中,视觉传感器的内参和外参可通过相机标定方式得到。内参标定流程为:视觉传感器(也即相机)在不同角度拍摄一系列的图像,提取每张图像的特征点并与GIS图像进行特征点匹配;根据特征点匹配结果,采用随机采样一致性方法求解出每张图像与GIS图像之间的单应矩阵,得到多个单应矩阵;然后根据多个单应矩阵联立方程组求解出内参矩阵,将其作为初值进行非线性优化得到优化后的内参矩阵与畸变系数。外参数为GIS坐标系到相机坐标系的欧式变换矩阵,其标定流程为:根据默认状态下相机图像中检测到的标志位坐标以及GIS图中的标志位坐标,采用随机采样一致性与最近点迭代法自动匹配两幅图像的标志位对应关系并求解出图像间的单应矩阵;根据单应矩阵,采用相机模型求解相机默认状态的外参。上述内外参标定过程可参考现有技术,在此不再详述。
上述S42中,其他传感器可包括雷达,具体可以是机场场监雷达。
上述S43中,可结合第二参考位置,对第一参考位置进行修正,得到修正后第一参考位置,将修正后第一参考位置添加到目标对象的移动轨迹数据中,得到更新后目标对象的移动轨迹数据。
在一具体实例中,上述S43中“结合所述第二参考位置和所述第一参考位置,更新所述目标对象的移动轨迹数据”,可采用如下步骤来实现:
S431、确定所述目标对象的移动轨迹数据中记录的最晚基准采样时间戳。
S432、根据所述最晚基准采样时间戳以及基准采样周期,确定当前基准采样时间戳。
S433、根据所述第一参考位置,估计所述目标对象在所述当前基准采样时间戳下的第一估计位置。
S434、根据所述第二参考位置,估计所述目标对象在所述当前基准采样时间戳下的第二估计位置。
S435、综合所述第一估计位置和第二估计位置,确定所述目标对象在所述当前基准采样时间戳下的融合后位置。
S436、根据所述当前基准采样时间戳以及所述融合后位置,更新所述目标对象的移动轨迹数据。
上述S431中,在本实施例中,所述目标对象的移动轨迹数据中记录了目标对象在各历史基准采样时间戳下的位置。
上述S432中,根据所述最晚基准采样时间戳以及基准采样周期,确定当前基准采样时间戳。具体地,将最晚基准采样时间戳加上基准采样周期,即可得到当前基准采样时间戳。
所述基准采样周期是根据所述视觉传感器对应的采样周期和所述其他传感器对应的采样周期确定的。举例来说,视觉传感器对应的采样周期为8s;其他传感器的采样周期为4s;则基准采样周期为这两者的平均值:6s。
上述S433中,根据所述第一参考位置,估计所述目标对象在所述当前基准采样时间戳下的第一估计位置。具体地,可根据所述第一参考位置以及所述目标对象的移动轨迹数据,通过拉格朗日内插法或拉格朗日外推法,估计所述目标对象在所述当前基准采样时间戳下的第一估计位置。
上述S434中,具体地,根据第二参考位置以及所述目标对象的移动轨迹数据,通过拉格朗日内插法或拉格朗日外推法,估计所述目标对象在所述当前基准采样时间戳下的第二估计位置。
上述S435中,对第一估计位置和第二估计位置进行融合,得到目标对象在当前基准采样时间戳下的融合后位置。具体的融合算法可采用联合概率数据互联算法(JointProbabilistic Data Association,JPDA)。
上述联合概率数据互联算法的处理流程是:将有共享测量值的测量和移动轨迹数据放入同一个确认矩阵中,并通过以下两个假设条件进行约束:1)每个测量值均有唯一的源;2)对于给定的目标,最多有一个量测以其为源;拆分确认矩阵,形成多种可能的可行事件,最终根据多种可行事件计算测量值源于目标的联合概率,最后使用联合概率来实现数据融合。具体内容可参见现有技术,在此不再赘述。
上述S436中,将所述当前基准采样时间戳以及所述融合后位置对应写入所述目标对象的移动轨迹数据中,得到更新后目标对象的移动轨迹数据。
实际使用时,各个传感器所记录的采样时间戳与真实时间戳存在偏离,为了避免对后续步骤的影响,可事先对所述视觉传感器和所述其他传感器的采样时间戳进行时间校准,具体地,可获取视觉传感器和其他传感器各自对应的时间偏移值;根据视觉传感器和其他传感器各自对应的时间偏移值,对所述视觉传感器和所述其他传感器的采样时间戳进行时间校准。具体地,将传感器的采样时间戳加上其对应的时间偏移值,得到校准后采样时间戳。时间偏移值为正值时,说明传感器的时钟慢于基准时钟;时间偏移值为负值时,说明传感器的时钟快于基准时钟。
上述1025中,根据更新后目标对象的移动轨迹数据,可判断飞机是否进入泊位所在区域以及是否转向泊位一侧,若判断出飞机进入泊位所在区域并转向泊位一侧,则可判断飞机正在入位。判断出飞机正在入位后,可根据更新后目标对象的移动轨迹数据,判断飞机是否停稳,若飞机停稳,则判定飞机入位完成。
为了及时识别飞机入位状态,在确定飞机的入位状态时,可结合引导车进行判断。具体地,上述1025中“根据更新后所述目标对象的移动轨迹数据,确定所述飞机的入位状态”,可采用如下步骤来实现:
S51、根据更新后所述引导车的移动轨迹数据,确定所述引导车是否越过所述区域中指定位置。
S52、根据更新后所述飞机各部件的移动轨迹数据,确定所述飞机是否进入所述区域。
S53、确定出所述引导车越过所述指定位置,且所述飞机已进入所述区域,则判定所述飞机的入位状态为正在入位。
上述S51中,上述指定位置指的是垂直于地面的垂面与地面的相交线位置;泊位处的停止线与该垂面垂直且相交于停止线的尾端。
在本实施例中,确定出所述引导车越过所述指定位置,且所述飞机已进入所述区域时,就会判定所述飞机的入位状态为正在入位。相比于在飞机进入所述区域并转向后,再判定飞机的入位状态为正在入位的判断标准相比,本实施例提供的技术方案能够更早地识别出飞机正在入位的状态,有助于提高交通控制的有效性,提高飞机入位安全。
与现有技术相比,本申请实施例提供的技术方案的有益效果有:
针对现有的基于激光的方法,虽然其检测准确度和定位精度很高,但捕获和识别飞机入位的距离有限,导致识别入位不够及时,无法及时预警。本方案通过视频以及视频分析方法,获得更广的视场范围,能够更早的发现飞机入位。
针对现有的基于图像识别的方法,判断机位是否有飞机,但无法及时判断飞机是否已经入位,识别不够及时,容易受到外部环境干扰(夜晚、雨雾)。本方案一方面通过优化视频本身的处理流程,提升准确率,另一方面,通过融合泊位系统的数据,场间雷达的数据,能够通过融合定位和融合逻辑,提升原有视觉系统的可靠性。
针对现有的场间雷达识别的方法,由于雷达本身的特性,在靠近航站楼、廊桥等部位,容易受到遮挡,导致在机位附近,定位精度和稳定性不高。本方案把场间雷达和视觉进行融合,相互弥补各自的不足,提升系统的定位精度和稳定性。
下面将结合图1c对本申请实施例提供的技术方案进行举例介绍:
通过摄像设备11对机场中的泊位所在区域进行拍摄。结合摄像设备11监测到的数据,确定有关飞机1的目标对象的移动轨迹数据;有关飞机的目标对象可包括引导车2、飞机各部件。根据有关飞机1的目标对象的移动轨迹数据,可识别出引导车越过指定位置和飞机进入泊位区域、飞机进入泊位区域并转向、飞机停稳等入位状态。具体地,根据引导车和飞机部件的移动轨迹数据,确定引导车是否越过了垂直于地面的垂面与地面的相交线14;该相交线14与泊位的停止线12垂直且与停止线12的尾端相交。根据飞机部件的移动轨迹数据,确定飞机是否进入了泊位所在区域。
此外,原有的飞机泊位引导系统可识别出:待入位、正在入位以及飞机停稳(即入位完成)等状态。其中,待入位状态是通过人工激活得到的。
上述交通控制系统中的控制设备中可包括一智能控制器,该智能控制器用于根据以下控制逻辑控制交通信号灯13。无飞机进位、泊位引导系统未激活状态下,廊桥上设置的交通信号灯13常亮绿灯。泊位引导系统发出人工激活状态后,交通信号灯13会变为黄灯。当通过视频识别方式确定出飞机正在入位或者通过泊位引导系统确定出飞机正在入位,则交通信号灯13会变为红灯;当视频识别方式确定出飞机停稳并且通过泊位引导吸音确定出飞机停稳时,交通信号灯13变为绿灯。
此外,还可机场飞行区管理部的监管室的屏幕上对机场信号灯状态进行数字化还原,便于工作人员直观查看每个机位当前信号灯的状态。红灯:飞机入位中,禁止车辆通行;绿灯:飞机已入位或没有飞机,允许车辆通行;黄灯:在航班落地前X分钟前,通过泊位系统把信息传过来,表示有飞机即将入位,提醒来往车辆、人员的注意。在自动化信号灯控制失效或出故障的情况下,机场飞行区管理部的监管室工作人员可通过远程页面控制信号灯的变化。
图2示出了本申请又一实施例提供的目标跟踪方法的流程示意图。如图2所示,该方法包括:
201、结合目标对象的历史目标跟踪结果,预测所述目标对象在当前帧图像中的目标预测框。
202、确定所述当前帧图像中至少一个候选对象对应的目标检测框。
203、根据所述目标预测框与所述至少一个候选对象对应的目标检测框中各目标检测框的重叠度以及距离,确定目标检测框与各目标预测框的匹配结果。
204、根据匹配结果,确定所述目标对象在所述当前帧图像中的目标跟踪框。
上述201中,目标对象可以是移动设备、移动设备各部件、人,等等。其中,移动设备可以是车辆、车辆各部件、飞机、飞机各部件、船舶、船舶各部件,等等。
上述步骤201、202、203和204的具体实现可参见上述各实施例中相应内容,在此不再赘述。
本申请又一实施例提供的技术方案中,根据目标对象在当前帧图像中的目标预测框与当前帧图像中候选对象的目标检测框之间的重叠度以及距离,从当前帧图像中选出与目标对象匹配的候选对象,从而确定出目标对象在当前帧图像中目标跟踪结果,从而提高了目标跟踪的准确率。
可选的,上述203中“根据所述目标预测框与所述至少一个候选对象的目标检测框中各目标检测框的重叠度以及距离,确定目标检测框与各目标预测框的匹配结果”,具体为:
2031、根据所述目标预测框与所述至少一个候选对象的目标检测框中各目标检测框的重叠度、距离以及所述目标对象和所述至少一个候选对象的对象类别,确定目标检测框与各目标预测框的匹配结果。
上述2031的具体实现可参见上述各实施例中相应内容,在此不再赘述。
这里需要说明的是:本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容,此处不再赘述。此外,本申请实施例提供的所述方法中除了上述各步骤以外,还可包括上述各实施例中其他部分或全部步骤,具体可参见上述各实施例相应内容,在此不再赘述。
图3示出了本申请又一实施例提供的交通控制装置的结构框图。如图3所示,该装置包括:
获取模块301,用于获取对机场中的泊位所在区域进行监测得到的监测数据;
第一确定模块302,用于根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态;
控制模块303,用于根据所述飞机的入位状态,对所述泊位附近的道路进行交通控制。
这里需要说明的是:上述实施例提供的交通控制装置可实现上述各交通控制方法实施例中描述的技术方案,上述各模块具体实现的原理可参见上述各交通控制方法实施例中的相应内容,此处不再赘述。
图3示出了本申请又一实施例提供的交通控制装置的结构框图。如图3所示,该装置包括:
获取模块301,用于获取对泊位所在区域进行监测得到的监测数据;
第一确定模块302,用于根据所述监测数据,确定需停靠至所述泊位的移动设备的入位状态;
控制模块303,用于根据所述移动设备的入位状态,对所述泊位附近的道路进行交通控制。
这里需要说明的是:上述实施例提供的交通控制装置可实现上述各交通控制方法实施例中描述的技术方案,上述各模块具体实现的原理可参见上述各交通控制方法实施例中的相应内容,此处不再赘述。
图4示出了本申请又一实施例提供的目标跟踪装置的结构框图。如图4所示,该装置包括:
预测模块401,用于结合目标对象的历史目标跟踪结果,预测所述目标对象在当前帧图像中的目标预测框;
第二确定模块402,用于确定所述当前帧图像中至少一个候选对象对应的目标检测框;
第三确定模块403,用于根据所述目标预测框与所述至少一个候选对象对应的目标检测框中各目标检测框的重叠度以及距离,确定目标检测框与各目标预测框的匹配结果;
第四确定模块404,用于根据匹配结果,确定所述目标对象在所述当前帧图像中的目标跟踪框。
这里需要说明的是:上述实施例提供的目标跟踪装置可实现上述各目标跟踪方法实施例中描述的技术方案,上述各模块具体实现的原理可参见上述各目标跟踪方法实施例中的相应内容,此处不再赘述。
图5示出了本申请一实施例提供的电子设备的结构示意图。如图5所示,所述电子设备包括存储器1101以及处理器1102。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
所述存储器1101,用于存储程序;
所述处理器1102,与所述存储器1101耦合,用于执行所述存储器1101中存储的所述程序,以实现上述各方法实施例提供的交通控制方法、目标跟踪方法。
进一步,如图5所示,电子设备还包括:通信组件1103、显示器1104、电源组件1105、音频组件1106等其它组件。图5中仅示意性给出部分组件,并不意味着电子设备只包括图5所示组件。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各方法实施例提供的交通控制方法、目标跟踪方法的步骤或功能。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (28)

1.一种交通控制方法,其特征在于,包括:
获取对机场中的泊位所在区域进行监测得到的监测数据;
根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态;
根据所述飞机的入位状态,对所述泊位附近的道路进行交通控制。
2.根据权利要求1所述的方法,其特征在于,根据所述飞机的入位状态,对所述泊位附近的道路进行交通控制,包括:
根据所述飞机的入位状态,对所述道路对应的交通提示设备进行控制;
其中,所述交通提示设备用于对需经过所述道路的通行对象进行交通提示。
3.根据权利要求2所述的方法,其特征在于,根据所述飞机的入位状态,对所述道路对应的交通提示设备进行控制,包括:
当所述飞机的入位状态为正在入位时,控制所述道路对应的交通提示设备提示需经过所述道路的通行对象暂停通行;
当所述飞机的入位状态为入位完成时,控制所述道路对应的交通提示设备提示需经过所述道路的通行对象正常通行。
4.根据权利要求2所述的方法,其特征在于,还包括:
接收到有关所述泊位的待入位通知后,控制所述道路对应的交通提示设备提示需经过所述道路的通行对象所述泊位待入位。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述监测数据包括多个传感器数据;
根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态,包括:
分别根据所述多个传感器数据中各传感器数据,确定所述飞机的参考入位状态,得到多个参考入位状态;
综合所述多个参考入位状态,确定所述飞机的入位状态。
6.根据权利要求5所述的方法,其特征在于,综合所述多个参考入位状态,确定所述飞机的入位状态,包括:
当所述多个参考入位状态中存在一个参考入位状态为正在入位时,确定所述飞机的入位状态为正在入位;和/或,
当所述多个参考入位状态均为入位完成时,确定所述飞机的入位状态为入位完成。
7.根据权利要求1至4中任一项所述的方法,其特征在于,所述监测数据中包括视觉传感器数据;所述视觉传感器数据包括:当前帧图像;
根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态,包括:
结合有关所述飞机的目标对象的历史目标跟踪结果,在所述当前帧图像中对所述目标对象进行目标跟踪,得到所述当前帧图像的目标跟踪结果;
根据所述当前帧图像的目标跟踪结果,更新所述目标对象的移动轨迹数据;
根据更新后所述目标对象的移动轨迹数据,确定所述飞机的入位状态。
8.根据权利要求7所述的方法,其特征在于,有关所述飞机的目标对象包括:引导车和飞机各部件。
9.根据权利要求8所述的方法,其特征在于,根据更新后所述目标对象的移动轨迹数据,确定所述飞机的入位状态,包括:
根据更新后所述引导车的移动轨迹数据,确定所述引导车是否越过所述区域中指定位置;
根据更新后所述飞机各部件的移动轨迹数据,确定所述飞机是否进入所述区域;
确定出所述引导车越过所述指定位置,且所述飞机已进入所述区域,则判定所述飞机的入位状态为正在入位。
10.根据权利要求7所述的方法,其特征在于,结合有关所述飞机的目标对象的历史目标跟踪结果,在所述当前帧图像中对所述目标对象进行目标跟踪,得到所述当前帧图像的目标跟踪结果,包括:
结合与所述飞机相关的目标对象的历史目标跟踪结果,预测所述目标对象在所述当前帧图像中的目标预测框;
确定所述当前帧图像中至少一个候选对象对应的目标检测框;
根据所述目标预测框与所述至少一个候选对象对应的目标检测框的匹配结果,确定所述目标对象在所述当前帧图像中的目标跟踪框,以得到所述当前帧图像的目标跟踪结果。
11.根据权利要求10所述的方法,其特征在于,还包括:
根据所述目标预测框与所述至少一个候选对象的目标检测框中各目标检测框的重叠度以及距离,确定所述目标预测框与各目标检测框的匹配结果。
12.根据权利要求10所述的方法,其特征在于,还包括:
根据所述目标预测框与所述至少一个候选对象的目标检测框中各目标检测框的重叠度、距离以及所述目标对象和所述候选对象的对象类型,确定所述目标预测框与各目标检测框的匹配结果。
13.根据权利要求10所述的方法,其特征在于,根据所述目标预测框与所述至少一个候选对象对应的目标检测框的匹配结果,确定所述目标对象在所述当前帧图像中的目标跟踪框,包括:
根据所述目标预测框以及所述至少一个候选对象对应的目标检测框中与所述目标预测框匹配的目标检测框,确定所述目标对象在所述当前帧图像中的目标跟踪框。
14.根据权利要求7所述的方法,其特征在于,还包括:
若所述目标预测框与所述至少一个候选对象的目标检测框均不匹配,则确定所述目标对象的历史目标跟踪结果中最近n次目标跟踪得到的目标跟踪框是否均为通过单目标跟踪算法跟踪得到的;其中,n为正整数;
当所述目标对象的历史目标跟踪结果中最近n次目标跟踪得到的目标跟踪框并非均为通过单目标跟踪算法跟踪得到的时,采用单目标跟踪算法在所述当前帧图像中针对所述目标对象进行目标跟踪,得到所述目标对象在所述当前帧图像中的目标跟踪框。
15.根据权利要求14所述的方法,其特征在于,还包括:
确定所述至少一个候选对象中是否存在与已跟踪到的多个对象不匹配的第一候选对象;
若存在所述第一候选对象,则采用单目标跟踪算法在所述当前帧图像之前的m帧图像中针对所述第一候选对象进行目标跟踪,得到所述第一候选对象在所述m帧图像中的目标跟踪框;其中,m为正整数;
根据所述第一候选对象在所述m帧图像中的目标跟踪框以及所述已跟踪到的多个对象在所述m帧图像中的目标跟踪框,将所述第一候选对象与所述多个对象进行重新匹配;
若所述第一候选对象与所述多个对象中第一对象匹配,则将所述第一候选对象确定为所述第一对象。
16.根据权利要求7所述的方法,其特征在于,根据所述当前帧图像的目标跟踪结果,更新所述目标对象的移动轨迹数据,包括:
根据所述当前帧图像的目标跟踪结果,通过坐标转换确定所述目标对象在预设坐标系下的第一参考位置;
获取其他传感器最近一次监测到的所述目标对象的第二参考位置;
结合所述第二参考位置和所述第一参考位置,更新所述目标对象的移动轨迹数据。
17.一种目标跟踪方法,其特征在于,包括:
结合目标对象的历史目标跟踪结果,预测所述目标对象在当前帧图像中的目标预测框;
确定所述当前帧图像中至少一个候选对象对应的目标检测框;
根据所述目标预测框与所述至少一个候选对象对应的目标检测框中各目标检测框的重叠度以及距离,确定目标检测框与各目标预测框的匹配结果;
根据匹配结果,确定所述目标对象在所述当前帧图像中的目标跟踪框。
18.根据权利要求17所述的方法,其特征在于,根据所述目标预测框与所述至少一个候选对象的目标检测框中各目标检测框的重叠度以及距离,确定目标检测框与各目标预测框的匹配结果,包括:
根据所述目标预测框与所述至少一个候选对象的目标检测框中各目标检测框的重叠度、距离以及所述目标对象和所述候选对象的对象类别,确定目标检测框与各目标预测框的匹配结果。
19.一种交通控制系统,其特征在于,包括:监测设备和控制设备;其中,
所述监测设备,用于对机场中的泊位所在区域进行监测,得到监测数据;
所述控制设备,用于获取所述监测数据;根据所述监测数据,确定需停靠至所述泊位的飞机的入位状态;根据所述飞机的入位状态,对所述泊位附近的道路进行交通控制。
20.根据权利要求19所述的系统,其特征在于,还包括:所述道路对应的交通提示设备;所述交通提示设备用于对需经过所述道路的通行对象进行交通提示;
所述控制设备,用于对所述交通提示设备进行控制。
21.一种交通控制方法,其特征在于,包括:
获取对泊位所在区域进行监测得到的监测数据;
根据所述监测数据,确定需停靠至所述泊位的移动设备的入位状态;
根据所述移动设备的入位状态,对所述泊位附近的道路进行交通控制。
22.根据权利要求21所述的方法,其特征在于,根据所述移动设备的入位状态,对所述泊位附近的道路进行交通控制,包括:
根据所述移动设备的入位状态,对所述道路对应的交通提示设备进行控制;
其中,所述交通提示设备用于对需经过所述道路的通行对象进行交通提示。
23.一种电子设备,其特征在于,包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于实现上述权利要求1至16任一项所述交通控制方法中的步骤。
24.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被计算机执行时能够实现上述权利要求1至16任一项所述交通控制方法中的步骤。
25.一种电子设备,其特征在于,包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于实现上述权利要求17或18所述目标跟踪方法中的步骤。
26.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被计算机执行时能够实现上述权利要求17或18所述目标跟踪方法中的步骤。
27.一种电子设备,其特征在于,包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于实现上述权利要求21或22所述交通控制方法中的步骤。
28.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被计算机执行时能够实现上述权利要求21或22所述交通控制方法中的步骤。
CN202110118753.2A 2021-01-28 2021-01-28 交通控制方法、目标跟踪方法、系统、设备及存储介质 Pending CN114822084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110118753.2A CN114822084A (zh) 2021-01-28 2021-01-28 交通控制方法、目标跟踪方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110118753.2A CN114822084A (zh) 2021-01-28 2021-01-28 交通控制方法、目标跟踪方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114822084A true CN114822084A (zh) 2022-07-29

Family

ID=82525764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110118753.2A Pending CN114822084A (zh) 2021-01-28 2021-01-28 交通控制方法、目标跟踪方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114822084A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0220752A2 (fr) * 1985-09-20 1987-05-06 D.R.I.M. Limited Procédé pour le contrôle au sol des mobiles sur un aéroport et installation pour la mise en oeuvre de ce procédé
JP2002092800A (ja) * 2000-09-20 2002-03-29 Nippon Signal Co Ltd:The 駐機誘導装置
US20090299552A1 (en) * 2008-06-02 2009-12-03 Airbus France Method and system for automatically managing a convoy of aircraft during a taxiing
CN102332214A (zh) * 2011-08-04 2012-01-25 南京航空航天大学 一种增强型机场场面监视系统
CN104966045A (zh) * 2015-04-02 2015-10-07 北京天睿空间科技有限公司 一种基于视频的飞机进出泊位自动检测方法
CN109302580A (zh) * 2018-09-10 2019-02-01 合肥巨清信息科技有限公司 一种基于视频监控的飞机进出泊位自动检测方法
CN109360226A (zh) * 2018-10-17 2019-02-19 武汉大学 一种基于时间序列多特征融合的多目标跟踪方法
CN110400332A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0220752A2 (fr) * 1985-09-20 1987-05-06 D.R.I.M. Limited Procédé pour le contrôle au sol des mobiles sur un aéroport et installation pour la mise en oeuvre de ce procédé
JP2002092800A (ja) * 2000-09-20 2002-03-29 Nippon Signal Co Ltd:The 駐機誘導装置
US20090299552A1 (en) * 2008-06-02 2009-12-03 Airbus France Method and system for automatically managing a convoy of aircraft during a taxiing
CN102332214A (zh) * 2011-08-04 2012-01-25 南京航空航天大学 一种增强型机场场面监视系统
CN104966045A (zh) * 2015-04-02 2015-10-07 北京天睿空间科技有限公司 一种基于视频的飞机进出泊位自动检测方法
CN110400332A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN109302580A (zh) * 2018-09-10 2019-02-01 合肥巨清信息科技有限公司 一种基于视频监控的飞机进出泊位自动检测方法
CN109360226A (zh) * 2018-10-17 2019-02-19 武汉大学 一种基于时间序列多特征融合的多目标跟踪方法

Similar Documents

Publication Publication Date Title
US11928742B2 (en) Collection of crash data using autonomous or semi-autonomous drones
US10822008B2 (en) Automated wayside asset monitoring with optical imaging and visualization
CN109212514B (zh) 一种雷达检测设备对运动以及静止目标持续跟踪关联方法
US20170276780A1 (en) Moving body recognition system
CN108983806B (zh) 区域检测、航线规划数据的生成方法和系统、飞行器
CN113706737B (zh) 基于自动驾驶车辆的路面巡检系统及方法
CN112382131B (zh) 一种机场场面安全避撞预警系统和方法
CN111427374B (zh) 飞机泊位引导方法、装置及设备
CN112330915B (zh) 无人机森林防火预警方法、系统、电子设备和存储介质
CN111026149B (zh) 自主监测应急系统和方法
WO2020141504A1 (en) System, method and computer program product for speeding detection
CN112306051A (zh) 一种高速公路无人驾驶交警车辆机器人系统
CN113721621A (zh) 车辆控制方法、装置、电子设备以及存储介质
CN112101223A (zh) 检测方法、装置、设备和计算机存储介质
CN111079525B (zh) 图像处理方法、设备、系统及存储介质
CN114240115A (zh) 公路作业物联方法及系统
CN113370993A (zh) 车辆自动驾驶的控制方法和车辆自动驾驶的控制系统
CN111427063B (zh) 一种移动装置通行控制方法、装置、设备、系统及介质
CN116740833A (zh) 基于无人机的线路巡线打卡方法
CN114822084A (zh) 交通控制方法、目标跟踪方法、系统、设备及存储介质
CN114844925B (zh) 无人矿山全域智能监测系统
CN113538976A (zh) 一种基于Mask R-CNN目标检测技术的跑道侵入检测方法
CN114581873B (zh) 筛选路侧设备的方法、装置、设备、介质及产品
WO2022254602A1 (ja) 緊急ルート決定システム、緊急ルート決定方法、及び非一時的なコンピュータ可読媒体
KR102592141B1 (ko) 기후 변화 대응형 교차로 교통 신호 제어 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination