CN112034831B - 登机桥接靠飞机的方法及电子设备以及存储介质 - Google Patents

登机桥接靠飞机的方法及电子设备以及存储介质 Download PDF

Info

Publication number
CN112034831B
CN112034831B CN201910482725.1A CN201910482725A CN112034831B CN 112034831 B CN112034831 B CN 112034831B CN 201910482725 A CN201910482725 A CN 201910482725A CN 112034831 B CN112034831 B CN 112034831B
Authority
CN
China
Prior art keywords
door
cabin door
airplane
coordinate system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910482725.1A
Other languages
English (en)
Other versions
CN112034831A (zh
Inventor
雷安良
邓览
向卫
梁乐贤
罗伟
余秀强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen CIMC Tianda Airport Support Ltd
Original Assignee
Shenzhen CIMC Tianda Airport Support Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen CIMC Tianda Airport Support Ltd filed Critical Shenzhen CIMC Tianda Airport Support Ltd
Priority to CN201910482725.1A priority Critical patent/CN112034831B/zh
Priority to US17/616,358 priority patent/US20220324588A1/en
Priority to EP20817892.1A priority patent/EP3980336A4/en
Priority to PCT/CN2020/094432 priority patent/WO2020244591A1/en
Publication of CN112034831A publication Critical patent/CN112034831A/zh
Application granted granted Critical
Publication of CN112034831B publication Critical patent/CN112034831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/30Ground or aircraft-carrier-deck installations for embarking or disembarking passengers
    • B64F1/305Bridges extending between terminal building and aircraft, e.g. telescopic, vertically adjustable
    • B64F1/3055Bridges extending between terminal building and aircraft, e.g. telescopic, vertically adjustable with hinged head interface between aircraft and passenger bridge
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/002Taxiing aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/30Ground or aircraft-carrier-deck installations for embarking or disembarking passengers
    • B64F1/305Bridges extending between terminal building and aircraft, e.g. telescopic, vertically adjustable
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0202Control of position or course in two dimensions specially adapted to aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision

Abstract

本发明公开一种登机桥接靠飞机的方法及电子设备以及存储介质,该方法包括:规划出从登机桥在停泊位置时接机口所处位置到距离舱门1~2米的预靠位置的路径,驱动登机桥使所述接机口沿所述路径向所述预靠位置移动直至移动到与所述预靠位置相距在2米以内的位置;对飞机进行飞机图像采集,根据采集到的飞机图像获得舱门的空间位置,根据所述空间位置移动登机桥以使得接机口接靠舱门。通过跟踪路径快速地接机口自动移动到舱门附近,靠近舱门后再通过视觉定位系统来对舱门进行定位,能获得准确的舱门所在空间位置,从而能精确地将接机口靠接到舱门。

Description

登机桥接靠飞机的方法及电子设备以及存储介质
技术领域
本发明总体来说涉及一种登机桥技术,具体而言,涉及一种登机桥接靠飞机的方法及电子设备以及存储介质。
背景技术
登机桥作为与飞机接泊的重要地面设备,目前均采用人工进行接泊和撤回。然而,登机桥操作员已经被定义为特殊工种,一位操作员需要接受大约3个月的系统培训并通过半年以上的试用考核才能够被批准上岗,并且还需要师傅带徒弟的方式不断积累经验提高技术水平,对机场而言,登机桥操作人员短缺是一个较突出的问题;同时由于操作人员的离职换岗等因素影响,更加造成了机场登机桥设备运营的困境。
另外,登机桥操作工作专业难度较高,即使是经过严格培训和充分实践的操作员,在每次服务飞机的过程中,均需要以专心、谨慎的态度,全身心投入注意力,工作压力不言而喻。往往在实际工作中操作员容易受环境或突发情况影响,遗漏或错误的进行相关的操作步骤,导致出现登机桥碰撞飞机甚至损坏飞机的事故。另外,由于操作员的不正确操作,还会造成站坪其他人员及设备受到损伤的事故。以上这些都是在实际工作中发生过的。
随着技术的发展与进步,需要提高登机桥与飞机接泊的智能化水平,降低人为因素影响,提高接泊效率。
在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
在发明内容部分中引入了一系列简化形式的概念,这将在具体实施方式部分中进一步详细说明。本发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征,更不意味着试图确定所要求保护的技术方案的保护范围。
本发明的一个主要目的在于克服上述现有技术的至少一种缺陷,提供一种登机桥接靠飞机的方法,其包括:
规划出从登机桥在停泊位置时接机口所处位置到距离舱门1~2米的预靠位置的路径,驱动登机桥使所述接机口沿所述路径向所述预靠位置移动直至移动到与所述预靠位置相距在2米以内的位置;
对飞机进行飞机图像采集,根据采集到的飞机图像获得舱门的空间位置,根据所述空间位置移动登机桥以使得接机口接靠舱门。
根据本发明的一个示意性实施例,对飞机进行飞机图像采集,根据采集到的飞机图像获得舱门的空间位置,根据所述空间位置移动登机桥以使得接机口接靠舱门,包括:
在接机口从预靠位置附近2米范围内移动到接靠舱门的过程中,实时采集飞机图像,并根据采集的飞机图像来实时更新舱门的空间位置;
将最新获得的舱门的空间位置作为接机口的接靠目的地来移动登机桥,直至接机口与舱门相接靠。
根据本发明的一个示意性实施例,在接机口从预靠位置附近2米范围内移动到接靠舱门的过程中,实时采集飞机图像,并根据采集的飞机图像来实时更新舱门的空间位置,包括:
采集飞机图像;
根据舱门特征,识别所述飞机图像中的舱门感兴趣区域;
根据舱门底部特征和所述舱门感兴趣区域来获得舱门门槛的空间位置。
根据本发明的一个示意性实施例,根据舱门底部特征和所述舱门感兴趣区域来获得舱门门槛的空间位置,包括:
根据舱门底部特征在所述舱门感兴趣区域中识别出舱门门框;
根据舱门门框在飞机图像中的位置,来获得舱门门框的空间位置。
根据本发明的一个示意性实施例,根据舱门底部特征在所述舱门感兴趣区域中识别出舱门门框,包括:
在舱门感兴趣区域中识别出舱门门槛,并标记舱门门槛顶部中心点作为识别点;
在该识别点两侧的图像中搜索门缝线条;
获取门缝线条中水平线和竖直线的交点,作为舱门门槛的端点。
根据本发明的一个示意性实施例,所述方法还包括:
根据舱门门槛在飞机图像中的位置获得包含舱门门槛的舱门底部区域,根据舱门底部区域建立舱门底部模型;
重新采集飞机图像;
通过对舱门底部模型进行匹配,在新采集到的飞机图像中搜索出新采集到的飞机图像中的底部感兴趣区域;
根据新采集到的飞机图像中的底部感兴趣区域,更新飞机舱门门槛的空间位置。
根据本发明的一个示意性实施例,所述方法还包括对舱门底部模型进行匹配之后的步骤:
计算舱门底部模型与新获得的底部感兴趣区域之间的匹配程度,若匹配程度小于预设阈值则根据新获得的底部感兴趣区域来重新建立舱门底部模型。
根据本发明的一个示意性实施例,根据舱门特征,识别所述飞机图像中的舱门感兴趣区域,包括:
对飞机图像进行边缘检测,得到多条边缘线条;
提取多条边缘线条中沿竖直方向延伸的竖直线条,计算出每条竖直线条的两个端点的空间位置;
根据每条竖直线条的两个端点的空间位置计算每条竖直线条的长度以及竖直线条中每两条之间的间距;
当多条竖直线条中两条竖直线条的长度和舱门的长度相匹配,并且所述两条竖直线条的间距和舱门的宽度相匹配,以及竖直线条的长度与两条竖直线条的间距的比例与舱门的长度和宽度比相匹配时,将飞机图像中这两条竖直线条之间的区域划分为舱门感兴趣区域。
根据本发明的一个示意性实施例,规划出从登机桥在停泊位置时接机口所处位置到距离舱门1~2米的预靠位置的路径,驱动登机桥使所述接机口沿所述路径向所述预靠位置移动直至移动到与所述预靠位置相距在2米以内的位置,包括:
获取预设的机翼防撞线;
获取预靠位置和登机桥在停泊位置时接机口的所在位置,生成连接这两个位置的路径;
对接机口沿所述路径移动到预靠位置的过程进行模拟,若模拟时机翼防撞线与登机桥的外轮廓之间形成干涉则至少将发动机前方的部分路径向远离发动机的方向移动,然后再次进行该模拟直至机翼防撞线与登机桥的外轮廓之间不再形成干涉;
驱动登机桥使得接机口沿该路径向预靠位置移动,直至移动到与所述预靠位置相距在2米以内的位置。
根据本发明的一个示意性实施例,在调整所述路径时所述路径上增加第一拐点,
所述第一拐点位于最靠近舱门的发动机的前方且距离该发动机以及安装该发动机的机翼至少1.5米。
根据本发明的一个示意性实施例,在调整所述路径时所述路径上增加第二拐点,
所述第二拐点在与舱门同一侧的且最远离舱门的发动机的前方且距离该发动机至少1.5米。
根据本发明的一个示意性实施例,在调整所述路径时所述路径上增加第三拐点,
所述第三拐点位于机翼末端的前方且距离机翼至少1.5米。
根据本发明的一个示意性实施例,所述机翼防撞线包括从机翼末端的前方延伸到最靠近舱门的发动机的前方的第一线段,以及从第一线段靠近舱门的一端延伸到舱门背离机头一侧的第二线段。
根据本发明的一个示意性实施例,还包括以下步骤:建立相对于地面固定的第一坐标系以及相对于飞机固定的第二坐标系;
其中,地面标识、接机口的位置在第一坐标系中的坐标已知,地面标识、舱门和防撞特征点在第二坐标系中的坐标已知;
获得预靠位置的过程包括根据地面标识的在第一、二坐标系中的坐标以及舱门在第二坐标系中的坐标来计算出舱门在第一坐标系中的坐标,根据舱门的在第一坐标系中的坐标计算出预靠点的坐标;
获得机翼防撞线的过程包括根据地面标识的在第一、二坐标系中的坐标以及防撞特征点在第二坐标系中的坐标来计算出防撞特征点在第一坐标系中的坐标,将防撞特征点连接成机翼防撞线;
在第一坐标系中生成所述路径;
其中,采用多个标识特征点表征地面标识,采用接机口特征点表征接机口,采用舱门特征点表征舱门,采用预靠点来表征预靠位置。
根据本发明的一个示意性实施例,所述地面标识的标识特征点为两条停机线的中心线分别与引导线的中心线相交的交点。
根据本发明的一个示意性实施例,所述第一坐标系和所述第二坐标系均为直角坐标系;
其中,所述第一坐标系的Z轴垂直于地面,且其原点在地面上;所述第二坐标系的原点在其中一个标识特征点上,所述第二坐标系的x轴垂直于所述引导线,y轴平行于所述引导线,z轴垂直于地面。
本发明还提出了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上所述的方法。
本发明还提出了一种电子设备,其包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行如上所述的方法。
由上述技术方案可知,本发明的登机桥接靠飞机的方法的优点和积极效果在于:
通过跟踪路径快速地接机口自动移动到舱门附近,靠近舱门后再通过视觉定位系统来对舱门进行定位,能获得准确的舱门所在空间位置,从而能精确地将接机口靠接到舱门。
附图说明
通过结合附图考虑以下对本发明的优选实施例的详细说明,本发明的各种目标、特征和优点将变得更加显而易见。附图仅为本发明的示范性图解,并非一定是按比例绘制。在附图中,同样的附图标记始终表示相同或类似的部件。其中:
图1为本发明的一个实施例中的登机桥的俯视示意图;
图2为本发明的一个实施例中的登机桥接靠飞机的方法的流程图;
图3为本发明的一个实施例中的登机桥到达预靠位置的流程图;
图4为本发明的一个实施例中的飞机停在预定的泊位俯视示意图;
图5为本发明的一个实施例中的机翼防撞线的俯视示意图;
图6为本发明的一个实施例中的飞机的局部示意图;
图7为本发明的一个实施例中的路径的俯视示意图;
图8为本发明的一个实施例中的登机桥从预靠位置靠接飞机的流程图;
图9为本发明的一个实施例中的从飞机图像中获得舱门感兴趣区域的流程图;
图10为本发明的一个实施例中的识别飞机图像中的舱门感兴趣区域的流程图;
图11为本发明的一个实施例中的一种飞机图像中提取线条的示意图;
图12为本发明的一个实施例中的一种飞机图像中提取竖向线条的示意图;
图13为本公开示例性实施方式提供的一种多个封闭区域示意图;
图14为本公开示例性实施方式提供的一种二次贝塞尔曲线的示意图;
图15为本公开示例性实施方式提供的一种门缝的示意图;
图16为本发明的一个实施例中的一种舱门底部模型示意图;
图17为本发明的一个实施例中的一种飞机图像预处理流程图;
图18为本发明的一个实施例中的一种飞机图像亮度调节流程图;
图19为本发明的一个实施例中的一种电子设备的示意图;
图20为本发明的一个实施例中的一种计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的实施方式;相反,提供这些实施方式使得本发明将全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构,因而将省略它们的详细描述。
参照图1,登机桥100包括支撑立柱、旋转平台101、伸缩通道102、接机口103、升降机构、行走机构、多个摄像机以及控制单元。旋转平台101可以是安装在候机楼上,也可以是安装在连通候机楼的廊道上。支撑立柱设置在旋转平台101的底部,用于支撑起旋转平台101。伸缩通道102为可伸缩的通道,伸缩通道102通常为直条形。伸缩通道102的一端安装在旋转平台101上,伸缩通道102通过旋转平台101与候机楼之间形成转动连接。接机口103安装在伸缩通道102的另一端上。接机口103可以相对于伸缩通道102转动。行走机构设置在伸缩通道102的下方,升降机构设置在行走机构与伸缩通道102之间,升降机构的两端分别连接行走机构和伸缩通道102。升降机构支撑起伸缩通道102,升降机构能驱动伸缩通道102上下摆动以升高或降低接机口103。升降机构可以是液压升降台。行走机构设置有车轮以及用于驱动车轮滚动的动力装置。行走机构能在地面上行走从而带动伸缩通道102在水平方向伸缩,从而带动接机口103在水平方向上移动。多个摄像机可以是安装在接机口103上,摄像机之间相互分开。控制单元用于控制登机桥100的运行。控制单元可以是可编程逻辑控制器,也可以是计算机。
参照图2,图2显示了一种登机桥接靠飞机的方法。登机桥采用该方法自动控制能实现自动靠接飞机。该方法包括以下步骤:
步骤S1:规划出登机桥的接机口从登机桥的停泊位置到距离舱门1~2米的预靠位置的路径,驱动登机桥使接机口沿路径向预靠位置移动直至移动到与该预靠位置相距在2米以内的位置;
预靠位置位于舱门附近,该预靠位置在舱门的前方1~2米处。先为接机口规划出从登机桥停泊时的位置到距离该预靠位置的路径,然后自动跟踪该路径行驶使得接机口沿该路径到达预靠位置附近2米范围内。
步骤S2:对飞机进行飞机图像采集,根据采集到的飞机图像获得舱门的空间位置,根据该空间位置移动登机桥以使得接机口接靠舱门。
接机口到达预靠位置附近2米范围内之后,可以通过多个摄像机朝向飞机的舱门方向采集飞机图像。采集到飞机图像后,通过对飞机图像进行分析可以获得舱门准确的空间位置。控制登机桥移动以使得该接机口向舱门移动,直至接机口接靠飞机舱门。
这样,通过跟踪路径快速地接机口自动移动到舱门附近,靠近舱门后再通过视觉定位系统来对舱门进行定位,能获得准确的舱门所在空间位置,从而能精确地将接机口靠接到舱门。
参照图3,步骤S1包括步骤S100~S160;
步骤S100:建立相对于地面固定的第一坐标系和第二坐标系,获得分别在第一、二坐标系中的地面标识参数。
参照图3,机坪的地面上设置有地面标识200。地面标识200用于引导飞机300停靠在预定的泊位。地面标识200可以是多条停机线202与引导线201相交形成的图案,停机线202均与引导线201相互垂直。引导线201用于引导飞机300沿预设的线路在机坪上行走。停机线202用于指示飞机300的停靠位置。飞机300的鼻轮203位于指定停机线202与引导线201的交点上,且飞机300的纵轴大致平行于引导线201时飞机300则已停靠在预定的泊位上,泊位的精度偏差范围在机场允许的误差范围内时,为飞机泊位合格。该允许的误差范围为:鼻轮203的轴中心线与停机线202的中心线偏差绝对值小于0.5米,飞机鼻轮203轴的中点与飞机引导线201的中心线偏差绝对值小于0.3米,飞机300的纵轴与飞机引导线201的中心线的夹角小于2度。
第一坐标系和第二坐标系可以是直角坐标系,也可以是球坐标系。在本实施例中,第一坐标系和第二坐标系均为直角坐标系。
第一坐标系包括X轴、Y轴和Z轴,X轴和Y轴可以平行于地面,Z轴垂直于地面,其正方向朝上。Z轴可以与旋转平台101的轴线同轴。原点可以设置在地面上。
在建立第一坐标系以后,可以通过直接测量的方法来获得地面标识200在第一坐标中的地面标识参数。在本实施例中,地面标识200通过两个标识特征点来表征。两个标识特征点分别是第一标识特征点203和第二标识特征点204,第一标识特征点203为第一根停机线202的中心线与引导线201的中心线的交点,第二标识特征点204为最后一根停机线202的中心线与引导线201的中心线的交点。地面标识参数包括第一标识特征点203和第二标识特征点204在第一坐标系中的坐标。
地面标识参数还包括第一标识特征点203和第二标识特征点204在第二坐标系中的坐标。第二坐标系包括x轴、y轴和z轴。x轴和y轴均平行于地面。z轴垂直于地面,且正方向垂直于地面。第二坐标系的x轴可以垂直于引导线201,第二坐标的y轴可以平行于引导线201。第二坐标系的原点设置在引导线201与停机线202的第一标识特征点203处,第二标识特征点204过y轴。通过测量第一标识特征点203与第二标识特征点204之间的距离即可获得第二标识特征点204的坐标。
由于获得了在第一、二坐标系中的地面标识参数,这就为任意一点在第一坐标系与第二坐标系之间进行坐标转换提供了条件。
步骤S110:获取建立在第二坐标系中的飞机模型参数。
飞机模型预先建立在第二坐标系中,通过第二坐标系中的坐标来表示。不同机型的飞机300可以建立不同类型的飞机模型。在建立飞机模型时以地面标识200为参照得到模拟飞机300停泊在预定的泊位时的飞机模型参数。这样,地面标识200与飞机模型的相对位置关系确定下来。
参照图5、6,飞机模型参数中包括舱门特征点6和多个防撞特征点502、503、504在第二坐标系中的坐标。舱门特征点6用来表征舱门302的位置。舱门特征点6可以为舱门302上或者舱门302附近的一个点。在本实施例中,舱门特征点6在舱门302转轴的一侧的门缝下方15厘米处。
机翼防撞线500是一虚拟的线条,设置在机翼303与登机桥100之间。机翼防撞线500是一条在系统中预设的线,根据不同的飞机机型可以设置与该机翼303的外形相匹配的机翼防撞线500。机翼防撞线500用于对登机桥100限位以避免登机桥100与机翼303相撞。登机桥100的外轮廓触碰到机翼防撞线500则表示登机桥100有碰撞机翼303的风险。
多个防撞特征点502、503、504通过直线依次连接可以获得机翼防撞线500。多个防撞特征点502、503、504的坐标用于表征机翼防撞线500的位置和形状。在本实施例中,机翼防撞线500包括第一线段505和第二线段506。第一线段505从机翼303末端的前方位置延伸到最靠近舱门302的发动机304的前方,第二线段506从第一线段505靠近舱门302的一端延伸到舱门302远离离机头一侧。其中,第一线段505位于舱门302一侧的所有发动机304的前方。在本实施例中,防撞特征点有三个,第一个防撞特征点502位于机翼303末端的前方,第二个防撞特征点503位于最靠近舱门302的发动机304的前方,第三个防撞特征点504位于舱门302背离机头的一侧,依次连接着三个防撞特征点即可得到机翼防撞线500。机翼防撞线500的第一段505和第二段506优选为均与发动机304的外轮廓相切。
步骤S120:根据在第一、二坐标系中的地面标识参数,对飞机模型参数进行坐标转换,获得在第一坐标系中的飞机模型参数。
由于预先获得了地面标识200在第一坐标系和在第二坐标系中的参数,即第一标识特征点203在第一、二坐标系中的坐标以及第二标识特征点204在第一、二坐标系,以及第一坐标系的Z轴与第二坐标系的z轴相互平行,则可以对舱门特征点6和多个防撞特征点502、503、504在第二坐标系中的坐标进行坐标转换,获得舱门特征点6和多个防撞特征点502、503、504在第一坐标系中的坐标。这样就将飞机模型参数转换到第一坐标系中。
步骤S130:获得在第一坐标系中的接机口参数。
登机桥100在接机前停靠在安全区域内。可以通过对接机口103进行测量来获得接机口参数。接机口参数包括接机口特征点104在第一坐标系中的坐标。接机口特征点104可以是接机口103的保险杠的中点。接机口特征点104与舱门特征点6相互对应,当接机口特征点104与舱门特征点6相互靠近时,接机口103与舱门302对齐。
这样就将接机口103和飞机模型统一到了第一坐标系中。
步骤S140:参照图7,根据第一坐标系中的接机口参数和飞机模型参数,在第一坐标系中规划出连接预靠位置与处于停泊位置的登机桥的接机口103的路径7。
预靠位置采用一个预靠点5来表征。接机口特征点104到达预靠点5时,则表示接机口103到达预靠位置。规划路径7时可以按照最短路径原则来规划。路径7的一端连接在该接机口特征点104在登机桥处于停泊位置时的位置,路径7的另一端连接在该预靠点5。接机口特征点104沿着该路径7行进能到达预靠点5。
预靠点5与舱门特征点6之间的距离在1~2米的范围内,预靠点5与舱门特征点6之间的距离优选为1.5米。预靠点5与舱门特征点6之间的连线垂直于舱门。
当登机桥100的接机口103运行到与预靠点5之间的距离在2米之内时,登机桥100可以切换视觉定位系统来识别出舱门302并引导登机桥100的接机口103继续向舱门302靠近,这样接机口103与舱门302的对位更加精准。
步骤S150:对接机口103沿路径7移动到预靠位置的过程进行模拟,若模拟时机翼防撞线500与登机桥100的外轮廓之间形成干涉则至少将发动机304前方的部分路径7向远离发动机304的方向移动,然后再次进行该模拟直至机翼防撞线500与登机桥100的外轮廓之间不再形成干涉。
这样,最后一次形成的路径7即可以作为登机桥100的接机口103运行路径7,登机桥100的接机口103沿此路径7运行时登机桥100不会与机翼303相互碰撞。
步骤S150包括步骤S151~步骤S154。
步骤S151:在第一坐标系中建立登机桥100的外轮廓模型。
步骤S152:模拟接机口103沿路径7移动到舱门302的过程,判断该过程中登机桥100的外轮廓模型是否与机翼防撞线500相互干涉,若是则进入到步骤S153,否则进入到步骤S154;
步骤S153:将发动机304前方的部分路径7向远离发动机304的方向移动,进入到步骤S152。
由于发动机304突出于机翼303的前部,将发动机304前方的部分路径7向远离发动机304的方向移动,则可以进一步避免发动机304和机翼303的发动机304附近的部分与登机桥100相撞。
步骤S154:输出路径7。
优选地,在调整路径7时,在路径7上增加第一拐点4。第一拐点4位于最靠近舱门302的发动机304的前方且距离该发动机304至少1.5米。此时的路径7为由处于停泊位置的接机口特征点104、第一拐点4和预靠点5依次连接起来的线条。
增加第一拐点4后,登机桥100移动时其外轮廓与最靠近舱门302的发动机304之间的距离变大,能有效地避免登机桥100的外轮廓与该发动机304相撞。第一拐点4更优位于发动机304靠近舱门302一侧侧部的前方。
更优选地,在调整路径7时,在路径7上增加第二拐点3。第二拐点3在与舱门302同一侧的且最远离舱门302的发动机304的前方且距离该发动机304至少1.5米。此时的路径7为由处于停泊位置的接机口特征点104、第二拐点3、第一拐点4和预靠点5依次连接起来的线条。
增加第二拐点3后,由于第一拐点4和第二拐点3分别位于两个发动机304的前方,且这两个发动机304一个靠近舱门302、一个远离舱门302,登机桥100移动时其外轮廓与所有发动机304之间的距离变大,能有效地避免登机桥100的外轮廓与所有发动机304相撞。第二拐点3更优位于该发动机304远离舱门302一侧侧部的前方。
优选地,在调整路径7时,在路径7上增加第三拐点2。第三拐点2位于机翼303末端前方并距离机翼303至少1.5米。此时的路径7为由处于停泊位置的接机口特征点104、第三拐点2、第二拐点3、第一拐点4和预靠点5依次连接起来的线条。
增加第三拐点2后,由于第三拐点2分别位于机翼303末端的前方至少1.5米处。登机桥100移动时其外轮廓与机翼303末端距离变大,能有效地避免登机桥100的外轮廓与机翼303末端相撞。
优选地,路径7上还设置有预泊点1。通常需要为接机桥划定安全区,接机桥在安全区内活动而不会对飞机300或其他设备的运行造成干扰。预泊点1设置在安全区的边缘且靠近飞机300泊位的位置。此时的路径7为由处于停泊位置的接机口特征点104、预泊点1、第三拐点2、第二拐点3、第一拐点4和预靠点5依次连接起来的线条。
登机桥100的接机口103可以在飞机300到达泊位前预先从路径7的起点到达预泊点1,登机桥100在飞机300到达泊位后从预泊点1出发能更快地完成接机,提高靠接效率。
步骤S160:驱动登机桥100,使得接机口103沿路径7移动到预靠位置附近2米范围以内。
在该步骤中,登机桥100的行走机构和升降机构相互配合来移动接机口103,使得接机口103上的接机口特征点104能沿路径7移动。
在登机桥100移动的过程中实时计算出登机桥100的外轮廓与机翼防撞线500之间的最小距离,若该最小距离小于第一预设值且大于第二预设值则降低登机桥的移动速度,例如,将登机桥的运行速度降低到登机桥最大速度的10%。其中,第二预设值小于第一预设,第二预设值的取值范围可以是0.5~0.8m,第一预设值的取值范围可以是1~2m。若登机桥100的外轮廓与机翼防撞线500之间的最小距离在第二预设值以下,则登机桥停止运行并发送警报。
进一步地,参照图8,步骤S2包括步骤S21和步骤S22。
步骤S21:在接机口从预靠位置附近2米范围内移动到接靠舱门的过程中,实时采集飞机图像,并根据采集的飞机图像来实时更新舱门的空间位置。
步骤S22:将最新获得的舱门的空间位置作为接机口的接靠目的地来移动登机桥,直至接机口与舱门相接靠。
在接机口到达与预靠位置的距离小于2米的位置后,通过多个摄像机来实时采集飞机图像,此时,接机口距离舱门小于3.5米,多个摄像机对飞机进行拍摄时飞机图像中包含有清晰的舱门图案。对飞机图像进行分析能获取到舱门的空间位置,在接机口从预靠位置向舱门靠接的过程中,实时采集飞机图像并进行分析能实时获得舱门的空间位置。将实时获取到的空间位置作为接机口的靠接目的地时,在接机口从预靠位置向舱门靠接的过程中能不断获取到更精确的舱门的空间位置,并根据该空间位置调整登机桥的姿态和运动方向,这就能使得靠接更精准。
进一步地,参照图9,步骤S21包括:
步骤S211:采集飞机图像;
步骤S212:根据舱门特征,识别飞机图像中的舱门感兴趣区域(ROI,region ofinterest);
步骤S213:根据舱门底部特征和舱门感兴趣区域来获得舱门门槛的空间位置。
通过舱门特征,在飞机图像中识别舱门感兴趣区域,根据舱门底部特征在舱门感兴趣区域识别出飞机图像中的舱门门框。根据舱门门槛在飞机图像中的位置以及采集飞机图像的摄像机的空间位置能计算出舱门门槛的空间位置。通过机器视觉实现了舱门的识别,避免了识别舱门时需要在飞机上设置特殊标识,而导致的通用性差的问题。舱门的准确定位便于登机桥全自动接机。
在步骤S211中,获取飞机图像。
其中,可以通过成像系统获取目标飞机图像,成像系统可以包括成像仪器,比如多个摄像机和光源,图像采集装置,比如图像采集卡等。成像系统在指定应用场景下快速稳定的采集指定区域内的图像,比如可以获取飞机安装舱门一侧的图像。在获取飞机图像时,可以连续动态的拍摄飞机安装舱门一侧的图像,比如对飞机安装舱门的一侧进行摄像,也可以离散动态的获取飞机安装舱门一侧的图像,比如,间隔指定时间拍摄一次飞机图像,本公开实施例对此不做具体限定。
在步骤S212中,可以根据舱门特征,识别飞机图像中的舱门感兴趣区域。
其中,舱门特征可以是舱门的尺寸,比如舱门的形状、长度和高度等,舱门特征数据为预设数据。舱门的感兴趣区域可以是图像中和舱门区域匹配的区域,该区域可以是图像中舱门区域,或者是图像中在误差允许范围之内的区域。
进一步地,参照图10,步骤S212包括步骤S2121~S2124:
步骤S2121:对飞机图像进行边缘检测,得到多条边缘线条。
成像系统往往安装于登机桥,和登机桥共同运动,在开始识别时登机桥离目标飞机距离较远,成像系统获取的目标飞机图像包括整个舱门区域。通常舱门会设置不同的涂装,形成舱门轮廓,并且在舱门底部会设置不锈钢门槛,舱门和飞机机身存在门缝,上述特征的边缘会在图像中形成具有特定尺寸的线条。
基于上述特征可以对目标飞机图像进行边缘检测,比如通过canny算子或者Sobel算子等方法对飞机图像进行边缘检测,通过边缘检测及二值化得到如图11所示的包括舱门边缘线的多条线条。
在步骤S2122中,提取多条边缘线条中沿竖直方向延伸的竖直线条,计算出每条竖直线条的两个端点的空间位置。
在实际应用中,步骤S2121中得到的多条线条中,包括舱门线条也包括其他干扰线条,过多的线条不利于分析,为了便于分析可以提取竖直方向延伸的竖直线条。参照图12,通常在飞机图像中包括的主要是横向线条和竖向线条,因此提取竖向线条可以通过滤除横向线条而实现。滤除横向线条可以采用Sobel算子实现,当然在实际应用中提取竖直线条的方法也可以是其他方法本公开实施例并不以此为限。
可以通过多目视觉三角计算方法计算每条竖直线条的两个端点的空间位置。可以是建立与接机口相对固定的第三坐标系,计算出竖直线条的两个端点在第三坐标系统的坐标。
步骤S2123:根据每条竖直线条的两个端点的空间位置计算每条竖直线条的长度以及竖直线条中每两条之间的间距;
知道每条竖直线条的两个端点的空间位置则可以通过计算两个端点之间的距离来计算出每条竖直线条的长度,当然,为了提高计算效率,也可以通过先验知识来大致估算竖直线条的长度,而不需要准确计算出两个端点的空间位置。同时,由于竖直线条之间相互平行,还可以根据端点的空间位置计算出每根两根线竖直线条之间的间距。
步骤S2124:当多条竖直线条中两条竖直线条的长度和舱门的长度相匹配,并且所述两条竖直线条的间距和舱门的宽度相匹配时,将飞机图像中这两条竖直线条之间的区域划分为舱门感兴趣区域。
比较舱门沿竖直方向的长度和多条竖直线条的长度,以及比较舱门水平方向的宽度和多条竖直线条中任意两条之间的间距;
当多条和竖直线条中两条竖直线条的长度和舱门沿竖直方向的长度匹配,并且两条竖直线条的间距和舱门在水平方向上的宽度匹配,以及竖直线条的长度与两条竖直线条的间距的比例与舱门的长度和宽度比相匹配时,则将飞机图像中的这两条竖直线条之间的区域为舱门感兴趣区域。其中,长度匹配是指长度相同或者长度差值在一阈值范围内,比如间距偏差小于200毫米,高度偏差小于500毫米。
步骤S213:根据舱门底部特征和舱门感兴趣区域来获得舱门门槛的空间位置。步骤S213包括步骤S2131~步骤S2132。
步骤S2131:根据舱门底部特征,在所述舱门感兴趣区域中识别出舱门门框;
在舱门底部有更多的特征,包括舱门涂装标记,带拐角的门缝以及不锈钢的门槛等,可以在飞机图像中舱门感兴趣区域内识别上述特征,进而确定舱门门框在飞机图像中的位置。
步骤S2131包括步骤S2131a~S2131c,
步骤S2131a:在舱门感兴趣区域中识别出舱门门槛,并标记舱门门槛顶部中心点作为识别点;
步骤S2131b:在该识别点两侧的图像中搜索门缝线条;
步骤S2131c:获取门缝线条中水平线和竖直线的交点,作为舱门门槛端点。
在步骤S2131a中,在舱门感兴趣区域中识别舱门门槛可以通过检测边缘实现,在检测边缘之前,可以在舱门感兴趣区域内通过open-cv的mean-shift filter算法,消除部分噪声和一些小的没有必要的细节,然后通过canny算子进行边缘检测,边缘检测获得多个区域,比如,如图13所示的多个封闭的区域,在检测过程中可以对多个封闭的区域填充颜色,以便于区分各区域。当然也可以通过其他边缘检测算子检测边缘,本公开实施方式并不以此为限。
在检测到的多个封闭的区域内选择最下方的区域,并且该区域在舱门感兴趣区域内,并且满足一定的尺寸需求,比如该封闭区域的宽度不小于400像素点。此时该封闭区域即为门槛区域,该封闭区域的上边缘即为下门缝线,标记该上边缘的中心点作为识别点,在本公开实施例中所述的上方、下方、水平、竖直、上边缘和下边缘等均是指飞机停在机场的状态下的方位。
在步骤S2131b,在所述识别点的两侧的图像中搜索门缝线条。
在门缝搜索过程中,可以沿舱门门槛区域上边缘线识别点的两侧沿对比度最深的线搜索,计算边缘检测获得的边缘上的每一点的最强对比度差异,选取对比度和方向符合门缝特征的点。
在门缝搜索过程中,可以根据模拟二次贝塞尔曲线的延伸方向来确定遍历待搜索区域的点的顺序。二次贝塞尔曲线可以用方向forward和偏移量side两个参数进行描述,其中forward和side阈值可以在实际应用中根据实际情况进行选取。
示例的,forward∈[0,5],side∈[0,5],二次贝塞尔曲线的表达式如下:
B(t)=po+tforward+t2side
其中,t为二次贝塞尔曲线的参数t∈(0,1),po为一个检测点D0,另一个检测点D2为po+forward+side,控制点D1为po+0.5side。
如图14所示,将检测到的边缘线条分为多个D0到D2的线段,构造如上述的二次贝塞尔曲线,在边缘线中搜索符合门缝特征的点,该类点被选取为符合门缝要求的点。
在步骤S2131c中,可以获取门缝线条中水平线和竖直线的交点,作为舱门门槛端点。
通过步骤S2131b可以获得如图15所示的门缝,门缝包括水平线和竖直线可以通过线性拟合的方式,求取水平线和竖直线之间的交点,两条竖直线分别和水平线具有一个交点,将该两个交点S1和S2作为舱门门槛的端点,该两个端点可以作为登机桥自动对接的识别点。
步骤S2132:根据舱门门框在飞机图像中的位置,来获得舱门门框的空间位置;
可以通过多目视觉三角方法计算飞机舱门门槛两个端点的空间位置,也即是端点在第三坐标系中的三维坐标。多目视觉三角方法是基于视差,由三角法原理进行三维信息的获取,即由两个或多个摄像机的图像平面和被测物体之间构成一个三角形。已知两个或多个摄像机在第三坐标系中的位置,便可以获得摄像机公共视场内物体的三维尺寸及空间物体特征点在第三坐标系中的三维坐标。在步骤S22中,在将接机口靠接舱门时,将接机口的保险杠的中点对准上述两个端点下方15厘米处,接机口能完全笼罩飞机舱门区域,即完成了接机口与舱门的靠接。
进一步地,由于登机桥和飞机舱门对接是一个动态的过程,在飞机舱门识别过程中,可以动态识别,并不断修正保证飞机舱门识别的准确性,所述飞机舱门识别方法还可以包括:
步骤S214:根据舱门门槛在飞机图像中的位置获得包含舱门门槛的舱门底部区域,根据舱门底部区域建立舱门底部模型;
舱门底部区域为飞机图像中包含舱门门槛的区域,该区域略大于舱门门槛在飞机图像中所覆盖的范围。由于舱门底部的边缘特性非常明显,因此舱门底部模型的建立采用边缘强度和方向来建立,需要通过自学习的方式来实现。舱门底部模型可以如图16所示。
在建立飞机舱门底部模型时,可以通过双目视觉中的两个相机获取的图像的门槛附近区域进行立体匹配,采用open-cv的StereoSGBM算法实现。通过计算门槛及门缝线条上的多个点的空间坐标形成舱门底部模型,建模完成的舱门底部模型为一平面,该平面中包括多个已知的点的信息,比如其在平面内的坐标,以及图像上的对比度和边缘方向等,在进行立体匹配时,获得的多个点的空间坐标中,位于舱门平面的点保留作为模型中有效的点,不在舱门平面中的点舍弃。通过多个有效点建立飞机舱门底部模型。其中,和舱门平面距离小于等于距离阈值的点被认为位于舱门平面,和舱门平面距离大于距离阈值的点被认为位于舱门平面之外。比如,和舱门距离小于等于50毫米的点保留,和舱门距离大于50毫米的点舍弃。
步骤S215:重新采集飞机图像;
在登机桥接近舱门的动态过程中,动态获取目标飞机图像,比如可以对每一帧获取的飞机图像进行识别,也即是在每一帧更新一次飞机图像。当然在实际应用中也可以按照其他规则获取目标飞机图像,比如每隔一秒或者多秒获取一次目标飞机图像,本公开实施例对此不做具体限定。
步骤S216:通过对舱门底部模型进行匹配,在新采集到的飞机图像中搜索出新采集到的飞机图像中的底部感兴趣区域;
由于飞机图片是一帧帧快速采集的,在对接过程中相邻两次获得的图片的内容变化不会太大,可以根据上一次得到底部感兴趣区域在飞机图片中的位置来搜索本次获得的飞机图片中的底部感兴趣区域,这样能大大减少计算量,提高获取本次底部感兴趣区域的速度。同时,采用舱门底部模型匹配的方式进行搜索,相比与第一次进行舱门底部特征匹配的方式进行搜索的方式能进一步减少计算量。在更新过程中,由于登机桥和飞机的相对位置在发生变化,则采集到的图像中,飞机图像的图像尺寸会发生变化,在获取新采集飞机图像的底部感兴趣区域时,可以对飞机图像进行放缩。比如,飞机和登机桥靠近时,可以对飞机图像进行缩小,飞机和登机桥远离时,可以对飞机图像进行放大。放大或缩小的倍数可以通过飞机和登机桥之间距离的变化量计算,比如根据其二者之间的相对速度,以及图像更新的时间间隔等计算,或者可以采用图像金字塔,遍历多个缩放尺度,比如0.8到1.2倍。另外,也可以通过将新采集的一张飞机图片解析成分辨率从小到大排列的多张图片,通过依次将这些图片与舱门底部模型相匹配来选出与舱门底部模型匹配程度最高的一张图片来作为当前的飞机图像。
在首次获取到底部感兴趣区域和舱门底部模型之后,在下一帧图像中的当前舱门区域附近遍历搜索底部感兴趣区域,如果没有找到底部感兴趣区域,就扩大搜索范围,降低匹配度要求,如果连续3帧仍然没有找到底部感兴趣区域,就报告跟踪失败然后结束跟踪定位任务,结束后可重新寻找舱门信息。
步骤S217,根据新采集到的飞机图像中的底部感兴趣区域,更新飞机舱门门槛的空间位置。
在该步骤中,利用上一次生成的舱门底部模型,在新采集到的飞机图像中的底部感兴趣区域中搜索舱门门槛端点;
计算所述舱门门槛端点的空间位置。
其中,对于同一架飞机,其舱门门槛端点的位置在飞机上是不变的,也即是其在飞机图像上也是不变的,可以在底部感兴趣区域中根据舱门底部模型搜索舱门门槛端点。在底部感兴趣区域中搜索到舱门门槛端点后,计算该两个舱门门槛端点的空间位置。
通过舱门底部模型更新舱门门槛端点的空间位置,能够减少在登机桥持续靠近飞机过程中更新舱门门槛端点的空间位置的计算量,提高响应速度。
需要说明的是,在登机桥靠近舱门的过程中,更新目标飞机图像和更新舱门门槛端点空间位置是持续的,比如,可以是间隔指定时间更新一次,比如0.2秒、0.5秒、1秒、3秒、4秒、10秒等。
步骤S218:若接收到停止定位指令则停止获取舱门的空间位置,否则进入到步骤S215。
判断是否接收到停止识别指令;当接收到停止识别指令时,停止舱门识别;当没有接收到停止识别指令时,更新飞机图像,直至接收到停止识别指令。其中,该停止识别指令用于控制停止识别舱门,比如,在登机桥已完成和舱门的对接后,通过停止识别指令停止舱门识别。
在登机桥动态靠近舱门的过程中,建立舱门底部模型后,需要对舱门进行跟踪定位,对每一帧图像中对舱门底部位置进行更新,由于在实际中舱门的位置在图像中的变化是缓慢且连续的,在上一帧图像的位置附近搜索舱门底部特征,不仅效率高而且精度也高。
进一步地,该方法还包括:在步骤S216之后,步骤S218之前的步骤S219,
步骤S219:计算舱门底部模型与新获得的底部感兴趣区域之间的匹配程度,若匹配程度小于预设阈值则根据新获得的底部感兴趣区域来重新建立舱门底部模型。
比较新获得的底部感兴趣区域和舱门底部模型的匹配度。当新获得的底部感兴趣区域和舱门底部模型的匹配度小于预设阈值时,根据新获得的底部感兴趣区域更新舱门底部模型。比如,如果匹配度小于0.9,就重新学习模板并更新模型。
进一步的,为了保证在进行图像识别时,飞机图像的清晰度,在步骤S212之前,还对所述飞机图像进行降噪处理。
对所述飞机图像进行降噪处理,包括:调节飞机图像的亮度;通过飞机图像的信噪比,判断所述飞机图像是否具有噪声;若飞机图像是否具有噪声,滤除所述噪声。
首先,如图17所示,对采集到的原始飞机图像进行亮度评估,调节飞机图像的亮度,使飞机图像的亮度达到最佳,然后再评估飞机图像的成像环境,对高对比度(如光线直射、反光、部分逆光等)、雨雪天气的飞机图像及雾霾天气的飞机图像进行甄别和处理,最终从预处理模块输出高质量的飞机图像,以提高后续步骤中对舱门的识别和定位的速度、可靠性和精度。
如图18所示,亮度调节的步骤如下:首先评价飞机图像亮度是否合格,如过亮,优先调节光源亮度,如果光源已关闭再调节(减少)成像设备的曝光时间,每次按照一定的细分量调节,直至飞机图像亮度符合要求,调节结束输出亮度符合要求的飞机图像,如果光源已关闭且曝光时间已调节至最短但飞机图像亮度仍然过亮,则输出过亮提示,结束调节。如过暗,亦优先调节光源亮度,如果光源已调节至最亮再调节(增加)成像设备的曝光时间,每次按照一定的细分量调节,直至飞机图像亮度符合要求,调节结束输出亮度符合要求的飞机图像,如果光源已调至最亮且曝光时间已调节至最长但飞机图像亮度仍然过暗,则输出过暗提示,结束调节。
亮度调节完毕之后,将对飞机图像进行进一步的处理,提高系统对全天候作业的适应性。首先,检测飞机图像的对比度,并对飞机图像进行优化和增强,以调高系统对于强烈阴影,局部照明等情况的处理能力。对比度检测的方法采用直方图分析,并对亮度分布异常的飞机图像进行直方图均衡处理,得到优化后的飞机图像,强光和逆光部分的细节都能得到较好的表现。雨雪在飞机图像中可认为是校验噪声,通过信噪比可以识别出是否属于雨雪飞机图像,然后通过中值滤波即可滤除大部分的雨雪引入的噪声干扰。雾和霾对飞机图像的影响是会降低飞机图像的清晰度,锐度,通过引导滤波可以得到很好的恢复。
经过预处理之后,飞机图像已经能够表现舱门信息了,接下来就寻找舱门。开始的时候,系统并不知道舱门在飞机图像中的位置,所以要先从飞机图像中把舱门识别出来,才可以进行空间位置检测。一旦检测并确认舱门后,定位就可以只关注舱门特征信息最丰富且位置信息最关键的舱门底部的两个角落,并持续对该部分的飞机图像位置进行跟踪,缩小飞机图像处理的区域,提高速度和精度。
需要说明的是,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
在本发明的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图19来描述根据本发明的这种实施方式的电子设备800。图19显示的电子设备800仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图16所示,电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于:上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元810执行,使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
存储单元820可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202,还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204,这样的程序模块8205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备600交互的设备通信,和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且,电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器860通过总线830与电子设备800的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品900,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。

Claims (16)

1.一种登机桥接靠飞机的方法,其特征在于,包括:
规划出从登机桥在停泊位置时接机口所处位置到距离舱门1~2米的预靠位置的路径,驱动登机桥使所述接机口沿所述路径向所述预靠位置移动直至移动到与所述预靠位置相距在2米以内的位置;
对飞机进行飞机图像采集,根据采集到的飞机图像获得舱门的空间位置,根据所述空间位置移动登机桥以使得接机口接靠舱门;
其中,对飞机进行飞机图像采集,根据采集到的飞机图像获得舱门的空间位置,根据所述空间位置移动登机桥以使得接机口接靠舱门,包括:
在接机口从预靠位置附近2米范围内移动到接靠舱门的过程中,实时采集飞机图像,并根据采集的飞机图像来实时更新舱门的空间位置;
将最新获得的舱门的空间位置作为接机口的接靠目的地来移动登机桥,直至接机口与舱门相接靠;
其中,在接机口从预靠位置附近2米范围内移动到接靠舱门的过程中,实时采集飞机图像,并根据采集的飞机图像来实时更新舱门的空间位置,包括:
采集飞机图像;
根据舱门特征,识别所述飞机图像中的舱门感兴趣区域;
根据舱门底部特征和所述舱门感兴趣区域来获得舱门门槛的空间位置。
2.根据权利要求1所述的方法,其特征在于,根据舱门底部特征和所述舱门感兴趣区域来获得舱门门槛的空间位置,包括:
根据舱门底部特征在所述舱门感兴趣区域中识别出舱门门框;
根据舱门门框在飞机图像中的位置,来获得舱门门框的空间位置。
3.根据权利要求2所述的方法,其特征在于,根据舱门底部特征在所述舱门感兴趣区域中识别出舱门门框,包括:
在舱门感兴趣区域中识别出舱门门槛,并标记舱门门槛顶部中心点作为识别点;
在该识别点两侧的图像中搜索门缝线条;
获取门缝线条中水平线和竖直线的交点,作为舱门门槛的端点。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
根据舱门门槛在飞机图像中的位置获得包含舱门门槛的舱门底部区域,根据舱门底部区域建立舱门底部模型;
重新采集飞机图像;
通过对舱门底部模型进行匹配,在新采集到的飞机图像中搜索出新采集到的飞机图像中的底部感兴趣区域;
根据新采集到的飞机图像中的底部感兴趣区域,更新飞机舱门门槛的空间位置。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括对舱门底部模型进行匹配之后的步骤:
计算舱门底部模型与新获得的底部感兴趣区域之间的匹配程度,若匹配程度小于预设阈值则根据新获得的底部感兴趣区域来重新建立舱门底部模型。
6.根据权利要求1所述的方法,其特征在于,根据舱门特征,识别所述飞机图像中的舱门感兴趣区域,包括:
对飞机图像进行边缘检测,得到多条边缘线条;
提取多条边缘线条中沿竖直方向延伸的竖直线条,计算出每条竖直线条的两个端点的空间位置;
根据每条竖直线条的两个端点的空间位置计算每条竖直线条的长度以及竖直线条中每两条之间的间距;
当多条竖直线条中两条竖直线条的长度和舱门的长度相匹配,并且所述两条竖直线条的间距和舱门的宽度相匹配,以及竖直线条的长度与两条竖直线条的间距的比例与舱门的长度和宽度比相匹配时,将飞机图像中这两条竖直线条之间的区域划分为舱门感兴趣区域。
7.根据权利要求1所述的方法,其特征在于,规划出从登机桥在停泊位置时接机口所处位置到距离舱门1~2米的预靠位置的路径,驱动登机桥使所述接机口沿所述路径向所述预靠位置移动直至移动到与所述预靠位置相距在2米以内的位置,包括:
获取预设的机翼防撞线;
获取预靠位置和登机桥在停泊位置时接机口的所在位置,生成连接这两个位置的路径;
对接机口沿所述路径移动到预靠位置的过程进行模拟,若模拟时机翼防撞线与登机桥的外轮廓之间形成干涉则至少将发动机前方的部分路径向远离发动机的方向移动,然后再次进行该模拟直至机翼防撞线与登机桥的外轮廓之间不再形成干涉;
驱动登机桥使得接机口沿该路径向预靠位置移动,直至移动到与所述预靠位置相距在2米以内的位置。
8.根据权利要求7所述的方法,其特征在于,在调整所述路径时所述路径上增加第一拐点,
所述第一拐点位于最靠近舱门的发动机的前方且距离该发动机以及安装该发动机的机翼至少1.5米。
9.根据权利要求8所述的方法,其特征在于,在调整所述路径时所述路径上增加第二拐点,
所述第二拐点在与舱门同一侧的且最远离舱门的发动机的前方且距离该发动机至少1.5米。
10.根据权利要求9所述的方法,其特征在于,在调整所述路径时所述路径上增加第三拐点,
所述第三拐点位于机翼末端的前方且距离机翼至少1.5米。
11.根据权利要求7所述的方法,其特征在于,所述机翼防撞线包括从机翼末端的前方延伸到最靠近舱门的发动机的前方的第一线段,以及从第一线段靠近舱门的一端延伸到舱门背离机头一侧的第二线段。
12.根据权利要求7所述的方法,其特征在于,还包括以下步骤:建立相对于地面固定的第一坐标系以及相对于飞机固定的第二坐标系;
其中,地面标识、接机口的位置在第一坐标系中的坐标已知,地面标识、舱门和防撞特征点在第二坐标系中的坐标已知;
获得预靠位置的过程包括根据地面标识的在第一、二坐标系中的坐标以及舱门在第二坐标系中的坐标来计算出舱门在第一坐标系中的坐标,根据舱门的在第一坐标系中的坐标计算出预靠点的坐标;
获得机翼防撞线的过程包括根据地面标识的在第一、二坐标系中的坐标以及防撞特征点在第二坐标系中的坐标来计算出防撞特征点在第一坐标系中的坐标,将防撞特征点连接成机翼防撞线;
在第一坐标系中生成所述路径;
其中,采用多个标识特征点表征地面标识,采用接机口特征点表征接机口,采用舱门特征点表征舱门,采用预靠点来表征预靠位置。
13.根据权利要求12所述的方法,其特征在于,所述地面标识的标识特征点为两条停机线的中心线分别与引导线的中心线相交的交点。
14.根据权利要求13所述的方法,其特征在于,所述第一坐标系和所述第二坐标系均为直角坐标系;
其中,所述第一坐标系的Z轴垂直于地面,且其原点在地面上;所述第二坐标系的原点在其中一个标识特征点上,所述第二坐标系的x轴垂直于所述引导线,y轴平行于所述引导线,z轴垂直于地面。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~14中任意一项所述的方法。
16.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1~14中任意一项所述的方法。
CN201910482725.1A 2019-06-04 2019-06-04 登机桥接靠飞机的方法及电子设备以及存储介质 Active CN112034831B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910482725.1A CN112034831B (zh) 2019-06-04 2019-06-04 登机桥接靠飞机的方法及电子设备以及存储介质
US17/616,358 US20220324588A1 (en) 2019-06-04 2020-06-04 Method for docking boarding bridge with aircraft, electronic equipment and storage medium
EP20817892.1A EP3980336A4 (en) 2019-06-04 2020-06-04 PROCEDURE FOR DOCKING A PASSENGER BRIDGE TO AN AIRCRAFT, ELECTRONIC DEVICE AND STORAGE MEDIA
PCT/CN2020/094432 WO2020244591A1 (en) 2019-06-04 2020-06-04 Method for docking boarding bridge with aircraft, electronic equipment and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910482725.1A CN112034831B (zh) 2019-06-04 2019-06-04 登机桥接靠飞机的方法及电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112034831A CN112034831A (zh) 2020-12-04
CN112034831B true CN112034831B (zh) 2021-11-09

Family

ID=73576141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910482725.1A Active CN112034831B (zh) 2019-06-04 2019-06-04 登机桥接靠飞机的方法及电子设备以及存储介质

Country Status (4)

Country Link
US (1) US20220324588A1 (zh)
EP (1) EP3980336A4 (zh)
CN (1) CN112034831B (zh)
WO (1) WO2020244591A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112389669A (zh) * 2019-08-14 2021-02-23 深圳中集天达空港设备有限公司 防止登机桥撞击机翼的方法
CN114019964B (zh) * 2021-10-28 2024-04-09 中集天达工程技术有限公司 登机桥接靠飞机的控制方法、登机桥及计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101287649A (zh) * 2005-10-04 2008-10-15 Fmt国际贸易公司 用于将乘客桥或货物处理桥自动对接到飞机的门的方法
CN103419944A (zh) * 2012-05-25 2013-12-04 深圳中集天达空港设备有限公司 一种登机桥及其自动靠接方法
CN106628232A (zh) * 2015-10-28 2017-05-10 深圳中集天达空港设备有限公司 登机桥及其接机辅助装置
CN106697322A (zh) * 2016-12-09 2017-05-24 华德宝机械(昆山)有限公司 一种登机桥自动靠接系统及方法
WO2018034615A8 (en) * 2016-08-15 2018-04-05 Singapore Technologies Dynamics Pte Ltd Automatic passenger boarding bridge docking system
CN108454875A (zh) * 2017-04-20 2018-08-28 中国国际海运集装箱(集团)股份有限公司 登机桥防撞系统及登机桥防撞控制方法
CN109592063A (zh) * 2018-11-13 2019-04-09 张积洪 一种基于图像识别的廊桥自动对接和调整系统
US10908580B2 (en) * 2016-09-09 2021-02-02 Accenture Global Solutions Limited Devices, systems, and methods for automated loading bridge positioning using shapes associated with a vehicle

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5226204A (en) 1991-02-12 1993-07-13 Subtechnique, Inc. Tele-robotic passenger loading bridge control system
US20030145405A1 (en) * 2002-02-01 2003-08-07 Neil Hutton Method and apparatus for automatically pre-positioning a passenger bridge
US7392561B2 (en) * 2005-06-22 2008-07-01 Dew Engineering And Development Limited Automated passenger boarding bridge alignment system and method with manual confirmation of aircraft doorway position
US7458122B2 (en) * 2005-06-22 2008-12-02 Dew Engineering And Development Limited Automated passenger boarding bridge alignment system and method with manual identification of aircraft doorway position
US7603737B2 (en) * 2006-09-11 2009-10-20 Dew Engineering And Development Ulc Passenger boarding bridge alignment system and method therefor
US20080098538A1 (en) 2006-10-31 2008-05-01 Dew Engineering And Development Limited Vision system for automatically aligning a passenger boarding bridge with a doorway of an aircraft and method therefor
ES2385883B1 (es) * 2010-08-04 2013-06-20 Thyssenkrupp Elevator Innovation Center, S.A. Sistema y método de asistencia de atraque de una pasarela de embarque.
CN205801544U (zh) * 2016-07-18 2016-12-14 北京高威洋海电气技术有限公司 一种机场旅客登机桥主动式防撞系统
SG11201913402UA (en) * 2017-07-13 2020-01-30 Shinmaywa Ind Ltd Passenger boarding bridge

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101287649A (zh) * 2005-10-04 2008-10-15 Fmt国际贸易公司 用于将乘客桥或货物处理桥自动对接到飞机的门的方法
CN103419944A (zh) * 2012-05-25 2013-12-04 深圳中集天达空港设备有限公司 一种登机桥及其自动靠接方法
CN106628232A (zh) * 2015-10-28 2017-05-10 深圳中集天达空港设备有限公司 登机桥及其接机辅助装置
WO2018034615A8 (en) * 2016-08-15 2018-04-05 Singapore Technologies Dynamics Pte Ltd Automatic passenger boarding bridge docking system
US10908580B2 (en) * 2016-09-09 2021-02-02 Accenture Global Solutions Limited Devices, systems, and methods for automated loading bridge positioning using shapes associated with a vehicle
CN106697322A (zh) * 2016-12-09 2017-05-24 华德宝机械(昆山)有限公司 一种登机桥自动靠接系统及方法
CN108454875A (zh) * 2017-04-20 2018-08-28 中国国际海运集装箱(集团)股份有限公司 登机桥防撞系统及登机桥防撞控制方法
CN109592063A (zh) * 2018-11-13 2019-04-09 张积洪 一种基于图像识别的廊桥自动对接和调整系统

Also Published As

Publication number Publication date
WO2020244591A1 (en) 2020-12-10
EP3980336A1 (en) 2022-04-13
US20220324588A1 (en) 2022-10-13
CN112034831A (zh) 2020-12-04
EP3980336A4 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
CA2950791C (en) Binocular visual navigation system and method based on power robot
Li et al. Automatic bridge crack detection using Unmanned aerial vehicle and Faster R-CNN
CN103419944B (zh) 一种登机桥及其自动靠接方法
CN106680290B (zh) 狭窄空间的多功能检测车
EP3196863A1 (en) System and method for aircraft docking guidance and aircraft type identification
CN107167139A (zh) 一种变电站巡检机器人视觉定位导航方法及系统
CN112034831B (zh) 登机桥接靠飞机的方法及电子设备以及存储介质
CN114049294B (zh) 基于三维轮廓的路面技术状况检测方法及设备
CN113448333B (zh) 基于传感器组合的底部巡检定位方法、装置及电子设备
CN106697322A (zh) 一种登机桥自动靠接系统及方法
CN112348034A (zh) 基于无人机图像识别的起重机缺陷检测系统和工作方法
CN110047111B (zh) 一种基于立体视觉的停机坪廊桥对接误差测量方法
CN111776243B (zh) 一种登机桥的控制方法及装置
CN111427374A (zh) 飞机泊位引导方法、装置及设备
CN113433560B (zh) 一种机器人侧边巡检的定位方法、装置、电子设备及介质
CN111855667A (zh) 一种适用于地铁车辆的新型智慧列检系统和检测方法
CN111145211A (zh) 单目摄像机直立行人头部像素高度获取方法
CN117369460A (zh) 一种车辆螺栓松动故障的智能巡检方法及系统
CN112348845B (zh) 用于停车位检测和跟踪的系统和方法
CN207516258U (zh) 狭窄空间的多功能检测车
CN112265647A (zh) 登机桥的远程自动控制、装置、介质及电子设备
CN112034832B (zh) 登机桥的路径规划方法
CN103853893A (zh) 一种从点云数据检测飞机姿态的参数模型匹配方法
CN116533998A (zh) 车辆的自动驾驶方法、装置、设备、存储介质及车辆
CN115421486A (zh) 返航控制方法、装置、计算机可读介质及自移动设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210615

Address after: 518103 No.9, Fuyuan 2nd Road, Fuyong street, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: SHENZHEN CIMC-TIANDA AIRPORT SUPPORT Co.,Ltd.

Address before: 518103 No.9, Fuyuan 2nd Road, Fuyong street, Bao'an District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN CIMC-TIANDA AIRPORT SUPPORT Co.,Ltd.

Applicant before: China International Marine Containers (Group) Co.,Ltd.

Applicant before: CIMC TIANDA HOLDING (SHENZHEN) Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant