CN105389921A - 一种机场跑道异物的监测系统和方法 - Google Patents

一种机场跑道异物的监测系统和方法 Download PDF

Info

Publication number
CN105389921A
CN105389921A CN201510907014.6A CN201510907014A CN105389921A CN 105389921 A CN105389921 A CN 105389921A CN 201510907014 A CN201510907014 A CN 201510907014A CN 105389921 A CN105389921 A CN 105389921A
Authority
CN
China
Prior art keywords
fod
foreign matter
information
monitoring point
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510907014.6A
Other languages
English (en)
Other versions
CN105389921B (zh
Inventor
金尔文
龙柯宇
颜善
吴宏刚
黄忠涛
刘鹏飞
蒋李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN201510907014.6A priority Critical patent/CN105389921B/zh
Publication of CN105389921A publication Critical patent/CN105389921A/zh
Application granted granted Critical
Publication of CN105389921B publication Critical patent/CN105389921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明是一种机场跑道异物的监测系统及方法,该系统包括FOD专用网络与多个FOD监测点、无线接入点、数据中心、控制中心、机场专网连接;无线接入点与手持移动终端连接,获得回馈、访问及异物信息并发送清理异物指示;FOD专用网络获得飞行计划、异物确认、监测点控制、数据库操作及监测点控制指令、数据融合结果、视频拼接信号;获得监测点回传、异物、回馈、访问控制中心状态信息;数据中心获得FOD监测点控制及数据库操作指令、回传、回馈访问、控制中心及无线接入点状态信息;控制中心获得飞行计划、数据融合结果、视频拼接信号;FOD监测点获得异物确认指令对异物信息确认。本发明有效降低虚警,提高系统可靠性。

Description

一种机场跑道异物的监测系统和方法
技术领域
本发明属于图像识别领域中的物体探测和识别技术领域,具体地涉及用于机场跑道异物的监测系统和方法。
背景技术
对于机场安全运行而言,实现对跑道的完整监视非常重要。在繁忙机场,由于飞机和其他车辆频繁使用跑道,导致跑道不断受到损伤,产生类似于坑洼这样的损伤。在偶然情况下,跑道上也会出现由于飞机起降、尾流以及其他原因造成的异物。这些异物会造成空难、人员伤亡以及航空公司的经济损失。
针对机场跑道的上述问题,业界采用不同的方法监控跑道:比如传统依靠工作人员定期上跑道按一定规则走动的跑道道面人工排查。然而,依靠人的肉眼进行排查是低效和极耗人力的。此外,受跑道环境影响,人工排查是不可靠的。
一些机场使用雷达系统自动监测跑道损伤、异物和交叉道口可能出现的危险情况。其具体方法是通过向跑道发射微波信号,并接收反射信号的方式来进行检测和分析。由于微波信号是脉冲或结构,因此可以通过计算信号到达接收机的时间得到异物与雷达之间的距离。由于雷达传感器的波长较短,并且脉冲重叠频率高,因此,利用雷达传感器是可以实现极高的距离分辨率并且减少地面杂波影响。然而,使用雷达系统用于跑道监视有其局限性:雷达对于金属物体具有极高的检测效果,但对于橡胶之类的非金属物体却不敏感;采用雷达系统无法完全避免雷达盲区以及其他一些障碍或固定设施(比如)对检测结果造成的影响;对于一些微小金属物体反射的强信号所导致的异物虚警也很难排除。
另外一些机场利用红外或热成像系统检测异物,避免潜在冲突,然而,红外或热成像系统只能通过感应物体发射的红外线来实现检测,对于物体的温度和环境温度接近的情况则无能为力。相对于环境背景温度,小物体的热量较少,红外或热成像系统很难检测到。特别是在一些极端异常气象条件下(比如:冷天或者热天),红外或热成像系统受到的影响最大。此外,红外或热成像系统所成画面损失了物体的边缘、颜色等信息,不利于异物的确认和分辨。
还有一些机场利用视频摄像机,通过视频摄像机回传图像信号进行处理来发现和识别异物,然而,这种利用视频摄像机的方法也存在一些问题:对复杂多变的机场跑道环境不具备广泛的适应性,会产生大量的虚警。
目前已知的四类探测系统有:
Xsight公司Fodetect系统外观,以色列Xsight公司的Fodetect系统,其采用毫米波雷达和近红外光学传感器,安装在跑道边灯上或旁边,毫米波雷达工作波段为76~77GH,传感器节点数量众多,部署成本高,因安置于跑道旁边,传感器易受污损,后期维护保养困难。参见:USPatent20090243881(USPC分类号340905)。
Stratech公司iFerret系统外观,新加坡Strech公司的iFerret系统,其采用纯光学系统即光学传感器,光学传感器安装在转台上面,转台安装在塔架上面或上方,但光学系统对机场复杂环境适应性(光照突变、雨、雾)不如雷达传感器,导致检测性能受限;USPatent20110063445。
Qinetiq公司的Tarsier系统外观,Qinetiq公司的Tarsier系统,其采用毫米波雷达检测,视频监控设备确认,毫米波雷达工作波段94.5GHz。雷达传感器和视频监控设备同时安装于塔架上,塔架位于跑道端头。系统工作距离较长,覆盖范围较广,因此对小尺寸异物检测效果不佳;另外配有用于确认用途的光学相机,雷达天线安装在塔架上面,光学相机安装在雷达天线罩旁边,用于异物确认,一条跑道只需要在跑道两头各部署1套塔架式混合传感器。参考欧洲发明EP1869496B1。
Trex公司的Fodfinder系统外观,TrexEnterprises公司的车载Fodfinder系统,有两种款式:第一款:FodfinderXM系列,采用毫米波雷达检测,另外配有确认用途光学相机,雷达天线和光学相机安装在车辆顶部;毫米波雷达工作频段77~81GHz,车载式工作期间需关闭跑道,上跑道进行检测,占用跑道,因此并未提高跑道利用率。FodfinderXF系列,毫米波雷达传感器和光学传感器安装于塔架上方,毫米波雷达工作频段77~81GHz,毫米波雷达用于检测和发现异物,光学传感器用于确认。参见US7782251B2。
发明内容
针对现有技术存在的问题,本发明的目的是提供一种能结合雷达和光学传感器的优点,将雷达和光学传感器共同部署在跑道附近,并通过信息融合的方式对传感器处理结果进行判断,从而有效降低虚警,提高系统可靠性的机场跑道异物的监测系统和方法。
本发明的第一方面,提供一种机场跑道异物的监测系统,该系统包括:与多个FOD监测点、无线接入点、数据中心、控制中心、机场专网连接的FOD专用网络;与无线接入点连接的手持移动终端;
所述手持移动终端,获得无线接入点转发FOD专用网络传输的异物信息,并发送清理异物指示;手持移动终端向无线接入点发送回馈信息、访问信息;
所述FOD专用网络,获得每个FOD监测点发出的监测点回传信息;获得机场专网发送的飞行计划;获得控制中心发送的异物确认指令、监测点控制指令、异物信息、控制中心状态信息、数据库操作指令;获得数据中心发送的数据融合结果、视频拼接信号、监测点控制指令;获得手持移动终端的回馈信息、手持移动终端的访问信息、无线接入点的状态信息;
所述数据中心,获得FOD专用网络传输的监测点回传信息、FOD监测点控制指令、手持移动终端回馈信息、手持移动终端访问信息、控制中心状态信息、数据库操作指令、无线接入点状态信息;
所述控制中心,获得FOD专用网络传输机场专网的飞行计划、数据融合结果、视频拼接信号;
所述每个FOD监测点,获得FOD专用网络传输的异物确认指令,用于对异物信息进行确认。
本发明的第二方面,提供一种机场跑道异物的监测方法,该方法包括;
步骤S1:每个FOD监测点的毫米波雷达传感器,提取跑道监控区域内的异物信息;同时,每个FOD监测点的光学传感器,获取对应监控区域异物的图像数据;
步骤S2:所述毫米波雷达传感器将异物信息送往雷达报文处理服务器,雷达报文处理服务器将异物信息发送至数据中心的数据融合服务器群;所述光学传感器将异物信息送往数据中心的检测算法服务器群,所述检测算法服务器群发送检测异物的雷达数据;
步骤S3:所述数据融合服务器群对异物的雷达数据和图像数据坐标进行转换,使异物的雷达和图像数据源的数据时空对齐进行数据融合判决,获得真实异物信息;
步骤S4:控制中心客户端接收到异物信息,对异物确认、分辨以及清理。
有益的技术效果:
本发明系统的解决的技术问题及优点:该系统可用于监视、发现并定位机场跑道异物、跑道道面状态(道面裂纹、积雪、积水、能见度),辅助或替代传统人工巡检,避免了人工巡检带来的跑道占用以及巡检可靠性问题,提高机场跑道通行率,保障了飞行安全。
通过手持终端获得的异物精确位置信息,结合手持终端自带的机场电子地图可以引导异物清理工作人员准确及时到达异物发生地,进行异物清理工作;在异物清理过程中,还可通过手持终端对所发现异物进行编码、登记、拍照并将这些回馈信息发回;通过手持终端发送的访问信息,异物清理工作人员可通过无线接入点远程访问数据库,进行数据更新、用户信息更改操作。手持移动终端具有的上述功能使异物清理工作人员的工作更加高效和方便。
FOD监测系统是影响机场运行安全的重要装备,因此,独立的FOD专用网络一方面保证了足够的通信带宽和稳定的数据传输,另一方面也使运行系统不会对机场现有通信网络造成干扰和影响。FOD专用网络承担各子系统之间的数据传输,而不是子系统之间进行数据直传,这样做的好处在于:降低了网络系统的复杂度和耦合性,子系统之间相互影响的可能性降低。同时使系统具有了良好的扩展性,可以有效应对因机场跑道改扩建所引发的系统变动。
在硬件上,因受制于航站楼和其他建筑的空间,上述信息一般由位于同一机房里的数据中心进行集中处理,同时这样也便于后续运行保障;在软件和系统层面,把功能划分,将数据中心、客户终端和控制中心分开独立部署,这样有利于系统各部分的升级维护,也符合机场用户的需求:机场用户不会关心。
控制中心会根据数据融合结果判断是否有异物;控制中心还可根据飞行计划制定FOD监测点扫描策略、异物清理计划、告知异物清理工作人员有多少时间用于清理异物。视频拼接信号会将跑道道面的监测画面和跑道状态直观呈现在控制中心工作人员面前,为控制中心进行决策提供依据。这些都有效提高了控制中心对跑道异物信息的获取能力,有利于控制中心掌握跑道状态并提高决策能力。
通过异物确认,可进一步防止FOD监测系统虚警的发生,避免了因虚假异物警报影响机场正常运行情况的发生。
本发明与上述现有技术相比,本发明在系统架构设计和数据处理方面有其独创性,还体现在:
(1)区别于其他塔架类系统,本发明FOD监测点中的光学传感器有两类,一类专门用于检测,弥补雷达传感器对非金属材质异物不敏感的缺点;
(2)区别于边灯类和车载类系统,采用塔架式系统部署方式。
(3)区别于塔架类纯光学系统,将本发明FOD监测点中的光学传感器采用检测用途的光学传感器和确认用途光学传感器功能分离的技术方案,检测用途光学传感器采用定焦固定检测模式,这样可有效避免两个问题:
a.检测和确认一体的光学传感器在确认之后,传动装置无法精确回位到原有位置,导致虚焦,影响检测效果;
b.检测和确认一体的光学传感器在工作过程中采用预置位工作模式,时间久后,机械装置会有所磨损,导致回位精度下降,影响检测和定位效果。
在本发明的系统结构硬件设计的角度充分考虑了FOD监测点中的雷达和光学传感器的特性:
(1)雷达传感器是通过向跑道发射微波信号,并接收反射信号的方式来进行检测和分析。由于微波信号是脉冲或结构,因此可以通过计算信号到达接收机的时间得到异物与雷达传感器之间的距离。由于雷达传感器的波长较短,并且脉冲重叠频率高,因此,利用雷达传感器是可以实现极高的距离分辨率并且减少地面杂波影响。然而,使用雷达系统用于跑道监视有其局限性:雷达对于金属物体具有极高的检测效果,但对于橡胶之类的非金属物体却不敏感;采用雷达系统无法完全避免雷达盲区以及其他一些障碍或固定设施(比如)对检测结果造成的影响;对于一些微小金属物体反射的强信号所导致的异物虚警也很难排除。
(2)用于机场跑道异物检测的光学传感器包括红外、近红外和普通光学传感器。红外或热成像系统只能通过感应物体发射的红外线来实现检测,对于物体的温度和环境温度接近的情况则无能为力。相对于环境背景温度,小物体的热量较少,红外或热成像系统很难检测到。特别是在一些极端异常气象条件下(比如:冷天或者热天),红外或热成像系统受到的影响最大。此外,红外或热成像系统所成画面损失了物体的边缘、颜色等信息,不利于异物的确认和分辨。而普通光学传感器检测异物也存在一些问题:对复杂多变的机场跑道环境不具备广泛的适应性,会产生大量虚警。
本发明在系统结构上,结合光学传感器和雷达传感器的上述特点,对同一检测区域,采用光学传感器和雷达传感器混合检测的方式,形成检测能力的互补,有效避免了单类传感器的固有缺陷;在数据处理层面上,对雷达传感器和光学传感器检测结果采用数据融合的方式,从而最终保证了FOD的低虚警和高检测率;
在硬件设计方面充分考虑了雷达传感器和光学传感器工作原理和方式的不同。雷达传感器采用连续扫描方式,其发射和接收天线安置于具有水平转动的转台上面;光学传感器分为两类,一类为检测用途传感器,另一类为确认用途光学传感器,其安装于雷达天线后方,不影响雷达天线的转动以及信号的发射接收。
光学传感器的功能区分设计:在光学传感器的选择方面,按异物检测和确认的功能进行了分工,选用类不同类型的光学传感器。
用于检测的光学传感器采用定焦模式,并且固定在塔架上方,是定焦镜头和照相机的结合,一方面有效避免了变焦镜头在运动检测过程中出现的虚焦情况;另一方面也避免了因确认和检测共用一个镜头导致的镜头在变焦确认之后无法精确回复到检测位置,从而导致图像检测性能下降的问题。
用于确认的光学确认传感器可根据需要远程控制调整焦距、光圈等,是长焦镜头和低照度网络摄像机的结合,安置于具有俯仰和水平转动功能的转台上面。
检测数据融合判决:为降低虚警率,在雷达和光学系统检测之外,增加了基于数据融合判决的FOD过滤环节,提出了时域滤波关联方法,有效降低了虚警率,减轻了客户端操作人员异物确认的工作负担。
附图说明
图1为本发明用于机场跑道异物的监测系统架构示意图;
图2为本发明塔架式机场跑道异物的监测系统部署的示意图;
图3为本发明FOD监测点外观侧视示意图;
图4为FOD监测点、滑行道和跑道中线之间的位置关系示意图;
图5为本发明光学传感器安置俯视图;
图6为本发明用于机场跑道异物的监测方法流程图;
图7为本发明监控区域边缘提取示意;
图8为本发明用于机场跑道异物的监测方法的具体实施例。
具体实时施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
请参阅图1示出,本发明用于机场跑道的异物监测系统架构的实施例1,该系统采用分布式布局,考虑到传感器节点众多,在系统架构设计中考虑分组分层控制的设计思路,该系统架构包括:
与多FOD监测点A、无线接入点C、数据中心D、控制中心E、机场专网G连接的FOD专用网络B;
与无线接入点C连接的手持移动终端F;
所述手持移动终端F,获得无线接入点C转发FOD专用网络B传输的异物信息,并发送清理异物指示;所述手持移动终端F向无线接入点C发送回馈信息、访问信息;
所述FOD专用网络B,获得每个FOD监测点A发出的监测点回传信息;获得机场专网G发送的飞行计划;获得控制中心E发送的异物确认指令、监测点控制指令、异物信息、控制中心状态信息、数据库操作指令;获得数据中心D发送的数据融合结果、视频拼接信号、监测点控制指令;获得手持移动终端F的回馈信息、手持移动终端F的访问信息、无线接入点C的状态信息;
所述数据中心D,获得FOD专用网络B传输的监测点回传信息、FOD监测点A控制指令、手持移动终端F回馈信息、手持移动终端F访问信息、控制中心E状态信息、数据库操作指令、无线接入点C状态信息;
所述控制中心E,获得FOD专用网络B传输机场专网G的飞行计划、数据融合结果、视频拼接信号;所述数据融合结果会呈现于控制中心显示客户端;视频拼接信号会呈现于控制中心显示大屏,为工作人员提供全景实时画面;
所述每个FOD监测点A,获得FOD专用网络B传输的异物确认指令,用于对异物信息进行确认。
优选实施例,所述控制中心E根据飞行计划,经由FOD专用网络B发送监测点控制指令给监测点A,控制每个FOD监测点A的工作。
优选实施例,所述控制中心状态信息会经由FOD专用网络B送往数据中心D,以便于状态监控服务器进行状态监控。
优选实施例,所述数据库操作指令经由FOD专用网络B送往数据中心D,进行数据访问、修改、更新、删除操作。
优选实施例,所述数据中心D根据监测点回传信息进行信号处理,获得最终异物检测结果,同时根据监测点回传信息对FOD监测点A的状态进行监控;
所述数据中心D获得经由FOD专用网络B传来的控制中心E的监测点控制指令,并将其经由数据中心D的控制服务器以及FOD专用网络B发送至FOD监测点A;
所述数据中心D获得经由FOD专用网络B发送的手持移动终端F回馈和访问信息,进一步的对数据中心D的数据库进行操作;
所述数据中心D获得经由FOD专用网络B发送的控制中心E的状态信息、无线接入点C的状态信息,用于对控制中心E和无线接入点C进行状态监控。
优选实施例,所述视频拼接信号和数据融合结果,经由FOD专用网络B发送到控制中心E,监测点控制指令会经由FOD专用网络B发送到FOD监测点A。
实施例2
续请参阅图1和图2示出,本发明塔架式机场跑道异物的监测系统部署,该监测系统部署包括与多FOD监测点A、无线接入点C、数据中心D、控制中心E、机场专网G连接的FOD专用网络B;与无线接入点C连接的手持移动终端F;其中:
所述FOD监测点A为塔架式,FOD监测点A包括:FOD监测点A1,FOD监测点A2,…,FOD监测点An。每个FOD监测点A包括塔架Ana和FOD混合探测传感器Anb;所述数据中心D包括数据库D1、服务器D2;所述数据库D1包括图片数据库D11、雷达数据库D12、FOD数据库D13;所述服务器D2包括检测算法服务器群D21、数据融合服务器群D22、雷达报文处理服务器D23、系统状态监控服务器D24、控制服务器D25、拼接显示服务器D26、移动管理服务器D27。所述控制中心E包括多个FOD终端席位。所述手持移动终端F包括手持移动终端F1,手持移动终端F2,…,手持移动终端Fn。
FOD专用网络B与所述多FOD探测点A1,A2,...,An,所述无线接入点C,所述数据库D1包括图片数据库D11、雷达数据库D12、FOD数据库D13,所述服务器D2包括检测算法服务器群D21、数据融合服务器群D22、雷达报文处理服务器D23、状态监控服务器D24、控制服务器D25、拼接显示服务器D26、移动管理服务器D27,所述控制中心E以及所述机场专网G连接。无线接入点C与对应的手持移动终端F包括手持移动终端F1,手持移动终端F2,…,手持移动终端Fn连接。
多FOD探测点A1,A2,...,An布设于跑道一侧;所述FOD混合探测传感器的光学传感器和毫米波雷达传感器的具体数量根据机场跑道规模和实际部署情况确定。所述光学传感器,用于采集并回传图片;毫米波雷达传感器发射和接收天线,实现对跑道监测区域的连续扫描。
FOD网络B是独立的FOD专用网络B,FOD网络B采用光纤传输;
无线接入点C,和FOD网络B相连;控制中心E通过FOD网络B和无线接入点C,将异物信息发送给手持移动终端F1,F2,…,Fn;同时,手持移动终端F1,F2,…,Fn通过无线接入点c访问数据中心D的数据库D1,上传异物处理结果;所述异物处理结果是异物编号、尺寸、材质、发现位置、发现时间、异物处理人。
所述数据中心D包括数据库D1、服务器D2;
所述括数据库D1的图片数据库D11,存储和管理来自每个FOD监测点A回传的原始图片;所述雷达数据库D12,存储和管理与雷达传感器相关的数据;FOD数据库D13,存储和管理FOD监测点A的相关数据以及存储异物最终的检测结果以及异物的类型、尺寸、天气状况、异物发生位置、来源、发现时间的信息;所述异所述物检测结果包括:
(1)毫米波雷达传感器回传的异物检测结果包括:是否发现异物的约定标志。若发现异物,则除约定标志外还包含:发现异物的时间、异物方位角和距传感器的斜距、以及FOD监测点A的编号;
(2)所述服务器D2的检测算法服务器群D21主要处理来自光学传感器回传的信号,对光学传感器回传的图像进行处理后获得的检测结果,获得的检测结果包含:是否发现异物的约定标志,若发现异物,则除约定标志外还包含:FOD像素位置、FOD发现时间、FOD监测点A的编号。
(3)所述检测结果是位于FOD监测点A上的毫米波雷达传感器和光学传感器对同一监测区域的检测结果。
所述数据融合服务器群D22,处理来自FOD监测点回传信号,对获得FOD监测点A的毫米波雷达传感器和光学传感器的检测结果进行融合处理,得到融合结果;
所述融合结果是指:若毫米波雷达传感器或光学传感器检测到异物,则经数据融合服务器群D22输出的结果。其内容包含:异物GPS坐标(WGS-84坐标格式)、发现异物的时间、发现异物的监测点编号、发现异物的传感器类型(毫米波雷达传感器、光学传感器)。
所述雷达报文处理服务器D23,负责雷达报文的回传、解析和分发;
所述系统状态监控服务器D24,用于监控整个系统软件、硬件、网络、供电的各种状态;
所述控制服务器D25,负责远程控制信号的分发,比如控制FOD监测点进行异物确认,控制FOD监测点初始化和重启工作;
所述拼接显示服务器D26,将FOD探测点A回传图片拼接显示,以跑道全景方式直观呈献给工作人员;
所述移动管理服务器D27,负责手持式终端F的管理以及异物消息的分发;控制中心E,由若干FOD终端席位组成,主要用于显示经数据融合服务器D22群提供的检测结果,以及FOD监测点A回传画面;同时提供图形操作界面,使工作人员能够通过该操作界面发送异物确认信号到控制服务器D25。
手持移动终端F,使工作人员能准确到达异物发生地。手持移动终端F1,F2,Fn,工作人员可通过手持移动终端F1,F2,...,Fn准确到达异物发生地。
机场专网G,通过FOD网络B与控制中心E连接,可以获得航班飞行计划,起降时刻,机型等信息,有利于异物清理、溯源、统计分析工作的开展;
实施例3
请参阅图3示出图1的用于机场跑道的异物监测系统中一组FOD监测点A的外观侧视示意图,所述FOD监测点A采用塔架式,若干FOD监测点A采用分布式布局,其中:每组FOD监测点A包括:塔架Ana、FOD混合探测传感器Anb;所述FOD混合探测传感器Anb置于塔架Ana的顶端上。其中:所述塔架Ana包括:塔架基础部An1、辅助设备An2、塔身An3、支撑部An4、底座An5。所述FOD混合探测传感器Anb是由雷达传感器An6、光学检测传感器An7、光学确认传感器An8以及塔架式避雷器An9组成,其中;
请参阅图4示出,FOD监测点A、滑行道和跑道中线之间的位置关系示意图;FOD监测点A部署于跑道一侧,所述FOD混合探测传感器Anb距跑道中线距离较远,按照国内相关规范要求,一般情况距离大于150米,在实际安装过程中,为保证光学检测传感器An7、光学确认传感器An8的有效监测高度和航空安全,光学检测传感器An7、光学确认传感器An8位置距跑道中线200米外甚至更远。
塔架基础An1,一般考虑到塔架Ana的稳固性,所述塔架基础An1的下半部分需要埋放在基坑内;
辅助设备An2,设置于塔架基础An1上,所述辅助设备An2是所述FOD混合探测传感器Anb的供电所需电源管理节点、不间断供电设备、网络通信所需设施安放的户外机柜;
塔身An3,设置于塔架基础An1与底座An5之间并固定连接,用于支撑塔架Ana顶部的辅助设备An2,同时也是线缆走线的附着在塔身An3上;
支撑部An4,设置于底座An5上并固定连接;支撑部An4是塔架Ana的顶部护栏以及用于人工工作的支撑部分;
毫米波雷达传感器An6和光学确认传感器An8,设置于底座An5上并固定连接;
毫米波雷达传感器An6由雷达收发天线An61以及雷达组件An62组成,所述雷达收发天线An61是FOD混合探测传感器的收发天线部分;所述雷达组件An62由精密水平传动装置、雷达信号处理模块、雷达信号传输模块共同组成。
光学检测传感器An7,设置于支撑部An4上,用于获取跑道道面检测区域图像画面;
光学确认传感器An8,设置于底座An5上并固定连接;
光学确认传感器An8包括支柱以及水平俯仰传动部分An81,An8内部有网络和供电线路,还包括:镜头、摄像机和外壳护罩部分An82,用于异物的确认。
塔架式避雷器An9,设置于支撑部An4上并固定连接,用于保护塔架Ana上安装的辅助设备An2、毫米波雷达传感器An6、光学检测传感器An7、光学确认传感器An8不受雷电损害。
所述监测点回传信息包括:检测用途光学传感器An7的成像画面、毫米波雷达传感器达An61扫描成像画面、毫米波雷达传感器雷达An61检测结果、监测点编号、监测点状态信息,所述监测点状态信息是温度、湿度、网络状态、硬件状态。
所述异物确认指令,主要用于控制确认用途光学传感器An82变倍、聚焦、微调、滤镜打开/关闭、光圈调整、俯仰、左右转动对异物进行确认。
所述异物信息包括:被发现异物GPS位置、发现时间、发现监测点编号、异物图像、异物类型、尺寸信息。
所述无线接入点状态信息为网络状态、硬件状态。
手持移动终端回馈信息是经工人现场处理后的登记记录的异物GPS位置、异物发现时间、异物发现监测点编号、异物图像、异物类型、异物尺寸信息。
手持移动终端访问信息是手持移动终端F用户访问数据中心D必须的数据库操作指令,所述数据库操作指令为用户账户名、密码、查询、新增、修改的操作指令。
所述数据融合结果包括:异物像素位置、异物GPS坐标、发现异物时间、发现异物的监测点编号、发现异物的传感器类型(雷达传感器、光学传感器)、异物图像。
所述监测点控制指令是重启、初始化、关机指令。
所述控制中心状态信息是温度、网络状态、硬件状态、软件系统状态。
所述数据库操作指令是账户登录、查询、新增、删除、修改指令。
为检测最小尺寸为厘米级的异物,并且雷达发射电磁波不干扰机场其他电子设备的正常运行。在工作频段上,选用毫米波波段作为雷达工作波段。该雷达传感器的发射和接收天线位于精密转台上面,通过水平传动装置实现对跑道监测区域的连续扫描。
请参阅图5光学传感器的安置俯视图如下:经实验,能够满足塔架式FOD检测的光学传感器按用途又可分类两种类型:
类型1:光学检测传感器An7为检测用途光学传感器
为在数百米距离能够对尺寸为厘米级的异物清晰成像,并且在白天和夜间都能正常成像,光学检测传感器An7选择由长焦定焦高清镜头和大靶面低照度相机共同组成。工作时,镜头固定安装在塔架Ana中支撑部An4的护栏上方,每个镜头负责一块固定区域,并将监测区域画面回传控制中心。
类型2:光学确认传感器An8为确认用途光学传感器
光学确认传感器An8采用长焦变焦镜头、低照度网络摄像机,安装在俯仰传动机构上面。控制中心可通过远程网络控制水平传动机构、俯仰传动机构,控制该传感器到异物发现区域,然后通过变倍聚焦功能实现对异物的清晰成像。
请参阅图6所示本发明用于机场跑道异物的监测方法流程图,所述方法的包括如下步骤:
步骤S1:每个FOD监测点的毫米波雷达传感器,提取跑道监控区域内的异物信息;同时,每个FOD监测点的光学传感器,获取对应监控区域异物的图像数据;
步骤S2:所述毫米波雷达传感器将异物信息送往雷达报文处理服务器,雷达报文处理服务器将异物信息发送至数据中心的数据融合服务器群D22;
所述光学传感器将异物信息送往数据中心的检测算法服务器群D21,所述检测算法服务器群D21发送检测异物的雷达数据;
步骤S3:所述数据融合服务器群D22对异物的雷达数据和图像数据坐标进行转换,使异物的雷达和图像数据源的数据时空对齐进行数据融合判决,获得真实异物信息;
步骤S4:控制中心客户端接收到异物信息,对异物确认、分辨以及清理。
请参阅图8示出,用于机场跑道异物的监测方法具体实施例:
步骤W1~W7毫米波雷达传感器检测,简单描述了毫米波雷达传感器完成跑道监控区域扫描、信号接收、处理与异物提取的整个流程。在毫米波雷达传感器的检测中,毫米波雷达传感器依靠水平传动装置完成对监控区域的连续扫描W1;此外,由于作用距离较远,一般采用收发天线分离的设计,用专门的接收天线来接收反射信号W2;接收到雷达反射信号后,需要对其进行傅里叶变换、采样、数模转换一系列标准信号处理流程W3;为检测到数百米外弱小目标,在设计中,毫米波雷达传感器的灵敏度远高于普通雷达,但这也导致杂波信号比较强,需要抑制杂波信号W4;此外,雷达工作期间,跑道上面可能有飞机起降,因此需要进行动目标过滤W5;为提高检测率降低虚警,可采取两个措施,措施1:对可能的异物信号进行滤波W6处理,排除噪声、野值等情况;措施2:按异物材质和尺寸预先建立FOD信号反射特征数据库,这样在进行FOD信号提取W7所示步骤时,可和已有数据库进行匹配;
步骤X1~X7光学传感器检测,简单描述了光学传感器异物检测的整个流程。处于静止状态的光学传感器1获取对应监控区域的图像信号X1;经过图像压缩解码X2等操作之后成为可以使用的数字图像;对低能见度图像进行增强处理X3;在长焦状态下,镜头对风、转台的运动极为敏感,会有抖动,需要对图像进行防抖处理X4;图片配准之后,由于画面覆盖的监控区域既包括跑道,也包括跑道之外的部分,跑道外面的部分会对异物图像检测算法造成干扰,因此需要进行监控区域边缘检测X5,如图7示出监控区域边缘提取示意图,图中所标红线中间区域为图像检测算法重点关注区域。确定图片检测区域范围后,可对其进行基于背景动态更新、差分和聚类的FOD边缘检测X6;当完成异物检测后,需要对异物所在像素位置进行提取X7,在这里,选用像素的质心位置作为异物返回的像素位置。
步骤Y1-Y3数据融合判决,当雷达或光学传感器检测到异物后,需要对其进行数据融合判决,在融合判决之前,先对雷达和图像数据坐标进行转换,使两类数据源的数据时空对齐Y1;具体而言,雷达传感器由极坐标换算为笛卡尔坐标,图像由像素坐标换算为笛卡尔坐标,两者的坐标原点都以基塔架上座E作为坐标原点;在融合判断过程中,会遇到2类情况:
情况1:雷达传感器和光学传感器同时发现异物,这时需要进行目标关联判断,确定一定阈值,从发现方位和时间上判断两者发现的是否是同一异物。若关联失败,则当作两个异物处理。
情况2:雷达或光学传感器中的一种发现异物,出于航空安全考虑,两个传感器中的任何一个发现异物,都应当做异物处理,发出告警。
雷达或光学传感器在检测中都会碰到因环境因素导致的虚警,对于这类虚警,其特点是在某次扫描或某帧检测图像中存在,但在多次扫描或者多帧检测中,其出现是随机的,发生的位置也是随机的。对于这种虚警,采用时域关联滤波Y2;采用雷达多次扫描以及图像多帧检测,同时对多次结果进行时域滤波处理,则可有效剔除虚警。
经过上述判断规则之后存留的异物,则当作真实异物,将其反馈给控制中心客户端Y3;
步骤Z1-Z2异物确认清理,当控制中心客户端接收到异物信息时,会促发警报,提醒工作人员有异物发现,工作人员听到警报后会根据流程控制光学传感器进行异物确认Z1和分辨,当确定是异物并需要清理后,会将异物信息(方位、大小、材质、类型)发送到手持移动终端Qn,并通知工作人员上跑道进行清理异物Z2。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内。

Claims (10)

1.一种机场跑道异物的监测系统,其特征在于,该系统包括:与多个FOD监测点、无线接入点、数据中心、控制中心、机场专网连接的FOD专用网络;与无线接入点连接的手持移动终端;
手持移动终端,获得无线接入点转发FOD专用网络传输的异物信息,并发送清理异物指示;手持移动终端向无线接入点发送回馈信息、访问信息;
所述FOD专用网络,获得每个FOD监测点发出的监测点回传信息;获得机场专网发送的飞行计划;获得控制中心发送的异物确认指令、监测点控制指令、异物信息、控制中心状态信息、数据库操作指令;获得数据中心发送的数据融合结果、视频拼接信号、监测点控制指令;获得手持移动终端的回馈信息、手持移动终端的访问信息、无线接入点的状态信息;
所述数据中心,获得FOD专用网络传输的监测点回传信息、FOD监测点控制指令、手持移动终端回馈信息、手持移动终端访问信息、控制中心状态信息、数据库操作指令、无线接入点状态信息;
所述控制中心,获得FOD专用网络传输机场专网的飞行计划、数据融合结果、视频拼接信号;
所述每个FOD监测点,获得FOD专用网络传输的异物确认指令,用于对异物信息进行确认。
2.根据权利要求1所述机场跑道异物的监测系统,其特征在于,所述数据融合结果会呈现于控制中心显示客户端;视频拼接信号会呈现于控制中心显示大屏,为工作人员提供全景实时画面。
3.根据权利要求1所述机场跑道异物的监测系统,其特征在于,所述控制中心根据飞行计划,经由FOD专用网络发送监测点控制指令,控制每个FOD监测点的工作;所述控制中心状态信息会经由FOD专用网络送往数据中心,以便于状态监控服务器进行状态监控。
4.根据权利要求1所述机场跑道异物的监测系统,其特征在于,所述数据库操作指令经由FOD专用网络送往数据中心,进行数据访问、修改、更新、删除操作。
5.根据权利要求1所述机场跑道异物的监测系统,其特征在于,所述数据中心根据监测点回传信息进行信号处理,获得最终异物检测结果,同时根据监测点回传信息对FOD监测点状态进行监控;
所述数据中心,获得经由FOD专用网络传来的控制中心的监测点控制指令,并将其经由数据中心的控制服务器以及FOD专用网络发送至FOD监测点;
所述数据中心,获得经由FOD专用网络发送的手持移动终端回馈和访问信息,进一步的对数据中心的数据库进行操作;
所述数据中心,获得经由FOD专用网络发送的控制中心状态信息、无线接入点的状态信息,用于对控制中心和无线接入点进行状态监控。
6.根据权利要求1所述机场跑道异物的监测系统,其特征在于,所述视频拼接信号和数据融合结果,经由FOD专用网络发送到控制中心,监测点控制指令会经由FOD专用网络发送到FOD监测点。
7.根据权利要求1所述机场跑道异物的监测系统,其特征在于,每个FOD监测点包括:塔架和FOD混合探测传感器;所述FOD混合探测传感器设置于塔架上,FOD混合探测传感器检测机场跑道上的异物,并对异物信息进行确认。
8.根据权利要求7所述机场跑道异物的监测系统,其特征在于,所述塔架包括:塔架基础部、辅助设备、塔身、支撑部以及底座,所述塔架基础,其下半部分埋放在基坑内;所述辅助设备,设置于塔架基础上;所述塔身,设置于塔架基础与底座之间并固定连接,用于支撑塔架顶部的辅助设备;所述支撑部,设置于底座上并固定连接。
9.根据权利要求7所述机场跑道异物的监测系统,其特征在于,所述FOD混合探测传感器是由毫米波雷达传感器、光学检测传感器、光学确认传感器以及塔架式避雷器组成,其中:光学检测传感器,设置于支撑部上,用于获取跑道道面检测区域图像画面;毫米波雷达传感器和光学确认传感器,设置于底座对应的位置上并固定连接;结合光学检测传感器和毫米波雷达传感器合检测的方式,对同一检测区域形成检测能力的互补;塔架式避雷器,设置于支撑部上并固定连接,用于保护塔架上安装的辅助设备不受雷电损害;所述毫米波雷达传感器由雷达收发天线以及雷达组件组成,所述雷达收发天线是FOD混合探测传感器的收发天线部分;所述雷达组件由精密水平传动装置、雷达信号处理模块、雷达信号传输模块共同组成。
10.一种机场跑道异物的监测方法,使用权利要求1-9任一项所述机场跑道异物的监测系统的方法包括如下步骤:
步骤S1:每个FOD监测点的毫米波雷达传感器,提取跑道监控区域内的异物信息;同时,每个FOD监测点的光学传感器,获取对应监控区域异物的图像数据;
步骤S2:所述毫米波雷达传感器将异物信息送往雷达报文处理服务器,雷达报文处理服务器将异物信息发送至数据中心的数据融合服务器群;
所述光学传感器将异物信息送往数据中心的检测算法服务器群,所述检测算法服务器群发送检测异物的雷达数据;
步骤S3:所述数据融合服务器群对异物的雷达数据和图像数据坐标进行转换,使异物的雷达和图像数据源的数据时空对齐进行数据融合判决,获得真实异物信息;
步骤S4:控制中心客户端接收到异物信息,对异物确认、分辨以及清理。
CN201510907014.6A 2015-12-09 2015-12-09 一种机场跑道异物的监测系统和方法 Active CN105389921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510907014.6A CN105389921B (zh) 2015-12-09 2015-12-09 一种机场跑道异物的监测系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510907014.6A CN105389921B (zh) 2015-12-09 2015-12-09 一种机场跑道异物的监测系统和方法

Publications (2)

Publication Number Publication Date
CN105389921A true CN105389921A (zh) 2016-03-09
CN105389921B CN105389921B (zh) 2019-03-26

Family

ID=55422163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510907014.6A Active CN105389921B (zh) 2015-12-09 2015-12-09 一种机场跑道异物的监测系统和方法

Country Status (1)

Country Link
CN (1) CN105389921B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569208A (zh) * 2016-11-15 2017-04-19 南京理工大学 基于杂波图的机场跑道异物检测方法
CN107356983A (zh) * 2017-07-19 2017-11-17 中国民航大学 机场跑道异物检测系统及检测方法
CN107562900A (zh) * 2017-09-07 2018-01-09 广州辰创科技发展有限公司 基于大数据方式对飞机场跑道异物分析的方法及系统
CN107563525A (zh) * 2017-08-28 2018-01-09 中国民用航空总局第二研究所 一种机场跑道自动巡检系统及巡检方法
CN107770496A (zh) * 2017-11-03 2018-03-06 中国民用航空总局第二研究所 全景视频上的飞机智能监视方法、装置及系统
CN109581404A (zh) * 2018-12-18 2019-04-05 广州辰创科技发展有限公司 一种异物检测系统及方法
CN109933043A (zh) * 2017-12-18 2019-06-25 丰田自动车株式会社 车辆控制器、车辆控制方法及存储车辆控制程序的非暂态性存储介质
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN111273363A (zh) * 2020-01-19 2020-06-12 沈阳汇通智联电子工程设计安装有限公司 一种fod探测设备的中线灯扣除方法及fod探测设备
CN111462118A (zh) * 2020-05-22 2020-07-28 北京黑森智能科技有限公司 一种机场道面巡查方法、系统、平台及存储介质
CN113362656A (zh) * 2021-06-16 2021-09-07 中国民用航空总局第二研究所 一种跑道安全监控方法和系统
CN113848554A (zh) * 2021-12-01 2021-12-28 湖南华诺星空电子技术有限公司 一种机场跑道的fod检测方法、系统及存储介质
CN114137511A (zh) * 2021-11-24 2022-03-04 中国民用航空总局第二研究所 一种基于多源异构传感器的机场跑道异物融合探测方法
CN115123571A (zh) * 2022-07-06 2022-09-30 武汉理工大学 智慧机场及智慧机场跑道车辆实时跟踪渲染方法与系统
CN118430347A (zh) * 2024-07-04 2024-08-02 四川省机场集团有限公司 民航机场基础安全预警管理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110199254A1 (en) * 2008-10-03 2011-08-18 Trex Enterprises Corp Millimeter wave surface imaging radar system
CN102590882A (zh) * 2011-09-30 2012-07-18 长春奥普光电技术股份有限公司 机场道面异物监测系统
CN202583489U (zh) * 2012-04-19 2012-12-05 中国航空工业集团公司上海航空测控技术研究所 机场跑道异物检测装置
CN104407346A (zh) * 2014-12-01 2015-03-11 中国航空工业集团公司上海航空测控技术研究所 一种基于信息融合的移动式跑道异物监测方法
CN204241708U (zh) * 2014-12-01 2015-04-01 中国科学院上海高等研究院 机场跑道异物检测系统
CN105005089A (zh) * 2015-06-08 2015-10-28 上海交通大学 基于计算机视觉的机场道面异物探测系统与方法
CN205263980U (zh) * 2015-12-09 2016-05-25 中国民用航空总局第二研究所 一种机场跑道异物的监测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110199254A1 (en) * 2008-10-03 2011-08-18 Trex Enterprises Corp Millimeter wave surface imaging radar system
CN102590882A (zh) * 2011-09-30 2012-07-18 长春奥普光电技术股份有限公司 机场道面异物监测系统
CN202583489U (zh) * 2012-04-19 2012-12-05 中国航空工业集团公司上海航空测控技术研究所 机场跑道异物检测装置
CN104407346A (zh) * 2014-12-01 2015-03-11 中国航空工业集团公司上海航空测控技术研究所 一种基于信息融合的移动式跑道异物监测方法
CN204241708U (zh) * 2014-12-01 2015-04-01 中国科学院上海高等研究院 机场跑道异物检测系统
CN105005089A (zh) * 2015-06-08 2015-10-28 上海交通大学 基于计算机视觉的机场道面异物探测系统与方法
CN205263980U (zh) * 2015-12-09 2016-05-25 中国民用航空总局第二研究所 一种机场跑道异物的监测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JING GUO.ETC: "Airport Runway FOD Detection from LFMCW Radar and Image data", 《APPLIED MECHANICS AND MATERIALS》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569208A (zh) * 2016-11-15 2017-04-19 南京理工大学 基于杂波图的机场跑道异物检测方法
CN107356983A (zh) * 2017-07-19 2017-11-17 中国民航大学 机场跑道异物检测系统及检测方法
CN107563525A (zh) * 2017-08-28 2018-01-09 中国民用航空总局第二研究所 一种机场跑道自动巡检系统及巡检方法
CN107562900A (zh) * 2017-09-07 2018-01-09 广州辰创科技发展有限公司 基于大数据方式对飞机场跑道异物分析的方法及系统
CN107770496B (zh) * 2017-11-03 2019-08-20 中国民用航空总局第二研究所 全景视频上的飞机智能监视方法、装置及系统
CN107770496A (zh) * 2017-11-03 2018-03-06 中国民用航空总局第二研究所 全景视频上的飞机智能监视方法、装置及系统
CN109933043A (zh) * 2017-12-18 2019-06-25 丰田自动车株式会社 车辆控制器、车辆控制方法及存储车辆控制程序的非暂态性存储介质
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN109581404A (zh) * 2018-12-18 2019-04-05 广州辰创科技发展有限公司 一种异物检测系统及方法
CN111273363A (zh) * 2020-01-19 2020-06-12 沈阳汇通智联电子工程设计安装有限公司 一种fod探测设备的中线灯扣除方法及fod探测设备
CN111462118A (zh) * 2020-05-22 2020-07-28 北京黑森智能科技有限公司 一种机场道面巡查方法、系统、平台及存储介质
CN113362656A (zh) * 2021-06-16 2021-09-07 中国民用航空总局第二研究所 一种跑道安全监控方法和系统
CN114137511A (zh) * 2021-11-24 2022-03-04 中国民用航空总局第二研究所 一种基于多源异构传感器的机场跑道异物融合探测方法
CN114137511B (zh) * 2021-11-24 2023-11-14 中国民用航空总局第二研究所 一种基于多源异构传感器的机场跑道异物融合探测方法
CN113848554A (zh) * 2021-12-01 2021-12-28 湖南华诺星空电子技术有限公司 一种机场跑道的fod检测方法、系统及存储介质
CN115123571A (zh) * 2022-07-06 2022-09-30 武汉理工大学 智慧机场及智慧机场跑道车辆实时跟踪渲染方法与系统
CN115123571B (zh) * 2022-07-06 2024-09-06 武汉理工大学 智慧机场及智慧机场跑道车辆实时跟踪渲染方法与系统
CN118430347A (zh) * 2024-07-04 2024-08-02 四川省机场集团有限公司 民航机场基础安全预警管理方法及系统

Also Published As

Publication number Publication date
CN105389921B (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN105389921A (zh) 一种机场跑道异物的监测系统和方法
CN102590882B (zh) 机场道面异物监测系统
CN107422390B (zh) 一种机场道面异物智能探测与清扫系统
CN105812733B (zh) 一种民航空中交通管制的场面监视引导系统
US7250849B2 (en) Detection of undesired objects on surfaces
KR101533905B1 (ko) 비행장 내의 이물질, 파편 또는 손상 검출 감시 시스템 및 방법
CN110133573A (zh) 一种基于多元传感器信息融合的自主低空无人机防御系统
CN111562576A (zh) 一种机场跑道异物检测系统及方法
CN101852869A (zh) 机场跑道外来物检测系统
CN106657921A (zh) 一种便携式雷达周界安防系统
KR20190112326A (ko) 이동 대상을 검출하고/하거나 모니터링하기 위해 네트워크화된 페이즈드 어레이 안테나 응용을 사용하는 방법 및 시스템
CN102524237A (zh) 一种飞机场鸟情监控驱鸟系统及方法
CN111934813A (zh) 一种无人机侦测反制装备综合系统
CN113985400B (zh) 一种机场跑道外来异物监测报警系统及其方法
CN107356983A (zh) 机场跑道异物检测系统及检测方法
CN111696390B (zh) 智能机场跑道fod装置及其工作流程
CN109557534A (zh) 一种多要素全方位跟踪检测雷达传感器设备及其使用方法
CN103592901A (zh) 一种云台控制的机场监控系统
CN205263980U (zh) 一种机场跑道异物的监测系统
CN217986479U (zh) 一种针对性驱鸟系统
CN110940993A (zh) 一种光电探测雷达及其探测方法
KR20180108176A (ko) 공항 이동지역 이물질 수거 시스템
CN104867331B (zh) 基于微波的交通事件检测方法及装置
CN117789386A (zh) 一种边境防护入侵报警系统及方法
US7860640B1 (en) Marker means for determining direction and zoom of a means for viewing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant