CN108447075A - 一种无人机监测系统及其监测方法 - Google Patents

一种无人机监测系统及其监测方法 Download PDF

Info

Publication number
CN108447075A
CN108447075A CN201810128587.2A CN201810128587A CN108447075A CN 108447075 A CN108447075 A CN 108447075A CN 201810128587 A CN201810128587 A CN 201810128587A CN 108447075 A CN108447075 A CN 108447075A
Authority
CN
China
Prior art keywords
camera
suspicious object
unmanned plane
image
servo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810128587.2A
Other languages
English (en)
Other versions
CN108447075B (zh
Inventor
曹龙胜
郝加刚
李春波
赵光顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Xinfei Intelligent System Co Ltd
Original Assignee
Yantai Xinfei Intelligent System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Xinfei Intelligent System Co Ltd filed Critical Yantai Xinfei Intelligent System Co Ltd
Priority to CN201810128587.2A priority Critical patent/CN108447075B/zh
Publication of CN108447075A publication Critical patent/CN108447075A/zh
Application granted granted Critical
Publication of CN108447075B publication Critical patent/CN108447075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04KSECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K3/00Jamming of communication; Counter-measures
    • H04K3/80Jamming or countermeasure characterized by its function
    • H04K3/82Jamming or countermeasure characterized by its function related to preventing surveillance, interception or detection
    • H04K3/825Jamming or countermeasure characterized by its function related to preventing surveillance, interception or detection by jamming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04KSECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K3/00Jamming of communication; Counter-measures
    • H04K3/80Jamming or countermeasure characterized by its function
    • H04K3/84Jamming or countermeasure characterized by its function related to preventing electromagnetic interference in petrol station, hospital, plane or cinema
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

本发明涉及一种无人机监测系统及其监测方法,该无人机监测方法包括:步骤1,获取扫描区域内的图像;步骤2,通过第一相机以及第二相机形成立体视觉判断图像中是否存在可疑目标;步骤3,若是,则计算可疑目标的标准位置,并对可疑目标进行跟踪拍摄。本发明在需要检测的区域内设置多台伺服云台,在每个伺服云台的两侧端面上分别设置第一相机和第二相机,通过利用两个相机形成双目视觉来发现无人机以及检测无人机的位置信息,在发现无人机之后,通过双目视觉根据无人机的位置信息对无人机进行跟踪监视,实现低空低慢小目标的发现、识别以及处置,通过两个相机检测无人机,改变传统雷达探测无人机的观念,降低了无人机的检测成本。

Description

一种无人机监测系统及其监测方法
技术领域
本发明涉及反无人机技术领域,尤其涉及一种无人机监测系统及其监测方法。
背景技术
近几年随着无人机技术的发展,低空低慢小目标对民用航空、特定区域净空的侵扰造成很大的社会安全隐患,比如成都双流机场无人机入侵、杭州萧山机场无人机入侵净空区域、烟台机场疑似无人机侵入管制空域等造成的安全隐患和社会影响越来越大,在反恐方面,虽然地面安保做的水泄不通,但是低空方面没有很好的手段和方式来进行有效的防御,给各方面造成了很重要的安全压力。
现有技术中,无人机等“小慢低”目标因其雷达反射面积非常小等原因而导致无人机难以被传统雷达发现和跟踪,而高精度雷达的成本又非常高昂。
发明内容
本发明所要解决的技术问题是针对现有技术的缺陷,提供一种无人机监测系统及其监测方法,以提供一种有效的方法和设备来实现低空低慢小目标的发现、识别、管制以及处置。
本发明解决上述技术问题的技术方案如下:一种无人机监测方法,该无人机监测方法包括:
步骤1,获取扫描区域内的图像;
步骤2,通过第一相机以及第二相机形成立体视觉判断所述图像中是否存在可疑目标;
步骤3,若是,则计算所述可疑目标的标准位置,并对所述可疑目标进行跟踪拍摄。
本发明的有益效果是:在需要检测的区域内设置多台伺服云台,在每个伺服云台的两侧端面上分别设置第一相机和第二相机,通过利用两个相机形成双目视觉来发现无人机以及检测无人机的位置信息,如此发现无人机,在发现无人机之后,通过双目视觉根据无人机的位置信息对无人机进行跟踪监视,实现低空低慢小目标的发现、识别、管制以及处置。此外,通过两个相机检测无人机,改变传统雷达探测无人机的观念,降低了无人机的检测成本,提高无人机检测系统的精准性。其中,可疑目标即为无人机。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步地,所述步骤2通过第一相机以及第二相机形成立体视觉判断所述图像中是否包含可疑目标,包括:
所述图像包括在第一时间段内获取的第一图像以及第二时间段内获取的第二图像;
在所述第一时间段内时,对所述第一图像进行计算,并根据结算结果判断所述第一图像中是否存在疑似目标;
若是,则通过第一相机以及第二相机形成立体视觉对所述第一图像中的疑似目标进行分析处理,并根据分析结果判断所述疑似目标是否为所述可疑目标;若是,则执行步骤3;
其中所述在第一时间段内获取的第一图像包括:
实时计算太阳的方位角,根据所述太阳的方位角调节第一相机和第二相机以及伺服云台的运动轨迹;
根据调整后的运动轨迹,获取所述第一图像。
采用上述进一步方案的有益效果是:热成像相机能够适应白天无人机的检测环境,热成像相机对于大目标的探测距离较长,便于维护更换,并且热成像相机的型号较多,可以根据实际需要选择适宜的热成像相机;可见光谱相机能够适应夜间无人机的检测环境。通过嵌入式计算单元实时计算太阳方位角,根据太阳方位角调整伺服云台,防止太阳直射相机镜头而导致相机损坏。此外,嵌入式计算单元可以初步计算无人机的位置数据,为处理设备提供依据。另外,处理设备根据实际检测情况向跟踪伺服设备发出指令,控制跟踪伺服设备执行云台运动的信号,伺服云台根据信号进行相应的运动,以对无人机进行跟踪,实时检测无人机的运动情况。
进一步地,所述步骤2通过第一相机以及第二相机形成立体视觉判断所述图像中是否包含可疑目标,还包括:
在所述第二时间段内时,判断所述第二图像中是否存在所述可疑目标;若是,则执行步骤3。
采用上述进一步方案的有益效果是:热成像相机能够适应白天无人机的检测环境,热成像相机对于大目标的探测距离较长,便于维护更换,并且热成像相机的型号较多,可以根据实际需要选择适宜的热成像相机;可见光谱相机能够适应夜间无人机的检测环境。通过嵌入式计算单元实时计算太阳方位角,根据太阳方位角调整伺服云台,防止太阳直射相机镜头而导致相机损坏。此外,嵌入式计算单元可以初步计算无人机的位置数据,为处理设备提供依据。另外,处理设备根据实际检测情况向跟踪伺服设备发出指令,控制跟踪伺服设备执行云台运动的信号,伺服云台根据信号进行相应的运动,以对无人机进行跟踪,实时检测无人机的运动情况。
进一步地,所述步骤3计算所述可疑目标的标准位置,包括:
在所述第一时间段内时,获取所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
或者在所述第二时间段内且存在所述可疑目标时,获取所述可疑目标的预设尺寸范围,并在预设尺寸范围内,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
根据所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围,确定所述可疑目标的标准位置。
采用上述进一步方案的有益效果是:热成像相机能够适应白天无人机的检测环境,热成像相机对于大目标的探测距离较长,便于维护更换,并且热成像相机的型号较多,可以根据实际需要选择适宜的热成像相机;可见光谱相机能够适应夜间无人机的检测环境。通过嵌入式计算单元实时计算太阳方位角,根据太阳方位角调整伺服云台,防止太阳直射相机镜头而导致相机损坏。此外,嵌入式计算单元可以初步计算无人机的位置数据,为处理设备提供依据。另外,处理设备根据实际检测情况向跟踪伺服设备发出指令,控制跟踪伺服设备执行云台运动的信号,伺服云台根据信号进行相应的运动,以对无人机进行跟踪,实时检测无人机的运动情况。
进一步地,所述获取所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,包括:
获取标定模板的定位信息以及所述伺服云台指向所述标定模板时在水平方向和垂直方向的位置信息,其中,定位信息为:标定模板的经纬度以及海拔高度;
根据所述标定模板的定位信息以及所述伺服云台指向所述标定模板时在水平方向和垂直方向的位置信息,获取所述第一相机的内参数和所述第二相机的内参数、所述第一相机坐标系和所述第二相机坐标系之间的位置关系、所述第一相机和所述第二相机与所述伺服云台三者之间的位置关系,所述伺服云台的旋转中心的经纬度以及海拔高度,其中,所述内参数为相机中心点位置、相机在X轴和Y轴两个方向的焦距以及相机镜头的畸变参数;所述第一相机坐标系和第二相机坐标系之间的位置关系为相机在X轴、Y轴以及Z轴三个方向上的偏移以及夹角。
采用上述进一步方案的有益效果是:通过嵌入式计算单元实时计算太阳方位角,根据太阳方位角调整伺服云台,防止太阳直射相机镜头而导致相机损坏。此外,嵌入式计算单元可以初步计算无人机的位置数据,为处理设备提供依据。另外,处理设备根据实际检测情况向跟踪伺服设备发出指令,控制跟踪伺服设备执行云台运动的信号,伺服云台根据信号进行相应的运动,以对无人机进行跟踪,实时检测无人机的运动情况。
本发明解决上述技术问题的另一种技术方案如下:一种无人机监测系统,该监测系统包括:多个第一相机、多个第二相机、多个伺服云台、多个跟踪伺服设备以及处理设备,
一个所述第一相机对应设置在一个所述伺服云台的一侧,多个所述第二相机分别设置在多个所述伺服云台的另一侧,
多个所述第一相机的信号、多个所述第二相机的信号以及多个所述跟踪伺服设备均分别与所述处理设备连接,所述跟踪伺服设备与所述伺服云台连接;
多个所述第一相机以及多个所述第二相机用于获取扫描区域内的图像;
所述处理设备用于通过第一相机以及第二相机形成立体视觉判断所述图像中是否存在可疑目标;
所述处理设备还用于计算所述可疑目标的标准位置;
所述跟踪伺服设备用于对所述可疑目标进行跟踪拍摄。
本发明的有益效果是:在需要检测的区域内设置多台伺服云台,在每个伺服云台的两侧端面上分别设置第一相机和第二相机,通过利用两个相机形成双目视觉来发现无人机以及检测无人机的位置信息,如此发现无人机,在发现无人机之后,通过双目视觉根据无人机的位置信息对无人机进行跟踪监视,实现低空低慢小目标的发现、识别、管制以及处置。此外,通过两个相机检测无人机,改变传统雷达探测无人机的观念,降低了无人机的检测成本,提高无人机检测系统的精准性。其中,可疑目标即为无人机。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步地,所述第一相机为热成像相机,所述第二相机为可见光谱相机。
采用上述进一步方案的有益效果是:热成像相机能够适应白天无人机的检测环境,热成像相机对于大目标的探测距离较长,便于维护更换,并且热成像相机的型号较多,可以根据实际需要选择适宜的热成像相机;可见光谱相机能够适应夜间无人机的检测环境。
进一步地,该监测系统还包括:网络设备以及电源设备,
所述第一相机、所述第二相机以及所述跟踪伺服设备均通过所述网络设备与所述处理设备连接;
所述电源设备与所述伺服云台、所述跟踪伺服设备以及所述处理设备连接;
所述图像包括在第一时间段内获取的第一图像以及第二时间段内获取的第二图像;
所述处理设备,用于:在所述第一时间段内时,对所述第一图像进行计算,并根据结算结果判断所述第一图像中是否存在疑似目标;
所述处理设备,还用于:若是,则通过第一相机以及第二相机形成立体视觉对所述第一图像中的疑似目标进行分析处理,并根据分析结果判断所述疑似目标是否为所述可疑目标;若是,则计算所述可疑目标的标准位置,并对所述可疑目标进行跟踪拍摄;
其中,所述在第一时间段内获取的第一图像包括:
所述处理设备,还用于:实时计算太阳的方位角,根据所述太阳的方位角调节第一相机和第二相机以及伺服云台的运动轨迹;
以及用于:根据调整后的运动轨迹,获取所述第一图像。
采用上述进一步方案的有益效果是:通过嵌入式计算单元实时计算太阳方位角,根据太阳方位角调整伺服云台,防止太阳直射相机镜头而导致相机损坏。此外,嵌入式计算单元可以初步计算无人机的位置数据,为处理设备提供依据。另外,处理设备根据实际检测情况向跟踪伺服设备发出指令,控制跟踪伺服设备执行云台运动的信号,伺服云台根据信号进行相应的运动,以对无人机进行跟踪,实时检测无人机的运动情况。
进一步地,所述处理设备包括:系统服务器、视频服务器以及数据库服务器,
所述系统服务器、视频服务器以及数据库服务器分别通过所述网络设备与所述第一相机的信号输出端、所述第二相机的信号输出端以及所述跟踪伺服设备连接;
所述系统服务器,用于在所述第一时间段内时,获取所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
或者在所述第二时间段内且存在所述可疑目标时,获取所述可疑目标的预设尺寸范围,并在预设尺寸范围内,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
根据所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围,确定所述可疑目标的标准位置;
所述视频服务器,用于存储所述对所述可疑目标进行跟踪拍摄的视频;
所述数据库服务器,用于存储所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,所述第一相机的内参数和所述第二相机的内参数、所述第一相机坐标系和所述第二相机坐标系之间的位置关系、所述第一相机和所述第二相机与所述伺服云台三者之间的位置关系,所述伺服云台的旋转中心的经纬度以及海拔高度,其中,所述内参数为相机中心点位置、相机在X轴和Y轴两个方向的焦距以及相机镜头的畸变参数;所述第一相机坐标系和第二相机坐标系之间的位置关系为相机在X轴、Y轴以及Z轴三个方向上的偏移以及夹角。
采用上述进一步方案的有益效果是:通过在处理设备中设置用于承载系统逻辑运算的系统服务器,对无人机的位置信息以及相机和云台之间的参数信息进行运算,以及对系统运行模式进行设置;通过在处理设备中设置用于存储相关视频数据的视频服务器,存储所有的视频数据,记录发现无人机时,用户手动操作的相关视频信息、与无人机相关的参数信息以及对无人机干扰打击的相关信息,为后续事件提供证据以及依据;通过在处理设备中设置用于存储系统全部工作数据的数据库服务器,存储系统工作的全部数据、系统的静态参数,系统的工作数据以及用户日志数据。
进一步地,该系统还包括:无线干扰器、报警装置以及操作终端,
所述无线干扰器设置在所述伺服云台上,所述报警装置设置在操作终端中,
所述无线干扰器,用于在对所述可疑目标进行跟踪拍摄的过程中干扰所述可疑目标;
所述报警装置,用于在对所述可疑目标进行跟踪拍摄的过程中提示用户系统发现所述可疑目标;
所述操作终端,用于在所述获取扫描区域内的图像之前,切换系统的检测模式,其中,所述检测模式为:自动模式、半自动模式以及手动模式。
采用上述进一步方案的有益效果是:通过设置对可疑目标进行干扰打击的无线干扰器,在发现无人机时,系统可以选择对无人机进行干扰打击,消除无人机对探测区域的安全隐患。通过设置报警装置和用于手动控制系统的操作终端,在发现无人机时,报警装置会发出报警,用户可以根据实际情况通过操作终端对无人机进行人工干扰打击。
附图说明
图1为本发明提供的监测方法的示意性流程图之一;
图2为本发明提供的监测方法的示意性流程图之二;
图3为本发明提供的监测方法的示意性流程图之三;
图4为本发明提供的监测方法的示意性流程图之四;
图5为本发明提供的监测方法的示意性流程图之五;
图6为本发明提供的监测方法的示意性流程图之六;
图7为本发明提供的监测方法的原理示意图之一;
图8为本发明提供的监测方法的原理示意图之二;
图9为本发明提供的无人机监测系统的结构示意性之一;
图10为本发明提供的无人机监测系统的结构示意性之二;
图11为本发明提供的无人机监测系统的结构示意性之三;
图12为本发明提供的无人机监测系统的结构示意性之四;
图13为本发明提供的无人机监测系统的结构示意性之五;
图14为本发明提供的无人机监测系统的结构示意性之六。
附图标号说明:
1-第一相机;2-第二相机;3-伺服云台。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1至图14所示,图1为本发明提供的监测方法的示意性流程图之一;图2为本发明提供的监测方法的示意性流程图之二;图3为本发明提供的监测方法的示意性流程图之三;图4为本发明提供的监测方法的示意性流程图之四;图5为本发明提供的监测方法的示意性流程图之五;图6为本发明提供的监测方法的示意性流程图之六;图7为本发明提供的监测方法的原理示意图之一;图8为本发明提供的监测方法的原理示意图之二;图9为本发明提供的无人机监测系统的结构示意性之一;图10为本发明提供的无人机监测系统的结构示意性之二;图11为本发明提供的无人机监测系统的结构示意性之三;图12为本发明提供的无人机监测系统的结构示意性之四;图13为本发明提供的无人机监测系统的结构示意性之五;图14为本发明提供的无人机监测系统的结构示意性之六。
实施例1
本实施例提供了一种无人机监测方法,该无人机监测方法包括:
步骤1,获取扫描区域内的图像;
步骤2,通过第一相机以及第二相机形成立体视觉判断所述图像中是否存在可疑目标;
步骤3,若是,则计算所述可疑目标的标准位置,并对所述可疑目标进行跟踪拍摄。其中,可疑目标可以为无人机。
如图14所示,本发明实施例提供了基于红外热成像相机与可见光谱相机复合的阵列式无人机监测系统及其算法。伺服云台可以简称为云台,云台通常设置在室外,图中所示图像的中间为云台,其中,图中所示图像的左侧为红外热成像相机,图中所示图像的右侧为可见光谱相机。
无人机监测系统包括布置在防范区域周边的多套前端设备、布置在中心机房的服务器组和指挥操作部分,以及光纤网络和供电系统。
系统总体架构如图9至图13所示,前端设备可以包括伺服云台、红外热成像相机、可见光谱相机、嵌入式计算单元、网络设备、电源设备以及无线电干扰器等。后端设备可以包括系统服务器、视频服务器、数据库服务器、报警装置、操作终端以及可选的大屏显示系统等。
前端设备主要工作模式包括自主空域扫描、自主目标跟踪、指定区域搜索、按照指令动作以及干扰打击。
自主目标跟踪。系统探测到疑似“小慢低”无人机目标后,对无人机进行实时跟踪,保持无人机落在相机图像的中心位置,同时实时向中心端传递云台水平和垂直方位角等工作数据。
干扰打击。在自主目标跟踪模式或者按照指令动作模式下,根据中心端的指令启动或停止干扰打击动作。中心端可以为处理设备,处理设备可以为处理器。
如图7所示,在自动模式下,如果前端设备探测到一个疑似“小慢低”目标后,系统服务器会收到来自前端设备的报告。图7为防御范围的一个面的一部分的俯视示意图。前端设备D0探测到疑似目标P0,报告到系统服务器目标所在的向量V,可能的范围从P1到P2,系统服务器收到报告后,会发出指令给邻近的没有跟踪任务的多个前端设备,比如图7中的D1和D2,令其在P1到P2范围内搜索疑似目标,系统服务器收到多个前端设备上传的目标向量后综合计算,可以精确得出目标的位置、尺寸、航向、航速等,根据运动特性进一步判定其是否为“小慢低”目标,即是否为无人机,如果是则在全自动模式下会启动干扰打击,直到无人机降落,无论系统工作在什么模式下,都会通过操作终端给出报警信息,在半自动和手动模式下,由操作人员决定是否干扰打击。从前端设备探测到疑似目标开始直到整个操作完成期间的视频数据,由系统服务器通知视频服务器将其长期保存。整个过程的工作数据记录在数据库服务器中。
所述计算所述可疑目标的位置并对所述可疑目标进行跟踪拍摄,包括:
获取由可疑目标所在位置的坐标和发现可疑目标的第一相机所处的相应的第一伺服云台所在位置的坐标形成的第一向量:
预设可疑目标在所述第一向量中覆盖的距离范围;
调用没有跟踪任务的第二伺服云台在所述距离范围内搜索可疑目标;
获取所述第二伺服云台所在位置的坐标与所述可疑目标所在位置的坐标之间形成的第二向量;
根据所述第一向量以及所述第二向量,计算可疑目标的的运动特性;
根据所述可疑目标的的运动特性,判断是否对可疑目标进行干扰打击操作,
若是,则对可疑目标进行干扰打击,
若否,则对可疑目标不采取干扰打击操作;
并判断是否通过报警装置进行报警,
若是,则通过报警装置进行报警,
若否,则报警装置不进行报警。
通过设置对可疑目标进行干扰打击的无线干扰器,在发现无人机时,系统可以选择对无人机进行干扰打击,消除无人机对探测区域的安全隐患。通过设置报警装置和用于手动控制系统的操作终端,在发现无人机时,报警装置会发出报警,用户可以根据实际情况通过操作终端对无人机进行人工干扰打击。
在需要检测的区域内设置多台伺服云台,在每个伺服云台的两侧端面上分别设置第一相机和第二相机,通过利用两个相机形成双目视觉来发现无人机以及检测无人机的位置信息,如此发现无人机,在发现无人机之后,通过双目视觉根据无人机的位置信息对无人机进行跟踪监视,实现低空低慢小目标的发现、识别、管制以及处置。此外,通过两个相机检测无人机,改变传统雷达探测无人机的观念,降低了无人机的检测成本,提高无人机检测系统的精准性。其中,可疑目标即为无人机。
实施例2
在实施例1基础上,本实施例中所述步骤2通过第一相机以及第二相机形成立体视觉判断所述图像中是否包含可疑目标,包括:
所述图像包括在第一时间段内获取的第一图像以及第二时间段内获取的第二图像;
步骤21:在所述第一时间段内时,对所述第一图像进行计算,并根据结算结果判断所述第一图像中是否存在疑似目标;
步骤211:若是,则通过第一相机以及第二相机形成立体视觉对所述第一图像中的疑似目标进行分析处理,并根据分析结果判断所述疑似目标是否为所述可疑目标;若是,则执行步骤3;
其中,所述在第一时间段内获取的第一图像包括:
实时计算太阳的方位角,根据所述太阳的方位角调节第一相机和第二相机以及伺服云台的运动轨迹;
根据调整后的运动轨迹,获取所述第一图像。
前端设备的典型参数:红外热成像相机传感器分辨率可以为640*480,像元尺寸可以为17μm,镜头焦距可以为100mm,视场角可以为6.2°*4.7°,空间分辨率可以为0.170mrad。对于宽度1m高度0.5m的“小慢低”目标,依照约翰逊准则,红外热成像相机传感器的探测距离为约4000m,大约1.5像素,识别距离约1000m。大约6像素,辨认距离500m。大约12像素。假设云台水平方向扫描范围为180°,垂直方向为60°,前端设备在证相机成像质量的前提下,30s可完成一次扫描过程。如果前述“小慢低”无人机的飞行速度为20m/s,即72km/h,则平均探测距离为3400m,对于更大的目标探测跟踪更远,而对于更小的目标,其探测距离会更近。如果防护范围要求严格,可通过适当增加前端设备密度的办法,交叠每个前端设备的探测区域,缩短探测到“小慢低”无人机的时间,也就等于可以在更远的距离探测目标。
热成像相机能够适应白天无人机的检测环境,热成像相机对于大目标的探测距离较长,便于维护更换,并且热成像相机的型号较多,可以根据实际需要选择适宜的热成像相机;可见光谱相机能够适应夜间无人机的检测环境。通过嵌入式计算单元实时计算太阳方位角,根据太阳方位角调整伺服云台,防止太阳直射相机镜头而导致相机损坏。此外,嵌入式计算单元可以初步计算无人机的位置数据,为处理设备提供依据。另外,处理设备根据实际检测情况向跟踪伺服设备发出指令,控制跟踪伺服设备执行云台运动的信号,伺服云台根据信号进行相应的运动,以对无人机进行跟踪,实时检测无人机的运动情况。
实施例3
在实施例2础上,本实施例中所述步骤2通过第一相机以及第二相机形成立体视觉判断所述图像中是否包含可疑目标,还包括:
步骤22:在所述第二时间段内时,判断所述第二图像中是否存在所述可疑目标;若是,则执行步骤3。
自主空域扫描。前端设备的主要工作模式。中心端会发送该前端设备需要扫描搜索的空域范围,并将其转换为本机云台的水平角度范围和垂直角度范围,前端设备自动在指定的范围内连续进行扫描。
白天工作时以红外热成像相机为主,以可见光谱相机为辅进行工作,会实时计算太阳方位角,并在扫描过程中避开太阳,以免对红外热成像相机造成不可逆损坏。前端设备的扫描范围是重叠的,这样不会造成应该发现的目标错失。在扫描过程中红外热成像相机连续对图像进行计算,一旦发现疑似目标,前端设备利用红外热成像相机和可见光谱相机的立体视觉对疑似目标进行进一步分析确认,并结合云台实时参数计算疑似目标的方位角、几何尺寸以及疑似目标与前端设备之间的距离范围,之所以为范围而不是精确距离,是因为两相机的工作原理不同,看到的图像存在不一致性;一经确认立即将前述数据上传中心端,中心端即处理设备,并转入自主目标跟踪工作模式。
夜间工作时,由于可见光谱相机不能看到目标的完整形态,最多只能捕捉到疑似目标指示灯的闪烁,可见光谱相机采集的图像只是用于帮助大约确认疑似飞行目标是否为无人机,而无法对计算目标的几何尺寸以及疑似目标与前端设备之间的距离起到帮助作用,所以此时给出的距离范围是在假设无人机尺寸范围的前提下计算所得,会比白天的范围更大。同样的,这些数据也会上传中心端,并转入自主目标跟踪工作模式。
热成像相机能够适应白天无人机的检测环境,热成像相机对于大目标的探测距离较长,便于维护更换,并且热成像相机的型号较多,可以根据实际需要选择适宜的热成像相机;可见光谱相机能够适应夜间无人机的检测环境。通过嵌入式计算单元实时计算太阳方位角,根据太阳方位角调整伺服云台,防止太阳直射相机镜头而导致相机损坏。此外,嵌入式计算单元可以初步计算无人机的位置数据,为处理设备提供依据。另外,处理设备根据实际检测情况向跟踪伺服设备发出指令,控制跟踪伺服设备执行云台运动的信号,伺服云台根据信号进行相应的运动,以对无人机进行跟踪,实时检测无人机的运动情况。
实施例4
在实施例3基础上,本实施例中所述步骤3计算所述可疑目标的标准位置,包括:
步骤31:在所述第一时间段内时,获取所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
或者步骤32:在所述第二时间段内且存在所述可疑目标时,获取所述可疑目标的预设尺寸范围,并在预设尺寸范围内,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
步骤33:根据所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围,确定所述可疑目标的标准位置。其中,运动特性为位置、尺寸、航向以及航速。
处理设备可以统称为后端设备,后端设备中与系统核心逻辑有关的主要包括系统服务器、视频服务器、数据库服务器以及操作终端。对于较大的系统,可以配置多个视频服务器和数据库服务器,也可以配置多个操作终端。
上述系统服务器中,系统服务器承载系统的核心运作算法,为整个系统的大脑。系统的工作模式包括全自动模式,半自动模式和手动模式。
上述视频服务器中,视频服务器负责存储所有的视频数据,普通的视频会周期性覆盖,探测到疑似目标后直到干扰打击完成的所有视频,以及操作人员人工操作的相关视频会长期保存。
上述数据库服务器中,数据库服务器存储系统工作的全部数据,视频数据除外,具体地,主要包括三大类数据,一是静态参数,包括每台前端设备的标定参数、位置参数、网络参数等;二是工作数据,包括每台前端设备探测到疑似目标的时间、目标尺寸、移动轨迹、干扰打击动作等;三是日志数据,包括操作人员登录退出日志,工人操作记录日志、设备故障日志等。
通过设置对可疑目标进行干扰打击的无线干扰器,在发现无人机时,系统可以选择对无人机进行干扰打击,消除无人机对探测区域的安全隐患。通过设置报警装置和用于手动控制系统的操作终端,在发现无人机时,报警装置会发出报警,用户可以根据实际情况通过操作终端对无人机进行人工干扰打击。
热成像相机能够适应白天无人机的检测环境,热成像相机对于大目标的探测距离较长,便于维护更换,并且热成像相机的型号较多,可以根据实际需要选择适宜的热成像相机;可见光谱相机能够适应夜间无人机的检测环境。通过嵌入式计算单元实时计算太阳方位角,根据太阳方位角调整伺服云台,防止太阳直射相机镜头而导致相机损坏。此外,嵌入式计算单元可以初步计算无人机的位置数据,为处理设备提供依据。另外,处理设备根据实际检测情况向跟踪伺服设备发出指令,控制跟踪伺服设备执行云台运动的信号,伺服云台根据信号进行相应的运动,以对无人机进行跟踪,实时检测无人机的运动情况。
实施例5
在实施例4基础上,本实施例中所述获取所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,包括:
步骤311:获取标定模板的定位信息以及所述伺服云台指向所述标定模板时在水平方向和垂直方向的位置信息,其中,定位信息为:标定模板的经纬度以及海拔高度;
步骤312:根据所述标定模板的定位信息以及所述伺服云台指向所述标定模板时在水平方向和垂直方向的位置信息,获取所述第一相机的内参数和所述第二相机的内参数、所述第一相机坐标系和所述第二相机坐标系之间的位置关系、所述第一相机和所述第二相机与所述伺服云台三者之间的位置关系,所述伺服云台的旋转中心的经纬度以及海拔高度,其中,所述内参数为相机中心点位置、相机在X轴和Y轴两个方向的焦距以及相机镜头的畸变参数;所述第一相机坐标系和第二相机坐标系之间的位置关系为相机在X轴、Y轴以及Z轴三个方向上的偏移以及夹角。
对于上述安装标定方法。前端设备在安装后需要对设备进行标定,标定方法是选取多个点,在每个点上放置标定专用的图案模板,用差分GPS(Global PositioningSystem,全球定位系统)给出图案模板的精确定位,精确定位包括:精确的经纬度和海拔高度,并控制云台旋转,让两相机指向该模板,记录云台水平和垂直方向的位置数据,然后分别拍摄多组照片。所有选取的点位都完成后,最后通过专用软件计算出标定参数。主要标定参数包括:两相机镜头的内参数,例如:中心点位置、XY两方向的焦距以及镜头畸变参数等;两相机坐标系之间的位置关系,例如:XYZ三个方向的偏移与夹角、相机坐标系与云台之间的位置关系以及云台旋转中心的经纬度坐标和海拔高度等。
上述差分GPS是指:首先利用已知精确三维坐标的差分GPS基准台,求得伪距修正量或位置修正量,再将这个修正量实时或事后发送给用户,例如:发送给GPS导航仪,对用户的测量数据进行修正,以提高GPS定位精度。
上述标定专用的图案模板的作用为:在机器视觉、图像测量、摄影测量、三维重建等应用中,为校正镜头畸变;确定物理尺寸和像素间的换算关系以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,需要建立相机成像的几何模型。通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算,可以得出相机的几何模型,从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定模板,即标定专用的图案模板。
对于指定区域搜索工作模式,根据中心端发出的探测向量以及该向量上一个距离范围,可以用两点表示,每个点包括经纬度和海拔高度,自动计算生成云台扫描工作数据,并对该范围内的疑似目标进行搜索,直到找到疑似目标为止,然后与自主空域扫描工作模式一样,完成数据上传,并转入自主目标跟踪工作模式。
自主目标跟踪的工作模式,探测到疑似“小慢低”无人机目标后,对无人机进行实时跟踪,保持目标无人机落在相机图像的中心位置,同时实时向中心端传递云台水平和垂直方位角等工作数据。
按照指令动作的工作模式,由操作人员在中心机房的操作终端上人工操作前端设备的扫描动作。
半自动模式下,系统只是负责探测到目标,报警后由操作人员决定是否对无人机进行干扰打击,这种工作模式下,同样会保存视频数据和工作数据,日志中记录操作的操作过程和操作结果。
手动模式下,前端设备的一切动作由操作人员决定,不会自动进行扫描搜索,操作人员决定前端的云台如何运动以及是否进行干扰打击等,人工操作的视频是否长期保存由操作人员决定,全部工作数据和日志数据记录在数据库服务器中。
系统工作在哪种模式可以随时切换,操作人员可以对前端设备进行分组工作,分别指定其工作模式。
上述操作终端结构中,系统的人机界面,主要有地图界面、视频界面、前端设备工作状态、工作报警、故障报警以及人工操作界面等内容。
通过嵌入式计算单元实时计算太阳方位角,根据太阳方位角调整伺服云台,防止太阳直射相机镜头而导致相机损坏。此外,嵌入式计算单元可以初步计算无人机的位置数据,为处理设备提供依据。另外,处理设备根据实际检测情况向跟踪伺服设备发出指令,控制跟踪伺服设备执行云台运动的信号,伺服云台根据信号进行相应的运动,以对无人机进行跟踪,实时检测无人机的运动情况。
实施例6
在实施例1至实施例5任一实施例的基础上,本实施例提供了一种无人机监测系统,该监测系统包括:多个用于获取扫描区域内的图像的第一相机1、多个辅助所述第一相机获取扫描区域内的图像的第二相机2、多个带动所述第一相机以及第二相机运动的伺服云台3、多个跟踪伺服设备以及处理设备,
一个所述第一相机1对应且可转动地设置在一个所述伺服云台3的一侧端面上,所述第二相机2可转动地设置在所述伺服云台3的另一侧端面上,其中,所述第一相机1与所述第二相机2位于同一平面上,所述第一相机1与所述第二相机2的光轴互相平行;
多个所述第一相机1、多个所述第二相机2以及多个所述跟踪伺服设备均分别与所述处理设备连接,所述跟踪伺服设备与所述伺服云台连接,多个所述跟踪伺服设备分别一一对应地与多个所述伺服云台3连接。其中,可疑目标可以为无人机。
多个所述第一相机以及多个所述第二相机用于获取扫描区域内的图像;
所述处理设备用于通过第一相机以及第二相机形成立体视觉判断所述图像中是否存在可疑目标;
所述处理设备还用于计算所述可疑目标的标准位置;
所述跟踪伺服设备用于对所述可疑目标进行跟踪拍摄。
如图14所示,本发明实施例提供了基于红外热成像相机与可见光谱相机复合的阵列式无人机监测系统及其算法。伺服云台可以简称为云台,云台通常设置在室外,图14中所示的图像的中部为伺服云台3,其中,图14中所示的图像的左侧为红外热成像相机,即第一相机1,图14中所示的图像的右侧为可见光谱相机,即第二相机2。
无人机监测系统包括布置在防范区域周边的多套前端设备、布置在中心机房的服务器组和指挥操作部分,以及光纤网络(即网络设备)和供电系统。系统总体架构如图9至图14所示。前端设备可以包括伺服云台、红外热成像相机、可见光谱相机、嵌入式计算单元、网络设备、电源设备以及无线电干扰器等。
后端设备可以包括系统服务器、视频服务器、数据库服务器、报警装置、操作终端以及可选的大屏显示系统等。
前端设备主要工作模式包括自主空域扫描、自主目标跟踪、指定区域搜索、按照指令动作以及干扰打击。
自主目标跟踪。系统探测到疑似“小慢低”无人机目标后,对无人机进行实时跟踪,保持无人机落在相机图像的中心位置,同时实时向中心端传递云台水平和垂直方位角等工作数据。
干扰打击。在自主目标跟踪模式或者按照指令动作模式下,根据中心端的指令启动或停止干扰打击动作。中心端可以为处理设备。
在自动模式下,如果前端设备探测到一个疑似“小慢低”目标后,系统服务器会收到来自前端设备的报告。图7为防御范围的一个面的一部分的俯视示意图。前端设备D0探测到疑似目标P0,报告到系统服务器目标所在的向量V,可能的范围从P1到P2,系统服务器收到报告后,会发出指令给邻近的没有跟踪任务的多个前端设备,比如图7中的D1和D2,令其在P1到P2范围内搜索疑似目标,系统服务器收到多个前端设备上传的目标向量后综合计算,可以精确得出目标的位置、尺寸、航向、航速等,根据运动特性进一步判定其是否为“小慢低”目标,即是否为无人机,如果是则在全自动模式下会启动干扰打击,直到无人机降落,无论系统工作在什么模式下,都会通过操作终端给出报警信息,在半自动和手动模式下,由操作人员决定是否干扰打击。从前端设备探测到疑似目标开始直到整个操作完成期间的视频数据,由系统服务器通知视频服务器将其长期保存。整个过程的工作数据记录在数据库服务器中。
所述计算所述可疑目标的位置并对所述可疑目标进行跟踪拍摄,包括:
获取由可疑目标所在位置的坐标和发现可疑目标的第一相机所处的相应的第一伺服云台所在位置的坐标形成的第一向量:
预设可疑目标在所述第一向量中覆盖的距离范围;
调用没有跟踪任务的第二伺服云台在所述距离范围内搜索可疑目标;
获取所述第二伺服云台所在位置的坐标与所述可疑目标所在位置的坐标之间形成的第二向量;
根据所述第一向量以及所述第二向量,计算可疑目标的的运动特性;
根据所述可疑目标的的运动特性,判断是否对可疑目标进行干扰打击操作,
若是,则对可疑目标进行干扰打击,
若否,则对可疑目标不采取干扰打击操作;
并判断是否通过报警装置进行报警,
若是,则通过报警装置进行报警,
若否,则报警装置不进行报警。
通过设置对可疑目标进行干扰打击的无线干扰器,在发现无人机时,系统可以选择对无人机进行干扰打击,消除无人机对探测区域的安全隐患。通过设置报警装置和用于手动控制系统的操作终端,在发现无人机时,报警装置会发出报警,用户可以根据实际情况通过操作终端对无人机进行人工干扰打击。
在需要检测的区域内设置多台伺服云台,在每个伺服云台的两侧端面上分别设置第一相机和第二相机,通过利用两个相机形成双目视觉来发现无人机以及检测无人机的位置信息,如此发现无人机,在发现无人机之后,通过双目视觉根据无人机的位置信息对无人机进行跟踪监视,实现低空低慢小目标的发现、识别、管制以及处置。此外,通过两个相机检测无人机,改变传统雷达探测无人机的观念,降低了无人机的检测成本,提高无人机检测系统的精准性。其中,可疑目标即为无人机。
实施例7
在实施例6的础上,本实施例中所述第一相机1可以为热成像相机,所述第二相机2可以为可见光谱相机。
前端设备的典型参数:红外热成像相机传感器分辨率可以为640*480,像元尺寸可以为17μm,镜头焦距可以为100mm,视场角可以为6.2°*4.7°,空间分辨率可以为0.170mrad。对于宽度1m高度0.5m的“小慢低”目标,依照约翰逊准则,红外热成像相机传感器的探测距离为约4000m,大约1.5像素,识别距离约1000m。大约6像素,辨认距离500m。大约12像素。假设云台水平方向扫描范围为180°,垂直方向为60°,前端设备在证相机成像质量的前提下,30s可完成一次扫描过程。如果前述“小慢低”无人机的飞行速度为20m/s,即72km/h,则平均探测距离为3400m,对于更大的目标探测跟踪更远,而对于更小的目标,其探测距离会更近。如果防护范围要求严格,可通过适当增加前端设备密度的办法,交叠每个前端设备的探测区域,缩短探测到“小慢低”无人机的时间,也就等于可以在更远的距离探测目标。
热成像相机能够适应白天无人机的检测环境,热成像相机对于大目标的探测距离较长,便于维护更换,并且热成像相机的型号较多,可以根据实际需要选择适宜的热成像相机;可见光谱相机能够适应夜间无人机的检测环境。
实施例8
在实施例6的础上,本实施例中监测系统还包括:用于传输系统内部信号的网络设备、用于计算位置信息的嵌入式计算单元以及电源设备,
多个所述第一相机1、多个所述第二相机2以及多个所述跟踪伺服设备均分别通过所述网络设备与所述处理设备连接;
所述嵌入式计算单元设置在所述伺服云台3内部;
所述电源设备与多个所述伺服云台3、多个所述控制伺服云台3运动的跟踪伺服设备以及所述处理设备均连接。
所述图像包括在第一时间段内获取的第一图像以及第二时间段内获取的第二图像;
所述处理设备,用于在所述第一时间段内时,对所述第一图像进行计算,并根据结算结果判断所述第一图像中是否存在疑似目标;
所述处理设备,还用于若是,则通过第一相机以及第二相机形成立体视觉对所述第一图像中的疑似目标进行分析处理,并根据分析结果判断所述疑似目标是否为所述可疑目标;若是,则计算所述可疑目标的标准位置,并对所述可疑目标进行跟踪拍摄;
其中,所述在第一时间段内获取的第一图像包括:
所述处理设备,还用于实时计算太阳的方位角,根据所述太阳的方位角调节第一相机和第二相机以及伺服云台的运动轨迹;
以及用于根据调整后的运动轨迹,获取所述第一图像。
自主空域扫描。前端设备的主要工作模式。中心端会发送该前端设备需要扫描搜索的空域范围,并将其转换为本机云台的水平角度范围和垂直角度范围,前端设备自动在指定的范围内连续进行扫描。
白天工作时以红外热成像相机为主,以可见光谱相机为辅进行工作,会实时计算太阳方位角,并在扫描过程中避开太阳,以免对红外热成像相机造成不可逆损坏。前端设备的扫描范围是重叠的,这样不会造成应该发现的目标错失。在扫描过程中红外热成像相机连续对图像进行计算,一旦发现疑似目标,前端设备利用红外热成像相机和可见光谱相机的立体视觉对疑似目标进行进一步分析确认,并结合云台实时参数计算疑似目标的方位角、几何尺寸以及疑似目标与前端设备之间的距离范围,之所以为范围而不是精确距离,是因为两相机的工作原理不同,看到的图像存在不一致性;一经确认立即将前述数据上传中心端,中心端即处理设备,并转入自主目标跟踪工作模式。
夜间工作时,由于可见光谱相机不能看到目标的完整形态,最多只能捕捉到疑似目标指示灯的闪烁,可见光谱相机采集的图像只是用于帮助大约确认疑似飞行目标是否为无人机,而无法对计算目标的几何尺寸以及疑似目标与前端设备之间的距离起到帮助作用,所以此时给出的距离范围是在假设无人机尺寸范围的前提下计算所得,会比白天的范围更大。同样的,这些数据也会上传中心端,并转入自主目标跟踪工作模式。
通过嵌入式计算单元实时计算太阳方位角,根据太阳方位角调整伺服云台,防止太阳直射相机镜头而导致相机损坏。此外,嵌入式计算单元可以初步计算无人机的位置数据,为处理设备提供依据。另外,处理设备根据实际检测情况向跟踪伺服设备发出指令,控制跟踪伺服设备执行云台运动的信号,伺服云台根据信号进行相应的运动,以对无人机进行跟踪,实时检测无人机的运动情况。
实施例9
在实施例8的础上,本实施例中所述处理设备包括:用于承载系统逻辑运算的系统服务器、用于存储相关视频数据的视频服务器以及用于存储系统全部工作数据的数据库服务器,
所述系统服务器、视频服务器以及数据库服务器分别通过所述网络设备与所述第一相机1、所述第二相机2以及所述跟踪伺服设备连接。
所述系统服务器,用于在所述第一时间段内时,获取所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
或者在所述第二时间段内且存在所述可疑目标时,获取所述可疑目标的预设尺寸范围,并在预设尺寸范围内,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
根据所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围,确定所述可疑目标的标准位置;
所述视频服务器,用于存储从检测到可疑目标至对可疑目标干扰打击的视频、以及存储用户人工操作的相应视频;
所述数据库服务器,用于存储静态参数、工作数据以及日志数据。
所述视频服务器,用于存储所述对所述可疑目标进行跟踪拍摄的视频;
所述数据库服务器,用于存储所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,所述第一相机的内参数和所述第二相机的内参数、所述第一相机坐标系和所述第二相机坐标系之间的位置关系、所述第一相机和所述第二相机与所述伺服云台三者之间的位置关系,所述伺服云台的旋转中心的经纬度以及海拔高度,其中,所述内参数为相机中心点位置、相机在X轴和Y轴两个方向的焦距以及相机镜头的畸变参数;所述第一相机坐标系和第二相机坐标系之间的位置关系为相机在X轴、Y轴以及Z轴三个方向上的偏移以及夹角。
处理设备可以统称为后端设备,后端设备中与系统核心逻辑有关的主要包括系统服务器、视频服务器、数据库服务器以及操作终端。对于较大的系统,可以配置多个视频服务器和数据库服务器,也可以配置多个操作终端。
上述系统服务器中,系统服务器承载系统的核心运作算法,为整个系统的大脑。系统的工作模式包括全自动模式,半自动模式和手动模式。
上述视频服务器中,视频服务器负责存储所有的视频数据,普通的视频会周期性覆盖,探测到疑似目标后直到干扰打击完成的所有视频,以及操作人员人工操作的相关视频会长期保存。
上述数据库服务器中,数据库服务器存储系统工作的全部数据,视频数据除外,具体地,主要包括三大类数据,一是静态参数,包括每台前端设备的标定参数、位置参数、网络参数等;二是工作数据,包括每台前端设备探测到疑似目标的时间、目标尺寸、移动轨迹、干扰打击动作等;三是日志数据,包括操作人员登录退出日志,工人操作记录日志、设备故障日志等。
通过在处理设备中设置用于承载系统逻辑运算的系统服务器,对无人机的位置信息以及相机和云台之间的参数信息进行运算,以及对系统运行模式进行设置;通过在处理设备中设置用于存储相关视频数据的视频服务器,存储所有的视频数据,记录发现无人机时,用户手动操作的相关视频信息、与无人机相关的参数信息以及对无人机干扰打击的相关信息,为后续事件提供证据以及依据;通过在处理设备中设置用于存储系统全部工作数据的数据库服务器,存储系统工作的全部数据、系统的静态参数,系统的工作数据以及用户日志数据。
实施例10
在实施例6的础上,本实施例中还包括:用于对可疑目标进行干扰打击的无线干扰器、用于提示用户系统发现可疑目标的报警装置以及用于手动控制系统的操作终端,
所述无线干扰器安装在所述伺服云台上,所述报警装置安装在操作终端中,所述操作终端分别与所述伺服云台以及所述跟踪伺服设备连接。
对于指定区域搜索工作模式,根据中心端发出的探测向量以及该向量上一个距离范围,可以用两点表示,每个点包括经纬度和海拔高度,自动计算生成云台扫描工作数据,并对该范围内的疑似目标进行搜索,直到找到疑似目标为止,然后与自主空域扫描工作模式一样,完成数据上传,并转入自主目标跟踪工作模式。
所述无线干扰器设置在所述伺服云台上,所述报警装置设置在操作终端中,
所述无线干扰器,用于在对所述可疑目标进行跟踪拍摄的过程中干扰所述可疑目标;
所述报警装置,用于在对所述可疑目标进行跟踪拍摄的过程中提示用户系统发现所述可疑目标;
所述操作终端,用于在所述获取扫描区域内的图像之前,切换系统的检测模式,其中,所述检测模式为:自动模式、半自动模式以及手动模式。
自主目标跟踪的工作模式,探测到疑似“小慢低”无人机目标后,对无人机进行实时跟踪,保持目标无人机落在相机图像的中心位置,同时实时向中心端传递云台水平和垂直方位角等工作数据。
按照指令动作的工作模式,由操作人员在中心机房的操作终端上人工操作前端设备的扫描动作。
半自动模式下,系统只是负责探测到目标,报警后由操作人员决定是否对无人机进行干扰打击,这种工作模式下,同样会保存视频数据和工作数据,日志中记录操作的操作过程和操作结果。
手动模式下,前端设备的一切动作由操作人员决定,不会自动进行扫描搜索,操作人员决定前端的云台如何运动以及是否进行干扰打击等,人工操作的视频是否长期保存由操作人员决定,全部工作数据和日志数据记录在数据库服务器中。
系统工作在哪种模式可以随时切换,操作人员可以对前端设备进行分组工作,分别指定其工作模式。
上述操作终端结构中,系统的人机界面,主要有地图界面、视频界面、前端设备工作状态、工作报警、故障报警以及人工操作界面等内容。
通过设置对可疑目标进行干扰打击的无线干扰器,在发现无人机时,系统可以选择对无人机进行干扰打击,消除无人机对探测区域的安全隐患。通过设置报警装置和用于手动控制系统的操作终端,在发现无人机时,报警装置会发出报警,用户可以根据实际情况通过操作终端对无人机进行人工干扰打击。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人机监测方法,其特征在于,该无人机监测方法包括:
步骤1,获取扫描区域内的图像;
步骤2,通过第一相机以及第二相机形成立体视觉判断所述图像中是否存在可疑目标;
步骤3,若是,则计算所述可疑目标的标准位置,并对所述可疑目标进行跟踪拍摄。
2.根据权利要求1所述的无人机监测方法,其特征在于,所述步骤2通过第一相机以及第二相机形成立体视觉判断所述图像中是否包含可疑目标,包括:
所述图像包括在第一时间段内获取的第一图像以及第二时间段内获取的第二图像;
在所述第一时间段内时,对所述第一图像进行计算,并根据结算结果判断所述第一图像中是否存在疑似目标;
若是,则通过第一相机以及第二相机形成立体视觉对所述第一图像中的疑似目标进行分析处理,并根据分析结果判断所述疑似目标是否为所述可疑目标;若是,则执行步骤3;
其中,所述在第一时间段内获取的第一图像包括:
实时计算太阳的方位角,根据所述太阳的方位角调节第一相机和第二相机以及伺服云台的运动轨迹;
根据调整后的运动轨迹,获取所述第一图像。
3.根据权利要求2所述的无人机监测方法,其特征在于,所述步骤2通过第一相机以及第二相机形成立体视觉判断所述图像中是否包含可疑目标,还包括:
在所述第二时间段内时,判断所述第二图像中是否存在所述可疑目标;若是,则执行步骤3。
4.根据权利要求3所述的无人机监测方法,其特征在于,所述步骤3计算所述可疑目标的标准位置,包括:
在所述第一时间段内时,获取所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
或者在所述第二时间段内且存在所述可疑目标时,获取所述可疑目标的预设尺寸范围,并在预设尺寸范围内,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
根据所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围,确定所述可疑目标的标准位置。
5.根据权利要求4所述的无人机监测方法,其特征在于,所述获取所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,包括:
获取标定模板的定位信息以及所述伺服云台指向所述标定模板时在水平方向和垂直方向的位置信息,其中,定位信息为:标定模板的经纬度以及海拔高度;
根据所述标定模板的定位信息以及所述伺服云台指向所述标定模板时在水平方向和垂直方向的位置信息,获取所述第一相机的内参数和所述第二相机的内参数、所述第一相机坐标系和所述第二相机坐标系之间的位置关系、所述第一相机和所述第二相机与所述伺服云台三者之间的位置关系,所述伺服云台的旋转中心的经纬度以及海拔高度,其中,所述内参数为相机中心点位置、相机在X轴和Y轴两个方向的焦距以及相机镜头的畸变参数;所述第一相机坐标系和第二相机坐标系之间的位置关系为相机在X轴、Y轴以及Z轴三个方向上的偏移以及夹角。
6.一种无人机监测系统,其特征在于,该监测系统包括:多个第一相机、多个第二相机、多个伺服云台、多个跟踪伺服设备以及处理设备,
一个所述第一相机对应设置在一个所述伺服云台的一侧,多个所述第二相机分别设置在多个所述伺服云台的另一侧,
多个所述第一相机的信号、多个所述第二相机的信号以及多个所述跟踪伺服设备均分别与所述处理设备连接,所述跟踪伺服设备与所述伺服云台连接;
多个所述第一相机以及多个所述第二相机用于获取扫描区域内的图像;
所述处理设备,用于通过第一相机以及第二相机形成立体视觉判断所述图像中是否存在可疑目标;
所述处理设备,还用于计算所述可疑目标的标准位置;
所述跟踪伺服设备,用于对所述可疑目标进行跟踪拍摄。
7.根据权利要求6所述的无人机监测系统,其特征在于,所述第一相机为热成像相机,所述第二相机为可见光谱相机。
8.根据权利要求6所述的无人机监测系统,其特征在于,该监测系统还包括:网络设备以及电源设备,
所述第一相机、所述第二相机以及所述跟踪伺服设备均通过所述网络设备与所述处理设备连接;
所述电源设备与所述伺服云台、所述跟踪伺服设备以及所述处理设备连接;
所述图像包括在第一时间段内获取的第一图像以及第二时间段内获取的第二图像;
所述处理设备,用于在所述第一时间段内时,对所述第一图像进行计算,并根据结算结果判断所述第一图像中是否存在疑似目标;
所述处理设备,还用于若是,则通过第一相机以及第二相机形成立体视觉对所述第一图像中的疑似目标进行分析处理,并根据分析结果判断所述疑似目标是否为所述可疑目标;若是,则计算所述可疑目标的标准位置,并对所述可疑目标进行跟踪拍摄;
其中,所述在第一时间段内获取的第一图像包括:
所述处理设备,还用于实时计算太阳的方位角,根据所述太阳的方位角调节第一相机和第二相机以及伺服云台的运动轨迹;
以及用于根据调整后的运动轨迹,获取所述第一图像。
9.根据权利要求8所述的无人机监测系统,其特征在于,所述处理设备包括:系统服务器、视频服务器以及数据库服务器,
所述系统服务器、视频服务器以及数据库服务器分别通过所述网络设备与所述第一相机、所述第二相机以及所述跟踪伺服设备连接;
所述系统服务器,用于在所述第一时间段内时,获取所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
或者在所述第二时间段内且存在所述可疑目标时,获取所述可疑目标的预设尺寸范围,并在预设尺寸范围内,计算所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围;
根据所述可疑目标的方位角、几何尺寸、所述可疑目标与第一相机之间的距离范围以及所述可疑目标与所述第二相机之间的距离范围,确定所述可疑目标的标准位置;
所述视频服务器,用于存储所述对所述可疑目标进行跟踪拍摄的视频;
所述数据库服务器,用于存储所述第一相机的实时参数、所述第二相机的实时参数以及所述第一相机、所述第二相机和所述伺服云台三者之间的位置关系,所述第一相机的内参数和所述第二相机的内参数、所述第一相机坐标系和所述第二相机坐标系之间的位置关系、所述第一相机和所述第二相机与所述伺服云台三者之间的位置关系,所述伺服云台的旋转中心的经纬度以及海拔高度,其中,所述内参数为相机中心点位置、相机在X轴和Y轴两个方向的焦距以及相机镜头的畸变参数;所述第一相机坐标系和第二相机坐标系之间的位置关系为相机在X轴、Y轴以及Z轴三个方向上的偏移以及夹角。
10.根据权利要求6所述的无人机监测系统,其特征在于,该系统还包括:无线干扰器、报警装置以及操作终端,
所述无线干扰器设置在所述伺服云台上,所述报警装置设置在操作终端中,
所述无线干扰器,用于在对所述可疑目标进行跟踪拍摄的过程中干扰所述可疑目标;
所述报警装置,用于在对所述可疑目标进行跟踪拍摄的过程中提示用户系统发现所述可疑目标;
所述操作终端,用于在所述获取扫描区域内的图像之前,切换系统的检测模式,其中,所述检测模式为:自动模式、半自动模式以及手动模式。
CN201810128587.2A 2018-02-08 2018-02-08 一种无人机监测系统及其监测方法 Active CN108447075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810128587.2A CN108447075B (zh) 2018-02-08 2018-02-08 一种无人机监测系统及其监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810128587.2A CN108447075B (zh) 2018-02-08 2018-02-08 一种无人机监测系统及其监测方法

Publications (2)

Publication Number Publication Date
CN108447075A true CN108447075A (zh) 2018-08-24
CN108447075B CN108447075B (zh) 2020-06-23

Family

ID=63192028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810128587.2A Active CN108447075B (zh) 2018-02-08 2018-02-08 一种无人机监测系统及其监测方法

Country Status (1)

Country Link
CN (1) CN108447075B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109084735A (zh) * 2018-08-29 2018-12-25 北京航空航天大学 一种隧道异常状态监测方法和无人机装置
CN109697428A (zh) * 2018-12-27 2019-04-30 江西理工大学 基于rgb_d和深度卷积网络的无人机识别定位系统
CN110414375A (zh) * 2019-07-08 2019-11-05 北京国卫星通科技有限公司 低空目标的识别方法、装置、存储介质及电子设备
CN110673641A (zh) * 2019-10-28 2020-01-10 上海工程技术大学 一种基于无人机的客机智能维护巡检系统平台
CN111063148A (zh) * 2019-12-30 2020-04-24 神思电子技术股份有限公司 一种远距离夜视目标视频检测方法
CN112364725A (zh) * 2020-10-27 2021-02-12 广东技术师范大学 基于小型无人机群的棉花虫害立体监测方法与系统
CN112508865A (zh) * 2020-11-23 2021-03-16 深圳供电局有限公司 一种无人机巡检避障方法、装置、计算机设备和存储介质
GB2588893A (en) * 2019-10-23 2021-05-19 Airbus Operations Ltd Aerial vehicle detection
CN113780246A (zh) * 2021-11-09 2021-12-10 中国电力科学研究院有限公司 无人机三维航迹监测方法、系统以及三维监测装置
US20220172380A1 (en) * 2019-04-08 2022-06-02 Shenzhen Vision Power Technology Co., Ltd. Three-dimensional light field technology-based optical unmanned aerial vehicle monitoring system
CN114812279A (zh) * 2022-04-28 2022-07-29 江西理工大学 一种无人机的拦截系统以及拦截方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110181712A1 (en) * 2008-12-19 2011-07-28 Industrial Technology Research Institute Method and apparatus for tracking objects
CN103513295A (zh) * 2013-09-25 2014-01-15 青海中控太阳能发电有限公司 一种基于多相机实时拍摄与图像处理的天气监测系统与方法
CN104690731A (zh) * 2015-02-06 2015-06-10 中国人民解放军63908部队 一种排爆机器人的控制系统
CN104902258A (zh) * 2015-06-09 2015-09-09 公安部第三研究所 一种基于立体视觉的多场景人流量统计方法、系统以及双目相机
CN105759834A (zh) * 2016-03-09 2016-07-13 中国科学院上海微系统与信息技术研究所 一种主动捕获低空小型无人飞行器的系统及方法
CN106443659A (zh) * 2016-08-25 2017-02-22 四川九洲空管科技有限责任公司 一种低空慢速小目标探测雷达装置及其探测方法
CN107566078A (zh) * 2017-09-14 2018-01-09 成都安则科技有限公司 一种无人机低空防御系统
CN206893109U (zh) * 2017-07-13 2018-01-16 王浩 一种无人机监测系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110181712A1 (en) * 2008-12-19 2011-07-28 Industrial Technology Research Institute Method and apparatus for tracking objects
CN103513295A (zh) * 2013-09-25 2014-01-15 青海中控太阳能发电有限公司 一种基于多相机实时拍摄与图像处理的天气监测系统与方法
CN104690731A (zh) * 2015-02-06 2015-06-10 中国人民解放军63908部队 一种排爆机器人的控制系统
CN104902258A (zh) * 2015-06-09 2015-09-09 公安部第三研究所 一种基于立体视觉的多场景人流量统计方法、系统以及双目相机
CN105759834A (zh) * 2016-03-09 2016-07-13 中国科学院上海微系统与信息技术研究所 一种主动捕获低空小型无人飞行器的系统及方法
CN106443659A (zh) * 2016-08-25 2017-02-22 四川九洲空管科技有限责任公司 一种低空慢速小目标探测雷达装置及其探测方法
CN206893109U (zh) * 2017-07-13 2018-01-16 王浩 一种无人机监测系统
CN107566078A (zh) * 2017-09-14 2018-01-09 成都安则科技有限公司 一种无人机低空防御系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈文: "基于可见光和红外热像仪的双目视觉运动目标跟踪", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109084735B (zh) * 2018-08-29 2019-07-26 北京航空航天大学 一种基于无人机装置的隧道异常状态监测方法
CN109084735A (zh) * 2018-08-29 2018-12-25 北京航空航天大学 一种隧道异常状态监测方法和无人机装置
CN109697428A (zh) * 2018-12-27 2019-04-30 江西理工大学 基于rgb_d和深度卷积网络的无人机识别定位系统
CN109697428B (zh) * 2018-12-27 2020-07-07 江西理工大学 基于rgb_d和深度卷积网络的无人机识别定位系统
US20220172380A1 (en) * 2019-04-08 2022-06-02 Shenzhen Vision Power Technology Co., Ltd. Three-dimensional light field technology-based optical unmanned aerial vehicle monitoring system
CN110414375A (zh) * 2019-07-08 2019-11-05 北京国卫星通科技有限公司 低空目标的识别方法、装置、存储介质及电子设备
GB2588893A (en) * 2019-10-23 2021-05-19 Airbus Operations Ltd Aerial vehicle detection
CN110673641A (zh) * 2019-10-28 2020-01-10 上海工程技术大学 一种基于无人机的客机智能维护巡检系统平台
CN111063148A (zh) * 2019-12-30 2020-04-24 神思电子技术股份有限公司 一种远距离夜视目标视频检测方法
CN112364725B (zh) * 2020-10-27 2022-04-01 广东技术师范大学 基于小型无人机群的棉花虫害立体监测方法与系统
CN112364725A (zh) * 2020-10-27 2021-02-12 广东技术师范大学 基于小型无人机群的棉花虫害立体监测方法与系统
CN112508865A (zh) * 2020-11-23 2021-03-16 深圳供电局有限公司 一种无人机巡检避障方法、装置、计算机设备和存储介质
CN112508865B (zh) * 2020-11-23 2024-02-02 深圳供电局有限公司 一种无人机巡检避障方法、装置、计算机设备和存储介质
CN113780246A (zh) * 2021-11-09 2021-12-10 中国电力科学研究院有限公司 无人机三维航迹监测方法、系统以及三维监测装置
CN113780246B (zh) * 2021-11-09 2022-02-25 中国电力科学研究院有限公司 无人机三维航迹监测方法、系统以及三维监测装置
CN114812279A (zh) * 2022-04-28 2022-07-29 江西理工大学 一种无人机的拦截系统以及拦截方法

Also Published As

Publication number Publication date
CN108447075B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN108447075A (zh) 一种无人机监测系统及其监测方法
CN108965809A (zh) 雷达引导的视频联动监控系统及控制方法
CN104067111B (zh) 用于跟踪和监测目标对象上的差异的自动化系统和方法
CN109060281A (zh) 基于无人机的一体化桥梁检测系统
CN102646311B (zh) 实时动态巡航图像智能烟雾火情检测系统
CN109444171A (zh) 基于无人机的一体化桥梁检测方法
CN106405540A (zh) 基于雷达和光电设备互补的探测识别装置及方法
CN108008408B (zh) 搜索跟踪成像方法、装置及系统
CN104902246A (zh) 视频监视方法和装置
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN111679695B (zh) 一种基于深度学习技术的无人机巡航及追踪系统和方法
CN104063863B (zh) 用于河道监控的下俯式双目视觉系统及图像处理方法
CN207611142U (zh) 一种利用雷达定位控制高速球机主动跟踪的系统装置
CN103400463B (zh) 一种基于二维图像的林火定位方法和装置
CN102902282A (zh) 基于光轴与惯性轴重合的地理跟踪方法
CN108258613A (zh) 智能巡线光电吊舱及实现巡线的方法
CN104966062A (zh) 视频监视方法和装置
CN106403900A (zh) 飞行物追踪定位系统及方法
CN109573088A (zh) 一种舰载无人机光电引导着舰系统及着舰方法
CN104931070B (zh) 一种光信号注入式仿真方法
CN107360394A (zh) 应用于边防视频监控系统的多预置点动态智能监测方法
CN109597432A (zh) 一种基于车载摄像机组的无人机起降监控方法及系统
CN107561593A (zh) 一种小型无人飞行器复合探测装置
CN107452038A (zh) 基于ais和主动摄像机的复杂水域目标跟踪方法
CN105031868A (zh) 基于火焰规模的自适应灭火方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A UAV monitoring system and its monitoring method

Effective date of registration: 20211118

Granted publication date: 20200623

Pledgee: Yantai Rural Commercial Bank Co.,Ltd. Zhifu District Hongkou sub branch

Pledgor: YANTAI XINFEI INTELLIGENT SYSTEM Co.,Ltd.

Registration number: Y2021980012747

PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20221109

Granted publication date: 20200623

Pledgee: Yantai Rural Commercial Bank Co.,Ltd. Zhifu District Hongkou sub branch

Pledgor: YANTAI XINFEI INTELLIGENT SYSTEM Co.,Ltd.

Registration number: Y2021980012747

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A UAV Monitoring System and Its Monitoring Method

Effective date of registration: 20221111

Granted publication date: 20200623

Pledgee: China Everbright Bank Limited by Share Ltd. Yantai branch

Pledgor: YANTAI XINFEI INTELLIGENT SYSTEM Co.,Ltd.

Registration number: Y2022980021787

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231205

Granted publication date: 20200623

Pledgee: China Everbright Bank Limited by Share Ltd. Yantai branch

Pledgor: YANTAI XINFEI INTELLIGENT SYSTEM Co.,Ltd.

Registration number: Y2022980021787

PC01 Cancellation of the registration of the contract for pledge of patent right