CN111596297B - 基于全景成像及超声旋转对空中无人机的探测装置及方法 - Google Patents

基于全景成像及超声旋转对空中无人机的探测装置及方法 Download PDF

Info

Publication number
CN111596297B
CN111596297B CN202010638681.XA CN202010638681A CN111596297B CN 111596297 B CN111596297 B CN 111596297B CN 202010638681 A CN202010638681 A CN 202010638681A CN 111596297 B CN111596297 B CN 111596297B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
module
processing unit
central processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010638681.XA
Other languages
English (en)
Other versions
CN111596297A (zh
Inventor
李新波
王旺
刘亚周
于晓辉
孙晓东
石屹然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202010638681.XA priority Critical patent/CN111596297B/zh
Publication of CN111596297A publication Critical patent/CN111596297A/zh
Application granted granted Critical
Publication of CN111596297B publication Critical patent/CN111596297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66Sonar tracking systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • G01S15/876Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

基于全景成像及超声旋转对空中无人机的探测装置及方法,属于无人机探测领域,搭载在无人机上,主要包括无线通信模块、中央处理器、全景成像系统、旋转超声模块及极坐标轨迹绘制模块,旋转超声模块包括旋转模块、超声测距模块、旋转角度计算模块及测速模块;地面指挥系统操作搭载有探测装置的无人机升空飞行,全景成像系统对目标无人机进行监控。无线通信模块将实时全景图像传回给地面指挥系统,通过超声旋转模块发现目标无人机方位完成速度测量,极坐标轨迹图绘制,然后通过无线通信模块传回给地面指挥系统。从而得到了全景成像与极坐标轨迹图的对比图,本发明提高了探测精度,并且提升了设备对于复杂外界环境的容错率,快速高效的发现无人机。

Description

基于全景成像及超声旋转对空中无人机的探测装置及方法
技术领域
本发明属于无人机探测领域,具体涉及一种基于全景成像及超声旋转对空中无人机的探测装置及方法。
背景技术
近年来由于无人机技术的快速发展,导致无人机越来越普及,渐渐进入了寻常百姓家,由此也引发了一些新的问题。比如在机场,军事基地这些禁飞区,总会出现一些违规放飞无人机的,这些无人机对机场的秩序产生恶劣影响,威胁人员生命财产安全,也会泄露国家秘密。但是无人机具有低慢小的特点,这就导致地面的雷达系统,对这些黑飞无人机束手无策,所以说现在就迫切的需要一种能够对这些民用无人机进行探测的装置,这种装置安装在无人机上能够在空中对违规的黑飞无人机进行探测,从而能够快速准确得出探测到的无人机方位,速度等。
中国专利号CN109856592A,公开日为2019-06-07,名称为“一种无人机的超声定位装置及其定位方法”,定位装置包括安装于输电线路杆塔上的超声波发射单元以及安装于无人机上的超声波接收定位单元,实现了对无人机与输电线路杆塔之间相对位置的定位。
中国专利号CN111105429A,公开日为2020-05-05,名称为“一种一体化无人机检测方法”,采用单个可见光监控摄像头,对待检测区域的全景图像进行背景建模和阈值设置,得到背景模型和阈值图,并根据背景模型和阈值图,对连续多帧待检测区域全景图像进行全景检测,得到待追踪目标,实现目标的检测、跟踪与识别任务。
无人机现在属于应用比较广泛的民用飞行器,在无人机技术的成熟以及推广之后,如何在空中对违规飞行的无人机进行探测,已经越来越成为一个热点问题,而上述无人机探测装置存在一些缺点。
上述提及的“一种无人机的超声定位装置及其定位方法”是在无人机检修电杆的时候,判断无人机与电杆的相对位置,该方法仅限于无人机维修电杆的时候使用,对于空中其他环境下的无人机定位就起不到应有的作用了。其超声波发射模块固定在电杆上,这种不适合对于空中违规飞行无人机的探测。
上述提及的“一种一体化无人机检测方法”虽然仅仅靠一个摄像头实现了探测,但是对于复杂环境下,在有烟雾、夜晚,或者出现异常光斑的情况下,摄像头探测就不稳定了,所以这样的装置对环境要求比较苛刻,无法满足对复杂环境的适应能力。
发明内容
本发明的目的是为了适应空中复杂的外界环境,提高设备的容错率,而提出了一种基于全景成像及超声旋转对空中无人机的探测装置及方法,采用了全景成像与超声旋转相结合的方式,并且将超声测距与旋转机构组合起来,主要目的是结合无人机空中飞行灵活的特点,在无人机上搭载该探测装置,然后借助于全景成像技术,超声旋转技术,两者一静一动相结合,可以快速准确的在空中对违规操作的黑飞无人机进行探测,监视目标无人机,从而了解目标无人机与搭载有探测装置的无人机相对距离,然后通过数学模型的建立,得出目标无人机的速度,以及飞行轨迹。最终提高了在空中探测无人机的准确性以及效率,避免对人工调整无人机朝向的过度依赖。在全景成像技术出现异常的光斑的时候,可以借助旋转超声来判断该光斑是目标无人机,还是只是光学异常。在旋转超声遇到鸟群的干扰的情况下,又可以通过全景成像来判断出鸟群干扰。从而保证了稳定,准确的发现目标无人机的方位。
为实现上述目的,本发明采用如下技术方案:
本发明提出了一种基于全景成像及超声旋转对空中无人机的探测装置,其特征在于,该探测装置包括地面指挥系统、无线通信模块、中央处理器、全景成像系统、供电系统、旋转超声模块、电动推杆、极坐标轨迹绘制模块、固定座及基座,其中旋转超声模块包括旋转模块、超声测距模块、旋转角度计算模块及测速模块;所述基座固定在搭载有所述探测装置的无人机顶部;所述固定座固定在基座上,固定座为中空的正方体结构;所述地面指挥系统通过无线通信模块与中央处理器通信连接,同时地面指挥系统与搭载有所述探测装置的无人机通信连接,地面指挥系统用于控制搭载有所述探测装置的无人机工作状态,以及实时接收中央处理器采集的无人机目标识别数据,并根据无人机目标识别数据向搭载有所述探测装置的无人机发送飞行指令,使得搭载有所述探测装置的无人机向目标无人机靠近完成跟踪任务,地面指挥系统具有用于实时监控目标无人机的显示界面,显示界面分为:用于显示全景图像的第一显示区域,和用于显示极坐标轨迹图的第二显示区域;所述无线通信模块固定在基座的外部,无线通信模块用于将中央处理器所采集的无人机目标识别数据传送给地面指挥系统;所述中央处理器设置在固定座内部,中央处理器分别与全景成像系统、旋转超声模块及极坐标轨迹绘制模块双向通信连接,中央处理器用于向全景成像系统、旋转超声模块及极坐标轨迹绘制模块发送工作指令,并接收全景成像系统、旋转超声模块及极坐标轨迹绘制模块反馈的信息,以获取无人机目标识别数据;所述全景成像系统固定在固定座的外部,全景成像系统用于采集搭载有所述探测装置的无人机所处环境的全景图像;所述供电系统设置在固定座内部,供电系统分别与无线通信模块、中央处理器、全景成像系统、旋转超声模块、电动推杆及极坐标轨迹绘制模块的电压输入端相连;所述旋转模块包括旋转圆盘及用于驱动旋转圆盘旋转的步进电机,步进电机与中央处理器通信连接;所述超声测距模块用于实时获取目标无人机与搭载有所述探测装置的无人机之间的距离,并将获取的距离信息传送给中央处理器;所述测速模块设置在固定座内部,测速模块分别与超声测距模块、中央处理器、旋转角度计算模块相连,测速模块具有计时器,测速模块用于获取目标无人机的速度信息,并将获取的速度信息传送给中央处理器;所述旋转角度计算模块设置在固定座内部,旋转角度计算模块与旋转模块相连,同时旋转角度计算模块分别与中央处理器、搭载有所述探测装置的无人机自身的GPS导航系统通信连接,旋转角度计算模块用于获取目标无人机相对于搭载有所述探测装置的无人机的偏转角度信息,并将偏转角度信息传送给中央处理器;所述电动推杆设置在旋转圆盘和固定座之间,同时电动推杆与中央处理器通信连接,通过中央处理器的指令电动推杆执行伸出或者收缩动作,带动旋转圆盘和固定座相互远离或靠近,用于防止全景成像系统和旋转超声模块互相干扰;所述极坐标轨迹绘制模块与中央处理器通信连接,极坐标轨迹绘制模块用于绘制目标无人机在极坐标下的极坐标轨迹图,并将极坐标轨迹图传送给中央处理器。
进一步,所述中央处理器采用STM32F401微控制器芯片。
进一步,所述全景成像系统由四个高清摄像头组成,四个高清摄像头分别固定在固定座的四个侧面上。
进一步,所述超声测距模块数量为六个,六个超声测距模块沿旋转圆盘的外圆周面周向均匀分布在旋转圆盘上,位于旋转圆盘同一直径上的两个超声测距模块为一组,共分成三组,第一组超声测距模块呈水平布置,第二组超声测距模块呈向上倾斜布置,第三组超声测距模块呈向下倾斜布置。
作为本发明一种优选的实施方式,所述超声测距模块采用SSD-ME007Y50H超声测距模块,第一组超声测距模块呈水平设置,第二组超声测距模块呈向上倾斜14度设置,第三组超声测距模块呈向下倾斜14度设置。
其中,所述旋转角度计算模块是由安装在旋转圆盘上的霍尔角度传感器组成的。
本发明还提出了基于全景成像及超声旋转对空中无人机的探测方法,其特征在于,该方法采用所述的探测装置进行探测,具体包括如下步骤:
步骤一、地面指挥系统控制搭载有所述探测装置的无人机升空,搭载有所述探测装置的无人机升空后,中央处理器向全景成像系统发出工作指令,全景成像系统响应工作命令并执行全景图像采集动作,并将采集到的全景图像反馈给中央处理器;
步骤二、中央处理器接收全景成像系统向其传送的全景图像,并通过无线通信模块将全景图像传回地面指挥系统,地面指挥系统接收全景图像并将其显示在显示界面上,地面工作人员根据全景图像,控制搭载有所述探测装置的无人机向目标无人机靠近;
在搭载有所述探测装置的无人机向目标无人机靠近的过程中,中央处理器向旋转超声模块中的旋转模块发送工作指令,旋转模块响应所述工作指令并执行旋转动作,与此同时中央处理器向电动推杆发送指令,电动推杆响应指令并执行相应动作,保证全景成像系统和旋转超声模块互不干扰;
中央处理器向旋转超声模块中的超声测距模块发出测量搭载有所述探测装置的无人机与目标无人机之间距离的指令,超声测距模块响应指令并执行测量距离动作,并向中央处理器实时反馈距离信息;
步骤三、中央处理器将所述距离信息通过无线通信模块传送给地面指挥系统,搭载有所述探测装置的无人机与目标无人机之间到达有效距离时,地面指挥系统调整搭载有所述探测装置的无人机的飞行高度,使搭载有所述探测装置的无人机和目标无人机处在一个平面上;中央处理器向旋转角度计算模块和测速模块发送工作指令,旋转角度计算模块和测速模块响应所述工作指令并开始工作,获取目标无人机相对于搭载有所述探测装置的无人机的偏转角度信息以及目标无人机的速度信息,并将目标无人机相对于搭载有所述探测装置的无人机的偏转角度信息以及目标无人机的速度信息传送给中央处理器;
步骤四、中央处理器向极坐标轨迹绘制模块发送工作指令,极坐标轨迹绘制模块响应所述工作指令执行绘制目标无人机在极坐标下的极坐标轨迹图动作,并将其所绘制的极坐标轨迹图传送给中央处理器;
步骤五、中央处理器将所述极坐标轨迹图和目标无人机的速度信息通过无线通信模块传送给地面指挥系统;
步骤六、地面指挥系统接收所述极坐标轨迹图和速度信息,并将所述极坐标轨迹图显示在显示界面上,通过比对全景图像和极坐标轨迹图完成对空中目标无人机的探测。
其中,步骤三中所述的有效距离为搭载有所述探测装置的无人机与目标无人机之间距离小于10米。
通过上述设计方案,本发明可以带来如下有益效果:本发明具有灵活性高,稳定性好,精准度高,安全性高的优点,能够对目标无人机的位置进行精准定位。全景成像和超声旋转相结合,能在复杂环境下快速,稳定的寻找目标无人机。360度无死角的探测出目标无人机的方位,并且通过数学模型的建立,计算出此时目标无人机的速度,将这些信息发回给地面指挥系统,从而通过该探测装置实现了对空中的民用无人机的探测。
本发明的进一步有意效果如下:
1、本发明最突出的特点是将超声测距模块与旋转机构相结合,从而实现在不依靠人工调节无人机的朝向,不考虑操作人员的熟练程度的情况下,提升发现目标的准确性,快速性。通过引入旋转机构,超声测距模块不但可以像雷达一样通过旋转扫描的方式对感兴趣的方位立体角进行扫描测距,而且可以将测得的数据通过中央处理器进行图形重建,在地面指挥系统的显示界面上将目标无人机相关信息显示出来,为地面指挥系统提供目标无人机的重要信息。
2、全景成像系统有四个方向的摄像头,超声测距模块借助于旋转结构,实现了360度无死角的全景探测。将全景成像技术与旋转超声技术相结合,在地面指挥系统中形成两幅对比图,可以直观的观测目标无人机的位置信息,运行轨迹等,从而实现了对空中无人机的探测。
3、由于超声测距模块采用互为冗余备份的设计,提高了工作时候的稳定性。在某一个超声测距模块发生故障以后,另一个就会替换它的功能,从而保证系统可以稳定工作。
4、由于超声波测距模块是有探测角度限制的,为了克服这些限制,本发明改变超声波测距模块的倾斜角度,三对超声波测距模块中,一对向上倾斜14度布置,一对水平布置,一对向下倾斜14度布置。从而保证在水平面360度无死角探测的同时,竖直方向也有较宽广的探测范围。这样可以保证尽可能大的数值探测范围。保证三维空间探测的效率。
附图说明
此处的附图说明用来提供对本发明的进一步理解,构成本发明申请的一部分,本发明示意性实施例及其说明用于理解本发明,并不构成本发明的不当限定,在附图中:
图1为基于全景成像及超声旋转对空中无人机的探测装置结构框图。
图2为基于全景成像及超声旋转对空中无人机的探测装置结构示意图。
图3为旋转圆盘的外圆周面沿周向六等分以后,六个超声测距模块的分布图。
图4为基于全景成像及超声旋转对空中无人机的探测装置中旋转超声模块的工作原理图。
图5为基于全景成像及超声旋转对空中无人机的探测装置中测速模块的原理图。
图6为基于全景成像及超声旋转对空中无人机的探测装置中地面指挥系统收到的全景图像和极坐标轨迹图的实时对比效果图。
图7为基于全景成像及超声旋转对空中无人机的探测方法的流程图。
图中各标记如下:1-地面指挥系统;2-无线通信模块;3-中央处理器;4-全景成像系统;5-供电系统;6-旋转超声模块;7-电动推杆;8-旋转模块;9-超声测距模块;10-旋转角度计算模块;11-测速模块;12-极坐标轨迹绘制模块;13-旋转圆盘;14-固定座;15-高清摄像头;16-基座。
具体实施方式
下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明保护主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。为了避免混淆本发明的实质,公知的方法、过程、流程、元件和电路并没有进行详尽的说明。
本发明提出的基于全景成像及超声旋转对空中无人机的探测装置,如图1、图2、图3、图4、图5及图6所示,该探测装置包括地面指挥系统1、无线通信模块2、中央处理器3、全景成像系统4、供电系统5、旋转超声模块6、电动推杆7、极坐标轨迹绘制模块12、固定座14及基座16,其中旋转超声模块6包括旋转模块8、超声测距模块9、旋转角度计算模块10及测速模块11。
所述基座16固定在搭载有所述探测装置的无人机顶部。
所述固定座14固定在基座16上,固定座14为中空的正方体结构。
所述地面指挥系统1通过无线通信模块2与中央处理器3通信连接,同时地面指挥系统1与搭载有所述探测装置的无人机通信连接,地面指挥系统1用于控制搭载有所述探测装置的无人机工作状态,以及实时接收中央处理器3采集的无人机目标识别数据,并根据无人机目标识别数据向搭载有所述探测装置的无人机发送飞行指令,使得搭载有所述探测装置的无人机向目标无人机靠近完成跟踪任务,其中无人机目标识别数据包括全景图像信息、极坐标信息及速度信息;全景图像信息为全景成像系统4所采集的全景图像,极坐标信息为极坐标轨迹绘制模块12所绘制的极坐标轨迹图,速度信息为测速模块11检测到的目标无人机实时速度;地面指挥系统1具有用于实时监控目标无人机的显示界面,显示界面分为:用于显示全景图像的第一显示区域,和用于显示极坐标轨迹图的第二显示区域,详见图6,可实时进行对比,从而相辅相成,保证了对目标无人机的探测的准确性。
所述无线通信模块2固定在基座16的外部,无线通信模块2用于将中央处理器3所采集的无人机目标识别数据传送给地面指挥系统1。
所述中央处理器3设置在固定座14的内部,中央处理器3采用STM公司生产的型号为STM32F401的微控制器芯片,中央处理器3分别与全景成像系统4、旋转超声模块6及极坐标轨迹绘制模块12双向通信连接,中央处理器3用于向全景成像系统4、旋转超声模块6及极坐标轨迹绘制模块12发送工作指令,并接收全景成像系统4、旋转超声模块6及极坐标轨迹绘制模块12反馈的信息,以获取无人机目标识别数据;同时中央处理器3通过无线通信模块2与地面指挥系统1通信连接,从而实现中央处理器3将无人机目标识别数据传送给地面指挥系统1。
所述全景成像系统4用于采集搭载有所述探测装置的无人机所处环境的全景图像,全景成像系统4由四个高清摄像头15组成,四个高清摄像头15分别固定在固定座14的四个侧面上,实现360度全景拍摄,实现全方位监测。
所述供电系统5设置在固定座14内部,供电系统5分别与无线通信模块2、中央处理器3、全景成像系统4、旋转超声模块6、电动推杆7及极坐标轨迹绘制模块12的电压输入端相连。
所述旋转模块8包括旋转圆盘13及用于驱动旋转圆盘13旋转的步进电机,步进电机与中央处理器3通信连接,旋转模块8的显著特点是为了配合超声波测距一发一收的特点,采用“点动”的方式。为了减小由于步进电机的转子转动造成的测量误差,本发明的步进电机以“点动”的方式驱动转子旋转,即电机以一个较快的速度在20ms内转过9°后停转30ms以供超声测距模块9测距,如此反复。这样就可以保证超声测距模块9在旋转过程中采集数据的稳定性。
所述超声测距模块9用于实时获取目标无人机与搭载有所述探测装置的无人机之间的距离,并将获取的距离信息传送给中央处理器3,超声测距模块9选用的是SSD-ME007Y50H超声测距模块,测量距离可达10米,探测夹角14°,工作温度为0~60℃。超声测距模块9的数量为六个,六个超声测距模块9沿旋转圆盘13的外圆周面周向均匀分布在旋转圆盘13上,处在同一直径上的两个超声测距模块9为一组,共分成三组,第一组超声测距模块9呈水平状态,第二组超声测距模块9呈向上倾斜14度状态,第三组超声测距模块9呈向下倾斜14度状态,成对出现,互为冗余备份。如图3所示,六个超声测距模块9分别为超声测距模块A、超声测距模块a、超声测距模块B、超声测距模块b、超声测距模块C及超声测距模块c,超声测距模块A及超声测距模块a为水平放置,超声测距模块B及超声测距模块b为向上倾斜14度放置,超声测距模块C及超声测距模块c为向下倾斜14度放置,超声测距模块9放置倾斜角度是由超声波测距模块9的探测夹角决定的,倾斜角度可以根据实际需求进行调整,本发明选取倾斜14度是为了防止超声测距模块9的测量范围发生重叠,从而扩大探测范围。这样的设计不仅保证了系统的稳定性,使其在某个超声测距模块9出现问题以后,仍然可以正常工作,而且扩大了探索范围,非常适合近距离探测目标无人机的位置。
图4示出旋转超声模块6的工作原理图,图中,A表示水平布置的超声测距模块9,B表示向上倾斜设置的超声测距模块9,C表示向下倾斜设置的超声测距模块9,D代表旋转圆盘13,E代表超声测距模块9,F为目标无人机,G代表处在该上下空域的无人机都可以被探测到。
所述测速模块11设置在固定座14内部,测速模块11分别与超声测距模块9、中央处理器3、旋转角度计算模块10相连,测速模块11具有计时器,测速模块11用于获取目标无人机的速度信息,并将获取的速度信息传送给中央处理器3;在中央处理器3向测速模块11发出工作命令以后,测速模块11响应工作命令并启动其内部的计时器,计时器开始工作,在六个超声测距模块9中任一个测出有效距离以后,就会触发计时器开始计时,在之后测出另一个有效距离以后,停止计时;测速模块11通过配合超声测距模块9及旋转角度计算模块10,来实现测速。测速模块11的测速原理如图5所示,虚线圆圈为t0时刻目标无人机所在位置,实线圆圈为t1时刻目标无人机所在位置,t1时刻和t0时刻的时间间隔为t,可以通过测速模块11中的计时器测量得到,在t0时刻超声测距模块9测量出有效距离计时器开始计时,在t1时刻超声测距模块9再次测出有效距离的计时器停止计时,两个时刻的时间间隔记为t,虚线s表示目标无人机在时间间隔t内飞行的距离,直线a表示t0时刻搭载有所述探测装置的无人机与目标无人机之间的距离,直线b表示t1时刻搭载有所述探测装置的无人机与目标无人机之间的距离,直线a和直线b的长度由超声测距模块9测量到的,直线a和直线b的夹角由旋转角度计算模块10测量得到,t0时刻目标无人机所在位置、t1时刻目标无人机所在位置及搭载有所述探测装置的无人机所在位置这三个点组成了三角形,在已知三角形的两边,及其夹角,根据余弦定理,可求出三角形的第三边,进一步求出目标无人机在时间间隔t内飞行的距离s,从而得到目标无人机的速度。其中有效距离的判定是由超声测距模块9的测量范围决定的,搭载有所述探测装置的无人机与目标无人机之间的相对距离小于10米为有效距离。
所述旋转角度计算模块10设置在固定座14内部,旋转角度计算模块10与旋转模块8相连,同时旋转角度计算模块10分别与中央处理器3、搭载有所述探测装置的无人机自身的GPS导航系统通信连接,旋转角度计算模块10用于获取目标无人机相对于搭载有所述探测装置的无人机的偏转角度信息,并将偏转角度信息传送给中央处理器3,偏转角度信息即为旋转角度计算模块10计算的旋转圆盘13的旋转角度信息;在收到中央处理器3向其发出的工作指令以后,首先初始化,得到正南方向,该正南方向作为极坐标的极轴,逆时针旋转方向作为正方向,对旋转圆盘13经过正南方向后的角度进行统计,得到偏转角度信息并反馈给中央处理器3,同时每次旋转360度以后就会清零,重新开始计。旋转角度计算模块10的作用是为了在建立极坐标系的时候,给出确定的极轴,以及偏转角度,方便绘制出极坐标轨迹图。旋转角度计算模块10是由安装在旋转圆盘13上的霍尔角度传感器组成的,霍尔角度传感器可以计算出旋转圆盘13旋转的角度,并且将角度信息传送给中央处理器3,从而满足我们绘制极坐标的需要。
所述电动推杆7设置在旋转圆盘13和固定座14之间,同时电动推杆7与中央处理器3通信连接,通过中央处理器3的指令电动推杆7执行伸出或者收缩动作,带动旋转圆盘13和固定座14相互远离或靠近,用于防止全景成像系统4和旋转超声模块6互相干扰,保证两者都可以正常工作。作为本发明实施例中的一种优选方案,电动推杆7选用的是LUILEC公司生产的电动推杆,型号为XTL50,可以实现任意位置可停止,并且有上下限位开关,从而防止电机空转。电动推杆7的备选型号为,业森公司生产的YS-L35-24-50-14-2300电动推杆,都可以满足本发明对电动推杆7长度调节的功能。
所述极坐标轨迹绘制模块12是中央处理器3在收到了旋转超声模块6发过来的距离和偏转角度信息以后,通过极坐标轨迹绘制模块12来绘制目标无人机在极坐标下的极坐标轨迹图,并将极坐标轨迹图传回给中央处理器3,然后通过无线通信模块2,传回给地面指挥系统1。
如图7所示,基于全景成像及超声旋转对空中无人机的探测方法包括如下步骤:
步骤一、首先是地面指挥系统1控制搭载有所述探测装置的无人机升空,然后中央处理器3给全景成像系统4发出工作指令,全景成像系统4响应工作命令进行全景图像采集,并将采集到的全景图像反馈给中央处理器3,此时由全景成像系统4担任起在空中发现目标无人机的作用;
步骤二、中央处理器3在接收全景成像系统4的全景图像以后通过无线通信模块2传回地面指挥系统1,地面指挥系统1接收全景图像并将其显示在显示界面上,此时地面工作人员可以通过观察传回来的全景图像,控制搭载有所述探测装置的无人机向目标无人机靠近;
在搭载有所述探测装置的无人机向目标无人机靠近的过程中,中央处理器3向旋转超声模块6中的旋转模块8发送工作指令,旋转模块8响应所述工作指令并执行旋转动作,与此同时中央处理器3向电动推杆7发送指令,电动推杆机构7响应指令并执行相应动作,保证全景成像系统4和旋转超声模块6互不干扰;
中央处理器3向旋转超声模块6中的超声测距模块9发出测量搭载有所述探测装置的无人机与目标无人机之间距离的指令,超声测距模块9响应指令并执行测量距离动作,并向中央处理器3实时反馈距离信息,
步骤三、中央处理器3将所述距离信息通过无线通信模块2传送给地面指挥系统1;由于超声波测距模块9在10米以内,才能保证其测量精度,所以地面指挥系统1在收到中央处理器3反馈回来的距离信息以后,结合传回来的全景图像,如果搭载有所述探测装置的无人机与目标无人机之间的距离超过10米,则由工作人员操作地面指挥系统1从而控制搭载有所述探测装置的无人机继续对目标无人机进行靠近,并且实时比对搭载有所述探测装置的无人机与目标无人机的距离;
地面指挥系统1判断目标无人机距离搭载有所述探测装置的无人机在10米范围内以后,地面指挥系统1调整搭载有所述探测装置的无人机的飞行高度,使搭载有所述探测装置的无人机和目标无人机高度相差不大,此时可以近似的考虑目标无人机与搭载有所述探测装置的无人机在一个平面上;此时中央处理器3向旋转角度计算模块10和测速模块11发送工作指令,旋转角度计算模块10和测速模块11响应工作指令并开始工作;
测速模块11通过数学模型的建立,虚线圆圈为t0时刻目标无人机所在位置,实线圆圈为t1时刻目标无人机所在位置,t1时刻和t0时刻的时间间隔为t,可以通过测速模块11中的计时器测量得到,在t0时刻超声测距模块9测量出有效距离计时器开始计时,在t1时刻超声测距模块9再次测出有效距离的计时器停止计时,两个时刻的时间间隔记为t,虚线s表示目标无人机在时间间隔t内飞行的距离,直线a表示t0时刻搭载有所述探测装置的无人机与目标无人机之间的距离,直线b表示t1时刻搭载有所述探测装置的无人机与目标无人机之间的距离,直线a和直线b的长度由超声测距模块9测量到的,直线a和直线b的夹角由旋转角度计算模块10测量得到,t0时刻目标无人机所在位置、t1时刻目标无人机所在位置及搭载有所述探测装置的无人机所在位置这三个点组成了三角形,在已知三角形的两边,及其夹角,根据余弦定理,可求出三角形的第三边,进一步求出目标无人机在时间间隔t内飞行的距离s,目标无人机的速度可以通过距离s除以时间间隔t计算出来,从而得到目标无人机的速度。
其中有效距离的判定是由超声测距模块9的测量范围决定的,对于距离超过10米的数值会舍弃,只有10米以内的距离才会判定为有效距离。
测速模块11在工作的同时,旋转角度计算模块10也开始工作,旋转角度计算模块10在工作之前先进行初始化,即借助于搭载有所述探测装置的无人机自身的GPS导航系统,实现对正南方向的定位,然后以正南方向作为极轴,逆时针作为正方向,逆时针每转过360度为一次清零,也就是每旋转一周就重新计数。这样不仅计算了旋转角度,也辅助下一步极坐标的建立;
步骤四、中央处理器3根据超声波测距模块9传回来的距离,以及旋转角度计算模块10传回来的旋转角度,中央处理器3向中央处理器3向极坐标轨迹绘制模块12发送工作指令,极坐标轨迹绘制模块12响应所述工作指令绘制出一幅以搭载有所述探测装置的无人机为中心点,以正南方向为极轴的极坐标系,然后采集到的目标无人机坐标,在这幅图上进行标注,此时就形成了目标无人机的极坐标轨迹图;
步骤五、中央处理器3将所述极坐标轨迹图和目标无人机的速度信息通过无线通信模块2传送给地面指挥系统1;
步骤六、在地面指挥系统1的显示界面上显示两幅图,一幅是全景图像,一幅是极坐标轨迹图。地面指挥系统1可以通过两者的比对,进而精确,稳定,高效的实现了对目标无人机的探测。效果图如图6所示。这样就实现了对空中无人机的探测。
该基于全景成像及超声旋转对空中无人机的探测装置将各个器件或模块有机的集成、整合成一个整体,需要强调的是,上述各个器件或模块就单体而言,其实现各自应实现功能的具体结构在现有技术中已经存在,本领域人员已充分知晓,正如上述所述,本发明并不是对各个器件和/或模块的单体做何改进,而是提出一种如何将各器件和/或模块有机的集成、整合成一个整体,即提供了一种构造方案。
显然,本发明的上述实施方式仅仅是为清楚地解释本发明所作的举例,并非是对本发明实施方式的限定,对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引申出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (6)

1.基于全景成像及超声旋转对空中无人机的探测装置,其特征在于,该探测装置包括地面指挥系统(1)、无线通信模块(2)、中央处理器(3)、全景成像系统(4)、供电系统(5)、旋转超声模块(6)、电动推杆(7)、极坐标轨迹绘制模块(12)、固定座(14)及基座(16),其中旋转超声模块(6)包括旋转模块(8)、超声测距模块(9)、旋转角度计算模块(10)及测速模块(11);所述基座(16)固定在搭载有所述探测装置的无人机顶部;所述固定座(14)固定在基座(16)上,固定座(14)为中空的正方体结构;所述地面指挥系统(1)通过无线通信模块(2)与中央处理器(3)通信连接,同时地面指挥系统(1)与搭载有所述探测装置的无人机通信连接,地面指挥系统(1)用于控制搭载有所述探测装置的无人机工作状态,以及实时接收中央处理器(3)采集的无人机目标识别数据,并根据无人机目标识别数据向搭载有所述探测装置的无人机发送飞行指令,使得搭载有所述探测装置的无人机向目标无人机靠近完成跟踪任务,地面指挥系统(1)具有用于实时监控目标无人机的显示界面,显示界面分为:用于显示全景图像的第一显示区域,和用于显示极坐标轨迹图的第二显示区域;所述无线通信模块(2)固定在基座(16)的外部,无线通信模块(2)用于将中央处理器(3)所采集的无人机目标识别数据传送给地面指挥系统(1);所述中央处理器(3)设置在固定座(14)内部,中央处理器(3)分别与全景成像系统(4)、旋转超声模块(6)及极坐标轨迹绘制模块(12)双向通信连接,中央处理器(3)用于向全景成像系统(4)、旋转超声模块(6)及极坐标轨迹绘制模块(12)发送工作指令,并接收全景成像系统(4)、旋转超声模块(6)及极坐标轨迹绘制模块(12)反馈的信息,以获取无人机目标识别数据;所述全景成像系统(4)固定在固定座(14)的外部,全景成像系统(4)用于采集搭载有所述探测装置的无人机所处环境的全景图像;所述供电系统(5)设置在固定座(14)内部,供电系统(5)分别与无线通信模块(2)、中央处理器(3)、全景成像系统(4)、旋转超声模块(6)、电动推杆(7)及极坐标轨迹绘制模块(12)的电压输入端相连;所述旋转模块(8)包括旋转圆盘(13)及用于驱动旋转圆盘(13)旋转的步进电机,步进电机与中央处理器(3)通信连接;所述超声测距模块(9)用于实时获取目标无人机与搭载有所述探测装置的无人机之间的距离,并将获取的距离信息传送给中央处理器(3);所述测速模块(11)设置在固定座(14)内部,测速模块(11)分别与超声测距模块(9)、中央处理器(3)、旋转角度计算模块(10)相连,测速模块(11)具有计时器,测速模块(11)用于获取目标无人机的速度信息,并将获取的速度信息传送给中央处理器(3);所述旋转角度计算模块(10)设置在固定座(14)内部,旋转角度计算模块(10)与旋转模块(8)相连,同时旋转角度计算模块(10)分别与中央处理器(3)、搭载有所述探测装置的无人机自身的GPS导航系统通信连接,旋转角度计算模块(10)用于获取目标无人机相对于搭载有所述探测装置的无人机的偏转角度信息,并将偏转角度信息传送给中央处理器(3);所述电动推杆(7)设置在旋转圆盘(13)和固定座(14)之间,同时电动推杆(7)与中央处理器(3)通信连接,通过中央处理器(3)的指令电动推杆(7)执行伸出或者收缩动作,带动旋转圆盘(13)和固定座(14)相互远离或靠近,用于防止全景成像系统(4)和旋转超声模块(6)互相干扰;所述极坐标轨迹绘制模块(12)与中央处理器(3)通信连接,极坐标轨迹绘制模块(12)用于绘制目标无人机在极坐标下的极坐标轨迹图,并将极坐标轨迹图传送给中央处理器(3);所述中央处理器(3)采用STM32F401微控制器芯片;所述超声测距模块(9)数量为六个,六个超声测距模块(9)沿旋转圆盘(13)的外圆周面周向均匀分布在旋转圆盘(13)上,位于旋转圆盘(13)同一直径上的两个超声测距模块(9)为一组,共分成三组,第一组超声测距模块(9)呈水平布置,第二组超声测距模块(9)呈向上倾斜布置,第三组超声测距模块(9)呈向下倾斜布置。
2.根据权利要求1所述的基于全景成像及超声旋转对空中无人机的探测装置,其特征在于:所述全景成像系统(4)由四个高清摄像头(15)组成,四个高清摄像头(15)分别固定在固定座(14)的四个侧面上。
3.根据权利要求1所述的基于全景成像及超声旋转对空中无人机的探测装置,其特征在于:所述超声测距模块(9)采用SSD-ME007Y50H超声测距模块,第一组超声测距模块(9)呈水平设置,第二组超声测距模块(9)呈向上倾斜14度设置,第三组超声测距模块(9)呈向下倾斜14度设置。
4.根据权利要求1所述的基于全景成像及超声旋转对空中无人机的探测装置,其特征在于:所述旋转角度计算模块(10)是由安装在旋转圆盘(13)上的霍尔角度传感器组成的。
5.基于全景成像及超声旋转对空中无人机的探测方法,其特征在于,该方法采用权利要求1-4中任意一项所述的探测装置进行探测,具体包括如下步骤:
步骤一、地面指挥系统(1)控制搭载有所述探测装置的无人机升空,搭载有所述探测装置的无人机升空后,中央处理器(3)向全景成像系统(4)发出工作指令,全景成像系统(4)响应工作命令并执行全景图像采集动作,并将采集到的全景图像反馈给中央处理器(3);
步骤二、中央处理器(3)接收全景成像系统(4)向其传送的全景图像,并通过无线通信模块(2)将全景图像传回地面指挥系统(1),地面指挥系统(1)接收全景图像并将其显示在显示界面上,地面工作人员根据全景图像,控制搭载有所述探测装置的无人机向目标无人机靠近;
在搭载有所述探测装置的无人机向目标无人机靠近的过程中,中央处理器(3)向旋转超声模块(6)中的旋转模块(8)发送工作指令,旋转模块(8)响应所述工作指令并执行旋转动作,与此同时中央处理器(3)向电动推杆(7)发送指令,电动推杆(7)响应指令并执行相应动作,保证全景成像系统(4)和旋转超声模块(6)互不干扰;
中央处理器(3)向旋转超声模块(6)中的超声测距模块(9)发出测量搭载有所述探测装置的无人机与目标无人机之间距离的指令,超声测距模块(9)响应指令并执行测量距离动作,并向中央处理器(3)实时反馈距离信息;
步骤三、中央处理器(3)将所述距离信息通过无线通信模块(2)传送给地面指挥系统(1),搭载有所述探测装置的无人机与目标无人机之间到达有效距离时,地面指挥系统(1)调整搭载有所述探测装置的无人机的飞行高度,使搭载有所述探测装置的无人机和目标无人机处在一个平面上;中央处理器(3)向旋转角度计算模块(10)和测速模块(11)发送工作指令,旋转角度计算模块(10)和测速模块(11)响应所述工作指令并开始工作,获取目标无人机相对于搭载有所述探测装置的无人机的偏转角度信息以及目标无人机的速度信息,并将目标无人机相对于搭载有所述探测装置的无人机的偏转角度信息以及目标无人机的速度信息传送给中央处理器(3);
步骤四、中央处理器(3)向极坐标轨迹绘制模块(12)发送工作指令,极坐标轨迹绘制模块(12)响应所述工作指令执行绘制目标无人机在极坐标下的极坐标轨迹图动作,并将其所绘制的极坐标轨迹图传送给中央处理器(3);
步骤五、中央处理器(3)将所述极坐标轨迹图和目标无人机的速度信息通过无线通信模块(2)传送给地面指挥系统(1);
步骤六、地面指挥系统(1)接收所述极坐标轨迹图和速度信息,并将所述极坐标轨迹图显示在显示界面上,通过比对全景图像和极坐标轨迹图完成对空中目标无人机的探测。
6.根据权利要求5所述的基于全景成像及超声旋转对空中无人机的探测方法,其特征在于:步骤三中所述的有效距离为搭载有所述探测装置的无人机与目标无人机之间距离小于10米。
CN202010638681.XA 2020-07-06 2020-07-06 基于全景成像及超声旋转对空中无人机的探测装置及方法 Active CN111596297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010638681.XA CN111596297B (zh) 2020-07-06 2020-07-06 基于全景成像及超声旋转对空中无人机的探测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010638681.XA CN111596297B (zh) 2020-07-06 2020-07-06 基于全景成像及超声旋转对空中无人机的探测装置及方法

Publications (2)

Publication Number Publication Date
CN111596297A CN111596297A (zh) 2020-08-28
CN111596297B true CN111596297B (zh) 2024-04-26

Family

ID=72189300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010638681.XA Active CN111596297B (zh) 2020-07-06 2020-07-06 基于全景成像及超声旋转对空中无人机的探测装置及方法

Country Status (1)

Country Link
CN (1) CN111596297B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112684456B (zh) * 2020-12-22 2024-05-17 安徽配隆天环保科技有限公司 一种无人机超声立体成像模型系统
CN115134509A (zh) * 2021-03-27 2022-09-30 福建福睿旺科技有限公司 一种5g网联物流无人机的实时全景成像系统及成像方法
CN113391641A (zh) * 2021-05-18 2021-09-14 中国船舶重工集团公司第七0九研究所 机载无人机防控系统及方法
US11647294B2 (en) 2021-05-25 2023-05-09 Shanghai Bilibili Technology Co., Ltd. Panoramic video data process
CN113313735B (zh) * 2021-05-25 2023-04-07 上海哔哩哔哩科技有限公司 全景视频数据处理方法及装置
CN113569645B (zh) * 2021-06-28 2024-03-22 广东技术师范大学 基于图像检测的轨迹生成方法、装置及系统
CN114281455A (zh) * 2021-12-21 2022-04-05 深圳市智慧海洋科技有限公司 水下定位显示方法、装置、监测设备及系统
CN116734799A (zh) * 2023-08-15 2023-09-12 济宁市质量计量检验检测研究院(济宁半导体及显示产品质量监督检验中心、济宁市纤维质量监测中心) 一种基于无人机的距离测量装置及应用

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070012119A (ko) * 2005-07-22 2007-01-25 엘지전자 주식회사 이동로봇의 자동 충전대 복귀 시스템 및 그 방법
CN103431812A (zh) * 2013-08-02 2013-12-11 南京航空航天大学金城学院 一种基于超声雷达探测的清洁机器人及其行走控制方法
CN104515807A (zh) * 2014-10-27 2015-04-15 浙江省特种设备检验研究院 一种压力管道超声内检测自动化装置
CN205157783U (zh) * 2015-12-02 2016-04-13 天津城建大学 具备空间绘图功能的多角度旋转超声测距系统
WO2016192114A1 (zh) * 2015-06-05 2016-12-08 深圳迈瑞生物医疗电子股份有限公司 超声流体成像方法及超声流体成像系统
CN106494611A (zh) * 2016-11-28 2017-03-15 北京交通大学 一种空轨两用巡检无人机
CN212623080U (zh) * 2020-07-06 2021-02-26 吉林大学 基于全景成像及超声旋转对空中无人机的探测装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070012119A (ko) * 2005-07-22 2007-01-25 엘지전자 주식회사 이동로봇의 자동 충전대 복귀 시스템 및 그 방법
CN103431812A (zh) * 2013-08-02 2013-12-11 南京航空航天大学金城学院 一种基于超声雷达探测的清洁机器人及其行走控制方法
CN104515807A (zh) * 2014-10-27 2015-04-15 浙江省特种设备检验研究院 一种压力管道超声内检测自动化装置
WO2016192114A1 (zh) * 2015-06-05 2016-12-08 深圳迈瑞生物医疗电子股份有限公司 超声流体成像方法及超声流体成像系统
CN205157783U (zh) * 2015-12-02 2016-04-13 天津城建大学 具备空间绘图功能的多角度旋转超声测距系统
CN106494611A (zh) * 2016-11-28 2017-03-15 北京交通大学 一种空轨两用巡检无人机
CN212623080U (zh) * 2020-07-06 2021-02-26 吉林大学 基于全景成像及超声旋转对空中无人机的探测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于驱动响应同步的混沌背景下谐波信号频率估计方法;孙晓东;石要武;康晓涛;;长春理工大学学报(自然科学版);20080915(第03期);全文 *
超声悬浮轴承系统振幅衰减自抗扰控制;宋昀光;孙晓东;范尊强;田丰君;石要武;;吉林大学学报(信息科学版);20150115(第01期);全文 *

Also Published As

Publication number Publication date
CN111596297A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111596297B (zh) 基于全景成像及超声旋转对空中无人机的探测装置及方法
CN112525162B (zh) 一种无人机测量输电线路影像距离的系统及方法
TWI626191B (zh) 無人機及其目標追蹤方法與裝置
CN104168455B (zh) 一种空基大场景摄像系统及方法
CN110603379B (zh) 用于风力设备检查工具的检查工具控制装置
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN110908403A (zh) 一种用于电力巡线无人机的自动定点降落装置及方法
CN106873627A (zh) 一种自动巡检输电线路的多旋翼无人机及方法
CN103941746A (zh) 无人机巡检图像处理系统及方法
CN107479554A (zh) 机器人系统及其户外建图导航方法
CN105182992A (zh) 无人机的控制方法、装置
JP2012071645A (ja) 自動離着陸システム
US10313575B1 (en) Drone-based inspection of terrestrial assets and corresponding methods, systems, and apparatuses
CN106096207B (zh) 一种基于多目视觉的旋翼无人机抗风评估方法及系统
CA3073034A1 (en) Methods and systems for improving the precision of autonomous landings by drone aircraft on landing targets
CN105962908B (zh) 飞行体温检测器控制方法及装置
CN108983809A (zh) 基于无人机的精准识别定位环绕的方法及无人机
CN105388908A (zh) 基于机器视觉的无人机定位着降方法及系统
WO2023272633A1 (zh) 无人机的控制方法、无人机、飞行系统及存储介质
CN104330075A (zh) 栅格化极坐标系目标定位方法
Guo et al. Detecting and positioning of wind turbine blade tips for uav-based automatic inspection
CN110825098B (zh) 一种无人机配电网智能巡检系统
CN110554380A (zh) 一种用于雷达反制系统的目标定高系统
CN212623080U (zh) 基于全景成像及超声旋转对空中无人机的探测装置
CN205912187U (zh) 一种视觉识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant