CN107817488A - 基于毫米波雷达与视觉融合的无人机避障装置及避障方法 - Google Patents
基于毫米波雷达与视觉融合的无人机避障装置及避障方法 Download PDFInfo
- Publication number
- CN107817488A CN107817488A CN201710899844.8A CN201710899844A CN107817488A CN 107817488 A CN107817488 A CN 107817488A CN 201710899844 A CN201710899844 A CN 201710899844A CN 107817488 A CN107817488 A CN 107817488A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- obstacle
- detection range
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 230000000007 visual effect Effects 0.000 claims abstract description 55
- 230000004888 barrier function Effects 0.000 claims abstract description 38
- 238000005070 sampling Methods 0.000 claims abstract description 24
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 21
- 238000007499 fusion processing Methods 0.000 claims description 53
- 230000004927 fusion Effects 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000007797 corrosion Effects 0.000 claims description 13
- 238000005260 corrosion Methods 0.000 claims description 13
- 230000000877 morphologic effect Effects 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 208000000058 Anaplasia Diseases 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 6
- 230000005611 electricity Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
一种基于毫米波雷达与视觉融合的无人机避障装置，安装于无人机上，其中雷达模块用于发射毫米波，并接收无人机检测范围内的障碍物反射回来的障碍物毫米波后得到N点采样后的数据后发送至信息融合处理模块；视觉模块用于获取得到t时刻两幅不同的无人机检测范围内的障碍物视觉图像数据后发送至信息融合处理模块；电子罗盘模块用于获取无人机的三维倾角信息，并发送至信息融合处理模块；信息融合处理模块用于根据N点采样后的数据得到无人机检测范围内的障碍物三维立体信息后发送至飞行控制模块；飞行控制模块用于根据无人机检测范围内的障碍物三维立体信息避开障碍物；t表示时间变变量。
Description
技术领域
本发明属于无人机避障应用领域，特别涉及一种基于毫米波雷达与视觉融合的无人机避障装置及避障方法，适用于获取障碍物的三维立体信息。
背景技术
雷达通过主动发射电磁波并接收检测范围内目标的反射波并进行目标检测，并且雷达的作用距离远、可靠性高，不受天气、雾霾等影响，具有全天候、全天时工作的优势，特别是随着毫米波芯片的飞速发展，毫米波雷达的尺寸重量小、分辨率和探测精度也越来越高；但是单个毫米波雷达只能获得障碍物的距离信息，无法获得障碍物的方位信息。
当前无人机避障主流方法是采用光学传感器，单个的光学传感器只能获得障碍物的方位信息，无法获取障碍物的距离信息；而采用多个光学传感器的系统虽然能够获得障碍物的三维立体信息，但是在数据处理阶段对处理器性能要求很高，目前的嵌入式处理器难以实时的完成多光学传感器的数据处理任务。
当前基于毫米波雷达与视觉传感器融合的方法中，通常都是用多个毫米波雷达获得障碍物的三维立体信息而视觉传感器起辅助性作用，或者用多个光学传感器获得障碍物的三维立体信息而雷达起辅助性作用，但是多个光学传感器融合存在繁重的数据处理任务，增大了避障系统对处理器性能的要求，也无法保证无人机的飞行安全。
发明内容
为解决上述现有技术存在的不足，本发明的目的在于提出一种基于毫米波雷达与视觉融合的无人机避障装置及避障方法，该种基于毫米波雷达与视觉融合的无人机避障装置及避障方法公布了一种基于毫米波雷达与单目视觉融合的无人机避障装置和方法，通过融合毫米波雷达和视觉传感器的数据对障碍物三维立体定位，能够减少多光学传感器融合繁重的数据处理任务，降低了避障系统对处理器性能的要求，保证无人机的飞行安全。
为达到上述目的，本发明采用如下技术方案予以实现。
技术方案一：
一种基于毫米波雷达与视觉融合的无人机避障装置，安装于无人机上，其特征在于，包括：雷达模块、视觉模块、电子罗盘模块、信息融合处理模块和飞行控制模块；
所述信息融合处理模块包括三个输入端，分别电连接雷达模块输出端、视觉模块输出端和电子罗盘模块输出端，信息融合处理模块输出端电连接飞行控制模块输入端；
所述雷达模块用于发射毫米波，并接收无人机检测范围内的障碍物反射回来的障碍物毫米波，从所述反射回来的障碍物毫米波得到N点采样后的数据，并将所述N点采样后的数据发送至信息融合处理模块；N为大于0的正整数；
所述视觉模块用于获取无人机检测范围内的障碍物视觉信息，得到t时刻两幅不同的无人机检测范围内的障碍物视觉图像数据，并将所述t时刻两幅不同的无人机检测范围内的障碍物视觉图像数据发送至信息融合处理模块；
所述电子罗盘模块用于获取无人机的三维倾角信息，并将所述无人机的三维倾角信息发送至信息融合处理模块；
所述信息融合处理模块分别用于对所述N点采样后的数据做恒虚警检测，得到无人机到障碍物的距离信息；用于通过对t时刻两幅不同的无人机检测范围内的障碍物视觉图像数据做高斯滤波和求差，进而得到二值图像；然后信息融合处理模块对无人机检测范围内的障碍物到无人机的距离信息、二值图像进行融合处理，进而得到无人机检测范围内的障碍物三维立体信息，并将无人机检测范围内的障碍物三维立体信息发送至飞行控制模块；
所述飞行控制模块用于根据无人机检测范围内的障碍物三维立体信息避开障碍物。
技术方案二：
一种基于毫米波雷达与视觉融合的无人机避障方法，应用于权利要求1至3所述的基于毫米波雷达与视觉融合的无人机避障装置，所述基于毫米波雷达与视觉融合的无人机避障装置，安装于无人机上，包括：雷达单元1、…、雷达单元G、雷达控制与采集单元、视觉传感器单元、视觉控制传输单元、电子罗盘模块、信息融合处理模块、飞行控制模块；所述基于毫米波雷达与视觉融合的无人机避障方法，其特征在于，包括以下步骤：
步骤1，雷达单元i发射毫米波并接收从障碍物反射回来的毫米波，通过将反射回来的毫米波与雷达单元i发射的毫米波做混频，得到混频后的单频正弦信号；雷达单元i为从G个雷达单元中任意选取的一个雷达单元；G为大于0的正整数；
将混频后的单频正弦信号发送至雷达控制与采集单元，设雷达控制与采集单元的采样率为Fs，采样持续时间为Tp，则持续时间Tp内的采样点数N＝Fs*Tp；对混频后的单频正弦信号进行N点采样，得到N点采样后的数据，并将N点采样后的数据发送至信息融合处理模块；
步骤2，视觉控制传输单元在t时刻控制视觉传感器单元对无人机检测范围内的障碍物拍照两次，分别得到第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2，并发送至信息融合处理模块；t表示时间变量；
所述电子罗盘模块获取无人机的三维倾角信息，并将所述无人机的三维倾角信息发送至信息融合处理模块，所述无人机的三维倾角信息包括无人机的横滚角α、无人机的俯仰角β和无人机的航向角γ；
步骤3，信息融合处理模块中对N点采样后的数据做傅里叶变换获得频谱，通过对所述频谱做恒虚警检测得到障碍物到无人机的距离R；
信息融合处理模块对第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2进行高斯滤波并求差，进而得到二值图像；
步骤4，信息融合处理模块对二值图像进行形态学腐蚀和膨胀处理，得到形态学腐蚀和膨胀后的图像，然后根据无人机的三维倾角信息和障碍物到无人机的距离R，计算得到无人机检测范围内的障碍物三维立体信息；
飞行控制模块利用无人机检测范围内的障碍物三维立体信息避开障碍物。
与现有技术相比，本发明的有益效果：
在本发明公布的无人机避障装置中，具有雷达单元和单目视觉单元，处理雷达回波携带的障碍物信息以及处理单个视觉单元传输至信息融合处理模块中的障碍物信息就能实现三维立体定位，具有数据处理量小的特点，有效避开了双目视觉或者多传感器融合系统繁重的数据处理任务；本发明提供的避障方法中，同时利用了雷达的障碍物信息和单目视觉的障碍物信息有效克服了双目或者多传感器融合的繁重数据处理困难。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细说明。
图1为本发明的一种基于毫米波雷达与视觉融合的无人机避障装置示意图；
图2为本发明的一种基于毫米波雷达与视觉融合的无人机避障方法流程图。
具体实施方式
参照图1，为本发明的一种基于毫米波雷达与视觉融合的无人机避障装置示意图；其中所述基于毫米波雷达与视觉融合的无人机避障装置，包括：雷达模块1、视觉模块2、电子罗盘模块4、信息融合处理模块3、飞行控制模块5；其中雷达模块1包括6个雷达单元，分别为雷达单元1、雷达单元2、雷达单元3、雷达单元4、雷达单元5、雷达单元6和雷达控制与采集单元17，视觉模块2包括视觉传感器单元21和视觉控制传输单元22。
雷达控制与采集单元17包括6个输入端，分别电连接雷达单元1输出端、雷达单元2输出端、雷达单元3输出端、雷达单元4输出端、雷达单元5输出端和雷达单元6输出端，雷达控制与采集单元17输出端电连接信息融合处理模块3，视觉传感器单元21输出端电连接视觉控制传输单元22输入端，所述信息融合处理模块3包括三个输入端，分别电连接雷达控制与采集单元17输出端、视觉控制传输单元22和电子罗盘模块4输出端，信息融合处理模块3输出端电连接飞行控制模块5输入端。
雷达单元1至雷达单元6中的任意一个雷达单元、视觉传感器单元21以及电子罗盘模块4用于同时获得障碍物信息和无人机的三维倾角信息，并将障碍物信息和三维倾角信息传输至信息融合处理模块3。
雷达单元i发射毫米波，雷达单元i发射的毫米波持续时宽为Tp，雷达单元i发射的毫米波带宽为B'；假如无人机前方距离为R处存在障碍物，该障碍物能够反射接收到的毫米波；雷达单元i为从G个雷达单元中任意选取的一个雷达单元；G为大于0的正整数；。
在无人机的飞行过程中，把该无人机避障装置安装在无人机上，为了实现无人机前后左右上下六个维度的避障，雷达模块1中安装了6个雷达单元，分别为雷达单元1、雷达单元2、雷达单元3、雷达单元4、雷达单元5、雷达单元6，且6个雷达单元都为分时工作，比如无人机要避开飞行中前方的障碍物，雷达控制与采集单元17控制让雷达单元1工作，同时将其余5个雷达单元关闭。
雷达单元i用于发射毫米波并接收从障碍物反射回来的毫米波；通过将反射回来的毫米波与雷达单元i发射的毫米波做混频，得到混频后的单频正弦信号；其中雷达单元i为从G个雷达单元中任意选取的一个雷达单元。
将混频后的单频正弦信号发送至雷达控制与采集单元17，设雷达控制与采集单元17的采样率为Fs，采样持续时间为Tp，则持续时间Tp内的采样点数N＝Fs*Tp；对混频后的单频正弦信号进行N点采样，得到N点采样后的数据，并将N点采样后的数据发送至信息融合处理模块3；N为大于0的正整数。
视觉控制传输单元22用于在t时刻控制视觉传感器单元21对无人机检测范围内的障碍物拍照两次，分别得到第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2，并发送至信息融合处理模块3；t表示时间变量。
所述电子罗盘模块4用于获取无人机的三维倾角信息，并将所述无人机的三维倾角信息发送至信息融合处理模块3，所述无人机的三维倾角信息包括无人机的横滚角α、无人机的俯仰角β和无人机的航向角γ。
信息融合处理模块3用于对N点采样后的数据做傅里叶变换获得频谱，通过对所述频谱做恒虚警检测得到障碍物到无人机的距离R。
信息融合处理模块3用于将第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2做高斯滤波，高斯滤波模板为3*3大小，滤除第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2中由于环境和基于毫米波雷达与视觉融合的无人机避障装置中引入的高斯噪声；进而得到高斯滤波后第一无人机检测范围内的障碍物视觉图像数据G1和高斯滤波后第二无人机检测范围内的障碍物视觉图像数据G2，计算G1与G2的差值图像S，S＝G1-G2；统计差值图像S中不为0的像素点,将差值图像中不为0的所有像素点都标记为1，差值图像中为0的像素点都保持不变，进而得到二值图像。
信息融合处理模块3同于使用形态学腐蚀和膨胀方法对二值图像进行形态学腐蚀和膨胀处理，填充二值图像内部的空洞，并分离不同的障碍物，得到形态学腐蚀和膨胀后的图像；A为视觉传感器单元21获取第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2的时间间隔，所述障碍物在形态学腐蚀和膨胀后的图像中的横坐标为B，所述障碍物在形态学腐蚀和膨胀后的图像中的纵坐标为C，B和C为无人机检测范围内的障碍物方位信息，然后计算比例系数k和过渡矩阵P，进而得到无人机检测范围内的障碍物三维立体信息(x',y',z')，将所述无人机检测范围内的障碍物三维立体信息(x',y',z')发送至飞行控制模块5。
飞行控制模块5用于利用无人机检测范围内的障碍物三维立体信息(x',y',z')避开无人机检测范围内的障碍物；其表达式分别为：
x＝A·k
y＝B·k
z＝C·k-f
其中，R表示障碍物到无人机的距离，x表示第一中间参数，y表示第二中间参数，z表示第三中间参数。
计算过渡矩阵P，其表达式为：
其中，θ1表示无人机的横滚角，θ2表示无人机的俯仰角，θ3表示无人机的航向角，sin表示正弦函数，cos表示余弦函数。
进而计算得到无人机检测范围内的障碍物三维立体信息(x',y',z')，其表达式为：
飞行控制模块5利用无人机检测范围内的障碍物三维立体信息避开障碍物。
一种基于毫米波雷达与视觉融合的无人机避障方法，应用于基于毫米波雷达与视觉融合的无人机避障装置，所述基于毫米波雷达与视觉融合的无人机避障装置，安装于无人机上，包括：雷达模块1、视觉模块2、电子罗盘模块4、信息融合处理模块3、飞行控制模块5；其中雷达模块1包括雷达单元1、雷达单元2、雷达单元3、雷达单元4、雷达单元5、雷达单元6和雷达控制与采集单元17，视觉模块2包括视觉传感器单元21和视觉控制传输单元22；所述基于毫米波雷达与视觉融合的无人机避障方法，包括以下步骤：
步骤1，雷达发射毫米波，雷达发射的毫米波持续时宽为Tp，雷达发射的毫米波带宽为B'；假如无人机前方距离为R处存在障碍物，该障碍物能够反射接收到的毫米波。
在无人机的飞行过程中，把该无人机避障装置安装在无人机上，为了实现无人机前后左右上下六个维度的避障，雷达模块1中安装了6个雷达单元，分别为雷达单元1、雷达单元2、雷达单元3、雷达单元4、雷达单元5、雷达单元6，且6个雷达单元都为分时工作，比如无人机要避开飞行中前方的障碍物，雷达控制与采集单元17控制让雷达单元1工作，同时将其余5个雷达单元关闭。
雷达单元i发射毫米波并接收从障碍物反射回来的毫米波，通过将反射回来的毫米波与雷达单元i发射的毫米波做混频，得到混频后的单频正弦信号；其中雷达单元i为从G个雷达单元中任意选取的一个雷达单元。
将混频后的单频正弦信号发送至雷达控制与采集单元17，设雷达控制与采集单元17的采样率为Fs，采样持续时间为Tp，则持续时间Tp内的采样点数N＝Fs*Tp；对混频后的单频正弦信号进行N点采样，得到N点采样后的数据，并将N点采样后的数据发送至信息融合处理模块3。
视觉控制传输单元22在t时刻控制视觉传感器单元21对无人机检测范围内的障碍物拍照两次，分别得到第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2，并发送至信息融合处理模块3。
所述电子罗盘模块4获取无人机的三维倾角信息，并将所述无人机的三维倾角信息发送至信息融合处理模块3，所述无人机的三维倾角信息包括无人机的横滚角α、无人机的俯仰角β和无人机的航向角γ。
步骤2，信息融合处理模块3中对N点采样后的数据做傅里叶变换获得频谱，通过对所述频谱做恒虚警检测得到障碍物到无人机的距离R，f表示视觉传感器单元21获取第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2的时间间隔，Tp表示雷达发射的毫米波持续时宽，c表示光速，B'表示雷达发射的毫米波带宽。
分别设定无人机检测范围内的障碍物到无人机的最近距离为Rmin，设定无人机检测范围内的障碍物到无人机的最远距离Rmax，
如果无人机检测范围内的障碍物到无人机的距离R满足：所有障碍物的距离都满足R>Rmax，则说明无人机处于安全区域，不改变飞行速度和方向。
如果无人机检测范围内的障碍物到无人机的距离R满足：Rmin<R<Rmax时，此时降低无人机飞行速度。
如果无人机检测范围内的障碍物到无人机的距离R满足：R<Rmin，此时无人机处于危险区域，则无人机避开其检测范围内的障碍物。
信息融合处理模块3将第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2做高斯滤波，高斯滤波模板为3*3大小，滤除第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2中由于环境和基于毫米波雷达与视觉融合的无人机避障装置中引入的高斯噪声；进而得到高斯滤波后第一无人机检测范围内的障碍物视觉图像数据G1和高斯滤波后第二无人机检测范围内的障碍物视觉图像数据G2，计算G1与G2的差值图像为S，S＝G1-G2；统计差值图像S中不为0的像素点,将差值图像中不为0的所有像素点都标记为1，差值图像中为0的像素点都保持不变，进而得到二值图像。
步骤3，信息融合处理模块3使用形态学腐蚀和膨胀方法对二值图像进行形态学腐蚀和膨胀处理，填充二值图像内部的空洞，并分离不同的障碍物，得到形态学腐蚀和膨胀后的图像；将A记为视觉传感器单元21获取第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2的时间间隔，所述障碍物在形态学腐蚀和膨胀后的图像中的横坐标为B，所述障碍物在形态学腐蚀和膨胀后的图像中的纵坐标为C，B和C为无人机检测范围内的障碍物方位信息，然后计算比例系数k，其表达式为：
x＝A·k
y＝B·k
z＝C·k-f
其中，R表示障碍物到无人机的距离，x表示第一中间参数，y表示第二中间参数，z表示第三中间参数。
计算过渡矩阵P，其表达式为：
其中，θ1表示无人机的横滚角，θ2表示无人机的俯仰角，θ3表示无人机的航向角，sin表示正弦函数，cos表示余弦函数。
进而计算得到无人机检测范围内的障碍物三维立体信息(x',y',z')，其表达式为：
飞行控制模块5利用无人机检测范围内的障碍物三维立体信息避开障碍物。
Claims (7)
1.一种基于毫米波雷达与视觉融合的无人机避障装置，安装于无人机上，其特征在于，包括：雷达模块、视觉模块、电子罗盘模块、信息融合处理模块和飞行控制模块；
所述信息融合处理模块包括三个输入端，分别电连接雷达模块输出端、视觉模块输出端和电子罗盘模块输出端，信息融合处理模块输出端电连接飞行控制模块输入端；
所述雷达模块用于发射毫米波，并接收无人机检测范围内的障碍物反射回来的障碍物毫米波，从所述反射回来的障碍物毫米波得到N点采样后的数据，并将所述N点采样后的数据发送至信息融合处理模块；N为大于0的正整数；
所述视觉模块用于获取无人机检测范围内的障碍物视觉信息，得到t时刻两幅不同的无人机检测范围内的障碍物视觉图像数据，并将所述t时刻两幅不同的无人机检测范围内的障碍物视觉图像数据发送至信息融合处理模块；
所述电子罗盘模块用于获取无人机的三维倾角信息，并将所述无人机的三维倾角信息发送至信息融合处理模块；
所述信息融合处理模块分别用于对所述N点采样后的数据做恒虚警检测，得到无人机到障碍物的距离信息；用于通过对t时刻两幅不同的无人机检测范围内的障碍物视觉图像数据做高斯滤波和求差，进而得到二值图像；然后信息融合处理模块对无人机检测范围内的障碍物到无人机的距离信息、二值图像进行融合处理，进而得到无人机检测范围内的障碍物三维立体信息，并将无人机检测范围内的障碍物三维立体信息发送至飞行控制模块；
所述飞行控制模块用于根据无人机检测范围内的障碍物三维立体信息避开障碍物。
2.如权利要求1所述的一种基于毫米波雷达与视觉融合的无人机避障装置，其特征在于，所述雷达模块包括雷达控制与采集单元和G个雷达单元，所述G个雷达单元分别为雷达单元1、雷达单元2、…、雷达单元G，G为大于0的正整数；雷达控制与采集单元包括G个输入端，分别电连接雷达单元1输出端、雷达单元2输出端、…、雷达单元G输出端；雷达单元i为从G个雷达单元中任意选取的一个雷达单元；G为大于0的正整数；
雷达单元i用于发射毫米波并接收从障碍物反射回来的毫米波，并将反射回来的毫米波与雷达单元i发射的毫米波做混频，得到混频后的单频正弦信号，然后将混频后的单频正弦信号发送至雷达控制与采集单元进行N点采样，得到N点采样后的数据，并将N点采样后的数据作为雷达模块的输出。
3.如权利要求1所述的一种基于毫米波雷达与视觉融合的无人机避障装置，其特征在于，所述视觉模块包括视觉传感器单元和视觉控制传输单元，视觉传感器单元输出端电连接视觉控制传输单元，视觉控制传输单元用于在t时刻控制视觉传感器单元对无人机检测范围内的障碍物拍照两次，分别得到第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2，并将第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2作为视觉模块的输出；其中，t表示时间变量。
4.一种基于毫米波雷达与视觉融合的无人机避障方法，应用于权利要求1至3所述的基于毫米波雷达与视觉融合的无人机避障装置，所述基于毫米波雷达与视觉融合的无人机避障装置，安装于无人机上，包括：雷达单元1、…、雷达单元G、雷达控制与采集单元、视觉传感器单元、视觉控制传输单元、电子罗盘模块、信息融合处理模块、飞行控制模块；所述基于毫米波雷达与视觉融合的无人机避障方法，其特征在于，包括以下步骤：
步骤1，雷达单元i发射毫米波并接收从障碍物反射回来的毫米波，通过将反射回来的毫米波与雷达单元i发射的毫米波做混频，得到混频后的单频正弦信号；其中雷达单元i为从G个雷达单元中任意选取的一个雷达单元；G为大于0的正整数；
将混频后的单频正弦信号发送至雷达控制与采集单元，设雷达控制与采集单元的采样率为Fs，采样持续时间为Tp，则持续时间Tp内的采样点数N＝Fs*Tp；对混频后的单频正弦信号进行N点采样，得到N点采样后的数据，并将N点采样后的数据发送至信息融合处理模块；
步骤2，视觉控制传输单元在t时刻控制视觉传感器单元对无人机检测范围内的障碍物拍照两次，分别得到第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2，并发送至信息融合处理模块；t表示时间变量；
所述电子罗盘模块获取无人机的三维倾角信息，并将所述无人机的三维倾角信息发送至信息融合处理模块，所述无人机的三维倾角信息包括无人机的横滚角、无人机的俯仰角和无人机的航向角；
步骤3，信息融合处理模块中对N点采样后的数据做傅里叶变换获得频谱，通过对所述频谱做恒虚警检测得到障碍物到无人机的距离R；
信息融合处理模块对第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2进行高斯滤波并求差，进而得到二值图像；
步骤4，信息融合处理模块对二值图像进行形态学腐蚀和膨胀处理，得到形态学腐蚀和膨胀后的图像，然后根据无人机的三维倾角信息和障碍物到无人机的距离R，计算得到无人机检测范围内的障碍物三维立体信息；
飞行控制模块利用无人机检测范围内的障碍物三维立体信息避开障碍物。
5.如权利要求4所述的一种基于毫米波雷达与视觉融合的无人机避障方法，其特征在于，在步骤3中，所述障碍物到无人机的距离R，其表达式为：
f表示视觉传感器单元获取第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2的时间间隔，Tp表示雷达发射的毫米波持续时宽，c表示光速，B'表示雷达发射的毫米波带宽；
分别设定无人机检测范围内的障碍物到无人机的最近距离为Rmin，设定无人机检测范围内的障碍物到无人机的最远距离Rmax，
如果无人机检测范围内的障碍物到无人机的距离R满足：所有障碍物的距离都满足R>Rmax，则说明无人机处于安全区域，不改变飞行速度和方向；
如果无人机检测范围内的障碍物到无人机的距离R满足：Rmin<R<Rmax时，此时降低无人机飞行速度；
如果无人机检测范围内的障碍物到无人机的距离R满足：R<Rmin，此时无人机处于危险区域，则无人机避开其检测范围内的障碍物。
6.如权利要求4所述的一种基于毫米波雷达与视觉融合的无人机避障方法，其特征在于，在步骤3中，所述二值图像，其得到过程为：信息融合处理模块3将第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2做高斯滤波，高斯滤波模板为s*s大小，滤除第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2中的高斯噪声；进而得到高斯滤波后第一无人机检测范围内的障碍物视觉图像数据G1和高斯滤波后第二无人机检测范围内的障碍物视觉图像数据G2，计算G1与G2的差值图像为S，S＝G1-G2；统计差值图像S中不为0的像素点,并将差值图像中不为0的所有像素点都标记为1，差值图像中为0的像素点都保持不变，进而得到二值图像；
其中，s为大于0的正整数。
7.如权利要求4所述的一种基于毫米波雷达与视觉融合的无人机避障方法，其特征在于，在步骤4中，所述无人机检测范围内的障碍物三维立体信息，其得到过程为：
信息融合处理模块使用形态学腐蚀和膨胀方法对二值图像进行形态学腐蚀和膨胀处理，得到形态学腐蚀和膨胀后的图像；所述障碍物在形态学腐蚀和膨胀后的图像中的横坐标为B，所述障碍物在形态学腐蚀和膨胀后的图像中的纵坐标为C，B和C为无人机检测范围内的障碍物方位信息，然后计算比例系数k，其表达式为：
<mrow>
<mi>k</mi>
<mo>=</mo>
<mfrac>
<mi>R</mi>
<msqrt>
<mrow>
<msup>
<mi>A</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>B</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>C</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mfrac>
</mrow>
x＝A·k
y＝B·k
z＝C·k-f
其中，R表示障碍物到无人机的距离，x表示第一中间参数，y表示第二中间参数，z表示第三中间参数，A为视觉传感器单元获取第一无人机检测范围内的障碍物视觉图像数据F1和第二无人机检测范围内的障碍物视觉图像数据F2时间间隔；
然后计算过渡矩阵P，其表达式为：
<mrow>
<mi>P</mi>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>cos&theta;</mi>
<mn>3</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>sin&theta;</mi>
<mn>3</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>sin&theta;</mi>
<mn>3</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&theta;</mi>
<mn>3</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>cos&theta;</mi>
<mn>2</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>sin&theta;</mi>
<mn>2</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>sin&theta;</mi>
<mn>2</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&theta;</mi>
<mn>2</mn>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&theta;</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>sin&theta;</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>sin&theta;</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&theta;</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，θ1表示无人机的横滚角，θ2表示无人机的俯仰角，θ3表示无人机的航向角，sin表示正弦函数，cos表示余弦函数；
进而计算得到无人机检测范围内的障碍物三维立体信息(x',y',z')，其表达式为：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>z</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mi>P</mi>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>z</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710899844.8A CN107817488B (zh) | 2017-09-28 | 2017-09-28 | 基于毫米波雷达与视觉融合的无人机避障装置及避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710899844.8A CN107817488B (zh) | 2017-09-28 | 2017-09-28 | 基于毫米波雷达与视觉融合的无人机避障装置及避障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107817488A true CN107817488A (zh) | 2018-03-20 |
| CN107817488B CN107817488B (zh) | 2021-08-03 |
Family
ID=61606976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710899844.8A Active CN107817488B (zh) | 2017-09-28 | 2017-09-28 | 基于毫米波雷达与视觉融合的无人机避障装置及避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107817488B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681335A (zh) * | 2018-05-10 | 2018-10-19 | 杭州瓦屋科技有限公司 | 植保无人机在坡地的仿地飞行方法及装置 |
| CN109168174A (zh) * | 2018-08-02 | 2019-01-08 | 重庆邮电大学 | 一种利用波束特征进行移动终端定位的方法 |
| CN109298708A (zh) * | 2018-08-31 | 2019-02-01 | 中船重工鹏力（南京）大气海洋信息系统有限公司 | 一种融合雷达与光电信息的无人艇自主避障方法 |
| CN110068819A (zh) * | 2019-03-27 | 2019-07-30 | 东软睿驰汽车技术（沈阳）有限公司 | 一种提取障碍物位置信息的方法及装置 |
| CN110208793A (zh) * | 2019-04-26 | 2019-09-06 | 纵目科技（上海）股份有限公司 | 基于毫米波雷达的辅助驾驶系统、方法、终端和介质 |
| CN111399535A (zh) * | 2020-03-24 | 2020-07-10 | 北京三快在线科技有限公司 | 一种无人机避障方法、装置、无人机及存储介质 |
| CN111880532A (zh) * | 2020-07-13 | 2020-11-03 | 珠海格力电器股份有限公司 | 自主移动设备及其方法、装置、设备和存储介质 |
| CN112200087A (zh) * | 2020-10-10 | 2021-01-08 | 北京理工大学 | 一种用于车辆碰撞预警的障碍物图像自动标定装置 |
| CN112424635A (zh) * | 2019-11-05 | 2021-02-26 | 深圳市大疆创新科技有限公司 | 障碍物检测方法、系统、地面端设备及自主移动平台 |
| WO2021087706A1 (zh) * | 2019-11-04 | 2021-05-14 | 深圳市大疆创新科技有限公司 | 雷达系统、可移动平台及雷达系统的控制方法 |
| CN113848545A (zh) * | 2021-09-01 | 2021-12-28 | 电子科技大学 | 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法 |
| CN115082924A (zh) * | 2022-04-26 | 2022-09-20 | 电子科技大学 | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 |
| CN115933752A (zh) * | 2023-02-16 | 2023-04-07 | 杭州硬十科技有限公司 | 一种基于ai的无人机动态避障预测控制方法 |
| CN117169872A (zh) * | 2023-08-25 | 2023-12-05 | 广州珠观科技有限公司 | 一种基于立体摄像机和毫米波雷达信息融合的机器人自主导航系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2442133A1 (en) * | 2010-10-18 | 2012-04-18 | Raytheon Company | Systems and methods for collision avoidance in unmanned aerial vehicles |
| US8380367B2 (en) * | 2009-03-26 | 2013-02-19 | The University Of North Dakota | Adaptive surveillance and guidance system for vehicle collision avoidance and interception |
| CN104597912A (zh) * | 2014-12-12 | 2015-05-06 | 南京航空航天大学 | 一种六旋翼无人直升机跟踪飞行控制系统及方法 |
| CN206057974U (zh) * | 2016-08-25 | 2017-03-29 | 大连楼兰科技股份有限公司 | 一种应用在旋翼无人机上的避障系统 |
| CN106681356A (zh) * | 2017-01-04 | 2017-05-17 | 四川克瑞斯航空科技有限公司 | 一种远程控制uwb引导降落的无人机系统 |
-
2017
- 2017-09-28 CN CN201710899844.8A patent/CN107817488B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8380367B2 (en) * | 2009-03-26 | 2013-02-19 | The University Of North Dakota | Adaptive surveillance and guidance system for vehicle collision avoidance and interception |
| EP2442133A1 (en) * | 2010-10-18 | 2012-04-18 | Raytheon Company | Systems and methods for collision avoidance in unmanned aerial vehicles |
| CN104597912A (zh) * | 2014-12-12 | 2015-05-06 | 南京航空航天大学 | 一种六旋翼无人直升机跟踪飞行控制系统及方法 |
| CN206057974U (zh) * | 2016-08-25 | 2017-03-29 | 大连楼兰科技股份有限公司 | 一种应用在旋翼无人机上的避障系统 |
| CN106681356A (zh) * | 2017-01-04 | 2017-05-17 | 四川克瑞斯航空科技有限公司 | 一种远程控制uwb引导降落的无人机系统 |
Non-Patent Citations (2)
| Title |
|---|
| 刘茜: "水面移动机器人目标检测与定位方法研究", 《中国优秀硕士学位论文全文数据库—信息科技辑》 * |
| 樊继东 等: "《汽车电子控制技术》", 28 February 2015 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681335A (zh) * | 2018-05-10 | 2018-10-19 | 杭州瓦屋科技有限公司 | 植保无人机在坡地的仿地飞行方法及装置 |
| CN109168174A (zh) * | 2018-08-02 | 2019-01-08 | 重庆邮电大学 | 一种利用波束特征进行移动终端定位的方法 |
| CN109168174B (zh) * | 2018-08-02 | 2021-09-28 | 重庆邮电大学 | 一种利用波束特征进行移动终端定位的方法 |
| CN109298708B (zh) * | 2018-08-31 | 2021-08-17 | 中船重工鹏力（南京）大气海洋信息系统有限公司 | 一种融合雷达与光电信息的无人艇自主避障方法 |
| CN109298708A (zh) * | 2018-08-31 | 2019-02-01 | 中船重工鹏力（南京）大气海洋信息系统有限公司 | 一种融合雷达与光电信息的无人艇自主避障方法 |
| CN110068819A (zh) * | 2019-03-27 | 2019-07-30 | 东软睿驰汽车技术（沈阳）有限公司 | 一种提取障碍物位置信息的方法及装置 |
| CN110068819B (zh) * | 2019-03-27 | 2021-08-31 | 东软睿驰汽车技术（沈阳）有限公司 | 一种提取障碍物位置信息的方法及装置 |
| CN110208793A (zh) * | 2019-04-26 | 2019-09-06 | 纵目科技（上海）股份有限公司 | 基于毫米波雷达的辅助驾驶系统、方法、终端和介质 |
| WO2021087706A1 (zh) * | 2019-11-04 | 2021-05-14 | 深圳市大疆创新科技有限公司 | 雷达系统、可移动平台及雷达系统的控制方法 |
| CN112424635A (zh) * | 2019-11-05 | 2021-02-26 | 深圳市大疆创新科技有限公司 | 障碍物检测方法、系统、地面端设备及自主移动平台 |
| CN111399535A (zh) * | 2020-03-24 | 2020-07-10 | 北京三快在线科技有限公司 | 一种无人机避障方法、装置、无人机及存储介质 |
| CN111880532A (zh) * | 2020-07-13 | 2020-11-03 | 珠海格力电器股份有限公司 | 自主移动设备及其方法、装置、设备和存储介质 |
| CN111880532B (zh) * | 2020-07-13 | 2022-03-18 | 珠海格力电器股份有限公司 | 自主移动设备及其方法、装置、设备和存储介质 |
| CN112200087A (zh) * | 2020-10-10 | 2021-01-08 | 北京理工大学 | 一种用于车辆碰撞预警的障碍物图像自动标定装置 |
| CN113848545A (zh) * | 2021-09-01 | 2021-12-28 | 电子科技大学 | 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法 |
| CN113848545B (zh) * | 2021-09-01 | 2023-04-14 | 电子科技大学 | 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法 |
| CN115082924A (zh) * | 2022-04-26 | 2022-09-20 | 电子科技大学 | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 |
| CN115082924B (zh) * | 2022-04-26 | 2024-03-29 | 电子科技大学 | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 |
| CN115933752A (zh) * | 2023-02-16 | 2023-04-07 | 杭州硬十科技有限公司 | 一种基于ai的无人机动态避障预测控制方法 |
| CN117169872A (zh) * | 2023-08-25 | 2023-12-05 | 广州珠观科技有限公司 | 一种基于立体摄像机和毫米波雷达信息融合的机器人自主导航系统 |
| CN117169872B (zh) * | 2023-08-25 | 2024-03-26 | 广州珠观科技有限公司 | 一种基于立体摄像机和毫米波雷达信息融合的机器人自主导航系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107817488B (zh) | 2021-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107817488B (zh) | 基于毫米波雷达与视觉融合的无人机避障装置及避障方法 | |
| CN110308457B (zh) | 一种基于无人机的输电线路巡检系统 | |
| CN107650908B (zh) | 无人车环境感知系统 | |
| CN113359097B (zh) | 一种毫米波雷达和相机联合标定的方法 | |
| WO2016112714A1 (zh) | 一种船舶辅助泊岸方法和系统 | |
| CN111326023A (zh) | 一种无人机航线预警方法、装置、设备及存储介质 | |
| CN109029465B (zh) | 一种无人艇基于毫米波雷达的跟踪和避障系统 | |
| CN112154330A (zh) | 用于角度测量的系统和方法 | |
| CN114442101B (zh) | 基于成像毫米波雷达的车辆导航方法、装置、设备及介质 | |
| CN111694012A (zh) | 一种基于机载激光雷达的三维地形在线生成方法及系统 | |
| CN110687521A (zh) | 一种车载激光雷达标定的方法 | |
| CN114842643B (zh) | 视频车辆检测模型在线更新方法、装置及雷视融合系统 | |
| RU2513900C1 (ru) | Способ и устройство определения координат объектов | |
| CN113790718A (zh) | 一种基于无人船的信息共享系统 | |
| EP3683780A1 (en) | Obstacle detection using camera mounted on protrusion of vehicle | |
| US9583012B1 (en) | System and method for detection and avoidance | |
| US11493628B1 (en) | Using perpendicular one-dimensional arrays for safe operation of aerial vehicles | |
| Ye et al. | Lightweight low-cost UAV radar terrain mapping | |
| WO2020244467A1 (zh) | 一种运动状态估计方法及装置 | |
| CN113091733A (zh) | 一种基于毫米波雷达与imu融合的实时定位装置及方法 | |
| CN115508836A (zh) | 一种运动状态确定方法及装置 | |
| Ostermann et al. | LARUS: an unmanned aircraft for the support of maritime rescue missions under heavy weather conditions | |
| Tirri et al. | Advanced sensing issues for UAS collision avoidance. | |
| Grocholsky et al. | Robust autonomous ship deck landing for rotorcraft | |
| CN112735121A (zh) | 一种基于图像级激光雷达全息感知系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |