CN112230213B - 毫米波雷达及其信号处理方法、装置、计算机可读存储介质 - Google Patents
毫米波雷达及其信号处理方法、装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN112230213B CN112230213B CN202010867502.XA CN202010867502A CN112230213B CN 112230213 B CN112230213 B CN 112230213B CN 202010867502 A CN202010867502 A CN 202010867502A CN 112230213 B CN112230213 B CN 112230213B
- Authority
- CN
- China
- Prior art keywords
- thermodynamic diagram
- target
- dimensional thermodynamic
- distance
- covariance matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000010586 diagram Methods 0.000 claims abstract description 107
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000003068 static effect Effects 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 21
- 230000008030 elimination Effects 0.000 claims description 8
- 238000003379 elimination reaction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/414—Discriminating targets with respect to background clutter
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
公开了一种毫米波雷达及其信号处理方法、装置、计算机可读存储介质。本申请一实施例中,毫米波雷达的信号处理方法可以包括:基于从原始回波信号中提取的消除静止杂波后的距离信息,采用Capon波束形成算法形成二维热力图,所述二维热力图具有距离和方向角两个维度;采用恒虚警检测算法在所述二维热力图中检测目标,并确定目标的距离值和方向角;基于目标的距离值和方向角,采用Capon波束形成算法形成三维热力图,并基于所述三维热力图估算所述目标的俯仰角,所述三维热力图具有距离、方向和俯仰三个维度。本申请实施例不仅可以满足室内高分辨力测角的要求,而且计算量小。
Description
技术领域
本发明涉及无线电技术领域,尤其涉及一种毫米波雷达及其信号处理方法、装置、计算机可读存储介质。
背景技术
由于毫米波雷达具有全天候全天时工作特性,同时不涉及个人隐私,因此对于室内行人检测具有重要意义。随着目前智能家居的普及,毫米波雷达作为一种重要的感知器件发挥着重要作用,可安装于室内通过对室内人员感知来实现行人定位,从而用于智能照明节能控制、外来人员智能报警、空调吹风智能控制等领域。相比于其他感知设备,毫米波雷达可以准确的测量行人距离、角度、速度等信息,实现对室内行人的准确感知。
目前的毫米波雷达高带宽(可达到4GHz),满足高分辨测距要求,主要聚焦在高分辨力测角领域。诸如单脉冲测角技术等的常用测角方法采用和差波束进行测角。然而,单脉冲雷达只能针对主瓣范围内的目标测角,且无法对距离、速度相同但来波方向不同的多个目标进行分辨。尽管基于空间谱估计的测角方法可以同时对空域中多个目标的来波方向进行估计,并具有超分辨能力,是近年来目标测向及定位研究的热点,然而其计算量大,工程应用复杂。
发明内容
为了满足智能家居硬件低成本、高精度、实时性强的特点,本申请实施例期望提供一种低计算量、高分辨力的室内定位毫米波雷达的信号处理方案,以便为毫米波雷达广泛应用于智能家居室内定位提供保障。
根据本申请的一个方面,提供了一种毫米波雷达的信号处理方法,包括:
基于从原始回波信号中提取的消除静止杂波后的距离信息,采用Capon波束形成算法形成二维热力图,所述二维热力图具有距离和方向角两个维度;
采用恒虚警检测算法在所述二维热力图中检测目标,并确定所述目标的距离值和方向角;
基于所述目标的距离值和方向角,采用Capon波束形成算法形成三维热力图,并基于所述三维热力图估算所述目标的俯仰角,所述三维热力图具有距离、方向和俯仰三个维度。
一些示例中,采用Capon波束形成算法形成二维热力图之前,上述方法还包括:
通过对每一天线接收到的原始回波信号以一个发射线性调频信号chirp周期采样并进行快速傅里叶变换FFT运算,获得所述原始回波信号的距离信息;
通过对每一天线的相同距离单元不同chirp间信号求平均,获得所述原始回波信号中的静止信息;
用所述原始回波信号的距离信息减去所述静止信息,以获得所述消除静止杂波后的距离信息。
一些示例中,基于从原始回波信号中提取的消除静止杂波后的距离信息,采用Capon波束形成算法形成二维热力图,包括:
通过对每一天线的相同距离单元不同chirp间信号的所述消除静止杂波后的距离信息求互相关来获得协方差矩阵,所述协方差矩阵为共轭对称矩阵且其对角线上的元素取值为实数,且天线数取方位向虚拟天线个数;
采用分块求逆的方式计算所述协方差矩阵的逆矩阵;
通过Capon波束形成算法利用所述协方差矩阵的逆矩阵形成所述二维热力图,所述二维热力图具有距离和方位两个维度。
一些示例中,采用恒虚警检测算法在所述二维热力图中检测目标,并确定所述目标的距离值和方向角,包括:
采用最小选择恒虚警检测方法在所述二维热力图的距离维度上进行首次搜索检测以确定目标及其距离值;
针对所述目标,采用最小选择恒虚警检测方法在所述二维热力图进行方位维度上的二次搜索检测,以进一步确定所述目标的方向角。
一些示例中,基于所述目标的距离值和方向角,采用Capon波束形成算法形成三维热力图,包括:
利用所述目标的距离值求协方差矩阵,所述协方差矩阵中的天线数取所有虚拟天线的个数;
采用分块求逆的方式计算所述协方差矩阵的逆矩阵;
通过Capon波束形成算法利用所述协方差矩阵的逆矩阵且以所述目标的方位角对应的导向矢量与枚举的俯仰角导向矢量的共轭相乘而获得的导向矢量为导向矢量,形成所述三维热力图。
一些示例中,基于所述三维热力图估算所述目标的俯仰角,包括:在所述三维热力图中,采用单峰搜索方法进行俯仰角估计,以确定所述目标的俯仰角度值。
根据本申请的一个方面,提供了一种毫米波雷达的信号处理方法,包括:
基于预先从原始回波信号中提取的静止信息,采用Bartlett波束形成算法形成三维热力图,所述三维热力图具有距离、方位角和俯仰角三个维度;
采用恒虚警检测算法在所述三维热力图中检测目标,并确定所述目标的距离值;
根据所述目标的距离值和所述三维热力图,采用最近邻算法确定所述目标的方位角和俯仰角。
根据本申请的一个方面,提供了一种毫米波雷达的信号处理方法,包括:
接收原始回波信号,并从所述原始回波信号中提取消除静止杂波后的距离信息和静止信息;
基于所述消除静止杂波后的距离信息,检测运动目标并确定所述运动目标的位置信息;
基于所述静止信息,检测静止目标并确定所述静止目标的位置信息;
基于所述位置信息,计算相应目标的速度;
其中,所述位置信息包括距离值、方向角和俯仰角。
根据本申请的一个方面,提供了一种毫米波雷达的信号处理装置,包括:
二维热力图模块,配置为基于从原始回波信号中提取的消除静止杂波后的距离信息,采用Capon波束形成算法形成二维热力图,所述二维热力图具有距离和方向角两个维度;
第一检测模块,配置为采用恒虚警检测算法在所述二维热力图中检测目标,并确定所述目标的距离值和方向角;
俯仰角估计模块,配置为基于所述目标的距离值和方向角,采用Capon波束形成算法形成三维热力图,并基于所述三维热力图估算所述目标的俯仰角,所述三维热力图具有距离、方向和俯仰三个维度。
根据本申请的一个方面,提供了一种毫米波雷达的信号处理装置,包括:
三维热力图模块,配置为基于预先从原始回波信号中提取的静止信息,采用Bartlett波束形成算法形成三维热力图,所述三维热力图具有距离、方位角和俯仰角三个维度;
第二检测模块,配置为采用恒虚警检测算法在所述三维热力图中检测目标,并确定所述目标的距离值;
角度估算模块,配置为根据所述目标的距离值和所述三维热力图,采用最近邻算法确定所述目标的方位角和俯仰角。
根据本申请的一个方面,提供了一种毫米波雷达的信号处理装置,包括:
提取单元,配置为从天线阵列所接收的原始回波信号中提取消除静止杂波后的距离信息和静止信息;
第一定位单元,配置为基于所述消除静止杂波后的距离信息,检测运动目标并确定所述运动目标的位置信息;
第二定位单元,配置为基于所述静止信息,检测静止目标并确定所述静止目标的位置信息;
速度估算单元,配置为基于所述位置信息,计算相应目标的速度;
其中,所述位置信息包括距离值、方向角和俯仰角。
根据本申请的一个方面,提供了一种毫米波雷达,包括:
天线阵列;
一个或多个处理器;以及
存储器,存储有计算机程序,所述计算机程序在被所述处理器运行时使所述处理器执行上述毫米波雷达的信号处理方法。
根据本申请的一个方面,提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序在被处理器运行时使得所述处理器执行上述任一或多种毫米波雷达的信号处理方法。
本发明实施例不仅可以满足室内高分辨力测角的要求,而且计算量小,可通过诸如单片机等成本较低的集成电路芯片来实时实现,为毫米波雷达在智能家居中目标定位的广泛应用提供了保障。
附图说明
图1为本申请一优选实施例中毫米波雷达的信号处理方法的流程示意图;
图2为本申请另一优选实施例中毫米波雷达的信号处理方法的流程示意图;
图3为本申请又一优选实施例中毫米波雷达的信号处理方法的流程示意图;
图4为本申请一优选实施例中毫米波雷达的信号处理装置的组成结构示意图;
图5为本申请另一优选实施例中毫米波雷达的信号处理装置的组成结构示意图;
图6为本申请又一优选实施例中毫米波雷达的信号处理装置的组成结构示意图;
图7为本申请实施例中毫米波雷达的示例性结构示意图。
具体实施方式
下文将结合附图对本申请实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的各个实施例及其中的各特征可以相互任意组合。
如前文所述,目前毫米波雷达要么分辨力不足要么计算量大、工程应用复杂,因而难以在智能家居的诸如室内定位等方面得到广泛应用。为解决该技术问题,本申请实施例提供了一种低计算量、高分辨力、成本低的毫米波雷达及其信号处理方法、装置、计算机可读存储介质。
需要说明的是,尽管本文以智能家居室内定位的场景为例来进行详细说明,但可以理解的是,本申请实施例可适用于各种需要精准定位的场景,其应用场景不限于此。
下面以室内定位的应用场景为例并结合具体实施例来详细说明本申请实施例的示例性实现方式。下文各个实施例中,针对室内定位的特点,分别以室内运动场景、室内静止场景以及其结合场景为例,结合不同场景中定位目标的特点采取适合相应场景的最优解决方法,在满足系统性能基础上以最大限度降低计算量为技术目的,来详细说明本申请实施例的技术方案。
实施例一
本实施例可适用于室内运动场景。具体地,本实施例可应用于诸如室内等家居环境中诸如行人、宠物、工作中的扫地机器人等运动物体的定位。
图1示出了本实施例中毫米波雷达的信号处理方法的示例性流程。如图1所示,该示例性的信号处理方法可以包括步骤S110~步骤S130。
步骤S110中,采用Capon波束形成算法形成二维热力图,该二维热力图具有距离和方向角两个维度;
步骤S110之前,还可以包括:步骤S100,静止杂波消除,即从原始回波信号中提取消除静止杂波后的距离信息。
一些示例中,步骤S100的示例性实现方式可以包括如下子步骤:
步骤a1,通过对每一天线接收到的原始回波信号以一个发射线性调频信号chirp周期采样并进行快速傅里叶变换(FFT)运算,获得原始回波信号的距离信息;
步骤a2,通过对每一天线的相同距离单元不同chirp间信号求平均,获得所述原始回波信号中的静止信息;
步骤a3,用原始回波信号的距离信息减去静止信息,以获得消除静止杂波后的距离信息。
一些示例中,步骤S1101的计算过程可表示为下式(1)~(2):
其中,Xncr表示经过步骤a1的FFT运算所获得的距离信息,表示步骤a2所获得的静止信息,式(2)中箭头指向的Xncr表示步骤a3获得的消除静止杂波后的距离信息,c表示每帧中chirp序号,Nc表示每帧中chirp个数,r表示虚拟接收天线序号,n表示每个chirp中距离单元序号。
具体地,步骤S110的一种示例性实现方式可以包括如下三个步骤:
步骤S1101,计算方位向协方差;
具体地,通过对每一天线的相同距离单元不同chirp间信号的所述消除静止杂波后的距离信息求互相关来获得协方差矩阵,所述协方差矩阵为共轭对称矩阵且其对角线上的元素取值为实数,且天线数取方位向虚拟天线个数。这里,距离单元表示所述距离信息中的单位距离。
本步骤中,在计算方位向协方差的同时,为了使协方差矩阵的逆可求且不发散,在求协方差矩阵中需要对对角线元素进行加载,保证满秩。
一些示例中,本步骤中方位向协方差Rxx,n的计算过程可表示为下式(3)~(4):
其中,为方位向虚拟天线个数,T表示转置,H表示共轭,α表示对角加载权,/>表示/>的单位矩阵,tr(Rxx,n)表示矩阵对角线元素求和。
步骤S1102,计算协方差逆;
具体地,可以采用分块求逆的方式计算所述协方差矩阵的逆矩阵。
一些示例中,由于协方差矩阵为方正,因此可以通过分块矩阵的方法求逆,加快计算,可通过不停的分块方式,将矩阵最终分解成2x2或者3x3矩阵,而这两个矩阵求逆可直接计算,具体分块计算可表示为下式(5)
其中,A、B、C、D表示自协方差矩阵分割而得的四个分块矩阵。
本实施例中,考虑到协方差矩阵为共轭对称阵,其逆矩阵也为共轭对称阵,对计算进行进一步简化,结合协方差矩阵的对角线元素为实数,又可以将复数相乘等运算进行简化。如此,上述求逆运算可比普通求逆运算节省40%左右的计算量。
步骤S1103,形成具有距离、方位角两个维度的距离方位图,也即本文所述的二维热力图。
具体地,通过Capon波束形成算法利用协方差矩阵的逆矩阵形成二维热力图,该二维热力图具有距离和方位两个维度。
本步骤中,通过Capon方法形成二维热力图。考虑到动态场景特点,其枚举的方位角步进值可以选取比较小的值,例如可以在1°左右。一些示例中,步骤S1103的具体计算过程如下式(6)~(8)所示:
其中,aa表示方位导向矢量,Na表示方位向的方位角步进个数,d表示方位向两个接收天线间距离,λ表示波长,θa表示方位角序号为a的角度值,Pna表示空间谱,μα表示目标两个天线间反射波程差,e是复数的基本表示,j表示虚数。
步骤S120,距离方位的恒虚警检测算法(CFAR)检测,也即采用恒虚警检测算法在二维热力图中检测目标,并确定目标的距离值和方向角;
具体地,步骤S120的示例性实现方式可以包括:步骤b1,采用最小选择恒虚警检测(CFAR—SO)方法在二维热力图的距离维度上进行首次搜索检测以确定目标及其距离值;步骤b2,针对所述目标,采用最小选择恒虚警检测方法在二维热力图进行方位维度上的二次搜索检测,以进一步确定目标的方向角。一些示例中,步骤S120的检测过程中,对于检测边界,可以通过循环折叠的方式进行处理,即对于左边界点,其左侧参考点和保护单元采用右侧边界点;对于右侧边界点,其右侧参考点和保护单元采用左侧边界点。
步骤S130,基于所述目标的距离值和方向角,采用Capon波束形成算法形成三维热力图,所述三维热力图具有距离、方向和俯仰三个维度,基于所述三维热力图估算所述目标的俯仰角。
具体地,步骤S130的一种示例性实现方式可以包括如下四个步骤:
步骤S1301,计算方位俯仰向的协方差;
具体地,利用目标的距离值求协方差矩阵,该协方差矩阵中的天线数取所有虚拟天线的个数。一些示例中,可以根据步骤S120检测的距离值rdet,m求相应的协方差矩阵,计算过程和步骤S1101基本相同,所不同的是,本步骤计算时的天线数取所有虚拟天线Nr,如下式(9)~(10)所示。
其中,Rxx,det,m表示方位俯仰向协方差。
步骤S1302,求协方差逆;
具体地,采用分块求逆的方式计算协方差矩阵的逆矩阵。一些示例中,本步骤可以采用和步骤S1103相同的分块求逆的计算方法来计算所有虚拟天线协方差的逆具体计算过程可以与步骤S1102完全相同。
步骤S1303,形成距离方位俯仰图,即本文中的三维热力图;
具体地,通过Capon波束形成算法利用协方差矩阵的逆矩阵且以目标的方位角对应的导向矢量与枚举的俯仰角导向矢量的共轭相乘而获得的导向矢量为导向矢量,形成三维热力图。
一些示例中,可以根据步骤S120检测的距离值rdet,m和方位值adet,m,通过Capon方法求相应的三维热力图,具体计算过程与步骤S1103相同,只是其导向矢量不同。步骤S1303中的导向矢量为检测后的方位角adet,m对应导向矢量与枚举的俯仰角导向矢量的共轭相乘。
步骤S1304,单峰值搜索。
具体地,在三维热力图中采用单峰搜索方法进行俯仰角估计,以确定目标的俯仰角度值。本步骤中,在步骤S1303形成的三维热力图中,采用单峰搜索方法进行俯仰角估计,即每个检测点(即目标点)对应一个俯仰角度值,这样在满足室内行人高分辨检测基础上可大大简化处理复杂度,降低计算量,最终获得各个目标的距离值rdet,m、方位角adet,m和俯仰角edet,m,完成运动物体中的定位。
本实施例中采用Capon超分辨方法来实现诸如室内等家居环境中运动物体的距离值、方位角、俯仰角的测量。为了降低计算量,本实施例中先进行目标的距离和方位角的检测、再针对检测到的目标进行俯仰角的测量,该方法不仅可以满足室内高分辨力测角的要求,而且计算量小,可通过诸如单片机等成本较低的集成电路芯片来实时实现,为毫米波雷达在室内定位的广泛应用提供了保障。
实施例二
本实施例可适用于室内运动场景。具体地,可应用于诸如室内等家居环境中静止物体(例如,静止的人、植物、家具等各类处于静止状态的物体)的定位。
图2示出了本实施例中毫米波雷达的信号处理方法的示例性流程。如图2所示,该示例性的信号处理方法可以包括步骤S210~步骤S230。
步骤S210,基于预先从原始回波信号中提取的静止信息,采用Bartlett波束形成算法形成三维热力图,三维热力图具有距离、方位角和俯仰角三个维度。
本步骤中,使用到的数据是上述实施例一中步骤S100(即静止杂波消除步骤)中计算出的静止信息
一些示例中,本步骤中采用Bartlett波速形成算法生成三维热力图的计算过程可以表示为下式(11)~(13)。
其中,de表示俯仰向两个天线间距离,表示方位角,方位角的步长为Δe,序号为e的角度值即eΔe,θa表示俯仰角,俯仰角的步长为Δa,序号为a的角度值即aΔa,Nr表示虚拟接收天线个数,r表示虚拟接收天线序号,da为方位向两个接收天线间距离,λ为波长,*表示共轭,μα表示俯仰向两个天线目标反射波程差,μe表示方位向两个天线目标反射波程差。
上述示例的计算过程中,考虑到静止场景中目标处于静止状态等特点,对于目标的方位向和俯仰向的遍历步长Δe和Δa可以适当放大,采用明显高于运动场景的步长值,以降低遍历数、缩短遍历周期,从而提高计算效率、降低计算量。例如,步长Δe可以取5°或其他合适的数值,Δa可以取3°或其他合适的数值。
步骤S220,采用恒虚警检测算法在三维热力图中检测目标,并确定所述目标的距离值。
本步骤中,采用恒虚警检测算法在三维热力图中方位俯仰单元的距离维度上进行搜索检测来确定目标及其距离值rdet,m,这相比于运动场景的CFAR检测,计算量更小,可满足家居环境中静止目标的检测需求。
步骤S230,根据目标的距离值和所述三维热力图,采用最近邻算法确定目标的方位角和俯仰角。
本步骤中,基于步骤S220检测到的目标及其距离值rdet,m,估计其相应的方位角adet,m和俯仰角edet,m。这里,可以采用最近邻检测的方法进行估计,即选取目标点附近的三个点作为参考点,查询这些参考点在三维热力图中的方位角adet,m并进行加权估计来计算目标的方位角adet,m,查询这些参考点在三维热力图中的俯仰角edet,m并进行加权估计来计算目标的俯仰角edet,m。这样,可以进一步提高测量精度,降低干扰影响。最终获得目标的距离rdet,m、方位角adet,m和俯仰角edet,m等位置信息,完成家居环境中静止物体的定位。
本实施例中采用计算量低的Bartlett波速形成方法实现家居环境中静止物体的方位角和俯仰角的二维联合估计,该方法不仅可以满足家居环境中对于毫米波雷达高分辨力测角的要求,而且计算量小,可通过诸如单片机等成本较低的集成电路芯片来实时实现,为毫米波雷达在室内定位的广泛应用提供了保障。
实施例三
本实施例可适用于室内运动场景。具体地,可应用于诸如室内等家居环境中静止物体和运动物体的联合定位。
图3示出了本实施例中毫米波雷达的信号处理方法的示例性流程。如图3所示,该毫米波雷达信号处理方法的示例性流程可以包括步骤S310~步骤S340。
步骤S310,测距:即接收原始回波信号,并从原始回波信号中提取消除静止杂波后的距离信息和静止信息。
本步骤中,从原始回波信号中提取消除静止杂波后的距离信息和静止信息的过程与上文步骤S110相同。
步骤S320,运动目标测角,即基于所述消除静止杂波后的距离信息,检测运动目标并确定运动目标的位置信息,所述位置信息可以包括距离值、方向角和俯仰角,完成运动目标的定位。
本步骤的具体实现过程可以参考上文实施例一的描述,不再赘述。
步骤S330,静止目标测角,即基于所述静止信息,检测静止目标并确定所述静止目标的位置信息,完成静止目标的定位。
本步骤的具体实现过程可以参考上文实施例二的描述,不再赘述。
步骤S340,测速,即基于所述位置信息计算相应目标的速度,以完成运动目标和/或静止目标的测速。
在步骤S340中,可以根据步骤S320检测到的运动目标的位置信息和步骤S330检测到的静止目标的位置信息,从步骤S310中选取对应距离单元的不同chirp信号进行FFT运算,实现目标多普勒测量,获得这些目标的速度值。
在步骤S340之后,本实施例的方法还可以包括:输出运动目标和/或静止目标的距离值、方向角、俯仰角和速度值、完成整个毫米波雷达信号处理。如图3所示,该步骤输出的结果可以是四维点云结果,该四维点云结果中每个点代表一个目标,每个点具有四个维度的坐标,这四个维度包括距离值、方向角、俯仰角和速度值。
本实施例中,步骤S320中运动目标的定位和步骤S330中静止目标的定位可以采用串行、并行等多种方式来执行。一些示例中,可以先执行步骤S320的运动目标定位,必要时再继续步骤S330中静止目标的定位。该示例中,为了降低计算量,可以在步骤S310中进行静止杂波消除时,将每个距离单元和每根天线的静止信息进行保存,用于步骤S3330中静止目标的定位。
本实施例中,步骤S320中运动目标的定位和步骤S330中静止目标的定位均涉及CFAR算法。为了降低方法的复杂度,提高开发效率,可以通过参数配置的方式来将二维搜索检测简化为一维搜索检测来实现步骤S320和步骤S330中CFAR算法的共用。
本实施例中,在步骤S320中,为了降低计算量,采用Capon超分辨方法,先进行距离方位检测、再针对检测到的目标进行俯仰测量,实现家居环境中运动目标的方位和俯仰角测量;同时,在步骤S330中采用计算量低的Bartlett波速形成算法实现静止目标的方位角和俯仰角的二维联合估计,实现家居环境中静止目标的方位角和俯仰角的测量,由此,完成整个毫米波雷达室内定位的高分辨力角度估计,该方法不仅可以满足室内高分辨力测角的要求,而且计算量小,可通过单片机等低成本的集成电路芯片来实时实现,满足了实际的工程应用需求,为将来毫米波雷达在室内定位广泛应用提供保障,同时还可以为后期的雷达的数据处理提供可靠的量测信息。
实施例四
图4示出了本申请实施例一种毫米波雷达的示例性信号处理装置40,该示例性信号处理装置40可以实现实施例一所述的信号处理方法。
如图4所示,示例性信号处理装置40可以包括:
二维热力图模块41,配置为基于从原始回波信号中提取的消除静止杂波后的距离信息,采用Capon波束形成算法形成二维热力图,所述二维热力图具有距离和方向角两个维度;
第一检测模块42,配置为采用恒虚警检测算法在所述二维热力图中检测目标,并确定所述目标的距离值和方向角;
俯仰角估计模块43,配置为基于所述目标的距离值和方向角,采用Capon波束形成算法形成三维热力图,并基于所述三维热力图估算所述目标的俯仰角,所述三维热力图具有距离、方向和俯仰三个维度。
上述示例性信号处理装置40中各个模块的其他技术细节可以参考上文实施例一中信号处理方法的描述,不再赘述。
图5示出了本申请实施例一种毫米波雷达的示例性信号处理装置50,该示例性信号处理装置50可以实现实施例二所述的信号处理方法。
如图5所示,示例性信号处理装置50可以包括:
三维热力图模块51,配置为基于预先从原始回波信号中提取的静止信息,采用Bartlett波束形成算法形成三维热力图,所述三维热力图具有距离、方位角和俯仰角三个维度;
第二检测模块52,配置为采用恒虚警检测算法在所述三维热力图中检测目标,并确定所述目标的距离值;
角度估算模块53,配置为根据所述目标的距离值和所述三维热力图,采用最近邻算法确定所述目标的方位角和俯仰角。
上述示例性信号处理装置50中各个模块的其他技术细节可以参考上文实施例一中信号处理方法的描述,不再赘述。
图6示出了本申请实施例一种毫米波雷达的示例性信号处理装置60,该示例性信号处理装置60可以实现实施例三所述的信号处理方法。
如图6所示,示例性信号处理装置60可以包括:
提取单元61,配置为从天线阵列所接收的原始回波信号中提取消除静止杂波后的距离信息和静止信息;
第一定位单元62,配置为基于所述消除静止杂波后的距离信息,检测运动目标并确定所述运动目标的位置信息;
第二定位单元63,配置为基于所述静止信息,检测静止目标并确定所述静止目标的位置信息;
速度估算单元64,配置为基于所述位置信息,计算相应目标的速度;
其中,所述位置信息包括距离值、方向角和俯仰角。
第一定位单元62可以通过示例性信号处理装置40来实现,第二定位单元63可以通过示例性信号处理装置50来实现。示例性信号处理装置60中各单元的具体技术细节可参照上文实施例一、实施例二和实施例三的详细描述,不再赘述。
实际应用中,上述示例性信号处理装置40、示例性信号处理装置50、示例性信号处理装置60可以通过软件、硬件或两者的结合来实现。一些示例中,由于计算量小,示例性信号处理装置40、示例性信号处理装置50、示例性信号处理装置60均可以通过单片机等低成本的集成电路芯片来实现。
实施例五
图7示出了本申请实施例中毫米波雷达70的示例性结构。
如图7所示,毫米波雷达70包括一个或多个处理器71、存储器72和天线阵列73。
处理器71可以是中央处理单元(CPU)、单片机或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制毫米波雷达70中的其他组件以执行期望的功能。
存储器72可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序,处理器41可以运行所述程序,以实现上文各个实施例所述毫米波雷达的信号处理方法以及/或者其他期望的功能。
天线阵列73可以包括一对或多对天线。
当然,为了简化,图7中仅示出了该毫米波雷达70中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,毫米波雷达70还可以包括任何其他适当的组件。
实施例六
除了上述方法和设备以外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述各个实施例中所述毫米波雷达的信号处理方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (7)
1.一种毫米波雷达的信号处理方法,包括:
基于从原始回波信号中提取的消除静止杂波后的距离信息,采用Capon波束形成算法形成二维热力图,所述二维热力图具有距离和方向角两个维度;
采用恒虚警检测算法在所述二维热力图中检测目标,并确定所述目标的距离值和方向角;
基于所述目标的距离值和方向角,采用Capon波束形成算法形成三维热力图,并基于所述三维热力图估算所述目标的俯仰角,所述三维热力图具有距离、方向和俯仰三个维度;
其中,基于从原始回波信号中提取的消除静止杂波后的距离信息,采用Capon波束形成算法形成二维热力图,包括:
通过对每一天线的相同距离单元不同chirp间信号的所述消除静止杂波后的距离信息求互相关来获得协方差矩阵,所述协方差矩阵为共轭对称矩阵且其对角线上的元素取值为实数,且天线数取方位向虚拟天线个数;
采用分块求逆的方式计算所述协方差矩阵的逆矩阵;
通过Capon波束形成算法利用所述协方差矩阵的逆矩阵形成所述二维热力图,所述二维热力图具有距离和方位两个维度;
基于所述目标的距离值和方向角,采用Capon波束形成算法形成三维热力图,包括:
利用所述目标的距离值求协方差矩阵,所述协方差矩阵中的天线数取所有虚拟天线的个数;
采用分块求逆的方式计算所述协方差矩阵的逆矩阵;
通过Capon波束形成算法利用所述协方差矩阵的逆矩阵且以所述目标的方位角对应的导向矢量与枚举的俯仰角导向矢量的共轭相乘而获得的导向矢量为导向矢量,形成所述三维热力图。
2.根据权利要求1所述毫米波雷达的信号处理方法,采用Capon波束形成算法形成二维热力图之前,还包括:
通过对每一天线接收到的原始回波信号以一个发射线性调频信号chirp周期采样并进行快速傅里叶变换FFT运算,获得所述原始回波信号的距离信息;
通过对每一天线的相同距离单元不同chirp间信号求平均,获得所述原始回波信号中的静止信息;
用所述原始回波信号的距离信息减去所述静止信息,以获得所述消除静止杂波后的距离信息。
3.根据权利要求1所述毫米波雷达的信号处理方法,其中,采用恒虚警检测算法在所述二维热力图中检测目标,并确定所述目标的距离值和方向角,包括:
采用最小选择恒虚警检测方法在所述二维热力图的距离维度上进行首次搜索检测以确定目标及其距离值;
针对所述目标,采用最小选择恒虚警检测方法在所述二维热力图进行方位维度上的二次搜索检测,以进一步确定所述目标的方向角。
4.根据权利要求1所述毫米波雷达的信号处理方法,其中,基于所述三维热力图估算所述目标的俯仰角,包括:在所述三维热力图中,采用单峰搜索方法进行俯仰角估计,以确定所述目标的俯仰角度值。
5.一种毫米波雷达的信号处理装置,包括:
二维热力图模块,配置为基于从原始回波信号中提取的消除静止杂波后的距离信息,采用Capon波束形成算法形成二维热力图,所述二维热力图具有距离和方向角两个维度;
第一检测模块,配置为采用恒虚警检测算法在所述二维热力图中检测目标,并确定所述目标的距离值和方向角;
俯仰角估计模块,配置为基于所述目标的距离值和方向角,采用Capon波束形成算法形成三维热力图,基于所述三维热力图估算所述目标的俯仰角,所述三维热力图具有距离、方向和俯仰三个维度;
其中,基于从原始回波信号中提取的消除静止杂波后的距离信息,采用Capon波束形成算法形成二维热力图,包括:
通过对每一天线的相同距离单元不同chirp间信号的所述消除静止杂波后的距离信息求互相关来获得协方差矩阵,所述协方差矩阵为共轭对称矩阵且其对角线上的元素取值为实数,且天线数取方位向虚拟天线个数;
采用分块求逆的方式计算所述协方差矩阵的逆矩阵;
通过Capon波束形成算法利用所述协方差矩阵的逆矩阵形成所述二维热力图,所述二维热力图具有距离和方位两个维度;
基于所述目标的距离值和方向角,采用Capon波束形成算法形成三维热力图,包括:
利用所述目标的距离值求协方差矩阵,所述协方差矩阵中的天线数取所有虚拟天线的个数;
采用分块求逆的方式计算所述协方差矩阵的逆矩阵;
通过Capon波束形成算法利用所述协方差矩阵的逆矩阵且以所述目标的方位角对应的导向矢量与枚举的俯仰角导向矢量的共轭相乘而获得的导向矢量为导向矢量,形成所述三维热力图。
6.一种毫米波雷达,包括:
天线阵列;
一个或多个处理器;以及
存储器,存储有计算机程序,所述计算机程序在被所述处理器运行时使所述处理器执行根据权利要求1至4中任一项所述的方法。
7.一种计算机存储介质,其上存储有计算机程序,所述计算机程序在被处理器运行时使得所述处理器执行如权利要求1至4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010867502.XA CN112230213B (zh) | 2020-08-26 | 2020-08-26 | 毫米波雷达及其信号处理方法、装置、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010867502.XA CN112230213B (zh) | 2020-08-26 | 2020-08-26 | 毫米波雷达及其信号处理方法、装置、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112230213A CN112230213A (zh) | 2021-01-15 |
CN112230213B true CN112230213B (zh) | 2024-02-02 |
Family
ID=74116918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010867502.XA Active CN112230213B (zh) | 2020-08-26 | 2020-08-26 | 毫米波雷达及其信号处理方法、装置、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112230213B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107003378A (zh) * | 2014-11-07 | 2017-08-01 | 索尼公司 | 确定具有合成天线阵列的便携式电子装置的地理位置 |
CN107092012A (zh) * | 2017-05-19 | 2017-08-25 | 中国人民解放军空军工程大学 | 距离补偿方法和装置 |
CN107121670A (zh) * | 2017-04-12 | 2017-09-01 | 东南大学 | 一种基于合成孔径雷达的反无人机防御系统 |
CN109061619A (zh) * | 2018-06-25 | 2018-12-21 | 西北大学 | 一种信号处理的方法、设备及计算机存储介质 |
CN109581352A (zh) * | 2018-12-10 | 2019-04-05 | 南京莱斯电子设备有限公司 | 一种基于毫米波雷达的超分辨测角系统 |
CN109774641A (zh) * | 2019-03-25 | 2019-05-21 | 森思泰克河北科技有限公司 | 车内人员检测方法、雷达和车 |
CN110118966A (zh) * | 2019-05-28 | 2019-08-13 | 长沙莫之比智能科技有限公司 | 基于毫米波雷达的人员检测与计数系统 |
CN110609262A (zh) * | 2019-08-27 | 2019-12-24 | 南京理工大学 | 一种场面监视雷达的三维恒虚警检测方法 |
CN110799927A (zh) * | 2018-08-30 | 2020-02-14 | Oppo广东移动通信有限公司 | 一种手势识别方法及终端、存储介质 |
CN111157951A (zh) * | 2020-01-13 | 2020-05-15 | 东北大学秦皇岛分校 | 一种基于差分麦克风阵列的三维声源定位方法 |
CN111308437A (zh) * | 2020-02-27 | 2020-06-19 | 南京慧尔视智能科技有限公司 | 一种毫米波mimo交通雷达求熵解速度模糊的方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8026841B2 (en) * | 2008-09-18 | 2011-09-27 | Bae Systems Controls Inc. | Range and azimuth resolution enhancement for real-beam radar |
US9939522B2 (en) * | 2013-10-13 | 2018-04-10 | Oculii Corp | Systems and methods for 4-dimensional radar tracking |
US11340345B2 (en) * | 2015-07-17 | 2022-05-24 | Origin Wireless, Inc. | Method, apparatus, and system for wireless object tracking |
JP6396244B2 (ja) * | 2015-03-25 | 2018-09-26 | パナソニック株式会社 | レーダ装置 |
-
2020
- 2020-08-26 CN CN202010867502.XA patent/CN112230213B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107003378A (zh) * | 2014-11-07 | 2017-08-01 | 索尼公司 | 确定具有合成天线阵列的便携式电子装置的地理位置 |
CN107121670A (zh) * | 2017-04-12 | 2017-09-01 | 东南大学 | 一种基于合成孔径雷达的反无人机防御系统 |
CN107092012A (zh) * | 2017-05-19 | 2017-08-25 | 中国人民解放军空军工程大学 | 距离补偿方法和装置 |
CN109061619A (zh) * | 2018-06-25 | 2018-12-21 | 西北大学 | 一种信号处理的方法、设备及计算机存储介质 |
CN110799927A (zh) * | 2018-08-30 | 2020-02-14 | Oppo广东移动通信有限公司 | 一种手势识别方法及终端、存储介质 |
CN109581352A (zh) * | 2018-12-10 | 2019-04-05 | 南京莱斯电子设备有限公司 | 一种基于毫米波雷达的超分辨测角系统 |
CN109774641A (zh) * | 2019-03-25 | 2019-05-21 | 森思泰克河北科技有限公司 | 车内人员检测方法、雷达和车 |
CN110118966A (zh) * | 2019-05-28 | 2019-08-13 | 长沙莫之比智能科技有限公司 | 基于毫米波雷达的人员检测与计数系统 |
CN110609262A (zh) * | 2019-08-27 | 2019-12-24 | 南京理工大学 | 一种场面监视雷达的三维恒虚警检测方法 |
CN111157951A (zh) * | 2020-01-13 | 2020-05-15 | 东北大学秦皇岛分校 | 一种基于差分麦克风阵列的三维声源定位方法 |
CN111308437A (zh) * | 2020-02-27 | 2020-06-19 | 南京慧尔视智能科技有限公司 | 一种毫米波mimo交通雷达求熵解速度模糊的方法 |
Non-Patent Citations (7)
Title |
---|
Multiple Input Multiple Output (MIMO) Radar Detection of Moving Targets on the Ocean Surface;Bathurst, Jonathan;《IET International Radar Conference》;1-124 * |
基于m-Capon的多阵列无源定位算法研究;谭智文;《中国优秀硕士学位论文全文数据库信息科技辑》;1-78 * |
基于毫米波雷达的多目标检测与跟踪技术研究;王瑞昕;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;1-107 * |
基于水声矢量传感器阵的波达方向估计;江南, 黄建国, 冯西安, 管静;贵州科学(第04期);153-158 * |
孙忠胜 ; 王俊 ; 毕严先 ; 袁常顺 ; 张耀天.基于广义S变换的多人微多普勒特征分析.《系统工程与电子技术》.2014,1291-1297. * |
崔雄文 ; 刘传银 ; 周杨 ; 李剑鹏.毫米波雷达房间尺寸测量方法研究.《科技视界》.2020,57-59 . * |
无源雷达微弱目标检测技术的研究;吕东泽;《中国博士学位论文全文数据库 信息科技辑》;1-139 * |
Also Published As
Publication number | Publication date |
---|---|
CN112230213A (zh) | 2021-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gamba | Radar signal processing for autonomous driving | |
CN114270216A (zh) | 一种强杂波下fmcw阵列雷达运动多目标弱信号检测方法、装置、计算机设备及存储介质 | |
Smith et al. | Robust through-the-wall radar image classification using a target-model alignment procedure | |
KR101311393B1 (ko) | 레이더 신호를 이용한 표적 식별 방법 및 장치 | |
CN107121665B (zh) | 一种基于稀疏阵的近场相干源的无源定位方法 | |
CN112230213B (zh) | 毫米波雷达及其信号处理方法、装置、计算机可读存储介质 | |
US11774574B2 (en) | Methods and system for determining an angle of a detection | |
CN115877350A (zh) | 一种和差波束体制雷达时变目标角度估计方法和装置 | |
CN115201821B (zh) | 基于强目标成像对消的小目标检测方法 | |
Kim et al. | Deep-learning based multi-object detection and tracking using range-angle map in automotive radar systems | |
WO2021196165A1 (zh) | 频率分析方法、装置及雷达 | |
Haleem et al. | On the distribution of ambiguity levels in MIMO radar | |
Lazarov | Iterative MMSE method and recurrent Kalman procedure for ISAR image reconstruction | |
JP2857667B2 (ja) | 追跡受信機およびレーダデータの走査速度の相関を使用した能動エミッタの検出方法 | |
Chaumette et al. | Detection and parameter estimation of extended targets using the generalized monopulse estimator | |
CN116953627A (zh) | 一种毫米波雷达点云生成方法及存储介质 | |
Zheng et al. | Multipath False Target Removal for Indoor Localization | |
Bialer et al. | A Multi-radar Joint Beamforming Method | |
CN117949945B (zh) | 一种双天线毫米波雷达超分辨目标定位方法及装置 | |
CN115267721B (zh) | 一种基于双频sar的地面动目标径向速度估计方法 | |
Li et al. | Detection, velocity estimation and imaging of fast moving targets using single antenna SAR | |
CN116106847B (zh) | 毫米波雷达二维联合超分辨测角方法、装置及存储介质 | |
CN114966648B (zh) | 多径多目标环境下距离多普勒联合利用定位方法 | |
CN117970265A (zh) | 目标识别方法、设备及存储介质 | |
Herath et al. | Tracking multiple mobile agents with single frequency continuous wave radar |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |