CN113109802B - 目标运动状态判断方法、装置、雷达设备和存储介质 - Google Patents
目标运动状态判断方法、装置、雷达设备和存储介质 Download PDFInfo
- Publication number
- CN113109802B CN113109802B CN202110242814.6A CN202110242814A CN113109802B CN 113109802 B CN113109802 B CN 113109802B CN 202110242814 A CN202110242814 A CN 202110242814A CN 113109802 B CN113109802 B CN 113109802B
- Authority
- CN
- China
- Prior art keywords
- target
- point
- area
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000003064 k means clustering Methods 0.000 claims description 7
- 230000010339 dilation Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
- G01S13/56—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请涉及一种目标运动状态判断方法、装置、雷达设备和存储介质,其中,该目标运动状态判断方法包括:获取雷达回波信号,基于雷达回波信号获取目标区域图像,目标区域图像包括距离‑多普勒图像和多个对应的数据点;将目标区域图像中的数据点分类为目标点和噪底;对包含目标点的区域进行图像膨胀,并计算膨胀数据区域面积;基于数据点的速度值获取静止点,基于膨胀数据区域面积、目标点的速度值及目标点周围预设范围内是否存在静止点,判断目标区域图像对应目标的运动状态。通过本申请,解决了现有技术无法在满足雷达允许存储量的条件下精确识别局部运动的静止目标的问题,实现了对局部运动的静止目标的精确识别。
Description
技术领域
本申请涉及雷达监测领域,特别是涉及目标运动状态判断方法、装置、雷达设备和存储介质。
背景技术
随着智能驾驶技术在车辆中的普及与发展,对外部环境的信息采集提出了更高的要求。其中毫米波雷达作为利用电磁波探测周围环境的传感器,以其优异的测距测速与测角能力以及良好的环境适应性,成为了智能驾驶技术感知外部环境的重要组成部分。
但是,对于局部运动的静止目标,一般雷达往往会检测到动点进而生成动航迹,如果目标位于雷达的报警区域内,极易造成静止目标的误报。
现有技术方案针对于此问题一般会采用短时傅里叶变换等时频分析方法获取多普勒参数的估计值,或是采用深度学习的方法提取特征并实现分类,前者需要对时域信号进行处理得到多普勒速度-时间分布,受噪声影响只能得到初步的估计值,得到精确结果需要采用最大似然估计等优选方法,不是精确计算,且计算量较大,需要计算时间较长,后者存储对应计算模型存储量过大而无法满足雷达存储要求。
目前针对无法在满足雷达允许存储量的条件下精确识别局部运动的静止目标的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种目标运动状态判断方法、装置、雷达设备和存储介质,以至少解决相关技术中在雷达对局部运动的静止目标的识别时,无法在满足雷达允许存储量的条件下精确识别局部运动的静止目标的问题。
第一方面,本申请实施例提供了一种目标运动状态判断方法,包括:
获取雷达回波信号,基于所述雷达回波信号获取待识别区域的目标区域图像,所述目标区域图像包括距离-多普勒图像,所述目标区域图像中包括多个与所述雷达回波信号对应的数据点;
基于所述数据点的能量值将所述目标区域图像中的数据点分类为目标点和噪底,其中,所述数据点包括速度值、距离值以及能量值;
基于预设膨胀尺寸对包含所述目标点的区域进行图像膨胀,得到膨胀数据区域,并计算膨胀数据区域面积,所述膨胀数据区域面积表征所述膨胀数据区域对应目标的运动幅度;
基于所述数据点的速度值从所述膨胀数据区域中的数据点选取静止点,所述静止点为所述数据点中速度值低于预设阈值的点;
基于所述膨胀数据区域面积、所述目标点速度值以及所述目标点周围预设范围内是否存在静止点,判断所述目标区域图像对应目标的运动状态。
在其中一个实施例中,所述基于所述雷达回波信号获取待识别区域的目标区域图像包括:
对所述雷达回波信号做距离维快速傅里叶变换和多普勒维快速傅里叶变换,得到距离多普勒图像;
基于预设距离阈值以及预设速度阈值从所述距离多普勒图像获取目标区域图像。
在其中一个实施例中,所述基于所述数据点的能量值将所述目标区域图像中的数据点分类为目标点和噪底包括:
选取所述目标区域图像的数据点中能量值最大的数据点,将最大能量值作为归一化参数;
基于所述归一化参数对所述目标区域图像中的数据点对应的能量值进行归一化,得到归一化数据;
基于所述归一化数据将所述目标区域图像的数据点分类并标记为目标点和噪底。
在其中一个实施例中,所述基于所述归一化数据将所述目标区域图像的数据点分类并标记为目标点和噪底包括:
基于所述归一化数据,通过k均值聚类,设定聚类中心点;
基于所述归一化数据到聚类中心点的聚类距离得到能量阈值;
基于所述聚类距离和所述能量阈值将所述数据点分类并标记为目标点和噪底。
在其中一个实施例中,所述基于预设膨胀尺寸对所述包含目标点区域进行图像膨胀,得到膨胀数据区域包括:
判断所述目标点的预设膨胀尺寸范围内是否存在其余目标点,若存在其余目标点,则将所述膨胀尺寸范围内的噪底更新为目标点;
遍历所有所述目标点,得到所述膨胀数据区域。
在其中一个实施例中,所述基于所述膨胀数据区域面积、所述目标点的速度值以及所述目标点周围预设范围内是否存在静止点,判断所述目标区域图像对应目标的运动状态包括:
若所述膨胀数据区域面积达到预设面积阈值,所述膨胀区域数据中目标点的速度值大于预设速度阈值,且速度值大于预设速度阈值的目标点周围预设范围内存在所述静止点,则所述目标区域图像对应目标为局部运动状态。
在其中一个实施例中,所述目标运动状态判断方法还包括:
所述目标的运动状态包括局部运动状态、整体运动状态和静止状态。
第二方面,本申请实施例提供了一种目标运动状态判断装置,包括:
信号获取模块:用于获取雷达回波信号,基于所述雷达回波信号获取待识别区域的目标区域图像,所述目标区域图像包括距离-多普勒图像,所述目标区域图像中包括多个与所述雷达回波信号对应的数据点;
信号处理模块:用于基于所述数据点的能量值将所述目标区域图像中的数据点分类为目标点和噪底,其中,所述数据点包括速度值、距离值与能量值;
图像膨胀模块:用于基于预设膨胀尺寸对包含所述目标点的区域进行图像膨胀,得到膨胀数据区域,并计算膨胀数据区域面积,所述膨胀数据区域面积表征所述膨胀数据区域对应目标的运动幅度;
静止点判断模块:用于基于所述数据点获取所述目标点的速度值,基于所述速度值从所述目标点中选取静止点,所述静止点为所述目标点中速度值低于预设阈值的点;
运动状态判断模块:用于基于所述膨胀数据区域面积、所述目标点速度值以及所述目标点周围预设范围内是否存在静止点,判断所述目标区域图像对应目标的运动状态。
第三方面,本申请实施例提供了一种雷达设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的目标运动状态判断方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的目标运动状态判断方法。
相比于相关技术,本申请实施例提供的目标运动状态判断方法、装置、雷达设备和存储介质,通过将雷达回波信号转化为距离-多普勒图像,接着将距离-多普勒图像采用优化的图像处理方法,并结合各点数据点的信息,即可以判断目标的运动状态。只需要利用雷达接收的雷达回波信号,再将其进一步处理得到距离-多普勒矩阵,然后通过对距离-多普勒图像各数据点的数据处理和初步计算,即可以识别局部运动的静止目标。解决了判断方法占用雷达存储量过大的问题,实现了在雷达允许存储量范围内精确判断目标是否存在局部运动目标的目的。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请一个实施例中目标运动状态判断方法的流程示意图;
图2是本申请一个实施例中目标运动状态判断方法的目标区域图像的立体图;
图3是本申请一个实施例中目标运动状态判断方法的目标区域图像的平面图;
图4是本申请一个实施例中目标运动状态判断方法的k均值聚类结果图;
图5是本申请一个实施例中目标运动状态判断方法的膨胀后结果图;
图6是本申请另一个实施例中目标运动状态判断方法的数据处理流程示意图;
图7是本申请一个实施例中目标运动状态判断方法的膨胀数据区域标记流程示意图;
图8是本申请一个实施例中目标运动状态判断方法的膨胀数据区域标记结果图;
图9是本申请一个实施例中目标运动状态判断装置的结构框图;
图10是本申请一个实施例中雷达设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
在雷达用于智能驾驶技术感知外部环境时,由于雷达并不会分辨局部运动的静止目标,在检测过程中往往会因为检测到动点而造成误报警,因此需要一种可以识别局部运动目标的方法。本申请的目的是在雷达存储量范围内实现对局部运动目标的精确识别。
请参阅图1,图1为本申请一个实施例中目标运动状态判断方法的流程示意图。
本实施例中,目标运动状态判断方法包括:
S101,获取雷达回波信号,基于雷达回波信号获取待识别区域的目标区域图像,目标区域图像包括距离-多普勒图像,目标区域图像中包括多个与雷达回波信号对应的数据点。
本实施例中,首先获取在载具上的雷达传达的雷达回波信号,雷达回波信号是雷达接收的从雷达发送到目标点的时域信号,再将各通道的信号叠加到一起,得到雷达回波信号,通过雷达回波信号可以构建距离-多普勒图像,该距离-多普勒图像可以表征出各数据点在距离维和多普勒维下的数值,还可以清晰的呈现各点距离与速度的值,以及各点的能量值。
S102,基于数据点的能量值将目标区域图像中的数据点分类为目标点和噪底,其中,数据点包括速度值、距离值与能量值。
可以理解的,距离-多普勒图像中存在能量达到识别范围的点和能量不会达到识别范围的点,因此首先要将能量不同的点区分开,即通过将数据点分类为目标点和噪底,接着重点对能量较高的目标点进行处理,以便后续对点迹进行判断。
S103,基于预设膨胀尺寸对包含目标点的区域进行图像膨胀,得到膨胀数据区域,并计算膨胀数据区域面积,膨胀数据区域面积表征膨胀区域对应目标的运动幅度。
本实施例中,目标点的连通域面积与物体的运动幅度大小具有正比关系,由于归一化将目标点周围未达到分类标准的点分类为噪点,导致目标点周边出现零散目标点,导致目标点的连通域上下不连通,从而无法构成完整连通域的情况,因此本实施例中利用对目标点进行图像膨胀的方法,形成更明显的连通域,从而通过膨胀后的膨胀区域面积来替代原来的连通域面积,可以更明显的得到物体的运动幅度大小。
S104,基于数据点的速度值从膨胀数据区域中的数据点选取静止点,静止点为数据点中速度值低于预设阈值的点。
可以理解的,本申请对于局部运动目标的识别条件为该目标达到预设的运动幅度与速度值,以及目标中达到预设速度阈值的点的附近存在静止点,此时可以判断该物体为局部运动物体,因此在获得膨胀数据区域面积后,还需要获取该目标对应目标点的速度值,同时,基于目标点的速度值还可以得到速度值低于预设阈值且接近于0的静止点,静止点是相对于雷达本身不运动的点。
S105,基于膨胀数据区域面积、目标点速度值以及目标点周围预设范围内是否存在静止点,判断目标区域图像对应目标的运动状态。
本实施例中,由于图像膨胀会将一些噪点更改为目标点,因此会有一些速度接近于0或者速度为0的静止点从噪底变成了目标点,另外,本步骤需要判断局部运动目标,而本申请对局部运动目标的识别条件为该目标达到预设的运动幅度与速度值,以及目标中达到预设速度阈值的点的附近存在静止点。基于此,首先判断该目标的运动幅度,即膨胀数据区域的面积,再判断该目标中是否存在达到预设速度阈值的目标点,接着判断达到预设速度阈值的目标点附近是否存在静止点,若目标达到预设运动幅度与速度值,且目标对应的目标点附近存在静止点,即可判断目标为局部运动的静止目标。
上述目标运动状态判断方法,通过雷达回波信号生成指定目标区域的距离-多普勒图像,也就是目标区域图像,接着基于目标区域图像中的每个数据点的数据对数据点进行分类,并将目标数据点进行膨胀,计算膨胀数据区域面积,接着通过数据点的速度值得到静止点,基于数据点的速度值、静止点与目标点的位置关系、膨胀数据区域面积可以在满足雷达允许存储量的条件下精确识别局部运动的静止目标。
在其中一个实施例中,对雷达回波信号做距离维快速傅里叶变换和多普勒维快速傅里叶变换,得到距离多普勒图像;基于预设距离阈值以及预设速度阈值从距离多普勒图像获取目标区域图像,目标区域图像的立体图如图2所示,PeakVal即能量值,平面图如图3所示。
可以理解地,本申请中可以表征距离与速度的距离-多普勒图像,是通过对雷达回波信号进行处理得到的,首先将雷达回波信号进行距离维的快速傅里叶变换,再将雷达回波信号进行多普勒维的快速傅里叶变换,即得到可以清晰表征各数据点的分布范围以及各数据点距离与速度大小和能量值的距离-多普勒图像;且由于雷达仅对距离与速度达到预设报警范围的目标进行报警,因此只需要识别该距离和速度阈值范围内的距离-多普勒图像即可,该目标区域图像是从整个雷达回波信号得到的距离-多普勒图像根据阈值范围得到的一部分目标区域图像,因此目标区域图像内所有的数据点都满足阈值条件,且还可以减少计算量,避免对无用点进行判断。
在另一个实施例中,基于数据点的能量值将目标区域图像中的数据点分类为目标点和噪底包括:选取目标区域图像的数据点中能量值最大的数据点,将最大能量值作为归一化参数;基于归一化参数对目标区域图像中的数据点对应的能量值进行归一化,得到归一化数据;基于归一化数据将目标区域图像的数据点分类并标记为目标点和噪底。
可以理解的,本实施例是基于数据点的能量值将数据点分类,为了让数据点区分更加明显,需要对数据点进行归一化操作,由于是根据能量值对数据点进行区分,因此首先选取数据点中能量的最大值,接着将数据点所有的能量值除以最大值,使得所有数据的绝对值介于0到1之间,接着便可以基于预设分类阈值,将大于预设阈值的分类为目标点,小于预设阈值的分类为噪底。
在其中一些实施例中,基于归一化数据将目标区域图像的数据点分类并标记为目标点和噪底包括:基于归一化数据,通过k均值聚类,设定聚类中心点;基于归一化数据到聚类中心点的聚类距离得到能量阈值;基于各数据点的能量值和能量阈值将数据点分类并标记为目标点和噪底。
可以理解的,通过k均值聚类,首先预设初始聚类中心坐标阈值,得到一个初始聚类中心点,接着获取各数据点到聚类中心点的聚类距离,计算各聚类距离的平均值,得到最终聚类中心点,再获取各数据点到最终聚类中心点的聚类距离,计算各数据点对应的平均聚类距离,再利用平均聚类距离得到预设能量阈值,小于预设能量阈值的点为目标点,大于预设能量阈值的点为噪点。
在其中一个实施例中,基于预设膨胀尺寸对包含目标点区域进行图像膨胀,得到膨胀数据区域包括:判断目标点的预设膨胀尺寸范围内是否存在其余目标点,若存在其余目标点,则将膨胀尺寸范围内的噪底更新为目标点;遍历所有目标点,得到膨胀数据区域,膨胀后结果如图5所示。
可以理解的,在目标点的预设膨胀尺寸内,若存在其余目标点,便可以对以目标点为中心的预设膨胀尺寸内图像进行膨胀,即将以目标点为中心的预设膨胀尺寸内的所有数据点都更新为目标点,在进行膨胀过后,可以将目标区域图像中零散的目标点膨胀为连通域,连通域的面积和目标点分布更有利于计算与判断。
在其中一些实施例中,基于膨胀数据区域面积、目标点的速度值以及目标点周围预设范围内是否存在静止点,判断目标区域图像对应目标的运动状态:若膨胀数据区域面积达到预设面积阈值,膨胀区域数据中目标点的速度值绝对值大于预设速度,且目标点周围预设范围内存在静止点,则待识别目标区域图像对应目标为局部运动状态。
在本实施例中,首先通过判断膨胀数据区域面积是否达到预设面积阈值,判断该数据膨胀数据区域对应目标的运动幅度是否达到判断标准,若达到判定运动幅度,由于目标中不仅仅需要对运动幅度进行判断,还需要判断目标的移动速度是否达到预设标准,因此还需要判断目标对应的膨胀数据区域中的目标点的速度值,若该目标点的速度值满足预设速度阈值,即该目标既满足预设速度阈值又满足运动幅度标准,还需要判断该目标中是否存在绝对静止不动的点,即速度值为0的点,即静止点,即判断径向运动速度绝对值达到预设速度的目标点附近是否存在静止点,若该目标既满足运动幅度、预设速度阈值,又满足当中存在静止点,即可判断该目标是否为局部运动的目标。
在其中一个实施例中,目标的运动状态包括目标为局部运动状态、整体运动状态和静止状态。
可以理解的,雷达仅会对整体运动的目标进行报警,整体运动的目标的运动幅度和速度都达到预设阈值但其中并不存在静止点,局部运动的目标为运动幅度和速度都达到预设阈值但其中存在静止点,也就是该目标整体是静止的,但其中有一部分是在运动的,而静止目标即为运动幅度和/或速度不满足预设阈值的点。
在另一个实施例中,对雷达回波信号进行数据处理,如图6所示。
由于雷达获取雷达回波信号包括多个通道获取的雷达回波信号,以下实施例是基于获取多个通道的雷达回波信号进行数据处理。
S201,获取各通道的雷达回波信号,对其做距离维快速傅里叶变换与多普勒维快速傅里叶变换,得到各通道的初始距离-多普勒图像,并对其进行非相干积累获得距离-多普勒图像。
S202,根据雷达对运动物体的报警阈值范围,获取距离-多普勒图像中的目标区域。
S203,根据预设阈值设定初始聚类中心,并对目标区域图像中所有数据点的数据进行最大值归一化。
S204,获取该目标区域图像中所有数据到各聚类中心的距离,并利用该距离决定各数据点的分类结果;
S205,遍历目标区域图像所有的数据点,计算累加量的平均值,设定新的聚类中心,并基于所有数据点到新的聚类中心的距离,将数据点分类为目标点和噪底。
S206,判断重复步骤次数或聚类中心坐标变化量是否达到预设阈值,若满足任一条件,则结束步骤,否则重复S204与S205步骤,结束步骤重复后,输出分类结果。
在一些实施例中,需要对膨胀数据区域进行标记,请参阅图7,步骤如下:
S301,获取与目标区域图像大小相同的标记图像以及队列。
S302,从左到右,从上到下顺序扫描目标区域图像内数据点,若该数据点为目标点,则标记计数加1,并把标记图像对应位置置为标记计数。
S303,搜索该数据点8邻域,若存在目标点且标记图像中对应位置为0,则把标记图像对应位置置为当前标记计数,并把此数据存入队列。
S304,判断队列是否存在数据,若存在数据,则对队列内每个数据执行S303步骤,若队列不存在数据,则在进行S305步骤前执行S302步骤。
S305,最终得到该膨胀数据区域的标记计数值,对膨胀数据区域标记结果如图8所示,其中,Z维度代表标记计数结果。
在另一个实施例中,获取自车速度,判断自车速度是否为0,若自车速度为0,则判断目标点的径向速度绝对值是否大于1,如果大于1,则判断该目标点所在膨胀区域对应标记值是否大于0,若大于0,则判断膨胀区域面积是否大于预设面积阈值,若大于预设面积阈值,且该目标点附近存在静止点,则该点为局部运动目标的运动点。径向速度为目标点相对于自车的速度,当自车速度不为0时,仅靠速度值无法判断静止点,因此还需要使用径向速度来判断静止点,基于距离-多普勒图像、雷达回波信号、自车速度得到。
在其中一个实施例中,若某静止车后方有一静止但扇叶在转动的风扇,基于获取到的多通道的雷达回波信号并处理得到的距离-多普勒图像如图2所示,其中真实的目标距离维是3,而距离维为3的这列数据点以及距离维为2和4的部分数据点的能量值(peakValue)值也很高,即在图3的距离-多普勒图像中可以看到形状为长条状,经过k均值聚类后的结果如图4所示,可以看出,点的分类更加明显,目标点聚集在两个部分,但数据点并不是完全连续的,噪底会和静止点在同一连通域,因此需要进一步获取更直观的连通域,通过膨胀可以将目标点分类更明显,膨胀后结果如图5所示,最后再将膨胀后区域进行标记,标记后的结果如图8所示。
本实施例还提供了一种目标运动状态判断装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本申请实施例的目标运动状态判断装置的结构框图,如图9所示,该装置包括:信号获取模块10、信号处理模块20、图像膨胀模块30、静止点判断模块40、运动状态判断模块50。
信号获取模块10,用于获取雷达回波信号,基于雷达回波信号获取待识别区域的目标区域图像,目标区域图像包括距离-多普勒图像,目标区域图像中包括多个与雷达回波信号对应的数据点;
信号获取模块10,还用于对雷达回波信号做距离维快速傅里叶变换和多普勒维快速傅里叶变换,得到目标区域图像;
信号获取模块10,还用于获取目标区域图像中预设距离阈值范围和预设速度阈值范围的目标区域图像。
信号处理模块20,用于基于数据点的能量值将目标区域图像中的数据点分类为目标点和噪底;
信号处理模块20,还用于选取目标区域图像的数据点中能量值最大的数据点,将最大能量值作为归一化参数;基于归一化参数对目标区域图像中的数据点对应的能量值进行归一化,得到归一化数据;基于归一化数据将目标区域图像的数据点分类并标记为目标点和噪底;
信号处理模块20,还用于:
基于归一化数据,通过k均值聚类,设定聚类中心点;
基于归一化数据到聚类中心点的聚类距离得到能量阈值;
基于聚类距离和能量阈值将数据点分类并标记为目标点和噪底。
图像膨胀模块30,基于预设膨胀尺寸对包含目标点的区域进行图像膨胀,得到膨胀数据区域,并计算膨胀数据区域面积,膨胀数据区域面积表征膨胀数据区域中目标点对应目标的运动幅度;
图像膨胀模块30,还用于判断目标点的预设膨胀尺寸范围内是否存在其余目标点,若存在其余目标点,则将膨胀尺寸范围内的噪底更新为目标点;遍历所有目标点,得到膨胀数据区域。
静止点判断模块40,基于雷达回波信号获取目标点的速度值,基于数据点的速度值,静止点为目标点中速度值低于预设阈值的点。
运动状态判断模块50,用于基于膨胀数据区域面积、目标点的速度值以及目标点周围预设范围内是否存在静止点,判断目标区域图像对应目标的运动状态;
运动状态判断模块50,还用于若膨胀数据区域面积达到预设面积阈值,膨胀区域数据中目标点的速度值大于预设速度阈值,且速度值大于预设速度阈值的目标点周围预设范围内存在静止点,则目标区域图像对应目标为局部运动状态;
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外,结合图1描述的本申请实施例目标运动状态判断方法可以由雷达设备来实现。图10为根据本申请实施例的目标运动状态判断设备的硬件结构示意图。
雷达设备可以包括处理器101以及存储有计算机程序指令的存储器102。
具体地,上述处理器101可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器102可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器102可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器102可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器102可在数据处理装置的内部或外部。在特定实施例中,存储器102是非易失性(Non-Volatile)存储器。在特定实施例中,存储器102包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(Random Access Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory,简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory,简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-AccessMemory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器102可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器101所执行的可能的计算机程序指令。
处理器101通过读取并执行存储器102中存储的计算机程序指令,以实现上述实施例中的任意一种目标运动状态判断方法。
在其中一些实施例中,雷达设备还可包括通信接口103和总线100。其中,如图10所示,处理器101、存储器102、通信接口103通过总线100连接并完成相互间的通信。
通信接口103用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口103还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线100包括硬件、软件或两者,将雷达设备的部件彼此耦接在一起。总线100包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线100可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(Front Side Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线100可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该雷达设备可以基于获取到的计算机程序指令,执行本申请实施例中的目标运动状态判断方法,从而实现结合图1描述的目标运动状态判断方法。
另外,结合上述实施例中的目标运动状态判断方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种目标运动状态判断方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种目标运动状态判断方法,其特征在于,包括:
获取雷达回波信号,基于所述雷达回波信号获取待识别区域的目标区域图像,所述目标区域图像包括距离-多普勒图像,所述目标区域图像中包括多个与所述雷达回波信号对应的数据点;
基于所述数据点的能量值将所述目标区域图像中的数据点分类为目标点和噪底,其中,所述数据点包括速度值、距离值以及能量值;
基于预设膨胀尺寸对包含所述目标点的区域进行图像膨胀,得到膨胀数据区域,并计算膨胀数据区域面积,所述膨胀数据区域面积表征所述膨胀数据区域对应目标的运动幅度;
基于所述数据点的速度值从所述膨胀数据区域中的数据点选取静止点,所述静止点为所述数据点中速度值低于预设阈值的点;
基于所述膨胀数据区域面积、所述目标点速度值以及所述目标点周围预设范围内是否存在静止点,判断所述目标区域图像对应目标的运动状态。
2.根据权利要求1所述的方法,其特征在于,所述基于所述雷达回波信号获取待识别区域的目标区域图像包括:
对所述雷达回波信号做距离维快速傅里叶变换和多普勒维快速傅里叶变换,得到距离多普勒图像;
基于预设距离阈值以及预设速度阈值从所述距离多普勒图像获取目标区域图像。
3.根据权利要求1所述的方法,其特征在于,所述基于所述数据点的能量值将所述目标区域图像中的数据点分类为目标点和噪底包括:
选取所述目标区域图像的数据点中能量值最大的数据点,将最大能量值作为归一化参数;
基于所述归一化参数对所述目标区域图像中的数据点对应的能量值进行归一化,得到归一化数据;
基于所述归一化数据将所述目标区域图像的数据点分类并标记为目标点和噪底。
4.根据权利要求3所述的方法,其特征在于,所述基于所述归一化数据将所述目标区域图像的数据点分类并标记为目标点和噪底包括:
基于所述归一化数据,通过k均值聚类,设定聚类中心点;
基于所述归一化数据到聚类中心点的聚类距离得到能量阈值;
基于所述聚类距离和所述能量阈值将所述数据点分类并标记为目标点和噪底。
5.根据权利要求1所述的方法,其特征在于,所述基于预设膨胀尺寸对包含所述目标点的区域进行图像膨胀,得到膨胀数据区域包括:
判断所述目标点的预设膨胀尺寸范围内是否存在其余目标点,若存在其余目标点,则将所述膨胀尺寸范围内的噪底更新为目标点;
遍历所有所述目标点,得到所述膨胀数据区域。
6.根据权利要求1所述的方法,其特征在于,所述基于所述膨胀数据区域面积、所述目标点的速度值以及所述目标点周围预设范围内是否存在静止点,判断所述目标区域图像对应目标的运动状态包括:
若所述膨胀数据区域面积达到预设面积阈值,所述膨胀数据区域中目标点的速度值大于预设速度阈值,且速度值大于预设速度阈值的目标点周围预设范围内存在所述静止点,则所述目标区域图像对应目标为局部运动状态。
7.根据权利要求1所述的方法,其特征在于,所述目标运动状态判断方法还包括:
所述目标的运动状态包括局部运动状态、整体运动状态和静止状态。
8.一种目标运动状态判断装置,其特征在于,包括:
信号获取模块:用于获取雷达回波信号,基于所述雷达回波信号获取待识别区域的目标区域图像,所述目标区域图像包括距离-多普勒图像,所述目标区域图像中包括多个与所述雷达回波信号对应的数据点;
信号处理模块:用于基于所述数据点的能量值将所述目标区域图像中的数据点分类为目标点和噪底,其中,所述数据点包括速度值、距离值以及能量值;
图像膨胀模块:用于基于预设膨胀尺寸对包含所述目标点的区域进行图像膨胀,得到膨胀数据区域,并计算膨胀数据区域面积,所述膨胀数据区域面积表征所述膨胀数据区域对应目标的运动幅度;
静止点判断模块:用于基于所述数据点获取所述目标点的速度值,基于所述速度值从所述目标点中选取静止点,所述静止点为所述目标点中速度值低于预设阈值的点;
运动状态判断模块:用于基于所述膨胀数据区域面积、所述目标点速度值以及所述目标点周围预设范围内是否存在静止点,判断所述目标区域图像对应目标的运动状态。
9.一种雷达设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的目标运动状态判断方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至7中任一项所述的目标运动状态判断方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110242814.6A CN113109802B (zh) | 2021-03-05 | 2021-03-05 | 目标运动状态判断方法、装置、雷达设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110242814.6A CN113109802B (zh) | 2021-03-05 | 2021-03-05 | 目标运动状态判断方法、装置、雷达设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113109802A CN113109802A (zh) | 2021-07-13 |
CN113109802B true CN113109802B (zh) | 2023-12-26 |
Family
ID=76710330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110242814.6A Active CN113109802B (zh) | 2021-03-05 | 2021-03-05 | 目标运动状态判断方法、装置、雷达设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113109802B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114879184B (zh) * | 2021-11-29 | 2023-05-23 | 比业电子(北京)有限公司 | 雷达、扶梯的失效检测方法、装置、电子设备和存储介质 |
CN114529858B (zh) * | 2022-04-21 | 2022-09-06 | 浙江大华技术股份有限公司 | 车辆状态识别方法、电子设备及计算机可读存储介质 |
CN114578333B (zh) * | 2022-04-28 | 2022-08-02 | 杭州应用声学研究所(中国船舶重工集团公司第七一五研究所) | 一种主动声呐目标动静辨识方法 |
CN116699590B (zh) * | 2023-02-15 | 2024-05-10 | 深圳觅感科技有限公司 | 一种基于5.8g微波雷达的fmcw多目标测距方法和系统 |
CN115980738B (zh) * | 2023-03-15 | 2023-06-02 | 深圳安智杰科技有限公司 | 一种基于动静分离的多目标跟踪方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013167554A (ja) * | 2012-02-16 | 2013-08-29 | Fujitsu Ltd | 人検知装置、人検知方法、及びプログラム |
CN105068058A (zh) * | 2015-07-16 | 2015-11-18 | 北京理工大学 | 一种基于合成宽带脉冲多普勒雷达的毫米级微动测量方法 |
CN111337897A (zh) * | 2020-04-21 | 2020-06-26 | 湖南红船科技有限公司 | 一种lfmcw雷达快速目标识别方法 |
CN111580060A (zh) * | 2020-04-21 | 2020-08-25 | 北京航空航天大学 | 目标姿态识别的方法、装置和电子设备 |
CN111693953A (zh) * | 2020-05-11 | 2020-09-22 | 中山大学 | 基于微多普勒的目标分类识别模型、方法、系统及装置 |
CN111830483A (zh) * | 2020-09-16 | 2020-10-27 | 福瑞泰克智能系统有限公司 | 一种具有微动效应的目标的确定方法、装置、电子设备及存储介质 |
CN112082468A (zh) * | 2020-08-28 | 2020-12-15 | 广东合微集成电路技术有限公司 | 一种带温度补偿的超高频无源压电式传感器 |
CN112433207A (zh) * | 2020-11-06 | 2021-03-02 | 浙江理工大学 | 基于双通道卷积神经网络的人体身份识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8593331B2 (en) * | 2010-06-16 | 2013-11-26 | Qualcomm Incorported | RF ranging-assisted local motion sensing |
-
2021
- 2021-03-05 CN CN202110242814.6A patent/CN113109802B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013167554A (ja) * | 2012-02-16 | 2013-08-29 | Fujitsu Ltd | 人検知装置、人検知方法、及びプログラム |
CN105068058A (zh) * | 2015-07-16 | 2015-11-18 | 北京理工大学 | 一种基于合成宽带脉冲多普勒雷达的毫米级微动测量方法 |
CN111337897A (zh) * | 2020-04-21 | 2020-06-26 | 湖南红船科技有限公司 | 一种lfmcw雷达快速目标识别方法 |
CN111580060A (zh) * | 2020-04-21 | 2020-08-25 | 北京航空航天大学 | 目标姿态识别的方法、装置和电子设备 |
CN111693953A (zh) * | 2020-05-11 | 2020-09-22 | 中山大学 | 基于微多普勒的目标分类识别模型、方法、系统及装置 |
CN112082468A (zh) * | 2020-08-28 | 2020-12-15 | 广东合微集成电路技术有限公司 | 一种带温度补偿的超高频无源压电式传感器 |
CN111830483A (zh) * | 2020-09-16 | 2020-10-27 | 福瑞泰克智能系统有限公司 | 一种具有微动效应的目标的确定方法、装置、电子设备及存储介质 |
CN112433207A (zh) * | 2020-11-06 | 2021-03-02 | 浙江理工大学 | 基于双通道卷积神经网络的人体身份识别方法 |
Non-Patent Citations (3)
Title |
---|
Potential Active Shooter Detection Based on Radar Micro-Doppler and Range-Doppler Analysis Using Artificial Neural Network;Yiran Li et al.;《IEEE Sensors Journal》;第37卷(第3期);1052-1063 * |
基于微多普勒分析的目标识别技术研究;刘斌 等;《飞航导弹》(第10期);71-74 * |
微动目标雷达特征提取、成像与识别研究进展;张群;胡健;罗迎;陈怡君;;雷达学报(第05期);5-7 * |
Also Published As
Publication number | Publication date |
---|---|
CN113109802A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113109802B (zh) | 目标运动状态判断方法、装置、雷达设备和存储介质 | |
CN109521757B (zh) | 静态障碍物识别方法和装置 | |
CN107615090B (zh) | 雷达信号处理装置 | |
CN111045008B (zh) | 基于展宽计算的车载毫米波雷达目标识别方法 | |
US11216951B2 (en) | Method and apparatus for representing environmental elements, system, and vehicle/robot | |
WO2018119606A1 (en) | Method and apparatus for representing a map element and method and apparatus for locating vehicle/robot | |
CN112526513A (zh) | 基于聚类算法的毫米波雷达环境地图构建方法及装置 | |
CN113536850B (zh) | 基于77g毫米波雷达的目标物体大小测试方法和装置 | |
CN112394334A (zh) | 雷达反射点的聚类装置、方法以及电子设备 | |
TWI595450B (zh) | 物件偵測系統 | |
CN112835026A (zh) | 雷达镜像目标检测方法、装置、雷达设备和车辆 | |
JP2017215272A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN112597839B (zh) | 基于车载毫米波雷达的道路边界检测方法 | |
JP2020507767A (ja) | 車両レーダシステム用の逆合成開口レーダ | |
CN118463965A (zh) | 定位精度评价方法、装置以及车辆 | |
WO2021218346A1 (zh) | 一种聚类的方法和装置 | |
JP7418476B2 (ja) | 運転可能な領域情報を決定するための方法及び装置 | |
CN115995163B (zh) | 一种车辆碰撞预警方法及系统 | |
US20220318456A1 (en) | Simulation method based on three-dimensional contour, storage medium, computer equipment | |
CN111542828A (zh) | 线状物识别方法及装置、系统和计算机存储介质 | |
JP2017122646A (ja) | 移動物体検出装置 | |
CN112014822B (zh) | 车载雷达测量数据识别方法、装置、介质和电子装置 | |
CN113627562A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
CN113589288A (zh) | 基于毫米波雷达的目标筛选方法、装置、设备及存储介质 | |
CN113625266A (zh) | 应用雷达检测低速目标的方法、装置、存储介质和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |