CN116106853B - 基于毫米波雷达的水面场景目标动静状态识别方法 - Google Patents

基于毫米波雷达的水面场景目标动静状态识别方法 Download PDF

Info

Publication number
CN116106853B
CN116106853B CN202310384790.7A CN202310384790A CN116106853B CN 116106853 B CN116106853 B CN 116106853B CN 202310384790 A CN202310384790 A CN 202310384790A CN 116106853 B CN116106853 B CN 116106853B
Authority
CN
China
Prior art keywords
point cloud
radar
target
coordinate system
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310384790.7A
Other languages
English (en)
Other versions
CN116106853A (zh
Inventor
程宇威
朱健楠
庞长松
池雨豪
虞梦苓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Orca Electronic Intelligent Technology Co ltd
Original Assignee
Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Orca Electronic Intelligent Technology Co ltd filed Critical Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority to CN202310384790.7A priority Critical patent/CN116106853B/zh
Publication of CN116106853A publication Critical patent/CN116106853A/zh
Application granted granted Critical
Publication of CN116106853B publication Critical patent/CN116106853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B35/00Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/60Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/937Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414Discriminating targets with respect to background clutter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B35/00Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
    • B63B2035/006Unmanned surface vessels, e.g. remotely controlled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Ocean & Marine Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于毫米波雷达的水面场景目标动静状态识别方法,首先利用GPS数据和IMU数据对各毫米波雷达采集到的雷达点云做速度补偿、空间合并、杂波滤除以及坐标系变换,得到前一时刻和当前时刻包含聚类簇信息的全局点云。接下来利用前一时刻全局点云中的每个聚类簇点云分别初始化卡尔曼滤波器,得到k个追踪对象。然后将当前时刻的全局点云与追踪对象进行匹配,并更新追踪对象状态。最后利用追踪对象的当前信息与历史信息识别追踪对象的动静状态,实现了利用毫米波雷达识别水面目标动静状态的技术效果。

Description

基于毫米波雷达的水面场景目标动静状态识别方法
技术领域
本发明涉及毫米波雷达环境感知技术领域,尤其涉及一种基于毫米波雷达的水面场景目标动静状态识别方法。
背景技术
在水面自动驾驶领域中,当前感知算法所提供的常见信息为目标的类别语义信息,可以为后级任务提供当前环境周边的所属类别,但更有价值的是目标的动静信息,它可以精准的反应环境中目标的安全系数。但目标的动静信息的获取却是当前自动驾驶研究中的一大难点,因为它不仅需要算法技术分析目标的纹理、几何特征,还需要对目标可能的时序特征进行一定分析。而目前自动驾驶感知算法所使用的传感器中,毫米波雷达的环境鲁棒性更高,经济成本较低,同时具有多普勒速度信息,但他的点云稀疏,对目标的形状描述能力差,难以完成对水面目标进行动静识别的任务。
发明内容
本发明所要解决的技术问题在于提供一种基于毫米波雷达的水面场景目标动静状态识别方法,可以利用毫米波雷达对水面目标进行动静识别。
为解决上述技术问题,本发明采用如下所述的技术方案:
一种基于毫米波雷达的水面场景目标动静状态识别方法,包括有如下步骤:S10、构建无人船传感器配置,在无人船上搭载GPS和IMU传感器,并在无人船前后左右各安装一个毫米波雷达,对应记为前雷达、后雷达、左雷达和右雷达;S20、实时采集各毫米波雷达的雷达数据、GPS的GPS数据和IMU传感器的IMU数据并作时间同步,其中,GPS数据包括位置数据loc和船速v,IMU数据包括角度数据yaw和船角速度gz;S30、利用船速v和船角速度gz,对各个毫米波雷达采集到的雷达点云做速度补偿、空间合并、杂波滤除,得到预处理后的点云p 1 ;S40、利用位置数据loc与角度数据yaw,将预处理后的点云p 1 转换到世界坐标系,得到全局点云p 2 ,该全局点云p 2 包含有聚类簇信息;S50、利用全局点云p 2 初始化卡尔曼滤波器,得到k个追踪对象T k ;S60、按步骤S20-S40的方式继续采集数据并处理,得到的全局点云 2 ;S70、将全局点云 2 与追踪对象T k 进行匹配,利用匹配成功的点云更新追踪对象T k 状态,未匹配成功的点云初始化为新的追踪对象;S80、利用追踪对象T k 的当前信息及历史信息识别目标当前时刻的动静状态;S90、重复步骤S60-S80,不断识别每一时刻所有目标的动静状态。
本发明的有益技术效果在于:与现有技术相比,本发明基于毫米波雷达的水面场景目标动静状态识别方法,先利用GPS数据和IMU数据对各毫米波雷达采集到的雷达点云做速度补偿、空间合并、杂波滤除以及坐标系变换,得到前一时刻和当前时刻包含聚类簇信息的全局点云;接下来利用前一时刻全局点云中的每个聚类簇点云分别初始化卡尔曼滤波器,得到k个追踪对象;然后将当前时刻的全局点云与追踪对象进行匹配,并更新追踪对象状态;最后利用追踪对象的当前信息与历史信息识别追踪对象的动静状态;在无人船航行过程中,通过对其他目标的连续观测,实现了利用毫米波雷达识别水面目标动静状态的技术效果。
附图说明
图1为本发明中的基于毫米波雷达的水面场景目标动静状态识别方法的流程示意图。
图2为本发明中的目标动静状态判断过程示意图。
具体实施方式
为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点,以下结合附图和实施例对本发明做进一步的阐述。
如图1所示,在本发明一个实施例中,基于毫米波雷达的水面场景目标动静状态识别方法包括有步骤S10~步骤S90:
S10、构建无人船传感器配置,在无人船上搭载GPS和IMU传感器,并在无人船前后左右各安装一个毫米波雷达,对应记为前雷达、后雷达、左雷达和右雷达。
S20、实时采集各毫米波雷达的雷达数据、GPS的GPS数据和IMU传感器的IMU数据并作时间同步,其中,GPS数据包括位置数据loc和船速v,IMU数据包括角度数据yaw和船角速度gz
分别实时采集各毫米波雷达的雷达数据,前侧雷达、后侧雷达、左侧雷达以及右侧雷达采集到的毫米波雷达点云对应记为,/>,/>,其中,/>表示雷达左右方向距离,右侧为正,/>表示雷达前后方向距离,前侧为正,/>表示雷达上下方向距离,上方为正,/>表示点云到雷达所在位置的径向方向的相对速度,/>为前侧雷达点云数量,/>表示后侧雷达点云数量,/>表示左侧雷达点云数量,/>表示右侧雷达点云数量。
实时采集GPS的数据,GPS数据包括位置数据和速度数据(即船速)。其中,位置数据记为loc,以世界某一位置 为坐标原点,正东方向为x轴正方向,正北方向为y轴正方向建立的全局直角坐标系/>(即世界坐标系),loc表述无人船当前位置在该全局直角坐标系/>中的坐标/> ;所述速度数据记为/>,该速度方向为当前船头所处方向,大小为v。
实时采集IMU传感器的数据,IMU数据包括角度数据和角速度数据(即船角速度)。其中,角度数据记为,/>的0度为正北方向,顺时针方向为正;所述角速度数据记为,顺时针旋转为正方向。
在采集各毫米波雷达、GPS和IMU传感器的数据的同时,对采集到的数据做时间同步,完成各传感器数据的时间同步。
S30、利用船速v和船角速度gz,对各个毫米波雷达采集到的雷达点云做速度补偿、空间合并、杂波滤除,得到预处理后的点云p 1
其中,对各个毫米波雷达采集到的雷达点云做速度补偿的步骤,具体包括步骤3.1-3.6。
3.1 以船方向右侧为X轴正方向,前侧为Y轴正方向建立船只直角坐标系,记为坐标系XOY
3.2 将前雷达采集的前雷达点云中所有点云的速度/>投影到坐标系XOY中x轴与y轴上,分别得到每个点在坐标系XOY中x轴与y轴的投影速度/>和/>
其中, 为前雷达坐标系y轴与坐标系XOY中y轴方向夹角,前雷达坐标系y轴在坐标系XOY中y轴左侧为正。
3.3 将船速v投影到坐标系XOY的x轴与y轴上,分别得到无人船在坐标系XOY的x轴与y轴上的投影速度,即船速投影速度
3.4 利用船角速度gz计算前雷达所处位置的线速度,该线速度/>方向为雷达的左右方向,其中右侧为正,将线速度/>投影到坐标系XOY的x轴与y轴上,分别得到角速度投影速度/>
3.5 用船速投影速度与角速度投影速度/>,对点云投影速度/>和/>进行补偿,并求所得结果的二范数,所得结果为目标相对于静止目标的绝对径向速度/> ,并将绝对径向速度/>补充入前雷达点云/>,得到径向速度补偿的前雷达点云/>
3.6 按步骤3.2-步骤3.5的方式,分别计算后雷达、左雷达和右雷达点云的绝对径向速度,并将其补充入雷达点云,得到径向速度补偿的后雷达点云/> 、左雷达点云/>和右雷达点云/>
所述对各个毫米波雷达采集到的雷达点云做空间合并的步骤,具体包括步骤3.7-3.10。
3.7 测量前雷达点云坐标系到坐标系XOY的外参,得到旋转矩阵R和平移矩阵T。
3.8 利用旋转矩阵R和平移矩阵T将前雷达点云 变换到坐标系XOY内,得到旋转后的前雷达点云/>
3.9 按步骤3.7-步骤3.8的方式分别对左雷达点云、右雷达点云 />、后雷达点云/>进行处理,分别得到旋转后的左雷达点云/>、右雷达点云/>、后雷达点云/>
3.10 将旋转后的前雷达点云 、左雷达点云/>、右雷达点云 />、后雷达点云/> 做数据拼接,得到合并点云/>
所述对各个毫米波雷达采集到的雷达点云做杂波滤除的步骤,具体包括步骤3.11-3.12。
3.11 将合并点云做直通滤波,得到滤波点云/>
3.12 将滤波点云做dbscan聚类滤波,去除离群点,得到聚类簇点云/>,并将聚类类别合并入聚类簇点云/>,得到预处理后的点云p 1
S40、利用位置数据loc与角度数据yaw,将预处理后的点云p 1 转换到世界坐标系,得到全局点云p 2
4.1 将角度数据yaw与位置数据loc转换为船只直角坐标系到世界坐标系的旋转矩阵 与平移矩阵/>
其中,表示无人船当前位置在世界坐标系中的坐标。
4.2 利用将预处理后的点云/>转换为全局点云/>
S50、利用全局点云p 2 初始化卡尔曼滤波器,得到k个追踪对象T k
步骤S50具体包括步骤5.1-5.3。
5.1 将全局点云按其中属性聚类簇类别归类,得到k个聚类簇点云/>
5.2 计算每个聚类簇点云的中心位置/>,平均径向速度/>
其中,表示点云的绝对径向速度,x i 表示点云在世界坐标系中x轴坐标,y i 表示点云在世界坐标系中y轴坐标,/>表示聚类簇点云/>中点云的数量。
5.3 利用中心位置、平均径向速度/>分别做K个目标的卡尔曼滤波器初始化,得到K个追踪对象/>
具体地,利用中心位置,平均径向速度/>做目标k的卡尔曼滤波器的初始化的步骤,具体包括步骤5.3.1-5.3.7。
5.3.1 卡尔曼滤波器初始化目标状态向量为,连续帧间隔时间为/>
其中,表示目标在世界坐标系下x轴的坐标,/>表示目标在世界坐标系下y轴的坐标,/>表示目标在世界坐标系下x轴的速度,/>表示目标在世界坐标系下y轴的速度,/>表示目标在世界坐标系下x轴的加速度,/>表示目标在世界坐标系下y轴的加速度。
5.3.2 卡尔曼滤波器初始化目标转移矩阵
5.3.3 卡尔曼滤波器初始化过程噪声协方差矩阵
5.3.4 卡尔曼滤波器初始化测量噪声协方差矩阵
5.3.5 卡尔曼滤波器初始化目标观测矩阵
5.3.6 初始化该卡尔曼滤波器的径向速度为,目标长度建立为一个大小为的目标长度队列/>,并利用pca(principal components analysis,即主成分分析技术,又称主分量分析)算法计算当前目标较长边的长度/>,并将长度/>添加到目标长度队列内;
5.3.7 卡尔曼滤波器初始化状态估计误差的协方差矩阵
S60、按步骤S20-S40的方式继续采集数据并处理,得到的全局点云 2
S70、将全局点云 2 与追踪对象T k 进行匹配,利用匹配成功的点云更新追踪对象T k 状态,未匹配成功的点云初始化为新的追踪对象。
步骤S70具体包括步骤7.1-7.4 。
7.1 遍历每个追踪对象,针对每个追踪对象/>,在全局点云/>中检索距离追踪对象/>距离为/>的点云,得到每个追踪对象/>对应的匹配点云/>
7.2 遍历每个追踪对象,根据每个追踪对象/>的信息分别进行状态预测,得到目标的状态预测结果/>、状态向量估计协方差的预测结果/>
具体地,步骤7.2进一步包括有步骤7.2.1-7.2.2:
7.2.1 利用目标的状态向量与转移矩阵/>计算目标的预测状态结果
其中,表示目标在世界坐标系下x轴的预测坐标,/>表示目标在世界坐标系下y轴的预测坐标,/>表示目标在世界坐标系下x轴的预测速度,/>表示目标在世界坐标系下y轴的预测速度,/>表示目标在世界坐标系下x轴的预测加速度,/>表示目标在世界坐标系下y轴的预测加速度。
7.2.2 计算状态向量估计协方差的预测
其中,表示目标的状态估计误差的协方差矩阵,/>表示过程噪声协方差矩阵。
7.3 利用每个追踪对象对应的匹配点云/>更新追踪对象/>的状态信息。
具体地,步骤7.3进一步包括有步骤7.3.1-7.3.7:
7.3.1 计算匹配点云的中心位置/>
其中,表示匹配点云/>中点云的x轴和y轴坐标,/>表示匹配点云/>中点云的数量。
7.3.2 计算当前目标的观测径向速度、当前目标的预测径向速度/>
其中,表示匹配点云/>的绝对径向速度。
7.3.3 计算当前目标的观测矩阵,观测结果与预测结果的插值/>
7.3.4 计算卡尔曼增益
7.3.5 计算当前目标的最优状态
7.3.6 计算当前目标的最优状态估计误差协方差矩阵
7.3.7 更新当前目标的信息:
7.4 未匹配成功的点云初始化为新的追踪对象。
针对全局点云中未完成匹配的点云,依据步骤S50的方式进行追踪对象初始化,得到新的追踪对象。
S80、利用追踪对象T k 的当前信息及历史信息识别目标当前时刻的动静状态。
步骤S80具体包括步骤8.1-8.3。
8.1 利用PCA算法计算目标长度
8.2 遍历每个追踪对象,计算目标当前的实际速度/>,连续帧目标重叠度/>,目标长度方差/>
其中,为追踪对象被记录的次数,/>为追踪对象被记录的目标长度的平均值。
其中,计算连续帧目标重叠度的步骤包括有步骤8.2.1-8.2.4:
8.2.1 计算当前帧点云的凸包与前一帧点云的凸包/>
8.2.2 计算当前帧点云在前一帧点云凸包内点的数量,并计算凸包内点数量与当前帧点数量的比例/>
8.2.3 计算前一帧点云在当前帧点云凸包内点的数量,并计算凸包内点数量与前一帧点数量的比例/>
8.2.4 计算当前目标的连续帧目标重叠度
8.3 利用目标当前的实际速度、目标长度方差/>、连续帧目标重叠度/>及当前径向速度/>进行动静目标的判断。
如图2所示,步骤8.3进一步包括有步骤8.3.1-8.3.5。
8.3.1 当目标当前的实际速度/>时,初步判断为静目标,进入步骤8.3.2;否则初步判断为动目标,进入步骤8.3.3。
8.3.2 在目标k被初步判断为静目标的情况下,若径向速度且连续帧目标重叠度/>时,当前目标k被确定为静目标状态,否则为动目标状态。
8.3.3 在目标k被初步判断为动目标的情况下,若连续帧目标重叠度时,当前目标k被确定为动目标状态,否则进入步骤8.3.4。
8.3.4 在目标k被初步判断为动目标的情况下,若目标重叠度且目标长度方差/>,当前目标k被确定为动目标状态,若目标重叠度且/>,当前目标k被确定为静目标状态。否则进入步骤8.3.5。
8.3.5 在目标k被初步判断为动目标的情况下,若目标重叠度且径向速度/>,当前目标k被确定为静目标状态,若目标重叠度/>且径向速度,当前目标k被确定为动目标状态。
其中,为速度阈值,/>为方差阈值,/>为两个重叠度阈值且,/>为两个径向速度阈值。
S90、重复步骤S60-S80,不断识别每一时刻所有目标的动静状态。
完成当前时刻目标的动静状态识别后,再次执行一遍步骤S60-S80可以完成下一时刻目标的动静状态识别,重复步骤S60-S80,可以不断识别每一时刻所有目标的动静状态。
以上所述仅为本发明的优选实施例,而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进,凡在权利要求范围内所做的等同变化或修饰,均应落入本发明的保护范围之内。

Claims (11)

1.一种基于毫米波雷达的水面场景目标动静状态识别方法,其特征在于,所述基于毫米波雷达的水面场景目标动静状态识别方法包括有如下步骤:
S10、构建无人船传感器配置,在无人船上搭载GPS和IMU传感器,并在无人船前后左右各安装一个毫米波雷达,对应记为前雷达、后雷达、左雷达和右雷达;
S20、实时采集各毫米波雷达的雷达数据、GPS的GPS数据和IMU传感器的IMU数据并作时间同步,其中,GPS数据包括位置数据loc和船速v,IMU数据包括角度数据yaw和船角速度gz
S30、利用船速v和船角速度gz,对各个毫米波雷达采集到的雷达点云做速度补偿、空间合并、杂波滤除,得到预处理后的点云p 1
S40、利用位置数据loc与角度数据yaw,将预处理后的点云p 1 转换到世界坐标系,得到全局点云p 2 ,该全局点云p 2 包含有聚类簇信息;
S50、利用全局点云p 2 初始化卡尔曼滤波器,得到k个追踪对象T k
S60、按步骤S20-S40的方式继续采集数据并处理,得到的全局点云 2
S70、将全局点云 2 与追踪对象T k 进行匹配,利用匹配成功的点云更新追踪对象T k 状态,未匹配成功的点云初始化为新的追踪对象;
S80、利用追踪对象T k 的当前信息及历史信息识别目标当前时刻的动静状态;
S90、重复步骤S60-S80,不断识别每一时刻所有目标的动静状态。
2.如权利要求1所述的基于毫米波雷达的水面场景目标动静状态识别方法,其特征在于,所述对各个毫米波雷达采集到的雷达点云做速度补偿包括有如下步骤:
S31、以船方向右侧为X轴正方向,前侧为Y轴正方向建立船只直角坐标系,记为坐标系XOY
S32、将前雷达采集的前雷达点云中所有点云的速度投影到坐标系XOY中x轴与y轴上,分别得到每个点在坐标系XOY中x轴与y轴的投影速度/>和/>
其中,表示雷达左右方向距离,右侧为正,/>表示雷达前后方向距离,前侧为正,/>表示雷达上下方向距离,上方为正,/>表示点云到雷达所在位置的径向方向的相对速度,为前侧雷达点云数量,/> 为前雷达坐标系y轴与坐标系XOY中y轴方向夹角,前雷达坐标系y轴在坐标系XOY中y轴左侧为正;
S33、将船速v投影到坐标系XOY的x轴与y轴上,分别得到船速投影速度
S34、利用船角速度gz计算前雷达所处位置的线速度,该线速度/>方向为雷达的左右方向,其中右侧为正,将线速度/>投影到坐标系XOY的x轴与y轴上,分别得到角速度投影速度/>
S35、用船速投影速度与角速度投影速度/>,对点云投影速度/>进行补偿,并求所得结果的二范数,所得结果为目标相对于静止目标的绝对径向速度 ,并将绝对径向速度/>补充入前雷达点云/>,得到径向速度补偿的前雷达点云
S36、按步骤S32-步骤S35的方式,分别计算后雷达、左雷达和右雷达点云的绝对径向速度 ,并将其补充入雷达点云,得到径向速度补偿的后雷达点云/>、左雷达点云/>和右雷达点云/>
3.如权利要求2所述的基于毫米波雷达的水面场景目标动静状态识别方法,其特征在于,所述对各个毫米波雷达采集到的雷达点云做空间合并包括有如下步骤:
S37、测量前雷达点云坐标系到坐标系XOY的外参,得到旋转矩阵R和平移矩阵T;
S38、利用旋转矩阵R和平移矩阵T将前雷达点云变换到坐标系XOY内,得到旋转后的前雷达点云/>
S39、按步骤S37-步骤S38的方式分别对左雷达点云、右雷达点云 />、后雷达点云进行处理,分别得到旋转后的左雷达点云/>、右雷达点云/>、后雷达点云/>
S310、将旋转后的前雷达点云 、左雷达点云/>、右雷达点云 />、后雷达点云做数据拼接,得到合并点云/>
4.如权利要求3所述的基于毫米波雷达的水面场景目标动静状态识别方法,其特征在于,所述对各个毫米波雷达采集到的雷达点云做杂波滤除包括有如下步骤:
S311、将合并点云做直通滤波,得到滤波点云/>
S312、将滤波点云做dbscan聚类滤波,去除离群点,得到聚类簇点云/> ,并将聚类类别合并入聚类簇点云/>,得到预处理后的点云p 1
5.如权利要求1所述的基于毫米波雷达的水面场景目标动静状态识别方法,其特征在于,所述步骤S40进一步包括有步骤:
S41、将角度数据yaw与位置数据loc转换为船只直角坐标系到世界坐标系的旋转矩阵与平移矩阵/>
其中,表示无人船当前位置在世界坐标系中的坐标;
S42、利用将预处理后的点云/>转换为全局点云/>
6.如权利要求1所述的基于毫米波雷达的水面场景目标动静状态识别方法,其特征在于,所述步骤S50进一步包括有步骤:
S51、将全局点云按其中属性聚类簇类别归类,得到k个聚类簇点云/>
S52、计算每个聚类簇点云的中心位置/>,平均径向速度/>
其中,表示点云的绝对径向速度,x i 表示点云在世界坐标系中x轴坐标,
y i 表示点云在世界坐标系中y轴坐标,表示聚类簇点云/>中点云的数量;
S53、利用中心位置、平均径向速度/>分别做K个目标的卡尔曼滤波器初始化,得到K个追踪对象/>
7.如权利要求6所述的基于毫米波雷达的水面场景目标动静状态识别方法,其特征在于,在所述步骤S53中,利用中心位置、平均径向速度/>做目标的卡尔曼滤波器的初始化的步骤包括:
S531、卡尔曼滤波器初始化目标状态向量为,连续帧间隔时间为/>
其中,表示目标在世界坐标系下x轴的坐标,/>表示目标在世界坐标系下y轴的坐标,/>表示目标在世界坐标系下x轴的速度,/>表示目标在世界坐标系下y轴的速度,/>表示目标在世界坐标系下x轴的加速度,/>表示目标在世界坐标系下y轴的加速度;
S532、卡尔曼滤波器初始化目标转移矩阵
S533、卡尔曼滤波器初始化过程噪声协方差矩阵
S534、卡尔曼滤波器初始化测量噪声协方差矩阵
S535、卡尔曼滤波器初始化目标观测矩阵
S536、初始化该卡尔曼滤波器的径向速度为,目标长度建立为一个大小为/>的目标长度队列/>,并利用pca算法计算当前目标较长边的长度/>,并将长度/>添加到目标长度队列/>内;
S537、卡尔曼滤波器初始化状态估计误差的协方差矩阵
8.如权利要求1所述的基于毫米波雷达的水面场景目标动静状态识别方法,其特征在于,所述步骤S70进一步包括有步骤:
S71、遍历每个追踪对象,针对每个追踪对象/>,在全局点云/>中检索距离追踪对象/>距离为/>的点云,得到每个追踪对象/>对应的匹配点云/>
S72、遍历每个追踪对象,根据每个追踪对象/>的信息分别进行状态预测,得到目标的状态预测结果/>、状态向量估计协方差的预测结果/>
S73、利用每个追踪对象对应的匹配点云/>更新追踪对象/>的状态信息;
S74、未匹配成功的点云初始化为新的追踪对象。
9.如权利要求8所述的基于毫米波雷达的水面场景目标动静状态识别方法,其特征在于,所述步骤S72进一步包括有步骤:
S721、利用目标的状态向量与转移矩阵/>计算目标的预测状态结果/>
S722、计算状态向量估计协方差的预测
其中,表示目标的状态估计误差的协方差矩阵,/>表示过程噪声协方差矩阵。
10.如权利要求9所述的基于毫米波雷达的水面场景目标动静状态识别方法,其特征在于,所述步骤S73进一步包括有步骤:
S731、计算匹配点云的中心位置/>
其中,表示匹配点云/>中点云的坐标,/>表示匹配点云/>中点云的数量;
S732、计算当前目标的观测径向速度、当前目标的预测径向速度/>
其中,表示目标在世界坐标系下x轴的预测坐标,/>表示目标在世界坐标系下y轴的预测坐标,/>表示目标在世界坐标系下x轴的预测速度,/>表示目标在世界坐标系下y轴的预测速度,/>表示目标在世界坐标系下x轴的预测加速度,/>表示目标在世界坐标系下y轴的预测加速度,/>表示匹配点云/>的绝对径向速度;
S733、计算当前目标的观测矩阵,观测结果与预测结果的插值/>
其中,H表示初始的目标观测矩阵;
S734、计算卡尔曼增益
其中,表示测量噪声协方差矩阵;
S735、计算当前目标的最优状态
S736、计算当前目标的最优状态估计误差协方差矩阵
S737、更新当前目标的信息:
11.如权利要求1所述的基于毫米波雷达的水面场景目标动静状态识别方法,其特征在于,所述步骤S80进一步包括有步骤:
S81、利用PCA算法计算目标长度
S82、遍历每个追踪对象,计算目标当前的实际速度/> 、连续帧目标重叠度/>、目标长度方差/>
其中,为追踪对象被记录的次数,/>为追踪对象被记录的目标长度的平均值;
S83、利用目标当前的实际速度、目标长度方差/>、连续帧目标重叠度/>及当前径向速度进行动静目标的判断。
CN202310384790.7A 2023-04-12 2023-04-12 基于毫米波雷达的水面场景目标动静状态识别方法 Active CN116106853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310384790.7A CN116106853B (zh) 2023-04-12 2023-04-12 基于毫米波雷达的水面场景目标动静状态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310384790.7A CN116106853B (zh) 2023-04-12 2023-04-12 基于毫米波雷达的水面场景目标动静状态识别方法

Publications (2)

Publication Number Publication Date
CN116106853A CN116106853A (zh) 2023-05-12
CN116106853B true CN116106853B (zh) 2023-09-01

Family

ID=86260108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310384790.7A Active CN116106853B (zh) 2023-04-12 2023-04-12 基于毫米波雷达的水面场景目标动静状态识别方法

Country Status (1)

Country Link
CN (1) CN116106853B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104502907A (zh) * 2014-12-15 2015-04-08 西安电子工程研究所 一种机载雷达地面动静目标稳定跟踪方法
CN107561591A (zh) * 2017-07-28 2018-01-09 山东省科学院自动化研究所 基于多功能超宽带穿墙雷达的动静目标检测方法及系统
CN109031272A (zh) * 2017-06-12 2018-12-18 德尔福技术有限责任公司 确定目标的去混叠距离变化率的方法
CN111780771A (zh) * 2020-05-12 2020-10-16 驭势科技(北京)有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技(上海)股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN113721234A (zh) * 2021-08-30 2021-11-30 南京慧尔视智能科技有限公司 一种车载毫米波雷达点云数据动静分离过滤方法和装置
CN113743385A (zh) * 2021-11-05 2021-12-03 陕西欧卡电子智能科技有限公司 一种无人船水面目标检测方法、装置及无人船
CN113777600A (zh) * 2021-09-09 2021-12-10 北京航空航天大学杭州创新研究院 一种多毫米波雷达协同定位跟踪方法
CN114114367A (zh) * 2021-11-17 2022-03-01 中南大学 Agv室外定位切换方法、计算机装置及程序产品
CN114509750A (zh) * 2022-01-21 2022-05-17 上海交通大学 一种基于多航海雷达的水上目标追踪方法
CN114545400A (zh) * 2022-04-27 2022-05-27 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面机器人的全局重定位方法
CN115032630A (zh) * 2022-05-31 2022-09-09 南京市德赛西威汽车电子有限公司 一种基于bsd雷达的网格化栏杆检测方法
CN115063555A (zh) * 2022-07-12 2022-09-16 湖南科技大学 高斯分布区域生长的车载LiDAR点云行道树提取方法
CN115097442A (zh) * 2022-08-24 2022-09-23 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面环境地图构建方法
CN115308785A (zh) * 2022-08-31 2022-11-08 浙江工业大学 一种基于多传感器融合的无人车自主定位方法
CN115435798A (zh) * 2022-07-29 2022-12-06 深圳亿嘉和科技研发有限公司 无人车高精地图路网生成系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11639981B2 (en) * 2015-07-17 2023-05-02 Origin Wireless, Inc. Method, apparatus, and system for movement tracking
US11269048B2 (en) * 2018-10-23 2022-03-08 Baidu Usa Llc Radar sensor array for interference hunting and detection
CN111382768B (zh) * 2018-12-29 2023-11-14 华为技术有限公司 多传感器数据融合方法和装置
US11866983B2 (en) * 2020-02-26 2024-01-09 Magna Electronics Inc. Radar scanning system for static obstacle detection for power door movement
EP3886012A1 (en) * 2020-03-27 2021-09-29 Sony Group Corporation Improved utilization of a fleet of unmanned aerial vehicles for delivery of goods
US20210364632A1 (en) * 2020-05-24 2021-11-25 Havenshine Technologies, Inc. Methods and Systems for Map Creation and Calibration of Localization Equipment in an Outdoor Environment

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104502907A (zh) * 2014-12-15 2015-04-08 西安电子工程研究所 一种机载雷达地面动静目标稳定跟踪方法
CN109031272A (zh) * 2017-06-12 2018-12-18 德尔福技术有限责任公司 确定目标的去混叠距离变化率的方法
CN107561591A (zh) * 2017-07-28 2018-01-09 山东省科学院自动化研究所 基于多功能超宽带穿墙雷达的动静目标检测方法及系统
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技(上海)股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN111780771A (zh) * 2020-05-12 2020-10-16 驭势科技(北京)有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
CN113721234A (zh) * 2021-08-30 2021-11-30 南京慧尔视智能科技有限公司 一种车载毫米波雷达点云数据动静分离过滤方法和装置
CN113777600A (zh) * 2021-09-09 2021-12-10 北京航空航天大学杭州创新研究院 一种多毫米波雷达协同定位跟踪方法
CN113743385A (zh) * 2021-11-05 2021-12-03 陕西欧卡电子智能科技有限公司 一种无人船水面目标检测方法、装置及无人船
CN114114367A (zh) * 2021-11-17 2022-03-01 中南大学 Agv室外定位切换方法、计算机装置及程序产品
CN114509750A (zh) * 2022-01-21 2022-05-17 上海交通大学 一种基于多航海雷达的水上目标追踪方法
CN114545400A (zh) * 2022-04-27 2022-05-27 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面机器人的全局重定位方法
CN115032630A (zh) * 2022-05-31 2022-09-09 南京市德赛西威汽车电子有限公司 一种基于bsd雷达的网格化栏杆检测方法
CN115063555A (zh) * 2022-07-12 2022-09-16 湖南科技大学 高斯分布区域生长的车载LiDAR点云行道树提取方法
CN115435798A (zh) * 2022-07-29 2022-12-06 深圳亿嘉和科技研发有限公司 无人车高精地图路网生成系统及方法
CN115097442A (zh) * 2022-08-24 2022-09-23 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面环境地图构建方法
CN115308785A (zh) * 2022-08-31 2022-11-08 浙江工业大学 一种基于多传感器融合的无人车自主定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无人水面艇感知技术发展综述;朱健楠等;哈尔滨工程大学学报;第41卷(第10期);1486-1492 *

Also Published As

Publication number Publication date
CN116106853A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
US11466988B2 (en) Method and device for extracting key frames in simultaneous localization and mapping and smart device
Asvadi et al. 3D object tracking using RGB and LIDAR data
CN113865580B (zh) 构建地图的方法、装置、电子设备及计算机可读存储介质
CN112985416A (zh) 激光与视觉信息融合的鲁棒定位和建图方法及系统
CN112634451A (zh) 一种融合多传感器的室外大场景三维建图方法
CN113748357A (zh) 激光雷达的姿态校正方法、装置和系统
CN113706626B (zh) 一种基于多传感器融合及二维码校正的定位与建图方法
CN111583369A (zh) 一种基于面线角点特征提取的激光slam方法
CN112747750B (zh) 一种基于单目视觉里程计和imu融合的定位方法
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN111929676B (zh) 一种基于密度聚类的x波段雷达目标检测与跟踪方法
CN112101160A (zh) 一种面向自动驾驶场景的双目语义slam方法
CN115861352A (zh) 单目视觉、imu和激光雷达的数据融合和边缘提取方法
CN109459046B (zh) 悬浮式水下自主航行器的定位和导航方法
Abu-Alrub et al. Radar odometry for autonomous ground vehicles: A survey of methods and datasets
CN116106853B (zh) 基于毫米波雷达的水面场景目标动静状态识别方法
CN117132620A (zh) 一种自动驾驶场景的多目标跟踪方法、系统、存储介质及终端
CN116185049A (zh) 基于视觉引导的无人直升机自主着舰方法
CN114932556A (zh) 煤矸分拣机器人视觉伺服的机械臂动态目标跟踪轨迹规划方法
Wu et al. A method with improved accuracy and robustness for object detection in wharf scenarios
CN114119885A (zh) 图像特征点匹配方法、装置及系统、地图构建方法及系统
CN112862865A (zh) 水下机器人的检测识别方法、装置和计算机存储介质
Kim et al. Feature-based 6-DoF camera localization using prior point cloud and images
CN117760417B (zh) 一种基于4d毫米波雷达与imu的融合定位方法及系统
Mei et al. An IMU-aided Visual Odometry with Loop-closure Optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant