CN109521427A - 车载以太网雷达系统 - Google Patents

车载以太网雷达系统 Download PDF

Info

Publication number
CN109521427A
CN109521427A CN201811362373.8A CN201811362373A CN109521427A CN 109521427 A CN109521427 A CN 109521427A CN 201811362373 A CN201811362373 A CN 201811362373A CN 109521427 A CN109521427 A CN 109521427A
Authority
CN
China
Prior art keywords
radar
vehicle
ethernet
data
radar system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811362373.8A
Other languages
English (en)
Other versions
CN109521427B (zh
Inventor
肖文平
石川
叶祥龙
张航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Heqian Electronic Technology Co Ltd
Original Assignee
Shanghai Heqian Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Heqian Electronic Technology Co Ltd filed Critical Shanghai Heqian Electronic Technology Co Ltd
Priority to CN201811362373.8A priority Critical patent/CN109521427B/zh
Publication of CN109521427A publication Critical patent/CN109521427A/zh
Application granted granted Critical
Publication of CN109521427B publication Critical patent/CN109521427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66Sonar tracking systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004Means for monitoring or calibrating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种车载以太网雷达系统,其特征在于,包含:至少一个雷达探头,安装在车身外,用于探测信号的发送,以及对回波信号的采集;以及中央处理器,安装在车内用于对多个回波信号进行处理,输出告警并进行相应地避障控制,雷达探头和中央处理器之间通过车辆以太网进行通信,以太网通信协议包括时间同步协议,所述时间同步协议用于对各个雷达探头中时钟模块进行校准,确保不同雷达探头的时间完全同步。

Description

车载以太网雷达系统
技术领域
本发明属于雷达传感器领域,尤其涉及一种车载以太网雷达系统。
背景技术
车载雷达领域中,采用毫米波雷达传感器相比较于采用图像传感器而言,具有不受光线,天气影响的优点,能够全天候工作,已经成为了车辆辅助驾驶(ADAS)的标准配置。同时随着技术的发展,毫米波雷达传感器的用量在逐年增加,市场前景好。
目前,车载毫米波雷达传感器一般采用TOF(时间飞行)测量原理,原理过程为雷达发射波束碰到障碍物后,反射回波被天线接收,通过相关信号处理方法计算出的障碍物的位置信息(距离,方位,速度)。雷达传感器将这些障碍物信息通过CAN总线发送到车辆中央处理器,车辆中央处理器根据障碍物信息来进行报警或者障碍物的避让。
随着本申请的应用领域之一,例如辅助驾驶而言,伴随着辅助驾驶的快速发展,毫米波雷达传感器的装机量在逐渐增加,对于单车多毫米波雷达探头系统,单车会设置多个毫米波雷达传感器,如果将多个传感器的分散式信号处理方式变为集中式信号处理方式,则可以使用一个高性能的信号处理器替代多个分散的信号处理单元,系统的硬件成本会显著下降。
在集中式信号处理方案中,毫米波雷达探头只负责信号的发送采集,而辅助驾驶中央处理器负责完成对所有雷达探头的信号处理,进行障碍物报警和避障处理。
现有技术中也存在这样的尝试,利用普通以太网来传输雷达探头的原始数据,但是普通以太网没有包含时间同步协议,时间错误的话会导致计算结果错误,还有普通以太网协议本身无法满足车辆比较苛刻的测试标准。
发明内容
为了解决和克服上述问题,本发明提供了一种车载以太网雷达系统,通过利用雷达探头和中央处理器之间通过车辆以太网进行通信,以太网通信协议包括时间同步协议,所述时间同步协议用于对各个雷达探头中时钟模块进行校准,确保不同雷达探头的时间完全同步。
本发明提供了一种车载以太网雷达系统,具有这样的特征其特征在于,包含:至少一个雷达探头,安装在车身外,用于探测信号的发送,以及对回波信号的采集;以及中央处理器,安装在车内用于对多个回波信号进行处理,输出告警并进行相应地避障控制,雷达探头和中央处理器之间通过车辆以太网进行通信,以太网通信协议包括时间同步协议,所述时间同步协议用于对各个雷达探头中时钟模块进行校准,确保不同雷达探头的时间完全同步。
在本发明所提供的车载以太网雷达系统中,进一步可选地,还具有这样的特征,其中,以太网通信协议采用以太网音视频桥接EAVB技术,桥接在雷达探头和中央处理器之间。
在本发明所提供的车载以太网雷达系统中,进一步可选地,还具有这样的特征,其中,以太网通信协议的数据包,包含:数据固定包头中的源键值地址、目的键值地址以及协议号;数据包类型指示字符;序列累加值指示字符;时间戳指示字符;数据包识别码;数据包长度指示字符;以及雷达采集数据。
在本发明所提供的车载以太网雷达系统中,进一步可选地,还具有这样的特征,其中,数据固定包头占14个字节;数据包类型占2个字节;序列累加值占2个字节;时间戳占8个字节;数据包识别码占8个字节;数据包长度占4个字节。
在本发明所提供的车载以太网雷达系统中,进一步可选地,还具有这样的特征,其中,所述时间同步协议采用802.1AS精准时间同步协议。
在本发明所提供的车载以太网雷达系统中,进一步可选地,还具有这样的特征,其中,雷达探头包含:与射频收发组件的一侧分别连接的发射天线、接收天线,在射频收发组件另一侧和微控制器之间分别连接的数模转换器、滤波放大模块,与微控制器另一侧相连的以太网物理接口。
在本发明所提供的车载以太网雷达系统中,进一步可选地,还具有这样的特征,多个雷达探头采用以下雷达种类中任意一种或任何至少两种相组合使用:毫米波雷达、综合图像传感器、激光雷达、超声波雷达。
在本发明所提供的车载以太网雷达系统中,进一步可选地,还具有这样的特征,其中,中央处理器还包含:辅助驾驶模块,该辅助驾驶模块具有:发射侧辅助单元,用于探测信号发射之前的处理;接收侧辅助单元,用于回波信号接收采集和处理,其中,发射侧辅助单元,用于设置发射波形关键参数,再按照以太网通信协议进行组包,发送到车载以太网网络中,接收侧辅助单元,用于接收到车载以太网网络的数据包后进行解包;对解包后数据包处理得到回波信号;对回波信号进行快速傅里叶变换;得到障碍物的频谱图以及相位谱图;对多个脉冲频谱计算出障碍物目标的计算结果;多个雷达探测头所采集的计算结果进行融合,根据融合结果进行告警和避障处理。
在本发明所提供的车载以太网雷达系统中,进一步可选地,还具有这样的特征,其中,发射波形关键参数包含以下至少之一:脉冲时间宽度T, 毫米波扫频起始频率F0, 扫频带宽B, 单脉冲扫频点数以及脉冲次数。
在本发明所提供的车载以太网雷达系统中,进一步可选地,还具有这样的特征,其中,多个雷达探测头所采集的计算结果进行融合的步骤,包含:再根据多个雷达探测头所采集的计算结果,或进一步结合其他结果信息进行数据融合。
本发明的作用和效果
通过本发明的车载以太网雷达系统,多个雷达探头和中央处理器之间通过车辆以太网进行通信,以太网通信协议包括时间同步协议,利用时间同步协议对各个雷达探头中时钟模块进行校准,确保不同雷达探头的时间完全同步。
附图说明
图1是本发明实施例中俯视视角的车辆雷达布局的位置示意图;
图2是本发明实施例中车载以太网雷达系统中雷达探头的示意框图;
图3是本发明实施例中车载以太网雷达系统中央处理器的数据交互示意图;
图4是本发明实施例中车载以太网雷达系统中毫米波雷达探头的工作流程图;
图5是本发明实施例中车载以太网雷达系统的网络包格式图;
图6是本发明实施例中车载以太网雷达系统中辅助驾驶中央处理器的工作流程图;
图7是本发明具体实施例一中车载以太网雷达系统的算法过程图;
图8是本发明实施例中CA-CFAR单元平均方式的恒虚警检测方法的过程图;
图9是本发明实施例中利用相位差法运算角度的原理图;
图10是本发明实施例中车载以太网雷达系统的聚类算法流程图;
图11是本发明实施例中车载以太网雷达系统的目标跟踪的流程图;
图12是本发明实施例中基于盲区监测项目盲点监测区域的区域展示图;以及
图13是本发明实施例中盲区报警监测的工作流程图。
具体实施方式
本发明所提供的实施例中,车载以太网雷达系统包含毫米波雷达探头和车辆中央处理器。
车载雷达的测量原理为TOF(time of flight),即雷达发射毫米波波束后,在遇到障碍物时会发生折返,返回的波束通过内部接收器进行接收,最后通过折返时间计算出障碍物的距离,通过多普勒频移计算出障碍物的运动速度。
图1是本发明实施例中俯视视角的车辆雷达布局的位置示意图。如图1所示,多个毫米波雷达探头安装在车身外围四周,车辆中央处理器安装在车内。图1中,所显示的毫米波雷达探头的数量为6个,并非限制所适用的技术领域,本实施采用辅助驾驶来进行说明。该6个毫米波雷达探头与辅助驾驶中央处理器相通信连接。
毫米波雷达探头与辅助驾驶中央处理器两者之间通过单对双绞线相连,通过车辆以太网EAVB(以太网音视频桥接)进行通信。所述音视频桥接技术通信协议包括时间同步协议,所述时间同步协议用于对所述车载雷达的时钟模块进行校准,确保不同的雷达时间完全同步。所述时间同步协议采用版本为802.1AS精准时间同步协议。所述音视频桥接技术通信协议包括自定义数据包格式。
图2是本发明实施例中车载以太网雷达系统中雷达探头的示意框图。
由图2可知,接收天线和发射天线均为平面微带阵列天线,以太网物理接口满足BroadR-Reach标准,微控制器中包含ADC(模数转换)和以太网MAC(媒体接入控制器)。
毫米波雷达探头负责波形的接收,发射信号的发送,以及对回波信号的数据采集。车辆中央处理器负责回波信号的数字信号处理,多传感器的数据融合以及告警和避障。
毫米波雷达探头主要包含发射天线,接收天线,射频收发组件,DAC(数模转换器),滤波放大模块,微控制器和以太网物理接口。
其中,发射天线、接收天线分别与射频收发组件的一侧连接。在射频收发组件另一侧,数模转换器、滤波放大模块分别连接在射频收发组件和微控制器之间,以太网物理接口与微控制器另一侧相连。
图3是本发明实施例中车载以太网雷达系统的中央处理器的数据交互示意图。
通过图3,进一步展示驾驶中央处理器的内部结构和数据交互方式。
辅助驾驶中央处理器主要包含以太网物理接口、FPGA(现场可编程门阵列)、DDR内存、CAN通信模块、指示灯/语音模块。
FPGA模块包含以太网MAC(媒体接入控制器)、DSP(数字信号处理)、波形发生模块、数据融合以及告警模块。
CAN通信用于和外部控制设备进行数据交互,对车身底盘进行转向和速度控制。
指示灯/语音模块主要用于声光报警,提醒驾驶员注意。
图4是本发明实施例中车载以太网雷达系统中毫米波雷达探头的工作流程图。
毫米波雷达探头的工作流程如下:
毫米波雷达探头端的处理器在车辆以太网上接送数据包,按照车辆以太网协议进行解包,得到波形参数的设计值,毫米波雷达探头按照参数设计值控制发射通道通过发射天线发射出相关波形的毫米波。
毫米波遇到目标障碍物后会发生折返,雷达探头通过接收天线对折返信号进行接收,再经过混频处理,得到包含障碍物速度和位置信息的中频信号。中频信号经过放大、滤波,以及模数转换后得到数字化的回波信号。对每个脉冲的数字回波信号进行组包,添加时间戳信息,发送到车辆以太网上,传送给辅助驾驶中央处理器。
图5是本发明实施例中车载以太网雷达系统的网络包格式图;
网络包的包结构请见图5,车辆以太网数据包格式如下:
该车辆以太网数据包基于L2层,采用的是7层网络协议。
图5中,dest mac表示网络数据接收端MAC地址,占6 byte,
Src mac表示网络数据发送端MAC地址,占6 byte,
本实施例中,采用协议号0x22f5,占2 byte,
Type表示数据类型,占2byte,例如0x2017代表ADC原始数据,
Sequence_num表示数据帧号,占2byte,发送一次数值自加1,
Timestamp表示时间戳,占8 byte,代表精准时间,
Id表示雷达产品的唯一识别码,占8 byte,
Length表示雷达数据Data的长度,占4 byte,在本例中为Ox0400,
Data表示雷达数据, 在本例中,每次采样包括4个数据,I0,Q0,I1,Q1,每个数据占用2byte, 一次完整的数据组包包含128个连续时刻点的数据,共512个数据,合计1024 byte。
其中,图5中Id,表示雷达产品的唯一识别码,该识别码包含雷达的MAC地址和雷达的安装位置,比如图1中,共计雷达探头1至雷达探头6,该6个探头分别位于正前,正后,左前,右前、左后,右后。
图6是本发明实施例中车载以太网雷达系统中辅助驾驶中央处理器的工作流程图;
辅助驾驶中央处理器工作流程如下:
首先在辅助驾驶中央处理器上设置好发射波形关键参数,再按照车辆以太网协议进行组包,发送到车辆以太网网络。其中,发射波形关键参数包含但是不限于脉冲时间宽度T,毫米波扫频起始频率F0, 扫频带宽B, 单脉冲扫频点数以及脉冲次数。
辅助驾驶中央处理器接收到车辆以太网上的数据包后,进行解包处理得到数字回波信号,对回波信号进行FFT快速傅里叶变换后,得到障碍物的频谱图以及相位谱图,对多个脉冲频谱计算出障碍物目标的速度和位置信息。
再根据多个雷达传感器的计算结果,以及综合图像传感器,激光雷达,超声波雷达的结果信息进行数据融合,根据融合结果进行响应的告警及避障处理。
实施例1
在本实施例1中,本发明以一个24Ghz毫米波雷达探头和一个辅助驾驶中央处理器为例进行说明。
毫米波雷达探头的射频收发组件为BGT24MTR12, 内部的天线引脚与平面微带阵列天线相连,内部的VCO(压控振荡器)与DAC(数模转换器)相连,DAC与微控制器通过SPI相连,射频收发组件产生的四路中频输出信号I0,Q0,I1,Q1,分别与四路滤波放大器输入端相连,滤波放大器的输出端与微控制器内部的ADC(模数转换器)引脚相连。微控制器内部的MAC(媒体接入控制器)与以太网物理接口相连,以太网物理接口芯片为BCM89810。
辅助驾驶中央处理器由以太网物理接口芯片,FPGA, DDR, CAN通信以及指示灯/语音部分组MAC,雷达信号处理的DSP单元,波形发生单元,数据融合单元以及告警单元。
毫米波雷达探头与辅助驾驶中央处理器由单对双绞线连接。
工作过程:
首先FPGA构造出连续锯齿波波形,单脉冲为128点,脉冲的持续时间为128us, 发射波形的频率在24Ghz到24.2Ghz,带宽为200Mhz。
波形参数按照802.1AS协议添加时间戳,然后按照组包格式发送到车辆以太网上。
毫米波雷达探头微控制器接收到数据包后,进行解包处理,得到发射波形的序列,再定时将发射波形序列通过SPI总线写入DAC控制器,DAC的输出模拟电压信号控制射频收发组件的VCO,进而控制了发射波形的频率,从而产生雷达测量要求的LFMCW(调频连续波)。
相应地,设置ADC的采样率为1MSPS, 则在128us的脉冲周期内,每个通道可以采集到128点回波中频信号,将ADC的采集结果通过DMA控制器存储到内存的指定位置,单周期的原始数据量为4*128*16bit=8192bit,所需带宽为8192bit/128us=64Mb/s。
将ADC原始数据按照802.1 AS协议添加时间戳,然后按照如图5中所自定义格式组包发送到车辆以太网上。
辅助驾驶中央处理器接收到数据包后,进行解包处理,得到一个脉冲时间内的128点回波信号,将I1,Q1相加恢复成天线1的W1复信号,将I2,Q2相加恢复成天线2的W2复信号。分别对W1,W2进行128点FFT(快速傅里叶变换),通过对频谱分析,可以得到障碍物的距离,通过对两根天线W1,W2的相位差分析可以的到障碍物的方位角。
如果再对128个脉冲进行MTD(运动目标检测)处理,即对相同位置单元的数据再做一次FFT运算,可以解算出障碍物的速度信息。
FPGA内部含有DSP 单元,可以很方便地进行FFT运算,同时由于是并行处理结构,可以很方便地对多路雷达信号进行处理。
根据对毫米波雷达进行信号处理,很容易得到障碍物的位置信息(距离,方位,相对速度),根据此信息,再和视觉图像传感器融合,就很容易判断出障碍物的类型,是行人,小车或者是建筑物。
最后根据障碍物的距离以及相对速度,计算出相对碰撞时间TTC(Time toCollision),根据TTC的等级来驱动不同的声光报警,以及通过CAN总线来控制方向盘,刹车,油门以及变速箱,发动机来进行紧急避障处理。
以下对毫米波雷达算法过程进行描述:
本发明雷达模块是采用1发2收,其中两列接收天线的间距是半个波长。此雷达设计的中心频率是24.1GHZ,最大探测距离是70M,探测角度范围是(-55°,55°),最大探测速度是(-115Km/h,115Km/h),复采样率是1.33MHZ,带宽200MHZ,发射周期为96us,其信号处理流程如图7所示。
图7是本发明具体实施例一中车载以太网雷达系统的算法过程图。
在图7中,S1步骤所对应的信号处理模块中:
信号处理模块将中频信号转化为两列天线,每列天线分为IQ通道128个周期,每个周期128个点的数字信号,首先对每个周期128点做128点的复数FFT,得到128*128的距离维数组,128个周期目标对应相同距离维的点取出来做二维FFT得到二维128*128的复数数组。
在图7中,S2步骤所对应的数据解析流程模块中:
对该复数数组求模并对每个周期目标做CA-CFAR(单元平均方式的恒虚警方法)得到每个点的目标,CA-CFAR过程如图8中CA-CFAR单元平均方式的恒虚警检测方法所示。
结合图7和图8对CA-CFAR的过程进行说明。首先选取虚警率pfa,经过实验分析本文选取的虚警率值是pfa=1e-3,然后选取两边检测数N,经过大量实验分析本文选取N=8,然后选取保护单元Nguard,本文选的Nguard=4。选取保护单元是为了防止目标信号的旁瓣对选择策略的干扰。首先对被测目标两边保护单元后的N个目标求平均值然后对两边的平均值选取大的乘以门限因子C。其中。然后将该数据和被检测单元比较,若大于被检测单元则赋值为0若小于被检测单元,则认为该检测单元是目标。同时若被检测单元在数组最初始小于N+Nguard的位置则选取检测右边单元的N个数字作为杂波均值,若被检测的单元在数组距离结尾小于N+Nguard的位置则将被检测单元左边的N个数据均值作为杂波均值。
通过CA-CFAR得到目标在二维数组的索引,索引二维复数值,得到两列天线对应目标的复数值,然后用相位差法求角度,图9是本发明实施例中利用相位差法运算角度的原理图,其相位差法求角度的原理如图9所示。
在图9中可知,当目标的平面波以一定的角度发射到天线的时候,两列接收天线会产生一个相位差,然后可以对两列接收天线做FFT得到目标相位,然后做差就可以得到对应的相位差,由相位差就可以计算出目标的角度,角度计算利用公式。其中,代表两列接收天线之间的相位差,ΔR和d都代表两列接收天线的间距,λ代表波长,θ代表目标和雷达法线方向的角度,由于,得到
相位差法求角度的算法流程如下:
a).由,其中,d代表两列接收天线的距离,λ代表波长, ΔΦ代表相位差,θ代表目标和雷达法线方向的角度,所以只需要知道ΔΦ既可以求出角度θ;
b).对已经求出的N个目标索引其二维坐标并得到两列天线所对应的复数值;
c).根据两列天线复数值得到两个相位并做差得到φ;
d).根据得到角度θ;
求出了θ后,可以根据二维索引求出对应目标的速度和距离,先推导速度求法。
V=* (公式1),
其中V代表所求的本车和探测到的目标相对雷达的径向速度,c代表光速,代表雷达发射信号中心频率,代表由于目标和雷达相对运动造成的多普勒频率,
其中,将其带入(公式1)得,λ代表发射信号的波长,
,其中代表了发射周期, (公式2),
代表周期时间,代表两个周期之间的时间间隔,考虑正负速度,
, (公式3),
代表算法能求得的最大速度绝对值,
现在求速度分辨率(考虑正负速度的情况),
(公式4),
其中,代表周期数,Δv代表速度分辨率,
最后,求得V =index*Δv(0<=index<=NFFT/2)或者V=(index -NFFT/2)*Δv。
,index 是目标所在二维FFT后的矩阵的行索引,
现在考虑距离的求法,
τ= (公式5),
τ代表发射信号和接收信号之间的时间延迟,R代表雷达和探测目标的径向距离,c代表光速,
由相似三角形定理可以得到,
(公式6),
其中,代表中频频率,B代表信号带宽,是发射周期 ,
将(公式4)带入(公式5)得到,
R= (公式7)
通过上述步骤,求出了目标速度,距离角度需要对目标做图7中后续的聚类步骤,聚类算法如图10所示。图10是本发明实施例中车载以太网雷达系统的聚类算法流程图。
结合在图7和图10中,对S4步骤所对应的DBSCAN聚类模块进行说明:
可知,DBSCAN算法步骤,包含:
S4-1.初始化所有的目标,将所有目标标记为噪声,同时将其标记为未访问状态;
S4-2.轮询数组每一个元素,当其处于未被访问状态时,找出该元素和数组所有元素欧拉距离,如果处于访问状态则继续轮询;
S4-3.找出所有欧拉距离小于定值Eps的所有元素,并记录元素个数;
S4-4. 如果所有记录元素个数大于阙值Min_Pts,则将满足条件的所有元素放入新的数组,否则丢弃新数组,并继续轮询原始数组;
S4-5.轮询新数组每个元素,检测其状态是否为未被访问状态,如果其被访问或者是噪声则继续轮询新数组,否则标记该元素簇号,同时将该元素标记为访问状态;
S4-6.对(S4-5)中的标记元素和原始数组所有数据求欧拉距离,找出其欧拉距离小于Eps的所有原始数据,如果数据数量小于Min_Pts,则继续轮询新数组元素,若大于Min_Pts则将其中未被访问或者噪声的元素添加到新数组末尾;
S4-7.如果新数组所有数据完成轮询则返回步骤(S4-2);
S4-8.如果完成步骤(S4-2)中原始数组的轮询则完成聚类;
S4-9.将每个聚类ID中幅值最大的元素添加到新的数组,则完成聚类算法。
结合图7中的S5步骤所对应的跟踪模块,通过图11的目标跟踪的流程图,对跟踪模块的工作流程做以下说明。
图11 可知,跟踪模块的算法步骤,包含:
首先,需要将输出的DBSCAN聚类数据转化为跟踪算法的跟踪数据,转化方程如下所示:
其中,dx:代表目标和雷达在水平方向的距离,
dy:目标和雷达垂直方向距离,
vx:代表目标相对地面的水平速度,
vy:代表目标和地面垂直方向的相对速度,
d:代表目标和雷达径向距离,
θ:目标和雷达法线方向的角度范围是(-55,55)(以雷达法线方向的右侧为正方向,以其法线方向左侧为负方向),
本车车辆的瞬时车速,
本车车辆的瞬时偏转角度(以方向盘0度偏转角方向,顺时针方向为正,逆时针方向为负方向),
将DBSCAN后的目标信息转化为跟踪数据后,要做速度关联,即目标信息和预测目标做比较,判断本帧是否是前一帧所跟踪的目标。速度预测公式如下所示,
(公式12)
(公式13)
如果目标所有位置信息预测值和和下一帧的差值绝对值在一个阙值范围内,则认为两次观测目标是关联的(即为跟踪成功)。
目标跟踪算法主要是设计一个目标跟踪缓冲以及一个目标跟踪区,先把满足下述条件(1)跟踪的可疑目标放到跟踪缓冲区数组,如果满足下述条件(2)则将其搬移到跟踪区数组,如果跟踪缓冲区的目标满足下述条件(3)则将其目标航迹从跟踪缓冲区数组销毁,如果跟踪数组目标满足下述条件(4)则将目标从跟踪数组移除。
条件 (1):如果新一帧的目标未和跟踪区数组关联;
条件 (2):如果跟踪缓冲区数组目标连续4帧跟踪成功;
条件 (3):如果跟踪缓冲数组中任一时刻某个目标没有关联;
条件 (4):如果跟踪数组中的某一目标N帧有超过M帧未能跟踪到目标。
其跟踪模块的算法,具体流程如图11所示,其具体步骤,包含如下:
S5-1.将DBSCAN数据转化为跟踪数据,将所有数据置为discard,notrack状态,同时将跟踪缓冲区全部置0,连续跟踪次数,以及连续跟丢次数全部置0;
S5-2.将转换数据元素轮询跟踪数组区的undiscad并且处于notrack的目标,如果发生关联,则将该元素覆盖对应跟踪数组位置,跟踪数组该元素跟踪状态位置为ontrack,跟新跟踪状态队列,同时该元素在转换数组的跟踪状态置为ontrack;
S5-3.若该元素未和跟踪数组发生关联则不做操作;
S5-4.如果转化数据轮询结束,则轮询跟踪数组处于undiscard且notrack状态元素,对处于ontrack的元素将其标记为notrack状态;
S5-5.对处于notrack元素当前跟踪状态置0,更新跟踪状态队列,如果跟踪状态队列跟踪状态置1的数据和和置0的数据比例低于阙值则将该元素置为discard,否则跟新跟踪状态信息;
S5-6.将转换数据处于notrack且undiscard的的元素轮询跟踪缓冲区队列,当与缓冲区队列元素发生关联则做覆盖操作,同时跟新缓冲状态队列,将目前跟踪状态位置为ontrack,同时连续跟踪状态位+1,连续状态丢失位置0;
S5-7.若未发生关联,则将元素放在跟踪缓冲区末尾,同时跟新状态信息位和预测位,连续跟踪状态位置1,同时将当前跟踪状态信息置为ontrack,连续跟踪丢失位置0,跟新跟踪状态队列;
S5-8.轮询跟踪缓冲区数据如果元素处于undiscard状态,如果当前轮询元素处于ontrack状态,且连续跟踪状态位大于等于3,将该元素复制到跟踪数组,同时该元素在跟踪缓冲区位置置为discard状态;如果不满足连续跟踪状态位大于等于3将该该位置为notrack;
S5-9.对应处于notrack状态元素,当前跟踪状态位置0,跟新跟踪状态队列,将该元素置为discard。
实施例分析
最后,利用上述本实例用于盲点监测分析进行以下说明。
图12是本发明实施例中基于盲区监测项目盲点监测区域的区域展示图,结合图12对BSD盲点监测的区域进行定义。
本算法运用于盲区监测项目盲点检测区域,包括两部分:1)图案为布点状的内部区域为必须报警区域;2)图案为网纹状的外围区域为可能报警区域。
在必须报警区域,驾驶员无法通过外后视镜看到目标要求: 1)系统在目标进入必须报警区域时必须要启动报警。 2)系统在目标未进入可能报警区域时必须不能报警。
图13是本发明实施例中盲区报警监测的工作流程图。整个盲区报警监测逻辑如图13所示。
盲点监测报警要求如下:
当电源为ON档,满足以下全部条件,盲点检测功能立即进入激活状态,当其中一个条件不满足时,关闭盲点检测功能,左侧/右侧盲点报警模块可单独开启工作,实时检测: 1)盲点检测/换道辅助功能为开启状态。
2)左侧/右侧模块无故障。
3)本车行驶速度大于15km/h。
表1:盲区监测报警系统
报警类型 报警条件 报警显示特征 报警离开条件 报警离开特征
左侧基本型报警 条件1:如果目标车辆从报警区域(左侧)前方进入,且本车与目标车相对速度小于15km/h(本车与目标车相对速度>15km/h时不会报警); 条件2:如果目标从报警区域(左侧)侧方或后方进入,且目标进入必 须报警区域后; 外后视镜上驾驶侧BSD/LCA报警指示 灯黄色点亮; 目标离开报警区域,不满足 报警提示条件。 熄灭驾驶侧报警指示灯
左侧增强型报警 已激活基本型报警,且驾驶员打开左转向灯; 外后视镜上驾驶侧BSD/LCA报警指示 灯闪烁,频率4Hz; 不满足基本型报警条件; 熄灭驾驶侧报警指示灯
关闭左转向灯 回到基本型报
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (10)

1.一种车载以太网雷达系统,其特征在于,包含:至少一个雷达探头,安装在车身外,用于探测信号的发送,以及对回波信号的采集;以及中央处理器,安装在车内用于对多个回波信号进行处理,输出告警并进行相应地避障控制,雷达探头和中央处理器之间通过车辆以太网进行通信,以太网通信协议包括时间同步协议,所述时间同步协议用于对各个雷达探头中时钟模块进行校准,确保不同雷达探头的时间完全同步。
2.如权利要求1所述的车载以太网雷达系统,其特征在于:其中,以太网通信协议采用以太网音视频桥接EAVB技术,桥接在雷达探头和中央处理器之间。
3.如权利要求1所述的车载以太网雷达系统,其特征在于:其中,以太网通信协议的数据包,包含:数据固定包头中的源键值地址、目的键值地址以及协议号;数据包类型指示字符;序列累加值指示字符;时间戳指示字符;数据包识别码;数据包长度指示字符;以及雷达采集数据。
4.如权利要求3所述的车载以太网雷达系统,其特征在于:其中,数据固定包头占14个字节;数据包类型占2个字节;序列累加值占2个字节;时间戳占8个字节;数据包识别码占8个字节;数据包长度占4个字节。
5.如权利要求1所述的车载以太网雷达系统,其特征在于:其中,所述时间同步协议采用802.1AS精准时间同步协议。
6.如权利要求1所述的车载以太网雷达系统,其特征在于:其中,雷达探头包含:与射频收发组件的一侧分别连接的发射天线、接收天线,在射频收发组件另一侧和微控制器之间分别连接的数模转换器、滤波放大模块,与微控制器另一侧相连的以太网物理接口。
7.如权利要求1所述的车载以太网雷达系统,其特征在于:多个雷达探头采用以下雷达种类中任意一种或任何至少两种相组合使用:毫米波雷达、综合图像传感器、激光雷达、超声波雷达。
8.如权利要求1所述的车载以太网雷达系统,其特征在于:其中,中央处理器还包含:辅助驾驶模块,该辅助驾驶模块具有:发射侧辅助单元,用于探测信号发射之前的处理;接收侧辅助单元,用于回波信号接收采集和处理,其中,发射侧辅助单元,用于设置发射波形关键参数,再按照以太网通信协议进行组包,发送到车载以太网网络中,接收侧辅助单元,用于接收到车载以太网网络的数据包后进行解包;对解包后数据包处理得到回波信号;对回波信号进行快速傅里叶变换;得到障碍物的频谱图以及相位谱图;对多个脉冲频谱计算出障碍物目标的计算结果;多个雷达探测头所采集的计算结果进行融合,根据融合结果进行告警和避障处理。
9.如权利要求8所述的车载以太网雷达系统,其特征在于:其中,发射波形关键参数包含以下至少之一:脉冲时间宽度T, 毫米波扫频起始频率F0, 扫频带宽B, 单脉冲扫频点数以及脉冲次数。
10.如权利要求8所述的车载以太网雷达系统,其特征在于:其中,多个雷达探测头所采集的计算结果进行融合的步骤,包含:再根据多个雷达探测头所采集的计算结果,或进一步结合其他结果信息进行数据融合。
CN201811362373.8A 2018-11-15 2018-11-15 车载以太网雷达系统 Active CN109521427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811362373.8A CN109521427B (zh) 2018-11-15 2018-11-15 车载以太网雷达系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811362373.8A CN109521427B (zh) 2018-11-15 2018-11-15 车载以太网雷达系统

Publications (2)

Publication Number Publication Date
CN109521427A true CN109521427A (zh) 2019-03-26
CN109521427B CN109521427B (zh) 2020-01-14

Family

ID=65777896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811362373.8A Active CN109521427B (zh) 2018-11-15 2018-11-15 车载以太网雷达系统

Country Status (1)

Country Link
CN (1) CN109521427B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870692A (zh) * 2019-04-16 2019-06-11 浙江力邦合信智能制动系统股份有限公司 一种雷达环视系统及数据处理方法
CN110068810A (zh) * 2019-05-06 2019-07-30 成都泰格微电子研究所有限责任公司 一种低功耗毫米波雷达探测系统
CN110346803A (zh) * 2018-04-02 2019-10-18 现代摩比斯株式会社 车辆的停车辅助系统及提高超声波传感器检测性能的方法
CN110361727A (zh) * 2019-07-22 2019-10-22 浙江大学 一种毫米波雷达多目标跟踪方法
CN110895333A (zh) * 2019-12-05 2020-03-20 电子科技大学 一种基于多普勒频率的77g车载雷达数据快速聚类方法
CN111083533A (zh) * 2019-12-23 2020-04-28 北京汽车集团越野车有限公司 音视频数据的传输方法、发送节点、接收节点、系统
CN111240328A (zh) * 2020-01-16 2020-06-05 中智行科技有限公司 一种车辆行驶安全监控方法、装置和无人驾驶车辆
CN112435495A (zh) * 2020-11-23 2021-03-02 北京千乘科技有限公司 基于毫米波雷达发射强度自动化测试系统
CN113641548A (zh) * 2020-04-27 2021-11-12 北京小马智行科技有限公司 自动驾驶车辆的控制方法及装置、自动驾驶车辆
CN113925479A (zh) * 2021-08-27 2022-01-14 上海赫千电子科技有限公司 一种基于智能车载盒子的生命监测方法及装置
CN113641548B (zh) * 2020-04-27 2024-05-31 北京小马智行科技有限公司 自动驾驶车辆的控制方法及装置、自动驾驶车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
US20160142993A1 (en) * 2014-11-13 2016-05-19 Hyundai Mobis Co., Ltd Time synchronizing method for avb in vehicle and system thereof
CN105634636A (zh) * 2014-11-26 2016-06-01 现代自动车株式会社 用于在车载以太网通信网络中提供时间同步的方法和装置
DE102017127284A1 (de) * 2016-11-22 2018-06-14 Hyundai Motor Company Betriebsverfahren eines Kommunikationsknotens zur Zeitsynchronisation im Fahrzeugnetzwerk
CN108556767A (zh) * 2018-03-01 2018-09-21 李洪运 一种可扩展的智能驾驶辅助系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
US20160142993A1 (en) * 2014-11-13 2016-05-19 Hyundai Mobis Co., Ltd Time synchronizing method for avb in vehicle and system thereof
CN105634636A (zh) * 2014-11-26 2016-06-01 现代自动车株式会社 用于在车载以太网通信网络中提供时间同步的方法和装置
DE102017127284A1 (de) * 2016-11-22 2018-06-14 Hyundai Motor Company Betriebsverfahren eines Kommunikationsknotens zur Zeitsynchronisation im Fahrzeugnetzwerk
CN108556767A (zh) * 2018-03-01 2018-09-21 李洪运 一种可扩展的智能驾驶辅助系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110346803A (zh) * 2018-04-02 2019-10-18 现代摩比斯株式会社 车辆的停车辅助系统及提高超声波传感器检测性能的方法
CN109870692A (zh) * 2019-04-16 2019-06-11 浙江力邦合信智能制动系统股份有限公司 一种雷达环视系统及数据处理方法
CN109870692B (zh) * 2019-04-16 2023-10-20 浙江力邦合信智能制动系统股份有限公司 一种雷达环视系统及数据处理方法
CN110068810A (zh) * 2019-05-06 2019-07-30 成都泰格微电子研究所有限责任公司 一种低功耗毫米波雷达探测系统
CN110361727A (zh) * 2019-07-22 2019-10-22 浙江大学 一种毫米波雷达多目标跟踪方法
CN110895333B (zh) * 2019-12-05 2022-06-03 电子科技大学 一种基于多普勒频率的77g车载雷达数据快速聚类方法
CN110895333A (zh) * 2019-12-05 2020-03-20 电子科技大学 一种基于多普勒频率的77g车载雷达数据快速聚类方法
CN111083533A (zh) * 2019-12-23 2020-04-28 北京汽车集团越野车有限公司 音视频数据的传输方法、发送节点、接收节点、系统
CN111240328A (zh) * 2020-01-16 2020-06-05 中智行科技有限公司 一种车辆行驶安全监控方法、装置和无人驾驶车辆
CN111240328B (zh) * 2020-01-16 2020-12-25 中智行科技有限公司 一种车辆行驶安全监控方法、装置和无人驾驶车辆
CN113641548A (zh) * 2020-04-27 2021-11-12 北京小马智行科技有限公司 自动驾驶车辆的控制方法及装置、自动驾驶车辆
CN113641548B (zh) * 2020-04-27 2024-05-31 北京小马智行科技有限公司 自动驾驶车辆的控制方法及装置、自动驾驶车辆
CN112435495A (zh) * 2020-11-23 2021-03-02 北京千乘科技有限公司 基于毫米波雷达发射强度自动化测试系统
CN113925479A (zh) * 2021-08-27 2022-01-14 上海赫千电子科技有限公司 一种基于智能车载盒子的生命监测方法及装置
CN113925479B (zh) * 2021-08-27 2023-10-03 上海赫千电子科技有限公司 一种基于智能车载盒子的生命监测方法及装置

Also Published As

Publication number Publication date
CN109521427B (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN109521427A (zh) 车载以太网雷达系统
CN105261215B (zh) 基于微波的智能交通行为感知方法及系统
US7821422B2 (en) Traffic light signal system using radar-based target detection and tracking
CN109358322B (zh) 前向目标检测雷达和方法
CN109324317A (zh) 毫米波雷达系统及其定位测速方法
JP2002525641A (ja) 近接測定装置
Klotz An automotive short range high resolution pulse radar network
JP2021536045A (ja) 車両による低電磁プロファイルのオブジェクト(対象物)の検出を向上させるためのシステムおよび方法
CN109856600A (zh) 一种毫米波防撞雷达抗干扰的方法
CN105044712A (zh) 一种微波栅栏雷达装置与目标检测方法
CN107783121B (zh) 基于组合波形的无人驾驶汽车防撞雷达系统信号处理系统及方法
CN106740838A (zh) 一种车辆危险预警系统
CN109143187A (zh) 一种车载毫米波角雷达测试方法
JP2022009825A (ja) 電子機器、電子機器の制御方法、及びプログラム
CN2938141Y (zh) 车用防撞雷达系统
WO2020241235A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
CN108831189A (zh) 一种基于毫米波雷达防撞的智能预警方法
CN107783132A (zh) 自动驾驶汽车防撞毫米波雷达系统及信号处理方法
CN108037500A (zh) 一种跟踪式监测雷达
CN206649156U (zh) 汽车防撞雷达系统
WO2020075682A1 (ja) 電子機器、電子機器の制御方法、及び電子機器の制御プログラム
CN108627837A (zh) 汽车防撞雷达系统
CN207675940U (zh) 一种跟踪式监测雷达
WO2022004291A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
JP7466023B2 (ja) 電子機器、電子機器の制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant