CN110794406A - 多源传感器数据融合系统和方法 - Google Patents
多源传感器数据融合系统和方法 Download PDFInfo
- Publication number
- CN110794406A CN110794406A CN201911101619.0A CN201911101619A CN110794406A CN 110794406 A CN110794406 A CN 110794406A CN 201911101619 A CN201911101619 A CN 201911101619A CN 110794406 A CN110794406 A CN 110794406A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- information
- state quantity
- fusion
- obstacles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 161
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000007499 fusion processing Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims description 23
- 238000007500 overflow downdraw method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims 1
- 230000004888 barrier function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供多源传感器数据融合系统和方法，以实现多源传感器融合。上述系统包括：毫米波雷达用于：实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；毫米波雷达输出的相关信息为第一障碍物信息；摄像头用于：实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；摄像头输出的相关信息为第二障碍物信息；第一融合模块用于：对同一时刻输出的第一障碍物信息和第二障碍物信息进行融合处理，得到中间融合结果；激光雷达用于：结合中间融合结果检测障碍物，输出在同一时刻所检测到的障碍物的相关信息；激光雷达输出的相关信息为第三障碍物信息；第二融合模块用于：对中间融合结果和第三障碍物信息进行融合处理，得到最终融合结果。
Description
技术领域
本发明涉及汽车电子技术领域，特别涉及多源传感器数据融合系统和方法。
背景技术
自动驾驶车辆是汽车未来的重要发展方向。目前基于单一传感器的感知系统无法满足自动驾驶车辆安全行驶需求，自动驾驶车辆会同时配置毫米波雷达、摄像头、激光雷达等传感器。
毫米波雷达、摄像头、激光雷达等传感器在工作时，均会采集数据，而如何处理这些数据是目前研究的热门。
发明内容
有鉴于此，本发明实施例提供多源传感器数据融合系统和方法，以实现多源传感器融合。
为实现上述目的，本发明实施例提供如下技术方案：
一种多源传感器数据融合系统，包括：毫米波雷达、摄像头、第一融合模块、激光雷达和第二融合模块，其中：
所述毫米波雷达用于：实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；所述毫米波雷达输出的相关信息为第一障碍物信息；
所述摄像头用于：实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；所述摄像头输出的相关信息为第二障碍物信息；
所述第一融合模块用于：对同一时刻输出的所述第一障碍物信息和所述第二障碍物信息进行融合处理，得到中间融合结果；
所述激光雷达用于：结合所述中间融合结果检测障碍物，输出在所述同一时刻所检测到的障碍物的相关信息；所述激光雷达输出的相关信息为第三障碍物信息；
所述第二融合模块用于：对所述中间融合结果和所述第三障碍物信息进行融合处理，得到最终融合结果。
一种多源传感器数据融合方法，基于上述的多源传感器数据融合系统，所述方法包括：
所述毫米波雷达实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；所述毫米波雷达输出的相关信息为第一障碍物信息；
所述摄像头实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；所述摄像头输出的相关信息为第二障碍物信息；
所述第一融合模块对同一时刻输出的所述第一障碍物信息和所述第二障碍物信息进行融合处理，得到中间融合结果；
所述激光雷达结合所述中间融合结果检测障碍物，输出在所述同一时刻所检测到的障碍物的相关信息；所述激光雷达输出的相关信息为第三障碍物信息；
所述第二融合模块对所述中间融合结果和所述第三障碍物信息进行融合处理，得到最终融合结果。
可见，在本发明实施例中，先对毫米波雷达和摄像头输出的第一障碍物信息和第二障碍物信息进行融合，得到中间融合结果。上述中间融合结果，被激光雷达用于检测障碍物，得到第三障碍物信息。之后，还将第三障碍物信息与中间融合结果进行融合，得到最终融合信息。
也即，在本实施例中，将本来独立的各传感器数据整合起来，在自动驾驶决策时，可使用最终融合信息，达到最好的效果。
附图说明
图1为本发明实施例提供的多源传感器数据融合系统的一种示例性结构；
图2、5为本发明实施例提供的多源传感器数据融合方法的一种示例性流程；
图3、4为本发明实施例提供的融合处理的示例性流程；
图6为本发明实施例提供的映射原理示意图；
图7a、图7b为本发明实施例提供的分割处理的示例性流程；
图7c为本发明实施例提供的目标区域的示意图；
图8为本发明实施例提供的参考点误报判断的示例性流程；
图9为本发明实施例提供的融合障碍物在水平面所对应的角度α的示意图；
图10为本发明实施例提供的激光雷达结合中间融合结果检测障碍物的示例性流程图；
图11为本发明实施例提供的整体融合的示例性流程。
具体实施方式
本发明提供多源传感器数据融合系统和方法，以实现数据融合。
使用多源传感器融合系统(例如包括激光雷达、毫米波雷达、摄像头)是业内的普遍共识，并由此带来了多源传感器融合需求。
多源传感器融合，就是利用计算机技术，将多种传感器采集来的数据进行融合处理，从而得到最好的效果。
图1示出了多源传感器数据融合系统的一种示例性结构，包括：
毫米波雷达1、摄像头2、第一融合模块3、激光雷达4和第二融合模块5。
图2示出了上述多源传感器数据融合系统所执行的多源传感器数据融合方法的一种示例性流程，包括：
S1：毫米波雷达实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；
毫米波雷达会周期性的进行探测。每一周期对应一个时刻或一帧。
S2：摄像头实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；
同量，摄像头也会周期性的进行探测。每一周期对应一个时刻或一帧。
步骤S1和S2实现的是：毫米波雷达和摄像头实时对自动驾驶车辆行驶环境进行感知，输出检测到的障碍物的相关信息。毫米波雷达和摄像头在输出前，各自单独对自身的传感器数据进行了分割、聚类、追踪处理等，才进行输出。
在一个示例中，无论是毫米波雷达还是摄像头，障碍物相关信息可包含所检测到的每一障碍物的标识(ID)，种类(类型，例如，行人、小轿车、大卡车等)，每一障碍物的状态量X和状态量的方差信息P_X，其中，状态量X又进一步包含位置、速度、加速度等。
需要说明的是，毫米波雷达和摄像头测量得到的障碍物相关信息都会转换到车辆坐标系下，车辆坐标系的原点位于后轴中心，x轴正方向朝前，y轴正方向朝左，z轴正方向朝上。
在车辆坐标系下，状态量X可采用下述通用表达式表示：
X＝[x y vx vy ax ay]T
其中，状态量X中的“x”(单位为“m”)为障碍物纵向位置，“y”(单位为“m”)为障碍物横向位置，vx(单位为“m/s”)为障碍物纵向速度，vy(单位为“m/s”)为障碍物横向速度，ax(单位为“m/s2”)为障碍物纵向加速度，ay(单位为“m/s2”)为障碍物横向加速度。
方差信息P_X可采用下述通用表达式表示：
P_X为状态量的协方差矩阵，其中，“σ”如果两下标不相同，则表示是对应两个量的协方差，如果两下标相同，则表示是方差。
为方便称呼，可将毫米波雷达输出的相关信息称为第一障碍物信息，将摄像头输出的相关信息称为第二障碍物信息。
S3：第一融合模块对同一时刻输出的第一障碍物信息和第二障碍物信息进行融合处理，得到中间融合结果；
具体的，请参见图3，第一融合模块具体可进行如下操作：
S31：计算毫米波雷达所检测出的每一障碍物，与摄像头所检测出的每一障碍物的相似性；
可采用连续N帧中障碍物对应的状态量来计算相似性，这连续N帧包括当前帧和N-1帧历史帧。
在一个示例中，计算公式如下：
其中，dist表示相似性，w为每帧对应的权重系数，Xrad,i表示在第i帧毫米波雷达检测到的一障碍物的状态量，Xcam,i表示在第i帧摄像头检测到的一障碍物的状态量，i表示第i帧，公式中的符号“。”表示点乘。
具体的，根据前述介绍，每一状态量包括6个量，在计算Xrad,i和Xcam,i相减时，是将每一状态量的各量分别相减，得到一个向量，可称其为向量A。(Xrad,i-Xcam,i)2等于向量A与其转置求内积，得到的是一个标量。
此外，权重的取值有多种方式，例如，可设置wi等于1/N，也可设置时间越靠近当前时刻，权重越高，N个权重总和为1。
S32：判断两障碍物相似性是否大于相似性阈值；若是，二者为同一障碍物进入S33，否则，二者为不同的障碍物，进入S35；
相似性阈值依障碍物和工况不同而不同，可事先标定。
S33：将同一障碍物对应的第一状态量和第二状态量进行融合，得到融合后的状态量；
其中，第一状态量为同一障碍物在第一障碍物信息中对应的状态量；第二状态量为同一障碍物在第二障碍物信息中对应的状态量。
S34：将同一障碍物对应的第一方差信息和第二方差信息进行融合，得到融合后的方差信息；
其中，第一方差信息为同一障碍物在第一障碍物信息中对应的方差信息；第二方差信息为同一障碍物在第二障碍物信息中对应的方差信息。
令相似的两障碍物的状态量分别表示为Xrad和Xcam，方差信息分别表示为P_Xrad和P_Xcam，则可采用下述方式进行融合处理，得到融合结果Xfus、P_Xfus(下标fus表示融合)：
其中，Wcam、Wrad为融合权重系数。公式中前两个公式计算Wcam、Wrad的目的是保障均值不变，方差最小。
S35:保留不相似的障碍物的类型、状态量和方差信息。
也即，中间融合结果包括同一障碍物的类型、融合后的状态量和方差信息，以及，其他不相似的障碍物的类型、状态量和方差信息。
举例来讲，假定毫米波雷达在时刻t检测到2个障碍物，分别表示为ID1、ID2；摄像头在时刻t检测出2个障碍物，分别表示为ID3、ID4。
则会将ID1和ID2，与ID3和ID4，两两计算相似性，也即，会分别计算ID1与ID3、ID1与ID4、ID2与ID3、ID2与ID4的相似性。
假定，ID1与ID3相似，其他障碍物之间不相似，则后续会将ID1的状态量(也即前述的第一状态量)与ID3的状态量(也即前述的第二状态量)进行融合处理，将ID1的方差信息(也即前述的第一方差信息)与ID3的方差信息也即前述的第二方差信息)进行融合处理。而ID2、ID3的状态量和方差信息则不进行融合。
这样，中间融合结果就包括：ID1与ID3的融合结果(Xfus、P_Xfus)，ID2的状态量和方差信息，ID3的状态量和方差信息。
中间融合结果中的障碍物可称为融合障碍物。
S4：激光雷达结合中间融合结果检测障碍物，输出在同一时刻所检测到的障碍物的相关信息；激光雷达输出的相关信息为第三障碍物信息；
本文后续将详细介绍如何结合中间融合结果检测障碍物，输出第三障碍障碍物信息。
S5：第二融合模块对中间融合结果和第三障碍物信息进行融合处理，得到最终融合结果。
其中，任一帧的第三障碍物信息包括：激光雷达检测到的每一障碍物的ID、类型、状态量和方差信息。
步骤S5中的融合处理与步骤S3中的融合处理相类似，请参见图4，其可包括：
S51：计算中间融合结果中的每一障碍物，与激光雷达所检测出的每一障碍物的相似性。
在一个示例中，计算公式如下：
其中，Xlid，i表示在第i帧激光雷达检测到的一障碍物的状态量，Xfus,i表示在第i帧一融合障碍物的状态量。
具体细节请参见前述S31，在此不作赘述。
S52：判断两障碍物相似性是否大于相似性阈值；若是，二者为相同障碍物进入S53，否则，二者为不同的障碍物，进入S55；
相似性阈值依障碍物和工况不同而不同，可事先标定。
S53：将相同障碍物对应的中间状态量和第三状态量进行融合，得到融合状态量；
其中，中间状态量为该相同障碍物在中间融合结果中对应的状态量，而第三状态量为该相同障碍物在第三障碍物信息中对应的状态量。
S54：将相同障碍物对应的中间方差信息和第三方差信息进行融合，得到融合方差信息；
其中，中间方差信息为该相同障碍物在中间融合结果中对应的方差信息，而第三方差信息为该相同障碍物在第三障碍物信息中对应的方差信息。
令相似的两障碍物的状态量分别表示为Xfus和Xlid，方差信息分别表示为P_Xfus和P_Xlid，则可采用下述方式进行融合处理，得到最终融合结果Xfin、P_Xfin：
其中，Wfus、Wlid为融合权重系数。
S55:保留不相似的障碍物的类型、状态量和方差信息。
也即，最终融合结果包括相同障碍物的类型、融合状态量和融合方差信息，以及其他不相似的障碍物的类型、状态量和方差信息。
S55与前述S35相类似，在此不作赘述。
之后，可将最终融合结果发送给自动驾驶软件系统其他算法模块。
可见，在本发明实施例中，先对毫米波雷达和摄像头输出的第一障碍物信息和第二障碍物信息进行融合，得到中间融合结果。上述中间融合结果，被激光雷达用于检测障碍物，得到第三障碍物信息。之后，还将第三障碍物信息与中间融合结果进行融合，得到最终融合信息。
也即，在本实施例中，将本来独立的各传感器数据整合起来，在自动驾驶决策时，可使用最终融合信息，达到最好的效果。
下面介绍激光雷达如何结合中间融合结果检测障碍物，输出在同一时刻所检测到的障碍物的相关信息。
图5示出了激光雷达所执行的操作，包括：
S40：获取三维环境点云信息；
当一束激光照射到物体(障碍物)表面再反射回来后，所反射的激光会携带障碍物的方位、距离等信息。
激光雷达一般包括多个探测器，也即能发出多束激光。
若将上述多个探测器按照某种轨迹进行扫描，便会边扫描边记录到反射的大量激光点，因而就可形成三维环境点云信息。
每个点信息包含位置信息(x y z)及反射强度。
S41：对获取的三维环境点云信息进行预处理；
在一个示例中，预处理可包括：对三维环境点云信息进行降采样，以减少需要处理的点云数量。降采样方法包括但不限于体素滤波、随机采样滤波等。
在另一个示例中，除了降采样，还可基于高精地图ROI(Region Of Interest，感兴趣区域)滤除不在可行驶区域内的点云，进一步减少需要处理的点云数量。
高精地图ROI一般即表示可行驶道路区域，车辆在道路上行驶，可基于ROI滤除道路之外的点云。
此外，预处理还包括：将三维环境点云信息映射在二维平面上。
映射的原理可参见图6：
点云是激光束打在障碍物反射回来得到的，而一个障碍物与车辆XYZ三维坐标系中的原点之间是存在相对距离的。
若有三个障碍物，与原点间的距离为d1、d2、d3，那么在这三个距离附近会有点云分布，其他地方，因为没有障碍物，也就无法形成反射，无法得到点云。
那么，分布距离d1处的点云，就可以投影到x轴和y轴所在的二维平面上。
S42：基于同一时刻的中间融合结果对经预处理后的雷达点云进行分割，得到至少一个分割集合。
中间融合结果包括：融合障碍物的ID、类型、状态量和方差信息，状态量中又包含位置(纵向位置和横向位置)。根据融合障碍物的位置可计算出其与前述的原点之间的距离。
每一融合障碍物可视为一个参考点，基于中间融合结果的分割为有参考点分割。
举例来讲，距雷达10米处的二维点云信息包括100个点信息，距雷达12米处的二维点云信息包括50个点信息。
若中间融合结果中的某一融合障碍物在12米处，就会尝试对12米处的50个点信息进行分割。
当然，还可设定一个阈值Δd，假定融合障碍物与原点的距离为d，则可对与原点距离为d±Δd的范围内的点信息进行分割。
在一个示例中，请参见图7a，可采用下述步骤进行分割：
S421：根据融合障碍物的类型估算障碍物尺寸；
尺寸可包括长度L、高度H和宽度W。
障碍物的种类(类型)可包括行人、小轿车、大卡车等，根据其类型可确定融合障碍物大致的尺寸。
举例来说，融合障碍物的类型为小轿车，则车宽设为2米，车高设为1.6米，车长设为5米。
S422：计算在目标区域内，障碍物尺寸对应的理论点云数量。
目标区域以融合障碍物的位置为中心，其边界由障碍物尺寸确定；
一般的，目标区域为圆形，其圆心为融合障碍物的位置，半径等于由估算的障碍物的长宽值所确定的矩形对角线长度值的二分之一。
前述提及了，三维点云信息投影到x轴和y轴所在的二维平面，请参见图7c，融合障碍物投影到x轴和y轴所在的二维平面，其高度H消失，其长度L和宽度W保留下来。
融合障碍物在x轴和y轴所在的二维平面上的投影区域为矩形，长度为L宽度为W。
融合障碍物的中心点为圆心o，目标区域是融合障碍物在二维平面上的矩形的外接圆。
仍以融合障碍物类型是小轿车为例，其决定的目标区域的半径为3米。
下面介绍如何计算理论点云。
激光雷达一般包括M个雷达收发单元(或称为基本单元、探测器)，每一雷达收发单元可在水平方向上旋转。在竖直方向上，每一雷达收发单元对应不同的角度。
假定融合障碍物与原点的距离为d1，宽度为W。请参见图9，雷达收发单元在水平扫描的轨迹是圆的一部分(圆心为车身坐标系原点)。而融合障碍物的宽度，相当于以d1为半径的圆上的弧长。
在弧长、半径已知的前提下，可计算出融合障碍物在水平面所对应的角度α,α＝W/(2πd1)。
若激光雷达在水平方向上，m度扫描一个点，那可计算出水平方向上融合障碍物所占用的理论点数s：s＝α/m。
在垂直方向上，根据M个雷达收发单元的垂直角度分辨率，结合车高h，可以确认有n个雷达收发单元能测量到障碍物，则可得到最终的理论点云数量t：t＝n*s。
S423：根据理论点云数量确定数量阈值；
在一个示例中，数量阈值可由理论点云数量乘以系数得到。
假定理论点云数量为100，系数为0.7，则数量阈值为100*0.7＝70。
S424：若在目标区域内搜索得到的点云数量大于数量阈值，将在目标区域内的点云分割出来，得到相应的分割集合。
仍沿用前例，数量阈值为70，若目标区域内搜索到的点云数量大于70，则将该目标区域内的点云划归到同一分割集合。一个分割集合对应一个障碍物。
在本发明其他实施例中，请参见图7b，若在目标区域内搜索得到的点云数量小于或小于等于阈值，将相应的融合障碍物记为疑似误报(S425)；若该融合障碍物在连续N帧中均被记为疑似误报，确定该融合障碍物为误报(S426)。N为预设整数，本领域技术人员可灵活设计N的取值，例如，取为10。
可设计一个变量count来记录疑似误报帧数，请参见图8，在目标区域内搜索得到点云数量后，若搜索得到的点云数量大于数量阈值(也即图8中的“满足阈值”)，则参考点有效，count＝0，否则(也即图8中的“不满足阈值”)，融合障碍物疑似误报(也即图8中的“参考点存疑”)，count值加1(即count++)，若count>阈值N，则确定参考点误报。
对于被确定为误报的融合障碍物，可对其的相关数据(状态量、方差信息等)进行删除。
可见，有参考点分割可对毫米波雷达和摄像头融合结果进行误报检验。
而对于没有处理的点云，可进行传统的分割聚类处理，常用算法包括基于密度的聚类算法、层次聚类算法等，称为无参考点分割聚类。
没有处理的点云可包括：与融合障碍物在同一距离处，但不在目标区域内的点云，以及，未对应融合障碍物的点云。
例如，假定激光雷达获取的点云分布在d1和d2处，中间融合结果中的融合障碍物在距离原点d1处，则在d1处且不在目标区域内的点云，以及，在d2处的点云，都是没有处理的点云。
由于激光雷达的可靠性要高于毫米波雷达和摄像头，另外，由于障碍物可能被遮挡，所以，毫米波雷达和摄像头的检测有漏报的可能性，采用无参考点分割聚类可对毫米波雷达和摄像头的融合结果进行漏报检验。
而且，也正因为激光雷达的可靠性，所以会使用激光雷达的数据来对毫米波雷达和摄像头融合结果进行误报检验(即步骤Sa425-S426)。
S43：对各分割集合进行聚类，得到聚类结果；
聚类的目的是对分割集合中的点划bounding box(包围边界框)，根据包围框计算障碍物尺寸、朝向、位置。
如何进行聚类可参考现有方式，在此不作赘述。S44：根据聚类结果，计算得到第三障碍物信息。
每一聚类结果对应一个障碍物。
具体的，可对检测的障碍物进行追踪，对位置进行平滑，并估计得到速度、加速度等状态量，以及状态量的方差，表示为Xlid、P_Xlid。
如何平滑、估计请参考现有方式，在此不作赘述。
激光雷达结合中间融合结果检测障碍物的具体流程图可参见图10，图10中的Radars表示毫米波雷达，Cameras表示摄像头。需要说明的是，现有的多源传感器融合方式分为目标级和硬件级两种。
其中，目标级融合方式相对简单，对融合感知硬件平台(即算法运行的处理器/芯片)的通信带宽、内存、算力需求都较低，使用嵌入式芯片即可满足要求。但目标级融合架构需对每个传感器的数据单独进行分割、聚类、追踪处理，再进行融合，会丢失大量的原始信息；
硬件级融合方式则是在原始数据层面对所有传感器的信息进行融合，可获得丰富的传感器原始信息，然后对融合后的数据统一进行分割、聚类、追踪处理。但是，硬件级融合架构对融合感知硬件平台的通信带宽、内存、算力需求都较高，使用工业计算机才可满足。
在本申请中，对毫米波雷达和摄像头的数据的融合对应目标级融合，而激光雷达使用中间融合结果进行分割、聚类、追踪处理则类似于硬件级融合，最后的融合处理对应目标级融合。因此，本申请所提供的技术方案是混合式融合。整体融合流程可参见图11。
并且，需要说明的是，激光雷达是目前L3级及以上自动驾驶系统标配的传感器，受限于其数量庞大的点云，目前激光雷达点云处理算法硬件平台多为非车规级的工业计算机。
本发明有效利用毫米波雷达和摄像头的目标级融合结果，在融合障碍物附近进行有参考点分割聚类，再对剩余的点云进行处理。既充分利用了传感器原始信息，提高了系统的可靠性；又有效降低了对硬件平台的通信带宽、内存和算力需求，使得算法可运行在车规级嵌入式硬件平台上。本发明对推动L3级即以上自动驾驶车辆的量产具有重要意义。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及模型步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或模型的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、WD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种多源传感器数据融合系统，其特征在于，包括：毫米波雷达、摄像头、第一融合模块、激光雷达和第二融合模块，其中：
所述毫米波雷达用于：实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；所述毫米波雷达输出的相关信息为第一障碍物信息；
所述摄像头用于：实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；所述摄像头输出的相关信息为第二障碍物信息；
所述第一融合模块用于：对同一时刻输出的所述第一障碍物信息和所述第二障碍物信息进行融合处理，得到中间融合结果；
所述激光雷达用于：结合所述中间融合结果检测障碍物，输出在所述同一时刻所检测到的障碍物的相关信息；所述激光雷达输出的相关信息为第三障碍物信息；
所述第二融合模块用于：对所述中间融合结果和所述第三障碍物信息进行融合处理，得到最终融合结果。
2.如权利要求1所述的系统，其特征在于，
在结合所述中间融合结果检测障碍物，输出在所述同一时刻所检测到的障碍物的相关信息，所述激光雷达具体用于：
对获取的环境点云信息进行预处理；
基于同一时刻的所述中间融合结果，对经预处理后的点云进行分割，得到至少一个分割集合；
对各分割集合进行聚类，得到聚类结果；
根据所述聚类结果，计算得到所述第三障碍物信息。
3.如权利要求2所述的系统，其特征在于，
所述中间融合结果至少包括：障碍物的类型和状态量；其中，所述状态量包括位置；
在所述基于所述中间融合结果对经预处理后的点云进行分割的方面，所述激光雷达具体用于：
根据所述类型估算障碍物尺寸，计算在目标区域内，所述障碍物尺寸对应的理论点云数量；其中，所述目标区域以所述位置为中心，所述目标区域的边界由所述障碍物尺寸确定；
根据所述理论点云数量确定数量阈值；
若在所述目标区域内搜索得到的点云数量大于所述数量阈值，将在所述目标区域内的点云分割出来，得到相应的分割集合。
4.如权利要求3所述的系统，其特征在于，还包括：
若在所述目标区域内搜索得到的点云数量小于或小于等于所述阈值，将所述障碍物记为疑似误报；
若所述障碍物在连续N帧中均被记为疑似误报，确定所述障碍物为误报，N为预设整数。
5.如权利要求1所述的系统，其特征在于，
每一时刻对应一帧；
任一帧输出的所述第一障碍物信息包括：所述毫米波雷达检测到的每一障碍物的类型、状态量和方差信息；
任一帧输出的所述第二障碍物信息包括：所述摄像头检测到的每一障碍物的类型、状态量和方差信息；
在所述对同一时刻输出的所述第一障碍物信息和所述第二障碍物信息进行融合处理，得到中间融合结果的方面，所述第一融合模块具体用于：
计算所述毫米波雷达所检测出的每一障碍物，与所述摄像头所检测出的每一障碍物的相似性；若两障碍物相似性大于相似性阈值，其为同一障碍物，否则为不同的障碍物；
将所述同一障碍物对应的第一状态量和第二状态量进行融合，得到融合后的状态量；其中，所述第一状态量为所述同一障碍物在所述第一障碍物信息中对应的状态量；所述第二状态量为所述同一障碍物在所述第二障碍物信息中对应的状态量；
将所述同一障碍物对应的第一方差信息和第二方差信息进行融合，得到融合后的方差信息；其中，所述第一方差信息为所述同一障碍物在所述第一障碍物信息中对应的方差信息；所述第二方差信息为所述同一障碍物在所述第二障碍物信息中对应的方差信息；
所述中间融合结果包括所述同一障碍物的类型、融合后的状态量和方差信息，以及，其他不相似的障碍物的类型、状态量和方差信息。
6.如权利要求5所述的系统，其特征在于，
任一帧的第三障碍物信息包括：所述激光雷达检测到的每一障碍物的类型、状态量和方差信息；
在所述对所述中间融合结果和所述第三障碍物信息进行融合处理，得到最终融合结果的方面，所述第二融合模块具体用于：
计算所述中间融合结果中的每一障碍物，与所述激光雷达所检测出的每一障碍物的相似性；若两障碍物相似性大于相似性阈值，其为相同障碍物，否则为不同的障碍物；
将所述相同障碍物对应的中间状态量和第三状态量进行融合，得到融合状态量；其中，所述中间状态量为所述相同障碍物在所述中间融合结果中对应的状态量；所述第三状态量为所述相同障碍物在所述第三障碍物信息中对应的状态量；
将所述相同障碍物对应的中间方差信息和第三方差信息进行融合，得到融合方差信息；其中，所述中间方差信息为所述相同障碍物在所述中间融合结果中对应的方差信息；所述第三方差信息为所述相同障碍物在所述第三障碍物信息中对应的方差信息；
所述最终融合结果包括所述相同障碍物的类型、融合状态量和融合方差信息，以及其他不相似的障碍物的类型、状态量和方差信息。
7.一种多源传感器数据融合方法，其特征在于，基于如权利要求1-6任一项所述的多源传感器数据融合系统，所述方法包括：
所述毫米波雷达实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；所述毫米波雷达输出的相关信息为第一障碍物信息；
所述摄像头实时检测障碍物，输出各时刻所检测到的障碍物的相关信息；所述摄像头输出的相关信息为第二障碍物信息；
所述第一融合模块对同一时刻输出的所述第一障碍物信息和所述第二障碍物信息进行融合处理，得到中间融合结果；
所述激光雷达结合所述中间融合结果检测障碍物，输出在所述同一时刻所检测到的障碍物的相关信息；所述激光雷达输出的相关信息为第三障碍物信息；
所述第二融合模块对所述中间融合结果和所述第三障碍物信息进行融合处理，得到最终融合结果。
8.如权利要求7所述的方法，其特征在于，
所述结合所述中间融合结果检测障碍物，输出在所述同一时刻所检测到的障碍物的相关信息包括：
对在所述同一时刻获取的三维激光雷达点云进行预处理；
基于所述中间融合结果对经预处理后的三维激光雷达点云进行分割，得到至少一个分割集合；
对各分割集合进行聚类，得到聚类结果；
根据所述聚类结果，计算得到所述第三障碍物信息。
9.如权利要求8所述的方法，其特征在于，
所述中间融合结果至少包括：障碍物的类型和状态量；其中，所述状态量包括位置；
所述基于所述中间融合结果对经预处理后的三维激光雷达点云进行分割包括：
根据所述类型估算障碍物尺寸；
计算在目标区域内，所述障碍物尺寸对应的理论点云数量；其中，所述目标区域以所述位置为中心，所述目标区域的边界由所述障碍物尺寸确定；
根据所述理论点云数量确定数量阈值；
若在所述目标区域内搜索得到的点云数量大于所述数量阈值，将在所述目标区域内的点云分割出来，得到相应的分割集合。
10.如权利要求7所述的方法，其特征在于，
每一时刻对应一帧；
任一帧输出的所述第一障碍物信息包括：所述毫米波雷达检测到的每一障碍物的类型、状态量和方差信息；
任一帧输出的所述第二障碍物信息包括：所述摄像头检测到的每一障碍物的类型、状态量和方差信息；
所述对同一时刻输出的所述第一障碍物信息和所述第二障碍物信息进行融合处理，得到中间融合结果包括：
计算所述毫米波雷达所检测出的每一障碍物，与所述摄像头所检测出的每一障碍物的相似性；若两障碍物相似性大于相似性阈值，其为同一障碍物，否则为不同的障碍物；
将所述同一障碍物对应的第一状态量和第二状态量进行融合，得到融合后的状态量；其中，所述第一状态量为所述同一障碍物在所述第一障碍物信息中对应的状态量；所述第二状态量为所述同一障碍物在所述第二障碍物信息中对应的状态量；
将所述同一障碍物对应的第一方差信息和第二方差信息进行融合，得到融合后的方差信息；其中，所述第一方差信息为所述同一障碍物在所述第一障碍物信息中对应的方差信息；所述第二方差信息为所述同一障碍物在所述第二障碍物信息中对应的方差信息；
所述中间融合结果包括所述同一障碍物的类型、融合后的状态量和方差信息，以及，其他不相似的障碍物的类型、状态量和方差信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911101619.0A CN110794406B (zh) | 2019-11-12 | 2019-11-12 | 多源传感器数据融合系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911101619.0A CN110794406B (zh) | 2019-11-12 | 2019-11-12 | 多源传感器数据融合系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110794406A true CN110794406A (zh) | 2020-02-14 |
| CN110794406B CN110794406B (zh) | 2022-08-02 |
Family
ID=69444140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911101619.0A Active CN110794406B (zh) | 2019-11-12 | 2019-11-12 | 多源传感器数据融合系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110794406B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
| CN111398961A (zh) * | 2020-03-17 | 2020-07-10 | 北京百度网讯科技有限公司 | 用于检测障碍物的方法和装置 |
| CN112462381A (zh) * | 2020-11-19 | 2021-03-09 | 浙江吉利控股集团有限公司 | 一种基于车路协同的多激光雷达融合方法 |
| CN113110451A (zh) * | 2021-04-14 | 2021-07-13 | 浙江工业大学 | 一种深度相机与单线激光雷达融合的移动机器人避障方法 |
| CN113281738A (zh) * | 2021-06-18 | 2021-08-20 | 桂林市国创朝阳信息科技有限公司 | 一种多传感器融合的目标检测系统及检测方法 |
| CN113989545A (zh) * | 2021-10-11 | 2022-01-28 | 金钱猫科技股份有限公司 | 一种多源传感器数据融合方法、装置和存储设备 |
| CN114387577A (zh) * | 2021-06-09 | 2022-04-22 | 深圳市速腾聚创科技有限公司 | 数据处理方法、装置及存储介质 |
| CN114529886A (zh) * | 2022-04-24 | 2022-05-24 | 苏州挚途科技有限公司 | 障碍物的确定方法、装置和系统 |
| CN114671380A (zh) * | 2022-03-23 | 2022-06-28 | 湖南星邦智能装备股份有限公司 | 一种基于多传感器数据融合的高空作业车防撞方法及系统 |
| WO2022237210A1 (zh) * | 2021-05-12 | 2022-11-17 | 上海仙途智能科技有限公司 | 障碍物信息生成 |
| WO2024012212A1 (zh) * | 2022-07-14 | 2024-01-18 | 安徽蔚来智驾科技有限公司 | 环境感知方法、域控制器、存储介质及车辆 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070286475A1 (en) * | 2006-05-19 | 2007-12-13 | Fuji Jukogyo Kabushiki Kaisha | Object recognizing apparatus |
| US8704887B2 (en) * | 2010-12-02 | 2014-04-22 | GM Global Technology Operations LLC | Multi-object appearance-enhanced fusion of camera and range sensor data |
| CN107688184A (zh) * | 2017-07-24 | 2018-02-13 | 宗晖（上海）机器人有限公司 | 一种定位方法以及系统 |
| US20180211119A1 (en) * | 2017-01-23 | 2018-07-26 | Ford Global Technologies, Llc | Sign Recognition for Autonomous Vehicles |
| CN108872991A (zh) * | 2018-05-04 | 2018-11-23 | 上海西井信息科技有限公司 | 目标物检测与识别方法、装置、电子设备、存储介质 |
| CN109212532A (zh) * | 2017-07-04 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 用于检测障碍物的方法和装置 |
| CN109885066A (zh) * | 2019-03-26 | 2019-06-14 | 北京经纬恒润科技有限公司 | 一种运动轨迹预测方法及装置 |
| CN110147109A (zh) * | 2019-05-21 | 2019-08-20 | 重庆长安汽车股份有限公司 | 一种自动驾驶系统的原始模型开发系统 |
-
2019
- 2019-11-12 CN CN201911101619.0A patent/CN110794406B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070286475A1 (en) * | 2006-05-19 | 2007-12-13 | Fuji Jukogyo Kabushiki Kaisha | Object recognizing apparatus |
| US8704887B2 (en) * | 2010-12-02 | 2014-04-22 | GM Global Technology Operations LLC | Multi-object appearance-enhanced fusion of camera and range sensor data |
| US20180211119A1 (en) * | 2017-01-23 | 2018-07-26 | Ford Global Technologies, Llc | Sign Recognition for Autonomous Vehicles |
| CN109212532A (zh) * | 2017-07-04 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 用于检测障碍物的方法和装置 |
| CN107688184A (zh) * | 2017-07-24 | 2018-02-13 | 宗晖（上海）机器人有限公司 | 一种定位方法以及系统 |
| CN108872991A (zh) * | 2018-05-04 | 2018-11-23 | 上海西井信息科技有限公司 | 目标物检测与识别方法、装置、电子设备、存储介质 |
| CN109885066A (zh) * | 2019-03-26 | 2019-06-14 | 北京经纬恒润科技有限公司 | 一种运动轨迹预测方法及装置 |
| CN110147109A (zh) * | 2019-05-21 | 2019-08-20 | 重庆长安汽车股份有限公司 | 一种自动驾驶系统的原始模型开发系统 |
Non-Patent Citations (4)
| Title |
|---|
| I-AM-UNIQUE: "浅谈传感器融合的核心算法", 《CSDN收藏夹 HTTPS://BLOG.CSDN.NET/M0_38087936/ARTICLE/DETAILS/83475532》 * |
| JINGYUN LIU ET AL.: "TOF Lidar Development in Autonomous Vehicle", 《2018 THE 3RD OPTOELECTRONICS GLOBAL CONFERENCE》 * |
| 张晓川: "激光点云和图像的后校准融合与障碍物测距", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 郑林 等: "基于多特征融合的运动目标识别", 《系统仿真学报》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111398961B (zh) * | 2020-03-17 | 2022-07-15 | 北京百度网讯科技有限公司 | 用于检测障碍物的方法和装置 |
| CN111398961A (zh) * | 2020-03-17 | 2020-07-10 | 北京百度网讯科技有限公司 | 用于检测障碍物的方法和装置 |
| CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
| WO2021223368A1 (zh) * | 2020-05-08 | 2021-11-11 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
| US11915470B2 (en) | 2020-05-08 | 2024-02-27 | Quanzhou equipment manufacturing research institute | Target detection method based on fusion of vision, lidar, and millimeter wave radar |
| CN112462381A (zh) * | 2020-11-19 | 2021-03-09 | 浙江吉利控股集团有限公司 | 一种基于车路协同的多激光雷达融合方法 |
| CN112462381B (zh) * | 2020-11-19 | 2024-06-04 | 浙江吉利控股集团有限公司 | 一种基于车路协同的多激光雷达融合方法 |
| CN113110451A (zh) * | 2021-04-14 | 2021-07-13 | 浙江工业大学 | 一种深度相机与单线激光雷达融合的移动机器人避障方法 |
| WO2022237210A1 (zh) * | 2021-05-12 | 2022-11-17 | 上海仙途智能科技有限公司 | 障碍物信息生成 |
| CN114387577A (zh) * | 2021-06-09 | 2022-04-22 | 深圳市速腾聚创科技有限公司 | 数据处理方法、装置及存储介质 |
| CN113281738A (zh) * | 2021-06-18 | 2021-08-20 | 桂林市国创朝阳信息科技有限公司 | 一种多传感器融合的目标检测系统及检测方法 |
| CN113989545A (zh) * | 2021-10-11 | 2022-01-28 | 金钱猫科技股份有限公司 | 一种多源传感器数据融合方法、装置和存储设备 |
| CN114671380A (zh) * | 2022-03-23 | 2022-06-28 | 湖南星邦智能装备股份有限公司 | 一种基于多传感器数据融合的高空作业车防撞方法及系统 |
| CN114671380B (zh) * | 2022-03-23 | 2023-12-29 | 湖南星邦智能装备股份有限公司 | 一种基于多传感器数据融合的高空作业车防撞方法及系统 |
| CN114529886B (zh) * | 2022-04-24 | 2022-08-02 | 苏州挚途科技有限公司 | 障碍物的确定方法、装置和系统 |
| CN114529886A (zh) * | 2022-04-24 | 2022-05-24 | 苏州挚途科技有限公司 | 障碍物的确定方法、装置和系统 |
| WO2024012212A1 (zh) * | 2022-07-14 | 2024-01-18 | 安徽蔚来智驾科技有限公司 | 环境感知方法、域控制器、存储介质及车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110794406B (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110794406B (zh) | 多源传感器数据融合系统和方法 | |
| CN111352110B (zh) | 处理雷达数据的方法和装置 | |
| CN111712731B (zh) | 目标检测方法、系统及可移动平台 | |
| CN111797734B (zh) | 车辆点云数据处理方法、装置、设备和存储介质 | |
| EP3229041B1 (en) | Object detection using radar and vision defined image detection zone | |
| JP3822770B2 (ja) | 車両用前方監視装置 | |
| US8818702B2 (en) | System and method for tracking objects | |
| US20060115113A1 (en) | Method for the recognition and tracking of objects | |
| US11144770B2 (en) | Method and device for positioning vehicle, device, and computer readable storage medium | |
| CN109635816B (zh) | 车道线生成方法、装置、设备以及存储介质 | |
| JP6450294B2 (ja) | 物体検出装置、物体検出方法、及びプログラム | |
| KR20210090384A (ko) | 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치 | |
| US20210221398A1 (en) | Methods and systems for processing lidar sensor data | |
| CN112997093A (zh) | 用于确定关于车辆环境中的物体的信息的方法和处理单元 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| US20230094836A1 (en) | Method for Detecting Moving Objects in the Surroundings of a Vehicle, and Motor Vehicle | |
| CN116310679A (zh) | 多传感器融合目标检测方法、系统、介质、设备及终端 | |
| CN111612818A (zh) | 新型双目视觉多目标跟踪方法及系统 | |
| US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
| Morris et al. | A view-dependent adaptive matched filter for ladar-based vehicle tracking | |
| Kohara et al. | Obstacle detection based on occupancy grid maps using stereovision system | |
| KR20230036243A (ko) | 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적 시스템 | |
| US20220155455A1 (en) | Method and system for ground surface projection for autonomous driving | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| CN114384486A (zh) | 一种数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 4 / F, building 1, No.14 Jiuxianqiao Road, Chaoyang District, Beijing 100020 Applicant after: Beijing Jingwei Hirain Technologies Co.,Inc. Address before: 8 / F, block B, No. 11, Anxiang Beili, Chaoyang District, Beijing 100101 Applicant before: Beijing Jingwei HiRain Technologies Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |