CN113496163B - 障碍物识别方法和装置 - Google Patents
障碍物识别方法和装置 Download PDFInfo
- Publication number
- CN113496163B CN113496163B CN202010250818.4A CN202010250818A CN113496163B CN 113496163 B CN113496163 B CN 113496163B CN 202010250818 A CN202010250818 A CN 202010250818A CN 113496163 B CN113496163 B CN 113496163B
- Authority
- CN
- China
- Prior art keywords
- point data
- data
- point
- characteristic point
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000003068 static effect Effects 0.000 claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 230000004888 barrier function Effects 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
本申请公开了障碍物识别方法和装置。该方法的一具体实施方式包括：通过根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据；获取当前车辆的视觉设备采集的当前帧图像的特征点数据，作为第二特征点数据；对第二特征点数据与第一特征点数据进行匹配，根据匹配结果标记出第二特征点数据中的障碍物的特征点；根据第二特征点数据中的障碍物的特征点标记结果进行障碍物识别，有效降低了静态障碍物和动态障碍物的误识别率。
Description
技术领域
本申请涉及计算机技术领域，具体涉及自动驾驶技术领域，尤其涉及一种障碍物识别方法和装置。
背景技术
自动驾驶领域中，动态和静态障碍物的准确识别将对轨迹规划及控制等环节产生重要影响。目前的障碍物识别方法主要依靠部署的激光雷达扫描周围环境，然后通过对激光雷达扫描的结果进行识别，依据自身识别出的结果确定周围存在的障碍物。
发明内容
本申请实施例提出了障碍物识别方法和装置。
第一方面，本申请提供了一种障碍物识别方法，该方法包括：根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据；获取当前车辆的视觉设备采集的当前帧图像的特征点数据，作为第二特征点数据；对第二特征点数据与第一特征点数据进行匹配，根据匹配结果标记出第二特征点数据中的障碍物的特征点；根据第二特征点数据中的障碍物的特征点标记结果进行障碍物识别。
在一些实施例中，对第二特征点数据与第一特征点数据进行匹配，根据匹配结果标记出所述第二特征点数据中的障碍物的特征点，包括：
将第二特征点数据及第一特征点数据转换至同一坐标系下；将第二特征点数据中的各点分别与第一特征点数据中的各点进行匹配，若在第一特征点数据中查找到与第二特征点数据中的点对应的点，则确定第二特征点数据中的点为静态障碍物的点并将对应点的属性值标记为1，若在第一特征点数据中未查找到与第二特征点数据中的点对应的点，则确定第二特征点数据中的点为动态障碍物的点并将对应点的属性值标记为0。
在一些实施例中，根据第二特征点数据中的障碍物的特征点标记结果进行障碍物识别，包括：获取当前车辆的激光雷达设备采集的点云数据；基于第二特征点数据中的障碍物的特征点标记结果与当前车辆的激光雷达设备采集的点云数据联合识别出障碍物。
在一些实施例中，基于第二特征点数据中的障碍物的特征点标记结果与车辆的激光雷达设备当前采集的点云数据联合识别出所述动态障碍物，包括：
基于车辆的激光雷达设备当前采集的点云数据与第一特征点数据进行匹配，根据匹配结果识别出动态障碍物的点云；根据识别出的动态障碍物的点云以及第二特征点数据中标记出的动态障碍物的特征点，识别出车辆的行驶位置处的动态障碍物。
在一些实施例中，预设范围包括以当前车辆的位置为中心，以当前车辆的视觉设备的测量范围为半径的区域。
第二方面，本申请提供了一种障碍物识别装置，该装置包括：第一获取模块，配置用于根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据；
第二获取模块，配置用于获取当前车辆的视觉设备采集的当前帧图像的特征点数据，作为第二特征点数据；匹配模块，配置用于对第二特征点数据与第一特征点数据进行匹配，根据匹配结果标记出第二特征点数据中的障碍物的特征点；识别模块，配置用于根据第二特征点数据中的障碍物的特征点标记结果进行障碍物识别。
在一些实施例中，匹配模块进一步配置用于：匹配模块进一步配置用于：将第二特征点数据及所述第一特征点数据转换至同一坐标系下；将第二特征点数据中的各点分别与第一特征点数据中的各点进行匹配，若在第一特征点数据中查找到与第二特征点数据中的点对应的点，则确定第二特征点数据中的点为静态障碍物的点并将对应点的属性值标记为1，若在第一特征点数据中未查找到与第二特征点数据中的点对应的点，则确定第二特征点数据中的点为动态障碍物的点并将对应点的属性值标记为0。
在一些实施例中，识别模块包括：获取单元，配置用于获取当前车辆的激光雷达设备采集的点云数据；联合识别单元，配置用于基于第二特征点数据中的障碍物的特征点标记结果与当前车辆的激光雷达设备采集的点云数据联合识别出障碍物。
在一些实施例中，联合识别单元进一步配置用于：基于车辆的激光雷达设备当前采集的点云数据与第一特征点数据进行匹配，根据匹配结果识别出动态障碍物的点云；根据识别出的动态障碍物的点云以及第二特征点数据中标记出的动态障碍物的特征点，识别出车辆的行驶位置处的动态障碍物。
在一些实施例中，预设范围包括以当前车辆的位置为中心，以当前车辆的视觉设备的测量范围为半径的区域。
第三方面，本申请提供了一种电子设备，该电子设备包括一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被该一个或多个处理器执行，使得一个或多个处理器实现障碍物识别方法。
第四方面，本申请提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现障碍物识别方法。
本申请提供的障碍物识别方法和装置，通过根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据；获取当前车辆的视觉设备采集的当前帧图像的特征点数据，作为第二特征点数据；对第二特征点数据与第一特征点数据进行匹配，根据匹配结果标记出第二特征点数据中的障碍物的特征点；根据第二特征点数据中的障碍物的特征点标记结果进行障碍物识别，有效降低了静态障碍物和动态障碍物的误识别率。
附图说明
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的障碍物识别方法的一个实施例的流程图；
图3是根据本申请的障碍物识别方法的一个应用场景的示意图；
图4是根据本申请的障碍物识别方法的又一个实施例的流程图；
图5是根据本申请的障碍物识别装置的一个实施例的示意图；
图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的障碍物识别方法的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括自动驾驶车辆101，网络102和服务器103。网络102用以在自动驾驶车辆101和服务器103之间提供通信链路的介质，例如，有线、无线通信链路或者光纤电缆等等。
自动驾驶车辆101上设置有视觉设备1011，视觉设备1011用于采集自动驾驶车辆101周边环境的图像。视觉设备包括但不限于双目相机或单目相机。自动驾驶车辆101上还设置有处理单元1012，处理单元1012用于对视觉设备1011采集的图像数据进行处理，并将数据发送给服务器103。
自动驾驶车辆101可以通过网络102与服务器103进行交互，以向服务器103发送数据或从服务器103接收数据。服务器103可以是为自动驾驶车辆101提供后台支持的服务器，可以对自动驾驶车辆101感知的环境数据进行分析处理，并将分析处理结果反馈回自动驾驶车辆101。
自动驾驶车辆101可以通过处理单元1012将视觉设备1011采集的图像数据发送至服务器103。服务器103可以根据接收到的图像数据以及预加载的点云地图进行障碍物检测和识别，将障碍物检测和识别结果返回至自动驾驶车辆101，自动驾驶车辆101根据障碍物检测和识别结果进行驾驶决策。或者，服务器103还可以根据障碍物检测和识别结果进行驾驶决策，将决策指令反馈至自动驾驶车辆101。
服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的障碍物识别方法一般由服务器103执行。相应地，障碍物识别装置也一般设置于服务器103中。
应该理解，图1中的自动驾驶车辆、网络、服务器、视觉设备、处理单元的数目仅仅是示意性的。根据实现需要，可以具有任意数目的自动驾驶车辆、网络、服务器、视觉设备、处理单元。
图2示出了可以应用于本申请的障碍物识别方法的实施例的流程示意图。障碍物识别方法的流程200包括以下步骤：
步骤201，根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据。
在本实施例中，障碍物识别方法的执行主体（如图1中所示的服务器103）根据当前车辆的位置和姿态信息，获取车辆的行驶位置对应的预设范围内的点云地图的静态障碍物，例如，道路、数木、建筑物、路牌等等，的点云数据，作为第一特征点数据。
其中，点云地图可以是车辆预先在道路上行进时，使用车辆上的视觉设备，例如，双目相机等，对周围环境进行扫描拍摄得到多帧图像，并提取图像的特征点得到点云数据进而构建的全局点云地图；也可以是车辆预先在道路上行进时，使用车辆上的视觉设备与激光雷达设备，对周围环境进行扫描得到的点云数据构建的全局点云地图。点云地图可以仅包括静态障碍物的点云数据。优选地，点云地图还可以是根据获得的点云数据，采用SLAM(Simultaneous Localization and mapping，即时定位与地图构建)算法构建的。
这里，提取点云中的特征点的方法可以为现有技术或未来发展技术中的特征点提取方法，例如，SIFT（Scale-invariant feature transform，尺度不变特征变换），SURF（Speed-up robust features，加速健壮特征）等等，本申请对此不作限定。
执行主体根据当前车辆的位置和姿态信息，确定当前车辆在预加载的点云地图中的位置，并基于当前车辆在点云地图中的位置信息在点云地图中查找与之对应的预设范围的点云数据，并将预设范围的点云数据提取出来作为第一特征点数据。
这里，预设范围可以是以当前车辆为中心，半径大于等于根据当前车辆的视觉设备的测量范围确定的半径的区域。
在一些可选的方式中，预设范围包括以当前车辆的位置为中心，以当前车辆的视觉设备的测量范围为半径的区域。
在本实现方式中，若依据当前车辆的视觉设备的测量范围确定的半径为R，则预设范围为以当前车辆为中心，半径为R的区域。
该方式通过设置预设范围与当前车辆的视觉设备的测量范围等同，减小了获取的点云地图的范围，有效降低了后续信息处理的数据量。
步骤202，获取当前车辆的视觉设备采集的当前帧图像的特征点数据，作为第二特征点数据。
在本实施例中，执行主体可以获取安装在当前车辆上的视觉设备采集的当前帧图像，并提取图像的特征点数据，将其作为第二特征点数据。
其中，第二特征点数据中包含静态障碍物的特征点和动态障碍物的特征点。其中，静态障碍物可以为道路、建筑物、路牌、树木等；动态障碍物可以为行人、车辆等。
这里，视觉设备可以为现有技术或未来发展技术中的图像采集设备，例如，双目相机、单目相机等，本申请对此不作限定。优选地，视觉设备为双目相机，采集到的图像为深度图像，深度图像中包含物体相对于相机的三维空间位置，有助于获取到更加准确的图像的特征点数据。
需要指出的是，这里提取图像中特征点的方法可以为SIFT、SURF等。优选地，提取图像中特征点的方法与构建点云地图的图像的特征点的提取方法相同。
步骤203，对第二特征点数据与第一特征点数据进行匹配，根据匹配结果标记出第二特征点数据中的障碍物的特征点。
在本实施例中，执行主体可以采用多种特征点匹配算法对第二特征点数据与第一特征点数据进行匹配，并根据匹配结果标记出第二特征点数据中障碍物的特征点。
在这里，标记结果可以包括动态障碍物的特征点标记结果和静态障碍物的特征点标记结果。点云地图中包含静态障碍物的点云数据，即静态障碍物的特征点数据，可以将第二特征点数据中与第一特征点数据匹配的部分作为静态障碍物的特征点数据，将第二特征点数据中与第一特征点数据不匹配的部分作为动态障碍物的特征点数据。
需要指出的是，若获取的点云地图中的点云数据为三维数据，即第一特征点数据为三维数据，第二特征点数据为根据二维视觉设备，例如，单目相机、摄像机等，采集的当前帧图像的特征点数据，即第二特征点数据为二维数据，则对第二特征点数据与第一特征点数据的匹配方法可以包括：首先将第一特征点数据转换为二维数据，得到第三特征点数据，然后对第二特征点数据和第三特征点数据根据车辆的位姿信息转换至同一坐标系，采用多种匹配方式进行特征点匹配，并根据匹配结果标记出第二特征点数据中的障碍物的特征点。
具体地，第一特征点数据与第二特征点数据的匹配方式可以采用比对的方式，即采用轮廓分割等方法分别从第一特征点数据和第二特征点数据中提取出各个障碍物的特征点，然后对提取出的第一特征点数据中的障碍物的特征点和第二特征点数据中的障碍物的特征点采用特征点匹配算法进行匹配，其中相匹配的障碍物的特征点作为静态障碍物的特征点，未匹配成功的障碍物的特征点作为动态障碍物的特征点。
其中，特征点匹配算法可以采用现有技术或未来发展技术中的特征点匹配算法，例如，ICP（Iterative Closest Point，迭代最近点算法）、PP-ICP（Point-to-PlaneIterative Closest Point，点到面迭代最近点算法）等，本申请对此不作限定。
需要说明的是，当前车辆的位姿信息与点云地图对应的车辆标准位姿信息可能存在差异。这时，需要根据当前车辆的位姿信息校正至该标准位姿信息，相应地对第二特征点数据变换至标准位姿状态下的特征点数据，然后再与第一特征点数据匹配。
此外，执行主体将第一特征点数据和第二特征点数据进行比较，可以采用多种标记方法对匹配结果进行标记。标记方法可以采用现有技术或未来发展技术中的标识标记的方法，例如，根据匹配结果将不同障碍物的特征点标记不同颜色，根据匹配结果将不同障碍物的特征点标记不同的轮廓等等，本申请对此不作限定。
步骤204，根据第二特征点数据中的障碍物的特征点标记结果进行障碍物识别。
在本实施例中，执行主体可以根据第二特征点数据中障碍物的特征点标记结果，采用多种障碍物识别方法对第二特征点数据中的动态障碍物和静态障碍物进行识别。
其中，障碍物的识别方法包括但不限于栅格地图法、特征提取法，本申请对此不作限定。
这里，栅格提取法，即利用贝叶斯推理推测由于传感器误差造成栅格状态的不确定性，通过比较当前时刻和随时间累积形成的栅格状态的不一致性检测运动目标。
特征提取法，即对原始数据进行分割、聚类，提取障碍物特征，进而基于障碍物特征对障碍进行识别。
可选地，可以首先分别标记出第二特征点数据中的动态障碍物的特征点和静态障碍物的特征点，然后分别采用不同的方法识别动态障碍物和静态障碍物。
在本实施例中，将二维视觉设备采集的当前帧图像的特征点数据，即二维的第二特征点数据与根据点云地图得到的三维的第一特征点数据进行匹配，并根据匹配结果进行障碍物识别。由于二维视觉设备成本较低，且数据的实时性较好，相较于通过激光雷达实时获取点云数据并进行匹配的方式能够降低成本，提升障碍物检测的实时性。并且避免了激光雷达采集到的点云数据稀疏、缺乏色彩信息等问题，有助于进一步提升障碍物识别的准确性。
在一些可选的方式中，根据所述第二特征点数据中的障碍物的特征点标记结果进行障碍物识别包括：获取当前车辆的激光雷达设备采集的点云数据；基于第二特征点数据中的障碍物的特征点标记结果与当前车辆的激光雷达设备采集的点云数据联合识别出障碍物。
在本实现方式中，执行主体可以首先获取当前车辆的激光雷达设备采集的点云数据，其中，激光雷达设备是以发射激光束探测目标位置、速度等特征量的雷达设备。
这里，为确保激光雷达设备采集的点云数据与视觉设备采集的原始图像数据可以相互对应，激光雷达设备可与视觉设备进行同步数据采集。具体地，激光雷达设备的采集过程可以为视觉设备按照预设的采集频率对激光雷达设备进行触发的方式采集点云数据，也可以为视觉设备与激光雷达设备同时按照预设的采集频率进行数据采集。
然后，执行主体提取出视觉设备采集的原始图像数据中的特征点，得到第二特征点数据，并根据第二特征点数据中的动态障碍物和静态障碍物的特征点标记结果分别提取出动态障碍物的特征点和静态障碍物的特征点，将动态障碍物特征点和静态障碍物特征点分别与激光雷达采集的点云数据中的动态障碍物和静态障碍物的点云联合识别出动态障碍物和静态障碍物。
具体地，执行主体可以按照预先标定的车辆的视觉设备与激光雷达设备之间的相对位姿将点云数据和第二特征点数据转换至同一坐标系，然后提取动态或静态障碍物的点云的点云特征，将点云特征与标记的第二特征点数据进行融合，得到融合特征，将融合特征输入预先训练的动态或静态障碍物识别模型，得到动态或静态障碍物识别结果。
其中，动态或静态障碍物识别模型用于表征融合特征与具体的障碍物信息的对应关系，主要由融合特征和与之对应的障碍物信息作为训练样本进行训练得到。障碍物识别模型可以为神经网络，例如，深度神经网络、卷积神经网络、循环神经网络等等，本申请对此不作限定。
该实现方式，通过将点云数据与基于第二特征点数据中的障碍物的特征点标记结果结合以识别出动态障碍物和静态障碍物，避免了由于视觉设备获取的特征点数据缺乏深度与距离信息或深度与距离信息不够精确而影响障碍物识别的准确性的问题，有助于获取障碍物的具体信息，进而进一步提升障碍物识别的准确性。
在一些可选的方式中，基于第二特征点数据中的障碍物的图像特征点标记结果与车辆的激光雷达设备当前采集的点云数据联合识别出所述障碍物，包括：将车辆的激光雷达设备当前采集的点云数据与第一特征点数据进行匹配，根据匹配结果识别出动态障碍物的点云；根据识别出的动态障碍物的点云以及第二特征点数据中标记出的动态障碍物的特征点，识别出车辆的行驶位置处的动态障碍物。
在本实现方式中，执行主体将当前车辆的激光雷达设备采集的点云数据与第一特征点数据进行匹配，匹配方法包括多种，例如，ICP、PP-ICP等，本申请对此不作限定。
在这里，激光雷达设备采集的点云数据包括动态障碍物的点云和静态障碍物的点云。点云地图中仅包含静态障碍物的特征点数据，可以将激光雷达设备采集的点云数据中与第一特征点数据不匹配的部分作为动态障碍物的点云数据并进行提取。
执行主体将提取出的动态障碍物的点云与第二特征点数据中标记出的动态障碍物的特征点进行特征融合，以识别出车辆的行驶位置处的车辆、行人等动态障碍物。
本实现方式通过将激光雷达设备采集的点云数据与第一特征点数据进行匹配识别出动态障碍物的点云；根据识别出的动态障碍物的点云以及第二特征点数据中标记出的动态障碍物的特征点，识别出车辆的行驶位置处的动态障碍物，进一步提高了动态障碍物识别的效率和准确率。
继续参见图3，图3是根据本实施例的障碍物识别方法的应用场景的一个示意图。
在图3的应用场景中，执行主体301根据当前车辆302的位置和姿态，预加载当前车辆的行驶位置对应的以当前车辆的位置为中心，半径为200米的点云地图。其中，点云地图由车辆预先在预设范围内的道路上行进，使用车辆上的视觉设备对周围环境进行拍摄得到的图像的特征点数据构建。点云地图仅包括树木、路牌、建筑物等静态障碍物的特征点。执行主体301将点云地图中静态障碍物的特征点作为第一特征点数据303。执行主体301获取当前车辆的测量范围为150米的视觉设备采集的特征点数据，作为第二特征点数据304。这里，第二特征点数据304不仅包括树木、建筑物等静态障碍物的特征点，还包括行人、车辆等动态障碍物的特征点。执行主体301采用特征点匹配算法305，例如，ICP算法等，对第一特征点数据303和第二特征点数据304进行匹配，并根据匹配结果306标记出第二特征点数据中障碍物的特征点。执行主体根据标记结果提取出动态障碍物的特征点或静态障碍物的特征点以进行障碍物识别。
本公开的实施例提供的障碍物识别方法，通过根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据；获取当前车辆的视觉设备采集的当前帧图像的特征点数据，作为第二特征点数据；对第二特征点数据与第一特征点数据进行匹配，根据匹配结果标记出第二特征点数据中的障碍物的特征点；根据第二特征点数据中的障碍物的特征点标记结果进行障碍物识别。该实施方式有效降低了静态障碍物和动态障碍物的误识别率。
进一步参考图4，其示出了障碍物识别方法的又一个实施例的流程400。本实施例的障碍物识别方法的流程400，可包括以下步骤：
步骤401，根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据。
在本实施例中，步骤401的实现细节和技术效果，可以参考对步骤201的描述，在此不再赘述。
步骤402，获取当前车辆的视觉设备采集的当前帧图像的特征点数据，作为第二特征点数据。
在本实施例中，步骤402的实现细节和技术效果，可以参考对步骤202的描述，在此不再赘述。
步骤403，将第二特征点数据及第一特征点数据转换至同一坐标系下。
在本实施例中，执行主体将第二特征点数据和第一特征点数据投影至同一坐标系下，例如，世界坐标系等。
具体地，执行主体可以根据车辆的位姿信息，将第二特征点数据投影到第一特征点数据所在的坐标系下，得到第一特征点数据坐标系下的第二特征点数据。
在这里，车辆的位姿信息包括车辆上的视觉设备的位姿信息，该位姿信息可以表征视觉设备的相对于标准姿态下（即点云地图对应的姿态）的平移和旋转角。这样，可以根据车辆的位姿信息构建车辆当前采集的点云数据与点云地图中的点云数据之间的平移和旋转变换矩阵，从而将第二特征点数据经过该平移和旋转变换矩阵转换至第一特征点数据的坐标系下。
步骤404，将第二特征点数据中的各点分别与第一特征点数据中的各点进行匹配；若在第一特征点数据中查找到与第二特征点数据中的点对应的点，则确定第二特征点数据中的点为静态障碍物的点并将对应点的属性值标记为1，若在第一特征点数据中未查找到与第二特征点数据中的点对应的点，则确定第二特征点数据中的点为动态障碍物的点并将对应点的属性值标记为0。
在本实施例中，执行主体可以采用多种匹配方法将转换至同一坐标系下的第二特征点数据中的各点分别与第一特征点数据中的各点进行匹配。
若执行主体能在第一特征点数据查找到与第二特征点数据中的点的坐标满足预设条件，例如，距离小于等于预设值，如3厘米、2厘米等，的点，则将能在第一特征点数据中查找到与之对应点的第二特征点数据中的点确定为静态障碍物的点，并将点的属性值标记为1。
若执行主体不能在第一特征点数据查找到与第二特征点数据中的点的坐标满足预设条件，例如，距离小于等于预设值，如3厘米、2厘米等，的点，则将不能在第一特征点数据中查找到与之对应点的第二特征点数据中的点确定为动态障碍物的点，并将点的属性值标记为0。
在这里，通过将第一特征点数据和第二特征点数据中的各点的位置进行比对，可以快速地分别标记出静态障碍物的特征点和动态障碍物的特征点。
步骤405，根据第二特征点数据中的障碍物的特征点标记结果进行障碍物识别。
在本实施例中，步骤405的实现细节和技术效果，可以参考对步骤204的描述，在此不再赘述。
本实施例将第二特征点数据及第一特征点数据转换至同一坐标系下，将第二特征点数据中的各点分别与第一特征点数据中的各点进行匹配，若在第一特征点数据中能查找到与第二特征点数据中的点对应的点，则确定所述第二特征点数据中的点为静态障碍物的点并将对应点的属性值标记为1，若在第一特征点数据中不能查找到与第二特征点数据中的点对应的点，则确定所述第二特征点数据中的点为动态障碍物的点并将对应点的属性值标记为0，进而根据障碍物的点云标记结果进行障碍物识别。由于执行主体将第一特征点数据和第二特征点数据转换至同一坐标系下进行比较，并将动态障碍物的点的属性值标记为0，静态障碍物的点的属性值标记为1，有助于快速地标记动态障碍物和静态障碍物后分别进行识别，从而进一步提升障碍物识别的效率和准确性。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种障碍物识别装置的一个实施例，该装置实施例与图2和图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的障碍物识别装置500包括：第一获取模块501、第二获取模块502、匹配模块503和识别模块504。其中，第一获取模块501，配置为根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据；第二获取模块502，配置为获取当前车辆的视觉设备采集的当前帧图像的特征点数据，作为第二特征点数据；匹配模块503，配置为对第二特征点数据与第一特征点数据进行匹配，根据匹配结果标记出第二特征点数据中的障碍物的特征；识别模块504，配置为根据第二特征点数据中的障碍物的特征点标记结果进行障碍物识别。
在本实施例的一些可选的实现方式中，匹配模块进一步配置为将第二特征点数据及第一特征点数据转换至同一坐标系下；将第二特征点数据中的各点分别与所述第一特征点数据中的各点进行匹配，若在第一特征点数据中能查找到与第二特征点数据中的点对应的点，则确定第二特征点数据中的点为静态障碍物的点并将对应点的属性值标记为1，若在第一特征点数据中不能查找到与第二特征点数据中的点对应的点，则确定第二特征点数据中的点为动态障碍物的点并将对应点的属性值标记为0。
在本实施例的一些可选的实现方式中，识别模块识别模块包括：
获取单元，配置用于获取当前车辆的激光雷达设备采集的点云数据；
联合识别单元，配置用于基于第二特征点数据中的障碍物的特征点标记结果与当前车辆的激光雷达设备采集的点云数据联合识别出障碍物。
在本实施例的一些可选的实现方式中，联合识别单元进一步配置用于：基于车辆的激光雷达设备当前采集的点云数据与第一特征点数据进行匹配，根据匹配结果识别出动态障碍物的点云；根据识别出的动态障碍物的点云以及第二特征点数据中标记出的动态障碍物的特征点，识别出车辆的行驶位置处的动态障碍物。
在本实施例的一些可选的实现方式中，预设范围包括以当前车辆的位置为中心，以当前车辆的视觉设备的测量范围为半径的区域。
下面参考图6，其示出了适于用来实现本申请实施例的客户端设备或服务器的计算机系统600的结构示意图。
如图6所示，计算机系统600包括处理器（例如，中央处理单元CPU）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储部分608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取模块、第二获取模块、匹配模块和识别模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一获取模块还可以被描述为“根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中的装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入客户端端设备中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当该一个或者多个程序被一个设备执行时，使得该设备：根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据；获取当前车辆的视觉设备采集的当前帧图像的特征点数据，作为第二特征点数据；对第二特征点数据与第一特征点数据进行匹配，根据匹配结果标记出第二特征点数据中的障碍物的特征点；根据第二特征点数据中的障碍物的特征点标记结果进行障碍物识别。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种障碍物识别方法，所述方法包括：
根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据；
获取当前车辆的视觉设备采集的当前帧图像的特征点数据，作为第二特征点数据；
对所述第二特征点数据与所述第一特征点数据进行匹配，根据匹配结果标记出所述第二特征点数据中的障碍物的特征点，包括：将所述第二特征点数据中与所述第一特征点数据匹配的部分作为静态障碍物的特征点数据，将所述第二特征点数据中与所述第一特征点数据不匹配的部分作为动态障碍物的特征点数据；
获取当前车辆的激光雷达设备采集的点云数据；基于车辆的激光雷达设备当前采集的点云数据与第一特征点数据进行匹配，根据匹配结果识别出动态障碍物的点云；根据识别出的动态障碍物的点云以及第二特征点数据中标记出的动态障碍物的特征点，识别出车辆的行驶位置处的动态障碍物。
2.根据权利要求1所述的方法，所述对所述第二特征点数据与所述第一特征点数据进行匹配，根据匹配结果标记出所述第二特征点数据中的障碍物的特征点，包括：
将所述第二特征点数据及所述第一特征点数据转换至同一坐标系下；
将所述第二特征点数据中的各点分别与所述第一特征点数据中的各点进行匹配，若在所述第一特征点数据中查找到与所述第二特征点数据中的点对应的点，则确定所述第二特征点数据中的点为静态障碍物的点并将对应点的属性值标记为1，若在所述第一特征点数据中未查找到与所述第二特征点数据中的点对应的点，则确定所述第二特征点数据中的点为动态障碍物的点并将对应点的属性值标记为0。
3.根据权利要求1所述的方法，所述预设范围包括以当前车辆的位置为中心，以所述当前车辆的视觉设备的测量范围为半径的区域。
4.一种障碍物识别装置，所述装置包括：
第一获取模块，配置用于根据当前车辆的位姿信息，获取点云地图中与车辆的行驶位置对应的预设范围内的点云数据，作为第一特征点数据；
第二获取模块，配置用于获取当前车辆的视觉设备采集的当前帧图像的特征点数据，作为第二特征点数据；
匹配模块，配置用于对所述第二特征点数据与所述第一特征点数据进行匹配，根据匹配结果标记出所述第二特征点数据中的障碍物的特征，包括：将所述第二特征点数据中与所述第一特征点数据匹配的部分作为静态障碍物的特征点数据，将所述第二特征点数据中与所述第一特征点数据不匹配的部分作为动态障碍物的特征点数据；
识别模块，包括：获取单元，配置用于获取当前车辆的激光雷达设备采集的点云数据；联合识别单元，配置用于基于车辆的激光雷达设备当前采集的点云数据与第一特征点数据进行匹配，根据匹配结果识别出动态障碍物的点云；根据识别出的动态障碍物的点云以及第二特征点数据中标记出的动态障碍物的特征点，识别出车辆的行驶位置处的动态障碍物。
5.根据权利要求4所述的装置，所述匹配模块进一步配置用于：
将所述第二特征点数据及所述第一特征点数据转换至同一坐标系下；
将所述第二特征点数据中的各点分别与所述第一特征点数据中的各点进行匹配，若在所述第一特征点数据中查找到与所述第二特征点数据中的点对应的点，则确定所述第二特征点数据中的点为静态障碍物的点并将对应点的属性值标记为1，若在所述第一特征点数据中未查找到与所述第二特征点数据中的点对应的点，则确定所述第二特征点数据中的点为动态障碍物的点并将对应点的属性值标记为0。
6.根据权利要求4所述的装置，所述预设范围包括以当前车辆的位置为中心，以所述当前车辆的视觉设备的测量范围为半径的区域。
7.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的方法。
8.一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-3中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010250818.4A CN113496163B (zh) | 2020-04-01 | 2020-04-01 | 障碍物识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010250818.4A CN113496163B (zh) | 2020-04-01 | 2020-04-01 | 障碍物识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113496163A CN113496163A (zh) | 2021-10-12 |
| CN113496163B true CN113496163B (zh) | 2024-01-16 |
Family
ID=77993985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010250818.4A Active CN113496163B (zh) | 2020-04-01 | 2020-04-01 | 障碍物识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496163B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022760B (zh) * | 2021-10-14 | 2022-08-05 | 湖南北斗微芯产业发展有限公司 | 铁路隧道障碍物监测预警方法、系统、设备及存储介质 |
| CN116664658B (zh) * | 2023-07-25 | 2024-01-05 | 长沙智能驾驶研究院有限公司 | 一种障碍物检测方法、装置及终端设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701449A (zh) * | 2015-12-31 | 2016-06-22 | 百度在线网络技术（北京）有限公司 | 路面上的车道线的检测方法和装置 |
| CN106707293A (zh) * | 2016-12-01 | 2017-05-24 | 百度在线网络技术（北京）有限公司 | 用于车辆的障碍物识别方法和装置 |
| KR101899549B1 (ko) * | 2017-12-27 | 2018-09-17 | 재단법인 경북아이티융합 산업기술원 | 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법 |
| CN109145680A (zh) * | 2017-06-16 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 一种获取障碍物信息的方法、装置、设备和计算机存储介质 |
| CN109509260A (zh) * | 2017-09-14 | 2019-03-22 | 百度在线网络技术（北京）有限公司 | 动态障碍物点云的标注方法、设备及可读介质 |
| CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
| WO2019175130A1 (fr) * | 2018-03-14 | 2019-09-19 | Renault S.A.S | Procédé robuste de détection d'obstacles, notamment pour véhicules autonomes |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101791590B1 (ko) * | 2010-11-05 | 2017-10-30 | 삼성전자주식회사 | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 |
| KR101795432B1 (ko) * | 2016-02-26 | 2017-11-10 | 현대자동차주식회사 | 차량 및 차량의 제어방법 |
| US10671862B2 (en) * | 2018-01-30 | 2020-06-02 | Wipro Limited | Method and system for detecting obstacles by autonomous vehicles in real-time |
-
2020
- 2020-04-01 CN CN202010250818.4A patent/CN113496163B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701449A (zh) * | 2015-12-31 | 2016-06-22 | 百度在线网络技术（北京）有限公司 | 路面上的车道线的检测方法和装置 |
| CN106707293A (zh) * | 2016-12-01 | 2017-05-24 | 百度在线网络技术（北京）有限公司 | 用于车辆的障碍物识别方法和装置 |
| CN109145680A (zh) * | 2017-06-16 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 一种获取障碍物信息的方法、装置、设备和计算机存储介质 |
| CN109509260A (zh) * | 2017-09-14 | 2019-03-22 | 百度在线网络技术（北京）有限公司 | 动态障碍物点云的标注方法、设备及可读介质 |
| KR101899549B1 (ko) * | 2017-12-27 | 2018-09-17 | 재단법인 경북아이티융합 산업기술원 | 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법 |
| WO2019175130A1 (fr) * | 2018-03-14 | 2019-09-19 | Renault S.A.S | Procédé robuste de détection d'obstacles, notamment pour véhicules autonomes |
| CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于RGB-D图像的物体识别与位置估计方法;刘海龙;肖攀;邱明玮;刘岩;李兵兵;马春生;柴庆冕;刘志炜;;机械制造(07);67-70+79 * |
| 基于信息融合的智能车障碍物检测方法;陆峰;徐友春;李永乐;王德宇;谢德胜;;计算机应用(S2);120-124 * |
| 应用激光雷达与相机信息融合的障碍物识别;黄兴;应群伟;;计算机测量与控制(01);189-193+199 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113496163A (zh) | 2021-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147706B (zh) | 障碍物的识别方法和装置、存储介质、电子装置 | |
| EP3581890B1 (en) | Method and device for positioning | |
| US20230014874A1 (en) | Obstacle detection method and apparatus, computer device, and storage medium | |
| CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
| CN112949366B (zh) | 障碍物识别方法和装置 | |
| EP2874097A2 (en) | Automatic scene parsing | |
| Lookingbill et al. | Reverse optical flow for self-supervised adaptive autonomous robot navigation | |
| CN108764187A (zh) | 提取车道线的方法、装置、设备、存储介质以及采集实体 | |
| CN110428490B (zh) | 构建模型的方法和装置 | |
| CN105678689A (zh) | 高精地图数据配准关系确定方法及装置 | |
| US11371851B2 (en) | Method and system for determining landmarks in an environment of a vehicle | |
| Ji et al. | RGB-D SLAM using vanishing point and door plate information in corridor environment | |
| CN113496163B (zh) | 障碍物识别方法和装置 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
| US20230138487A1 (en) | An Environment Model Using Cross-Sensor Feature Point Referencing | |
| CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
| Feng et al. | 3D feature point extraction from LiDAR data using a neural network | |
| Oskouie et al. | A data quality-driven framework for asset condition assessment using LiDAR and image data | |
| Zhao et al. | Environmental perception and sensor data fusion for unmanned ground vehicle | |
| CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
| JP7133971B2 (ja) | ３次元モデル生成装置及び３次元モデル生成方法 | |
| CN114089364A (zh) | 一种集成化的感知系统装置及实现方法 | |
| CN111890358A (zh) | 双目避障方法、装置、存储介质及电子装置 | |
| Ghorbani et al. | A Robust and Automatic Algorithm for TLS-ALS Point Cloud Registration in Forest Environments based on Tree Locations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |