CN114295139A - 一种协同感知定位方法及系统 - Google Patents
一种协同感知定位方法及系统 Download PDFInfo
- Publication number
- CN114295139A CN114295139A CN202111528637.4A CN202111528637A CN114295139A CN 114295139 A CN114295139 A CN 114295139A CN 202111528637 A CN202111528637 A CN 202111528637A CN 114295139 A CN114295139 A CN 114295139A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- target
- detection result
- target detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 claims abstract description 90
- 230000000007 visual effect Effects 0.000 claims abstract description 53
- 238000012360 testing method Methods 0.000 claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000010276 construction Methods 0.000 claims abstract description 21
- 238000013135 deep learning Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims 2
- 238000004891 communication Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提供一种协同感知定位方法及系统，该方法包括：获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果；获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果；基于预设融合算法将所述视觉目标探测结果和所述视觉目标探测结果进行融合，得到待定位目标位置；将所述待定位目标位置与局部场景构建地图行融合，获得所述待定位目标位置的坐标转换结果。本发明通过设置多个路测设备对待定位目标进行协同感知定位，同时兼顾了车辆定位和道路上其它元素的定位，具有定位准确、实时性高和可动态调整的特点。
Description
技术领域
本发明涉及定位技术领域，尤其涉及一种协同感知定位方法及系统。
背景技术
随着城市化进程的加快，越来越多的超大规模城市正在建设中，伴随而来的则是超大规模城市内部的道路日趋复杂化，对道路和行车的安全要求也是越来越高。
目前，很多城市都加快了智慧交通的建设，其核心就是车路协同，主要实现人车路的有效协同，保证交通安全，提高通行效率。传统的道路交通场景中，大都采用高精度地图采集车辆信息，提前采集道路综合信息，对应地，在车辆上装备卫星接收机、激光雷达、惯性视觉等传感器，向云端实时传送定位坐标，通过云端计算以及三维建模最终呈现实时的智能交通状况。
上述车路协同的方案存在如下局限性：
(1)由于城市道路环境比较复杂，存在诸如高楼大厦、林荫树木和高架桥等场景，目前绝大多数车辆定位均是依赖卫星导航系统，所以车辆接收的卫星信号很有可能是经过多次反射而来，使得定位信号具有极大的不稳定性；
(2)使所有普通车辆均配备激光雷达，虽然一定程度可提高系统定位的稳健性，但无疑会大幅增加车辆使用成本，且由于城市内部道路环境复杂，对应的定位算法设计需脚骨全天候、多场景等诸多因素，实施起来具有不小的困难；
(3)若采用提前构建高清地图的技术手段，由于交通因素的不确定性，道路状况经常发生变化，当存在道路施工或突发的不可抗力因素，提前建立的高精度地图将不再适用实时道路状况，需要重新测图，将会极大增加人工成本；
(4)道路上不仅存在车辆，还存在行人、建筑和公共设施等其它因素，若仅对配备定位设备的车辆进行定位，将会使得高精度地图要素严重缺失的问题。
因此，需要提出一种新的针对城市道路进行综合定位的处理方法，能解决上述过于依赖道路环境和现有定位设备的缺陷。
发明内容
本发明提供一种协同感知定位方法及系统，用以解决现有技术中针对城市道路综合定位时受道路环境影响较大、受限于现有定位系统安装成本以及定位精度不高的缺陷。
第一方面，本发明提供一种协同感知定位方法，包括：
获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果；
获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果；
基于预设融合算法将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到待定位目标位置；
将所述待定位目标位置与局部场景构建地图进行融合，获得所述待定位目标位置的坐标转换结果。
根据本发明提供的一种协同感知定位方法，获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果，之前还包括：
确定路测设备，所述路测设备包括激光雷达、相机和路测计算单元，并设置于待定位范围内的预设路口；
确定各传感器的探测范围和数据采样频率，基于所述探测范围和所述数据采样频率对所述路测设备进行标定。
根据本发明提供的一种协同感知定位方法，确定各传感器的探测范围和数据采样频率，基于所述探测范围和所述数据采样频率对所述路测设备进行标定，包括：
根据所述探测范围对所述激光雷达和所述相机的外部空间参数进行标定；
根据所述数据采用频率对所述激光雷达和所述相机的时间畸变参数进行标定。
根据本发明提供的一种协同感知定位方法，获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果，包括：
所述视觉相机拍摄获取所述待定位目标序列图像；
所述路测计算单元基于掩膜区域卷积神经网络Mask R-CNN深度学习网络对所述待定位目标序列图像进行像素级分割，提取所述视觉目标探测结果。
根据本发明提供的一种协同感知定位方法，获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果，包括：
所述激光雷达获取待定位点云数据；
将所述待定位点云数据进行栅格化，得到栅格化点云目标数据；
通过多尺度窗口搜索和自适应空间聚类算法对所述栅格化点云目标数据进行提取，得到所述激光点云目标探测结果。
根据本发明提供的一种协同感知定位方法，基于预设融合算法将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到待定位目标位置，包括：
基于语义信息增强的Dempster-Shafer证据理论融合算法，将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到多维目标位置信息和多维目标语义信息；
基于所述多维目标位置信息和多数多维目标语义信息，输出所述待定位目标位置。
根据本发明提供的一种协同感知定位方法，所述将所述待定位目标位置与局部场景构建地图进行融合，获得所述待定位目标位置的定位结果，之前还包括：
基于所述待定位点云数据，确定所述局部场景构建地图；其中，所述局部场景构建地图包括道路模型、车道模型和交通标志信息。
第二方面，本发明还提供一种协同感知定位系统，包括：
第一定位模块，用于获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果；
第二定位模块，用于获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果；
第一融合模块，用于基于预设融合算法将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到待定位目标位置；
第二融合模块，用于将所述待定位目标位置与局部场景构建地图进行融合，获得所述待定位目标位置的坐标转换结果。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述协同感知定位方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述协同感知定位方法的步骤。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述协同感知定位方法的步骤。
本发明提供的协同感知定位方法及系统，通过设置多个路测设备对待定位目标进行协同感知定位，同时兼顾了车辆定位和道路上其它元素的定位，具有定位准确、实时性高和可动态调整的特点。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的协同感知定位方法的流程示意图之一；
图2是本发明提供的协同感知定位方法的流程示意图之二；
图3是本发明提供的协同感知定位系统的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对目前城市中道路定位存在的诸多缺陷，本发明提出基于路测设备的协同感知定位方法，目的是为了建立该路测场景下的高精度地图，并在该场景下，完成实时交通各要素(包括人、车和物等)的定位信息。
图1是本发明提供的协同感知定位方法的流程示意图之一，如图1所示，包括：
步骤S1，获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果；
步骤S2，获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果；
步骤S3，基于预设融合算法将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到待定位目标位置；
步骤S4，将所述待定位目标位置与局部场景构建地图进行融合，获得所述待定位目标位置的坐标转换结果。
具体地，不同于现有的定位方法，将定位设备安装于被定位目标上，本发明通过在待定位场景一定范围内安装多个路测设备，包括但不限于LIDAR(Laser Radar，激光雷达)和相机，以及相应的高性能路测计算单元。此处，安装多种类型的路测设备，是为了防止单一类型的路测设备存在局限性，而采用多种类型的路测设备，分别进行定位处理，最后综合多种定位结果，达到互为补充，互相验证的效果，使最终的定位结果更加精准。
首先，高精度的激光雷达测量待定位目标得到待定位点云数据，由该待定位点云数据可以进行局部场景建图；其次，视觉相机通过拍摄待定位目标序列图像，通过在高性能路测计算平台上处理，基于Mask R-CNN(Mask Region-based Convolutional NeuralNetwork，掩膜区域卷积神经网络)深度学习网络实现图像的像素级分割，进行视觉语义分割，提取待定位的视觉目标；同时，将待定位点云数据栅格化处理，并通过多尺度窗口搜索和自适应空间聚类思想对相应的点云目标进行提取；最终，通过基于语义信息增强的Dempster-Shafer证据理论融合算法，将激光点云目标探测结果与视觉目标探测结果进行融合，得到交通道路上各目标的位置，该位置结果是与激光雷达建立的局部地图相融合，即完成了实时交通高精度地图构建以及各要素定位。
需要说明的是，在得到视觉目标探测结果和激光点云目标探测结果后，视觉与激光雷达融合对交通道路上的目标进行定位，得到的定位结果是相机与激光雷达自身坐标系的结果，例如：相机光心为原点，前右下分别为XYZ轴建立的坐标系，在这个坐标系下的结果；与局部地图融合后，则是将融合结果转换统一至另一种坐标系下，根据事先知道的传感器安装绝对位置以及传感器之间的相对空间关系，对视觉、激光雷达所识别的目标物输出通常习惯的坐标系结果表达，例如：纬度，经度和高程。
本发明突破传统定位技术的局限，通过在目标定位区域设置多个路测设备，获取待定位目标的多种类型数据，根据相应处理算法，实现多感知的协同定位处理，具有定位准确，实时处理效率高，以及低成本的特点。
基于上述实施例，该方法步骤S1之前包括：
确定路测设备，所述路测设备包括激光雷达、相机和路测计算单元，并设置于待定位范围内的预设路口；
确定各传感器的探测范围和数据采样频率，基于所述探测范围和所述数据采样频率对所述路测设备进行标定。
其中，确定各传感器的探测范围和数据采样频率，基于所述探测范围和所述数据采样频率对所述路测设备进行标定，包括：
根据所述探测范围对所述激光雷达和所述相机的外部空间参数进行标定；
根据所述数据采用频率对所述激光雷达和所述相机的时间畸变参数进行标定。
具体地，本发明在通过多种类型的路测设备进行交叉协同定位处理之前，需要对相应的硬件进行设置，具体包括：
首先，根据先验数据，例如大数据统计的在当前定位范围内，获取多个道路综合信息，由多个道路综合信息获得典型路口数据，因为在这些典型路口，具有车流量大，道路交叉点多，环境复杂和人流密集等特点，因此，在这些典型路口设置路测设备，获得的数据具有很强的代表性，能提高整体的定位准确性。
将负责前端获取图像数据的激光雷达、相机以及后端负责处理的高性能路测计算单元安放于典型路口，用于获取来往车辆和行人，以及周边环境的数据。
为确保上述路测设备的正常使用，需事先完成相应路测设备的标定工作，通过对畸变参数和外部空间参数等，完成对激光雷达和相机的参数标定。
此外，还需对激光雷达和相机上对应的传感器设置采样频率，通过设置采样频率给传感器对应采集的数据打上时间标签，目的是为了方便融合解算，例如在时刻t，通过设置相同的采样频率，使激光雷达和相机分别采集的数据均对应于该时刻t，且采集的数据通过时间标签，确认为同一时刻的采集数据，避免在后续对多个采集数据进行处理时产生错误，只有处理在同一时刻两传感器采集得到的数据才是准确且有意义的。
还需要说明的是，本发明所提出的标定主要是解决两个问题，空间和时间的问题：空间方面：主要是激光雷达和相机之间相对关系；六个自由度的说明，相机光心为圆点，前右下分别为XYZ轴，激光雷达也是类似，这样就会有原点与原点的三个平移偏移量，以及把这两个坐标系重合需要绕轴旋转三次，三个角度，所以是6个自由度；
时间方面：相机或激光雷达每次采集数据一次，系统会做一次中断，记录下这个时间，但由于传输延迟或者干扰问题，这个时间会略有偏差，假如系统记录的是1.0s，真实时间是1.02s，这个时间偏移量是可以标定出来的。
本发明通过灵活设置多个路测设备，解决了传统定位方法中由于在中央处理器集中处理多个车辆上传的数据而造成通信延迟或数据异常的问题，通过多维角度协同获取数据，既提升了数据获取的效率，又确保数据获取的准确性。
基于上述任一实施例，该方法中步骤S1包括：
所述视觉相机拍摄获取所述待定位目标序列图像；
所述路测计算单元基于掩膜区域卷积神经网络Mask R-CNN深度学习网络对所述待定位目标序列图像进行像素级分割，提取所述视觉目标探测结果。
具体地，对于本发明设置的路测设备中，通过视觉处理的相机按照预先设置好的采样频率拍摄获取待定位目标序列图像，将待定位目标序列图像传递给后端的高性能路测计算单元，采用基于Mask R-CNN深度学习网络实现图像的像素级分割，进行视觉语义分割，提取待定位的视觉目标，如人、车和物等。
需要说明的是，本发明所采用的Mask R-CNN是一个实例分割(Instancesegmentation)算法，可以用来做目标检测、目标实例分割和目标关键点检测，而本发明所涉及的目标分割通常意义上指的就是语义分割，即将获取的待定位目标序列图像进行像素级分割，通过一定数量的模型训练，构建视觉语义分割模型，从而得到第一待定位视觉语义目标，即视觉图像角度的视觉语义目标。
本发明通过相机获得视觉图像角度的待定位结果，应用了较为成熟的Mask R-CNN深度学习网络，具有计算准确和效率高的特点。
基于上述任一实施例，该方法步骤S2包括：
所述激光雷达获取待定位点云数据；
将所述待定位点云数据进行栅格化，得到栅格化点云目标数据；
通过多尺度窗口搜索和自适应空间聚类算法对所述栅格化点云目标数据进行提取，得到所述激光点云目标探测结果。
具体地，本发明除了相机获取图像外，还设置了激光雷达进行数据获取，高精度的激光雷达获取的是待定位目标的点云数据，和视觉图像的后端处理一样，将获得的待定位点云数据传递至高性能路测计算单元进行处理。
首先，将激光点云数据进行栅格化，然后通过多尺度窗口搜索和自适应空间聚类对栅格化点云目标数据进行提取，这里的栅格化表示将矢量图形转换成位图的过程；
激光点云栅格化核心思想是将激光雷达所扫描到的区域用网格进行处理，每个栅格点云代表空间的一小块区域，内含一部分点云，点云栅格化处理分为二维栅格化和三维栅格化，二维其实就是将三维点云进行一个投影，不考虑z值的变化。
这里涉及到二维栅格化的处理：
假设地面相对平坦，即地面扫描点的z轴方向的波动较小，通过将扫描区域进行栅格划分，将扫描点云投影到xy的栅格平面，通过统计栅格中z轴方面的最高点和最低点的差值(即，极差)，判断栅格中的点是否为地面点或障碍物点。
空间聚类算法常用的有欧式聚类(即采用欧氏距离计算样本之间的距离)等算法，本发明不作相应的限制，得到第二待定位视觉语义目标，即激光雷达点云角度的视觉语义目标。
本发明通过激光雷达获得激光雷达点云角度的待定位结果，采用栅格化和聚类算法，具有计算方便和效率高的特点，并对视觉图像数据形成有效补充。
基于上述任一实施例，该方法步骤S3包括：
基于语义信息增强的Dempster-Shafer证据理论融合算法，将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到多维目标位置信息和多维目标语义信息；
基于所述多维目标位置信息和多数多维目标语义信息，输出所述待定位目标位置。
具体地，对于本发明从视觉图像角度获取的视觉目标探测结果，以及从激光雷达角度获取的激光点云目标探测结果，需要综合进行融合验证。
这里，采用基于语义信息增强的Dempster-Shafer证据理论融合算法，将激光点云目标探测结果与视觉目标探测结果进行融合，得到多维目标位置和多维目标语义信息，最后综合得到交通道路上各目标的位置。Dempster-Shafer证据理论融合算法是将多个主体(可以是不同的人的预测、不同的传感器的数据、不同的分类器的输出结果等等)进行有效融合的交叉验证算法。
本发明通过综合多种目标探测结果，避免采用单一的数据处理造成定位偏差，具有准确性高和实时性高的特点。
基于上述任一实施例，该方法步骤S4之前包括：
基于所述待定位点云数据，确定所述局部场景构建地图；其中，所述局部场景构建地图包括道路模型、车道模型和交通标志信息。
具体地，在综合得到待定位区域内交通道路上各目标的精确位置后，还需要得到各目标相对于高精度地图的具体位置信息，因此，在输出最后的定位结果之前，需要构建高精度地图。
由激光雷达建立局部场景地图，激光雷达发射激光探测周围环境，得到点云信息，即是将周围环境映射为点的信息，可以感受到每个点的深度(不同于照片是二维的)，点云是三维的，地图的构建是通过专业激光雷达建图算法处理点云信息得到的
此处，本发明通过由高精度的激光雷达测量得到的待定位点云数据，进行局部场景建图，得到的高精度地图包括道路模型、车道模型、交通标志等的绝对坐标、轮廓和其他属性信息。
进一步地，将得到的交通道路上各目标的位置与上述高精度地图相结合，可得到各定位目标在高精度地图上的具体信息，该具体信息根据实际使用需要，能提取多种所需信息。
本发明所提出的车路协同方案，不仅包含车辆本身的要素信息，还包括其他多种要素信息，由定位位置信息和地图信息综合得到较为准确的定位目标结果。
下面以一个具体的实施例来说明本发明的方案，图2是本发明提供的协同感知定位方法的流程示意图之二，如图2所示，包括：
步骤一：在目前典型的路口安装本申请所提出的路测设备，主要包括激光雷达和相机，以及相应的高性能路测计算单元；
步骤二：事先完成相应路测设备的标定工作，如激光雷达的标定和相机的标定，涉及设备的畸变参数、激光雷达和相机的外部空间参数等的确定；
步骤三：设置激光雷达和相机对应各传感器采集数据的采样频率，以及给对应传感器采集的数据打上时间标签，便于对同一时刻获取的数据进行时间同步，并方便后续的融合计算；
步骤四：采用高精度激光雷达测量得到待定位点云信息，进行局部场景建图，包括道路模型、车道模型、交通标志等的绝对坐标、轮廓和其它属性信息；
步骤五：在视觉相机一侧，基于Mask R-CNN深度学习网络实现图像的像素级分割，进行视觉语义分割，提取待定位的视觉目标，如人、车和物等；
步骤六：在激光雷达一侧，将获得的待定位点云数据进行栅格化，通过多尺度窗口搜索和自适应空间聚类思想(如欧式聚类)对相应的点云目标进行提取；
步骤七：通过基于语义信息增强的Dempster-Shafer证据理论融合算法，将激光点云目标探测结果与视觉目标探测结果进行融合，得到交通道路上各目标的位置；
步骤八：将步骤七中得到的交通道路上各目标的位置，与高精度激光雷达在步骤四中构建的局部场景建图相融合，完成实时交通高精度地图构建以及各要素定位。
下面对本发明提供的协同感知定位系统进行描述，下文描述的协同感知定位系统与上文描述的协同感知定位方法可相互对应参照。
图3是本发明提供的协同感知定位系统的结构示意图，如图3所示，包括：第一定位模块31、第二定位模块32、第一融合模块33和第二融合模块34，其中：
第一定位模块31用于获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果；第二定位模块32用于获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果；第一融合模块33于基于预设融合算法将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到待定位目标位置；第二融合模块34用于将所述待定位目标位置与局部场景构建地图进行融合，获得所述待定位目标位置的坐标转换结果。
本发明通过设置多个路测设备对待定位目标进行协同感知定位，同时兼顾了车辆定位和道路上其它元素的定位，具有定位准确、实时性高和可动态调整的特点。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行协同感知定位方法，该方法包括：获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果；获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果；基于预设融合算法将所述视觉目标探测结和所述激光点云目标探测结果进行融合，得到待定位目标位置；将所述待定位目标位置与局部场景构建地图进行融合，获得所述待定位目标位置的坐标转换结果。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的协同感知定位方法，该方法包括：获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果；获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果；基于预设融合算法将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到待定位目标位置；将所述待定位目标位置与局部场景构建地图进行融合，获得所述待定位目标位置的坐标转换结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的协同感知定位方法，该方法包括：获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果；获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果；基于预设融合算法将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到待定位目标位置；将所述待定位目标位置与局部场景构建地图进行融合，获得所述待定位目标位置的坐标转换结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种协同感知定位方法，其特征在于，包括：
获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果；
获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果；
基于预设融合算法将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到待定位；
将所述待定位目标位置与局部场景构建地图进行融合，获得所述待定位目标位置的坐标转换结果。
2.根据权利要求1所述的协同感知定位方法，其特征在于，获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果，之前还包括：
确定路测设备，所述路测设备包括激光雷达、相机和路测计算单元，并设置于待定位范围内的预设路口；
确定各传感器的探测范围和数据采样频率，基于所述探测范围和所述数据采样频率对所述路测设备进行标定。
3.根据权利要求2所述的协同感知定位方法，其特征在于，确定各传感器的探测范围和数据采样频率，基于所述探测范围和所述数据采样频率对所述路测设备进行标定，包括：
根据所述探测范围对所述激光雷达和所述相机的外部空间参数进行标定；
根据所述数据采用频率对所述激光雷达和所述相机的时间畸变参数进行标定。
4.根据权利要求2所述的协同感知定位方法，其特征在于，获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果，包括：
所述视觉相机拍摄获取所述待定位目标序列图像；
所述路测计算单元基于掩膜区域卷积神经网络Mask R-CNN深度学习网络对所述待定位目标序列图像进行像素级分割，提取所述视觉目标探测结果。
5.根据权利要求2所述的协同感知定位方法，其特征在于，获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果，包括：
所述激光雷达获取待定位点云数据；
将所述待定位点云数据进行栅格化，得到栅格化点云目标数据；
通过多尺度窗口搜索和自适应空间聚类算法对所述栅格化点云目标数据进行提取，得到所述激光点云目标探测结果。
6.根据权利要求1所述的协同感知定位方法，其特征在于，基于预设融合算法将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到待定位目标位置，包括：
基于语义信息增强的Dempster-Shafer证据理论融合算法，将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到多维目标位置信息和多维目标语义信息。
7.根据权利要求1所述的协同感知定位方法，其特征在于，所述将所述待定位目标位置与局部场景构建地图进行融合，获得所述待定位目标位置的定位结果，之前还包括：
基于所述待定位点云数据，确定所述局部场景构建地图；其中，所述局部场景构建地图包括道路模型、车道模型和交通标志信息。
8.一种协同感知定位系统，其特征在于，包括：
第一定位模块，用于获取待定位目标序列图像，基于预设深度学习网络对所述待定位目标序列图像进行处理，获得视觉目标探测结果；
第二定位模块，用于获取待定位点云数据，对所述待定位点云数据进行栅格化和聚类处理，获得激光点云目标探测结果；
第一融合模块，用于基于预设融合算法将所述视觉目标探测结果和所述激光点云目标探测结果进行融合，得到待定位目标位置；
第二融合模块，用于将所述待定位目标位置与局部场景构建地图进行融合，获得所述待定位目标位置的坐标转换结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述协同感知定位方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述协同感知定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111528637.4A CN114295139A (zh) | 2021-12-14 | 2021-12-14 | 一种协同感知定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111528637.4A CN114295139A (zh) | 2021-12-14 | 2021-12-14 | 一种协同感知定位方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114295139A true CN114295139A (zh) | 2022-04-08 |
Family
ID=80966773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111528637.4A Pending CN114295139A (zh) | 2021-12-14 | 2021-12-14 | 一种协同感知定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114295139A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311573A (zh) * | 2022-10-08 | 2022-11-08 | 浙江壹体科技有限公司 | 一种场地线检测和目标定位方法、电子设备及存储介质 |
| CN115797452A (zh) * | 2023-01-31 | 2023-03-14 | 中国电子科技集团公司第二十八研究所 | 一种基于空间网格编码的对地协同探测方法 |
| CN116229765A (zh) * | 2023-05-06 | 2023-06-06 | 贵州鹰驾交通科技有限公司 | 一种基于数字数据处理的车路协同方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135485A (zh) * | 2019-05-05 | 2019-08-16 | 浙江大学 | 单目相机与毫米波雷达融合的物体识别与定位方法和系统 |
| CN110246159A (zh) * | 2019-06-14 | 2019-09-17 | 湖南大学 | 基于视觉和雷达信息融合的3d目标运动分析方法 |
| CN110568447A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 视觉定位的方法、装置及计算机可读介质 |
| CN111027401A (zh) * | 2019-11-15 | 2020-04-17 | 电子科技大学 | 一种摄像头和激光雷达融合的端到端目标检测方法 |
| US20200160559A1 (en) * | 2018-11-16 | 2020-05-21 | Uatc, Llc | Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection |
| CN112101092A (zh) * | 2020-07-31 | 2020-12-18 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
| CN112883846A (zh) * | 2021-02-02 | 2021-06-01 | 英飞拓(杭州)信息系统技术有限公司 | 一种用于检测车辆前方目标的三维数据采集成像系统 |
| CN113255504A (zh) * | 2021-05-19 | 2021-08-13 | 燕山大学 | 一种基于深度学习的路侧视角超视距全域融合感知系统 |
| CN113421305A (zh) * | 2021-06-29 | 2021-09-21 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、系统、电子设备及存储介质 |
| CN113485319A (zh) * | 2021-06-08 | 2021-10-08 | 中兴智能汽车有限公司 | 基于5g车路协同的自动驾驶系统 |
-
2021
- 2021-12-14 CN CN202111528637.4A patent/CN114295139A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200160559A1 (en) * | 2018-11-16 | 2020-05-21 | Uatc, Llc | Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection |
| CN110135485A (zh) * | 2019-05-05 | 2019-08-16 | 浙江大学 | 单目相机与毫米波雷达融合的物体识别与定位方法和系统 |
| CN110246159A (zh) * | 2019-06-14 | 2019-09-17 | 湖南大学 | 基于视觉和雷达信息融合的3d目标运动分析方法 |
| CN110568447A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 视觉定位的方法、装置及计算机可读介质 |
| CN111027401A (zh) * | 2019-11-15 | 2020-04-17 | 电子科技大学 | 一种摄像头和激光雷达融合的端到端目标检测方法 |
| CN112101092A (zh) * | 2020-07-31 | 2020-12-18 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
| CN112883846A (zh) * | 2021-02-02 | 2021-06-01 | 英飞拓(杭州)信息系统技术有限公司 | 一种用于检测车辆前方目标的三维数据采集成像系统 |
| CN113255504A (zh) * | 2021-05-19 | 2021-08-13 | 燕山大学 | 一种基于深度学习的路侧视角超视距全域融合感知系统 |
| CN113485319A (zh) * | 2021-06-08 | 2021-10-08 | 中兴智能汽车有限公司 | 基于5g车路协同的自动驾驶系统 |
| CN113421305A (zh) * | 2021-06-29 | 2021-09-21 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、系统、电子设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311573A (zh) * | 2022-10-08 | 2022-11-08 | 浙江壹体科技有限公司 | 一种场地线检测和目标定位方法、电子设备及存储介质 |
| CN115797452A (zh) * | 2023-01-31 | 2023-03-14 | 中国电子科技集团公司第二十八研究所 | 一种基于空间网格编码的对地协同探测方法 |
| CN116229765A (zh) * | 2023-05-06 | 2023-06-06 | 贵州鹰驾交通科技有限公司 | 一种基于数字数据处理的车路协同方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110758243B (zh) | 一种车辆行驶过程中的周围环境显示方法和系统 | |
| CN112101092A (zh) | 自动驾驶环境感知方法及系统 | |
| CN114295139A (zh) | 一种协同感知定位方法及系统 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN110906954A (zh) | 一种基于自动驾驶平台的高精度地图测试评估方法和装置 | |
| CN112740225B (zh) | 一种路面要素确定方法及装置 | |
| CN111880191B (zh) | 基于多智能体激光雷达和视觉信息融合的地图生成方法 | |
| CN113640822B (zh) | 一种基于非地图元素过滤的高精度地图构建方法 | |
| CN113989450A (zh) | 图像处理方法、装置、电子设备和介质 | |
| CN112001958A (zh) | 基于有监督单目深度估计的虚拟点云三维目标检测方法 | |
| CN111060924A (zh) | 一种slam与目标跟踪方法 | |
| CN112802092B (zh) | 一种障碍物感知方法、装置以及电子设备 | |
| CN113009506A (zh) | 一种虚实结合的实时激光雷达数据生成方法、系统及设备 | |
| CN112489099A (zh) | 点云配准方法、装置、存储介质及电子设备 | |
| CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
| CN114485698A (zh) | 一种交叉路口引导线生成方法及系统 | |
| CN114639085A (zh) | 交通信号灯识别方法、装置、计算机设备和存储介质 | |
| CN117111085A (zh) | 一种自动驾驶汽车车路云融合感知方法 | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| CN111833443A (zh) | 自主机器应用中的地标位置重建 | |
| CN114252883B (zh) | 目标检测方法、装置、计算机设备和介质 | |
| CN114252859A (zh) | 目标区域的确定方法、装置、计算机设备和存储介质 | |
| CN112507891A (zh) | 自动化识别高速路口并构建路口向量的方法及装置 | |
| CN116630931A (zh) | 障碍物检测方法、系统、农业机械、电子设备和存储介质 | |
| KR100981588B1 (ko) | 특징점 픽셀의 크기와 방향 정보를 이용하는 벡터 변환에 기초한 도시공간 지리정보 생성 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220408 |
|
| RJ01 | Rejection of invention patent application after publication |