CN115661589A - 评测融合感知算法的方法、装置、存储介质及车辆 - Google Patents
评测融合感知算法的方法、装置、存储介质及车辆 Download PDFInfo
- Publication number
- CN115661589A CN115661589A CN202211438235.XA CN202211438235A CN115661589A CN 115661589 A CN115661589 A CN 115661589A CN 202211438235 A CN202211438235 A CN 202211438235A CN 115661589 A CN115661589 A CN 115661589A
- Authority
- CN
- China
- Prior art keywords
- target
- perception
- real
- sensing
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title claims abstract description 651
- 230000004927 fusion Effects 0.000 title claims abstract description 110
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000011156 evaluation Methods 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 233
- 230000000875 corresponding effect Effects 0.000 claims description 200
- 230000002596 correlated effect Effects 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 2
- JXASPPWQHFOWPL-UHFFFAOYSA-N Tamarixin Natural products C1=C(O)C(OC)=CC=C1C1=C(OC2C(C(O)C(O)C(CO)O2)O)C(=O)C2=C(O)C=C(O)C=C2O1 JXASPPWQHFOWPL-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本公开涉及一种评测融合感知算法的方法、装置、存储介质及车辆。该方法包括：获取毫米波雷达传感器对目标场景进行感知得到的点云数据，以及摄像机对所述目标场景进行感知得到的感知图像，所述毫米波雷达传感器和所述摄像机之间存在相同的感知视角范围；根据待评测的融合感知算法对所述点云数据和所述感知图像进行目标识别，得到识别出的感知目标；将所述目标场景中的真实目标与所述感知目标进行关联处理，得到关联结果；根据所述关联结果确定所述待评测的融合感知算法的评测结果。采用这种方式可以确定待评测的融合感知算法的优劣。
Description
技术领域
本公开涉及目标检测识别技术领域，尤其涉及一种评测融合感知算法的方法、装置、存储介质及车辆。
背景技术
自动驾驶系统通过感知系统感知车辆周围的环境，并基于车辆周围的环境做出行驶决策以控制车辆自动行驶。在感知系统感知车辆周围的环境的过程中，感知系统会对传感器采集到的感知数据进行实体/目标识别如障碍物识别，自动驾驶系统基于实体/目标识别结果可做出适应于当前环境的行驶决策。
相关技术中，目标识别算法（包括对单一感知数据源进行目标识别的算法、对多个感知数据源即融合数据源进行目标识别的算法）的优劣影响了目标识别结果的准确性，而目标识别结果的准确性对自动驾驶系统是否作出安全行驶决策有着非常重要的影响。因此，为了保障自动驾驶车辆安全地行驶，需对目标识别算法的优劣进行评测。
发明内容
为克服相关技术中存在的问题，本公开提供一种评测融合感知算法的方法、装置、存储介质及车辆。
根据本公开实施例的第一方面，提供一种评测融合感知算法的方法，所述方法包括：
获取毫米波雷达传感器对目标场景进行感知得到的点云数据，以及摄像机对所述目标场景进行感知得到的感知图像，所述毫米波雷达传感器和所述摄像机之间存在相同的感知视角范围；
根据待评测的融合感知算法对所述点云数据和所述感知图像进行目标识别，得到识别出的感知目标；
将所述目标场景中的真实目标与所述感知目标进行关联处理，得到关联结果；
根据所述关联结果确定所述待评测的融合感知算法的评测结果。
可选地，所述感知目标的数量为多个，所述真实目标的数量为多个，所述将所述目标场景中的真实目标与所述感知目标进行关联处理，得到关联结果，包括：
基于各所述感知目标对应的数据源类型，对所有的所述感知目标进行分类，得到不同数据源类型对应的感知目标集合；
针对每一所述感知目标集合，根据与所述感知目标集合的数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果；
其中，所述关联结果包括各所述感知目标集合对应的所述关联处理子结果。
可选地，在所述感知目标集合的数据源类型为图像数据源类型的情况下，根据与所述图像数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果，包括：
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的面积交并比，得到面积交并比矩阵，所述面积交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述面积交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
基于所述夹角交并比矩阵中各元素的大小、以及所述面积交并比矩阵中各元素的大小，确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，所述关联处理子结果包括所述已关联感知目标、以及所述已关联真实目标。
可选地，在所述夹角交并比矩阵的行对应所述感知目标，且所述面积交并比矩阵的行对应所述感知目标的情况下，所述基于所述夹角交并比矩阵中各元素的大小、以及所述面积交并比矩阵中各元素的大小，确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，包括：
针对每一所述感知目标，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第一预设阈值的第一目标元素；并，
将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为候选真实目标；
从所述面积交并比矩阵中所述感知目标对应的行中确定各所述候选真实目标对应的第二目标元素；
确定所有的所述第二目标元素中的最大值，并在所述最大值大于第二预设阈值的情况下，将所述最大值对应的所述候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述方法还包括：
在所述最大值小于或等于所述第二预设阈值的情况下，从所有的所述候选真实目标中，确定与所述感知目标的纵向误差率最小的第一候选真实目标；
在所述第一候选真实目标与所述感知目标的纵向误差率小于第三预设阈值的情况下，将所述第一候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，在所述感知目标集合的数据源类型为图像数据源类型的情况下，根据与所述图像数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果，包括：
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
在所述夹角交并比矩阵的行对应所述感知目标的情况下，针对每一所述感知目标，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第一预设阈值的第一目标元素；并，
将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为候选真实目标；
计算所述感知目标与各所述候选真实目标的面积交并比，并确定值最大的目标面积交并比；
在所述目标面积交并比大于第二预设阈值的情况下，将所述目标面积交并比对应的所述候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述方法还包括：
在所述目标面积交并比小于或等于所述第二预设阈值的情况下，从所有的所述候选真实目标中，确定与所述感知目标的纵向误差率最小的第一候选真实目标；
在所述第一候选真实目标与所述感知目标的纵向误差率小于第三预设阈值的情况下，将所述第一候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述感知目标与所述真实目标的夹角交并比是通过如下方式计算得到的：
计算所述感知目标对应的感知目标框在目标坐标系下对应的第一夹角范围，所述感知目标框是根据所述感知目标在所述感知图像中对应的位置确定的；
计算所述真实目标对应的真实目标框在所述目标坐标系下对应的第二夹角范围，所述第一夹角范围和所述第二夹角范围均是相对于X轴的夹角范围；
根据所述第一夹角范围和所述第二夹角范围，计算得到所述感知目标与所述真实目标的夹角交并比。
可选地，在所述感知目标集合的数据源类型为融合数据源类型的情况下，根据与所述融合数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果，包括：
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的面积交并比，得到面积交并比矩阵，所述面积交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述面积交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
根据所述夹角交并比矩阵和所述面积交并比矩阵加权计算得到目标矩阵；
基于所述目标矩阵中各元素的大小确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，所述关联处理子结果包括所述已关联感知目标、以及所述已关联真实目标。
可选地，在所述夹角交并比矩阵的行对应所述感知目标，且所述面积交并比矩阵的行对应所述感知目标的情况下，所述基于所述目标矩阵中各元素的大小确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，包括：
针对所述感知目标集合中的每一所述感知目标，从所述目标矩阵中所述感知目标对应的行中确定值最大的目标元素；
在所述目标元素大于第四预设阈值的情况下，将所述目标元素所在列对应的所述真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标；
在所述目标元素小于或等于所述第四预设阈值的情况下，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第五预设阈值的第一目标元素；
将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为第一候选真实目标；
计算所述感知目标与每一所述第一候选真实目标的置信度，并确定大于第六预设阈值的所述置信度对应的第二候选真实目标；
将与所述感知目标的纵向误差率最小的所述第二候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述方法还包括：
根据所述待评测的融合感知算法对所述点云数据进行目标识别，得到第一感知目标集合，所述第一感知目标集合中各第一感知目标对应点云数据源类型；
根据所述待评测的融合感知算法对所述感知图像进行目标识别，得到第二感知目标集合，所述第二感知目标集合中各第二感知目标对应图像数据源类型；
针对每一所述感知目标，从所述第一感知目标集合中确定与所述感知目标相似度最大的目标第一感知目标，并从所述第二感知目标集合中确定与所述感知目标相似度最大的目标第二感知目标；
根据所述感知目标与所述目标第一感知目标之间的第一相似度的大小、以及所述感知目标与所述目标第二感知目标之间的第二相似度的大小，确定所述感知目标的数据源类型。
可选地，所述根据所述感知目标与所述目标第一感知目标之间的第一相似度的大小、以及所述感知目标与所述目标第二感知目标之间的第二相似度的大小，确定所述感知目标的数据源类型，包括：
在所述第一相似度大于相似度阈值、且所述第二相似度大于所述相似度阈值的情况下，确定所述感知目标的数据源类型为融合数据源类型；
在所述第一相似度小于或等于所述相似度阈值、且所述第二相似度大于所述相似度阈值的情况下，确定所述感知目标的数据源类型为所述图像数据源类型。
可选地，所述根据所述关联结果确定所述待评测的融合感知算法的评测结果，包括：
根据所述已关联感知目标的数量、以及所述感知目标的总数量，确定所述待评测的融合感知算法的精确率；
根据所述已关联真实目标的数量、以及所述真实目标的总数量，确定所述待评测的融合感知算法的召回率；
其中，所述评测结果包括所述精确率和所述召回率。
根据本公开实施例的第二方面，提供一种评测融合感知算法的装置，所述装置包括：
获取模块，被配置为获取毫米波雷达传感器对目标场景进行感知得到的点云数据，以及摄像机对所述目标场景进行感知得到的感知图像，所述毫米波雷达传感器和所述摄像机之间存在相同的感知视角范围；
第一识别模块，被配置为根据待评测的融合感知算法对所述点云数据和所述感知图像进行目标识别，得到识别出的感知目标；
关联模块，被配置为将所述目标场景中的真实目标与所述感知目标进行关联处理，得到关联结果；
执行模块，被配置为根据所述关联结果确定所述待评测的融合感知算法的评测结果。
可选地，所述感知目标的数量为多个，所述真实目标的数量为多个，所述关联模块，包括：
分类子模块，被配置为基于各所述感知目标对应的数据源类型，对所有的所述感知目标进行分类，得到不同数据源类型对应的感知目标集合；
关联子模块，被配置为针对每一所述感知目标集合，根据与所述感知目标集合的数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果；其中，所述关联结果包括各所述感知目标集合对应的所述关联处理子结果。
可选地，在所述感知目标集合的数据源类型为图像数据源类型的情况下，所述关联子模块，包括：
第一计算子模块，被配置为针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
第二计算子模块，被配置为针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的面积交并比，得到面积交并比矩阵，所述面积交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述面积交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
第一确定子模块，被配置为基于所述夹角交并比矩阵中各元素的大小、以及所述面积交并比矩阵中各元素的大小，确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，所述关联处理子结果包括所述已关联感知目标、以及所述已关联真实目标。
可选地，在所述夹角交并比矩阵的行对应所述感知目标，且所述面积交并比矩阵的行对应所述感知目标的情况下，所述第一确定子模块，被配置为：
针对每一所述感知目标，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第一预设阈值的第一目标元素；并，将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为候选真实目标；从所述面积交并比矩阵中所述感知目标对应的行中确定各所述候选真实目标对应的第二目标元素；确定所有的所述第二目标元素中的最大值，并在所述最大值大于第二预设阈值的情况下，将所述最大值对应的所述候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述第一确定子模块，还被配置为：
在所述最大值小于或等于所述第二预设阈值的情况下，从所有的所述候选真实目标中，确定与所述感知目标的纵向误差率最小的第一候选真实目标；在所述第一候选真实目标与所述感知目标的纵向误差率小于第三预设阈值的情况下，将所述第一候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，在所述感知目标集合的数据源类型为图像数据源类型的情况下，所述关联子模块，包括：
第三计算子模块，被配置为针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
第二确定子模块，被配置为在所述夹角交并比矩阵的行对应所述感知目标的情况下，针对每一所述感知目标，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第一预设阈值的第一目标元素；并，将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为候选真实目标；
第四计算子模块，被配置为计算所述感知目标与各所述候选真实目标的面积交并比，并确定值最大的目标面积交并比；
第三确定子模块，被配置为在所述目标面积交并比大于第二预设阈值的情况下，将所述目标面积交并比对应的所述候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述第三确定子模块，还被配置为：
在所述目标面积交并比小于或等于所述第二预设阈值的情况下，从所有的所述候选真实目标中，确定与所述感知目标的纵向误差率最小的第一候选真实目标；在所述第一候选真实目标与所述感知目标的纵向误差率小于第三预设阈值的情况下，将所述第一候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述感知目标与所述真实目标的夹角交并比是通过如下方式计算得到的：
计算所述感知目标对应的感知目标框在目标坐标系下对应的第一夹角范围，所述感知目标框是根据所述感知目标在所述感知图像中对应的位置确定的；
计算所述真实目标对应的真实目标框在所述目标坐标系下对应的第二夹角范围，所述第一夹角范围和所述第二夹角范围均是相对于X轴的夹角范围；
根据所述第一夹角范围和所述第二夹角范围，计算得到所述感知目标与所述真实目标的夹角交并比。
可选地，在所述感知目标集合的数据源类型为融合数据源类型的情况下，所述关联子模块，包括：
第五计算子模块，被配置为针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
第六计算子模块，被配置为针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的面积交并比，得到面积交并比矩阵，所述面积交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述面积交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
加权子模块，被配置为根据所述夹角交并比矩阵和所述面积交并比矩阵加权计算得到目标矩阵；
第四确定子模块，被配置为基于所述目标矩阵中各元素的大小确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，所述关联处理子结果包括所述已关联感知目标、以及所述已关联真实目标。
可选地，在所述夹角交并比矩阵的行对应所述感知目标，且所述面积交并比矩阵的行对应所述感知目标的情况下，所述第四确定子模块，被配置为：
针对所述感知目标集合中的每一所述感知目标，从所述目标矩阵中所述感知目标对应的行中确定值最大的目标元素；在所述目标元素大于第四预设阈值的情况下，将所述目标元素所在列对应的所述真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标；在所述目标元素小于或等于所述第四预设阈值的情况下，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第五预设阈值的第一目标元素；将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为第一候选真实目标；计算所述感知目标与每一所述第一候选真实目标的置信度，并确定大于第六预设阈值的所述置信度对应的第二候选真实目标；将与所述感知目标的纵向误差率最小的所述第二候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述装置还包括：
第二识别模块，被配置为根据所述待评测的融合感知算法对所述点云数据进行目标识别，得到第一感知目标集合，所述第一感知目标集合中各第一感知目标对应点云数据源类型；
第三识别模块，被配置为根据所述待评测的融合感知算法对所述感知图像进行目标识别，得到第二感知目标集合，所述第二感知目标集合中各第二感知目标对应图像数据源类型；
第一确定模块，被配置为针对每一所述感知目标，从所述第一感知目标集合中确定与所述感知目标相似度最大的目标第一感知目标，并从所述第二感知目标集合中确定与所述感知目标相似度最大的目标第二感知目标；
第二确定模块，被配置为根据所述感知目标与所述目标第一感知目标之间的第一相似度的大小、以及所述感知目标与所述目标第二感知目标之间的第二相似度的大小，确定所述感知目标的数据源类型。
可选地，所述第二确定模块，包括：
第五确定子模块，被配置为在所述第一相似度大于相似度阈值、且所述第二相似度大于所述相似度阈值的情况下，确定所述感知目标的数据源类型为融合数据源类型；
第六确定子模块，被配置为在所述第一相似度小于或等于所述相似度阈值、且所述第二相似度大于所述相似度阈值的情况下，确定所述感知目标的数据源类型为所述图像数据源类型。
可选地，所述执行模块，被配置为：
根据所述已关联感知目标的数量、以及所述感知目标的总数量，确定所述待评测的融合感知算法的精确率；根据所述已关联真实目标的数量、以及所述真实目标的总数量，确定所述待评测的融合感知算法的召回率；其中，所述评测结果包括所述精确率和所述召回率。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的评测融合感知算法的方法的步骤。
根据本公开实施例的第四方面，提供一种车辆，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所提供的评测融合感知算法的方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
获取毫米波雷达传感器对目标场景进行感知得到的点云数据，以及摄像机对目标场景进行感知得到的感知图像，其中，毫米波雷达传感器和摄像机之间存在相同的感知视角范围，因而点云数据和感知图像中存在相同的感知对象。将点云数据和感知图像输入待评测的融合感知算法进行目标识别，得到识别出的感知目标。将目标场景中的真实目标与感知目标进行关联处理，得到关联结果。根据关联结果确定待评测的融合感知算法的评测结果。采用本公开这种方式，根据真实目标与感知目标的关联结果，可计算得到待评测的融合感知算法的评测结果，从而确定待评测的融合感知算法的优劣。待评测的融合感知算法的优劣可由该待评测的融合感知算法的精确率/准确率、召回率等指标表征。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种评测融合感知算法的方法的流程图。
图2是根据一示例性实施例示出的一种评测融合感知算法的装置的框图。
图3是一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的一种评测融合感知算法的方法的流程图，如图1所示，该评测融合感知算法的方法用于终端设备中。例如应用于车载终端设备、电脑、笔记本等电子设备中，该评测融合感知算法的方法可以包括以下步骤。
S11、获取毫米波雷达传感器对目标场景进行感知得到的点云数据，以及摄像机对所述目标场景进行感知得到的感知图像，所述毫米波雷达传感器和所述摄像机之间存在相同的感知视角范围。
应解释的是，点云point cloud表征一个数据集，该数据集中包括多个点，每个点可以包括几何坐标（X、Y）、时间戳、强度值、速度值、RCS值即雷达散射截面积等信息。其中，强度值是指，传感器发射出去的信号遇到物体被反射回来后，所接收到的信号的强度。当这些点组合在一起时，就会形成一个点云。
由于毫米波雷达Radar价格便宜、探测距离远、能获取速度信息且抗干扰能力强。所以毫米波雷达是自动驾驶车辆的重要传感器。但是毫米波雷达采集得到的点云过于稀疏且分辨率不高，毫米波雷达也无法获知障碍物的高度信息。因此，针对毫米波雷达传感器采集到的点云数据进行目标识别的算法设计困难，而且评测该类算法也较为困难。相关技术中，常将毫米波雷达传感器与其他传感器进行结合使用，以弥补毫米波雷达传感器采集数据的不足。例如，将毫米波雷达传感器与视觉传感器摄像机进行结合使用。
在毫米波雷达传感器与摄像机进行结合使用的过程中，毫米波雷达传感器和摄像机同步对目标场景进行感知得到点云数据以及感知图像。毫米波雷达传感器和摄像机之间存在相同的感知视角范围，该相同的感知视角范围所对应的场景范围是目标场景中的毫米波雷达传感器和摄像机均可以感知探测的范围。
S12、根据待评测的融合感知算法对所述点云数据和所述感知图像进行目标识别，得到识别出的感知目标。
一种实施方式，根据待评测的融合感知算法对点云数据和感知图像一起进行目标识别，得到识别出的感知目标。具体可以识别出目标大小、目标位置、目标类型/ID名称等。应说明的是，在本公开实施例中，识别出的感知目标、目标场景中的真实目标是指实体，如汽车、行人、飞鸟、树木、广告牌、石块、水坑等实体。
其中，融合感知算法是一种目标识别算法，也即目标检测算法，用于对点云数据和感知图像进行融合感知，以检测识别出目标、以及目标的位置如框出目标的具体位置。即本公开中待评测的融合感知算法是指用于对毫米波雷达传感器采集到的点云数据和摄像机采集到的感知图像进行融合目标识别检测的算法。
S13、将所述目标场景中的真实目标与所述感知目标进行关联处理，得到关联结果。
目标场景中的真实目标可以是根据人工对步骤S11中毫米波雷达传感器对目标场景进行感知得到的点云数据、以及摄像机同步对目标场景进行感知得到的感知图像进行实体/目标标注后的信息确定的。或者，目标场景中的真实目标可以是人工对激光雷达传感器对目标场景进行感知得到的点云数据进行实体/目标标注后的信息确定的。亦或者，真实目标也可以是人工对目标场景进行测量得到的。对此，本公开不作具体限定。而优选的实施方式是使用预先标注的评测数据集。该评测数据集中包括步骤S11中毫米波雷达传感器对目标场景进行感知得到的点云数据和摄像机同步对目标场景进行感知得到的感知图像、以及目标场景中的真实目标标注信息。
S14、根据所述关联结果确定所述待评测的融合感知算法的评测结果。
在一些实施方式中，可将目标场景中的真实目标与感知目标进行关联处理，得到相互关联的感知目标和真实目标。相互关联可理解为相互匹配。根据相互关联的感知目标和真实目标的数量、相互关联的感知目标和真实目标之间的误差大小，可确定融合感知算法的优劣。如可计算并根据融合感知算法的准确率、召回率、适应度等确定融合感知算法的优劣。
采用上述方法，根据真实目标与感知目标的关联结果，可计算得到待评测的融合感知算法的评测结果，从而确定待评测的融合感知算法的优劣。待评测的融合感知算法的优劣可由该待评测的融合感知算法的精确率/准确率、召回率等指标表征。
可选地，所述感知目标的数量为多个，所述真实目标的数量为多个，所述将所述目标场景中的真实目标与所述感知目标进行关联处理，得到关联结果，包括：
基于各所述感知目标对应的数据源类型，对所有的所述感知目标进行分类，得到不同数据源类型对应的感知目标集合；针对每一所述感知目标集合，根据与所述感知目标集合的数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果；其中，所述关联结果包括各所述感知目标集合对应的所述关联处理子结果。
应说明的是由于毫米波雷达传感器和摄像机之间存在相同的感知视角范围，所以点云数据和感知图像中可以存在对相同对象的感知信息。同样地，点云数据中也可以存在对对摄像机来说是盲区的位置范围进行感知的感知信息，感知图像中也可以存在对对毫米波雷达传感器来说是盲区的位置范围进行感知的感知信息。因此，根据待评测的融合感知算法对点云数据和感知图像进行目标识别，得到的感知目标可能是基于点云数据确定的，即该感知目标在目标场景中，能被毫米波雷达传感器感知到而不能被摄像机感知到。感知目标也可能是基于感知图像确定的，即该感知目标在目标场景中，能被摄像机感知到而不能被毫米波雷达传感器感知到。感知目标还可能是基于点云数据和感知图像一起确定的，即该感知目标在目标场景中，能被摄像机感知到且也能被毫米波雷达传感器感知到。由此可见，待评测的融合感知算法对点云数据和感知图像进行目标识别检测，得到的感知目标对应有数据源类型。数据源类型可以是表征感知目标是基于感知图像确定的图像数据源类型，数据源类型也可以是表征感知目标是基于点云数据确定的点云数据源类型，数据源类型也可以是表征感知目标是基于感知图像和点云数据一起确定的融合数据源类型。
在一些实施方式中，待评测的融合感知算法对点云数据和感知图像进行目标识别检测，得到感知目标的同时，还可以输出每一感知目标对应的数据源类型。基于各感知目标对应的数据源类型，可对所有的感知目标进行分类，得到不同数据源类型对应的感知目标集合。由于摄像机和毫米波雷达传感器感知目标的特性不同，例如，摄像机相较于毫米波雷达传感器可以更好的感知目标的横向信息，毫米波雷达传感器相较于摄像机可以更好的感知目标的纵向信息。所以在本公开实施例中针对不同数据源类型对应的感知目标集合，可采用不同的关联处理策略进行关联处理。
应说明的是，在本公开实施例中，横向是指车道的横向方向，纵向是指车道的纵向方向，即车道的延伸方向。
若待评测的融合感知算法对点云数据和感知图像进行目标识别检测，得到感知目标时，并未输出每一感知目标对应的数据源类型，且也无法获悉每一感知目标对应的数据源类型。那么，可以采用下述方法确定每一感知目标对应的数据源类型。
首先，根据待评测的融合感知算法对点云数据进行目标识别，得到第一感知目标集合，第一感知目标集合中各第一感知目标对应点云数据源类型。
并且，根据待评测的融合感知算法对感知图像进行目标识别，得到第二感知目标集合，第二感知目标集合中各第二感知目标对应图像数据源类型。
接着，针对每一感知目标，从第一感知目标集合中确定与该感知目标相似度最大的目标第一感知目标，并从第二感知目标集合中确定与该感知目标相似度最大的目标第二感知目标。计算相似度时可以是计算该感知目标与各第一感知目标/第二感知目标之间的位置、速度、尺寸等的相似度。例如，将该感知目标与各第一感知目标/第二感知目标投影到相同坐标系空间，然后采用马氏距离、余弦相似度等相似度计算方式进行计算，得到该感知目标与各第一感知目标/第二感知目标的相似度。
然后，根据该感知目标与目标第一感知目标之间的第一相似度的大小、以及该感知目标与目标第二感知目标之间的第二相似度的大小，确定该感知目标的数据源类型。
例如，在第一相似度大于相似度阈值、且第二相似度大于相似度阈值的情况下，确定该感知目标的数据源类型为融合数据源类型，即待评测的融合感知算法是根据点云数据和感知图像中的信息一起识别出的该感知目标。
例如，在第一相似度小于或等于相似度阈值、且第二相似度大于相似度阈值的情况下，确定该感知目标的数据源类型为图像数据源类型。即待评测的融合感知算法是根据感知图像中的信息识别出的该感知目标。
例如，在第一相似度大于相似度阈值、且第二相似度小于或等于相似度阈值的情况下，确定该感知目标的数据源类型为点云数据源类型。即待评测的融合感知算法是根据点云数据中的信息识别出的该感知目标。
可选地，在所述感知目标集合的数据源类型为图像数据源类型的情况下，根据与所述图像数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果，包括以下步骤：
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的面积交并比，得到面积交并比矩阵，所述面积交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述面积交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；基于所述夹角交并比矩阵中各元素的大小、以及所述面积交并比矩阵中各元素的大小，确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，所述关联处理子结果包括所述已关联感知目标、以及所述已关联真实目标。
示例地，假设数据源类型为图像数据源类型的感知目标集合中有两个感知目标A、B。所有的真实目标为C、D、E。那么，针对感知目标A，计算感知目标A与真实目标C的夹角交并比X（A、C）。计算感知目标A与真实目标D的夹角交并比X（A、D）。计算感知目标A与真实目标E的夹角交并比X（A、E）。并且，针对感知目标B，计算感知目标B与真实目标C的夹角交并比X（B、C）。计算感知目标B与真实目标D的夹角交并比X（B、D）。计算感知目标B与真实目标E的夹角交并比X（B、E）。得到夹角交并比矩阵为
或
。
同理地，针对感知目标A，计算感知目标A与真实目标C的面积交并比Y（A、C）。计算感知目标A与真实目标D的面积交并比Y（A、D）。计算感知目标A与真实目标E的面积交并比Y（A、E）。并且，针对感知目标B，计算感知目标B与真实目标C的面积交并比Y（B、C）。计算感知目标B与真实目标D的面积交并比Y（B、D）。计算感知目标B与真实目标E的面积交并比Y（B、E）。得到面积交并比矩阵为
或
。
在计算得到夹角交并比矩阵和面积交并比矩阵之后，基于夹角交并比矩阵和面积交并比矩阵中各元素的大小可以确定相互关联的已关联感知目标和已关联真实目标。下面以夹角交并比矩阵的行对应感知目标，且面积交并比矩阵的行对应感知目标为例来说明如何基于夹角交并比矩阵和面积交并比矩阵中各元素的大小确定相互关联的已关联感知目标和已关联真实目标。
在夹角交并比矩阵的行对应感知目标的情况下，相应地，夹角交并比矩阵的列对应真实目标。在面积交并比矩阵的行对应感知目标的情况下，相应地，面积交并比矩阵的列对应真实目标。例如，夹角交并比矩阵为
，面积交并比矩阵为
。
在一些实施方式中，针对图像数据源类型对应的感知目标集合中每一感知目标，从夹角交并比矩阵中该感知目标对应的行中确定大于第一预设阈值的第一目标元素。并，将夹角交并比矩阵中各第一目标元素所在列对应的真实目标确定为候选真实目标。从面积交并比矩阵中该感知目标对应的行中确定各候选真实目标对应的第二目标元素。确定所有的第二目标元素中的最大值，并在最大值大于第二预设阈值的情况下，将最大值对应的候选真实目标确定为与感知目标相互关联的已关联真实目标，并将感知目标确定为已关联感知目标。在最大值小于或等于第二预设阈值的情况下，从所有的候选真实目标中，确定与感知目标的纵向误差率最小的第一候选真实目标；在第一候选真实目标与感知目标的纵向误差率小于第三预设阈值的情况下，将第一候选真实目标确定为与感知目标相互关联的已关联真实目标，并将感知目标确定为已关联感知目标。
以前述的夹角交并比矩阵
，面积交并比矩阵
为例进行举例说明。
针对感知目标A，从夹角交并比矩阵中该感知目标A对应的行X（A、C）、X（A、D）、X（A、E）中确定大于第一预设阈值的第一目标元素。若X（A、C）、X（A、D）均大于第一预设阈值，则第一目标元素有X（A、C）、X（A、D）。
将夹角交并比矩阵中各第一目标元素所在列对应的真实目标确定为候选真实目标。即将第一目标元素X（A、C）所在的第一列对应的真实目标C确定为候选真实目标。将第一目标元素X（A、D）所在的第二列对应的真实目标D确定为候选真实目标。
从面积交并比矩阵中感知目标A对应的行Y（A、C）、Y（A、D）、Y（A、E）中确定各候选真实目标C、D对应的第二目标元素Y（A、C）、Y（A、D）。从第二目标元素Y（A、C）、Y（A、D）中确定最大值。假设Y（A、C）大于Y（A、D），则最大值为Y（A、C）。
若最大值Y（A、C）大于第二预设阈值，则将最大值Y（A、C）对应的候选真实目标C确定为与感知目标A相互关联的已关联真实目标，并将感知目标A确定为已关联感知目标。
若最大值Y（A、C）小于或等于第二预设阈值的情况下，则从所有的候选真实目标C、D中，确定与感知目标A的纵向误差率最小的第一候选真实目标。感知目标A与候选真实目标C/D的纵向误差率的计算方式是，在同一坐标系中，计算感知目标A的中心点的Y坐标与候选真实目标C/D的中心点的Y坐标的差值，用该差值除以候选真实目标C/D的中心点的Y坐标，得到感知目标A与候选真实目标C/D的纵向误差率。
假设第一候选真实目标为D。那么在第一候选真实目标D与感知目标的纵向误差率小于第三预设阈值的情况下，将第一候选真实目标D确定为与该感知目标A相互关联的已关联真实目标，并将感知目标A确定为已关联感知目标。相反地，若第一候选真实目标D与感知目标的纵向误差率大于第三预设阈值，则第一候选真实目标D与该感知目标A并未相互关联。
这种针对图像数据源类型对应的感知目标集合中的感知目标，先基于夹角交并比矩阵确定候选真实目标，再基于面积交并比矩阵从候选真实目标中确定与该感知目标相互关联的已关联真实目标的方式，相较于针对图像数据源类型对应的感知目标集合中的感知目标，直接从面积交并比矩阵中所有的真实目标中确定与该感知目标相互关联的已关联真实目标的方式更容易设置准确的第二预设阈值，从而得到更准确的与该感知目标相互关联的已关联真实目标。因为有一种情况，感知目标和真实目标所在位置距离自车较远，因距离远而导致感知目标和真实目标的面积交并比的值很小，若设置一个较大的第二预设阈值会将该种情况认为是不相关联的情况。
而若设置一个较小的第二预设阈值，面对近处的不相关联的感知目标和真实目标，由于该近处的不相关联的感知目标和真实目标的面积交并比很小，所以可能将近处的不相关联的感知目标和真实目标认为是相关联的情况。
由此，本公开实施例针对图像数据源类型对应的感知目标集合中的感知目标，先基于夹角交并比矩阵确定候选真实目标，这样能先过滤掉近处的不相关联的感知目标和真实目标，避免由于该近处的不相关联的感知目标和真实目标的面积交并比很小而可能将近处的不相关联的感知目标和真实目标认为是相关联的情况。然后，再基于面积交并比矩阵从候选真实目标中确定与该感知目标相互关联的已关联真实目标。这种方式能更容易的设置第二预设阈值，得到更准确的关联结果。
下面说明感知目标与真实目标的夹角交并比是如何计算得到的。
由于融合感知算法会将点云数据和感知图像的数据转换到同一坐标系如车体坐标系中，然后再进行目标识别。所以每一感知目标在车体坐标系下对应有表征该感知目标的位置、大小、形状的标识框，即本公开所述的感知目标框，该标识框可以是根据感知目标的外轮廓确定的。
针对数据源类型为图像数据源类型的感知目标，可计算该感知目标对应的感知目标框在目标坐标系下对应的第一夹角范围。以感知目标框为矩形框为例来举例说明第一夹角范围的计算方式是，将该感知目标框的四个顶点与目标坐标系的原点连线，得到四条线，该四条线分别与目标坐标系的X轴形成夹角，得到四个夹角，将该四个夹角中的最小值确定为第一夹角范围的下限值，将该四个夹角中的最大值确定为第一夹角范围的上限值，从而得到第一夹角范围。由于该四条线分别与目标坐标系的X轴形成夹角，得到四个夹角，所以根据该四个夹角确定的第一夹角范围是相对于目标坐标系的X轴的夹角范围。
同理地，可计算真实目标对应的真实目标框在目标坐标系下对应的第二夹角范围。根据第一夹角范围和第二夹角范围，可计算得到感知目标与真实目标的夹角交并比。夹角交并比是第一夹角范围与第二夹角范围的交集，和第一夹角范围与第二夹角范围的并集的比值。
感知目标与真实目标的面积交并比的计算方式和感知目标与真实目标的夹角交并比的计算方式的原理相类似。此处进行简单说明，针对数据源类型为图像数据源类型的感知目标，计算该感知目标对应的感知目标框在目标坐标系下对应的第一区域。计算真实目标对应的真实目标框在目标坐标系下对应的第二区域。确定第一区域和第二区域的交集区域，以及确定第一区域和第二区域的并集区域。计算交集区域与并集区域的比值得到面积交并比。
在上述的根据与图像数据源类型对应的关联处理策略，对真实目标与图像数据源类型对应的感知目标集合中各感知目标进行关联处理，得到感知目标集合对应的关联处理子结果的实施方式中，由于针对感知目标集合中的每一感知目标，均计算了其与每一真实目标的面积交并比，所以可能产生了较大的计算量。若考虑降低计算量，那么，本公开还提供另一种根据与图像数据源类型对应的关联处理策略，对真实目标与图像数据源类型对应的感知目标集合中各感知目标进行关联处理，得到图像数据源类型对应的感知目标集合对应的关联处理子结果的实施方式。具体包括以下步骤：
步骤一，针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应。
例如，夹角交并比矩阵为
。
步骤二、在所述夹角交并比矩阵的行对应所述感知目标的情况下，针对每一所述感知目标，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第一预设阈值的第一目标元素。
例如，针对感知目标A，从夹角交并比矩阵中该感知目标A对应的行X（A、C）、X（A、D）、X（A、E）中确定大于第一预设阈值的第一目标元素。若X（A、C）、X（A、D）均大于第一预设阈值，则第一目标元素有X（A、C）、X（A、D）。
步骤三、将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为候选真实目标。
例如，将第一目标元素X（A、C）所在的第一列对应的真实目标C确定为候选真实目标。将第一目标元素X（A、D）所在的第二列对应的真实目标D确定为候选真实目标。
步骤四、计算所述感知目标与各所述候选真实目标的面积交并比，并确定值最大的目标面积交并比。
例如，计算感知目标A与候选真实目标C、候选真实目标D的面积交并比，得到Y（A、C）和Y（A、D）。假设Y（A、C）大于Y（A、D），则目标面积交并比为Y（A、C）。
步骤五、在所述目标面积交并比大于第二预设阈值的情况下，将所述目标面积交并比对应的所述候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
例如，若目标面积交并比Y（A、C）大于第二预设阈值，则将目标面积交并比Y（A、C）对应的候选真实目标C确定为与感知目标A相互关联的已关联真实目标，并将感知目标A确定为已关联感知目标。
步骤六、在所述目标面积交并比小于或等于所述第二预设阈值的情况下，从所有的所述候选真实目标中，确定与所述感知目标的纵向误差率最小的第一候选真实目标；
例如，若目标面积交并比Y（A、C）小于或等于第二预设阈值，则从所有的候选真实目标C、D中，确定与感知目标A的纵向误差率最小的第一候选真实目标。
步骤七、在所述第一候选真实目标与所述感知目标的纵向误差率小于第三预设阈值的情况下，将所述第一候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
例如，假设第一候选真实目标为D。那么在第一候选真实目标D与感知目标的纵向误差率小于第三预设阈值的情况下，将第一候选真实目标D确定为与该感知目标A相互关联的已关联真实目标，并将感知目标A确定为已关联感知目标。相反地，若第一候选真实目标D与感知目标的纵向误差率大于第三预设阈值，则第一候选真实目标D与该感知目标A并未相互关联。
这种方式无需针对图像数据源类型对应的感知目标集合中的每一感知目标，均计算其与每一真实目标的面积交并比，而仅仅计算了感知目标与候选真实目标的面积交并比。由于候选真实目标的数量可能少于所有的真实目标的总数量，因此这种方式可降低计算量。
可选地，在所述感知目标集合的数据源类型为融合数据源类型的情况下，根据与所述融合数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果，包括：
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的面积交并比，得到面积交并比矩阵，所述面积交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述面积交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；根据所述夹角交并比矩阵和所述面积交并比矩阵加权计算得到目标矩阵；基于所述目标矩阵中各元素的大小确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，所述关联处理子结果包括所述已关联感知目标、以及所述已关联真实目标。
示例地，假设数据源类型为图像数据源类型的感知目标集合中有两个感知目标A、B。所有的真实目标为C、D、E。那么，可计算得到夹角交并比矩阵为
，或者为
。面积交并比矩阵为
或
。
进一步地，根据夹角交并比矩阵和面积交并比矩阵加权计算得到目标矩阵。例如，将
与
同位相乘，得到目标矩阵
。
基于目标矩阵
中各元素的大小可以确定相互关联的已关联感知目标和已关联真实目标。
下面以夹角交并比矩阵的行对应感知目标，且面积交并比矩阵的行对应感知目标为例来说明如何基于目标矩阵中各元素的大小确定相互关联的已关联感知目标和已关联真实目标。在夹角交并比矩阵的行对应感知目标，且面积交并比矩阵的行对应感知目标的情况下，目标矩阵的行对应感知目标，目标矩阵的列对应真实目标。具体地，包括以下步骤：
步骤一、针对所述感知目标集合中的每一所述感知目标，从所述目标矩阵中所述感知目标对应的行中确定值最大的目标元素。
例如，针对感知目标A，从目标矩阵
中感知目标A对应的行Z（A、C）、Z（A、D）、Z（A、E）中确定出值最大的目标元素Z（A、C）。
步骤二、在所述目标元素大于第四预设阈值的情况下，将所述目标元素所在列对应的所述真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
例如，若目标元素Z（A、C）大于第四预设阈值，则将目标元素所在列对应的真实目标C确定为与感知目标A相互关联的已关联真实目标，并将感知目标A确定为已关联感知目标。
步骤三、在所述目标元素小于或等于所述第四预设阈值的情况下，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第五预设阈值的第一目标元素。
例如，若目标元素Z（A、C）小于或等于第四预设阈值，则从夹角交并比矩阵
中感知目标A对应的行X（A、C）、X（A、D）、X（A、E）中确定大于第五预设阈值的第一目标元素。假设第一目标元素为X（A、C）、X（A、D）。
步骤四、将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为第一候选真实目标。
例如，将第一目标元素X（A、C）、X（A、D）所在列对应的真实目标C、D确定为第一候选真实目标。
步骤五、计算所述感知目标与每一所述第一候选真实目标的置信度，并确定大于第六预设阈值的所述置信度对应的第二候选真实目标。
置信度表征感知目标与真实目标为同一目标（实体）的概率。计算感知目标与真实目标的置信度的方式可以是计算感知目标与真实目标的马氏距离。并且，在计算感知目标与真实目标的马氏距离的过程中，还可以考虑毫米波雷达传感器采集到的点云中的点的高斯分布特性，根据毫米波雷达位置误差模型校正点云中的点的位置误差。其中，马氏距离Mahalanobis Distance表示数据的协方差距离。马氏距离是一种距离的度量，可以看作是欧氏距离的一种修正，修正了欧式距离中各个维度尺度不一致且相关的问题。它是一种有效的计算两个未知样本集的相似度的方法。
在一些实施方式中，可确定感知目标的感知目标框中距离承载毫米波雷达传感器和摄像机的车辆最近的第一感知点，并确定第一候选真实目标的标注框中距离承载毫米波雷达传感器和摄像机的车辆最近的第二感知点，计算第一感知点与第二感知点的马氏距离，得到感知目标与第一候选真实目标的置信度。
基于相同的原理，还可选择感知目标的感知目标框中的其他感知点和第一候选真实目标的标注框中的其他感知点来计算两者马氏距离得到相似度。本公开对此不作具体限定。
步骤六、将与所述感知目标的纵向误差率最小的所述第二候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
例如，假设第一候选真实目标C、D均为第二候选真实目标，那么将与感知目标的纵向误差率最小的第二候选真实目标，假设第二候选真实目标C确定为与感知目标A相互关联的已关联真实目标，并将感知目标A确定为已关联感知目标。
可选地，在感知目标集合的数据源类型为点云数据源类型的情况下，根据与点云数据源类型对应的关联处理策略，对真实目标与感知目标集合中各感知目标进行关联处理，得到感知目标集合对应的关联处理子结果，包括：
针对数据源类型为点云数据源类型的感知目标集合中每一感知目标，计算感知目标与每一真实目标的置信度，得到置信度矩阵，置信度矩阵的行与感知目标和真实目标中的一者对应，置信度矩阵的列与所感知目标和真实目标中的另一者对应，置信度表征感知目标与真实目标为同一目标的概率。
在置信度矩阵的行对应感知目标，置信度矩阵的列对应真实目标的情况下，确定置信度矩阵中大于第一阈值的第一目标元素。
将第一目标元素所在的第一目标行对应的感知目标确定为已关联感知目标；并，将第一目标元素所在的第一目标列对应的真实目标确定为已关联真实目标。该已关联感知目标和该已关联真实目标相互关联。
针对除了第一目标行以外的第二目标行，确定第二目标行中置信度的值最大的第二目标元素；确定第二目标元素所在的第二目标列；若第二目标元素是第二目标列中的最大值，则将第二目标行对应的感知目标确定为已关联感知目标；并将第二目标列对应的真实目标确定为已关联真实目标。
针对每一真实目标，根据真实目标的位置信息计算真实目标在目标坐标系下与X轴的第一夹角。根据各真实目标对应的第一夹角，确定第一夹角区间。针对除了前述已关联感知目标以外的候选感知目标，根据候选感知目标的位置信息，计算候选感知目标在目标坐标系下与X轴的第二夹角。若第二夹角处于第一夹角区间内，且候选感知目标所在的第三目标行中存在大于第二阈值的第三目标元素，则将所候选感知目标确定为已关联感知目标，其中第二阈值小于第一阈值。若第三目标元素的个数大于1，则确定所有第三目标元素对应的候选第三目标列。从所有候选第三目标列对应的候选真实目标中，确定与候选感知目标距离最近的目标候选真实目标。将目标候选真实目标确定为已关联真实目标。
其中，一个数据源类型为点云数据源类型的感知目标可以对应点云数据中的多个点，那么可从该多个点中确定距离车辆即承载激光雷达传感器的车辆距离最近的点表征该感知目标，即可从该多个点中确定距离该车辆距离最近的点为该感知目标的真值点。
示例地，假设点云数据源类型对应的感知目标集合中有两个感知目标A、B，所有的真实目标为C、D、E，那么，针对感知目标A，计算感知目标A与真实目标C的置信度M（A、C）。计算感知目标A与真实目标D的置信度M（A、D）。计算感知目标A与真实目标E的置信度M（A、E）。并且，针对感知目标B，计算感知目标B与真实目标C的置信度M（B、C）。计算感知目标B与真实目标D的置信度M（B、D）。计算感知目标B与真实目标E的置信度M（B、E）。得到置信度矩阵为
或
。
置信度表征感知目标与真实目标为同一目标/实体的概率。计算感知目标与真实目标的置信度的方式可以是计算感知目标与真实目标的马氏距离。并且，在计算感知目标与真实目标的马氏距离的过程中，还可以考虑毫米波雷达传感器采集到的点云中的点的高斯分布特性，根据毫米波雷达位置误差模型校正感知目标的位置误差。此处应说明的是，感知目标可以是毫米波雷达传感器采集到的一个点或多个点，本公开实施例是以感知目标为一个点为例进行示例性说明的。
示例地，假设置信度矩阵为
，若其中第一行第二列的元素M（A、D）大于第一阈值，则将第一目标元素M（A、D）所在的第一行对应的感知目标A确定为已关联感知目标。将第一目标元素M（A、D）所在的第二列对应的真实目标D确定为已关联真实目标。
进一步地，在前述实施例将感知目标A确定为已关联感知目标，并将真实目标D确定为已关联真实目标之后，针对除了第一目标行（即已关联感知目标A所在的第一行）以外的第二目标行（即感知目标B所在的第二行），确定第二行中置信度的值最大的第二目标元素，假设第二目标元素为M（B、E）。确定第二目标元素M（B、E）所在的第二目标列（即置信度矩阵的第三列）。第一种情况，若第二目标元素M（B、E）是第二目标列（即是M（A、E）、M（B、E））中的最大值，即确定M（B、E）大于M（A、E），则将第二目标行（即置信度矩阵的第二行）对应的感知目标B确定为已关联感知目标。并将第二目标列（即置信度矩阵的第三列）对应的真实目标E确定为已关联真实目标。
第二种情况，若第二目标元素M（B、E）不是第二目标列中的最大值，即M（A、E）大于M（B、E），则无法确定第二目标元素M（B、E）所在行对应的感知目标是否为已关联感知目标，且无法确定第二目标元素M（B、E）所在列对应的真实目标是否为已关联真实目标。
第三种情况，若第二目标元素M（B、E）不是第二目标列中的最大值，即M（A、E）大于M（B、E），则确定第二目标元素M（B、E）所在行对应的感知目标为未关联感知目标，且确定第二目标元素M（B、E）所在列对应的真实目标为未关联真实目标。
真实目标在目标坐标系下与X轴的第一夹角是指，真实目标的坐标与目标坐标系的原点的第一连线，该第一连线与X轴的夹角。
相应地，候选感知目标在目标坐标系下与X轴的第二夹角是指，候选感知目标的坐标与目标坐标系的原点的第二连线，该第二连线与X轴的夹角。
目标坐标系可以是安装毫米波雷达传感器以及摄像机的车辆所对应的车体坐标系。
下面以置信度矩阵为
、且A为已关联感知目标为例进行示例说明，针对真实目标C，根据真实目标C的位置信息计算真实目标C在目标坐标系下与X轴的第一夹角a1。针对真实目标D，根据真实目标D的位置信息计算真实目标D在目标坐标系下与X轴的第一夹角a2。针对真实目标E，根据真实目标E的位置信息计算真实目标E在目标坐标系下与X轴的第一夹角a3。根据各真实目标C、D、E对应的第一夹角a1、a2、a3，确定第一夹角区间，假设为[a1，a3]。针对除了已关联感知目标A以外的候选感知目标B，根据候选感知目标B的位置信息，计算候选感知目标B在目标坐标系下与X轴的第二夹角b。第一种情况，若第二夹角b处于第一夹角区间[a1，a3]之内，即a1、b、a3，且候选感知目标B所在的第三目标行（即置信度矩阵中的第二行）中存在大于第二预设阈值的第三目标元素，则将候选感知目标B确定为已关联感知目标。
下面说明在将候选感知目标B确定为已关联感知目标的情况下，如何确定与已关联感知目标B相关联的已关联真实目标。
一种实施方式，若第三目标元素有X（B、E），则直接将第三目标元素X（B、E）所在列对应的真实目标E确定为与已关联感知目标B相关联的已关联真实目标。
另一种实施方式，若第三目标元素的个数大于1，如第三目标元素为M（B、C）、M（B、D）、M（B、E），则确定所有第三目标元素对应的候选第三目标列即置信度矩阵的第一列、第二列以及第三列。从所有候选第三目标列对应的候选真实目标C、D、E中，确定与候选感知目标B距离最近的目标候选真实目标，假设为C。将目标候选真实目标C确定为与已关联感知目标B相关联的已关联真实目标。
可选地，所述根据所述关联结果确定所述待评测的融合感知算法的评测结果，包括：
根据所述已关联感知目标的数量、以及所述感知目标的总数量，确定所述待评测的融合感知算法的精确率；
根据所述已关联真实目标的数量、以及所述真实目标的总数量，确定所述待评测的融合感知算法的召回率；
其中，所述评测结果包括所述精确率和所述召回率。
示例地，假设已关联感知目标的数量1、以及感知目标的总数量为2，可确定待评测的融合感知算法的精确率为50%。根据已关联真实目标的数量2、以及真实目标的总数量3，可确定待评测的融合感知算法的召回率为66.67%。
可选地，根据关联结果确定待评测的融合感知算法的评测结果，包括：
基于关联结果，确定关联对，每一关联对包括已关联感知目标以及与已关联感知目标相互关联的已关联真实目标；计算关联对中已关联感知目标和已关联真实目标之间的误差；根据各关联对对应的误差，统计每一种目标类别对应的误差均值，关联对的目标类别是根据关联对中已关联真实目标的类别确定的，评测结果包括误差均值。
示例地，假设感知目标A和真实目标C关联，感知目标B和真实目标E关联。那么关联对有A和C，B和E两对。计算关联对A和C中已关联感知目标A和已关联真实目标C之间的误差M。例如A和C的位置坐标x和/或y的坐标误差/均方根误差，又例如A和C的速度误差/均方根误差。
计算关联对B和E中已关联感知目标B和已关联真实目标E之间的误差/均方根误差N。
根据各关联对对应的误差，统计每一种目标类别对应的误差均值。假设A和C对应的类别为小汽车，B和E对应的类别为小汽车，那么小汽车类别下对应的误差均值为（M+N）/2。
目标类别还可以是大汽车、行人、飞鸟、树木、广告牌等。
可选地，根据关联结果确定待评测的融合感知算法的评测结果，还可以包括：
针对数据源类型为点云数据源类型的关联对，确定每一关联对的置信度大小。并根据置信度的大小对所有的关联对进行排序绘图，得到第一PR曲线图谱。待评测的融合感知算法的评测结果包括第一PR曲线图谱。
其中，PR曲线下的面积可表征平均精准度Average Precision，简称AP，是用于测评算法优劣的一种指标。
相应地，可针对融合数据源的关联对，确定每一关联对的Y值大小，并根据Y值大小对所有的关联对进行排序绘图，得到第二PR曲线图谱。待评测的融合感知算法的评测结果包括第二PR曲线图谱。应说明的是，前述实施例是以矩阵的行对应感知目标，矩阵的列对应真实目标为例进行的举例说明。同原理地，在矩阵的列对应感知目标，矩阵的行对应真实目标的情况下，实施方式与前述实施例实质相同，此处不赘述。
图2是根据一示例性实施例示出的一种评测融合感知算法的装置200的框图。参照图2，该评测融合感知算法的装置200包括：
获取模块210，被配置为获取毫米波雷达传感器对目标场景进行感知得到的点云数据，以及摄像机对所述目标场景进行感知得到的感知图像，所述毫米波雷达传感器和所述摄像机之间存在相同的感知视角范围；
第一识别模块220，被配置为根据待评测的融合感知算法对所述点云数据和所述感知图像进行目标识别，得到识别出的感知目标；
关联模块230，被配置为将所述目标场景中的真实目标与所述感知目标进行关联处理，得到关联结果；
执行模块240，被配置为根据所述关联结果确定所述待评测的融合感知算法的评测结果。
可选地，所述感知目标的数量为多个，所述真实目标的数量为多个，所述关联模块230，包括：
分类子模块，被配置为基于各所述感知目标对应的数据源类型，对所有的所述感知目标进行分类，得到不同数据源类型对应的感知目标集合；
关联子模块，被配置为针对每一所述感知目标集合，根据与所述感知目标集合的数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果；其中，所述关联结果包括各所述感知目标集合对应的所述关联处理子结果。
可选地，在所述感知目标集合的数据源类型为图像数据源类型的情况下，所述关联子模块，包括：
第一计算子模块，被配置为针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
第二计算子模块，被配置为针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的面积交并比，得到面积交并比矩阵，所述面积交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述面积交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
第一确定子模块，被配置为基于所述夹角交并比矩阵中各元素的大小、以及所述面积交并比矩阵中各元素的大小，确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，所述关联处理子结果包括所述已关联感知目标、以及所述已关联真实目标。
可选地，在所述夹角交并比矩阵的行对应所述感知目标，且所述面积交并比矩阵的行对应所述感知目标的情况下，所述第一确定子模块，被配置为：
针对每一所述感知目标，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第一预设阈值的第一目标元素；并，将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为候选真实目标；从所述面积交并比矩阵中所述感知目标对应的行中确定各所述候选真实目标对应的第二目标元素；确定所有的所述第二目标元素中的最大值，并在所述最大值大于第二预设阈值的情况下，将所述最大值对应的所述候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述第一确定子模块，还被配置为：
在所述最大值小于或等于所述第二预设阈值的情况下，从所有的所述候选真实目标中，确定与所述感知目标的纵向误差率最小的第一候选真实目标；在所述第一候选真实目标与所述感知目标的纵向误差率小于第三预设阈值的情况下，将所述第一候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，在所述感知目标集合的数据源类型为图像数据源类型的情况下，所述关联子模块，包括：
第三计算子模块，被配置为针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
第二确定子模块，被配置为在所述夹角交并比矩阵的行对应所述感知目标的情况下，针对每一所述感知目标，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第一预设阈值的第一目标元素；并，将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为候选真实目标；
第四计算子模块，被配置为计算所述感知目标与各所述候选真实目标的面积交并比，并确定值最大的目标面积交并比；
第三确定子模块，被配置为在所述目标面积交并比大于第二预设阈值的情况下，将所述目标面积交并比对应的所述候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述第三确定子模块，还被配置为：
在所述目标面积交并比小于或等于所述第二预设阈值的情况下，从所有的所述候选真实目标中，确定与所述感知目标的纵向误差率最小的第一候选真实目标；在所述第一候选真实目标与所述感知目标的纵向误差率小于第三预设阈值的情况下，将所述第一候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述感知目标与所述真实目标的夹角交并比是通过如下方式计算得到的：
计算所述感知目标对应的感知目标框在目标坐标系下对应的第一夹角范围，所述感知目标框是根据所述感知目标在所述感知图像中对应的位置确定的；
计算所述真实目标对应的真实目标框在所述目标坐标系下对应的第二夹角范围，所述第一夹角范围和所述第二夹角范围均是相对于X轴的夹角范围；
根据所述第一夹角范围和所述第二夹角范围，计算得到所述感知目标与所述真实目标的夹角交并比。
可选地，在所述感知目标集合的数据源类型为融合数据源类型的情况下，所述关联子模块，包括：
第五计算子模块，被配置为针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
第六计算子模块，被配置为针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的面积交并比，得到面积交并比矩阵，所述面积交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述面积交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
加权子模块，被配置为根据所述夹角交并比矩阵和所述面积交并比矩阵加权计算得到目标矩阵；
第四确定子模块，被配置为基于所述目标矩阵中各元素的大小确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，所述关联处理子结果包括所述已关联感知目标、以及所述已关联真实目标。
可选地，在所述夹角交并比矩阵的行对应所述感知目标，且所述面积交并比矩阵的行对应所述感知目标的情况下，所述第四确定子模块，被配置为：
针对所述感知目标集合中的每一所述感知目标，从所述目标矩阵中所述感知目标对应的行中确定值最大的目标元素；在所述目标元素大于第四预设阈值的情况下，将所述目标元素所在列对应的所述真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标；在所述目标元素小于或等于所述第四预设阈值的情况下，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第五预设阈值的第一目标元素；将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为第一候选真实目标；计算所述感知目标与每一所述第一候选真实目标的置信度，并确定大于第六预设阈值的所述置信度对应的第二候选真实目标；将与所述感知目标的纵向误差率最小的所述第二候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
可选地，所述评测融合感知算法的装置200还包括：
第二识别模块，被配置为根据所述待评测的融合感知算法对所述点云数据进行目标识别，得到第一感知目标集合，所述第一感知目标集合中各第一感知目标对应点云数据源类型；
第三识别模块，被配置为根据所述待评测的融合感知算法对所述感知图像进行目标识别，得到第二感知目标集合，所述第二感知目标集合中各第二感知目标对应图像数据源类型；
第一确定模块，被配置为针对每一所述感知目标，从所述第一感知目标集合中确定与所述感知目标相似度最大的目标第一感知目标，并从所述第二感知目标集合中确定与所述感知目标相似度最大的目标第二感知目标；
第二确定模块，被配置为根据所述感知目标与所述目标第一感知目标之间的第一相似度的大小、以及所述感知目标与所述目标第二感知目标之间的第二相似度的大小，确定所述感知目标的数据源类型。
可选地，所述第二确定模块，包括：
第五确定子模块，被配置为在所述第一相似度大于相似度阈值、且所述第二相似度大于所述相似度阈值的情况下，确定所述感知目标的数据源类型为融合数据源类型；
第六确定子模块，被配置为在所述第一相似度小于或等于所述相似度阈值、且所述第二相似度大于所述相似度阈值的情况下，确定所述感知目标的数据源类型为所述图像数据源类型。
可选地，所述执行模块240，被配置为：
根据所述已关联感知目标的数量、以及所述感知目标的总数量，确定所述待评测的融合感知算法的精确率；根据所述已关联真实目标的数量、以及所述真实目标的总数量，确定所述待评测的融合感知算法的召回率；其中，所述评测结果包括所述精确率和所述召回率。
采用上述装置，可确定待评测的融合感知算法的优劣。待评测的融合感知算法的优劣可由该待评测的融合感知算法的精确率/准确率、召回率等指标表征。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本领域技术人员应理解，以上所描述的装置实施例仅仅是示意性的，例如模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有其他的划分方式，例如多个模块可以结合或者可以集成为一个模块。此外，作为分离部件说明的模块可以是或者也可以不是物理上分开。并且，每一模块可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。当使用硬件实现时，可以为全部或部分地以集成电路或芯片的形式实现。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的评测融合感知算法的方法的步骤。
图3是根据一示例性实施例示出的一种车辆600的框图。例如，车辆600可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆600可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图3，车辆600可包括各种子系统，例如，信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。其中，车辆600还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆600的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统610可以包括通信系统，娱乐系统以及导航系统等。
感知系统620可以包括若干种传感器，用于感测车辆600周边的环境的信息。例如，感知系统620可包括全球定位系统（全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统）、惯性测量单元（inertial measurement unit，IMU）、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统630可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统640可以包括为车辆600提供动力运动的组件。在一个实施例中，驱动系统640可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651和存储器652，处理器651可以执行存储在存储器652中的指令653。
处理器651可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器（Graphic Process Unit，GPU），现场可编程门阵列（Field ProgrammableGate Array，FPGA）、片上系统（System on Chip，SOC）、专用集成芯片（ApplicationSpecific Integrated Circuit，ASIC）或它们的组合。
存储器652可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
除了指令653以外，存储器652还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器652存储的数据可以被计算平台650使用。
在本公开实施例中，处理器651可以执行指令653，以完成上述的评测融合感知算法的方法的全部或部分步骤。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的评测融合感知算法的方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (16)
1.一种评测融合感知算法的方法，其特征在于，所述方法包括：
获取毫米波雷达传感器对目标场景进行感知得到的点云数据，以及摄像机对所述目标场景进行感知得到的感知图像，所述毫米波雷达传感器和所述摄像机之间存在相同的感知视角范围；
根据待评测的融合感知算法对所述点云数据和所述感知图像进行目标识别，得到识别出的感知目标；
将所述目标场景中的真实目标与所述感知目标进行关联处理，得到关联结果；
根据所述关联结果确定所述待评测的融合感知算法的评测结果。
2.根据权利要求1所述的方法，其特征在于，所述感知目标的数量为多个，所述真实目标的数量为多个，所述将所述目标场景中的真实目标与所述感知目标进行关联处理，得到关联结果，包括：
基于各所述感知目标对应的数据源类型，对所有的所述感知目标进行分类，得到不同数据源类型对应的感知目标集合；
针对每一所述感知目标集合，根据与所述感知目标集合的数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果；
其中，所述关联结果包括各所述感知目标集合对应的所述关联处理子结果。
3.根据权利要求2所述的方法，其特征在于，在所述感知目标集合的数据源类型为图像数据源类型的情况下，根据与所述图像数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果，包括：
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的面积交并比，得到面积交并比矩阵，所述面积交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述面积交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
基于所述夹角交并比矩阵中各元素的大小、以及所述面积交并比矩阵中各元素的大小，确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，所述关联处理子结果包括所述已关联感知目标、以及所述已关联真实目标。
4.根据权利要求3所述的方法，其特征在于，在所述夹角交并比矩阵的行对应所述感知目标，且所述面积交并比矩阵的行对应所述感知目标的情况下，所述基于所述夹角交并比矩阵中各元素的大小、以及所述面积交并比矩阵中各元素的大小，确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，包括：
针对每一所述感知目标，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第一预设阈值的第一目标元素；并，
将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为候选真实目标；
从所述面积交并比矩阵中所述感知目标对应的行中确定各所述候选真实目标对应的第二目标元素；
确定所有的所述第二目标元素中的最大值，并在所述最大值大于第二预设阈值的情况下，将所述最大值对应的所述候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在所述最大值小于或等于所述第二预设阈值的情况下，从所有的所述候选真实目标中，确定与所述感知目标的纵向误差率最小的第一候选真实目标；
在所述第一候选真实目标与所述感知目标的纵向误差率小于第三预设阈值的情况下，将所述第一候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
6.根据权利要求2所述的方法，其特征在于，在所述感知目标集合的数据源类型为图像数据源类型的情况下，根据与所述图像数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果，包括：
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
在所述夹角交并比矩阵的行对应所述感知目标的情况下，针对每一所述感知目标，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第一预设阈值的第一目标元素；并，
将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为候选真实目标；
计算所述感知目标与各所述候选真实目标的面积交并比，并确定值最大的目标面积交并比；
在所述目标面积交并比大于第二预设阈值的情况下，将所述目标面积交并比对应的所述候选真实目标确定为与所述感知目标相互关联的已关联真实目标，并将所述感知目标确定为已关联感知目标。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在所述目标面积交并比小于或等于所述第二预设阈值的情况下，从所有的所述候选真实目标中，确定与所述感知目标的纵向误差率最小的第一候选真实目标；
在所述第一候选真实目标与所述感知目标的纵向误差率小于第三预设阈值的情况下，将所述第一候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
8.根据权利要求3所述的方法，其特征在于，所述感知目标与所述真实目标的夹角交并比是通过如下方式计算得到的：
计算所述感知目标对应的感知目标框在目标坐标系下对应的第一夹角范围，所述感知目标框是根据所述感知目标在所述感知图像中对应的位置确定的；
计算所述真实目标对应的真实目标框在所述目标坐标系下对应的第二夹角范围，所述第一夹角范围和所述第二夹角范围均是相对于X轴的夹角范围；
根据所述第一夹角范围和所述第二夹角范围，计算得到所述感知目标与所述真实目标的夹角交并比。
9.根据权利要求2所述的方法，其特征在于，在所述感知目标集合的数据源类型为融合数据源类型的情况下，根据与所述融合数据源类型对应的关联处理策略，对所述真实目标与所述感知目标集合中各所述感知目标进行关联处理，得到所述感知目标集合对应的关联处理子结果，包括：
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的夹角交并比，得到夹角交并比矩阵，所述夹角交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述夹角交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
针对所述感知目标集合中的每一所述感知目标，计算所述感知目标与每一所述真实目标的面积交并比，得到面积交并比矩阵，所述面积交并比矩阵的行与所述感知目标和所述真实目标中的一者对应，所述面积交并比矩阵的列与所述感知目标和所述真实目标中的另一者对应；
根据所述夹角交并比矩阵和所述面积交并比矩阵加权计算得到目标矩阵；
基于所述目标矩阵中各元素的大小确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，所述关联处理子结果包括所述已关联感知目标、以及所述已关联真实目标。
10.根据权利要求9所述的方法，其特征在于，在所述夹角交并比矩阵的行对应所述感知目标，且所述面积交并比矩阵的行对应所述感知目标的情况下，所述基于所述目标矩阵中各元素的大小确定关联有所述真实目标的已关联感知目标、以及关联有所述感知目标的已关联真实目标，包括：
针对所述感知目标集合中的每一所述感知目标，从所述目标矩阵中所述感知目标对应的行中确定值最大的目标元素；
在所述目标元素大于第四预设阈值的情况下，将所述目标元素所在列对应的所述真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标；
在所述目标元素小于或等于所述第四预设阈值的情况下，从所述夹角交并比矩阵中所述感知目标对应的行中确定大于第五预设阈值的第一目标元素；
将所述夹角交并比矩阵中各所述第一目标元素所在列对应的所述真实目标确定为第一候选真实目标；
计算所述感知目标与每一所述第一候选真实目标的置信度，并确定大于第六预设阈值的所述置信度对应的第二候选真实目标；
将与所述感知目标的纵向误差率最小的所述第二候选真实目标确定为与所述感知目标相互关联的所述已关联真实目标，并将所述感知目标确定为所述已关联感知目标。
11.根据权利要求1-10中任一项所述的方法，其特征在于，所述方法还包括：
根据所述待评测的融合感知算法对所述点云数据进行目标识别，得到第一感知目标集合，所述第一感知目标集合中各第一感知目标对应点云数据源类型；
根据所述待评测的融合感知算法对所述感知图像进行目标识别，得到第二感知目标集合，所述第二感知目标集合中各第二感知目标对应图像数据源类型；
针对每一所述感知目标，从所述第一感知目标集合中确定与所述感知目标相似度最大的目标第一感知目标，并从所述第二感知目标集合中确定与所述感知目标相似度最大的目标第二感知目标；
根据所述感知目标与所述目标第一感知目标之间的第一相似度的大小、以及所述感知目标与所述目标第二感知目标之间的第二相似度的大小，确定所述感知目标的数据源类型。
12.根据权利要求11所述的方法，其特征在于，所述根据所述感知目标与所述目标第一感知目标之间的第一相似度的大小、以及所述感知目标与所述目标第二感知目标之间的第二相似度的大小，确定所述感知目标的数据源类型，包括：
在所述第一相似度大于相似度阈值、且所述第二相似度大于所述相似度阈值的情况下，确定所述感知目标的数据源类型为融合数据源类型；
在所述第一相似度小于或等于所述相似度阈值、且所述第二相似度大于所述相似度阈值的情况下，确定所述感知目标的数据源类型为所述图像数据源类型。
13.根据权利要求3-10中任一项所述的方法，其特征在于，所述根据所述关联结果确定所述待评测的融合感知算法的评测结果，包括：
根据所述已关联感知目标的数量、以及所述感知目标的总数量，确定所述待评测的融合感知算法的精确率；
根据所述已关联真实目标的数量、以及所述真实目标的总数量，确定所述待评测的融合感知算法的召回率；
其中，所述评测结果包括所述精确率和所述召回率。
14.一种评测融合感知算法的装置，其特征在于，所述装置包括：
获取模块，被配置为获取毫米波雷达传感器对目标场景进行感知得到的点云数据，以及摄像机对所述目标场景进行感知得到的感知图像，所述毫米波雷达传感器和所述摄像机之间存在相同的感知视角范围；
第一识别模块，被配置为根据待评测的融合感知算法对所述点云数据和所述感知图像进行目标识别，得到识别出的感知目标；
关联模块，被配置为将所述目标场景中的真实目标与所述感知目标进行关联处理，得到关联结果；
执行模块，被配置为根据所述关联结果确定所述待评测的融合感知算法的评测结果。
15.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1~13中任一项所述方法的步骤。
16.一种车辆，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1~13中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211438235.XA CN115661589A (zh) | 2022-11-16 | 2022-11-16 | 评测融合感知算法的方法、装置、存储介质及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211438235.XA CN115661589A (zh) | 2022-11-16 | 2022-11-16 | 评测融合感知算法的方法、装置、存储介质及车辆 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115661589A true CN115661589A (zh) | 2023-01-31 |
Family
ID=85019977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211438235.XA Pending CN115661589A (zh) | 2022-11-16 | 2022-11-16 | 评测融合感知算法的方法、装置、存储介质及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115661589A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503830A (zh) * | 2023-06-25 | 2023-07-28 | 小米汽车科技有限公司 | 目标检测算法的测试方法、装置及服务器 |
-
2022
- 2022-11-16 CN CN202211438235.XA patent/CN115661589A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503830A (zh) * | 2023-06-25 | 2023-07-28 | 小米汽车科技有限公司 | 目标检测算法的测试方法、装置及服务器 |
| CN116503830B (zh) * | 2023-06-25 | 2023-10-13 | 小米汽车科技有限公司 | 目标检测算法的测试方法、装置及服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291676B (zh) | 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片 | |
| EP3361278B1 (en) | Autonomous vehicle localization based on walsh kernel projection technique | |
| CN107703528B (zh) | 自动驾驶中结合低精度gps的视觉定位方法及系统 | |
| CN110531376B (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
| CN110443225B (zh) | 一种基于特征像素统计的虚实车道线识别方法及其装置 | |
| US9298992B2 (en) | Geographic feature-based localization with feature weighting | |
| US8452103B2 (en) | Scene matching reference data generation system and position measurement system | |
| EP2328114B1 (en) | Lane marker detection and fitting | |
| CN109919074B (zh) | 一种基于视觉感知技术的车辆感知方法及装置 | |
| CN113673282A (zh) | 目标检测方法和装置 | |
| CN110969055B (zh) | 用于车辆定位的方法、装置、设备和计算机可读存储介质 | |
| JP2011511281A (ja) | センサにより検出されたオブジェクトとマップマッチングする方法 | |
| CN113936198B (zh) | 低线束激光雷达与相机融合方法、存储介质及装置 | |
| Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
| US11092692B2 (en) | Apparatus and method for recognizing location in autonomous vehicle | |
| US10796569B2 (en) | Vehicle determination apparatus, vehicle determination method, and computer readable medium | |
| CN110929655A (zh) | 一种行驶过程中车道线识别方法、终端设备及存储介质 | |
| RU2767949C2 (ru) | Способ (варианты) и система для калибровки нескольких лидарных датчиков | |
| CN114724110A (zh) | 目标检测方法及设备 | |
| CN112327308A (zh) | 物体检测方法、装置、系统及设备 | |
| CN115205803A (zh) | 自动驾驶环境感知方法、介质及车辆 | |
| CN115147796A (zh) | 评测目标识别算法的方法、装置、存储介质及车辆 | |
| CN114821526A (zh) | 基于4d毫米波雷达点云的障碍物三维边框检测方法 | |
| CN115705780A (zh) | 关联被感知和映射的车道边缘以进行定位 | |
| CN115661589A (zh) | 评测融合感知算法的方法、装置、存储介质及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |