CN115438712A - 一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质 - Google Patents
一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115438712A CN115438712A CN202210884732.6A CN202210884732A CN115438712A CN 115438712 A CN115438712 A CN 115438712A CN 202210884732 A CN202210884732 A CN 202210884732A CN 115438712 A CN115438712 A CN 115438712A
- Authority
- CN
- China
- Prior art keywords
- observation
- detection frame
- tensor
- auxiliary
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 19
- 230000008447 perception Effects 0.000 title claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 213
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 238000011176 pooling Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000005284 excitation Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims 2
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络与车路协同的感知融合方法，涉及车路协同技术领域，包括，获取主观测和辅助观测的检测框；计算主观测和辅助观测检测框的第一张量；提取存在交集的主观测检测框和辅助观测检测框的组合组成第二张量；对第二张量进行卷积，得到每组检测框组合的一维特征；将得到的检测框组合的置信度放入第一张量的空稀疏矩阵中；使用最大池化从每个主观测检测框经过辅助观测调整后的若干个置信度中挑选出最大的置信度作为该主观测的置信度。本发明将CLOCs的思想与车路协同系统相结合，把两个观测给出的候选框的时间及其与观测点的距离信息作为新的特征输入网络，可利用其他观测提升当前观测的置信度。
Description
技术领域
本发明涉及车路协同技术领域，特别是涉及一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质。
背景技术
CLOCs是一种基于卷积神经网络将从相机和激光雷达检测出的候选框进行融合获得更好结果的方法。参见图1，将相机看到的物体用于辅助提升激光雷达的物体检测。对于相机和激光雷达看到的同一个物体，CLOCs的输入由四个部分组成：IOU:将3D框通过标定参数投影到2D平面，再将2D框与3D投影后的框计算IOU；2D模型的输出概率；3D模型的输出概率；物体距离激光雷达观测点的归一化距离。经过如上网络运算后得到调整后的新概率。
现有技术中CLOCs的应用领域为单车的激光雷达与相机融合。车路协同场景下一种常见的融合方法是直接将车与路感知结果根据最近的时间戳进行匹配，在车路候选框集合上做NSM操作去除次优解。该方法的优点是可以将多数据来源的感知结果进行融合，起到补充盲区、超视距感知的效果。但是该方法不能利用其他观测提升当前观测的置信度。因此对于两个观测都未检出的情况，最终的结果也仍然是未检出。
发明内容
本发明所要解决的技术问题是，克服现有技术的缺点，提供一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质。
为了解决以上技术问题，本发明的技术方案如下：
一种基于卷积神经网络与车路协同的感知融合方法，包括，
获取主观测和辅助观测的检测框；
计算主观测和辅助观测检测框的第一张量，并创建第一张量的空稀疏矩阵；
基于主观测和辅助观测检测框的第一张量提取存在交集的主观测检测框和辅助观测检测框的组合，记录提取的每组检测框组合在第一张量中的索引，并将提取出的检测框组合组成第二张量，作为卷积神经网络的输入张量；
使用1*1卷积对第二张量进行卷积，得到第二张量中每组检测框组合的一维特征，将其作为对应的主观测经过辅助观测调整后的置信度；
根据每组检测框组合在第一张量中的索引，将得到的检测框组合的置信度放入第一张量的空稀疏矩阵中；
使用最大池化从每个主观测检测框经过辅助观测调整后的若干个置信度中挑选出最大的置信度作为该主观测的置信度。
作为本发明所述基于卷积神经网络与车路协同的感知融合方法的一种优选方案，其中：所述获取主观测和辅助观测的检测框包括，
判断主观测和辅助观测的检测框的类别；
若主观测的检测框为三维边框，辅助观测的检测框为二维边框，则将主观测的检测框转换至辅助观测检测框所在的平面，所述二维边框的表达形式为{x，y，h，w }，其中，x，y为二维边框的中心点坐标，h为二维边框的高，w为二维边框的宽；
若主观测和辅助观测均为三维边框，则将辅助观测的检测框转换到主观测的三维空间中，所述三维边框的表达形式为{x，y，z，l，w，h，r}，其中，x，y，z为三维边框的中心点坐标，l为三维边框的长，w为三维边框的宽，h为三维边框的高，r为三维边框绕z轴旋转的角度。
作为本发明所述基于卷积神经网络与车路协同的感知融合方法的一种优选方案，其中：所述计算主观测和辅助观测检测框的第一张量包括，
若主观测和辅助观测的检测框均为三维边框，则所述第一张量Ti，j={ti，j，IoUi，j，si，s j，di，d j }，其中，i表示主观测中的第i个物体，j表示辅助观测中的第j个物体；ti，j表示主观测中第i个物体与辅助观测中第j个物体的时间差归一化权重，所述ti，j的计算方法为：
，其中，表示时间差，表示最大延迟，为与曲线曲率成反比的系数；IoUi，j表示主观测检测框中第i个物体与辅助观测检测框中第j个物体检测框的交并比，所述IoUi，j的计算方法为：先计算主观测检测框和辅助观测检测框投影至x-y平面上的交集面积S，然后计算主观测检测框和辅助观测检测框投影到z轴的交集长度L，并将其与交集面积S与交集长度L相乘得到交集体积V1，再将主观测检测框的体积与辅助观测检测框的体积之和减去交集体积V1得到并集体积V2，最后将交底体积V1除以并集体积V2得到IoU；s表示模型输出的关于主观测检测框的置信度；d表示检测物体距离观测中心的归一化距离；
若主观测和辅助观测的检测框均为二维边框，则所述第一张量Ti，j={ti，j，IoUi，j，si，s j，di}，其中，i表示主观测中的第i个物体，j表示辅助观测中的第j个物体；ti，j表示主观测中第i个物体与辅助观测中第j个物体的时间差归一化权重，所述ti，j的计算方法为：，其中，
表示时间差，D表示最大延迟，
为与曲线曲率成反比的系数；IoUi，j表示主观测检测框中第i个物体与辅助观测检测框中第j个物体检测框的交并比，所述IoUi，j的计算方法为：
，其中，A和B表示主观测和辅助观测的检测框面积；s表示模型输出的关于主观测检测框的置信度；d表示检测物体距离观测中心的归一化距离。
作为本发明所述基于卷积神经网络与车路协同的感知融合方法的一种优选方案，其中：所述提取存在交集的主观测检测框和辅助观测检测框的组合包括，
提取IoU>0的主观测检测框和辅助观测检测框的组合。
作为本发明所述基于卷积神经网络与车路协同的感知融合方法的一种优选方案，其中：所述使用1*1卷积对第二张量进行卷积，得到第二张量中每组检测框组合的一维特征，将其作为对应的主观测经过辅助观测调整后的置信度包括，
使用1*1卷积将第二张量构建的特征空间线性变换到另一特征空间，提升特征的维度至十八维，对升维后的结果使用RELU激活函数增加非线性激励；
使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，提升特征的维度至三十六维，对升维后的结果使用RELU激活函数增加非线性激励；
使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，对新的特征空间结果使用RELU激活函数增加非线性激励；
使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，降低特征的维度至一维，得到第二张量中每组检测框组合的一维特征，将其作为主观测经过辅助观测调整后的置信度。
本发明还提供了一种基于卷积神经网络与车路协同的感知融合装置，包括，
获取模块，用于获取主观测和辅助观测的检测框；
计算模块，用于计算主观测和辅助观测检测框的第一张量，并创建第一张量的空稀疏矩阵；
提取模块，用于基于主观测和辅助观测检测框的第一张量提取存在交集的主观测检测框和辅助观测检测框的组合，记录提取的每组检测框组合在第一张量中的索引，并将提取出的检测框组合组成第二张量，作为卷积神经网络的输入张量；
卷积模块，用于使用1*1卷积对第二张量进行卷积，得到第二张量中每组检测框组合的一维特征，将其作为对应的主观测经过辅助观测调整后的置信度；
归位模块，用于根据每组检测框组合在第一张量中的索引，将检测框组合的置信度放入第一张量的空稀疏矩阵中；
池化模块，用于使用最大池化从每个主观测检测框经过辅助观测调整后的若干个置信度中挑选出最大的置信度作为该主观测的置信度。
本发明还公开了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述基于卷积神经网络与车路协同的感知融合方法任一项所述的方法。
本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述基于卷积神经网络与车路协同的感知融合方法任一项所述的方法。
本发明的有益效果是：
本发明将CLOCs的思想与车路协同系统相结合，把两个观测给出的候选框的时间及其与观测点的距离信息作为新的特征输入网络，可利用其他观测提升当前观测的置信度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明提供的基于卷积神经网络与车路协同的感知融合方法的流程示意图；
图2为主观测和辅助观测的检测框均为二维边框时IoU 的计算示意图；
图3为归一化时间差与主观测和辅助观测时间差的关系示意图；
图4为本发明提供的基于卷积神经网络与车路协同的感知融合方法中步骤S104的具体流程示意图；
图5为主观测和辅助观测的检测框均为三维边框时基于卷积神经网络与车路协同的感知融合方法的流程示意图；
图6为本发明提供的基于卷积神经网络与车路协同的感知融合装置的结构示意图；
图7为本发明提供的计算机设备的示意图。
具体实施方式
为使本发明的内容更容易被清楚地理解，下面根据具体实施方式并结合附图，对本发明作出进一步详细的说明。
图1为本申请实施例提供的基于卷积神经网络与车路协同的感知融合方法的流程示意图。该方法是一种通过周围路端设备提升当前路端设备目标检测框置信度的融合方法，包括步骤S101~步骤S106，具体步骤说明如下：
步骤S101：获取主观测和辅助观测的检测框。
具体的，通过当前路端设备和周围路端设备可直接获得主观测和辅助观测的检测框。在获取到主观测和辅助观测的检测框之后，需要判断主观测和辅助观测的检测框的类别。
可以理解的是，主观测为激光雷达，因此主观测的检测框为三维边框。辅助观测可为相机或激光雷达。当辅助观测为相机时，辅助观测的检测框为二维边框。当辅助观测为激光雷达时，辅助观测的检测框为三维边框。
若辅助观测的检测框为二维边框，则需要通过相机外参、相机内参的标定参数求得投影矩阵，两主观测的检测框通过该投影矩阵转换至相机平面。二维边框的表达形式为{x，y，h，w }，其中，单位为像素，x，y为二维边框的中心点坐标，h为二维边框的高，w为二维边框的宽。
若辅助观测为三维边框，则将辅助观测的检测框转换到主观测的三维空间中。三维边框的表达形式为{x，y，z，l，w，h，r}，其中，单位为米，x，y，z为三维边框的中心点坐标，l为三维边框的长，w为三维边框的宽，h为三维边框的高，r为三维边框绕z轴旋转的角度。
步骤S102：计算主观测和辅助观测检测框的第一张量，并创建第一张量的空稀疏矩阵。
具体的，当主观测和辅助观测的检测框均为三维边框时，第一张量Ti，j={ti，j，IoUi，j，si，s j，di，d j }。
其中，i表示主观测中的第i个物体，j表示辅助观测中的第j个物体。
ti，j表示主观测中第i个物体与辅助观测中第j个物体的时间差归一化权重， ti，j的计算方法为：
，其中，
表示时间差，D表示最大延迟，
为alpha，即与曲线曲率成反比的系数，
越小，则曲线曲率越高。
IoUi，j表示主观测检测框中第i个物体与辅助观测检测框中第j个物体检测框的交并比。IoUi，j的计算方法为：
先计算主观测检测框和辅助观测检测框投影至x-y平面上的交集面积S，然后计算主观测检测框和辅助观测检测框投影到z轴的交集长度L，并将其与交集面积S与交集长度L相乘得到交集体积V1，再将主观测检测框的体积与辅助观测检测框的体积之和减去交集体积V1得到并集体积V2，最后将交底体积V1除以并集体积V2得到IoU。
s表示模型输出的关于主观测检测框的置信度。
d表示检测物体距离观测中心的归一化距离。其中，最大距离为三维检测框检测范围的对角线，对应的归一化距离为1。
若辅助观测的检测框为二维边框，主观测的检测框由三维边框转换为二维边框，则第一张量Ti，j={ti，j，IoUi，j，si，s j，di}。
其中，i表示主观测中的第i个物体，j表示辅助观测中的第j个物体。
ti，j表示主观测中第i个物体与辅助观测中第j个物体的时间差归一化权重， ti，j的计算方法为：
，其中，
表示时间差，D表示最大延迟，
为alpha，即与曲线曲率成反比的系数，
越小，则曲线曲率越高。
IoUi，j表示主观测检测框中第i个物体与辅助观测检测框中第j个物体检测框的交并比。IoUi，j的计算方法为：
，其中，参见图2，A和B表示主观测和辅助观测的检测框面积。需要说明的是，A可为主观测的检测框的面积，也可为辅助观测的检测框的面积。
s表示模型输出的关于主观测检测框的置信度。
d表示检测物体距离观测中心的归一化距离。其中，最大距离为三维检测框检测范围的对角线，对应的归一化距离为1。可以理解的是，辅助观测是二维边框时的，距离值就只存在主观测的，即不存在d j，因此，第一张量为五维。
需要说明的是，点云数据中每个点都有自己的时间戳，物体的时间戳由物体三维边框中点的平均时间得到。考虑到不同的观测之间的时间差对IoU的可信度有很大影响，因此本实施例使用归一化权重衡量该可信度。参见图3，图中x轴为x，y轴为t。从左往右分别为alpha=1/3，alpha=0.5，alpha =1。alpha越小，权重等于0.5时的延迟越小，即延迟小的物体占据更大的可信度比例。
步骤S103：基于主观测和辅助观测检测框的第一张量提取存在交集的主观测检测框和辅助观测检测框的组合，记录提取的每组检测框组合在第一张量中的索引，并将提取出的检测框组合组成第二张量，作为卷积神经网络的输入张量。
具体的，存在交集的主观测检测框和辅助观测检测框的组合即为IoU>0的主观测检测框和辅助观测检测框的组合。因此，提取IoU>0的主观测检测框和辅助观测检测框的组合，并将提取出的检测框组合组成第二张量，作为卷积神经网络的输入张量。同时，在提取检测框组合时，记录提取的每组检测框组合在第一张量中的索引。
步骤S104：使用1*1卷积对第二张量进行卷积，得到第二张量中每组检测框组合的一维特征，将其作为对应的主观测经过辅助观测调整后的置信度。
具体的，参见图4，该步骤具体包括以下步骤：
步骤S104a：使用1*1卷积将第二张量构建的特征空间线性变换到另一特征空间，提升特征的维度至十八维，对升维后的结果使用RELU激活函数增加非线性激励。
步骤S104b：使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，提升特征的维度至三十六维，对升维后的结果使用RELU激活函数增加非线性激励。
步骤S104c：使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，对新的特征空间结果使用RELU激活函数增加非线性激励。
步骤S104d：使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，降低特征的维度至一维，得到第二张量中每组检测框组合的一维特征，将其作为主观测经过辅助观测调整后的置信度。
步骤S105：根据每组检测框组合在第一张量中的索引，将得到的检测框组合的置信度放入第一张量的空稀疏矩阵中。
具体的，根据步骤S103中提取每组检测框组合时记录的其在第一张量中的索引，将计算得到的置信度放入第一张量的空稀疏矩阵中，实现归位。
需要说明的是，每个主观测的检测框都可能存在多个辅助观测的检测框与之相对应，此处根据提取每组检测框组合时记录的其在第一张量中的索引将计算得到的置信度归位之后，可知道计算得到的每个置信度是哪个辅助观测检测框辅助哪个主观测检测框之后得到的。
步骤S106：使用最大池化从每个主观测检测框经过辅助观测调整后的若干个置信度中挑选出最大的置信度作为该主观测的置信度。
下面以主观测和辅助观测的检测框均为三维边框举例说明。参见图5，主观测有n个检测框，辅助观测有k个检测框。计算主观测和辅助观测检测框得到的第一张量为n*k*6。之后提取IoU>0的主观测检测框和辅助观测检测框的组合，组成的第二张量为1*p*6，p表示IoU>0的检测框组合的数量。然后使用1*1卷积将第二张量1*p*6构建的特征空间线性变换到另一特征空间，提升特征的维度至十八维，对升维后的结果使用RELU激活函数增加非线性激励，得到1*p*18。再使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，提升特征的维度至三十六维，对升维后的结果使用RELU激活函数增加非线性激励，得到1*p*36。然后使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，对新的特征空间结果使用RELU激活函数增加非线性激励。使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，降低特征的维度至一维，得到第二张量中每组检测框组合的一维特征1*p*1，将其作为主观测经过辅助观测调整后的置信度。结合IOU>0的检测框组合的索引k和n，将p个检测框组合的置信度放入稀疏矩阵。最后使用最大池化挑出这些检测框调整后的置信度中最大的那个，即1*n*1作为最终的主观测的置信度。
由此，本申请提供的方法的基本思想是：如果自动驾驶汽车看到了交通参与者（车辆、行人等），但认为其概率为0.3，同一时刻周围车辆和路端也看到了同一物体，概率为0.3，则该交通参与者存在的概率就可以提高到0.45，或者更高。
上述方法将CLOCs的思想与车路协同系统相结合，把两个观测给出的候选框的时间及其与观测点的距离信息作为新的特征输入网络，可利用其他观测提升当前观测的置信度。且可以应用于激光雷达与摄像头融合的单车场景、融合仅包含车-车感知融合的车联网场景，也可以应用于杆-杆感知融合的路端交通参与者监控场景，更可以应用于车路协同场景。
图6为本申请实施例提供的基于卷积神经网络与车路协同的感知融合装置的结构示意图。该装置包括获取模块、计算模块、提取模块、卷积模块、归位模块、池化模块。
其中，获取模块用于获取主观测和辅助观测的检测框。
计算模块用于计算主观测和辅助观测检测框的第一张量，并创建第一张量的空稀疏矩阵。
提取模块用于基于主观测和辅助观测检测框的第一张量提取存在交集的主观测检测框和辅助观测检测框的组合，记录提取的每组检测框组合在第一张量中的索引，并将提取出的检测框组合组成第二张量，作为卷积神经网络的输入张量。
卷积模块用于使用1*1卷积对第二张量进行卷积，得到第二张量中每组检测框组合的一维特征，将其作为对应的主观测经过辅助观测调整后的置信度。
归位模块用于根据每组检测框组合在第一张量中的索引，将检测框组合的置信度放入第一张量的空稀疏矩阵中。
池化模块用于使用最大池化从每个主观测检测框经过辅助观测调整后的若干个置信度中挑选出最大的置信度作为该主观测的置信度。
参见图7，本实施例还提供了一种计算机设备，计算机设备的组件可以包括但不限于：一个或者多个处理器或者处理单元，系统存储器，连接不同系统组件(包括系统存储器和处理单元)的总线。
总线表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器。计算机设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统可以用于读写不可移动的、非易失性磁介质。可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块的程序/实用工具，可以存储在例如存储器中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备也可以与一个或多个外部设备例如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，计算机设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。
处理单元通过运行存储在系统存储器中的程序，从而执行本发明所描述的实施例中的功能和/或方法。
上述的计算机程序可以设置于计算机存储介质中，即该计算机存储介质被编码有计算机程序，该程序在被一个或多个计算机执行时，使得一个或多个计算机执行本发明上述实施例中所示的方法流程和/或装置操作。
随着时间、技术的发展，介质含义越来越广泛，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载等。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
除上述实施例外，本发明还可以有其他实施方式；凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。
Claims (8)
1.一种基于卷积神经网络与车路协同的感知融合方法，其特征在于：包括，
获取主观测和辅助观测的检测框；
计算主观测和辅助观测检测框的第一张量，并创建第一张量的空稀疏矩阵；
基于主观测和辅助观测检测框的第一张量提取存在交集的主观测检测框和辅助观测检测框的组合，记录提取的每组检测框组合在第一张量中的索引，并将提取出的检测框组合组成第二张量，作为卷积神经网络的输入张量；
使用1*1卷积对第二张量进行卷积，得到第二张量中每组检测框组合的一维特征，将其作为对应的主观测经过辅助观测调整后的置信度；
根据每组检测框组合在第一张量中的索引，将得到的检测框组合的置信度放入第一张量的空稀疏矩阵中；
使用最大池化从每个主观测检测框经过辅助观测调整后的若干个置信度中挑选出最大的置信度作为该主观测的置信度。
2.根据权利要求1所述的方法，其特征在于：所述获取主观测和辅助观测的检测框包括，
判断主观测和辅助观测的检测框的类别；
若主观测的检测框为三维边框，辅助观测的检测框为二维边框，则将主观测的检测框转换至辅助观测检测框所在的平面，所述二维边框的表达形式为{x，y，h，w }，其中，x，y为二维边框的中心点坐标，h为二维边框的高，w为二维边框的宽；
若主观测和辅助观测均为三维边框，则将辅助观测的检测框转换到主观测的三维空间中，所述三维边框的表达形式为{x，y，z，l，w，h，r}，其中，x，y，z为三维边框的中心点坐标，l为三维边框的长，w为三维边框的宽，h为三维边框的高，r为三维边框绕z轴旋转的角度。
3.根据权利要求2所述的方法，其特征在于：所述计算主观测和辅助观测检测框的第一张量包括，
若主观测和辅助观测的检测框均为三维边框，则所述第一张量Ti，j={ti，j，IoUi，j，si，s j，di，d j }，其中，i表示主观测中的第i个物体，j表示辅助观测中的第j个物体；ti，j表示主观测中第i个物体与辅助观测中第j个物体的时间差归一化权重，所述ti，j的计算方法为：，其中，表示时间差，表示最大延迟，为与曲线曲率成反比的系数；IoUi，j表示主观测检测框中第i个物体与辅助观测检测框中第j个物体检测框的交并比，所述IoUi，j的计算方法为：先计算主观测检测框和辅助观测检测框投影至x-y平面上的交集面积S，然后计算主观测检测框和辅助观测检测框投影到z轴的交集长度L，并将其与交集面积S与交集长度L相乘得到交集体积V1，再将主观测检测框的体积与辅助观测检测框的体积之和减去交集体积V1得到并集体积V2，最后将交底体积V1除以并集体积V2得到IoU；s表示模型输出的关于主观测检测框的置信度；d表示检测物体距离观测中心的归一化距离；
若主观测和辅助观测的检测框均为二维边框，则所述第一张量Ti，j={ti，j，IoUi，j，si，s j，di }，其中，i表示主观测中的第i个物体，j表示辅助观测中的第j个物体；ti，j表示主观测中第i个物体与辅助观测中第j个物体的时间差归一化权重，所述ti，j的计算方法为：
，其中，
表示时间差，
表示最大延迟，
为与曲线曲率成反比的系数；IoUi，j表示主观测检测框中第i个物体与辅助观测检测框中第j个物体检测框的交并比，所述IoUi，j的计算方法为：
，其中，A和B表示主观测和辅助观测的检测框面积；s表示模型输出的关于主观测检测框的置信度；d表示检测物体距离观测中心的归一化距离。
4.根据权利要求3所述的方法，其特征在于：所述提取存在交集的主观测检测框和辅助观测检测框的组合包括，
提取IoU>0的主观测检测框和辅助观测检测框的组合。
5.根据权利要求1所述的方法，其特征在于：所述使用1*1卷积对第二张量进行卷积，得到第二张量中每组检测框组合的一维特征，将其作为对应的主观测经过辅助观测调整后的置信度包括，
使用1*1卷积将第二张量构建的特征空间线性变换到另一特征空间，提升特征的维度至十八维，对升维后的结果使用RELU激活函数增加非线性激励；
使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，提升特征的维度至三十六维，对升维后的结果使用RELU激活函数增加非线性激励；
使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，对新的特征空间结果使用RELU激活函数增加非线性激励；
使用1*1卷积将上一步骤得到的特征空间线性变换到另一个特征空间，降低特征的维度至一维，得到第二张量中每组检测框组合的一维特征，将其作为主观测经过辅助观测调整后的置信度。
6.一种基于卷积神经网络与车路协同的感知融合装置，其特征在于：包括，
获取模块，用于获取主观测和辅助观测的检测框；
计算模块，用于计算主观测和辅助观测检测框的第一张量，并创建第一张量的空稀疏矩阵；
提取模块，用于基于主观测和辅助观测检测框的第一张量提取存在交集的主观测检测框和辅助观测检测框的组合，记录提取的每组检测框组合在第一张量中的索引，并将提取出的检测框组合组成第二张量，作为卷积神经网络的输入张量；
卷积模块，用于使用1*1卷积对第二张量进行卷积，得到第二张量中每组检测框组合的一维特征，将其作为对应的主观测经过辅助观测调整后的置信度；
归位模块，用于根据每组检测框组合在第一张量中的索引，将检测框组合的置信度放入第一张量的空稀疏矩阵中；
池化模块，用于使用最大池化从每个主观测检测框经过辅助观测调整后的若干个置信度中挑选出最大的置信度作为该主观测的置信度。
7.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1~5中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现如权利要求1~5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210884732.6A CN115438712B (zh) | 2022-07-26 | 2022-07-26 | 一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210884732.6A CN115438712B (zh) | 2022-07-26 | 2022-07-26 | 一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115438712A true CN115438712A (zh) | 2022-12-06 |
| CN115438712B CN115438712B (zh) | 2024-09-06 |
Family
ID=84240959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210884732.6A Active CN115438712B (zh) | 2022-07-26 | 2022-07-26 | 一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115438712B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018099725A1 (en) * | 2016-12-02 | 2018-06-07 | Realeyes Oü | Data processing methods for predictions of media content performance |
| CN111898755A (zh) * | 2020-08-11 | 2020-11-06 | 中国人民解放军海军航空大学 | 单一航迹智能合成方法及装置 |
| CN113159151A (zh) * | 2021-04-12 | 2021-07-23 | 中国科学技术大学 | 面向自动驾驶的多传感器深度融合3d目标检测方法 |
| CN114386481A (zh) * | 2021-12-14 | 2022-04-22 | 京东鲲鹏(江苏)科技有限公司 | 一种车辆感知信息融合方法、装置、设备及存储介质 |
| CN115438711A (zh) * | 2022-07-26 | 2022-12-06 | 中智行(苏州)科技有限公司 | 一种基于车路协同的分布式多级感知融合方法、装置、设备及存储介质 |
-
2022
- 2022-07-26 CN CN202210884732.6A patent/CN115438712B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018099725A1 (en) * | 2016-12-02 | 2018-06-07 | Realeyes Oü | Data processing methods for predictions of media content performance |
| CN111898755A (zh) * | 2020-08-11 | 2020-11-06 | 中国人民解放军海军航空大学 | 单一航迹智能合成方法及装置 |
| CN113159151A (zh) * | 2021-04-12 | 2021-07-23 | 中国科学技术大学 | 面向自动驾驶的多传感器深度融合3d目标检测方法 |
| CN114386481A (zh) * | 2021-12-14 | 2022-04-22 | 京东鲲鹏(江苏)科技有限公司 | 一种车辆感知信息融合方法、装置、设备及存储介质 |
| CN115438711A (zh) * | 2022-07-26 | 2022-12-06 | 中智行(苏州)科技有限公司 | 一种基于车路协同的分布式多级感知融合方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| SU PANG等: "CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection", 《ARXIV:2009.00784V1》, 2 September 2020 (2020-09-02), pages 2 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115438712B (zh) | 2024-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6745328B2 (ja) | 点群データを復旧するための方法及び装置 | |
| CN113902897B (zh) | 目标检测模型的训练、目标检测方法、装置、设备和介质 | |
| CN112598762B (zh) | 三维车道线信息生成方法、装置、电子设备和介质 | |
| CN110632608B (zh) | 一种基于激光点云的目标检测方法和装置 | |
| CN112257605B (zh) | 基于自标注训练样本的三维目标检测方法、系统及装置 | |
| CN110163900B (zh) | 用于调整点云数据方法和装置 | |
| CN115438711A (zh) | 一种基于车路协同的分布式多级感知融合方法、装置、设备及存储介质 | |
| CN114399588B (zh) | 三维车道线生成方法、装置、电子设备和计算机可读介质 | |
| CN114993328B (zh) | 车辆定位评估方法、装置、设备和计算机可读介质 | |
| CN110378174A (zh) | 道路线提取方法和装置 | |
| CN113269168B (zh) | 障碍物数据处理方法、装置、电子设备和计算机可读介质 | |
| CN116977963A (zh) | 基于bev视角的自动驾驶多模态协同感知方法及系统 | |
| CN116844129A (zh) | 多模态特征对齐融合的路侧目标检测方法、系统及装置 | |
| CN114386481A (zh) | 一种车辆感知信息融合方法、装置、设备及存储介质 | |
| CN114926316A (zh) | 距离测量方法、装置、电子设备及存储介质 | |
| CN109034214B (zh) | 用于生成标记的方法和装置 | |
| CN113297958A (zh) | 一种自动化标注方法、装置、电子设备和存储介质 | |
| CN114723640B (zh) | 障碍物信息生成方法、装置、电子设备和计算机可读介质 | |
| CN114842287B (zh) | 深度引导变形器的单目三维目标检测模型训练方法及装置 | |
| CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
| KR20230006628A (ko) | 이미지 처리 방법과 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN115438712A (zh) | 一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质 | |
| CN110136181B (zh) | 用于生成信息的方法和装置 | |
| CN113721240A (zh) | 一种目标关联方法、装置、电子设备及存储介质 | |
| CN113781653A (zh) | 对象模型生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230426 Address after: 215100 station 601-b11, Tiancheng information building, No. 88, nantiancheng Road, Xiangcheng District, Suzhou City, Jiangsu Province (cluster registration) Applicant after: Zhongzhixing (Suzhou) Technology Co.,Ltd. Applicant after: Tianyi Transportation Technology Co.,Ltd. Address before: 215100 station 601-b11, Tiancheng information building, No. 88, nantiancheng Road, Xiangcheng District, Suzhou City, Jiangsu Province (cluster registration) Applicant before: Zhongzhixing (Suzhou) Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230615 Address after: No.31, Financial Street, Xicheng District, Beijing, 100033 Applicant after: CHINA TELECOM Corp.,Ltd. Address before: 215100 station 601-b11, Tiancheng information building, No. 88, nantiancheng Road, Xiangcheng District, Suzhou City, Jiangsu Province (cluster registration) Applicant before: Zhongzhixing (Suzhou) Technology Co.,Ltd. Applicant before: Tianyi Transportation Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |