CN115906007B - 智能驾驶特征参数生成方法、装置和计算机可读介质 - Google Patents
智能驾驶特征参数生成方法、装置和计算机可读介质 Download PDFInfo
- Publication number
- CN115906007B CN115906007B CN202211710355.0A CN202211710355A CN115906007B CN 115906007 B CN115906007 B CN 115906007B CN 202211710355 A CN202211710355 A CN 202211710355A CN 115906007 B CN115906007 B CN 115906007B
- Authority
- CN
- China
- Prior art keywords
- data
- characteristic
- interaction
- feature
- intelligent driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003993 interaction Effects 0.000 claims abstract description 109
- 238000013507 mapping Methods 0.000 claims abstract description 44
- 230000007246 mechanism Effects 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 230000002452 interceptive effect Effects 0.000 claims abstract description 23
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 claims description 17
- 239000000470 constituent Substances 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003331 infrared imaging Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001300198 Caperonia palustris Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种智能驾驶特征参数生成方法、装置和计算机可读介质，所述方法包括：接收多类型传感器获取的特征数据并基于部分或全部特征数据生成特征转化数据；对与多类型传感器对应的特征数据和特征转化数据进行交互融合操作，形成多模态特征交互数据集；通过多个特征检测头接收多模态特征交互数据集，并基于多个特征检测头的运算，生成多个智能驾驶特征参数；其中，交互融合操作包括：建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式；对特征交互基础运算式引入注意力机制，形成基于注意力机制的特征交互运算式；结合多类型传感器对应的特征数据和该特征交互运算式，形成多模态特征交互数据集。
Description
技术领域
本发明主要涉及智能驾驶领域，尤其涉及一种智能驾驶特征参数生成方法、装置和计算机可读介质。
背景技术
在车辆智能驾驶相关的参数计算与预测过程中，传感器融合是合并来自多个传感器的数据的过程，以减少智能驾驶汽车在运动中可能涉及的不确定性。传感器融合的效果是，所产生的信息应该减小比单独使用传感器或单独使用一类传感器时的不确定性。目前的一些多模态融合策略通常是将各模态特征融合成一个混合的表征，再进一步解码得到检测结果。这一策略通常会特定模态的有用信息的丢失，从而影响融合形成的智能驾驶模型的性能。
发明内容
本发明要解决的技术问题是提供一种智能驾驶特征参数生成方法、装置和计算机可读介质，实现智能驾驶多传感器数据的有效融合，提高智能驾驶特征参数生成的准确性和有效性。
为解决上述技术问题，本发明提供了一种智能驾驶特征参数生成方法，包括：接收多类型传感器获取的特征数据并基于部分或全部所述特征数据生成特征转化数据；对与所述多类型传感器对应的所述特征数据和特征转化数据进行交互融合操作，形成多模态特征交互数据集；通过多个特征检测头接收所述多模态特征交互数据集，并基于所述多个特征检测头的运算，生成多个智能驾驶特征参数；其中，所述交互融合操作包括：建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式；对所述特征交互基础运算式引入注意力机制，形成基于注意力机制的特征交互运算式；结合所述多类型传感器对应的特征数据和所述基于注意力机制的特征交互运算式，形成多模态特征交互数据集。
在本发明的一实施例中，所述多类型传感器获取的特征数据包括：摄像装置获取的深度图数据和雷达装置获取的点云数据；所述特征转化数据包括：基于所述雷达装置获取的点云数据生成的鸟瞰图数据。
在本发明的一实施例中，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式包括：基于所述摄像装置获取的深度图数据、所述摄像装置的内参数和外参数、所述点云数据、所述鸟瞰图数据之间的映射关系，形成摄像装置与雷达装置之间的第一特征交互基础运算式；所述第一特征交互基础运算式表征所述深度图数据中的二维像素坐标与所述鸟瞰图数据的二维坐标之间的交互映射关系。
在本发明的一实施例中，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式包括：基于所述雷达装置的鸟瞰图数据、所述点云数据、所述摄像装置获取的深度图数据、所述摄像装置的内参数和外参数之间的映射关系，形成雷达装置与摄像装置之间的第二特征交互基础运算式；所述第二特征交互基础运算式表征所述鸟瞰图数据的二维坐标与所述深度图数据中的二维像素坐标之间的交互映射关系。
在本发明的一实施例中，所述多类型传感器获取的特征数据还包括：红外摄像装置获取的红外图像数据和雷达装置获取的点云数据。
在本发明的一实施例中，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式还包括：基于所述红外摄像装置获取的红外图像数据、所述红外摄像装置的内参数和外参数、所述点云数据之间的映射关系，形成雷达装置与红外摄像装置之间的第三特征交互基础运算式；所述第三特征交互基础运算式表征所述点云数据中的三维坐标与所述红外图像数据的二维坐标之间的交互映射关系。
在本发明的一实施例中，对所述特征交互基础运算式引入注意力机制，形成基于注意力机制的特征交互运算式包括：基于所述多类型传感器对应的所述特征数据的构成项对所述特征数据的索引关系，形成所述特征数据对应的查询向量；根据所述查询向量和所述特征交互基础运算式形成相应的跨模态特征交互表达式；基于所述跨模态特征交互表达式和注意力机制定义函数形成基于注意力机制的特征交互运算式。
在本发明的一实施例中，所述注意力机制定义函数具有相应的键值对。
在本发明的一实施例中，每一所述多模态特征交互数据集分别连接至一个特征检测头；所述多个特征检测头形成级联连接。
在本发明的一实施例中，所述智能驾驶特征参数包括：目标边界框参数、目标尺寸、目标分类参数和/或目标位置。
在本发明的一实施例中，所述目标边界框包括二维边界框和三维边界框。
本发明还提供一种智能驾驶特征参数生成装置，包括：
存储器，用于存储可由处理器执行的指令；以及
处理器，用于执行所述指令以实现如前任一项所述的方法。
本发明还提供一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如前任一项所述的方法。
与现有技术相比，本发明具有以下优点：本申请的技术方案，通过对多模态数据之间的特征交互融合操作，在保留了各模态特有特征的基础上，融合了其他模态的特征，实现多模态信息交叉的基础上发挥出各自模态的优势，实现多模态之间的互补效应，提高参数预测准确性，从而增强智能驾驶的可操作性。
附图说明
附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本申请原理的作用。
附图中：
图1是本申请一实施例的智能驾驶特征参数生成方法流程图。
图2是本申请一实施例的对特征数据和特征转化数据进行交互融合操作的步骤流程图。
图3是本申请一实施例的形成基于注意力机制的特征交互运算式的步骤示意图。
图4是本申请一实施例的智能驾驶特征参数生成方法对应的实现过程框架图。
图5是本申请另一实施例的智能驾驶特征参数生成方法对应的实现过程框架图。
图6是本申请一实施例智能驾驶特征参数生成装置的组成示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件或组件，仅仅是为了便于对相应零部件或组件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。此外，尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
本申请的实施例描述一种智能驾驶特征参数生成方法、装置和计算机可读介质。
图1是本申请一实施例的智能驾驶特征参数生成方法流程图。如图1所示，本申请的智能驾驶特征参数生成方法包括，步骤101，接收多类型传感器获取的特征数据并基于部分或全部特征数据生成特征转化数据；步骤102，对与多类型传感器对应的特征数据和特征转化数据进行交互融合操作，形成多模态特征交互数据集；步骤103，通过多个特征检测头接收多模态特征交互数据集，并基于多个特征检测头的运算，生成多个智能驾驶特征参数。
具体地，在步骤101，接收多类型传感器获取的特征数据并基于部分或全部特征数据生成特征转化数据。在一些实施例中，多类型传感器获取的特征数据包括：摄像装置获取的深度图数据和雷达装置获取的点云数据；特征转化数据包括：基于雷达装置获取的点云数据生成的鸟瞰图(BEV，Bird Eye View)数据。摄像装置可为双目摄像装置(stereocamera)或多目摄像装置。摄像装置获取深度图数据，故摄像装置可为黑白摄像装置或彩色摄像装置，深度图数据例如为RGBD数据。雷达装置获取的点云数据例如为四维(4D)点云数据(x，y，z，v’)，(x，y，z)为点云中目标点的三维坐标，v’指目标点的运动速度。雷达装置例如包括激光雷达或毫米波雷达，由于雷达装置的固有特性，雷达装置获取的点云数据在空间中程呈离散分布形态。
在步骤102，对与多类型传感器对应的特征数据和特征转化数据进行交互融合操作，形成多模态特征交互数据集。图2是本申请一实施例的对特征数据和特征转化数据进行交互融合操作的步骤流程图。参考图2，交互融合操作包括：步骤201，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式；步骤202，对特征交互基础运算式引入注意力机制，形成基于注意力机制的特征交互运算式；步骤203，结合多类型传感器对应的特征数据和基于注意力机制的特征交互运算式，形成多模态特征交互数据集。
在一些实施例中，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式包括：基于摄像装置获取的深度图数据、摄像装置的内参数和外参数、点云数据、鸟瞰图数据之间的映射关系，形成摄像装置与雷达装置之间的第一特征交互基础运算式；第一特征交互基础运算式表征深度图数据中的二维像素坐标与鸟瞰图数据的二维坐标之间的交互映射关系。
例如，当在车身外周同时部署双目摄像装置、4D雷达两种类型传感器时，首先定义跨模态的连接方式，为了将两模态信息进行交换与互补，构建两模态之间的映射关系，在双目图像坐标系s和雷达BEV坐标系b之间建立像素到像素的映射关系，定义为p1(Ms→b,Mb→s)。定义双目摄像装置获取的RGBD图像数据表示式Is、4D雷达装置获取的四维点云数据表示式Ir。则从双目摄像装置到雷达装置的第一特征交互基础运算式的计算过程为，根据双目摄像装置获取的RGBD图像数据、4D雷达装置获取的点云数据中的三维坐标数据、双目摄像装置经过标定得到的相机内参数(简称为内参)和外参数(简称为外参数)矩阵，将图像空间的每个像素(is,js)投影到雷达点云数据的三维坐标(x，y，z)中。双目摄像装置(或称为相机)的内参数包括矩阵内参数用于从相机坐标系转换至像素坐标系。双目摄像装置的外参数包括旋转矩阵R和平移向量T，外参数用于从世界坐标系转换至相机坐标系。则RGBD图像数据中的像素坐标(u，v)与四维点云数据中的三维坐标(x，y，z)之间的转换关系式为：
其中，D是双目摄像装置获取的RGBD图像中每个像素点(u，v)所对应的深度值。依据转换关系式(1)，在相应的点云的三维坐标(x，y，z)下获得给定深度向量为d的密集的图像像素集合{(is,js),...}，深度向量d既有方向又有长度。即，经过转换后得到，在点云坐标系中，每个像素点的深度是向量(x，y，z)，模值|(x，y，z)|表示深度的大小。
关于雷达装置的四维点云数据与鸟瞰图数据之间的转换关系，首先，提取四维点云数据中的(x，y)坐标值，即只获取点云数据中包含的二维平面坐标，接收所要转换的BEV(鸟瞰图)图像的尺寸设置阈值(标示二维尺寸范围)，基于尺寸设置阈值创建(x，y)的筛选条件(或称为过滤器)，用于保留雷达装置横纵范围内位于设定距离内的点，实现对二维数据(x，y)的初级筛选，
而后，设置次级筛选的分辨率值，将点云数据的y坐标值映射到BEV图像的i坐标上，将点云数据的x坐标值映射到BEV图像的j坐标上，得到BEV图像的像素值。如果计算得到的像素值存在负值，则对整体数据做平移，使最小的像素点数据增加至零。至此，实现从点云数据中的二维数据(x，y)点坐标向BEV坐标(ib,jb)的转换，因此BEV坐标集合与图像像素集合{(is,js),...}之间的映射关系描述为F(is,js)＝(ib,jb)。
对于一个深度(或称为深度向量)为d所对应的像素集合设定采样阈值为(2k+1)*(2k+1)，即给定深度d对应的像素邻域大小，映射关系描述为Ms→b(is,js)＝(ib,jb)＝{F(is+Δi,js+Δj)|Δi,Δj∈[-k,+k]}。例如，k取值为1，则对应的像素邻域为3*3。k的取值可根据雷达装置获取的4D点云密度进行调节，具体设置例如也可对通过雷达装置对应传感器的标注数据输入训练模型训练后得到一个优化数值。
在一些实施例中，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式包括：基于雷达装置的鸟瞰图数据、点云数据、摄像装置获取的深度图数据、摄像装置的内参数和外参数之间的映射关系，形成雷达装置与摄像装置之间的第二特征交互基础运算式；第二特征交互基础运算式表征鸟瞰图数据的二维坐标与深度图数据中的二维像素坐标之间的交互映射关系。例如，从雷达装置到双目摄像装置之间的第二特征交互基础运算式的计算过程为，对于雷达装置鸟瞰图(BEV)数据中的点坐标(ib,jb)，基于点云数据中的图像像素集合(即二维坐标集合){(is,js),...}与BEV坐标集合之间的映射关系描述F-1(ib,jb)＝(is,js)(由前述的F(is,js)＝(ib,jb)反向转换可得)得到对应的点云坐标，再基于摄像装置的内参数和外参数，将雷达装置对应的点云数据中的三维坐标(x，y，z)映射到摄像装置坐标系(即相机坐标系)中的点(is,js)，映射关系描述为Mb→s(ib,jb)＝(is,js)。
图3是本申请一实施例的形成基于注意力机制的特征交互运算式(或称为特征学习)的步骤示意图。如图3所示，在一些实施例中，对特征交互基础运算式引入注意力机制，形成基于注意力机制的特征交互运算式包括：步骤301，基于多类型传感器对应的特征数据的构成项对特征数据的索引关系，形成特征数据对应的查询向量；步骤302，根据查询向量和特征交互基础运算式形成相应的跨模态特征交互表达式；步骤303，基于跨模态特征交互表达式和注意力机制定义式形成基于注意力机制的特征交互运算式。
例如，基于双目摄像装置获取的RGBD图像数据表示式Is的构成项(is,js)对RGBD图像数据的索引关系，形成RGBD图像数据对应的查询向量根据查询向量/>和摄像装置与雷达装置之间的第一特征交互基础运算式Ms→b(is,js)＝(ib,jb)形成相应的跨模态特征交互表达式/>(表示在雷达装置的鸟瞰图数据表示式Ib上用RGBD图像数据对应的查询向量Q索引查询雷达装置的鸟瞰图数据值，也可称为交叉领域)。基于跨模态特征交互表达式/>和注意力机制定义函数形成基于注意力机制的特征交互运算式/>注意力机制定义函数具有相应的键值对(包括键K和值V)。dK表示K的维度数值。其中，/>xi为第i个数据节点的输出值，n为数据输出节点个数，归一化定义式softmax(xi)对数据节点的输出值做矫正处理，将输出值转换成范围位于[0,1]内的概率值。
再例如，基于雷达装置的鸟瞰图数据表示式Ib的构成项(ib,jb)对鸟瞰图数据的索引关系，形成鸟瞰图数据对应的查询向量表示在雷达装置的鸟瞰图数据表示式Ib上对坐标(ib,jb)处元素进行索引，则雷达装置到双目摄像装置的交互对应的跨模态特征表示为/>参考前述的注意力机制表达式，得到对应的基于注意力机制的特征交互运算式为fb→s(Is,Ib)。
接下来，结合多类型传感器对应的特征数据和基于注意力机制的特征交互运算式，形成多模态特征交互数据集。例如，对于摄像装置获取的RGBD图像数据，在得到基于注意力机制的特征交互运算式后，在原先的RGBD图像数据表征图像中的像素点特征的基础上，还可通过雷达装置获取的点云数据及转化得到的鸟瞰图数据结合基于注意力机制的特征交互运算式/>共同对摄像装置获取的图像中的像素点特征进行表征，从而形成多模态特征交互数据集。
在神经网络模型的训练和应用过程汇总，模型参数越多则模型的表达能力越强，所存储的信息量也越大，但同时亦需考虑更合理有效的分配计算资源，减少信息过载。因此，通过引入注意力机制，获取多模态交互特征中的关键信息，提高模型计算效率与精度。
接下来，在步骤103，通过多个特征检测头接收多模态特征交互数据集，并基于多个特征检测头的运算，生成多个智能驾驶特征参数。在一些实施例中，每一多模态特征交互数据集分别连接至一个特征检测头；多个特征检测头形成级联连接。智能驾驶特征参数包括：目标边界框参数、目标尺寸、目标分类和/或目标位置。目标边界框例如包括二维边界框和三维边界框。基于三维边界框可转换得到目标尺寸，二位边界框需结合另外的深度信息计算得到目标尺寸。
图4是本申请一实施例的智能驾驶特征参数生成方法对应的实现过程框架图。参考图4，摄像装置获取的图像数据401和雷达装置获取的点云数据402进行交互融合操作，形成多模态特征交互数据集411和412，多模态特征交互数据集411和412分别输入特征检测头421和422，特征检测头421和422之间形成级联连接Ca1，以进行特征的堆叠计算，经过多个特征检测头的运算，生成多个智能驾驶特征参数，例如包括目标边界框参数431、目标尺寸432、目标分类参数433和目标位置434。图4中的481可称为智能驾驶神经网络的特征交互融合层(或称为编码器层，Encoder Layer)，482可称为智能驾驶神经网络的特征参数计算与输出层(或称为解码器层，Decoder Layer)。
在另一些实施例中，多类型传感器获取的特征数据还包括：红外摄像装置获取的红外图像数据和雷达装置获取的点云数据。建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式还包括：基于红外摄像装置获取的红外图像数据、红外摄像装置的内参数和外参数、点云数据之间的映射关系，形成雷达装置与红外摄像装置之间的第三特征交互基础运算式；第三特征交互基础运算式表征点云数据中的三维坐标与红外图像数据的二维坐标之间的交互映射关系。
当增加部署红外摄像装置时，根据各模态(即数据的不同获取方式)的特性，定义跨多模态的连接方式，构建多模态之间的映射关系，在上述双目摄像装置坐标系s与雷达装置的BEV坐标系b之间像素到像素的对应关系p1的基础上，另外，在红外图像坐标系c和雷达坐标系r之间建立像素到点云坐标的映射关系，定义为p2(Mr→c)。红外摄像装置获取的红外图像数据表示式为Ic。
雷达装置与红外摄像装置之间的第三特征交互基础运算式的计算过程为，基于雷达装置的四维点云坐标中的三维坐标(x，y，z)和通过标定计算得到红外摄像装置的内参数和外参数，参考前述的式(1)，将雷达装置的四维点云坐标中的三维坐标(x，y，z)映射到红外装置对应的红外图像坐标系的坐标(ic,jc)中。映射关系描述为Mr→c(x,y,z)＝(ic,jc)。
相应地，对第三特征交互基础运算式引入注意力机制，形成基于注意力机制的特征交互运算式包括，给定查询向量用于表示雷达装置的四维点云数据表示式Ir上对位置(xr,yr,zr,vr)处元素进行索引，则雷达装置到红外摄像装置的交互对应的跨模态特征表示为/>参考前述的注意力机制表达式，得到对应的基于注意力机制的特征交互运算式为fr→c(Ir,Ic)。
图5是本申请另一实施例的智能驾驶特征参数生成方法对应的实现过程框架图。参考图5，摄像装置获取的图像数据401、雷达装置获取的点云数据402和红外摄像装置403进行交互融合操作，形成多模态特征交互数据集411、412和413，多模态特征交互数据集411、412和413分别输入特征检测头421、422和423，特征检测头421、422和423之间形成级联连接Ca1和Ca2，以进行特征的堆叠计算，经过多个特征检测头的运算，生成多个智能驾驶特征参数，例如包括目标边界框参数431、目标尺寸432、目标分类参数433和目标位置434。图5中的481可称为智能驾驶神经网络的特征交互融合层，482可称为智能驾驶神经网络的特征参数计算与输出层。卷积神经网络的特征检测头有多种类型，包括用于分类、定位、3D检测等功能的多种特征检测头。
本申请的智能驾驶特征参数生成方法，通过对多模态数据之间的特征交互融合操作，在保留了各模态特有特征的基础上，融合了其他模态的特征，且并非将多模态特征推导为单一的融合表示，而是学习并维护多个特定模态的表征，实现多模态信息交叉的基础上发挥出各自模态的优势。并且，将多模态特征交互数据集输入多个特征检测头，并通过多个特征检测头进行堆叠计算(或称为堆叠预测)，从而实现智能驾驶人工神经网络最大化的参数预测功能，实现多模态之间的互补效应，提高参数预测准确性，从而增强智能驾驶的可操作性。
本申请的方案，通过构建各模态的交互编码模块，并引入注意力机制，维护不同模态的映射关系表示，并建立交互，用于特征学习与解码预测。本申请方案不同于将各模态特征融合成一个混合表征的模式的多模态融合策略，而是在方案实现过程中，维护不同模态的数据表示形式，保留各模态更多特定或有针对性的有价值信息，尤其对于不同特性的传感器，所保留的特定信息能够更好地促进融合模型性能的提升。
本申请还提供一种智能驾驶特征参数生成装置，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如前所述的方法。
图6示出了本申请一实施例智能驾驶特征参数生成装置的组成示意图。智能驾驶特征参数生成装置600可包括内部通信总线601、处理器(Processor)602、只读存储器(ROM)603、随机存取存储器(RAM)604、以及通信端口605。智能驾驶特征参数生成装置600通过通信端口连接网络，并可与其他设备连接。内部通信总线601可以实现智能驾驶特征参数生成装置600组件间的数据通信。处理器602可以进行判断和发出提示。在一些实施例中，处理器602可以由一个或多个处理器组成。通信端口605可以实现从网络发送和接受信息及数据。智能驾驶特征参数生成装置600还可以包括不同形式的程序储存单元以及数据储存单元，例如只读存储器(ROM)603和随机存取存储器(RAM)604，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器602所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果可通过通信端口传给用户设备，在用户界面上显示。
上述的智能驾驶特征参数生成装置600可以实施为计算机程序，保存在存储器中，并可记载到处理器602中执行，以实施本申请的智能驾驶特征参数生成方法。
本申请还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的车载系统面向服务的架构代码文件生成方法。
本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行，例如脚本程序和相应的运行平台。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。
计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
虽然本申请已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本申请，在没有脱离本申请精神的情况下还可作出各种等效的变化或替换，因此，只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。
Claims (9)
1.一种智能驾驶特征参数生成方法，其特征在于，包括：
接收多类型传感器获取的特征数据并基于部分或全部所述特征数据生成特征转化数据，所述多类型传感器获取的特征数据包括：摄像装置获取的深度图数据、雷达装置获取的点云数据和红外摄像装置获取的红外图像数据，摄像装置坐标系s中点坐标为(is,js)，雷达装置鸟瞰图坐标系b中的点坐标为(ib,jb)，红外装置坐标系c中的坐标为(ic,jc)，雷达装置坐标系为r；
对与所述多类型传感器对应的所述特征数据和特征转化数据进行交互融合操作，形成多模态特征交互数据集，所述特征转化数据包括：基于所述雷达装置获取的点云数据生成的鸟瞰图数据，其中所述鸟瞰图数据中的点坐标为(jb,jb)，雷达装置的四维点云坐标中的三维坐标为(x，y，z)；
通过多个特征检测头接收所述多模态特征交互数据集，并基于所述多个特征检测头的运算，生成多个智能驾驶特征参数；
其中，所述交互融合操作包括：建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式Ms→b(is,js)＝(ib,jb)＝{F(is+Δi,js+Δj)|Δi,Δj∈[-k,+k]}或Mb→s(ib,jb)＝(is,js)或Mr→c(x,y,z)＝(ic,jc)，k为自然数；
基于摄像装置获取的深度图数据表示式Is的构成项(is,js)对深度图数据的索引关系，形成深度图数据对应的查询向量基于雷达装置获取的鸟瞰图数据表示式Ib的构成项(ib,jb)对鸟瞰图数据的索引关系，形成鸟瞰图数据对应的查询向量/>基于雷达装置获取的四维点云数据表示式Ir的构成项(xr,yr,zr,vr)对四维点云数据的索引关系，形成四维点云数据对应的查询向量/>
根据所述查询向量和所述特征交互基础运算式形成相应的跨模态特征交互表达式或/>或/> 表示在雷达装置的鸟瞰图数据表示式Ib上用摄像装置获取的深度图数据对应的查询向量Q索引查询雷达装置的鸟瞰图数据值；/>表示雷达装置到摄像装置的交互对应的跨模态特征交互表达式；/>表示雷达装置到红外摄像装置的交互对应的跨模态特征交互表达式；
基于所述跨模态特征交互表达式和注意力机制定义函数形成基于注意力机制的特征交互运算式或fr→c(Ir,Ic)；所述注意力机制定义函数具有相应的键值对；所述键值对包括键K和值V；dk表示键K的维度数值；
结合所述多类型传感器对应的特征数据和所述基于注意力机制的特征交互运算式，形成多模态特征交互数据集。
2.根据权利要求1所述的智能驾驶特征参数生成方法，其特征在于，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式包括：
基于所述摄像装置获取的深度图数据、所述摄像装置的内参数和外参数、所述点云数据、所述鸟瞰图数据之间的映射关系，形成摄像装置与雷达装置之间的第一特征交互基础运算式；所述第一特征交互基础运算式表征所述深度图数据中的二维像素坐标与所述鸟瞰图数据的二维坐标之间的交互映射关系。
3.根据权利要求1所述的智能驾驶特征参数生成方法，其特征在于，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式包括：
基于所述雷达装置的鸟瞰图数据、所述点云数据、所述摄像装置获取的深度图数据、所述摄像装置的内参数和外参数之间的映射关系，形成雷达装置与摄像装置之间的第二特征交互基础运算式；所述第二特征交互基础运算式表征所述鸟瞰图数据的二维坐标与所述深度图数据中的二维像素坐标之间的交互映射关系。
4.根据权利要求1所述的智能驾驶特征参数生成方法，其特征在于，建立不同类型传感器对应的特征数据和特征转化数据之间的映射关系，形成特征交互基础运算式还包括：
基于所述红外摄像装置获取的红外图像数据、所述红外摄像装置的内参数和外参数、所述点云数据之间的映射关系，形成雷达装置与红外摄像装置之间的第三特征交互基础运算式；所述第三特征交互基础运算式表征所述点云数据中的三维坐标与所述红外图像数据的二维坐标之间的交互映射关系。
5.根据权利要求1所述的智能驾驶特征参数生成方法，其特征在于，每一所述多模态特征交互数据集分别连接至一个特征检测头；所述多个特征检测头形成级联连接。
6.根据权利要求1所述的智能驾驶特征参数生成方法，其特征在于，所述智能驾驶特征参数包括：目标边界框参数、目标尺寸、目标分类参数和/或目标位置。
7.根据权利要求6所述的智能驾驶特征参数生成方法，其特征在于，所述目标边界框包括二维边界框和三维边界框。
8.一种智能驾驶特征参数生成装置，包括：
存储器，用于存储可由处理器执行的指令；以及
处理器，用于执行所述指令以实现如权利要求1-7任一项所述的方法。
9.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211710355.0A CN115906007B (zh) | 2022-12-29 | 2022-12-29 | 智能驾驶特征参数生成方法、装置和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211710355.0A CN115906007B (zh) | 2022-12-29 | 2022-12-29 | 智能驾驶特征参数生成方法、装置和计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115906007A CN115906007A (zh) | 2023-04-04 |
| CN115906007B true CN115906007B (zh) | 2023-09-15 |
Family
ID=86479915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211710355.0A Active CN115906007B (zh) | 2022-12-29 | 2022-12-29 | 智能驾驶特征参数生成方法、装置和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115906007B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11403860B1 (en) * | 2022-04-06 | 2022-08-02 | Ecotron Corporation | Multi-sensor object detection fusion system and method using point cloud projection |
| CN114898313A (zh) * | 2022-04-29 | 2022-08-12 | 广州文远知行科技有限公司 | 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质 |
| CN115147693A (zh) * | 2022-06-14 | 2022-10-04 | 山东新一代信息产业技术研究院有限公司 | 一种智能驾驶多任务学习模型构建方法、设备及介质 |
-
2022
- 2022-12-29 CN CN202211710355.0A patent/CN115906007B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11403860B1 (en) * | 2022-04-06 | 2022-08-02 | Ecotron Corporation | Multi-sensor object detection fusion system and method using point cloud projection |
| CN114898313A (zh) * | 2022-04-29 | 2022-08-12 | 广州文远知行科技有限公司 | 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质 |
| CN115147693A (zh) * | 2022-06-14 | 2022-10-04 | 山东新一代信息产业技术研究院有限公司 | 一种智能驾驶多任务学习模型构建方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115906007A (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2024510265A (ja) | 高解像度ニューラル・レンダリング | |
| Yang et al. | Spatio-temporal domain awareness for multi-agent collaborative perception | |
| JP2021119506A (ja) | ナンバープレート認識方法、ナンバープレート認識モデルの訓練方法及び装置 | |
| CN113902061A (zh) | 一种点云补全方法和装置 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| CN113592015B (zh) | 定位以及训练特征匹配网络的方法和装置 | |
| CN112767478B (zh) | 一种基于表观指导的六自由度位姿估计方法 | |
| CN116486038A (zh) | 一种三维构建网络训练方法、三维模型生成方法以及装置 | |
| CN117173399A (zh) | 一种跨模态交叉注意力机制的交通目标检测方法及系统 | |
| CN118071805A (zh) | 一种基于深度学习的工业场景点云多模态配准方法及系统 | |
| Cao et al. | Stable image matching for 3D reconstruction in outdoor | |
| CN115906007B (zh) | 智能驾驶特征参数生成方法、装置和计算机可读介质 | |
| CN116168393B (zh) | 基于点云神经辐射场的语义标注数据自动生成方法、装置 | |
| CN111951319A (zh) | 一种图像立体匹配方法 | |
| Alaba et al. | Multi-sensor fusion 3D object detection for autonomous driving | |
| CN116310326A (zh) | 一种多模态点云分割方法、系统、设备及存储介质 | |
| CN116310753A (zh) | 一种室外场景点云数据的矢量化骨架提取方法及系统 | |
| CN115731542A (zh) | 一种多模态弱监督三维目标检测方法、系统及设备 | |
| CN115205487A (zh) | 单目相机人脸重建方法及装置 | |
| Patil et al. | Improving depth estimation using map-based depth priors | |
| CN117523547B (zh) | 一种三维场景语义感知方法、系统、设备与介质 | |
| Janda | A Contrastive Learning framework for Self-Supervised Pre-Training of 3D Point Cloud Networks with Visual Data | |
| CN116977810B (zh) | 多模态后融合的长尾类别检测方法和系统 | |
| CN117975201B (zh) | 训练数据生成的方法、装置、计算机设备及存储介质 | |
| CN118229781B (zh) | 显示屏异物检测方法、模型训练方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230425 Address after: No. 1588 Tiandu Road, Hefei Economic and Technological Development Zone, Anhui Province, 230071 Applicant after: Shanghai Baolong automobile technology (Anhui) Co.,Ltd. Address before: 201619 No. 5500 Shenzhuan Highway, Songjiang District, Shanghai Applicant before: SHANGHAI BAOLONG AUTOMOTIVE Corp. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method, device, and computer-readable medium for generating intelligent driving feature parameters Granted publication date: 20230915 Pledgee: China Co. truction Bank Corp Hefei economic and Technological Development Zone Branch Pledgor: Shanghai Baolong automobile technology (Anhui) Co.,Ltd. Registration number: Y2024980014831 |