CN116968758A - 一种基于三维场景表示的车辆控制方法及装置 - Google Patents
一种基于三维场景表示的车辆控制方法及装置 Download PDFInfo
- Publication number
- CN116968758A CN116968758A CN202311204122.8A CN202311204122A CN116968758A CN 116968758 A CN116968758 A CN 116968758A CN 202311204122 A CN202311204122 A CN 202311204122A CN 116968758 A CN116968758 A CN 116968758A
- Authority
- CN
- China
- Prior art keywords
- dimensional scene
- scene representation
- information
- image data
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 230000006837 decompression Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 11
- 238000013135 deep learning Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000008358 core component Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
Abstract
本发明公开了一种基于三维场景表示的车辆控制方法及装置，该方法包括：获取布置于车辆上的立体图像采集装置和激光雷达采集到的图像数据和点云数据；对图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示；对三维场景表示进行实例分割，将三维场景表示中的不同物体分割成不同的实例，以确定每个物体的基础信息；对三维场景表示进行关键点检测，以将三维场景表示中的不同物体的关键点检测出来，以确定每个关键点的关键信息；将实例分割以及关键点检测后的三维场景表示传输给车辆控制器，以对车辆进行控制。本发明解决了现有技术中由于车辆感知准确性低，从而造成在进行车辆控制时安全性低的问题。
Description
技术领域
本发明涉及车辆技术领域，特别涉及一种基于三维场景表示的车辆控制方法及装置。
背景技术
VCU（车辆控制单元）是汽车电子系统中的核心部件，它负责对车辆的各种状态和功能进行监测和控制，例如速度、加速度、制动、转向等，以实现车辆的安全、高效和智能运行。VCU感知技术是使VCU能够感知车辆周围环境的技术，例如道路状况、交通标志、行人、障碍物等，并根据感知结果进行相应的决策和动作。
VCU感知技术与计算机视觉技术密切相关，计算机视觉技术是使计算机能够理解和处理图像和视频的技术。计算机视觉技术可以根据数据的维度分为二维（2D）视觉和三维（3D）视觉。2D视觉主要处理摄像头或雷达捕捉的2D图像，而3D视觉主要处理立体摄像头或激光雷达捕捉的3D点云。
随着人工智能和深度学习的发展，计算机视觉技术近年来取得了巨大的进步，并被广泛应用于各个领域，例如人脸识别、目标检测、语义分割、实例分割、关键点检测等。这些技术可以为VCU感知提供丰富和详细的信息。
现有技术中，使用立体摄像头捕捉车辆周围环境的图像数据，并使用深度神经网络从图像数据中提取特征。然后，使用立体匹配算法从图像数据中生成视差图，并将其转换为深度图。基于深度图，它对图像数据进行目标检测和语义分割，并输出场景中每个物体的信息，然而，该方法不能准确地反映出物体的深度信息和空间位置。它在复杂场景中容易出现误判和遗漏，例如遮挡、光照变化、噪声等，车辆感知准确性低，从而造成在进行车辆控制时安全性低的问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于三维场景表示的车辆控制方法及装置，旨在解决现有技术中由于车辆感知准确性低，从而造成在进行车辆控制时安全性低的问题。
本发明实施例是这样实现的：
一种基于三维场景表示的车辆控制方法，所述方法包括：
获取布置于车辆上的立体图像采集装置和激光雷达采集到的图像数据和点云数据；
对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示；
对所述三维场景表示进行实例分割，将所述三维场景表示中的不同物体分割成不同的实例，以确定每个物体的基础信息，所述基础信息至少包括类别信息、位置信息以及形状信息；
对所述三维场景表示进行关键点检测，以将所述三维场景表示中的不同物体的关键点检测出来，以确定每个关键点的关键信息，所述关键信息至少包括坐标信息、语义信息；
将实例分割以及关键点检测后知晓所述每个物体基础信息和每个关键点的关键信息的所述三维场景表示传输给车辆控制器，以对所述车辆进行控制。
进一步的，上述基于三维场景表示的车辆控制方法，其中，所述对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示的步骤之前还包括：
对所述图像数据进行预处理以提高所述图像数据的质量，所述图像数据的预处理至少包括去噪、校正、配准。
进一步的，上述基于三维场景表示的车辆控制方法，其中，所述对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示的步骤之前还包括：
对所述点云数据进行预处理以提高所述点云数据的密度和均匀性，所述点云数据的预处理至少包括滤波、降采样、变换。
进一步的，上述基于三维场景表示的车辆控制方法，其中，所述对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示的步骤包括：
根据所述图像数据与点云数据之间的几何关系和光照关系，计算出最优的变换矩阵；
根据所述变换矩阵将所述图像数据和点云数据进行变换使其在同一坐标系下对齐，以使得所述图像数据与点云数据中的每个像素与每个点之间存在一一对应的关系；
将对齐后的所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示。
进一步的，上述基于三维场景表示的车辆控制方法，其中，所述对所述三维场景表示进行实例分割，将所述三维场景表示中的不同物体分割成不同的实例的步骤包括：
对所述三维场景表示进行卷积操作和池化操作，提取出每个像素或每个点的特征向量；
对所述特征向量进行分类操作和回归操作，预测出每个像素或每个点对应属于的物体实例，以将所述三维场景表示中的不同物体分割成不同的实例。
进一步的，上述基于三维场景表示的车辆控制方法，其中，所述对所述三维场景表示进行关键点检测，以将所述三维场景表示中的不同物体的关键点检测出来的步骤包括：
对所述三维场景表示进行卷积操作和池化操作，提取出每个像素或每个点的特征向量；
对所述特征向量进行分类操作和回归操作，预测出每个像素或每个点是否是一个关键点。
进一步的，上述基于三维场景表示的车辆控制方法，其中，所述将实例分割以及关键点检测后知晓所述每个物体基础信息和每个关键点的关键信息的所述三维场景表示传输给车辆控制器，以对所述车辆进行控制的步骤包括：
将实例分割以及关键点检测后知晓所述每个物体基础信息和每个关键点的关键信息的所述三维场景表示进行编码，以转换成可供所述车辆控制器传输的数据格式；
对编码后的所述三维场景表示进行调制和解调操作，并通过无线通信方式传输给车辆控制器；
在所述车辆控制器接收到所述三维场景表示后进行解密和解压操作后，以对所述车辆进行控制。
本发明的另一个目的在于提供一种基于三维场景表示的车辆控制装置，所述装置包括：
采集模块，用于获取布置于车辆上的立体图像采集装置和激光雷达采集到的图像数据和点云数据；
融合模块，用于对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示；
分割模块，用于对所述三维场景表示进行实例分割，将所述三维场景表示中的不同物体分割成不同的实例，以确定每个物体的基础信息，所述基础信息至少包括类别信息、位置信息以及形状信息；
检测模块，用于对所述三维场景表示进行关键点检测，以将所述三维场景表示中的不同物体的关键点检测出来，以确定每个关键点的关键信息，所述关键信息至少包括坐标信息、语义信息；
控制模块，用于将实例分割以及关键点检测后知晓所述每个物体基础信息和每个关键点的关键信息的所述三维场景表示传输给车辆控制器，以对所述车辆进行控制。
本发明的另一个目的在于提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意一项所述的方法的步骤。
本发明的另一个目的是提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。
本发明通过获取布置于车辆上的立体图像采集装置和激光雷达采集到的图像数据和点云数据；对图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示；对三维场景表示进行实例分割，将三维场景表示中的不同物体分割成不同的实例，以确定每个物体的基础信息；对三维场景表示进行关键点检测，以将三维场景表示中的不同物体的关键点检测出来，以确定每个关键点的关键信息；将实例分割以及关键点检测后知晓每个物体基础信息和每个关键点的关键信息的三维场景表示传输给车辆控制器，以对车辆进行控制，对车辆周围环境进行三维重建和语义理解，并且能够区分出场景中的不同物体实例，并提取出其关键点信息，从而提供了更丰富和更精确的感知结果，可以有效地避免误判和遗漏，提高车辆的安全性。解决了现有技术中由于车辆感知准确性低，从而造成在进行车辆控制时安全性低的问题。
附图说明
图1为本发明一实施例提供的基于三维场景表示的车辆控制的流程图；
图2为本发明第三实施例中基于三维场景表示的车辆控制装置的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
以下将结合具体实施例和附图来详细说明如何提高通过提升车辆感知准确性，从而提高在进行车辆控制时安全性的问题。
实施例一
请参阅图1，所示为本发明第一实施例中的基于三维场景表示的车辆控制方法，所述方法包括步骤S10~S14。
步骤S10，获取布置于车辆上的立体图像采集装置和激光雷达采集到的图像数据和点云数据。
其中，在本发明实施例当中，立体图像采集装置为立体摄像头，使用立体摄像头和激光雷达作为传感器，分别捕捉车辆周围环境的图像数据和点云数据。立体摄像头是由两个或多个具有一定视差角度的摄像头组成的设备，可以从不同视角捕捉同一场景的图像数据。激光雷达是一种利用激光束扫描空间并接收反射信号来测量距离和角度的设备，可以从不同方向捕捉同一场景的点云数据。图像数据是由二维像素组成的数据，每个像素具有颜色信息。点云数据是由三维点组成的数据，每个点具有坐标信息和强度信息。
具体的，根据车辆的尺寸和需求，选择合适的立体摄像头和激光雷达的型号和参数，并安装在车辆的前后左右等位置，以覆盖车辆的全方位视野。本发明实施例还设置合适的采样频率和分辨率，以保证传感器能够实时地采集高质量的图像数据和点云数据。
作为本发明实施例当中的其中一种实施方式，在车辆的前后左右等位置安装了四个立体摄像头和四个激光雷达，分别捕捉车辆周围环境的图像数据和点云数据。立体摄像头分辨率为1920×1080，视场角为90°，视差角为15°；激光雷达分辨率为16×360，视场角为30°×360°，扫描频率为10 Hz。传感器的采样频率为30 Hz。
步骤S11，对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示。
其中，对图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示。融合的目的是利用图像数据和点云数据的互补优势，提高三维场景表示的完整性和精度。
具体的，在本发明实施例当中，利用深度学习技术对图像数据和点云数据进行融合。作为本发明实施例当中的一种实施方式，可以将图像数据和点云数据进行空间对齐，使得每个像素与每个点之间存在一一对应的关系，例如，基于深度学习的对齐算法根据图像数据和点云数据之间的几何关系和光照关系，计算出最优的变换矩阵，并将图像数据和点云数据进行变换，使其在同一坐标系下对齐，将对齐后的图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示，即对图像数据和点云数据进行特征提取和权重分配，并利用加权平均的方式生成具有颜色信息和深度信息的三维场景表示，在本发明实施例当中，使用了一个卷积神经网络和一个双向循环神经网络，对图像数据和点云数据进行特征提取和权重分配，并利用加权平均的方式生成具有颜色信息和深度信息的三维场景表示。
步骤S12，对所述三维场景表示进行实例分割，将所述三维场景表示中的不同物体分割成不同的实例，以确定每个物体的基础信息，所述基础信息至少包括类别信息、位置信息以及形状信息。
其中，利用深度学习技术，对经过融合的三维场景表示进行实例分割，将场景中的不同物体分割成不同的实例，并输出每个物体的类别信息、位置信息、形状信息等。实例分割的目的是识别出场景中存在哪些物体，并区分出同一类别内不同物体之间的边界。
具体的，基于深度学习的特征提取网络，对三维场景表示进行卷积操作和池化操作，提取出每个像素或每个点的特征向量，对特征向量进行分类操作和回归操作，预测出每个像素或每个点属于哪个物体实例，并输出每个物体实例的类别信息、位置信息、形状信息等，其中，对三维场景表示进行实例分割，使用了一个点卷积神经网络和一个多任务损失函数，对三维场景表示进行特征提取和实例预测，并利用分类损失函数和回归损失函数进行优化。
步骤S13，对所述三维场景表示进行关键点检测，以将所述三维场景表示中的不同物体的关键点检测出来，以确定每个关键点的关键信息，所述关键信息至少包括坐标信息、语义信息。
其中，关键点检测的目的是识别出物体的细节特征，例如角点、边缘点、中心点等，并为每个关键点赋予一个语义含义，例如头部、尾部、轮胎等。
具体的，基于深度学习的特征提取网络，对三维场景表示进行卷积操作和池化操作，提取出每个像素或每个点的特征向量，基于深度学习的关键点预测网络，对特征向量进行分类操作和回归操作，预测出每个像素或每个点是否是一个关键点，并输出每个关键点的坐标信息和语义信息，经过关键点检测后，三维场景表示中的每个物体都被标注了若干个关键点，可以清楚地显示出物体的细节特征，并且可以获取每个关键点的相关信息，例如坐标、语义等。其中，基于深度学习的关键点检测算法，对三维场景表示进行关键点检测，使用了一个卷积神经网络和一个多任务损失函数，对三维场景表示进行特征提取和关键点预测，并利用分类损失函数和回归损失函数进行优化。
步骤S14，将实例分割以及关键点检测后知晓所述每个物体基础信息和每个关键点的关键信息的所述三维场景表示传输给车辆控制器，以对所述车辆进行控制。
其中，将经过实例分割和关键点检测后的三维场景表示传输给VCU控制器，作为其控制车辆行为的依据。VCU控制器是车辆电子系统中的核心部件，负责根据感知结果进行相应的决策和动作，例如自动驾驶、智能避障、主动安全等。
具体的，作为本发明实施例当中的其中一种实施方式，基于深度学习的编码网络，对三维场景表示进行压缩和加密操作，将其转换为一种适合传输的数据格式，基于深度学习的传输网络，对编码后的三维场景表示进行调制和解调操作，并通过无线通信方式传输给VCU控制器，基于深度学习的解码网络，对接收到的三维场景表示进行解密和解压操作，将其恢复为原始的数据格式，经过传输后，VCU控制器可以接收到三维场景表示，并根据其内容进行相应的决策和动作，以实现车辆的安全、高效和智能运行。
综上，本发明上述实施例中的基于三维场景表示的车辆控制方法，通过获取布置于车辆上的立体图像采集装置和激光雷达采集到的图像数据和点云数据；对图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示；对三维场景表示进行实例分割，将三维场景表示中的不同物体分割成不同的实例，以确定每个物体的基础信息；对三维场景表示进行关键点检测，以将三维场景表示中的不同物体的关键点检测出来，以确定每个关键点的关键信息；将实例分割以及关键点检测后知晓每个物体基础信息和每个关键点的关键信息的三维场景表示传输给车辆控制器，以对车辆进行控制，对车辆周围环境进行三维重建和语义理解，并且能够区分出场景中的不同物体实例，并提取出其关键点信息，从而提供了更丰富和更精确的感知结果，可以有效地避免误判和遗漏，提高车辆的安全性。解决了现有技术中由于车辆感知准确性低，从而造成在进行车辆控制时安全性低的问题。
实施例二
本实施例也提出一种基于三维场景表示的车辆控制方法，本实施例当中的基于三维场景表示的车辆控制方法与实施例一当中的基于三维场景表示的车辆控制方法的不同之处在于：
步骤S11之前还包括：
对所述图像数据进行预处理以提高所述图像数据的质量，所述图像数据的预处理至少包括去噪、校正、配准。
其中，由于传感器本身或环境因素的影响，图像数据可能存在噪声，例如模糊、斑点、条纹等。通过对图像数据进行去噪处理，以消除或减少噪声的影响；由于立体摄像头的内部参数或外部参数的误差，图像数据可能存在畸变，例如扭曲、倾斜、错位等。通过对图像数据进行校正处理，以消除或减少畸变的影响；由于立体摄像头的不同视角或不同位置，图像数据可能存在不一致，例如视差、重叠、缺失等。通过对图像数据进行配准处理，以消除或减少不一致的影响。经过预处理后，图像数据的质量得到了显著提高，可以更好地反映出场景中物体的颜色信息和形状信息。
步骤S11之前还包括：
对所述点云数据进行预处理以提高所述点云数据的密度和均匀性，所述点云数据的预处理至少包括滤波、降采样、变换。
其中，由于传感器本身或环境因素的影响，点云数据可能存在噪声或异常值，例如离群点、空洞点、重复点等。通过对点云数据进行滤波处理，以消除或减少噪声或异常值的影响；由于传感器的高分辨率或大视场角，点云数据可能存在冗余或过密，例如密集点、重复点、无效点等。通过对点云数据进行降采样处理，以消除或减少冗余或过密的影响；由于激光雷达的不同方向或不同位置，点云数据可能存在不一致或不规则，例如旋转、平移、缩放等。通过对点云数据进行变换处理，以消除或减少不一致或不规则的影响。经过预处理后，点云数据的密度和均匀性得到了显著提高。
综上，本发明上述实施例中的基于三维场景表示的车辆控制方法，通过获取布置于车辆上的立体图像采集装置和激光雷达采集到的图像数据和点云数据；对图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示；对三维场景表示进行实例分割，将三维场景表示中的不同物体分割成不同的实例，以确定每个物体的基础信息；对三维场景表示进行关键点检测，以将三维场景表示中的不同物体的关键点检测出来，以确定每个关键点的关键信息；将实例分割以及关键点检测后知晓每个物体基础信息和每个关键点的关键信息的三维场景表示传输给车辆控制器，以对车辆进行控制，对车辆周围环境进行三维重建和语义理解，并且能够区分出场景中的不同物体实例，并提取出其关键点信息，从而提供了更丰富和更精确的感知结果，可以有效地避免误判和遗漏，提高车辆的安全性。解决了现有技术中由于车辆感知准确性低，从而造成在进行车辆控制时安全性低的问题。
实施例三
请参阅图2，所示为本发明第三实施例中提出的基于三维场景表示的车辆控制装置，所述装置包括：
采集模块100，用于获取布置于车辆上的立体图像采集装置和激光雷达采集到的图像数据和点云数据；
融合模块200，用于对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示；
分割模块300，用于对所述三维场景表示进行实例分割，将所述三维场景表示中的不同物体分割成不同的实例，以确定每个物体的基础信息，所述基础信息至少包括类别信息、位置信息以及形状信息；
检测模块400，用于对所述三维场景表示进行关键点检测，以将所述三维场景表示中的不同物体的关键点检测出来，以确定每个关键点的关键信息，所述关键信息至少包括坐标信息、语义信息；
控制模块500，用于将实例分割以及关键点检测后知晓所述每个物体基础信息和每个关键点的关键信息的所述三维场景表示传输给车辆控制器，以对所述车辆进行控制。
进一步的，上述基于三维场景表示的车辆控制装置，其特征在于，所述装置还包括：
第一预处理模块，用于对所述图像数据进行预处理以提高所述图像数据的质量，所述图像数据的预处理至少包括去噪、校正、配准。
进一步的，上述基于三维场景表示的车辆控制装置，其中，所述装置还包括：
第二预处理模块，用于对所述点云数据进行预处理以提高所述点云数据的密度和均匀性，所述点云数据的预处理至少包括滤波、降采样、变换。
进一步的，上述基于三维场景表示的车辆控制装置，其中，所述融合模块包括：
计算单元，用于根据所述图像数据与点云数据之间的几何关系和光照关系，计算出最优的变换矩阵；
对齐单元，用于根据所述变换矩阵将所述图像数据和点云数据进行变换使其在同一坐标系下对齐，以使得所述图像数据与点云数据中的每个像素与每个点之间存在一一对应的关系；
融合单元，用于将对齐后的所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示。
进一步的，上述基于三维场景表示的车辆控制装置，其中，所述分割模块包括：
第一提取单元，用于对所述三维场景表示进行卷积操作和池化操作，提取出每个像素或每个点的特征向量；
分割单元，用于对所述特征向量进行分类操作和回归操作，预测出每个像素或每个点对应属于的物体实例，以将所述三维场景表示中的不同物体分割成不同的实例。
进一步的，在本发明一些可选的实施例当中，其中，所述检测模块包括：
第二提取单元，用于对所述三维场景表示进行卷积操作和池化操作，提取出每个像素或每个点的特征向量；
检测单元，用于对所述特征向量进行分类操作和回归操作，预测出每个像素或每个点是否是一个关键点。
进一步的，上述基于三维场景表示的车辆控制装置，其中，所述控制模块包括：
编码单元，用于将实例分割以及关键点检测后知晓所述每个物体基础信息和每个关键点的关键信息的所述三维场景表示进行编码，以转换成可供所述车辆控制器传输的数据格式；
解调单元，用于对编码后的所述三维场景表示进行调制和解调操作，并通过无线通信方式传输给车辆控制器；
控制单元，用于在所述车辆控制器接收到所述三维场景表示后进行解密和解压操作后，以对所述车辆进行控制。
上述各模块被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
实施例四
本发明另一方面还提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述实施例一至二中任意一个所述的方法的步骤。
实施例五
本发明另一方面还提供一种电子设备，所述电子设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例一至二中任意一个所述的方法的步骤。
以上各个实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读存储介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于三维场景表示的车辆控制方法，其特征在于，所述方法包括：
获取布置于车辆上的立体图像采集装置和激光雷达采集到的图像数据和点云数据；
对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示；
对所述三维场景表示进行实例分割，将所述三维场景表示中的不同物体分割成不同的实例，以确定每个物体的基础信息，所述基础信息至少包括类别信息、位置信息以及形状信息；
对所述三维场景表示进行关键点检测，以将所述三维场景表示中的不同物体的关键点检测出来，以确定每个关键点的关键信息，所述关键信息至少包括坐标信息、语义信息；
将实例分割以及关键点检测后知晓所述每个物体基础信息和每个关键点的关键信息的所述三维场景表示传输给车辆控制器，以对所述车辆进行控制；
所述对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示的步骤包括：
根据所述图像数据与点云数据之间的几何关系和光照关系，计算出最优的变换矩阵；
根据所述变换矩阵将所述图像数据和点云数据进行变换使其在同一坐标系下对齐，以使得所述图像数据与点云数据中的每个像素与每个点之间存在一一对应的关系；
将对齐后的所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示。
2.根据权利要求1所述的基于三维场景表示的车辆控制方法，其特征在于，所述对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示的步骤之前还包括：
对所述图像数据进行预处理以提高所述图像数据的质量，所述图像数据的预处理至少包括去噪、校正、配准。
3.根据权利要求1所述的基于三维场景表示的车辆控制方法，其特征在于，所述对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示的步骤之前还包括：
对所述点云数据进行预处理以提高所述点云数据的密度和均匀性，所述点云数据的预处理至少包括滤波、降采样、变换。
4.根据权利要求1所述的基于三维场景表示的车辆控制方法，其特征在于，所述对所述三维场景表示进行实例分割，将所述三维场景表示中的不同物体分割成不同的实例的步骤包括：
对所述三维场景表示进行卷积操作和池化操作，提取出每个像素或每个点的特征向量；
对所述特征向量进行分类操作和回归操作，预测出每个像素或每个点对应属于的物体实例，以将所述三维场景表示中的不同物体分割成不同的实例。
5.根据权利要求1所述的基于三维场景表示的车辆控制方法，其特征在于，所述对所述三维场景表示进行关键点检测，以将所述三维场景表示中的不同物体的关键点检测出来的步骤包括：
对所述三维场景表示进行卷积操作和池化操作，提取出每个像素或每个点的特征向量；
对所述特征向量进行分类操作和回归操作，预测出每个像素或每个点是否是一个关键点。
6.根据权利要求1至5中任一项所述的基于三维场景表示的车辆控制方法，其特征在于，所述将实例分割以及关键点检测后知晓所述每个物体基础信息和每个关键点的关键信息的所述三维场景表示传输给车辆控制器，以对所述车辆进行控制的步骤包括：
将实例分割以及关键点检测后知晓所述每个物体基础信息和每个关键点的关键信息的所述三维场景表示进行编码，以转换成可供所述车辆控制器传输的数据格式；
对编码后的所述三维场景表示进行调制和解调操作，并通过无线通信方式传输给车辆控制器；
在所述车辆控制器接收到所述三维场景表示后进行解密和解压操作后，以对所述车辆进行控制。
7.一种基于三维场景表示的车辆控制装置，其特征在于，所述装置包括：
采集模块，用于获取布置于车辆上的立体图像采集装置和激光雷达采集到的图像数据和点云数据；
融合模块，用于对所述图像数据和点云数据进行融合，生成具有颜色信息和深度信息的三维场景表示；
分割模块，用于对所述三维场景表示进行实例分割，将所述三维场景表示中的不同物体分割成不同的实例，以确定每个物体的基础信息，所述基础信息至少包括类别信息、位置信息以及形状信息；
检测模块，用于对所述三维场景表示进行关键点检测，以将所述三维场景表示中的不同物体的关键点检测出来，以确定每个关键点的关键信息，所述关键信息至少包括坐标信息、语义信息；
控制模块，用于将实例分割以及关键点检测后知晓所述每个物体基础信息和每个关键点的关键信息的所述三维场景表示传输给车辆控制器，以对所述车辆进行控制。
8.一种可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任意一项所述的方法的步骤。
9.一种电子设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至6任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311204122.8A CN116968758A (zh) | 2023-09-19 | 2023-09-19 | 一种基于三维场景表示的车辆控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311204122.8A CN116968758A (zh) | 2023-09-19 | 2023-09-19 | 一种基于三维场景表示的车辆控制方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116968758A true CN116968758A (zh) | 2023-10-31 |
Family
ID=88481780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311204122.8A Pending CN116968758A (zh) | 2023-09-19 | 2023-09-19 | 一种基于三维场景表示的车辆控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116968758A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690095A (zh) * | 2024-02-03 | 2024-03-12 | 成都坤舆空间科技有限公司 | 一种基于三维场景的智慧社区管理系统 |
| CN117690095B (zh) * | 2024-02-03 | 2024-05-03 | 成都坤舆空间科技有限公司 | 一种基于三维场景的智慧社区管理系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402247A (zh) * | 2020-03-23 | 2020-07-10 | 华南理工大学 | 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法 |
| CN111563452A (zh) * | 2020-05-06 | 2020-08-21 | 南京师范大学镇江创新发展研究院 | 一种基于实例分割的多人体姿态检测及状态判别方法 |
| CN111798976A (zh) * | 2020-06-23 | 2020-10-20 | 杭州深睿博联科技有限公司 | 一种ddh人工智能辅助诊断方法及装置 |
| US20220044034A1 (en) * | 2020-08-10 | 2022-02-10 | Volvo Car Corporation | Automated road damage detection |
| KR20220081261A (ko) * | 2020-12-08 | 2022-06-15 | 삼성전자주식회사 | 객체 포즈 추정 방법 및 장치 |
| CN115761882A (zh) * | 2022-11-09 | 2023-03-07 | 上海工物高技术产业发展有限公司 | 违禁品携带检测方法、装置、系统及存储介质 |
| CN115923839A (zh) * | 2022-12-06 | 2023-04-07 | 嘉兴索亚智能科技有限公司 | 一种车辆路径规划方法 |
| CN116597122A (zh) * | 2023-05-17 | 2023-08-15 | 西安深信科创信息技术有限公司 | 数据标注方法、装置、电子设备及存储介质 |
-
2023
- 2023-09-19 CN CN202311204122.8A patent/CN116968758A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402247A (zh) * | 2020-03-23 | 2020-07-10 | 华南理工大学 | 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法 |
| CN111563452A (zh) * | 2020-05-06 | 2020-08-21 | 南京师范大学镇江创新发展研究院 | 一种基于实例分割的多人体姿态检测及状态判别方法 |
| CN111798976A (zh) * | 2020-06-23 | 2020-10-20 | 杭州深睿博联科技有限公司 | 一种ddh人工智能辅助诊断方法及装置 |
| US20220044034A1 (en) * | 2020-08-10 | 2022-02-10 | Volvo Car Corporation | Automated road damage detection |
| KR20220081261A (ko) * | 2020-12-08 | 2022-06-15 | 삼성전자주식회사 | 객체 포즈 추정 방법 및 장치 |
| CN115761882A (zh) * | 2022-11-09 | 2023-03-07 | 上海工物高技术产业发展有限公司 | 违禁品携带检测方法、装置、系统及存储介质 |
| CN115923839A (zh) * | 2022-12-06 | 2023-04-07 | 嘉兴索亚智能科技有限公司 | 一种车辆路径规划方法 |
| CN116597122A (zh) * | 2023-05-17 | 2023-08-15 | 西安深信科创信息技术有限公司 | 数据标注方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 左锦;倪金鑫;陈章宝;: "视觉导航草坪修剪机器人控制系统设计", 工业控制计算机, no. 02, pages 86 - 87 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690095A (zh) * | 2024-02-03 | 2024-03-12 | 成都坤舆空间科技有限公司 | 一种基于三维场景的智慧社区管理系统 |
| CN117690095B (zh) * | 2024-02-03 | 2024-05-03 | 成都坤舆空间科技有限公司 | 一种基于三维场景的智慧社区管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553859B (zh) | 一种激光雷达点云反射强度补全方法及系统 | |
| US10885398B2 (en) | Joint 3D object detection and orientation estimation via multimodal fusion | |
| CN112912920B (zh) | 用于2d卷积神经网络的点云数据转换方法和系统 | |
| Shin et al. | Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities | |
| CN112419494B (zh) | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 | |
| CN111971682A (zh) | 路面检测装置、利用了路面检测装置的图像显示装置、利用了路面检测装置的障碍物检测装置、路面检测方法、利用了路面检测方法的图像显示方法以及利用了路面检测方法的障碍物检测方法 | |
| US20230326055A1 (en) | System and method for self-supervised monocular ground-plane extraction | |
| CN113989766A (zh) | 道路边缘检测方法、应用于车辆的道路边缘检测设备 | |
| CN112731436A (zh) | 基于点云上采样的多模态数据融合可行驶区域检测方法 | |
| CN115410181A (zh) | 双头解耦对齐的全场景目标检测方法、系统、装置及介质 | |
| CN117111055A (zh) | 一种基于雷视融合的车辆状态感知方法 | |
| JP6847709B2 (ja) | カメラ装置、検出装置、検出システムおよび移動体 | |
| CN108268866B (zh) | 一种车辆检测方法和系统 | |
| CN112861599A (zh) | 用于对道路上的对象进行分类的方法和设备、计算机程序及存储介质 | |
| Li et al. | Feature point extraction and tracking based on a local adaptive threshold | |
| CN116968758A (zh) | 一种基于三维场景表示的车辆控制方法及装置 | |
| CN116215520A (zh) | 基于超声波和3d环视的车辆碰撞预警及处理方法、装置 | |
| CN115115535A (zh) | 深度图的去噪方法、装置、介质及设备 | |
| CN112990049A (zh) | 用于车辆自动驾驶的aeb紧急制动方法、装置 | |
| CN115063594B (zh) | 一种基于自动驾驶的特征提取方法及装置 | |
| CN117173693B (zh) | 3d目标检测方法、电子设备、介质以及驾驶设备 | |
| CN116681884B (zh) | 一种对象检测方法和相关装置 | |
| CN116343158B (zh) | 车道线检测模型的训练方法、装置、设备及存储介质 | |
| Guoliang et al. | Disparity estimation for multi-scale multi-sensor fusion | |
| CN117315424A (zh) | 多源融合的鸟瞰图感知目标检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |