CN113888463A - 车轮转角的检测方法、装置、电子设备及存储介质 - Google Patents

车轮转角的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113888463A
CN113888463A CN202111019175.3A CN202111019175A CN113888463A CN 113888463 A CN113888463 A CN 113888463A CN 202111019175 A CN202111019175 A CN 202111019175A CN 113888463 A CN113888463 A CN 113888463A
Authority
CN
China
Prior art keywords
wheel
image
point cloud
vehicle
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111019175.3A
Other languages
English (en)
Inventor
游越
刘振亚
邹清明
刘天勋
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weride Technology Co Ltd
Original Assignee
Guangzhou Weride Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weride Technology Co Ltd filed Critical Guangzhou Weride Technology Co Ltd
Priority to CN202111019175.3A priority Critical patent/CN113888463A/zh
Publication of CN113888463A publication Critical patent/CN113888463A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车轮转角的检测方法、装置、电子设备及存储介质，包括：从相机获取车辆的二维图像；对二维图像进行车轮检测，从二维图像中提取车轮图像；将车轮图像投影到车辆的点云图像所处的三维坐标系中，根据车轮图像在三维坐标系中的坐标，从点云图像中提取与车轮图像对应的各目标点；根据各目标点拟合成的车轮平面与车辆轴线的夹角，确定车轮转角。通过将从二维图像中提取到的车轮图像投影到点云图像的三维坐标系中，以从点云图像中获取与车轮图像对应的目标点，并基于目标点拟合后得到的车轮平面与车辆轴线的夹角来确定车轮转角，从而提高检测到的车辆车轮转角的准确度，进而提高后续车辆轨迹预测的可信度。

Description

车轮转角的检测方法、装置、电子设备及存储介质
技术领域
本申请涉及自动驾驶技术领域，特别涉及一种车轮转角的检测方法、装置、电子设备及存储介质。
背景技术
在自动驾驶系统中，对车辆的轨迹预测一直是一个难点。在用历史轨迹进行轨迹预测时，难以避免黑天鹅的情况，模型会给出一些不符合车辆运动学的诡异预测。为此，可利用宏观运动学来进行车辆的轨迹预测，从而在一定时间内较为准确的预测其运动轨迹。而利用宏观运动学来进行车辆的轨迹预测需对车辆的车轮转角进行检测，相关技术中，通常采用摄像头对车辆进行图像采集后，从图像中提取出车轮图像，根据车轮图像与带有车轮转角标识的车轮图像数据集进行匹配，从而检测出车轮转角。
然而，单纯的依靠摄像头获取的车轮图像来进行车轮转角的检测，需要预先获取海量的车轮图像数据集，而这些车轮图像数据集难以获得，如对于同一车轮转角，需要获取多个角度的车轮图像，而这种情况难以实现，导致检测到的车轮转角的准确度差，进而影响车辆轨迹预测的可信度。
发明内容
本申请的目的在于至少解决现有技术中存在的技术问题之一，提供一种车轮转角的检测方法、装置以及电子设备，提高检测到的车辆车轮转角的准确度，进而提高后续车辆轨迹预测的可信度。
第一方面，提供一种车轮转角的检测方法，包括：
从相机获取车辆的二维图像；
对二维图像进行车轮检测，从二维图像中提取车轮图像；
将车轮图像投影到车辆的点云图像所处的三维坐标系中，根据车轮图像在三维坐标系中的坐标，从点云图像中提取与车轮图像对应的各目标点，所述点云图像通过激光雷达获取；
根据各目标点拟合成的车轮平面与车辆轴线的夹角，确定车轮转角，所述车辆轴线从点云图像中获取。
进一步的，对二维图像进行车轮检测，从二维图像中提取车轮图像，包括：
将二维图像输入训练好的车轮识别模型进行车轮检测，获取车轮在二维图像中的位置；
根据车轮在二维图像中的位置，提取出二维图像中存在车轮的目标区域作为车轮图像。
进一步的，将车轮图像投影到车辆的点云图像所处的三维坐标系中，包括：
根据由相机的内部参数和外部参数生成的转换矩阵，对车轮图像进行坐标转换，以将车轮图像投影到车辆的点云图像所处的三维坐标系中。
进一步的，根据车轮图像在三维坐标系中的坐标，从点云图像中提取与车轮图像对应的各目标点，包括：
根据车轮图像在三维坐标系中的坐标，确定车轮图像在点云图像中所对应的图像区域；
根据图像区域中的各点的反射率，从各点中筛选出反射率满足预设条件的各目标点。
进一步的，根据车轮图像在三维坐标系中的坐标，确定车轮图像在点云图像中所对应的图像区域，包括：
在点云图像中，获取由车轮图像在三维坐标系中的坐标组成的初始区域；
扩大初始区域的范围，将扩大后的初始区域标记为车轮图像在点云图像中所对应的图像区域。
进一步的，根据各目标点拟合成的车轮平面与车辆轴线的夹角，确定车轮转角，包括：
将各目标点拟合成的车轮平面投影至点云图像中的地面，以根据投影后的车轮平面与车辆轴线在地面中形成的夹角，确定为车轮转角。
进一步的，所述车辆轴线为点云图像中车辆同侧的前轮中心点坐标与后轮中心点坐标的连线，所述前轮中心点坐标为车轮平面的中心点坐标，所述后轮中心点坐标为二维图像中车辆后轮的中心点在三维坐标系中对应的坐标。
进一步的，在从点云图像中提取与车轮图像对应的各目标点之后，还包括：
根据各目标点的高度信息，获取各目标点对应的拟合权重，以根据各目标点的拟合权重对各目标点进行拟合，获取车轮平面。
进一步的，各所述目标点的点云数量大于预设阈值。
第二方面，提供了一种车轮转角的检测装置，包括：
二维图像获取模块，用于从相机获取车辆的二维图像；
车轮图像提取模块，用于对二维图像进行车轮检测，从二维图像中提取车轮图像；
目标点获取模块，用于将车轮图像投影到车辆的点云图像所处的三维坐标系中，根据车轮图像在三维坐标系中的坐标，从点云图像中提取与车轮图像对应的各目标点，所述点云图像通过激光雷达获取；
车轮转角检测模块，用于根据各目标点拟合成的车轮平面与车辆轴线的夹角，确定车轮转角，所述车辆轴线从点云图像中获取。
第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例所述的方法。
第四方面，本申请实施例提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行如上述实施例所述的方法。
相比于现有技术，本申请实施例通过将从二维图像中提取到的车轮图像投影到点云图像的三维坐标系中，以从点云图像中获取与车轮图像对应的目标点，以基于目标点拟合后得到的车轮平面与车辆轴线的夹角来确定车轮转角，从而能够有效地对车轮朝向进行实时检测，无需获取多个角度的车轮图像，提高检测到的车辆车轮转角的准确度，进而提高后续车辆轨迹预测的可信度。
附图说明
下面结合附图和实施例对本申请进一步地说明；
图1为一个实施例提供的车轮转角的检测方法的应用环境图；
图2为一个实施例提供的车轮转角的检测方法的流程示意图；
图3为一个实施例提供的车轮图像提取流程示意图；
图4为一个实施例提供的目标点提取流程示意图；
图5为一个实施例提供的图像区域获取流程示意图；
图6为一个实施例提供的车辆运动学的模型示意图；
图7为一个实施例提供的车轮转角的检测装置的结构示意图；
图8为一个实施例提供的计算机设备的结构框图。
具体实施方式
本部分将详细描述本申请的具体实施例，本申请之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本申请的每个技术特征和整体技术方案，但其不能理解为对本申请保护范围的限制。
为了更好地理解方案，对本发明实施例涉及的专业术语进行解释。
激光雷达(LiDAR，LightLaser Detection and Ranging)是激光探测及测距系统的简称，是激光技术与雷达技术相结合的产物。激光雷达采用激光器作为辐射源的雷达，通常由发射机、天线、接收机、跟踪架以及信息处理等部分组成。发射机是各种形式的激光器；天线是光学望远镜；接收机采用各种形式的光点探测器；激光雷达采用脉冲或者连续波两种工作方式，探测方法分为直接探测与外差探测。LiDAR系统包括一个单束窄带激光器和一个接收系统。激光器产生并发射一束光脉冲，打在物体上并反射回来，最终被接收器所接收。接收器准确地测量光脉冲从发射到被反射回的传播时间。因为光脉冲以光速传播，所以接收器总会在下一个脉冲发出之前收到前一个被反射回的脉冲。鉴于光速是已知的，传播时间即可被转换为对距离的测量。结合激光器的高度，激光扫描角度，从GPS得到的激光器的位置和从INS得到的激光发射方向，就可以准确地计算出每一个地面光斑的坐标X，Y，Z。激光束发射的频率可以从每秒几个脉冲到每秒几万个脉冲。举例而言，一个频率为每秒一万次脉冲的系统，接收器将会在一分钟内记录六十万个点。一般而言，LiDAR系统的地面光斑间距在2-4m不等。激光雷达是一种工作在从红外到紫外光谱段的雷达系统，其原理和构造与激光测距仪极为相似。激光雷达的作用是能精确测量目标位置(距离和角度)、运动状态(速度、振动和姿态)和形状，探测、识别、分辨和跟踪目标。
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”(PointCloud)。主要是通过三维激光扫描仪进行数据采集来获取点云数据，而LiDAR，即激光雷达，获取的数据就是点云数据，同时也对点云数据进行处理加工及应用。
下面结合附图对本申请实施例进行详细的阐述，本申请实施例提供的车轮转角的检测方法应用于如图1所示的包括终端设备110、相机120、激光雷达130的应用环境中。其中终端设备110与相机120和激光雷达130通信连接。终端设备110可以是台式终端或移动终端，其中移动终端可以是手机、平板电脑、笔记本电脑、可穿戴设备、车载终端等任一移动终端中的一种。相机可以是安装在车辆前端的车载相机，其具体可以是数码相机、摄像机等具有摄像或录像功能的电子设备。激光雷达可以搭载在车辆上。
其中，终端设备通过相机，如安装在车辆前端的车载相机来获取路面上其他车辆的二维图像，以及通过激光雷达获取路面上其他车辆的点云图像和对应的车辆轴线后，从二维图像中提取车轮图像，将车轮图像投影到点云图像的三维坐标系中。根据车轮图像在三维坐标系中的坐标，从点云图像中提取与车轮图像对应的的各目标点后，根据各目标点拟合成的车轮平面与车辆轴线的夹角，确定车轮转角。从而可在对车辆的轨迹进行预测时，根据车轮转角以及以后轴为原点的车辆运动学的模型来预测车辆的运动轨迹。
通过将从二维图像中提取到的车轮图像投影到点云图像的三维坐标系中，以从点云图像中获取与车轮图像对应的目标点，以基于目标点拟合后得到的车轮平面与车辆轴线的夹角来确定车轮转角，从而能够有效地对车轮朝向进行实时检测，无需获取多个角度的车轮图像，提高检测到的车辆车轮转角的准确度，进而提高后续车辆轨迹预测的可信度。
下面，将通过几个具体的实施例对本申请实施例提供的车轮转角的检测方法进行详细介绍和说明。
为了解决上述技术问题，如图2所示，在一个实施例中，提供了一种车轮转角的检测方法。本实施例主要以该方法应用于计算机设备来举例说明。该计算机设备具体可以是图1中的终端设备110，该终端设备110可搭载在车辆中。
参照图2，该车轮转角的检测方法具体包括如下步骤：
S11、从相机获取车辆的二维图像。
在一实施例中，相机可以是安装在车辆前端的车载相机，利用摄像头进行图像采集，从而获得路面上其他车辆的二维图像。其中，相机的像素要求可根据实际情况进行调整，通常可采用800万像素的车载相机。
由于通过摄像头采集后的图像中通常不单单存在车辆，还会存在建筑物、植物等不需要处理的区域，因此在一实施例中，通过摄像头进行图像采集后，可先将摄像头采集到的原始图像进行预处理，通过训练好的车辆识别模型从原始图像检测出车辆的位置和尺寸。在从原始图像检测出车辆的位置和尺寸后，根据检测到的车辆的位置和尺寸，对原始图像进行裁剪得到二维图像，从而缩小后续车轮的检测范围，加快检测速度。
在一实施例中，训练好的车辆识别模型，可以是采用迁移学习的方法对用于识别车辆的模型进行参数训练，或者先通过海量的正负样本预先对多个传统的图像识别模型，如AlexNet、ResNet或VGGNet等重新进行训练，从而从中挑选出检测准确率最高且能达到预设准确率，如95％的图像识别模型作为训练好的车辆识别模型。为确保训练样本的可信度，正负样本可采用海量的路测数据，即基于真实场景得到的未经过图像处理的原始数据，从而大大提高了数据的可信度。在获取海量的原始数据后，即可根据实际情况预先对原始数据进行标记，将海量的原始数据标记为正样本或者负样本。
为进一步提高模型检测的准确率，在一实施例中，还可以适当的调整车辆识别模型直至其产生更多的准确检测后，根据调整的内容来辅以相关的规则性限制来对相机采集到的原始图像进行过滤。如在检测到车辆的时候，其一定是在路面上，否则便不是车辆，可以筛掉。从而进一步提高模型检测的准确率。
在一实施例中，通过训练好的车辆识别模型从原始图像中提取二维图像外，还可以将训练好的车辆识别模型和经典图像处理的算法融合，例如将训练好的车辆识别模型与霍夫变换做融合，通过训练好的车辆识别模型预先从原始图像中提取出某个区域的图像后，再通过霍夫变换进行圆弧检测，以检测图像中是否存在位于同一侧的前后车轮，并在检测到存在位于同一侧的前后车轮时，将该区域的图像作为二维图像。
具体是采用车辆识别模型直接从原始图像中提取二维图像，还是采用车辆识别模型融合经典图像处理的算法提取二维图像，可根据终端设备的载荷确定。若终端设备的载荷满足车辆识别模型融合经典图像处理的算法的运行需求，则通过车辆识别模型融合经典图像处理的算法来进行二维图像提取。
S12、对二维图像进行车轮检测，从二维图像中提取车轮图像。
在一实施例中，在获取到二维图像后，可通过训练好的车轮识别模型对二维图像进行检测，以从二维图像中提取车轮图像。
其中，车轮识别模型可以是采用迁移学习的方法，对用于识别车轮的模型进行参数训练后得到。或者先通过海量的正负样本预先对多个传统的图像识别模型，如AlexNet、ResNet或VGGNet等重新进行训练，从而从中挑选出车轮的检测准确率最高且能达到预设准确率，如95％的图像识别模型作为训练好的车轮识别模型。
在一实施例中，用于对车轮识别模型进行训练的正负样本，可以是通过搜索引擎直接搜索类似“车轮”的关键字就可以得到足够的正样本，然后与预先设定的负样本结合，即可得到用于进行车轮识别模型训练的正负样本。
然而除车轮本体的检测外，车轮识别模型在实际应用中，还需要确定车轮的位置和朝向。为提高检测效果，还需要有更优质的数据集，因此在一实施例中，为确保训练样本更符合实际的路面情况，正负样本还可以采用海量的路测数据，即基于真实场景得到的未经过图像处理的原始数据，从而大大提高了数据的实用性。在获取海量的原始数据后，即可根据实际情况预先对原始数据进行标记，将海量的原始数据标记为正样本或者负样本。
示例性的，对原始数据的标记可以分别进行车轮的朝向标记，用于区分前后轮，以及前后轮的中心和长短轴半径的标记。具体的标记方式可以是先响应用户针对车头的点击操作，以对车头进行标记，再分别响应用户针对前轮、短轴与前轮轮胎交点、长轴与前轮轮胎交点、后轮、短轴与后轮轮胎交点、长轴与后轮轮胎交点的点击操作，以分别对上述对象进行标记。如此一来，仅需几次点击即可对完成针对一个原始数据的标记。具体对原始数据的标记方式可根据实际需求进行调整。
由于现市售的大部分乘用车，都在其转向系统中有阿克曼转角的设计，以降低后轮的磨损和车辆在弯道中的稳定性。而该设计的核心保证了车辆转向时的瞬心始终在后轴的延长线上。因此在利用运动学模型进行车辆轨迹预测时，通常采用的运动学模型为以后轴为原点的车辆运动模型。而在采用以后轴为原点的车辆运动模型进行车辆轨迹预测是，仅需要前轮的转角和车的轴距。因此在一实施例中，从二维图像中提取到的车轮图像为车辆的前轮图像。若在二维图像中检测到两个前轮图像，则该车轮图像可以是在二维图像中显示面积较大的前轮图像。
S13、将车轮图像投影到车辆的点云图像所处的三维坐标系中，根据车轮图像在三维坐标系中的坐标，从点云图像中提取与车轮图像对应的各目标点，所述点云图像通过激光雷达获取。
在一实施例中，点云图像为包含有点云中的完整信息量的三维图像，可以通过搭载在车辆中的激光雷达来进行获取。通过搭载在车辆中的激光雷达，即可获得路面上其他车辆的点云图像。
在一实施例中，在获取到车轮图像后，可以将车轮图像和点云图像进行配准，获得两者的空间位置关系，然后基于该空间位置关系将二维的车轮图像识别结果转换为点云图像所处的三维坐标系中的三维散点。其中，将车轮图像投影到车辆的点云图像所处的三维坐标系中，包括：根据由相机的内部参数和外部参数生成的转换矩阵，对车轮图像进行坐标转换，以将车轮图像投影到车辆的点云图像所处的三维坐标系中。
在一实施例中，相机的内部参数包括相机焦距、ccd(电荷耦合元件)上每个像素的尺寸以及相机原点在二维图像所在的图像坐标系中的位置。外部参数包括相机在三维坐标系下三个维度的偏航角和平移量。由于通过激光雷达得到的点云图像中包含所扫描到的每一个空间点的三维坐标，因此通过相机标定，即可得到相机的内外参数。
在一实施例中，在得到相机的内部参数和外部参数后，便可得到转换矩阵。其中转换矩阵包括内参矩阵K以及外参矩阵R、T。若用(u0、v0)表示相机原点在图像坐标系中的位置，f表示相机的焦距，dx、dy分别表示传感器每个单元在图像坐标系的两个坐标轴方向上的的尺寸，则内参矩阵K为：
Figure BDA0003239344010000091
如果用α、β、γ分别表示相机外部参数中三个方向上的偏航角度，用tx、ty、tz分别表示相机外部参数中三个方向上的平移量，则外参矩阵R、T为：
Figure BDA0003239344010000092
T＝(tx,ty,tz)T
基于内参矩阵和外参矩阵，将车轮图像和点云图像进行配准，获得两者的空间位置关系，从而将车轮图像投影到车辆的点云图像所处的三维坐标系中。
在一实施例中，在将车轮图像投影到车辆的点云图像所处的三维坐标系后，由于点云图像中包含有点云中各个点的坐标，因此可根据车轮图像在三维坐标系中的坐标，从点云图像的点云中提取对应的各目标点。
S14、根据各目标点拟合成的车轮平面与车辆轴线的夹角，确定车轮转角，所述车辆轴线从点云图像中获取。
在一实施例中，在获取各目标点后，根据各目标点的三维坐标，确定所有目标点到平面总距离最小的一个垂直于地面的平面，作为车轮平面。
在一实施例中，在获取到各目标点后，则可对各目标点进行拟合，从而形成车轮平面后，将车轮平面与车辆轴线的夹角作为车轮转角。
为减少车轮转角的误差，在一实施例中，可将各目标点拟合成的车轮平面投影至点云图像中的地面，以根据投影后的车轮平面与车辆轴线在地面中形成的夹角，确定为车轮转角。
示例性的，由于激光雷达照射到不同的物体时会形成不同反射强度的点，因此可根据点云图像中各点的反射强度，来从点云图像中选择相应的点拟合形成地面。或者，可以预先对点云图像中的各点数据设置相应的图像标签，例如，对点云图像中的固定物对应的点数据如建筑物、栅栏、植被等设置为灰色的图像标签；对点云图像中移动物体对应的点数据如汽车、行人等设置红色标签；对点云图像中可行驶路段对应的点数据如路面、人行道等设置蓝色标签。根据点云图像中用于指示各点数据所代表物体的图像标签，即可来从点云图像中获取目标区域。
示例性的，由于点云图像所处的三维坐标系是由激光雷达的朝向来确定的，而激光雷达通常搭载在车辆上，因此无论当前地面是平面还是坡道，激光雷达形成的三维坐标系中的xoy平面在车辆的行驶过程中，通常都会平行于地面。因此，还可将由点云图像确定的三维坐标系中的xoy平面作为点云图像中的地面。
在一实施例中，由于一个平面在三维下的表达式为ax+by+cz+d＝0，而车轮平面是平行与z轴，即于垂直地面，因此车轮平面的平面表达式可以退化为ax+by+d＝0，此时根据表达式即可得到车轮平面在地面的投影。
通过将从二维图像中提取到的车轮图像投影到点云图像的三维坐标系中，以从点云图像中获取与车轮图像对应的目标点，以基于目标点拟合后得到的车轮平面与车辆轴线的夹角来确定车轮转角，从而能够有效地对车轮朝向进行实时检测，无需获取多个角度的车轮图像，提高检测到的车辆车轮转角的准确度，进而提高后续车辆轨迹预测的可信度。
考虑到在车轮图像的提取阶段，需要对二维图像的所有像素点进行遍历，提取效率较低。因此为提高车轮图像的提取效率，图3所示，在一实施例中，对二维图像进行车轮检测，从二维图像中提取车轮图像，包括：
S21、将二维图像输入训练好的车轮识别模型进行车轮检测，获取车轮在二维图像中的位置。
在一实施例中，将二维图像输入训练好的车轮识别模型进行车轮检测，即可得到车轮在二维图像中的显示区域。在得到该显示区域后，即可将该显示区域所有像素的坐标形成的区域作为车轮在在二维图像中的位置。如获取显示区域中各像素点的二维坐标(x1，y1)、(x2，y2)、(x3，y3)……(xn，ym)后，则将这些像素点作为车轮在二维图像中的位置。或者，在得到该显示区域后，将该显示区域的外接二维框的顶点坐标，作为车轮在二维图像中的位置。如二维框的顶点坐标分别为(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)，此时四个顶点坐标围成的二维框的位置即为车轮在二维图像中的位置。
S22、根据车轮在二维图像中的位置，提取出二维图像中存在车轮的目标区域作为车轮图像。
在获取车轮在二维图像中的位置后，根据该位置对二维图像进行裁剪，从而从二维图像中提取出该显示区域或该显示区域的外接二维框作为车轮图像，以缩小检测范围，加快检测速度。
考虑到在目标点获取阶段，由于车轮图像中可能不仅仅包括车轮，还会包括一部分路面图像和/或轮眉等图像。因此为使获取到的目标点为点云图像中表示车轮的点，以提高后续拟合成的车轮平面的准确度，在一实施例中，如图4所示，根据车轮图像在三维坐标系中的坐标，从点云图像中提取与车轮图像对应的各目标点，包括：
S31、根据车轮图像在三维坐标系中的坐标，确定车轮图像在点云图像中所对应的图像区域。
在一实施例中，在将车轮图像投影到车辆的点云图像所处的三维坐标系后，根据车轮图像在三维坐标系的坐标，从点云图像的点云中获取与车轮图像相对应的多个点，并根据获取到的所有点组成图像区域。
示例性的，将车轮图像的所有像素投影到车辆的点云图像所处的三维坐标系，获取车轮图像中各个像素的三维坐标(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)……(xn，yn，zn)后，从点云图像的点云中对应获取三维坐标为(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)……(xn，yn，zn)的所有点，即可得到有所有点组成的图像区域。
通常情况下点云图像中点云分布情况较为复杂，而从其中准确地确定图像区域也存在一定的困难，不利于相关坐标数据的获取。因此在一实施例中，可将点云图像进行网格化，得到多个点云网格。根据车轮图像的投影结果，可从多个点云网格中获取与车轮图像相对应的多个点云网格，而这些与与车轮图像相对应的多个点云网格即组成图像区域。其中，点云网格为表示点云图像中一个点的单元网格，每个点云网格的大小相同。
S32、根据图像区域中的各点的反射率，从各点中筛选出反射率满足预设条件的各目标点。
在一实施例中，若图像区域由点云网格组成，则将点云网格的中心点作为目标点。
由于激光雷达对于不同材质的物体反射率不同，得到的信号的强度不同，因此在一实施例中，可针对对应型号的激光雷达，预先基于不同的角度，不同的距离以及不同类型的轮胎等进行实验，以根据实验结果的数据分布可以预先确定车轮橡胶在某个距离上的反射率，从而设定好车轮轮胎与反射率的映射关系表。在得到图像区域后，检测图像区域中每个点的反射率，当检测到的反射率，与映射关系表中针对当前距离预设的反射率相同时，即可将该点确定为目标点。若不同，则将该点筛除。
考虑到激光雷达的损耗或激光雷达的品控原因，相同型号的激光雷达在同一区域的反射率可能有所波动，因此还可以针对对应型号的激光雷达，预先基于不同的角度，不同的距离以及不同类型的轮胎等进行实验，以根据实验结果的数据分布可以预先确定车轮橡胶在某个距离上的反射率范围，从而设定好车轮轮胎与反射率范围的映射关系表。在得到图像区域后，检测图像区域中每个点的反射率，当检测到的反射率，处于映射关系表中针对当前距离预设的反射率范围内时，即可将该点确定为目标点。若不处于该范围，则将该点筛除。
而由于天气、环境的不同，激光信号的强度会受到一定的影响或波动，例如晴天的激光信号的强度相比雨天的激光信号的强度要大。因此为避免由于外部环境对激光信号的强度影响导致目标点筛选不准确，在一实施例中，预设条件为反射率与图像区域中任一点的反射率相差大于预设值。即在获取图像区域中每个点的反射率后，通过比较每个点之间的反射率，来确定每个点之间的反射率差值。而由于车体一般是金属，轮眉是镀铬饰品或者塑料，其反射率都会比车轮的橡胶高很多，因此当两个点之间的反射率差值大于预设值时，则可确定反射率较小的点为橡胶上的点，从而将该点确定为目标点。其中，预设值可根据实际情况进行确定。
虽然由于天气、环境的不同，激光信号的强度会受到一定的影响或波动，但不同点之间反射率的区别不会有太大影响，因此通过比较每个点之间的反射率，来确定每个点之间的反射率的差值，以根据反射率的差值来筛选出车轮上的点云，避免由于外部环境对激光信号的强度影响导致目标点筛选不准确。
为避免图像区域中不存在轮眉或者除车轮外车体的其他部位，导致无法根据反射率的差值来筛选目标点，在一实施例中，如图5所示，根据车轮图像在三维坐标系中的坐标，确定车轮图像在点云图像中所对应的图像区域，包括：
S41、在点云图像中，获取由车轮图像在三维坐标系中的坐标组成的初始区域。
其中，初始区域为根据车轮图像在三维坐标系的坐标，从点云图像的点云中获取到的与车轮图像相对应的图像区域。如在获取车轮图像中各个像素的三维坐标(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)……(xn，yn，zn)后，将各个像素的三维坐标(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)……(xn，yn，zn)组成的区域作为初始区域。
S42、扩大初始区域的范围，将扩大后的初始区域标记为车轮图像在点云图像中所对应的图像区域。
在一实施例中，在获取到初始区域后，根据预设倍数，扩大初始区域的面积范围，从而确保车轮图像完整的同时，获取车轮周围的翼子板、轮眉的点云数据。如初始区域的初始面积范围为80cm×80cm，预设倍数为1.2，则将初始区域扩大为96cm×96cm。此时扩大后的初始区域即为图像区域。其中，预设倍数可根据实际情况进行调整。
通过在根据车轮图像在三维坐标系的坐标，从点云图像的点云中获取与车轮图像相对应的初始区域后，扩大初始区域的范围，以将扩大后的初始区域作为图像区域，从而确保从点云图像中获取到的车轮的完整性，同时使图像区域中存在轮眉或者除车轮外车体的其他部位，以方便后续根据反射率筛选出对应车轮的目标点。
考虑到在通过各目标点进行车轮平面的拟合时，由于地面附近的车轮形变比较严重，同时接近地面的点云也会更多的受到环境的影响，此时可能会导致拟合到的车轮平面出现变形。因此为使拟合到的车轮平面更为准确，在一实施例中，在从点云图像中提取与车轮图像对应的各目标点之后，还包括：
根据各目标点的高度信息，获取各目标点对应的拟合权重，以根据各目标点的拟合权重对各目标点进行拟合，获取车轮平面。
在一实施例中，在提取各目标点后，根据目标点在点云图像中的三维坐标，可获取目标点在三维坐标系中Z轴的坐标，以将目标点在Z轴上的坐标作为目标点的高度信息。在得到目标点的高度信息后，检测该高度信息是否大于预设高度，若大于或等于，则赋予该目标点第一拟合权重；若小于，则赋予该目标点第二拟合权重。其中第一拟合权重大于第二拟合权重。其中，预设高度可以是5cm-7cm，具体数值可根据实际情况进行设定。
在一实施例中，还可以预设有高度信息与拟合权重的映射关系表。在映射关系表中，高度信息与拟合权重成正比，即高度信息越大，拟合权重越高。在得到目标点的高度信息后，将该高度信息与映射关系表进行匹配，以从映射关系表中获取与该目标点相对应的拟合权重。
在获取各目标点的拟合权重后，即可对各目标点根据拟合权重进行拟合，得到所有目标点到平面总距离最小的一个垂直于地面的平面，作为车轮平面。
通过各目标点的高度信息，来赋予较高的目标点更多的权重，赋予靠近地面的目标点交底的权重，从而减少在地面附近形变严重的目标点对车轮平面的拟合结果的影响，提高各目标点拟合后得到的车轮平面的准确度。
为使拟合后的车轮平面更为准确，在一实施例中，可根据目标点的数量来决定是否对车轮进行拟合。当各所述目标点的点云数量大于预设阈值时，对各目标点进行拟合，形成车轮平面，以确保有比较准确的检测精度。示例性的，由于在统计学上，当一个车轮的点云达到50个以上时，则可判定检测精度较为准确，因此预设阈值可设定为50。若当各所述目标点的点云数量小于或等于预设阈值时，则不做处理，将二维图像和点云图像发送给下游的冗余模块进行后续处理。
在得到车轮转角后，由于车辆运动学模型可以简化为二维平面上运动的刚体结构，任意时刻车辆的状，车辆坐标的原点位于后轴的中心位置，坐标轴与车身平行，如图6所示。而在驾驶过程中通常不会出现猛打方向盘，或者猛踩刹车或者油门的情况，因此车辆的角加速度和车辆行进方向上的线加速度通常不会跳变，因此可根据车辆的车轮转角、速度和同一侧前后轮的距离，来预测车辆接下来两秒的运动轨迹。即：
Figure BDA0003239344010000161
Figure BDA0003239344010000162
其中，s表示车辆的速度；φ表示转向角，转向角向左为正，向右为负；L表示前轮和后轮的距离；等效半径为图6所示的ρ；a表示车辆的加速度；
Figure BDA0003239344010000163
为预测的车辆坐标的原点位于后轴的中心位置；
Figure BDA0003239344010000164
表示预测的转向角；
Figure BDA0003239344010000165
表示预测的车辆速度。
在一个实施例中，如图7所示，提供了一种车轮转角的检测装置，包括：
二维图像获取模块101，用于从相机获取车辆的二维图像。
车轮图像提取模块102，用于对二维图像进行车轮检测，从二维图像中提取车轮图像。
目标点获取模块103，用于将车轮图像投影到车辆的点云图像所处的三维坐标系中，根据车轮图像在三维坐标系中的坐标，从点云图像中提取与车轮图像对应的各目标点，所述点云图像通过激光雷达获取。
车轮转角检测模块104，用于根据各目标点拟合成的车轮平面与车辆轴线的夹角，确定车轮转角，所述车辆轴线从点云图像中获取。
在一个实施例中，车轮图像提取模块102，具体用于：
将二维图像输入训练好的车轮识别模型进行车轮检测，获取车轮在二维图像中的位置；根据车轮在二维图像中的位置，提取出二维图像中存在车轮的目标区域作为车轮图像。
在一个实施例中，目标点获取模块103，具体用于：
根据由相机的内部参数和外部参数生成的转换矩阵，对车轮图像进行坐标转换，以将车轮图像投影到车辆的点云图像所处的三维坐标系中。
在一实施例中，目标点获取模块103，具体用于：
根据车轮图像在三维坐标系中的坐标，确定车轮图像在点云图像中所对应的图像区域；根据图像区域中的各点的反射率，从各点中筛选出反射率满足预设条件的各目标点。
在一实施例中，目标点获取模块103，还用于：
在点云图像中，获取由车轮图像在三维坐标系中的坐标组成的初始区域；扩大初始区域的范围，将扩大后的初始区域标记为车轮图像在点云图像中所对应的图像区域。
在一实施例中，车轮转角检测模块104，具体用于：
将各目标点拟合成的车轮平面投影至点云图像中的地面，以根据投影后的车轮平面与车辆轴线在地面中形成的夹角，确定为车轮转角。
在一实施例中，所述车辆轴线为点云图像中车辆同侧的前轮中心点坐标与后轮中心点坐标的连线，所述前轮中心点坐标为车轮平面的中心点坐标，所述后轮中心点坐标为二维图像中车辆后轮的中心点在三维坐标系中对应的坐标。
在一实施例中，目标点获取模块103，还用于：根据各目标点的高度信息，获取各目标点对应的拟合权重，以根据各目标点的拟合权重对各目标点进行拟合，获取车轮平面。
在一实施例中，各所述目标点的点云数量大于预设阈值。
通过将从二维图像中提取到的车轮图像投影到点云图像的三维坐标系中，以从点云图像中获取与车轮图像对应的目标点，以基于目标点拟合后得到的车轮平面与车辆轴线的夹角来确定车轮转角，从而能够有效地对车轮朝向进行实时检测，无需获取多个角度的车轮图像，提高检测到的车辆车轮转角的准确度，进而提高后续车辆轨迹预测的可信度。
在一个实施例中，提供了一种计算机设备，如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现车轮转角的检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行车轮转角的检测方法。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的车轮转角的检测装置可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该车轮转角的检测装置的各个程序模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的车轮转角的检测方法中的步骤。
在一个实施例中，本申请实施例提供一种电子设备，应用于车辆，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例所述的方法。
在一个实施例中，本申请实施例提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行如上述实施例所述的方法。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (12)

1.一种车轮转角的检测方法，其特征在于，包括：
从相机获取车辆的二维图像；
对二维图像进行车轮检测，从二维图像中提取车轮图像；
将车轮图像投影到车辆的点云图像所处的三维坐标系中，根据车轮图像在三维坐标系中的坐标，从点云图像中提取与车轮图像对应的各目标点，所述点云图像通过激光雷达获取；
根据各目标点拟合成的车轮平面与车辆轴线的夹角，确定车轮转角，所述车辆轴线从点云图像中获取。
2.根据权利要求1所述的车轮转角的检测方法，其特征在于，对二维图像进行车轮检测，从二维图像中提取车轮图像，包括：
将二维图像输入训练好的车轮识别模型进行车轮检测，获取车轮在二维图像中的位置；
根据车轮在二维图像中的位置，提取出二维图像中存在车轮的目标区域作为车轮图像。
3.根据权利要求1所述的车轮转角的检测方法，其特征在于，将车轮图像投影到车辆的点云图像所处的三维坐标系中，包括：
根据由相机的内部参数和外部参数生成的转换矩阵，对车轮图像进行坐标转换，以将车轮图像投影到车辆的点云图像所处的三维坐标系中。
4.根据权利要求1或3所述的车轮转角的检测方法，其特征在于，根据车轮图像在三维坐标系中的坐标，从点云图像中提取与车轮图像对应的各目标点，包括：
根据车轮图像在三维坐标系中的坐标，确定车轮图像在点云图像中所对应的图像区域；
根据图像区域中的各点的反射率，从各点中筛选出反射率满足预设条件的各目标点。
5.根据权利要求4所述的车轮转角的检测方法，其特征在于，根据车轮图像在三维坐标系中的坐标，确定车轮图像在点云图像中所对应的图像区域，包括：
在点云图像中，获取由车轮图像在三维坐标系中的坐标组成的初始区域；
扩大初始区域的范围，将扩大后的初始区域标记为车轮图像在点云图像中所对应的图像区域。
6.根据权利要求1所述的车轮转角的检测方法，其特征在于，根据各目标点拟合成的车轮平面与车辆轴线的夹角，确定车轮转角，包括：
将各目标点拟合成的车轮平面投影至点云图像中的地面，以根据投影后的车轮平面与车辆轴线在地面中形成的夹角，确定为车轮转角。
7.根据权利要求1或6所述的车轮转角的检测方法，其特征在于，所述车辆轴线为点云图像中车辆同侧的前轮中心点坐标与后轮中心点坐标的连线，所述前轮中心点坐标为车轮平面的中心点坐标，所述后轮中心点坐标为二维图像中车辆后轮的中心点在三维坐标系中对应的坐标。
8.根据权利要求1所述的车轮转角的检测方法，其特征在于，在从点云图像中提取与车轮图像对应的各目标点之后，还包括：
根据各目标点的高度信息，获取各目标点对应的拟合权重，以根据各目标点的拟合权重对各目标点进行拟合，获取车轮平面。
9.根据权利要求1所述的车轮转角的检测方法，其特征在于，各所述目标点的点云数量大于预设阈值。
10.一种车轮转角的检测装置，其特征在于，包括：
二维图像获取模块，用于从相机获取车辆的二维图像；
车轮图像提取模块，用于对二维图像进行车轮检测，从二维图像中提取车轮图像；
目标点获取模块，用于将车轮图像投影到车辆的点云图像所处的三维坐标系中，根据车轮图像在三维坐标系中的坐标，从点云图像中提取与车轮图像对应的各目标点，所述点云图像通过激光雷达获取；
车轮转角检测模块，用于根据各目标点拟合成的车轮平面与车辆轴线的夹角，确定车轮转角，所述车辆轴线从点云图像中获取。
11.一种电子设备，其特征在于，包括：存储器、处理器及记录在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9任意一项所述的车轮转角的检测方法。
12.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序适用于处理器加载并执行，以使得具有所述处理器的存储介质执行权利要求1至9任意一项所述的车轮转角的检测方法。
CN202111019175.3A 2021-08-31 2021-08-31 车轮转角的检测方法、装置、电子设备及存储介质 Pending CN113888463A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111019175.3A CN113888463A (zh) 2021-08-31 2021-08-31 车轮转角的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111019175.3A CN113888463A (zh) 2021-08-31 2021-08-31 车轮转角的检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113888463A true CN113888463A (zh) 2022-01-04

Family

ID=79011642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111019175.3A Pending CN113888463A (zh) 2021-08-31 2021-08-31 车轮转角的检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113888463A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114964073A (zh) * 2022-07-18 2022-08-30 北京阿帕科蓝科技有限公司 基于两轮车的车轮同面度测试方法、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114964073A (zh) * 2022-07-18 2022-08-30 北京阿帕科蓝科技有限公司 基于两轮车的车轮同面度测试方法、系统及存储介质
CN114964073B (zh) * 2022-07-18 2022-11-11 北京阿帕科蓝科技有限公司 基于两轮车的车轮同面度测试方法、系统及存储介质

Similar Documents

Publication Publication Date Title
US11397242B1 (en) 3D object detection method based on multi-view feature fusion of 4D RaDAR and LiDAR point clouds
CN110344621B (zh) 一种面向智能车库的车轮点云检测方法
CN110531376B (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
US20230135153A1 (en) Bounding box estimation and lane vehicle association
CN112396650A (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN115943439A (zh) 一种基于雷视融合的多目标车辆检测及重识别方法
Radecki et al. All weather perception: Joint data association, tracking, and classification for autonomous ground vehicles
CN112379674B (zh) 一种自动驾驶设备及系统
CN111045000A (zh) 监测系统和方法
CN110873879A (zh) 一种多源异构传感器特征深度融合的装置及方法
CN108711172B (zh) 基于细粒度分类的无人机识别与定位方法
US20210018611A1 (en) Object detection system and method
CN112740225A (zh) 一种路面要素确定方法及装置
KR20230026130A (ko) 자율 주행을 위한 단일 계층 3차원 다중 객체 검출 장치 및 방법
Sebastian et al. RangeWeatherNet for LiDAR-only weather and road condition classification
EP4214682A1 (en) Multi-modal 3-d pose estimation
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
Hussain et al. Multiple objects tracking using radar for autonomous driving
CN113888463A (zh) 车轮转角的检测方法、装置、电子设备及存储介质
CN113376643A (zh) 距离检测方法、装置及电子设备
Zhao et al. Environmental perception and sensor data fusion for unmanned ground vehicle
CN116482627A (zh) 一种基于毫米波雷达和单目相机的联合标定方法
CN113496163A (zh) 障碍物识别方法和装置
CN115965847A (zh) 交叉视角下多模态特征融合的三维目标检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination