CN112902874A - 图像采集装置及方法、图像处理方法及装置、图像处理系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体公开了图像采集装置及方法、图像处理方法及装置、图像处理系统。处理方法包括：获取目标车辆的图像数据及激光点云数据；所述图像数据与激光点云数据为经过融合标定后的数据且所述图像数据包括基准侧图像数据和相对侧图像数据；根据所述图像数据获取目标车辆的视差图和深度图；根据所述基准侧图像数据获取目标车辆的基准信息；根据所述激光点云数据对所述深度图进行校准，并获取目标车辆的三维点云图；根据所述基准信息从三维点云图中获取目标车辆的尺寸信息。本方案不仅能够自动且高效地获得目标车辆的图像数据及激光点云数据，还可以基于所述激光点云数据对目标车辆的深度图进行校准，从而提高测量精度。

Description

图像采集装置及方法、图像处理方法及装置、图像处理系统

技术领域

本发明涉及图像处理技术领域，特别涉及图像采集装置及方法、图像处理方法及装置、图像处理系统。

背景技术

近年来，我国汽车工业得到了快速的发展，汽车的保有量及汽车的各类也持续增加。同时随着《道路交通安全法》以及《道路车辆外廓尺寸、轴荷及质量限值》(GB1589-2004)(以下简称《限值》)的实施，所有与汽车相关的检测手段、检测技术，特别是自动化检测设备的作用也越来越重要。其中，车辆轮廓尺寸参数的测量是我国车辆定型试验及安全检测的重要组成部分，它不仅仅需要有人力的支持，而且需要有相应的技术和配套措施的支持。

目前工业环境下对货车的检验主要分为人工测量和激光雷达扫描两种方式。第一种方式中，采用人工拉尺的方法进行手动测量，其劳动强度大，效率低下以及误差较大。第二种方式中，对环境比较鲁棒，不易受干扰，但价格昂贵，点云稀疏，只有几何结构信息，后续处理难度较大。并且，在车辆检验中，最新的国标(GB 1589-2016)还需要同时对车辆的轮子、栏板以及车厢等各个组件进行测量，但是激光雷达获取的三维点云，只具有几何信息，没有较为鲁棒的形态学信息，无法有效的对各个部件进行准确分割，进而导致后续的测量工作难度极高。

因此，如何自动实现车辆轮廓尺寸的测量就成为本领域技术人员亟待解决的问题之一。

发明内容

本发明提供了图像采集装置及方法、图像处理方法及装置、图像处理系统，用于解决现有技术中车辆轮廓尺寸测量成本高、精度低的问题。

为了解决上述技术问题，本申请提供如下技术方案：

一种图像采集装置，所述图像采集装置包括：经过融合标定的图像采集模块和点云采集模块，所述图像采集模块用于获取目标车辆的图像数据，所述图像数据包括基准侧图像数据和相对侧图像数据；所述点云采集模块用于获取目标车辆的激光点云数据。

基础方案原理及有益效果如下：

本方案中通过图像采集装置可以自动高效地获得目标车辆的图像数据和激光点云数据以进行目标车辆的尺寸测量，从而有效地降低了测量的成本，提高了测量的效率。

进一步，所述图像采集模块包括M路图像采集单元，所述点云采集模块包括N路点云采集单元；所述M路图像采集单元和N路点云采集单元分别从目标车辆的多个方向获取目标车辆的图像数据和激光点云数据。

进一步，所述点云采集模块包括激光雷达；所述图像采集模块包括双目相机。

本申请还提供一种图像采集方法，所述图像采集方法包括：

对图像采集模块和点云采集模块进行融合标定；

通过点云采集模块获取目标车辆的激光点云数据；

通过图像采集模块获取目标车辆的图像数据，所述图像数据包括基准侧图像数据和相对侧图像数据。

进一步，所述对图像采集模块和点云采集模块进行融合标定的步骤包括：

分别通过所述点云采集模块和图像采集模块获取标定物体的三维点云数据和图像数据；

分别从所述三维点云数据和图像数据中获取标定物体的角点信息；

根据所述角点信息获取所述三维点云数据和图像数据的外参矩阵，以进行融合标定。

进一步，所述图像采集方法还包括：在通过图像采集模块获取标定物体的图像数据之前，对所述图像采集模块进行内参标定。

本申请还提供一种图像处理方法，所述图像处理方法包括：

获取目标车辆的图像数据及激光点云数据；所述图像数据与激光点云数据为经过融合标定后的数据且所述图像数据包括基准侧图像数据和相对侧图像数据；

根据所述图像数据获取目标车辆的视差图和深度图；

根据所述基准侧图像数据获取目标车辆的基准信息；

根据所述激光点云数据对所述深度图进行校准，并获取目标车辆的三维点云图；

根据所述基准信息从三维点云图中获取目标车辆的尺寸信息。

通过获取到的图像数据生成视差图和深度图，并通过激光点云数据对所述深度图进行深度校准，从而有效地提高了尺寸测量的精度。

进一步，获取目标车辆的图像数据及激光点云数据的步骤包括：

在融合标定完成后，分别获取目标车辆的M路图像数据和N路激光点云数据；其中每路图像数据均包括基准侧图像数据和相对侧图像数据；

分别将所述M路图像数据、N路激光点云数据进行拼接以获取所述目标车辆的图像数据和激光点云数据。

进一步，所述图像处理方法还包括：在将所述M路图像数据进行拼接后利用迭代最近点算法进行配准以获取所述目标车辆的图像数据。

进一步，根据所述基准侧图像数据获取目标车辆的基准信息的步骤包括：

对所述基准侧图像数据进行图像分割；

根据分割结果在所述目标车辆的视差图中获取目标车辆的基准信息。

进一步，根据所述激光点云数据对所述深度图进行校准，并获取目标车辆的三维点云图的步骤包括：

根据图像数据与激光点云数据之间的融合标定参数，将所述激光点云数据映射至图像数据坐标系中以获得关键锚点信息；

根据所述关键锚点信息的深度对所述深度图进行校准以获取目标车辆的三维点云图。

进一步，在获取目标车辆的三维点云图之后，对所述三维点云图进行滤波处理。

对获取到的三维点云图进行滤波处理，从而快速高效的去除了噪声，提高了图像处理的效率，同时提高了处理结果的精准度。

本申请还提供一种图像处理装置，所述图像处理装置包括：

数据获取模块，用于获取目标车辆的图像数据及激光点云数据；所述图像数据与激光点云数据为经过融合标定后的数据且所述图像数据包括基准侧图像数据和相对侧图像数据；

深度图获取模块，用于根据所述图像数据获取目标车辆的视差图和深度图；

基准信息获取模块，用于根据所述基准侧图像数据获取目标车辆的基准信息；

三维点云获取模块，用于根据所述激光点云数据对所述深度图进行校准，并获取目标车辆的三维点云图；

尺寸信息获取模块，用于根据所述基准信息从三维点云图中获取目标车辆的尺寸信息。

进一步，所述数据获取模块包括：

数据接收单元，用于分别接收目标车辆的M路图像数据和N路激光点云数据；所述M路图像数据和N路激光点云数据为融合标定后的数据，其中每路图像数据均包括基准侧图像数据和相对侧图像数据；

拼接单元，用于分别将所述M路图像数据、N路激光点云数据进行拼接以获取所述目标车辆的图像数据和激光点云数据。

进一步，所述数据获取模块还包括配准单元，所述配准单元用于利用迭代最近点算法进行配准以获取所述目标车辆的图像数据。

进一步，所述基准信息获取模块包括：

分割单元，用于对所述基准侧图像数据进行图像分割；

基准信息获取单元，用于根据分割结果在所述目标车辆的视差图中获取目标车辆的基准信息。

进一步，三维点云获取模块包括：

关键锚点信息获取单元，用于根据图像数据与激光点云数据之间的融合标定参数，将所述激光点云数据映射至图像数据坐标系中以获得关键锚点信息；

校准单元，用于根据所述关键锚点信息的深度对所述深度图进行校准以获取目标车辆的三维点云图。

进一步，所述图像处理装置还包括滤波模块，用于在获取目标车辆的三维点云图之后，对所述三维点云图进行滤波处理。

本申请还提供一种图像处理系统，所述图像处理系统包括：图像采集装置、如前述任一项所述的图像处理装置；所述图像采集装置用于采集图像数据及激光点云数据，所述图像数据与激光点云数据为经过融合标定后的数据且所述图像数据包括基准侧图像数据和相对侧图像数据。

进一步，所述图像采集装置包括：经过融合标定后的点云采集模块和图像采集模块，所述点云采集模块用于获取目标车辆的激光点云数据；所述图像采集模块用于获取目标车辆的图像数据。

附图说明

图1显示为本申请图像采集装置的一实施例的结构示意图；

图2显示为本申请图像采集装置的一实现方式的结构示意图；

图3显示为本申请图像采集方法的一实施例的流程示意图；

图4显示为本申请图像处理方法的一实施例的流程示意图；

图5显示为本申请图像处理装置的一实施例的结构示意图；

图6显示为本申请图像处理系统的一实施例的结构示意图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例一

请参阅图1，图1显示为本申请图像采集装置的一实施例的结构示意图，如图所示，所述图像采集装置包括：经过融合标定的图像采集模块101和点云采集模块102，所述图像采集模块101用于获取目标车辆的图像数据，所述图像数据包括基准侧图像数据和相对侧图像数据；所述点云采集模块102用于获取目标车辆的激光点云数据。本实施例中，所述点云采集模块包括激光雷达；所述图像采集模块包括双目相机，激光雷达和相机的具体型号可以根据实际情况所需进行配置，本申请对此不做限制。

本实施例中，所述图像采集模块可以包括M路图像采集单元，所述点云采集模块包括N路点云采集单元；所述M路图像采集单元和N路点云采集单元分别从目标车辆的多个方向获取目标车辆的图像数据和激光点云数据。具体地，图2显示为本申请获取图像采集装置的一实现方式的结构示意图。在实际应用中，可以分别在龙门支架上架设M路图像采集单元和N路点云采集单元。

如图2所示，在本实施例中，共架设有5路图像采集单元和5路点云采集单元。具体地，所述图像采集单元包括：第一图像采集单元11、第二图像采集单元12、第三图像采集单元13、第四图像采集单元14和第五图像采集单元15；所述点云采集单元包括：第一点云采集单元1、第二点云采集单元2、第三点云采集单元3、第四点云采集单元4、第五点云采集单元5。需要说明的是，在其他实施例中，还可以根据需求设置不同数量的图像采集单元和点云采集单元，并且所述图像采集单元和点云采集单元的数量可以相同，也可以不同，本申请对此不做限制。

继续参考图2，以车辆行驶方向为基准，所述第一点云采集单元1和所述第一图像采集单元11设置于车辆第一侧面的前侧位置；第二点云采集单元2和第二图像采集单元12设置于车辆的顶面位置；所述第三点云采集单元3和第三图像采集单元13设置于第一侧面的后侧位置；而所述第四点云采集单元4和第四图像采集单元14设置于车辆第二侧面的前侧位置，所述第五点云采集单元5和第五图像采集单元15设置于车辆第二侧面的后侧位置。其中所述第一点云采集单元1与第四点云采集单元4可以对称地分设于第一侧面和第二侧面的前侧位置，所述第三点云采集单元3与第五点云采集单元5也可以对称地分设于第一侧面和第二侧面的后侧位置上。与各个点云采集单元的设置相类似，各图像采集单元也可以对称地布设于第一侧面和第二侧面，当然也可以根据实际需求做其他架构的设置，本申请对此不做限制。本实施例中，各点云采集单元可以为激光雷达，各图像采集单元可以为双目相机，通过双目相机获得基准侧图像数据和相对侧的图像数据。

当然，上述位置的设置仅为举例说明，在实际应用中，可以根据实际需求做相应变更，本申请对此不做限制。为实现其他目的，还可以在车辆行驶方向的正前方设置一个相机，用于进行车辆信息识别(如车架号、车牌号等等)，本申请对此不做限制。

继续参考图1和图2，在本实施例中，由于激光点云数据的获取以及图像数据的获取分别采用激光雷达和双目相机来实现，因此为保证后续数据处理的准确及精度，需要预先对各点云采集单元及各图像采集单元进行融合标定。融合标定的基本过程是：通过同一目标物在雷达坐标系下的xyz坐标和相机坐标系下的xy坐标来计算并获得之间的转换关系。本实施例中，可以使用标定物体的角点来作为标定目标物，这是因为角点在点云和照片中都是比较明显的目标物，这样可以减少标定的误差。

具体的融合标定过程包括：首先进行标定准备，选定标定板或者高对比度的物体作为标定物体，在本实施例中将黑色标定板作为标定物体。这样可以更加准确的选取出清晰可靠的角点信息；然后，启动点云采集单元(雷达)和图像采集单元(相机)，以获取标定物体的三维点云数据和图像数据；接着，在获取到的图像数据和三维点云数据中选择统一的点数据(如角点信息)，保存相应的坐标位置；最后获取点云采集单元(雷达)和图像采集单元(相机)之间的外参矩阵，根据所述外参矩阵完成相应的融合标定。具体地，可以采用PNP技术(pose estimation,相机位姿估计)求解雷达与相机之间的外参矩阵，也就是说，可以通过几个已知坐标(世界坐标)的特征点(深度图)，结合他们在相机照片中的成像(像素坐标)，求解出相机所在的世界坐标及旋转角度(即相机的外参)，用旋转矩阵(R)和平移矩阵(t)表示。

进一步地，为保证融合标定精度，还可以对各个图像采集单元进行标定，具体可采用棋盘格标定法，在一预设位置，由多个图像采集单元(双目相机)同时对棋盘格拍照，然后通过棋盘格角点在各个相机中的对应关系，计算出标定结果。为提高融合标定精度，点对至少为四个，还可以多次变换棋盘格的位置，采集多组图像数据，从而得到更为鲁棒的标定结果。

当然在对点云采集单元和图像采集单元进行融合标定之前，还可以先对图像采集单元(相机)进行内参标定。内参标定的过程包括：首先准备黑白棋盘格的标定板；然后采用图像采集单元(相机)拍摄多角度、多位置的多张照片，为保证内参标定的精度，可以尽可能多的获取照片数量，本申请对此不做限制；最后可以利用MATLAB工具完成标定。当然，也可以通过其他方式完成相机的内参标定，本申请对此不做限制。

本实施例的图像采集装置，通过设置多个图像采集单元和点云采集单元，可以完整的覆盖目标车辆，从而完整地获取到目标车辆的各部位的图像数据以及激光点云数据；然后通过对各图像采集单元和点云采集单元的融合标定，提高所获取到的数据的精度，进而提高了后续图像处理及尺寸测量的精度。

请参阅图3，图3显示为本申请图像采集方法的一实施例的流程示意图，如图所示，所述图像采集方法包括：

步骤S100，对图像采集模块和点云采集模块进行融合标定；

步骤S200，通过点云采集模块获取目标车辆的激光点云数据；

步骤S300，通过图像采集模块获取目标车辆的图像数据，所述图像数据包括基准侧图像数据和相对侧图像数据。

需要说明的是，本实施例的图像采集方法可以由前述图像采集装置来实现。并且，所述步骤S200和步骤S300的执行顺序并不能限定本申请的保护范围，也就是说，可以先执行步骤S200再执行步骤S300，也可以先执行步骤S300再执行步骤S200。当然，在本实施例中，所述步骤S200和步骤S300可以同时执行，即所述点云采集模块和图像采集模块同时启动与工作，同时获取目标车辆的激光点云数据和图像数据。

具体地，所述步骤S100对图像采集模块和点云采集模块进行融合标定的步骤包括：

分别通过所述点云采集模块和图像采集模块获取标定物体的三维点云数据和图像数据；

分别从所述三维点云数据和图像数据中获取标定物体的角点信息；

根据所述角点信息获取所述三维点云数据和图像数据的外参矩阵，以进行融合标定。

具体的融合标定过程包括：首先进行标定准备，选定标定板或者高对比度的物体作为标定物体，在本实施例中将黑色标定板作为标定物体。这样可以更加准确的选取出清晰可靠的角点信息；然后，启动点云采集单元(雷达)和图像采集单元(相机)，以获取标定物体的三维点云数据和图像数据；接着，在获取到的图像数据和三维点云数据中选择统一的点数据(如角点信息)，保存相应的坐标位置；最后获取点云采集单元(雷达)和图像采集单元(相机)之间的外参矩阵，根据所述外参矩阵完成相应的融合标定。具体地，可以采用PNP技术(pose estimation,相机位姿估计)求解雷达与相机之间的外参矩阵，也就是说，可以通过几个已知坐标(世界坐标)的特征点(深度图)，结合他们在相机照片中的成像(像素坐标)，求解出相机所在的世界坐标及旋转角度(即相机的外参)，用旋转矩阵(R)和平移矩阵(t)表示。

进一步地，为保证融合标定精度，还可以对各个图像采集单元进行标定，具体可采用棋盘格标定法，在一预设位置，由多个图像采集单元(双目相机)同时对棋盘格拍照，然后通过棋盘格角点在各个相机中的对应关系，计算出标定结果。为提高融合标定精度，点对至少为四个，还可以多次变换棋盘格的位置，采集多组图像数据，从而得到更为鲁棒的标定结果。当然在对点云采集单元和图像采集单元进行融合标定之前，还可以先对图像采集单元(相机)进行内参标定。内参标定的过程包括：首先准备黑白棋盘格的标定板；然后采用图像采集单元(相机)拍摄多角度、多位置的多张照片，为保证内参标定的精度，可以尽可能多的获取照片数量，本申请对此不做限制；最后可以利用MATLAB工具完成标定。当然，也可以通过其他方式完成相机的内参标定，本申请对此不做限制。

通过本实施例的方法，可精确地获取到目标车辆的各部位的图像数据以及激光点云数据，后续可以通过拼接获得完整且精确的车辆整体的点云数据和图像数据。通过这样的方式获得的图像数据和点云数据更加准确和完整，从而提高了所获取到的点云数据及图像数据的精度和完整度。

请参阅图4，图4显示为本申请图像处理方法的一实施例的流程示意图，如图所示，所述图像处理方法包括：

步骤S10，获取目标车辆的图像数据及激光点云数据；其中所述图像数据与激光点云数据为经过融合标定后的数据且所述图像数据包括基准侧图像数据和相对侧图像数据；

步骤S20，根据所述图像数据获取目标车辆的视差图和深度图；

步骤S30，根据所述基准侧图像数据获取目标车辆的基准信息；

步骤S40，根据所述激光点云数据对所述深度图进行校准，并获取目标车辆的三维点云图；

步骤S50，根据所述基准信息从三维点云图中获取目标车辆的尺寸信息。

在本实施例中，所述步骤S10获取目标车辆的图像数据及激光点云数据的步骤包括：在融合标定完成后，分别获取目标车辆的M路图像数据和N路激光点云数据；其中每路图像数据均包括基准侧图像数据和相对侧图像数据；然后再分别将所述M路图像数据、N路激光点云数据进行拼接以获取所述目标车辆的图像数据和激光点云数据。

进一步地，在将所述M路图像数据进行拼接后可利用迭代最近点算法(IterativeClosest Point，ICP算法)进行配准以获取所述目标车辆的图像数据。

所述M路图像数据和N路激光点云数据可分别由前述图像采集装置中的图像采集模块和点云采集模块采集获得，所述图像采集模块和点云采集模块的结构、设置以及融合标定过程均可参考前面详述，在此不再赘述。

在本实施例中，在所述步骤S20，根据所述图像数据获取目标车辆的视差图的步骤中，可以通过双目视差生成深度神经网络(Deep Neural Networks，DNN)对目标车辆的图像数据进行处理以生成目标车辆的视差图；在获得所述视差图后，再利用三角化获得目标车辆的深度图。

继续参考图4，所述步骤S30，根据所述基准侧图像数据获取目标车辆的基准信息的步骤包括：对所述基准侧图像数据进行图像分割；根据分割结果在所述目标车辆的视差图中获取目标车辆的基准信息。在具体应用中可以采用语义分割(semanticsegmentation)、实例分割(instance segmentation)、全景分割(panoptic segmentation)等方法，本申请对此不做限制。

需要说明的是，在本实施例中，所述基准信息可以包括整体轮廓基准信息、部件基准信息中的一种或其组合；整体轮廓基准信息指的是基于目标车辆的整体轮廓所获得的基准信息；部件基准信息指的是基于目标车辆的部件所获取的基准信息，以目标车辆为卡车为例，所述整体轮廓基准信息指的是卡车的外部轮廓所对应的基准信息；而部件基准信息可以为卡车上的轴距、栏板等部件所对应的基准信息；当然也可以根据目标车辆的不同，获取其他的部件基准信息，例如，如果目标车辆为混凝土搅拌车、油罐车等工程车辆，所述部件基准信息还可以为搅拌筒或油罐筒所对应的体积基准信息等等，本申请对此不做限制。

在本实施例中，可以通过调整及优化后的深度学习模型获取目标车辆的基准信息。在训练和优化深度学习模型时，可以按照像素级对目标车辆的关键信息进行标，以目标车辆为例，可以按照像素级目标车辆的车轮、栏板、车头等关键部件，从而获取精准的groundtruth。当然，在进行标注时，可根据实际需求设置图像分辨率，本申请对此不做限制。在实际应用中，获取到的车辆的图像数据不可避免的受到光照及部件老化等外观干扰，例如车辆部件光照不均匀或者部件上存在锈迹等，从而对图像数据的处理造成困难。本实施例中，通过对深度学习模型进行结构及参数的调整，以有效地提高图像处理的效率及精准度。具体地，首先调整网络结构，增加多尺寸特征(FPN，featurized image pyramid)从而融合不同尺寸的特征信息；然后提高不同类别特征的区分度，并调整网络结构中最后一层卷积层，加入ground卷积；同时还可以对样本进行扩展、进行类别均衡化等操作以平衡整个数据集上的占比比例；例如对于类别占比小的轮子等部件，给予更多的采样框；而对于类别占比多的栏板等给予较少的采样框；最后进行预训练模型，提高模型的分类学习能力。通过这样的方式，可以有效地提高模型的优化结果，从而大大提高通过深度学习模型获得的基准信息的精度和效率，从而实现目标车辆的精细化分割结果。

需要说明的是，本实施例中的步骤S20和步骤S30的执行顺序可以进行调换，并不局限于先执行步骤S20，再执行步骤S30。在其他实施例中，可以先执行步骤S30，再执行步骤S20。也就是说，也可以先对基准侧图像数据进图像分割，然后再生成视差图；当然在其他实施例中，这两个步骤也可以同时并列执行，本申请对此不做限制。

继续参考图4，所述步骤S40，根据所述激光点云数据对所述深度图进行校准，并获取目标车辆的三维点云图的步骤包括：

根据图像数据与激光点云数据之间的融合标定参数，将所述激光点云数据映射至图像数据坐标系中以获得关键锚点信息；

根据所述关键锚点信息的深度对所述深度图进行校准以获取目标车辆的三维点云图。

具体地，在根据步骤S30完成实例分割后，可以将所述分割结果映射到深度图中，并对每一个图像像素进行类别标记，然后再利用图像数据与激光点云数据的标定参数，将激光点云映射到双目相机图像坐标系下，被映射的激光点云作为关键锚点；最后利用所述关键锚点的深度去校正双目照片中对应像素的深度。在实际应用中，仅通过双目相机获取的图像数据进行尺寸测量时，双目相机获得的图像数据转换为点云数据时，并不能保证其深度信息的准确性，从而导致后续尺寸测量时存在较大误差。而本实施例中，利用已有的双目深度图和关键锚点，可平滑地校正深度图，从而有效地提高深度图的精度，从而提高后续的尺寸测量的精度。

进步一地，在执行步骤S40获取目标车辆的三维点云图时，还可以对所述深度图进行滤波处理。具体地，可以根据预设阈值对周围像素点数超过目标像素的预设阈值的数量做统计，当超过预设阈值的像素点数大于预设数量时舍弃该点的像素值，所述像素值代表实际深度值。举例来说，假设预设阈值是5cm，以该预设阈值为标准，统计周围(5*5的正方形kernel)像素点的像素值是否超过该预设阈值，当像素值大于预设阈值的像素点数量大于预设数量时，舍弃该像素点的像素值。当然，在具体应用中可以根据实际需求对预设阈值，以及周围像素点的范围做具体设置，本申请对此不做限制。通过对深度图腐蚀处理的方法，进一步提高了图像的精度，从而也提高了后续图像处理的效率及精度。

同时，在获取到基准信息和三维点云图后，还可以根据所述基准信息对所述三维点云图进行滤波，也就是说，将三维点云图中的非基准信息部分进行滤除，从而大大减少后续计算量，同时提高测量效率和精度。

继续参考图4，所述步骤S50，根据所述基准信息从三维点云图中获取目标车辆的尺寸信息的过程中，可以根据实际测量需求，基于所述基准信息对所述三维点云图进行连通域判断和滤波以获取各个组件点云数据；然后基于所获取的各个组件的点云数据获取轴对齐点云包围盒，并根据所述包围盒获取目标车辆的尺寸信息。具体地，可以通过AABB(Axis-Aligned Bounding Box)算法获取目标车辆的外接矩形框或者目标车辆中各组件的外接矩形框，从而准确测量目标物体的长度、宽度高度等尺寸信息。当然，也可以通过OBB(Oriented bounding box)算法来获取目标车辆的尺寸信息，本申请对此不做限制。

本实施例的图像处理方法，所获取的图像数据及激光点云数据均为融合标定后的数据，其不仅具有完整的目标车辆信息，而且提高了图像及点云数据的精度，从而提高了尺寸测量的精度。另外，通过目标车辆的图像数据获取深度图，并通过目标车辆的激光点云数据对深度图进行深度校准，从而提高后续的三维点云图的精度，通过这样的方式进一步提高了最终尺寸测量时的精度。

图5显示为本申请图像处理装置的一实施例的结构示意图，如图所示，所述图像处理装置包括：数据获取模块10、深度图获取模块20、基准信息获取模块30、三维点云获取模块40和尺寸信息获取模块50。

具体地，所述数据获取模块10用于获取目标车辆的图像数据及激光点云数据；所述图像数据与激光点云数据为经过融合标定后的数据且所述图像数据包括基准侧图像数据和相对侧图像数据。所述数据获取模块可以包括：数据接收单元和拼接单元(图中未示出)，所述数据接收单元用于分别接收目标车辆的M路图像数据和N路激光点云数据；所述M路图像数据和N路激光点云数据为融合标定后的数据，其中每路图像数据均包括基准侧图像数据和相对侧图像数据；所述拼接单元用于分别将所述M路图像数据、N路激光点云数据进行拼接以获取所述目标车辆的图像数据和激光点云数据。进一步地，所述数据获取模块还可以包括配准单元(图中未示出)，所述配准单元用于利用迭代最近点算法进行配准以获取所述目标车辆的图像数据。

所述图像数据及激光点云数据可通过前述图像采集装置中的图像采集模块和点云采集模块来实现，采集过程及图像采集装置的具体结构可参考前述的详细描述。另外，所述图像采集模块和点云采集模块经过融合标定后获取的图像数据和激光点云数据被所述数据接收单元接收，所述图像采集模块和点云采集模块的融合标定过程与前述融合标定过程类似，在此不再赘述。所述数据获取模块10可以包括存储器，用于将接收到的图像数据和激光点云数据进行存储。所述存储器可以采用现有的存储器，如FLASH存储器、RAM存储器等，本申请对此不做限制。

继续参考图5，所述深度图获取模块20用于根据所述图像数据获取目标车辆的视差图和深度图。所述深度图获取模块可以通过双目视差生成深度神经网络(Deep NeuralNetworks，DNN)对目标车辆的图像数据进行处理以生成目标车辆的视差图；然后在获得所述视差图后，再利用三角化获得目标车辆的深度图。

所述基准信息获取模块30用于根据所述基准侧图像数据获取目标车辆的基准信息。所述基准信息获取模块可以包括：分割单元和基准信息获取单元。所述分割单元用于对所述基准侧图像数据进行图像分割；所述基准信息获取单元用于根据分割结果在所述目标车辆的视差图中获取目标车辆的基准信息。

本实施例中，通过双目相机获取目标车辆的图像数据，因此图像数据包括基准侧图像数据和相对侧图像数据。在本实施例中所述分割单元通过所述基准侧图像数据来获取所述目标车辆的基准信息。在具体应用中可以采用语义分割(semantic segmentation)、实例分割(instance segmentation)、全景分割(panoptic segmentation)等方法，本申请对此不做限制。

所述基准信息可以包括整体轮廓基准信息、部件基准信息中的一种或其组合；整体轮廓基准信息指的是基于目标车辆的整体轮廓所获得的基准信息；部件基准信息指的是基于目标车辆的部件所获取的基准信息，以目标车辆为卡车为例，所述整体轮廓基准信息指的是卡车的外部轮廓所对应的基准信息；而部件基准信息可以为卡车上的轴距、栏板等部件所对应的基准信息；当然也可以根据目标车辆的不同，获取其他的部件基准信息，例如，如果目标车辆为混凝土搅拌车、油罐车等工程车辆，所述部件基准信息还可以为搅拌筒或油罐筒所对应的体积基准信息等等，本申请对此不做限制。

在本实施例中，可以通过调整及优化后的深度学习模型获取目标车辆的基准信息。具体地优化深度学习模型的过程及获取目标车辆的基准信息的过程可参考图4及前述关于步骤S30的详细描述，在此不再赘述。

继续参考图5，所述三维点云获取模块40用于根据所述激光点云数据对所述深度图进行校准，并获取目标车辆的三维点云图。具体地，所述三维点云获取模块40包括：关键锚点信息获取单元和校准单元。所述关键锚点信息获取单元用于根据图像数据与激光点云数据之间的融合标定参数，将所述激光点云数据映射至图像数据坐标系中以获得关键锚点信息；所述校准单元用于根据所述关键锚点信息的深度对所述深度图进行校准以获取目标车辆的三维点云图。

具体地，在通过所述基准信息获取模块30完成对图像数据的实例分割后，所述三维点云获取模块40可以将所述分割结果映射到深度图中，并对每一个图像像素进行类别标记，然后再利用图像数据与激光点云数据的标定参数，将激光点云映射到双目相机图像坐标系下，被映射的激光点云作为关键锚点；最后利用所述关键锚点的深度去校正双目照片中对应像素的深度。

在实际应用中，仅通过双目相机获取的图像数据进行尺寸测量时，双目相机获得的图像数据转换为点云数据时，并不能保证其深度信息的准确性，从而导致后续尺寸测量时存在较大误差。而本实施例中，利用已有的双目深度图和关键锚点，可平滑地校正深度图，从而有效地提高深度图的精度，从而提高后续的尺寸测量的精度。

继续参考图5，所述尺寸信息获取模块50用于根据所述基准信息从三维点云图中获取目标车辆的尺寸信息。

在实际应用中，根据测量的需求不同，可以测量出不同的尺寸信息。例如，若目的是为了测量目标车辆的长宽高信息，可以将所述基准信息设置为其轮廓信息(如车辆的外形信息等外形信息)。这样可以先根据基准侧图像数据获取目标车辆的轮廓信息；然后根据所述轮廓信息从三维点云图中获取其轴对齐点云包围盒，最后统计得出其长宽高信息。若为测量目标车辆的其他部件信息，可根据实际需求获取相应的部件基准信息，然后再将部件基准信息投影至三维点云图中，通过轴对齐点云包围盒获得其部件信息。

本实施例中，所述图像处理装置还可以包括滤波模块，用于在获取目标车辆的三维点云图之后，对所述三维点云图进行滤波处理。具体地，可以在获取目标车辆的三维点云图时，对所述深度图进行滤波处理。具体地，可以根据预设阈值对周围像素点数超过目标像素的预设阈值的数量做统计，当超过预设阈值的像素点数大于预设数量时舍弃该点的像素值，所述像素值代表实际深度值。举例来说，假设预设阈值是5cm，以该预设阈值为标准，统计周围(5*5的正方形kernel)像素点的像素值是否超过该预设阈值，当像素值大于预设阈值的像素点数量大于预设数量时，舍弃该像素点的像素值。当然，在具体应用中可以根据实际需求对预设阈值，以及周围像素点的范围做具体设置，本申请对此不做限制。通过对深度图腐蚀处理的方法，进一步提高了图像的精度，从而也提高了后续图像处理的效率及精度。

同时，在获取到三维点云图后，还可以根据获取到的基准信息对所述三维点云图进行滤波，也就是说，将三维点云图中的非基准信息部分进行滤除，从而大大减少后续计算量，提高测量效率和精度。

需要说明的是，本实施例中的图像处理装置可以通过电子设备实现，所述电子设备包括但不限于笔记本电脑、平板电脑、移动电话、智能手机、媒体播放器、个人数字助理(PDA)等等，还包括其中两项或多项的组合。所述电子设备可以包括存储器、存储器控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、触摸屏、其他输出或控制设备，以及外部端口。这些组件通过一条或多条通信总线或信号线进行通信。所述图像处理模块200的具体工作过程可参考前述关于图像处理装置及图像处理方法的详细说明，在此不再赘述。

图6显示为本申请图像处理系统的一实施例的结构示意图。如图所示，所述图像处理系统包括：图像采集装置100和图像处理装置200；所述图像采集装置用于采集图像数据及激光点云数据，所述图像数据与激光点云数据为经过融合标定后的数据且所述图像数据包括基准侧图像数据和相对侧图像数据；所述图像处理装置用于根据所述图像数据生成目标车辆的三维点云数据及获取目标车辆的基准信息，根据激光点云数据对所述三维点云数据进行校正，并根据所述基准信息从校正后的三维点云数据中获取目标车辆的尺寸信息。所述图像处理装置可参考图5及其详细说明，在此不再赘述。

在本实施例中，所述图像采集装置包括：经过融合标定后的点云采集模块和图像采集模块，所述点云采集模块用于获取目标车辆的激光点云数据；所述图像采集模块用于获取目标车辆的图像数据。所述点云采集模块包括激光雷达；所述图像采集模块包括双目相机。本实施例中，所述图像采集模块可以包括M路图像采集单元，所述点云采集模块包括N路点云采集单元；所述M路图像采集单元和N路点云采集单元分别从目标车辆的多个方向获取目标车辆的图像数据和激光点云数据。所述点云采集模块包括激光雷达；所述图像采集模块包括双目相机，相机的具体型号可以根据实际情况所需进行配置，本申请对此不做限制。所述图像采集装置的工作过程、结构设置及融合标定过程均可参考图1、图2及前述相关的具体描述，在此不再赘述。

本实施例中，首先对点云采集模块(激光雷达)和图像采集模块(双目相机)之间、以及图像采集模块(双目相机和双目相机)分别进行融合标定，确定之间的变换关系；随后分别通过点云采集模块和图像采集模块获取目标车辆的激光点云数据和图像数据；然后对双目相机获得的数字图像，利用深度学习网络生成视差图和深度图，同时利用深度学习分割网络，得到目标车辆的基准信息(各个组件的实例分割结果)；并且利用激光雷达与双目相机之间的变换关系，将激光雷达获得的激光点云数据映射到双目深度图上，进行深度图校准，随后三角化转化为高精度的完整稠密点云数据；最后利用基准信息(分割结果)在目标车辆的完整稠密点云分割出各个组件，以便按照实际需求进行精确测量。

综上所述，本申请的图像采集装置及方法、图像处理方法及装置、图像处理系统通过点云采集模块和图像采集模块分别获取目标车辆的激光点云数据和图像数据，大大降低了车辆图像的获取成本，提高了图像获取的效率。另外，还可以根据所述图像数据获得目标车辆的深度图，并通过所述激光点云数据对深度图进行校准，从而提高了数据的精度，进而提高了后续尺寸测量的精度。进一步地，还可以对所述深度图及点云数据进行滤波处理，不仅快速高效的去除了噪声，提高了图像处理的效率，同时提高了处理结果的精准度。

实施例二

本实施例与实施例一的区别在于,本实施例的图像采集装置还包括车轮采集单元，在车辆的行驶路径上开设有凹槽，凹槽表面覆盖有透明材料，车轮采集单元位于凹槽内。车轮采集单元用于在车轮通过凹槽时，采集车轮与透明材料接触的图像。车轮采集单元采用相机。

本实施例的图像采集方法，还包括步骤S400，通过车轮采集单元采集车轮与透明材料接触的图像。

本实施例的图像处理方法，还包括步骤S60，根据所述基准信息从三维点云图中获取目标车辆中车轮的尺寸信息；基于车轮与透明材料接触的图像计算车轮与透明材料的接触面积，基于接触面积判断车轮气压是否正常，如果车轮气压不正常，对车轮的尺寸信息进行修正。本实施例中，基于接触面积判断车轮气压是否正常时，将接触面积与预设接触面积进行对比，大于预设接触面积即为车轮气压不正常。预设接触面积可以是根据经验进行设定，也可以测量同种车辆，正常胎压，空载下的平均接触面积得到。对车轮的尺寸信息进行修正值可以由预先设置的对照表确定，即对照表中不同接触面积对应有不同的修正值。修正值可以根据经验进行设定。

本实施例的图像处理装置，使用上述图像处理方法。

国标GB 1589-2016中需要对车辆的车轮进行测量，由于车轮气压不同，特别是车轮气压远低于正常值时，会对车轮的高度产生影响，导致车轮的尺寸测量存在一定的误差。为了进一步降低误差，本实施例中，采集车轮与透明材料接触的图像，因为车轮气压较低时，与透明材料接触的面积会变大，基于车轮与透明材料接触的图像计算车轮与透明材料的接触面积，就可以得知车轮气压是否正常，如果不正常，对车轮的尺寸信息进行修正，能够有效降低误差。

以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (20)

1.图像采集装置，其特征在于，包括：经过融合标定的图像采集模块和点云采集模块，所述图像采集模块用于获取目标车辆的图像数据，所述图像数据包括基准侧图像数据和相对侧图像数据；所述点云采集模块用于获取目标车辆的激光点云数据。

2.根据权利要求1所述的图像采集装置，其特征在于，所述图像采集模块包括M路图像采集单元，所述点云采集模块包括N路点云采集单元；所述M路图像采集单元和N路点云采集单元分别从目标车辆的多个方向获取目标车辆的图像数据和激光点云数据。

3.根据权利要求1所述的图像采集装置，其特征在于，所述点云采集模块包括激光雷达；所述图像采集模块包括双目相机。

4.图像采集方法，其特征在于，包括：

对图像采集模块和点云采集模块进行融合标定；

通过点云采集模块获取目标车辆的激光点云数据；

通过图像采集模块获取目标车辆的图像数据，所述图像数据包括基准侧图像数据和相对侧图像数据。

5.根据权利要求4所述的图像采集方法，其特征在于，所述对图像采集模块和点云采集模块进行融合标定的步骤包括：

分别通过所述点云采集模块和图像采集模块获取标定物体的三维点云数据和图像数据；

分别从所述三维点云数据和图像数据中获取标定物体的角点信息；

根据所述角点信息获取所述三维点云数据和图像数据的外参矩阵，以进行融合标定。

6.根据权利要求5所述的图像采集方法，其特征在于，还包括：在通过图像采集模块获取标定物体的图像数据之前，对所述图像采集模块进行内参标定。

7.图像处理方法，其特征在于，包括：

获取目标车辆的图像数据及激光点云数据；所述图像数据与激光点云数据为经过融合标定后的数据且所述图像数据包括基准侧图像数据和相对侧图像数据；

根据所述图像数据获取目标车辆的视差图和深度图；

根据所述基准侧图像数据获取目标车辆的基准信息；

根据所述激光点云数据对所述深度图进行校准，并获取目标车辆的三维点云图；

根据所述基准信息从三维点云图中获取目标车辆的尺寸信息。

8.根据权利要求7所述的图像处理方法，其特征在于，获取目标车辆的图像数据及激光点云数据的步骤包括：

在融合标定完成后，分别获取目标车辆的M路图像数据和N路激光点云数据；其中每路图像数据均包括基准侧图像数据和相对侧图像数据；

分别将所述M路图像数据、N路激光点云数据进行拼接以获取所述目标车辆的图像数据和激光点云数据。

9.根据权利要求8所述的图像处理方法，其特征在于，还包括：在将所述M路图像数据进行拼接后利用迭代最近点算法进行配准以获取所述目标车辆的图像数据。

10.根据权利要求7所述的图像处理方法，其特征在于，根据所述基准侧图像数据获取目标车辆的基准信息的步骤包括：

对所述基准侧图像数据进行图像分割；

根据分割结果在所述目标车辆的视差图中获取目标车辆的基准信息。

11.根据权利要求7所述的图像处理方法，其特征在于，根据所述激光点云数据对所述深度图进行校准，并获取目标车辆的三维点云图的步骤包括：

根据图像数据与激光点云数据之间的融合标定参数，将所述激光点云数据映射至图像数据坐标系中以获得关键锚点信息；

根据所述关键锚点信息的深度对所述深度图进行校准以获取目标车辆的三维点云图。

12.根据权利要求7所述的图像处理方法，其特征在于，在获取目标车辆的三维点云图之后，对所述三维点云图进行滤波处理。

13.图像处理装置，其特征在于，包括：

数据获取模块，用于获取目标车辆的图像数据及激光点云数据；所述图像数据与激光点云数据为经过融合标定后的数据且所述图像数据包括基准侧图像数据和相对侧图像数据；

深度图获取模块，用于根据所述图像数据获取目标车辆的视差图和深度图；

基准信息获取模块，用于根据所述基准侧图像数据获取目标车辆的基准信息；

三维点云获取模块，用于根据所述激光点云数据对所述深度图进行校准，并获取目标车辆的三维点云图；

尺寸信息获取模块，用于根据所述基准信息从三维点云图中获取目标车辆的尺寸信息。

14.根据权利要求13所述的图像处理装置，其特征在于，所述数据获取模块包括：

数据接收单元，用于分别接收目标车辆的M路图像数据和N路激光点云数据；所述M路图像数据和N路激光点云数据为融合标定后的数据，其中每路图像数据均包括基准侧图像数据和相对侧图像数据；

拼接单元，用于分别将所述M路图像数据、N路激光点云数据进行拼接以获取所述目标车辆的图像数据和激光点云数据。

15.根据权利要求14所述的图像处理装置，其特征在于，所述数据获取模块还包括配准单元，所述配准单元用于利用迭代最近点算法进行配准以获取所述目标车辆的图像数据。

16.根据权利要求13所述的图像处理装置，其特征在于，所述基准信息获取模块包括：

分割单元，用于对所述基准侧图像数据进行图像分割；

基准信息获取单元，用于根据分割结果在所述目标车辆的视差图中获取目标车辆的基准信息。

17.根据权利要求13所述的图像处理装置，其特征在于，三维点云获取模块包括：

关键锚点信息获取单元，用于根据图像数据与激光点云数据之间的融合标定参数，将所述激光点云数据映射至图像数据坐标系中以获得关键锚点信息；

校准单元，用于根据所述关键锚点信息的深度对所述深度图进行校准以获取目标车辆的三维点云图。

18.根据权利要求13所述的图像处理装置，其特征在于，所述图像处理装置还包括滤波模块，用于在获取目标车辆的三维点云图之后，对所述三维点云图进行滤波处理。

19.图像处理系统，其特征在于，包括：图像采集装置、如权利要求13至18任一项所述的图像处理装置；所述图像采集装置用于采集图像数据及激光点云数据，所述图像数据与激光点云数据为经过融合标定后的数据且所述图像数据包括基准侧图像数据和相对侧图像数据。

20.根据权利要求19所述的图像处理系统，其特征在于，所述图像采集装置包括：经过融合标定后的点云采集模块和图像采集模块，所述点云采集模块用于获取目标车辆的激光点云数据；所述图像采集模块用于获取目标车辆的图像数据。

Images