CN113869407A - 一种基于单目视觉的车长测量方法和装置 - Google Patents

Abstract

本发明涉及一种基于单目视觉的车长测量方法和装置，该方法包括：采集被测车辆的目标图像；对目标图像进行处理分析，得到被测车辆的关键特征点和分割掩膜；利用被测车辆的关键特征点和分割掩膜计算被测车辆的实际长度。本申请提供的技术方案，实现对被测车辆的车长进行无接触的精准测量，提高了车辆车长测量效率，有利于对车型流量的调查分析。

Description

一种基于单目视觉的车长测量方法和装置

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于单目视觉的车长测量方法和装置。

背景技术

随着国民经济的发展，我国机动车数量快速增长，道路拥堵时常发生，交通流量调查（交调）数据是研究公路通行能力的重要参考指标，为了提高公路的服务水平，对公路进行更好的整修和养护，亟需加强对交调数据的预测研究。

车型分类统计是交调数据的重要组成部分，当前对车型分类有直接分类法和激光雷达辅助测长分类法。直接分类法利用深度学习模型，对抓拍车辆图像直接分类，虽然简单直接，但相似车型容易混淆；激光雷达辅助测长分类法是利用两个单线线激光雷达测速测距，间接计算车长，通过车长对车型分类，但激光雷达价格昂贵，方案不易大规模推广。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于单目视觉的车长测量方法和装置，以解决现有技术中进行车型分类存在车型容易混淆和造价成本高的问题。

根据本申请实施例的第一方面，提供一种基于单目视觉的车长测量方法，所述方法包括：

采集被测车辆的目标图像；

对所述目标图像进行处理分析，得到所述被测车辆的关键特征点和分割掩膜；

利用所述被测车辆的关键特征点和分割掩膜计算所述被测车辆的实际长度。

进一步的，所述采集被测车辆的目标图像包括：

利用图像采集装置采集所述被测车辆在地面指定位置上的图像，得到所述目标图像。

进一步的，所述采集被测车辆的目标图像之前，还包括：

对所述图像采集装置进行标定，获取所述图像采集装置的内参和外参信息。

进一步的，所述对所述图像采集装置进行标定，获取所述图像采集装置的内参和外参信息，包括：

使用所述图像采集装置采集不同位姿下标准黑白棋盘格标定板的标定图像，基于得到的标定图像采用张正友标定法，标定得到所述图像采集装置的内参信息；

以指定方式对所述图像采集装置进架设安装，以使所述图像采集装置的视场与所述指定地面相对，测量所述图像采集装置的安装高度，以及视场近端边界至设备在地平面投影点的距离，根据所述安装高度和所述距离计算得到所述图像采集装置的外参信息。

进一步的，所述对所述目标图像进行处理分析，包括：

对所述目标图像进行预处理；

利用基于深度学习的目标关键点检测器检测预处理后的所述目标图像，得到所述被测车辆的关键特征点和分割掩膜；

其中，所述被测车辆的关键特征点包括：车头的角点、被测车辆可见一侧的第一轮毂中心点和被测车辆可见一侧的第二轮毂中心点；所述分割掩膜为车辆轮廓内区域。

进一步的，所述对所述目标图像进行预处理，包括：

对所述目标图像进行缩放处理，得到满足所述基于深度学习的目标关键点检测器的输入大小的中间图像；

将所述中间图像进行减均值及除方差处理，得到预处理后的所述目标图像。

进一步的，所述利用基于深度学习的目标关键点检测器检测预处理后的所述目标图像，包括：

利用基于深度学习的目标关键点检测器预处理后的所述目标图像中被测车辆的关键特征点，每个所述被测车辆的关键特征点对应一个热力图，选取每个热力图中最大数值所对应的坐标为所述被测车辆的关键特征点的坐标；以及

利用基于深度学习的目标关键点检测器预处理后的所述目标图像，得到所述被测车辆的分割掩膜。

进一步的，所述利用所述被测车辆的关键特征点和分割掩膜计算所述被测车辆的实际长度，包括：

根据对所述目标图像进行缩放处理时的缩放比例，对所述被测车辆的关键特征点的坐标进行复原处理，得到所述第一轮毂中心点的坐标、所述第二轮毂中心点的坐标和所述车头角点的坐标；

利用所述第一轮毂中心点的坐标、所述第二轮毂中心点的坐标和分割掩膜，计算被测车辆的车轮与地面的两个接触点的坐标，以得到所述两个接触点间的直线；

根据所述车头角点的坐标确定其在所述两个接触点间的直线上的投影点P1的坐标；

利用所述被测车辆的分割掩膜计算所述被测车辆的最小外接矩形框的坐标，并根据所述被测车辆的最小外接矩形框的坐标，确定所述两个接触点间的直线与所述被测车辆的最小外接矩形框的边界交点P2的坐标；

将所述被测车辆的内参和外参信息、P1的坐标和P2的坐标输入预设的BP神经网络模型，得到所述被测车辆的实际长度。

根据本申请实施例的第二方面，提供一种基于单目视觉的车长测量装置，所述装置包括：

图像采集模块，用于采集被测车辆的目标图像；

图像处理模块，用于对所述目标图像进行处理分析，得到所述被测车辆的关键特征点和分割掩膜；

计算模块，用于利用所述被测车辆的关键特征点和分割掩膜计算所述被测车辆的实际长度。

本发明采用以上技术方案，能够达到的有益效果包括：通过采集被测车辆的目标图像，对目标图像进行处理分析，得到被测车辆的关键特征点和分割掩膜，利用被测车辆的关键特征点和分割掩膜计算被测车辆的实际长度，从而实现对被测车辆的车长进行无接触的精准测量，提高了车辆车长测量效率，有利于对车型流量的调查分析。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种基于单目视觉的车长测量方法的流程图；

图2是根据一示例性实施例示出的被测车辆测量的说明示意图；

图3是根据一示例性实施例示出的外参标定的说明示意图；

图4是根据一示例性实施例示出的被测车辆的关键特征点的示意图；

图5是根据一示例性实施例示出的是一种基于单目视觉的车长测量装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

图1是根据一示例性实施例示出的一种基于单目视觉的车长测量方法的流程图，如图1所示，该方法可以但不限于用于终端中，包括以下步骤：

步骤101：采集被测车辆的目标图像；

步骤102：对目标图像进行处理分析，得到被测车辆的关键特征点和分割掩膜；

步骤103：利用被测车辆的关键特征点和分割掩膜计算被测车辆的实际长度。

本发明实施例提供的一种基于单目视觉的车长测量方法，通过采集被测车辆的目标图像，对目标图像进行处理分析，得到被测车辆的关键特征点和分割掩膜，利用被测车辆的关键特征点和分割掩膜计算被测车辆的实际长度，从而实现对被测车辆的车长进行无接触的精准测量，提高了车辆车长测量效率，有利于对车型流量的调查分析。

进一步的，步骤101可以通过但不限于以下过程实现：

利用图像采集装置采集被测车辆在地面指定位置上的图像，得到目标图像。

需要说明的是，图像采集装置可以但不限于为不同类型的相机设备等。可以理解的是，本发明实施例提供的一种基于单目视觉的车长测量方法，只需利用普通2D相机的基础上，实现对被测车辆的车长进行无接触的精准测量，降低了成本。

可以理解的是，一般图像采集装置采集的被测车辆的目标图像为彩色图像，通时被测车辆需要整个车身在图像采集装置的视野中，例如，如图2所示。

进一步的，采集被测车辆的目标图像之前，还包括：

对图像采集装置进行标定，获取图像采集装置的内参和外参信息。

需要说明的是，图像采集装置的内参一般指的是内参矩阵。

具体的，对图像采集装置进行标定，获取图像采集装置的内参和外参信息，包括：

使用图像采集装置采集不同位姿下标准黑白棋盘格标定板的标定图像，基于得到的标定图像采用张正友标定法，标定得到图像采集装置的内参信息；

以指定方式对图像采集装置进架设安装，以使图像采集装置的视场与指定地面相对，测量图像采集装置的安装高度，以及视场近端边界至设备在地平面投影点的距离，根据安装高度和距离计算得到图像采集装置的外参信息。

需要说明的是，本发明实施例涉及的“根据安装高度和距离计算得到图像采集装置的外参信息”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。

例如，如图3所示，假设图像采集装置为相机，则选取任意型号相机并架设到合适高度。打印用于标定的标准黑白棋盘格标定板，采集相机下不同位姿下标准黑白棋盘格标定板的标定图像共20张（本领域技术人员可根据专家经验或实验数据等设置采集的标定图像的数量），基于得到的标定图像利用张正友标定法，标定得到相机的内参矩阵；然后，在相机视野中部放置参考物，测量相机的安装高度H和视场近端边界到相机在地平面投影点的距离D，并根据安装高度H和相机在地平面投影点的距离D计算得到相机的外参信息。此步骤只需在相机固定后执行一次即可。

进一步的，步骤102中对目标图像进行处理分析，包括：

步骤1021：对目标图像进行预处理；

步骤1022：利用基于深度学习的目标关键点检测器检测预处理后的目标图像，得到被测车辆的关键特征点和分割掩膜；

其中，被测车辆的关键特征点包括：车头的角点、被测车辆可见一侧的第一轮毂中心点和被测车辆可见一侧的第二轮毂中心点；分割掩膜为车辆轮廓内区域。

需要说明的是，基于深度学习的目标关键点检测器为提前训练好的。一些实施例中，可以但不限于以历史的被测车辆的目标图像为未训练的基于深度学习的目标关键点检测器的输入层训练样本，以历史的被测车辆的关键特征点和分割掩膜为未训练的基于深度学习的目标关键点检测器的输出层训练样本进行训练，得到训练好的基于深度学习的目标关键点检测器。

进一步的，步骤1021对目标图像进行预处理，包括：

步骤211：对目标图像进行缩放处理，得到满足基于深度学习的目标关键点检测器的输入大小的中间图像；

步骤212：将中间图像进行减均值及除方差处理，得到预处理后的目标图像。

需要说明的是，本发明实施例涉及的“将中间图像进行减均值及除方差处理”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。一般指的是对中间图像进行减去图像均值和除图像方差处理。

进一步的，步骤1022利用基于深度学习的目标关键点检测器检测预处理后的目标图像，包括：

利用基于深度学习的目标关键点检测器预处理后的目标图像中被测车辆的关键特征点，每个被测车辆的关键特征点对应一个热力图，选取每个热力图中最大数值所对应的坐标为被测车辆的关键特征点的坐标；以及

利用基于深度学习的目标关键点检测器预处理后的目标图像，得到被测车辆的分割掩膜。

可以理解的是，分割掩膜指的是车辆轮廓内区域，一些实施例中，将属于车辆轮廓内的区域用1表示，不属于车辆的区域用0表示。

进一步的，步骤103利用被测车辆的关键特征点和分割掩膜计算被测车辆的实际长度，包括：

步骤1031：根据对目标图像进行缩放处理时的缩放比例，对被测车辆的关键特征点的坐标进行复原处理，得到第一轮毂中心点的坐标、第二轮毂中心点的坐标和车头角点的坐标；

例如，如图4所示的第一轮毂中心点k1、第二轮毂中心点k2和车头角点k3；

步骤1032：利用第一轮毂中心点的坐标、第二轮毂中心点的坐标和分割掩膜，计算被测车辆的车轮与地面的两个接触点的坐标，以得到两个接触点间的直线；

具体的，一些可选的实施例中，计算被测车辆的车轮与地面的两个接触点的坐标包括：

第一轮毂中心点和第二轮毂中心点的连线L，将被测车辆外轮廓分为上下两部分，在下半部分的轮廓点中寻找距离直线L距离最大的两个波谷点，即为两个车轮与地面的接触点，从而可以进一步得到被测车辆的车轮与地面的两个接触点的坐标；

步骤1033：根据车头角点的坐标确定其在两个接触点间的直线上的投影点P1的坐标；

具体的，一些可选的实施例中，P1的坐标的确定过程包括：

将车头角点的横坐标代入两个车轮与地面的接触点连线的直线方程，即可算得P1的坐标；

步骤1034：利用被测车辆的分割掩膜计算被测车辆的最小外接矩形框的坐标(即轮廓点的上下、左右边界)，并根据被测车辆的最小外接矩形框的坐标，确定两个接触点间的直线与被测车辆的最小外接矩形框的边界交点P2的坐标；

具体的，一些可选的实施例中，P2的坐标的确定过程包括：

将最小外接矩形框的左边界横坐标代入两个车轮与地面的接触点连线的直线方程，即可算得P2的坐标；

步骤1035：将被测车辆的内参和外参信息、P1的坐标和P2的坐标输入预设的BP神经网络模型，得到被测车辆的实际长度。

需要说明的是，本发明实施例涉及的“利用被测车辆的分割掩膜计算被测车辆的最小外接矩形框的坐标”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。

一些实施例中，预设的BP神经网络模型的获取过程可以但不限于包括：以历史的内参和外参信息、P1的坐标和P2的坐标为BP神经网络模型的输入层训练样本，以历史的被测车辆的实际长度为BP神经网络模型的输出层训练样本进行训练，得到预设的BP神经网络模型。

本发明实施例提供的一种基于单目视觉的车长测量方法，通过采集被测车辆的目标图像，对目标图像进行处理分析，得到被测车辆的关键特征点和分割掩膜，利用被测车辆的关键特征点和分割掩膜计算被测车辆的实际长度，从而实现对被测车辆的车长进行无接触的精准测量，提高了车辆车长测量效率，有利于对车型流量的调查分析。

本发明实施例还提供一种基于单目视觉的车长测量装置，如图5所示，该装置包括：

图像采集模块，用于采集被测车辆的目标图像；

图像处理模块，用于对目标图像进行处理分析，得到被测车辆的关键特征点和分割掩膜；

计算模块，用于利用被测车辆的关键特征点和分割掩膜计算被测车辆的实际长度。

一些可选的实施例中，该装置，还包括：展示模块，用于展示计算模块计算得到的被测车辆的实际长度。

其中，展示模块可以但不限于通过显示屏等实现。

进一步的，图像采集模块，具体用于：

利用图像采集装置采集被测车辆在地面指定位置上的图像，得到目标图像。

进一步的，该装置，还包括：

标定模块，用于对图像采集装置进行标定，获取图像采集装置的内参和外参信息。

进一步的，标定模块，具体用于：

使用图像采集装置采集不同位姿下标准黑白棋盘格标定板的标定图像，基于得到的标定图像采用张正友标定法，标定得到图像采集装置的内参信息；

以指定方式对图像采集装置进架设安装，以使图像采集装置的视场与指定地面相对，测量图像采集装置的安装高度，以及视场近端边界至设备在地平面投影点的距离，根据安装高度和距离计算得到图像采集装置的外参信息。

进一步的，图像处理模块，包括：

预处理子模块，用于对目标图像进行预处理；

第一获取子模块，用于利用基于深度学习的目标关键点检测器检测预处理后的目标图像，得到被测车辆的关键特征点和分割掩膜；

其中，被测车辆的关键特征点包括：车头的角点、被测车辆可见一侧的第一轮毂中心点和被测车辆可见一侧的第二轮毂中心点；分割掩膜为车辆轮廓内区域。

进一步的，预处理子模块，具体用于：

对目标图像进行缩放处理，得到满足基于深度学习的目标关键点检测器的输入大小的中间图像；

将中间图像进行减均值及除方差处理，得到预处理后的目标图像。

进一步的，第一获取子模块，具体用于：

利用基于深度学习的目标关键点检测器预处理后的目标图像中被测车辆的关键特征点，每个被测车辆的关键特征点对应一个热力图，选取每个热力图中最大数值所对应的坐标为被测车辆的关键特征点的坐标；以及

利用基于深度学习的目标关键点检测器预处理后的目标图像，得到被测车辆的分割掩膜。

进一步的，计算模块，包括：

复原子模块，用于根据对目标图像进行缩放处理时的缩放比例，对被测车辆的关键特征点的坐标进行复原处理，得到第一轮毂中心点的坐标、第二轮毂中心点的坐标和车头角点的坐标；

第二获取子模块，用于利用第一轮毂中心点的坐标、第二轮毂中心点的坐标和分割掩膜，计算被测车辆的车轮与地面的两个接触点的坐标，以得到两个接触点间的直线；

第一确定子模块，用于根据车头角点的坐标确定其在两个接触点间的直线上的投影点P1的坐标；

第二确定子模块，用于利用被测车辆的分割掩膜计算被测车辆的最小外接矩形框的坐标，并根据被测车辆的最小外接矩形框的坐标，确定两个接触点间的直线与被测车辆的最小外接矩形框的边界交点P2的坐标；

第三获取子模块，用于将被测车辆的内参和外参信息、P1的坐标和P2的坐标输入预设的BP神经网络模型，得到被测车辆的实际长度。

本发明实施例提供的一种基于单目视觉的车长测量方法，通过图像采集模块采集被测车辆的目标图像，图像处理模块对目标图像进行处理分析，得到被测车辆的关键特征点和分割掩膜，计算模块利用被测车辆的关键特征点和分割掩膜计算被测车辆的实际长度，从而实现对被测车辆的车长进行无接触的精准测量，提高了车辆车长测量效率，有利于对车型流量的调查分析。

可以理解的是，上述提供的装置实施例与上述的方法实施例对应，相应的具体内容可以相互参考，在此不再赘述。

本发明实施例还提供一种电子设备，包括：

存储器，其上存储有可执行程序；

处理器，用于执行存储器中的可执行程序，以实现上述实施例中提供的基于单目视觉的车长测量方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于单目视觉的车长测量方法，其特征在于，所述方法包括：

采集被测车辆的目标图像；

对所述目标图像进行处理分析，得到所述被测车辆的关键特征点和分割掩膜；

利用所述被测车辆的关键特征点和分割掩膜计算所述被测车辆的实际长度。

2.根据权利要求1所述的方法，其特征在于，所述采集被测车辆的目标图像包括：

利用图像采集装置采集所述被测车辆在地面指定位置上的图像，得到所述目标图像。

3.根据权利要求2所述的方法，其特征在于，所述采集被测车辆的目标图像之前，还包括：

对所述图像采集装置进行标定，获取所述图像采集装置的内参和外参信息。

4.根据权利要求3所述的方法，其特征在于，所述对所述图像采集装置进行标定，获取所述图像采集装置的内参和外参信息，包括：

使用所述图像采集装置采集不同位姿下标准黑白棋盘格标定板的标定图像，基于得到的标定图像采用张正友标定法，标定得到所述图像采集装置的内参信息；

以指定方式对所述图像采集装置进架设安装，以使所述图像采集装置的视场与所述指定地面相对，测量所述图像采集装置的安装高度，以及视场近端边界至设备在地平面投影点的距离，根据所述安装高度和所述距离计算得到所述图像采集装置的外参信息。

5.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行处理分析，包括：

对所述目标图像进行预处理；

利用基于深度学习的目标关键点检测器检测预处理后的所述目标图像，得到所述被测车辆的关键特征点和分割掩膜；

其中，所述被测车辆的关键特征点包括：车头的角点、被测车辆可见一侧的第一轮毂中心点和被测车辆可见一侧的第二轮毂中心点；所述分割掩膜为车辆轮廓内区域。

6.根据权利要求5所述的方法，其特征在于，所述对所述目标图像进行预处理，包括：

对所述目标图像进行缩放处理，得到满足所述基于深度学习的目标关键点检测器的输入大小的中间图像；

将所述中间图像进行减均值及除方差处理，得到预处理后的所述目标图像。

7.根据权利要求6所述的方法，其特征在于，所述利用基于深度学习的目标关键点检测器检测预处理后的所述目标图像，包括：

利用基于深度学习的目标关键点检测器预处理后的所述目标图像中被测车辆的关键特征点，每个所述被测车辆的关键特征点对应一个热力图，选取每个热力图中最大数值所对应的坐标为所述被测车辆的关键特征点的坐标；以及

利用基于深度学习的目标关键点检测器预处理后的所述目标图像，得到所述被测车辆的分割掩膜。

8.根据权利要求7所述的方法，其特征在于，所述利用所述被测车辆的关键特征点和分割掩膜计算所述被测车辆的实际长度，包括：

根据对所述目标图像进行缩放处理时的缩放比例，对所述被测车辆的关键特征点的坐标进行复原处理，得到所述第一轮毂中心点的坐标、所述第二轮毂中心点的坐标和所述车头角点的坐标；

利用所述第一轮毂中心点的坐标、所述第二轮毂中心点的坐标和分割掩膜，计算被测车辆的车轮与地面的两个接触点的坐标，以得到所述两个接触点间的直线；

根据所述车头角点的坐标确定其在所述两个接触点间的直线上的投影点P1的坐标；

利用所述被测车辆的分割掩膜计算所述被测车辆的最小外接矩形框的坐标，并根据所述被测车辆的最小外接矩形框的坐标，确定所述两个接触点间的直线与所述被测车辆的最小外接矩形框的边界交点P2的坐标；

将所述被测车辆的内参和外参信息、P1的坐标和P2的坐标输入预设的BP神经网络模型，得到所述被测车辆的实际长度。

9.一种基于单目视觉的车长测量装置，其特征在于，所述装置包括：

图像采集模块，用于采集被测车辆的目标图像；

图像处理模块，用于对所述目标图像进行处理分析，得到所述被测车辆的关键特征点和分割掩膜；

计算模块，用于利用所述被测车辆的关键特征点和分割掩膜计算所述被测车辆的实际长度。

Images