CN115953456A - 一种基于双目视觉的车辆外廓尺寸动态测量方法 - Google Patents

一种基于双目视觉的车辆外廓尺寸动态测量方法 Download PDF

Info

Publication number
CN115953456A
CN115953456A CN202211575094.6A CN202211575094A CN115953456A CN 115953456 A CN115953456 A CN 115953456A CN 202211575094 A CN202211575094 A CN 202211575094A CN 115953456 A CN115953456 A CN 115953456A
Authority
CN
China
Prior art keywords
image
vehicle
binocular
points
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211575094.6A
Other languages
English (en)
Inventor
赵伟
武帅琦
张意林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Science and Technology
Original Assignee
Henan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Science and Technology filed Critical Henan University of Science and Technology
Priority to CN202211575094.6A priority Critical patent/CN115953456A/zh
Publication of CN115953456A publication Critical patent/CN115953456A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于双目视觉的车辆外廓尺寸动态测量方法。首先利用双目摄像头对环境场景进行图像采集，根据标定得到的相机内外参数对图像进行校正；其次采用背景差分算法与HSV颜色空间相结合的方法提取出动态ROI（region of interest）区域；然后统计图像内符合灰度要求的像素点绘制最小外接矩形，并记录4个特征角点在图像上的二维坐标；最后采用SGBM立体匹配算法将4个角点的二维坐标转换到三维空间，其对应的坐标差值即为车辆的外廓尺寸。本发明将图像差分法与HSV颜色空间相结合实现了对目标车辆的动态提取，并且选取目标车辆最小外接矩形框的4个角点作为尺寸测量点，实现了对多类型车辆外廓尺寸的快速动态测量。

Description

一种基于双目视觉的车辆外廓尺寸动态测量方法
技术领域
本发明涉及车辆外廓尺寸自动检测领域，尤其涉及一种基于双目视觉的车辆外廓尺寸动态测量方法。
背景技术
随着我国汽车保有量的不断提高，因车辆私自改装而造成的道路交通事故也逐年增多，给行车安全带来了很大的隐患。对于汽车外廓尺寸的测量是判断车辆改装与否的关键，也是汽车综合性能检测的一项重要内容，在一定程度上影响了汽车的通过性与运行安全性，对于我国交通行车安全有着重大的意义。
基于双目视觉的检测算法作为机器视觉领域的一个重要分支，也是当前研究工作开展较多，技术相对比较成熟的一种。其拟人眼的工作方式，可在不同条件下灵活测量不同景物的立体信息，在汽车、人工智能等工程应用中有着极高的研究价值，根据双目视觉原理可以将特征点的二维坐标拓展到三维空间，从而得到目标物体的空间信息。
发明内容
为解决现有的车辆外廓尺寸自动检测精确度较低的问题，本发明提供了一种基于双目视觉的车辆外廓尺寸动态测量方法。
本发明为解决上述技术问题所采用的技术方案是：一种基于双目视觉的车辆外廓尺寸动态测量方法，包括以下步骤：
步骤1：双目标定
对双目相机进行标定，打印标准棋盘格图片，在标定工具库中输入拍摄好的图像对，剔除误差较大的图像对，保留误差较小的图像对进行自动标定，得到双目相机的参数；
步骤2：图像校正
采用公式法对左右图像进行径向和切向上的畸变校正，对图像进行畸变校正后采用立体校正算法将左右图像的对极线在空间中进行修正；
步骤3：图像分割
利用背景差分法对校正后的图像进行目标提取，保持背景图像不变，将车辆前景看作运动状态，比较两者像素点的差异来检测目标车辆，然后利用颜色转换公式对车辆前景RGB图像进行颜色空间转换，选取出现频率最多的3个颜色分量ha、sa、va作为车身颜色，将车辆前景图像内每个像素点的颜色分量设为hb、sb、vb，然后将两者转换到HSV三维空间坐标中进行相似度比较，当相似度函数S(x，y）小于阈值时判定为车身像素，否则为背景像素；
步骤4：图像去噪
采用5*5的核对图像进行腐蚀处理，去除非车身物体的干扰；再对腐蚀后的图像进行膨胀处理，直至车身能够完全被分割出来；
步骤5：测量点选取
通过在二值化图像上设定灰度阈值来查找目标车辆的轮廓，从而绘制出最小外接矩形边框。
步骤6：特征点匹配
利用基于半全局约束的SGBM立体匹配算法对双目图像进行特征点匹配；
步骤7：尺寸计算
根据特征点匹配后的双目图像，利用双目视觉坐标转换公式计算得到左图像4个特征点A1、B1、C1、D1和右图像A2、B2、C2、D2对应的4个空间点A、B、C、D的世界坐标值，根据4个空间坐标点对应的差值即可得到车辆的外廓尺寸。
优选的，步骤1中，最终得到双目相机的焦距、中心点、畸变参数、旋转向量、平移向量参数。
优选的，步骤2中，首先将左相机坐标系沿旋转向量R的正方向旋转一半得到左合成旋转矩阵Rl＝R1/2，右相机坐标系向反方向旋转一半得到右合成矩阵Rr＝R-1/2，此时左右相机的光轴处于平行状态；然后利用偏移矩阵T＝[TxTyTz]T构造三个极点e1、e2、e3的向量，根据极点向量的空间位置关系得到左右相机的整体旋转矩阵。
优选的，步骤5中，首先寻找二值图像上所有灰度值为255的区域作为目标区域，然后获取目标车辆中心点坐标(x，y)、宽度、高度、旋转角度以及4个角点的坐标，最后根据特征信息对左右图像绘制最小外接矩形框，并标注矩形框的4个角点为特征匹配点。
优选的，步骤6中，首先采用水平Sobel算子对图像进行处理，得到图像的梯度信息，然后利用映射函数将图像上每个像素点映射成一个新的图像；然后先进行基于BT代价方法的代价计算，再进行梯度计算，梯度计算先经过Sobel算子计算处理再投入到BT代价中进行计算；然后根据图像上所有一维路径的约束条件建立全局能量方程，在多个方向上进行能量积累；然后选取视差，并将各个方向上的匹配代价进行叠加得到总体的匹配代价；最后对像素点进行唯一性检测、亚像素插值和左右一致性检测，减少视差图像的不平滑区域。
根据上述技术方案，本发明的有益效果是：
本发明对图像分割算法进行改进，将背景差分法与HSV颜色空间相结合，能够有效排除光照不均或颜色接近等问题的影响。首先利用最大类间方差法确定灰度阈值，再通过统计图像的HSV颜色分量提取出车辆前景，最后经形态学处理去除图像的噪声干扰，填补空洞区域。本发明通过求取双目图像中目标车辆的最小外接矩形，将矩形框的4个特征角点确定为测量点，并对其进行立体匹配从而获得测量点的空间位置坐标，最终得到目标车辆的外廓尺寸。经实验验证，利用该方法测量得到的汽车外廓尺寸平均相对误差保持在4％以内，每帧图像的平均处理耗时保持在0.25s以内，实现了对道路车辆外廓尺寸的实时性精确测量，可以为汽车的通过性提供参考。
附图说明
图1为本发明的基于双目视觉的车辆外廓尺寸测量方法流程图；
图2为标定棋盘格图片；
图3为标定过程中棋盘格图片的空间位置关系；
图4为标定误差结果；
图5为车辆视差图；
图6为双目视觉原理图。
具体实施方式
基于图1-6，对本发明所提供的一种基于双目视觉的车辆外廓尺寸动态测量方法做出详细说明，主要包括如下步骤：
步骤1：双目标定
利用张正友标定法对双目相机进行标定，打印标准棋盘格图片，在标定工具库中输入拍摄好的图像对，剔除误差较大的图像对，保留误差较小的图像对进行自动标定，最终得到双目相机的焦距、中心点、畸变参数、旋转向量、平移向量等参数；
如图2所示，用A4纸打印10×7规格的棋盘格标定板，其角点数为9×6，每个棋盘格大小为25mm×25mm；拍摄30组左右棋盘格图片并输入至标定工具库中，对误差较大的图像对进行剔除，保留误差较小的图像对进行自动标定，最终得到双目相机的焦距、中心点、畸变参数、旋转向量、平移向量等参数。标定板空间位置关系如图3所示，标定误差结果如图4所示。
步骤2：图像校正
采用公式法对左右图像进行径向和切向上的畸变校正，对图像进行畸变校正后采用立体校正算法将左右图像的对极线在空间中进行修正，使其处于同一水平线上。本发明采用公式法对双目图像进行立体校正。由双目标定结果已知旋转矩阵R和平移矩阵T，首先将左相机坐标系沿旋转向量R的正方向旋转一半得到左合成旋转矩阵Rl＝R1/2，右相机坐标系向反方向旋转一半得到右合成矩阵Rr＝R-1/2，此时左右相机的光轴处于平行状态；然后利用偏移矩阵T＝[TxTyTz]T构造三个极点e1、e2、e3的向量，根据三个极点的正交关系得到无穷远处的旋转矩阵为：
Figure SMS_1
最后通过合成矩阵与旋转矩阵相乘得到左右相机的整体旋转矩阵，具体为：
Figure SMS_2
步骤3：图像分割
在利用背景差分法对校正后的图像进行目标提取时，保持背景图像不变，将车辆前景看作运动状态，比较两者像素点的差异来检测目标车辆。设含有车辆图像的灰度值为f1(x，y)，背景图像的灰度值为f2(x，y)，将两张图像的灰度值做差并取绝对值作为差分图像D(x，y)，计算公式如下：
D(x，y)＝|f1(x，y)-f2(x，y)|
然后将差分图像上每个像素点的灰度值与灰度阈值T进行对比，得到二值化图像R(x，y)，具体如下：
Figure SMS_3
其中灰度值为255的灰度点看作车辆前景，灰度值为0的看作图像背景。接着对二值化图像进行连通性分析即可得到完整的车辆前景。而对于阈值T的选取，采用最大类间方差[13]法确定最佳阈值。假设输入的图像灰度级为L，图像大小为w×h，因此图像总像素数量为N＝w×h，每个灰度级的概率为pi(i＝1，2，3...，L-1)，其计算公式如下：
Figure SMS_4
设置一个灰度阈值T，将图像分为C0、C1两个部分，可以得到类间方差δ2定义如下：
δ2＝w0(u0-u)2+w1(u1-u)2；
其中，
Figure SMS_5
分别为C0、C1两个部分出现的概率；u0、u1为C0、C1两个部分的灰度均值；u为全图像的灰度均值。当δ2最大时对应的阈值T即为最佳阈值，在此阈值范围下利用背景差分法对图像进行目标提取。
接着将RGB图像转换为HSV图像，具体步骤为：首先将图像上所有像素点的R、G、B值除以255转换到0-1范围之间；其次将转化后的值代入转换函数中计算出对应的H、S、V值。转换公式如下：
V＝max(R，G，B)；
Figure SMS_6
Figure SMS_7
由转换公式计算得到的H值可能小于0，因此需要将该值加360，得到最终的H值，其计算公式为：
Figure SMS_8
最后为了方便在OpenCV视觉库中将图像可视化，需要将H、S、V的计算值转换到0-255范围之间，映射公式如下：
Figure SMS_9
利用颜色转换公式对车辆前景RGB图像进行颜色空间转换，选取出现频率最多的3个颜色分量ha、sa、va作为车身颜色，将车辆前景图像内每个像素点的颜色分量设为hb、sb、vb，然后将两者转换到HSV三维空间坐标中进行相似度比较，根据实际场景设定阈值，当相似度函数S(x，y)小于阈值时判定为车身像素，否则为背景像素。
步骤4：图像去噪
采用5*5的核对图像进行腐蚀处理，去除非车身物体的干扰；再对腐蚀后的图像进行膨胀处理，使车身能够完全被分割出来。
步骤5：测量点选取
通过在二值化图像上设定灰度阈值来查找目标车辆的轮廓，从而绘制出最小外接矩形边框，具体为：
(1)根据二值化图像的特征，可以确定目标车辆的灰度值为255，因此寻找二值图像上所有灰度值为255的区域作为目标区域；
(2)获取目标车辆中心点坐标(x，y)、宽度、高度、旋转角度以及4个角点的坐标；
(3)根据上述相关特征信息对左右图像绘制最小外接矩形框，并标注矩形框的4个角点为特征匹配点。
步骤6：特征点匹配
利用基于半全局约束的SGBM立体匹配算法对双目图像进行特征点匹配，匹配后得到的视差图如图5所示，具体为：
(1)采用水平Sobel算子对图像进行处理，得到图像的梯度信息。然后利用映射函数将图像上每个像素点映射成一个全新的图像，具体为：
Figure SMS_10
上式中：P表示原本图像的像素值，PNEW表示映射图像上的像素值，preFilterCap(pfc)为一个常数参数，常取固定值；
(2)代价计算，由两部分组成：一部分为基于BT代价方法的代价计算，另一部分为先经过Sobel算子计算处理，再投入到BT代价中进行的梯度计算；
(3)代价聚合，首先根据图像上所有一维路径的约束条件建立全局能量方程，在多个方向上进行能量积累；然后选取视差，并将各个方向上的匹配代价进行叠加得到总体的匹配代价，其中代价聚合的计算如下式所示：
Figure SMS_11
其中，E(D)表示视差D对应的匹配代价；Np表示像素点P的邻域；C(p，Dq)表示像素点P的代价值；P1表示视差值等于1时的像素的惩罚参数；P2表示视差值大于1时的像素的惩罚参数；
(4)对像素点进行唯一性检测、亚像素插值和左右一致性检测，减少视差图像的不平滑区域，使图像的边缘信息保存更加完整。
步骤7：尺寸计算
根据双目视觉原理可以将特征点的二维坐标拓展到三维空间，从而得到目标物体的空间信息。根据特征点匹配后的双目图像，利用双目视觉坐标转换公式计算得到左图像4个特征点A1、B1、C1、D1和右图像A2、B2、C2、D2对应的4个空间点A、B、C、D的世界坐标值，如表所示：
Figure SMS_12
由上表可以得知，矩形框的长度与高度分别为2985.55mm、1662.98mm，即为待检测车辆的外廓尺寸。

Claims (5)

1.一种基于双目视觉的车辆外廓尺寸动态测量方法，其特征在于，包括以下步骤：
步骤1：双目标定
对双目相机进行标定，打印标准棋盘格图片，在标定工具库中输入拍摄好的图像对，剔除误差较大的图像对，保留误差较小的图像对进行自动标定，得到双目相机的参数；
步骤2：图像校正
采用公式法对左右图像进行径向和切向上的畸变校正，对图像进行畸变校正后采用立体校正算法将左右图像的对极线在空间中进行修正；
步骤3：图像分割
利用背景差分法对校正后的图像进行目标提取，保持背景图像不变，将车辆前景看作运动状态，比较两者像素点的差异来检测目标车辆，然后利用颜色转换公式对车辆前景RGB图像进行颜色空间转换，选取出现频率最多的3个颜色分量ha、sa、va作为车身颜色，将车辆前景图像内每个像素点的颜色分量设为hb、sb、vb，然后将两者转换到HSV三维空间坐标中进行相似度比较，当相似度函数S(x，y)小于阈值时判定为车身像素，否则为背景像素；
步骤4：图像去噪
采用5*5的核对图像进行腐蚀处理，去除非车身物体的干扰；再对腐蚀后的图像进行膨胀处理，直至车身能够完全被分割出来；
步骤5：测量点选取
通过在二值化图像上设定灰度阈值来查找目标车辆的轮廓，从而绘制出最小外接矩形边框。
步骤6：特征点匹配
利用基于半全局约束的SGBM立体匹配算法对双目图像进行特征点匹配；
步骤7：尺寸计算
根据特征点匹配后的双目图像，利用双目视觉坐标转换公式计算得到左图像4个特征点A1、B1、C1、D1和右图像A2、B2、C2、D2对应的4个空间点A、B、C、D的世界坐标值，根据4个空间坐标点对应的差值即可得到车辆的外廓尺寸。
2.根据权利要求1所述的一种基于双目视觉的车辆外廓尺寸动态测量方法，其特征在于：步骤1中，最终得到双目相机的焦距、中心点、畸变参数、旋转向量、平移向量参数。
3.根据权利要求1所述的一种基于双目视觉的车辆外廓尺寸动态测量方法，其特征在于：步骤2中，首先将左相机坐标系沿旋转向量R的正方向旋转一半得到左合成旋转矩阵RI＝R1/2，右相机坐标系向反方向旋转一半得到右合成矩阵Rr＝R-1/2，此时左右相机的光轴处于平行状态；然后利用偏移矩阵T＝[TxTyTz]T构造三个极点e1、e2、e3的向量，根据极点向量的空间位置关系得到左右相机的整体旋转矩阵。
4.根据权利要求1所述的一种基于双目视觉的车辆外廓尺寸动态测量方法，其特征在于：步骤5中，首先寻找二值图像上所有灰度值为255的区域作为目标区域，然后获取目标车辆中心点坐标(x，y)、宽度、高度、旋转角度以及4个角点的坐标，最后根据特征信息对左右图像绘制最小外接矩形框，并标注矩形框的4个角点为特征匹配点。
5.根据权利要求1所述的一种基于双目视觉的车辆外廓尺寸动态测量方法，其特征在于：步骤6中，首先采用水平Sobel算子对图像进行处理，得到图像的梯度信息，然后利用映射函数将图像上每个像素点映射成一个新的图像；然后先进行基于BT代价方法的代价计算，再进行梯度计算，梯度计算先经过Sobel算子计算处理再投入到BT代价中进行计算；然后根据图像上所有一维路径的约束条件建立全局能量方程，在多个方向上进行能量积累；然后选取视差，并将各个方向上的匹配代价进行叠加得到总体的匹配代价；最后对像素点进行唯一性检测、亚像素插值和左右一致性检测，减少视差图像的不平滑区域。
CN202211575094.6A 2022-12-08 2022-12-08 一种基于双目视觉的车辆外廓尺寸动态测量方法 Pending CN115953456A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211575094.6A CN115953456A (zh) 2022-12-08 2022-12-08 一种基于双目视觉的车辆外廓尺寸动态测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211575094.6A CN115953456A (zh) 2022-12-08 2022-12-08 一种基于双目视觉的车辆外廓尺寸动态测量方法

Publications (1)

Publication Number Publication Date
CN115953456A true CN115953456A (zh) 2023-04-11

Family

ID=87296011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211575094.6A Pending CN115953456A (zh) 2022-12-08 2022-12-08 一种基于双目视觉的车辆外廓尺寸动态测量方法

Country Status (1)

Country Link
CN (1) CN115953456A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117553695A (zh) * 2024-01-11 2024-02-13 摩斯智联科技有限公司 基于宽高比抑制噪声计算车辆高度的方法、装置及计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117553695A (zh) * 2024-01-11 2024-02-13 摩斯智联科技有限公司 基于宽高比抑制噪声计算车辆高度的方法、装置及计算机存储介质
CN117553695B (zh) * 2024-01-11 2024-05-03 摩斯智联科技有限公司 计算车辆高度的方法、装置及计算机存储介质

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN107203973B (zh) 一种三维激光扫描系统中线激光中心的亚像素定位方法
CN103400150B (zh) 一种基于移动平台进行道路边缘识别的方法及装置
CN111507390A (zh) 一种基于轮廓特征的仓储箱体识别与定位方法
CN109034017A (zh) 头部姿态估计方法及机器可读存储介质
CN110866924A (zh) 一种线结构光中心线提取方法及存储介质
CN110414385B (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN107832674B (zh) 一种车道线检测方法
CN108846844B (zh) 一种基于海天线的海面目标检测方法
CN110428425B (zh) 一种基于海岸线矢量数据的sar图像海陆分离方法
CN112991369A (zh) 基于双目视觉的行驶车辆外廓尺寸检测方法
CN112261390B (zh) 车载摄像设备及其图像优化装置和优化方法
CN115171096A (zh) 一种基于rgb图像与激光点云融合的3d目标检测方法
CN115953456A (zh) 一种基于双目视觉的车辆外廓尺寸动态测量方法
CN113221739B (zh) 基于单目视觉的车距测量方法
CN108460348B (zh) 基于三维模型的道路目标检测方法
Petrovai et al. Obstacle detection using stereovision for Android-based mobile devices
CN112330667A (zh) 一种基于形态学的激光条纹中心线提取方法
CN112365516A (zh) 一种增强现实中虚实遮挡处理方法
CN114998412B (zh) 基于深度网络和双目视觉的阴影区域视差计算方法和系统
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN115760549A (zh) 一种曲面3d数据展平化的处理方法
CN114926332A (zh) 基于无人机母车的无人机全景图像拼接方法
CN112102347B (zh) 一种基于双目视觉的台阶检测和单级台阶高度估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination