CN106225723B - 一种基于后视双目相机的多列车铰接角测量方法 - Google Patents
一种基于后视双目相机的多列车铰接角测量方法 Download PDFInfo
- Publication number
- CN106225723B CN106225723B CN201610596802.2A CN201610596802A CN106225723B CN 106225723 B CN106225723 B CN 106225723B CN 201610596802 A CN201610596802 A CN 201610596802A CN 106225723 B CN106225723 B CN 106225723B
- Authority
- CN
- China
- Prior art keywords
- trailer
- binocular camera
- multiple row
- backsight
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000005259 measurement Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims 1
- 238000009434 installation Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Abstract
本发明公开了一种基于后视双目相机的多列车铰接角测量方法，本方法利用双目视觉系统，通过对挂车前平面或侧平面的点云轮廓提取与拟合，获取挂车铰接角信息输出。本方法中，相机安装在牵引车的后平面朝向挂车，是可集成于牵引车的传感系统，无需改变安装位置即可以适用于不同的挂车系统。本方案适用于所有的多列车辆。
Description
技术领域
本发明涉及车辆控制领域，尤其是涉及一种基于后视双目相机的多列车铰接角测量方法。
背景技术
铰接角是多列车的重要动力学状态，准确的测量多列车辆铰接角可以有利于此类车辆主动安全系统的应用欲开发，如多列车主动转向与多列车倒车系统等。与本发明相关的现有技术分为如下两类：
1.接触式测量传感器：如旋转电位器安装在重型车第五轮位置。
2.非接触式测量传感器：如超声波传感器和视觉传感器等。
接触式测量传感器或超声波传感器只适用于某种特定的铰接形式(如第五轮铰接)；已有的视觉传感器只适用于特定的牵引车-挂车连接，并不是一个独立于挂车的系统，更换挂车会使传感器失效。
发明内容
本发明主要是解决现有技术所存在的适用范围小的技术问题，提供一种不局限于特定的铰接形式、具有较广的适用范围、更换挂车仍然可以正常工作的基于后视双目相机的多列车铰接角测量方法。
本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种基于后视双目相机的多列车铰接角测量方法，包括以下步骤：
S1、从双目相机获取当前时刻图像，双目相机安装在牵引车后端并朝向挂车；
S2、对当前时刻图像进行预处理；
S3、计算基于绝对值差之和的匹配代价，并基于半全局优化方法计算最终视差图；此处绝对值可以是灰度绝对值或者RGB绝对值；
S4、利用最终视差图的深度信息，得到三维点云信息；
S5、根据前一时刻铰接角测量值，确定所需拟合挂车平面，利用RANSAC提取挂车单元在水平面内的轮廓信息；
S6、计算相机转动信息，得到铰接角。
作为优选，所述预处理包括灰度化处理和除畸变处理。
作为优选，所述步骤S4具体为：
对于图像坐标系下任意一点(u，v)以及该点视差d，其对应现实水平面坐标系中坐标(X，Y)可由如下公式计算：
其中，stereobaseline为双目相机的基线长度；stereof为双目相机的焦距，每个点的视差d为预设值。
作为优选，所述步骤S5中，当前一时刻铰接角为0°-30°时，二维点云所拟合平面为挂车前端面；当前一时刻铰接角为60°-90°时，二维点云所拟合平面为挂车侧端面；当前一时刻铰接角为30°-60°时，二维点云所拟合平面为挂车前端面与侧端面的双段直线。
作为优选，所述利用RANSAC提取挂车单元在水平面内的轮廓信息具体为：
基于RANSAC拟合直线的方法为：通过m个循环，随机从平面点云中选取2个点，计算拟合直线y＝ax+b的系数a与b，对剩余点云是否符合该拟合直线以计算距离的方式打分，距离小于某阈值M，则视该点为该拟合的正确匹配样本，选取打分最高的拟合直线，利用其对应的所有正确匹配样本，用最小二乘的方法重新计算得到最终的拟合直线；此步骤中，循环数m与距离阈值M均为预设值。
从拟合后得到的直线可以直接得到相机的转动信息，即相机和挂车之间的夹角，也即铰接角。
本方案主要解决了以下几个方面的问题：
1.双目图像预处理–通过测量双目相机参数，对所采集图像进行灰度化、除畸变以及立体矫正(对齐)。
2.视差图计算–计算基于绝对值差之和(SAD)的匹配代价，基于半全局优化(SGBM)方法计算最终视差图。
3.水平面二维点云计算–利用上述计算的深度信息，得到三维点云信息。由于挂车侧倾与俯仰运动相对较小(通常小于5°)，所以该三维点云可以投射到水平二维车辆平面上。
4.挂车轮廓提取–根据前一时刻铰接角测量值，确定所需拟合挂车平面(前端面或侧端面)。利用RANSAC提取挂车单元在水平面内的轮廓信息。
本发明带来的实质性效果是，相机安装于牵引车后部，成本较低，实时性较好，并且独立于挂车单元，可集成于牵引车的传感系统，无需改变安装位置即可以适用于不同的挂车系统，应用性较广。
附图说明
图1是本发明的一种流程图；
图2是本发明的一种系统结构示意图；
图3和图4是本发明的一种铰接角在30°-60°生成的二维点云图；
图5是从图3和图4拟合得到的双段直线示意图；
图中：1、牵引车，2、挂车，3、后视双目相机。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：本实施例的一种基于后视双目相机的多列车铰接角测量方法，流程图如图1所示。双目后视相机图像为本系统的输入，多列集装箱车辆铰接角为本系统的输出。详细的算法模块功能介绍如下：
1.获取双目RGB格式图像。
2.对图像进行预处理，主要包括灰度化、除畸变以及双目对齐。
3.计算基于绝对值差之和(SAD)的匹配代价，基于半全局优化(SGBM)方法计算最终视差图。
4.利用上述计算的深度信息，得到三维点云信息。由于挂车侧倾与俯仰运动相对较小(通常小于5度)，所以该三维点云可以近似由水平二维车辆平面上的点云投影所代替。
5.根据前一时刻铰接角测量值，确定所需拟合挂车平面(前端面或侧端面)。利用RANSAC提取挂车单元在水平面内的轮廓信息。当前一时刻铰接角为0°-30°时，二维点云所拟合平面为挂车前端面；当前一时刻铰接角为60°-90°时，二维点云所拟合平面为挂车侧端面；如图3、图4和图5所示，当前一时刻铰接角为30°-60°时，二维点云所拟合平面为挂车前端面与侧端面的双段直线，可以理解为挂车的俯视图。
铰接角为挂车前端面和水平x轴之间的夹角，从图5中可知，铰接角从拟合后的直线上可以直接得到。当前一时刻铰接角为0°-30°和60°-90°时也同理可得。
本发明基于双目视差与二维点云的运算，精度高，鲁棒性强。此方法应用后视双目相机，硬件成本较低，且安装位置方便易调节。此外，该方法是基于牵引车的铰接角测量系统，因而适用于不同挂车单元。
本方案所涉及的部分技术名称解释如下：
RANSAC：一种鲁棒的回归方法，用于排除不匹配特征信息。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了牵引车、视差、挂车等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。
Claims (3)
1.一种基于后视双目相机的多列车铰接角测量方法，其特征在于，包括以下步骤：
S1、从双目相机获取当前时刻图像，双目相机安装在牵引车后端并朝向挂车；
S2、对当前时刻图像进行预处理；
S3、计算基于绝对值差之和的匹配代价，并基于半全局优化方法计算最终视差图；
S4、利用最终视差图的深度信息，得到三维点云信息；所述步骤S4具体为：
对于图像坐标系下任意一点(u，v)以及该点视差d，其对应现实水平面坐标系中坐标(X，Y)可由如下公式计算：
其中，stereobaseline为双目相机的基线长度；stereof为双目相机的焦距，每个点的视差d为预设值；
S5、根据前一时刻铰接角测量值，确定所需拟合挂车平面，利用RANSAC提取挂车单元在水平面内的轮廓信息；所述利用RANSAC提取挂车单元在水平面内的轮廓信息具体为：
基于RANSAC拟合直线的方法为：通过m个循环，随机从平面点云中选取2个点，计算拟合直线y＝ax+b的系数a与b，对剩余点云是否符合该拟合直线以计算距离的方式打分，距离小于某阈值M，则视该点为该拟合的正确匹配样本，选取打分最高的拟合直线，利用其对应的所有正确匹配样本，用最小二乘的方法重新计算得到最终的拟合直线；此步骤中，循环数m与距离阈值M均为预设值；
S6、计算相机转动信息，得到铰接角。
2.根据权利要求1所述的一种基于后视双目相机的多列车铰接角测量方法，其特征在于，所述预处理包括灰度化处理和除畸变处理。
3.根据权利要求1所述的一种基于后视双目相机的多列车铰接角测量方法，其特征在于，所述步骤S5中，当前一时刻铰接角为0°-30°时，二维点云所拟合平面为挂车前端面；当前一时刻铰接角为60°-90°时，二维点云所拟合平面为挂车侧端面；当前一时刻铰接角为30°-60°时，二维点云所拟合平面为挂车前端面与侧端面的双段直线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610596802.2A CN106225723B (zh) | 2016-07-25 | 2016-07-25 | 一种基于后视双目相机的多列车铰接角测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610596802.2A CN106225723B (zh) | 2016-07-25 | 2016-07-25 | 一种基于后视双目相机的多列车铰接角测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106225723A CN106225723A (zh) | 2016-12-14 |
| CN106225723B true CN106225723B (zh) | 2019-03-29 |
Family
ID=57534634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610596802.2A Active CN106225723B (zh) | 2016-07-25 | 2016-07-25 | 一种基于后视双目相机的多列车铰接角测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106225723B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017011177A1 (de) * | 2017-12-05 | 2019-06-06 | Wabco Gmbh | Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeug-Gespanns, Ermittlungseinrichtung sowie Fahrzeug-Gespann |
| US11518204B2 (en) | 2018-05-01 | 2022-12-06 | Continental Autonomous Mobility US, LLC | Trailer detection and autonomous hitching |
| US11175677B2 (en) | 2018-05-01 | 2021-11-16 | Continental Automotive Systems, Inc. | Tow vehicle and trailer alignment |
| CN108761479B (zh) * | 2018-06-07 | 2021-07-02 | 驭势科技（北京）有限公司 | 拖车拖斗检测方法、系统和无人驾驶拖车 |
| US11200430B2 (en) * | 2018-11-05 | 2021-12-14 | Tusimple, Inc. | Systems and methods for detecting trailer angle |
| CN111508012B (zh) * | 2019-01-31 | 2024-04-19 | 先临三维科技股份有限公司 | 线条纹误配检测和三维重建的方法、装置 |
| CN110363085B (zh) * | 2019-06-10 | 2021-11-09 | 浙江零跑科技股份有限公司 | 一种基于铰接角补偿的重型铰接车环视实现方法 |
| DE102020107789A1 (de) * | 2020-03-20 | 2021-09-23 | Mekra Lang Gmbh & Co. Kg | Sichtsystem für ein Fahrzeug und Verfahren zum Umschalten zwischen von dem Sichtsystem dargestellten Bildbereichen |
| CN111637852B (zh) * | 2020-05-27 | 2023-03-21 | 中国汽车技术研究中心有限公司 | 全挂汽车列车铰接角的测量系统及测量方法 |
| CN113390435B (zh) * | 2021-05-13 | 2022-08-26 | 中铁二院工程集团有限责任公司 | 高速铁路多元辅助定位系统 |
| CN113945185B (zh) * | 2021-09-30 | 2022-07-05 | 清智汽车科技(苏州)有限公司 | 铰接角测量装置及车辆及车辆铰接角测量方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101132536A (zh) * | 2006-08-21 | 2008-02-27 | 三洋电机株式会社 | 图像处理装置和车辆周边视场支援装置 |
| CN103776419A (zh) * | 2014-01-24 | 2014-05-07 | 华南理工大学 | 一种提高测量范围的双目视觉测距方法 |
| CN103955920A (zh) * | 2014-04-14 | 2014-07-30 | 桂林电子科技大学 | 基于三维点云分割的双目视觉障碍物检测方法 |
| CN104915965A (zh) * | 2014-03-14 | 2015-09-16 | 华为技术有限公司 | 一种摄像机跟踪方法及装置 |
| CN105469386A (zh) * | 2015-11-11 | 2016-04-06 | 浙江大华技术股份有限公司 | 一种确定立体相机高度与俯仰角的方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006056408B4 (de) * | 2006-11-29 | 2013-04-18 | Universität Koblenz-Landau | Verfahren zum Bestimmen einer Position, Vorrichtung und Computerprogrammprodukt |
| US9437055B2 (en) * | 2014-08-13 | 2016-09-06 | Bendix Commercial Vehicle Systems Llc | Cabin and trailer body movement determination with camera at the back of the cabin |
-
2016
- 2016-07-25 CN CN201610596802.2A patent/CN106225723B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101132536A (zh) * | 2006-08-21 | 2008-02-27 | 三洋电机株式会社 | 图像处理装置和车辆周边视场支援装置 |
| CN103776419A (zh) * | 2014-01-24 | 2014-05-07 | 华南理工大学 | 一种提高测量范围的双目视觉测距方法 |
| CN104915965A (zh) * | 2014-03-14 | 2015-09-16 | 华为技术有限公司 | 一种摄像机跟踪方法及装置 |
| CN103955920A (zh) * | 2014-04-14 | 2014-07-30 | 桂林电子科技大学 | 基于三维点云分割的双目视觉障碍物检测方法 |
| CN105469386A (zh) * | 2015-11-11 | 2016-04-06 | 浙江大华技术股份有限公司 | 一种确定立体相机高度与俯仰角的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106225723A (zh) | 2016-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106225723B (zh) | 一种基于后视双目相机的多列车铰接角测量方法 | |
| JP4919036B2 (ja) | 移動物体認識装置 | |
| CN107133985B (zh) | 一种基于车道线消逝点的车载摄像机自动标定方法 | |
| US10552982B2 (en) | Method for automatically establishing extrinsic parameters of a camera of a vehicle | |
| CN109446892B (zh) | 基于深度神经网络的人眼注意力定位方法及系统 | |
| US20170019657A1 (en) | Stereo auto-calibration from structure-from-motion | |
| CN110031829B (zh) | 一种基于单目视觉的目标精准测距方法 | |
| JP7444605B2 (ja) | 牽引ヒッチの位置を計算する方法 | |
| Chien et al. | Visual odometry driven online calibration for monocular lidar-camera systems | |
| CN106228110A (zh) | 一种基于车载双目相机的障碍物及可行驶区域检测方法 | |
| CN107886477A (zh) | 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法 | |
| US20160251030A1 (en) | Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system | |
| CN108362205A (zh) | 基于条纹投影的空间测距方法 | |
| KR20220113781A (ko) | 환경의 지형을 측정하는 방법 | |
| CN109712198B (zh) | 一种高级驾驶辅助系统的标定方法 | |
| JP2015087149A (ja) | 移動体位置姿勢角推定装置及び移動体位置姿勢角推定方法 | |
| CN109949355A (zh) | 单目视觉行人距离估计中建立半扇形等距线模型的方法 | |
| Suhr et al. | Noise-resilient road surface and free space estimation using dense stereo | |
| CN113474678B (zh) | 用于补偿车辆部件的运动的系统和方法 | |
| CN111402593B (zh) | 一种基于多项式拟合的视频交通参数获取方法 | |
| CN109949356A (zh) | 等距线单目视觉行人距离估计方法 | |
| CN106885523A (zh) | 一种车辆路径跟随误差视觉测量优化方法 | |
| Li et al. | The method of detecting nearest distance between obstacles and vehicle tail based on binocular vision system | |
| CN115731305A (zh) | 单目相机三维车道线感知方法、系统、电子设备 | |
| Dopfer et al. | 3D Active Appearance Model alignment using intensity and range data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 6 / F, Xintu building, 451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province, 310051 Patentee after: Zhejiang Zero run Technology Co.,Ltd. Address before: 6 / F, Xintu building, 451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province, 310051 Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |