CN113362391B - 一种基于机器视觉的虚拟轮转向角测量方法 - Google Patents

一种基于机器视觉的虚拟轮转向角测量方法 Download PDF

Info

Publication number
CN113362391B
CN113362391B CN202110909223.XA CN202110909223A CN113362391B CN 113362391 B CN113362391 B CN 113362391B CN 202110909223 A CN202110909223 A CN 202110909223A CN 113362391 B CN113362391 B CN 113362391B
Authority
CN
China
Prior art keywords
time
vehicle
steering angle
virtual wheel
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110909223.XA
Other languages
English (en)
Other versions
CN113362391A (zh
Inventor
田光兆
郑奎
沈建州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shunwei Intelligent Technology Changzhou Co ltd
Original Assignee
Shunwei Intelligent Technology Changzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shunwei Intelligent Technology Changzhou Co ltd filed Critical Shunwei Intelligent Technology Changzhou Co ltd
Priority to CN202110909223.XA priority Critical patent/CN113362391B/zh
Publication of CN113362391A publication Critical patent/CN113362391A/zh
Application granted granted Critical
Publication of CN113362391B publication Critical patent/CN113362391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

本发明涉及无人驾驶车辆技术领域，尤其是一种基于机器视觉的虚拟轮转向角测量方法，在车辆正前方安装双目相机，调整相机角度，工控机与双目相机相连，使得工控机能够连续采集前方路面照片，然后通过本发明的测量方法，本方法无需依赖角度传感器或卫星定位装置，就能实现虚拟轮转向角的准确测量，方法容易实施，且精度较高。

Description

一种基于机器视觉的虚拟轮转向角测量方法
技术领域
本发明涉及无人驾驶车辆技术领域，尤其是一种基于机器视觉的虚拟轮转向角测量方法。
背景技术
无人驾驶车辆进行自主导航作业时，转向角的测量尤为关键。转向角是PID控制的对象和反馈对象。而目前传统的转向角测量方式都是通过角度传感器、编码器等直接测量车辆左轮或右轮的偏转角度，并以此代替车辆的转向角。但此方法有两个明显弊端：（1）角度传感器的安装固定非常不方便，需要根据实际转向机构定制固定支架。（2）从车辆梯形转向模型上分析，左轮或右轮的偏转角并不是车辆的真正转向角。用左轮或右轮的偏转角代替车辆转向角，必然存在一定的误差。根据转向理论，车辆真正的转向角应该是其等效为二轮车模型后的虚拟轮转向角。
虚拟轮并非真正的实体车轮，是根据模型等效出来的。因此，虚拟轮无法用传感器直接测量。本发明采用机器视觉的方式检测车辆的运动，根据运动效果逆向测算出虚拟轮转向角。本方法无需依赖角度传感器或卫星定位装置，就能实现虚拟轮转向角的准确测量，方法容易实施，且精度较高。
发明内容
本发明要解决的技术问题是：为了解决传统的转向角测量方式都是通过角度传感器、编码器等直接测量车辆左轮或右轮的偏转角度，并以此代替车辆的转向角存在诸多弊端问题，本发明提供了一种基于机器视觉的虚拟轮转向角测量方法，在车辆正前方安装双目相机，调整相机角度，工控机与双目相机相连，使得工控机能够连续采集前方路面照片，然后通过本发明的测量方法，有效解决了现有上述问题。
本发明解决其技术问题所采用的技术方案是：
一种基于机器视觉的虚拟轮转向角测量方法，包括如下步骤：
（1）车辆正前方安装双目相机，调整相机角度，工控机与双目相机相连，使得工控机能够连续采集前方路面照片；
（2）T时刻在位置P 0采集1组路面的双目图像，对双目图像进行特征点检测和立体匹配，匹配成功n 0个特征点，通过视差法计算路面n 0个特征点相对于车辆的三维坐标；
（3）T+1时刻，重复步骤2），得到在位置P 1匹配成功的n 1个特征点，并得到n 1个特征点相对于车辆的三维坐标；
（4）对T时刻的n 0个特征点和T+1时刻的n 1个特征点再次进行立体匹配，匹配成功n个特征点；
（5）分别计算上述n个特征点在T+1时刻相对于T时刻的三维坐标变化，并取算术平均值，得到n个特征点的三维运动增量矩阵S 10；
（6）通过运动的相对性，反推车辆在T+1时刻相对于T时刻的三维运动增量为-S 10；
（7）重复上述2）~6），得到车辆在T+2时刻P 2位置的三维运动增量-S 21、T+3时刻P 3位置的三维运动增量-S 32、T+4时刻P 4位置的三维运动增量-S 43；
（8）以P 0为原点，正东为x正方向，正北为y正方向，高度正方向为垂直于地面向上，建立空间直角坐标系；通过累加的方式，得到P 1的空间坐标为-S 10、P 2的空间坐标为-S 10-S 21、P 3的空间坐标为-S 10-S 21-S 32、P 4的空间坐标为-S 10-S 21-S 32-S 43；
（9）在T+4时刻，将最邻近5个点P 0~P 4的空间坐标投影到xy平面；在xy平面，通过圆对P 0~P 4的投影进行拟合，得出圆的半径R；
（10）车辆在T+4时刻的虚拟轮转向角α 4=±arcsin(L/R)，L表示轮式车辆的前后轴距，若P 0~P 4为顺时针方向，则α 4符号为正，反之为负；
（11）同理，当车辆在T+N时刻行驶到P N 位置时，取最邻近的5个点，即P N-4~P N 的空间坐标进行投影，按照步骤9）~10）的操作，即可得到当前时刻虚拟轮转向角α N ；
（12）由于α N 具有滞后性，需要根据其变化规律进行预测修正，将最邻近时刻的K个数据{α N-(K-1)、α N-(K-2)、α N-(K-3)……、α N-2、α N-1、α N }用3次多项式进行拟合，得到虚拟转向角的变化趋势函数为f(N)。其中，5≤K≤10；
（13）α N 的预测修正量为
Figure 875970DEST_PATH_IMAGE001
，即T+N时刻的虚拟轮转向角为
Figure 519441DEST_PATH_IMAGE002
；
其中，50<n 0<200，50<n 1<200， 5 <n<200。
本发明的有益效果是：本发明提供了一种基于机器视觉的虚拟轮转向角测量方法，在车辆正前方安装双目相机，调整相机角度，工控机与双目相机相连，使得工控机能够连续采集前方路面照片，然后通过本发明的测量方法，本方法无需依赖角度传感器或卫星定位装置，就能实现虚拟轮转向角的准确测量，方法容易实施，且精度较高。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的采样点位置与转向半径关系结构示意图；
图2是本发明的车辆模型结构示意图。
图2中，A.左前轮，B.左后轮，C.右后轮，D.右前轮,O1.虚拟轮中心点，O2.车辆后桥中心点，α.虚拟轮转向角。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
一种基于机器视觉的虚拟轮转向角测量方法，包括如下步骤，
（1）车辆正前方安装双目相机，调整相机角度。相机拍摄方向与地面夹角在30~45度的范围。工控机与双目相机相连，使得工控机能够连续采集前方路面照片。路面应为自然环境，避免工业化几何环境。
（2）T时刻在位置P 0采集1组路面的双目图像，对双目图像进行特征点检测和立体匹配，匹配成功n 0个特征点。通过视差法计算路面n 0个特征点相对于车辆的三维坐标。在实施中，通过调整参数，使得50< n 0<200。车辆坐标原点选在前桥中心正上方。若不在该处，则需要进行坐标变换。
（3）T+1时刻，采用步骤2）相同的方法，得到在位置P 1匹配成功的n 1个特征点，并得到n 1个特征点相对于车辆的三维坐标。通过调整参数，使得50< n 1<200。
（4）对T时刻的n 0个特征点和T+1时刻的n 1个特征点再次进行立体匹配，匹配成功n个特征点。若n<5，说明两个时刻重复观测到的特征点太少，可能导致较大误差。可以提高相机拍摄频率或降低车辆行驶速度进行改善。
（5）分别计算上述n个特征点在T+1时刻相对于T时刻的三维坐标变化，并取算术平均值，得到n个特征点的三维运动增量矩阵S 10。例如，S 10=[0.02 -0.12 -0.05]T表示x方向运动了0.02m，y方向运动了-0.12m，高度方向运动了-0.05m。
（6）通过运动的相对性，反推车辆在T+1时刻相对于T时刻的三维运动增量为-S 10。在极短暂的相邻时刻，路面环境特征点本身不会运动，运动的是车辆本身。因此，车辆的运动增量-S 10=[-0.02 0.12 0.05]T表示车辆x方向运动了-0.02m，y方向运动了0.12m，高度方向运动了0.05m。
（7）重复上述2）~6），得到车辆在T+2时刻P 2位置的三维运动增量-S 21、T+3时刻P 3位置的三维运动增量-S 32、T+4时刻P 4位置的三维运动增量-S 43。
（8）以P 0为原点，正东为x正方向，正北为y正方向，高度正方向为垂直于地面向上，建立空间直角坐标系。通过累加的方式，得到P 1的空间坐标为-S 10、P 2的空间坐标为-S 10-S 21、P 3的空间坐标为-S 10-S 21-S 32、P 4的空间坐标为-S 10-S 21-S 32-S 43.由于采用机器视觉的方式检测到的都是相对前一时刻的运动增量，因此需要进行累加。
（9）在T+4时刻，将最邻近5个点P 0~P 4的空间坐标投影到xy平面。根据转向原理，在极短时间内车辆是以O为圆心R为半径进行圆周运动。在xy平面，通过圆对P 0~P 4的投影进行拟合，得出圆的半径R。
（10）根据车辆模型和检测到的转向半径，逆推车辆的虚拟轮转向角。车辆在T+4时刻的虚拟轮转向角α 4=±arcsin(L/R)，L表示轮式车辆的前后轴距。若P 0~P 4为顺时针方向，则α 4符号为正，反之为负。
（11）同理，当车辆在T+N时刻行驶到P N 位置时，取最邻近的5个点，即P N-4~P N 的空间坐标进行投影，按照步骤9~10的操作，即可得到当前时刻虚拟轮转向角α N 。
（12）由于是根据车辆的运动效果反推其转向角，因此α N 具有滞后性，需要根据其变化规律进行预测修正。将最邻近时刻的5个数据{α N-4、α N-3、α N-2、α N-1、α N }用3次多项式进行拟合，得到虚拟转向角的变化趋势函数为f(N)。
（13）根据大量试验结果，得出α N 的预测修正量近似为
Figure DEST_PATH_IMAGE003
。由于该 值采用求导的方法得到，因此具有方向和大小的预测功能。那么T+N时刻的虚拟轮转向角最 终为
Figure 854607DEST_PATH_IMAGE004
。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (1)

1.一种基于机器视觉的虚拟轮转向角测量方法，其特征在于：包括如下步骤，
（1）车辆正前方安装双目相机，调整相机角度，工控机与双目相机相连，使得工控机能够连续采集前方路面照片；
（2）T时刻在位置P 0采集1组路面的双目图像，对双目图像进行特征点检测和立体匹配，匹配成功n 0个特征点，通过视差法计算路面n 0个特征点相对于车辆的三维坐标；
（3）T+1时刻，重复步骤2），得到在位置P 1匹配成功的n 1个特征点，并得到n 1个特征点相对于车辆的三维坐标；
（4）对T时刻的n 0个特征点和T+1时刻的n 1个特征点再次进行立体匹配，匹配成功n个特征点；
（5）分别计算上述n个特征点在T+1时刻相对于T时刻的三维坐标变化，并取算术平均值，得到n个特征点的三维运动增量矩阵S 10；
（6）通过运动的相对性，反推车辆在T+1时刻相对于T时刻的三维运动增量为-S 10；
（7）重复上述2）~6），得到车辆在T+2时刻P 2位置的三维运动增量-S 21、T+3时刻P 3位置的三维运动增量-S 32、T+4时刻P 4位置的三维运动增量-S 43；
（8）以P 0为原点，正东为x正方向，正北为y正方向，高度正方向为垂直于地面向上，建立空间直角坐标系；通过累加的方式，得到P 1的空间坐标为-S 10、P 2的空间坐标为-S 10-S 21、P 3的空间坐标为-S 10-S 21-S 32、P 4的空间坐标为-S 10-S 21-S 32-S 43；
（9）在T+4时刻，将最邻近5个点P 0~P 4的空间坐标投影到xy平面；在xy平面，通过圆对P 0~P 4的投影进行拟合，得出圆的半径R；
（10）车辆在T+4时刻的虚拟轮转向角α 4=±arcsin(L/R)，L表示轮式车辆的前后轴距，若P 0~P 4为顺时针方向，则α 4符号为正，反之为负；
（11）同理，当车辆在T+N时刻行驶到P N 位置时，取最邻近的5个点，即P N-4~P N 的空间坐标进行投影，按照步骤9）~10）的操作，即可得到当前时刻虚拟轮转向角α N ；
（12）由于α N 具有滞后性，需要根据其变化规律进行预测修正，将最邻近时刻的K个数据{α N-(K-1)、α N-(K-2)、α N-(K-3)……α N-2、α N-1、α N }用3次多项式进行拟合，得到虚拟转向角的变化趋势函数为f(N)， 其中，5≤K≤10；
（13）α N 的预测修正量为
Figure DEST_PATH_IMAGE001
，即T+N时刻的虚拟轮转向角为
Figure 400590DEST_PATH_IMAGE003
；
其中，50<n 0<200，50<n 1<200， 5 <n<200。
CN202110909223.XA 2021-08-09 2021-08-09 一种基于机器视觉的虚拟轮转向角测量方法 Active CN113362391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110909223.XA CN113362391B (zh) 2021-08-09 2021-08-09 一种基于机器视觉的虚拟轮转向角测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110909223.XA CN113362391B (zh) 2021-08-09 2021-08-09 一种基于机器视觉的虚拟轮转向角测量方法

Publications (2)

Publication Number Publication Date
CN113362391A CN113362391A (zh) 2021-09-07
CN113362391B true CN113362391B (zh) 2021-11-02

Family

ID=77540680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110909223.XA Active CN113362391B (zh) 2021-08-09 2021-08-09 一种基于机器视觉的虚拟轮转向角测量方法

Country Status (1)

Country Link
CN (1) CN113362391B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114543733A (zh) * 2022-01-19 2022-05-27 江苏大学 一种轮式车辆主动轮转角测量装置及控制方法
DE102022205456A1 (de) 2022-05-31 2023-03-02 Zf Friedrichshafen Ag Virtueller Lenksensor für ein Fahrrad

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102343912A (zh) * 2011-06-20 2012-02-08 中南大学 一种汽车行驶过程中的状态估计方法
CN107208997A (zh) * 2015-01-07 2017-09-26 实耐宝公司 滚动中的虚拟轮轴校准
CN112793579A (zh) * 2021-04-12 2021-05-14 顺为智能科技(常州)有限公司 一种轮式车辆虚拟轮转向角测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110654457A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆以及车辆的转向控制系统和方法、装置
CN111752150B (zh) * 2020-06-12 2021-07-16 北京理工大学 一种轮足机器人四轮协同控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102343912A (zh) * 2011-06-20 2012-02-08 中南大学 一种汽车行驶过程中的状态估计方法
CN107208997A (zh) * 2015-01-07 2017-09-26 实耐宝公司 滚动中的虚拟轮轴校准
CN112793579A (zh) * 2021-04-12 2021-05-14 顺为智能科技(常州)有限公司 一种轮式车辆虚拟轮转向角测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Vehicle Yaw Rate Estimation Using a Virtual Sensor;Mumin Tolga Emirler et al.;《International Journal of Vehicular Technology》;20130430;第1-13页 *
拖拉机自动驾驶转向轮角检测方法;张智刚 等;《农业机械学报》;20190331;第50卷(第3期);第352-357页 *
视觉导引的物料搬运AGV关键技术研究;娄会东;《中国博士学位论文全文数据库 信息科技辑》;20170215;第2017年卷(第2期);第I138-159页 *

Also Published As

Publication number Publication date
CN113362391A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113362391B (zh) 一种基于机器视觉的虚拟轮转向角测量方法
CN109715466B (zh) 用于车辆的传感器平台的装置和方法
Tournier et al. Estimation and control of a quadrotor vehicle using monocular vision and moire patterns
CN107941217B (zh) 一种机器人定位方法、电子设备、存储介质、装置
CN111183370B (zh) 车辆传感器的校准和定位
CN105172793B (zh) 自动驾驶汽车的位姿估算方法
CN106123890A (zh) 一种多传感器数据融合的机器人定位方法
CN110001840B (zh) 一种基于视觉传感器的多种路况下的两轮自平衡车运动控制方法
Xiong et al. G-VIDO: A vehicle dynamics and intermittent GNSS-aided visual-inertial state estimator for autonomous driving
CN103761737A (zh) 基于稠密光流的机器人运动估计方法
CN105606127A (zh) 一种双目立体相机与惯性测量单元相对姿态标定方法
CN112683281B (zh) 一种基于车辆运动学的自动驾驶车辆联合定位方法
CN102016495A (zh) 用于进行底盘测量的方法和装置
CN110471289B (zh) 一种基于视觉导航移动设备的自适应路径跟踪方法及系统
JPH10206175A (ja) 道路曲率推定装置
CN112819711B (zh) 一种基于单目视觉的利用道路车道线的车辆反向定位方法
CN111158379B (zh) 一种方向盘零偏自学习的无人车轨迹跟踪方法
CN102980555B (zh) 一种光学成像式轮式移动机器人方位的检测方法及其装置
CN112793579B (zh) 一种轮式车辆虚拟轮转向角测量方法
KR20180095225A (ko) 차량 및 차량의 제어 방법
CN108307174A (zh) 一种深度图像传感器精度提升方法和系统
CN112345798B (zh) 位置姿势推定装置以及位置姿势推定方法
CN112697153A (zh) 自主移动设备的定位方法、电子设备及存储介质
Eising et al. 2.5 D vehicle odometry estimation
Su et al. GR-SLAM: Vision-based sensor fusion SLAM for ground robots on complex terrain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant