CN202608712U - 基于立体视觉的主动光栅投射传感器系统 - Google Patents

基于立体视觉的主动光栅投射传感器系统 Download PDF

Info

Publication number
CN202608712U
CN202608712U CN 201120537907 CN201120537907U CN202608712U CN 202608712 U CN202608712 U CN 202608712U CN 201120537907 CN201120537907 CN 201120537907 CN 201120537907 U CN201120537907 U CN 201120537907U CN 202608712 U CN202608712 U CN 202608712U
Authority
CN
China
Prior art keywords
grating
projection
testee
ccd
mounted computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201120537907
Other languages
English (en)
Inventor
周兴林
陈亮
邹兰林
吕悦晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN 201120537907 priority Critical patent/CN202608712U/zh
Application granted granted Critical
Publication of CN202608712U publication Critical patent/CN202608712U/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本实用新型涉及一种主动光栅投射传感器系统，包括有投影单元、采集单元和车载计算机单元，所述的投影单元包括有光源、光栅、投影物镜和聚光镜，其中，光源的前方设置有光栅，光栅的前后分别设置有投影物镜和聚光镜；采集单元包括有两个CCD，其中CCD位于投影单元的两侧且对称设置，通过采集单元获得被测物体的图像信息，所述的采集单元与车载计算机单元相联，本实用新型相对于现有技术的有益效果是：能够快速精度检测到障碍物的方位和大小，可以给车辆准确的避障信息。提高了目标识别的效率，并为最终系统的实时性提供支持，系统更加紧凑、经济性更好，控制较为方便；匹配精度大大提高，从而大大提高对障碍物测量精度。

Description

基于立体视觉的主动光栅投射传感器系统
技术领域
本实用新型涉及一种基于立体视觉和光栅投射技术融合的主动光栅投射传感器系统。
背景技术
公路交通事故已成为全世界广为关注的严重社会问题。中国拥有全世界1.9%的汽车，引发的交通死亡事故却占了全球的15%，成为交通事故最多发国家，随着汽车保有量的不断上升，交通安全问题日益成为一个突出的问题。
目前国内大多数汽车要保持安全行驶状态，仅在车尾部安装倒车雷达，或者在车内安装安全气囊，即在汽车发生事故时保护驾驶人员。这种系统在事故发生时存在诸多缺点。一、系统发生作用时，必然对驾驶人员会造成一定伤害；二、事故必然会造成一定的经济损失，轻则车辆损坏，重则车毁人亡；三、该系统一旦发生作用就完全报废，不能再次使用。
在国内外ITS以及Ⅳ研究领域中．关于车辆行驶路径上的障碍物检测研究，提出了许多算法和实施手段。如双目CCD、彩色CCD的计算机视觉方法和基于激光雷达的检测等方法。然而任何一种有效的障碍物检测系统不能只依靠单一传感器进行环境感知，尤其是在野外环境下。地形复杂，高低不平，由此引起车体行驶时的剧烈颠簸，会出现比较严重的障碍物漏检和虚报现象；如遇到恶劣的天气状况，单一传感器一旦失灵，则整个检测系统也就瘫痪，从而造成安全隐患和危险。因此，利用多种传感器信息融合技术检测智能车辆前方障碍物，具有获得信息量丰富、检测鲁棒性及正确率高、应用范围广等诸多优点。
发明内容
本实用新型所要解决的技术问题是针对目前车辆运行中辅助监测的不足，提出一种基于立体视觉的主动光栅投射传感器系统，将其应用于车辆障碍物自动识别检测和预警系统，通过直接报警或者与车辆制动装置连动，大幅度降低或减少交通事故发生的几率。
本实用新型解决上述技术问题所采用的技术方案是：基于立体视觉的主动光栅投射传感器系统，其特征在于包括有投影单元、采集单元和车载计算机单元，所述的投影单元包括有光源、光栅、投影物镜和聚光镜，其中，光源的前方设置有光栅，光栅的前后分别设置有投影物镜和聚光镜；采集单元包括有两个CCD，其中CCD位于投影单元的两侧且对称设置，通过采集单元获得被测物体的图像信息，所述的采集单元与车载计算机单元相联，车载计算机单元处理获得的被测物体的图像信息将其转化为被测物体的3D信息，判断被测物体是否对车辆行驶造成危害，若会产生危害则发出警报，若驾驶员未做出规避操作，将授权车辆制动系统采取制动动作。
根据车型的不同，所采用的CCD与投影单元的夹角是可调的。而且，CCD所在的平面与投影单元所在平面一般具有一定的高度差。
一种主动式智能车用障碍物检测方法，其特征在于包括有以下步骤：
1）先对图像坐标系、车体坐标系和世界坐标系进行定义；
2）通过投影单元和采集单元找到被测物体表面任意一点                                                
Figure 953429DEST_PATH_IMAGE001
在CCD中的匹配位置，从而获得被测物体的图像信息；
3）所述的采集单元与车载计算机单元相联，车载计算机单元处理获得的被测物体的图像信息将其转化为被测物体的3D信息；
4）由车载计算机处理步骤3）中获得的被测物体的3D信息，判断物体是否对车辆行驶造成危害，若会产生危害则发出警报，若驾驶员未做出规避操作，将授权车辆制动系统采取制动动作。
基于光栅投影的编码原理，如图1 所示：基于立体视觉的主动光栅投射传感器系统的投影单元可以将一组光栅的图案投射到被测物体上，并将被测物体的被测形面调制成编码图案。编码图案经车载计算机单元可以显示出的
Figure 781762DEST_PATH_IMAGE003
次编码图案，形成空间
Figure 487550DEST_PATH_IMAGE003
位二进制编码，则空间上的曲线可对应唯一的
Figure 635766DEST_PATH_IMAGE003
位二进制编码。例如，空间直线
Figure 364687DEST_PATH_IMAGE004
的编码为
Figure 505819DEST_PATH_IMAGE005
（直线
Figure 315381DEST_PATH_IMAGE004
 在黑图案区为编码1，在白图案区为编码0）。CCD可根据这一编码来确定匹配的光栅曲线。若被测物体的表面任意一点
Figure 149344DEST_PATH_IMAGE001
在CCD中的投影点位于某一经过编码的光栅曲线上，则在其中一侧的CCD中的匹配点必在同一编码的光栅曲线上，于是二维匹配问题可以降为一维匹配，即所需找到的匹配点一定在该经编码的光栅曲线上。
在现有的立体视觉成像系统中，存在着一个非常重要的约束条件，即外极约束。如图4所示设、
Figure 795537DEST_PATH_IMAGE007
分别为左右CCD的透视中心，它们的连线分别与左右CCD平面相交于外极中心
Figure 210338DEST_PATH_IMAGE008
、
Figure 464471DEST_PATH_IMAGE009
点；被测物体的空间点
Figure 902406DEST_PATH_IMAGE001
与点、组成外极平面
Figure 846725DEST_PATH_IMAGE010
，与左右CCD摄像机平面相交于外极线
Figure 771956DEST_PATH_IMAGE011
、
Figure 307848DEST_PATH_IMAGE012
。由于这个约束，被测物体的空间点
Figure 431662DEST_PATH_IMAGE001
的匹配位置必定在外极线
Figure 529062DEST_PATH_IMAGE011
、
Figure 941589DEST_PATH_IMAGE012
上。
若已知被测物体的空间点
Figure 31904DEST_PATH_IMAGE001
在左CCD摄像机的投射像点
Figure 525072DEST_PATH_IMAGE013
坐标，根据以上分析，只需找到被测物体的空间点
Figure 777061DEST_PATH_IMAGE001
在右CCD摄像机中的外极线斜率，配合经过编码的光栅曲线即可找到被测物体的空间点
Figure 489934DEST_PATH_IMAGE001
在右CCD摄像机中的投射像点
Figure 56044DEST_PATH_IMAGE014
的坐标。
本实用新型相对于现有技术的有益效果是：
本实用新型提出一种新的智能车用障碍物检测技术，融合立体视觉与光栅投射传感技术，能够快速精度检测到障碍物的方位和大小，可以给车辆准确的避障信息。提高了目标识别的效率，并为最终系统的实时性提供支持，由于使用多传感器相结合的方法使得检测效果更加稳定精确和更好的鲁棒性；使用光栅视觉投射传感器与双CCD摄像机结合的设计，使得系统更加紧凑、经济性更好，控制较为方便；本实用新型使得障碍物图像匹配点的定位和障碍物图像的匹配精度大大提高，从而大大提高对障碍物测量精度。
附图说明
图1 为本实用新型的整体结构示意图；
图2为图1的光栅编码原理图；其中( a ) 第一次编码示意图； ( b )第二次编码示意图； ( c ) 第三次编码示意图； ( d )第
Figure 420029DEST_PATH_IMAGE003
次编码示意图；
图3 为本实用新型的系统流程图；
图4为本实用新型的图像坐标系、车体坐标系和世界坐标系示意图；
图5为本实用新型的求取外极约束条件示意图。
具体实施方式
基于立体视觉的主动光栅投射传感器系统，其特征在于包括有投影单元、采集单元和车载计算机单元，所述的投影单元包括有光源5、光栅1、投影物镜3和聚光镜4，其中，光源的前方设置有光栅，光栅的前后分别设置有投影物镜和聚光镜；采集单元包括有两个CCD2，其中CCD位于投影单元的两侧且对称设置，通过采集单元获得被测物体的图像信息，所述的采集单元与车载计算机单元相联，车载计算机单元处理获得的被测物体的图像信息将其转化为被测物体的3D信息，判断被测物体是否对车辆行驶造成危害，若会产生危害则发出警报，若驾驶员未做出规避操作，将授权车辆制动系统采取制动动作。
根据车型的不同，所采用的CCD与投影单元的夹角是可调的。而且，CCD所在的平面与投影单元所在平面一般具有一定的高度差。
本实用新型提出了一种基于立体视觉和光栅投射技术融合的主动式障碍物检测方法，其首先对所设计的基于立体视觉的主动光栅投射传感器系统进行3D标定，以建立系统测量数据与世界坐标的关系；接着基于光栅的编码原理，如图1-2所示，投影单元可以将一组光栅的图案投射到被测物体上，并将被测物体的被测形面调制成编码图案；最后车载计算机根据检测所获得的图案采取直接报警或者与车辆制动装置连动做出规避动作。
本实用新型的具体的步骤如下(如图3)：
1) 先定义如下图像坐标系、车体坐标系和世界坐标系：
1.1) 图像坐标系(
Figure 92188DEST_PATH_IMAGE015
) 
描述被测物体的表面任意一点
Figure 541624DEST_PATH_IMAGE001
在左、右CCD获得的图像上的投影坐标，其向量表示为
Figure 911425DEST_PATH_IMAGE016
和
Figure 615070DEST_PATH_IMAGE017
；
1.2) 车体坐标系(
Figure 474442DEST_PATH_IMAGE018
) 
原点为车体的几何中心，定义
Figure 418300DEST_PATH_IMAGE019
为车辆前进方向、
Figure 591792DEST_PATH_IMAGE020
为横向方向、
Figure 664790DEST_PATH_IMAGE021
为高度方向，在基于立体视觉的主动光栅投射传感器系统的标定过程中，根据摄像机成像的线性理论，通过测量3D标定板上参考点在车体坐标系中的坐标，计算出以下左右(上角L，R分别代表左，右)相机的投影矩阵：
    (1)
Figure 604245DEST_PATH_IMAGE023
    (2)
由此可推导得被测物体的表面任意一点
Figure 315849DEST_PATH_IMAGE001
在车体坐标系下的齐次坐标
Figure 492621DEST_PATH_IMAGE024
与点
Figure 693795DEST_PATH_IMAGE001
的左右图像像素坐标和
Figure 339988DEST_PATH_IMAGE017
的关系式为
   (3)
然后求出各组匹配点对应的3D坐标；
1.3) 世界坐标系(
Figure 8922DEST_PATH_IMAGE026
) 
原点为车体在初始点时的几何中心；轴过原点平行于地面，指向车体的初始前进方向；
Figure 70736DEST_PATH_IMAGE028
轴平行于地面，且垂直于车体的初始前进方向；
Figure 222100DEST_PATH_IMAGE029
轴垂直于地面。定义向量为车体坐标系原点在世界坐标系下的坐标；
考虑车辆在行驶过程中地形及车辆动力学的影响，需要实时获取车体的姿态，用来计算车体坐标系与世界坐标系的转换矩阵，从而将基于立体视觉的主动光栅投射传感器系统的输出转化到世界坐标系中，以便环境地形地貌的识别。车体坐标系到世界坐标系的转换可描述为：
Figure 57518DEST_PATH_IMAGE031
  (4)
若用
Figure 727665DEST_PATH_IMAGE032
、
Figure 484268DEST_PATH_IMAGE033
和
Figure 135830DEST_PATH_IMAGE034
分别表示车体的偏航角、仰俯角和侧倾角（图4所示），得到车体坐标系到世界坐标系的旋转变换矩阵：
Figure 492730DEST_PATH_IMAGE035
 (5)
2) 基于光栅投影技术找到空间点
Figure 950257DEST_PATH_IMAGE001
在左右摄像机中的匹配位置
基于光栅投影的编码原理，如图2所示：基于立体视觉的主动光栅投射传感器系统的投影单元可以将一组光栅的图案投射到被测物体上，并将被测物体的被测形面调制成编码图案。编码图案经车载计算机单元可以显示出
Figure 312099DEST_PATH_IMAGE002
的
Figure 462458DEST_PATH_IMAGE003
次编码图案，形成空间
Figure 41075DEST_PATH_IMAGE003
位二进制编码，则空间上的曲线可对应唯一的
Figure 302292DEST_PATH_IMAGE003
位二进制编码。例如，空间直线
Figure 705592DEST_PATH_IMAGE004
的编码为
Figure 777584DEST_PATH_IMAGE005
（直线
Figure 594230DEST_PATH_IMAGE004
 在黑图案区为编码1，在白图案区为编码0）。CCD可根据这一编码来确定匹配的光栅曲线。若被测物体的表面任意一点
Figure 331242DEST_PATH_IMAGE001
在CCD中的投影点位于某一经过编码的光栅曲线上，则在其中一侧的CCD中的匹配点必在同一编码的光栅曲线上，于是二维匹配问题可以降为一维匹配，即所需找到的匹配点一定在该经编码的光栅曲线上；
在现有的立体视觉成像系统中，存在着一个非常重要的约束条件，即外极约束。如图4所示设
Figure 166212DEST_PATH_IMAGE006
、
Figure 658373DEST_PATH_IMAGE007
分别为左右CCD的透视中心，它们的连线分别与左右CCD平面相交于外极中心
Figure 447469DEST_PATH_IMAGE008
、
Figure 988172DEST_PATH_IMAGE009
点；被测物体的空间点
Figure 693959DEST_PATH_IMAGE001
与点、
Figure 131949DEST_PATH_IMAGE007
组成外极平面
Figure 210763DEST_PATH_IMAGE010
，与左右CCD摄像机平面相交于外极线
Figure 521790DEST_PATH_IMAGE011
、
Figure 90175DEST_PATH_IMAGE012
。由于这个约束，被测物体的空间点的匹配位置必定在外极线
Figure 500482DEST_PATH_IMAGE011
、
Figure 915283DEST_PATH_IMAGE012
上；
若已知被测物体的空间点
Figure 670880DEST_PATH_IMAGE001
在左CCD摄像机的投射像点坐标，根据以上分析，只需找到被测物体的空间点
Figure 591749DEST_PATH_IMAGE001
在右CCD摄像机中的外极线斜率，配合经过编码的光栅曲线即可找到被测物体的空间点
Figure 375903DEST_PATH_IMAGE001
在右CCD摄像机中的投射像点
Figure 286090DEST_PATH_IMAGE014
的坐标；
3）所述的采集单元与车载计算机单元相联，车载计算机单元处理获得的被测物体的图像信息将其转化为被测物体的3D信息，采用最小二乘法对被测物体的3D信息进行空间平面拟合，最终得到被测物体的3D图形；
4）由车载计算机处理步骤3）中获得的被测物体的3D信息，判断物体是否对车辆行驶造成危害，若会产生危害则发出警报，若驾驶员未做出规避操作，将授权车辆制动系统采取制动动作；若未发现造成危险的物体，则继续步骤1）-4）。

Claims (1)

1.基于立体视觉的主动光栅投射传感器系统，其特征在于包括有投影单元、采集单元和车载计算机单元，所述的投影单元包括有光源（5）、光栅（1）、投影物镜（3）和聚光镜（4），其中，光源的前方设置有光栅，光栅的前后分别设置有投影物镜和聚光镜；采集单元包括有两个CCD（2），其中CCD位于投影单元的两侧且对称设置，通过采集单元获得被测物体的图像信息，所述的采集单元与车载计算机单元相联，车载计算机单元处理获得的被测物体的图像信息将其转化为被测物体的3D信息，判断被测物体是否对车辆行驶造成危害。
CN 201120537907 2011-12-21 2011-12-21 基于立体视觉的主动光栅投射传感器系统 Expired - Fee Related CN202608712U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201120537907 CN202608712U (zh) 2011-12-21 2011-12-21 基于立体视觉的主动光栅投射传感器系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201120537907 CN202608712U (zh) 2011-12-21 2011-12-21 基于立体视觉的主动光栅投射传感器系统

Publications (1)

Publication Number Publication Date
CN202608712U true CN202608712U (zh) 2012-12-19

Family

ID=47342437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201120537907 Expired - Fee Related CN202608712U (zh) 2011-12-21 2011-12-21 基于立体视觉的主动光栅投射传感器系统

Country Status (1)

Country Link
CN (1) CN202608712U (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104802710A (zh) * 2015-04-17 2015-07-29 浙江大学 一种智能汽车倒车辅助系统及辅助方法
CN106325274A (zh) * 2016-08-29 2017-01-11 无锡卓信信息科技股份有限公司 基于光栅的无人驾驶汽车避障系统
CN106563233A (zh) * 2016-10-27 2017-04-19 江苏金米智能科技有限责任公司 基于光栅的智能消防车
CN106627463A (zh) * 2016-12-22 2017-05-10 深圳市招科智控科技有限公司 一种无人驾驶公交车的视觉感知系统及工作方法
CN106647740A (zh) * 2016-11-15 2017-05-10 江苏智石科技有限公司 一种基于光栅的智能料盒运输车
CN109725640A (zh) * 2018-12-18 2019-05-07 天津理工大学 一种基于立体视觉与激光光栅的自动驾驶中三维道路重建方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104802710A (zh) * 2015-04-17 2015-07-29 浙江大学 一种智能汽车倒车辅助系统及辅助方法
CN106325274A (zh) * 2016-08-29 2017-01-11 无锡卓信信息科技股份有限公司 基于光栅的无人驾驶汽车避障系统
CN106563233A (zh) * 2016-10-27 2017-04-19 江苏金米智能科技有限责任公司 基于光栅的智能消防车
CN106647740A (zh) * 2016-11-15 2017-05-10 江苏智石科技有限公司 一种基于光栅的智能料盒运输车
CN106627463A (zh) * 2016-12-22 2017-05-10 深圳市招科智控科技有限公司 一种无人驾驶公交车的视觉感知系统及工作方法
CN109725640A (zh) * 2018-12-18 2019-05-07 天津理工大学 一种基于立体视觉与激光光栅的自动驾驶中三维道路重建方法

Similar Documents

Publication Publication Date Title
CN102538766A (zh) 一种主动式智能车用障碍物检测方法
CN202608712U (zh) 基于立体视觉的主动光栅投射传感器系统
EP3306267B1 (en) Arithmetic logic device, camera device, vehicle and calibration method
CN101763640B (zh) 车载多目摄像机环视系统的在线标定处理方法
CN108444390B (zh) 一种无人驾驶汽车障碍物识别方法及装置
CN101750049B (zh) 基于道路和车辆自身信息的单目视觉车距测量方法
CN106324618B (zh) 实现基于激光雷达检测车道线系统的方法
CN106650708A (zh) 一种自动驾驶障碍物视觉检测方法与系统
KR20180117882A (ko) 자동차 주변의 장애물 검출 방법
Li et al. Road pothole detection system based on stereo vision
CN202071799U (zh) 智能化汽车安全警示装置
CN102685516A (zh) 立体视觉主动安全辅助驾驶方法
JP2018092501A (ja) 車載用画像処理装置
US20190163988A1 (en) Periphery monitoring device
CN108528337B (zh) 一种基于视频投影的内轮差智能预警系统及预警方法
CN110126824A (zh) 一种集成双目摄像头和毫米波雷达的商用车aebs系统
CN103593836A (zh) 一种摄像头参数计算方法及相机确定车体姿态的方法
CN104204726A (zh) 移动物体位置姿态估计装置和移动物体位置姿态估计方法
CN105599765A (zh) 一种车道偏离的判断和预警方法
CN109827516B (zh) 一种通过车轮来测量距离的方法
JP2008051688A (ja) 車両自動計測装置、車両自動計測システム及び車両自動計測方法
CN110816527A (zh) 一种车载夜视安全方法和系统
CN104115203A (zh) 立体物检测装置
CN113085838A (zh) 一种基于多传感器融合的车位检测方法和系统
CN109895697B (zh) 一种行车辅助提示系统及方法

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121219

Termination date: 20131221