CN109919139B - 基于双目立体视觉的路面状况快速检测方法 - Google Patents
基于双目立体视觉的路面状况快速检测方法 Download PDFInfo
- Publication number
- CN109919139B CN109919139B CN201910256241.5A CN201910256241A CN109919139B CN 109919139 B CN109919139 B CN 109919139B CN 201910256241 A CN201910256241 A CN 201910256241A CN 109919139 B CN109919139 B CN 109919139B
- Authority
- CN
- China
- Prior art keywords
- binocular stereo
- road surface
- mobile robot
- stereo camera
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
公开一种基于双目立体视觉的路面状况快速检测方法，包括设置在所述的移动机器人前部的双目立体摄像机，焦距为f，基线宽度为b，高度为h，所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行，还包括与所述的双目立体摄像机连接的处理器，所述的处理器设置路面状况快速检测方法，包括以下步骤：获取深度信息z=f1(x,y)；计算投影角度θ=arctan(y/f)；成像点(x,y)对应的平坦地面点A的深度为zA=h·f/y；计算不平整度f2(x,y)=(z‑zA)·tanθ，二值化f3(x,y)；将二值图f3(x,y)进行腐蚀和膨胀操作，得到优化;利用矩阵的hadamard积，去除f2(x,y)中的杂散数据；根据行进方向，计算不平整路面的面积s和平均不平整度。
Description
技术领域
本发明涉及基于双目立体视觉的路面状况快速检测方法，属于移动机器人的视觉检测领域。
背景技术
双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别，从而获得明显的深度感，建立机器人与物体之间的位置关系。双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于非接触检测。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。
双目立体视觉应用于移动机器人，主要解决障碍物检测与导航，以及基于深度信息的环境建模与导航，并且取得了成功。地面情况，基于平整地面的假设，没有引起重视。但是不管是室外移动机器人还是室内移动机器人，大部分是以三轮或者四轮为驱动结构进行运动的，遇到地面不平整则会导致事故发生。
发明内容
针对上述问题，本发明提供移动机器人前方路况预测方法，帮助移动机器人检测前方地面的平整状况。
本发明解决其技术问题所采用的技术方案是：
基于双目立体视觉的路面状况快速检测方法，包括设置在所述的移动机器人前部的双目立体摄像机，焦距为f，基线宽度为b，高度为h，所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行，还包括与所述的双目立体摄像机连接的处理器，所述的处理器设置路面状况快速检测方法，包括以下步骤：
(1) 所述的处理器获取所述的双目立体摄像机的图像对fL和fR，形成深度信息z=f1 (x,y) =f*b/d，其中d是根据图像对fL和fR计算得到的位置(x,y)的视差，x，y为像平面坐标，z为对应的深度，x∈(1,M)，y∈(1,N)，M为x方向上的像素个数，N为y方向上的像素个数；
(2) 对于成像点(x,y)，深度为z=f1(x,y)，投影角度θ=arctan(y/f)；则对于平坦地面，成像点(x,y)对应的地面点A的深度为zA=h·f/y；
(3) 如果实际深度z>zA，则前方路面该位置为下陷，如果实际深度z<zA，则前方路面该位置为突起，如果实际深度z=zA，则前方路面该位置平整；计算不平整度f2(x,y)=(z-zA)·tanθ，如果| f2(x,y)|>T，则记为f3(x,y)=1，否则f3(x,y)=0，其中阈值T为所述的移动机器人能够跨越的最大不平整度；
(4) 将二值图f3(x,y)进行先腐蚀后膨胀的操作，去除二值图f3(x,y)中多余的杂质点；在此基础上再进行先膨胀后腐蚀的操作，填充二值图f3(x,y)中细小的空洞，最终得到优化后的二值图f3(x,y); 计算二值图f3(x,y)与f2(x,y)的hadamard积，去除f2(x,y)中的杂散数据，即f2(x,y)=f3(x,y)*f2(x,y)；
(5) 所述的移动机器人根据行进方向，在f3(x,y)上扫描路面情况，不平整路面面积s=∑f3(x,y)·z·spix/f，平均不平整度为∑f2(x,y)/∑f3(x,y)，其中x的取值范围根据所述的移动机器人行进方向确定，y∈(N/2,N)，spix为传感器像素尺寸。
本发明的有益效果主要表现在：1、可提前预测前方地面的平整状态，为移动机器人运动与导航控制提供环境信息；2、运算速度快，最终形成细致的地面不平整度描述文件。
附图说明
图1是移动机器人外形示意图；
图2 是不平整度计算示意图。
具体实施方式
下面结合附图对本发明作进一步描述：
参照图1－2，移动机器人前方路况预测方法，包括设置在所述的移动机器人前部的双目立体摄像机，焦距为f，基线宽度为b，高度为h，所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行。双目立体摄像机为所述的移动机器人的基本配置，可以输出单目的普通图像，同时可以提供深度信息，进行避障导航。
还包括与所述的双目立体摄像机连接的处理器，所述的处理器设置路面状况快速检测方法，包括以下步骤：
(1) 所述的处理器获取所述的双目立体摄像机的图像对fL和fR，形成深度信息z=f1 (x,y)，x，y为像平面坐标，z为对应的深度，x∈(1,M)，y∈(1,N)，M为x方向上的像素个数，N为y方向上的像素个数；
所述的处理器是根据视差原理来计算深度信息，利用所述的双目立体摄像机的参数，可得z=f1 (x,y)=
，其中d是根据图像对fL和fR计算得到的位置(x,y)的视差。
(2) 对于成像点(x,y)，深度为z=f1(x,y)，投影角度θ=arctan(y/f)；则对于平坦地面，成像点(x,y)对应的地面点A的深度为zA=h·f/y；
如图2，根据根据相似三角形的比例关系，计算出zA。
(3) 如果实际深度z>zA，则前方路面该位置为下陷，如果实际深度z<zA，则前方路面该位置为突起，如果实际深度z=zA，则前方路面该位置平整；计算不平整度f2(x,y)=(z-zA)·tanθ，如果| f2(x,y)|>T，则记为f3(x,y)=1，否则f3(x,y)=0，其中阈值T为所述的移动机器人能够跨越的最大不平整度；
f2(x,y)是按照深度图f1(x,y)的位置关系进行存储的地面不平整度图，为了滤除计算噪声的影响，用阈值T将f2 (x,y)进行二值化处理，得到f3 (x,y)。
(4) 将二值图f3(x,y)进行先腐蚀后膨胀的操作，去除二值图f3(x,y)中多余的杂质点；在此基础上再进行先膨胀后腐蚀的操作，填充二值图f3(x,y)中细小的空洞，最终得到优化后的二值图f3(x,y); 计算二值图f3(x,y)与f2(x,y)的hadamard积，去除f2(x,y)中的杂散数据，即f2(x,y)=f3(x,y)*f2(x,y)；
将二值图f3(x,y)进行优化处理，去除杂散点和漏检点，然后通过矩阵运算hadamard积去优化f2(x,y)。
(5) 所述的移动机器人根据行进方向，在f3(x,y)上扫描路面情况，不平整路面面积s=∑f3(x,y)·z·spix/f，平均不平整度为∑f2(x,y)/∑f3(x,y)，其中x的取值范围根据所述的移动机器人行进方向确定，y∈(N/2,N)，spix为传感器像素尺寸。
最后，根据优化后的不平整度图f2(x,y)和f3(x,y)可以计算突起或者凹陷位置的面积和深度，其中z·spix/f为单个传感器像素对应的成像区域尺寸；x的取值范围根据所述的移动机器人行进方向确定，比如前进、向左或者向右，取1~M不同的区间；y∈(N/2,N)，主要考虑到所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行的前提下，地面的成像区域在f1 (x,y)的上半区域。
Claims (1)
1.基于双目立体视觉的路面状况快速检测方法，包括设置在移动机器人前部的双目立体摄像机，焦距为f，基线宽度为b，高度为h，所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行，其特征在于：还包括与所述的双目立体摄像机连接的处理器，所述的处理器设置路面状况快速检测方法，包括以下步骤：
所述的处理器获取所述的双目立体摄像机的图像对fL和fR，形成深度信息z=f1 (x,y)=f*b/d，其中d是根据图像对fL和fR计算得到的位置(x,y)的视差，x，y为像平面坐标，z为对应的深度，x∈(1,M)，y∈(1,N)，M为x方向上的像素个数，N为y方向上的像素个数；
对于成像点(x,y)，深度为z=f1(x,y)，投影角度θ=arctan(y/f)；则对于平坦地面，成像点(x,y)对应的地面点A的深度为zA=h·f/y；
如果实际深度z>zA，则前方路面该位置为下陷，如果实际深度z<zA，则前方路面该位置为突起，如果实际深度z=zA，则前方路面该位置平整；计算不平整度f2(x,y)=(z-zA)·tanθ，如果| f2(x,y)|>T，则记为f3(x,y)=1，否则f3(x,y)=0，其中阈值T为所述的移动机器人能够跨越的最大不平整度；
将二值图f3(x,y)进行先腐蚀后膨胀的操作，去除二值图f3(x,y)中多余的杂质点；在此基础上再进行先膨胀后腐蚀的操作，填充二值图f3(x,y)中细小的空洞，最终得到优化后的二值图f3(x,y); 计算二值图f3(x,y)与f2(x,y)的hadamard积，去除f2(x,y)中的杂散数据，即f2(x,y)=f3(x,y)*f2(x,y)；
所述的移动机器人根据行进方向，在f3(x,y)上扫描路面情况，不平整路面面积s=∑f3(x,y)·z·spix/f，平均不平整度为∑f2(x,y)/∑f3(x,y)，其中x的取值范围根据所述的移动机器人行进方向确定，y∈(N/2,N)，spix为传感器像素尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256241.5A CN109919139B (zh) | 2019-04-01 | 2019-04-01 | 基于双目立体视觉的路面状况快速检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256241.5A CN109919139B (zh) | 2019-04-01 | 2019-04-01 | 基于双目立体视觉的路面状况快速检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109919139A CN109919139A (zh) | 2019-06-21 |
| CN109919139B true CN109919139B (zh) | 2021-02-09 |
Family
ID=66967954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910256241.5A Active CN109919139B (zh) | 2019-04-01 | 2019-04-01 | 基于双目立体视觉的路面状况快速检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919139B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112149493B (zh) * | 2020-07-31 | 2022-10-11 | 上海大学 | 基于双目立体视觉的道路高程测量方法 |
| CN112766151B (zh) * | 2021-01-19 | 2022-07-12 | 北京深睿博联科技有限责任公司 | 一种用于导盲眼镜的双目目标检测方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108149554A (zh) * | 2017-12-28 | 2018-06-12 | 长安大学 | 一种路面坑槽识别方法及其装置 |
| CN109165582A (zh) * | 2018-08-09 | 2019-01-08 | 河海大学 | 一种城市街道垃圾检测和清洁度评估方法 |
| CN109493614A (zh) * | 2018-12-30 | 2019-03-19 | 江苏迪纳数字科技股份有限公司 | 一种带实时视频的实时路况监测与展示方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100573043C (zh) * | 2008-03-21 | 2009-12-23 | 哈尔滨工业大学 | 路面平整度自动检测方法 |
| CN101549691B (zh) * | 2009-04-23 | 2011-05-18 | 上海交通大学 | 自动识别道路深坑与障碍物的车辆智能装置 |
| CN101549683B (zh) * | 2009-04-23 | 2011-09-28 | 上海交通大学 | 自动识别道路深坑与障碍物的车辆智能方法 |
| CN104864909A (zh) * | 2015-05-08 | 2015-08-26 | 苏州科技学院 | 一种基于车载双目视觉的路面坑槽检测装置 |
| CN104964708B (zh) * | 2015-08-03 | 2017-09-19 | 苏州科技学院 | 一种基于车载双目视觉的路面坑槽检测方法 |
| WO2018122589A1 (zh) * | 2016-12-30 | 2018-07-05 | 同济大学 | 一种基于红外热像图分析的沥青路面裂缝发育程度检测方法 |
| CN106978774B (zh) * | 2017-03-22 | 2019-02-22 | 中公高科养护科技股份有限公司 | 一种路面坑槽自动检测方法 |
| CN108221603B (zh) * | 2018-01-08 | 2019-08-09 | 重庆大学 | 一种道路的路面三维信息检测装置、方法及系统 |
-
2019
- 2019-04-01 CN CN201910256241.5A patent/CN109919139B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108149554A (zh) * | 2017-12-28 | 2018-06-12 | 长安大学 | 一种路面坑槽识别方法及其装置 |
| CN109165582A (zh) * | 2018-08-09 | 2019-01-08 | 河海大学 | 一种城市街道垃圾检测和清洁度评估方法 |
| CN109493614A (zh) * | 2018-12-30 | 2019-03-19 | 江苏迪纳数字科技股份有限公司 | 一种带实时视频的实时路况监测与展示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109919139A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1394761B1 (en) | Obstacle detection device and method therefor | |
| CN107133985B (zh) | 一种基于车道线消逝点的车载摄像机自动标定方法 | |
| CN108444390B (zh) | 一种无人驾驶汽车障碍物识别方法及装置 | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| JP6442834B2 (ja) | 路面高度形状推定方法とシステム | |
| JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
| JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
| US20050015201A1 (en) | Method and apparatus for detecting obstacles | |
| Salman et al. | Distance measurement for self-driving cars using stereo camera | |
| CN101067557A (zh) | 适用于自主移动车辆的环境感知的单目视觉导航方法 | |
| Ross | A practical stereo vision system | |
| CN106569225B (zh) | 一种基于测距传感器的无人车实时避障方法 | |
| CN111563921A (zh) | 一种基于双目相机的水下点云获取方法 | |
| Perrollaz et al. | Using the disparity space to compute occupancy grids from stereo-vision | |
| CN109919139B (zh) | 基于双目立体视觉的路面状况快速检测方法 | |
| CN111046719A (zh) | 用于转换图像的设备和方法 | |
| CN112149493A (zh) | 基于双目立体视觉的道路高程测量方法 | |
| JP2014228941A (ja) | 地表面３次元サーフェス形状計測装置、走行可能領域検出装置およびそれを搭載した建設機械並びに走行可能領域検出方法 | |
| JP6204782B2 (ja) | オフロードダンプトラック | |
| CN109947108B (zh) | 移动机器人前方路况预测方法 | |
| CN109883393B (zh) | 基于双目立体视觉的移动机器人前方坡度预测方法 | |
| CN109903325B (zh) | 基于立体视觉深度信息的地面精确描述方法 | |
| Shao et al. | Research on water hazard detection based on line structured light sensor for long-distance all day | |
| KR20160063039A (ko) | 3차원 데이터를 이용한 도로 인식 방법 | |
| KR20220151572A (ko) | IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210511 Address after: 294 zhongzi street, Sishui County, Jining City, Shandong Province Patentee after: Zhang Fei Address before: 310013 no.256, 6th floor, building 2, Huahong building, 248 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province Patentee before: HANGZHOU JINGYI INTELLIGENT SCIENCE & TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210723 Address after: 273200 No. 12 Quanfu Road, Sishui Economic Development Zone, Jining City, Shandong Province Patentee after: SHANDONG NEW ELECTRICITY ENERGY TECHNOLOGY Co.,Ltd. Address before: 294 zhongzi street, Sishui County, Jining City, Shandong Province Patentee before: Zhang Fei |