CN109903325B - 基于立体视觉深度信息的地面精确描述方法 - Google Patents

基于立体视觉深度信息的地面精确描述方法 Download PDF

Info

Publication number
CN109903325B
CN109903325B CN201910267652.4A CN201910267652A CN109903325B CN 109903325 B CN109903325 B CN 109903325B CN 201910267652 A CN201910267652 A CN 201910267652A CN 109903325 B CN109903325 B CN 109903325B
Authority
CN
China
Prior art keywords
stereo camera
binocular stereo
description method
depth
accurate description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910267652.4A
Other languages
English (en)
Other versions
CN109903325A (zh
Inventor
刘瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qiao Yihong
Shanghai Ditang Intelligent Technology Co., Ltd.
Original Assignee
Hangzhou Jingyi Intelligent Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jingyi Intelligent Science and Technology Co Ltd filed Critical Hangzhou Jingyi Intelligent Science and Technology Co Ltd
Priority to CN201910267652.4A priority Critical patent/CN109903325B/zh
Publication of CN109903325A publication Critical patent/CN109903325A/zh
Application granted granted Critical
Publication of CN109903325B publication Critical patent/CN109903325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

公开一种基于立体视觉深度信息进行地面精确描述的方法,包括设置在移动机器人前部的双目立体摄像机,焦距为f,高度为h,双目立体摄像机的光轴与移动机器人的底盘平行,还包括与双目立体摄像机连接的处理器,设置地面精确描述方法,包括以下步骤:对于成像点(X,Y),投影点(x,y,z),深度z=f(X,Y),X=x·f/z,投影角度θ=arctan(Y/f),y=z·tanθ=z·Y/f;计算不平整度a=h‑z·Y/f;基于深度z=f(X,Y),获取反函数Y=f^(X,z),得到a=h‑z·f^(x·f/z,z)/f;将点的坐标值xr和zr作为输入,进行投影离散化和就近取值,计算出a=h‑zr·f^(Xr,zr)/f。

Description

基于立体视觉深度信息的地面精确描述方法
技术领域
本发明涉及基于立体视觉深度信息的地面精确描述方法,属于移动机器人的智能导航领域。
背景技术
导航是移动机器人最基本的功能,实现机器人从一点安全移动到另一点。其中包括障碍物检测与避障,环境建模与定位以及路径规划。实现上述功能,可采用超声波传感器、红外传感器、接触传感器和双目立体视觉,甚至激光雷达,进行机器人周围环境的检测与描述,但是却没有把地面纳入检测范围,而是假定地面是平整的。激光雷达能够提供稳定精确的距离信息,但是价格非常昂贵,目前还不能得到广泛应用,而双目立体视觉可以提供相对精确的测距信息,并且价格不高,因此越来越成为移动机器人的基本配置。采用立体视觉完成地面情况的检测,完善对机器人工作环境的描述,对移动机器人能够在实际环境中工作具有非常重要的意义。
发明内容
针对上述问题,本发明提供基于立体视觉深度信息的地面精确描述方法,帮助移动机器人检测前方地面的平整状况。
本发明解决其技术问题所采用的技术方案是:
基于立体视觉深度信息的地面精确描述方法,包括设置在所述的移动机器人前部的双目立体摄像机,焦距为f,基线宽度为b,高度为h,所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行,还包括与所述的双目立体摄像机连接的处理器,所述的处理器设置地面精确描述方法,包括以下步骤:
(1)对于成像点(X,Y),X,Y为像素坐标,X∈(1,M),Y∈(1,N),M、N分别为X、Y方向上的最大像素数量,对应的投影点的摄像机坐标为(x,y,z),深度z=f(X,Y),X=x·f/z,投影角度θ=arctan(Y/f), y=z·tanθ=z·Y/f;
(2)计算不平整度a=h-y=h- z·Y/f;
(3)基于深度z=f(X,Y),获取反函数Y= f^(X,z),因此a= h- z·f^(X,z)/f= h-z·f^(x·f/z,z)/f;
(4)对于所述的双目立体摄像机的视野范围内的点(xr,yr,zr),首先进行xr值投影并离散化,即Xr=INT(xr·f/zr),然后Y在(1,N)范围内取值,获取zn=f(Xr,Y),当|zr-zn|达到最小时,令zr=zn,最后计算出a= h- zr·f^(Xr,zr)/f。
本发明的有益效果主要表现在:计算前方路面的平整状态,并转换成以x和z作为输入变量的函数形式,符合实际的坐标关系,数据关系清楚明了,使用方便。
附图说明
图1是移动机器人外形示意图;
图2 是不平整度计算示意图;
图3是地面精确描述数据的图像化示意图。
具体实施方式
下面结合附图对本发明作进一步描述:
参照图1-3,基于立体视觉深度信息的地面精确描述方法,包括设置在所述的移动机器人前部的双目立体摄像机,焦距为f,基线宽度为b,高度为h,所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行。双目立体摄像机为所述的移动机器人的基本配置,可以输出单目的普通图像,同时可以提供深度信息,进行避障导航。
还包括与所述的双目立体摄像机连接的处理器,所述的处理器设置地面精确描述方法,包括以下步骤:
(1)对于成像点(X,Y),X,Y为像素坐标,X∈(1,M),Y∈(1,N),M、N分别为X、Y方向上的最大像素数量,对应的投影点的摄像机坐标为(x,y,z),深度z=f(X,Y),X=x·f/z,投影角度θ=arctan(Y/f), y=z·tanθ=z·Y/f;
所述的处理器是根据视差原理来计算深度信息,结合所述的双目立体摄像机的参数,可得z=f(X,Y)=f*b/d,其中d是根据图像对fL和fR计算得到的位置(X,Y)的视差。同时,根据相似三角形的比例关系,建立像素坐标与摄像机坐标的比例关系:X=x·f/z,以及投影点到所述的双目立体摄像机的光轴所在水平面的垂直距离,即y=z·Y/f。
(2)计算不平整度a=h-y=h- z·Y/f;
如果y>h,则前方路面有下陷;如果y<h,则路面有突起;如果y=h,则前方路面为平面。
(3)基于深度z=f(X,Y),获取反函数Y= f^(X,z),因此a= h- z·f^(X,z)/f= h-z·f^(x·f/z,z)/f;
在步骤1中,获得的深度z是按照像素坐标存储的,也就是以像素坐标X和Y为输入变量,为了更好的表达,以Y作为函数,X和z作为变量,得到反函数Y= f^(X,z),从而建立x和z与不平整度a的函数关系。
(4)对于所述的双目立体摄像机的视野范围内的点(xr,yr,zr),首先进行xr值投影并离散化,即Xr=INT(xr·f/zr),然后Y在(1,N)范围内取值,获取zn=f(Xr,Y),当|zr-zn|达到最小时,令zr=zn,最后计算出a=h- zr·f^(Xr,zr)/f。
对于摄像机坐标系里的投影点(xr,yr,zr),坐标参数都是连续量,而a= h- z·f^(x·f/z,z)/f中的x和z虽然也是连续量,但是属于采样后的值,所以xr需要离散化处理,zr需要就近取值,才能作为计算a的输入变量。

Claims (1)

1.基于立体视觉深度信息的地面精确描述方法,包括设置在移动机器人前部的双目立体摄像机,焦距为f,基线宽度为b,高度为h,所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行,其特征在于:还包括与所述的双目立体摄像机连接的处理器,所述的处理器设置地面精确描述方法,包括以下步骤:
(1)对于成像点(X,Y),X,Y为像素坐标,X∈(1,M),Y∈(1,N),M、N分别为X、Y方向上的最大像素数量,对应的投影点的摄像机坐标为(x,y,z),深度z=f(X,Y),X=x·f/z,投影角度θ=arctan(Y/f), y=z·tanθ=z·Y/f;
(2)计算不平整度a=h-y=h- z·Y/f;
(3)基于深度z=f(X,Y),获取反函数Y= f^(X,z),因此a= h- z·f^(X,z)/f= h- z·f^(x·f/z,z)/f;
(4)对于所述的双目立体摄像机的视野范围内的点(xr,yr,zr),首先进行xr值投影并离散化,即Xr=INT(xr·f/zr),然后Y在(1,N)范围内取值,获取zn=f(Xr,Y),当|zr-zn|达到最小时,令zr=zn,最后计算出a= h- zr·f^(Xr,zr)/f。
CN201910267652.4A 2019-04-03 2019-04-03 基于立体视觉深度信息的地面精确描述方法 Active CN109903325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910267652.4A CN109903325B (zh) 2019-04-03 2019-04-03 基于立体视觉深度信息的地面精确描述方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910267652.4A CN109903325B (zh) 2019-04-03 2019-04-03 基于立体视觉深度信息的地面精确描述方法

Publications (2)

Publication Number Publication Date
CN109903325A CN109903325A (zh) 2019-06-18
CN109903325B true CN109903325B (zh) 2021-05-11

Family

ID=66954486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910267652.4A Active CN109903325B (zh) 2019-04-03 2019-04-03 基于立体视觉深度信息的地面精确描述方法

Country Status (1)

Country Link
CN (1) CN109903325B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111571561B (zh) * 2019-08-07 2021-08-31 上海肇观电子科技有限公司 移动机器人

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837139A (zh) * 2012-11-23 2014-06-04 株式会社日立制作所 不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法
CN106978774A (zh) * 2017-03-22 2017-07-25 中公高科养护科技股份有限公司 一种路面坑槽自动检测方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102390370B (zh) * 2011-10-25 2013-07-03 河海大学 一种基于立体视觉的车辆行驶应急处理装置及方法
CN103854008B (zh) * 2012-12-04 2019-10-18 株式会社理光 路面检测方法和装置
CN109804119B (zh) * 2016-12-30 2021-03-19 同济大学 基于红外热像图分析的沥青路面裂缝发育程度检测方法
CN108413937B (zh) * 2017-11-29 2020-11-03 浙江纺织服装职业技术学院 一种地面凹坑识别方法
CN108221603B (zh) * 2018-01-08 2019-08-09 重庆大学 一种道路的路面三维信息检测装置、方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837139A (zh) * 2012-11-23 2014-06-04 株式会社日立制作所 不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法
CN106978774A (zh) * 2017-03-22 2017-07-25 中公高科养护科技股份有限公司 一种路面坑槽自动检测方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
智能道路检测系统;王新林 等;《测绘地理信息》;20130430;第38卷(第2期);第74-75,78页 *

Also Published As

Publication number Publication date
CN109903325A (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
EP3086196B1 (en) Method and control system for surveying and mapping a terrain while operating a bulldozer
CA2950791C (en) Binocular visual navigation system and method based on power robot
AU2015234395B2 (en) Real-time range map generation
CN109446892B (zh) 基于深度神经网络的人眼注意力定位方法及系统
CN102519434B (zh) 一种用于立体视觉三维恢复数据精度测量的试验验证方法
CN106569225B (zh) 一种基于测距传感器的无人车实时避障方法
US10527413B2 (en) Outside recognition device
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
CN112288825B (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
Alizadeh Object distance measurement using a single camera for robotic applications
CN108924408B (zh) 一种深度成像方法及系统
Perrollaz et al. Using the disparity space to compute occupancy grids from stereo-vision
CN109444916A (zh) 一种无人驾驶可行驶区域确定装置及方法
CN112967344A (zh) 相机外参标定的方法、设备、存储介质及程序产品
JP7138856B2 (ja) 俯瞰映像提示システム
CN110415286A (zh) 一种多飞行时间深度相机系统的外参标定方法
CN110264510A (zh) 一种基于双目采集图像提取景深信息的方法
CN109903325B (zh) 基于立体视觉深度信息的地面精确描述方法
CN109919139B (zh) 基于双目立体视觉的路面状况快速检测方法
Kang et al. Calibration method of 1D laser rangefinder for large-scale 3D measurement under harsh environment
Real-Moreno et al. Camera calibration method through multivariate quadratic regression for depth estimation on a stereo vision system
CN113465572A (zh) 一种基于相机成像几何关系的单目测距方法及系统
CN109947108B (zh) 移动机器人前方路况预测方法
WO2022141262A1 (en) Object detection
Zamanakos et al. A cooperative LiDAR-camera scheme for extrinsic calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210830

Address after: Room 303, floor 3, building 2, No. 188, Zhenye Road, Dongjing Town, Songjiang District, Shanghai 201619

Patentee after: Shanghai Ditan Information Technology Co.,Ltd.

Address before: 310013 no.256, 6th floor, building 2, Huahong building, 248 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU JINGYI INTELLIGENT SCIENCE & TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: Room 303, floor 3, building 2, No. 188, Zhenye Road, Dongjing Town, Songjiang District, Shanghai 201619

Patentee after: Shanghai Ditang Intelligent Technology Co., Ltd.

Address before: Room 303, floor 3, building 2, No. 188, Zhenye Road, Dongjing Town, Songjiang District, Shanghai 201619

Patentee before: Shanghai Ditan Information Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220810

Address after: Room 303, floor 3, building 2, No. 188, Zhenye Road, Dongjing Town, Songjiang District, Shanghai 201619

Patentee after: Shanghai Ditang Intelligent Technology Co., Ltd.

Patentee after: Qiao Yihong

Address before: Room 303, floor 3, building 2, No. 188, Zhenye Road, Dongjing Town, Songjiang District, Shanghai 201619

Patentee before: Shanghai Ditang Intelligent Technology Co., Ltd.

TR01 Transfer of patent right