CN110097592A - 地面信息的语义性描述方法 - Google Patents

地面信息的语义性描述方法 Download PDF

Info

Publication number
CN110097592A
CN110097592A CN201910273803.7A CN201910273803A CN110097592A CN 110097592 A CN110097592 A CN 110097592A CN 201910273803 A CN201910273803 A CN 201910273803A CN 110097592 A CN110097592 A CN 110097592A
Authority
CN
China
Prior art keywords
mobile robot
max
stereo camera
binary map
binocular stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910273803.7A
Other languages
English (en)
Other versions
CN110097592B (zh
Inventor
刘瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jingyi Intelligent Science and Technology Co Ltd
Original Assignee
Hangzhou Jingyi Intelligent Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jingyi Intelligent Science and Technology Co Ltd filed Critical Hangzhou Jingyi Intelligent Science and Technology Co Ltd
Priority to CN201910273803.7A priority Critical patent/CN110097592B/zh
Publication of CN110097592A publication Critical patent/CN110097592A/zh
Application granted granted Critical
Publication of CN110097592B publication Critical patent/CN110097592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

公开一种地面信息的语义性描述方法，包括设置在移动机器人前部的双目立体摄像机，焦距为f，高度为h，双目立体摄像机的光轴与移动机器人的底盘平行，还包括与双目立体摄像机连接的处理器，处理器设置路面状况快速检测方法，包括以下步骤：获取深度信息z=f1(X,Y)；投影点的摄像机坐标为(x，y，z)，并计算x和y；计算地面信息图f2(X,Y)=h‑y，二值化得到f3(X,Y)；将二值图f3(X,Y)进行优化处理，用二值图f3(X,Y)与优化f2(X,Y)；扫描地面信息图f2(X,Y)，获取路面的不平整区域的面积，最大不平整度，距离，方位角，并形成语义描述算子。该方法将原始距离信息进行精炼，形成语义描述算子方便移动机器人及其他协同工作的机器人使用。

Description

地面信息的语义性描述方法
技术领域
本发明涉及地面信息的语义性描述方法，属于机器视觉的图像处理领域。
背景技术
在处理复杂任务的时候，多机器人协同工作的效率会显著提高，可以实现单个机器人无法完成的任务。当多机器人协同工作的时候，除了进行任务的分解，还需要进行检测数据的共享，比如由于各方面原因A机器人和B机器人配置了不同的环境感知传感器，A机器人配置了双目立体摄像机，B机器人配置了红外及超声波传感器，因此检测的数据具有不同的精度和范围，两个机器人相互交换检测数据可以大大弥补自身传感器的不足。但是，交换原始检测数据，会增加通讯和处理负担，并且进行多次处理，造成计算上的浪费。
发明内容
针对上述问题，本发明提供地面信息的语义性描述方法，将移动机器人检测地面信息进行抽象化，形成语义描述算子，方便自己及其他机器人使用。
本发明解决其技术问题所采用的技术方案是：
地面信息的语义性描述方法，包括设置在移动机器人前部的双目立体摄像机，焦距为f，基线宽度为b，高度为h，所述的移动机器人的高度为H，所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行，还包括与所述的双目立体摄像机连接的处理器，所述的处理器设置路面状况快速检测方法，包括以下步骤：
(1) 所述的处理器获取所述的双目立体摄像机的图像对fL和fR，形成深度信息z=f1(X,Y)，X，Y为像素坐标，z为对应的深度，对应的投影点的摄像机坐标为(x，y，z)， X=x·f/z，投影角度θ=arctan(Y/f)， y=z·tanθ=z·Y/f；
(2) 计算地面信息图f2(X,Y)=h-y，如果| f2(X,Y)|<T或者f2(X,Y)>H，则记为f3(X,Y)=0，否则f3(X,Y)=1，其中阈值T为所述的移动机器人能够跨越的最大不平整度；
(3) 将二值图f3(X,Y)进行先腐蚀后膨胀的操作，去除二值图f3(X,Y)中多余的杂质点；在此基础上再进行先膨胀后腐蚀的操作，填充二值图f3(X,Y)中细小的空洞，最终得到优化后的二值图f3(X,Y); 计算二值图f3(X,Y)与f2(X,Y)的hadamard积，去除f2(X,Y)中的杂散数据，即f2(X,Y)=f3(X,Y)*f2(X,Y)；
(4) 扫描地面信息图f2(X,Y)上的所有的点，如果f2(X0, Y0)≠0，则搜索所有与(X0, Y0)联 通的所有非零点，记为(Xi, Yi)，i>0，则不平整路面的面积s=， Spix为传感器像素尺寸；在 (Xi, Yi)中，i≥0，搜索(Xmax, Ymax)使f2(Xi,Yi)值最大，得到最大 不平整度amax= f2(Xmax, Ymax)；计算点(Xi, Yi)对应的投影点到所述移动机器人的距离，D= sqrt(xi 2+zi 2)，比较出距离最小的点(xmin,ymin)，Dmin=sqrt(xmin 2+zmin 2)，方位角α=arctan (xmin/zmin)；最后，形成语义描述算子d={α, Dmin, amax，s}，即距离所述的移动机器人α方向 上，Dmin距离处，存在不平整区域，不平整度为amax，区域大小为s。
本发明的有益效果主要表现在：将检测数据进行抽象化，形成语义描述算子，方便自己及其他机器人使用；并且降低了通讯量，避免重复计算。
附图说明
图1是双目立体摄像机设置示意图；
图2 是不平整度计算示意图；
图3是摄像机坐标和像素坐标示意图。
具体实施方式
下面结合附图对本发明作进一步描述：
参照图1－3，地面信息的语义性描述方法，包括设置在移动机器人前部的双目立体摄像机，焦距为f，基线宽度为b，高度为h，所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行，所述的移动机器人的总高度为H。
还包括与所述的双目立体摄像机连接的处理器，所述的处理器设置路面状况快速检测方法，包括以下步骤：
(1) 所述的处理器获取所述的双目立体摄像机的图像对fL和fR，形成深度信息z=f1(X,Y)，X，Y为像素坐标，z为对应的深度，X∈(-M/2，M/2)，Y∈(-N/2，N/2)，M为X方向上的像素个数，N为Y方向上的像素个数；对应的投影点的摄像机坐标为(x，y，z)， X=x·f/z，投影角度θ=arctan(Y/f)， y=z·tanθ=z·Y/f；
所述的处理器是根据视差原理来计算深度信息，结合所述的双目立体摄像机的参数，可得z=f(X,Y)=f*b/d，其中d是根据图像对fL和fR计算得到的位置(X,Y)的视差。同时，根据相似三角形的比例关系，建立像素坐标与摄像机坐标的比例关系：X=x·f/z，y=z·Y/f。
(2) 计算地面信息图f2(X,Y)=h-y，如果| f2(X,Y)|<T或者f2(X,Y)>H，则记为f3(X,Y)=0，否则f3(X,Y)=1，其中阈值T为所述的移动机器人能够跨越的最大不平整度；
由于计算误差，平整路面也会产生计算上的不平整情况，同时一些小的不平整，不会影响所述的移动机器人的运行，并且高于所述的移动机器人高度的障碍物也不会影响所述的移动机器人的运行，因此在计算地面信息图f2(X,Y)的时候进行了部分数据的忽略。
(3) 将二值图f3(X,Y)进行先腐蚀后膨胀的操作，去除二值图f3(X,Y)中多余的杂质点；在此基础上再进行先膨胀后腐蚀的操作，填充二值图f3(X,Y)中细小的空洞，最终得到优化后的二值图f3(X,Y); 计算二值图f3(X,Y)与f2(X,Y)的hadamard积，去除f2(X,Y)中的杂散数据，即f2(X,Y)=f3(X,Y)*f2(X,Y)；
将二值图f3(X,Y)进行优化处理，去除杂散点和漏检点，然后通过矩阵运算hadamard积去优化f2(X,Y)。
(4) 扫描地面信息图f2(X,Y)上的所有的点，如果f2(X0, Y0)≠0，则搜索所有与 (X0, Y0)联通的所有非零点，记为(Xi, Yi)，i>0，则不平整路面的面积s=，Spix为传感器像素尺寸；在 (Xi, Yi)中，其中i ≥0，搜索(X max, Y max)使f2(Xi, Yi)值最大，得到最大不平整度amax= f2(Xmax, Ymax)；计算点 (Xi, Yi)对应的投影点到所述移动机器人的距离，D=sqrt(xi 2+zi 2)，比较出距离最小的点 (xmin,ymin)，Dmin=sqrt(xmin 2+zmin 2)，方位角α=arctan(xmin/zmin)；最后，形成语义描述算子d= {α, Dmin, amax，s}，即距离所述的移动机器人α方向上，Dmin距离处，存在不平整区域，不平整 度为amax，区域大小为s。
在步骤4中，扫描地面信息图f2(X,Y)上的所有非零点，将相互连通的点作为一个独立区域，然后计算这些非零点的对应路面的面积s，然后比较出最大不平整度amax以及到所述的移动机器人的最小距离Dmin和方位角α，最终形成语义描述算子d={α, Dmin, amax，s}。因此，所述的移动机器人基于语义描述算子d与其他机器人进行数据共享，数据量小，避免重复计算，而其他机器人根据相互之间的位置关系，将语义描述算子d转换到自己的坐标系下，就可直接使用。

Claims (1)

1.地面信息的语义性描述方法，包括设置在移动机器人前部的双目立体摄像机，焦距为f，基线宽度为b，高度为h，所述的移动机器人的高度为H，所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行，其特征在于：还包括与所述的双目立体摄像机连接的处理器，所述的处理器设置路面状况快速检测方法，包括以下步骤：
(1)所述的处理器获取所述的双目立体摄像机的图像对fL和fR，形成深度信息z=f1 (X,Y)，X，Y为像素坐标，z为对应的深度，对应的投影点的摄像机坐标为(x，y，z)， X=x·f/z，投影角度θ=arctan(Y/f)， y=z·tanθ=z·Y/f；
(2)计算地面信息图f2(X,Y)=h-y，如果| f2(X,Y)|<T或者f2(X,Y)>H，则记为f3(X,Y)=0，否则f3(X,Y)=1，其中阈值T为所述的移动机器人能够跨越的最大不平整度；
(3)将二值图f3(X,Y)进行先腐蚀后膨胀的操作，去除二值图f3(X,Y)中多余的杂质点；在此基础上再进行先膨胀后腐蚀的操作，填充二值图f3(X,Y)中细小的空洞，最终得到优化后的二值图f3(X,Y); 计算二值图f3(X,Y)与f2(X,Y)的hadamard积，去除f2(X,Y)中的杂散数据，即f2(X,Y)=f3(X,Y)*f2(X,Y)；
(4)扫描地面信息图f2(X,Y)上的所有的点，如果f2(X0, Y0)≠0，则搜索所有与(X0, Y0)联通的所有非零点，记为(Xi, Yi)，i>0，则不平整路面的面积s=，Spix为传感器像素尺寸；在 (Xi, Yi)中，i≥0，搜索(Xmax, Ymax)使f2(Xi,Yi)值最大，得到最大不平整度amax= f2(Xmax, Ymax)；计算点(Xi, Yi)对应的投影点到所述移动机器人的距离，D=sqrt(xi 2+zi 2)，比较出距离最小的点(xmin,ymin)，Dmin=sqrt(xmin 2+zmin 2)，方位角α=arctan(xmin/zmin)；最后，形成语义描述算子d={α, Dmin, amax，s}，即距离所述的移动机器人α方向上，Dmin距离处，存在不平整区域，不平整度为amax，区域大小为s。
CN201910273803.7A 2019-04-07 2019-04-07 地面信息的语义性描述方法 Active CN110097592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910273803.7A CN110097592B (zh) 2019-04-07 2019-04-07 地面信息的语义性描述方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910273803.7A CN110097592B (zh) 2019-04-07 2019-04-07 地面信息的语义性描述方法

Publications (2)

Publication Number Publication Date
CN110097592A true CN110097592A (zh) 2019-08-06
CN110097592B CN110097592B (zh) 2020-12-15

Family

ID=67444386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910273803.7A Active CN110097592B (zh) 2019-04-07 2019-04-07 地面信息的语义性描述方法

Country Status (1)

Country Link
CN (1) CN110097592B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
CN104864909A (zh) * 2015-05-08 2015-08-26 苏州科技学院 一种基于车载双目视觉的路面坑槽检测装置
CN106897405A (zh) * 2017-02-15 2017-06-27 中国地质大学（武汉） 一种地理空间传感网本体的构建方法及装置
US20170213352A1 (en) * 2016-01-26 2017-07-27 Hon Hai Precision Industry Co., Ltd. Automatic guiding system for analyzing ground texture and method for the same
CN107272690A (zh) * 2017-07-07 2017-10-20 中国计量大学 基于双目立体视觉的惯性导引车导航方法及惯性导引车
CN108221603A (zh) * 2018-01-08 2018-06-29 重庆大学 一种道路的路面三维信息检测装置、方法及系统
US20180190016A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles
CN108362235A (zh) * 2018-02-28 2018-08-03 四川斐讯信息技术有限公司 一种基于图像处理的地面平整度的测试系统和方法
US20180247422A1 (en) * 2017-02-27 2018-08-30 Stmicroelectronics Sa Method and apparatus for depth-map estimation of a scene
CN108898095A (zh) * 2018-06-26 2018-11-27 杭州晶智能科技有限公司 基于自学习的红外图像人体识别方法
CN108960096A (zh) * 2018-06-22 2018-12-07 杭州晶智能科技有限公司 基于立体视觉和红外成像的人体识别方法
CN109074168A (zh) * 2018-01-23 2018-12-21 深圳市大疆创新科技有限公司 无人机的控制方法、设备和无人机

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
CN104864909A (zh) * 2015-05-08 2015-08-26 苏州科技学院 一种基于车载双目视觉的路面坑槽检测装置
US20170213352A1 (en) * 2016-01-26 2017-07-27 Hon Hai Precision Industry Co., Ltd. Automatic guiding system for analyzing ground texture and method for the same
US20180190016A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles
CN106897405A (zh) * 2017-02-15 2017-06-27 中国地质大学（武汉） 一种地理空间传感网本体的构建方法及装置
US20180247422A1 (en) * 2017-02-27 2018-08-30 Stmicroelectronics Sa Method and apparatus for depth-map estimation of a scene
CN107272690A (zh) * 2017-07-07 2017-10-20 中国计量大学 基于双目立体视觉的惯性导引车导航方法及惯性导引车
CN108221603A (zh) * 2018-01-08 2018-06-29 重庆大学 一种道路的路面三维信息检测装置、方法及系统
CN109074168A (zh) * 2018-01-23 2018-12-21 深圳市大疆创新科技有限公司 无人机的控制方法、设备和无人机
CN108362235A (zh) * 2018-02-28 2018-08-03 四川斐讯信息技术有限公司 一种基于图像处理的地面平整度的测试系统和方法
CN108960096A (zh) * 2018-06-22 2018-12-07 杭州晶智能科技有限公司 基于立体视觉和红外成像的人体识别方法
CN108898095A (zh) * 2018-06-26 2018-11-27 杭州晶智能科技有限公司 基于自学习的红外图像人体识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUORUN YANG 等: "SegStereo: Exploiting Semantic Information for Disparity Estimation", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
QIANG LIU 等: "Extracting Semantic Information from Visual Data: A Survey", 《ROBOTICS》 *
迟晶: "基于立体视觉的地平面障碍物检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈嵩: "基于分布式表征的室内机器人智能语义地图创建方法研究", 《万方学位论文数据库》 *

Also Published As

Publication number Publication date
CN110097592B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
EP1394761B1 (en) Obstacle detection device and method therefor
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
CA2678156A1 (en) Measurement apparatus, measurement method, and feature identification apparatus
JP2002352225A (ja) 障害物検出装置及びその方法
WO2018038257A1 (ja) 物体検出方法及びその装置
Nishimoto Three dimensional measurement using fisheye stereo vision
JP2004108980A (ja) 画像処理方法
KR20230065978A (ko) 구조화된 광을 사용하여 장면에서 평면 표면들을 직접 복구하기 위한 시스템, 방법 및 매체
Yang et al. Laser beams-based localization methods for boom-type roadheader using underground camera non-uniform blur model
JP2007316856A (ja) 移動体検出装置、コンピュータプログラム及び移動体検出方法
CN109919139B (zh) 基于双目立体视觉的路面状况快速检测方法
Sui et al. Extrinsic calibration of camera and 3D laser sensor system
Shacklock et al. Visual guidance for autonomous vehicles: capability and challenges
Sadreddini et al. A distance measurement method using single camera for indoor environments
CN110097592A (zh) 地面信息的语义性描述方法
KR20180061803A (ko) 도로면 폐색 영역 복원 장치 및 방법
CN112330747B (zh) 基于无人机平台的多传感器联合探测和显示方法
KR20160063039A (ko) 3차원 데이터를 이용한 도로 인식 방법
Su Vanishing points in road recognition: A review
Uehara et al. Line-based SLAM Considering Directional Distribution of Line Features in an Urban Environment.
CN117115407B (zh) 斜坡检测方法、装置、计算机设备和存储介质
CN110132225B (zh) 单目斜置非共轴透镜测距装置
Huang et al. AR Mapping: Accurate and Efficient Mapping for Augmented Reality
Alizadeh et al. A real-time object distance measurement using a monocular camera
Zhai et al. Extrinsic Calibration Between a Stereo System and a 3D LIDAR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant