CN112116643A - 一种基于tof相机深度图和点云图的避障处理方法及系统 - Google Patents

一种基于tof相机深度图和点云图的避障处理方法及系统 Download PDF

Info

Publication number
CN112116643A
CN112116643A CN202010962096.5A CN202010962096A CN112116643A CN 112116643 A CN112116643 A CN 112116643A CN 202010962096 A CN202010962096 A CN 202010962096A CN 112116643 A CN112116643 A CN 112116643A
Authority
CN
China
Prior art keywords
depth
depth map
point
map
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010962096.5A
Other languages
English (en)
Inventor
胡立松
瞿喜锋
金超
蔡勇
张瑞斌
于振中
李文兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRG International Institute for Research and Innovation
Original Assignee
HRG International Institute for Research and Innovation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRG International Institute for Research and Innovation filed Critical HRG International Institute for Research and Innovation
Priority to CN202010962096.5A priority Critical patent/CN112116643A/zh
Publication of CN112116643A publication Critical patent/CN112116643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

一种基于TOF相机深度图和点云图的避障处理方法及系统，主要包括如：(1)获取TOF相机固定帧率下的相关数据，包括深度值图像、幅度值图像；(2)对步骤1中获取的深度数据进行处理，实现基于深度图的车宽区域划分；(3)由深度图转换到点云图，对点云图进行地面滤除操作；(4)对处理后的深度图与点云图进行避障判断，输出信号；本发明原理通俗，操作简单，可以实现对不同障碍物的识别并进行判断和处理，适合固定场景下的工程应用。

Description

一种基于TOF相机深度图和点云图的避障处理方法及系统
技术领域
本发明属于光学测量技术领域，具体涉及一种基于TOF相机深度图和点云图的避障处理方法及系统。
背景技术
TOF相机采用“时间飞行法”对物体进行测距，通过计算光在空中的飞行时间获取物体到相机的距离，并将距离信息保存在深度图中，所以可以针对深度图进行避障判断，根据不同的距离信息输出不同的避障信号。由于深度图是二维图像，很难解决地面信息造成的误触发现象，所以要将深度图转化成点云数据，对三维点云信息进行地面滤除，以消除地面信息的干扰。所以，基于TOF相机的避障判断要结合深度图和点云图进行，同时，在进行避障判断之前，要对深度图进行车宽区域划分，以消除车身以外区域的干扰，提高避障效率。
对TOF相机采集到的深度图进行车宽区域划分，主要是根据深度图中像素的像元尺寸和相机焦距的关系去推算实际车身在深度图中所占的区域，以深度图的中心点为基准，求出车身区域对应的两列，然后在该区域内进行避障判断，以消除车身区域外的干扰，提高避障效率，此外，在避障判断中还要对车身区域进行渲染，方便用户进行区分。
在避障功能中，地面信息会造成误触发现象，所以要将地面信息滤除，而对TOF相机的深度图进行避障，主要用于具有一定高度的物体，地面信息可以直接滤除而不会对避障结果产生影响，但如果物体自身的高度不够高，直接滤除地面就会把物体也滤除掉，从而无法进行避障处理，而深度图是二维图像，要进行地面滤除比较困难，所以，这也是本次发明中需要解决的问题。
现有技术中，公开号为CN109343079A，公开日为2019年2月15日的中国发明专利申请《一种测距避障方法及避障装置》，公开了一种测距避障方法及避障装置，该避障装置包括TOF深度相机和移动载体，TOF深度相机安装在移动载体上，TOF深度相机包括光源、传感器模块和第一控制处理模块，移动载体包括第二控制处理模块，第一控制处理模块与光源、传感器模块和第二控制处理模块均电连接；光源用于提供光信号；传感器模块用于在光信号被障碍物反射后接收反射光信号，并将反射光信号转换为电信号以传输至第一控制处理模块；第一控制处理模块用于根据电信号得到探测结果；第二控制处理模块用于根据探测结果和移动载体的速度信息确定移动载体的避障措施。
虽然上述文献的测距避障方法及避障装置具有很好的可靠性、稳定性和实时性，但是上述文献的避障方法要对场景中的所有区域进行避障判断，避障效率低，TOF相机只能放置在靠近障碍物的一端，放置位置不灵活。
发明内容
本发明的目的在于解决如何在避障判断之前对深度图进行车宽区域划分，消除车身以外区域的干扰，提高避障效率以及如何滤除地面的问题。
本发明是通过以下技术方案解决上述技术问题的：
一种基于TOF相机深度图和点云图的避障处理方法，包括如下步骤：
步骤1：对TOF相机进行标定，固定相机的高度和角度，获取相机固定帧率下的实验数据，包括深度图、幅度图，TOF相机得到的数据会有所丢失，实验中要对获取到的深度图和幅度图进行裁剪，以统一分辨率，对裁剪后的深度图进行幅度值滤波，降低进行避障判断的噪声干扰；
步骤2：对步骤1中的深度图进行车宽区域划分，滤除车宽以外的区域，车宽以外的区域不作为避障操作的考虑范围；
所述的深度图进行车宽区域划分的方法为：
1)选取经过幅度值滤波后的深度图中心点作为车宽区域划分的依据，求出车宽区域对应的列；深度图中心点的坐标为(r,c)，找出深度图中心点的物理距离为vehicle/2的两点p1和p2，p1和p2与深度图中心点同行不同列，分别位于深度图中心点的左右两侧，坐标为(r,c1)和(r,c2)；
2)根据深度图中心点的深度值的取值范围，求出(r,c1)和(r,c2)之后，对深度图的遍历限制在c1列和c2列内，实现车宽区域的划分；其中vehicle为车宽，r为深度图中心点的行坐标，c表示深度图中心点的行坐标，c1和c2分别表示深度图中车身区域对应的左列和右列；
步骤3：将步骤1中获取到的深度图转换成对应的点云图，利用生成的点云图进行地面移除处理，以消除地面干扰造成的避障信号误触发现象，实现针对客观物体的避障操作；
步骤4：对步骤3中的点云图进行基于地面的障碍物检测，然后对步骤2中进行车宽区域划分后的深度图进行避障操作，输出相应的避障信号。
选取经过幅度值滤波后的深度图中心点作为车宽区域划分的依据，求出车宽区域对应的列；根据深度图中心点的深度值的取值范围，求出(r,c1)和(r,c2)之后，对深度图的遍历限制在c1列和c2列内，实现车宽区域的划分；避障方法不需要对场景中的所有区域进行避障判断，只对车身内的区域进行避障判断，无关区域不做考虑，且TOF相机放置位置灵活，不需要放置在靠近障碍物的一端，提高了避障效率，可以实现对不同障碍物的识别并进行判断和处理，适合固定场景下的工程应用。
作为本发明技术方案的进一步改进，所述的车宽区域对应的列的计算方法为：
计算深度图中任意一点到深度图中心点的物理距离与焦距的比值tan(θ)如下：
Figure BDA0002680931690000041
其中，dist为p1或p2点到深度图中心点p点的距离，depth为p1或p2点的深度值，center_depth为深度图中心点p的深度值，focal为相机的焦距，pixel为深度图的像元尺寸，dist与pixel的乘积表示p1或p2点到深度图中心点p的物理距离；
p1或p2点到深度图中心点p点的距离的计算公式为：
dist＝|c1(2)-c| (2)
联立公式(1)和(2)，当p点的坐标为(r＝depth.row/2-1，c＝depth.col/2-1)时得到：
Figure BDA0002680931690000042
Figure BDA0002680931690000043
depth.row表示深度图的行的值，depth.col表示深度图的列的值，c1(2)表示c1或c2的值。
作为本发明技术方案的进一步改进，所述的深度图中心点的深度值的取值范围的计算方法为：由0≤c≤depth.col-1得到tan(θ)的取值范围如下：
Figure BDA0002680931690000051
联立式(1)、(5)可得深度图中心点的深度值的取值范围如下：
Figure BDA0002680931690000052
由(6)式可知，进行车身区域划分的深度图中心点的深度值的取值范围。
作为本发明技术方案的进一步改进，根据所述的深度图中心点的深度值的取值范围，判断：
1a)如果深度图中心点的深度值在所述的取值范围内，则可以直接由公式(1)至(4)求出(r,c1)和(r,c2)；
1b)如果深度图中心点的深度值不在所述的取值范围内，则取深度图中心点周边的深度值在该取值范围内的像素点，通过公式(1)至(4)求出在取值范围内的中心深度值点，此时求出的深度图中心点的深度值不是实际的中心带点的深度值，而是为了方便求车宽区域而临时计算得到的，然后再求出(r,c1)和(r,c2)；
1c)如果深度图中不包括位于取值范围内的点，无法对深度值进行车宽区域划分，此时直接进行避障判断。
作为本发明技术方案的进一步改进，所述的步骤1中TOF相机得到的数据处理包括以下步骤：
2a)对TOF相机的深度图进行渲染，将不同的深度值区域渲染成不同颜色，同时保留客观物体的轮廓，方便直观显示；
2b)对TOF相机的幅度图进行渲染，调整幅度图的整体亮度，方便实时查看；
2c)将处理后的深度图进行车宽区域划分，并转换成相应的点云图数据以进行地面区域滤除，最后进行避障判断。
作为本发明技术方案的进一步改进，所述的步骤3中利用生成的点云图进行地面移除处理的方法包括以下步骤：
3a)预处理；将深度图像进行幅度值滤波，滤除部分噪点，幅度值滤波的阈值可以自由设置，设置过大会滤除物体细节，设置过小起不到明显的噪点滤除作用，所以幅度值阈值设置要合理，不宜过大或过小；
3b)深度图转点云图；深度图到点云图的转换，是球面坐标系到三维坐标的变换过程，遍历深度图中的所有像素点，对每个像素点求出它到中心深度点的距离，然后计算与相机焦距的比值，进而求得对应的点云z坐标值，进行wiggling校正计算公式为：
Figure BDA0002680931690000061
其中，z(r,c)、depth(r,c)分别为该像素坐标下点云距离值、深度图的距离值；
3c)地面滤除；根据步骤(3b)中生成的点云图，利用RANSAC算法检测地面并滤除，该算法名为随机采样一致性算法，表示从包含“局外点”的数据集中，以迭代的方式去估算某个数学模型的参数，最终得到具有概率性质的结果，如果想让所得结果更加精确，就必须增加迭代次数；在实验中，不同的参数分割得到的地面也不一样，参数设置越大，距离相机越远的点也会被认为是地面点，这样会导致滤除部分障碍物的点云数据，不利于避障检测；但参数设置过小会导致地面数据的滤除效果不明显，这样地面的误触发现象得不到解决，实验中通过固定相机的高度和角度来确定最佳参数的选择，如果相机的角度和高度发生改变，则最佳参数的设置也会发生改变；
3d)对进行地面滤除后的点云图和进行了车宽区域划分后的深度图进行避障检测，针对不同的距离区域输出不同的信号，输出信号有四种，分别为“安全”、“警告”、“减速”、“停止”，实验中会预先设置好三种输出信号分别对应的距离区间，停止信号的区间为[0，500mm]，减速区间为(500mm,1500mm],警告区间为(1500mm,3000mm]，大于3000mm的距离则输出安全信号，针对不同距离区间的物体输出相应的信号。
一种基于TOF相机深度图和点云图的避障处理系统，包括：
数据采集预处理模块；用于对TOF相机进行标定，固定相机的高度和角度，获取相机固定帧率下的实验数据，包括深度图、幅度图，TOF相机得到的数据会有所丢失，实验中要对获取到的深度图和幅度图进行裁剪，以统一分辨率，对裁剪后的深度图进行幅度值滤波，降低进行避障判断的噪声干扰；
车宽区域划分模块；用于对深度图进行车宽区域划分，滤除车宽以外的区域，车宽以外的区域不作为避障操作的考虑范围；
所述的深度图进行车宽区域划分的方法为：
1)选取经过幅度值滤波后的深度图中心点作为车宽区域划分的依据，求出车宽区域对应的列；深度图中心点的坐标为(r,c)，找出深度图中心点的物理距离为vehicle/2的两点p1和p2，p1和p2与深度图中心点同行不同列，分别位于深度图中心点的左右两侧，坐标为(r,c1)和(r,c2)；
2)根据深度图中心点的深度值的取值范围，求出(r,c1)和(r,c2)之后，对深度图的遍历限制在c1列和c2列内，实现车宽区域的划分；其中vehicle为车宽，r为深度图中心点的行坐标，c表示深度图中心点的行坐标，c1和c2分别表示深度图中车身区域对应的左列和右列；
地面移除处理模块；用于将获取到的深度图转换成对应的点云图，利用生成的点云图进行地面移除处理，以消除地面干扰造成的避障信号误触发现象，实现针对客观物体的避障操作；
障碍物检测与避障模块；用于点云图进行基于地面的障碍物检测，然后对车宽区域划分后的深度图进行避障操作，输出相应的避障信号。
作为本发明技术方案的进一步改进，所述的车宽区域对应的列的计算方法为：
计算深度图中任意一点到深度图中心点的物理距离与焦距的比值tan(θ)如下：
Figure BDA0002680931690000081
其中，dist为p1或p2点到深度图中心点p点的距离，depth为p1或p2点的深度值，center_depth为深度图中心点p的深度值，focal为相机的焦距，pixel为深度图的像元尺寸，dist与pixel的乘积表示p1或p2点到深度图中心点p的物理距离；
p1或p2点到深度图中心点p点的距离的计算公式为：
dist＝|c1(2)-c| (2)
联立公式(1)和(2)，当p点的坐标为(r＝depth.row/2-1，c＝depth.col/2-1)时得到：
Figure BDA0002680931690000082
Figure BDA0002680931690000083
depth.row表示深度图的行的值，depth.col表示深度图的列的值，c1(2)表示c1或c2的值；
所述的深度图中心点的深度值的取值范围的计算方法为：由0≤c≤depth.col-1得到tan(θ)的取值范围如下：
Figure BDA0002680931690000091
联立式(1)、(5)可得深度图中心点的深度值的取值范围如下：
Figure BDA0002680931690000092
由(6)式可知，进行车身区域划分的深度图中心点的深度值的取值范围。
作为本发明技术方案的进一步改进，根据所述的深度图中心点的深度值的取值范围，判断：
1a)如果深度图中心点的深度值在所述的取值范围内，则可以直接由公式(1)至(4)求出(r,c1)和(r,c2)；
1b)如果深度图中心点的深度值不在所述的取值范围内，则取深度图中心点周边的深度值在该取值范围内的像素点，通过公式(1)至(4)求出在取值范围内的中心深度值点，此时求出的深度图中心点的深度值不是实际的中心带点的深度值，而是为了方便求车宽区域而临时计算得到的，然后再求出(r,c1)和(r,c2)；
1c)如果深度图中不包括位于取值范围内的点，无法对深度值进行车宽区域划分，此时直接进行避障判断。
作为本发明技术方案的进一步改进，所述的数据采集预处理模块中TOF相机得到的数据处理包括以下步骤：
2a)对TOF相机的深度图进行渲染，将不同的深度值区域渲染成不同颜色，同时保留客观物体的轮廓，方便直观显示；
2b)对TOF相机的幅度图进行渲染，调整幅度图的整体亮度，方便实时查看；
2c)将处理后的深度图进行车宽区域划分，并转换成相应的点云图数据以进行地面区域滤除，最后进行避障判断；
所述的地面移除处理模块中利用生成的点云图进行地面移除处理的方法包括以下步骤：
3a)预处理；将深度图像进行幅度值滤波，滤除部分噪点，幅度值滤波的阈值可以自由设置，设置过大会滤除物体细节，设置过小起不到明显的噪点滤除作用，所以幅度值阈值设置要合理，不宜过大或过小；
3b)深度图转点云图；深度图到点云图的转换，是球面坐标系到三维坐标的变换过程，遍历深度图中的所有像素点，对每个像素点求出它到中心深度点的距离，然后计算与相机焦距的比值，进而求得对应的点云z坐标值，进行wiggling校正计算公式为：
Figure BDA0002680931690000101
其中，z(r,c)、depth(r,c)分别为该像素坐标下点云距离值、深度图的距离值；
3c)地面滤除；根据步骤(3b)中生成的点云图，利用RANSAC算法检测地面并滤除，该算法名为随机采样一致性算法，表示从包含“局外点”的数据集中，以迭代的方式去估算某个数学模型的参数，最终得到具有概率性质的结果，如果想让所得结果更加精确，就必须增加迭代次数；在实验中，不同的参数分割得到的地面也不一样，参数设置越大，距离相机越远的点也会被认为是地面点，这样会导致滤除部分障碍物的点云数据，不利于避障检测；但参数设置过小会导致地面数据的滤除效果不明显，这样地面的误触发现象得不到解决，实验中通过固定相机的高度和角度来确定最佳参数的选择，如果相机的角度和高度发生改变，则最佳参数的设置也会发生改变；
3d)对进行地面滤除后的点云图和进行了车宽区域划分后的深度图进行避障检测，针对不同的距离区域输出不同的信号，输出信号有四种，分别为“安全”、“警告”、“减速”、“停止”，实验中会预先设置好三种输出信号分别对应的距离区间，停止信号的区间为[0，500mm]，减速区间为(500mm,1500mm],警告区间为(1500mm,3000mm]，大于3000mm的距离则输出安全信号，针对不同距离区间的物体输出相应的信号。
本发明的优点在于：
选取经过幅度值滤波后的深度图中心点作为车宽区域划分的依据，求出车宽区域对应的列；根据深度图中心点的深度值的取值范围，求出(r,c1)和(r,c2)之后，对深度图的遍历限制在c1列和c2列内，实现车宽区域的划分；避障方法不需要对场景中的所有区域进行避障判断，只对车身内的区域进行避障判断，无关区域不做考虑，且TOF相机放置位置灵活，不需要放置在靠近障碍物的一端，提高了避障效率，可以实现对不同障碍物的识别并进行判断和处理，适合固定场景下的工程应用。
附图说明
图1是本发明实施例的一种基于TOF相机深度图和点云图的避障处理方法及系统的基于深度图的车宽区域效果展示；
图2是本发明实施例的一种基于TOF相机深度图和点云图的避障处理方法及系统滤出地面后的点云展示；
图3是本发明实施例的一种基于TOF相机深度图和点云图的避障处理方法及系统的算法设计流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：
实施例一
如图1-3所示，一种避障处理方法，包括如下步骤：
一种基于TOF相机深度图和点云图的避障处理方法，包括如下步骤：
步骤1：对TOF相机进行标定，固定相机的高度和角度，获取相机固定帧率下的实验数据，包括深度图、幅度图；
步骤2：对步骤1中的深度图进行车宽区域划分，滤除车宽以外的区域，车宽以外的区域不作为避障操作的考虑范围；
步骤3：将步骤1中获取到的深度图转换成对应的点云图，利用生成的点云图进行地面移除处理，以消除地面干扰造成的避障信号误触发现象，实现针对客观物体的避障操作；
步骤4：对步骤3中的点云图进行基于地面的障碍物检测，然后对步骤2中进行车宽区域划分后的深度图进行避障操作，输出相应的避障信号。
优选地，所述步骤1中所采用的TOF相机分辨率为240*320。
优选地，所述步骤1中采集到的TOF相机数据包括以下步骤：
(1a)TOF相机得到的数据会有所丢失，所以实验中要对获取到的深度图和幅度图进行裁剪，以统一分辨率，裁剪后的深度图和幅度图分辨率为240*288；
(1b)对裁剪后的深度图进行幅度值滤波，降低进行避障判断的噪声干扰；
(1c)对TOF相机的深度图进行渲染，将不同的深度值区域渲染成不同颜色，同时保留客观物体的轮廓，方便直观显示；
(1d)对TOF相机的幅度图进行渲染，调整幅度图的整体亮度，方便实时查看。
(1f)将处理后的深度图进行车宽区域划分，并转换成相应的点云图数据以进行地面区域滤除，最后进行避障判断。
所述步骤2中对步骤1中获取的深度图进行车宽区域划分的操作，主要包括以下步骤：
(2a)选取经过幅度值滤波后的深度图的中心点作为车宽区域划分的依据，求出车宽区域的列数，方法是：车宽是vehicle，找到与深度图中心点的物理距离为vehicle/2的两点p1和p2，p1和p2与中心点同行不同列，分别位于深度图中心点的左右两侧，令该两点的坐标分别为(r,c1)和(r,c2)，该两点到中心点的距离均为dist，深度值为depth，深度图中心点的深度值为center_depth，相机的焦距为focal，深度图的像元尺寸为pixel(像元尺寸表示一个像素点所占的物理距离)，dist与pixel的乘积表示点p1和p2到深度图中心点的物理距离，与焦距focal的比值即为tan(θ)，主要计算公式如下：
Figure BDA0002680931690000141
其中，dist为p1或p2点到深度图中心点p点的距离，depth为p1或p2点的深度值，center_depth为深度图中心点p的深度值，focal为相机的焦距，pixel为深度图的像元尺寸，dist与pixel的乘积表示p1或p2点到深度图中心点p的物理距离；
p1或p2点到深度图中心点p点的距离的计算公式为：
dist＝|c1(2)-c| (2)
联立公式(1)和(2)，当p点的坐标为(r＝depth.row/2-1，c＝depth.col/2-1)时得到：
Figure BDA0002680931690000142
Figure BDA0002680931690000143
depth.row表示深度图的行的值，depth.col表示深度图的列的值，c1(2)表示c1或c2的值；
所述的深度图中心点的深度值的取值范围的计算方法为：由0≤c≤depth.col-1得到tan(θ)的取值范围如下：
Figure BDA0002680931690000144
联立式(1)、(5)可得深度图中心点的深度值的取值范围如下：
Figure BDA0002680931690000145
由(6)式可知，进行车身区域划分的深度图中心点的深度值的取值范围。
在本实施例中，如果车宽为2m，则6式右边的值为1540mm，所以取值区间为[1540,3747]，这里的3747mm是指相机的背景值，也是最大深度值(这也是实验所用相机的最大测距值)，这里就有以下三种情况：
一、深度图中心点的深度值在该区间内，则可以直接求出(r,c1)和(r,c2)；
二、当深度图中心点的深度值不在该区间内(中心点深度值小于1540mm)，则可以取中心点周边深度值在该区间内的像素点，通过上述方法求出位于取值区间的中心深度值点(此时求出的中心深度值不是实际的中心深度值，只是为了方便求车宽区域而临时计算得到的)，然后再求出(r,c1)和(r,c2)；
三、深度图中没有位于取值区间内的点(即深度图中所有点的深度值都小于1540mm)，此时无法对深度值进行车宽区域划分(此时强行划分会导致坐标点越界，即出现列depth.col大于287或者为负数的情况)，直接进行避障判断；
在求出(r,c1)和(r,c2)之后，对深度图的遍历限制在c1列和c2列内，这样就实现了车宽区域划分。
所述步骤3中的基于点云的地面滤除操作包括以下步骤：
(3a)预处理。将深度图像进行幅度值滤波，滤除部分噪点，幅度值滤波的阈值可以自由设置，设置过大会滤除物体细节，设置过小起不到明显的噪点滤除作用，所以幅度值阈值设置要设置合理，不宜过大或过小。
(3b)深度图转点云图。深度图到点云图的转换，就是球面坐标系到三维坐标的变换过程，遍历深度图中的所有像素点，对每个像素点求出它到中心深度点的距离，然后计算与相机焦距的比值，进而求得对应的点云z坐标值，进行wiggling校正计算公式为：
Figure BDA0002680931690000161
其中，(r,c)为对应的像素坐标点坐标，z(r,c)、depth(r,c)分别为该像素坐标下点云距离值、深度图的距离值，p和f分别为相机的像元尺寸和焦距；
(3c)地面滤除。根据步骤(3b)中生成的点云图，利用RANSAC算法检测地面并滤除，该算法名为随机采样一致性算法，表示从包含“局外点”的数据集中，以迭代的方式去估算某个数学模型的参数，最终得到具有概率性质的结果，如果想让所得结果更加精确，就必须增加迭代次数。在实验中，不同的参数分割得到的地面也不一样，参数设置越大，距离相机越远的点也会被认为是地面点，这样会导致滤除部分障碍物的点云数据，不利于避障检测；但参数设置过小会导致地面数据的滤除效果不明显，这样地面的误触发现象得不到解决，实验中通过固定相机的高度和角度来确定最佳参数的选择，如果相机的角度和高度发生改变，则最佳参数的设置也会发生改变。
(3d)对进行地面滤除后的点云图和进行了车宽区域划分后的深度图进行避障检测，针对不同的距离区域输出不同的信号，输出信号有四种，分别为“安全”、“警告”、“减速”、“停止”，实验中会预先设置好三种输出信号分别对应的距离区间，停止信号的区间为[0，500mm]，减速区间为(500mm,1500mm],警告区间为(1500mm,3000mm]，大于3000mm的距离则输出安全信号，针对不同距离区间的物体输出相应的信号。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于TOF相机深度图和点云图的避障处理方法，其特征在于，包括如下步骤：
步骤1：对TOF相机进行标定，固定相机的高度和角度，获取相机固定帧率下的实验数据，包括深度图、幅度图，TOF相机得到的数据会有所丢失，实验中要对获取到的深度图和幅度图进行裁剪，以统一分辨率，对裁剪后的深度图进行幅度值滤波，降低进行避障判断的噪声干扰；
步骤2：对步骤1中的深度图进行车宽区域划分，滤除车宽以外的区域，车宽以外的区域不作为避障操作的考虑范围；
所述的深度图进行车宽区域划分的方法为：
1)选取经过幅度值滤波后的深度图中心点作为车宽区域划分的依据，求出车宽区域对应的列；深度图中心点的坐标为(r,c)，找出深度图中心点的物理距离为vehicle/2的两点p1和p2，p1和p2与深度图中心点同行不同列，分别位于深度图中心点的左右两侧，坐标为(r,c1)和(r,c2)；
2)根据深度图中心点的深度值的取值范围，求出(r,c1)和(r,c2)之后，对深度图的遍历限制在c1列和c2列内，实现车宽区域的划分；其中vehicle为车宽，r为深度图中心点的行坐标，c表示深度图中心点的行坐标，c1和c2分别表示深度图中车身区域对应的左列和右列；
步骤3：将步骤1中获取到的深度图转换成对应的点云图，利用生成的点云图进行地面移除处理，以消除地面干扰造成的避障信号误触发现象，实现针对客观物体的避障操作；
步骤4：对步骤3中的点云图进行基于地面的障碍物检测，然后对步骤2中进行车宽区域划分后的深度图进行避障操作，输出相应的避障信号。
2.根据权利要求1所述的一种基于TOF相机深度图和点云图的避障处理方法，其特征在于，所述的车宽区域对应的列的计算方法为：
计算深度图中任意一点到深度图中心点的物理距离与焦距的比值tan(θ)如下：
Figure FDA0002680931680000021
其中，dist为p1或p2点到深度图中心点p点的距离，depth为p1或p2点的深度值，center_depth为深度图中心点p的深度值，focal为相机的焦距，pixel为深度图的像元尺寸，dist与pixel的乘积表示p1或p2点到深度图中心点p的物理距离；
p1或p2点到深度图中心点p点的距离的计算公式为：
dist＝|c1(2)-c| (2)
联立公式(1)和(2)，当p点的坐标为(r＝depth.row/2-1，c＝depth.col/2-1)时得到：
Figure FDA0002680931680000022
Figure FDA0002680931680000023
depth.row表示深度图的行的值，depth.col表示深度图的列的值，c1(2)表示c1或c2的值。
3.根据权利要求2所述的一种基于TOF相机深度图和点云图的避障处理方法，其特征在于，所述的深度图中心点的深度值的取值范围的计算方法为：由0≤c≤depth.col-1得到tan(θ)的取值范围如下：
Figure FDA0002680931680000024
联立式(1)、(5)可得深度图中心点的深度值的取值范围如下：
Figure FDA0002680931680000025
由(6)式可知，进行车身区域划分的深度图中心点的深度值的取值范围。
4.根据权利要求3所述的一种基于TOF相机深度图和点云图的避障处理方法，其特征在于，根据所述的深度图中心点的深度值的取值范围，判断：
1a)如果深度图中心点的深度值在所述的取值范围内，则可以直接由公式(1)至(4)求出(r,c1)和(r,c2)；
1b)如果深度图中心点的深度值不在所述的取值范围内，则取深度图中心点周边的深度值在该取值范围内的像素点，通过公式(1)至(4)求出在取值范围内的中心深度值点，此时求出的深度图中心点的深度值不是实际的中心带点的深度值，而是为了方便求车宽区域而临时计算得到的，然后再求出(r,c1)和(r,c2)；
1c)如果深度图中不包括位于取值范围内的点，无法对深度值进行车宽区域划分，此时直接进行避障判断。
5.根据权利要求1所述的一种基于TOF相机深度图和点云图的避障处理方法，其特征在于，所述的步骤1中TOF相机得到的数据处理包括以下步骤：
2a)对TOF相机的深度图进行渲染，将不同的深度值区域渲染成不同颜色，同时保留客观物体的轮廓，方便直观显示；
2b)对TOF相机的幅度图进行渲染，调整幅度图的整体亮度，方便实时查看；
2c)将处理后的深度图进行车宽区域划分，并转换成相应的点云图数据以进行地面区域滤除，最后进行避障判断。
6.根据权利要求1所述的一种基于TOF相机深度图和点云图的避障处理方法，其特征在于，所述的步骤3中利用生成的点云图进行地面移除处理的方法包括以下步骤：
3a)预处理；将深度图像进行幅度值滤波，滤除部分噪点，幅度值滤波的阈值可以自由设置，设置过大会滤除物体细节，设置过小起不到明显的噪点滤除作用，所以幅度值阈值设置要合理，不宜过大或过小；
3b)深度图转点云图；深度图到点云图的转换，是球面坐标系到三维坐标的变换过程，遍历深度图中的所有像素点，对每个像素点求出它到中心深度点的距离，然后计算与相机焦距的比值，进而求得对应的点云z坐标值，进行wiggling校正计算公式为：
Figure FDA0002680931680000041
其中，z(r,c)、depth(r,c)分别为该像素坐标下点云距离值、深度图的距离值；
3c)地面滤除；根据步骤(3b)中生成的点云图，利用RANSAC算法检测地面并滤除，该算法名为随机采样一致性算法，表示从包含“局外点”的数据集中，以迭代的方式去估算某个数学模型的参数，最终得到具有概率性质的结果，如果想让所得结果更加精确，就必须增加迭代次数；在实验中，不同的参数分割得到的地面也不一样，参数设置越大，距离相机越远的点也会被认为是地面点，这样会导致滤除部分障碍物的点云数据，不利于避障检测；但参数设置过小会导致地面数据的滤除效果不明显，这样地面的误触发现象得不到解决，实验中通过固定相机的高度和角度来确定最佳参数的选择，如果相机的角度和高度发生改变，则最佳参数的设置也会发生改变；
3d)对进行地面滤除后的点云图和进行了车宽区域划分后的深度图进行避障检测，针对不同的距离区域输出不同的信号，输出信号有四种，分别为“安全”、“警告”、“减速”、“停止”，实验中会预先设置好三种输出信号分别对应的距离区间，停止信号的区间为[0，500mm]，减速区间为(500mm,1500mm],警告区间为(1500mm,3000mm]，大于3000mm的距离则输出安全信号，针对不同距离区间的物体输出相应的信号。
7.一种基于TOF相机深度图和点云图的避障处理系统，其特征在于，包括：
数据采集预处理模块；用于对TOF相机进行标定，固定相机的高度和角度，获取相机固定帧率下的实验数据，包括深度图、幅度图，TOF相机得到的数据会有所丢失，实验中要对获取到的深度图和幅度图进行裁剪，以统一分辨率，对裁剪后的深度图进行幅度值滤波，降低进行避障判断的噪声干扰；
车宽区域划分模块；用于对深度图进行车宽区域划分，滤除车宽以外的区域，车宽以外的区域不作为避障操作的考虑范围；
所述的深度图进行车宽区域划分的方法为：
1)选取经过幅度值滤波后的深度图中心点作为车宽区域划分的依据，求出车宽区域对应的列；深度图中心点的坐标为(r,c)，找出深度图中心点的物理距离为vehicle/2的两点p1和p2，p1和p2与深度图中心点同行不同列，分别位于深度图中心点的左右两侧，坐标为(r,c1)和(r,c2)；
2)根据深度图中心点的深度值的取值范围，求出(r,c1)和(r,c2)之后，对深度图的遍历限制在c1列和c2列内，实现车宽区域的划分；其中vehicle为车宽，r为深度图中心点的行坐标，c表示深度图中心点的行坐标，c1和c2分别表示深度图中车身区域对应的左列和右列；
地面移除处理模块；用于将获取到的深度图转换成对应的点云图，利用生成的点云图进行地面移除处理，以消除地面干扰造成的避障信号误触发现象，实现针对客观物体的避障操作；
障碍物检测与避障模块；用于点云图进行基于地面的障碍物检测，然后对车宽区域划分后的深度图进行避障操作，输出相应的避障信号。
8.根据权利要求7所述的一种基于TOF相机深度图和点云图的避障处理系统，其特征在于，所述的车宽区域对应的列的计算方法为：
计算深度图中任意一点到深度图中心点的物理距离与焦距的比值tan(θ)如下：
Figure FDA0002680931680000061
其中，dist为p1或p2点到深度图中心点p点的距离，depth为p1或p2点的深度值，center_depth为深度图中心点p的深度值，focal为相机的焦距，pixel为深度图的像元尺寸，dist与pixel的乘积表示p1或p2点到深度图中心点p的物理距离；
p1或p2点到深度图中心点p点的距离的计算公式为：
dist＝|c1(2)-c| (2)
联立公式(1)和(2)，当p点的坐标为(r＝depth.row/2-1，c＝depth.col/2-1)时得到：
Figure FDA0002680931680000062
Figure FDA0002680931680000063
depth.row表示深度图的行的值，depth.col表示深度图的列的值，c1(2)表示c1或c2的值；
所述的深度图中心点的深度值的取值范围的计算方法为：由0≤c≤depth.col-1得到tan(θ)的取值范围如下：
Figure FDA0002680931680000071
联立式(1)、(5)可得深度图中心点的深度值的取值范围如下：
Figure FDA0002680931680000072
由(6)式可知，进行车身区域划分的深度图中心点的深度值的取值范围。
9.根据权利要求8所述的一种基于TOF相机深度图和点云图的避障处理系统，其特征在于，根据所述的深度图中心点的深度值的取值范围，判断：
1a)如果深度图中心点的深度值在所述的取值范围内，则可以直接由公式(1)至(4)求出(r,c1)和(r,c2)；
1b)如果深度图中心点的深度值不在所述的取值范围内，则取深度图中心点周边的深度值在该取值范围内的像素点，通过公式(1)至(4)求出在取值范围内的中心深度值点，此时求出的深度图中心点的深度值不是实际的中心带点的深度值，而是为了方便求车宽区域而临时计算得到的，然后再求出(r,c1)和(r,c2)；
1c)如果深度图中不包括位于取值范围内的点，无法对深度值进行车宽区域划分，此时直接进行避障判断。
10.根据权利要求8所述的一种基于TOF相机深度图和点云图的避障处理系统，其特征在于，所述的数据采集预处理模块中TOF相机得到的数据处理包括以下步骤：
2a)对TOF相机的深度图进行渲染，将不同的深度值区域渲染成不同颜色，同时保留客观物体的轮廓，方便直观显示；
2b)对TOF相机的幅度图进行渲染，调整幅度图的整体亮度，方便实时查看；
2c)将处理后的深度图进行车宽区域划分，并转换成相应的点云图数据以进行地面区域滤除，最后进行避障判断；
所述的地面移除处理模块中利用生成的点云图进行地面移除处理的方法包括以下步骤：
3a)预处理；将深度图像进行幅度值滤波，滤除部分噪点，幅度值滤波的阈值可以自由设置，设置过大会滤除物体细节，设置过小起不到明显的噪点滤除作用，所以幅度值阈值设置要合理，不宜过大或过小；
3b)深度图转点云图；深度图到点云图的转换，是球面坐标系到三维坐标的变换过程，遍历深度图中的所有像素点，对每个像素点求出它到中心深度点的距离，然后计算与相机焦距的比值，进而求得对应的点云z坐标值，进行wiggling校正计算公式为：
Figure FDA0002680931680000081
其中，z(r,c)、depth(r,c)分别为该像素坐标下点云距离值、深度图的距离值；
3c)地面滤除；根据步骤(3b)中生成的点云图，利用RANSAC算法检测地面并滤除，该算法名为随机采样一致性算法，表示从包含“局外点”的数据集中，以迭代的方式去估算某个数学模型的参数，最终得到具有概率性质的结果，如果想让所得结果更加精确，就必须增加迭代次数；在实验中，不同的参数分割得到的地面也不一样，参数设置越大，距离相机越远的点也会被认为是地面点，这样会导致滤除部分障碍物的点云数据，不利于避障检测；但参数设置过小会导致地面数据的滤除效果不明显，这样地面的误触发现象得不到解决，实验中通过固定相机的高度和角度来确定最佳参数的选择，如果相机的角度和高度发生改变，则最佳参数的设置也会发生改变；
3d)对进行地面滤除后的点云图和进行了车宽区域划分后的深度图进行避障检测，针对不同的距离区域输出不同的信号，输出信号有四种，分别为“安全”、“警告”、“减速”、“停止”，实验中会预先设置好三种输出信号分别对应的距离区间，停止信号的区间为[0，500mm]，减速区间为(500mm,1500mm],警告区间为(1500mm,3000mm]，大于3000mm的距离则输出安全信号，针对不同距离区间的物体输出相应的信号。
CN202010962096.5A 2020-09-14 2020-09-14 一种基于tof相机深度图和点云图的避障处理方法及系统 Pending CN112116643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010962096.5A CN112116643A (zh) 2020-09-14 2020-09-14 一种基于tof相机深度图和点云图的避障处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010962096.5A CN112116643A (zh) 2020-09-14 2020-09-14 一种基于tof相机深度图和点云图的避障处理方法及系统

Publications (1)

Publication Number Publication Date
CN112116643A true CN112116643A (zh) 2020-12-22

Family

ID=73802554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010962096.5A Pending CN112116643A (zh) 2020-09-14 2020-09-14 一种基于tof相机深度图和点云图的避障处理方法及系统

Country Status (1)

Country Link
CN (1) CN112116643A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872355A (zh) * 2019-01-25 2019-06-11 哈工大机器人（合肥）国际创新研究院 一种基于深度相机的最短距离获取方法及装置
CN110879991A (zh) * 2019-11-26 2020-03-13 杭州光珀智能科技有限公司 一种障碍物识别方法及系统
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法
CN111354027A (zh) * 2018-12-21 2020-06-30 沈阳新松机器人自动化股份有限公司 一种移动机器人的视觉避障方法
EP3702731A1 (en) * 2017-10-26 2020-09-02 Guangzhou Xaircraft Technology Co., Ltd. Method for configuring navigation chart, obstacle avoidance method and device, terminal, unmanned aerial vehicle
CN111624622A (zh) * 2020-04-24 2020-09-04 库卡机器人(广东)有限公司 障碍物检测方法、装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3702731A1 (en) * 2017-10-26 2020-09-02 Guangzhou Xaircraft Technology Co., Ltd. Method for configuring navigation chart, obstacle avoidance method and device, terminal, unmanned aerial vehicle
CN111354027A (zh) * 2018-12-21 2020-06-30 沈阳新松机器人自动化股份有限公司 一种移动机器人的视觉避障方法
CN109872355A (zh) * 2019-01-25 2019-06-11 哈工大机器人（合肥）国际创新研究院 一种基于深度相机的最短距离获取方法及装置
CN110879991A (zh) * 2019-11-26 2020-03-13 杭州光珀智能科技有限公司 一种障碍物识别方法及系统
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法
CN111624622A (zh) * 2020-04-24 2020-09-04 库卡机器人(广东)有限公司 障碍物检测方法、装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUN ZHOU等: "A Fast Location and Pose Detection Method Based on Geometric Features of Inner and Outer Contours of Workpiece", 《2016 12TH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY》 *
王砥中: "基于ToF与视觉检测的四旋翼飞行器避障方法研究", 《万方学位论文数据库》 *

Similar Documents

Publication Publication Date Title
CN106650708B (zh) 一种自动驾驶障碍物视觉检测方法与系统
US10713507B2 (en) Object detecting apparatus, object detecting method, and computer program product
CN111436216B (zh) 用于彩色点云生成的方法和系统
CN111582080B (zh) 车辆360度环视监控实现方法及装置
CN110119698B (zh) 用于确定对象状态的方法、装置、设备和存储介质
CN109263637B (zh) 一种碰撞预测的方法及装置
CN112419385B (zh) 一种3d深度信息估计方法、装置及计算机设备
CN106681353A (zh) 基于双目视觉与光流融合的无人机避障方法及系统
CN111028350B (zh) 一种利用双目立体相机构建栅格地图的方法
US11410334B2 (en) Vehicular vision system with camera calibration using calibration target
US11127147B2 (en) Three-dimensional point cloud generation using a polarimetric camera in a drive assistance system equipped vehicle
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
CN112489106A (zh) 基于视频的车辆尺寸测量方法、装置、终端及存储介质
Lion et al. Smart speed bump detection and estimation with kinect
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
Ringaby et al. Scan rectification for structured light range sensors with rolling shutters
CN111332306A (zh) 一种基于机器视觉的交通道路感知辅助驾驶预警装置
JP6674959B2 (ja) 視差算出装置、ステレオカメラ装置、車両および視差算出方法
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
CN115546216B (zh) 一种托盘检测方法、装置、设备及存储介质
CN115100290B (zh) 交通场景下的单目视觉定位方法及装置、设备、存储介质
CN112116643A (zh) 一种基于tof相机深度图和点云图的避障处理方法及系统
CN102542563A (zh) 一种移动机器人前向单目视觉的建模方法
CN113553958A (zh) 一种高速公路绿化带检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201222

RJ01 Rejection of invention patent application after publication