CN112198529B - 参考平面调整及障碍物检测方法、深度相机、导航设备 - Google Patents

参考平面调整及障碍物检测方法、深度相机、导航设备 Download PDF

Info

Publication number
CN112198529B
CN112198529B CN202011061593.4A CN202011061593A CN112198529B CN 112198529 B CN112198529 B CN 112198529B CN 202011061593 A CN202011061593 A CN 202011061593A CN 112198529 B CN112198529 B CN 112198529B
Authority
CN
China
Prior art keywords
depth value
value
plane
depth
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011061593.4A
Other languages
English (en)
Other versions
CN112198529A (zh
Inventor
胡洪伟
梅健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opnous Smart Sensing & Ai Technology
Original Assignee
Opnous Smart Sensing & Ai Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opnous Smart Sensing & Ai Technology filed Critical Opnous Smart Sensing & Ai Technology
Priority to CN202011061593.4A priority Critical patent/CN112198529B/zh
Publication of CN112198529A publication Critical patent/CN112198529A/zh
Application granted granted Critical
Publication of CN112198529B publication Critical patent/CN112198529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开一种参考平面的调整方法、障碍物检测方法、深度相机以及导航设备,所述参考平面的调整方法包括:获取标准平面的标准深度值D0;采用深度相机对实际所在平面进行测量,获取测量深度值F1;根据所述测量深度值F1与所述标准深度值D0,获得所述深度相机的等效倾角α,所述等效倾角α为所述深度相机在垂直于传感面的平面内的等效倾角;根据所述等效倾角α与所述标准深度值D0,获得实际所在平面对应的参考平面的参考深度值D1。上述方法能够基于实际检测场景的环境干扰,获得更为准确的参考平面。

Description

参考平面调整及障碍物检测方法、深度相机、导航设备
技术领域
本申请涉及距离传感技术领域,具体涉及一种参考平面调整及障碍物检测方法、深度相机、地面导航设备。
背景技术
飞行时间(ToF,Time of Flight)相机通过传感器发出的脉冲信号从发射到接收的时间间隔或激光往返被测物体一次所产生的相位来实现对被测物体的距离、三维结构或三维轮廓的测量。ToF传感器可同时获得灰度图像和距离图像,广泛应用在体感控制、行为分析、监控、自动驾驶、人工智能、机器视觉和自动3D建模等诸多领域。
ToF相机被广泛使用在AGV(Automated Guided Vehicle)地面导航领域,例如应用于扫地机器人等。在进行地面导航时,会面临地面环境复杂的情况,例如地面不同区域的材质、场景不同,不同区域的反射率差异较大,使得多路径反射光等因素对测距的准确性造成较大的影响,从而无法准确识别地面位置,进而造成对障碍物的判断发生误差。
如何提高地面导航过程中,提高对障碍物检测的准确性,是目前亟待解决的问题。
发明内容
鉴于此,本申请提供一种参考平面调整方法、障碍物检测方法、深度相机以及地面导航设备,以解决现有技术中由于地面环境差异导致的地面障碍物检测不准确的问题。
本申请提供的一种参考平面的调整方法,包括:获取标准平面R的标准深度值D0;深度相机对实际所在平面进行测量,获取测量深度值F1;根据所述测量深度值F1与所述标准深度值D0,获得所述深度相机的等效倾角α,所述等效倾角α为所述深度相机在垂直于传感面的平面内的等效倾斜角度;根据所述等效倾角α与所述标准深度值D0,获得实际所在平面对应的参考平面的参考深度值D1。
可选的,确定所述等效倾角α的方法包括:根据所述测量深度值F1与所述标准深度值D0,获取像素特征值res1,其中
Figure GDA0003841327330000021
H为标准深度值D0对应的标准平面与深度相机之间的高度差;逐行计算像素坐标系下的像素行特征值res1_rowavg(i),res1_rowavg(i)为第i行的像素单元的像素特征值res1的算数平均值,i=1:row_size,row_size为ToF相机的像素行数;计算空间坐标系下的空间行特征值f1_rowavg(i),f1_rowavg(i)为第i行的像素单元对应的测量深度值的算数平均值;将像素行特征值res1_rowavg(i)与空间行特征值f1_rowavg(i)进行线性拟合,得到拟合函数res1_rowavg=k1·f1_rowavg+b1;根据所述拟合函数的斜率k1,计算得到所述等效倾角α,α=arctan(k1)。
可选的,根据等效倾角α和标准深度值D0,计算得到所述参考深度值:
Figure GDA0003841327330000022
可选的,还包括:根据深度相机所在平面的实际形貌特征,对所述参考平面进行补偿,获得补偿后的参考深度值D1’。
可选的,当实际地面具有凹陷或凸起时,将参考平面向深度相机的高度方向移动一补偿距离d,获得补偿后参考平面,所述补偿距离d大于或等于所述凹陷或凸起的高度。
可选的,补偿后参考平面对应的参考深度值
Figure GDA0003841327330000023
可选的,当所在平面与深度相机之间的高度差为H’,对所述参考平面进行补偿后的参考深度值
Figure GDA0003841327330000024
可选的,所述深度相机为ToF相机。
本申请还提供一种地面障碍物检测方法,包括:根据上述任一项所述的方法,获得所在地面对应的参考深度值;进行距离检测,将被测位置处的实测深度值与对应的参考深度值进行比较;若实测深度值大于或等于所述参考深度值,则以一特征值替代所述实测深度值,将对应位置标记为可通行区域。
可选的,还包括:若实测深度值小于所述参考深度值,则将对应位置处的实测深度值作为障碍物的深度值。
本申请还提供一种深度相机,包括:检测模块,用于获取检测信号;处理器,用于控制所述检测模块进行距离检测,以及根据检测信号获取测量深度值;存储模块,用于存储标准深度值和特征值,所述特征值用于标记可通行区域,所述存储模块内还存储有用于被所述处理器执行的计算机程序,所述计算机程序被所述处理器运行时能够实现如上述任一项所述的参考平面的调整方法,获取参考深度值。
可选的,所述计算机程序被所述处理器运行时还能够执行如下步骤:控制所述检测模块进行距离检测,获取检测信号;根据所述检测信号获得被测位置处的实测深度值;将所述实测深度值与对应的参考深度值进行比较;若实测深度值大于或等于所述参考深度值,则以一特征值替代所述实测深度值,将对应位置标记为可通行区域。
可选的,还包括:若实测深度值小于所述参考深度值,则将对应位置的实测深度值作为障碍物的深度值。
本申请还提供一种地面导航设备,包括如上述任一项所述的深度相机。
本申请的参考平面的调整方法,基于不受干扰的标准平面的标准深度值,结合深度相机的等效倾角,获得修正后的参考平面及对应的参考深度值,所述参考平面能够更为准确表征所在平面,避免测量环境对深度相机所在平面的辨识准确性的影响。进一步的,还可以对参考平面进行补偿,结合平面的形貌特征,将参考平面进行平移,以忽略起伏较小的形貌变化。
本申请的障碍物检测方法,利用参考平面表征实际地面,由于参考深度值不受测量环境干扰,从而可以提高对于地面上障碍物检测的准确性,并且通过参数的标定,区分障碍物和可通行区域,算法简单,易于实现。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a和图1b为本申请一实施例的ToF相机测距的示意图;
图2为本申请一实施例的参考平面的调整方法的流程示意图;
图3为本申请一实施例的获取标准平面的标准深度的示意图;
图4为本申请一实施例的深度相机具有等效倾角时的示意图;
图5a为本申请一实施例的像素坐标系内的像素特征值的分布示意图;
图5b为本申请一实施例的空间坐标系内的像素行特征值与空间行特征值的曲线示意图;
图6为本申请一实施例的地面障碍物检测方法的流程示意图;
图7为本申请一实施例的深度相机进行地面障碍物检测的示意图;
图8为本发明一实施例的深度相机进行地面障碍物检测的示意图;
图9为本发明一实施例的深度相机进行地面障碍物检测的示意图;
图10a和图10b为本申请一实施例中的实际测距效果示意图;
图11为本申请一实施例中的深度相机的结构示意图。
具体实施方式
如背景技术中所述,现有技术中,由于地面材质及地面场景的复杂性,相应的地面辨识算法开发难度较大,特别是靠近地面的位置处,反射率分布较为复杂,且存在显著的多路径反射等因素,对于深度相机的深度测量会带来较大的误差,特别是对于通过检测光和反射光之间飞行时间差进行测距的ToF相机,更是会带来较为显著的测量误差,使得无法准确识别地面位置,进而对障碍物的高度测量发生偏差。
请参考图1a和图1b,为ToF相机的结构示意图。
所述ToF相机包括光源模块11和传感模块12,光源模块11用于向被测物体M发出检测光,传感模块12用于接收检测光到达被测物体M表面后的反射光,根据检测光发出并被反射后被接收的时间,可以计算被测物体与深度相机之间的距离。
图1a为检测光直接到达被测物体M被反射后被传感模块12接收,光线传播的时间与深度相机和被测物体M之间的距离对应。而图1b中,在被测物体M周围存在其他物体,例如存在物体N时,部分检测光到达物体N表面被反射后,再到达被测物体M表面,经反射后被传感模块12接收。此时,传感模块12接收到的光线中,部分经过了多个路径的反射,导致测量结果偏大。这种情况通常发生在物体N表面反射率大于物体M反射率时,多路径反射的光强较大,对测量结果影响较大。
而地面辨识的准确性,决定了对深度相机所在平面上的障碍物判断的准确性,面对场景复杂的情况,辨识算法面临较大的开发难度。发明人发现,可以通过外参标定的参考深度值,以所述参考深度值对应的参考平面表征深度相机所在的平面,将实测深度值与参考深度值作比较,根据比较结果,通过特征值标定将所在平面与障碍物进行分离,从而使得障碍物识别不受地面场景的影响,提高障碍物识别的准确性。
进一步研究发现,由于测量场景的复杂环境,标定的参考平面与实际所在平面之间会存在一定的倾角,例如深度相机的安装误差、安装有深度相机的设备不同位置处受到压力影响,会使得深度相机的传感平面与所在平面之间的夹角偏离了标定时传感平面与参考平面之间的相对夹角,从而使得当前的参考平面的深度值无法代表所在平面的深度值;或者,由于实际测量过程中,由于MPI(多路径反射)或散射等问题,使得实际检测到的所在平面与参考平面之间存在一定的倾斜角,等效于深度相机发生了倾斜。以上情况,都会导致参考平面偏离实际的所在平面,无法准确进行所在平面与障碍物之间的区分。
因此,需要进一步在实际检测过程中,对参考平面进行调整。
为了解决上述问题,本发明提供一种新的参考平面的调整方法。
下面结合附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,下述各个实施例及其技术特征可以相互组合。
请参考图2,为本发明一实施例的参考平面的调整方法的流程示意图。
该实施例中,所述参考平面的调整方法包括如下步骤:
步骤S201:获取标准平面的标准深度值D0。
所述标准深度值的获取方法包括:选定一标准平面R,固定深度相机位置于标定位置处,检测所述标准平面R各位置处的深度,获取所述标准深度值D0,并保存。
所述标准平面R为平整的平面且检测得到的标准深度值不受外部环境干扰,即所述标准深度值D0基本不受MPI、反射率或散射光等影响,能够准确反映与所述深度相机具有该特定相对位置的平面的实际深度。所述深度相机可以为ToF相机、结构光深度相机、RGB双目相机等具有深度测量功能的相机。
请参考图3,本发明一实施例的检测标准平面的标准深度数据的示意图。所述标准平面R为一平整地面,表面各位置处反射率均一致,且所述标准平面R的被测区域内无其他物体或反射面存在,以消除外部环境对测量得到的标准深度值D0的影响。
固定深度相机,该实施例中,采用ToF相机301作为深度相机,相比与其他类型的深度相机,外部环境对于ToF相机的深度检测的结果影响尤为突出。所述ToF相机301可以是一相机模组,也可以装配于一电子设备上。将深度相机固定于标定位置,所述标定位置与实际地面导航设备中,深度相机与地面的相对设定位置对应。该实施例中,以获取表征地面的标准平面作为示例,ToF相机301位于标定位置处时,传感平面垂直于所述标准平面R,ToF相机301与标准平面R之间的垂直距离为H。所述垂直距离具体是指ToF相机301的传感平面的中心与所述标准平面R之间的高度差为H。在其他实施例中,所述标定位置还可以根据具体实际情况进行设置。
ToF相机301的传感模块包括像素阵列,每个像素阵列对应于标准平面R的一个位置,在像素位置固定,ToF相机301高度H固定的情况下,标准平面R上各位置处于对应像素之间的距离为一确定值。通过所述ToF相机301获取所述标准平面R各位置处的深度数据,进行保存,作为标准平面R的标准深度值D0。
步骤S202:采用深度相机对实际所在平面进行测量,获取测量深度值F1。
所述测量深度值F1仅对应于实际所在平面内不存在障碍物处的测量深度值。
步骤S203:根据所述测量深度值F1与所述标准深度值D0,获得所述深度相机的等效倾角α。
所述等效倾角α为所述深度相机在垂直于所述深度相机传感面的平面内相对于标定位置的倾斜角度。所述传感面为深度相机像素阵列表面。
请参考图4,为本发明一实施例的深度相机存在等效倾角的示意图。
该实施例中,以ToF相机作为示例,ToF相机的传感平面与固定轴方向平行,与标定位置之间存在等效倾角α,所述等效倾角α可以是安装过程的安装误差、或者安装有所述深度相机的设备发生倾斜等产生的实际倾斜角;也可能是由于检测场景环境造成ToF相机对实际平面检测获得的检测平面,相对于实际平面产生的倾斜角,从而等效于ToF相机发生倾斜产生的等效倾斜角。
可以通过对所在平面的检测获得的测量深度值F1与所述标准深度值D0,得到所述等效倾角α的大小。
在一个实施例中,获得所述等效倾角α的方法如下:
步骤1:获取像素特征值res1,其中
Figure GDA0003841327330000081
H为标准深度值D0对应的标准平面R与深度相机中心之间的高度差。其中,res1表征各像素的测量深度值F与标准深度值D0在垂直于标准平面方向上的偏移量。可以对每一个像素,或者目标区域内的像素计算其像素特征值res1。
步骤2:逐行计算像素坐标系下的像素行特征值res1_rowavg(i),res1_rowavg(i)为第i行内的像素单元的像素特征值res1的算数平均值,具体计算公式如下:
Figure GDA0003841327330000082
其中i为行数,j为第i行像素行内选中的第j个像素,n小于等于一个像素行内的像素总数。可以挑选第i行像素行内的至少两个以上像素的像素特征值,以获得所述像素行特征值res1_rowavg(i)。
可以对像素阵列内的各行像素均进行计算得到每一个像素行对应的像素行特征值,i=1:row_size,row_size为ToF相机的像素行数,逐行计算,获得各个像素行对应的像素行特征值res1_rowavg;也可以仅对其中特定的若干像素行的特征值进行计算得到对应于特定行的像素行的若干像素行特征值,即i取1~row_size中的若干值,获得若干像素行的像素行特征值。
步骤3:逐行计算空间坐标系下的空间行特征值f1_rowavg(i),f1_rowavg(i)为第i行内的像素单元对应的测量深度值F1的算数平均值。
具体计算公式如下:
Figure GDA0003841327330000083
其中,i为行数,F1(j)为第i行像素行内选中的第j个像素对应的测量深度值,n小于等于一个像素行内的像素总数。可以挑选像素行内的至少两个以上像素对应的测量深度值F1,以获得所述空间行特征值f1_rowavg(i)。
可以对像素内的所有像素行均计算得到对应的空间行特征值,i=1:row_size,row_size为ToF相机的像素行数,逐行计算,获得各个像素行对应的空间行特征值f1_rowavg;也可以仅对其中特定的若干像素行的特征值进行计算得到对应于特定行的空间行特征值,即i取1~row_size中的若干值,获得若干像素行对应的空间行特征值。
计算所述空间行特征值f1_rowavg与计算所述像素行特征值res1_rowavg所选择的像素行及像素单元一致。优选的,选择对应空间位置处不存在障碍物的像素行进行计算,此时同一行内的像素单元对应的测量深度值较为接近。
步骤4:将像素行特征值res1_rowavg(i)与空间行特征值f1_rowavg(i)进行线性拟合,得到拟合函数:
res1_rowavg=k1·f1_rowavg+b1。
优选的,所述线性拟合可以采用最小二乘法进行。可以将像素阵列内所有像素行对应的像素行特征值和空间行特征值进行线性拟合,得到上述拟合函数;也可以仅选择其中特定的若干像素行对应的像素行特征值和空间行特征值进行拟合得到上述拟合函数,以提高计算效率。
步骤5:根据所述斜率k1,得到所述等效倾角α=arctan(k1)。
在其他实施例中,也可以根据其他计算方式得到所述等效倾角α的值。
请参考图5a,为一个实施例中,获取的像素空间内的像素特征值res1的分布示意图;图5b为像素坐标系内的像素行特征值res1_rowavg与空间坐标系内的空间行特征值f1_rowavg的曲线示意图,res1_rowavg和f1_rowavg呈线性关系,通过线性拟合得到拟合曲线
res1_rowavg=0.097934·f1_rowavg+1.1266,得到斜率k1=0.097934,等效倾角α=5.5914°。
步骤S204:根据所述等效倾角α与所述标准深度值D0,获得实际所在平面对应的参考平面及所述参考平面的参考深度值D1。
由于存在所述等效倾角α,使得所述标准平面及其标准深度值D0无法准确表征实际地面的深度信息,进而需要基于所述标准平面R,获取能够表征实际所在平面的参考平面。通过标准深度值D0得到所述参考平面的参考深度值D1,所述参考深度值D1同样不受检测环境的影响,能够准确体现实际所在平面的实际深度值。
请参考图4,标定位置下,ToF相机传感面垂直于标准平面R,此时可以用标准平面R代表实际平面;而在实际测量过程中,处于倾斜位置,具有等效倾角α。此时,所述ToF相机在倾斜状态下对应的标准平面R已经无法表征ToF相机所在的实际平面,需要根据所述等效倾角α以及标准深度值D0,获得所述参考深度值D1。
根据图4,存在几何关系
Figure GDA0003841327330000101
由于
Figure GDA0003841327330000102
所以可以得到:
Figure GDA0003841327330000103
进一步的可以简化为:
Figure GDA0003841327330000104
在一些实施例中,还包括:根据深度相机所在平面的实际形貌特,对所述参考平面进行补偿,获得补偿后的参考深度值D1’。
在一些实施例中,由于地面存在一些起伏,例如一些较低幅度的凸起或凹陷。在实际的地面导航应用中,这些地面的凹陷或凸起需要被忽略。例如,在扫地机器人的应用场景内,地面通常会存在地毯、地砖缝隙、门框等较小高度的地面凸起,这些区域需要扫地机器人正常通过,不能被识别为障碍物。可以通过对参考平面进行补偿,使得所述凸起或凹陷均位于补偿后的参考平面下方,不被识别为障碍物。当实际地面具有凹陷或凸起时,将参考平面向深度相机的高度方向移动一补偿距离d获得补偿后参考平面,所述补偿距离d大于或等于所述凹陷或凸起的高度。补偿后参考平面对应的参考深度值D1’,
Figure GDA0003841327330000111
所述补偿距离d可以为一可调参数,根据地面实际情况进行动态调整。例如在地面造成较大(平整度较差)的情况下,可设置d=10mm,将参考平面抬高10mm;在地面平整度较高的区域,适当降低所述补偿距离,例如设置d=5mm。
在一些实施例中,当深度相机与所在平面之间的距离为H’,对所述参考平面进行补偿后的参考深度值
Figure GDA0003841327330000112
上述标准平面、参考平面均可以为水平平面,还可以为倾斜平面,可以根据实际情况进行设置。
通过上述参考平面的调整方法,根据不受环境干扰的标准深度D0得到能够代表深度相机所在平面的实际深度的参考平面及其参考深度值D1或补偿后参考平面及其补偿后参考深度值D1’。
基于上述参考平面的调整方法,本发明的实施例还提供一种地面障碍物检测方法。
请参考图6,所述地面障碍物检测方法包括如下步骤:
步骤S601:获得所在地面对应的参考深度值。
所述参考深度值的方法可以根据上述实施例中所述的参考平面的调整方法获得。
步骤S602:进行距离检测。
利用深度相机,例如ToF相机,在实际测量场景中进行距离检测,以获取检测视场内各位置处的被测物的实测深度值。
步骤S603:将被测位置处的实测深度值与对应的参考深度值进行比较。
由于所述参考深度值对应于参考平面,所述参考平面相当于外部标定的排除了环境干扰的参考地面,将实测深度值与参考深度值比较,即将被测物体距离与参考地面进行比较,将被测物体中的实际障碍物与参考地面进行区分。
步骤S604:判断实测深度值是否小于参考深度值。
若否,则执行步骤S605:以一特征值替代所述实测深度值,将对应位置标记为可通行区域。
当实测深度值等于参考深度值时,表明该位置高度与参考平面高度一致,为地面;实测深度值大于参考深度值时,对应的情况可能包括:该位置处为地面,但是由于受到多路径反射光或其他因素干扰,使得实测深度值大于地面的实际深度值,因此,实测深度值偏大,导致检测出的地面发生凹陷误差。为了解决这个问题,以一特征值替代所述实测深度值,使得整个实际地面均对应于一相同的特征值,通过所述特征值将检测到的实际地面标记为可通行区域。在根据实测深度值进行的灰度或色彩渲染获得的距离检测图中,由于实际地面处的实测深度值均由特征值替代,灰度或颜色同一,而其他区域与特征值不同的测量深度,显示不同的灰度或色彩,即为障碍物,因此,能够将障碍物与实际地面进行明显的区分。整个距离检测深度图中,仅显示出障碍物,而实际地面则作为背景。在一个实施例中,所述特征值为0,测量深度值大于0的位置即为障碍物,能够提高障碍物识别的准确性。在其他实施例中,所述特征值也可以设置为其他值,在此不作限定。
若实测深度值小于参考深度值,则执行步骤S606:以该位置处的实测深度值作为障碍物的深度值。当实测深度值小于参考深度值时,表示该位置处存在障碍物,阻挡了检测光的飞行,从而导致实测深度值较小。因此,若实测深度值小于参考深度值时,可以将实测深度值作为障碍物的深度值,根据所述深度值,可以判断障碍物的高度及水平距离。
上述方案通过参考平面的参考深度值的标定,为实际测量场景设定一标定的参考地面,从而避免测量环境对地面辨识的影响,进而提高对于障碍物检测的准确性,并且通过参数的标定,算法简单,易于实现。
请参考图7,为本发明一实施的地面障碍物检测示意图。
该实施例中,实际地面M为一平整平面,且与ToF相机601之间的竖直距离为H。
由于实际地面M上存在多个物体,例如包括物体A以及物体N,各个物体导致的多路径反射,会导致对实际地面的测量深度值偏大,使得测量地面P出现低于实际地面M的情况。
通过上述具体实施例中的参考平面的调整方法,获取实际地面M对应的参考深度值。该实施例中,当实测深度值大于或等于对应的参考深度值时,以特征值替代所述实测深度值,消除了外部环境对检测结构的干扰。以参考平面的参考深度值作为实际地面M的测量深度值,可以排除外界对于地面检测的干扰。
当检测到障碍物,例如物体A时,原本对应的地面位置为点C,当物体A存在时,由于物体A对检测光的阻挡,使得对应像素获得的实测深度值,小于点C对应的参考深度值。因此,当实测深度值小于参考深度值时,保留该实测深度值作为测量深度值。
通过上述方法,可以实现障碍物与地面的分离,不受复杂地面材质以及周边环境的影响,从而实现对障碍物的准确识别。
当被测区域的地面具有一定高度的凸起,或凹陷的情况下,在实际的地面导航应用中,这些地面的凹陷或凸起需要被忽略。例如,在扫地机器人的应用场景内,地面通常会存在地毯、地砖缝隙、门框等较小高度的地面凸起,这些区域需要扫地机器人正常通过,不能被识别为障碍物。可以通过调整参考平面的高度,避免将所述凸起或凹陷识别为障碍物。
请参考图8,为本发明另一实施例的地面障碍物检测的示意图。
该实施例中,实际地面M具有凸起701,凸起高度为d1。将根据等效倾角α调整后的用于表征实际地面M的参考平面抬高d1,形成补偿后参考平面M’,以补偿后参考平面M’作为参考地面,相当于将地面抬高了d1。
在实际测量过程中,仅有高度高于所述补偿后参考平面M’的物体被认为是障碍物。由于所述补偿后参考平面M’高于实际地面M,因此,物体A的测量高度为实际高度减去高度差d1。由于障碍物通常高度较大,虽然测量高度偏小,但是并不会对障碍物的判断造成影响。
在其他实施例中,在地面具有多个凸起的情况下,可以将高度差D1设置为与最高凸起高度一致,或略大于所述最高凸起高度。
请参考图9,为本发明另一实施例的地面障碍物检测的示意图。
该实施例中,实际地面M,具有一凹陷801,凹陷的深度为d2。将根据等效倾角α调整后的用于表征实际地面M的参考平面抬高d2,形成补偿后参考平面M’。
当ToF相机601位于实际地面M的平坦位置处时,ToF相机601的补偿后参考平面M’高于实际地面,能够屏蔽整个实际地面,包括所述凹陷801。
当ToF相机601移动至凹陷801内时,例如移动至所述凹陷801的最低处时。此时,所述补偿后参考平面M’跟随ToF相机下降至实际地面M处,能够将实际地面M屏蔽掉,避免将凹陷801外部的实际地面M检测为障碍物。
在其他具体实施方式中,为了能够将ToF相机601进入凹陷801内时,能够将实际地面完全屏蔽,可以将ToF相机601的补偿后参考平面M’抬高d2以上的距离。
本发明的其他实施例中,可以在ToF相机601移动过程中,根据实际地面的形貌情况,动态的对参考平面进行补偿。
请参考图10a和图10b,为本发明一实施例中的实际测距效果示意图。
该实施例,对于一采用不同颜色的瓷砖地面的棋盘格地面环境,采用常规的测距方法测量得到的测量深度值经过灰度渲染之后得到的深度图如图10a所示,地面上由于不同颜色的瓷砖反射率的差异,以及瓷砖缝隙位置处,由于多路径反射等因素,导致地面各位置处测量距离随瓷砖颜色发生周期变化,且由于瓷砖对于地面电线的反射投影,使得地面上出现电线的投影。
请参考图10b,采用本发明的方法,通过ToF相机的参考平面的参考深度值的标定,在测量过程中屏蔽了地面的材质、反射率等因素的影响,消除了电线的倒影,能够将电线从实际地面分离开,准确识别出地面上的电线。
本发明的实施例还提供一种深度相机。
请参考图11,为本发明一实施例的深度相机的结构示意图。
所述深度相机包括存储模块1001、检测模块1002、以及处理器1003。
所述检测模块1002,用于获取被测位置处的距离检测信号;所述处理器1003用于根据所述距离检测信号获取被测位置处的测量深度值。
该实施例中,所述深度相机为ToF相机,所述检测模块1002包括发光单元和传感单元,发光单元用于发射检测光,传感单元用于接收检测光的反射光。通过检测光的飞行时间,可以获得被测位置的实测深度值。在其他实施例中,根据深度相机的类型不同,所述检测模块还可以具有其他结构。
所述存储模块1001,用于存储标准深度值和特征值,所述特征值用于标记可通行区域,所述存储模块1001内还存储有用于被所述处理器1003执行的计算机程序,所述计算机程序被所述处理器1003运行时能够实现上述实施例中所述的参考平面的调整方法,根据处理器1003获得的测量深度值和标准深度值,获取参考深度值。
在一些实施例中,所述计算机程序被所述处理器1003运行时还能够执行如下步骤:控制所述检测模块1002进行距离检测;将被测位置处的实测深度值与对应的参考深度值进行比较;若实测深度值大于或等于所述参考深度值,则以一特征值替代所述实测深度值,将对应位置标记为可通行区域。若实测深度值小于所述参考深度值,则将对应位置的实测深度值作为障碍物的深度值。
上述深度相机能够准确分离障碍物和地面,提高障碍物识别的准确性。
本发明的实施例还提供一种地面导航设备,包括上述实施例中所述的深度相机,能够在地面导航过程中,准确识别障碍物,应用于复杂的地面场景。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,例如各实施例之间技术特征的相互结合,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种参考平面的调整方法,其特征在于,包括:
获取标准平面的标准深度值D0;
采用深度相机对实际所在平面进行测量,获取测量深度值F1;
根据所述测量深度值F1与所述标准深度值D0,获得所述深度相机的等效倾角α,所述等效倾角α为所述深度相机在垂直于传感面的平面内的等效倾斜角度;
根据所述等效倾角α与所述标准深度值D0,获得实际所在平面对应的参考平面的参考深度值D1;
其中,确定所述等效倾角α的方法包括:根据所述测量深度值F1与所述标准深度值D0,获取像素特征值res1,其中
Figure FDA0003841327320000011
H为标准深度值D0对应的标准平面与深度相机之间的高度差;逐行计算像素坐标系下的像素行特征值res1_rowavg(i),res1_rowavg(i)为第i行的像素单元的像素特征值res1的算数平均值;逐行计算空间坐标系下的空间行特征值f1_rowavg(i),f1_rowavg(i)为第i行的像素单元对应的测量深度值的算数平均值;将像素行特征值res1_rowavg(i)与空间行特征值f1_rowavg(i)进行线性拟合,得到拟合函数res1_rowavg=k1·f1_rowavg+b1;根据所述拟合函数的斜率k1,计算得到所述等效倾角α,α=arctan(k1)。
2.根据权利要求1所述的参考平面的调整方法,其特征在于,根据等效倾角α和标准深度值D0,计算得到所述参考深度值D1:
Figure FDA0003841327320000012
3.根据权利要求1所述的参考平面的调整方法,其特征在于,还包括:根据深度相机所在平面的实际形貌特征,对所述参考平面进行补偿,获得补偿后的参考深度值D1’。
4.根据权利要求3所述的参考平面的调整方法,其特征在于,当实际地面具有凹陷或凸起时,将参考平面向深度相机的高度方向移动一补偿距离d,获得补偿后参考平面,所述补偿距离d大于或等于所述凹陷或凸起的高度。
5.根据权利要求4所述的参考平面的调整方法,其特征在于,补偿后参考平面对应的参考深度值
Figure FDA0003841327320000021
6.根据权利要求3所述的参考平面的调整方法,其特征在于,当所在平面与深度相机之间的高度差为H’,对所述参考平面进行补偿后的参考深度值
Figure FDA0003841327320000022
7.根据权利要求1所述的参考平面的调整方法,其特征在于,所述深度相机为ToF相机。
8.一种地面障碍物检测方法,其特征在于,包括:
根据权利要求1至7中任一项所述的方法,获得所在地面对应的参考深度值;
进行距离检测,将被测位置处的实测深度值与对应的参考深度值进行比较;
若实测深度值大于或等于所述参考深度值,则以一特征值替代所述实测深度值,将对应位置标记为可通行区域。
9.根据权利要求8所述的地面障碍物检测方法,其特征在于,还包括:若实测深度值小于所述参考深度值,则将对应位置处的实测深度值作为障碍物的深度值。
10.一种深度相机,其特征在于,包括:
检测模块,用于获取检测信号;
处理器,用于控制所述检测模块进行距离检测,以及根据检测信号获取测量深度值;
存储模块,用于存储标准深度值和特征值,所述特征值用于标记可通行区域,所述存储模块内还存储有用于被所述处理器执行的计算机程序,所述计算机程序被所述处理器运行时能够实现如权利要求1至7中任一项所述的参考平面的调整方法,获取参考深度值。
11.根据权利要求10所述的深度相机,其特征在于,所述计算机程序被所述处理器运行时还能够执行如下步骤:根据所述检测信号获得被测位置处的实测深度值;将所述实测深度值与对应的参考深度值进行比较;若实测深度值大于或等于所述参考深度值,则以一特征值替代所述实测深度值,将对应位置标记为可通行区域。
12.根据权利要求11所述的深度相机,其特征在于,还包括:若实测深度值小于所述参考深度值,则将对应位置的实测深度值作为障碍物的深度值。
13.一种地面导航设备,其特征在于,包括如权利要求11至12中任一项所述的深度相机。
CN202011061593.4A 2020-09-30 2020-09-30 参考平面调整及障碍物检测方法、深度相机、导航设备 Active CN112198529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011061593.4A CN112198529B (zh) 2020-09-30 2020-09-30 参考平面调整及障碍物检测方法、深度相机、导航设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011061593.4A CN112198529B (zh) 2020-09-30 2020-09-30 参考平面调整及障碍物检测方法、深度相机、导航设备

Publications (2)

Publication Number Publication Date
CN112198529A CN112198529A (zh) 2021-01-08
CN112198529B true CN112198529B (zh) 2022-12-27

Family

ID=74013588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011061593.4A Active CN112198529B (zh) 2020-09-30 2020-09-30 参考平面调整及障碍物检测方法、深度相机、导航设备

Country Status (1)

Country Link
CN (1) CN112198529B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115017B (zh) * 2021-03-05 2022-03-18 上海炬佑智能科技有限公司 3d成像模组参数检验方法以及3d成像装置
CN115423877A (zh) * 2022-08-12 2022-12-02 奥比中光科技集团股份有限公司 一种标定方法、标定系统、深度相机及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865846A (zh) * 2005-05-17 2006-11-22 恪纳腾技术公司 动态参考平面补偿
CN102467821A (zh) * 2010-11-04 2012-05-23 北京汉王智通科技有限公司 基于视频图像的路面距离检测方法及装置
CN106687821A (zh) * 2014-06-05 2017-05-17 软银机器人欧洲公司 利用水平平面探测障碍物的装置以及实施所述装置的探测方法
CN106767933A (zh) * 2017-02-10 2017-05-31 深圳奥比中光科技有限公司 深度相机误差的测量系统、测量方法、评价方法及补偿方法
CN108955584A (zh) * 2017-05-23 2018-12-07 上海汽车集团股份有限公司 一种路面探测方法及装置
CN109059795A (zh) * 2018-06-29 2018-12-21 歌尔股份有限公司 深度测量方法、深度测量装置及拍摄设备
CN109147027A (zh) * 2018-08-31 2019-01-04 金钱猫科技股份有限公司 基于参考平面的单目图像三维重建方法、系统及装置
CN109272556A (zh) * 2018-08-31 2019-01-25 青岛小鸟看看科技有限公司 一种飞行时间tof相机的标定方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825499A (zh) * 2016-03-09 2016-08-03 京东方科技集团股份有限公司 基准平面的确定方法和确定系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865846A (zh) * 2005-05-17 2006-11-22 恪纳腾技术公司 动态参考平面补偿
CN102467821A (zh) * 2010-11-04 2012-05-23 北京汉王智通科技有限公司 基于视频图像的路面距离检测方法及装置
CN106687821A (zh) * 2014-06-05 2017-05-17 软银机器人欧洲公司 利用水平平面探测障碍物的装置以及实施所述装置的探测方法
CN106767933A (zh) * 2017-02-10 2017-05-31 深圳奥比中光科技有限公司 深度相机误差的测量系统、测量方法、评价方法及补偿方法
CN108955584A (zh) * 2017-05-23 2018-12-07 上海汽车集团股份有限公司 一种路面探测方法及装置
CN109059795A (zh) * 2018-06-29 2018-12-21 歌尔股份有限公司 深度测量方法、深度测量装置及拍摄设备
CN109147027A (zh) * 2018-08-31 2019-01-04 金钱猫科技股份有限公司 基于参考平面的单目图像三维重建方法、系统及装置
CN109272556A (zh) * 2018-08-31 2019-01-25 青岛小鸟看看科技有限公司 一种飞行时间tof相机的标定方法和装置

Also Published As

Publication number Publication date
CN112198529A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112198526A (zh) 参考平面调整及障碍物检测方法、深度相机、导航设备
US11602850B2 (en) Method for identifying moving object in three-dimensional space and robot for implementing same
US10291904B2 (en) Auto commissioning system and method
US7436522B2 (en) Method for determining the 3D coordinates of the surface of an object
US9239580B2 (en) Autonomous mobile robot, self position estimation method, environmental map generation method, environmental map generation apparatus, and data structure for environmental map
CN112198529B (zh) 参考平面调整及障碍物检测方法、深度相机、导航设备
US20190128665A1 (en) Method for the three dimensional measurement of a moving objects during a known movement
US9134117B2 (en) Distance measuring system and distance measuring method
CN112198527B (zh) 参考平面调整及障碍物检测方法、深度相机、导航设备
Reid Projective calibration of a laser-stripe range finder
US10733740B2 (en) Recognition of changes in a detection zone
KR20070120949A (ko) 다차원 에비던스 그리드 및 그를 적용한 시스템 및 방법
CN112198528A (zh) 参考平面调整及障碍物检测方法、深度相机、导航设备
CN114035584B (zh) 机器人检测障碍物的方法、机器人以及机器人系统
CN114252414A (zh) 检验胶路状态的装置及其检验方法
CN111862182B (zh) ToF相机及其地面障碍物检测方法、地面导航设备
EP3550326A1 (en) Calibration of a sensor arrangement
CN110827361A (zh) 基于全局标定架的相机组标定方法及装置
CA2874879A1 (en) Method of processing 3d sensor data to provide terrain segmentation
US7026620B2 (en) Method and device for the geometrical measurement of a material strip
CN102401901B (zh) 测距系统及测距方法
EP4050377A1 (en) Three-dimensional image sensing system and related electronic device, and time-of-flight ranging method
CN114689106B (zh) 传感器标定方法、机器人及计算机可读存储介质
JP7363545B2 (ja) キャリブレーション判定結果提示装置、キャリブレーション判定結果提示方法及びプログラム
CN113050073B (zh) 参考平面标定方法、障碍物检测方法以及距离检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant