CN112198527B - 参考平面调整及障碍物检测方法、深度相机、导航设备 - Google Patents

参考平面调整及障碍物检测方法、深度相机、导航设备 Download PDF

Info

Publication number
CN112198527B
CN112198527B CN202011061518.8A CN202011061518A CN112198527B CN 112198527 B CN112198527 B CN 112198527B CN 202011061518 A CN202011061518 A CN 202011061518A CN 112198527 B CN112198527 B CN 112198527B
Authority
CN
China
Prior art keywords
depth value
plane
value
depth
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011061518.8A
Other languages
English (en)
Other versions
CN112198527A (zh
Inventor
胡洪伟
梅健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opnous Smart Sensing & Ai Technology
Original Assignee
Opnous Smart Sensing & Ai Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opnous Smart Sensing & Ai Technology filed Critical Opnous Smart Sensing & Ai Technology
Priority to CN202011061518.8A priority Critical patent/CN112198527B/zh
Publication of CN112198527A publication Critical patent/CN112198527A/zh
Application granted granted Critical
Publication of CN112198527B publication Critical patent/CN112198527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Abstract

本申请公开一种参考平面的调整方法、障碍物检测方法、深度相机以及地面导航设备,所述参考平面的调整方法包括:获取标准平面的标准深度值D0;采用深度相机对实际所在平面进行测量,获取测量深度值F1;根据所述测量深度值F1与所述标准深度值D0,获得所述深度相机的等效位移量δ,所述等效位移量δ为所述深度相机实际所在平面相对于标准平面的等效位移距离;根据所述等效位移量δ与所述标准深度值D0,获得实际所在平面对应的参考平面的参考深度值D1。上述方法能够基于实际检测场景的环境干扰,获得更为准确的参考平面。

Description

参考平面调整及障碍物检测方法、深度相机、导航设备
技术领域
本申请涉及距离传感技术领域,具体涉及一种参考平面调整及障碍物检测方法、深度相机、地面导航设备。
背景技术
飞行时间(ToF,Time of Flight)相机通过传感器发出的脉冲信号从发射到接收的时间间隔或激光往返被测物体一次所产生的相位来实现对被测物体的距离、三维结构或三维轮廓的测量。ToF传感器可同时获得灰度图像和距离图像,广泛应用在体感控制、行为分析、监控、自动驾驶、人工智能、机器视觉和自动3D建模等诸多领域。
ToF相机被广泛使用在AGV(Automated Guided Vehicle)地面导航领域,例如应用于扫地机器人等。在进行地面导航时,会面临地面环境复杂的情况,例如地面不同区域的材质、场景不同,不同区域的反射率差异较大,使得多路径反射光等因素对测距的准确性造成较大的影响,从而无法准确识别地面位置,进而造成对障碍物的判断发生误差。
如何提高地面导航过程中,提高对障碍物检测的准确性,是目前亟待解决的问题。
发明内容
鉴于此,本申请提供一种参考平面调整方法、障碍物检测方法、深度相机以及地面导航设备,以解决现有技术中由于地面环境差异导致的地面障碍物检测不准确的问题。
本申请提供的一种参考平面的调整方法,包括:获取标准平面的标准深度值D0;采用深度相机对实际所在平面进行测量,获取测量深度值F1;根据所述测量深度值F1与所述标准深度值D0,获得所述深度相机的等效位移量δ,所述等效位移量δ为所述深度相机实际所在平面相对于标准平面的等效位移距离;根据所述等效位移量δ与所述标准深度值D0,获得实际所在平面对应的参考平面的参考深度值D1。
可选的,确定所述等效位移量δ的方法包括:根据所述测量深度值F1与所述标准深度值D0,获取像素特征值res1,其中
Figure GDA0003855385930000021
H为标准深度值D0对应的标准平面与深度相机之间的高度差;对各个像素特征值res1进行处理,获取典型特征值res1’;取所述典型特征值res1’的相反数,作为所述等效位移量δ,δ=-res1',以向标准平面下方作为正方向。
可选的,获取所述典型特征值res1’的方法包括:统计各个像素特征值res1的直方图;将直方图峰值对应的像素特征值作为所述典型特征值res1’。
可选的,获取所述典型特征值res1’的方法包括:统计各个像素特征值的算数平均值或者中位数作为所述典型特征值res1’。
可选的,对位于第一阈值diff_thres1至第二阈值diff_thres2以内的像素特征值进行处理。
可选的,仅对部分像素对应的像素特征值进行处理,以获取所述典型像素特征值res1’。
可选的,根据等效位移量δ和标准深度值D0,计算得到所述参考深度值D1,
Figure GDA0003855385930000022
可选的,还包括:根据深度相机所在平面的实际形貌特征,对所述参考平面进行补偿,获得补偿后的参考深度值D1’。
可选的,当实际地面具有凹陷或凸起时,将参考平面向深度相机的高度方向移动一补偿距离d,获得补偿后参考平面,所述补偿距离d大于或等于所述凹陷或凸起的高度。
可选的,补偿后参考平面对应的参考深度值
Figure GDA0003855385930000023
可选的,所述深度相机为ToF相机。
本申请还提供一种地面障碍物检测方法,包括:根据上述任一项所述的方法,获得所在地面对应的参考深度值;进行距离检测,将被测位置处的实测深度值与对应的参考深度值进行比较;若实测深度值大于或等于所述参考深度值,则以一特征值替代所述实测深度值,将对应位置标记为可通行区域。
可选的,还包括:若实测深度值小于所述参考深度值,则将对应位置处的实测深度值作为障碍物的深度值。
本申请还提供一种深度相机,包括:检测模块,用于获取检测信号;处理器,用于控制所述检测模块进行距离检测,以及根据检测信号获取测量深度值;存储模块,用于存储标准深度值和特征值,所述特征值用于标记可通行区域,所述存储模块内还存储有用于被所述处理器执行的计算机程序,所述计算机程序被所述处理器运行时能够实现如上述任一项所述的参考平面的调整方法,获取参考深度值。
可选的,所述计算机程序被所述处理器运行时还能够执行如下步骤:根据所述检测信号获得被测位置处的实测深度值;将所述实测深度值与对应的参考深度值进行比较;若实测深度值大于或等于所述参考深度值,则以一特征值替代所述实测深度值,将对应位置标记为可通行区域。
可选的,还包括:若实测深度值小于所述参考深度值,则将对应位置的实测深度值作为障碍物的深度值。
本申请还提供一种地面导航设备,包括上述任一项所述的深度相机。
本申请的参考平面的调整方法,基于不受干扰的标准平面的标准深度值,结合深度相机的等效位移量,获得修正后的参考平面及对应的参考深度值,所述参考平面能够更为准确表征所在平面,避免测量环境对深度相机所在平面的辨识准确性的影响。进一步的,还可以对参考平面进行补偿,结合平面的形貌特征,将参考平面进行位移,以忽略起伏较小的形貌变化带来的测量噪声。
本申请的障碍物检测方法,利用参考平面表征实际地面,由于参考深度值不受测量环境干扰,从而可以提高对于地面上障碍物检测的准确性,并且通过参数的标定,区分障碍物和可通行区域,算法简单,易于实现。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a和图1b为本申请一实施例的ToF相机测距的示意图;
图2为本申请一实施例的参考平面的调整方法的流程示意图;
图3为本申请一实施例的获取标准平面的标准深度的示意图;
图4为本申请一实施例的深度相机具有等效位移量时的示意图;
图5a为本申请一实施例的像素坐标系内的像素特征值的分布示意图;
图5b为本申请一实施例的空间坐标系内的像素特征值的直方图;
图6为本申请一实施例的地面障碍物检测方法的流程示意图;
图7为本申请一实施例的深度相机进行地面障碍物检测的示意图;
图8为本发明一实施例的深度相机进行地面障碍物检测的示意图;
图9为本发明一实施例的深度相机进行地面障碍物检测的示意图;
图10a和图10b为本申请一实施例中的实际测距效果示意图;
图11为本申请一实施例中的深度相机的结构示意图。
具体实施方式
如背景技术中所述,现有技术中,由于地面材质及地面场景的复杂性,相应的地面辨识算法开发难度较大,特别是靠近地面的位置处,反射率分布较为复杂,且存在显著的多路径反射等因素,对于深度相机的深度测量会带来较大的误差,特别是对于通过检测光和反射光之间飞行时间差进行测距的TOF相机,更是会带来较为显著的测量误差,使得无法准确识别地面位置,进而对障碍物的高度测量发生偏差。
请参考图1a和图1b,为TOF相机的结构示意图。
所述ToF相机包括光源模块11和传感模块12,光源模块11用于向被测物体M发出检测光,传感模块12用于接收检测光到达被测物体M表面后的反射光,根据检测光发出并被反射后被接收的时间,可以计算被测物体与深度相机之间的距离。
图1a为检测光直接到达被测物体M被反射后被传感模块12接收,光线传播的时间与深度相机和被测物体M之间的距离对应。而图1b中,在被测物体M周围存在其他物体,例如存在物体N时,部分检测光到达物体N表面被反射后,再到达被测物体M表面,经反射后被传感模块12接收。此时,传感模块12接收到的光线中,部分经过了多个路径的反射,导致测量结果偏大。这种情况通常发生在物体N表面反射率大于物体M反射率时,多路径反射的光强较大,对测量结果影响较大。
而地面辨识的准确性,决定了对深度相机所在平面上的障碍物判断的准确性,面对场景复杂的情况,辨识算法面临较大的开发难度。发明人发现,可以通过外参标定的参考深度值,以所述参考深度值对应的参考平面表征深度相机所在的平面,将实测深度值与参考深度值作比较,根据比较结果,通过特征值标定将所在平面与障碍物进行分离,从而使得障碍物识别不受地面场景的影响,提高障碍物识别的准确性。
进一步研究发现,由于测量场景的复杂环境,标定的参考平面与实际所在平面之间会存在一定的位移偏差,例如深度相机的安装误差、安装有深度相机的设备不同位置处受到压力影响,会使得当前的参考平面的深度值无法代表所在平面的深度值;或者,由于实际测量过程中,由于MPI(多路径反射)或散射等问题,使得实际检测到的所在平面与参考平面之间存在一定的位移偏差,等效于深度相机发生沿垂直于所在平面方向上的位移。以上情况,都会导致参考平面偏离实际的所在平面,无法准确进行所在平面与障碍物之间的区分。
因此,需要进一步在实际检测过程中,对参考平面进行调整。
为了解决上述问题,本发明提供一种新的参考平面的调整方法。
下面结合附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,下述各个实施例及其技术特征可以相互组合。
请参考图2,为本发明一实施例的参考平面的调整方法的流程示意图。
该实施例中,所述参考平面的调整方法包括如下步骤:
步骤S201:获取标准平面的标准深度值D0。
所述标准深度值的获取方法包括:选定一标准平面R,固定深度相机位置于标定位置处,检测所述标准平面R各位置处的深度,获取所述标准深度值D0,并保存。
所述标准平面R为平整的平面且检测得到的标准深度值不受外部环境干扰,即所述标准深度值D0基本不受MPI、反射率或散射光等影响,能够准确反映与所述深度相机具有该特定相对位置的平面的实际深度。所述深度相机可以为TOF相机、结构光深度相机、RGB双目相机等具有深度测量功能的相机。
请参考图3,本发明一实施例的检测标准平面的标准深度数据的示意图。所述标准平面R为一平整地面,表面各位置处反射率均一致,且所述标准平面R的被测区域内无其他物体或反射面存在,以消除外部环境对测量得到的标准深度值D0的影响。
固定深度相机,该实施例中,采用TOF相机301作为深度相机,相比与其他类型的深度相机,外部环境对于TOF相机的深度检测的结果影响尤为突出。所述TOF相机301可以是一相机模组,也可以装配于一电子设备上。将深度相机固定于标定位置,所述标定位置与实际地面导航设备中,深度相机与地面的相对设定位置对应。该实施例中,以获取表征地面的标准平面作为示例,TOF相机301位于标定位置处时,传感平面垂直于所述标准平面R,TOF相机301与标准平面之间的垂直距离为H。所述垂直距离具体是指TOF相机301的传感平面的中心与所述标准平面R之间的高度差为H。在其他实施例中,所述标定位置还可以根据具体实际情况进行设置。
ToF相机301的传感模块包括像素阵列,每个像素阵列对应于标准平面R的一个位置,在像素位置固定,ToF相机301高度H固定的情况下,标准平面R上各位置处于对应像素之间的距离为一确定值。通过所述ToF相机301获取所述标准平面R各位置处的深度数据,进行保存,作为标准平面R的标准深度值D0。
步骤S202:采用深度相机对实际所在平面进行测量,获取测量深度值F1。
所述测量深度值F1仅对应于实际所在平面内不存在障碍物处的对应于实际平面的测量深度值。
步骤S203:根据所述测量深度值F1与所述标准深度值D0,获得所述深度相机的等效位移量δ。
所述等效位移量δ为所述深度相机实际所在平面相对于标准平面之间的等效位移距离。所述传感面为深度相机像素阵列表面。
请参考图4,为本发明一实施例的深度相机存在等效位移量的示意图。
在不存在等效位移量δ的情况下,在ToF相机所处高度为H的情况下,实际平面与标准平面位置重叠,可以直接用标准平面R作为参考平面。但是在实际检测过程中ToF相机的实际所在平面M与标准平面R之间存在等效位移量δ,所述等效位移量δ可以是安装过程的安装误差造成;也可能是由于检测场景环境造成实际检测到的平面在垂直于标准平面R的方向上的位移,对于ToF相机来讲,所述实际检测到的平面即为实际所在平面M,平面M与标准平面R之间的偏移量,即为所述等效位移量δ。以朝向标准平面R下方作为正方向,图4中,等效位移量δ为一正数。
可以通过对所在平面的检测获得的测量深度值F1与所述标准深度值D0,得到所述等效位移量δ的大小。
在一个实施例中,获得所述等效位移量δ的方法如下:
步骤1:获取像素特征值res1,其中
Figure GDA0003855385930000081
H为标准深度值D0对应的标准平面R与深度相机中心之间的高度差。其中,res1表征各像素的测量深度值F与标准深度值D0在垂直于标准平面方向上的偏移量。可以对每一个像素,或者部分感兴趣区域或目标区域内的像素计算其像素特征值res1。
步骤2:对各个像素特征值res1进行处理,获取典型特征值res1’。
所述典型特征值res1’作为所有像素在数值方向上的平移距离的代表值。
在一个实施例中,获取所述典型特征值res1’的方法包括:统计各个像素特征值res1的直方图;将直方图峰值对应的像素特征值作为所述典型特征值res1’。直方图标识各个大小的像素特征值res1对应的像素数占据统计的像素总数的比例,比例越大,对应的像素特征值res1越能体现像素的平移量。
在另一实施例中,获取所述典型特征值res1’的方法还包括:统计各个像素特征值的算数平均值或者中位数作为所述典型特征值res1’。
在另一些实施例中,将小于第一阈值diff_thres1,以及大于第二阈值diff_thres2的像素特征值res1均去除,仅对位于第一阈值diff_thres1至第二阈值diff_thres2以内的像素特征值进行处理。第一阈值diff_thres1,以及大于第二阈值diff_thres2的设置,可以根据测量精度进行调整。将第一阈值diff_thres1以下,第二阈值以上的像素特征值认为是噪音,以提高获取的典型特征值res1’的准确性。
在其他实施例中,也可以仅对部分像素对应的像素特征值进行处理,以获取所述典型特征值res1’。例如,仅对检测视场内的感兴趣区域或目标区域所对应的部分像素的像素特征值进行处理,最终提高该区域内像素对感兴趣区域内的距离检测准确性。
步骤3:取所述典型特征值res1’的相反数,作为所述等效位移量δ,δ=-res1',以向标准平面下方作为正方向。
请参考图5a,为一个实施例中,获取的像素空间内的像素特征值res1沿列像素的分布示意图;图5b为res1的直方图分布。
该实施例中,第一阈值diff_thres1=-50mm,第二阈值diff_thres2=50mm,对位于-50mm~50mm以内的res1进行统计,获取图图5b所示的直方图。图5b中,直方图峰值对应的像素特征值作为所述典型特征值res1’,res1’=-5.5mm,则等效位移量δ=-res1’=5.5mm。
上述实施例为获取等效位移量的一种方法,在其他实施例中,也可以采用其他方法获得所述等效位移量,在此不作限定。
步骤S204:根据所述等效位移量δ与所述标准深度值D0,获得实际所在平面对应的参考平面及所述参考平面的参考深度值D1。
由于存在所述根据所述等效位移量δ,使得所述标准平面及其标准深度值D0无法准确表征实际地面的深度信息,进而需要基于所述标准平面R,获取能够表征实际所在平面的参考平面。通过标准深度值D0得到所述参考平面的参考深度值D1,所述参考深度值D1同样不受检测环境的影响,能够准确体现实际所在平面的实际深度值。
请参考图4,标定位置下,ToF相机的传感面垂直于标准平面R,此时可以用标准平面R代表实际平面;而在实际测量过程中,ToF相机实际所处平面M相对于标准平面R具有等效位移量δ。
根据图4,存在几何关系
Figure GDA0003855385930000091
其中H为ToF相机的传感平面中心的标定高度,因此,可以得到:
Figure GDA0003855385930000092
根据所述参考深度值D1,可以得到对应于TOF相机实际所在平面的参考平面。
在一些实施例中,还包括:根据深度相机所在平面的实际形貌特,对所述参考平面进行补偿,获得补偿后的参考深度值D1’。
在一些实施例中,由于地面存在一些起伏,例如一些较低幅度的凸起或凹陷。在实际的地面导航应用中,这些地面的凹陷或凸起需要被忽略。例如,在扫地机器人的应用场景内,地面通常会存在地毯、地砖缝隙、门框等较小高度的地面凸起,这些区域需要扫地机器人正常通过,不能被识别为障碍物。可以通过对参考平面进行补偿,使得所述凸起或凹陷均位于补偿后的参考平面下方,不被识别为障碍物。当实际地面具有凹陷或凸起时,将参考平面向深度相机的高度方向移动一补偿距离d获得补偿后参考平面,所述补偿距离d大于或等于所述凹陷或凸起的高度。补偿后参考平面对应的参考深度值D1’,
Figure GDA0003855385930000101
所述补偿距离d可以为一可调参数,根据地面实际情况进行动态调整。例如在地面造成较大(平整度较差)的情况下,可设置d=10mm,将参考平面抬高10mm;在地面平整度较高的区域,适当降低所述位移距离,例如设置d=5mm。
上述标准平面、参考平面均可以为水平平面,还可以为倾斜平面,可以根据实际情况进行设置。
通过上述参考平面的调整方法,根据不受环境干扰的标准深度D0得到能够代表深度相机所在平面的实际深度的参考平面及其参考深度值D1或D1’。
基于上述参考平面的调整方法,本发明的实施例还提供一种地面障碍物检测方法。
请参考图6,所述地面障碍物检测方法包括如下步骤:
步骤S601:获得所在地面对应的参考深度值。
所述参考深度值的方法可以根据上述实施例中所述的参考平面的调整方法获得。
步骤S602:进行距离检测。
利用深度相机,例如ToF相机,在实际测量场景中进行距离检测,以获取检测视场内各位置处的被测物的实测深度值。
步骤S603:将被测位置处的实测深度值与对应的参考深度值进行比较。
由于所述参考深度值对应于参考平面,所述参考平面相当于外部标定的排除了环境干扰的参考地面,将实测深度值与参考深度值比较,即将被测物体距离与参考地面进行比较,将被测物体中的实际障碍物与参考地面进行区分。
步骤S604:判断实测深度值是否小于参考深度值。
若否,则执行步骤S605:以一特征值替代所述实测深度值,将对应位置标记为可通行区域。
当实测深度值等于参考深度值时,表明该位置高度与参考平面高度一致,为地面;实测深度值大于参考深度值时,对应的情况可能包括:该位置处为地面,但是由于受到多路径反射光或其他因素干扰,使得实测深度值大于地面的实际深度值,因此,实测深度值偏大,导致检测出的地面发生凹陷误差。为了解决这个问题,以一特征值替代所述实测深度值,使得整个实际地面均对应于一相同的特征值,通过所述特征值将检测到的实际地面标记为可通行区域。在根据实测深度值进行的灰度或色彩渲染获得的距离检测图中,由于实际地面处的实测深度值均由特征值替代,灰度或颜色同一,而其他区域与特征值不同的测量深度,显示不同的灰度或色彩,即为障碍物,因此,能够将障碍物与实际地面进行明显的区分。整个距离检测深度图中,仅显示出障碍物,而实际地面则作为背景。在一个实施例中,所述特征值为0,测量深度值大于0的位置即为障碍物,能够提高障碍物识别的准确性。在其他实施例中,所述特征值也可以设置为其他值,在此不作限定。
若实测深度值小于参考深度值,则执行步骤S606:以该位置处的实测深度值作为障碍物的深度值。当实测深度值小于参考深度值时,表示该位置处存在障碍物,阻挡了检测光的飞行,从而导致实测深度值较小。因此,若实测深度值小于参考深度值时,可以将实测深度值作为障碍物的深度值,根据所述深度值,可以判断障碍物的高度及水平距离。
上述方案通过参考平面的参考深度值的标定,为实际测量场景设定一标定的参考地面,从而避免测量环境对地面辨识的影响,进而提高对于障碍物检测的准确性,并且通过参数的标定,算法简单,易于实现。
请参考图7,为本发明一实施的地面障碍物检测示意图。
该实施例中,实际地面M为一平整平面,且与ToF相机601之间的竖直距离为H。
由于实际地面M上存在多个物体,例如包括物体A以及物体N,各个物体导致的多路径反射,会导致对实际地面的测量深度值偏大,使得测量地面P出现低于实际地面M的情况。
通过上述具体实施例中的参考平面的调整方法,获取实际地面M对应的参考深度值。该实施例中,当实测深度值大于或等于对应的参考深度值时,以特征值替代所述实测深度值,消除了外部环境对检测结构的干扰。以参考平面的参考深度值作为实际地面M的测量深度值,可以排除外界对于地面检测的干扰。
当检测到障碍物,例如物体A时,原本对应的地面位置为点C,当物体A存在时,由于物体A对检测光的阻挡,使得对应像素获得的实测深度值,小于点C对应的参考深度值。因此,当实测深度值小于参考深度值时,保留该实测深度值作为测量深度值。
通过上述方法,可以实现障碍物与地面的分离,不受复杂地面材质以及周边环境的影响,从而实现对障碍物的准确识别。
当被测区域的地面具有一定高度的凸起,或凹陷的情况下,在实际的地面导航应用中,这些地面的凹陷或凸起需要被忽略。例如,在扫地机器人的应用场景内,地面通常会存在地毯、地砖缝隙、门框等较小高度的地面凸起,这些区域需要扫地机器人正常通过,不能被识别为障碍物。可以通过调整参考平面的高度,避免将所述凸起或凹陷识别为障碍物。
请参考图8,为本发明另一实施例的地面障碍物检测的示意图。
该实施例中,实际地面M具有凸起701,凸起高度为d1。将根据等效位移量δ调整后的用于表征实际地面M的参考平面抬高d1,形成补偿后参考平面M’,以补偿后参考平面M’作为参考地面,相当于将地面抬高了d1。
在实际测量过程中,仅有高度高于所述补偿后参考平面M’的物体被认为是障碍物。由于所述补偿后参考平面M’高于实际地面M,因此,物体A的测量高度为实际高度减去高度差d1。由于障碍物通常高度较大,虽然测量高度偏小,但是并不会对障碍物的判断造成影响。
在其他实施例中,在地面具有多个凸起的情况下,可以将高度差D1设置为与最高凸起高度一致,或略大于所述最高凸起高度。
请参考图9,为本发明另一实施例的地面障碍物检测的示意图。
该实施例中,实际地面M,具有一凹陷801,凹陷的深度为d2。将根据等效位移量δ调整后的用于表征实际地面的参考平面相对于标准平面R抬高d2,形成补偿后参考平面M’。
当ToF相机601位于实际地面M的平坦位置处时,ToF相机601的所述补偿后参考平面M’高于实际地面,能够屏蔽整个实际地面,包括所述凹陷801。
当ToF相机601移动至凹陷801内时,例如移动至所述凹陷801的最低处时。此时,所述补偿后参考平面M’跟随ToF相机下降至实际地面M处,能够将实际地面M屏蔽掉,避免将凹陷801外部的实际地面M检测为障碍物。
在其他具体实施方式中,为了能够将ToF相机601进入凹陷801内时,能够将实际地面完全屏蔽,可以将ToF相机601的所述补偿后参考平面M’抬高d2以上的距离。
本发明的其他实施例中,可以在ToF相机601移动过程中,根据实际地面的形貌情况,动态的对参考平面进行补偿。
请参考图10a和图10b,为本发明一实施例中的实际测距效果示意图。
该实施例,对于一采用不同颜色的瓷砖地面的棋盘格地面环境,采用常规的测距方法测量得到的测量深度值经过灰度渲染之后得到的深度图如图10a所示,地面上由于不同颜色的瓷砖反射率的差异,以及瓷砖缝隙位置处,由于多路径反射等因素,导致地面各位置处测量距离随瓷砖颜色发生周期变化,且由于瓷砖对于地面电线的反射投影,使得地面上出现电线的投影。
请参考图10b,采用本发明的方法,通过ToF相机的参考平面的参考深度值的标定,在测量过程中屏蔽了地面的材质、反射率等因素的影响,消除了电线的倒影,能够将电线从实际地面分离开,准确识别出地面上的电线。
本发明的实施例还提供一种深度相机。
请参考图11,为本发明一实施例的深度相机的结构示意图。
所述深度相机包括存储模块1001、检测模块1002以及处理器1003。
所述检测模块1002,用于获取被测位置处的距离检测信号;所述处理器1003用于根据所述距离检测信号获取被测位置处的测量深度值。
该实施例中,所述深度相机为ToF相机,所述检测模块1002包括发光单元和传感单元,发光单元用于发射检测光,传感单元用于接收检测光的反射光。通过检测光的飞行时间,可以获得被测位置的实测深度值。在其他实施例中,根据深度相机的类型不同,所述检测模块还可以具有其他结构。
所述存储模块1001,用于存储标准深度值和特征值,所述特征值用于标记可通行区域,所述存储模块1001内还存储有用于被所述处理器1003执行的计算机程序,所述计算机程序被所述处理器1003运行时能够实现上述实施例中所述的参考平面的调整方法,根据处理器1003获得的测量深度值和标准深度值,获取参考深度值。
在一些实施例中,所述计算机程序被所述处理器1003运行时还能够执行如下步骤:控制所述检测模块1002进行距离检测;将被测位置处的实测深度值与对应的参考深度值进行比较;若实测深度值大于或等于所述参考深度值,则以一特征值替代所述实测深度值,将对应位置标记为可通行区域。若实测深度值小于所述参考深度值,则将对应位置的实测深度值作为障碍物的深度值。
上述深度相机能够准确分离障碍物和地面,提高障碍物识别的准确性。
本发明的实施例还提供一种地面导航设备,包括上述实施例中所述的深度相机,能够在地面导航过程中,准确识别障碍物,应用于复杂的地面场景。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,例如各实施例之间技术特征的相互结合,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (16)

1.一种参考平面的调整方法,其特征在于,包括:
获取标准平面的标准深度值D0;
采用深度相机对实际所在平面进行测量,获取测量深度值F1;
根据所述测量深度值F1与所述标准深度值D0,获得所述深度相机的等效位移量δ,所述等效位移量δ为所述深度相机实际所在平面相对于标准平面的等效位移距离;
根据所述等效位移量δ与所述标准深度值D0,获得实际所在平面对应的参考平面的参考深度值D1;
其中,获得所述等效位移量δ的方法包括:根据所述测量深度值F1与所述标准深度值D0,获取像素特征值res1,其中
Figure FDA0003855385920000011
H为标准深度值D0对应的标准平面与深度相机之间的高度差;对各个像素特征值res1进行处理,获取典型特征值res1’;取所述典型特征值res1’的相反数,作为所述等效位移量δ,δ=-res1',以向标准平面下方作为正方向。
2.根据权利要求1所述的参考平面的调整方法,其特征在于,获取所述典型特征值res1’的方法包括:统计各个像素特征值res1的直方图;将直方图峰值对应的像素特征值作为所述典型特征值res1’。
3.根据权利要求1所述的参考平面的调整方法,其特征在于,获取所述典型特征值res1’的方法包括:统计各个像素特征值的算数平均值或者中位数作为所述典型特征值res1’。
4.根据权利要求2或3所述的参考平面的调整方法,其特征在于,对位于第一阈值diff_thres1至第二阈值diff_thres2以内的像素特征值进行处理。
5.根据权利要求1所述的参考平面的调整方法,其特征在于,仅对部分像素对应的像素特征值进行处理,以获取所述典型像素特征值res1’。
6.根据权利要求1所述的参考平面的调整方法,其特征在于,根据等效位移量δ和标准深度值D0,计算得到所述参考深度值D1,
Figure FDA0003855385920000021
7.根据权利要求1所述的参考平面的调整方法,其特征在于,还包括:根据深度相机所在平面的实际形貌特征,对所述参考平面进行补偿,获得补偿后的参考深度值D1’。
8.根据权利要求7所述的参考平面的调整方法,其特征在于,当实际地面具有凹陷或凸起时,将参考平面向深度相机的高度方向移动一补偿距离d,获得补偿后参考平面,所述补偿距离d大于或等于所述凹陷或凸起的高度。
9.根据权利要求8所述的参考平面的调整方法,其特征在于,补偿后参考平面对应的参考深度值
Figure FDA0003855385920000022
10.根据权利要求1所述的参考平面的调整方法,其特征在于,所述深度相机为ToF相机。
11.一种地面障碍物检测方法,其特征在于,包括:
根据权利要求1至10中任一项所述的方法,获得所在地面对应的参考深度值;
进行距离检测,将被测位置处的实测深度值与对应的参考深度值进行比较;
若实测深度值大于或等于所述参考深度值,则以一特征值替代所述实测深度值,将对应位置标记为可通行区域。
12.根据权利要求11所述的地面障碍物检测方法,其特征在于,还包括:若实测深度值小于所述参考深度值,则将对应位置处的实测深度值作为障碍物的深度值。
13.一种深度相机,其特征在于,包括:
检测模块,用于获取检测信号;
处理器,用于控制所述检测模块进行距离检测,以及根据检测信号获取测量深度值;
存储模块,用于存储标准深度值和特征值,所述特征值用于标记可通行区域,所述存储模块内还存储有用于被所述处理器执行的计算机程序,所述计算机程序被所述处理器运行时能够实现如权利要求1至10中任一项所述的参考平面的调整方法,获取参考深度值。
14.根据权利要求13所述的深度相机,其特征在于,所述计算机程序被所述处理器运行时还能够执行如下步骤:根据所述检测信号获得被测位置处的实测深度值;将所述实测深度值与对应的参考深度值进行比较;若实测深度值大于或等于所述参考深度值,则以一特征值替代所述实测深度值,将对应位置标记为可通行区域。
15.根据权利要求13所述的深度相机,其特征在于,还包括:若实测深度值小于所述参考深度值,则将对应位置的实测深度值作为障碍物的深度值。
16.一种地面导航设备,其特征在于,包括如权利要求13至15中任一项所述的深度相机。
CN202011061518.8A 2020-09-30 2020-09-30 参考平面调整及障碍物检测方法、深度相机、导航设备 Active CN112198527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011061518.8A CN112198527B (zh) 2020-09-30 2020-09-30 参考平面调整及障碍物检测方法、深度相机、导航设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011061518.8A CN112198527B (zh) 2020-09-30 2020-09-30 参考平面调整及障碍物检测方法、深度相机、导航设备

Publications (2)

Publication Number Publication Date
CN112198527A CN112198527A (zh) 2021-01-08
CN112198527B true CN112198527B (zh) 2022-12-27

Family

ID=74013143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011061518.8A Active CN112198527B (zh) 2020-09-30 2020-09-30 参考平面调整及障碍物检测方法、深度相机、导航设备

Country Status (1)

Country Link
CN (1) CN112198527B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135155A (ja) * 2020-02-27 2021-09-13 株式会社東芝 システム及び方法
CN113486854A (zh) * 2021-07-29 2021-10-08 北京超维世纪科技有限公司 基于深度相机实现工业类巡检机器人的识别检测算法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865846A (zh) * 2005-05-17 2006-11-22 恪纳腾技术公司 动态参考平面补偿
CN102467821A (zh) * 2010-11-04 2012-05-23 北京汉王智通科技有限公司 基于视频图像的路面距离检测方法及装置
CN106687821A (zh) * 2014-06-05 2017-05-17 软银机器人欧洲公司 利用水平平面探测障碍物的装置以及实施所述装置的探测方法
CN106767933A (zh) * 2017-02-10 2017-05-31 深圳奥比中光科技有限公司 深度相机误差的测量系统、测量方法、评价方法及补偿方法
CN108955584A (zh) * 2017-05-23 2018-12-07 上海汽车集团股份有限公司 一种路面探测方法及装置
CN109059795A (zh) * 2018-06-29 2018-12-21 歌尔股份有限公司 深度测量方法、深度测量装置及拍摄设备
CN109147027A (zh) * 2018-08-31 2019-01-04 金钱猫科技股份有限公司 基于参考平面的单目图像三维重建方法、系统及装置
CN109272556A (zh) * 2018-08-31 2019-01-25 青岛小鸟看看科技有限公司 一种飞行时间tof相机的标定方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825499A (zh) * 2016-03-09 2016-08-03 京东方科技集团股份有限公司 基准平面的确定方法和确定系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865846A (zh) * 2005-05-17 2006-11-22 恪纳腾技术公司 动态参考平面补偿
CN102467821A (zh) * 2010-11-04 2012-05-23 北京汉王智通科技有限公司 基于视频图像的路面距离检测方法及装置
CN106687821A (zh) * 2014-06-05 2017-05-17 软银机器人欧洲公司 利用水平平面探测障碍物的装置以及实施所述装置的探测方法
CN106767933A (zh) * 2017-02-10 2017-05-31 深圳奥比中光科技有限公司 深度相机误差的测量系统、测量方法、评价方法及补偿方法
CN108955584A (zh) * 2017-05-23 2018-12-07 上海汽车集团股份有限公司 一种路面探测方法及装置
CN109059795A (zh) * 2018-06-29 2018-12-21 歌尔股份有限公司 深度测量方法、深度测量装置及拍摄设备
CN109147027A (zh) * 2018-08-31 2019-01-04 金钱猫科技股份有限公司 基于参考平面的单目图像三维重建方法、系统及装置
CN109272556A (zh) * 2018-08-31 2019-01-25 青岛小鸟看看科技有限公司 一种飞行时间tof相机的标定方法和装置

Also Published As

Publication number Publication date
CN112198527A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112198526A (zh) 参考平面调整及障碍物检测方法、深度相机、导航设备
US10291904B2 (en) Auto commissioning system and method
US11602850B2 (en) Method for identifying moving object in three-dimensional space and robot for implementing same
US7436522B2 (en) Method for determining the 3D coordinates of the surface of an object
CN112198527B (zh) 参考平面调整及障碍物检测方法、深度相机、导航设备
US6470271B2 (en) Obstacle detecting apparatus and method, and storage medium which stores program for implementing the method
CN112198529B (zh) 参考平面调整及障碍物检测方法、深度相机、导航设备
US9134117B2 (en) Distance measuring system and distance measuring method
CN114252414A (zh) 检验胶路状态的装置及其检验方法
CN111862182B (zh) ToF相机及其地面障碍物检测方法、地面导航设备
US10733740B2 (en) Recognition of changes in a detection zone
CN113658241B (zh) 单目结构光的深度恢复方法、电子设备及存储介质
JPH07104127B2 (ja) 位置検出方法および装置
CN114035584B (zh) 机器人检测障碍物的方法、机器人以及机器人系统
CN112198528A (zh) 参考平面调整及障碍物检测方法、深度相机、导航设备
EP3550326A1 (en) Calibration of a sensor arrangement
CA2874879A1 (en) Method of processing 3d sensor data to provide terrain segmentation
CN110827361A (zh) 基于全局标定架的相机组标定方法及装置
US7026620B2 (en) Method and device for the geometrical measurement of a material strip
CN102401901B (zh) 测距系统及测距方法
EP4050377A1 (en) Three-dimensional image sensing system and related electronic device, and time-of-flight ranging method
KR20220146617A (ko) 라이다 측정에서 블루밍을 검출하는 방법 및 장치
JP7363545B2 (ja) キャリブレーション判定結果提示装置、キャリブレーション判定結果提示方法及びプログラム
CN113050073B (zh) 参考平面标定方法、障碍物检测方法以及距离检测装置
JP2018179654A (ja) 距離画像の異常を検出する撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant