CN107636680A - 一种障碍物检测方法及装置 - Google Patents

一种障碍物检测方法及装置 Download PDF

Info

Publication number
CN107636680A
CN107636680A CN201680017930.5A CN201680017930A CN107636680A CN 107636680 A CN107636680 A CN 107636680A CN 201680017930 A CN201680017930 A CN 201680017930A CN 107636680 A CN107636680 A CN 107636680A
Authority
CN
China
Prior art keywords
barrier
region
pixel
class
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680017930.5A
Other languages
English (en)
Other versions
CN107636680B (zh
Inventor
南冰
南一冰
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Inc filed Critical Cloudminds Inc
Publication of CN107636680A publication Critical patent/CN107636680A/zh
Application granted granted Critical
Publication of CN107636680B publication Critical patent/CN107636680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种障碍物检测方法及装置,涉及人工智能技术领域。为了解决现有技术中存在的障碍物检测精度有限的问题。该障碍物检测方法包括:分别获取待检测区域对应的像素图像和深度图像(101);根据像素图像中的各个像素点的像素类别确定待检测区域中的路面区域以及路面区域中的第一类障碍物;以及根据深度图像确定待检测区域中的第二类障碍物(102);根据像素图像和深度图像分别确定第一类障碍物的空间位置以及根据深度图像确定第二类障碍物的空间位置(103)。该方法应用于障碍物检测的过程中。

Description

一种障碍物检测方法及装置
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种障碍物检测方法及装置。
背景技术
在移动机器人和导盲系统中,避障是必需的基本功能之一,而如何有效的检测出行进路面上的障碍物,是避障系统需要解决的关键问题。
目前,常用的障碍物检测方式包括基于红外线、超声波等非视觉检测方式;以及基于单个摄像机的非立体视觉检测方式。然而这两种方式都存在相应的缺陷和不足,其中,使用红外线、超声波等非视觉检测方式,其检测精度有限,只能检测体积较大的障碍物,无法检测到微小障碍物,因此安全性较差;而基于单个摄像机的障碍物检测方式,往往需要指定感兴趣区域,对于复杂环境,其无法自动检测路面区域和障碍物。
发明内容
本申请的实施例提供一种障碍物检测方法及装置,主要解决现有技术中存在的障碍物检测精度有限的问题。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,本申请提供一种障碍物检测方法,包括:
分别获取待检测区域对应的像素图像和深度图像,所述像素图像中各个像素点与像素类别对应,所述深度图像中各个像素点与深度值对应;根据所述像素图像中的各个像素点的像素类别确定所述待检测区域中的路面区域以及所述路面区域中的第一类障碍物;以及根据所述深度图像确定所述待检测区域中的第二类障碍物;根据所述像素图像和深度图像确定所述第一类障碍物的空间位置以及根据所述深度图像确定所述第二类障碍物的空间位置。
第二方面,本申请提供一种障碍物检测装置,包括:获取单元,用于分别获取待检测区域对应的像素图像和深度图像,所述像素图像中各个像素点与像素类别对应,所述深度图像中各个像素点与深度值对应;障碍物确定单元,用于根据所述获取单元获取的所述像素图像中的各个像素点的像素类别确定所述待检测区域中的路面区域以及所述路面区域中的第一类障碍物;以及根据所述获取单元获取的所述深度图像确定所述待检测区域中的第二类障碍物;位置确定单元,用于根据所述像素图像和深度图像确定所述障碍物确定单元确定的第一类障碍物的空间位置以及根据所述深度图像确定所述障碍物确定单元确定的第二类障碍物的空间位置。
第三方面,本申请提供一种计算机存储介质,用于储存计算机软件指令,其包含执行第一方面所述的障碍物检测方法所设计的程序代码。
第四方面,本申请提供一种计算机程序产品,可直接加载到计算机的内部存储器中,并含有软件代码,所述计算机程序经由计算机载入并执行后能够实现第一方面所述的障碍物检测方法。
第五方面,本申请提供一种电子设备,包括:存储器、通信接口和处理器,所述存储器用于存储计算机可执行代码,所述处理器用于执行所述计算机可执行代码控制执行第一方面所述障碍物检测方法,所述通信接口用于所述电子设备与外部设备的数据传输。
第六方面,本申请提供一种机器人,包括第五方面所述的电子设备。
本申请提供的方案,通过分别获取待检测区域对应的像素图像和深度图像,该像素图像中各个像素点与像素类别对应,该深度图像中各个像素点与深度值对应;再根据像素图像中的各个像素点的像素类别确定待检测区域中的路面区域以及路面区域中的第一类障碍物;以及根据深度图像确定待检测区域中的第二类障碍物;最后再根据像素图像和深度图像确定第一类障碍物的空间位置以及根据深度图像确定第二类障碍物的空间位置,与现有技术中的各种障碍物检测方法障碍物检测精度有限相比,本申请由于通过像素图像能够检测到路面区域中的一类障碍物,如路面中的微小障碍物,通过深度图像能够检测到待检测区域中的体积较大的障碍物,因此,能够得到待检测区域中的较为全面的障碍物;此外,在检测出障碍物后,本申请还能够输出障碍物的空间位置,有助于避障决策。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的避障系统的架构示意图;
图2为本申请实施例提供的待检测区域以及待检测区域对应的深度图像的示意图;
图3为本申请实施例提供的一种障碍物检测方法的流程示意图;
图4为本申请实施例提供的待检测区域、待检测区域分别对应的像素图像和深度图像的示意图;
图5至图7为本申请实施例提供的障碍物检测方法的流程示意图;
图8至图10为本申请实施例提供的障碍物检测设备的结构示意图;
图11为本申请实施例提供的电子设备的结构示意图。
具体实施方式
本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
需要说明的是,本申请实施例中,“的(英文:of)”,“相应的(英文:corresponding,relevant)”和“对应的(英文:corresponding)”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是一致的。
避障系统,用于检测特定区域是否存在障碍物,可应用于移动机器人、导盲系统中等。障碍物检测为避障系统的基本功能。本申请实施例提供一种避障系统,如图1所示,该避障系统10包括:图像采集设备11、障碍物检测设备12和决策设备13。其中,图像采集设备11用于采集用于进行障碍物检测的特定区域的图像信息,如移动机器人行进前方的图像,并将采集到的图像信息发送至障碍物检测设备12;示例性的,该图像采集设备包括一个或多个采集平面图像的摄像机以及采集立体图像的双目摄像机等。障碍物检测设备12用于对图像采集设备11发送的图像信息进行处理以得到是否包含障碍物以及障碍物的轮廓、大小、位置、种类等信息,并将处理得到的信息发送至决策设备13。决策设备13,用于根据障碍物检测设备12发送的信息作出如何避障的决策,决策设备可以为具有处理运算功能的设备,如服务器等。图像采集设备11和决策设备13的具体实现可参考现有技术,此处不再赘述。
深度图像(depth image)也被称为距离影像(range image),是指将从图像采集器,如双目摄像机到待检测区域中各点的距离(或者称为深度)作为像素值的图像,能够直接反映物体可见表面的几何形状,也即能够直接确定各个物体的轮廓线。深度图像经过坐标转换可以计算为点云数据,有规则及必要信息的点云数据也可以反算为深度图像数据。深度图像中,每一个像素点代表的是在图像采集器的视野中,该特定的(x,y)坐标处物体到摄像头平面的距离。根据深度图像中的距离和各个物体的轮廓可以达到检测障碍物的目的。如图2所示为对左图所示的待检测区域进行拍摄并处理后得到右图所示的深度图像,在该深度图像中不同的亮度值表示不同的距离,颜色越亮表示目标距离越近。结合图2所示的深度图像,能够将椅子、垃圾桶和人确定为障碍物。深度图像的具体实现原理以及根据深度图像进行障碍物检测的具体实现过程可参考现有技术,此处不再赘述。虽然可以利用深度图像实现障碍物检测,但这种方法精度较低,只能检测较大的障碍物,对于路面上的小障碍则无能为力。
为了检测路面上的微小障碍物,本申请通过获取待检测区域对应的像素信息,从待检测区域中确定出路面区域,然后再检测路面区域中的微小障碍物。
基于此,本发明实施例提供一种障碍物检测方法,实现既可以检测较大障碍物,也可以检测到较小障碍物,并能够根据深度图像进一步得到障碍物的三维空间位置。该方法可应用于图1所示的系统中,当应用于图1所示的系统中时,该方法的执行主体为障碍物检测设备12。
如图3所示,该方法包括:
步骤101、分别获取待检测区域对应的像素图像和深度图像。
其中,所述像素图像中各个像素点与像素类别对应。具体的,像素图像的一种实现方式为:对待检测区域进行拍摄,得到该待检测区域对应的二维彩色图像;结合包括像素点的像素取值与像素类别的对应关系的预设对应关系,对该二维彩色图像中的各个像素点的像素取值进行分析,确定各个像素点的类别,并生成所述像素图像,在该像素图像中,同一像素类别的像素取值相同,或者说其颜色相同。
可选的,所述预设对应关系中包括像素点的取值与路面像素的对应关系,则生成的相应像素图像为二值图像,该二值图像中各个像素点对应的像素类别为路面像素或非路面像素,所有路面像素组成的区域为路面区域,所有非路面像素组成的区域为非路面区域。
所述深度图像中各个像素点与深度值对应。深度图像的具体实现可参考现有技术,此处不再赘述。
如图4所示,本发明实施例提供了待检测区域对应的二维彩色图像以及其分别对应的像素图像和深度图像。该像素图像中的白色区域的各像素点对应的像素类别为路面像素,因此该白色区域可称为路面区域。黑色区域的各像素点对应的像素类别为非路面像素,因此,该黑色区域可称为非路面区域。
步骤102、根据像素图像中的各个像素点的像素类别确定待检测区域中的路面区域以及路面区域中的第一类障碍物;以及根据深度图像确定待检测区域中的第二类障碍物。
如上所述,根据像素图像中的各个像素点的像素类别,将所有像素类别为路面像素的像素点组成的区域确定为路面区域,将所有像素类别为非路面像素的像素点组成的区域确定为非路面区域。在确定路面区域后,通过在路面区域中进行目标障碍物检测或者通过检测路面区域和非路面区域的轮廓线,进一步检测是否存在非路面区域的轮廓线被路面区域的轮廓线包围的非路面区域等方式检测路面区域中的障碍物。本申请实施例中将此类通过对像素图像进行分析得到的障碍物称为第一类障碍物。
另外,该第一类障碍物可能无法包含待检测区域中的所有障碍物。因此,本申请实施例中还提供了根据深度图像确定深度图像中各个物体的轮廓,进而确定待检测区域中的障碍物,获取深度图像后,按照设定的深度阈值,将深度图像分割为不同深度的子图像,每张子图像只包含某一深度范围内的物体,检测每一子图像的轮廓信息(即物体轮廓),从而确定待检测区域中的障碍物。根据深度图像确定障碍物的具体实现可参考现有技术,此处不再赘述。本申请实施例中将通过对深度图像进行分析得到的障碍物称为第二类障碍物。
步骤103、根据像素图像和深度图像确定第一类障碍物的空间位置以及根据深度图像确定所述第二类障碍物的空间位置。
对于第一类障碍物,根据所述第一类障碍物中每个障碍物在所述像素图像中的坐标,分别确定所述第一类障碍物中每个障碍物在所述待检测区域中的二维位置;然后根据所述第一类障碍物中每个障碍物在所述待检测区域中的二维位置,确定所述第一类障碍物中每个障碍物在所述深度图像中坐标;再分别根据所述第一类障碍物中每个障碍物在所述深度图像中的坐标对应的像素点,分别确定所述第一类障碍物中每个障碍物的深度值;根据所述第一类障碍物中每个障碍物在所述待检测区域中的二维位置以及深度值,得到所述第一类障碍物中每个障碍物的空间位置。
对于第二类障碍物,根据所述第二类障碍物中每个障碍物在所述深度图像中的坐标,分别确定所述第二类障碍物中每个障碍物在所述待检测区域中的二维位置和深度值,得到所述第二类障碍物中每个障碍物的空间位置。
本申请提供的方案,通过分别获取待检测区域对应的像素图像和深度图像,该像素图像中各个像素点与像素类别对应,该深度图像中各个像素点与深度值对应;再根据像素图像中的各个像素点的像素类别确定待检测区域中的路面区域以及路面区域中的第一类障碍物;以及根据深度图像确定待检测区域中的第二类障碍物;最后再根据像素图像和深度图像确定第一类障碍物的空间位置以及根据深度图像确定第二类障碍物的空间位置,与现有技术中的各种障碍物检测方法其障碍物检测精度有限相比,本发明通过像素图像能够检测到路面区域中的一类障碍物,如路面中的微小障碍物,通过深度图像能够检测到待检测区域中的体积较大的障碍物,因此,能够较为全面的检测待检测区域中的的障碍物;此外,在检测出障碍物后,本申请还能够输出障碍物的空间位置,有助于避障决策。
实际应用中,有些障碍物位于道路两侧,如道路两旁的路牌、树木等,其可能并不影响行进,因此,本申请实施例还提供了一种障碍物检测方法,用于从第二类障碍物中排除不影响行进的障碍物。在步骤102“确定出第二类障碍物后,可对第二类障碍物进行在所述根据所述像素图像中的各个像素点的像素类别确定所述待检测区域中的路面区域”之后,如图5所示,所述方法还包括:
步骤201、确定路面区域在所述待检测区域中的二维位置。
在根据像素图像确定出待检测区域中的路面区域后,能够确定路面区域在待检测区域中的二维位置。
步骤202、根据所述路面区域在所述待检测区域中的二维位置,确定所述深度图像中的路面区域。
由于深度图像和像素图像对应的都是同一待检测区域,因此,在根据像素图像确定了路面区域在待检测区域中的二维位置后,可根据该二维位置确定深度图像中所表示的路面区域。
需要说明的是,在深度图像中确定路面区域时,由于整个路面一般位于同一水平面,也即整个路面对应的各个像素的深度值相同,因此,可根据路面区域在待检测区域中的二维位置确定路面区域的初步范围,如果还存在其他像素点的像素取值与已初步确定的路面区域的像素取值相同,则将这些像素点也确定为路面区域的像素点,进而得到最终的路面区域。
步骤203、从所述第二类障碍物中筛选得到位于所述路面区域的障碍物。
通过上述步骤201至步骤203的实现过程,可将第二类障碍物中位于路面区域以外的障碍物,也即不影响前进的障碍物从第二类障碍物中删除。
考虑到在采用上述方法确定出第一类障碍物和第二类障碍物后,可能存在第一类障碍物和第二类障碍物中存在障碍物重复确定的情况。因此,本申请实施例中,在步骤102“在所述根据所述像素图像中的各个像素点的像素类别确定所述待检测区域中的路面区域以及所述路面区域中的第一类障碍物;以及根据所述深度图像确定所述待检测区域中的第二类障碍物”之后,如图6所示,所述方法还包括:
步骤301、根据第一类障碍物中每个障碍物在像素图像中的坐标,分别确定第一类障碍物中每个障碍物在所述待检测区域中的二维位置。
步骤302、根据第二类障碍物中每个障碍物在深度图像中的坐标,分别确定第二类障碍物中每个障碍物在待检测区域中的二维位置。
步骤303、当存在既属于第一类障碍物又属于第二类障碍物,且在待检测区域中的二维位置相同的目标障碍物时,从第一类障碍物或第二类障碍物中删除目标障碍物。
通过上述步骤301至步骤303的实现过程,在确定出第一类障碍物和第二类障碍物后,通过分别确定第一类障碍物和第二类障碍物中每个障碍物在待检测区域中的二维位置,当某个障碍物分别通过像素图像和深度图像确定出来的二维位置相同时,可以认为该障碍物为既属于第一类障碍物又属于第二类障碍物且重复计算了的障碍物。
可选的,本申请中,在检测到障碍物后并确定出障碍物的空间位置后,还可以分别确定障碍物的轮廓信息、位置信息以及障碍物的类别等信息,因此能够为避障决策提供更加完整的决策信息。
在步骤103“根据所述像素图像和深度图像确定所述第一类障碍物的空间位置以及根据所述深度图像确定所述第二类障碍物的空间位置”之后,如图7所示,所述方法还包括:
步骤401、输出深度值位于预设范围内的所述第一类障碍物的空间位置信息和轮廓信息以及第二类障碍物的空间位置信息和轮廓信息。
其中,预设范围可以根据实际需要设定并调整。示例性的,可以输出深度值两米以内的障碍物的空间位置信息和轮廓信息,忽略更远的障碍物。这是因为本申请提供的障碍物检测方法为实时检测的过程,可在行进过程中一直检测,因此对于预设范围外的障碍物可能对目前行进尚无影响,可在这些障碍物的深度值位于该预设范围内后再继续检测。
在将本方法应用于图1所示的系统中时,障碍物检测设备12可将步骤401中得到的信息发送给决策设备以便于决策设备13根据这些信息作出避障决策。
本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对障碍物检测设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图8示出了上述实施例中所涉及的障碍物检测设备的一种可能的结构示意图,障碍物检测设备包括:获取单元501、障碍物确定单元502以及位置确定单元503。获取单元501用于支持障碍物检测设备执行图3中的过程101;障碍物确定单元502用于支持障碍物检测设备执行图3中的步骤102,图5中的步骤202、步骤203,图6中的步骤303;位置确定单元503用于支持障碍物检测设备执行图3中的步骤103,图5中的步骤201,图6中的步骤301、步骤302。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
可选的,如图9所示,所述障碍物检测设备还包括输出单元601,用于支持障碍物检测设备执行图7中的过程401。
在采用集成的单元的情况下,图10示出了上述实施例中所涉及的障碍物检测设备的一种可能的结构示意图。障碍物检测设备包括:处理模块701和通信模块702。处理模块701用于对障碍物检测设备的动作进行控制管理,例如,处理模块701用于支持障碍物检测设备执行图3中的过程102、103,图5中的过程201、202、203,图6中的过程301、302、303,和/或用于本文所描述的技术的其它过程。通信模块702用于支持障碍物检测设备与其他网络实体的通信,例如与图1中示出的功能模块或网络实体之间的通信。障碍物检测设备还可以包括存储模块703,用于存储障碍物检测设备的程序代码和数据。
其中,处理模块701可以是处理器或控制器,例如可以是中央处理器(CentralProcessing Unit,CPU),通用处理器,数字信号处理器(Digital Signal Processor,DSP),专用集成电路(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通信模块702可以是收发器、收发电路或通信接口等。存储模块703可以是存储器。
当处理模块701为处理器,通信模块702为收发器,存储模块703为存储器时,本申请实施例所涉及的障碍物检测设备可以为图11所示的电子设备。
参阅图11所示,该电子设备包括:处理器801、通信接口802存储器803以及总线804。其中,处理器801、通信接口802、以及存储器803通过总线804相互连接;总线804可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图11中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(Random Access Memory,RAM)、闪存、只读存储器(ReadOnly Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable ROM,EPROM)、电可擦可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。

Claims (16)

1.一种障碍物检测方法,其特征在于,包括:
分别获取待检测区域对应的像素图像和深度图像,所述像素图像中各个像素点与像素类别对应,所述深度图像中各个像素点与深度值对应;
根据所述像素图像中的各个像素点的像素类别确定所述待检测区域中的路面区域以及所述路面区域中的第一类障碍物;以及根据所述深度图像确定所述待检测区域中的第二类障碍物;
根据所述像素图像和深度图像确定所述第一类障碍物的空间位置以及根据所述深度图像确定所述第二类障碍物的空间位置。
2.根据权利要求1所述的方法,其特征在于,所述根据所述深度图像确定所述待检测区域中的第二类障碍物之后,所述方法还包括:
确定所述路面区域在所述待检测区域中的二维位置;
根据所述路面区域在所述待检测区域中的二维位置,确定所述深度图像中的路面区域;
从所述第二类障碍物中筛选得到位于所述路面区域的障碍物。
3.根据权利要求1所述的方法,其特征在于,在所述根据所述像素图像中的各个像素点的像素类别确定所述待检测区域中的路面区域以及所述路面区域中的第一类障碍物;以及根据所述深度图像确定所述待检测区域中的第二类障碍物之后,所述方法还包括:
根据所述第一类障碍物中每个障碍物在所述像素图像中的坐标,分别确定所述第一类障碍物中每个障碍物在所述待检测区域中的二维位置;
根据所述第二类障碍物中每个障碍物在所述深度图像中的坐标,分别确定所述第二类障碍物中每个障碍物在所述待检测区域中的二维位置;
当存在既属于第一类障碍物又属于第二类障碍物,且在所述待检测区域中的二维位置相同的目标障碍物时,从所述第一类障碍物或第二类障碍物中删除所述目标障碍物。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述像素图像和深度图像分别确定所述第一类障碍物的空间位置,具体包括:
根据所述第一类障碍物中每个障碍物在所述像素图像中的坐标,分别确定所述第一类障碍物中每个障碍物在所述待检测区域中的二维位置;
根据所述第一类障碍物中每个障碍物在所述待检测区域中的二维位置,确定所述第一类障碍物中每个障碍物在所述深度图像中坐标;
分别根据所述第一类障碍物中每个障碍物在所述深度图像中的坐标对应的像素点,分别确定所述第一类障碍物中每个障碍物的深度值;
根据所述第一类障碍物中每个障碍物在所述待检测区域中的二维位置以及深度值,得到所述第一类障碍物中每个障碍物的空间位置。
5.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述深度图像确定所述第二类障碍物的空间位置,具体包括:
根据所述第二类障碍物中每个障碍物在所述深度图像中的坐标,分别确定所述第二类障碍物中每个障碍物在所述待检测区域中的二维位置和深度值,得到所述第二类障碍物中每个障碍物的空间位置。
6.根据权利要求1至5任一项所述的方法,其特征在于,在根据所述像素图像和深度图像分别确定所述第一类障碍物的空间位置以及根据所述深度图像确定所述第二类障碍物的空间位置之后,所述方法还包括:
输出深度值位于预设范围内的所述第一类障碍物的空间位置信息和轮廓信息以及第二类障碍物的空间位置信息和轮廓信息。
7.一种障碍物检测装置,其特征在于,包括:
获取单元,用于分别获取待检测区域对应的像素图像和深度图像,所述像素图像中各个像素点与像素类别对应,所述深度图像中各个像素点与深度值对应;
障碍物确定单元,用于根据所述获取单元获取的所述像素图像中的各个像素点的像素类别确定所述待检测区域中的路面区域以及所述路面区域中的第一类障碍物;以及根据所述获取单元获取的所述深度图像确定所述待检测区域中的第二类障碍物;
位置确定单元,用于根据所述像素图像和深度图像分别确定所述障碍物确定单元确定的第一类障碍物的空间位置以及根据所述深度图像确定所述障碍物确定单元确定的第二类障碍物的空间位置。
8.根据权利要求7所述的装置,其特征在于,
所述位置确定单元,还用于确定所述路面区域在所述待检测区域中的二维位置;
根据所述路面区域在所述待检测区域中的二维位置,确定所述深度图像中的路面区域;
所述障碍物确定单元,还用于从所述第二类障碍物中筛选得到位于所述路面区域的障碍物。
9.根据权利要求7所述的装置,其特征在于,
所述位置确定单元,还用于根据所述第一类障碍物中每个障碍物在所述像素图像中的坐标,分别确定所述第一类障碍物中每个障碍物在所述待检测区域中的二维位置;
根据所述第二类障碍物中每个障碍物在所述深度图像中的坐标,分别确定所述第二类障碍物中每个障碍物在所述待检测区域中的二维位置;
所述障碍物确定单元,还用于当存在既属于第一类障碍物又属于第二类障碍物,且在所述待检测区域中的二维位置相同的目标障碍物时,从所述第一类障碍物或第二类障碍物中删除所述目标障碍物。
10.根据权利要求7至9任一项所述的装置,其特征在于,所述位置确定单元,具体用于:
根据所述第一类障碍物中每个障碍物在所述像素图像中的坐标,分别确定所述第一类障碍物中每个障碍物在所述待检测区域中的二维位置;
根据所述第一类障碍物中每个障碍物在所述待检测区域中的二维位置,确定所述第一类障碍物中每个障碍物在所述深度图像中坐标;
分别根据所述第一类障碍物中每个障碍物在所述深度图像中的坐标对应的像素点,分别确定所述第一类障碍物中每个障碍物的深度值;
根据所述第一类障碍物中每个障碍物在所述待检测区域中的二维位置以及深度值,得到所述第一类障碍物中每个障碍物的空间位置。
11.根据权利要求7至9任一项所述的装置,其特征在于,所述位置确定单元,具体用于:
根据所述第二类障碍物中每个障碍物在所述深度图像中的坐标,分别确定所述第二类障碍物中每个障碍物在所述待检测区域中的二维位置和深度值,得到所述第二类障碍物中每个障碍物的空间位置。
12.根据权利要求7至11任一项所述的装置,其特征在于,所述装置还包括,输出单元,用于:
输出深度值位于预设范围内的所述第一类障碍物的空间位置信息和轮廓信息以及第二类障碍物的空间位置信息和轮廓信息。
13.一种计算机存储介质,其特征在于,用于储存计算机软件指令,其包含执行权利要求1-6任一项所述的障碍物检测方法所设计的程序代码。
14.一种计算机程序产品,其特征在于,可直接加载到计算机的内部存储器中,并含有软件代码,所述计算机程序经由计算机载入并执行后能够实现权利要求1-6任一项所述的障碍物检测方法。
15.一种电子设备,其特征在于,包括:存储器、通信接口和处理器,所述存储器用于存储计算机可执行代码,所述处理器用于执行所述计算机可执行代码控制执行权利要求1-6任一项所述障碍物检测方法,所述通信接口用于所述电子设备与外部设备的数据传输。
16.一种机器人,其特征在于,包括权利要求15所述的电子设备。
CN201680017930.5A 2016-12-30 2016-12-30 一种障碍物检测方法及装置 Active CN107636680B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/113524 WO2018120027A1 (zh) 2016-12-30 2016-12-30 一种障碍物检测方法及装置

Publications (2)

Publication Number Publication Date
CN107636680A true CN107636680A (zh) 2018-01-26
CN107636680B CN107636680B (zh) 2021-07-27

Family

ID=61113519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017930.5A Active CN107636680B (zh) 2016-12-30 2016-12-30 一种障碍物检测方法及装置

Country Status (2)

Country Link
CN (1) CN107636680B (zh)
WO (1) WO2018120027A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694845A (zh) * 2018-06-20 2018-10-23 信利光电股份有限公司 一种车辆驾驶的提醒方法和装置
CN109074668A (zh) * 2018-08-02 2018-12-21 深圳前海达闼云端智能科技有限公司 路径导航方法、相关装置及计算机可读存储介质
CN109271944A (zh) * 2018-09-27 2019-01-25 百度在线网络技术(北京)有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
CN110222557A (zh) * 2019-04-22 2019-09-10 北京旷视科技有限公司 路况的实时检测方法、装置、系统和存储介质
CN110348333A (zh) * 2019-06-21 2019-10-18 深圳前海达闼云端智能科技有限公司 物体检测方法、装置、存储介质及电子设备
CN112348067A (zh) * 2020-10-28 2021-02-09 北京兆芯电子科技有限公司 图像设备及图像处理方法
CN112581484A (zh) * 2019-09-29 2021-03-30 比亚迪股份有限公司 崎岖路面检测方法、装置、存储介质、电子设备和车辆
CN112686077A (zh) * 2019-10-17 2021-04-20 北京极智嘉科技有限公司 一种自驱动机器人和障碍物识别的方法
WO2022205841A1 (zh) * 2021-03-30 2022-10-06 深圳市优必选科技股份有限公司 机器人导航方法、装置、终端设备及计算机可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310528B (zh) * 2018-12-12 2022-08-12 马上消费金融股份有限公司 一种图像检测方法、身份验证方法、支付方法及装置
CN111898396A (zh) * 2019-05-06 2020-11-06 北京四维图新科技股份有限公司 障碍物检测方法和装置
CN110502982B (zh) * 2019-07-11 2024-03-05 平安科技(深圳)有限公司 一种检测高速公路中障碍物的方法、装置及计算机设备
CN111724432B (zh) * 2020-06-04 2023-08-22 杭州飞步科技有限公司 物体三维检测方法和装置
CN112258482A (zh) * 2020-10-23 2021-01-22 广东博智林机器人有限公司 建筑外墙砂浆流坠检测方法及装置
CN114396911B (zh) * 2021-12-21 2023-10-31 中汽创智科技有限公司 一种障碍物测距方法、装置、设备及存储介质
CN115880674B (zh) * 2023-03-01 2023-05-23 上海伯镭智能科技有限公司 一种基于无人驾驶矿车的避障转向矫正方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6371604A (ja) * 1986-09-12 1988-04-01 Hideo Mori 領域分割したカラ−画像を使つて道路境界と障害物を検出する方式
CN103413308A (zh) * 2013-08-01 2013-11-27 东软集团股份有限公司 一种障碍物检测方法和装置
US20140107842A1 (en) * 2012-10-16 2014-04-17 Electronics And Telecommunications Research Institute Human-tracking method and robot apparatus for performing the same
CN103914688A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种城市道路障碍物识别系统
CN104287946A (zh) * 2014-10-24 2015-01-21 中国科学院计算技术研究所 盲人避障提示装置及方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN104981836A (zh) * 2013-02-21 2015-10-14 夏普株式会社 障碍物检测装置和障碍物检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331910B (zh) * 2014-11-24 2017-06-16 沈阳建筑大学 一种基于机器视觉的轨道障碍物检测系统
CN106052674B (zh) * 2016-05-20 2019-07-26 青岛克路德机器人有限公司 一种室内机器人的slam方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6371604A (ja) * 1986-09-12 1988-04-01 Hideo Mori 領域分割したカラ−画像を使つて道路境界と障害物を検出する方式
US20140107842A1 (en) * 2012-10-16 2014-04-17 Electronics And Telecommunications Research Institute Human-tracking method and robot apparatus for performing the same
CN104981836A (zh) * 2013-02-21 2015-10-14 夏普株式会社 障碍物检测装置和障碍物检测方法
CN103413308A (zh) * 2013-08-01 2013-11-27 东软集团股份有限公司 一种障碍物检测方法和装置
CN103914688A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种城市道路障碍物识别系统
CN104287946A (zh) * 2014-10-24 2015-01-21 中国科学院计算技术研究所 盲人避障提示装置及方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694845A (zh) * 2018-06-20 2018-10-23 信利光电股份有限公司 一种车辆驾驶的提醒方法和装置
CN109074668A (zh) * 2018-08-02 2018-12-21 深圳前海达闼云端智能科技有限公司 路径导航方法、相关装置及计算机可读存储介质
WO2020024234A1 (zh) * 2018-08-02 2020-02-06 深圳前海达闼云端智能科技有限公司 路径导航方法、相关装置及计算机可读存储介质
CN109074668B (zh) * 2018-08-02 2022-05-20 达闼机器人股份有限公司 路径导航方法、相关装置及计算机可读存储介质
CN109271944A (zh) * 2018-09-27 2019-01-25 百度在线网络技术(北京)有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
JP7395301B2 (ja) 2018-09-27 2023-12-11 アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド 障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体
CN109271944B (zh) * 2018-09-27 2021-03-12 百度在线网络技术(北京)有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
US11393219B2 (en) 2018-09-27 2022-07-19 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium
CN110222557B (zh) * 2019-04-22 2021-09-21 北京旷视科技有限公司 路况的实时检测方法、装置、系统和存储介质
CN110222557A (zh) * 2019-04-22 2019-09-10 北京旷视科技有限公司 路况的实时检测方法、装置、系统和存储介质
CN110348333A (zh) * 2019-06-21 2019-10-18 深圳前海达闼云端智能科技有限公司 物体检测方法、装置、存储介质及电子设备
CN112581484A (zh) * 2019-09-29 2021-03-30 比亚迪股份有限公司 崎岖路面检测方法、装置、存储介质、电子设备和车辆
CN112686077A (zh) * 2019-10-17 2021-04-20 北京极智嘉科技有限公司 一种自驱动机器人和障碍物识别的方法
CN112686077B (zh) * 2019-10-17 2024-04-26 北京极智嘉科技股份有限公司 一种自驱动机器人和障碍物识别的方法
CN112348067A (zh) * 2020-10-28 2021-02-09 北京兆芯电子科技有限公司 图像设备及图像处理方法
WO2022205841A1 (zh) * 2021-03-30 2022-10-06 深圳市优必选科技股份有限公司 机器人导航方法、装置、终端设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2018120027A1 (zh) 2018-07-05
CN107636680B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN107636680A (zh) 一种障碍物检测方法及装置
JP7395301B2 (ja) 障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体
CN107454969B (zh) 障碍物检测方法及装置
Wu et al. Road pothole extraction and safety evaluation by integration of point cloud and images derived from mobile mapping sensors
CN109087510B (zh) 交通监测方法及装置
JP6031554B2 (ja) 単眼カメラに基づく障害物検知方法及び装置
CN107636727A (zh) 一种目标检测的方法及装置
CN111369617B (zh) 一种基于卷积神经网络的单目视图的3d目标检测方法
US11841434B2 (en) Annotation cross-labeling for autonomous control systems
CN102855459B (zh) 用于特定前景物体的检测验证的方法和系统
CN109543493A (zh) 一种车道线的检测方法、装置及电子设备
CN104915642B (zh) 前方车辆测距方法及装置
CN108072385A (zh) 移动目标的空间坐标定位方法、装置及电子设备
Ray et al. Dynamic blindspots measurement for construction equipment operators
WO2020181426A1 (zh) 一种车道线检测方法、设备、移动平台及存储介质
US11978213B2 (en) Boundary detection evaluation
CN108229473A (zh) 车辆年检标签检测方法及装置
Huang et al. Real-time road curb and lane detection for autonomous driving using LiDAR point clouds
CN108596032B (zh) 一种视频中打架行为检测方法、装置、设备及介质
CN116547562A (zh) 点云滤噪方法、系统和可移动平台
Mingzhou et al. Detection of highway lane lines and drivable regions based on dynamic image enhancement algorithm under unfavorable vision
Jiang et al. Foreign object recognition technology for port transportation channel based on automatic image recognition
CN111881752A (zh) 一种护栏检测分类方法、装置、电子设备及存储介质
CN116434181A (zh) 地面点检测方法、装置、电子设备和介质
CN112133100B (zh) 一种基于r-cnn的车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210208

Address after: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Applicant before: Shenzhen Qianhaida Yunyun Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Patentee after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Patentee before: Dalu Robot Co.,Ltd.

CP03 Change of name, title or address