CN111950501B - 障碍物检测方法、装置以及电子设备 - Google Patents

障碍物检测方法、装置以及电子设备 Download PDF

Info

Publication number
CN111950501B
CN111950501B CN202010854041.2A CN202010854041A CN111950501B CN 111950501 B CN111950501 B CN 111950501B CN 202010854041 A CN202010854041 A CN 202010854041A CN 111950501 B CN111950501 B CN 111950501B
Authority
CN
China
Prior art keywords
obstacle
detection result
obstacle detection
frame fusion
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010854041.2A
Other languages
English (en)
Other versions
CN111950501A (zh
Inventor
张广晟
于红绯
田欢
胡骏
刘威
袁淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shenyang Co Ltd
Original Assignee
Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Reach Automotive Technology Shenyang Co Ltd filed Critical Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority to CN202010854041.2A priority Critical patent/CN111950501B/zh
Publication of CN111950501A publication Critical patent/CN111950501A/zh
Application granted granted Critical
Publication of CN111950501B publication Critical patent/CN111950501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种障碍物检测方法、装置以及电子设备，涉及图像识别技术领域，缓解了障碍物检测结果的准确度较低的技术问题。该方法包括：获取相机采集到连续多帧的初始图像；通过视觉几何法对所述初始图像进行障碍物检测，得到第一障碍物检测结果；基于障碍物类别和非障碍物类别对所述初始图像进行语义分割，得到第二障碍物检测结果；将所述第一障碍物检测结果和所述第二障碍物检测结果进行单帧融合，并基于所述连续多帧的初始图像对应的单帧融合结果进行多帧融合，得到当前帧的最终障碍物检测结果。

Description

障碍物检测方法、装置以及电子设备
技术领域
本申请涉及图像识别技术领域，尤其是涉及一种障碍物检测方法、装置以及电子设备。
背景技术
在车辆行驶的过程中，车辆行驶方向难免会出现障碍物，如路障、其他车辆、行人等。在自动驾驶车辆的行驶过程中，自动驾驶车辆需要成功的避开这些障碍物，或减速停止以避免与障碍物发生摩擦、碰撞等情况。因此，车辆需要对这些障碍物进行准确的识别。
目前，现有的障碍物检测方式是采用视觉几何方法对相机获取到的图像进行障碍物检测识别，但是，这种方法很容易将真正的障碍物识别成非障碍物，将真正的非障碍物识别成障碍物，导致最终得到的障碍物检测结果的准确度较低。
发明内容
本发明的目的在于提供一种障碍物检测方法、装置以及电子设备，以缓解障碍物检测结果的准确度较低的技术问题。
第一方面，本申请实施例提供了一种障碍物检测方法，所述方法包括：
获取相机采集到连续多帧的初始图像；
通过视觉几何法对所述初始图像进行障碍物检测，得到第一障碍物检测结果；
基于障碍物类别和非障碍物类别对所述初始图像进行语义分割，得到第二障碍物检测结果；
将所述第一障碍物检测结果和所述第二障碍物检测结果进行单帧融合，并基于所述连续多帧的初始图像对应的单帧融合结果进行多帧融合，得到当前帧的最终障碍物检测结果。
在一个可能的实现中，所述相机为鱼眼相机和/或广角相机。
在一个可能的实现中，所述通过视觉几何法对所述初始图像进行障碍物检测，得到第一障碍物检测结果的步骤，包括：
将所述初始图像转换为第一俯视图像；
通过视觉几何法对所述第一俯视图像进行障碍物检测，得到第一障碍物检测结果。
在一个可能的实现中，所述基于障碍物类别和非障碍物类别对所述初始图像进行语义分割，得到第二障碍物检测结果的步骤，包括：
将所述初始图像转换为第二俯视图像；
基于障碍物类别和非障碍物类别对所述第二俯视图像进行语义分割，得到语义分割结果；
对所述语义分割结果进行softmax处理，得到障碍物区域概率图，将所述障碍物区域概率图作为第二障碍物检测结果。
在一个可能的实现中，所述第一障碍物检测结果包括障碍物点；所述将所述第一障碍物检测结果和所述第二障碍物检测结果进行单帧融合的步骤，包括：
将所述障碍物点的像素点概率图和所述障碍物区域概率图进行单帧融合，得到单帧融合结果。
在一个可能的实现中，所述第一障碍物检测结果包括障碍物子块；所述将所述第一障碍物检测结果和所述第二障碍物检测结果进行单帧融合的步骤，包括：
将所述障碍物子块的子块概率图和所述障碍物区域概率图进行单帧融合，得到单帧融合结果；
其中，所述障碍物子块的子块概率为所述障碍物子块的中心点位置的像素点概率。
在一个可能的实现中，所述基于所述连续多帧的初始图像对应的单帧融合结果进行多帧融合，得到当前帧的最终障碍物检测结果的步骤，包括：
在所述连续多帧的初始图像对应的连续多帧的单帧融合结果中，基于当前帧对应的单帧融合结果和所述当前帧的前一帧对应的单帧融合结果进行多帧融合，得到所述当前帧的最终障碍物检测结果。
第二方面，提供了一种障碍物检测装置，包括：
获取模块，用于获取相机采集到连续多帧的初始图像；
第一检测模块，用于通过视觉几何法对所述初始图像进行障碍物检测，得到第一障碍物检测结果；
第二检测模块，用于基于障碍物类别和非障碍物类别对所述初始图像进行语义分割，得到第二障碍物检测结果；
融合模块，用于将所述第一障碍物检测结果和所述第二障碍物检测结果进行单帧融合，并基于所述连续多帧的初始图像对应的单帧融合结果进行多帧融合，得到当前帧的最终障碍物检测结果。
第三方面，本申请实施例又提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的第一方面所述方法。
第四方面，本申请实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。
本申请实施例带来了以下有益效果：
本申请实施例提供的一种障碍物检测方法、装置以及电子设备，能够获取相机采集到连续多帧的初始图像，然后，通过视觉几何法对初始图像进行障碍物检测从而得到第一障碍物检测结果，并且基于障碍物类别和非障碍物类别对初始图像进行语义分割从而得到第二障碍物检测结果，然后，将第一障碍物检测结果和第二障碍物检测结果进行单帧融合，并基于连续多帧的初始图像对应的单帧融合结果进行多帧融合从而得到当前帧的最终障碍物检测结果，本方案中，通过将视觉几何法和语义分割法的两种障碍物检测结果进行单帧融合，结合了两种不同的障碍物检测方法，再将多个单帧融合结果进行多帧融合，实现了多线索融合，以提高障碍物检测结果的精确度，使最终得到的障碍物检测结果更加准确。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的障碍物检测方法的流程示意图；
图2为本申请实施例提供的障碍物检测方法中单帧融合的流程示意图；
图3为本申请实施例提供的障碍物检测方法中多帧融合的流程示意图；
图4为本申请实施例提供的一种障碍物检测装置的结构示意图；
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前的障碍物检测方式是仅采用视觉几何方法对相机获取到的待检测图像进行障碍物检测，这种方法得到的障碍物检测结果的准确度较低。
基于此，本申请实施例提供了一种障碍物检测方法、装置以及电子设备，通过该方法可以缓解障碍物检测结果的准确度较低的技术问题。
下面结合附图对本发明实施例进行进一步地介绍。
图1为本申请实施例提供的一种障碍物检测方法的流程示意图。如图1所示，该方法包括：
步骤S110，获取相机采集到连续多帧的初始图像。
在实际应用中，障碍物检测系统的输入可以为视频类的连续多帧的图像，图像由安装在车辆上的相机采集而得。
步骤S120，通过视觉几何法对初始图像进行障碍物检测，得到第一障碍物检测结果。
本步骤中，障碍物检测系统可以根据步骤S110中的输入源基于视觉几何方法进行障碍物检测，从而得到第一障碍物检测结果，如图像中的障碍物和非障碍物的概率图。
步骤S130，基于障碍物类别和非障碍物类别对初始图像进行语义分割，得到第二障碍物检测结果。
本步骤中，障碍物检测系统可以根据上述步骤S110中的输入源基于障碍物类别和非障碍物类别的语义分割方法进行障碍物检测，从而得到第二障碍物检测结果，如图像中的障碍物和非障碍物的概率图。
本申请实施例中，语义分割检测的本步骤和上述视觉几何法检测的步骤S120可以并列进行。
步骤S140，将第一障碍物检测结果和第二障碍物检测结果进行单帧融合，并基于连续多帧的初始图像对应的单帧融合结果进行多帧融合，得到当前帧的最终障碍物检测结果。
本步骤中，障碍物检测系统先将第一障碍物检测结果与第二障碍物检测结果进行单帧融合，再基于单帧融合结果进行多帧融合，从而得到当前帧的障碍物概率图。
本申请实施例中，针对连续多帧的图像进行视频类整体的障碍物检测，将视觉几何法和语义分割法的两种障碍物检测结合进行单帧融合，结合了两种不同的障碍物检测方法，再将多个单帧融合结果进行多帧融合，实现多线索融合，以提高障碍物检测结果的精确度，使最终得到的障碍物检测结果更加准确。
下面对上述步骤进行详细介绍。
在一些实施例中，本申请实施例中的相机可以为任意类型的相机，获取到的初始图像可以为多种不同种类的图像。作为一个示例，相机为鱼眼相机和/或广角相机。
在实际应用中，鱼眼相机相比普通的平面相机的各方面效果较差，而且平面相机的改进较为普遍而鱼眼相机的改进较少，本申请实施例可以限定主要是针对鱼眼相机的改进方法。因此，本申请实施例以上述相机为鱼眼相机为例进行说明。基于此，初始图像可以由安装在车辆上的鱼眼相机采集而得，障碍物检测系统获取到的初始图像为鱼眼相机采集而得的鱼眼图像。
在一些实施例中，上述步骤S120可以包括如下步骤：
步骤a)，将初始图像转换为第一俯视图像；
步骤b)，通过视觉几何法对第一俯视图像进行障碍物检测，得到第一障碍物检测结果。
如图2所示，在通过视觉几何方法检测障碍物的过程中，障碍物检测系统可以将鱼眼相机图像转换为俯视图像，对俯视图像进行视觉几何方法障碍物检测，从而得到障碍物点或障碍物子块。通过利用俯视图进行障碍物检测，相比现有的利用平视视角的检测过程，能够提升针对障碍物存在区域的障碍物测效果。
在一些实施例中，上述步骤S130可以包括如下步骤：
步骤c)，将初始图像转换为第二俯视图像；
步骤d)，基于障碍物类别和非障碍物类别对第二俯视图像进行语义分割，得到语义分割结果；
步骤e)，对语义分割结果进行softmax处理，得到障碍物区域概率图，将障碍物区域概率图作为第二障碍物检测结果。
如图2所示，在通过语义分割方法检测障碍物的过程中，障碍物检测系统可以将鱼眼相机图像转换为俯视图像，对俯视图像进行语义分割，从而得到语义分割结果。之后，对语义分割结果进行softmax处理，可以把原来得到的值归一到0～1的区间，得到障碍物点在不同类别(即障碍物类和非障碍物类)的概率，即某块区域是障碍物的概率。
通过利用俯视图进行障碍物检测，相比现有的利用平视视角的检测过程，能够提升针对障碍物存在区域的障碍物测效果。
基于上述步骤e)，第一障碍物检测结果包括障碍物点；上述步骤S140中单帧融合的过程可以包括如下步骤：
步骤f)，将障碍物点的像素点概率图和障碍物区域概率图进行单帧融合，得到单帧融合结果。
本申请实施例中，障碍物检测系统可以通过下述公式将障碍物点的概率图和障碍物区域概率图进行单帧融合，以得到单帧融合结果：pfinal,(x,y)＝N×pgeo,(x,y)×pseg,(x,y)；其中，pfinal,(x,y)为单帧融合结果；pgeo,(x,)为第一障碍物检测结果中(x，y)位置像素点的障碍物概率；pseg,(x,y)为第二障碍物检测结果中(x，y)位置像素点的障碍物概率；其中，p1＝pgeo,(x,y)，p1＝pgeo,(x,y)，px为预设系数。
对于障碍物点的融合过程，将第一障碍物检测结果和第二障碍物检测结果的障碍物点结果进行融合。例如，假设第一障碍物检测结果为Mgeo，pgeo,(x,y)为Mgeo上(x,y)位置的像素点概率，其中，pgeo∈Mgeo；假设第二障碍物检测结果为Mseg，pseg,(x,y)为Mseg上(x,y)位置的像素点概率，其中，pseg∈Mseg；对于图像(x,y)点的概率pfinal,(x,y)，有公式：
pfinal,(x,y)＝N×pgeo,(x,y)×pseg,(x,y)，p1＝pgeo,(x,y)，p2＝pseg,(x,y)，
通过将第一障碍物检测结果中障碍物点的像素点概率图和第一障碍物检测结果中障碍物区域概率图进行单帧融合，能够针对概率图中的障碍物点方面进行针对性融合，实现更加有效的单帧融合过程。
基于上述步骤e)，第一障碍物检测结果包括障碍物子块；上述步骤S140中单帧融合的过程可以包括如下步骤：
步骤g)，将障碍物子块的子块概率图和障碍物区域概率图进行单帧融合，得到单帧融合结果。
其中，障碍物子块的子块概率为障碍物子块的中心点位置的像素点概率。
本申请实施例中，障碍物检测系统可以通过下述公式将障碍物子块的概率图和障碍物区域概率图进行单帧融合，以得到单帧融合结果：pfinal,(x,y)＝N×pgeo,(xyy)×pseg,(x,y)；其中，pfinal,(x,y)为单帧融合结果；pgeo,(x,)为第一障碍物检测结果中子块以(x，y)为中心位置的障碍物概率；pseg,(x,y)为第二障碍物检测结果中子块以(x，y)为中心位置的障碍物概率；其中，p1＝pgeo,(x,y)，p1＝pgeo,(x,y)，px为预设系数。
对于障碍物点的融合过程，将第一障碍物检测结果和第二障碍物检测结果的障碍物点结果进行融合。例如，假设第一障碍物检测结果为Mgeo，其中，pgeo∈Mgeo，pgeo,(x,y)为Mgeo上子块以(x,y)为中心位置的子块概率；再假设第二障碍物检测结果为Mseg，由于分割结果为像素点概率，pseg,(x,y)为Mseg上子块以(x,y)为中心位置的子块概率，pseg∈Mseg，其中，分割的子块概率为子块中心点的概率，针对子块的具体的融合方法可以同障碍物点融合方法相同。
通过将第一障碍物检测结果中障碍物子块的概率图和第一障碍物检测结果中障碍物区域概率图进行单帧融合，能够针对概率图中的障碍物子块方面进行针对性融合，实现更加有效的单帧融合过程。
在一些实施例中，上述步骤S140中多帧融合的过程可以包括如下步骤：
步骤h)，在连续多帧的初始图像对应的连续多帧的单帧融合结果中，基于当前帧对应的单帧融合结果和当前帧的前一帧对应的单帧融合结果进行多帧融合，得到当前帧的最终障碍物检测结果。
本申请实施例中，在单帧融合过程完成后，将单帧融合结果进行多帧融合。多帧融合过程的输入为多帧处理后的俯视图像M0,M1,M2,...,Mn，第i帧为，每一像素为障碍物在该点的概率pi，pi∈Mi，每一像素取值变换为概率对数形式，并且为有障碍物的概率比无障碍物的概率在第i帧，(x,y)处障碍物的概率对数如下：
(x,y)处障碍物的概率如下：
最后，p(x)＝0.5，从而得到当前帧的障碍物概率图。该当前帧的障碍物概率图为多帧融合后的结果，即本申请实施例障碍物检测系统的最终输出结果。
如图3所示，通过将当前帧对应的单帧融合结果和当前帧的前一帧对应的单帧融合结果(历史融合结果)进行多帧融合从而得到当前帧的最终障碍物检测结果，使最终的障碍物检测结果不仅反映了当前帧的检测结果，还参考了前一帧的检测结果(历史数据流)，使当前帧的障碍物检测结果更加全面且精确度更高。
图4提供了一种障碍物检测装置的结构示意图。如图4所示，障碍物检测装置400包括：
获取模块401，用于获取相机采集到连续多帧的初始图像；
第一检测模块402，用于通过视觉几何法对所述初始图像进行障碍物检测，得到第一障碍物检测结果；
第二检测模块403，用于基于障碍物类别和非障碍物类别对所述初始图像进行语义分割，得到第二障碍物检测结果；
融合模块404，用于将所述第一障碍物检测结果和所述第二障碍物检测结果进行单帧融合，并基于所述连续多帧的初始图像对应的单帧融合结果进行多帧融合，得到当前帧的最终障碍物检测结果。
在一些实施例中，所述相机为鱼眼相机和/或广角相机。
在一些实施例中，第一检测模块402具体用于：
将所述初始图像转换为第一俯视图像；
通过视觉几何法对所述第一俯视图像进行障碍物检测，得到第一障碍物检测结果。
在一些实施例中，第二检测模块403具体用于：
将所述初始图像转换为第二俯视图像；
基于障碍物类别和非障碍物类别对所述第二俯视图像进行语义分割，得到语义分割结果；
对所述语义分割结果进行softmax处理，得到障碍物区域概率图，将所述障碍物区域概率图作为第二障碍物检测结果。
在一些实施例中，所述第一障碍物检测结果包括障碍物点；融合模块404具体用于：
将所述障碍物点的像素点概率图和所述障碍物区域概率图进行单帧融合，得到单帧融合结果。
在一些实施例中，所述第一障碍物检测结果包括障碍物子块；融合模块404具体用于：
将所述障碍物子块的子块概率图和所述障碍物区域概率图进行单帧融合，得到单帧融合结果；
其中，所述障碍物子块的子块概率为所述障碍物子块的中心点位置的像素点概率。
在一些实施例中，融合模块404还用于：
在所述连续多帧的初始图像对应的连续多帧的单帧融合结果中，基于当前帧对应的单帧融合结果和所述当前帧的前一帧对应的单帧融合结果进行多帧融合，得到所述当前帧的最终障碍物检测结果。
本申请实施例提供的障碍物检测装置，与上述实施例提供的障碍物检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
如图5所示，本申请实施例提供的一种电子设备500，包括：处理器501、存储器502和总线，所述存储器502存储有所述处理器501可执行的机器可读指令，当电子设备运行时，所述处理器501与所述存储器502之间通过总线通信，所述处理器501执行所述机器可读指令，以执行如上述障碍物检测方法的步骤。
具体地，上述存储器502和处理器501能够为通用的存储器和处理器，这里不做具体限定，当处理器501运行存储器502存储的计算机程序时，能够执行上述障碍物检测方法。
处理器501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成上述方法的步骤。
对应于上述障碍物检测方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述障碍物检测方法的步骤。
本申请实施例所提供的障碍物检测装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述障碍物检测方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种障碍物检测方法，其特征在于，所述方法包括：
获取相机采集到连续多帧的初始图像；
通过视觉几何法对所述初始图像进行障碍物检测，得到第一障碍物检测结果；
基于障碍物类别和非障碍物类别对所述初始图像进行语义分割，得到第二障碍物检测结果；
将所述第一障碍物检测结果和所述第二障碍物检测结果进行单帧融合，并基于所述连续多帧的初始图像对应的单帧融合结果进行多帧融合，得到当前帧的最终障碍物检测结果；
所述基于障碍物类别和非障碍物类别对所述初始图像进行语义分割，得到第二障碍物检测结果的步骤，包括：
将所述初始图像转换为第二俯视图像；
基于障碍物类别和非障碍物类别对所述第二俯视图像进行语义分割，得到语义分割结果；
对所述语义分割结果进行softmax处理，得到障碍物区域概率图，将所述障碍物区域概率图作为第二障碍物检测结果；
所述第一障碍物检测结果包括障碍物子块；所述将所述第一障碍物检测结果和所述第二障碍物检测结果进行单帧融合的步骤，包括：
将所述障碍物子块的子块概率图和所述障碍物区域概率图进行单帧融合，得到单帧融合结果；
其中，所述障碍物子块的子块概率为所述障碍物子块的中心点位置的像素点概率。
2.根据权利要求1所述的方法，其特征在于，所述相机为鱼眼相机和/或广角相机。
3.根据权利要求1所述的方法，其特征在于，所述通过视觉几何法对所述初始图像进行障碍物检测，得到第一障碍物检测结果的步骤，包括：
将所述初始图像转换为第一俯视图像；
通过视觉几何法对所述第一俯视图像进行障碍物检测，得到第一障碍物检测结果。
4.根据权利要求1所述的方法，其特征在于，所述第一障碍物检测结果包括障碍物点；所述将所述第一障碍物检测结果和所述第二障碍物检测结果进行单帧融合的步骤，包括：
将所述障碍物点的像素点概率图和所述障碍物区域概率图进行单帧融合，得到单帧融合结果。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述连续多帧的初始图像对应的单帧融合结果进行多帧融合，得到当前帧的最终障碍物检测结果的步骤，包括：
在所述连续多帧的初始图像对应的连续多帧的单帧融合结果中，基于当前帧对应的单帧融合结果和所述当前帧的前一帧对应的单帧融合结果进行多帧融合，得到所述当前帧的最终障碍物检测结果。
6.一种障碍物检测装置，其特征在于，包括：
获取模块，用于获取相机采集到连续多帧的初始图像；
第一检测模块，用于通过视觉几何法对所述初始图像进行障碍物检测，得到第一障碍物检测结果；
第二检测模块，用于基于障碍物类别和非障碍物类别对所述初始图像进行语义分割，得到第二障碍物检测结果；
融合模块，用于将所述第一障碍物检测结果和所述第二障碍物检测结果进行单帧融合，并基于所述连续多帧的初始图像对应的单帧融合结果进行多帧融合，得到当前帧的最终障碍物检测结果；
第二检测模块具体用于：
将所述初始图像转换为第二俯视图像；
基于障碍物类别和非障碍物类别对所述第二俯视图像进行语义分割，得到语义分割结果；
对所述语义分割结果进行softmax处理，得到障碍物区域概率图，将所述障碍物区域概率图作为第二障碍物检测结果；
所述第一障碍物检测结果包括障碍物子块；融合模块具体用于：
将所述障碍物子块的子块概率图和所述障碍物区域概率图进行单帧融合，得到单帧融合结果；
其中，所述障碍物子块的子块概率为所述障碍物子块的中心点位置的像素点概率。
7.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至5任一项所述的方法。
CN202010854041.2A 2020-08-21 2020-08-21 障碍物检测方法、装置以及电子设备 Active CN111950501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010854041.2A CN111950501B (zh) 2020-08-21 2020-08-21 障碍物检测方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010854041.2A CN111950501B (zh) 2020-08-21 2020-08-21 障碍物检测方法、装置以及电子设备

Publications (2)

Publication Number Publication Date
CN111950501A CN111950501A (zh) 2020-11-17
CN111950501B true CN111950501B (zh) 2024-05-03

Family

ID=73359934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010854041.2A Active CN111950501B (zh) 2020-08-21 2020-08-21 障碍物检测方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN111950501B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327297B (zh) * 2021-06-30 2022-06-17 湖南科技大学 基于深度学习的深海海底障碍物测量系统与识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112000A (ja) * 1996-10-03 1998-04-28 Suzuki Motor Corp 障害物認識装置
KR101007409B1 (ko) * 2010-05-26 2011-01-14 삼성탈레스 주식회사 영상 융합 처리 장치 및 방법
KR20120066220A (ko) * 2010-12-14 2012-06-22 주식회사 이미지넥스트 차량 주변 물체 검출 시스템 및 방법
KR20160136757A (ko) * 2015-05-21 2016-11-30 주식회사 와이즈오토모티브 단안 카메라를 이용한 장애물 검출장치
CN109116374A (zh) * 2017-06-23 2019-01-01 百度在线网络技术（北京）有限公司 确定障碍物距离的方法、装置、设备及存储介质
CN109784216A (zh) * 2018-12-28 2019-05-21 华南理工大学 基于概率图的车载热成像行人检测RoIs提取方法
CN110909671A (zh) * 2019-11-21 2020-03-24 大连理工大学 一种融合概率和高度信息的栅格地图障碍物检测方法
CN111104943A (zh) * 2019-12-17 2020-05-05 西安电子科技大学 基于决策级融合的彩色图像感兴趣区域提取方法
CN111208521A (zh) * 2020-01-14 2020-05-29 武汉理工大学 一种多波束前视声呐水下障碍物鲁棒检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection
US10699565B2 (en) * 2018-04-04 2020-06-30 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for inferring lane obstructions

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112000A (ja) * 1996-10-03 1998-04-28 Suzuki Motor Corp 障害物認識装置
KR101007409B1 (ko) * 2010-05-26 2011-01-14 삼성탈레스 주식회사 영상 융합 처리 장치 및 방법
KR20120066220A (ko) * 2010-12-14 2012-06-22 주식회사 이미지넥스트 차량 주변 물체 검출 시스템 및 방법
KR20160136757A (ko) * 2015-05-21 2016-11-30 주식회사 와이즈오토모티브 단안 카메라를 이용한 장애물 검출장치
CN109116374A (zh) * 2017-06-23 2019-01-01 百度在线网络技术（北京）有限公司 确定障碍物距离的方法、装置、设备及存储介质
CN109784216A (zh) * 2018-12-28 2019-05-21 华南理工大学 基于概率图的车载热成像行人检测RoIs提取方法
CN110909671A (zh) * 2019-11-21 2020-03-24 大连理工大学 一种融合概率和高度信息的栅格地图障碍物检测方法
CN111104943A (zh) * 2019-12-17 2020-05-05 西安电子科技大学 基于决策级融合的彩色图像感兴趣区域提取方法
CN111208521A (zh) * 2020-01-14 2020-05-29 武汉理工大学 一种多波束前视声呐水下障碍物鲁棒检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Multimodal obstacle detection in unstructured environments with conditional random fields;Mikkel Kragh;《Journal of Field Robotics》;20190307;第37卷(第1期);53-72 *
Obstacle detection based on multiple cues fusion from monocular camera;Wei Liu 等;《16th International IEEE Conference on Intelligent Transportation Systems (ITSC 2013)》;640-645 *
Real-Time Semantic Segmentation for Fisheye Urban Driving Images Based on ERFNet;Álvaro Sáez 等;《Sensors》;1-23 *
基于多线索融合的障碍物检测算法研究;左立元;《中国优秀硕士学位论文全文数据库 信息科技辑》(第09期);第I138-830页摘要，第3-4章 *
面向自动驾驶碾压作业车的障碍物检测研究;邹斌 等;《数字制造科学》;20191231;第17卷(第4期);245-250 *

Also Published As

Publication number Publication date
CN111950501A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN107851318B (zh) 用于对象跟踪的系统和方法
CN110991310B (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN112613387A (zh) 一种基于YOLOv3的交通标志检测方法
CN104239847A (zh) 行车警示方法及车用电子装置
CN113159026A (zh) 图像处理方法、装置、电子设备和介质
CN111950501B (zh) 障碍物检测方法、装置以及电子设备
CN110807457A (zh) Osd字符识别方法、装置及存储装置
CN112837384A (zh) 车辆标记方法、装置和电子设备
CN112435278B (zh) 一种基于动态目标检测的视觉slam方法及装置
CN113312949B (zh) 视频数据处理方法、视频数据处理装置和电子设备
US9858493B2 (en) Method and apparatus for performing registration plate detection with aid of edge-based sliding concentric windows
CN112241963A (zh) 基于车载视频的车道线识别方法、系统和电子设备
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN112949423B (zh) 物体识别方法、物体识别装置及机器人
CN112819953B (zh) 三维重建方法、网络模型训练方法、装置及电子设备
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN111627041B (zh) 多帧数据的处理方法、装置及电子设备
CN111126106B (zh) 一种车道线识别方法和装置
CN111950502B (zh) 基于障碍对象的检测方法、装置及计算机设备
CN115631477B (zh) 目标识别方法及终端
CN116503695B (zh) 目标检测模型的训练方法、目标检测方法及设备
CN112784638B (zh) 训练样本获取方法和装置、行人检测方法和装置
JP5921596B2 (ja) 画像処理装置および画像処理方法
WO2023178542A1 (en) Image processing apparatus and method
CN110991415B (zh) 一种结构性目标高精度分割方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant