CN110807347B - 障碍物检测方法、装置及终端 - Google Patents
障碍物检测方法、装置及终端 Download PDFInfo
- Publication number
- CN110807347B CN110807347B CN201810886809.7A CN201810886809A CN110807347B CN 110807347 B CN110807347 B CN 110807347B CN 201810886809 A CN201810886809 A CN 201810886809A CN 110807347 B CN110807347 B CN 110807347B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- continuous
- common
- distance value
- barrier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种障碍物检测方法及装置,方法包括:获取普通障碍物和连续型障碍物在U视差图中的位置;若所述U视差图中存在位于连续型障碍物外侧的普通障碍物,则判断连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件,连续型障碍物外侧指的是该连续型障碍物靠近U视差图边界的一侧;若符合,则将连续型障碍物与位于其外侧的普通障碍物合并为指定障碍物。通过普通障碍物与连续型障碍物之间的位置关系和连接关系,以实现对指定障碍物的检测,在指定障碍物为大型车辆时,可实现对侧前方行驶的大型车辆的检测,系统可以对检测到的侧前方行驶的大型车辆采取跟踪和预警策略,能够避免车辆正常行驶带来的潜在危险。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种障碍物检测方法、装置及终端。
背景技术
目前,基于双目立体视觉的障碍物检测方法在车辆的驾驶辅助系统中应用越来越广泛,在驾驶辅助系统中,通常是基于U视差图和V视差图的结合检测普通障碍物(指的是会对车辆行驶带来潜在危险的障碍物,如行驶车辆前方存在的车辆、行人、路障等,)和静止不动的连续型障碍物(指的是位于行驶车辆侧前方车道或位于道路边缘且长度比较长的障碍物,如道路中间隔离护栏、道路两侧突起的马路牙子或者植被等)。
然而,对于一些大型车辆,如公交车、货车、大型拖挂车等,当其在车辆的侧前方行驶时,由于其车身比较长,驾驶辅助系统很容易将侧前方行驶的大型车辆误检为静止不动的连续型障碍物,而驾驶辅助系统不会对连续型障碍物采取跟踪和预警策略,因此驾驶辅助系统会忽略这些侧前方行驶的大型车辆的行驶状态,给车辆正常行驶带来潜在危险。
发明内容
有鉴于此,本申请提供一种障碍物检测方法、装置及终端,以解决相关技术中的障碍物检测方法会将侧前方行驶的大型车辆误检为连续型障碍物,导致给车辆正常行驶带来潜在危险的问题。
根据本申请实施例的第一方面,提供一种障碍物检测方法,所述方法包括:
获取普通障碍物和连续型障碍物在U视差图中的位置;
若所述U视差图中存在位于所述连续型障碍物外侧的普通障碍物,则判断所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件,其中,所述连续型障碍物外侧指的是该连续型障碍物靠近所述U视差图边界的一侧;
若符合,则将所述连续型障碍物与位于其外侧的普通障碍物合并为指定障碍物。
根据本申请实施例的第二方面,提供一种障碍物检测装置,所述装置包括:
获取位置模块,用于获取普通障碍物和连续型障碍物在U视差图中的位置;
判断模块,用于在所述U视差图中存在位于所述连续型障碍物外侧的普通障碍物情况下,判断所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件,其中,所述连续型障碍物外侧指的是该连续型障碍物靠近所述U视差图边界的一侧;
合并模块,用于在判断符合时,将所述连续型障碍物与位于其外侧的普通障碍物合并为指定障碍物。
根据本申请实施例的第三方面,提供一种障碍物终端,包括可读存储介质和处理器;
其中,所述可读存储介质,用于存储机器可执行指令;
所述处理器,用于读取所述可读存储介质上的所述机器可执行指令,并执行所述指令以实现上述所述的障碍物检测方法的步骤。
应用本申请实施例,在获取到普通障碍物和连续型障碍物在U视差图中的位置之后,若U视差图中存在位于连续型障碍物外侧的普通障碍物,则判断连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件,其中,连续型障碍物外侧指的是该连续型障碍物靠近U视差图边界的一侧;若符合,则将连续型障碍物与位于其外侧的普通障碍物合并为指定障碍物。基于上述描述可知,通过普通障碍物与连续型障碍物之间的位置关系和边缘连接关系,可以实现对指定障碍物的检测,在指定障碍物为大型车辆时,可以实现对侧前方行驶的大型车辆的有效检测,驾驶辅助系统可以对检测到的侧前方行驶的大型车辆采取跟踪和预警策略,能够避免车辆正常行驶带来的潜在危险。
附图说明
图1A为本申请根据一示例性实施例示出的一种原始图像;
图1B为本申请根据1A所示的原始图像得到的U视差图;
图2A为本申请根据一示例性实施例示出的一种在U视差图中检测侧前方大型车辆的模板示意图;
图2B为本申请根据一示例性实施例示出的一种在U视差图中不存在侧前方大型车辆的模板示意图;
图3为本申请根据一示例性实施例示出的一种障碍物检测方法的实施例流程图;
图4A为本申请根据一示例性实施例示出的另一种障碍物检测方法的实施例流程图;
图4B为本申请根据图4A所示实施例示出的一种车辆在U视差图中对应的正前方区域示意图;
图4C为本申请根据图4A所示实施例示出的一种U视差图的左半区域和右半区域的划分示意图;
图4D为本申请根据图4A所示实施例示出的一种标记了指定障碍物的原始图像;
图5为本申请根据一示例性实施例示出的一种终端的硬件结构图;
图6为本申请根据一示例性实施例示出的一种障碍物检测装置的实施例结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在相关技术中,在基于原始图像的U视差图和V视差图的普通障碍物和连续型障碍物检测过程中,对于侧前方车道行驶的大型车辆(如公交车、货车、大型拖挂车等),由于车身侧方部分比较长且有一定的倾斜角度,因此很容易被检测为连续型障碍物,而车尾部却被检测为普通障碍物,而通常情况下,普通障碍物不会在连续型障碍物的外侧,即从道路边缘再往外不会再存在普通障碍物,因此在对普通障碍物采取跟踪策略时,会将连续型障碍物外侧的普通障碍物删除,即将车尾部删除,从而导致将侧前方车道行驶的大型车辆误检为连续型障碍物,在其行驶状态突然发生变化时,驾驶辅助系统也来不及对瞬时发生危险进行预警或主动干预。
由于连续型障碍物的检测是通过长度阈值进行的检测,因此即使将长度阈值增大,也会导致将侧前方行驶的大型车辆的丢弃的问题。
如图1A-1B所示,图1A为原始图像,图1B为图1A的U视差图,连续型障碍物和普通障碍物在U视差图中分别是一条倾斜的斜线和一条水平的横线,因此连续型障碍物也可称为倾斜障碍物,普通障碍物也可称为正向障碍物,如图1B中的连续型障碍物①和②均为一条倾斜的斜线,普通障碍物③、④、⑤均为一条水平的横线,其中,①对应图1A中的连续型障碍物(即隔离护栏)、②对应图1A中的连续型障碍物(即侧前方公交车的侧身部分)、③对应图1A中的普通障碍物(即正前方轿车)、④对应图1A中的普通障碍物(即侧前方轿车)、⑤对应图1A中的普通障碍物(即侧前方公交车的车尾部),由于⑤位于连续型障碍物②的外侧,因此会将⑤删除。
由上述图1B所示,侧前方行驶的大型车辆在U视差图中存在以下特点:大型车辆的车身侧面可拟合出一条斜线,车尾部可拟合出一条横线,而车身侧面斜线和车尾部横线存在一定的连接关系。
图2A为在U视差图中检测侧前方大型车辆的模板示意图,以图2A的左半部区域为例,检测出倾斜的连续型障碍物①,普通障碍物②,②位于①的外侧(即①的左侧),且①的近端边缘点与②的右端边缘点之间的连接关系满足一定的偏差容忍度。此外,对于左半部区域的侧前方大型车辆在U视差图中是呈现一种镜像的倾斜的“L”形状,而在右半部区域的侧前方大型车辆在U视差图中是呈现一种倾斜的“L”形状。
图2B为在U视差图中不存在侧前方大型车辆的模板示意图,以图2B的左半部区域为例,检测出的普通障碍物②位于倾斜的连续型障碍物①的内侧(即①的右侧),且①与②呈现的是一种倾斜的“L”形状,其不满足正常场景中大型车辆在U视差图中的投影形状,因此可以确定①与②不存在任何关联。基于同样的原理,对于图2B的右半部区域,若检测出的普通障碍物与倾斜的连续型障碍物呈现一种镜像的倾斜的“L”形状,也可以确定二者不存在任何关联。
基于上述图2A所示的检测侧前方大型车辆的模板原理,下面以具体实施例详细阐述本申请技术方案。
图3为本申请根据一示例性实施例示出的一种障碍物检测方法的实施例流程图,如图3所示,该障碍物检测方法包括如下步骤:
步骤301:获取普通障碍物和连续型障碍物在U视差图中的位置。
在一实施例中,可以先通过立体匹配方式,获取原始图像的视差图,并将视差图转换为U视差图和V视差图,然后再基于U视差图和V视差图检测普通障碍物和连续型障碍物,从而可以获取到的普通障碍物和连续型障碍物在U视差图中的位置。
其中,原始图像是由车辆上设置的双目相机拍摄得到的,其既可以是双目相机拍摄的左图像,也可以是双目相机拍摄的右图像。由于连续型障碍物和普通障碍物在U视差图中分别是一条倾斜的斜线和一条水平的横线,因此可以获取连续型障碍物的近端边缘点和远端边缘点在U视差图中的坐标,即获取到连续型障碍物在U视差图中的位置,可以获取普通障碍物的左端边缘点和右端边缘点在U视差图中的坐标,即获取到普通障碍物在U视差图中的位置。
本领域技术人员可以理解的是,如何基于U视差图和V视差图的结合检测普通障碍物和连续型障碍物可以通过相关技术实现,本申请在此不进行详述。
步骤302:若U视差图中存在位于连续型障碍物外侧的普通障碍物,则判断该连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件,若不符合,则执行步骤303,若符合,则执行步骤304。
在一实施例中,可以依据上述步骤301获取的普通障碍物和连续型障碍物在U视差图中的位置,在U视差图中查询位于连续型障碍物外侧的普通障碍物。
其中,连续型障碍物外侧指的是该连续型障碍物靠近U视差图边界的一侧。
针对在U视差图中查询位于连续型障碍物外侧的普通障碍物的过程,及步骤302的过程,可以参见下述图4A所示实施例的相关描述,暂不详述。
步骤303:结束当前流程。
如果连续型障碍物与位于其外侧的普通障碍物的边缘连接关系不符合预设连接条件,则表示原始图像中不存在指定障碍物,即侧前方行驶的大型车辆,可以结束当前流程。
步骤304:将该连续型障碍物与位于其外侧的普通障碍物合并为指定障碍物。
其中,如果连续型障碍物与位于其外侧的普通障碍物的边缘连接关系符合预设连接条件,则表示该连续型障碍物与位于其外侧的普通障碍物为一个指定障碍物,即原始图像中存在侧前方行驶的大型车辆,因此可以将该连续型障碍物与普通障碍物合并。
本实施例中,在获取到普通障碍物和连续型障碍物在U视差图中的位置之后,若U视差图中存在位于连续型障碍物外侧的普通障碍物,则判断连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件,其中,连续型障碍物外侧指的是该连续型障碍物靠近U视差图边界的一侧;若符合,则将连续型障碍物与位于其外侧的普通障碍物合并为指定障碍物。基于上述描述可知,通过普通障碍物与连续型障碍物之间的位置关系和边缘连接关系,可以实现对指定障碍物的检测,在指定障碍物为大型车辆时,可以实现对侧前方行驶的大型车辆的有效检测,驾驶辅助系统可以对检测到的侧前方行驶的大型车辆采取跟踪和预警策略,能够避免车辆正常行驶带来的潜在危险。
图4A为本申请根据一示例性实施例示出的另一种障碍物检测方法的实施例流程图,基于上述图3所示实施例的基础上,以如何在U视差图中查询位于连续型障碍物外侧的普通障碍物,以及如何判断连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件为例进行示例性说明,如图4A所示,该障碍物检测方法可包括如下步骤:
步骤401:将U视差图按照预设中线划分为两个区域。
其中,将U视差图按照预设中线划分的两个区域可以是左半区域和右半区域。
步骤402:分别在两个区域中,查询位于连续型障碍物外侧的普通障碍物,连续型障碍物外侧指的是该连续型障碍物远离预设中线的一侧。
在执行步骤402之前,可以预先根据车辆的车身宽度,计算车辆在U视差图中对应的正前方区域,如图4B所示,为一种示例性的车辆在U视差图中对应的正前方区域,中线为车辆上设置的双目相机在U视差图中对应的位置。由于在正前方区域内只可能存在普通障碍物,不存在连续型障碍物,因此在查询时,可以只查询除正前方区域之外的连续型障碍物和普通障碍物,从而可以降低查询时间。其中,中线即为预设中线。
在一实施例中,两个区域分别是左半区域和右半区域,可以先获取除车辆的正前方区域之外的属于左半区域的连续型障碍物和属于右半区域的连续型障碍物,针对属于左半区域的连续型障碍物,查询位于该连续型障碍物左侧的普通障碍物,并将查询到的普通障碍物确定为位于该连续型障碍物外侧的普通障碍物,针对属于右半区域的连续型障碍物,查询位于该连续型障碍物右侧的普通障碍物,并将查询到的普通障碍物确定为位于该连续型障碍物外侧的普通障碍物。
其中,如上述图2A所示的检测侧前方大型车辆的模板原理,对于左半区域,连续型障碍物的外侧即为连续型障碍物的左侧,因此位于连续型障碍物左侧的普通障碍物有可能是大型车辆的车尾部。对于右半区域,连续型障碍物的外侧即为连续型障碍物的右侧,因此位于连续型障碍物右侧的普通障碍物有可能是大型车辆的车尾部。
在一示例性场景中,如图4C所示,普通障碍物③属于车辆的正前方区域,属于左半区域的只有连续型障碍物①,属于右半区域的有普通障碍物④和⑤,以及连续型障碍物②,因此可获取到除车辆的正前方区域之外的属于左半区域的连续型障碍物①和属于右半区域的连续型障碍物②;在连续型障碍物①的左侧不存在普通障碍物,因此在连续型障碍物①的左侧查询不到普通障碍物,在连续型障碍物②的右侧存在普通障碍物⑤,因此在连续型障碍物②的右侧可以查询到普通障碍物⑤,即位于连续型障碍物②外侧的普通障碍物⑤。
需要说明的是,在查询位于连续型障碍物外侧的普通障碍物之前,可以根据连续型障碍物在U视差图中的位置,计算连续型障碍物的实际长度,并将长度小于预设长度阈值的连续型障碍物过滤掉。从而可以将不符合大型车辆长度的连续型障碍物过滤掉。
其中,预设长度阈值指的是大型车辆的车身侧面长度,可以根据实践经验设置,如可以设置为7米。
针对根据连续型障碍物在U视差图中的位置,计算连续型障碍物的实际长度的过程,可以先计算连续型障碍物的近端边缘点(近端边缘点指的是靠近相机的一端)和远端边缘点(远端边缘点指的是远离相机的一端)在U视差图中的视差值,在世界坐标系下Z方向的距离值,以及近端边缘点和远端边缘点在U视差图中的横坐标值,在世界坐标系下X方向的距离值,然后再根据近端边缘点和远端边缘点在世界坐标系下Z方向的距离值以及X方向的距离值计算连续型障碍物的实际长度。
其中,U视差图的图像坐标系的水平方向为横轴,与原始图像的横轴相同,表示的是像素宽度,垂直方向为纵轴,表示的是视差值。由于连续型障碍物在U视差图中呈现一条斜线,因此可以基于三角形勾股定理,采用两个边缘点在世界坐标系下Z方向的距离值的差值和X方向的距离值的差值计算连续型障碍物的实际长度。
由视差值确定世界坐标系下Z方向的距离值的公式(1)可以是:其中,z表示被观测对象在世界坐标系下Z方向的坐标值,b表示相机的基线长度,f表示相机的焦距,d表示视差值。
由原始图像的图像坐标系到世界坐标系的转换关系为:
公式(2)
公式(3)
其中,ul,r表示左图像或右图像在图像坐标系下的横坐标值,v表示左图像或右图像在图像坐标系下的纵坐标值,u0和v0表示相机的光轴中心,θ表示相机镜头与世界坐标系的X轴和Z轴组成的平面的夹角,x,y,z表示被观测对象在世界坐标系下的值。
例如,再如上述图1B所示,连续型障碍物②的近端边缘点和远端边缘点在U视差图的纵轴上的坐标值分别为dtail和dhead,利用上述公式(1),可以计算得到在世界坐标系下Z方向的距离差值ΔZ;近端边缘点和远端边缘点在U视差图的横轴上的坐标值分别为utail和uhead,利用上述公式(2),可以计算得到在世界坐标系下X方向的距离差值ΔX,从而,由勾股定理,得到连续型障碍物②的实际长度
步骤403:若查询到位于连续型障碍物外侧的普通障碍物,则将该连续型障碍物的近端边缘点在U视差图中的视差值和横坐标值,分别转换到世界坐标系下Z方向的第一距离值和X方向的第二距离值。
其中,近端边缘点指的是靠近相机的一端,可以通过上述公式(1)确定世界坐标系下Z方向的第一距离值,通过上述公式(2)确定世界坐标系下X方向的第二距离值。
步骤404:将位于连续型障碍物外侧的普通障碍物靠近预设中线一端的边缘点在U视差图中的视差值和横坐标值,分别转换到世界坐标系下Z方向的第三距离值和X方向的第四距离值。
在一实施例中,针对左半区域,位于连续型障碍物外侧的普通障碍物靠近预设中线一端的边缘点为右端边缘点;针对右半区域,位于连续型障碍物外侧的普通障碍物靠近预设中线一端的边缘点为左端边缘点。
步骤405:依据第一距离值、第二距离值、第三距离值及第四距离值判断连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件。
在一实施例中,可以分别确定第一距离值与第三距离值之间的第一差值,第二距离值与第四距离值之间的第二差值;若第一差值低于第一阈值且第二差值低于第二阈值,则确定该连续型障碍物和位于其外侧的普通障碍物的边缘连接关系符合预设连接条件;否则,确定该连续型障碍物和位于其外侧的普通障碍物的边缘连接关系不符合预设连接条件。
其中,第一阈值和第二阈值为偏差容忍度,可以根据实际经验设置。
基于上述步骤402所示的场景,假设连续型障碍物②的近端边缘点在U视差图中的横坐标为utail,纵坐标为dtail,分别由上述公式(2)和(1),得到在世界坐标系下Z方向的第一距离值为ztail,X方向的第二距离值为xtail,普通障碍物⑤的左端边缘点在U视差图中的横坐标为uobs,纵坐标为dobs,分别由上述公式(2)和(1),得到在世界坐标系下Z方向的第三距离值为zobs,X方向的第四距离值为xobs,又假设第一阈值为T0,第二阈值为T1,如果第一距离值与第三距离值的第一差值|zobs-ztail|≤T0且第二距离值与第四距离值的第二差值|xobs-xtail|≤T1,则连续型障碍物②的近端边缘点与对应的普通障碍物⑤的左端边缘点的连接关系符合预设连接条件。
步骤406:将连续型障碍物与位于其外侧的普通障碍物合并为指定障碍物。
基于上述步骤405所示的场景,再如图4C所示,在U视差图的右半区域,检测到连续型障碍物②的近端边缘点与对应的普通障碍物⑤的左端边缘点符合预设连接关系,可以合并为指定障碍物,将U视差图中合并的指定障碍物映射到原始图像后,如图4D所示,侧前方行驶的公交车被合并为一个障碍物框。
至此,完成上述图4A所示流程,通过图4A所示流程,可以实现在U视差图中查询位于连续型障碍物外侧的普通障碍物,及连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件的判断。
图5为本申请根据一示例性实施例示出的一种终端的硬件结构图,该终端包括:通信接口501、处理器502、机器可读存储介质503和总线504;其中,通信接口501、处理器502和机器可读存储介质503通过总线504完成相互间的通信。处理器502通过读取并执行机器可读存储介质502中与障碍物检测方法的控制逻辑对应的机器可执行指令,可执行上文描述的障碍物检测方法,该方法的具体内容参见上述实施例,此处不再累述。
本申请中提到的机器可读存储介质503可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
图6为本申请根据一示例性实施例示出的一种障碍物检测装置的实施例结构图,如图6所示,所述障碍物检测装置包括:
获取位置模块610,用于获取普通障碍物和连续型障碍物在U视差图中的位置;
判断模块620,用于在所述U视差图中存在位于所述连续型障碍物外侧的普通障碍物情况下,判断所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件,其中,所述连续型障碍物外侧指的是该连续型障碍物靠近所述U视差图边界的一侧;
合并模块630,用于在判断符合时,将所述连续型障碍物与位于其外侧的普通障碍物合并为指定障碍物。
在一可选实现方式中,所述装置还包括(图6中未示出):
查询模块,具体用于将所述U视差图按照预设中线划分为两个区域;分别在两个区域中,查询位于连续型障碍物外侧的普通障碍物;其中,所述连续型障碍物外侧指的是该连续型障碍物远离所述预设中线的一侧。
在一可选实现方式中,所述判断模块620,具体用于将所述连续型障碍物的近端边缘点在所述U视差图中的视差值和横坐标值,分别转换到世界坐标系下Z方向的第一距离值和X方向的第二距离值,所述近端边缘点指的是靠近相机的一端;将位于所述连续型障碍物外侧的普通障碍物靠近所述预设中线一端的边缘点在所述U视差图中的视差值和横坐标值,分别转换到世界坐标系下Z方向的第三距离值和X方向的第四距离值;依据所述第一距离值、所述第二距离值、所述第三距离值及所述第四距离值判断所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件。
在一可选实现方式中,所述判断模块620,还具体用于在依据所述第一距离值、所述第二距离值、所述第三距离值及所述第四距离值判断所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件过程中,分别确定所述第一距离值与所述第三距离值之间的第一差值,所述第二距离值与所述第四距离值之间的第二差值;若所述第一差值低于第一阈值且所述第二差值低于第二阈值,则确定所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系符合预设连接条件;否则,确定所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系不符合预设连接条件。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (7)
1.一种障碍物检测方法,其特征在于,所述方法包括:
获取普通障碍物和连续型障碍物在U视差图中的位置;
若所述U视差图中存在位于所述连续型障碍物外侧的普通障碍物,则判断所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件,包括:
将所述连续型障碍物的近端边缘点在所述U视差图中的视差值和横坐标值,分别转换到世界坐标系下Z方向的第一距离值和X方向的第二距离值,所述近端边缘点指的是靠近相机的一端;
将位于所述连续型障碍物外侧的普通障碍物靠近预设中线一端的边缘点在所述U视差图中的视差值和横坐标值,分别转换到世界坐标系下Z方向的第三距离值和X方向的第四距离值;
依据所述第一距离值、所述第二距离值、所述第三距离值及所述第四距离值判断所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件,其中,所述连续型障碍物外侧指的是该连续型障碍物靠近所述U视差图边界的一侧;
若符合,则将所述连续型障碍物与位于其外侧的普通障碍物合并为指定障碍物。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括在所述U视差图中查询位于所述连续型障碍物外侧的普通障碍物的步骤:
将所述U视差图按照预设中线划分为两个区域;
分别在两个区域中,查询位于连续型障碍物外侧的普通障碍物;
其中,所述连续型障碍物外侧指的是该连续型障碍物远离所述预设中线的一侧。
3.根据权利要求1所述的方法,其特征在于,依据所述第一距离值、所述第二距离值、所述第三距离值及所述第四距离值判断所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件,包括:
分别确定所述第一距离值与所述第三距离值之间的第一差值,所述第二距离值与所述第四距离值之间的第二差值;
若所述第一差值低于第一阈值且所述第二差值低于第二阈值,则确定所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系符合预设连接条件;
否则,确定所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系不符合预设连接条件。
4.一种障碍物检测装置,其特征在于,所述装置包括:
获取位置模块,用于获取普通障碍物和连续型障碍物在U视差图中的位置;
判断模块,用于在所述U视差图中存在位于所述连续型障碍物外侧的普通障碍物情况下,判断所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件,其中,所述连续型障碍物外侧指的是该连续型障碍物靠近所述U视差图边界的一侧;
合并模块,用于在判断符合时,将所述连续型障碍物与位于其外侧的普通障碍物合并为指定障碍物;
所述判断模块,具体用于将所述连续型障碍物的近端边缘点在所述U视差图中的视差值和横坐标值,分别转换到世界坐标系下Z方向的第一距离值和X方向的第二距离值,所述近端边缘点指的是靠近相机的一端;将位于所述连续型障碍物外侧的普通障碍物靠近预设中线一端的边缘点在所述U视差图中的视差值和横坐标值,分别转换到世界坐标系下Z方向的第三距离值和X方向的第四距离值;依据所述第一距离值、所述第二距离值、所述第三距离值及所述第四距离值判断所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件。
5.根据权利要求4所述的装置,其特征在于,所述装置还包括:
查询模块,具体用于将所述U视差图按照预设中线划分为两个区域;分别在两个区域中,查询位于连续型障碍物外侧的普通障碍物;其中,所述连续型障碍物外侧指的是该连续型障碍物远离所述预设中线的一侧。
6.根据权利要求4所述的装置,其特征在于,所述判断模块,还具体用于在依据所述第一距离值、所述第二距离值、所述第三距离值及所述第四距离值判断所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系是否符合预设连接条件过程中,分别确定所述第一距离值与所述第三距离值之间的第一差值,所述第二距离值与所述第四距离值之间的第二差值;若所述第一差值低于第一阈值且所述第二差值低于第二阈值,则确定所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系符合预设连接条件;否则,确定所述连续型障碍物和位于其外侧的普通障碍物的边缘连接关系不符合预设连接条件。
7.一种障碍物检测终端,其特征在于,包括可读存储介质和处理器;
其中,所述可读存储介质,用于存储机器可执行指令;
所述处理器,用于读取所述可读存储介质上的所述机器可执行指令,并执行所述指令以实现权利要求1-3任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810886809.7A CN110807347B (zh) | 2018-08-06 | 2018-08-06 | 障碍物检测方法、装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810886809.7A CN110807347B (zh) | 2018-08-06 | 2018-08-06 | 障碍物检测方法、装置及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110807347A CN110807347A (zh) | 2020-02-18 |
CN110807347B true CN110807347B (zh) | 2023-07-25 |
Family
ID=69487307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810886809.7A Active CN110807347B (zh) | 2018-08-06 | 2018-08-06 | 障碍物检测方法、装置及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110807347B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112883909A (zh) * | 2021-03-16 | 2021-06-01 | 东软睿驰汽车技术(沈阳)有限公司 | 基于包围盒的障碍物位置检测方法、装置和电子设备 |
CN113077657B (zh) * | 2021-03-30 | 2022-07-05 | 上海华兴数字科技有限公司 | 车辆间安全距离报警方法及装置 |
CN115496914B (zh) * | 2022-08-18 | 2023-05-02 | 成都智元汇信息技术股份有限公司 | 一种基于列数据的最大轮廓的包裹提取方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4833469A (en) * | 1987-08-03 | 1989-05-23 | David Constant V | Obstacle proximity detector for moving vehicles and method for use thereof |
CN104902261A (zh) * | 2014-03-06 | 2015-09-09 | 株式会社日立制作所 | 用于低清晰度视频流中的路面识别的装置和方法 |
CN105550665A (zh) * | 2016-01-15 | 2016-05-04 | 北京理工大学 | 一种基于双目视觉的无人驾驶汽车可通区域检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679127B (zh) * | 2012-09-24 | 2017-08-04 | 株式会社理光 | 检测道路路面的可行驶区域的方法和装置 |
CN105740802A (zh) * | 2016-01-28 | 2016-07-06 | 北京中科慧眼科技有限公司 | 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统 |
CN106228110B (zh) * | 2016-07-07 | 2019-09-20 | 浙江零跑科技有限公司 | 一种基于车载双目相机的障碍物及可行驶区域检测方法 |
CN107341454B (zh) * | 2017-06-21 | 2019-12-27 | 海信集团有限公司 | 一种场景中障碍物的检测方法及装置、电子设备 |
-
2018
- 2018-08-06 CN CN201810886809.7A patent/CN110807347B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4833469A (en) * | 1987-08-03 | 1989-05-23 | David Constant V | Obstacle proximity detector for moving vehicles and method for use thereof |
CN104902261A (zh) * | 2014-03-06 | 2015-09-09 | 株式会社日立制作所 | 用于低清晰度视频流中的路面识别的装置和方法 |
CN105550665A (zh) * | 2016-01-15 | 2016-05-04 | 北京理工大学 | 一种基于双目视觉的无人驾驶汽车可通区域检测方法 |
Non-Patent Citations (2)
Title |
---|
《Robust obstacle detection based on a novel disparity calculation method and G-disparity》;Yifei Wang;《Computer Vision and Image Understanding》;第23页-第40页 * |
《基于V-视差的障碍物检测算法的研究》;李印;《电子世界》;第184页-第186页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110807347A (zh) | 2020-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3358295B1 (en) | Image processing device, stereo camera device, vehicle, and image processing method | |
US6888953B2 (en) | Vehicle surroundings monitoring apparatus | |
US20200057897A1 (en) | Obstacle sensing device | |
CN110807347B (zh) | 障碍物检测方法、装置及终端 | |
US20180165833A1 (en) | Calculation device, camera device, vehicle, and calibration method | |
CN104520894A (zh) | 路旁物检测装置 | |
CN112009462B (zh) | 一种前向自动泊车方法及装置 | |
US20190152487A1 (en) | Road surface estimation device, vehicle control device, and road surface estimation method | |
CN105206109A (zh) | 一种基于红外ccd的车辆雾天识别预警系统及方法 | |
WO2015098344A1 (ja) | 鉱山用作業機械 | |
US11577748B1 (en) | Real-time perception system for small objects at long range for autonomous vehicles | |
US20220256082A1 (en) | Traveling environment recognition apparatus | |
US10953885B2 (en) | Road surface detecting apparatus | |
US11465613B2 (en) | Parking assistance device and control method of parking assistance device | |
CN116682091A (zh) | 用于自动驾驶车辆的障碍物感知方法、装置 | |
CN116343165A (zh) | 一种3d目标检测系统、方法、终端设备及存储介质 | |
Abad et al. | Parking space detection | |
CN110550028B (zh) | 车辆控制装置、车辆控制方法和存储介质 | |
JP7135579B2 (ja) | 物体検知装置 | |
CN107117105B (zh) | 车辆后视镜控制方法及装置 | |
Iwata et al. | Forward obstacle detection in a lane by stereo vision | |
JP7318377B2 (ja) | 物体検知装置 | |
US11216678B2 (en) | Vehicle exterior environment recognition apparatus and vehicle exterior environment recognition method | |
EP2919191B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method | |
JP7236556B2 (ja) | 物体検知装置および物体検知プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |