CN109002039B - 避障提醒方法、相关装置及计算机可读存储介质 - Google Patents
避障提醒方法、相关装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109002039B CN109002039B CN201810738940.9A CN201810738940A CN109002039B CN 109002039 B CN109002039 B CN 109002039B CN 201810738940 A CN201810738940 A CN 201810738940A CN 109002039 B CN109002039 B CN 109002039B
- Authority
- CN
- China
- Prior art keywords
- road
- determining
- information
- obstacle
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 95
- 238000005192 partition Methods 0.000 claims description 32
- 238000010606 normalization Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/35—Road bumpiness, e.g. potholes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/406—Traffic density
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/60—Traversable objects, e.g. speed bumps or curbs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及计算机视觉技术领域,公开了一种避障提醒方法、相关装置及计算机可读存储介质。本申请中,根据获取的图像数据进行地面检测获取道路的地面信息;根据获取的地面信息进行通路检测,确定道路的通行状况;若确定道路不可通行,则对道路进行路况检测获得第一检测结果,以及对道路进行障碍物检测获得第二检测结果;根据第一检测结果和第二检测结果确定避障提醒信息。通过获取的图像数据进行地面检测,在地面检测的基础上进行通路检测,并在确定道路不可通行的情况下通过路况检测和障碍物检测,以确定避障提醒信息,从而使用户能够快速安全的通过障碍。
Description
技术领域
本申请涉及计算机视觉技术领域,特别涉及一种避障提醒方法、相关装置及计算机可读存储介质。
背景技术
在导盲、机器人和自动驾驶等领域,随着机器人及无人驾驶技术的发展,避障提醒成为一项极为重要的技术,避障提醒技术为可自主导航机器人及路径规划机器人提供重要的技术支持。
发明人在研究现有技术过程中发现,现有有技术中的避障提醒通常只针对前方区域进行通路检测,仅反馈是否可以通行,而无法获取障碍物的具体信息,导致用户不能快速安全的绕过障碍物,对于导航等应用造成不便。
发明内容
本申请部分实施例所要解决的一个技术问题在于提供一种避障提醒方法、相关装置及计算机可读存储介质,以解决上述技术问题。
本申请实施例提供了一种避障提醒方法,包括:根据获取的图像数据进行地面检测获取道路的地面信息;根据获取的地面信息进行通路检测,确定道路的通行状况;若确定道路不可通行,则对道路进行路况检测获得第一检测结果,以及对道路进行障碍物检测获得第二检测结果;根据第一检测结果和第二检测结果确定避障提醒信息。
本申请实施例还提供了一种避障提醒装置,该避障提醒装置包括:第一检测模块,用于根据获取的图像数据进行地面检测获取道路的地面信息;第二检测模块,用于根据获取的地面信息进行通路检测,确定道路的通行状况;第三检测模块,用于若确定道路不可通行,则对道路进行路况检测获得第一检测结果,以及对道路进行障碍物检测获得第二检测结果:确定模块,用于根据第一检测结果和第二检测结果确定避障提醒信息。
本申请实施例还提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本申请任意方法实施例中涉及的避障提醒方法。
本申请实施例还提供了一种计算机可读存储介质,存储有计算机指令,计算机指令用于使计算机执行本申请任意方法实施例中涉及的避障提醒方法。
本申请实施例相对于现有技术而言,通过获取的图像数据进行地面检测,在地面检测的基础上进行通路检测,并在确定道路不可通行的情况下通过路况检测和障碍物检测,以确定避障提醒信息,从而使用户能够快速安全的通过障碍。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本申请第一实施例中避障提醒方法的流程图;
图2是本申请第一实施例中像素坐标系和相机坐标系的关系图;
图3是本申请第一实施例中相机坐标系和世界坐标系的关系图;
图4是本申请第一实施例中图像数据分区的示意图;
图5是本申请第二实施例中避障提醒方法的流程图;
图6是本申请第三实施例中避障提醒装置的方框示意图;
图7是本申请第四实施例中避障提醒装置的方框示意图;
图8是本申请第五实施例中电子设备的结构实例图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白,以下结合附图及实施例,对本申请部分实施例进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请的第一实施例涉及一种避障提醒方法,该避障提醒方法的执行主体是导盲头盔或智能机器人等智能设备。该避障提醒方法的具体流程如图1所示,包括以下步骤:
在步骤101中,根据获取的图像数据进行地面检测获取道路的地面信息。
具体的说,在本实施例中,根据获取的图像数据建立道路的三维点云,并在三维点云中进行地面检测获得道路的地面信息。在实际应用中可以采用多种方式建立道路的三维点云,本实施方式并不限定建立三维点云的具体实现方式。
在一个具体实现中,获取图像数据,其中图像数据包括:深度图和相机的姿态角;根据深度图和预设的归一化尺度计算尺度归一化因子;根据该深度图和尺度归一化因子计算尺度归一化后的深度图;根据尺度归一化后的深度图构建相机坐标系下的三维点云;根据相机坐标系下的三维点云和相机的姿态角,构建世界坐标系下的三维点云。
具体地,利用公式(1)计算尺度归一化因子,公式(1)表示如下:
其中,S表示尺度归一化因子,W表示深度图的宽度,H表示深度图的高度,Norm表示预设的归一化尺度。Norm是预先设置的已知量,在具体应用中,如需要对连续帧的深度图进行处理建立三维点云,则对每一帧深度图的处理过程中使用的归一化尺度保持不变。
利用公式(2)计算尺度归一化后的深度图,公式(2)表示如下:
其中,Ws表示尺度归一化后的深度图的宽度,Hs表示尺度归一化后的深度图的高度。根据Ws和Hs可确定出尺度归一化后的深度图。
具体地说,根据公式(3)及归一化后的深度图构建相机坐标系下的三维点云,该相机坐标系下的三维点云表示为P(Xc,Yc,Zc),由于深度图中每个像素都含有相机到拍摄物体的距离值,则通过公式(3)将深度图中的像素坐标转换为相机坐标系的坐标,并构成相机坐标系下的三维点云,公式(3)表示如下:
其中,u和v是任意点P在归一化后的深度图中的坐标值,Xc、Yc和Zc是点P在相机坐标系中的坐标值,M3×4是相机的内参矩阵,Zc为点P在尺度归一化后的深度图中的深度值,也就是相机到拍摄物体的距离值,为已知量。
根据相机坐标系与世界坐标系之间的坐标转换关系,将相机坐标系中的三维点云P(Xc,Yc,Zc)转化为世界坐标系下的三维点云P(Xw,Yw,Zw),该转换关系用公式(4)表示:
其中,Xw、Yw和Zw是三维点云中任意点P在世界坐标系中的坐标值,Xc、Yc和Zc是点P在相机坐标系下的坐标值,α是相机在世界坐标系中与Xw轴的夹角,β是相机在世界坐标系中与Yw轴的夹角,γ是相机在世界坐标系中与Zw轴的夹角。
需要说明的是,在进行坐标系方向确定时,假设图像坐标系为o1-xy,则相机坐标系Oc-XcYcZc和像素坐标系o-uv的关系如图2所示,相机坐标系Oc-XcYcZc和世界坐标Ow-XwYwZw的关系如图3所示。
其中,如图2中,以深度图左上角为原点建立的以像素为单位的直角坐标系o-uv作为像素坐标系,横坐标u表示像素点所在的像素列数,纵坐标v表示像素点所在的像素行数。将相机光轴与深度图平面的交点定义为图像坐标系o1-xy的原点o1,且x轴与u轴平行,y轴与v轴平行。相机坐标系Oc-XcYcZc以相机光心Oc为坐标原点,Xc轴和Yc轴分别与图像坐标系中的x轴和y轴平行,Zc轴为相机的光轴,和图像平面垂直并交于o1点。
其中,如图3中,世界坐标系Ow-XwYwZw的原点Ow与相机坐标系的原点Oc重合,均为相机光心,选取水平向右为Xw轴正方向,垂直向下为Yw轴正方向,垂直XwOwYw平面并指向正前方为Zw轴正方向,建立世界坐标系。
具体的说,在三维点云中进行地面检测获得道路的地面信息的具体过程如下:检测三维点云中的地面高度,并确定地面高度上的障碍物信息,将地面高度和障碍物信息作为道路的地面信息,从而确定出道路的具体状况,并且保证了避障提醒信息的准确性。
其中,确定地面高度上的障碍物信息的具体过程为:根据地面高度确定道路的地面位置;对道路的地面位置进行障碍物检测,并根据障碍物检测结果生成地面高度上的障碍物信息。
在步骤102中,根据获取的地面信息进行通路检测,判断道路是否可通行,若确定道路不可通行,则执行步骤103至步骤106,否则执行步骤106。
具体的说,在确定道路的通行状况时,根据道路的地面信息确定预警区,并通过检测预警区的通行状况确定道路的通行状况。
在步骤103中,对道路进行路况检测获得第一检测结果。
具体的说,在确定道路不可通行的情况下,需要对道路上造成不可通行的原因进行细分,从而针对不同的不可通行的原因为用户提供详细的避障提醒信息。其中,造成不可通行的原因一般包括:道路上存在障碍物,该障碍物特指的是突出于地面,并放置在地面上的物体;另一个就是道路上存在坑洼(本申请中的坑洼是一种特殊类型的道路障碍)。
其中,通过对道路上的坑洼进行检测获得第一检测结果。具体为:根据地面高度确定道路的地面位置;对道路的地面位置进行路况检测,确定道路上的坑洼信息,并将坑洼信息作为第一检测结果;其中,坑洼信息包括:是否存在坑洼以及坑洼的位置。
在步骤104中,对道路进行障碍物检测获得第二检测结果。
具体的说,对获取的图像数据进行划分得到M×N个分区;其中,M、N均是大于1的整数;确定每个分区的障碍物的信息;根据每个分区的障碍物的信息,确定每个分区各自的预警等级;根据每个分区的预警等级,确定道路的决策建议,并将每个分区各自的预警等级和道路的决策建议作为第二检测结果。
例如,在对图像数据进行分区时,如图4所示为图像数据分区的示意图,通过划分区域对每个区域进行标记,水平方向上将图像数据划分为N份,竖直方向上将图像数据划分为M份,选择水平方向和竖直方向的划分份数表示每个分区的位置,如(1,2)、(m,n)等。
其中,确定每个分区的障碍物的信息包括:检测每个分区中的障碍物并确定出包括障碍物的分区,在该分区检测到障碍物之后计算该障碍物的几何不变矩Hu(m,n),其中,(m,n)表示的是分区的位置。当然,还可通过其他的图像处理方式获取每个分区中的障碍物的信息,如通过图像识别确定分区中的障碍物的位置和障碍物的几何特征等信息,上述仅是举例说明,不做具体限制。
其中,根据每个分区的障碍物的信息,确定每个分区各自的预警等级,包括:根据每个分区中包括的障碍物的信息,确定每个分区各自的权重;根据每个分区各自的权重确定每个分区各自的预警等级,其中,权重与预警等级成正比。权重越大则预警等级越高,表示该分区的通行可能性越低。例如:权重在0-5范围内,预警等级为一级,此时障碍物比较小,不影响通行可认为不存在障碍物;权重在6-10范围内,预警等级为二级,此时存在障碍但可以通行,行人需要注意;权重在11-15范围内,预警等级为三级,此时障碍物非常大,该道路不可通行。
其中,可以通过公式(5)计算各个分区的权重,公式(5)表示如下:
其中,Hu(m,n)表示分区位置为(m,n)的待检测分区的面积,∑S(m,n)表示图像数据的全部的分区的面积;W(m,n)表示分区位置为(m,n)的分区中障碍物的权重,Hu(m,n)表示分区位置为(m,n)的分区中障碍物的几何不变矩。
具体的说,根据每个分区的预警等级,确定通过道路的决策建议,具体包括:分别计算每个分区的梯度值,其中,梯度值根据分区中权重和分区的相邻分区的权重计算;确定所有分区中的最大的梯度值;根据最大的梯度值确定通过道路的决策建议,其中,决策建议包括最佳通行方向,并将最大的梯度值的方向作为决策建议中的最佳通行方向。
需要说明的是,本实施方式中在步骤102中判断道路不可通行后,可以先执行步骤103,也可以先执行步骤104,也可以同时执行步骤103和步骤104,本实施方式并不限定步骤103和步骤104的先后执行顺序。
在步骤105中,根据第一检测结果和第二检测结果确定避障提醒信息。
其中,根据获得的第一检测结果和第二检测结果进行综合分析,并根据分析结果确定出避障提醒信息。
在一个具体实现中,若通过第一检测结果确定前方存在坑洼,并通过第二检测结果确定预警等级为二级,决策建议为向右拐并前进,此时获取避障提醒信息为:前方存在坑洼和障碍物,请向右拐并前进。从而用户根据避障提醒信息快速安全的通过障碍。并且,避障提醒信息可以是语音信息或图像信息中的一种或组合信息,并根据避障提醒信息发出报警信号,从而实现对用户进行提醒并使用户根据提醒信息进行避障,本实施方式中并不限定避障提醒信息的具体形式。
在步骤106中,检测下一帧。
需要说明的是,该避障提醒方法应用于连续帧图像数据的导航设备中,因此可以对下一帧图像数据继续进行检测。
与现有技术相比,本实施方式的避障提醒方法,通过获取的图像数据进行地面检测,在地面检测的基础上进行通路检测,并在确定道路不可通行的情况下通过路况检测和障碍物检测,以确定避障提醒信息,从而使用户能够快速安全的通过障碍。
本申请的第二实施例涉及一种避障提醒方法,本实施例在第一实施例的基础上做了进一步改进,具体改进之处为:对第一实施方式中的根据获取的地面信息进行通路检测,确定道路的通行状况进行了具体描述。本实施例中的避障提醒方法的流程如图2所示。
具体的说,在本实施例中,包括步骤201至步骤207,其中步骤201与第一实施方式中的步骤101大致相同,步骤204至步骤207与第一实施方式中的步骤103至步骤106大致相同,此处不再赘述,下面主要介绍不同之处,未在本实施方式中详尽描述的技术细节,可参见第一实施例所提供的物质检测方法,此处不再赘述。
在步骤201之后,执行步骤202。
在步骤202中,根据道路的地面信息确定预警区,并通过检测预警区的通行状况确定道路的通行状况。
其中,构建预警区的空间坐标;根据地面高度确定预警区在空间坐标下的高度位置;根据障碍物信息确定预警区在空间坐标下的宽度和距离;根据地面高度调整预警区的位置;通过检测调整位置后的预警区的通行状况确定道路的通行状况;其中,通行状况包括可通行和不可通行。
需要说明的是,确定预警区是基于世界坐标系下的三维点云确定的,具体为,以世界坐标系中的YwOwZw平面为对称平面,以Zw轴的正方向构建预警区三维的空间区域,该三维的空间区域即为预警区,预警区的空间区域表示为vBox(x,y,z),其中x、y、z分别表示预警区的宽度、高度和距离,预警区的距离通过使用者的速度确定,预警区的宽度和高度根据根据使用者的外形确定,且该预警区不小于保证使用者可以通过的最小空间。
其中,道路并不是平坦的路面,地面信息中包括地面高度,如根据地面高度,可以将道路分为上坡路段、下坡路段和平坦路段。因此,在确定出预警区之后,还需要根据地面高度调整预警区的位置。
在一个具体实现中,根据自适应的地面检测方法确定实时的地面高度,或者根据三维点云中表明道路信息的点云数据确定出实时地面高度,根据地面高度的变化动态的调整预警区的位置,调整之后能够保证预警区正好位于地面的正上方,这样,不仅能效避免地面干扰,而且不会遗漏低矮通行障碍。具体的,调整预警区可通过公式(6)确定,具体表示如下:
vBox1=vBox(x,H+y+σ,z) (6)
其中,H表示实时的地面高度,σ表示动态调整余量,vBox1表示调整后的预警区,x、y、z分别表示预警区的宽度、高度和距离。
具体的说,可根据道路的障碍物信息对调整位置后的预警区的通行状况进行检测,通行状况包括可通行和不可通行,同时还包括可通行区域的位置以及通行区域的宽度和高度等信息。通过预警区的通行状况可以确定出当前道路的通行状况。
在步骤203中,判断道路是否可通行,若确定不可通行,执行步骤204至步骤207,否则执行步骤207。
在步骤204中,对道路进行路况检测获得第一检测结果。
在步骤205中,对道路进行障碍物检测获得第二检测结果。
需要说明的是,本实施方式中在步骤203中判断道路不可通行后,可以先执行步骤204,也可以先执行步骤205,也可以同时执行步骤204和步骤205,本实施方式并不限定步骤204和步骤205的先后执行顺序。
在步骤206中,根据第一检测结果和第二检测结果确定避障提醒信息。
在步骤207中,检测下一帧。
本申请的第三实施方式涉及一种避障提醒装置,具体结构如图6所示。
如图6所示,避障提醒装置包括第一获取模块601,判断模块602,第二获取模块603,第三获取模块604,确定模块605和检测模块606。
其中,第一获取模块601,用于根据获取的图像数据进行地面检测获取道路的地面信息。
判断模块602,用于根据获取的地面信息进行通路检测,判断道路是否可通行,若确定道路不可通行,则执行第二获取模块603,否则执行检测模块606。
第二获取模块603,用于对道路进行路况检测获得第一检测结果。
第三获取模块604,用于对道路进行障碍物检测获得第二检测结果。
确定模块605,用于根据第一检测结果和第二检测结果确定避障提醒信息。
检测模块606,用于检测下一帧。
不难发现,本实施方式为与第一实施方式相对应的装置实施例,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本申请的第四实施例涉及一种避障提醒装置,该实施方式在第三实施方式大致相同,具体结构如图7所示。其中,主要改进之处在于:第四实施方式对第三实施方式中的判断模块602的结构进行了具体描述。
其中,判断模块602包括确定子模块6021和判断子模块6022
确定子模块6021,用于根据道路的地面信息确定预警区,并通过检测所述预警区的通行状况确定所述道路的通行状况。
判断子模块6022,用于判断道路是否可通行。
不难发现,本实施方式为与第二实施方式相对应的装置实施例,本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
以上所描述的装置实施例仅仅是示意性的,并不对本申请的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的,此处不做限制。
本申请的第五实施例涉及一种电子设备,具体结构如图8所示。包括至少一个处理器701;以及,与至少一个处理器701通信连接的存储器702。其中,存储器702存储有可被至少一个处理器701执行的指令,指令被至少一个处理器701执行,以使至少一个处理器701能够执行避障提醒方法。
本实施例中,处理器701以中央处理器(Central Processing Unit,CPU)为例,存储器702以可读写存储器(Random Access Memory,RAM)为例。处理器701、存储器702可以通过总线或者其他方式连接,图7中以通过总线连接为例。存储器702作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中实现环境信息确定方法的程序就存储于存储器702中。处理器701通过运行存储在存储器702中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述避障提醒方法。
存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个程序模块存储在存储器702中,当被一个或者多个处理器701执行时,执行上述任意方法实施例中的物质检测方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果,未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请的第八实施例涉及一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时能够实现本申请任意方法实施例中涉及的避障提醒方法。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施例是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。
Claims (11)
1.一种避障提醒方法,包括:
根据获取的图像数据建立道路的三维点云;
检测所述三维点云中的地面高度;
确定所述地面高度上的障碍物信息;
构建预警区的空间坐标:
根据所述地面高度确定所述预警区在所述空间坐标下的高度位置;
根据所述障碍物信息确定所述预警区在所述空间坐标下的宽度和距离;
根据所述地面高度调整所述预警区的位置;
通过检测调整位置后的所述预警区的通行状况确定所述道路的通行状况;
其中,所述通行状况包括可通行和不可通行;
若确定所述道路不可通行,则对所述道路进行路况检测获得第一检测结果,以及对所述道路进行障碍物检测获得第二检测结果;
根据所述第一检测结果和所述第二检测结果确定避障提醒信息。
2.如权利要求1所述的避障提醒方法,其中,所述对所述道路进行路况检测获得第一检测结果,具体包括:
根据所述地面高度确定所述道路的地面位置;
对所述道路的地面位置进行路况检测,确定所述道路上的坑洼信息,并将所述坑洼信息作为所述第一检测结果,
其中,所述坑洼信息包括:是否存在所述坑洼以及所述坑洼的位置。
3.如权利要求2所述的避障提醒方法,其中,所述对所述道路进行障碍物检测获得第二检测结果,具体包括:
对获取的所述图像数据进行划分得到M×N个分区;其中,M、N均是大于1的整数;
确定每个所述分区的障碍物的信息;
根据每个所述分区的障碍物的信息,确定每个所述分区各自的预警等级;
根据每个所述分区的所述预警等级,确定通过所述道路的决策建议;
并将所述每个所述分区各自的预警等级和所述道路的决策建议作为所述第二检测结果。
4.如权利要求3所述的避障提醒方法,其中,所述根据每个所述分区的障碍物的信息,确定每个所述分区各自的预警等级,具体包括;
根据每个所述分区中包括的障碍物的信息,确定每个所述分区各自的权重;
根据每个所述分区各自的权重确定每个所述分区各自的预警等级,其中,所述权重与所述预警等级成正比。
5.如权利要求4所述的避障提醒方法,其中,所述根据每个所述分区的所述预警等级,确定通过所述道路的决策建议,具体包括:
分别计算每个所述分区的梯度值,其中,所述梯度值根据所述分区中所述权重和所述分区的相邻分区的权重计算;
确定所有所述分区中的最大的所述梯度值;
根据所述最大的所述梯度值确定通过所述道路的决策建议,其中,所述决策建议包括最佳通行方向,并将所述最大的梯度值的方向作为所述决策建议中的最佳通行方向。
6.如权利要求5所述的避障提醒方法,其中,所述根据所述第一检测结果和所述第二检测结果确定避障提醒信息之后,还包括:
根据所述避障提醒信息发出报警信号。
7.根据权利要求1所述的避障提醒方法,其中,所述图像数据包括:深度图和相机的姿态角,所述根据获取的图像数据建立所述道路的三维点云,具体包括:
根据所述深度图和预设的归一化尺度计算尺度归一化因子;
根据所述深度图和所述尺度归一化因子计算尺度归一化后的深度图;
根据所述尺度归一化后的深度图构建相机坐标系下的三维点云;
根据所述相机坐标系下的三维点云和所述相机的姿态角构建世界坐标系下的三维点云。
8.根据权利要求1所述的避障提醒方法,其中,确定所述地面高度上的障碍物信息,具体包括:
根据所述地面高度确定所述道路的地面位置;
对所述道路的地面位置进行障碍物检测,并根据障碍物检测结果生成所述地面高度上的障碍物信息。
9.一种避障提醒装置,包括:
第一检测模块,用于根据获取的图像数据建立道路的三维点云;检测所述三维点云中的地面高度;确定所述地面高度上的障碍物信息;将所述地面高度和所述障碍物信息作为所述道路的地面信息;
第二检测模块,用于构建预警区的空间坐标:根据所述地面高度确定所述预警区在所述空间坐标下的高度位置;根据所述障碍物信息确定所述预警区在所述空间坐标下的宽度和距离;根据所述地面高度调整所述预警区的位置;通过检测调整位置后的所述预警区的通行状况确定所述道路的通行状况;其中,所述通行状况包括可通行和不可通行;
第三检测模块,用于若确定所述道路不可通行,则对所述道路进行路况检测获得第一检测结果,以及对所述道路进行障碍物检测获得第二检测结果:
确定模块,用于根据所述第一检测结果和所述第二检测结果确定避障提醒信息。
10.一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至8任一项所述的避障提醒方法。
11.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至8任一项所述的避障提醒方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810738940.9A CN109002039B (zh) | 2018-07-06 | 2018-07-06 | 避障提醒方法、相关装置及计算机可读存储介质 |
PCT/CN2019/091674 WO2020007189A1 (zh) | 2018-07-06 | 2019-06-18 | 避障提醒方法、装置、电子设备及可读存储介质 |
US16/504,693 US10997439B2 (en) | 2018-07-06 | 2019-07-08 | Obstacle avoidance reminding method, electronic device and computer-readable storage medium thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810738940.9A CN109002039B (zh) | 2018-07-06 | 2018-07-06 | 避障提醒方法、相关装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109002039A CN109002039A (zh) | 2018-12-14 |
CN109002039B true CN109002039B (zh) | 2021-04-06 |
Family
ID=64598488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810738940.9A Active CN109002039B (zh) | 2018-07-06 | 2018-07-06 | 避障提醒方法、相关装置及计算机可读存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10997439B2 (zh) |
CN (1) | CN109002039B (zh) |
WO (1) | WO2020007189A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109002039B (zh) | 2018-07-06 | 2021-04-06 | 达闼科技(北京)有限公司 | 避障提醒方法、相关装置及计算机可读存储介质 |
CN110222557B (zh) * | 2019-04-22 | 2021-09-21 | 北京旷视科技有限公司 | 路况的实时检测方法、装置、系统和存储介质 |
CA3046003C (en) * | 2019-06-11 | 2024-01-02 | Eidos Interactive Corp. | Systems and methods for augmented reality applications |
CN110378246A (zh) * | 2019-06-26 | 2019-10-25 | 深圳前海达闼云端智能科技有限公司 | 地面检测方法、装置、计算机可读存储介质及电子设备 |
CN110399807B (zh) * | 2019-07-04 | 2021-07-16 | 达闼机器人有限公司 | 检测地面障碍物的方法、装置、可读存储介质及电子设备 |
CN111337948A (zh) * | 2020-02-25 | 2020-06-26 | 达闼科技成都有限公司 | 障碍物检测方法、雷达数据生成方法、装置及存储介质 |
CN111291708B (zh) * | 2020-02-25 | 2023-03-28 | 华南理工大学 | 融合深度相机的变电站巡检机器人障碍物检测识别方法 |
CN111609851B (zh) * | 2020-05-28 | 2021-09-24 | 北京理工大学 | 一种移动型导盲机器人系统及导盲方法 |
CN111783557B (zh) * | 2020-06-11 | 2023-08-15 | 北京科技大学 | 一种基于深度视觉的可穿戴导盲设备及服务器 |
CN111461088B (zh) * | 2020-06-17 | 2020-09-08 | 长沙超创电子科技有限公司 | 一种基于图像处理与目标识别的轨道交通避障系统 |
CN112614305A (zh) * | 2020-12-09 | 2021-04-06 | 深圳市优必选科技股份有限公司 | 一种基于告示牌的预警方法、装置、存储介质及电子设备 |
CN112711263A (zh) * | 2021-01-19 | 2021-04-27 | 未来机器人(深圳)有限公司 | 仓储自动导引车避障方法、装置、计算机设备和存储介质 |
CN113421432B (zh) * | 2021-06-21 | 2023-02-28 | 北京百度网讯科技有限公司 | 交通限行信息检测方法、装置、电子设备和存储介质 |
WO2023279371A1 (zh) * | 2021-07-09 | 2023-01-12 | 华为技术有限公司 | 自动驾驶方法、装置和存储介质 |
WO2024047781A1 (en) * | 2022-08-31 | 2024-03-07 | Nec Corporation | Obstacle detecting apparatus, obstacle detecting method, and non-transitory computer-readable storage medium |
CN115951621B (zh) * | 2023-03-15 | 2023-05-30 | 临工重机股份有限公司 | 高空作业平台避障控制方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105425803A (zh) * | 2015-12-16 | 2016-03-23 | 纳恩博(北京)科技有限公司 | 自主避障方法、装置和系统 |
CN105652873A (zh) * | 2016-03-04 | 2016-06-08 | 中山大学 | 一种基于Kinect的移动机器人避障方法 |
JP2017015601A (ja) * | 2015-07-02 | 2017-01-19 | シャープ株式会社 | 路面検知装置、移動体、路面検知方法、および路面検知プログラム |
CN107635060A (zh) * | 2017-08-08 | 2018-01-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种路况危险提醒方法、终端和存储介质 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7663505B2 (en) * | 2003-12-24 | 2010-02-16 | Publicover Mark W | Traffic management device and system |
JP2008191781A (ja) * | 2007-02-01 | 2008-08-21 | Hitachi Ltd | 衝突回避システム |
CN101549683B (zh) * | 2009-04-23 | 2011-09-28 | 上海交通大学 | 自动识别道路深坑与障碍物的车辆智能方法 |
CN101976460B (zh) * | 2010-10-18 | 2012-02-22 | 无锡维森智能传感技术有限公司 | 车载多目摄像机环视系统的虚拟视点图像生成方法 |
US9297641B2 (en) * | 2011-12-12 | 2016-03-29 | Mobileye Vision Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
DE102013200385A1 (de) * | 2013-01-14 | 2014-07-17 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Fahrzeugs bei einer Fahrt auf unebenem Gelände |
US10210761B2 (en) * | 2013-09-30 | 2019-02-19 | Sackett Solutions & Innovations, LLC | Driving assistance systems and methods |
WO2015151266A1 (ja) * | 2014-04-03 | 2015-10-08 | 株式会社日立製作所 | 自律移動体 |
KR101592685B1 (ko) * | 2014-04-16 | 2016-02-12 | 현대자동차주식회사 | 노면 모델 설정을 이용한 장애물 검출 시스템 및 그 방법 |
JP2016134090A (ja) * | 2015-01-21 | 2016-07-25 | 株式会社東芝 | 画像処理装置及びそれを用いた運転支援システム |
CN104808209A (zh) * | 2015-05-13 | 2015-07-29 | 集怡嘉数码科技(深圳)有限公司 | 一种障碍物检测方法及装置 |
CN105021225B (zh) * | 2015-07-08 | 2017-07-14 | 江苏大学 | 一种温室智能移动检测平台 |
CN105204511B (zh) * | 2015-10-13 | 2018-01-09 | 王红军 | 一种物体自主移动的决策方法 |
US9946264B2 (en) * | 2016-03-22 | 2018-04-17 | Sharp Laboratories Of America, Inc. | Autonomous navigation using visual odometry |
US9672446B1 (en) * | 2016-05-06 | 2017-06-06 | Uber Technologies, Inc. | Object detection for an autonomous vehicle |
JP6432116B2 (ja) * | 2016-05-23 | 2018-12-05 | 本田技研工業株式会社 | 車両位置特定装置、車両制御システム、車両位置特定方法、および車両位置特定プログラム |
US10248872B2 (en) * | 2016-10-19 | 2019-04-02 | Texas Instruments Incorporated | Estimation of time to collision in a computer vision system |
CN107454969B (zh) * | 2016-12-19 | 2019-10-29 | 深圳前海达闼云端智能科技有限公司 | 障碍物检测方法及装置 |
CN106686165B (zh) * | 2016-12-30 | 2018-08-17 | 维沃移动通信有限公司 | 一种路况检测的方法及移动终端 |
US10769793B2 (en) * | 2018-04-17 | 2020-09-08 | Baidu Usa Llc | Method for pitch angle calibration based on 2D bounding box and its 3D distance for autonomous driving vehicles (ADVs) |
CN109002039B (zh) * | 2018-07-06 | 2021-04-06 | 达闼科技(北京)有限公司 | 避障提醒方法、相关装置及计算机可读存储介质 |
-
2018
- 2018-07-06 CN CN201810738940.9A patent/CN109002039B/zh active Active
-
2019
- 2019-06-18 WO PCT/CN2019/091674 patent/WO2020007189A1/zh active Application Filing
- 2019-07-08 US US16/504,693 patent/US10997439B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017015601A (ja) * | 2015-07-02 | 2017-01-19 | シャープ株式会社 | 路面検知装置、移動体、路面検知方法、および路面検知プログラム |
CN105425803A (zh) * | 2015-12-16 | 2016-03-23 | 纳恩博(北京)科技有限公司 | 自主避障方法、装置和系统 |
CN105652873A (zh) * | 2016-03-04 | 2016-06-08 | 中山大学 | 一种基于Kinect的移动机器人避障方法 |
CN107635060A (zh) * | 2017-08-08 | 2018-01-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种路况危险提醒方法、终端和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20200012869A1 (en) | 2020-01-09 |
US10997439B2 (en) | 2021-05-04 |
WO2020007189A1 (zh) | 2020-01-09 |
CN109002039A (zh) | 2018-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109002039B (zh) | 避障提醒方法、相关装置及计算机可读存储介质 | |
CN109074668B (zh) | 路径导航方法、相关装置及计算机可读存储介质 | |
CN108885791B (zh) | 地面检测方法、相关装置及计算机可读存储介质 | |
CN109074490B (zh) | 通路检测方法、相关装置及计算机可读存储介质 | |
CN112292711B (zh) | 关联lidar数据和图像数据 | |
CN113554698B (zh) | 车辆位姿信息生成方法、装置及电子设备、存储介质 | |
CN111026131B (zh) | 一种膨胀区域的确定方法、确定装置、机器人和存储介质 | |
US20210358153A1 (en) | Detection methods, detection apparatuses, electronic devices and storage media | |
US11143512B2 (en) | Image data generation device for vehicle, travel trajectory data generation system, and storage medium | |
US9513108B2 (en) | Sensor system for determining distance information based on stereoscopic images | |
CN107636679A (zh) | 一种障碍物检测方法及装置 | |
US20230053459A1 (en) | Vehicle-based data processing method and apparatus, computer, and storage medium | |
CN108460333B (zh) | 基于深度图的地面检测方法及装置 | |
EP3703008A1 (en) | Object detection and 3d box fitting | |
CN112654998B (zh) | 一种车道线检测方法和装置 | |
EP4403879A1 (en) | Vehicle, vehicle positioning method and apparatus, device, and computer-readable storage medium | |
CN111986261A (zh) | 一种车辆定位方法、装置、电子设备及存储介质 | |
KR20200095379A (ko) | 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치 | |
KR20200095357A (ko) | 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치 | |
CN114488185A (zh) | 基于多线激光雷达的机器人导航系统方法及系统 | |
CN111401190A (zh) | 车辆检测方法、装置、计算机设备和存储介质 | |
CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
CN115249407B (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
CN109035764B (zh) | 道路通行方法、相关装置及计算机可读存储设备 | |
CN112706159B (zh) | 机器人控制方法、装置及机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |