CN112149460A - 一种障碍物检测方法及装置 - Google Patents
一种障碍物检测方法及装置 Download PDFInfo
- Publication number
- CN112149460A CN112149460A CN201910567635.2A CN201910567635A CN112149460A CN 112149460 A CN112149460 A CN 112149460A CN 201910567635 A CN201910567635 A CN 201910567635A CN 112149460 A CN112149460 A CN 112149460A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- image
- road condition
- roi
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 102
- 238000012545 processing Methods 0.000 claims description 19
- 238000003709 image segmentation Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000004888 barrier function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种障碍物检测方法及装置,可以应用于车载摄像头或者车载摄像装置,以扩展障碍物检测的检测范围,进而提高障碍物检测的准确度,属于自动驾驶或者智能驾驶领域。该方法可以包括:第一装置通过摄像装置获取路况图像;所述第一装置根据所述路况图像,通过第一图像识别方法确定至少一个第一障碍物以及可行驶区域,其中,所述可行驶区域对应于所述路况图像中的第一部分;所述第一装置根据所述路况图像中的第一部分,通过第二图像识别方法确定至少一个第二障碍物。用于辅助驾驶或自动驾驶中的障碍物检测。
Description
技术领域
本申请涉及自动驾驶技术领域,特别涉及一种障碍物检测方法及装置。
背景技术
随着社会的发展,智能汽车正在逐步进入人们的日常生活中。传感器在智能汽车的辅助驾驶和自动驾驶中发挥着重要的作用。安装在车上的各式各样的传感器,比如毫米波雷达,激光雷达,摄像头,超声波雷达等,在汽车行驶过程中随时感知周围的环境,收集数据,进行移动物体的辨识与追踪,以及静止场景如车道线、标示牌的识别,并结合导航仪及地图数据进行路径规划。传感器可以预先察觉到可能发生的危险并及时帮助驾驶员甚至自主采取必要的规避手段,有效增加了汽车驾驶的安全性和舒适性。
对于视觉传感器(如摄像头)来说,障碍物检测技术为辅助驾驶技术或自动驾驶技术中的诸多关键技术之一,其可靠性、快速性和准确性是衡量自动驾驶系统中的重要指标。车辆进行障碍物检测的其主要目的是为了告知车辆可行驶区域并标记出障碍物的位置,辅助车辆避障。
目前,障碍物检测技术最常见的算法为目标检测,通过深度学习训练一个可以识别特定类别物体的神经网络,比如:行人、车辆、道路设施等。在进行障碍物检测时,通过该神经网络就可以识别出上述特定类别物体。但是,由于神经网络在训练时所支持的目标物体类别是有限的,使得目标物体类别外的障碍物无法被检测到,导致障碍物检测的准确度低。
发明内容
本申请提供了一种障碍物检测方法及装置,以扩展障碍物检测的检测范围,进而提高障碍物检测的准确度。
第一方面,本申请提供一种障碍物检测方法,该方法可以应用于第一装置,第一装置可以为处于常规驾驶、自动驾驶或智能驾驶模式的车辆中的计算装置或者计算装置中的一部分。第一装置可以与第二装置通信,这里,第二装置可以为上述实施例所述的推进系统、传感器系统、控制系统和外围设备或者其中的一部分。该方法可以包括:第一装置首先通过摄像装置获取路况图像,然后,第一装置根据路况图像,通过第一图像识别方法确定至少一个第一障碍物以及可行驶区域,其中,可行驶区域对应于路况图像中的第一部分,最后,第一装置通过第二图像识别方法检测所述路况图像中的第一部分。
这里,路况图像可以为车体前方道路的图像。该路况图像中可以包括行人、车辆、路面、隔离栏等物体,当然,还可以包括人行道、行道树、交通信号灯、交通指示牌等。
视觉摄像头,即摄像装置,可以为单目摄像头,由单目摄像头在一个时刻拍摄一张待处理的路况图像;或者,摄像装置还可以包括多目摄像头,这些摄像头可以在物理上合设于一个摄像装置中,还可以在物理上分设于多个摄像装置中,那么,由多目摄像头在同一时刻拍摄多张路况图像,并可以根据这些路况图像进行处理,得到一张待处理的路况图像。
在本申请中,通过对路况图像的两级图像识别,第一装置可以获得至少一个第一障碍物和至少一个第二障碍物,由此扩展了障碍物检测的检测范围,既可以对常见障碍物进行检测,也可以对不常见的障碍物进行检测,进而提高障碍物检测的准确度,方便后续避障控制算法的设计。进一步地,由于对路况图像中障碍物的检测都是像素级的检测,获得的第一障碍物和第二障碍物的描述也是像素级描述,这样相比其他障碍物检测方法,检测范围更广。
基于第一方面,在一些可能的实施方式中,第一装置通过第二图像识别方法检测路况图像中的第一部分,包括:第一装置确定第一部分中的感兴趣区域(region ofinterest,ROI);第一装置通过第二图像识别方法检测ROI。
这里,上述ROI可以作为第二级图像识别的检测区域,使得第一装置通过检测ROI可以获得至少一个第二障碍物。
基于第一方面,在一些可能的实施方式中,ROI包括上边界、下边界、左边界和/或右边界;相应地,上述方法还包括:第一装置获取场景信息,场景信息对应于当前行驶场景;那么,第一装置从第一部分获取ROI,包括以下中的至少一个:第一装置对第一部分的像素点进行逐行扫描,确定ROI的上边界;第一装置根据场景信息,确定ROI的下边界;第一装置对第一部分的像素点进行逐列扫描,确定ROI的左边界和/或右边界。
在本申请中,第一装置可以通过确定ROI部分边界,如仅确定上边界和下边界,或者仅确定左边界和右边界来获取ROI,也可以通过确定ROI全部边界来获取ROI,具体可以根据实际需要进行选择。
基于第一方面,在一些可能的实施方式中,摄像装置为单目摄像头,场景信息包括:速度参数和/或单目摄像头的拍摄参数。
基于第一方面,在一些可能的实施方式中,上述方法还包括:第一装置输出障碍物信息,障碍物信息为至少一个第一障碍物的障碍物信息和至少一个第二障碍物的障碍物信息中的部分或者全部,至少一个第二障碍物是通过第二图像识别方法检测路况图像中的第一部分得到的。
基于第一方面,在一些可能的实施方式中,第一装置输出障碍物信息,包括:第一装置获取来自第二装置的障碍物请求,障碍物请求用于请求障碍物信息;第一装置根据障碍物请求,向第二装置输出与障碍物请求对应的障碍物信息。
基于第一方面,在一些可能的实施方式中,第一装置输出障碍物信息,包括:第一装置根据第二装置与障碍物信息之间的对应关系,向第二装置输出与第二装置对应的障碍物信息。
基于第一方面,在一些可能的实施方式中,第一图像识别方法包括图像分割算法。
在本申请中,图像分割算法可以包括语义分割算法、实例分割算法等。
基于第一方面,在一些可能的实施方式中,第二图像识别方法包括异常检测算法。
在本申请中,异常检测算法可以包括基于时空自编码器的检测算法、显著性检测算法等。
基于第一方面,在一些可能的实施方式中,上述方法还包括:第一装置根据至少一个第一障碍物和至少一个第二障碍物确定路况图像中的障碍物,至少一个第二障碍物是通过第二图像识别方法检测路况图像中的第一部分得到的。
在本申请中,第一装置结合第一级图像识别的结果和第二级图像识别的结果联合判决路况图像中的障碍物,从至少一个第二障碍物中剔除掉至少一个第一障碍物中的部分或者全部,从而确定出通过第一级图像识别未检测出的障碍物。
第二方面,本申请提供一种障碍物检测装置,该障碍物检测装置可以为处于常规驾驶、自动驾驶或智能驾驶模式的车辆中计算装置或者计算装置中的芯片或者片上系统,还可以为计算装置中用于实现第一方面或第一方面的任一可能的实施方式所述的方法的功能模块。该障碍物检测装置可以实现上述各方面或者各可能的实施方式中第一装置所执行的功能,所述功能可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述功能相应的模块。举例来说,包括:障碍物检测装置包括:接口模块,用于通过摄像装置获取路况图像;处理模块,用于根据路况图像,通过第一图像识别方法确定至少一个第一障碍物以及可行驶区域,其中,可行驶区域对应于路况图像中的第一部分;通过第二图像识别方法检测所述路况图像中的所述第一部分。
基于第二方面,在一些可能的实施方式中,处理模块,用于确定第一部分中的ROI;通过第二图像识别方法检测ROI。
基于第二方面,在一些可能的实施方式中,ROI包括上边界、下边界、左边界和/或右边界;处理模块,还用于获取场景信息,场景信息对应于当前行驶场景;以及,处理模块,具体用于执行以下一种或者多种:对第一部分的像素点进行逐行扫描,确定ROI的上边界;根据场景信息,确定ROI的下边界;对第一部分的像素点进行逐列扫描,确定ROI的左边界和/或右边界。
基于第二方面,在一些可能的实施方式中,摄像装置为单目摄像头,场景信息包括:速度参数和/或单目摄像头的拍摄参数。
基于第二方面,在一些可能的实施方式中,接口模块,还用于输出障碍物信息,障碍物信息为至少一个第一障碍物的障碍物信息和至少一个第二障碍物的障碍物信息中的部分或者全部,至少一个第二障碍物是通过第二图像识别方法检测路况图像中的第一部分得到的。
基于第二方面,在一些可能的实施方式中,接口模块,具体用于获取来自第二装置的障碍物请求,障碍物请求用于请求障碍物信息;根据障碍物请求,向第二装置输出与障碍物请求对应的障碍物信息。
基于第二方面,在一些可能的实施方式中,接口模块,具体用于根据第二装置与障碍物信息之间的对应关系,向第二装置输出与第二装置对应的障碍物信息。
基于第二方面,在一些可能的实施方式中,第一图像识别方法包括图像分割算法。
基于第二方面,在一些可能的实施方式中,第二图像识别方法包括异常检测算法。
基于第二方面,在一些可能的实施方式中,处理模块,还用于根据至少一个第一障碍物和至少一个第二障碍物确定路况图像中的障碍物,至少一个第二障碍物是通过第二图像识别方法检测路况图像中的第一部分得到的。
上述第二方面中提到的接口模块可以为接收接口、接收电路或者接收器等;处理模块可以为一个或者多个处理器。
第三方面,本申请提供一种计算装置,可以包括:处理器和通信接口,处理器可以用于支持计算装置实现上述第一方面或者第一方面的任一种可能的实施方式中所涉及的功能,例如:处理器可以通过通信接口获取摄像装置采集的路况图像。
基于第三方面,在一些可能的实施方式中,计算装置还可以包括存储器,存储器,用于保存计算装置必要的计算机执行指令和数据。当该计算装置运行时,该处理器执行该存储器存储的该计算机执行指令,以使该计算装置执行如上述第一方面或者第一方面的任一种可能的实施方式所述的障碍物检测方法。
第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令在计算机上运行时,用于执行上述第一方面中任一的障碍物检测方法。
第五方面,本申请提供一种计算机程序或计算机程序产品,当计算机程序或计算机程序产品在计算机上被执行时,使得计算机实现上述第一方面中任一的障碍物检测方法。
应当理解的是,本申请的第二至五方面与本申请的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例中的车辆的结构示意图;
图2为本申请实施例中的障碍物检测方法的流程示意图;
图3为本申请实施例中的第一装置在可行驶区域中提取ROI的方法流程示意图;
图4为本申请实施例中ROI的边界示意图;
图5为本申请实施例中的障碍物检测装置的结构示意图;
图6为本申请实施例中的计算装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。以下描述中,参考形成本申请一部分并以说明之方式示出本申请实施例的具体方面或可使用本申请实施例的具体方面的附图。应理解,本申请实施例可在其它方面中使用,并可包括附图中未描绘的结构或逻辑变化。因此,以下详细描述不应以限制性的意义来理解,且本申请的范围由所附权利要求书界定。例如,应理解,结合所描述方法的揭示内容可以同样适用于用于执行所述方法的对应设备或系统,且反之亦然。例如,如果描述一个或多个具体方法步骤,则对应的设备可以包含如功能单元等一个或多个单元,来执行所描述的一个或多个方法步骤(例如,一个单元执行一个或多个步骤,或多个单元,其中每个都执行多个步骤中的一个或多个),即使附图中未明确描述或说明这种一个或多个单元。另一方面,例如,如果基于如功能单元等一个或多个单元描述具体装置,则对应的方法可以包含一个步骤来执行一个或多个单元的功能性(例如,一个步骤执行一个或多个单元的功能性,或多个步骤,其中每个执行多个单元中一个或多个单元的功能性),即使附图中未明确描述或说明这种一个或多个步骤。进一步,应理解的是,除非另外明确提出,本文中所描述的各示例性实施例和/或方面的特征可以相互组合。
随着社会的发展,辅助驾驶和自动驾驶技术越来越受到人们的重视,其中,障碍物检测技术为辅助驾驶和自动驾驶技术中的诸多关键技术之一,其可靠性、快速性和准确性是衡量自动驾驶系统中的重要指标。
图1为本申请实施例中的车辆的结构示意图,参见图1所示,该车辆可以处于常规驾驶、自动驾驶或智能驾驶模式。耦合到车辆100或包括在车辆100中的组件可以包括推进系统110、传感器系统120、控制系统130、外围设备140、电源101、计算装置107以及用户接口108。计算装置107包括处理器102、收发器103和存储器104。计算装置107以是车辆100的控制器或控制器的一部分。存储器104包括处理器102可以运行的指令106,并且还可以存储地图数据105。车辆100的组件可以被配置为以与彼此互连和/或与耦合到各系统的其它组件互连的方式工作。例如,电源101可以向车辆100的所有组件提供电力。计算装置107可以被配置为从推进系统110、传感器系统120、控制系统130和外围设备140接收数据并对它们进行控制。计算装置107可以被配置为在用户接口108上生成图像的显示并从用户接口108接收输入。
在一些可能的实施方式中,车辆100还可以包括更多、更少或不同的系统,并且每个系统可以包括更多、更少或不同的组件。此外,示出的系统和组件可以按任意种的方式进行组合或划分,本申请实施例对此不做具体限定。
下面,对上述各个系统进行说明。
上述推进系统102可以用于车辆100提供动力运动。仍参见图1所示,推进系统102可以包括引擎/发动机114、能量源113、传动装置(transmission)112和车轮/轮胎111。当然,推进系统102还可以额外地或可替换地包括除了图1所示出组件外的其它组件,本申请实施例对此不做具体限定。
传感器系统104可以包括用于感测关于车辆100所位于的环境的信息的若干个传感器。如图所示,传感器系统的传感器包括全球定位系统GPS126、惯性测量单元(inertialmeasurement unit,IMU)125、激光雷达传感器124、视觉传感器123、毫米波雷达传感器122以及用于为修改传感器的位置和/或朝向的致动器121中的至少一个。传感器系统120也可以包括额外的传感器,包括例如监视车辆100的内部系统的传感器(例如,O2监视器、燃油量表、机油温度,等中的至少一个)。传感器系统120也可以包括其它传感器。
全球定位系统(global positioning system,GPS)模块126可以为用于估计车辆100的地理位置的任何传感器。为此,GPS模块126可能包括收发器,基于卫星定位数据,估计车辆100相对于地球的位置。在示例中,计算装置107可以用于结合地图数据105使用GPS模块126来估计车辆100可以在其上行驶的道路上的车道边界的位置。GPS模块126也可以采取其它形式。
IMU 125可以是用于基于惯性加速度及其任意组合来感测车辆100的位置和朝向变化。在一些示例中,传感器的组合可以包括例如加速度计和陀螺仪。传感器的其它组合也是可能的。
激光雷达传感器(light detection and ranging,LiDAR)124可以被看作物体检测系统,该传感器使用光感测或检测车辆100所位于的环境中的物体。通常,LIDAR 124是可以通过利用光照射目标来测量到目标的距离或目标的其它属性的光学遥感技术。作为示例,LIDAR 124可以包括被配置为发射激光脉冲的激光源和/或激光扫描仪,和用于为接收激光脉冲的反射的检测器。例如,LIDAR 124可以包括由转镜反射的激光测距仪,并且以一维或二维围绕数字化场景扫描激光,从而以指定角度间隔采集距离测量值。在示例中,LIDAR 124可以包括诸如光源(例如,激光)、扫描仪和光学系统、光检测器和接收器电子器件之类的组件,以及位置和导航系统。LIDAR 124通过扫描一个物体上反射回来的激光确定物体的距离,可以形成精度高达厘米级的三维(3dimensions,3D)环境图。
视觉传感器(visual sensor)123可以用于获取车辆100所位于的环境的图像的任何摄像头(例如,静态摄像头、视频摄像头等)。为此,视觉传感器123可以被配置为检测可见光,或可以被配置为检测来自光谱的其它部分(如红外光或紫外光)的光。其它类型的视觉传感器也是可能的。视觉传感器123可以是二维检测器,或可具有三维空间范围的检测器。在一些可能的实施方式中,视觉传感器123例如可以是距离检测器,其被配置为生成指示从视觉传感器123到环境中的若干点的距离的二维图像。为此,视觉传感器123可使用一种或多种距离检测技术。例如,视觉传感器123可被配置为使用结构光技术,其中车辆100利用预定光图案,诸如栅格或棋盘格图案,对环境中的物体进行照射,并且使用视觉传感器123检测从物体的预定光图案的反射。基于反射的光图案中的畸变,车辆100可被配置为检测到物体上的点的距离。预定光图案可包括红外光或其它波长的光。
毫米波雷达传感器(millimeter-wave radar)122通常指波长为1~10mm的物体检测传感器,频率大致范围是10GHz~200GHz。毫米波雷达测量值具备深度信息,可以提供目标的距离;其次,由于毫米波雷达有明显的多普勒效应,对速度非常敏感,可以直接获得目标的速度,通过检测其多普勒频移可将目标的速度提取出来。目前主流的两种车载毫米波雷达应用频段分别为24GHz和77GHz,前者波长约为1.25cm,主要用于短距离感知,如车身周围环境、盲点、泊车辅助、变道辅助等;后者波长约为4mm,用于中长距离测量,如自动跟车、自适应巡航(adaptive cruise control,ACC)、紧急制动(autonomous emergencybraking,AEB)等。
控制系统130可被配置为控制车辆100及其组件的操作。为此,控制系统130可包括转向单元136、油门135、制动单元134、传感器融合单元133、计算机视觉系统132、导航或路线控制(pathing)系统131。当然,控制系统130还可以额外地或可替换地包括除了图1所示出组件外的其它组件,本申请实施例对此不做具体限定。
外围设备140可被配置为允许车辆100与外部传感器、其它车辆和/或用户交互。为此,外围设备140可以包括例如无线通信系统144、触摸屏143、麦克风142和/或扬声器141。当然,外围设备140可以额外地或可替换地包括除了图1所示出组件外的其它组件,本申请实施例对此不做具体限定。
电源101可以被配置为向车辆100的一些或全部组件提供电力。为此,电源110可以包括例如可再充电锂离子或铅酸电池。在一些示例中,一个或多个电池组可被配置为提供电力。其它电源材料和配置也是可能的。在一些可能的实现方式中,电源110和能量源113可以一起实现。
包括在计算装置107中的处理器102可包括一个或多个通用处理器和/或一个或多个专用处理器(例如,图像处理器、数字信号处理器等)。就处理器102包括多于一个处理器而言,此时处理器可单独工作或组合工作。计算装置107可以实现基于通过用户接口108接收的输入控制车辆100的功能。
收发器103用于计算装置107与各个系统间的通信。
存储器104进一步可以包括一个或多个易失性存储组件和/或一个或多个非易失性存储组件,诸如光、磁和/或有机存储装置,并且存储器104可全部或部分与处理器102集成。存储器104可以包含可由处理器102运行的指令106(例如,程序逻辑),以运行各种车辆功能,包括本申请实施例中描述的功能或方法中的任何一个。
车辆100的组件可以被配置为以与在其各自的系统内部和/或外部的其它组件互连的方式工作。为此,车辆100的组件和系统可通过系统总线、网络和/或其它连接机制连接在一起。
在本申请实施例中,结合上述车辆100的结构,上述车辆在常规驾驶、自动驾驶或智能驾驶模式的过程中,为了告知车辆可行驶区域并标记出障碍物的位置,进而辅助车辆避障,通常采用目标检测算法、深度估计算法等进行障碍物检测。
当采用目标检测进行障碍物检测时,首先,计算装置通过深度学习训练一个可以识别特定类别物体的神经网络,这里,特定类别物体可以为行人、车辆、道路设施等常见障碍物。那么,在进行障碍物检测时,计算装置通过该神经网络可以识别出上述特定类别物体。但是,由于神经网络在训练时所支持的目标物体类别是有限的,使得目标物体类别外的障碍物无法被检测到,导致障碍物检测的准确度低,进而影响车辆成功避障。
在采用深度估计算法进行障碍物检测的场景下,首先,计算装置通过双目摄像头采集成对的双目图像,然后,运用立体匹配算法计算图像中各位置的视差信息,并进行3D建模,接下来,通过动态规划算法找到地面与障碍物的分界线,再用另外一个动态规划的算法找到物体与天空的分界线,由此,完成障碍物检测。但是由于依赖视差算法,导致检测距离有限,并且随着检测距离的增大,误差指数也会增大,在100m之后误差就已超出可接受范围。那么,在高速行驶场景下,由于检测距离有限,远距离检测误差较大,使得障碍物检测的准确度低,进而影响车辆成功避障。
为了解决上述问题,本申请实施例提供一种障碍物检测方法,该方法可以应用于第一装置,也可以说是障碍物检测装置。该第一装置可以为上述实施例中所述的计算装置或者计算装置中的一部分。第一装置与第二装置可以在物理上分设,也可以在物理上合设。这里,第二装置可以为上述实施例所述的推进系统、传感器系统、控制系统和外围设备或者其中的一部分,本申请实施例对此不做具体限定。
图2为本申请实施例中的障碍物检测方法的流程示意图,参见图2所示,该方法包括:
S201:第一装置通过摄像装置获取路况图像;
首先,需要说明的是,上述摄像装置即为上述传感器系统中的视觉传感器,用于采集车体前方道路的路况图像。该路况图像中可以包括行人、车辆、路面、隔离栏等物体,当然,还可以包括人行道、行道树、交通信号灯、交通指示牌等,本申请实施例不做具体限定。
在实际应用中,可选的,摄像装置可以为单目摄像头,由单目摄像头在一个时刻拍摄一张待处理的路况图像。或者,可选的,摄像装置还可以包括多目摄像头,这些摄像头可以在物理上合设于一个摄像装置中,还可以在物理上分设于多个摄像装置中。通过多目摄像头在同一时刻拍摄多张路况图像,并可以根据这些路况图像进行处理,得到一张待处理的路况图像。当然,摄像装置还可以为其他情况,本申请实施例不做具体限定。
这里,S201可以为:摄像装置实时地采集上述路况图像,或者可以根据车辆的车速和预设的障碍物检测距离计算出的检测周期,如3s、5s、10s等,周期地采集路况图像。当然,摄像装置还可以采用其他方式采集路况图像,本申请实施例不做具体限定。那么,摄像装置在第一时刻采集到路况图像后,可以将路况图像传递给第一装置,此时,第一装置可以获得该路况图像。这里需要说明的是,S201可以是在车辆启动后,或者车辆启动自动驾驶或者智能驾驶的功能之后执行。
S202:第一装置根据路况图像,通过第一图像识别方法确定至少一个第一障碍物以及可行驶区域(例如,freespace);
其中,可行驶区域对应于路况图像中的第一部分。这里的可行驶区域是指路况图像中车体前方道路上车辆能够行驶的区域;
这里,第一装置在通过S201获得路况图像之后,对该路况图像进行第一级图像识别。具体来说,第一装置通过第一图像识别方法对路况图像进行处理,由此来确定路况图像中的至少一个第一障碍物以及可行驶区域。
在实际应用中,第一图像识别方法可以为图像分割算法,如语义分割算法、实例分割算法等。其中,语义分割算法是将图像中的像素按照图像中表达语义含义的不同进行分组(grouping)/分割(segmentation)。例如,语义分割算法的经典算法可以包括:基于全卷积神经网络(fully convolutional networks,FCN)的语义分割算法、基于空洞卷积(dilated convlotion)的语义分割算法、或者金字塔场景解析网络(pyramid sceneparsing network,pspnet)的语义分割算法等,当然,还可以是其他可能的语义分割算法,以能够实现对路况图像进行语义分割为准,在此并不进行限定。而实例分割算法是先用目标检测算法将图像中的实例进行定位,再用语义分割算法对不同定位框中的目标物体进行标记,从而实现实例分割。例如,实例分割算法的经典算法可以包括:基于多任务网络级联(multi-task network cascades,MNC)的实例分割算法、基于实例FNC(instanceFCN,ISFCN)的实例分割算法、基于掩膜区域卷积神经网络(mask regions with convolutionalneural networks,Mask R-CNN)的实例分割算法或者基于路径聚合网络(pathaggregation network,PAN)的实例分割算法等,当然,还可以是其他可能的实例分割算法,以能够实现对路况图像进行实例分割为准,在此并不进行限定。
那么,第一装置通过上述图像分割算法可以将路况图像中常见的障碍物(也就是第一障碍物),如车辆、行人、路面、隔离栏等检测出来。并且,通过图像分割算法,第一装置可以将路况图像中的可行驶区域提取出来。由于上述图像分割算法是根据图像内容对指定区域进行标记的计算机视觉任务,简言之就是识别图像里有什么,其在图像中的位置是什么。具体来说,图像分割算法的目标在于标记图像中每一个像素,并将每一个像素与其表示的类别对应起来。可见,第一装置对于第一障碍物的识别是像素级的,这样,就能够得到第一障碍物的像素级描述。
S203:第一装置通过第二图像识别方法检测路况图像中的第一部分。
这里,第一装置在通过S202获得路况图像中的第一部分(也就是路况图像中可行驶区域对应的部分图像)之后,对该第一部分进行第二级图像识别。具体来说,第一装置通过第二图像识别方法对第一部分进行检测,由此来确定第一部分中的至少一个第二障碍物。
在实际应用中,第二图像识别方法可以为异常检测算法,如基于时空自编码器的检测算法、视觉显著性检测算法等。第一装置通过异常检测算法可以将第一部分中障碍物(也就是第二障碍物)检测出来,此时,至少一个第二障碍物可以包括上述第一障碍物中的部分或者全部,还可以包括通过第一级图像识别无法检测出的障碍物,如异常通行车辆、超速行驶车辆等。
举例来说,第二图像识别方法为基于时空自编码器的检测算法,此时,可以先使用不带有路面障碍物的正常数据进行半监督学习训练,得到一个自编码器。那么,在使用时,第一装置将带有路面障碍物的数据,也就是路况图像中的第一部分输入自编码器,由于自编码器未曾学习过路面上的异物,所以,自编码器就能够将存在异物的地方相比原图可以高亮标记出来,从而定位出第二障碍物的位置。
第二图像识别方法为显著性检测算法,此时,可以根据前景和背景的方式标定训练数据,以监督学习的方式学习标定数据,得到一个显著性检测模型。那么,在使用时,第一装置将带有障碍物的路面数据,也就是路况图像中的第一部分输入显著性检测模型,该模型可以将第一部分中的障碍物以前景的方式进行标定,路面以背景的方式进行标定,由此确定第二障碍物的位置。
需要说明的是,在一些可能的实施方式中,上述S202和S203中的第一图像识别方法和第二图像识别方法可以为单一算法,也可以为多种算法的组合。当然,还可以包括除上述算法外的其他算法,以上实施例中的各个算法仅为对第一图像识别方法和第二图像识别方法的举例,本申请实施例对此不做具体限定。
在本申请实施例中,为了剔除对驾驶安全影响较小的障碍物,在上述S203中通过对第一部分进行检测之后,第一装置还可以对检测结果进行进一步地处理,如通过轮廓提取算法、基于密度的聚类算法(density-based spatial clustering of applicationswith noise,DBSCAN)获得检测结果中各个障碍物的像素描述,然后,去除掉检测结果中像素描述小于特定像素门限数的障碍物,由于尺寸较小的障碍物对驾驶安全的影响也较小,所以,第一装置可以剔除掉这些尺寸较小的障碍物,由此可以确定可信的障碍物,也就是得到至少一个第二障碍物的像素级描述。
在一些可能的实施方式中,由于通过S203中的第二级图像识别算法,可以确定出第一部分中的至少一个第二障碍物,这些障碍物中可能会包括通过S202获得的至少一个第一障碍物中的部分或者全部,那么,为了区分路面上常见的障碍物和不常见的障碍物,在S203之后,还可以包括:第一装置根据至少一个第一障碍物和至少一个第二障碍物确定路况图像中的障碍物,也就是说,结合第一级图像识别的结果和第二级图像识别的结果联合判决路况图像中的障碍物,从至少一个第二障碍物中剔除掉至少一个第一障碍物中的部分或者全部,从而确定出通过第一级图像识别未检测出的障碍物,例如路面上不常见的障碍物。
在本申请实施例中,通过对路况图像的两级图像识别,第一装置可以确定至少一个第一障碍物和至少一个第二障碍物,由此扩展了障碍物检测的检测范围,既可以对常见障碍物进行检测,也可以对不常见的障碍物进行检测,进而提高障碍物检测的准确度,方便后续避障控制算法的设计。进一步地,由于对路况图像中障碍物的检测都是像素级的检测,得到第一障碍物和第二障碍物的描述也是像素级描述,这样相比其他障碍物检测方法,检测范围更广。
基于前述实施例,为了保证后续检测的实时性,降低第二级图像识别的复杂度,为实现远距离路面障碍物检测做出贡献,图3为本申请实施例中的第一装置在可行驶区域中提取ROI的方法流程示意图,参见图3所示,S203可以包括:
S301:第一装置确定第一部分中的ROI;
这里,第一装置在通过S202获得可行驶区域之后,从路况图像中可行驶区域对应的第一部分提取ROI,也就是S203中的障碍物检测的待检测区域。其中,ROI是指从第一部分中以方框、圆、椭圆或者不规则多边形等方式勾勒出需要处理的区域。
在具体实施过程中,第一装置可以通过确定ROI的边界来提取ROI。这里,ROI可以包括上边界、下边界、左边界和/或右边界。
那么,在S301之前,第一装置可以获取场景信息;这里,场景信息对应于当前的行驶场景,第一装置可以从上述车辆中推动系统、传感器系统、控制系统、外围设备、电源等中的至少一个获得上述场景信息。例如,场景信息可以包括摄像装置的拍摄参数和车辆的速度参数。那么,第一装置可以从传感器系统中的视觉传感器(也就是摄像装置,如单目摄像头、多目摄像头等)获得自身的拍摄参数,如焦距、视角等参数;第一装置可以从传感器系统中的惯性测量单元获取车辆的速度餐参数,也就是车速、车加速度等。
相应地,图4为本申请实施例中ROI的边界示意图,结合图4所示,上述S301可以包括以下中的至少一个:
(1)第一装置对第一部分的像素点进行逐行扫描,确定ROI的上边界;
具体来说,通过S201对路况图像进行第一级图像处理后,可以将路况图像中的各个第一障碍物以及可行驶区域所对应的像素进行类别标记,如此,第一装置就可以根据对第一部分进行扫描,寻找被标记为感兴趣类别的像素,并将这些像素消失的上边界作为ROI的上边界。例如,第一装置可以将整个可行驶区域作为ROI,此时,由于在路况图像中对应的像素被标记为freespace类别,那么,第一装置可以从下至上逐行扫描第一部分的像素,在第一部分中寻找标记为freespace类别的像素的上边界,也就是第一部分的上边界,可以参见图4中所示的ROI 40的上边界41。
(2)第一装置根据场景信息确定ROI的下边界;
具体来说,第一装置还可以根据获取到的场景信息,如摄像装置的视角和车辆的车速,来计算图4中所示的ROI 40的下边界42。例如,第一装置可以根据车辆行驶车速可以计算出及时避障的最短距离,然后,再根据摄像装置的视角信息,就可以计算出摄像装置在成像平面上的位置,从而可以确定ROI的下边界。
这里,上述成像平面也就是摄像装置的像平面(image plane)。
(3)第一装置对第一部分的像素点进行逐列扫描,确定ROI的左边界和/或右边界。
具体来说,与上述确定上边界类似,第一装置可以从左到右或者从右到左逐列扫描第一部分的像素,在第一部分中寻找标记为freespace类别的像素的左边界和/或右边界,也就是第一部分的左边界和/或右边界,可以参见图4中所示的ROI 40的左边界43和/或右边界44。
需要说明的是,在实际应用中,第一装置可以通过确定ROI部分边界,如仅确定上边界和下边界,或者仅确定左边界和右边界来获取ROI,也可以通过确定ROI全部边界来获取ROI,具体可以根据实际需要进行选择,本申请实施例不做具体限定。
在本申请实施例中,上述场景信息还可以包括预设的检测距离,检测距离是是指车体前方检测障碍物的检测范围,如150m、200m等。在一种实施方式中,可以预先设置车速和检测范围的对应关系,车速越高,检测范围越大,以保证车辆成功避障。那么,第一装置在确定ROI的下边界时,可以按照当前车辆的车速确定对应的检测距离,然后,第一装置可以将与离上边界的距离为检测距离的位置确定为下边界。在另一实施方式中,检测距离也可以是缺省设置的,不随车速变化而变化的,那么,无论车速多快,第一装置将与离上边界的距离为检测距离的位置确定为下边界。当然,场景信息还可以包括其他参数,本申请实施例不做具体限定。
S302:第一装置通过第二图像识别方法检测ROI。
这里,当第一装置提取了ROI后,可以将ROI作为第二级图像识别的检测区域,那么,第一装置便可以对ROI以第二图像识别方法进行检测,从而确定至少一个第二障碍物。此处,第二图像识别方法的描述可以参见上述实施例中对第二图像识别方法的描述,在此不再赘述。
基于前述实施例,第一装置通过S201至S203确定至少一个第一障碍物和至少一个第二障碍物之后,还可以将这些障碍物的障碍物信息输出给上述第二装置。例如,第一装置将障碍物信息输出给控制系统,或者第一装置将障碍物信息输出给外围设备,本申请实施例对此不做具体限定。
在本申请实施例中,第一装置可以将至少一个第一障碍物的障碍物信息和至少一个第二障碍物的障碍物信息中的全部障碍物信息输出给第二装置。或者,第一装置也可以将至少一个第一障碍物的障碍物信息和至少一个第二障碍物的障碍物信息中的部分障碍物信息输出给第二装置。也就是说,上述输出的障碍物信息可以包括所述至少一个第一障碍物中的部分障碍物的障碍物信息和/或所述至少一个第二障碍物中的部分障碍物的障碍物信息。
具体来说,第一装置可以根据第二装置的请求,向第二装置输出与第二装置的请求对应的障碍物信息。
这里,第二装置根据自身需求向第一装置发送障碍物请求,第一装置在获取到来自第二装置的障碍物请求之后,根据该障碍物请求,向第二装置输出与障碍物请求对应的障碍物信息。例如,外围设备,如触摸屏,向第一装置发送障碍物信息请求,请求第一装置输出路面上50米内的障碍物的障碍物信息,此时,第一装置响应障碍物信息请求,将第一障碍物和第二障碍物中位于车体前方50米内的障碍物的障碍物信息输出给触摸屏,触摸屏可以根据获取到的障碍物信息进行显示,以提示车上人员前方的障碍物。
在一些可能的实施方式中,第一装置还可以根据第二装置与障碍物信息之间的对应关系,向第二装置输出障碍物信息。
这里,可以预先设置第二装置与障碍物信息之间的对应关系,如第二装置与障碍物尺寸之间的对应关系。那么,第一装置根据该对应关系,向第二装置输出与第二装置对应的障碍物信息。例如,预先设置的对应关系可以为:控制系统中的转向单元与较小尺寸的障碍物对应,制动单元与较大尺寸的障碍物对应。那么,第一装置在检测到至少一个第一障碍物和至少一个第二障碍物后,可以将其中较小尺寸的障碍物的障碍物信息发送给转向单元,使得车辆在靠近较小尺寸的障碍物的时候,通过转向系统改变行驶方向来进行避障;类似的,第一装置可以将其中较大尺寸的障碍物的障碍物信息发送给制动单元,使得车辆在靠近较大尺寸的障碍物的时候,通过制动系统控制车辆减速或者停车来进行避障。当然,在实际应用中,还可以存在其他的避障的场景,以上场景仅为举例,本申请实施例对此不做具体限定。
需要说明的是,第一装置向第二装置输出的障碍物信息可以包括至少一个第一障碍物的全部障碍物信息和至少一个第二障碍物的全部障碍物信息,也可以包括至少一个第一障碍物中的部分障碍物的障碍物信息和/或至少一个第二障碍物中的部分障碍物的障碍物信息,本申请实施例不做具体限定。
下面以具体实例对上述障碍物检测方法进行说明。需要说明的是,以下实例是以单目摄像头为例进行方案的阐述,但是本申请实施例不限定摄像装置的类型,可以为任意摄像装置。
具体的,车辆上设置有一个单目摄像头,用于采集车体前方的路况图像。那么,在车辆行驶的过程中(例如,车辆可以处于常规驾驶、自动驾驶或智能驾驶模式),上述障碍物检测方法可以包括:
第一步、单目摄像头采集一张车体前方的路况图像;
第二步、单目摄像头将采集到的路况图像输出给计算装置;
第三步、计算装置对路况图像进行图像分割,获得路况图像中常见的第一障碍物和车辆的可驾驶区域;
第四步、计算装置在路况图像上对可驾驶区域对应的第一部分提取ROI;
第五步、计算装置对ROI进行异常检测,获得可驾驶区域内的障碍物;
第六步、计算装置将可驾驶区域内的障碍物中不影响驾驶的障碍物剔除,获得第二障碍物;
第七步、计算装置根据第一障碍物和第二障碍物进行联合判决,确定路况图像中的全部障碍物;
第八步、计算装置将上述全部障碍物中尺寸较小的障碍物的障碍物信息输出给转向单元;
第九步、转向单元根据接收到的障碍物信息,调整车辆的行驶方向。
至此,实现车辆的成功避障。
需要说明的是,以上仅为对障碍物检测方法的举例说明,当然还可以存在其他应用场景,本申请实施例不做具体限定。
在本申请实施例中,通过对路况图像的两级图像识别,第一装置可以确定至少一个第一障碍物和至少一个第二障碍物,由此扩展了障碍物检测的检测范围,既可以对常见障碍物进行检测,也可以对不常见的障碍物进行检测,进而提高障碍物检测的准确度,方便后续避障控制算法的设计。进一步地,由于对路况图像中障碍物的检测都是像素级的检测,获得的第一障碍物和第二障碍物的描述也是像素级描述,这样相比其他障碍物检测方法,检测范围更广。进一步地,通过利用第一级图像识别的结果进行路面障碍物待检测区域的提取,不但保证了后续流程实时性,也降低了后续异常检测的复杂度,为实现远距离路面障碍物检测做出贡献。
基于与上述方法相同的发明构思,本申请实施例提供一种障碍物检测装置,该障碍物检测装置可以为上述实施例所述车辆中的计算装置或者计算装置中的芯片或者片上系统,还可以为计算装置中用于实现上述各实施例所述的方法的功能模块。该障碍物检测装置可以实现上述各实施例中第一装置所执行的功能,所述功能可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述功能相应的模块。举例来说,一种可能的实施方式中,图5为本申请实施例中的障碍物检测装置的结构示意图,参见图5所示,该障碍物检测装置500包括:接口模块501,用于通过摄像装置获取路况图像;处理模块502,用于根据路况图像,通过第一图像识别方法确定至少一个第一障碍物以及可行驶区域,其中,可行驶区域对应于路况图像中的第一部分;通过第二图像识别方法检测所述路况图像中的第一部分。
在一些可能的实施方式中,处理模块502,用于确定第一部分中的ROI;通过第二图像识别方法检测ROI。
在一些可能的实施方式中,ROI包括上边界、下边界、左边界和/或右边界;处理模块502,还用于获取场景信息,场景信息对应于当前行驶场景;以及,处理模块502,具体用于执行以下一种或者多种:对第一部分的像素点进行逐行扫描,确定ROI的上边界;根据场景信息,确定ROI的下边界;对第一部分的像素点进行逐列扫描,确定ROI的左边界和/或右边界。
在一些可能的实施方式中,摄像装置为单目摄像头,场景信息包括:速度参数和/或单目摄像头的拍摄参数。
在一些可能的实施方式中,接口模块501,还用于输出障碍物信息,障碍物信息为至少一个第一障碍物的障碍物信息和至少一个第二障碍物的障碍物信息中的部分或者全部,至少一个第二障碍物是通过第二图像识别方法检测路况图像中的第一部分得到的。
在一些可能的实施方式中,接口模块501,具体用于接收来自第二装置的障碍物请求,障碍物请求用于请求障碍物信息;根据障碍物请求,向第二装置输出与障碍物请求对应的障碍物信息。
在一些可能的实施方式中,接口模块501,具体用于根据第二装置与障碍物信息之间的对应关系,向第二装置输出与第二装置对应的障碍物信息。
在一些可能的实施方式中,第一图像识别方法包括图像分割算法。
在一些可能的实施方式中,第二图像识别方法包括异常检测算法。
在一些可能的实施方式中,处理模块502,还用于根据至少一个第一障碍物和至少一个第二障碍物确定路况图像中的障碍物。
还需要说明的是,接口模块501和处理模块502的具体实现过程可参考图2至图4实施例的详细描述,为了说明书的简洁,这里不再赘述。
本申请实施例中提到的接口模块可以为接收接口、接收电路或者接收器等;处理模块可以为一个或者多个处理器。
基于与上述方法相同的发明构思,本申请实施例提供一种计算装置,图6为本申请实施例中的计算装置的结构示意图,参见图6中实线所示,计算装置600可以包括:处理器601和通信接口602,处理器601可以用于支持计算装置600实现上述各个实施例中所涉及的功能,例如:处理器601可以通过通信接口602获取摄像装置采集的路况图像。
在一些可能的实施方式中,参见图6中虚线所示,计算装置600还可以包括存储器603,存储器603,用于保存计算装置600必要的计算机执行指令和数据。当该计算装置600运行时,该处理器601执行该存储器603存储的该计算机执行指令,以使该计算装置600执行如上述各个实施例所述的障碍物检测方法。
基于与上述方法相同的发明构思,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令在计算机上运行时,用于执行上述各实施例所述的障碍物检测方法。
基于与上述方法相同的发明构思,本申请实施例提供一种计算机程序或计算机程序产品,当计算机程序或计算机程序产品在计算机上被执行时,使得计算机实现上述各实施例所述的障碍物检测方法。
本领域技术人员能够领会,结合本文公开描述的各种说明性逻辑框、模块和算法步骤所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,那么各种说明性逻辑框、模块、和步骤描述的功能可作为一或多个指令或代码在计算机可读媒体上存储或传输,且由基于硬件的处理模块执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形媒体,例如数据存储媒体,或包括任何促进将计算机程序从一处传送到另一处的媒体(例如,根据通信协议)的通信媒体。以此方式,计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)通信媒体,例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本申请中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且,任何连接被恰当地称作计算机可读媒体。举例来说,如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是,应理解,所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体,而是实际上针对于非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此,如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外,在一些方面中,本文中所描述的各种说明性逻辑框、模块、和步骤所描述的功能可以提供于经配置以用于编码和解码的专用硬件和/或软件模块内,或者并入在组合编解码器中。而且,所述技术可完全实施于一或多个电路或逻辑元件中。
本申请的技术可在各种各样的装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本申请中描述各种组件、模块或单元是为了强调用于执行所揭示的技术的装置的功能方面,但未必需要由不同硬件单元实现。实际上,如上文所描述,各种单元可结合合适的软件和/或固件组合在编码解码器硬件单元中,或者通过互操作硬件单元(包含如上文所描述的一或多个处理器)来提供。
在上述实施例中,对各个实施例的描述各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上所述,仅为本申请示例性的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (20)
1.一种障碍物检测方法,其特征在于,包括:
第一装置通过摄像装置获取路况图像;
所述第一装置根据所述路况图像,通过第一图像识别方法确定至少一个第一障碍物以及可行驶区域,其中,所述可行驶区域对应于所述路况图像中的第一部分;
所述第一装置通过第二图像识别方法检测所述路况图像中的所述第一部分。
2.根据权利要求1所述的方法,其特征在于,所述第一装置通过第二图像识别方法检测所述路况图像中的所述第一部分,包括:
所述第一装置确定所述第一部分中的感兴趣区域ROI;
所述第一装置通过第二图像识别方法检测所述ROI。
3.根据权利要求2所述的方法,其特征在于,所述ROI包括上边界、下边界、左边界和/或右边界;
所述方法还包括:
所述第一装置获取场景信息,所述场景信息对应于当前行驶场景;
所述第一装置从所述第一部分获取所述ROI,包括以下中的至少一个:
所述第一装置对所述第一部分的像素点进行逐行扫描,确定所述ROI的上边界;
所述第一装置根据所述场景信息,确定所述ROI的下边界;
所述第一装置对所述第一部分的像素点进行逐列扫描,确定所述ROI的左边界和/或右边界。
4.根据权利要求3所述的方法,其特征在于,所述摄像装置为单目摄像头,所述场景信息包括:速度参数和/或所述单目摄像头的拍摄参数。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
所述第一装置输出障碍物信息,所述障碍物信息为所述至少一个第一障碍物的障碍物信息和至少一个第二障碍物的障碍物信息中的部分或者全部,所述至少一个第二障碍物是通过所述第二图像识别方法检测所述路况图像中的所述第一部分得到的。
6.根据权利要求5所述的方法,其特征在于,所述第一装置输出障碍物信息,包括:
所述第一装置获取来自第二装置的障碍物请求,所述障碍物请求用于请求障碍物信息;
所述第一装置根据所述障碍物请求,向所述第二装置输出与所述障碍物请求对应的障碍物信息。
7.根据权利要求5所述的方法,其特征在于,所述第一装置输出障碍物信息,包括:所述第一装置根据第二装置与障碍物信息之间的对应关系,向所述第二装置输出与所述第二装置对应的障碍物信息。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述第一图像识别方法包括图像分割算法。
9.根据权利要求1至7任一项所述的方法,其特征在于,所述第二图像识别方法包括异常检测算法。
10.一种障碍物检测装置,其特征在于,包括:
接口模块,用于通过摄像装置获取路况图像;
处理模块,用于根据所述路况图像,通过第一图像识别方法确定至少一个第一障碍物以及可行驶区域,其中,所述可行驶区域对应于所述路况图像中的第一部分;通过第二图像识别方法检测所述路况图像中的第一部分。
11.根据权利要求10所述的装置,其特征在于,所述处理模块,用于确定所述第一部分中的感兴趣区域ROI;通过第二图像识别方法检测所述ROI。
12.根据权利要求11所述的装置,其特征在于,所述ROI包括上边界、下边界、左边界和/或右边界;所述处理模块,还用于获取场景信息,所述场景信息对应于当前行驶场景;以及,
所述处理模块,具体用于执行以下一种或者多种:
对所述第一部分的像素点进行逐行扫描,确定所述ROI的上边界;
根据所述场景信息,确定所述ROI的下边界;
对所述第一部分的像素点进行逐列扫描,确定所述ROI的左边界和/或右边界。
13.根据权利要求12所述的装置,其特征在于,所述摄像装置为单目摄像头,所述场景信息包括:速度参数和/或所述单目摄像头的拍摄参数。
14.根据权利要求11至13任一项所述的装置,其特征在于,所述接口模块,还用于输出障碍物信息,所述障碍物信息为所述至少一个第一障碍物的障碍物信息和至少一个第二障碍物的障碍物信息中的部分或者全部,所述至少一个第二障碍物是通过所述第二图像识别方法检测所述路况图像中的所述第一部分得到的。
15.根据权利要求14所述的装置,其特征在于,所述接口模块,具体用于获取来自第二装置的障碍物请求,所述障碍物请求用于请求障碍物信息;根据所述障碍物请求,向所述第二装置输出与所述障碍物请求对应的障碍物信息。
16.根据权利要求14所述的装置,其特征在于,所述接口模块,具体用于根据第二装置与障碍物信息之间的对应关系,向所述第二装置输出与所述第二装置对应的障碍物信息。
17.根据权利要求11至16任一项所述的装置,其特征在于,所述第一图像识别方法包括图像分割算法。
18.根据权利要求11至16任一项所述的装置,其特征在于,所述第二图像识别方法包括异常检测算法。
19.一种计算机可读存储介质,其特征在于,包括计算机程序,所述计算机程序在计算机上被执行时,使得所述计算机执行权利要求1至10中任一项所述的方法。
20.一种计算机程序,其特征在于,当所述计算机程序被计算机执行时,用于执行权利要求1至10中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910567635.2A CN112149460A (zh) | 2019-06-27 | 2019-06-27 | 一种障碍物检测方法及装置 |
PCT/CN2020/095278 WO2020259284A1 (zh) | 2019-06-27 | 2020-06-10 | 一种障碍物检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910567635.2A CN112149460A (zh) | 2019-06-27 | 2019-06-27 | 一种障碍物检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112149460A true CN112149460A (zh) | 2020-12-29 |
Family
ID=73868709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910567635.2A Pending CN112149460A (zh) | 2019-06-27 | 2019-06-27 | 一种障碍物检测方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112149460A (zh) |
WO (1) | WO2020259284A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112706764A (zh) * | 2020-12-30 | 2021-04-27 | 潍柴动力股份有限公司 | 一种主动防碰撞预警方法、装置、设备和存储介质 |
CN112793567A (zh) * | 2021-01-14 | 2021-05-14 | 史鹏飞 | 一种基于路况检测的辅助驾驶方法及系统 |
CN113011255A (zh) * | 2021-02-05 | 2021-06-22 | 北京中科慧眼科技有限公司 | 基于rgb图像的路面检测方法、系统和智能终端 |
CN114155447A (zh) * | 2021-12-02 | 2022-03-08 | 北京中科智易科技有限公司 | 人工智能大数据采集系统 |
TWI766560B (zh) * | 2021-01-27 | 2022-06-01 | 國立臺灣大學 | 結合語義分割與光達點雲之物件辨識與測距系統 |
CN115586772A (zh) * | 2022-09-29 | 2023-01-10 | 九识(苏州)智能科技有限公司 | 一种自动驾驶车辆的分层控制系统和方法 |
CN116612194A (zh) * | 2023-07-20 | 2023-08-18 | 天津所托瑞安汽车科技有限公司 | 一种位置关系确定方法、装置、设备及存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115147838B (zh) * | 2022-06-30 | 2023-08-29 | 小米汽车科技有限公司 | 图像处理方法、装置、车辆、介质及程序产品 |
CN118494344B (zh) * | 2024-07-17 | 2024-09-24 | 徐州众图智控通信科技有限公司 | 基于ai视频识别的车载360环视和视频辅助系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105216797A (zh) * | 2015-08-21 | 2016-01-06 | 奇瑞汽车股份有限公司 | 超车方法及系统 |
US20170060132A1 (en) * | 2015-08-31 | 2017-03-02 | Korea University Research And Business Foundation | Method for detecting floor obstacle using laser range finder |
CN107563256A (zh) * | 2016-06-30 | 2018-01-09 | 北京旷视科技有限公司 | 辅助驾驶信息产生方法及装置、辅助驾驶系统 |
CN107953827A (zh) * | 2016-10-18 | 2018-04-24 | 杭州海康威视数字技术股份有限公司 | 一种车辆盲区预警方法及装置 |
CN109070882A (zh) * | 2016-11-28 | 2018-12-21 | 忠北国立大学产学合作基金会 | 利用摄像头影像的行驶信息提供方法及装置 |
-
2019
- 2019-06-27 CN CN201910567635.2A patent/CN112149460A/zh active Pending
-
2020
- 2020-06-10 WO PCT/CN2020/095278 patent/WO2020259284A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105216797A (zh) * | 2015-08-21 | 2016-01-06 | 奇瑞汽车股份有限公司 | 超车方法及系统 |
US20170060132A1 (en) * | 2015-08-31 | 2017-03-02 | Korea University Research And Business Foundation | Method for detecting floor obstacle using laser range finder |
CN107563256A (zh) * | 2016-06-30 | 2018-01-09 | 北京旷视科技有限公司 | 辅助驾驶信息产生方法及装置、辅助驾驶系统 |
CN107953827A (zh) * | 2016-10-18 | 2018-04-24 | 杭州海康威视数字技术股份有限公司 | 一种车辆盲区预警方法及装置 |
CN109070882A (zh) * | 2016-11-28 | 2018-12-21 | 忠北国立大学产学合作基金会 | 利用摄像头影像的行驶信息提供方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112706764A (zh) * | 2020-12-30 | 2021-04-27 | 潍柴动力股份有限公司 | 一种主动防碰撞预警方法、装置、设备和存储介质 |
CN112793567A (zh) * | 2021-01-14 | 2021-05-14 | 史鹏飞 | 一种基于路况检测的辅助驾驶方法及系统 |
TWI766560B (zh) * | 2021-01-27 | 2022-06-01 | 國立臺灣大學 | 結合語義分割與光達點雲之物件辨識與測距系統 |
CN113011255A (zh) * | 2021-02-05 | 2021-06-22 | 北京中科慧眼科技有限公司 | 基于rgb图像的路面检测方法、系统和智能终端 |
CN113011255B (zh) * | 2021-02-05 | 2024-01-16 | 北京中科慧眼科技有限公司 | 基于rgb图像的路面检测方法、系统和智能终端 |
CN114155447A (zh) * | 2021-12-02 | 2022-03-08 | 北京中科智易科技有限公司 | 人工智能大数据采集系统 |
CN114155447B (zh) * | 2021-12-02 | 2022-06-24 | 北京中科智易科技有限公司 | 人工智能大数据采集系统 |
CN115586772A (zh) * | 2022-09-29 | 2023-01-10 | 九识(苏州)智能科技有限公司 | 一种自动驾驶车辆的分层控制系统和方法 |
CN116612194A (zh) * | 2023-07-20 | 2023-08-18 | 天津所托瑞安汽车科技有限公司 | 一种位置关系确定方法、装置、设备及存储介质 |
CN116612194B (zh) * | 2023-07-20 | 2023-10-20 | 天津所托瑞安汽车科技有限公司 | 一种位置关系确定方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020259284A1 (zh) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112149460A (zh) | 一种障碍物检测方法及装置 | |
US10489686B2 (en) | Object detection for an autonomous vehicle | |
US20170359561A1 (en) | Disparity mapping for an autonomous vehicle | |
CN113673282A (zh) | 目标检测方法和装置 | |
US11715237B2 (en) | Deep learning-based camera calibration | |
US12117519B2 (en) | Object detection using RADAR and LiDAR fusion | |
US11948381B2 (en) | Determining object mobility parameters using an object sequence | |
GB2614090A (en) | Multi-modal segmentation network for enhanced semantic labeling in mapping | |
KR20230120974A (ko) | 레이더를 사용하여 로컬화 및 차선 검출을 위한 연석 기반의 특징 추출 | |
WO2024035692A1 (en) | Point cloud alignment systems for generating high definition maps for vehicle navigation | |
CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及系统 | |
US20240096109A1 (en) | Automatic lane marking extraction and classification from lidar scans | |
WO2023086170A1 (en) | Unsupervised domain adaptation for lidar segmentation via enhanced pseudo-labeling techniques | |
GB2608483A (en) | Geometric intrinsic camera calibration using diffractive optical element | |
CN115840441A (zh) | 用于运载工具的方法、用于运载工具的系统和存储介质 | |
US11967159B2 (en) | Semantic annotation of sensor data with overlapping physical features | |
US20240262386A1 (en) | Iterative depth estimation | |
US20230237679A1 (en) | Aligning geodata graph over electronic maps | |
US11914679B2 (en) | Multispectral object-detection with thermal imaging | |
US20240125921A1 (en) | Object detection using radar sensors | |
US20240296681A1 (en) | Training machine learning networks for controlling vehicle operation | |
WO2023146788A1 (en) | Semantic annotation of sensor data with overlapping physical features | |
WO2023141090A1 (en) | Aligning geodata graph over electronic maps | |
CN115683125A (zh) | 用于自动化地定位车辆的方法、系统和计算机程序产品 | |
WO2024215339A1 (en) | Data augmentation for obstruction learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |