CN109683613A - 一种用于确定车辆的辅助控制信息的方法与设备 - Google Patents
一种用于确定车辆的辅助控制信息的方法与设备 Download PDFInfo
- Publication number
- CN109683613A CN109683613A CN201811579762.6A CN201811579762A CN109683613A CN 109683613 A CN109683613 A CN 109683613A CN 201811579762 A CN201811579762 A CN 201811579762A CN 109683613 A CN109683613 A CN 109683613A
- Authority
- CN
- China
- Prior art keywords
- profile
- image
- vehicle
- region contour
- travelable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000007613 environmental effect Effects 0.000 claims abstract description 54
- 230000015654 memory Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000012546 transfer Methods 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 description 19
- 238000009826 distribution Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000002955 isolation Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 7
- 230000004888 barrier function Effects 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 241001269238 Data Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
- G05D1/0263—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic strips
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请的目的是提供一种用于确定车辆的辅助控制信息的方法和设备，对车辆环境图像进行预处理以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；基于所述至少一个轮廓，确定一可行驶区域轮廓；根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息。本申请能够简化信息传输通道，使得被传输的信息更易于处理，便于实现车辆的实时控制和决策。
Description
技术领域
本申请涉及计算机视觉领域，尤其涉及一种用于确定车辆的辅助控制信息的技术。
背景技术
近年来，计算机技术越来越多地应用到车辆驾驶领域。伴随着汽车产业的发展，车辆智能驾驶系统往往需要获取车辆周围环境中可行驶区域的结构化信息，用于车辆行驶的实时控制和决策。
目前，车辆感知模块的可行驶区域检测大多基于深度学习中的语义分割技术得到像素级的类别图像，进而获取相应的可行驶区域。但是，这种可行驶区域检测技术通常精准度还有待提高，也无法获得对可行驶区域的结构化信息的描述。此外，这种可行驶区域检测技术需要传输的数据量较大，数据传输通道复杂，为车辆的实时控制和决策带来了挑战。
发明内容
本申请的一个目的是提供一种用于确定车辆的辅助控制信息的方法与设备。
根据本申请的一个方面，提供了一种用于确定车辆的辅助控制信息的方法，该方法包括以下步骤：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
基于所述至少一个轮廓，确定一可行驶区域轮廓；以及
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息；
其中，所述多个采样点位于所述可行驶区域轮廓上。
根据本申请的另一个方面，提供了一种用于确定车辆的辅助控制信息的设备，该设备包括：
图像预处理模块，用于对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
轮廓处理模块，用于基于所述至少一个轮廓，确定一可行驶区域轮廓；以及
辅助控制信息确定模块，用于根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息；
其中，所述多个采样点位于所述可行驶区域轮廓上。
根据本申请的一个方面，提供了一种用于确定车辆的辅助控制信息的设备，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上所述方法的操作。
根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以上所述方法的操作。
与现有技术相比，本申请基于采样点的类别属性确定车辆的辅助控制信息，能够获得更准确的辅助控制信息，并提供至整车模块用于决策和控制，且大大减少了检测可行驶区域时所需要传输的数据量，因此能够简化信息传输通道，被传输的信息也更易于处理，便于实现车辆的实时控制和决策。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请一个实施例的用于确定车辆的辅助控制信息的方法流程图；
图2示出根据本申请另一个实施例的采样点分布；
图3示出根据本申请另一个实施例的辅助控制信息确定设备的功能模块；
图4示出一种示例性系统的功能模块。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
以下基于一种可行驶区域确定设备，对本申请的具体实施方式进行详细描述。
根据本申请的一个方面，提供了一种用于确定车辆的辅助控制信息的方法。参考图1，该方法包括步骤S100、步骤S200和步骤S300。
在步骤S100中，辅助控制信息确定设备对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓。在一些实施例中，所述类别图像用于区分原车辆环境图像中的各部分，例如用于区分其中的可行驶区域和不可行驶区域。其中，所述至少一个轮廓，是基于对车辆环境图像中的连通区域的轮廓信息进行分析而获得的。在一些实施例中，以上所述的预处理包括以下的一种或者多种：
1)对车辆环境图像中的像素执行类别化操作，例如对该图像进行二值化以获得相应的二值化图像，在一些实施例中，二值化图像通过使原图像的像素点矩阵中的每个像素点的灰度值为0(黑色)或者255(白色)；
2)对车辆环境图像执行语义分割操作，例如系统通过摄像头采集到车辆周围环境的图像后，将该图像输入事先训练好的可行驶区域检测模型，以获得语义分割结果(例如该图像所对应的类别图像，或者用于生成该类别图像的中间图像)，在一些实施例中该可行驶区域检测模型为语义分割模型，用于对上述图像进行语义分割操作；其中，一幅图像一般由若干个像素(pixel)组成，而语义分割操作则用于将这些像素按照图像中表达语义含义的不同而进行分组或者分割，分组或者分割的操作可通过基于像素聚类的分割方法(Clustering-based Segmentation Methods)、图划分分割方法(Graph PatitioningSegmentation Methods)、包括但不限于卷积神经网络的深度学习(Deep Learning,DL)模型等方式实现，且这些分组或者分割操作的实现方式仅为举例，其他现有的或者今后可能出现的实现方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
其中在一些实施例中，以上两种处理过程同步进行，例如系统基于图像中像素的类别属性以及道路的特点对可行驶区域和非可行驶区域进行分割，得到关于可行驶区域的二值化图像。另外，对于生成的类别图像，像素的类别可根据需要进行不同的划分，例如在一些实施例中像素的类别包括可行驶、不可行驶，而在另一些实施例中像素的类别则包括护栏、隔离带、当前车道、对向车道、步行道等。本领域技术人员应能理解，以上所述的像素的类别仅为举例，其他现有的或者今后可能出现的像素的类别如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
在步骤S200中，辅助控制信息确定设备基于所述至少一个轮廓，确定一可行驶区域轮廓。例如，在一些实施例中，可行驶区域确定设备根据二值化图像获取所有轮廓信息，根据所有轮廓信息筛选一预选可行驶区域轮廓(或称，最优轮廓)，再根据该最优轮廓的特征(例如，包括但不限于根据该最优轮廓的顶点个数、面积大小等)，确定该最优轮廓的置信度。在一些实施例中，上述至少一个轮廓可通过深度学习模型获取。例如，对于一张原始图片而言，在该原始图片和滤波器(例如一组固定的权重，对应于深度学习模型中的卷积核)做内积后能得到新的二维数据；通过不同的滤波器能得到不同的输出数据，例如轮廓、颜色深浅等。当然，本领域技术人员应能理解，以上所述的基于深度学习模型进行图像分割以获取所述至少一个轮廓的方式仅为举例，其他现有的或今后可能出现的用于图像分割方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，在一些实施例中，系统基于包括但不限于能量泛函、图论、阈值、边缘、小波变换等方式进行图像分割。
在步骤S300中，辅助控制信息确定设备根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息。例如在一些实施例中，以上所述的车辆环境图像由设置于车辆前端的车载摄像装置获取，且对应于车辆行驶方向的区域(例如，以车辆的保险杠——例如前保险杠——中心为基准，正面覆盖车辆行驶方向)。以车载摄像装置安装于车辆前方为例，为了确定车辆前方可行驶区域，基于车辆环境图像设置若干采样点。
以上所述的辅助控制信息用于发送至整车模块(例如车辆的自动驾驶模块)，用于供整车模块对车辆进行控制和决策。在一些实施例中，上述方法还包括步骤S400(未示出)。在步骤S400中，辅助控制信息确定设备向对应的整车模块发送所述辅助控制信息。例如，采用SocketCAN编程模型，制定CAN传输协议，并通过CAN总线将上述辅助控制信息发送至整车模块，以辅助行驶车辆实现控制和决策。在一些实施例中，该方案基于车载以太网实现；而由于CAN总线结构简单、实时安全、软件稳定、成本可控，因此CAN总线也得到了广泛应用。而SocketCAN是linux系统CAN协议的一种实现方法，基于linux内核的网络框架实现CAN功能，实现了用户空间的socket接口。SocketCAN具有操作简单、可以代码复用等特点。由于本方案基于采样点对可行驶区域进行结构化描述，在精确描述可行驶区域的前提下大大减小了系统所传输的数据量，因此基于SocketCAN实现辅助行驶车辆的控制和决策，简化了系统的操作，并能确保系统总线结构简单、工作稳定且成本可控。
在一些实施例中，所述辅助控制信息包括多个采样点的类别属性信息。例如，辅助控制信息确定设备根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息。在一些实施例中，以上所述的车辆环境图像由设置于车辆前端的车载摄像装置获取，且对应于车辆行驶方向的区域(例如，以车辆的保险杠——例如前保险杠——中心为基准，正面覆盖车辆行驶方向)。以车载摄像装置安装于车辆前方为例，为了确定车辆前方可行驶区域，系统基于车辆环境图像确定若干采样点。参考图2，这些采样点将车辆前方的某可行驶区域在水平方向上划分为若干个部分，例如这若干个部分在地面上的投影呈扇形分布。系统确定这些采样点分别所对应的图像的属性(例如，该采样点对应的是护栏、隔离带、当前车道、对向车道、步行道等)。根据这些采样点，即可确定车辆前方的可行驶区域的范围，例如以这些采样点中的两个或者更多个作为不同类型区域的分界点。在一些实施例中，系统根据边界点的横向距离、纵向距离和类别信息，通过自动驾驶控制模块控制自车的行驶范围。
在一些实施例中，为加快图像预处理的速度以改善可行驶区域识别操作的实时性，在步骤S100中，辅助控制信息确定设备对车辆环境图像进行预处理(例如，预处理包括但不限于二值化操作、语义分割操作等)以获得对应的预处理图像，其中所述预处理图像的尺寸小于所述车辆环境图像；随后，为了获得与原先的车辆环境图像相匹配的类别图像，辅助控制信息确定设备对所述预处理图像进行插值操作，以获得与所述车辆环境图像尺寸相同的类别图像，其中所述类别图像包括至少一个轮廓。通过将类别图像的尺寸还原为原图像尺寸，系统的测距结果将更准确，且方便后续的算法处理。其中，若采用常用的图像插值方式(例如，包括但不限于双线性插值、双立方插值)，在将预处理图像处理为类别图像时会引入其他像素值的像素。为了避免引入其他像素值的像素以进一步提高类别图像的精度，从而进一步提高可行驶区域检测结果的精度，在一些实施例中，所述插值操作包括最近邻插值操作。
在一些实施例中，上述至少一个轮廓是基于类别图像中每个像素的像素属性确定的。例如，在步骤S100中，辅助控制信息确定设备对车辆环境图像进行预处理以获得对应的类别图像，其中所述类别图像包括多个像素，并基于所述类别图像中的像素属性包括可行驶的像素确定至少一个轮廓。相应地，在步骤S300中，辅助控制信息确定设备根据所述可行驶区域轮廓中像素的像素属性分别确定多个采样点的类别属性信息，并根据所述多个采样点的类别属性信息，确定对应的辅助控制信息。例如，在一些实施例中，像素的类别包括可行驶、不可行驶，分别对应于可行驶、不可行驶的像素属性；而在另一些实施例中像素的类别则包括护栏、隔离带、当前车道、对向车道、步行道等，其中当前车道的像素类别对应于可行驶的像素属性，而护栏、隔离带、对向车道、步行道的像素类别对应于不可行驶的像素属性。
为了同时获得各采样点所对应的空间位置信息、障碍物信息等，在一些实施例中，辅助控制信息确定设备根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，确定所述多个采样点所分别对应的距离属性信息，并基于所述多个采样点的类别属性信息以及距离属性信息确定对应的辅助控制信息。在一些实施例中，上述距离属性信息是基于单目摄像头完成的，利用标定好的摄像头内、外参数完成基于单目摄像头的测距(例如基于摄像头模型，将三维空间中的点和二维图像上的像素点相关联以实现)，从而得到对应于各采样点的图像中各点在真实行车环境中距离行驶中车辆的距离信息。
在一些实施例中，为了提高可行驶区域轮廓的确定效率，确定可行驶区域轮廓的操作基于预设的感兴趣区域(Region of Interest,ROI)进行。在步骤S200中，辅助控制信息确定设备基于预设感兴趣区域确定所述至少一个轮廓中每个轮廓的可行驶置信度，并基于所述每个轮廓的可行驶置信度确定一可行驶区域轮廓；相应地，在步骤S300中，辅助控制信息确定设备根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，根据所述可行驶区域轮廓的可行驶置信度确定至少一个采样点的轮廓置信度信息，并基于所述多个采样点的类别属性信息以及所述至少一个采样点的轮廓置信度信息，确定对应的辅助控制信息。例如，在一些实施例中，上述预设的感兴趣区域覆盖车辆正前方盲区，并基于该预设感兴趣区域确定每个轮廓对应于可行驶区域的可行驶置信度。将预设感兴趣区域设置为车辆正前方盲区，有助于确定车辆前方最近的轮廓。其中，所述可行驶置信度可基于预设感兴趣区域中的特征点(例如，矩形感兴趣区域的顶点)在每个轮廓中的个数确定，例如可行驶置信度根据特征点在相应轮廓中的个数占特征点总数的比例确定。本领域技术人员应能理解，以上所述的矩形感兴趣区域仅为举例，其他现有的或今后可能出现的感兴趣区域的形式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，在一些实施例中，所述预设感兴趣区域以方框、圆、椭圆、不规则多边形等方式勾勒。
在一些实施例中，可行驶区域轮廓是基于轮廓的面积确定的。在步骤S200中，可行驶区域确定设备基于面积大于预设的面积阈值的至少一个轮廓，确定一可行驶区域轮廓；当所述可行驶轮廓内部包含至少一个子轮廓，并且所述至少一个子轮廓的面积小于所述面积阈值，移除所述至少一个子轮廓。例如，系统首先获取所有轮廓的轮廓信息，遍历各轮廓；若当前轮廓的面积小于预设的面积阈值，则忽略该轮廓，继续处理其他轮廓；若当前轮廓的面积大于预设的面积阈值，将当前轮廓加入可行驶区域轮廓的候选轮廓；最终系统从候选轮廓中选取面积最大的轮廓作为可行驶区域轮廓。若最终确定的可行驶区域轮廓中还包含子轮廓，例如可行驶区域轮廓内包含孔洞，则根据该子轮廓的面积处理子轮廓。例如，若某个子轮廓的面积小于上述面积阈值，则移除该子轮廓，例如将该子轮廓覆盖为可行驶区域轮廓。另一方面，在一些实施例中，上述预选可行驶区域轮廓未包含子轮廓，则系统将上述预选可行驶区域轮廓作为可行驶区域轮廓。
其中，上述基于感兴趣区域和基于轮廓面积的两种用于确定可行驶区域轮廓的方式可单独实施、亦可综合实施，例如综合考虑感兴趣区域顶点在相应轮廓内的数量以及轮廓的面积。在综合实施这两种处理方式的情形下，可设置两种处理方式的优先级，例如在确定可行驶区域轮廓时感兴趣区域顶点在相应轮廓内的数量因素，优先于轮廓的面积因素。在一些实施例中，该优先级的设置可基于两种处理方式的权重，计算相应轮廓为可行驶区域轮廓的可信度，并选取可信度最高的轮廓为可行驶区域轮廓。
在一些实施例中，上述采样点是从可行驶区域轮廓上选取的。例如，所述可行驶区域轮廓由点集构成，而上述采样点则是从该点集中选取若干个点而取得的。为了从可行驶区域轮廓上确定这些采样点，在一些实施例中，上述方法还包括步骤S500(未示出)。在步骤S500中，可行驶区域确定设备根据多个参考位置分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内。其中，所述多个参考位置用于在所述可行驶区域轮廓上确定对应的点作为前述采样点；在一些实施例中，所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内，指的是所述多个参考位置均能对应可行驶区域轮廓上的一个或者多个点。在步骤S300中，可行驶区域确定设备根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息。
在一些实施例中，上述多个采样点基于所述多个参考位置确定，所述多个参考位置在地面上的投影呈扇形分布；对于一封闭的可行驶区域轮廓而言，每个参考位置将对应于该可行驶区域轮廓上的两个点。以所述多个参考位置之一为例，在所述可行驶区域轮廓由点集来表征的情形下，若该参考位置恰好对应于所述可行驶区域轮廓上的一个(或两个)点，则将该一个(或两个)点作为该参考位置所对应的采样点；若该参考位置未恰好对应于所述可行驶区域轮廓上的任何点，则确定该可行驶区域轮廓上的所有点中与该参考位置在水平方向上的角度差(例如以车辆的前保险杠中心为顶点)最小的点为采样点。其中，在判断该水平方向的角度差的过程中，对于封闭的可行驶区域轮廓而言，对于同一个参考位置而言，在一些实施例中可同时确定两个采样点，该两个采样点在竖直方向上位于不同高度。
在上述基础上，在一些实施例中，可同时考虑相应的轮廓是否含有孔洞(例如对应于不可忽略的障碍物，如行人，等)。如果轮廓内部不存在孔洞，则基于以上所述的方法，根据所述角度差确定参考位置所对应的采样点，即可；如果轮廓内部含有孔洞，则还需要同时判断孔洞的边界和孔洞的具体种类(例如该孔洞代表路沿、对向车道、行人或其他障碍物等)，并计算孔洞与前保中心点的距离信息。例如，当该孔洞代表对向车道，则虽然对向车道通常不供当前车辆行驶，即该孔洞通常不属于可行驶区域，但是在紧急情况下车辆却可借助对向车道避险，因而该孔洞在紧急情况下转化为可行驶区域；又例如，当该孔洞代表行人，由于行人所在位置一定不可供车辆行驶，当行人较远时相应区域可供车辆行驶，而行人较近时则必须停车，因此孔洞所表征的障碍物的距离对车辆的行驶控制也很重要。从而，通过对孔洞的判断操作，系统可以确定当前行车场景下可行驶区域轮廓的边界点的分布信息，从而确定可行驶区域的分布信息。
在一些实施例中，系统进一步判断上述采样点的具体类别(例如本车道、对向车道等)，从而确定采样点的具体类别。在一些实施例中，对某个采样点的具体类别的判断，可基于该采样点周围一定的相邻区域内像素所对应的具体类别确定。例如，系统以该采样点为中心确定一区域(例如，该区域可以是但不限于圆形或者矩形区域)，并以该区域中各种具体类别的像素中占比最多的像素的具体类别，作为该采样点的具体类别，用于后续处理，例如用于判断孔洞的性质。
其中，若需要将以上确定的采样点的相关信息用于后续控制，例如供横向控制模块(例如用于控制车辆的行驶方向)和纵向控制模块(例如用于控制车辆的行驶速度)，在行车环境下，不同区域的信息对于控制系统的重要性是不同的，例如车辆正前方远处信息的重要性，要高于两侧前方远处信息的重要性。为了合理分配系统的计算资源以满足对于不同区域信息重要性的不同需求，在一些实施例中，以上所述的多个参考位置在水平方向上非线性分布；相应地，所述多个采样点在水平方向上非线性分布。例如，继续参考图2，上述参考位置按照中央密集、两侧稀疏的方式水平排列；图中，各条射线分别通过各参考位置。
此外，上述参考位置和采样点的数量可根据所需的精度要求、系统的处理能力和信息传输的效率综合考虑，例如设置参考位置和采样点的数量为40个，其中参考位置全部分布于上述感兴趣区域轮廓的范围内，并按照以上所述非线性分布。
根据本申请的另一个方面，提供了一种用于确定车辆的辅助控制信息的设备。参考图3，该设备包括图像预处理模块100、轮廓处理模块200和辅助控制信息确定模块300。
图像预处理模块100对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓。在一些实施例中，所述类别图像用于区分原车辆环境图像中的各部分，例如用于区分其中的可行驶区域和不可行驶区域。其中，所述至少一个轮廓，是基于对车辆环境图像中的连通区域的轮廓信息进行分析而获得的。在一些实施例中，以上所述的预处理包括以下的一种或者多种：
1)对车辆环境图像中的像素执行类别化操作，例如对该图像进行二值化以获得相应的二值化图像，在一些实施例中，二值化图像通过使原图像的像素点矩阵中的每个像素点的灰度值为0(黑色)或者255(白色)；
2)对车辆环境图像执行语义分割操作，例如系统通过摄像头采集到车辆周围环境的图像后，将该图像输入事先训练好的可行驶区域检测模型，以获得语义分割结果(例如该图像所对应的类别图像，或者用于生成该类别图像的中间图像)，在一些实施例中该可行驶区域检测模型为语义分割模型，用于对上述图像进行语义分割操作；其中，一幅图像一般由若干个像素(pixel)组成，而语义分割操作则用于将这些像素按照图像中表达语义含义的不同而进行分组或者分割，分组或者分割的操作可通过基于像素聚类的分割方法(Clustering-based Segmentation Methods)、图划分分割方法(Graph PatitioningSegmentation Methods)、包括但不限于卷积神经网络的深度学习(Deep Learning,DL)模型等方式实现，且这些分组或者分割操作的实现方式仅为举例，其他现有的或者今后可能出现的实现方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
其中在一些实施例中，以上两种处理过程同步进行，例如系统基于图像中像素的类别属性以及道路的特点对可行驶区域和非可行驶区域进行分割，得到关于可行驶区域的二值化图像。另外，对于生成的类别图像，像素的类别可根据需要进行不同的划分，例如在一些实施例中像素的类别包括可行驶、不可行驶，而在另一些实施例中像素的类别则包括护栏、隔离带、当前车道、对向车道、步行道等。本领域技术人员应能理解，以上所述的像素的类别仅为举例，其他现有的或者今后可能出现的像素的类别如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
轮廓处理模块200基于所述至少一个轮廓，确定一可行驶区域轮廓。例如，在一些实施例中，轮廓处理模块200根据二值化图像获取所有轮廓信息，根据所有轮廓信息筛选一预选可行驶区域轮廓(或称，最优轮廓)，再根据该最优轮廓的特征(例如，包括但不限于根据该最优轮廓的顶点个数、面积大小等)，确定该最优轮廓的置信度。在一些实施例中，上述至少一个轮廓可通过深度学习模型获取。例如，对于一张原始图片而言，在该原始图片和滤波器(例如一组固定的权重，对应于深度学习模型中的卷积核)做内积后能得到新的二维数据；通过不同的滤波器能得到不同的输出数据，例如轮廓、颜色深浅等。当然，本领域技术人员应能理解，以上所述的基于深度学习模型进行图像分割以获取所述至少一个轮廓的方式仅为举例，其他现有的或今后可能出现的用于图像分割方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，在一些实施例中，系统基于包括但不限于能量泛函、图论、阈值、边缘、小波变换等方式进行图像分割。
辅助控制信息确定模块300根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息。例如在一些实施例中，以上所述的车辆环境图像由设置于车辆前端的车载摄像装置获取，且对应于车辆行驶方向的区域(例如，以车辆的保险杠——例如前保险杠——中心为基准，正面覆盖车辆行驶方向)。以车载摄像装置安装于车辆前方为例，为了确定车辆前方可行驶区域，基于车辆环境图像设置若干采样点。
以上所述的辅助控制信息用于发送至整车模块(例如车辆的自动驾驶模块)，用于供整车模块对车辆进行控制和决策。在一些实施例中，上述设备还包括信息发送模块400(未示出)。信息发送模块400向对应的整车模块发送所述辅助控制信息。例如，采用SocketCAN编程模型，制定CAN传输协议，并通过CAN总线将上述辅助控制信息发送至整车模块，以辅助行驶车辆实现控制和决策。在一些实施例中，该方案基于车载以太网实现；而由于CAN总线结构简单、实时安全、软件稳定、成本可控，因此CAN总线也得到了广泛应用。而SocketCAN是linux系统CAN协议的一种实现方法，基于linux内核的网络框架实现CAN功能，实现了用户空间的socket接口。SocketCAN具有操作简单、可以代码复用等特点。由于本方案基于采样点对可行驶区域进行结构化描述，在精确描述可行驶区域的前提下大大减小了系统所传输的数据量，因此基于SocketCAN实现辅助行驶车辆的控制和决策，简化了系统的操作，并能确保系统总线结构简单、工作稳定且成本可控。
在一些实施例中，所述辅助控制信息包括多个采样点的类别属性信息。例如，辅助控制信息确定设备根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息。在一些实施例中，以上所述的车辆环境图像由设置于车辆前端的车载摄像装置获取，且对应于车辆行驶方向的区域(例如，以车辆的保险杠——例如前保险杠——中心为基准，正面覆盖车辆行驶方向)。以车载摄像装置安装于车辆前方为例，为了确定车辆前方可行驶区域，系统基于车辆环境图像确定若干采样点。参考图2，这些采样点将车辆前方的某可行驶区域在水平方向上划分为若干个部分，例如这若干个部分在地面上的投影呈扇形分布。系统确定这些采样点分别所对应的图像的属性(例如，该采样点对应的是护栏、隔离带、当前车道、对向车道、步行道等)。根据这些采样点，即可确定车辆前方的可行驶区域的范围，例如以这些采样点中的两个或者更多个作为不同类型区域的分界点。在一些实施例中，系统根据边界点的横向距离、纵向距离和类别信息，通过自动驾驶控制模块控制自车的行驶范围。
在一些实施例中，为加快图像预处理的速度以改善可行驶区域识别操作的实时性，图像预处理模块100对车辆环境图像进行预处理(例如，预处理包括但不限于二值化操作、语义分割操作等)以获得对应的预处理图像，其中所述预处理图像的尺寸小于所述车辆环境图像；随后，为了获得与原先的车辆环境图像相匹配的类别图像，辅助控制信息确定设备对所述预处理图像进行插值操作，以获得与所述车辆环境图像尺寸相同的类别图像，其中所述类别图像包括至少一个轮廓。通过将类别图像的尺寸还原为原图像尺寸，系统的测距结果将更准确，且方便后续的算法处理。其中，若采用常用的图像插值方式(例如，包括但不限于双线性插值、双立方插值)，在将预处理图像处理为类别图像时会引入其他像素值的像素。为了避免引入其他像素值的像素以进一步提高类别图像的精度，从而进一步提高可行驶区域检测结果的精度，在一些实施例中，所述插值操作包括最近邻插值操作。
在一些实施例中，上述至少一个轮廓是基于类别图像中每个像素的像素属性确定的。例如，图像预处理模块100对车辆环境图像进行预处理以获得对应的类别图像，其中所述类别图像包括多个像素，并基于所述类别图像中的像素属性包括可行驶的像素确定至少一个轮廓。相应地，辅助控制信息确定模块300根据所述可行驶区域轮廓中像素的像素属性分别确定多个采样点的类别属性信息，并根据所述多个采样点的类别属性信息，确定对应的辅助控制信息。例如，在一些实施例中，像素的类别包括可行驶、不可行驶，分别对应于可行驶、不可行驶的像素属性；而在另一些实施例中像素的类别则包括护栏、隔离带、当前车道、对向车道、步行道等，其中当前车道的像素类别对应于可行驶的像素属性，而护栏、隔离带、对向车道、步行道的像素类别对应于不可行驶的像素属性。
为了同时获得各采样点所对应的空间位置信息、障碍物信息等，在一些实施例中，辅助控制信息确定设备根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，确定所述多个采样点所分别对应的距离属性信息，并基于所述多个采样点的类别属性信息以及距离属性信息确定对应的辅助控制信息。在一些实施例中，上述距离属性信息是基于单目摄像头完成的，利用标定好的摄像头内、外参数完成基于单目摄像头的测距(例如基于摄像头模型，将三维空间中的点和二维图像上的像素点相关联以实现)，从而得到对应于各采样点的图像中各点在真实行车环境中距离行驶中车辆的距离信息。
在一些实施例中，为了提高可行驶区域轮廓的确定效率，确定可行驶区域轮廓的操作基于预设的感兴趣区域(Region of Interest,ROI)进行。轮廓处理模块200基于预设感兴趣区域确定所述至少一个轮廓中每个轮廓的可行驶置信度，并基于所述每个轮廓的可行驶置信度确定一可行驶区域轮廓；相应地，辅助控制信息确定模块300根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，根据所述可行驶区域轮廓的可行驶置信度确定至少一个采样点的轮廓置信度信息，并基于所述多个采样点的类别属性信息以及所述至少一个采样点的轮廓置信度信息，确定对应的辅助控制信息。例如，在一些实施例中，上述预设的感兴趣区域覆盖车辆正前方盲区，并基于该预设感兴趣区域确定每个轮廓对应于可行驶区域的可行驶置信度。将预设感兴趣区域设置为车辆正前方盲区，有助于确定车辆前方最近的轮廓。其中，所述可行驶置信度可基于预设感兴趣区域中的特征点(例如，矩形感兴趣区域的顶点)在每个轮廓中的个数确定，例如可行驶置信度根据特征点在相应轮廓中的个数占特征点总数的比例确定。本领域技术人员应能理解，以上所述的矩形感兴趣区域仅为举例，其他现有的或今后可能出现的感兴趣区域的形式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，在一些实施例中，所述预设感兴趣区域以方框、圆、椭圆、不规则多边形等方式勾勒。
在一些实施例中，可行驶区域轮廓是基于轮廓的面积确定的。轮廓处理模块200基于面积大于预设的面积阈值的至少一个轮廓，确定一可行驶区域轮廓；当所述可行驶轮廓内部包含至少一个子轮廓，并且所述至少一个子轮廓的面积小于所述面积阈值，移除所述至少一个子轮廓。例如，系统首先获取所有轮廓的轮廓信息，遍历各轮廓；若当前轮廓的面积小于预设的面积阈值，则忽略该轮廓，继续处理其他轮廓；若当前轮廓的面积大于预设的面积阈值，将当前轮廓加入可行驶区域轮廓的候选轮廓；最终系统从候选轮廓中选取面积最大的轮廓作为可行驶区域轮廓。若最终确定的可行驶区域轮廓中还包含子轮廓，例如可行驶区域轮廓内包含孔洞，则根据该子轮廓的面积处理子轮廓。例如，若某个子轮廓的面积小于上述面积阈值，则移除该子轮廓，例如将该子轮廓覆盖为可行驶区域轮廓。另一方面，在一些实施例中，上述预选可行驶区域轮廓未包含子轮廓，则系统将上述预选可行驶区域轮廓作为可行驶区域轮廓。
其中，上述基于感兴趣区域和基于轮廓面积的两种用于确定可行驶区域轮廓的方式可单独实施、亦可综合实施，例如综合考虑感兴趣区域顶点在相应轮廓内的数量以及轮廓的面积。在综合实施这两种处理方式的情形下，可设置两种处理方式的优先级，例如在确定可行驶区域轮廓时感兴趣区域顶点在相应轮廓内的数量因素，优先于轮廓的面积因素。在一些实施例中，该优先级的设置可基于两种处理方式的权重，计算相应轮廓为可行驶区域轮廓的可信度，并选取可信度最高的轮廓为可行驶区域轮廓。
在一些实施例中，上述采样点是从可行驶区域轮廓上选取的。例如，所述可行驶区域轮廓由点集构成，而上述采样点则是从该点集中选取若干个点而取得的。为了从可行驶区域轮廓上确定这些采样点，在一些实施例中，上述设备还包括采样点确定模块500(未示出)。采样点确定模块500根据多个参考位置分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内。其中，所述多个参考位置用于在所述可行驶区域轮廓上确定对应的点作为前述采样点；在一些实施例中，所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内，指的是所述多个参考位置均能对应可行驶区域轮廓上的一个或者多个点。辅助控制信息确定模块300根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息。
在一些实施例中，上述多个采样点基于所述多个参考位置确定，所述多个参考位置在地面上的投影呈扇形分布；对于一封闭的可行驶区域轮廓而言，每个参考位置将对应于该可行驶区域轮廓上的两个点。以所述多个参考位置之一为例，在所述可行驶区域轮廓由点集来表征的情形下，若该参考位置恰好对应于所述可行驶区域轮廓上的一个(或两个)点，则将该一个(或两个)点作为该参考位置所对应的采样点；若该参考位置未恰好对应于所述可行驶区域轮廓上的任何点，则确定该可行驶区域轮廓上的所有点中与该参考位置在水平方向上的角度差(例如以车辆的前保险杠中心为顶点)最小的点为采样点。其中，在判断该水平方向的角度差的过程中，对于封闭的可行驶区域轮廓而言，对于同一个参考位置而言，在一些实施例中可同时确定两个采样点，该两个采样点在竖直方向上位于不同高度。
在上述基础上，在一些实施例中，可同时考虑相应的轮廓是否含有孔洞(例如对应于不可忽略的障碍物，如行人，等)。如果轮廓内部不存在孔洞，则基于以上所述的方法，根据所述角度差确定参考位置所对应的采样点，即可；如果轮廓内部含有孔洞，则还需要同时判断孔洞的边界和孔洞的具体种类(例如该孔洞代表路沿、对向车道、行人或其他障碍物等)，并计算孔洞与前保中心点的距离信息。例如，当该孔洞代表对向车道，则虽然对向车道通常不供当前车辆行驶，即该孔洞通常不属于可行驶区域，但是在紧急情况下车辆却可借助对向车道避险，因而该孔洞在紧急情况下转化为可行驶区域；又例如，当该孔洞代表行人，由于行人所在位置一定不可供车辆行驶，当行人较远时相应区域可供车辆行驶，而行人较近时则必须停车，因此孔洞所表征的障碍物的距离对车辆的行驶控制也很重要。从而，通过对孔洞的判断操作，系统可以确定当前行车场景下可行驶区域轮廓的边界点的分布信息，从而确定可行驶区域的分布信息。
在一些实施例中，系统进一步判断上述采样点的具体类别(例如本车道、对向车道等)，从而确定采样点的具体类别。在一些实施例中，对某个采样点的具体类别的判断，可基于该采样点周围一定的相邻区域内像素所对应的具体类别确定。例如，系统以该采样点为中心确定一区域(例如，该区域可以是但不限于圆形或者矩形区域)，并以该区域中各种具体类别的像素中占比最多的像素的具体类别，作为该采样点的具体类别，用于后续处理，例如用于判断孔洞的性质。
其中，若需要将以上确定的采样点的相关信息用于后续控制，例如供横向控制模块(例如用于控制车辆的行驶方向)和纵向控制模块(例如用于控制车辆的行驶速度)，在行车环境下，不同区域的信息对于控制系统的重要性是不同的，例如车辆正前方远处信息的重要性，要高于两侧前方远处信息的重要性。为了合理分配系统的计算资源以满足对于不同区域信息重要性的不同需求，在一些实施例中，以上所述的多个参考位置在水平方向上非线性分布；相应地，所述多个采样点在水平方向上非线性分布。例如，继续参考图2，上述参考位置按照中央密集、两侧稀疏的方式水平排列；图中，各条射线分别通过各参考位置。
此外，上述参考位置和采样点的数量可根据所需的精度要求、系统的处理能力和信息传输的效率综合考虑，例如设置参考位置和采样点的数量为40个，其中参考位置全部分布于上述感兴趣区域轮廓的范围内，并按照以上所述非线性分布。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图4示出了可被用于实施本申请中所述的各个实施例的示例性系统。
如图4所示，在一些实施例中，系统600能够作为各所述实施例中的任意一个用于确定车辆的辅助控制信息的设备。在一些实施例中，系统600可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备620)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器605)。
对于一个实施例，系统控制模块610可包括任意适当的接口控制器，以向(一个或多个)处理器605中的至少一个和/或与系统控制模块610通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块610可包括存储器控制器模块630，以向系统存储器615提供接口。存储器控制器模块630可以是硬件模块、软件模块和/或固件模块。
系统存储器615可被用于例如为系统600加载和存储数据和/或指令。对于一个实施例，系统存储器615可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器615可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块610可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备620及(一个或多个)通信接口625提供接口。
例如，NVM/存储设备620可被用于存储数据和/或指令。NVM/存储设备620可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备620可包括在物理上作为系统600被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备620可通过网络经由(一个或多个)通信接口625进行访问。
(一个或多个)通信接口625可为系统600提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统600可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器(例如，存储器控制器模块630)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统600可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统600可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统600包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
在权利要求书中规定了各个实施例的各个方面。在下列编号条款中规定了各个实施例的这些和其他方面：
1.一种用于确定车辆的辅助控制信息的方法，其中，该方法包括：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
基于所述至少一个轮廓，确定一可行驶区域轮廓；
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息；
其中，所述多个采样点位于所述可行驶区域轮廓上。
2.根据条款1所述的方法，其中，所述方法还包括：
向对应的整车模块发送所述辅助控制信息。
3.根据条款1所述的方法，其中，所述辅助控制信息包括所述多个采样点的类别属性信息。
4.根据条款1所述的方法，其中，所述对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓，包括：
对车辆环境图像进行预处理，以获得对应的预处理图像，其中所述预处理图像的尺寸小于所述车辆环境图像；
对所述预处理图像进行插值操作，以获得与所述车辆环境图像尺寸相同的类别图像，其中所述类别图像包括至少一个轮廓。
5.根据条款4所述的方法，其中，所述插值操作包括最近邻插值操作。
6.根据条款1所述的方法，其中，所述对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓，包括：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括多个像素；
基于所述类别图像中的像素属性包括可行驶的像素，确定至少一个轮廓；
所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息，包括：
根据所述可行驶区域轮廓中像素的像素属性，分别确定多个采样点的类别属性信息；
根据所述多个采样点的类别属性信息，确定对应的辅助控制信息。
7.根据条款1所述的方法，其中，所述预处理包括以下至少任一项：
对车辆环境图像中的像素执行类别化操作；
对车辆环境图像执行语义分割操作。
8.根据条款1所述的方法，其中，所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息，包括：
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息；
确定所述多个采样点所分别对应的距离属性信息；
基于所述多个采样点的类别属性信息以及距离属性信息，确定对应的辅助控制信息。
9.根据条款1所述的方法，其中，所述基于所述至少一个轮廓，确定一可行驶区域轮廓，包括：
基于预设感兴趣区域，确定所述至少一个轮廓中每个轮廓的可行驶置信度；
基于所述每个轮廓的可行驶置信度确定一可行驶区域轮廓；
所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息，包括：
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息；
根据所述可行驶区域轮廓的可行驶置信度，确定至少一个采样点的轮廓置信度信息；
基于所述多个采样点的类别属性信息，以及所述至少一个采样点的轮廓置信度信息，确定对应的辅助控制信息。
10.根据条款1所述的方法，其中，所述基于所述至少一个轮廓，确定一可行驶区域轮廓，包括：
基于面积大于预设的面积阈值的至少一个轮廓，确定一预选可行驶区域轮廓；
当所述预选可行驶轮廓内部包含至少一个子轮廓，基于所述预选可行驶区域轮廓以及所述至少一个子轮廓确定一可行驶区域轮廓。
11.根据条款1所述的方法，其中，所述方法还包括：
根据多个参考位置分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内；
所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息，包括：
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定对应的辅助控制信息。
12.根据条款11所述的方法，其中，所述多个参考位置在水平方向上非线性分布。
13.根据条款11所述的方法，其中，所述根据多个参考位置分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内，包括：
根据多个参考位置，在所述可行驶区域轮廓上分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内。
14.一种用于确定车辆的辅助控制信息的设备，其中，该设备包括：
图像预处理模块，用于对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
轮廓处理模块，用于基于所述至少一个轮廓，确定一可行驶区域轮廓；
辅助控制信息确定模块，用于根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息。
其中，所述多个采样点位于所述可行驶区域轮廓上。
15.根据条款14所述的设备，其中，所述设备还包括：
信息发送模块，用于向对应的整车模块发送所述辅助控制信息。
16.根据条款14所述的设备，其中，所述辅助控制信息包括所述多个采样点的类别属性信息。
17.根据条款14所述的设备，其中，所述图像预处理模块用于：
对车辆环境图像进行预处理，以获得对应的预处理图像，其中所述预处理图像的尺寸小于所述车辆环境图像；
对所述预处理图像进行插值操作，以获得与所述车辆环境图像尺寸相同的类别图像，其中所述类别图像包括至少一个轮廓。
18.根据条款17所述的设备，其中，所述插值操作包括最近邻插值操作。
19.根据条款14所述的设备，其中，所述图像预处理模块用于：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括多个像素；
基于所述类别图像中的像素属性包括可行驶的像素，确定至少一个轮廓；
所述辅助控制信息确定模块用于：
根据所述可行驶区域轮廓中像素的像素属性，分别确定多个采样点的类别属性信息；
根据所述多个采样点的类别属性信息，确定对应的辅助控制信息。
20.根据条款14所述的设备，其中，所述预处理包括以下至少任一项：
对车辆环境图像中的像素执行类别化操作；
对车辆环境图像执行语义分割操作。
21.根据条款14所述的设备，其中，所述辅助控制信息确定模块用于：
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息；
确定所述多个采样点所分别对应的距离属性信息；
基于所述多个采样点的类别属性信息以及距离属性信息，确定对应的辅助控制信息。
22.根据条款14所述的设备，其中，所述轮廓处理模块用于：
基于预设感兴趣区域，确定所述至少一个轮廓中每个轮廓的可行驶置信度；
基于所述每个轮廓的可行驶置信度确定一可行驶区域轮廓；
所述辅助控制信息确定模块用于：
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息；
根据所述可行驶区域轮廓的可行驶置信度，确定至少一个采样点的轮廓置信度信息；
基于所述多个采样点的类别属性信息，以及所述至少一个采样点的轮廓置信度信息，确定对应的辅助控制信息。
23.根据条款14所述的设备，其中，所述轮廓处理模块用于：
基于面积大于预设的面积阈值的至少一个轮廓，确定一预选可行驶区域轮廓；
当所述预选可行驶轮廓内部包含至少一个子轮廓，基于所述预选可行驶区域轮廓以及所述至少一个子轮廓确定一可行驶区域轮廓。
24.根据条款14所述的设备，其中，所述设备还包括：
采样点确定模块，用于根据多个参考位置分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内；
所述辅助控制信息确定模块用于：
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于类别属性信息包括可行驶的采样点，确定对应的辅助控制信息。
25.根据条款24所述的设备，其中，所述多个参考位置在水平方向上非线性分布。
26.根据条款24所述的设备，其中，所述采样点确定模块用于：
根据多个参考位置，在所述可行驶区域轮廓上分别确定多个采样点，其中所述多个参考位置被覆盖于所述可行驶区域轮廓的范围内。
27.一种用于确定车辆的辅助控制信息的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据条款1至13中任一项所述方法的操作。
28.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行根据条款1至13中任一项所述方法的操作。
Claims (10)
1.一种用于确定车辆的辅助控制信息的方法，其中，该方法包括：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
基于所述至少一个轮廓，确定一可行驶区域轮廓；
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息；
其中，所述多个采样点位于所述可行驶区域轮廓上。
2.根据权利要求1所述的方法，其中，所述方法还包括：
向对应的整车模块发送所述辅助控制信息。
3.根据权利要求1所述的方法，其中，所述对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓，包括：
对车辆环境图像进行预处理，以获得对应的预处理图像，其中所述预处理图像的尺寸小于所述车辆环境图像；
对所述预处理图像进行插值操作，以获得与所述车辆环境图像尺寸相同的类别图像，其中所述类别图像包括至少一个轮廓。
4.根据权利要求1所述的方法，其中，所述对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓，包括：
对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括多个像素；
基于所述类别图像中的像素属性包括可行驶的像素，确定至少一个轮廓；
所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息，包括：
根据所述可行驶区域轮廓中像素的像素属性，分别确定多个采样点的类别属性信息；
根据所述多个采样点的类别属性信息，确定对应的辅助控制信息。
5.根据权利要求1所述的方法，其中，所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息，包括：
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息；
确定所述多个采样点所分别对应的距离属性信息；
基于所述多个采样点的类别属性信息以及距离属性信息，确定对应的辅助控制信息。
6.根据权利要求1所述的方法，其中，所述基于所述至少一个轮廓，确定一可行驶区域轮廓，包括：
基于预设感兴趣区域，确定所述至少一个轮廓中每个轮廓的可行驶置信度；
基于所述每个轮廓的可行驶置信度确定一可行驶区域轮廓；
所述根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息，包括：
根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息；
根据所述可行驶区域轮廓的可行驶置信度，确定至少一个采样点的轮廓置信度信息；
基于所述多个采样点的类别属性信息，以及所述至少一个采样点的轮廓置信度信息，确定对应的辅助控制信息。
7.根据权利要求1所述的方法，其中，所述基于所述至少一个轮廓，确定一可行驶区域轮廓，包括：
基于面积大于预设的面积阈值的至少一个轮廓，确定一预选可行驶区域轮廓；
当所述预选可行驶轮廓内部包含至少一个子轮廓，基于所述预选可行驶区域轮廓以及所述至少一个子轮廓确定一可行驶区域轮廓。
8.一种用于确定车辆的辅助控制信息的设备，其中，该设备包括：
图像预处理模块，用于对车辆环境图像进行预处理，以获得对应的类别图像，其中所述类别图像包括至少一个轮廓；
轮廓处理模块，用于基于所述至少一个轮廓，确定一可行驶区域轮廓；
辅助控制信息确定模块，用于根据所述可行驶区域轮廓分别确定多个采样点的类别属性信息，并基于所述多个采样点的类别属性信息确定对应的辅助控制信息。
其中，所述多个采样点位于所述可行驶区域轮廓上。
9.一种用于确定车辆的辅助控制信息的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至7中任一项所述方法的操作。
10.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行根据权利要求1至7中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579762.6A CN109683613B (zh) | 2018-12-24 | 2018-12-24 | 一种用于确定车辆的辅助控制信息的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579762.6A CN109683613B (zh) | 2018-12-24 | 2018-12-24 | 一种用于确定车辆的辅助控制信息的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109683613A true CN109683613A (zh) | 2019-04-26 |
| CN109683613B CN109683613B (zh) | 2022-04-29 |
Family
ID=66188855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811579762.6A Active CN109683613B (zh) | 2018-12-24 | 2018-12-24 | 一种用于确定车辆的辅助控制信息的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109683613B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112099504A (zh) * | 2020-09-16 | 2020-12-18 | 深圳优地科技有限公司 | 机器人移动方法、装置、设备及存储介质 |
| CN112214026A (zh) * | 2020-10-26 | 2021-01-12 | 广州小鹏自动驾驶科技有限公司 | 一种行车障碍检测方法、装置、车辆、可读介质 |
| CN114279451A (zh) * | 2020-09-28 | 2022-04-05 | 阿里巴巴集团控股有限公司 | 导航方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11203445A (ja) * | 1998-01-12 | 1999-07-30 | Matsushita Electric Ind Co Ltd | 車両用画像処理装置 |
| CN1818929A (zh) * | 2005-01-28 | 2006-08-16 | 爱信艾达株式会社 | 图像识别装置及图像识别方法 |
| CN102549633A (zh) * | 2009-10-14 | 2012-07-04 | 罗伯特·博世有限公司 | 用于确定机动车的周围环境中的至少一个可行驶区域的方法 |
| CN105069411A (zh) * | 2015-07-24 | 2015-11-18 | 深圳市佳信捷技术股份有限公司 | 道路识别方法和装置 |
| CN105313782A (zh) * | 2014-07-28 | 2016-02-10 | 现代摩比斯株式会社 | 车辆行驶辅助系统及其方法 |
| CN105654753A (zh) * | 2016-01-08 | 2016-06-08 | 北京乐驾科技有限公司 | 一种智能车载安全驾驶辅助方法及系统 |
| CN106503653A (zh) * | 2016-10-21 | 2017-03-15 | 深圳地平线机器人科技有限公司 | 区域标注方法、装置和电子设备 |
| CN107909047A (zh) * | 2017-11-28 | 2018-04-13 | 上海信耀电子有限公司 | 一种汽车及其应用的车道检测方法及系统 |
| CN108241866A (zh) * | 2016-12-26 | 2018-07-03 | 中国移动通信有限公司研究院 | 一种对驾驶行为进行引导的方法、装置和车辆 |
| CN108805065A (zh) * | 2018-05-31 | 2018-11-13 | 华南理工大学 | 一种基于几何特征改进的车道线检测方法 |
-
2018
- 2018-12-24 CN CN201811579762.6A patent/CN109683613B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11203445A (ja) * | 1998-01-12 | 1999-07-30 | Matsushita Electric Ind Co Ltd | 車両用画像処理装置 |
| CN1818929A (zh) * | 2005-01-28 | 2006-08-16 | 爱信艾达株式会社 | 图像识别装置及图像识别方法 |
| CN102549633A (zh) * | 2009-10-14 | 2012-07-04 | 罗伯特·博世有限公司 | 用于确定机动车的周围环境中的至少一个可行驶区域的方法 |
| CN105313782A (zh) * | 2014-07-28 | 2016-02-10 | 现代摩比斯株式会社 | 车辆行驶辅助系统及其方法 |
| CN105069411A (zh) * | 2015-07-24 | 2015-11-18 | 深圳市佳信捷技术股份有限公司 | 道路识别方法和装置 |
| CN105654753A (zh) * | 2016-01-08 | 2016-06-08 | 北京乐驾科技有限公司 | 一种智能车载安全驾驶辅助方法及系统 |
| CN106503653A (zh) * | 2016-10-21 | 2017-03-15 | 深圳地平线机器人科技有限公司 | 区域标注方法、装置和电子设备 |
| CN108241866A (zh) * | 2016-12-26 | 2018-07-03 | 中国移动通信有限公司研究院 | 一种对驾驶行为进行引导的方法、装置和车辆 |
| CN107909047A (zh) * | 2017-11-28 | 2018-04-13 | 上海信耀电子有限公司 | 一种汽车及其应用的车道检测方法及系统 |
| CN108805065A (zh) * | 2018-05-31 | 2018-11-13 | 华南理工大学 | 一种基于几何特征改进的车道线检测方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112099504A (zh) * | 2020-09-16 | 2020-12-18 | 深圳优地科技有限公司 | 机器人移动方法、装置、设备及存储介质 |
| CN114279451A (zh) * | 2020-09-28 | 2022-04-05 | 阿里巴巴集团控股有限公司 | 导航方法、装置、电子设备及存储介质 |
| CN114279451B (zh) * | 2020-09-28 | 2024-09-03 | 阿里巴巴集团控股有限公司 | 导航方法、装置、电子设备及存储介质 |
| CN112214026A (zh) * | 2020-10-26 | 2021-01-12 | 广州小鹏自动驾驶科技有限公司 | 一种行车障碍检测方法、装置、车辆、可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109683613B (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111095291B (zh) | 由自动驾驶车辆实时检测车道和边界 | |
| EP4152204A1 (en) | Lane line detection method, and related apparatus | |
| Ghanem et al. | Lane detection under artificial colored light in tunnels and on highways: an IoT-based framework for smart city infrastructure | |
| WO2018068653A1 (zh) | 点云数据处理方法、装置及存储介质 | |
| CN108509820B (zh) | 障碍物分割方法及装置、计算机设备及可读介质 | |
| KR102539942B1 (ko) | 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| EP3673233A2 (en) | Vehicle environment modeling with a camera | |
| EP3076367A1 (en) | Method for road detection from one image | |
| US11721065B2 (en) | Monocular 3D vehicle modeling and auto-labeling using semantic keypoints | |
| DE102019118999A1 (de) | Lidar-basierte objektdetektion und -klassifikation | |
| CN109683613A (zh) | 一种用于确定车辆的辅助控制信息的方法与设备 | |
| JP2021536071A (ja) | 障害物検出方法、知的運転制御方法、装置、媒体、及び機器 | |
| US12008762B2 (en) | Systems and methods for generating a road surface semantic segmentation map from a sequence of point clouds | |
| CN112819864B (zh) | 一种行驶状态检测方法、装置及存储介质 | |
| CN117015792A (zh) | 有凹图像放大用于自动驾驶生成物体检测标签的系统和方法 | |
| CN112800822A (zh) | 利用结构约束和物理约束进行3d自动标记 | |
| Kuan et al. | Pothole detection and avoidance via deep learning on edge devices | |
| Wang et al. | Lane detection algorithm based on temporal–spatial information matching and fusion | |
| CN108711298A (zh) | 一种混合现实道路显示方法 | |
| CN109657628A (zh) | 一种用于确定车辆的可行驶区域的方法与设备 | |
| Bhupathi et al. | Sharp curve detection of autonomous vehicles using dbscan and augmented sliding window techniques | |
| US11555928B2 (en) | Three-dimensional object detection with ground removal intelligence | |
| CN108648480A (zh) | 一种基于混合现实的道路隔离模型显示方法及存储介质 | |
| Wakatsuki et al. | Development of a robot car by single line search method for white line detection with FPGA | |
| Iparraguirre-Gil | Computer Vision and Deep Learning based road monitoring towards a Connected, Cooperative and Automated Mobility |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |