CN108256413B - 可通行区域检测方法及装置、存储介质、电子设备 - Google Patents
可通行区域检测方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN108256413B CN108256413B CN201711207223.5A CN201711207223A CN108256413B CN 108256413 B CN108256413 B CN 108256413B CN 201711207223 A CN201711207223 A CN 201711207223A CN 108256413 B CN108256413 B CN 108256413B
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- obstacle
- road image
- passable area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 105
- 238000002372 labelling Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000004888 barrier function Effects 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000004927 fusion Effects 0.000 description 11
- 238000013519 translation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000533950 Leucojum Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种可通行区域检测方法及装置、存储介质、电子设备。该方法包括：获取车辆所在道路的道路图像，并将所述道路图像作为输入，经由可通行区域检测模型处理，确定出所述道路图像的可通行区域；其中，用于构建所述可通行区域检测模型的图像标注信息由样本障碍物信息和样本道路图像融合得到，所述样本障碍物信息为能够表示障碍物的障碍物点，所述图像标注信息用于标识所述样本道路图像的可通行区域和非可通行区域；基于所述道路图像的可通行区域，确定出所述车辆所在道路的可通行区域。如此方案，有助于降低图像标注消耗的时间，提高模型训练的效率。
Description
技术领域
本公开涉及智能驾驶技术领域，具体地，涉及一种可通行区域检测方法及装置、存储介质、电子设备。
背景技术
随着社会经济的发展，汽车已经成为人们日常生活中不可替代的交通工具，为日常出行带来便利的同时，安全驾驶问题也随之而来。目前，辅助驾驶和自动驾驶等智能化技术的快速发展为解决这一问题提供了有力手段，道路可通行区域检测作为辅助驾驶系统和自动驾驶系统的基础功能，在汽车的安全通行、舒适驾驶等方面发挥着巨大作用。
现有的道路可通行区域检测方法多是采集大量的样本道路图像后，由专业的标注人员以手工方式对每帧样本道路图像进行图像标注，描绘出可通行区域和非可通行区域的精细边界曲线，然后以样本道路图像作为输入，基于图像标注得到的每个像素点对应的类别标签作为输出，训练得到可通行区域检测模型。其中，类别标签可以体现为：可通行区域的标签，可以用“1”表示；非可通行区域的标签，可以用“0”表示。
如此，在进行道路可通行区域检测时，可以将采集到的道路图像作为模型输入，经模型处理后输出道路图像中每个像素点对应的类别标签，据此确定出道路的可通行区域。
由上文介绍可知，现有的道路可通行区域检测方法在进行模型构建时，需要人工对大量的样本道路图像进行图像标注，其主要瓶颈在于人工标注的效率问题，统计发现人工平均需要几秒的时间才能完成一帧样本道路图像的标注工作，完成可通行区域检测模型样本标注的工作常常需要几十天，既耗时又耗力。
发明内容
本公开的主要目的是提供一种可通行区域检测方法及装置、存储介质、电子设备，基于自动融合得到的图像标注信息训练出的可通行区域检测模型，识别车辆所在道路的可通行区域，有助于降低图像标注消耗的时间，提高模型训练的效率。
为了实现上述目的，本公开提供一种可通行区域检测方法，包括：
获取车辆所在道路的道路图像，并将所述道路图像作为输入，经由可通行区域检测模型处理，确定出所述道路图像的可通行区域；其中，用于构建所述可通行区域检测模型的图像标注信息由样本障碍物信息和样本道路图像融合得到，所述样本障碍物信息为能够表示障碍物的障碍物点，所述图像标注信息用于标识所述样本道路图像的可通行区域和非可通行区域；
基于所述道路图像的可通行区域，确定出所述车辆所在道路的可通行区域。
可选地，构建所述可通行区域检测模型的方式为：
获取所述样本障碍物信息和所述样本障碍物信息的采集时间，以及所述样本道路图像和所述样本道路图像的采集时间；
为每个样本障碍物信息确定一个对应的样本道路图像，具有对应关系的样本障碍物信息的采集时间与样本道路图像的采集时间之间的间隔不超过预设时长；
将各样本障碍物信息融合到该样本障碍物信息对应的样本道路图像中，得到所述样本道路图像的图像标注信息；
确定所述可通行区域检测模型的拓扑结构；
基于所述拓扑结构，利用各样本道路图像以及该样本道路图像的图像标注信息，训练得到所述可通行区域检测模型。
可选地，预先构建障碍物检测设备坐标系、以及每帧样本道路图像对应的图像像素坐标系，则
所述将各样本障碍物信息融合到该样本障碍物信息对应的样本道路图像中，得到所述样本道路图像的图像标注信息，包括：
将当前样本障碍物信息的障碍物点的坐标从所述障碍物检测设备坐标系转换到所述当前样本障碍物信息对应的样本道路图像的图像像素坐标系，得到所述障碍物点在所述图像像素坐标系中的坐标；
利用所述障碍物点在所述图像像素坐标系中的坐标进行曲线拟合，得到所述样本道路图像的可通行区域与非可通行区域的分界线；
将所述分界线划分出的靠近车辆的区域确定为可通行区域，得到所述样本道路图像的图像标注信息。
可选地，所述方法还包括：
基于所述当前样本障碍物信息的采集时间，选取N个叠加样本障碍物信息，所述N个叠加样本障碍物信息与所述当前样本障碍物信息的采集时间连续，N≥1；
将所述N个叠加样本障碍物信息的障碍物点的坐标从所述障碍物检测设备坐标系转换到所述当前样本障碍物信息对应的样本道路图像的图像像素坐标系，得到所述N个叠加样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标；
则，所述利用所述障碍物点在所述图像像素坐标系中的坐标进行曲线拟合，得到所述样本道路图像的可通行区域与非可通行区域的分界线，包括：
利用所述当前障碍物信息的障碍物点在所述图像像素坐标系中的坐标、以及所述N个叠加样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标，叠加处理后进行曲线拟合，得到所述样本道路图像的分界线。
可选地，所述方法还包括：
判断所述分界线是否全部位于消隐线一侧，所述消隐线的位置由采集所述样本道路图像的图像采集设备的安装位置以及外参确定；
如果否，则将所述分界线和所述消隐线划分出的靠近车辆的区域，确定为可通行区域，得到所述样本道路图像的图像标注信息。
可选地，所述样本道路图像中划分出可通行区域和非可通行区域，则在利用所述样本道路图像的像素点计算所述可通行区域检测模型的损失函数时，所述样本道路图像的可通行区域和非可通行区域中的像素点的权重为1；
或者，
所述样本道路图像中划分出可通行区域和非可通行区域，且所述可通行区域与所述非可通行区域的分界线处设置有混淆区域，则在利用所述样本道路图像的像素点计算所述可通行区域检测模型的损失函数时，所述样本道路图像的可通行区域和非可通行区域中的像素点的权重为1；所述样本道路图像的混淆区域中的像素点的权重小于1。
可选地，如果所述样本道路图像中设置有混淆区域，则设置所述混淆区域的方式为：
将所述障碍物点作为起点，向前和/或向后辐射出的区域确定为所述混淆区域。
本公开提供一种可通行区域检测装置，所述装置包括：
道路图像获取模块，用于获取车辆所在道路的道路图像；
模型处理模块，用于将所述道路图像作为输入，经由可通行区域检测模型处理，确定出所述道路图像的可通行区域；其中，用于构建所述可通行区域检测模型的图像标注信息由样本障碍物信息和样本道路图像融合得到，所述样本障碍物信息为能够表示障碍物的障碍物点，所述图像标注信息用于标识所述样本道路图像的可通行区域和非可通行区域；
可通行区域确定模块，用于基于所述道路图像的可通行区域，确定出所述车辆所在道路的可通行区域。
可选地，所述装置还包括：
障碍物信息获取模块，用于获取所述样本障碍物信息和所述样本障碍物信息的采集时间；
道路图像获取模块，用于获取所述样本道路图像和所述样本道路图像的采集时间；
对应关系确定模块，用于为每个样本障碍物信息确定一个对应的样本道路图像，具有对应关系的样本障碍物信息的采集时间与样本道路图像的采集时间之间的间隔不超过预设时长；
图像标注信息得到模块，用于将各样本障碍物信息融合到该样本障碍物信息对应的样本道路图像中，得到所述样本道路图像的图像标注信息；
拓扑结构确定模块，用于确定所述可通行区域检测模型的拓扑结构；
模型训练模块，用于基于所述拓扑结构，利用各样本道路图像以及该样本道路图像的图像标注信息，训练得到所述可通行区域检测模型。
可选地，预先构建障碍物检测设备坐标系、以及每帧样本道路图像对应的图像像素坐标系，则
所述图像标注信息得到模块包括：
坐标转换模块，用于将当前样本障碍物信息的障碍物点的坐标从所述障碍物检测设备坐标系转换到所述当前样本障碍物信息对应的样本道路图像的图像像素坐标系，得到所述障碍物点在所述图像像素坐标系中的坐标；
曲线拟合模块，用于利用所述障碍物点在所述图像像素坐标系中的坐标进行曲线拟合，得到所述样本道路图像的可通行区域与非可通行区域的分界线；
图像标注信息得到子模块，用于将所述分界线划分出的靠近车辆的区域确定为可通行区域，得到所述样本道路图像的图像标注信息。
可选地，所述装置还包括：
叠加样本障碍物信息选取模块，用于基于所述当前样本障碍物信息的采集时间，选取N个叠加样本障碍物信息，所述N个叠加样本障碍物信息与所述当前样本障碍物信息的采集时间连续，N≥1；
叠加样本障碍物信息转换模块，用于将所述N个叠加样本障碍物信息的障碍物点的坐标从所述障碍物检测设备坐标系转换到所述当前样本障碍物信息对应的样本道路图像的图像像素坐标系，得到所述N个叠加样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标；
所述曲线拟合模块，用于利用所述当前障碍物信息的障碍物点在所述图像像素坐标系中的坐标、以及所述N个叠加样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标，叠加处理后进行曲线拟合，得到所述样本道路图像的分界线。
可选地，所述装置还包括：
消隐线判断模块，用于判断所述分界线是否全部位于消隐线一侧，所述消隐线的位置由采集所述样本道路图像的图像采集设备的安装位置以及外参确定；如果否，则将所述分界线和所述消隐线划分出的靠近车辆的区域，确定为可通行区域，得到所述样本道路图像的图像标注信息。
可选地，所述样本道路图像中划分出可通行区域和非可通行区域，则在利用所述样本道路图像的像素点计算所述可通行区域检测模型的损失函数时，所述样本道路图像的可通行区域和非可通行区域中的像素点的权重为1；
或者，
所述样本道路图像中划分出可通行区域和非可通行区域，且所述可通行区域与所述非可通行区域的分界线处设置有混淆区域，则在利用所述样本道路图像的像素点计算所述可通行区域检测模型的损失函数时，所述样本道路图像的可通行区域和非可通行区域中的像素点的权重为1；所述样本道路图像的混淆区域中的像素点的权重小于1。
可选地，如果所述样本道路图像中设置有混淆区域，所述装置还包括：
混淆区域确定模块，用于将所述障碍物点作为起点，向前和/或向后辐射出的区域确定为所述混淆区域。
本公开提供一种存储介质，其中存储有多条指令，所述指令由处理器加载，执行上述可通行区域检测方法的步骤。
本公开提供一种电子设备，所述电子设备包括；
上述的存储介质；以及
处理器，用于执行所述存储介质中的指令。
本公开方案中，可以利用样本障碍物信息和样本道路图像进行自动融合，得到样本道路图像的图像标注信息，并基于此进行模型训练，得到可通行区域检测模型，再利用可通行区域检测模型识别车辆所在道路的可通行区域。如此方案，相对于现有技术以人工方式进行图像标注，可降低图像标注消耗的时间，提高模型训练的效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为本公开方案可通行区域检测方法的流程示意图；
图2为本公开方案中构建可通行区域检测模型的流程示意图；
图3为本公开方案中障碍物点转换到样本道路图像的示意图；
图4为本公开方案中获得图像标注信息的流程示意图；
图5为本公开方案中包含障碍物噪点的样本道路图像的示意图；
图6为本公开方案中进行障碍物点叠加的样本道路图像的示意图；
图7为本公开方案中样本道路图像的划分示意图；
图8为本公开方案中样本道路图像的权重分布示意图；
图9为本公开方案可通行区域检测装置的构成示意图；
图10为本公开方案用于可通行区域检测的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
参见图1，示出了本公开可通行区域检测方法的流程示意图。可以包括以下步骤：
S101，获取车辆所在道路的道路图像。
作为一种示例，可以通过安装在车辆上的图像采集设备，获取车辆所在道路的道路图像。例如，图像采集设备可以为普通相机、红外相机、深度相机等，图像采集设备可以安装在车顶、车前挡风玻璃等位置。本公开方案对图像采集设备的表现形式、安装位置等，可不做具体限定。
作为一种示例，为了增强道路图像中有关信息的可检测性，可以对采集到的道路图像进行预处理。例如，可以采用中值滤波、高斯滤波等算法，去除道路图像中的噪声；还可以采用图像直方图均衡方法来增强道路图像的对比度，具体可参照相关技术实现，此处不做详述。
举例来说，本公开方案增强道路图像中有关信息的可检测性，可以理解为增强图像中道路的可检测性。这主要是因为在实际应用过程中，受光照、天气等因素的影响，可能会导致道路、天空的分界不明显，通过预处理可以更清晰的检测到图像中的道路。
S102，将所述道路图像作为输入，经由可通行区域检测模型处理，确定出所述道路图像的可通行区域；其中，用于构建所述可通行区域检测模型的图像标注信息由样本障碍物信息和样本道路图像融合得到，所述样本障碍物信息为能够表示障碍物的障碍物点，所述图像标注信息用于标识所述样本道路图像的可通行区域和非可通行区域。
作为一种示例，本公开方案在构建可通行区域检测模型时，可以利用样本障碍物信息和样本道路图像融合得到图像标注信息。也就是说，本公开方案可以通过自动融合的方式，进行图像标注，相较于现有技术，本公开方案有助于降低图像标注消耗的时间，提高模型训练的效率。构建可通行区域检测模型的过程，可参见下文图2处所做介绍，此处暂不详述。
作为一种示例，图像标注信息可以体现为为了区分可通行区域和非可通行区域标注的类别标签。例如，可以以区域为单位标注对应的类别标签；也可以以像素点为单位标注对应的类别标签，如将位于可通行区域中的像素点的类别标签标注为可通行区域标签，将位于非可通行区域中的像素点的类别标签标注为非可通行区域标签，本公开方案对此可不做具体限定，只要通过图像标注信息识别出样本道路图像的可通行区域和非可通行区域即可。
作为一种示例，可通行区域标签可以用“1”表示，非可通行区域标签可以用“0”表示，本公开方案对两种类别标签的表示方式可不做具体限定。
本公开方案中，可以将道路图像的RGB颜色矩阵或者道路图像的灰度化矩阵，作为模型输入，经模型处理后确定出道路图像的可通行区域。作为一种示例，确定出道路图像的可通行区域，可以体现为确定出道路图像中每个像素点对应的类别标签。
S103，基于所述道路图像的可通行区域，确定出所述车辆所在道路的可通行区域。
作为一种示例，可以先标定出图像采集设备的内参、外参，再基于相机小孔成像模型得到道路图像中每个像素点在真实道路中对应点的位置，将道路图像中各像素点对应的类别标签，确定为真实道路中对应点的类别标签，便可得到车辆所在真实道路的可通行区域。举例来说，可以通过张正友标定法、最小二乘法等相关技术，标定图像采集设备的内参和外参，本公开方案对此可不做具体限定。此外，基于相机小孔成像模型得到道路图像中每个像素点在真实道路中对应点的位置，亦可参照相关技术实现，此处不做详述。
下面对本公开方案构建可通行区域检测模型的过程进行解释说明。
在实际应用过程中，通常不需要对车辆远处的区域进行精细标注，例如，车辆行驶到有红绿灯的十字交叉路口时，只需要确定出车辆近处的交叉路口范围内的可通行区域即可，即，从实际使用需求的角度考虑，可以对车辆近处的区域进行精细标注，对车辆远处的区域进行粗标注。
结合上述研究，再考虑到雷达等障碍物检测设备可以较为准确的检测近处的障碍物信息，本公开方案做如下设计：通过障碍物检测设备采集车辆周围的障碍物信息，通过图像采集设备采集道路图像，然后利用障碍物信息和道路图像自动融合，得到图像标注信息。
作为一种示例，障碍物检测设备可以为毫米波雷达、超声波雷达、激光雷达等，障碍物检测设备可以安装在车头等位置，只要确保障碍物检测设备的检测范围不被车身遮挡即可。此外，为了检测到高度较低的障碍物，例如，地面上的障碍物，障碍物检测设备可以尽量安装在车身较低的位置。本公开方案对障碍物检测设备的表现形式、安装位置等，可不做具体限定。
参见图2，示出了本公开中构建可通行区域检测模型的流程示意图。可以包括以下步骤：
S201，获取所述样本障碍物信息和所述样本障碍物信息的采集时间，以及所述样本道路图像和所述样本道路图像的采集时间。
在车辆上安装障碍物检测设备、图像采集设备后，便可利用二者按照预设时间间隔采集样本障碍物信息、样本道路图像；此外，为了进行自动融合，还可以记录各样本障碍物信息的采集时间、各样本道路图像的采集时间，如此，便可根据采集时间，建立进行自动融合的样本障碍物信息与样本道路图像之间的对应关系。
需要说明的是，本公开方案中障碍物信息指的是能够表示障碍物的障碍物点。参见图3所示示例，可以通过2个障碍物点表示前方车辆，可以通过7个障碍物点表示两侧道路，本公开方案对此可不做具体限定。
作为一种示例，障碍物检测设备、图像采集设备可以按照相同的时间间隔，同步进行数据采集；或者，二者也可以按照不同的时间间隔进行数据采集，本公开方案对此可不做具体限定。以障碍物检测设备为毫米波雷达为例，其检测样本障碍物信息的时间间隔小于图像采集设备拍摄样本道路图像的时间间隔，例如，毫米波雷达每20ms完成一次障碍物检测，图像采集设备每30ms拍摄一帧道路图像。
可以理解地，在实际应用过程中，可以根据使用需求调整预设时间间隔的取值。例如，当车速较快时，预设时间间隔可以设置的稍小一些；当车速较慢时，预设时间间隔可以设置的稍大一些，本公开方案对此可不做具体限定。
需要说明的是，为了增强样本道路图像中有关信息的可检测性，在进行自动融合之前，亦可对样本道路图像进行预处理，具体可参照上文所做介绍，此处不再赘述。
S202，为每个样本障碍物信息确定一个对应的样本道路图像，具有对应关系的样本障碍物信息的采集时间与样本道路图像的采集时间之间的间隔不超过预设时长。
由于两帧样本道路图像的拍摄间隔较短，如上文所举示例每30ms拍摄一帧样本道路图像，如果以车速120km/h计算，车辆最多行驶1m，也就是说，相邻帧之间包含的障碍物相差不会太大。对应于此，本公开方案对样本障碍物信息与样本道路图像之间的对应关系可不做具体限定，作为一种示例，二者可以是一对一关系；或者，二者也可以是一对多关系，例如，多个样本障碍物信息对应一个样本道路图像，只要各样本障碍物信息的采集时间与样本道路图像的采集时间之间的间隔不超过预设时长，各样本障碍物信息的障碍物点相差就不会太大，可以映射到同一个样本道路图像，例如预设时长可以为100ms，本公开方案对此可不做具体限定。
S203，将各样本障碍物信息融合到该样本障碍物信息对应的样本道路图像中，得到所述样本道路图像的图像标注信息。
具体实现过程，可参见下文图4处所做介绍，此处暂不详述。
S204，确定所述可通行区域检测模型的拓扑结构。
作为一种示例，本公开方案的可通行区域检测模型的拓扑结构可以为：CNN(英文：Convolutional Neural Network，中文：卷积神经网络)、RNN(英文：Recurrent neuralNetwork，中文：循环神经网络)、DNN(英文：Deep Neural Network，中文：深度神经网络)，本公开方案对此可不做具体限定。
S205，基于所述拓扑结构，利用各样本道路图像以及该样本道路图像的图像标注信息，训练得到所述可通行区域检测模型。
确定出模型的拓扑结构后，便可利用样本道路图像、以及自动融合得到的该样本道路图像的图像标注信息，进行模型训练，得到本公开方案的可通行区域检测模型。作为一种示例，可以采用现有的神经网络模型训练方法，如BP算法进行模型训练，本公开方案对此可不做具体限定。
可以设置可通行区域检测模型的损失函数，当损失函数满足预设条件时，即表示模型训练完成。可以理解地，模型的损失函数满足预设条件，可以为损失函数达到最小；或者，损失函数不大于预设值，本公开方案对此可不做具体限定。作为一种示例，可通行区域检测模型的损失函数可以为最小均方误差；或者，可以为公式1自定义的加权交叉熵，本公开方案对损失函数的表现形式可不做具体限定。
其中，m为样本道路图像包括的像素点数目；wi为第i个像素点在计算损失函数时的权重；p为第i个像素点属于可通行区域的概率；(1-p)为第i个像素点属于非可通行区域的概率；y＝1为可通行区域标签；y＝0为非可通行区域标签。
可以理解地，公式1采用自然对数表示，在实际应用过程中亦可采用其他的对数表示；公式1采用y＝1为可通行区域标签，y＝0为非可通行区域标签，在实际应用过程中亦可采用其他数字表示两种类别标签。
由上文介绍可知，本公开方案可以采用不同的损失函数进行模型训练，对于计算损失函数时使用的像素点权重，可体现为以下两种情况：
情况一，可以将样本道路图像分为：可通行区域、非可通行区域，对应于此，位于可通行区域、非可通行区域中的像素点的权重，都可以设置为1。
情况二，考虑到障碍物检测设备可以较为准确的检测近处的障碍物信息，但对远处障碍物的检测结果准确度不高，为了提高模型整体输出结果的准确性，可以将样本道路图像分为：可通行区域、混淆区域、非可通行区域。同样地，位于可通行区域、非可通行区域中的像素点的权重，可以设置为1。对于如何确定混淆区域、混淆区域中像素点权重的取值等，可参见下文图7、图8处所做介绍，此处暂不详述。
作为一种示例，本公开方案可以在获取到样本障碍物信息和样本道路图像后，进行离线融合，也即数据采集、自动融合、模型训练等过程可以分开进行；或者，也可以将车辆开到实际道路上，获取到样本障碍物信息和样本道路图像后，进行实时在线融合，也即在数据采集过程中，可以同时进行自动融合、模型训练等过程，整个过程只需要实施人员在道路上正常行驶，不需要任何人工干预，省时省力，还有助于提高可通行区域检测模型的训练效率。本公开方案对数据采集、自动融合、模型训练等过程的实施时机，可不做具体限定。
下面对本公开方案自动融合，得到样本道路图像的图像标注信息的过程，进行解释说明。
参见图4，示出了本公开中获得样本道路图像的图像标注信息的流程示意图。可以包括以下步骤：
S301，将当前样本障碍物信息的障碍物点的坐标从障碍物检测设备坐标系转换到所述当前样本障碍物信息对应的样本道路图像的图像像素坐标系，得到所述障碍物点在所述图像像素坐标系中的坐标。
本公开方案中，在进行样本障碍物信息和样本道路图像融合时，可以先进行坐标转换，在样本道路图像对应的图像像素坐标系中，确定出样本障碍物信息的每个障碍物点的坐标。具体过程可以包括：
1.可以预先构建世界坐标系O-XYZ、障碍物检测设备坐标系Or-XrYrZr、图像采集设备坐标系Ot-XtYtZt、以及每帧样本道路图像对应的图像像素坐标系Om-XmYm。
作为一种示例，可以根据右手法则建立世界坐标系O-XYZ，例如，以车头中心垂直于地面的位置作为世界坐标系原点，车身向右方向作为X轴正方向，车身前向方向作为Y轴正方向，垂直于地面向上方向作为Z轴正方向。
作为一种示例，可以根据右手法则建立障碍物检测设备坐标系Or-XrYrZr，例如，以障碍物检测设备中心为原点，X轴、Y轴、Z轴方向满足右手法则。可以理解地，障碍物检测设备可用于采集样本障碍物信息。
作为一种示例，可以根据右手法则建立图像采集设备坐标系Ot-XtYtZt，例如，以图像采集设备中心为原点，X轴、Y轴、Z轴方向满足右手法则。可以理解地，图像采集设备可用于采集样本道路图像。
作为一种示例，样本道路图像对应的图像像素坐标系Om-XmYm，可以样本道路图像左上角为原点，水平向右作为X轴正方向，垂直向下作为Y轴正方向。可以据此为每帧样本道路图像构建对应的图像像素坐标系，像素点的横坐标为其在X轴方向上距离原点的像素点个数，纵坐标为其在Y轴方向上距离原点的像素点个数。
可以理解地，建立坐标系遵循的法则、各坐标系的原点、各轴的正向朝向等，可以结合实际使用需求设置，本公开方案对此可不做具体限定。
2.将当前样本障碍物信息的障碍物点的坐标从障碍物检测设备坐标系转换到世界坐标系。
首先，可以标定障碍物检测设备相对于世界坐标系的旋转矩阵Rr、平移矩阵Tr。
作为一种示例，可以先在车前放置k个障碍物，k≥4；然后测量得到k个障碍物在世界坐标系中的坐标，以及k个障碍物在障碍物检测设备坐标系中的坐标；最后基于刚体变换(英文：Rigid Transformation)原则，利用测量得到的坐标，计算出障碍物检测设备相对于世界坐标系的旋转矩阵Rr、平移矩阵Tr。需要说明的是，Rr为3*3的矩阵，Tr为3*1的矩阵，共有12个未知数，考虑到一个点对应3个方程，因此k的取值不小于4。
其次，基于旋转矩阵Rr、平移矩阵Tr，进行坐标转换。
以障碍物检测设备为毫米波雷达为例，可以检测得到如下障碍物相关的数据：车前障碍物的相对水平速度Vh、垂直速度Vv、方位角α、直线距离D等数据，则障碍物点A1在障碍物检测设备坐标系中的坐标(xr,yr,zr)可以由如下公式2计算得到：
(xr,yr,zr)＝(D*sin(α),D*cosα)，0) 公式2
基于标定得到的旋转矩阵Rr、平移矩阵Tr，根据刚体变换原则可以计算得到障碍物点A1在世界坐标系中的坐标(x1,y1,z1)，具体可参见如下公式3：
(x1，y1，z1)＝Rr*(xr，yr，zr)+Tr 公式3
需要说明的是，障碍物检测设备安装在车辆上以后，在不发生移动的情况下，障碍物检测设备到地面的距离通常是固定的，例如距离为30cm；此外，障碍物检测设备检测到的道路上固定安装的设施，例如，电线杆、护栏等设施上的障碍物点到地面的距离通常也是固定的，若要得到道路的可通行区域，首先需要确定出地面障碍物的位置，故，可以将公式3计算得到的障碍物点的Z轴坐标设置为0，即，确定出障碍物点A1对应于地面障碍物坐标为(x1,y1,0)。
3.将当前样本障碍物信息的障碍物点的坐标从世界坐标系转换到当前样本障碍物信息对应的样本道路图像的图像像素坐标系。
首先，可以标定出图像采集设备的内参Kc、外参Rc、Tc。其中，Rc为图像采集设备坐标系相对于世界坐标系的旋转矩阵，Tc为图像采集设备坐标系相对于世界坐标系的平移矩阵。具体可参照相关技术进行内参和外参的标定，例如张正友标定法、最小二乘法等，本公开方案对此不做详述。
其次，基于旋转矩阵Rc、平移矩阵Tc，利用相机小孔成像模型进行坐标转换。
得到障碍物点A1在世界坐标系中的坐标A1(x1,y1,0)后，可以根据相机小孔成像模型得到的公式4，计算坐标A1(x1,y1,0)在图像像素坐标系中的坐标B1(u1,v1)。其中，S是尺度因子，为障碍物检测设备的安装高度。
综上，便可得到样本障碍物信息中每个障碍物点在图像像素坐标系中的坐标，绘制出图3所示示例图，图中每个点表示一个障碍物点。
S302，利用所述障碍物点在所述图像像素坐标系中的坐标进行曲线拟合，得到所述样本道路图像的可通行区域与非可通行区域的分界线。
将样本障碍物信息的所有障碍物点映射到样本道路图像后，可以通过曲线拟合的方式，获得样本道路图像的可通行区域与非可通行区域的分界线。作为一种示例，曲线拟合方法可以体现为最小二乘法、拉格朗日插值法等，本公开方案对此可不做具体限定。
S303，将所述分界线划分出的靠近车辆的区域确定为可通行区域，得到所述样本道路图像的图像标注信息。
获得样本道路图像的可通行区域与非可通行区域的分界线后，分界线可以将样本道路图像划分为两个区域，可以将靠近车辆的区域，确定为可通行区域，还可将该区域内的所有像素点的类别标签设置为1；可以将远离车辆的区域，确定为非可通行区域，还可将该区域内的所有像素点的类别标签设置为0。
需要说明的是，在实际应用过程中，障碍物检测设备对远处障碍物的检测结果可能不是很准，可能会检测到一些障碍物噪点，例如，雨雪天气时，可能会将雨点、雪花等非真实的障碍物识别为障碍物，针对于此，可以结合分界线和消隐线来确定可通行区域。
对于消隐线，可做如下说明：真实世界中两条平行线在道路图像中相交于一点，该点可称为消隐点，所有消隐点在道路图像中连成的线可称为消隐线。通常，消隐线只与图像采集设备的安装位置、图像采集设备的外参相关，一旦图像采集设备安装好，消隐线在道路图像中的位置也就确定好了。
参见图5所示示例图，W点就是其中的一个障碍物噪点，导致拟合得到的分界线有部分位于消隐线上方，即，分界线并不是全部位于消隐线一侧，为了尽量消除障碍物噪点，可做如下处理：判断分界线是否全部位于消隐线一侧；如果否，则将分界线和消隐线划分出的靠近车辆的区域确定为可通行区域，得到样本道路图像的图像标注信息。即，可以综合分界线和消隐线将样本道路图像划分为两个区域，以图5为例，通过消隐线去掉了位于消隐线上方的部分分界线。
可以理解地，融合到样本道路图像中的障碍物点数量越多，拟合描绘出的边界线就会越精确。针对于此，本公开提供如下障碍物点叠加方案，用以提高边界线的精准度。
首先，确定至少两个可叠加的样本障碍物信息。
由上文介绍可知，两帧样本道路图像的拍摄间隔较短，相邻帧之间包含的障碍物相差不会太大，故本公开方案可以将采集时间连续的至少两个样本障碍物信息，融合到同一帧样本道路图像中。例如，可以基于当前样本障碍物信息的采集时间，选取N个叠加样本障碍物信息，使N个叠加样本障碍物信息与当前样本障碍物信息的采集时间连续即可，N≥1。
其次，进行坐标转换，得到各叠加样本障碍物信息的障碍物点，在当前样本障碍物信息对应的样本道路图像的图像像素坐标系中的坐标。
当前样本障碍物信息的采集时间为T1，对应的世界坐标系为O1-X1Y1Z1；某个叠加样本障碍物信息的采集时间为T2，对应的世界坐标系为O2-X2Y2Z2；Δt为采集时间T1与采集时间T2之间的时间差。
对于障碍物点A1来说，在两个世界坐标系中的坐标分别为A1(x1,y1,0)、A′1(x2,y2,0)，二者位移差为ΔA1(Δx,Δy,0)，若能确定出Δx、Δy，便可基于公式5计算得到叠加样本障碍物信息中的障碍物点A1，在当前样本障碍物信息对应的样本道路图像的图像像素坐标系内的坐标B′1(u′1，v′1)。
举例来说，如果车辆在Y轴方向上有位移，例如，车辆匀速向前行驶，且在Y轴方向的行驶速度为vy，则障碍物点A1在两个世界坐标系的坐标只有Y轴方向上的位移差，即Δx＝0。对应于此，可以利用公式(vy*Δt)计算Δy；或者，也可以利用惯导、GPS、北斗等定位设备获取车辆在T1、T2两个时刻的位置，并相减得到Δy。
举例来说，如果车辆在X轴方向上有位移，例如，车辆在行驶过程中变道、拐弯等，且在X轴方向的行驶速度为vx，亦可通过公式(vx*Δt)或者定位设备等方式，计算得到Δx。
综上，可以得到N个叠加样本障碍物信息中每个障碍物点，在当前样本障碍物信息对应的样本道路图像的图像像素坐标系中的坐标。
进而，便可利用当前样本障碍物信息的障碍物点、N个叠加样本障碍物信息的障碍物点，在同一个样本道路图像的图像像素坐标系中的坐标，叠加处理后再进行曲线拟合，得到该样本道路图像的分界线。
以当前样本障碍物信息、当前样本障碍物信息前一次、后一次检测到的样本障碍物信息为例，进行叠加后的效果如图6所示，由图可知，可以明显增强障碍物点的密度，提高分界线的精准度。其中，当前样本障碍物信息的障碍物点可以用“○”表示，前一次样本障碍物信息的障碍物点可以用“△”表示，后一次样本障碍物信息的障碍物点可以用“☆”表示，本公开方案对此可不做具体限定。
如上文所做介绍，在实际应用过程中不需对车辆远处的区域进行精细标注，故将远处区域标注为非可通行区域的准确性相对较高；此外，障碍物检测设备能够较为精准的检测车辆近处的障碍物，故将近处区域标注为可通行区域的准确性也相对较高。与上面两个区域相比，边界线附近的区域受障碍物检测设备的检测误差、拟合精准度等因素的影响，标注的准确性相对较低。针对于此，为了提高样本道路图像的整体标注准确性，可以将分界线附近的区域确定为混淆区域，即，样本道路图像可划分出图7所示可通行区域、混淆区域、非可通行区域。
本公开方案中，可以按照以下方法确定混淆区域：将障碍物点作为起点，向前和/或向后辐射出的区域确定为混淆区域。
作为一种示例，以障碍物点为起点，向前和/或向后辐射出的区域，可以以障碍物点作为圆点，按照预设半径向前和/或向后辐射出的区域；或者，可以是在障碍物点与车辆的连线方向上，以障碍物点为起点，向前和/或向后取预设数目的混淆点后，由障碍物点和混淆点确定出的区域。本公开方案对确定混淆区域的具体方式可不做限定。
举例来说，以障碍物点为起点，向前取的混淆点，可以是靠近非可通行区域的方向；向后取的混淆点，可以是靠近可通行区域的方向。可以理解地，两个方向上的混淆点数目可以相同；或者，考虑到距离车辆越远，障碍物检测的精准度越差，可以将精准度差的方向，即靠近非可通行区域方向的混淆点数目设置的稍多一些，本公开方案对此可不做具体限定。此外，相邻点之间的距离，可以是等间距设置，也可以是非等间距设置，本公开方案对此亦可不做具体限定。
此外，对于混淆区域的范围，还可做如下解释说明：通常，障碍物检测设备到障碍物的直线距离越小，检测精准度越高，混淆区域的范围就越小；反之，混淆区域的范围就越大。例如，障碍物检测设备到障碍物的直线距离为10m，混淆区域的范围可以设置为2m，即，混淆区域的两个边界点，在障碍物点与车辆的连线方向上的距离不超过2m。再例如，障碍物检测设备到障碍物的直线距离为100m，混淆区域的范围可以设置为10m。本公开方案对混淆区域的范围可不做具体限定，可由实际应用需求而定。
由上文介绍可知，可通行区域、非可通行区域的标注准确性较高，混淆区域的标注准确性较低，故在模型训练计算损失函数时，可以提高可通行区域和非可通行区域的作用，即，将位于可通行区域、非可通行区域内的像素点的权重设置为1；还可以降低混淆区域的作用，即，将位于混淆区域内的像素点的权重设置为小于1。
作为一种示例，可以将混淆区域内所有像素点的权重设置为相同值，只要小于1即可，例如权重均设置为0.7；或者，根据实际应用情况，亦可将混淆区域内像素点的权重设置为不同值，例如，靠近混淆区域两侧的像素点的权重小于靠近混淆区域中心的像素点的权重；或者，考虑到越靠近可通行区域、非可通行区域，标注的准确性就越高，还可以使靠近混淆区域两侧的像素点的权重大于靠近混淆区域中心的像素点的权重，本公开方案对此可不做具体限定。以图8所示示意图为例，中间位置的像素点的权重可以设置为0.5，两侧位置的像素点的权重可以设置为0.8。
参见图9，示出了本公开可通行区域检测装置的构成示意图。所述装置可以包括：
道路图像获取模块401，用于获取车辆所在道路的道路图像；
模型处理模块402，用于将所述道路图像作为输入，经由可通行区域检测模型处理，确定出所述道路图像的可通行区域；其中，用于构建所述可通行区域检测模型的图像标注信息由样本障碍物信息和样本道路图像融合得到，所述样本障碍物信息为能够表示障碍物的障碍物点，所述图像标注信息用于标识所述样本道路图像的可通行区域和非可通行区域；
可通行区域确定模块403，用于基于所述道路图像的可通行区域，确定出所述车辆所在道路的可通行区域。
可选地，所述装置还包括：
障碍物信息获取模块，用于获取所述样本障碍物信息和所述样本障碍物信息的采集时间；
道路图像获取模块，用于获取所述样本道路图像和所述样本道路图像的采集时间；
对应关系确定模块，用于为每个样本障碍物信息确定一个对应的样本道路图像，具有对应关系的样本障碍物信息的采集时间与样本道路图像的采集时间之间的间隔不超过预设时长；
图像标注信息得到模块，用于将各样本障碍物信息融合到该样本障碍物信息对应的样本道路图像中，得到所述样本道路图像的图像标注信息；
拓扑结构确定模块，用于确定所述可通行区域检测模型的拓扑结构；
模型训练模块，用于基于所述拓扑结构，利用各样本道路图像以及该样本道路图像的图像标注信息，训练得到所述可通行区域检测模型。
可选地，预先构建障碍物检测设备坐标系、以及每帧样本道路图像对应的图像像素坐标系，则
所述图像标注信息得到模块包括：
坐标转换模块，用于将当前样本障碍物信息的障碍物点的坐标从所述障碍物检测设备坐标系转换到所述当前样本障碍物信息对应的样本道路图像的图像像素坐标系，得到所述障碍物点在所述图像像素坐标系中的坐标；
曲线拟合模块，用于利用所述障碍物点在所述图像像素坐标系中的坐标进行曲线拟合，得到所述样本道路图像的可通行区域与非可通行区域的分界线；
图像标注信息得到子模块，用于将所述分界线划分出的靠近车辆的区域确定为可通行区域，得到所述样本道路图像的图像标注信息。
可选地，所述装置还包括：
叠加样本障碍物信息选取模块，用于基于所述当前样本障碍物信息的采集时间，选取N个叠加样本障碍物信息，所述N个叠加样本障碍物信息与所述当前样本障碍物信息的采集时间连续，N≥1；
叠加样本障碍物信息转换模块，用于将所述N个叠加样本障碍物信息的障碍物点的坐标从所述障碍物检测设备坐标系转换到所述当前样本障碍物信息对应的样本道路图像的图像像素坐标系，得到所述N个叠加样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标；
所述曲线拟合模块，用于利用所述当前障碍物信息的障碍物点在所述图像像素坐标系中的坐标、以及所述N个叠加样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标，叠加处理后进行曲线拟合，得到所述样本道路图像的分界线。
可选地，所述装置还包括：
消隐线判断模块，用于判断所述分界线是否全部位于消隐线一侧，所述消隐线的位置由采集所述样本道路图像的图像采集设备的安装位置以及外参确定；如果否，则将所述分界线和所述消隐线划分出的靠近车辆的区域，确定为可通行区域，得到所述样本道路图像的图像标注信息。
可选地，所述样本道路图像中划分出可通行区域和非可通行区域，则在利用所述样本道路图像的像素点计算所述可通行区域检测模型的损失函数时，所述样本道路图像的可通行区域和非可通行区域中的像素点的权重为1；
或者，
所述样本道路图像中划分出可通行区域和非可通行区域，且所述可通行区域与所述非可通行区域的分界线处设置有混淆区域，则在利用所述样本道路图像的像素点计算所述可通行区域检测模型的损失函数时，所述样本道路图像的可通行区域和非可通行区域中的像素点的权重为1；所述样本道路图像的混淆区域中的像素点的权重小于1。
可选地，如果所述样本道路图像中设置有混淆区域，所述装置还包括：
混淆区域确定模块，用于将所述障碍物点作为起点，向前和/或向后辐射出的区域确定为所述混淆区域。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
参见图10，示出了本公开用于可通行区域检测的电子设备500的结构示意图。参照图10，电子设备500包括处理组件501，其进一步包括一个或多个处理器，以及由存储介质502所代表的存储设备资源，用于存储可由处理组件501的执行的指令，例如应用程序。存储介质502中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件501被配置为执行指令，以执行上述可通行区域检测方法。
电子设备500还可以包括一个电源组件503，被配置为执行电子设备500的电源管理；一个有线或无线网络接口504，被配置为将电子设备500连接到网络；和一个输入输出(I/O)接口505。电子设备500可以操作基于存储在存储介质502的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (16)
1.一种可通行区域检测方法，其特征在于，所述方法包括：
获取车辆所在道路的道路图像，并将所述道路图像作为输入，经由可通行区域检测模型处理，确定出所述道路图像的可通行区域；其中，用于构建所述可通行区域检测模型的图像标注信息由样本障碍物信息和样本道路图像融合得到，所述样本障碍物信息为能够表示障碍物的障碍物点，所述图像标注信息用于标识所述样本道路图像的可通行区域和非可通行区域，且在所述可通行区域与所述非可通行区域的分界线处设有混淆区域，在利用所述样本道路图像的像素点计算所述可通行区域检测模型的损失函数时，混淆区域中的像素点的权重小于可通行区域及非可通行区域中的像素点的权重；
基于所述道路图像的可通行区域，确定出所述车辆所在道路的可通行区域。
2.根据权利要求1所述的方法，其特征在于，构建所述可通行区域检测模型的方式为：
获取所述样本障碍物信息和所述样本障碍物信息的采集时间，以及所述样本道路图像和所述样本道路图像的采集时间；
为每个样本障碍物信息确定一个对应的样本道路图像，具有对应关系的样本障碍物信息的采集时间与样本道路图像的采集时间之间的间隔不超过预设时长；
将各样本障碍物信息融合到该样本障碍物信息对应的样本道路图像中，得到所述样本道路图像的图像标注信息；
确定所述可通行区域检测模型的拓扑结构；
基于所述拓扑结构，利用各样本道路图像以及该样本道路图像的图像标注信息，训练得到所述可通行区域检测模型。
3.根据权利要求2所述的方法，其特征在于，预先构建障碍物检测设备坐标系、以及每帧样本道路图像对应的图像像素坐标系，则
所述将各样本障碍物信息融合到该样本障碍物信息对应的样本道路图像中，得到所述样本道路图像的图像标注信息，包括：
将当前样本障碍物信息的障碍物点的坐标从所述障碍物检测设备坐标系转换到所述当前样本障碍物信息对应的样本道路图像的图像像素坐标系，得到所述障碍物点在所述图像像素坐标系中的坐标；
利用所述障碍物点在所述图像像素坐标系中的坐标进行曲线拟合，得到所述样本道路图像的可通行区域与非可通行区域的分界线；
将所述分界线划分出的靠近车辆的区域确定为可通行区域，得到所述样本道路图像的图像标注信息。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
基于所述当前样本障碍物信息的采集时间，选取N个叠加样本障碍物信息，所述N个叠加样本障碍物信息与所述当前样本障碍物信息的采集时间连续，N≥1；
将所述N个叠加样本障碍物信息的障碍物点的坐标从所述障碍物检测设备坐标系转换到所述当前样本障碍物信息对应的样本道路图像的图像像素坐标系，得到所述N个叠加样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标；
则，所述利用所述障碍物点在所述图像像素坐标系中的坐标进行曲线拟合，得到所述样本道路图像的可通行区域与非可通行区域的分界线，包括：
利用所述当前样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标、以及所述N个叠加样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标，叠加处理后进行曲线拟合，得到所述样本道路图像的分界线。
5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：
判断所述分界线是否全部位于消隐线一侧，所述消隐线的位置由采集所述样本道路图像的图像采集设备的安装位置以及外参确定；
如果否，则将所述分界线和所述消隐线划分出的靠近车辆的区域，确定为可通行区域，得到所述样本道路图像的图像标注信息。
6.根据权利要求1至5任一项所述的方法，其特征在于，
所述样本道路图像的可通行区域和非可通行区域中的像素点的权重为1；所述样本道路图像的混淆区域中的像素点的权重小于1。
7.根据权利要求6所述的方法，其特征在于，如果所述样本道路图像中设置有混淆区域，则设置所述混淆区域的方式为：
将所述障碍物点作为起点，向前和/或向后辐射出的区域确定为所述混淆区域。
8.一种可通行区域检测装置，其特征在于，所述装置包括：
道路图像获取模块，用于获取车辆所在道路的道路图像；
模型处理模块，用于将所述道路图像作为输入，经由可通行区域检测模型处理，确定出所述道路图像的可通行区域；其中，用于构建所述可通行区域检测模型的图像标注信息由样本障碍物信息和样本道路图像融合得到，所述样本障碍物信息为能够表示障碍物的障碍物点，所述图像标注信息用于标识所述样本道路图像的可通行区域和非可通行区域，且在所述可通行区域与所述非可通行区域的分界线处设有混淆区域，在利用所述样本道路图像的像素点计算所述可通行区域检测模型的损失函数时，混淆区域中的像素点的权重小于可通行区域及非可通行区域中的像素点的权重；
可通行区域确定模块，用于基于所述道路图像的可通行区域，确定出所述车辆所在道路的可通行区域。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
障碍物信息获取模块，用于获取所述样本障碍物信息和所述样本障碍物信息的采集时间；
道路图像获取模块，用于获取所述样本道路图像和所述样本道路图像的采集时间；
对应关系确定模块，用于为每个样本障碍物信息确定一个对应的样本道路图像，具有对应关系的样本障碍物信息的采集时间与样本道路图像的采集时间之间的间隔不超过预设时长；
图像标注信息得到模块，用于将各样本障碍物信息融合到该样本障碍物信息对应的样本道路图像中，得到所述样本道路图像的图像标注信息；
拓扑结构确定模块，用于确定所述可通行区域检测模型的拓扑结构；
模型训练模块，用于基于所述拓扑结构，利用各样本道路图像以及该样本道路图像的图像标注信息，训练得到所述可通行区域检测模型。
10.根据权利要求9所述的装置，其特征在于，预先构建障碍物检测设备坐标系、以及每帧样本道路图像对应的图像像素坐标系，则
所述图像标注信息得到模块包括：
坐标转换模块，用于将当前样本障碍物信息的障碍物点的坐标从所述障碍物检测设备坐标系转换到所述当前样本障碍物信息对应的样本道路图像的图像像素坐标系，得到所述障碍物点在所述图像像素坐标系中的坐标；
曲线拟合模块，用于利用所述障碍物点在所述图像像素坐标系中的坐标进行曲线拟合，得到所述样本道路图像的可通行区域与非可通行区域的分界线；
图像标注信息得到子模块，用于将所述分界线划分出的靠近车辆的区域确定为可通行区域，得到所述样本道路图像的图像标注信息。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
叠加样本障碍物信息选取模块，用于基于所述当前样本障碍物信息的采集时间，选取N个叠加样本障碍物信息，所述N个叠加样本障碍物信息与所述当前样本障碍物信息的采集时间连续，N≥1；
叠加样本障碍物信息转换模块，用于将所述N个叠加样本障碍物信息的障碍物点的坐标从所述障碍物检测设备坐标系转换到所述当前样本障碍物信息对应的样本道路图像的图像像素坐标系，得到所述N个叠加样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标；
所述曲线拟合模块，用于利用所述当前样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标、以及所述N个叠加样本障碍物信息的障碍物点在所述图像像素坐标系中的坐标，叠加处理后进行曲线拟合，得到所述样本道路图像的分界线。
12.根据权利要求10或11所述的装置，其特征在于，所述装置还包括：
消隐线判断模块，用于判断所述分界线是否全部位于消隐线一侧，所述消隐线的位置由采集所述样本道路图像的图像采集设备的安装位置以及外参确定；如果否，则将所述分界线和所述消隐线划分出的靠近车辆的区域，确定为可通行区域，得到所述样本道路图像的图像标注信息。
13.根据权利要求8至12任一项所述的装置，其特征在于，
所述样本道路图像的可通行区域和非可通行区域中的像素点的权重为1；所述样本道路图像的混淆区域中的像素点的权重小于1。
14.根据权利要求13所述的装置，其特征在于，如果所述样本道路图像中设置有混淆区域，所述装置还包括：
混淆区域确定模块，用于将所述障碍物点作为起点，向前和/或向后辐射出的区域确定为所述混淆区域。
15.一种存储介质，其中存储有多条指令，其特征在于，所述指令由处理器加载，执行权利要求1至7任一项所述方法的步骤。
16.一种电子设备，其特征在于，所述电子设备包括：
权利要求15所述的存储介质；以及
处理器，用于执行所述存储介质中的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711207223.5A CN108256413B (zh) | 2017-11-27 | 2017-11-27 | 可通行区域检测方法及装置、存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711207223.5A CN108256413B (zh) | 2017-11-27 | 2017-11-27 | 可通行区域检测方法及装置、存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108256413A CN108256413A (zh) | 2018-07-06 |
| CN108256413B true CN108256413B (zh) | 2022-02-25 |
Family
ID=62721621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711207223.5A Active CN108256413B (zh) | 2017-11-27 | 2017-11-27 | 可通行区域检测方法及装置、存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108256413B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109726627B (zh) * | 2018-09-29 | 2021-03-23 | 初速度（苏州）科技有限公司 | 一种神经网络模型训练及通用接地线的检测方法 |
| CN109543600A (zh) * | 2018-11-21 | 2019-03-29 | 成都信息工程大学 | 一种实现可行驶区域检测方法及系统和应用 |
| CN111369566B (zh) * | 2018-12-25 | 2023-12-05 | 杭州海康威视数字技术股份有限公司 | 确定路面消隐点位置的方法、装置、设备及存储介质 |
| CN111444749B (zh) * | 2019-01-17 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 路面导向标志的识别方法、装置及存储介质 |
| CN109886125A (zh) * | 2019-01-23 | 2019-06-14 | 青岛慧拓智能机器有限公司 | 一种构建道路检测模型的方法及道路检测方法 |
| CN111767761A (zh) * | 2019-04-01 | 2020-10-13 | 北京地平线机器人技术研发有限公司 | 可移动设备的行驶区域的确定方法、确定装置及电子设备 |
| CN110599089B (zh) * | 2019-08-30 | 2020-11-03 | 北京三快在线科技有限公司 | 隔离带位置确定方法、装置、存储介质和电子设备 |
| CN110866504B (zh) * | 2019-11-20 | 2023-10-17 | 北京百度网讯科技有限公司 | 标注数据的获取方法、装置和设备 |
| CN110929792B (zh) * | 2019-11-27 | 2024-05-24 | 深圳市商汤科技有限公司 | 图像标注方法、装置、电子设备及存储介质 |
| CN111079634B (zh) * | 2019-12-12 | 2024-02-02 | 徐工集团工程机械股份有限公司 | 车辆行驶中检测障碍物的方法、装置、系统及车辆 |
| CN111044993B (zh) * | 2019-12-27 | 2021-11-05 | 歌尔股份有限公司 | 一种基于激光传感器的slam地图校准方法和装置 |
| CN111552289B (zh) * | 2020-04-28 | 2021-07-06 | 苏州高之仙自动化科技有限公司 | 检测方法及虚拟雷达装置、电子设备、存储介质 |
| CN112639821B (zh) * | 2020-05-11 | 2021-12-28 | 华为技术有限公司 | 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆 |
| CN111429386B (zh) * | 2020-06-11 | 2020-09-25 | 北京云迹科技有限公司 | 图像处理方法、装置和电子设备 |
| CN112163446B (zh) * | 2020-08-12 | 2023-04-28 | 浙江吉利汽车研究院有限公司 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN114279451B (zh) * | 2020-09-28 | 2024-09-03 | 阿里巴巴集团控股有限公司 | 导航方法、装置、电子设备及存储介质 |
| CN112308052B (zh) * | 2020-12-29 | 2021-08-17 | 智道网联科技(北京)有限公司 | 一种道路异常区域检测方法、装置、电子设备及存储介质 |
| CN114419592A (zh) * | 2022-01-18 | 2022-04-29 | 长沙慧联智能科技有限公司 | 一种道路区域识别方法、自动驾驶控制方法及装置 |
| CN115965682B (zh) * | 2022-12-16 | 2023-09-01 | 镁佳(北京)科技有限公司 | 一种车辆可通行区域确定方法、装置及计算机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102303605A (zh) * | 2011-06-30 | 2012-01-04 | 中国汽车技术研究中心 | 基于多传感器信息融合的碰撞及偏离预警装置及预警方法 |
| CN106503653A (zh) * | 2016-10-21 | 2017-03-15 | 深圳地平线机器人科技有限公司 | 区域标注方法、装置和电子设备 |
| CN107133988A (zh) * | 2017-06-06 | 2017-09-05 | 科大讯飞股份有限公司 | 车载全景环视系统中摄像头的标定方法及标定系统 |
| CN107161141A (zh) * | 2017-03-08 | 2017-09-15 | 深圳市速腾聚创科技有限公司 | 无人驾驶汽车系统及汽车 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100067806A1 (en) * | 2008-09-12 | 2010-03-18 | Halberd Match Corp. | System and method for pleographic recognition, matching, and identification of images and objects |
| CN101975951B (zh) * | 2010-06-09 | 2013-03-20 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
| CN104850834A (zh) * | 2015-05-11 | 2015-08-19 | 中国科学院合肥物质科学研究院 | 基于三维激光雷达的道路边界检测方法 |
| KR102592076B1 (ko) * | 2015-12-14 | 2023-10-19 | 삼성전자주식회사 | 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치 |
| CN106485233B (zh) * | 2016-10-21 | 2020-01-17 | 深圳地平线机器人科技有限公司 | 可行驶区域检测方法、装置和电子设备 |
-
2017
- 2017-11-27 CN CN201711207223.5A patent/CN108256413B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102303605A (zh) * | 2011-06-30 | 2012-01-04 | 中国汽车技术研究中心 | 基于多传感器信息融合的碰撞及偏离预警装置及预警方法 |
| CN106503653A (zh) * | 2016-10-21 | 2017-03-15 | 深圳地平线机器人科技有限公司 | 区域标注方法、装置和电子设备 |
| CN107161141A (zh) * | 2017-03-08 | 2017-09-15 | 深圳市速腾聚创科技有限公司 | 无人驾驶汽车系统及汽车 |
| CN107133988A (zh) * | 2017-06-06 | 2017-09-05 | 科大讯飞股份有限公司 | 车载全景环视系统中摄像头的标定方法及标定系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于3D激光雷达道路边缘实时检测算法的研究与实现;李强等;《计算机应用与软件》;20171031;第219-222页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108256413A (zh) | 2018-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108256413B (zh) | 可通行区域检测方法及装置、存储介质、电子设备 | |
| US11885910B2 (en) | Hybrid-view LIDAR-based object detection | |
| CN110531376B (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
| US11288521B2 (en) | Automated road edge boundary detection | |
| US10970542B2 (en) | Scalable three dimensional object segmentation | |
| KR102420476B1 (ko) | 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
| US20190310651A1 (en) | Object Detection and Determination of Motion Information Using Curve-Fitting in Autonomous Vehicle Applications | |
| US20200041284A1 (en) | Map road marking and road quality collecting apparatus and method based on adas system | |
| CN103176185B (zh) | 用于检测道路障碍物的方法及系统 | |
| JP5435306B2 (ja) | 画像処理システム及び位置測位システム | |
| CN110705458B (zh) | 边界检测方法及装置 | |
| CN111967360B (zh) | 基于车轮的目标车辆姿态检测方法 | |
| KR20170126909A (ko) | 자율 주행을 위한 약도 | |
| KR20200001471A (ko) | 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
| CN113085896B (zh) | 一种现代有轨清洁车辅助自动驾驶系统及方法 | |
| Fernández et al. | Free space and speed humps detection using lidar and vision for urban autonomous navigation | |
| CN116778748A (zh) | 基于深度学习的车辆转弯盲区智能预警方法 | |
| CN110727269B (zh) | 车辆控制方法及相关产品 | |
| CN114170499A (zh) | 目标检测方法、跟踪方法、装置、视觉传感器和介质 | |
| CN114842660B (zh) | 一种无人车道路轨迹预测方法、装置和电子设备 | |
| WO2022246851A1 (zh) | 基于航测数据的自动驾驶感知系统测试方法、系统及存储介质 | |
| JP5177579B2 (ja) | 画像処理システム及び位置測位システム | |
| CN112530270B (zh) | 一种基于区域分配的建图方法及装置 | |
| Jarnea et al. | Advanced driver assistance system for overtaking maneuver on a highway | |
| CN112446234B (zh) | 一种基于数据关联的位置确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |