CN109858309A - 一种识别道路线的方法和装置 - Google Patents

一种识别道路线的方法和装置 Download PDF

Info

Publication number
CN109858309A
CN109858309A CN201711237254.5A CN201711237254A CN109858309A CN 109858309 A CN109858309 A CN 109858309A CN 201711237254 A CN201711237254 A CN 201711237254A CN 109858309 A CN109858309 A CN 109858309A
Authority
CN
China
Prior art keywords
pixel
road
neural network
model
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711237254.5A
Other languages
English (en)
Other versions
CN109858309B (zh
Inventor
田欢
胡骏
程帅
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shanghai Co Ltd
Original Assignee
Neusoft Technology (shanghai) Co Ltd
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Technology (shanghai) Co Ltd, Neusoft Corp filed Critical Neusoft Technology (shanghai) Co Ltd
Priority to CN201711237254.5A priority Critical patent/CN109858309B/zh
Priority to JP2018092378A priority patent/JP6572345B2/ja
Priority to US15/981,916 priority patent/US10748013B2/en
Priority to DE102018113992.6A priority patent/DE102018113992A1/de
Publication of CN109858309A publication Critical patent/CN109858309A/zh
Application granted granted Critical
Publication of CN109858309B publication Critical patent/CN109858309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种识别道路线的方法和装置。所述方法包括：获取车辆周围的当前道路图像；将所述当前道路图像输入到深度学习模型中，并基于所述深度学习模型的输出结果，确定所述当前道路图像中的道路线区域。该深度学习模型在卷积神经网络的基础上增加了递归神经网络。由于递归神经网络能够针对输入的每个像素点的图像特征输出每个像素点的处理结果，因此，道路图像中像素点级别的图像特征得以保留，道路图像中的道路线的空间特征得以体现，从而使得道路线残缺、道路线被部分遮挡、道路线处于剧烈变换环境中等各种环境下的道路线都能够被准确地、有效地识别出来。

Description

一种识别道路线的方法和装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种识别道路线的方法和装置。
背景技术
随着智能化系统被应用到车辆驾驶领域中，越来越多的车辆上配置了能够实现自动驾驶功能或辅助驾驶功能的智能系统。为了实现自动驾驶功能或辅助驾驶功能，车辆上的智能系统通常需要从车辆周围的道路图像中识别出道路线，以确定车辆附近的行驶车道，从而指导车辆的驾驶。作为一种机器学习模型，神经网络目前已经被应用到道路线识别技术中。但是，基于神经网络实现的现有识别方案，难以对各种不同环境下的道路线都准确地识别。尤其是，对于道路线残缺、道路线被部分遮挡、道路线所处的环境剧烈变换等特殊情况，现有识别方案难以有效地、准确地识别出道路线。
发明内容
本发明所要解决的技术问题是，提供一种识别道路线的方法和装置，以使得对道路图像处理时能够保留每个像素点的图像特征，从而实现道路线残缺、道路线被部分遮挡、道路线处于剧烈变换环境中等各种环境下的道路线都能够被准确地、有效地识别出来。
第一方面，为解决上述技术问题，本发明实施例提供了一种识别道路线的方法，包括：
获取车辆周围的当前道路图像；
将所述当前道路图像输入到深度学习模型中，并基于所述深度学习模型的输出结果，确定所述当前道路图像中的道路线区域；
其中，所述深度学习模型已基于历史道路图像与所述历史道路图像中已知的道路线区域之间的对应关系进行了训练；
所述深度学习模型包括第一模型单元和第二模型单元，所述第一模型单元的输出作为所述第二模型单元的输入；
所述第一模型单元至少包括一个第一模型子单元，所述第一模型子单元包括一个卷积神经网络和一个第一递归神经网络，所述卷积神经网络的输出作为所述第一递归神经网络的输入；
所述第二模型单元至少包括一个第二模型子单元，所述第二模型子单元包括一个反卷积神经网络和一个第二递归神经网络，所述反卷积神经网络的输出作为所述第二递归神经网络的输入。
在一些实施方式中，所述第一递归神经网络和所述第二递归神经网络均为双向长时间记忆网络。
在一些实施方式中，在所述第一模型子单元中，对于每个像素点，所述卷积神经网络针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第一序列，以用于输入所述第一递归神经网络；
在所述第二模型子单元中，对于每个像素点，所述反卷积神经网络针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第二序列，以用于输入所述第二递归神经网络。
在一些实施方式中，所述深度学习模型还包括第三递归神经网络；
对于包括所述当前道路图像在内的最近获取到的不同时刻下的多帧道路图像，以所述深度学习模型分别对各帧道路图像处理而在所述第二模型单元输出的结果组成第三序列，以用于输入所述第三递归神经网络。
第二方面，为解决上述技术问题，本发明实施例提供了一种识别道路线的装置，包括：
图像获取模块，用于获取车辆周围的当前道路图像；
模型处理模块，用于将所述当前道路图像输入到深度学习模型中，并基于所述深度学习模型的输出结果，确定所述当前道路图像中的道路线区域；
其中，所述深度学习模型已基于历史道路图像与所述历史道路图像中已知的道路线区域之间的对应关系进行了训练；
所述深度学习模型包括第一模型单元和第二模型单元，所述第一模型单元的输出作为所述第二模型单元的输入；
所述第一模型单元至少包括一个第一模型子单元，所述第一模型子单元包括一个卷积神经网络和一个第一递归神经网络，所述卷积神经网络的输出作为所述第一递归神经网络的输入；
所述第二模型单元至少包括一个第二模型子单元，所述第二模型子单元包括一个反卷积神经网络和一个第二递归神经网络，所述反卷积神经网络的输出作为所述第二递归神经网络的输入。
在一些实施方式中，所述第一递归神经网络和所述第二递归神经网络均为双向长时间记忆网络。
在一些实施方式中，在所述第一模型子单元中，对于每个像素点，所述卷积神经网络针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第一序列，以用于输入所述第一递归神经网络；
在所述第二模型子单元中，对于每个像素点，所述反卷积神经网络针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第二序列，以用于输入所述第二递归神经网络。
在一些实施方式中，所述深度学习模型还包括第三递归神经网络；
对于包括所述当前道路图像在内的最近获取到的不同时刻下的多帧道路图像，以所述深度学习模型分别对各帧道路图像处理而在所述第二模型单元输出的结果组成第三序列，以用于输入所述第三递归神经网络。
第三方面，为解决上述技术问题，本发明实施例提供了一种识别道路线的设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行以上第一方面所述的识别道路线的方法。
第四方面，为解决上述技术问题，本发明实施例提供了一种存储介质：
所述存储介质用于存储程序代码，所述程序代码用于执行以上第一方面所述的识别道路线的方法。
与现有技术相比，本发明实施例具有以下优点：
在本发明实施例中，对于车辆周围的道路图像，使用深度学习模型对该道路图像中的道路线进行识别。该深度学习模型在卷积神经网络(英文：Convolutional NeuralNetwork，简称：CNN)的基础上增加了递归神经网络(英文：Recurrent Neural Network，简称：RNN)。由于递归神经网络能够针对输入的每个像素点的图像特征输出每个像素点的处理结果，因此，道路图像中每个像素点的图像特征得以保留，道路图像中的道路线的空间特征得以体现，从而使得道路线残缺、道路线被部分遮挡、道路线处于剧烈变换环境中等各种环境下的道路线都能够被准确地、有效地识别出来。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一应用场景所涉及的系统框架示意图；
图2为本发明实施例提供的一种识别道路线的方法的流程示意图；
图3a为本发明实施例提供的一种深度学习模型示例的结构示意图；
图3b为本发明实施例提供的另一种深度学习模型示例的结构示意图；
图4为本发明实施例提供的对卷积神经网络的输出结果进行特征变换的示意图；
图5为本发明实施例提供的针对像素点A形成第一序列的示意图；
图6为本发明实施例提供的又一种深度学习模型示例的结构示意图；
图7为本发明实施例提供的第三递归神经网络进行特征变换的流程示意图；
图8为本发明实施例提供的一种识别道路线的装置的结构示意图；
图9为本发明实施例提供的一种识别道路线的设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
发明人在研究中发现，已有的道路图像处理的方法为使用卷积神经网络对道路图像进行处理。但道路图像经过卷积神经网络的处理会使得图像的像素尺寸缩小，从而丢失一部分图像特征。具体地，在利用卷积神经网络对道路图像进行处理时，针对输入图像中包含多个像素点的图像区域，卷积神经网络会对应输出一个图像特征的结果，该图像特征的结果用来表征该图像区域的图像特征。例如，针对在卷积神经网络的输入图像中某一图像区域包含9个像素点，卷积神经网络处理后会输出一个点的图像特征，由该点的图像特征表征原输入图像中该图像区域的图像特征。这样，假设原输入图像原本具有9×n个像素点的图像特征，被卷积神经网络处理之后所得到的图像就仅剩余了n个点的图像特征，也就是说，图像的像素尺寸被缩小了9倍。由此可见，利用卷积神经网络对道路图像进行处理时，不能针对每一个像素点分别输出对应的图像特征，因此，在对道路图像进行处理的过程中就会丢失一些图像信息，从而导致利用卷积神经网络处理道路图像后识别的车道线信息不太准确。而递归神经网络在处理道路图像时，则可以针对每一个像素点分别输出对应的一个图像特征的结果，因此，原输入图像经过递归神经网络的处理后，所输出的图像与原输入图像相比像素尺寸保持不变，这样就可以避免丢失图像信息，从而弥补卷积神经网络的不足。
基于此，在本发明实施例中，对于车辆周围的道路图像，使用深度学习模型对该道路图像中的道路线进行识别。该深度学习模型在卷积神经网络的基础上增加了递归神经网络。由于递归神经网络能够针对输入的每个像素点的图像特征输出每个像素点的处理结果，因此，道路图像中每个像素点的图像特征得以保留，道路图像中的道路线的空间特征得以体现，从而使得道路线残缺、道路线被部分遮挡、道路线处于剧烈变换环境中等各种环境下的道路线都能够被准确地、有效地识别出来。
举例来说，本发明实施例的场景之一，可以是应用到如图1所示的系统中。所述系统例如可以是一种驾驶辅助系统，具体地，所述系统例如可以是车道线自动识别系统。所述系统中包括有处理设备101、显示设备102和拍摄设备103。在所述系统中，拍摄设备103可以拍摄车道的当前道路图像并将当前道路图像发送给处理设备101。处理设备101可以将所述当前道路图像输入到深度学习模型中，并基于所述深度学习模型输出结果，确定所述当前道路图像中的道路线区域。然后，处理设备101可以将已确定的道路线区域在当前道路图像中进行标识，并向显示设备102发送标识有道路线区域的当前道路图像，以便显示设备102进行显示。
需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
示例性方法
参见图2，示出了本发明实施例中提供的一种识别道路线的方法的流程示意图。本实施例提供的识别道路线的方法，包括如下步骤：
S201：获取车辆周围的当前道路图像。
在本实施例中，可以通过车辆的前视摄像头来拍摄车辆周围的当前道路，获取所述摄像头拍摄的图像作为车辆周围的当前道路图像。
考虑到车辆的前视摄像头拍摄的图像的范围可能比较大，若对所述摄像头拍摄的整个道路图像进行处理，一方面，待处理的道路图像数据量较大，一定程度上会影响道路图像处理的速度；另一方面，对于所述道路图像中距离车辆当前行驶位置较远的道路图像内容，对其进行处理并没有太大的意义。鉴于此，在一种可能的实施方式中，可以通过以下步骤来实现获取车辆周围的当前道路图像。
A：获取车辆摄取的当前周围图像。
B：从所述当前周围图像中截获车辆前方预置区域的图像作为所述当前道路图像。
作为一种示例，车辆前方的预置区域可以为车辆正前方的矩形区域，矩形区域的长和宽可以根据实际情况确定。例如，矩形区域的长可以基于车辆当前行驶的车速确定，矩形区域的宽可以基于车辆车身的宽度确定。此外，除了矩形区域之外，车辆前方的预置区域也可以为其他形状的区域，对此本实施例不具体限定。
S202：将所述当前道路图像输入到深度学习模型中，并基于所述深度学习模型输出结果，确定所述当前道路图像中的道路线区域。需要说明的是，本实施例中所述深度学习模型已基于历史道路图像与所述历史道路图像中已知的道路线区域之间的对应关系进行了训练。也就是说，若所述深度学习模型已经通过大量的历史数据进行了训练，则将当前道路图像输入该深度学习模型中，该深度学习模型就能够输出相应的结果，从而确定当前道路图像的道路线信息。
需要说明的是，将当前道路图像输入到深度学习模型中之后，该深度学习模型可以基于当前道路图像提取出各个像素点处的图像特征，即针对各个像素点输出相应的结果，由各个像素点的输出结果来确定当前道路图像的道路线信息。可以理解的是，所述深度学习模型输出的结果可以表征各个像素点是否为道路线区域上的点。例如，使用P(i)表示像素点i的输出结果，当输出结果P(i)＝A时，表示像素点i为道路线区域上的点；当输出结果P(i)＝B时，表示像素点i为道路线区域以外的点，其中A≠B。又如，当输出结果P(i)∈[C，D]时，表示像素点当像素点i为道路线区域上的点，当输出结果时，表示像素点i为道路线区域以外的点，其中，C、D为预先确定的数值。
在本实施例中，为了避免在深度学习模型对当前道路图像的处理过程中丢失图像信息，在深度学习模型中使用了卷积神经网络和递归神经网络。这样，虽然卷积神经网络对图像的处理过程会丢失图像信息，但递归神经网络对图像的处理过程则会保留图像信息，因此，当前道路图像中的图像信息都能够被神经网络处理到，从而使得当前道路图像的道路线识别结果更加准确。
例如，参见图3a和图3b，示出了本实施例提供的两种深度学习模型示例的结构示意图。在这两种示例中，深度学习模型包括第一模型单元300和第二模型单元400，所述第一模型单元300的输出作为所述第二模型单元400的输入。
需要说明的是，输入第一模型单元300的数据可以为车辆的当前道路图像，第一模型单元300对所述道路图像进行处理之后所得到的输出结果被输入到第二模型单元400，再经第二模型单元400处理后输出处理结果。该处理结果可以是深度学习模型的输出结果，可用于确定当前道路图像中的道路线区域。
所述第一模型单元300至少包括一个第一模型子单元310，所述第一模型子单元包括一个卷积神经网络311和一个第一递归神经网络312，所述卷积神经网络311的输出作为所述第一递归神经网络312的输入。
所述第二模型单元400至少包括一个第二模型子单元410，所述第二模型子单元包括一个反卷积神经网络411和一个第二递归神经网络412，所述反卷积神经网络411的输出作为所述第二递归神经网络412的输入。
在本实施例中，第一模型单元300采用卷积神经网络和第一递归神经网络结合的方式对车辆的当前道路图像进行处理。第二模型单元400采用反卷积神经网络和第二递归神经网络结合的方式对第一模型单元300的输出做进一步处理。
可以理解的是，第一模型单元300中存在至少一组卷积神经网络311和第一递归神经网络312，即存在至少一个第一模型子单元310。也就是说，第一模型单元300可以仅包括一个第一模型子单元310，如图3a所示的示例，或者，第一模型单元300也可以包括多个第一模型子单元310，如图3b所示的示例。
在本实施例中，由于在输入当前道路图像时深度学习模型需要输出当前道路图像中各个像素点是否位于道路线区域的结果，深度学习模型针对每一个像素点的输入都要有输出，因此，深度学习模型对图像处理之后要保持图像原本的像素尺寸不变。为此，在深度学习模型中使用了卷积神经网络311和反卷积神经网络411。其中，图像先经过卷积神经网络311进行处理，处理后图像的像素尺寸会缩小。然后图像再经过反卷积神经网络411进行处理，处理后图像的像素尺寸会扩大，从而，深度学习模型最后处理得到的图像与最初输入深度学习模型的图像保持了像素尺寸一致，这样就能得到当前道路图像中每一个像素点是否位于道路线区域的结果。
需要说明的是，第一模型单元300中的第一递归神经网络312和第二模型单元400中的第二递归神经网络412均可以为任意一种递归神经网络。两者的区别在于，第一递归神经网络312的输入为卷积神经网络311的输出，第二递归神经网络412的输入为卷积神经网络411的输出。作为一种示例，第一递归神经网路312和第二递归神经网络均可以为双向长时间记忆网络(英文：Long Short-Term Memory，简称：LSTM)。双向LSTM网络可以更好的保留道路图像中各个像素点的空间特性，从而使得识别出的道路线区域更加准确。
可以理解的是，第一模型单元300和第二模型单元400的架构与处理方式是类似的。两者区别可以仅在于，第一模型单元300中的卷积神经网络311在第二模型单元400中被替换成了反卷积神经网络411。因此，以下以第一模型单元300为例进行架构与处理方式的说明。
在第一模型单元300中，对于第一模型单元300的输入图像来说，该输入图像输入到卷积神经网络311进行处理得到相应的输出结果，然后第一递归神经网络312对卷积神经网络311的输出结果进一步进行处理得到相应的输出结果。
需要说明的是，通常递归神经网络的输入变量为一个包含至少一个元素的序列。鉴于此，在第一模型单元300中，卷积神经网络311与第一递归神经网络312之间可以加入一个特征变换的处理过程，如图4所示的示例。在该特征变换的处理过程中，卷积神经网络311针对各像素点的输出结果可以按照一定的规则组成序列，以便该序列用于输入到第一递归神经网络312中。其中，每个序列中可以包含有卷积神经网络311针对多个像素点的输出结果。
作为一种示例，上述特征变换的处理过程，具体可以为：在所述第一模型子单元310中，对于每个像素点，所述卷积神经网络311针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第一序列，以用于输入所述第一递归神经网络312。举例说明，假设每一个像素点的领域内均有8个像素点，则针对每个像素点，可以根据卷积神经网络311针对该像素点的输出结果以及针对该像素点领域内的8个像素点的输出结果组成一个第一序列。例如，假设卷积神经网络311分别针对像素点a、b、c、d、e、f、g、h、i得到了输出结果，像素点b、c、d、e、f、g、h、i是像素点a的领域内所有的像素点，则以卷积神经网络311针对像素点a、b、c、d、e、f、g、h、i的输出结果可以形成一个第一序列X＝[A、B、C、D、E、F、G、H、I]，该第一序列可以作为第一递归神经网络312的输入。其中，A表示卷积神经网络311针对像素点a的输出结果，B表示卷积神经网络311针对像素点b的输出结果，C表示卷积神经网络311针对像素点c的输出结果，D表示卷积神经网络311针对像素点d的输出结果，E表示卷积神经网络311针对像素点e的输出结果，F表示卷积神经网络311针对像素点f的输出结果，G表示卷积神经网络311针对像素点g的输出结果，H表示卷积神经网络311针对像素点h的输出结果，I表示卷积神经网络311针对像素点i的输出结果。
需要说明的是，为了有效保留各个像素点的空间特性，各第一序列中各像素点的输出结果可以按照固定的规则进行排序。其中，所述固定的规则表示，各像素点的输出结果的排序与各像素点的位置关系之间具有固定不变的对应关系。因此，根据第一序列中各输出结果的排序，可以确定各输出结果对应的像素点在图像中的位置，从而还原出各个像素点的空间特征，使得当前道路图像的空间特征得以更好地体现。
举例来说，对于两个不同的第一序列M和N，第一序列M中包括图像区域1中各像素点的输出结果，即像素点a1的输出结果A1、像素点b1的输出结果B1、像素点c1的输出结果C1和像素点d1的输出结果D1，第一序列N中图像区域2中各像素点的输出结果，即像素点a2的输出结果A2、像素点b2的输出结果B2、像素点c2的输出结果C2和像素点d2的输出结果D2。在图像区域1中，像素点a1位于左上角，像素点b1位于右上角，像素点c1位于左下角，像素点d1位于右下角。在图像区域2中，像素点a2位于左上角，像素点b2位于右上角，像素点c2位于左下角，像素点d2位于右下角。第一序列M中各像素点的输出结果排序可以为A1→B1→C1→D1，即第一序列M为[A1,B1,C1,D1]。第一序列N中各像素点的输出结果排序可以为A2→B2→C2→D2，即第一序列N为[A2,B2,C2,D2]。此时，第一序列M和N中各像素点的输出结果的排序所对应的各像素点的位置关系是相同的、固定不变的，均在于：图像区域的左上角→图像区域的右上角→图像区域的左下角→图像区域的右下角。
作为一种示例，对于由9个像素点的输出结果组成的第一序列，所述第一序列中各输出结果的顺序可以固定为：所述卷积神经网络针对位于该像素点领域内左上角的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内左侧中间的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内左下角的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内下侧中间的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内右下角的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内右侧中间的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内右上角的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内上侧中间的像素点的输出结果，所述卷积神经网络针对该像素点的输出结果。
举例说明，如图5所示的针对像素点A及其邻域内的像素点A1至A8形成第一序列的示例，在该第一序列中，各个像素点的输出结果的顺序为A1→A2→A3→A4→A5→A6→A7→A8→A，也即，该第一序列可以为[A1,A2,A3,A4,A5,A6,A7,A8,A]。
可以理解的是，与第一模型单元300中相类似，在第二模型单元400中，反卷积神经网络411与第二递归神经网络412之间也可以加入一个特征变换的处理过程。例如，该特征变换的处理过程可以为：在所述第二模型子单元410中，对于每个像素点，所述反卷积神经网络411针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第二序列，以用于输入所述第二递归神经网络412。
需要说明的是，与第一序列相类似，为了有效保留各个像素点的空间特征，各第二序列中各像素点的输出结果也可以按照所述固定的规则进行排序。作为一种示例，对于由9个像素点的输出结果组成的第二序列，所述第二序列中各输出结果的顺序可以固定为：所述反卷积神经网络针对位于该像素点领域内左上角的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内左侧中间的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内左下角的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内下侧中间的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内右下角的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内右侧中间的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内右上角的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内上侧中间的像素点的输出结果，所述反卷积神经网络针对该像素点的输出结果。
为了使得本实施例中的深度学习模型输出的结果更加准确，针对当前道路图像，可以利用深度学习模型对当前道路图像的处理结果，结合深度学习模型在当前道路图像之前一段时间采集到的道路图像的处理结果，确定当前道路图像中的道路线区域，这样可以使得道路线区域能够通过一段时间内采集到的多个道路图像进行识别，避免了通过单一道路图像识别出的道路线区域可能存在的较大误差，从而使得道路线区域的识别更加准确。
为了结合多个时刻的道路图像来识别道路线区域，如图6所示，所述深度学习模型还可以包括第三模型单元500，第三模型单元500包括第三递归神经网络。对于包括所述当前道路图像在内的最近获取到的不同时刻下的多帧道路图像，以所述深度学习模型分别对各帧道路图像处理而在所述第二模型单元400输出的结果组成第三序列，以用于输入第三递归神经网络，与第一递归神经网络312和第二递归神经网络类似，第三递归神经网络也可以为双向LSTM网络。
可以理解的是，与第一递归神经网络312和第二递归神经网络412相似，第三递归神经网络的输入变量通常也是一个至少包含一个元素的序列。鉴于此，在深度学习模型中，第三模型单元500中可以加入一个特征变换的处理过程，如图7所示的示例。在该特征变换的处理过程中，对于t时刻内采集到的n帧道路图像，第二模型单元400针对每一帧道路图像中同一个像素点的输出结果可以组成一个序列，以便该序列用于输入到第三神经递归网络(即图7示出的双向LSTM网络)中。最后由第三递归神经网络的输出结果，确定所述当前道路图像中的道路线区域。
在一个实际应用的示例中，深度学习模型可以体现成如下的表达式：
其中，P为深度学习模型对t时刻获取的道路图像的输出结果，i表示像素点，t和k均表示时刻。Pt(i)表示t＝1至n时刻分别对应的经过第三递归神经网络处理之后的输出结果。可见，Pt(i)为n时刻获取的道路图像上像素点i经过深度学习模型处理之后的输出结果，该输出结果表示该道路图像上的该像素点是否位于道路线区域内。为第二模型单元对像素点i在t时刻(t＝1,2,3…n)获取的道路图像的输出结果，即，为t时刻获取的道路图像在像素点i处被第一模型单元和第二模型单元提取出的图像特征，I为输入的当前道路图像。
F为变化函数，如，FBiLSTM表示双向LSTM，FCNN表示卷积神经网络。
本实施例提供的识别道路线的方法，对于车辆周围的道路图像，使用深度学习模型对该道路图像中的道路线进行识别。该深度学习模型在卷积神经网络的基础上增加了递归神经网络。由于递归神经网络能够针对输入的每个像素点的图像特征输出每个像素点的处理结果，因此，道路图像中每个像素点的图像特征得以保留，道路图像中的道路线的空间特征得以体现，从而使得道路线残缺、道路线被部分遮挡、道路线处于剧烈变换环境中等各种环境下的道路线都能够被准确地、有效地识别出来。
示例性设备
参见图8，示出了本发明实施例中一种识别道路线的装置的结构示意图。所述装置例如可以具体包括：图像获取模块810和模型处理模块820。
所述图像获取模块810，用于获取车辆周围的当前道路图像；
所述模型处理模块820，用于将所述当前道路图像输入到深度学习模型中，并基于所述深度学习模型的输出结果，确定所述当前道路图像中的道路线区域；
其中，所述深度学习模型已基于历史道路图像与所述历史道路图像中已知的道路线区域之间的对应关系进行了训练；
所述深度学习模型包括第一模型单元和第二模型单元，所述第一模型单元的输出作为所述第二模型单元的输入；
所述第一模型单元至少包括一个第一模型子单元，所述第一模型子单元包括一个卷积神经网络和一个第一递归神经网络，所述卷积神经网络的输出作为所述第一递归神经网络的输入；
所述第二模型单元至少包括一个第二模型子单元，所述第二模型子单元包括一个反卷积神经网络和一个第二递归神经网络，所述反卷积神经网络的输出作为所述第二递归神经网络的输入。
在一些实施方式中，所述第一递归神经网络和所述第二递归神经网络均为双向长时间记忆网络。
在一些实施方式中，在所述第一模型子单元中，对于每个像素点，所述卷积神经网络针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第一序列，以用于输入所述第一递归神经网络；
在所述第二模型子单元中，对于每个像素点，所述反卷积神经网络针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第二序列，以用于输入所述第二递归神经网络。
在一些实施方式中，所述第一序列中各输出结果的顺序为：所述卷积神经网络针对位于该像素点领域内左上角的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内左侧中间的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内左下角的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内下侧中间的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内右下角的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内右侧中间的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内右上角的像素点的输出结果，所述卷积神经网络针对位于该像素点领域内上侧中间的像素点的输出结果，所述卷积神经网络针对该像素点的输出结果；
所述第二序列中各输出结果的顺序为：所述反卷积神经网络针对位于该像素点领域内左上角的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内左侧中间的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内左下角的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内下侧中间的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内右下角的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内右侧中间的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内右上角的像素点的输出结果，所述反卷积神经网络针对位于该像素点领域内上侧中间的像素点的输出结果，所述反卷积神经网络针对该像素点的输出结果。
在一些实施方式中，所述深度学习模型还包括第三递归神经网络；
对于包括所述当前道路图像在内的最近获取到的不同时刻下的多帧道路图像，以所述深度学习模型分别对各帧道路图像处理而在所述第二模型单元输出的结果组成第三序列，以用于输入所述第三递归神经网络。
在一些实施方式中，所述图像获取模块810包括：
获取子模块，用于获取车辆摄取的当前周围图像；
截取子模块，用于从所述当前周围图像中截取车辆前方预置区域的图像作为所述当前道路图像。
本实施例提供的识别道路线的装置，对于车辆周围的道路图像，使用深度学习模型对该道路图像中的道路线进行识别。该深度学习模型在卷积神经网络的基础上增加了递归神经网络。由于递归神经网络能够针对输入的每个像素点的图像特征输出每个像素点的处理结果，因此，道路图像中每个像素点的图像特征得以保留，道路图像中的道路线的空间特征得以体现，从而使得道路线残缺、道路线被部分遮挡、道路线处于剧烈变换环境中等各种环境下的道路线都能够被准确地、有效地识别出来。
参见图9，示出了本发明实施例中一种识别道路线的设备的结构示意图。所述设备包括处理器910以及存储器920：
所述存储器920用于存储程序代码，并将所述程序代码通过通信总线930传输给所述处理器910；
所述处理器910用于根据所述程序代码中的指令执行本发明以上实施例任意一种实施方式所述的识别道路线的方法。
此外，本发明实施例还提供一种存储介质，所述存储介质用于存储程序代码，所述程序代码用于执行本发明以上实施例任意一种实施方式所述的识别道路线的方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种识别道路线的方法，其特征在于，包括：
获取车辆周围的当前道路图像；
将所述当前道路图像输入到深度学习模型中，并基于所述深度学习模型的输出结果，确定所述当前道路图像中的道路线区域；
其中，所述深度学习模型已基于历史道路图像与所述历史道路图像中已知的道路线区域之间的对应关系进行了训练；
所述深度学习模型包括第一模型单元和第二模型单元，所述第一模型单元的输出作为所述第二模型单元的输入；
所述第一模型单元至少包括一个第一模型子单元，所述第一模型子单元包括一个卷积神经网络和一个第一递归神经网络，所述卷积神经网络的输出作为所述第一递归神经网络的输入；
所述第二模型单元至少包括一个第二模型子单元，所述第二模型子单元包括一个反卷积神经网络和一个第二递归神经网络，所述反卷积神经网络的输出作为所述第二递归神经网络的输入。
2.根据权利要求1所述的方法，其特征在于，所述第一递归神经网络和所述第二递归神经网络均为双向长时间记忆网络。
3.根据权利要求1所述的方法，其特征在于，
在所述第一模型子单元中，对于每个像素点，所述卷积神经网络针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第一序列，以用于输入所述第一递归神经网络；
在所述第二模型子单元中，对于每个像素点，所述反卷积神经网络针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第二序列，以用于输入所述第二递归神经网络。
4.根据权利要求1所述的方法，其特征在于，所述深度学习模型还包括第三递归神经网络；
对于包括所述当前道路图像在内的最近获取到的不同时刻下的多帧道路图像，以所述深度学习模型分别对各帧道路图像处理而在所述第二模型单元输出的结果组成第三序列，以用于输入所述第三递归神经网络。
5.一种识别道路线的装置，其特征在于，包括：
图像获取模块，用于获取车辆周围的当前道路图像；
模型处理模块，用于将所述当前道路图像输入到深度学习模型中，并基于所述深度学习模型的输出结果，确定所述当前道路图像中的道路线区域；
其中，所述深度学习模型已基于历史道路图像与所述历史道路图像中已知的道路线区域之间的对应关系进行了训练；
所述深度学习模型包括第一模型单元和第二模型单元，所述第一模型单元的输出作为所述第二模型单元的输入；
所述第一模型单元至少包括一个第一模型子单元，所述第一模型子单元包括一个卷积神经网络和一个第一递归神经网络，所述卷积神经网络的输出作为所述第一递归神经网络的输入；
所述第二模型单元至少包括一个第二模型子单元，所述第二模型子单元包括一个反卷积神经网络和一个第二递归神经网络，所述反卷积神经网络的输出作为所述第二递归神经网络的输入。
6.根据权利要求5所述的装置，其特征在于，所述第一递归神经网络和所述第二递归神经网络均为双向长时间记忆网络。
7.根据权利要求5所述的装置，其特征在于，
在所述第一模型子单元中，对于每个像素点，所述卷积神经网络针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第一序列，以用于输入所述第一递归神经网络；
在所述第二模型子单元中，对于每个像素点，所述反卷积神经网络针对该像素点的输出结果以及针对该像素点领域内的各像素点的输出结果组成一个第二序列，以用于输入所述第二递归神经网络。
8.根据权利要求5所述的装置，其特征在于，所述深度学习模型还包括第三递归神经网络；
对于包括所述当前道路图像在内的最近获取到的不同时刻下的多帧道路图像，以所述深度学习模型分别对各帧道路图像处理而在所述第二模型单元输出的结果组成第三序列，以用于输入所述第三递归神经网络。
9.一种识别道路线的设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的识别道路线的方法。
10.一种存储介质，所述存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4任一项所述的识别道路线的方法。
CN201711237254.5A 2017-11-30 2017-11-30 一种识别道路线的方法和装置 Active CN109858309B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711237254.5A CN109858309B (zh) 2017-11-30 2017-11-30 一种识别道路线的方法和装置
JP2018092378A JP6572345B2 (ja) 2017-11-30 2018-05-11 車線検出のための方法及び装置
US15/981,916 US10748013B2 (en) 2017-11-30 2018-05-17 Method and apparatus for detecting road lane
DE102018113992.6A DE102018113992A1 (de) 2017-11-30 2018-06-12 Verfahren und Gerät zum Erfassen einer Fahrspur

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711237254.5A CN109858309B (zh) 2017-11-30 2017-11-30 一种识别道路线的方法和装置

Publications (2)

Publication Number Publication Date
CN109858309A true CN109858309A (zh) 2019-06-07
CN109858309B CN109858309B (zh) 2021-04-20

Family

ID=66547868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711237254.5A Active CN109858309B (zh) 2017-11-30 2017-11-30 一种识别道路线的方法和装置

Country Status (4)

Country Link
US (1) US10748013B2 (zh)
JP (1) JP6572345B2 (zh)
CN (1) CN109858309B (zh)
DE (1) DE102018113992A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126406A (zh) * 2019-12-17 2020-05-08 北京四维图新科技股份有限公司 车辆行驶区域识别方法及装置
CN111126493A (zh) * 2019-12-25 2020-05-08 东软睿驰汽车技术（沈阳）有限公司 深度学习模型的训练方法、装置、电子设备及存储介质
CN111959495A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 车辆的控制方法、装置及车辆

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
JP7388971B2 (ja) 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP7359735B2 (ja) 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
CN113240623B (zh) * 2021-03-18 2023-11-07 中国公路工程咨询集团有限公司 一种路面病害检测方法及装置
FR3130230B1 (fr) * 2021-12-10 2023-11-03 Renault Sas Procédé d’aide au maintien d’un véhicule sur la route lors d’un rétrécissement ou d’un élargissement de voie

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844442A (zh) * 2016-12-16 2017-06-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于fcn特征提取的多模态循环神经网络图像描述方法
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器
CN107038478A (zh) * 2017-04-20 2017-08-11 百度在线网络技术（北京）有限公司 路况预测方法及装置、计算机设备与可读介质
CN107154150A (zh) * 2017-07-25 2017-09-12 北京航空航天大学 一种基于道路聚类和双层双向lstm的交通流量预测方法
US20170259801A1 (en) * 2016-03-08 2017-09-14 Ford Global Technologies, Llc Vehicle lane placement

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170259801A1 (en) * 2016-03-08 2017-09-14 Ford Global Technologies, Llc Vehicle lane placement
CN107169402A (zh) * 2016-03-08 2017-09-15 福特全球技术公司 车辆车道定位
CN106844442A (zh) * 2016-12-16 2017-06-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于fcn特征提取的多模态循环神经网络图像描述方法
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器
CN107038478A (zh) * 2017-04-20 2017-08-11 百度在线网络技术（北京）有限公司 路况预测方法及装置、计算机设备与可读介质
CN107154150A (zh) * 2017-07-25 2017-09-12 北京航空航天大学 一种基于道路聚类和双层双向lstm的交通流量预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHICHENG YAN ETAL.: ""Combining the Best of Convolutional Layers and Recurrent Layers: A Hybrid Network for Semantic Segmentation"", 《ARXIV》 *
王毅 等: ""基于CNN和LSTM深度网络的伪装用户入侵检测"", 《计算机科学与探索》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126406A (zh) * 2019-12-17 2020-05-08 北京四维图新科技股份有限公司 车辆行驶区域识别方法及装置
CN111126406B (zh) * 2019-12-17 2023-04-07 北京四维图新科技股份有限公司 车辆行驶区域识别方法及装置
CN111126493A (zh) * 2019-12-25 2020-05-08 东软睿驰汽车技术（沈阳）有限公司 深度学习模型的训练方法、装置、电子设备及存储介质
CN111126493B (zh) * 2019-12-25 2023-08-01 东软睿驰汽车技术（沈阳）有限公司 深度学习模型的训练方法、装置、电子设备及存储介质
CN111959495A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 车辆的控制方法、装置及车辆
CN111959495B (zh) * 2020-06-29 2021-11-12 阿波罗智能技术(北京)有限公司 车辆的控制方法、装置及车辆

Also Published As

Publication number Publication date
DE102018113992A1 (de) 2019-06-06
US20190163991A1 (en) 2019-05-30
CN109858309B (zh) 2021-04-20
JP6572345B2 (ja) 2019-09-11
JP2019102049A (ja) 2019-06-24
US10748013B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
CN109858309A (zh) 一种识别道路线的方法和装置
US20210027088A1 (en) Method and device for acquiring boundary of area to be operated, and method for planning operation route
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
DE102018101125A1 (de) Rekurrentes tiefes neuronales Faltungsnetzwerk zur Detektion von Objekten
CN110235146A (zh) 用于检测图像中的感兴趣对象的方法和装置
CN110135318B (zh) 过车记录的确定方法、装置、设备及存储介质
CN113079325B (zh) 暗光条件下的十亿级像素成像方法、装置、介质及设备
CN109584299B (zh) 一种定位方法、定位装置、终端及存储介质
CN111368943A (zh) 图像中对象的识别方法和装置、存储介质及电子装置
CN109740585A (zh) 一种文本定位方法及装置
US20230237666A1 (en) Image data processing method and apparatus
CN109919110A (zh) 视频关注区域检测方法、装置及设备
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
CN110942037A (zh) 一种用于视频分析中的动作识别方法
CN112733672A (zh) 基于单目相机的三维目标检测方法、装置和计算机设备
CN112648994A (zh) 基于深度视觉里程计和imu的相机位姿估计方法及装置
CN104021395B (zh) 一种基于高阶偏最小二乘法的目标跟踪算法
Iacono et al. Proto-object based saliency for event-driven cameras
CN106651903A (zh) 一种运动物体检测方法
CN111914596A (zh) 车道线检测方法、装置、系统及存储介质
CN114022727A (zh) 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法
CN111862321B (zh) 视差图的获取方法、装置、系统及存储介质
DE102019220335A1 (de) Semantische segmentierung unter verwendung von fahreraufmerksamkeitsinformationen
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN115578624A (zh) 农业病虫害模型构建方法、检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200925

Address after: 201805 room 1703, No. 888, South Moyu Road, Anting Town, Jiading District, Shanghai

Applicant after: NEUSOFT REACH AUTOMOTIVE TECHNOLOGY (SHANGHAI) Co.,Ltd.

Address before: Hunnan rookie street Shenyang city Liaoning province 110179 No. 2

Applicant before: NEUSOFT Corp.

Applicant before: NEUSOFT REACH AUTOMOTIVE TECHNOLOGY (SHANGHAI) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant