CN110633597A - 一种可行驶区域检测方法和装置 - Google Patents

一种可行驶区域检测方法和装置 Download PDF

Info

Publication number
CN110633597A
CN110633597A CN201810641854.6A CN201810641854A CN110633597A CN 110633597 A CN110633597 A CN 110633597A CN 201810641854 A CN201810641854 A CN 201810641854A CN 110633597 A CN110633597 A CN 110633597A
Authority
CN
China
Prior art keywords
frame
probability
image
state
travelable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810641854.6A
Other languages
English (en)
Other versions
CN110633597B (zh
Inventor
张立成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810641854.6A priority Critical patent/CN110633597B/zh
Publication of CN110633597A publication Critical patent/CN110633597A/zh
Application granted granted Critical
Publication of CN110633597B publication Critical patent/CN110633597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种可行驶区域检测方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对连续的多帧图像分别提取特征，以生成各帧图像的两通道特征图；根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列；根据各相同位置对应的标签序列，确定所述多帧图像中的可行驶区域。该实施方式能够提高可行驶区域检测的准确率。

Description

一种可行驶区域检测方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种可行驶区域检测方法和装置。
背景技术
可行驶区域检测是自动驾驶领域中一项关键的技术，准确地给出可行驶区域的范围对自动驾驶的决策是非常有帮助的，目前的可行驶区域检测方法都是依据单帧的图像，即依据当前帧的图像检测当前帧的可行驶区域。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
现有的可行驶区域检测方法利用当前帧的图像来检测当前帧的可行驶区域，存在检测准确率低的问题。
发明内容
有鉴于此，本发明实施例提供一种可行驶区域检测方法和装置，能够提高可行驶区域检测的准确率。
为实现上述目的，根据本发明实施例的一个方面，提供了一种可行驶区域检测方法。
一种可行驶区域检测方法，包括：对连续的多帧图像分别提取特征，以生成各帧图像的两通道特征图；根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列；根据各相同位置对应的标签序列，确定所述多帧图像中的可行驶区域。
可选地，对连续的多帧图像分别提取特征，以生成各帧图像的两通道特征图的步骤，包括：利用轻量级卷积神经网络的选定层，对连续的多帧图像分别提取特征，以生成各帧图像的特征图；利用具有两个卷积核的反卷积层，将所述生成的各特征图还原到原图的大小，得到所述各帧图像的两通道特征图。
可选地，所述相邻帧的图像信息为：在相邻帧的两个两通道特征图的相同位置，当前帧与所述当前帧的下一帧的状态转移信息，所述状态转移信息包括所述历史检测结果中，其中一帧图像在所述相同位置的通行状态，向该帧的下一帧图像在所述相同位置的通行状态跳转的次数，所述通行状态包括可行驶状态和不可行驶状态。
可选地，所述两通道特征图的每个位置对应所述两个卷积核的输出值，所述两个卷积核的输出值分别表示该位置在当前可见特征的条件下可行驶或不可行驶的概率，根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列的步骤，包括：根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果构建隐马尔可夫模型，对于各两通道特征图的每一相同位置，所述隐马尔可夫模型包括观测概率、跳转概率、先验概率，其中：根据所述相同位置在当前可见特征的条件下可行驶或不可行驶的概率、所述多帧图像中每一所述通行状态的出现概率和每一可见特征的出现概率，确定所述观测概率的关系表示；根据各次可行驶区域检测的所述历史检测结果中，第一帧图像的该相同位置为可行驶、不可行驶的次数，得到所述先验概率；根据所述当前帧与所述当前帧的下一帧的状态转移信息，计算所述跳转概率；根据所述观测概率的关系表示、所述先验概率、所述跳转概率，利用预设算法确定所述多帧图像对应每一所述相同位置的出现概率最大的通行状态组合，从而得到每一所述相同位置对应的标签序列，所述标签序列中每个标签指示一种通行状态。
根据本发明实施例的另一方面，提供了一种可行驶区域检测装置。
一种可行驶区域检测装置，包括：特征提取模块，用于对连续的多帧图像分别提取特征，以生成各帧图像的两通道特征图；标签序列生成模块，用于根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列；可行驶区域确定模块，用于根据各相同位置对应的标签序列，确定所述多帧图像中的可行驶区域。
可选地，所述特征提取模块还用于：利用轻量级卷积神经网络的选定层，对连续的多帧图像分别提取特征，以生成各帧图像的特征图；利用具有两个卷积核的反卷积层，将所述生成的各特征图还原到原图的大小，得到所述各帧图像的两通道特征图。
可选地，所述相邻帧的图像信息为：在相邻帧的两个两通道特征图的相同位置，当前帧与所述当前帧的下一帧的状态转移信息，所述状态转移信息包括所述历史检测结果中，其中一帧图像在所述相同位置的通行状态，向该帧的下一帧图像在所述相同位置的通行状态跳转的次数，所述通行状态包括可行驶状态和不可行驶状态。
可选地，所述两通道特征图的每个位置对应所述两个卷积核的输出值，所述两个卷积核的输出值分别表示该位置在当前可见特征的条件下可行驶或不可行驶的概率，所述标签序列生成模块还用于：根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果构建隐马尔可夫模型，对于各两通道特征图的每一相同位置，所述隐马尔可夫模型包括观测概率、跳转概率、先验概率，其中：根据所述相同位置在当前可见特征的条件下可行驶或不可行驶的概率、所述多帧图像中每一所述通行状态的出现概率和每一可见特征的出现概率，确定所述观测概率的关系表示；根据各次可行驶区域检测的所述历史检测结果中，第一帧图像的该相同位置为可行驶、不可行驶的次数，得到所述先验概率；根据所述当前帧与所述当前帧的下一帧的状态转移信息，计算所述跳转概率；根据所述观测概率的关系表示、所述先验概率、所述跳转概率，利用预设算法确定所述多帧图像对应每一所述相同位置的出现概率最大的通行状态组合，从而得到每一所述相同位置对应的标签序列，所述标签序列中每个标签指示一种通行状态。
根据本发明实施例的又一方面，提供了一种电子设备。
一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明提供的可行驶区域检测方法。
根据本发明实施例的又一方面，提供了一种计算机可读介质。
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的可行驶区域检测方法。
上述发明中的一个实施例具有如下优点或有益效果：根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列；根据各相同位置对应的标签序列，确定多帧图像中的可行驶区域。能够提高可行驶区域检测的准确率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的可行驶区域检测方法的主要步骤示意图；
图2是根据本发明实施例的可行驶区域检测装置的主要模块示意图；
图3是本发明实施例可以应用于其中的示例性系统架构图；
图4是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的可行驶区域检测方法的主要步骤示意图。
如图1所示，本发明实施例的可行驶区域检测方法主要包括如下的步骤S101至步骤S103。
步骤S101：对连续的多帧图像分别提取特征，以生成各帧图像的两通道特征图。
连续的多帧图像是指连续的多个时刻采集的图像。
步骤S101具体可以包括：利用轻量级卷积神经网络的选定层，对连续的多帧图像分别提取特征，以生成各帧图像的特征图；利用具有两个卷积核的反卷积层，将生成的各特征图还原到原图的大小，得到各帧图像的两通道特征图。
其中轻量级卷积神经网络可以为ThiNet网络、SqueezeNet网络、MobileNet网络中的一者或多者的结合。
两通道特征图的每个位置对应两个卷积核的输出值，两个卷积核的输出值分别表示该位置在当前可见特征的条件下可行驶或不可行驶的概率，可以用p(y|x)表示，x代表输入的图像，该图像具体是指该位置具有当前可见特征的图像，y为0或1，代表指示可行驶(y＝1)或不可行驶(y＝0)的标签。例如，图像的某位置当前可见特征为像素颜色为黑色，则p(y＝1|x)表示图像该位置像素为黑色的条件下，该位置可行驶的概率。
以ThiNet网络为例，使用ThiNet网络对分别对连续图像中的单帧图像进行可行驶区域检测。ThiNet网络由VGG16网络(一种卷积神经网络)裁剪而来，其计算量比VGG16小很多，满足实时应用的需求。具体地，用ThiNet对图像进行特征提取，保留relu5_3层(即激活层)的输出，去掉该层之后的各层，因为这些层对可行驶区域检测无帮助，在relu5_3层后再接一个反卷积层，该反卷积层有两个卷积核，卷积核的大小是32*32，步长是16，反卷积层的作用是把relu5_3层的输出放大还原到原图的大小，这样原图上的每个点(位置)都对应两个卷积核的输出值，根据两个卷积核的输出值可以确定某位置属于可行驶区域或不可行驶区域，例如，如果第一个卷积核的输出值大于第二个卷积核的输出值，则标签为0，代表该位置属于不可行驶区域，反之，代表该位置属于可行驶区域，从而原图上的每个位置都有一个标签，代表可行驶区域的位置组合起来，就构成了图像中可行驶的区域。
本发明实施例本步骤只需要获得每个位置对应的两个卷积核的输出值即可，因此在训练由ThiNet网络relu5_3层之前(包括relu5_3层本身)的各层和反卷积层构成的网络时，只需要针对两个卷积核的输出值来学习，即训练之前标注好训练样本的真值标签(真值标签包括可行驶、不可行驶)，并计算训练样本中真值标签中各位置为可行驶和不可行驶的概率，然后根据每次训练两个卷积核输出的概率，按照定义的代价函数，计算Loss(代价函数输出值)，不断地缩小Loss值，最后得到输出比较准确的两个卷积核的输出值，训练的过程可以采用神经网络训练中常用的随机梯度下降方法，梯度下降通过使Loss值向当前点对应梯度的反方向不断移动，来降低Loss，随机梯度下降每次只更新一个训练样本所计算的梯度，其中，且可以采用反向传播算法来求梯度。
其中，某位置的可见特征是该位置可以观测到的特征，例如该位置的像素颜色、亮度等特征。
步骤S102：根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列。
相邻帧的图像信息为：在相邻帧的两个两通道特征图的相同位置，当前帧与当前帧的下一帧的状态转移信息，状态转移信息包括历史检测结果中，其中一帧图像在该相同位置的通行状态向该帧的下一帧图像在该相同位置的通行状态跳转的次数，其中，通行状态包括可行驶状态和不可行驶状态，通行状态可以通过标签来标记，可行驶状态可以为1，不可行驶状态可为0。
步骤S102具体可以包括：根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果构建隐马尔可夫模型，对于各两通道特征图的每一相同位置，隐马尔可夫模型包括观测概率、跳转概率、先验概率，其中：
根据该相同位置在当前可见特征的条件下可行驶或不可行驶的概率、多帧图像中每一通行状态的出现概率和每一可见特征的出现概率，确定观测概率的关系表示；
根据各次可行驶区域检测的历史检测结果中，第一帧图像的该相同位置为可行驶、不可行驶的次数，得到先验概率p(y1)，例如可行驶、不可行驶的次数分别为20、80，则p(y1＝1)＝20％，p(y1＝0)＝80％；
根据当前帧与当前帧的下一帧的状态转移信息，计算跳转概率p(yt|yt-1)，例如，100次通行状态的跳转中，从可行驶向不可行驶跳转的次数为20次，则第t-1帧相应的跳转概率p(yt＝0|yt-1＝1)＝20％；
根据观测概率的关系表示、先验概率、跳转概率，利用预设算法确定多帧图像对应每一相同位置的出现概率最大的通行状态组合，从而得到每一相同位置对应的标签序列，该标签序列中每个标签指示一种通行状态。
对于某一两通道特征图的某一位置，观测概率表示：在该位置为每个隐状态的条件下，该位置对应各观测状态的概率。先验概率表示：多帧图像中第一帧对应的两通道特征图某一位置为各隐状态的概率。跳转概率表示：相邻两帧的两通道特征图中，一帧的某位置为各隐状态的条件下，该帧的下一帧的该位置为各隐状态的概率。
其中，隐状态为通行状态，即包括可行驶状态和不可行驶状态，观测状态为该位置像素的可见特征，每一像素具有RGB三个通道的值，不同的RGB值对应不同的颜色、亮度等特征。
隐马尔可夫模型即HMM，是一种时序模型，它有两个特性，第一个特性是当前时刻的隐状态只依赖于上一时刻的隐状态，这一特性体现在跳转概率上，第二个特性是当前时刻的观测只依赖于当前时刻的隐状态，这一特性体现在观测概率上。
例如，T帧连续图片，用训练好的由ThiNet网络relu5_3层之前(包括relu5_3层本身)的各层和反卷积层构成的网络，对每一帧图像进行前向计算(即ThiNet网络中卷积层、降采样层，以及增加的反卷积层的操作)，得到一副两通道特征图，其中两通道就是两个卷积核的输出，特征图的大小和原图的大小相同。对两通道特征图上的相同位置，例如第B行第C列的位置，对应两个卷积核的两个输出值，分别是p(y＝0|x)与p(y＝1|x)，x代表输入的图像，0和1代表标签，分别表示不可行驶区域与可行驶区域。下面以该位置为例，介绍HMM模型的构建过程。
第B行第C列的位置对应的两个输出值，是一个概率分布，用p(y|x)表示，p(y|x)的含义为：该位置在当前可见特征的条件下可行驶或不可行驶的概率。T帧连续图片，每帧的该位置都会输出这样一个概率分布，分别用p(y1|x1)、p(y2|x2)…p(yT|xT)表示。HMM的三个要素分别是观测概率p(xt|yt)、跳转概率p(yt|yt-1)、先验概率p(y1)，其中跳转概率与先验概率是从历史检测结果中统计得到，即根据历史的可行驶区域检测数据，统计历次检测时第一帧图片的两通道特征图某位置出现0的次数和出现1的次数，根据统计结果计算某位置为0的概率和为1的概率，得到对于该位置的先验概率p(y1)。统计历次检测时两相邻帧中，一帧图像在某位置为0或1，向该帧的下一帧图像在该,位置为0或1跳转的次数，根据该统计结果计算T帧连续图片的两相邻帧中，某位置当前帧为0或1，向下一帧为0或1跳转的概率，对于某位置的跳转概率为一个2*2的矩阵，即0向0跳转的概率、0向1跳转的概率、1向0跳转的概率、1向1跳转的概率。
根据某位置在当前可见特征的条件下可行驶或不可行驶的概率、多帧图像中每一通行状态的出现概率和每一可见特征的出现概率，可以确定观测概率的关系表示，具体地，观测概率p(xt|yt)的关系表示为：p(xt|yt)＝p(yt|xt)*p(xt)/p(yt)。
当i分别等于1,2,…t时，根据经验值，各p(yi)可以视为是相同的。构建HMM的目标是求解最大化p(x1,y1,x2,y2,…,xT,yT)，通过最大化p(x1,y1,x2,y2,…,xT,yT)可以确定该T帧图像对应某一相同位置的出现概率最大的通行状态组合，即出现概率最大的序列{y1,y2,y3,…,yT}，根据HMM的上述两个特性(体现在跳转概率、观测概率)、先验概率以及观测概率p(xt|yt)的关系表示，得到p(x1,y1,x2,y2,...,xT,yT)的关系表示如下：
p(x1,y1,x2,y2,...,xT,yT)＝p(y1|x1)p(x1)/p(y1)*p(y2|x2)p(x2)/p(y2)...p(yT|xT)p(xT)/p(yT)*p(y1)*p(y2|y1)*p(y3|y2)...*p(yT|yT-1)
其中，只有p(xt)未知，但在利用预设算法，例如维特比算法解码时，该值可以赋予任意值，因此可以把该概率视为某一常量，对于求解最大化的p(x1,y1,x2,y2,...,xT,yT)的最终结果并没有影响，可以忽略，从而，利用维特比算法求解最大化的p(x1,y1,x2,y2,...,xT,yT)，得到对应的序列{y1,y2,y3,…,yT}，其中，y1,y2,y3,…,yT分别代表第1～T帧同一位置的标签，0代表不可行使区域，1代表可行驶区域。
步骤S103：根据各相同位置对应的标签序列，确定多帧图像中的可行驶区域。
两通道特征图上的每个位置都按照上述过程得到一个序列{y1,y2,y3,…,yT}，从而得到所有两通道特征图上所有位置的标签，进而确定出T帧连续图像各自的可行驶区域。
图2是根据本发明实施例的可行驶区域检测装置的主要模块示意图。
如图2所示，本发明实施例的可行驶区域检测装置200主要包括：特征提取模块201、标签序列生成模块202、可行驶区域确定模块203。
特征提取模块201用于对连续的多帧图像分别提取特征，以生成各帧图像的两通道特征图。
特征提取模块201具体可以用于：利用轻量级卷积神经网络的选定层，对连续的多帧图像分别提取特征，以生成各帧图像的特征图；利用具有两个卷积核的反卷积层，将生成的各特征图还原到原图的大小，得到各帧图像的两通道特征图。
两通道特征图的每个位置对应两个卷积核的输出值，该两个卷积核的输出值分别表示该位置在当前可见特征的条件下可行驶或不可行驶的概率。
标签序列生成模块202用于根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列。
标签序列生成模块202具体可以用于：根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果构建隐马尔可夫模型，对于各两通道特征图的每一相同位置，该隐马尔可夫模型包括观测概率、跳转概率、先验概率，其中：
根据该相同位置在当前可见特征的条件下可行驶或不可行驶的概率、多帧图像中每一通行状态的出现概率和每一可见特征的出现概率，确定观测概率的关系表示；
根据各次可行驶区域检测的历史检测结果中，第一帧图像的该相同位置为可行驶、不可行驶的次数，得到先验概率；
根据当前帧与当前帧的下一帧的状态转移信息，计算跳转概率；
根据观测概率的关系表示、先验概率、跳转概率，利用预设算法确定多帧图像对应每一相同位置的出现概率最大的通行状态组合，从而得到每一相同位置对应的标签序列，标签序列中每个标签指示一种通行状态。
可行驶区域确定模块203用于根据各相同位置对应的标签序列，确定多帧图像中的可行驶区域。
另外，在本发明实施例中可行驶区域检测装置的具体实施内容，在上面可行驶区域检测方法中已经详细说明了，故在此重复内容不再说明。
图3示出了可以应用本发明实施例的可行驶区域检测方法或可行驶区域检测装置的示例性系统架构300。
如图3所示，系统架构300可以包括终端设备301、302、303，网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备301、302、303通过网络304与服务器305交互，以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器305可以是提供各种服务的服务器，例如对用户利用终端设备301、302、303所浏览的页面提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如可行驶区域的信息)反馈给终端设备。
需要说明的是，本发明实施例所提供的可行驶区域检测方法一般由服务器305执行，相应地，可行驶区域检测装置一般设置于服务器305中。
应该理解，图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图4，其示出了适于用来实现本申请实施例的服务器的计算机系统400的结构示意图。图4示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本发明公开的实施例，上文参考主要步骤示意图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤示意图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的主要步骤示意图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，主要步骤示意图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或主要步骤示意图中的每个方框、以及框图或主要步骤示意图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括特征提取模块201、标签序列生成模块202、可行驶区域确定模块203。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，特征提取模块201还可以被描述为“用于对连续的多帧图像分别提取特征，以生成各帧图像的两通道特征图的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：对连续的多帧图像分别提取特征，以生成各帧图像的两通道特征图；根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列；根据各相同位置对应的标签序列，确定所述多帧图像中的可行驶区域。
根据本发明实施例的技术方案，根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列；根据各相同位置对应的标签序列，确定多帧图像中的可行驶区域。能够提高可行驶区域检测的准确率。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种可行驶区域检测方法，其特征在于，包括：
对连续的多帧图像分别提取特征，以生成各帧图像的两通道特征图；
根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列；
根据各相同位置对应的标签序列，确定所述多帧图像中的可行驶区域。
2.根据权利要求1所述的方法，其特征在于，对连续的多帧图像分别提取特征，以生成各帧图像的两通道特征图的步骤，包括：
利用轻量级卷积神经网络的选定层，对连续的多帧图像分别提取特征，以生成各帧图像的特征图；
利用具有两个卷积核的反卷积层，将所述生成的各特征图还原到原图的大小，得到所述各帧图像的两通道特征图。
3.根据权利要求2所述的方法，其特征在于，所述相邻帧的图像信息为：在相邻帧的两个两通道特征图的相同位置，当前帧与所述当前帧的下一帧的状态转移信息，
所述状态转移信息包括所述历史检测结果中，其中一帧图像在所述相同位置的通行状态，向该帧的下一帧图像在所述相同位置的通行状态跳转的次数，所述通行状态包括可行驶状态和不可行驶状态。
4.根据权利要求3所述的方法，其特征在于，所述两通道特征图的每个位置对应所述两个卷积核的输出值，所述两个卷积核的输出值分别表示该位置在当前可见特征的条件下可行驶或不可行驶的概率；
根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列的步骤，包括：
根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果构建隐马尔可夫模型，对于各两通道特征图的每一相同位置，所述隐马尔可夫模型包括观测概率、跳转概率、先验概率，其中：
根据所述相同位置在当前可见特征的条件下可行驶或不可行驶的概率、所述多帧图像中每一所述通行状态的出现概率和每一可见特征的出现概率，确定所述观测概率的关系表示；
根据各次可行驶区域检测的所述历史检测结果中，第一帧图像的该相同位置为可行驶、不可行驶的次数，得到所述先验概率；
根据所述当前帧与所述当前帧的下一帧的状态转移信息，计算所述跳转概率；
根据所述观测概率的关系表示、所述先验概率、所述跳转概率，利用预设算法确定所述多帧图像对应每一所述相同位置的出现概率最大的通行状态组合，从而得到每一所述相同位置对应的标签序列，所述标签序列中每个标签指示一种通行状态。
5.一种可行驶区域检测装置，其特征在于，包括：
特征提取模块，用于对连续的多帧图像分别提取特征，以生成各帧图像的两通道特征图；
标签序列生成模块，用于根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果，生成各两通道特征图的每一相同位置对应的标签序列；
可行驶区域确定模块，用于根据各相同位置对应的标签序列，确定所述多帧图像中的可行驶区域。
6.根据权利要求5所述的装置，其特征在于，所述特征提取模块还用于：
利用轻量级卷积神经网络的选定层，对连续的多帧图像分别提取特征，以生成各帧图像的特征图；
利用具有两个卷积核的反卷积层，将所述生成的各特征图还原到原图的大小，得到所述各帧图像的两通道特征图。
7.根据权利要求6所述的装置，其特征在于，所述相邻帧的图像信息为：在相邻帧的两个两通道特征图的相同位置，当前帧与所述当前帧的下一帧的状态转移信息，
所述状态转移信息包括所述历史检测结果中，其中一帧图像在所述相同位置的通行状态，向该帧的下一帧图像在所述相同位置的通行状态跳转的次数，所述通行状态包括可行驶状态和不可行驶状态。
8.根据权利要求7所述的装置，其特征在于，所述两通道特征图的每个位置对应所述两个卷积核的输出值，所述两个卷积核的输出值分别表示该位置在当前可见特征的条件下可行驶或不可行驶的概率，
所述标签序列生成模块还用于：
根据各帧图像的两通道特征图、相邻帧的图像信息以及历史检测结果构建隐马尔可夫模型，对于各两通道特征图的每一相同位置，所述隐马尔可夫模型包括观测概率、跳转概率、先验概率，其中：
根据所述相同位置在当前可见特征的条件下可行驶或不可行驶的概率、所述多帧图像中每一所述通行状态的出现概率和每一可见特征的出现概率，确定所述观测概率的关系表示；
根据各次可行驶区域检测的所述历史检测结果中，第一帧图像的该相同位置为可行驶、不可行驶的次数，得到所述先验概率；
根据所述当前帧与所述当前帧的下一帧的状态转移信息，计算所述跳转概率；
根据所述观测概率的关系表示、所述先验概率、所述跳转概率，利用预设算法确定所述多帧图像对应每一所述相同位置的出现概率最大的通行状态组合，从而得到每一所述相同位置对应的标签序列，所述标签序列中每个标签指示一种通行状态。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN201810641854.6A 2018-06-21 2018-06-21 一种可行驶区域检测方法和装置 Active CN110633597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810641854.6A CN110633597B (zh) 2018-06-21 2018-06-21 一种可行驶区域检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810641854.6A CN110633597B (zh) 2018-06-21 2018-06-21 一种可行驶区域检测方法和装置

Publications (2)

Publication Number Publication Date
CN110633597A true CN110633597A (zh) 2019-12-31
CN110633597B CN110633597B (zh) 2022-09-30

Family

ID=68966914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810641854.6A Active CN110633597B (zh) 2018-06-21 2018-06-21 一种可行驶区域检测方法和装置

Country Status (1)

Country Link
CN (1) CN110633597B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744518A (zh) * 2020-05-30 2021-12-03 华为技术有限公司 一种车辆可行驶区域的检测方法及装置
WO2022021982A1 (zh) * 2019-09-05 2022-02-03 华为技术有限公司 可行驶区域判定的方法、智能驾驶系统和智能汽车
EP4145339A4 (en) * 2020-05-11 2023-05-24 Huawei Technologies Co., Ltd. VEHICLE DRIVING ZONE DETECTION METHOD AND SYSTEM, AND SELF-DRIVING VEHICLE IMPLEMENTING THE SYSTEM

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090287410A1 (en) * 2008-05-15 2009-11-19 Denso Corporation Apparatus and program for finding vehicle position
US20130156299A1 (en) * 2011-12-17 2013-06-20 Motorola Solutions, Inc. Method and apparatus for detecting people within video frames based upon multiple colors within their clothing
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN106203261A (zh) * 2016-06-24 2016-12-07 大连理工大学 基于svm和surf的无人车野外水体检测与跟踪方法
CN106297297A (zh) * 2016-11-03 2017-01-04 成都通甲优博科技有限责任公司 基于深度学习的交通拥堵判别方法
CN106952293A (zh) * 2016-12-26 2017-07-14 北京影谱科技股份有限公司 一种基于非参数在线聚类的目标跟踪方法
CN107862705A (zh) * 2017-11-21 2018-03-30 重庆邮电大学 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN107958269A (zh) * 2017-11-28 2018-04-24 江苏大学 一种基于隐马尔可夫模型的行车危险度预测方法
CN108021889A (zh) * 2017-12-05 2018-05-11 重庆邮电大学 一种基于姿态外形和运动信息的双通道红外行为识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090287410A1 (en) * 2008-05-15 2009-11-19 Denso Corporation Apparatus and program for finding vehicle position
US20130156299A1 (en) * 2011-12-17 2013-06-20 Motorola Solutions, Inc. Method and apparatus for detecting people within video frames based upon multiple colors within their clothing
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN106203261A (zh) * 2016-06-24 2016-12-07 大连理工大学 基于svm和surf的无人车野外水体检测与跟踪方法
CN106297297A (zh) * 2016-11-03 2017-01-04 成都通甲优博科技有限责任公司 基于深度学习的交通拥堵判别方法
CN106952293A (zh) * 2016-12-26 2017-07-14 北京影谱科技股份有限公司 一种基于非参数在线聚类的目标跟踪方法
CN107862705A (zh) * 2017-11-21 2018-03-30 重庆邮电大学 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN107958269A (zh) * 2017-11-28 2018-04-24 江苏大学 一种基于隐马尔可夫模型的行车危险度预测方法
CN108021889A (zh) * 2017-12-05 2018-05-11 重庆邮电大学 一种基于姿态外形和运动信息的双通道红外行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KOICHIRO YAMAGUCHI 等: "Road Region Estimation Using a Sequence of Monocular Images", 《2008 19TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *
刘丹 等: "融合超像素3D与Appearance特征的可行驶区域检测", 《计算机工程》 *
李骏扬 等: "基于多尺度特征表示的城市道路检测", 《电子与信息学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022021982A1 (zh) * 2019-09-05 2022-02-03 华为技术有限公司 可行驶区域判定的方法、智能驾驶系统和智能汽车
EP4145339A4 (en) * 2020-05-11 2023-05-24 Huawei Technologies Co., Ltd. VEHICLE DRIVING ZONE DETECTION METHOD AND SYSTEM, AND SELF-DRIVING VEHICLE IMPLEMENTING THE SYSTEM
CN113744518A (zh) * 2020-05-30 2021-12-03 华为技术有限公司 一种车辆可行驶区域的检测方法及装置
CN113744518B (zh) * 2020-05-30 2023-04-18 华为技术有限公司 一种车辆可行驶区域的检测方法及装置

Also Published As

Publication number Publication date
CN110633597B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
JP7331171B2 (ja) 画像認識モデルをトレーニングするための方法および装置、画像を認識するための方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム
US10796438B2 (en) Method and apparatus for tracking target profile in video
EP3893125A1 (en) Method and apparatus for searching video segment, device, medium and computer program product
CN109377508B (zh) 图像处理方法和装置
CN110633597B (zh) 一种可行驶区域检测方法和装置
CN113379627A (zh) 图像增强模型的训练方法和对图像进行增强的方法
CN108595448B (zh) 信息推送方法和装置
US20200394414A1 (en) Keyframe scheduling method and apparatus, electronic device, program and medium
CN110633717A (zh) 一种目标检测模型的训练方法和装置
CN114187459A (zh) 目标检测模型的训练方法、装置、电子设备以及存储介质
CN111160410B (zh) 一种物体检测方法和装置
CN112800276A (zh) 视频封面确定方法、装置、介质及设备
CN110633716A (zh) 一种目标对象的检测方法和装置
CN113657596A (zh) 训练模型和图像识别的方法和装置
CN113554068A (zh) 一种实例分割数据集的半自动标注方法、装置及可读介质
CN111292333A (zh) 用于分割图像的方法和装置
CN110852250B (zh) 一种基于最大面积法的车辆排重方法、装置及存储介质
CN110633595B (zh) 一种利用双线性插值的目标检测方法和装置
CN110634155A (zh) 一种基于深度学习的目标检测方法和装置
CN114463361A (zh) 网络模型训练方法、装置、设备、介质及程序产品
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
CN111612714A (zh) 图像修复方法、装置和电子设备
CN111311604A (zh) 用于分割图像的方法和装置
CN115223113B (zh) 训练样本集清洗方法、装置
CN115719465B (zh) 车辆检测方法、装置、设备、存储介质以及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant