CN111444749A - 路面导向标志的识别方法、装置及存储介质 - Google Patents

路面导向标志的识别方法、装置及存储介质 Download PDF

Info

Publication number
CN111444749A
CN111444749A CN201910044044.7A CN201910044044A CN111444749A CN 111444749 A CN111444749 A CN 111444749A CN 201910044044 A CN201910044044 A CN 201910044044A CN 111444749 A CN111444749 A CN 111444749A
Authority
CN
China
Prior art keywords
pixel
image
determining
guide
looking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910044044.7A
Other languages
English (en)
Other versions
CN111444749B (zh
Inventor
王劭杰
苏军
颜奉丽
刘有文
李铭书
温哲西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910044044.7A priority Critical patent/CN111444749B/zh
Publication of CN111444749A publication Critical patent/CN111444749A/zh
Application granted granted Critical
Publication of CN111444749B publication Critical patent/CN111444749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种路面导向标志的识别方法、装置及存储介质，属于图像处理技术领域。所述方法包括：获取车辆行驶道路前方的前视图像；确定前视图像中的每个像素点的像素类别；基于每个像素点的像素类别，从前视图像中获取导向标志区域图像，导向标志区域图像为前视图像中路面导向标志所在区域对应的最小区域图像；将导向标志区域图像输入至目标分类器中，输出路面导向标志的标志类型，目标分类器用于基于任一区域图像识别区域图像中的路面导向标志。本申请避免需要在车辆上安装3D激光扫描仪，节省了成本。

Description

路面导向标志的识别方法、装置及存储介质
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种路面导向标志的识别方法、装置及存储介质。
背景技术
在车辆驾驶过程中，为了便于驾驶员提前获知车辆行驶道路前方的实时路况，通常可以对路面上设置的路面导向标志进行识别，以根据该路面导向标志来进行行驶导引提示。
在相关技术中，可以在车辆上安装3D激光扫描仪，通过该3D激光扫描仪对待测路段进行数据采集，获取激光扫描点云数据，通过灰度值限定提取路面导向标志对应的数据，再通过对该数据的划分区块、多函数拟合处理，得出不同路面导向标志类型所表现出的函数特征值，之后，通过函数特征值在特征值库中的对应识别的计算，输出路面导向标志的识别结果。
然而，上述提供的路面导向标志的识别方法中，由于需要在车辆上额外安装3D激光扫描仪，导致实现成本较高。
发明内容
本申请实施例提供了一种路面导向标志的识别方法、装置及存储介质，可以解决安装3D激光扫描仪导致实现成本较高的问题。所述技术方案如下：
第一方面，提供了一种路面导向标志的识别方法，所述方法包括：
获取车辆行驶道路前方的前视图像；
确定所述前视图像中的每个像素点的像素类别；
基于所述每个像素点的像素类别，从所述前视图像中获取导向标志区域图像，所述导向标志区域图像为所述前视图像中路面导向标志所在区域对应的最小区域图像；
将所述导向标志区域图像输入至目标分类器中，输出所述路面导向标志的标志类型，所述目标分类器用于基于任一区域图像识别所述区域图像中的路面导向标志。
可选地，所述基于所述每个像素点的像素类别，从所述前视图像中获取导向标志区域图像，包括：
基于所述每个像素点的像素类别，从所述前视图像中确定像素类别属于所述路面导向标识对应的像素类别的像素点；
确定包围所确定的像素点的最小外接矩形；
将所述最小外接矩形对应的区域确定为所述导向标志区域图像。
可选地，所述基于所述每个像素点的像素类别，识别所述前视图像中的路面导向标志之后，还包括：
获取所述导向标志区域图像的四个顶点在所述前视图像中的第一位置坐标，以及获取所述前视图像的中心点的横坐标；
根据获取的四个顶点的第一位置坐标，确定世界坐标系下所述四个顶点的第二位置坐标；
基于所述四个顶点的第二位置坐标、所述前视图像的中心点的横坐标和所述路面导向标志的标志类型，进行行驶导引提示。
可选地，所述基于所述四个顶点的第二位置坐标、所述前视图像的中心点的横坐标和所述路面导向标志的标志类型，进行行驶导行提示，包括：
从所述四个顶点的第二位置坐标中确定最大横坐标和最小横坐标；
基于所述最大横坐标和所述最小横坐标，确定世界坐标系下所述导向标志区域图像的中心点的横坐标；
当所确定的横坐标与所述前视图像的中心点的横坐标之间的差值小于预设阈值时，基于所述路面导向标志的标志类型进行行驶导引提示。
可选地，所述确定所述前视图像中的每个像素点的像素类别，包括：
对所述前视图像进行预处理；
调用目标网络模型，将预处理后的前视图像输入所述目标网络模型中，输出所述每个像素点的像素类别，所述目标网络模型用于基于任一图像确定所述图像中的每个像素点的像素类别。
可选地，所述调用目标网络模型之前，还包括：
获取多个图像样本和每个图像样本中的每个像素点的像素类别；
将所述多个图像样本和所述每个图像样本中的每个像素点的像素类别输入至待训练的网络模型中进行训练，得到所述目标网络模型。
可选地，所述将所述多个图像样本和所述每个图像样本中的每个像素点的像素类别输入至待训练的网络模型中进行训练之前，还包括：
获取第一损失函数；
对所述第一损失函数进行加权处理，得到第二损失函数；
将所述第二损失函数确定为所述待训练的网络模型的损失函数。
可选地，当所述第一损失函数为交叉熵函数时，所述对所述第一损失函数进行加权处理，包括：
确定第一数值和第二数值，所述第一数值为所述多个图像样本中属于所述每种像素类别的像素点的个数，所述第二数值为所述多个图像样本中包括所述每种像素类别的图像样本中所有像素点的个数总和；
确定所述第一数值与所述第二数值之间的比值，得到所述每种像素类别的类别概率；
确定所述每种像素类别的类别概率的中位数与类别概率之间的比值，得到所述每种像素类别的权重；
基于所述每种像素类别的权重，对所述每种像素类别对应的交叉熵函数进行加权处理。
第二方面，提供了一种路面导向标志的识别装置，所述装置包括：
第一获取模块，用于获取车辆行驶道路前方的前视图像；
第一确定模块，用于确定所述前视图像中的每个像素点的像素类别；
第二获取模块，用于基于所述每个像素点的像素类别，从所述前视图像中获取导向标志区域图像，所述导向标志区域图像为所述前视图像中路面导向标志所在区域对应的最小区域图像；
识别模块，用于将所述导向标志区域图像输入至目标分类器中，输出所述路面导向标志的标志类型，所述目标分类器用于基于任一区域图像识别所述区域图像中的路面导向标志。
可选地，所述第二获取模块用于：
基于所述每个像素点的像素类别，从所述前视图像中确定像素类别属于所述路面导向标识对应的像素类别的像素点；
确定包围所确定的像素点的最小外接矩形；
将所述最小外接矩形对应的区域确定为所述导向标志区域图像。
可选地，所述装置还包括：
第三获取模块，用于获取所述导向标志区域图像的四个顶点在所述前视图像中的第一位置坐标，以及获取所述前视图像的中心点的横坐标；
第二确定模块，用于根据获取的四个顶点的第一位置坐标，确定世界坐标系下所述四个顶点的第二位置坐标；
提示模块，用于基于所述四个顶点的第二位置坐标、所述前视图像的中心点的横坐标和所述路面导向标志的标志类型，进行行驶导引提示。
可选地，所述提示模块用于：
从所述四个顶点的第二位置坐标中确定最大横坐标和最小横坐标；
基于所述最大横坐标和所述最小横坐标，确定世界坐标系下所述导向标志区域图像的中心点的横坐标；
当所确定的横坐标与所述前视图像的中心点的横坐标之间的差值小于预设阈值时，基于所述路面导向标志的标志类型进行行驶导引提示。
可选地，所述第一确定模块用于：
对所述前视图像进行预处理；
调用目标网络模型，将预处理后的前视图像输入所述目标网络模型中，输出所述每个像素点的像素类别，所述目标网络模型用于基于任一图像确定所述图像中的每个像素点的像素类别。
可选地，所述装置还包括训练模块，所述训练模块用于：
获取多个图像样本和每个图像样本中的每个像素点的像素类别；
将所述多个图像样本和所述每个图像样本中的每个像素点的像素类别输入至待训练的网络模型中进行训练，得到所述目标网络模型。
可选地，所述训练模块还用于：
获取第一损失函数；
对所述第一损失函数进行加权处理，得到第二损失函数；
将所述第二损失函数确定为所述待训练的网络模型的损失函数。
可选地，所述训练模块用于：
当所述第一损失函数为交叉熵函数时，确定第一数值和第二数值，所述第一数值为所述多个图像样本中属于所述每种像素类别的像素点的个数，所述第二数值为所述多个图像样本中包括所述每种像素类别的图像样本中所有像素点的个数总和；
确定所述第一数值与所述第二数值之间的比值，得到所述每种像素类别的类别概率；
确定所述每种像素类别的类别概率的中位数与类别概率之间的比值，得到所述每种像素类别的权重；
基于所述每种像素类别的权重，对所述每种像素类别对应的交叉熵函数进行加权处理。
第三方面，提供了一种终端，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为实现上述第一方面所述的路面导向标志的识别方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面所述的路面导向标志的识别方法。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的路面导向标志的识别方法。
本申请实施例提供的技术方案带来的有益效果是：
获取车辆行驶道路前方的前视图像，确定该前视图像中每个像素点的像素类别，从而，基于该每个像素点的像素类别，从前视图像中获取路面导向标志所在区域对应的最小区域图像。之后，将获取的最小区域图像输入到目标分类器中，以确定该路面导向标志的标志类别。如此，避免需要在车辆上安装3D激光扫描仪，节省了成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种路面导向标志的识别方法的流程图；
图2是根据一示例性实施例示出的一种路面导向标志的示意图；
图3是根据一示例性实施例示出的一种网络模型的示意图；
图4是根据一示例性实施例示出的一种摄像装置成像坐标系的说明图；
图5是根据一示例性实施例示出的一种路面导向标志的识别装置的结构示意图；
图6是根据一示例性实施例示出的一种路面导向标志的识别装置的结构示意图；
图7是根据一示例性实施例示出的一种路面导向标志的识别装置的结构示意图；
图8是根据另一示例性实施例示出的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的路面导向标志的识别方法进行详细介绍之前，先对本申请实施例涉及的应用场景和实施环境进行简单介绍。
首先，对本申请实例涉及的应用场景进行简单介绍。
目前，为了能够对路面上设置的路面导向标志进行识别，通常需要在车辆上安装3D激光扫描仪，如此导致成本较高且难以实现。另外，在使用3D激光扫描仪进行路面导向标识识别时，采用灰度值限定的方式提取路面导向标志对应的数据，使得泛化能力较差。为此，本申请实施例提供了一种路面导向标志的识别方法，该方法无需使用3D激光扫描仪即可实现，节省了成本且实现较为容易。另外，本申请提供的方法可以通过已训练的目标网络模型进行像素类别识别，从而基于该像素类别确定标志类型，相比较而言泛化能力较强。其具体实现请参见如下图1所示实施例。
接下来，对本申请实施例涉及的实施环境进行简单介绍。
本申请实施例提供的路面导向标志可以由架设在车辆前端的前视装置来执行，该前视装置可以配置或连接有摄像头，以通过该摄像头对车辆行使道路前方进行拍摄，从而得到车辆行驶道路前方的实时路况图像。在一些实施例中，该前视装置可以为行车记录仪，或者，还可以为配置有摄像头的终端，进一步地，该终端可以为诸如手机、平板电脑、便携式计算机之类设备，本申请实施例对此不做限定。
在介绍完本申请实施例涉及的应用场景和实施环境后，接下来将结合附图对本申请实施例提供的路面导向标志的识别方法进行详细介绍。
请参考图1，该图1是根据一示例性实施例示出的一种路面导向标志的识别方法流程图，本申请实施例以该路面导向标志的识别方法应用于上述前视装置中为例进行说明，该方法可以包括如下几个实现步骤：
步骤101：获取车辆行驶道路前方的前视图像。
在一些实施例中，为了便于驾驶员获知行驶道路的实时路况，通常会在路面上设置路面导向标志，进一步地，该路面导向标志可以使用能够明显区别于其它物体的颜色。请参考图2，该路面导向标志可以包括直行指示标志、可左转指示标志、可右转指示标志、可掉头指示标志、不可掉头指示标志，等等。
在车辆行驶过程中，可以通过架设在车辆前端的前视摄像装置对行驶道路前方进行实时拍摄，得到前视图像，使得后续可以基于该前视图像进行路面导向标志识别，以便于驾驶员可以提前获知行驶道路前方的实时路况。
步骤102：确定该前视图像中的每个像素点的像素类别。
在本申请实施例中，为了对该前视图像中的路面导向标志进行识别，可以确定该前视图像中的每个像素点的像素类别。在一种可能的实现方式中，确定该前视图像中的每个像素点的像素类别的具体实现可以包括：对该前视图像进行预处理，调用目标网络模型，将预处理的前视图像输入至该目标网络模型，输出该前视图像中的每个像素点的像素类别，该目标网络模型用于基于任一图像确定该图像中的每个像素点的像素类别。
在一些实施例中，对该前视图像进行预处理可以包括：对该前视图像进行ROI(Region of Interest，感兴趣区域)截取以及图像色彩空间转换处理，进一步地，还可以包括对前视图像进行图像缩放处理。
得到预处理的前视图像后，可以将该预处理后的前视图像输入到预先训练好的目标网络模型中，由于该目标网络模型可以基于任一图像确定该图像中的每个像素点的像素类别，因此，可以输出该前视图像中的每个像素点的像素类别。
其中，不同像素类别的像素点对应不同的景物。譬如，根据景物不同，该不同像素类别可以划分为分别对应于背景、车辆、车道线、路面导向标志等。
进一步地，在调用目标网络模型之前，可以通过训练模型的方式来得到该目标网络模型，在实施中，获取多个图像样本和每个图像样本中的每个像素点的像素类别，将该多个图像样本和该每个图像样本中的每个像素点的像素类别输入至待训练的网络模型中进行训练，得到该目标网络模型。
其中，每个图像样本中的每个像素点的像素类别可以预先进行标定，譬如，将路面导向标志所在区域的像素点标定为前景，将路面上其它像素点标注为背景。如此，在训练过程中，基于多个图像样本和该多个图像样本中已标定的像素类型，对待训练的网络模型进行训练。
在一些实施例中，该待训练的网络模型可以包括但不限于Mask R-CNN(MaskRegion Convolutional Neural Network，掩膜区域卷积神经网络)、FRRN(Full-Resolution Residual Networks，全分辨率残差网络)、FCN(Fully ConvolutionalNetworks，全卷积网络)、segNet网络，本申请实施例对此不作限定。
这里以采用segNet网络为例进行说明，如图3所示，该图3是根据一示例性实施例示出的segNet网络的结构示意图。在对该segNet网络中，最后一层可以采用softmax分类器作为输出，即采用softmax分类器输出分类结果。
进一步地，将该多个图像样本和该每个图像样本中的每个像素点的像素类别输入至待训练的网络模型中进行训练之前，需要确定损失函数。譬如，该损失函数可以为交叉熵，具体如公式(1)所示：
Figure BDA0001948559430000081
其中，n为像素类别的个数，yi为第i种像素类别对应的类别值，可以预先进行设置，譬如，可以设置为1、2或3等，a为基于多个图像样本和该每个图像样本中的每个像素点的像素类别经过前向传播后确定的数值。
但是由于在图像样本中，路面导向标识的像素点相对较少，使得对损失函数的影响过小导致精度不准确，因此，可以对损失函数进行加权处理。在实施中，可以获取第一损失函数，对该第一损失函数进行加权处理，得到第二损失函数，将该第二损失函数确定为该待训练的网络模型的损失函数。
在一些实施例中，当该第一损失函数为交叉熵函数时，该对该第一损失函数进行加权处理的实现可以包括如下(1)-(4)几个实现步骤：
(1)确定第一数值和第二数值，该第一数值为该多个图像样本中属于该每种像素类别的像素点的个数，该第二数值为该多个图像样本中包括该每种像素类别的图像样本中所有像素点的个数总和。
譬如，对于某种像素类别A，在该多个图像样本中，统计属于该像素类别A的像素点的个数，得到第一数值，假设为k个。另外，统计该多个图像样本中有多少个图像样本包括属于该像素类别A的像素点，假设经过统计确定有m个图像样本包括属于像素类别A的像素点，则该第二数值为m*w*h，其中，w为每个图像样本的宽，h为每个图像样本的高，也即是，该第二数值为该m个图像样本包括的像素点个数。
以此类推，可以确定每种像素类别对应的第一数值和第二数值，假设每种像素类别对应的第一数值表示为argnum(yi)，每种像素类别对应的第二数值表示为argmum(yi∈Ix,y)×w×h。
(2)确定该第一数值与该第二数值之间的比值，得到该每种像素类别的类别概率。
也即是，每种像素类别的类别概率是指该第一数值和第二数值的比值。比如，上述像素类别A的类别概率为k/(m*w*h)。同理，可以确定每个像素类别的类别概率，如公式(2)所示：
Figure BDA0001948559430000091
其中，Freq(yi)为每种像素类别的类别概率。
(3)确定该每种像素类别的类别概率的中位数与类别概率之间的比值，得到该每种像素类别的权重。
譬如，可以通过如下公式(3)确定每种像素类别的权重：
Figure BDA0001948559430000092
其中，
Figure BDA0001948559430000093
为每种像素类别的权重，argmed(freq(yi))为每种像素类别的类别概率的中位数，Freq(yi)为每种像素类别的类别概率。
(4)基于该每种像素类别的权重，对该每种像素类别对应的交叉熵函数进行加权处理。
基于每种像素类别的权重，可以通过如下公式(4)对该每种像素类别对应的交叉熵函数进行加权处理，该公式(4)为：
Figure BDA0001948559430000101
其中，LOSS'为第二损失函数。
值得一提的是，上述对第一损失函数进行加权处理得到第二损失函数，并将第二损失函数确定为待训练的网络模型的损失函数，如此，既可以保证出现频次较小的像素类别能够对第二损失函数产生一定的影响，又可以保证第二损失函数不至于过小而影响精度。
进一步地，对待训练的网络模型进行训练得到目标网络模型后，还可以对目标网络模型进行裁剪及量化等压缩处理，以便于处理后的目标网络模型能够在前视装置上实时运行。
上述基于大量的训练样本对待训练的网络模型进行训练目标网络模型，并通过已训练的该目标网络模型来识别像素点的像素类别，如此可以增强路面导向标志识别的泛化能力。
步骤103：基于该每个像素点的像素类别，从该前视图像中获取导向标志区域图像，该导向标志区域图像为该前视图像中路面导向标志所在区域对应的最小区域图像。
通过目标网络模型确定该前视图像中每个像素点的像素类别后，可以根据该每个像素点的像素类别，从该前视图像中分割出路面导向标志对应的最小区域图像，即从该前视图像中获取导向标志区域图像。
在一种可能的实现方式中，基于该每个像素点的像素类别获取导向标志区域图像的实现可以为：基于该每个像素点的像素类别，从该前视图像中确定像素类别属于该路面导向标识对应的像素类别的像素点，确定包围所确定的像素点的最小外接矩形，将该最小外接矩形对应的区域确定为该导向标志区域图像。
假设该路面导向标志对应的像素类别为yl，则从该前视图像中确定属于yl像素类别的像素点，并确定包围所有属于yl像素类别的像素点的最小外接矩形，得到导向标志区域图像。在一些实施例中，该最小外接矩形的左上顶点和宽高可以通过如下公式(5)(6)(7)和(8)来确定：
Xleft＝argmin{x[whereS(x,y)＝yl]} (5)
Ytop＝argmin{y[whereS(x,y)＝yl]} (6)
W＝argmax{x[whereS(x,y)＝yl]}-Xleft (7)
H＝argmax{y[whereS(x,y)＝yl]}-Ytop (8)
其中，公式(5)用于表示将所有属于yl像素类别的像素点中最小横坐标确定为最小外接矩形的左上顶点的横坐标，公式(6)用于表示将所有属于yl像素类别的像素点中最小纵坐标确定为最小外接矩形的左上顶点的纵坐标。公式(7)用于表示将所有属于yl像素类别的像素点中最大横坐标与最小横坐标之间的差值确定为最小外接矩形的宽，公式(8)用于表示将所有属于yl像素类别的像素点中最大纵坐标与最小纵坐标之间的差值确定为最小外接矩形的高。
步骤104：将该导向标志区域图像输入至目标分类器中，输出该路面导向标志的标志类型，该目标分类器用于基于任一区域图像识别该区域图像中的路面导向标志。
其中，该目标分类器可以预先通过训练得到。在一种可能的实现方式中，该目标分类器可以基于多个区域图像样本和多个区域图像样本中路面导向标志的标志类型，对待训练的分类器进行训练得到。其中，每个区域图像样本中路面导向标志的标志类型可以预先进行标定，譬如，标志类型可以包括左转、左转可掉头、左转不可掉头、右转、直行右转等等。
在一些实施例中，该待训练的分类器可以为LeNet模型，以减小计算量。
进一步地，在将导向标志区域图像输入至目标分类器中之前，还可以对该导向标志区域图像进行二值化处理，譬如，可以将该导向标志区域图像中属于yl像素类别的像素点的灰度值置为1，其余像素点的灰度值置为0，如此得到导向标志区域图像的二值图。在该种情况下，将该二值图输入至上述目标分类器中，以通过该目标分类器对该二值图进行分类，输出该路面导向标志的标志类型，如此，可以提高目标分类器的处理效率。
需要说明的是，上述步骤103至步骤104用于实现基于该每个像素点的像素类别，识别该前视图像中的路面导向标志的操作。
另外，在确定该前视图像中路面导向标志的标志类型后，可以基于所确定的标志类型对驾驶员进行驾驶导引提示，其具体实现请参见如下步骤105至步骤107。
步骤105：获取该导向标志区域图像的四个顶点在该前视图像中的第一位置坐标，以及获取该前视图像的中心点的横坐标。
由于前视装置在拍摄视频时，与地面之间存在一定的角度，因此，一般需要将经过上述步骤得到的导向标志区域图像转换至世界坐标系下，换句话说，可以理解为将导向标志图像转换为俯视角度的图像。为此，这里获取该导向标志区域图像的四个顶点在该前视图像中的第一位置坐标。
需要说明的是，可以预先对前视装置进行摄像机角度标定，譬如，请参考图4，该图4是根据一示例性实施例示出的一种摄像机成像的坐标系说明示意图，包括世界坐标系、摄像机坐标系和图像坐标系，如此可以获知前视图像中的每个像素点的位置坐标，从而可以获取上述第一位置坐标。
另外，由于摄像装置拍摄的角度比较广，因此，为了确定车辆是否在所拍摄的路面导向标志所在的行使道路上，即确定车辆与路面导向标志在竖直方向上是否在一条线上，还需要获取该前视图像的中心点的横坐标。
步骤106：根据获取的四个顶点的第一位置坐标，确定世界坐标系下该四个顶点的第二位置坐标。
在一种可能的实现方式中，可以根据获取的四个顶点的第一位置坐标，通过目标转换公式，确定世界坐标系下该四个顶点的第二位置坐标，其中，该目标转化公式可以为如下公式(9)所示：
Figure BDA0001948559430000121
其中，S'为摄像机成像平面坐标轴不正交时产生的倾斜因子，理想状态下为0，u0、v0为摄像机的中心点的坐标。u1、v1为获取的四个顶点中第i个顶点的第二位置坐标，xi、yi为获取的四个顶点中地第i个顶点的第一位置坐标，1/dx和1/dy为摄像机的焦距。
步骤107：基于该四个顶点的第二位置坐标、该前视图像的中心点的横坐标和该路面导向标志的标志类型，进行行驶导引提示。
在一些实施例中，该步骤107的实现可以包括：从该四个顶点的第二位置坐标中确定最大横坐标和最小横坐标，基于该最大横坐标和该最小横坐标，确定世界坐标系下该导向标志区域图像的中心点的横坐标，当所确定的横坐标与该前视图像的中心点的横坐标之间的差值小于预设阈值时，基于该路面导向标志的标志类型进行行驶导引提示。
也就是说，确定该前视图像的中心点与该世界坐标系下导向区域图像的中心点之间偏差，当该偏差小于预设阈值时，说明车辆与该路面导向标志在水平方式向距离较近，此时可以认为该车辆与该路面导向标志在竖直方向上几乎在同一条直线上，因此，可以按照该路面导向标志的标识类型，向用户进行行驶导引提示，譬如，当该路面导向标志的标识类型为左转可掉头时，该行使导引提示可以为“前方道路左转可掉头”等。当然，当上述偏差大于或等于预设阈值时，说明车辆与该路面导向标志在水平方向上距离较远，此时，可以不对用户进行提示。
其中，该预设阈值可以由用户根据实际需求自定义设置，也可以由该前视装置默认设置，本申请实施例对此不作限定。
进一步地，由于该前视图像中可能包括多个路面导向标志，因此，当对某个路面导向标志进行识别并进行行使导引提示后，可以判断该前视图像中是否还包括其它路面导向标志，即判断该路面导向标志是否为最后一个，当确定该路面导向标志不是该前视图像中的最后一个时，按照上述执行过程确定下一个路面导向标志的标志类型，进一步地，基于确定的下一个标志类型进行行驶导引提示。
在本申请实施例中，获取车辆行驶道路前方的前视图像，确定该前视图像中每个像素点的像素类别，从而，基于该每个像素点的像素类别，从前视图像中获取路面导向标志所在区域对应的最小区域图像。之后，将获取的最小区域图像输入到目标分类器中，以确定该路面导向标志的标志类别。如此，避免需要在车辆上安装3D激光扫描仪，节省了成本。
图5是根据一示例性实施例示出的一种路面导向标志的识别装置的结构示意图，该路面导向标志的识别装置可以由软件、硬件或者两者的结合实现。该路面导向标志的识别装置可以包括：
第一获取模块510，用于获取车辆行驶道路前方的前视图像；
第一确定模块520，用于确定所述前视图像中的每个像素点的像素类别；
第二获取模块530，用于基于所述每个像素点的像素类别，从所述前视图像中获取导向标志区域图像，所述导向标志区域图像为所述前视图像中路面导向标志所在区域对应的最小区域图像；
识别模块540，用于将所述导向标志区域图像输入至目标分类器中，输出所述路面导向标志的标志类型，所述目标分类器用于基于任一区域图像识别所述区域图像中的路面导向标志。
可选地，所述第二获取模块530用于：
基于所述每个像素点的像素类别，从所述前视图像中确定像素类别属于所述路面导向标识对应的像素类别的像素点；
确定包围所确定的像素点的最小外接矩形；
将所述最小外接矩形对应的区域确定为所述导向标志区域图像。
可选地，请参考图6，所述装置还包括：
第三获取模块550，用于获取所述导向标志区域图像的四个顶点在所述前视图像中的第一位置坐标，以及获取所述前视图像的中心点的横坐标；
第二确定模块560，用于根据获取的四个顶点的第一位置坐标，确定世界坐标系下所述四个顶点的第二位置坐标；
提示模块570，用于基于所述四个顶点的第二位置坐标、所述前视图像的中心点的横坐标和所述路面导向标志的标志类型，进行行驶导引提示。
可选地，所述提示模块570用于：
从所述四个顶点的第二位置坐标中确定最大横坐标和最小横坐标；
基于所述最大横坐标和所述最小横坐标，确定世界坐标系下所述导向标志区域图像的中心点的横坐标；
当所确定的横坐标与所述前视图像的中心点的横坐标之间的差值小于预设阈值时，基于所述路面导向标志的标志类型进行行驶导引提示。
可选地，所述第一确定模块520用于：
对所述前视图像进行预处理；
调用目标网络模型，将预处理后的前视图像输入所述目标网络模型中，输出所述每个像素点的像素类别，所述目标网络模型用于基于任一图像确定所述图像中的每个像素点的像素类别。
可选地，请参考图7，所述装置还包括训练模块580，所述训练模块580用于：
获取多个图像样本和每个图像样本中的每个像素点的像素类别；
将所述多个图像样本和所述每个图像样本中的每个像素点的像素类别输入至待训练的网络模型中进行训练，得到所述目标网络模型。
可选地，所述训练模块580还用于：
获取第一损失函数；
对所述第一损失函数进行加权处理，得到第二损失函数；
将所述第二损失函数确定为所述待训练的网络模型的损失函数。
可选地，所述训练模块580用于：
当所述第一损失函数为交叉熵函数时，确定第一数值和第二数值，所述第一数值为所述多个图像样本中属于所述每种像素类别的像素点的个数，所述第二数值为所述多个图像样本中包括所述每种像素类别的图像样本中所有像素点的个数总和；
确定所述第一数值与所述第二数值之间的比值，得到所述每种像素类别的类别概率；
确定所述每种像素类别的类别概率的中位数与类别概率之间的比值，得到所述每种像素类别的权重；
基于所述每种像素类别的权重，对所述每种像素类别对应的交叉熵函数进行加权处理。
在本申请实施例中，获取车辆行驶道路前方的前视图像，确定该前视图像中每个像素点的像素类别，从而，基于该每个像素点的像素类别，从前视图像中获取路面导向标志所在区域对应的最小区域图像。之后，将获取的最小区域图像输入到目标分类器中，以确定该路面导向标志的标志类别。如此，避免需要在车辆上安装3D激光扫描仪，节省了成本。
需要说明的是：上述实施例提供的路面导向标志的识别装置在实现路面导向标志的识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的路面导向标志的识别装置与路面导向标志的识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8示出了本申请一个示例性实施例提供的终端800的结构框图。该终端800可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端800包括有：处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的路面导向标志的识别方法。
在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在再一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时，由处理器801根据用户对触摸显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制触摸显示屏805的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏805的显示亮度；当环境光强度较低时，调低触摸显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述图1所示实施例提供的路面导向标志的识别方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图1所示实施例提供的路面导向标志的识别方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

1.一种路面导向标志的识别方法，其特征在于，所述方法包括：
获取车辆行驶道路前方的前视图像；
确定所述前视图像中的每个像素点的像素类别；
基于所述每个像素点的像素类别，从所述前视图像中获取导向标志区域图像，所述导向标志区域图像为所述前视图像中路面导向标志所在区域对应的最小区域图像；
将所述导向标志区域图像输入至目标分类器中，输出所述路面导向标志的标志类型，所述目标分类器用于基于任一区域图像识别所述区域图像中的路面导向标志。
2.如权利要求1所述的方法，其特征在于，所述基于所述每个像素点的像素类别，从所述前视图像中获取导向标志区域图像，包括：
基于所述每个像素点的像素类别，从所述前视图像中确定像素类别属于所述路面导向标识对应的像素类别的像素点；
确定包围所确定的像素点的最小外接矩形；
将所述最小外接矩形对应的区域确定为所述导向标志区域图像。
3.如权利要求1所述的方法，其特征在于，所述基于所述每个像素点的像素类别，识别所述前视图像中的路面导向标志之后，还包括：
获取所述导向标志区域图像的四个顶点在所述前视图像中的第一位置坐标，以及获取所述前视图像的中心点的横坐标；
根据获取的四个顶点的第一位置坐标，确定世界坐标系下所述四个顶点的第二位置坐标；
基于所述四个顶点的第二位置坐标、所述前视图像的中心点的横坐标和所述路面导向标志的标志类型，进行行驶导引提示。
4.如权利要求3所述的方法，其特征在于，所述基于所述四个顶点的第二位置坐标、所述前视图像的中心点的横坐标和所述路面导向标志的标志类型，进行行驶导行提示，包括：
从所述四个顶点的第二位置坐标中确定最大横坐标和最小横坐标；
基于所述最大横坐标和所述最小横坐标，确定世界坐标系下所述导向标志区域图像的中心点的横坐标；
当所确定的横坐标与所述前视图像的中心点的横坐标之间的差值小于预设阈值时，基于所述路面导向标志的标志类型进行行驶导引提示。
5.如权利要求1所述的方法，其特征在于，所述确定所述前视图像中的每个像素点的像素类别，包括：
对所述前视图像进行预处理；
调用目标网络模型，将预处理后的前视图像输入所述目标网络模型中，输出所述每个像素点的像素类别，所述目标网络模型用于基于任一图像确定所述图像中的每个像素点的像素类别。
6.如权利要求5所述的方法，其特征在于，所述调用目标网络模型之前，还包括：
获取多个图像样本和每个图像样本中的每个像素点的像素类别；
将所述多个图像样本和所述每个图像样本中的每个像素点的像素类别输入至待训练的网络模型中进行训练，得到所述目标网络模型。
7.如权利要求6所述的方法，其特征在于，所述将所述多个图像样本和所述每个图像样本中的每个像素点的像素类别输入至待训练的网络模型中进行训练之前，还包括：
获取第一损失函数；
对所述第一损失函数进行加权处理，得到第二损失函数；
将所述第二损失函数确定为所述待训练的网络模型的损失函数。
8.如权利要求7所述的方法，其特征在于，当所述第一损失函数为交叉熵函数时，所述对所述第一损失函数进行加权处理，包括：
确定第一数值和第二数值，所述第一数值为所述多个图像样本中属于所述每种像素类别的像素点的个数，所述第二数值为所述多个图像样本中包括所述每种像素类别的图像样本中所有像素点的个数总和；
确定所述第一数值与所述第二数值之间的比值，得到所述每种像素类别的类别概率；
确定所述每种像素类别的类别概率的中位数与类别概率之间的比值，得到所述每种像素类别的权重；
基于所述每种像素类别的权重，对所述每种像素类别对应的交叉熵函数进行加权处理。
9.一种路面导向标志的识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取车辆行驶道路前方的前视图像；
第一确定模块，用于确定所述前视图像中的每个像素点的像素类别；
第二获取模块，用于基于所述每个像素点的像素类别，从所述前视图像中获取导向标志区域图像，所述导向标志区域图像为所述前视图像中路面导向标志所在区域对应的最小区域图像；
识别模块，用于将所述导向标志区域图像输入至目标分类器中，输出所述路面导向标志的标志类型，所述目标分类器用于基于任一区域图像识别所述区域图像中的路面导向标志。
10.如权利要求9所述的装置，其特征在于，所述第二获取模块用于：
基于所述每个像素点的像素类别，从所述前视图像中确定像素类别属于所述路面导向标识对应的像素类别的像素点；
确定包围所确定的像素点的最小外接矩形；
将所述最小外接矩形对应的区域确定为所述导向标志区域图像。
11.如权利要求9所述的装置，其特征在于，所述装置还包括：
第三获取模块，用于获取所述导向标志区域图像的四个顶点在所述前视图像中的第一位置坐标，以及获取所述前视图像的中心点的横坐标；
第二确定模块，用于根据获取的四个顶点的第一位置坐标，确定世界坐标系下所述四个顶点的第二位置坐标；
提示模块，用于基于所述四个顶点的第二位置坐标、所述前视图像的中心点的横坐标和所述路面导向标志的标志类型，进行行驶导引提示。
12.如权利要求11所述的装置，其特征在于，所述提示模块用于：
从所述四个顶点的第二位置坐标中确定最大横坐标和最小横坐标；
基于所述最大横坐标和所述最小横坐标，确定世界坐标系下所述导向标志区域图像的中心点的横坐标；
当所确定的横坐标与所述前视图像的中心点的横坐标之间的差值小于预设阈值时，基于所述路面导向标志的标志类型进行行驶导引提示。
13.如权利要求9所述的装置，其特征在于，所述第一确定模块用于：
对所述前视图像进行预处理；
调用目标网络模型，将预处理后的前视图像输入所述目标网络模型中，输出所述每个像素点的像素类别，所述目标网络模型用于基于任一图像确定所述图像中的每个像素点的像素类别。
14.如权利要求13所述的装置，其特征在于，所述装置还包括训练模块，所述训练模块用于：
获取多个图像样本和每个图像样本中的每个像素点的像素类别；
将所述多个图像样本和所述每个图像样本中的每个像素点的像素类别输入至待训练的网络模型中进行训练，得到所述目标网络模型。
15.如权利要求14所述的装置，其特征在于，所述训练模块还用于：
获取第一损失函数；
对所述第一损失函数进行加权处理，得到第二损失函数；
将所述第二损失函数确定为所述待训练的网络模型的损失函数。
16.如权利要求15所述的装置，其特征在于，所述训练模块用于：
当所述第一损失函数为交叉熵函数时，确定第一数值和第二数值，所述第一数值为所述多个图像样本中属于所述每种像素类别的像素点的个数，所述第二数值为所述多个图像样本中包括所述每种像素类别的图像样本中所有像素点的个数总和；
确定所述第一数值与所述第二数值之间的比值，得到所述每种像素类别的类别概率；
确定所述每种像素类别的类别概率的中位数与类别概率之间的比值，得到所述每种像素类别的权重；
基于所述每种像素类别的权重，对所述每种像素类别对应的交叉熵函数进行加权处理。
17.一种终端，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为实现权利要求1-8所述的任一项方法的步骤。
18.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-8所述的任一项方法的步骤。
CN201910044044.7A 2019-01-17 2019-01-17 路面导向标志的识别方法、装置及存储介质 Active CN111444749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910044044.7A CN111444749B (zh) 2019-01-17 2019-01-17 路面导向标志的识别方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910044044.7A CN111444749B (zh) 2019-01-17 2019-01-17 路面导向标志的识别方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111444749A true CN111444749A (zh) 2020-07-24
CN111444749B CN111444749B (zh) 2023-09-01

Family

ID=71653870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910044044.7A Active CN111444749B (zh) 2019-01-17 2019-01-17 路面导向标志的识别方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111444749B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464737A (zh) * 2020-11-04 2021-03-09 浙江预策科技有限公司 道路标线的检测与识别方法、电子装置和存储介质
CN112580646A (zh) * 2020-12-08 2021-03-30 北京农业智能装备技术研究中心 番茄果实成熟度分割方法及采摘机器人

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1657613A1 (fr) * 2004-11-15 2006-05-17 Renault s.a.s. Système de pilotage automatique d'un véhicule automobile imitant un pilotage humain
US20120065924A1 (en) * 2010-08-13 2012-03-15 Certusview Technologies, Llc Methods, apparatus and systems for surface type detection in connection with locate and marking operations
CN103226354A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于光电导航的无人驾驶道路识别系统
CN103488976A (zh) * 2013-09-17 2014-01-01 北京联合大学 一种基于智能驾驶中停止线实时检测以及距离测量的方法
KR20140061156A (ko) * 2012-11-13 2014-05-21 한국건설기술연구원 도로표지판의 위치검출 방법
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
US20170169313A1 (en) * 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Image processing apparatus and method based on deep learning and neural network learning
CN107944425A (zh) * 2017-12-12 2018-04-20 北京小米移动软件有限公司 道路标志的识别方法和装置
EP3336745A1 (en) * 2016-12-15 2018-06-20 Conti Temic microelectronic GmbH Device for determining the presence of a road sign
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN108256413A (zh) * 2017-11-27 2018-07-06 科大讯飞股份有限公司 可通行区域检测方法及装置、存储介质、电子设备
US20180349716A1 (en) * 2017-05-30 2018-12-06 Mando-Hella Electronics Corporation Apparatus and method for recognizing traffic signs
CN109101924A (zh) * 2018-08-14 2018-12-28 武汉大学 一种基于机器学习的路面交通标志识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1657613A1 (fr) * 2004-11-15 2006-05-17 Renault s.a.s. Système de pilotage automatique d'un véhicule automobile imitant un pilotage humain
US20120065924A1 (en) * 2010-08-13 2012-03-15 Certusview Technologies, Llc Methods, apparatus and systems for surface type detection in connection with locate and marking operations
KR20140061156A (ko) * 2012-11-13 2014-05-21 한국건설기술연구원 도로표지판의 위치검출 방법
CN103226354A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于光电导航的无人驾驶道路识别系统
CN103488976A (zh) * 2013-09-17 2014-01-01 北京联合大学 一种基于智能驾驶中停止线实时检测以及距离测量的方法
US20170169313A1 (en) * 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Image processing apparatus and method based on deep learning and neural network learning
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
EP3336745A1 (en) * 2016-12-15 2018-06-20 Conti Temic microelectronic GmbH Device for determining the presence of a road sign
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
US20180349716A1 (en) * 2017-05-30 2018-12-06 Mando-Hella Electronics Corporation Apparatus and method for recognizing traffic signs
CN108256413A (zh) * 2017-11-27 2018-07-06 科大讯飞股份有限公司 可通行区域检测方法及装置、存储介质、电子设备
CN107944425A (zh) * 2017-12-12 2018-04-20 北京小米移动软件有限公司 道路标志的识别方法和装置
CN109101924A (zh) * 2018-08-14 2018-12-28 武汉大学 一种基于机器学习的路面交通标志识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴宗胜;傅卫平;韩改宁;: "基于深度卷积神经网络的道路场景理解", pages 3 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464737A (zh) * 2020-11-04 2021-03-09 浙江预策科技有限公司 道路标线的检测与识别方法、电子装置和存储介质
CN112464737B (zh) * 2020-11-04 2022-02-22 浙江预策科技有限公司 道路标线的检测与识别方法、电子装置和存储介质
CN112580646A (zh) * 2020-12-08 2021-03-30 北京农业智能装备技术研究中心 番茄果实成熟度分割方法及采摘机器人

Also Published As

Publication number Publication date
CN111444749B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN109829456B (zh) 图像识别方法、装置及终端
CN111091132B (zh) 基于人工智能的图像识别方法、装置、计算机设备及介质
CN111126182B (zh) 车道线检测方法、装置、电子设备及存储介质
CN110059685B (zh) 文字区域检测方法、装置及存储介质
CN110490179B (zh) 车牌识别方法、装置及存储介质
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110544272A (zh) 脸部跟踪方法、装置、计算机设备及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110490186B (zh) 车牌识别方法、装置及存储介质
CN110991457B (zh) 二维码处理方法、装置、电子设备及存储介质
CN112270718A (zh) 摄像头标定方法、装置、系统及存储介质
CN111104893A (zh) 目标检测方法、装置、计算机设备及存储介质
CN110503159B (zh) 文字识别方法、装置、设备及介质
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN111127541B (zh) 车辆尺寸的确定方法、装置及存储介质
CN111444749B (zh) 路面导向标志的识别方法、装置及存储介质
CN111325701A (zh) 图像处理方法、装置及存储介质
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN112053360A (zh) 图像分割方法、装置、计算机设备及存储介质
CN111538009B (zh) 雷达点的标记方法和装置
CN110163192B (zh) 字符识别方法、装置及可读介质
CN114283395A (zh) 车道线检测的方法、装置、设备及计算机可读存储介质
CN113378705B (zh) 车道线检测方法、装置、设备及存储介质
CN113709353B (zh) 图像采集方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant