CN111507226A - 道路图像识别模型建模方法、图像识别方法及电子设备 - Google Patents

道路图像识别模型建模方法、图像识别方法及电子设备 Download PDF

Info

Publication number
CN111507226A
CN111507226A CN202010279014.7A CN202010279014A CN111507226A CN 111507226 A CN111507226 A CN 111507226A CN 202010279014 A CN202010279014 A CN 202010279014A CN 111507226 A CN111507226 A CN 111507226A
Authority
CN
China
Prior art keywords
feature information
information
lane line
shared
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010279014.7A
Other languages
English (en)
Other versions
CN111507226B (zh
Inventor
靳凯
郝爽
张红飞
魏泽强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Juefei Technology Co ltd
Original Assignee
Beijing Juefei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Juefei Technology Co ltd filed Critical Beijing Juefei Technology Co ltd
Priority to CN202010279014.7A priority Critical patent/CN111507226B/zh
Publication of CN111507226A publication Critical patent/CN111507226A/zh
Application granted granted Critical
Publication of CN111507226B publication Critical patent/CN111507226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及图像识别技术领域，具体涉及一种道路图像识别模型建模方法、图像识别方法及电子设备，解决了现有技术中不能通过包括共享特征提取单元的卷积神经网络构建道路图像识别模型，从而不能根据道路图像识别模型对道路图像中的车道线属性、车道线位置以及物体同时进行高效识别的问题。道路图像识别模型建模方法包括：获得多个标注有标识特征信息的道路样本图像；构建包括共享特征提取单元、车道线位置检测单元、车道线属性检测单元以及物体检测单元的卷积神经网络；采用卷积神经网络对道路样本图像进行训练，得到道路图像识别模型，以利用道路图像识别模型对道路图像进行识别得到车道线属性信息、车道线位置信息以及物体信息。

Description

道路图像识别模型建模方法、图像识别方法及电子设备
技术领域
本申请涉及图像识别技术领域，具体而言，涉及一种道路图像识别模型建模方法、图像识别方法及电子设备。
背景技术
随着图像识别技术的快速发展和社会经济的快速进步，汽车已经成为大众化的交通工具，如何将最新的图像识别技术与汽车技术相结合，从而为人们的生活、工作提供方便，成为了当前的热门研究课题。
在图像识别技术与汽车技术的结合领域中，目前已经有研究者采用卷积神经网络对道路图像进行检测和分析，以实现自动驾驶中的物体检测与车道检测结合的目的。但综合来看，目前的针对道路图像的检测和分析，往往都只检测道路图像中包括的物体和车道线位置，而忽略了对道路图像中车道线属性的检测，其中，车道线属性包括：车道线的线性信息(单线或双线)、车道线的颜色信息以及车道线是否为边界线的信息。
此外，在采用卷积神经网络对道路图像进行检测和分析的过程中，现有技术包括：采用霍夫变换对分析结果进行后处理，但该方法计算复杂度较高，难以对计算并行化，设备效能利用率低，进一步地，该方法并没有采用端到端优化目标物体检测模型和车道线检测模型，其模型精度有限；采用了共享网络对道路图像进行特征提取，但没有考虑到提取出的特征中复用特征的独立性，缺乏对复用特征的梳理导致图像识别效果欠佳，且该方法所消耗的计算资源较大，不利于在移动端上部署推广。
因此，现有技术中存在不能通过包括共享特征提取单元的卷积神经网络构建道路图像识别模型，从而不能根据道路图像识别模型对道路图像中的车道线属性、车道线位置以及物体同时进行高效识别的问题。
发明内容
针对上述问题，本申请提供了一种道路图像识别模型建模方法、图像识别方法及电子设备，解决了现有技术中存在的不能通过包括共享特征提取单元的卷积神经网络构建道路图像识别模型，从而不能根据道路图像识别模型对道路图像中的车道线属性、车道线位置以及物体同时进行高效识别的问题。
第一方面，本申请提供了一种道路图像识别模型建模方法，所述方法包括：
获得多个道路样本图像，其中，所述道路样本图像中标注有标识特征信息，所述标识特征信息包括车道线位置信息、车道线属性信息以及物体信息；
构建包括共享特征提取单元、车道线位置检测单元、车道线属性检测单元以及物体检测单元的卷积神经网络；
采用所述卷积神经网络对多个所述道路样本图像进行训练，得到道路图像识别模型，以利用所述道路图像识别模型对道路图像进行识别得到该道路图像中的车道线属性信息、车道线位置信息以及物体信息。
根据本申请的实施例，优选地，在上述道路图像识别模型建模方法中，采用所述卷积神经网络对多个所述道路样本图像进行训练，得到道路图像识别模型，包括：
将多个所述道路样本图像划分为训练数据集和测试数据集；
将所述训练数据集输入至所述卷积神经网络中进行训练得到初始识别模型；
将所述测试数据集输入至所述初始识别模型中进行测试以得到道路图像识别模型。
根据本申请的实施例，优选地，在上述道路图像识别模型建模方法中，将所述训练数据集输入至所述卷积神经网络中进行训练得到初始识别模型，包括：
采用所述共享特征提取单元对所述道路样本图像进行特征提取，以得到与该道路样本图像对应的共享语义特征信息；
基于所述共享语义特征信息，并采用所述车道线位置检测单元、所述车道线属性检测单元以及所述物体检测单元进行特征信息预测，得到预测特征信息；
采用损失函数计算所述预测特征信息与所述训练数据集中包括的标识特征信息之间的信息损失值；
根据所述信息损失值调整所述卷积神经网络的参数以得到初始识别模型，其中，所述参数包括滤波器参数。
根据本申请的实施例，优选地，在上述道路图像识别模型建模方法中，所述共享特征提取单元包括第一共享卷积块、第二共享卷积块、第三共享卷积块以及第四共享卷积块，采用所述共享特征提取单元对所述道路样本图像进行特征提取，以得到与该道路样本图像对应的共享语义特征信息，包括：
根据所述第一共享卷积块对所述道路样本图像进行卷积，以得到初始共享语义特征信息；
根据第二共享卷积块对所述初始共享语义特征信息进行分组卷积，并对分组卷积后的初始语义特征信息进行卷积，以得到第一共享语义特征信息；
根据第三共享卷积块对所述第一共享语义特征信息进行卷积，并对卷积后的第一共享语义特征信息进行分组卷积，以得到第二共享语义特征信息；
根据第四共享卷积块对所述第二共享语义特征信息进行卷积，以得到第三共享语义特征信息。
根据本申请的实施例，优选地，在上述道路图像识别模型建模方法中，基于所述共享语义特征信息，并采用所述车道线位置检测单元、所述车道线属性检测单元以及所述物体检测单元进行特征信息预测，得到预测特征信息，包括：
利用所述车道线位置检测单元对所述第一共享语义特征信息、所述第二共享语义特征信息以及所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测车道线位置特征信息；
利用所述车道线属性检测单元对所述第二共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测车道线属性特征信息；
利用所述物体检测单元对所述第二共享语义特征信息和所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测物体特征信息；
将所述预测车道线位置特征信息、预测车道线属性特征信息以及所述预测物体特征信息作为预测特征信息。
根据本申请的实施例，优选地，在上述道路图像识别模型建模方法中，所述车道线位置检测单元包括第一车道线位置检测卷积块、第二车道线位置检测卷积块和第三车道线位置检测卷积块，利用所述车道线位置检测单元对所述第一共享语义特征信息、所述第二共享语义特征信息以及所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测车道线位置特征信息，包括：
采用预设注意力单元对所述第一共享语义特征信息和所述第二共享语义特征信息分别进行特征重排，并得到重排后的第一共享语义特征信息和重排后的第二共享语义特征信息；
对所述第三共享语义特征信息进行裁剪，以使裁剪后的第三共享语义特征信息中不包括天空部分的图像信息；
利用第三车道线位置检测卷积块对裁剪后的第三共享语义特征信息和重排后的第二共享语义特征信息进行卷积处理，得到第一卷积结果；
利用第二车道线位置检测卷积块对所述第一卷积结果进行卷积处理，得到第二卷积结果；
利用第一车道线位置检测卷积块对所述第一卷积结果和所述第二卷积结果进行卷积处理，得到第三卷积结果；
从第三卷积结果中提取出预测车道线位置特征信息。
根据本申请的实施例，优选地，在上述道路图像识别模型建模方法中，利用所述车道线属性检测单元对所述第二共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测车道线属性特征信息，包括：
对所述第二共享语义特征信息进行裁剪，以使该第二共享语义特征信息中不包括天空部分的图像信息；
将裁剪后的第二共享语义特征信息输入所述车道线属性检测单元，得到预测车道线属性特征信息，其中，所述预测车道线属性特征信息包括车道线的线性信息、车道线的颜色信息以及车道线是否为边界线的信息中的至少一种信息。
根据本申请的实施例，优选地，在上述道路图像识别模型建模方法中，所述车道线属性检测单元包括膨胀卷积块、大范围核函数卷积块、池化与全卷积块以及属性卷积块，将裁剪后的第二共享语义特征信息输入所述车道线属性检测单元，得到预测车道线属性特征信息，包括：
根据所述膨胀卷积块对裁剪后的第二共享语义特征信息进行卷积，并对卷积后的所述第二共享语义特征信息进行批标准化处理，以得到第一车道线属性语义特征信息；
根据所述大范围核函数卷积块对所述第一车道线属性语义特征信息进行随机失活处理，并对随机失活处理后的第一车道线属性语义特征信息进行卷积，以得到第二车道线属性语义特征信息；
根据所述池化与全卷积块对所述第二车道线属性语义特征信息进行最大池化处理，并对最大池化处理后的第二车道线属性语义特征信息进行全连接处理，以得到第三车道线属性语义特征信息；
根据所述属性卷积块对所述第三车道线属性语义特征信息进行处理，以得到第四车道线属性语义特征信息，将该第四车道线属性语义特征信息作为所述预测车道线属性特征信息。
所述物体检测单元包括第一包围盒特征卷积块、第二包围盒特征卷积块、第三包围盒特征卷积块、第四包围盒特征卷积块、物体位置信息卷积块以及物体类型信息卷积块，利用所述物体检测单元对所述第二共享语义特征信息和所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测物体特征信息，包括：
采用所述第一包围盒特征卷积块对所述第三共享语义特征信息进行卷积处理，得到第一包围盒特征信息；
采用所述第二包围盒特征卷积块对所述第一包围盒特征信息进行卷积处理，得到第二包围盒特征信息；
采用所述第三包围盒特征卷积块对所述第二包围盒特征信息进行卷积处理，得到第三包围盒特征信息；
采用所述第四包围盒特征卷积块对所述第三包围盒特征信息进行卷积处理，得到第四包围盒特征信息；
将所述第一包围盒特征信息、所述第二包围盒特征信息、所述第三包围盒特征信息以及所述第四包围盒特征信息作为预测包围盒特征信息；
将所述第二共享语义特征信息、所述第三共享语义特征信息以及所述预测包围盒特征信息作为初始物体特征信息；
利用所述物体位置信息卷积块对所述初始物体特征信息进行卷积处理，得到物体位置卷积结果，并从该物体位置卷积结果中提取出预测物体位置信息；
利用所述物体类型信息卷积块对所述初始物体特征信息进行卷积处理，得到物体类型卷积结果，并从该物体类型卷积结果中提取出预测物体类型信息；
将所述预测物体位置信息和/或所述预测物体类型信息作为预测物体特征信息。
根据本申请的实施例，优选地，在上述道路图像识别模型建模方法中，当所述道路样本图像中的物体包括车辆时，所述标识特征信息中的物体信息包括车辆的尾框信息，利用所述道路图像识别模型对道路图像进行识别得到该道路图像中的车道线属性信息、车道线位置信息以及物体信息，包括：
当所述道路图像中包括车辆图像时，利用所述道路图像识别模型对所述道路图像中车辆的尾框进行识别，得到该道路图像中的车辆信息；
利用所述道路图像识别模型对所述道路图像中的车道线进行识别，得到该道路图像中的车道线属性信息和/或车道线位置信息。
第二方面，本申请提供了一种图像识别方法，应用于车辆的控制器，所述方法包括：获得预处理后的道路图像，其中，所述预处理包括对该道路图像进行随机裁剪，并将裁剪后的道路图像调整到预设尺寸；
采用上述第一方面中任意一项所述的道路图像识别模型建模方法得到的道路图像识别模型对预处理后的道路图像进行识别，以得到该道路图像中包括的车道线位置信息、车道线属性信息以及物体信息。
根据本申请的实施例，优选地，在上述图像识别方法中，当所述道路样本图像中的物体包括目标车辆时，所述物体信息包括目标车辆的位置信息，所述方法还包括：
根据所述车辆的位置信息采用小孔成像原理以及透视几何关系进行计算，以得到该目标车辆与执行所述图像识别方法的车辆的相对位置。
第三方面，本申请提供了一种电子设备，包括存储器和处理器，所述存储器上存储有能够被所述处理器执行的存储介质，该存储介质被所述处理器执行时实现上述第一方面中任意一项的道路图像识别模型建模方法或第二方面中任意一项的图像识别方法。
第四方面，本申请提供了一种存储介质，该存储介质存储的计算机程序，可被一个或多个处理器执行，可用来实现上述第一方面中任意一项的道路图像识别模型建模方法或第二方面中任意一项的图像识别方法。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：通过获得多个道路样本图像，其中，所述道路样本图像中标注有标识特征信息，所述标识特征信息包括车道线位置信息、车道线属性信息以及物体信息；构建包括共享特征提取单元、车道线位置检测单元、车道线属性检测单元以及物体检测单元的卷积神经网络；采用所述卷积神经网络对多个所述道路样本图像进行训练，得到道路图像识别模型，以利用所述道路图像识别模型对道路图像进行识别得到该道路图像中的车道线属性信息、车道线位置信息以及物体信息，从而现有技术中存在的不能通过包括共享特征提取单元的卷积神经网络构建道路图像识别模型，从而不能根据道路图像识别模型对道路图像中的车道线属性、车道线位置以及物体同时进行高效识别的问题。
附图说明
通过结合附图阅读下文示例性实施例的详细描述可更好地理解本申请公开的范围。其中所包括的附图是：
图1为本申请的实施例一提供的道路图像识别模型建模方法的流程图；
图2为本申请的实施例一提供的道路图像识别模型建模方法的另一流程图；
图3为本申请的实施例一和实施例三提供的卷积神经网络架构图；
图4为本申请的实施例一和实施例三提供的卷积神经网络架构细节图。
在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。
具体实施方式
以下将结合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请的实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本申请的保护范围之内。
实施例一
请结合参阅图1和图2，本实施例提供了一种道路图像识别模型建模方法，该方法包括步骤S110至步骤S130。
步骤S110，获得多个道路样本图像，其中，所述道路样本图像中标注有标识特征信息，所述标识特征信息包括车道线位置信息、车道线属性信息以及物体信息。
可以理解，对所述道路样本图像中的特征信息进行标注的工作由人工操作完成，通过标注操作，可以有效地对道路样本图像中的物体和车道线进行分类，为后续步骤的执行提供良好的数据基础。
步骤S120，构建包括共享特征提取单元、车道线位置检测单元、车道线属性检测单元以及物体检测单元的卷积神经网络。
步骤S130，采用所述卷积神经网络对多个所述道路样本图像进行训练，得到道路图像识别模型，以利用所述道路图像识别模型对道路图像进行识别得到该道路图像中的车道线属性信息、车道线位置信息以及物体信息。
在本实施例中，采用所述卷积神经网络对多个所述道路样本图像进行训练，得到道路图像识别模型，包括：将多个所述道路样本图像划分为训练数据集和测试数据集；将所述训练数据集输入至所述卷积神经网络中进行训练得到初始识别模型；将所述测试数据集输入至所述初始识别模型中进行测试以得到道路图像识别模型。
具体的，请结合参阅图3和图4，在本实施例中，将所述训练数据集输入至所述卷积神经网络中进行训练得到初始识别模型，包括：采用所述共享特征提取单元对所述道路样本图像进行特征提取，以得到与该道路样本图像对应的共享语义特征信息；基于所述共享语义特征信息，并采用所述车道线位置检测单元、所述车道线属性检测单元以及所述物体检测单元进行特征信息预测，得到预测特征信息；采用损失函数进行计算所述预测特征信息与所述训练数据集中包括的标识特征信息之间的信息损失值；根据所述信息损失值调整所述卷积神经网络的参数以得到初始识别模型，其中，所述参数包括滤波器参数。
具体的，在本实施例中，基于所述共享语义特征信息，并采用所述车道线位置检测单元、所述车道线属性检测单元以及所述物体检测单元进行特征信息预测，得到预测特征信息，包括：
利用所述车道线位置检测单元对所述第一共享语义特征信息、所述第二共享语义特征信息以及所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测车道线位置特征信息；
利用所述车道线属性检测单元对所述第二共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测车道线属性特征信息；
利用所述物体检测单元对所述第二共享语义特征信息和所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测物体特征信息；
将所述预测车道线位置特征信息、预测车道线属性特征信息以及所述预测物体特征信息作为预测特征信息。
可以理解，本实施例通过采用共享特征提取单元对道路样本图像进行统一处理，再将处理得到的共享语义特征信息按照预设规则分别发送至对应的检测单元，例如，通过共享特征提取单元对道路样本图像进行处理后，将得到的所述预测车道线属性特征信息发送至对应的车道线属性检测单元进行处理，能够有效降低现有技术中为了获得预测车道线属性特征信息、预测车道线位置特征信息以及预测物体特征信息，需要对道路样本图像分别进行处理所带来的重复计算量，提高了运算效率。
应当说明的是，本实施例中所述的卷积处理，包括卷积、分组卷积以及反卷积。
为了分别得到适用于所述车道线属性检测单元、所述车道线位置检测单元以及所述物体检测单元的共享语义特征，在本实施例中，所述共享特征提取单元包括第一共享卷积块、第二共享卷积块、第三共享卷积块以及第四共享卷积块，采用所述共享特征提取单元对所述道路样本图像进行特征提取，以得到与该道路样本图像对应的共享语义特征信息，包括：根据所述第一共享卷积块对所述道路样本图像进行卷积，以得到初始共享语义特征信息；根据第二共享卷积块对所述初始共享语义特征信息进行分组卷积，并对分组卷积后的初始语义特征信息进行卷积，以得到第一共享语义特征信息；根据第三共享卷积块对所述第一共享语义特征信息进行卷积，并对卷积后的第一共享语义特征信息进行分组卷积，以得到第二共享语义特征信息；根据第四共享卷积块对所述第二共享语义特征信息进行卷积，以得到第三共享语义特征信息。
在本实施例中，根据所述第二共享语义特征信息和所述车道线属性检测单元得到与所述道路样本图像对应的预测车道线属性特征信息，包括：对所述第二共享语义特征信息进行裁剪，以使该第二共享语义特征信息中不包括天空部分的图像信息；将裁剪后的第二共享语义特征信息输入所述车道线属性检测单元，得到预测车道线属性特征信息，其中，所述预测车道线属性特征信息包括车道线的线性信息、车道线的颜色信息以及车道线是否为边界线的信息中的至少一种信息。
可以理解，裁剪后的第二共享语义特征信息中不包括天空部分的图像信息，减少了所述第二共享语义特征信息中的信息量，能够有效降低所述车道线属性检测单元的运算量，从而提高所述卷积神经网络的整体运算效率。
在本实施例中，所述车道线属性检测单元包括膨胀卷积块、大范围核函数卷积块、池化与全卷积块以及属性卷积块，将裁剪后的第二共享语义特征信息输入所述车道线属性检测单元，得到预测车道线属性特征信息，包括：根据所述膨胀卷积块对裁剪后的第二共享语义特征信息进行卷积，并对卷积后的所述第二共享语义特征信息进行批标准化处理，以得到第一车道线属性语义特征信息；根据所述大范围核函数卷积块对所述第一车道线属性语义特征信息进行随机失活处理，并对随机失活处理后的第一车道线属性语义特征信息进行卷积，以得到第二车道线属性语义特征信息；根据所述池化与全卷积块对所述第二车道线属性语义特征信息进行最大池化处理，并对最大池化处理后的第二车道线属性语义特征信息进行全连接处理，以得到第三车道线属性语义特征信息；根据所述属性卷积块对所述第三车道线属性语义特征信息进行处理，以得到第四车道线属性语义特征信息，将该第四车道线属性语义特征信息作为所述预测车道线属性特征信息。
可以理解，所述车道线属性包括：车道线是否为道路边界的属性，车道线的虚实线属性，车道线的单双向属性以及车道线的颜色属性。所述车道线属性检测单元通过选用膨胀卷积块、大范围核函数卷积块、池化与全卷积块以及属性卷积块对所述第二共享语义特征信息的处理，能够获得准确有效的车道线属性特征信息。
在本实施例中，根据所述第一共享语义特征信息、所述第二共享语义特征信息以及所述车道线位置检测单元得到与所述道路样本图像对应的预测车道线位置特征信息，包括：采用预设注意力单元对所述第一共享语义特征信息和所述第二共享语义特征信息分别进行特征重排，并得到重排后的第一共享语义特征信息和重排后的第二共享语义特征信息；对所述第三共享语义特征信息进行裁剪，以使裁剪后的第三共享语义特征信息中不包括天空部分的图像信息；将所述重排后的第一共享语义特征信息、重排后的第二共享语义特征信息以及裁剪后的第三共享语义特征信息输入所述车道线位置检测单元，以提取出预测车道线位置特征信息。
具体的，所述车道线位置检测单元包括第一车道线位置检测卷积块、第二车道线位置检测卷积块和第三车道线位置检测卷积块，利用所述车道线位置检测单元对所述第一共享语义特征信息、所述第二共享语义特征信息以及所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测车道线位置特征信息，包括：采用预设注意力单元对所述第一共享语义特征信息和所述第二共享语义特征信息分别进行特征重排，并得到重排后的第一共享语义特征信息和重排后的第二共享语义特征信息；对所述第三共享语义特征信息进行裁剪，以使裁剪后的第三共享语义特征信息中不包括天空部分的图像信息；利用第三车道线位置检测卷积块对裁剪后的第三共享语义特征信息和重排后的第二共享语义特征信息进行卷积处理，得到第一卷积结果；利用第二车道线位置检测卷积块对所述第一卷积结果进行卷积处理，得到第二卷积结果；利用第一车道线位置检测卷积块对所述第二卷积结果和重排后的第一共享语义特征信息进行卷积处理，得到第三卷积结果；从第三卷积结果中提取出预测车道线位置特征信息。
为了达到同时检测出道路图像中物体的位置信息和类型信息的目的，在本实施例中，根据所述第三共享语义特征信息和所述物体检测单元得到与所述道路样本图像对应的预测物体特征信息，包括：采用所述物体检测单元中的包围盒特征检测子单元对所述第三共享语义特征信息进行处理，以得到包围盒特征信息；采用预设先验框和所述物体检测单元中的物体信息检测子单元对所述第二共享语义特征信息、所述第三共享语义特征信息以及所述包围盒特征信息进行处理，以得到预测物体特征信息，并根据该预测物体特征信息得到所述道路样本图像中物体的位置信息和/或类型信息。
具体的，所述物体检测单元包括第一包围盒特征卷积块、第二包围盒特征卷积块、第三包围盒特征卷积块、第四包围盒特征卷积块、物体位置信息卷积块以及物体类型信息卷积块，利用所述物体检测单元对所述第二共享语义特征信息和所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测物体特征信息，具体包括：采用所述第一包围盒特征卷积块对所述第三共享语义特征信息进行卷积处理，得到第一包围盒特征信息；采用所述第二包围盒特征卷积块对所述第一包围盒特征信息进行卷积处理，得到第二包围盒特征信息；采用所述第三包围盒特征卷积块对所述第二包围盒特征信息进行卷积处理，得到第三包围盒特征信息；采用所述第四包围盒特征卷积块对所述第三包围盒特征信息进行卷积处理，得到第四包围盒特征信息；将所述第一包围盒特征信息、所述第二包围盒特征信息、所述第三包围盒特征信息以及所述第四包围盒特征信息作为预测包围盒特征信息；将所述第二共享语义特征信息、所述第三共享语义特征信息以及所述预测包围盒特征信息作为初始物体特征信息；利用所述物体位置信息卷积块对所述初始物体特征信息进行卷积处理，得到物体位置卷积结果，并从该物体位置卷积结果中提取出预测物体位置信息；利用所述物体类型信息卷积块对所述初始物体特征信息进行卷积处理，得到物体类型卷积结果，并从该物体类型卷积结果中提取出预测物体类型信息；将所述预测物体位置信息和/或所述预测物体类型信息作为预测物体特征信息。
可以理解，所述包围盒特征检测子单元为包括第一包围盒特征卷积块、第二包围盒特征卷积块、第三包围盒特征卷积块以及第四包围盒特征卷积块的处理单元；所述物体信息检测子单元为包括物体位置信息卷积块和物体类型信息卷积块的处理单元。
特别地，为了进一步降低所述卷积神经网络的运算量，并且进一步提高所述道路图像识别模型的识别能力，在本实施例中，当所述道路样本图像中的物体包括车辆时，所述标识特征信息中的物体信息包括车辆的尾框信息，利用所述道路图像识别模型对道路图像进行识别得到该道路图像中的车道线属性信息、车道线位置信息以及物体信息，包括：当所述道路图像中包括车辆图像时，利用所述道路图像识别模型对所述道路图像中车辆的尾框进行识别，得到该道路图像中的车辆信息；利用所述道路图像识别模型对所述道路图像中的车道线进行识别，得到该道路图像中的车道线属性信息和车道线位置信息。
实施例二
本实施例还提供了一种图像识别方法，所述方法应用于车辆的控制器，包括步骤S210至步骤S220。
步骤S210，获得预处理后的道路图像，其中，所述预处理包括对该道路图像进行随机裁剪，并将裁剪后的道路图像调整到预设尺寸。
步骤S220，采用上述实施例一中所述的道路图像识别模型建模方法得到的道路图像识别模型对预处理后的道路图像进行识别，以得到该道路图像中包括的车道线位置信息、车道线属性信息以及物体信息。
在本实施例中，当所述道路样本图像中的物体包括目标车辆时，所述物体信息包括目标车辆的位置信息，所述方法还包括：根据所述目标车辆的位置信息采用小孔成像原理以及透视几何关系进行计算，以得到该目标车辆与执行所述图像识别方法的车辆的相对位置。
实施例三
本实施例提供了一种图像识别方法，所述方法包括步骤S310至步骤S340。
步骤S310，收集样本图片并进行标注。
可以理解，本实施例中所述的样本图片实质上是指实施例一中所述的道路样本图像，在收集样本图片后，需要按照预设规则从总的样本图片中剔除不合格的样本图片，以筛选出有效的样本图片。示例性的，样本图片中总样本数为37408个，有效样本数为37355个。
Figure BDA0002445860490000131
在获得有效的样本图片后，再将所述样本图片分为三类进行标注：第一类为物体，包括：矩形标牌、圆形标牌、三角形标牌和其它标牌，轿车，SUV，小巴，公交，行人，非机动车及交通指示灯。每个物体采用一个矩形框，其中车型矩形框只包含车尾截面，对车型采用车尾框的标注方式而非全车的标记方式，通过此种标注方式可以训练出只检测车辆尾框的模型，通过小孔成像原理和透视几何关系可获取车辆的相对用户车辆的位置。第二类为车道线属性：包括道路边界，虚实线，单双向及车道线颜色。第三类为车道线，使用关键点表述，在每个车道的转折点进行打点标记，以体现出车道线的延伸方向。所述样本图片中的物体的标注统计情况如上表所示；所述样本图片中的物体的标注统计情况如下表所示。
Figure BDA0002445860490000141
步骤S320，基于训练数据库，构建卷积神经网络。
请结合参阅图3和图4，首先，将整张样本图片(即道路样本图像)进行预处理，所述预处理包括将所述样本图片进行随机裁剪并调整到固定尺寸。其次，执行包含c1至c4(即第一共享卷积块至第四共享卷积块)的共享特征提取单元提取所述样本图片的基础语义特征，每层的输出分别为c1层语义特征(即初始共享语义特征信息)，c2层语义特征(即所述第一共享语义特征信息)，c3层语义特征(即所述第二共享语义特征信息)和c4层语义特征(即所述第三共享语义特征信息)。应当说明的是，所述c4层语义特征也称之为高层基础语义特征。
共享特征提取单元中各卷积块具体包括的卷积层如下表所示。其中，c1对应下表中序号2的输出，表示c1(即第一共享卷积块)对应序号0至序号2的卷积层；c2(即第二共享卷积块)对应下表中序号6的输出，表示c2对应序号3至序号6的卷积层；c3(即第三共享卷积块)对应下表中序号14的输出，表示c3对应序号7至序号14的处理过程；c4(即第四共享卷积块)对应下表中序号18的输出，表示c4对应序号15至序号18的卷积层。
Figure BDA0002445860490000151
Figure BDA0002445860490000161
Figure BDA0002445860490000171
c4层语义特征经过物体检测单元中的包围盒特征检测子单元的处理，生成高度抽象的包围盒特征，所述物体检测单元包括e1至e4(即第一包围盒特征卷积块至第四包围盒特征卷积块)，各包围盒特征卷积块包括的卷积层如下表所示。
Figure BDA0002445860490000172
通过组合c3层语义特征(即所述第二共享语义特征信息)、c4层语义特征(即所述第三共享语义特征信息，且将c3层语义特征和c4层语义特征合并称为基础语义特征)和包围盒特征(e1至e4生成的特征信息)，采用所述物体检测单元中的物体信息检测子单元提取与物体检测相关的特征信息，并输出对应物体的分类信息和矩形框。具体的，所述物体信息检测子单元包括的获得物体的位置信息的卷积层如下表所示。
Figure BDA0002445860490000181
所述物体信息检测子单元包括的获得物体的类型信息的卷积层如下表所示。
Figure BDA0002445860490000182
c2层语义特征和c3层语义特征(将c2层语义特征和c3层语义特征合并称为底层语义特征)通过预设注意力单元进行特征重排，将特征重排结果输入车道线位置检测单元，该单元同时输入裁剪掉天空部分的c4层语义特征，仅保留地面信息，对重排后的特征进一步提取车道线信息。其中，所述车道线位置检测单元包括第一车道线位置检测卷积块至第三车道线位置检测卷积块，各车道线位置卷积块包括的卷积层如下表所示。
Figure BDA0002445860490000191
最后c3层语义特征经过裁剪进入车道线属性检测单元，提取车道线属性的相关信息。车道线属性检测单元包括膨胀卷积块、大范围核函数卷积块、池化与全卷积块以及属性卷积块，各卷积块包括的卷积层以及各卷积块包括的处理过程汇总如下表所示。
Figure BDA0002445860490000192
可以理解，底层共享网络和各单元间通过预设注意力单元进行特征重排和清洗，帮助各单元提取各自所需的信息，从而提升算法的精度。针对车道线位置检测单元和车道线属性检测单元，定制化地截去了语义特征中的天空部分特征，仅采用地面特征作为输入并整合到端到端的训练和推理框架中。该步骤能够帮助提升车道线位置检测单元和车道线属性检测单元的检测效果并降低检测过程中的计算量。
步骤S330，训练模型。
本发明提出的道路图像识别模型是一种深度的可供端到端训练的方法。该模型中的各项参数，包括共享特征提取单元中c1到c4的滤波器参数、检测包围盒特征检测子单元中e1到e4的滤波器参数、物体信息检测子单元的滤波器参数、车道分割滤波器参数、车道线位置检测单元的滤波器参数以及车道线属性检测单元的滤波器参数，均基于训练数据集，通过构造目标物体检测损失函数、车道线语义分割损失函数和车道线属性损失函数，首先进行前向传导计算损失函数的损失值的总和，然后利用梯度下降法进行反向传导修正上述所有参数，使得损失函数的损失值的总和逐渐减小，最终达到收敛条件得到稳定的模型参数。
步骤S340，根据所述模型对道路图像进行识别。
在本实施例中，数据集的构建首次提出了对车道线属性进行建模，其中，车道线属性包括车道线的线性、颜色、以及判断车道线是否为边界等。并构建了端到端的算法模型，对道路样本图像中的车道线、车道线属性以及物体进行同时训练和检测，通过同时训练和检测，极大的优化了算法部署的难度，并提升了算法精度。通过包括共享特征提取单元的卷积神经网络来构建道路图像识别模型，能够进一步降低计算复杂度，从而达成对道路图像进行实时检测的需求。
本实施例中的整个卷积神经网络的设计采用了紧凑的特征提取器，三个不同的任务复用相同的共享网络特征提取单元，优于当前物体检测和语义分割的联合方法。与现有技术相比，本申请提出的技术方案解决了端到端的处理自动驾驶中车道线检测和物体检测问题。相比其他方法而言，本实施例提供了车道线属性、车尾截面及标牌等道路信息；其次充分优化的算法结构能够有效利用计算资源并达到良好的检测效果。经实际检验，该方法能够实时的运行在边缘算力平台并达到良好的检测效果。通过GFLOPs(Giga Floating-point Operations Per Second)，即每秒10亿次的浮点运算数，来描述本实施例中的卷积神经网络和现有技术中各网络的一次推理所用计算量，在识别准确率下降1％到2％的情况下，本方法计算量降低了82％。计算方法如下：三个任务总计算量为9.23+0.32+1.28＝10.83，本方法降低了(10.83-1.88)/10.83＝82.6％的计算量。本申请中采用的卷积神经网络与现有技术中各网络的计算量对比情况如下表所示。其中，ERFNet(Efficient ResidualFactorized ConvNet)即语义分割网络，MobileNet即移动端卷积神经网络，MobileNet-SSD(MobileNet-Single Shot MultiBox Detector)即移动端卷积神经网络-单发多包围盒检测器。
Figure BDA0002445860490000211
实施例四
本实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有能够被所述处理器执行的存储介质，该存储介质被所述处理器执行时实现如实施例一中的道路图像识别模型建模方法或实施例二中所述的道路图像识别方法。
其中，处理器用于执行如实施例一中的道路图像识别模型建模方法或实施例二中的道路图像识别方法中的全部或部分步骤。存储器用于存储各种类型的数据，这些数据例如可以包括电子设备中的任何应用程序或方法的指令，以及应用程序相关的数据。
实施例五
本实施例提供了一种存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时可以实现如实施例一中的道路图像识别模型建模方法或实施例二中的图像识别方法，本实施例在此不再赘述。
综上所述，本申请提供了一种道路图像识别模型建模方法、图像识别方法及电子设备，通过获得多个道路样本图像，其中，所述道路样本图像中标注有标识特征信息，所述标识特征信息包括车道线位置信息、车道线属性信息以及物体信息；构建包括共享特征提取单元、车道线位置检测单元、车道线属性检测单元以及物体检测单元的卷积神经网络；采用所述卷积神经网络对多个所述道路样本图像进行训练，得到道路图像识别模型，以利用所述道路图像识别模型对道路图像进行识别得到该道路图像中的车道线属性信息、车道线位置信息以及物体信息，能够解决现有技术中不能通过包括共享特征提取单元的卷积神经网络构建道路图像识别模型，从而不能根据道路图像识别模型对道路图像中的车道线属性、车道线位置以及物体同时进行高效识别的问题，达到能够根据道路图像识别模型对道路图像中的车道线属性、车道线位置以及物体同时进行高效识别的目的。
进一步地，通过采用共享特征提取单元对所述道路样本图像进行特征提取的方式，能够有效将提取出的特征进行复用，极大地减少了模型的运算量，也缩短了运算时间。
进一步地，对道路样本图像中的车辆的车尾框进行标注，而非对道路样本图像中车辆的全车进行标注，通过这样的标注方式能够训练出通过只检测车辆尾框的图像就识别出车辆信息的道路图像识别模型。
进一步地，在车道线位置检测单元和车道线属性检测单元中，输入的是截去了天空部分特征的特征信息，通过这样的方式，能够大幅度降低车道线位置检测单元和车道线属性检测单元的计算量。
在本申请的实施例所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然本申请所揭露的实施方式如上，但所述的内容只是为了便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (14)

1.一种道路图像识别模型建模方法，其特征在于，所述方法包括：
获得多个道路样本图像，其中，所述道路样本图像中标注有标识特征信息，所述标识特征信息包括车道线位置信息、车道线属性信息以及物体信息；
构建包括共享特征提取单元、车道线位置检测单元、车道线属性检测单元以及物体检测单元的卷积神经网络；
采用所述卷积神经网络对多个所述道路样本图像进行训练，得到道路图像识别模型，以利用所述道路图像识别模型对道路图像进行识别得到该道路图像中的车道线属性信息、车道线位置信息以及物体信息。
2.根据权利要求1所述的道路图像识别模型建模方法，其特征在于，采用所述卷积神经网络对多个所述道路样本图像进行训练，得到道路图像识别模型，包括：
将多个所述道路样本图像划分为训练数据集和测试数据集；
将所述训练数据集输入至所述卷积神经网络中进行训练得到初始识别模型；
将所述测试数据集输入至所述初始识别模型中进行测试以得到道路图像识别模型。
3.根据权利要求2所述的道路图像识别模型建模方法，其特征在于，将所述训练数据集输入至所述卷积神经网络中进行训练得到初始识别模型，包括：
采用所述共享特征提取单元对所述道路样本图像进行特征提取，以得到与该道路样本图像对应的共享语义特征信息；
基于所述共享语义特征信息，并采用所述车道线位置检测单元、所述车道线属性检测单元以及所述物体检测单元进行特征信息预测，得到预测特征信息；
采用损失函数计算所述预测特征信息与所述训练数据集中包括的标识特征信息之间的信息损失值；
根据所述信息损失值调整所述卷积神经网络的参数以得到初始识别模型，其中，所述参数包括滤波器参数。
4.根据权利要求3所述的道路图像识别模型建模方法，其特征在于，所述共享特征提取单元包括第一共享卷积块、第二共享卷积块、第三共享卷积块以及第四共享卷积块，采用所述共享特征提取单元对所述道路样本图像进行特征提取，以得到与该道路样本图像对应的共享语义特征信息，包括：
根据所述第一共享卷积块对所述道路样本图像进行卷积，以得到初始共享语义特征信息；
根据第二共享卷积块对所述初始共享语义特征信息进行分组卷积，并对分组卷积后的初始语义特征信息进行卷积，以得到第一共享语义特征信息；
根据第三共享卷积块对所述第一共享语义特征信息进行卷积，并对卷积后的第一共享语义特征信息进行分组卷积，以得到第二共享语义特征信息；
根据第四共享卷积块对所述第二共享语义特征信息进行卷积，以得到第三共享语义特征信息。
5.根据权利要求4所述的道路图像识别模型建模方法，其特征在于，基于所述共享语义特征信息，并采用所述车道线位置检测单元、所述车道线属性检测单元以及所述物体检测单元进行特征信息预测，得到预测特征信息，包括：
利用所述车道线位置检测单元对所述第一共享语义特征信息、所述第二共享语义特征信息以及所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测车道线位置特征信息；
利用所述车道线属性检测单元对所述第二共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测车道线属性特征信息；
利用所述物体检测单元对所述第二共享语义特征信息和所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测物体特征信息；
将所述预测车道线位置特征信息、预测车道线属性特征信息以及所述预测物体特征信息作为预测特征信息。
6.根据权利要求5所述的道路图像识别模型建模方法，其特征在于，所述车道线位置检测单元包括第一车道线位置检测卷积块、第二车道线位置检测卷积块和第三车道线位置检测卷积块，利用所述车道线位置检测单元对所述第一共享语义特征信息、所述第二共享语义特征信息以及所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测车道线位置特征信息，包括：
采用预设注意力单元对所述第一共享语义特征信息和所述第二共享语义特征信息分别进行特征重排，并得到重排后的第一共享语义特征信息和重排后的第二共享语义特征信息；
对所述第三共享语义特征信息进行裁剪，以使裁剪后的第三共享语义特征信息中不包括天空部分的图像信息；
利用第三车道线位置检测卷积块对裁剪后的第三共享语义特征信息和重排后的第二共享语义特征信息进行卷积处理，得到第一卷积结果；
利用第二车道线位置检测卷积块对所述第一卷积结果进行卷积处理，得到第二卷积结果；
利用第一车道线位置检测卷积块对所述第一卷积结果和所述第二卷积结果进行卷积处理，得到第三卷积结果；
从第三卷积结果中提取出预测车道线位置特征信息。
7.根据权利要求4所述的道路图像识别模型建模方法，其特征在于，利用所述车道线属性检测单元对所述第二共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测车道线属性特征信息，包括：
对所述第二共享语义特征信息进行裁剪，以使该第二共享语义特征信息中不包括天空部分的图像信息；
将裁剪后的第二共享语义特征信息输入所述车道线属性检测单元，得到预测车道线属性特征信息，其中，所述预测车道线属性特征信息包括车道线的线性信息、车道线的颜色信息以及车道线是否为边界线的信息中的至少一种信息。
8.根据权利要求7所述的道路图像识别模型建模方法，其特征在于，所述车道线属性检测单元包括膨胀卷积块、大范围核函数卷积块、池化与全卷积块以及属性卷积块，将裁剪后的第二共享语义特征信息输入所述车道线属性检测单元，得到预测车道线属性特征信息，包括：
根据所述膨胀卷积块对裁剪后的第二共享语义特征信息进行卷积，并对卷积后的所述第二共享语义特征信息进行批标准化处理，以得到第一车道线属性语义特征信息；
根据所述大范围核函数卷积块对所述第一车道线属性语义特征信息进行随机失活处理，并对随机失活处理后的第一车道线属性语义特征信息进行卷积，以得到第二车道线属性语义特征信息；
根据所述池化与全卷积块对所述第二车道线属性语义特征信息进行最大池化处理，并对最大池化处理后的第二车道线属性语义特征信息进行全连接处理，以得到第三车道线属性语义特征信息；
根据所述属性卷积块对所述第三车道线属性语义特征信息进行处理，以得到第四车道线属性语义特征信息，将该第四车道线属性语义特征信息作为所述预测车道线属性特征信息。
9.根据权利要求4所述的道路图像识别模型建模方法，其特征在于，所述物体检测单元包括第一包围盒特征卷积块、第二包围盒特征卷积块、第三包围盒特征卷积块、第四包围盒特征卷积块、物体位置信息卷积块以及物体类型信息卷积块，利用所述物体检测单元对所述第二共享语义特征信息和所述第三共享语义特征信息进行处理，从中得到与所述道路样本图像对应的预测物体特征信息，包括：
采用所述第一包围盒特征卷积块对所述第三共享语义特征信息进行卷积处理，得到第一包围盒特征信息；
采用所述第二包围盒特征卷积块对所述第一包围盒特征信息进行卷积处理，得到第二包围盒特征信息；
采用所述第三包围盒特征卷积块对所述第二包围盒特征信息进行卷积处理，得到第三包围盒特征信息；
采用所述第四包围盒特征卷积块对所述第三包围盒特征信息进行卷积处理，得到第四包围盒特征信息；
将所述第一包围盒特征信息、所述第二包围盒特征信息、所述第三包围盒特征信息以及所述第四包围盒特征信息作为预测包围盒特征信息；
将所述第二共享语义特征信息、所述第三共享语义特征信息以及所述预测包围盒特征信息作为初始物体特征信息；
利用所述物体位置信息卷积块对所述初始物体特征信息进行卷积处理，得到物体位置卷积结果，并从该物体位置卷积结果中提取出预测物体位置信息；
利用所述物体类型信息卷积块对所述初始物体特征信息进行卷积处理，得到物体类型卷积结果，并从该物体类型卷积结果中提取出预测物体类型信息；
将所述预测物体位置信息和/或所述预测物体类型信息作为预测物体特征信息。
10.根据权利要求1所述的道路图像识别模型建模方法，其特征在于，当所述道路样本图像中的物体包括车辆时，所述标识特征信息中的物体信息包括车辆的尾框信息，利用所述道路图像识别模型对道路图像进行识别得到该道路图像中的车道线属性信息、车道线位置信息以及物体信息，包括：
当所述道路图像中包括车辆图像时，利用所述道路图像识别模型对所述道路图像中车辆的尾框进行识别，得到该道路图像中的车辆信息；
利用所述道路图像识别模型对所述道路图像中的车道线进行识别，得到该道路图像中的车道线属性信息和车道线位置信息。
11.一种图像识别方法，其特征在于，应用于车辆的控制器，所述方法包括：
获得预处理后的道路图像，其中，所述预处理包括对该道路图像进行随机裁剪，并将裁剪后的道路图像调整到预设尺寸；
采用上述权利要求1-10中任意一项所述的道路图像识别模型建模方法得到的道路图像识别模型对预处理后的道路图像进行识别，以得到该道路图像中包括的车道线位置信息、车道线属性信息以及物体信息。
12.根据权利要求11所述的图像识别方法，其特征在于，当所述道路样本图像中的物体包括目标车辆时，所述物体信息包括目标车辆的位置信息，所述方法还包括：
根据所述目标车辆的位置信息采用小孔成像原理以及透视几何关系进行计算，以得到该目标车辆与执行所述图像识别方法的车辆的相对位置。
13.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行利要求1至12中任意一项所述的方法。
14.一种存储介质，其特征在于，该存储介质存储的计算机程序，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至12中任意一项所述的方法。
CN202010279014.7A 2020-04-10 2020-04-10 道路图像识别模型建模方法、图像识别方法及电子设备 Active CN111507226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010279014.7A CN111507226B (zh) 2020-04-10 2020-04-10 道路图像识别模型建模方法、图像识别方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010279014.7A CN111507226B (zh) 2020-04-10 2020-04-10 道路图像识别模型建模方法、图像识别方法及电子设备

Publications (2)

Publication Number Publication Date
CN111507226A true CN111507226A (zh) 2020-08-07
CN111507226B CN111507226B (zh) 2023-08-11

Family

ID=71869342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010279014.7A Active CN111507226B (zh) 2020-04-10 2020-04-10 道路图像识别模型建模方法、图像识别方法及电子设备

Country Status (1)

Country Link
CN (1) CN111507226B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069971A (zh) * 2020-09-01 2020-12-11 浙江省机电设计研究院有限公司 一种基于视频的高速公路标志标线识别方法及识别系统
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN113191256A (zh) * 2021-04-28 2021-07-30 北京百度网讯科技有限公司 车道线检测模型的训练方法、装置、电子设备及存储介质
CN115661556A (zh) * 2022-10-20 2023-01-31 南京领行科技股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115965935A (zh) * 2022-12-26 2023-04-14 广州沃芽科技有限公司 目标检测方法、装置、电子设备、存储介质和程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140438A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification
CN106599827A (zh) * 2016-12-09 2017-04-26 浙江工商大学 一种基于深度卷积神经网络的小目标快速检测方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108241829A (zh) * 2016-12-23 2018-07-03 乐视汽车（北京）有限公司 车辆行驶图像识别方法
CN108921089A (zh) * 2018-06-29 2018-11-30 驭势科技（北京）有限公司 车道线检测方法、装置和系统及存储介质
CN110414387A (zh) * 2019-07-12 2019-11-05 武汉理工大学 一种基于道路分割的车道线多任务学习检测方法
CN110414380A (zh) * 2019-07-10 2019-11-05 上海交通大学 一种基于目标检测的学生行为检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140438A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification
CN106599827A (zh) * 2016-12-09 2017-04-26 浙江工商大学 一种基于深度卷积神经网络的小目标快速检测方法
CN108241829A (zh) * 2016-12-23 2018-07-03 乐视汽车（北京）有限公司 车辆行驶图像识别方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108921089A (zh) * 2018-06-29 2018-11-30 驭势科技（北京）有限公司 车道线检测方法、装置和系统及存储介质
CN110414380A (zh) * 2019-07-10 2019-11-05 上海交通大学 一种基于目标检测的学生行为检测方法
CN110414387A (zh) * 2019-07-12 2019-11-05 武汉理工大学 一种基于道路分割的车道线多任务学习检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BEI HE 等: "Lane marking detection based on Convolution Neural Network from point clouds", 《2016 IEEE 19TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》 *
高鑫;李慧;张义;闫梦龙;张宗朔;孙显;孙皓;于泓峰;: "基于可变形卷积神经网络的遥感影像密集区域车辆检测方法", 电子与信息学报, no. 12 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069971A (zh) * 2020-09-01 2020-12-11 浙江省机电设计研究院有限公司 一种基于视频的高速公路标志标线识别方法及识别系统
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN112528878B (zh) * 2020-12-15 2024-01-09 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN113191256A (zh) * 2021-04-28 2021-07-30 北京百度网讯科技有限公司 车道线检测模型的训练方法、装置、电子设备及存储介质
CN113191256B (zh) * 2021-04-28 2024-06-11 北京百度网讯科技有限公司 车道线检测模型的训练方法、装置、电子设备及存储介质
CN115661556A (zh) * 2022-10-20 2023-01-31 南京领行科技股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115661556B (zh) * 2022-10-20 2024-04-12 南京领行科技股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115965935A (zh) * 2022-12-26 2023-04-14 广州沃芽科技有限公司 目标检测方法、装置、电子设备、存储介质和程序产品
CN115965935B (zh) * 2022-12-26 2023-09-12 广州沃芽科技有限公司 目标检测方法、装置、电子设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN111507226B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN111507226B (zh) 道路图像识别模型建模方法、图像识别方法及电子设备
CN112541503B (zh) 基于上下文注意力机制和信息融合的实时语义分割方法
CN111709420B (zh) 文本检测方法、电子设备及计算机可读介质
CN111402264B (zh) 图像区域分割方法、装置及其模型训练方法及计算机设备
CN107730553B (zh) 一种基于伪真值搜寻法的弱监督物体检测方法
WO2021185121A1 (zh) 模型生成方法、目标检测方法、装置、设备及存储介质
CN111967545B (zh) 文本检测方法、装置、电子设备及计算机存储介质
CN111932577B (zh) 文本检测方法、电子设备及计算机可读介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN107704797A (zh) 基于安防视频中行人和车辆的实时检测方法和系统及设备
CN114495060B (zh) 一种道路交通标线识别方法及装置
CN116468895A (zh) 一种相似度矩阵引导的少样本语义分割方法及系统
CN110008949B (zh) 一种图像目标检测方法、系统、装置和存储介质
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN113177956B (zh) 一种面向无人机遥感影像的语义分割方法
CN113223037A (zh) 一种面向大规模数据的无监督语义分割方法及系统
CN111178181B (zh) 交通场景分割方法及相关装置
CN112053439A (zh) 图像中实例属性信息确定方法、装置、设备及存储介质
CN111709377A (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN115565148A (zh) 道路图像的检测方法、装置、存储介质和电子装置
CN114511845A (zh) 一种基于深度学习的车牌字符分类识别方法及介质
CN112949731A (zh) 基于多专家模型的目标检测方法、装置、存储介质及设备
CN114639076A (zh) 目标对象检测方法、装置、存储介质以及电子装置
US20240233325A9 (en) Method for classifying images and electronic device
CN113763412B (zh) 图像处理方法、装置及电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant