CN112069971A - 一种基于视频的高速公路标志标线识别方法及识别系统 - Google Patents

一种基于视频的高速公路标志标线识别方法及识别系统 Download PDF

Info

Publication number
CN112069971A
CN112069971A CN202010906510.0A CN202010906510A CN112069971A CN 112069971 A CN112069971 A CN 112069971A CN 202010906510 A CN202010906510 A CN 202010906510A CN 112069971 A CN112069971 A CN 112069971A
Authority
CN
China
Prior art keywords
module
mark
marking
image
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010906510.0A
Other languages
English (en)
Inventor
王长华
亓凌
郑于海
赵恒�
姜瑜
黄超超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Original Assignee
Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd filed Critical Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Priority to CN202010906510.0A priority Critical patent/CN112069971A/zh
Publication of CN112069971A publication Critical patent/CN112069971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于汽车辅助驾驶技术领域，公开了一种基于视频的高速公路标志标线识别方法及识别系统，所述基于视频的高速公路标志标线识别系统包括：线路获取模块、车辆位置确定模块、图像采集模块、中央控制模块、图像处理模块、标线识别模块、标志分类模块、神经网络建立模块、迭代训练模块、识别模型构建模块、标志输入模块、标志识别模块、识别结果输出模块、云存储模块、更新显示模块。本发明通过卷积神经网络的训练实现标志识别模型的构建，能够对车载环境中取得的交通标志图像进行识别，能够取得较高的准确率，同时网络模型的训练时间相对较短，有效的解决了识别时间长、过拟合的难题，实现对高速公路右侧标志的识别以及对地面标线的识别。

Description

一种基于视频的高速公路标志标线识别方法及识别系统
技术领域
本发明属于汽车辅助驾驶技术领域，尤其涉及一种基于视频的高速公路标志标线识别方法及识别系统。
背景技术
目前，随着人们生活的进步，车辆已经是人们不可或缺的交通工具，但是由于汽车的保有量急剧增加，导致交通堵塞，事故频繁的发生，因此提高汽车智能化的行驶安全性能已是自动驾驶车辆的首要任务。随着车辆智能化技术发展，无人驾驶车辆技术成为了自动驾驶系统的重要研究领域。
自动驾驶车辆和驾驶员辅助系统普遍是依靠车载摄像头摄取的图像进行检测识别，再通过系统的一系列运算反馈给车辆做出正确的动作。摄像头收集图片时，车辆都是在运动状态下完成的，再加上室外交通环境复杂，识别图像中的物体要比一般静止的图片难度更大。主要困难体现在运动模糊、光照多变复杂、硬件问题、角度倾斜、外物遮掩等。
近年来随着卷积神经网络理论及应用的开发，诸多图像分类方法都已不再需要人工进行提取，而是把图像传输入神经网络中，让神经网络自主学习，自行提取图像的多个特征，之后在通过分类器进行图像的识别分类。但是目前暂无将神经网络用于高速道路交通标志识别的方案，无法实现高速公路无人驾驶的安全性的提升。
通过上述分析，现有技术存在的问题及缺陷为：目前暂无将神经网络用于高速道路交通标志识别的方案，无法实现高速公路无人驾驶的安全性的提升。
发明内容
针对现有技术存在的问题，本发明提供了一种基于视频的高速公路标志标线识别方法及识别系统。
本发明是这样实现的，一种基于视频的高速公路标志标线识别方法，所述基于视频的高速公路标志标线识别方法包括以下步骤：
步骤一，通过线路获取模块利用线路获取程序进行高速公路线路图的获取；通过车辆位置确定模块利用车辆位置确定程序借助车内安装的定位装置进行车辆位置的确定；
步骤二，通过图像采集模块利用摄像头采集车辆前方以及右前方的图像；通过中央控制模块利用中央处理器控制所述基于视频的高速公路标志标线识别系统各个模块的正常运行；
步骤三，通过图像处理模块利用图像处理程序对采集的图像进行处理，提取标志和标线的图像特征数据；
步骤四，通过标线识别模块从采集的图像中随机选取一张图像，作为待识别图像；通过灰度出路程序对待识别图像进行灰度化处理；
步骤五，得到灰度图像后，开启第一线程和第二线程；通过第一线程对灰度图像进行标准化处理，并获取灰度图像的方向梯度直方图特征；通过第二线程对灰度图像进行预处理，并获取灰度图像的局部二值模式特征；
步骤六，利用标线识别程序根据灰度图像的方向梯度直方图特征和局部二值模式特征生成待识别数组进行高速公路道路上标线的识别，并对实线、虚线进行区分，得到高速公路上的实线和虚线线条；
步骤七，通过标志分类模块从标志数据库中随机选取预设数量的标志实例；所述标志实例包括待识别标志样图和所述待识别标志样图的标注信息，所述标注信息包括标志类别信息、包围框信息和蒙版信息；
步骤八，利用标志分类程序根据提取的标线图像特征数据对所述标志实例进行随机变换，得到变换后的标志实例，所述随机变换包括对所述待识别标志样图进行颜色变换、角度旋转、噪声处理和仿射变换中的一种或多种组合；
步骤九，根据采集的标线图像数据的多维信息合成采集图像和所述变换后的标志实例进行标志分类，得到用于标志识别的标注文件，从而将获取的标志分为限速标志、大小型车标志、驶入/出标志、测距标志以及其他提示标志；
步骤十，通过神经网络建立模块利用神经网络建立程序构建卷积神经网络；通过迭代训练模块利用迭代训练程序进行构建的卷积神经网络的训练；
步骤十一，通过识别模型构建模块利用识别模型构建程序构建标志识别模型；通过标志输入模块利用输入程序将图像输入至标志识别模型；
步骤十二，通过标志识别模块利用标志识别模型对分类处理后的标志图像进行识别；通过识别结果输出模块利用输出程序将标线识别结果及标志识别结果进行输出；
步骤十三，通过云存储模块利用云数据库服务器存储获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果；
步骤十四，通过更新显示模块利用更新程序对获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果进行更新，并通过显示器进行更新数据的实时显示。
进一步，步骤二中，所述通过图像采集模块利用摄像头采集车辆前方以及右前方的图像中，所述的摄像头为前置摄像头，安装并朝向在车前。
进一步，步骤三中，所述通过图像处理模块利用图像处理程序对采集的图像进行处理，提取标志和标线的图像特征数据的方法，包括：
(I)通过图像处理模块从采集的图像中随机选取一张图像，作为待处理图像，并对所述待处理图像的空白区域进行裁剪处理；
(II)将裁剪后的所述待处理图像进行标准化处理，同时通过特征提取程序进行标志和标线的图像特征数据的提取；
(III)将标准化处理后的所述待处理图像进行尺寸归一化处理；输出预处理后用作所述卷积神经网络输入图像的所述待处理图像。
进一步，步骤七中，所述从标志数据库中随机选取预设数量的标志实例前，还包括：构建标志数据库。
进一步，所述构建标志数据库的方法，包括：
(1)获取待识别的标志样图；
(2)对所述待识别标志样图进行图像处理和标注，得到标注信息；
(3)根据所述待识别标志样图和对应的标注信息，生成标志实例；
(4)通过数据库构建程序基于所述标志实例构建标志数据库。
进一步，步骤九中，所述根据采集图像的多维信息合成采集图像和所述变换后的标志实例，得到用于标志识别的标注文件的方法，包括：
更新变换后的待识别标志样图对应的标注信息，将更新后的标注信息写入所述标注文件；输出所述标注文件。
进一步，步骤十中，所述通过迭代训练模块利用迭代训练程序进行构建的卷积神经网络训练的方法，包括：
将所述训练数据集输入到已构建的卷积神经网络中，通过反向传播算法、改进网络内部参数，进行连续多次的迭代训练。
本发明的另一目的在于提供一种应用所述的基于视频的高速公路标志标线识别方法的基于视频的高速公路标志标线识别系统，所述基于视频的高速公路标志标线识别系统包括：
线路获取模块，与中央控制模块连接，用于通过线路获取程序进行高速公路线路图的获取；
车辆位置确定模块，与中央控制模块连接，用于通过车辆位置确定程序借助车内安装的定位装置进行车辆位置的确定；
图像采集模块，与中央控制模块连接，用于通过摄像头采集车辆前方以及右前方的图像；
中央控制模块，与线路获取模块、车辆位置确定模块、图像采集模块、图像处理模块、标线识别模块、标志分类模块、神经网络建立模块、迭代训练模块、识别模型构建模块、标志输入模块、标志识别模块、识别结果输出模块、云存储模块、更新显示模块连接，用于通过中央处理器控制所述基于视频的高速公路标志标线识别系统各个模块的正常运行；
图像处理模块，与中央控制模块连接，用于通过图像处理程序对采集的图像进行处理，提取标志标线的图像特征数据；
标线识别模块，与中央控制模块连接，用于通过标线识别程序进行高速公路道路上标线的识别，并对实线、虚线进行区分；
标志分类模块，与中央控制模块连接，用于通过标志分类程序根据提取的标线图像特征数据进行标志分类，将获取的标志分为限速标志、大小型车标志、驶入/出标志、测距标志以及其他提示标志；
神经网络建立模块，与中央控制模块连接，用于通过神经网络建立程序构建卷积神经网络；
迭代训练模块，与中央控制模块连接，用于通过迭代训练程序进行构建的卷积神经网络的训练；
识别模型构建模块，与中央控制模块连接，用于通过识别模型构建程序构建标志识别模型；
标志输入模块，与中央控制模块连接，用于通过输入程序将图像输入至标志识别模型；
标志识别模块，与中央控制模块连接，用于通过标志识别模型对分类处理后的标志图像进行识别；
识别结果输出模块，与中央控制模块连接，用于通过输出程序将标线识别结果及标志识别结果进行输出；
云存储模块，与中央控制模块连接，用于通过云数据库服务器存储获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果；
更新显示模块，与中央控制模块连接，用于通过更新程序对获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果进行更新，并通过显示器进行更新数据的实时显示。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的基于视频的高速公路标志标线识别方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的基于视频的高速公路标志标线识别方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明通过图像处理模块进行采集图像的处理，能够实现对车辆行驶道路的前端道路的图像的处理，方便进行标线的识别以及标志的识别，车辆驾驶更合规；通过卷积神经网络的训练实现标志识别模型的构建，能够实现对车载环境中取得的交通标志图像进行识别，能够取得较高的准确率，同时网络模型的训练时间相对较短，有效的解决了识别时间长、过拟合的难题，应用于无人驾驶能够实现驾驶安全性和方便性的提升。本发明的系统结构简单，功能全面，能够实现对高速公路右侧标志的识别以及对地面标线的识别，进行驾驶更安全。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于视频的高速公路标志标线识别方法流程图。
图2是本发明实施例提供的基于视频的高速公路标志标线识别系统的结构框图；
图中：1、线路获取模块；2、车辆位置确定模块；3、图像采集模块；4、中央控制模块；5、图像处理模块；6、标线识别模块；7、标志分类模块；8、神经网络建立模块；9、迭代训练模块；10、识别模型构建模块；11、标志输入模块；12、标志识别模块；13、识别结果输出模块；14、云存储模块；15、更新显示模块。
图3是本发明实施例提供的通过图像处理模块利用图像处理程序对采集的图像进行处理，提取标志标线的图像特征数据的方法流程图。
图4是本发明实施例提供的通过标线识别模块利用标线识别程序进行高速公路道路上的标线，并对实线、虚线进行区别的方法流程图。
图5是本发明实施例提供的通过标志分类模块利用标志分类程序进行标志分类的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于视频的高速公路标志标线识别方法及识别方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于视频的高速公路标志标线识别方法包括以下步骤：
S101，通过线路获取模块利用线路获取程序进行高速公路线路图的获取；通过车辆位置确定模块利用车辆位置确定程序借助车内安装的定位装置进行车辆位置的确定；
S102，通过图像采集模块利用摄像头采集车辆前方以及右前方的图像；通过中央控制模块利用中央处理器控制所述基于视频的高速公路标志标线识别系统各个模块的正常运行；
S103，通过图像处理模块利用图像处理程序对采集的图像进行处理，提取标志标线的图像数据；通过标线识别模块利用标线识别程序进行高速公路道路上标线的识别，并对实线、虚线进行区分；
S104，通过标志分类模块利用标志分类程序根据提取的标线图像数据进行标志分类，将获取的标志分为限速标志、大小型车标志、驶入/出标志、测距标志以及其他提示标志；
S105，通过神经网络建立模块利用神经网络建立程序构建卷积神经网络；通过迭代训练模块利用迭代训练程序进行构建的卷积神经网络的训练；通过识别模型构建模块利用识别模型构建程序构建标志识别模型；
S106，通过标志输入模块利用输入程序将图像输入至标志识别模型；通过标志识别模块利用标志识别模型对分类处理后的标志图像进行识别；通过识别结果输出模块利用输出程序将标线识别结果及标志识别结果进行输出；
S107，通过云存储模块利用云数据库服务器存储获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果；
S108，通过更新显示模块利用更新程序对获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果进行更新，并通过显示器进行更新数据的实时显示。
如图2所示，本发明实施例提供的基于视频的高速公路标志标线识别系统包括：线路获取模块1、车辆位置确定模块2、图像采集模块3、中央控制模块4、图像处理模块5、标线识别模块6、标志分类模块7、神经网络建立模块8、迭代训练模块9、识别模型构建模块10、标志输入模块11、标志识别模块12、识别结果输出模块13、云存储模块14、更新显示模块15。
线路获取模块1，与中央控制模块4连接，用于通过线路获取程序进行高速公路线路图的获取；
车辆位置确定模块2，与中央控制模块4连接，用于通过车辆位置确定程序借助车内安装的定位装置进行车辆位置的确定；
图像采集模块3，与中央控制模块4连接，用于通过摄像头采集车辆前方以及右前方的图像；
中央控制模块4，与线路获取模块1、车辆位置确定模块2、图像采集模块3、图像处理模块5、标线识别模块6、标志分类模块7、神经网络建立模块8、迭代训练模块9、识别模型构建模块10、标志输入模块11、标志识别模块12、识别结果输出模块13、云存储模块14、更新显示模块15连接，用于通过中央处理器控制所述基于视频的高速公路标志标线识别系统各个模块的正常运行；
图像处理模块5，与中央控制模块4连接，用于通过图像处理程序对采集的图像进行处理，提取标志标线的图像特征数据；
标线识别模块6，与中央控制模块4连接，用于通过标线识别程序进行高速公路道路上标线的识别，并对实线、虚线进行区分；
标志分类模块7，与中央控制模块4连接，用于通过标志分类程序根据提取的标线图像特征数据进行标志分类，将获取的标志分为限速标志、大小型车标志、驶入/出标志、测距标志以及其他提示标志；
神经网络建立模块8，与中央控制模块4连接，用于通过神经网络建立程序构建卷积神经网络；
迭代训练模块9，与中央控制模块4连接，用于通过迭代训练程序进行构建的卷积神经网络的训练；
识别模型构建模块10，与中央控制模块4连接，用于通过识别模型构建程序构建标志识别模型；
标志输入模块11，与中央控制模块4连接，用于通过输入程序将图像输入至标志识别模型；
标志识别模块12，与中央控制模块4连接，用于通过标志识别模型对分类处理后的标志图像进行识别；
识别结果输出模块13，与中央控制模块4连接，用于通过输出程序将标线识别结果及标志识别结果进行输出；
云存储模块14，与中央控制模块4连接，用于通过云数据库服务器存储获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果；
更新显示模块15，与中央控制模块4连接，用于通过更新程序对获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果进行更新，并通过显示器进行更新数据的实时显示。
下面结合具体实施例对本发明作进一步描述。
实施例1
本发明实施例提供的基于视频的高速公路标志标线识别方法如图1所示，作为优选实施例，如图3所示，本发明实施例提供的通过图像处理模块利用图像处理程序对采集的图像进行处理，提取标志标线的图像特征数据的方法包括：
S201，通过图像处理模块从采集的图像中随机选取一张图像，作为待处理图像，并对所述待处理图像的空白区域进行裁剪处理；
S202，将裁剪后的所述待处理图像进行标准化处理，同时通过特征提取程序进行标志和标线的图像特征数据的提取；
S203，将标准化处理后的所述待处理图像进行尺寸归一化处理；输出预处理后用作所述卷积神经网络输入图像的所述待处理图像。
实施例2
本发明实施例提供的基于视频的高速公路标志标线识别方法如图1所示，作为优选实施例，如图4所示，本发明实施例提供的通过标线识别模块利用标线识别程序进行高速公路道路上的标线，并对实线、虚线进行区别的方法包括：
S301，通过标线识别模块从采集的图像中随机选取一张图像，作为待识别图像；通过灰度出路程序对待识别图像进行灰度化处理，得到灰度图像后，开启第一线程和第二线程；
S302，通过第一线程对灰度图像进行标准化处理，并获取灰度图像的方向梯度直方图特征；通过第二线程对灰度图像进行预处理，并获取灰度图像的局部二值模式特征；
S303，利用标线识别程序根据灰度图像的方向梯度直方图特征和局部二值模式特征生成待识别数组进行高速公路道路上标线的识别，并对实线、虚线进行区分，得到高速公路上的实线和虚线线条。
实施例3
本发明实施例提供的基于视频的高速公路标志标线识别方法如图1所示，作为优选实施例，如图5所示，本发明实施例提供的通过标志分类模块利用标志分类程序进行标志分类的方法包括：
S401，通过标志分类模块从标志数据库中随机选取预设数量的标志实例；所述标志实例包括待识别标志样图和所述待识别标志样图的标注信息，所述标注信息包括标志类别信息、包围框信息和蒙版信息；
S402，利用标志分类程序根据提取的标线图像特征数据对所述标志实例进行随机变换，得到变换后的标志实例，所述随机变换包括对所述待识别标志样图进行颜色变换、角度旋转、噪声处理和仿射变换中的一种或多种组合；
S403，根据采集的标线图像数据的多维信息合成采集图像和所述变换后的标志实例进行标志分类，得到用于标志识别的标注文件，从而将获取的标志分为限速标志、大小型车标志、驶入/出标志、测距标志以及其他提示标志。
本发明实施例提供的从标志数据库中随机选取预设数量的标志实例前，还包括：构建标志数据库。
本发明实施例提供的从构建标志数据库的方法，包括：
(1)获取待识别的标志样图；
(2)对所述待识别标志样图进行图像处理和标注，得到标注信息；
(3)根据所述待识别标志样图和对应的标注信息，生成标志实例；
(4)通过数据库构建程序基于所述标志实例构建标志数据库。
本发明实施例提供的从根据采集图像的多维信息合成采集图像和所述变换后的标志实例，得到用于标志识别的标注文件的方法，包括：更新变换后的待识别标志样图对应的标注信息，将更新后的标注信息写入所述标注文件；输出所述标注文件。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于视频的高速公路标志标线识别方法，其特征在于，所述基于视频的高速公路标志标线识别方法包括以下步骤：
步骤一，通过线路获取模块利用线路获取程序进行高速公路线路图的获取；通过车辆位置确定模块利用车辆位置确定程序借助车内安装的定位装置进行车辆位置的确定；
步骤二，通过图像采集模块利用摄像头采集车辆前方以及右前方的图像；通过中央控制模块利用中央处理器控制所述基于视频的高速公路标志标线识别系统各个模块的正常运行；
步骤三，通过图像处理模块利用图像处理程序对采集的图像进行处理，提取标志和标线的图像特征数据；
步骤四，通过标线识别模块从采集的图像中随机选取一张图像，作为待识别图像；通过灰度出路程序对待识别图像进行灰度化处理；
步骤五，得到灰度图像后，开启第一线程和第二线程；通过第一线程对灰度图像进行标准化处理，并获取灰度图像的方向梯度直方图特征；通过第二线程对灰度图像进行预处理，并获取灰度图像的局部二值模式特征；
步骤六，利用标线识别程序根据灰度图像的方向梯度直方图特征和局部二值模式特征生成待识别数组进行高速公路道路上标线的识别，并对实线、虚线进行区分，得到高速公路上的实线和虚线线条；
步骤七，通过标志分类模块从标志数据库中随机选取预设数量的标志实例；所述标志实例包括待识别标志样图和所述待识别标志样图的标注信息，所述标注信息包括标志类别信息、包围框信息和蒙版信息；
步骤八，利用标志分类程序根据提取的标线图像特征数据对所述标志实例进行随机变换，得到变换后的标志实例，所述随机变换包括对所述待识别标志样图进行颜色变换、角度旋转、噪声处理和仿射变换中的一种或多种组合；
步骤九，根据采集的标线图像数据的多维信息合成采集图像和所述变换后的标志实例进行标志分类，得到用于标志识别的标注文件，从而将获取的标志分为限速标志、大小型车标志、驶入/出标志、测距标志以及其他提示标志；
步骤十，通过神经网络建立模块利用神经网络建立程序构建卷积神经网络；通过迭代训练模块利用迭代训练程序进行构建的卷积神经网络的训练；
步骤十一，通过识别模型构建模块利用识别模型构建程序构建标志识别模型；通过标志输入模块利用输入程序将图像输入至标志识别模型；
步骤十二，通过标志识别模块利用标志识别模型对分类处理后的标志图像进行识别；通过识别结果输出模块利用输出程序将标线识别结果及标志识别结果进行输出；
步骤十三，通过云存储模块利用云数据库服务器存储获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果；
步骤十四，通过更新显示模块利用更新程序对获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果进行更新，并通过显示器进行更新数据的实时显示。
2.如权利要求1所述的基于视频的高速公路标志标线识别方法，其特征在于，步骤二中，所述通过图像采集模块利用摄像头采集车辆前方以及右前方的图像中，所述的摄像头为前置摄像头，安装并朝向在车前。
3.如权利要求1所述的基于视频的高速公路标志标线识别方法，其特征在于，步骤三中，所述通过图像处理模块利用图像处理程序对采集的图像进行处理，提取标志和标线的图像特征数据的方法，包括：
(I)通过图像处理模块从采集的图像中随机选取一张图像，作为待处理图像，并对所述待处理图像的空白区域进行裁剪处理；
(II)将裁剪后的所述待处理图像进行标准化处理，同时通过特征提取程序进行标志和标线的图像特征数据的提取；
(III)将标准化处理后的所述待处理图像进行尺寸归一化处理；输出预处理后用作所述卷积神经网络输入图像的所述待处理图像。
4.如权利要求1所述的基于视频的高速公路标志标线识别方法，其特征在于，步骤七中，所述从标志数据库中随机选取预设数量的标志实例前，还包括：构建标志数据库。
5.如权利要求4所述的基于视频的高速公路标志标线识别方法，其特征在于，所述构建标志数据库的方法，包括：
(1)获取待识别的标志样图；
(2)对所述待识别标志样图进行图像处理和标注，得到标注信息；
(3)根据所述待识别标志样图和对应的标注信息，生成标志实例；
(4)通过数据库构建程序基于所述标志实例构建标志数据库。
6.如权利要求1所述的基于视频的高速公路标志标线识别方法，其特征在于，步骤九中，所述根据采集图像的多维信息合成采集图像和所述变换后的标志实例，得到用于标志识别的标注文件的方法，包括：
更新变换后的待识别标志样图对应的标注信息，将更新后的标注信息写入所述标注文件；输出所述标注文件。
7.如权利要求1所述的基于视频的高速公路标志标线识别方法，其特征在于，步骤十中，所述通过迭代训练模块利用迭代训练程序进行构建的卷积神经网络训练的方法，包括：
将所述训练数据集输入到已构建的卷积神经网络中，通过反向传播算法、改进网络内部参数，进行连续多次的迭代训练。
8.一种应用如权利要求1～7任意一项所述的基于视频的高速公路标志标线识别方法的基于视频的高速公路标志标线识别系统，其特征在于，所述基于视频的高速公路标志标线识别系统包括：
线路获取模块，与中央控制模块连接，用于通过线路获取程序进行高速公路线路图的获取；
车辆位置确定模块，与中央控制模块连接，用于通过车辆位置确定程序借助车内安装的定位装置进行车辆位置的确定；
图像采集模块，与中央控制模块连接，用于通过摄像头采集车辆前方以及右前方的图像；
中央控制模块，与线路获取模块、车辆位置确定模块、图像采集模块、图像处理模块、标线识别模块、标志分类模块、神经网络建立模块、迭代训练模块、识别模型构建模块、标志输入模块、标志识别模块、识别结果输出模块、云存储模块、更新显示模块连接，用于通过中央处理器控制所述基于视频的高速公路标志标线识别系统各个模块的正常运行；
图像处理模块，与中央控制模块连接，用于通过图像处理程序对采集的图像进行处理，提取标志标线的图像特征数据；
标线识别模块，与中央控制模块连接，用于通过标线识别程序进行高速公路道路上标线的识别，并对实线、虚线进行区分；
标志分类模块，与中央控制模块连接，用于通过标志分类程序根据提取的标线图像特征数据进行标志分类，将获取的标志分为限速标志、大小型车标志、驶入/出标志、测距标志以及其他提示标志；
神经网络建立模块，与中央控制模块连接，用于通过神经网络建立程序构建卷积神经网络；
迭代训练模块，与中央控制模块连接，用于通过迭代训练程序进行构建的卷积神经网络的训练；
识别模型构建模块，与中央控制模块连接，用于通过识别模型构建程序构建标志识别模型；
标志输入模块，与中央控制模块连接，用于通过输入程序将图像输入至标志识别模型；
标志识别模块，与中央控制模块连接，用于通过标志识别模型对分类处理后的标志图像进行识别；
识别结果输出模块，与中央控制模块连接，用于通过输出程序将标线识别结果及标志识别结果进行输出；
云存储模块，与中央控制模块连接，用于通过云数据库服务器存储获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果；
更新显示模块，与中央控制模块连接，用于通过更新程序对获取的高速公路线路图、车辆位置、采集的车辆前方及右前方的图像、标线识别结果、标志分类结果、构建的卷积神经网络、标志识别模型以及图像的识别结果进行更新，并通过显示器进行更新数据的实时显示。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～7任意一项所述的基于视频的高速公路标志标线识别方法。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～7任意一项所述的基于视频的高速公路标志标线识别方法。
CN202010906510.0A 2020-09-01 2020-09-01 一种基于视频的高速公路标志标线识别方法及识别系统 Pending CN112069971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010906510.0A CN112069971A (zh) 2020-09-01 2020-09-01 一种基于视频的高速公路标志标线识别方法及识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010906510.0A CN112069971A (zh) 2020-09-01 2020-09-01 一种基于视频的高速公路标志标线识别方法及识别系统

Publications (1)

Publication Number Publication Date
CN112069971A true CN112069971A (zh) 2020-12-11

Family

ID=73665236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010906510.0A Pending CN112069971A (zh) 2020-09-01 2020-09-01 一种基于视频的高速公路标志标线识别方法及识别系统

Country Status (1)

Country Link
CN (1) CN112069971A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817299A (zh) * 2021-01-20 2021-05-18 浙江晶立捷环境科技有限公司 一种工业废水治理数据管理云平台及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046999A (zh) * 2014-04-22 2015-11-11 株式会社万都 交通标志识别设备及使用该识别设备输出限速的方法
CN106012886A (zh) * 2016-06-08 2016-10-12 程德龙 一种行使车辆可识别的地标线及其交通安全智能监管系统
CN106527427A (zh) * 2016-10-19 2017-03-22 东风汽车公司 基于高速公路的自动驾驶感知系统
US10089870B2 (en) * 2015-11-19 2018-10-02 Mando Corporation Traffic signs recognition device and speed limit providing method thereof
CN111382625A (zh) * 2018-12-28 2020-07-07 沈阳美行科技有限公司 道路标识识别方法、装置及电子设备
CN111444821A (zh) * 2020-03-24 2020-07-24 西北工业大学 一种城市道路标志自动识别方法
CN111507226A (zh) * 2020-04-10 2020-08-07 北京觉非科技有限公司 道路图像识别模型建模方法、图像识别方法及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046999A (zh) * 2014-04-22 2015-11-11 株式会社万都 交通标志识别设备及使用该识别设备输出限速的方法
US10089870B2 (en) * 2015-11-19 2018-10-02 Mando Corporation Traffic signs recognition device and speed limit providing method thereof
CN106012886A (zh) * 2016-06-08 2016-10-12 程德龙 一种行使车辆可识别的地标线及其交通安全智能监管系统
CN106527427A (zh) * 2016-10-19 2017-03-22 东风汽车公司 基于高速公路的自动驾驶感知系统
CN111382625A (zh) * 2018-12-28 2020-07-07 沈阳美行科技有限公司 道路标识识别方法、装置及电子设备
CN111444821A (zh) * 2020-03-24 2020-07-24 西北工业大学 一种城市道路标志自动识别方法
CN111507226A (zh) * 2020-04-10 2020-08-07 北京觉非科技有限公司 道路图像识别模型建模方法、图像识别方法及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817299A (zh) * 2021-01-20 2021-05-18 浙江晶立捷环境科技有限公司 一种工业废水治理数据管理云平台及其控制方法

Similar Documents

Publication Publication Date Title
CN111931627A (zh) 一种基于多模态信息融合的车辆再识别方法及装置
JP2021530048A (ja) 多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN111078946A (zh) 一种基于多目标区域特征聚合的卡口车辆检索方法及系统
CN111753592B (zh) 交通标志识别方法、装置、计算机设备和存储介质
CN114038004A (zh) 一种证件信息提取方法、装置、设备及存储介质
Sikirić et al. Image representations on a budget: Traffic scene classification in a restricted bandwidth scenario
CN115810134A (zh) 一种车险反欺诈的图像采集质检方法、系统和装置
CN114419603A (zh) 一种自动驾驶车辆控制方法、系统和自动驾驶车辆
CN115661522A (zh) 一种基于视觉语义矢量的车辆导引方法、系统、设备和介质
CN111860219A (zh) 一种高速占道判断方法、装置及电子设备
CN113221894A (zh) 车辆的车牌号识别方法、装置、电子设备和存储介质
CN116704490B (zh) 车牌识别方法、装置和计算机设备
CN112069971A (zh) 一种基于视频的高速公路标志标线识别方法及识别系统
CN117726996A (zh) 交通要素检测方法、装置、设备、介质及产品
CN116071557A (zh) 一种长尾目标检测方法、计算机可读存储介质及驾驶设备
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN115393379A (zh) 一种数据标注方法及相关产品
CN113269150A (zh) 基于深度学习的车辆多属性识别的系统及方法
CN113343785A (zh) 一种基于透视降采样的yolo地面标志检测方法、设备及存储介质
CN114495044A (zh) 标牌识别方法、装置、计算机设备以及存储介质
CN111950550A (zh) 基于深度卷积神经网络的车架号识别系统
Ding et al. Improved road marking detection and recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201211

RJ01 Rejection of invention patent application after publication