CN111797934A - 路标识别方法及装置 - Google Patents

路标识别方法及装置 Download PDF

Info

Publication number
CN111797934A
CN111797934A CN202010666507.6A CN202010666507A CN111797934A CN 111797934 A CN111797934 A CN 111797934A CN 202010666507 A CN202010666507 A CN 202010666507A CN 111797934 A CN111797934 A CN 111797934A
Authority
CN
China
Prior art keywords
road sign
landmark
classification
road
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010666507.6A
Other languages
English (en)
Inventor
邹凯崴
张楠赓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canaan Bright Sight Co Ltd
Original Assignee
Canaan Creative Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canaan Creative Co Ltd filed Critical Canaan Creative Co Ltd
Priority to CN202010666507.6A priority Critical patent/CN111797934A/zh
Publication of CN111797934A publication Critical patent/CN111797934A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种路标识别方法及装置，其中，所述路标识别方法包括：利用数据增强技术分别制作路标检测数据集和路标分类数据集；利用所述路标检测数据集训练路标检测模型，利用所述路标分类数据集训练路标分类模型；利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，从而进行路标识别。本发明可以增加数据的多样性、模型的准确率以及鲁棒性。

Description

路标识别方法及装置
技术领域
本发明人工智能技术领域，特别涉及一种路标识别方法及装置。
背景技术
随着经济水平的提升和科学技术的发展，对路标的识别提出了更高的要求。现已的路标识别方案，其采用的目标检测模型在训练数据充足且平衡的情况下基本可以达到良好的结果，但在训练数据欠缺的情况下，模型的召回率以及致准确率皆会下降，无法满足实际需求。
因此，亟需提出一种准确、高效、智能化的路标识别方法及装置。
发明内容
(一)要解决的技术问题
鉴于上述问题，本发明的主要目的在于提供一种路标识别方法及装置，以便解决上述问题的至少之一。
(二)技术方案
根据本发明的一个方面，提供了一种路标识别方法，包括：
利用数据增强技术分别制作路标检测数据集和路标分类数据集；
利用所述路标检测数据集训练路标检测模型，利用所述路标分类数据集训练路标分类模型；
利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，从而进行路标识别。
进一步的，在利用数据增强技术分别制作路标检测数据集和路标分类数据集之前，还包括：利用道路监控摄像和网站资源获取路景图片。
进一步的，利用数据增强技术制作路标检测数据集，包括：
利用数据增强技术对获取的路景图片进行数据增强处理；
利用所述获取的路景图片及数据增强处理后的图片构建路标检测数据集；
其中，所述数据增强处理包括根据所述获取的路景图片上不同路标出现的频次选择性的将路标粘在路景图片上。
进一步的，在所述获取的路景图片中，若一路标出现的频次越高，则这一路标被选择粘在路景图片上的几率越小。
进一步的，利用数据增强技术制作路标分类数据集，包括：
利用数据增强技术对获取的路景图片进行数据增强处理；
利用所述获取的路景图片及数据增强处理后的图片构建路标分类数据集；
其中，所述数据增强处理包括随机旋转、随机裁剪、加入噪声、随机缩放、图片变形、平移变换、仿射变换、颜色变换、光照变换。
进一步的，利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，从而进行路标识别，包括：
利用训练好的路标检测模型检测待识别路标的图片上是否存在路标，若存在路标，则进行预分类；
根据预分类的结果利用训练好的路标分类模型进行二次分类，从而进行路标识别。
进一步的，利用YOLO检测神经网络构建所述路标检测模型，利用MobileNet分类神经网络构建多个路标分类模型。
进一步的，利用MobileNet分类神经网络构建的路标分类模型包括红色路标分类模型、黄色路标分类模型及蓝色路标分类模型。
进一步的，利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，从而进行路标识别，包括：
将待识别路标的图片输入路标检测模型，检测是否存在路标，若存在路标则进行预分类，确定路标的颜色类别；
将确定颜色类别后的路标输入对应颜色的路标分类模型，确定路标含义类别，从而进行路标识别。
根据本发明的另一个方面，提供了一种路标识别装置，包括：
数据处理模块，用于利用数据增强技术分别制作路标检测数据集和路标分类数据集；
训练模块，用于利用所述路标检测数据集训练路标检测模型，及利用所述路标分类数据集训练路标分类模型；
识别模块，用于利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，从而进行路标识别。
进一步的，所述识别模块包括：
路标检测模型，利用YOLO检测神经网络构建，用于确定待识别路标的图片是否存在路标，若存在路标则进行预分类，以确定路标的颜色类别；
路标分类模型，利用MobileNet分类神经网络构建，用于确定路标含义类别，从而进行路标识别。
根据本发明的又一个方面，提供了一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现所述的路标识别方法。
(三)有益效果
从上述技术方案可以看出，本发明一种路标识别方法及装置至少具有以下有益效果其中之一：
(1)本发明提出的针对检测模型及分类模型所采用的数据增强方式，可以增加数据的多样性、模型的准确率以及鲁棒性。
(2)本发明YOLO只着重于确定路标的颜色类别，可以避免类别不平衡的问题。
(3)利用两步式目标检测和分类架构，可以大幅提高分类准确率。
(4)若其中一个模型(例如蓝色路标分类模型)的分类效果不好，可以专注在这一个模块(蓝色路标的模型)的修改以及数据增强，而无需重新训练整个架构，由此提高了开发效率。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
在附图中：
图1为本发明路标示意图。
图2为本发明路标识别方法流程图。
图3为本发明路标识别方法另一流程图。
图4为本发明路标识别方法又一流程图。
图5为本发明路标识别方法再一流程图。
图6为本发明路标识别装置方框图。
图7为本发明红黄蓝三类路标示意图。
图8为本发明路标分类过程示意图。
图9为本发明检测路标数据增强示意图。
图10为本发明检测路标数据增强另一示意图。
图11为本发明分类路标数据增强又一示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
利用YOLO模型执行目标检测以及分类是目前常见的做法，将目标检测和分类包在一个模型中，并且同时训练，其目标函数如下：
Figure BDA0002579310410000041
式中，
Figure BDA0002579310410000042
为打标的真值xi，yi，hi，ci，pi(c)为预测值，x，y，w，h为预测框，c为置信度，p为每一类别的预测概率，λ为损失的加权值，B为边框(Bounding box)的个数，S为当前层特征图(featuremap)的长宽。
而根据政府官方网站公布，现行的路标至少有128类以上，若直接使用现有的YOLO模型对路标进行检测并且分类，效果较差，无法达到商用水平。并且，若是分类类别太多，会使模型变得太大，导致无法将模型放上终端做边缘运算。
此外，在利用现有的YOLO模型执行目标检测以及分类时，常需要先训练模型，模型训练过程中，数据类别不平衡的问题时常出现，例如在路标辨识的数据集里，pl40、pn等路标出现的几率较多，但w52、w24等路标却很少出现，如图1所示，由此导致此类的路标辨识率极差，故需要通过数据增强的方式，扩充缺少的数据。
目前，常见的数据增强的方式包括以下三种：第一种方式是利用数据复制的方法使类别数量达到平衡，例如，若在数据集中有1000张图片包含路标p140，却只有10张图片包含路标w52，那么就直接复制这10张图片使其数量达到1000张左右。第二种方式是数据舍弃，以上面的例子来说，1000张pl40的图片也许并非全部对训练皆有所帮助，因此可以舍弃其中的990张图片，使pl40的图片数量和w52的图片数量达到平衡。第三种方式是对目标函数施加权重值，以同样的例子解释，w52的类别因为出现次数过少，会被模型忽略，因此就增加该类别的损失(loss)，使得模型无法忽略该类别的损失。
但是，上述三种数据增强的方式仅仅是着重于迫使神经网络注意稀有类别的检测以及分类，而提供给神经网络训练的数据并没有多样性，导致训练提升效果有限，因此无法从根本上解决类别稀缺的问题。
有鉴于此，本发明提出一种路标识别方法，解决了现有的YOLO在路标类别过多、数据不平衡时无法准确分类的问题。
如图2所示，所述路标识别方法包括：
利用数据增强技术分别制作路标检测数据集和路标分类数据集；
利用所述路标检测数据集训练路标检测模型，利用所述路标分类数据集训练路标分类模型；以及
利用训练好的路标检测模型和路标分类数据分别进行路标检测和路标分类，从而进行路标识别。
其中，在利用数据增强技术分别制作路标检测数据集和路标分类数据集之前，还包括：利用道路监控摄像和网站资源获取路景图片。优选的，利用Python网络爬虫技术获取网站上的路景图片，获取效率高。所述网站资源包括百度图片或其他网络途径搜集而来的照片。此外，获取路标照片之后可以进行筛选，剔除非实际场景、路标模糊不清的照片。其中，可以采用人工筛选的方式对获取的路景图片进行筛选。所述路景图片包括有路标的路景图和没有路标的路景图。
具体的，如图3所示，利用数据增强技术制作路标检测数据集，包括：
利用数据增强技术对获取的路景图片进行数据增强处理；及
利用所述获取的路景图片及数据增强处理后的图片构建路标检测数据集；
其中，所述数据增强处理包括根据所述获取的路景图片上不同路标出现的频次选择性的将路标粘在路景图片上。在所述获取的路景图片中，若一路标出现的频次越高，则这一路标被选择粘在路景图片上的几率越小，举例来说，若w52比Pn出现的频次低，则w52比Pn被选择粘在路景图片上的几率大。由此，可以避免数据不平衡，提高模型的准确率以及鲁棒性。
如图4所示，利用数据增强技术制作路标分类数据集，包括：
利用数据增强技术对获取的路景图片进行数据增强处理；及
利用所述获取的路景图片及数据增强处理后的图片构建路标分类数据集；
其中，所述数据增强处理包括随机旋转、随机裁剪、加入噪声、随机缩放、图片变形、平移变换、仿射变换、颜色变换、光照变换等。由此，可以增加数据的多样性，提高模型的准确率以及鲁棒性。
本发明针对路标检测和分类模型分别采用不同的数据增强方式制作数据集，可以避免数据不平衡，还可以增加数据的多样性，有利于提升训练效果，进而提高准确性。
如图5所示，利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，从而进行路标识别，包括：
利用训练好的路标检测模型检测待识别路标的图片上是否存在路标，若存在路标，则进行预分类；
根据预分类的结果利用训练好的路标分类模型进行二次分类，从而进行路标识别。
其中，利用YOLO检测神经网络构建所述路标检测模型，利用MobileNet分类神经网络构建多个路标分类模型。利用MobileNet分类神经网络构建的路标分类模型包括红色路标分类模型、黄色路标分类模型及蓝色路标分类模型，进一步的，还可包括绿色路标分类模型。
相应的，利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，包括：
将待分类的路标输入YOLO检测神经网络构建的路标检测模型，检测图片上是否存在路标并进行预分类，确定路标的颜色类别；及
将确定颜色类别后的路标输入对应颜色的MobileNet分类神经网络构建的路标分类模型，确定路标含义类别。
也就是说，通过YOLO检测神经网络构建的路标检测模型进行预分类，确定路标是黄色路标(黄底、警告标志)、红色路标(红圈、禁令标志)、还是蓝色路标(蓝底、指示标志)；若是黄色路标，则通过MobileNet分类神经网络构建的黄色路标分类模型，对黄色路标的含义类别进行确定，例如确定黄色路标的含义类别是w52还是w24；若是红色路标，则通过MobileNet分类神经网络构建的红色路标分类模型，对红色路标的含义类别进行确定；若是蓝色路标，则通过MobileNet分类神经网络构建的蓝色路标分类模型，对蓝色路标的含义类别进行确定。当然，除了黄色、红色、蓝色之外，还可以确定绿色路标，方式类似，此处不再赘述。
现有的方案，由于w52和w24的路标非常少见导致YOLO无法准确分类，相较而言，本申请YOLO只需着重于路标检测及预分类，确定颜色类别即可(宏观上来看，黄色路标、红色路标、蓝色路标数量并没有极度不平衡)，而无需确定路标的含义类别，由此可以避免数据不平衡的问题。
本发明还提出一种路标识别装置，如图6所示，所述路标识别装置包括：
数据处理模块，用于利用数据增强技术分别制作路标检测数据集和路标分类数据集；
训练模块，用于利用所述路标检测数据集训练路标检测模型，及利用所述路标分类数据集训练路标分类模型；
识别模块，用于利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，从而进行路标识别。
进一步的，所述识别模块包括：
路标检测模型，利用YOLO检测神经网络构建，用于确定待识别路标的图片是否存在路标，若存在路标则进行预分类，以确定路标的颜色类别；
路标分类模型，利用MobileNet分类神经网络构建，用于确定路标含义类别，从而进行路标识别。
此外，本发明还提出一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现所述的路标识别方法。
下面结合附图7-11详细介绍本发明实施例。
概括而言，本发明实施例所述路标识别方法包括：制作训练数据、构建YOLO检测神经网络模型(简称YOLO检测模型)、构建三种MobileNet分类神经网络模型(简称MobileNet分类模型)，利用构建的神经网络模型进行目标检测及分类。
如图7所示，本实施例可以将路标类别先分为三类(红色、黄色及蓝色)，分别以颜色作为分类依据，利用YOLO检测模型检测并预分类这三类目标。另外，本实施例可以利用三种MobileNet分类模型(分别对应为红色分类模型、黄色分类模型及蓝色分类模型)对所述三类路标做更细致的分类，如图8所示。具体的，将待识别的路标(pr*)图片输入YOLO检测模型，YOLO检测模型检测图片中存在路标，将图片中的路标框出并预分类确定颜色类别为红色，之后，对YOLO检测模型输出的图片进行尺寸变换至128×128pixels，尺寸变换之后输入至红色MobileNet分类模型以确定含义类别。
此处需要注意的是，实际应用时，每张图片上路标的大小不一定相同，可能第一个路标的大小为25×20pixels，但是第二个路标大小为100×100pixels，因此在输入MobileNet分类模型之前，可以统一将检测输出的路标尺寸变换(Resize)至固定尺寸，例如128×128pixels，再输入至红色、黄色及蓝色三个分类模型。
本实施例包含一个检测模型以及三个分类模型，与此同时，分别为检测模型以及分类模型提出两种不同的数据增强方式。如图9-10所示，针对检测模型的数据集制作，除了现有的数据外，可以随机将各类路标贴上路景图片。路标可能随机去背，或是直接将白底的路标贴到图片上。另外，可以充分考虑类别的数量，若某种类别出现的次数多，则该类别被选取随机贴上路景图的机率就会变小，但若是路标出现次数少，则该类别被选取随机贴上路景图的机率就会变大。
针对分类模型的数据集制作，本实施例将图片上的路标撷取下来并且调整成128×128pixels当作训练数据，另外，利用路标template制作额外的数据，其制作方法包含：随机旋转、加入背景噪声、随机切割图片、随机缩放图片、图片变形、加入噪声，如图11所示。
本实施例路标识别方法具有如下优点：其一，利用YOLO模型进行预分类确定颜色类别，可以避免类别不平衡的问题；其二，利用两步式的目标检测和分类架构，可以大幅增加分类准确率。其三，本实施例可以增加开发效率，举例来说，若已经训练好一个YOLO检测模型，以及黄色、红色路标分类模型，但是蓝色路标分类效果并不是很好，则可以仅对蓝色路标的模型修改以及蓝色路标的数据增强，而无需重新训练整个架构。
至此，已经结合附图对本发明进行了详细描述。依据以上描述，本领域技术人员应当对本发明有了清楚的认识。
需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
当然，根据实际需要，本发明还可以包含其他的部分，由于同本发明的创新之处无关，此处不再赘述。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面发明的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中发明的所有特征以及如此发明的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中发明的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的相关设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
再者，说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”等的用词，以修饰相应的元件，其本身并不意含及代表该元件有任何的序数，也不代表某一元件与另一元件的顺序、或是制造方法上的顺序，该些序数的使用仅用来使具有某命名的一元件得以和另一具有相同命名的元件能作出清楚区分。
此外，在附图或说明书描述中，相似或相同的部分都使用相同的图号。说明书中示例的各个实施例中的技术特征在无冲突的前提下可以进行自由组合形成新的方案，另外每个权利要求可以单独作为一个实施例或者各个权利要求中的技术特征可以进行组合作为新的实施例，且在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中未绘示或描述的元件或实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。
除非存在技术障碍或矛盾，本发明的上述各种实施方式可以自由组合以形成另外的实施例，这些另外的实施例均在本发明的保护范围中。
虽然结合附图对本发明进行了说明，但是附图中公开的实施例旨在对本发明优选实施方式进行示例性说明，而不能理解为对本发明的一种限制。附图中的尺寸比例仅仅是示意性的，并不能理解为对本发明的限制。
虽然本发明总体构思的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本总体发明构思的原则和精神的情况下，可对这些实施例做出改变，本发明的范围以权利要求和它们的等同物限定。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种路标识别方法，其特征在于，包括：
利用数据增强技术分别制作路标检测数据集和路标分类数据集；
利用所述路标检测数据集训练路标检测模型，利用所述路标分类数据集训练路标分类模型；
利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，从而进行路标识别。
2.根据权利要求1所述的路标识别方法，其特征在于，在利用数据增强技术分别制作路标检测数据集和路标分类数据集之前，还包括：利用道路监控摄像和网站资源获取路景图片。
3.根据权利要求2所述的路标识别方法，其特征在于，利用数据增强技术制作路标检测数据集，包括：
利用数据增强技术对获取的路景图片进行数据增强处理；
利用所述获取的路景图片及数据增强处理后的图片构建路标检测数据集；
其中，所述数据增强处理包括根据所述获取的路景图片上不同路标出现的频次选择性的将路标粘在路景图片上。
4.根据权利要求3所述的路标识别方法，其特征在于，在所述获取的路景图片中，若一路标出现的频次越高，则这一路标被选择粘在路景图片上的几率越小。
5.根据权利要求2所述的路标识别方法，其特征在于，利用数据增强技术制作路标分类数据集，包括：
利用数据增强技术对获取的路景图片进行数据增强处理；
利用所述获取的路景图片及数据增强处理后的图片构建路标分类数据集；
其中，所述数据增强处理包括随机旋转、随机裁剪、加入噪声、随机缩放、图片变形、平移变换、仿射变换、颜色变换、光照变换。
6.根据权利要求1所述的路标识别方法，其特征在于，利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，从而进行路标识别，包括：
利用训练好的路标检测模型检测待识别路标的图片上是否存在路标，若存在路标，则进行预分类；
根据预分类的结果利用训练好的路标分类模型进行二次分类，从而进行路标识别。
7.根据权利要求6所述的路标识别方法，其特征在于，
利用YOLO检测神经网络构建所述路标检测模型，利用MobileNet分类神经网络构建多个路标分类模型。
8.根据权利要求7所述的路标识别方法，其特征在于，利用MobileNet分类神经网络构建的路标分类模型包括红色路标分类模型、黄色路标分类模型及蓝色路标分类模型。
9.根据权利要求8所述的路标识别方法，其特征在于，利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，从而进行路标识别，包括：
将待识别路标的图片输入路标检测模型，检测是否存在路标，若存在路标则进行预分类，确定路标的颜色类别；
将确定颜色类别后的路标输入对应颜色的路标分类模型，确定路标含义类别，从而进行路标识别。
10.一种路标识别装置，其特征在于，包括：
数据处理模块，用于利用数据增强技术分别制作路标检测数据集和路标分类数据集；
训练模块，用于利用所述路标检测数据集训练路标检测模型，及利用所述路标分类数据集训练路标分类模型；
识别模块，用于利用训练好的路标检测模型和路标分类模型进行路标检测和路标分类，从而进行路标识别。
11.根据权利要求10所述的路标识别装置，其特征在于，所述识别模块包括：
路标检测模型，利用YOLO检测神经网络构建，用于确定待识别路标的图片是否存在路标，若存在路标则进行预分类，以确定路标的颜色类别；
路标分类模型，利用MobileNet分类神经网络构建，用于确定路标含义类别，从而进行路标识别。
12.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至9中任一项所述的路标识别方法。
CN202010666507.6A 2020-07-10 2020-07-10 路标识别方法及装置 Pending CN111797934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010666507.6A CN111797934A (zh) 2020-07-10 2020-07-10 路标识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010666507.6A CN111797934A (zh) 2020-07-10 2020-07-10 路标识别方法及装置

Publications (1)

Publication Number Publication Date
CN111797934A true CN111797934A (zh) 2020-10-20

Family

ID=72808255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010666507.6A Pending CN111797934A (zh) 2020-07-10 2020-07-10 路标识别方法及装置

Country Status (1)

Country Link
CN (1) CN111797934A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926473A (zh) * 2021-03-05 2021-06-08 山东农业大学 基于图像识别的蜂螨识别方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378420A (zh) * 2019-07-19 2019-10-25 Oppo广东移动通信有限公司 一种图像检测方法、装置及计算机可读存储介质
WO2019233266A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 图像处理方法、计算机可读存储介质和电子设备
CN111292432A (zh) * 2020-01-14 2020-06-16 北京巨视科技有限公司 基于车型识别和轮轴检测的车辆收费类型判别方法与装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233266A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 图像处理方法、计算机可读存储介质和电子设备
CN110378420A (zh) * 2019-07-19 2019-10-25 Oppo广东移动通信有限公司 一种图像检测方法、装置及计算机可读存储介质
CN111292432A (zh) * 2020-01-14 2020-06-16 北京巨视科技有限公司 基于车型识别和轮轴检测的车辆收费类型判别方法与装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
樊星;沈超;徐江;连心雨;刘占文;: "基于级联端对端深度架构的交通标志识别方法", 计算机测量与控制, no. 04, 25 April 2019 (2019-04-25), pages 1 - 3 *
王菲菲;陈磊;焦良葆;曹雪虹;: "基于SSD-MobileNet的安全帽检测算法研究", 信息化研究, no. 03, 20 June 2020 (2020-06-20) *
陆晔;孙晓凯;李梦媛;: "基于"检测+分类"模型融合的物体识别应用分析", 电信科学, no. 1, 30 April 2020 (2020-04-30) *
陈新宇;金艳梅;: "基于神经网络的交通标志检测方法", 计算机与网络, no. 06, 26 March 2020 (2020-03-26) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926473A (zh) * 2021-03-05 2021-06-08 山东农业大学 基于图像识别的蜂螨识别方法及设备

Similar Documents

Publication Publication Date Title
WO2022036953A1 (zh) 缺陷检测方法和相关装置、设备、存储介质、计算机程序产品
CN107506763B (zh) 一种基于卷积神经网络的多尺度车牌精准定位方法
CN109829914B (zh) 检测产品缺陷的方法和装置
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
CN108985169B (zh) 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
CN108334881B (zh) 一种基于深度学习的车牌识别方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN111126412B (zh) 基于特征金字塔网络的图像关键点检测方法
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
JP2017004480A (ja) 顕著性情報取得装置及び顕著性情報取得方法
CN113159043B (zh) 基于语义信息的特征点匹配方法及系统
CN111814860A (zh) 一种面向垃圾分类的多目标检测方法
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
CN113822247B (zh) 基于航拍影像的违章建筑识别方法及系统
CN109376580B (zh) 一种基于深度学习的电力塔架部件识别方法
CN104036284A (zh) 基于Adaboost算法的多尺度行人检测方法
CN109360179B (zh) 一种图像融合方法、装置及可读存储介质
CN111027475A (zh) 一种基于视觉的实时交通信号灯识别方法
CN109949227A (zh) 图像拼接方法、系统及电子设备
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN108537286A (zh) 一种基于关键区域检测的复杂目标精准识别方法
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
CN114708566A (zh) 一种基于改进YOLOv4的自动驾驶目标检测方法
CN112308040A (zh) 一种基于高清图像的河流排污口检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201202

Address after: Room 206, 2 / F, building C, phase I, Zhongguancun Software Park, No. 8, Dongbei Wangxi Road, Haidian District, Beijing 100094

Applicant after: Canaan Bright Sight Co.,Ltd.

Address before: 100094 Zhongguancun Software Park Phase I Building C Block 101, 8 Wangxi Road, Haidian District, Beijing

Applicant before: Canaan Creative Co.,Ltd.