CN113361643A - 基于深度学习的通用标志识别方法、系统、设备及存储介质 - Google Patents
基于深度学习的通用标志识别方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN113361643A CN113361643A CN202110753300.7A CN202110753300A CN113361643A CN 113361643 A CN113361643 A CN 113361643A CN 202110753300 A CN202110753300 A CN 202110753300A CN 113361643 A CN113361643 A CN 113361643A
- Authority
- CN
- China
- Prior art keywords
- mark
- picture
- training set
- detection
- model training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013135 deep learning Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 161
- 238000012549 training Methods 0.000 claims abstract description 149
- 238000000605 extraction Methods 0.000 claims abstract description 118
- 238000002372 labelling Methods 0.000 claims description 37
- 230000009466 transformation Effects 0.000 claims description 22
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 description 39
- 230000006870 function Effects 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 230000009193 crawling Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度学习的通用标志识别方法、系统、设备及存储介质，涉及计算机视觉技术领域，用以解决现有技术中对图片中未知类别的一般性标志无法准确识别的问题。方法包括：根据标志区域集构建检测模型训练集和特征提取模型训练集；根据检测模型训练集训练标志检测网络，以及根据特征提取模型训练集训练标志特征提取网络并生成标志特征库；识别标志时，利用标志检测网络检测待识别图片中的标志区域；通过标志特征提取网络对检测后的标志区域进行特征提取，并将提取的特征与标志特征库中的特征进行比对，以及输出识别结果。能够对图片中未知类别的一般性标志进行识别，提高了模型识别的正确率。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及基于深度学习的通用标志识别方法、系统、设备及存储介质。
背景技术
特定标识检测与识别技术在当今社会的发展中有着不可忽视的应用，传统的目标检测识别技术大致流程主要为图片预处理、特征提取和检测器检测三个步骤。但在传统技术中，特定标识的检测与识别必须要预先确定目标检测类别，导致无法对未知类别的通用标志进行检测和识别。
发明内容
本发明提供了基于深度学习的通用标志识别方法、系统、设备及存储介质，用以解决现有技术中对图片中未知类别的一般性标志无法准确识别的问题。
为达到上述目的，本发明提供以下技术方案：
第一部分，本发明实施例的一种基于深度学习的通用标志识别方法，包括下列步骤：S1、根据标志区域集构建检测模型训练集和特征提取模型训练集；
S2、根据所述的检测模型训练集训练标志检测网络，以及根据所述的特征提取模型训练集训练标志特征提取网络并生成标志特征库；S3、识别标志时，利用所述的标志检测网络检测待识别图片中的标志区域；S4、通过所述的标志特征提取网络对检测后的标志区域进行特征提取，并将提取的特征与所述标志特征库中的特征进行比对，以及输出识别结果。
优选的，所述步骤S1之前还包括步骤：S0、获取标志图片，并利用所述的标志图片扩充标志区域，得到所述的标志区域集。
优选的，所述步骤S4之前还包括：对所述标志检测网络检测待识别图片得到的标志区域进行修正处理。
优选的，步骤S1中所述的构建检测模型训练集，具体包括：将所述标志区域集中的任意原图片去除背景，得到该原图中的标志，并嵌入到各式不同的实际图片中，得到与上述标志区域集中原图片相似的伪图片。
更为优选的，所述的将标志区域集中的任意原图片去除背景，得到该原图中的标志，具体是将若干张原图片去除背景，得到对应数量的标志；所述的嵌入到各式不同的实际图片中，具体是将任意数量的随机大小的标志随机分布在各式不同的实际图片中。
更为优选的，所述标志区域集中的每一原图片被标注；所述伪图片的标注类别与其包含的标志对应的原图片的标注类别相一致，完成对所述检测模型训练集中每一图片的自动标注。
优选的，步骤S1中所述的构建特征提取模型训练集，具体包括：将所述标志区域集中的任意原图片添加随机颜色变换、随机遮挡、随机噪声，或/和不同背景，得到与上述标志区域集中原图片相似的扩展图片。
更为优选的，所述标志区域集中的每一原图片被标注；所述扩展图片的标注与其变换之前原图片的标注相一致，完成对所述特征提取模型训练集中每一图片的自动标注。
优选的，步骤S2中所述的根据检测模型训练集训练标志检测网络，具体包括：通过卷积神经网络，根据目标检测锚框检测所述检测模型训练集的图片中是否含有标志，以及标识出标志的位置。
更为优选的，所述的目标检测锚框预先设定长宽参数；或者，通过对所述检测模型训练集中各图片的标注框的大小进行聚类，得到自适应所述检测模型训练集的所述目标检测锚框。
优选的，步骤S2中所述的根据特征提取模型训练集训练标志特征提取网络并生成标志特征库，具体包括：通过对所述特征提取模型训练集中的图片进行特征提取，并根据特征类别进行分类，完成训练操作；以及，通过对所述特征提取模型训练集中的图片进行特征提取，构建所述标志特征库。
优选的，步骤S3中所述的利用标志检测网络检测待识别图片中的标志区域，具体包括：利用所述的标志检测网络从待识别图片中检测出标志区域并将其从待识别图片中截取出来。
优选的，步骤S4中所述将提取的特征与所述标志特征库中的特征进行比对，以及输出识别结果，具体是将提取的特征与所述标志特征库中的特征进行比对，查找与待识别图片中的标志相似的标志，以及输出待识别图片中标志的类别。
更为优选的，所述的查找与待识别图片中的标志相似的标志，具体是按照相似度从高到低进行排序，输出待识别图片中标志的类别包括输出最相似的一组标志。
更为优选的，在所述识别结果中还显示相似度排序列表，所述相似度排序列表中包含标志的数量预先设定。
更为优选的，步骤S4中还包括：对所述的标志区域先进行筛选，再进行特征提取，具体是通过设置标志区域长宽的上限阈值和下限阈值，完成筛选。
优选的，步骤S0所述的利用标志图片扩充标志区域，得到所述的标志区域集，具体包括：对每一所述标志图片的标志区域进行至少一次随机的仿射平移变换、旋转和缩放操作。
更为优选的，对于旋转和缩放过程中导致的标志区域变大则进行裁剪，导致的标志区域周边像素缺失则采用双三次插值法进行像素点的填充。
优选的，所述的步骤S4之前还包括对所述标志检测网络检测待识别图片得到的标志区域进行修正处理，具体是对得到的标志区域进行等长宽比缩放，并进行寻找轮廓和旋转修正处理。
第二部分，本发明实施例的一种基于深度学习的通用标志识别系统，包括：构建检测模型训练集模块，用于根据标志区域集构建检测模型训练集；构建特征提取模型训练集模块，用于根据标志区域集构建特征提取模型训练集；标志检测网络模型模块，用于根据所述的检测模型训练集训练标志检测网络，得到标志检测网络模型；标志特征提取网络模型模块，用于根据所述的特征提取模型训练集训练标志特征提取网络，得到标志特征提取网络模型；标志特征库生成模块，用于根据所述的特征提取模型训练集生成标志特征库；标志检测模块，利用所述的标志检测网络模型检测待识别图片中的标志区域；特征提取模块，用于通过所述的标志特征提取网络模型对检测后的标志区域进行特征提取；特征比对模块，用于将提取的特征与所述标志特征库中的特征进行比对；输出模块，用于输出识别结果。
优选的，还包括：标志图片获取模块，用于获取标志图片；扩充模块，利用所述的标志图片扩充标志区域，得到所述的标志区域集。
优选的，还包括：修正处理模块，用于对所述标志检测模块检测得到的标志区域进行修正处理。
第三部分，本发明实施例的一种计算机设备，包括：存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明任意实施例所述的基于深度学习的通用标志识别方法。
第四部分，本发明实施例的一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所述的基于深度学习的通用标志识别方法。
本发明的基于深度学习的通用标志识别方法、系统、设备及存储介质，能够通过构建的检测模型训练集和特征提取模型训练集自主进行高层特征的学习和训练，生成标志检测网络、标志特征提取网络以及标志特征库，再以标志检测网络检测标志区域，利用标志特征提取网络以及标志特征库完成特征比对，输入识别结果。由于识别结果经过两个网络模型的联合判断，大大提高了识别的正确率，进而解决了传统算法中严重依赖人工选取特征的问题，能够对图片中未知类别的一般性标志进行准确识别。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例1的基于深度学习的通用标志识别方法的流程图；
图2为本发明实施例2的基于深度学习的通用标志识别方法的流程图；
图3为本发明实施例3的基于深度学习的通用标志识别系统的结构示意图；
图4为本发明实施例4的基于深度学习的通用标志识别系统的结构示意图；
图5为本发明实施例5的计算机设备的结构示意图。
具体实施方式
为了能够对图片中未知类别的一般性标志进行识别，提高识别正确率，发明人经过研究提出了基于深度学习的通用标志识别方法、系统、设备及存储介质，以下通过实施例具体详述。
实施例1、本实施例的基于深度学习的通用标志识别方法，参见图1所示，包括下列主要步骤：
110、根据标志区域集构建检测模型训练集和特征提取模型训练集。
本实施例中的标志区域集是各种标志相关图片的集合，可以是预先设置，或者根据用户的需求收集，或者通过其它方式自动获取。标志区域集中的每一原图片自带标注或通过人工标注的方式完成标注。
将标志区域集中的任意原图片，当然也可以是全部原图片逐一进行背景去除，得到该原图中的标志，并嵌入到各式不同的实际图片中，得到和包含标志的原图片高度相似的伪图片，伪图片中标志的大小、数量和位置分布随机生成，得到本实施例的检测模型训练集。伪图片的标注类别与其包含的标志对应的原图片的标注类别相一致(可以是一组标志，相应的标注类别也为一组)，进一步，伪图片中各标志的位置信息在随机嵌入时一并记录，便于后续检测，至此完成对检测模型训练集中每一图片的自动标注。
将标志区域集中的任意原图片加入随机颜色变换、随机遮挡、随机噪声，再添加不同的背景，生成与标志区域集中原图片相似的扩展图片。得到本实施例的特征提取模型训练集。扩展图片的标注与其变换之前原图片的标注相一致，完成对特征提取模型训练集中每一图片的自动标注。
本实施例中，通过对原图的各种变换，得到伪图片和扩展图片，伪图片和扩展图片的标注类别与其原图片相一致，从而完成了自动标注。与现有技术相比，只需对标志区域集中的少量原始图片进行人工标注，而以倍计的伪图片和扩展图片无须再进行人工标注，模型训练集标注可自动生成，避免了人工标注这样的密集型劳动，管理人员的工作量较小，维护方便。
120、根据检测模型训练集训练标志检测网络，以及根据特征提取模型训练集训练标志特征提取网络并生成标志特征库。
标志检测网络是一个基于卷积神经网络的检测模型，基于预先设定长、宽的目标检测锚框(目标检测锚框anchors)来检测图片中是否含有标志，以及标识出标志的位置。标志检测网络的anchors长宽参数除了可以预先设定以外，也可以采用自动生成的方式。通过对检测模型训练集中的标注框大小进行聚类(ground truth标注框大小的聚类)，可以得到自适应该检测模型训练集的最优anchors，以保证检测时对于和该检测模型训练集相同数据分布和大小的标志有最佳的检测效果。
利用特征提取模型训练集训练标志特征提取网络，得到标志特征提取网络模型，此网络模型用来提取标志区域的特征，通过对待识别的标志进行特征提取，构建标志特征库。标志特征提取网络具体可采用分类模型，比如vgg模型或resnet模型。以resnet模型为例，训练时要注意的是loss函数的选择，传统的交叉熵loss函数(softamx loss)不适用于标志特征提取模型，主要原因在于标志特征提取模型对于特征的可度量性要求很高，也就是在特征空间，同一类别的特征要尽可能聚集，不同类别的特征要尽可能远离，因此选择了更适用于特征度量的arcface loss函数，也可以使用其他的Large-Margin Softmax loss函数。
130、识别标志时，利用标志检测网络检测待识别图片中的标志区域。
具体是对待识别图片中的标志进行识别时，利用标志检测网络从待识别图片中检测出标志区域并将其从待识别图片中截取出来，本实施例检测出的标志区域可以是标志所在位置的矩形截图，也可以是延标志外沿截取的标注图形。
140、通过标志特征提取网络对检测后的标志区域进行特征提取，并将提取的特征与标志特征库中的特征进行比对，以及输出识别结果。
其中，将提取的特征与标志特征库中的特征进行比对，用以寻找与待识别的标志最相似的图片，并按照相似度从高到低进行排序，列出相似度排前五的标志特征库中的标志组列表，输出待识别标志的类别是输出最相似的一组标志，但同时显示其他四组相似度较高的标志。虽然只会显示最终的Logo(标志Logo)识别结果，但在使用者存有怀疑时，能够调取其他相似的标志特征进行比对查看，方便使用者进行后期的人工比对判断，提高识别准确度。具体显示方式根据设置而定。另外，优选的还可设置二次筛选，对标志的图片区域进行二次筛选，根据真实图片中标志区域的长宽比一般不会超过一个阈值，所以将长宽比大于此阈值的区域过滤掉，同时将肉眼不可分辨的过小区域也过滤掉；标志设计的长宽比阈值能过滤掉大量的无效区域，避免卷积神经网络进行重复的卷积运算，进一步提高工作效率。
本实施例的方法能够对图片中未知类别的一般性标志进行识别，且模型训练集可自动生成并进行标注，同时由于识别结果经过两个网络模型的联合判断，大大提高了识别的正确率。
实施例2、本实施例的基于深度学习的通用标志识别系统，参见图2所示，包括：
210、获取标志图片，并利用标志图片扩充标志区域，得到标志区域集。
获取初步的标志相关图片的方式有两种，一是进入各大企业、公司官网进行标志下载，二是利用爬虫软件在主流网站上进行图片数据的获取。爬虫爬取图片的过程为：首先人工设定爬取的关键词，然后爬虫引擎解析关键词获取所有关联的URL地址，由URL管理器进行URL地址去重管理，接着下载器根据URL管理器中的爬取地址进行网络数据下载，最后经由解析器解析网络HTTP请求返回的数据进行图片本体化存储；通过手动下载和爬虫爬取图片相结合，能得到大量的图片数据，便于获取初步的标志相关图片。
以标志区域，即上述获取的标志图片为基础，扩充标志区域。对每个标志区域进行至少一次随机的仿射变换，仿射变换采用平移、旋转和缩放三种操作，平移操作为保持矩形框不动，对标志区域图片进行上下左右进行移动，移动距离为人为设定值，旋转操作为保持矩形框不动，以标志区域图片的中心点为中心进行顺时针和逆时针旋转，旋转角度为人为设定值，缩放操作为保持矩形框不动，对标志区域图片进行放大和缩小，放大和缩小的比例为人为设定值；对于旋转和缩放过程中导致的图片变大则进行裁剪，导致的图片周边像素缺失则采用双三次插值法进行图片像素点的填充。每个图标区域图片均进行仿射变换，每张图标区域进行N次随机仿射变换，即每张标志区域图片再次扩充N张不同的标志区域图片。进行仿射变换是为了模拟真实场景中标志的自然形态，使特征识别更加全面精准。经过上述扩充后最终得到本实施例的标志区域集。标志区域集中的每一原图片自带标注或通过人工标注的方式完成标注。
220、根据标志区域集构建检测模型训练集和特征提取模型训练集。
将标志区域集中的任意原图片，当然也可以是全部原图片逐一进行背景去除，得到该原图中的标志，并嵌入到各式不同的实际图片中，得到和包含标志的原图片高度相似的伪图片，伪图片中标志的大小、数量和位置分布随机生成，得到本实施例的检测模型训练集。伪图片的标注类别与其包含的标志对应的原图片的标注类别相一致(可以是一组标志，相应的标注类别也为一组)，进一步，伪图片中各标志的位置信息在随机嵌入时一并记录，便于后续检测，至此完成对检测模型训练集中每一图片的自动标注。
将标志区域集中的任意原图片加入随机颜色变换、随机遮挡、随机噪声，再添加不同的背景，生成与标志区域集中原图片相似的扩展图片。得到本实施例的特征提取模型训练集。扩展图片的标注与其变换之前原图片的标注相一致，完成对特征提取模型训练集中每一图片的自动标注。
本实施例中，通过对原图的各种变换，得到伪图片和扩展图片，伪图片和扩展图片的标注类别与其原图片相一致，从而完成了自动标注。与现有技术相比，只需对标志区域集中的少量原始图片进行人工标注，而以倍计的伪图片和扩展图片无须再进行人工标注，模型训练集标注可自动生成，避免了人工标注这样的密集型劳动，管理人员的工作量较小，维护方便。
230、根据检测模型训练集训练标志检测网络，以及根据特征提取模型训练集训练标志特征提取网络并生成标志特征库。
标志检测网络是一个基于卷积神经网络的检测模型，基于预先设定长、宽的目标检测锚框(目标检测锚框anchors)来检测图片中是否含有标志，以及标识出标志的位置。标志检测网络的anchors长宽参数除了可以预先设定以外，也可以采用自动生成的方式。通过对检测模型训练集中的标注框大小进行聚类(ground truth标注框大小的聚类)，可以得到自适应该检测模型训练集的最优anchors，以保证检测时对于和该检测模型训练集相同数据分布和大小的标志有最佳的检测效果。
利用特征提取模型训练集训练标志特征提取网络，得到标志特征提取网络模型，此网络模型用来提取标志区域的特征，通过对待识别的标志进行特征提取，构建标志特征库。标志特征提取网络具体可采用分类模型，比如vgg模型或resnet模型。以resnet模型为例，训练时要注意的是loss函数的选择，传统的交叉熵loss函数(softamx loss)不适用于标志特征提取模型，主要原因在于标志特征提取模型对于特征的可度量性要求很高，也就是在特征空间，同一类别的特征要尽可能聚集，不同类别的特征要尽可能远离，因此选择了更适用于特征度量的arcface loss函数，也可以使用其他的Large-Margin Softmax loss函数。
240、识别标志时，利用标志检测网络检测待识别图片中的标志区域。
具体是对实际图片中的标志进行识别时，利用标志检测网络从待识别图片中检测出标志区域并将其从待识别图片中截取出来，本实施例检测出的标志区域可以是标志所在位置的矩形截图，也可以是延标志外沿截取的标注图形。
250、对标志检测网络检测待识别图片得到的标志区域进行修正处理。
具体是对图片中的标志区域进行等长宽比缩放到合适的大小，并进行寻找轮廓和旋转修正处理。
260、通过标志特征提取网络对检测后的标志区域进行特征提取，并将提取的特征与标志特征库中的特征进行比对，以及输出识别结果。
其中，将提取的特征与标志特征库中的特征进行比对，用以寻找与待识别的标志最相似的图片，并按照相似度从高到低进行排序，列出相似度排前五的标志特征库中的标志组列表，输出待识别标志的类别是输出最相似的一组标志，但同时显示其他四组相似度较高的标志。虽然只会显示最终的Logo(标志Logo)识别结果，但在使用者存有怀疑时，能够调取其他相似的标志特征进行比对查看，方便使用者进行后期的人工比对判断，提高识别准确度。具体显示方式根据设置而定。另外，优选的还可设置二次筛选，对标志的图片区域进行二次筛选，根据真实图片中标志区域的长宽比一般不会超过一个阈值，所以将长宽比大于此阈值的区域过滤掉，同时将肉眼不可分辨的过小区域也过滤掉；标志设计的长宽比阈值能过滤掉大量的无效区域，避免卷积神经网络进行重复的卷积运算，进一步提高工作效率。
本实施例的方法先获取标志图片，并扩充为标志区域集，这样可以更好地适应用户的需求。在此基础上，能够对图片中未知类别的一般性标志进行识别，且模型训练集可自动生成并进行标注，同时由于识别结果经过两个网络模型的联合判断，大大提高了识别的正确率。
实施例3、本实施例的基于深度学习的通用标志识别系统，参见图3所示，包括：构建检测模型训练集模块310、构建特征提取模型训练集模块320、标志检测网络模型模块330、标志特征提取网络模型模块340、标志特征库生成模块350、标志检测模块360、特征提取模块370、特征比对模块380和输出模块390。
构建检测模型训练集模块310，用于根据标志区域集构建检测模型训练集。具体的，本实施例中的标志区域集是各种标志相关图片的集合，可以是预先设置，或者根据用户的需求收集，或者通过其它方式自动获取，标志区域集中的每一原图片自带标注或通过人工标注的方式完成标注。将标志区域集中的任意原图片，当然也可以是全部原图片逐一进行背景去除，得到该原图中的标志，并嵌入到各式不同的实际图片中，得到和包含标志的原图片高度相似的伪图片，伪图片中标志的大小、数量和位置分布随机生成，得到本实施例的检测模型训练集。伪图片的标注类别与其包含的标志对应的原图片的标注类别相一致(可以是一组标志，相应的标注类别也为一组)，进一步，伪图片中各标志的位置信息在随机嵌入时一并记录，便于后续标志检测网络模型模块330检测，至此完成对检测模型训练集中每一图片的自动标注。
构建特征提取模型训练集模块320，用于根据标志区域集构建特征提取模型训练集。具体的，将标志区域集中的任意原图片加入随机颜色变换、随机遮挡、随机噪声，再添加不同的背景，生成与标志区域集中原图片相似的扩展图片。得到本实施例的特征提取模型训练集。扩展图片的标注与其变换之前原图片的标注相一致，完成对特征提取模型训练集中每一图片的自动标注。
标志检测网络模型模块330，用于根据检测模型训练集训练标志检测网络，得到标志检测网络模型。具体的，标志检测网络是一个基于卷积神经网络的检测模型，基于预先设定长、宽的目标检测锚框(目标检测锚框anchors)来检测图片中是否含有标志，以及标识出标志的位置。标志检测网络的anchors长宽参数除了可以预先设定以外，也可以采用自动生成的方式。通过对检测模型训练集中的标注框大小进行聚类(ground truth标注框大小的聚类)，可以得到自适应该检测模型训练集的最优anchors，以保证检测时对于和该检测模型训练集相同数据分布和大小的标志有最佳的检测效果。
标志特征提取网络模型模块340，用于根据特征提取模型训练集训练标志特征提取网络，得到标志特征提取网络模型。具体的，此网络模型用来提取标志区域的特征。标志特征提取网络具体可采用分类模型，比如vgg模型或resnet模型。以resnet模型为例，训练时要注意的是loss函数的选择，传统的交叉熵loss函数(softamx loss)不适用于标志特征提取模型，主要原因在于标志特征提取模型对于特征的可度量性要求很高，也就是在特征空间，同一类别的特征要尽可能聚集，不同类别的特征要尽可能远离，因此选择了更适用于特征度量的arcface loss函数，也可以使用其他的Large-Margin Softmax loss函数。
标志特征库生成模块350，用于根据特征提取模型训练集生成标志特征库。具体的，标志特征提取网络模型用来提取标志区域的特征，通过对待识别的标志进行特征提取，构建标志特征库。
标志检测模块360，利用标志检测网络模型检测待识别图片中的标志区域。具体的，对实际图片中的标志进行识别时，利用标志检测网络模型从待识别图片中检测出标志区域并将其从待识别图片中截取出来。
特征提取模块370，用于通过标志特征提取网络模型对检测后的标志区域进行特征提取。
特征比对模块380，用于将提取的特征与标志特征库中的特征进行比对。具体的，用以寻找与待识别的标志最相似的图片，并按照相似度从高到低进行排序，列出相似度排前五的标志特征库中的标志组，输出待识别标志的类别是输出最相似的一组标志，但同时显示其他四组相似度较高的标志。虽然只会显示最终的Logo(标志Logo)识别结果，但在使用者存有怀疑时，能够调取其他相似的标志特征进行比对查看，方便使用者进行后期的人工比对判断，提高识别准确度。另外，优选的还可设置二次筛选，对标志的图片区域进行二次筛选，根据真实图片中标志区域的长宽比一般不会超过一个阈值，所以将长宽比大于此阈值的区域过滤掉，同时将肉眼不可分辨的过小区域也过滤掉；标志设计的长宽比阈值能过滤掉大量的无效区域，避免卷积神经网络进行重复的卷积运算，进一步提高工作效率。
输出模块390，用于输出识别结果。具体的，输出最相似的一组标志，或者根据设置同时显示其他四组相似度较高的标志。
本实施例的系统能够对图片中未知类别的一般性标志进行识别，识别结果经过两个网络模型的联合判断，大大提高了识别的正确率。并且通过对原图的各种变换，得到伪图片和扩展图片，伪图片和扩展图片的标注类别与其原图片相一致，从而完成了自动标注。与现有技术相比，只需对标志区域集中的少量原始图片进行人工标注，而以倍计的伪图片和扩展图片无须再进行人工标注，模型训练集标注可自动生成，避免了人工标注这样的密集型劳动，管理人员的工作量较小，维护方便。
实施例4、本实施例的基于深度学习的通用标志识别系统，参见图4所示，包括：标志图片获取模块401、扩充模块402、构建检测模型训练集模块403、构建特征提取模型训练集模块404、标志检测网络模型模块405、标志特征提取网络模型模块406、标志特征库生成模块407、标志检测模块408、修正处理模块409、特征提取模块410、特征比对模块411和输出模块412。
标志图片获取模块401，用于获取标志图片。具体的，获取初步的标志相关图片的方式有两种，一是进入各大企业、公司官网进行标志下载，二是利用爬虫软件在主流网站上进行图片数据的获取。爬虫爬取图片的过程为：首先人工设定爬取的关键词，然后爬虫引擎解析关键词获取所有关联的URL地址，由URL管理器进行URL地址去重管理，接着下载器根据URL管理器中的爬取地址进行网络数据下载，最后经由解析器解析网络HTTP请求返回的数据进行图片本体化存储；通过手动下载和爬虫爬取图片相结合，能得到大量的图片数据，便于获取初步的标志相关图片。
扩充模块402，利用标志图片扩充标志区域，得到所述的标志区域集。具体的，以标志区域，即上述获取的标志图片为基础，扩充标志区域。对每个标志区域进行仿射变换，仿射变换采用平移、旋转和缩放三种操作，平移操作为保持矩形框不动，对标志区域图片进行上下左右进行移动，移动距离为人为设定值，旋转操作为保持矩形框不动，以标志区域图片的中心点为中心进行顺时针和逆时针旋转，旋转角度为人为设定值，缩放操作为保持矩形框不动，对标志区域图片进行放大和缩小，放大和缩小的比例为人为设定值；对于旋转和缩放过程中导致的图片变大则进行裁剪，导致的图片周边像素缺失则采用双三次插值法进行图片像素点的填充。每个图标区域图片均进行仿射变换，每张图标区域进行N次随机仿射变换，即每张标志区域图片再次扩充N张不同的标志区域图片。进行仿射变换是为了模拟真实场景中标志的自然形态，使特征识别更加全面精准。经过上述扩充后最终得到标志区域集。标志区域集中的每一原图片自带标注或通过人工标注的方式完成标注。
构建检测模型训练集模块403，用于根据标志区域集构建检测模型训练集。具体的，本实施例中的标志区域集可以是预先设置，或者根据用户的需求收集，或者通过其它方式自动获取。将标志区域集中的任意原图片，当然也可以是全部原图片逐一进行背景去除，得到该原图中的标志，并嵌入到各式不同的实际图片中，得到和包含标志的原图片高度相似的伪图片，伪图片中标志的大小、数量和位置分布随机生成，得到本实施例的检测模型训练集。伪图片的标注类别与其包含的标志对应的原图片的标注类别相一致(可以是一组标志，相应的标注类别也为一组)，进一步，伪图片中各标志的位置信息在随机嵌入时一并记录，便于后续标志检测网络模型模块405检测，至此完成对检测模型训练集中每一图片的自动标注。
构建特征提取模型训练集模块404，用于根据标志区域集构建特征提取模型训练集。具体的，将标志区域集中的任意原图片加入随机颜色变换、随机遮挡、随机噪声，再添加不同的背景，生成与标志区域集中原图片相似的扩展图片。得到本实施例的特征提取模型训练集。扩展图片的标注与其变换之前原图片的标注相一致，完成对特征提取模型训练集中每一图片的自动标注。
标志检测网络模型模块405，用于根据检测模型训练集训练标志检测网络，得到标志检测网络模型。具体的，标志检测网络是一个基于卷积神经网络的检测模型，基于预先设定长、宽的目标检测锚框(目标检测锚框anchors)来检测图片中是否含有标志，以及标识出标志的位置。标志检测网络的anchors长宽参数除了可以预先设定以外，也可以采用自动生成的方式。通过对检测模型训练集中的标注框大小进行聚类(ground truth标注框大小的聚类)，可以得到自适应该检测模型训练集的最优anchors，以保证检测时对于和该检测模型训练集相同数据分布和大小的标志有最佳的检测效果。
标志特征提取网络模型模块406，用于根据特征提取模型训练集训练标志特征提取网络，得到标志特征提取网络模型。具体的，此网络模型用来提取标志区域的特征。标志特征提取网络具体可采用分类模型，比如vgg模型或resnet模型。以resnet模型为例，训练时要注意的是loss函数的选择，传统的交叉熵loss函数(softamx loss)不适用于标志特征提取模型，主要原因在于标志特征提取模型对于特征的可度量性要求很高，也就是在特征空间，同一类别的特征要尽可能聚集，不同类别的特征要尽可能远离，因此选择了更适用于特征度量的arcface loss函数，也可以使用其他的Large-Margin Softmax loss函数。
标志特征库生成模块407，用于根据特征提取模型训练集生成标志特征库。具体的，标志特征提取网络模型用来提取标志区域的特征，通过对待识别的标志进行特征提取，构建标志特征库。
标志检测模块408，利用标志检测网络模型检测待识别图片中的标志区域。具体的，对实际图片中的标志进行识别时，利用标志检测网络模型从待识别图片中检测出标志区域并将其从待识别图片中截取出来。
修正处理模块409，用于对所述标志检测模块检测得到的标志区域进行修正处理。具体的，对图片中的标志区域进行等长宽比缩放到合适的大小，并进行寻找轮廓和旋转修正处理。
特征提取模块410，用于通过标志特征提取网络模型对检测后的标志区域进行特征提取。
特征比对模块411，用于将提取的特征与标志特征库中的特征进行比对。具体的，用以寻找与待识别的标志最相似的图片，并按照相似度从高到低进行排序，列出相似度排前五的标志特征库中的标志组列表，输出待识别标志的类别是输出最相似的一组标志，但同时显示其他四组相似度较高的标志。虽然只会显示最终的Logo(标志Logo)识别结果，但在使用者存有怀疑时，能够调取其他相似的标志特征进行比对查看，方便使用者进行后期的人工比对判断，提高识别准确度。另外，优选的还可设置二次筛选，对标志的图片区域进行二次筛选，根据真实图片中标志区域的长宽比一般不会超过一个阈值，所以将长宽比大于此阈值的区域过滤掉，同时将肉眼不可分辨的过小区域也过滤掉；标志设计的长宽比阈值能过滤掉大量的无效区域，避免卷积神经网络进行重复的卷积运算，进一步提高工作效率。
输出模块412，用于输出识别结果。具体的，输出最相似的一组标志，或者根据设置同时显示其他四组相似度较高的标志。
本实施例的系统先获取标志图片，并扩充为标志区域集，这样可以更好地适应用户的需求。在此基础上，能够对图片中未知类别的一般性标志进行识别，识别结果经过两个网络模型的联合判断，大大提高了识别的正确率。本实施例中，通过对原图的各种变换，得到伪图片和扩展图片，伪图片和扩展图片的标注类别与其原图片相一致，从而完成了自动标注。与现有技术相比，只需对标志区域集中的少量原始图片进行人工标注，而以倍计的伪图片和扩展图片无须再进行人工标注，模型训练集标注可自动生成，避免了人工标注这样的密集型劳动，管理人员的工作量较小，维护方便。
实施例5、本实施例的计算机设备，参见图5所示，显示的计算机设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备500以通用计算设备的形式表现。计算机设备500的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件(包括系统存储器502和处理单元501)的总线503。
总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备500典型的包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)504和/或高速缓存505。计算机设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统506可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。系统存储器502可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如系统存储器502中，这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备500也可以与一个显示器510或多个外部设备509(例如键盘、指向设备、等)通信，还可与一个或者多个使得用户能与该计算机设备500交互的设备通信，和/或与使得该计算机设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且，计算机设备500还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网通信。如图5所示，网络适配器512通过总线503与计算机设备500的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于深度学习的通用标志识别方法，包括下列步骤：根据标志区域集构建检测模型训练集和特征提取模型训练集；根据所述的检测模型训练集训练标志检测网络，以及根据所述的特征提取模型训练集训练标志特征提取网络并生成标志特征库；识别标志时，利用所述的标志检测网络检测待识别图片中的标志区域；通过所述的标志特征提取网络对检测后的标志区域进行特征提取，并将提取的特征与所述标志特征库中的特征进行比对，以及输出识别结果。
实施例6、本实施例的包含计算机可执行指令的存储介质，其内部存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的基于深度学习的通用标志识别方法，包括下列步骤：根据标志区域集构建检测模型训练集和特征提取模型训练集；根据所述的检测模型训练集训练标志检测网络，以及根据所述的特征提取模型训练集训练标志特征提取网络并生成标志特征库；识别标志时，利用所述的标志检测网络检测待识别图片中的标志区域；通过所述的标志特征提取网络对检测后的标志区域进行特征提取，并将提取的特征与所述标志特征库中的特征进行比对，以及输出识别结果。
本实施例的包含计算机可执行指令的存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (24)
1.一种基于深度学习的通用标志识别方法，其特征在于，包括下列步骤：
S1、根据标志区域集构建检测模型训练集和特征提取模型训练集；
S2、根据所述的检测模型训练集训练标志检测网络，以及根据所述的特征提取模型训练集训练标志特征提取网络并生成标志特征库；
S3、识别标志时，利用所述的标志检测网络检测待识别图片中的标志区域；
S4、通过所述的标志特征提取网络对检测后的标志区域进行特征提取，并将提取的特征与所述标志特征库中的特征进行比对，以及输出识别结果。
2.如权利要求1所述的基于深度学习的通用标志识别方法，其特征在于，所述步骤S1之前还包括步骤：S0、获取标志图片，并利用所述的标志图片扩充标志区域，得到所述的标志区域集。
3.如权利要求1所述的基于深度学习的通用标志识别方法，其特征在于，所述步骤S4之前还包括：对所述标志检测网络检测待识别图片得到的标志区域进行修正处理。
4.如权利要求1所述的基于深度学习的通用标志识别方法，其特征在于，步骤S1中所述的构建检测模型训练集，具体包括：将所述标志区域集中的任意原图片去除背景，得到该原图中的标志，并嵌入到各式不同的实际图片中，得到与上述标志区域集中原图片相似的伪图片。
5.如权利要求4所述的基于深度学习的通用标志识别方法，其特征在于，所述的将标志区域集中的任意原图片去除背景，得到该原图中的标志，具体是将若干张原图片去除背景，得到对应数量的标志；
所述的嵌入到各式不同的实际图片中，具体是将任意数量的随机大小的标志随机分布在各式不同的实际图片中。
6.如权利要求4或5所述的基于深度学习的通用标志识别方法，其特征在于，所述标志区域集中的每一原图片被标注；
所述伪图片的标注类别与其包含的标志对应的原图片的标注类别相一致，完成对所述检测模型训练集中每一图片的自动标注。
7.如权利要求1所述的基于深度学习的通用标志识别方法，其特征在于，步骤S1中所述的构建特征提取模型训练集，具体包括：将所述标志区域集中的任意原图片添加随机颜色变换、随机遮挡、随机噪声，或/和不同背景，得到与上述标志区域集中原图片相似的扩展图片。
8.如权利要求7所述的基于深度学习的通用标志识别方法，其特征在于，所述标志区域集中的每一原图片被标注；
所述扩展图片的标注与其变换之前原图片的标注相一致，完成对所述特征提取模型训练集中每一图片的自动标注。
9.如权利要求1所述的基于深度学习的通用标志识别方法，其特征在于，步骤S2中所述的根据检测模型训练集训练标志检测网络，具体包括：通过卷积神经网络，根据目标检测锚框检测所述检测模型训练集的图片中是否含有标志，以及标识出标志的位置。
10.如权利要求9所述的基于深度学习的通用标志识别方法，其特征在于，所述的目标检测锚框预先设定长宽参数；或者，
通过对所述检测模型训练集中各图片的标注框的大小进行聚类，得到自适应所述检测模型训练集的所述目标检测锚框。
11.如权利要求1所述的基于深度学习的通用标志识别方法，其特征在于，步骤S2中所述的根据特征提取模型训练集训练标志特征提取网络并生成标志特征库，具体包括：通过对所述特征提取模型训练集中的图片进行特征提取，并根据特征类别进行分类，完成训练操作；以及，通过对所述特征提取模型训练集中的图片进行特征提取，构建所述标志特征库。
12.如权利要求1所述的基于深度学习的通用标志识别方法，其特征在于，步骤S3中所述的利用标志检测网络检测待识别图片中的标志区域，具体包括：利用所述的标志检测网络从待识别图片中检测出标志区域并将其从待识别图片中截取出来。
13.如权利要求1所述的基于深度学习的通用标志识别方法，其特征在于，步骤S4中所述将提取的特征与所述标志特征库中的特征进行比对，以及输出识别结果，具体是将提取的特征与所述标志特征库中的特征进行比对，查找与待识别图片中的标志相似的标志，以及输出待识别图片中标志的类别。
14.如权利要求13所述的基于深度学习的通用标志识别方法，其特征在于，所述的查找与待识别图片中的标志相似的标志，具体是按照相似度从高到低进行排序，输出待识别图片中标志的类别包括输出最相似的一组标志。
15.如权利要求14所述的基于深度学习的通用标志识别方法，其特征在于，在所述识别结果中还显示相似度排序列表，所述相似度排序列表中包含标志的数量预先设定。
16.如权利要求14所述的基于深度学习的通用标志识别方法，其特征在于，步骤S4中还包括：对所述的标志区域先进行筛选，再进行特征提取，具体是通过设置标志区域长宽的上限阈值和下限阈值，完成筛选。
17.如权利要求2所述的基于深度学习的通用标志识别方法，其特征在于，步骤S0所述的利用标志图片扩充标志区域，得到所述的标志区域集，具体包括：对每一所述标志图片的标志区域进行至少一次随机的仿射平移变换、旋转和缩放操作。
18.如权利要求17所述的基于深度学习的通用标志识别方法，其特征在于，对于旋转和缩放过程中导致的标志区域变大则进行裁剪，导致的标志区域周边像素缺失则采用双三次插值法进行像素点的填充。
19.如权利要求3所述的基于深度学习的通用标志识别方法，其特征在于，所述的步骤S4之前还包括对所述标志检测网络检测待识别图片得到的标志区域进行修正处理，具体是对得到的标志区域进行等长宽比缩放，并进行寻找轮廓和旋转修正处理。
20.一种基于深度学习的通用标志识别系统，其特征在于，包括：
构建检测模型训练集模块，用于根据标志区域集构建检测模型训练集；
构建特征提取模型训练集模块，用于根据标志区域集构建特征提取模型训练集；
标志检测网络模型模块，用于根据所述的检测模型训练集训练标志检测网络，得到标志检测网络模型；
标志特征提取网络模型模块，用于根据所述的特征提取模型训练集训练标志特征提取网络，得到标志特征提取网络模型；
标志特征库生成模块，用于根据所述的特征提取模型训练集生成标志特征库；
标志检测模块，利用所述的标志检测网络模型检测待识别图片中的标志区域；
特征提取模块，用于通过所述的标志特征提取网络模型对检测后的标志区域进行特征提取；
特征比对模块，用于将提取的特征与所述标志特征库中的特征进行比对；
输出模块，用于输出识别结果。
21.如权利要求20所述的基于深度学习的通用标志识别系统，其特征在于，还包括：
标志图片获取模块，用于获取标志图片；
扩充模块，利用所述的标志图片扩充标志区域，得到所述的标志区域集。
22.如权利要求20所述的基于深度学习的通用标志识别系统，其特征在于，还包括：
修正处理模块，用于对所述标志检测模块检测得到的标志区域进行修正处理。
23.一种计算机设备，包括：存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-19任一项所述的基于深度学习的通用标志识别方法。
24.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-19任一项所述的基于深度学习的通用标志识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110753300.7A CN113361643A (zh) | 2021-07-02 | 2021-07-02 | 基于深度学习的通用标志识别方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110753300.7A CN113361643A (zh) | 2021-07-02 | 2021-07-02 | 基于深度学习的通用标志识别方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113361643A true CN113361643A (zh) | 2021-09-07 |
Family
ID=77538129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110753300.7A Pending CN113361643A (zh) | 2021-07-02 | 2021-07-02 | 基于深度学习的通用标志识别方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113361643A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114131603A (zh) * | 2021-12-02 | 2022-03-04 | 复旦大学 | 基于感知增强和场景迁移的深度强化学习机器人抓取方法 |
| CN116721355A (zh) * | 2023-08-09 | 2023-09-08 | 江西云眼视界科技股份有限公司 | 广告牌检测方法、系统、可读存储介质及计算机设备 |
| CN117351242A (zh) * | 2023-10-24 | 2024-01-05 | 北京云上曲率科技有限公司 | 一种基于相似度的标识识别方法和系统 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102194132A (zh) * | 2011-04-07 | 2011-09-21 | 国通道路交通管理工程技术研究中心有限公司 | 一种伴随车检测识别系统及其方法 |
| CN202084185U (zh) * | 2011-06-16 | 2011-12-21 | 长安大学 | 一种交通标志自动识别装置 |
| CN102890781A (zh) * | 2012-07-04 | 2013-01-23 | 北京航空航天大学 | 一种针对羽毛球比赛视频的精彩镜头识别方法 |
| CN103093283A (zh) * | 2013-01-12 | 2013-05-08 | 天津市市政工程设计研究院 | 行人引导标志设置优化方法 |
| CN105303189A (zh) * | 2014-07-29 | 2016-02-03 | 阿里巴巴集团控股有限公司 | 一种用于检测预定区域中特定标识图像的方法及装置 |
| CN105700791A (zh) * | 2016-03-04 | 2016-06-22 | 沈阳天择智能交通工程有限公司 | 道路交通事故现场草图识别绘制方法 |
| CN107066932A (zh) * | 2017-01-16 | 2017-08-18 | 北京龙杯信息技术有限公司 | 人脸识别中关键特征点的检测与定位方法 |
| CN107085850A (zh) * | 2017-03-24 | 2017-08-22 | 大连成者科技有限公司 | 遮蔽采集图像中异物的标记体、识别图像中异物标记体的方法以及书籍扫描方法 |
| CN107316032A (zh) * | 2017-07-06 | 2017-11-03 | 中国医学科学院北京协和医院 | 一种建立人脸图像识别器方法 |
| CN107729896A (zh) * | 2017-10-24 | 2018-02-23 | 武汉科技大学 | 一种适用于变电站宽刻度指针式仪表的自动识别方法 |
| CN108363957A (zh) * | 2018-01-19 | 2018-08-03 | 成都考拉悠然科技有限公司 | 基于级联网络的交通标志检测与识别方法 |
| CN110135307A (zh) * | 2019-04-30 | 2019-08-16 | 北京邮电大学 | 基于注意力机制的交通标志检测方法和装置 |
| CN110427827A (zh) * | 2019-07-08 | 2019-11-08 | 辽宁工程技术大学 | 一种多尺度感知及全局规划下的自主驾驶网络 |
| CN111259808A (zh) * | 2020-01-17 | 2020-06-09 | 北京工业大学 | 一种基于改进ssd算法的交通标识的检测识别方法 |
| CN111401466A (zh) * | 2020-03-26 | 2020-07-10 | 广州紫为云科技有限公司 | 一种交通标志检测与识别标注方法、装置和计算机设备 |
| CN111476284A (zh) * | 2020-04-01 | 2020-07-31 | 网易（杭州）网络有限公司 | 图像识别模型训练及图像识别方法、装置、电子设备 |
| CN111738300A (zh) * | 2020-05-27 | 2020-10-02 | 复旦大学 | 一种交通标志及信号灯检测和识别的优化算法 |
| CN112464910A (zh) * | 2020-12-18 | 2021-03-09 | 杭州电子科技大学 | 一种基于YOLO v4-tiny的交通标志识别方法 |
| CN112712036A (zh) * | 2020-12-31 | 2021-04-27 | 广西综合交通大数据研究院 | 交通标志识别方法、装置、电子设备及计算机存储介质 |
| CN112749606A (zh) * | 2020-03-05 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 一种文本定位方法和装置 |
-
2021
- 2021-07-02 CN CN202110753300.7A patent/CN113361643A/zh active Pending
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102194132A (zh) * | 2011-04-07 | 2011-09-21 | 国通道路交通管理工程技术研究中心有限公司 | 一种伴随车检测识别系统及其方法 |
| CN202084185U (zh) * | 2011-06-16 | 2011-12-21 | 长安大学 | 一种交通标志自动识别装置 |
| CN102890781A (zh) * | 2012-07-04 | 2013-01-23 | 北京航空航天大学 | 一种针对羽毛球比赛视频的精彩镜头识别方法 |
| CN103093283A (zh) * | 2013-01-12 | 2013-05-08 | 天津市市政工程设计研究院 | 行人引导标志设置优化方法 |
| CN105303189A (zh) * | 2014-07-29 | 2016-02-03 | 阿里巴巴集团控股有限公司 | 一种用于检测预定区域中特定标识图像的方法及装置 |
| CN105700791A (zh) * | 2016-03-04 | 2016-06-22 | 沈阳天择智能交通工程有限公司 | 道路交通事故现场草图识别绘制方法 |
| CN107066932A (zh) * | 2017-01-16 | 2017-08-18 | 北京龙杯信息技术有限公司 | 人脸识别中关键特征点的检测与定位方法 |
| CN107085850A (zh) * | 2017-03-24 | 2017-08-22 | 大连成者科技有限公司 | 遮蔽采集图像中异物的标记体、识别图像中异物标记体的方法以及书籍扫描方法 |
| CN107316032A (zh) * | 2017-07-06 | 2017-11-03 | 中国医学科学院北京协和医院 | 一种建立人脸图像识别器方法 |
| CN107729896A (zh) * | 2017-10-24 | 2018-02-23 | 武汉科技大学 | 一种适用于变电站宽刻度指针式仪表的自动识别方法 |
| CN108363957A (zh) * | 2018-01-19 | 2018-08-03 | 成都考拉悠然科技有限公司 | 基于级联网络的交通标志检测与识别方法 |
| CN110135307A (zh) * | 2019-04-30 | 2019-08-16 | 北京邮电大学 | 基于注意力机制的交通标志检测方法和装置 |
| CN110427827A (zh) * | 2019-07-08 | 2019-11-08 | 辽宁工程技术大学 | 一种多尺度感知及全局规划下的自主驾驶网络 |
| CN111259808A (zh) * | 2020-01-17 | 2020-06-09 | 北京工业大学 | 一种基于改进ssd算法的交通标识的检测识别方法 |
| CN112749606A (zh) * | 2020-03-05 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 一种文本定位方法和装置 |
| CN111401466A (zh) * | 2020-03-26 | 2020-07-10 | 广州紫为云科技有限公司 | 一种交通标志检测与识别标注方法、装置和计算机设备 |
| CN111476284A (zh) * | 2020-04-01 | 2020-07-31 | 网易（杭州）网络有限公司 | 图像识别模型训练及图像识别方法、装置、电子设备 |
| CN111738300A (zh) * | 2020-05-27 | 2020-10-02 | 复旦大学 | 一种交通标志及信号灯检测和识别的优化算法 |
| CN112464910A (zh) * | 2020-12-18 | 2021-03-09 | 杭州电子科技大学 | 一种基于YOLO v4-tiny的交通标志识别方法 |
| CN112712036A (zh) * | 2020-12-31 | 2021-04-27 | 广西综合交通大数据研究院 | 交通标志识别方法、装置、电子设备及计算机存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114131603A (zh) * | 2021-12-02 | 2022-03-04 | 复旦大学 | 基于感知增强和场景迁移的深度强化学习机器人抓取方法 |
| CN114131603B (zh) * | 2021-12-02 | 2023-09-12 | 复旦大学 | 基于感知增强和场景迁移的深度强化学习机器人抓取方法 |
| CN116721355A (zh) * | 2023-08-09 | 2023-09-08 | 江西云眼视界科技股份有限公司 | 广告牌检测方法、系统、可读存储介质及计算机设备 |
| CN116721355B (zh) * | 2023-08-09 | 2023-10-24 | 江西云眼视界科技股份有限公司 | 广告牌检测方法、系统、可读存储介质及计算机设备 |
| CN117351242A (zh) * | 2023-10-24 | 2024-01-05 | 北京云上曲率科技有限公司 | 一种基于相似度的标识识别方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110689037B (zh) | 用于使用深度网络的自动对象注释的方法和系统 | |
| CN107067003B (zh) | 感兴趣区域边界的提取方法、装置、设备和计算机存储介质 | |
| CN110705405B (zh) | 目标标注的方法及装置 | |
| CN113361643A (zh) | 基于深度学习的通用标志识别方法、系统、设备及存储介质 | |
| CN111353491B (zh) | 一种文字方向确定方法、装置、设备及存储介质 | |
| CN111914775B (zh) | 活体检测方法、装置、电子设备及存储介质 | |
| CN111079571A (zh) | 证卡信息识别及其边缘检测模型训练方法、装置 | |
| CN112149663A (zh) | 结合rpa和ai的图像文字的提取方法、装置及电子设备 | |
| CN109857878B (zh) | 物品标注方法及装置、电子设备及存储介质 | |
| CN112308069A (zh) | 一种软件界面的点击测试方法、装置、设备及存储介质 | |
| CN115100469A (zh) | 一种基于分割算法的目标属性识别方法、训练方法和装置 | |
| CN112052819A (zh) | 一种行人重识别方法、装置、设备及存储介质 | |
| CN113537026B (zh) | 建筑平面图中的图元检测方法、装置、设备及介质 | |
| CN112528903B (zh) | 人脸图像获取方法、装置、电子设备及介质 | |
| CN114332809A (zh) | 一种图像识别方法、装置、电子设备和存储介质 | |
| CN113159146A (zh) | 样本生成、目标检测模型训练、目标检测方法及装置 | |
| CN110674678A (zh) | 视频中敏感标志的识别方法及装置 | |
| CN112529116B (zh) | 场景元素融合处理方法、装置和设备及计算机存储介质 | |
| CN114783042A (zh) | 基于多移动目标的人脸识别方法、装置、设备及存储介质 | |
| KR20190093752A (ko) | 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템 | |
| CN112559340A (zh) | 一种画面测试方法、装置、设备及存储介质 | |
| CN112434698A (zh) | 字符识别方法、装置、电子设备及存储介质 | |
| CN112559342A (zh) | 一种画面测试图像的获取方法、装置、设备及存储介质 | |
| CN112131418A (zh) | 目标标注方法、目标标注装置和计算机可读存储介质 | |
| CN113537199B (zh) | 图像边界框筛选方法、系统、电子装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |
|
| RJ01 | Rejection of invention patent application after publication |