CN111931721A - 年检标签颜色和个数的检测方法、装置及电子设备 - Google Patents

年检标签颜色和个数的检测方法、装置及电子设备 Download PDF

Info

Publication number
CN111931721A
CN111931721A CN202011005317.6A CN202011005317A CN111931721A CN 111931721 A CN111931721 A CN 111931721A CN 202011005317 A CN202011005317 A CN 202011005317A CN 111931721 A CN111931721 A CN 111931721A
Authority
CN
China
Prior art keywords
image
detected
annual inspection
color
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011005317.6A
Other languages
English (en)
Other versions
CN111931721B (zh
Inventor
岳邦珊
邹文艺
杨秀平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202011005317.6A priority Critical patent/CN111931721B/zh
Publication of CN111931721A publication Critical patent/CN111931721A/zh
Application granted granted Critical
Publication of CN111931721B publication Critical patent/CN111931721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及年检标签颜色和个数的检测方法、装置及电子设备，其中方法包括获取待检测图像；将所述待检测图像输入特征提取网络中，得到所述待检测图像中年检标签的特征信息；其中，所述特征提取网络包括至少两个卷积组；将特征提取网络中的至少一个卷积组的输出信息输入位置提取网络中，得到待检测图像中年检标签的位置信息；基于特征信息以及位置信息，确定待检测图像中各个颜色对应的年检标签的个数。在检测过程中结合了位置信息，能够降低模糊、缺损、因光照或年检标签颜色相近等因素对年检标签颜色和个数的识别造成影响，增强了年检标签的颜色和个数特征提取效果，提高了年检标签颜色和个数的检测准确率。

Description

年检标签颜色和个数的检测方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，具体涉及年检标签颜色和个数的检测方法、装置及电子设备。
背景技术
随着经济的加速发展，城市的机动车辆增加迅速，和车辆相关的治安和刑事案件也逐年增多，严重影响了人民群众的利益和社会治安。为了城市的可持续发展，平安城市、智慧城市已经成为了当今城市发展的重要部分。从车辆监控取证案件的过程中利用人工查找搜寻违法犯罪车辆的属性特征，不仅耗费巨大人力和物力，且过程较难实现。其中，年检标签颜色及其个数是车辆的重要属性。
目前的车辆属性分析中，一般是通过对车辆的年检标签的颜色和个数进行分析，以实现车辆检索。常用的方式是提取年检标签的特征信息，基于提取出的特征信息确定年检标签的颜色和个数。但是当存在模糊、缺损或颜色相近的年检标签时，每个年检标签之间并没有明显的边界，较难同时识别出每种年检标签的颜色特征和个数，导致年检标签的颜色和个数存在较大的误检和漏检，进而导致年检标签颜色和个数的检测准确率偏低。
发明内容
有鉴于此，本发明实施例提供了一种年检标签颜色和个数的检测方法、装置及电子设备，以解决现有年检标签颜色和个数的检测准确率偏低的问题。
根据第一方面，本发明实施例提供了一种年检标签颜色和个数的检测方法，包括：
获取待检测图像；
将所述待检测图像输入特征提取网络中，得到所述待检测图像中年检标签的特征信息；其中，所述特征提取网络包括至少两个卷积组；
将所述特征提取网络中的至少一个卷积组的输出信息输入位置提取网络中，得到所述待检测图像中年检标签的位置信息；
基于所述特征信息以及所述位置信息，确定所述待检测图像中各个颜色对应的年检标签的个数。
本发明实施例提供的年检标签颜色和个数的检测方法，将待检测图像中年检标签的特征信息以及位置信息相结合，确定年检标签的颜色和个数；即在检测过程中结合了位置信息，能够降低模糊、缺损、因光照或年检标签颜色相近等因素对年检标签颜色和个数的识别造成影响，增强了年检标签的颜色和个数特征提取效果，提高了年检标签颜色和个数的检测准确率。
结合第一方面，在第一方面第一实施方式中，所述将所述特征提取网络中的至少一个卷积层的输出信息输入位置提取网络中，得到所述待检测图像中年检标签的位置信息，包括：
将所述特征提取网络中第一预设卷积组的输出信息输入所述位置提取网络中的第一位置提取分支中；
利用所述第一位置提取分支中的第一尺度变换层以及第一位置提取层，确定所述年检标签的第一位置信息，以得到所述待检测图像中年检标签的位置信息。
本发明实施例提供的年检标签颜色和个数的检测方法，将特征提取网络中的第一预设卷积组的输出信息输入第一位置提取分支中；即，利用特征提取网络中的一个预设卷积组的输出信息进行位置信息的提取，再将提取出的位置信息作为后续颜色和个数检测的基础，可以提高了年检标签颜色和个数检测的准确率。
结合第一方面或第一方面第一实施方式，在第一方面第二实施方式中，将所述特征提取网络中的至少一个卷积层的输出信息输入位置提取网络中，得到所述待检测图像中年检标签的位置信息，包括：
将所述特征提取网络中至少两个第二预设卷积组的输出信息输入所述位置提取网络中的第二位置提取分支中；
利用所述第二位置提取分支中的第二尺度变换层以及第二位置提取层，确定所述年检标签的第二位置信息，以得到所述待检测图像中年检标签的位置信息。
本发明实施例提供的年检标签颜色和个数的检测方法，利用特征提取网络中至少两个第二预设卷积组的输出信息进行位置信息的提取，使得提取出的位置信息融合了多尺度卷积组的信息，为后续年检标签颜色和个数的检测提供了可靠依据。
结合第一方面第二实施方式，在第一方面第三实施方式中，将所述特征提取网络中的至少一个卷积层的输出信息输入位置提取网络中，得到所述待检测图像中年检标签的位置信息，还包括：
将所述第一位置信息与所述第二位置信息进行拼接，得到所述待检测图像中年检标签的位置信息。
本发明实施例提供的年检标签颜色和个数的检测方法，将第一位置提取分支与第二位置提取分支得到的位置信息进行拼接所得到的待检测图像中年检标签的位置信息，所得到的位置信息中融合了多尺度卷积组的信息，提高了后续年检标签颜色和个数检测的准确率。
结合第一方面，或第一方面第三实施方式，在第一方面第四实施方式中，所述基于所述特征信息以及所述位置信息，确定所述待检测图像中各个颜色对应的年检标签的个数，包括：
将所述特征信息以及所述位置信息输入多标签预测层，得到所述待检测图像中各个颜色对应的年检标签的个数以及所述待检测图像中所有年检标签的总个数。
本发明实施例提供的年检标签颜色和个数的检测方法，利用多标签预测层同时输出待检测图像中各个颜色的年检标签的个数，而无需将各个颜色与每种颜色的个数的属性拆分，提高了年检标签颜色和个数的识别效率。
结合第一方面，在第一方面第五实施方式中，所述获取待检测图像，包括：
获取待检测车辆图像；
将所述待检测车辆图像输入至目标检测网络中，得到所述待检测车辆图像中至少一个区域年检标签的位置信息；
基于至少一个所述区域年检标签的位置信息，从所述待检测车辆图像中提取至少一个所述区域年检标签图像，得到至少一个所述待检测图像。
本发明实施例提供的年检标签颜色和个数的检测方法，由于区域年检标签比单个年检标签区域大，能够扩大年检标签目标检测区域，提升年检标签颜色和个数检测的准确率；且由于待检测车辆图像中区域年检标签的个数小于待检测车辆图像中年检标签的个数，通过区域图像的方式进行年检标签颜色和个数的检测，能够减少前期网络训练中年检标签的标注成本。
结合第一方面第五实施方式，在第一方面第六实施方式中，所述检测方法还包括：
获取至少一个所述待检测图像中各个颜色的所述年检标签的个数；
综合各个所述待检测图像中各个颜色的所述年检标签的个数，确定所述待检测车辆图像中各个颜色所述年检标签的个数。
本发明实施例提供的年检标签颜色和个数的检测方法，在得到各个区域年检标签中各个颜色的年检标签的个数之后，直接对各个区域年检标签的各个颜色的年检标签的个数进行统计，即可确定出待检测车辆图像中各个颜色的年检标签的个数，提高了待检测图像中年检标签的颜色和个数的识别效率。
根据第二方面，本发明实施例提供了一种年检标签颜色和个数的检测装置，包括：
获取模块，用于获取待检测图像；
特征提取模块，用于将所述待检测图像输入特征提取网络中，得到所述待检测图像中年检标签的特征信息；其中，所述特征提取网络包括至少两个卷积组；
位置提取模块，用于将所述特征提取网络中的至少一个卷积组的输出信息输入位置提取网络中，得到所述待检测图像中年检标签的位置信息；
颜色和个数确定模块，用于基于所述特征信息以及所述位置信息，确定所述待检测图像中各个颜色对应的年检标签的个数。
本发明实施例提供的年检标签颜色和个数的检测装置，将待检测图像中年检标签的特征信息以及位置信息相结合，确定年检标签的颜色和个数；即在检测过程中结合了位置信息，能够降低模糊、缺损、因光照或年检标签颜色相近等因素对年检标签颜色和个数的识别造成的影响，增强了年检标签的颜色和个数特征提取效果，提高了年检标签颜色和个数的检测准确率。
根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的年检标签颜色和个数的检测方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的年检标签颜色和个数的检测方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的年检标签颜色和个数的检测方法的流程图；
图2是根据本发明实施例的年检标签颜色和个数的检测方法的流程图；
图3是根据本发明实施例的特征提取网络以及位置提取网络的结构示意图；
图4是根据本发明实施例的年检标签颜色和个数的检测方法的流程图；
图5是根据本发明实施例的训练特征提取网络以及位置提取网络的结构示意图；
图6是根据本发明实施例的年检标签颜色和个数的检测装置的结构框图；
图7是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明实施例，提供了一种年检标签颜色和个数的检测方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种年检标签颜色和个数的检测方法，可用于电子设备，如电脑、手机、平板电脑等，图1是根据本发明实施例的年检标签颜色和个数的检测方法的流程图，如图1所示，该流程包括如下步骤：
S11，获取待检测图像。
待检测图像可以是电子设备从待检测车辆图像中截取出的，也可以是电子设备直接从外界获取的，也可以是存储在电子设备的存储空间中的。其中，待检测图像中包括至少一个年检标签。
S12，将待检测图像输入特征提取网络中，得到待检测图像中年检标签的特征信息。
其中，所述特征提取网络包括至少两个卷积组。
特征提取网络用于提取待检测图像中年检标签的特征，所述的特征提取网络中包括至少两个卷积组，各个卷积组依次串联。每个卷积组中包括卷积层，也可以还包括有激活函数层以及池化层，在此对卷积组内的结构并不做任何限制，只需保证卷积组能够提取出待检测图像中年检标签的特征即可。特征提取网络中卷积组的数量可以是2组、3组、4组或5组等等，在此对特征提取网络中卷积组的数量并不做任何限制，具体可以根据实际情况进行相应的设置。
可选地，特征提取网络中包括依次串联的卷积组，在所有卷积组后可以串联有卷积层以及激活函数层，以进一步提取特征。
S13，将特征提取网络中的至少一个卷积组的输出信息输入位置提取网络中，得到待检测图像中年检标签的位置信息。
位置提取网络的输入为特征提取网络中卷积组的输出信息，所述位置提取网络的输出为待检测图像中年检标签的位置信息。其中，位置提取网络的输入可以从特征提取网络中的至少一个卷积组引出。例如，位置提取网络的输入可以从特征提取网络的倒数第二个卷积组引出，也可以从特征提取网络的倒数第三个卷积组引出。进一步地，位置提取网络的输入还可以为特征提取网络中两个卷积组的输出信息，或者，为特征提取网络中三个卷积组的输出信息等等。在此对位置提取网络的输入并不做任何限制，只需保证位置提取网络的输入是从特征提取网络的至少一个卷积组的引出即可。
具体将在下文中对该步骤进行详细描述。
S14，基于特征信息以及位置信息，确定待检测图像中各个颜色对应的年检标签的个数。
电子设备在上述S12以及S13中分别得到待检测图像中年检标签的特征信息以及位置信息之后，利用特征信息以及位置信息对年检标签的颜色和个数进行统计。例如，可以是仅统计某一种特定颜色的年检标签的个数，也可以是统计所有颜色的年检标签的个数等等，在此并不做任何限制。
在确定待检测图像中年检标签的颜色和个数时，可以基于特征信息以及位置信息，利用分类器检测出各个颜色的年检标签，并统计其个数，就可以得到待检测图像中年检标签的颜色和个数；也可以是先利用特征信息以及位置信息确定各个年检标签的颜色，再统计出各个颜色的年检标签的数量；或者是，先利用特征信息以及位置信息确定所述待检测图像中年检标签的个数，再失识别各个年检标签的颜色等等。在此对其并不做任何限制，具体可以根据实际情况进行相应的设置。
具体将在下文中对该步骤进行详细描述。
本实施例提供的年检标签颜色和个数的检测方法，将待检测图像中年检标签的特征信息以及位置信息相结合，确定年检标签的颜色和个数；即在检测过程中结合了位置信息，能够降低模糊、缺损、因光照或年检标签颜色相近等因素对年检标签颜色和个数的识别造成的影响，增强了年检标签的颜色和个数特征提取效果，提高了年检标签颜色和个数的检测准确率。
在本实施例中提供了一种年检标签颜色和个数的检测方法，可用于电子设备，如电脑、手机、平板电脑等，图2是根据本发明实施例的年检标签颜色和个数的检测方法的流程图，如图2所示，该流程包括如下步骤：
S21，获取待检测图像。
详细请参见图1所示实施例的S11，在此不再赘述。
S22，将待检测图像输入特征提取网络中，得到待检测图像中年检标签的特征信息。
其中，所述特征提取网络包括至少两个卷积组。
图3示出了特征提取网络以及位置提取网络的一个可选的结构。特征提取网络包括多组串联的卷积组，其中，最后一组卷积组中仅包括卷积层和激活函数层，其他卷积组包括卷积层、激活函数层以及池化层。其中，特征提取网络中串联的卷积组的个数可以根据实际需求进行相应的设置。
其余详细请参见图1所示实施例的S12，在此不再赘述。
S23，将特征提取网络中的至少一个卷积组的输出信息输入位置提取网络中，得到待检测图像中年检标签的位置信息。
如图3所示，所述的位置提取网络包括第一位置提取分支以及第二位置提取分支。其中，第一位置提取分支的输入从特征提取网络的倒数第二个卷积组的输出引出，即从倒数第二个卷积组的池化层引出。第二位置提取分支的输入分别从3组不同的卷积组的输出引出。但是本发明的保护范围并不限于此，第一位置提取分支的输入可以从特征提取网络的任意一个卷积组的池化层引出，第二位置提取分支的输入可以从特征提取网络的2组、4组或其他数量的卷积组的输出引出，具体可以根据实际情况进行相应的设置。
具体地，上述S23包括如下步骤：
S231，将特征提取网络中第一预设卷积组的输出信息输入位置提取网络中的第一位置提取分支中。
以图3为例，第一预设卷积组为特征提取网络的倒数第二个卷积组，第一位置提取分支的输入为特征提取网络的倒数第二个卷积组的池化层的输出。第一位置提取分支的输入为池化层的输出信息，第一位置提取分支的输出为空间注意力图，用于表征待检测图像中年检标签的位置信息，特别是体现年检标签特定位置的位置信息，例如，模糊、缺损以及颜色相近的年检标签的位置信息。在第一位置提取分支中，加重特定位置的权重，使得该分支着重注意年检标签特定位置的位置信息。
需要说明的是，第一位置提取网络当然也可以从其他卷积组(不限于上述的倒数第二个卷积组)引出，但低纬度的特征融合了前面所有卷积所提取的特征，具有较好的全局代表性。
S232，利用第一位置提取分支中的第一尺度变换层以及第一位置提取层，确定年检标签的第一位置信息，以得到待检测图像中年检标签的位置信息。
第一位置提取分支包括第一尺度变换层以及第一位置提取层。其中，如图3所示，第一位置提取层包括卷积层、归一化层以及激活函数层。但是本发明的保护范围并不限于此，第一位置提取层也可以根据实际情况进行相应的调整，只需保证其输出能够表征空间注意力图，即表征年检标签的第一位置信息即可。
电子设备在利用第一位置提取分支确定年检标签的第一位置信息之后，可以直接将该第一位置信息作为待检测图像中年检标签的位置信息，也可以继续执行S233。
S233，将特征提取网络中至少两个第二预设卷积组的输出信息输入位置提取网络中的第二位置提取分支中。
以图3为例，第二位置提取分支的输入为特征提取网络中3个不同的卷积组的输出信息，此处的不同的卷积组即为所述的第二预设卷积组。其中，第二位置提取分支的输入具体从特征提取网络的哪些输出信息引出，可以根据实际情况进行相应的调整。
第二位置提取分支从特征提取网络的3个不同尺度的卷积组引出，输出多尺度空间图，所述的多尺度空间图结合了不同尺度下的年检标签的空间位置的特征。
S234，利用第二位置提取分支中的第二尺度变换层以及第二位置提取层，确定年检标签的第二位置信息，以得到待检测图像中年检标签的位置信息。
第二位置提取分支包括第二尺度变换层以及第二位置提取层，如图3所示，第二位置提取层包括concat层、卷积层、归一化层以及卷积层，所述的concat层用于将多尺度变换层所述的不同尺度的输出信息进行拼接。但是本发明的保护范围并不限于此，第二位置提取层也可以根据实际情况进行相应的调整，只需保证其输出能够表征多尺度空间图，即表征年检标签的第二位置信息即可。
第二位置提取分支与第一位置提取分支的功能类似，均是为了表征年检标签的位置信息。其中，第二位置提取分支是从特征提取网络的至少两个卷积组引出，而第一位置提取分支是从特征提取网络的一个卷积组引出。
S235，将第一位置信息与第二位置信息进行拼接，得到待检测图像中年检标签的位置信息。
电子设备在得到第一位置信息与第二位置信息之后，利用concat层将第一位置信息与第二位置信息进行拼接，即可得到待检测图像中年检标签的位置信息。
S24，基于特征信息以及位置信息，确定待检测图像中各个颜色对应的年检标签的个数。
电子设备在上述S22中得到待检测图像中年检标签的特征信息，以及在上述S23中得到待检测图像中年检标签的位置信息之后，就可以将这两者作为年检标签的颜色和个数的分类基础。
在分类过程中，电子设备利用多标签预测层对待检测图像中的年检标签的颜色和个数进行预测。具体地，如图3所示，电子设备将特征信息以及位置信息经过池化层的处理后输入多标签预测层，确定待检测图像中各个颜色的年检标签的个数以及待检测图像中所有年检标签的总个数。
如图3所示，所述的多标签预测层包含6个softmax损失层，用于输出年检标签内5种颜色的年检标签的个数及1个总个数的多属性的概率向量。具体地，特征信息以及位置信息经过多标签分类预测层，输出区域年检标签图像5种颜色的年检标签的个数和1个总个数的概率向量，每种颜色的年检标签的个数的概率向量包含0～9共10个概率向量值，取10个概率向量中最大值对应的个数值作为输出，最终输出区域年检标签的蓝色个数、绿色个数、黄色个数、白色个数、其他色个数和总个数。
利用多标签预测层同时输出待检测图像中各个颜色的年检标签的个数，而无需将各个颜色与每种颜色的个数的属性拆分，提高了年检标签颜色和个数的识别效率。
本实施例提供的年检标签颜色和个数的检测方法，将第一位置提取分支与第二位置提取分支得到的位置信息进行拼接所得到的待检测图像中年检标签的位置信息，所得到的位置信息中融合了多尺度卷积组的信息，提高了后续年检标签颜色和个数检测的准确率。
在本实施例中提供了一种年检标签颜色和个数的检测方法，可用于电子设备，如电脑、手机、平板电脑等，图4是根据本发明实施例的年检标签颜色和个数的检测方法的流程图，如图4所示，该流程包括如下步骤：
S31，获取待检测图像。
具体地，上述S31包括如下步骤：
S311，获取待检测车辆图像。
待检测车辆图像可以是电子设备从外界图像采集设备中获取到的，也可以是存储在电子设备中的等等，在此对待检测车辆图像的来源并不做任何限制。
S312，将待检测车辆图像输入至目标检测网络中，得到待检测车辆图像中至少一个区域年检标签的位置信息。
目标检测网络的输入为待检测图像，输出可以为待检测图像中各个区域的类别信息以及位置信息，也可以仅为区域年检标签的位置信息。
其中，所述的区域年检标签包含邻近矩形区域内所有的年检标签。待检测车辆图像可以对应于一个区域年检标签，或两个区域年检标签，或三个区域年检标签区域等等。
S313，基于至少一个区域年检标签的位置信息，从待检测车辆图像中提取至少一个区域年检标签图像，得到至少一个待检测图像。
电子设备在上述S312中得到至少一个区域年检标签的位置信息之后，就可以从待检测车辆图像的相应位置提取出至少一个区域年检标签图像，将其作为至少一个待检测图像，用做后续的年检标签颜色和个数的检测。
例如，待检测车辆图像在经过目标检测网络后，得到3个区域年检标签的位置信息，电子设备利用这3个区域年检标签的位置信息从待检测车辆图像中提取相应的图像，得到3个待检测图像。
S32，将待检测图像输入特征提取网络中，得到待检测图像中年检标签的特征信息。
其中，所述特征提取网络包括至少两个卷积组。
详细请参见图2所示实施例的S22，在此不再赘述。
S33，将特征提取网络中的至少一个卷积组的输出信息输入位置提取网络中，得到待检测图像中年检标签的位置信息。
详细请参见图2所示实施例的S23，在此不再赘述。
S34，基于特征信息以及所述位置信息，确定待检测图像中各个颜色对应的年检标签的个数。
详细请参见图2所示实施例的S24，在此不再赘述。
S35，获取至少一个待检测图像中各个颜色的年检标签的个数。
如上文的所述，待检测图像经过目标检测网络后，电子设备利用各个区域年检标签的位置信息可以得到3个待检测图像；再利用上述S32-S33得到3个待检测图像中年检标签的颜色和个数。即，电子设备就可以获取到对应于每个待检测图像的年检标签的颜色和个数。例如，3个待检测图像中各个颜色的年检标签的个数如下所示：
待检测图像1：黄色1个，绿色2个，蓝色1个，白色1个；
待检测图像2：黄色2个，绿色1个，蓝色2个，白色1个；
待检测图像3：黄色3个，绿色1个，蓝色1个，白色0个。
S36，综合各个待检测图像中各个颜色年检标签的个数，确定待检测车辆图像中各个颜色年检标签的个数。
电子设备在得到各个待检测图像中各个颜色年检标签的个数之后，对各个颜色的年检标签的个数进行统计，即可得到待检测车辆图像中各个颜色年检标签的个数。如上文所述的实施例中，
黄色的年检标签：待检测图像1有1个，待检测图像2有2个，待检测图像3有3个，因此，在待检测车辆图像中黄色的年检标签总共有6个；
绿色的年检标签：待检测图像1有2个，待检测图像2有1个，待检测图像3有1个，因此，在待检测车辆图像中绿色的年检标签总共有4个；
蓝色的年检标签：待检测图像1有1个，待检测图像2有2个，待检测图像3有1个，因此，在待检测车辆图像中蓝色的年检标签总共有4个；
白色的年检标签：待检测图像1有1个，待检测图像2有1个，待检测图像3有0个，因此，在待检测车辆图像中白色的年检标签总共有2个。
在得到各个区域年检标签中各个颜色的年检标签的个数之后，直接对各个区域年检标签的各个颜色的年检标签的个数进行统计，即可确定出待检测车辆图像中各个颜色的年检标签的个数，提高了待检测图像中年检标签的颜色和个数的识别效率。
本实施例提供的年检标签颜色和个数的检测方法，由于区域年检标签比单个年检标签区域大，能够扩大年检标签目标检测区域，提升年检标签颜色和个数检测的准确率；且由于待检测车辆图像中区域年检标签的个数小于待检测车辆图像中年检标签的个数，通过区域图像的方式进行年检标签颜色和个数的检测，能够减少前期网络训练中年检标签的标注成本。
在本实施例的一些可选实施方式中，图5示出了本实施例中对特征提取网络以及位置提取网络的训练过程所用的一种可选的网络结构图。所述的训练过程包括如下步骤：
(1)设置数据层，包括图像数据层和标签数据层。其中，图像数据层为区域年检标签图像，区域年检标签包含邻近矩形区域内所有的年检标签，总体区域个数少，能减少前期年检标签标注成本。标签数据层为年检标签颜色及其个数属性标签。标签数据层被切分为Slice标签层，Slice标签层包含6个独立的标签，分别为蓝色个数、绿色个数、黄色个数、白色个数、其他色个数及总个数。每种颜色的个数包含10种个数标签，个数标签值为0～9。
(2)构建特征提取网络以及位置提取网络。其中，特征提取网络包括多组卷积层、激活函数层、池化层，最后一组为卷积层和激活函数层，用于输出年检标签的特征信息。位置提取网络中的第一位置提取分支为空间注意力模块，从特征提取网络的倒数第二个卷积组引出，经过尺度变换层、卷积层、归一化层、激活函数层，卷积层，输出空间注意力图特征。位置提取网络中的第二位置提取分支为多尺度空间模块，从特征提取网络的三个不同尺度的卷积组引出，经过尺度变换层、concat层、归一化层、卷积层，输出多尺度空间图特征。将第一位置提取分支的空间注意力图与第二位置提取分支的多尺度空间图特征经过concat后与特征提取网络的最后一个卷积组的输出连接，经过全局均值池化层引出6个全连接层，分别表示5种年检标签颜色的个数和1个总个数的属性特征。
(3)设置多标签分类预测层。多分类预测层包含6个softmax损失层，连接于特征提取网络层最后的6个全连接层。被切分后的标签数据层作为输入连接softmax损失层，用于预测区域年检标签5种颜色的个数及总个数的6个概率向量。
在训练过程中，将图像数据层中的样本图像输入至特征提取网络中，经过特征提取网络以及位置提取网络后，预测样本图像中年检标签的颜色和个数；再利用标签数据层与预设结果，对特征提取网络以及位置提取网络中的参数进行调整，确定特征提取网络以及位置提取网络。
在本实施例中还提供了一种年检标签颜色和个数的检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种年检标签颜色和个数的检测装置，如图6所示，包括：
获取模块41，用于获取待检测图像；
特征提取模块42，用于将所述待检测图像输入特征提取网络中，得到所述待检测图像中年检标签的特征信息；其中，所述特征提取网络包括至少两个卷积组；
位置提取模块43，用于将所述特征提取网络中的至少一个卷积组的输出信息输入位置提取网络中，得到所述待检测图像中年检标签的位置信息；
颜色和个数确定模块44，用于基于所述特征信息以及所述位置信息，确定所述待检测图像中各个颜色对应的年检标签的个数。
本实施例提供的年检标签颜色和个数的检测装置，将待检测图像中年检标签的特征信息以及位置信息相结合，确定年检标签的颜色和个数；即在检测过程中结合了位置信息，能够降低模糊、缺损、因光照或年检标签颜色相近等因素对年检标签颜色和个数的识别造成的影响，可提高了年检标签的颜色和个数特征提取效果，提高了年检标签颜色和个数的检测准确率。
本实施例中的年检标签颜色和个数的检测装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供一种电子设备，具有上述图6所示的年检标签颜色和个数的检测装置。
请参阅图7，图7是本发明可选实施例提供的一种电子设备的结构示意图，如图7所示，该电子设备可以包括：至少一个处理器51，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图6所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线52可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器54可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器54还可以包括上述种类的存储器的组合。
其中，处理器51可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本申请图1、2以及4实施例中所示的年检标签颜色和个数的检测方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的年检标签颜色和个数的检测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种年检标签颜色和个数的检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入特征提取网络中，得到所述待检测图像中年检标签的特征信息；其中，所述特征提取网络包括至少两个卷积组；
将所述特征提取网络中的至少一个卷积组的输出信息输入位置提取网络中，得到所述待检测图像中年检标签的位置信息；
基于所述特征信息以及所述位置信息，确定所述待检测图像中各个颜色对应的年检标签的个数。
2.根据权利要求1所述的检测方法，其特征在于，所述将所述特征提取网络中的至少一个卷积层的输出信息输入位置提取网络中，得到所述待检测图像中年检标签的位置信息，包括：
将所述特征提取网络中第一预设卷积组的输出信息输入所述位置提取网络中的第一位置提取分支中；
利用所述第一位置提取分支中的第一尺度变换层以及第一位置提取层，确定所述年检标签的第一位置信息，以得到所述待检测图像中年检标签的位置信息。
3.根据权利要求1或2所述的检测方法，其特征在于，将所述特征提取网络中的至少一个卷积层的输出信息输入位置提取网络中，得到所述待检测图像中年检标签的位置信息，包括：
将所述特征提取网络中至少两个第二预设卷积组的输出信息输入所述位置提取网络中的第二位置提取分支中；
利用所述第二位置提取分支中的第二尺度变换层以及第二位置提取层，确定所述年检标签的第二位置信息，以得到所述待检测图像中年检标签的位置信息。
4.根据权利要求3所述的检测方法，其特征在于，所述将所述特征提取网络中的至少一个卷积层的输出信息输入位置提取网络中，得到所述待检测图像中年检标签的位置信息，还包括：
将所述第一位置信息与所述第二位置信息进行拼接，得到所述待检测图像中年检标签的位置信息。
5.根据权利要求1或4所述的检测方法，其特征在于，所述基于所述特征信息以及所述位置信息，确定所述待检测图像中各个颜色对应的年检标签的个数，包括：
将所述特征信息以及所述位置信息输入多标签预测层，得到所述待检测图像中各个颜色对应的年检标签的个数以及所述待检测图像中所有年检标签的总个数。
6.根据权利要求1所述的检测方法，其特征在于，所述获取待检测图像，包括：
获取待检测车辆图像；
将所述待检测车辆图像输入至目标检测网络中，得到所述待检测车辆图像中至少一个区域年检标签的位置信息；
基于至少一个所述区域年检标签的位置信息，从所述待检测车辆图像中提取至少一个所述区域年检标签图像，得到至少一个所述待检测图像。
7.根据权利要求6所述的检测方法，其特征在于，所述检测方法还包括：
获取至少一个所述待检测图像中各个颜色的所述年检标签的个数；
综合各个所述待检测图像中各个颜色所述年检标签的个数，确定所述待检测车辆图像中各个颜色所述年检标签的个数。
8.一种年检标签颜色和个数的检测装置，其特征在于，包括：
获取模块，用于获取待检测图像；
特征提取模块，用于将所述待检测图像输入特征提取网络中，得到所述待检测图像中年检标签的特征信息；其中，所述特征提取网络包括至少两个卷积组；
位置提取模块，用于将所述特征提取网络中的至少一个卷积组的输出信息输入位置提取网络中，得到所述待检测图像中年检标签的位置信息；
颜色和个数确定模块，用于基于所述特征信息以及所述位置信息，确定所述待检测图像中各个颜色对应的年检标签的个数。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的年检标签颜色和个数的检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的年检标签颜色和个数的检测方法。
CN202011005317.6A 2020-09-22 2020-09-22 年检标签颜色和个数的检测方法、装置及电子设备 Active CN111931721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011005317.6A CN111931721B (zh) 2020-09-22 2020-09-22 年检标签颜色和个数的检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011005317.6A CN111931721B (zh) 2020-09-22 2020-09-22 年检标签颜色和个数的检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111931721A true CN111931721A (zh) 2020-11-13
CN111931721B CN111931721B (zh) 2023-02-28

Family

ID=73335146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011005317.6A Active CN111931721B (zh) 2020-09-22 2020-09-22 年检标签颜色和个数的检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111931721B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114740159A (zh) * 2022-04-14 2022-07-12 成都秦川物联网科技股份有限公司 一种天然气能量计量组分获取方法和物联网系统
US11979697B2 (en) 2021-07-26 2024-05-07 Chengdu Qinchuan Iot Technology Co., Ltd. Methods and internet of things systems for obtaining natural gas energy metering component

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818321A (zh) * 2017-10-13 2018-03-20 上海眼控科技股份有限公司 一种用于车辆年检的水印日期识别方法
CN108062554A (zh) * 2017-12-12 2018-05-22 苏州科达科技股份有限公司 一种车辆年检标签颜色的识别方法及装置
CN108073656A (zh) * 2016-11-17 2018-05-25 杭州华为数字技术有限公司 一种数据同步方法及相关设备
CN108229473A (zh) * 2017-12-29 2018-06-29 苏州科达科技股份有限公司 车辆年检标签检测方法及装置
CN108701004A (zh) * 2017-01-25 2018-10-23 华为技术有限公司 一种数据处理的系统、方法及对应装置
CN111163159A (zh) * 2019-12-27 2020-05-15 中国平安人寿保险股份有限公司 消息订阅方法、装置、服务器及计算机可读存储介质
CN111352994A (zh) * 2020-02-04 2020-06-30 浙江大华技术股份有限公司 数据同步方法以及相关设备、装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073656A (zh) * 2016-11-17 2018-05-25 杭州华为数字技术有限公司 一种数据同步方法及相关设备
CN108701004A (zh) * 2017-01-25 2018-10-23 华为技术有限公司 一种数据处理的系统、方法及对应装置
CN107818321A (zh) * 2017-10-13 2018-03-20 上海眼控科技股份有限公司 一种用于车辆年检的水印日期识别方法
CN108062554A (zh) * 2017-12-12 2018-05-22 苏州科达科技股份有限公司 一种车辆年检标签颜色的识别方法及装置
CN108229473A (zh) * 2017-12-29 2018-06-29 苏州科达科技股份有限公司 车辆年检标签检测方法及装置
CN111163159A (zh) * 2019-12-27 2020-05-15 中国平安人寿保险股份有限公司 消息订阅方法、装置、服务器及计算机可读存储介质
CN111352994A (zh) * 2020-02-04 2020-06-30 浙江大华技术股份有限公司 数据同步方法以及相关设备、装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11979697B2 (en) 2021-07-26 2024-05-07 Chengdu Qinchuan Iot Technology Co., Ltd. Methods and internet of things systems for obtaining natural gas energy metering component
CN114740159A (zh) * 2022-04-14 2022-07-12 成都秦川物联网科技股份有限公司 一种天然气能量计量组分获取方法和物联网系统
CN114740159B (zh) * 2022-04-14 2023-09-19 成都秦川物联网科技股份有限公司 一种天然气能量计量组分获取方法和物联网系统

Also Published As

Publication number Publication date
CN111931721B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN107545262B (zh) 一种在自然场景图像中检测文本的方法及装置
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN111160301B (zh) 基于机器视觉的隧道病害目标智能识别及提取方法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN112329881B (zh) 车牌识别模型训练方法、车牌识别方法及装置
CN111931721B (zh) 年检标签颜色和个数的检测方法、装置及电子设备
CN110909598B (zh) 一种基于深度学习的非机动车道交通违法行驶识别方法
CN114972191A (zh) 一种耕地变化检测方法和装置
CN110910360B (zh) 电网图像的定位方法和图像定位模型的训练方法
CN116168351B (zh) 电力设备巡检方法及装置
CN113033516A (zh) 对象识别统计方法及装置、电子设备、存储介质
CN115372877B (zh) 基于无人机的变电站的避雷器泄露电流表计巡检方法
CN111209958A (zh) 基于深度学习的变电站设备检测方法及装置
CN111523558A (zh) 一种基于电子围网的船只遮挡检测方法、装置及电子设备
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN111553184A (zh) 一种基于电子围网的小目标检测方法、装置及电子设备
CN113378668A (zh) 积水类别的确定方法、装置、设备及存储介质
CN113313110A (zh) 一种车牌类型识别模型构建及车牌类型识别方法
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN112686122A (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN115760854A (zh) 基于深度学习的电力设备缺陷检测方法、装置及电子设备
CN114821617A (zh) 门窗洞的识别方法、装置、设备及可读存储介质
CN114821309A (zh) 一种室内变电站开关及指示灯状态识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant