CN110781887A - 车牌螺丝检测方法、装置和计算机设备 - Google Patents

车牌螺丝检测方法、装置和计算机设备 Download PDF

Info

Publication number
CN110781887A
CN110781887A CN201911023213.5A CN201911023213A CN110781887A CN 110781887 A CN110781887 A CN 110781887A CN 201911023213 A CN201911023213 A CN 201911023213A CN 110781887 A CN110781887 A CN 110781887A
Authority
CN
China
Prior art keywords
license plate
screws
different sizes
position information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911023213.5A
Other languages
English (en)
Inventor
周康明
高凯珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201911023213.5A priority Critical patent/CN110781887A/zh
Publication of CN110781887A publication Critical patent/CN110781887A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种车牌螺丝检测方法、装置和计算机设备。所述方法包括：获取待检测图像；采用第一深度学习模型检测所述待检测图像中的车牌区域图像，当检测存在所述车牌区域图像时，则获取所述车牌区域图像；采用第二深度学习模型检测所述车牌区域图像，得到所述车牌区域图像中每个车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的数量；根据所述车牌螺丝的位置信息和所述车牌螺丝的数量，生成所述待检测图像中所述车牌螺丝的检测结果。采用本方法能够实现自动检测车辆的车牌螺丝安装情况，提高车辆年检中车牌螺丝检验的效率和准确率。

Description

车牌螺丝检测方法、装置和计算机设备
技术领域
本申请涉及车辆检测技术领域，特别是涉及一种车牌螺丝检测方法、装置和计算机设备。
背景技术
随着社会经济的不断发展和人民生活水平的持续提高，机动车保有量迅猛增长，从而使得机动车车辆年检的工作量也随之迅速增大。
根据相关规定，机动车车牌螺丝需要使用专用的螺丝，且需由两个或者四个螺丝固定。如果安装有两个螺丝，则必须同时安装在车牌上方的两个螺丝孔中；如果安装四个螺丝，则车牌的上方和下方各安装两个。在对机动车进行车辆年检时，需要对车牌螺丝的安装情况进行检测。而传统的车牌螺丝检测方法，是通过检测人员目视辨认，存在效率和准确率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高车辆年检中检验车牌螺丝效率和准确率的车牌螺丝检测方法、装置、计算机设备和存储介质。
为了实现上述目的，一方面，本申请实施例提供了一种车牌螺丝检测方法，所述方法包括：
获取待检测图像；
采用第一深度学习模型检测待检测图像中的车牌区域图像，当检测存在车牌区域图像时，则获取车牌区域图像；
采用第二深度学习模型检测车牌区域图像，得到车牌区域图像中每个车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的位置信息和数量；
根据车牌螺丝的位置信息和车牌螺丝的数量，生成待检测图像中车牌螺丝的检测结果。
另一方面，本申请实施例还提供了一种车牌螺丝检测装置，所述装置包括：
获取模块，用于获取待检测图像；
车牌区域确定模块，用于采用第一深度学习模型检测待检测图像中的车牌区域图像，当检测存在车牌区域图像时，则获取车牌区域图像；
车牌螺丝区域确定模块，用于采用第二深度学习模型检测车牌区域图像中车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的位置信息和数量；
检测结果生成模块，根据车牌螺丝的位置信息和车牌螺丝的数量，生成待检测图像中车牌螺丝的检测结果。
又一方面，本申请实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测图像；
采用第一深度学习模型检测待检测图像中的车牌区域图像，当检测存在车牌区域图像时，则获取车牌区域图像；
采用第二深度学习模型检测车牌区域图像，得到车牌区域图像中每个车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的位置信息和数量；
根据车牌螺丝的位置信息和车牌螺丝的数量，生成待检测图像中车牌螺丝的检测结果。
又一方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测图像；
采用第一深度学习模型检测待检测图像中的车牌区域图像，当检测存在车牌区域图像时，则获取车牌区域图像；
采用第二深度学习模型检测车牌区域图像，得到车牌区域图像中每个车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的位置信息和数量；
根据车牌螺丝的位置信息和车牌螺丝的数量，生成待检测图像中车牌螺丝的检测结果。
上述车牌螺丝检测方法、装置、计算机设备和存储介质，在对车辆进行年检时，通过采用第一深度学习模型检测待检测图像中的车牌区域图像，当检测存在车牌区域图像时，获取车牌区域图像。然后，采用第二深度学习模型检测车牌区域图像中每个车牌螺丝的位置信息和得分，并获取得分大于阈值的车牌螺丝的位置信息和数量。最后根据车牌螺丝的位置信息和车牌螺丝的数量，生成待检测图像中车牌螺丝的检测结果。该方法基于深度学习理论自动检测车辆的车牌螺丝安装情况，可以提高车辆年检中车牌螺丝检验的效率；通过车牌区域图像中车牌螺丝的位置信息和车牌螺丝的数量，判断车牌螺丝安装情况是否符合车辆年检的要求，可以提高车辆年检中车牌螺丝检验的准确率。
附图说明
图1为一个实施例中车牌螺丝检测方法的应用环境图；
图2为一个实施例中车牌螺丝检测方法的流程示意图；
图3为一个实施例中采用第二深度学习模型检测车牌区域图像的流程示意图；
图4为一个实施例中第二深度学习模型的网络结构图；
图5为另一个实施例中第二深度学习模型的训练生成过程的流程示意图；
图6为一个实施例中车牌螺丝检测方法的流程示意图；
图7为一个实施例中车牌螺丝检测装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的车牌螺丝检测方法，可以应用于如图1所示的应用环境中。该应用环境包括终端102、服务器104和图像采集装置106。终端102可以是指具有较强的数据存储和计算能力的电子设备。其中，终端102通过网络与服务器104通过网络进行通信。图像采集装置106可以是终端102中的，也可以是单独的设备。终端102中可以设置有已完成训练的第一深度学习模型和第二深度学习模型。具体地，通过图像采集装置106采集得到待检测图像，终端102获取待检测图像。终端102采用第一深度学习模型检测待检测图像中的车牌区域图像，当检测存在车牌区域图像时，则获取车牌区域图像。终端102采用第二深度学习模型检测车牌区域图像，得到车牌区域图像中每个车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的位置信息和数量。终端102根据车牌螺丝的位置信息和车牌螺丝的数量，生成待检测图像中车牌螺丝的检测结果。
在其他实施例中，本申请提供的车牌螺丝检测方法还可应用于终端侧和服务器端，由图像采集装置106采集待检测图像，并通过网络连接等方式将待检测图像通过终端102发送至服务器104，进而由服务器104根据待检测图像对车牌螺丝进行检测。其中，终端102可以但不限于是各种便携式移动设备，服务器104可以是现场服务器或者远程服务器。
在一个实施例中，如图2所示，提供了一种车牌螺丝检测方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
步骤202，获取待检测图像。
其中，待检测图像是待进行车牌螺丝检验的图片。具体地，待检测图片可以是由图像采集装置采集得到，图像采集装置可以是摄像机，或者智能手机等。例如，可以通过图像采集装置在车辆前方、后方或者侧方进行拍摄，生成待检测图像。
步骤204，采用第一深度学习模型检测待检测图像中的车牌区域图像，当检测存在车牌区域图像时，则获取车牌区域图像。
其中，车牌区域图像可以是悬挂在车辆前后的车牌的完整图像。第一深度学习模型可以是目标检测模型，例如Faster R-CNN(一种目标检测网络)、SSD(Single ShotMultibox Detector，多分类单杆检测器)和YOLO(You Only LookOnce，单杆检测器)等，也可以是经改进后的基于深度学习理论的模型，在此不做限定。具体地，在获取待检测图像后，采用已完成训练的第一深度学习模型检测待检测图像中是否存在车牌区域图像，若检测存在车牌区域图像，可以通过裁剪等方式得到所识别出的车牌区域图像。
在本实施例中，以第一深度学习模型为SSD模型为例进行说明。在使用SSD模型检测待检测图像前，需要对该SSD模型进行训练。具体地，获取多张不同拍摄条件(例如不同光照、不同角度等)的车牌图像样本，车牌图像样本中包括车牌区域。对车牌图像样本进行标注，采用矩形框将车牌区域在图像样本中标出，矩形框区域内需完整包含车牌，生成样本集进行训练。将该样本集随机按照一定的比例划分成训练集和测试集，例如可以将样本集中的90％文件划分成训练集，10％文件划分成测试集，在此不做限定。使用训练集对SSD模型进行训练，当发现训练过程中准确率达到预设阈值或者准确率趋于稳定时，确定训练达到迭代次数，从而可以停止训练。然后，使用测试集对训练过程中生成的所有SSD模型进行测试，可以选取测试过程中鲁棒性最好的SSD模型的参数，用该模型参数生成本实施例中所用到的SSD模型。
步骤206，采用第二深度学习模型检测车牌区域图像，得到车牌区域图像中每个车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的位置信息和数量。
其中，第二深度学习模型可以是基于深度学习的目标检测模型，例如FasterR-CNN网络、SSD和YOLO等，也可以是经改进后的基于深度学习理论的模型，在此不做限定。位置信息可以但不限于是指车牌螺丝的坐标数据。得分可以是指基于第二深度学习模型识别所得到的类别得分。具体地，在得到车牌区域图像后，将该车牌区域图像输入至已完成训练的第二深度学习模型检测是否存在车牌螺丝。若存在，则根据检测结果得到车牌螺丝的位置信息和得分。然后，遍历所有的检测结果，将得分与阈值相比较，每检测到检测结果中的得分大于阈值，则数量增加一个，从而得到得分大于阈值的车牌螺丝位置信息和数量。
步骤208，根据车牌螺丝的位置信息和车牌螺丝的数量，生成待检测图像中车牌螺丝的检测结果。
具体地，首先，根据所得到的车牌螺丝的数量判定车牌螺丝数量是否符合要求，即判定车牌螺丝数量是否为两个或者四个。若符合，则进一步判断车牌螺丝的位置信息是否符合要求，若车牌螺丝数量为两个，则继续判断这两个车牌螺丝是否都位于车牌区域图像的上方；若车牌螺丝数量为四个，则继续判断其中两个车牌螺丝是否都位于车牌区域图像的上方，且另外两个车牌螺丝是否都位于车牌区域图像的下方。若车牌螺丝的位置信息和车牌螺丝的数量都符合要求，则生成车牌螺丝检测通过的结果，否则，则生成车牌螺丝检测未通过的结果。
本实施例中，在对车辆进行年检时，通过采用第一深度学习模型检测待检测图像中的车牌区域图像，当检测存在车牌区域图像时，获取车牌区域图像。然后，采用第二深度学习模型检测车牌区域图像中每个车牌螺丝的位置信息和得分，并获取得分大于阈值的车牌螺丝的位置信息和数量。最后根据车牌螺丝的位置信息和车牌螺丝的数量，生成待检测图像中车牌螺丝的检测结果。该方法基于深度学习理论自动检测车辆的车牌螺丝安装情况，既可以提高车辆年检中车牌螺丝检验的效率，又可以保证车牌螺丝检测工作的公正和公开；通过车牌区域图像中车牌螺丝的位置信息和车牌螺丝的数量，判断车牌螺丝安装情况是否符合车辆年检的要求，可以提高车辆年检中车牌螺丝检验的准确率。
在一个实施例中，如图3所示，采用第二深度学习模型检测车牌区域图像，得到车牌区域图像中每个车牌螺丝的位置信息和得分，包括以下步骤：
步骤302，通过第二深度学习模型中的特征提取网络，对车牌区域图像进行特征提取，得到不同尺寸的多个原始特征图。
在本实施例中，第二深度学习模型可以是以SSD模型为基础进行改进得到的模型。SSD模型原本构成包括输入层、VGG16(Visual Geometry Group，超分辨率测试序列)特征提取网络、将VGG16的两个全连接层改成的两个卷积层，以及随后接入的4个卷积层。如图4所示，示出了本实施例中的第二深度学习模型结构，该第二深度学习模型结构由输入层、ResNet101特征提取网络(替代原SSD模型中的VGG16提取网络)、锚点优化模块、传输连接模块以及目标检测模块(即原SSD模型中随后接入的4个卷积层，图4中未示出)构成。具体地，在得到车牌区域图像后，将该车牌区域图像由输入层输入至ResNet101特征提取网络提取特征图，所提取的原始特征图包括有多个不同的尺寸，可以选取其中的部分不同尺寸的原始特征图，例如选取尺寸40*40、20*20、10*10和5*5的原始特征图进行下一步检测。在本实施例中，车牌区域图像输入的尺寸可以为320*320(像素宽度)。
步骤304，分别对不同尺寸的原始特征图进行锚点分类和锚点回归，得到对应的不同尺寸的多个候选建议区域。
其中，继续如图4所示，通过锚点优化模块进行锚点分类和锚点回归，锚点优化模块可以使用RPN(Region Proposal Network，区域候选网络)，在此不做限定。具体地，可以通过锚点优化模块可以对所得到的不同尺寸的原始特征图扫描得到锚点和对应的区域。然后将所得到的区域分别通过回归和分类子网络，计算锚点偏移量和区域属于不同类别的概率。最后根据回归和分类子网络得到的结果对区域进行初步筛除，输出候选建议区域。其中，初步筛选可以是指将越过边界的区域和与其它区域重合过多，同时置信度不高的区域的部分进行剔除。
步骤306，分别将不同尺寸的候选建议区域进行参数设置，生成对应的不同尺寸的多个优化特征图。
具体地，由于候选建议区域是从原始特征图中提取出的，因此通过锚点优化模后输出的候选建议区域尺寸将会小于原始特征图的尺寸，且根据所要识别的目标的大小不同，得到的候选建议区域尺寸可能会大小不一。因此，继续如图4所示，可以通过传输连接模块将候选建议区域进行参数改变，设置成普通的分类识别网络能够识别的尺寸。在本实施例中，参数改变可以是指将由不同尺寸的原始特征图得到候选建议区域，分别resize(改变尺寸)至与对应的原始特征图相同的尺寸，从而得到不同尺寸的优化特征图。
步骤306，对不同尺寸的多个优化特征图进行预测分类和预测位置，得到车牌螺丝的位置信息和得分。
具体地，在得到不同尺寸的多个优化特征图后，可以通过传输连接模块将优化特征图传输至SSD目标检测模块，由SSD目标检测模块中的4个卷积层对不同尺寸的多个优化特征图进行卷积处理，进一步提取特征得到若干个不同尺寸特征图。通过对若干个不同尺寸特征图进行预测位置和预测类别得分，得到每个车牌螺丝的多个候选框，每个候选框包含对应的初选位置信息和初选类别得分。然后，可以使用预选算法，例如NMS(Non-MaximumSuppression，非极大值抑制)算法，根据初选类别得分对多个车牌螺丝初选位置信息进行筛选。具体地，选中得分最高分的候选框，遍历其余的候选框。如果其余的候选框和当前最高分候选框的重叠度IoU(Intersection over Union)大于一定阈值(例如设定阈值为0.7)，则将该候选框删除，从而去除冗余的重叠候选框，得到每个车牌螺丝的位置信息和得分。
本实施例中，通过使用ResNet101特征提取网络，可以提高识别小尺寸目标的准确率。对提取出的特征图进行初步优化后再识别位置和得分信息，与原SSD模型相比，具有更高的准确率。
在一个实施例中，分别分别将不同尺寸的候选建议区域进行参数设置，生成对应的不同尺寸的多个优化特征图之后，还包括：对不同尺寸的多个优化特征图进行反卷积和融合处理，生成融合后的不同尺寸的多个优化特征图。
具体地，在传输连接模块可以增加反卷积和融合功能。通过传输连接模块进一步对优化后的特征图进行反卷积，得到反卷积后的优化特征图。然后，将优化特征图和反卷积后的优化特征图进行融合，生成融合后的不同尺寸的多个优化特征图，并将所生成的融合后的不同尺寸的多个优化特征图传输至SSD目标检测模块进行预测位置信息和类别得分。本实施例中，通过增加反卷积的方式以有效地扩展低维度信息的上下文信息，可以有效地改善对小尺度目标的检测，从而提高了车牌螺丝的检测精度。
在一个实施例中，反卷积和融合处理以自顶向下的方式进行。对不同尺寸的多个优化特征图进行反卷积和融合处理，生成融合后的不同尺寸的多个优化特征图，具体包括：将融合后的顶层优化特征图进行反卷积，得到反卷积后的顶层优化特征图；将反卷积后的顶层优化特征图与次顶层优化特征图进行融合，生成融合后的次顶层优化特征图，并基于融合后的次顶层优化特征图进行循环处理，生成融合后的不同尺寸的多个优化特征图。
具体地，继续参考图4，传输连接模块可以包括多个传输连接层，每个传输连接层对应锚点优化模块和目标检测模块中相同尺寸的特征图。其中，锚点优化模块中包含的是不同尺寸的优化特征图，目标检测模块中包含的是融合后的不同尺寸的优化特征图。示例性地，锚点优化模块中的优化特征图可以为40*40、20*20、10*10和5*5优化特征图。以融合后的20*20优化特征图为例进行说明。首先，通过传输连接层将融合后的10*10优化特征图进行反卷积，生成20*20优化特征图。然后，将经过反卷积生成的20*20优化特征图和来自锚点优化模块的20*20优化特征图进行融合，生成融合后的20*20优化特征图。最后，由对应的传输连接层将融合后的20*20优化特征图传输至SSD目标检测模块中进行预测位置信息和类别得分。同理，以融合后的40*40优化特征图为例进行说明。首先，通过传输连接层融合后的20*20优化特征图进行反卷积，生成40*40优化特征图。然后，将经过反卷积生成的40*40优化特征图和来自锚点优化模块的40*40优化特征图进行融合，生成融合后的40*40优化特征图。最后，由对应的传输连接层将融合后的40*40优化特征图传输至SSD目标检测模块进行预测位置信息和类别得分。可以理解的是，由于反卷积和融合处理是以自顶向下的方式进行，因此SSD目标检测模块中融合后的顶层5*5优化特征图可以直接由锚点优化模块传输而得，不会经过反卷积和融合处理。本实施例中，通过使用反卷积的方式扩大每一层的尺寸，并与上一个传输连接层进行融合以增加高级特征，可以进一步改善车辆螺丝的检测精度。
在一个实施例中，对图4所示的第二深度学习模型的训练生成过程，包括以下步骤：
步骤502，获取多张不同拍摄条件的车牌区域图像样本。其中，不同拍摄条件可以包括不同光照、不同拍摄角度等，在此不做限定。车牌区域图像样本中包括车牌螺丝区域。
步骤504，对车牌区域图像样本中的车牌螺丝区域进行标注，得到训练样本集和测试样本集。
具体地，可以采用矩形框将车牌区域在图像样本中标出，矩形框区域内需完整包含车牌螺丝区域,从而生成包含车牌螺丝区域的样本集进行训练，并得到每张图像样本中的GT Box(Ground Truth Box，地面真值框)。将样本集按一定比例分成训练样本集和测试样本集，例如可以将90％的样本集划分为训练样本集，剩余的10％划分为测试样本集。
步骤506，使用训练样本集对待训练第二深度学习模型进行训练，得到分类损失和回归损失。
具体地，使用待训练第二深度学习模型对训练样本集进行自动标记，得到若干先验框,根据先验框和GT Box的重叠度IoU(Intersection over Union)与阈值进行比较得到正样本和负样本。例如，可以设定重叠度阈值为0.5，即将IoU大于0.5的样本认为是正样本，IoU小于等于0.5的样本认为是负样本。由于负样本的数量会远远大于正样本的数量，使用原始的正样本和负样本对待训练第二深度学习模型进行训练，会导致训练难以收敛。为了平衡正负样本，在本实施例中，可以使用难例挖掘(hard-negative mining)等方法对负样本进行抽样，过滤到一部分的负样本，例如可以保证正负样本比例接近1:3。将生成的正样本和负样本输入至待训练第二深度学习模型进行训练，通过ResNet101特征提取网络提取特征图，并通过锚点优化模块，得到分类损失和回归损失。
步骤508，根据分类损失和回归损失调整锚点的偏移量和置信度，当训练样本集损失值收敛时停止训练，得到待测试第二深度学习模型。
具体地，将所得到的分类损失和回归损失回传至ResNet101特征提取网络，根据分类损失和回归损失调整锚点的偏移量和置信度；同时将优化后的特征图通过传输连接模块向原SSD模型中的卷积层传输，往复此操作，直到训练样本集的损失值收敛，从而完成对待训练第二深度学习模型的训练。在迭代训练过程中会生成多个待测试的第二深度学习模型。
步骤510，利用测试样本集对待测试第二深度学习模型进行测试，当测试样本集准确率满足预设要求时，得到第二深度学习模型。
具体地，使用测试样本集对获取的多个待测试第二深度学习模型进行测试，最终可以选取其中准确率最高的待测试第二深度学习模型的模型参数，用该模型参数生成第二深度学习模型。
在一个实施例中，根据车牌螺丝的位置信息和车牌螺丝的数量，生成待检测图像中车牌螺丝的检测结果，具体包括：当满足以下条件的其中一个时，生成车牌螺丝检测通过的结果：车牌螺丝的数量为两个，且车牌螺丝的位置信息满足第一位置条件；车牌螺丝的数量为四个，且车牌螺丝的位置信息满足第二位置条件。
其中，第一位置条件和第二位置条件可以是指车牌螺丝区域与车牌区域的相对位置需要满足的条件。具体地，在使用第一深度学习模型对待检测图像进行检测后，若存在车牌区域，则可以获取车牌区域图像的位置信息(x,y,w,h)，其中(x,y)是指车牌区域图像左上顶点的坐标，w是指车牌区域图像宽度，h是指车牌区域图像高度。同样的，在使用第二深度模型对车牌区域图像进行检测后，若存在车牌螺丝区域，则可以获取每个车牌螺丝区域的位置信息(x1,y1,w1,h1),……(xn,yn,wn,hn)。
以下以车牌区域图像的左上顶点为原点进行进一步说明。若车牌螺丝的数量为两个，那么进一步判断该两个车牌螺丝的位置是否都满足第一位置条件。进一步地，第一位置条件是指将车牌区域在高度方向上划分为上半部分和下半部分两个相等的区域，该两个车牌螺丝的位置位于上半部分区域。在本实施例中，第一位置条件可以是指两个车牌螺丝区域的纵坐标y1和y2都小于第一预设比例的车牌高度。其中，第一预设比例可以是车牌高度的五分之一，在此不做限定。若车牌螺丝的数量为四个，那么进一步判断其中两个车牌螺丝是否都满足第二位置条件。进一步地，第二位置条件是指将车牌区域在高度方向上划分为上半部分和下半部分两个相等的区域，四个车牌螺丝中，有两个位于上半部分区域，另外两个位于下半部分区域。在本实施例中，第二位置条件可以是指其中两个车牌螺丝区域的纵坐标y1和y2都小于第一预设比例的车牌高度，且另外两个车牌螺丝区域的纵坐标y3和y4都大于第二预设比例的车牌高度。其中，第一预设比例可以是车牌高度的五分之一，第二预设比例可以是车牌高度的五分之四，在此不做限定。若检测车牌螺丝的数量和位置信息满足以上要求中的任一个，那么可以依此生成车牌螺丝检测通过的结果。
在本实施例中，当满足以下条件中的其中一个时，生成车牌螺丝检测未通过的结果：车牌螺丝的数量不是两个或者四个。或者车牌螺丝的数量为两个，且两个车牌螺丝中至少一个的位置信息不满足第一位置条件。具体地，若获取车牌螺丝的数量为两个，但是两个螺丝中至少一个的纵坐标大于或者等于第一预设比例的车牌高度，例如大于或者等于车牌高度的五分之一。或者车牌螺丝的数量为四个，且四个车牌螺丝中至少一个的位置信息不满足第二位置条件。具体地，若获取车牌螺丝的数量为四个，但是其中两个螺丝中至少一个的纵坐标大于或者等于第一预设比例的车牌高度，例如大于或者等于车牌高度的五分之一，和/或另外两个螺丝中至少一个的纵坐标小于或者等于第二预设比例的车牌高度，例如小于或者等于车牌高度的五分之四。本实施例中，通过以量化的方式根据车牌和车牌螺丝的位置信息，判断车牌螺丝的安装是否满足要求，可以帮助提高车牌螺丝检验的准确率。
在一个实施例中，当检测待检测图像中不存在车牌区域图像时，则生成车牌螺丝检测未通过的结果。具体地，若检测待检测图像中不存在车牌区域图像，可以依此判定该车辆未按照规定安装相应的车牌，则生成车牌螺丝检测未通过的结果。
在一个实施例中，如图6所示，以一个具体实施例说明上述车牌螺丝检测方法，具体包括以下步骤：
步骤601，获取待检测图像。
步骤602，采用第一深度学习模型检测待检测图像中的车牌区域图像。
步骤603，判断待检测图像中是否存在车牌区域图像。若存在，则继续步骤604。若不存在，则继续步骤612，生成车牌螺丝检测未通过的结果。
具体地，第一深度学习模型可以是SSD模型。通过SSD模型检测车牌区域图像，使用VGG16特征提取网络作为特征提取器，使用Softmax分类器得到车牌的类别信息，使用bounding box regression(边框回归)得到车牌的位置信息。车牌的位置信息包括车牌的高度。
步骤604，获取车牌区域图像。具体地，所获取的车牌区域图像尺寸可以为320*320。
步骤605，将车牌区域图像输入至第二深度学习模型，得到每个车牌螺丝的预选位置信息和得分。
具体地，第二深度学习模型可以是改进后的SSD模型。使用ResNet101特征提取网络代替VGG16特征提取网络，增加锚点优化模块和传输连接模块，保留SSD模型中后4个卷积层。锚点优化模块用于对ResNet101特征提取网络提取出的不同尺寸的多个候选建议区域。传输连接模块用于对不同尺寸的候选建议区域设置成普通分类识别网络能够识别的尺寸，生成多个不同尺寸的优化特征图。然后对该多个不同尺寸的优化特征图进行反卷积和融合处理，生成融合后的不同尺寸的多个优化特征图。通过SSD目标检测模块对融合后的不同尺寸的多个优化特征图进行预测车牌螺丝的预选位置信息和得分。每个车牌螺丝的位置信息包括每个车牌螺丝的纵坐标数据。
步骤606，获取并保存得分大于阈值的车牌螺丝的位置信息和数量。
步骤607，判断车牌螺丝的数量是否为两个。若是，则继续步骤608；否则，则继续步骤609。
步骤608，判断车牌螺丝的位置是否满足第一位置条件。具体地，以车牌区域图像的左上顶点为原点进行说明。第一位置条件可以是指两个车牌螺丝的纵坐标都小于车牌高度的五分之一。若是，则继续步骤611，生成车辆螺丝检测通过的结果；否则，继续步骤612，生成车牌螺丝检测未通过的结果。
步骤609，判断车牌螺丝的数量是否为四个。若是，则继续步骤610；否则，则继续步骤611，生成车牌螺丝检测未通过的结果。
步骤610，判断车牌螺丝的位置是否满足第二位置条件。
具体地，第二位置条件可以是指其中两个车牌螺丝的纵坐标都小于车牌高度的五分之一，且另外两个车牌螺丝的纵坐标都大于车牌高度的五分之四。若是，则继续步骤611，生成车牌螺丝检测通过的结果；否则，继续步骤612，生成车牌螺丝检测未通过的结果。
步骤611，生成车牌螺丝检测通过的结果。
步骤612，生成车牌螺丝检验未通过的结果。
应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种车牌螺丝检测装置700，包括：获取模块701、车牌区域确定模块702、车牌螺丝区域确定模块703和检测结果生成模块704，其中：
获取模块701，用于获取待检测图像；
车牌区域确定模块702，用于采用第一深度学习模型检测待检测图像中的车牌区域图像，当检测存在车牌区域图像时，则获取车牌区域图像；
车牌螺丝区域确定模块703，用于采用第二深度学习模型检测车牌区域图像中车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的位置信息和数量；
检测结果生成模块704，根据车牌螺丝的位置信息和车牌螺丝的数量，生成待检测图像中车牌螺丝的检测结果。
在一个实施例中，车牌螺丝区域确定模块703具体包括：
特征提取模块，用于通过第二深度学习模型中的特征提取网络，对车牌区域图像进行特征提取，得到不同尺寸的多个原始特征图；
锚点优化模块，用于分别对每个尺寸的原始特征图进行锚点分类和锚点回归，得到对应的不同尺寸的多个候选建议区域；
传输连接模块，用于分别将不同尺寸的候选建议区域进行参数设置，生成对应的不同尺寸的多个优化特征图，将不同尺寸的多个优化特征图传输至目标检测模块；
目标检测模块，用于对不同尺寸的多个优化特征图进行预测分类和预测位置，得到车牌螺丝的位置信息和得分。
在一个实施例中，传输连接模块还用于对不同尺寸的多个优化特征图进行反卷积和融合处理，生成融合后的不同尺寸的多个优化特征图。
在一个实施例中，反卷积和融合处理以自顶向下的方式进行。传输连接模块具体用于将融合后的顶层优化特征图进行反卷积，得到反卷积后的顶层优化特征图；将反卷积后的顶层优化特征图与次顶层优化特征图进行融合，生成融合后的次顶层优化特征图，并基于融合后的次顶层优化特征图进行循环处理，生成融合后的不同尺寸的多个优化特征图。
在一个实施例中，目标检测模块具体用于通过第二深度学习模型中的目标检测模块对不同尺寸的多个优化特征图进行卷积处理，得到多个初选位置信息和初选得分；根据初选得分和初选位置信息，通过预设算法进行筛选得到车牌螺丝的位置信息和得分。
在一个实施例中，车牌螺丝检测装置700还包括模型生成模块，用于获取多张不同拍摄条件的车牌区域图像样本；对车牌区域图像样本中的车牌螺丝区域进行标注，得到训练样本集和测试样本集；使用训练本集对待训练第二深度学习模型进行训练，得到分类损失和回归损失；根据分类损失和回归损失调整锚点的偏移量和置信度，当训练样本集损失值收敛时停止训练，得到待测试第二深度学习模型；利用测试样本集对待测试第二深度学习模型进行测试，当测试样本集准确率满足预设要求时，得到第二深度学习模型。
在一个实施例中，检测结果生成模块704具体用于当满足以下条件的其中一个时，生成车牌螺丝检测通过的结果：车牌螺丝的数量为两个，且车牌螺丝的位置信息满足第一位置条件；车牌螺丝的数量为四个，且车牌螺丝的位置信息满足第二位置条件。
在一个实施例中，检测结果生成模块704还可以用于当满足以下条件中的其中一个时，生成车牌螺丝检测未通过的结果：车牌螺丝的数量不是两个或者四个；车牌螺丝的数量为两个，且两个车牌螺丝中至少一个的位置信息不满足第一位置条件；车牌螺丝的数量为四个，且四个车牌螺丝中至少一个的位置信息不满足第二位置条件。
在一个实施例中，检测结果生成模块704还可以用于当检测待检测图像中不存在车牌区域图像时，则生成车牌螺丝检测未通过的结果。
关于车牌螺丝检测装置的具体限定可以参见上文中对于车牌螺丝检测方法的限定，在此不再赘述。上述车牌螺丝检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车牌螺丝检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待检测图像；采用第一深度学习模型检测所述待检测图像中的车牌区域图像，当检测存在所述车牌区域图像时，则获取所述车牌区域图像；采用第二深度学习模型检测所述车牌区域图像，得到所述车牌区域图像中每个车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的位置信息和数量；根据所述车牌螺丝的位置信息和所述车牌螺丝的数量，生成所述待检测图像中所述车牌螺丝的检测结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过第二深度学习模型中的特征提取网络，对车牌区域图像进行特征提取，得到不同尺寸的多个原始特征图；分别对每个尺寸的原始特征图进行锚点分类和锚点回归，得到对应的不同尺寸的多个候选建议区域；分别将不同尺寸的候选建议区域进行参数设置，生成对应的不同尺寸的多个优化特征图；对不同尺寸的多个优化特征图进行预测分类和预测位置，得到车牌螺丝的位置信息和得分。
在一个实施例中，分别将不同尺寸的候选建议区域进行参数设置，生成对应的不同尺寸的多个优化特征图之后，处理器执行计算机程序时还实现以下步骤：
对不同尺寸的多个优化特征图进行反卷积和融合处理，生成融合后的不同尺寸的多个优化特征图。
在一个实施例中，反卷积和融合处理以自顶向下的方式进行。处理器执行计算机程序时还实现以下步骤：
将融合后的顶层优化特征图进行反卷积，得到反卷积后的顶层优化特征图；将反卷积后的顶层优化特征图与次顶层优化特征图进行融合，生成融合后的次顶层优化特征图，并基于融合后的次顶层优化特征图进行循环处理，生成融合后的不同尺寸的多个优化特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过第二深度学习模型中的目标检测模块对不同尺寸的多个优化特征图进行卷积处理，得到多个初选位置信息和初选得分；根据初选得分和初选位置信息，通过预设算法进行筛选得到车牌螺丝的位置信息和得分。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取多张不同拍摄条件的车牌区域图像样本；对车牌区域图像样本中的车牌螺丝区域进行标注，得到训练样本集和测试样本集；使用训练本集对待训练第二深度学习模型进行训练，得到分类损失和回归损失；根据分类损失和回归损失调整锚点的偏移量和置信度，当训练样本集损失值收敛时停止训练，得到待测试第二深度学习模型；利用测试样本集对待测试第二深度学习模型进行测试，当测试样本集准确率满足预设要求时，得到第二深度学习模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当满足以下条件的其中一个时，生成车牌螺丝检测通过的结果：车牌螺丝的数量为两个，且车牌螺丝的位置信息满足第一位置条件；车牌螺丝的数量为四个，且车牌螺丝的位置信息满足第二位置条件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当满足以下条件中的其中一个时，生成车牌螺丝检测未通过的结果：车牌螺丝的数量不是两个或者四个；车牌螺丝的数量为两个，且两个车牌螺丝中至少一个的位置信息不满足第一位置条件；车牌螺丝的数量为四个，且四个车牌螺丝中至少一个的位置信息不满足第二位置条件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当检测待检测图像中不存在车牌区域图像时，则生成车牌螺丝检测未通过的结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待检测图像；采用第一深度学习模型检测所述待检测图像中的车牌区域图像，当检测存在所述车牌区域图像时，则获取所述车牌区域图像；采用第二深度学习模型检测所述车牌区域图像，得到所述车牌区域图像中每个车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的位置信息和数量；根据所述车牌螺丝的位置信息和所述车牌螺丝的数量，生成所述待检测图像中所述车牌螺丝的检测结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过第二深度学习模型中的特征提取网络，对车牌区域图像进行特征提取，得到不同尺寸的多个原始特征图；分别对不同尺寸的原始特征图进行锚点分类和锚点回归，得到对应的不同尺寸的多个候选建议区域；分别将不同尺寸的候选建议区域进行参数设置，生成对应的不同尺寸的多个优化特征图；对不同尺寸的多个优化特征图进行预测分类和预测位置，得到车牌螺丝的位置信息和得分。
在一个实施例中，分别将不同尺寸的候选建议区域进行参数设置，生成对应的不同尺寸的多个优化特征图之后，计算机程序被处理器执行时还实现以下步骤：
对不同尺寸的多个优化特征图进行反卷积和融合处理，生成融合后的不同尺寸的多个优化特征图。
在一个实施例中，反卷积和融合处理以自顶向下的方式进行。计算机程序被处理器执行时还实现以下步骤：
将融合后的顶层优化特征图进行反卷积，得到反卷积后的顶层优化特征图；将反卷积后的顶层优化特征图与次顶层优化特征图进行融合，生成融合后的次顶层优化特征图，并基于融合后的次顶层优化特征图进行循环处理，生成融合后的不同尺寸的多个优化特征图。在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过第二深度学习模型中的目标检测模块对不同尺寸的多个优化特征图进行卷积处理，得到多个初选位置信息和初选得分；根据初选得分和初选位置信息，通过预设算法进行筛选得到车牌螺丝的位置信息和得分。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取多张不同拍摄条件的车牌区域图像样本；对车牌区域图像样本中的车牌螺丝区域进行标注，得到训练样本集和测试样本集；使用训练本集对待训练第二深度学习模型进行训练，得到分类损失和回归损失；根据分类损失和回归损失调整锚点的偏移量和置信度，当训练样本集损失值收敛时停止训练，得到待测试第二深度学习模型；利用测试样本集对待测试第二深度学习模型进行测试，当测试样本集准确率满足预设要求时，得到第二深度学习模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
当满足以下条件的其中一个时，生成车牌螺丝检测通过的结果：车牌螺丝的数量为两个，且车牌螺丝的位置信息满足第一位置条件；车牌螺丝的数量为四个，且车牌螺丝的位置信息满足第二位置条件。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
当满足以下条件中的其中一个时，生成车牌螺丝检测未通过的结果：车牌螺丝的数量不是两个或者四个；车牌螺丝的数量为两个，且两个车牌螺丝中至少一个的位置信息不满足第一位置条件；车牌螺丝的数量为四个，且四个车牌螺丝中至少一个的位置信息不满足第二位置条件。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当检测待检测图像中不存在车牌区域图像时，则生成车牌螺丝检测未通过的结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车牌螺丝检测方法，其特征在于，所述方法包括：
获取待检测图像；
采用第一模型检测所述待检测图像中的车牌，当检测存在所述车牌时，则获取所述车牌区域图像；
采用第二模型检测所述车牌区域图像，得到所述车牌区域图像中每个车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的位置信息和数量；
根据所述车牌螺丝的位置信息和数量，生成所述待检测图像中所述车牌螺丝的检测结果。
2.根据权利要求1所述的车牌螺丝检测方法，其特征在于，所述采用第二深度学习模型检测所述车牌区域图像，得到所述车牌区域图像中每个车牌螺丝的位置信息和得分，包括：
通过所述第二深度学习模型中的特征提取网络，对所述车牌区域图像进行特征提取，得到不同尺寸的多个原始特征图；
分别对所述不同尺寸的原始特征图进行锚点分类和锚点回归，得到对应的不同尺寸的多个候选建议区域；
分别将所述不同尺寸的候选建议区域进行参数设置，生成对应的不同尺寸的多个优化特征图；
对所述不同尺寸的多个优化特征图进行预测分类和预测位置，得到所述车牌螺丝的位置信息和得分。
3.根据权利要求2所述的车牌螺丝检测方法，其特征在于，所述分别将所述不同尺寸的候选建议区域进行参数设置，生成对应的不同尺寸的多个优化特征图之后，还包括：
对所述不同尺寸的多个优化特征图进行反卷积和融合处理，生成融合后的不同尺寸的多个优化特征图；
所述对所述不同尺寸的多个优化特征图进行预测分类和预测位置，得到所述车牌螺丝的位置信息和得分，包括：
对所述融合后的不同尺寸的多个优化特征图进行预测分类和预测位置，得到所述车牌螺丝的位置信息和得分。
4.根据权利要求3所述的车牌螺丝检测方法，其特征在于，所述反卷积和融合处理以自顶向下的方式进行；所述对所述不同尺寸的多个优化特征图进行反卷积和融合处理，生成融合后的不同尺寸的多个优化特征图，包括：
将融合后的顶层优化特征图进行反卷积，得到反卷积后的顶层优化特征图；
将所述反卷积后的顶层优化特征图与次顶层优化特征图进行融合，生成融合后的次顶层优化特征图，并基于所述融合后的次顶层优化特征图进行循环处理，生成融合后的不同尺寸的多个优化特征图。
5.根据权利要求2所述的车牌螺丝检测方法，其特征在于，所述第二深度学习模型的训练生成过程包括：
获取多张不同拍摄条件的车牌区域图像样本；
对所述车牌区域图像样本中的车牌螺丝区域进行标注，得到训练样本集和测试样本集；
使用所述训练本集对待训练第二深度学习模型进行训练，得到分类损失和回归损失；
根据所述分类损失和所述回归损失调整锚点的偏移量和置信度，当所述训练样本集损失值收敛时停止训练，得到待测试第二深度学习模型；
利用所述测试样本集对所述待测试第二深度学习模型进行测试，当测试样本集准确率满足预设要求时，得到所述第二深度学习模型。
6.根据权利要求1所述的车牌螺丝检测方法，其特征在于，所述根据所述车牌螺丝的位置信息和所述车牌螺丝的数量，生成所述待检测图像中所述车牌螺丝的检测结果，包括：
当满足以下条件的其中一个时，生成车牌螺丝检测通过的结果：
所述车牌螺丝的数量为两个，且所述车牌螺丝的位置信息满足第一位置条件；
所述车牌螺丝的数量为四个，且所述车牌螺丝的位置信息满足第二位置条件。
7.根据权利要求6所述的车牌螺丝检测方法，其特征在于，所述方法还包括：
当满足以下条件中的其中一个时，生成车牌螺丝检测未通过的结果：
所述车牌螺丝的数量不是两个或者四个；
所述车牌螺丝的数量为两个，且两个所述车牌螺丝中至少一个的位置信息不满足所述第一位置条件；
所述车牌螺丝的数量为四个，且四个所述车牌螺丝中至少一个的位置信息不满足所述第二位置条件。
8.一种车牌螺丝检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像；
车牌区域确定模块，用于采用第一深度学习模型检测所述待检测图像中的车牌区域图像，当检测存在所述车牌区域图像时，则获取所述车牌区域图像；
车牌螺丝区域确定模块，用于采用第二深度学习模型检测所述车牌区域图像中车牌螺丝的位置信息和得分，获取得分大于阈值的车牌螺丝的位置信息和数量；
检测结果生成模块，根据所述车牌螺丝的位置信息和所述车牌螺丝的数量，生成所述待检测图像中所述车牌螺丝的检测结果。
9.根据权利要求8所述的装置，其特征在于，所述车牌螺丝区域确定模块包括：
特征提取模块，用于通过所述第二深度学习模型中的特征提取网络，对所述车牌区域图像进行特征提取，得到不同尺寸的多个原始特征图；
锚点优化模块，用于分别对所述不同尺寸的原始特征图进行锚点分类和锚点回归，得到对应的不同尺寸的多个候选建议区域；
传输连接模块，用于分别将所述不同尺寸的候选建议区域进行参数设置，生成对应的不同尺寸的多个优化特征图；
目标检测模块，用于对所述不同尺寸的多个优化特征图进行预测分类和预测位置，得到所述车牌螺丝的位置信息和得分。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
CN201911023213.5A 2019-10-25 2019-10-25 车牌螺丝检测方法、装置和计算机设备 Pending CN110781887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911023213.5A CN110781887A (zh) 2019-10-25 2019-10-25 车牌螺丝检测方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911023213.5A CN110781887A (zh) 2019-10-25 2019-10-25 车牌螺丝检测方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN110781887A true CN110781887A (zh) 2020-02-11

Family

ID=69386603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911023213.5A Pending CN110781887A (zh) 2019-10-25 2019-10-25 车牌螺丝检测方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN110781887A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507958A (zh) * 2020-04-15 2020-08-07 全球能源互联网研究院有限公司 目标检测方法、检测模型的训练方法及电子设备
CN111797826A (zh) * 2020-05-14 2020-10-20 中国三峡建设管理有限公司 大骨料集中区域检测方法和装置及其网络模型训练方法
WO2021217977A1 (zh) * 2020-04-28 2021-11-04 平安科技（深圳）有限公司 多机器人的协作控制方法、装置及计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017162023A1 (zh) * 2016-03-21 2017-09-28 杭州海康威视数字技术股份有限公司 一种车牌检测方法及装置
CN107703146A (zh) * 2017-09-30 2018-02-16 北京得华机器人技术研究院有限公司 一种汽车零配件视觉检测系统及方法
CN108960413A (zh) * 2018-07-11 2018-12-07 天津工业大学 一种应用于螺钉表面缺陷检测的深度卷积神经网络方法
CN109583573A (zh) * 2018-12-13 2019-04-05 银河水滴科技（北京）有限公司 一种轨道扣件的零件缺失检测方法及装置
CN110246132A (zh) * 2019-06-23 2019-09-17 中车青岛四方车辆研究所有限公司 轨道车辆螺栓松动检测方法及系统
CN110287950A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 目标检测及目标检测模型的训练方法、装置和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017162023A1 (zh) * 2016-03-21 2017-09-28 杭州海康威视数字技术股份有限公司 一种车牌检测方法及装置
CN107703146A (zh) * 2017-09-30 2018-02-16 北京得华机器人技术研究院有限公司 一种汽车零配件视觉检测系统及方法
CN108960413A (zh) * 2018-07-11 2018-12-07 天津工业大学 一种应用于螺钉表面缺陷检测的深度卷积神经网络方法
CN109583573A (zh) * 2018-12-13 2019-04-05 银河水滴科技（北京）有限公司 一种轨道扣件的零件缺失检测方法及装置
CN110287950A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 目标检测及目标检测模型的训练方法、装置和电子设备
CN110246132A (zh) * 2019-06-23 2019-09-17 中车青岛四方车辆研究所有限公司 轨道车辆螺栓松动检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QIUCHENG DONG, ET AL.: "A Convolution Neural Network for Parts Recognition Using Data Augmentation", 《2018 13TH WORLD CONGRESS ON INTELLIGENT CONTROL AND AUTOMATION (WCICA)》 *
TSUNG-YI LIN ET AL.: "Feature Pyramid Networks for Object Detection", 《ARXIV:1612.03144V2》 *
郭斐 等: "基于改进的Faster R-CNN算法的机械零件图像识别", 《机械设计》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507958A (zh) * 2020-04-15 2020-08-07 全球能源互联网研究院有限公司 目标检测方法、检测模型的训练方法及电子设备
CN111507958B (zh) * 2020-04-15 2023-05-26 全球能源互联网研究院有限公司 目标检测方法、检测模型的训练方法及电子设备
WO2021217977A1 (zh) * 2020-04-28 2021-11-04 平安科技（深圳）有限公司 多机器人的协作控制方法、装置及计算机设备
CN111797826A (zh) * 2020-05-14 2020-10-20 中国三峡建设管理有限公司 大骨料集中区域检测方法和装置及其网络模型训练方法

Similar Documents

Publication Publication Date Title
CN110390666B (zh) 道路损伤检测方法、装置、计算机设备及存储介质
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN111666995B (zh) 基于深度学习模型的车辆定损方法、装置、设备及介质
CN111079632A (zh) 文本检测模型的训练方法、装置、计算机设备和存储介质
CN110674712A (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN110781887A (zh) 车牌螺丝检测方法、装置和计算机设备
US20210334548A1 (en) Vehicle damage assessment method, apparatus, and device
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN111814905A (zh) 目标检测方法、装置、计算机设备和存储介质
CN111144372A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN110598687A (zh) 车辆识别码的检测方法、装置及计算机设备
CN111401472B (zh) 基于深度卷积神经网络的红外目标分类方法和装置
CN111161202A (zh) 车辆行为信息获取方法、装置、计算机设备和存储介质
CN111144398A (zh) 目标检测方法、装置、计算机设备和存储介质
CN110717449A (zh) 车辆年检人员的行为检测方法、装置和计算机设备
CN110728680A (zh) 行车记录仪检测方法、装置、计算机设备和存储介质
CN111444911B (zh) 车牌识别模型的训练方法及装置、车牌识别方法及装置
CN115151952A (zh) 一种变电设备高精度识别方法及系统
CN111192392A (zh) 身份验证方法、装置、计算机设备和计算机可读存储介质
CN110910445A (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN110889437A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110600106B (zh) 病理切片处理方法、计算机设备和存储介质
Lang et al. Pavement cracking detection and classification based on 3d image using multiscale clustering model
CN111144358A (zh) 车辆合格证的验证方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230915

AD01 Patent right deemed abandoned