CN110363761A - 一种车辆底盘动态检测的起止标志检测系统及方法 - Google Patents

一种车辆底盘动态检测的起止标志检测系统及方法 Download PDF

Info

Publication number
CN110363761A
CN110363761A CN201910661989.3A CN201910661989A CN110363761A CN 110363761 A CN110363761 A CN 110363761A CN 201910661989 A CN201910661989 A CN 201910661989A CN 110363761 A CN110363761 A CN 110363761A
Authority
CN
China
Prior art keywords
detection
mark
stop
stop mark
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910661989.3A
Other languages
English (en)
Inventor
周康明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201910661989.3A priority Critical patent/CN110363761A/zh
Publication of CN110363761A publication Critical patent/CN110363761A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆底盘动态检测的起止标志检测系统及方法，涉及车辆检测领域，解决了车辆年检过程中，传统的用于车辆底盘动态检测的起止标志的检测方法人工成本较高，效率较低，且长时间重复性检测操作容易使得检测人员产生疲劳、注意力不集中等不良状态，影响检测准确率的弊端，其技术方案要点是基于深度学习的目标检测模型对从服务器获取以进行起止标志检测的车辆动态检测开始/结束的图像进行起止标志检测判断，本发明的一种车辆底盘动态检测的起止标志检测系统及方法，自动检测底盘动态开始或结束时是否有起止标志，以满足对车辆年检工作高效率、高准确率的需求。

Description

一种车辆底盘动态检测的起止标志检测系统及方法
技术领域
本发明涉及车辆检测，特别涉及一种车辆底盘动态检测的起止标志检测系统及方法。
背景技术
随着社会经济的不断发展和人民生活水平的不断提高，城市机动车保有量迅猛增长。机动车车辆年检的工作量也随之迅速增大。在车辆年检过程中，传统的用于车辆底盘动态检测的起止标志的检测主要是通过人工检测，但该方法人工成本较高，效率较低，且长时间重复性检测操作容易使得检测人员产生疲劳、注意力不集中等不良状态，影响检测准确率。
如何准确、快速地对用于车辆底盘动态检查的起止标志进行检测，同时避免人工检测成本高，检测人员易疲劳、易疏忽错误等弊端，是急需解决的技术问题。
发明内容
本发明的目的是提供一种车辆底盘动态检测的起止标志检测系统及方法，自动检测底盘动态开始或结束时是否有起止标志，以满足对车辆年检工作高效率、高准确率的需求。
本发明的上述技术目的是通过以下技术方案得以实现的：
一种车辆底盘动态检测的起止标志检测方法，其特征是，包括有以下流程：
获取目标车辆的底盘动态检测开始和/或结束时的状态图像；
对获取的每一整幅的状态图像是否存在起止标志进行全局检测；
在检测到存在起止标志时，停止检测并输出标识存在起止标志的检测结果；
在检测到不存在起止标志时，将所述状态图像分割出多个局部区域图像；
分别对多个所述局部区域图像是否存在起止标志进行局部检测；
在检测到任一所述局部区域图像存在起止标志时，停止检测并输出标识存在起止标志的检测结果；
在检测到全部所述局部区域图像均不存在起止标志时，则输出标识不存在起止标志的检测结果；
其中，所述起止标志为地面起止标志和/或竖牌起止标志。
作为优选，以起止标志为检测目标，对获取的每一整幅的状态图像进行全局检测的步骤包括：
将所述状态图像输入基于深度学习的第一目标检测模型检测地面起止标志；
若未检测到地面起止标志，将所述状态图像输入基于深度学习的第二目标检测模型检测竖牌标志；
若检测到竖牌标志，则进一步基于深度学习的竖牌标志分类模型检测竖牌标志是否为竖牌起止标志；
若检测到竖牌标志不是竖牌起止标志，则判定不存在起止标志；
若检测到地面起止标志或检测到竖牌标志是竖牌起止标志，则判定存在起止标志。
作为优选，将状态图像分割出多个局部区域图像的具体步骤如下：
确定所述状态图像中目标车辆的车辆中心位置；
过所述车辆中心位置作分割线，将所述状态图像划分出多个局部区域图像；
所述局部区域图像至少包括：位于车辆中心位置上方的上部区域图像和位于车辆中心位置下方的下部区域图像。
作为优选，确定车辆中心位置的步骤如下：
在状态图像中采用基于深度学习的第三目标检测模型检测判断车辆是否存在，若不存在，则结束所有检测流程；
若存在，采用SSD定位模型定位车辆在状态图像中的位置，根据车辆在状态图像中的位置确定车辆的中心位置。
作为优选，对多个所述局部区域图像是否存在起止标志进行局部检测具体包括：
分别将多个所述局部区域图像输入基于深度学习的第一目标检测模型检测地面起止标志；
若均未检测到地面起止标志，分别将多个所述局部区域图像输入基于深度学习的第二目标检测模型检测竖牌标志；
若检测到竖牌标志，则进一步基于深度学习的竖牌标志分类模型检测竖牌标志是否为竖牌起止标志；
若检测到竖牌标志均不是竖牌起止标志，则判定全部所述局部区域图像不存在起止标志；
若在任一局部区域图像检测到地面起止标志或检测到的任一竖牌标志是竖牌起止标志，判定存在起止标志。
作为优选，还包括有以下步骤：分别获取对目标车辆的底盘动态检测开始和结束时的状态图像的检测结果，确定目标车辆的底盘动态检测是否合格；若目标车辆的底盘动态检测开始和结束时的状态图像均存在起止标志，则确定所述目标车辆的底盘动态检测合格；否则，确定所述目标车辆的底盘动态检测不合格。
一种车辆底盘动态检测的起止标志检测系统，包括有进行起止标志检测的目标检测模型及竖牌标志分类模型；
所述目标检测模型和竖牌标志分类模型对获取的目标车辆的底盘动态检测整幅的状态图像是否存在起止标志进行全局检测；
将全局检测未检测到起止标志的状态图像分割出多个局部区域图像并且再次进行起止标志的局部检测；
在检测到整幅状态图像或任一局部区域图像存在起止标志时停止检测并输出存在起止标志的检测结果；反之输出不存在起止标志的检测结果。
一种车辆底盘动态检测的起止标志检测装置，所述装置包括存储器；以及
耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：
获取目标车辆的底盘动态检测开始和/或结束时的状态图像；
对获取的每一整幅的状态图像进行起止标志的全局检测；
对全局检测未检测到起止标志的状态图像分割出多个局部区域图像，对局部区域图像进行起止标志的局部检测；
在检测到整幅的状态图像或任一所述局部区域图像存在起止标志时，停止检测并输出标识存在起止标志的检测结果；反之输出不存在起止标志的检测结果。
一种车辆底盘动态检测的起止标志检测移动终端，所述移动终端包括存储器；以及
耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：
获取目标车辆的底盘动态检测开始和/或结束时的状态图像；
对获取的每一整幅的状态图像进行起止标志的全局检测；
对全局检测未检测到起止标志的状态图像分割出多个局部区域图像，对局部区域图像进行起止标志的局部检测；
在检测到整幅的状态图像或任一所述局部区域图像存在起止标志时，停止检测并输出标识存在起止标志的检测结果；反之输出不存在起止标志的检测结果。
综上所述，本发明具有以下有益效果：
通过基于深度学习的目标检测模型进行机动车车辆年检中起止标志检测，自动检测底盘动态开始或结束时是否有起止标志，其实现了审核过程的全程自动检测，既节约了人力，又保证了检测工作的公开、公正，满足对车辆年检工作高效率、高准确率的需求。
附图说明
图1为起止标志检测方法的流程框图；
图2为车辆的检测示意图；
图3为地面起止标志的检测示意图；
图4为竖牌标志的检测示意图；
图5为竖牌标志的分类示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
根据一个或者多个实施例，一种车辆底盘动态检测的起止标志检测系统，包括有目标检测模型和竖牌标志分类模型。
通过目标检测模型和竖牌标志分类模型对获取的目标车辆的底盘动态检测整幅的状态图像是否存在起止标志进行全局检测；
将全局检测未检测到起止标志的状态图像分割出多个局部区域图像并且再次进行起止标志的局部检测；
在检测到整幅状态图像或任一局部区域图像存在起止标志时停止检测并输出存在起止标志的检测结果；反之输出不存在起止标志的检测结果。
还包括有用于车辆检测的第三目标检测模型，在进行局部检测之前需进行车辆检测，并且在检测到车辆时进行局部检测，反之结束检测并且不存在起止标志的检测结果。
根据一个或者多个实施例，如图1所示，公开的一种车辆底盘动态检测的起止标志检测方法，包括有获取图像、三种起止标记检测的检测流程以及对检测结果的分析步骤，具体操作如下：
1)从服务器获取目标车辆的底盘动态检测开始和/或结束时的状态图像；
2)对获取的每一整幅的状态图像是否存在起止标志进行全局检测，在检测到起止标志时停止检测并记录存在起止标志；若没有检测到起止标志则进入下一检测流程；具体检测步骤如下：
将获取的状态图像输入基于深度学习的第一目标检测模型检测地面起止标志，判断地面起止标志是否存在；若存在，则记录此标志为1同时结束所有检测流程；
若未检测到地面起止标志，将状态图像输入基于深度学习的第二目标检测模型检测竖牌标志；若判断竖牌标志不存在，则进入下一检测流程；
若检测到竖牌标志，则进一步基于深度学习的竖牌标志分类模型检测竖牌标志是否为竖牌起止标志；若是起止标志则记录此标志为1同时结束所有检测流程；
若检测到竖牌标志不是竖牌起止标志，则全局检测判定不存在起止标志，进入下一检测流程；
综上，全局检测若检测到地面起止标志或检测到竖牌标志是竖牌起止标志，则判定存在起止标志。
3)在检测到存在起止标志时，停止检测并输出标识存在起止标志的检测结果；
4)在检测到不存在起止标志时，将状态图像分割出多个局部区域图像，分割具体步骤如下：
确定状态图像中目标车辆的车辆中心位置；
过车辆中心位置作分割线，将状态图像划分出多个局部区域图像；
上述局部区域图像至少包括：位于车辆中心位置上方的上部区域图像和位于车辆中心位置下方的下部区域图像。
对于车辆中心位置的确定具体步骤如下：
在状态图像中采用基于深度学习的第三目标检测模型检测判断车辆是否存在，若不存在，则记录此标志为0同时结束所有检测流程；
若存在，采用SSD定位模型定位车辆在状态图像中的位置，得到状态图像中包围车辆的矩形区域，以及矩形区域的四个顶点的坐标，计算矩形区域的中心坐标，从而得到车辆中心在状态图像中的位置。
基于深度学习的第三目标检测模型检测判断车辆是否存在的步骤如下：
将状态图像输入至第三目标检测模型，得到N个包括有对象类别及对象所在矩形区域特征的一维数组；根据对象类别判断是否为车辆；根据对象所在矩形区域获取矩形区域面积，并且构建车辆远近信息，通过矩形区域所在的位置信息从获取的图像中提取车辆区域图像以判断是否存在车辆。
5)分别对多个局部区域图像是否存在起止标志进行局部检测，步骤如下：
对位于车辆中心位置下方的下部区域图像是否存在起止标志进行局部检测；
在检测到下部区域图像不存在起止标志时，对位于车辆中心位置上方的上部区域图像是否存在起止标志进行检测。
对下部区域图像和上部区域图像是否存在起止标志更加具体的局部检测具体包括：
分别将多个局部区域图像输入基于深度学习的第一目标检测模型检测地面起止标志；
若均未检测到地面起止标志，分别将多个局部区域图像输入基于深度学习的第二目标检测模型检测竖牌标志；
若检测到竖牌标志，则进一步基于深度学习的竖牌标志分类模型检测竖牌标志是否为竖牌起止标志；
若检测到竖牌标志均不是竖牌起止标志，则判定全部局部区域图像不存在起止标志；
若在任一局部区域图像检测到地面起止标志或检测到的任一竖牌标志是竖牌起止标志，判定存在起止标志。
基于起止标志中，地面起止标志在车辆中心位置下部分的概率更高，而竖牌标志在车辆中心位置上部分的概率更高，故可将上部区域图像和下部区域图像进行进一步的划分和有针对性的检测，具体步骤如下：
按一定比例左右分割车辆中心位置下方的下部分图像，对分割后的局部区域图像中是否存在起止标志进行检测，在检测到起止标志时停止检测并记录存在起止标志；若没有检测到起止标志则进入下一检测流程；具体为：
按一定比例左右分割后获得左下区域图像和右下区域图像，基于深度学习的第一目标检测模型依次对位于车辆中心下方的左下区域图像和右下区域图像进行检测，判断地面起止标志是否存在；若存在，则记录此标志为1同时结束所有检测流程；若地面起止标志不存在，则进入下一检测流程。
按一定比例左右分割车辆中心位置上方的上部分图像，对位于车辆中心位置上方分割获取的局部区域图像是否存在起止标志进行检测，在检测到起止标志时停止检测并记录存在起止标志；若没有检测到起止标志判断则记录无起止标志；具体为：
按一定比例左右分割后获得上区域图像和右上区域图像，基于深度学习的第二目标检测模型依次对位于车辆中心上方的左上区域图像和右上区域图像进行检测，若判断竖牌标志不存在，则记录此标记为0同时结束所有检测流程；若判断竖牌标志存在，则进一步基于深度学习的竖牌标志分类模型检测竖牌标志是否为起止标志，若是起止标志则记录此标志为1同时结束所有检测流程；若不是起止标志，则记录此标记为0同时结束所有检测流程。
6)在检测到任一局部区域图像存在起止标志时，停止检测并输出标识存在起止标志的检测结果；
7)在检测到全部局部区域图像均不存在起止标志时，则输出标识不存在起止标志的检测结果；对以上所有检测流程检测后记录的检测结果进行分析并输出最终的检测结果。若记录的标志为1则输出存在起止标记的检测结果；若记录的标为0则输出没有起止标志的检测结果
其中，起止标志为地面起止标志和/或竖牌起止标志。
完成检测后，进一步进行合格判断，分别获取对目标车辆的底盘动态检测开始和结束时的状态图像的检测结果，确定目标车辆的底盘动态检测是否合格；若目标车辆的底盘动态检测开始和结束时的状态图像均存在起止标志，则确定所述目标车辆的底盘动态检测合格；否则，确定所述目标车辆的底盘动态检测不合格。
进一步，基于深度学习网络的第一目标检测模型获取步骤如下：
S21、获取不同类型的地面起止标志在不同光照、不同拍摄角度条件下的图像；
S22、采用矩形框标记地面起止标志区域图像所在位置；
S23、使用上述地面起止标志区域图像训练目标检测深度神经网络模型，获得地面起止标志目标检测模型。
进一步，基于深度学习网络的第二目标检测模型获取步骤如下：
S31、获取不同类型的竖牌标志在不同光照、不同拍摄角度条件下的图像；
S32、采用矩形框标记竖牌标志区域图像所在位置；
S33、使用上述竖牌标志区域图像训练目标检测深度神经网络模型，获得竖牌标志目标检测模型。
进一步，基于深度学习网络的竖牌标志分类模型获取步骤如下：
S41、获取不同竖牌标志的图像；
S42、对不同类型的竖牌标志进行分类，并标记类别；
S43、使用带有类别标记的竖牌标志图像训练目标分类深度神经网络模型，获得竖牌标志目标分类模型。
进一步，基于深度学习网络的第三目标检测模型获取步骤如下：
S51、获取不同车型在不同光照、不同拍摄角度条件下的图像；
S52、采用矩形区域标记车辆区域图像所在位置；
S53、使用上述车辆区域图像训练目标检测深度神经网络模型，获得车辆目标检测模型。
本发明主要基于整幅状态图像目标检测模块、下部区域图像目标检测模块和上部区域图像目标检测模块，当其中任意一个模块检测到目标时，跳过剩余模块，直接输出结果。
整幅的状态图像目标检测模块由地面起止标志检测、竖牌标志检测和竖牌标志分类组成，当检测到地面起止标志或竖牌标志为起止标志时，输出结果为1，判断结束，否则进入下部区域图像目标检测模块。
在分割状态图像进行局部区域图像检测时，需先对车辆是否存在进行检测，并且在检测到车辆时进入局部检测流程，若为检测到车辆则输出结果为0并直接结束检测流程。下部分目标检测模块包括地面起止标志检测，当检测到车辆和地面起止标志时，输出结果为1，否则进入上部区域图像目标检测模块。
上半部区域图像目标检测模块由竖牌标志检测、竖牌标志分类组成，当检测到车辆且竖牌标志为起止标志时，输出结果为1，判断结束，否则输出结果为0。
这种分步骤检测手段可以有效避免因图像背景复杂或起止标志较小带来的误检影响，提高起止标志检测的准确性。
具体的，检测流程中：
车辆目标检测的具体方法如图2所示，
将从服务器获取的原始图像输入到第三目标检测模型，首先得到N个一维数组[class,x,y,width,height]，数组第一个元素代表对象类别，是车辆则为1，不是车辆则为0，数组后四个元素表征目标对象所在矩形区域，x、y分别代表矩形区域左上角的横坐标和纵坐标，width代表矩形区域的宽度，height代表矩形区域的高度。每个数组均对应一个车辆目标，利用矩形区域面积大小构建车辆远近信息，以矩形区域面积最大的数组作为检测输出，然后通过矩形区域位置信息从原始图像中提取车辆区域图像，同时根据矩形区域位置信息计算矩形区域的中心位置，进而确定车辆中心位置。此方法可以有效剔除背景中其他非年检目标车辆。
第三目标检测模型获取方法如下：
a1、训练数据准备：获取不同车型、不同品牌、不同光照、不同拍摄角度条件下的含有完整车辆的图像；
a2、数据标注：采用矩形框将原始图像中车辆图像标出，矩形框区域内车辆目标需完整，包含车牌及车辆标志，每个完整车辆图像对应一个矩形框。
a3、模型训练：以使用ImageNet数据集训练好的VGG模型为基础模型，将标注的车辆图像输入到SSD框架后，在基础模型上重新训练出第三目标检测模型。首先修改SSD框架最后的输出为车辆和背景两类；其次调整车辆图像集中训练数据与测试数据的比例为10:1；最后根据模型的训练效果，调整模型的训练参数，其中基本学习率设置为0.001，weight_decay设置为0.0005，学习率策略设置为“multistep”，gamma设置为0.1，momentum设置为0.9，最大迭代次数为140000次。通过上述设置完成训练的SSD模型适用于车辆检测。
地面起止标志检测的具体方法如图3所示，
将原始图像输入到第一目标检测模型，得到N个一维数组[class,x,y,width,height]，数组第一个元素代表对象类别，是地面起止标志则为1，不是地面起止标志则为0，数组后四个元素表征目标对象所在矩形区域，x、y分别代表矩形左上角的横坐标和纵坐标，width代表矩形框的宽度，height代表矩形框的高度。每个数组均对应一个地面起止标志目标，利用矩形框面积大小构建地面起止标志远近信息，以矩形框面积最大的数组作为检测输出，然后通过矩形框位置信息从原始图像中提取地面起止标志区域图像。此方法可以有效剔除背景中非地面起止标志的其他标志。
第一目标检测模型获取方法如下：
b1、训练数据准备：获取含有不同字体、不同类别、不同光照、不同拍摄角度条件下完整地面起止标志的图像；
b2、数据标注：采用矩形框将原始图像中地面起止标志图像标出，矩形框区域内地面起止标志需完整，每个地面起止标志图像对应一个矩形框。
b3、模型训练：以使用ImageNet数据集训练好的VGG模型为基础模型，将标注的地面起止标志图像输入到SSD框架后，在基础模型上重新训练出第一目标检测模型。首先修改SSD框架最后的输出为地面起止标志和背景两类；其次调整地面起止标志图像集中训练数据与测试数据的比例为10：1；最后根据模型的训练效果，调整模型的训练参数，其中基本学习率设置为0.001，weight_decay设置为0.0005，学习率策略设置为“multistep”，gamma设置为0.1，momentum设置为0.9，最大迭代次数为140000次。通过上述设置完成训练的SSD模型适用于地面起止标志的检测。
竖牌标志检测的具体方法如图4所示，
将原始图像输入到第二目标检测模型，首先得到N个一维数组[class,x,y,width,height]，数组第一个元素代表对象类别，是竖牌标志则为1，不是竖牌标志则为0，数组后四个元素表征目标对象所在矩形区域，x、y分别代表矩形左上角的横坐标和纵坐标，width代表矩形框的宽度，height代表矩形框的高度。每个数组均对应一个竖牌标志目标，利用矩形框面积大小构建竖牌标志远近信息，以矩形框面积最大的数组作为检测输出。此方法可以有效剔除背景中非竖牌标志的标志。
第二目标检测模型获取方法如下：
c1、训练数据准备：获取不同类别、不同颜色、不同光照、不同拍摄角度条件下的含有竖牌标志的原始图像；
c2、数据标注：采用矩形框将原始图像中竖牌标志标出，矩形框区域内竖牌标志图像需完整，每个竖牌标志图像对应一个矩形框。
c3、模型训练：以使用ImageNet数据集训练好的VGG模型为基础模型，将标注的竖牌标志图像输入到SSD框架后，在基础模型上重新训练出第二目标检测模型。首先修改SSD框架最后的输出为竖牌标志和背景两类；其次调整竖牌标志图像集中训练数据与测试数据的比例为10：1；最后根据模型的训练效果，调整模型的训练参数，其中基本学习率设置为0.001，weight_decay设置为0.0005，学习率策略设置为“multistep”，gamma设置为0.1，momentum设置为0.9，最大迭代次数为140000次。通过上述设置完成训练的SSD模型适用于竖牌标志检测。
竖牌标志分类检测的具体方法如图5所示，
将原始竖牌图像输入到竖牌标志分类模型，得到N个一维数组[Label,Confidence],数组中第一个元素代表竖牌标志所属类别，第二个元素代表竖牌标志是该类别的置信度，所有数组均对应于一个竖牌标志，各个类别的置信度的和为1，利用置信度可识别竖牌标志的最佳所属类别，判断其是否为起止标志。通过观察，大致可将竖牌起止标志分为28类，分别用0～27来表示。
第一目标检测模型、第二目标检测模型可为同一深度学习的模型。
竖牌标志分类模型获取方法如下：
d1、训练数据准备：获取不同类别、不同颜色、不同光照、不同拍摄角度条件下的竖牌标志图像；
d2、数据分类：针对每个竖牌标志图像添加类别标签，每个竖牌标志只能属于一个类别；
d3、模型训练：采用标注好的训练数据，训练起止标志分类模型。该模型含有3个卷基层，2个池化层和2个全连接层。第二个全连接层后接一个Softmax分类器，输出分类结果。竖牌标志图像集中训练数据与测试数据的比例为5：1,最后根据模型的训练效果，调整模型的训练参数，其中基本学习率设置为0.00005，gamma设置为1.0，momentum设置为0.9,最大迭代次数为500000次。通过上述设置完成训练的分类模型适用于竖牌标志的分类。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (10)

1.一种车辆底盘动态检测的起止标志检测方法，其特征是，包括有以下流程：
获取目标车辆的底盘动态检测开始和/或结束时的状态图像；
对获取的每一整幅的状态图像是否存在起止标志进行全局检测；
在检测到存在起止标志时，停止检测并输出标识存在起止标志的检测结果；
在检测到不存在起止标志时，将所述状态图像分割出多个局部区域图像；
分别对多个所述局部区域图像是否存在起止标志进行局部检测；
在检测到任一所述局部区域图像存在起止标志时，停止检测并输出标识存在起止标志的检测结果；
在检测到全部所述局部区域图像均不存在起止标志时，则输出标识不存在起止标志的检测结果；
其中，所述起止标志为地面起止标志和/或竖牌起止标志。
2.根据权利要求1所述的起止标志检测方法，其特征是，以起止标志为检测目标，对获取的每一整幅的状态图像进行全局检测的步骤包括：
将所述状态图像输入基于深度学习的第一目标检测模型检测地面起止标志；
若未检测到地面起止标志，将所述状态图像输入基于深度学习的第二目标检测模型检测竖牌标志；
若检测到竖牌标志，则进一步基于深度学习的竖牌标志分类模型检测竖牌标志是否为竖牌起止标志；
若检测到竖牌标志不是竖牌起止标志，则判定不存在起止标志；
若检测到地面起止标志或检测到竖牌标志是竖牌起止标志，则判定存在起止标志。
3.根据权利要求1所述的起止标志检测方法，其特征是，将状态图像分割出多个局部区域图像的具体步骤如下：
确定所述状态图像中目标车辆的车辆中心位置；
过所述车辆中心位置作分割线，将所述状态图像划分出多个局部区域图像；
所述局部区域图像至少包括：位于车辆中心位置上方的上部区域图像和位于车辆中心位置下方的下部区域图像。
4.根据权利要求3所述的起止标志检测方法，其特征是，确定车辆中心位置的步骤如下：
在状态图像中采用基于深度学习的第三目标检测模型检测判断车辆是否存在，若不存在，则结束所有检测流程；
若存在，采用SSD定位模型定位车辆在状态图像中的位置，得到状态图像中包围车辆的矩形区域，以及矩形区域的四个顶点的坐标，计算矩形区域的中心坐标，从而得到车辆中心在状态图像中的位置。
5.根据权利要求4所述的起止标志检测方法，其特征是，对多个所述局部区域图像是否存在起止标志进行局部检测包括：
对位于车辆中心位置下方的下部区域图像是否存在起止标志进行局部检测；
在检测到下部区域图像不存在起止标志时，对位于车辆中心位置上方的上部区域图像是否存在起止标志进行检测。
6.根据权利要求5所述的起止标志检测方法，其特征是，对多个所述局部区域图像是否存在起止标志进行局部检测具体包括：
分别将多个所述局部区域图像输入基于深度学习的第一目标检测模型检测地面起止标志；
若均未检测到地面起止标志，分别将多个所述局部区域图像输入基于深度学习的第二目标检测模型检测竖牌标志；
若检测到竖牌标志，则进一步基于深度学习的竖牌标志分类模型检测竖牌标志是否为竖牌起止标志；
若检测到竖牌标志均不是竖牌起止标志，则判定全部所述局部区域图像不存在起止标志；
若在任一局部区域图像检测到地面起止标志或检测到的任一竖牌标志是竖牌起止标志，判定存在起止标志。
7.一种车辆底盘动态检测的起止标志检测系统，其特征是，包括有进行起止标志检测的目标检测模型及竖牌标志分类模型；
所述目标检测模型和竖牌标志分类模型对获取的目标车辆的底盘动态检测整幅的状态图像是否存在起止标志进行全局检测；
将全局检测未检测到起止标志的状态图像分割出多个局部区域图像并且再次进行起止标志的局部检测；
在检测到整幅状态图像或任一局部区域图像存在起止标志时停止检测并输出存在起止标志的检测结果；反之输出不存在起止标志的检测结果。
8.一种车辆底盘动态检测的起止标志检测装置，其特征是，所述装置包括存储器；以及
耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：
获取目标车辆的底盘动态检测开始和/或结束时的状态图像；
对获取的每一整幅的状态图像进行起止标志的全局检测；
对全局检测未检测到起止标志的状态图像分割出多个局部区域图像，对局部区域图像进行起止标志的局部检测；
在检测到整幅的状态图像或任一所述局部区域图像存在起止标志时，停止检测并输出标识存在起止标志的检测结果；反之输出不存在起止标志的检测结果。
9.一种车辆底盘动态检测的起止标志检测移动终端，其特征是，所述移动终端包括存储器；以及
耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：
获取目标车辆的底盘动态检测开始和/或结束时的状态图像；
对获取的每一整幅的状态图像进行起止标志的全局检测；
对全局检测未检测到起止标志的状态图像分割出多个局部区域图像，对局部区域图像进行起止标志的局部检测；
在检测到整幅的状态图像或任一所述局部区域图像存在起止标志时，停止检测并输出标识存在起止标志的检测结果；反之输出不存在起止标志的检测结果。
10.一种存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时，实现如权利要求1至6中任一所述的方法。
CN201910661989.3A 2019-07-22 2019-07-22 一种车辆底盘动态检测的起止标志检测系统及方法 Pending CN110363761A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910661989.3A CN110363761A (zh) 2019-07-22 2019-07-22 一种车辆底盘动态检测的起止标志检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910661989.3A CN110363761A (zh) 2019-07-22 2019-07-22 一种车辆底盘动态检测的起止标志检测系统及方法

Publications (1)

Publication Number Publication Date
CN110363761A true CN110363761A (zh) 2019-10-22

Family

ID=68221502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910661989.3A Pending CN110363761A (zh) 2019-07-22 2019-07-22 一种车辆底盘动态检测的起止标志检测系统及方法

Country Status (1)

Country Link
CN (1) CN110363761A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852230A (zh) * 2019-11-04 2020-02-28 上海眼控科技股份有限公司 一种用于车辆年检的厢式货车的车厢改装检测方法、系统、装置、平台及存储介质
CN112288716A (zh) * 2020-10-28 2021-01-29 中冶赛迪重庆信息技术有限公司 一种钢卷打捆状态检测方法、系统、终端及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105807335A (zh) * 2014-12-30 2016-07-27 清华大学 车辆底盘检查方法和系统
WO2016156023A1 (de) * 2015-04-01 2016-10-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und system zur automatischen erkennung von parkzonen
WO2018233038A1 (zh) * 2017-06-23 2018-12-27 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN109376738A (zh) * 2018-09-20 2019-02-22 上海眼控科技股份有限公司 基于车辆vin码起止符类型的篡改检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105807335A (zh) * 2014-12-30 2016-07-27 清华大学 车辆底盘检查方法和系统
WO2016156023A1 (de) * 2015-04-01 2016-10-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und system zur automatischen erkennung von parkzonen
WO2018233038A1 (zh) * 2017-06-23 2018-12-27 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN109376738A (zh) * 2018-09-20 2019-02-22 上海眼控科技股份有限公司 基于车辆vin码起止符类型的篡改检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭博等: "基于深度学习的车标识别方法研究", 《计算机科学》 *
韩功等: "使用物体交互模型的车辆违停事件检测", 《电视技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852230A (zh) * 2019-11-04 2020-02-28 上海眼控科技股份有限公司 一种用于车辆年检的厢式货车的车厢改装检测方法、系统、装置、平台及存储介质
CN112288716A (zh) * 2020-10-28 2021-01-29 中冶赛迪重庆信息技术有限公司 一种钢卷打捆状态检测方法、系统、终端及介质
CN112288716B (zh) * 2020-10-28 2023-10-27 中冶赛迪信息技术(重庆)有限公司 一种钢卷打捆状态检测方法、系统、终端及介质

Similar Documents

Publication Publication Date Title
CN106529424B (zh) 一种基于选择性搜索算法的车标检测识别方法及系统
CN105184778B (zh) 一种检测方法及装置
CN106127747A (zh) 基于深度学习的汽车表面损伤分类方法及装置
CA3154025A1 (en) Interactive behavior recognizing method, device, computer equipment and storage medium
CN105574550A (zh) 一种车辆识别方法及装置
CN110533086B (zh) 图像数据半自动标注方法
CN111898523A (zh) 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN109447076A (zh) 一种用于车辆年检的车辆vin码识别检测方法
CN108830332A (zh) 一种视觉车辆检测方法及系统
CN110309768B (zh) 车检工位的工作人员检测方法及设备
CN106707293A (zh) 用于车辆的障碍物识别方法和装置
CN109657622A (zh) 一种交通信号灯的检测与识别方法、装置及设备
CN108615046A (zh) 一种储粮害虫检测识别方法及装置
CN105354568A (zh) 基于卷积神经网络的车标识别方法
CN110378258B (zh) 一种基于图像的车辆座椅信息检测方法及设备
CN105654066A (zh) 一种车辆识别方法及装置
CN108681693A (zh) 基于可信区域的车牌识别方法
CN109344835A (zh) 基于车辆vin码字符位置的篡改检测方法
CN109325531A (zh) 基于图像的车辆定损方法、装置、设备及存储介质
CN105260734A (zh) 一种具有自建模功能的商品油表面激光标码识别方法
CN110363761A (zh) 一种车辆底盘动态检测的起止标志检测系统及方法
CN110032935A (zh) 一种基于深度学习级联网络的交通信号标识检测识别方法
CN115376101A (zh) 一种面向自动驾驶环境感知的增量式学习方法和系统
CN110765963A (zh) 车辆制动检测方法、装置、设备及计算机可读存储介质
CN113205511A (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230728