CN105046196B - 基于级联卷积神经网络的前车车辆信息结构化输出方法 - Google Patents

基于级联卷积神经网络的前车车辆信息结构化输出方法 Download PDF

Info

Publication number
CN105046196B
CN105046196B CN201510319846.6A CN201510319846A CN105046196B CN 105046196 B CN105046196 B CN 105046196B CN 201510319846 A CN201510319846 A CN 201510319846A CN 105046196 B CN105046196 B CN 105046196B
Authority
CN
China
Prior art keywords
license plate
vehicle body
area
region
logo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510319846.6A
Other languages
English (en)
Other versions
CN105046196A (zh
Inventor
韩红
徐志敏
王伟
张鼎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201510319846.6A priority Critical patent/CN105046196B/zh
Publication of CN105046196A publication Critical patent/CN105046196A/zh
Application granted granted Critical
Publication of CN105046196B publication Critical patent/CN105046196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明提出了一种基于级联卷积神经网络的前车车辆信息结构化输出方法，主要解决现有方法不能在复杂环境下一次性快速检测、识别到车体、车牌、车标的问题。其实现过程是：1.获取样本集，并从中选出车体初样本集；2.用二值范数梯度方法对车体的最初样本集进行训练；3.分别训练车体、车牌、车标的卷积神经网络；4.根据训练好的车体卷积神经网络判断出车体区域和颜色；5.根据训练好的车牌卷积神经网络判断出车牌区域，识别车牌号；6.根据训练好的车标卷积神经网络判断出车标区域及类别；7.将得到的所有信息输出到帧图像。本发明能在复杂环境中较准确地检测、识别前方车辆信息，可用于智能监控、智能交通、驾驶员辅助及交通信息检测。

Description

基于级联卷积神经网络的前车车辆信息结构化输出方法
技术领域
本发明属于图像处理技术领域，特别涉及一种车辆信息结构化输出方法，可用于智能监控、智能交通、驾驶员辅助系统和交通信息检测。
背景技术
计算机视觉中的车辆检测识别是指仅利用摄像机的图像输入来获取车辆信息，其是一门应用前景十分广阔的技术。基于计算机视觉的车辆检测系统硬件成本较低，能感知到丰富的环境信息，但受环境变化影响大，对光照条件的变化比较敏感。车辆信息检测识别在多个领域都有较好的应用前景，但是由于车辆的多样性，背景的混杂以及天气影响，光照条件，自身遮挡等多方面的因素导致车辆检测识别在目前并没有通用的、稳定的解决方案。
目前，基于计算机视觉的车体、车牌、车标的检测识别都分别有各自不同的方法，这些方法大多都是利用滑动窗口在检测区域扫描并提取人工构造的特征，根据人工提取到的特征进行识别。其中：
基于计算机视觉的车体检测方法，主要是提取车体的对称性、纹理、边缘、颜色、阴影等具有一定的可识别性的特征，并利用这些特征训练分类器来检测车体，这些方法对环境、光照，及图像的拍摄质量要求高，不适用于一般场景。
基于计算机视觉的车牌检测、识别方法，首先要检测到精确的车牌区域，然后依据光学字符识别OCR技术进行车牌识别。目前对于车牌的检测，主要是利用车牌的颜色、纹理、边缘等特征和形态学方法对检测区域进行滑动窗口扫描。这种方法的不足是对环境要求较高，且算法复杂，处理时间过长。
基于计算机视觉的车标检测、识别方法，主要是先利用边缘检测、模板滤波、纹理特征等进行车标定位，然后利用支持向量机SVM、自适应增强Adaboost等基于统计分类的方法构造分类器进行识别。其缺点是对待检测图像的分辨率要求较高，定位时间长，识别率不高。
发明内容
本发明的目的在于针对上述已有技术的不足，提出了一种基于级联卷积神经网络的前车车辆信息结构化输出方法，以减小环境、光照对稳定性的影响，有效提高车辆信息的检测和识别的正确率。
为实现上述目的，本发明的技术方案包括如下步骤：
(1)拍摄不同场景、环境、光照下的总时长不少于10小时或最终图片不少于20万张的前车车辆行驶的视频及图片，用这些数据图片构成最初始样本集，随机选择其中约5％的图片标注出其中的车体位置，车牌位置，车标位置及车标类型；
(2)利用二值范数梯度BING方法对所有标注了车体的图片进行训练，得到训练好的参数v和支持向量机模型SVM；
(3)分别训练车体、车牌、车标的卷积神经网络：
(3a)利用训练好的参数v和支持向量机模型SVM在所有未标注的图片上生成车体的候选区域，选择其中的车体区域，用该车体区域和已标注的车体样本作为车体正样本，将其余非车体的候选区域作为车体负样本；用所有车体的正、负样本计算车体样本均值M1，使用车体的正、负样本和样本均值M1训练车体的卷积神经网络CNN1；
(3b)利用选择性搜索selective search方法在车体区域上生成车牌候选区域，选择其中的车牌区域，用该车牌区域和已标注的车牌样本作为车牌正样本，将其余非车牌的候选区域作为车牌负样本；用所有车牌的正、负样本计算车牌样本均值M2，使用车牌的正、负样本和样本均值M2训练车牌的卷积神经网络CNN2；
(3c)利用选择性搜索selective search方法在车牌邻域内生成车标的候选区域，选择其中的车标区域，用该车标区域和已标注的车标样本作为车标正样本，将其余非车标的候选区域作为车标负样本；用所有车标的正、负样本计算车标样本均值M3，使用车标的正、负样本和样本均值M3训练车标的卷积神经网络CNN3；
(4)根据训练好的卷积神经网络，判断出车体区域、颜色，车牌区域、车牌号，车标区域L及车标类别：
(4a)对于给定的待检测视频流，依次截取其每一帧，利用训练好的参数v和支持向量机模型SVM为帧图像生成待检测的车体候选区域，将所有待检测的车体候选区域送入车体的卷积神经网络CNN1中，提取待检测的车体候选区域特征并通过全连接法判断出该区域的车体区域，将断定为车体的区域进行合并，得到最终的车体区域B，统计该最终车体区域B的色彩信息得到车体颜色；
(4b)使用选择性搜索selective search方法在最终车体区域B里生成待检测的车牌候选区域，在生成的待检测车牌候选区域中选取待检测车牌候选区域送入到车牌的卷积神经网络CNN2中，提取待检测车牌候选区域特征并使用全连接法判断该区域的车牌区域P，并对该车牌的区域进行车牌号码识别；
(4c)获取车牌区域P的邻域，使用选择性搜索selective search方法在得到的车牌区域P的邻域范围内生成待检测的车标候选区域，将所有待检测的车标候选区域送入到车标的卷积神经网络CNN3中，提取待检测的车标候选区域特征，判断出该区域的车标区域L和车标的类别；
(5)将步骤(4)得到的车体区域B、颜色，车牌区域P、车牌号，车标区域L及车标类别这些信息一起输出到帧图像。
本发明与现有的技术相比具有以下优点：
1、本发明由于在获取候选检测区域时使用基于显著性目标检测的二值范数梯度BING方法和选择性搜索selective search算法，能够避免现有的基于滑动窗口所产生的大量冗余检测区域，大大减少了需要检测的区域，可以极大的加快检测和识别的速度。
2、本发明由于在提取图像特征时是利用基于深度学习的卷积神经网络CNN，因而提取的图像特征较传统的基于图像描述方法能有效提取出车体、车牌、车标的本质性特征，对于各种复杂的环境，能大大提高检测的准确率。
3、本发明由于是基于级联的检测识别方法，能一次性检测、识别车体、车牌、车标，可以结构化输出前方车辆信息。
附图说明
图1是本发明的实现流程图；
图2是本发明中车体训练样本部分正样本图；
图3是本发明中车牌训练样本部分正样本图；
图4是本发明中车标训练样本部分正样本图；
图5是用本发明检测到的车体结果图；
图6是用本发明检测到的车牌结果图；
图7是用本发明检测到的车标结果图；
图8是用本发明检测的前车车辆结构化信息输出结果图。
具体实施方式
以下结合附图对本发明实施例和效果进行详细描述。
参照图1，本发明实施步骤如下：
步骤一，获取训练样本集：
(1a)拍摄不同场景、环境、光照下的总时长不少于10小时或最终图片不少于20万张的前车车辆行驶的视频及图片，用这些数据图片构成样本集；
(1b)从样本集中随机选择5％的图片，在选择出来的每一张图片中标注出车体的区域，车牌的区域，车标的区域及车标类别，作为最初样本集；
图2给出了车体训练样本部分正样本图，图3给出了车牌训练样本部分正样本图，图4给出了车标训练样本部分正样本图。
步骤二，利用二值范数梯度BING方法对车体的最初样本集进行训练。
(2a)选取36种不同大小的尺寸，对车体的最初样本集中的所有车体区域，按照每个车体区域的长和宽，将这个区域缩放到相应的尺寸，计算出缩放后车体区域的二值梯度特征图gl，其中下标l是一个三元组，包括采样的窗口尺寸i，窗口位置x和y，即l＝(i，x,y)，如果属于某窗口尺寸的车体区域样本数少于500个，则去掉该窗口尺寸；
(2b)使用线性支持向量机算法学习出一个模型，
sl＝<ω，gl>
其中sl是分类器的输出分数，训练样本为正样本时sl的值为1，训练样本为负样本时sl的值为-1，ω是学习得到的支持向量机模型SVM；
(2c)对每一种尺寸分别使用线性支持向量机SVM按下式算出系数vi和偏置项ti，i<＝36，其中Ol是窗口分数，
Ol＝vi×sl+ti
(2d)由vi和ti组成训练好的参数V＝(vi，ti)。
步骤三，分别训练车体、车牌、车标的卷积神经网络：
(3a)利用训练好的参数v和支持向量机模型SVM在所有未标注的图片上生成车体的候选区域，选择其中的车体区域，用该车体区域和已标注的车体样本作为车体正样本，将其余非车体的候选区域作为车体负样本；
(3b)将所有车体的正、负样本缩放至长宽为227*227的尺寸，用所有缩放后的车体的正、负样本计算车体样本均值M1，使用缩放后的车体的正、负样本和样本均值M1训练车体的卷积神经网络CNN1；
(3c)利用选择性搜索selective search方法在车体区域上生成车牌候选区域，选择其中的车牌区域，用该车牌区域和已标注的车牌样本作为车牌正样本，将其余非车牌的候选区域作为车牌负样本；
(3d)将所有车牌的正、负样本缩放至长宽为90*30的尺寸，用所有缩放后的车牌的正、负样本计算车牌样本均值M2，使用缩放后的车牌的正、负样本和样本均值M2训练车牌的卷积神经网络CNN2；
(3e)利用选择性搜索selective search方法在车牌邻域内生成车标的候选区域，选择其中的车标区域，用该车标区域和已标注的车标样本作为车标正样本，将其余非车标的候选区域作为车标负样本；
(3f)将所有车标的正、负样本缩放至长宽为32*32的尺寸，用所有缩放后的车标的正、负样本计算车标样本均值M3，使用缩放后的车标的正、负样本和样本均值M3训练车标的卷积神经网络CNN3。
步骤四，根据训练好的车体的卷积神经网络CNN1，判断出车体区域、颜色：
(4a)对于给定的待检测视频流，依次截取其每一帧，利用训练好的参数v和支持向量机模型SVM为帧图像生成待检测的车体候选区域；
(4b)将所有待检测的车体候选区域缩放至长宽为227*227的尺寸，并减去步骤(3b)中计算出的车体均值M1，然后将减去均值后的待检测的车体候选区域送入车体的卷积神经网络CNN1中，提取待检测的车体候选区域特征并通过全连接法判断出该区域的车体区域；
(4c)将断定为车体的区域进行合并，定义Bi是第i个被断定为车体的区域：
其中，x1是x轴较小值，x2是x轴较大值，y1是y轴较小值，y2是y轴较大值；
(4d)计算任意两个区域Bi和Bj的重叠率，
其中，∩(Bi，Bj)是第i个被断定为车体的区域Bi和第j个被断定为车体的区域Bj的交集，∪(Bi，Bj)是第i个被断定为车体的区域Bi和第j个被断定为车体的区域Bj的并集，overlop(Bi，Bj)是第i个被断定为车体的区域Bi和第j个被断定为车体的区域Bj的重叠率；
(4e)将重叠率大于0.5的第i个被断定为车体的区域Bi和第j个被断定为车体的区域Bj进行合并，得到合并后的区域B：
该区域如图5所示；
(4f)对合并后的车体区域B做彩色直方图分析：将车体区域B从RGB颜色空间转化到HSV颜色空间，对车体区域B的HSV颜色空间中的色调分量H做直方图统计，该直方图中频数最大的色调即为车体颜色。
步骤五，根据训练好的车牌的卷积神经网络CNN2，判断出车牌区域，并对车牌号进行识别：
(5a)使用选择性搜索selective search方法在车体区域B内生成待检测的车牌候选区域；
(5b)计算所有生成的待检测车牌候选区域宽w和高h的比值w/h，选取2＜w/h＜4的区域作为初始候选区域；
(5c)使用线性插值算法将选取的初始区域缩放至90*30的尺寸，得到待检测车牌的最终候选区域；
(5d)将最终的待检测车牌候选区域减去步骤(3d)中计算出的车牌均值M2，然后将减去均值后的最终待检测车牌区域送入到车牌的卷积神经网络CNN2中，提取待检测车牌候选区域特征并通过全连接法判断出该区域的车牌区域P，如图6所示；
(5e)对车牌区域P进行车牌号识别：
车牌号识别方法有：模板匹配识别方法，光学字符识别方法，特征统计匹配识别方法，本实例使用光学字符识别OCR方法对车牌区域P进行车牌号识别。
步骤六，根据训练好的车标的卷积神经网络CNN3，判断出车标区域及车标类别：
(6a)以车牌区域P的上边界宽为底，向上扩展为一个矩形，该矩形的高是车牌区域p高度的5倍，用得到的扩展矩形作为车牌区域P的邻域；
(6b)使用选择性搜索selective search方法在得到的车牌区域P的邻域范围内生成待检测的车标候选区域；
(6c)将所有待检测的车标候选区域缩放至长宽为32*32的尺寸，并减去步骤(3f)中计算出的车标均值M3，然后将减去均值后的待检测车标候选区域送入到车标的卷积神经网络CNN3中，提取待检测的车标候选区域特征，判断出该区域的车标区域L和车标的类别，如图7所示。
步骤七，将得到的车体区域、颜色，车牌区域、车牌号，车标区域、类别一起输出到帧图像。
(7a)在帧图像上画出车体区域、车牌区域及车标区域的边界线；
(7b)在帧图像的车体区域边界线旁标注车体颜色，车牌号码及车标类型，如图8所示。其中虚线框标注的是车体区域，点画线框标注的是车牌区域，实线框标注的是车标区域，虚线框下显示的依次是车体颜色、车牌号码、车标类别。

Claims (5)

1.一种基于级联卷积神经网络的前车车辆信息结构化输出方法，包括如下步骤：
(1)拍摄不同场景、环境、光照下的总时长不少于10小时或最终图片不少于20万张的前车车辆行驶的视频及图片，用这些数据图片构成样本集，随机选择其中约5％的图片标注出其中的车体位置，车牌位置，车标位置及车标类型作为最初样本集；
(2)利用二值范数梯度BING方法对车体的最初样本集使用六折交叉验证方式进行训练，得到训练好的参数v和支持向量机模型SVM；
(3)分别训练车体、车牌、车标的卷积神经网络：
(3a)利用训练好的参数v和支持向量机模型SVM在所有未标注的图片上生成车体的候选区域，选择其中的车体区域，用该车体区域和已标注的车体样本作为车体正样本，将其余非车体的候选区域作为车体负样本；用所有车体的正、负样本计算车体样本均值M1，使用车体的正、负样本和样本均值M1训练车体的卷积神经网络CNN1；
(3b)利用选择性搜索selective search方法在车体区域上生成车牌候选区域，选择其中的车牌区域，用该车牌区域和已标注的车牌样本作为车牌正样本，将其余非车牌的候选区域作为车牌负样本；用所有车牌的正、负样本计算车牌样本均值M2，使用车牌的正、负样本和样本均值M2训练车牌的卷积神经网络CNN2；
(3c)利用选择性搜索selective search方法在车牌邻域内生成车标的候选区域，选择其中的车标区域，用该车标区域和已标注的车标样本作为车标正样本，将其余非车标的候选区域作为车标负样本；用所有车标的正、负样本计算车标样本均值M3，使用车标的正、负样本和样本均值M3训练车标的卷积神经网络CNN3；
(4)根据训练好的卷积神经网络，判断出车体区域、颜色，车牌区域、车牌号，车标区域L及车标类别：
(4a)对于给定的待检测视频流，依次截取其每一帧，利用训练好的参数w和支持向量机模型SVM为帧图像生成待检测的车体候选区域，将所有待检测的车体候选区域送入车体的卷积神经网络CNN1中，提取待检测的车体候选区域特征并通过全连接法判断出该区域的车体区域，将断定为车体的区域进行合并，得到最终的车体区域B，统计该最终车体区域B的色彩信息得到车体颜色；
(4b)使用选择性搜索selective search方法在最终车体区域B里生成待检测的车牌候选区域，在生成的待检测车牌候选区域中选取待检测车牌候选区域送入到车牌的卷积神经网络CNN2中，提取待检测车牌候选区域特征并使用全连接法判断该区域的车牌区域P，并对该车牌的区域进行车牌号码识别；
(4c)获取车牌区域P的邻域，使用选择性搜索selective search方法在得到的车牌区域P的邻域范围内生成待检测的车标候选区域，将所有待检测的车标候选区域送入到车标的卷积神经网络CNN3中，提取待检测的车标候选区域特征，判断出该区域的车标区域L和车标的类别；
(5)将步骤(4)得到的车体区域B、颜色，车牌区域P、车牌号，车标区域L及车标类别这些信息一起输出到帧图像。
2.根据权利要求1所述的方法，其中步骤(2)中所述的利用二值范数梯度BING方法对车体的最初样本集使用六折交叉验证方式进行训练，得到训练好的参数v和支持向量机模型SVM，按如下步骤进行：
(2a)选取36种不同大小的尺寸，对训练样本中的所有车体区域，按照每个车体区域的长和宽，将这个区域缩放到相应的尺寸，计算出缩放后车体区域的二值梯度特征图gl,其中下标l是一个三元组，包括采样的窗口尺寸i，窗口位置x和y,即l＝(i，x,y)，如果属于某窗口尺寸的车体区域样本数少于500个，则去掉该窗口尺寸；
(2b)使用线性支持向量机算法学习出一个模型，
sl＝<ω，gl>
其中sl是分类器的输出分数，训练样本为正样本时sl的值为1，训练样本为负样本时sl的值为-1，ω是学习得到的支持向量机模型SVM；
(2c)对每一种尺寸分别使用线性支持向量机SVM按下式算出系数vi和偏置项ti,i<＝36：
Ol＝vi×sl+ti，其中Ol是窗口分数；
最后由vi和ti组成训练好的参数V＝(vi，ti)。
3.根据权利要求1所述的方法，所述步骤(4a)中合并断定为车体的区域，按如下步骤进行：
(4a1)定义Bi是第i个被断定为车体的区域：
<mrow> <msub> <mi>B</mi> <mi>i</mi> </msub> <mo>=</mo> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mn>1</mn> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>x</mi> <mn>2</mn> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>y</mi> <mn>1</mn> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>y</mi> <mn>2</mn> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
其中，x1是x轴较小值，x2是x轴较大值，y1是y轴较小值，y2是y轴较大值；
(4a2)计算任意两个区域Bi和Bj的重叠率，
<mrow> <mi>o</mi> <mi>v</mi> <mi>e</mi> <mi>r</mi> <mi>l</mi> <mi>o</mi> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>B</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>&amp;cap;</mo> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>B</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;cup;</mo> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>B</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>,</mo> </mrow>
其中，∩(Bi，Bj)是区域Bi和区域Bj的交集，∪(Bi，Bj)是区域Bi和区域Bj的并集，overlop(Bi，Bj)是区域Bi和区域Bj的重叠率；
(4a3)将重叠率大于0.5的区域Bi和Bj进行合并，得到合并后的区域B：
<mrow> <mi>B</mi> <mo>=</mo> <mrow> <mo>(</mo> <mi>min</mi> <mo>(</mo> <mrow> <msubsup> <mi>x</mi> <mn>1</mn> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>x</mi> <mn>1</mn> <mi>j</mi> </msubsup> </mrow> <mo>)</mo> <mo>,</mo> <mi>max</mi> <mo>(</mo> <mrow> <msubsup> <mi>x</mi> <mn>1</mn> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>x</mi> <mn>2</mn> <mi>j</mi> </msubsup> </mrow> <mo>)</mo> <mo>,</mo> <mi>min</mi> <mo>(</mo> <mrow> <msubsup> <mi>y</mi> <mn>1</mn> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>y</mi> <mn>2</mn> <mi>j</mi> </msubsup> </mrow> <mo>)</mo> <mo>,</mo> <mi>max</mi> <mo>(</mo> <mrow> <msubsup> <mi>y</mi> <mn>1</mn> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>y</mi> <mn>2</mn> <mi>j</mi> </msubsup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
4.根据权利要求1所述的方法，其中所述步骤(4b)中在生成待检测的车牌候选区域中选取待检测车牌候选区域，按以下步骤进行：
(4b1)计算所有生成的待检测车牌候选区域宽w和高h的比值w/h，选取2＜w/h＜4的区域作为初始候选区域；
(4b2)使用线性插值算法将选取的初始区域缩放至90*30的尺寸，得到待检测车牌的最终候选区域。
5.根据权利要求1所述方法，其中所述步骤(4c)中获取车牌区域P的邻域，是以车牌区域P的上边界宽为底，向上扩展为一个矩形，矩形的高是车牌区域p高的5倍，用得到的扩展矩形作为车牌区域P的邻域。
CN201510319846.6A 2015-06-11 2015-06-11 基于级联卷积神经网络的前车车辆信息结构化输出方法 Active CN105046196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510319846.6A CN105046196B (zh) 2015-06-11 2015-06-11 基于级联卷积神经网络的前车车辆信息结构化输出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510319846.6A CN105046196B (zh) 2015-06-11 2015-06-11 基于级联卷积神经网络的前车车辆信息结构化输出方法

Publications (2)

Publication Number Publication Date
CN105046196A CN105046196A (zh) 2015-11-11
CN105046196B true CN105046196B (zh) 2018-04-17

Family

ID=54452725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510319846.6A Active CN105046196B (zh) 2015-06-11 2015-06-11 基于级联卷积神经网络的前车车辆信息结构化输出方法

Country Status (1)

Country Link
CN (1) CN105046196B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488534B (zh) * 2015-12-04 2018-12-07 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN105512684B (zh) * 2015-12-09 2018-08-28 江苏航天大为科技股份有限公司 基于主成分分析卷积神经网络的车标自动识别方法
CN105512685B (zh) * 2015-12-10 2019-12-03 小米科技有限责任公司 物体识别方法和装置
CN106778604B (zh) * 2015-12-15 2020-04-14 西安电子科技大学 基于匹配卷积神经网络的行人再识别方法
CN105654066A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆识别方法及装置
CN105654067A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆检测方法及装置
CN105975915B (zh) * 2016-04-28 2019-05-21 大连理工大学 一种基于多任务卷积神经网络的前方车辆参数识别方法
CN106022300B (zh) * 2016-06-02 2019-07-05 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统
CN106096561B (zh) * 2016-06-16 2020-02-07 重庆邮电大学 基于图像块深度学习特征的红外行人检测方法
CN107688576B (zh) * 2016-08-04 2020-06-16 中国科学院声学研究所 一种cnn-svm模型的构建及倾向性分类方法
WO2018039970A1 (zh) * 2016-08-31 2018-03-08 富士通株式会社 用于字符识别的分类网络的训练装置、字符识别装置及方法
CN106503710A (zh) * 2016-10-26 2017-03-15 北京邮电大学 一种车标识别方法及装置
CN108073940B (zh) * 2016-11-18 2021-09-17 北京航空航天大学 一种非结构化环境中的3d目标实例物体检测的方法
CN106778583B (zh) * 2016-12-07 2019-12-17 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN106647758A (zh) * 2016-12-27 2017-05-10 深圳市盛世智能装备有限公司 一种目标物体检测方法、装置及自动引导车的跟随方法
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器
CN108805121B (zh) * 2017-05-02 2021-07-13 优信拍（北京）信息科技有限公司 一种车牌检测定位方法、装置、设备及计算机可读介质
CN106990714A (zh) * 2017-06-05 2017-07-28 李德毅 基于深度学习的适配控制方法与装置
JP6762382B2 (ja) * 2017-06-06 2020-09-30 ミデア グループ カンパニー リミテッドＭｉｄｅａ Ｇｒｏｕｐ Ｃｏ．， Ｌｔｄ． ディープニューラルネットワークを用いた粗略から精細な手検出方法
CN107247967B (zh) * 2017-06-07 2020-09-18 浙江捷尚视觉科技股份有限公司 一种基于r-cnn的车窗年检标检测方法
CN107273894A (zh) * 2017-06-15 2017-10-20 珠海习悦信息技术有限公司 车牌的识别方法、装置、存储介质及处理器
CN107729801B (zh) * 2017-07-11 2020-12-18 银江股份有限公司 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN109389014B (zh) * 2017-08-10 2021-05-28 杭州海康威视数字技术股份有限公司 套用车牌车辆的检测方法、装置及电子设备
CN107704857B (zh) 2017-09-25 2020-07-24 北京邮电大学 一种端到端的轻量级车牌识别方法及装置
CN108038540A (zh) * 2017-11-08 2018-05-15 北京卓视智通科技有限责任公司 一种多尺度神经网络及基于该网络的图像特征提取方法
CN108021909A (zh) * 2017-12-28 2018-05-11 北京悦畅科技有限公司 一种停车场车型预测方法及装置
CN109190639A (zh) * 2018-08-16 2019-01-11 新智数字科技有限公司 一种车辆颜色识别方法、装置及系统
CN112560840B (zh) * 2018-09-20 2023-05-12 西安艾润物联网技术服务有限责任公司 多个识别区域识别方法、识别终端及可读存储介质
CN109885718B (zh) * 2019-02-28 2021-05-28 江南大学 一种基于深度车贴检测的嫌疑车辆检索方法
CN110059748A (zh) * 2019-04-18 2019-07-26 北京字节跳动网络技术有限公司 用于输出信息的方法和装置
CN110135318B (zh) * 2019-05-08 2023-05-12 佳都科技集团股份有限公司 过车记录的确定方法、装置、设备及存储介质
CN110245577A (zh) * 2019-05-23 2019-09-17 复钧智能科技(苏州)有限公司 目标车辆识别方法、装置及车辆实时监控系统
CN110222604B (zh) * 2019-05-23 2023-07-28 复钧智能科技(苏州)有限公司 基于共享卷积神经网络的目标识别方法和装置
CN110910360B (zh) * 2019-11-14 2023-06-13 腾讯云计算（北京）有限责任公司 电网图像的定位方法和图像定位模型的训练方法
CN110909742A (zh) * 2019-11-19 2020-03-24 上海眼控科技股份有限公司 车牌检测方法、系统、平台和存储介质
CN111598124B (zh) * 2020-04-07 2022-11-11 深圳市商汤科技有限公司 图像处理及装置、处理器、电子设备、存储介质
CN111860219B (zh) * 2020-06-30 2024-01-05 杭州科度科技有限公司 一种高速占道判断方法、装置及电子设备
CN112906478B (zh) * 2021-01-22 2024-01-09 北京百度网讯科技有限公司 目标对象的识别方法、装置、设备和存储介质
CN113435333A (zh) * 2021-06-28 2021-09-24 深圳市商汤科技有限公司 一种数据处理方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183427A (zh) * 2007-12-05 2008-05-21 浙江工业大学 基于计算机视觉的违章停车检测装置
CN103824091A (zh) * 2014-02-27 2014-05-28 中国石油大学(华东) 一种用于智能交通系统的车牌识别方法
CN103870803A (zh) * 2013-10-21 2014-06-18 北京邮电大学 一种基于粗定位与精定位融合的车牌识别方法和系统
CN103903005A (zh) * 2012-12-25 2014-07-02 财团法人交大思源基金会 车牌影像辨识系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130163822A1 (en) * 2006-04-04 2013-06-27 Cyclops Technologies, Inc. Airborne Image Capture and Recognition System

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183427A (zh) * 2007-12-05 2008-05-21 浙江工业大学 基于计算机视觉的违章停车检测装置
CN103903005A (zh) * 2012-12-25 2014-07-02 财团法人交大思源基金会 车牌影像辨识系统及方法
CN103870803A (zh) * 2013-10-21 2014-06-18 北京邮电大学 一种基于粗定位与精定位融合的车牌识别方法和系统
CN103824091A (zh) * 2014-02-27 2014-05-28 中国石油大学(华东) 一种用于智能交通系统的车牌识别方法

Also Published As

Publication number Publication date
CN105046196A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN105373794B (zh) 一种车牌识别方法
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN103761531B (zh) 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN103824091B (zh) 一种用于智能交通系统的车牌识别方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN104598885A (zh) 街景图像中的文字标牌检测与定位方法
CN104463134A (zh) 一种车牌检测方法和系统
CN102147867A (zh) 一种基于主体的国画图像和书法图像的识别方法
Yao et al. Coupled multivehicle detection and classification with prior objectness measure
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN111832388B (zh) 一种车辆行驶中交通标志检测与识别方法及系统
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
CN112529001A (zh) 一种基于神经网络的车牌识别方法
CN104268509B (zh) 泥头车车牌检测的方法及系统
Sheng et al. Real-time anti-interference location of vehicle license plates using high-definition video
CN103955673B (zh) 一种基于头肩模型的人体识别方法
CN111401364A (zh) 一种基于颜色特征和模板匹配相结合的车牌定位算法
Chen et al. License plate recognition for moving vehicles using a moving camera
CN109558872B (zh) 一种车辆颜色识别方法
CN110046618B (zh) 基于机器学习和最大极值稳定区域的车牌识别方法
Goel et al. Vehicle registration plate recognition system using template matching
CN110516527B (zh) 一种基于实例分割的视觉slam回环检测改进方法
CN102129569A (zh) 基于多尺度对比特征的对象检测设备和方法
CN109325487B (zh) 一种基于目标检测的全种类车牌识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant