CN109583408A - 一种基于深度学习的车辆关键点对齐方法 - Google Patents

一种基于深度学习的车辆关键点对齐方法 Download PDF

Info

Publication number
CN109583408A
CN109583408A CN201811496144.5A CN201811496144A CN109583408A CN 109583408 A CN109583408 A CN 109583408A CN 201811496144 A CN201811496144 A CN 201811496144A CN 109583408 A CN109583408 A CN 109583408A
Authority
CN
China
Prior art keywords
vehicle
key point
alignment
vehicle key
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811496144.5A
Other languages
English (en)
Inventor
毛亮
薛昆南
朱婷婷
黄仝宇
汪刚
宋兵
宋一兵
侯玉清
刘双广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN201811496144.5A priority Critical patent/CN109583408A/zh
Publication of CN109583408A publication Critical patent/CN109583408A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的车辆关键点对齐方法,利用深度卷积网络强大的特征提取能力对车辆的车窗、车灯、车牌等区域进行特征点回归。将车辆关键点通过几何矩阵运算得到车辆对齐矩阵,从而将车辆校正对齐至同一角度和方向,完成车辆对齐效果。本方案所述的车辆关键点对齐方法可行性高,实时性强,提取得到的关键点可以有效表征车辆整体情况和细节信息,经过对齐后的车辆图像有利于后续分类识别算法的识别率提升。

Description

一种基于深度学习的车辆关键点对齐方法
技术领域
本发明属于计算机视觉处理技术领域,具体涉及一种基于深度学习的 车辆关键点对齐方法。
背景技术
随着人工智能和计算机视觉技术的发展,车辆识别技术已经广泛运用 于许多图侦和公安系统中,如卡口系统、电子警察系统、智能交通和自动 驾驶等领域中。但由于室外复杂环境光照和车辆多角度多方向行驶的现实 情况影响,车辆识别技术容易产生误识别的情况,亟待解决的是提高车辆 识别的准确率。因此,对车辆图片进行预处理和校正,提供较好的车辆图 片用于算法识别,是一条提高识别率的可行之路。
关于车辆特征点对齐的方法目前仅有一篇专利(《基于梯度回归树的车 辆关键点检测方法及装置》),主要采用了传统机器学习算法。获取待检测 图片各关键点的初始位置,并将关键点的初始位置输入到经过训练的分类 器中检测得到各关键点的最终位置。采用级联的方式进行关键点提取,但 由于特征为手工设计,难以对各类复杂的监控场景有较好的鲁棒性。
由于受到现实复杂环境下光照条件、背景物遮挡、相机成像质量、运 动模糊等方面的综合影响,安防监控场景下的道路车辆视频或图像存在角 度较大、背光、逆光、车身不全、图像模糊等影响算法识别精度的情况。 如何有效地准确提取车辆关键区域并进行校准至同一位置,为后续车辆属 性识别特征提供有效的预处理,成为一个亟待解决的问题。现有技术采用 传统算法架构,利用梯度回归树逐点回归结合全局约束规则进行车辆关键 点提取的策略,仅能适应卡口或电警场景下图像清晰、车身较正且无遮挡 的情况,无法对复杂的视频监控场景下大角度低质量车辆图片进行有效提 取,泛化性较差。
发明内容
本发明的目的是提出一种基于深度学习的车辆关键点对齐方法,以解 决现有技术无法对复杂的视频监控场景下大角度低质量车辆图片进行有效 提取,泛化性较差的技术问题。
本发明通过以下技术方案实现:
一种基于深度学习的车辆关键点对齐方法,该方法包括以下步骤:(1) 利用CNN卷积神经网络对车辆的车窗、车灯及车牌区域进行车辆关键点提 取和输出;(2)将车辆关键点通过几何矩阵运算得到车辆关键点对齐矩阵; (3)基于该对齐矩阵将车辆校正对齐至同一角度和方向。
进一步地,在所述的车辆关键点提取步骤之前,收集卡口与道路监控 的车辆图片作为训练集,进行训练集图片标注和训练集数据增强。
进一步地,所述的训练集图片标注的区域包括:车窗外轮廓、车辆大 灯、车辆下边缘、车辆下轮廓中点和车牌,总共对车辆进行了19个关键点 的标注。
进一步地,所述的训练集数据增强包括对所述训练集中的车辆图片进 行一种或多种方式的图像变换。
优选的,所述的图像变换包括:加噪、随机擦除、旋转、亮度变化或 仿射变换。
进一步地,所述的CNN卷积神经网络,其结构包括:一个数据data层, 五个卷积conv层,两个局部响应归一化LRN层,三个池化pooling层和两 个全连接fc层。
优选的,所述数据data层的输入为3通道,宽高分别为227和227。
进一步地,所述的结构还包括6个激活函数relu1-relu6。
进一步地,所述的车辆关键点的对齐步骤具体包括:
1)计算标注区域车窗外轮廓的最左和最右的两个车辆关键点的中点坐 标(cx,cy);
2)计算上述两个车辆关键点与水平轴的角度;
3)计算旋转矩阵M;
4)利用M*X实现车辆对齐,其中X为输入的车辆图像矩阵。
本发明还包括一种非易失性存储介质,其包括一条或多条计算机指令, 所述一条或多条计算机指令在执行时实现上述所述的方法。
与现有技术相比,本发明至少具有下述的有益效果或优点:
本发明提供的这种基于深度学习的车辆关键点对齐方法,将车辆整车 区域作为输入,利用卷积神经网络强大的特征提取能力和尺度不变性特点, 实现车辆关键点的提取和输出。该方法引入CNN深度神经网络,通过大量 数据学习自动得到有效特征,能够有效适应各种角度和复杂环境下的车辆 关键点提取,相比现有技术方案鲁棒性和泛化能力更强;采用自主设计的 轻量级神经网络,大幅降低模型显存占用和耗时,实现快速检测和定位。该方法可适用于电警卡口等标准化场景,也可适用于城市道路监控场景, 实现对车辆关键区域的提取和定位,从而进行各种车辆属性识别,例如车 型识别、品牌识别和车牌识别等。
附图说明
以下将结合附图对本发明做进一步详细说明;
图1为本发明的车辆关键点标注图。
图2为本发明实施深度学习网络结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进 行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而 不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有 做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范 围。
针对现有技术中采用传统算法架构,利用梯度回归树逐点回归结合全 局约束规则进行车辆关键点提取的策略,仅能适应卡口或电警场景下图像 清晰、车身较正且无遮挡的情况,无法对复杂的视频监控场景下大角度低 质量车辆图片进行有效提取,泛化性和实时性较差。本发明提出了一种基 于深度学习的车辆关键点对齐方法,将车辆整车区域作为输入,利用卷积 神经网络强大的特征提取能力和尺度不变性特点,实现车辆关键点的提取和输出。该方法引入CNN深度神经网络,通过大量数据学习自动得到有效 特征,能够有效适应各种角度和复杂环境下的车辆关键点提取,相比现有 技术方案鲁棒性和泛化能力更强;采用自主设计的轻量级神经网络,大幅 降低模型显存占用和耗时,实现快速检测和定位。该方法可适用于电警卡 口等标准化场景,也可适用于城市道路监控场景,实现对车辆关键区域的 提取和定位,从而进行各种车辆属性识别,例如车型识别、品牌识别和车 牌识别等。具体技术方案如下:
1.训练集图片标注
本方案收集卡口与道路监控图片作为训练集,对训练集中的图片,如 图1所示,标注如下:
总共对车辆进行了19个关键点的标注,其中1、2、18、19号点标注 车窗外轮廓;3、4、6、7、13、14、16、17号点标注车辆大灯;5、15号 点标注车辆下边缘;8、9、11、12号点标注车牌区域;10号点标注车辆下 轮廓中点。通过19个点的标注设计,实现对车辆关键区域,如车灯和外轮 廓的完整标注,有利于后续模型自动学习车辆关键特征。
2.训练集数据增强
对图片进行如下5种方式的图像变换,对训练集数据进行增强,以提 高模型对不同情况(包括简单和复杂场景)的适应能力:
1)加噪。因为现实世界中数字图像会受到各种各样干扰和噪声的影响, 因此对训练集的加噪处理可以有效模拟监控场景下车辆图片的真实情况;
2)随机擦除。针对原始图片进行随机区域选择,并进行区域填充,实 现对图片的随机擦除,增强模型对遮挡样本的检测适应能力;
3)旋转。以原始图片中心点为圆点,利用图像预处理方法对图像进行 旋转,包括顺时针旋转3~5°,逆时针旋转3~5°,增强模型对有一定角度 的车辆图像的适应能力;
4)亮度变化。现实场景中,很多图像会出现光线不足显得很暗、或者 过度曝光情况,需要深度学习模型对不同亮度和对比度的图像进行有效适 应。利用图像处理算法对图像进行亮度调整(变亮、变暗等),模拟现实场 景中各类光照条件;
5)仿射变换。实现图像内二维坐标的线性变换,模拟现实场景下车辆 图像变形压缩的各种情况。
3.深度网络设计
现有的官方网络,如VGGNet、GoogleNet、ResNet和DenseNet等,虽 然对各类图像处理任务具有较为优秀的特征提取能力,但由于网络过于复 杂,计算参数较多,会造成模型显存占用过大和耗时过多,难以应用到实 际工程项目和产品中。在综合考虑准确率和模型消耗的前提下,本发明设 计了一个轻量型的关键点提取网络,主要包含以下几个部分:
1个输入的数据data层,5个卷积conv层,分别为conv1、conv2、 conv3、conv4以及conv5;2个LRN层(Local Response Normalization, 即局部响应归一化层),分别为norm1和norm2;3个池化pooling层,分 别为pool1、pool2以及pool5;2个全连接fc层,分别为fc6和fc7。所 述data层的输入为3通道,宽高分别为227和227;该网络结构还包括6 个激活函数relu1-relu6;具体结构如图2所示。
4.模型训练
模型训练采用“知识蒸馏”的方式,即将训练好的复杂模型推广能力 “知识”迁移到一个结构更为简单的网络中。首先训练一个复杂的大型网 络模型,利用“蒸馏”的方式,利用一个紧凑设计的网络模型从复杂模型 中提取出特征信息,达到大模型所具有的性能,从而在保证模型性能的前 提下大幅减少模型参数和计算量。
5.车辆对齐方法
1)计算关键点第2点和第18点的中点坐标(cx,cy);
2)计算关键点第2点和第18点与水平轴的角度θ;
3)依据2)中的角度θ计算旋转矩阵
4)利用M*X实现车辆对齐,其中X为输入的车辆图像矩阵。
本发明还提供了一种非易失性存储介质,其包括一条或多条计算机指 令,所述一条或多条计算机指令在执行时实现上述所述的方法。
本方案针对现实监控场景下车辆多角度多方向情况影响算法识别精度 的问题,提出一种基于深度学习的车辆关键点对齐方法,利用深度卷积网 络强大的特征提取能力对车辆的车窗、车灯、车牌等区域进行特征点回归。 将车辆关键点通过几何矩阵运算得到车辆对齐矩阵,从而将车辆校正对齐 至同一角度和方向,完成车辆对齐效果。本方案所述的车辆关键点提取和 对齐方法可行性高,实时性强,提取得到的关键点可以有效表征车辆整体 情况和细节信息,经过对齐后的车辆图像有利于后续分类识别算法的识别 率提升。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行 了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而 已,并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内, 所做的任何修改、等同替换、改进等,同样属于本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的车辆关键点对齐方法,其特征在于,所述的方法包括以下步骤:(1)利用CNN卷积神经网络对车辆的车窗、车灯及车牌区域进行车辆关键点提取和输出;(2)将车辆关键点通过几何矩阵运算得到车辆关键点对齐矩阵;(3)基于该对齐矩阵将车辆校正对齐至同一角度和方向。
2.根据权利要求1所述的方法,其特征在于,在所述的车辆关键点提取步骤之前,收集卡口与道路监控的车辆图片作为训练集,进行训练集图片标注和训练集数据增强。
3.根据权利要求2所述的方法,其特征在于,所述的训练集图片标注的区域包括:车窗外轮廓、车辆大灯、车辆下边缘、车辆下轮廓中点和车牌,总共对车辆进行了19个关键点的标注。
4.根据权利要求2所述的方法,其特征在于,所述的训练集数据增强包括对所述训练集中的车辆图片进行一种或多种方式的图像变换。
5.根据权利要求4所述的方法,其特征在于,所述的图像变换包括:加噪、随机擦除、旋转、亮度变化或仿射变换。
6.根据权利要求1所述的方法,其特征在于,所述的CNN卷积神经网络,其结构包括:一个数据data层,五个卷积conv层,两个局部响应归一化LRN层,三个池化pooling层和两个全连接fc层。
7.根据权利要求6所述的方法,其特征在于:所述数据data层的输入为3通道,宽高分别为227和227。
8.根据权利要求6所述的方法,其特征在于,所述的结构还包括6个激活函数relu1-relu6。
9.根据权利要求3所述的方法,其特征在于,所述的车辆关键点的对齐步骤具体包括:
1)计算标注区域车窗外轮廓的最左和最右的两个车辆关键点的中点坐标(cx,cy);
2)计算上述两个车辆关键点与水平轴的角度;
3)计算旋转矩阵M;
4)利用M*X实现车辆对齐,其中X为输入的车辆图像矩阵。
10.一种非易失性存储介质,其特征在于,包括一条或多条计算机指令,所述一条或多条计算机指令在执行时实现上述权利要求1-9任一项所述的方法。
CN201811496144.5A 2018-12-07 2018-12-07 一种基于深度学习的车辆关键点对齐方法 Pending CN109583408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811496144.5A CN109583408A (zh) 2018-12-07 2018-12-07 一种基于深度学习的车辆关键点对齐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811496144.5A CN109583408A (zh) 2018-12-07 2018-12-07 一种基于深度学习的车辆关键点对齐方法

Publications (1)

Publication Number Publication Date
CN109583408A true CN109583408A (zh) 2019-04-05

Family

ID=65929224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811496144.5A Pending CN109583408A (zh) 2018-12-07 2018-12-07 一种基于深度学习的车辆关键点对齐方法

Country Status (1)

Country Link
CN (1) CN109583408A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674815A (zh) * 2019-09-29 2020-01-10 四川长虹电器股份有限公司 基于深度学习关键点检测的发票图像畸变校正方法
CN112249029A (zh) * 2020-10-30 2021-01-22 高新兴科技集团股份有限公司 一种基于ar辅助车辆近距离调整姿态的方法及系统
WO2021179905A1 (en) * 2020-03-13 2021-09-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Motion blur robust image feature descriptor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528662A (zh) * 2016-10-20 2017-03-22 中山大学 一种基于特征几何约束的车辆图像快速检索方法与系统
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN108319952A (zh) * 2017-01-16 2018-07-24 浙江宇视科技有限公司 一种车辆特征提取方法及装置
CN108830213A (zh) * 2018-06-12 2018-11-16 北京理工大学 基于深度学习的车牌检测与识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528662A (zh) * 2016-10-20 2017-03-22 中山大学 一种基于特征几何约束的车辆图像快速检索方法与系统
CN108319952A (zh) * 2017-01-16 2018-07-24 浙江宇视科技有限公司 一种车辆特征提取方法及装置
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN108830213A (zh) * 2018-06-12 2018-11-16 北京理工大学 基于深度学习的车牌检测与识别方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALEX KRIZHEVSKY ET AL.: "ImageNet Classification with Deep Convolutional Neural Networks", 《COMMUNICATIONS OF THE ACM》 *
VAHID KAZEMI AND JOSEPHINE SULLIVAN ET AL.: "One Millisecond Face Alignment with an Ensemble of Regression Trees", 《IEEE》 *
吕凤花: "基于SVM的考虑倾斜角度的车辆分类方法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
夏洛的网: "人脸检测、特征点检测、人脸对齐、人脸识别", 《CSDN博客HTTPS://BLOG.CSDN.NET/LIUXIAO214/ARTICLE/DETAILS/83411820》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674815A (zh) * 2019-09-29 2020-01-10 四川长虹电器股份有限公司 基于深度学习关键点检测的发票图像畸变校正方法
WO2021179905A1 (en) * 2020-03-13 2021-09-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Motion blur robust image feature descriptor
CN112249029A (zh) * 2020-10-30 2021-01-22 高新兴科技集团股份有限公司 一种基于ar辅助车辆近距离调整姿态的方法及系统

Similar Documents

Publication Publication Date Title
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN112949633B (zh) 一种基于改进YOLOv3的红外目标检测方法
CN103258432B (zh) 基于视频的交通事故自动识别处理方法和系统
CN106845487A (zh) 一种端到端的车牌识别方法
CN105608417B (zh) 交通信号灯检测方法及装置
CN111694010A (zh) 一种基于视觉与激光雷达融合的路侧车辆识别方法
CN110119726B (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN103530600B (zh) 复杂光照下的车牌识别方法及系统
CN107633220A (zh) 一种基于卷积神经网络的车辆前方目标识别方法
CN106022232A (zh) 基于深度学习的车牌检测方法
CN106845547A (zh) 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
Li et al. Parking slot detection on around-view images using DCNN
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
Chen et al. Outdoor shadow estimating using multiclass geometric decomposition based on BLS
CN105809640A (zh) 基于多传感器融合的低照度视频图像增强方法
CN109583408A (zh) 一种基于深度学习的车辆关键点对齐方法
CN110334625A (zh) 一种面向自动泊车的停车位视觉识别系统及其识别方法
CN107578012A (zh) 一种基于聚类算法选择敏感区域的驾驶辅助系统
CN108960079A (zh) 一种图像识别方法及装置
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
CN106503748A (zh) 一种基于s‑sift特征和svm训练器的车型识别算法
CN109977941A (zh) 车牌识别方法及装置
Tao et al. Smoky vehicle detection based on range filtering on three orthogonal planes and motion orientation histogram
Cao et al. Application of convolutional neural networks and image processing algorithms based on traffic video in vehicle taillight detection
Špoljar et al. Lane detection and lane departure warning using front view camera in vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405

RJ01 Rejection of invention patent application after publication