CN110610519A - 一种基于深度学习的车窗定位方法 - Google Patents
一种基于深度学习的车窗定位方法 Download PDFInfo
- Publication number
- CN110610519A CN110610519A CN201910910833.4A CN201910910833A CN110610519A CN 110610519 A CN110610519 A CN 110610519A CN 201910910833 A CN201910910833 A CN 201910910833A CN 110610519 A CN110610519 A CN 110610519A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- corner
- corner points
- vehicle window
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明的目的是提供一种基于深度学习的车窗定位方法,根据车辆图像对车窗四个角点的坐标进行标定,获得坐标标签;首先将车辆图像和车窗四个角点的坐标输入到深度卷积神经网络中进行训练学习,获得车窗角点粗定位深度学习模型;其次,根据标注的车窗角点,获得角点所在的区域图像块;根据角点的区域图像块以及相应角点的坐标,分别训练四个角点的精定位深度学习模型,最后,根据角点的粗定位深度学习模型以及精定位深度学习模型,实现对四个角点坐标的精确定位,本发明通过采用上述技术,解决现有技术对车窗定位精度难以满足需求的问题,同时准确度高,适用性强。
Description
技术领域
本发明属于视频图像识别技术领域,尤其涉及一种基于深度学习的车窗定位方法。
背景技术
随着智能交通领域的蓬勃发展,车辆特征物的检测以及驾驶员的行为分析也越来越受到重视。同时,实时快速检测分析出车辆的特征物信息(包括遮阳板是否放下,纸巾盒,挂件,标识符等信息),以及驾驶员行为信息(包括驾驶员是否系安全带,打电话,人脸相貌等信息)对交通安全监管和刑事案件侦查也具有至关重要的作用。但若要准确判断车辆特征物的具体属性以及驾驶员的行为信息等,需要精确定位到车辆的车窗,从而通过车窗对车辆特征物以及驾驶员的行为等车窗内部信息进行识别。
在现有车窗定位方法中,一种是基于传统的图像处理方式,比如《基于色差均值的快速车窗定位算法[J].计算机应用与软件,2004,21(1):78-79》、《基于Hough变换的车窗提取算法[J].中国测试,2007,33(3):50-52》。但采用传统的图像处理方式易受环境和天气的影响,在强弱光、雾霾等情况下效果定位效果较差。另外一种是基于机器学习的方式,比如,《一种基于车窗角点检测的车窗定位方法-CN201711133210》、《一种多方向车辆的车窗定位方法-CN201711043813》,根据机器学习训练车窗角点的分类器,实现车窗定位;但机器学习方式无法对车窗四个角点坐标的实现精确定位,并且对于复杂环境适用性不强,仍需要传统图像处理的方式进行辅助运算。与本发明比较接近的是《一种建立车窗定位模型和车窗定位方法及装置-CN201710039443》,该方式通过在车辆全图上标注车窗的四个角点坐标,并通过机器学习训练模型,根据模型输出车窗四个角点的坐标。但该方式仅通过一步的机器学习训练,定位结果往往不精确,输出的角点坐标会偏离实际的角点位置。
发明内容
(一)解决的技术问题
本发明的目的在于提供一种基于深度学习的车窗定位方法,以解决上述背景技术中提出的实际问题。
(二)技术方案
为实现上述目的,本发明提供如下技术方案:一种基于深度学习的车窗定位方法,包括以下步骤:
步骤1:基于深度学习训练车窗角点粗定位深度学习模型;
步骤2:基于深度学习训练车窗四个角点的精定位深度学习模型;
步骤3:基于深度学习对车辆车窗四个角点进行定位。
进一步的,所述步骤1包含以下步骤:
1.1:在多个车辆图像样本上对车窗的四个角点进行标注,获得每个图像样本对应的车窗四个角点的坐标;
1.2:将所述的多个车辆图像样本与对应的车窗四个角点的坐标作为训练数据,输入到深度卷积神经网络模型中进行训练学习,获得车窗角点粗定位深度学习模型。
进一步的,所述的步骤2包含以下步骤:
2.1:根据步骤1.1标注的所有车辆图像样本车窗的四个角点,对于每一个角点坐标,分别向上、下、左、右四个方向扩展一定的长度,获得一个矩形框,根据该矩形框在车辆原图上截取包含该角点的局部区域图像块,获得车窗四个角点的局部区域图像块,以及该角点在该图像块中对应的坐标;
2.2:分别将所述所有样本中的每个角点的局部区域图像块与该角点在该图像块中对应的坐标输入到深度卷积神经网络模型中,进行训练学习,获得四个角点的精定位深度学习模型。
进一步的,所述的步骤3包含以下步骤:
3.1:将一幅测试车辆图像输入到步骤1.2训练得到的车窗角点粗定位深度学习模型中,输出为四个角点的测试坐标;
3.2:对于所述输出的四个角点测试坐标,对于每一个角点,根据坐标分别向上、下、左、右四个方向扩展一定的长度,获得一个矩形框,根据该矩形框在车辆原图上截取包含该角点的局部区域测试图像块,获得四个角点的图像测试区域块;
3.3:将所述的四个角点的图像测试区域块分别输入到步骤2.2中相对应的角点精定位深度学习模型中,得到四个角点在图像测试区域块中的精定位坐标,并通过转换得到车窗四个角点在该幅车辆图像中的精定位坐标。
(三)有益效果
本发明的目的是提供一种基于深度学习的车窗定位方法,包括:根据车辆图像对车窗四个角点的坐标进行标定,获得坐标标签;首先将车辆图像和车窗四个角点的坐标输入到深度卷积神经网络中进行训练学习,获得车窗角点粗定位深度学习模型;其次,根据标注的车窗角点,获得角点所在的区域图像块;根据角点的区域图像块以及相应角点的坐标,分别训练四个角点的精定位深度学习模型,最后,根据角点的粗定位深度学习模型以及精定位深度学习模型,实现对四个角点坐标的精确定位,本发明通过采用上述技术,解决现有技术对车窗定位精度难以满足需求的问题,同时准确度高,适用性强。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为车窗定位总体流程;
图2为车窗角点粗定位深度学习模型训练流程;
图3为车窗角点精定位深度学习模型训练流程;
图4为车窗角点的区域图像块示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1-4,本发明提供一种技术方案:一种基于深度学习的车窗定位方法,包括以下步骤:
步骤1:基于深度学习训练车窗角点粗定位模型,包括以下步骤:
步骤1.1:在多个车辆图像样本上对车窗的四个角点(左上P1,右上P2,右下P3,左下P4)进行标注,获得每个图像样本对应的车窗四个角点在图像中的坐标P1(x,y),P2(x,y),P3(x,y),P4(x,y)。
步骤1.2:将所述的多个车辆图像样本与对应的车窗四个角点的坐标作为训练数据,输入到深度卷积神经网络模型中进行训练学习,获得车窗角点粗定位的深度学习模型CNNModel0。
其中,车窗角点粗定位的深度学习模型CNNModel0输入为一副车辆的图像,输出为车窗的四个角点的坐标。
步骤2:基于深度学习训练车窗四个角点的精定位模型,包括以下步骤:
步骤2.1:根据步骤1.1标注的所有车辆图像样本车窗的四个角点,对于每一个角点坐标,分别向上、下、左、右四个方向延伸扩展长度Δt,获得一个矩形框。对于车窗的左上角点P1来说,通过该角点坐标得到的矩形框的坐标为,上边界:y–Δt,下边界:y+Δt,左边界:x–Δt,右边界:x+Δt。同样,对于角点P2,P3,P4亦是如此。
扩展长度Δt=ratio*(图像宽度W或高度H)+random。其中,ratio代表比例因子,比如可选择0.16、0.18等等大小,random为随机参数值,这样使得矩形框的大小并不是固定的。
步骤2.2:根据获得四个角点的矩形框在车辆原图上截取包含对应角点的局部区域图像块。获得车窗四个角点P1,P2,P3,P4的局部区域图像块B1,B2,B3,B4,并获得P1,P2,P3,P4分别在图像块B1,B2,B3,B4中的坐标PB1(x,y),PB2(x,y),PB3(x,y),PB4(x,y)。该四个坐标的值为(Δt,Δt),其中,Δt为步骤2.1中所述的Δt。
步骤2.3:对于车窗的左上角点P1来说,将所有图像样本中该角点的区域图像块B1,与该角点在B1中对应的坐标PB1(x,y),输入到深度卷积神经网络模型中,进行训练学习。同样地,对于车窗角点P2,P3,P4亦是如此。最终获得四个角点的精定位深度学习模型为:左上角点模型:CNNModel1,右上角点模型:CNNModel2,右下角点模型:CNNModel3,左下角点模型:CNNModel4。
所述的每个角点的精定位模型的输入为包含该车窗角点的图像块,输出为该角点的坐标。
步骤3:基于深度学习,对车辆车窗四个角点进行定位,包括以下步骤:
步骤3.1:将一副车辆图像输入到步骤1.2中训练得到的车窗角点粗定位深度CNNModel0模型中,输出为四个角点的坐标P1’(x,y),P2’(x,y),P3’(x,y),P4’(x,y)。
步骤3.2:与步骤2.1相同,对于上述输出的四个角点坐标,对于每一个角点,根据坐标分别向上、下、左、右四个方向扩展长度Δt,获得一个矩形框,根据该矩形框在车辆原图上截取包含该角点的局部区域图像块。获得四个角点的图像区域块B1’,B2’,B3’,B4’。
步骤3.3:将上述的四个角点的图像区域块B1’,B2’,B3’,B4’,分别输入到步骤2.3中的左上角点模型CNNModel1,右上角点CNNModel2,右下角点CNNModel3,左下角点CNNModel4,获得车窗四个角点在对应图像块中的坐标PB1’(x,y),PB2’(x,y),PB3’(x,y),PB4’(x,y)。根据每个角点对应的图像块在车辆图像中的位置,分别将坐标PB1’(x,y),PB2’(x,y),PB3’(x,y),PB4’(x,y)转换为在该车辆图像中的坐标,即为车窗的每个角点精确定位的坐标。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (4)
1.一种基于深度学习的车窗定位方法,其特征在于,包括以下步骤:
步骤1:基于深度学习训练车窗角点粗定位深度学习模型;
步骤2:基于深度学习训练车窗四个角点的精定位深度学习模型;
步骤3:基于深度学习对车辆车窗四个角点进行定位。
2.根据权利要求1所述的一种基于深度学习的车窗定位方法,其特征在于,所述步骤1包含以下步骤:
1.1:在多个车辆图像样本上对车窗的四个角点进行标注,获得每个图像样本对应的车窗四个角点的坐标;
1.2:将所述的多个车辆图像样本与对应的车窗四个角点的坐标作为训练数据,输入到深度卷积神经网络模型中进行训练学习,获得所述车窗角点粗定位深度学习模型。
3.根据权利要求2所述的一种基于深度学习的车窗定位方法,其特征在于,所述的步骤2包含以下步骤:
2.1:根据所述步骤1.1标注的车窗四个角点,对于每一个角点坐标,分别向上、下、左、右四个方向扩展一定的长度,获得一个矩形框,根据该矩形框在车辆原图上截取包含该角点的局部区域图像块,获得车窗四个角点的局部区域图像块;
2.2:分别将所述的每个角点的局部区域图像块与该角点在该图像块中对应的坐标输入到深度卷积神经网络模型中,进行训练学习,获得四个角点的精定位深度学习模型。
4.根据权利要求3所述的一种基于深度学习的车窗定位方法,其特征在于,所述的步骤3包含以下步骤:
3.1:将一副测试车辆图像输入到步骤1.2训练得到的车窗角点粗定位深度学习模型中,输出为四个角点的测试坐标;
3.2:对于所述输出的四个角点测试坐标,对于每一个角点,根据坐标分别向上、下、左、右四个方向扩展一定的长度,获得一个矩形框,根据该矩形框在车辆原图上截取包含角点的局部区域测试图像块,获得四个角点的图像测试区域块;
3.3:将所述的四个角点的图像测试区域块分别输入到所述步骤2.2中相对应的角点精定位深度学习模型中,得到四个角点的精定位测试坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910910833.4A CN110610519A (zh) | 2019-09-25 | 2019-09-25 | 一种基于深度学习的车窗定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910910833.4A CN110610519A (zh) | 2019-09-25 | 2019-09-25 | 一种基于深度学习的车窗定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110610519A true CN110610519A (zh) | 2019-12-24 |
Family
ID=68893135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910910833.4A Pending CN110610519A (zh) | 2019-09-25 | 2019-09-25 | 一种基于深度学习的车窗定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110610519A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401266A (zh) * | 2020-03-19 | 2020-07-10 | 杭州易现先进科技有限公司 | 绘本角点定位的方法、设备、计算机设备和可读存储介质 |
CN111415384A (zh) * | 2020-02-19 | 2020-07-14 | 重庆大学 | 一种基于深度学习的工业图像组件精准定位系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250824A (zh) * | 2016-07-21 | 2016-12-21 | 乐视控股(北京)有限公司 | 车窗定位方法和系统 |
CN106919900A (zh) * | 2017-01-19 | 2017-07-04 | 博康智能信息技术有限公司上海分公司 | 一种建立车窗定位模型和车窗定位方法及装置 |
CN108428248A (zh) * | 2018-03-14 | 2018-08-21 | 苏州科达科技股份有限公司 | 车窗定位方法、系统、设备及存储介质 |
CN109165689A (zh) * | 2018-08-29 | 2019-01-08 | 浙江工业大学 | 一种车辆车窗精准定位方法 |
-
2019
- 2019-09-25 CN CN201910910833.4A patent/CN110610519A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250824A (zh) * | 2016-07-21 | 2016-12-21 | 乐视控股(北京)有限公司 | 车窗定位方法和系统 |
CN106919900A (zh) * | 2017-01-19 | 2017-07-04 | 博康智能信息技术有限公司上海分公司 | 一种建立车窗定位模型和车窗定位方法及装置 |
CN108428248A (zh) * | 2018-03-14 | 2018-08-21 | 苏州科达科技股份有限公司 | 车窗定位方法、系统、设备及存储介质 |
CN109165689A (zh) * | 2018-08-29 | 2019-01-08 | 浙江工业大学 | 一种车辆车窗精准定位方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111415384A (zh) * | 2020-02-19 | 2020-07-14 | 重庆大学 | 一种基于深度学习的工业图像组件精准定位系统 |
CN111415384B (zh) * | 2020-02-19 | 2022-11-25 | 重庆大学 | 一种基于深度学习的工业图像组件精准定位系统 |
CN111401266A (zh) * | 2020-03-19 | 2020-07-10 | 杭州易现先进科技有限公司 | 绘本角点定位的方法、设备、计算机设备和可读存储介质 |
CN111401266B (zh) * | 2020-03-19 | 2023-11-03 | 杭州易现先进科技有限公司 | 绘本角点定位的方法、设备、计算机设备和可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
US11417118B2 (en) | Lane line data processing method and apparatus, computer device, and storage medium | |
Peng et al. | A UAV-based machine vision method for bridge crack recognition and width quantification through hybrid feature learning | |
CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
CN105046196B (zh) | 基于级联卷积神经网络的前车车辆信息结构化输出方法 | |
CN110232713B (zh) | 一种图像目标定位修正方法及相关设备 | |
CN108648169B (zh) | 高压输电塔绝缘子缺陷自动识别的方法及装置 | |
CN113139453B (zh) | 一种基于深度学习的正射影像高层建筑基底矢量提取方法 | |
CN109978872B (zh) | 基于白质纤维束的白质微结构特征筛选系统及方法 | |
CN103295021A (zh) | 一种静态图片中车辆特征检测及识别的方法及系统 | |
CN111932511B (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
CN113705576B (zh) | 一种文本识别方法、装置、可读存储介质及设备 | |
CN111368682A (zh) | 一种基于faster RCNN台标检测与识别的方法及系统 | |
CN115393727A (zh) | 一种路面线性裂缝识别方法、电子设备及存储介质 | |
CN108256462A (zh) | 一种商场监控视频中的人数统计方法 | |
CN106372624A (zh) | 人脸识别方法及系统 | |
CN110610519A (zh) | 一种基于深度学习的车窗定位方法 | |
CN110689000A (zh) | 一种基于生成复杂环境下车牌样本的车辆车牌识别方法 | |
CN114120272A (zh) | 一种融合边缘检测的多监督智能车道线语义分割方法 | |
CN111210417B (zh) | 基于卷积神经网络的布匹缺陷检测方法 | |
CN113420109B (zh) | 一种街道界面渗透率的测量方法、计算机及存储介质 | |
CN103295238B (zh) | 安卓平台上基于roi运动检测的视频实时定位方法 | |
JPH08508128A (ja) | 分布マップを用いる画像の分類方法及び装置 | |
CN108416304B (zh) | 一种利用上下文信息的三分类人脸检测方法 | |
CN106548195A (zh) | 一种基于改进型hog‑ulbp特征算子的目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: No.268 Hanzhong Road, Gulou District, Nanjing, Jiangsu Province 210001 Applicant after: CLP Hongxin Information Technology Co.,Ltd. Address before: No.268 Hanzhong Road, Gulou District, Nanjing, Jiangsu Province 210001 Applicant before: JIANGSU HONGXIN SYSTEM INTEGRATION Co.,Ltd. |
|
CB02 | Change of applicant information | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191224 |
|
RJ01 | Rejection of invention patent application after publication |