CN111291684A - 一种自然场景下的船牌检测方法 - Google Patents
一种自然场景下的船牌检测方法 Download PDFInfo
- Publication number
- CN111291684A CN111291684A CN202010083800.XA CN202010083800A CN111291684A CN 111291684 A CN111291684 A CN 111291684A CN 202010083800 A CN202010083800 A CN 202010083800A CN 111291684 A CN111291684 A CN 111291684A
- Authority
- CN
- China
- Prior art keywords
- ship
- detecting
- picture
- model
- plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种自然场景下的船牌检测方法,该方法包括以下步骤:1)数据获取:通过摄像头采集进出港口船舶的视频;2)数据处理:对视频进行处理,筛选出含船牌图片;3)数据标注:对图片进行船牌标注;4)模型训练:用目标检测模型训练船牌检测;5)模型检测:用训练好的船牌检测模型对图片进行检测,获得图片中每个船牌位置。本发明选取深度学习模型R2CNN,能识别多角度船牌,提高对船牌的检测速度和准确率,具有较高的实际应用价值。
Description
技术领域
本发明涉及计算机应用技术领域及目标检测领域,特别是涉及一种自然场景下的船牌检测方法。
背景技术
近年来,随着港口经济日益繁荣发展,渔业工程与航运工程的规模不断扩大,船舶数量不断增加,与此同时,海上非法走私、非法捕鱼等行为也随之涌现。由于经常存在人工关闭AIS逃避监管的情况,传统的人工检测时效性差、危险性强,难以实现船只的有效监管。为了强化管理的维度与力度,港口区域架设了大量的高清监控摄像头,可以远距离捕获海上船只的视频图像,为后期执法提供直接证据,所以船牌检测技术越来越重要。
当下车牌检测技术发展迅速,运用广泛,如小区车辆管理,交通路口违规检测等,但这种技术并没有很好的应用到船牌检测中。由于船牌标准未统一,船牌悬挂位置不统一,船牌背景颜色与字符颜色多种多样,且理想情况下用摄像机拍摄的船牌图像是一个矩形,但是由于船只通过航道时,其位置的不确定性和摄像装置的放置因素所引发的摄像机与船牌之间的角度变化,不可避免地使拍摄的图像产生比较明显的畸变和倾斜现象。这种不同程度的图像变形会对检测系统带来不利影响,容易造成字符误分割,从而导致了船牌识别率的下降。所以车牌检测技术难以直接移植到船牌检测中,导致船牌检测相关研究较少且技术不成熟。
因此,为解决以上问题,需要一种基于深度学习的船牌检测方法,能够避免现有技术中的船牌检测技术存在精度低、速度慢、效果差的技术问题。
发明内容
为了克服现有技术的不足,本发明提供一种自然场景下的船牌检测方法,可以有效提高船牌检测的速度和准确率。
本发明解决其技术问题所采用的技术方案如下:
一种自然场景下的船牌检测方法,包括以下步骤:
S1:数据获取:通过摄像头采集船舶的视频;
S2:数据处理:对采集到的视频进行处理,得到含有船牌的图片;
S3:数据标准:对含有船牌图片进行标注;
S4:模型训练:训练船牌检测模型-R2CNN模型;
S5:模型测试:用训练好的模型对船牌图片进行检测,获得船牌的位置,面积和得分,通过筛选后,得到完整船牌图片;
优选地,所述步骤S1中,利用摄像头采集船舶的视频,视频来源为港口进出船舶、码头进出船舶、海上航行船舶和岸边停靠船舶。
所述步骤S2中,包括以下步骤:
S2-1:使用数字图像方法处理视频,获取视频中含有船只的时刻,并隔0.5s 保存图片,数字图像方法包括帧间差分法、光流法或背景减法;
S2-2:人工筛选出含有船牌的图片。
所述步骤S3中,训练船牌检测模型-R2CNN模型,将含有船牌图片都变换成1920*1080大小,通过标注软件标定船牌边框,标签类别设为‘ship_card’,生成xml文件。
所述步骤S3中,包括以下步骤:
S3-1:将图片输入resnet101中,提取图片特征,输出两个不同大小的featuremap;
S3-2:分别通过两个不同的scale和ratio的RPN模块生成多个anchor boxes,通过softmax判断属于船牌前景或者背景,再利用边框回归修正anchors,获得较精确的proposals;
S3-3:生成的proposals通过RoI Pooling层,得到固定大小的proposal featuremaps;
S3-4:对proposal feature maps进行分类,利用全连接层与softmax进行具体类别的分类;同时,利用L1 Loss完成两次边框回归操作获得物体的精确位置,计算损失函数,同时更新整个网络的参数,得到训练模型,训练损失包括有无船牌的二分类损失、水平框的回归损失和倾斜框的回归损失,计算式如下:
式中,t是类别真实标签,p是由softmax函数计算出的船牌与背景类别的概率,v=(vx,vy,vw,vh)是truth轴对齐边界框回归目标的元组,包括中心点的坐标及其宽度和高度,是船牌标签的预测元组,u= (ux1,uy1,ux2,uy2,uh)是ground_truth倾斜边界框回归目标的元组,包括倾斜框的前两个点的坐标及其高度,以及是文本标签的预测元组,λ1和λ2表示控制权重的平衡参数。(x,y,w,h)分别代表候选框的中心点、宽和高,(x1,y1,x2,y2,h)代表的是候选框顺时针方向的两点坐标和高,Lcls(p,t)和的计算公式分别为:
所述步骤S4中,将图片变换成1280*720大小,传入好的模型中,得到图中可能存在的船牌位置,大小与置信度,模型置信度>0.8,船牌自身特性为长>宽,对于不符合上述条件的情况删除错误船牌框,得到最后的船牌。
本发明的有益效果为:由于自然场景多样,船只类型、大小等都不相同,用传统的方法很难对所有场景下的船牌进行准确的检测。本发明选取了不同场景、不同类型、不同大小等各种特征的船牌作为训练数据并进行标注,取得了丰富的训练样本。本发明利用深度学习模型R2CNN检测船牌,与传统手动提取特征的方法和利用简单神经网络的方法相比,能检测多角度船牌,节省了检测时间并且提高了准确率。
附图说明
图1为本发明实施例的一种自然场景下的船牌检测方法的流程图;
图2为本发明实施例的R2CNN算法流程图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的描述。
参照图1和图2,一种自然场景下的船牌检测方法,包括以下步骤:
S1:数据获取:通过港口摄像头采集船舶的视频;
S2:数据处理:对采集到的视频进行处理,得到含有船牌的图片;
S3:数据标准:对含有船牌图片进行标注;
S4:模型训练:训练船牌检测模型;
S5:模型测试:用训练好的模型对船牌图片进行检测,获得船牌的位置,面积和得分,通过筛选后,得到完整船牌图片;
优选地,所述步骤S1中,利用摄像头采集进出港口船舶的视频。
所述步骤S2中,包括以下步骤:
S2-1:使用帧间差分法处理视频,获取视频中含有船只的时刻,并隔0.5s 保存图片;
D(x,y)为连续两帧图像之间的差分图像,I(t)和I(t-1)分别为t和t-1时刻的图像,T为差分图像二值化时选取的阈值,D(x,y)=1表示前景,D(x,y)=0表示背景。
S2-2:人工筛选出含有船牌的图片,图片包含不同天气,不同船只类型,不同船牌类型。
所述步骤S3中:将含有船牌图片都变换成1920*1080大小,通过软件精灵标注助手标定船牌边框,使用多边形框标注,对图片中船牌标定4个点,包围整个船牌,标签类别为‘ship_card’,生成xml文件,并按照9:1的比例得到训练集跟测试集;图片大小包括但不限于1920*1080,标注软件包括但不限于精灵标注助手。
所述步骤S3中,如图2所示,包括以下步骤:
S3-1:将图片输入resnet101中,提取图片特征,将C4层做下采样操作后和 C5层相加得到P1层,将C4层做上采样操作和C3层相加得到P2层,输出两个不同大小的featuremap;
S3-2:将P1层输入scale为[256],ratio为[1,1/2,2,3,1/3,4,1/4,5,1/5,6,1/6,7,1/7]的RPN1中,将P2层输入scale为[64],ratio为[1,1/2,2,3,1/3,4,1/4]的 RPN2中,生成多个anchor boxes,通过softmax判断属于船牌前景或者背景,再利用边框回归修正anchors,获得较精确的proposals;
S3-3:生成的proposals通过RoI Pooling层,Pooling size设为7*7和3*11,得到固定大小的proposal feature maps;
S3-4:Classification将proposal feature maps进行分类,利用全连接层与softmax进行具体类别的分类;同时,利用L1 Loss完成两次边框回归操作获得物体的精确位置,一次是水平回归,一次是旋转回归,计算损失函数,同时更新整个网络的参数,得到训练模型,训练损失包括有无船牌的二分类损失(softmax loss)、水平框的回归损失(regression loss)和倾斜框的回归损失(rotational regression loss),计算式如下:
式中,t是类别真实标签,p是由softmax函数计算出的船牌与背景类别的概率,v=(vx,vy,vw,vh)是truth轴对齐边界框回归目标的元组,包括中心点的坐标及其宽度和高度,是船牌标签的预测元组,u= (ux1,uy1,ux2,uy2,uh)是ground_truth倾斜边界框回归目标的元组,包括倾斜框的前两个点的坐标及其高度,以及是文本标签的预测元组,λ1和λ2表示控制权重的平衡参数。(x,y,w,h)分别代表候选框的中心点、宽和高,(x1,y1,x2,y2,h)代表的是候选框顺时针方向的两点坐标和高,Lcls(p,t)和的计算公式分别为:
所述步骤S4中,将图片变换成1280*720大小,传入好的模型中,得到图中每个船牌位置,大小与置信度,模型置信度>0.8,船牌自身特性为长>宽,对于不符合上述条件的情况删除错误船牌框,将最后的船牌图片保存。
如上所述为本发明一种自然场景下的实施例介绍,本发明通过标注含船牌图片制作训练数据,通过深度学习模型R2CNN训练得到船牌检测模型,再使用模型检测图片中船牌具体位置,并保存船牌图片。本发明相比于传统手动提取特征的方法和简单的神经网络方法,不仅能检测多角度船牌,而且具有检测速度快和准确率高的优势。
以上所述,仅为本发明专利较佳的实施例,对本发明而言仅仅是说明性,而非限制性,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明专利构思加以等同替换或改变,都属于本发明专利的保护范围。
Claims (10)
1.一种自然场景下的船牌检测方法,其特征在于,所述方法包括以下步骤:
S1:数据获取:通过港口摄像头采集进出港口船舶的视频;
S2:数据处理:对采集到的视频进行处理,得到含有船牌的图片;
S3:数据标准:对含有船牌图片进行标注;
S4:模型训练:训练船牌检测模型;
S5:模型测试:用训练好的模型对船牌图片进行检测,获得船牌的位置,面积和得分,通过筛选后,得到完整船牌图片。
2.如权利要求1所述的一种自然场景下的船牌检测方法,其特征在于,所述步骤S1中,从摄像头采集进出港口船舶的视频,船舶视频来源不仅限于港口船舶。
3.如权利要求1所述的一种自然场景下的船牌检测方法,其特征在于,所述步骤S2中,包括以下步骤:
S2-1:使用数字图像方法处理视频,获取视频中含有船只的时刻,并隔0.5s保存图片,数字图像方法包括帧间差分法、光流法或背景减法;
S2-2:人工筛选出含有船牌的图片。
4.如权利要求3所述的一种自然场景下的船牌检测方法,其特征在于,所述步骤S2中,用帧间差分法处理视频,获取含有船只的图片。
5.如权利要求1所述的一种自然场景下的船牌检测方法,其特征在于,所述步骤S3中,训练船牌检测模型-R2CNN模型。
6.如权利要求5所述的一种自然场景下的船牌检测方法,其特征在于,所述步骤S3包括以下步骤:
S3-1:将图片输入resnet101中,提取图片特征,输出两个不同大小的featuremap;
S3-2:分别通过两个不同的scale和ratio的RPN模块生成多个anchor boxes,通过softmax判断属于船牌前景或者背景,再利用边框回归修正anchors,获得较精确的proposals;
S3-3:生成的proposals通过RoI Pooling层,Pooling size设为7*7和3*11,得到固定大小的proposal feature maps;
S3-4:对proposal feature maps进行分类,利用全连接层与softmax进行具体类别的分类;同时,利用L1 Loss完成两次边框回归操作获得物体的精确位置,计算损失函数,同时更新整个网络的参数,得到训练模型,训练损失包括有无船牌的二分类损失、水平框的回归损失和倾斜框的回归损失,计算式如下:
7.如权利要求6所述的一种自然场景下的船牌检测方法,其特征在于,所述步骤S3-1中,将C4层做下采样操作后和C5层相加得到P1层,将C4层做上采样操作和C3层相加得到P2层,输出两个不同大小的feature map。
8.如权利要求6所述的一种自然场景下的船牌检测方法,其特征在于,所述步骤S3-2中,RPN1的scale为[256],ratio为[1,1/2,2,3,1/3,4,1/4,5,1/5,6,1/6,7,1/7]的中,RPN2的scale为[64],ratio为[1,1/2,2,3,1/3,4,1/4]。
10.如权利要求1~5之一所述的一种自然场景下的船牌检测方法,其特征在于,所述步骤S4中,模型置信度>0.8,船牌自身特性为长>宽,对于不符合上述条件的情况删除错误船牌框,得到最后的船牌。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010083800.XA CN111291684A (zh) | 2020-02-10 | 2020-02-10 | 一种自然场景下的船牌检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010083800.XA CN111291684A (zh) | 2020-02-10 | 2020-02-10 | 一种自然场景下的船牌检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111291684A true CN111291684A (zh) | 2020-06-16 |
Family
ID=71021986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010083800.XA Pending CN111291684A (zh) | 2020-02-10 | 2020-02-10 | 一种自然场景下的船牌检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111291684A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985470A (zh) * | 2020-07-09 | 2020-11-24 | 浙江工业大学 | 一种自然场景下的船牌矫正识别方法 |
CN112183232A (zh) * | 2020-09-09 | 2021-01-05 | 上海鹰觉科技有限公司 | 基于深度学习的船舷号位置定位方法及系统 |
CN112183233A (zh) * | 2020-09-09 | 2021-01-05 | 上海鹰觉科技有限公司 | 基于深度学习的船牌识别方法及系统 |
CN112394356A (zh) * | 2020-09-30 | 2021-02-23 | 桂林电子科技大学 | 一种基于U-Net的小目标无人机检测系统及方法 |
CN112633277A (zh) * | 2020-12-30 | 2021-04-09 | 杭州电子科技大学 | 基于深度学习的航道船牌检测、定位及识别方法 |
CN113361470A (zh) * | 2021-06-30 | 2021-09-07 | 国网山东省电力公司电力科学研究院 | 一种基于深度学习的电力外绝缘设备自动定位识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491752A (zh) * | 2017-08-14 | 2017-12-19 | 中国石油大学(华东) | 一种基于深度学习的自然场景中船牌文字识别方法、装置 |
US20190272438A1 (en) * | 2018-01-30 | 2019-09-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for detecting text |
CN110245613A (zh) * | 2019-06-17 | 2019-09-17 | 珠海华园信息技术有限公司 | 基于深度学习特征对比的船牌识别方法 |
CN110598693A (zh) * | 2019-08-12 | 2019-12-20 | 浙江工业大学 | 一种基于Faster-RCNN的船牌识别方法 |
-
2020
- 2020-02-10 CN CN202010083800.XA patent/CN111291684A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491752A (zh) * | 2017-08-14 | 2017-12-19 | 中国石油大学(华东) | 一种基于深度学习的自然场景中船牌文字识别方法、装置 |
US20190272438A1 (en) * | 2018-01-30 | 2019-09-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for detecting text |
CN110245613A (zh) * | 2019-06-17 | 2019-09-17 | 珠海华园信息技术有限公司 | 基于深度学习特征对比的船牌识别方法 |
CN110598693A (zh) * | 2019-08-12 | 2019-12-20 | 浙江工业大学 | 一种基于Faster-RCNN的船牌识别方法 |
Non-Patent Citations (3)
Title |
---|
JIANG,Y.,ET AL.: "R2CNN: Rotational Region CNN for Orientation Robust Scene Text Detection" * |
REN,S.,ET AL.: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks" * |
康鑫;孙晓刚;万磊;: "复杂场景下的水表示数检测与识别" * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985470A (zh) * | 2020-07-09 | 2020-11-24 | 浙江工业大学 | 一种自然场景下的船牌矫正识别方法 |
CN112183232A (zh) * | 2020-09-09 | 2021-01-05 | 上海鹰觉科技有限公司 | 基于深度学习的船舷号位置定位方法及系统 |
CN112183233A (zh) * | 2020-09-09 | 2021-01-05 | 上海鹰觉科技有限公司 | 基于深度学习的船牌识别方法及系统 |
CN112394356A (zh) * | 2020-09-30 | 2021-02-23 | 桂林电子科技大学 | 一种基于U-Net的小目标无人机检测系统及方法 |
CN112394356B (zh) * | 2020-09-30 | 2024-04-02 | 桂林电子科技大学 | 一种基于U-Net的小目标无人机检测系统及方法 |
CN112633277A (zh) * | 2020-12-30 | 2021-04-09 | 杭州电子科技大学 | 基于深度学习的航道船牌检测、定位及识别方法 |
CN112633277B (zh) * | 2020-12-30 | 2024-04-05 | 杭州电子科技大学 | 基于深度学习的航道船牌检测、定位及识别方法 |
CN113361470A (zh) * | 2021-06-30 | 2021-09-07 | 国网山东省电力公司电力科学研究院 | 一种基于深度学习的电力外绝缘设备自动定位识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291684A (zh) | 一种自然场景下的船牌检测方法 | |
CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
CN111563473B (zh) | 基于密集特征融合和像素级注意力的遥感舰船识别方法 | |
CN112884064B (zh) | 一种基于神经网络的目标检测与识别方法 | |
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
CN111753677B (zh) | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 | |
CN110598693A (zh) | 一种基于Faster-RCNN的船牌识别方法 | |
CN108921099A (zh) | 一种基于深度学习的航道内运动船舶目标检测方法 | |
CN109145747A (zh) | 一种水面全景图像语义分割方法 | |
CN110555420B (zh) | 一种基于行人区域特征提取和重识别融合模型网络及方法 | |
CN113591795A (zh) | 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统 | |
CN113435282B (zh) | 基于深度学习的无人机影像麦穗识别方法 | |
CN114743119A (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
CN109800714A (zh) | 一种基于人工智能的船舶检测系统及方法 | |
CN112418028A (zh) | 一种基于深度学习的卫星图像中船舶识别与分割方法 | |
CN115171022A (zh) | 一种施工场景下的安全帽佩戴检测方法及系统 | |
CN112381043A (zh) | 一种旗帜检测方法 | |
CN110866472A (zh) | 一种无人机地面运动目标识别与图像增强系统及方法 | |
CN114170549A (zh) | 一种基于深度学习的水面漂浮物检测方法 | |
CN114565824A (zh) | 基于全卷积网络的单阶段旋转舰船检测方法 | |
CN110619653A (zh) | 基于人工智能的防止船舶与桥梁碰撞预警控制系统及方法 | |
CN107316030A (zh) | 无人机对地面运动车辆自动检测与分类方法 | |
CN114140753A (zh) | 一种海洋船舶识别的方法、装置及系统 | |
CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
Dahirou et al. | Motion Detection and Object Detection: Yolo (You Only Look Once) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |