CN109086737A - 基于卷积神经网络的航运货物监控视频识别方法及系统 - Google Patents

基于卷积神经网络的航运货物监控视频识别方法及系统 Download PDF

Info

Publication number
CN109086737A
CN109086737A CN201810952859.0A CN201810952859A CN109086737A CN 109086737 A CN109086737 A CN 109086737A CN 201810952859 A CN201810952859 A CN 201810952859A CN 109086737 A CN109086737 A CN 109086737A
Authority
CN
China
Prior art keywords
image
shipping
training set
residual error
depth residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810952859.0A
Other languages
English (en)
Other versions
CN109086737B (zh
Inventor
张鸿
刘巍
代刚
赵亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Hengshi Touan Technology Co Ltd
Original Assignee
Wuhan Hengshi Touan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Hengshi Touan Technology Co Ltd filed Critical Wuhan Hengshi Touan Technology Co Ltd
Priority to CN201810952859.0A priority Critical patent/CN109086737B/zh
Publication of CN109086737A publication Critical patent/CN109086737A/zh
Application granted granted Critical
Publication of CN109086737B publication Critical patent/CN109086737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的航运货物监控视频识别方法及系统。该方法包括:获取航运监控数据;根据所述航运监控数据建立图像数据库;根据所述图像数据库按照比例阈值生成训练集以及测试集;根据所述训练集以及所述测试集建立深度残差网络模型;根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征,并建立图像特征数据库;所述图像特征数据库包括图像特征以及图像特征向量;根据所述图像特征数据库建立神经网络分类器;根据所述神经网络分类器对当前航运事件进行分类识别,确定所述当前航运事件的航运事件类别。采用本发明所提供的识别方法及系统能够提高当前航运事件的识别精度。

Description

基于卷积神经网络的航运货物监控视频识别方法及系统
技术领域
本发明涉及航运货物监控视频识别领域,特别是涉及一种基于卷积神经网络的航运货物监控视频识别方法及系统。
背景技术
由于航运过程中各种情况的复杂性与可能的风险,对于航运过程的监控一直是业内十分重视的问题。随着现代技术的更新、船舶行业的日益发展和船舶数量的增加,之前广泛使用的人工监管方法由于成本较高、人力耗费较大、反馈不及时等原因,已经不能满足航运过程中对于航运情况监控的需求。在这种背景下,使用更高效的机器监管代替人工监管,是未来航运监控发展的趋势,而如何准确的判断航运监控中出现的事件的种类并对管理者加以提醒,是航运流程中机器监管工作的瓶颈所在。
目前,在图像分类、视频动作识别等领域,深度学习技术体现出了较高的精准性和广泛的适用性,是常用的方法。但具体到航运监控这一领域,航运摄像头拍摄的监控视频过于冗长,对其使用深度学习的方法进行特征提取和识别对于计算机性能的要求过高,不适合推广;截取其中图像进行分类,又会忽略时间维度,在某些事件如装船、卸船的分辨上无法达到较高的准确度,由于现有技术在航运监控中识别精度低,从而导致无法精确识别出在航运货物过程中的当前操作。
发明内容
本发明的目的是提供一种基于卷积神经网络的航运货物监控视频识别方法及系统,以解决航运货物监控视频识别精度低的问题。
为实现上述目的,本发明提供了如下方案:
一种基于卷积神经网络的航运货物监控视频识别方法,包括:
获取航运监控数据;所述航运监控数据包括船载摄像头拍摄的视频按时间间隔截取的图片、摄像头编号、拍摄时间以及航运事件类别;所述航运事件类别包括航运过程中所有操作的工作过程;所述工作过程包括摄像头被遮挡过程、盖雨布过程、未盖布行驶过程、空仓过程、正常行驶过程、棚架盖住过程、棚架打开过程、船舶靠港过程、装船过程、卸船过程、雨布吹飞过程以及船舶停泊过程;
根据所述航运监控数据建立图像数据库;所述图像数据库内的图像按照时间顺序排列;
根据所述图像数据库按照比例阈值生成训练集以及测试集;
根据所述训练集以及所述测试集建立深度残差网络模型;
根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征,并建立图像特征数据库;所述图像特征数据库包括图像特征以及图像特征向量;
根据所述图像特征数据库建立神经网络分类器;
根据所述神经网络分类器对当前航运事件进行分类识别,确定所述当前航运事件的航运事件类别。
可选的,所述根据所述图像数据库按照比例阈值生成训练集以及测试集,具体包括:
以相同的所述航运事件类别对所述图像数据库内的所有图像命名,并将命名后的所有图像按照时间顺序排列,确定图像序列;
重新排列所述图像序列的顺序,确定打乱后的图像序列;
按照比例阈值将所述打乱后的图像序列生成训练集以及测试集。
可选的,所述按照比例阈值将所述打乱后的图像序列生成训练集以及测试集之后,还包括:
将所述训练集内的图像进行二值化处理,确定训练集二进制图像;
所述测试集内的图像进行二值化处理,确定测试集二进制图像。
可选的,所述根据所述训练集以及所述测试集建立深度残差网络模型,具体包括:
获取层数为50的深度残差网络;
将所述训练集内的图像输入到所述深度残差网络,对所述训练集内每一张图像进行训练,直至训练结果收敛,确定收敛后的图像;
根据所述收敛后的图像建立深度残差网络模型。
可选的,所述根据所述图像特征数据库建立神经网络分类器,具体包括:
将所述图像特征数据库内的图像特征向量按时序排列,并将相同的航运事件类别的图像特征向量每5个分为一组,首尾相接生成连接后的特征向量;
将各个所述航运事件类别的连接后的特征向量分成特征训练集以及特征测试集;所述特征训练集以及所述特征测试集的比例为5:1;
根据所述特征训练集以及所述特征测试集建立神经网络分类器。
一种基于卷积神经网络的航运货物监控视频识别系统,包括:
航运监控数据获取模块,用于获取航运监控数据;所述航运监控数据包括船载摄像头拍摄的视频按时间间隔截取的图片、摄像头编号、拍摄时间以及航运事件类别;所述航运事件类别包括航运过程中所有操作的工作过程;所述工作过程包括摄像头被遮挡过程、盖雨布过程、未盖布行驶过程、空仓过程、正常行驶过程、棚架盖住过程、棚架打开过程、船舶靠港过程、装船过程、卸船过程、雨布吹飞过程以及船舶停泊过程;
图像数据库建立模块,用于根据所述航运监控数据建立图像数据库;所述图像数据库内的图像按照时间顺序排列;
训练集以及测试集生成模块,用于根据所述图像数据库按照比例阈值生成训练集以及测试集;
深度残差网络模型建立模块,用于根据所述训练集以及所述测试集建立深度残差网络模型;
特征提取模块,用于根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征,并建立图像特征数据库;所述图像特征数据库包括图像特征以及图像特征向量;
神经网络分类器建立模块,用于根据所述图像特征数据库建立神经网络分类器;
识别模块,用于根据所述神经网络分类器对当前航运事件进行分类识别,确定所述当前航运事件的航运事件类别。
可选的,所述训练集以及测试集生成模块具体包括:
图像序列确定单元,用于以相同的所述航运事件类别对所述图像数据库内的所有图像命名,并将命名后的所有图像按照时间顺序排列,确定图像序列;
打乱后的图像序列确定单元,用于重新排列所述图像序列的顺序,确定打乱后的图像序列;
训练集以及测试集生成单元,用于按照比例阈值将所述打乱后的图像序列生成训练集以及测试集。
可选的,还包括:训练集二进制图像确定单元,用于训练集以及测试集生成单元,用于按照比例阈值将所述打乱后的图像序列生成训练集以及测试集之后,将所述训练集内的图像进行二值化处理,确定训练集二进制图像;
测试集二进制图像确定单元,用于所述测试集内的图像进行二值化处理,确定测试集二进制图像。
可选的,所述深度残差网络模型建立模块具体包括:
深度残差网络获取单元,用于获取层数为50的深度残差网络;
收敛单元,用于将所述训练集内的图像输入到所述深度残差网络,对所述训练集内每一张图像进行训练,直至训练结果收敛,确定收敛后的图像;
深度残差网络模型建立单元,用于根据所述收敛后的图像建立深度残差网络模型。
可选的,所述神经网络分类器建立模块具体包括:
特征向量连接单元,用于将所述图像特征数据库内的图像特征向量按时序排列,并将相同的航运事件类别的图像特征向量每5个分为一组,首尾相接生成连接后的特征向量;
特征训练集以及特征测试集确定单元,用于将各个所述航运事件类别的连接后的特征向量分成特征训练集以及特征测试集;所述特征训练集以及所述特征测试集的比例为5:1;
神经网络分类器建立单元,用于根据所述特征训练集以及所述特征测试集建立神经网络分类器。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供了一种基于卷积神经网络的航运货物监控视频识别方法及系统,基于深度学习的图像分类技术做出改进,利用深度残差网络模型提取图像数据库内的每一张图像的图像特征,并建立图像特征数据库,根据所述图像特征数据库建立神经网络分类器;根据所述神经网络分类器对当前航运事件进行分类识别,确定所述当前航运事件的航运事件类别。采用本发明所提供的识别方法及系统既能规避直接识别视频对于图形处理器(Graphics Processing Unit,GPU)计算能力的巨大需求,又能保证算法对于某些包含时间信息的事件的分类准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的航运货物监控视频识别方法流程图;
图2为本发明所提供的识别效果示意图;
图3为本发明所提供的航运货物监控视频识别系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于卷积神经网络的航运货物监控视频识别方法及系统,能够提高通过航运货物监控视频确定当前航运事件的识别精度。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的航运货物监控视频识别方法流程图,如图1所示,一种基于卷积神经网络的航运货物监控视频识别方法,包括:
步骤101:获取航运监控数据;所述航运监控数据包括船载摄像头拍摄的视频按时间间隔截取的图片、摄像头编号、拍摄时间以及航运事件类别;所述航运事件类别包括航运过程中所有操作的工作过程;所述工作过程包括摄像头被遮挡过程、盖雨布过程、未盖布行驶过程、空仓过程、正常行驶过程、棚架盖住过程、棚架打开过程、船舶靠港过程、装船过程、卸船过程、雨布吹飞过程以及船舶停泊过程。
步骤102:根据所述航运监控数据建立图像数据库;所述图像数据库内的图像按照时间顺序排列。
通过船载摄像头拍摄的视频按一定时间间隔截取图片,或直接接收摄像头每隔一定时间传来的图片,并以摄像头的编号区分,按时间顺序排列好,分类放在不同文件夹中。
步骤103:根据所述图像数据库按照比例阈值生成训练集以及测试集。
建立训练集和测试集:将之前收集的数据按分类命名,将所有图像打乱后,以训练集占比5/6,测试集占比1/6的比例建立训练集和测试集。
步骤104:根据所述训练集以及所述测试集建立深度残差网络模型。
使用C++程序将训练集和测试集保存为二进制文件,用于训练出提取图像CNN特征的深度神经网络模型,且能节省储存空间。
使用50层的深度残差网络来提取图像特征。
深度残差网络相对于一般深度网络的优势在于使用高速网络Highway Network解决在层数较高的深度网络中的梯度消失问题。
在深度神经网络中,如果层数较高,其较深的某些层很可能需要模拟一个恒等映射,而这个恒等映射对于某一层是较难学习的,因此深度残差网络利用捷径连接(identity)把原本的恒等映射F(x)=x设计为F(x)=g(x)+x,也即g(x)=F(x)-x,只要学习使残差g(x)=0,就能学习到一个恒等映射,降低了学习恒等映射的难度。
利用深度残差网络,可以有效降低在深度网络层数较多时产生的Degradation现象,使得深度网络在层数较大时的误差不会增大,提高网络效率。
这里先将图像数据集传入深度残差网络,使其针对单张图片进行训练,直至训练结果收敛。在训练收敛后,把训练收敛的深度残差网络模型保存成图以供提取特征使用。
步骤105:根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征,并建立图像特征数据库;所述图像特征数据库包括图像特征以及图像特征向量。
利用深度网络提取图像特征:使用之前保存的图模型,对图像数据集中的每个图像进行提取特征;只需要将图像数据集中每个图片顺序传入之前训练好的深度残差网络网络模型,在提取完成后将提取到的图像特征按之前图像本身的分类保存到npy文件中。
建立图像特征数据集:在使用深度残差网络提取到图像的特征之后,还要将这些图像的特征向量连接起来,并建立一个数据集以供接下来分类器的训练与测试。
先从之前的npy文件中读出储存的特征向量,由于这些特征向量在保存时是按时序排列,可以将同分类的特征向量每5个一组,首尾相接形成一个连接后的特征向量;此后,将连接后的各个类别的特征向量分别按训练集占比5/6,测试集占比1/6的比例,混合放入训练集和测试集中,并分别保存在对应的npy文件中;因此,在实际应用中使用一个50层的深度神经网络依次对按时间顺序排列且时间间隔相等的5张监控图像进行特征提取。
步骤106:根据所述图像特征数据库建立神经网络分类器。
所述神经网络分类器由数个全连接层组成,是一个典型的神经网络分类器结构,也是在参数等方面需要重点关注的部分。
由于输入是由五张图象特征向量连接而成的向量,其数据量较大、参数较多,所以全连接层不宜太多,以免影响运行效率;在batch_size等参数的选择上,也需要考虑到显卡性能、收敛速度等要素,进行调试。
将之前保存好的图像特征向量数据集输入分类器进行训练,直到训练结果收敛,在训练好神经网络分类器之后,将其模型冻结在图中以供分类时调用。
步骤107:根据所述神经网络分类器对当前航运事件进行分类识别,确定所述当前航运事件的航运事件类别。
摄像头每隔一定时间,拍摄一张图片并存放到本地服务器中;每拍摄五张图片,则将这五张图片传入特征提取神经网络,也即之前训练好的深度残差模型中进行提取特征的操作。
特征提取完毕后,将得到的五个特征向量首尾连接,传入之前训练好的神经网络分类器(即:全连接分类器)进行分类,得到结果后向服务器反馈分类的类别、类别名和摄像头编号等消息(即:将提取出的5张图像的特征向量连接到一起构成一个特征向量,再将该向量放入一个数层的分类器中进行分类操作,输出它的类别)。
下面通过具体实例来进一步说明。
(1)建立航运事件图像数据库。
初始数据是由航运摄像头摄下的视频、图片经过一定处理之后分类放置的图片数据,分为13类,类别名分别为:摄像头被遮挡、盖雨布、未盖布行驶、空仓、正常行驶、棚架盖住过程、棚架打开过程、船舶靠港过程、装船过程、卸船过程、雨布吹飞过程、船舶停泊、其他,每个类包含600组图片数据,其中每5张按时序放置的属于同一过程的图片为一组,每类共有3000张图片。
以训练集占比5/6,测试集占比1/6的比例建立训练集和测试集,即训练集每类包含500组个数据,测试集每类包含100组数据。将同一集合的各组数据打乱后混合在一起,通过其命名和序号来区分其所属类别,就完成了训练集和测试集的建立。
在此基础上,可以将其保存为2进制bin文件,用于训练出提取图像CNN特征的深度神经网络模型,且能节省储存空间。
(2)建立图像特征数据集。
将(1)中建立的航运图像数据集的所有图片当作单张图片输入深度残差特征提取网络中进行训练,直至其结果收敛;在训练收敛后,把训练收敛的深度残差网络模型保存成图以供提取特征使用。
使用之前保存的图模型,对图像数据集中的每个图像进行提取特征,在提取完成后将提取到的图像特征按之前图像本身的分类保存到npy文件中,即训练集和测试集中的每个类都生成一个npy文件。
从这些npy文件中读出储存的特征向量,由于这些特征向量在保存时是按时序排列,可以将同分类的特征向量每5个一组,首尾相接形成一个连接后的特征向量。此后,将连接后的各个类别的特征向量分别按训练集占比5/6,测试集占比1/6的比例,混合放入训练集和测试集中,即训练集共有6500个特征向量,测试集中有1300个特征向量,分别保存在对应的npy文件中,这里得到的2个npy文件就是所需要的图像特征数据集了。
(3)训练神经网络分类器。
这一步用之前保存的图像特征数据集来训练神经网络分类器。
将之前保存好的图像特征向量数据集输入分类器进行训练,直到训练结果收敛。在训练好神经网络分类器之后,将其模型冻结在图中以供分类时调用。这里分类器训练时的几个关键参数需要说明:Batch_Size=25,learning_rate=1e-4,momentum=0.9。
(4)航运事件分类。
在之前的步骤中,已经得到了两个训练好的神经网络模型。
具体的应用情景如下:摄像头每隔5分钟,拍摄一张图片并存放到本地服务器中;每拍摄五张图片,则将这五张图片以其摄像头编号和拍摄时间来命名,并传入特征提取神经网络,进行提取特征的操作。
特征提取完毕后,将得到的五个特征向量首尾连接,传入之前训练好的全连接分类器进行分类,得到结果后向服务器反馈分类的类别、类别名和摄像头编号等消息。
图2为本发明所提供的识别效果示意图,如图2所示,能够清楚的确定当前航运事件具体的航运事件类别。
在这个情境下,测试本发明的精度参数如下表1所示:
表1航运监控视频中各航运事件类别分类精确度一览表
由于航运监控过程中,各种事件之间特征差别较大,容易区分,所以精确度达到了99.75%以上,完全可以满足实际应用的需求。
图3为本发明所提供的航运货物监控视频识别系统结构图,如图3所示,一种基于卷积神经网络的航运货物监控视频识别系统,包括:
航运监控数据获取模块301,用于获取航运监控数据;所述航运监控数据包括船载摄像头拍摄的视频按时间间隔截取的图片、摄像头编号、拍摄时间以及航运事件类别;所述航运事件类别包括航运过程中所有操作的工作过程;所述工作过程包括摄像头被遮挡过程、盖雨布过程、未盖布行驶过程、空仓过程、正常行驶过程、棚架盖住过程、棚架打开过程、船舶靠港过程、装船过程、卸船过程、雨布吹飞过程以及船舶停泊过程。
图像数据库建立模块302,用于根据所述航运监控数据建立图像数据库;所述图像数据库内的图像按照时间顺序排列。
训练集以及测试集生成模块303,用于根据所述图像数据库按照比例阈值生成训练集以及测试集。
所述训练集以及测试集生成模块303具体包括:
图像序列确定单元,用于以相同的所述航运事件类别对所述图像数据库内的所有图像命名,并将命名后的所有图像按照时间顺序排列,确定图像序列;打乱后的图像序列确定单元,用于重新排列所述图像序列的顺序,确定打乱后的图像序列;训练集以及测试集生成单元,用于按照比例阈值将所述打乱后的图像序列生成训练集以及测试集。
该识别系统还包括:训练集二进制图像确定单元,用于训练集以及测试集生成单元,用于按照比例阈值将所述打乱后的图像序列生成训练集以及测试集之后,将所述训练集内的图像进行二值化处理,确定训练集二进制图像;测试集二进制图像确定单元,用于所述测试集内的图像进行二值化处理,确定测试集二进制图像。
深度残差网络模型建立模块304,用于根据所述训练集以及所述测试集建立深度残差网络模型。
所述深度残差网络模型建立模块304具体包括:
深度残差网络获取单元,用于获取层数为50的深度残差网络;收敛单元,用于将所述训练集内的图像输入到所述深度残差网络,对所述训练集内每一张图像进行训练,直至训练结果收敛,确定收敛后的图像;深度残差网络模型建立单元,用于根据所述收敛后的图像建立深度残差网络模型。
特征提取模块305,用于根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征,并建立图像特征数据库;所述图像特征数据库包括图像特征以及图像特征向量。
神经网络分类器建立模块306,用于根据所述图像特征数据库建立神经网络分类器。
所述神经网络分类器建立模块306具体包括:特征向量连接单元,用于将所述图像特征数据库内的图像特征向量按时序排列,并将相同的航运事件类别的图像特征向量每5个分为一组,首尾相接生成连接后的特征向量;特征训练集以及特征测试集确定单元,用于将各个所述航运事件类别的连接后的特征向量分成特征训练集以及特征测试集;所述特征训练集以及所述特征测试集的比例为5:1;神经网络分类器建立单元,用于根据所述特征训练集以及所述特征测试集建立神经网络分类器。
识别模块307,用于根据所述神经网络分类器对当前航运事件进行分类识别,确定所述当前航运事件的航运事件类别。
本发明与现有技术相比的优点在于:
(1)本发明与现有技术相比,能够以更高的精确度对航运过程中遭遇的事件进行分类。利用深度学习技术,只要训练样本量足够,就能训练出足够拟合测试对象的深度网络模型,在提取特征和分类两方面得到良好的效果,获得远超传统方法、接近人眼识别率的准确度。
(2)本发明与现有技术相比,更适合处理长时间的监控事件。一般对于监控视频对象的分类,要使用光流法等方法对视频直接进行识别,这在时间较短的视频上效果不错,但对于时间较长、帧数较多的视频则会导致网络复杂度过高、性能需求较大的问题。而本发明截取视频中的几帧进行连接,本质上还是对图像进行处理,在复杂度和精度的指标上达到了一定的平衡,能吻合实际需求,更适合处理长时间、变化平缓的视频对象。
(3)本发明与现有技术相比,在其他需要识别时间跨度大、变化平缓的视频事件的领域,具有很大的潜力,对于内容稍加改动就可以应用到上述领域。
此外,本发明还可向相关领域推广,随着航运产业的发展,对于航运过程监控的需求越来越大,现有的人力监督方法已经无法满足日益增长的需求;本发明通过深度学习的方法实现了航运监控事件的识别,一方面通过特征连接的方法规避了一般直接识别监控视频带来的设备和计算能力需求,降低了识别监控的成本;另一方面由于保存了一定的时间维度信息,在识别精度上保持了较高的水准。本发明在具有相似需求的其他领域也有一定的推广价值,适合处理时间跨度大、变化比较平缓的监控、视频识别任务。
本发明所提供的航运货物监控视频识别方法及系统,结构科学、方法合理、易于施行、效率较高,具有较广泛的推广价值。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于卷积神经网络的航运货物监控视频识别方法,其特征在于,包括:
获取航运监控数据;所述航运监控数据包括船载摄像头拍摄的视频按时间间隔截取的图片、摄像头编号、拍摄时间以及航运事件类别;所述航运事件类别包括航运过程中所有操作的工作过程;所述工作过程包括摄像头被遮挡过程、盖雨布过程、未盖布行驶过程、空仓过程、正常行驶过程、棚架盖住过程、棚架打开过程、船舶靠港过程、装船过程、卸船过程、雨布吹飞过程以及船舶停泊过程;
根据所述航运监控数据建立图像数据库;所述图像数据库内的图像按照时间顺序排列;
根据所述图像数据库按照比例阈值生成训练集以及测试集;
根据所述训练集以及所述测试集建立深度残差网络模型;
根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征,并建立图像特征数据库;所述图像特征数据库包括图像特征以及图像特征向量;
根据所述图像特征数据库建立神经网络分类器;
根据所述神经网络分类器对当前航运事件进行分类识别,确定所述当前航运事件的航运事件类别。
2.根据权利要求1所述的识别方法,其特征在于,所述根据所述图像数据库按照比例阈值生成训练集以及测试集,具体包括:
以相同的所述航运事件类别对所述图像数据库内的所有图像命名,并将命名后的所有图像按照时间顺序排列,确定图像序列;
重新排列所述图像序列的顺序,确定打乱后的图像序列;
按照比例阈值将所述打乱后的图像序列生成训练集以及测试集。
3.根据权利要求2所述的识别方法,其特征在于,所述按照比例阈值将所述打乱后的图像序列生成训练集以及测试集之后,还包括:
将所述训练集内的图像进行二值化处理,确定训练集二进制图像;
所述测试集内的图像进行二值化处理,确定测试集二进制图像。
4.根据权利要求1所述的识别方法,其特征在于,所述根据所述训练集以及所述测试集建立深度残差网络模型,具体包括:
获取层数为50的深度残差网络;
将所述训练集内的图像输入到所述深度残差网络,对所述训练集内每一张图像进行训练,直至训练结果收敛,确定收敛后的图像;
根据所述收敛后的图像建立深度残差网络模型。
5.根据权利要求1所述的识别方法,其特征在于,所述根据所述图像特征数据库建立神经网络分类器,具体包括:
将所述图像特征数据库内的图像特征向量按时序排列,并将相同的航运事件类别的图像特征向量每5个分为一组,首尾相接生成连接后的特征向量;
将各个所述航运事件类别的连接后的特征向量分成特征训练集以及特征测试集;所述特征训练集以及所述特征测试集的比例为5:1;
根据所述特征训练集以及所述特征测试集建立神经网络分类器。
6.一种基于卷积神经网络的航运货物监控视频识别系统,其特征在于,包括:
航运监控数据获取模块,用于获取航运监控数据;所述航运监控数据包括船载摄像头拍摄的视频按时间间隔截取的图片、摄像头编号、拍摄时间以及航运事件类别;所述航运事件类别包括航运过程中所有操作的工作过程;所述工作过程包括摄像头被遮挡过程、盖雨布过程、未盖布行驶过程、空仓过程、正常行驶过程、棚架盖住过程、棚架打开过程、船舶靠港过程、装船过程、卸船过程、雨布吹飞过程以及船舶停泊过程;
图像数据库建立模块,用于根据所述航运监控数据建立图像数据库;所述图像数据库内的图像按照时间顺序排列;
训练集以及测试集生成模块,用于根据所述图像数据库按照比例阈值生成训练集以及测试集;
深度残差网络模型建立模块,用于根据所述训练集以及所述测试集建立深度残差网络模型;
特征提取模块,用于根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征,并建立图像特征数据库;所述图像特征数据库包括图像特征以及图像特征向量;
神经网络分类器建立模块,用于根据所述图像特征数据库建立神经网络分类器;
识别模块,用于根据所述神经网络分类器对当前航运事件进行分类识别,确定所述当前航运事件的航运事件类别。
7.根据权利要求6所述的识别系统,其特征在于,所述训练集以及测试集生成模块具体包括:
图像序列确定单元,用于以相同的所述航运事件类别对所述图像数据库内的所有图像命名,并将命名后的所有图像按照时间顺序排列,确定图像序列;
打乱后的图像序列确定单元,用于重新排列所述图像序列的顺序,确定打乱后的图像序列;
训练集以及测试集生成单元,用于按照比例阈值将所述打乱后的图像序列生成训练集以及测试集。
8.根据权利要求7所述的识别系统,其特征在于,还包括:训练集二进制图像确定单元,用于训练集以及测试集生成单元,用于按照比例阈值将所述打乱后的图像序列生成训练集以及测试集之后,将所述训练集内的图像进行二值化处理,确定训练集二进制图像;
测试集二进制图像确定单元,用于所述测试集内的图像进行二值化处理,确定测试集二进制图像。
9.根据权利要求6所述的识别系统,其特征在于,所述深度残差网络模型建立模块具体包括:
深度残差网络获取单元,用于获取层数为50的深度残差网络;
收敛单元,用于将所述训练集内的图像输入到所述深度残差网络,对所述训练集内每一张图像进行训练,直至训练结果收敛,确定收敛后的图像;
深度残差网络模型建立单元,用于根据所述收敛后的图像建立深度残差网络模型。
10.根据权利要求6所述的识别系统,其特征在于,所述神经网络分类器建立模块具体包括:
特征向量连接单元,用于将所述图像特征数据库内的图像特征向量按时序排列,并将相同的航运事件类别的图像特征向量每5个分为一组,首尾相接生成连接后的特征向量;
特征训练集以及特征测试集确定单元,用于将各个所述航运事件类别的连接后的特征向量分成特征训练集以及特征测试集;所述特征训练集以及所述特征测试集的比例为5:1;
神经网络分类器建立单元,用于根据所述特征训练集以及所述特征测试集建立神经网络分类器。
CN201810952859.0A 2018-08-21 2018-08-21 基于卷积神经网络的航运货物监控视频识别方法及系统 Active CN109086737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810952859.0A CN109086737B (zh) 2018-08-21 2018-08-21 基于卷积神经网络的航运货物监控视频识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810952859.0A CN109086737B (zh) 2018-08-21 2018-08-21 基于卷积神经网络的航运货物监控视频识别方法及系统

Publications (2)

Publication Number Publication Date
CN109086737A true CN109086737A (zh) 2018-12-25
CN109086737B CN109086737B (zh) 2021-11-02

Family

ID=64794013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810952859.0A Active CN109086737B (zh) 2018-08-21 2018-08-21 基于卷积神经网络的航运货物监控视频识别方法及系统

Country Status (1)

Country Link
CN (1) CN109086737B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443119A (zh) * 2019-06-25 2019-11-12 中车工业研究院有限公司 车厢内货物状态识别方法及装置
CN110610131A (zh) * 2019-08-06 2019-12-24 平安科技(深圳)有限公司 人脸运动单元的检测方法、装置、电子设备及存储介质
CN110991366A (zh) * 2019-12-09 2020-04-10 武汉科技大学 一种基于三维残差网络的航运监控事件识别方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1881994A (zh) * 2006-05-18 2006-12-20 北京中星微电子有限公司 一种用于移动设备的手写输入及手势识别的方法和装置
CN103136540A (zh) * 2013-03-19 2013-06-05 中国科学院自动化研究所 一种基于隐结构推理的行为识别方法
CN103886321A (zh) * 2014-02-26 2014-06-25 中国船舶重工集团公司第七一〇研究所 一种手指静脉特征提取方法
CN104954741A (zh) * 2015-05-29 2015-09-30 东方浩联(北京)智能科技有限公司 深层次自我学习网络实现矿车空满状态的检测方法和系统
CN106101651A (zh) * 2016-07-29 2016-11-09 天津埃特维科技有限公司 自动化集装箱码头视频监控系统
CN107688391A (zh) * 2017-09-01 2018-02-13 广州大学 一种基于单目视觉的手势识别方法和装置
CN108090558A (zh) * 2018-01-03 2018-05-29 华南理工大学 一种基于长短期记忆网络的时间序列缺失值自动填补方法
US20180158210A1 (en) * 2015-08-26 2018-06-07 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1881994A (zh) * 2006-05-18 2006-12-20 北京中星微电子有限公司 一种用于移动设备的手写输入及手势识别的方法和装置
CN103136540A (zh) * 2013-03-19 2013-06-05 中国科学院自动化研究所 一种基于隐结构推理的行为识别方法
CN103886321A (zh) * 2014-02-26 2014-06-25 中国船舶重工集团公司第七一〇研究所 一种手指静脉特征提取方法
CN104954741A (zh) * 2015-05-29 2015-09-30 东方浩联(北京)智能科技有限公司 深层次自我学习网络实现矿车空满状态的检测方法和系统
US20180158210A1 (en) * 2015-08-26 2018-06-07 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
CN106101651A (zh) * 2016-07-29 2016-11-09 天津埃特维科技有限公司 自动化集装箱码头视频监控系统
CN107688391A (zh) * 2017-09-01 2018-02-13 广州大学 一种基于单目视觉的手势识别方法和装置
CN108090558A (zh) * 2018-01-03 2018-05-29 华南理工大学 一种基于长短期记忆网络的时间序列缺失值自动填补方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTOPH FEICHTENHOFER ET AL.: "Spatiotemporal Residual Networks for Video Action Recognition", 《AIXIV》 *
石仕伟: "基于深度学习的视频行为识别研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443119A (zh) * 2019-06-25 2019-11-12 中车工业研究院有限公司 车厢内货物状态识别方法及装置
CN110610131A (zh) * 2019-08-06 2019-12-24 平安科技(深圳)有限公司 人脸运动单元的检测方法、装置、电子设备及存储介质
CN110610131B (zh) * 2019-08-06 2024-04-09 平安科技(深圳)有限公司 人脸运动单元的检测方法、装置、电子设备及存储介质
CN110991366A (zh) * 2019-12-09 2020-04-10 武汉科技大学 一种基于三维残差网络的航运监控事件识别方法及系统

Also Published As

Publication number Publication date
CN109086737B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
US11176418B2 (en) Model test methods and apparatuses
CN109086737A (zh) 基于卷积神经网络的航运货物监控视频识别方法及系统
Zhang et al. Single image dehazing via dual-path recurrent network
CN114821282B (zh) 一种基于域对抗神经网络的图像检测装置及方法
CN113361645B (zh) 基于元学习及知识记忆的目标检测模型构建方法及系统
US11468296B2 (en) Relative position encoding based networks for action recognition
CN108710893A (zh) 一种基于特征融合的数字图像相机源模型分类方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN113841161A (zh) 用于自动生成内容分发图像的可扩展体系架构
CN113128419A (zh) 一种障碍物识别方法和装置、电子设备及存储介质
CN111310837A (zh) 车辆改装识别方法、装置、系统、介质和设备
CN114155551A (zh) 基于YOLOv3改进的复杂环境下的行人检测方法及装置
CN116485796A (zh) 害虫检测方法、装置、电子设备及存储介质
CN116721091A (zh) 一种布匹瑕疵检测方法、装置及可读介质
CN110795993A (zh) 一种构建模型的方法、装置、终端设备及介质
CN113139932B (zh) 一种基于集成学习的深度学习缺陷图像识别方法及系统
CN113435482B (zh) 一种判断开放集的方法、装置及其设备
CN111666985B (zh) 一种基于dropout的深度学习对抗样本图像分类防御方法
CN109063732A (zh) 基于特征交互和多任务学习的图像排序方法及系统
CN114998172A (zh) 图像处理方法及相关系统
CN113657389A (zh) 一种软件定义卫星语义分割方法、装置和介质
CN113239994A (zh) 基于YOLOv4-tiny算法的电网缺陷检测方法、装置、存储介质及电子设备
CN109325521B (zh) 用于虚拟人物的检测方法及装置
CN113011442A (zh) 一种基于双向自适应特征金字塔的目标检测方法及系统
CN111797922A (zh) 文本图像分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant