CN109918537A - 一种基于HBase的船舶监控视频内容的快速检索方法 - Google Patents
一种基于HBase的船舶监控视频内容的快速检索方法 Download PDFInfo
- Publication number
- CN109918537A CN109918537A CN201910046771.7A CN201910046771A CN109918537A CN 109918537 A CN109918537 A CN 109918537A CN 201910046771 A CN201910046771 A CN 201910046771A CN 109918537 A CN109918537 A CN 109918537A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- hash
- key frame
- ship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 75
- 230000006870 function Effects 0.000 claims description 31
- 238000012544 monitoring process Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000002040 relaxant effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 12
- 238000013135 deep learning Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于HBase的船舶监控视频内容的快速检索方法,通过训练好的深度哈希网络模型来提取视频关键帧图像的深度哈希特征,并将提取到的深度哈希特征向量写入HBase数据库中,以此构建视频关键帧的哈希特征库;在哈希特征库中的所有视频关键帧图像深度哈希特征向量进行遍历,计算待检索图像深度哈希特征向量与哈希特征库中的视频关键帧图像深度哈希特征向量之间的汉明距离;选取汉明距离最小的视频关键帧图像,通过舰船视频名称得到检索的舰船视频数据。本发明利用基于图像相似度的关键帧提取算法和基于深度哈希网络模型,实现基于HBase的船舶监控视频内容的快速检索方法,从而能够快速高效的检索出待检索图像对应的视频内容。
Description
技术领域
本发明涉及基于舰船视频内容检索领域,尤其涉及一种基于HBase的船舶监控视频内容的快速检索方法。
近年来,随着海洋视频感知技术与系统的不断发展,已经完成高清化监控摄像节点的大量布设,海洋监控过程中采集的舰船视频数据规模不断增大,这些舰船视频数据逐渐展现出大数据的特征,具有“4V”特点,即Volume(体量浩大)、Variety(多样性)、Velocity(生成快速)和Value(价值)。对于海量的监控船舶的视频数据,存在着大量的冗余,并且也带来了昂贵的存储,那么提出一个高效的舰船视频内容快速检索方法就显得尤为重要。
由于近几年随着人工智能和深度学习技术的飞速发展,为舰船视频内容快速检索提供了方向。其中深度学习作为机器学习的分支,在语音识别,图像分类与识别等多个研究方向取得了优异的成绩,成为当前研究的热点。深度学习通过建立多层次的模型来模拟人脑神经系统对外接信号的处理,可自动从原始输入数据中提取稳定的深层特征。深度学习在视频检索的应用中,相比传统的人工神经网络,具有明显的优势。将深度学习应用于舰船视频内容检索领域,并使用大数据和云计算技术对海量监控视频进行分布式处理和存储,从而能够快速并且高效的检索出待检索的图片内容。
一个完整的视频检索过程通常包含三个主要步骤:视频预处理,即去冗余帧的过程包括镜头检测和关键帧提取;视频特征提取;特征匹配,即相似度计算。在视频预处理领域,现有技术主要运用像素差法、直方图法和边缘探测法对视频做镜头检测和关键帧提取。这些方法使用视频图像的底层特征,往往不能准确提取出表征待检索视频的镜头和关键帧序列,增加的关键帧的冗余度,同时所提取到的关键帧并不具有代表性,并且也不能满足实时性的要求。在视频特征提取方面,现有的主流的关键帧图像特征提取和检索方法采用的视觉特征编码固定,缺乏学习能力,导致图像表达能力不强,而且视觉特征位数较高,严重制约了其图像检索性能。传统的视频检索方法不仅对计算机的计算能力和存储容量要求很高,而且当提取到的关键帧数据库足够大时,需要找出待检索的图片对应的视频内容犹如“大海捞针”。
发明内容
针对现有技术存在的技术问题,本发明提出一种基于HBase的船舶监控视频内容的快速检索方法,采用基于图像相似度的视频关键帧提取算法对视频关键帧进行提取,可有效降低关键帧冗余度,提高关键帧代表性,然后采用基于深度学习的哈希算法具有自动提取图像特征,并具有线性不可分条件下的分类性能,同时在检索中具有计算效率高和空间占用低的优点。将两种方法的结合,将原本海量视频中的“大海捞针”问题转化为可实现的“桌面捞针”,提高了检索精度,减少了检索耗时,进而提高视频检索的效率。
为解决其技术问题,本发明所采用的技术方案如下:
一种基于HBase的船舶监控视频内容的快速检索方法,其特征在于,包括以下步骤:
步骤S1:通过图像相似度算法对海量的海洋监控视频数据进行视频关键帧提取,并将提取的视频关键帧图像、视频名称作为一行数据写入到HBase数据库中。
步骤S2:通过训练好的深度哈希网络模型来提取视频关键帧图像的深度哈希特征,并将提取到的深度哈希特征向量写入HBase数据库中,以此构建视频关键帧的哈希特征库。
步骤S3:通过训练好的深度哈希网络模型提取待检索舰船图像的深度哈希特征向量。
步骤S4:步骤S2中哈希特征库中的所有视频关键帧图像深度哈希特征向量进行遍历,计算待检索舰船图像深度哈希特征向量与哈希特征库中的视频关键帧图像深度哈希特征向量之间的汉明距离;
步骤S5:对步骤S4中计算得到的汉明距离进行排序,选取汉明距离最小的视频关键帧图像,并从HBase数据库中获取到该视频关键帧图像所属的舰船视频的名称,最后通过舰船视频名称得到检索的舰船视频数据。
其中步骤S1进一步包括:
步骤S11:获取海洋监测舰船视频数据。
步骤S12:通过图像相似度算法对获取的舰船视频进行关键帧提取。
该步骤进一步包括:
步骤S121:对于海洋监测舰船视频片段{π1,π2,...,πn},将πi划分为视频帧图像,同时将每帧视频图像划分成M×N的图像块。
步骤S122:提取视频帧图像块的特征向量,记为Ip(m,n)=(xp1,xp2,...,xps),其中p代表视频帧的位置,s代表特征向量的维度。
步骤S123:将视频片段πi的起始帧作为参考帧和关键帧,计算参考帧与后续帧对应图像块之间的特征距离。
其中i为参考帧,j为后续帧,Dij(m,n)是参考帧和后续帧对应的第m行n列图像块的特征距离。
步骤S124:设T1是局部阈值,如果Dij(m,n)>T1,说明此图像块发生了显著变化;如果Dij(m,n)<T1,则说明此图像块的内容基本没有发生变化.然后统计视频帧图像中发生显著变化的图像块的数目,记为Cj。
步骤S125:将发生显著变化的图像块的数目Cj进行归一化.
步骤S126:设T2是全局阈值,比较和T2,如果说明后续帧相对于参考帧发生了巨大变化,将第j帧作为关键帧和参考帧,重复上述操作;如果说明后续帧与参考帧相似,继续计算下一帧,直到视频片段πi的所有帧计算完毕,此时即可得到视频片段的所有关键帧。
步骤S13:将提取的视频关键帧图像、视频名称作为一行数据写入到HBase数据库中。
其中步骤S2进一步包括:
步骤S21:将步骤S13中提取到的视频关键帧图像通过深度哈希算法来提取视频关键帧图像的深度哈希特征向量。
该步骤可进一步包括:
步骤S211:利用海边监控视频数据集构建舰船目标数据集和步骤S1提取到的视频关键帧图像对设置好DSH深度哈希网络模型进行学习训练。
该步骤可进一步包括:
步骤S2111:DSH深度哈希网络的超参数设定如表1所示
表1 DSH网络结构超参数设置
其中,k为最终输出hash编码的位数,可以根据精度需求进行设定,本文在使用DSH网络提取舰船特征信息时,将k值设置为12bit。
步骤S2112:DSH的优化目标函数
DSH网络的目标函数形式化表示为
其中,表示两个二值化之后的向量之间的海明距离,其中N表示每次输入图片的数量,hc2为k维二值化向量。而m表示硬门限值,在两向量之间的海明距离未达到门限值时,则以简记为0。然而,上述目标函数为离散约束的最值问题,通常难以实现优化,因而通常使用欧氏距离代替海明距离并通过放宽离散约束项限制进行近似,最终得到可行的目标函数。
其中,s1表示相似对象映射成相同二进制的损失,s2表示相似图像映射成为不同二进制序列的损失,而s3为维持损失函数梯度为-1或者+1值,保证训练的稳定性。λ表示正则化权重系数,hci,1表示第i对图像中第1个图像的输出结果,yi表示第对图像是否相似,相似为0不相似为1,1表示k维全为1的单位向量。在模型和目标函数构建完成之后便可以通过已有数据集对构建的网络模型参数进行优化,DSH网络采用Mini-batch SGD作为优化算法,但在此由于绝对值函数在x=1时存在不可导点,因而采用次梯度进行近似,目标函数对于hash向量的偏导数可以表示为
在此:
在得到目标函数相对于输出层的导数的基础上便可以通过方向传播算法进行参数的特征,从而实现模型的优化,最终得到优化完成的模型。
步骤S2113:DSH哈希特征的生成
图像输入到DSH网络后,通过网络的3层卷积和2个全连接层的学习,得到了图像的k位类哈希编码,并最终通过对k位的类哈希编码进行量化,得到k位的图像哈希编码(本文k的取值为12),采用的量化函数为:
步骤S2114:利用海边监控视频数据集构建舰船目标数据集和步骤S1提取到是视频关键帧图像对设置好的DSH深度哈希网络模型进行学习训练。
步骤S212:将数据库中的视频关键帧通过训练好的DSH深度哈希网络模型来中提取视频关键帧图像的深度哈希特征向量。
步骤S22:将提取到的视频关键帧图像中的深度哈希特征向量写入到Hbase数据库中,以此构建视频关键帧的哈希特征库。
其中步骤S3进一步包括:
步骤S31:读取待检索的舰船的视频图片。
步骤S32:利用步骤S211中训练好的DSH深度哈希网络模型对待检索舰船图像提取待检索图像的深度哈希特征向量。
其中步骤S4进一步包括:
步骤S41:遍历步骤S2中哈希特征库中的所有视频关键帧图像的深度哈希特征向量。
步骤S42:读取待检索舰船图像的深度哈希特征向量。
步骤S43:计算待检索舰船图像的深度哈希特征向量与哈希特征库中所有的深度哈希特征向量之间的汉明距离。
SQR=h(Q,R) (8)
式(8)中Q代表的是待检索舰船目标图像的哈希特征,R代表的是匹配图像的哈希特征,h是汉明距离的计算函数,具体计算方式如式(9)
其中q,r都是n位的编码,表示异或操作,d(q,r)代表的是两个哈希码上不同的位的数量。d(q,r)的值越小,表示两张图像越相似。
其中步骤S5进一步包括:
步骤S51:读取步骤S4中计算得到的汉明距离,并且进行从小到大排序。
步骤S52;选取步骤S51中与待检索舰船图像的深度哈希特征向量汉明距离最小的哈希特征库中的深度哈希特征向量。
步骤S53:对步骤S52中找到的深度哈希特征向量从Hbase数据库中获取该深度哈希特征向量对应的视频关键帧图像及对应的视频名称。
步骤S54:通过步骤S53中获取的视频名称检索出对应的视频数据。
与现有技术相比,本发明的有益效果是:本发明提出一种基于HBase的船舶监控视频内容的快速检索方法,首先本文采用基于图像相似度的视频关键帧提取算法对视频关键帧进行提取,可有效降低关键帧冗余度,提高关键帧代表性,然后采用基于深度学习的哈希算法具有自动提取图像特征,并具有线性不可分条件下的分类性能,同时在检索中具有计算效率高和空间占用低的优点。将两种方法的结合,将原本海量视频中的“大海捞针”问题转化为可实现的“桌面捞针”,提高了检索精度,减少了检索耗时,进而提高视频检索的效率。
附图说明
图1是为本发明提供的一种基于HBase的舰船监控视频内容的快速检索流程图。
图2是参考帧i与后续帧j对应图像块特征距离的计算过程。
图3是根据设定的阈值判断图像块是否发生显著变化所生成的二维矩阵(0表示图像块未发生显著变化,1表示图像块发生显著变化)。
图4是步骤S2的视频关键帧提取哈希特征的流程图。
图5是DSH深度哈希网络模型。
图6是步骤S3的待检索图像的哈希特征提取流程图。
具体实施方式
以下结合附图对本发明做进一步的描述。
面向军事领域的舰船监控视频内容的快速检索的需求,需要从海量的视频数据中找出待检索图像对应的视频数据。一个视频检索主要包含三个步骤,视频预处理,即去冗余帧的过程包括镜头检测和关键帧提取;视频特征提取;特征匹配,即相似度计算。在视频关键帧提取方面,已有的技术不能准确提取出表征待检索视频的镜头和关键帧序列,增加的关键帧的冗余度,同时所提取到的关键帧并不具有代表性,并且也不能满足实时性的要求;在视频特征提取方面,现有的技术采用的视觉特征编码固定,缺乏学习能力,导致图像表达能力不强,而且视觉特征位数较高,严重制约了其图像检索性能。并且现有的视频检索的方法不仅对计算机的计算能力和存储容量要求很高,而且当提取到的关键帧数据库足够大时,需要找出待检索的图片对应的视频内容犹如“大海捞针”。
为了实现军事领域的舰船监控视频内容的快速检索的需求,本发明创新性的提出了一种基于HBase的船舶监控视频内容的快速检索方法,首先本文采用基于图像相似度的视频关键帧提取算法对视频关键帧进行提取,可有效降低关键帧冗余度,提高关键帧代表性,然后采用基于深度学习的哈希算法具有自动提取图像特征,并具有线性不可分条件下的分类性能,同时在检索中具有计算效率高和空间占用低的优点。将两种方法的结合,将原本海量视频中的“大海捞针”问题转化为可实现的“桌面捞针”,提高了检索精度,减少了检索耗时,进而提高视频检索的效率。
参见图1,所示为本发明一种基于HBase的船舶监控视频内容的快速检索方法的总体模型框架图,由模型框图可以得出,本发明的视频检索模型由三部分组成:基于图像相似度算法的关键帧提取,基于深度哈希的视频特征提取,特征匹配即哈希匹配;
由图1所示,本发明一种基于HBase的船舶监控视频内容的快速检索方法,具体包括以下步骤:
步骤S1:通过图像相似度算法对海量的海洋监控视频数据进行视频关键帧提取,并将提取的视频关键帧图像、视频名称作为一行数据写入到HBase数据库中。
步骤S11:获取海洋监测舰船视频数据。
步骤S12:通过图像相似度算法对获取的舰船视频进行关键帧提取。
该步骤进一步包括:
步骤S121:对于海洋监测舰船视频片段{π1,π2,...,πn},将πi划分为视频帧图像,同时将每帧视频图像划分成M×N的图像块。
步骤S122:提取视频帧图像块的特征向量,记为Ip(m,n)=(xp1,xp2,...,xps),其中p代表视频帧的位置,s代表特征向量的维度。
步骤S123:将视频片段πi的起始帧作为参考帧和关键帧,计算参考帧与后续帧对应图像块之间的特征距离,图2所示为参考帧i与后续帧j对应图像块特征距离的计算过程。
其中i为参考帧,j为后续帧,Dij(m,n)是参考帧和后续帧对应的第m行n列图像块的特征距离。
步骤S124:设T1是局部阈值,如果Dij(m,n)>T1,说明此图像块发生了显著变化;如果Dij(m,n)<T1,则说明此图像块的内容基本没有发生变化.然后统计视频帧图像中发生显著变化的图像块的数目,记为Cj,图3所示为根据设定的阈值判断图像块是否发生显著变化所生成的二维矩阵(0表示图像块未发生显著变化,1表示图像块发生显著变化)。
步骤S125:将发生显著变化的图像块的数目Cj进行归一化.
步骤S126:设T2是全局阈值,比较和T2,如果说明后续帧相对于参考帧发生了巨大变化,将第j帧作为关键帧和参考帧,重复上述操作;如果说明后续帧与参考帧相似,继续计算下一帧,直到视频片段πi的所有帧计算完毕,此时即可得到视频片段的所有关键帧,。
步骤S13:将提取的视频关键帧图像、视频名称作为一行数据写入到HBase数据库中
步骤S2:通过训练好的深度哈希网络模型来提取视频关键帧图像的深度哈希特征,并将提取到的深度哈希特征向量写入HBase数据库中,以此构建视频关键帧的哈希特征库。
步骤S21:将步骤S13中提取到的视频关键帧图像通过深度哈希算法来提取视频关键帧图像的深度哈希特征向量。
图4所示为本发明提供的一种基于深度哈希网络模型提取视频关键帧图像的哈希特征的详细流程图,其进一步包括以下步骤
该步骤可进一步包括:
步骤S211:利用海边监控视频数据集构建舰船目标数据集和步骤S1提取到的视频关键帧图像对设置好DSH深度哈希网络模型进行学习训练,图5所示为DSH深度哈希网络模型。
该步骤可进一步包括:
步骤S2111:DSH深度哈希网络的超参数设定如表1所示
表1 DSH网络结构超参数设置
其中,k为最终输出hash编码的位数,可以根据精度需求进行设定,本文在使用DSH网络提取舰船特征信息时,将k值设置为12bit。
步骤S2112:DSH的优化目标函数
DSH网络的目标函数形式化表示为
其中,表示两个二值化之后的向量之间的海明距离,其中N表示每次输入图片的数量,hc2为k维二值化向量。而m表示硬门限值,在两向量之间的海明距离未达到门限值时,则以简记为0。然而,上述目标函数为离散约束的最值问题,通常难以实现优化,因而通常使用欧氏距离代替海明距离并通过放宽离散约束项限制进行近似,最终得到可行的目标函数。
其中,s1表示相似对象映射成相同二进制的损失,s2表示相似图像映射成为不同二进制序列的损失,而s3为维持损失函数梯度为-1或者+1值,保证训练的稳定性。λ表示正则化权重系数,hci,1表示第i对图像中第1个图像的输出结果,yi表示第对图像是否相似,相似为0不相似为1,1表示k维全为1的单位向量。在模型和目标函数构建完成之后便可以通过已有数据集对构建的网络模型参数进行优化,DSH网络采用Mini-batch SGD作为优化算法,但在此由于绝对值函数在x=1时存在不可导点,因而采用次梯度进行近似,目标函数对于hash向量的偏导数可以表示为
在此:
在得到目标函数相对于输出层的导数的基础上便可以通过方向传播算法进行参数的特征,从而实现模型的优化,最终得到优化完成的模型。
步骤S2113:DSH哈希特征的生成
图像输入到DSH网络后,通过网络的3层卷积和2个全连接层的学习,得到了图像的k位类哈希编码,并最终通过对k位的类哈希编码进行量化,得到k位的图像哈希编码(本文k的取值为12),采用的量化函数为:
步骤S2114:利用海边监控视频数据集构建舰船目标数据集和步骤S1提取到的视频关键帧图像对设置好的DSH深度哈希网络模型进行学习训练。
步骤S212:将数据库中的视频关键帧通过训练好的DSH深度哈希网络模型来中提取视频关键帧图像的深度哈希特征向量。
步骤S22:将提取到的视频关键帧图像中的深度哈希特征向量写入到Hbase数据库中,以此构建视频关键帧的哈希特征库。
步骤S3:通过训练好的深度哈希网络模型提取待检索舰船图像的深度哈希特征向量。
步骤S31:读取待检索的舰船的视频图片。
步骤S32:利用步骤S211中训练好的DSH深度哈希网络模型对待检索舰船图像提取待检索图像的深度哈希特征向量,图6所示为本发明提供的一种基于深度哈希网络模型提取待检索图像的哈希特征的详细流程图。
步骤S4:步骤S2中哈希特征库中的所有视频关键帧图像深度哈希特征向量进行遍历,计算待检索舰船图像深度哈希特征向量与哈希特征库中的视频关键帧图像深度哈希特征向量之间的汉明距离;
步骤S41:遍历步骤S2中哈希特征库中的所有视频关键帧图像的深度哈希特征向量。
步骤S42:读取待检索舰船图像的深度哈希特征向量。
步骤S43:计算待检索舰船图像的深度哈希特征向量与哈希特征库中所有的深度哈希特征向量之间的汉明距离。
SQR=h(Q,R) (8)
式(8)中Q代表的是待检索舰船目标图像的哈希特征,R代表的是匹配图像的哈希特征,h是汉明距离的计算函数,具体计算方式如式(9)
其中q,r都是n位的编码,表示异或操作,d(q,r)代表的是两个哈希码上不同的位的数量。d(q,r)的值越小,表示两张图像越相似。
步骤S5:对步骤S4中计算得到的汉明距离进行排序,选取汉明距离最小的视频关键帧图像,并从HBase数据库中获取到该视频关键帧图像所属的舰船视频的名称,最后通过舰船视频名称得到检索的舰船视频数据。
步骤S51:读取步骤S4中计算得到的汉明距离,并且进行从小到大排序。
步骤S52;选取步骤S51中与待检索舰船图像的深度哈希特征向量汉明距离最小的哈希特征库中的深度哈希特征向量。
步骤S53:对步骤S52中找到的深度哈希特征向量从Hbase数据库中获取该深度哈希特征向量对应的视频关键帧图像及对应的视频名称。
步骤S54:通过步骤S53中获取的视频名称检索出对应的视频数据。
与现有技术相比,本发明的有益效果是:本发明提出一种基于HBase的船舶监控视频内容的快速检索方法,首先本文采用基于图像相似度的视频关键帧提取算法对视频关键帧进行提取,可有效降低关键帧冗余度,提高关键帧代表性,然后采用基于深度学习的哈希算法具有自动提取图像特征,并具有线性不可分条件下的分类性能,同时在检索中具有计算效率高和空间占用低的优点。将两种方法的结合,将原本海量视频中的“大海捞针”问题转化为可实现的“桌面捞针”,提高了检索精度,减少了检索耗时,进而提高视频检索的效率。
Claims (1)
1.一种基于HBase的船舶监控视频内容的快速检索方法,其特征在于,包括以下步骤:
步骤S1:通过图像相似度算法对海量的海洋监控视频数据进行视频关键帧提取,并将提取的视频关键帧图像、视频名称作为一行数据写入到HBase数据库中;
步骤S2:通过训练好的深度哈希网络模型来提取视频关键帧图像的深度哈希特征,并将提取到的深度哈希特征向量写入HBase数据库中,以此构建视频关键帧的哈希特征库;
步骤S3:通过训练好的深度哈希网络模型提取待检索舰船图像的深度哈希特征向量;
步骤S4:步骤S2中哈希特征库中的所有视频关键帧图像深度哈希特征向量进行遍历,计算待检索舰船图像深度哈希特征向量与哈希特征库中的视频关键帧图像深度哈希特征向量之间的汉明距离;
步骤S5:对步骤S4中计算得到的汉明距离进行排序,选取汉明距离最小的视频关键帧图像,并从HBase数据库中获取到该视频关键帧图像所属的舰船视频的名称,最后通过舰船视频名称得到检索的舰船视频数据;
其中步骤S1进一步包括:
步骤S11:获取海洋监测舰船视频数据;
步骤S12:通过图像相似度算法对获取的舰船视频进行关键帧提取;
该步骤进一步包括:
步骤S121:对于海洋监测舰船视频片段{π1,π2,…,πn},将πi划分为视频帧图像,同时将每帧视频图像划分成M×N的图像块;
步骤S122:提取视频帧图像块的特征向量,记为Ip(m,n)=(xp1,xp2,...,xps),其中p代表视频帧的位置,s代表特征向量的维度;
步骤S123:将视频片段πi的起始帧作为参考帧和关键帧,计算参考帧与后续帧对应图像块之间的特征距离:
其中i为参考帧,j为后续帧,Dij(m,n)是参考帧和后续帧对应的第m行n列图像块的特征距离;
步骤S124:设T1是局部阈值,如果Dij(m,n)>T1,说明此图像块发生了显著变化;如果Dij(m,n)<T1,则说明此图像块的内容基本没有发生变化;然后统计视频帧图像中发生显著变化的图像块的数目,记为Cj;
步骤S125:将发生显著变化的图像块的数目Cj进行归一化:
步骤S126:设T2是全局阈值,比较和T2,如果说明后续帧相对于参考帧发生了巨大变化,将第j帧作为关键帧和参考帧,重复上述操作;如果说明后续帧与参考帧相似,继续计算下一帧,直到视频片段πi的所有帧计算完毕,此时即可得到视频片段的所有关键帧;
步骤S13:将提取的视频关键帧图像、视频名称作为一行数据写入到HBase数据库中;
其中步骤S2进一步包括:
步骤S21:将步骤S13中提取到的视频关键帧图像通过深度哈希算法来提取视频关键帧图像的深度哈希特征向量;
该步骤可进一步包括:
步骤S211:利用海边监控视频数据集构建舰船目标数据集和步骤S1中提取到的视频关键帧图像对设置好DSH深度哈希网络模型进行学习训练;
其中,DSH网络模型的目标函数形式化表示为:
其中,表示两个二值化之后的向量之间的海明距离,其中N表示每次输入图片的数量,hc2为k维二值化向量;而m表示硬门限值,在两向量之间的海明距离未达到门限值时,则以简记为0;
使用欧氏距离代替海明距离并通过放宽离散约束项限制进行近似,得到可行的目标函数:
其中,s1表示相似对象映射成相同二进制的损失,s2表示相似图像映射成为不同二进制序列的损失,而s3为维持损失函数梯度为-1或者+1值以保证训练的稳定性;λ表示正则化权重系数,hci,1表示第i对图像中第1个图像的输出结果,yi表示第对图像是否相似,相似为0不相似为1,1表示k维全为1的单位向量;
在模型和目标函数构建完成之后便可以通过已有数据集对构建的网络模型参数进行优化,DSH网络采用Mini-batch SGD作为优化算法,但在此由于绝对值函数在x=1时存在不可导点,因而采用次梯度进行近似,目标函数对于hash向量的偏导数可以表示为:
在此:
在得到目标函数相对于输出层的导数的基础上便可以通过方向传播算法进行参数的特征,从而实现模型的优化,最终得到优化完成的模型;
DSH哈希特征的生成:
图像输入到DSH网络后,通过网络的3层卷积和2个全连接层的学习,得到了图像的k位类哈希编码,并最终通过对k位的类哈希编码进行量化,得到k位的图像哈希编码(本文k的取值为12),采用的量化函数为:
利用海边监控视频数据集构建舰船目标数据集和步骤S1提取到的视频关键帧图像对设置好的DSH深度哈希网络模型进行学习训练;
步骤S212:将数据库中的视频关键帧通过训练好的DSH深度哈希网络模型来中提取视频关键帧图像的深度哈希特征向量;
步骤S22:将提取到的视频关键帧图像中的深度哈希特征向量写入到Hbase数据库中,以此构建视频关键帧的哈希特征库;
其中步骤S3进一步包括:
步骤S31:读取待检索的舰船的视频图片;
步骤S32:利用步骤S211中训练好的DSH深度哈希网络模型对待检索舰船图像提取待检索图像的深度哈希特征向量;
其中步骤S4进一步包括:
步骤S41:遍历步骤S2中哈希特征库中的所有视频关键帧图像的深度哈希特征向量;
步骤S42:读取待检索舰船图像的深度哈希特征向量;
步骤S43:计算待检索舰船图像的深度哈希特征向量与哈希特征库中所有的深度哈希特征向量之间的汉明距离:
SQR=h(Q,R) (8)
式(8)中Q代表的是待检索舰船目标图像的哈希特征,R代表的是匹配图像的哈希特征,h是汉明距离的计算函数,具体计算方式如式(9):
其中q,r都是n位的编码,表示异或操作,d(q,r)代表的是两个哈希码上不同的位的数量;d(q,r)的值越小,表示两张图像越相似;
其中步骤S5进一步包括:
步骤S51:读取步骤S4中计算得到的汉明距离,并且进行从小到大排序;
步骤S52;选取步骤S51中与待检索舰船图像的深度哈希特征向量汉明距离最小的哈希特征库中的深度哈希特征向量;
步骤S53:对步骤S52中找到的深度哈希特征向量从Hbase数据库中获取该深度哈希特征向量对应的视频关键帧图像及对应的视频名称;
步骤S54:通过步骤S53中获取的视频名称检索出待检测视频数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910046771.7A CN109918537B (zh) | 2019-01-18 | 2019-01-18 | 一种基于HBase的船舶监控视频内容的快速检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910046771.7A CN109918537B (zh) | 2019-01-18 | 2019-01-18 | 一种基于HBase的船舶监控视频内容的快速检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109918537A true CN109918537A (zh) | 2019-06-21 |
CN109918537B CN109918537B (zh) | 2021-05-11 |
Family
ID=66960327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910046771.7A Active CN109918537B (zh) | 2019-01-18 | 2019-01-18 | 一种基于HBase的船舶监控视频内容的快速检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109918537B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110674673A (zh) * | 2019-07-31 | 2020-01-10 | 国家计算机网络与信息安全管理中心 | 一种关键视频帧抽取方法、装置和存储介质 |
CN110796182A (zh) * | 2019-10-15 | 2020-02-14 | 西安网算数据科技有限公司 | 一种少量样本的票据分类方法及系统 |
CN110879967A (zh) * | 2019-10-16 | 2020-03-13 | 厦门美柚股份有限公司 | 视频内容重复判断方法及装置 |
CN110942002A (zh) * | 2019-11-18 | 2020-03-31 | 中山大学 | 一种基于旋转不变感知哈希的无人机航拍视频帧定位方法 |
CN111339369A (zh) * | 2020-02-25 | 2020-06-26 | 佛山科学技术学院 | 基于深度特征的视频检索方法、系统、计算机设备及存储介质 |
CN111444390A (zh) * | 2020-04-02 | 2020-07-24 | 徐州工程学院 | 一种基于Spark和深度哈希的视频并行检索方法 |
CN111612800A (zh) * | 2020-05-18 | 2020-09-01 | 智慧航海(青岛)科技有限公司 | 船舶图像检索方法、计算机可读存储介质和设备 |
CN112040325A (zh) * | 2020-11-02 | 2020-12-04 | 成都睿沿科技有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
CN112288406A (zh) * | 2020-11-04 | 2021-01-29 | 唐开强 | 一种基于科技信息众创平台的服务对象检索方法 |
CN112650877A (zh) * | 2021-01-20 | 2021-04-13 | 北京工业大学 | 一种基于改进的深度残差卷积神经网络和深度哈希的高清遥感图像快速检索方法 |
CN113111208A (zh) * | 2021-05-11 | 2021-07-13 | 青岛以萨数据技术有限公司 | 一种以图搜图的方法、系统、设备及存储介质 |
CN113297899A (zh) * | 2021-03-23 | 2021-08-24 | 上海理工大学 | 一种基于深度学习的视频哈希算法 |
CN116405745A (zh) * | 2023-06-09 | 2023-07-07 | 深圳市信润富联数字科技有限公司 | 视频信息的提取方法、装置、终端设备及计算机介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107229757A (zh) * | 2017-06-30 | 2017-10-03 | 中国科学院计算技术研究所 | 基于深度学习和哈希编码的视频检索方法 |
US20170293838A1 (en) * | 2016-04-06 | 2017-10-12 | Nec Laboratories America, Inc. | Deep high-order exemplar learning for hashing and fast information retrieval |
CN108108699A (zh) * | 2017-12-25 | 2018-06-01 | 重庆邮电大学 | 融合深度神经网络模型和二进制哈希的人体动作识别方法 |
CN108734106A (zh) * | 2018-04-23 | 2018-11-02 | 中国科学院自动化研究所 | 基于对比的快速暴恐视频识别方法 |
-
2019
- 2019-01-18 CN CN201910046771.7A patent/CN109918537B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170293838A1 (en) * | 2016-04-06 | 2017-10-12 | Nec Laboratories America, Inc. | Deep high-order exemplar learning for hashing and fast information retrieval |
CN107229757A (zh) * | 2017-06-30 | 2017-10-03 | 中国科学院计算技术研究所 | 基于深度学习和哈希编码的视频检索方法 |
CN108108699A (zh) * | 2017-12-25 | 2018-06-01 | 重庆邮电大学 | 融合深度神经网络模型和二进制哈希的人体动作识别方法 |
CN108734106A (zh) * | 2018-04-23 | 2018-11-02 | 中国科学院自动化研究所 | 基于对比的快速暴恐视频识别方法 |
Non-Patent Citations (1)
Title |
---|
LIU H等: ""Deep Supervised Hashing for Fast Image Retrieval"", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110674673A (zh) * | 2019-07-31 | 2020-01-10 | 国家计算机网络与信息安全管理中心 | 一种关键视频帧抽取方法、装置和存储介质 |
CN110796182A (zh) * | 2019-10-15 | 2020-02-14 | 西安网算数据科技有限公司 | 一种少量样本的票据分类方法及系统 |
CN110879967A (zh) * | 2019-10-16 | 2020-03-13 | 厦门美柚股份有限公司 | 视频内容重复判断方法及装置 |
CN110879967B (zh) * | 2019-10-16 | 2023-02-17 | 厦门美柚股份有限公司 | 视频内容重复判断方法及装置 |
CN110942002A (zh) * | 2019-11-18 | 2020-03-31 | 中山大学 | 一种基于旋转不变感知哈希的无人机航拍视频帧定位方法 |
CN110942002B (zh) * | 2019-11-18 | 2023-11-07 | 中山大学 | 一种基于旋转不变感知哈希的无人机航拍视频帧定位方法 |
CN111339369A (zh) * | 2020-02-25 | 2020-06-26 | 佛山科学技术学院 | 基于深度特征的视频检索方法、系统、计算机设备及存储介质 |
CN111444390A (zh) * | 2020-04-02 | 2020-07-24 | 徐州工程学院 | 一种基于Spark和深度哈希的视频并行检索方法 |
CN111612800B (zh) * | 2020-05-18 | 2022-08-16 | 智慧航海(青岛)科技有限公司 | 船舶图像检索方法、计算机可读存储介质和设备 |
CN111612800A (zh) * | 2020-05-18 | 2020-09-01 | 智慧航海(青岛)科技有限公司 | 船舶图像检索方法、计算机可读存储介质和设备 |
CN112040325A (zh) * | 2020-11-02 | 2020-12-04 | 成都睿沿科技有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
CN112288406A (zh) * | 2020-11-04 | 2021-01-29 | 唐开强 | 一种基于科技信息众创平台的服务对象检索方法 |
CN112650877A (zh) * | 2021-01-20 | 2021-04-13 | 北京工业大学 | 一种基于改进的深度残差卷积神经网络和深度哈希的高清遥感图像快速检索方法 |
CN113297899A (zh) * | 2021-03-23 | 2021-08-24 | 上海理工大学 | 一种基于深度学习的视频哈希算法 |
CN113297899B (zh) * | 2021-03-23 | 2023-02-03 | 上海理工大学 | 一种基于深度学习的视频哈希算法 |
CN113111208A (zh) * | 2021-05-11 | 2021-07-13 | 青岛以萨数据技术有限公司 | 一种以图搜图的方法、系统、设备及存储介质 |
CN116405745A (zh) * | 2023-06-09 | 2023-07-07 | 深圳市信润富联数字科技有限公司 | 视频信息的提取方法、装置、终端设备及计算机介质 |
CN116405745B (zh) * | 2023-06-09 | 2023-11-17 | 深圳市信润富联数字科技有限公司 | 视频信息的提取方法、装置、终端设备及计算机介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109918537B (zh) | 2021-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109918537B (zh) | 一种基于HBase的船舶监控视频内容的快速检索方法 | |
Yu et al. | Spatial pyramid-enhanced NetVLAD with weighted triplet loss for place recognition | |
Hu et al. | Dense relation distillation with context-aware aggregation for few-shot object detection | |
US11188587B2 (en) | Media fingerprinting and identification system | |
Wang et al. | Enhancing sketch-based image retrieval by cnn semantic re-ranking | |
CN108228915B (zh) | 一种基于深度学习的视频检索方法 | |
Jégou et al. | On the burstiness of visual elements | |
CN110263659B (zh) | 一种基于三元组损失和轻量级网络的指静脉识别方法及系统 | |
CN107085607B (zh) | 一种图像特征点匹配方法 | |
CN110222218B (zh) | 基于多尺度NetVLAD和深度哈希的图像检索方法 | |
CN113240012B (zh) | 一种基于二维图像的无监督多视角三维目标检索方法及装置 | |
CN111104555A (zh) | 基于注意力机制的视频哈希检索方法 | |
CN114067385A (zh) | 基于度量学习的跨模态人脸检索哈希方法 | |
Xu et al. | Iterative manifold embedding layer learned by incomplete data for large-scale image retrieval | |
CN110046660A (zh) | 一种基于半监督学习的乘积量化方法 | |
Qi et al. | Few-shot ensemble learning for video classification with slowfast memory networks | |
Shen et al. | Tcl: Tightly coupled learning strategy for weakly supervised hierarchical place recognition | |
CN110942463B (zh) | 一种基于生成对抗网络的视频目标分割方法 | |
Feng et al. | Video summarization based on fusing features and shot segmentation | |
Cao et al. | Image retrieval via gated multiscale NetVLAD for social media applications | |
US20230105322A1 (en) | Systems and methods for learning rich nearest neighbor representations from self-supervised ensembles | |
Richard et al. | A BoW-equivalent Recurrent Neural Network for Action Recognition. | |
CN114168782B (zh) | 一种基于三元组网络的深度哈希图像检索方法 | |
Joly et al. | Unsupervised individual whales identification: spot the difference in the ocean | |
Qin et al. | A novel deep hashing method with top similarity for image retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |