CN109145836B - 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 - Google Patents
基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 Download PDFInfo
- Publication number
- CN109145836B CN109145836B CN201810987135.XA CN201810987135A CN109145836B CN 109145836 B CN109145836 B CN 109145836B CN 201810987135 A CN201810987135 A CN 201810987135A CN 109145836 B CN109145836 B CN 109145836B
- Authority
- CN
- China
- Prior art keywords
- ship
- detection
- kalman filtering
- time
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 238000001914 filtration Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000012544 monitoring process Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000004913 activation Effects 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习网络和卡尔曼滤波的船只目标视频检测方法，包括监控视频数据采集，对于获取到的监控视频数据进行预处理，为卷积神经网络训练准备船只目标的正负样本；采用基于区域的卷积神经网络方法，基于船只目标的正负样本进行训练，得到训练后的深度学习网络；基于卡尔曼滤波方法，根据前一时刻船只检测最终结果，对当前时刻的船只位置进行预测，获得当前时刻的卡尔曼滤波预测结果；通过当前时刻的卡尔曼滤波预测结果和当前时刻的深度学习网络检测结果，共同确定当前时刻的船只检测最终结果。本发结合深度学习方法和卡尔曼滤波方法，检测快速高效，鲁棒性高，大幅度提高针对视频船只目标的检测精度，支持新出现目标的检测。
Description
技术领域
本发明属于船舶数字影像处理技术领域，特别涉及一种基于深度学习网络和和卡尔曼滤波的船只目标视频检测方法。
背景技术
现今社会中，视频监控摄像头无处不在，如果只是依靠人眼观察检测，很容易错过视频中的异常事件。随着计算机网络、通信和半导体技术的迅速发展，人们越来越青睐于利用计算机视觉代替人眼对传感器得到的视频图像进行分析，获取图像中的有用信息。视频目标检测就是计算机视觉研究的一个重点，它主要是对图像传感器得到的感兴趣的目标进行检测。视频目标检测是许多视频应用的基础，更是比如交通监控、智能机器人和人机交互等，其对于智能城市管理、打击违法犯罪以及建设平安城市与智慧城市具有重要作用，是当前视频处理研究的重点和难点。而对于船只目标来说，更是对于沿海城市的船只管理、监督和调度起着至关重要的作用。
针对船只的视频目标检测主要有基于运动的检测、基于匹配的检测和基于特征的检测三大类。
基于运动的检测方法通过对视频中的动态图像进行分析处理来获取运动船只信息，从而实现对运动船只的检测，进一步通过初始船只位置，获得视频中后续帧的船只位置。该方法将检测问题视作一个状态估计问题，根据给定数据，用新号处理的方法对船只在下一帧的状态(如位置、颜色、形状等)进行最优化估计。该方法主要包括基于滤波的检测算法和基于子空间学习的算法。基于滤波的算法如卡尔曼滤波、均值漂移滤波和粒子滤波，主要根据前期数据学习出船只的特征空间，再根据当前帧的图像块在特征空间的分布进行船只定位。预测的方法在船只目标检测方面具有速度快的优势，但是当前帧状态完全取决于前一帧检测结果，无法自动进行检测和检测错误的修正，检测的精度较低。
基于匹配的算法将视频中的船只检测问题视为一个模板匹配问题，用一个模板表示待检测的目标，寻找下一帧中的最优匹配结果。匹配中的目标可以是一个或一组图形块，也可以是目标图像的全局或局部特征表示。这类方法通过边检测边学习的过程，提高了后续帧中目标检测的性能，但是依然难以实现自动快速的目标检测结果，同时对于遮盖、复杂环境下难以准确检测。
基于特征的检测方法主要通过图像目标检测算法，对视频中每一帧图像进行单独的船只检测过程。其中，基于深度学习的方法尤为突出，该方法能够对多种目标进行特征的自动学习，获得船只的高维特征，检测结果精度相比传统方法有了大幅度提升。然而，对于视频目标来说，单帧图像的船只检测放弃了视频目标中的上下文关系，属于离线学习的方法，对于动态变化的目标检测效果较差，而在线学习方法容易因每一次的更新引入新的误差导致误差累计，最终发生漂移甚至丢失目标。如何自动快速对视频中的船只目标检测，即考虑当前帧结果，又参考目标不同的特征，还需要进一步研究。
发明内容
本发明的目的就在于克服现有技术存在的缺点和不足，提供一种基于深度学习网络和卡尔曼滤波的船只目标视频检测方法。
本发明技术方案提供一种基于深度学习网络和卡尔曼滤波的船只目标视频检测方法，包括以下步骤：
步骤1，监控视频数据采集；
步骤2，对于获取到的监控视频数据进行预处理，为卷积神经网络训练准备船只目标的正负样本；
步骤3，采用基于区域的卷积神经网络方法，基于船只目标的正负样本进行训练，得到训练后的深度学习网络；
步骤4，基于卡尔曼滤波方法，根据前一时刻船只检测最终结果，对当前时刻的船只位置进行预测，获得当前时刻的卡尔曼滤波预测结果；
步骤5，通过当前时刻的卡尔曼滤波预测结果和当前时刻的深度学习网络检测结果，共同确定当前时刻的船只检测最终结果。
而且，步骤2的实现方式为，利用获取到的监控视频数据中视频图像，通过几何变换方式，对影像进行扩充；得到每个船只目标在影像中竖直的最小包围矩形的四个顶点坐标，作为正样本坐标，将对应影像和其上的所有目标坐标共同输出，作为正样本；在正样本周围随机截取其他区域，得到其竖直的最小包围矩形的四个顶点坐标，作为负样本坐标，将对应影像和其上的负样本坐标一同输出。
而且，步骤5的实现方式包括以下步骤，
A，设以t-1时刻的检测到的ξ个船只位置作为初始位置，经过步骤4获得t时刻的卡尔曼滤波预测结果
B，通过基于区域的卷积神经网络方法和步骤3训练后的深度学习网络，对t时刻的图像进行船只检测，获得t时刻的深度学习检测结果；
C,根据t时刻的深度学习检测结果zt，更新卡尔曼增益值Kt，得到t时刻的修正状态值
与最小均方误差Pt，将t时刻的修正状态值
作为最终的卡尔曼滤波检测结果；
根据修正状态值
中的船只中心点横纵坐标xt,yt，确定t时刻卡尔曼滤波获得的船只预测位置，将第id个船只预测位置记为
id＝{1,...,ξ}；
D,设经步骤B得到第num个船只检测坐标
num＝{1,...,μ}，对于船只检测坐标
计算与步骤C所得第id个船只预测位置
的重叠度；
记录每个船只预测位置
与其重叠度最大的船只检测坐标
计算得到的重叠度大小Omax，
如果Omax小于阈值θ1，则认为该船只位置为虚警，删除船只预测位置
剩下的船只预测位置
均认为是t时刻检测到的船只位置，放入t时刻船只检测结果中；
E，对于步骤B所得每个船只检测坐标
计算和步骤C所有船只预测位置
得到的重叠度最大值O'max，如果O'max＜θ2，则认为该船只目标为t时刻新出现的船只，将船只检测坐标
加入到t时刻检测结果，得到最终t时刻船只检测结果。
对比现有技术，本发明具有下列优点和积极效果：
深度学习方法部分具体采用基于区域的卷积神经网络对监控视频图像进行多个船只目标的同时检测过程，该方法快速高效、准确度高。对于复杂场景如云雾、阴天、下雨等情况依然具有较好的检测结果，方法鲁棒性高。
采用快速高效的卡尔曼滤波方法，结合视频中的每个船只在前后帧关系，对视频中的船只目标检测结果进行优化，根据深度学习检测结果剔除虚警，又基于卡尔曼滤波的视频前后帧关系，修正了检测中的漏检问题，大幅度提高针对视频船只目标的检测精度。
深度学习网络方法和卡尔曼滤波方法的结合，一方面更好完成多船只目标的自动检测过程，让检测过程全自动化，不需要人机交互过程；另一方面卡尔曼滤波方法对于视频信息的学习和船只位置前后帧的连续性，也为深度学习检测结果的错误进行排除，对新出现目标的检测打下基础。
附图说明
图1为本发明实施例的应用系统整体系统结构图。
图2为本发明实施例方法的整体流程图。
图3为本发明实施例中步骤③以后基于深度学习网络和卡尔曼滤波方法获取船只目标视频检测结果具体策略流程图。
具体实施方式
具体实施时，本发明技术方案所提供流程可由本领域技术人员采用计算机软件技术实现自动运行。为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。
实施例提供的方法可应用于监控视频船只目标自动检测系统(简称系统)：
参见图1，该系统主要包括监控视频获取模块、船只检测平台、应用平台。监控视频获取模块主要使用多个可见光监控摄像头获取海边区域的视频，并下传数据到船只检测模块。船只检测平台采用本发明提出的方法，进行船只目标的提取和自动检测，将船只目标异常等情况传入应用平台。根据应用平台中具体的船只分析平台、行为预测平台、异常事件处理平台和舰船监督平台等，对船只目标的分布、行动分析，做出合理预测和规划，完成相关任务。
参见图2，本发明实施例所提供方法包括以下步骤：
①监控视频数据采集。
监控视频数据的采集。本发明所需采集的数据主要为可见光下的沿海区域监控视频数据。对于采集到的视频数据，可通过解码器或代码获得每帧图像。
②视频数据的预处理和正负样本准备。
对于获取到的监控视频数据，需要进行预处理，方便后续数字图像处理的展开。预处理部分主要用图像平滑操作，本发明实施例采用中值滤波方法对视频每帧图像进行平滑。正负样本是为后续步骤的卷积神经网络训练准备，其具体过程如下：
第一步：利用步骤①得到的视频图像，具体实施时可通过旋转、平移等几何变换方式，对影像进行一定的扩充(实施例主要采用旋转方式，通过对原有图片按照180度旋转，获得加倍的影像数据量)。第二步：得到每个船只目标在影像中竖直的最小包围矩形的四个顶点坐标，作为正样本坐标，将对应影像和其上的所有目标坐标共同输出，作为正样本。第三步：在正样本周围随机截取其他区域，得到其竖直的最小包围矩形的四个顶点坐标，作为负样本坐标，将对应影像和其上的负样本坐标一同输出。
其中，竖直的最小包围矩形的四边分别与坐标轴横轴、纵轴平行。
③通过基于区域的卷积神经网络方法，输入视频里的船只目标样本到神经网络中，进行模型训练。
实施例中，将步骤①完成的船只目标的正负样本数据进行标准格式化，转换成结构化数据库格式，并输入到卷积神经网络中进行训练，得到监控视频下船只目标的训练结果模型。基于区域的卷积神经网络由多个交替的卷积层、池化层和全连接层组成，主要采用反向传播算法(BP算法)，有一个输入层，多个隐藏层和一个输出层。用公式表示BP算法中两层之间的计算关系如下：
其中，i是输入层单元的索引值，j是隐藏层单元的索引值，
代表第l层第j个元素的激活值，
代表第l-1层第i个元素的激活值，
代表输入层和隐含层之间的权重，
表示各个层之间的激活偏置，f()表示该输出层的激活函数，l表示该反向传播算法计算中的当前层，l-1层即前一层。本实施例优选采用VGG网络，0<l<16。具体实施时，也可以选用其他卷积神经网络。
对于卷积神经网络中的卷积层，网络采用BP神经网络模式进行更新。在一个卷积层，上一层的特征图被一个可学习的卷积核进行卷积运算，然后通过一个激活函数，就可以得到输出特征图。具体加入卷积操作后的下层更新算法如下：
其中，Mj表示输入层的所有选择集合。
表示输入l-1层i元素和隐含l层的j元素之间的卷积核，
表示卷积运算过程。因此，该公式反应了第l层和l-1层之间的运算关系。
卷积神经网络中除了卷积层，还有一个重要的运算过程，即池化过程与池化层的计算。池化过程即一个对大图像中不同位置的特征进行聚合统计的过程，该过程大大降低了特征冗余，减少统计特征维数。池化层的计算公式如下：
其中，D()表示池化过程的降采样函数，
和
分别为相乘关系的激活偏置和相加关系的，每一个偏置均对应每个输出层,
代表第l-1层第j个元素的激活值,f()表示该输出层的激活函数。
④基于卡尔曼滤波的方法，根据t-1时刻船只检测最终结果，对t时刻的船只位置进行预测。
实施例中，利用卡尔曼滤波的理论过程如下：
对船只位置的预测过程定义卡尔曼滤波的状态方程和测量方程如下：
st＝Ast-1+wt-1
zt＝Hst+vt
其中，st和st-1分别代表时刻t、时刻t-1的状态值(即基于卡尔曼滤波的预测值)，具体到每个船只状态有：st＝{xt,yt,dtx,dty}，即包括该船只中心点横坐标xt、纵坐标yt和分别对时间的微分值dtx、dty。zt代表时刻t测量到的状态结果(深度学习检测到的结果)。A是状态转移矩阵，H是测量矩阵，wt-1表示时刻t-1的过程噪声，wt和vt分别表示时刻t的过程噪声和测量噪声，两者均定义为高斯噪声，其服从以下分布：
wt～N(0,Qt)
vt～N(0,Rt)
其中，N表示均值为0的正态分布，Qt和Rt分别代表wt和vt正态分布的协方差大小。本专利中Qt取10-5，Rt取10-1，为对st＝{xt,yt,dtx,dty}进行矩阵运算，取A和H如下：
根据t-1时刻的最终检测结果，基于卡尔曼滤波算法预测船只的t时刻状态
其计算公式和相应预测的最小均方误差Pt -计算公式如下：
其中，
为t-1时刻的修正状态值，Pt-1为t-1时刻的最小均方误差。
进一步地，可根据t时刻的深度学习检测结果(zt，即测量结果)，更新卡尔曼增益值Kt，并得到t时刻的修正状态值
与最小均方误差Pt，其计算公式如下：
Kt＝Pt -HT(HPt -HT+Rt)-1 3
修正状态值
即作为t时刻的卡尔曼滤波检测结果,I即为补全的单位矩阵。进一步按照以上公式进行后续帧操作，获得每滤波检测结果。
⑤通过t时刻的卡尔曼滤波预测结果和t时刻的深度学习网络检测结果，共同确定t时刻的船只检测最终结果。
实施例中，基于深度学习网络和卡尔曼滤波方法获取检测结果具体策略流程图如图3，其详细过程如下：
A，设以t-1时刻的检测到的ξ个船只位置作为初始位置，根据④中提出的方法，获得t时刻的卡尔曼滤波预测结果
B，通过基于区域的卷积神经网络方法和步骤③训练好的船只模型，对t时刻的图像(在基于卷积的神经网络中输入图像)进行船只检测，该方法独立获得t时刻的深度学习检测结果，设检测得到μ个候选船只位置，即船只检测坐标Boxdt。
C，根据t时刻的深度学习检测结果zt，和公式3，更新卡尔曼增益值Kt和公式4、5，并得到t时刻的修正状态值
与最小均方误差Pt，将t时刻的修正状态值
作为最终的卡尔曼滤波检测结果。
根据该状态值
中的船只中心点横纵坐标xt,yt，确定t时刻卡尔曼滤波获得的船只位置Boxmt。设id＝{1,...,ξ}为t时刻多个卡尔曼滤波获得的船只，将第id个船只预测位置表示为船只预测位置
D，设num为t时刻检测结果编号，经步骤B得到第num＝{1,...,μ}个船只检测坐标
对于船只检测坐标
计算其与步骤C所得第id个船只预测位置
的重叠度，其重叠度计算公式如下：
其中，S代表面积大小。同时记录每个船只预测位置
与其重叠度最大的船只检测坐标
计算得到的重叠度大小Omax，如果Omax小于阈值θ1(本实施例取θ1＝0.8)，则认为该船只位置为虚警，删除船只预测位置
删除虚警后，剩下的船只预测位置
(Omax大于等于阈值θ1)均认为是t时刻检测到的船只位置，放入t时刻船只检测结果ZZ中。
E，通过步骤B的神经网络检测结果，对t时刻出现的新船只目标进行更新。对于步骤B所得每个船只检测坐标
计算其和步骤C所有船只预测位置
得到的重叠度最大值O'max，如果O'max＜θ2(本实施例取θ2＝0.4)，则认为该船只目标为t时刻新出现的船只，将其船只检测坐标
加入到t时刻检测结果ZZ中。此时的ZZ即为最终t时刻船只检测结果(测量结果)。
具体实施时，获取当前时刻的船只检测最终结果后，可以提取后续待处理帧数据，返回步骤④，针对t+1时刻重新进行步骤④、⑤的步骤，以此循环，实现递归方法确定当前帧船只检测结果。
最终可以记录和存储船只位置并进行评价。
具体实施时，可采用计算机软件技术实现流程的自动运行。
至此，本专利所使用的基于深度学习网络和卡尔曼滤波的船只目标视频检测方法具体实施过程介绍完毕。
本文中所描述的具体实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (3)
1.一种基于深度学习网络和卡尔曼滤波的船只目标视频检测方法，其特征在于，包括以下步骤：
步骤1，监控视频数据采集；
步骤2，对于获取到的监控视频数据进行预处理，为卷积神经网络训练准备船只目标的正负样本；
步骤3，采用基于区域的卷积神经网络方法，基于船只目标的正负样本进行训练，得到训练后的深度学习网络；
步骤4，基于卡尔曼滤波方法，根据前一时刻船只检测最终结果，对当前时刻的船只位置进行预测，获得当前时刻的卡尔曼滤波预测结果；
步骤5，通过当前时刻的卡尔曼滤波预测结果和当前时刻的深度学习网络检测结果，共同确定当前时刻的船只检测最终结果；
实现方式包括以下步骤，
A，设以t-1时刻的检测到的ξ个船只位置作为初始位置，经过步骤4获得t时刻的卡尔曼滤波预测结果
B，通过基于区域的卷积神经网络方法和步骤3训练后的深度学习网络，对t时刻的图像进行船只检测，获得t时刻的深度学习检测结果；
C，根据t时刻的深度学习检测结果zt，更新卡尔曼增益值Kt，基于t时刻的卡尔曼滤波预测结果
得到t时刻的修正状态值
与最小均方误差Pt，将t时刻的修正状态值
作为最终的卡尔曼滤波检测结果；
根据修正状态值
中的船只中心点横纵坐标xt,yt，确定t时刻卡尔曼滤波获得的船只预测位置，将第id个船只预测位置记为
D，设经步骤B得到第num个船只检测坐标
对于船只检测坐标
计算与步骤C所得第id个船只预测位置
的重叠度；
记录每个船只预测位置
与其重叠度最大的船只检测坐标
计算得到的重叠度大小Omax，
如果Omax小于预设的阈值θ1，则认为该船只位置为虚警，删除船只预测位置
剩下的船只预测位置
均认为是t时刻检测到的船只位置，放入t时刻船只检测结果中；
E，对于步骤B所得每个船只检测坐标
计算和步骤C所有船只预测位置
得到的重叠度最大值O'max，如果O'max小于预设的阈值θ2，则认为该船只目标为t时刻新出现的船只，将船只检测坐标
加入到t时刻检测结果，得到最终t时刻船只检测结果。
2.根据权利要求1所述基于深度学习网络和卡尔曼滤波的船只目标视频检测方法，其特征在于：步骤2的实现方式为，利用获取到的监控视频数据中视频图像，通过几何变换方式，对影像进行扩充；得到每个船只目标在影像中竖直的最小包围矩形的四个顶点坐标，作为正样本坐标，将对应影像和其上的所有目标坐标共同输出，作为正样本；在正样本周围随机截取其他区域，得到其竖直的最小包围矩形的四个顶点坐标，作为负样本坐标，将对应影像和其上的负样本坐标一同输出。
3.根据权利要求1或2所述基于深度学习网络和卡尔曼滤波的船只目标视频检测方法，其特征在于：获取当前时刻的船只检测最终结果后，返回步骤4，针对下一时刻继续进行跟踪检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810987135.XA CN109145836B (zh) | 2018-08-28 | 2018-08-28 | 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810987135.XA CN109145836B (zh) | 2018-08-28 | 2018-08-28 | 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109145836A CN109145836A (zh) | 2019-01-04 |
| CN109145836B true CN109145836B (zh) | 2021-04-16 |
Family
ID=64828570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810987135.XA Active CN109145836B (zh) | 2018-08-28 | 2018-08-28 | 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109145836B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949616B (zh) * | 2019-03-25 | 2021-05-11 | 同济大学 | 一种桥梁主动防船撞监测预警系统 |
| CN110033050B (zh) * | 2019-04-18 | 2021-06-22 | 杭州电子科技大学 | 一种水面无人船实时目标检测计算方法 |
| CN110610512B (zh) * | 2019-09-09 | 2021-07-27 | 西安交通大学 | 基于bp神经网络融合卡尔曼滤波算法的无人机目标跟踪方法 |
| CN111553474A (zh) * | 2019-12-19 | 2020-08-18 | 珠海大横琴科技发展有限公司 | 船只检测模型训练方法及基于无人机视频的船只跟踪方法 |
| CN113127666B (zh) * | 2020-01-15 | 2022-06-24 | 魔门塔(苏州)科技有限公司 | 一种连续帧数据的标注系统、方法和装置 |
| CN111354016A (zh) * | 2020-02-28 | 2020-06-30 | 珠海大横琴科技发展有限公司 | 基于深度学习和差异值哈希的无人机舰船跟踪方法及系统 |
| CN112541396A (zh) * | 2020-11-16 | 2021-03-23 | 西人马帝言(北京)科技有限公司 | 一种车道线检测方法、装置、设备及计算机存储介质 |
| CN112329707A (zh) * | 2020-11-23 | 2021-02-05 | 珠海大横琴科技发展有限公司 | 基于kcf滤波的无人机影像船只跟踪算法和装置 |
| CN112378458B (zh) * | 2020-12-04 | 2022-06-03 | 四川长虹电器股份有限公司 | 一种无人值守采砂船运行监控监测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766821A (zh) * | 2017-10-23 | 2018-03-06 | 江苏鸿信系统集成有限公司 | 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统 |
| CN107818571A (zh) * | 2017-12-11 | 2018-03-20 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 |
| CN108229442A (zh) * | 2018-02-07 | 2018-06-29 | 西南科技大学 | 基于ms-kcf的图像序列中人脸快速稳定检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170186291A1 (en) * | 2015-12-24 | 2017-06-29 | Jakub Wenus | Techniques for object acquisition and tracking |
-
2018
- 2018-08-28 CN CN201810987135.XA patent/CN109145836B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766821A (zh) * | 2017-10-23 | 2018-03-06 | 江苏鸿信系统集成有限公司 | 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统 |
| CN107818571A (zh) * | 2017-12-11 | 2018-03-20 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 |
| CN108229442A (zh) * | 2018-02-07 | 2018-06-29 | 西南科技大学 | 基于ms-kcf的图像序列中人脸快速稳定检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 《S-CNN-Based ship detection from high-resolution remote sensing image》;Ruiqian Zhang，et al;《The International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences》;20160719;第XLI-B7卷;第423-430页 * |
| 《Ship Classification using Deep Learning Techniques for Maritime Target Tracking》;Maxime Leclerc，et al;《Information Fusion》;20180731;第737-744页 * |
| 《面向复杂公共区域的群体聚集性计算方法研究》;李春旭;《中国优秀硕士学位论文全文数据库 信息科技辑》;20171215(第12期);第I138-382页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109145836A (zh) | 2019-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109145836B (zh) | 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 | |
| CN107818571B (zh) | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| CN110232350B (zh) | 一种基于在线学习的实时水面多运动目标检测跟踪方法 | |
| KR20200007084A (ko) | 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템 | |
| CN108629288B (zh) | 一种手势识别模型训练方法、手势识别方法及系统 | |
| CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN111626128A (zh) | 一种基于改进YOLOv3的果园环境下行人检测方法 | |
| CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
| CN111753682B (zh) | 一种基于目标检测算法的吊装区域动态监控方法 | |
| CN115223063B (zh) | 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统 | |
| CN111640138B (zh) | 一种目标跟踪方法、装置、设备及存储介质 | |
| CN115761534A (zh) | 一种空中背景下红外无人机小目标检测及跟踪方法 | |
| CN111091101A (zh) | 基于一步法的高精度行人检测方法、系统、装置 | |
| CN111354016A (zh) | 基于深度学习和差异值哈希的无人机舰船跟踪方法及系统 | |
| CN117496312A (zh) | 基于多模态融合算法的三维多目标检测方法 | |
| CN115482489A (zh) | 基于改进YOLOv3的配电房行人检测和轨迹追踪方法及系统 | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| CN110111358B (zh) | 一种基于多层时序滤波的目标跟踪方法 | |
| CN115512263A (zh) | 一种面向高空坠物的动态视觉监测方法及装置 | |
| CN115359091A (zh) | 一种用于移动机器人的装甲板检测跟踪方法 | |
| Li et al. | Easily deployable real-time detection method for small traffic signs | |
| CN117635637B (zh) | 一种自主构想的智能目标动态探测系统 | |
| CN117274723B (zh) | 一种用于输电巡检的目标识别方法、系统、介质及设备 | |
| Cui et al. | Mobile Big Data Analytics for Human Behavior Recognition in Wireless Sensor Network Based on Transfer Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |