CN114387301A - 一种基于ptz相机联动控制的船体智能视频行为分析方法 - Google Patents
一种基于ptz相机联动控制的船体智能视频行为分析方法 Download PDFInfo
- Publication number
- CN114387301A CN114387301A CN202111588670.6A CN202111588670A CN114387301A CN 114387301 A CN114387301 A CN 114387301A CN 202111588670 A CN202111588670 A CN 202111588670A CN 114387301 A CN114387301 A CN 114387301A
- Authority
- CN
- China
- Prior art keywords
- ship
- target
- sand
- monitoring area
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 16
- 239000004576 sand Substances 0.000 claims abstract description 68
- 230000003068 static effect Effects 0.000 claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims description 75
- 230000006399 behavior Effects 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000009412 basement excavation Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 239000000969 carrier Substances 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于PTZ相机联动控制的船体智能视频行为分析方法,通过对静止船只类别进行分析,针对挖砂船进行行为分析,确定是否进行挖砂行为,采用本发明的方法,能极大降低执法成本,设备部署的投入远低于人力执法,以及大大提升执法效率,保护江域的安全。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于PTZ相机联动控制的船体智能视频行为分析方法。
背景技术
在河道管理领域,由于河道缺乏控制设备和管理人员,对于来往停留船只的运行监控非常困难,如何利用有限的设备和人员,快速准确地发现河道船只异常状态或异常行为就显得非常重要。
针对河道停留船只的挖砂行为,目前采用的手段为人工巡检,巡检人员佩戴执法记录仪,定时定期巡逻,现场实施执法。该手段存在以下缺点:
(1)需要大量人力物力:必须由执法人员驾驶船只巡逻才可发现非法采砂行为,船只的行驶费用、保养费用、人员的执勤费用都需要大量投入;
(2)执法效果有限:非法采砂人员根据执法人员的执勤计划很容易躲避检查,且可以安排巡视人员放哨,在执法人员靠近前采取遮掩行为;
(3)取证有难度:由于需要靠近船只才可以现场录像,当前方法很难采集到有效的视频证据,无法依法对有关人员作出处理。
发明内容
发明目的:为解决现有技术中存在的缺点,本发明提出了一种基于PTZ相机联动控制的船体智能视频行为分析方法。
技术方案:一种基于PTZ相机联动控制的船体智能视频行为分析方法,包括以下步骤:
步骤1:依照分割原则,将当前帧PTZ相机成像画面分割成n×m个监控区域,根据事先标定的PTZ相机经纬度坐标,对每个监控区域的顶点经纬度坐标进行标定,以及对n×m个监控区域设置巡航监控路线,取第一个监控区域,将其PTZ放大到全屏监控区域,执行步骤2;
步骤2:判断当前全屏监控区域是否存在静止船只,若存在静止船只,则获取对当前全屏监控区域内所有静止船只的静止时间,基于该静止时间判断是否超过停留时间阈值;若不存在静止时间超过停留时间阈值的静止船只,则控制PTZ相机缩放回原位,按照巡航监控路线,取下一监控区域,放大到全屏监控区域,执行步骤2;若存在,则执行步骤3;
步骤3:将每艘静止船只均作为疑似目标,根据当前全屏监控区域中各疑似目标的经纬度坐标,生成静止船只巡航路线,并执行步骤4;
步骤4:对当前疑似目标进行放大,使当前疑似目标画面占总画面的1/2,构成目标画面,目标画面中对应的船只定义为目标船只,执行步骤5;
步骤5:基于目标画面进行船只类别识别,船只类别包括挖砂船、运砂船和普通船只;
若目标船只为挖砂船,则识别目标画面中的斗链区域,对识别到的斗链区域进行放大,直至斗链区域画面超过总画面的1/2,基于前后帧斗链区域画面,判断目标船只是否出现倒砂动作,若出现倒砂动作,则确定该目标船只在进行挖砂行为,将目标船只的作业画面及相关信息进行留档,并执行步骤6;若未出现倒砂动作,则执行步骤6;
若目标船只为运砂船,则根据帧差法,获取前后帧目标船只的吃水深度变化,若吃水深度变化超过设定阈值,则确定目标船只进行装砂行为,将目标船只的作业画面及相关信息进行留档,并执行步骤6;若吃水深度变化未超过设定阈值,则执行步骤6;
步骤6:判断是否存在未被放大的疑似目标,若存在未被放大的疑似目标,则根据静止船只巡航路线,取下一疑似目标作为当前疑似目标,执行步骤4;若不存在未被放大的疑似目标,则执行步骤7;
步骤7:判断是否存在没有被PTZ放大的监控区域,若存在,则控制PTZ相机缩放回原位,按照巡航监控路线,取下一监控区域,放大到全屏监控区域,执行步骤2;若不存在,则判断当前帧PTZ相机成像画面内是否同时存在进行挖砂行为的挖砂船和进行运砂行为的运砂船,若同时存在,则根据事先标定的PTZ相机经纬度坐标和每个监控区域的顶点经纬度坐标,利用线性变换得到该挖砂船和运砂船的经纬度坐标,根据允许作业区域的经纬度值和允许作业时间,判断当前作业是否合规,对于违规作业,进行相关信息记录;若不存在,则取下一帧PTZ相机成像画面,执行步骤1。
进一步的,所述分割原则为:当PTZ相机聚焦到某一监控区域时,该监控区域中船体的尺寸满足检测要求。
进一步的,步骤2中,所述的判断当前全屏监控区域是否存在静止船只,包括以下步骤:
采用卡尔曼滤波对当前全屏监控区域中的船只进行轨迹跟踪,得到各船只的移动距离;
若移动距离未超过移动距离阈值,则判定该船只为静止船只,否则该船只为非静止船只。
进一步的,步骤5中,所述的基于目标画面进行船只类别识别,包括以下步骤:
采用深度学习框架darknet和yolov4神经网络算法,构建神经网络模型;
采用已标定类别的江域样本对构建的神经网络模型进行训练,得到初代神经网络模型;所述类别包括挖砂船、运砂船和普通船只;
将目标画面输入至初代神经网络模型中,得到已标定类别的输出画面。有益效果:本发明与现有技术相比,具有以下优点:
(1)本发明通过综合考虑船体在不同河道、天气、不同时段等诸多因素,生成船体行为分析模型,提高船体行为分析模型实际应用的合理性;以及在后续船体行为分析模型有所变更(增加或者修改)的时候,只需要修改平台的业务服务器即可,升级扩展方便快捷,终端不需要进行升级;
(2)本发明对终端上传的船体行为状态的海量原始数据进行保存,当船主对分析结果提出异议时,非常方便进行原始数据的核对;
(3)采用本发明的方法,能极大降低执法成本,设备部署的投入远低于人力执法,以及大大提升执法效率,保护江域的安全。
附图说明
图1为本发明的流程示意图;
图2为本发明的行为识别流程图;
图3为斗链图;
图4为过程图1;
图5为过程图2;
图6为过程图3;
图7为移动端收到的报警信息示意图;
图8为搜索页面示意图;
图9为报警记录详情页面示意图;
图10为预警的录像回放界面示意图;
图11为统计信息界面示意图。
具体实施方式
现结合附图和实施例进一步阐述本发明的技术方案。
如图1所示,本发明的一种基于PTZ相机联动控制的船体智能视频行为分析方法,包括如下步骤,在进行以下步骤之前,需对PTZ相机经纬度坐标进行标定。
步骤1:根据江域宽度、能见度、相机分辨率等实际情况,依照分割原则,将当前帧PTZ相机成像画面分割成n×m个监控区域,分割原则为:当PTZ相机聚焦到某一监控区域时,该监控区域画面中船体的尺寸满足算法最小的检测要求,避免算法的漏检;根据事先标定的PTZ相机经纬度坐标,对每个监控区域的顶点经纬度坐标进行标定,以及对n×m个监控区域设置巡航监控路线,即PTZ相机将按照1、…、m、m+1、…、n×m的顺序依次对监控区域进行循环监测,实时监测江域中行驶、停留的船只。
参见图2,对于任意一监控区域,将其PTZ放大到全屏监控区域,并采用以下步骤对江域中行驶、停留的船只进行行为识别:
步骤2:采用卡尔曼滤波对当前监控区域中的船只进行轨迹跟踪,得到各船只的移动距离;若移动距离未超过移动距离阈值,则判定该船只为静止船只,否则该船只为非静止船只。判断当前全屏监控区域是否存在静止船只,若存在静止船只,则获取对当前全屏监控区域内所有静止船只的静止时间,基于该静止时间判断是否超过停留时间阈值;若不存在静止时间超过停留时间阈值的静止船只,则控制PTZ相机缩放回原位,按照巡航监控路线,取下一监控区域,放大到全屏监控区域,执行步骤2;若存在,则执行步骤3;
步骤3:将每艘静止船只均作为疑似目标,根据当前全屏监控区域中各疑似目标的经纬度坐标,生成静止船只巡航路线,并执行步骤4;
步骤4:对当前疑似目标进行放大,使当前疑似目标画面占总画面的1/2,构成目标画面,目标画面中对应的船只定义为目标船只,执行步骤5;
步骤5:采用事先训练好的神经网络模型对目标画面进行船只类别识别,船只类别包括挖砂船、运砂船和普通船只;
若目标船只为挖砂船,则采用轻量级卷积神经网络,识别目标画面中的斗链区域,对识别到的斗链区域进行放大,直至斗链区域画面超过总画面的1/2,采用光流法判断前后帧斗链是否发生运动以及是否有倒砂动作,图3示出了斗链图,作业时柴油机带动斗链沿斜坡上升,将斗中的江砂运至容器中,因此本发明中通过判断斗链是否发生动作来判断是否有倒砂动作。若出现倒砂动作,则确定该目标船只在进行挖砂行为,将目标船只的作业画面及相关信息进行留档,并执行步骤6;若未出现倒砂动作,则执行步骤6;
若目标船只为运砂船,则根据帧差法,获取前后帧目标船只的吃水深度变化,若吃水深度变化超过设定阈值,则确定目标船只进行装砂行为,将目标船只的作业画面及相关信息进行留档,并执行步骤6;若吃水深度变化未超过设定阈值,则执行步骤6;
步骤6:判断是否存在未被放大的疑似目标,若存在未被放大的疑似目标,则根据静止船只巡航路线,取下一疑似目标作为当前疑似目标,执行步骤4;若不存在未被放大的疑似目标,则执行步骤7;
步骤7:判断是否存在没有被PTZ放大的监控区域,若存在,则控制PTZ相机缩放回原位,按照巡航监控路线,取下一监控区域,放大到全屏监控区域,执行步骤2;若不存在,则判断当前帧PTZ相机成像画面内是否同时存在进行挖砂行为的挖砂船和进行运砂行为的运砂船,若同时存在,则根据事先标定的PTZ相机经纬度坐标和每个监控区域的顶点经纬度坐标,利用线性变换得到该挖砂船和运砂船的经纬度坐标,根据允许作业区域的经纬度值和允许作业时间,判断当前作业是否合规,对于违规作业,进行相关信息记录;若不存在,则取下一帧PTZ相机成像画面,执行步骤1。
相关信息包括船舷编号、采砂时间、船只位置、船只编号、地理坐标、前后吃水线高度、采砂视频等,采砂视频可以保存在终端内置硬盘或者配套的录像机中,供本地或者云端回看。
后台的监控人员同时可以预览实时画面,如有必要将立刻出警执法。同时船体监控管理平台将所有的船体行为分析结果保存到数据库,在后续监管需要的时候,从数据库中调出相关数据用以佐证。
当本发明方法用于河道江域的管理和保护时,可严格监管非法采砂行为,并采用数字化手段执法;对于合法采砂行为,能有量化数据控制采砂量,最终达到保护江域沿岸堤坝、河道安全的目标。
在一些实施例中,使用的神经网络模型的构建及训练过程如下:
根据yolov4-608网络和darknet架构,对前期储备江域视频素材进行标定,得到挖砂船、运砂船与其它船只三个分类,比例为1:1:1,共计得到30000张训练样本;
设定batch=64,动量设为0.99,初始学习率设为0.001,设定训练100000个epoch,学习策略为step,每40000个epoch学习率衰减到之前的10%,训练得到初代神经网络模型;
通过采集多类船只运行画面、船只在黑夜与白天的不同场景运行画面、船只中各类设备的运行视频等视频素材,进一步优化初代神经网络模型,以提高该模型的准确性、多样性、适应性,最终得到满足识别精度的神经网络模型。
在一些实施例中,采用卡尔曼滤波预测检测船只的下一时刻位置(track Bbox),并利用下式,与检测框(detection Bbox)进行数据关联,实现船只轨迹跟踪;
式中,dj为第j个检测框的位置,yi为第i个序列对目标的预测位置,Si为检测框与下一时刻位置之间的协方差矩阵。
在一些实施例中,采用yolov4对船只进行船舷编号识别,具体实现过程为:
将检测的船舷区域转为灰度图,生成直方图,通过直方图的波峰波谷对图像字符进行切割,采用BPnet识别船舷编号数字、字母及其它字符。
现结合实施例对本发明方法做进一步说明。
PTZ相机依次对监控区域进行循环监测,在第二个监控区域检测到疑似目标(参见图4),且目标静止时间超过阈值,因此对其进一步跟踪,由于当前状态不满足船体画面超过总画面1/2的检测要求,此时PTZ相机根据粗定位的结果对其进行PTZ放大,放大后画面如图5所示。
放大完成后对船体类别进行识别,经算法判断得到此船体为挖砂船,因此继续对其重点作业区域即斗链区域放大,如图6所示,并开始识别斗链等核心部件的工作状态。
根据斗链的工作状态,确认该挖砂船在进行挖砂,此时将报警记录上报执法部门。同时继续检测附近是否有运砂船存在。本实施例中并无运砂船伴随,因为无需吃水线识别。检测总时长超过阈值后,监控设备退回放大前的状态,并继续下一个巡逻点的检测。
如图7所示,执法部门将在手机微信端收到报警信息,如图8所示,可在网页端查看报警详情,包括船只出现的时间、地址、船只全景图、特写图、事件类型和回看录像。
网页搜索记录示例:搜索时点击所属的卡口及时间,即可查询出所有非法采砂报警记录:
图9为报警记录详情页面,内容包括报警的时间地点、船体类型、录像链接,可以到抓拍的江域全景图,船体特写图及录像地址。如图10所示,点击视频可以看到预警的录像回放。如图11所示,可对监控数据进行统计并进行展示,统计信息包括非法采砂次数、合法采砂总数等等。
Claims (4)
1.一种基于PTZ相机联动控制的船体智能视频行为分析方法,其特征在于:包括以下步骤:
步骤1:依照分割原则,将当前帧PTZ相机成像画面分割成n×m个监控区域,根据事先标定的PTZ相机经纬度坐标,对每个监控区域的顶点经纬度坐标进行标定,以及对n×m个监控区域设置巡航监控路线,取第一个监控区域,将其PTZ放大到全屏监控区域,执行步骤2;
步骤2:判断当前全屏监控区域是否存在静止船只,若存在静止船只,则获取对当前全屏监控区域内所有静止船只的静止时间,基于该静止时间判断是否超过停留时间阈值;若不存在静止时间超过停留时间阈值的静止船只,则控制PTZ相机缩放回原位,按照巡航监控路线,取下一监控区域,放大到全屏监控区域,执行步骤2;若存在,则执行步骤3;
步骤3:将每艘静止船只均作为疑似目标,根据当前全屏监控区域中各疑似目标的经纬度坐标,生成静止船只巡航路线,并执行步骤4;
步骤4:对当前疑似目标进行放大,使当前疑似目标画面占总画面的1/2,构成目标画面,目标画面中对应的船只定义为目标船只,执行步骤5;
步骤5:基于目标画面进行船只类别识别,船只类别包括挖砂船、运砂船和普通船只;
若目标船只为挖砂船,则识别目标画面中的斗链区域,对识别到的斗链区域进行放大,直至斗链区域画面超过总画面的1/2,基于前后帧斗链区域画面,判断目标船只是否出现倒砂动作,若出现倒砂动作,则确定该目标船只在进行挖砂行为,将目标船只的作业画面及相关信息进行留档,并执行步骤6;若未出现倒砂动作,则执行步骤6;
若目标船只为运砂船,则根据帧差法,获取前后帧目标船只的吃水深度变化,若吃水深度变化超过设定阈值,则确定目标船只进行装砂行为,将目标船只的作业画面及相关信息进行留档,并执行步骤6;若吃水深度变化未超过设定阈值,则执行步骤6;
步骤6:判断是否存在未被放大的疑似目标,若存在未被放大的疑似目标,则根据静止船只巡航路线,取下一疑似目标作为当前疑似目标,执行步骤4;若不存在未被放大的疑似目标,则执行步骤7;
步骤7:判断是否存在没有被PTZ放大的监控区域,若存在,则控制PTZ相机缩放回原位,按照巡航监控路线,取下一监控区域,放大到全屏监控区域,执行步骤2;若不存在,则判断当前帧PTZ相机成像画面内是否同时存在进行挖砂行为的挖砂船和进行运砂行为的运砂船,若同时存在,则根据事先标定的PTZ相机经纬度坐标和每个监控区域的顶点经纬度坐标,利用线性变换得到该挖砂船和运砂船的经纬度坐标,根据允许作业区域的经纬度值和允许作业时间,判断当前作业是否合规,对于违规作业,进行相关信息记录;若不存在,则取下一帧PTZ相机成像画面,执行步骤1。
2.根据权利要求1所述的一种基于PTZ相机联动控制的船体智能视频行为分析方法,其特征在于:所述分割原则为:当PTZ相机聚焦到某一监控区域时,该监控区域中船体的尺寸满足检测要求。
3.根据权利要求1所述的一种基于PTZ相机联动控制的船体智能视频行为分析方法,其特征在于:步骤2中,所述的判断当前全屏监控区域是否存在静止船只,包括以下步骤:
采用卡尔曼滤波对当前全屏监控区域中的船只进行轨迹跟踪,得到各船只的移动距离;
若移动距离未超过移动距离阈值,则判定该船只为静止船只,否则该船只为非静止船只。
4.根据权利要求1所述的一种基于PTZ相机联动控制的船体智能视频行为分析方法,其特征在于:步骤5中,所述的基于目标画面进行船只类别识别,包括以下步骤:
采用深度学习框架darknet和yolov4神经网络算法,构建神经网络模型;
采用已标定类别的江域样本对构建的神经网络模型进行训练,得到初代神经网络模型;所述类别包括挖砂船、运砂船和普通船只;
将目标画面输入至初代神经网络模型中,得到已标定类别的输出画面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111588670.6A CN114387301B (zh) | 2021-12-23 | 2021-12-23 | 一种基于ptz相机联动控制的船体智能视频行为分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111588670.6A CN114387301B (zh) | 2021-12-23 | 2021-12-23 | 一种基于ptz相机联动控制的船体智能视频行为分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114387301A true CN114387301A (zh) | 2022-04-22 |
CN114387301B CN114387301B (zh) | 2024-04-16 |
Family
ID=81198385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111588670.6A Active CN114387301B (zh) | 2021-12-23 | 2021-12-23 | 一种基于ptz相机联动控制的船体智能视频行为分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114387301B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101119482A (zh) * | 2007-09-28 | 2008-02-06 | 北京智安邦科技有限公司 | 一种全景监控方法及设备 |
KR20150076645A (ko) * | 2013-12-27 | 2015-07-07 | 한국해양과학기술원 | Ptz 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법 |
CN106814670A (zh) * | 2017-03-22 | 2017-06-09 | 重庆高略联信智能技术有限公司 | 一种河道采砂智能监管方法及系统 |
CN113239854A (zh) * | 2021-05-27 | 2021-08-10 | 北京环境特性研究所 | 一种基于深度学习的船舶身份识别方法及系统 |
-
2021
- 2021-12-23 CN CN202111588670.6A patent/CN114387301B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101119482A (zh) * | 2007-09-28 | 2008-02-06 | 北京智安邦科技有限公司 | 一种全景监控方法及设备 |
KR20150076645A (ko) * | 2013-12-27 | 2015-07-07 | 한국해양과학기술원 | Ptz 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법 |
CN106814670A (zh) * | 2017-03-22 | 2017-06-09 | 重庆高略联信智能技术有限公司 | 一种河道采砂智能监管方法及系统 |
CN113239854A (zh) * | 2021-05-27 | 2021-08-10 | 北京环境特性研究所 | 一种基于深度学习的船舶身份识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114387301B (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9365217B2 (en) | Mobile pothole detection system and method | |
CN104408932A (zh) | 一种基于视频监控的酒驾车辆检测系统 | |
US10984254B2 (en) | Investigation assist system and investigation assist method | |
CN112562417A (zh) | 一种船舶应急指挥管理系统和方法 | |
CN110659546B (zh) | 一种违法摊位检测方法及装置 | |
CN110288855B (zh) | 针对海上船只行为的分类方法及其分类系统 | |
Chen et al. | Automatic vision-based calculation of excavator earthmoving productivity using zero-shot learning activity recognition | |
Serra-Sogas et al. | Using aerial surveys to fill gaps in AIS vessel traffic data to inform threat assessments, vessel management and planning | |
WO2021076573A1 (en) | Systems and methods for assessing infrastructure | |
CN113903008A (zh) | 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法 | |
CN116453276A (zh) | 一种海上风电电子围栏监控预警方法和系统 | |
CN112836683A (zh) | 用于便携式摄像设备的车牌识别方法、装置、设备和介质 | |
CN114387301B (zh) | 一种基于ptz相机联动控制的船体智能视频行为分析方法 | |
CN113961552A (zh) | 船舶穿越特殊区域的监控方法 | |
JP7293174B2 (ja) | 道路周辺物監視装置、道路周辺物監視プログラム | |
CN113283539A (zh) | 一种基于深度学习的违规渣土车检测的方法及系统 | |
CN112528715B (zh) | 一种船只监控方法、装置及设备、存储介质 | |
Hoseini et al. | Pothole detection in the woods: a deep learning approach for forest road surface monitoring with dashcams | |
WO2023166411A1 (en) | Automatic digital inspection of railway environment | |
Priantama et al. | The innovation development of early flash flood warning system based on digital image processing through android smartphone | |
CN112633163A (zh) | 一种基于机器学习算法实现非法运营车辆检测的检测方法 | |
Rio et al. | The Innovation Development of Early Flash Flood Warning System Based on Digital Image Processing Through Android Smartphone. | |
CN111968225A (zh) | 航道数据可视化方法、系统、计算机设备及存储介质 | |
CN212845923U (zh) | 非法挖沙智能预警系统 | |
CN117152892B (zh) | 基于视频监控识别的防偷砂方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |