CN114529864B - 一种岸边走私行为检测方法、装置及存储介质 - Google Patents
一种岸边走私行为检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114529864B CN114529864B CN202111657850.5A CN202111657850A CN114529864B CN 114529864 B CN114529864 B CN 114529864B CN 202111657850 A CN202111657850 A CN 202111657850A CN 114529864 B CN114529864 B CN 114529864B
- Authority
- CN
- China
- Prior art keywords
- ship
- information
- personnel
- vehicle
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims description 37
- 230000006399 behavior Effects 0.000 claims abstract description 125
- 238000001514 detection method Methods 0.000 claims abstract description 93
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 29
- 238000012544 monitoring process Methods 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 21
- 230000005856 abnormality Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 210000000707 wrist Anatomy 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000003739 neck Anatomy 0.000 description 4
- 210000002832 shoulder Anatomy 0.000 description 4
- 229910052731 fluorine Inorganic materials 0.000 description 3
- 125000001153 fluoro group Chemical group F* 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种岸边走私行为检测方法、装置及存储介质,包括获取船只位置信息;确定水域和陆地的分界线;根据船只位置信息和分界线判断是否在岸边停靠;当判断船只在岸边停靠时,检测人员的移动状态信息;根据所述人员的移动状态信息,确定船只的过船状态;若船只的过船状态为连续的,则提取靠近过船人员和远离过船人员的人体关键点信息;根据人体关键点信息检测所述人员是否存在走私搬货行为;若存在走私搬货行为,则获取预设范围内的车辆信息;若人员与所述车辆的距离小于预设的距离阈值,则确定所述人员的姿态;若为搬运状态,则判断车辆存在运货物行为;若车辆的运货物行为持续时间大于预设的时间阈值,则根据车辆信息判定车辆是否存在走私运货行为。
Description
技术领域
本申请涉及计算技术领域,尤其涉及一种岸边走私行为检测方法、装置和存储介质。
背景技术
传统的水域监控系统采用人工视频巡察方式存在一定局限性,现有技术不能实时尤其在夜间对岸边走私行为进行实时检测。
发明内容
针对上述技术问题,本申请实施例提供了一种岸边走私行为检测方法、装置及存储介质,用以实时对岸边走私行为进行实时检测,提高监管的效率。
第一方面,本申请实施例提供的一种岸边走私行为检测方法,包括:
获取船只位置信息;
确定水域和陆地的分界线;
根据所述船只位置信息和分界线判断所述船只是否在岸边停靠;
当判断所述船只在岸边停靠时,检测人员的移动状态信息;
根据所述人员的移动状态信息,确定所述船只的过船状态;
若所述船只的过船状态为连续的过船行为,则提取靠近过船人员和远离过船人员的人体关键点信息;
根据所述人体关键点信息检测所述人员是否存在走私搬货行为;
若检测到所述人员存在走私搬货行为,则获取距离所述船只停靠点在预设范围内的车辆信息;
若人员与所述车辆的距离小于预设的距离阈值,则确定所述人员的姿态;
若所述人员的姿态为搬运状态,则判断所述车辆存在运货物行为;
若所述车辆的运货物行为持续时间大于预设的时间阈值,则根据所述车辆信息判定所述车辆是否存在走私运货行为。
优选的,所述获取船只位置信息包括:
确定岸边船只检测模型;
根据所述船只检测模型获取距离岸边在预设第二距离之内的船只信息;
根据所述船只信息确定所述船只位置信息;
其中,所述确定岸边船只检测模型包括:
收集检测水域夜间过往船只的图像;
根据所述过往船只的图像对船只进行标注;
使用标注好的图像进行训练得到所述岸边船只检测模型。
进一步的,所述根据所述船只信息确定所述船只位置信息包括:
所述船只信息为(xb,yb,wb,hb),岸边监控视频图像的尺寸为(W,H),则所述船只位置信息(xtb,ytb)为:
其中,cθ为所述岸边监控视频图像的摄像头安装位置确定的角度修正常数;ch为所述摄像头安装位置确定的过度修正常数;c1为历史数据训练得到的映射修正常数;ct为历史数据训练得到的偏移修正常数;cu为历史数据训练的到的上界面修正常数;cd为历史数据训练得到的下界面修正常数;xb为所述船只在所述监控视频图像内识别方框左上角的横坐标;yb为所述船只在所述监控视频图像内识别方框左上角的纵坐标;wb为所述船只在所述监控视频图像内识别方框的宽;hb为所述船只在所述监控视频图像内识别方框的高;W为所述监控视频图像的宽,H为所述监控视频图像的高;xtb为船只的横坐标;ytb所述船只的纵坐标。
优选的,所述确定水域和陆地的分界线包括:
所述分界线为Ax+By+C=0;
其中A为横坐标系数,B为纵坐标系数,C为常数;
进一步的,所述根据所述船只位置信息和分界线判断所述船只是否在岸边停靠包括:
获取当前时刻的船只位置信息;
若gd>tsd则判定所述船只在岸边停靠;
所述gd由以下公式确定:
优选的,所述当判断所述船只在岸边停靠时,检测人员的移动状态信息包括:
获取从检测到船只在岸边停靠的时间ts为起点每隔时间ty获取长度为tx的时间窗视频内全部移动状态人员的第一轨迹信息;
将所述第一轨迹信息中满足以下公式的移动状态人员的轨迹信息提取出来得到第二轨迹信息:
其中,xg是所述移动状态人员的横坐标,yg是所述移动状态人员的纵坐标,tsdg是预设的第二距离阈值,xtb为船只的横坐标;ytb所述船只的纵坐标。
对所述第二轨迹信息中所述移动状态人员的轨迹信息按照时间先后顺序排列,划分为第一轨迹集合{(xp1i,yp1i)}和第二轨迹集合{(xp2j,yp2j)},其中所述第一轨迹集合中的点对应的时间小于Tm,所述第二轨迹集合中的点对应的时间大于等于Tm,所述Tm为所述第二轨迹信息中距离停靠点距离最小的轨迹点对应的时间;
计算所述第一轨迹集合内每一个轨迹点距离停靠点的距离dp1i并按照对应的时间排序得到元素个数为N的第一距离集合{dp1i},其中i为所述第一轨迹集合内轨迹点的编号,N为所述第一轨迹集合内轨迹点的总数量;
提取所述第一距离集合{dp1i}中前N-ω+1个元素组成基础距离集合{dp1,dp2,···,dpN-ω+1};
从所述基础距离集合{dp1,dp2,···,dpN-ω+1}中提取一个元素dpm与所述第一距离集合{dp1i}中的后ω-1个元素{dpN-ω+2,dpN-ω+3,···,dpN}组成N-ω+1个第二距离集合{dpm,dpN-ω+2,···,dpN},其中m大于等1小于等于N-ω+1,ω为设定的集合分割常数;
根据下列公式计算第k个所述第二距离集合的趋势得分:
其中,cmax为根据历史数据训练得到的上界修正常数,cmin为根据历史数据训练得到的下界修正常数;
根据以下公式计算相邻两个所述第二距离集合的趋势差得分:
根据以下公式计算整体的趋势差得分:
若gf>tsgf则判定所述人员轨迹为远离轨迹,若gf<-tsgf则判定所述人员轨迹为靠近轨迹,若gf≥-tsgf且gf≤tsgf则判定所述人员轨迹为徘徊轨迹;其中tsgf为预设的轨迹识别阈值。
优选的,所述检测人员的移动状态信息包括:
通过黑光摄像设备使用训练好的夜间人员检测模型获取岸边陆地区域出现的人员信息(xp,yp,wp,hp),并提取所述人员的特征向量;
提取当前检测帧的前一帧图像,根据余弦相似度计算所述前一帧图像中与所述人员相似度最大的人员信息(x1p,y1p,w1p,h1p);
提取当前检测帧的前n帧图像,根据余弦相似度计算所述前n帧图像中与所述人员相似度最大的人员信息(xnp,ynp,wnp,hnp),其中n大于1且小于图像数量;
若满足以下公式则判断所述人员处于移动状态:
其中,tsnp为预设的第三阈值;
x1p和xnp为所述人员识别方框左上角的横坐标,y1p和ynp为所述人员识别方框左上角的纵坐标,w1p和wnp为所述人员识别方框的宽,h1p和hnp为所述人员识别方框的高。
优选的,根据以下方式判定所述船只的过船状态为连续的过船行为:
当所述第一轨迹集合为靠近轨迹,所述第二轨迹集合为远离轨迹时,判定所述移动状态人员的轨迹信息为过船行为;
当所所述移动状态人员的轨迹信息为过船行为时,以距离停靠点最近的轨迹点对应的时间为起始时间,根据时间轴将所述轨迹信息划分为ngj个等长的时间段,统计每个时间段内轨迹信息的数量ngi,其中i为所述时间段的序号,i大于等于1小于等于ngj;
若满足以下公式则判定为所述船只的过船状态为连续的过船行为:
其中,tsdb为预设的波动阈值;
k大于等于1小于等于ngj。
进一步的,所述根据所述人体关键点信息检测所述人员是否存在走私搬货行为包括:
使用训练好的搬运状态检测模型对所述人员的姿态进行判断,当所述人员为搬运状态时,判定为检测帧存在走私搬货行为;
其中,所述人体关键点信息包括以下之一或者组合脖子,肩膀或者手腕。
进一步的,所述若所述车辆的运货物行为持续时间大于预设的时间阈值,则根据所述车辆信息判定所述车辆是否存在走私运货行为包括:
获取停留时间大于预设时间阈值的所述车辆位置(xd1,yd1),获取所述车辆离开岸边区域的位置(xd2,yd2)以及所述车辆进入岸边区域的位置(xd3,yd3);
计算所述车辆的异常得分gce;
当检测到车辆异常得分gce大于预设的车辆异常得分阈值时,判定车辆存在走私运货行为;
其中,根据以下公式计算所述车辆的异常得分gce:
gce=god(glo+gjd);
其中A23=xd2-xd3,A12=xd1-xd2,A13=xd1-xd3,A21=xd2-xd1,B23=yd2-yd3,B12=yd1-yd2,B13=yd1-yd3,B21=yd2-yd1;tsl1为预设的第四阈值,tsl2为预设的第五阈值,且tsl2>tsl1;tsθ1为预设的第六阈值,tsθ2为预设的第七阈值,且tsθ2>tsθ1;cod为根据历史数据训练得到的修正常数,mod为预设的第八阈值。
使用本发明提供的岸边走私行为检测方法,首先根据历史数据训练得到岸边船只检测模型、夜间人员检测模型和搬运状态检测模型;然后根据船只检测模型实时获取船只的位置信息,根据水域和陆地的分界线判断船只是否在岸边停靠;若船只在岸边停靠,则根据夜间人员检测模型检测人员的移动状态信息;然后根据人员移动状态信息,确定船只的过船状态;最后根据搬运状态检测模型,以及车辆信息,判断车辆是否存走私运货行为。使用本发明的方法,实现实时尤其在夜间对岸边走私行为进行实时检测,从而提高了监管的效率和准确度。
第二方面,本申请实施例还提供一种岸边走私行为检测装置,包括:
图像采集模块,被配置用于采集岸边监控区域的图像和视频;
检测模块,被配置用于根据所述图像采集模块采集的图像和视频,检测岸边走私行为,所述检测岸边走私行为包括:
获取船只位置信息;
确定水域和陆地的分界线;
根据所述船只位置信息和分界线判断所述船只是否在岸边停靠;
当判断所述船只在岸边停靠时,检测人员的移动状态信息,所述移动状态信息包括靠近过程、远离过程或者徘徊过程;
根据所述人员的移动状态信息,确定所述船只的过船状态;
若所述船只的过船状态为连续的过船行为,则提取靠近过船人员和远离过船人员的人体关键点信息;
根据所述人体关键点信息检测所述人员是否存在走私搬货行为;
若检测到所述人员存在走私搬货行为,则获取距离所述船只停靠点在预设范围内的车辆信息;
若人员与所述车辆的距离小于预设的距离阈值,则确定所述人员的姿态;
若所述人员的姿态为搬运状态,则判断所述车辆存在运货物行为;
若所述车辆的运货物行为持续时间大于预设的时间阈值,则根据所述车辆信息判定所述车辆是否存在走私运货行为。
第三方面,本申请实施例还提供一种岸边走私行为检测装置,包括:存储器、处理器和用户接口;
所述存储器,用于存储计算机程序;
所述用户接口,用于与用户实现交互;
所述处理器,用于读取所述存储器中的计算机程序,所述处理器执行所述计算机程序时,实现本发明提供的岸边走私行为检测方法。
第四方面,本申请实施例还提供一种处理器可读存储介质,所述处理器可读存储介质存储有计算机程序,所述处理器执行所述计算机程序时实现本发明提供的岸边走私行为检测方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的岸边走私行为检测方法示意图之一;
图2为本发明实施例提供的岸边走私行为检测方法示意图之二;
图3为本发明实施例提供的岸边走私行为检测装置示意图之一;
图4为本发明实施例提供的岸边走私行为检测装置示意图之二。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面对文中出现的一些词语进行解释:
1、本发明实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本申请实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例的展示顺序仅代表实施例的先后顺序,并不代表实施例所提供的技术方案的优劣。
实施例一
参见图1,本申请实施例提供的一种岸边走私行为检测方法示意图,如图1所示,该方法包括步骤S101到S103:
S101、获取船只位置信息;
S102、确定水域和陆地的分界线;
S103、根据所述船只位置信息和分界线判断所述船只是否在岸边停靠;
S104、当判断所述船只在岸边停靠时,检测人员的移动状态信息;
S105、根据所述人员的移动状态信息,确定所述船只的过船状态;
S106、若所述船只的过船状态为连续的过船行为,则提取靠近过船人员和远离过人员的人体关键点信息;
S107、根据所述人体关键点信息检测所述人员是否存在走私搬货行为。
作为一种优选示例,本发明S101中获取船只位置信息可以为:
确定岸边船只检测模型;
根据所述船只检测模型获取距离岸边在预设第二距离之内的船只信息;
根据所述船只信息确定所述船只位置信息;
其中,所述确定岸边船只检测模型包括:
收集检测水域夜间过往船只的图像;
根据所述过往船只的图像对船只进行标注;
使用标注好的图像进行训练得到所述岸边船只检测模型。
作为一种优选示例,上述步骤根据所述船只信息确定所述船只位置信息可以包括:
所述船只信息为(xb,yb,wb,hb),岸边监控视频图像的尺寸为(W,H),则所述船只位置信息(xtb,ytb)为:
其中,cθ为所述岸边监控视频图像的摄像头安装位置确定的角度修正常数;ch为所述摄像头安装位置确定的过度修正常数;c1为历史数据训练得到的映射修正常数;ct为历史数据训练得到的偏移修正常数;cu为历史数据训练的到的上界面修正常数;cd为历史数据训练得到的下界面修正常数;xb为所述船只在所述监控视频图像内识别方框左上角的横坐标;yb为所述船只在所述监控视频图像内识别方框左上角的纵坐标;wb为所述船只在所述监控视频图像内识别方框的宽;hb为所述船只在所述监控视频图像内识别方框的高;W为所述监控视频图像的宽,H为所述监控视频图像的高;xtb为船只的横坐标;ytb所述船只的纵坐标。
作为一种优选示例,S102中,确定水域和陆地的分界线可以为:
分界线为Ax+By+C=0;
其中A为横坐标系数,B为纵坐标系数,C为常数。
作为一种优选示例,S103中,根据所述船只位置信息和分界线判断所述船只是否在岸边停靠包括:
获取当前时刻的船只位置信息;
若gd>tsd则判定所述船只在岸边停靠;
所述gd由以下公式确定:
也就是说,本发明S101到S103中,处理过程如下:
收集检测水域夜间过往船只的图像,对船只进行标注,使用标注好的图像进行训练得到岸边船只检测模型;
通过岸边部署的光电设备使用训练好的岸边船只检测模型获取岸边水域内的船只信息(xb,yb,wb,hb),根据视频图像的尺寸信息(W,H),获取船只的相对位置信息(xtb,ytb),
其中,
根据视频画面中水域及陆地的分布得到水域陆地分界线Ax+By+C=0,当检测到船只的相对位置信息(xtb,ytb)满足:
则判定船只靠近岸边,并获取当前帧前nb帧图像计算图像中船只距离当前船只的距离db,当db小于预设的第一距离阈值时添加船只得分gb=1,gb默认为0,当时,判定船只在岸边停靠,并将船只相对位置作为停靠点的位置信息(xtb,ytb)。其中,tsbd为预设的第一距离阈值。
作为一种优选示例,本发明实施例S104中,当判断所述船只在岸边停靠时,检测人员的移动状态信息包括:
获取从检测到船只在岸边停靠的时间ts为起点每隔时间ty获取长度为tx的时间窗视频内全部移动状态人员的第一轨迹信息;
将所述第一轨迹信息中满足以下公式的移动状态人员的轨迹信息提取出来得到第二轨迹信息:
其中,xg是所述移动状态人员的横坐标,yg是所述移动状态人员的纵坐标,tsdg是预设的第二距离阈值,xtb为船只的横坐标;ytb所述船只的纵坐标。
对所述第二轨迹信息中所述移动状态人员的轨迹信息按照时间先后顺序排列,划分为第一轨迹集合{(xp1i,yp1i)}和第二轨迹集合{(xp2j,yp2j)},其中所述第一轨迹集合中的点对应的时间小于Tm,所述第二轨迹集合中的点对应的时间大于等于Tm,所述Tm为所述第二轨迹信息中距离停靠点距离最小的轨迹点对应的时间;
计算所述第一轨迹集合内每一个轨迹点距离停靠点的距离dp1i并按照对应的时间排序得到元素个数为N的第一距离集合{dp1i},其中i为所述第一轨迹集合内轨迹点的编号,N为所述第一轨迹集合内轨迹点的总数量;
提取所述第一距离集合{dp1i}中前N-ω+1个元素组成基础距离集合{dp1,dp2,···,dpN-ω+1};
从所述基础距离集合{dp1,dp2,···,dpN-ω+1}中提取一个元素dpm与所述第一距离集合{dp1i}中的后ω-1个元素{dpN-ω+2,dpN-ω+3,···,dpN}组成N-ω+1个第二距离集合{dpm,dpN-ω+2,···,dpN},其中m大于等1小于等于N-ω+1,ω为设定的集合分割常数;
根据下列公式计算第k个所述第二距离集合的趋势得分:
其中,cmax为根据历史数据训练得到的上界修正常数,cmin为根据历史数据训练得到的下界修正常数;
根据以下公式计算相邻两个所述第二距离集合的趋势差得分:
根据以下公式计算整体的趋势差得分:
若gf>tsgf则判定所述人员轨迹为远离轨迹,若gf<-tsgf则判定所述人员轨迹为靠近轨迹,若gf≥-tsgf且gf≤tsgf则判定所述人员轨迹为徘徊轨迹;其中tsgf为预设的轨迹识别阈值。
作为一种优选示例,所述检测人员的移动状态信息包括:
通过黑光摄像设备使用训练好的夜间人员检测模型获取岸边陆地区域出现的人员信息(xp,yp,wp,hp),并提取所述人员的特征向量;
提取当前检测帧的前一帧图像,根据余弦相似度计算所述前一帧图像中与所述人员相似度最大的人员信息(x1p,y1p,w1p,h1p);
提取当前检测帧的前n帧图像,根据余弦相似度计算所述前n帧图像中与所述人员相似度最大的人员信息(xnp,ynp,wnp,hnp),其中n大于1且小于图像数量;
若满足以下公式则判断所述人员处于移动状态:
其中,tsnp为预设的第三阈值;
x1p和xnp为所述人员识别方框左上角的横坐标,y1p和ynp为所述人员识别方框左上角的纵坐标,w1p和wnp为所述人员识别方框的宽,h1p和hnp为所述人员识别方框的高。
作为一种优选示例,本发明实施例S105,根据以下方式判定所述船只的过船状态为连续的过船行为:
当所述第一轨迹集合为靠近轨迹,所述第二轨迹集合为远离轨迹时,判定所述移动状态人员的轨迹信息为过船行为;
当所所述移动状态人员的轨迹信息为过船行为时,以距离停靠点最近的轨迹点对应的时间为起始时间,根据时间轴将所述轨迹信息划分为ngj个等长的时间段,统计每个时间段内轨迹信息的数量ngi,其中i为所述时间段的序号,i大于等于1小于等于ngj;
若满足以下公式则判定为所述船只的过船状态为连续的过船行为:
其中,tsdb为预设的波动阈值;
k大于等于1小于等于ngj。
也就是说,本步骤S105中,当两个集合{(xp1i,yp1i)},{(xp2j,yp2j)}其中时间靠前的一个为靠近轨迹,靠后的一个为远离轨迹时判定人员轨迹为过船轨迹,以距离停靠点最近的轨迹点对应的时间为轨迹时间,将时间轴划分为ngl个等长时间段,根据轨迹时间将过船轨迹分组统计每个时间段内的轨迹数量ng,得到数量集合
当上述数量集合满足以下公式时判定在检测时刻存在连续的过船行为:
tsdb为预设的波动阈值。
作为一种优选示例,本发明实施例的S107中,所述根据所述人体关键点信息检测所述人员是否存在走私搬货行为包括:
使用训练好的搬运状态检测模型对所述人员的姿态进行判断,当所述人员为搬运状态时,判定为检测帧存在走私搬货行为;
其中,所述人体关键点信息包括以下之一或者组合脖子,肩膀或者手腕。
也就是说,S107中,收集人员搬运货物图像,对人员的关键点信息进行标注,根据标注计算各关键点与头部的距离以及与头部的连线与身体躯干组成直线的夹角,将距离与夹角组成特征向量进行训练得到搬运状态检测模型。当检测到连续的过船行为时,提取靠近过程及远离过程内人员图像中的人体关键点信息(例如脖子、肩膀、手腕等)使用训练好的搬运状态检测模型对人员的姿态进行判断,当检测到过船轨迹为疑似搬运状态时,判定为检测帧存在走私搬货行为。
实施例二
参见图2,本申请实施例提供的一种岸边走私行为检测方法示意图,如图2所示,该方法包括步骤S201到S211:
S201、获取船只位置信息;具体同S101,在此不再赘述;
S202、确定水域和陆地的分界线;具体同S102,在此不再赘述;
S203、根据所述船只位置信息和分界线判断所述船只是否在岸边停靠;具体同S103,在此不再赘述;
S204、当判断所述船只在岸边停靠时,检测人员的移动状态信息;具体同S104,在此不再赘述;
S205、根据所述人员的移动状态信息,确定所述船只的过船状态;具体同S105,在此不再赘述;
S206、若所述船只的过船状态为连续的过船行为,则提取靠近过船人员和远离过船人员的人体关键点信息;具体同S106,在此不再赘述;
S207、根据所述人体关键点信息检测所述人员是否存在走私搬货行为;若是则执行S208,否则执行S201;
S208、获取距离所述船只停靠点在预设范围内的车辆信息;
S209、若人员与所述车辆的距离小于预设的距离阈值,则确定所述人员的姿态;
S210、若所述人员的姿态为搬运状态,则判断所述车辆存在运货物行为;
S211、若所述车辆的运货物行为持续时间大于预设的时间阈值,则根据所述车辆信息判定所述车辆是否存在走私运货行为。
也就是说,本实施例S208到S211中,在检测到疑似走私搬货行为时,获取岸边标记为区域内(即距离所述船只停靠点在预设范围内)车辆的相关信息,在停靠点的标记为区域内对货车根据特征进行检测,获取停靠点的标记为区域内的车辆信息,对过船轨迹内的人员进行跟踪,得到搬货人员活动区域,当检测车辆位置与人员区域的最小距离小于预设的距离阈值,提取小于预设的距离阈值的人员信息,当检测到人员姿态为搬运状态时,判定车辆存在运货物行为,运货物行为持续时间超过预设的时间阈值时判定存在走私运货行为。
具体的,本实施例S211中,若所述车辆的运货物行为持续时间大于预设的时间阈值,则根据所述车辆信息判定所述车辆是否存在走私运货行为包括:
获取停留时间大于预设时间阈值的所述车辆位置(xd1,yd1),获取所述车辆离开岸边区域的位置(xd2,yd2)以及所述车辆进入岸边区域的位置(xd3,yd3);
计算所述车辆的异常得分gce;
当检测到车辆异常得分gce大于预设的车辆异常得分阈值时,判定车辆存在走私运货行为;
其中,根据以下公式计算所述车辆的异常得分gce:
gce=god(glo+gjd);
其中A23=xd2-xd3,A12=xd1-xd2,A13=xd1-xd3,A21=xd2-xd1,B23=yd2-yd3,B12=yd1-yd2,B13=yd1-yd3,B21=yd2-yd1;tsl1为预设的第四阈值,tsl2为预设的第五阈值,且tsl2>tsl1;tsθ1为预设的第六阈值,tsθ2为预设的第七阈值,且tsθ2>tsθ1;cod为根据历史数据训练得到的修正常数,mod为预设的第八阈值。
使用本发明提供的实施例一或者实施例二的岸边走私行为检测方法,首先根据历史数据训练得到岸边船只检测模型、夜间人员检测模型、搬运状态检测模型和走私运货检测模型;然后根据船只检测模型实时获取船只的位置信息,根据水域和陆地的分界线判断船只是否在岸边停靠;若船只在岸边停靠,则根据夜间人员检测模型检测人员的移动状态信息;然后根据人员移动状态信息,确定船只的过船状态;根据搬运状态检测模型,判断人员是否存在走私搬运行为;最后根据走私运货检测模型,以及车辆信息,判断车辆是否存走私运货行为。使用本发明的方法,实现实时尤其在夜间对岸边走私行为进行实时检测,从而提高了监管的效率和准确度。
实施例三
基于同一个发明构思,本发明实施例还提供了一种岸边走私行为检测装置,如图3所示,该装置包括:
图像采集模块301,被配置用于采集岸边监控区域的图像和视频;
检测模块302,被配置用于根据所述图像采集模块采集的图像和视频,检测岸边走私行为,所述检测岸边走私行为包括:
获取船只位置信息;
确定水域和陆地的分界线;
根据所述船只位置信息和分界线判断所述船只是否在岸边停靠;
当判断所述船只在岸边停靠时,检测人员的移动状态信息,所述移动状态信息包括靠近过程、远离过程或者徘徊过程;
根据所述人员的移动状态信息,确定所述船只的过船状态;
若所述船只的过船状态为连续的过船行为,则提取靠近过船人员和远离过船人员的人体关键点信息;
根据所述人体关键点信息检测所述人员是否存在走私搬货行为;
若检测到所述人员存在走私搬货行为,则获取距离所述船只停靠点在预设范围内的车辆信息;
若人员与所述车辆的距离小于预设的距离阈值,则确定所述人员的姿态;
若所述人员的姿态为搬运状态,则判断所述车辆存在运货物行为;
若所述车辆的运货物行为持续时间大于预设的时间阈值,则根据所述车辆信息判定所述车辆是否存在走私运货行为。
作为一种优选示例,检测模块302还被配置用于根据以下步骤获取船只位置信息:
确定岸边船只检测模型;
根据所述船只检测模型获取距离岸边在预设第二距离之内的船只信息;
根据所述船只信息确定所述船只位置信息;
其中,所述确定岸边船只检测模型包括:
收集检测水域夜间过往船只的图像;
根据所述过往船只的图像对船只进行标注;
使用标注好的图像进行训练得到所述岸边船只检测模型。
作为一种优选示例,检测模块302还被配置用于根据所述船只信息确定所述船只位置信息:
所述船只信息为(xb,yb,wb,hb),岸边监控视频图像的尺寸为(W,H),则所述船只位置信息(xtb,ytb)为:
其中,cθ为所述岸边监控视频图像的摄像头安装位置确定的角度修正常数;ch为所述摄像头安装位置确定的过度修正常数;c1为历史数据训练得到的映射修正常数;ct为历史数据训练得到的偏移修正常数;cu为历史数据训练的到的上界面修正常数;cd为历史数据训练得到的下界面修正常数;xb为所述船只在所述监控视频图像内识别方框左上角的横坐标;yb为所述船只在所述监控视频图像内识别方框左上角的纵坐标;wb为所述船只在所述监控视频图像内识别方框的宽;hb为所述船只在所述监控视频图像内识别方框的高;W为所述监控视频图像的宽,H为所述监控视频图像的高;xtb为船只的横坐标;ytb所述船只的纵坐标。
作为一种优选示例,
所述确定水域和陆地的分界线包括:
所述分界线为Ax+By+C=0;
其中A为横坐标系数,B为纵坐标系数,C为常数。
作为一种优选示例,检测模块302还被配置用于根据所述船只位置信息和分界线判断所述船只是否在岸边停靠:
获取当前时刻的船只位置信息;
若gd>tsd则判定所述船只在岸边停靠;
所述gd由以下公式确定:
作为一种优选示例,检测模块302还被配置用于检测人员的移动状态信息:
获取从检测到船只在岸边停靠的时间ts为起点每隔时间ty获取长度为tx的时间窗视频内全部移动状态人员的第一轨迹信息;
将所述第一轨迹信息中满足以下公式的移动状态人员的轨迹信息提取出来得到第二轨迹信息:
其中,xg是所述移动状态人员的横坐标,yg是所述移动状态人员的纵坐标,tsdg是预设的第二距离阈值,xtb为船只的横坐标;ytb所述船只的纵坐标。
对所述第二轨迹信息中所述移动状态人员的轨迹信息按照时间先后顺序排列,划分为第一轨迹集合{(xp1i,yp1i)}和第二轨迹集合{(xp2j,yp2j)},其中所述第一轨迹集合中的点对应的时间小于Tm,所述第二轨迹集合中的点对应的时间大于等于Tm,所述Tm为所述第二轨迹信息中距离停靠点距离最小的轨迹点对应的时间;
计算所述第一轨迹集合内每一个轨迹点距离停靠点的距离dp1i并按照对应的时间排序得到元素个数为N的第一距离集合{dp1i},其中i为所述第一轨迹集合内轨迹点的编号,N为所述第一轨迹集合内轨迹点的总数量;
提取所述第一距离集合{dp1i}中前N-ω+1个元素组成基础距离集合{dp1,dp2,···,dpN-ω+1};
从所述基础距离集合{dp1,dp2,···,dpN-ω+1}中提取一个元素dpm与所述第一距离集合{dp1i}中的后ω-1个元素{dpN-ω+2,dpN-ω+3,···,dpN}组成N-ω+1个第二距离集合{dpm,dpN-ω+2,···,dpN},其中m大于等1小于等于N-ω+1,ω为设定的集合分割常数;
根据下列公式计算第k个所述第二距离集合的趋势得分:
其中,cmax为根据历史数据训练得到的上界修正常数,cmin为根据历史数据训练得到的下界修正常数;
根据以下公式计算相邻两个所述第二距离集合的趋势差得分:
根据以下公式计算整体的趋势差得分:
若gf>tsgf则判定所述人员轨迹为远离轨迹,若gf<-tsgf则判定所述人员轨迹为靠近轨迹,若gf≥-tsgf且gf≤tsgf则判定所述人员轨迹为徘徊轨迹;其中tsgf为预设的轨迹识别阈值。
所述检测人员的移动状态信息包括:
通过黑光摄像设备使用训练好的夜间人员检测模型获取岸边陆地区域出现的人员信息(xp,yp,wp,hp),并提取所述人员的特征向量;
提取当前检测帧的前一帧图像,根据余弦相似度计算所述前一帧图像中与所述人员相似度最大的人员信息(x1p,y1p,w1p,h1p);
提取当前检测帧的前n帧图像,根据余弦相似度计算所述前n帧图像中与所述人员相似度最大的人员信息(xnp,ynp,wnp,hnp),其中n大于1且小于图像数量;
若满足以下公式则判断所述人员处于移动状态:
其中,tsnp为预设的第三阈值;
x1p和xnp为所述人员识别方框左上角的横坐标,y1p和ynp为所述人员识别方框左上角的纵坐标,w1p和wnp为所述人员识别方框的宽,h1p和hnp为所述人员识别方框的高。
作为一种优选示例,检测模块302还被配置用于根据以下方式判定所述船只的过船状态为连续的过船行为:
当所述第一轨迹集合为靠近轨迹,所述第二轨迹集合为远离轨迹时,判定所述移动状态人员的轨迹信息为过船行为;
当所所述移动状态人员的轨迹信息为过船行为时,以距离停靠点最近的轨迹点对应的时间为起始时间,根据时间轴将所述轨迹信息划分为ngj个等长的时间段,统计每个时间段内轨迹信息的数量ngi,其中i为所述时间段的序号,i大于等于1小于等于ngj;
若满足以下公式则判定为所述船只的过船状态为连续的过船行为:
其中,tsdb为预设的波动阈值;
k大于等于1小于等于ngj。
作为一种优选示例,检测模块302还被配置用于根据所述人体关键点信息检测所述人员是否存在走私搬货行为:
使用训练好的搬运状态检测模型对所述人员的姿态进行判断,当所述人员为搬运状态时,判定为检测帧存在走私搬货行为;
其中,所述人体关键点信息包括以下之一或者组合脖子,肩膀或者手腕。
作为一种优选示例,检测模块302还被配置用于根据所述车辆信息判定所述车辆是否存在走私运货行为:
获取停留时间大于预设时间阈值的所述车辆位置(xd1,yd1),获取所述车辆离开岸边区域的位置(xd2,yd2)以及所述车辆进入岸边区域的位置(xd3,yd3);
计算所述车辆的异常得分gce;
当检测到车辆异常得分gce大于预设的车辆异常得分阈值时,判定车辆存在走私运货行为;
其中,根据以下公式计算所述车辆的异常得分gce:
gce=god(glo+gjd);
其中A23=xd2-xd3,A12=xd1-xd2,A13=xd1-xd3,A21=xd2-xd1,B23=yd2-yd3,B12=yd1-yd2,B13=yd1-yd3,B21=yd2-yd1;tsl1为预设的第四阈值,tsl2为预设的第五阈值,且tsl2>tsl1;tsθ1为预设的第六阈值,tsθ2为预设的第七阈值,且tsθ2>tsθ1;cod为根据历史数据训练得到的修正常数,mod为预设的第八阈值。
需要说明的是,本实施例提供的检测模块302,能实现实施例二中步骤S201到S211包含的全部功能,解决相同技术问题,达到相同技术效果,在此不再赘述;
需要说明的是,实施例三提供的装置与实施例二提供的方法属于同一个发明构思,解决相同的技术问题,达到相同的技术效果,实施例三提供的装置能实现实施例二的所有方法,相同之处不再赘述。
实施例四
基于同一个发明构思,本发明实施例还提供了一种岸边走私行为检测装置,如图4所示,该装置包括:
包括存储器402、处理器401和用户接口403;
所述存储器402,用于存储计算机程序;
所述用户接口403,用于与用户实现交互;
所述处理器401,用于读取所述存储器402中的计算机程序,所述处理器401执行所述计算机程序时,实现:
获取船只位置信息;
确定水域和陆地的分界线;
根据所述船只位置信息和分界线判断所述船只是否在岸边停靠;
当判断所述船只在岸边停靠时,检测人员的移动状态信息;
根据所述人员的移动状态信息,确定所述船只的过船状态;
若所述船只的过船状态为连续的过船行为,则提取靠近过船人员和远离过船人员的人体关键点信息;
根据所述人体关键点信息检测所述人员是否存在走私搬货行为;
若检测到所述人员存在走私搬货行为,则获取距离所述船只停靠点在预设范围内的车辆信息;
若人员与所述车辆的距离小于预设的距离阈值,则确定所述人员的姿态;
若所述人员的姿态为搬运状态,则判断所述车辆存在运货物行为;
若所述车辆的运货物行为持续时间大于预设的时间阈值,则根据所述车辆信息判定所述车辆是否存在走私运货行为。
其中,在图4中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器401代表的一个或多个处理器和存储器402代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。处理器401负责管理总线架构和通常的处理,存储器402可以存储处理器401在执行操作时所使用的数据。
处理器401可以是CPU、ASIC、FPGA或CPLD,处理器401也可以采用多核架构。
处理器401执行存储器402存储的计算机程序时,实现实施例一中的任一岸边走私行为检测方法。
需要说明的是,实施例三提供的装置与实施例一提供的方法属于同一个发明构思,解决相同的技术问题,达到相同的技术效果,实施例三提供的装置能实现实施例一的所有方法,相同之处不再赘述。
本申请还提出一种处理器可读存储介质。其中,该处理器可读存储介质存储有计算机程序,所述处理器执行所述计算机程序时实现实施例一中的任一岸边走私行为检测方法。
需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。。
Claims (10)
1.一种岸边走私行为检测方法,其特征在于,包括:
获取船只位置信息;
确定水域和陆地的分界线;
根据所述船只位置信息和分界线判断所述船只是否在岸边停靠;
当判断所述船只在岸边停靠时,检测人员的移动状态信息;
根据所述人员的移动状态信息,确定所述船只的过船状态;
若所述船只的过船状态为连续的过船行为,则提取靠近过船人员和远离过船人员的人体关键点信息;
根据所述人体关键点信息检测所述人员是否存在走私搬货行为;
若检测到所述人员存在走私搬货行为,则获取距离所述船只停靠点在预设范围内的车辆信息;
若人员与所述车辆的距离小于预设的距离阈值,则确定所述人员的姿态;
若所述人员的姿态为搬运状态,则判断所述车辆存在运货物行为;
若所述车辆的运货物行为持续时间大于预设的时间阈值,则根据所述车辆信息判定所述车辆是否存在走私运货行为;
所述获取船只位置信息包括:
确定岸边船只检测模型;
根据所述船只检测模型获取距离岸边在预设第二距离之内的船只信息;
根据所述船只信息确定所述船只位置信息;
其中,所述确定岸边船只检测模型包括:
收集检测水域夜间过往船只的图像;
根据所述过往船只的图像对船只进行标注;
使用标注好的图像进行训练得到所述岸边船只检测模型
所述根据所述船只信息确定所述船只位置信息包括:
所述船只信息为(xb,yb,wb,hb),岸边监控视频图像的尺寸为(W,H),则所述船只位置信息(xtb,ytb)为:
其中,cθ为所述岸边监控视频图像的摄像头安装位置确定的角度修正常数;ch为所述摄像头安装位置确定的过度修正常数;c1为历史数据训练得到的映射修正常数;ct为历史数据训练得到的偏移修正常数;cu为历史数据训练的到的上界面修正常数;cd为历史数据训练得到的下界面修正常数;xb为所述船只在所述监控视频图像内识别方框左上角的横坐标;yb为所述船只在所述监控视频图像内识别方框左上角的纵坐标;wb为所述船只在所述监控视频图像内识别方框的宽;hb为所述船只在所述监控视频图像内识别方框的高;W为所述监控视频图像的宽,H为所述监控视频图像的高;xtb为船只的横坐标;ytb所述船只的纵坐标。
2.根据权利要求1所述的方法,其特征在于,所述确定水域和陆地的分界线包括:
所述分界线为Ax+By+C=0;
其中A为横坐标系数,B为纵坐标系数,C为常数;
所述根据所述船只位置信息和分界线判断所述船只是否在岸边停靠包括:
获取当前时刻的船只位置信息;
若gd>tsd则判定所述船只在岸边停靠;
所述gd由以下公式确定:
3.根据权利要求1所述的方法,其特征在于,所述当判断所述船只在岸边停靠时,检测人员的移动状态信息包括:
获取从检测到船只在岸边停靠的时间ts为起点每隔时间ty获取长度为tx的时间窗视频内全部移动状态人员的第一轨迹信息;
将所述第一轨迹信息中满足以下公式的移动状态人员的轨迹信息提取出来得到第二轨迹信息:
其中,xg是所述移动状态人员的横坐标,yg是所述移动状态人员的纵坐标,tsdg是预设的第二距离阈值,xtb为船只的横坐标;ytb所述船只的纵坐标;
对所述第二轨迹信息中所述移动状态人员的轨迹信息按照时间先后顺序排列,划分为第一轨迹集合{(xp1i,yp1i)}和第二轨迹集合{(xp2j,yp2j)},其中所述第一轨迹集合中的点对应的时间小于Tm,所述第二轨迹集合中的点对应的时间大于等于Tm,所述Tm为所述第二轨迹信息中距离停靠点距离最小的轨迹点对应的时间;
计算所述第一轨迹集合内每一个轨迹点距离停靠点的距离dp1i并按照对应的时间排序得到元素个数为N的第一距离集合{dp1i},其中i为所述第一轨迹集合内轨迹点的编号,N为所述第一轨迹集合内轨迹点的总数量;
提取所述第一距离集合{dp1i}中前N-ω+1个元素组成基础距离集合{dp1,dp2,…,dpN-ω+1};
从所述基础距离集合{dp1,dp2,…,dpN-ω+1}中提取一个元素dpm与所述第一距离集合{dp1i}中的后ω-1个元素{dpN-ω+2,dpN-ω+3,…,dpN}组成N-ω+1个第二距离集合{dpm,dpN-ω+2,…,dpN},其中m大于等1小于等于N-ω+1,ω为设定的集合分割常数;
根据下列公式计算第k个所述第二距离集合的趋势得分:
其中,cmax为根据历史数据训练得到的上界修正常数,cmin为根据历史数据训练得到的下界修正常数;
根据以下公式计算相邻两个所述第二距离集合的趋势差得分:
根据以下公式计算整体的趋势差得分:
若gf>tsgf则判定所述人员轨迹为远离轨迹,若gf<-tsgf则判定所述人员轨迹为靠近轨迹,若gf≥-tsgf且gf≤tsgf则判定所述人员轨迹为徘徊轨迹;其中tsgf为预设的轨迹识别阈值。
4.根据权利要求3所述的方法,其特征在于,所述检测人员的移动状态信息包括:
通过黑光摄像设备使用训练好的夜间人员检测模型获取岸边陆地区域出现的人员信息(xp,yp,wp,hp),并提取所述人员的特征向量;
提取当前检测帧的前一帧图像,根据余弦相似度计算所述前一帧图像中与所述人员相似度最大的人员信息(x1p,y1p,w1p,h1p);
提取当前检测帧的前n帧图像,根据余弦相似度计算所述前n帧图像中与所述人员相似度最大的人员信息(xnp,ynp,wnp,hnp),其中n大于1且小于图像数量;
若满足以下公式则判断所述人员处于移动状态:
其中,tsnp为预设的第三阈值;
x1p和xnp为所述人员识别方框左上角的横坐标,y1p和ynp为所述人员识别方框左上角的纵坐标,w1p和wnp为所述人员识别方框的宽,h1p和hnp为所述人员识别方框的高。
6.根据权利要求1所述的方法,其特征在于,所述根据所述人体关键点信息检测所述人员是否存在走私搬货行为包括:
使用训练好的搬运状态检测模型对所述人员的姿态进行判断,当所述人员为搬运状态时,判定为检测帧存在走私搬货行为;
其中,所述人体关键点信息包括以下之一或者组合脖子,肩膀或者手腕。
7.根据权利要求1所述的方法,其特征在于,所述若所述车辆的运货物行为持续时间大于预设的时间阈值,则根据所述车辆信息判定所述车辆是否存在走私运货行为包括:
获取停留时间大于预设时间阈值的所述车辆位置(xd1,yd1),获取所述车辆离开岸边区域的位置(xd2,yd2)以及所述车辆进入岸边区域的位置(xd3,yd3);
计算所述车辆的异常得分gce;
当检测到车辆异常得分gce大于预设的车辆异常得分阈值时,判定车辆存在走私运货行为;
其中,根据以下公式计算所述车辆的异常得分gce:
gce=god(glo+gjd);
其中A23=xd2-xd3,A12=xd1-xd2,A13=xd1-xd3,A21=xd2-xd1,B23=yd2-yd3,B12=yd1-yd2,B13=yd1-yd3,B21=yd2-yd1;tsl1为预设的第四阈值,tsl2为预设的第五阈值,且tsl2>tsl1;tsθ1为预设的第六阈值,tsθ2为预设的第七阈值,且tsθ2>tsθ1;cod为根据历史数据训练得到的修正常数,mod为预设的第八阈值。
8.一种岸边走私行为检测装置,其特征在于,包括:
图像采集模块,被配置用于采集岸边监控区域的图像和视频;
检测模块,被配置用于根据所述图像采集模块采集的图像和视频,检测岸边走私行为,所述检测岸边走私行为包括:
获取船只位置信息;
确定水域和陆地的分界线;
根据所述船只位置信息和分界线判断所述船只是否在岸边停靠;
当判断所述船只在岸边停靠时,检测人员的移动状态信息,所述移动状态信息包括靠近过程、远离过程或者徘徊过程;
根据所述人员的移动状态信息,确定所述船只的过船状态;
若所述船只的过船状态为连续的过船行为,则提取靠近过船人员和远离过船人员的人体关键点信息;
根据所述人体关键点信息检测所述人员是否存在走私搬货行为;
若检测到所述人员存在走私搬货行为,则获取距离所述船只停靠点在预设范围内的车辆信息;
若人员与所述车辆的距离小于预设的距离阈值,则确定所述人员的姿态;
若所述人员的姿态为搬运状态,则判断所述车辆存在运货物行为;
若所述车辆的运货物行为持续时间大于预设的时间阈值,则根据所述车辆信息判定所述车辆是否存在走私运货行为,所述获取船只位置信息包括:
确定岸边船只检测模型;
根据所述船只检测模型获取距离岸边在预设第二距离之内的船只信息;
根据所述船只信息确定所述船只位置信息;
其中,所述确定岸边船只检测模型包括:
收集检测水域夜间过往船只的图像;
根据所述过往船只的图像对船只进行标注;
使用标注好的图像进行训练得到所述岸边船只检测模型
所述根据所述船只信息确定所述船只位置信息包括:
所述船只信息为(xb,yb,wb,hb),岸边监控视频图像的尺寸为(W,H),则所述船只位置信息(xtb,ytb)为:
其中,cθ为所述岸边监控视频图像的摄像头安装位置确定的角度修正常数;ch为所述摄像头安装位置确定的过度修正常数;c1为历史数据训练得到的映射修正常数;ct为历史数据训练得到的偏移修正常数;cu为历史数据训练的到的上界面修正常数;cd为历史数据训练得到的下界面修正常数;xb为所述船只在所述监控视频图像内识别方框左上角的横坐标;yb为所述船只在所述监控视频图像内识别方框左上角的纵坐标;wb为所述船只在所述监控视频图像内识别方框的宽;hb为所述船只在所述监控视频图像内识别方框的高;W为所述监控视频图像的宽,H为所述监控视频图像的高;xtb为船只的横坐标;ytb所述船只的纵坐标。
9.一种岸边走私行为检测装置,其特征在于,包括存储器、处理器和用户接口;
所述存储器,用于存储计算机程序;
所述用户接口,用于与用户实现交互;
所述处理器,用于读取所述存储器中的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1到7之一所述的岸边走私行为检测方法。
10.一种处理器可读存储介质,其特征在于,所述处理器可读存储介质存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7之一所述的岸边走私行为检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111657850.5A CN114529864B (zh) | 2021-12-30 | 2021-12-30 | 一种岸边走私行为检测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111657850.5A CN114529864B (zh) | 2021-12-30 | 2021-12-30 | 一种岸边走私行为检测方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114529864A CN114529864A (zh) | 2022-05-24 |
CN114529864B true CN114529864B (zh) | 2022-10-28 |
Family
ID=81620040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111657850.5A Active CN114529864B (zh) | 2021-12-30 | 2021-12-30 | 一种岸边走私行为检测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114529864B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114913233A (zh) * | 2022-06-10 | 2022-08-16 | 嘉洋智慧安全生产科技发展(北京)有限公司 | 图像处理方法、装置、设备、介质及产品 |
CN115471787B (zh) * | 2022-08-09 | 2023-06-06 | 东莞先知大数据有限公司 | 一种工地物体堆放检测方法、装置及存储介质 |
CN115661208B (zh) * | 2022-12-26 | 2023-04-07 | 合肥疆程技术有限公司 | 摄像头的姿态及污迹检测方法、装置及汽车 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112084971A (zh) * | 2020-09-14 | 2020-12-15 | 广州海事科技有限公司 | 船舶卡口检测方法、系统、计算机设备及存储介质 |
CN113002726A (zh) * | 2021-03-15 | 2021-06-22 | 亿海蓝(北京)数据技术股份公司 | 异常船舶检测方法、装置、电子设备和存储介质 |
CN113052235A (zh) * | 2021-03-24 | 2021-06-29 | 武汉理工大学 | 一种船舶的异常停留检测方法及装置 |
CN113720383A (zh) * | 2021-08-23 | 2021-11-30 | 中电科海洋信息技术研究院有限公司 | 识别船舶异常行为的方法、设备及介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109409283B (zh) * | 2018-10-24 | 2022-04-05 | 深圳市锦润防务科技有限公司 | 一种海面舰船跟踪和监控的方法、系统和存储介质 |
CN112016363A (zh) * | 2019-05-30 | 2020-12-01 | 富泰华工业(深圳)有限公司 | 人员监控方法、装置、计算机装置及可读存储介质 |
CN110288855B (zh) * | 2019-06-05 | 2020-11-13 | 上海鹰觉科技有限公司 | 针对海上船只行为的分类方法及其分类系统 |
CN112528715B (zh) * | 2019-09-19 | 2024-05-28 | 杭州海康微影传感科技有限公司 | 一种船只监控方法、装置及设备、存储介质 |
CN110942577A (zh) * | 2019-11-04 | 2020-03-31 | 佛山科学技术学院 | 一种基于机器视觉的大河偷砂监控系统及方法 |
CN112417955B (zh) * | 2020-10-14 | 2024-03-05 | 国能大渡河沙坪发电有限公司 | 巡检视频流处理方法及装置 |
CN113066291A (zh) * | 2021-03-19 | 2021-07-02 | 昆山宝创新能源科技有限公司 | 监控方法和设备 |
CN113822250A (zh) * | 2021-11-23 | 2021-12-21 | 中船(浙江)海洋科技有限公司 | 一种船舶驾驶异常行为检测方法 |
-
2021
- 2021-12-30 CN CN202111657850.5A patent/CN114529864B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112084971A (zh) * | 2020-09-14 | 2020-12-15 | 广州海事科技有限公司 | 船舶卡口检测方法、系统、计算机设备及存储介质 |
CN113002726A (zh) * | 2021-03-15 | 2021-06-22 | 亿海蓝(北京)数据技术股份公司 | 异常船舶检测方法、装置、电子设备和存储介质 |
CN113052235A (zh) * | 2021-03-24 | 2021-06-29 | 武汉理工大学 | 一种船舶的异常停留检测方法及装置 |
CN113720383A (zh) * | 2021-08-23 | 2021-11-30 | 中电科海洋信息技术研究院有限公司 | 识别船舶异常行为的方法、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114529864A (zh) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114529864B (zh) | 一种岸边走私行为检测方法、装置及存储介质 | |
US7409076B2 (en) | Methods and apparatus for automatically tracking moving entities entering and exiting a specified region | |
CN107038723B (zh) | 棒状像素估计方法和系统 | |
CN108460345A (zh) | 一种基于人脸关键点定位的面部疲劳检测方法 | |
US10133937B2 (en) | Crowd monitoring system | |
CN103605983B (zh) | 一种遗留物检测和跟踪方法 | |
CN112016528B (zh) | 行为识别方法、装置、电子设备及可读存储介质 | |
CN105260705A (zh) | 一种适用于多姿态下的驾驶人员接打电话行为检测方法 | |
CN101211411A (zh) | 一种人体检测的方法和装置 | |
CN105447881A (zh) | 基于多普勒的雷达图像分割及光流 | |
CN105574892A (zh) | 雷达图像中的基于多普勒的分割及光流 | |
CN110147748A (zh) | 一种基于道路边缘检测的移动机器人障碍物识别方法 | |
CN104966072B (zh) | 一种基于形状的无色标机器鱼位姿识别算法 | |
CN110458144A (zh) | 物体区域入侵检测方法、系统、装置及可读存储介质 | |
Chen et al. | Traffic extreme situations detection in video sequences based on integral optical flow | |
CN108446581A (zh) | 一种恶劣环境中的无人机检测方法 | |
CN114202700A (zh) | 一种货物体积异常检测方法、装置及存储介质 | |
CA3237725A1 (en) | Systems and methods for draft calculation | |
CN115471787A (zh) | 一种工地物体堆放检测方法、装置及存储介质 | |
CN108830248A (zh) | 一种行人局部特征大数据混合提取方法 | |
CN115690743A (zh) | 一种基于深度学习的机场停机位入侵的检测方法 | |
CN115131826A (zh) | 物品检测识别方法、网络模型的训练方法和装置 | |
CN108805175A (zh) | 一种飞机的飞行姿态聚类分析方法和分析系统 | |
CN105678321B (zh) | 一种基于融合模型的人体姿态估计方法 | |
CN114283364A (zh) | 宠物栓绳的检测方法、检测装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Building 7, No. 124 Dongbao Road, Dongcheng Street, Dongguan City, Guangdong Province, 523128 Patentee after: Guangdong Prophet Big Data Co.,Ltd. Country or region after: China Address before: 523128 Room 401, building 6, No.5 Weifeng Road, Dongcheng Street, Dongguan City, Guangdong Province Patentee before: Dongguan prophet big data Co.,Ltd. Country or region before: China |
|
CP03 | Change of name, title or address |