CN110008867A - 一种基于人物异常行为的预警方法、装置及存储介质 - Google Patents
一种基于人物异常行为的预警方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110008867A CN110008867A CN201910228299.9A CN201910228299A CN110008867A CN 110008867 A CN110008867 A CN 110008867A CN 201910228299 A CN201910228299 A CN 201910228299A CN 110008867 A CN110008867 A CN 110008867A
- Authority
- CN
- China
- Prior art keywords
- target object
- behavior
- data
- detection
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 230000006399 behavior Effects 0.000 claims description 48
- 238000010606 normalization Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 108091006146 Channels Proteins 0.000 description 7
- 238000012549 training Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人物异常行为的预警方法、装置及存储介质，包括如下步骤：执行视频输入：调取监控摄像头的数据，获取视频图像；执行YoLo V2算法检测：运用YOLO V2算法对视频图像进行检测，提取目标对象数据；利用卡尔曼滤波判断目标对象的行为轨道：对目标对象进行跟踪判断，若判断数据与目标对象数据的差值小于允许误差值，则所述判断数据形成目标对象的行为轨道；执行3D卷积神经网络识别：对所述判断数据进行3D卷积神经网络分析处理，得出行为识别类型；能够实时和准确地处理视频，识别运动目标的行为类别。
Description
技术领域
本发明涉及人体行为识别技术，具体涉及一种基于人物异常行为的预警方法、装置及存储介质。
背景技术
近年来视频监控系统的需求日益增加，对于大部分的视频监控系统来说，监控视频中出现的人都是其重点关注的对象，因此智能监控系统需要拥有对目标进行检测、跟踪、识别的能力，以便进一步对其的行为进行分析。现有技术中，对于视频的处理多采用图像特征检测的方法，但是由于视频中维数会很高，且会有大量的冗余特征和无关特征，这样就造成了视频处理的压力，无法实现快速的视频处理，且会降低获取目标特征的准确率。
发明内容
为解决上述问题，本发明的目的在于提供一种基于人物异常行为的预警方法、装置及存储介质，能够实时和准确地处理视频，识别运动目标的行为类别。
本发明解决其问题所采用的技术方案是：
第一方面，本发明实施例提出了一种基于人物异常行为的预警方法，包括如下步骤：
执行视频输入：调取监控摄像头的数据，获取视频图像；
执行YoLo V2算法检测：运用YOLO V2算法对视频图像进行检测，提取目标对象数据；
利用卡尔曼滤波判断目标对象的行为轨道：对目标对象进行跟踪判断，若判断数据与目标对象数据的差值小于允许误差值，则所述判断数据形成目标对象的行为轨道；
执行3D卷积神经网络识别：对所述判断数据进行3D卷积神经网络分析处理，得出行为识别类型。
进一步，执行YoLo V2算法检测，包括：
执行目标检测：采用YoLo V2算法对所述视频图像内的目标进行目标检测，得到对应于目标的边界框；
执行边界框检测：根据所述目标对所述边界框的中心坐标、宽度及高度进行偏移，得到检测框，所述偏移量分别为：坐标偏移量(tx,ty)、宽度偏移量tw、高度偏移量th；
执行归一化处理：结合logistic函数对tx和ty进行归一化，使得tx和ty的范围均在0-1之间；
计算检测框的位置坐标：通过以下公式计算所述检测框的坐标(bx,by)、宽度bw及高度bh：
bx＝σ(tx)+cx，by＝σ(ty)+cy，
其中，cx,cy表示检测框中心坐标所在的单元格距离图像左上角的距离，pw表示边界框的宽度，ph表示边界框的高度，σ(tx)为tx的类别置信度，σ(ty)为ty的类别置信度。
进一步，利用卡尔曼滤波判断目标对象的行为轨道，包括：
执行初始化数据：对所述目标对象的检测框的中心坐标(bx(0),by(0))、x和y方向的运动速度(vx(0),vy(0))、噪声Q和协方差R进行初始化计算；
执行跟踪判断：对所述目标对象的运动轨迹跟踪判断，利用以下公式迭代更新判断数据，若判断数据与目标对象数据的差值小于允许误差值，所述判断数据形成目标对象的行为轨迹：
其中，Δt为相邻两帧图像的时间间隔，(bx(k),by(k))和(bx(k-1),by(k-1))分别为相邻两帧图像的坐标，(vx(k),vy(k))和(vx(k-1),vy(k-1))分别为相邻两帧图像在x和y方向上的运动速度，(Ix(k),Iy(k))为行为轨迹上的坐标；k为大于零的正整数。
进一步，执行3D卷积神经网络识别，包括：
执行图像差值计算：对所述行为轨迹中的连续三帧图像计算相邻两帧的差值，得到差分图像Di(x,y)；
执行区域划分：利用以下公式对所述差分图像Di(x,y)相邻三帧进行区域划分：
B(x,y)＝max(Bk-1(x,y),Bk(x,y))，
其中，Bi(x,y)为差分图像的变化区域，T为差分图像二值化阈值，B(x,y)为相邻三帧的差分图像的变化区域的并集；
执行差分图像归一化：对所述的差分图像进行归一化计算，得到帧差通道；
执行行为类别识别：将所述的帧差通道输入到训练好的3D神经网络，对比行为识别公共数据集，得到目标对象的对应类别。
第二方面，本发明实施例还提出了一种基于人物异常行为的预警装置，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行以上任一项所述的一种基于人物异常行为的预警方法。
第三方面，本发明实施例还提出了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如以上任一项所述的一种基于人物异常行为的预警方法。
本发明实施例中提供的技术方案，至少具有如下有益效果：YoLo V2算法更加准确和快捷地检测出运动目标，卡尔曼滤波算法根据YoLo V2算法的检测框计算预测方程，3D卷积神经网络得到帧差通道，对比行为识别公共数据集得到运动目标的行为类别，满足智能化监控技术发展的需求，能够实时和准确地处理视频，识别运动目标的行为类别。
附图说明
下面结合附图和实例对本发明作进一步说明：
图1是本发明的基于人物异常行为的预警方法的一个实施例的整体流程图；
图2是本发明的基于人物异常行为的预警方法的YoLo V2算法的一个实施例的整体流程图；
图3是本发明的基于人物异常行为的预警方法的卡尔曼滤波算法的一个实施例的整体流程图；
图4是本发明的基于人物异常行为的预警方法的3D卷积神经网络的一个实施例的整体流程图。
具体实施方式
现有技术中，对于视频的处理多采用图像特征检测的方法，但是由于视频中维数会很高，且会有大量的冗余特征和无关特征，这样就造成了视频处理的压力，无法实现快速的处理视频，且会降低获取目标特征的准确率。
基于此，本发明提供了一种基于人物异常行为的预警方法及系统，能够实时和准确地处理视频，识别运动目标的行为类别。
下面结合附图，对本发明实施例作进一步阐述。
参照图1，本发明的一个实施例提供了一种基于人物异常行为的预警方法，包括如下步骤：
步骤S10、执行视频输入：调取监控摄像头的数据，获取视频图像；
步骤S20、执行YoLo V2算法检测：运用YOLO V2算法对视频图像进行检测，提取目标对象数据；
步骤S30、利用卡尔曼滤波判断目标对象的行为轨道：对目标对象进行跟踪判断，若判断数据与目标对象数据的差值小于允许误差值，则所述判断数据形成目标对象的行为轨道；
步骤S40、执行3D卷积神经网络识别：对所述判断数据进行3D卷积神经网络分析处理，得出行为识别类型。
在本实施例中，YoLo V2算法是运用统计学方法中的维度聚类方法来确定初始检测框的个数及宽高，提高了定位精度，并且能够检测不同分辨率的图片，操作方便；卡尔曼滤波为一种计算效率较高的算法，通过对YoLo V2算法的检测框的目标对象进行跟踪，实现准确判断；3D卷积神经网络能够对连续视频帧数据进行特征提取，同时获取时间维度和空间维度上的特征信息，且能够对多帧图像同时处理，通过帧差通道与行为识别公共数据集对比得到运动目标的行为类别，加快了运行速度，提高了效率。
进一步地，参照图2，本发明的另一个实施例还提供了一种基于人物异常行为的预警方法，其中，执行YoLo V2算法检测，包括以下步骤：
步骤S21、执行目标检测：采用YoLo V2算法对所述视频图像内的目标进行目标检测，得到对应于目标的边界框；
步骤S22、执行边界框检测：根据所述目标对所述边界框的中心坐标、宽度及高度进行偏移，得到检测框，所述偏移量分别为：坐标偏移量(tx,ty)、宽度偏移量tw、高度偏移量th；
步骤S23、执行归一化处理：结合logistic函数对tx和ty进行归一化，使得tx和ty的范围均在0-1之间；
步骤S24、计算检测框的位置坐标：通过以下公式计算所述检测框的坐标(bx,by)、宽度bw及高度bh：
bx＝σ(tx)+cx，by＝σ(ty)+cy，
其中，cx,cy表示检测框中心坐标所在的单元格距离图像左上角的距离，pw表示边界框的宽度，ph表示边界框的高度，σ(tx)为tx的类别置信度，σ(ty)为ty的类别置信度。
在本实施例中，YoLo V2算法是运用统计学方法中的维度聚类方法来确定初始检测框的个数及宽高，提高了定位精度；YoLo V2算法是在YoLo算法的基础上增加了passthrough层，将高分辨率和低分辨率的特征相连，提升算法对较小目标的检测效果，并且将视频图像尺寸改为动态调整，使其更好地检测不同分辨率的图片。
步骤S23的执行归一化处理中，logistic函数表达式为：
检测框的类别置信度可表达为：
Pr(object)*IOU(object)＝σ(t0)
得到步骤S24中检测框的坐标及宽高计算公式为：
bx＝σ(tx)+cx，by＝σ(ty)+cy，
因此，得到检测框的目标坐标值(bx,by,bw,bh)。
进一步地，参照图3，本发明的另一个实施例还提供了一种基于人物异常行为的预警方法，其中，利用卡尔曼滤波判断目标对象的行为轨道，包括以下步骤：
步骤S31:执行初始化数据：对所述目标对象的检测框的中心坐标(bx(0),by(0))、x和y方向的运动速度(vx(0),vy(0))、噪声Q和协方差R进行初始化计算；
步骤S32:执行跟踪判断：对所述目标对象的运动轨迹跟踪判断，利用以下公式迭代更新判断数据，若判断数据与目标对象数据的差值小于允许误差值，所述判断数据形成目标对象的行为轨迹：
其中，Δt为相邻两帧图像的时间间隔，(bx(k),by(k))和(bx(k-1),by(k-1))分别为相邻两帧图像的坐标，(vx(k),vy(k))和(vx(k-1),vy(k-1))分别为相邻两帧图像在x和y方向上的运动速度，(Ix(k),Iy(k))为行为轨迹上的坐标；k为大于零的正整数。
在本实施例中，卡尔曼滤波为一种计算效率较高的算法，通过对检测框对象进行运动预测，实现目标对象的准确跟踪。在滤波过程中根据时间变化建立随机变量的模型，通过对步骤S20中目标对象的检测坐标变量进行最优化迭代得到行为轨迹。
对于步骤S31，在视频监控中相邻图像之间相隔时间较短，目标在帧间移动的位移有限，在一般情况下，可以假设相邻两帧间运动目标运动是匀速的：sk＝sk-1+vk-1Δt，
其中，vk-1为视频监控前一顿图像中运动目标的运动速度，Δt为相邻倾图像的时间间隔，sk-1为视频监控前一顿图像中运动目标的位置。检测框的目标对象的状态变量表示如下：
其中(bx(k),by(k))为检测框的目标坐标，vx(k)和vy(k)为x和y方向的目标运动速度。卡尔曼状态变量初始值可由下式表示：
通过状态变量可得到观测变量和观测矩阵，分别如下式所示：
卡尔曼滤波系统中系统噪声为高斯白噪声，噪声Q和协方差R分别如下式所示:
卡尔曼滤波误差协方差矩阵如下所示：
由步骤S31计算可得步骤S32中的滤波器状态方程和观测方程Ik：
根据状态方程和观测方程Ik可知，利用目标对象前一时刻状态变量和当前时刻观测变量值，可实现更新目标对象的增益和方差值，通过不断递推和迭代更新判断数据，若判断数据与目标对象数据的差值小于允许误差值，则得到目标对象的行为轨迹。
对于上述的允许误差，需要对检测框的坐标值(bx,by)与行为轨迹的判断数据的坐标值(b'x,b'y)进行对比，计算两坐标值之间的距离：采用matlab计算检测框的位置坐标(bx,by,bw,bh)与判断数据的位置坐标值(b'x,b'y,bw,bh)的HSV颜色直方图，对两个直方图进行相似性匹配，优选地当距离h大于70且直方图匹配结果大于0.7时，认为检测框的数据与判断数据匹配成功。
进一步地，参照图4，本发明的另一个实施例还提供了一种基于人物异常行为的预警方法，其中，执行3D卷积神经网络识别，包括以下步骤：
步骤S41：执行图像差值计算：对所述行为轨迹中的连续三帧图像计算相邻两帧的差值，得到差分图像Di(x,y)；
步骤S42：执行区域划分：利用以下公式对所述差分图像Di(x,y)相邻三帧进行区域划分：
B(x,y)＝max(Bk-1(x,y),Bk(x,y))，
其中，Bi(x,y)为差分图像的变化区域，T为差分图像二值化阈值，B(x,y)为相邻三帧的差分图像的变化区域的并集；
步骤S43：执行差分图像归一化：对所述的差分图像进行归一化计算，得到帧差通道；
步骤S44：执行行为类别识别：将所述的帧差通道输入到训练好的3D神经网络，对比行为识别公共数据集，得到目标对象的对应类别。
在本实施例中，3D卷积神经网络能够对连续视频帧数据进行特征提取，同时获取时间维度和空间维度上的特征信息，且能够对多帧图像同时处理，加快了运行速度，提高了效率。
在步骤S41中，对所述行为轨迹中的连续三帧图像Ik-1(x,y)、Ik(x,y)、Ik+1(x,y)，利用以下公式计算所有相邻两帧图像的差值，所述差值得到差分图像Di(x,y)：
在步骤S42中，对相邻两帧的差分图像选取合适的阈值T提取显著变化区域，排除噪声干扰；将连续两帧之间的变化区域选取并集，得到三帧图像中的中间帧的前后显著变化区域B(x,y)。
在步骤S43中，执行差分图像归一化后得到的帧差通道表达式为：
其中Bmin(x,y)为最小的变化区域，Bmax(x,y)为最大的变化区域。
对于步骤S44，行为识别公共数据集优选为Hollywood2数据集，Hollywood2数据集是由法国IRISA研究院发布的，由69部电影剪辑得到的行为图像，包括了12类动作行为：接电话，吃饭，打斗，开车，下车，拥抱，握手，接吻，跑步，坐下，坐起来以及站起来。该数据集可以分为两组：823个训练样本和884个测试样本，其中有摄像机运动的情况，大动作类内变化，以及光照变换等情况。下表为动作的行为数据集：
| 训练子集 | 训练子集(自动) | 测试子集 | |
| 接电话 | 66 | 59 | 64 |
| 开车 | 85 | 90 | 102 |
| 吃饭 | 40 | 44 | 33 |
| 打斗 | 54 | 33 | 70 |
| 下车 | 51 | 40 | 57 |
| 握手 | 32 | 38 | 45 |
| 拥抱 | 64 | 27 | 66 |
| 接吻 | 114 | 125 | 103 |
| 跑步 | 135 | 187 | 141 |
| 坐下 | 104 | 87 | 108 |
| 坐起来 | 24 | 26 | 37 |
| 站起来 | 132 | 133 | 146 |
| 其他 | 823 | 810 | 884 |
除了Hollywood2数据库外，还可以应用UCF101数据集、Weizmann数据集和KTH数据集等。
此外，本发明的另一个实施例还提供了一种基于人物异常行为的预警装置，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上的任一项所述的一种基于人物异常行为的预警方法。
在本实施例中，预警装置包括：一个或多个控制处理器和存储器，控制处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的预警方法对应的程序指令/模块。控制处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行预警装置的各种功能应用以及数据处理，即实现上述方法实施例的预警方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据预警装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该预警装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个控制处理器执行时，执行上述方法实施例中的预警方法，例如，执行以上描述预警方法步骤S10至S40、S21至S24、S31至S32，以及S41至S44的功能。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，一个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的预警方法，例如，执行以上描述的图1中的方法步骤S10至S40、S21至S24、S31至S32，以及S41至S44的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnly Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (6)
1.一种基于人物异常行为的预警方法，其特征在于：包括如下步骤：
执行视频输入：调取监控摄像头的数据，获取视频图像；
执行YoLo V2算法检测：运用YOLO V2算法对视频图像进行检测，提取目标对象数据；
利用卡尔曼滤波判断目标对象的行为轨道：对目标对象进行跟踪判断，若判断数据与目标对象数据的差值小于允许误差值，则所述判断数据形成目标对象的行为轨道；
执行3D卷积神经网络识别：对所述判断数据进行3D卷积神经网络分析处理，得出行为识别类型。
2.根据权利要求1所述的一种基于人物异常行为的预警方法，其特征在于：所述执行YoLo V2算法检测，包括：
执行目标检测：采用YoLo V2算法对所述视频图像内的目标进行目标检测，得到对应于目标的边界框；
执行边界框检测：根据所述目标对所述边界框的中心坐标、宽度及高度进行偏移，得到检测框，所述偏移量分别为：坐标偏移量(tx,ty)、宽度偏移量tw、高度偏移量th；
执行归一化处理：结合logistic函数对tx和ty进行归一化，使得tx和ty的范围均在0-1之间；
计算检测框的位置坐标：通过以下公式计算所述检测框的坐标(bx,by)、宽度bw及高度bh：
bx＝σ(tx)+cx，by＝σ(ty)+cy，其中，cx,cy表示检测框中心坐标所在的单元格距离图像左上角的距离，pw表示边界框的宽度，ph表示边界框的高度，σ(tx)为tx的类别置信度，σ(ty)为ty的类别置信度。
3.根据权利要求2所述的一种基于人物异常行为的预警方法，其特征在于：所述利用卡尔曼滤波判断目标对象的行为轨道，包括：
执行初始化数据：对所述目标对象的检测框的中心坐标(bx(0),by(0))、x和y方向的运动速度(vx(0),vy(0))、噪声Q和协方差R进行初始化计算；
执行跟踪判断：对所述目标对象的运动轨迹跟踪判断，利用以下公式迭代更新判断数据，若判断数据与目标对象数据的差值小于允许误差值，所述判断数据形成目标对象的行为轨迹：
其中，Δt为相邻两帧图像的时间间隔，(bx(k),by(k))和(bx(k-1),by(k-1))分别为相邻两帧图像的坐标，(vx(k),vy(k))和(vx(k-1),vy(k-1))分别为相邻两帧图像在x和y方向上的运动速度，(Ix(k),Iy(k))为行为轨迹上的坐标；k为大于零的正整数。
4.根据权利要求3所述的一种基于人物异常行为的预警方法，其特征在于：所述执行3D卷积神经网络识别，包括：
执行图像差值计算：对所述行为轨迹中的连续三帧图像计算相邻两帧的差值，得到差分图像Di(x,y)；
执行区域划分：利用以下公式对所述差分图像Di(x,y)相邻三帧进行区域划分：
B(x,y)＝max(Bk-1(x,y),Bk(x,y))，
其中，Bi(x,y)为差分图像的变化区域，T为差分图像二值化阈值，B(x,y)为相邻三帧的差分图像的变化区域的并集；
执行差分图像归一化：对所述的差分图像进行归一化计算，得到帧差通道；
执行行为类别识别：将所述的帧差通道输入到训练好的3D神经网络，对比行为识别公共数据集，得到目标对象的对应类别。
5.一种基于人物异常行为的预警装置，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1-4任一项所述的一种基于人物异常行为的预警方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-4任一项所述的一种基于人物异常行为的预警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910228299.9A CN110008867B (zh) | 2019-03-25 | 2019-03-25 | 一种基于人物异常行为的预警方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910228299.9A CN110008867B (zh) | 2019-03-25 | 2019-03-25 | 一种基于人物异常行为的预警方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110008867A true CN110008867A (zh) | 2019-07-12 |
| CN110008867B CN110008867B (zh) | 2023-04-18 |
Family
ID=67167960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910228299.9A Active CN110008867B (zh) | 2019-03-25 | 2019-03-25 | 一种基于人物异常行为的预警方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008867B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472573A (zh) * | 2019-08-14 | 2019-11-19 | 北京思图场景数据科技服务有限公司 | 一种基于身体关键点的人体行为分析方法、设备以及计算机存储介质 |
| CN110853272A (zh) * | 2019-09-29 | 2020-02-28 | 五邑大学 | 公交车安全监测方法、装置、设备及存储介质 |
| CN111079694A (zh) * | 2019-12-28 | 2020-04-28 | 神思电子技术股份有限公司 | 一种柜面助手履职监控装置和方法 |
| CN111199182A (zh) * | 2019-11-12 | 2020-05-26 | 恒大智慧科技有限公司 | 基于智慧社区的丢失物件方法、系统及存储介质 |
| CN111476765A (zh) * | 2020-03-30 | 2020-07-31 | 深圳市水务(集团)有限公司 | 水质判断方法和装置 |
| CN111488858A (zh) * | 2020-04-30 | 2020-08-04 | 杨九妹 | 大数据金融安防系统行人行为分析方法、系统及机器人 |
| CN111582243A (zh) * | 2020-06-05 | 2020-08-25 | 上海商汤智能科技有限公司 | 逆流检测方法、装置、电子设备和存储介质 |
| CN112183252A (zh) * | 2020-09-15 | 2021-01-05 | 珠海格力电器股份有限公司 | 视频的动作识别方法、装置、计算机设备和存储介质 |
| CN112560547A (zh) * | 2019-09-10 | 2021-03-26 | 中兴通讯股份有限公司 | 一种异常行为判定方法、装置、终端及可读存储介质 |
| CN112580552A (zh) * | 2020-12-23 | 2021-03-30 | 中山大学 | 一种鼠类行为分析方法及装置 |
| CN112686180A (zh) * | 2020-12-29 | 2021-04-20 | 中通服公众信息产业股份有限公司 | 一种封闭空间人员数量计算方法 |
| CN112784738A (zh) * | 2021-01-21 | 2021-05-11 | 上海云从汇临人工智能科技有限公司 | 运动目标检测告警方法、装置以及计算机可读存储介质 |
| CN112926436A (zh) * | 2021-02-22 | 2021-06-08 | 上海商汤智能科技有限公司 | 行为识别方法及装置、电子设备和存储介质 |
| CN113030951A (zh) * | 2021-03-10 | 2021-06-25 | 森思泰克河北科技有限公司 | 目标运动趋势判断方法、装置及终端设备 |
| CN113239873A (zh) * | 2021-06-01 | 2021-08-10 | 平安科技（深圳）有限公司 | 吸烟行为识别方法、系统、计算机设备和存储介质 |
| CN115620228A (zh) * | 2022-10-13 | 2023-01-17 | 南京信息工程大学 | 一种基于视频分析的地铁屏蔽门临关门乘客闯门预警方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023244A (zh) * | 2016-04-13 | 2016-10-12 | 南京邮电大学 | 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法 |
| US9760806B1 (en) * | 2016-05-11 | 2017-09-12 | TCL Research America Inc. | Method and system for vision-centric deep-learning-based road situation analysis |
| CN108197575A (zh) * | 2018-01-05 | 2018-06-22 | 中国电子科技集团公司电子科学研究院 | 一种基于目标检测和骨点检测的异常行为识别方法及装置 |
| CN108509859A (zh) * | 2018-03-09 | 2018-09-07 | 南京邮电大学 | 一种基于深度神经网络的无重叠区域行人跟踪方法 |
| CN109086792A (zh) * | 2018-06-26 | 2018-12-25 | 上海理工大学 | 基于检测和识别网络架构的细粒度图像分类方法 |
| CN109241946A (zh) * | 2018-10-11 | 2019-01-18 | 平安科技（深圳）有限公司 | 异常行为监控方法、装置、计算机设备及存储介质 |
-
2019
- 2019-03-25 CN CN201910228299.9A patent/CN110008867B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023244A (zh) * | 2016-04-13 | 2016-10-12 | 南京邮电大学 | 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法 |
| US9760806B1 (en) * | 2016-05-11 | 2017-09-12 | TCL Research America Inc. | Method and system for vision-centric deep-learning-based road situation analysis |
| CN108197575A (zh) * | 2018-01-05 | 2018-06-22 | 中国电子科技集团公司电子科学研究院 | 一种基于目标检测和骨点检测的异常行为识别方法及装置 |
| CN108509859A (zh) * | 2018-03-09 | 2018-09-07 | 南京邮电大学 | 一种基于深度神经网络的无重叠区域行人跟踪方法 |
| CN109086792A (zh) * | 2018-06-26 | 2018-12-25 | 上海理工大学 | 基于检测和识别网络架构的细粒度图像分类方法 |
| CN109241946A (zh) * | 2018-10-11 | 2019-01-18 | 平安科技（深圳）有限公司 | 异常行为监控方法、装置、计算机设备及存储介质 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472573A (zh) * | 2019-08-14 | 2019-11-19 | 北京思图场景数据科技服务有限公司 | 一种基于身体关键点的人体行为分析方法、设备以及计算机存储介质 |
| CN112560547A (zh) * | 2019-09-10 | 2021-03-26 | 中兴通讯股份有限公司 | 一种异常行为判定方法、装置、终端及可读存储介质 |
| CN110853272A (zh) * | 2019-09-29 | 2020-02-28 | 五邑大学 | 公交车安全监测方法、装置、设备及存储介质 |
| CN111199182A (zh) * | 2019-11-12 | 2020-05-26 | 恒大智慧科技有限公司 | 基于智慧社区的丢失物件方法、系统及存储介质 |
| CN111079694A (zh) * | 2019-12-28 | 2020-04-28 | 神思电子技术股份有限公司 | 一种柜面助手履职监控装置和方法 |
| CN111476765A (zh) * | 2020-03-30 | 2020-07-31 | 深圳市水务(集团)有限公司 | 水质判断方法和装置 |
| CN111488858A (zh) * | 2020-04-30 | 2020-08-04 | 杨九妹 | 大数据金融安防系统行人行为分析方法、系统及机器人 |
| CN111582243A (zh) * | 2020-06-05 | 2020-08-25 | 上海商汤智能科技有限公司 | 逆流检测方法、装置、电子设备和存储介质 |
| CN111582243B (zh) * | 2020-06-05 | 2024-03-26 | 上海商汤智能科技有限公司 | 逆流检测方法、装置、电子设备和存储介质 |
| CN112183252A (zh) * | 2020-09-15 | 2021-01-05 | 珠海格力电器股份有限公司 | 视频的动作识别方法、装置、计算机设备和存储介质 |
| CN112183252B (zh) * | 2020-09-15 | 2024-09-10 | 珠海格力电器股份有限公司 | 视频的动作识别方法、装置、计算机设备和存储介质 |
| CN112580552A (zh) * | 2020-12-23 | 2021-03-30 | 中山大学 | 一种鼠类行为分析方法及装置 |
| CN112580552B (zh) * | 2020-12-23 | 2023-12-12 | 中山大学 | 一种鼠类行为分析方法及装置 |
| CN112686180A (zh) * | 2020-12-29 | 2021-04-20 | 中通服公众信息产业股份有限公司 | 一种封闭空间人员数量计算方法 |
| CN112784738B (zh) * | 2021-01-21 | 2023-09-19 | 上海云从汇临人工智能科技有限公司 | 运动目标检测告警方法、装置以及计算机可读存储介质 |
| CN112784738A (zh) * | 2021-01-21 | 2021-05-11 | 上海云从汇临人工智能科技有限公司 | 运动目标检测告警方法、装置以及计算机可读存储介质 |
| WO2022174616A1 (zh) * | 2021-02-22 | 2022-08-25 | 上海商汤智能科技有限公司 | 行为识别方法及装置、电子设备和存储介质 |
| CN112926436A (zh) * | 2021-02-22 | 2021-06-08 | 上海商汤智能科技有限公司 | 行为识别方法及装置、电子设备和存储介质 |
| CN113030951A (zh) * | 2021-03-10 | 2021-06-25 | 森思泰克河北科技有限公司 | 目标运动趋势判断方法、装置及终端设备 |
| CN113239873A (zh) * | 2021-06-01 | 2021-08-10 | 平安科技（深圳）有限公司 | 吸烟行为识别方法、系统、计算机设备和存储介质 |
| CN115620228A (zh) * | 2022-10-13 | 2023-01-17 | 南京信息工程大学 | 一种基于视频分析的地铁屏蔽门临关门乘客闯门预警方法 |
| CN115620228B (zh) * | 2022-10-13 | 2023-05-23 | 南京信息工程大学 | 一种基于视频分析的地铁屏蔽门临关门乘客闯门预警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110008867B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110008867B (zh) | 一种基于人物异常行为的预警方法、装置及存储介质 | |
| CN108509859B (zh) | 一种基于深度神经网络的无重叠区域行人跟踪方法 | |
| TWI677825B (zh) | 視頻目標跟蹤方法和裝置以及非易失性電腦可讀儲存介質 | |
| CN109035299B (zh) | 目标跟踪方法、装置、计算机设备及存储介质 | |
| CN109271870B (zh) | 行人重识别方法、装置、计算机设备及存储介质 | |
| US8989442B2 (en) | Robust feature fusion for multi-view object tracking | |
| CN107564034A (zh) | 一种监控视频中多目标的行人检测与跟踪方法 | |
| US11527000B2 (en) | System and method for re-identifying target object based on location information of CCTV and movement information of object | |
| CN109035295B (zh) | 多目标跟踪方法、装置、计算机设备和存储介质 | |
| WO2022142417A1 (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| WO2009109127A1 (en) | Real-time body segmentation system | |
| Shukla et al. | Moving object tracking of vehicle detection: a concise review | |
| WO2019007253A1 (zh) | 图像识别方法、装置及设备、可读介质 | |
| CN115240130A (zh) | 一种行人多目标跟踪方法、装置和计算机可读存储介质 | |
| CN110991397B (zh) | 一种行进方向确定方法及相关设备 | |
| US20180173939A1 (en) | Recognition of objects within a video | |
| KR102434397B1 (ko) | 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법 | |
| Rudinac et al. | Saliency detection and object localization in indoor environments | |
| CN113793362B (zh) | 基于多镜头视频的行人轨迹提取方法和装置 | |
| CN110751671B (zh) | 一种基于核相关滤波与运动估计的目标跟踪方法 | |
| CN111444875B (zh) | 一种人脸跟踪方法、装置、设备和计算机可读存储介质 | |
| CN113255549A (zh) | 一种狼群围猎行为状态智能识别方法及系统 | |
| CN115018886B (zh) | 运动轨迹识别方法、装置、设备及介质 | |
| CN115131705A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| US20210034915A1 (en) | Method and apparatus for object re-identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |