CN114764897A - 行为识别方法、装置、终端设备以及存储介质 - Google Patents
行为识别方法、装置、终端设备以及存储介质 Download PDFInfo
- Publication number
- CN114764897A CN114764897A CN202210321459.6A CN202210321459A CN114764897A CN 114764897 A CN114764897 A CN 114764897A CN 202210321459 A CN202210321459 A CN 202210321459A CN 114764897 A CN114764897 A CN 114764897A
- Authority
- CN
- China
- Prior art keywords
- behavior recognition
- target
- target image
- behavior
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 239000013598 vector Substances 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 230000006399 behavior Effects 0.000 claims description 237
- 230000000007 visual effect Effects 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 22
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000035582 behavioral recognition Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 8
- 238000012544 monitoring process Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种行为识别方法、装置、终端设备以及存储介质，其行为识别方法包括：获取目标图像；通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。本申请实现了多目标多视角的复杂行为识别，提升行为识别技术的应用效果。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种行为识别方法、装置、终端设备以及存储介质。
背景技术
行为识别是计算机视觉技术的一个重要分支，通常应用于视频监控，当检测到异常行为出现，则发出警告提醒相关管理人员。行为识别极大地发挥与拓展了视频监控系统的作用和能力，使监控系统具有更高的智能化，降低资源与人员配置。
现有的行为识别技术一般是基于单视角和当前帧工作的，无法通过视角间的信息共享和连续多帧的信息处理实现多目标多视角追踪，另外，对当前帧的处理也只能识别出简单动作，对连贯复杂的动作并不具备识别条件。综上，目前缺少一种多目标多视角的复杂行为识别解决方案。
发明内容
本发明的主要目的在于提供一种行为识别方法、装置、终端设备以及存储介质，旨在通过处理若干视角下的连续视频帧，实现多目标多视角的复杂行为识别，提升行为识别技术的应用效果。
为实现上述目的，本发明提供一种行为识别方法，所述行为识别方法包括：
获取目标图像；
通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；
通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；
将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。
可选地，所述获取目标图像的步骤包括：
获取若干视角下的连续视频帧；
通过预先创建的目标检测模型根据目标检测框剪裁所述若干视角下的连续视频帧得到所述目标图像。
可选地，所述通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果的步骤包括：
通过预先创建的特征提取模型对所述目标图像的运动特征和外观特征进行提取得到若干特征向量；
通过所述若干特征向量之间匹配得到多目标追踪结果，其中，所述匹配根据运动特征匹配算法和外观特征匹配算法中的一种或多种进行，所述多目标追踪结果包括身份识别号；
通过所述若干特征向量之间聚类得到多视角追踪结果，其中，所述聚类根据特征聚类算法进行，所述多视角追踪结果包括所述身份识别号；
通过关联所述身份识别号将所述多目标追踪结果和所述多视角追踪结果结合得到所述多目标多视角追踪结果，其中，所述多目标多视角追踪结果包括所述身份识别号。
可选地，所述通过所述若干特征向量之间匹配得到多目标追踪结果，其中，所述匹配根据运动特征匹配算法和外观特征匹配算法中的一种或多种进行的步骤包括：
通过所述若干特征向量之间根据所述运动特征匹配算法进行匹配，若得到所述多目标追踪结果，即不再根据所述外观特征匹配算法进行匹配；
若无法得到所述多目标追踪结果，则根据所述外观特征匹配算法进行匹配得到所述多目标追踪结果。
可选地，所述通过预先创建的行为识别模型处理所述目标图像得到行为识别结果的步骤包括：
通过所述预先创建的行为识别模型对所述目标图像进行处理得到基本行为序列；
根据预设的行为判定规则对所述基本行为序列进行判定得到所述行为识别结果。
可选地，所述通过所述预先创建的行为识别模型对所述目标图像进行处理得到基本行为序列的步骤包括：
通过所述预先创建的行为识别模型根据最优视角选取算法对所述目标图像进行评分；
选取最高得分的所述目标图像作为最优视角目标图像，并对所述最优视角目标图像进行处理得到所述基本行为序列。
可选地，所述将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果的步骤包括：
所述行为识别结果包括所述身份识别号；
通过关联所述身份识别号将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。
本申请实施例还提出一种行为识别装置，所述行为识别装置包括：
获取模块，用于获取目标图像；
行为识别模块，用于通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。
本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的行为识别程序，所述行为识别程序被所述处理器执行时实现如上所述的行为识别方法的步骤。
本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有行为识别程序，所述行为识别程序被处理器执行时实现如上所述的行为识别方法的步骤。
本申请实施例提出的行为识别方法、装置、终端设备以及存储介质，通过获取目标图像；通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。通过若干个预设的处理模型对所述目标图像进行处理，得到所述多目标多视角追踪结果与所述行为识别结果，并将二者结合实现多目标多视角下的行为识别，提升了行为识别技术的应用效果。
附图说明
图1为本申请行为识别装置所属终端设备的功能模块示意图；
图2为本申请行为识别方法第一示例性实施例的流程示意图；
图3为本申请行为识别方法第二示例性实施例的流程示意图；
图4为本申请行为识别方法第三示例性实施例的流程示意图；
图5为图4中步骤S202的细化流程示意图；
图6为本申请行为识别方法第四示例性实施例的流程示意图；
图7为图6中步骤S301的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取目标图像；通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。基于本申请方案，在获取所述目标图像和创建处理模型的基础上，得到所述多目标多视角追踪结果与所述行为识别结果，并将二者结合实现多目标多视角下的行为识别，提升了行为识别技术的应用效果。
具体地，参照图1，图1为本申请行为识别装置所属终端设备的功能模块示意图。该行为识别装置可以为独立于终端设备的、能够进行行为识别、对比的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中，该行为识别装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及行为识别程序，行为识别装置可以将获取的目标图像；通过预先创建的特征提取模型对所述目标图像的特征进行提取得到的若干特征向量，通过所述若干特征向量之间匹配和聚类得到的多目标多视角追踪结果；通过预先创建的行为识别模型处理所述目标图像得到的行为识别结果；以及将所述多目标多视角追踪结果与所述行为识别结果结合得到的多目标多视角的行为识别结果等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，存储器130中的行为识别程序、对比程序被处理器执行时实现以下步骤：
获取目标图像；
通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；
通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；
将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。
进一步地，存储器130中的行为识别程序被处理器执行时还实现以下步骤：
获取若干视角下的连续视频帧；
通过预先创建的目标检测模型根据目标检测框剪裁所述若干视角下的连续视频帧得到所述目标图像。
进一步地，存储器130中的行为识别程序被处理器执行时还实现以下步骤：
通过预先创建的特征提取模型对所述目标图像的运动特征和外观特征进行提取得到若干特征向量；
通过所述若干特征向量之间匹配得到多目标追踪结果，其中，所述匹配根据运动特征匹配算法和外观特征匹配算法中的一种或多种进行，所述多目标追踪结果包括身份识别号；
通过所述若干特征向量之间聚类得到多视角追踪结果，其中，所述聚类根据特征聚类算法进行，所述多视角追踪结果包括所述身份识别号；
通过关联所述身份识别号将所述多目标追踪结果和所述多视角追踪结果结合得到所述多目标多视角追踪结果，其中，所述多目标多视角追踪结果包括所述身份识别号。
进一步地，存储器130中的行为识别程序被处理器执行时还实现以下步骤：
通过所述若干特征向量之间根据所述运动特征匹配算法进行匹配，若得到所述多目标追踪结果，即不再根据所述外观特征匹配算法进行匹配；
若无法得到所述多目标追踪结果，则根据所述外观特征匹配算法进行匹配得到所述多目标追踪结果。
进一步地，存储器130中的行为识别程序被处理器执行时还实现以下步骤：
通过所述预先创建的行为识别模型对所述目标图像进行处理得到基本行为序列；
根据预设的行为判定规则对所述基本行为序列进行判定得到所述行为识别结果。
进一步地，存储器130中的行为识别程序被处理器执行时还实现以下步骤：
通过所述预先创建的行为识别模型根据最优视角选取算法对所述目标图像进行评分；
选取最高得分的所述目标图像作为最优视角目标图像，并对所述最优视角目标图像进行处理得到所述基本行为序列。
进一步地，存储器130中的行为识别程序被处理器执行时还实现以下步骤：
所述行为识别结果包括所述身份识别号；
通过关联所述身份识别号将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。
本实施例通过上述方案，具体通过获取目标图像；通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。通过若干个预设的处理模型对所述目标图像进行处理，得到所述多目标多视角追踪结果与所述行为识别结果，并将二者结合实现多目标多视角下的行为识别，提升了行为识别技术的应用效果。
基于上述终端设备架构但不限于上述架构，提出本申请方法实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本实施例方法的执行主体可以是一种行为识别装置，也可以是一种行为识别终端设备或服务器，本实施例以行为识别装置进行举例，该行为识别装置可以集成在具有数据处理功能的桌面电脑、笔记本电脑等终端设备上。
参照图2，本发明行为识别方法第一实施例提供一种流程示意图，所述行为识别方法包括：
步骤S10，获取目标图像；
具体地，终端设备向监控设备发送获取所述目标图像的请求，所述监控设备接收到请求后进行权限验证，若通过权限验证，则调取所述目标图像并返回给所述终端设备。其中，所述监控设备可以是网络摄像机、红外摄像机、全彩摄像机等，能够拍摄生产环境中的实时画面并存储下来，并预留有数据输入输出接口；所述目标图像反映了管理者预先设定的监控区域的画面信息。
步骤S20，通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；
具体地，先通过预先创建的特征提取模型对所述目标图像中目标的特征向量进行提取，每个提取好的特征向量都是一维向量，其中所述预先创建的特征提取模型是运用了机器学习技术，通过大量的特征数据训练所得，该特征提取模型可以准确识别出目标图像中的特征并将其提取为一维的特征向量输出，所述特征向量一般情况下为多个，分别属于不同视角下的不同目标，也就是分别属于不同监控画面中的多个人。
然后，将同一个视角中连续帧的所述特征向量进行匹配，就可以实现同一视角下的多目标追踪；将不同视角下的所述特征向量进行聚类，就可以实现同一目标的多视角追踪。将以上两个追踪效果结合起来，就实现了多目标多视角追踪。
步骤S30，通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；
具体地，将所述目标图像输入所述预先创建的行为识别模型，所述预先创建的行为识别模型是运用了机器学习技术，通过大量的行为数据训练所得，该行为识别模型可以对所述目标图像中的行为进行判断，所述行为包括基本行为如手部的“拿起”、“放下”，以及腿部的“站立”、“行走”等，也包括复杂行为如“盗窃”。
步骤S40，将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。
具体地，所述多目标多视角追踪结果是指对不同视角下的不同目标实现了视频监控追踪，每个目标都有对应的身份识别号，也就是ID。所述行为识别结果是指视频监控中每个目标都标记有对应的行为，也就是说每个行为标记都是有对应目标身份识别号的。
综上，身份识别号将不同视角下不同目标与行为关联起来，实现了所述多目标多视角的行为识别结果。
本实施例通过上述方案，具体通过获取目标图像；通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。本实施例通过若干个预设的处理模型对所述目标图像进行处理，对不同视角下的不同目标进行追踪并识别其行为，得到所述多目标多视角追踪结果与所述行为识别结果，并将二者结合实现多目标多视角下的行为识别，提升了行为识别技术的应用效果。
进一步的，参照图3，本发明行为识别方法第二实施例提供一种流程示意图，基于上述图2所示的实施例，所述获取目标图像的步骤包括：
在本实施例中，步骤S101，获取若干视角下的连续视频帧；
具体地，终端设备向若干个监控设备发送获取监控画面的请求，所述监控画面实际上包含了所述连续视频帧，所述监控设备接收到请求后进行权限验证，若通过权限验证，则调取所述连续视频帧并返回给所述终端设备。
步骤S102，通过预先创建的目标检测模型根据目标检测框剪裁所述若干视角下的连续视频帧得到所述目标图像。
具体地，终端设备在接收到所述连续视频帧之后，通过预先创建的目标检测模型检测所述连续视频帧中的目标，得到每一帧中每个目标的检测框，该目标检测框一般为矩形，把目标的包括在内，从而可以确定每个视角下每个目标的位置和大小。然后根据目标检测框的形状剪裁所述连续视频帧，得到一个矩形的所述目标图像。
本实施例通过上述方案，具体通过获取若干视角下的连续视频帧；通过预先创建的目标检测模型根据目标检测框剪裁所述若干视角下的连续视频帧得到所述目标图像。本实施例中目标检测模型对监控视频画面中目标相关的视频帧进行剪裁得到大小适中的目标图像，其包含完整的目标信息，为接下来的特征提取及行为识别准备了必要材料。
进一步的，参照图4，本发明行为识别方法第三实施例提供一种流程示意图，基于上述图2所示的实施例，在本实施例中，上述步骤S20，通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果包括：
步骤S201，通过预先创建的特征提取模型对所述目标图像的运动特征和外观特征进行提取得到若干特征向量；
具体地，先通过预先创建的特征提取模型接收所述目标图像作为输入，识别出图像中的目标运动特征和外观特征，将两种特征以一维特征向量的形式输出，为下一步的特征匹配和聚类准备必要材料。
步骤S202，通过所述若干特征向量之间匹配得到多目标追踪结果，其中，所述匹配根据运动特征匹配算法和外观特征匹配算法中的一种或多种进行，所述多目标追踪结果包括身份识别号；
具体地，所述若干特征向量为运动特征和外观特征的表现形式，在同一视角下不同目标的运动特征和外观特征都是不同的，通过同一视角下连续多帧的运动特征和外观特征进行匹配，就可以实现同一视角下所有目标的追踪。
其中，所述运动特征匹配算法基于卡尔曼滤波算法，原理是根据上一帧中目标的位置、大小、速度，可以预测当前帧该目标的大致范围，如果预测位置只有一个检测框且附件没有其他检测框，那么可以确定这个检测框就是属于该目标的，实现单视角下的多目标追踪；
所述外观特征匹配算法基于目标重识别算法，原理是计算不同特征向量的余弦距离，由于相似性，同一目标特征向量之间的余弦距离会比不同目标的更小，进而可以进行匹配，实现单视角下的多目标追踪。
步骤S203，通过所述若干特征向量之间聚类得到多视角追踪结果，其中，所述聚类根据特征聚类算法进行，所述多视角追踪结果包括所述身份识别号；
具体地，在不同视角下同一目标的外观特征是接近的，把不同视角下的外观特征进行聚类，就是把分散的多个特征向量按照相似度不同组成多个类，可以把不同视角下的同一目标关联起来，进而实现多视角下的单目标追踪。
步骤S204，通过关联所述身份识别号将所述多目标追踪结果和所述多视角追踪结果结合得到所述多目标多视角追踪结果，其中，所述多目标多视角追踪结果包括所述身份识别号。
无论是单视角下的多目标追踪还是多视角下的单目标追踪，只要是同一个目标，就会有唯一的身份识别号，通过关联所述身份识别号就可以实现多目标多视角追踪。
本实施例通过上述方案，具体通过预先创建的特征提取模型对所述目标图像的运动特征和外观特征进行提取得到若干特征向量；通过所述若干特征向量之间匹配得到多目标追踪结果，其中，所述匹配根据运动特征匹配算法和外观特征匹配算法中的一种或多种进行，所述多目标追踪结果包括身份识别号；通过所述若干特征向量之间聚类得到多视角追踪结果，其中，所述聚类根据特征聚类算法进行，所述多视角追踪结果包括所述身份识别号；通过关联所述身份识别号将所述多目标追踪结果和所述多视角追踪结果结合得到所述多目标多视角追踪结果，其中，所述多目标多视角追踪结果包括所述身份识别号。本实施例中特征提取模型应用机器学习技术，通过大量数据训练所得，可以有效识别并提取目标的运动特征和外观特征，将目标的特征转换为特征向量的形式并用于下一阶段的处理，另外，通过对特征匹配算法和特征聚类算法的应用，可以实现多目标追踪和多视角追踪，进而将两者结合实现多目标多视角追踪。
进一步的，参照图5，基于上述图4所示的实施例，对图4中步骤S202进行细化，所述通过所述若干特征向量之间匹配得到多目标追踪结果，其中，所述匹配根据运动特征匹配算法和外观特征匹配算法中的一种或多种进行的步骤包括：
步骤S2020，通过所述若干特征向量之间根据所述运动特征匹配算法进行匹配；
步骤S2021，若得到所述多目标追踪结果，即不再根据所述外观特征匹配算法进行匹配；
具体地，所述若干特征向量先通过所述运动特征匹配算法进行匹配，根据上一帧中目标的位置、大小、速度，可以预测当前帧该目标的大致范围，如果预测位置只有一个检测框且附件没有其他检测框，那么可以确定这个检测框就是属于该目标的，匹配过程也就认为是已完成，实现了单视角下的多目标追踪，不再需要进入下一步的外观特征匹配算法匹配。
步骤S2022，若无法得到所述多目标追踪结果，则根据所述外观特征匹配算法进行匹配得到所述多目标追踪结果。
具体地，如果根据所述运动特征匹配算法进行匹配，有目标的预测位置范围内出现了多个检测框，那么意味着运动特征匹配失效，需要转换为外观特征匹配。然后根据所述外观特征匹配算法计算不同特征向量的余弦距离，由于相似性，同一目标特征向量之间的余弦距离会比不同目标的更小，进而可以进行匹配，实现单视角下的多目标追踪。
本实施例通过上述方案，具体通过所述若干特征向量之间根据所述运动特征匹配算法进行匹配，若得到所述多目标追踪结果，即不再根据所述外观特征匹配算法进行匹配；若无法得到所述多目标追踪结果，则根据所述外观特征匹配算法进行匹配得到所述多目标追踪结果。本实施例对特征匹配阶段算法的选取顺序做出了限定，优先选取运动特征算法进行匹配，若匹配成功则结束匹配过程，若匹配失效，则选取外观特征匹配算法进行匹配，此种匹配顺序可加快匹配速度。
进一步的，参照图6，本发明行为识别方法第四实施例提供一种流程示意图，基于上述图2所示的实施例，所述通过预先创建的行为识别模型处理所述目标图像得到行为识别结果的步骤包括：
步骤S301，通过所述预先创建的行为识别模型对所述目标图像进行处理得到基本行为序列；
具体地，先通过预先创建的行为识别模型接收所述目标图像作为输入，对所述目标图像中目标的行为进行识别，识别出目标的基本行为如手部的“拿起”、“放下”，以及腿部的“站立”、“行走”等，对每个目标建立基本行为序列。
步骤S302，根据预设的行为判定规则对所述基本行为序列进行判定得到所述行为识别结果。
具体地，随着对目标的追踪过程持续进行，所述目标图像输入增多，基本行为序列也逐渐增长，把基本行为序列根据预设的行为判定规则进行判定，就可以知道是否发生了高级行为，如“盗窃”，然后管理者可以通过设置相应的预警机制实现危险行为预警。例如，顾客在商店内多次拿取(基本行为)和放置(基本行为)物品，如果识别到目标拿取物品的数量多于放置的数量，并且最后没有买单(基本行为)就离开(基本行为)，就会触发一次盗窃行为(高级行为)预警。
本实施例通过上述方案，具体通过所述预先创建的行为识别模型对所述目标图像进行处理得到基本行为序列；根据预设的行为判定规则对所述基本行为序列进行判定得到所述行为识别结果。本实施例先对目标的基本行为进行识别得到基本行为序列，然后对一定长度基本行为序列进行判定，进而实现对目标的复杂动作的识别。
进一步的，参照图7，基于上述图6所示的实施例，对图6中步骤S301进行细化，所述通过所述预先创建的行为识别模型对所述目标图像进行处理得到基本行为序列的步骤包括：
步骤S3011，通过所述预先创建的行为识别模型根据最优视角选取算法对所述目标图像进行评分；
具体地，先通过预先创建的行为识别模型接收所述目标图像作为输入，根据每个目标当前的站位区域和朝向等因素对视角进行评分，综合得分最高的视角即可确定为最优视角，所述最优视角下的目标特征更为清晰，便于进行下一步的图像处理。
步骤S3012，选取最高得分的所述目标图像作为最优视角目标图像，并对所述最优视角目标图像进行处理得到所述基本行为序列。
具体地，先取最优视角下连续16帧的所述目标图像，按照间隔1抽帧，获得8帧的有确定序列的所述目标图像作为所述最优视角目标图像，然后对所述最优视角目标图像进行处理，识别出其中目标的基本行为得到所述基本行为序列。
本实施例通过上述方案，具体通过所述预先创建的行为识别模型根据最优视角选取算法对所述目标图像进行评分；选取最高得分的所述目标图像作为最优视角目标图像，并对所述最优视角目标图像进行处理得到所述基本行为序列。本实施例自动切换众多监控画面下的最优视觉，然后获取最优视角下的目标图像，该视角下的目标图像所包含的信息量更大，可提高行为识别的准确率。
此外，本申请实施例还提出一种行为识别装置，所述行为识别装置包括：
获取模块，用于获取目标图像；
行为识别模块，用于通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。
本实施例实现行为识别的原理及实施过程，请参照上述各实施例，在此不再赘述。
此外，本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的行为识别程序，所述行为识别程序被所述处理器执行时实现如上所述的行为识别方法的步骤。
由于本行为识别程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有行为识别程序，所述行为识别程序被处理器执行时实现如上所述的行为识别方法的步骤。
由于本行为识别程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
相比现有技术，本申请实施例提出的行为识别方法、装置、终端设备以及存储介质，通过获取目标图像；通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。通过若干个预设的处理模型对所述目标图像进行处理，得到所述多目标多视角追踪结果与所述行为识别结果，并将二者结合实现多目标多视角下的行为识别，提升了行为识别技术的应用效果。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种行为识别方法，其特征在于，所述行为识别方法包括以下步骤：
获取目标图像；
通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；
通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；
将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。
2.如权利要求1所述的行为识别方法，其特征在于，所述获取目标图像的步骤包括：
获取若干视角下的连续视频帧；
通过预先创建的目标检测模型根据目标检测框剪裁所述若干视角下的连续视频帧得到所述目标图像。
3.如权利要求1所述的行为识别方法，其特征在于，所述通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果的步骤包括：
通过预先创建的特征提取模型对所述目标图像的运动特征和外观特征进行提取得到若干特征向量；
通过所述若干特征向量之间匹配得到多目标追踪结果，其中，所述匹配根据运动特征匹配算法和外观特征匹配算法中的一种或多种进行，所述多目标追踪结果包括身份识别号；
通过所述若干特征向量之间聚类得到多视角追踪结果，其中，所述聚类根据特征聚类算法进行，所述多视角追踪结果包括所述身份识别号；
通过关联所述身份识别号将所述多目标追踪结果和所述多视角追踪结果结合得到所述多目标多视角追踪结果，其中，所述多目标多视角追踪结果包括所述身份识别号。
4.如权利要求3所述的行为识别方法，其特征在于，所述通过所述若干特征向量之间匹配得到多目标追踪结果，其中，所述匹配根据运动特征匹配算法和外观特征匹配算法中的一种或多种进行的步骤包括：
通过所述若干特征向量之间根据所述运动特征匹配算法进行匹配，若得到所述多目标追踪结果，即不再根据所述外观特征匹配算法进行匹配；
若无法得到所述多目标追踪结果，则根据所述外观特征匹配算法进行匹配得到所述多目标追踪结果。
5.如权利要求1所述的行为识别方法，其特征在于，所述通过预先创建的行为识别模型处理所述目标图像得到行为识别结果的步骤包括：
通过所述预先创建的行为识别模型对所述目标图像进行处理得到基本行为序列；
根据预设的行为判定规则对所述基本行为序列进行判定得到所述行为识别结果。
6.如权利要求5所述的行为识别方法，其特征在于，所述通过所述预先创建的行为识别模型对所述目标图像进行处理得到基本行为序列的步骤包括：
通过所述预先创建的行为识别模型根据最优视角选取算法对所述目标图像进行评分；
选取最高得分的所述目标图像作为最优视角目标图像，并对所述最优视角目标图像进行处理得到所述基本行为序列。
7.如权利要求3所述的行为识别方法，其特征在于，所述将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果的步骤包括：
所述行为识别结果包括所述身份识别号；
通过关联所述身份识别号将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。
8.一种行为识别装置，其特征在于，所述行为识别装置包括：
获取模块，用于获取目标图像；
行为识别模块，用于通过预先创建的特征提取模型对所述目标图像的特征进行提取得到若干特征向量，通过所述若干特征向量之间匹配和聚类得到多目标多视角追踪结果；通过预先创建的行为识别模型处理所述目标图像得到行为识别结果；将所述多目标多视角追踪结果与所述行为识别结果结合得到多目标多视角的行为识别结果。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的行为识别程序，所述行为识别程序被所述处理器执行时实现如权利要求1-7中任一项所述的行为识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有行为识别程序，所述行为识别程序被处理器执行时实现如权利要求1-7中任一项所述的行为识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210321459.6A CN114764897A (zh) | 2022-03-29 | 2022-03-29 | 行为识别方法、装置、终端设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210321459.6A CN114764897A (zh) | 2022-03-29 | 2022-03-29 | 行为识别方法、装置、终端设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114764897A true CN114764897A (zh) | 2022-07-19 |
Family
ID=82365111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210321459.6A Pending CN114764897A (zh) | 2022-03-29 | 2022-03-29 | 行为识别方法、装置、终端设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114764897A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115937743A (zh) * | 2022-12-09 | 2023-04-07 | 武汉星巡智能科技有限公司 | 基于图像融合的婴幼儿看护行为识别方法、装置及系统 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101508310B1 (ko) * | 2014-04-10 | 2015-04-07 | 군산대학교산학협력단 | 영상 감시 시스템에서 다중 이동 물체를 추적하는 방법 및 장치 |
| KR101868103B1 (ko) * | 2017-07-12 | 2018-06-18 | 군산대학교 산학협력단 | 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법 |
| CN110399808A (zh) * | 2019-07-05 | 2019-11-01 | 桂林安维科技有限公司 | 一种基于多目标跟踪的人体行为识别方法及系统 |
| CN110619657A (zh) * | 2019-08-15 | 2019-12-27 | 青岛文达通科技股份有限公司 | 一种面向智慧社区的多摄像机联动多目标追踪方法及系统 |
| CN111222487A (zh) * | 2020-01-15 | 2020-06-02 | 浙江大学 | 视频目标行为识别方法及电子设备 |
| WO2020151247A1 (zh) * | 2019-01-23 | 2020-07-30 | 华为技术有限公司 | 图像分析方法以及系统 |
| WO2020224460A1 (zh) * | 2019-05-06 | 2020-11-12 | 影石创新科技股份有限公司 | 一种目标追踪方法及便携式终端 |
| US20210064880A1 (en) * | 2019-09-04 | 2021-03-04 | NEX Team Inc. | Methods and systems for multiplayer tagging for ball game analytics generation with a mobile computing device |
| WO2021043295A1 (zh) * | 2019-09-07 | 2021-03-11 | 影石创新科技股份有限公司 | 一种全景视频的目标追踪方法、装置及便携式终端 |
| CN112529934A (zh) * | 2020-12-02 | 2021-03-19 | 北京航空航天大学杭州创新研究院 | 多目标追踪方法、装置、电子设备和存储介质 |
| CN112581503A (zh) * | 2020-12-25 | 2021-03-30 | 清华大学 | 一种多视角下的多目标检测与跟踪方法 |
| CN112990153A (zh) * | 2021-05-11 | 2021-06-18 | 创新奇智(成都)科技有限公司 | 一种多目标行为识别方法、装置、存储介质以及电子设备 |
| CN113158909A (zh) * | 2021-04-25 | 2021-07-23 | 中国科学院自动化研究所 | 基于多目标跟踪的行为识别轻量化方法、系统、设备 |
| CN113392676A (zh) * | 2020-03-12 | 2021-09-14 | 北京沃东天骏信息技术有限公司 | 一种多目标追踪的行为识别方法和装置 |
| CN113688729A (zh) * | 2021-08-24 | 2021-11-23 | 上海商汤科技开发有限公司 | 一种行为识别方法及装置、电子设备和存储介质 |
| CN113851136A (zh) * | 2021-09-26 | 2021-12-28 | 平安科技（深圳）有限公司 | 基于聚类的说话人识别方法、装置、设备及存储介质 |
| CN114067428A (zh) * | 2021-11-02 | 2022-02-18 | 上海浦东发展银行股份有限公司 | 多视角多目标的跟踪方法、装置、计算机设备和存储介质 |
-
2022
- 2022-03-29 CN CN202210321459.6A patent/CN114764897A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101508310B1 (ko) * | 2014-04-10 | 2015-04-07 | 군산대학교산학협력단 | 영상 감시 시스템에서 다중 이동 물체를 추적하는 방법 및 장치 |
| KR101868103B1 (ko) * | 2017-07-12 | 2018-06-18 | 군산대학교 산학협력단 | 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법 |
| WO2020151247A1 (zh) * | 2019-01-23 | 2020-07-30 | 华为技术有限公司 | 图像分析方法以及系统 |
| WO2020224460A1 (zh) * | 2019-05-06 | 2020-11-12 | 影石创新科技股份有限公司 | 一种目标追踪方法及便携式终端 |
| CN110399808A (zh) * | 2019-07-05 | 2019-11-01 | 桂林安维科技有限公司 | 一种基于多目标跟踪的人体行为识别方法及系统 |
| CN110619657A (zh) * | 2019-08-15 | 2019-12-27 | 青岛文达通科技股份有限公司 | 一种面向智慧社区的多摄像机联动多目标追踪方法及系统 |
| US20210064880A1 (en) * | 2019-09-04 | 2021-03-04 | NEX Team Inc. | Methods and systems for multiplayer tagging for ball game analytics generation with a mobile computing device |
| WO2021043295A1 (zh) * | 2019-09-07 | 2021-03-11 | 影石创新科技股份有限公司 | 一种全景视频的目标追踪方法、装置及便携式终端 |
| CN111222487A (zh) * | 2020-01-15 | 2020-06-02 | 浙江大学 | 视频目标行为识别方法及电子设备 |
| CN113392676A (zh) * | 2020-03-12 | 2021-09-14 | 北京沃东天骏信息技术有限公司 | 一种多目标追踪的行为识别方法和装置 |
| CN112529934A (zh) * | 2020-12-02 | 2021-03-19 | 北京航空航天大学杭州创新研究院 | 多目标追踪方法、装置、电子设备和存储介质 |
| CN112581503A (zh) * | 2020-12-25 | 2021-03-30 | 清华大学 | 一种多视角下的多目标检测与跟踪方法 |
| CN113158909A (zh) * | 2021-04-25 | 2021-07-23 | 中国科学院自动化研究所 | 基于多目标跟踪的行为识别轻量化方法、系统、设备 |
| CN112990153A (zh) * | 2021-05-11 | 2021-06-18 | 创新奇智(成都)科技有限公司 | 一种多目标行为识别方法、装置、存储介质以及电子设备 |
| CN113688729A (zh) * | 2021-08-24 | 2021-11-23 | 上海商汤科技开发有限公司 | 一种行为识别方法及装置、电子设备和存储介质 |
| CN113851136A (zh) * | 2021-09-26 | 2021-12-28 | 平安科技（深圳）有限公司 | 基于聚类的说话人识别方法、装置、设备及存储介质 |
| CN114067428A (zh) * | 2021-11-02 | 2022-02-18 | 上海浦东发展银行股份有限公司 | 多视角多目标的跟踪方法、装置、计算机设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115937743A (zh) * | 2022-12-09 | 2023-04-07 | 武汉星巡智能科技有限公司 | 基于图像融合的婴幼儿看护行为识别方法、装置及系统 |
| CN115937743B (zh) * | 2022-12-09 | 2023-11-14 | 武汉星巡智能科技有限公司 | 基于图像融合的婴幼儿看护行为识别方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10133951B1 (en) | Fusion of bounding regions | |
| US9990557B2 (en) | Region selection for image match | |
| JP6853379B2 (ja) | 対象人物の検索方法および装置、機器、プログラム製品ならびに媒体 | |
| WO2019041519A1 (zh) | 目标跟踪装置、方法及计算机可读存储介质 | |
| US11062124B2 (en) | Face pose detection method, device and storage medium | |
| US10013633B1 (en) | Object retrieval | |
| CN107633204A (zh) | 人脸遮挡检测方法、装置及存储介质 | |
| US9633272B2 (en) | Real time object scanning using a mobile phone and cloud-based visual search engine | |
| WO2019033571A1 (zh) | 面部特征点检测方法、装置及存储介质 | |
| WO2019033569A1 (zh) | 眼球动作分析方法、装置及存储介质 | |
| EP3491502A1 (en) | Automated queuing system | |
| CN110991261A (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
| WO2019242672A1 (zh) | 一种目标跟踪方法、装置及系统 | |
| WO2019033567A1 (zh) | 眼球动作捕捉方法、装置及存储介质 | |
| CN111028216A (zh) | 图像评分方法、装置、存储介质及电子设备 | |
| CN114764897A (zh) | 行为识别方法、装置、终端设备以及存储介质 | |
| KR102177453B1 (ko) | 얼굴 인식 방법 및 얼굴 인식 장치 | |
| KR101429882B1 (ko) | 화상 처리장치, 화상 처리방법, 제어 프로그램 및 기록매체 | |
| CN114638885A (zh) | 智能空间标注方法、系统、电子设备及存储介质 | |
| CN108052506B (zh) | 自然语言处理方法、装置、存储介质及电子设备 | |
| CN115278014B (zh) | 一种目标跟踪方法、系统、计算机设备及可读介质 | |
| CN112148924A (zh) | 一种行李箱检索方法、装置及电子设备 | |
| CN111008210B (zh) | 商品识别方法、装置、编解码器及存储装置 | |
| CN114494939A (zh) | 基于图像识别的防偷盗方法及相关产品 | |
| CN116543447A (zh) | 一种扫码方法及设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |