CN114550289B - 一种行为识别方法、系统及电子设备 - Google Patents

一种行为识别方法、系统及电子设备 Download PDF

Info

Publication number
CN114550289B
CN114550289B CN202210142681.XA CN202210142681A CN114550289B CN 114550289 B CN114550289 B CN 114550289B CN 202210142681 A CN202210142681 A CN 202210142681A CN 114550289 B CN114550289 B CN 114550289B
Authority
CN
China
Prior art keywords
target object
feature
behavior
appearance
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210142681.XA
Other languages
English (en)
Other versions
CN114550289A (zh
Inventor
谭论正
何成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Polytechnic
Original Assignee
Zhongshan Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Polytechnic filed Critical Zhongshan Polytechnic
Priority to CN202210142681.XA priority Critical patent/CN114550289B/zh
Publication of CN114550289A publication Critical patent/CN114550289A/zh
Application granted granted Critical
Publication of CN114550289B publication Critical patent/CN114550289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种行为识别方法、系统及电子设备，在该方法中，对采集到的视频数据进行特征提取，确定目标对象行为的外观特征以及运动特征，然后根据外观特征以及运动特征，确定特征之间的黎曼流形距离特征，根据所有特征得到预测行为标签，并根据预测行为标签判定目标对象行为是否为合规性，通过该方法可以利用黎曼流形距离特征对目标对象进行准确的静态分析，进而准确的判定目标对象行为的类别，准确的判定目标对象的行为是否合规。

Description

一种行为识别方法、系统及电子设备
技术领域
本申请涉及图像识别技术领域，尤其涉及一种行为识别方法、系统及电子设备。
背景技术
公共交通作为当今时代下最主要的交通运输手段，在社会经济中发挥着越来越重要的作用，其中地铁作为城市中最便捷的交通方式，也越来越受人们的青睐。为了保障公共交通的安全性，相应的监控系统也随之普及。其中，针对监控视频的处理，过去通常是每个摄像头会与总服务台中的一个显示器连接，通过人工的方式对大量的监控视频进行分析与判断，从中筛选出不合规的视频片段送入后续处理，当出现不合规的行为状况时，再根据监控找到相关人员进行处理，这一过程不仅繁琐复杂，还需要增加高昂的人工成本。
发明内容
本发申请提供了一种行为识别方法、系统及电子设备，用以准确的判定目标对象行为的类别，准确的判定目标对象的行为是否合规。
第一方面，本申请实施例提供了一种行为识别方法，所述方法包括：
获取由视频采集设备采集到的视频数据，并在所述视频数据中提取出目标对象的外观特征以及运动特征；
根据所述目标对象的所述外观特征以及所述运动特征，得到所述外观特征与所述运动特征之间黎曼流形距离特征；
根据所述外观特征、所述运动特征以及所述黎曼流形距离特征，计算得到所述目标对象行为对应的加权系数；
根据所述加权系数，计算得到所述目标对象的行为对应的预测行为标签；
根据所述预测行为标签，判定所述目标对象行为是否为合规行为。
本申请提供了一种行为识别方法，在该方法中，对采集到的视频数据进行特征提取，确定目标对象行为的外观特征以及运动特征，然后根据外观特征以及运动特征，确定特征之间的黎曼流形距离特征，根据所有特征得到预测行为标签，并根据预测行为标签判定目标对象行为是否为合规性，通过该方法可以利用黎曼流形特征对目标对象进行准确的静态分析，进而准确的判定目标对象行为的类别，准确的判定目标对象的行为是否合规。
在一种可能的设计中，在所述视频数据中提取出目标对象的外观特征，包括：
在所述视频数据中提取出采样帧，并对所述采样帧进行前景分割，得到目标对象图像；
对所述目标对象图像进行模板化处理，获得模板化图像；
在所述模板化图像中分别确定出目标对象轮廓以及目标对象各个部位，得到根窗口以及部位窗口；
根据所述根窗口确定目标对象的轮廓特征，并根据所述部位窗口确定目标对象的部位特征；
根据所述轮廓特征以及所述部位特征，确定所述目标对象的外观特征。
在一种可能的设计中，在所述视频数据中提取出目标对象的运动特征，包括：
在所述视频数据中提取出采样帧，确定所述采样帧的光流矢量数据；
对所述光流矢量数据中的光流的幅值进行加权，得到光流直方图；
对所述光流直方图进行归一化处理，得到所述目标对象对应的运动特征。
在一种可能的设计中，根据所述目标对象的所述外观特征以及所述运动特征，得到所述外观特征与所述运动特征之间黎曼流形距离特征，包括：
根据所述外观特征以及所述运动特征，构建所述目标对象对应的特征矩阵；
对所述特征矩阵进行指定计算，得到特征距离矩阵；
对所述特征距离矩阵进行降维处理，得到所述黎曼流形距离特征。
在一种可能的设计中，根据所述外观特征、所述运动特征以及所述黎曼流形距离特征，计算得到所述目标对象行为对应的加权系数，包括：
根据所述外观特征、所述运动特征以及所述黎曼流形距离特征，得到所述目标对象行为对应的特征类内一致性参数；
根据所述外观特征、所述运动特征以及所述黎曼流形距离特征，得到所述目标对象行为对应的特征类间可分性参数；
根据所述特征类内一致性参数以及特征类间可分性参数，得到所述加权系数。
在一种可能的设计中，根据所述加权系数，计算得到所述目标对象行为对应的预测行为标签，包括：
根据所述加权系数对所述目标对象行为进行分类得分计算，得到目标对象行为对应的分类得分；
根据所述分类得分，输出所述目标对象行为对应预测行为标签。
在一种可能的设计中，在判定所述目标对象行为是否为合规行为之后，所述方法还包括：
判定已存储的所述目标对象行为的特征数据是否超过预设存储时长；
若是，则删除已存储的所述特征数据；
若否，则继续保存所述特征数据。
第二方面，本申请提供了一种行为识别系统，所述系统包括：
特征提取模块，用于获取由视频采集设备采集到的视频数据，并在所述视频数据中提取出目标对象行为的外观特征以及运动特征；
特征融合模块，用于根据所述目标对象行为的所述外观特征以及所述运动特征，得到所述外观特征与所述运动特征之间黎曼流形距离特征；
行为判定模块，用于根据所述外观特征、所述运动特征以及所述黎曼流形距离特征，计算得到所述目标对象行为对应的加权系数；根据所述加权系数，计算得到所述目标对象行为对应的预测行为标签；根据所述预测行为标签，判定所述目标对象行为是否为合规行为。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的一种行为识别方法步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种行为识别方法步骤。
上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
图1为本申请提供的一种行为识别方法的流程图；
图2为本申请提供的一种识别系统的结构示意图；
图3为本申请提供的一种行为识别系统的结构示意图；
图4为本申请提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。需要说明的是，在本申请的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。A与B连接，可以表示：A与B直接连接和A与B通过C连接这两种情况。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
下面结合附图，对本申请实施例进行详细描述。
随着深度学习技术的发展，智能化的监控系统已经被逐渐应用于监控视频的处理中，通过对视频中目标对象的运动建模，进而分析往来目标对象的运动状态与运动信息，然后基于该运动状态与运动信息判定目标对象的行为是否合规，如果判定不合规，则通知相关人员进行处理。但是，现有的方式中并不能准确对目标对象的行为的进行准确的分析，从而导致对目标对象的运动状态以及运动信息分析不准确。
为了解决上述问题，本申请提供了一种行为识别方法，在该方法中，对采集到的视频数据进行特征提取，确定目标对象行为的外观特征以及运动特征，然后根据外观特征以及运动特征，确定特征之间的黎曼流形距离特征，根据所有特征得到预测行为标签，并根据预测行为标签判定目标对象行为是否为合规性，通过该方法可以利用黎曼流形特征对目标对象进行准确的静态分析，进而准确的判定目标对象行为的类别，准确的判定目标对象的行为是否合规。
参照图1所示为本申请实施例提供的一种行为识别方法的流程图，首先该方法可以应用到图2所示的识别系统中，该系统包括视频采集模块、信息存储模块以及行为判定模块，其中，视频采集模块用于采集目标对象的视频数据，信息存储模块用于存储数据，行为判定模块用于对目标对象的行为进行判定，具体该方法包括：
S1，获取由视频采集设备采集到的视频数据，并在视频数据中提取出目标对象的外观特征以及运动特征；
首先视频采集模块收集监控摄像头拍摄到的视频数据，并将收集到的视频数据中的每帧图像转换为灰度图，从而得到灰度图序列，将灰度图序列存储在信息存储模块的视频信息存储子模块中。
在本申请实施例中可以通过如下公式来进行灰度图转换：
f(i,j)＝0.2999R+0.587G+0.114B
根据上式对高清监控摄像拍摄得到的视频序列进行灰度化计算，得到灰度序列以便后续处理，其中f(i,j)表示灰度化处理后的图像中坐标为(i,j)处的像素点灰度值，R、G、B分别为彩色图像三个通道分量。
另外，在本申请实施例中，在存储灰度图序列时，将灰度图序列附带时间戳信息一并存入到视频信息存储子模块中。
在完成灰度图转换之后，行为判定模块将调取出灰度图序列，并在灰度图序列中提取出运动特征以及外观特征，具体外观特征提取子模块提取外观特征的方式如下：
首先，在视频数据中提取出采样帧，在本申请实施例中可以是间隔5帧采采样1帧作为采样帧，从而在目标对象图像中提取出采样帧，并对采样帧进行前景分割，削弱背景影响，得到目标对象图像，然后对目标对象图像进行模板化处理，获得模板化图像，在模板化图像中分别确定出目标对象轮廓以及目标对象各个部位，得到根窗口以及部位窗口，根据该跟窗口确定目标对象的轮廓特征，并根据部位窗口确定目标对象的部位特征，最终根据轮廓特征以及部位特征，确定目标对象的外观特征。
具体来讲，对采样帧进行前景分割，对人体图像模板化处理，获得模板化人体图，根据设定好的根窗口以及部位窗口从模板化人体图中分别检测出人体轮廓以及人体中的各个部位，并将部位窗口与根窗口之间的相对位置记为
Figure BDA0003507058710000061
根据得到的窗口计算人体轮廓的HOG特征，记为/>
Figure BDA0003507058710000062
以及各个方向运动的人体部分的HOG特征，记为/>
Figure BDA0003507058710000063
将计算得到的人体轮廓的HOG特征/>
Figure BDA0003507058710000064
和人体部分的HOG特征/>
Figure BDA0003507058710000065
相加求取平均值获得人体的外观特征。
进一步，除了在视频数据中提取出目标对象的外观特征之外，还需要在视频数据中提取出目标对象的运动特征，具体运动特征提取子模块提取运动特征方式为：在采样帧中确定出光流矢量数据，对光流矢量数据中的光流的幅值进行加权，得到光流直方图，对光流直方图进行归一化处理，得到目标对象对应的运动特征。
具体来讲，首先计算采样帧光流场，得到光流约束方程：
Figure BDA0003507058710000071
上式中，f表示t时刻采样帧中位置为(x,y)处像素的照度，u和v可以视为该点处光流运动在x轴和y轴方向的分量。
利用Lucas-Kanade方法求解约束方程中的u和v，得到采样帧中的光流矢量数据。
计算光流矢量与x轴的夹角，根据角度将其投影到对应的直方图bin中，并根据该光流的幅值进行加权，构建光流方向直方图。
对直方图进行归一化得到相关的HOF特征作为视频序列的运动特征。
通过上述的方式可以准确的在视频数据中提取出目标对象的外观特征以及运动特征。
S2，根据目标对象的外观特征以及运动特征，得到外观特征与运动特征之间的黎曼流形距离特征；
首先，系统中流形特征计算子模块根据外观特征以及运动特征，构建目标对象对应的特征矩阵，对特征矩阵进行指定计算，得到距离矩阵，对特征距离矩阵进行降维处理，得到该黎曼流程距离特征。
具体来讲，流形特征计算子模块读取静态特征存储子模块中存储的人体行为HOG与HOF特征，然后根据序列化的HOG与HOF特征构建特征矩阵fmatrix；根据Dijkstra算法计算实际特征距离矩阵fdistance；利用ISOMAP算法将fdistance降维，得到实际特征的黎曼流形距离特征fmanifold；将黎曼流形距离特征与预测黎曼流形距离特征图附带标签信息保存至流形特征存储子模块。
S3，根据外观特征、运动特征以及黎曼流形距离特征，计算得到目标对象行为对应的加权系数；
在流形特征计算子模块计算得到黎曼流形距离特征之后，特征融合子模块将根据无监督的加权融合策略进行特征的融合，也就是根据外观特征、运动特征以及黎曼流程距离特征，得到目标对象行为对应的特征类内一致性参数以及特征类间可分性参数，根据特征类内一致性参数以及特征类间可分性参数，得到加权系数。
具体来讲，根据前述提取出的HOG、HOF以及黎曼流形距离特征，分别记为x1,x2,x3。为了对不同的特征分配权重，本发明拼接上述特征xi＝[x1,x2,x3]，并定义类内一致性：
Figure BDA0003507058710000081
这里
Figure BDA0003507058710000082
表示样本Fi的、且与Fi属于同一类的k个最近邻样本的索引集。
进一步，定义类间可分性：
Figure BDA0003507058710000083
这里
Figure BDA0003507058710000084
表示样本Fi的、且与Fi不同类的k个最近邻样本的索引集。
进一步，在一种优选的方式中，通过求解下列优化问题确定加权系数：
Figure BDA0003507058710000085
其中，λs是控制参数。
S4，根据加权系数，计算得到目标对象的行为对应的预设行为标签；
在本申请实施例中，根据加权系数对目标对象行为进行分类得分计算，得到目标对象行为对应的分类得分，然后根据分类得分，输出目标对象行为对应的预测行为标签。
具体来讲，系统中的行为判断子模块用于构建分类器并对目标对象行为分类得分计的计算并完成目标对象行为识别的任务。在本申请实施例中，可以采用SVM(SupportVectorMachine，支持向量机)或全连接层进行分类得分的计算。本申请中采用全连接层进行分类得分的计算，并采用交叉熵损失函数进行误差计算，其中，交叉熵损失函数定义如下：
Figure BDA0003507058710000086
其中，yi表示样本实际标签，pi表示输出得到的预测行为标签。
通过上述的方式就可以准确的输出目标对象行为对应的预设行为标签，通过该预测行为标签就可以对目标对象行为进行准确的判断。
S5，根据预测行为标签，判定目标对象行为是否为合规行为。
具体来讲，系统中行为上报模块用于接收行为判断子模块发送的预测行为标签，并分析其中的不合规行为，将其上报给监管终端，从而监管人员可以通过监管终端筛查出行为不合规的目标对象。
本发明采用基于流形学习的方法进行目标对象的行为识别，采用常规的HOG特征与HOF特征对视频数据的外观和运动进行表征，然后根据外观特征以及运动特征对目标对象的行为进行预测判断，与传统的人工方法相比，具有成本开销低、检测速度快、事件检测率高且漏检率低等优点。
进一步，在本申请实施例中，在完成目标对象的行为判定之后，系统中的数据清理模块将周期性的扫描信息存储模块所存储的视频、特征等数据，并清理过期的数据，从而实现了信息存储模块中数据的周期性清理，减少存储空间的无效占用，提升了存储空间的利用率。
基于同一发明构思，本申请实施例中还提供了一种行为识别系统，如图3所示，该系统包括：
特征提取模块301，用于获取由视频采集设备采集到的视频数据，并在所述视频数据中提取出目标对象行为的外观特征以及运动特征；
特征融合模块302，用于根据所述目标对象行为的所述外观特征以及所述运动特征，得到所述外观特征与所述运动特征之间黎曼流形距离特征；
行为判定模块303，用于根据所述外观特征、所述运动特征以及所述黎曼流形距离特征，计算得到所述目标对象行为对应的加权系数；根据所述加权系数，计算得到所述目标对象行为对应的预测行为标签；根据所述预测行为标签，判定所述目标对象行为是否为合规行为。
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备可以实现前述一种行为识别系统的功能，参考图4，所述电子设备包括：
至少一个处理器401，以及与至少一个处理器401连接的存储器402，本申请实施例中不限定处理器401与存储器402之间的具体连接介质，图4中是以处理器401和存储器402之间通过总线400连接为例。总线400在图4中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线400可以分为地址总线、数据总线、控制总线等，为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器401也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器402存储有可被至少一个处理器401执行的指令，至少一个处理器401通过执行存储器402存储的指令，可以执行前文论述的一种行为识别方法。处理器401可以实现图3所示的系统中各个模块的功能。
其中，处理器401是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器402内的指令以及调用存储在存储器402内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
在一种可能的设计中，处理器401可包括一个或多个处理单元，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。在一些实施例中，处理器401和存储器402可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器401可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的一种行为识别方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器402可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static RandomAccess Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器401进行设计编程，可以将前述实施例中介绍的一种行为识别方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的一种行为识别方法的步骤。如何对处理器401进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (6)

1.一种行为识别方法，其特征在于，所述方法包括：
获取由视频采集设备采集到的视频数据，并在所述视频数据中提取出目标对象的外观特征以及运动特征；
根据所述外观特征以及所述运动特征，构建所述目标对象对应的特征矩阵；利用Dijkstra算法对所述特征矩阵进行指定计算，得到特征距离矩阵；利用ISOMAP算法对所述特征距离矩阵进行降维处理，得到黎曼流形距离特征；
根据无监督的加权融合策略对所述外观特征、所述运动特征以及所述黎曼流形距离特征进行融合，得到所述目标对象行为对应的特征类内一致性参数；
根据无监督的加权融合策略对所述外观特征、所述运动特征以及所述黎曼流形距离特征进行融合，得到所述目标对象行为对应的特征类间可分性参数；
根据所述特征类内一致性参数以及特征类间可分性参数，得到加权系数；
根据所述加权系数对所述目标对象行为采用全连接层进行分类得分计算，并采用交叉熵损失函数进行误差计算，得到目标对象行为对应的分类得分；
根据所述分类得分，输出所述目标对象行为对应预测行为标签；
根据所述预测行为标签，判定所述目标对象行为是否为合规行为；
其中，所述交叉熵损失函数具体如下：
Figure FDA0004074541560000021
式中，yi表示样本实际标签，pi表示输出得到的预测行为标签；
在所述视频数据中提取出目标对象的外观特征时，包括：
在所述视频数据中提取出采样帧，并对所述采样帧进行前景分割，得到目标对象图像；
对所述目标对象图像进行模板化处理，获得模板化图像；
在所述模板化图像中分别确定出目标对象轮廓以及目标对象各个部位，得到根窗口以及部位窗口；
根据所述根窗口确定目标对象的轮廓特征，并根据所述部位窗口确定目标对象的部位特征；
根据所述轮廓特征和所述部位特征，确定所述目标对象的外观特征。
2.如权利要求1所述的方法，其特征在于，在所述视频数据中提取出目标对象的运动特征，包括：
在所述视频数据中提取出采样帧，确定所述采样帧的光流矢量数据；
对所述光流矢量数据中的光流的幅值进行加权，得到光流直方图；
对所述光流直方图进行归一化处理，得到所述目标对象对应的运动特征。
3.如权利要求1所述的方法，其特征在于，在判定所述目标对象行为是否为合规行为之后，所述方法还包括：
判定已存储的所述目标对象行为的特征数据是否超过预设存储时长；
若是，则删除已存储的所述特征数据；
若否，则继续保存所述特征数据。
4.一种行为识别系统，其特征在于，所述系统包括：
特征提取模块，用于获取由视频采集设备采集到的视频数据，并在所述视频数据中提取出目标对象行为的外观特征以及运动特征；
特征融合模块，用于根据所述外观特征以及所述运动特征，构建所述目标对象对应的特征矩阵；利用Dijkstra算法对所述特征矩阵进行指定计算，得到特征距离矩阵；利用ISOMAP算法对所述特征距离矩阵进行降维处理，得到黎曼流形距离特征；
行为判定模块，用于根据无监督的加权融合策略对所述外观特征、所述运动特征以及所述黎曼流形距离特征进行融合，得到所述目标对象行为对应的特征类内一致性参数；根据无监督的加权融合策略对所述外观特征、所述运动特征以及所述黎曼流形距离特征进行融合，得到所述目标对象行为对应的特征类间可分性参数；根据所述特征类内一致性参数以及特征类间可分性参数，得到加权系数；根据所述加权系数对所述目标对象行为采用全连接层进行分类得分计算，并采用交叉熵损失函数进行误差计算，得到目标对象行为对应的分类得分；根据所述分类得分，输出所述目标对象行为对应预测行为标签；根据所述预测行为标签，判定所述目标对象行为是否为合规行为；
其中，所述交叉熵损失函数具体如下：
Figure FDA0004074541560000041
式中，yi表示样本实际标签，pi表示输出得到的预测行为标签；
在所述视频数据中提取出目标对象的外观特征时，包括：
在所述视频数据中提取出采样帧，并对所述采样帧进行前景分割，得到目标对象图像；
对所述目标对象图像进行模板化处理，获得模板化图像；
在所述模板化图像中分别确定出目标对象轮廓以及目标对象各个部位，得到根窗口以及部位窗口；
根据所述根窗口确定目标对象的轮廓特征，并根据所述部位窗口确定目标对象的部位特征；
根据所述轮廓特征和所述部位特征，确定所述目标对象的外观特征。
5.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-3中任一项所述的方法步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一项所述的方法步骤。
CN202210142681.XA 2022-02-16 2022-02-16 一种行为识别方法、系统及电子设备 Active CN114550289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210142681.XA CN114550289B (zh) 2022-02-16 2022-02-16 一种行为识别方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210142681.XA CN114550289B (zh) 2022-02-16 2022-02-16 一种行为识别方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN114550289A CN114550289A (zh) 2022-05-27
CN114550289B true CN114550289B (zh) 2023-05-26

Family

ID=81675832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210142681.XA Active CN114550289B (zh) 2022-02-16 2022-02-16 一种行为识别方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN114550289B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184767A (zh) * 2015-07-22 2015-12-23 北京工业大学 一种运动人体姿态相似性度量方法
CN106780551A (zh) * 2016-11-18 2017-05-31 湖南拓视觉信息技术有限公司 一种三维运动目标检测方法和系统
CN111736556A (zh) * 2020-06-29 2020-10-02 浙江明度智控科技有限公司 一种应用于智能制造的仓储运维管理系统
CN112733734A (zh) * 2021-01-13 2021-04-30 中南大学 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102319155B (zh) * 2011-05-30 2013-07-03 重庆邮电大学 基于唇部检测与跟踪的智能轮椅控制方法
CN106778776B (zh) * 2016-11-30 2020-04-10 武汉大学深圳研究院 一种基于位置先验信息的时空域显著度检测方法
CN106845375A (zh) * 2017-01-06 2017-06-13 天津大学 一种基于层级化特征学习的动作识别方法
CN109948424A (zh) * 2019-01-22 2019-06-28 四川大学 一种基于加速度运动特征描述子的群体异常行为检测方法
CN111523522A (zh) * 2020-06-29 2020-08-11 浙江明度智控科技有限公司 一种设备智能运维管理方法及管理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184767A (zh) * 2015-07-22 2015-12-23 北京工业大学 一种运动人体姿态相似性度量方法
CN106780551A (zh) * 2016-11-18 2017-05-31 湖南拓视觉信息技术有限公司 一种三维运动目标检测方法和系统
CN111736556A (zh) * 2020-06-29 2020-10-02 浙江明度智控科技有限公司 一种应用于智能制造的仓储运维管理系统
CN112733734A (zh) * 2021-01-13 2021-04-30 中南大学 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法

Also Published As

Publication number Publication date
CN114550289A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN108038474B (zh) 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN108154105B (zh) 水下生物检测与识别方法、装置、服务器及终端设备
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109886928A (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN111695609A (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN112329881A (zh) 车牌识别模型训练方法、车牌识别方法及装置
CN111160169A (zh) 人脸检测方法、装置、设备及计算机可读存储介质
CN112052907A (zh) 基于图像边缘信息的目标检测方法、装置及存储介质
CN112541394A (zh) 黑眼圈及鼻炎识别方法、系统及计算机介质
CN112200218B (zh) 一种模型训练方法、装置及电子设备
Chen et al. Image segmentation based on mathematical morphological operator
CN110222652B (zh) 行人检测方法、装置及电子设备
JP2014016710A (ja) 対象物検出装置及びプログラム
CN114550289B (zh) 一种行为识别方法、系统及电子设备
CN116259021A (zh) 一种车道线检测方法、存储介质和电子设备
CN116363583A (zh) 一种用于顶视角的人体识别方法、装置、设备及介质
CN112101139B (zh) 人形检测方法、装置、设备及存储介质
CN111402185A (zh) 一种图像检测方法及装置
CN112308061B (zh) 一种车牌字符识别方法及装置
CN115346143A (zh) 行为检测方法、电子设备、计算机可读介质
CN112949571A (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
CN110659384A (zh) 视频结构化分析方法及装置
CN109063675A (zh) 车流密度计算方法、系统、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant