CN116563939A - 基于深度信息的实验人员不规范行为检测方法及检测装置 - Google Patents

基于深度信息的实验人员不规范行为检测方法及检测装置 Download PDF

Info

Publication number
CN116563939A
CN116563939A CN202310270105.8A CN202310270105A CN116563939A CN 116563939 A CN116563939 A CN 116563939A CN 202310270105 A CN202310270105 A CN 202310270105A CN 116563939 A CN116563939 A CN 116563939A
Authority
CN
China
Prior art keywords
action
information
unknown
nonstandard
experimenter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310270105.8A
Other languages
English (en)
Inventor
郑德欣
徐娟
李静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Xiding Intelligent Technology Co ltd
Original Assignee
Nantong Xiding Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Xiding Intelligent Technology Co ltd filed Critical Nantong Xiding Intelligent Technology Co ltd
Priority to CN202310270105.8A priority Critical patent/CN116563939A/zh
Publication of CN116563939A publication Critical patent/CN116563939A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于深度信息的实验人员不规范行为检测方法及检测装置，涉及实验室管理技术领域，所述方法包括：实时获取针对实验人员的深度图像；基于所述深度图像生成所述实验人员的骨架追踪信息；基于所述骨架追踪信息生成对应的人体关节信息；基于开集识别算法对所述人体关节信息进行识别，获得动作识别信息；基于所述动作识别信息生成对应的不规范行为检测结果。通过实时采集实验室内实验人员的深度图像信息，并基于开集识别算法对其不规范动作进行识别，从而提高了实验室工作的安全性。

Description

基于深度信息的实验人员不规范行为检测方法及检测装置
技术领域
本发明涉及实验室管理技术领域，具体地涉及一种基于深度信息的实验人员不规范行为检测方法及一种基于深度信息的实验人员不规范行为检测装置。
背景技术
在实验室中，实验人员需要进行大量的实验以验证科研理论，在实验过程中往往会涉及到一些比较危险的操作，因此实验室内往往对实验人员的行为有严格的规范和要求。
为了提高实验室内实验人员的操作安全性，现有技术主要通过在实验室内设置多个监控摄像头，并由专门的人员通过监控摄像头查看实验人员的操作是否安全规范，但在实际中，人为对多个监控摄像头进行观察容易出现疏忽，工作量极大，因此依然存在安全隐患。
为了解决该技术问题，可以采用机器识别的方式对实验人员的动作进行识别，现有的机器识别方法主要基于二维图像进行人体动作分析识别，然而在实际应用过程中，由于人体动作具有高度的灵活性，人体的姿态、运动、衣着具有显著的个体差异性，相机视角、相机的运动、光照条件的变化、遮挡、自遮挡等因素的影响，同时包含人－物的交互以及复杂的时－空结构等因素进行综合影响，使得传统的人体动作识别在识别效率、识别准确性等方面效果不佳，无法满足实际需求。
发明内容
为了克服现有技术中存在的上述技术问题，本发明实施例提供一种基于深度信息的实验人员不规范行为检测及检测装置，通过实时采集实验室内实验人员的深度图像信息，并基于开集识别算法对其不规范动作进行识别，从而提高了实验室工作的安全性。
为了实现上述目的，本发明实施例提供一种基于深度信息的实验人员不规范行为检测方法，所述方法包括：实时获取针对实验人员的深度图像；基于所述深度图像生成所述实验人员的骨架追踪信息；基于所述骨架追踪信息生成对应的人体关节信息；基于开集识别算法对所述人体关节信息进行识别，获得动作识别信息；基于所述动作识别信息生成对应的不规范行为检测结果。
优选地，所述基于所述深度图像生成所述实验人员的骨架追踪信息，包括：在所述深度图像中提取预设形状物体；基于边缘检测规则对所述预设形状物体进行分析，获得分析结果；基于所述分析结果在所述预设形状物体中确定人体；基于所述分析结果确定所述人体中的各个身体部位；基于每个身体部位确定所述实验人员的骨架追踪信息。
优选地，所述基于开集识别算法对所述人体关节信息进行识别，获得动作识别信息，包括：基于预设神经网络算法对所述人体关节信息进行处理，获得初步处理后信息；对所述初步处理后信息执行线性化处理，获得线性化结果；确定预设样本集中每个样本的不规范动作分类信息；基于所述不规范动作分类信息对所述线性化结果进行分析，获得针对所述实验人员的动作类别概率信息和动作分类得分信息；基于所述动作类别概率信息和所述动作分类得分信息生成对应的动作识别信息。
优选地，所述不规范行为检测结果包括不规范行为和未知行为，所述方法还包括：若所述不规范行为检测结果为未知行为，基于所述线性化结果确定每个未知动作的未知动作特征；基于层次聚类算法对所述未知动作特征进行处理，生成至少一个未知动作类；判断所述未知动作类对应的未知动作特征是否满足预设不规范动作条件；若是，基于所述未知动作类生成新的不规范动作类别。
优选地，所述基于所述未知动作类生成新的不规范动作类别，包括：判断当前未知动作类中的未知动作数量是否达到预设值；若是，从预设数据库获取与当前未知动作类相类似的至少一张类似动作图像；计算每张类似动作图像与当前未知动作类的余弦相似度；获取每张类似动作图像的实施场景和动作标签；基于所述余弦相似度、所述实时场景以及所述动作标签确定与当前未知动作类最匹配的最匹配图像；基于所述最匹配图像的动作标签确定所述未知动作类的不规范动作类别。
相应的，本发明还提供一种基于深度信息的实验人员不规范行为检测装置，所述装置包括：深度图像获取单元，用于实时获取针对实验人员的深度图像；骨架追踪单元，用于基于所述深度图像生成所述实验人员的骨架追踪信息；关节信息生成单元，用于基于所述骨架追踪信息生成对应的人体关节信息；动作识别单元，用于基于开集识别算法对所述人体关节信息进行识别，获得动作识别信息；行为检测单元，用于基于所述动作识别信息生成对应的不规范行为检测结果。
优选地，所述骨架追踪单元包括：提取模块，用于在所述深度图像中提取预设形状物体；形状分析模块，用于基于边缘检测规则对所述预设形状物体进行分析，获得分析结果；人体确定模块，用于基于所述分析结果在所述预设形状物体中确定人体；部位确定模块，用于基于所述分析结果确定所述人体中的各个身体部位；骨架追踪模块，用于基于每个身体部位确定所述实验人员的骨架追踪信息。
优选地，所述动作识别单元包括：初步处理模块，用于基于预设神经网络算法对所述人体关节信息进行处理，获得初步处理后信息；线性化处理模块，用于对所述初步处理后信息执行线性化处理，获得线性化结果；分类确定模块，用于确定预设样本集中每个样本的不规范动作分类信息；动作分析模块，用于基于所述不规范动作分类信息对所述线性化结果进行分析，获得针对所述实验人员的动作类别概率信息和动作分类得分信息；动作识别模块，用于基于所述动作类别概率信息和所述动作分类得分信息生成对应的动作识别信息。
优选地，所述不规范行为检测结果包括不规范行为和未知行为，所述装置还包括未知动作识别单元，所述未知动作识别单元用于：若所述不规范行为检测结果为未知行为，基于所述线性化结果确定每个未知动作的未知动作特征；基于层次聚类算法对所述未知动作特征进行处理，生成至少一个未知动作类；判断所述未知动作类对应的未知动作特征是否满足预设不规范动作条件；若是，基于所述未知动作类生成新的不规范动作类别。
优选地，所述基于所述未知动作类生成新的不规范动作类别，包括：判断当前未知动作类中的未知动作数量是否达到预设值；若是，从预设数据库获取与当前未知动作类相类似的至少一张类似动作图像；计算每张类似动作图像与当前未知动作类的余弦相似度；获取每张类似动作图像的实施场景和动作标签；基于所述余弦相似度、所述实时场景以及所述动作标签确定与当前未知动作类最匹配的最匹配图像；基于所述最匹配图像的动作标签确定所述未知动作类的不规范动作类别。
通过本发明提供的技术方案，本发明至少具有如下技术效果：
通过对传统的实验室监控方法进行改进，采用基于深度图像信息的监控方式，对实验人员的不规范动作进行更精确的检测，同时采用开集识别算法对其不规范动作进行更有效的区分和识别，实现了更精确的不规范实验行为检测效果。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明实施例提供的基于深度信息的实验人员不规范行为检测方法的具体实现流程图；
图2是本发明实施例提供的生成骨架追踪信息的具体实现流程图；
图3是本发明实施例提供的深度图像以及对应的骨架、关节示意图；
图4是本发明实施例提供的识别获得动作识别信息的具体实现流程图；
图5是本发明实施例提供的基于深度信息的实验人员不规范行为检测装置的结果示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上，鉴于此，本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。另外，需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
请参见图1，本发明实施例提供一种基于深度信息的实验人员不规范行为检测方法，其特征在于，所述方法包括：
S10)实时获取针对实验人员的深度图像；
S20)基于所述深度图像生成所述实验人员的骨架追踪信息；
S30)基于所述骨架追踪信息生成对应的人体关节信息；
S40)基于开集识别算法对所述人体关节信息进行识别，获得动作识别信息；
S50)基于所述动作识别信息生成对应的不规范行为检测结果。
在一种可能的实施方式中，为了解决现有技术中对二维的监控视频进行图像分析存在的一系列技术问题，通过采集实验室内的深度图像以获取实验人员的更全面、精确的监控信息，例如在本发明实施例中，采用Kinect深度相机对实验室环境进行实时监控，并获得针对实验人员的深度图像，该深度图像中包括实验人员的人体与Kinect深度相机之间的实时距离变化信息。
对该实时距离变化信息进行分析处理后，可以获得实验人员的人体骨架的三维信息，例如该三维信息包括但不限于目标大小尺寸、目标形状、边缘等静态特征，以及目标运动轨迹特征、方向特征和光流特征等动态特征，根据上述三维信息可以生成实验人员的骨架追踪信息。
请参见图2，在本发明实施例中，所述基于所述深度图像生成所述实验人员的骨架追踪信息，包括：
S21)在所述深度图像中提取预设形状物体；
S22)基于边缘检测规则对所述预设形状物体进行分析，获得分析结果；
S23)基于所述分析结果在所述预设形状物体中确定人体；
S24)基于所述分析结果确定所述人体中的各个身体部位；
S25)基于每个身体部位确定所述实验人员的骨架追踪信息。
在一种可能的实施方式中，可以将人体整体视为不同形状的“大”字，在对人体骨架进行追踪的过程中，首先在该深度图像中提取预设形状物体，例如在本发明实施例中，提取“大”字形的物体，然后通过边缘检测算法对所提取的所有“大”字形物体进行分析，具体的，可以采用边缘检测技术逐像素扫描以判断上述物体是否为人体，并提取实验人员的人体完整轮廓。然后对该人体完整轮廓中的不同人体部位进行识别，例如基于预先训练的CNN网络模型将该人体完整轮廓切分为与不同人体部位对应的多个目标形状，即获得了人体的各个身体部位，然后根据对每个人体部位的动态特征进行分析，从而生成实验人员的骨架追踪信息。
在此基础上，基于实验室内的常见运动姿态对上述骨架追踪信息进行分析，比如可以预先基于实验室内的常见运动姿态对神经网络模型进行训练，并通过该训练后的神经网络模型对骨架追踪信息进行分析以确定实验人员各个身体部位在活动过程中的轮廓信息，然后利用机器学习算法(例如KNN等)对该轮廓信息进行识别分析，以生成衔接相邻身体部位的人体关节信息，请参见图3，为本发明实施例提供的深度图像以及对应的骨架、关节示意图。
在本发明实施例中，通过对普适监控领域的传统监控方法进行改进，将对监控视频的二维图像进行识别分析替换为对包含三维信息的深度图像进行识别分析，以精确获取实验人员的人体关节信息，基于此，才能对实验人员的不同行为进行有效分辨和识别，为后续不规范行为的精确检测做了良好铺垫，有效提高了对不规范行为的识别精确性。
此时进一步对实验人员的不规范行为进行检测。在现有技术中，往往通过预先基于已知的样本集训练检测模型，然后通过该检测模型对实验人员的实际动作进行检测，然而在实际应用过程中，实验人员的实际动作各种各样，必然存在样本集中所不存在的动作，而传统的检测模型(例如闭集识别系统)会将上述新的动作识别为某个已知的集合类之一，由此会导致较大的误判率，鲁棒性较低。
为了解决上述技术问题，请参见图4，在本发明实施例中，所述基于开集识别算法对所述人体关节信息进行识别，获得动作识别信息，包括：
S41)基于预设神经网络算法对所述人体关节信息进行处理，获得初步处理后信息；
S42)对所述初步处理后信息执行线性化处理，获得线性化结果；
S43)确定预设样本集中每个样本的不规范动作分类信息；
S44)基于所述不规范动作分类信息对所述线性化结果进行分析，获得针对所述实验人员的动作类别概率信息和动作分类得分信息；
S45)基于所述动作类别概率信息和所述动作分类得分信息生成对应的动作识别信息。
在一种可能的实施方式中，首先基于预设神经网络算法对人体关节信息进行处理，比如可以基于预先训练的深度神经网络对人体关节信息进行初步处理，例如该人体关节信息在被输入深度神经网络模型后，依次经过卷积层、密集卷积块、卷积层、平均池化层等进行处理后，获得初步处理后信息，然后对该初步处理后信息执行线性化处理，以获得对应的线性化结果，在本发明实施例中，该线性化结果包括人体关节信息的均值点和累计分布概率等特征信息，例如在将预先设定的由不同不规范动作构成的训练集输入该开集识别算法后，训练集中每个训练样本经过线性化后输出对应的均值点和累计概率分布F＝{f1,f2...fk}，其中k表示已知的k类不规范动作，即获得每个样本的不规范动作分类信息。
在将实时采集的深度图像进行分析得到的人体关节信息输入该开集识别算法并进行线性化处理后，计算其与每个不规范动作类别均值点的距离，记为D＝{d1,d2...dk}，然后计算当前人体关节信息所对应动作的分类得分为S＝{s1,s2...s3}，基于上述分析，可以计算出当前实验人员的动作属于未知动作类别的概率为p＝s1*(1-f1(d1))+s2*(1-f2(d2))+...+sk*(1-fk(dk))，基于该未知动作类别的概率对上述分类得分进行修正，得到其修正后的分类得分S＝{s1*f1(d1),s2*f2(d2)...sk*fk(dk)}，此时基于上述修正后的得分S以及上述概率p进行动作类别分析，例如将S和p输入开集识别算法中的softmax模块进行分析，以确定实验人员的当前动作属于已知的哪一类不规范动作或是未知的不规范动作。
在本发明实施例中，通过对传统的识别方法进行改进，基于开集识别算法对深度图像中的实验人员动作进行分析，从而能够有效提高对实验人员动作中未知类样本的识别精确性，大大降低了不规范动作的识别误差，有效提高了整个检测模型的开放程度和兼容性，满足了实际需求。
在应用上述实施例的过程中，虽然能够将实验人员的未知动作进行有效划分和区别，但为了保证实验室的安全性，进一步提高实验室监控的精确性，技术人员依然希望能够对未知动作也进行查看或分析，以保证实验室的足够安全性，但在实际应用过程中，往往通过专门的技术人员通过人工的方式对上述未知动作进行分析或筛选，当监控数据量增大时，将为技术人员增加大量的工作量，因此对技术人员造成了额外的工作压力和困扰。
为了解决上述技术问题，在本发明实施例中，所述不规范行为检测结果包括不规范行为和未知行为，所述方法还包括：若所述不规范行为检测结果为未知行为，基于所述线性化结果确定每个未知动作的未知动作特征；基于层次聚类算法对所述未知动作特征进行处理，生成至少一个未知动作类；判断所述未知动作类对应的未知动作特征是否满足预设不规范动作条件；若是，基于所述未知动作类生成新的不规范动作类别。
在一种可能的实施方式中，若通过不规范行为检测结果检测到未知行为后，首先基于上述线性化结果获取每个未知动作的未知动作特征，然后基于层次聚类算法对未知动作特征进行处理，以生成至少一个未知动作类。
在本发明实施例中，通过采用层次聚类算法对未知动作进行聚类分析，能够实现对未知动作的开放式聚类，而不会受到传统聚类算法的聚类数量的限制，有效提高了不规范动作的分析全面性和精确性。另一方面，通过将未知动作进行聚类处理，技术人员不需要对每个未知动作进行分别查看，而可以仅对聚类处理后的每个未知类所对应的未知动作进行抽检，即可快速确定该类动作是否为不规范动作，从而大大减少了技术人员的工作量，提高了用户体验。
然而，在上述对未知动作进行分类整理的基础上，技术人员依然希望检测模型能够具有自我学习能力，能够自动学习以实现对不断出现的新动作的规范性识别，而不再需要技术人员的人工参与，同时保证足够的准确性，以最大化减少技术人员的工作量，提高检测效率，降低检测成本。
为了解决上述技术问题，在确定每个未知动作的未知动作类后，判断该未知动作类所对应的未知动作特征是否满足预设不规范动作条件，例如技术人员可以根据经验，将常见的危险动作所对应的特征整理为对应的预设不规范动作条件(其中可以包括多条子条件，例如移动速度大于一定值、实验器皿放置位置超过一定高度、打开特定设备的幅度大于一定值等)，并基于该条件对未知动作进行不规范性判断，例如在当前未知动作满足上述预设不规范动作条件中的至少一条子条件时，确定该未知动作满足预设不规范动作条件，此时根据该未知动作生成新的不规范动作类别。
在本发明实施例中，所述基于所述未知动作类生成新的不规范动作类别，包括：判断当前未知动作类中的未知动作数量是否达到预设值；若是，从预设数据库获取与当前未知动作类相类似的至少一张类似动作图像；计算每张类似动作图像与当前未知动作类的余弦相似度；获取每张类似动作图像的实施场景和动作标签；基于所述余弦相似度、所述实时场景以及所述动作标签确定与当前未知动作类最匹配的最匹配图像；基于所述最匹配图像的动作标签确定所述未知动作类的不规范动作类别。
在一种可能的实施方式中，为了提高对不规范动作检测响应的精确性，避免频繁响应，在生成新的不规范动作类别时，设定某未知动作的发生数量达到一定值才将其生成为新的不规范动作类别，否则视为偶发性不规范动作，而不进行干预或响应。具体的，首先判断当前未知动作类中的未知动作数量是否达到预设值，并在达到该预设值的情况下从预设数据库中获取与当前未知动作类相类似的至少一张类似动作图像，例如该预设数据库可以包括但不限于公开网络数据库、历史实验视频存储数据库以及类似实验视频存储数据库等，然后计算每张类似动作图像与当前未知动作类的余弦相似度，以实现针对三维空间中动作的精确匹配，此时进一步获取每张类似动作图像的实施场景和动作标签，然后基于上述余弦相似度、实施场景以及动作标签确定与当前未知动作类最匹配的最匹配图像。
例如可以分别为余弦相似度和实施场景配置不同的权重，计算每张类似动作图像与当前未知动作类的匹配值，计算过程中，实施场景根据其与实验室场景的接近程度确定其值的大小，取值范围为[0,1]，当取值为1时，实施场景就是实验室场景，此时将匹配值最高的类似动作图像作为最匹配图像，将该最匹配图像的动作标签确定为该未知动作类别的不规范动作类别。当然，在实施过程中，在确定该不规范动作类别后，可以由技术人员进行进一步的审核确认，技术人员可以基于该不规范动作类别进行修改或调整，以提高其准确性，在此不做过多赘述。
在本发明实施例中，通过将公开数据、历史数据等数据引入对未知动作类的判断识别中，允许检测模型自动根据上述数据库中的数据进行自动学习，从而实现对未知的不规范动作类别的自动识别，同时保证了一定的准确性和适用性，大大减少了技术人员的工作量，满足了实际需求。同时，基于预先相似度的匹配方法也满足了在三维空间中的类似动作精确匹配，相比于传统的二维相似度匹配，更加符合针对实验室内不规范动作的识别需求，进一步提高了不规范动作的识别精确性。
下面结合附图对本发明实施例所提供的基于深度信息的实验人员不规范行为检测装置进行说明。
请参见图5，基于同一发明构思，本发明实施例提供一种基于深度信息的实验人员不规范行为检测装置，所述装置包括：深度图像获取单元，用于实时获取针对实验人员的深度图像；骨架追踪单元，用于基于所述深度图像生成所述实验人员的骨架追踪信息；关节信息生成单元，用于基于所述骨架追踪信息生成对应的人体关节信息；动作识别单元，用于基于开集识别算法对所述人体关节信息进行识别，获得动作识别信息；行为检测单元，用于基于所述动作识别信息生成对应的不规范行为检测结果。
在本发明实施例中，所述骨架追踪单元包括：提取模块，用于在所述深度图像中提取预设形状物体；形状分析模块，用于基于边缘检测规则对所述预设形状物体进行分析，获得分析结果；人体确定模块，用于基于所述分析结果在所述预设形状物体中确定人体；部位确定模块，用于基于所述分析结果确定所述人体中的各个身体部位；骨架追踪模块，用于基于每个身体部位确定所述实验人员的骨架追踪信息。
在本发明实施例中，所述动作识别单元包括：初步处理模块，用于基于预设神经网络算法对所述人体关节信息进行处理，获得初步处理后信息；线性化处理模块，用于对所述初步处理后信息执行线性化处理，获得线性化结果；分类确定模块，用于确定预设样本集中每个样本的不规范动作分类信息；动作分析模块，用于基于所述不规范动作分类信息对所述线性化结果进行分析，获得针对所述实验人员的动作类别概率信息和动作分类得分信息；动作识别模块，用于基于所述动作类别概率信息和所述动作分类得分信息生成对应的动作识别信息。
在本发明实施例中，所述不规范行为检测结果包括不规范行为和未知行为，所述装置还包括未知动作识别单元，所述未知动作识别单元用于：若所述不规范行为检测结果为未知行为，基于所述线性化结果确定每个未知动作的未知动作特征；基于层次聚类算法对所述未知动作特征进行处理，生成至少一个未知动作类；判断所述未知动作类对应的未知动作特征是否满足预设不规范动作条件；若是，基于所述未知动作类生成新的不规范动作类别。
在本发明实施例中，所述基于所述未知动作类生成新的不规范动作类别，包括：判断当前未知动作类中的未知动作数量是否达到预设值；若是，从预设数据库获取与当前未知动作类相类似的至少一张类似动作图像；计算每张类似动作图像与当前未知动作类的余弦相似度；获取每张类似动作图像的实施场景和动作标签；基于所述余弦相似度、所述实时场景以及所述动作标签确定与当前未知动作类最匹配的最匹配图像；基于所述最匹配图像的动作标签确定所述未知动作类的不规范动作类别。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (10)

1.一种基于深度信息的实验人员不规范行为检测方法，其特征在于，所述方法包括：
实时获取针对实验人员的深度图像；
基于所述深度图像生成所述实验人员的骨架追踪信息；
基于所述骨架追踪信息生成对应的人体关节信息；
基于开集识别算法对所述人体关节信息进行识别，获得动作识别信息；
基于所述动作识别信息生成对应的不规范行为检测结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述深度图像生成所述实验人员的骨架追踪信息，包括：
在所述深度图像中提取预设形状物体；
基于边缘检测规则对所述预设形状物体进行分析，获得分析结果；
基于所述分析结果在所述预设形状物体中确定人体；
基于所述分析结果确定所述人体中的各个身体部位；
基于每个身体部位确定所述实验人员的骨架追踪信息。
3.根据权利要求1所述的方法，其特征在于，所述基于开集识别算法对所述人体关节信息进行识别，获得动作识别信息，包括：
基于预设神经网络算法对所述人体关节信息进行处理，获得初步处理后信息；
对所述初步处理后信息执行线性化处理，获得线性化结果；
确定预设样本集中每个样本的不规范动作分类信息；
基于所述不规范动作分类信息对所述线性化结果进行分析，获得针对所述实验人员的动作类别概率信息和动作分类得分信息；
基于所述动作类别概率信息和所述动作分类得分信息生成对应的动作识别信息。
4.根据权利要求3所述的方法，其特征在于，所述不规范行为检测结果包括不规范行为和未知行为，所述方法还包括：
若所述不规范行为检测结果为未知行为，基于所述线性化结果确定每个未知动作的未知动作特征；
基于层次聚类算法对所述未知动作特征进行处理，生成至少一个未知动作类；
判断所述未知动作类对应的未知动作特征是否满足预设不规范动作条件；
若是，基于所述未知动作类生成新的不规范动作类别。
5.根据权利要求4所述的方法，其特征在于，所述基于所述未知动作类生成新的不规范动作类别，包括：
判断当前未知动作类中的未知动作数量是否达到预设值；
若是，从预设数据库获取与当前未知动作类相类似的至少一张类似动作图像；
计算每张类似动作图像与当前未知动作类的余弦相似度；
获取每张类似动作图像的实施场景和动作标签；
基于所述余弦相似度、所述实时场景以及所述动作标签确定与当前未知动作类最匹配的最匹配图像；
基于所述最匹配图像的动作标签确定所述未知动作类的不规范动作类别。
6.一种基于深度信息的实验人员不规范行为检测装置，其特征在于，所述方法装置：
深度图像获取单元，用于实时获取针对实验人员的深度图像；
骨架追踪单元，用于基于所述深度图像生成所述实验人员的骨架追踪信息；
关节信息生成单元，用于基于所述骨架追踪信息生成对应的人体关节信息；
动作识别单元，用于基于开集识别算法对所述人体关节信息进行识别，获得动作识别信息；
行为检测单元，用于基于所述动作识别信息生成对应的不规范行为检测结果。
7.根据权利要求6所述的装置，其特征在于，所述骨架追踪单元包括：
提取模块，用于在所述深度图像中提取预设形状物体；
形状分析模块，用于基于边缘检测规则对所述预设形状物体进行分析，获得分析结果；
人体确定模块，用于基于所述分析结果在所述预设形状物体中确定人体；
部位确定模块，用于基于所述分析结果确定所述人体中的各个身体部位；
骨架追踪模块，用于基于每个身体部位确定所述实验人员的骨架追踪信息。
8.根据权利要求6所述的装置，其特征在于，所述动作识别单元包括：
初步处理模块，用于基于预设神经网络算法对所述人体关节信息进行处理，获得初步处理后信息；
线性化处理模块，用于对所述初步处理后信息执行线性化处理，获得线性化结果；
分类确定模块，用于确定预设样本集中每个样本的不规范动作分类信息；
动作分析模块，用于基于所述不规范动作分类信息对所述线性化结果进行分析，获得针对所述实验人员的动作类别概率信息和动作分类得分信息；
动作识别模块，用于基于所述动作类别概率信息和所述动作分类得分信息生成对应的动作识别信息。
9.根据权利要求8所述的装置，其特征在于，所述不规范行为检测结果包括不规范行为和未知行为，所述装置还包括未知动作识别单元，所述未知动作识别单元用于：
若所述不规范行为检测结果为未知行为，基于所述线性化结果确定每个未知动作的未知动作特征；
基于层次聚类算法对所述未知动作特征进行处理，生成至少一个未知动作类；
判断所述未知动作类对应的未知动作特征是否满足预设不规范动作条件；
若是，基于所述未知动作类生成新的不规范动作类别。
10.根据权利要求9所述的装置，其特征在于，所述基于所述未知动作类生成新的不规范动作类别，包括：
判断当前未知动作类中的未知动作数量是否达到预设值；
若是，从预设数据库获取与当前未知动作类相类似的至少一张类似动作图像；
计算每张类似动作图像与当前未知动作类的余弦相似度；
获取每张类似动作图像的实施场景和动作标签；
基于所述余弦相似度、所述实时场景以及所述动作标签确定与当前未知动作类最匹配的最匹配图像；
基于所述最匹配图像的动作标签确定所述未知动作类的不规范动作类别。
CN202310270105.8A 2023-03-20 2023-03-20 基于深度信息的实验人员不规范行为检测方法及检测装置 Pending CN116563939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310270105.8A CN116563939A (zh) 2023-03-20 2023-03-20 基于深度信息的实验人员不规范行为检测方法及检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310270105.8A CN116563939A (zh) 2023-03-20 2023-03-20 基于深度信息的实验人员不规范行为检测方法及检测装置

Publications (1)

Publication Number Publication Date
CN116563939A true CN116563939A (zh) 2023-08-08

Family

ID=87486858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310270105.8A Pending CN116563939A (zh) 2023-03-20 2023-03-20 基于深度信息的实验人员不规范行为检测方法及检测装置

Country Status (1)

Country Link
CN (1) CN116563939A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846365A (zh) * 2018-06-24 2018-11-20 深圳市中悦科技有限公司 视频中打架行为的检测方法、装置、存储介质及处理器
CN112184898A (zh) * 2020-10-21 2021-01-05 安徽动感智能科技有限公司 一种基于动作识别的数字人体建模方法
US20210350117A1 (en) * 2020-05-06 2021-11-11 Motorola Solutions, Inc. Anomalous pose detection method and system
CN114495278A (zh) * 2022-01-27 2022-05-13 苏州大学 一种面向未知类别的动作预测方法
CN114612823A (zh) * 2022-03-06 2022-06-10 北京工业大学 一种面向实验室安全管理的人员行为监测方法
CN218555079U (zh) * 2022-08-25 2023-03-03 南通锡鼎智能科技有限公司 宽体水槽柜

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846365A (zh) * 2018-06-24 2018-11-20 深圳市中悦科技有限公司 视频中打架行为的检测方法、装置、存储介质及处理器
US20210350117A1 (en) * 2020-05-06 2021-11-11 Motorola Solutions, Inc. Anomalous pose detection method and system
CN112184898A (zh) * 2020-10-21 2021-01-05 安徽动感智能科技有限公司 一种基于动作识别的数字人体建模方法
CN114495278A (zh) * 2022-01-27 2022-05-13 苏州大学 一种面向未知类别的动作预测方法
CN114612823A (zh) * 2022-03-06 2022-06-10 北京工业大学 一种面向实验室安全管理的人员行为监测方法
CN218555079U (zh) * 2022-08-25 2023-03-03 南通锡鼎智能科技有限公司 宽体水槽柜

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王国田;戴筠一;许少钧;蒋涛;: "基于XGBoost算法的实验室安全风险预测模型研究", 实验技术与管理, no. 12, pages 1 *

Similar Documents

Publication Publication Date Title
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别系统
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
CN110751022A (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN112036384B (zh) 精子头部形态识别方法、装置及设备
CN113269142A (zh) 一种检察领域值班人员睡觉行为识别方法
CN114549993B (zh) 实验中线段图像的评分方法、系统、设备及可读存储介质
CN106529470A (zh) 一种基于多级深度卷积神经网络的手势识别方法
CN115393789A (zh) 建筑工地危险区域人群聚集预警方法、系统、设备及存储介质
CN111639562A (zh) 一种手掌感兴趣区域的智能定位方法
CN107704818A (zh) 一种基于视频图像的火灾检测系统
CN105631410B (zh) 一种基于智能视频处理技术的课堂检测方法
CN113378831B (zh) 一种小鼠胚胎器官识别与评分方法与系统
Muzakir et al. Model for Identification and Prediction of Leaf Patterns: Preliminary Study for Improvement
CN105404682A (zh) 一种基于数字图像内容的图书检索方法
CN117114420A (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法
EP3176726A1 (en) Method and device for positioning human eyes
KR102316799B1 (ko) 객체 및 상황 인지 방법 및 시스템
CN115359412B (zh) 一种盐酸中和实验评分方法、装置、设备及可读存储介质
CN116563939A (zh) 基于深度信息的实验人员不规范行为检测方法及检测装置
CN109064578B (zh) 一种基于云服务的考勤系统及方法
CN116630809A (zh) 基于智能图像分析的地质雷达数据自动识别方法及系统
CN115116119A (zh) 一种基于数字图像处理技术的人脸识别系统
CN115272967A (zh) 一种跨摄像机行人实时跟踪识别方法、装置及介质
CN113936294A (zh) 建筑工地人员识别方法、可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination