CN111726586A - 一种生产体系操作规范监测提醒系统 - Google Patents

一种生产体系操作规范监测提醒系统 Download PDF

Info

Publication number
CN111726586A
CN111726586A CN202010609882.7A CN202010609882A CN111726586A CN 111726586 A CN111726586 A CN 111726586A CN 202010609882 A CN202010609882 A CN 202010609882A CN 111726586 A CN111726586 A CN 111726586A
Authority
CN
China
Prior art keywords
personnel
module
reminding
monitoring
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010609882.7A
Other languages
English (en)
Inventor
王海彬
王兆阳
朱明睿
肖文勇
尤克凡
赵伟
徐盈瀛
卢勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Biologics Shanghai Co Ltd
Original Assignee
Wuxi Biologics Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Biologics Shanghai Co Ltd filed Critical Wuxi Biologics Shanghai Co Ltd
Priority to CN202010609882.7A priority Critical patent/CN111726586A/zh
Publication of CN111726586A publication Critical patent/CN111726586A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及视频图像处理领域，更具体的说，涉及一种生产体系操作规范监测提醒系统。本发明提出的生产体系操作规范监测提醒系统，包括视频输入模块，输入监测视频图像；识别模块，识别图像中的人员及其手部动作，获得人员及其手部的连续跟踪数据；业务逻辑处理模块，根据人员及其手部的连续跟踪数据，进行人员行为的业务场景逻辑计算，统计判断人员是否符合生产体系操作规范；数据存储模块，将统计判断结果与监测视频图像进行关联存储；前端显示提醒模块，对人员行为的统计判断结果进行显示，对人员违规行为进行报警提醒。本发明可以进行自动化监测提醒，完善了操作流程规范，避免了潜在风险的发生，为生产车间的操作规范提供直观的反馈。

Description

一种生产体系操作规范监测提醒系统
技术领域
本发明涉及视频图像处理领域，更具体的说，涉及一种生产体系操作规范监测提醒系统。
背景技术
为保证产品的生产质量，药品研发实验室、药品检测实验室和药品生产车间内的工作人员需要遵照固定的行为规范对设备和器材进行操作，并限制可能会对最终产品质量造成影响的行为举动等。
在实际生产中，缺乏对违规行为的实时监管，因此可能会导致操作时发生违规行为。这些违规行为会破坏药物生产环境，不良的环境控制会对病人安全、产品质量和企业收入带来巨大的负面影响。
环境污染的主要来源是人员，控制人员是控制环境的重中之重。因此，希望借助监控设备对人员的行为进行实时分析，并对相关操作进行及时提醒以完善质量监督体系。
现有技术均基于如城市化管理这样的日常场景，无法满足药品研发、生产、检验环境下人员操作规范的场景需求。
对生产车间和实验室人员来说，通过及时的声音或界面提示，可以及时的纠正可能潜在的违规行为。
现有技术无法准确识别违规行为和提醒的时间节点，也无法为生产人员在工作中提供及时的操作反馈，提醒正确的内容以指导工作人员之后的弥补违规行为的操作。
发明内容
本发明的目的是提供一种生产体系操作规范监测提醒系统，解决现有技术无法对人员的生产体系操作规范进行人工智能监测和提醒的问题。
为了实现上述目的，本发明提供了一种生产体系操作规范监测提醒系统，包括视频输入模块、识别模块、业务逻辑处理模块、数据存储模块和前端显示提醒模块：
所述视频输入模块，与识别模块连接，输入监测视频图像；
所述识别模块，与业务逻辑处理模块连接，基于检测识别模型识别图像中的人员及其手部动作，基于多帧图像的时序关联模型获得人员及其手部的连续跟踪数据；
所述业务逻辑处理模块，与数据存储模块、前端显示提醒模块连接，根据人员及其手部的连续跟踪数据，进行人员行为的业务场景逻辑计算，统计判断人员是否符合生产体系操作规范，并将统计判断结果发送到数据存储模块与前端显示提醒模块；
所述数据存储模块，与前端显示提醒模块连接，采用抽象存储层将统计判断结果与监测视频图像进行关联存储；
所述前端显示提醒模块，对人员行为的统计判断结果进行显示，对人员违规行为进行报警提醒。
在一实施例中，所述视频输入模块，还包括视频流数据预处理模块，所述视频流数据预处理模块设置数据队列及其最大有效存储长度，将视频按图像帧进行切分，按照数据获取的先后循序置入队列进行保存。
在一实施例中，所述识别模块的检测识别模型，利用数据集进行人员识别和人员手部动作识别的预训练。
在一实施例中，所述识别模块的检测识别模型包括预训练模型和单点多框预测算法模型：
所述预训练模型，利用第一数据集进行人员识别训练；
所述单点多框预测算法模型与预训练模型融合，利用第二数据集进行人员手部动作识别训练；
其中，预训练模型为视觉几何组算法底层模型，第一数据集为图片网络数据集，第二数据集为微软可可数据集和可视化对象类数据集。
在一实施例中，所述单点多框预测算法模型，基于第16视觉几何组算法模型采用以下步骤得到最终检测结果：
将第6和第7全连接层转化为卷积层；
去掉所有的随机失活层和第8全连接层；
增加空洞卷积；
将第5池化层降低特征维度和参数量；
抽取固定卷积层的特征图像，分别在固定特征层上面的每一个点构造数个不同尺度大小的先验框；
分别进行检测和分类；
将不同特征层获得的候选框结合起来，经过非极大值抑制算法抑制部分候选框，生成最终的检测结果。
在一实施例中，所述单点多框预测算法模型的训练方式为，将真实目标框与先验框按照如下方式进行配对：
寻找与每一个真实目标框有最大的重合率的先验框；
将剩余还没有配对的先验框与任意一个真实目标框尝试配对，只要两者之间的重合率大于阈值，就认为匹配成功；
配对到的先验框就是正样本，没有配对的先验框就是负样本；
依据每个框的重合率得分排序先验框，挑选其中得分高的先验框进行训练，控制正样本与负样本的比例；
对输入图像进行数据增广，随机采样一个图像区域，保证与真实目标框之间最小的重合率，随机对图像进行反转和色彩变换。
在一实施例中，所述多帧图像的时序关联模型，使用连续帧上的人员及其手部外接矩形框，使用线性最小匹配原则按照时间顺序依次将时间上相关关联的矩形框进行连接，最终获取人员及其手部在时间上的连续移动轨迹。
在一实施例中，所述线性最小匹配原则，在有限的两两组合关联关系中，已知每种关联关系对应一个唯一的损失值，为使得全局的损失最小需要找到一种最优的相互连接方式，其中两两组合关联关系为相邻时间段的人员检测结果的外接矩形框之间的关联关系，损失值为两个矩形框之间的重合率。
在一实施例中，所述识别模块，采用框架系统实现检测识别模型的前向计算。
在一实施例中，所述识别模块，采用pb模式将检测识别模型导出。
在一实施例中，所述业务场景逻辑处理模块，根据识别模块检测获得的人员及其手部的连续跟踪数据，结合生产体系操作规范对应的业务场景，判断人员是否有违规行为，将统计判断结果与监测视频图像相对应，发送到前端显示提醒模块进行显示提醒，并同时发送至数据存储模块进行关联存储。
在一实施例中，所述业务场景逻辑处理模块，通过实时检测监控画面中人员，实现人员计数检测，检测结果和摄像头身份识别号关联并存储。
在一实施例中，所述业务场景逻辑处理模块，对邻近时间段的人员计数检测结果进行汇总，在预设时间内人数超过阈值时，判断当前房间为超员状态，发送报警提醒信息到前端显示提醒模块进行报警提醒。
在一实施例中，所述业务场景逻辑处理模块，通过实时检测监控画面中人员的移动速度，实现人员超速检测，对当前房间内的所有人员的移动速度进行排序，选取速度最大值作为当前时刻的视频画面速度并存储。
在一实施例中，所述业务场景逻辑处理模块，对邻近时间段的视频画面速度进行汇总，在超过预设时间阈值内的时间内，视频画面速度大于预设值时，判断当前房间内发生人员超速，发送报警提醒信息到前端显示提醒模块进行报警提醒。
在一实施例中，所述业务场景逻辑处理模块，通过实时检测监控画面中人员手部动作，配合人员的持续操作状态，实现日志行为检测：
所述业务场景逻辑处理模块，检测到人员在实验仪器持续停留预设时间，则判断人员处于持续操作状态；
所述业务场景逻辑处理模块，检测到人员在持续操作状态下，人员手部发生日记记录行为，则判断人员发生合规的日志行为。
在一实施例中，所述数据存储模块，包括数据库和文件系统，数据库用于存储对监测视频图像进行识别计算的数据数值，文件系统用于进行切图存储，数据库与文件系统进行关联存储。
在一实施例中，所述前端显示提醒模块，通过网页界面的形式进行结果展现。
在一实施例中，所述前端显示提醒模块，还包括人员行为视频捕捉模块、人员违反规范提示模块、人员违反规范数据统计模块和人员规范标准作业程序提示模块：
所述人员行为视频捕捉模块，对监测视频图像中的人员进行捕捉并显示；
所述人员违反规范提示模块，对监测视频图像中的人员违规行为进行音频提醒，并通过可视界面显示并标注违规类型；
所述人员违反规范数据统计模块，统计设定时间段内人员违规次数和类型；
所述人员规范标准作业程序提示模块，对人员违规行为提示规范标准作业程序。
本发明提供的一种生产体系操作规范监测提醒系统，通过监控摄像头的视频流截取图像信息，将图像信息通过人工智能深度学习识别模型分析，识别出人员违反生产体系操作规范的药品研发、生产以及检测行为，进行语音或者网页界面提醒，使得该人员可以第一时间停止违规行为并采取措施以降低影响，借助自动化的生产体系操作规范监测提醒，可以完善操作流程规范，同时避免了潜在风险的发生，并且连续时段的统计评估可以直观的反馈不同区域、不同时段的操作统计，为生产车间人员操作体系的完善和人员培训结果提供直观的反馈。
附图说明
本发明上述的以及其他的特征、性质和优势将通过下面结合附图和实施例的描述而变的更加明显，在附图中相同的附图标记始终表示相同的特征，其中：
图1揭示了根据本发明一实施例的生产体系操作规范监测提醒系统原理框图；
图2揭示了根据本发明一实施例的预训练模型融合流程示意图；
图3揭示了根据本发明一实施例的数据存储模块示意图。
图中各附图标记的含义如下：
100 视频输入模块；
200 识别模块；
300 业务逻辑处理模块；
400 数据存储模块；
401 数据库；
402 文件系统；
500 前端显示提醒模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释发明，并不用于限定发明。
本发明提出的生产体系操作规范监测提醒系统，专门为符合药物生产、研发和检测洁净区条件的生产体系而开发，适用于GMP(GOOD MANUFACTURING PRACTICES，药品生产质量管理规范)体系，集视频采集、视图识别、数据存储、模型训练、平台应用等于一体，可通过实时语音或显示器页面提示实验人员所作的错误操作种类和正规的行为操作规范。
图1揭示了根据本发明一实施例的生产体系操作规范监测提醒系统原理框图，在图1所示的实施例中，本发明提出的一种生产体系操作规范监测提醒系统，包括视频输入模块100、识别模块200、业务逻辑处理模块300、数据存储模块400和前端显示提醒模块500：
所述视频输入模块100，与识别模块200连接，输入监测视频图像；
所述识别模块200，与业务逻辑处理模块300连接，基于检测识别模型识别图像中的人员及其手部动作，基于多帧图像的时序关联模型获得人员及其手部的连续跟踪数据；
所述业务逻辑处理模块300，与数据存储模块400、前端显示提醒模块500连接，根据人员及其手部的连续跟踪数据，进行人员行为的业务场景逻辑计算，统计判断人员是否符合生产体系操作规范，并将统计判断结果发送到数据存储模块400与前端显示提醒模块500；
所述数据存储模块400，与前端显示提醒模块500连接，采用抽象存储层将统计判断结果与监测视频图像进行关联存储；
所述前端显示提醒模块500，对人员行为的统计判断结果进行显示，对人员违规行为进行报警提醒。
本发明的生产体系操作规范监测提醒系统，整体的功能实现流程如下所示：
视频输入模块100输入单帧视频图像；
识别模块200通过深度学习神经网络提取有效的目标特征，将目标特征区域即图像画面中有人的地方，以及其手部位置坐标计算出来；
因为视频流是连续的，通过前后帧中人员坐标框的重叠度，将多帧之间的坐标框关联到一起；
近似估计该人员及其手部在多帧画面中的移动轨迹以及瞬时移动速度；
业务逻辑处理模块300根据检测结果进行业务逻辑处理；
业务逻辑处理模块300返回统计判断结果给前端显示提醒模块500以及存储至数据存储模块400中，供日志查询。
下面分别对每个模块进行详细的说明。
视频输入模块100，输入不同房间的监测视频图像。
为满足行为监控需求，借助在房间内布设的摄像头，从不同角度拍摄不同的功能区域，针对不同的区域提供行为分析功能。
更进一步的，视频输入模块100还包括视频流数据预处理模块。
视频流数据预处理模块，设置数据队列及其最大有效存储长度，将视频按图像帧进行切分，按照数据获取的先后循序置入队列进行保存。
不同房间的监控视频均会输入视频输入模块100，因此视频输入模块100在进行处理时，会有多路视频流同时接入，通常情况下视频流的数量要远大于可用计算资源的数量。
为保证视频内容能够快速及时的处理，在提高识别模型的处理速度及并发量的同时，本发明的视频输入模块100还包括视频流数据预处理模块，以合理的方式将计算资源分配给不同的视频流，以保证各个视频流在某一时段的识别结果能够准确对应。
视频流数据预处理模块设置了数据队列，将视频按图像帧进行切分，按数据获取的先后循序置入队列中进行保存。
同时视频流数据预处理模块，设置队列的最大有效存储长度。
视频流数据预处理模块防止由于计算资源不足导致时导致待处理数据堆积问题造成的内存空间不足。
视频流数据预处理模块最大程度上保证了各路监控视频的识别结果的同步性，实现同一时刻多个摄像头的关联关系，同时也保证了计算资源的充分利用。
识别模块200，借助GPU资源快速完成视频图像的识别与分析，提取图像有效特征信息，基于检测识别模型识别图像中的人员及其手部动作，基于多帧图像的时序关联模型获得人员及其手部的连续跟踪数据，实现目标检测功能。
为保证监控视频的画面能够快速的处理识别，识别模块200的检测识别模型，采用了预训练模型和SSD(Single Shot MultiBox Detector，单点多框预测)算法模型，利用数据集进行人员识别和人员手部动作识别的预训练。
图2揭示了根据本发明一实施例的预训练模型融合流程示意图，如图2所示，预训练模型为VGG(Visual Geometry Group，视觉几何组)底层网络模型，采用ImageNet(图片网络)数据集结合图片进行初步人员识别训练，使底层网络模型具有初步的特征提取能力。
在图2所示的实施例中，第一数据集为ImageNet数据集。
如图2所示，在预训练模型具有初步的特征提取能力的基础上，SSD算法模型和预训练模型融合，利用COCO(Microsoft Common Objects in Context，微软可可)数据集和VOC(The PASCAL Visual Object Classes，可视化对象类)数据集增加的人手的检测标注数据，完成人员手部动作识别训练，从而实现人体和人手的训练，形成人体和手部的识别模型，使其可以于开放场景下完成高精度的人体及手部的目标检测。
在图2所示的实施例中，第二数据集为COCO数据集和VOC数据集。
其中，SSD算法是在2016年欧洲计算机视觉会议(ECCV 2016)上提出的一种目标检测算法，是目前主要的检测算法之一。VGG算法模型，是牛津大学计算机视觉组和GoogleDeepMind公司的研究员一起研发的深度卷积神经网络。ImageNet数据集是一个用于视觉对象识别软件研究的大型可视化数据库，超过1400万的图像URL地址在ImageNet数据集中被注释，以指示图片中的对象。ImageNet数据集中至少一百万个图像还提供了边界框。COCO数据集起源于微软于2014年出资标注的Microsoft COCO数据集。VOC数据集是一个世界级的计算机视觉挑战赛用的数据集，很多模型都基于此数据集推出。
本发明使用对应人体和人手的不同场景的预训练模型，可以保障在特征场景迁移时的精度需求，同时也会弥补由于定制场景数据不足时可能导致的精度下滑问题，本发明选用的两次预训练数据分别保障了底层的特征抽象与区分能力，以及检测识别模型对人和手的基本区分能力，为后续场景的业务逻辑处理提供了底层特征质量的保障。
对于输入一副图片(300x300)，将其输入到预训练好的SSD算法模型中来获得不同大小的特征映射，生成最终的真实目标框集合，即检测结果。
本发明中的SSD算法模型，基于传统的VGG16算法模型，并对VGG16算法模型进行以下步骤改进，得到最终检测结果。
S101、将VGG16的FC6和FC7层转化为卷积层。FC，全称fully connected layer，为全连接层。
S102、去掉所有的Dropout(随机失活)层和FC8层。为了防止过拟合，提升模型泛化能，去掉Dropout层，在全连接层之后随机丢弃部分节点输出。
S103、增加Atrous(Dilated/Atrous Convolution，为空洞卷积或者膨胀卷积)卷积层，在标准的卷积特征里注入空洞，以此来增加感受野
S104、将Pool5从2x2-S2变换到3x3-S1。所述Pool为池化层，又叫下采样层，用于降低特征维度和参数量。
S105、抽取固定卷积层如Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2的特征图像，分别在这些特征层上面的每一个点构造6个不同尺度大小的anchor box(先验框)。
S106、分别进行检测和分类。
S107、将不同特征层获得的候选框结合起来，经过NMS(Non-MaximumSuppression，非极大值抑制)算法来抑制掉一部分重叠或者不正确的候选框，生成最终的真实目标框集合，即检测结果。
其中，anchor box(先验框)出自RCNN系列目标检测算法，本质上是一组假设存在的边框。NMS算法是对重叠框进行消重的一种算法。
本发明中的SSD算法模型的训练方式为，将groundtruth box(真实目标框)与anchor box(先验框)按照如下方式进行配对：
S201、寻找与每一个真实目标框有最大的IoU(Intersection-over-Union，重合率)的anchor box，保证每一个groundtruth box与唯一的一个anchor box对应。
S202、将剩余还没有配对的anchor box与任意一个groundtruth box尝试配对，只要两者之间的IoU大于阈值，就认为匹配成功。
S203、配对到的anchor box就是正样本，没有配对的anchor box就是负样本。
S204、依据每个框的重合率得分排序anchor box，挑选其中得分高的先验框进行训练，控制正样本与负样本的比例，在本实施例中正样本与负样本的比例为1:3。
S205、对输入图像进行数据增广，随机采样一个图像区域，保证与groundtruthbox之间最小的IoU为：0.1，0.3，0.5，0.7或0.9，随机对图像进行反转和色彩变换，保证网络能够充分学习目标特征。
其中，groundtruth box为真实的标注，其包含整幅画面的所有目标区域。所述重合率IoU，为目标检测中使用的一个概念，是产生的候选框与原标记框的交叠率，即它们的交集与并集的比值，最理想情况是完全重叠，即IoU为1。
由于在工厂环境下摄像头布设未知通常位于房顶，墙角等未知，并且员工统一装作，并常配有口罩防尘帽等遮挡物，因此无法通过人脸识别和重识别等方式完成对单一人员的连续跟踪任务。
在该场景下很难完成指定人员的长时间跟踪定位，并且已知在该场景下：
1)摄像头可以覆盖到室内大部分的区域。
2)人员不会有快速的移动速度，即不会超过模型的识别间隔中所能关联的长度。
3)某视角下人员之间不会产生大面积的相互遮挡情况。
为了解决以上场景下的单一人员跟踪问题，本发明中识别模块200利用时序关联模型，采用短期跟踪的方式，将连续的多帧视频图像的移动速度跳动等行为结果进行时序上的关联，对单一人员进行连续跟踪，以达到监控视频下的违规行为分析。
因此，本发明除同一时刻多个摄像头的关联关系外，需要对同一个摄像头下的连续时刻进行关联关系提取。
本发明的多帧图像的时序关联模型，使用连续帧上的人员及其手部外接矩形框，使用线性最小匹配原则按照时间顺序依次将时间上相关关联的矩形框进行连接，最终获取人员及其手部在时间上的连续移动轨迹。
线性最小匹配原则，在有限的两两组合关联关系中，已知每种关联关系对应一个唯一的损失值，为使得全局的损失最小需要找到一种最优的相互连接方式。
所述两两组合关联关系为相邻时间段的人员检测结果的外接矩形框之间的关联关系。
所述损失值为两个矩形框之间的重合率IoU。
所述重合率IoU为两个矩形框相交的面积与其总覆盖面积的比，即交集与并集的比值，具体的计算方式如下：
已知两个矩形框分别为bnda和bndb，其包含bnda的左上角坐标[ax0，ay0]及右下角坐标[ax1，ay1]，bndb的左上角坐标[bx0，by0]及右下角坐标[bx1，by1]
bnd a＝[ax0,ay0,ax1,ay1]，bnd b＝[bx0,by0,bx1,by1]；
计算相交矩形面积的长和宽，interu和interh：
interu＝min(ax1,bx1)-max(ax0,bx0)；interh＝min(ay1,by1)-max(ay0,by0)；
从而
IOU＝interu*interh/(areaa+areab-interu*interh)
其中，interu为相交面积的横坐标方向长度；interh为相交面积的纵坐标方向宽度；areaa为矩形框bnda的面积；areab为矩形框bndb的面积。
通过求其相交的面积与其总覆盖面积的比，可以最终获得两个矩形框之间的分配关系，即重合率。
由于重合率的评定方式最终结果为0～1之间，重合率为0时表示两个矩形框不重合，在本场景下两次检测结果之间没有任何关联关系，反之越趋近1则表示两个矩形框有重合部分，两次检测结果在本场景下具有高度的关联关系，可以认定为同一个人员在本场景下连续移动轨迹。
通过根据IoU作损失值求解链接方式可以获取最优的前后帧之间的关联关系以作为人员短期跟踪的结果。
更进一步的，为了适配多视频流的计算，本发明的识别模块200，采用TensorFlow(框架)系统实现检测识别模型的前向计算，保障多个摄像头视频流的图像快速且同步的识别处理，确保数据帧之间的时间间隔满足动作关联的需求。
所述TensorFlow是一个基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现，其前身是谷歌的神经网络算法库DistBelief。
模型训练时，同时需要前向计算和反向传播，而在应用阶段，仅需要前向计算，而且前向计算框架很多，例如onnxruntime，caffe等框架。
更进一步的，本发明的识别模块200，采用pb模式将检测识别模型导出，将模型的调用与模型的功能独立，使得模型更新及基础逻辑判断可以直接使用替换模型文件的方式进行。所述pb模式是一种表示MetaGraph(元图)的protocol buffer格式的文件，MetaGraph包括计算图、数据流以及相关的变量和输入输出。
所述业务逻辑处理模块300，与数据存储模块模块400、前端显示提醒模块500连接，根据人员及其手部的连续跟踪数据，进行人员行为的业务场景逻辑计算，统计判断人员是否符合生产体系操作规范，并将统计判断结果发送到数据存储模块模块400，同时发送到前端显示提醒模块500进行及时报警提醒，以降低网络延迟。
本发明的生产体系操作规范监测提醒系统可以应用于生物医药研发实验室、药品检测实验室和药品生产车间。
本发明中的业务场景涵盖药品生产体系内的大多数人员操作行为，如表1所列出9个识别的业务场景，即本发明的生产体系操作规范监测提醒系统所要识别的人员违规场景。
表1业务场景
Figure BDA0002560624990000131
针对上述业务场景，业务场景逻辑处理模块均可以通过检测识别获得的人员及其手部动作的连续跟踪数据，判断人员在对应场景中是否违规。
本实施例中，业务场景逻辑处理模块300，根据识别模块200检测获得的人员及其手部的连续跟踪数据，结合生产体系操作规范对应的业务场景，判断人员是否有违规行为，将统计判断结果与监测视频图像相对应，发送到前端显示提醒模块500进行显示提醒，并同时发送至数据存储模块400进行关联存储。
下面以人员计数、人员超速和日志行为为例，说明中业务场景逻辑处理模块300在不同业务场景中的逻辑计算。
首先，说明业务场景为人员计数的逻辑计算。
业务场景逻辑处理模块300，根据识别模块200检测识别的人员及其手部的连续跟踪数据，通过实时检测监控画面中人员，来实现人员计数功能。
人员计数的检测结果和不同房间的唯一摄像头的ID(身份识别)号进行关联，并将结果存储在数据存储模块400中，供前端显示提醒模块500进行检索和统计。
在人员计数报警方面，业务场景逻辑处理模块300，通过对邻近时间段的人员计数检测结果进行汇总，当房间中连续一段预设时间段内，人数持续大于一定阈值时，判断当前房间为超员状态，发送报警提醒信息到前端显示提醒模块500进行报警提醒。
房间的超员状态将一直持续到人数减少到阈值以下，恢复正常状态。
可选的，提醒次数设置为1次。
其次，说明业务场景为人员超速的逻辑计算。
业务场景逻辑处理模块300，根据识别模块200检测识别的人员及其手部的连续跟踪数据，通过实时检测监控画面中人员的移动速度，实现人员超速检测。
识别模块200的时序关联模型，通过对连续画面中的行人行动轨迹，对实验人员在室内的移动速度进行估计。
对于连续帧画面，根据线性最小匹配原则，通过IoU矩阵对全局目标进行线性分配，对多个时刻的人体最小外接矩形进行轨迹关联。关联后将得到每个行人的移动轨迹，通过对室内环境坐标参数的测量和估计，可以大致还原出世界坐标系下行人的移动速度，该速度为判断是否有人超速的依据。
业务场景逻辑处理模块300，通过实时对画面中行人的移动速度检测，根据实际业务需要，对监控画面当前房间内的所有行人的移动速度进行排序，选取速度最大值，作为当前时刻视频画面速度，并且存储在数据库中，供前端显示提醒模块500进行检索和统计。
在人员超速报警方面，由于在狭小的室内场景下，跑动是一个时间持续及其短暂的一个行为，业务场景逻辑处理模块300，对邻近时间段的视频画面速度进行汇总，设定一个跑动状态持续时间的阈值，当在这个持续时间内发生的短暂跑动行为，认为是误检(虚警)不进行报警，只有当跑动行为的时间大于这个预设时间阈值，认为是真实跑动行为，同时判断当前房间内发生人员超速，发送报警提醒信息到前端显示提醒模块500进行报警提醒。此时，跑动行为是指视频画面速度大于预设值。
最后，说明业务场景为日志行为的逻辑计算。
业务场景逻辑处理模块300，根据识别模块200检测识别的人员及其手部的连续跟踪数据，通过实时检测监控画面中人员手部动作，配合人员的持续操作状态，来确定是否存发生日志行为。
根据人员及其手部的连续跟踪数据得到的跑动场景下的行人移动速度，业务场景逻辑处理模块300，对室内行人状态进行大致估计，当一个实验人员在实验仪器附近持续停留一段预设时间，则认为其处于持续操作状态。
当人员手中持有签字笔和在特定的笔记本上进行记录时，认为其完成了一个日志记录的操作。
更进一步的，业务场景逻辑处理模块300，根据室内人员的行为状态，通过状态机的设计模式，不断对当前房间的全局人员行为状态进行更新。
当业务场景逻辑处理模块300检测到人员处于持续操作状态下，同时检测到人员手部发生日志记录行为，则判断人员的该次操作属于合规操作，是合规的日志行为，此时对状态进行清零。
当在持续操作状态时间内，没有发生日志行为，而是直接进入下一次的操作状态，则认为上一次的操作不符合规定，对上一次操作进行记录，然后进入新的状态监测，不断重复这个过程从而实现日志行为的检测。
图3揭示了根据本发明一实施例的数据存储模块示意图，如图3所示，数据存储模块400，包括数据库401和文件系统402，数据库401用于存储对监测视频图像进行识别计算的数据数值，文件系统402用于进行切图存储，数据库与文件系统进行关联存储，检测结果的对应图像及数据数值进行关联。切图存储是指将当前时刻违规的人员在视频图像中的对应区域进行截图并裁剪后保存在文件系统402的服务器中。
更进一步的，数据库401所存储的数据数值包括摄像头的相关配置信息，如摄像头编号、视频源、视频类型等相关信息，也包括检测识别计算过程中的数据。
更进一步的，数据存储模块400，采用了抽象存储层，使得数据库401和文件系统402可以动态的迁移及扩展，避免了系统长时间运行时的资源管理问题。
本实施例中的前端显示提醒模块500，选用网页界面的方式进行结果展现，减小部署操作难度，同时也便于后续升级及替换操作。
更进一步的，前端显示提醒模块500还包括人员行为视频捕捉模块、人员违反规范提示模块、人员违反规范数据统计模块和人员规范标准作业程序提示模块。
人员行为视频捕捉模块，利用摄像头拍摄的监测视频图像，实现人员行为视频捕捉，传输人员在实验室内的行为视频并显示。
人员违反规范提示模块，当检测到人员出现任一违规操作行为时，利用音频介质进行音频提示，根据具体场景确定并在可视界面上标注出违规类型，选择性记录当时的视频截图，并通过可视界面进行显示，实现人员违规提示功能。可选的，音频介质为扬声器或平板电脑。可选的，可视界面为显示器。
人员违反规范数据统计模块，统计某个设定时间段内人员违规操作次数及违规类型，实现人员违规操作数据统计功能。
人员规范SOP(Standard Operating Procedure，标准作业程序)提示模块，当检测到人员出现任一违规操作行为时，提示标准作业程序，实现人员违规操作类型与SOP提示对接功能。可选的，提示形式可以是通过网页形式或语音形式
本发明提供的一种生产体系操作规范监测提醒系统，通过监控摄像头的视频流截取图像信息，将图像信息通过人工智能深度学习识别模型分析，识别出人员违反生产体系操作规范的药品研发、生产以及检测行为，进行语音或者网页界面提醒，使得该人员可以第一时间停止违规行为并采取措施以降低影响，借助自动化的生产体系操作规范监测提醒，可以完善操作流程规范，同时避免了潜在风险的发生，并且连续时段的统计评估可以直观的反馈不同区域、不同时段的操作统计，为生产车间人员操作体系的完善和人员培训结果提供直观的反馈。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
上述实施例是提供给熟悉本领域内的人员来实现或使用本发明的，熟悉本领域的人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (16)

1.一种生产体系操作规范监测提醒系统，其特征在于，包括视频输入模块、识别模块、业务逻辑处理模块、数据存储模块和前端显示提醒模块：
所述视频输入模块，与识别模块连接，输入监测视频图像；
所述识别模块，与业务逻辑处理模块连接，基于检测识别模型识别图像中的人员及其手部动作，基于多帧图像的时序关联模型获得人员及其手部的连续跟踪数据；
所述业务逻辑处理模块，与数据存储模块、前端显示提醒模块连接，根据人员及其手部的连续跟踪数据，进行人员行为的业务场景逻辑计算，统计判断人员是否符合生产体系操作规范，并将统计判断结果发送到数据存储模块与前端显示提醒模块；
所述数据存储模块，与前端显示提醒模块连接，将统计判断结果与监测视频图像进行关联存储；
所述前端显示提醒模块，对人员行为的统计判断结果进行显示，对人员违规行为进行报警提醒。
2.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述视频输入模块，还包括视频流数据预处理模块，所述视频流数据预处理模块设置数据队列及其最大有效存储长度，将视频按图像帧进行切分，按照数据获取的先后循序置入队列进行保存。
3.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述识别模块的检测识别模型，利用数据集进行人员识别和人员手部动作识别的预训练。
4.根据权利要求3所述的生产体系操作规范监测提醒系统，其特征在于，所述识别模块的检测识别模型包括预训练模型和单点多框预测算法模型：
所述预训练模型，利用第一数据集进行人员识别训练；
所述单点多框预测算法模型与预训练模型融合，利用第二数据集进行人员手部动作识别训练；
其中，预训练模型为视觉几何组算法底层模型，第一数据集为图片网络数据集，第二数据集为微软可可数据集和可视化对象类数据集。
5.根据权利要求4所述的生产体系操作规范监测提醒系统，其特征在于，所述单点多框预测算法模型的训练方式为，将真实目标框与先验框按照如下方式进行配对：
寻找与每一个真实目标框有最大重合率的先验框；
将剩余还没有配对的先验框与任意一个真实目标框配对，如果两者之间的重合率大于阈值，则认为匹配成功；
配对到的先验框就是正样本，没有配对的先验框就是负样本；
依据每个框的重合率得分排序先验框，挑选其中得分高的先验框进行训练，控制正样本与负样本的比例；
对输入图像进行数据增广，随机采样一个图像区域，保证与真实目标框之间最小的重合率，随机对图像进行反转和色彩变换。
6.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述多帧图像的时序关联模型，使用连续帧上的人员及其手部外接矩形框，使用线性最小匹配原则按照时间顺序依次将时间上相关关联的矩形框进行连接，最终获取人员及其手部在时间上的连续移动轨迹。
7.根据权利要求6所述的生产体系操作规范监测提醒系统，其特征在于，所述线性最小匹配原则，在有限的两两组合关联关系中，每种关联关系对应一个唯一的损失值，找到一种最优的相互连接方式使得全局的损失最小，其中两两组合关联关系为相邻时间段的人员检测结果的外接矩形框之间的关联关系，损失值为两个矩形框之间的重合率。
8.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述识别模块，采用框架系统实现检测识别模型的前向计算。
9.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述识别模块，采用pb模式将检测识别模型导出。
10.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述业务场景逻辑处理模块，根据识别模块检测获得的人员及其手部的连续跟踪数据，结合生产体系操作规范对应的业务场景，判断人员是否有违规行为，将统计判断结果与监测视频图像相对应，发送到前端显示提醒模块进行显示提醒，并同时发送至数据存储模块进行关联存储。
11.根据权利要求10所述的生产体系操作规范监测提醒系统，其特征在于，所述业务场景逻辑处理模块，通过实时检测监控画面中人员，实现人员计数检测：
对邻近时间段的人员计数检测结果进行汇总，检测结果和摄像头身份识别号关联并存储；
在预设时间内人数超过阈值时，判断当前房间为超员状态，发送报警提醒信息到前端显示提醒模块进行报警提醒。
12.根据权利要求10所述的生产体系操作规范监测提醒系统，其特征在于，所述业务场景逻辑处理模块，通过实时检测监控画面中人员的移动速度，实现人员超速检测：
对当前房间内的所有人员的移动速度进行排序，选取速度最大值作为当前时刻的视频画面速度并存储；
对邻近时间段的视频画面速度进行汇总，在超过预设时间阈值内的时间内，视频画面速度大于预设值时，判断当前房间内发生人员超速，发送报警提醒信息到前端显示提醒模块进行报警提醒。
13.根据权利要求10所述的生产体系操作规范监测提醒系统，其特征在于，所述业务场景逻辑处理模块，通过实时检测监控画面中人员手部动作，配合人员的持续操作状态，实现日志行为检测：
所述业务场景逻辑处理模块，检测到人员在实验仪器持续停留预设时间，则判断人员处于持续操作状态；
所述业务场景逻辑处理模块，检测到人员在持续操作状态下，人员手部发生日志记录行为，则判断人员发生合规的日志行为。
14.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述数据存储模块，包括数据库和文件系统，数据库用于存储对监测视频图像进行识别计算的数据数值，文件系统用于进行切图存储，数据库与文件系统进行关联存储。
15.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述前端显示提醒模块，通过网页界面的形式进行结果展现。
16.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述前端显示提醒模块，还包括人员行为视频捕捉模块、人员违反规范提示模块、人员违反规范数据统计模块和人员规范标准作业程序提示模块：
所述人员行为视频捕捉模块，对监测视频图像中的人员进行捕捉并显示；
所述人员违反规范提示模块，对监测视频图像中的人员违规行为进行音频提醒，并通过可视界面显示并标注违规类型；
所述人员违反规范数据统计模块，统计设定时间段内人员违规次数和类型；
所述人员规范标准作业程序提示模块，对人员违规行为提示规范标准作业程序。
CN202010609882.7A 2020-06-29 2020-06-29 一种生产体系操作规范监测提醒系统 Pending CN111726586A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010609882.7A CN111726586A (zh) 2020-06-29 2020-06-29 一种生产体系操作规范监测提醒系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010609882.7A CN111726586A (zh) 2020-06-29 2020-06-29 一种生产体系操作规范监测提醒系统

Publications (1)

Publication Number Publication Date
CN111726586A true CN111726586A (zh) 2020-09-29

Family

ID=72571821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010609882.7A Pending CN111726586A (zh) 2020-06-29 2020-06-29 一种生产体系操作规范监测提醒系统

Country Status (1)

Country Link
CN (1) CN111726586A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112216073A (zh) * 2020-10-12 2021-01-12 浙江大华技术股份有限公司 一种梯子违规操作告警方法及装置
CN112232836A (zh) * 2020-10-19 2021-01-15 杭州立高检验检测技术研究院有限公司 一种乳制品数据监测方法、系统、装置和存储介质
CN112241154A (zh) * 2020-10-15 2021-01-19 杭州澳亚生物技术有限公司 一种gmp车间智能化监控管理系统
CN112766050A (zh) * 2020-12-29 2021-05-07 富泰华工业（深圳）有限公司 着装及作业检查方法、计算机装置及存储介质
CN112926433A (zh) * 2021-02-22 2021-06-08 杭州蓝灯科技有限公司 基于头戴显示设备的生物制药安全监控方法与系统
CN112966564A (zh) * 2021-02-05 2021-06-15 北京金和网络股份有限公司 基于摄像头识别的任务发布方法及装置
CN113052050A (zh) * 2021-03-18 2021-06-29 浩群信息科技(海南)有限公司 一种基于ai视频引擎技术的医疗废物监管方法及系统
CN113065524A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 智能工作台管理系统、智能工作台、方法、设备及介质
CN113147176A (zh) * 2021-04-06 2021-07-23 东莞先知大数据有限公司 丝印环节操作规范检测方法
CN113254423A (zh) * 2021-06-09 2021-08-13 中航机载系统共性技术有限公司 一种体系文件的生成方法、装置、设备及介质
CN113341825A (zh) * 2021-06-17 2021-09-03 浙江凌镜智能有限公司 设备运维智能监测方法及系统
CN114001889A (zh) * 2021-10-25 2022-02-01 广汽本田汽车有限公司 汽车零部件振动试验的监控方法、系统、装置及介质
CN114140726A (zh) * 2021-12-03 2022-03-04 湖北微模式科技发展有限公司 目标正反面展示动作连续性的检测方法
CN114386859A (zh) * 2022-01-14 2022-04-22 刘昱晨 一种基于5g的智慧社区应用服务系统
CN114415593A (zh) * 2022-01-24 2022-04-29 孙军 一种基于互联网的数控机床远程操作系统
CN115100839A (zh) * 2022-07-27 2022-09-23 苏州琅日晴传媒科技有限公司 一种监控视频测量数据分析安全预警系统
CN115171222A (zh) * 2022-09-06 2022-10-11 平安银行股份有限公司 一种行为检测方法、装置、计算机设备及存储介质
CN115223102A (zh) * 2022-09-08 2022-10-21 枫树谷(成都)科技有限责任公司 一种基于摄像头集群的实时人群密度融合感知方法及模型
CN116503957A (zh) * 2023-06-26 2023-07-28 成都千嘉科技股份有限公司 一种燃气入户作业行为识别方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112216073A (zh) * 2020-10-12 2021-01-12 浙江大华技术股份有限公司 一种梯子违规操作告警方法及装置
CN112241154A (zh) * 2020-10-15 2021-01-19 杭州澳亚生物技术有限公司 一种gmp车间智能化监控管理系统
CN112232836A (zh) * 2020-10-19 2021-01-15 杭州立高检验检测技术研究院有限公司 一种乳制品数据监测方法、系统、装置和存储介质
CN112766050A (zh) * 2020-12-29 2021-05-07 富泰华工业（深圳）有限公司 着装及作业检查方法、计算机装置及存储介质
CN112766050B (zh) * 2020-12-29 2024-04-16 富泰华工业（深圳）有限公司 着装及作业检查方法、计算机装置及存储介质
CN112966564A (zh) * 2021-02-05 2021-06-15 北京金和网络股份有限公司 基于摄像头识别的任务发布方法及装置
CN112926433A (zh) * 2021-02-22 2021-06-08 杭州蓝灯科技有限公司 基于头戴显示设备的生物制药安全监控方法与系统
CN112926433B (zh) * 2021-02-22 2021-10-19 杭州蓝灯科技有限公司 基于头戴显示设备的生物制药安全监控方法与系统
CN113052050A (zh) * 2021-03-18 2021-06-29 浩群信息科技(海南)有限公司 一种基于ai视频引擎技术的医疗废物监管方法及系统
CN113147176B (zh) * 2021-04-06 2021-11-02 东莞先知大数据有限公司 丝印环节操作规范检测方法
CN113147176A (zh) * 2021-04-06 2021-07-23 东莞先知大数据有限公司 丝印环节操作规范检测方法
CN113065524A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 智能工作台管理系统、智能工作台、方法、设备及介质
CN113254423B (zh) * 2021-06-09 2022-02-11 中航机载系统共性技术有限公司 一种体系文件的生成方法、装置、设备及介质
CN113254423A (zh) * 2021-06-09 2021-08-13 中航机载系统共性技术有限公司 一种体系文件的生成方法、装置、设备及介质
CN113341825A (zh) * 2021-06-17 2021-09-03 浙江凌镜智能有限公司 设备运维智能监测方法及系统
CN114001889A (zh) * 2021-10-25 2022-02-01 广汽本田汽车有限公司 汽车零部件振动试验的监控方法、系统、装置及介质
CN114140726A (zh) * 2021-12-03 2022-03-04 湖北微模式科技发展有限公司 目标正反面展示动作连续性的检测方法
CN114140726B (zh) * 2021-12-03 2022-06-21 湖北微模式科技发展有限公司 目标正反面展示动作连续性的检测方法
CN114386859A (zh) * 2022-01-14 2022-04-22 刘昱晨 一种基于5g的智慧社区应用服务系统
CN114415593A (zh) * 2022-01-24 2022-04-29 孙军 一种基于互联网的数控机床远程操作系统
CN115100839A (zh) * 2022-07-27 2022-09-23 苏州琅日晴传媒科技有限公司 一种监控视频测量数据分析安全预警系统
CN115100839B (zh) * 2022-07-27 2022-11-01 苏州琅日晴传媒科技有限公司 一种监控视频测量数据分析安全预警系统
CN115171222B (zh) * 2022-09-06 2022-12-27 平安银行股份有限公司 一种行为检测方法、装置、计算机设备及存储介质
CN115171222A (zh) * 2022-09-06 2022-10-11 平安银行股份有限公司 一种行为检测方法、装置、计算机设备及存储介质
CN115223102A (zh) * 2022-09-08 2022-10-21 枫树谷(成都)科技有限责任公司 一种基于摄像头集群的实时人群密度融合感知方法及模型
CN115223102B (zh) * 2022-09-08 2022-12-16 枫树谷(成都)科技有限责任公司 一种基于摄像头集群的实时人群密度融合感知方法及模型
CN116503957A (zh) * 2023-06-26 2023-07-28 成都千嘉科技股份有限公司 一种燃气入户作业行为识别方法
CN116503957B (zh) * 2023-06-26 2023-09-15 成都千嘉科技股份有限公司 一种燃气入户作业行为识别方法

Similar Documents

Publication Publication Date Title
CN111726586A (zh) 一种生产体系操作规范监测提醒系统
Ding et al. A deep hybrid learning model to detect unsafe behavior: Integrating convolution neural networks and long short-term memory
WO2020215552A1 (zh) 多目标跟踪方法、装置、计算机设备及存储介质
Bashir et al. Performance evaluation of object detection and tracking systems
CN109165685B (zh) 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统
CN110543867A (zh) 一种多摄像头条件下的人群密度估测系统及方法
CN111507283A (zh) 基于课堂场景的学生行为识别方法及系统
CN112163469B (zh) 一种吸烟行为识别方法、系统、设备及可读存储介质
Li et al. Sign language recognition based on computer vision
CN108986137B (zh) 人体跟踪方法、装置及设备
CN110688980B (zh) 基于计算机视觉的人体姿态分类方法
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法
CN114870384A (zh) 一种基于动态识别的太极拳训练方法及系统
Madrid et al. Recognition of dynamic Filipino Sign language using MediaPipe and long short-term memory
Rodriguez et al. Deep learning applied to capacity control in commercial establishments in times of COVID-19
CN116264004A (zh) 基于工人重新识别和个人防护装备分类对现场安全合规性进行的基于视觉的监测
CN115273150A (zh) 基于人体姿态估计的安全帽佩戴的新型识别方法及系统
CN107256375A (zh) 一种电脑前人体坐姿监测方法
CN111931748B (zh) 一种适用于蓄电池生产车间的工人疲劳度检测方法
CN113516082A (zh) 安全帽的检测方法、装置、计算机设备及存储介质
CN117876922A (zh) 一种基于视频识别电力现场作业风险的方法及装置
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
EP4273816A1 (en) Reducing false positive identifications during video conferencing tracking and detection
CN117218703A (zh) 智能学情分析方法及系统
CN111626197A (zh) 一种人体行为识别网络模型及识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination