CN111753658A - 一种睡岗告警方法、装置和计算机设备 - Google Patents

一种睡岗告警方法、装置和计算机设备 Download PDF

Info

Publication number
CN111753658A
CN111753658A CN202010429331.2A CN202010429331A CN111753658A CN 111753658 A CN111753658 A CN 111753658A CN 202010429331 A CN202010429331 A CN 202010429331A CN 111753658 A CN111753658 A CN 111753658A
Authority
CN
China
Prior art keywords
rgb
image
human body
sleep
post
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010429331.2A
Other languages
English (en)
Inventor
朱勋沐
林焕凯
周谦
刘双广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN202010429331.2A priority Critical patent/CN111753658A/zh
Publication of CN111753658A publication Critical patent/CN111753658A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms

Abstract

本发明是关于一种睡岗告警方法、装置和计算机设备。该方法首先获取RGB‑D传感器拍摄的监控RGB‑D视频流，并且抽取RGB‑D视频流中的关键RGB‑D图像帧。然后，对所述关键RGB‑D图像帧的RGB图像进行人体检测生成对应的RGB‑D人体子图，进一步的，利用基于RGB图像和深度图像训练生成的睡岗分类模型对所述RGB‑D人体子图进行前向推理识别，并记录识别信息。最后根据所述识别信息判断需要发送睡岗告警，则发出睡岗告警。本发明可以通过深度学习技术，利用RGB‑D传感器获取的RGB‑D数据离线训练获得睡岗分类模型，再通过在线识别推理判断输出睡岗告警图像，从而实现高检出低误报的执法办案区睡岗告警。

Description

一种睡岗告警方法、装置和计算机设备
技术领域
本发明涉及视频监控技术领域，尤其涉及一种睡岗告警方法、装置和计算机设备。
背景技术
在执法办案区场景下，需要监控办案民警在岗办公时是否发生睡岗行为，这往往需要遍历大量摄像头记录的视频才能实现监督，而这种做法效率低下甚至无法执行。为了促进公安执法规范化，提高公安民警在执法办案区场景下的工作效率，提出了针对该场景的一种异常行为识别分析系统。该系统包括了人体检测，人体跟踪，离岗检测，睡岗检测，玩手机检测等行为识别算法。当前在工作场景下，利用视频图像数据进行睡岗告警的方法较少。其中一种做法是直接通过人体检测算法实现人体的检测和人体行为的识别。该类现有方法首先通过基于CNN的目标检测算法定位人体区域，往往能获得精准的人体区域，然而在对人体区域进行行为识别时，直接使用CNN网络分类的方法，对于不同的场景不同行为无法通过简单的方法迁移实现高检出且低误报的应用效果。
在执法办案区的办公岗位场景下，拍摄角度通常是俯视的，而在这一视角下，在通常的RGB监控视频中，多种人体行为具有较高的相似度，例如低头写字，站立弯腰等行为与睡岗行为具有较高的相似度。这种不同类别间的高相似度(类间差小)大大增加了CNN模型对异常行为的识别难度，这容易导致实际应用时易出现高频率的误报。例如在办公岗位场景下，工作人员大部分时间为正常工作状态，只有少部分时间发生睡岗行为，而不同行为类间差小会导致模型则很容易对大部分的工作状态误识别为睡岗行为，从而导致大面积误报，这在实际应用中是无法接受的。这使得现有技术难以满足执法办案区睡岗告警高检出低误报的性能需求。基于当前对执法办案区睡岗检测的需求和现有技术的缺陷无法应用于公安派出所执法办案的值班岗位场景。
发明内容
为克服相关技术中存在的问题，本发明提供一种睡岗告警方法、装置和计算机设备，能通过深度学习技术，利用RGB-D传感器获取的RGB-D数据离线训练获得睡岗分类模型，再通过在线识别推理判断输出睡岗告警图像，从而实现高检出低误报的执法办案区睡岗告警。
根据本发明实施例的第一方面，提供一种睡岗告警方法，包括：获取RGB-D传感器拍摄的监控RGB-D视频流，并且抽取RGB-D视频流中的关键RGB-D图像帧；
对所述关键RGB-D图像帧的RGB图像进行人体检测生成对应的RGB-D人体子图；
利用基于RGB图像和深度图像训练生成的睡岗分类模型对所述RGB-D人体子图进行前向推理识别，并记录识别信息；
根据所述识别信息判断需要发送睡岗告警，则发出睡岗告警。
根据本发明实施例的第二方面，提供一种睡岗告警装置，包括：关键帧抽取模块、人体子图生成模块、识别模块和告警发送模块；
关键帧抽取模块，用于获取RGB-D传感器拍摄的监控RGB-D视频流，并且抽取RGB-D视频流中的关键RGB-D图像帧；
人体子图生成模块，用于对所述关键RGB-D图像帧的RGB图像进行人体检测生成对应的RGB-D人体子图；
识别模块，用于利用基于RGB图像和深度图像训练生成的睡岗分类模型对所述RGB-D人体子图进行前向推理识别，并记录识别信息；
告警发送模块，用于根据所述识别信息判断需要发送睡岗告警，则发出睡岗告警。
本发明的实施例提供的技术方案可以包括以下有益效果：通过借助不同行为的深度信息的差异来增加不同行为特征之间的类间差，以增强模型对于睡岗和其相似行为的区分能力，从而降低误报风险。最后将模型部署于告警系统实现执法办案区场景下的睡岗告警。
本发明的实施例，还可以：通过一段时间内的统计效果进行睡岗告警，避免由于短时间趴睡动作或者偶然性的误识别帧导致系统产生误报。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本发明根据一示例性实施例示出的一种睡岗告警方法的流程图；
图2是本发明根据一示例性实施例示出的一种睡岗告警方法的另一流程图；
图3是本发明根据一示例性实施例示出的一种睡岗告警方法中的睡岗模型生成步骤的流程图；
图4是本发明根据一示例性实施例示出的一种睡岗告警装置的示意图框图；
图5是本发明根据一示例性实施例示出的一种睡岗告警装置的人体子图生成模块示意框图；
图6是本发明根据一示例性实施例示出的一种睡岗告警装置的告警发送模块示意框图；
图7是本发明根据一示例性实施例示出的一种睡岗告警装置的睡岗分类模型生成模块示意框图；
图8是根据一示例性实施例示出的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明提供了一种睡岗告警方法、装置和计算机设备，可以通过深度学习技术，利用RGB-D传感器获取的RGB-D数据离线训练获得睡岗分类模型，再通过在线识别推理判断输出睡岗告警图像，从而实现高检出低误报的执法办案区睡岗告警。
图1是本发明根据一示例性实施例示出的一种睡岗告警方法的流程图。
如图1所示，该方法包括以下步骤：
在步骤101中，获取RGB-D传感器拍摄的监控RGB-D视频流，并且抽取RGB-D视频流中的关键RGB-D图像帧。
在优选实施例中，本步骤通过收集执法办案场景下的值班岗位的RGB-D传感器的监控录像来获取RGB-D视频流。在优选实施例中，以一秒5帧的频率抽取关键帧以进行后续处理。
在步骤102中，对所述关键RGB-D图像帧的RGB图像进行人体检测生成对应的RGB-D人体子图。
在优选实施例中，本步骤利用所述RGB图像与对应的深度图像之间的映射关系和人体检测生成对应的RGB-D人体子图。
在步骤103中，利用基于RGB图像和深度图像训练生成的睡岗分类模型对所述RGB-D人体子图进行前向推理识别，并记录识别信息。
在步骤104中，根据所述识别信息判断需要发送睡岗告警，则发出睡岗告警。
由该实施例可见，本发明首先获取RGB-D传感器拍摄的监控RGB-D视频流，并且抽取RGB-D视频流中的关键RGB-D图像帧。然后，对所述关键RGB-D图像帧的RGB图像进行人体检测生成对应的RGB-D人体子图进一步的，利用基于RGB图像和深度图像训练生成的睡岗分类模型对所述RGB-D人体子图进行前向推理识别，并记录识别信息。最后根据所述识别信息判断需要发送睡岗告警，则发出睡岗告警。可以通过深度学习技术，利用RGB-D传感器获取的RGB-D数据离线训练获得睡岗分类模型，再通过在线识别推理判断输出睡岗告警图像，从而实现高检出低误报的执法办案区睡岗告警。
图2为是本发明根据一示例性实施例示出的一种睡岗告警方法的另一流程图。
如图2所示，该方法包括以下步骤：
首先，步骤201获取RGB-D传感器拍摄的监控RGB-D视频流，并且抽取RGB-D视频流中的关键RGB-D图像帧。
在优选实施例中，本步骤通过收集执法办案场景下的值班岗位的RGB-D传感器的监控录像来获取RGB-D视频流。以一秒5帧的频率抽取关键帧以进行后续处理。
完成步骤201之后，进入步骤202，对所述关键RGB-D图像帧的RGB图像使用人体检测算法进行人体检测，获得RGB图像人体检测结果。
完成步骤202之后，进入步骤203，利用所述RGB图像与对应的深度图像之间的映射关系，通过所述RGB图像人体检测结果获得深度图像的人体检测结果。
完成203之后，进入步骤204对所述RGB图像和所述深度图像的人体检测结果对所述关键RGB-D图像帧进行裁剪，获得对应的RGB-D人体子图。
步骤202到步骤204即实现了对所述关键RGB-D图像帧的RGB图像进行人体检测生成对应的RGB-D人体子图。
完成步骤204之后，进入步骤205，对所述RGB-D人体子图进行归一化处理调整人体子图大小。即对RGB-D人体子图归一化为相同大小，例如256*256。
完成对RGB-D人体子图归一化处理后，进入步骤206，利用基于RGB图像和深度图像训练生成的睡岗分类模型对所述归一化后的RGB-D人体子图进行前向推理识别，并记录识别信息，其中，所述识别信息包括所述RGB-D人体子图的分类置信度。本步骤可以是利用训练好的睡岗模型，所述RGB-D人体子图进行前向推理识别，输出分类置信度。所以所述识别信息包括所述RGB-D人体子图的分类置信度。
其中，睡岗模型为基于RGB图像和深度图像训练生成睡岗模型可以提前在系统中生成好。
在一个优选实施例中，图3是本发明根据一示例性实施例示出的一种睡岗告警方法的中睡岗模型生成步骤的流程图。
如图3所示，睡岗模型生成步骤包括：
步骤301，采集用于生成睡岗分类模型的模型样本RGB-D图像集。
在优选实施例中，本步骤通过收集执法办案场景下的值班岗位的RGB-D传感器的监控录像和模拟该场景的RGB-D监控录像，且对这些监控录像抽取图像帧来采集用于生成睡岗分类模型的模型样本RGB-D图像集。
步骤302，对模型样本RGB-D图像集中的RGB-D图像进行人体检测生成对应的模型样本RGB-D人体子图集。
在一个优选实施例中，步骤302的实现，可以参考步骤202到步骤204实现方法，实现步骤202到步骤204即实现了对所述关键RGB-D图像帧的RGB图像进行人体检测生成对应的RGB-D人体子图。
完成步骤302之后，进入步骤303，将模型样本RGB-D人体子图集按照预设比率分成模型训练用的RGB-D人体子图集和模型测试用的RGB-D人体子图集。在一个示例中，将模型样本RGB-D图集的70％作为模型训练用的RGB-D人体子图集，剩余30％作为模型测试用的RGB-D人体子图集。
步骤304，将所述模型训练用的RGB-D人体子图集中睡岗图和非睡岗图按照预设比率划分成模型训练图集。在一个示例中，睡觉状态的图划分为正样本，非睡觉状态图划分为负样本，满足负样本数量与正样本数量比例大于5:1。
步骤305，利用分类网络对所述模型训练图集进行是否睡岗的2分类模型训练，并每隔一定迭代次数保存一个训练模型。在优选实施例中，这里的迭代次数设置为4200次。这里的分类网络模型为：ResNet-18
在优选实施例中，本步骤可以包括：步骤1，将所述模型训练图中的深度图像和RGB图像拼接为4通道的RGBD图像；步骤2，将4通道的RGBD图输入进分类网络，进行是否睡岗的2分类模型训练。
在另一个示例中，睡岗模型生成步骤还包括：
步骤306，对模型训练图集中的图进行归一化处理，调整成大小相同的图。在一个示例中，对模型训练图集中的图进行归一化处理成256*256大小的图。
步骤307，对模型训练图集中的图在预设角度内进行多角度随机旋转，生成处理后的模型训练图集。在此实施例中，步骤305中，利用分类网络对所述模型训练图集进行是否睡岗的2分类模型训练，可以为：利用分类网络对所述处理后的模型训练图集进行是否睡岗的2分类模型训练。
在一个示例中，对模型训练图集中的图在-60°～60°之间进行多角度随机旋转，生成处理后的模型训练图集数。可以增强模型对不同岗位场景不同摄像头角度差异的鲁棒性。
之后进入步骤308，用所述模型测试用的RGB-D人体子图集中的图测试所述训练模型。
步骤309，所述训练模型精度最高，则将所述训练模型作为睡岗分类模型。
RGB-D传感器拍摄获取的RGB-D数据作为该场景的处理数据，首先使用人体检测算法对RGB图像进行人体检测，获得人体检测区域，并于RGB-D图像中获得RGB图像的人体子图和对应的深度图像的人体子图，再结合RGB图像和深度图像训练睡岗分类网络进行睡岗识别。即利用RGB图像和深度图像之间的差异性和互补性，例如对于人员是睡岗、在桌子上写字、弯腰写字中的行为的监控图在RGB图像中有高相似度人体轮廓，纹理和色彩，而在深度图中，他们能表现出明显的高度差。通过借助不同行为的深度信息的差异来增加不同行为特征之间的类间差，以增强模型对于睡岗和其相似行为的区分能力，从而降低误报风险。最后将模型部署于告警系统实现执法办案区场景下的睡岗告警。
步骤207中，所述用于识别的关键RGB-D图像帧的睡岗分类置信度是否大于睡岗阈值。步骤207的结果为否时，返回步骤201，步骤207的结果为是时，则进入告警判断和发送步骤，可以是：
步骤208，获取当前已识别处理的输入图像总帧数和大于睡岗阈值的RGB-D图像帧数。在优选实施例中
步骤209，利用当前已识别处理的输入图像总帧数和大于睡岗阈值的RGB-D图像帧计算当前时刻睡岗检出比率。
步骤210，判断当前识别时间大于统计的时间阈值，如果是则进入步骤211，判断当前时刻睡岗检出比率大于设置的比率阈值，如果否，则返回步骤206，进行下一个关键帧的判断。步骤211如果判断为是，则判断为需要发送睡岗告警，进入步骤212，将当前识别时间清零，将大于睡岗阈值的帧数和当前已识别处理的输入图像总帧数清零，且将当前帧作为告警输出。如果步骤211判断为否，则返回步骤206，进行下一关键帧的判断。值得说明的是，这里的步骤211与步骤210判断过程不限定先后顺序，可以先执行步骤211再执行步骤210，也可以先执行步骤210，再执行步骤211。本实施例中执行步骤210判断步骤之前，需要先获取系统的当前识别时间。在一个优先实施例中，步骤210中的统计的时间阈值时间设置为180s，步骤211中的设置的比率阈值为50％。本实施例通过判断是否满足告警条件来进行睡岗告警，即本方法通过一段时间内的统计效果进行睡岗告警，避免由于短时间趴睡动作或者偶然性的误识别帧导致系统产生误报。
从前面的流程步骤可以看出，本实施例首先通过目标检测算法获得人体子图区域，在对子图区域归一化后，使用分类网络对人体子图进行是否睡岗的二分类，由此进行当前图像帧是否为睡岗行为帧的判断流程。本实施例的睡岗检测流程结合目标检测模型和图像分类模型能同时保证应用中的实时性和高精度，一方面在异常行为识别系统中，人体检测流程是多个行为识别算法共享的阶段，故而对于系统而言，单一睡岗识别对系统新增硬件代价和运行时间代价，仅由分类模型影响。由此本发明的该识别流程设计在实际系统中不仅具备高精度，同时对系统不会带来过多硬件资源消耗。本实施例中RGB-D作为睡岗行为识别模型的输入，利用RGB图像和深度图像的互补性，扩大相似类行为之间的类间特征差距，增强CNN模型针对执法办案场景下的大量非睡岗行为的识别能力，从而减小睡岗误报概率。此外RGB图像和深度图像的融合为模型提供了更多了特征信息，使模型更易获得较高的检出率。即该方案与现有方法相比能有效提升睡岗行为的检出率同时极大的降低非睡岗行为的误报率。
与前述应用功能实现方法实施例相对应，本发明还提供了一种睡岗告警装置及相应的实施例。
图4是本发明根据一示例性实施例示出的一种睡岗告警装置的示意图框图。
参照图4，在一种睡岗告警装置中可以包括：关键帧抽取模块410、人体子图生成模块420、识别模块430和告警发送模块440。
关键帧抽取模块410，用于获取RGB-D传感器拍摄的监控RGB-D视频流，并且抽取RGB-D视频流中的关键RGB-D图像帧。在优选实施例中，关键帧抽取模块410通过收集执法办案场景下的值班岗位的RGB-D传感器的监控录像来获取RGB-D视频流。在优选实施例中，关键帧抽取模块410以一秒5帧的频率抽取关键帧以进行后续处理。
人体子图生成模块420，用于对所述关键RGB-D图像帧的RGB图像进行人体检测生成对应的RGB-D人体子图。
在优选实施例中，人体子图生成模块420利用所述RGB图像与对应的深度图像之间的映射关系和人体检测生成对应的RGB-D人体子图。
图5是本发明根据一示例性实施例示出的一种睡岗告警装置的人体子图生成模块示意框图。
如图5所示，在一个优选实施例中，人体子图生成模块420包括：人体检测单元501、深度图像人体结果生成单元502和剪裁单元503；
人体检测单元501，用于对所述关键RGB-D图像帧的RGB图像使用人体检测算法进行人体检测，获得RGB图像人体检测结果。
深度图像人体结果生成单元502，用于利用所述RGB图像与对应的深度图像之间的映射关系，通过所述RGB图像人体检测结果获得深度图像的人体检测结果。
剪裁单元503，用于对所述RGB图像和所述深度图像的人体检测结果对所述关键RGB-D图像帧进行裁剪，获得对应的RGB-D人体子图。
识别模块430，用于利用基于RGB图像和深度图像训练生成的睡岗分类模型对所述RGB-D人体子图进行前向推理识别，并记录识别信息。识别模块430可以利用训练好的睡岗模型，所述RGB-D人体子图进行前向推理识别，输出分类置信度。
告警发送模块440，用于根据所述识别信息判断需要发送睡岗告警，则发出睡岗告警。
图6是本发明根据一示例性实施例示出的一种睡岗告警装置的告警发送模块示意框图。
在一个优选实施例中，如图6所示，告警发送模块440包括：图像数获取单元601、检出比计算单元602、告警判断单元603和告警发送单元604。
图像数获取单元601，用于获取当前已识别处理的输入图像总帧数和大于睡岗阈值的RGB图像帧数。
检出比计算单元602，用于利用当前已识别处理的输入图像总帧数和大于睡岗阈值的RGB图像帧计算当前时刻睡岗检出比率。
告警判断单元603，用于在满足当前识别时间大于统计的时间阈值，且当前时刻睡岗检出比率大于设置的比率阈值条件，则判断需要发送睡岗告警。
在一个优选实施例中，告警判断单元603可以是判断当前识别时间大于统计的时间阈值时间，且判断当前时刻睡岗检出比率大于设置的比率阈值，则判断为需要发送睡岗告警。如果上述两个条件有一个为否，发送消息给识别模块430进行下一个关键帧的识别，且告警判断单元603将当前识别时间清零，将大于睡岗阈值的帧数和当前已识别处理的输入图像总帧数清零。
告警发送单元604，用于发送睡岗告警。可以是将当前帧作为告警输出。
在优选实施例中，一种睡岗告警装置还包括睡岗分类模型生成模块450，用于基于RGB图像和深度图像训练生成睡岗分类模型。
图7是本发明根据一示例性实施例示出的一种睡岗告警装置的睡岗分类模型生成模块示意框图。
在一个优选实施例中，如图7所示，睡岗分类模型生成模块包括：图像数据采集单元701、人体子图生成单元702、样本分类单元703、模型训练图集生成单元704、归一化处理单元705、图像旋转处理单元706、模型训练单元707、模型测试单元708和模型输出单元709。在优选实施例中，睡岗分类模型生成模块450各个单元工作原理可以参考图3对应的睡岗模型生成步骤的工作流程来实现。
图像数据采集单元701，用于采集用于生成睡岗分类模型的模型样本RGB-D图像集。在优选实施例中，图像数据采集单元701通过收集执法办案场景下的值班岗位的RGB-D传感器的监控录像和模拟该场景的RGB-D监控录像，且对这些监控录像抽取图像帧来采集用于生成睡岗分类模型的模型样本RGB-D图像集。
人体子图生成单元702，用于对模型样本RGB-D图像集中的RGB-D图像进行人体检测生成对应的模型样本RGB-D图人体子图集。在一个示例中，人体子图生成单元702将模型样本RGB-D图集的70％作为模型训练用的RGB-D人体子图集，剩余30％作为模型测试用的RGB-D人体子图集。
样本分类单元703，用于将模型样本RGB-D图集人体子图按照预设比率分成模型训练用的RGB-D人体子图集和模型测试用的RGB-D人体子图集。在一个示例中，睡觉状态的图划分为正样本，非睡觉状态图划分为负样本，满足负样本数量与正样本数量比例大于5:1。
模型训练图集生成单元704，用于将所述模型训练用的RGB-D人体子图集中睡岗图和非睡岗图按照预设比率生成模型训练图集。在优选实施例中，这里的迭代次数设置为4200次。这里的分类网络模型为：ResNet-18。
在优选实施例中，还包括：归一化处理单元705和图像旋转处理单元706。
归一化处理单元705，用于对模型训练图集中的图进行归一化处理，调整成大小相同的图。在一个示例中，对模型训练图集中的图进行归一化处理成256*256大小的图。
图像旋转处理单元706，用于对模型训练图集中的图在预设角度内进行多角度随机旋转，生成处理后的模型训练图集。在此实施例中，模型训练单元707利用分类网络对所述模型训练图集进行是否睡岗的2分类模型训练，可以为：利用分类网络对所述处理后的模型训练图集进行是否睡岗的2分类模型训练。
在一个示例中，图像旋转处理单元706对模型训练图集中的图在-60°～60°之间进行多角度随机旋转，生成处理后的模型训练图集数，可以增强模型对不同岗位场景不同摄像头角度差异的鲁棒性。
模型训练单元707，用于利用分类网络对所述模型训练图集进行是否睡岗的2分类模型训练，并每隔一定迭代次数保存一个训练模型。
在优选实施例中，模型训练单元707将所述模型训练图中的深度图像和RGB图像拼接为4通道的RGBD图像；然后将4通道的RGBD图输入进分类网络，进行是否睡岗的2分类模型训练。
模型测试单元708，用于用所述模型测试用的RGB-D人体子图集中的图测试所述训练模型。
模型输出单元709，用于将精度最高的训练模型作为睡岗分类模型输出。
本实施例中RGB-D作为睡岗行为识别模型的输入，利用RGB图像和深度图像的互补性，扩大相似类行为之间的类间特征差距，增强CNN模型针对执法办案场景下的大量非睡岗行为的识别能力，从而减小睡岗误报概率。此外RGB图像和深度图像的融合为模型提供了更多了特征信息，使模型更易获得较高的检出率。即该方案与现有方法相比能有效提升睡岗行为的检出率同时极大的降低非睡岗行为的误报率。
图8是根据一示例性实施例示出的一种计算设备的结构示意图，该计算设备可用于实现上述一种睡岗告警方法。
参见图8，计算设备800包括存储器810和处理器820。
处理器820可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器820可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器820可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。
存储器810可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器820或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器810可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器810可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器810上存储有可执行代码，当可执行代码被处理器820处理时，可以使处理器820执行上文述及的上述睡岗告警方法。
上文中已经参考附图详细描述了根据本发明的上述方法。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种睡岗告警方法，包括：
获取RGB-D传感器拍摄的监控RGB-D视频流，并且抽取RGB-D视频流中的关键RGB-D图像帧；
对所述关键RGB-D图像帧的RGB图像进行人体检测生成对应的RGB-D人体子图；
利用基于RGB图像和深度图像训练生成的睡岗分类模型对所述RGB-D人体子图进行前向推理识别，并记录识别信息；
根据所述识别信息判断需要发送睡岗告警，则发出睡岗告警。
2.根据权利要求1所述的方法，其中，对所述关键RGB-D图像帧进行人体检测生成对应的RGB-D人体子图，包括：
对所述关键RGB-D图像帧的RGB图像使用人体检测算法进行人体检测，获得RGB图像人体检测结果；
利用所述RGB图像与对应的深度图像之间的映射关系，通过所述RGB图像人体检测结果获得深度图像的人体检测结果；
对所述RGB图像和所述深度图像的人体检测结果对所述关键RGB-D图像帧进行裁剪，获得对应的RGB-D人体子图。
3.根据权利要求1所述的方法，其中，识别信息包括所述关键RGB-D图像帧是否为大于睡岗阈值的RGB-D图像帧；
根据所述识别信息判断需要发送睡岗告警包括：
获取当前已识别处理的输入图像总帧数和大于睡岗阈值的RGB-D图像帧数；
利用当前已识别处理的输入图像总帧数和大于睡岗阈值的RGB-D图像帧计算当前时刻睡岗检出比率；
在满足当前识别时间大于统计的时间阈值，且当前时刻睡岗检出比率大于设置的比率阈值条件，则判断为需要发送睡岗告警。
4.根据权利要求1所述的方法，其中，RGB图像和深度图像训练生成睡岗分类模型包括：
获取用于生成睡岗分类模型的模型样本RGB-D图像集；
对模型样本RGB-D图像集中的RGB图像进行人体检测生成对应的模型样本RGB-D人体子图集；
将模型样本RGB-D图集人体子图按照预设比率分成模型训练用的RGB-D人体子图集和模型测试用的RGB-D人体子图集；
将所述模型训练用的RGB-D人体子图集中睡岗图和非睡岗图按照预设比率生成模型训练图集；
利用分类网络对所述模型训练图集进行是否睡岗的2分类模型训练，并每隔一定迭代次数保存一个训练模型；
用所述模型测试用的RGB-D人体子图集中的图测试所述训练模型；
所述训练模型精度最高，则将所述训练模型作为睡岗分类模型。
5.根据权利要求4所述的方法，其中，利用分类网络对所述模型训练图进行是否睡岗的2分类模型训练，包括：
将所述模型训练图中的深度图像和RGB图像拼接为4通道的RGBD图像；
将4通道的RGBD图输入进分类网络，进行是否睡岗的2分类模型训练。
6.一种睡岗告警装置，包括：关键帧抽取模块、人体子图生成模块、识别模块和告警发送模块；
关键帧抽取模块，用于获取RGB-D传感器拍摄的监控RGB-D视频流，并且抽取RGB-D视频流中的关键RGB-D图像帧；
人体子图生成模块，用于对所述关键RGB-D图像帧的RGB图像进行人体检测生成对应的RGB-D人体子图；
识别模块，用于利用基于RGB图像和深度图像训练生成的睡岗分类模型对所述RGB-D人体子图进行前向推理识别，并记录识别信息；
告警发送模块，用于根据所述识别信息判断需要发送睡岗告警，则发出睡岗告警。
7.如权利要求6所述的装置，其中，人体子图生成模块包括：人体检测单元、深度图像人体结果生成单元和剪裁单元；
人体检测单元，用于对所述关键RGB-D图像帧的RGB图像使用人体检测算法进行人体检测，获得RGB图像人体检测结果；
深度图像人体结果生成单元，用于利用所述RGB图像与对应的深度图像之间的映射关系，通过所述RGB图像人体检测结果获得深度图像的人体检测结果；
剪裁单元，用于对所述RGB图像和所述深度图像的人体检测结果对所述关键RGB-D图像帧进行裁剪，获得对应的RGB-D人体子图。
8.如权利要求7所述的装置，其中，识别信息包括所述关键RGB-D图像帧是否为大于睡岗阈值的RGB-D图像帧，告警发送模块可以包括：图像数获取单元、检出比计算单元、告警判断单元和告警发送单元；
图像数获取单元，用于获取当前已识别处理的输入图像总帧数和大于睡岗阈值的RGB-D图像帧数；
检出比计算单元，用于利用当前已识别处理的输入图像总帧数和大于睡岗阈值的RGB-D图像帧计算当前时刻睡岗检出比率；
告警判断单元，用于在满足当前识别时间大于统计的时间阈值，且当前时刻睡岗检出比率大于设置的比率阈值条件，则判断为需要发送睡岗告警；
告警发送单元，用于发送睡岗告警。
9.一种计算设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-8中任何一项所述的方法。
10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至5中任一项所述的方法。
CN202010429331.2A 2020-05-20 2020-05-20 一种睡岗告警方法、装置和计算机设备 Pending CN111753658A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010429331.2A CN111753658A (zh) 2020-05-20 2020-05-20 一种睡岗告警方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010429331.2A CN111753658A (zh) 2020-05-20 2020-05-20 一种睡岗告警方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN111753658A true CN111753658A (zh) 2020-10-09

Family

ID=72673491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010429331.2A Pending CN111753658A (zh) 2020-05-20 2020-05-20 一种睡岗告警方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN111753658A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926541A (zh) * 2021-04-09 2021-06-08 济南博观智能科技有限公司 一种睡岗检测方法、装置及相关设备
CN113313084A (zh) * 2021-07-28 2021-08-27 中国航空油料集团有限公司 一种基于深度学习的睡岗检测方法
CN113537145A (zh) * 2021-06-28 2021-10-22 青鸟消防股份有限公司 目标检测中误、漏检快速解决的方法、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224942A (zh) * 2015-07-09 2016-01-06 华南农业大学 一种rgb-d图像分类方法及系统
CN106960181A (zh) * 2017-02-28 2017-07-18 中科唯实科技（北京）有限公司 一种基于rgbd数据的行人属性识别方法
CN107844744A (zh) * 2017-10-09 2018-03-27 平安科技（深圳）有限公司 结合深度信息的人脸识别方法、装置及存储介质
CN108520535A (zh) * 2018-03-26 2018-09-11 天津大学 基于深度恢复信息的物体分类方法
CN109145708A (zh) * 2018-06-22 2019-01-04 南京大学 一种基于rgb和d信息融合的人流量统计方法
CN109325531A (zh) * 2018-09-17 2019-02-12 平安科技（深圳）有限公司 基于图像的车辆定损方法、装置、设备及存储介质
CN109492620A (zh) * 2018-12-18 2019-03-19 广东中安金狮科创有限公司 监控设备及其控制装置、岗位监控方法和可读存储介质
CN109543697A (zh) * 2018-11-16 2019-03-29 西北工业大学 一种基于深度学习的rgbd图像目标识别方法
CN109635770A (zh) * 2018-12-20 2019-04-16 上海瑾盛通信科技有限公司 活体检测方法、装置、存储介质及电子设备
CN109726652A (zh) * 2018-12-19 2019-05-07 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
CN109766856A (zh) * 2019-01-16 2019-05-17 华南农业大学 一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法
CN109993086A (zh) * 2019-03-21 2019-07-09 北京华捷艾米科技有限公司 人脸检测方法、装置、系统及终端设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224942A (zh) * 2015-07-09 2016-01-06 华南农业大学 一种rgb-d图像分类方法及系统
CN106960181A (zh) * 2017-02-28 2017-07-18 中科唯实科技（北京）有限公司 一种基于rgbd数据的行人属性识别方法
CN107844744A (zh) * 2017-10-09 2018-03-27 平安科技（深圳）有限公司 结合深度信息的人脸识别方法、装置及存储介质
CN108520535A (zh) * 2018-03-26 2018-09-11 天津大学 基于深度恢复信息的物体分类方法
CN109145708A (zh) * 2018-06-22 2019-01-04 南京大学 一种基于rgb和d信息融合的人流量统计方法
CN109325531A (zh) * 2018-09-17 2019-02-12 平安科技（深圳）有限公司 基于图像的车辆定损方法、装置、设备及存储介质
CN109543697A (zh) * 2018-11-16 2019-03-29 西北工业大学 一种基于深度学习的rgbd图像目标识别方法
CN109492620A (zh) * 2018-12-18 2019-03-19 广东中安金狮科创有限公司 监控设备及其控制装置、岗位监控方法和可读存储介质
CN109726652A (zh) * 2018-12-19 2019-05-07 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
CN109635770A (zh) * 2018-12-20 2019-04-16 上海瑾盛通信科技有限公司 活体检测方法、装置、存储介质及电子设备
CN109766856A (zh) * 2019-01-16 2019-05-17 华南农业大学 一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法
CN109993086A (zh) * 2019-03-21 2019-07-09 北京华捷艾米科技有限公司 人脸检测方法、装置、系统及终端设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926541A (zh) * 2021-04-09 2021-06-08 济南博观智能科技有限公司 一种睡岗检测方法、装置及相关设备
CN112926541B (zh) * 2021-04-09 2022-11-08 济南博观智能科技有限公司 一种睡岗检测方法、装置及相关设备
CN113537145A (zh) * 2021-06-28 2021-10-22 青鸟消防股份有限公司 目标检测中误、漏检快速解决的方法、装置及存储介质
CN113537145B (zh) * 2021-06-28 2024-02-09 青鸟消防股份有限公司 目标检测中误、漏检快速解决的方法、装置及存储介质
CN113313084A (zh) * 2021-07-28 2021-08-27 中国航空油料集团有限公司 一种基于深度学习的睡岗检测方法

Similar Documents

Publication Publication Date Title
CN111753658A (zh) 一种睡岗告警方法、装置和计算机设备
CN103942811B (zh) 分布式并行确定特征目标运动轨迹的方法与系统
CN113052029A (zh) 基于动作识别的异常行为监管方法、装置及存储介质
CN103366370A (zh) 视频监控中的目标跟踪方法和装置
CN108197544B (zh) 人脸分析、过滤方法、装置、嵌入式设备、介质和集成电路
CN112001230A (zh) 睡觉行为的监控方法、装置、计算机设备和可读存储介质
CN111444869A (zh) 一种口罩佩戴状态识别方法装置和计算机设备
CN109559336B (zh) 对象追踪方法、装置及存储介质
CN112733629A (zh) 异常行为判断方法、装置、设备和存储介质
CN113723157A (zh) 一种农作物病害识别方法、装置、电子设备及存储介质
CN112381054A (zh) 摄像机的工作状态检测方法及相关设备、系统
CN114140663A (zh) 一种基于多尺度注意力学习网络的害虫识别方法及系统
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
Raghavendra et al. Robust 2D/3D face mask presentation attack detection scheme by exploring multiple features and comparison score level fusion
CN112699842A (zh) 宠物识别方法、装置、设备及计算机可读存储介质
CN112380977A (zh) 吸烟行为检测方法和装置
CN111985438A (zh) 一种静态人脸处理方法、装置及设备
CN112001280A (zh) 一种实时、可在线优化的人脸识别系统和方法
CN115346169B (zh) 一种睡岗行为检测方法及系统
CN115099272A (zh) 时序信号的处理方法及装置、设备及可读介质
CN108985350B (zh) 一种基于梯度幅值稀疏特征信息识别模糊图像的方法和装置、计算设备及存储介质
US20220122341A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
CN115713650A (zh) 一种基于目标检测和追踪的检身方法及系统
CN114973135A (zh) 一种基于头肩的时序视频睡岗识别方法、系统及电子设备
JP2024516642A (ja) 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination