CN110414339A - 基于视频流数据的审讯室人员近距离接触识别方法 - Google Patents

Abstract

本发明公开了基于视频流数据的审讯室人员近距离接触识别方法，包括以下步骤：步骤一、获取审讯室区域视频流数据；步骤二、活动目标提取；步骤三、人体目标匹配；步骤四、对有人体目标的前景图片进行人体骨骼化，判断人的数量是否大于2；步骤五、取不同人员的相同的身体关节部位点位置进行坐标系X,Y距离的计算，从而判断审讯室人员近距离接触。本发明通过基于视频流数据的审讯室人员近距离接触识别方法来代替人工监控查看摄像机画面是否出现审讯室人员近距离的情况，解决审讯室人员近距离而出现的人员安全和法律公正问题，从而增强降低事件发生概率、提高监控中心工作人员工作效率。

Description

基于视频流数据的审讯室人员近距离接触识别方法

技术领域

本发明涉及监狱安防技术领域，具体的说是涉及一种基于视频流数据的审讯室人员近距离接触识别方法。

背景技术

根据中国法律的规定，看守所是羁押依法被逮捕，但是尚未被判刑的犯罪嫌疑人的场所，因此关押在这里的涉案人员一项重要的活动就是接受刑讯和审查。对这些人员进行监管和审讯则分属两个不同的部门，监管中心也即看守所负责他们的安全和限制他们的自由，审讯工作则是由办案部门完成。

看守所24小时监控审讯室，防止出现刑讯逼供和串供的现象，但现有的技术是通过安监员在监控中心进行人工监控，查看摄像机画面是否出现审讯室人员近距离接触的情况。这样的被动识别，依赖于安监员的注意力集中度。

发明内容

为解决上述背景技术中提出的问题，本发明的目的在于提供一种基于视频流数据的审讯室人员近距离接触识别方法。

为实现上述目的，本发明采取的技术方案为：

本发明提供了基于视频流数据的审讯室人员近距离接触识别方法，包括以下步骤：

步骤一、视频流数据获取

在审讯室区域设置摄像头，获取摄像机视频流，并对视频流数据进行RGB转换，使其转换为相应的彩色图像；

步骤二、活动目标提取

通过对视频中获取的n帧画面进行背景建模，然后对n+1帧画面中的活动目标进行帧差，将n+1帧像素值I(x,y)减去背景模型中相同位置像素点的平均值u(x,y)，得到差值d(x,y)，然后将该差值d(x,y)与阈值TH进行比较，当差值d(x,y)大于阈值TH时，则标记为前景点；否则，标记为背景点；

通过前景点连续的帧来判断该活动目标是否连续运动，是否连续出现，若达不到连续N帧出现，则过滤；反之，该活动目标连续N帧出现，且N帧内活动目标的X、Y坐标大于i像素点，则判断为持续运动，得到活动目标的前景图片；其中，N＝[1,200]，N值的大小，反映为观察目标的时间跨度，此值越小，则给出判断的反应时间越快，越灵敏；i表示为水平和垂直方向上的位置像素量，i的取值范围[1,20]，i越小，检测越灵敏；

步骤三、人体目标匹配

截取步骤二中判断为活动目标的前景图片与人体特征模型进行匹配，若大于相识度P，则判断前景图片中有人体目标，并进入下一步；反之，则判断待测目标图像中没有人体目标，并返回步骤二继续进行活动目标的提取操作；其中P＝[0,1]，P值越大，表示目标为人的可能性越高；

步骤四、人体骨骼化

截取步骤三中判断为有人体目标的前景图片进行人体骨骼化处理，得到身体关节部位点，包括胸口、肩膀、肩臂、手臂、手腕、脚腕和左右臂膀的关节部位点的数据信息，并通过骨骼化的身体关节部位点的数据信息判断人的数量是否大于2，若是，则进入下一步；反之，则判断待测目标图像，并返回步骤二继续进行活动目标的提取操作；

步骤五、人员距离判断

对在步骤四中获取到的骨骼化数据进行处理，取不同人员的相同的身体关节部位点位置进行坐标系X,Y距离的计算，并根据相同的身体关节部位点位置距离的大小来判断人员是否符合距离过近的范围，若是，则判断审讯室人员近距离接触，反之，则判断待测目标距离较远，并返回步骤四继续进行骨骼化数据的提取操作。

上述技术方案中，步骤三中的所述人体特征模型是通过神经网络模型训练分类器训练和识别得到的，其具体方法为：

训练时，输入大量人体图片作为正样本，输入大量无人体图片作为负样本，通过神经网络模型训练分类器进行训练学习并得到人体特征模型；

识别时，输入运动目标的前景图片，通过运动目标的前景图片与神经网络模型训练分类器中的人体特征模型进行识别匹配，若大于相识度M，则判断前景图片中有人体目标，M＝[0,1]，U越高表明目标越符合人体特征。

上述技术方案中，步骤四中的所述人体骨骼化通过开源的openpose方法获得。

上述技术方案中，身体关节部位点的数据信息判断人的数量≥2包括以下方式的一种或多种：胸口关节点值≥2、肩膀关节点值≥2、肩臂关节点值≥4、手臂关节点值≥4、手腕关节点值≥4、脚腕关节点值≥4和左右臂膀关节点值≥4。

上述技术方案中，步骤五中判断人员距离过近包括以下方式的一种或多种：

(1)对在步骤四中获取到的骨骼化数据进行处理，取不同人员胸口关节点位置进行坐标系X,Y距离的计算，当不同人员之间胸口关节点位置距离小于2.5个肩臂时判断人员距离过近；

(2)对在步骤四中获取到的骨骼化数据进行处理，取脚腕关节点位置进行坐标系X,Y距离的计算，当不同人员之间脚腕关节点位置最小距离小于2.5个肩臂时判断人员距离过近；

(3)对在步骤四中获取到的骨骼化数据进行处理，取手腕关节点位置进行坐标系X,Y距离的计算，当不同人员之间手腕关节点位置最小距离小于1个肩臂时判断人员距离过近。

与现有技术相比，本发明的有益效果是：

本发明通过基于视频流数据的审讯室人员近距离接触识别方法来代替人工监控查看摄像机画面是否出现审讯室人员近距离的情况，解决审讯室人员近距离而出现的人员安全和法律公正问题，从而增强降低事件发生概率、提高监控中心工作人员工作效率。

附图说明

图1为本发明提供的基于视频流数据的审讯室人员近距离接触识别方法的流程图；

图2为本发明所述的人体特征模型通过神经网络模型训练分类器训练和识别的流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合附图和具体实施方式，进一步阐述本发明是如何实施的。

本发明提供了基于视频流数据的审讯室人员近距离接触识别方法，包括以下步骤：

步骤一、视频流数据获取

在审讯室区域设置摄像头，获取摄像机视频流，并对视频流数据进行RGB转换，使其转换为相应的彩色图像；

步骤二、活动目标提取

通过对视频中获取的n帧画面进行背景建模，然后对n+1帧画面中的活动目标进行帧差，将n+1帧像素值I(x,y)减去背景模型中相同位置像素点的平均值u(x,y)，得到差值d(x,y)，然后将该差值d(x,y)与阈值TH进行比较，当差值d(x,y)大于阈值TH时，则标记为前景点；否则，标记为背景点；

通过前景点连续的帧来判断该活动目标是否连续运动，是否连续出现，若达不到连续N帧出现，则过滤；反之，该活动目标连续N帧出现，且N帧内活动目标的X、Y坐标大于i像素点，则判断为持续运动，得到活动目标的前景图片；其中，N＝[1,200]，N值的大小，反映为观察目标的时间跨度，此值越小，则给出判断的反应时间越快，越灵敏；i表示为水平和垂直方向上的位置像素量，i的取值范围[1,20]，i越小，检测越灵敏；

步骤三、人体目标匹配

截取步骤二中判断为活动目标的前景图片与人体特征模型进行匹配，若大于相识度P，则判断前景图片中有人体目标，并进入下一步；反之，则判断待测目标图像中没有人体目标，并返回步骤二继续进行活动目标的提取操作；其中P＝[0,1]，P值越大，表示目标为人的可能性越高；

步骤四、人体骨骼化

截取步骤三中判断为有人体目标的前景图片进行人体骨骼化处理，得到身体关节部位点，包括胸口、肩膀、肩臂、手臂、手腕、脚腕和左右臂膀的关节部位点的数据信息，并通过骨骼化的身体关节部位点的数据信息判断人的数量是否大于2，若是，则进入下一步；反之，则判断待测目标图像，并返回步骤二继续进行活动目标的提取操作；

步骤五、人员距离判断

对在步骤四中获取到的骨骼化数据进行处理，取不同人员的相同的身体关节部位点位置进行坐标系X,Y距离的计算，并根据相同的身体关节部位点位置距离的大小来判断人员是否符合距离过近的范围，若是，则判断审讯室人员近距离接触，反之，则判断待测目标距离较远，并返回步骤四继续进行骨骼化数据的提取操作。

本发明中，步骤三中的所述人体特征模型是通过神经网络模型训练分类器训练和识别得到的，其具体方法为：

训练时，输入大量人体图片作为正样本，输入大量无人体图片作为负样本，通过神经网络模型训练分类器进行训练学习并得到人体特征模型；

识别时，输入运动目标的前景图片，通过运动目标的前景图片与神经网络模型训练分类器中的人体特征模型进行识别匹配，若大于相识度M，则判断前景图片中有人体目标，M＝[0,1]，U越高表明目标越符合人体特征。

本发明中，步骤四中的所述人体骨骼化通过开源的openpose方法获得。其开源地址为：https://github.com/CMU-Perceptual-Computing-Lab/openpose。

本发明中，身体关节部位点的数据信息判断人的数量≥2包括以下方式的一种或多种：胸口关节点值≥2、肩膀关节点值≥2、肩臂关节点值≥4、手臂关节点值≥4、手腕关节点值≥4、脚腕关节点值≥4和左右臂膀关节点值≥4。

本发明中，步骤五中判断人员距离过近包括以下方式的一种或多种：

(1)对在步骤四中获取到的骨骼化数据进行处理，取不同人员胸口关节点位置进行坐标系X,Y距离的计算，当不同人员之间胸口关节点位置距离小于2.5个肩臂时判断人员距离过近；

(2)对在步骤四中获取到的骨骼化数据进行处理，取脚腕关节点位置进行坐标系X,Y距离的计算，当不同人员之间脚腕关节点位置最小距离小于2.5个肩臂时判断人员距离过近；

(3)对在步骤四中获取到的骨骼化数据进行处理，取手腕关节点位置进行坐标系X,Y距离的计算，当不同人员之间手腕关节点位置最小距离小于1个肩臂时判断人员距离过近。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围中。

Claims (5)

1.基于视频流数据的审讯室人员近距离接触识别方法，其特征在于，包括以下步骤：

步骤一、视频流数据获取

在审讯室区域设置摄像头，获取摄像机视频流，并对视频流数据进行RGB转换，使其转换为相应的彩色图像；

步骤二、活动目标提取

通过对视频中获取的n帧画面进行背景建模，然后对n+1帧画面中的活动目标进行帧差，将n+1帧像素值I(x,y)减去背景模型中相同位置像素点的平均值u(x,y)，得到差值d(x,y)，然后将该差值d(x,y)与阈值TH进行比较，当差值d(x,y)大于阈值TH时，则标记为前景点；否则，标记为背景点；

通过前景点连续的帧来判断该活动目标是否连续运动，是否连续出现，若达不到连续N帧出现，则过滤；反之，该活动目标连续N帧出现，且N帧内活动目标的X、Y坐标大于i像素点，则判断为持续运动，得到活动目标的前景图片；其中，N＝[1,200]，N值的大小，反映为观察目标的时间跨度，此值越小，则给出判断的反应时间越快，越灵敏；i表示为水平和垂直方向上的位置像素量，i的取值范围[1,20]，i越小，检测越灵敏；

步骤三、人体目标匹配

截取步骤二中判断为活动目标的前景图片与人体特征模型进行匹配，若大于相识度P，则判断前景图片中有人体目标，并进入下一步；反之，则判断待测目标图像中没有人体目标，并返回步骤二继续进行活动目标的提取操作；其中P＝[0,1]，P值越大，表示目标为人的可能性越高；

步骤四、人体骨骼化

截取步骤三中判断为有人体目标的前景图片进行人体骨骼化处理，得到身体关节部位点，包括胸口、肩膀、肩臂、手臂、手腕、脚腕和左右臂膀的关节部位点的数据信息，并通过骨骼化的身体关节部位点的数据信息判断人的数量是否大于2，若是，则进入下一步；反之，则判断待测目标图像，并返回步骤二继续进行活动目标的提取操作；

步骤五、人员距离判断

对在步骤四中获取到的骨骼化数据进行处理，取不同人员的相同的身体关节部位点位置进行坐标系X,Y距离的计算，并根据相同的身体关节部位点位置距离的大小来判断人员是否符合距离过近的范围，若是，则判断审讯室人员近距离接触，反之，则判断待测目标距离较远，并返回步骤四继续进行骨骼化数据的提取操作。

2.根据权利要求1所述的基于视频流数据的审讯室人员近距离接触识别方法，其特征在于：步骤三中的所述人体特征模型是通过神经网络模型训练分类器训练和识别得到的，其具体方法为：

训练时，输入大量人体图片作为正样本，输入大量无人体图片作为负样本，通过神经网络模型训练分类器进行训练学习并得到人体特征模型；

识别时，输入运动目标的前景图片，通过运动目标的前景图片与神经网络模型训练分类器中的人体特征模型进行识别匹配，若大于相识度M，则判断前景图片中有人体目标，M＝[0,1]，U越高表明目标越符合人体特征。

3.根据权利要求1所述的基于视频流数据的审讯室人员近距离接触识别方法，其特征在于：步骤四中的所述人体骨骼化是通过开源的openpose方法获得。

4.根据权利要求1所述的基于视频流数据的审讯室人员近距离接触识别方法，其特征在于：身体关节部位点的数据信息判断人的数量≥2包括以下方式的一种或多种：胸口关节点值≥2、肩膀关节点值≥2、肩臂关节点值≥4、手臂关节点值≥4、手腕关节点值≥4、脚腕关节点值≥4和左右臂膀关节点值≥4。

5.根据权利要求1所述的基于视频流数据的审讯室人员近距离接触识别方法，其特征在于：步骤五中判断人员距离过近包括以下方式的一种或多种：

(1)对在步骤四中获取到的骨骼化数据进行处理，取不同人员胸口关节点位置进行坐标系X,Y距离的计算，当不同人员之间胸口关节点位置距离小于2.5个肩臂时判断人员距离过近；

(2)对在步骤四中获取到的骨骼化数据进行处理，取脚腕关节点位置进行坐标系X,Y距离的计算，当不同人员之间脚腕关节点位置最小距离小于2.5个肩臂时判断人员距离过近；

(3)对在步骤四中获取到的骨骼化数据进行处理，取手腕关节点位置进行坐标系X,Y距离的计算，当不同人员之间手腕关节点位置最小距离小于1个肩臂时判断人员距离过近。