CN110852277A - 一种用于警务督察的玩手机识别系统及方法 - Google Patents

Abstract

本发明提出了一种用于警务督察的玩手机识别系统及方法，包括图像识别模块、人体定位模块以及时序处理模块；所述图像识别模块识别包含审讯人员的原始图像数据并传递给人体定位模块，然后对不包含审讯人员的原始图像数据进行正常状态标记；人体定位模块对审讯人员的行为状态进行判断并标记为正常或异常行为状态；所述时序处理模块将原始视频数据分割为时序内可识别的原始图像数据集，并根据人体定位模块判断的行为状态进行时序分析，然后输出行为状态异常报警信号；从而实现精细化处理，和对特定人群的玩手机行为状态自动化识别，有效减少了误报的发生，提高了系统稳定性。

Description

一种用于警务督察的玩手机识别系统及方法

技术领域

本发明涉及图像识别领域，尤其涉及一种用于警务督察的玩手机识别系统及方法。

背景技术

为落实中央提升民警执法能力规范文明执法，让群众感受到正义的指示，加强对审讯室执法过程的监督。贯彻科技强警的理念，应用现代化先进技术，对审讯室执法过程进行监督，将大量繁琐的视频审查工作交由机器执行，可以有效的提升督察监督效率，为文明执法保驾护航。公安工作人员在审讯过程中“玩手机”屡见不鲜，有损文明执法形象，也降低了办案效率，可见“玩手机”的危害之大。

目前现有文献和专利多集中在不区分识别对象的玩手机行为状态识别或是驾驶员的行为状态识别，而对于一类特定人群的行为状态识别是比较缺乏的，且大多数的文献和专利并未真正区分“接听电话”和“玩手机”的状态，无法直接应用到公安督察系统，以至于像用手机查看时间等正常行为状态也被错误标记，造成了大量的复核成本浪费。

发明内容

本发明的目的在于，针对上述问题，提出一种用于警务督察的玩手机识别系统及方法，针对特定人群实现行为状态自动识别，并进一步区分该行为特征中玩手机和其他行为状态，减少误报，降低复核成本，提升系统可靠性。

一种用于警务督察的玩手机识别系统，其特征在于，包括：

图像识别模块，识别包含审讯人员的原始图像数据并传递给人体定位模块；

人体定位模块，对审讯人员手部区域进行定位并判断手部区域是否包含有手机，根据审讯人员的原始图像数据中头部和手部以及手机的相对位置判断审讯人员的行为状态；

时序处理模块，将原始视频数据分割为时序内可识别的原始图像数据集发送至图像识别模块，并根据人体定位模块判断的行为状态进行时序分析，然后输出行为状态异常报警信号。

优选的，还包括视频数据采集模块和存储模块，所述视频数据采集模块采集原始视频数据并发送至存储模块，所述时序处理模块解码存储模块中的序列图像并将时序内可识别的原始图像数据以时序顺序依次发送至图像识别模块。

优选的，所述图像识别模块和人体定位模块共同完成对可识别的原始图像数据集中每个原始图像数据的审讯人员行为状态的识别，并将不含审讯人员或手部区域不包含有手机或头部和手部以及手机的相对位置不相符合的原始图像数据标记为正常状态；所述人体定位模块将行为状态异常的原始图像数据标记为异常状态。

优选的，所述原始图像数据被标记后发送至存储模块，并按照时序顺序进行重新排列。

优选的，所述时序处理模块设置有时间滤波器，所述时间滤波器对行为状态异常的图像数据进行时间统计，并判断行为状态异常的时间是否大于阈值，从而得到最终行为状态，同时输出“疑似玩手机”行为状态异常报警信号。

优选的，所述图像识别模块根据工作服识别审讯人员。

优选的，所述相对位置为头部区域、手部区域以及手机三个图像区域的各种位置组合，所述位置组合构成三维图像时判断为异常状态，所述位置组合构成二维图像时判断为正常状态。

一种用于警务督察的玩手机识别方法，包括以下步骤：

S1：采集视频数据；

S2：解码序列图像并生成时序内可识别的原始图像数据集；

S3：依次识别原始图像数据集中每个原始图像数据的审讯人员行为状态；

S4：判断行为状态异常时间是否大于阈值；

S5：当行为状态异常时间大于阈值时，输出行为状态异常报警信号；否则重复步骤S3至此步骤；

S6：人工复核确认最终行为状态。

优选的，所述步骤S3包括以下子步骤：

S31：识别原始图像数据中的审讯人员，无审讯人员则标记当前原始图像数据为正常状态，依次重复此步骤直至原始图像数据中包含审讯人员，并进入下一步骤；

S32：定位审讯人员手部区域，并判断是否包含手机，否则标记当前原始图像数据为正常状态并返回步骤S31，是则进入下一步骤；

S33：判断原始图像数据中头部和手部以及手机的相对位置，当三个图像区域的组合位置可以构成三维图像时，判断为行为状态异常，标记当前原始图像数据为异常状态；否则判断行为状态正常，并标记当前原始图像数据为正常状态，然后返回步骤S31；

S34：将被标记的原始图像数据发送至存储模块进行重新排列。

本发明的有益效果：通过深度学习中的目标检测算法实现审讯人员的精确定位，能从整体到局部逐级细分，而不是图像全图搜索，实现了精细化处理；可大大降低劳动力成本，对违规行为实时处置，实现对特定人群的玩手机行为状态自动化识别，同时通过时序滤波器滤除“毛刺”减少误报发生。

附图说明

图1是一种用于警务督察的玩手机识别系统结构连接图；

图2是一种用于警务督察的玩手机识别方法流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

本实施例中，如图1所示的一种用于警务督察的玩手机识别系统，包括视频数据采集模块、存储模块、图像识别模块、人体定位模块以及时序处理模块，视频数据采集模块采集原始视频数据并发送至存储模块，时序处理模块解码存储模块中的序列图像并将原始视频数据分割为时序内可识别的原始图像数据集，然后将时序内可识别的原始图像数据以时序顺序依次发送至图像识别模块；图像识别模块识别包含审讯人员的原始图像数据并传递给人体定位模块；人体定位模块对审讯人员手部区域进行定位并判断手部区域是否包含有手机，然后根据审讯人员的原始图像数据中头部和手部以及手机的相对位置判断审讯人员的行为状态；所述时序处理模块根据人体定位模块判断的行为状态进行时序分析，然后输出行为状态异常报警信号。

图像识别模块通过深度学习中的目标检测算法实现审讯人员的精确定位，图像识别模块识别含有审讯人员的原始图像数据并将该原始图像数据发送至人体定位模块，且标记不含审讯人员的原始图像数据为正常状态；人体定位模块完成对含有审讯人员的原始图像数据的审讯人员行为状态的识别，并将审讯人员手部区域不包含有手机或头部和手部以及手机的相对位置不相符合的原始图像数据标记为正常状态；将行为状态异常的原始图像数据标记为异常状态。

标记后的原始图像数据发送至存储模块中，并根据可识别的原始图像数据集的时序顺序进行重新排列，重新排列后的图像数据时序顺序不变，但是每帧图像数据都包括了一个正常或异常的状态标记。

时序处理模块读取存储模块中的每帧图像数据并从第一个异常状态开始计时，在异常状态之后如果为正常状态，则丢弃第一个异常状态图像数据，依次检测直至连续帧的图像数据都为异常状态，所述计时是通过时序处理模块中的时间滤波器进行的，所述时间滤波器对行为状态异常进行时间统计，并判断行为状态异常的时间是否大于阈值，如果行为状态异常时间大于阈值，则判断审讯人员玩手机，从而得到最终行为状态，同时输出“疑似玩手机”行为状态异常报警信号；如果行为状态异常时间小于阈值，则判断审讯人员行为状态正常；所述时间滤波器通过对行为状态异常进行时序分析并滤除时间序列中的“毛刺”，从而得到最终行为状态，所述“毛刺”包括行为状态异常时间小于阈值的情况。

图像识别模块根据工作服识别原始图像数据中是否包含审讯人员，具体的，通过事先导入特定的工作服特征，例如，徽章、肩章、胸章、国徽、帽檐、金边、工作服颜色以及其他具有区别性的工作人员服装特征；在原始图像数据采集后，通过导入的工作服特征识别图像中人物图像是否包含此类特征；为减少误判，可以设置同时拥有多类服装特征的人物图像为包含审讯人员的原始图像数据，例如，着装为统一特定颜色且带有肩章和胸章的人物图像识别为审讯人员。

人体定位模块对审讯人员手部区域进行定位并判断手部区域是否包含有手机，具体为判断手机与手部区域的接触面积，当判断审讯人员手部区域包含有手机后，进一步判断头部和手部以及手机的相对位置，所述相对位置为头部区域、手部区域以及手机三个图像区域的各种组合位置，具体的，当图像数据的头部区域中包含了手部区域以及手机，或头部区域与手部区域以及手机都存在交点，也就是所述三个图像区域的组合位置仅能构成二维平面图像时，判断为正常状态；当三个图像区域各自分开，且头部区域与手部区域以及手机不都存在交点，即可进一步判断三个图像区域的组合位置是否可以构成三维图像，如果可以则判断为异常状态。

更具体的，三个图像区域的组合位置，如果成三角位置组合，即头部区域的眼睛视角可以正对手机屏幕从而构成三维图像，即可认定为异常状态。

如图2所示的一种用于警务督察的玩手机识别系统的识别方法，包括以下步骤：

S1：采集视频数据；

S2：解码序列图像并生成时序内可识别的原始图像数据集；

S3：依次识别原始图像数据集中每个原始图像数据的审讯人员行为状态；

S4：判断行为状态异常时间是否大于阈值；

S5：当行为状态异常时间大于阈值时，输出行为状态异常报警信号；否则重复步骤S3至此步骤；

S6：人工复核确认最终行为状态。

其中步骤S3包括以下子步骤：

S31：识别原始图像数据中的审讯人员，无审讯人员则标记当前原始图像数据为正常状态，依次重复此步骤直至原始图像数据中包含审讯人员，并进入下一步骤；

S32：定位审讯人员手部区域，并判断是否包含手机，否则标记当前原始图像数据为正常状态并返回步骤S31，是则进入下一步骤；

S33：判断原始图像数据中头部和手部以及手机的相对位置，当三个图像区域的组合位置可以构成三维图像时，判断为行为状态异常，标记当前原始图像数据为异常状态；否则判断行为状态正常，并标记当前原始图像数据为正常状态，然后返回步骤S31；

S34：将被标记的原始图像数据发送至存储模块进行重新排列。

本方案通过对监控区域审讯室视频数据进行采集，并将视频解码成可识别的原始图像数据集；然后在原始图像数据中识别是否包含有审讯员，对含有审讯员的图像进行进一步处理，判断其行为状态是否正常，即判断是否在玩手机；通过对行为状态正常状态和异常状态在时序内的顺序排列，通过时间滤波器判断其连续帧的异常状态时间是否超过阈值，并对超过阈值的连续帧的异常状态进行报警提示，由此实现了精细化处理，和对特定人群的玩手机行为状态自动化识别，有效减少了误报的发生，提高了系统稳定性。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书界定。

Claims (9)

1.一种用于警务督察的玩手机识别系统，其特征在于，包括：

图像识别模块，识别包含审讯人员的原始图像数据并传递给人体定位模块；

人体定位模块，对审讯人员手部区域进行定位并判断手部区域是否包含有手机，根据审讯人员的原始图像数据中头部和手部以及手机的相对位置判断审讯人员的行为状态；

时序处理模块，将原始视频数据分割为时序内可识别的原始图像数据集发送至图像识别模块，并根据人体定位模块判断的行为状态进行时序分析，然后输出行为状态异常报警信号。

2.根据权利要求1所述的一种用于警务督察的玩手机识别系统，其特征在于，还包括视频数据采集模块和存储模块，所述视频数据采集模块采集原始视频数据并发送至存储模块，所述时序处理模块解码存储模块中的序列图像并将时序内可识别的原始图像数据以时序顺序依次发送至图像识别模块。

3.根据权利要求1所述的一种用于警务督察的玩手机识别系统，其特征在于，所述图像识别模块和人体定位模块共同完成可识别的原始图像数据集中每个原始图像数据的审讯人员行为状态的识别，并将不含审讯人员或手部区域不包含有手机或头部和手部以及手机的相对位置不相符合的原始图像数据标记为正常状态；所述人体定位模块将行为状态异常的原始图像数据标记为异常状态。

4.根据权利要求3所述的一种用于警务督察的玩手机识别系统，其特征在于，所述原始图像数据被标记后发送至存储模块，并按照时序顺序进行重新排列。

5.根据权利要求4所述的一种用于警务督察的玩手机识别系统，其特征在于，所述时序处理模块设置有时间滤波器，所述时间滤波器对行为状态异常的图像数据进行时间统计，并判断行为状态异常的时间是否大于阈值，从而得到最终行为状态，同时输出“疑似玩手机”行为状态异常报警信号。

6.根据权利要求1所述的一种用于警务督察的玩手机识别系统，其特征在于，所述图像识别模块根据工作服识别审讯人员。

7.根据权利要求1所述的一种用于警务督察的玩手机识别系统，其特征在于，所述相对位置为头部区域、手部区域以及手机三个图像区域的各种位置组合，所述位置组合构成三维图像时判断为异常状态，所述位置组合构成二维图像时判断为正常状态。

8.根据权利要求1-7任意一项所述的一种用于警务督察的玩手机识别系统的识别方法，其特征在于，包括以下步骤：

S1：采集视频数据；

S2：解码序列图像并生成时序内可识别的原始图像数据集；

S3：依次识别原始图像数据集中每个原始图像数据的审讯人员行为状态；

S4：判断行为状态异常时间是否大于阈值；

S5：当行为状态异常时间大于阈值时，输出行为状态异常报警信号；否则重复步骤S3至此步骤；

S6：人工复核确认最终行为状态。

9.根据权利要求8所述的一种用于警务督察的玩手机识别方法，其特征在于：所述步骤S3包括以下子步骤：

S31：识别原始图像数据中的审讯人员，无审讯人员则标记当前原始图像数据为正常状态，依次重复此步骤直至原始图像数据中包含审讯人员，并进入下一步骤；

S32：定位审讯人员手部区域，并判断是否包含手机，否则标记当前原始图像数据为正常状态并返回步骤S31，是则进入下一步骤；

S33：判断原始图像数据中头部和手部以及手机的相对位置，当三个图像区域的组合位置可以构成三维图像时，判断为行为状态异常，标记当前原始图像数据为异常状态；否则判断行为状态正常，并标记当前原始图像数据为正常状态，然后返回步骤S31；

S34：将被标记的原始图像数据发送至存储模块进行重新排列。

Images