CN110674728B

CN110674728B - 基于视频图像识别玩手机方法、装置、服务器及存储介质

Info

Publication number: CN110674728B
Application number: CN201910893024.7A
Authority: CN
Inventors: 黄金龙; 漆浩
Original assignee: Chongqing Commercial Service Technology Co ltd
Current assignee: Chongqing Commercial Service Technology Co ltd
Priority date: 2019-09-20
Filing date: 2019-09-20
Publication date: 2022-05-10
Anticipated expiration: 2039-09-20
Also published as: CN110674728A

Abstract

本发明提供一种基于视频图像识别玩手机方法、装置、服务器及存储介质，利用玩手机过程中，人体手部与手机之间所存在的变化关系，通过检测设定周期内人体手部变化情况与手机色彩变化情况，以实现玩手机行为的检测，保证了企业员工工作过程中，做好自己的本职工作，减少安全事故的发生。

Description

基于视频图像识别玩手机方法、装置、服务器及存储介质

技术领域

本发明涉及视频监控识别技术领域，尤其涉及基于视频图像识别玩手机方法、装置、服务器及存储介质。

背景技术

随着我国人民生活水平的不断提高，手机普及到每一个人，而伴随着智能化时代的到来，手机已经是集通讯、娱乐、购物、工作于一身的高科技产品，手机已经越来越影响到我们的生活和工作。但是手机带来的是不仅仅有便利，还有各种因为耍手机造成的安全事故。而随着越来越多因为手机造成的安全事故越多，企业对于工作时手机的使用管理规范已经引起了高度重视，而在制定安全规章制度的同时，也需要对员工在工作当中耍手机进行监控。

我国的安全监控技术发展的越来越快，但是无法满足对于员工的个人耍手机的行为进行准确监测，报警。实时监测企业员工的个人耍手机行为，可以有效提高员工的工作注意力，做好自己的本职工作，减少安全事故的发生，为安全生产多设一道“防火墙”。

发明内容

本发明提供的基于视频图像识别玩手机方法、装置、服务器及存储介质，主要解决的技术问题是：保证企业员工工作过程中，做好自己的本职工作，减少安全事故的发生，为安全生产多设一道“防火墙”。

为解决上述技术问题，本发明提供一种基于视频图像识别玩手机方法，包括：

从待测监控视频流中依次获取设定周期内的N张待测视频图片，所述N大于等于2；

针对每一张所述待测视频图片，识别得到其中包含人体手部的第一待测图片区域，以及包含手机的第二待测图片区域；

依次将所述N张待测视频图片中的后一张待测视频图片的第一待测图片区域，与前一张待测视频图片的第一待测图片区域进行比对，确定所述后一张待测视频图片与所述前一张待测视频图片在人体手部姿势上是否发生变化，得到第一比对结果；

依次将所述N张待测视频图片中的后一张待测视频图片的第二待测图片区域，与前一张待测视频图片的第二待测图片区域进行比对，判断所述后一张待测视频图片与所述前一张待测视频图片在手机色彩上是否发生变化，得到第二比对结果；

基于各所述第一比对结果与各所述第二比对结果，计算所述设定周期内人体手部姿势变化率与手机色彩变化率，或者计算所述设定周期内人体手部姿势与所述手机色彩的同步变化率；所述设定周期内人体手部姿势变化率为所述N张待测视频图片中，所述第一比对结果为“是”的次数，或者所述第一比对结果为“是”的次数与N-1的比值；所述手机色彩变化率为所述N张待测视频图片中，所述第二比对结果为“是”的次数，或者所述第二比对结果为“是”的次数与N-1的比值；所述同步变化率为所述N张待测视频图片中，人体手部姿势与手机色彩同时发生变化的待测视频图片数量，或者所述人体手部姿势与手机色彩同时发生变化的待测视频图片数量与N-1的比值；

将所述设定周期内人体手部姿势变化率、所述手机色彩变化率，与设定变化率阈值进行比较；或者将所述设定周期内人体手部姿势与所述手机色彩的同步变化率，与设定同步变化率阈值进行比较；从而判断是否发生玩手机行为。

可选的，所述将所述设定周期内人体手部姿势变化率、所述手机色彩变化率，与设定变化率阈值进行比较，从而判断是否发生玩手机行为包括：

若判断所述设定周期内人体手部姿势变化率和所述手机色彩变化率大于等于所述设定变化率阈值，则判定发生玩手机行为；相反，则判定未发生玩手机行为。

可选的，所述将所述设定周期内人体手部姿势与所述手机色彩的同步变化率，与设定同步变化率阈值进行比较，从而判断是否发生玩手机行为包括：

将所述同步变化率与所述设定同步变化率阈值进行比较，若判断所述同步变化率大于等于所述设定同步变化率阈值，则判定发生玩手机行为；相反，则判定未发生玩手机行为。

可选的，所述依次将所述N张待测视频图片中的后一张待测视频图片的第二待测图片区域，与前一张待测视频图片的第二待测图片区域进行比对，判断所述后一张待测视频图片与所述前一张待测视频图片在手机色彩上是否发生变化包括：

针对每一张所述待测视频图片，裁剪得到其所述第二待测图片区域，并将所述第二待测图片区域转换为HSV格式，构建颜色直方图；将所述后一张待测视频图片对应的颜色直方图，与所述前一张待测视频图片对应的颜色直方图进行相似度计算，当两者的相似度达到预设相似度阈值时，判断所述后一张待测视频图片相对于所述前一张待测视频图片在手机色彩上未发生变化；相反，若两者的相似度未达到所述预设相似度阈值，则判断在手机色彩上发生变化。

可选的，所述将所述后一张待测视频图片对应的颜色直方图，与所述前一张待测视频图片对应的颜色直方图进行相似度计算，包括采用correlation相关性比较、Chi-Square卡方比较、Intersection十字交叉性、Bhattacharyya distance巴氏距离比较中的一种方式计算相似度。

可选的，所述设定周期包括至少两个设定子周期，每一所述设定子周期内包含至少两张待测视频图片；针对每一所述设定子周期判断其是否发生玩手机行为，统计所述设定周期内，发生玩手机行为的设定子周期个数，当所述发生玩手机行为的设定子周期个数达到设定个数阈值时，判定所述设定周期内发生玩手机行为。

可选的，所述方法还包括：在判定所述设定周期内发生玩手机行为时，还可以生成告警提示消息，并发送给目标设备。

本发明还提供一种基于视频图像识别玩手机装置，包括：

图片获取模块，用于从待测监控视频流中依次获取设定周期内的N张待测视频图片，所述N大于等于2；

图片识别模块，用于针对每一张所述待测视频图片，识别得到其中包含人体手部的第一待测图片区域，以及包含手机的第二待测图片区域；

第一比对模块，用于依次将所述N张待测视频图片中的后一张待测视频图片的第一待测图片区域，与前一张待测视频图片的第一待测图片区域进行比对，确定所述后一张待测视频图片与所述前一张待测视频图片在人体手部姿势上是否发生变化，得到第一比对结果；

第二比对模块，用于依次将所述N张待测视频图片中的后一张待测视频图片的第二待测图片区域，与前一张待测视频图片的第二待测图片区域进行比对，判断所述后一张待测视频图片与所述前一张待测视频图片在手机色彩上是否发生变化，得到第二比对结果；

计算模块，用于基于各所述第一比对结果与各所述第二比对结果，计算所述设定周期内人体手部姿势变化率与手机色彩变化率，或者计算所述设定周期内人体手部姿势与所述手机色彩的同步变化率；所述设定周期内人体手部姿势变化率为所述N张待测视频图片中，所述第一比对结果为“是”的次数，或者所述第一比对结果为“是”的次数与N-1的比值；所述手机色彩变化率为所述N张待测视频图片中，所述第二比对结果为“是”的次数，或者所述第二比对结果为“是”的次数与N-1的比值；所述同步变化率为所述N张待测视频图片中，人体手部姿势与手机色彩同时发生变化的待测视频图片数量，或者所述人体手部姿势与手机色彩同时发生变化的待测视频图片数量与N-1的比值；

处理模块，用于将所述设定周期内人体手部姿势变化率、所述手机色彩变化率，与设定变化率阈值进行比较；或者用于将所述设定周期内人体手部姿势与所述手机色彩的同步变化率，与设定同步变化率阈值进行比较；从而判断是否发生玩手机行为。

本发明还提供一种服务器，包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的一个或者多个程序，以实现如上任一项所述的基于视频图像识别玩手机方法的步骤。

本发明还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一项所述的基于视频图像识别玩手机方法的步骤。

本发明的有益效果是：

根据本发明提供的基于视频图像识别玩手机方法、装置、服务器及存储介质，该方法包括从待测监控视频流中依次获取设定周期内的N张待测视频图片，N大于等于2；针对每一张待测视频图片，识别得到其中包含人体手部的第一待测图片区域，以及包含手机的第二待测图片区域；依次将N张待测视频图片中的后一张待测视频图片的第一待测图片区域，与前一张待测视频图片的第一待测图片区域进行比对，确定后一张待测视频图片与前一张待测视频图片在人体手部姿势上是否发生变化，得到第一比对结果；依次将N张待测视频图片中的后一张待测视频图片的第二待测图片区域，与前一张待测视频图片的第二待测图片区域进行比对，判断后一张待测视频图片与前一张待测视频图片在手机色彩上是否发生变化，得到第二比对结果；基于各第一比对结果与各第二比对结果，计算设定周期内人体手部姿势变化率与手机色彩变化率，或者计算设定周期内人体手部姿势与手机色彩的同步变化率；其中设定周期内人体手部姿势变化率为N张待测视频图片中，第一比对结果为“是”的次数，或者第一比对结果为“是”的次数与N-1的比值；手机色彩变化率为N张待测视频图片中，第二比对结果为“是”的次数，或者第二比对结果为“是”的次数与N-1的比值；同步变化率为N张待测视频图片中，人体手部姿势与手机色彩同时发生变化的待测视频图片数量与N的比值；将设定周期内人体手部姿势变化率、手机色彩变化率，与设定变化率阈值进行比较；或者将设定周期内人体手部姿势与手机色彩的同步变化率，与设定同步变化率阈值进行比较；从而判断是否发生玩手机行为。利用玩手机过程中，人体手部与手机之间所存在的变化关系，通过检测设定周期内人体手部变化情况与手机色彩变化情况，以实现玩手机行为的检测，保证了企业员工工作过程中，做好自己的本职工作，减少安全事故的发生。

进一步地，相对于常规的利用人体手部与手机之间的距离关系，来检测玩手机行为的方案，可实现更多玩手机场景的检测识别，同时可有效提高检测的准确性、可靠性。

附图说明

图1为本发明实施例一的基于视频图像识别玩手机的方法流程示意图；

图2为本发明实施例一的一种待测视频图片获取示意图；

图3为本发明实施例一的另一种待测视频图片获取示意图；

图4为本发明实施例一的又一种待测视频图片获取示意图；

图5为本发明实施例二的一种待测视频图片获取示意图；

图6为本发明实施例三的基于视频图像识别玩手机的装置结构示意图；

图7为本发明实施例四的服务器结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：

请参见图1，图1为本实施例提供的基于视频图像识别玩手机方法流程示意图，该方法主要包括如下步骤：

S101、从待测监控视频流中依次获取设定周期内的N张待测视频图片，N大于等于2。

应当理解，视频流是存在时间顺序的，帧与帧之间按照时间先后顺序播放形成播放视频，此处“依次获取”则应理解为按照该待测监控视频流的时间先后顺序进行获取。

设定周期可根据实际需求灵活设置，例如设定周期设置为1秒、5秒、10秒、20秒等等。一个设定周期，将产生一个是否发生玩手机行为的最终判决结果；本实施例中，需要通过检测设定周期内人体手部变化情况与手机色彩变化情况，来实现是否发生玩手机的判决，因此一个设定周期应当保证至少存在2张待测视频图片。

假设设定周期设置为5秒，待测监控视频流采集帧率假设为10Hz，请参见图2，则该设定周期内存在50帧图片，可以依次获取全部图片作为待测视频图片。

可选的，依次间隔获取其中的部分图片作为待测视频图片，例如每间隔一帧获取一张图片作为待测视频图片，这样将得到25张待测视频图片；当然也可以间隔多张依次获取，例如间隔两张获取一张，即每3张获取一张，这样在一个设定周期内将得到19张待测视频图片。但一个设定周期内保证至少有2张待测视频图片。

应当理解的是，设定周期之间可以设置时间间隔，也即间隔一时间段继续进行玩手机检测，减少服务器工作负荷；也可以将该时间间隔设置为0，即设定周期之间不存在时间间隔，当前设定周期检测完毕后，立即采集下一设定周期的待测视频图片进行玩手机检测，实现不间断检测。请参见图3，当前设定周期与下一设定周期之间是独立，利用当前设定周期内的待测视频图片进行是否发生玩手机行为的识别，判决发生在t₅₀(可能存在计算延迟)；针对下一设定周期，利用的是该下一设定周期内的待测视频图片进行识别，判决发生在t_100+a(可能存在计算延迟)。t₅₀与t_50+a之间的时间差即为两设定周期之间的时间间隔。

在本发明的其他实施例中，请参见图4，设定周期可以是以时间窗的形式进行，即当前设定周期与下一设定周期之间存在N-1张待测视频图片是重复的。具体的，假设当前设定周期包含第1，2,3…,N-1,N张待测视频图片，在获取到该第N张待测视频图片时，即可结合该1～N张待测视频图片进行玩手机行为的识别判决；在获取到第N+1待测视频图片时，即可结合该第2,3，…,N,N+1这N张待测视频图片进行玩手机行为的识别判决。应当理解，第K个设定周期，则对应的待测视频图片包含第K，K+1，…,K+N21,K+N-1则N待待测视频图片。

应当理解的是，待测监控视频流通过安装于能够拍摄到员工岗位的位置，在工作时间段，通过开启监控摄像头对员工工作行为进行视频采集，形成待测监控视频流。监控摄像头与后台服务器通过有线或者无限的方式，获取待测监控视频流。

可选的，利用网络视频服务器(DVS，Digital Video Server)，实现监控摄像头与后台服务器之间的通信连接，其中网络视频服务器主要用于以太网实时传输数字音视频的多媒体服务器，它能通过以太网(局域网/广域网)将实时的图像通过网络传输给后台服务器。网络视频服务器可以在保留现有模拟视频监控设备的同时，将视频监视系统平滑升级到基于网络的视频监控系统，并消除了系统对于同轴电缆、模拟监视器和DVR等专用设备的依赖。

可选的，利用opencv提供了VideoCapture类，可以方便地将每一帧视频图像压缩成jpg格式的图片，以形成待测视频图片。

S102、针对每一张待测视频图片，识别得到其中包含人体手部的第一待测图片区域，以及包含手机的第二待测图片区域。

本实施例中，识别待测视频图片中人体手部图形以及手机图像的方式，可以采用现有任意方式，本实施例对此不做限制。可选的，对于人体手部姿势的识别，可以通过结合HandVu和Opencv技术对人体手部动作识别分析，判断其手势是否有弯曲动作，并记录弯曲变化。其中手部包括手臂、手掌、手指中至少一种。

对于待测视频图片中手机图形的识别，可利用opencv识别指定物体技术，通过对比预先录入的图像识别训练集，对包含手机图形的第二待测图片区域进行识别、裁剪。

S103、依次将N张待测视频图片中的后一张待测视频图片的第一待测图片区域，与前一张待测视频图片的第一待测图片区域进行比对，确定后一张待测视频图片与前一张待测视频图片在人体手部姿势上是否发生变化，得到第一比对结果。

通过对包含人体手部姿势图形的前后待测图片区域进行比对，确定人体手部姿势是否发生变化，可采用现有任意方式处理，本实施例不做限制。可选的，利用HandVu技术进行识别，需要说明的是，HandVu是基于视觉的手势识别软件集，它以标准姿势检测手部姿势，跟踪并识别关键姿势变化，所有这些都可以是实时的，无需相机或用户校准。输出可通过库调用，自定义格式的客户端。

S104、依次将N张待测视频图片中的后一张待测视频图片的第二待测图片区域，与前一张待测视频图片的第二待测图片区域进行比对，判断后一张待测视频图片与前一张待测视频图片在手机色彩上是否发生变化，得到第二比对结果。

可选的，针对每一张待测视频图片，裁剪得到其第二待测图片区域，并将第二待测图片区域转换为HSV格式，构建颜色直方图；将后一张待测视频图片对应的颜色直方图，与前一张待测视频图片对应的颜色直方图进行相似度计算，当两者的相似度达到预设相似度阈值时，判断后一张待测视频图片相对于前一张待测视频图片在手机色彩上未发生变化；相反，若两者的相似度未达到预设相似度阈值，则判断在手机色彩上发生变化。其中，预设相似度阈值可根据实际需求灵活设置。

颜色直方图所描述的是不同色彩在整幅图像中所占的比例，并不关心每种色彩所处的空间位置，即无法描述图像中的对象或物体。任一幅图像都能唯一的给出一幅与它对应的直方图。OpenCV提供了计算图像颜色直方图的API函数calcHist，通过调用这个函数可以很方便的计算图像的颜色直方图。

判断后一张待测视频图片与前一张待测视频图片在手机色彩上是否发生变化，可以采用correlation相关性比较、Chi-Square卡方比较、Intersection十字交叉性、Bhattacharyya distance巴氏距离比较中的一种方式计算相似度。计算相似度的过程属于现有过程，在此不再赘述。

在本发明的其他实施例中，判断后一张待测视频图片与前一张待测视频图片在手机色彩上是否发生变化的方式，还可以现有其他任意方式，在此不再赘述。

应当理解，步骤S103与步骤S104的执行顺序无限制，可任意串行处理或者并行处理。

S105、基于各第一比对结果与各第二比对结果，计算设定周期内人体手部姿势变化率与手机色彩变化率，或者计算设定周期内人体手部姿势与手机色彩的同步变化率；设定周期内人体手部姿势变化率为N张待测视频图片中，第一比对结果为“是”的次数，或者第一比对结果为“是”的次数与N-1的比值；手机色彩变化率为N张待测视频图片中，第二比对结果为“是”的次数，或者第二比对结果为“是”的次数与N-1的比值；同步变化率为N张待测视频图片中，人体手部姿势与手机色彩同时发生变化的待测视频图片数量，或者人体手部姿势与手机色彩同时发生变化的待测视频图片数量与N-1的比值。

S106、将设定周期内人体手部姿势变化率、手机色彩变化率，与设定变化率阈值进行比较；或者将设定周期内人体手部姿势与手机色彩的同步变化率，与设定同步变化率阈值进行比较；从而判断是否发生玩手机行为。

本实施例中，基于设定周期内的N张待测视频图片，人体手部姿势变化情况与手机色彩变化情况，判断是否发生玩手机行为，在此提供如下两种方式：

方式一，利用设定周期内人体手部姿势变化率、手机色彩变化率与设定变化率阈值之间的大小关系，判断是否发生玩手机行为：

假设设定周期内获取到100张待测视频图片，在这100张待测视频图片中，假设第二张待测视频图片的第一待测图片区域(包含人体手部姿势的区域)，相对于第一张待测视频图片的第一待测图片区域，确定人体手部姿势是否发生变化，如是，则确定第一比对结果为“是”，次数为1次；如否，则确定第一比对结果为“否”，次数不变；依次将第三张待测视频图片的第一待测图片区域，与第二张待测视频图片的第一待测图片区域进行比对，若发生变化，则第一比对结果为“是”的次数进行累加，直到完成对第100张待测视频图片与第99张待测视频图片在人体手部姿势的变化比较。最终得到第一比对结果为“是”的次数，或者该次数与总的可能变化次数(100-1＝99次)之间的比值。

同理，可按照上述方式计算第二待测图片区域(包含手机的图形区域)色彩发生变化的次数，或者色彩变化次数与总的可能变化次数(100-1＝99次)之间的比值。

当第一比对结果与第二比对结果统计的是变化次数，则对应的设定变化率阈值可以设置为60次、70次、80次、90次等；如果人体手部姿势的变化次数和/或手机图像部分色彩变化次数，达到该设定变化率阈值，则可以判定在该设定周期内发生了玩手机行为；相反，若两者均未达到该设定变化率阈值，则判定在该设定周期内未发生玩手机行为。

在本发明的其他实施例中，如果人体手部姿势的变化次数和手机图像部分色彩变化次数，均达到该设定变化率阈值，则判定在该设定周期内发生了玩手机行为；相反，若两者其中之一未达到，或者均未达到该设定变化率阈值，则判定在该设定周期内未发生玩手机行为。

当第一比对结果与第二比对结果统计的是变化比值，则对应的设定变化率阈值可以设置为70％、80％、90％、95％等；如果人体手部姿势的变化比值和/或手机图像部分色彩变化比值，达到该设定变化率阈值，则可以判定在该设定周期内发生了玩手机行为；相反，若两者均未达到该设定变化率阈值，则判定在该设定周期内未发生玩手机行为。

在本发明的其他实施例中，如果人体手部姿势的变化比值和手机图像部分色彩变化比值，均达到该设定变化率阈值，则判定在该设定周期内发生了玩手机行为；相反，若两者其中之一未达到，或者均未达到该设定变化率阈值，则判定在该设定周期内未发生玩手机行为。

方式二：利用设定周期内人体手部姿势与手机色彩的同步变化率，与设定同步变化率阈值之间的大小关系，判断是否发生玩手机行为：

假设设定周期内获取到50张待测视频图片，在这50张待测视频图片中，判断第二张待测视频图片的第一待测图片区域(包含人体手部姿势的区域)，相对于第一张待测视频图片的第一待测图片区域，在人体手部姿势上是否发生变化；同时，还判断第二张待测视频图片的第二待测图片区域(包含手机的图形区域)，相对于第一张待测视频图片的第二待测图片区域，在手机图像区域色彩上是否发生变化；若两者均发生变化，则称人体手部姿势与手机图形色彩发生同步变化1次；若只有其中之一发生变化，则不能称为发生同步变化。然后依次将第三张待测视频图片与第二张待测视频图片进行比较，…，将第50张待测视频图片与第49张待测视频图片进行比较，统计发生同步变化的待测视频图片的数量；或者进一步计算发生同步变化的待测视频图片的数量，与总的可能发生同步变化的数量(50-1＝49)之间的比值。

当同步变化率统计的是发生同步变化的待测视频图片的数量，则可将设定同步变化率阈值进行灵活设置，例如30、35，40，45等，将同步变化率与设定同步变化率阈值进行比较，若判断同步变化率大于等于设定同步变化率阈值，则判定发生玩手机行为；相反，则判定未发生玩手机行为。

当同步变化率统计的是发生同步变化的待测视频图片的数量，与总的可能发生同步变化的数量(50-1＝49)之间的比值，则可将设定同步变化率阈值进行灵活设置，例如70％、80％，85％，90％等，将同步变化率与设定同步变化率阈值进行比较，若判断同步变化率大于等于设定同步变化率阈值，则判定发生玩手机行为；相反，则判定未发生玩手机行为。

在本发明的其他实施例中，在判定设定周期内发生玩手机行为时，还可以生成告警提示消息，并发送给目标设备。其中，目标设备包括但不限于机房监控电脑、管理人员的移动终端、以及被管理人员工作机台等。

本实施例提供的基于视频图像识别玩手机方法，包括从待测监控视频流中依次获取设定周期内的N张待测视频图片，N大于等于2；针对每一张待测视频图片，识别得到其中包含人体手部的第一待测图片区域，以及包含手机的第二待测图片区域；依次将N张待测视频图片中的后一张待测视频图片的第一待测图片区域，与前一张待测视频图片的第一待测图片区域进行比对，确定后一张待测视频图片与前一张待测视频图片在人体手部姿势上是否发生变化，得到第一比对结果；依次将N张待测视频图片中的后一张待测视频图片的第二待测图片区域，与前一张待测视频图片的第二待测图片区域进行比对，判断后一张待测视频图片与前一张待测视频图片在手机色彩上是否发生变化，得到第二比对结果；基于各第一比对结果与各第二比对结果，计算设定周期内人体手部姿势变化率与手机色彩变化率，或者计算设定周期内人体手部姿势与手机色彩的同步变化率；其中设定周期内人体手部姿势变化率为N张待测视频图片中，第一比对结果为“是”的次数，或者第一比对结果为“是”的次数与N-1的比值；手机色彩变化率为N张待测视频图片中，第二比对结果为“是”的次数，或者第二比对结果为“是”的次数与N-1的比值；同步变化率为N张待测视频图片中，人体手部姿势与手机色彩同时发生变化的待测视频图片数量与N的比值；将设定周期内人体手部姿势变化率、手机色彩变化率，与设定变化率阈值进行比较；或者将设定周期内人体手部姿势与手机色彩的同步变化率，与设定同步变化率阈值进行比较；从而判断是否发生玩手机行为。利用玩手机过程中，人体手部与手机之间所存在的变化关系，通过检测设定周期内人体手部变化情况与手机色彩变化情况，以实现玩手机行为的检测，保证了企业员工工作过程中，做好自己的本职工作，减少安全事故的发生。进一步地，相对于常规的利用人体手部与手机之间的距离关系，来检测玩手机行为的方案，可实现更多玩手机场景的检测识别，同时可有效提高检测的准确性、可靠性。

实施例二：

本实施例在上述实施例一的基础上，还提供一种基于视频图像识别玩手机方法，与上述实施例一不同的是，本方法还将设定周期划分为至少两个设定子周期，每一个设定子周期存在至少两张待测视频图片，针对每一个设定子周期，可以按照如实施例一所述的方式，确定其是否满足“发生玩手机行为”的条件；进一步，结合该设定周期内满足“发生玩手机行为”条件的设定子周期的数量，综合确定该设定周期内是否发生玩手机行为，当发生玩手机行为的设定子周期个数达到设定个数阈值时，最终判定该设定周期内发生了玩手机行为；相反，若发生玩手机行为的设定子周期个数未达到设定个数阈值时，则最终判定该设定周期内未发生玩手机行为。以尽可能提高检测准确性、以及检测场景的适用范围。

请参见图5，假设设定周期内划分为12个设定子周期，每一个设定子周期为5秒，各设定子周期之间间隔5秒，则一个设定周期共计120秒，采集帧率假设为10Hz，即每秒将采集10张图片。从t₀时刻开始，从待测监控视频流中依次获取待测视频图片，在获取到第一张待测视频图片时，识别出其中包含的人体手部姿势图形区域以及手机图形区域；依次获取识别第二张、第三张，…，第50张，基于后一张与前一张待测视频图片，在人体手部姿势、以及手机色彩的比对变化结果，计算人体手部姿势变化率、手机色彩变化率或者同步变化率，进而判断第一个设定子周期是否满足“发生玩手机行为”的条件。

间隔5秒后，开始采集第二个设定子周期内的第一张待测视频图片，同样按照上述第一个设定子周期处理方式进行处理，得到第二个设定子周期是否满足“发生玩手机行为”的条件的判断结果；然后对第三个设定子周期，第四个设定子周期，…，直到完成第12个设定子周期的处理；若在这12个设定子周期内，有6个及以上的设定子周期满足“发生玩手机行为”的条件，则综合判定该设定周期(这里为t₀～t₁₁₉₉)发生了玩手机行为，并在t₁₁₄₉时刻开始进行告警。

可选的，告警时长延续到t₁₁₉₉(累计5秒)，待到对第13个设定子周期处理完成后，结合第2个设定子周期至第13个设定子周期(相当于第二个设定周期)，综合判断该第二个设定周期是否发生玩手机行为，如果是，该告警持续，直到某设定周期被判定为未发生玩手机行为时停止。

实施例三：

本实施例在上述实施例一的基础上，提供一种基于视频图像识别玩手机装置，请参见图6，用于实现上述实施例一所述的基于视频图像识别玩手机方法的步骤，该装置主要包括图片获取模块61、图片识别模块62、第一比对模块63、第二比对模块64、计算模块65以及处理模块66；其中

图片获取模块61用于从待测监控视频流中依次获取设定周期内的N张待测视频图片，N大于等于2。

图片识别模块62用于针对每一张所述待测视频图片，识别得到其中包含人体手部的第一待测图片区域，以及包含手机的第二待测图片区域。

第一比对模块63用于依次将N张待测视频图片中的后一张待测视频图片的第一待测图片区域，与前一张待测视频图片的第一待测图片区域进行比对，确定后一张待测视频图片与前一张待测视频图片在人体手部姿势上是否发生变化，得到第一比对结果。

第二比对模块64用于依次将N张待测视频图片中的后一张待测视频图片的第二待测图片区域，与前一张待测视频图片的第二待测图片区域进行比对，判断后一张待测视频图片与前一张待测视频图片在手机色彩上是否发生变化，得到第二比对结果。

可选的，第二比对模块64针对每一张待测视频图片，裁剪得到其第二待测图片区域，并将第二待测图片区域转换为HSV格式，构建颜色直方图；将后一张待测视频图片对应的颜色直方图，与前一张待测视频图片对应的颜色直方图进行相似度计算，当两者的相似度达到预设相似度阈值时，判断后一张待测视频图片相对于前一张待测视频图片在手机色彩上未发生变化；相反，若两者的相似度未达到预设相似度阈值，则判断在手机色彩上发生变化，以得到第二比对结果。

计算模块65用于基于各第一比对结果与各第二比对结果，计算设定周期内人体手部姿势变化率与手机色彩变化率，或者计算设定周期内人体手部姿势与手机色彩的同步变化率；设定周期内人体手部姿势变化率为N张待测视频图片中，第一比对结果为“是”的次数，或者第一比对结果为“是”的次数与N-1的比值；手机色彩变化率为N张待测视频图片中，第二比对结果为“是”的次数，或者第二比对结果为“是”的次数与N-1的比值；同步变化率为N张待测视频图片中，人体手部姿势与手机色彩同时发生变化的待测视频图片数量，或者人体手部姿势与手机色彩同时发生变化的待测视频图片数量与N-1的比值。

处理模块66用于将设定周期内人体手部姿势变化率、手机色彩变化率，与设定变化率阈值进行比较；或者用于将设定周期内人体手部姿势与手机色彩的同步变化率，与设定同步变化率阈值进行比较；从而判断是否发生玩手机行为。

可选的，处理模块66若判断设定周期内人体手部姿势变化率和/或手机色彩变化率大于等于设定变化率阈值，则判定发生玩手机行为；相反，则判定未发生玩手机行为。

可选的，处理模块66将同步变化率与设定同步变化率阈值进行比较，若判断同步变化率大于等于设定同步变化率阈值，则判定发生玩手机行为；相反，则判定未发生玩手机行为。

可选的，该装置还包括告警模块，用于在判定设定周期内发生玩手机行为时，生成告警提示消息，并发送给目标设备。其中，目标设备包括但不限于机房监控电脑、管理人员的移动终端、以及被管理人员工作机台等。

实施例四：

本实施例在上述实施例一和/或实施例二的基础上，提供一种服务器，请参见图7，该服务器包括处理器71、存储器72及通信总线73；

通信总线73用于实现处理器71和存储器72之间的连接通信；

处理器71用于执行存储器72中存储的一个或者多个程序，以实现如上述实施例一和/或实施例二的的基于视频图像识别玩手机方法的步骤。具体流程请参见上述实施例一和/或实施例二中的描述，在此不再赘述。

本实施例还提供一种存储介质，该存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例一和/或实施例二的基于视频图像识别玩手机方法的步骤。具体流程请参见上述实施例一和/或实施例二中的描述，在此不再赘述。

显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种基于视频图像识别玩手机方法，其特征在于，包括：从待测监控视频流中依次获取设定周期内的N张待测视频图片，所述N大于等于2；针对每一张所述待测视频图片，识别得到其中包含人体手部的第一待测图片区域，以及包含手机的第二待测图片区域；依次将所述N张待测视频图片中的后一张待测视频图片的第一待测图片区域，与前一张待测视频图片的第一待测图片区域进行比对，确定所述后一张待测视频图片与所述前一张待测视频图片在人体手部姿势上是否发生变化，得到第一比对结果；依次将所述N张待测视频图片中的后一张待测视频图片的第二待测图片区域，与前一张待测视频图片的第二待测图片区域进行比对，判断所述后一张待测视频图片与所述前一张待测视频图片在手机色彩上是否发生变化，得到第二比对结果；基于各所述第一比对结果与各所述第二比对结果，计算所述设定周期内人体手部姿势变化率与手机色彩变化率，或者计算所述设定周期内人体手部姿势与所述手机色彩的同步变化率；所述设定周期内人体手部姿势变化率为所述N张待测视频图片中，所述第一比对结果为“是”的次数，或者所述第一比对结果为“是”的次数与N-1的比值；所述手机色彩变化率为所述N张待测视频图片中，所述第二比对结果为“是”的次数，或者所述第二比对结果为“是”的次数与N-1的比值；所述同步变化率为所述N张待测视频图片中，人体手部姿势与手机色彩同时发生变化的待测视频图片数量，或者所述人体手部姿势与手机色彩同时发生变化的待测视频图片数量与N-1的比值；将所述设定周期内人体手部姿势变化率、所述手机色彩变化率，与设定变化率阈值进行比较；或者将所述设定周期内人体手部姿势与所述手机色彩的同步变化率，与设定同步变化率阈值进行比较；从而判断是否发生玩手机行为。

2.如权利要求1所述的基于视频图像识别玩手机方法，其特征在于，所述将所述设定周期内人体手部姿势变化率、所述手机色彩变化率，与设定变化率阈值进行比较，从而判断是否发生玩手机行为包括：若判断所述设定周期内人体手部姿势变化率和所述手机色彩变化率大于等于所述设定变化率阈值，则判定发生玩手机行为；相反，则判定未发生玩手机行为。

3.如权利要求1所述的基于视频图像识别玩手机方法，其特征在于，所述将所述设定周期内人体手部姿势与所述手机色彩的同步变化率，与设定同步变化率阈值进行比较，从而判断是否发生玩手机行为包括：将所述同步变化率与所述设定同步变化率阈值进行比较，若判断所述同步变化率大于等于所述设定同步变化率阈值，则判定发生玩手机行为；相反，则判定未发生玩手机行为。

4.如权利要求1-3任一项所述的基于视频图像识别玩手机方法，其特征在于，所述依次将所述N张待测视频图片中的后一张待测视频图片的第二待测图片区域，与前一张待测视频图片的第二待测图片区域进行比对，判断所述后一张待测视频图片与所述前一张待测视频图片在手机色彩上是否发生变化包括：针对每一张所述待测视频图片，裁剪得到其所述第二待测图片区域，并将所述第二待测图片区域转换为HSV格式，构建颜色直方图；将所述后一张待测视频图片对应的颜色直方图，与所述前一张待测视频图片对应的颜色直方图进行相似度计算，当两者的相似度达到预设相似度阈值时，判断所述后一张待测视频图片相对于所述前一张待测视频图片在手机色彩上未发生变化；相反，若两者的相似度未达到所述预设相似度阈值，则判断在手机色彩上发生变化。

5.如权利要求4所述的基于视频图像识别玩手机方法，其特征在于，所述将所述后一张待测视频图片对应的颜色直方图，与所述前一张待测视频图片对应的颜色直方图进行相似度计算，包括采用correlation相关性比较、Chi-Square卡方比较、Intersection十字交叉性、Bhattacharyya distance巴氏距离比较中的一种方式计算相似度。

6.如权利要求1所述的基于视频图像识别玩手机方法，其特征在于，所述设定周期包括至少两个设定子周期，每一所述设定子周期内包含至少两张待测视频图片；针对每一所述设定子周期判断其是否发生玩手机行为，统计所述设定周期内，发生玩手机行为的设定子周期个数，当所述发生玩手机行为的设定子周期个数达到设定个数阈值时，判定所述设定周期内发生玩手机行为。

7.如权利要求1所述的基于视频图像识别玩手机方法，其特征在于，所述方法还包括：在判定所述设定周期内发生玩手机行为时，还可以生成告警提示消息，并发送给目标设备。

8.一种基于视频图像识别玩手机装置，其特征在于，包括：图片获取模块，用于从待测监控视频流中依次获取设定周期内的N张待测视频图片，所述N大于等于2；图片识别模块，用于针对每一张所述待测视频图片，识别得到其中包含人体手部的第一待测图片区域，以及包含手机的第二待测图片区域；第一比对模块，用于依次将所述N张待测视频图片中的后一张待测视频图片的第一待测图片区域，与前一张待测视频图片的第一待测图片区域进行比对，确定所述后一张待测视频图片与所述前一张待测视频图片在人体手部姿势上是否发生变化，得到第一比对结果；第二比对模块，用于依次将所述N张待测视频图片中的后一张待测视频图片的第二待测图片区域，与前一张待测视频图片的第二待测图片区域进行比对，判断所述后一张待测视频图片与所述前一张待测视频图片在手机色彩上是否发生变化，得到第二比对结果；计算模块，用于基于各所述第一比对结果与各所述第二比对结果，计算所述设定周期内人体手部姿势变化率与手机色彩变化率，或者计算所述设定周期内人体手部姿势与所述手机色彩的同步变化率；所述设定周期内人体手部姿势变化率为所述N张待测视频图片中，所述第一比对结果为“是”的次数，或者所述第一比对结果为“是”的次数与N-1的比值；所述手机色彩变化率为所述N张待测视频图片中，所述第二比对结果为“是”的次数，或者所述第二比对结果为“是”的次数与N-1的比值；所述同步变化率为所述N张待测视频图片中，人体手部姿势与手机色彩同时发生变化的待测视频图片数量，或者所述人体手部姿势与手机色彩同时发生变化的待测视频图片数量与N-1的比值；处理模块，用于将所述设定周期内人体手部姿势变化率、所述手机色彩变化率，与设定变化率阈值进行比较；或者用于将所述设定周期内人体手部姿势与所述手机色彩的同步变化率，与设定同步变化率阈值进行比较；从而判断是否发生玩手机行为。

9.一种服务器，其特征在于，所述服务器包括处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的一个或者多个程序，以实现如权利要求1至7中任一项所述的基于视频图像识别玩手机方法的步骤。

10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的基于视频图像识别玩手机方法的步骤。