CN106682648B - 一种用户接打手机行为检测方法和装置 - Google Patents

Abstract

本发明提供了一种用户接打手机行为检测方法和装置，所述方法包括：根据历史图像建立人脸和手部检测模型；将目标图像输入所述人脸和手部检测模型进行检测；在检测出所述目标图像中同时存在人脸区域与手部区域时，判断所述人脸区域与所述手部区域是否存在交集区域；在所述人脸区域与所述手部区域存在交集区域时，判断所述交集区域是否达到预设交集阈值；在判定所述交集区域达到所述预设交集阈值时，确定所述目标图像中的用户存在接打手机行为。该方案不仅考虑了人脸与手部的位置关系，而且更进一步的考虑了两者具有交集区域的大小，提高了接打手机行为检测的准确度，为交通系统检测驾驶员是否在行车过程中接打手机提供了更加精确的参考方案。

Description

一种用户接打手机行为检测方法和装置

技术领域

本发明涉及检测技术领域，具体涉及一种用户接打手机行为检测方法和装置。

背景技术

智能交通系统是未来交通系统的发展方向，也是目前世界交通运输领域的前沿研究课题。随着计算机视觉技术、嵌入式技术、网络通信技术的发展，研究车辆违章行为自动检测系统已经成为当前智能交通中的一个研究热点。作为保障司机安全驾驶和降低交通事故中死伤率的一项重要措施，而随着现代通信技术的发展，驾驶员在行驶过程中接打手机的行为越来越成为交通事故的重大诱因，每年因驾驶员打手机造成的交通死亡率的升高令人痛惜，因此交管部门严格要求汽车司机在行驶过程中禁用手机。但是智能交通系统还无法自动检测到驾驶员在行车过程中是否具有打手机的行为，这使得智能交通系统隐藏着巨大的安全隐患。

因此，如何自动检测驾驶员在行车过程中是否有接打手机行为，成为一个亟待解决的技术问题。

发明内容

因此，本发明要解决的技术问题在于现有技术中无法自动检测驾驶员在行车过程中是否有打手机行为，使得交通系统存在安全隐患。

从而提供一种用户接打手机行为检测方法和装置。

有鉴于此，本发明实施例的第一方面提供了一种用户接打手机行为检测方法，包括：根据历史图像建立人脸和手部检测模型；将目标图像输入所述人脸和手部检测模型进行检测；在检测出所述目标图像中同时存在人脸区域与手部区域时，判断所述人脸区域与所述手部区域是否存在交集区域；在所述人脸区域与所述手部区域存在交集区域时，判断所述交集区域是否达到预设交集阈值；在判定所述交集区域达到所述预设交集阈值时，确定所述目标图像中的用户存在接打手机行为。

优选地，所述根据历史图像建立人脸和手部检测模型包括：对所述历史图像中的用户未接打电话的第一历史人脸信息、第一手部信息和用户接打手机时的第二历史人脸信息和第二手部信息进行标注，生成标注后的训练样本，所述第一、二历史人脸信息包括人脸特征和人脸位置信息，所述第一、二历史手部信息包括手部特征和手部位置信息；提取所述训练样本的特征图；将所述特征图输入深度学习模型进行训练，得到所述人脸和手部检测模型。

优选地，所述深度学习模型为卷积神经网络模型，所述提取所述训练样本的特征图包括：采用五层卷积分别提取所述训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接。

优选地，所述将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接包括：将所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行归一化处理；将经过行归一化处理的所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行全连接。

优选地，获取所述预设交集阈值的步骤包括：统计所述历史图像中的用户在接打手机时的历史人脸和手部的交集区域样本；分析所述交集区域样本中交集区域的最小值；将所述最小值作为所述预设交集阈值。

本发明实施例的第二方面提供了一种用户接打手机行为检测装置，包括：建立模块，用于根据历史图像建立人脸和手部检测模型；检测模块，用于将目标图像输入所述人脸和手部检测模型进行检测；第一判断模块，用于在检测出所述目标图像中同时存在人脸区域与手部区域时，判断所述人脸区域与所述手部区域是否存在交集区域；第二判断模块，用于在所述人脸区域与所述手部区域存在交集区域时，判断所述交集区域是否达到预设交集阈值；确定模块，用于在判定所述交集区域达到所述预设交集阈值时，确定所述目标图像中的用户存在接打手机行为。

优选地，所述建立模块包括：标注单元，用于对所述历史图像中的用户未接打电话的第一历史人脸信息、第一手部信息和用户接打手机时的第二历史人脸信息和第二手部信息进行标注，生成标注后的训练样本，所述第一、二历史人脸信息包括人脸特征和人脸位置信息，所述第一、二历史手部信息包括手部特征和手部位置信息；提取单元，用于提取所述训练样本的特征图；训练单元，用于将所述特征图输入深度学习模型进行训练，得到所述人脸和手部检测模型。

优选地，所述深度学习模型为卷积神经网络模型，所述提取单元包括：提取子单元，用于采用五层卷积分别提取所述训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接。

优选地，所述将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接包括：将所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行归一化处理；将经过行归一化处理的所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行全连接。

优选地，获取所述预设交集阈值的步骤包括：统计所述历史图像中的用户在接打手机时的历史人脸和手部的交集区域样本；分析所述交集区域样本中交集区域的最小值；将所述最小值作为所述预设交集阈值。

本发明的技术方案具有以下优点：

本发明实施例提供的用户接打手机行为检测方法和装置，通过将实时获取到的目标图像输入预先建立的人脸和手部检测模型进行检测，以确定目标图像中用户的人脸区域与手部区域是否同时存在，在人脸区域与手部区域同时存在时，判断人脸区域与手部区域是否有交集区域，并判断该交集区域是否达到了预设交集区域来确定该用户是否存在接打手机的行为，不仅考虑了人脸与手部的位置关系，而且更进一步的考虑了两者具有交集区域的大小，只有满足预设交集区域的人脸和手部，才能确定该用户在接打手机，提高了接打手机行为检测的准确度，为交通系统检测驾驶员是否在行车过程中接打手机提供了更加精确的参考方案。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的用户接打手机行为检测方法的一个流程图；

图2为本发明实施例2的用户接打手机行为检测装置的一个框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供一种用户接打手机行为检测方法，可用于识别驾驶员是否在行车过程中有接打手机行为，如图1所示，包括如下步骤：

S11：根据历史图像建立人脸和手部检测模型。此处历史图像可以根据实际应用场景进行素材筛选，比如对于用户为驾驶员时，历史图像可以采集驾驶舱内的历史视频流获得，一般地，车内装有摄像头，由于将摄像头安装在车内的前挡风玻璃上，通过车内安装的摄像头对驾驶员座椅区域进行图像采集，可以很清晰的拍摄到司机的行为，且不需其他电子器件辅助，不会影响到司机的正常行车。

作为一种优选方案，步骤S11可以包括：对所述历史图像中的用户未接打电话的第一历史人脸信息、第一手部信息和用户接打手机时的第二历史人脸信息和第二手部信息进行标注，生成标注后的训练样本，所述第一、二历史人脸信息包括人脸特征和人脸位置信息，所述第一、二历史手部信息包括手部特征和手部位置信息；提取所述训练样本的特征图；将所述特征图输入深度学习模型进行训练，得到所述人脸和手部检测模型。深度学习模型为卷积神经网络模型，提取训练样本的特征图包括采用五层卷积分别提取训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接。将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接包括：将第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行归一化处理；将经过行归一化处理的第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行全连接。

作为一种具体的实施方式，比如可以将历史图像中驾驶员的人脸的大致位置从复杂的背景标注出来，即从图像中找到驾驶员人脸的具体位置，对车窗区域内的驾驶员脸部区域位置信息和手部区域位置信息进行标注，具体地，将人脸特征和人脸位置信息作为第一历史人脸信息、将手部特征和手部位置信息作为第一历史手部信息分别进行标注；同时，挑选正在打电话的图像，并对其中驾驶员的手部区域和人脸区域进行标注，将手部特征和手部位置信息作为第二历史手部信息进行标注，将此情况下的人脸特征和人脸位置信息作为第二历史人脸信息进行标注，根据上述标注后的历史图像制作训练样本。然后可以采用卷积神经网络算法分别提取训练样本的特征图，具体地，采用五层卷积层对训练样本进行特征图提取。由于当完成第五层的特征图提取之后，特征图的尺寸偏小，以至于一些训练样本中的手部区域不完整，比如手部区域较小，那么手部区域信息在所有的特征图中就会被弱化，致使检测模型不能学习到该区域的有效信息，进而影响最终检测结果的精确度。为了更好地提取图像的全局特征和局部特征，本实施例将第三层、第四层、第五层卷积层的ROI(region of interest)池化特征图进行全连接，以保证特征图的全局特性和局部特性，使特征图更加全面准确的表征训练样本的特征，从而提高人脸和手部交集检测模型的准确率。鉴于各个ROI池化层输出特征图的大小不一致，为了计算结果的准确性，可以使用L2归一化算法对各个层的池化特征图进行尺寸归一化，然后将经过行归一化处理的各个层对应的池化特征图进行全连接，既保证了特征图的全局特性，也保证了特征图的局部特性，使特征图更加全面准确的表征训练样本的特征，提高了人脸和手部检测模型的准确率。

S12：将目标图像输入人脸和手部检测模型进行检测。比如对于车窗区域的目标图像，将目标图像输入步骤S11建立的人脸和手部检测模型进行检测，以确定该目标图像中的驾驶员的人脸与手部是否同时存在，本实施例通过检测人脸的位置信息与手部的位置信息是否同时存在来确定目标人脸与目标手部是否同时存在，检测结果更加准确，数据计算简单。

S13：在检测出目标图像中同时存在人脸区域与手部区域时，判断人脸区域与手部区域是否存在交集区域。在步骤S12的输出结果为人脸区域与手部区域同时存在时，说明该驾驶员可能在接打电话，也可能在做别的事情，为了更进一步的确定驾驶员是否在接打手机，进一步判断该驾驶员的人脸区域和手部区域是否有交集区域，如果有，说明驾驶员在接打电话的可能性更大一点，则进入步骤S14，否则说明该驾驶员没有接打电话的行为。则获取交集区域进行下一步的判断。如此，不仅考虑了人脸与手部的位置关系，而且更进一步的考虑了两者具有交集区域的大小，提高了接打手机行为检测的准确度。

S14：在人脸区域与所述手部区域存在交集区域时，判断交集区域是否达到预设交集阈值，具体地，如果人脸区域与所述手部区域存在交集区域，则获取交集区域与预设交集阈值进行比较来确定最终检测结果，如果判断结果为是，进入步骤S15，否则说明即使该驾驶员的脸部与手部有交集区域，他也不存在接打手机的行为，避免误判。如此，不仅考虑了人脸与手部的位置关系，而且更进一步的考虑了两者具有交集区域的大小，提高了接打手机行为检测的准确度。

作为一种优选方案，步骤S14中的预设交集阈值可以格局实际应用场景来确定，比如可以统计历史图像中的用户在接打手机时的历史人脸和手部的交集区域样本；分析交集区域样本中交集区域的最小值；将最小值作为预设交集阈值。如此，预设交集阈值可以更加准确地确定存在交集区域的目标人脸与目标手部是否是在接打手机。

S15：在判定交集区域达到预设交集阈值时，确定目标图像中用户存在接打手机行为。如果判定交集区域达到预设交集阈值，说明检测图像中存在打手机行为，即用户在接打手机，如果该用户是驾驶员，那么就存在交通安全隐患，则可以根据实际情况对驾驶员发出提醒或警告，可以有效预防交通事故的发生，降低交通事故中的死亡率。

本实施例提供的用户接打手机行为检测方法，通过将实时获取到的目标图像输入预先建立的人脸和手部检测模型进行检测，以确定目标图像中用户的人脸区域与手部区域是否同时存在，在人脸区域与手部区域同时存在时，判断人脸区域与手部区域是否有交集区域，并判断该交集区域是否达到了预设交集区域来确定该用户是否存在接打手机的行为，不仅考虑了人脸与手部的位置关系，而且更进一步的考虑了两者具有交集区域的大小，只有满足预设交集区域的人脸和手部，才能确定该用户在接打手机，提高了接打手机行为检测的准确度，为交通系统检测驾驶员是否在行车过程中接打手机提供了更加精确的参考方案。

实施例2

本实施例供了一种用户接打手机行为检测装置，可用于识别驾驶员是否在行车过程中有接打手机行为，如图2所示，包括：建立模块21、检测模块22、获取模块23、判断模块24和确定模块25，各模块功能如下：

建立模块21，用于根据历史图像建立人脸和手部检测模型，具体参见实施例1中对步骤S11的详细描述。

检测模块22，用于将目标图像输入人脸和手部检测模型进行检测，具体参见实施例1中对步骤S12的详细描述。

第一判断模块23，用于在检测出目标图像中同时存在人脸区域与手部区域时，判断人脸区域与手部区域是否存在交集区域，具体参见实施例1中对步骤S13的详细描述。

第二判断模块24，用于在人脸区域与手部区域存在交集区域时，判断交集区域是否达到预设交集阈值，具体参见实施例1中对步骤S14的详细描述。

确定模块25，用于在判定交集区域达到预设交集阈值时，确定目标图像中的用户存在接打手机行为。具体参见实施例1中对步骤S15的详细描述。

作为一种优选方案，建立模块21包括：标注单元，用于对所述历史图像中的用户未接打电话的第一历史人脸信息、第一手部信息和用户接打手机时的第二历史人脸信息和第二手部信息进行标注，生成标注后的训练样本，所述第一、二历史人脸信息包括人脸特征和人脸位置信息，所述第一、二历史手部信息包括手部特征和手部位置信息；提取单元，用于提取所述训练样本的特征图；训练单元，用于将所述特征图输入深度学习模型进行训练，得到所述人脸和手部检测模型。具体参见实施例1中对步骤S11的优选方案的详细描述。

作为一种优选方案，深度学习模型为卷积神经网络模型，提取单元包括：提取子单元，用于采用五层卷积分别提取训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接。具体参见实施例1中的相关详细描述。

作为一种优选方案，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接包括：将第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行归一化处理；将经过行归一化处理的第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行全连接。具体参见实施例1中的相关详细描述。

作为一种优选方案，获取预设交集阈值的步骤包括：统计历史图像中的用户在接打手机时的历史人脸和手部的交集区域样本；分析交集区域样本中交集区域的最小值；将最小值作为预设交集阈值。具体参见实施例1中的相关详细描述。

本实施例提供的用户接打手机行为检测装置，通过将实时获取到的目标图像输入预先建立的人脸和手部检测模型进行检测，以确定目标图像中用户的人脸区域与手部区域是否同时存在，在人脸区域与手部区域同时存在时，判断人脸区域与手部区域是否有交集区域，并判断该交集区域是否达到了预设交集区域来确定该用户是否存在接打手机的行为，不仅考虑了人脸与手部的位置关系，而且更进一步的考虑了两者具有交集区域的大小，只有满足预设交集区域的人脸和手部，才能确定该用户在接打手机，提高了接打手机行为检测的准确度，为交通系统检测驾驶员是否在行车过程中接打手机提供了更加精确的参考方案。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种用户接打手机行为检测方法，其特征在于，包括：

根据历史图像建立人脸和手部检测模型；

将目标图像输入所述人脸和手部检测模型进行检测；

在检测出所述目标图像中同时存在人脸区域与手部区域时，判断所述人脸区域与所述手部区域是否存在交集区域；

在所述人脸区域与所述手部区域存在交集区域时，判断所述交集区域是否达到预设交集阈值；

在判定所述交集区域达到所述预设交集阈值时，确定所述目标图像中的用户存在接打手机行为。

2.根据权利要求1所述的用户接打手机行为检测方法，其特征在于，所述根据历史图像建立人脸和手部检测模型包括：

对所述历史图像中的用户未接打电话的第一历史人脸信息、第一手部信息和用户接打手机时的第二历史人脸信息和第二手部信息进行标注，生成标注后的训练样本，所述第一、二历史人脸信息包括人脸特征和人脸位置信息，所述第一、二手部信息包括手部特征和手部位置信息；

提取所述训练样本的特征图；

将所述特征图输入深度学习模型进行训练，得到所述人脸和手部检测模型。

3.根据权利要求2所述的用户接打手机行为检测方法，其特征在于，所述深度学习模型为卷积神经网络模型，所述提取所述训练样本的特征图包括：

采用五层卷积分别提取所述训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接。

4.根据权利要求3所述的用户接打手机行为检测方法，其特征在于，所述将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接包括：

将所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行归一化处理；

将经过行归一化处理的所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行全连接。

5.根据权利要求1所述的用户接打手机行为检测方法，其特征在于，获取所述预设交集阈值的步骤包括：

统计所述历史图像中的用户在接打手机时的历史人脸和手部的交集区域样本；

分析所述交集区域样本中交集区域的最小值；

将所述最小值作为所述预设交集阈值。

6.一种用户接打手机行为检测装置，其特征在于，包括：

建立模块，用于根据历史图像建立人脸和手部检测模型；

检测模块，用于将目标图像输入所述人脸和手部检测模型进行检测；

第一判断模块，用于在检测出所述目标图像中同时存在人脸区域与手部区域时，判断所述人脸区域与所述手部区域是否存在交集区域；

第二判断模块，用于在所述人脸区域与所述手部区域存在交集区域时，判断所述交集区域是否达到预设交集阈值；

确定模块，用于在判定所述交集区域达到所述预设交集阈值时，确定所述目标图像中的用户存在接打手机行为。

7.根据权利要求6所述的用户接打手机行为检测装置，其特征在于，所述建立模块包括：

标注单元，用于对所述历史图像中的用户未接打电话的第一历史人脸信息、第一手部信息和用户接打手机时的第二历史人脸信息和第二手部信息进行标注，生成标注后的训练样本，所述第一、二历史人脸信息包括人脸特征和人脸位置信息，所述第一、二手部信息包括手部特征和手部位置信息；

提取单元，用于提取所述训练样本的特征图；

训练单元，用于将所述特征图输入深度学习模型进行训练，得到所述人脸和手部检测模型。

8.根据权利要求7所述的用户接打手机行为检测装置，其特征在于，所述深度学习模型为卷积神经网络模型，所述提取单元包括：

提取子单元，用于采用五层卷积分别提取所述训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接。

9.根据权利要求8所述的用户接打手机行为检测装置，其特征在于，所述将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接包括：

将所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行归一化处理；

将经过行归一化处理的所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行全连接。

10.根据权利要求6所述的用户接打手机行为检测装置，其特征在于，获取所述预设交集阈值的步骤包括：

统计所述历史图像中的用户在接打手机时的历史人脸和手部的交集区域样本；

分析所述交集区域样本中交集区域的最小值；

将所述最小值作为所述预设交集阈值。