CN106815574B - 建立检测模型、检测接打手机行为的方法和装置 - Google Patents

Abstract

本发明提供了一种建立检测模型、检测接打手机行为的方法和装置，所述建立模型的方法包括：对样本图像中用户未接打手机时的第一人脸信息、第一手部信息和接打手机时的第二人脸信息、第二手部信息进行标注，生成标注后的训练样本，所述第一、二人脸信息分别包括人脸特征和人脸位置信息，所述第一、二手部信息包括手部特征和手部位置信息；采用五层卷积分别提取所述训练样本的特征图，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接；将所述特征图输入卷积神经网络进行训练，得到人脸和手部检测模型。该方案保证了特征图的全局特性和局部特性，使特征图更加全面准确的表征训练样本的特征，提高了人脸和手部检测模型的准确率。

Description

建立检测模型、检测接打手机行为的方法和装置

技术领域

本发明涉及检测技术领域，具体涉及一种建立检测模型、检测接打手机行为的方法和装置。

背景技术

智能交通系统是未来交通系统的发展方向，也是目前世界交通运输领域的前沿研究课题。随着计算机视觉技术、嵌入式技术、网络通信技术的发展，研究车辆违章行为自动检测系统已经成为当前智能交通中的一个研究热点。作为保障司机安全驾驶和降低交通事故中死伤率的一项重要措施，而随着现代通信技术的发展，驾驶员在行驶过程中打手机的行为越来越成为交通事故的重大诱因，每年因驾驶员打手机造成的交通死亡率的升高令人痛惜，因此交管部门严格要求汽车司机在行驶过程中禁用手机。但是智能交通系统还无法自动检测到驾驶员在行车过程中是否具有打手机的行为，这使得智能交通系统隐藏着巨大的安全隐患。

因此，如何自动检测驾驶员在行车过程中是否有打手机行为，成为一个亟待解决的技术问题。

发明内容

因此，本发明要解决的技术问题在于现有技术中无法自动检测驾驶员在行车过程中是否有打手机行为，使得交通系统存在安全隐患。

从而提供一种建立检测模型、检测接打手机行为的方法和装置。

有鉴于此，本发明实施例的第一方面提供了一种建立人脸和手部检测模型的方法，包括：对样本图像中用户未接打手机时的第一人脸信息、第一手部信息和用户接打手机时的第二人脸信息、第二手部信息进行标注，生成标注后的训练样本，所述第一、二人脸信息分别包括人脸特征和人脸位置信息，所述第一、二手部信息包括手部特征和手部位置信息；采用五层卷积分别提取所述训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接；将所述特征图输入卷积神经网络进行训练，得到人脸和手部检测模型。

优选地，所述将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接包括：将所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行归一化处理；将经过行归一化处理的所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行全连接。

本发明实施例的第二方面提供了一种检测接打手机行为的方法，包括：获取目标图像；将所述目标图像输入采用本发明实施例的第一方面或第一方面任一优选方案所述的建立人脸和手部检测模型的方法建立的人脸和手部检测模型进行检测；根据所述人脸和手部检测模型的输出结果确定所述目标图像中是否存在打手机行为。

优选地，所述根据所述人脸和手部检测模型的输出结果确定所述目标图像中是否存在打手机行为包括：在所述输出结果为目标图像中同时存在人脸区域与手部区域时，判断所述人脸区域与所述手部区域是否存在交集区域；在所述人脸区域与所述手部区域存在交集区域时，判断所述交集区域是否达到预设交集阈值；在判定所述交集区域达到所述预设交集阈值时，确定所述目标图像中存在打手机行为。

优选地，获取所述预设交集阈值的步骤包括：统计历史图像中的用户在接打手机时的历史人脸和手部的交集区域样本；分析所述交集区域样本中交集区域的最小值；将所述最小值作为所述预设交集阈值。

本发明实施例的第三方面提供了一种建立人脸和手部检测模型的装置，包括：标注模块，用于对样本图像中用户未接打手机时的第一人脸信息、第一手部信息和用户接打手机时的第二人脸信息、第二手部信息进行标注，生成标注后的训练样本，所述第一、二人脸信息分别包括人脸特征和人脸位置信息，所述第一、二手部信息包括手部特征和手部位置信息；提取模块，用于采用五层卷积分别提取所述训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接；训练模块，用于将所述特征图输入卷积神经网络进行训练，得到人脸和手部检测模型。

优选地，所述提取模块包括：归一化单元，用于将所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行归一化处理；全连接单元，用于将经过行归一化处理的所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行全连接。

本发明实施例的第四方面提供了一种检测接打手机行为的装置包括：获取模块，用于获取目标图像；检测模块，用于将所述目标图像输入采用本发明实施例的第一方面或第一方面任一优选方案所述的建立人脸和手部检测模型的方法建立的人脸和手部检测模型进行检测；确定模块，用于根据所述人脸和手部检测模型的输出结果确定所述目标图像中是否存在打手机行为。

优选地，所述确定模块包括：第一判断单元，用于在所述输出结果为目标图像中同时存在人脸区域与手部区域时，判断所述人脸区域与所述手部区域是否存在交集区域；第二判断单元，用于在所述人脸区域与所述手部区域存在交集区域时，判断所述交集区域是否达到预设交集阈值；确定单元，用于在判定所述交集区域达到所述预设交集阈值时，确定所述目标图像中存在打手机行为。

优选地，获取所述预设交集阈值的步骤包括：统计历史图像中的用户在接打手机时的历史人脸和手部的交集区域样本；分析所述交集区域样本中交集区域的最小值；将所述最小值作为所述预设交集阈值。

本发明的技术方案具有以下优点：

1、本发明实施例提供的建立检测模型、检测接打手机行为的方法和装置，通过将样本图像中用户未接打电话时和接打电话时的人脸信息和手部信息进行标注生成训练样本对卷积神经网络进行训练，获得人脸和手部检测模型，该模型可以检测出目标图像中是否同时存在人脸和手部，其中采用五层卷积进行特征提取，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接，既保证了特征图的全局特性，也保证了特征图的局部特性，使特征图更加全面准确的表征训练样本的特征，提高了人脸和手部检测模型的准确率。

2、采用该人脸和手部检测模型对目标图像进行检测，可以准确地获得目标人脸与目标手部是否同时存在，并判断同时存在的人脸与手部是否有交集区域，根据存在的交集区域的大小确定用户是否在接打手机，提高了接打手机行为检测的准确度，为交通系统检测驾驶员是否在行车过程中接打手机提供了更加精确的参考方案。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的建立人脸和手部检测模型的方法的一个流程图；

图2为本发明实施例2的检测接打手机行为的方法的一个流程图；

图3为本发明实施例3的建立人脸和手部检测模型的装置的一个框图；

图4为本发明实施例4的检测接打手机行为的装置的一个框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供一种建立人脸和手部检测模型的方法，可用于识别驾驶员是否在行车过程中有接打手机行为的相关模型建立，如图1所示，包括如下步骤：

S11：对样本图像中用户未接打手机时的第一人脸信息、第一手部信息和用户接打手机时的第二人脸信息、第二手部信息进行标注，生成标注后的训练样本，第一、二人脸信息分别包括人脸特征和人脸位置信息，第一、二手部信息包括手部特征和手部位置信息。比如对于用户为驾驶员，图像可以采集驾驶舱内的历史视频流获得，一般地，车内装有摄像头，由于将摄像头安装在车内的前挡风玻璃上，通过车内安装的摄像头对驾驶员座椅区域进行图像采集，可以很清晰的拍摄到司机的行为，且不需其他电子器件辅助，不会影响到司机的正常行车。将图像中驾驶员的人脸的大致位置从复杂的背景标注出来，即从图像中找到驾驶员人脸的具体位置，对车窗区域内的驾驶员脸部区域位置信息和手部区域位置信息进行标注，并将人脸特征和人脸位置信息作为第一人脸信息、将手部特征和手部位置信息作为第一手部信息分别进行标注；同时，挑选正在打电话的图像，并对其中驾驶员的手部区域和人脸区域进行标注，将手部特征和手部位置信息作为第二手部信息进行标注，将此情况下的人脸特征和人脸位置信息作为第二人脸信息进行标注，根据上述标注后的样本图像制作训练样本。

S12：采用五层卷积分别提取训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接。具体地，本实施例是基于卷积神经网络算法(convolutional neural network，简称CNN)来设计人脸和手部交集检测模型的，优选地，采用五层卷积层对训练样本进行特征图提取。由于当完成第五层的特征图提取之后，特征图的尺寸偏小，以至于一些训练样本中的手部区域不完整，比如手部区域较小，那么手部区域信息在所有的特征图中就会被弱化，致使检测模型不能学习到该区域的有效信息，进而影响最终检测结果的精确度。为了更好地提取图像的全局特征和局部特征，本实施例将第三层、第四层、第五层卷积层的ROI(region of interest)池化特征图进行全连接，以保证特征图的全局特性和局部特性，使特征图更加全面准确的表征训练样本的特征，从而提高人脸和手部交集检测模型的准确率。

作为一种优选方案，步骤S12可以包括：将第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行归一化处理；将经过行归一化处理的第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行全连接。具体地，鉴于各个ROI池化层输出特征图的大小不一致，为了计算结果的准确性，可以使用L2归一化算法对各个层的池化特征图进行尺寸归一化，然后将经过行归一化处理的各个层对应的池化特征图进行全连接，既保证了特征图的全局特性，也保证了特征图的局部特性，使特征图更加全面准确的表征训练样本的特征，提高了人脸和手部交集检测模型的准确率。

S13：将特征图输入卷积神经网络进行训练，得到人脸和手部检测模型。卷积神经网络利用深度学习框架，通过将步骤S12提取的训练样本的特征图输入至卷及神经网络进行训练，以得到人脸和手部检测模型，还可以从图像中选择相关的测试样本对该模型进行测试优化，进而提高该模型检测准确率。

本实施例提供的建立人脸和手部检测模型的方法，通过将样本图像中用户未接打电话时和接打电话时的人脸信息和手部信息进行标注生成训练样本对卷积神经网络进行训练，获得人脸和手部检测模型，该模型可以检测出目标图像中是否同时存在人脸和手部，其中采用五层卷积进行特征提取，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接，既保证了特征图的全局特性，也保证了特征图的局部特性，使特征图更加全面准确的表征训练样本的特征，提高了人脸和手部检测模型的准确率。

实施例2

本实施例提供一种检测接打手机行为的方法，可用于识别驾驶员是否在行车过程中有接打手机行为，如图2所示，包括如下步骤：

S21：获取目标图像。比如对于交通系统中对驾驶员的行为检测过程，，目标图像可以采集驾驶舱内的实时视频流获得，一般地，车内装有摄像头，由于将摄像头安装在车内的前挡风玻璃上，通过车内安装的摄像头对驾驶员座椅区域进行图像采集，可以很清晰的拍摄到司机的行为，且不需其他电子器件辅助，不会影响到司机的正常行车。

S22：将目标图像输入采用实施例1的建立人脸和手部检测模型的方法建立的人脸和手部检测模型进行检测。即要进行检测之前，先建立人脸和手部检测模型，模型的建立可以参见实施例1中的相关详细描述，在此不再赘述。将目标图像输入预先建立的人脸和手部检测模型进行检测，以确定该目标图像中驾驶员的目标人脸与目标手部是否同时存在，本实施例通过检测目标人脸的位置信息与目标手部的位置信息是否有交集来确定目标人脸与目标手部是否有交集，检测结果更加准确，数据计算简单。

S23：根据人脸和手部检测模型的输出结果确定目标图像中是否存在打手机行为。作为一种优选方案，步骤S23可以包括：在输出结果为目标图像中同时存在人脸区域与手部区域时，判断人脸区域与手部区域是否存在交集区域；在人脸区域与手部区域存在交集区域时，判断交集区域是否达到预设交集阈值；在判定交集区域达到预设交集阈值时，确定目标图像中存在打手机行为。具体地，在输出结果为人脸区域与手部区域同时存在时，说明用户可能在接打电话，也可能在做别的事情，然后进一步判断该驾驶员的人脸区域和手部区域是否有交集区域，如果有，说明驾驶员在接打电话的可能性更大一点，则获取交集区域，然后判断交集区域是否达到预设交集阈值，如果人脸与手部没有同时存在，说明该驾驶员没有接打电话的行为，也就无需下一步的判断，如此，不仅考虑了人脸与手部的位置关系，而且更进一步的考虑了两者具有交集区域的大小，提高了接打手机行为检测的准确度。此处预设交集阈值可以通过统计有接打手机行为的历史图像得到，具体地，可以选取有接打电话行为的人脸位置与手部位置的交集区域的最小值作为预设交集阈值，可以更加准确地确定存在交集区域的目标人脸与目标手部是否是在接打手机；如果判定交集区域达到预设交集阈值，说明检测图像中存在打手机行为，即用户在接打手机，如果该用户是驾驶员，那么就存在交通安全隐患，则可以根据实际情况对驾驶员发出提醒或警告，可以有效预防交通事故的发生，降低交通事故中的死亡率。

本实施例提供的检测接打手机行为的方法，通过采用人脸和手部检测模型对目标图像进行检测，以准确地获得目标人脸与目标手部是否同时存在，如果同时存在，则进一步判断两者是否存在交集，在存在的交集区域达到预设交集阈值时，确定用户在接打手机，提高了接打手机行为检测的准确度，为交通系统检测驾驶员是否在行车过程中接打手机提供了更加精确的参考方案。

实施例3

本实施例供了一种建立人脸和手部检测模型的装置，可用于识别驾驶员是否在行车过程中有接打手机行为的相关模型建立，如图3所示，包括：标注模块31、提取模块32和训练模块33，各模块功能如下：

标注模块31，用于对样本图像中用户未接打手机时的第一人脸信息、第一手部信息和用户接打手机时的第二人脸信息、第二手部信息进行标注，生成标注后的训练样本，第一、二人脸信息分别包括人脸特征和人脸位置信息，第一、二手部信息包括手部特征和手部位置信息，具体参见实施例1中对步骤S11的详细描述。

提取模块32，用于采用五层卷积分别提取训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接，具体参见实施例1中对步骤S12的详细描述。

训练模块33，用于将特征图输入卷积神经网络进行训练，得到人脸和手部检测模型。具体参见实施例1中对步骤S13的详细描述。

作为一种优选方案，提取模块32包括：归一化单元331，用于将第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行归一化处理；全连接单元332，用于将经过行归一化处理的第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行全连接。具体参见实施例1中对步骤S13的优选方的详细描述。

本实施例提供的建立人脸和手部检测模型的装置，通过将样本图像中用户未接打电话时和接打电话时的人脸信息和手部信息进行标注生成训练样本对卷积神经网络进行训练，获得人脸和手部检测模型，该模型可以检测出目标图像中是否同时存在人脸和手部，其中采用五层卷积进行特征提取，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接，既保证了特征图的全局特性，也保证了特征图的局部特性，使特征图更加全面准确的表征训练样本的特征，提高了人脸和手部检测模型的准确率。

实施例4

本实施例供了一种建立人脸和手部检测模型的装置，可用于识别驾驶员是否在行车过程中有接打手机行为，如图4所示，包括：获取模块41、检测模块42和确定模块43，各模块功能如下：

获取模块41，用于获取目标图像，具体参见实施例2中对步骤S21的详细描述。

检测模块42，用于将目标图像输入采用实施例1的建立人脸和手部检测模型的方法建立的人脸和手部检测模型进行检测，具体参见实施例2中对步骤S22的详细描述。

确定模块43，用于根据人脸和手部检测模型的输出结果确定目标图像中是否存在打手机行为。具体参见实施例2中对步骤S23的详细描述。

作为一种优选方案，确定模块43包括：第一判断单元431，用于在输出结果为目标图像中同时存在人脸区域与手部区域时，判断人脸区域与手部区域是否存在交集区域；第二判断单元432，用于在人脸区域与手部区域存在交集区域时，判断交集区域是否达到预设交集阈值；确定单元433，用于在判定交集区域达到预设交集阈值时，确定目标图像中存在打手机行为。具体参见实施例2中对步骤S23的优选方案的详细描述。

作为一种优选方案，获取预设交集阈值的步骤包括：统计历史图像中的用户在接打手机时的历史人脸和手部的交集区域样本；分析交集区域样本中交集区域的最小值；将最小值作为预设交集阈值。具体参见实施例2中的相关详细描述。

本实施例提供的检测接打手机行为的装置，通过采用人脸和手部检测模型对目标图像进行检测，以准确地获得目标人脸与目标手部是否同时存在，如果同时存在，则进一步判断两者是否存在交集，在存在的交集区域达到预设交集阈值时，确定用户在接打手机，提高了接打手机行为检测的准确度，为交通系统检测驾驶员是否在行车过程中接打手机提供了更加精确的参考方案。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (5)

1.一种检测接打手机行为的方法，其特征在于，包括：

获取目标图像；

将所述目标图像输入采用建立人脸和手部检测模型的方法建立的人脸和手部检测模型进行检测；所述建立人脸和手部检测模型的方法，包括：对样本图像中用户未接打手机时的第一人脸信息、第一手部信息和用户接打手机时的第二人脸信息、第二手部信息进行标注，生成标注后的训练样本，所述第一、二人脸信息分别包括人脸特征和人脸位置信息，所述第一、二手部信息包括手部特征和手部位置信息；采用五层卷积分别提取所述训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接；将所述特征图输入卷积神经网络进行训练，得到人脸和手部检测模型；

根据所述人脸和手部检测模型的输出结果确定所述目标图像中是否存在打手机行为；

所述根据所述人脸和手部检测模型的输出结果确定所述目标图像中是否存在打手机行为包括：

在所述输出结果为目标图像中同时存在人脸区域与手部区域时，判断所述人脸区域与所述手部区域是否存在交集区域；

在所述人脸区域与所述手部区域存在交集区域时，判断所述交集区域是否达到预设交集阈值；

在判定所述交集区域达到所述预设交集阈值时，确定所述目标图像中存在打手机行为。

2.根据权利要求1所述的检测接打手机行为的方法，其特征在于，获取所述预设交集阈值的步骤包括：

统计历史图像中的用户在接打手机时的历史人脸和手部的交集区域样本；

分析所述交集区域样本中交集区域的最小值；

将所述最小值作为所述预设交集阈值。

3.根据权利要求1所述的检测接打手机行为的方法，其特征在于，所述将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接包括：

将所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行归一化处理；

将经过行归一化处理的所述第三层卷积、第四层卷积和第五层卷积对应的池化特征图进行全连接。

4.一种检测接打手机行为的装置，其特征在于，包括：

获取模块，用于获取目标图像；

检测模块，用于将所述目标图像输入采用建立人脸和手部检测模型的方法建立的人脸和手部检测模型进行检测；所述建立人脸和手部检测模型的方法，包括：对样本图像中用户未接打手机时的第一人脸信息、第一手部信息和用户接打手机时的第二人脸信息、第二手部信息进行标注，生成标注后的训练样本，所述第一、二人脸信息分别包括人脸特征和人脸位置信息，所述第一、二手部信息包括手部特征和手部位置信息；采用五层卷积分别提取所述训练样本的特征图，其中，将第三层卷积、第四层卷积和第五层卷积对应的池化特征图全连接；将所述特征图输入卷积神经网络进行训练，得到人脸和手部检测模型；

确定模块，用于根据所述人脸和手部检测模型的输出结果确定所述目标图像中是否存在打手机行为；

所述确定模块包括：

第一判断单元，用于在所述输出结果为目标图像中同时存在人脸区域与手部区域时，判断所述人脸区域与所述手部区域是否存在交集区域；

第二判断单元，用于在所述人脸区域与所述手部区域存在交集区域时，判断所述交集区域是否达到预设交集阈值；

确定单元，用于在判定所述交集区域达到所述预设交集阈值时，确定所述目标图像中存在打手机行为。

5.根据权利要求4所述的检测接打手机行为的装置，其特征在于，获取所述预设交集阈值的步骤包括：

统计历史图像中的用户在接打手机时的历史人脸和手部的交集区域样本；

分析所述交集区域样本中交集区域的最小值；

将所述最小值作为所述预设交集阈值。

Images