CN108650452A - 用于智能可穿戴电子设备的人脸拍照方法及系统 - Google Patents

Abstract

本发明公开一种用于智能可穿戴电子设备的人脸拍照方法及系统，所述智能可穿戴电子设备上设置有摄像装置，其中所述智能可穿戴电子设备人脸拍照方法通过摄像装置获取视频流数据，控制终端接收传输回来的视频流数据，首先通过具有卷积神经网络的人脸检测器进行多层特征提取，当人脸检测器检测到人脸时，返回人脸位置信息，并向穿戴者给出提示，此时如果人脸位置没有处于位置较佳的拍摄角度，给出调整的提示信息，直至人脸检测器返回较佳的人脸位置信息，启动摄像装置拍照，从而现盲拍过程中对人脸的智能定位，解决了目前采用盲拍方式进行拍照的可穿戴电子设备所引起的拍照质量不佳或者拍的照片不是我们所想要的照片等问题，大大提高了用户体验。

Description

用于智能可穿戴电子设备的人脸拍照方法及系统

技术领域

本发明涉及智能电子设备盲拍技术领域，尤其涉及一种基于深度学习的用于智能可穿戴电子设备的人脸拍照系统。

背景技术

深度学习是机器学习研究中的一个新的领域，近年来，深度学习方法，特别是深层卷积神经网络在图像分类、图像检测等各种计算机视觉任务中取得了显著成绩，它依靠深层非线性网络和大规模的训练数据，实现复杂函数逼近，从而获得更本质的图像特征，有效提升后续的分类和识别效果。深度学习在图像处理，语音识别和自然语言处理等领域都取得了令人瞩目的成果。人脸检测与识别是一种重要的智能化目标检测与识别技术，人脸检测是面向面部检测，面部识别和面部聚类等后续相关应用的关键步骤。传统的机器学习算法及相应的人脸检测的方法仅仅包含单层的非线性的浅层结构，只能能够学习和构建简单的模型函数，无法更加高效的表达出人脸所包含的丰富的特征信息。浅层结构的算法只是将从单一的原始信号转换到特定问题特定空间的简单函数映射，不能够表达复杂的函数模型。而在实现智能化视频分析的过程中，一系列的图像处理，模式识别难题亟需。人脸包含每个人所具有的丰富的独特的特征，人脸的检测其本质就是针对人脸图像进行处理，深度学习的方法为人脸检测与识别所遇到的问题提供了强有力的解决方案和理论基础。

可穿戴电子设备是当今社会的研究热点和电子市场的热门话题，市场上涌现出一系列具有拍照功能的智能可穿戴电子设备，如智能眼镜，不仅集成拍照、录像、通话等多种功能，同时设计精巧给用户带来了很大的方便。智能眼睛采用的是大多是盲拍方式，即通过将设备的摄像头调整好角度，大致判断拍摄的区域在摄像范围内即可发出指令控制设备拍照，这样无法保证所拍的照片是自己所要的照片，如果对人物进行拍照时可能无法显示人物的全部或者拍花等问题，给设备的体验造成了极大的困扰。

发明内容

本发明的目的是提供一种用于智能可穿戴电子设备的人脸拍照方法，以实现盲拍过程中对人脸的智能定位。

本发明的另一目的是提供用于智能可穿戴电子设备的人脸拍照系统，以实现盲拍过程中对人脸的智能定位。

为了实现上述目的，本发明公开了一种用于智能可穿戴电子设备的人脸拍照方法，所述智能可穿戴电子设备上设置有摄像装置，所述智能可穿戴电子设备人脸拍照方法包括如下步骤：

1)、摄像装置获取所拍摄区域的视频流数据，并将所述视频流数据实时传输至控制终端，所述控制终端内置有基于深度学习卷积网络的人脸检测器；

2)、当所述人脸检测器检测到人脸时，返回人脸位置信息；

3)、穿戴者根据上述人脸位置信息做出相应位置调整，直至人脸位置处于较佳拍摄角度；

4)、当将所述拍摄区域的人脸位置调整至较佳拍摄角度时，摄像装置启动拍照。

与现有技术相比，本发明公开的用于智能可穿戴电子设备的人脸拍照方法通过摄像装置获取视频流数据，控制终端接收传输回来的视频流数据，首先通过具有卷积神经网络的人脸检测器进行多层特征提取，当人脸检测器检测到人脸时，返回人脸位置信息，并向穿戴者给出提示，此时如果人脸位置没有处于位置较佳的拍摄角度，给出调整的提示信息，直至人脸检测器返回较佳的人脸位置信息，启动摄像装置拍照，从而现盲拍过程中对人脸的智能定位，解决了目前采用盲拍方式进行拍照的可穿戴电子设备所引起的拍照质量不佳或者拍的照片不是我们所想要的照片等问题，大大的提高了用户的体验效果。

较佳地，所述人脸检测器基于faster rcnn模型进行人脸检测，所述faster rcnn模型的检测方法包括：

1)、采用经过训练的卷积神经网络模型提取所述视频流数据中的人脸特征数据；

2)、采用RPN模型对所述卷积神经网络模型提取的人脸特征数据进行分类和线性回归，以判断所述人脸特征数据是否为人脸，并返回人脸位置信息。

较佳地，所述faster rcnn模型的检测方法还包括：对所述卷积神经网络模型的每一个卷积核所得到的人脸特征图进行多层特征融合后传输至所述RPN模型，所述RPN模型采用softmax分类器对所述人脸特征数据进行分类，所述卷积神经网络模型为VGG16或ResNet。

较佳地，所述摄像装置与所述控制终端无线连接，所述摄像装置与所述控制终端通过蓝牙、红外、WiFi中的任一种连接，所述控制终端为移动终端，所述移动终端上设置有与所述摄像装置连接的APP。

较佳地，所述智能可穿戴电子设备为智能眼睛或智能服饰，所述摄像装置包括摄像头和设置于所述摄像头中的高速图像传感器。

另外，本发明还公开一种用于智能可穿戴电子设备的人脸拍照系统，包括：

摄像装置，其设置于可穿戴电子设备上，用于获取所拍摄区域的视频流数据，所述可穿戴电子设备上还设置有语音提示器，以提示所述人脸位置信息；

控制终端，其与所述摄像装置电性连接，用于接收并处理所述视频流数据，所述控制终端内设置有基于深度学习卷积网络的人脸检测器，所述人脸检测器用于检测所述视频流数据中的人脸特征，并返回人脸位置信息。所述人脸检测器基于faster rcnn模型进行人脸检测，所述faster rcnn模型包括卷积神经网络模型和RPN模型；

所述卷积神经网络模型用于提取所述视频流数据中的人脸特征数据；

所述RPN模型用于对所述卷积神经网络模型提取的人脸特征数据进行分类和线性回归，以判断所述人脸特征数据是否为人脸，并返回人脸位置信息。

较佳地，所述faster rcnn模型还包括设置于所述卷积神经网络模型和所述RPN模型之间的特征融合模块，所述特征融合模块用于对所述卷积神经网络模型的每一个卷积核所得到的人脸特征图进行多层特征融合。所述RPN模型包括softmax分类器，所述softmax分类器用于对所述人脸特征数据进行分类。所述卷积神经网络模型为VGG16或ResNet。

较佳地，所述控制终端为移动终端，所述移动终端上设置有与所述摄像装置无线连接的APP。所述智能可穿戴电子设备为智能眼睛或智能服饰。所述摄像装置包括摄像头和设置于所述摄像头中的高速图像传感器。

附图说明

图1为本发明实施例用于智能可穿戴电子设备的人脸拍照系统的控制原理结构示意图。

图2为本发明实施例用于智能可穿戴电子设备的人脸拍照系统的人脸检测器的模型结构示意图。

图3为为本发明实施例用于智能可穿戴电子设备的人脸拍照系统的工作流程图。

具体实施方式

为详细说明本发明的技术内容、结构特征、实现原理及所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明公开了一种用于智能可穿戴电子设备的人脸拍照系统，如图1和图2所示，包括摄像装置和控制终端。摄像装置设置于可穿戴电子设备上，用于获取所拍摄区域的视频流数据，控制终端与所述摄像装置电性连接，用于接收并处理所述视频流数据，所述控制终端内设置有基于深度学习卷积网络的人脸检测器，所述人脸检测器用于检测所述视频流数据中的人脸特征，并返回人脸位置信息。

请结合参阅图3，具有上述结构的用于智能可穿戴电子设备的人脸拍照系统的具体工作过程为：

1)、摄像装置获取所拍摄区域的视频流数据，并将所述视频流数据实时传输至控制终端，所述控制终端内的人脸检测器对视频流数据进行特征提取；

2)、当所述人脸检测器检测到人脸时，返回人脸位置信息；

3)、穿戴者根据上述人脸位置信息做出相应位置调整，直至人脸位置处于较佳拍摄角度；

4)、当将所述拍摄区域的人脸位置调整至较佳拍摄角度时，摄像装置启动拍照。

本发明公开的用于智能可穿戴电子设备的人脸拍照系统通过摄像装置获取视频流数据，控制终端接收传输回来的视频流数据，首先通过具有卷积神经网络的人脸检测器进行多层特征提取，当人脸检测器检测到人脸时，返回人脸位置信息，并给出提示，穿戴者根据提示作出位置调整，直至人脸检测器返回较佳的人脸位置信息，启动摄像装置拍照，从而实现盲拍过程中对人脸的智能定位，解决了目前采用盲拍方式进行拍照的可穿戴电子设备所引起的拍照质量不佳或者拍的照片不是我们所想要的照片等问题，大大的提高了用户的体验效果。具体地，摄像装置包括摄像头和集成在摄像头中的高速图像传感器，高速图像传感器通过无线信号与控制器连接，控制器将高速图像传感器输出的视频流数据进行处理后转发给控制终端，当人脸检测器返回较佳的人脸位置信息时，控制器控制摄像头启动拍照。具体地，摄像装置与控制器，以及控制器与控制终端之间均通过无线连接，例如可通过蓝牙、红外或者WIFI信号等无线信号，省却了大量信号线的设置。另外，为了便于提醒穿戴者调整位置，本实施例中还设置有与所述控制器电性连接的安装在可穿戴电子设备上的语音提示器，以提示人脸检测器返回的人脸位置信息。

本发明用于智能可穿戴电子设备的人脸拍照系统的另一实施例中，人脸检测器基于faster rcnn模型进行人脸检测，如图2所示，faster rcnn模型包括卷积神经网络模型和RPN模型，本实施例中，卷积神经网络为VGG16，当然也可采用

ResNet。人脸检测器的具体工作过程为：首先采用经过训练的卷积神经网络模型提取所述视频流数据中的人脸特征数据，然后采用RPN模型对该人脸特征数据进行分类和线性回归，以判断所述人脸特征数据是否为人脸，如果为人脸，返回人脸位置信息。为了提高人脸检测的准确性，本实施例中，faster rcnn模型还包括设置在积神经网络模型和RPN模型之间的融合模块，以将提取的多层特征图进行融合，然后通过RPN模型生成区域定位框和概率值，将生成的候选人脸区域定位框的特征图依次通过ROI pooling层，得到统一尺寸的特征图进行softmax二分类任务，并通过线性回归输出人脸的位置信息，最终将结果返回，并通过语音提示器将处理的结果通知给拍摄者。

较佳地，本实施例中，控制终端为移动终端，可穿戴电子设备为智能眼睛，当然也可为智能服饰，人脸检测器以API的形式集成到移动终端对应的APP中，智能眼镜与移动终端上的APP通过蓝牙进行连接，然后将摄像装置获取到的视频流数据实时的传输到移动终端，供人脸检测器处理后返回人脸位置信息。

采用具有上述结构的用于智能可穿戴电子设备的人脸拍照系统进行拍照时，将摄像头调准到预拍摄区域时，高速图像传感器会对预拍摄区域图像数据采集，采集到的视频流数据实时的通过蓝牙传输到移动终端，移动终端对应的APP内置有人脸检测器API，通过调用该人脸检测器API对传输回来的视频流数据进行人脸检测，当检测到人脸时，通过语音提示器通知用户拍摄请求，实现拍照，从而拍摄出高质量的照片。

以上所揭露的仅为本发明的较佳实例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属于本发明所涵盖的范围。

Claims (8)

1.一种用于智能可穿戴电子设备的人脸拍照方法，所述智能可穿戴电子设备上设置有摄像装置，其特征在于，所述智能可穿戴电子设备人脸拍照方法包括如下步骤：

1)、摄像装置获取所拍摄区域的视频流数据，并将所述视频流数据实时传输至控制终端，所述控制终端内置有基于深度学习卷积网络的人脸检测器；

2)、当所述人脸检测器检测到人脸时，返回人脸位置信息；

3)、穿戴者根据上述人脸位置信息做出相应位置调整，直至人脸位置处于较佳拍摄角度；

4)、当将所述拍摄区域的人脸位置调整至较佳拍摄角度时，摄像装置启动拍照。

2.根据权利要求1所述的用于智能可穿戴电子设备的人脸拍照方法，其特征在于，所述人脸检测器基于faster rcnn模型进行人脸检测，所述faster rcnn模型的检测方法包括：

1)、采用经过训练的卷积神经网络模型提取所述视频流数据中的人脸特征数据；

2)、采用RPN模型对所述卷积神经网络模型提取的人脸特征数据进行分类和线性回归，以判断所述人脸特征数据是否为人脸，并返回人脸位置信息。

3.根据权利要求2所述的用于智能可穿戴电子设备的人脸拍照方法，其特征在于，所述faster rcnn模型的检测方法还包括：对所述卷积神经网络模型的每一个卷积核所得到的人脸特征图进行多层特征融合后传输至所述RPN模型，所述RPN模型采用softmax分类器对所述人脸特征数据进行分类，所述卷积神经网络模型为VGG16或ResNet。

4.根据权利要求1所述的用于智能可穿戴电子设备的人脸拍照方法，其特征在于，所述摄像装置与所述控制终端无线连接，所述摄像装置与所述控制终端通过蓝牙、红外、WiFi中的任一种连接，所述控制终端为移动终端，所述移动终端上设置有与所述摄像装置连接的APP。

5.根据权利要求1所述的用于智能可穿戴电子设备的人脸拍照方法，其特征在于，所述智能可穿戴电子设备为智能眼睛或智能服饰，所述摄像装置包括摄像头和设置于所述摄像头中的高速图像传感器。

6.一种用于智能可穿戴电子设备的人脸拍照系统，其特征在于，包括：

摄像装置，其设置于可穿戴电子设备上，用于获取所拍摄区域的视频流数据，所述可穿戴电子设备上还设置有语音提示器，以提示所述人脸位置信息；

控制终端，其与所述摄像装置电性连接，用于接收并处理所述视频流数据，所述控制终端内设置有基于深度学习卷积网络的人脸检测器，所述人脸检测器用于检测所述视频流数据中的人脸特征，并返回人脸位置信息。所述人脸检测器基于faster rcnn模型进行人脸检测，所述faster rcnn模型包括卷积神经网络模型和RPN模型；

所述卷积神经网络模型用于提取所述视频流数据中的人脸特征数据；

所述RPN模型用于对所述卷积神经网络模型提取的人脸特征数据进行分类和线性回归，以判断所述人脸特征数据是否为人脸，并返回人脸位置信息。

7.根据权利要求6所述的用于智能可穿戴电子设备的人脸拍照系统，其特征在于，所述faster rcnn模型还包括设置于所述卷积神经网络模型和所述RPN模型之间的特征融合模块，所述特征融合模块用于对所述卷积神经网络模型的每一个卷积核所得到的人脸特征图进行多层特征融合。所述RPN模型包括softmax分类器，所述softmax分类器用于对所述人脸特征数据进行分类。所述卷积神经网络模型为VGG16或ResNet。

8.根据权利要求6所述的用于智能可穿戴电子设备的人脸拍照系统，其特征在于，所述控制终端为移动终端，所述移动终端上设置有与所述摄像装置无线连接的APP。所述智能可穿戴电子设备为智能眼睛或智能服饰。所述摄像装置包括摄像头和设置于所述摄像头中的高速图像传感器。