CN107127758B - 基于智能机器人的自动识别拍照方法及其系统 - Google Patents

Abstract

基于智能机器人的自动识别拍照方法及其系统，所述方法包括步骤：S1，设定所述机器人的唤醒词；S2，确定声源的位置；S3，所述用户发出拍照指令；S4，确定扫描起点位置；S5，扫描并采集图像，进行人物面部图像检测与识别；S6，调整摄像头至最佳拍摄方位角a3；S7，拍照待触发时识别到的对象数目与扫描过程累计识别到的对象数目进行比对；S8，给出拍照语音提示，进行拍照；S9，将照片推送至所述该对象手机上。所述系统包括：麦克风阵列，用于多通道音频采集；摄像头模组，用于图像采集；机器人主控系统，负责音频前处理、图像采集、云端交互以及机器人运动控制；图像服务器，提供一个能够部署自有算法、或者链接第三方算法库的云平台。

Description

基于智能机器人的自动识别拍照方法及其系统

技术领域

本发明涉及智能家电领域，尤其涉及基于智能机器人的自动识别拍照方法及其系统。

背景技术

随着国内智能语音及大数据、云计算等平台的成熟，智能家居、可穿戴设备、智能机器人等产品概念被引爆，一大批智能设备走向市场并取得不错反响。这其中，智能机器人具有广阔的发展前景，尽管国内外对此的研究已经取得了许多成果,但其智能化水平仍然不尽人意。人们期望智能机器人能在更多的领域为人类服务，代替人类完成更多更复杂的工作。

而随着互联网时代的到来，社交应用成为消费领域不可忽视的领域，人们彼此分享生活和工作动态，拥有较强自拍功能的智能设备越来越受到青睐。VIVO、OPPO等正是靠紧抓自拍这一痛点推出针对性产品，方才后来居上在手机红海占据一方市场。

现有的智能机器人，能够在一定场景下自动对图像进行抓拍并投递给用户。如有物体在镜头前晃动(运动检测)、识别到一些异常的声响(如婴儿哭声、玻璃破碎声)。但是这样的主动抓拍存在误动作概率高(比如风吹过盆栽等)、现场信息失真(由于处理相对检测滞后以及拍照前缺乏对象检测)、不够智能化(如仅能将照片推送给绑定的用户)等问题。而通过给命令识别叠加前置环节(语音唤醒)的方法，能够有效防止误触发；通过声源定位与图像识别的结合，在拍照时，能够有效识别对象群体，自动完成对象统计、校验与结果分发。

发明内容

为了解决上述技术问题，本发明提出一种基于智能机器人的自动识别拍照方法及其系统，实现了一种灵活简便的拍照过程，用户只需用语音触发该操作即可完成整个流程。对于多人合照，通过分析照片标定分享对象，自动完成照片分发。

为了实现上述目的，本发明采用的方案是：

基于智能机器人的自动识别拍照方法，包括步骤：

S1，设定所述机器人的唤醒词：用户能够在所述机器人电源开通的情况下利用所述唤醒词启动所述机器人；

S2，所述机器人接收到唤醒词后，利用内部搭载的麦克风阵列以及内嵌的声学算法，确定声源的位置；

S3，所述用户发出拍照指令；

S4，确定扫描起点位置；

S5，所述机器人确定扫描起点后，以逼近声源的角度进行转动，在移动过程中转动摄像头并进行图像采集，并利用通信网络将所述图像传送至云端服务器进行人物面部图像检测与识别，所述云端服务器将人物面部图像检测与识别结果通过通信网络反馈给所述机器人；重复步骤S5至所述机器人拍摄到人物面部图像；

S6，所述机器人初次拍摄到人物面部图像时的摄像头方位角为a1，同时获取所述云端服务器反馈回的人物面部识别结果；所述机器人继续转动摄像头，记录不同人物的面部图像识别结果，直到检测不到人物面部图像并标定此时摄像头方位角为a2；所述机器人调整摄像头至最佳拍摄方位角a3，所述最佳拍摄方位角a3＝(a1+a2)/2；

S7，所述机器人在摄像头处于最佳拍摄角度a3时，拍摄当前图像并传递给云端服务器，进行对象数目比对；

S8，当对象数目比对结果一致时，所述机器人给出拍照语音提示，进行拍照；

S9，所述机器人完成拍照后，传递给所述云端服务器进行人物面部图像识别，根据人物面部图像识别结果，如果对象在机器人的绑定名单中，将照片推送至所述该对象手机上。

步骤S2中所述的确定生源位置包括步骤：

S21，所述麦克风阵列同时采集多路音频，利用参考信号对相关通道进行回声消除后输入所述机器人的唤醒引擎中进行识别；

S22，所述机器人，在唤醒过程中利用TDOA的方法确定声源方向，根据波束形成原理生成若干波束并对声源方向对应波束进行增强处理。

步骤S2中所述的机器人接收到唤醒词后，用户通过语音启动拍照，拍照过程中机器人给予用户指示，用户接收到所述指示后进行调整等待拍照完成或机器人的下一步指令。

所述S4包括步骤：

S41，所述机器人接收到所述指令后，采集当前图像并利用云端进行面部检测与识别，若返回的检测对象数目为0，则以当前位置为扫描起点；若返回的检测对象数目不为0，背离声源转动，在此过程中不断采集图像并进行对象检测，直到返回对象数目为0，此时停止转动，以当前位置为扫描起点。

步骤S5中所述的人物面部图像检测与识别包括步骤：

S51，所述云端服务器包括图像处理服务器，所述图像处理服务器能够集成第三方图像服务或人脸识别算法，对接收到的图像进行处理并反馈结果；

或

所述云端服务器通过调用第三方平台的人物面部检测与识别服务并获取所述第三方平台的反馈结果。

所述S51中所述的云端服务器通过web service或http request连接第三方平台。

步骤S8中所述的拍照语音提示包括：开始拍照。

步骤S8中所述的拍照语音提示还包括：存在人物面部未面向镜头和/或存在人物面部表情不自然。

一种基于智能机器人的自动识别拍照系统，包括：

麦克风阵列，用于多通道音频采集；

摄像头模组，用于图像采集；

机器人主控系统，负责音频前处理、图像采集、云端交互以及机器人运动控制；

图像服务器，提供一个能够部署自有算法、或者链接第三方算法库的云平台。

本发明的有益效果为：

1、通过智能机器人的麦克风阵列完成语音唤醒和声源定位，结合人形检测、人脸检测完成拍照对象框定。

2、通过人脸识别技术，分析拍照对象的站姿(是否面对摄像头)及面容(是否微笑)，对不理想的情况，发出语音提示(比如请看镜头，笑一笑等)。

3、通过人脸识别技术，结合后台数据库支持获取拍照对象的身份信息，若该对象能够被机器人识别(通过绑定、关注机器人)，自动将照片发送到该对象的智能手机。

附图说明

图1本发明的流程图。

具体实施方式

为了更好的了解本发明的技术方案，下面结合附图对本发明作进一步说明。

如图1所示，基于智能机器人的自动识别拍照方法，包括步骤：

S1，设定所述机器人的唤醒词：用户能够在所述机器人电源开通的情况下利用所述唤醒词启动所述机器人；

S2，所述机器人接收到唤醒词后，利用内部搭载的麦克风阵列以及内嵌的声学算法，确定声源的位置。

步骤S2中所述的确定生源位置包括步骤。

S21，所述麦克风阵列同时采集多路音频，利用参考信号对相关通道进行回声消除后输入所述机器人的唤醒引擎中进行识别；

S22，所述机器人，在唤醒过程中利用诸如TDOA(Time difference of Arrival)的方法确定声源方向，根据波束形成原理生成若干波束并对声源方向对应波束进行增强处理。

所述机器人内嵌的声学算法，由麦克风阵列不同咪头采集的音频数据，根据波束形成原理生成若干波束，利用若干指标(如波束能量)选择某一咪头指示方向作为声源方向。该声源方向作为全局状态变量，直接影响后续音频处理(例如增强声源方向音频的强度，削弱其他方向强度)，同时作为机器人运动组件的重要输入参数(主要是控制转向)。

步骤S2中所述的机器人接收到唤醒词后，所述机器人给予用户指示，用户接收到所述指示后发出下一步指令。

S3，所述用户发出拍照指令。

S4，所述机器人接收到所述指令后，利用以下方法确定扫描起点：采集当前图像并利用云端进行面部检测与识别，若返回的检测对象数目为0，则以当前位置为扫描起点；若返回的检测对象数目不为0，背离声源转动，在此过程中不断采集图像并进行对象检测，直到返回对象数目为0，此时停止转动，以当前位置为扫描起点；

S5，所述机器人确定扫描起点后，逼近声源的角度进行转动，在移动过程中转动摄像头并进行图像采集，并利用通信网络将所述图像传送至云端服务器进行人物面部图像检测与识别，所述云端服务器将人物面部图像检测与识别结果通过通信网络反馈给所述机器人；重复步骤S5至所述机器人拍摄到人物面部图像。

步骤S5中所述的人物面部图像检测与识别包括步骤：

S51，所述云端服务器包括图像处理服务器，所述图像处理服务器可集成成熟的第三方图像服务(如opencv)或人脸识别算法(如特征脸、局部二值模式(LBP)、Fisherface)，对接收到的图像进行处理并反馈结果；

或

所述云端服务器通过调用第三方平台的人物面部检测与识别服务并获取所述第三方平台的反馈结果。

云端服务器通过web service或http request连接第三方平台。

S6，所述机器人初次拍摄到人物面部图像时的摄像头方位角为a1，同时获取所述云端服务器反馈回的人物面部识别结果；所述机器人继续转动摄像头，记录不同人物的面部图像识别结果，直到检测不到人物面部图像并标定此时摄像头方位角为a2；所述机器人调整摄像头至最佳拍摄方位角a3，所述最佳拍摄方位角a3为a1与a2之间的角度中值。

S7，所述机器人在摄像头处于最佳拍摄角度a3时，拍摄当前图像并传递给云端服务器，进行对象数目比对。

S8，当对象数目比对结果一致时，所述机器人给出拍照语音提示，进行拍照。步骤S8中所述的拍照语音提示包括：开始拍照，存在人物面部未面向镜头和/或存在人物面部表情不自然。

S9，所述机器人完成拍照后，传递给所述云端服务器进行人物面部图像识别，根据人物面部图像识别结果，如果对象在机器人的绑定名单中，将照片推送至所述该对象手机上。

一种基于智能机器人的自动识别拍照系统，包括：

麦克风阵列，用于多通道音频采集；

摄像头模组，用于图像采集；

机器人主控系统，负责音频前处理、图像采集、云端交互以及机器人运动控制；

图像服务器，提供一个能够部署自有算法、或者链接第三方算法库的云平台。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.基于智能机器人的自动识别拍照方法，其特征在于，包括步骤：

S1，设定所述机器人的唤醒词：用户能够在所述机器人电源开通的情况下利用所述唤醒词启动所述机器人；

S2，所述机器人接收到唤醒词后，利用内部搭载的麦克风阵列以及内嵌的声学算法，确定声源的位置；

S3，所述用户发出拍照指令；

S4，确定扫描起点位置；

S5，所述机器人确定扫描起点后，以逼近声源的角度进行转动，在移动过程中转动摄像头并进行图像采集，并利用通信网络将所述图像传送至云端服务器进行人物面部图像检测与识别，所述云端服务器将人物面部图像检测与识别结果通过通信网络反馈给所述机器人；重复步骤S5至所述机器人拍摄到人物面部图像；

S6，所述机器人初次拍摄到人物面部图像时的摄像头方位角为a1，同时获取所述云端服务器反馈回的人物面部识别结果；所述机器人继续转动摄像头，记录不同人物的面部图像识别结果，直到检测不到人物面部图像并标定此时摄像头方位角为a2；所述机器人调整摄像头至最佳拍摄方位角a3，所述最佳拍摄方位角a3＝(a1+a2)/2；

S7，所述机器人在摄像头处于最佳拍摄角度a3时，拍摄当前图像并传递给云端服务器，进行对象数目比对；

S8，当对象数目比对结果一致时，所述机器人给出拍照语音提示，进行拍照；

S9，所述机器人完成拍照后，传递给所述云端服务器进行人物面部图像识别，根据人物面部图像识别结果，如果对象在机器人的绑定名单中，将照片推送至所述该对象手机上。

2.根据权利要求1所述的基于智能机器人的自动识别拍照方法，其特征在于，步骤S2中所述的确定声源位置包括步骤：

S21，所述麦克风阵列同时采集多路音频，利用参考信号对相关通道进行回声消除后输入所述机器人的唤醒引擎中进行识别；

S22，所述机器人，在唤醒过程中利用TDOA的方法确定声源方向，根据波束形成原理生成若干波束并对声源方向对应波束进行增强处理。

3.根据权利要求1所述的基于智能机器人的自动识别拍照方法，其特征在于，步骤S2中所述的机器人接收到唤醒词后，用户通过语音启动拍照，拍照过程中机器人给予用户指示，用户接收到所述指示后进行调整等待拍照完成或机器人的下一步指令。

4.根据权利要求1所述的基于智能机器人的自动识别拍照方法，其特征在于，所述S4包括步骤：

S41，所述机器人接收到所述指令后，采集当前图像并利用云端进行面部检测与识别，若返回的检测对象数目为0，则以当前位置为扫描起点；若返回的检测对象数目不为0，背离声源转动，在此过程中不断采集图像并进行对象检测，直到返回对象数目为0，此时停止转动，以当前位置为扫描起点。

5.根据权利要求1所述的基于智能机器人的自动识别拍照方法，其特征在于，步骤S5中所述的人物面部图像检测与识别包括步骤：

S51，所述云端服务器包括图像处理服务器，所述图像处理服务器能够集成第三方图像服务或人脸识别算法，对接收到的图像进行处理并反馈结果；

或

所述云端服务器通过调用第三方平台的人物面部检测与识别服务并获取所述第三方平台的反馈结果。

6.根据权利要求5所述的基于智能机器人的自动识别拍照方法，其特征在于，所述S51中所述的云端服务器通过web service或http request连接第三方平台。

7.根据权利要求1所述的基于智能机器人的自动识别拍照方法，其特征在于，步骤S8中所述的拍照语音提示包括：开始拍照。

8.根据权利要求7所述的基于智能机器人的自动识别拍照方法，其特征在于，步骤S8中所述的拍照语音提示还包括：存在人物面部未面向镜头和/或存在人物面部表情不自然。

9.一种用于实现权利要求1-8任一所述方法的基于智能机器人的自动识别拍照系统，其特征在于，包括：

麦克风阵列，用于多通道音频采集；

摄像头模组，用于图像采集；

机器人主控系统，负责音频前处理、图像采集、云端交互以及机器人运动控制；

图像服务器，提供一个能够部署自有算法、或者链接第三方算法库的云平台。

Images