CN110766602A - 一种自动匹配道具的拍照方法及装置 - Google Patents

Abstract

本发明公开了一种自动匹配道具的拍照方法及装置，涉及移动终端技术领域，其方法包括：移动终端在启动相机且进入画面自动装饰道具状态后，获取包含用户图像信息和环境信息的拍摄场景；所述移动终端根据所述拍摄场景，从预置道具库中选取与所述拍摄场景相匹配的道具信息；所述移动终端将所述用户图像信息与所述道具信息进行叠加处理，生成待拍摄合成图像。

Description

一种自动匹配道具的拍照方法及装置

技术领域

本发明涉及移动终端技术领域，特别涉及一种自动匹配道具的拍照方法及装置。

背景技术

智能手机拍照大头贴在女性用户中得到广泛应用，在自拍照片头像上增加大头帖转发朋友圈，能大大增加趣味性，萌性，转发朋友圈能引起朋友共鸣，引发更多的话题。即在拍照时，用户对拍照内容有添加，装饰，美化的需求。

目前手机的大头贴，主要是用户在拍照预览时选择大头贴，大头贴跟踪人脸位置，拍照时将人脸与大头贴一起合成照片。

但当前大头贴解决方案存在明显不足，例如，大头贴需要用户手动选择(用户换大头贴时，需要从候选库中选取)，大头贴无法与用户的表情相结合(用户喜悦与发怒，大头贴不会变化)。大头贴的道具主要是帽子，耳朵，眉毛，胡子，腮红等内容，表现形式有限。

当前技术除拍照手动大头贴外，还没有根据手势动作，身体动作自动选择匹配的相关道具来装饰画面。

发明内容

根据本发明实施例提供的方案解决的技术问题是无法满足用户在拍照时装饰画面的多样性。

根据本发明实施例提供的一种自动匹配道具的拍照方法，包括：

移动终端在启动相机且进入画面自动装饰道具状态后，获取包含用户图像信息和环境信息的拍摄场景；

所述移动终端根据所述拍摄场景，从预置道具库中选取与所述拍摄场景相匹配的道具信息；

所述移动终端将所述用户图像信息与所述道具信息进行叠加处理，生成待拍摄合成图像。

根据本发明实施例提供的一种自动匹配道具的拍照装置，包括：

获取模块，用于在启动相机且进入画面自动装饰道具状态后，获取包含用户图像信息和环境信息的拍摄场景；

选取模块，用于根据所述拍摄场景，从预置道具库中选取与所述拍摄场景相匹配的道具信息；

生成模块，用于将所述用户图像信息与所述道具信息进行叠加处理，生成待拍摄合成图像。

根据本发明实施例提供的一种自动匹配道具的拍照的设备，所述设备包括：处理器，以及与所述处理器耦接的存储器；所述存储器上存储有可在所述处理器上运行的自动匹配道具的拍照的程序，所述自动匹配道具的拍照的程序被所述处理器执行时实现根据本发明实施例提供的所述的自动匹配道具的拍照的方法的步骤。

根据本发明实施例提供的一种计算机存储介质，存储有自动匹配道具的拍照的程序，所述自动匹配道具的拍照的程序被处理器执行时实现根据本发明实施例提供的所述的自动匹配道具的拍照的方法的步骤。

根据本发明实施例提供的方案，用户启动手机相机，选择进入画面自动装饰道具状态，在相机预览画面，用户做出各种姿势，相机获取预览图片，对画面中的人体姿势分析，并在画面上自动加载与当前场景匹配的道具。道具是自动匹配的，用户需要做出某种姿态时，才能匹配到合适的道具，用户想匹配到自己喜欢的道具，需要做出逼真的动作姿势，增加了用户拍摄过程的互动性。自动匹配的道具，很可能超出用户的想象，增加了用户的惊喜感，且避免了用户手动选择的麻烦。

附图说明

图1是本发明实施例提供的一种自动匹配道具的拍照方法流程图；

图2是本发明实施例提供的一种自动匹配道具的拍照装置示意图；

图3是本发明实施例提供的自动匹配道具的拍照的系统框图；

图4是本发明实施例提供的自动匹配道具的拍照的方法流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是本发明实施例提供的一种自动匹配道具的拍照方法流程图，如图1所示，该方法可以包括：

步骤S101：移动终端在启动相机且进入画面自动装饰道具状态后，获取包含用户图像信息和环境信息的拍摄场景。

在一实施方式中，所述用户图像信息包括以下任一或组合：用户脸部特征、用户手势信息、用户人体姿势信息以及用户声音特征等；所述环境信息包括：拍摄时间、拍摄地点、拍摄季节以及拍摄天气等；其中，所述拍摄时间包括以下任一：早上、上午、中午、下午、傍晚以及深夜等；所述拍摄季节包括以下任一：春季、夏季、秋季以及冬季等；所述拍摄天气包括以下任一：晴、风、云、雾、雨、雪、霜、雷以及雹等。

步骤S102：所述移动终端根据所述拍摄场景，从预置道具库中选取与所述拍摄场景相匹配的道具信息。

在一实施方式中，所述移动终端根据所述拍摄场景，从预置道具库中选取与所述拍摄场景相匹配的道具信息包括：所述移动终端通过分别对所述拍摄场景中的用户图像信息和环境信息进行分析，提取出所述拍摄场景中的拍摄关键信息；所述移动终端根据所述拍摄关键信息，从预置道具库中选取与所述拍摄关键信息相匹配的道具信息；其中，所述道具库中保存有拍摄关键信息与道具信息之间对应关系的拍摄道具关系表。所述道具信息包括以下任一或组合：动物道具信息、植物道具信息、食物道具信息、穿戴道具信息以及游戏工具信息等任意适用的道具信息。

步骤S103：所述移动终端将所述用户图像信息与所述道具信息进行叠加处理，生成待拍摄合成图像。

在另一实施方式中，在所述移动终端生成待拍摄合成图像之后，还包括：所述移动终端接收到用户的拍摄指令时，生成拍摄源合成图像，并接收用户的操作指令；当所述操作指令为图像保存指令时，所述移动终端将所述拍摄源合成图像作为拍摄目的合成图像，并保存所述拍摄目的合成图像；当所述操作指令为图像编辑指令时，所述移动终端启动图像道具编辑功能，并通过对所述拍摄源合成图像中的道具进行编辑调整，得到并保存拍摄目标合成图像。具体地说，所述移动终端对所述拍摄源合成图像中的道具进行编辑调整包括以下任一或组合：对所述拍摄源合成图像中的道具进行添加处理；对所述拍摄源合成图像中的道具进行删除处理；对所述拍摄源合成图像中的道具进行位置调整处理；对所述拍摄源合成图像中的道具进行大小调整处理；对所述拍摄源合成图像中的道具进行角度调整处理；以及对所述拍摄源合成图像中的道具进行颜色调整处理。

图2是本发明实施例提供的一种自动匹配道具的拍照装置示意图，如图2所示，该装置可以包括：获取模块201，选取模块202以及生成模块203。

所述获取模块201，用于在启动相机且进入画面自动装饰道具状态后，获取包含用户图像信息和环境信息的拍摄场景。

在一实施方式中，所述获取模块201所获取的所述用户图像信息包括以下任一或组合：用户脸部特征、用户手势信息、用户人体姿势信息以及用户声音特征等；所述环境信息包括：拍摄时间、拍摄地点、拍摄季节以及拍摄天气等；其中，所述拍摄时间包括以下任一：早上、上午、中午、下午、傍晚以及深夜等；所述拍摄季节包括以下任一：春季、夏季、秋季以及冬季等；所述拍摄天气包括以下任一：晴、风、云、雾、雨、雪、霜、雷以及雹等。

在一实施方式中，所述获取模块201可以通过脸部特征识别方法来获取所述用户脸部特征，例如脸部表情、眼睛视线等特征。比如神经网络的人脸识别方法、支持向量机的人脸识别方法等等。所述用户手势信息可以通过人体特征识别方法来分别获取所述用户手势信息和、所述用户人体姿势信息。所述用户声音特征可以通过声音采集装置来获取。

所述获取模块201还可以通过本地或联网途径来读取拍摄时的时间，地点，天气，季节等数据，以获得对应的环境信息。

所述选取模块202，用于根据所述拍摄场景，从预置道具库中选取与所述拍摄场景相匹配的道具信息。在一实施方式中，所述道具信息包括以下任一或组合：动物道具信息、植物道具信息、食物道具信息、穿戴道具信息以及游戏工具信息等。

在一实施方式中，所述选取模块202包括：提取单元，用于通过分别对所述拍摄场景中的用户图像信息和环境信息进行分析，提取出所述拍摄场景中的拍摄关键信息；选取单元，用于根据所述拍摄关键信息，从预置道具库中选取与所述拍摄关键信息相匹配的道具信息；其中，所述道具库中保存有拍摄关键信息与道具信息之间对应关系的拍摄道具关系表。例如在人在有花的公园行走的场景中，从用户图像信息和环境信息中分别提取出的比较明显或突出的信息作为拍摄关键信息，比如此时用户图像信息中的脸部信息以及眼部信息等等是无法获取到的，因此拍摄关键信息包含姿势走着、时间早上、地点公园等等，则从道具库中选取花环、小狗等道具，并在女性用户头上匹配头饰花环，脚边匹配小狗等。又比如，人在草地上躺着的场景，从用户图像信息和环境信息中提取的拍摄关键信息包括脸部微笑、眼睛闭着、姿势躺着等等，则从道具库中选取美食、或运动获奖等道具。

在一实施方式中，用户如果姿势变化的话是不进行用户图像信息分析，将用户动作停止前1-2秒的运动轨迹所获取的用户图像信息作为拍摄关键信息。

所述生成模块203，用于将所述用户图像信息与所述道具信息进行叠加处理，生成待拍摄合成图像。

本发明实施例提供的一种自动匹配道具的拍照的设备，所述设备包括：处理器，以及与所述处理器耦接的存储器；所述存储器上存储有可在所述处理器上运行的自动匹配道具的拍照的程序，所述自动匹配道具的拍照的程序被所述处理器执行时实现根据本发明实施例提供的所述的自动匹配道具的拍照的方法的步骤。

本发明实施例提供的一种计算机存储介质，存储有自动匹配道具的拍照的程序，所述自动匹配道具的拍照的程序被处理器执行时实现根据本发明实施例提供的所述的自动匹配道具的拍照的方法的步骤。

图3是本发明实施例提供的自动匹配道具的拍照装置的系统框图，如图3所示，该系统可以包括照相机单元301，用户姿势分析单元302，环境数据采集单元303，数据分析匹配单元304，道具库305以及道具叠加单元306。

照相机单元301：获取拍照预览图，拍摄照片。

用户姿势分析单元302：用于分析预览图中的图像，是否有人脸人手人全身的图像，同时提供识别出的人脸人手全身在预览图中的大小，位置，角度等关键信息，获取用户动作停止前1-2秒的运动轨迹，得出用户姿态定义关键数据，如表1所示，为下一步道具匹配做准备。

环境数据采集单元303：从本地或联网途径，获取拍摄时的时间，地点，天气，季节等数据，确定用户拍摄时的场景，为下一步道具匹配做准备，如表2所示。

数据分析匹配单元304：根据用户姿势分析系统获得数据，以及环境数据采集系统获得数据，数据分析匹配系统从道具库中选取确定合适的道具，用于匹配本拍摄场景。

道具库305：用于储备各种道具，每种道具配以表1，表2的关键词，如表3提供数据分析匹配系统调用道具。在一实施方式中，所述道具库可以存储在本地也可以存储在云服务器(图中未示出)上。

道具叠加单元306：用户姿势分析系统获得数据，根据人体比例，缩放道具。将道具关键点位置与人体关键点位置匹配。例如，匹配的道具是狼牙棒，狼牙棒的手柄需与用户挥舞的手相连，手柄的角度与用户手握状态匹配。

本发明实施例为准确清晰地分析用户的姿势，用户姿势分析系统按多维度分析方法进行，重要维度，来自预览图分析，与人密切相关，如表1所示。

维度1-1，人体躯干与四肢姿势；

维度1-2，人头姿势与双目视线；

维度1-3，人脸表情；

维度1-4，人手动作；

维度1-5，人体周边场景。

表1：图像及视频分析数据表

辅助维度，来自环境数据采集，如表2所示。

维度2-1，时间；

维度2-2，地点；

维度2-3，天气；

维度2-4，室内室外。

表2：环境采集数据表

表3：道具库与维度属性表1

自动匹配道具的原理为：用户姿势分析系统从拍摄预览图中分析出：维度1-1：走路、或跑步；维度1-4：手拉；环境数据采集系统获得的数据为：维度2-4：街道。数据分析匹配系统，依据已知维度数据，从道具库中寻找匹配度最高的道具，“遛狗”道具(有“走路，手拉，街道”关键词)匹配在预览图中，如表3所示。

道具自动选择实施例

用户姿势分析系统从拍摄预览图中分析出关键词“走路”“手持”。环境数据采集系统采集数据关键词有“有雨”“街道”。数据分析匹配系统从道具库与维度属性表搜索关键词，如匹配，将该位置置1，未匹配到的置0，如表4所示。

表4：道具库与维度属性表2

数据分析匹配系统计算道具选中的行数据，数值越大匹配度越高。

道具n＝(维度1-1)+(维度1-2)+(维度1-3)+(维度1-4)+(维度1-5)+...+(维度2-1)+(维度2-2)+(维度2-3)+(维度2-4)+...

道具1＝1+0+0+0+0 +0+0+0+1＝2

道具2＝0+0+0+1+0 +0+0+0+0＝1

道具3＝0+0+0+1+0 +0+0+0+0＝1

道具4＝1+0+0+1+0 +0+0+1+1＝4

根据运算结果，数据分析匹配系统选择道具4(雨伞，运算数据最大为4)，如用户进入道具编辑状态，数据分析匹配系统推荐道具4(雨伞)，道具1(遛狗，运算结果第二大为2)。

进一步地，可增加语音采集数据，获取用户在拍照时交流的关键词，例如用户当时聊天内容、用户大笑或是用户大喊等等。

图4是本发明实施例提供的自动匹配道具的拍照的方法流程图，如图4所示，该方法可以包括：

步骤1：手机相机初始化；

步骤2：手机相机进入自动添加道具预览图状态；

步骤3：用户摆出某种姿态及做出动作；

步骤4：用户姿势分析系统分析，从相机预览图及用户最后动作，获得用户当前姿势关键数据；环境数据采集系统采集环境数据；

步骤5：数据分析匹配系统依据用户姿势分析系统，环境数据采集系统的数据，从道具库中筛选出与当前用户姿势，场景匹配的道具；

步骤6：道具匹配是否完成？

若道具匹配完成，则进入步骤7，否则返回步骤3。

道具叠加系统，从道具分配系统获得道具，从图像识别系统获得道具的叠加位置，以及大小，角度要求，将道具匹配到合适的位置。

步骤7：用户发出拍照指令，手机相机将预览图中的内容生成照片；

步骤8：道具匹配是否满意？

若用户对匹配的道具不满意，可进入步骤9进行道具编辑状态，调整道具的大小位置，或从道具推荐库中重新选择道具，否则结束。

步骤9：数据分析匹配系统记录用户在道具编辑状态的选择行为，在有多个候选道具时，按用户习惯优先推荐用户最常用的道具。

在预览界面，如脸型表情，手势，身体等发生变化，预览界面不断更新匹配道具及道具大小位置等，以适应新的预览图的内容。

拍照完成后，如用户对自动匹配的道具不满意，可将照片退回到编辑状态，从与该场景匹配的几个道具中选出一个自己喜欢的道具，或对道具调整位置，角度等，再重新保存照片。

本发明实施例除手机相机外，该功能也可扩展到pad，数码相机等领域。也可扩展到视频道具匹配。

例如，启动手机相机，在拍摄有花的场景中，对女性用户在人头上可匹配头饰花环。在拍摄吃饭的环境，可以匹配相关的食物。在拍摄写字或办公的环境，可以匹配一叠作业本或公文。在拍摄读书的环境，可以匹配一条狗在认真地看书。

根据本发明实施例提供的方案，有以下几点有益效果：

1、在手机拍照时，增加相关道具，通过人工智能匹配道具功能，具有大大提高拍照的可玩性。

2、应用人脸道具库，可对人脸的多种表情，如愤怒，喜悦，沉思，张嘴，闭眼等，自动匹配与当前表情符合的道具。可给用户带来惊喜，也减少了用户手动选择大头贴的麻烦。

3、道具库中的道具，可开源来自网络，由用户参与共同制作设计，能紧跟市场热点，补充大量流行的漫画道具，形成与用户良好的互动。

尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (10)

1.一种自动匹配道具的拍照方法，其特征在于，包括：

移动终端在启动相机且进入画面自动装饰道具状态后，获取包含用户图像信息和环境信息的拍摄场景；

所述移动终端根据所述拍摄场景，从预置道具库中选取与所述拍摄场景相匹配的道具信息；

所述移动终端将所述用户图像信息与所述道具信息进行叠加处理，生成待拍摄合成图像。

2.根据权利要求1所述的方法，其特征在于，所述用户图像信息包括以下任一或组合：用户脸部特征、用户手势信息、用户人体姿势信息以及用户声音特征；所述环境信息包括：拍摄时间、拍摄地点、拍摄季节以及拍摄天气；所述道具信息包括以下任一或组合：动物道具信息、植物道具信息、食物道具信息、穿戴道具信息以及游戏工具信息。

3.根据权利要求2所述的方法，其特征在于，所述移动终端根据所述拍摄场景，从预置道具库中选取与所述拍摄场景相匹配的道具信息包括：

所述移动终端通过分别对所述拍摄场景中的用户图像信息和环境信息进行分析，提取出所述拍摄场景中的拍摄关键信息；

所述移动终端根据所述拍摄关键信息，从预置道具库中选取与所述拍摄关键信息相匹配的道具信息；

其中，所述预置道具库中保存有拍摄关键信息与道具信息之间对应关系的拍摄道具关系表。

4.根据权利要求1所述的方法，其特征在于，在所述移动终端生成待拍摄合成图像之后，还包括：

所述移动终端接收到用户的拍摄指令时，生成拍摄源合成图像，并接收用户的操作指令；

当所述操作指令为图像保存指令时，所述移动终端将所述拍摄源合成图像作为拍摄目的合成图像，并保存所述拍摄目的合成图像；

当所述操作指令为图像编辑指令时，所述移动终端启动图像道具编辑功能，并通过对所述拍摄源合成图像中的道具进行编辑调整，得到并保存拍摄目标合成图像。

5.根据权利要求4所述的方法，其特征在于，所述移动终端对所述拍摄源合成图像中的道具进行编辑调整包括以下任一或组合：

对所述拍摄源合成图像中的道具进行添加处理；

对所述拍摄源合成图像中的道具进行删除处理；

对所述拍摄源合成图像中的道具进行位置调整处理；

对所述拍摄源合成图像中的道具进行大小调整处理；

对所述拍摄源合成图像中的道具进行角度调整处理；以及

对所述拍摄源合成图像中的道具进行颜色调整处理。

6.一种自动匹配道具的拍照装置，其特征在于，包括：

获取模块，用于在启动相机且进入画面自动装饰道具状态后，获取包含用户图像信息和环境信息的拍摄场景；

选取模块，用于根据所述拍摄场景，从预置道具库中选取与所述拍摄场景相匹配的道具信息；

生成模块，用于将所述用户图像信息与所述道具信息进行叠加处理，生成待拍摄合成图像。

7.根据权利要求6所述的装置，其特征在于，所述用户图像信息包括以下任一或组合：用户脸部特征、用户手势信息、用户人体姿势信息以及用户声音特征；所述环境信息包括：拍摄时间、拍摄地点、拍摄季节以及拍摄天气；所述道具信息包括以下任一或组合：动物道具信息、植物道具信息、食物道具信息、穿戴道具信息以及游戏工具信息。

8.根据权利要求7所述的装置，其特征在于，所述选取模块包括：

提取单元，用于通过分别对所述拍摄场景中的用户图像信息和环境信息进行分析，提取出所述拍摄场景中的拍摄关键信息；

选取单元，用于根据所述拍摄关键信息，从预置道具库中选取与所述拍摄关键信息相匹配的道具信息；

其中，所述道具库中保存有拍摄关键信息与道具信息之间对应关系的拍摄道具关系表。

9.一种自动匹配道具的拍照的设备，其特征在于，所述设备包括：处理器，以及与所述处理器耦接的存储器；所述存储器上存储有可在所述处理器上运行的自动匹配道具的拍照的程序，所述自动匹配道具的拍照的程序被所述处理器执行时实现如权利要求1至5中任一项所述的自动匹配道具的拍照的方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有自动匹配道具的拍照的程序，所述自动匹配道具的拍照的程序被处理器执行时实现如权利要求1至5中任一项所述的自动匹配道具的拍照的方法的步骤。

Images