CN106127167A - 一种增强现实中目标对象的识别方法、装置及移动终端 - Google Patents

Abstract

本发明公开了一种增强现实中目标对象的识别方法、装置及移动终端，其中，方法包括拍摄过程中实时采集移动终端拍摄界面显示的图像；将所述图像中目标人物的肢体动作与预设肢体动作模型进行匹配；若所述目标人物的肢体动作与所述预设肢体动作模型匹配成功，则识别所述图像中的待增强目标对象。本发明实现在了拍摄过程中对摄像头采集到的图像进行识别，降低了移动终端的功耗，简化了用户操作。

Description

一种增强现实中目标对象的识别方法、装置及移动终端

技术领域

本发明涉及增强现实技术领域，尤其涉及一种增强现实中目标对象的识别方法、装置及移动终端。

背景技术

增强现实(Augmented Reality，AR)技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，如视觉信息、声音、味道和触觉等，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。

随着移动终端的广泛应用，增强现实技术也逐渐融合进移动终端的应用中。目前，拍照已成为移动终端的标准配置，移动终端用户在日常生活中可随手记录下身边的景物及精彩瞬间。而将增强现实技术应用于移动终端的拍照功能中，用户在拍照的过程中可实时对目标对象进行场景及效果的增强，使照片更加美观。然而，现有技术仅对拍到的照片进行增强，因而，当照片中人物的肢体动作不到位时，若对人物背景进行增强，增强效果和人物的肢体动作可能会不协调，若对人物的肢体动作进行增强，可能会对人物的肢体动作进行多次识别，甚至无法匹配到该人物的肢体动作，上述情况都会导致用户需要重新拍照，再次对照片进行识别和增强，增加了移动终端的功耗，为用户对照片进行增强现实操作带来不便。

发明内容

有鉴于此，本发明的目的是提出一种增强现实中目标对象的识别方法、装置及移动终端，以实现在拍摄过程中对摄像头采集到的图像进行识别，降低移动终端的功耗，简化用户操作。

为实现上述目的，本发明采用如下技术方案：

第一方面，本发明实施例提供了一种增强现实中目标对象的识别方法，其特征在于，包括：

拍摄过程中实时采集移动终端拍摄界面显示的图像；

将所述图像中目标人物的肢体动作与预设肢体动作模型进行匹配；

若所述目标人物的肢体动作与所述预设肢体动作模型匹配成功，则识别所述图像中的待增强目标对象。

第二方面，本发明实施例提供了一种增强现实中目标对象的识别装置，其特征在于，包括：

图像采集模块，用于拍摄过程中实时采集移动终端拍摄界面显示的图像；

肢体动作匹配模块，用于将所述图像中目标人物的肢体动作与预设肢体动作模型进行匹配；

待增强目标对象识别模块，用于若所述目标人物的肢体动作与所述预设肢体动作模型匹配成功，则识别所述图像中的待增强目标对象。

第三方面，本发明实施例提供了一种移动终端，其特征在于，所述移动终端包括上述第二方面所述的增强现实中目标对象的识别装置。

本发明的有益效果是：本发明提供的增强现实中目标对象的识别方法、装置及移动终端，在拍摄过程中实时采集移动终端拍摄界面显示的图像，将每次采集到的图像中的目标人物的肢体动作与预设肢体动作模型进行匹配，若匹配成功，则说明目标人物的肢体动作(如身体姿势和脸部姿态等)较佳，此时再对待增强目标对象进行识别，以获得用户满意的增强现实的图像。本发明实现在了拍摄过程中对摄像头采集到的图像进行识别，降低了移动终端的功耗，简化了用户操作。

附图说明

下面将通过参照附图详细描述本发明的示例性实施例，使本领域的普通技术人员更清楚本发明的上述及其他特征和优点，附图中：

图1是本发明实施例一提供的增强现实中目标对象的识别方法的流程示意图；

图2a和2b是本发明实施例一提供的移动终端采集到的匹配成功的图像的显示示意图；

图3a和图3b是本发明实施例一提供的对匹配成功的图像增强后的显示示意图；

图4是本发明实施例二提供的增强现实中目标对象的识别装置的结构框图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的增强现实中目标对象的识别方法的流程示意图。该方法适用于在拍摄过程中对拍摄界面显示的图像进行识别和增强的情况，该方法可以由移动终端或增强现实中目标对象的识别装置来执行。该装置可以由软件和/或硬件的方式来实现。如图1所示，该方法包括：

步骤101、拍摄过程中实时采集移动终端拍摄界面显示的图像。

其中，移动终端可以为智能手机、平板电脑或个人数字助理等配置有摄像头的终端。

示例性的，用户可直接打开摄像应用进入拍摄模式，也可以通过即时聊天工具(如qq和微信等)调用摄像功能进入拍摄模式，两种拍摄模式下均可在拍摄过程中对待增强目标对象进行实时采集与增强。

步骤102、将图像中目标人物的肢体动作与预设肢体动作模型进行匹配。

其中，预设肢体动作模型可以包括头部位姿(如歪头和扭头等)、脸部姿态(如微笑和哭泣等脸部表情)、身体姿势(如弯腰)及四肢动作(如手势动作)中的任一种模型或多种组合的模型。

在目标人物识别中，移动终端可基于人脸识别技术，识别出图像中的人数与人物位置，将对焦处的人物确定为目标人物，或者将用户选定的人物确定为目标人物。其中，对焦包括自动对焦和手动对焦，移动终端对焦后，可自动判定焦点位置，将焦点位置处对应的人物选定为目标人物；而用户选定人物时，移动终端可根据用户的点击位置确定目标人物，也可以根据用户圈画的区域，确定圈画区域内的人物为目标人物。

示例性的，本步骤可包括：

A、基于图像处理技术，提取目标人物的肢体动作特征。

B、将目标人物的肢体动作特征与预设肢体动作模型特征进行匹配。

C、若匹配率达到预设值，则判定目标人物的肢体动作与预设肢体动作模型匹配成功。

具体的，在提取目标人物的脸部姿态特征时，实时定位追踪目标人物的脸部，基于多姿态人脸识别技术，确定人脸各部位的特征点，将人脸各部位的特征点与预设肢体动作模型进行匹配；在提取目标人物的四肢动作特征时，根据目标人物的整体轮廓，识别出四肢轮廓，将四肢轮廓与预设肢体动作模型进行相似度匹配。若匹配率达到预设值，则判定目标人物的肢体动作与预设肢体动作模型匹配成功。其中，对于不同的肢体动作匹配率的预设值可设置不同，例如在脸部姿态特征匹配时，由于脸部特征点变化较小，此时预设值可设置较高，在四肢动作特征匹配时，四肢轮廓的变化表现得比较明显，此时预设值可设置较低。

步骤103、若目标人物的肢体动作与预设肢体动作模型匹配成功，则识别图像中的待增强目标对象。

其中，待增强目标对象包括图像中目标人物的肢体动作和/或目标人物的人物背景。

相应的，识别图像中的待增强目标对象可包括：

当待增强目标对象为目标人物的肢体动作时，根据匹配成功的预设肢体动作模型，识别出待增强目标对象。示例性的，如图2a所示，目标人物为图中正对的小甲，在小甲的肢体动作与预设肢体动作模型匹配成功时，由于该预设肢体动作模型中的肢体动作是已知的，即在预先设置肢体动作模型时，可根据预设肢体动作模型体现的肢体动作为预设肢体动作模型进行命名，由此，可根据预设肢体动作的名称直接确认目标人物的肢体动作。

当待增强目标对象为目标人物的人物背景时，基于图像处理技术，提取人物背景特征，通过服务器将人物背景特征与图像库中的图像进行匹配，识别出待增强目标对象。本方案中，在移动终端本机上难以识别出人物背景时，可将人物背景发送至服务器，或者将人物背景特征信息发送至服务器，通过服务器识别出人物背景。示例性的，如图2b所示，待增强目标对象为目标人物的人物背景，即太阳，在目标人物小花的肢体动作与预设肢体动作模型匹配成功时，对人物背景进行识别，由于太阳的结构比较简单且太阳的图片比较常见，移动终端本机就可以识别出太阳，若人物背景的结构比较复杂，可通过服务器识别出人物背景。

上述方案中，若目标人物的肢体动作与预设肢体动作模型匹配失败，则提示用户是否执行普通拍照，若用户点击是，则直接拍照，若用户点击否，则返回步骤101。

另外，为实现增强现实拍摄，在拍摄过程中实时采集移动终端拍摄界面显示的图像之前，还包括：在检测到用户点击拍摄界面的增强现实按键(如图2a中拍摄界面上的AR键)时，开启增强现实模式；或者，

在目标人物的肢体动作与预设肢体动作模型匹配成功之后，还包括：触发增强现实模式。

本发明实施例一提供的增强现实中目标对象的识别方法，在拍摄过程中实时采集移动终端拍摄界面显示的图像，将每次采集到的图像中的目标人物的肢体动作与预设肢体动作模型进行匹配，若匹配成功，则说明目标人物的肢体动作(如身体姿势和脸部姿态等)较佳，此时再对待增强目标对象进行识别，以获得用户满意的增强现实的图像。本发明实现在了拍摄过程中对摄像头采集到的图像进行识别，降低了移动终端的功耗，简化了用户操作。

进一步的，基于上述方案，在识别出图像中的待增强目标对象之后，还包括：

若增强现实库中存在与待增强目标对象相匹配的增强现实虚拟内容，则对待增强目标对象进行增强。

其中，增强现实虚拟内容可包括实物图像(如树木、月亮、海滩及吉祥物等实物的图像)、特效(如烟雾效果、蒸汽效果及运动轨迹效果等)和自然现象(如雨、雪、彩虹及太阳光圈等)等虚拟内容。

与待增强目标对象相匹配的增强现实虚拟内容可以为与待增强目标对象本身的特征相匹配的增强现实虚拟内容，也可以为待增强目标对象与周围景物相配合所体现的增强现实虚拟内容。

优选的，对待增强目标对象进行增强还可包括：

根据目标人物的肢体动作，判断目标人物的心理活动，根据目标人物的心理活动对待增强目标对象进行增强。

其中，在根据目标人物的心理活动对待增强目标对象进行增强时，可以表情效果对待增强目标对象进行增强，也可以目标人物表达的文字及想象的画面对待增强目标对象进行增强。

示例性的，在识别出图像中的待增强目标对象之后，该图像可定格在拍摄界面，可结合目标人物的肢体动作对待增强目标对象进行增强。如图3a所示，基于图2b，可识别出目标人物小花面带微笑且手势动作为剪刀手，由此可判断出小花心情愉快，因此，对太阳进行增强时，可匹配热情似火的笑脸太阳作为增强现实虚拟内容。

又如图3b所示，基于图2a，可识别出目标人物小甲一只手在打电话，另一只手在挠头，且面带羞涩的笑容，由此可判断出小甲紧张害羞，再进一步识别出小甲背后的同事小乙在坏笑，由此，可为小甲匹配出约会相关的增强现实虚拟内容，如图3b中打电话时说的话，以及小甲根据对方的回答想象出的画面，同时，可以为小乙的脸部表情匹配坏笑的表情。

在获取到增强现实虚拟内容后，将获取到的增强现实虚拟内容显示在拍摄界面中，供用户查看。此时，增强现实虚拟内容与拍摄界面中包含的摄像头获取的图像相叠加，可使用户预览增强效果，用户满意时可直接保存增强后的图像。

实施例二

图4是本发明实施例二提供的增强现实中目标对象的识别装置的结构框图。如图4所示，该装置包括图像采集模块10、肢体动作匹配模块20和待增强目标对象识别模块30。

其中，图像采集模块10，用于拍摄过程中实时采集移动终端拍摄界面显示的图像；

肢体动作匹配模块20，用于将图像中目标人物的肢体动作与预设肢体动作模型进行匹配；

待增强目标对象识别模块30，用于若目标人物的肢体动作与预设肢体动作模型匹配成功，则识别图像中的待增强目标对象。

进一步的，上述肢体动作匹配模块20包括：

肢体动作特征提取单元，用于基于图像处理技术，提取目标人物的肢体动作特征；

肢体动作特征匹配单元，用于将目标人物的肢体动作特征与预设肢体动作模型特征进行匹配；

匹配判定单元，用于若匹配率达到预设值，则判定目标人物的肢体动作与预设肢体动作模型匹配成功。

进一步的，上述预设肢体动作模型包括头部位姿、脸部姿态、身体姿势及四肢动作中的任一种模型或多种组合的模型。

进一步的，上述待增强目标对象包括图像中目标人物的肢体动作和/或目标人物的人物背景；

上述待增强目标对象识别模块30具体用于：

当待增强目标对象为目标人物的肢体动作时，根据匹配成功的预设肢体动作模型，识别出待增强目标对象；

当待增强目标对象为目标人物的人物背景时，基于图像处理技术，提取人物背景特征，通过服务器将人物背景特征与图像库中的图像进行匹配，识别出待增强目标对象。

进一步的，上述方案中，增强现实中目标对象的识别装置还包括：增强现实模式开启模块，用于在拍摄过程中实时采集移动终端拍摄界面显示的图像之前，在检测到用户点击拍摄界面的增强现实按键时，开启增强现实模式；或者，

增强现实模式触发模块，用于在目标人物的肢体动作与预设肢体动作模型匹配成功之后，触发增强现实模式。

进一步的，上述方案中，增强现实中目标对象的识别装置还包括：

待增强目标对象增强模块，用于在识别出图像中的待增强目标对象之后，若增强现实库中存在与待增强目标对象相匹配的增强现实虚拟内容，则对待增强目标对象进行增强。

进一步的，上述待增强目标对象增强模块具体用于：

根据目标人物的肢体动作，判断目标人物的心理活动，根据目标人物的心理活动对待增强目标对象进行增强。

本实施例提供的增强现实中目标对象的识别装置，与本发明实施例所提供的增强现实中目标对象的识别方法属于同一发明构思，可执行本发明实施例所提供的增强现实中目标对象的识别方法，具备相应的功能和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例提供的增强现实中目标对象的识别方法。

实施例三

本发明实施例三提供的移动终端，包括本发明实施例二提供的增强现实中目标对象的识别装置。该移动终端可通过本发明提供的增强现实中目标对象的识别装置，采用相应的增强现实中目标对象的识别方法，在拍摄过程中，先对目标人物的肢体动作进行匹配，若匹配成功，再对待增强目标对象进行识别。

其中，移动终端可以为智能手机、平板电脑或个人数字助理等。

本发明实施例三所提供的移动终端，包括本发明实施例所提供的增强现实中目标对象的识别装置，具备相应的功能和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种增强现实中目标对象的识别方法，其特征在于，包括：

拍摄过程中实时采集移动终端拍摄界面显示的图像；

将所述图像中目标人物的肢体动作与预设肢体动作模型进行匹配；

若所述目标人物的肢体动作与所述预设肢体动作模型匹配成功，则识别所述图像中的待增强目标对象。

2.根据权利要求1所述的方法，其特征在于，将所述图像中目标人物的肢体动作与预设肢体动作模型进行匹配，包括：

基于图像处理技术，提取所述目标人物的肢体动作特征；

将所述目标人物的肢体动作特征与预设肢体动作模型特征进行匹配；

若匹配率达到预设值，则判定所述目标人物的肢体动作与所述预设肢体动作模型匹配成功。

3.根据权利要求1所述的方法，其特征在于，所述预设肢体动作模型包括头部位姿、脸部姿态、身体姿势及四肢动作中的任一种模型或多种组合的模型。

4.根据权利要求1所述的方法，其特征在于，所述待增强目标对象包括所述图像中所述目标人物的肢体动作和/或所述目标人物的人物背景；

识别所述图像中的待增强目标对象，包括：

当所述待增强目标对象为所述目标人物的肢体动作时，根据匹配成功的预设肢体动作模型，识别出所述待增强目标对象；

当所述待增强目标对象为所述目标人物的人物背景时，基于图像处理技术，提取所述人物背景特征，通过服务器将所述人物背景特征与图像库中的图像进行匹配，识别出所述待增强目标对象。

5.根据权利要求1所述的方法，其特征在于，在拍摄过程中实时采集移动终端拍摄界面显示的图像之前，还包括：在检测到用户点击拍摄界面的增强现实按键时，开启增强现实模式；或者，

在所述目标人物的肢体动作与所述预设肢体动作模型匹配成功之后，还包括：触发增强现实模式。

6.根据权利要求1-5任一项所述的方法，其特征在于，在识别出所述图像中的待增强目标对象之后，还包括：

若增强现实库中存在与所述待增强目标对象相匹配的增强现实虚拟内容，则对所述待增强目标对象进行增强。

7.根据权利要求6所述的方法，其特征在于，对所述待增强目标对象进行增强，包括：

根据所述目标人物的肢体动作，判断所述目标人物的心理活动，根据所述目标人物的心理活动对所述待增强目标对象进行增强。

8.一种增强现实中目标对象的识别装置，其特征在于，包括：

图像采集模块，用于拍摄过程中实时采集移动终端拍摄界面显示的图像；

肢体动作匹配模块，用于将所述图像中目标人物的肢体动作与预设肢体动作模型进行匹配；

待增强目标对象识别模块，用于若所述目标人物的肢体动作与所述预设肢体动作模型匹配成功，则识别所述图像中的待增强目标对象。

9.根据权利要求8所述的装置，其特征在于，所述肢体动作匹配模块包括：

肢体动作特征提取单元，用于基于图像处理技术，提取所述目标人物的肢体动作特征；

肢体动作特征匹配单元，用于将所述目标人物的肢体动作特征与预设肢体动作模型特征进行匹配；

匹配判定单元，用于若匹配率达到预设值，则判定所述目标人物的肢体动作与所述预设肢体动作模型匹配成功。

10.根据权利要求8所述的装置，其特征在于，所述预设肢体动作模型包括头部位姿、脸部姿态、身体姿势及四肢动作中的任一种模型或多种组合的模型。

11.根据权利要求8所述的装置，其特征在于，所述待增强目标对象包括所述图像中所述目标人物的肢体动作和/或所述目标人物的人物背景；

所述待增强目标对象识别模块具体用于：

当所述待增强目标对象为所述目标人物的肢体动作时，根据匹配成功的预设肢体动作模型，识别出所述待增强目标对象；

当所述待增强目标对象为所述目标人物的人物背景时，基于图像处理技术，提取所述人物背景特征，通过服务器将所述人物背景特征与图像库中的图像进行匹配，识别出所述待增强目标对象。

12.根据权利要求8所述的装置，其特征在于，还包括：增强现实模式开启模块，用于在拍摄过程中实时采集移动终端拍摄界面显示的图像之前，在检测到用户点击拍摄界面的增强现实按键时，开启增强现实模式；或者，

增强现实模式触发模块，用于在所述目标人物的肢体动作与所述预设肢体动作模型匹配成功之后，触发增强现实模式。

13.根据权利要求8-12任一项所述的装置，其特征在于，还包括：

待增强目标对象增强模块，用于在识别出所述图像中的待增强目标对象之后，若增强现实库中存在与所述待增强目标对象相匹配的增强现实虚拟内容，则对所述待增强目标对象进行增强。

14.根据权利要求13所述的装置，其特征在于，所述待增强目标对象增强模块具体用于：

根据所述目标人物的肢体动作，判断所述目标人物的心理活动，根据所述目标人物的心理活动对所述待增强目标对象进行增强。

15.一种移动终端，其特征在于，所述移动终端包括权利要求8-14任一项所述的增强现实中目标对象的识别装置。