CN106155315A - 一种拍摄中增强现实效果的添加方法、装置及移动终端 - Google Patents

一种拍摄中增强现实效果的添加方法、装置及移动终端 Download PDF

Info

Publication number
CN106155315A
CN106155315A CN201610503249.3A CN201610503249A CN106155315A CN 106155315 A CN106155315 A CN 106155315A CN 201610503249 A CN201610503249 A CN 201610503249A CN 106155315 A CN106155315 A CN 106155315A
Authority
CN
China
Prior art keywords
human body
body limb
attitude
augmented reality
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610503249.3A
Other languages
English (en)
Inventor
卓世杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201610503249.3A priority Critical patent/CN106155315A/zh
Publication of CN106155315A publication Critical patent/CN106155315A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种拍摄中增强现实效果的添加方法、装置及移动终端。所述方法包括获取摄像头捕捉的图像,识别所述图像中的人体肢体姿态;在所述人体肢体姿态与预存姿态库匹配成功时,触发增强现实功能开启;识别所述人体肢体姿态对应的处理对象,对所述处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像。本发明实施例解决拍摄时使用AR功能导致拍摄操作的复杂度增加的问题,实现智能触发AR功能,及智能确定处理对象,简化了拍摄操作的流程,达到了降低拍摄操作的复杂度的效果。

Description

一种拍摄中增强现实效果的添加方法、装置及移动终端
技术领域
本发明实施例涉及拍摄技术,尤其涉及一种拍摄中增强现实效果的添加方法、装置及移动终端。
背景技术
增强现实技术(Augmented Reality,简称AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
目前,AR技术被应用于医疗、文化、工业、娱乐和旅游等多个领域。例如:增强现实技术被应用于立体防伪领域,即在包装盒体的一个侧面上印刷有传感图片。用户手机上安装AR应用软件,点击软件界面的开启按键,以开启安装在手机上的AR应用软件。再利用手机摄像头扫描盒体上的传感图片,可以在手机拍照区域的包装盒上,播放存储在AR增强现实网络服务器或手机中的三维立体图片,且三维立体图片仅在盒体上传感图片位置播放。
增强现实技术还被应用于商家店铺数据展示领域,即用户手机上安装基于AR技术的定位应用软件,进入定位应用软件的主页,搜索餐厅,就会显示用户所在位置周围设定区域内的所有餐厅位置分布,再根据用户选择的餐厅名称,以文字描述的方式显示用户目前所在位置到所选择的目标餐厅的具体距离,以及该餐厅的具体地址和联系电话。
在发明人实现本发明的过程中,发现现有技术存在如下技术缺陷:手机上的AR应用软件均需要用户手动触发AR功能开启。在将AR功能嵌入到摄像机中时,用户如需要对拍摄对象进行AR增强,则需要点击按键或图标启动AR功能,增加了拍摄操作的复杂度。
发明内容
本发明提供一种拍摄中增强现实效果的添加方法、装置及移动终端,以实现智能触发AR功能,简化了拍摄操作的流程,降低了操作复杂度。
第一方面,本发明实施例提供了一种拍摄中增强现实效果的添加方法,包括:
获取摄像头捕捉的图像,识别所述图像中的人体肢体姿态;
在所述人体肢体姿态与预存姿态库匹配成功时,触发增强现实功能开启;
识别所述人体肢体姿态对应的处理对象,对所述处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像。
第二方面,本发明实施例还提供了一种拍摄中增强现实效果的添加装置,该装置包括:
姿态识别模块,用于获取摄像头捕捉的图像,识别所述图像中的人体肢体姿态;
功能开启模块,用于在所述人体肢体姿态与预存姿态库匹配成功时,触发增强现实功能开启;
增强现实处理模块,用于识别所述人体肢体姿态对应的处理对象,对所述处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像。
第三方面,本发明实施例还提供了一种移动终端,该移动终端集成了上述第二方面的拍摄中增强现实效果的添加装置。
本发明实施例通过识别摄像头捕获的图像中的人体肢体姿态,在所述人体肢体姿态与预存姿态库匹配成功时,触发AR功能开启,实现通过识别摄像头画面中人体肢体姿态的方式,智能开启AR功能,无需用户手动输入;同时,通过识别所述人体肢体姿态对应的处理对象,对所述处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像,无需用户手动输入预进行增强处理的处理对象,简化了操作流程。本发明实施例解决拍摄时使用AR功能导致拍摄操作的复杂度增加的问题,实现智能触发AR功能,及智能确定处理对象,简化了拍摄操作的流程,达到了降低拍摄操作的复杂度的效果。
附图说明
图1a是本发明实施例一中一种拍摄中增强现实效果的添加方法的流程图;
图1b是本发明实施例一中拍摄中增强现实效果的添加方法中人体肢体姿态的示意图;
图1c是本发明实施例一中拍摄中增强现实效果的添加方法中人体肢体姿态的示意图;
图2a是本发明实施例二中的拍摄中增强现实效果的添加方法中展示增强后的处理对象的方法的流程图;
图2b是本发明实施例二中的拍摄中增强现实效果的添加方法中处理对象的示意图;
图2c是本发明实施例二中的拍摄中增强现实效果的添加方法中处理对象的坐标示意图;
图3是本发明实施例三中的一种拍摄中增强现实效果的添加装置的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一提供的一种拍摄中增强现实效果的添加方法的流程图,本实施例可适用于智能开启拍摄设备中集成的增强现实功能的情况,该方法可以由拍摄中增强现实效果的添加装置来执行,具体包括如下步骤:
步骤110、获取摄像头捕捉的图像,识别所述图像中的人体肢体姿态。
其中,摄像头包括镜头、图像传感器、预中放电路、自动增益控制(简称AGC)电路、模数转换器、图像处理器和存储器等构件。其中,图像传感器包括电荷耦合元件(简称CCD)传感器和附加金属氧化物半导体(简称CMOS)传感器。
在用户取景时,被摄物体反射光线,传播至镜头,包含被摄物体信息的光线经镜头聚焦至CCD芯片上。CCD芯片根据光的强弱积聚相应的电荷,经周期性放电,产生表示一幅图像的电信号。所产生的电信号经过预中放电路放大处理、AGC自动增益控制处理和模数转换处理后,输出至图像处理器。采用图像识别算法(例如基于模板的匹配算法,即利用输入图像与训练好的标准模板的相似度进行匹配;或,基于神经网络模型的匹配算法,即基于某种学习准则循环进行学习,得到训练集,将输入图像与训练集进行匹配等),对该图像进行图像识别,识别出所述图像中的人体肢体姿态。通过图像处理器控制所述图像在终端显示屏上显示。
由于对应于人体肢体姿态的动作可能是静止的,也可能是运动的,如果仅凭一帧图像就确定最终人体肢体姿态,显得有些武断。为了提高识别的精确度,可以采用如下方式:
获取摄像头捕捉的至少两帧相邻的图像,识别各帧所述图像中的人体肢体姿态,判断对应于人体肢体姿态的动作为静止状态或运动状态。在静止状态时,将任意一帧所述图像中的人体肢体姿态作为最终人体肢体姿态。在运动状态时,将各帧所述图像中的人体肢体姿态按照时序关系进行叠加,得到所述人体肢体姿态的运动轨迹,将对应于所述运动轨迹的人体肢体姿态的集合作为最终人体肢体姿态。
例如,如图1b所示,获取摄像头捕捉的两帧相邻的图像,采用图像识别算法分别识别各帧图像中的人体肢体姿态,依照相同的采样点(例如,食指指尖、食指与手背连接处、拇指手背连接处、虎口处及手腕处等)获取对应于人体肢体姿态轮廓的像素坐标。将得到的人体肢体姿态进行比对,若两者的相似程度超过预设阈值,且两者的像素坐标相同,则认为对应于人体肢体姿态的动作为静止状态,可以将任意一帧所述图像中的人体肢体姿态作为最终人体肢体姿态。
例如,如图1c所示,获取摄像头捕捉的四帧相邻的图像,采用图像识别算法分别识别各帧图像中的人体肢体姿态,依照相同的采样点(例如,食指指尖、食指与手背连接处、拇指手背连接处、虎口处及手腕处等)获取对应于人体肢体姿态轮廓的像素坐标。将得到的人体肢体姿态进行比对,若不满足两者的相似程度超过预设阈值且两者的像素坐标相同,则认为对应于人体肢体姿态的动作为运动状态。将各帧所述图像中的人体肢体姿态按照时序关系进行叠加,得到所述人体肢体姿态的运动轨迹,将对应于所述运动轨迹的人体肢体姿态的集合作为最终人体肢体姿态。图1c中手势从位置A,经位置B和位置C,返回至位置A,终端确定动态手势为一个椭圆,将所述椭圆包括的闭合区域对应的人体肢体姿态的集合作为最终人体肢体姿态。
步骤120、在所述人体肢体姿态与预存姿态库匹配成功时,触发增强现实功能开启。
其中,预存姿态库为用户设定的可以开启增强现实功能的人的四肢、头及躯干的姿态的集合。在用户的肢体姿态在所述预存姿态库中无对应的姿态数据时,记录该肢体姿态。若该肢体姿态出现的频数超过设定阈值,则询问用户是否将该肢体姿态加入预存姿态库,以更新预存姿态库。
终端通过将最终人体肢体姿态与上述预存的数据库进行匹配的方式,确定是否开启增强现实功能。若匹配成功,则触发增强现实功能;若匹配失败,则提示用户肢体姿态有误。
步骤130、识别所述人体肢体姿态对应的处理对象,对所述处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像。
其中,处理对象为通过所述人体肢体姿态选中的被摄物体。由于人体肢体姿态对应的肢体动作可能是静止的或运动的,相应的,确定对应于人体肢体姿态的方法也有所区别。示例性的,在对应于人体肢体姿态的动作为静止状态时,根据所述最终人体肢体姿态的像素坐标,确定对应于所述人体肢体姿态的处理对象。在对应于人体肢体姿态的动作为运动状态时,获取所述最终人体肢体姿态对应的运动轨迹内的像素坐标,将所述像素坐标对应的对象作为处理对象。
判断预存增强现实资源库中是否存在对应于所述处理对象的默认虚拟内容,若存在,则调用该默认虚拟内容为该处理对象添加增强现实效果。若不存在(或用户不想采用默认虚拟内容为该处理对象添加增强现实效果),则调用预存增强现实资源库中对应于所述处理对象的所有虚拟内容,并在终端的显示屏上展示所述虚拟内容,供用户选择。在用户确定要使用的虚拟内容后,对该处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像。
本实施例的技术方案,通过识别摄像头捕获的图像中的人体肢体姿态,在所述人体肢体姿态与预存姿态库匹配成功时,触发AR功能开启,实现通过识别摄像头画面中人体肢体姿态的方式,智能开启AR功能,无需用户手动输入;同时,通过识别所述人体肢体姿态对应的处理对象,对所述处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像,无需用户手动输入预进行增强处理的处理对象,简化了操作流程。本发明实施例解决拍摄时使用AR功能导致拍摄操作的复杂度增加的问题,实现智能触发AR功能,及智能确定处理对象,达到了降低拍摄操作的复杂度的效果。
实施例二
图2a是本发明实施例二中的拍摄中增强现实效果的添加方法中展示增强后的处理对象的方法的流程图。本实施例的技术方案在上述技术方案的基础上,对识别所述人体肢体姿态对应的处理对象,对所述处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像的操作进行详细说明,具体包括如下步骤:
步骤210、识别人体肢体姿态对应的处理对象。
在对应于人体肢体姿态的动作为静止状态时,根据所述最终人体肢体姿态的像素坐标,确定对应于所述人体肢体姿态的处理对象。
例如:对应于人体肢体姿态的动作可以是一个静止的指点动作,获取所述指点动作对应的手势的像素坐标。其中,获取像素坐标的方式可以是通过图像识别算法识别出所述指点动作对应的指点手势的轮廓,提取所述轮廓对应的像素坐标。
将所获取的图像划分为至少两个子图像,根据所述像素坐标确定所述指点动作对应的子图像。其中,图像划分的规则可以是根据设定划分模板将所述图像划分为至少两个子图像,或根据所述图像中包括的被摄物的数量等。例如,通过图像识别算法识别出所述图像包括的各个被摄物的轮廓,以各个被摄物的几何中心为原点,确定各个被摄物的轮廓上距离原点最远的一个像素点,以该像素点和原点之间的连线的距离的至少两倍的长度为边长,确定矩形区域,根据所确定的矩形区域将所述图像划分为多个子图像。还可以检测相邻的两个矩形区域之间是否存在不属于任意一个矩形区域的空隙,若存在,则将该空隙归入所述两个矩形区域的任意一个的范围内即可。直至,检测到任意相邻的两个矩形区域之间均没有空隙,根据所述矩形区域将所述图像划分为多个子图像。
确定各个子图像包括的像素坐标,将指点手势的像素坐标与各个子图像包括的像素坐标进行匹配。根据匹配结果确定指点手势对应于哪个子图像。
判断所述子图像中是否包括可以进行增强现实处理的对象,根据判断结果确定对应于指点动作的处理对象。
识别指点手势对应的子图像包括的被摄物体,根据所述被摄物体查询预存的增强现实资源库,根据查询结果确定该子图像是否包括可以进行增强现实处理的对象。若所述的预存的增强现实资源库中存在与该子图像包括的被摄物体匹配的虚拟内容,则认为该子图像中的该被拍摄物体是可以进行增强现实处理的对象,即该被拍摄物体为对应于指点动作的处理对象。
如图2b所示,采用设定划分模块将所述图像均分为6个子图像,确定各个子图像的像素坐标的范围。将指点手势对应的像素坐标与各个子图像的像素坐标进行匹配,将匹配成功的子图像作为指点手势对应的子图像,如图2b中的第一子图像。识别第一子图像,确定其包括一本书。以书为关键字查询预存的增强现实资源库,确定是否存在与书匹配的虚拟内容,若存在,则将书确定为对应于指点动作的处理对象。
在被拍摄物体的画面中包括人脸时,最终人体肢体姿态还可以是人脸的朝向。例如,通过人脸识别算法识别出人脸,获取脸部区域的像素坐标。
根据所述像素坐标确定脸部朝向的方位角。基于人脸器官集合分布的先验知识确定人眼位置(例如人眼通常位于人脸的2/5处),将人脸在竖直方向上的中线与双眼连线的交点确定为两眼的中点,确定所述中点的像素坐标。以所述图像的左下角为原点,建立三维坐标系,如图2c所示,根据所述中点(点C)的像素坐标确定脸部朝向的方位角α。
将所述脸部朝向的方位角与所获取的至少两帧图像中的任意一帧包括的各个对象的方位角进行匹配,将匹配成功的对象作为处理对象。
识别所获取的至少两帧图像中的任意一帧包括的各个对象的轮廓,确定各个对象的几何中心与坐标原点的连线的方位角,以作为各个对象的方位角。将脸部朝向的方位角与各个对象的方位角进行匹配,若角度偏差小于设定阈值,则确定脸部朝向的方位角与所获取的至少两帧图像中的任意一帧包括的该对象的方位角匹配成功,将匹配成功的对象作为处理对象。
在对应于人体肢体姿态的动作为运动状态时,获取所述最终人体肢体姿态对应的运动轨迹内的像素坐标,将所述像素坐标对应的对象作为处理对象。
例如,在对应于人体肢体姿态的动作为手指画圈时,如图1c所示,将四帧所述图像中的人体肢体姿态按照时序关系进行叠加,得到所述人体肢体姿态的运动轨迹,确定所述运动轨迹内(椭圆区域)的像素坐标。根据所述像素坐标对应的子图像,根据图像识别算法识别所述子图像,确定所述子图像包括的对象。将所确定的对象与预存的增强现实资源库进行匹配,若匹配成功,则将所确定的对象作为处理对象。若所述子图像为被拍摄物体的一部分,即未在所述子图像中识别到对象,则识别所述图像,确定包括该子图像的对象,将所确定的对象与预存的增强现实资源库进行匹配,若匹配成功,则将所确定的对象作为处理对象。
步骤220、对所述处理对象执行增强现实处理,并在预览图像中展示增强现实处理后的所述处理对象。
在确定处理对象之后,调用预存增强现实资源库中对应于所述处理对象的默认虚拟内容,将所述虚拟内容与所述处理对象合成得到增强现实处理后的处理对象,在终端的显示屏上显示包括增强现实处理后的处理对象的预览图像。此时,检测是否有拍摄指令输入,若有,则执行拍摄指令,拍摄所述预览图像对应的被拍摄物体,得到一帧增强现实处理的图片。这样处理便于抓拍到某些稍纵即逝的瞬间,例如流星或婴儿的笑容等瞬间,并对感兴趣的对象进行增强。
还可以是,在确定处理对象之后,调用预存增强现实资源库中对应于所述处理对象的所有虚拟内容,并在终端的显示屏上展示所述虚拟内容,供用户选择。获取用户选定的虚拟内容,将所述虚拟内容与所述处理对象合成得到增强现实处理后的处理对象,在终端的显示屏上显示包括增强现实处理后的处理对象的预览图像。此时,检测是否有拍摄指令输入,若有,则执行拍摄指令,拍摄所述预览图像对应的被拍摄物体,得到一帧用户符合用户喜好的增强现实处理的图片。
本实施例的技术方案,通过识别所述人体肢体姿态对应的处理对象,实现自动识别用户感兴趣的对象,继而对用户感兴趣的对象进行有针对性地增强,简化了操作流程,拓展了拍摄对象的范围,达到了兼顾拍摄效率及拍摄趣味性的效果。
实施例三
图3是本发明实施例三中的一种拍摄中增强现实效果的添加装置的示意图,具体包括:
姿态识别模块310,用于获取摄像头捕捉的图像,识别所述图像中的人体肢体姿态;
功能开启模块320,用于在所述人体肢体姿态与预存姿态库匹配成功时,触发增强现实功能开启;
增强现实处理模块330,用于识别所述人体肢体姿态对应的处理对象,对所述处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像。
本实施例的技术方案,通过姿态识别模块310识别摄像头捕获的图像中的人体肢体姿态,并通过功能开启模块320在所述人体肢体姿态与预存姿态库匹配成功时,触发AR功能开启,实现通过识别摄像头画面中人体肢体姿态的方式,智能开启AR功能,无需用户手动输入;同时,通过增强现实处理模块330识别所述人体肢体姿态对应的处理对象,对所述处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像,无需用户手动输入预进行增强处理的处理对象,简化了操作流程。本发明实施例解决拍摄时使用AR功能导致拍摄操作的复杂度增加的问题,实现智能触发AR功能,及智能确定处理对象,达到了降低拍摄操作的复杂度的效果。
在上述技术方案的基础上,所述姿态识别模块310具体用于:
获取摄像头捕捉的至少两帧相邻的图像,识别各帧所述图像中的人体肢体姿态,判断对应于人体肢体姿态的动作为静止状态或运动状态;
在静止状态时,将任意一帧所述图像中的人体肢体姿态作为最终人体肢体姿态;
在运动状态时,将各帧所述图像中的人体肢体姿态按照时序关系进行叠加,得到所述人体肢体姿态的运动轨迹,将对应于所述运动轨迹的人体肢体姿态的集合作为最终人体肢体姿态。
在上述技术方案的基础上,所述增强现实处理模块330包括:
第一识别子模块,用于在对应于人体肢体姿态的动作为静止状态时,根据所述最终人体肢体姿态的像素坐标,确定对应于所述人体肢体姿态的处理对象;
第二识别子模块,用于在对应于人体肢体姿态的动作为运动状态时,获取所述最终人体肢体姿态对应的运动轨迹内的像素坐标,将所述像素坐标对应的对象作为处理对象。
在上述技术方案的基础上,所述第一识别子模块具体用于:
在对应于人体肢体姿态的动作为指点动作时,获取所述指点动作对应的手势的像素坐标;
将所获取的图像划分为至少两个子图像,根据所述像素坐标确定所述指点动作对应的子图像;
判断所述子图像中是否包括可以进行增强现实处理的对象,根据判断结果确定对应于指点动作的处理对象。
在上述技术方案的基础上,所述第一识别子模块具体用于:
获取所述最终人体肢体姿态包括的脸部区域的像素坐标;
根据所述像素坐标确定脸部朝向的方位角,将所述脸部朝向的方位角与所获取的至少两帧图像中的任意一帧包括的各个对象的方位角进行匹配,将匹配成功的对象作为处理对象。
上述拍摄中增强现实效果的添加装置可执行本发明任意实施例所提供的拍摄中增强现实效果的添加方法,具备执行方法相应的功能模块和有益效果。
实施例四
本实施例四提供了一种移动终端,该移动终端包括本发明实施例中所述的拍摄中增强现实效果的添加装置,可以通过执行拍摄中增强现实效果的添加方法来为设定处理对象添加增强现实效果。
示例性的,本实施例中的移动终端具体可为手机、平板电脑以及数码照相机等配置有摄像头的终端,优选为智能手机。
当用户使用本实施例中的移动终端时,移动终端可在应用程序调用摄像头进行拍摄时,自动根据图像中满足设定规则的人体肢体姿态触发增强现实功能开启,避免用户手动开启增强现实功能,简化了拍摄的操作流程。并且自动根据图像中的人体肢体姿态确定增强现实处理的处理对象,实现对用户感兴趣的对象进行有针对性地增强,无需用户再手动输入预进行增强处理的对象,达到了降低拍摄操作的复杂度的效果,使增强现实图片的拍摄过程更加简便快捷,提升用户体验。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种拍摄中增强现实效果的添加方法,其特征在于,包括:
获取摄像头捕捉的图像,识别所述图像中的人体肢体姿态;
在所述人体肢体姿态与预存姿态库匹配成功时,触发增强现实功能开启;
识别所述人体肢体姿态对应的处理对象,对所述处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像。
2.根据权利要求1所述的方法,其特征在于,获取摄像头捕捉的图像,识别所述图像中的人体肢体姿态,包括:
获取摄像头捕捉的至少两帧相邻的图像,识别各帧所述图像中的人体肢体姿态,判断对应于人体肢体姿态的动作为静止状态或运动状态;
在静止状态时,将任意一帧所述图像中的人体肢体姿态作为最终人体肢体姿态;
在运动状态时,将各帧所述图像中的人体肢体姿态按照时序关系进行叠加,得到所述人体肢体姿态的运动轨迹,将对应于所述运动轨迹的人体肢体姿态的集合作为最终人体肢体姿态。
3.根据权利要求1所述的方法,其特征在于,识别所述人体肢体姿态对应的处理对象,包括:
在对应于人体肢体姿态的动作为静止状态时,根据所述最终人体肢体姿态的像素坐标,确定对应于所述人体肢体姿态的处理对象;
在对应于人体肢体姿态的动作为运动状态时,获取所述最终人体肢体姿态对应的运动轨迹内的像素坐标,将所述像素坐标对应的对象作为处理对象。
4.根据权利要求3所述的方法,其特征在于,根据所述最终人体肢体姿态的像素坐标,确定对应于所述人体肢体姿态的处理对象,包括:
在对应于人体肢体姿态的动作为指点动作时,获取所述指点动作对应的手势的像素坐标;
将所获取的图像划分为至少两个子图像,根据所述像素坐标确定所述指点动作对应的子图像;
判断所述子图像中是否包括可以进行增强现实处理的对象,根据判断结果确定对应于指点动作的处理对象。
5.根据权利要求3所述的方法,其特征在于,根据所述最终人体肢体姿态的像素坐标,确定对应于所述人体肢体姿态的处理对象,包括:
获取所述最终人体肢体姿态包括的脸部区域的像素坐标;
根据所述像素坐标确定脸部朝向的方位角,将所述脸部朝向的方位角与所获取的至少两帧图像中的任意一帧包括的各个对象的方位角进行匹配,将匹配成功的对象作为处理对象。
6.一种拍摄中增强现实效果的添加装置,其特征在于,包括:
姿态识别模块,用于获取摄像头捕捉的图像,识别所述图像中的人体肢体姿态;
功能开启模块,用于在所述人体肢体姿态与预存姿态库匹配成功时,触发增强现实功能开启;
增强现实处理模块,用于识别所述人体肢体姿态对应的处理对象,对所述处理对象进行增强现实处理,得到一幅增强现实处理后的预览图像。
7.根据权利要求6所述的装置,其特征在于,所述姿态识别模块具体用于:
获取摄像头捕捉的至少两帧相邻的图像,识别各帧所述图像中的人体肢体姿态,判断对应于人体肢体姿态的动作为静止状态或运动状态;
在静止状态时,将任意一帧所述图像中的人体肢体姿态作为最终人体肢体姿态;
在运动状态时,将各帧所述图像中的人体肢体姿态按照时序关系进行叠加,得到所述人体肢体姿态的运动轨迹,将对应于所述运动轨迹的人体肢体姿态的集合作为最终人体肢体姿态。
8.根据权利要求6所述的装置,其特征在于,所述增强现实处理模块包括:
第一识别子模块,用于在对应于人体肢体姿态的动作为静止状态时,根据所述最终人体肢体姿态的像素坐标,确定对应于所述人体肢体姿态的处理对象;
第二识别子模块,用于在对应于人体肢体姿态的动作为运动状态时,获取所述最终人体肢体姿态对应的运动轨迹内的像素坐标,将所述像素坐标对应的对象作为处理对象。
9.根据权利要求8所述的装置,其特征在于,所述第一识别子模块具体用于:
在对应于人体肢体姿态的动作为指点动作时,获取所述指点动作对应的手势的像素坐标;
将所获取的图像划分为至少两个子图像,根据所述像素坐标确定所述指点动作对应的子图像;
判断所述子图像中是否包括可以进行增强现实处理的对象,根据判断结果确定对应于指点动作的处理对象。
10.根据权利要求8所述的装置,其特征在于,所述第一识别子模块具体用于:
获取所述最终人体肢体姿态包括的脸部区域的像素坐标;
根据所述像素坐标确定脸部朝向的方位角,将所述脸部朝向的方位角与所获取的至少两帧图像中的任意一帧包括的各个对象的方位角进行匹配,将匹配成功的对象作为处理对象。
11.一种移动终端,其特征在于,该移动终端集成了如权利要求6-10任意一项所述的拍摄中增强现实效果的添加装置。
CN201610503249.3A 2016-06-28 2016-06-28 一种拍摄中增强现实效果的添加方法、装置及移动终端 Pending CN106155315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610503249.3A CN106155315A (zh) 2016-06-28 2016-06-28 一种拍摄中增强现实效果的添加方法、装置及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610503249.3A CN106155315A (zh) 2016-06-28 2016-06-28 一种拍摄中增强现实效果的添加方法、装置及移动终端

Publications (1)

Publication Number Publication Date
CN106155315A true CN106155315A (zh) 2016-11-23

Family

ID=57350347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610503249.3A Pending CN106155315A (zh) 2016-06-28 2016-06-28 一种拍摄中增强现实效果的添加方法、装置及移动终端

Country Status (1)

Country Link
CN (1) CN106155315A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475442A (zh) * 2017-06-29 2018-08-31 深圳市大疆创新科技有限公司 用于无人机航拍的增强现实方法、处理器及无人机
CN109005336A (zh) * 2018-07-04 2018-12-14 维沃移动通信有限公司 一种图像拍摄方法及终端设备
CN109089038A (zh) * 2018-08-06 2018-12-25 百度在线网络技术(北京)有限公司 增强现实拍摄方法、装置、电子设备及存储介质
CN109164917A (zh) * 2018-08-29 2019-01-08 Oppo(重庆)智能科技有限公司 电子设备控制方法、存储介质及电子设备
CN109377566A (zh) * 2018-10-29 2019-02-22 奇想空间(北京)教育科技有限公司 基于增强现实的显示系统、图像处理方法及装置
CN109480903A (zh) * 2018-12-25 2019-03-19 无锡祥生医疗科技股份有限公司 超声诊断设备的成像方法、装置及系统
CN109872283A (zh) * 2019-01-18 2019-06-11 维沃移动通信有限公司 一种图像处理方法及移动终端
WO2019120032A1 (zh) * 2017-12-21 2019-06-27 Oppo广东移动通信有限公司 模型构建方法、拍照方法、装置、存储介质及终端
CN110414434A (zh) * 2019-07-29 2019-11-05 努比亚技术有限公司 舞蹈练习方法、移动终端及计算机可读存储介质
CN110598670A (zh) * 2019-09-20 2019-12-20 腾讯科技(深圳)有限公司 设置监控区域禁区的方法、装置、存储介质和计算机设备
CN110604579A (zh) * 2019-09-11 2019-12-24 腾讯科技(深圳)有限公司 一种数据采集方法、装置、终端及存储介质
CN110781888A (zh) * 2019-10-25 2020-02-11 北京字节跳动网络技术有限公司 回归视频画面中屏幕的方法、装置、可读介质及电子设备
CN112183155A (zh) * 2019-07-02 2021-01-05 北京新唐思创教育科技有限公司 动作姿态库建立、动作姿态生成、识别方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020184A (zh) * 2012-11-29 2013-04-03 北京百度网讯科技有限公司 使用拍摄图像获取搜索结果的方法和系统
CN103309034A (zh) * 2012-03-07 2013-09-18 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
US20150049113A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
CN104699233A (zh) * 2014-04-14 2015-06-10 杭州海康威视数字技术股份有限公司 一种对屏幕进行操作控制的方法和系统
CN105009031A (zh) * 2013-02-19 2015-10-28 微软公司 上下文知晓增强现实对象命令
CN105229573A (zh) * 2013-03-15 2016-01-06 埃尔瓦有限公司 在增强现实系统中动态保留情景要素
CN105468142A (zh) * 2015-11-16 2016-04-06 上海璟世数字科技有限公司 基于增强现实技术的互动方法、系统和终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
CN103309034A (zh) * 2012-03-07 2013-09-18 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN103020184A (zh) * 2012-11-29 2013-04-03 北京百度网讯科技有限公司 使用拍摄图像获取搜索结果的方法和系统
CN105009031A (zh) * 2013-02-19 2015-10-28 微软公司 上下文知晓增强现实对象命令
CN105229573A (zh) * 2013-03-15 2016-01-06 埃尔瓦有限公司 在增强现实系统中动态保留情景要素
US20150049113A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
CN104699233A (zh) * 2014-04-14 2015-06-10 杭州海康威视数字技术股份有限公司 一种对屏幕进行操作控制的方法和系统
CN105468142A (zh) * 2015-11-16 2016-04-06 上海璟世数字科技有限公司 基于增强现实技术的互动方法、系统和终端

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475442A (zh) * 2017-06-29 2018-08-31 深圳市大疆创新科技有限公司 用于无人机航拍的增强现实方法、处理器及无人机
WO2019120032A1 (zh) * 2017-12-21 2019-06-27 Oppo广东移动通信有限公司 模型构建方法、拍照方法、装置、存储介质及终端
CN109951628A (zh) * 2017-12-21 2019-06-28 广东欧珀移动通信有限公司 模型构建方法、拍照方法、装置、存储介质及终端
CN109005336A (zh) * 2018-07-04 2018-12-14 维沃移动通信有限公司 一种图像拍摄方法及终端设备
CN109089038B (zh) * 2018-08-06 2021-07-06 百度在线网络技术(北京)有限公司 增强现实拍摄方法、装置、电子设备及存储介质
CN109089038A (zh) * 2018-08-06 2018-12-25 百度在线网络技术(北京)有限公司 增强现实拍摄方法、装置、电子设备及存储介质
CN109164917A (zh) * 2018-08-29 2019-01-08 Oppo(重庆)智能科技有限公司 电子设备控制方法、存储介质及电子设备
CN109164917B (zh) * 2018-08-29 2021-10-26 Oppo(重庆)智能科技有限公司 电子设备控制方法、存储介质及电子设备
CN109377566A (zh) * 2018-10-29 2019-02-22 奇想空间(北京)教育科技有限公司 基于增强现实的显示系统、图像处理方法及装置
CN109377566B (zh) * 2018-10-29 2023-08-11 北京西潼科技有限公司 基于增强现实的显示系统、图像处理方法及装置
CN109480903A (zh) * 2018-12-25 2019-03-19 无锡祥生医疗科技股份有限公司 超声诊断设备的成像方法、装置及系统
CN109872283A (zh) * 2019-01-18 2019-06-11 维沃移动通信有限公司 一种图像处理方法及移动终端
CN112183155A (zh) * 2019-07-02 2021-01-05 北京新唐思创教育科技有限公司 动作姿态库建立、动作姿态生成、识别方法及装置
CN112183155B (zh) * 2019-07-02 2022-05-17 北京新唐思创教育科技有限公司 动作姿态库建立、动作姿态生成、识别方法及装置
CN110414434A (zh) * 2019-07-29 2019-11-05 努比亚技术有限公司 舞蹈练习方法、移动终端及计算机可读存储介质
CN110604579A (zh) * 2019-09-11 2019-12-24 腾讯科技(深圳)有限公司 一种数据采集方法、装置、终端及存储介质
CN110604579B (zh) * 2019-09-11 2024-05-17 腾讯科技(深圳)有限公司 一种数据采集方法、装置、终端及存储介质
CN110598670A (zh) * 2019-09-20 2019-12-20 腾讯科技(深圳)有限公司 设置监控区域禁区的方法、装置、存储介质和计算机设备
CN110598670B (zh) * 2019-09-20 2022-03-25 腾讯科技(深圳)有限公司 设置监控区域禁区的方法、装置、存储介质和计算机设备
CN110781888A (zh) * 2019-10-25 2020-02-11 北京字节跳动网络技术有限公司 回归视频画面中屏幕的方法、装置、可读介质及电子设备

Similar Documents

Publication Publication Date Title
CN106155315A (zh) 一种拍摄中增强现实效果的添加方法、装置及移动终端
CN111726536A (zh) 视频生成方法、装置、存储介质及计算机设备
KR20200020960A (ko) 이미지 처리 방법 및 장치, 및 저장 매체
WO2019134516A1 (zh) 全景图像生成方法、装置、存储介质及电子设备
EP3739502A1 (en) Image processing method, apparatus, storage medium, and electronic device
CN105654039B (zh) 图像处理的方法和装置
CN112199016B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112328090B (zh) 手势识别方法及装置、电子设备和存储介质
CN111241887B (zh) 目标对象关键点识别方法及装置、电子设备和存储介质
CN109871843A (zh) 字符识别方法和装置、用于字符识别的装置
CN109325908B (zh) 图像处理方法及装置、电子设备和存储介质
CN113194254A (zh) 图像拍摄方法及装置、电子设备和存储介质
WO2022095860A1 (zh) 指甲特效的添加方法及装置
CN111488774A (zh) 一种图像处理方法、装置和用于图像处理的装置
CN114387445A (zh) 对象关键点识别方法及装置、电子设备和存储介质
WO2023273372A1 (zh) 手势识别对象确定方法及装置
CN107977636B (zh) 人脸检测方法及装置、终端、存储介质
CN111627115A (zh) 互动合影方法及装置、互动装置以及计算机存储介质
CN106228193B (zh) 图像分类方法及装置
CN109947243B (zh) 基于触摸手检测的智能电子设备手势捕获与识别技术
CN109145878B (zh) 图像提取方法及装置
CN115565241A (zh) 手势识别对象确定方法及装置
WO2023169282A1 (zh) 确定交互手势的方法、装置及电子设备
CN113642551A (zh) 指甲关键点检测方法、装置、电子设备及存储介质
CN110837766B (zh) 手势识别方法、手势处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161123