CN111915744A - 增强现实图像的交互方法、终端和存储介质 - Google Patents

增强现实图像的交互方法、终端和存储介质 Download PDF

Info

Publication number
CN111915744A
CN111915744A CN202010907327.2A CN202010907327A CN111915744A CN 111915744 A CN111915744 A CN 111915744A CN 202010907327 A CN202010907327 A CN 202010907327A CN 111915744 A CN111915744 A CN 111915744A
Authority
CN
China
Prior art keywords
augmented reality
reality image
audio
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010907327.2A
Other languages
English (en)
Inventor
沈剑锋
张栋
陈蓉
汪智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Microphone Holdings Co Ltd
Shenzhen Transsion Holdings Co Ltd
Original Assignee
Shenzhen Microphone Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Microphone Holdings Co Ltd filed Critical Shenzhen Microphone Holdings Co Ltd
Priority to CN202010907327.2A priority Critical patent/CN111915744A/zh
Publication of CN111915744A publication Critical patent/CN111915744A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种增强现实图像的交互方法,包括以下步骤:检测到增强现实图像生成操作,拾取目标图像数据;识别所述目标图像数据中目标对象的特性值;搜索与所述特征值匹配的目标增强现实图像数据,并根据所述目标增强现实图像数据生成增强现实图像;和/或,基于所述特征值以及预设绘制方式绘制生成增强现实图像。本申请还公开了一种终端和存储介质。本申请中,可将拾取的任意图像添加成为增强超现实图像素材,增强现实图像素材灵活添加,实现素材灵活多变,丰富增强现实拍照的素材类型,提高增强现实拍照效果。

Description

增强现实图像的交互方法、终端和存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种增强现实图像的交互方法、终端和存储介质。
背景技术
随着AR(增强现实)技术的发展,各手机终端厂商为了增加相机功能的趣味性,都在不断尝试将AR技术运用到拍照功能上去,使得拍照过程中可以添加一些趣味性表情或实现趣味性图像处理。具体终端设备打开相机后,在识别到人像的时候,基于预设的素材库增加一些装饰品、贴纸或者将人物的头换成动物、卡通形象等。
然而现有的相机AR拍照功能的素材库都是后台系统设定好的,只有在相机APP功能升级后才能更新素材库,且素材库的素材是固定的,素材使用灵活度不够。
上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种增强现实图像的交互方法、终端和存储介质,旨在解决现终端的AR拍照素材是固定的,使用灵活度不够的技术问题。
为实现上述目的,本申请提供一种增强现实图像的交互方法,所述增强现实图像的交互方法包括以下步骤:
检测到增强现实图像生成操作,拾取目标图像数据;
识别所述目标图像数据中的目标对象的特性值;
搜索与所述特征值匹配的目标增强现实图像数据,并根据所述目标增强现实图像数据生成所述增强现实图像;
和/或,基于所述特征值以及预设绘制方式绘制生成所述增强现实图像。
可选地,所述拾取目标图像数据的步骤包括:
基于呈现在相机预览界面的图像数据提取目标对象;
以所述目标对象的图像数据作为所述目标图像数据。
可选地,所述搜索与所述特征值匹配的目标增强现实图像数据的步骤之后,所述根据所述目标图像数据生成增强现实图像的步骤之前,还包括:
确定所述目标增强现实图像数据与所述特征值的匹配度大于或等于预设阈值,执行所述根据所述目标增强现实图像数据生成所述增强现实图像的步骤;和/或,
确定所述目标增强现实图像数据与所述特征值的匹配度小于所述预设值,输出重新拾取目标图像数据的提示信息。
可选地,所述提示信息包括相机预览界面的待调整预览参数和目标对象的调整参数中的至少一种。
可选地,所述基于所述目标图像数据生成增强现实图像的步骤之后,还包括:
识别到相机预览界面的人脸特征时,在所述相机预览界面的预设显示位置显示所述增强现实图像。
可选地,所述在所述相机预览界面的预设显示位置显示所述增强现实图像的步骤之后,还包括:
检测到所述增强现实图像的调整操作,获取所述调整操作对应的调整参数;
根据所述调整参数调整所述增强现实图像在所述相机预览界面上的显示位置。
可选地,生成所述增强现实图像的步骤之后,还包括:
识别所述增强现实图像的属性;
将所述增强现实图像与所述属性对应的参数信息关联,并保存所述增强现实图像,可选地,所述参数信息包括预设位置、动作参数以及增强现实形象信息中的至少一种。
可选地,所述预设位置为所述增强现实图像在相机预览界面中的显示位置,或者在所述相机预览界面中所述增强现实图像相对目标对象所在的位置。
本申请还提供一种增强现实图像的交互方法,其特征在于,所述增强现实图像的交互方法包括以下步骤:
检测到音频数据时,获取所述音频数据对应的音频信息;
获取与所述音频信息匹配的增强现实形象信息,在相机预览界面中输出与所述增强现实形象信息关联的增强现实图像;和/或
获取与所述音频信息匹配的动作参数,控制增强现实图像在相机预览界面中执行所述动作参数对应的动作,可选地,所述增强现实图像为预存的增强现实图像或者为生成的增强现实图像。
可选地,所述音频数据包括终端的麦克风检测到的音频数据、终端保存的音频数据、终端或者其他音频播放设备播放的音频数据中的至少一个。
可选地,所述获取与所述音频信息匹配的增强现实形象信息的步骤包括:
获取所述音频信息的音频属性,所述音频属性包括控制关键词、所属歌曲的曲风以及音频节奏中的至少一种;
根据所述音频属性获取与所述音频信息匹配的增强现实形象信息。
可选地,所述获取与所述音频信息匹配的动作参数步骤包括:
获取所述音频信息中的音频节奏;
从预置动作库中搜索与所述音频节奏匹配的动作参数;
或者,根据所述音频节奏生成对应的动作参数。
可选地,所述从预置动作库中搜索与所述音频节奏匹配的动作参数的步骤包括:
从预置动作库中获取与所述音频节奏匹配的至少一个动作,并将所述匹配的至少一个动作按照所述音频节奏的节奏顺序生成连串动作,将所述连串动作作为所述动作参数。
可选地,所述获取与所述音频信息匹配的动作参数的步骤包括:
输出的所述增强现实图像关联有跟随指令时,获取相机预览界面中用户动作作为所述动作参数,可选地,所述用户动作由终端的摄像头实时采集的动作得到。
可选地,执行所述控制增强现实图像在相机预览界面中执行所述动作参数对应的动作的步骤的同时,还执行:
播放所述音频数据,或者播放与所述动作参数关联的其它音频数据。
可选地,所述增强现实图像的交互方法还包括:
检测到拍照或录像操作,接收所述相机预览界面上传的图像数据,所述图像数据包括终端摄像头实时采集的图像信息以及呈现在所述相机预览界面上的增强现实图像信息;
基于所述图像数据生成目标图片;
和/或,基于每一图像帧的时间戳将每一图像帧的图像数据进行拼接,生成目标视频。
本申请还提供一种终端,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的增强现实图像交互程序,所述增强现实图像交互程序被所述处理器执行时实现如上所述的增强现实图像的交互方法的步骤。
此外,本申请还提供一种存储介质,所述存储介质上存储有增强现实图像交互程序,所述增强现实图像交互程序被处理器执行时实现如上所述的增强现实图像的交互方法的步骤。
本申请实施例提出的一种增强现实图像的交互方法、终端和存储介质,通过设置增强现实图像交互程序,基于所述增强现实图像交互程序,在检测到增强现实图像生成操作时,拾取目标图像数据,基于所述目标图像数据中目标对象的特征值生成增强现实图像。如此,用户可将拾取的任意图像添加成为增强超现实图像素材,增强现实图像素材灵活添加,实现素材灵活多变,丰富增强现实拍照的素材类型,提高增强现实拍照效果。
附图说明
图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图;
图2为本申请增强现实图像的交互方法第一实施例的流程示意图;
图3为本申请增强现实图像的交互方法第二实施例的流程示意图;
图4为本申请增强现实图像的交互方法第三实施例的流程示意图;
图5为本申请增强现实图像的交互方法第四实施例的流程示意图;
图6为本申请增强现实图像的交互方法第五实施例的流程示意图;
图7为本申请增强现实图像的交互方法第六实施例的流程示意图;
图8为本申请增强现实图像的交互方法第十实施例的流程示意图;
图9为实现本申请各个实施例的另一种移动终端的硬件结构示意图;
图10为本申请实施例提供的一种通信网络系统架构图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例的主要解决方案是:检测到增强现实图像生成操作,拾取目标图像数据;识别所述目标图像数据中目标对象的特性值;搜索与所述特征值匹配的目标增强现实图像数据,并根据所述目标增强现实图像数据生成增强现实图像;和/或,基于所述特征值以及预设绘制方式绘制生成增强现实图像。
如图1所示,图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
本申请实施例终端可以是智能手机,也可以是平板电脑、便携计算机等具有显示界面的终端。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002,摄像头1006。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。所述摄像头1006与所述处理器1001连接,所述处理器1001用于接收以及处理所述摄像头1006上传的图像数据,并将处理后的图像数据发送至终端的显示界面,在所述显示界面上显示摄像头拾取到的物体。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及增强现实图像交互程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的增强现实图像交互程序,并执行以下操作:
检测到增强现实图像生成操作,拾取目标图像数据;
识别所述目标图像数据中的目标对象的特性值;
搜索与所述特征值匹配的目标增强现实图像数据,并根据所述目标增强现实图像数据生成所述增强现实图像;
和/或,基于所述特征值以及预设绘制方式绘制生成所述增强现实图像。
或者,处理器1001可以用于调用存储器1005中存储的增强现实图像交互程序,并执行以下操作:
检测到音频数据时,获取所述音频数据对应的音频信息;
获取与所述音频信息匹配的增强现实形象信息,在相机预览界面中输出与所述增强现实形象信息关联的增强现实图像;和/或
获取与所述音频信息匹配的动作参数,控制增强现实图像在相机预览界面中执行所述动作参数对应的动作,可选地,所述增强现实图像为预存的增强现实图像或者为生成的增强现实图像。
本申请提供的增强现实图像的交互方法通过添加增强现实图像素材生成程序,以便于用户随时随地用摄像头拾取图像时将拾取的图像生成增强现实图像素材,如此,增强现实图像素材可灵活的生成,解决预设素材库导致素材单一的问题,基于摄像头拾取,可以拾取任意物体或人物,素材灵活多变,丰富增强现实拍照的素材类型,提高增强现实拍照效果。
基于此,本申请提供的增强现实图像生成方案可以采用多种实施例实现,具体地:
第一实施例:
请参照图2,本申请提供一种增强现实图像的交互方法包括以下步骤:
步骤S10,检测到增强现实图像生成操作,拾取目标图像数据;
步骤S20,识别所述目标图像数据中目标对象的特征值;
步骤S30,搜索与所述特征值匹配的目标增强现实图像数据;
步骤S40,根据所述目标增强现实图像数据生成所述增强现实图像;
和/或识别所述目标图像数据中目标对象的特征值后,执行步骤S50,基于所述特征值以及预设绘制方式生成所述增强现实图像。
本实施例以运行于智能手机为例说明增强现实图像的生成过程以及应用过程。本实施例主要应用于智能手机的拍照过程,随着AR技术(增强现实技术)的发展,AR技术应用范围也越来越广,如在智能手机拍照过程中,AR拍照能够给照片添加趣味感,使得照片丰富多彩。
本实施例在AR拍照的应用上,增加自主生成增强现实图像素材的应用,如用户在使用智能手机时,可以随时随地打开相机,通过增强现实生成控件打开摄像头,拾取现实场景中的某个人物或物体,然后将拾取到的人物或物体转换成AR虚拟素材,用户在拍照时可以采用自主生成的增强现实图像素材来生成AR图片。该智能手机可以自动生成多种素材,使得AR素材更丰富,且可以根据用户的需求将现实场景中的人物或物体生成AR素材,增加AR拍照的使用效果。
智能手机的相机预览界面中设有增强现实图像添加控件,用户触发该增强现实图像添加控件时,智能手机检测到增强现实图像生成操作,智能手机处理器控制摄像头拾取图像预览数据,并将图像预览数据上传至处理器,处理器对图像预览数据进行处理后向智能手机的相机预览界面下发图像数据,进而在相机预览界面中显示,以供用户查看所拾取的图像数据。终端从图像数据中获取目标图像数据后,将目标图像数据上传至处理器,处理器对所述目标图像数据进行处理,并生成增强现实图像。在这里需要说明的是,本申请实施例所述的增强现实图像为卡通或动画等。
可以理解的是,增强现实图像生成后,可以保存到存储器中,也可以直接显示在相机预览界面中,当用户触发拍照时,所述增强现实图像与摄像头采集到的人物图像结合生成最终的照片,完成AR拍照。
进一步地,智能手机检测到增强现实图像生成操作时,处理器对摄像头拾取的图像预览数据进行预处理,得到目标图像数据,并将目标图像数据返至相机预览界面。其中,处理器对图像预览数据的处理方式包括对图像预览数据的显示参数的调整处理,也即对图像预览数据的显示参数进行调整,目标图像数据为摄像头所采集的所有图像数据,所述目标图像数据包括主体部分和背景部分。处理器对图像预览数据的处理方式也可以包括对图像预览数据进行图像分割处理,以得到主体部分,删除背景部分,也即目标图像数据为目标对象对应的图像数据,所述目标图像数据仅包含主体部分。基于此,所述相机预览界面显示背景以及主体,或者所述相机预览界面只显示主体。
基于上述的不同处理方式,目标图像数据的拾取方式不同:
如,所述相机预览界面只显示主体(也即目标对象),此时,所述目标图像数据包括目标对象的图像数据,所述在相机预览界面中获取图像数据的步骤包括:
基于呈现在相机预览界面的图像数据提取目标对象;
以所述目标对象的图像数据作为所述目标图像数据。
也即生成增强现实图像之前,从相机预览界面中获取数据以生成增强现实图像时,基于相机预览界面中只显示目标对象(在预处理中已经将背景部分分割,只保留主体部分),如此,处理器可以直接基于呈现在相机预览界面的图像数据提取目标对象,进而根据所述目标对象对应的数据转换成增强现实图像,实现增强现实图像素材的创作。
又如,若处理器只对图像预览数据进行简单的显示参数处理,所述相机预览界面中显示主体和背景,也即此时的目标图像数据包括目标对象的图像数据以及背景的图像数据。由于正常情况下一般是某个物体的奇特构造或某个人物的形象会比较吸引用户,用户才想把它转换成增强现实图像素材,因此一般用户想生成的素材一般只包含主体部分。因此,在这些情况下,只需将主体部分生成为增强现实图像素材。
基于此,相机预览界面中显示主体数据和背景数据,此时从相机预览界面的目标图像数据中提取目标对象的图像数据;以从所述所述目标对象的图像数据识别目标对象的特征值。
也即处理器从相机预览界面中的所有目标图像数据中提取目标对象的图像数据,把背景对应的图像数据删除,然后识别所述目标对象的特征值。
进一步地,本实施例中根据所述目标图像数据生成增强现实图像的步骤包括:根据所述目标图像数据以及预设的增强现实图像参数生成所述增强现实图像。按照预设的增强现实图像参数生成尺寸以及显示效果符合AR要求或者符合在图像中显示的增强现实图像,使得AR拍照过程中,AR图像与拍摄图像的合成更自然,显示效果更佳。所述预设的增强现实图像参数基于终端的终端参数不同而不同,终端参数包括终端类型、显示参数等。
需要说明的是,增强现实图像的生成过程中,将目标图像数据转换为AR素材如动漫或卡通等类型的图片的方式,具体包括但不限于以下两种方式:
如识别到所述目标对象的特征值后,搜索与所述特征值匹配的目标增强现实图像数据,进而根据所述目标增强现实图像数据生成所述增强现实图像。
其中,可以从存储在智能手机的存储器中的预置数据库中搜索与所述特征值匹配的目标增强现实图像数据,也可以从与所述智能手机关联的服务器内搜索与所述特征值匹配的目标增强现实图像数据。所述预设图库数据可以为存储有大量图像的数据库。所述预设图库数据也可以是基于神经网络模型训练得到的,为基于大量图像训练后成型的神经网络模型。
处理器获取到目标对象的图像数据后,识别所述目标对象的特征值,如所述特征值包括轮廓、边角、像素和属性等,所述从预设图库数据中查找与所述特征值匹配的目标增强现实图像数据的方式包括但不限于终端基于目标对象的特征值确定目标对象的属性,进而查找与所述属性对应的目标图像,再从所述目标图像中查找与所述目标对象的轮廓像是的目标增强现实图像,实现从预设图库数据中查找到与所述特征值匹配的目标增强现实图像数据,进而将所述目标增强现实图像数据作为所添加的增强现实图像。
可以理解的是,所述预设图库数据存储有大量图像的数据库,通过逐个查找比对的方式获取目标增强现实图像数据。或者所述预设图库数据为神经网络模型时,基于所述神经网络模型是通过大量图像训练形成的,因此将所述特征值输入所述神经网络模型时,所述神经网络模型输出目标增强现实图像数据。其中,神经网络模型通过查找与所述特征值匹配的特征值,进而根据匹配的特征值确定对应的目标增强现实图像数据。
本实施例中,增强现实图像生成过程比较简单,且易于实现,且所生成的增强现实图像显示效果佳。
请继续参照图2,在另一种方式中,识别所述目标对象的特征值后,基于所述特征值以及预设绘制方式绘制生成所述增强现实图像。如采用动漫或卡通图案的绘制方式,结合所述特征值,将所述目标对象绘制成所述增强现实图像。
需要说明的是,基于本实施例是通过直接绘制的方式生成增强现实图像,一般绘制简单的轮廓,以形成所述增强现实图像。
增强现实图像通过预设绘制方式绘制,进一步丰富增强现实图像的类型,且所生成的增强现实图像更接近用户实际需求的图像。
本实施例通过设置增强现实图像交互程序,基于所述增强现实图像交互程序,在检测到增强现实图像生成操作时,拾取目标图像数据,基于所述目标图像数据中目标对象的特征值生成增强现实图像,如直接从预置数据库中查找特征值匹配的增强现实图像,或者基于特征值绘制成增强现实图像。如此,用户可将拾取的任意图像添加成为增强现实图像素材,增强现实图像素材灵活添加,实现素材灵活多变,丰富增强现实拍照的素材类型,提高增强现实拍照效果。
第二实施例:
为了提高增强现实图像生成准确性,使得基于所采集的图像数据模拟创建的增强现实图像更接近于所采集的图像数据,提出该第二实施例,该实施例基于上述第一实施例,具体请参照图3,所述搜索与所述特征值匹配的目标增强现实图像数据的步骤之后,所述根据所述目标图像数据生成增强现实图像的步骤之前,还包括:
步骤S60,判断所述目标增强现实图像数据与所述特征值的匹配度是否大于或等于预设阈值;
若是,则执行步骤S40,所述根据所述目标增强现实图像数据生成所述增强现实图像的步骤;
需要说明的是,处理器从预设数据库中查找到与所述特征值匹配的目标增强现实图像数据时,查找到的所述目标增强现实图像数据可能与特征值匹配度并不是很高,在一些实施例中,只要查找到匹配的目标增强现实数据,不管匹配度是否高,均以所述目标增强现实数据生成增强现实图像,然而若匹配度不高的情况下,生成的增强现实图像与实际所拾取的物体或人物图像差别较大,这会降低用户体验,降低AR图像的生成效果。基于此,本实施例在生成增强现实图像之前,预先判断所述目标增强现实图像数据与所述特征值的匹配度是否大于或等于预设阈值,可选地,所述预设阈值为相似度能让用户更容易接受的临界值,在所述目标增强现实图像数据与所述特征值的匹配度大于或等于所述预设阈值时,判定所述目标增强现实图像与所拾取的物体图像或人物图像相似度较高,此时可以采用所述目标增强现实图像数据生成所述增强现实图像。
若否,则执行步骤S70,输出重新拾取目标图像数据的提示信息。
若所述目标增强现实图像数据与所述特征值的匹配度小于所述预设阈值,则判定所述目标增强现实图像数据与所拾取的物体图像数据或人物图像数据相似度较低,此时可以提醒用户重新拾取目标图像数据,或者展示根据所述目标增强图像数据生成的增强现实图像给用户,并输入是否确定,或者是否重新拾取的提示信息,以供用户选择保留该增强现实图像,还是重新生成增强现实图像。
进一步地,所述提示信息包括提醒重新拾取目标图像数据的文字等信息,还可以包括相机预览界面的待调整预览参数或目标对象的调整参数,以提示用户根据待调整预览参数来调整相机预览界面,进而采用调整后的相机预览界面从新获取目标图像数据;或者提示用户调整所述目标对象的拾取角度,或者拾取距离等,根据所述提示信息调整后,从新拾取的目标图像数据更容易查找到与目标对象的特征值的匹配度更高的目标增强现实图像数据,如此生成的增强现实图像更接近实物,提高增强现实图像的生成效果。
第三实施例:
本实施例基于上述所有实施例,具体请参照图4,生成增强现实图像的步骤之后,还包括:
步骤S80,识别所述增强现实图像的属性;
步骤S90,将所述增强现实图像与所述属性对应的参数信息关联,并保存所述增强现实图像,可选地,所述参数信息包括预设位置、动作参数以及增强现实形象信息中的至少一种。
生成增强现实图像后,将所述增强现实图像保存,用户在以后使用AR拍照时,可以基于存储器调用所述增强现实图像。
由于用户可能随时随地想把所看之物或人变成自己手机中的AR素材,用于后续拍照时使用,将所生成的增强现实图像保存,用户便于调取。
进一步地,为了使得自主生成的增强现实图像与系统自带的AR素材具有相同的功能,如显示在合理的位置,如帽子显示在人体的头顶,头饰显示在人体的头发上,衣饰显示在人体的上半身或下半身上,或者可以执行对应的动作,或者基于所属的形象执行对应的指令等,本实施例中,生成所述增强现实图像后,识别所述增强现实图像的属性,包括所述增强现实图像的增强现实形象信息,如帽子、衣物、头饰或者动图、形象类型、跟随形象等等,根据所述增强现实图像的属性进行归类,并将所述增强现实图像与所述属性对应的参数信息关联保存,如终端被触发增强现实图像交互操作时,基于所述参数信息与所述增强现实图像的关联关系,实现与所述增强现实图像进行交互。
本实施例以所述参数信息包括预设位置为例说明:终端预先设定增强现实图像的属性与预设位置的关联关系,如帽子对应的预设位置为头顶、手环对应的预设位置为手部、鞋子对应的预设位置为脚、头像对应的预设位置为头部等。将所述增强现实图像的属性与预设位置关联,然后再保存所述增强现实图像,如此,在后续用户调用所述增强现实图像时,基于所述增强现实图像的属性与预设位置的关联关系,将所述增强现实图像显示在所述预设位置上,直接呈现其在画面上的使用效果,提高AR拍照效果。
需要说明的是,所述预设位置为所述增强现实图像在相机预览界面中的显示位置,该显示位置为固定位置;或者在所述相机预览界面中所述增强现实图像相对目标对象所在的位置,也即通过识别所述目标对象的位置,进而确定所述增强现实图像所在位置,体现增强现实图像与目标对象的位置关系,显示效果更好。
可以理解的是,在一些实施例中,保存所述增强现实图像之前,获取预设存储区域中获取处于空闲状态的存储空间,将所述增强现实图像保存在所述存储空间中。若所述预设存储区域中没有处于空闲状态的存储空间,输出删除增强现实图像提示信息,用户从预设存储区域中选择增强现实图像删除,进而将生成的所述增强现实图像进行保存。可以理解的是,删除的增强现实图像可以为在先生成的增强现实图像,也可以为系统配置的增强现实图像。
第四实施例:
本实施例基于上述所有实施例,具体请参照图5,所述生成增强现实图像的步骤之后,还包括:
步骤S100,识别到相机预览界面的人脸特征时,在所述相机预览界面的预设显示位置显示所述增强现实图像。
需要说明的是,智能手机在生成增强现实图像后,可以自动跳转到相机拍摄界面,且自动触发摄像头拾取人脸信息,同时在相机预览界面中显示所生成的增强现实图像。所生成的增强现实图像的显示位置可以为预设固定的某个位置,也可以通过识别相机预览界面的人脸特征,进而确定人脸特征所在位置后,基于所述人脸特征所在位置以及与所述人脸相对位置关系显示所述增强现实图像。
另外,本实施例还可以基于用户触发相机AR拍照,打开摄像头后,在相机预览界面中显示人物,进而识别所述相机预览界面中的人脸特征,然后再在所述相机预览界面的预设显示位置显示所述增强现实图像。
需要说明的是,所述预设显示位置显示基于所述增强现实图像的类型不同而不同。如鞋子的显示位置位于人的脚上、帽子的显示位置位于人的头顶、卡通头像的显示位置位于人的头部。
需要说明的是,本实施例是以人物AR拍照为例说明,当所述增强现实图像与人无位置关系时,识别不到人脸特征,也可以使用所述增强现实图像拍照,也即在所述相机预览界面的预设显示位置上也能显示所述增强现实图像。
本实施例在生成增强现实图像后,自动跳转至拍照界面,省去用户手动操作,提高AR拍照的拍照效果。
第五实施例:
本实施例基于上述第四实施例,需要说明的是,所述增强现实图像可以直接根据预设位置的关联关系直接显示在预设显示位置上,也可以在预设显示位置后,基于用户的调整操作来调整显示位置或显示大小等。
请具体参照图6,所述在所述相机预览界面的预设显示位置显示所述增强现实图像的步骤之后,还包括:
步骤S110,检测到所述增强现实图像的调整操作,获取所述调整操作对应的调整参数;
步骤S120,根据所述调整参数调整所述增强现实图像在所述相机预览界面上的显示位置。
可以理解的是,所述调整操作包括大小调整、位置调整以及角度调整中的至少一个。大小调整通过拉伸或缩小增强现实图像实现,位置调整通过移动增强现实图像实现,角度调整通过旋转所述增强现实图像实现。
检测到所述增强现实图像的触发时长大于或等于预设时长时,如用户触摸所述增强现实图像一定时长,判断检测到所述增强现实图像的调整操作,此时所述增强现实图像处于可调整状态,当检测到拉伸或缩小所述增强现实图像的操作时,获取拉伸距离或缩小距离,进而根据所述拉伸距离拉伸或所述缩小距离缩小所述增强现实图像。或者当侦测到旋转所述增强现实图像的操作时,获取旋转角度,根据所述旋转角度调整所述增强现实图像在所述相机预览界面上的显示位置。或者当检测到滑动所述增强现实图像的操作时,获取滑动距离,根据所述滑动距离调整所述增强现实图像在所述相机预览界面上的显示位置。
基于所述增强现实图像是自动生成的,且增强现实图像的类型多种多样,显示位置不同带来的效果也不同,因此,为了便于用户创作AR拍照效果,本实施例中的所述增强现实图像的显示位置可以基于用户触发进行调整,增强现实图像的位置灵活调整,提高AR拍照的显示效果。
第六实施例:
本实施例基于增强现实图像的交互过程而还提供一种增强现实图像的交互方法,具体参照图7,所述增强现实图像的交互方法包括以下步骤:
步骤S210,检测到音频数据时,获取所述音频数据对应的音频信息;
步骤S220,获取与所述音频信息匹配的增强现实形象信息,在相机预览界面中输出与所述增强现实形象信息关联的增强现实图像;和/或
步骤S230,获取与所述音频信息匹配的动作参数,控制增强现实图像在相机预览界面中执行所述动作参数对应的动作,可选地,所述增强现实图像为预存的增强现实图像或者为生成的增强现实图像。
本实施例应用于如移动终端的终端,所述终端具有音频控制功能,具体在使用终端的相机功能时,可以音频触发相机拍照或个性化功能与人的交互,以下以具体的交互过程进行说明:
所述终端具有检测自身或者外部音频设备所播放的音频数据、或者检测用户语音的麦克风,或者,所述终端设备可以检测自身存储的音频数据;因此本实施例中所述的音频数据包括终端的麦克风检测到的音频数据,如终端本端播放的或外部音频设备播放的音频数据;所述的音频数据还终端保存的音频数据、终端或其他音频播放设备播放的并发送至终端的音频数据。其中,所述音频数据可以为用户发出的控制语音,也可以为播放的音乐等。
预设映射音频信息与增强现实形象信息和/或动作参数的对应关系,并将所述音频信息与增强现实图像信息和/或动作参数的关系保存在存储器中。其中,所述音频信息包括音频属性,如,所述音频信息包括音频属性,如控制关键词、所述歌曲的曲风以及音频节奏等。
终端在拍照过程中,检测到音频数据时,分析所述音频数据,以获取所述音频数据对应的音频信息,基于所述音频信息获取与所述音频信息匹配的增强现实形象信息,进而在相机预览界面中输出与所述增强现实形象信息关联的增强现实图像。和/或基于所述音频信息获取与所述音频信息匹配的动作参数,控制增强现实图像在预览界面中执行所述动作参数对应的动作,可选地,执行所述动作参数的增强现实图像可以为基于所述增强现实信息信息输出的增强现实图像,也可以为用户手动选择的增强现实图像。
在这里需要说明的是,所述音频信息还可以是其他对所述增强现实形象起到控制作用的参数信息。具体基于赋予的定义不同而不同。
所述增强现实形象信息是基于增强现实图像类型定义的,基于增强现实图像类型可以定义现实世界中各种各样的物品形象,如人、动物、植物、生活用品、饰品、漫画、动画等等,本实施例对此不做限定;所述动作参数可以为跳跃、旋转、点头、摇头、弯腰等,本实施例对此不作具体限定,例如,在当前输出的增强现实图像为猫,且动作参数为跳跃时,则控制所述增强现实图像做出跳跃的动作。
需要说明的是,基于本实施例的上述方式输出的增强现实图像或控制的增强现实图像可以是终端预先存储在存储器中的增强现实图像,也可以为基于上述第一至第五实施例中的任意实施例所所述的交互方式自动生成的增强现实图像,如此可以使得用户自主生成的增强现实图像也具备音频交互功能,以进一步丰富终端拍照过程中与增强现实图像的交互功能,提高终端的拍照效果。
在进一步实施例中,执行所述控制增强现实图像在相机预览界面中执行所述动作参数对应的动作的步骤的同时,还执行:
步骤S240,播放所述音频数据,或者播放与所述动作参数关联的其它音频数据。
在控制增强现实图像执行所述动作参数对应的动作的同时,播放所述音频数据,以使所述增强现实图像随着音频进行变化,使得用户可以获得视觉和听觉上的享受,用户也可以基于听到的音频数据,决定是否对音频数据进行切换,从而增加用户与增强现实图像的交互方式。
本申请实施例,接收到音频数据时,获取所述音频数据对应的音频信息;获取与所述音频信息匹配的增强现实形象信息,在相机预览界面中输出与所述增强现实形象信息关联的增强现实图像;和/或获取与所述音频信息匹配的动作参数,控制增强现实图像在相机预览界面中执行所述动作参数对应的动作,基于音频实现对增强现实图像进行控制,如输出增强现实图像或控制增强现实图像执行相应的动作,丰富相机拍照的控制功能,提升用户在拍照过程中与增强现实图像交互的趣味性。或者,基于音频数据控制所述增强现实图像,可以省去用户选择增强现实图像的困难性,为用户提供更好的选择和建议。
第七实施例:
本实施例基于上述第六实施例而进一步提出的增强现实图像的交互方法,所述获取与所述音频信息匹配的增强现实形象信息的步骤包括:
获取所述音频信息的音频属性,所述音频属性包括控制关键词、所属歌曲的曲风以及音频节奏中的至少一种;
根据所述音频属性获取与所述音频信息匹配的增强现实形象信息。
具体地,所述音频信息包括音频属性,如所述音频属性包括控制关键词、所述歌曲的曲风以及音频节奏等。终端根据音频数据获取到音频信息后,分析所述音频信息的音频属性,基于所述音频数据包括控制关键词时,基于所述控制关键词与增强现实形象信息的对应关系,确定匹配的增强现实形象信息。如所述控制关键词为跳舞时,与所述舞蹈匹配的增强现实信息信息为具有舞蹈动作的人物形象、动物形象、植物形象或卡通形象等。或者所述音频信息包括所述歌曲的曲风时,基于所述曲风与增强现实形象信息的对应关系,确定匹配的增强现实形象信息,如所述音频数据为当前播放的歌曲,并确定所述歌曲的曲风为国风,则与所述曲风匹配的增强现实形象信息为具有民族风形象的人物形象、动物形象或卡通形象等,可选地,曲风包括国风、乡村曲风、爵士曲风、流行曲风、摇滚曲风、电子曲风等。可以理解的是,所述音频属性包括但不限于上述三种。或者,所述音频信息包括音频节奏时,基于所述音频节奏与增强现实形象信息的对应关系,确定匹配的增强现实形象信息,如所述音频数据为当前播放的歌曲,基于播放的歌曲确定音频节奏,如音频节奏为快节奏时,与所述音频节奏对应的增强现实形象信息可以为闪动快的人物形象、动物形象或卡通形象等,或者所述音频数据为用户发出的语音控制指令时,基于所述语音控制指令确定音频节奏,如音频节奏为小孩发出的节奏,则由于所述音频对应的增强现实形象信息可以为卡通形象等。
本实施例基于音频信息中的音频属性来确定与所述音频信息匹配的增强现实信息信息,根据音频属性来确定符合当前音频数据的特性推荐增强现实图像,使得音频数据控制的增强现实图像更符合用户以及当前环境的要求,提高交互的效果。
第八实施例:
本实施例基于上述第六实施例和/或第七实施例进一步提出的增强现实图像的交互方法,所述获取与所述音频信息匹配的动作参数步骤包括:
获取所述音频信息中的音频节奏;
从预置动作库中搜索与所述音频节奏匹配的动作参数;
或者,根据所述音频节奏生成对应的动作参数。
在本实施例中,所述音频数据可以包括所述终端设备的麦克风检测到的音频数据,例如用户输入的哼唱音频;所述音频数据还可以包括所述终端设备保存的音乐音频;所述音频数据还可以包括所述终端设备自身或者其他音频播放设备播放的音乐音频,由于检测到的所述音频数据均为音乐音频,因此,所述音频信息包括所述音频节奏。本实施例中的所述增强现实图像可以基于与动作参数的关联关系,可执行与所述动作参数相同或相似的动作。因此,本实施例设置音频节奏与动作参数的关联关系,获取到音频信息中的音频节奏时,从预置动作库中搜索与所述音频节奏匹配的动作参数。或者基于大数据中的节奏与动作的关系,根据当前获取到的音频节奏生成对应的动作参数,以使增强现实图像执行与所述动作参数匹配的动作。
具体地,终端中预置的动作库中设有至少一个经典舞蹈动作,所述舞蹈动作可以为成套关联的,也可以为离散型的舞蹈动作。如设置每一个歌曲类型对应一套连续动作,获取到音频信息后,基于所述音频节奏确定歌曲类型,进而获取与所述歌曲类型对应的动作参数,将所述动作参数作为与所述音频节奏匹配的动作参数,此时控制增强现实图像根据所述动作参数执行对应的动作。
或者,所述舞蹈动作为离散型的动作时,终端可以基于每个节奏与动作的关联关系,在获取到音频节奏后,基于所述音频节奏生成一连串动作,以生成基于所述音频数据对应的舞蹈动作。例如在进一步实施例中,所述从预置动作库中搜索与所述音频节奏匹配的动作参数的步骤包括:
从预置动作库中获取与所述音频节奏匹配的至少一个动作,并将所述匹配的至少一个动作按照所述音频节奏的节奏顺序生成连串动作,将所述连串动作作为所述动作参数。
也即所述预置动作库中的动作与音频节奏一一映射关系,基于获取到的音频节奏以及获取时间确定节奏顺序,并基于节奏顺序以及每个节奏与动作的映射关系,生成连串动作,进而将所述连串动作作为所述动作参数。本实施例基于动作与音频节奏的一一映射关系,可以根据音频数据组合生成新的动作,如增强现实图像执行舞蹈动作时,可以基于本实施例方法创作新的舞蹈,增加终端交互的趣味性。
在本实施例中,所述终端设备或者与所述终端设备通讯的服务器中,预置有动作库,所述动作库可以是的动作可以为舞蹈动作,也可以是其他动作,而不限于时舞蹈动作,根据所述音频节奏从预置的动作库中获取与所述音频节奏的至少一个动作,并将所述匹配的至少一个动作按照所述音频节奏中的节奏演奏顺序生成连串动作,将所述连串动作作为所述动作参数,例如,该连串动作可以是先睁眼、再微笑、然后摇手打招呼。
需要说明的是,本实施例可以在执行上述第七实施例后执行,如基于上述第七实施例的方式确定增强现实图像后,若所述增强现实图像中包含动作执行指令,则可以根据本实施例的方式获取所述增强现实图像的动作参数,进而基于所述动作参数控制所述增强现实图像执行对应的动作。
第九实施例:
本实施例是基于上述第六实施例和/或第七实施例进一步提出的增强现实图像的交互方法,本实施例为相对于第八实施例提出的另一实施例,本实施例中的动作参数还可以通过实时采集,如所述获取与所述音频信息匹配的动作参数的步骤包括:
输出的所述增强现实图像关联有跟随指令时,获取相机预览界面中用户动作作为所述动作参数,可选地,所述用户动作由终端的摄像头实时采集的动作得到。
在本实施例中,基于一些增强现实图像的需求或用户需求,设置增强现实图像与跟随指令关联,当输出的所述蒸发器现实图像具有跟随功能时,获取相机预览界面中用户动作作为所述动作参数,以控制所述增强现实图像根据所述动作参数执行对应的动作,实现让增强现实图像跟随用户动作。
或者设置增强现实图像具有跟随功能,基于用户指示跟随动作或者音频数据具有跟随指令时,例如,用户语音发出“跟随我”的跟随指令,并被所述终端设备作为音频数据检测到,并被所述终端设备识别出所述音频数据包括“跟随我”的跟随指令,所述终端设备通过自带的摄像头采集用户的实时动作,并将用户的实时动作作为所述动作参数,控制所述AR形象跟随用户一起运动,从而提高用户与AR形象交互时的趣味性。
第十实施例:
本实施例是基于上述所有实施例提出的增强现实图像的交互方法,请参照图8,在相机预览界面中输出所述增强现实信息关联的增强现实图像和/或控制增强现实图像在相机预览界面中执行所述动作参数对应的动作之后,所述增强现实图像的交互方法还包括:
步骤S250,检测到拍照或录像操作,接收所述相机预览界面上传的图像数据,所述图像数据包括终端摄像头实时采集的图像信息以及呈现在所述相机预览界面上的增强现实图像信息;
步骤S260,基于所述图像数据生成目标图片;
和/或,执行步骤S270,基于每一图像帧的时间戳将每一图像帧的图像数据进行拼接,生成目标视频。
终端与用户交互过程中,为了使得交互过程或交互结果可以得到保存,本实施例中的终端界面具有拍照或录像功能,用户可以基于终端的显示界面触发拍照或录像功能,以获取与增强现实图像的交互过程或交互结果。
具体地,终端检测到拍照时,从相机预览界面中获取所述相机预览界面当前显示的图像数据,基于当前终端的相机预览界面中显示终端摄像头采集的实时图像信息,如人像信息,相机预览界面还呈现与用户进行交互的增强现实图像信息,因此终端从所述相机预览界面中获取到的图像数据包括实时采集的图像信息和增强现实图像信息。基于此,将所述实时采集的图像信息和增强现实图像信息进行处理,以结合形成具有图像信息和所述增强现实图像信息的目标图片,完成拍照过程。
或者,终端检测到录像操作时,不断的从相机预览界面中获取所述相机预览界面当前显示的图像数据,进而基于相机预览界面上传的每一图像帧以及每一图像帧的时间戳将所述图像数据拼接形成目标视频,完成视频录制过程。
可以理解的是,视频录制过程中,相机预览界面内的增强现实图像可以基于当前播放的音频数据不断的切换动作,如动作为舞蹈动作时,可以基于所述音频数据完成连串舞蹈动作,并在执行连串舞蹈动作过程中,基于视频录制功能将所述增强现实图像的动画过程形成视频。
本实施例在增强现实图像交互过程中,基于录像功能或拍照功能,实现将交互过程进行保存,丰富交互功能,提高用户体验。
本申请还提供一种终端,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的增强现实图像交互程序,所述增强现实图像交互程序被所述处理器执行时实现如上所述的增强现实图像的交互方法的步骤。
此外,本申请还提供一种存储介质,所述存储介质上存储有增强现实图像交互程序,所述增强现实图像交互程序被处理器执行时实现如上所述的增强现实图像的交互方法的步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行如上各种可能的实施方式中所述的方法。
本申请实施例还提供一种芯片,包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于从所述存储器中调用并运行所述计算机程序,使得安装有所述芯片的设备执行如上各种可能的实施方式中所述的方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或至少一个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括至少一个子步骤或者至少一个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是,在本文中,采用了诸如S10、S20等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S20后执行S10等,但这些均应在本申请的保护范围之内。
在本文的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
终端可以以各种形式来实施。例如,本申请中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端,以及诸如数字TV、台式计算机等固定终端。
本文描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本申请的实施方式的构造也能够应用于固定类型的终端。
请参阅图9,其为实现本申请各个实施例的另一种移动终端的硬件结构示意图,该移动终端100可以包括:RF(Radio Frequency,射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图9中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图9对移动终端的各个部件进行具体的介绍:
射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution,频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution,分时双工长期演进)等。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,可选地,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
进一步的,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图9中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图9未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。
为了便于理解本申请实施例,下面对本申请的移动终端所基于的通信网络系统进行描述。
请参阅图10,图10为本申请实施例提供的一种通信网络系统架构图,该通信网络系统为通用移动通信技术的LTE系统,该LTE系统包括依次通讯连接的UE(User Equipment,用户设备)201,E-UTRAN(Evolved UMTS Terrestrial Radio Access Network,演进式UMTS陆地无线接入网)202,EPC(Evolved Packet Core,演进式分组核心网)203和运营商的IP业务204。
具体地,UE201可以是上述终端100,此处不再赘述。
E-UTRAN202包括eNodeB2021和其它eNodeB2022等。其中,eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接,eNodeB2021连接到EPC203,eNodeB2021可以提供UE201到EPC203的接入。
EPC203可以包括MME(Mobility Management Entity,移动性管理实体)2031,HSS(Home Subscriber Server,归属用户服务器)2032,其它MME2033,SGW(Serving Gate Way,服务网关)2034,PGW(PDN Gate Way,分组数据网络网关)2035和PCRF(Policy andCharging Rules Function,政策和资费功能实体)2036等。其中,MME2031是处理UE201和EPC203之间信令的控制节点,提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能,并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送,PGW2035可以提供UE 201的IP地址分配以及其它功能,PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点,它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。
IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem,IP多媒体子系统)或其它IP业务等。
虽然上述以LTE系统为例进行了介绍,但本领域技术人员应当知晓,本申请不仅仅适用于LTE系统,也可以适用于其他无线通信系统,例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络系统等,此处不做限定。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (16)

1.一种增强现实图像的交互方法,其特征在于,所述增强现实图像的交互方法包括以下步骤:
检测到增强现实图像生成操作,拾取目标图像数据;
识别所述目标图像数据中目标对象的特性值;
搜索与所述特征值匹配的目标增强现实图像数据,并根据所述目标增强现实图像数据生成增强现实图像;
和/或,基于所述特征值以及预设绘制方式绘制生成增强现实图像。
2.如权利要求1所述的增强现实图像的交互方法,其特征在于,所述拾取目标图像数据的步骤包括:
基于呈现在相机预览界面的图像数据提取目标对象;
以所述目标对象的图像数据作为所述目标图像数据。
3.如权利要求1所述的增强现实图像的交互方法,其特征在于,所述搜索与所述特征值匹配的目标增强现实图像数据的步骤之后,所述根据所述目标图像数据生成增强现实图像的步骤之前,还包括:
确定所述目标增强现实图像数据与所述特征值的匹配度大于或等于预设阈值,执行所述根据所述目标增强现实图像数据生成所述增强现实图像的步骤;和/或,
确定所述目标增强现实图像数据与所述特征值的匹配度小于所述预设值,输出重新拾取目标图像数据的提示信息。
4.如权利要求1所述的增强现实图像的交互方法,其特征在于,所述生成增强现实图像的步骤之后,还包括:
识别到相机预览界面的人脸特征时,在所述相机预览界面的预设显示位置显示所述增强现实图像。
5.如权利要求4所述的增强现实图像的交互方法,其特征在于,所述在所述相机预览界面的预设显示位置显示所述增强现实图像的步骤之后,还包括:
检测到所述增强现实图像的调整操作,获取所述调整操作对应的调整参数;
根据所述调整参数调整所述增强现实图像在所述相机预览界面上的显示位置。
6.如权利要求1所述的增强现实图像的交互方法,其特征在于,所述生成增强现实图像的步骤之后,还包括:
识别所述增强现实图像的属性;
将所述增强现实图像与所述属性对应的参数信息关联,并保存所述增强现实图像。
7.一种增强现实图像的交互方法,其特征在于,所述增强现实图像的交互方法包括以下步骤:
检测到音频数据时,获取所述音频数据对应的音频信息;
获取与所述音频信息匹配的增强现实形象信息,在相机预览界面中输出与所述增强现实形象信息关联的增强现实图像;和/或
获取与所述音频信息匹配的动作参数,控制增强现实图像在相机预览界面中执行所述动作参数对应的动作。
8.如权利要求7所述的增强现实图像的交互方法,其特征在于,所述音频数据包括终端的麦克风检测到的音频数据、终端保存的音频数据、终端或者其他音频播放设备播放的音频数据中的至少一个。
9.如权利要求7所述的增强现实图像的交互方法,其特征在于,所述获取与所述音频信息匹配的增强现实形象信息的步骤包括:
获取所述音频信息的音频属性,所述音频属性包括控制关键词、所属歌曲的曲风以及音频节奏中的至少一种;
根据所述音频属性获取与所述音频信息匹配的增强现实形象信息。
10.如权利要求7所述的增强现实图像的交互方法,其特征在于,所述获取与所述音频信息匹配的动作参数步骤包括:
获取所述音频信息中的音频节奏;
从预置动作库中搜索与所述音频节奏匹配的动作参数;
或者,根据所述音频节奏生成对应的动作参数。
11.如权利要求10所述的增强现实图像的交互方法,其特征在于,所述从预置动作库中搜索与所述音频节奏匹配的动作参数的步骤包括:
从预置动作库中获取与所述音频节奏匹配的至少一个动作,并将所述匹配的至少一个动作按照所述音频节奏的节奏顺序生成连串动作,将所述连串动作作为所述动作参数。
12.根据权利要求7所述的增强现实图像的交互方法,其特征在于,所述获取与所述音频信息匹配的动作参数的步骤包括:
输出的所述增强现实图像关联有跟随指令时,获取相机预览界面中用户动作作为所述动作参数。
13.根据权利要求7至12中任意一项所述的增强现实图像的交互方法,其特征在于,执行所述控制增强现实图像在相机预览界面中执行所述动作参数对应的动作的步骤的同时,还执行:
播放所述音频数据,或者播放与所述动作参数关联的其它音频数据。
14.如权利要求7所述的增强现实图像的交互方法,其特征在于,所述增强现实图像的交互方法还包括:
检测到拍照或录像操作,接收所述相机预览界面上传的图像数据,所述图像数据包括终端摄像头实时采集的图像信息以及呈现在所述相机预览界面上的增强现实图像信息;
基于所述图像数据生成目标图片;
和/或,基于每一图像帧的时间戳将每一图像帧的图像数据进行拼接,生成目标视频。
15.一种终端,其特征在于,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的增强现实图像交互程序,所述增强现实图像交互程序被所述处理器执行时实现如权利要求1至14中任一项所述的增强现实图像的交互方法的步骤。
16.一种存储介质,其特征在于,所述存储介质上存储有增强现实图像交互程序,所述增强现实图像交互程序被处理器执行时实现如权利要求1至14中任一项所述的增强现实图像的交互方法的步骤。
CN202010907327.2A 2020-08-31 2020-08-31 增强现实图像的交互方法、终端和存储介质 Pending CN111915744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010907327.2A CN111915744A (zh) 2020-08-31 2020-08-31 增强现实图像的交互方法、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010907327.2A CN111915744A (zh) 2020-08-31 2020-08-31 增强现实图像的交互方法、终端和存储介质

Publications (1)

Publication Number Publication Date
CN111915744A true CN111915744A (zh) 2020-11-10

Family

ID=73267198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010907327.2A Pending CN111915744A (zh) 2020-08-31 2020-08-31 增强现实图像的交互方法、终端和存储介质

Country Status (1)

Country Link
CN (1) CN111915744A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946701A (zh) * 2021-09-14 2022-01-18 广州市城市规划设计有限公司 一种基于图像处理的城乡规划数据的动态更新方法及装置
WO2024020908A1 (en) * 2022-07-28 2024-02-01 Snap Inc. Video processing with preview of ar effects

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325238A (zh) * 2011-10-26 2012-01-18 天津三星光电子有限公司 一种具有换装功能的数码相机
KR101518696B1 (ko) * 2014-07-09 2015-05-08 정지연 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
CN106127829A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实的处理方法、装置及终端
CN107105168A (zh) * 2017-06-02 2017-08-29 哈尔滨市舍科技有限公司 可虚拟拍照的共享观景系统
CN107194003A (zh) * 2017-06-15 2017-09-22 深圳天珑无线科技有限公司 相框显示方法及装置
CN107920256A (zh) * 2017-11-30 2018-04-17 广州酷狗计算机科技有限公司 直播数据播放方法、装置及存储介质
CN108109209A (zh) * 2017-12-11 2018-06-01 广州市动景计算机科技有限公司 一种基于增强现实的视频处理方法及其装置
CN108600625A (zh) * 2018-04-24 2018-09-28 北京小米移动软件有限公司 图像获取方法及装置
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
CN108921941A (zh) * 2018-07-10 2018-11-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109087376A (zh) * 2018-07-31 2018-12-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109194874A (zh) * 2018-10-30 2019-01-11 努比亚技术有限公司 拍照方法、装置、终端及计算机可读存储介质
CN109669611A (zh) * 2018-11-29 2019-04-23 维沃移动通信有限公司 试衣方法及终端
KR20190070590A (ko) * 2017-12-13 2019-06-21 미디어스코프 주식회사 아바타 안무 생성 방법 및 이를 수행하기 위한 장치
CN110430356A (zh) * 2019-06-25 2019-11-08 华为技术有限公司 一种修图方法与电子设备
CN110710192A (zh) * 2017-04-14 2020-01-17 脸谱公司 在相机取景器显示内容中发现增强现实元素
CN110888532A (zh) * 2019-11-25 2020-03-17 深圳传音控股股份有限公司 人机交互方法、装置、移动终端及计算机可读存储介质
CN111223045A (zh) * 2019-11-15 2020-06-02 Oppo广东移动通信有限公司 一种拼图方法、装置及终端设备
CN111586318A (zh) * 2019-02-19 2020-08-25 三星电子株式会社 用于提供基于虚拟角色的拍摄模式的电子装置及操作方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325238A (zh) * 2011-10-26 2012-01-18 天津三星光电子有限公司 一种具有换装功能的数码相机
KR101518696B1 (ko) * 2014-07-09 2015-05-08 정지연 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
CN106127829A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实的处理方法、装置及终端
CN110710192A (zh) * 2017-04-14 2020-01-17 脸谱公司 在相机取景器显示内容中发现增强现实元素
CN107105168A (zh) * 2017-06-02 2017-08-29 哈尔滨市舍科技有限公司 可虚拟拍照的共享观景系统
CN107194003A (zh) * 2017-06-15 2017-09-22 深圳天珑无线科技有限公司 相框显示方法及装置
CN107920256A (zh) * 2017-11-30 2018-04-17 广州酷狗计算机科技有限公司 直播数据播放方法、装置及存储介质
CN108109209A (zh) * 2017-12-11 2018-06-01 广州市动景计算机科技有限公司 一种基于增强现实的视频处理方法及其装置
KR20190070590A (ko) * 2017-12-13 2019-06-21 미디어스코프 주식회사 아바타 안무 생성 방법 및 이를 수행하기 위한 장치
CN108600625A (zh) * 2018-04-24 2018-09-28 北京小米移动软件有限公司 图像获取方法及装置
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
CN108921941A (zh) * 2018-07-10 2018-11-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109087376A (zh) * 2018-07-31 2018-12-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109194874A (zh) * 2018-10-30 2019-01-11 努比亚技术有限公司 拍照方法、装置、终端及计算机可读存储介质
CN109669611A (zh) * 2018-11-29 2019-04-23 维沃移动通信有限公司 试衣方法及终端
CN111586318A (zh) * 2019-02-19 2020-08-25 三星电子株式会社 用于提供基于虚拟角色的拍摄模式的电子装置及操作方法
CN110430356A (zh) * 2019-06-25 2019-11-08 华为技术有限公司 一种修图方法与电子设备
CN111223045A (zh) * 2019-11-15 2020-06-02 Oppo广东移动通信有限公司 一种拼图方法、装置及终端设备
CN110888532A (zh) * 2019-11-25 2020-03-17 深圳传音控股股份有限公司 人机交互方法、装置、移动终端及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘文杰;毛蕊;: "一种运用手机照相机实现实物智能搭配的功能研究", 天津职业院校联合学报, no. 02 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946701A (zh) * 2021-09-14 2022-01-18 广州市城市规划设计有限公司 一种基于图像处理的城乡规划数据的动态更新方法及装置
CN113946701B (zh) * 2021-09-14 2024-03-19 广州市城市规划设计有限公司 一种基于图像处理的城乡规划数据的动态更新方法及装置
WO2024020908A1 (en) * 2022-07-28 2024-02-01 Snap Inc. Video processing with preview of ar effects

Similar Documents

Publication Publication Date Title
CN108712603B (zh) 一种图像处理方法及移动终端
WO2021254429A1 (zh) 视频录制方法、装置、电子设备及存储介质
CN109819167B (zh) 一种图像处理方法、装置和移动终端
CN108600647A (zh) 拍摄预览方法、移动终端及存储介质
CN109272473B (zh) 一种图像处理方法及移动终端
CN109743504A (zh) 一种辅助拍照方法、移动终端和存储介质
CN109618218B (zh) 一种视频处理方法及移动终端
CN111491123A (zh) 视频背景处理方法、装置及电子设备
CN109391842B (zh) 一种配音方法、移动终端
CN109257649B (zh) 一种多媒体文件生成方法及终端设备
WO2020011080A1 (zh) 显示控制方法及终端设备
CN111177420A (zh) 一种多媒体文件显示方法、电子设备及介质
CN108521500A (zh) 一种语音场景控制方法、设备及计算机可读存储介质
CN110719527A (zh) 一种视频处理方法、电子设备及移动终端
CN111641861B (zh) 视频播放方法及电子设备
CN111491205B (zh) 视频处理方法、装置及电子设备
CN111915744A (zh) 增强现实图像的交互方法、终端和存储介质
WO2019201235A1 (zh) 视频通信的方法及移动终端
CN109859115A (zh) 一种图像处理方法、终端及计算机可读存储介质
CN110784762B (zh) 一种视频数据处理方法、装置、设备及存储介质
CN112449098B (zh) 一种拍摄方法、装置、终端及存储介质
CN109582820B (zh) 一种歌曲播放方法、终端设备及服务器
CN113963091A (zh) 图像处理方法、移动终端及存储介质
WO2021190351A1 (zh) 图像处理方法和电子设备
CN111556358B (zh) 显示方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination