CN111833460A - 增强现实的图像处理方法、装置、电子设备及存储介质 - Google Patents

增强现实的图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111833460A
CN111833460A CN202010662819.XA CN202010662819A CN111833460A CN 111833460 A CN111833460 A CN 111833460A CN 202010662819 A CN202010662819 A CN 202010662819A CN 111833460 A CN111833460 A CN 111833460A
Authority
CN
China
Prior art keywords
augmented reality
target
audio data
reality model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010662819.XA
Other languages
English (en)
Inventor
李云珠
张璟聪
宋旭晨
杨建朝
王国晖
陈志立
罗琳捷
杨骁�
李昊泽
刘晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010662819.XA priority Critical patent/CN111833460A/zh
Publication of CN111833460A publication Critical patent/CN111833460A/zh
Priority to PCT/CN2021/098456 priority patent/WO2022007565A1/zh
Priority to EP21837648.1A priority patent/EP4167192A4/en
Priority to JP2023501106A priority patent/JP2023533295A/ja
Priority to US18/053,476 priority patent/US11756276B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/2053D [Three Dimensional] animation driven by audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明公开了一种增强现实的图像处理方法、装置、电子设备及存储介质。包括:响应于用户触发的图像获取指令,获取目标图像,目标图像包含目标物体;获取目标物体的增强现实模型,结合目标物体输出增强现实模型;获取用户选择的目标音频数据,根据目标音频数据确定具有时序性的音频特征;输出目标音频数据时,根据目标音频数据的播放进度和音频特征驱动增强现实模型。能够在输出增强现实模型时,结合用户选择的目标音频数据的音频特征,驱动增强显示模型的输出,使得用户能够参与到增强显示模型的展示过程中,通过选择不同的目标音频数据,驱动增强现实模型根据目标音频数据的音频特征进行展示,提高易用性。

Description

增强现实的图像处理方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及虚拟现实技术,尤其涉及一种增强现实的图像处理方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality,简称AR)是一种现实信息与虚拟信息相叠加的技术。首先,计算机系统处理现实信息,根据现实信息生成匹配且包含虚拟物体、声音或文字等形式的虚拟信息;然后,将虚拟信息叠加到显示现实信息的人机交互界面中,从而增强用户对现实世界的感知。
目前,增强现实模型只能按照预先设置的固定方式展示,展示方式单一,缺乏互动,易用性差。
发明内容
本发明提供一种增强现实的图像处理方法、装置、电子设备及存储介质,以实现提高增强现实模型的互动性,提高易用性。
第一方面,本发明实施例提供了一种增强现实的图像处理方法,包括:
响应于用户触发的图像获取指令,获取目标图像,目标图像包含目标物体;
获取目标物体的增强现实模型,结合目标物体输出增强现实模型;
获取用户选择的目标音频数据,根据目标音频数据确定具有时序性的音频特征;
输出目标音频数据时,根据目标音频数据的播放进度和音频特征驱动增强现实模型。
第二方面,本发明实施例还提供了一种增强现实的图像处理装置,包括:
目标图像获取模块,用于响应于用户触发的图像获取指令,获取目标图像,目标图像包含目标物体;
增强现实模型获取模块,用于获取目标物体的增强现实模型,结合目标物体输出增强现实模型;
目标音频获取模块,用于获取用户选择的目标音频数据;
音频特征确定模块,用于根据目标音频数据确定具有时序性的音频特征;
输出模块,用于输出目标音频数据时,根据目标音频数据的播放进度和音频特征驱动增强现实模型。
第三方面,本发明实施例还提供了一种电子设备,电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如本公开实施例所示的增强现实的图像处理方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例所示的增强现实的图像处理方法。
本公开实施例公开的增强现实的图像处理方案,能够响应于用户触发的图像获取指令,获取目标图像,目标图像包含目标物体;获取目标物体的增强现实模型,结合目标物体输出增强现实模型;获取用户选择的目标音频数据,根据目标音频数据确定具有时序性的音频特征;输出目标音频数据时,根据目标音频数据的播放进度和音频特征驱动增强现实模型。相对于目前增强现实模型缺乏互动性,易用性差。本公开实施例公开的增强现实的图像处理方案,能够在输出增强现实模型时,结合用户选择的目标音频数据的音频特征,驱动增强显示模型的输出,使得用户能够参与到增强显示模型的展示过程中,通过选择不同的目标音频数据,驱动增强现实模型根据目标音频数据的音频特征进行展示,提高易用性。
附图说明
图1是本发明实施例一中的增强现实的图像处理方法的流程图;
图2是本发明实施例二中的增强现实的图像处理装置的结构示意图;
图3是本发明实施例三中的电子设备结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的增强现实的图像处理方法的流程图,本实施例可适用于展示增强现实模型的情况,该方法可以由实现增强现实的电子设备来执行,该电子设备可以为智能手机、平板电脑等,具体包括如下步骤:
步骤110、响应于用户触发的图像获取指令,获取目标图像,目标图像包含目标物体。
用户在预设应用中可以出发图像获取指令,当用户出发图像获取指令时,电子设备通过摄像头获取目标图像。用户可以在使用增强现实模型的意向的前提下,开启预设应用。使用电子设备拍摄目标物体的画面。目标物体可以为地标建筑等具备增强现实模型的物体。地标建筑物可以为某个区域中具有独特设计风格的建筑物。
预设应用可以为电子设备的拍照应用,或者具有增强现实功能的应用。电子设备的摄像头获取目标图像,电子设备将获取到的目标图像显示在预览页面中。预览页面可以为用户提供摄像头获取到的实时图像。
步骤120、获取目标物体的增强现实模型,结合目标物体输出增强现实模型。
若识别到当前图像中的拍摄物存在相应的增强现实模型,则将增强现实模型映射到目标图像中的目标物体上,实现结合目标物体输出增强现实模型。
进一步的,可以为用户提供人工调整增强现实模型大小的接口,若机器结合效果不佳,如增强现实模型与目标物体无法准确结合,则可以通过该接口调整增强现实模型的大小,进而实现由用户调节增项现实模型大小,提高易用性。
进一步的,在一种实现方式中,当目标物体为地标建筑物时,获取目标物体的增强现实模型,可以通过下述方式实施:
当监测到图标图像中包含建筑物时,根据电子设备当前位置信息和拍摄角度确定目标物体标识,将目标物体标识表示的增强现实模型确定为目标物体的增强现实模型。
获取电子设备的全球定位系统(Global Positioning System,GPS)定位信息。通过陀螺仪获取电子设备的朝向,将该朝向作为拍摄角度。根据定位信息以及拍摄角度,确定在一定拍照范围内是否具有地标建筑物。若具有地标建筑物则将该地标建筑物的增项现实模型作为目标物体的增强现实模型。
进一步的,在另一种实现方式中,获取目标物体的增强现实模型,可以通过下述方式实施:
从目标图像中确定目标物体的基础图像,根据该基础图像确定目标物体的增项现实模型。基础图像可以为目标图像中目标物体的图像。可以通过网络侧服务器对基础图像进行图像分析,进而确定该基础图像中的目标物体具体为何物。目标物体可以为建筑物、车辆、服装、鞋帽等物体。
上述两种实现方式可以用于查找目标物体的增项现实模型,也可以用于检验目标物体的增项现实模型是否准确。
步骤130、获取用户选择的目标音频数据,根据目标音频数据确定具有时序性的音频特征。
目标音频数据可以为用户选择的歌曲或录音等音频数据。上述音频数据可以为本地存储的音频数据。也可以为用户在服务器提供的歌单中选择的音频数据。目标音频数据还可以为用户实时输入的音频数据。
可选的,对目标音频数据进行音频特征检测,得到目标音频数据的具有时序性的音频特征,音频特征包括重音、重拍或节拍中的一种或多种的组合。
音频特征检测用于解析目标音频数据中节拍规律、重音、重拍出现的位置或规律等。节拍为表示目标音频数据节奏的单位。目标音频数据具有一定强弱分别的一系列拍子在每隔一定时间重复出现。如2/4拍(四二拍)、4/4拍(四四拍)、3/4拍(四三拍)等。节拍随时间呈周期性变化。重音为目标音频中音量较高的音符。重拍指节拍中的强拍。
步骤140、输出目标音频数据时,根据目标音频数据的播放进度和音频特征驱动增强现实模型。
当用户选择目标音频数据后,通过电子设备的音频输出模组输出目标音频数据。在输出目标音频数据的同时,根据当前的播放进度以及目标音频特征驱动增项现实模型。
示例性的,随着重音、轻拍或重拍的出现,可以驱动增强现实模型整体的颜色进行改变。重拍、轻怕或重音对应的颜色变化不同。
可选的,增强现实模型包括多个模型单元。根据目标音频数据的播放进度和音频特征驱动增强现实模型,包括:根据目标音频数据的播放进度和音频特征,驱动增强现实模型中的模型单元。
增强现实模型可以由多个模型单元组成,每个模型单元可以为一个立方体单元。拼接多个立方体单元形成目标物体的增强现实模型。可以通过着色器并行处理多个立方体。根据目标音频数据的播放进度和音频特征,驱动增强现实模型中的模型单元。
可选的,根据目标音频数据的播放进度和音频特征,驱动增强现实模型中的模型单元,包括:
步骤一、根据具有时序性的音频特征确定模型单元进行形态变化的目标时间和目标幅度。
可以将节拍中的轻拍、重拍和重音所在的时间确定为目标时间,根据轻拍、重拍和重音的程度确定目标幅度。
步骤二、若目标音频数据的播放进度为目标时间,则根据目标幅度驱动增强现实模型中的模型单元。
模型单元的驱动方式可以包括凸起动作、颜色变化或透明度变化等。
示例性的,根据目标幅度驱动增强现实模型中的模型单元,包括:
驱动增强现实模型中的预设模型单元进行凸起动作;或者,驱动增强现实模型中多个模型单元执行颜色变化;或者,驱动增强现实模型中多个模型单元执行透明度变化。
驱动增强现实模型中的预设模型单元进行凸起动作时,预设模型可以为随机选择的模型单元。根据目标幅度确定凸起动作的凸起幅度。驱动增强现实模型中多个模型单元执行颜色变化时,可以从全部模型单元中随机选出多个模型单元执行颜色变化或对全部模型单元执行颜色变化。透明度指模型单元纹理图形的透明度。纹理图像可以为纯色也可以为目标物体实际纹理图案。
进一步的,在获取用户选择的目标音频数据之后,还包括:
获取目标音频数据的情绪特征;根据情绪特征确定增强现实模型的第一形变特征,第一形变特征用于驱动增强现实模型的形状与情绪特征表达的情绪一致;输出目标音频数据时,根据第一形变特征驱动增强现实模型。
可以根据目标音频数据的歌曲名称确定情绪特征。或则根据目标音频中用户录入的文字内容确定情绪特征。情绪特征用于表示目标音频数据的音频内容的情绪偏向,例如欢快、忧郁等。可预先配置不同情绪特征对应的形变特征。例如欢快的情绪特征对应的第一形变特征中模型单元的凸起幅度较高,凸起频率较快。例如忧郁的情绪特征对应的第一形变特征中模型单元的凸起幅度较低,凸起频率较慢。示例性的,在拍摄电视塔后,如若情绪特征为伤心,则电视塔模型呈弯腰形态。若建筑物模型出现形变,则通过裁剪方式删除建筑物原始图像,使用模型覆盖原始图像区域。
进一步的,在获取用户选择的目标音频数据之后,还包括:
获取用户的肢体动作或表情;根据肢体动作或表情确定增强现实模型的第二形变特征,第二形变特征用于驱动增强现实模型的形状与肢体动作或表情一致;输出目标音频数据时,根据第二形变特征驱动增强现实模型。
通过肢体检测可获取用户肢体动作。通过人脸识别可获取用户的表情。根据肢体动作或表情生成第二形变特征。示例性的,在拍摄电视塔后,如若人脸表情为悲伤,则第二形变特征为弯腰形态,此时电视塔模型呈弯腰形态。若建筑物模型出现形变,则通过裁剪方式删除建筑物原始图像,使用模型覆盖原始图像区域。
本公开实施例公开的增强现实的图像处理方法,能够响应于用户触发的图像获取指令,获取目标图像,目标图像包含目标物体;获取目标物体的增强现实模型,结合目标物体输出增强现实模型;获取用户选择的目标音频数据,根据目标音频数据确定具有时序性的音频特征;输出目标音频数据时,根据目标音频数据的播放进度和音频特征驱动增强现实模型。相对于目前增强现实模型缺乏互动性,易用性差。本公开实施例公开的增强现实的图像处理方法,能够在输出增强现实模型时,结合用户选择的目标音频数据的音频特征,驱动增强显示模型的输出,使得用户能够参与到增强显示模型的展示过程中,通过选择不同的目标音频数据,驱动增强现实模型根据目标音频数据的音频特征进行展示,提高易用性。
实施例二
图2为本公开实施例二提供的增强现实的图像处理装置的结构示意图,本实施例可适用于展示增强现实模型的情况,该方法可以由实现增强现实的电子设备来执行,该电子设备可以为智能手机、平板电脑等,该装置包括:目标图像获取模块210、增强现实模型获取模块220、目标音频获取模块230、音频特征确定模块240或输出模块250。
目标图像获取模块210,用于响应于用户触发的图像获取指令,获取目标图像,目标图像包含目标物体;
增强现实模型获取模块220,用于获取目标物体的增强现实模型,结合目标物体输出增强现实模型;
目标音频获取模块230,用于获取用户选择的目标音频数据;
音频特征确定模块240,用于根据目标音频数据确定具有时序性的音频特征;
输出模块250,用于输出目标音频数据时,根据目标音频数据的播放进度和音频特征驱动增强现实模型。
进一步的,音频特征确定模块240用于:
对目标音频数据进行音频特征检测,得到目标音频数据的具有时序性的音频特征,音频特征包括重音、重拍或节拍中的一种或多种的组合。
进一步的,增强现实模型包括多个模型单元;输出模块250用于:
根据目标音频数据的播放进度和音频特征,驱动增强现实模型中的模型单元。
进一步的,输出模块250用于:
根据具有时序性的音频特征确定模型单元进行形态变化的目标时间和目标幅度;
若目标音频数据的播放进度为目标时间,则根据目标幅度驱动增强现实模型中的模型单元。
进一步的,输出模块250用于:
驱动增强现实模型中的预设模型单元进行凸起动作;或者,
驱动增强现实模型中多个模型单元执行颜色变化;或者,
驱动增强现实模型中多个模型单元执行透明度变化。
进一步的,还包括第一形变特征获取模块。第一形变特征获取模块用于:
获取目标音频数据的情绪特征;
根据情绪特征确定增强现实模型的第一形变特征,第一形变特征用于驱动增强现实模型的形状与情绪特征表达的情绪一致;
输出目标音频数据时,根据第一形变特征驱动增强现实模型。
进一步的,还包括第二形变特征获取模块。第二形变特征获取模块用于:
获取用户的肢体动作或表情;
根据肢体动作或表情确定增强现实模型的第二形变特征,第二形变特征用于驱动增强现实模型的形状与肢体动作或表情一致;
输出目标音频数据时,根据第二形变特征驱动增强现实模型。
本公开实施例公开的增强现实的图像处理装置,目标图像获取模块210响应于用户触发的图像获取指令,获取目标图像,目标图像包含目标物体;增强现实模型获取模块220获取目标物体的增强现实模型,结合目标物体输出增强现实模型;目标音频获取模块230获取用户选择的目标音频数据,音频特征确定模块240根据目标音频数据确定具有时序性的音频特征;输出模块250输出目标音频数据时,根据目标音频数据的播放进度和音频特征驱动增强现实模型。相对于目前增强现实模型缺乏互动性,易用性差。本公开实施例公开的增强现实的图像处理装置,能够在输出增强现实模型时,结合用户选择的目标音频数据的音频特征,驱动增强显示模型的输出,使得用户能够参与到增强显示模型的展示过程中,通过选择不同的目标音频数据,驱动增强现实模型根据目标音频数据的音频特征进行展示,提高易用性。
本发明实施例所提供的增强现实的图像处理装置可执行本发明任意实施例所提供的增强现实的图像处理方法,具备执行方法相应的功能模块和有益效果。
实施例三
下面参考图3,其示出了适于用来实现本公开实施例三的电子设备800的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示,电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
通常,以下装置可以连接至I/O接口805:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807;包括例如磁带、硬盘等的存储装置808;以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备800,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置809从网络上被下载和安装,或者从存储装置808被安装,或者从ROM 802被安装。在该计算机程序被处理装置801执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取至少两个网际协议地址;向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求,其中,所述节点评价设备从所述至少两个网际协议地址中,选取网际协议地址并返回;接收所述节点评价设备返回的网际协议地址;其中,所获取的网际协议地址指示内容分发网络中的边缘节点。
或者,上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收包括至少两个网际协议地址的节点评价请求;从所述至少两个网际协议地址中,选取网际协议地址;返回选取出的网际协议地址;其中,接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种增强现实的图像处理方法,其特征在于,包括:
响应于用户触发的图像获取指令,获取目标图像,所述目标图像包含目标物体;
获取所述目标物体的增强现实模型,结合所述目标物体输出所述增强现实模型;
获取所述用户选择的目标音频数据,根据所述目标音频数据确定具有时序性的音频特征;
输出所述目标音频数据时,根据所述目标音频数据的播放进度和所述音频特征驱动所述增强现实模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标音频数据确定音频特征,包括:
对所述目标音频数据进行音频特征检测,得到所述目标音频数据的具有时序性的音频特征,所述音频特征包括重音、重拍或节拍中的一种或多种的组合。
3.根据权利要求2所述的方法,其特征在于,所述增强现实模型包括多个模型单元;
所述根据所述目标音频数据的播放进度和所述音频特征驱动所述增强现实模型,包括:
根据所述目标音频数据的播放进度和所述音频特征,驱动所述增强现实模型中的模型单元。
4.根据权利要求3所述的方法,其特征在于,根据所述目标音频数据的播放进度和所述音频特征,驱动所述增强现实模型中的模型单元,包括:
根据所述具有时序性的音频特征确定所述模型单元进行形态变化的目标时间和目标幅度;
若所述目标音频数据的播放进度为所述目标时间,则根据所述目标幅度驱动所述增强现实模型中的模型单元。
5.根据权利要求4所述的方法,其特征在于,所述根据所述目标幅度驱动所述增强现实模型中的模型单元,包括:
驱动所述增强现实模型中的预设模型单元进行凸起动作;或者,
驱动所述增强现实模型中多个模型单元执行颜色变化;或者,
驱动所述增强现实模型中多个模型单元执行透明度变化。
6.根据权利要求5所述的方法,其特征在于,在获取所述用户选择的目标音频数据之后,还包括:
获取所述目标音频数据的情绪特征;
根据所述情绪特征确定所述增强现实模型的第一形变特征,所述第一形变特征用于驱动所述增强现实模型的形状与所述情绪特征表达的情绪一致;
输出所述目标音频数据时,根据所述第一形变特征驱动所述增强现实模型。
7.根据权利要求5所述的方法,其特征在于,在获取所述用户选择的目标音频数据之后,还包括:
获取所述用户的肢体动作或表情;
根据所述肢体动作或表情确定所述增强现实模型的第二形变特征,所述第二形变特征用于驱动所述增强现实模型的形状与所述肢体动作或表情一致;
输出所述目标音频数据时,根据所述第二形变特征驱动所述增强现实模型。
8.一种增强现实的图像处理装置,其特征在于,包括:
目标图像获取模块,用于响应于用户触发的图像获取指令,获取目标图像,所述目标图像包含目标物体;
增强现实模型获取模块,用于获取所述目标物体的增强现实模型,结合所述目标物体输出所述增强现实模型;
目标音频获取模块,用于获取所述用户选择的目标音频数据;
音频特征确定模块,用于根据所述目标音频数据确定具有时序性的音频特征;
输出模块,用于输出所述目标音频数据时,根据所述目标音频数据的播放进度和所述音频特征驱动所述增强现实模型。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的增强现实的图像处理方法。
10.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的增强现实的图像处理方法。
CN202010662819.XA 2020-07-10 2020-07-10 增强现实的图像处理方法、装置、电子设备及存储介质 Pending CN111833460A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010662819.XA CN111833460A (zh) 2020-07-10 2020-07-10 增强现实的图像处理方法、装置、电子设备及存储介质
PCT/CN2021/098456 WO2022007565A1 (zh) 2020-07-10 2021-06-04 增强现实的图像处理方法、装置、电子设备及存储介质
EP21837648.1A EP4167192A4 (en) 2020-07-10 2021-06-04 IMAGE PROCESSING METHOD AND APPARATUS FOR AUGMENTED REALITY, ELECTRONIC DEVICE AND RECORDING MEDIUM
JP2023501106A JP2023533295A (ja) 2020-07-10 2021-06-04 拡張現実の画像処理方法、装置、電子機器及び記憶媒体
US18/053,476 US11756276B2 (en) 2020-07-10 2022-11-08 Image processing method and apparatus for augmented reality, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010662819.XA CN111833460A (zh) 2020-07-10 2020-07-10 增强现实的图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111833460A true CN111833460A (zh) 2020-10-27

Family

ID=72899721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010662819.XA Pending CN111833460A (zh) 2020-07-10 2020-07-10 增强现实的图像处理方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US11756276B2 (zh)
EP (1) EP4167192A4 (zh)
JP (1) JP2023533295A (zh)
CN (1) CN111833460A (zh)
WO (1) WO2022007565A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672185A (zh) * 2020-12-18 2021-04-16 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质
CN113031781A (zh) * 2021-04-16 2021-06-25 深圳市慧鲤科技有限公司 增强现实资源显示方法及装置、电子设备和存储介质
WO2022007565A1 (zh) * 2020-07-10 2022-01-13 北京字节跳动网络技术有限公司 增强现实的图像处理方法、装置、电子设备及存储介质
WO2022088908A1 (zh) * 2020-10-28 2022-05-05 北京字节跳动网络技术有限公司 视频播放方法、装置、电子设备及存储介质
WO2022222082A1 (zh) * 2021-04-21 2022-10-27 深圳传音控股股份有限公司 图像控制方法、移动终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544724A (zh) * 2013-05-27 2014-01-29 华夏动漫集团有限公司 一种利用增强现实与卡片识别技术在移动智能终端实现虚拟动漫角色的系统及方法
CN106506464A (zh) * 2016-10-17 2017-03-15 武汉秀宝软件有限公司 一种基于增强现实的玩具交互方法和系统
CN109407918A (zh) * 2018-09-25 2019-03-01 苏州梦想人软件科技有限公司 增强现实内容多级交互方式的实现方法
WO2020007185A1 (zh) * 2018-07-04 2020-01-09 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577114B (zh) * 2009-06-18 2012-01-25 无锡中星微电子有限公司 一种音频可视化实现方法及装置
US9349218B2 (en) * 2012-07-26 2016-05-24 Qualcomm Incorporated Method and apparatus for controlling augmented reality
CN105608745B (zh) * 2015-12-21 2019-01-29 大连新锐天地文化科技有限公司 应用于图像或视频的ar显示系统
US10445936B1 (en) * 2016-08-01 2019-10-15 Snap Inc. Audio responsive augmented reality
US11037370B2 (en) * 2017-01-27 2021-06-15 Sony Corporation Information processing apparatus, and information processing method and program therefor
CN107515674B (zh) * 2017-08-08 2018-09-04 山东科技大学 一种基于虚拟现实与增强现实的采矿操作多交互实现方法
US11232645B1 (en) * 2017-11-21 2022-01-25 Amazon Technologies, Inc. Virtual spaces as a platform
CN108322802A (zh) * 2017-12-29 2018-07-24 广州市百果园信息技术有限公司 视频图像的贴图处理方法、计算机可读存储介质及终端
US10679393B2 (en) * 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
CN109144610B (zh) * 2018-08-31 2020-11-10 腾讯科技(深圳)有限公司 音频播放方法、装置、电子装置及计算机可读存储介质
CN110072047B (zh) * 2019-01-25 2020-10-09 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
US10924875B2 (en) * 2019-05-24 2021-02-16 Zack Settel Augmented reality platform for navigable, immersive audio experience
CN111833460A (zh) * 2020-07-10 2020-10-27 北京字节跳动网络技术有限公司 增强现实的图像处理方法、装置、电子设备及存储介质
EP4295314A1 (en) * 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544724A (zh) * 2013-05-27 2014-01-29 华夏动漫集团有限公司 一种利用增强现实与卡片识别技术在移动智能终端实现虚拟动漫角色的系统及方法
CN106506464A (zh) * 2016-10-17 2017-03-15 武汉秀宝软件有限公司 一种基于增强现实的玩具交互方法和系统
WO2020007185A1 (zh) * 2018-07-04 2020-01-09 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
CN109407918A (zh) * 2018-09-25 2019-03-01 苏州梦想人软件科技有限公司 增强现实内容多级交互方式的实现方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022007565A1 (zh) * 2020-07-10 2022-01-13 北京字节跳动网络技术有限公司 增强现实的图像处理方法、装置、电子设备及存储介质
US11756276B2 (en) 2020-07-10 2023-09-12 Beijing Bytedance Network Technology Co., Ltd. Image processing method and apparatus for augmented reality, electronic device, and storage medium
WO2022088908A1 (zh) * 2020-10-28 2022-05-05 北京字节跳动网络技术有限公司 视频播放方法、装置、电子设备及存储介质
CN112672185A (zh) * 2020-12-18 2021-04-16 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质
CN113031781A (zh) * 2021-04-16 2021-06-25 深圳市慧鲤科技有限公司 增强现实资源显示方法及装置、电子设备和存储介质
WO2022222082A1 (zh) * 2021-04-21 2022-10-27 深圳传音控股股份有限公司 图像控制方法、移动终端及存储介质

Also Published As

Publication number Publication date
US11756276B2 (en) 2023-09-12
US20230061012A1 (en) 2023-03-02
EP4167192A1 (en) 2023-04-19
EP4167192A4 (en) 2023-12-13
WO2022007565A1 (zh) 2022-01-13
JP2023533295A (ja) 2023-08-02

Similar Documents

Publication Publication Date Title
US11158102B2 (en) Method and apparatus for processing information
CN111833460A (zh) 增强现实的图像处理方法、装置、电子设备及存储介质
CN110545476B (zh) 视频合成的方法、装置、计算机设备及存储介质
KR20220091500A (ko) 음악 포인트를 표시하는 방법 및 장치, 전자 장치 및 매체
CN110070896B (zh) 图像处理方法、装置、硬件装置
CN113365134B (zh) 音频分享方法、装置、设备及介质
CN110265067B (zh) 录制热门片段方法、装置、电子设备及可读介质
CN109600559B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
WO2021068903A1 (zh) 确定音量的调节比例信息的方法、装置、设备及存储介质
CN111711838B (zh) 视频切换方法、装置、终端、服务器及存储介质
CN109346111B (zh) 数据处理方法、装置、终端及存储介质
EP4246435A1 (en) Display method and apparatus based on augmented reality, and device and storage medium
WO2021057740A1 (zh) 视频生成方法、装置、电子设备和计算机可读介质
EP4210320A1 (en) Video processing method, terminal device and storage medium
CN110572716A (zh) 多媒体数据播放方法、装置及存储介质
WO2022042634A1 (zh) 音频数据的处理方法、装置、设备及存储介质
CN110996167A (zh) 在视频中添加字幕的方法及装置
CN110798327B (zh) 消息处理方法、设备及存储介质
CN111081277B (zh) 音频测评的方法、装置、设备及存储介质
CN111625682A (zh) 视频的生成方法、装置、计算机设备及存储介质
CN111428079B (zh) 文本内容处理方法、装置、计算机设备及存储介质
CN116580707A (zh) 基于语音生成动作视频的方法和装置
JP2024507734A (ja) 音声類似度決定方法及び装置、プログラム製品
CN112738624A (zh) 用于视频的特效渲染的方法和装置
CN114329001B (zh) 动态图片的显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination