CN108769535A - 图像处理方法、装置、存储介质和计算机设备 - Google Patents

图像处理方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN108769535A
CN108769535A CN201810723144.8A CN201810723144A CN108769535A CN 108769535 A CN108769535 A CN 108769535A CN 201810723144 A CN201810723144 A CN 201810723144A CN 108769535 A CN108769535 A CN 108769535A
Authority
CN
China
Prior art keywords
audio data
virtual objects
attribute
reality scene
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810723144.8A
Other languages
English (en)
Other versions
CN108769535B (zh
Inventor
周景锦
程培
傅斌
高雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810723144.8A priority Critical patent/CN108769535B/zh
Publication of CN108769535A publication Critical patent/CN108769535A/zh
Priority to PCT/CN2019/091359 priority patent/WO2020007185A1/zh
Priority to TW108123650A priority patent/TWI793344B/zh
Priority to US16/999,047 priority patent/US11392642B2/en
Application granted granted Critical
Publication of CN108769535B publication Critical patent/CN108769535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种图像处理方法、装置、存储介质和计算机设备，所述方法包括：获取与实时采集的现实场景图像对应的音频数据；根据所述音频数据动态确定虚拟对象的属性值，所述属性值用于确定所述虚拟对象的视觉状态；从所述现实场景图像中确定目标对象；根据所述目标对象，确定按所述属性值确定的虚拟对象在所述现实场景图像中的融合位置；将按所述属性值确定的虚拟对象按所述融合位置融合到所述现实场景图像；所述虚拟对象在属性值不同时呈现不同的视觉状态。本申请提供的方案可以提升用户与虚拟对象之间的交互性。

Description

图像处理方法、装置、存储介质和计算机设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、存储介质和计算机设备。
背景技术
随着图像处理技术和计算机技术的快速发展，出现了各式各样的用于录制视频的应用，比如用户可通过客户端录制虚拟和现实相结合的视频。
目前在录制视频时，用户可在客户端的录制界面中自由选取虚拟对象，将这些虚拟对象添加到视频对应图像帧的相应位置，使得虚拟对象可跟随视频中运动目标的移动而移动。
然而，通过上述方式所录制的视频，虚拟对象仅能够跟随运动目标的移动而移动，交互性差。
发明内容
基于此，有必要针对虚拟对象仅能够跟随运动目标的移动而移动，使交互性差的技术问题，提供一种图像处理方法、装置、存储介质和计算机设备。
一种图像处理方法，包括：
获取与实时采集的现实场景图像对应的音频数据；
根据所述音频数据动态确定虚拟对象的属性值，所述属性值用于确定所述虚拟对象的视觉状态；
从所述现实场景图像中确定目标对象；
根据所述目标对象，确定按所述属性值确定的虚拟对象在所述现实场景图像中的融合位置；
将按所述属性值确定的虚拟对象按所述融合位置融合到所述现实场景图像；所述虚拟对象在属性值不同时呈现不同的视觉状态。
一种图像处理装置，包括：
音频数据获取模块，用于获取与实时采集的现实场景图像对应的音频数据；
属性值确定模块，用于根据所述音频数据动态确定虚拟对象的属性值，所述属性值用于确定所述虚拟对象的视觉状态；
目标对象确定模块，用于从所述现实场景图像中确定目标对象；
融合位置确定模块，用于根据所述目标对象，确定按所述属性值确定的虚拟对象在所述现实场景图像中的融合位置；
融合模块，用于将按所述属性值确定的虚拟对象按所述融合位置融合到所述现实场景图像；所述虚拟对象在属性值不同时呈现不同的视觉状态。
一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述的图像处理方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述的图像处理方法的步骤。
上述的图像处理方法、装置、存储介质和计算机设备，获取与实时采集的现实场景图像对应的音频数据，通过音频数据动态确定虚拟对象的属性，从而实现了根据音频数据对虚拟对象属性的控制。通过现实场景图像中的目标对象，确定虚拟对象在现实场景图像中的融合位置，按照融合位置将根据属性值确定的虚拟对象融合到现实场景图像中，由于虚拟对象的属性值由音频数据控制，当音频数据发生变化时，融合到现实场景图像中的虚拟对象的属性值也随之产生变化，提高了交互性。
附图说明
图1为一个实施例中应用图像处理方法的系统结构图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中将虚拟对象融合到现实场景图像的示意图；
图4为一个实施例中将虚拟对象融合到现实场景图像的示意图；
图5为一个实施例中根据音频数据确定属性值，将具有该属性值的虚拟对象融合到现实场景图像的示意图；
图6为一个实施例中根据音频数据的参数值确定虚拟对象的属性值的步骤的流程示意图；
图7为一个实施例中对音频数据进行抽样、量化和编码的示意图；
图8为一个实施例中根据编码音频数据确定频率值的步骤的流程示意图；
图9为一个实施例中按照属性调整量调整虚拟对象，并将调整后的虚拟对象融合到现实场景图像的步骤的流程示意图；
图10为一个实施例中按照属性变化目标值调整虚拟对象，并将调整后的虚拟对象融合到现实场景图像的步骤的流程示意图；
图11为一个实施例中根据目标对象的特征确定虚拟对象在现实场景图像的融合位置的步骤的流程示意图；
图12为一个实施例中目标对象脸部特征点的示意图；
图13为另一个实施例中图像处理方法的流程示意图；
图14为一个实施例中图像处理装置的结构框图；
图15为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像处理方法的应用环境图。参照图1，该图像处理方法应用于图像处理系统。该图像处理系统可以是一个终端或多个终端的组合，该终端可以是智能手机、电脑或其它可支持AR(Augmented Reality，增强现实)技术的设备。如图1所示，图像处理系统可以包括：摄像头、场景产生器、图像合成器和显示器；其中：
摄像头，用于获取目标对象对应环境的现实场景图像，将获取到的现实场景图像发送至图像合成器，以与增强现实模型的虚拟对象进行合成操作。
场景产生器，用于根据图像数据中目标对象的位置信息，如通过分析目标对象的特征确定虚拟对象的融合位置，然后将虚拟对象发送至图像合成器。
图像合成器，用于将关于目标对象的现实场景图像和虚拟对象，按照融合位置进行融合，将融合的结果输出至显示屏。
显示器，用于将图像合成器输出的融合图像进行显示，形成目标对象和用于增强现实模型的虚拟对象共同显示的效果。
如图2所示，在一个实施例中，提供了一种图像处理方法。本实施例主要以该方法应用于上述图1中的终端来举例说明。参照图2，该图像处理方法具体包括如下步骤：
S202，获取与实时采集的现实场景图像对应的音频数据。
其中，现实场景可以指用户通过某种媒介所观看到的现实画面，在该现实画面中至少包括以下之一：人物、自然风景、人文风景和人类的智慧作品等。人类的智慧作品指的是人类通过劳动和智慧所创造的作品。举例来说，现实场景为用户通过裸眼所观看到的人与自然的画面，或者用户通过3D眼镜所观看立体电影的画面。现实场景图像可以是通过终端采集关于现实场景的图像。例如，现实场景图像为通过图1中摄像头实时采集现实场景的图像。终端采集多个现实场景图像后，将多个现实场景图像按照采集时间进行组合，可得到一个视频。
音频数据为时域的音频信号，音频数据中携带有语音、音乐和音效的有规律的声波的频率、幅度变化信息等。根据声波的特征，可把音频数据分类为规则音频和不规则音频。其中规则音频又可以分为语音、音乐和音效。音频数据其来源可以是终端从外界采集所得，也可以是从与现实场景图像的背景音频中读取所得。
在一个实施例中，S202具体可以包括：在实时采集现实场景图像时，终端从当前环境中实时采集与现实场景图像对应的音频数据；或者，终端从实时采集的现实场景图像的背景音频中，读取与现实场景图像所对应时间戳对应的音频数据。
例如，在实时采集现实场景图像时，终端通过麦克风采集当前环境中的音乐或普通说话的声音。或者，由于在开发过程中，开发人员设置在实时采集的现实场景图像时自动播放背景音乐，终端在自动播放的背景音乐中读取与现实场景图像所对应时间戳对应的音频数据。或者，在实时采集的现实场景图像时，音乐客户端同时在播放音乐，终端则在播放的音乐中读取与现实场景图像所对应时间戳对应的音频数据。
S204，根据音频数据动态确定虚拟对象的属性值，该属性值用于确定虚拟对象的视觉状态。
其中，虚拟对象可以是图像素材，该图像素材如静态贴纸或动态贴纸等。此外，虚拟对象还可以是用于增强目标对象显示效果的虚拟道具。例如，虚拟道具可以是用于装扮目标对象的各种虚拟挂件和虚拟背景。属性值可以包括：属性调整量和属性变化目标值。属性调整量包括虚拟对象的缩放比例、旋转角度和偏移量等。属性变化目标值包括虚拟对象的颜色RGB值。
需要说明的是，所确定虚拟对象的属性值为当前的属性值。例如，假设用户拍摄一个具有AR效果的视频，若视频中的第i帧现实场景图像为当前的现实场景图像，第i帧现实场景图像对应时刻的虚拟对象的属性值为当前的属性值。视频中的第i-1帧现实场景图像为上一时刻的现实场景图像，第i-1帧现实场景图像对应时刻的虚拟对象的属性值为上一时刻的属性值。其中，i为大于等于1的正整数。
在一个实施例中，终端根据音频数据动态确定虚拟对象的属性值，根据确定的属性值调整虚拟对象，获得按属性值确定的虚拟对象。
在一个实施例中，音频数据具有音量值、频率值和音色等参数值。终端根据音频数据动态确定虚拟对象的属性值。当终端将虚拟对象的原始属性值更新为所确定的属性值时，便可实现对虚拟对象的调整。例如，终端根据音频数据的频率值来调整虚拟对象的缩放比例，或调整虚拟对象的颜色RGB值。
S206，从现实场景图像中确定目标对象。
其中，目标对象可以是自然界中具有生命的物体，如人类。
在一个实施例中，S206具体可以包括：从现实场景图像中识别生物特征；当生物特征满足预设条件时，则将现实场景图像中与生物特征对应的生物对象确定为目标对象。
其中，生物特征可以是生物的轮廓特征，也可以是生物的细节特征，如人的脸部特征等。
在一个实施例中，预设条件可以是预设生物特征或生物特征的预设完整度阈值。终端从现实场景图像中识别生物特征；当生物特征满足预设生物特征，和/或生物特征的完整度达到预设完整度阈值时，则将现实场景图像中与生物特征对应的对象确定为目标对象。
S208，根据目标对象，确定按属性值确定的虚拟对象在现实场景图像中的融合位置。
其中，融合位置指的是：在融合到现实场景图像时，虚拟对象的中心点在现实场景图像中所处的位置。融合位置可以是一个位置点，也可以是多个位置点。不同的虚拟对象可以融合在目标对象的不同部位。
在一个实施例中，终端检测目标对象的特征，从目标对象的特征中选取与虚拟对象匹配的特征，根据所选取的特征确定按属性值确定的虚拟对象在现实场景图像中的融合位置。
作为一个示例，如图3所示，当虚拟对象为AR潜水眼镜的虚拟道具时，终端检测目标对象的特征，从检测到的特征中确定眼部特征，根据眼部特征确定虚拟对象的融合位置为用户的眼部位置。
作为另一个示例，如图4所示，当虚拟对象为AR兔子装扮的虚拟道具时，对于AR兔子装扮中的兔牙虚拟道具，终端检测目标对象的特征，从检测到的特征中确定嘴部特征，根据嘴部特征确定虚拟对象的融合位置为用户的嘴部位置。对于AR兔子装扮中的耳朵虚拟道具，终端检测目标对象的特征，从检测到的特征中确定头部特征(如头发)，根据头部特征确定虚拟对象的融合位置为用户的头部位置。
在一个实施例中，终端按属性值调整的虚拟对象，从而使虚拟对象进行尺寸的缩放、或更换颜色RGB值、或改变旋转角度等。需要说明的是，终端按属性值调整的虚拟对象，是以上一帧融合后的现实场景图像中的虚拟对象为参考，从而实现对当前虚拟对象进行缩放、或更换颜色RGB值、或改变旋转角度等操作。
S210，将按属性值确定的虚拟对象按融合位置融合到现实场景图像；虚拟对象在属性值不同时呈现不同的视觉状态。
在一个实施例中，终端确定虚拟对象的中心点或关键位置点，将虚拟对象的中心点或关键位置点融合至与融合位置匹配的区域。其中，关键位置点用于确定虚拟对象所要融合的区域。中心点用于与融合位置匹配，即在融合时，将虚拟对象的中心点置于在融合位置。
如图3所示，p表示虚拟对象的关键位置点，该关键位置点为AR潜水眼镜的虚拟道具的三个位置。在将AR潜水眼镜的虚拟道具融合到融合在现实场景图像中时，根据图中3中的p点将AR潜水眼镜的虚拟道具对准目标对象的两眼和鼻子，从而实现AR潜水眼镜的虚拟道具的准确融合，具体效果如图3(b)所示。
如图4所示，q表示虚拟对象的关键位置点，该关键位置点在AR兔子装扮的兔牙虚拟道具中的上部，以及，在AR兔子装扮的耳朵虚拟道具中下部。在将AR兔子装扮的虚拟道具融合到现实场景图像时，根据该关键位置点将AR兔子装扮的虚拟道具融合到目标对象的嘴唇部位和头部，从而实现AR兔子装扮的虚拟道具的准确融合，具体效果如图4(b)所示。
虚拟对象在属性值不同时呈现不同的视觉状态，举例来说，假设用户拍摄一个具有AR效果的视频，若视频中的第i帧现实场景图像为当前的现实场景图像，第i帧现实场景图像对应时刻的虚拟对象的属性值为当前的属性值。视频中的第i-1帧现实场景图像为上一时刻的现实场景图像，第i-1帧现实场景图像对应时刻的虚拟对象的属性值为上一时刻的属性值。其中，i为大于等于1的正整数。当各帧现实场景图像和对应属性值的虚拟对象按照时间组合，那么可获得一个具有AR效果的视频，在该视频中，虚拟对象的属性值随着音频数据的变化而发生变化。如音频数据的音量值或频率值发生变化，虚拟对象的尺寸、或颜色RGB值、或方位随之产生变化。
作为一个示例，如图5所示，假设图5(a)为上一时刻融合后的现实场景图像，m为为原始尺寸的虚拟对象。当所获取的音频数据的参数值发生变化，如音量大小发生变化，或频率值发生变化，那么，对应的虚拟对象的尺寸也发生变化，变化后的虚拟对象如图5(b)中的n所示，n为尺寸放大了的虚拟对象。
上述实施例中，获取与实时采集的现实场景图像对应的音频数据，通过音频数据动态确定虚拟对象的属性，从而实现了根据音频数据对虚拟对象属性的控制。通过现实场景图像中的目标对象，确定虚拟对象在现实场景图像中的融合位置，按照融合位置将根据属性值确定的虚拟对象融合到现实场景图像中，由于虚拟对象的属性值由音频数据控制，当音频数据发生变化时，融合到现实场景图像中的虚拟对象的属性值也随之产生变化，提高了交互性。
在一个实施例中，如图6所示，S204具体可以包括：
S602，获取音频数据的参数值。
其中，音频数据的参数值包括音频数据的音量值、频率值和音色。音量值可以是以下任一种：平均频率值、最大音量值或最小音量值。频率值可以是以下任一种：平均频率值、最大频率值或最小频率值。
具体地，终端通过分析音频数据，获得音频数据中的音量值、频率值和音色等参数值。
在一个实施例中，S602具体可以包括：对音频数据进行抽样；将抽样所得的结果量化并编码，获得编码音频数据；根据所获得的编码音频数据确定音频数据的参数值。
具体地，终端采用PCM((Pulse Code Modulation，脉冲编码调制)的方式，对所采集的时间上连续的时域音频数据进行抽样、量化和编码，获得二进制的编码音频数据。终端根据所获得的编码音频数据确定音频数据的参数值，如确定音频数据的音量值。
作为一个示例，如图7所示，对音频数据U(t)进行抽样，使时间上连续的时域音频数据离散化。将离散化的音频数据进行量化，获得M进制的量化音频数据，其中，M为大于2的正整数。将量化后的音频数据进行编码，得到二进制的编码音频数据。
S604，确定参数值与虚拟对象的属性值之间的预设映射关系。
在一个实施例中，不同类型的参数值对应不同的预设映射关系，终端根据参数值的类型，确定与虚拟对象的属性值之间的预设映射关系。其中，类型包括音量类型、频率类型和音色类型。与类型对应的，参数值包括音量值、频率值和音色。
例如，以参数值为音量值，以属性值为缩放比例为例，终端确定音量与虚拟对象的缩放比例之间的预设映射关系，该预设映射关系可以是函数关系式，如下所示：
其中，x为音频数据的音量值，范围可以是0～120分贝(db)，f(x)为虚拟对象的缩放比例。
S606，根据预设映射关系，将参数值映射为虚拟对象的属性值。
在一个实施例中，终端确定预设映射关系时，将参数值作为变量输入该预设映射关系，得到对于虚拟对象的对应属性值。例如，当音量值为40db时，将音量值40输入函数f(x)，得到的属性值为1的缩放比例，即对原始的虚拟对象不做任何放大或缩小处理。又例如，当音量值为120db时，将音量值120输入函数f(x)，得到的属性值为4的缩放比例，即将原始的虚拟对象放大到原来的4倍。可以看出，虚拟对象的属性值随着音量数据的参数值变化而变化，从而根据音量数据的参数值实现对虚拟对象的控制，从而使虚拟对象呈现不同的视觉状态。
上述实施例中，确定参数值与虚拟对象的属性值之间的预设映射关系，当获得对应的参数值的大小时，便可以通过该预设映射关系获得对应的虚拟对象的属性值，从而实现对虚拟对象的调整，使虚拟对象呈现不同的视觉状态，提升了虚拟对象的多样化变化。
在一个实施例中，虚拟对象的属性值可以通过音频数据的参数值确定，该参数值可以是频率值或音量值，当参数值为频率值时；如图8所示，上述根据所获得的编码音频数据确定音频数据的参数值的步骤，具体可以包括：
S802，将时域的编码音频数据转换为频域音频数据。
在一个实施例中，编码音频数据为离散化的音频信号。终端根据离散傅里叶变换，将编码音频数据转换为频域音频数据。其中，频域音频数据包含有音频数据的幅值(即音量值)、频率值和相位。
S804，将频域音频数据分段，获得多个子频域音频数据。
在一个实施例中，终端按照设定的步长，对频域音频数据进行分段，获得多个子频域音频数据。例如，使用512点傅里叶变换时，最多可以将0到截止频率(若抽样率48kHz时，截止频率为24kHz)的频段等分为256个频段，然后执行S806，即确定各频段内的振幅。
在一个实施例中，终端按照不等分的方式，将频域音频数据划分为不等长的多个频段，获得多个子频域音频数据。
S806，确定各子频域音频数据的振幅。
在一个实施例中，各子频域音频数据中包含了幅值、频率值和相位，终端确定各子频域音频数据中的振幅，从而获取到各子频域音频数据中的音量值。
S808，从各子频域音频数据中选取振幅最大的子频域音频数据。
其中，振幅大表示音频数据的功率较大，对于所获取的音频数据而言，当音频数据的功率大对应的有用信号多。例如，终端通过麦克风采集音频数据，当所采集的音频数据的功率小，说明当前所采集的音频数据可能为噪声信号，因此，可以选取振幅最大的子频域音频数据。
具体地，当确定各子频域音频数据的振幅时，将各子频域音频数据之间的振幅进行比较，获取振幅最大的子频域音频数据。
在一个实施例中，终端对各子频域音频数据按照振幅的大小进行排列，从排列的各子频域音频数据中选取振幅最大的子频域音频数据。
S810，按照所选取的子频域音频数据确定音频数据对应的频率值。
上述实施例中，对频域音频数据进行分段，可以通过分段后所得子频域音频数据确定频率值，一方面，通过该频率值可以实现对虚拟对象的调整，另一方面，分段后的频域音频数据，在计算过程中可降低计算量，加快计算速率。
在一个实施例中，虚拟对象的属性值可以通过音频数据的参数值确定，该参数值可以是频率值或音量值，当参数值为音量值时；如图8所示，根据所获得的编码音频数据确定音频数据的参数值的步骤，具体可以包括：根据所获得的编码音频数据确定音量值；或者，将时域的编码音频数据转换为频域音频数据；根据频域音频数据确定音量值。
时域的编码音频数据的幅值可以表示音频数据的音量值。在一个实施例中，终端将时域的编码音频数据的幅值，确定为音频数据的音量值。
在一个实施例中，编码音频数据为离散化的音频信号。终端根据离散傅里叶变换，将编码音频数据转换为频域音频数据。其中，频域音频数据包含有音频数据对应波形的幅值(即音量值)、频率值和相位。终端将频域音频数据中的幅值确定为音频数据的音量值。
在一个实施例中，终端将编码音频数据转换为频域音频数据后，按照设定的步长对频域音频数据进行分段，获得多个子频域音频数据。终端根据各子频域音频数据确定对应的幅值，将最大的幅值确定为音频数据的音量值，或者，将平均幅值确定为音频数据的音量值。
上述实施例中，根据所获得的编码音频数据，或者根据由时域的编码音频数据转换的频域音频数据这两种方式确定音量值，得到用于确定虚拟对象视觉状态的属性值，通过该音量值可以实现对虚拟对象的调整。
在一个实施例中，虚拟对象的属性值可以是属性调整量和属性变化目标值。属性调整量可以是虚拟对象的缩放比例、旋转角度和偏移量等，属性变化目标值可以是虚拟对象的颜色RGB值。当属性值为属性调整量时，上述的按属性值确定的虚拟对象，是按属性调整量调整相应属性后的虚拟对象，如图9所示，S210具体可以包括：
S902，确定虚拟对象所具有的、且与属性调整量对应的属性。
其中，属性指的是虚拟对象所拥有的属性，包括缩放、颜色、旋转和偏移等。与属性调整量对应的属性包括缩放、旋转和偏移等。对应的，属性调整量为属性对应的具体值。
在一个实施例中，终端根据音频数据的参数值，确定虚拟对象所具有的、且与属性调整量对应的属性。
S904，按照属性调整量调整虚拟对象的属性，得到调整属性后的虚拟对象。
在一个实施例中，终端根据映射关系，确定与音频数据的参数值对应的属性调整量后，按照属性调整量调整虚拟对象，使虚拟对象的属性发生变化，得到调整属性后的虚拟对象。
例如，若属性调整量为缩放比例，根据缩放比例调整虚拟对象的尺寸大小，获得调整尺寸后的虚拟对象。
S906，将调整属性后的虚拟对象按融合位置融合到现实场景图像。
上述实施例中，通过属性调整量调整虚拟对象的属性，将调整属性后的虚拟对象按融合位置融合到现实场景图像，获得随音频数据的参数变化的虚拟对象，实现根据音频数据调整虚拟对象，提升了虚拟对象的多样化变化，增强用户的体验。
在一个实施例中，虚拟对象的属性值可以是属性调整量和属性变化目标值。属性调整量可以是虚拟对象的缩放比例、旋转角度和偏移量等，属性变化目标值可以是虚拟对象的颜色。当属性值为属性变化目标值时，上述的按属性值确定的虚拟对象，是相应属性变化至属性变化目标值后的虚拟对象，如图10所示，S210具体可以包括：
S1002，确定虚拟对象所具有的、且与属性变化目标值对应的属性。
其中，与属性变化目标值对应的属性包括虚拟对象的颜色。对应的，属性变化目标值为属性对应的具体值，如颜色RGB值。
在一个实施例中，终端根据音频数据的参数值，确定虚拟对象所具有的、且与属性变化目标值对应的属性。
S1004，将虚拟对象的属性变化至属性变化目标值，得到属性变化后的虚拟对象。
在一个实施例中，终端根据映射关系，确定与音频数据的参数值对应的属性变化目标值后，按照属性变化目标值调整虚拟对象，使虚拟对象的属性发生变化，得到调整属性后的虚拟对象。
例如，若属性变化目标值为目标颜色RGB值，根据目标颜色RGB值调整虚拟对象的显示颜色，使虚拟对象的原始显示颜色调整为目标颜色RGB值所对应的颜色，如原始为红色，通过目标颜色RGB值的调整后获得蓝色的虚拟对象。
S1006，将属性变化后的虚拟对象按融合位置融合到现实场景图像。
上述实施例中，通过属性变化目标值调整虚拟对象的属性，将调整属性后的虚拟对象按融合位置融合到现实场景图像，获得随音频数据的参数变化的虚拟对象，实现根据音频数据调整虚拟对象，提升了虚拟对象的多样化变化，增强用户的体验。
在一个实施例中，如图11所示，S208具体可以包括：
S1102，检测目标对象的特征。
具体地，终端通过特征点检测方式，如级联回归CNN、或Dlib、Libfacedetect、或Seetaface等特征点检测方式检测目标对象的特征。
作为一个示例，如图12所示，为目标对象的脸部特征点的检测结果，为了描述方便，采用数字标记识别得到的各个脸部特征点，例如图12中所示的1～17表示脸部边缘特征点，18～22以及23～27对应表示用户的左眉部特征点和右眉部特征点，28～36表示用户的鼻子特征点，37～42表示用户的左眼特征点，43～48表示用户的右眼特征点，49～68表示用户的嘴唇特征点。需要指出的是，以上仅为示例，在可选实施例中可以在以上脸部特征点中仅识别部分或更多的特征点，或采用其他方式标记各个特征点，均属于本发明实施例的范畴。
S1104，在所检测到的特征中查找与具有属性的虚拟对象匹配的特征。
不同的虚拟对象所对应现实场景图像中的融合位置也不同。如图3所示，AR潜水眼镜的虚拟道具对应现实场景图像中的融合位置，应该是目标对象的眼部位置。如图4所示，AR兔子装扮的虚拟道具的耳朵对应现实场景图像中的融合位置，应该是目标对象的头部位置；而AR兔子装扮的虚拟道具的兔牙对应现实场景图像中的融合位置，应该是目标对象的牙齿部位(或嘴唇部位)。如图5所示，AR小猫装扮对应现实场景图像中的融合位置，应该是目标对象的两边脸部位置。
在一个实施例中，终端确定虚拟对象的功能或用途，根据功能或用途确定虚拟对象所要挂载在目标对象的部位，进而确定虚拟对象与目标对象的特征之间的关系。终端在所检测到的特征中，根据所确定的关系获得与具有属性的虚拟对象匹配的特征。
S1106，根据匹配的特征，确定具有属性的虚拟对象在现实场景图像中的融合位置。
上述实施例中，通过目标对象的特征点，确定虚拟对象在现实场景图像中的融合位置，以便于根据该融合位置将虚拟对象融合在现实场景图像中，获得视觉状态发生变化的虚拟对象，提升了虚拟对象的多样性变化。
在一个实施例中，该方法还可以包括：提取音频数据的音频特征；当音频特征符合第一触发条件时，则执行以下至少一种：新增虚拟对象；切换虚拟对象；切换视觉状态的类型。
其中，音频特征可以是至少以下之一：音频数据的音量值、频率值、音色、对数功率谱和梅尔频率倒谱系数等。对数功率谱和梅尔频率倒谱系数可以反映出音频数据的功率值以及说话人的风格特征和语音表现力等特征。语音表现力可以是语音的声调、轻重和节奏等特征。对应的第一触发条件可以是音量值达到预设音量阈值，或频率值达到预设频率阈值，或音色满足音色条件，或功率值达到功率阈值，或说话人的风格特征满足风格特征条件，或说话人的语音表现力满足表现力条件等。
视觉状态的类型可以是虚拟对象的显示尺寸、显示颜色和运动轨迹等。
在一个实施例中，终端对时域的音频数据进行分帧和加窗处理，获得各帧的音频数据。终端对各帧的音频数据进行傅里叶变换，获得对应的频谱。终端根据各帧的频谱计算出功率谱，然后对该功率谱进行对数运算，获得对数功率谱。终端可以将该对数功率谱确定为语音特征，或者，将对数功率谱经过离散余弦变换所得的结果确定为语音特征。
例如，假设所采集的语音的信号表达式为x(n)，分帧和加窗后的语音为x'(n)＝x(n)×h(n)，对加窗后的语音x'(n)＝x(n)×h(n)进行离散傅里叶变换，得到对应的频谱信号为：
其中，N表示离散傅里叶变换的点数。
获得各帧语音的频谱时，终端计算出对应的功率谱，并求出功率谱的对数值得到对数功率谱，从而得到对应的语音特征。
或者，获得对数功率谱后，终端将对数功率谱输入梅尔尺度的三角滤波器，经离散余弦变换后得到梅尔频率倒谱系数，所得的梅尔频率倒谱系数为：
其中，L阶指的是梅尔频率倒谱系数阶数，可以取值取12-16。M指的是三角滤波器个数。
上述实施例中，通过提取音频数据的音频特征，在音频特征满足对应的触发条件时，可在原来虚拟对象的基础上新增虚拟对象，或将原来的虚拟对象切换为其它虚拟对象，或将原来所呈现的视觉状态进行切换，使融合在现实场景图像中的虚拟对象多样化，以及所呈现的视觉状态多样化，进而提高了用户与虚拟对象的交互性。
在一个实施例中，该方法还可以包括：根据音频数据进行识别，获得识别结果；确定与识别结果匹配的动态效果类型；按照动态效果类型和属性值确定虚拟对象所呈现的视觉状态；视觉状态与动态效果类型相匹配。
其中，识别结果可以指音频类型和音频数据中关键字的文本特征。音频类型可以指音乐的类型，如轻音乐、摇滚音乐和爵士音乐等音乐类型。文本特征可以指关键字的轻音和重音等。重音可通过增加音强或音高来表示。
动态效果可以是虚拟对象在动态变化过程中所显示出来的效果。具体地，动态效果可以是以下中的任一种或多种的组合：旋转、移动、透明与非透明之间变化和颜色变化等。例如，虚拟对象随音频数据的变化而发生旋转，或边移动边旋转等。对应的，动态效果类型可以包括旋转类型、移动类型、透明与非透明之间变化类型和颜色变化类型。
在一个实施例中，终端识别出音频数据所对应的音乐类型时，获取与音乐类型对应的动态效果，按照获取的动态效果和属性值确定虚拟对象所呈现的视觉状态。例如，当所获取的音频数据为摇滚音乐类型时，动态效果可以是比较动感的效果。
在一个实施例中，终端识别出音频数据中关键字的文本特征，根据识别的文本特征选择对应的动态效果。例如，当识别出音频中的关键字为重音时，将虚拟对象的动态效果切换为重音所对应的动态效果。
上述实施例中，通过音频数据的识别结果确定对应的动态效果，使虚拟对象随音频数据的变化而呈现不同的动态效果，提升了用户与虚拟对象之间的交互性。
对于传统的图像处理方案中，大部分相机/短视频类的应用程序都有动效虚拟对象的能力，即虚拟的虚拟对象会跟随人脸的运动；也都有播放背景音乐或者接收麦克风的能力，即录制视频的时候可以带有背景音乐或麦克风声音。但是目前还没有一款应用程序可以实时获取声音，进而分析声音的属性来实时调节虚拟对象的属性值。
为了解决上述问题，本发明实施例提供了一种图像处理方法，通过该图像处理方法，可实现根据音乐变化动态的调整虚拟对象(如动效虚拟对象随音乐变化)，使虚拟对象跟随音乐的音量值或频率值变化而发生颜色，或尺寸，或旋转角度的变化，如图13所示，该图像处理方法包括以下步骤：
S1302，获取音频数据。
终端获取音频数据的方式可以是：一是通过终端的麦克风采集的方式，另一是从终端播放的相应背景音乐读取的方式。通过终端的麦克风采集的方式主要是采集外界的音频数据，如利用手机常用的话筒功能采集用户发出的语音。从终端播放的相应背景音乐读取的方式，主要是终端解码所播放背景音乐的音频格式文件，从而获得音频数据。需要说明的是，可以将上述两种方式所获得的音频数据中的一种作为输入源，也可以将上述两种方式所获得的音频数据之间的混合作为输入源。终端通过PCM编码调制方式，将所获取的音频数据编码成二进制的编码音频数据。音频数据也可称为音频信号，在本发明实施例中不做区分。
其中，PCM是一种常见的编码方式，主要是将模拟的音频数据按照预设的时间间隔进行抽样，使模拟的音频数据离散化，然后对抽样值进行量化，同时将量化后的抽样值进行编码，获得按二进制码表示抽样脉冲的幅值。
S1304，解析音频数据，获得对应的参数值，参数值如频率值和音量值。
终端获得经过PCM编码后的编码音频数据，从该编码音频数据中解析出与声音相关的属性值，该属性值可以包括：音量值、频率值和音色等。
音量值可以通过音频数据的响度或对应波形的幅值表示，表征一段时间内音频数据的音量大小，计算公式如下：
其中，vi表示经过PCM编码之后所得的编码音频数据中一个抽样点的振幅，N表示抽样点的个数，本实施例中N可以取值1024，也可以为其它数值。对于抽样率为48k的音频数据，1秒钟可计算48次音量值。
频率值可以是音频数据在单位时间内对应波形上下震动的次数，单位为Hz。音频数据可以被分解为不同频率值、不同幅值的正弦波的叠加，利用FFT算法可以将PCM编码后所得的编码音频数据转化为频域音频数据，通过该频域音频数据可获得频率值和音量值(即幅值)。
将PCM编码后所得的编码音频数据转化为频域音频数据时，可使用512点FFT，最多可将0到截止频率(对于48kHz抽样率，截止频率为24kHz)的频段等分为256个频段，并计算出每个频段的幅值，从而得到音频数据的音量值。此外，获取振幅最大的频段，根据振幅最大频段中的子频域音频数据确定频数据对应的频率值。
无论是音量值的计算还是FFT的计算，在终端都可以实现实时计算。
S1306，选取对应的映射式，将获得的参数值输入映射式。
终端获得每个时段内的频域音频数据。以48kHz抽样率的音频数据作为输入源为例，1秒钟内会计算48次。终端根据不同的需求，设计不同的映射式。其中，该映射式即为本发明实施例中所述的映射关系。该映射式的输入变量为音量值或频率值，输出为虚拟对象的属性值，属性值如颜色、缩放比例、旋转角度等。以音频数据的音量值为输入，以虚拟对象的缩放比例为输出为例，可以设计下述分段的映射式：
其中，x为音频数据的音量值，范围可以是0～120db，f(x)为虚拟对象的缩放比例。
根据实际需求，可以配置各种不同的映射式。其中，映射式在3个维度内可配：1)根据映射式的输入类型配置映射式，如输入类型为音量值或频率值；2)根据映射式的输出类型配置映射式，输出类型可以是虚拟对象的缩放比例、颜色、旋转角度、偏移等各个不同维度的属性值；3)函数的输入与输出之间的对应关系配置映射式。
S1308，输出虚拟对象的属性值。
根据上述映射式，当分贝值小于50db时，虚拟对象保持默认大小1.0。当分贝值大于50db时，虚拟对象的缩放比例随分贝值的增大而增大，当分贝值为120db时，缩放比例为4.0。
如图5所示，图5(a)为默认大小，即缩放比例为1.0；图5(b)为缩放大小约为2.0时的效果。
S1310，采集现实场景图像。
终端可通过摄像头实时采集现实场景图像。其中，现实场景图像可以是摄像头实时所采集视频中的一帧图像。
S1312，检测现实场景图像中对象的特征。
终端对现实场景图像中的目标对象做特征检测，如人脸特征检测。
其中，检测的方式可以是：采用开源的opencv或dlib的人脸配准点SDK，或使用优图、商汤等提供的人脸特征点检测SDK进行特征检测。
S1314，将改变属性值的虚拟对象与现实场景图像融合。
终端调整属性值后的虚拟对象融合到现实场景图像中目标对象的固定区域(以目标对象的某个脸部特征点位锚点)，即可实现虚拟对象实时跟随人脸，并随音频数据的属性值变化而发生变化。
以音频数据的音量值控制虚拟对象的缩放比例为例，效果是虚拟对象可以实时跟随人脸，并且虚拟对象的尺寸会随着麦克风采集到的音量值，或者背景音乐的音量值实时发生变化。
S1316，输出包括有虚拟对象的现实场景图像。
通过上述实施例，可以很大程度上增加自拍/短视频类APP的可玩性，虚拟对象会随着音频数据的参数值变化而发生大小、或颜色、或旋转角度等变化，增加了虚拟对象的多样化变化，提高了用户与虚拟对象之间的交互性。
图2为一个实施例中图像处理方法的流程示意图。应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图14所示，在一个实施例中，提供了一种图像处理装置，该图像处理装置具体包括：音频数据获取模块1402、属性值确定模块1404、目标对象确定模块1406、融合位置确定模块1408和融合模块1410；其中：
音频数据获取模块1402，用于获取与实时采集的现实场景图像对应的音频数据；
属性值确定模块1404，用于根据音频数据动态确定虚拟对象的属性值，该属性值用于确定虚拟对象的视觉状态；
目标对象确定模块1406，用于从现实场景图像中确定目标对象；
融合位置确定模块1408，用于根据目标对象，确定按属性值确定的虚拟对象在现实场景图像中的融合位置；
融合模块1410，用于将按属性值确定的虚拟对象按融合位置融合到现实场景图像；虚拟对象在属性值不同时呈现不同的视觉状态。
在一个实施例中，音频数据获取模块1402还用于在实时采集现实场景图像时，从当前环境中实时采集与现实场景图像对应的音频数据；或者，从实时采集的现实场景图像的背景音频中，读取与现实场景图像所对应时间戳对应的音频数据。
在一个实施例中，目标对象确定模块1406还用于从现实场景图像中识别生物特征；当生物特征满足预设条件时，则将现实场景图像中与生物特征对应的生物对象确定为目标对象。
上述实施例中，获取与实时采集的现实场景图像对应的音频数据，通过音频数据动态确定虚拟对象的属性，从而实现了根据音频数据对虚拟对象属性的控制。通过现实场景图像中的目标对象，确定虚拟对象在现实场景图像中的融合位置，按照融合位置将根据属性值确定的虚拟对象融合到现实场景图像中，由于虚拟对象的属性值由音频数据控制，当音频数据发生变化时，融合到现实场景图像中的虚拟对象的属性值也随之产生变化，提高了交互性。
在一个实施例中，属性值确定模块1404还用于获取音频数据的参数值；确定参数值与虚拟对象的属性值之间的预设映射关系；根据预设映射关系，将参数值映射为虚拟对象的属性值。
在一个实施例中，属性值确定模块1404对音频数据进行抽样；将抽样所得的结果量化并编码，获得编码音频数据；根据所获得的编码音频数据确定音频数据的参数值。
上述实施例中，确定参数值与虚拟对象的属性值之间的预设映射关系，当获得对应的参数值的大小时，便可以通过该预设映射关系获得对应的虚拟对象的属性值，从而实现对虚拟对象的调整，使虚拟对象呈现不同的视觉状态，提升了虚拟对象的多样化变化。
在一个实施例中，参数值包括频率值；属性值确定模块1404还用于将时域的编码音频数据转换为频域音频数据；将频域音频数据分段，获得多个子频域音频数据；确定各子频域音频数据的振幅；从各子频域音频数据中选取振幅最大的子频域音频数据；按照所选取的子频域音频数据确定音频数据对应的频率值。
上述实施例中，对频域音频数据进行分段，可以通过分段后所得子频域音频数据确定频率值，一方面，通过该频率值可以实现对虚拟对象的调整，另一方面，分段后的频域音频数据，在计算过程中可降低计算量，加快计算速率。
在一个实施例中，参数值包括音量值；属性值确定模块1404还用于根据所获得的编码音频数据确定音量值；或者，将时域的编码音频数据转换为频域音频数据；根据频域音频数据确定音量值。
上述实施例中，根据所获得的编码音频数据，或者根据由时域的编码音频数据转换的频域音频数据这两种方式确定音量值，得到用于确定虚拟对象视觉状态的属性值，通过该音量值可以实现对虚拟对象的调整。
在一个实施例中，属性值包括属性调整量；按属性值确定的虚拟对象，是按属性调整量调整相应属性后的虚拟对象；融合模块1410还用于确定虚拟对象所具有的、且与属性调整量对应的属性；按照属性调整量调整虚拟对象的属性，得到调整属性后的虚拟对象；将调整属性后的虚拟对象按融合位置融合到现实场景图像。
上述实施例中，通过属性调整量调整虚拟对象的属性，将调整属性后的虚拟对象按融合位置融合到现实场景图像，获得随音频数据的参数变化的虚拟对象，实现根据音频数据调整虚拟对象，提升了虚拟对象的多样化变化，增强用户的体验。
在一个实施例中，属性值包括属性变化目标值；按属性值确定的虚拟对象，是相应属性变化至属性变化目标值后的虚拟对象；融合模块1410还用于确定虚拟对象所具有的、且与属性变化目标值对应的属性；将虚拟对象的属性变化至属性变化目标值，得到属性变化后的虚拟对象；将属性变化后的虚拟对象按融合位置融合到现实场景图像。
上述实施例中，通过属性变化目标值调整虚拟对象的属性，将调整属性后的虚拟对象按融合位置融合到现实场景图像，获得随音频数据的参数变化的虚拟对象，实现根据音频数据调整虚拟对象，提升了虚拟对象的多样化变化，增强用户的体验。
在一个实施例中，融合位置确定模块1408还用于检测目标对象的特征；在所检测到的特征中查找与具有属性的虚拟对象匹配的特征；根据匹配的特征，确定具有属性的虚拟对象在现实场景图像中的融合位置。
上述实施例中，通过目标对象的特征点，确定虚拟对象在现实场景图像中的融合位置，以便于根据该融合位置将虚拟对象融合在现实场景图像中，获得视觉状态发生变化的虚拟对象，提升了虚拟对象的多样性变化。
图15示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端。如图15所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图15所示的计算机设备上运行。计算机设备的存储器中可存储组成该14装置的各个程序模块，比如，图14所示的音频数据获取模块1402、属性值确定模块1404、目标对象确定模块1406、融合位置确定模块1408和融合模块1410。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
例如，图15所示的计算机设备可以通过如图14所示的图像处理装置中的音频数据获取模块1402执行S202。计算机设备可通过属性值确定模块1404执行S204。计算机设备可通过目标对象确定模块1406执行S206。计算机设备可通过融合位置确定模块1408执行S208。计算机设备可通过融合模块1410执行S210。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：取与实时采集的现实场景图像对应的音频数据；根据音频数据动态确定虚拟对象的属性值，该属性值用于确定虚拟对象的视觉状态；从现实场景图像中确定目标对象；根据目标对象，确定按属性值确定的虚拟对象在现实场景图像中的融合位置；将按属性值确定的虚拟对象按融合位置融合到现实场景图像；虚拟对象在属性值不同时呈现不同的视觉状态。
在一个实施例中，计算机程序被处理器执行获取与实时采集的现实场景图像对应的音频数据的步骤时，使得处理器具体执行以下步骤：在实时采集现实场景图像时，从当前环境中实时采集与现实场景图像对应的音频数据；或者，从实时采集的现实场景图像的背景音频中，读取与现实场景图像所对应时间戳对应的音频数据。
在一个实施例中，计算机程序被处理器执行根据音频数据动态确定虚拟对象的属性值的步骤时，使得处理器具体执行以下步骤：获取音频数据的参数值；确定参数值与虚拟对象的属性值之间的预设映射关系；根据预设映射关系，将参数值映射为虚拟对象的属性值。
在一个实施例中，计算机程序被处理器执行获取音频数据的参数值的步骤时，使得处理器具体执行以下步骤：对音频数据进行抽样；将抽样所得的结果量化并编码，获得编码音频数据；根据所获得的编码音频数据确定音频数据的参数值。
在一个实施例中，参数值包括频率值，计算机程序被处理器执行根据所获得的编码音频数据确定音频数据的参数值的步骤时，使得处理器具体执行以下步骤：将时域的编码音频数据转换为频域音频数据；将频域音频数据分段，获得多个子频域音频数据；确定各子频域音频数据的振幅；从各子频域音频数据中选取振幅最大的子频域音频数据；按照所选取的子频域音频数据确定音频数据对应的频率值。
在一个实施例中，参数值包括音量值；计算机程序被处理器执行根据所获得的编码音频数据确定音频数据的参数值的步骤时，使得处理器具体执行以下步骤：根据所获得的编码音频数据确定音量值；或者，将时域的编码音频数据转换为频域音频数据；根据频域音频数据确定音量值。
在一个实施例中，属性值包括属性调整量；按属性值确定的虚拟对象，是按属性调整量调整相应属性后的虚拟对象；计算机程序被处理器执行将按属性值确定的虚拟对象按融合位置融合到现实场景图像的步骤时，使得处理器具体执行以下步骤：确定虚拟对象所具有的、且与属性调整量对应的属性；按照属性调整量调整虚拟对象的属性，得到调整属性后的虚拟对象；将调整属性后的虚拟对象按融合位置融合到现实场景图像。
在一个实施例中，属性值包括属性变化目标值；按属性值确定的虚拟对象，是相应属性变化至属性变化目标值后的虚拟对象；计算机程序被处理器执行将按属性值确定的虚拟对象按融合位置融合到现实场景图像的步骤时，使得处理器具体执行以下步骤：确定虚拟对象所具有的、且与属性变化目标值对应的属性；将虚拟对象的属性变化至属性变化目标值，得到属性变化后的虚拟对象；将属性变化后的虚拟对象按融合位置融合到现实场景图像。
在一个实施例中，计算机程序被处理器执行从现实场景图像中确定目标对象的步骤时，使得处理器具体执行以下步骤：从现实场景图像中识别生物特征；当生物特征满足预设条件时，则将现实场景图像中与生物特征对应的生物对象确定为目标对象。
在一个实施例中，计算机程序被处理器执行根据目标对象，确定具有属性的虚拟对象在现实场景图像中的融合位置的步骤时，使得处理器具体执行以下步骤：检测目标对象的特征；在所检测到的特征中查找与具有属性的虚拟对象匹配的特征；根据匹配的特征，确定具有属性的虚拟对象在现实场景图像中的融合位置。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：取与实时采集的现实场景图像对应的音频数据；根据音频数据动态确定虚拟对象的属性值，该属性值用于确定虚拟对象的视觉状态；从现实场景图像中确定目标对象；根据目标对象，确定按属性值确定的虚拟对象在现实场景图像中的融合位置；将按属性值确定的虚拟对象按融合位置融合到现实场景图像；虚拟对象在属性值不同时呈现不同的视觉状态。
在一个实施例中，计算机程序被处理器执行获取与实时采集的现实场景图像对应的音频数据的步骤时，使得处理器具体执行以下步骤：在实时采集现实场景图像时，从当前环境中实时采集与现实场景图像对应的音频数据；或者，从实时采集的现实场景图像的背景音频中，读取与现实场景图像所对应时间戳对应的音频数据。
在一个实施例中，计算机程序被处理器执行根据音频数据动态确定虚拟对象的属性值的步骤时，使得处理器具体执行以下步骤：获取音频数据的参数值；确定参数值与虚拟对象的属性值之间的预设映射关系；根据预设映射关系，将参数值映射为虚拟对象的属性值。
在一个实施例中，计算机程序被处理器执行获取音频数据的参数值的步骤时，使得处理器具体执行以下步骤：对音频数据进行抽样；将抽样所得的结果量化并编码，获得编码音频数据；根据所获得的编码音频数据确定音频数据的参数值。
在一个实施例中，参数值包括频率值，计算机程序被处理器执行根据所获得的编码音频数据确定音频数据的参数值的步骤时，使得处理器具体执行以下步骤：将时域的编码音频数据转换为频域音频数据；将频域音频数据分段，获得多个子频域音频数据；确定各子频域音频数据的振幅；从各子频域音频数据中选取振幅最大的子频域音频数据；按照所选取的子频域音频数据确定音频数据对应的频率值。
在一个实施例中，参数值包括音量值；计算机程序被处理器执行根据所获得的编码音频数据确定音频数据的参数值的步骤时，使得处理器具体执行以下步骤：根据所获得的编码音频数据确定音量值；或者，将时域的编码音频数据转换为频域音频数据；根据频域音频数据确定音量值。
在一个实施例中，属性值包括属性调整量；按属性值确定的虚拟对象，是按属性调整量调整相应属性后的虚拟对象；计算机程序被处理器执行将按属性值确定的虚拟对象按融合位置融合到现实场景图像的步骤时，使得处理器具体执行以下步骤：确定虚拟对象所具有的、且与属性调整量对应的属性；按照属性调整量调整虚拟对象的属性，得到调整属性后的虚拟对象；将调整属性后的虚拟对象按融合位置融合到现实场景图像。
在一个实施例中，属性值包括属性变化目标值；按属性值确定的虚拟对象，是相应属性变化至属性变化目标值后的虚拟对象；计算机程序被处理器执行将按属性值确定的虚拟对象按融合位置融合到现实场景图像的步骤时，使得处理器具体执行以下步骤：确定虚拟对象所具有的、且与属性变化目标值对应的属性；将虚拟对象的属性变化至属性变化目标值，得到属性变化后的虚拟对象；将属性变化后的虚拟对象按融合位置融合到现实场景图像。
在一个实施例中，计算机程序被处理器执行从现实场景图像中确定目标对象的步骤时，使得处理器具体执行以下步骤：从现实场景图像中识别生物特征；当生物特征满足预设条件时，则将现实场景图像中与生物特征对应的生物对象确定为目标对象。
在一个实施例中，计算机程序被处理器执行根据目标对象，确定具有属性的虚拟对象在现实场景图像中的融合位置的步骤时，使得处理器具体执行以下步骤：检测目标对象的特征；在所检测到的特征中查找与具有属性的虚拟对象匹配的特征；根据匹配的特征，确定具有属性的虚拟对象在现实场景图像中的融合位置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (17)

1.一种图像处理方法，包括：
获取与实时采集的现实场景图像对应的音频数据；
根据所述音频数据动态确定虚拟对象的属性值，所述属性值用于确定所述虚拟对象的视觉状态；
从所述现实场景图像中确定目标对象；
根据所述目标对象，确定按所述属性值确定的虚拟对象在所述现实场景图像中的融合位置；
将按所述属性值确定的虚拟对象按所述融合位置融合到所述现实场景图像；所述虚拟对象在属性值不同时呈现不同的视觉状态。
2.根据权利要求1所述的方法，其特征在于，所述获取与实时采集的现实场景图像对应的音频数据包括：
在实时采集现实场景图像时，从当前环境中实时采集与所述现实场景图像对应的音频数据；或者，
从实时采集的现实场景图像的背景音频中，读取与所述现实场景图像所对应时间戳对应的音频数据。
3.根据权利要求1所述的方法，其特征在于，所述根据所述音频数据动态确定虚拟对象的属性值包括：
获取所述音频数据的参数值；
确定参数值与虚拟对象的属性值之间的预设映射关系；
根据所述预设映射关系，将所述参数值映射为虚拟对象的属性值。
4.根据权利要求3所述的方法，其特征在于，所述获取所述音频数据的参数值包括：
对所述音频数据进行抽样；
将抽样所得的结果量化并编码，获得编码音频数据；
根据所获得的编码音频数据确定所述音频数据的参数值。
5.根据权利要求3所述的方法，其特征在于，所述参数值包括频率值；所述根据所获得的编码音频数据确定所述音频数据的参数值包括：
将时域的所述编码音频数据转换为频域音频数据；
将所述频域音频数据分段，获得多个子频域音频数据；
确定各子频域音频数据的振幅；
从各子频域音频数据中选取振幅最大的子频域音频数据；
按照所选取的子频域音频数据确定所述音频数据对应的频率值。
6.根据权利要求3所述的方法，其特征在于，所述参数值包括音量值；所述根据所获得的编码音频数据确定所述音频数据的参数值包括：
根据所获得的编码音频数据确定音量值；或者，
将时域的所述编码音频数据转换为频域音频数据；根据所述频域音频数据确定音量值。
7.根据权利要求1所述的方法，其特征在于，所述属性值包括属性调整量；所述按所述属性值确定的虚拟对象，是按所述属性调整量调整相应属性后的虚拟对象；
所述将按所述属性值确定的虚拟对象按所述融合位置融合到所述现实场景图像包括：
确定所述虚拟对象所具有的、且与所述属性调整量对应的属性；
按照所述属性调整量调整所述虚拟对象的所述属性，得到调整属性后的虚拟对象；
将调整属性后的虚拟对象按所述融合位置融合到所述现实场景图像。
8.根据权利要求1所述的方法，其特征在于，所述属性值包括属性变化目标值；所述按所述属性值确定的虚拟对象，是相应属性变化至所述属性变化目标值后的虚拟对象；
所述将按所述属性值确定的虚拟对象按所述融合位置融合到所述现实场景图像包括：
确定所述虚拟对象所具有的、且与所述属性变化目标值对应的属性；
将所述虚拟对象的所述属性变化至所述属性变化目标值，得到属性变化后的虚拟对象；
将属性变化后的虚拟对象按所述融合位置融合到所述现实场景图像。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述从所述现实场景图像中确定目标对象包括：
从所述现实场景图像中识别生物特征；
当所述生物特征满足预设条件时，则
将所述现实场景图像中与所述生物特征对应的生物对象确定为目标对象。
10.根据权利要求1至8任一项所述的方法，其特征在于，所述根据所述目标对象，确定具有所述属性的虚拟对象在所述现实场景图像中的融合位置包括：
检测所述目标对象的特征；
在所检测到的特征中查找与具有所述属性的虚拟对象匹配的特征；
根据所述匹配的特征，确定具有所述属性的虚拟对象在所述现实场景图像中的融合位置。
11.根据权利要求1至8任一项所述的方法，其特征在于，还包括：
提取所述音频数据的音频特征；
当所述音频特征符合第一触发条件时，则执行以下至少一种：
新增虚拟对象；
切换虚拟对象；
切换所述视觉状态的类型。
12.根据权利要求1至8任一项所述的方法，其特征在于，还包括：
根据所述音频数据进行识别，获得识别结果；
确定与所述识别结果匹配的动态效果类型；
按照所述动态效果类型和所述属性值确定所述虚拟对象所呈现的视觉状态；所述视觉状态与所述动态效果类型相匹配。
13.一种图像处理装置，包括：
音频数据获取模块，用于获取与实时采集的现实场景图像对应的音频数据；
属性值确定模块，用于根据所述音频数据动态确定虚拟对象的属性值，所述属性值用于确定所述虚拟对象的视觉状态；
目标对象确定模块，用于从所述现实场景图像中确定目标对象；
融合位置确定模块，用于根据所述目标对象，确定按所述属性值确定的虚拟对象在所述现实场景图像中的融合位置；
融合模块，用于将按所述属性值确定的虚拟对象按所述融合位置融合到所述现实场景图像；所述虚拟对象在属性值不同时呈现不同的视觉状态。
14.根据权利要求13所述的装置，其特征在于，所述音频数据获取模块还用于在实时采集现实场景图像时，从当前环境中实时采集与所述现实场景图像对应的音频数据；或者，从实时采集的现实场景图像的背景音频中，读取与所述现实场景图像所对应时间戳对应的音频数据。
15.根据权利要求14所述的装置，其特征在于，属性值确定模块还用于获取所述音频数据的参数值；确定参数值与虚拟对象的属性值之间的预设映射关系；根据所述预设映射关系，将所述参数值映射为虚拟对象的属性值。
16.一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
CN201810723144.8A 2018-07-04 2018-07-04 图像处理方法、装置、存储介质和计算机设备 Active CN108769535B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810723144.8A CN108769535B (zh) 2018-07-04 2018-07-04 图像处理方法、装置、存储介质和计算机设备
PCT/CN2019/091359 WO2020007185A1 (zh) 2018-07-04 2019-06-14 图像处理方法、装置、存储介质和计算机设备
TW108123650A TWI793344B (zh) 2018-07-04 2019-07-04 影像處理方法、裝置、儲存介質和電腦設備
US16/999,047 US11392642B2 (en) 2018-07-04 2020-08-20 Image processing method, storage medium, and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810723144.8A CN108769535B (zh) 2018-07-04 2018-07-04 图像处理方法、装置、存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN108769535A true CN108769535A (zh) 2018-11-06
CN108769535B CN108769535B (zh) 2021-08-10

Family

ID=63975934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810723144.8A Active CN108769535B (zh) 2018-07-04 2018-07-04 图像处理方法、装置、存储介质和计算机设备

Country Status (4)

Country Link
US (1) US11392642B2 (zh)
CN (1) CN108769535B (zh)
TW (1) TWI793344B (zh)
WO (1) WO2020007185A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597481A (zh) * 2018-11-16 2019-04-09 Oppo广东移动通信有限公司 Ar虚拟人物绘制方法、装置、移动终端及存储介质
CN109935318A (zh) * 2019-03-06 2019-06-25 珠海市万瑙特健康科技有限公司 三维脉波的显示方法、装置、计算机设备及存储介质
CN110072047A (zh) * 2019-01-25 2019-07-30 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
WO2020007185A1 (zh) * 2018-07-04 2020-01-09 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN111627117A (zh) * 2020-06-01 2020-09-04 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
CN111638781A (zh) * 2020-05-15 2020-09-08 广东小天才科技有限公司 基于ar的发音引导方法、装置、电子设备及存储介质
CN111815782A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 Ar场景内容的显示方法、装置、设备及计算机存储介质
CN111899350A (zh) * 2020-07-31 2020-11-06 北京市商汤科技开发有限公司 增强现实ar图像的呈现方法及装置、电子设备、存储介质
CN111915744A (zh) * 2020-08-31 2020-11-10 深圳传音控股股份有限公司 增强现实图像的交互方法、终端和存储介质
CN112738634A (zh) * 2019-10-14 2021-04-30 北京字节跳动网络技术有限公司 视频文件的生成方法、装置、终端及存储介质
CN113867530A (zh) * 2021-09-28 2021-12-31 深圳市慧鲤科技有限公司 虚拟物体控制方法、装置、设备及存储介质
CN113906370A (zh) * 2019-05-29 2022-01-07 苹果公司 为物理元素生成内容
WO2022095537A1 (zh) * 2020-11-09 2022-05-12 Oppo广东移动通信有限公司 虚拟对象显示方法及装置、存储介质和电子设备
CN115512003A (zh) * 2022-11-16 2022-12-23 之江实验室 一种独立关系检测的场景图生成方法和系统
WO2023138548A1 (zh) * 2022-01-24 2023-07-27 北京字跳网络技术有限公司 图像处理方法、装置、设备和存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070896B (zh) * 2018-10-19 2020-09-01 北京微播视界科技有限公司 图像处理方法、装置、硬件装置
CN110866509B (zh) * 2019-11-20 2023-04-28 腾讯科技（深圳）有限公司 动作识别方法、装置、计算机存储介质和计算机设备
CN111935491B (zh) * 2020-06-28 2023-04-07 百度在线网络技术（北京）有限公司 直播的特效处理方法、装置以及服务器
CN111833460A (zh) * 2020-07-10 2020-10-27 北京字节跳动网络技术有限公司 增强现实的图像处理方法、装置、电子设备及存储介质
CN112767484B (zh) * 2021-01-25 2023-09-05 脸萌有限公司 定位模型的融合方法、定位方法、电子装置
CN113256815B (zh) * 2021-02-24 2024-03-22 北京华清易通科技有限公司 虚拟现实场景融合及播放方法和虚拟现实设备
CN112990283A (zh) * 2021-03-03 2021-06-18 网易（杭州）网络有限公司 图像生成方法、装置和电子设备
US11769289B2 (en) * 2021-06-21 2023-09-26 Lemon Inc. Rendering virtual articles of clothing based on audio characteristics
US11521341B1 (en) 2021-06-21 2022-12-06 Lemon Inc. Animation effect attachment based on audio characteristics
CN113905189A (zh) * 2021-09-28 2022-01-07 安徽尚趣玩网络科技有限公司 一种视频内容动态拼接方法及装置
CN114007091A (zh) * 2021-10-27 2022-02-01 北京市商汤科技开发有限公司 一种视频处理方法、装置、电子设备及存储介质
US20230410396A1 (en) * 2022-06-17 2023-12-21 Lemon Inc. Audio or visual input interacting with video creation
CN115359220B (zh) * 2022-08-16 2024-05-07 支付宝(杭州)信息技术有限公司 虚拟世界的虚拟形象更新方法及装置
CN117014675A (zh) * 2022-09-16 2023-11-07 腾讯科技（深圳）有限公司 虚拟对象的视频生成方法、装置和计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546676A (zh) * 2012-07-09 2014-01-29 纬创资通股份有限公司 自动拍照装置及方法
CN103685946A (zh) * 2013-11-30 2014-03-26 北京智谷睿拓技术服务有限公司 一种拍照方法和控制设备
CN104580888A (zh) * 2014-12-17 2015-04-29 广东欧珀移动通信有限公司 一种图像处理方法及终端
CN107105168A (zh) * 2017-06-02 2017-08-29 哈尔滨市舍科技有限公司 可虚拟拍照的共享观景系统
CN107329980A (zh) * 2017-05-31 2017-11-07 福建星网视易信息系统有限公司 一种基于音频的实时联动显示方法及存储设备
CN107343211A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 视频图像处理方法、装置和终端设备
CN107637066A (zh) * 2015-05-12 2018-01-26 三星电子株式会社 使用可穿戴装置的远程控制方法和装置
CN107852399A (zh) * 2015-06-23 2018-03-27 脸谱公司 流媒体呈现系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
US20110191674A1 (en) * 2004-08-06 2011-08-04 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
TWI423113B (zh) * 2010-11-30 2014-01-11 Compal Communication Inc 互動式人機介面及其所適用之可攜式通訊裝置
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
TW201412092A (zh) * 2012-09-05 2014-03-16 Acer Inc 多媒體處理系統及音訊信號處理方法
TWI579731B (zh) * 2013-08-22 2017-04-21 Chunghwa Telecom Co Ltd Combined with the reality of the scene and virtual components of the interactive system and methods
CN104036789B (zh) * 2014-01-03 2018-02-02 北京智谷睿拓技术服务有限公司 多媒体处理方法及多媒体装置
KR101888566B1 (ko) * 2014-06-03 2018-08-16 애플 인크. 실제 물체와 관련된 디지털 정보를 제시하기 위한 방법 및 시스템
US9361447B1 (en) * 2014-09-04 2016-06-07 Emc Corporation Authentication based on user-selected image overlay effects
US11024088B2 (en) * 2016-05-27 2021-06-01 HoloBuilder, Inc. Augmented and virtual reality
US10445936B1 (en) * 2016-08-01 2019-10-15 Snap Inc. Audio responsive augmented reality
US10277834B2 (en) * 2017-01-10 2019-04-30 International Business Machines Corporation Suggestion of visual effects based on detected sound patterns
CN108769535B (zh) * 2018-07-04 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
EP3633587A1 (en) * 2018-10-04 2020-04-08 Nokia Technologies Oy An apparatus and associated methods for presentation of comments
US11017231B2 (en) * 2019-07-10 2021-05-25 Microsoft Technology Licensing, Llc Semantically tagged virtual and physical objects
US11089427B1 (en) * 2020-03-31 2021-08-10 Snap Inc. Immersive augmented reality experiences using spatial audio

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546676A (zh) * 2012-07-09 2014-01-29 纬创资通股份有限公司 自动拍照装置及方法
CN103685946A (zh) * 2013-11-30 2014-03-26 北京智谷睿拓技术服务有限公司 一种拍照方法和控制设备
CN104580888A (zh) * 2014-12-17 2015-04-29 广东欧珀移动通信有限公司 一种图像处理方法及终端
CN107637066A (zh) * 2015-05-12 2018-01-26 三星电子株式会社 使用可穿戴装置的远程控制方法和装置
CN107852399A (zh) * 2015-06-23 2018-03-27 脸谱公司 流媒体呈现系统
CN107343211A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 视频图像处理方法、装置和终端设备
CN107329980A (zh) * 2017-05-31 2017-11-07 福建星网视易信息系统有限公司 一种基于音频的实时联动显示方法及存储设备
CN107105168A (zh) * 2017-06-02 2017-08-29 哈尔滨市舍科技有限公司 可虚拟拍照的共享观景系统

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11392642B2 (en) 2018-07-04 2022-07-19 Tencent Technology (Shenzhen) Company Limited Image processing method, storage medium, and computer device
WO2020007185A1 (zh) * 2018-07-04 2020-01-09 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109597481B (zh) * 2018-11-16 2021-05-04 Oppo广东移动通信有限公司 Ar虚拟人物绘制方法、装置、移动终端及存储介质
CN109597481A (zh) * 2018-11-16 2019-04-09 Oppo广东移动通信有限公司 Ar虚拟人物绘制方法、装置、移动终端及存储介质
WO2020098462A1 (zh) * 2018-11-16 2020-05-22 Oppo广东移动通信有限公司 Ar虚拟人物绘制方法、装置、移动终端及存储介质
US11409794B2 (en) 2019-01-25 2022-08-09 Beijing Bytedance Network Technology Co., Ltd. Image deformation control method and device and hardware device
WO2020151491A1 (zh) * 2019-01-25 2020-07-30 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
EP3917131A4 (en) * 2019-01-25 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. IMAGE DISTORTION CONTROL METHOD AND DEVICE, AND HARDWARE DEVICE
CN110072047A (zh) * 2019-01-25 2019-07-30 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
KR102491773B1 (ko) * 2019-01-25 2023-01-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 이미지 변형 제어 방법, 장치 및 하드웨어 장치
KR20210110852A (ko) * 2019-01-25 2021-09-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 이미지 변형 제어 방법, 장치 및 하드웨어 장치
CN109935318A (zh) * 2019-03-06 2019-06-25 珠海市万瑙特健康科技有限公司 三维脉波的显示方法、装置、计算机设备及存储介质
CN113906370A (zh) * 2019-05-29 2022-01-07 苹果公司 为物理元素生成内容
CN112738634A (zh) * 2019-10-14 2021-04-30 北京字节跳动网络技术有限公司 视频文件的生成方法、装置、终端及存储介质
CN111638781B (zh) * 2020-05-15 2024-03-19 广东小天才科技有限公司 基于ar的发音引导方法、装置、电子设备及存储介质
CN111638781A (zh) * 2020-05-15 2020-09-08 广东小天才科技有限公司 基于ar的发音引导方法、装置、电子设备及存储介质
CN111627117B (zh) * 2020-06-01 2024-04-16 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
CN111627117A (zh) * 2020-06-01 2020-09-04 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
CN111815782A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 Ar场景内容的显示方法、装置、设备及计算机存储介质
CN111899350A (zh) * 2020-07-31 2020-11-06 北京市商汤科技开发有限公司 增强现实ar图像的呈现方法及装置、电子设备、存储介质
CN111915744A (zh) * 2020-08-31 2020-11-10 深圳传音控股股份有限公司 增强现实图像的交互方法、终端和存储介质
WO2022095537A1 (zh) * 2020-11-09 2022-05-12 Oppo广东移动通信有限公司 虚拟对象显示方法及装置、存储介质和电子设备
CN113867530A (zh) * 2021-09-28 2021-12-31 深圳市慧鲤科技有限公司 虚拟物体控制方法、装置、设备及存储介质
WO2023138548A1 (zh) * 2022-01-24 2023-07-27 北京字跳网络技术有限公司 图像处理方法、装置、设备和存储介质
CN115512003A (zh) * 2022-11-16 2022-12-23 之江实验室 一种独立关系检测的场景图生成方法和系统

Also Published As

Publication number Publication date
WO2020007185A1 (zh) 2020-01-09
US11392642B2 (en) 2022-07-19
TW202022683A (zh) 2020-06-16
TWI793344B (zh) 2023-02-21
CN108769535B (zh) 2021-08-10
US20200380031A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
CN108769535A (zh) 图像处理方法、装置、存储介质和计算机设备
CN111325817A (zh) 一种虚拟人物场景视频的生成方法、终端设备及介质
CN105103229B (zh) 用于产生频率增强音频信号的译码器、译码方法、用于产生编码信号的编码器以及使用紧密选择边信息的编码方法
US20210335364A1 (en) Computer program, server, terminal, and speech signal processing method
CN1971621A (zh) 语音和文本联合驱动的卡通人脸动画生成方法
CN110992963B (zh) 网络通话方法、装置、计算机设备及存储介质
US10783884B2 (en) Electronic device-awakening method and apparatus, device and computer-readable storage medium
US10791412B2 (en) Particle-based spatial audio visualization
CN108206027A (zh) 一种音频质量评价方法及系统
WO2021213008A1 (zh) 一种视频的音画匹配方法、相关装置以及存储介质
CN113823323B (zh) 一种基于卷积神经网络的音频处理方法、装置及相关设备
CN110310642A (zh) 语音处理方法、系统、客户端、设备和存储介质
CN115691544A (zh) 虚拟形象口型驱动模型的训练及其驱动方法、装置和设备
CN116189034A (zh) 头部姿态驱动方法及其装置、设备、介质、产品
CN117593473A (zh) 动作图像与视频生成方法、设备与存储介质
EP2030195A1 (en) Speech differentiation
CN112466306B (zh) 会议纪要生成方法、装置、计算机设备及存储介质
CN112885318A (zh) 多媒体数据生成方法、装置、电子设备及计算机存储介质
CN114255737B (zh) 语音生成方法、装置、电子设备
CN113113040B (zh) 音频处理方法及装置、终端及存储介质
CN113362432B (zh) 一种面部动画生成方法及装置
CN209692906U (zh) 一种会议幻灯片智能记录系统
CN114386406A (zh) 一种文本处理方法、装置、计算机设备及存储介质
CN117115318B (zh) 口型动画合成方法及装置和电子设备
CN108346423A (zh) 语音合成模型的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant