CN116803085A - 基于音频特性的动画效果附着 - Google Patents

基于音频特性的动画效果附着 Download PDF

Info

Publication number
CN116803085A
CN116803085A CN202280008671.5A CN202280008671A CN116803085A CN 116803085 A CN116803085 A CN 116803085A CN 202280008671 A CN202280008671 A CN 202280008671A CN 116803085 A CN116803085 A CN 116803085A
Authority
CN
China
Prior art keywords
video
audio
animation
computing device
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280008671.5A
Other languages
English (en)
Inventor
李云珠
孙晨
G·伊南科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lemon Inc Cayman Island
Original Assignee
Lemon Inc Cayman Island
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lemon Inc Cayman Island filed Critical Lemon Inc Cayman Island
Publication of CN116803085A publication Critical patent/CN116803085A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/021—Background music, e.g. for video sequences, elevator music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/051—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or detection of onsets of musical sounds or notes, i.e. note attack timings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

描述了用于向显示器绘制视频效果的基于音频特性的动画效果附着的系统和方法。更具体地，获得视频数据和音频数据。分析视频数据以确定出现在视频数据中的目标对象的一个或多个附着点。分析所述音频数据以确定音频特性。基于所述音频特性来确定与要被添加到所述一个或多个附着点的动画相关联的视频效果。通过将视频效果应用于视频数据来生成经绘制的视频。

Description

基于音频特性的动画效果附着
背景技术
视频编辑技术可广泛用于向用户提供各种方式来编辑视频。例如，用户可以编辑视频以向视频添加视觉效果和/或音乐。然而，许多视频编辑技术没有考虑基于音频数据来控制视觉效果。因此，仍然需要开发用于绘制视频效果同步以增强用户体验的视频编辑技术。
关于这些和其他一般考虑，已经描述了本文公开的方面。此外，尽管可以讨论相对具体的问题，但是应当理解，这些示例不应当限于解决在本公开的背景或其他地方中标识的具体问题。
发明内容
根据本公开的至少一个示例，提供了一种用于向显示器绘制视频效果的方法。所述方法包含：获得视频数据和音频数据；分析所述视频数据以确定出现在所述视频数据中的目标对象的一个或多个附着点；分析所述音频数据以确定音频特性；基于所述音频特性确定与要被添加到所述一个或多个附着点的动画相关联的视频效果；以及通过将所述视频效果应用于所述视频数据来生成经绘制视频。
根据本公开的至少一个示例，提供了一种用于向显示器绘制视频效果的计算设备。所述计算设备可包括处理器和其上存储有多个指令的存储器，所述指令在由所述处理器执行时致使所述计算设备获得视频数据和音频数据，分析所述视频数据以确定出现在所述视频数据中的目标对象的一个或多个附着点，分析所述音频数据以确定音频特性，基于所述音频特性来确定与要添加到所述一个或多个附着点的动画相关联的视频效果，以及通过将所述视频效果应用于所述视频数据来生成经绘制视频。
根据本公开的至少一个示例，提供了一种存储用于向显示器绘制视频效果的指令的非暂态计算机可读介质。所述指令在由计算设备的一个或多个处理器执行时使所述计算设备获得视频数据和音频数据，分析所述视频数据以确定出现在所述视频数据中的目标对象的一个或多个附着点，分析所述音频数据以确定音频特性，基于所述音频特性确定与要被添加到所述一个或多个附着点的动画相关联的视频效果，且通过将所述视频效果应用于所述视频数据来生成经绘制视频。
一个或多个以上方面中的任一个与一个或多个方面中的任何其他方面组合。如本文所述的一个或多个方面中的任一个。
提供发明内容述以便以简化的形式介绍概念的选择，这将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。实施例的另外的方面、特征和/或优点将部分地在以下描述中阐述，并且将从描述中显而易见，或者可以通过实践本公开而获知。
附图说明
参考以下附图描述非限制性和非详尽的示例。
图1描绘了根据本公开的示例的示例视频效果同步系统；
图2描绘了根据本公开的示例的图1的视频效果同步系统的计算设备的细节；
图3A－3C描绘了以视频效果绘制的视频的示例帧；
图4和图5描绘了根据本公开的示例的用于绘制视频效果的方法的细节；
图6描绘了示出可以实践本公开的各方面的计算设备的物理组件(例如硬件)的框图；
图7A示出了可以实践本公开的各方面的计算设备的第一示例；
图7B示出了可以实践本公开的各方面的计算设备的第二示例；以及
图8示出了根据本公开的示例的用于处理数据的系统的架构的至少一个方面。
具体实施方式
在以下详细描述中，参考了形成其一部分的附图，并且在附图中通过图示来示出特定方面或示例。这些方面可以被组合，可以利用其他方面，并且可以在不脱离本公开的情况下进行结构改变。各方面可被实现为方法、系统或设备。因此，各方面可以采取硬件实现、完全软件实现或组合软件和硬件方面的实现的形式。因此，以下具体实施方式不应被视为具有限制意义，且本公开的范围由所附权利要求书及其等效物限定。
根据本公开的示例，视频效果同步系统允许用户将音频交互式视频效果应用于视频剪辑中的一个或多个附着点。例如用户可从视频效果库中选择视频效果以向视频剪辑添加动画。视频效果可以由与动画相关联的一个或多个视频效果参数来定义。作为示例，视频效果参数可包括但不限于要添加到视频剪辑的一个或多个动画对象、视频剪辑中的每个动画对象的一个或多个附着点、以及要应用于每个动画对象的一个或多个动画效果。应当理解，动画对象可以包括多个视觉元素。
在说明性方面中，一个或多个附着点可以是视频剪辑中出现和/或被跟踪的目标对象的一个或多个身体关节。为此，可以执行身体关节识别以从视频剪辑的一个或多个目标主题中分离或识别身体关节列表。作为示例，动画对象的附着点可基于视频剪辑中的音频音乐的音乐特性来确定。替代地，可以通过所选择的视频效果来预先选择或预定义附着点。
另外，还可以基于音频音乐的音乐特性(例如节拍信息和/或频率信息)来确定要被应用于动画对象的一个或多个动画效果。为此，可以执行音乐特性化以确定音频音乐的音乐特性。替代地，如果用户从音乐库中选择了音频音乐，则可以将音乐特性作为元数据嵌入音频音乐中。作为示例，动画效果可包括辉光效果，并且动画对象周围的辉光的颜色可基于音频音乐的对应节拍特性或频谱而改变。因此，一个或多个视频效果参数可基于音频音乐和视频剪辑来周期性地(例如每节拍)更新。视频效果同步允许对音频音乐的音乐节拍作出反应的动画被附着到视频剪辑中的目标主题的一个或多个身体关节。
图1描绘了根据本公开的示例的用于绘制一个或多个视频效果的视频效果同步系统100。例如用户102可以生成、接收、获取或以其他方式获得视频剪辑108。随后，用户可以选择要添加到视频剪辑108的音频音乐110。视频效果同步系统100允许用户102基于音乐110来创建附着到视频剪辑108中的目标主题的一个或多个目标身体关节的音频反应视频效果。为此，视频效果同步系统100包括与用户102相关联的计算设备104和经由网络114通信地耦合到计算设备104的服务器106。网络114可以包括任何类型的计算网络，包括但不限于有线或无线局域网(LAN)、有线或无线广域网(WAN)和/或因特网。
在示例中，用户102可以利用计算设备104来获取视频剪辑108和音乐110。用户102可以使用通信地耦合到计算设备104的相机来生成视频剪辑108。在这样的示例中，视频效果可以实时或接近实时地与音乐110同步，以允许用户102在用户在计算设备104上拍摄视频时在显示器(例如显示器705)上观看一个或多个身体关节周围的视频效果。替代地或附加地，用户102可以在计算设备104上接收、获取或以其他方式获得视频剪辑108。在一些示例中，用户102可编辑视频剪辑108以基于音乐110添加视频效果。在一些方面中，用户102可利用计算设备104经由网络114将视频剪辑108和音乐110传输到服务器106。计算设备104可以是便携式或非便携式计算设备中的任何一种。例如计算设备104可以是智能电话、膝上型计算机、台式计算机、服务器。视频剪辑108可以以任何格式获取，并且可以是压缩和/或解压缩的形式。
计算设备104被配置为分析视频剪辑108的每一帧，以识别该帧中的一个或多个目标对象的身体关节。例如身体关节算法可以定义要从视频剪辑108中识别和提取的身体关节的列表。身体关节可包括但不限于头部、颈部、骨盆、脊柱、右/左肩、右/左上臂、右/左前臂、右/左手、右/左大腿、右/左腿、右/左脚和右/左脚趾。
计算设备104被配置为从音乐库接收由用户102选择的要添加到视频剪辑108的音频音乐110。替代地，在一些方面中，音频音乐110可与视频效果相关联。在这些方面，视频效果可包括要添加到视频剪辑108的默认音乐。在一些方面中，可从视频剪辑108提取音频音乐110。计算设备104被配置为分析音频数据以确定音频音乐110的节拍信息或频谱信息。例如如上所述，计算设备104可以通过自动节拍跟踪算法来确定每个节拍的节拍特性。应当理解，在某些方面，音乐节拍特性可以作为元数据嵌入在音乐中。音乐节拍特征可以包括音频音乐110的重音和无重音节拍的数量和相对位置。例如如果音频音乐110具有4/4节拍结构，则每个部分具有四个节拍，每个节拍具有不同节拍强度：强节拍、弱节拍、第二强节拍、弱节拍。
替代地或附加地，计算设备104可以确定音频音乐的频谱特性。例如计算设备104可以确定音频音乐的每个节拍的平均频谱。应当理解，在某些方面，频谱特性可以作为元数据嵌入在音乐中。
视频效果包括控制要添加到视频数据的一个或多个附着点的一个或多个动画对象的行为的视频效果参数。在一些方面中，视频效果参数可限定但不限于动画对象、动画对象的一个或多个附着点(例如目标对象的一个或多个身体关节)和要被添加到视频剪辑的一个或多个附着点的动画对象的动画效果。在说明性方面中，可基于音频音乐和视频剪辑来周期性地(例如每一节拍)更新视频效果的参数。换句话说，视频效果同步允许对音乐节拍作出反应的动画被附着到视频剪辑中的特定目标对象。
在一些方面，用户可选择要应用于视频剪辑108的视频效果，以将动画对象附着到具有由视频效果参数定义的特定动画效果的一个或多个身体关节。视频效果参数被配置为控制哪个动画对象被添加到视频剪辑中的哪个附着点和/或哪个动画效果将被应用到动画对象。换句话说，视频效果参数定义动画对象正被附着到的一个或多个身体关节、如何选择一个或多个身体关节用于贯穿视频剪辑的视频效果应用、以及要被应用于动画对象的一个或多个动画效果。例如视频效果可以在整个视频剪辑中随机地应用于特定的身体关节组。替代地，可以将视频效果应用于特定序列(例如头到脚)中的视频剪辑。替代地，动画效果可以基于音乐的节拍强度被应用于特定身体关节。例如如果音频音乐具有4/4节拍结构，则骨盆可被分配到强节拍(例如图3A)，右大腿和左大腿可被分配到弱节拍(例如图3B)，并且右脚和左脚可被分配到第二强节拍(例如图3C)。替代地，动画效果可基于频谱范围来确定。例如骨盆可以被分配到高频谱范围(例如4kHz－20Hz)，右大腿和左大腿可以被分配到中频谱范围(例如500Hz－4kHz)，并且右脚和左脚可以被分配到低频谱范围(例如20Hz－500Hz)。换句话说，音频音乐的节拍或频谱可以控制动画被附着到视频剪辑的位置。
此外，音频音乐的音乐特性还可以控制要应用于动画对象的一个或多个动画效果。例如动画效果可包括辉光效果，在这种情况下，视频效果参数可控制从动画对象发出的辉光的颜色和/或强度。因此，计算设备104可以基于节拍特性来确定动画效果的辉光颜色和/或强度。例如如果音频音乐具有4/4节拍结构，则可以将高辉光强度分配给强节拍，可以将低辉光强度分配给弱节拍，并且可以将中等辉光强度分配给第二强节拍。
替代地，可基于频谱范围来确定动画效果的发光颜色和/或强度。例如可以将高辉光强度分配给高光谱范围(例如4kHz－20Hz)，可以将中等辉光强度分配给中等光谱范围(例如500Hz－4kHz)，并且可以将低辉光强度分配给低光谱范围(例如20Hz－500Hz)。
附加地或备选地，可以基于节拍特性或频谱范围来控制动画效果的动画速度。例如可以将快速动画速度分配给强节拍和/或高频谱范围，可以将中等动画速度分配给第二强节拍和/或中频谱范围，并且可以将低动画速度分配给弱节拍和/或低频谱范围。
一旦视频效果准备好被添加到视频剪辑，计算设备104就可修改动画序列以将动画对象的二维(2D)纹理混合到围绕附着点的三维(3D)网格中。2D动画对象在3D网格上的分层和混合可以创建类似3D的动画效果。随后，计算设备104可将视频效果与音频音乐的音乐节拍同步以生成具有视频效果的绘制视频，该绘制视频可在显示器(例如显示器705)上被呈现给用户，该显示器通信地耦合到计算设备104。应当理解，视频效果可以实时地或接近实时地与音乐节拍同步，以允许用户在用户拍摄视频时观看显示器上一个或多个身体关节周围的视频效果。备选地或附加地，服务器106可以将视频效果与音乐节拍同步。在这些方面中，一旦将视频剪辑108上载到服务器106以绘制视频效果，就可将视频效果应用于视频剪辑108。
现在参考图2，描述了根据本公开的示例的计算设备202。计算设备202可以与先前在图1中描述的计算设备104相同或相似。计算设备202可以包括通信接口204、处理器206和计算机可读存储装置208。在示例中，通信接口204可以耦合到网络并接收视频剪辑108和音频音乐110(图1)。视频剪辑108(图1)可被存储为视频帧246，而音乐110可被存储为音频数据248。
在一些示例中，一个或多个视频效果还可以在通信接口204处被接收，并被存储为视频效果数据252。视频效果数据252可包括与视频效果相关联的一个或多个视频效果参数。视频效果参数可以定义但不限于要添加到视频剪辑的一个或多个动画对象、动画对象要附加到的视频剪辑中的一个或多个附着点、以及要应用到每个动画对象的一个或多个动画效果。
在示例中，计算设备104可以提供一个或多个应用程序210。一个或多个应用程序210可包括视频处理模块212、音频处理模块214、视频效果模块216和着色器218。视频处理模块212可以包括视频获取管理器224和身体接合识别器226。视频获取管理器224被配置为接收、获取或以其它方式获得包括一个或多个视频帧的视频数据。附加地，身体关节识别器226被配置为识别帧中的一个或多个目标对象的一个或多个身体关节。在说明性方面，目标对象是人。例如身体分割算法可以定义要从视频剪辑108中识别和提取的身体关节的列表。身体关节可包括但不限于头部、颈部、骨盆、脊柱、右/左肩、右/左上臂、右/左前臂、右/左手、右/左大腿、右/左腿、右/左脚和右/左脚趾。在一些示例中，身体关节的列表可以在通信接口204处被接收并被存储为身体关节250。在一些方面，可以从服务器(例如106)接收身体关节的列表。
另外，音频处理模块214可包括音频获取管理器232和音频分析器234。音频获取管理器232被配置为接收、获取或以其它方式获得音频数据。音频分析器234被配置为确定音频数据的音频信息。例如音频信息可以包括但不限于音频数据的每个节拍的节拍信息和频谱信息。作为示例，可以使用自动节拍跟踪算法来确定节拍信息。在一些方面，节拍信息可以已经作为元数据嵌入在音频数据中。在其他方面，节拍信息可以在通信接口204处被接收并被存储为音频数据248。节拍信息提供每个节拍的节拍特性。节拍特性包括但不限于节拍结构、强和弱节拍的重复序列、重音和无重音的节拍的数量以及重音和无重音的节拍的相对位置。例如如果音频音乐具有4/4节拍结构，则每个部分具有不同节拍强度的四个节拍：强节拍、弱节拍、第二强节拍、弱节拍。另外，可以在每个预定时间段(例如每个节拍)从音频数据中提取频谱信息。在一些方面中，频谱信息可能已经作为元数据嵌入在音频数据中。在其它方面中，频谱信息可在通信接口204处被接收并被存储为音频数据248。
此外，视频效果模块216还可包括动画确定器238和视频效果同步器240。动画确定器238被配置为基于音频数据来确定要应用于视频数据的视频效果。具体地，动画确定器238被配置为确定一个或多个视频效果参数。例如动画确定器238被配置为确定要添加到视频剪辑的一个或多个动画对象以及每个动画对象的一个或多个附着点。应当理解，动画对象可以包括多个视觉元素并且具有在视频剪辑中定义的多个附着点。在说明性方面中，目标附着点是在视频剪辑中出现和/或被跟踪的目标主体的身体关节。
附加地，如下面进一步描述的，动画确定器238还被配置为确定要应用于每个动画对象的一个或多个动画效果。在说明性方面中，动画效果可随每次节拍而改变。换句话说，所选音频音乐的节拍可以控制一个或多个身体关节上的视频效果的视觉变化。例如动画效果可包括辉光效果，在这种情况下，动画确定器238可确定从动画对象发出的辉光的颜色和/或强度。在一些方面，辉光的颜色和/或强度可以取决于正被添加到视频剪辑的音频音乐。
动画确定器238还可确定动画对象适于附着到的视频剪辑中的一个或多个附连点(例如身体关节)。在一些方面中，动画确定器238可确定视频效果将在整个视频剪辑中随机地应用于特定的身体关节组。备选地，动画确定器238可确定视频效果将以特定序列(例如从上到下)应用于视频剪辑。替代地，动画确定器238可基于音乐的节拍强度来确定要将视频效果应用于特定身体关节。例如如果音频音乐具有4/4节拍结构，则骨盆可被分配到强节拍(例如图3A)，右大腿和左大腿可被分配到弱节拍(例如图3B)，并且右脚和左脚可被分配到第二强节拍(例如图3C)。备选地，可基于频谱范围来确定附着点。例如骨盆可以被分配到高频谱范围(例如4kHz－20Hz)，右大腿和左大腿可以被分配到中频谱范围(例如500Hz－4kHz)，并且右脚和左脚可以被分配到低频谱范围(例如20Hz－500Hz)。换句话说，音频音乐的节拍或频谱可以控制动画被附加到视频剪辑的特定身体关节。
视频效果同步器240被配置为将视频效果与选定音频音乐的音乐节拍同步以生成具有视频效果的经绘制的视频。在一些方面中，视频效果同步器240被配置为修改动画序列以在围绕附着点的3D网格中混合动画对象的2D纹理。应当理解，2D动画对象在3D网格上的分层和混合可以创建类似3D的动画效果。
视频效果同步器240包括着色器218或以其它方式与着色器218通信。着色器218被配置为接收视频效果参数。基于视频效果参数，着色器218被配置为生成或以其它方式致使所述效果被绘制。举例来说，着色器218可改变与视频效果相关联的视觉效果，所述视觉效果可包括但不限于生成模糊、光晕(例如辉光)、照明(例如阴影、高光和半透明)、凹凸贴图和失真。
图3A－3C示出了根据本公开的示例的具有视频效果同步的视频剪辑的示例性视频帧310、320、330。在说明性示例中，示出了附着到不同附着点304的动画302(例如动画对象)。
在示例中，在接收到要添加到视频剪辑的音频数据时，可以针对每个预定时间段(例如音乐节拍)确定音频数据的音频信息(例如节拍特性和/或频谱)。基于音频信息，可确定动画302的一个或多个附着点304。例如如果音频音乐具有4/4节拍结构，则可以将骨盆分配给强节拍(例如图3A)，可以将右大腿和左大腿分配给弱节拍(例如图3B)，并且可以将右脚和左脚分配给第二强节拍(例如图3C)。在这样的实施例中，动画302以如图3A所示的在强节拍附着到骨盆，以如图3B所示的在弱节拍附着到右和左大腿，并且以如图3C所示的在第二强节拍附着到右和左脚。
替代地，动画效果可基于频谱范围来确定。例如骨盆可以被分配到高频谱范围(例如4kHz－20Hz)，右大腿和左大腿可以被分配到中频谱范围(例如500Hz－4kHz)，并且右脚和左脚可以被分配到低频谱范围(例如20Hz－500Hz)。换句话说，音频音乐的节拍或频谱控制动画被附接到视频剪辑的特定身体关节。
现在参考图4，描述了根据本公开的示例的用于基于音频数据将一个或多个视频效果绘制给视频数据的简化方法。方法400的步骤的一般顺序在图4中示出。通常，方法400开始于402并结束于460。方法400可以包括更多或更少的步骤，或者可以与图4所示的步骤不同地安排步骤的顺序。方法400可以作为由计算机系统执行并被编码或存储在计算机可读介质上的一组计算机可执行指令来执行。在说明性方面中，方法400由与用户(例如102)相关联的计算设备执行。然而，应当理解，方法400的各方面可以由诸如计算机或服务器(例如104、106)的一个或多个处理设备来执行。此外，方法400可由与处理器相关联的门或电路、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、片上系统(SOC)、神经处理单元或其它硬件设备来执行。在下文中，将参考结合图1和2描述的系统、组件、模块、软件、数据结构、用户界面等来解释方法400。
方法400开始于402，其中流程可以前进到404。在404，计算设备接收包括一个或多个视频帧的视频数据(例如视频剪辑108)。例如用户102可以经由计算设备生成、接收、获取或以其他方式获得视频剪辑108。在408，计算设备处理视频数据的每个帧以识别该帧中的一个或多个目标对象的身体关节。例如身体关节算法可以定义要从视频剪辑108中识别和提取的身体关节的列表。身体关节可包括但不限于头部、颈部、骨盆、脊柱、右/左肩、右/左上臂、右/左前臂、右/左手、右/左大腿、右/左腿、右/左脚和右/左脚趾。
回到开始402，方法400可以前进到412。应当理解，计算设备可以同时执行操作404和412。替代地，操作412可以在操作404之后执行。在一些方面中，操作404可在操作412之后执行。
在412，计算设备接收由用户102选择的要添加到视频数据的音频数据(例如音频音乐110)。随后，在416，计算设备分析音频数据以确定音频音乐110的音频信息。例如音频信息包括每个节拍的节拍特性和/或频谱。在一些方面，计算设备可以通过自动节拍跟踪算法来确定每个节拍的节拍特性。节拍特性包括但不限于节拍结构、强和弱节拍的重复序列、重音和无重音的节拍的数量以及重音和无重音的节拍的相对位置。例如如果音频音乐110具有4/4节拍结构，则每个部分具有不同节拍强度的四个节拍：强节拍、弱节拍、第二强节拍、弱节拍。在其他方面，计算设备可以确定与特定频率范围(例如高范围、中范围和低范围)相关联的每个节拍的频率。
一旦在操作404－416中接收并分析了视频数据和音频数据，方法400进行到420。在420，计算设备确定要添加到视频数据的视频效果。例如用户可从视频效果库中选择视频效果以向视频剪辑添加动画。视频效果由控制哪个动画对象被添加到视频剪辑中的哪个附着点的视频效果参数来定义。应当理解，动画对象可以包括多个视觉元素并且在视频剪辑中具有多个附着点。另外，如下文进一步描述的，视频效果参数还控制要应用于动画对象的一个或多个动画效果。
在424处，计算设备基于在操作416中执行的音频数据分析来确定要添加到视频剪辑中的动画对象的一个或多个附着点。如上所述，动画附着点是在视频剪辑中出现和/或被跟踪的目标主体的身体关节。例如在428处，计算设备基于节拍特性将特定身体关节确定为动画附着点。例如如果音频音乐具有4/4节拍结构，则骨盆可被分配到强节拍(例如图3A)，右大腿和左大腿可被分配到弱节拍(例如图3B)，并且右脚和左脚可被分配到第二强节拍(例如图3C)。替代地，动画附着点可基于频谱范围来确定。例如骨盆可以被分配到高频谱范围(例如4kHz－20Hz)，右大腿和左大腿可以被分配到中频谱范围(例如500Hz－4kHz)，并且右脚和左脚可以被分配到低频谱范围(例如20Hz－500Hz)。换句话说，音频音乐的节拍或频谱控制动画被附加到视频剪辑的特定身体关节。
附加地，在432，计算设备在视频数据中的动画对象的一个或多个附着点中的每一个周围生成三维(3D)网格。如下面进一步描述的，3D网格用于将动画对象(例如二维(2D)动画对象)附着到对应的附着点。随后，方法400前进到图5中的436，如图4和5中的字母数字字符A所示。
在436处，计算设备基于在操作416中执行的音频数据分析来确定要应用于动画对象的一个或多个动画效果。例如动画效果可包括辉光效果，在这种情况下，视频效果参数可控制从动画对象发出的辉光的颜色和/或强度。因此，在440，计算设备可基于节拍特性来确定动画效果的辉光颜色和/或强度。例如如果音频音乐具有4/4节拍结构，则可以将高辉光强度分配给强节拍，可以将低辉光强度分配给弱节拍，并且可以将中等辉光强度分配给第二强节拍。
替代地，可基于频谱范围来确定动画效果的辉光颜色和/或强度。例如可以将高辉光强度分配给高光谱范围(例如4kHz－20Hz)，可以将中等辉光强度分配给中等光谱范围(例如500Hz－4kHz)，并且可以将低辉光强度分配给低光谱范围(例如20Hz－500Hz)。
附加地或备选地，可以基于节拍特性和/或频谱范围来控制动画效果的动画速度。例如可以将快速动画速度分配给强节拍和/或高频谱范围，可以将中等动画速度分配给第二强节拍和/或中频谱范围，并且可以将低动画速度分配给弱节拍和/或低频谱范围。
一旦确定了动画对象和对应的(多个)动画效果，方法400就前进到操作444。在444，计算设备将具有其(多个)对应动画效果的动画对象附着到视频帧中的一个或多个对应附着点。换言之，动画基于音频数据在整个视频剪辑中被附着到一个或多个目标身体关节。
随后，或同时，在448，计算设备修改动画序列以将动画对象的2D纹理混合在围绕附着点生成的3D网格中的。2D动画对象在3D网格上的分层和混合可以创建更类似3D的动画效果。
随后，在452，视频效果与所选择的音频音乐的音乐节拍或频谱同步，以生成具有视频效果的绘制视频。在456处，计算设备在显示器(例如显示器705)上将具有视频效果的所绘制的视频呈现给用户。应当理解，视频效果可以实时地或接近实时地与音乐节拍同步，以允许用户在用户拍摄视频时在显示器(例如显示器705)上观看一个或多个身体关节周围的视频效果。该方法可以在460结束。
应当理解，虽然方法400被描述为由与用户相关联的计算设备来执行，但是方法400的一个或多个操作可以由诸如服务器106等的任何计算设备或服务器来执行。例如视频效果与音乐节拍的同步可由服务器来执行，服务器从与用户相关联的计算设备接收音乐和视频剪辑。
图6是示出可以用来实践本公开的各方面的计算设备600的物理组件(例如硬件)的框图。下面描述的计算设备组件可适用于上述计算设备。例如计算设备600可以表示图1的计算设备104。在基本配置中，计算设备600可以包括至少一个处理单元602和系统存储器604。取决于计算设备的配置和类型，系统存储器604可包括但不限于易失性存储(例如随机存取存储器)、非易失性存储(例如只读存储器)、闪存或这些存储器的任何组合。
系统存储器604可包括操作系统605和适于执行本文所公开的各个方面的一个或多个程序模块606。操作系统605例如可适于控制计算设备600的操作。此外，本发明的各方面可结合图形库、其它操作系统或任何其它应用程序来实践，且不限于任何特定应用程序或系统。该基本配置在图6中由虚线608内的那些组件示出。计算设备600可以具有附加特征或功能。例如计算设备600还可以包括附加数据存储设备(可移动和/或不可移动)，例如磁盘、光盘或磁带。这种附加存储装置在图6中由可移动存储设备609和不可移动存储设备610示出。
如上所述，几个程序模块和数据文件可以存储在系统存储器604中。当在至少一个处理单元602上执行时，程序模块606可执行包括但不限于如本文所述的一个或多个方面的过程。应用620包括视频处理模块623、音频处理模块624、视频效果模块625和着色器模块626，如关于图1更详细地描述。可根据本公开的各方面使用的其它程序模块可包括电子邮件和联系人应用程序、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、绘图或计算机辅助应用等、和/或由本文所述的系统支持的一个或多个组件。
此外，本公开的各方面可以在包括分立电子元件的电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路、或包含电子元件或微处理器的单个芯片上实现。举例来说，本发明的各方面可经由芯片上系统(SOC)来实践，其中图6中所说明的组件中的每一者或多者可集成到单个集成电路上。这样的SOC设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能，所有这些都作为单个集成电路集成(或“烧录”)到芯片基板上。当经由SOC操作时，可经由与计算设备600的其它组件集成在单个集成电路(芯片)上的专用逻辑来操作本文中关于客户端切换协议的能力所描述的功能性。本发明的方面还可使用能够执行逻辑操作(例如AND、OR及NOT)的其它技术来实践，所述技术包含但不限于机械、光学、流体及量子技术。另外，本发明的各方面可在通用计算机内或在任何其它电路或系统中实践。
计算设备600还可以具有一个或多个输入设备612，诸如键盘、鼠标、笔、声音或语音输入设备、触摸或滑动输入设备等。还可以包括(多个)输出设备614A，诸如显示器、扬声器、打印机等。还可以包括对应于虚拟显示器的输出614B。上述设备是示例并且可以使用其他设备。计算设备600可包括允许与其它计算设备450通信的一个或多个通信连接616。合适的通信连接616的示例包括但不限于射频(RF)发射机、接收机和/或收发机电路；通用串行总线(USB)、并行和/或串行端口。
这里使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构或程序模块等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。系统存储器604、可移动存储设备609和不可移动存储设备610都是计算机存储介质示例(例如存储器存储)。计算机存储介质可包括RAM、ROM、电可擦除只读存储器(EEPROM)、闪存或其它存储器技术、CD－ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁存储设备、或可用于存储信息并可由计算设备600访问的任何其它制品。任何这样的计算机存储介质可以是计算设备600的一部分。计算机存储介质不包括载波或其它传播的或调制的数据信号。
通信介质可以由计算机可读指令、数据结构、程序模块或诸如载波或其它传输机制等已调制数据信号中的其它数据来实现，并且包括任何信息传递介质。术语“已调制数据信号”可以描述具有以在信号中编码信息的方式设置或改变的一个或多个特性的信号。作为示例而非限制，通信介质可包括诸如有线网络或直接线连接的有线介质、以及诸如声学、射频(RF)、红外和其它无线介质的无线介质。
图7A和7B示出了计算设备或移动计算设备700，例如移动电话、智能电话、可穿戴计算机(诸如智能手表)、平板计算机、膝上型计算机、智能家居设备等、利用其可以实践本公开的各方面。参考图7A，示出了用于实现这些方面的移动计算设备700的一个方面。在基本配置中，移动计算设备700是具有输入元件和输出元件两者的手持计算机。移动计算设备700通常包括显示器705和允许用户将信息输入到移动计算设备700中的一个或多个输入按钮709/710。移动计算设备700的显示器705还可用作输入设备(例如触摸屏显示器)。如果包括，可选的侧面输入元件715允许进一步的用户输入。侧面输入元件715可以是旋转开关、按钮或任何其它类型的手动输入元件。在替代方面，移动计算设备700可以集成更多或更少的输入元件。例如在某些方面，显示器705可以不是触摸屏。在又一替代方面中，移动计算设备700是便携式电话系统，诸如蜂窝式电话。移动计算设备700还可以包括可选的小键盘735。可选的键盘735可以是在触摸屏显示器上产生的物理键盘或“软”键盘。在各个方面，输出元件包括用于示出图形用户界面(GUI)的显示器705、视觉指示器731(例如发光二极管)和/或音频换能器725(例如扬声器)。在一些方面，移动计算设备700包括用于向用户提供触觉反馈的振动换能器。在又一方面，移动计算设备700集成用于向外部源发送信号或从外部源接收信号的输入和/或输出端口730，诸如音频输入(例如麦克风插孔)、音频输出(例如耳机插孔)和视频输出(例如HDMI端口)。
图7B是示出计算设备、服务器或移动计算设备的一个方面的架构的框图。即，移动计算设备700可以结合系统(602)(例如架构)来实现某些方面。系统702可以实现为能够运行一个或多个应用(例如浏览器、电子邮件、日历、联系人管理器、消息收发客户端、游戏和媒体客户端/播放器)的“智能电话”。在一些方面中，系统702集成为计算设备，例如集成的个人数字助理(PDA)和无线电话。
一个或多个应用程序766可被加载到存储器762中，并在操作系统764上运行或与操作系统764相关联地运行。应用程序的示例包括电话拨号器程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、因特网浏览器程序、消息程序和/或本文所述系统支持的一个或多个组件。系统702还包括存储器762内的非易失性存储区域768。非易失性存储区域768可用于存储在系统702断电时不应丢失的持久信息。应用程序766可使用信息并将其存储在非易失性存储区域768中，诸如电子邮件或由电子邮件应用程序使用的其它消息等。同步应用程序(未示出)也驻留在系统702上，并且被编程为与驻留在主机计算机上的对应同步应用程序交互，以保持存储在非易失性存储区域768中的信息与存储在主机计算机处的对应信息同步。应了解，其它应用程序可以被加载到存储器762中并在本文所述的移动计算设备700(例如视频处理模块623、音频处理模块624、视频效果模块625和着色器模块626等)上运行。
系统702具有电源770，其可以实现为一个或多个电池。电源770还可以包括外部电源，诸如AC适配器或对电池补充或再充电的供电对接托架。
系统702还可以包括执行发射和接收射频通信功能的无线电接口层772。无线接口层772经由通信载体或服务提供商促进系统702与“外部世界”之间的无线连接。去往和来自无线电接口层772的传输在操作系统764的控制下进行。换句话说，由无线电接口层772接收的通信可以经由操作系统764传播到应用程序766，反之亦然。
视觉指示器720可用于提供视觉通知，和/或音频接口774可用于通过音频换能器725产生可听通知。在所示的配置中，视觉指示器720是发光二极管(LED)，音频换能器725是扬声器。这些设备可以直接耦合到电源770，使得当被激活时，即使处理器760/761和其它组件可能关闭以节省电池功率，它们也保持在由通知机制指示的持续时间内。LED可以被编程为无限期地保持接通，直到用户采取行动来指示设备的通电状态。音频接口774用于向用户提供可听信号和从用户接收可听信号。例如除了耦合到音频换能器725之外，音频接口774还可以耦合到麦克风以接收可听输入，例如以便于电话对话。根据本发明的各方面，麦克风还可用作音频传感器以促进对通知的控制，如下文将描述。系统702还可以包括视频接口776，视频接口776使得车载照相机的操作能够记录静止图像、视频流等。
实现系统702的移动计算设备700可以具有附加特征或功能。例如移动计算设备700还可包括诸如磁盘、光盘或磁带等附加数据存储设备(可移动和/或不可移动)。这种附加存储在图7B中由非易失性存储区域768示出。
如上所述，由移动计算设备700生成或捕获并经由系统702存储的数据/信息可本地存储在移动计算设备700上，或者数据可存储在任何数量的存储介质上，该存储介质可由设备经由无线电接口层772或经由移动计算设备700和与移动计算设备700相关联的单独计算设备之间的有线连接来访问，例如诸如因特网等分布式计算网络中的服务器计算机。应当理解，这样的数据/信息可以经由无线接口层772或经由分布式计算网络经由移动计算设备700来访问。类似地，这样的数据/信息可以根据公知的数据/信息传送和存储设备(包括电子邮件和协作数据/信息共享系统)容易地在计算设备之间传送以供存储和使用。
图8示出用于处理在计算系统处从远程源接收的数据的系统的架构的一个方面，诸如个人计算机804、平板计算设备806或移动计算设备808，如上文所描述。在服务器设备802处显示的内容可以被存储在不同的通信信道或其他存储类型中。例如计算设备804、806、808可表示图1的计算设备104，而服务器设备802可表示图1的服务器106。
在一些方面中，服务器设备802可采用视频处理模块823、音频处理模块824和视频效果模块825中的一个或多个。服务器设备802可以通过网络812向和从诸如个人计算机804、平板计算设备806和/或移动计算设备808(例如智能电话)的客户端计算设备提供数据。作为示例，上述计算机系统可以体现在个人计算机804、平板计算设备806和/或移动计算设备808(例如智能电话)中。除接收可用于在图形产生系统处预处理或在接收计算系统处后处理的图形数据之外，计算设备的这些方面中的任一者可从存储设备816获得内容。内容存储器可以包括视频数据818、音频数据820和绘制的视频数据822。
图8示出了可执行本文所公开的一个或多个方面的示例性移动计算设备808。此外，本文所述的各方面和功能可在分布式系统(例如基于云的计算系统)上操作，其中应用功能、存储器、数据存储和检索以及各种处理功能可在诸如因特网或内联网等分布式计算网络上彼此远程地操作。各种类型的用户界面和信息可经由机载计算设备显示器或经由与一个或多个计算设备相关联的远程显示单元来显示。例如可以在投影各种用户界面和信息的墙面上显示和交互各种类型的用户界面和信息。与可实践本发明的各方面的众多计算系统的交互包括键击输入、触摸屏输入、语音或其它音频输入、手势输入等，其中相关联的计算设备配备有用于捕捉和解释用户手势以控制计算设备的功能的检测(例如相机)功能。
短语“至少一个”、“一个或多个”、“或”和“和/或”是开放式表达，其在操作中既是连接的又是分离的。例如每个表述“A、B和C中的至少一种”、“A、B或C中的至少一种”、“A、B和C中的一种或多种”、“A、B或C中的一种或多种”、“A、B和/或C”和“A、B或C”是指单独的A、单独的B、单独的C、A和B一起、A和C一起、B和C一起、或A、B和C一起。
术语“一”或“一个”实体是指一个或多个该实体。因此，术语“一”(或“一个”)、“一个或多个”和“至少一个”在本文中可互换使用。还应注意，术语“包含”、“包括”和“具有”可以互换使用。
如本文所用，术语“自动”及其变形是指任何过程或操作，其通常是连续或半连续的，当执行所述过程或操作时在没有材料人工输入的情况下进行。然而，如果在执行过程或操作之前接收到输入，则过程或操作可以是自动的，即使过程或操作的执行使用物质或非物质人类输入。如果人类输入影响如何执行过程或操作，则认为该输入是重要的。同意过程或操作的执行的人类输入不被认为是“重要的”。
本文讨论的任何步骤、功能和操作可以连续地和自动地执行。
已经关于计算设备描述了本公开的示例性系统和方法。然而，为了避免不必要地模糊本公开，前面的描述省略了几个已知的结构和设备。该省略不应被解释为限制。阐述具体细节以提供对本公开的理解。然而，应了解，本发明可以除本文所阐述的特定细节以外的各种方式实践。
此外，虽然本文所示的示例性方面示出了所配置的系统的各种组件，但是该系统的某些组件可以位于远程、诸如LAN和/或因特网的分布式网络的远程部分、或者在专用系统内。因此，应了解，系统的组件可组合成一个或多个设备，诸如服务器、通信设备、或并置在分布式网络的特定节点上，诸如模拟和/或数字电信网络、包交换网络或电路交换网络。从前面的描述可以理解，并且出于计算效率的原因，系统的组件可以被安排在组件的分布式网络内的任何位置而不影响系统的操作。
此外，应当理解，连接元件的各种链路可以是有线或无线链路、或其任何组合、或能够向所连接的元件提供数据和/或从所连接的元件传送数据的任何其他已知或以后开发的元件。这些有线或无线链路也可以是安全链路，并且能够传送加密信息。例如用作链路的传输介质可以是用于电信号的任何合适的载体，包括同轴电缆、铜线和光纤，并且可以采用声波或光波的形式，诸如在无线电波和红外数据通信期间产生的声波或光波。
虽然已经关于特定的事件序列讨论和示出了流程图，但是应当理解，在不实质上影响所公开的配置和方面的操作的情况下，可以对该序列进行改变、添加和省略。
可以使用本公开的若干变化和修改。可以提供本公开的一些特征而不提供其他特征。
在又一配置中，本发明的系统和方法可结合专用计算机、经编程微处理器或微控制器和外围集成电路元件、ASIC或其它集成电路、数字信号处理器、诸如离散元件电路的硬连线电子或逻辑电路、诸如PLD、PLA、FPGA、PAL的可编程逻辑设备或门阵列、专用计算机、任何可比设备等来实施。一般来说，能够实施本文所说明的方法的任何设备或构件可用于实施本发明的各个方面。可用于本公开的示例性硬件包括计算机、手持设备、电话(例如蜂窝、因特网使能的、数字、模拟、混合等)、以及本领域已知的其它硬件。这些设备中的一些包括处理器(例如单个或多个微处理器)、存储器、非易失性存储器、输入设备和输出设备。此外，本文所述的方法还可以构建包括但不限于分布式处理或组件/对象分布式处理、并行处理或虚拟机处理的备选软件实现来实现。
在又一配置中，所公开的方法可结合使用提供可在各种计算机或工作站平台上使用的便携式源代码的对象或面向对象的软件开发环境的软件来容易地实现。替代地，所公开的系统可以使用标准逻辑电路或VLSI设计在硬件中部分地或全部地实现。是否使用软件或硬件来实现根据本公开的系统取决于系统的速度和/或效率要求、特定功能以及所使用的特定软件或硬件系统或微处理器或微计算机系统。
在又一配置中，所公开的方法可以部分地以软件来实现，该软件可以存储在存储介质上、在与控制器和存储器协作的编程的通用计算机、专用计算机、微处理器等上执行。在这些情况下，本公开的系统和方法可以实现为嵌入在个人计算机上的诸如小应用程序、或CGI脚本的程序、驻留在服务器或计算机工作站上的资源、嵌入在专用测量体系、体系组件等中的例程。该系统还可以通过将该系统和/或方法物理地结合到软件和/或硬件系统中来实现。
本公开不限于所描述的标准和协议。在此未提及的其他类似标准和协议是存在的并且包括在本公开中。此外，本文提及的标准和协议以及本文未提及的其它类似标准和协议被具有基本相同功能的更快或更有效的等同物周期性地取代。这种具有相同功能的替换标准和协议被认为是包括在本公开中的等同物。
在各种配置和方面中，本公开包括大体上如本文所描绘和描述的组件、方法、过程、系统和/或设备，包括其各种组合、子组合和子组。在理解本公开之后，本领域技术人员将理解如何制造和使用本文公开的系统和方法。在各种配置和方面中，本公开包括在不存在本文中未描绘和/或描述的项目的情况下或在本文的各种配置或方面中提供设备和过程，包括在不存在先前设备或过程中可能已使用的此类项目的情况下，例如用于改进性能、实现简易性和/或降低实施成本。
(A1)在一个方面，一些示例包括用于向显示器绘制视频效果的方法。所述方法包含：获得视频数据和音频数据；分析所述视频数据以确定出现在所述视频数据中的目标对象的一个或多个附着点；分析所述音频数据以确定音频特性；基于所述音频特性来确定与要添加到所述一个或多个附着点的动画相关联的视频效果；以及通过将所述视频效果应用于所述视频数据来生成经绘制视频。
(A2)在A1的一些示例中，其中基于所述音频特性来确定与要添加到所述一个或多个附着点的动画相关联的视频效果包括：确定要添加到所述一个或多个附着点的动画对象，确定所述动画对象要附着到的视频数据中的所述一个或多个附着点，以及基于所述音频特性来确定要应用于所述动画对象的一个或多个动画效果。
(A3)在A1－A2的一些示例中，其中所述一个或多个附着点选自出现所述视频数据中的目标对象的一个或多个身体点。
(A4)在A1到A3的一些示例中，其中确定所述视频数据中的所述一个或多个附着点包括基于所述音频特性来确定所述视频数据中的一个或多个附着点。
(A5)在A1－A4的一些示例中，该方法还包括生成围绕所述一个或多个附着点的三维(3D)网格，以及修改动画序列以将所述动画对象混合到围绕其中所述动画对象被附着的所述一个或多个附着点的对应3D网格中。
(A6)在A1－A5的一些示例中，其中音频特性包括每个节拍的节拍特性或每个节拍的频谱值。
(A7)在A1－A6的一些示例中，其中获得音频数据包括从音乐库中选择音频数据，并且其中所述音频特性作为元数据被嵌入在所述音频数据中。
在又一方面，一些示例包括一种计算系统，所述计算系统包括一个或多个处理器以及耦合到所述一个或多个处理器的存储器，所述存储器存储一个或多个指令，所述指令在由该一个或多个处理器执行时使得所述一个或多个处理器执行本文描述的任何方法(例如以上描述的A1－A7)。
在又一方面，一些示例包括非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储用于由存储设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行本文所述的任何方法(例如上述A1－A7)的指令。
(B1)在一个方面，一些示例包括用于向显示器绘制视频效果的计算设备。所述计算设备可包含处理器和其上存储有多个指令的存储器，所述指令在由所述处理器执行时致使所述计算设备获得视频数据和音频数据，分析所述视频数据以确定出现在所述视频数据中的目标对象的一个或多个附着点，分析所述音频数据以确定音频特性，基于所述音频特性来确定与要添加到所述一个或多个附着点的动画相关联的视频效果，以及通过将所述视频效果应用于所述视频数据来生成经绘制视频。
(B2)在B1的一些示例中，其中基于所述音频特性来确定与要添加到所述一个或多个附着点的动画相关联的视频效果包括：确定要添加到所述一个或多个附着点的动画对象，确定所述视频数据中的、其中所述动画对象要被附着到的所述一个或多个附着点，以及基于所述音频特性来确定要应用于所述动画对象的一个或多个动画效果。
(B3)在B1－B2的一些示例中，其中所述一个或多个附着点选自出现在视频数据中的目标对象的一个或多个身体点。
(B4)在B1到B3的一些示例中，其中确定视频数据中的一个或多个附着点包括基于所述音频特性来确定所述视频数据中的一个或多个附着点。
(B5)在B1－B4的一些示例中，所述多个指令在被执行时还使得所述计算设备生成围绕所述一个或多个附着点的三维(3D)网格，并修改动画序列以将所述动画对象混合到围绕其中所述动画对象被附着的所述一个或多个附着点的对应3D网格中。
(B6)在B1－B5的一些示例中，其中音频特性包括每个节拍的节拍特性或每个节拍的频谱值。
(B7)在B1－B6的一些示例中，其中获得音频数据包括从音乐库中选择音频数据，并且其中音频特性作为元数据被嵌入在音频数据中。
(C1)在一个方面，一些示例包括存储用于向显示器绘制视频效果的指令的非暂态计算机可读介质。所述指令在由计算设备的一个或多个处理器执行时致使所述计算设备获得视频数据和音频数据，分析所述视频数据以确定出现在所述视频数据中的目标对象的一个或多个附着点，分析所述音频数据以确定音频特性，基于所述音频特性来确定与要添加到所述一个或多个附着点的动画相关联的视频效果，且通过将所述视频效果应用于所述视频数据来生成经绘制视频。
(C2)在C1的一些示例中，其中基于所述音频特性来确定与要添加到所述一个或多个附着点的动画相关联的视频效果包括：确定要添加到所述一个或多个附着点的动画对象，确定视频数据中的所述动画对象要被附着到的所述一个或多个附着点，以及基于所述音频特性来确定要应用于所述动画对象的一个或多个动画效果。
(C3)在C1－C2的一些示例中，其中所述一个或多个附着点选自出现在视频数据中的目标对象的一个或多个身体点。
(C4)在C1到C3的一些示例中，其中确定视频数据中的一个或多个附着点包括基于音频特性来确定视频数据中的一个或多个附着点。
(C5)在C1－C4的一些示例中，所述指令在由所述一个或多个处理器执行时还使得所述计算设备生成围绕所述一个或多个附着点的三维(3D)网格，并修改动画序列以将所述动画对象混合到围绕其中所述动画对象被附着的所述一个或多个附着点的对应3D网格中。
(C6)在C1－C5的一些示例中，其中音频特性包括每个节拍的节拍特性或每个节拍的频谱值。
例如以上参考根据本公开的各方面的方法、系统和计算机程序产品的框图和/或操作图示来描述本公开的各方面。方框中指出的功能/动作可以不按任何流程图中所示的顺序发生。例如根据所涉及的功能/动作，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。
本申请中提供的一个或多个方面的描述和图示不旨在以任何方式限制或约束所要求保护的本公开的范围。本申请中提供的方面、示例和细节被认为足以传达所有权并使其他人能够制作和使用所要求保护的公开的最佳模式。所要求保护的公开不应被解释为限于本申请中提供的任何方面、示例或细节。不管是结合还是单独示出和描述，各种特征(结构和方法)都旨在被选择性地包括或省略以产生具有特定特征集的实施例。已经提供了本申请的描述和说明，本领域技术人员可以设想落入本申请中体现的总体发明构思的更宽方面的精神内但不脱离所要求保护的公开内容的更宽范围的变体、修改和替换方面。

Claims (20)

1.一种用于向显示器绘制视频效果的方法，所述方法包括：
获得视频数据和音频数据；
分析所述视频数据以确定出现在所述视频数据中的目标对象的一个或多个附着点；
分析所述音频数据以确定音频特性；
基于所述音频特性来确定与要被添加到所述一个或多个附着点的动画相关联的视频效果；以及
通过将所述视频效果应用于所述视频数据来生成经绘制视频。
2.根据权利要求1所述的方法，其中基于所述音频特性来确定与要被添加到所述一个或多个附着点的所述动画相关联的所述视频效果包括：
确定要被添加到所述一个或多个附着点的动画对象；
确定所述视频数据中的、所述动画对象要被附着的所述一个或多个附着点；以及
基于所述音频特性来确定要被应用于所述动画对象的一个或多个动画效果。
3.根据权利要求1所述的方法，其中所述一个或多个附着点选自出现在所述视频数据中的所述目标对象的一个或多个身体点。
4.根据权利要求2所述的方法，其中确定所述视频数据中的所述一个或多个附着点包括基于所述音频特性来确定所述视频数据中的一个或多个附着点。
5.根据权利要求2所述的方法，还包括：
生成围绕所述一个或多个附着点的三维(3D)网格；以及
修改动画序列以将所述动画对象混合在对应3D网格中，所述对应3D网格围绕所述动画对象被附着的所述一个或多个附着点。
6.根据权利要求1所述的方法，其中所述音频特性包括每个节拍的节拍特性或者针对每个节拍的频谱值。
7.根据权利要求1所述的方法，其中获得所述音频数据包括从音乐库中选择所述音频数据，并且其中所述音频特性作为元数据被嵌入在所述音频数据中。
8.一种用于向显示器绘制视频效果的计算设备，所述计算设备包括：
一个处理器；以及
存储器，具有存储在其上的多条指令，所述指令在由所述处理器执行时使所述计算设备：
获得视频数据和音频数据；
分析所述视频数据以确定出现在所述视频数据中的目标对象的一个或多个附着点；
分析所述音频数据以确定音频特性；
基于所述音频特性来确定与要被添加到所述一个或多个附着点的动画相关联的视频效果；以及
通过将所述视频效果应用于所述视频数据来生成经绘制视频。
9.根据权利要求8所述的计算设备，其中基于所述音频特性来确定与要被添加到所述一个或多个附着点的动画相关联的所述视频效果包括：
确定要被添加到所述一个或多个附着点的动画对象；
确定所述动画对象要被附着的所述视频数据中的所述一个或多个附着点；以及
基于所述音频特性来确定要被应用于所述动画对象的一个或多个动画效果。
10.根据权利要求8所述的计算设备，其中所述一个或多个附着点选自出现在所述视频数据中的所述目标对象的一个或多个身体点。
11.根据权利要求9所述的计算设备，其中确定所述视频数据中的所述一个或多个附着点包括基于所述音频特性来确定所述视频数据中的一个或多个附着点。
12.根据权利要求9所述的计算设备，其中所述多个指令在被执行时还使所述计算设备：
生成围绕所述一个或多个附着点的三维(3D)网格；以及
修改动画序列以将所述动画对象混合在对应3D网格中，所述对应3D网格围绕所述动画对象被附着的所述一个或多个附着点。
13.根据权利要求8所述的计算设备，其中所述音频特性包括每个节拍的节拍特性或者针对每个节拍的频谱值。
14.根据权利要求8所述的计算设备，其中获得所述音频数据包括从音乐库中选择所述音频数据，并且其中所述音频特性作为元数据被嵌入在所述音频数据中。
15.一种非暂态计算机可读介质，所述非暂态计算机可读介质存储用于向显示器绘制视频效果的指令，所述指令在由计算设备的一个或多个处理器执行时使所述计算设备：
获得视频数据和音频数据；
分析所述视频数据以确定出现在所述视频数据中的目标对象的一个或多个附着点；
分析所述音频数据以确定音频特性；
基于所述音频特性来确定与要被添加到所述一个或多个附着点的动画相关联的视频效果；以及
通过将所述视频效果应用于所述视频数据来生成经绘制视频。
16.根据权利要求15所述的非暂态计算机可读介质，其中基于所述音频特性确定与要被添加到所述一个或多个附着点的动画相关联的视频效果包含：
确定要被添加到所述一个或多个附着点的动画对象；
确定所述视频数据中的、所述动画对象要被附着的所述一个或多个附着点；以及
基于所述音频特性来确定要被应用于所述动画对象的一个或多个动画效果。
17.根据权利要求15所述的非暂态计算机可读介质，其中所述一个或多个附着点选自出现在所述视频数据中的所述目标对象的一个或多个身体点。
18.根据权利要求16所述的非暂态计算机可读介质，其中确定所述视频数据中的所述一个或多个附着点包括基于所述音频特性来确定所述视频数据中的一个或多个附着点。
19.根据权利要求16的非暂态计算机可读介质，其中所述指令在由所述一个或多个处理器执行时还使所述计算设备：
生成围绕所述一个或多个附着点的三维(3D)网格；以及
修改动画序列以将所述动画对象混合在对应3D网格中，所述对应3D网格围绕所述动画对象被附着的所述一个或多个附着点。
20.根据权利要求15所述的非暂态计算机可读介质，其中所述音频特性包括每个节拍的节拍特性或者针对每个节拍的频谱值。
CN202280008671.5A 2021-06-21 2022-05-10 基于音频特性的动画效果附着 Pending CN116803085A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/353,455 US11521341B1 (en) 2021-06-21 2021-06-21 Animation effect attachment based on audio characteristics
US17/353,455 2021-06-21
PCT/SG2022/050302 WO2022271088A1 (en) 2021-06-21 2022-05-10 Animation effect attachment based on audio characteristics

Publications (1)

Publication Number Publication Date
CN116803085A true CN116803085A (zh) 2023-09-22

Family

ID=84325023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280008671.5A Pending CN116803085A (zh) 2021-06-21 2022-05-10 基于音频特性的动画效果附着

Country Status (5)

Country Link
US (1) US11521341B1 (zh)
EP (1) EP4260287A4 (zh)
JP (1) JP2024504984A (zh)
CN (1) CN116803085A (zh)
WO (1) WO2022271088A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230410396A1 (en) * 2022-06-17 2023-12-21 Lemon Inc. Audio or visual input interacting with video creation
CN115797851B (zh) * 2023-02-09 2023-05-05 安徽米娱科技有限公司 一种动漫视频处理方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9875080B2 (en) 2014-07-17 2018-01-23 Nokia Technologies Oy Method and apparatus for an interactive user interface
CN108769535B (zh) 2018-07-04 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN112034984B (zh) 2020-08-31 2024-05-28 北京字节跳动网络技术有限公司 一种虚拟模型处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2022271088A9 (en) 2023-04-13
US11521341B1 (en) 2022-12-06
JP2024504984A (ja) 2024-02-02
WO2022271088A1 (en) 2022-12-29
EP4260287A1 (en) 2023-10-18
EP4260287A4 (en) 2024-05-29

Similar Documents

Publication Publication Date Title
CN116803085A (zh) 基于音频特性的动画效果附着
JP7342062B2 (ja) 画像処理方法、装置、電子機器及び記憶媒体
CN111476871A (zh) 用于生成视频的方法和装置
US20210004599A1 (en) Real time object surface identification for augmented reality environments
WO2022271089A1 (en) Spectrum algorithm with trail renderer
CN115244495A (zh) 针对虚拟环境运动的实时式样
US11741650B2 (en) Advanced electronic messaging utilizing animatable 3D models
CN117242496A (zh) 基于音频特性绘制虚拟衣服
CN117280383A (zh) 分割轮廓与节拍同步
US11830106B2 (en) Procedural pattern generation for layered two-dimensional augmented reality effects
WO2023132797A2 (en) Texture shader generation
WO2022213030A1 (en) Neural networks accompaniment extraction from songs
CN114529649A (zh) 图像处理方法和装置
US11830115B2 (en) Dynamic 3D eyelash attachment
US20240013450A1 (en) Mobile AR Prototyping for Proxemic and Gestural Interactions with Real-world IoT Enhanced Spaces
US11972534B2 (en) Modifying materials of three-dimensional digital scenes utilizing a visual neural network
US11893204B2 (en) Context cards for media supplementation
US20240185512A1 (en) 3d wrist tracking
WO2023063878A2 (en) System and method for dynamic profile photos
CN117461301A (zh) 用于动画表情符号记录和回放的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination