CN107329980A - 一种基于音频的实时联动显示方法及存储设备 - Google Patents

一种基于音频的实时联动显示方法及存储设备 Download PDF

Info

Publication number
CN107329980A
CN107329980A CN201710398985.1A CN201710398985A CN107329980A CN 107329980 A CN107329980 A CN 107329980A CN 201710398985 A CN201710398985 A CN 201710398985A CN 107329980 A CN107329980 A CN 107329980A
Authority
CN
China
Prior art keywords
voice data
feature
dynamic elements
real time
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710398985.1A
Other languages
English (en)
Other versions
CN107329980B (zh
Inventor
方鸿亮
冯皓
王子亮
林鎏娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Star Net eVideo Information Systems Co Ltd
Original Assignee
Fujian Star Net eVideo Information Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Star Net eVideo Information Systems Co Ltd filed Critical Fujian Star Net eVideo Information Systems Co Ltd
Priority to CN201710398985.1A priority Critical patent/CN107329980B/zh
Publication of CN107329980A publication Critical patent/CN107329980A/zh
Application granted granted Critical
Publication of CN107329980B publication Critical patent/CN107329980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/64—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于音频的实时联动显示方法及存储设备，该基于音频的实时联动显示方法包括：预设或实时生成包含有3D动态元素的显示场景；实时获取输入的音频数据，并提取音频数据的特征；根据音频数据的特征实时调整显示场景中3D动态元素的属性参数，并实时对3D动态元素进行更新显示。本技术方案在显示场景中预设3D动态元素，使3D动态元素的属性与音频数据的特征关联，根据音频数据的特征实时调整3D动态元素的属性参数，从而在原有显示场景的表现基础上，形成酷炫的声音随动场景，使显示场景与音频数据结合更加协调，大大改善了显示场景的视觉效果和用户的体验感。

Description

一种基于音频的实时联动显示方法及存储设备
技术领域
本发明涉及多媒体技术领域，特别是涉及一种的基于音频的实时联动显示方法及存储设备。
背景技术
数字视听娱乐是指以视频、音响、灯光等基于数字技术实现的娱乐产品，例如KTV就是一个被大众所熟知的数字娱乐产品。在KTV包厢中主要包括有点歌系统和音响系统等，音响系统在播放点播歌曲的同时，通过点歌系统的电视端播放与歌曲对应的视频。
在现有的KTV场所中，用户在K歌的时候大部分注意力都集中在视频播放的电视端，因而电视端的内容很大程度上影响了K歌的体验。而传统的KTV点歌系统的电视端往往只进行歌曲自带MV的全屏播放，所播放的MV都是预先录制的，虽然歌曲的MV能够在一定程度上表达歌曲的情感、意境等内容，但所表现的内容带是很有限的，并且每次播放的视频内容都是固定不变的，显得很单调。
在其它数字视听场景中，也存在音频表现力度有限的问题，例如酒吧等，仅仅靠音乐还不够带动全部气氛，需要视频等显示设备辅助带动气氛。
发明内容
为此，需要提供一种基于音频的实时联动显示方法，用于改善数字视听场所中电视端的视频显示效果，解决现有技术中数字娱乐产品中与音频数据一同播放的视频内容的表现力不足的技术问题。本发明还提供了一种存储设备。
为实现上述目的，发明人提供了一种基于音频的实时联动显示方法，包括以下步骤：
预设或实时生成包含有3D动态元素的显示场景；
实时获取输入的音频数据，并提取音频数据的特征；其中，至少一个所述3D动态元素的属性与音频数据的特征关联；
根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数，并对3D动态元素进行更新显示。
进一步的，所述“实时生成包含有3D动态元素的显示场景”包括以下步骤：
在检测到音频数据输入时，在3D空间中实时生成3D动态元素；以及
根据3D动态元素自带的动态属性，实时更新3D动态元素显示效果，所述动态属性包括生命周期、亮度值和移动轨迹。
进一步的，所述“所述3D动态元素的属性与音频数据的特征关联”包括：
将音频数据的连续特征与3D动态元素的连续属性关联，将音频数据的非连续特征与3D动态元素的非连续属性关联；
所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”包括：
根据音频数据的连续特征实时调整3D动态元素的连续属性参数，根据音频数据的非连续特征实时调整3D动态元素的非连续属性参数。
进一步的，所述步骤“提取音频数据的特征”包括：
计算左声道和右声道的能量值；
所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”包括：
根据所述左声道与右声道的能量值之和，实时调整3D动态元素的大小。
进一步的，所述步骤“提取音频数据的特征”包括：
对所述音频数据进行傅里叶变换，得到频域数组；
分析所述频域数组内高频、中频、低频不同频段数组的能量值，得到能量值大于预设阈值的重音频段；
分析所述频域数组内所包含的不同乐器频段的数据量，得到数据量大于预设阈值的乐器频段；
根据所述重音频段和乐器频段，得到音频数据中对应的重音特征和乐器特征；
在所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”之后还包括：
在所述音频数据中提取到重音特征时，则在显示场景中触发粒子特效；
在所述音频数据中提取到乐器特征时，则根据音频数据中对应乐器的节奏在显示场景中触发全屏特效，所述全屏特效包括水波纹特效和裂屏特效。
进一步的，所述全屏特效的实现包括以下步骤：
通过3D引擎的摄像机对象提供的回调方法，获取所述摄像机对象预输出画面的纹理；
将所述纹理与能实现水波纹特效、裂屏特效的shader程序绑定到同一个材质球上，并利用GPU进行快速纹理转换，获取带特效的纹理；以及
将所述带特效的纹理返回给所述摄像机对象输出。
为解决上述技术问题，发明人还提供了另一技术方案：
一种存储设备，其中存储有指令集，所述指令集用于执行：
预设或实时生成包含有3D动态元素的显示场景，；
实时获取输入的音频数据，并提取音频数据的特征；其中，至少一个所述3D动态元素的属性与音频数据的特征关联；
根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数，并对3D动态元素进行更新显示。
进一步的，所述“实时生成包含有3D动态元素的显示场景”包括用于执行以下指令：
在检测到音频数据输入时，在3D空间中实时生成3D动态元素；以及
根据3D动态元素自带的动态属性，实时更新3D动态元素显示效果，所述动态属性包括生命周期、亮度值和移动轨迹。
进一步的，所述“所述3D动态元素的属性与音频数据的特征关联”包括用于执行以下指令：
将音频数据的连续特征与3D动态元素的连续属性关联，将音频数据的非连续特征与3D动态元素的非连续属性关联；
所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”包括：
根据音频数据的连续特征实时调整3D动态元素的连续属性参数，根据音频数据的非连续特征实时调整3D动态元素的非连续属性参数。
进一步的，所述“提取音频数据的特征”包括用于执行以下指令：
计算左声道和右声道的能量值；
所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”包括由处理器加载并执行：
根据所述左声道与右声道的能量值之和，实时调整3D动态元素的大小。
进一步的，所述“提取音频数据的特征”包括用于执行以下指令：
对所述音频数据进行傅里叶变换，得到频域数组；
分析所述频域数组内高频、中频、低频不同频段数组的能量值，得到能量值大于预设阈值的重音频段；
分析所述频域数组内所包含的不同乐器频段的数据量，得到数据量大于预设阈值的乐器频段；
根据所述重音频段和乐器频段，得到音频数据中对应的重音特征和乐器特征；
所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”包括：
在所述音频数据中提取到重音特征时，则在显示场景中触发粒子特效；以及在所述音频数据中提取到乐器特征时，则根据音频数据中对应乐器的节奏在显示场景中触发全屏特效，所述全屏特效包括水波纹特效和裂屏特效。
进一步的，所述全屏特效的实现包括用于执行以下指令：
通过3D引擎的摄像机对象提供的回调方法，获取所述摄像机对象计算出的输出画面的纹理；
将所述纹理与能实现水波纹特效、裂屏特效等效果的shader程序绑定到同一个材质球上，并利用GPU进行快速纹理转换，获取带特效的纹理；以及
将所述带特效的纹理返回给所述摄像机对象输出。
进一步的，所述存储设备应用于机顶盒或计算机中。
区别于现有技术，上述技术方案通过预设或实时生成包含有3D动态元素的显示场景，使3D动态元素的属性与音频数据的特征关联，并根据音频数据的特征实时调整3D动态元素的属性参数，从而实时更新3D动态元素的显示效果，在原有显示场景的表现基础上，可根据音频数据的能量值、乐器元素等特征，实时调整显示场景中3D动态元素的大小、位置等属性，形成酷炫的声音随动的显示场景，例如通过音频的重音在显示屏中展现音乐喷泉效果、或粒子特效等效果，使显示场景与音频数据结合更加协调，并且能够达到更强的气氛烘托效果，大大改善了显示场景的视觉效果，提高了用户的体验感。
附图说明
图1为具体实施方式基于音频的实时联动显示方法的流程图；
图2为音频数据的特征与3D动态元素的一映射方式；
图3为音频数据的特征与3D动态元素的另一映射方式；
图4为另一实施方式中基于音频的实时联动显示方法的流程图；
图5为具体实施方式基于音频的实时联动显示装置的示意图。
附图标记说明：
10、处理器；
20、存储设备；
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1至图5，本实施例提供了一种基于音频的实时联动显示方法。该互动显示方法可实现显示场景中的显示元素随音频数据进行互动，可广泛应用于KTV、演唱会等同时具有视频显示以及音频输入输出的应用场景。
如图1所示，为本实施例基于音频的实时联动显示方法的流程图，该基于音频的实时联动显示方法，包括以下步骤：
S101、预设或实时生成包含有3D动态元素的显示场景。
所述3D动态元素系指具有三维立体显示效果的显示元素，并且显示元素是动态变化的，即在时间轴的不同时刻可以以不同的形状或样式显示。3D动态元素的属性是指可改变3D动态元素显示效果的参数，包括3D动态元素的大小、位置和角度等。音频数据的特征包括有重音、鼓点、能量、频谱等。在设置显示场景时，将3D动态元素的属性与音频数据中的特征之间建立映射关系，使3D动态元素的属性能够根据音频数据中的特征的变化而变化。
所述显示场景是通过LED显示屏等显示终端进行显示，显示场景可以是在传统的2D场景中增加3D动态元素，也可以是通过3D引擎制作的3D场景。显示场景中除了包含有3D动态元素之外，还可包括MV、卡通、动漫等视频。所述3D场景系指通过3D引擎制作而成，并具有3D立体显示效果的显示场景。所述显示场景可预先设置好，也可在检测到音频数据时实时生成。
在预设好显示场景之后，进入步骤S102。
S102、实时获取输入的音频数据，并提取音频数据的特征，其中至少一个所述3D动态元素的属性与音频数据的特征关联。其中，在建立映射关系时，不同实施方式可以有多种不同的映射方式，如图2所示，其中一种映射关系为音频数据的一个特征对应3D动态元素的一个属性，例如音频数据的能量特征与3D动态元素的大小属性建立关系，使3D动态元素的大小随音频数据的能量变化而变化。在该映射方式中，还可同时建立多个属性与特征之间的一一对应的映射关系，例如还可同时建立音频数据的节奏特征与3D动态元素的位置属性映射关系，从而可使3D动态元素的多个不同属性随一一对应的音频数据的特征变化。
如图3所示，另一种映射方式为音频数据的一种特征同时映射3D动态元素的多个不同的属性，例如将音频数据的能量同时映射3D动态元素的大小和角度，使3D动态元素的大小和角度随音频数据的能量变化而变化。
在不同的实施方式中，所述音频数据可以有多种不同的来源。以KTV为例，所述音频数据为KTV点歌系统播放的伴奏音乐或背景音乐，除此之外，所述音频数据还可以为通过麦克风获取的演唱者的声音，或者所述音频数据为伴奏与演唱者的声音混音后的音频数据。在其它应用场景中，音频数据还可以是数字视听场所背景音乐的声音，或游戏的声音。
所提取的音频数据的特征包括有音频数据的重音、鼓点、能量、频谱等。其中，音频数据的能量可通过检测音响系统左右声道的实时能量值而得到；而通过统计一定时间内音响系统左右声道的能量值之和，可得到音频数据的能量值。
利用BlackmanHarris窗对音频数据进行傅里叶变换，可将时域的音频数据变换到频率域，得到音频的频谱数组，对频谱数组进行分析可以得到音频数据在频谱方面的特征。例如根据某一时刻频谱数组中不同频段的分布，可以得音频数据的重音特征；通过统计频域数组中的高频段、低频段、中频端的平均能量值，可获得三个频段的能量值，根据所述能量值的大小可得到该音频数据主要是分布于哪个频段，从而具有哪个频段的重音特征。在具体实施时，将所述能量值与预设的阈值进行比较，当能量值大于给定阈值时，则标记对应频段的重音特征。
而通过分析可得到不同乐器发音所分布的频段，且不同乐器的频段又是不同的，因此将所述频谱数组与不同乐器的频段进行对比，通过计算不同乐器的发音频段的能量，可得到该音频数据中主要包含有哪些乐器演。而当某一乐器的频段的能量值大于预设的阈值时，则标记该音频数据中具有明显的该乐器元素。
在提取音频数据的特征时，可同时提取多个不同的特征，例如重音、鼓点、能量、频谱等；对提取的连续特征(例如能量值和频谱特征)进行量化和归一化处理；若提取的是离散特征(例如重音、乐器特征等)则无需处理。在提取到音频数据的特征之后，进入步骤S103。
S103、根据所述音频数据的特征实时调整显示场景中3D动态元素的显示效果。其中，所述3D动态元素的显示效果可通过调整3D动态元素的属性参数来实现，一个3D动态元素同时包含有多个属性，例如3D动态元素可包含有大小、位置、角度、透明度等多个属性，而每个属性的参数大小则决定着3D动态元素对应的显示效果。
通过上述步骤S102可得到音频频数据的特征，所提取的特征还可进行量化处理和归一化处理，其中音频数据的特征作为3D动态元素的属性参数的调整因子，属性参数的大小与音频数据的特征之间存在一定的换算关系，该换算关系可以是简单的正比关系或反比关系，也可以是复杂的几何函数关系，因此当提取的音频数据的特征变化时，即可得到对应的属性参数，从而使3D动态元素的效果也随之变化。例如在步骤S102中，可以通过计算左声道和右声道的能量值，并根据所述左声道与右声道的能量值之和，实时调整3D动态元素的大小，当所计算得到的能量值越大，所述3D动态元素的尺寸也越大；反之所述3D动态元素的尺寸就越小。
本实施例所述基于音频的实时联动显示方法，在显示场景中设置3D动态元素，使3D动态元素的属性与音频数据的特征进行关联，通过检测音频数据的特征，并通过该特征调整3D动态元素的属性参数，从而使显示场景中的3D动态元素能够随着音频数据的特征变化而变化，使显示场景的显示效果能够与音频数据的特征高度协调，并形成与音频随动的酷炫显示效果。
在实时生成所述显示场景时，需要检测是否有音频数据输入，并在检测到音频数据输入时，在3D空间中实时生成3D动态元素，从而得到包含有3D动态元素的显示场景。在不同的实施方式中，所述3D动态元素可以是立体的线条、环、面、球等形状，并且3D动态元素在生成时就可自带有动态属性，所述自带是指在3D动态元素生成时就附带一同生成的，动态属性是指属性的参数值是按一定的规律动态变化的，从而使3D动态元素的显示效果也按一定的规律变化。所述动态属性包括3D动态元素的生命周期、亮度值和移动轨迹。因此在未提取音频数据的特征时，所述3D动态元素可根据自带动态属性的规律实时更新显示效果。
在生成所述显示场景之后，需要将3D动态元素的属性与音频数据中的特征之间建立映射关系。其中，可将音频数据中的特征与3D动态元素中所述动态属性之外的其他属性建立映射关系。因此无论是否提取到音频数据的特征，所述3D动态元素中与动态属性对应显示效果，都按照既定的规律变化，而3D动态元素中与音频数据的特征建立映射关系的属性，则按照所述音频数据的特征实时进行调整，从而使3D动态元素对应的显示效果随音频数据的特征而变化。在一些实施方式中，可以将上述动态属性与音频数据中的特征建立映射关系，从而在未提取到音频数据特征时，使3D动态元素的显示效果按动态属性自带的规律变化；而当提取到音频数据特征时，则按根据所提取的特征实时调整3D动态元素的显示效果。
以下为实时生成包含3D动态元素的显示场景，并根据音频数据的特征调整显示场景的具体实施方式。
实时检测是否有音频数据输入，在检测到音频数据输入时，在3D空间中绘制3D动态元素，3D动态元素为线条、环、面、球等形状的发光元素，每种3D动态元素都有各自的生命周期和运动方向。并将3D动态元素的属性与音频数据的特征建立映射关系，使音频数据的能量值与3D动态元素的亮度建立映射关系。
提取音频数据中的频谱和能量值，在未提取到所述频谱和能量值时，3D动态元素根据生命周期和运动方向进行更新演变，形成平整的空白信息面。其中，所述空白信息面为由3D元素排列而成的平面。
在提取到所述频谱和能量值时，根据频谱和能量值调整3D动态元素的属性和显示效果，将频提到的谱体现在空白信息面的垂直面上，并与元素运动方向呈一定角度，能量值体现在发光元素的亮度上。
通过摄像机运动，以及不断调整视角，将显示场景的内容拍摄到屏幕上，从而实现实时生成的随音频数据的特征而变化的显示场景。
在音频数据的特征中包含有连续变化的连续特征，同时又包含有非连续变化的非连续特征，而3D动态元素的属性中也同样包含有连续属性和非连续属性。其中，连续特征是指可连续变化的特征量，如能量特征、频谱特征等，非连续特征是指特征值为非连续变化的，如鼓点、重音等；同理，所述连续属性是指属性值是连续可变的，非连续属性是指属性参数是非连续的。
因此在一实施方式中，为了使3D动态元素的属性能够与音频数据的特征更好的关联，从而使显示场景与音频数据的互动更加协调，将音频数据的连续特征与3D动态元素的连续属性进行关联，将音频数据的非连续特征与3D动态元素的非连续属性关联。
因此在实时调整显示场景中3D动态元素的属性参数时，则根据音频数据的连续特征实时调整3D动态元素的连续属性参数，根据音频数据的非连续特征实时调整3D动态元素的非连续属性参数。由于在该实施方式中，3D动态元素的连续属性与音频数据的连续特征相关联，非连续属性与音频数据的非连续特征相关联，因此音频数据的特征细微变化，都能够通过3D动态元素的显示效果体现出来，使3D动态元素的随动变化更加细微。
根据上述步骤S102可知，通过傅里叶变化可将音频数据从时域转换为频域数组，并且分析所述频域数组可以得到该音频数组(即音频数据)的重音频段，所述重音频段即音频数组中高频、中频、低频三个频段中哪些频段的能量值大于预设的阈值，因此该音频数组的重音就落在哪个频段，即该音频数组就具有哪个频段的重音特征，例如该音频数组的中段能量值大于预设的阈值，则该音频数组的重音特征即为中频，即中频突出。在音频数据中高频、中频、低频三个频段中，可能会有两个以上的频段的能量值均超过了预设的阈值，此时该音频数据就同时具有两个以上不同频道的重音特征。
在一实施方式中，所述高频、中频、低频的具体划分方式为：22.5hz～1khz归纳为低频段，1khz～5khz归纳为中频段，5k～15khz归纳为高频段，其余频率超出人的听力范围，不考虑。从频谱数组中将各个频段的能量值累加在一起，除以该频段的宽度，即得到该频段的平均能量值。在其他实施方式所述高频、中频、低频还可以有其他不同的切分方法。
每种乐器发音时都有固定的震动频率范围，分析所述频域数组还可以得到频域数组的乐器频段，以及该音频数组的乐器特征，即哪个乐器的音效在音频中最突出。以鼓点为例，范围大概是60～120hz，累加频谱数组中高于60hz和低于120hz的能量值，当累加值大于先验阈值的时候，则认为音频数据中包含有明显的鼓点音效。其余乐器检测方式与之类似，只是统计的频率范围不一样。如图4所示，因此在一实施方式中，所述基于音频的实时联动显示方法包括有步骤S401至S404，其中，S401至S403与图1所示实施方式中的S101至S103相同，在步骤S403之后，可根据所得到的音频数据的重音特征和乐器特征，在显示场景中融入一定的显示特效。
例如当在所述音频数据中提取到重音特征，则在显示场景中触发粒子特效，所述粒子特效，如烟花爆炸效果。其中，粒子特效由Unity引擎的Shuriken粒子系统编辑得到。所述粒子系统为3D引擎为模拟现实生活中的火、雾、气等效果而设计的模块，原理是将无数的单个粒子组合使其呈现出固定形态，借由控制器，脚本来控制其整体或单个的运动，模拟出现真实的效果。
在另一实施例中，还可以根据所得到的音频数据的重音特征，在显示场景中模拟音乐喷泉效果。例如，检测到音频数据的重音特征，音乐喷泉喷出；同时，还根据能量值的高低，确定音乐喷泉喷出的高度，实现根据音频数据的特征模拟显示显示的效果。
在另一优选的实施例中，根据获取到的声音特征中的能量值还可以用于控制闯关类游戏中的角色运动，例如检测到重音进行角色的跳跃，当重音频率高于给定阈值(1秒内触发多个重音)，则对角色进行加速或多段跳跃；当能量值大于阈值时触发无敌Buff 5秒等。
当在所述音频数据中提取到乐器特征时，则根据音频数据中对应乐器的节奏在显示场景中触发全屏特效，所述全屏特效包括水波纹特效、裂屏等特效，从而达到更加酷炫的表现效果。
所述全屏特效实现方式可通过以下方式得到：利用3D引擎的摄像机对象提供的OnRenderImage回调方法(即3D引擎的摄像机对象提供的回调函数中的一种)，获取该摄像机对象预输出画面的纹理，并将所述纹理与能实现水波纹特效、裂屏特效等效果的shader程序绑定到同一个材质球上，利用GPU进行快速纹理转换，获取带特效的纹理，返回给摄像机对象做最终呈现。其中，通过shader使用GPU计算可减小CPU负担，提高运算速度，提高画面帧率，使得画面更流畅。shader：渲染或称着色，是一段能够针对3D对象进行操作、并被GPU所执行的程序。所述纹理是计算机图形学名词，又称纹理贴图，是贴在3D物体表面，体现其表面细节的一幅或多幅二维图形。
请参阅图5为实施方式基于音频的实时联动显示装置的示意图。该基于音频的实时联动显示装置可广泛应用于KTV、演唱会等同时具有视频显示以及音频输入输出的应用场景，可实现显示场景中的显示元素随音频数据进行互动。所述基于音频的实时联动显示装置至少包括有处理器10和存储设备20。
所述处理器10适于实现各指令；
所述存储设备20适于存储多条指令，所述指令适于由处理器加载并执行：
预设或实时生成包含有3D动态元素的显示场景；
实时获取输入的音频数据，并提取音频数据的特征；其中至少一个所述3D动态元素的属性与音频数据的特征关联；
根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数，并对3D动态元素进行更新显示。
其中3D动态元素的属性是指可改变3D动态元素显示效果的参数，包括3D动态元素的大小、位置和角度等。音频数据的特征包括有重音、鼓点、能量、频谱等。在设置显示场景时，将3D动态元素的属性与音频数据中的特征之间建立映射关系，使3D动态元素的属性能够根据音频数据中的特征的变化而变化。
所述显示场景是通过LED显示屏等显示终端进行显示，显示场景可以是在传统的2D场景中增加3D动态元素，也可以是通过3D引擎制作的3D场景。显示场景中除了包含有3D动态元素之外，还可包括MV、卡通、动漫等视频。所述显示场景可预先设置好，也可在检测到音频数据时实时生成。具体如何实时生成所述显示场景已在以上实施方式中说明，这里就不再赘述。
在建立映射关系时，不同实施方式可以有多种不同的映射方式，以上实施方式已经对不同的映射方式进行说明，这里就不再赘述。
在不同的实施方式中，所述音频数据可以有多种不同的来源。所提取的音频数据的特征包括有音频数据的节奏、音色、能量、频谱，甚至还可以提取音频数据中所包括的鼓点以及乐器特征等。其中音频数据的各特征是可通过什么样的方式提取在以上的实施方式中已进行说明，这里就不再赘述。
所述3D动态元素的显示效果可通过调整3D动态元素的属性参数来实现，一个3D动态元素同时包含有多个属性，例如3D动态元素可包含有大小、位置、角度、透明度等多个属性，而每个属性的参数大小则决定着3D动态元素对应的显示效果。
通过特征提取单元可得到音频频数据的特征，音频数据的特征作为3D动态元素的属性参数的调整因子，属性参数的大小与特征之间存在一定的换算关系，因此通过当提取的音频数据的特征变化时，即可得到对应的属性参数，从而使3D动态元素的效果也随之变化。例如特征提取单元可以通过计算左右声道的能量值，而显示单元根据所述能量值的大小，实时调整3D动态元素的大小，当所计算得到的能量值越大，所述3D动态元素的尺寸也越大；反之所述3D动态元素的尺寸就越小。
所述存储设备内所存储的指令集执行，使显示场景中的使3D动态元素的属性与音频数据的特征进行关联，使显示场景中的3D动态元素能够随着音频数据的特征变化而变化，使显示场景的显示效果能够与音频数据的特征高度协调，并形成与音频随动的酷炫显示效果。该基于音频的实时联动显示装置具体可以为机顶盒或计算机，即所述存储设备应用于机顶盒或计算机中的用于存储指令。
在一实施方式中，为了使3D动态元素的属性能够与音频数据的特征更好的关联，从而使显示场景与音频数据的互动更加协调，所述“所述3D动态元素的属性与音频数据的特征关联”包括：
将音频数据的连续特征与3D动态元素的连续属性关联，将音频数据的非连续特征与3D动态元素的非连续属性关联；其中，非连续特征是指特征值为非连续变化的，如鼓点、重音等；同理，所述连续属性是指属性值是连续可变的，非连续属性是指属性参数是非连续的。
所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”包括：
根据音频数据的连续特征实时调整3D动态元素的连续属性参数，根据音频数据的非连续特征实时调整3D动态元素的非连续属性参数。
从而使音频数据的特征细微变化，都能够通过3D动态元素的显示效果体现出来，使3D动态元素的随动变化更加细微。根据以上实施方式可知，通过所述特征提取单元可以从音频数据中提取出重音特征以及乐器特征，具体如何提取这里就不再赘述。为使显示场景能够具有更佳的表现效果，
在另一实施方式中，所述“提取音频数据的特征”包括：
对所述音频数据进行傅里叶变换，得到频域数组；
分析所述频域数组内高频、中频、低频不同频段数组的能量值，得到能量值大于预设阈值的重音频段；
分析所述频域数组内所包含的不同乐器频段的数据量，得到数据量大于预设阈值的乐器频段；
根据所述重音频段和乐器频段，得到音频数据中对应的重音特征和乐器特征；
所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”包括：
在所述音频数据中提取到重音特征时，则在显示场景中触发粒子特效；以及在所述音频数据中提取到乐器特征时，则根据音频数据中对应乐器的节奏在显示场景中触发全屏特效，所述全屏特效包括水波纹特效和裂屏特效。
其中，重音频段以及乐器频段如何提取已以上述实施方式中说明，这里就不再赘述。
所述全屏特效的实现包括：
通过3D引擎的摄像机对象提供的OnRenderImage回调方法(即3D引擎的摄像机对象提供的回调函数中的一种)，获取所述摄像机对象计算出的输出画面的纹理；
将所述纹理与能实现水波纹特效、裂屏特效等效果的shader程序绑定到同一个材质球上，并利用GPU进行快速纹理转换，获取带特效的纹理；以及
将所述带特效的纹理返回给所述摄像机对象输出。其中，通过shader使用GPU计算可减小CPU负担，提高运算速度，提高画面帧率，使得画面更流畅。shader：渲染或称着色，是一段能够针对3D对象进行操作、并被GPU所执行的程序。所述纹理是计算机图形学名词，又称纹理贴图，是贴在3D物体表面，体现其表面细节的一幅或多幅二维图形。
本发明还提供了一种基于音频的实时联动显示装置的应用，所述基于音频的实时联动显示装置应用于机顶盒或计算机中。其中，所述机顶盒或计算机可应用于数字视听场所，例如：KTV、酒吧、家庭场景、移动式练歌房等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (13)

1.一种基于音频的实时联动显示方法，其特征在于，包括以下步骤：
预设或实时生成包含有3D动态元素的显示场景；
实时获取输入的音频数据，并提取音频数据的特征；其中，至少一个所述3D动态元素的属性与所述音频数据的特征关联；
根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数，并对3D动态元素进行更新显示。
2.根据权利要求1所述的基于音频的实时联动显示方法，其特征在于，所述“实时生成包含有3D动态元素的显示场景”包括以下步骤：
在检测到音频数据输入时，在3D空间中实时生成3D动态元素；以及
根据3D动态元素自带的动态属性，实时更新3D动态元素显示效果，所述动态属性包括生命周期、亮度值和移动轨迹。
3.根据权利要求1所述的基于音频的实时联动显示方法，其特征在于，所述“所述3D动态元素的属性与音频数据的特征关联”包括：
将音频数据的连续特征与3D动态元素的连续属性关联，将音频数据的非连续特征与3D动态元素的非连续属性关联；
所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”包括：
根据音频数据的连续特征实时调整3D动态元素的连续属性参数，根据音频数据的非连续特征实时调整3D动态元素的非连续属性参数。
4.根据权利要求1所述的基于音频的实时联动显示方法，其特征在于，所述步骤“提取音频数据的特征”包括：
计算左声道和右声道的能量值；
所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”包括：
根据所述左声道与右声道的能量值之和，实时调整3D动态元素的大小。
5.根据权利要求1所述的基于音频的实时联动显示方法，其特征在于，所述步骤“提取音频数据的特征”包括：
对所述音频数据进行傅里叶变换，得到频域数组；
分析所述频域数组内高频、中频、低频不同频段数组的能量值，得到能量值大于预设阈值的重音频段；
分析所述频域数组内所包含的不同乐器频段的数据量，得到数据量大于预设阈值的乐器频段；
根据所述重音频段和乐器频段，得到音频数据中对应的重音特征和乐器特征；
在所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”之后还包括：
在所述音频数据中提取到重音特征时，则在显示场景中触发粒子特效；
在所述音频数据中提取到乐器特征时，则根据音频数据中对应乐器的节奏在显示场景中触发全屏特效，所述全屏特效包括水波纹特效和裂屏特效。
6.根据权利要求5所述的互动显示方法，其特征在于，所述全屏特效的实现包括以下步骤：
通过3D引擎的摄像机对象提供回调方法，获取所述摄像机对象预输出画面的纹理；
将所述纹理与能实现水波纹特效、裂屏特效的shader程序绑定到同一个材质球上，并利用GPU进行快速纹理转换，获取带特效的纹理；以及
将所述带特效的纹理返回给所述摄像机对象输出。
7.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：
预设或实时生成包含有3D动态元素的显示场景；
实时获取输入的音频数据，并提取音频数据的特征；其中，至少一个所述3D动态元素的属性与音频数据的特征关联；
根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数，并对3D动态元素进行更新显示。
8.根据权利要求7所述的存储设备，其特征在于，所述“实时生成包含有3D动态元素的显示场景”包括用于执行以下指令：
在检测到音频数据输入时，在3D空间中实时生成3D动态元素；以及
根据3D动态元素自带的动态属性，实时更新3D动态元素显示效果，所述动态属性包括生命周期、亮度值和移动轨迹。
9.根据权利要求7所述的存储设备，其特征在于，所述“所述3D动态元素的属性与音频数据的特征关联”包括用于执行以下指令：
将音频数据的连续特征与3D动态元素的连续属性关联，将音频数据的非连续特征与3D动态元素的非连续属性关联；
所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”包括由处理器加载并执行：
根据音频数据的连续特征实时调整3D动态元素的连续属性参数，根据音频数据的非连续特征实时调整3D动态元素的非连续属性参数。
10.根据权利要求7所述的存储设备，其特征在于，所述“提取音频数据的特征”包括用于执行以下指令：
计算左声道和右声道的能量值；
所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”包括由处理器加载并执行：
根据所述左声道与右声道的能量值之和，实时调整3D动态元素的大小。
11.根据权利要求7所述的存储设备，其特征在于，所述“提取音频数据的特征”包括用于执行以下指令：
对所述音频数据进行傅里叶变换，得到频域数组；
分析所述频域数组内高频、中频、低频不同频段数组的能量值，得到能量值大于预设阈值的重音频段；
分析所述频域数组内所包含的不同乐器频段的数据量，得到数据量大于预设阈值的乐器频段；
根据所述重音频段和乐器频段，得到音频数据中对应的重音特征和乐器特征；
所述处理器在所述“根据所述音频数据的特征实时调整显示场景中3D动态元素的属性参数”之后，还加载并执行：
在所述音频数据中提取到重音特征时，则在显示场景中触发粒子特效；以及在所述音频数据中提取到乐器特征时，则根据音频数据中对应乐器的节奏在显示场景中触发全屏特效，所述全屏特效包括水波纹特效和裂屏特效。
12.根据权利要求11所述的存储设备，其特征在于，所述全屏特效的实现包括用于执行以下指令：
通过3D引擎的摄像机对象提供的回调方法，获取所述摄像机对象计算出的输出画面的纹理；
将所述纹理与能实现水波纹特效、裂屏特效等效果的shader程序绑定到同一个材质球上，并利用GPU进行快速纹理转换，获取带特效的纹理；以及
将所述带特效的纹理返回给所述摄像机对象输出。
13.根据权利要求7-12所述的存储设备，其特征在于：所述存储设备应用于机顶盒或计算机中。
CN201710398985.1A 2017-05-31 2017-05-31 一种基于音频的实时联动显示方法及存储设备 Active CN107329980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710398985.1A CN107329980B (zh) 2017-05-31 2017-05-31 一种基于音频的实时联动显示方法及存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710398985.1A CN107329980B (zh) 2017-05-31 2017-05-31 一种基于音频的实时联动显示方法及存储设备

Publications (2)

Publication Number Publication Date
CN107329980A true CN107329980A (zh) 2017-11-07
CN107329980B CN107329980B (zh) 2022-04-12

Family

ID=60192854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710398985.1A Active CN107329980B (zh) 2017-05-31 2017-05-31 一种基于音频的实时联动显示方法及存储设备

Country Status (1)

Country Link
CN (1) CN107329980B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967706A (zh) * 2017-11-27 2018-04-27 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据的处理方法、装置及计算机可读存储介质
CN108566483A (zh) * 2018-03-19 2018-09-21 百度在线网络技术（北京）有限公司 一种录入语音的展示方法、装置、终端及存储介质
CN108647003A (zh) * 2018-05-09 2018-10-12 福建星网视易信息系统有限公司 一种基于声控的虚拟场景互动方法和存储介质
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN108984140A (zh) * 2018-06-28 2018-12-11 联想(北京)有限公司 一种显示控制方法及系统
CN109003321A (zh) * 2018-06-21 2018-12-14 珠海金山网络游戏科技有限公司 一种基于声音波形数据的三维动画辅助制作方法和装置
CN109189541A (zh) * 2018-09-17 2019-01-11 福建星网视易信息系统有限公司 界面显示方法及计算机可读存储介质
CN109257499A (zh) * 2018-09-30 2019-01-22 腾讯音乐娱乐科技（深圳）有限公司 一种歌词的动态展示方法及装置
CN110798737A (zh) * 2019-11-29 2020-02-14 北京达佳互联信息技术有限公司 视音频合成方法、终端和存储介质
CN111249727A (zh) * 2020-01-20 2020-06-09 网易（杭州）网络有限公司 游戏特效生成方法及装置、存储介质、电子设备
CN111857923A (zh) * 2020-07-17 2020-10-30 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
CN113838168A (zh) * 2021-10-13 2021-12-24 亿览在线网络技术（北京）有限公司 一种粒子特效动画的生成方法
WO2022095537A1 (zh) * 2020-11-09 2022-05-12 Oppo广东移动通信有限公司 虚拟对象显示方法及装置、存储介质和电子设备
US11462232B1 (en) * 2020-06-30 2022-10-04 Apple Inc. Methods and systems for visualizing audio properties of objects
WO2024077492A1 (zh) * 2022-10-11 2024-04-18 广州酷狗计算机科技有限公司 播放界面的显示方法、装置、设备、介质及程序产品

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1321964A (zh) * 2000-05-02 2001-11-14 莫绍祥 声音及节拍的图象显示方法和设备
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
US20060181537A1 (en) * 2005-01-25 2006-08-17 Srini Vasan Cybernetic 3D music visualizer
CN101577114A (zh) * 2009-06-18 2009-11-11 北京中星微电子有限公司 一种音频可视化实现方法及装置
CN103793010A (zh) * 2014-02-28 2014-05-14 苏州三星电子电脑有限公司 随韵律动态变换外壳色彩的多媒体播放设备及其控制方法
CN103927175A (zh) * 2014-04-18 2014-07-16 深圳市中兴移动通信有限公司 背景界面随音频动态变化的方法和终端设备
CN104036720A (zh) * 2014-05-12 2014-09-10 杭州电子科技大学 一种3d显示的方法和装置
CN104679252A (zh) * 2015-03-19 2015-06-03 上海华勤通讯技术有限公司 移动终端及其文件显示方法
CN106211502A (zh) * 2016-07-01 2016-12-07 福建星网视易信息系统有限公司 一种音频控制灯光的方法及系统
CN106383676A (zh) * 2015-07-27 2017-02-08 常州市武进区半导体照明应用技术研究院 用于声音的即时光色渲染系统及其应用
KR20170041447A (ko) * 2015-10-07 2017-04-17 삼성전자주식회사 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1321964A (zh) * 2000-05-02 2001-11-14 莫绍祥 声音及节拍的图象显示方法和设备
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
US20060181537A1 (en) * 2005-01-25 2006-08-17 Srini Vasan Cybernetic 3D music visualizer
CN101577114A (zh) * 2009-06-18 2009-11-11 北京中星微电子有限公司 一种音频可视化实现方法及装置
CN103793010A (zh) * 2014-02-28 2014-05-14 苏州三星电子电脑有限公司 随韵律动态变换外壳色彩的多媒体播放设备及其控制方法
CN103927175A (zh) * 2014-04-18 2014-07-16 深圳市中兴移动通信有限公司 背景界面随音频动态变化的方法和终端设备
CN104036720A (zh) * 2014-05-12 2014-09-10 杭州电子科技大学 一种3d显示的方法和装置
CN104679252A (zh) * 2015-03-19 2015-06-03 上海华勤通讯技术有限公司 移动终端及其文件显示方法
CN106383676A (zh) * 2015-07-27 2017-02-08 常州市武进区半导体照明应用技术研究院 用于声音的即时光色渲染系统及其应用
KR20170041447A (ko) * 2015-10-07 2017-04-17 삼성전자주식회사 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
CN106211502A (zh) * 2016-07-01 2016-12-07 福建星网视易信息系统有限公司 一种音频控制灯光的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汤永清: "空间听觉特征提取与3D音频再现研究", 《中国博士学位论文全文数据库 (信息科技辑)》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967706A (zh) * 2017-11-27 2018-04-27 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据的处理方法、装置及计算机可读存储介质
CN107967706B (zh) * 2017-11-27 2021-06-11 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据的处理方法、装置及计算机可读存储介质
CN108566483A (zh) * 2018-03-19 2018-09-21 百度在线网络技术（北京）有限公司 一种录入语音的展示方法、装置、终端及存储介质
CN108647003A (zh) * 2018-05-09 2018-10-12 福建星网视易信息系统有限公司 一种基于声控的虚拟场景互动方法和存储介质
CN109003321A (zh) * 2018-06-21 2018-12-14 珠海金山网络游戏科技有限公司 一种基于声音波形数据的三维动画辅助制作方法和装置
CN108984140B (zh) * 2018-06-28 2021-01-15 联想(北京)有限公司 一种显示控制方法及系统
CN108984140A (zh) * 2018-06-28 2018-12-11 联想(北京)有限公司 一种显示控制方法及系统
US11392642B2 (en) 2018-07-04 2022-07-19 Tencent Technology (Shenzhen) Company Limited Image processing method, storage medium, and computer device
CN108769535B (zh) * 2018-07-04 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
TWI793344B (zh) * 2018-07-04 2023-02-21 大陸商騰訊科技（深圳）有限公司 影像處理方法、裝置、儲存介質和電腦設備
WO2020007185A1 (zh) * 2018-07-04 2020-01-09 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109189541A (zh) * 2018-09-17 2019-01-11 福建星网视易信息系统有限公司 界面显示方法及计算机可读存储介质
CN109257499A (zh) * 2018-09-30 2019-01-22 腾讯音乐娱乐科技（深圳）有限公司 一种歌词的动态展示方法及装置
CN110798737A (zh) * 2019-11-29 2020-02-14 北京达佳互联信息技术有限公司 视音频合成方法、终端和存储介质
CN111249727A (zh) * 2020-01-20 2020-06-09 网易（杭州）网络有限公司 游戏特效生成方法及装置、存储介质、电子设备
CN111249727B (zh) * 2020-01-20 2021-03-02 网易（杭州）网络有限公司 游戏特效生成方法及装置、存储介质、电子设备
US11462232B1 (en) * 2020-06-30 2022-10-04 Apple Inc. Methods and systems for visualizing audio properties of objects
US11830515B2 (en) 2020-06-30 2023-11-28 Apple Inc. Methods and systems for visualizing audio properties of objects
CN111857923B (zh) * 2020-07-17 2022-10-28 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
CN111857923A (zh) * 2020-07-17 2020-10-30 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
WO2022095537A1 (zh) * 2020-11-09 2022-05-12 Oppo广东移动通信有限公司 虚拟对象显示方法及装置、存储介质和电子设备
CN113838168A (zh) * 2021-10-13 2021-12-24 亿览在线网络技术（北京）有限公司 一种粒子特效动画的生成方法
CN113838168B (zh) * 2021-10-13 2023-10-03 亿览在线网络技术（北京）有限公司 一种粒子特效动画的生成方法
WO2024077492A1 (zh) * 2022-10-11 2024-04-18 广州酷狗计算机科技有限公司 播放界面的显示方法、装置、设备、介质及程序产品

Also Published As

Publication number Publication date
CN107329980B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN107329980A (zh) 一种基于音频的实时联动显示方法及存储设备
TWI486904B (zh) 律動影像化方法、系統以及電腦可讀取記錄媒體
CN106503034B (zh) 一种为动画配乐的方法及装置
CN107170030A (zh) 一种虚拟主播直播方法及系统
CN105187936B (zh) 基于演唱音频评分的多媒体文件播放方法和装置
Wechsler et al. EyeCon: a motion sensing tool for creating interactive Dance, Music, and Video Projections
CN107221340A (zh) 基于多路音频的实时评分方法、存储设备及应用
Pauletto The voice delivers the threats, Foley delivers the punch: Embodied knowledge in Foley artistry
Moffat et al. Sound effect synthesis
US20240203058A1 (en) System and method for performance in a virtual reality environment
CN112799771A (zh) 一种动态壁纸的播放方法、装置、电子设备及存储介质
CN111564064A (zh) 基于游戏互动的智能教育系统与方法
US9704276B1 (en) Enhancement and display methods for intuitively read three-dimensional visual representations of digital audio files
Schwarz et al. Sound level of detail in interactive audiographic 3D scenes
CN110992450B (zh) 基于OpenGL的音乐喷泉模拟系统
Mc Glynn The “Cinematic Promise” of Video Game Music: Stylistic Convergence, Current-Generation Remakes, and the Case of Final Fantasy VII
KR20010091219A (ko) 표본화된 얼굴 표정을 새로운 얼굴에 리타켓팅하는 방법
Batty et al. Audiovisual granular synthesis: micro relationships between sound and image
Mancini et al. From acoustic cues to an expressive agent
Ciufo Real-time sound/image manipulation and mapping in a performance setting
Garner Cinematic sound design for players
Weinel Quake Delirium revisited: system for video game ASC simulations
TWI821948B (zh) 隨著音樂節奏變換之圖像顯示方法
KR20190036368A (ko) 가상현실과 상호작용되는 사운드 시각화 시스템 및 방법
McAleer et al. Perceiving animacy and arousal in transformed displays of human interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant