CN116230006A - 一种基于gpu的音效可视化方法 - Google Patents

一种基于gpu的音效可视化方法 Download PDF

Info

Publication number
CN116230006A
CN116230006A CN202310513554.0A CN202310513554A CN116230006A CN 116230006 A CN116230006 A CN 116230006A CN 202310513554 A CN202310513554 A CN 202310513554A CN 116230006 A CN116230006 A CN 116230006A
Authority
CN
China
Prior art keywords
gpu
sound effect
sound
visualization
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310513554.0A
Other languages
English (en)
Inventor
张啸
苟谆
王川
聂彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Libi Technology Co ltd
Original Assignee
Chengdu Libi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Libi Technology Co ltd filed Critical Chengdu Libi Technology Co ltd
Priority to CN202310513554.0A priority Critical patent/CN116230006A/zh
Publication of CN116230006A publication Critical patent/CN116230006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/72—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for transmitting results of analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Discrete Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于GPU的音效可视化方法，涉及音效处理技术领域，包括以下步骤：S1：将播放的音效元数据传输到着色器；S2：通过着色器进行数据转换；S3：将转换后的数据按效果算法进行运算，得到可视化音效。本发明的有益效果是：通过使用FFT算法，将音效元数据转换成频谱数据，用于体现频谱效果，再通过GPU进行渲染，从而取代CPU计算得到离散的频谱带，避免掉帧。

Description

一种基于GPU的音效可视化方法
技术领域
本发明涉及音效处理技术领域，特别是一种基于GPU的音效可视化方法。
背景技术
在游戏中最大程度表现声音的节奏感，一直是提升整体游戏体验的重要方式，通用的方式是将音效的数据在CPU计算得到离散的频谱带进行展示，这里面的不足之处有：第一、计算频谱操作和展示操作都在 CPU 上，会影响帧率；第二、频谱带是离散数据，无法方便地表现连续波形。
发明内容
本发明的目的在于克服现有技术的缺点，提供一种基于GPU的音效可视化方法。
本发明的目的通过以下技术方案来实现：一种基于GPU的音效可视化方法，包括以下步骤：
S1：将播放的音效元数据传输到着色器；
S2：通过着色器进行数据转换；
S3：将转换后的数据按效果算法进行运算，得到可视化音效。
优选的，步骤S2中，通过FFT算法将音效元数据转换成频谱数据。
优选的，步骤S2中，还包括以下步骤：
S21：创建两个缓存区；
S22：将获取的音频信号存储在一个缓存区内；
S23：通过检查另一个缓存区是否正在被GPU使用，若正在被GPU使用，则等待GPU渲染完之后再进行FFT计算，若GPU未使用，则进行FFT计算；
S24：将转换好的频谱数据传输给GPU进行渲染；
S25：交换两个缓存区的指针，当前存储数据的缓存区变为通过FFT算法计算的缓存区，另一个则变成待渲染的缓存区；
S26：重复步骤S22~步骤S25，数据全部转换完成则结束运行。
优选的，步骤S2中，将音效元数据通过频率提取得到频率信息，并进行波幅变换。
优选的，步骤S3中，根据频谱数据，通过着色器可视化算法进行显示，得到可视化音效。
优选的，步骤S3中，通过HSV和RGB互转机制在色相端进行颜色渐变。
本发明具有以下优点：本发明通过使用FFT算法，将音效元数据转换成频谱数据，用于体现频谱效果，再通过GPU进行渲染，从而取代CPU计算得到离散的频谱带，避免掉帧。
附图说明
图1 为音效可视化方法流程的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本发明实施方式的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本实施例中，如图1所示，一种基于GPU的音效可视化方法，包括以下步骤：
S1：将播放的音效元数据传输到着色器；
S2：通过着色器进行数据转换；
S3：将转换后的数据按效果算法进行运算，得到可视化音效。通过使用FFT算法，将音效元数据转换成频谱数据，用于体现频谱效果，再通过GPU进行渲染，从而取代CPU计算得到离散的频谱带，避免掉帧。
进一步的，步骤S2中，通过FFT算法将音效元数据转换成频谱数据。再进一步的，步骤S2中，还包括以下步骤：
S21：创建两个缓存区；
S22：将获取的音频信号存储在一个缓存区内；
S23：通过检查另一个缓存区是否正在被GPU使用，若正在被GPU使用，则等待GPU渲染完之后再进行FFT计算，若GPU未使用，则进行FFT计算；
S24：将转换好的频谱数据传输给GPU进行渲染；
S25：交换两个缓存区的指针，当前存储数据的缓存区变为通过FFT算法计算的缓存区，另一个则变成待渲染的缓存区；
S26：重复步骤S22~步骤S25，数据全部转换完成则结束运行。具体地说，由于常规的傅里叶变换着色器耗费高，因此通过采用双缓存的方式来降低消耗，也就是说，将音频信号数据存储在两个缓存区内，通过其中一个缓存区利用FFT算法计算，从而另一个缓存区的数据传输给GPU进行渲染，进而可以避免在利用FFT算法计算时和GPU渲染之间产生数据冲突。在本实施例中，FFT算法为现有算法，这里就不再进行赘述。
在本实施例中，步骤S2中，将音效元数据通过频率提取得到频率信息，并进行波幅变换。进一步的，步骤S3中，根据频谱数据，通过着色器可视化算法进行显示，得到可视化音效。再进一步的，步骤S3中，通过HSV和RGB互转机制在色相端进行颜色渐变。具体地说，通过着色器可视化算法进行显示以及通过HSV和RGB互转机制在色相端进行颜色渐变均是通过现有方法实现，这里就不再进行赘述。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于GPU的音效可视化方法，其特征在于：包括以下步骤：
S1：将播放的音效元数据传输到着色器；
S2：通过着色器进行数据转换；
S3：将转换后的数据按效果算法进行运算，得到可视化音效。
2.根据权利要求1所述的一种基于GPU的音效可视化方法，其特征在于：所述步骤S2中，通过FFT算法将音效元数据转换成频谱数据。
3.根据权利要求2所述的一种基于GPU的音效可视化方法，其特征在于：所述步骤S2中，还包括以下步骤：
S21：创建两个缓存区；
S22：将获取的音频信号存储在一个缓存区内；
S23：通过检查另一个缓存区是否正在被GPU使用，若正在被GPU使用，则等待GPU渲染完之后再进行FFT计算，若GPU未使用，则进行FFT计算；
S24：将转换好的频谱数据传输给GPU进行渲染；
S25：交换两个缓存区的指针，当前存储数据的缓存区变为通过FFT算法计算的缓存区，另一个则变成待渲染的缓存区；
S26：重复步骤S22~步骤S25，数据全部转换完成则结束运行。
4.根据权利要求3所述的一种基于GPU的音效可视化方法，其特征在于：所述步骤S2中，将音效元数据通过频率提取得到频率信息，并进行波幅变换。
5.根据权利要求4所述的一种基于GPU的音效可视化方法，其特征在于：所述步骤S3中，根据频谱数据，通过着色器可视化算法进行显示，得到可视化音效。
6.根据权利要求5所述的一种基于GPU的音效可视化方法，其特征在于：所述步骤S3中，通过HSV和RGB互转机制在色相端进行颜色渐变。
CN202310513554.0A 2023-05-09 2023-05-09 一种基于gpu的音效可视化方法 Pending CN116230006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310513554.0A CN116230006A (zh) 2023-05-09 2023-05-09 一种基于gpu的音效可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310513554.0A CN116230006A (zh) 2023-05-09 2023-05-09 一种基于gpu的音效可视化方法

Publications (1)

Publication Number Publication Date
CN116230006A true CN116230006A (zh) 2023-06-06

Family

ID=86569935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310513554.0A Pending CN116230006A (zh) 2023-05-09 2023-05-09 一种基于gpu的音效可视化方法

Country Status (1)

Country Link
CN (1) CN116230006A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559078A (zh) * 2013-11-08 2014-02-05 华为技术有限公司 Gpu虚拟化实现方法以及顶点数据缓存方法和相关装置
CN106328164A (zh) * 2016-08-30 2017-01-11 上海大学 音乐频谱的圆形可视化系统及方法
CN109343984A (zh) * 2018-10-19 2019-02-15 珠海金山网络游戏科技有限公司 数据处理方法、系统、计算设备及存储介质
CN110634169A (zh) * 2019-01-08 2019-12-31 华为技术有限公司 图像处理的装置和方法
CN111249727A (zh) * 2020-01-20 2020-06-09 网易（杭州）网络有限公司 游戏特效生成方法及装置、存储介质、电子设备
CN113707174A (zh) * 2021-08-31 2021-11-26 亿览在线网络技术（北京）有限公司 一种音频驱动的动画特效的生成方法
CN113961484A (zh) * 2021-10-29 2022-01-21 Oppo广东移动通信有限公司 数据的传输方法、装置、电子设备以及存储介质
CN115206338A (zh) * 2022-06-08 2022-10-18 哈尔滨理工大学 基于频谱分析的音乐可视化系统
CN115474309A (zh) * 2022-08-30 2022-12-13 深圳市艾美威电子有限公司 一种全彩呼吸灯的实现方法
CN115738251A (zh) * 2022-11-23 2023-03-07 网易（杭州）网络有限公司 基于音频数据的图像渲染方法、装置及计算机设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559078A (zh) * 2013-11-08 2014-02-05 华为技术有限公司 Gpu虚拟化实现方法以及顶点数据缓存方法和相关装置
CN106328164A (zh) * 2016-08-30 2017-01-11 上海大学 音乐频谱的圆形可视化系统及方法
CN109343984A (zh) * 2018-10-19 2019-02-15 珠海金山网络游戏科技有限公司 数据处理方法、系统、计算设备及存储介质
CN110634169A (zh) * 2019-01-08 2019-12-31 华为技术有限公司 图像处理的装置和方法
CN111249727A (zh) * 2020-01-20 2020-06-09 网易（杭州）网络有限公司 游戏特效生成方法及装置、存储介质、电子设备
CN113707174A (zh) * 2021-08-31 2021-11-26 亿览在线网络技术（北京）有限公司 一种音频驱动的动画特效的生成方法
CN113961484A (zh) * 2021-10-29 2022-01-21 Oppo广东移动通信有限公司 数据的传输方法、装置、电子设备以及存储介质
CN115206338A (zh) * 2022-06-08 2022-10-18 哈尔滨理工大学 基于频谱分析的音乐可视化系统
CN115474309A (zh) * 2022-08-30 2022-12-13 深圳市艾美威电子有限公司 一种全彩呼吸灯的实现方法
CN115738251A (zh) * 2022-11-23 2023-03-07 网易（杭州）网络有限公司 基于音频数据的图像渲染方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
US10540751B2 (en) Image data transmission method, image data processing method, image processing device and display device
CN111881927B (zh) 电子装置及其图像处理方法
US20080211810A1 (en) Graphic rendering method and system comprising a graphic module
CN104205161B (zh) 用于块压缩图象的解压缩的系统、方法和计算机程序产品
US7649531B2 (en) Image generation device and image generation method
US7262774B2 (en) Character image generating apparatus, character image generating method, display control apparatus, display control method and computer-readable recording medium recorded character image generation program or display control program thereon
US8934708B2 (en) Volumetric image data processing
US10885604B2 (en) Method for 3D waveform mapping of full-parallel structure
JPH09212680A (ja) 描画装置及び描画方法
CN116230006A (zh) 一种基于gpu的音效可视化方法
JP2006127412A (ja) 描画処理装置および描画処理方法
WO2004104932A1 (en) Method and system for supersampling rasterization of image data
KR20210067699A (ko) 전자 장치 및 그 제어 방법
CN103578450A (zh) 一种字符显示方法、字符显示装置及安全认证装置
CN112116522A (zh) 一种基于现代可编程图形管线的雷达数据可视化框架
US7940283B2 (en) Method and apparatus for pixel sampling
JP2005332195A (ja) テクスチャユニット、画像描画装置、テクセル転送方法
CN113744370B (zh) 动画合成方法、装置、电子设备以及存储介质
CN112667828B (zh) 一种音频可视化方法及终端
CN108573520B (zh) 一种三维频谱图的显示方法及数字频谱分析仪
CN115049543A (zh) 一种超清人脸图像重建方法、装置及移动终端
CN113744368A (zh) 动画合成方法、装置、电子设备及存储介质
KR20220134848A (ko) 그래픽 처리 장치 및 그의 동작 방법
WO2011101895A1 (ja) 地図表示装置及び地図表示方法
JP2755204B2 (ja) 多面体表示方法および多面体表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230606