CN107292940B - 一种实时音乐频谱矢量图形的绘制方法 - Google Patents

一种实时音乐频谱矢量图形的绘制方法 Download PDF

Info

Publication number
CN107292940B
CN107292940B CN201710499788.9A CN201710499788A CN107292940B CN 107292940 B CN107292940 B CN 107292940B CN 201710499788 A CN201710499788 A CN 201710499788A CN 107292940 B CN107292940 B CN 107292940B
Authority
CN
China
Prior art keywords
graph
graphic
audio
analysis
geometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710499788.9A
Other languages
English (en)
Other versions
CN107292940A (zh
Inventor
龚俊
韩晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xiaoying Innovation Technology Co ltd
Original Assignee
Hangzhou Xiaoying Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xiaoying Innovation Technology Co ltd filed Critical Hangzhou Xiaoying Innovation Technology Co ltd
Priority to CN202110049981.9A priority Critical patent/CN112652037A/zh
Publication of CN107292940A publication Critical patent/CN107292940A/zh
Application granted granted Critical
Publication of CN107292940B publication Critical patent/CN107292940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Geometry (AREA)
  • Discrete Mathematics (AREA)
  • Computer Graphics (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种实时音乐频谱矢量图形的绘制方法，具体包括如下步骤，初始化参数步骤、音频分析步骤、调取音频数据步骤、数据转换步骤、图形处理步骤；本发明为了提升音乐频谱的节奏感、互动感，实现了频谱的实时高精度分析；实现了频谱图形种类的多样性，图形参数变化的多样性；实现了频谱绘制的实时性，提升图形图像质量。

Description

一种实时音乐频谱矢量图形的绘制方法
技术领域
本发明涉及音视频处理领域，更具体的说，其涉及用于一种实时音乐频谱矢量图形的绘制方法。
背景技术
一直以来，音乐都是一种表达情感的艺术形式，但是传统意义上的听音乐已经不能满足人们对色彩斑斓世界的追求，因此音乐可视化应运而生。又恰逢计算机技术在图像处理、虚拟现实、数字信号处理等方面有了长足发展，为音乐可视化技术进一步发展奠定了基础。音乐频谱的视觉展现是其中的重要内容，但已有的音乐频谱绘制效果单调，基本都是基于柱状图的变化来体现；且视觉效果呈现缺乏听觉视觉的互动感，在视觉上的节奏感不强，整体体验较差。
发明内容
本发明的目的在于提供一种实时音乐频谱矢量图形的绘制方法，使得整个过程快速流畅、可视化强。
为了解决上述技术问题，本发明的技术方案如下：
一种实时音乐频谱矢量图形的绘制方法，具体包括如下步骤：
101)初始化参数步骤：由任务调度器初始化图形计算器与音频分析器的相关参数；
102)音频分析步骤：由步骤101)初始化的音频参数触发音频分析器进行分析，将音频数据按照时间进行数据分块分析，并对分析结果进行缓存，以供调用；
103)调取音频数据步骤：由任务调度器根据时间值从步骤102)的分析结果中获取该时间值内的分析结果；
104)数据转换步骤：将步骤103)获取的数据根据设定的转换方式转化为图形参量数据；
105)图形处理步骤：由图形处理模块将步骤104)转化后的数据结合步骤101)初始化时给出的相关参数，获得几何描述参量，并根据几何描述参量由OpenGL渲染上效果，所述OpenGL为一个提供跨编程语言、跨平台的编程接口规格的专业的图形程序。
进一步的，所述步骤101)所述图形计算器的参数包括图形数量，每个图形的形状，每个图形的最大最小尺寸，图形的颜色，图形在图形容器里的坐标，图形容器相对背景的坐标；所述音频分析器的参数包括要分析的目标音乐文件，输出的频段范围，频点数，映射系数，映射的输出值范围。
进一步的，所述步骤102)音频分析具体步骤如下：
301)音视频同步步骤：由步骤101)的音频分析器按音频时间进行数据分块，达到音视频效果同步；
302)基于FFT快速频谱分析步骤：将对步骤301)的音频信息通过FFT进行分析，获取音频参数，并缓存分析结果；所述FFT即快速傅里叶变换为DFT即离线傅里叶变换的一种改进型快速处理音频信息的方法；
303)音频信息的转换步骤：将步骤302)得到的音频信息根据相应的数学映射转化为几何参量值，并缓存该结果，以备调用。
进一步的，所述FFT采用如下公式(2)进行前半部分分析，公式(3)进行后半部分分析：
Figure BDA0001333387690000031
Figure BDA0001333387690000032
其中X1(k),X2(k),分别是FFT的输入序列表示成偶点序列和奇点序列的N/2点DFT,
Figure BDA0001333387690000033
为
Figure BDA0001333387690000034
的演化变式,j为虚数单位，e为自然常数，n为参数，N为有限长序列的数量。
进一步的，所述图形处理具体包括如下步骤：
501)建立几何模型步骤：基于笛卡尔坐标系、球坐标系，用统一的坐标描述符描述坐标模型、种类、逻辑类型、用途；并用统一的数据结构对图形进行维度描述；
502)几何参量转换步骤：在步骤501)的基础上由步骤103)的数据建立图形属性值，并依据所设定的可变性描述符修改图形对应的几何参量；
503)几何图形处理步骤：根据步骤502)的图形属性值和图形容器的几何关系，通过矩阵变换获取相应的图形的几何参量，为图形渲染提供数据依据，并可依据设定，实时修改属性，实时处理更新。
进一步的，所述图形的维度描述包括图形对象的几何属性的分析与抽象、定义图形样式、建立可变标示符描述体系。
进一步的，所述图形对象的几何属性的分析与抽象包括图形基本属性、相应派生的具体图形和对图形容器进行分析与抽象，所述图形容器的基本属性包括锚点，父容器原点坐标。
进一步的，所述定义图形样式包括轮廓色、填充色、柔化程度、Hue颜色空间的迭代次数，颜色对称性；所述Hue为色调。
进一步的，所述建立可变标示符描述体系为用于描述不同坐标系下，不同图形，不同维度的几何参量的可变性，包括图形自身的属性、图形容器在父容器中的锚点位置。
本发明相比现有技术优点在于：
本发明为了提升音乐频谱的节奏感、互动感，实现了频谱的实时高精度分析。实现了频谱图形种类的多样性，图形参数变化的多样性。实现了频谱绘制的实时性，提升图形图像质量。
通过以线程方式进行高精度频谱分析，一方面以并行处理的方式提高了软件处理的效率，另一方面频谱分析精度提高后，最终将减小映射图形的颗粒度，画质的分辨率可以得到提升。同时高精度频谱分析，可输出更多维度的数据，可以使得后期图形处理可选择的数据就多，有利于视觉图形的多样性。这一步是先从数据源头上进行改进。
在图形种类上加以丰富，不仅仅局限于常见的矩形，还可以使用圆，椭圆，点，线，多边形等。同时可以图形可变化的参量也加以丰富，可变化各种图形的自身尺寸，空间位置等。这样频谱数据可驱动的数据项就大幅增加，效果将更加丰富。
通过使用OpenGL技术，可有效提升图像质量及渲染性能，可为使用者提供更好的视觉体验与互动感。
附图说明
图1为本发明一种实时音乐频谱矢量图形的绘制方法的整体流程时序图；
图2为本发明一种实时音乐频谱矢量图形的绘制方法的几何建模中的组合关系图；
图3为本发明一种实时音乐频谱矢量图形的绘制方法的音频分析器流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进一步说明。
如图1和图2所示，一种实时音乐频谱矢量图形的绘制方法，具体包括如下步骤：
101)初始化参数步骤：由任务调度器初始化图形计算器与音频分析器的相关参数。所述图形计算器的参数包括图形数量，每个图形的形状，每个图形的最大最小尺寸，图形的颜色，图形在图形容器里的坐标，图形容器相对背景的坐标等参数；所述音频分析器的参数包括要分析的目标音乐文件，输出的频段范围，频点数，映射系数，映射的输出值范围。
102)音频分析步骤：由步骤101)初始化的音频参数触发音频分析器进行分析，将音频数据按照时间进行数据分块分析，并对分析结果进行缓存，以供调用。音频分析具体步骤如下：
301)音视频同步步骤：由步骤101)的音频分析器按音频时间进行数据分块，达到音视频效果同步。即由Audio解码器读取出一段PCM数据即脉冲编码调制数据，也就是音频，并通过按音频时间的时间步进进行数据分块，以此达到音视频效果同步，确保效果体验的实时互动感。
302)基于FFT快速频谱分析步骤：将对步骤301)的音频信息通过FFT进行分析，获取音频参数，并缓存分析结果；所述FFT即快速傅里叶变换为DFT即离线傅里叶变换的一种改进型快速处理音频信息的方法。
所述DFT采用如下公式(1)进行频谱分析：
Figure BDA0001333387690000051
其中N为有限长序列的数量，x(n)为有限长序列的表达式,
Figure BDA0001333387690000052
j为虚数单位，e为自然常数。对于N点有限长序列，DFT需要进行4N2次乘法运算，计算的时间复杂度为O(N2)。而为了要想获取高精度频谱分析结果，N值一般在512以上，此时的计算量很大，将直接导致该方法的实时性很差。作为DFT的一种快速算法，FFT要求输入序列的数量N＝2L，(L是为方便用指数形式表示序列个数的一个数学表示量，例如:L＝1，序列个数2L＝2；L＝2序列个数2L＝4...)如果不满足这个条件，可以人为地加上若干零值点，使之达到这一要求。FFT的输入序列可以分别表示成如下公式(4)偶点序列x1(r)和奇点序列x2(r)，r为序列的索引值：
Figure BDA0001333387690000061
进而DFT的表达式可以拆分为如下公式(5)：
Figure BDA0001333387690000062
其中
Figure BDA0001333387690000063
进而公式进一步演变成为如下公式(6)：
Figure BDA0001333387690000064
X1(k)和X2(k)分别是x1(r)和x2(r)的N/2点，从而演化的公式(7)：
Figure BDA0001333387690000071
可以看出，一个N点DFT已分解成两个N/2点的DFT，他们又组成一个N点DFT。而X1(k)和X2(k)以及x1(r)和x2(r)都是N/2点序列，X(k)却有N点。用上述计算得到的只是X(k)的前一半项数结果，要想利用X1(k)和X2(k)得到X(k)的全部的值的话，需利用复指数根的周期性如下公式(8)：
Figure BDA0001333387690000072
从而可以得到如下公式(9)：
X1(k+N/2)＝X1(k),X2(k+N/2)＝X2(k) 公式(9)
同时
Figure BDA0001333387690000073
也具有周期性，从而得出如下公式(10)：
Figure BDA0001333387690000074
结合公式(9)和公式(10)可得到完整的N点FFT的表达式为，如下公式(2)进行前半部分分析，公式(3)进行后半部分分析：
Figure BDA0001333387690000075
Figure BDA0001333387690000076
做这样的分解分析计算后，乘法计算量减半，同时因为输入的FFT序列个数为2L，因此还可以进一步一直分解，最后分解为2点DFT，分解次数为log2N，最终的算法时间复杂度为O(Nlog2N)。这样相比原始的DFT，FFT的时间复杂度大幅缩减。以N＝1024为例，耗时与DFT差2个数量级。这为高精度频谱分析提供了保证。也使得可以在手机端环境下流畅使用。
假设给定一首采样频率为44.1KHz的音乐，利用前述FFT方法，取N＝512，通过上述流程可得出频谱分辨率为86Hz的分析结果；如果取N＝1024，频谱分辨率可达到43Hz。同时，在目前主流手机设备上算法的实际运行耗时在毫秒级别以下。
303)音频信息的转换步骤：将步骤302)得到的音频信息根据相应的数学映射转化为几何参量值，并缓存该结果，以备调用。所述几何参量比如为圆的半径、原点坐标等。
103)调取音频数据步骤：由任务调度器根据时间值从步骤102)的分析结果中获取该时间值内的分析结果。即为得到某个图形的最新几何参量，任务调度器要给定某个时间值，向音频分析器获取该时间值下的分析结果。音频分析器依据该时间值在缓存里搜索分析结果并返回。
104)数据转换步骤：将步骤103)获取的数据根据设定的转换方式转化为图形参量数据。因为音频分析器输出的只是纯数学值，所以任务调度器要依据设定，将其标识成图形的某个参量。比如：当设定驱动的是矩形的高时，将其转换成尺寸的坐标Y值。如果设定的驱动的是图形的宽时，将其转换成坐标的X值。
105)图形处理步骤：将新的图形参数传给图形计算模块，由图形处理模块将步骤104)转化后的数据结合步骤101)初始化时给出的相关参数，图形计算模块在接收到某个图形的最新参数后，将结合初始时给出的相关坐标尺寸等信息计算最新的几何描述参量。例如，当某个矩形的高度发生变化后，矩形的4个顶点坐标将发生变化，计算出最新的顶点坐标，以供后续渲染使用。并根据几何描述参量由OpenGL渲染上效果到目标上，所述OpenGL为一个提供跨编程语言、跨平台的编程接口规格的专业的图形程序。
所述图形处理，具体还包括如下步骤：
501)建立几何模型步骤：基于笛卡尔坐标系、球坐标系，用统一的坐标描述符描述坐标模型、种类、逻辑类型、用途；并用统一的数据结构对图形进行维度描述。所述图形的维度描述包括图形对象的几何属性的分析与抽象、定义图形样式、建立可变标示符描述体系。所述图形对象的几何属性的分析与抽象包括图形基本属性、相应派生的具体图形和对图形容器进行分析与抽象，所述图形容器的基本属性包括尺寸、旋转角度、旋转锚点、在坐标系中的对齐方式等。相应派生点、线、圆、椭圆、矩阵、多边形等具体图形及相应处理。对图形容器进行分析与抽象，用于描述不同图形之间的几何排列关系。图形容器的基本属性有锚点，父容器原点坐标等。所述定义图形样式包括轮廓色、填充色、柔化程度、Hue颜色空间的迭代次数，颜色对称性等，其中所述Hue为色调。所述建立可变标示符描述体系为用于描述不同坐标系下，不同图形，不同维度的几何参量的可变性，实际可变的几何参量可以是图形自身的属性，比如圆的半径、椭圆中心与坐标原点的偏移程度、矩形的宽度等；也可以是某个图形容器在父容器中的锚点位置(可影响该容器中的所有图形个体)等。
以最终呈现出按圆周分布的柱状频谱图为例。
每一个柱状体即为矩形，用长宽加以描述，最终将提取矩形的4个点坐标进行渲染。每个矩形都要将其锚定在圆周上一点，设圆周的半径为r，某一点与圆心的连线与x轴的夹角为
Figure BDA0001333387690000092
圆周上某点的极坐标描述为
Figure BDA0001333387690000093
同时需要呈圆心辐射状，进而每一个矩形还需要旋转一定角度θ1。不同矩形的
Figure BDA0001333387690000094
和θ1值不一样。这样这个容器里就包含了按圆周排布的一些列矩形图形。
在实际计算时会用到极坐标和直角坐标的转换，可利用下述公式(11):
Figure BDA0001333387690000091
r为圆周的半径，
Figure BDA0001333387690000101
为角度，x，y为定位坐标值，这样一个圆周，可以将其放到背景的任意位置，并用其圆心的坐标来描述该容器在背景里的锚点位置。
给定一个矩形的长宽后，其4个顶点的坐标也被唯一的决定了，而最终渲染需要用到4个顶点的绝对坐标，因此要依据上述相对关系，进行一系列换算。以矩形的左上点pLT(x0,y0)为例:
pLT首先要平移到其在容器里的锚点位置，x/y的平移量，可利用上述公式进行转换。假设其平移量为(Δx1,Δy1)。移到锚点后，pLT还要绕锚点旋转角度θ1。最终的绝对坐标，还要考虑容器在背景的中的坐标，假设容器在背景的锚点坐标为(x2,y2)，则相应的平移量为(Δx2,Δy2)。涉及到坐标平移，旋转可利用以下变换矩阵公式(12)进行计算：
Figure BDA0001333387690000102
结合本例，pLT最终的绝对坐标(x0′,y0′)可通过下述公式(13)进行计算：
Figure BDA0001333387690000103
其中(Δx2,Δy2)为锚点坐标为(x2,y2)的平移量。
502)几何参量转换步骤：在步骤501)的基础上由步骤103)的数据建立图形属性值，并依据所设定的可变性描述符修改图形对应的几何参量，为几何计算处理提供原始数据。
503)几何图形处理步骤：根据步骤502)的图形属性值和图形容器的几何关系，通过矩阵变换获取相应的图形的几何参量，为图形渲染提供数据依据，并可依据设定，实时修改属性，实时处理更新。所述图形渲染利用OpenGL进行高性能图形渲染，还利用了OpenGL的抗锯齿功能，渲染高质量图形对象和利用OpenGL实现多样式的矢量渲染。比如绘制描边色与填充色不一样的图形、更具所设定的Hue颜色空间迭代次数，计算不同图形组中各个图形的颜色，并做相应绘制。所述Hue为一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。所述Hadoop是一种分布式系统基础架构。
综上所述，使用者可以通过在手机上提供的应用程序，选定一首歌曲和效果模板。效果模板里包含了音频分析参数与几何矢量的参数描述。然后选择播放，播放时，会利用上述模块，进行分析计算，并将结果矢量图形渲染到显示屏幕上。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (6)

1.一种实时音乐频谱矢量图形的绘制方法，其特征在于，具体包括如下步骤：
101)初始化参数步骤：由任务调度器初始化图形计算器与音频分析器的相关参数；
102)音频分析步骤：由步骤101)初始化的音频参数触发音频分析器进行分析，将音频数据按照时间进行数据分块分析，并对分析结果进行缓存，以供调用；
103)调取音频数据步骤：由任务调度器根据时间值从步骤102)的分析结果中获取该时间值内的分析结果；
104)数据转换步骤：将步骤103)获取的数据根据设定的转换方式转化为图形参量数据；
105)图形处理步骤：由图形处理模块将步骤104)转化后的数据结合步骤101)初始化时给出的相关参数，获得几何描述参量，并根据几何描述参量由OpenGL渲染上效果，所述OpenGL为一个提供跨编程语言、跨平台的编程接口规格的专业的图形程序；
所述步骤105)中，图形处理具体包括如下步骤：
501)建立几何模型步骤：基于笛卡尔坐标系、球坐标系，用统一的坐标描述符描述坐标模型、种类、逻辑类型、用途；并用统一的数据结构对图形进行维度描述；
502)几何参量转换步骤：在步骤501)的基础上由步骤103)的数据建立图形属性值，并依据所设定的可变性描述符修改图形对应的几何参量；
503)几何图形处理步骤：根据步骤502)的图形属性值和图形容器的几何关系，通过矩阵变换获取相应的图形的几何参量，为图形渲染提供数据依据，并可依据设定，实时修改属性，实时处理更新；
所述图形的维度描述包括图形对象的几何属性的分析与抽象、定义图形样式、建立可变标示符描述体系；
所述定义图形样式包括轮廓色、填充色、柔化程度、Hue颜色空间的迭代次数，颜色对称性；所述Hue为色调；
所述步骤501)中的图形为按圆周分布的柱状频谱图；其中每个柱形体为矩形，用长宽进行描述；每个矩形都要将其锚定在圆周上一点，设圆周的半径为r，圆周的圆心作为锚点；圆周上某一点与圆心的连线与x轴的夹角为
Figure FDA0002831171090000021
圆周上某点的极坐标描述为
Figure FDA0002831171090000022
同时需要呈圆心辐射状，每一个矩形的旋转角度为θ1，得到极坐标与直角坐标的转换表示为：
Figure FDA0002831171090000023
其中x、y表示为定位坐标值，
Figure FDA0002831171090000024
为角度；
根据矩形的长宽以及锚点位置，得出矩形4个顶点的坐标，以矩形的左上点pLT(x0,y0)为例：
pLT首先要平移到其在容器里的锚点位置，x/y的平移量，可利用上述公式进行转换；假设其平移量为(Δx1,Δy1)；移到锚点后，pLT还要绕锚点旋转角度θ1；最终的绝对坐标，还要考虑容器在背景的中的坐标，假设容器在背景的锚点坐标为(x2,y2)，则相应的平移量为(Δx2,Δy2)；涉及到坐标平移，旋转可利用以下变换矩阵公式(12)进行计算：
Figure FDA0002831171090000025
其中pLT最终的绝对坐标(x0′,y0′)可通过下述公式(13)进行计算：
Figure FDA0002831171090000026
其中(Δx2,Δy2)为锚点坐标为(x2,y2)的平移量。
2.根据权利要求1所述的一种实时音乐频谱矢量图形的绘制方法，其特征在于，所述步骤101)所述图形计算器的参数包括图形数量，每个图形的形状，每个图形的最大最小尺寸，图形的颜色，图形在图形容器里的坐标，图形容器相对背景的坐标；所述音频分析器的参数包括要分析的目标音乐文件，输出的频段范围，频点数，映射系数，映射的输出值范围。
3.根据权利要求1所述的一种实时音乐频谱矢量图形的绘制方法，其特征在于，所述步骤102)音频分析具体步骤如下：
301)音视频同步步骤：由步骤101)的音频分析器按音频时间进行数据分块，达到音视频效果同步；
302)基于FFT快速频谱分析步骤：将对步骤301)的音频信息通过FFT进行分析，获取音频参数，并缓存分析结果；所述FFT即快速傅里叶变换为DFT即离线傅里叶变换的一种改进型快速处理音频信息的方法；
303)音频信息的转换步骤：将步骤302)得到的音频信息根据相应的数学映射转化为几何参量值，并缓存该结果，以备调用。
4.根据权利要求3所述的一种实时音乐频谱矢量图形的绘制方法，其特征在于，所述FFT采用如下公式(2)进行前半部分分析，公式(3)进行后半部分分析：
Figure FDA0002831171090000031
Figure FDA0002831171090000032
其中X1(k)，X2(k)，分别是FFT的输入序列表示成偶点序列和奇点序列的N/2点DFT，
Figure FDA0002831171090000033
为的演化变式
Figure FDA0002831171090000034
j为虚数单位，e为自然常数，n为参数，N为有限长序列的数量。
5.根据权利要求1所述的一种实时音乐频谱矢量图形的绘制方法，其特征在于，所述图形对象的几何属性的分析与抽象包括图形基本属性、相应派生的具体图形和对图形容器进行分析与抽象，所述图形容器的基本属性包括锚点，父容器原点坐标。
6.根据权利要求1所述的一种实时音乐频谱矢量图形的绘制方法，其特征在于，所述建立可变标示符描述体系为用于描述不同坐标系下，不同图形，不同维度的几何参量的可变性，包括图形自身的属性、图形容器在父容器中的锚点位置。
CN201710499788.9A 2017-03-05 2017-06-27 一种实时音乐频谱矢量图形的绘制方法 Active CN107292940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110049981.9A CN112652037A (zh) 2017-03-05 2017-06-27 一种实时音乐频谱矢量图形的绘制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710125766 2017-03-05
CN2017101257666 2017-03-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110049981.9A Division CN112652037A (zh) 2017-03-05 2017-06-27 一种实时音乐频谱矢量图形的绘制方法

Publications (2)

Publication Number Publication Date
CN107292940A CN107292940A (zh) 2017-10-24
CN107292940B true CN107292940B (zh) 2021-02-02

Family

ID=60098461

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710499788.9A Active CN107292940B (zh) 2017-03-05 2017-06-27 一种实时音乐频谱矢量图形的绘制方法
CN202110049981.9A Pending CN112652037A (zh) 2017-03-05 2017-06-27 一种实时音乐频谱矢量图形的绘制方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110049981.9A Pending CN112652037A (zh) 2017-03-05 2017-06-27 一种实时音乐频谱矢量图形的绘制方法

Country Status (1)

Country Link
CN (2) CN107292940B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020019A (zh) * 2017-12-26 2019-07-16 上海创远仪器技术股份有限公司 一种基于位图的频谱数据的存储展现系统和方法
CN113052939B (zh) * 2019-12-10 2024-03-08 辉达公司 对路径描边的补丁区段、顶端和连接统一编码
CN111131917B (zh) * 2019-12-26 2021-12-28 国微集团(深圳)有限公司 音频频谱实时同步方法、播放装置
CN115035909A (zh) * 2022-05-31 2022-09-09 中国第一汽车股份有限公司 音乐可视化展示方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635160A (zh) * 2009-06-17 2010-01-27 深圳市美赛达科技有限公司 音乐频谱分析方法、音乐频谱显示装置和音乐播放装置
CN102053810A (zh) * 2009-10-27 2011-05-11 中国移动通信集团公司 一种屏保状态下音乐频谱的显示方法和装置
CN204442300U (zh) * 2015-04-10 2015-07-01 杨黎民 带话筒采集和自动增益控制的音乐频谱显示器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4207902B2 (ja) * 2005-02-02 2009-01-14 ヤマハ株式会社 音声合成装置およびプログラム
CN104749497B (zh) * 2014-12-02 2016-05-04 国网电力科学研究院武汉南瑞有限责任公司 对超声波放电检测信号处理后的音频数据可视化的方法
CN106128470A (zh) * 2016-06-29 2016-11-16 努比亚技术有限公司 显示音频频谱的装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635160A (zh) * 2009-06-17 2010-01-27 深圳市美赛达科技有限公司 音乐频谱分析方法、音乐频谱显示装置和音乐播放装置
CN102053810A (zh) * 2009-10-27 2011-05-11 中国移动通信集团公司 一种屏保状态下音乐频谱的显示方法和装置
CN204442300U (zh) * 2015-04-10 2015-07-01 杨黎民 带话筒采集和自动增益控制的音乐频谱显示器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于音乐特征解析的音乐喷泉展示系统的设计与实现;林平;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);I138-3624/正文第1-8,20-21,28-69页 *
快速傅里叶变换在频谱分析中的应用;胡丽莹 等;《福建师范大学学报(自然科学版)》;20110731;第27卷(第4期);第27-30页 *
林平.基于音乐特征解析的音乐喷泉展示系统的设计与实现.《中国优秀硕士学位论文全文数据库 信息科技辑》.2016,(第3期),I138-3624. *

Also Published As

Publication number Publication date
CN107292940A (zh) 2017-10-24
CN112652037A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN107292940B (zh) 一种实时音乐频谱矢量图形的绘制方法
CN110992449B (zh) 舞蹈动作合成方法、装置、设备及存储介质
US20230102055A1 (en) Generating modified digital images utilizing a global and spatial autoencoder
Xie et al. Tree modeling with real tree-parts examples
CN110766776A (zh) 生成表情动画的方法及装置
CN105303506B (zh) 一种基于html5的数据并行处理方法及系统
CN104376309A (zh) 一种基于手势识别的手势运动基元模型结构化方法
US10922852B2 (en) Oil painting stroke simulation using neural network
CN111261177A (zh) 语音转换方法、电子装置及计算机可读存储介质
Galerne et al. Micro-texture synthesis by phase randomization
CN110400254A (zh) 一种口红试妆方法及装置
KR102197653B1 (ko) 스케치-라인 변환 방법, 시스템 및 프로그램
CN109165571B (zh) 用于插入图像的方法和装置
KR20150108241A (ko) 빠르고 자연스러운 지형 생성 방법 및 그 장치
Li et al. An abstract painting generation method based on deep generative model
CN109584146A (zh) 美颜处理方法和装置、电子设备和计算机存储介质
CN113228111A (zh) 图像处理方法、图像处理系统和程序
US20210312590A1 (en) Graphics processing using matrices of transformations
Yan et al. A non-photorealistic rendering method based on Chinese ink and wash painting style for 3D mountain models
CN112580213A (zh) 电场线的显示图像的生成方法和装置、存储介质
CN104484034A (zh) 一种基于手势识别的手势运动基元过渡帧定位方法
CN108492347B (zh) 图像生成方法、装置与计算机可读存储介质
CN109829857A (zh) 一种基于生成对抗网络的倾斜图像的矫正方法及装置
CN112396680B (zh) 毛发流向图的制作方法及装置、存储介质、计算机设备
CN113223128B (zh) 用于生成图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310000 16 / F, HANGGANG metallurgical technology building, 294 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Xiaoying Innovation Technology Co.,Ltd.

Address before: 310000 16 / F, HANGGANG metallurgical technology building, 294 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: Hangzhou Xiaoying Innovation Technology Co.,Ltd.

Address after: 310000 16 / F, HANGGANG metallurgical technology building, 294 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Xiaoying Innovation Technology Co.,Ltd.

Address before: 310013 16th floor, metallurgical science and technology building, no.294, Tianmushan Road, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU QUWEI SCIENCE & TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant