CN116343803A - 音频处理方法、装置、设备及存储介质 - Google Patents

音频处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116343803A
CN116343803A CN202111561784.1A CN202111561784A CN116343803A CN 116343803 A CN116343803 A CN 116343803A CN 202111561784 A CN202111561784 A CN 202111561784A CN 116343803 A CN116343803 A CN 116343803A
Authority
CN
China
Prior art keywords
domain data
processed
audio
frequency
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111561784.1A
Other languages
English (en)
Inventor
焦点
李才顺
李盟
张振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoyi Innovation Technology Group Co ltd
Original Assignee
Zhaoyi Innovation Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoyi Innovation Technology Group Co ltd filed Critical Zhaoyi Innovation Technology Group Co ltd
Priority to CN202111561784.1A priority Critical patent/CN116343803A/zh
Publication of CN116343803A publication Critical patent/CN116343803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/08—Randomization, e.g. dummy operations or using noise
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本公开提供一种音频处理方法、装置、设备及存储介质，涉及数据处理技术领域。该方法包括：对待处理单帧音频的初始时域数据进行时频转换处理，获得待处理单帧音频的初始频域数据，初始频域数据包括频率与幅值对应关系的信息；根据初始频域数据中的频率与幅值对应关系的信息获得待处理单帧音频的低频频域数据；根据低频频域数据获得待处理单帧音频的加密参数序列；根据低频频域数据和初始时域数据获得待处理单帧音频的降噪时域数据；利用加密参数序列对降噪时域数据进行加密，获得待处理单帧音频的加密后的音频数据。该方法提高了生成真随机数的便捷性和灵活性。

Description

音频处理方法、装置、设备及存储介质
技术领域
本公开涉及数据处理技术领域，具体而言，涉及一种音频处理方法、装置、设备及可读存储介质。
背景技术
数据加密，是指通过加密算法和加密密钥将明文转变为密文，在解密时通过解密算法和解密密钥将密文恢复为明文。数据加密是计算机系统对信息进行保护的一种最可靠的办法。在物联网应用中，数据的加密尤其重要。
一些相关技术中采用一些算法生成随机数进行加密，其产生的随机数通常为伪随机数序列，返回的结果有规律可循，用其加密容易被破解。另一些相关技术建立在一种不确定源的基础上产生真随机数，例如电路噪声、空气噪声、光源噪声等现象，基于这些源产生真随机数多需要复杂的电路或者设备，因此这些真随机数发生器的应用场合受到限制。
如上所述，如何提高生成真随机数的便捷性和灵活性以提高加密的可靠性成为亟待解决的问题。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种音频处理方法、装置、设备及可读存储介质，至少在一定程度上克服由于相关技术在不确定源的基础上产生真随机数导致的生成真随机数的便捷性和灵活性较差的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一方面，提供一种音频处理方法，包括：对待处理单帧音频的初始时域数据进行时频转换处理，获得所述待处理单帧音频的初始频域数据，所述初始频域数据包括频率与幅值对应关系的信息；根据所述初始频域数据中的频率与幅值对应关系的信息获得所述待处理单帧音频的低频频域数据；根据所述低频频域数据获得所述待处理单帧音频的加密参数序列；根据所述低频频域数据和所述初始时域数据获得所述待处理单帧音频的降噪时域数据；利用所述加密参数序列对所述降噪时域数据进行加密，获得所述待处理单帧音频的加密后的音频数据。
根据本公开的一实施例，根据所述初始频域数据中的频率与幅值对应关系的信息获得所述待处理单帧音频的低频频域数据，包括：获取所述初始频域数据中幅值低于预设振幅阈值的频率的数据为所述低频频域数据。
根据本公开的一实施例，根据所述低频频域数据获得所述待处理单帧音频的加密参数序列，包括：将所述低频频域数据中的各个频率对应的幅值作为随机数序列，通过非线性函数将所述随机数序列映射为所述加密参数序列。
根据本公开的一实施例，所述非线性函数为S型生长曲线函数。
根据本公开的一实施例，根据所述低频频域数据和所述初始时域数据获得所述待处理单帧音频的降噪时域数据，包括：对所述低频频域数据进行所述时频转换的逆转换处理，获得所述待处理单帧音频的噪声时域数据；将所述待处理单帧音频的初始时域数据中的所述噪声时域数据去除，获得所述待处理单帧音频的降噪时域数据。
根据本公开的一实施例，利用所述加密参数序列对所述降噪时域数据进行加密，获得所述待处理单帧音频的加密后的音频数据，包括：获得所述降噪时域数据的平均幅值；将所述加密参数序列中的各个加密参数与所述平均幅值相乘，获得置乱参数序列；利用音频置乱算法将所述置乱参数序列插入所述降噪时域数据，获得所述待处理单帧音频的加密后的音频数据。
根据本公开的一实施例，还包括：获取待处理音频数据；对所述待处理音频数据进行分帧加窗处理，获得多帧待处理单帧音频的初始时域数据。
根据本公开的再一方面，提供一种音频处理装置，包括：时频转换模块，用于对待处理单帧音频的初始时域数据进行时频转换处理，获得所述待处理单帧音频的初始频域数据，所述初始频域数据包括频率与幅值对应关系的信息；低频频域数据获得模块，用于根据所述初始频域数据中的频率与幅值对应关系的信息获得所述待处理单帧音频的低频频域数据；加密参数序列获得模块，用于根据所述低频频域数据获得所述待处理单帧音频的加密参数序列；降噪时域数据获得模块，用于根据所述低频频域数据和所述初始时域数据获得所述待处理单帧音频的降噪时域数据；乱序模块，用于利用所述加密参数序列对所述降噪时域数据进行加密，获得所述待处理单帧音频的加密后的音频数据。
根据本公开的一实施例，所述低频频域数据获得模块，还用于：获取所述初始频域数据中幅值低于预设振幅阈值的频率的数据为所述低频频域数据。
根据本公开的一实施例，所述加密参数序列获得模块，还用于：将所述低频频域数据中的各个频率对应的幅值作为随机数序列，通过非线性函数将所述随机数序列映射为所述加密参数序列。
根据本公开的一实施例，所述非线性函数为S型生长曲线函数。
根据本公开的一实施例，所述降噪时域数据获得模块，包括：噪声时域数据获得模块，用于对所述低频频域数据进行所述时频转换的逆转换处理，获得所述待处理单帧音频的噪声时域数据；噪声时域数据去除模块，用于将所述待处理单帧音频的初始时域数据中的所述噪声时域数据去除，获得所述待处理单帧音频的降噪时域数据。
根据本公开的一实施例，所述乱序模块，还用于：获得所述降噪时域数据的平均幅值；将所述加密参数序列中的各个加密参数与所述平均幅值相乘，获得置乱参数序列；利用音频置乱算法将所述置乱参数序列插入所述降噪时域数据，获得所述待处理单帧音频的加密后的音频数据。
根据本公开的一实施例，所述装置还包括：分帧加窗模块，用于：获取待处理音频数据；对所述待处理音频数据进行分帧加窗处理，获得多帧待处理单帧音频的初始时域数据。
根据本公开的再一方面，提供一种设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任一种方法。
根据本公开的再一方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上述任一种方法。
本公开的实施例提供的音频处理方法，对待处理单帧音频的初始时域数据进行时频转换处理，获得待处理单帧音频的初始频域数据，然后根据初始频域数据中的频率与幅值对应关系的信息获得待处理单帧音频的低频频域数据，再根据低频频域数据获得待处理单帧音频的加密参数序列；根据低频频域数据和初始时域数据获得待处理单帧音频的降噪时域数据；然后利用加密参数序列对降噪时域数据进行加密，获得待处理单帧音频的加密后的音频数据，从而可实现利用待处理音频中的噪声数据生成真随机数后对降噪后的待处理音频进行加密，提高了生成真随机数的便捷性和灵活性，进而提高了音频加密的可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。
图1示出本公开实施例中一种系统结构的示意图。
图2示出本公开实施例中一种音频处理方法的流程图。
图3示出本公开实施例中一种音频分帧处理方法的流程图。
图4是根据一示例性实施例示出的一种语音信号时域波形图。
图5是根据图4示出的一种单帧语音信号波形图。
图6是根据图5示出的单帧语音信号加窗后的波形图。
图7是根据图6示出的一种单帧语音信号加窗后频谱图。
图8示出了图2中所示的步骤S208在一实施例中的处理过程示意图。
图9示出了图2中所示的步骤S210在一实施例中的处理过程示意图。
图10是根据图2至图9示出的一种生成真随机数加密语音数据的流程示意图。
图11示出本公开实施例中一种音频处理装置的框图。
图12示出本公开实施例中另一种音频处理装置的框图。
图13示出本公开实施例中一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。符号“/”一般表示前后关联对象是一种“或”的关系。
在本公开中，除非另有明确的规定和限定，“连接”等术语应做广义理解，例如，可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
如上所述，一些相关技术中采用一些算法生成随机数进行加密，其产生的随机数通常为伪随机数序列，例如，使用函数time()用来改变种子(seed)，以此得到不同的伪随机数序列，但函数time()返回的结果有规律可循，用其加密容易被破解。另一些相关技术的基础需要依据真随机数来生成无规律的密钥，而真随机数的产生建立在一种不确定源的基础上，如电路噪声，空气噪声，光源噪声等现象，基于这些源产生真随机数多需要复杂的电路或者设备。从成本和便利性的角度来看，这些真随机数发生器的应用场合受到限制。
因此，本公开提供了一种音频处理方法，对待处理单帧音频的初始时域数据进行时频转换处理，获得待处理单帧音频的初始频域数据，然后根据初始频域数据中的频率与幅值对应关系的信息获得待处理单帧音频的低频频域数据，再根据低频频域数据获得待处理单帧音频的加密参数序列；根据低频频域数据和初始时域数据获得待处理单帧音频的降噪时域数据；然后利用加密参数序列对降噪时域数据进行加密，获得待处理单帧音频的加密后的音频数据，从而可实现利用待处理音频中的噪声数据生成真随机数后对降噪后的待处理音频进行加密，提高了生成真随机数的便捷性和灵活性，进而提高了音频加密的可靠性。
图1示出了可以应用本公开的音频处理方法或音频处理装置的示例性系统架构10。
如图1所示，系统架构10可以包括终端设备102、网络104和服务器106。终端设备102可以是具有显示屏并且支持输入、输出的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能麦克风、录音笔、智能音箱等等。网络104用以在终端设备102和服务器106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。服务器106可以是提供各种服务的服务器或服务器集群等，例如可以为后台处理服务器、数据库服务器等等。
用户可以使用终端设备102通过网络104与服务器106交互，以接收或发送数据等。例如用户通过网络104从服务器106上将待处理单帧音频下载到终端设备102上，然后通过终端设备102上的处理软件获得待处理单帧音频的低频频域数据。又例如用户可在终端设备102上进行操作，通过网络104将加密后的音频数据发送到服务器106进行存储。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2是根据一示例性实施例示出的一种音频处理方法的流程图。如图2所示的方法例如可以应用于上述系统中的服务器端，也可以应用于上述系统中的终端设备。
参考图2，本公开实施例提供的方法20可以包括以下步骤。
在步骤S202中，对待处理单帧音频的初始时域数据进行时频转换处理，获得待处理单帧音频的初始频域数据，初始频域数据包括频率与幅值对应关系的信息。
在一些实施例中，可先获得待进行加密处理的音频数据，例如可以是由实施本公开实施例提供的方法的装置的音频采集模块采集得到语音数据。然后对获得待进行加密处理的音频数据进行分帧加窗处理，获得各单帧音频数据分别进行处理。对待进行加密处理的音频数据进行分帧加窗处理的具体实施方式可参照图3至图6。
在一些实施例中，可通过傅里叶变换方法对时域数据进行时频转换处理。例如，可通过离散傅里叶变换(Discrete Fourier Transform，DFT)方法对分帧加窗后的音频数据x[n]进行时频转换：
Figure BDA0003414715690000071
式(1)中，i,k∈[0，N-1]，i、k均为整数。离散傅里叶函数进行时频转换是将时域的波形分解为多个不同频率的正弦波的叠加，则式(1)中N为分解得到的正弦波的个数，可根据实际需要进行设置，例如可以设置为100个、200个等等，也可以设置为512个。
图7是根据图6示出的一种单帧语音信号加窗后频谱图。如图7所示，将图6中单帧语音信号进行DFT转换，分成N＝512个正弦波，图7中示出了这512个正弦波的幅值随频率变化的频谱图，其中表示512个正弦波的频率分布在0-8000Hz之间，纵轴的每个峰值或谷值表示一个正弦波频率对应的幅值，将512个频率点的幅值连线得到了图7中的曲线。
在步骤S204中，根据初始频域数据中的频率与幅值对应关系的信息获得待处理单帧音频的低频频域数据。
在一些实施例中，可以对初始频域数据频谱上的幅值取绝对值后，设置振幅阈值T，将高于阈值T的高振幅频率部分的音频保留作为降噪(频域)数据，低于阈值T的低振幅频率部分的低频频域数据的幅值作为一组真随机数序列作为输出(m1,m2,…mp)，其中p为正整数，p<N(例如N＝512)，将这些作为随机噪声数据。
在一些实施例中，可根据音频数据的音源、环境等因素设置不同的振幅阈值T。
在步骤S206中，根据低频频域数据获得待处理单帧音频的加密参数序列。
在一些实施例中，可以将低频频域数据中的各个频率对应的幅值作为随机数序列，然后通过非线性函数将随机数序列映射为加密参数序列。
在一些实施例中，非线性函数例如可以为S型生长曲线(Sigmoid)函数。例如，可将低频频域数据中的各个频率对应的幅值的真随机数序列(m1,m2,…mp)，经过非线性函数Sigmoid函数映射：
Figure BDA0003414715690000081
式(2)可将单帧音频数据的低频频域数据生成的真随机数序列映射到[0,1]之间的序列(L1,L2,…,Lp)，作为待处理单帧音频的加密参数序列。
在另一些实施例中，非线性函数例如可以为tanh函数。
在步骤S208中，根据低频频域数据和初始时域数据获得待处理单帧音频的降噪时域数据。
在一些实施例中，可以对低频频域数据进行频域到时域的转换获得噪声时域数据后，待处理单帧音频的初始时域数据中的该噪声时域数据去除，获得待处理单帧音频的降噪时域数据，具体实施方式可参照图8。
在另一些实施例中，也可以将待处理单帧音频的初始频域数据中的低频频域数据去除后，将剩余的频域数据进行频域到时域的转换，获得待处理单帧音频的降噪时域数据。
在步骤S210中，利用加密参数序列对降噪时域数据进行加密，获得待处理单帧音频的加密后的音频数据。
在一些实施例中，可利用在步骤S206中根据低频频域数据获得的加密参数序列对步骤S210获得降噪时域数据进行乱序加密，获得待处理单帧音频的加密后的音频数据，具体实施方式可参照图9。
在一些实施例中，可将待处理音频的各帧数据按照步骤S202至步骤S210进行处理后，再将各帧加密后的音频数据进行合并，获得加密后的音频数据。
根据本公开实施例提供的音频处理方法，对待处理单帧音频的初始时域数据进行时频转换处理，获得待处理单帧音频的初始频域数据，然后根据初始频域数据中的频率与幅值对应关系的信息获得待处理单帧音频的低频频域数据，再根据低频频域数据获得待处理单帧音频的加密参数序列；根据低频频域数据和初始时域数据获得待处理单帧音频的降噪时域数据；然后利用加密参数序列对降噪时域数据进行加密，获得待处理单帧音频的加密后的音频数据，从而可实现利用待处理音频中的噪声数据生成真随机数后对降噪后的待处理音频进行加密，提高了生成真随机数的便捷性和灵活性，进而提高了音频加密的可靠性。
在物联网应用场景中，无论是识别终端还是云端，都需要很高加密等级，根据本公开实施例提供的音频处理方法，可从获取的随机音频数据中通过软件得到真随机数序列，以作为加密处理的种子，具有很高实用性；且在降噪过程中得到的真随机数序列，也可为后续的语音识别等应用做好数据上的准备。
图3是根据一示例性实施例示出的一种音频分帧处理方法的流程图。如图3所示的方法例如可以应用于上述系统中的服务器端，也可以应用于上述系统中的终端设备。图3所示的方法可以执行在图2中的步骤S202之前。
参考图3，本公开实施例提供的方法30可以包括以下步骤。
在步骤S302中，获取待处理音频数据。
在一些实施例中，待处理音频数据可以是待进行加密处理的语音信号数据。例如，可以通过音频采集模块获取一段双声道、采样频率为16kHz的PCM(Pulse CodeModulation，脉冲编码调制)格式音频数据x'(n)，其中n表示时间，x'(n)表示随时间n变化的音频振动幅度值(简称为幅值)。
图4是根据一示例性实施例示出的一种语音信号时域波形图。如图4所示，在图4中，若用x'(n)来表示待进行加密处理的语音信号，则0≤n<20s，-1<x'(n)<1，其中幅值可以通过将采样得到PCM数据进行归一化得到。
在步骤S304中，对待处理音频数据进行分帧加窗处理，获得多帧待处理单帧音频的初始时域数据。
在一些实施例中，可以对待处理音频数据进行分帧加窗处理，帧长度和分帧步长可以按照实际情况进行设置，例如帧长度可以设置为20ms、30ms、50ms等等，步长可以设置为10ms、20ms、40ms等等。例如，对于图4中的语音信号音频数据x'(n)，可以设置32ms音频为一帧，以步长20ms进行分帧，相邻两帧之间有(32-20＝)12ms的重叠，并在最后一帧处加一帧作为补偿帧，即最后一帧为(32+32＝)64ms的音频，用于保留音频的边界信息。
图5是根据图4示出的一种单帧语音信号波形图。如图5所示，图5是图4中第50帧的语音信号波形图，其中在第50帧的32ms音频中随机采样512个采样点，则图5中的横轴时间的单位为(32/512＝)0.0625ms，则对于该采样数帧的移动步长为(20/0.0625＝)320，第50帧的语音信号的幅值在-0.5至0.5之间。
在一些实施例中，可以采用汉明窗作加窗处理，例如，窗函数可以为
Figure BDA0003414715690000101
式(3)中，a、b为单帧音频数据在时间轴(横轴)上的起、止两个时间点，以图5的单帧语音信号为例，a+32ms＝b，a每次增加20ms。利用式(3)对音频数据x'(n)进行分帧加窗处理的表达式可以为：
x[n]＝x′(n)WHamming(a-b) (4)
式(4)中，x[n]为音频数据x'(n)进行分帧加窗处理后音频数据。
图6是根据图5示出的单帧语音信号加窗后的波形图。如图6所示，对图5中的单帧语音信号进行式(4)的加汉明窗处理后，信号的振幅波形更加平滑。
图8示出了图2中所示的步骤S208在一实施例中的处理过程示意图。如图8所示，本公开实施例中，上述步骤S208可以进一步包括以下步骤。
步骤S802，对低频频域数据进行时频转换的逆转换处理，获得待处理单帧音频的噪声时域数据。
在一些实施例中，可对步骤S204得到的低频频域数据进行时频转换的逆转换处理，例如可进行离散傅里叶变换的逆变换(Inverse Discrete Fourier Transform，IDFT)，获得噪声信号时域数据集Vs。
步骤S804，将待处理单帧音频的初始时域数据中的噪声时域数据去除，获得待处理单帧音频的降噪时域数据。
在一些实施例中，可将待处理单帧音频的初始时域数据中的噪声时域数据去除，获得剩余的降噪音频数据集{V}作为有效语音信号。
根据本公开实施例提供的方法，将采集的音频数据中的幅值较低的频率分量作为噪声音频数据去除后进行加密处理，可以获得音质更高的加密的音频数据。
图9示出了图2中所示的步骤S210在一实施例中的处理过程示意图。如图9所示，本公开实施例中，上述步骤S210可以进一步包括以下步骤。
步骤S902，获得降噪时域数据的平均幅值。
步骤S904，将加密参数序列中的各个加密参数与平均幅值相乘，获得置乱参数序列。
步骤S906，利用音频置乱算法将置乱参数序列插入降噪时域数据，获得待处理单帧音频的加密后的音频数据。
在一些实施例中，例如，可以将生成的真随机数序列(L1,L2,…,Lp)作为加密音频数据产生过程的一个输入参数，乘以获得的降噪音频数据集{V}的平均幅值得到置乱参数序列，并采用可以进行语音数据置乱的算法将置乱参数序列再插入到降噪音频数据集{V}，得到加密音频数据集{Vsec}。
图10是根据图2至图9示出的一种生成真随机数加密语音数据的流程示意图。如图10所示，首先将输入的语音数据10002进行前处理操作(S1002)，包括分帧加窗(S10022)处理获得单帧音频数据，然后将各单帧音频数据进行离散傅里叶变换(S10024)；对于各单帧音频数据的频域数据，将单帧频域数据的幅值取绝对值(S1004)后，取幅值低于预设阈值部分的采样点作为噪声数据(S1006)，通过Sigmoid函数进行非线性处理(S1008)获得真随机数序列；将输入的语音数据1002中由步骤S1006得到的噪声数据去除(S1010)，将得到的降噪数据通过S1008获得的真随机数序列进行乱序加密(S1012)，得到单帧加密数据，最后将各帧加密数据合并为加密语音数据10006输出。
图11是根据一示例性实施例示出的一种音频处理装置的框图。如图11所示的装置例如可以应用于上述系统中的服务器端，也可以应用于上述系统中的终端设备。
参考图11，本公开实施例提供的装置110可以包括时频转换模块1102、低频频域数据获得模块1104、加密参数序列获得模块1106、降噪时域数据获得模块1108和乱序模块1110。
时频转换模块1102可用于对待处理单帧音频的初始时域数据进行时频转换处理，获得待处理单帧音频的初始频域数据，初始频域数据包括频率与幅值对应关系的信息。
低频频域数据获得模块1104可用于根据初始频域数据中的频率与幅值对应关系的信息获得待处理单帧音频的低频频域数据。
加密参数序列获得模块1106可用于根据低频频域数据获得待处理单帧音频的加密参数序列。
降噪时域数据获得模块1108可用于根据低频频域数据和初始时域数据获得待处理单帧音频的降噪时域数据。
乱序模块1110可用于利用加密参数序列对降噪时域数据进行加密，获得待处理单帧音频的加密后的音频数据。
图12是根据一示例性实施例示出的另一种音频处理装置的框图。如图12所示的装置例如可以应用于上述系统中的服务器端，也可以应用于上述系统中的终端设备。
参考图12，本公开实施例提供的装置120可以包括分帧加窗模块1201、时频转换模块1202、低频频域数据获得模块1204、加密参数序列获得模块1206、降噪时域数据获得模块1208和乱序模块1210，降噪时域数据获得模块1208可以包括噪声时域数据获得模块12082和噪声时域数据去除模块12084。
分帧加窗模块1201可用于：获取待处理音频数据；对待处理音频数据进行分帧加窗处理，获得多帧待处理单帧音频的初始时域数据。
时频转换模块1202可用于对待处理单帧音频的初始时域数据进行时频转换处理，获得待处理单帧音频的初始频域数据，初始频域数据包括频率与幅值对应关系的信息。
低频频域数据获得模块1204可用于根据初始频域数据中的频率与幅值对应关系的信息获得待处理单帧音频的低频频域数据。
低频频域数据获得模块1204还可用于获取初始频域数据中幅值低于预设振幅阈值的频率的数据为低频频域数据。
加密参数序列获得模块1206可用于根据低频频域数据获得待处理单帧音频的加密参数序列。
加密参数序列获得模块1206还可用于将低频频域数据中的各个频率对应的幅值作为随机数序列，通过非线性函数将随机数序列映射为加密参数序列。
非线性函数可以为S型生长曲线函数。
降噪时域数据获得模块1208可用于根据低频频域数据和初始时域数据获得待处理单帧音频的降噪时域数据。
噪声时域数据获得模块12082可用于对低频频域数据进行时频转换的逆转换处理，获得待处理单帧音频的噪声时域数据。
噪声时域数据去除模块12084可用于将待处理单帧音频的初始时域数据中的噪声时域数据去除，获得待处理单帧音频的降噪时域数据。
乱序模块1210可用于利用加密参数序列对降噪时域数据进行加密，获得待处理单帧音频的加密后的音频数据。
乱序模块1210还可用于：获得降噪时域数据的平均幅值；将加密参数序列中的各个加密参数与平均幅值相乘，获得置乱参数序列；利用音频置乱算法将置乱参数序列插入降噪时域数据，获得待处理单帧音频的加密后的音频数据。
本公开实施例提供的装置中的各个模块的具体实现可以参照上述方法中的内容，此处不再赘述。
图13示出本公开实施例中一种电子设备的结构示意图。需要说明的是，图13示出的设备仅以计算机系统为示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图13所示，设备1300包括中央处理单元(CPU)1301，其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。在RAM 1303中，还存储有设备1300操作所需的各种程序和数据。CPU1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
以下部件连接至I/O接口1305：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入存储部分1308。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被中央处理单元(CPU)1301执行时，执行本公开的系统中限定的上述功能。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括时频转换模块、低频频域数据获得模块、加密参数序列获得模块、降噪时域数据获得模块和乱序模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，时频转换模块还可以被描述为“将时域数据转换为频域数据的模块”。
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
对待处理单帧音频的初始时域数据进行时频转换处理，获得待处理单帧音频的初始频域数据，初始频域数据包括频率与幅值对应关系的信息；根据初始频域数据中的频率与幅值对应关系的信息获得待处理单帧音频的低频频域数据；根据低频频域数据获得待处理单帧音频的加密参数序列；根据低频频域数据和初始时域数据获得待处理单帧音频的降噪时域数据；利用加密参数序列对降噪时域数据进行加密，获得待处理单帧音频的加密后的音频数据。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种音频处理方法，其特征在于，包括：
对待处理单帧音频的初始时域数据进行时频转换处理，获得所述待处理单帧音频的初始频域数据，所述初始频域数据包括频率与幅值对应关系的信息；
根据所述初始频域数据中的频率与幅值对应关系的信息获得所述待处理单帧音频的低频频域数据；
根据所述低频频域数据获得所述待处理单帧音频的加密参数序列；
根据所述低频频域数据和所述初始时域数据获得所述待处理单帧音频的降噪时域数据；
利用所述加密参数序列对所述降噪时域数据进行加密，获得所述待处理单帧音频的加密后的音频数据。
2.根据权利要求1所述的方法，其特征在于，根据所述初始频域数据中的频率与幅值对应关系的信息获得所述待处理单帧音频的低频频域数据，包括：
获取所述初始频域数据中幅值低于预设振幅阈值的频率的数据为所述低频频域数据。
3.根据权利要求1或2所述的方法，其特征在于，根据所述低频频域数据获得所述待处理单帧音频的加密参数序列，包括：
将所述低频频域数据中的各个频率对应的幅值作为随机数序列，通过非线性函数将所述随机数序列映射为所述加密参数序列。
4.根据权利要求3所述的方法，其特征在于，所述非线性函数为S型生长曲线函数。
5.根据权利要求1所述的方法，其特征在于，根据所述低频频域数据和所述初始时域数据获得所述待处理单帧音频的降噪时域数据，包括：
对所述低频频域数据进行所述时频转换的逆转换处理，获得所述待处理单帧音频的噪声时域数据；
将所述待处理单帧音频的初始时域数据中的所述噪声时域数据去除，获得所述待处理单帧音频的降噪时域数据。
6.根据权利要求1所述的方法，其特征在于，利用所述加密参数序列对所述降噪时域数据进行加密，获得所述待处理单帧音频的加密后的音频数据，包括：
获得所述降噪时域数据的平均幅值；
将所述加密参数序列中的各个加密参数与所述平均幅值相乘，获得置乱参数序列；
利用音频置乱算法将所述置乱参数序列插入所述降噪时域数据，获得所述待处理单帧音频的加密后的音频数据。
7.根据权利要求2至5中任意一项所述的方法，其特征在于，还包括：
获取待处理音频数据；
对所述待处理音频数据进行分帧加窗处理，获得多帧待处理单帧音频的初始时域数据。
8.一种音频处理装置，其特征在于，包括：
时频转换模块，用于对待处理单帧音频的初始时域数据进行时频转换处理，获得所述待处理单帧音频的初始频域数据，所述初始频域数据包括频率与幅值对应关系的信息；
低频频域数据获得模块，用于根据所述初始频域数据中的频率与幅值对应关系的信息获得所述待处理单帧音频的低频频域数据；
加密参数序列获得模块，用于根据所述低频频域数据获得所述待处理单帧音频的加密参数序列；
降噪时域数据获得模块，用于根据所述低频频域数据和所述初始时域数据获得所述待处理单帧音频的降噪时域数据；
乱序模块，用于利用所述加密参数序列对所述降噪时域数据进行加密，获得所述待处理单帧音频的加密后的音频数据。
9.一种设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-7任一项所述的方法。
CN202111561784.1A 2021-12-16 2021-12-16 音频处理方法、装置、设备及存储介质 Pending CN116343803A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111561784.1A CN116343803A (zh) 2021-12-16 2021-12-16 音频处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111561784.1A CN116343803A (zh) 2021-12-16 2021-12-16 音频处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116343803A true CN116343803A (zh) 2023-06-27

Family

ID=86882744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111561784.1A Pending CN116343803A (zh) 2021-12-16 2021-12-16 音频处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116343803A (zh)

Similar Documents

Publication Publication Date Title
CN107068161B (zh) 基于人工智能的语音降噪方法、装置和计算机设备
Li et al. A generalized synchrosqueezing transform for enhancing signal time–frequency representation
CN112820315B (zh) 音频信号处理方法、装置、计算机设备及存储介质
CN113345460B (zh) 音频信号处理方法、装置、设备及存储介质
EP4261825A1 (en) Speech enhancement method and apparatus, device, and storage medium
CN112309414A (zh) 基于音频编解码的主动降噪方法、耳机及电子设备
CN112992190B (zh) 音频信号的处理方法、装置、电子设备和存储介质
CN110138654A (zh) 用于处理语音的方法和装置
CN112669870B (zh) 语音增强模型的训练方法、装置和电子设备
CN116343803A (zh) 音频处理方法、装置、设备及存储介质
Li et al. Learning normality is enough: a software-based mitigation against inaudible voice attacks
Kemp et al. Impulse response measurement of nonlinear systems: Properties of existing techniques and wide noise sequences
CN111369475B (zh) 用于处理视频的方法和装置
CN115171713A (zh) 语音降噪方法、装置、设备及计算机可读存储介质
JP2024502287A (ja) 音声強調方法、音声強調装置、電子機器、及びコンピュータプログラム
CN111415674A (zh) 语音降噪方法及电子设备
CN114267369A (zh) 一种基于均衡器的语音数据增强方法、装置及可读介质
CN110880957B (zh) 声波通信方法及装置、电子设备
CN111145776B (zh) 音频处理方法和装置
CN111210837B (zh) 音频处理方法和装置
CN111768771B (zh) 用于唤醒电子设备的方法和装置
US20240185875A1 (en) System and method for replicating background acoustic properties using neural networks
CN118098245A (zh) 声纹识别模型的训练方法、声纹识别方法及装置
Babu Reduction of impulsive noise from speech and audio signals by using sd-rom algorithm
CN117631042A (zh) 一种地震信号重构方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination