CN117409761A - 基于频率调制的人声合成方法、装置、设备及存储介质 - Google Patents

基于频率调制的人声合成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117409761A
CN117409761A CN202311721535.3A CN202311721535A CN117409761A CN 117409761 A CN117409761 A CN 117409761A CN 202311721535 A CN202311721535 A CN 202311721535A CN 117409761 A CN117409761 A CN 117409761A
Authority
CN
China
Prior art keywords
voice
data
analysis
character
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311721535.3A
Other languages
English (en)
Other versions
CN117409761B (zh
Inventor
熊悦
李庆余
熊晨阳
黄智�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shengfeite Technology Co ltd
Original Assignee
Shenzhen Shengfeite Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shengfeite Technology Co ltd filed Critical Shenzhen Shengfeite Technology Co ltd
Priority to CN202311721535.3A priority Critical patent/CN117409761B/zh
Publication of CN117409761A publication Critical patent/CN117409761A/zh
Application granted granted Critical
Publication of CN117409761B publication Critical patent/CN117409761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G10L13/0335—Pitch control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及数据处理的技术领域，公开了一种基于频率调制的人声合成方法、装置、设备及存储介质。所述基于频率调制的人声合成方法包括：通过目标设备获取源人声信号，并对所述源人声信号进行预处理，得到目标信号；通过预设的第一分析算法对所述目标信号进行第一分析，得到人声音色参数，并通过预设的第二分析算法对所述目标信号进行第二分析，得到人声语义信息；基于所述人声语义信息和所述人声音色参数，从预设的参数数据库中匹配对应的调制参数；本发明不仅确保了人声信号处理的准确性和效率，而且通过精确的特征提取、高效的参数匹配、个性化的声音重构以及全面的声音评估，大大提高了重构语音的质量和用户满意度。

Description

基于频率调制的人声合成方法、装置、设备及存储介质
技术领域
本发明涉及数据处理的技术领域，尤其涉及一种基于频率调制的人声合成方法、装置、设备及存储介质。
背景技术
随着语音技术的快速发展，人们对于语音的质量和准确性要求越来越高。特别是在娱乐、通信和语音助手等领域，高质量的语音重构成为了一个关键需求。传统的语音处理方法主要依赖于固定的算法和模型，这些方法在处理复杂的人声信号时可能无法达到理想的效果。
尽管有很多技术可以对人声信号进行处理，但现有的方法在提取语音的音色和语义信息方面可能不够精准。音色和语义信息的提取是语音重构的基础，如果提取不准确，将直接影响到重构语音的质量。此外，现有技术在匹配调制参数时，可能没有充分利用预设的参数数据库，导致重构语音与原始语音之间存在差异。再者，现有的声音重构模型可能没有针对不同的声音特点进行个性化的调整，从而降低了语音重构的效果。
因此，现有的人声信号处理和重构技术在音色和语义信息提取、调制参数匹配以及声音重构模型调整方面存在明显的局限性，这些问题亟待解决。
发明内容
本发明提供了一种基于频率调制的人声合成方法、装置、设备及存储介质，用于实现如何解决现有的人声信号处理和重构技术在音色和语义信息提取、调制参数匹配以及声音重构模型调整方面存在的局限性问题。
本发明第一方面提供了一种基于频率调制的人声合成方法，所述基于频率调制的人声合成方法包括：
通过目标设备获取源人声信号，并对所述源人声信号进行预处理，得到目标信号；其中，所述预处理至少包括模数转换；
通过预设的第一分析算法对所述目标信号进行第一分析，得到人声音色参数，并通过预设的第二分析算法对所述目标信号进行第二分析，得到人声语义信息；其中，所述第一分析为谐波分析，所述第二分析为语义提取分析；
基于所述人声语义信息和所述人声音色参数，从预设的参数数据库中匹配对应的调制参数；其中，数据库中提前存储有所述人声语义信息、所述人声音色参数与所述调制参数的匹配规则；
获取初始的声音重构模型，并基于匹配的所述调制参数调整初始的声音重构模型的参数，得到调整后的声音重构模型；
将所述目标信号输入至调整后的声音重构模型中，得到重构语音，并对所述重构语音与所述源人声信号进行评估分析，得到所述重构语音的音质报告。
可选的，在本发明第一方面的第一种实现方式中，所述目标设备的选取过程，包括：
发送基于无线频率识别的近场通信协议至有源声音地理坐标的初始设备，接收初始设备电子标签反馈的加密认证信息；
通过预设的深度学习算法对接收到的加密认证信息进行实时解析，得到解析数据，从所述解析数据中获取采集的数据包，将所述数据包解析为制造商识别块、数据保护框架块和检索识别块；
通过训练后的深度神经网络模型解码制造商识别块中的制造商特征信息，并对比预设的制造商数据库，找到与制造商特征信息相关的数据表；
从数据保护框架块中解析出初始设备的数据加密框架，并通过预设的哈希函数对数据加密框架进行哈希运算，生成唯一哈希标签；
在所述数据表中筛选包含唯一哈希标签的数据列；其中，所述数据列包括多个具有数据采集权限的初始设备及其对应的编码；
基于训练后的文本相似性评价模型，将每个初始设备对应的编码与检索识别块进行字符级别的相似性评估，选拔出与检索识别块的字符级别相似度高于设定阈值的设备作为采集源人声信号的目标设备。
可选的，在本发明第一方面的第二种实现方式中，所述基于所述人声语义信息和所述人声音色参数，从预设的参数数据库中匹配对应的调制参数，包括：
基于获取的人声语义信息和人声音色参数，通过预设的参数处理规则，将所述人声语义信息与人声音色参数进行分离处理，得到语义特征数据和音色特征数据；其中，所述语义特征数据由字符汇、语句结构和情境含义组成，所述音色特征数据由声带震动、发音形式和声道共振特征组成；
从语义特征数据提取第一语义数据和从音色特征数据中提取第二音色数据；其中，所述第一语义数据由多个语义单位组成，所述第二音色数据由一系列的声学特征组成；
基于预设的音色特征组合规则，将所述第一语义数据与所述第二音色数据组合为目标声音特征组合；
根据所述目标声音特征组合，对预设的标准编码表进行重新编排，生成声音编码表；
利用声音编码表对第一语义数据和第二音色数据进行解码，得到语义音色数据；
根据所述语义音色数据，在预设参数数据库中查找对应的调制参数；其中，数据库中提前存储有语义音色数据与调制参数的映射关系。
可选的，在本发明第一方面的第三种实现方式中，所述文本相似性评价模型的训练过程，包括：
获取语料库数据，利用深度学习技术对语料库数据进行语义理解和字符级别的识别标记，得到文本数据，将所述文本数据输入至初级的深度学习网络中；所述初级的深度学习网络包含一个字符级相关度模型、一个字符变化模式预测模型，以及一个字符分布模式解析模型；
基于所述字符级相关度模型，通过代码扫描语料库中每个字符的出现频率和对应位置信息，生成字符级识别表格；其中，所述字符级识别表格记录每个字符的位置、出现频率和分布情况；
通过字符变化模式预测模型，结合时间序列分析和字符级分析，对字符出现的变化进行预测，生成动态模式预测表；其中，所述动态模式预测表记录低频字符、高频字符和噪声字符的更迭变化模式；
通过字符分布模式解析模型对字符的分布模式进行解析，生成字符级分布图；其中，所述字符级分布图中所有的预测事件都以分布图的形式保存；
根据预测得到的字符级识别表格、动态模式预测表、字符级分布图和实际的字符级识别表格、实际的动态模式预测表、实际的字符级分布图计算对应的误差值；分别运用自适应超参数调整算法、动态学费率调整算法和批量归一化优化算法优化网络的权重，调整文本相似性评价模型的参数，并将各个误差值最小化，经过多次优化调整，得到训练后的文本相似性评价模型。
可选的，在本发明第一方面的第四种实现方式中，所述预处理还包括：噪声去除、基音周期检测、语音分割和频率特征提取。
本发明第二方面提供了一种基于频率调制的人声合成装置，所述基于频率调制的人声合成装置包括：
获取模块，用于通过目标设备获取源人声信号，并对所述源人声信号进行预处理，得到目标信号；其中，所述预处理至少包括模数转换；
分析模块，用于通过预设的第一分析算法对所述目标信号进行第一分析，得到人声音色参数，并通过预设的第二分析算法对所述目标信号进行第二分析，得到人声语义信息；其中，所述第一分析为谐波分析，所述第二分析为语义提取分析；
匹配模块，用于基于所述人声语义信息和所述人声音色参数，从预设的参数数据库中匹配对应的调制参数；其中，数据库中提前存储有所述人声语义信息、所述人声音色参数与所述调制参数的匹配规则；
调整模块，用于获取初始的声音重构模型，并基于匹配的所述调制参数调整初始的声音重构模型的参数，得到调整后的声音重构模型；
评估模块，用于将所述目标信号输入至调整后的声音重构模型中，得到重构语音，并对所述重构语音与所述源人声信号进行评估分析，得到所述重构语音的音质报告。
本发明第三方面提供了一种基于频率调制的人声合成设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于频率调制的人声合成设备执行上述的基于频率调制的人声合成方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于频率调制的人声合成方法。
本发明提供的技术方案中，有益效果：本发明提供一种基于频率调制的人声合成方法、装置、设备及存储介质，通过目标设备获取源人声信号，并对所述源人声信号进行预处理，得到目标信号；通过预设的第一分析算法对所述目标信号进行第一分析，得到人声音色参数，并通过预设的第二分析算法对所述目标信号进行第二分析，得到人声语义信息；基于所述人声语义信息和所述人声音色参数，从预设的参数数据库中匹配对应的调制参数；获取初始的声音重构模型，并基于匹配的所述调制参数调整初始的声音重构模型的参数，得到调整后的声音重构模型；将所述目标信号输入至调整后的声音重构模型中，得到重构语音，并对所述重构语音与所述源人声信号进行评估分析，得到所述重构语音的音质报告。本发明采用预设的第一分析算法和第二分析算法，分别进行谐波分析和语义提取分析，确保从人声信号中准确地提取出音色参数和语义信息，这为后续的声音重构提供了强有力的基础。并且通过基于提取的人声语义信息和音色参数，从预设的参数数据库中匹配调制参数，可以确保声音重构过程更加个性化和精确。由于数据库中存储有匹配规则，这进一步简化和加速了匹配过程。获取初始的声音重构模型并基于匹配的调制参数进行参数调整，确保重构的声音更加接近于源人声信号的原始特点。这种个性化的模型调整方法大大提高了声音重构的质量。最后将目标信号输入到调整后的声音重构模型中，得到重构语音，然后与源人声信号进行评估分析，得到音质报告。确保其与原始语音尽可能接近，并满足用户的需求。
附图说明
图1为本发明实施例中基于频率调制的人声合成方法的一个实施例示意图；
图2为本发明实施例中基于频率调制的人声合成装置的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于频率调制的人声合成方法、装置、设备及存储介质。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于频率调制的人声合成方法的一个实施例包括：
步骤101、通过目标设备获取源人声信号，并对所述源人声信号进行预处理，得到目标信号；其中，所述预处理至少包括模数转换；
可以理解的是，本发明的执行主体可以为基于频率调制的人声合成装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，为了实现步骤101，以下是一种具体实施例：
确定使用目标设备，如麦克风或电话接收器，以从环境中获取源人声信号。目标设备可能通过电缆或无线连接与处理设备相连。
针对获取的源人声信号进行预处理，以净化信号并提取目标信号。预处理的目标是将源人声信号优化为便于后续处理的形式。
在预处理过程中，应用模数转换技术将源人声信号转换为数字信号，以便在数字域中进行后续处理。模数转换的过程包括以下步骤：
a. 抽样：通过定期测量源人声信号的幅度值，在一定时间间隔内离散地获取信号的样本值。抽样频率决定了每秒抽取的样本数。
b. 量化：将抽样获得的连续的模拟信号样本值转换为一系列离散的数字化数值，每个数字化数值表示一个样本值的幅度。
c. 编码：对量化后的数字化数值进行编码，以便在数字系统中传输和存储。编码技术可能包括脉冲编码调制（PCM）或其他适用的数字编码方案。
经过模数转换后，得到的目标信号是数字化的，可以在数字域中进行后续处理，如语音增强、语音识别等。
步骤102、通过预设的第一分析算法对所述目标信号进行第一分析，得到人声音色参数，并通过预设的第二分析算法对所述目标信号进行第二分析，得到人声语义信息；其中，所述第一分析为谐波分析，所述第二分析为语义提取分析；
具体的，为了实现步骤102，以下是一种具体实施例：
使用谐波分析算法进行第一分析，以从目标信号中提取人声音色参数。谐波分析是一种数学方法，用于识别周期性信号中的基频和谐波分量。谐波分析方法可以帮助分析音色、音调和音高。谐波分析的过程包括以下步骤：
a. 对目标信号进行快速傅里叶变换（FFT），将信号转换为频域信号。
b. 通过找到频谱的峰值，识别信号中的基频和谐波分量。
c. 通过计算不同频率的分量的振幅比例，提取出信号的音色参数。
使用语义提取分析算法进行第二分析，以从目标信号中提取人声语义信息。语义提取分析是一种计算机技术，用于从语音信号中提取出语义信息。语义提取分析的过程包括以下步骤：
a. 提取语音信号的基本单位，如音素或词。
b. 建立大量的词汇和音素的对应关系，并将其存储在语料库中。
c. 将语音信号与语料库中的音素和词汇进行匹配，并利用概率模型确定最有可能的匹配结果。
经过第一分析和第二分析后，得到了人声音色参数和人声语义信息，可以用于后续处理和分析。例如，可以利用第二分析得到的语义信息，执行语音识别和指令识别等任务。
步骤103、基于所述人声语义信息和所述人声音色参数，从预设的参数数据库中匹配对应的调制参数；其中，数据库中提前存储有所述人声语义信息、所述人声音色参数与所述调制参数的匹配规则；
具体的，为了实现步骤103，以下是一种具体实施例：
设计和建立一个参数数据库，数据库中存储了人声语义信息、人声音色参数以及与之对应的调制参数的匹配规则。数据库可以使用关系型数据库管理系统（如MySQL）或其他合适的数据存储方式来实现。例如，可以创建一个包含不同语义情感（如喜悦、悲伤、惊讶等）和音色特征（如明亮、沉稳、柔和等）的表格，每个单元格中存储对应的调制参数。
基于人声语义信息和人声音色参数，从参数数据库中检索匹配的调制参数。根据事先定义的匹配规则，利用数据库查询语言（如SQL）或其他适当的数据检索方法，选择满足指定语义信息和音色参数的调制参数。
根据所选的调制参数，对输入信号进行调制处理，以产生符合所述语义和音色需求的输出信号。调制处理可以采用不同的方法，如加性合成、频率调制或幅度调制等。通过将所选调制参数应用于输入信号中的特定频率范围或幅度范围，可以调整信号的音色和声音特征，以满足所需的语义和音色效果。
输出调制处理后的信号，可用于各种应用，如语音合成、语音音乐合成、语音广播等。
步骤104、获取初始的声音重构模型，并基于匹配的所述调制参数调整初始的声音重构模型的参数，得到调整后的声音重构模型；
具体的，为了实现步骤104，以下是一种具体实施例：
获取初始的声音重构模型。声音重构模型是一种数学模型，用于将调制参数应用于输入信号，以重构声音信号。这个模型可以采用多种形式，如数字滤波器模型、神经网络模型或深度学习模型等。在这个例子中，我们使用数字滤波器模型作为初始的声音重构模型。
根据所述调制参数，调整初始声音重构模型的参数。初始的声音重构模型具有一组初始参数，其中包括数字滤波器的系数或权重。通过根据匹配得到的调制参数的值，调整滤波器的参数，以适应所需的音色特征。
调整声音重构模型的参数可以采用不同的方法，例如最小均方误差（MeanSquared Error，MSE）最小化、梯度下降或遗传算法等。具体的调整方法取决于所使用的声音重构模型类型。
执行参数调整算法，通过在训练数据集上训练模型，使用匹配到的调制参数和相应的目标声音输出，来不断优化声音重构模型的参数。通过迭代训练和参数调整过程，可以得到调整后的声音重构模型。
调整后的声音重构模型能够更好地反映匹配到的调制参数对声音信号的影响，从而更准确地重构目标声音。例如，根据调制参数指定滤波器的带通范围和幅度响应，可以改变声音信号的频率特性和动态范围，以实现所需的声音效果。
步骤105、将所述目标信号输入至调整后的声音重构模型中，得到重构语音，并对所述重构语音与所述源人声信号进行评估分析，得到所述重构语音的音质报告。
具体的，为了实现步骤105，以下是一种具体实施例：
将目标信号输入至调整后的声音重构模型中。目标信号可以是数字化的人声语音信号，通过步骤101中的预处理过程获取并转换为数字信号。调整后的声音重构模型接受这个目标信号作为输入，根据其参数调整后的设置，对目标信号进行重构和处理。
在调整后的声音重构模型中，目标信号经过声音重建处理，以产生重构语音。声音重建处理会根据调整后的声音重构模型的配置和参数设置，对目标信号中的音色、音调和声音特征进行调整和恢复。这样可以生成一个或多个重构语音信号。
进行评估分析，通过比较重构语音与源人声信号之间的差异，以得到重构语音的音质报告。评估分析可以采用多种标准和指标，例如信噪比（SNR）、频谱失真、语音清晰度等。通过计算这些指标，可以量化重构语音与源人声信号之间的差异和音质表现。
使用音频信号处理工具和算法，对重构语音和源人声信号进行分析和比较。例如，可以使用音频编辑软件（如Adobe Audition）进行频谱分析，通过对频谱特征的比较和评估，得出重构语音的音质报告。另外，还可以使用主观评估方法，通过人工听觉评估来评估重构语音的音质。
本发明实施例中，有益效果：本发明实施例通过定量和定性的分析比较，可以评估重构语音与源人声信号之间的相似性和音质表现，从而验证和优化该技术的效果和性能。提供了更准确和可靠的音质报告。本发明实施例不仅确保了人声信号处理的准确性和效率，而且通过精确的特征提取、高效的参数匹配、个性化的声音重构以及全面的声音评估，大大提高了重构语音的质量和用户满意度。
本发明实施例中基于频率调制的人声合成方法的另一个实施例包括：
所述目标设备的选取过程，包括：
发送基于无线频率识别的近场通信协议至有源声音地理坐标的初始设备，接收初始设备电子标签反馈的加密认证信息；
通过预设的深度学习算法对接收到的加密认证信息进行实时解析，得到解析数据，从所述解析数据中获取采集的数据包，将所述数据包解析为制造商识别块、数据保护框架块和检索识别块；
通过训练后的深度神经网络模型解码制造商识别块中的制造商特征信息，并对比预设的制造商数据库，找到与制造商特征信息相关的数据表；
从数据保护框架块中解析出初始设备的数据加密框架，并通过预设的哈希函数对数据加密框架进行哈希运算，生成唯一哈希标签；
在所述数据表中筛选包含唯一哈希标签的数据列；其中，所述数据列包括多个具有数据采集权限的初始设备及其对应的编码；
基于训练后的文本相似性评价模型，将每个初始设备对应的编码与检索识别块进行字符级别的相似性评估，选拔出与检索识别块的字符级别相似度高于设定阈值的设备作为采集源人声信号的目标设备。本发明实施例中，有益效果
具体的，本发明的一个具体实施例中，提供了一种目标设备选取方法，包括以下步骤：
发送基于无线频率识别的近场通信协议至有源声音地理坐标的初始设备，接收初始设备电子标签反馈的加密认证信息：
例如，利用设备身上的RFID（射频识别）读写器发送通信协议，接收到初始设备（比如智能手机、智能音箱等）电子标签反馈的加密认证信息。
通过预设的深度学习算法对接收到的加密认证信息进行实时解析，得到解析数据：
这个预设的深度学习算法可以利用人工神经网络、卷积神经网络（CNN）或循环神经网络（RNN）等深度学习技术。
从所述解析数据中获取采集的数据包，将所述数据包解析为制造商识别块、数据保护框架块和检索识别块。
通过训练后的深度神经网络模型解码制造商识别块中的制造商特征信息，并对比预设的制造商数据库，找到与制造商特征信息相关的数据表：
例如，可以将制造商的名称、品牌、型号等各种特征信息与数据库里的数据进行对比，找出制造商的唯一标识。
从数据保护框架块中解析出初始设备的数据加密框架，并通过预设的哈希函数对数据加密框架进行哈希运算，生成唯一哈希标签。
在所述数据表中筛选包含唯一哈希标签的数据列：
这一步可以快速准确地找出初始设备的相关信息。
基于训练后的文本相似性评价模型，将每个初始设备对应的编码与检索识别块进行字符级别的相似性评估，选拔出与检索识别块的字符级别相似度高于设定阈值的设备作为采集源人声信号的目标设备：
可以使用文本相似性评价模型，比如余弦相似度、欧氏距离等其他文本相似性评估方法，来评价初始设备的编码与检索识别块的相似度。
本发明实施例中，有益效果：本发明实施例能够对近场的设备进行有策略地筛选，更有效的选取符合条件的设备作为人声信号的采集设备，进一步提高采集效率及采集的人声信号质量。
本发明实施例中基于频率调制的人声合成方法的另一个实施例包括：
所述基于所述人声语义信息和所述人声音色参数，从预设的参数数据库中匹配对应的调制参数，包括：
基于获取的人声语义信息和人声音色参数，通过预设的参数处理规则，将所述人声语义信息与人声音色参数进行分离处理，得到语义特征数据和音色特征数据；其中，所述语义特征数据由字符汇、语句结构和情境含义组成，所述音色特征数据由声带震动、发音形式和声道共振特征组成；
从语义特征数据提取第一语义数据和从音色特征数据中提取第二音色数据；其中，所述第一语义数据由多个语义单位组成，所述第二音色数据由一系列的声学特征组成；
基于预设的音色特征组合规则，将所述第一语义数据与所述第二音色数据组合为目标声音特征组合；
根据所述目标声音特征组合，对预设的标准编码表进行重新编排，生成声音编码表；
利用声音编码表对第一语义数据和第二音色数据进行解码，得到语义音色数据；
根据所述语义音色数据，在预设参数数据库中查找对应的调制参数；其中，数据库中提前存储有语义音色数据与调制参数的映射关系。
具体的，本发明的一个具体实施例中，提供了一种从预设的参数数据库中匹配对应的调制参数的方法，具体步骤如下：
基于获取的人声语义信息和人声音色参数，通过预设的参数处理规则，将所述人声语义信息与人声音色参数进行分离处理，得到语义特征数据和音色特征数据。
例如，语义特征数据可以包括字词汇、语句结构和情境含义，这些都是基于人言的语义信息确定的。
音色特征数据可以包括声带振动、发音形式和声道共振特征，这些都是根据人声的音色参数确定的。
从语义特征数据提取第一语义数据和从音色特征数据中提取第二音色数据。
例如，第一语义数据可能由多个语义单位组成，如“情绪”，“时态”等。第二音色数据可能由一系列声学特征组成，如基频、频带、谐波强度等。
基于预设的音色特征组合规则，将所述第一语义数据与所述第二音色数据组合为目标声音特征组合。
根据所述目标声音特征组合，对预设的标准编码表进行重新编排，生成声音编码表。
利用声音编码表对第一语义数据和第二音色数据进行解码，得到语义音色数据。
解码步骤可以采用预设的解码规则，例如最大似然解码、Viterbi解码等。
根据所述语义音色数据，在预设参数数据库中查找对应的调制参数。
在数据库中，应存储有语义音色数据与调制参数的映射关系。通过查找，可以从数据库中获取目标声音对应的调制参数。
本发明实施例中基于频率调制的人声合成方法的另一个实施例包括：
所述文本相似性评价模型的训练过程，包括：
获取语料库数据，利用深度学习技术对语料库数据进行语义理解和字符级别的识别标记，得到文本数据，将所述文本数据输入至初级的深度学习网络中；所述初级的深度学习网络包含一个字符级相关度模型、一个字符变化模式预测模型，以及一个字符分布模式解析模型；
基于所述字符级相关度模型，通过代码扫描语料库中每个字符的出现频率和对应位置信息，生成字符级识别表格；其中，所述字符级识别表格记录每个字符的位置、出现频率和分布情况；
通过字符变化模式预测模型，结合时间序列分析和字符级分析，对字符出现的变化进行预测，生成动态模式预测表；其中，所述动态模式预测表记录低频字符、高频字符和噪声字符的更迭变化模式；
通过字符分布模式解析模型对字符的分布模式进行解析，生成字符级分布图；其中，所述字符级分布图中所有的预测事件都以分布图的形式保存；
根据预测得到的字符级识别表格、动态模式预测表、字符级分布图和实际的字符级识别表格、实际的动态模式预测表、实际的字符级分布图计算对应的误差值；分别运用自适应超参数调整算法、动态学费率调整算法和批量归一化优化算法优化网络的权重，调整文本相似性评价模型的参数，并将各个误差值最小化，经过多次优化调整，得到训练后的文本相似性评价模型。
具体的，在本发明的一个具体实施例中，介绍了一种文本相似性评价模型的训练方法，该方法包括以下步骤：
获取语料库数据：
利用大型公开语料库，如WordNet或Common Crawl等，确保数据的多样性和充分性。
利用深度学习技术进行语义理解和字符级别的识别标记：
利用诸如BERT、Transformer或LSTM等深度学习技术，对语料库数据进行深入的语义理解和字符级别的识别。
输入数据至初级的深度学习网络中：
所述初级的深度学习网络结构包含：
字符级相关度模型：主要负责解析和计算字符之间的相关性；
字符变化模式预测模型：预测字符在文本中的变化模式；
字符分布模式解析模型：解析字符在文本中的分布模式。
基于字符级相关度模型生成字符级识别表格：
表格内部包括字符的位置信息、出现频率和分布情况。
利用字符变化模式预测模型生成动态模式预测表：
动态模式预测表内记录了字符出现的变化模式，区分为高频、低频和噪声字符的更迭变化。
通过字符分布模式解析模型生成字符级分布图：
该分布图为可视化工具，记录了各个字符在文本中的分布模式。
计算误差值并进行优化：
通过比较预测的识别表格、动态模式预测表和实际的表格，计算出对应的误差值；
利用算法，如自适应超参数调整算法、动态学费率调整算法和批量归一化优化算法对网络进行优化。
本发明实施例中，有益效果：本发明实施例通过多次迭代和优化，最终得到一个训练完毕、效果较优的文本相似性评价模型，该模型可以准确、快速地评估不同文本之间的相似度。此方法确保了模型的准确性和鲁棒性，提供了一个高效的方法进行文本相似性的评价。
本发明实施例中基于频率调制的人声合成方法的另一个实施例包括：
所述预处理还包括：噪声去除、基音周期检测、语音分割和频率特征提取。
具体的，所述预处理包括噪声去除、基音周期检测、语音分割和频率特征提取。以下是一种具体实施例：
噪声去除：使用专业的降噪算法，如基于谱减法的方法或基于自适应滤波器的方法，从输入的声音信号中去除背景噪声。这些算法可以根据声音信号和噪声信号的统计特性，通过频域或时域方法，实施滤波、减少噪声的功率，以使得噪声对人声信号的影响最小化。
基音周期检测：使用基音周期检测算法，例如自相关法或短时傅里叶变换法，在人声信号中识别基音周期，即语音中相邻音调之间的时间间隔。这些算法基于周期性的假设，通过分析语音信号的重复模式，提取出基音周期信息。比如，通过计算人声信号的自相关函数或将语音信号转化到频域，在谐波成分的帮助下，检测出基音周期。
语音分割：采用语音分割算法将连续的语音信号分割成独立的语音单位。这些算法可以基于能量阈值、短时过零率、线性预测编码（LPC）或声道模型等特征，识别出语音信号中的静音段和非静音段，从而实现对语音的有效分割。
频率特征提取：使用语音信号处理技术，如音频取样和快速傅里叶变换（FFT），从经过分割的语音段提取频率特征。频率特征包括声谱图、梅尔倒谱系数（MFCC）、线性预测编码系数（LPC）等。这些特征可以用于描述语音信号的频域特性和声音特征，用于后续的语音分析和特征匹配。
本发明实施例中，有益效果：本发明实施例描述了预处理步骤中的噪声去除、基音周期检测、语音分割和频率特征提取的具体实现方法。通过使用专业的音频信号处理算法和技术，可以提取出干净的人声信号，并准确地检测和提取语音的基音周期和频率特征等信息。这样，可以为后续的声音分析和调制参数匹配提供具体的音频特征和数据基础，从而实现更精确和高质量的声音重构和语音合成。
上面对本发明实施例中基于频率调制的人声合成方法进行了描述，下面对本发明实施例中基于频率调制的人声合成装置进行描述，请参阅图2，本发明实施例中基于频率调制的人声合成装置一个实施例包括：
获取模块，用于通过目标设备获取源人声信号，并对所述源人声信号进行预处理，得到目标信号；其中，所述预处理至少包括模数转换；
分析模块，用于通过预设的第一分析算法对所述目标信号进行第一分析，得到人声音色参数，并通过预设的第二分析算法对所述目标信号进行第二分析，得到人声语义信息；其中，所述第一分析为谐波分析，所述第二分析为语义提取分析；
匹配模块，用于基于所述人声语义信息和所述人声音色参数，从预设的参数数据库中匹配对应的调制参数；其中，数据库中提前存储有所述人声语义信息、所述人声音色参数与所述调制参数的匹配规则；
调整模块，用于获取初始的声音重构模型，并基于匹配的所述调制参数调整初始的声音重构模型的参数，得到调整后的声音重构模型；
评估模块，用于将所述目标信号输入至调整后的声音重构模型中，得到重构语音，并对所述重构语音与所述源人声信号进行评估分析，得到所述重构语音的音质报告。
本发明还提供一种基于频率调制的人声合成设备，所述基于频率调制的人声合成设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于频率调制的人声合成方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于频率调制的人声合成方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于频率调制的人声合成方法，其特征在于，包括以下步骤：
通过目标设备获取源人声信号，并对所述源人声信号进行预处理，得到目标信号；其中，所述预处理至少包括模数转换；
通过预设的第一分析算法对所述目标信号进行第一分析，得到人声音色参数，并通过预设的第二分析算法对所述目标信号进行第二分析，得到人声语义信息；其中，所述第一分析为谐波分析，所述第二分析为语义提取分析；
基于所述人声语义信息和所述人声音色参数，从预设的参数数据库中匹配对应的调制参数；其中，数据库中提前存储有所述人声语义信息、所述人声音色参数与所述调制参数的匹配规则；
获取初始的声音重构模型，并基于匹配的所述调制参数调整初始的声音重构模型的参数，得到调整后的声音重构模型；
将所述目标信号输入至调整后的声音重构模型中，得到重构语音，并对所述重构语音与所述源人声信号进行评估分析，得到所述重构语音的音质报告。
2.根据权利要求1所述的人声合成方法，其特征在于，所述目标设备的选取过程，包括：
发送基于无线频率识别的近场通信协议至有源声音地理坐标的初始设备，接收初始设备电子标签反馈的加密认证信息；
通过预设的深度学习算法对接收到的加密认证信息进行实时解析，得到解析数据，从所述解析数据中获取采集的数据包，将所述数据包解析为制造商识别块、数据保护框架块和检索识别块；
通过训练后的深度神经网络模型解码制造商识别块中的制造商特征信息，并对比预设的制造商数据库，找到与制造商特征信息相关的数据表；
从数据保护框架块中解析出初始设备的数据加密框架，并通过预设的哈希函数对数据加密框架进行哈希运算，生成唯一哈希标签；
在所述数据表中筛选包含唯一哈希标签的数据列；其中，所述数据列包括多个具有数据采集权限的初始设备及其对应的编码；
基于训练后的文本相似性评价模型，将每个初始设备对应的编码与检索识别块进行字符级别的相似性评估，选拔出与检索识别块的字符级别相似度高于设定阈值的设备作为采集源人声信号的目标设备。
3.根据权利要求1所述的人声合成方法，其特征在于，所述基于所述人声语义信息和所述人声音色参数，从预设的参数数据库中匹配对应的调制参数，包括：
基于获取的人声语义信息和人声音色参数，通过预设的参数处理规则，将所述人声语义信息与人声音色参数进行分离处理，得到语义特征数据和音色特征数据；其中，所述语义特征数据由字符汇、语句结构和情境含义组成，所述音色特征数据由声带震动、发音形式和声道共振特征组成；
从语义特征数据提取第一语义数据和从音色特征数据中提取第二音色数据；其中，所述第一语义数据由多个语义单位组成，所述第二音色数据由一系列的声学特征组成；
基于预设的音色特征组合规则，将所述第一语义数据与所述第二音色数据组合为目标声音特征组合；
根据所述目标声音特征组合，对预设的标准编码表进行重新编排，生成声音编码表；
利用声音编码表对第一语义数据和第二音色数据进行解码，得到语义音色数据；
根据所述语义音色数据，在预设参数数据库中查找对应的调制参数；其中，数据库中提前存储有语义音色数据与调制参数的映射关系。
4.根据权利要求2所述的人声合成方法，其特征在于，所述文本相似性评价模型的训练过程，包括：
获取语料库数据，利用深度学习技术对语料库数据进行语义理解和字符级别的识别标记，得到文本数据，将所述文本数据输入至初级的深度学习网络中；所述初级的深度学习网络包含一个字符级相关度模型、一个字符变化模式预测模型，以及一个字符分布模式解析模型；
基于所述字符级相关度模型，通过代码扫描语料库中每个字符的出现频率和对应位置信息，生成字符级识别表格；其中，所述字符级识别表格记录每个字符的位置、出现频率和分布情况；
通过字符变化模式预测模型，结合时间序列分析和字符级分析，对字符出现的变化进行预测，生成动态模式预测表；其中，所述动态模式预测表记录低频字符、高频字符和噪声字符的更迭变化模式；
通过字符分布模式解析模型对字符的分布模式进行解析，生成字符级分布图；其中，所述字符级分布图中所有的预测事件都以分布图的形式保存；
根据预测得到的字符级识别表格、动态模式预测表、字符级分布图和实际的字符级识别表格、实际的动态模式预测表、实际的字符级分布图计算对应的误差值；分别运用自适应超参数调整算法、动态学费率调整算法和批量归一化优化算法优化网络的权重，调整文本相似性评价模型的参数，并将各个误差值最小化，经过多次优化调整，得到训练后的文本相似性评价模型。
5.根据权利要求1所述的人声合成方法，其特征在于，所述预处理还包括：噪声去除、基音周期检测、语音分割和频率特征提取。
6.一种基于频率调制的人声合成装置，其特征在于，所述基于频率调制的人声合成装置包括：
获取模块，用于通过目标设备获取源人声信号，并对所述源人声信号进行预处理，得到目标信号；其中，所述预处理至少包括模数转换；
分析模块，用于通过预设的第一分析算法对所述目标信号进行第一分析，得到人声音色参数，并通过预设的第二分析算法对所述目标信号进行第二分析，得到人声语义信息；其中，所述第一分析为谐波分析，所述第二分析为语义提取分析；
匹配模块，用于基于所述人声语义信息和所述人声音色参数，从预设的参数数据库中匹配对应的调制参数；其中，数据库中提前存储有所述人声语义信息、所述人声音色参数与所述调制参数的匹配规则；
调整模块，用于获取初始的声音重构模型，并基于匹配的所述调制参数调整初始的声音重构模型的参数，得到调整后的声音重构模型；
评估模块，用于将所述目标信号输入至调整后的声音重构模型中，得到重构语音，并对所述重构语音与所述源人声信号进行评估分析，得到所述重构语音的音质报告。
7.一种基于频率调制的人声合成设备，其特征在于，所述基于频率调制的人声合成设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于频率调制的人声合成设备执行如权利要求1-5中任一项所述的基于频率调制的人声合成方法。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-5中任一项所述的基于频率调制的人声合成方法。
CN202311721535.3A 2023-12-14 2023-12-14 基于频率调制的人声合成方法、装置、设备及存储介质 Active CN117409761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311721535.3A CN117409761B (zh) 2023-12-14 2023-12-14 基于频率调制的人声合成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311721535.3A CN117409761B (zh) 2023-12-14 2023-12-14 基于频率调制的人声合成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117409761A true CN117409761A (zh) 2024-01-16
CN117409761B CN117409761B (zh) 2024-03-15

Family

ID=89487467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311721535.3A Active CN117409761B (zh) 2023-12-14 2023-12-14 基于频率调制的人声合成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117409761B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975982A (zh) * 2024-04-01 2024-05-03 天津大学 一种基于g-lpc的病理嗓音增强方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119881A (ko) * 2006-06-16 2007-12-21 탁승호 전자유가증권의 발행, 유통, 정산 및 전자폐기에 관한시스템 및 그 방법
JP2010068032A (ja) * 2008-09-08 2010-03-25 Nippon Hoso Kyokai <Nhk> 認証情報生成装置、コンテンツ配信装置、受信装置およびセキュリティモジュール
US20110314153A1 (en) * 2010-06-22 2011-12-22 Microsoft Corporation Networked device authentication, pairing and resource sharing
KR20190007572A (ko) * 2017-07-12 2019-01-23 덕성여자대학교 산학협력단 사물인터넷 환경에서의 비밀키 설정 및 상호 기기 인증 방법
CN112349266A (zh) * 2019-08-09 2021-02-09 深圳Tcl数字技术有限公司 一种语音编辑方法及相关设备
CN114694633A (zh) * 2022-04-11 2022-07-01 平安科技（深圳）有限公司 语音合成方法、装置、设备及存储介质
CN115148185A (zh) * 2022-05-05 2022-10-04 北京小米移动软件有限公司 语音合成方法及装置、电子设备及存储介质
CN115150109A (zh) * 2021-03-29 2022-10-04 中移(上海)信息通信科技有限公司 认证方法、装置及相关设备
WO2023075500A1 (ko) * 2021-11-01 2023-05-04 주식회사 지엔 Iot 기기 점검 방법 및 그 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119881A (ko) * 2006-06-16 2007-12-21 탁승호 전자유가증권의 발행, 유통, 정산 및 전자폐기에 관한시스템 및 그 방법
JP2010068032A (ja) * 2008-09-08 2010-03-25 Nippon Hoso Kyokai <Nhk> 認証情報生成装置、コンテンツ配信装置、受信装置およびセキュリティモジュール
US20110314153A1 (en) * 2010-06-22 2011-12-22 Microsoft Corporation Networked device authentication, pairing and resource sharing
KR20190007572A (ko) * 2017-07-12 2019-01-23 덕성여자대학교 산학협력단 사물인터넷 환경에서의 비밀키 설정 및 상호 기기 인증 방법
CN112349266A (zh) * 2019-08-09 2021-02-09 深圳Tcl数字技术有限公司 一种语音编辑方法及相关设备
CN115150109A (zh) * 2021-03-29 2022-10-04 中移(上海)信息通信科技有限公司 认证方法、装置及相关设备
WO2023075500A1 (ko) * 2021-11-01 2023-05-04 주식회사 지엔 Iot 기기 점검 방법 및 그 장치
CN114694633A (zh) * 2022-04-11 2022-07-01 平安科技（深圳）有限公司 语音合成方法、装置、设备及存储介质
CN115148185A (zh) * 2022-05-05 2022-10-04 北京小米移动软件有限公司 语音合成方法及装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975982A (zh) * 2024-04-01 2024-05-03 天津大学 一种基于g-lpc的病理嗓音增强方法及装置
CN117975982B (zh) * 2024-04-01 2024-06-04 天津大学 一种基于g-lpc的病理嗓音增强方法及装置

Also Published As

Publication number Publication date
CN117409761B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN109599093B (zh) 智能质检的关键词检测方法、装置、设备及可读存储介质
CN109493881B (zh) 一种音频的标签化处理方法、装置和计算设备
Hu et al. Pitch‐based gender identification with two‐stage classification
JP4067969B2 (ja) 信号を特徴付ける方法および装置、および、索引信号を生成する方法および装置
CN101599271A (zh) 一种数字音乐情感的识别方法
CN117409761B (zh) 基于频率调制的人声合成方法、装置、设备及存储介质
CN110767210A (zh) 一种生成个性化语音的方法及装置
US9305570B2 (en) Systems, methods, apparatus, and computer-readable media for pitch trajectory analysis
CN110428853A (zh) 语音活性检测方法、语音活性检测装置以及电子设备
JP5345783B2 (ja) 音声信号用フットプリントを生成する方法
Permana et al. Implementation of constant-Q transform (CQT) and mel spectrogram to converting bird’s sound
CN116884438B (zh) 基于声学特征的练琴音准检测方法及系统
KR100766170B1 (ko) 다중 레벨 양자화를 이용한 음악 요약 장치 및 방법
Patil et al. Content-based audio classification and retrieval: A novel approach
CN111354352B (zh) 一种用于音频检索的模板自动清洗方法及系统
CN113808573A (zh) 基于混合域注意力与时序自注意力的方言分类方法及系统
Camarena-Ibarrola et al. Speaker identification using entropygrams and convolutional neural networks
Therese et al. A linear visual assessment tendency based clustering with power normalized cepstral coefficients for audio signal recognition system
CN110689875A (zh) 一种语种识别方法、装置及可读存储介质
CN117041430B (zh) 一种提高智能协调外呼系统的外呼质量及鲁棒方法和装置
Fahmeeda et al. Voice Based Gender Recognition Using Deep Learning
Tsai et al. Bird Species Identification Based on Timbre and Pitch Features of Their Vocalization.
Singh pyAudioProcessing: Audio Processing, Feature Extraction, and Machine Learning Modeling.
Vasudev et al. Speaker identification using FBCC in Malayalam language
CN116612746B (zh) 一种基于人工智能在声学库中进行语音编码识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant