CN112614484A - 特征信息挖掘方法、装置及电子设备 - Google Patents
特征信息挖掘方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112614484A CN112614484A CN202011325103.7A CN202011325103A CN112614484A CN 112614484 A CN112614484 A CN 112614484A CN 202011325103 A CN202011325103 A CN 202011325103A CN 112614484 A CN112614484 A CN 112614484A
- Authority
- CN
- China
- Prior art keywords
- scene
- audio data
- data
- feature information
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000005065 mining Methods 0.000 title claims abstract description 72
- 238000004088 simulation Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000007613 environmental effect Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 21
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000010801 machine learning Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000009825 accumulation Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种特征信息挖掘方法、装置及电子设备，涉及语音识别技术、机器学习、深度学习等人工智能技术领域。该方案为：确定目标设备的使用场景；获取原始音频数据；对所述原始音频数据进行所述使用场景的模拟，以生成所述使用场景的目标音频数据；对所述目标音频数据进行特征提取，获取所述使用场景的特征信息。本申请中，不再依赖海量音频数据的积累，有效地解决了各种场景数据缺失的问题，能够准确、高效地进行使用特征信息挖掘，提高了使用特征信息挖掘过程中的效率和可靠性。
Description
技术领域
本申请的实施例总体上涉及数据处理技术领域，并且更具体地涉及语音识别技术、机器学习、深度学习等人工智能技术领域。
背景技术
近年来，随着语音识别技术的迅速发展，基于语音识别技术的各种智能设备，如智能音箱、智能车载、大厅导览等也得到了广泛的应用。其中，在试图对一段语音进行识别时，首先需要对语音进行特征提取，然后将提取的特征输入预先搭建好的使用场景的语音模型中，以实现语音识别。
然而，由于，针对设备的不同使用场景、用户的不同使用目的等原因，在进行使用场景的语音模型的构建或者训练过程中，势必需要依赖大量音频数据。然而由于前述音频数据是极为有限的，势必导致特征信息挖掘过程中存在效率极低、成本高、耗时久的问题。因此，如何在确保使用场景的特征信息结果的准确性的同时，提高特征信息挖掘过程中的效率和可靠性，已成为了重要的研究方向之一
发明内容
本申请提供了一种特征信息挖掘方法、装置及电子设备。
根据第一方面，提供了一种特征信息挖掘方法，包括：
确定目标设备的使用场景；
获取原始音频数据；
对所述原始音频数据进行所述使用场景的模拟，以生成所述使用场景的目标音频数据；
对所述目标音频数据进行特征提取，获取所述使用场景的特征信息。
根据第二方面，提供了一种特征信息挖掘装置，包括：
确定模块，用于确定目标设备的使用场景；
第一获取模块，用于获取原始音频数据；
生成模块，用于对所述原始音频数据进行所述使用场景的模拟，以生成所述使用场景的目标音频数据；
第二获取模块，用于对所述目标音频数据进行特征提取，获取所述使用场景的特征信息。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面所述的特征信息挖掘方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面所述的特征信息挖掘方法。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3是根据本申请第三实施例的示意图；
图4是根据本申请第四实施例的示意图；
图5是根据本申请第五实施例的示意图；
图6是一种特征信息挖掘全过程的示意图；
图7是用来实现本申请实施例的特征信息挖掘方法的特征信息挖掘装置的框图；
图8是用来实现本申请实施例的特征信息挖掘方法的特征信息挖掘装置的框图；
图9是用来实现本申请实施例的特征信息挖掘的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
以下对本申请的方案涉及的技术领域进行简要说明：
图像处理(Image Processing)，又称影像处理，是用计算机对图像进行分析，以达到所需结果的技术。图像处理技术应用广泛，主要在以下领域起到了极其重要的作用：科测绘学、大气科学、天文学等。
人工智能(Artificial Intelligence，简称AI)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。
深度学习(Deep Learning，简称DL)，是机器学习(Machine Learning，简称ML)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
机器学习(Machine Learning，简称ML)，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。主要研究计算机模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
语音识别技术(Speech Recognition Technology)，又称ASR(Automatic SpeechRecognition，自动语音识别)，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。与说话人识别及说话人确认不同，后者尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。
需要说明的是，语音识别技术是一个机器学习过程，因此，特征信息挖掘结果的准确率取决于提取特征表征能力以及特征覆盖度。然而，传统的特征信息挖掘，只限于对一段音频采取各种提取方法，寻求更准确的方法来表征音频特征，然后使用大量的、多样的场景音频特征来建模，以提高识别准确率。
目前，在语音识别技术中，最广泛使用的两种特征信息挖掘方法分别为：FBank(Filter Bank)和MFCC(Mel Frequency Cepstrum Coefficient，梅尔频率倒谱系数)。而类似FBank、MFCC等方式，仅能够对一段音频提取频谱信息，每段语音是根据用户在固定的场景和机器进行交互或录制产生的音频，因此特征信息在固定的音频数量，其提取的特征也是固定的。
特别地，针对工业级别的语音识别应用场景，对识别的准确率和误报率要求非常高，而且应用场景非常广泛，用户交互意图也非常丰富。使用场景如家庭、大厅、商场、汽车、办公室等，使用意图如家具控制、导览、导航、咨询、点播、闲聊、闹钟等，每个场景和意图在语音识别建模过程，都需要提取大量的特征来提高模型的识别能力。而这些场景的音频数据是有限的。此外，新的应用场景往往会面临数据冷启动问题。
由此，本申请中提出一种特征信息挖掘方法，能够根据固定音频数据，使用场景模拟方法对源音频循环迭代挖掘特征，解决各种场景数据缺少问题；使用语音合成音频方法，合成各种缺失的数据，解决用户意图覆盖不全问题，同时可以通过录制音频，其他媒体数据采集等方法来丰富数据，这些数据通过场景模拟方法不断循环迭代挖掘特征，提高准确率和压制误报率，克服了前述两种方式的缺陷，能够更加准确地获取到场景的特征信息，提升了特征信息挖掘过程中的效率和可靠性。
下面参考附图描述本申请实施例的特征信息挖掘方法、装置及电子设备。
图1是根据本申请第一实施例的示意图。其中，需要说明的是，本实施例的特征信息挖掘方法的执行主体为服务端。如图1所示，本实施例提出的特征信息挖掘方法，包括如下步骤：
S101、确定目标设备的使用场景。
需要说明的是，针对家庭、大厅、商场、汽车、办公室等多种不同的使用场景，目标设备、环境、操作对象、交互意图等也是不同的。因此，为了能够更加准确地挖掘场景的特征信息，本申请实施例中，可以确定目标设备的使用场景。
其中，目标设备，可以为指定的任一设备，例如电视、空调器、热水器等。
其中，使用场景，可以为指定的任一场景，例如客厅、会议室、停车场等。
S102、获取原始音频数据。
其中，原始音频数据，来源包括：真实场景数据、语音合成数据、录制音频数据以及其他媒体数据。
真实场景数据，是来自用户使用语音交互产品真实产生的音频数据，这些数据具备一定的场景环境特征信息，包括空间混响、噪音等；
语音合成数据，是通过文本合成音频，文本的内容根据使用产品的交互意图获取，例如智能音箱的交互意图包括“播放音乐”、“查看天气”、“设定闹钟”等，这些文本可以通过语音合成获取音频数据，有效解决数据缺失，或是产品冷启动无训练数据问题；
录制音频数据，是通过录制器材收集音频数据，录制内容包括产品使用场景所需要的语音交互有意图的内容，亦包括环境噪音内容；
其他媒体数据，包括直播节目、新闻联播、采访节目、电视台等音频数据，这些数据可以提高模型鲁棒性。
S103、对原始音频数据进行使用场景的模拟，以生成使用场景的目标音频数据。
需要说明的是，原始音频数据中，真实场景数据的获取存在成本高、周期长、需要标注、新产品无足够的数据等问题；同时，语音合成、录制音频、其他媒体数据的音频特征不具备场景信息问题。
由此，本申请实施例中，为了提高音频特征覆盖率，可以对原始音频数据进行使用场景的模拟，以在对原始音频数据添加场景和噪音信息后，生成使用场景的目标音频数据。
S104、对目标音频数据进行特征提取，获取使用场景的特征信息。
其中，特征提取，指的是将目标音频数据转为特征向量的处理方式，主要进行音频解码和语义判断。其中，音频解码包括音频编码、CTC(Connectionist TemporalClassification，连接时序分类)模型、注意力计算；另外再对识别结果通过语义模进行意图判断；音频编码，是把音频信号转成隐含特征，基于隐含特征计算CTC获取音频信号的尖峰信息，根据尖峰信息和隐含特征序列进行注意力计算获得识别结果，然后通过使用场景的语音模型进行意图判断。
其中，使用场景的特征信息，可以包括：声学特征、语言特征、意图特征。声学特征，包括尖峰信息、Softmax声学分等；语言特征，包括句子结构信息、Softmax语言分；前述两类特征信息均通过多维特征向量进行表示；意图特征，是一维向量，可以直接表示语义信息。
根据本申请实施例的特征信息挖掘方法，可以基于场景模拟，对固定量的原始音频数据循环挖掘出更多具有场景信息的使用场景的特征信息，不再依赖海量音频数据的积累，有效地解决了各种场景数据缺失的问题，能够准确、高效地进行使用特征信息挖掘，提高了使用特征信息挖掘过程中的效率和可靠性。同时，使用语音合成音频方法，合成各种缺失的数据，解决了用户意图覆盖不全问题；通过录制音频，其他媒体数据采集等方法来丰富数据，通过场景模拟方法不断循环迭代挖掘特征，提高准确率、压制误报率。
图2是根据本申请第二实施例的示意图。如图2所示，在上一实施例的基础上，本实施例提出的信息查询方法，包括如下步骤：
S201、确定目标设备的使用场景。
S202、获取原始音频数据。
该步骤S201～S202与上一实施例中的步骤S101～S102相同，此处不再赘述。
上一实施例中的步骤S103具体可包括以下步骤S203～S204。
S203、获取使用场景的场景音频数据。
其中，场景音频数据，可以包括：使用场景的空间混响数据、使用场景的环境噪声数据、目标设备内部噪声的噪声残余数据。
S204、在原始音频数据中添加场景音频数据，以生成目标音频数据。
需要说明的是，本申请对于添加场景音频数据的具体方式不作限定，可以根据实际情况进行选择。
其中，在试图对原始音频数据添加使用场景的环境噪声数据时，可选地，可以在距离比较远时，不区分方位，添加背景噪声数据；可选地，可以在距离比较近时，识别具体方位，并添加具体方位的定点噪音数据。
S205、对目标音频数据进行特征提取，获取使用场景的特征信息。
该步骤S205与上一实施例中的步骤S104相同，此处不再赘述。
下面分别针对场景音频数据所包括的不同数据，对获取使用场景的场景音频数据的过程进行解释说明。
针对场景音频数据包括使用场景的空间混响数据，作为一种可能的实现方式，如图3所示，包括以下步骤：
S301、获取使用场景的属性信息。
其中，使用场景的属性信息，可以为环境空间大小、声源距离等属性信息。
S302、获取目标设备在使用场景中的状态信息和目标设备的设备信息。
其中，状态信息，可以为位置信息、方位信息等；设备信息，可以为麦克风运行状态、麦克风相关参数等信息。
S303、根据属性信息、状态信息和设备信息，生成使用场景对应的空间混响数据。
本申请实施例中，可以对单通道信号的音频，使用两组不同的卷积核，把音频变成两路信号。卷积核利用RIR(Room Impulse Response，房间冲激响应)方法生成的冲激响应函数，根据属性信息、状态信息和设备信息，生成大量的冲激响应函数数据(RIR数据)，利用这些数据可以生成大量可靠且带有场景信息的音频数据，然后循环挖掘出更多的音频特征信息。
针对场景音频数据包括使用场景的环境噪声数据，作为一种可能的实现方式，可选地，可以从环境噪声数据的噪声数据库中，获取使用场景的环境噪声数据。
本申请实施例中，环境噪声数据包括至少两类环境噪声数据，此种情况下，如图4所示，从环境噪声数据的噪声数据库中，获取使用场景的环境噪声数据的具体过程，包括以下步骤：
S401、获取使用场景的类型，并根据使用场景的类型，获取至少两类环境噪声数据的占比。
需要说明的是，在语音识别产品的使用场景中，往往存在各式各样的环境噪音，这些噪音会直接影响识别的准确率。如果提取的音频特征缺少环境噪音，势必导致对吵杂环境下的语音识能力大幅下降。由此，本申请实施例中，在场景模拟过程中需要对原始音频数据添加至少两类环境噪声数据，即适当添加环境噪音，来增加语音识别模型的鲁棒性。
S402、按照至少两类环境噪声数据的占比，分别从各自的噪声数据库中，随机获取至少两类环境噪声数据。
举例而言，获取到三类环境噪声数据的占比分别为5％、7％和3％，此种情况下，可以分别从各自的噪声数据库中，随机获取至少两类环境噪声数据。
针对场景音频数据包括目标设备内部噪声的噪声残余数据，作为一种可能的实现方式，可选地，可以从噪声残余数据的残余数据库中，获取使用场景的噪声残余数据。
本申请实施例中，可以从噪声残余数据的残余数据库中进行查询，以获取目标设备内部噪声的噪声残余数据，进而区分来自设备的声音，以确保挖掘准确性。
需要说明的是，一般情况下，来自设备的声音称之为内部噪音，如设备播放的音乐、回复的话术等。这些内部噪音大部分都会被回声消除(AEC)方法消掉，但是仍然有些声音未被消除，这些就是语音残余。语音残余对于识别效果有一定的干扰，这些特征有助于模型区分用户声音和设备声音。噪声残余数据可以通过模拟回声消除过程生成大量的数据，在场景模拟过程中对原音频适当添加残余数据。
根据本申请实施例的特征信息挖掘方法，可以通过获取使用场景的场景音频数据，并在原始音频数据中添加场景音频数据，以生成目标音频数据，实现了场景模拟，使得原始音频数据循环挖掘出更多具有场景信息的使用场景的特征信息，有效地解决了各种场景数据缺失的问题。
图5是根据本申请第五实施例的示意图。如图5所示，在上一实施例的基础上，本实施例提出的信息查询方法，包括如下步骤：
S501、确定目标设备的使用场景。
S502、获取原始音频数据。
该步骤S501～S502与上一实施例中的步骤S101～S102相同，此处不再赘述。
S503、获取使用场景的场景音频数据。
该步骤S503与上一实施例中的步骤S203相同，此处不再赘述。
上述实施例中的步骤S204具体可包括以下步骤S504～S505。
S504、至少一次从场景音频数据中选取候选场景音频数据，其中，每次选取出的候选场景音频数据不同。
举例而言，获取到上一次从场景音频数据中选取的候选场景音频数据为使用场景的空间混响数据，此种情况下，本次可以选取使用场景的环境噪声数据。
S505、在原始音频数据中添加每次获取到的候选场景音频数据。
举例而言，获取到上一次从场景音频数据中选取的候选场景音频数据为使用场景的空间混响数据，并在原始音频数据中添加了空间混响数据，此种情况下，本次可以选取使用场景的环境噪声数据，并在原始音频数据中继续添加空间混响数据。
S506、对目标音频数据进行特征提取，获取使用场景的特征信息。
该步骤S506与上述实施例中的步骤S104相同，此处不再赘述。
进一步地，在获取使用场景的特征信息之后，已经获取到了大量具有场景信息的使用场景的特征信息，此种情况下，可以基于使用场景的特征信息，构建或者训练使用场景的语音模型。
根据本申请实施例的特征信息挖掘方法，可以解决使用场景的语音模型构建或者训练过程中存在的音频数据量和音频特征覆盖不全的问题。通过场景模拟方法，对固定量的原音频循环挖掘出更多具有场景信息的音频特征，有效解决各种场景数据缺失问题；通过语音合成、音频录制、其他媒体数据采集，解决内容覆盖问题。
需要说明的是，本申请提出的特征信息挖掘方法，可以运用于多种场景中。
针对智能家居控制应用场景，如图6所示，可以确定照明设备的使用场景为卧室，并获取真实场景数据、语音合成数据、录制音频数据以及其他媒体数据，然后基于语音识别及机器学习技术，对前述原始音频数据添加空间混响数据、环境噪声数据以及噪声残余数据，以进行使用场景的模拟，进而生成使用场景的目标音频数据。进一步地，可以基于深度学习等人工智能技术，通过音频编码、CTC模型、注意力计算以及语音模型，对目标音频数据进行特征提取，获取到使用场景的声学特征、语言特征以及意图特征等特征信息。
根据本申请实施例的特征信息挖掘方法，可以基于场景模拟，对固定量的原始音频数据循环挖掘出更多具有场景信息的使用场景的特征信息，不再依赖海量音频数据的积累，有效地解决了各种场景数据缺失的问题，能够准确、高效地进行使用特征信息挖掘，提高了使用特征信息挖掘过程中的效率和可靠性。同时，使用语音合成音频方法，合成各种缺失的数据，解决了用户意图覆盖不全问题；通过录制音频，其他媒体数据采集等方法来丰富数据，通过场景模拟方法不断循环迭代挖掘特征，提高准确率、压制误报率。
与上述几种实施例提供的特征信息挖掘方法相对应，本申请的一个实施例还提供一种特征信息挖掘装置，由于本申请实施例提供的特征信息挖掘装置与上述几种实施例提供的特征信息挖掘方法相对应，因此在特征信息挖掘方法的实施方式也适用于本实施例提供的特征信息挖掘装置，在本实施例中不再详细描述。
图7是根据本申请一个实施例的特征信息挖掘装置的结构示意图。
如图7所示，该特征信息挖掘装置700，包括：确定模块710、第一获取模块720、生成模块730和第二获取模块740。其中：
确定模块710，用于确定目标设备的使用场景；
第一获取模块720，用于获取原始音频数据；
生成模块730，用于对所述原始音频数据进行所述使用场景的模拟，以生成所述使用场景的目标音频数据；
第二获取模块740，用于对所述目标音频数据进行特征提取，获取所述使用场景的特征信息。
图8是根据本申请另一个实施例的特征信息挖掘装置的结构示意图。
如图8所示，该特征信息挖掘装置800，包括：确定模块810、第一获取模块820、生成模块830和第二获取模块840。其中：
生成模块830，包括：
第一获取子模块831，用于获取所述使用场景的场景音频数据；
第一生成子模块832，用于在所述原始音频数据中添加所述场景音频数据，以生成所述目标音频数据。
可选地，场景音频数据包括所述使用场景的空间混响数据，则所述第一获取子模块831，进一步用于：获取所述使用场景的属性信息；获取所述目标设备在所述使用场景中的状态信息和所述目标设备的设备信息；根据所述属性信息、所述状态信息和所述设备信息，生成所述使用场景对应的所述空间混响数据。
可选地，场景音频数据包括所述使用场景的环境噪声数据，则所述第一获取子模块831，进一步用于：从所述环境噪声数据的噪声数据库中，获取所述使用场景的环境噪声数据。
本申请实施例中，环境噪声数据包括至少两类环境噪声数据，所述第一获取子模块831，进一步用于：获取所述使用场景的类型，并根据所述使用场景的类型，获取所述至少两类环境噪声数据的占比；按照所述至少两类环境噪声数据的占比，分别从各自的噪声数据库中，随机获取所述至少两类环境噪声数据。
可选地，场景音频数据包括所述目标设备内部噪声的噪声残余数据，则所述第一获取子模块831，进一步用于：从所述噪声残余数据的残余数据库中，获取所述使用场景的噪声残余数据。
第一生成子模块832，包括：
选取单元8321，用于至少一次从所述场景音频数据中选取候选场景音频数据，其中，每次选取出的所述候选场景音频数据不同；
添加单元8322，用于在所述原始音频数据中添加每次获取到的所述候选场景音频数据中。
第二获取模块840，还用于：基于所述使用场景的特征信息，构建或者训练所述使用场景的语音模型。
需要说明的是，确定模块810和第一获取模块820与确定模块710和第一获取模块720具有相同功能和结构。
根据本申请实施例的特征信息挖掘装置，可以基于场景模拟，对固定量的原始音频数据循环挖掘出更多具有场景信息的使用场景的特征信息，不再依赖海量音频数据的积累，有效地解决了各种场景数据缺失的问题，能够准确、高效地进行使用特征信息挖掘，提高了使用特征信息挖掘过程中的效率和可靠性。同时，使用语音合成音频方法，合成各种缺失的数据，解决了用户意图覆盖不全问题；通过录制音频，其他媒体数据采集等方法来丰富数据，通过场景模拟方法不断循环迭代挖掘特征，提高准确率、压制误报率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的特征信息挖掘的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器910、存储器920，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器910为例。
存储器920即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的特征信息挖掘方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的特征信息挖掘方法。
存储器920作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的特征信息挖掘方法对应的程序指令/模块(例如，附图7所示的确定模块710、第一获取模块720、生成模块730和第二获取模块740)。处理器910通过运行存储在存储器920中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的特征信息挖掘方法。
存储器920可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据定位电子设备的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器920可选包括相对于处理器910远程设置的存储器，这些远程存储器可以通过网络连接至定位电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
特征信息挖掘的电子设备还可以包括：输入装置930和输出装置940。处理器910、存储器920、输入装置930和输出装置940可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置930可接收输入的数字或字符信息，以及产生与定位电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置940可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务端可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请实施例的特征信息挖掘装置，可以基于场景模拟，对固定量的原始音频数据循环挖掘出更多具有场景信息的使用场景的特征信息，不再依赖海量音频数据的积累，有效地解决了各种场景数据缺失的问题，能够准确、高效地进行使用特征信息挖掘，提高了使用特征信息挖掘过程中的效率和可靠性。同时，使用语音合成音频方法，合成各种缺失的数据，解决了用户意图覆盖不全问题；通过录制音频，其他媒体数据采集等方法来丰富数据，通过场景模拟方法不断循环迭代挖掘特征，提高准确率、压制误报率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (18)
1.一种特征信息挖掘方法，包括：
确定目标设备的使用场景；
获取原始音频数据；
对所述原始音频数据进行所述使用场景的模拟，以生成所述使用场景的目标音频数据；
对所述目标音频数据进行特征提取，获取所述使用场景的特征信息。
2.根据权利要求1所述的特征信息挖掘方法，其中，所述对所述原始音频数据进行所述使用场景的模拟，以生成所述使用场景的目标音频数据，包括：
获取所述使用场景的场景音频数据；
在所述原始音频数据中添加所述场景音频数据，以生成所述目标音频数据。
3.根据权利要求2所述的特征信息挖掘方法，其中，所述场景音频数据包括所述使用场景的空间混响数据，则所述获取所述使用场景的场景音频数据，包括：
获取所述使用场景的属性信息；
获取所述目标设备在所述使用场景中的状态信息和所述目标设备的设备信息；
根据所述属性信息、所述状态信息和所述设备信息，生成所述使用场景对应的所述空间混响数据。
4.根据权利要求2所述的特征信息挖掘方法，其中，所述场景音频数据包括所述使用场景的环境噪声数据，则所述获取所述使用场景的场景音频数据，包括：
从所述环境噪声数据的噪声数据库中，获取所述使用场景的环境噪声数据。
5.根据权利要求4所述的特征信息挖掘方法，其中，所述环境噪声数据包括至少两类环境噪声数据，所述从所述环境噪声数据的噪声数据库中，获取所述使用场景的环境噪声数据，包括：
获取所述使用场景的类型，并根据所述使用场景的类型，获取所述至少两类环境噪声数据的占比；
按照所述至少两类环境噪声数据的占比，分别从各自的噪声数据库中，随机获取所述至少两类环境噪声数据。
6.根据权利要求2所述的特征信息挖掘方法，其中，所述场景音频数据包括所述目标设备内部噪声的噪声残余数据，则所述获取所述使用场景的场景音频数据，包括：
从所述噪声残余数据的残余数据库中，获取所述使用场景的噪声残余数据。
7.根据权利要求2-6任一项所述的特征信息挖掘方法，其中，所述在所述原始音频数据中添加所述场景音频数据，以生成所述目标音频数据，包括：
至少一次从所述场景音频数据中选取候选场景音频数据，其中，每次选取出的所述候选场景音频数据不同；
在所述原始音频数据中添加每次获取到的所述候选场景音频数据中。
8.根据权利要求1-6任一项所述的特征信息挖掘方法，其中，所述获取所述使用场景的特征信息之后，还包括：
基于所述使用场景的特征信息，构建或者训练所述使用场景的语音模型。
9.一种特征信息挖掘装置，包括：
确定模块，用于确定目标设备的使用场景；
第一获取模块，用于获取原始音频数据；
生成模块，用于对所述原始音频数据进行所述使用场景的模拟，以生成所述使用场景的目标音频数据；
第二获取模块，用于对所述目标音频数据进行特征提取，获取所述使用场景的特征信息。
10.根据权利要求9所述的特征信息挖掘装置，其中，所述生成模块，包括：
第一获取子模块，用于获取所述使用场景的场景音频数据；
第一生成子模块，用于在所述原始音频数据中添加所述场景音频数据，以生成所述目标音频数据。
11.根据权利要求10所述的特征信息挖掘装置，其中，所述场景音频数据包括所述使用场景的空间混响数据，则所述第一获取子模块，还用于：
获取所述使用场景的属性信息；
获取所述目标设备在所述使用场景中的状态信息和所述目标设备的设备信息；
根据所述属性信息、所述状态信息和所述设备信息，生成所述使用场景对应的所述空间混响数据。
12.根据权利要求10所述的特征信息挖掘装置，其中，所述场景音频数据包括所述使用场景的环境噪声数据，则所述第一获取子模块，还用于：
从所述环境噪声数据的噪声数据库中，获取所述使用场景的环境噪声数据。
13.根据权利要求12所述的特征信息挖掘装置，其中，所述环境噪声数据包括至少两类环境噪声数据，所述第一获取子模块，还用于：
获取所述使用场景的类型，并根据所述使用场景的类型，获取所述至少两类环境噪声数据的占比；
按照所述至少两类环境噪声数据的占比，分别从各自的噪声数据库中，随机获取所述至少两类环境噪声数据。
14.根据权利要求10所述的特征信息挖掘装置，其中，所述场景音频数据包括所述目标设备内部噪声的噪声残余数据，则所述第一获取子模块，还用于：
从所述噪声残余数据的残余数据库中，获取所述使用场景的噪声残余数据。
15.根据权利要求10-14任一项所述的特征信息挖掘装置，其中，所述第一生成子模块，包括：
选取单元，用于至少一次从所述场景音频数据中选取候选场景音频数据，其中，每次选取出的所述候选场景音频数据不同；
添加单元，用于在所述原始音频数据中添加每次获取到的所述候选场景音频数据中。
16.根据权利要求9-14任一项所述的特征信息挖掘装置，其中，所述第二获取模块，还用于：
基于所述使用场景的特征信息，构建或者训练所述使用场景的语音模型。
17.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的特征信息挖掘方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的特征信息挖掘方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011325103.7A CN112614484B (zh) | 2020-11-23 | 2020-11-23 | 特征信息挖掘方法、装置及电子设备 |
| US17/500,188 US20220036879A1 (en) | 2020-11-23 | 2021-10-13 | Method and apparatus for mining feature information, and electronic device |
| JP2021179501A JP7300492B2 (ja) | 2020-11-23 | 2021-11-02 | 特徴情報のマイニング方法、装置及び電子機器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011325103.7A CN112614484B (zh) | 2020-11-23 | 2020-11-23 | 特征信息挖掘方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112614484A true CN112614484A (zh) | 2021-04-06 |
| CN112614484B CN112614484B (zh) | 2022-05-20 |
Family
ID=75225011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011325103.7A Active CN112614484B (zh) | 2020-11-23 | 2020-11-23 | 特征信息挖掘方法、装置及电子设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220036879A1 (zh) |
| JP (1) | JP7300492B2 (zh) |
| CN (1) | CN112614484B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360705A (zh) * | 2021-08-09 | 2021-09-07 | 武汉华信数据系统有限公司 | 数据管理方法和数据管理装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102411930A (zh) * | 2010-09-21 | 2012-04-11 | 索尼公司 | 生成音频模型的方法、设备和检测场景类别的方法、设备 |
| US20170004844A1 (en) * | 2012-05-04 | 2017-01-05 | Kaonyx Labs LLC | Systems and methods for source signal separation |
| CN108242234A (zh) * | 2018-01-10 | 2018-07-03 | 腾讯科技（深圳）有限公司 | 语音识别模型生成方法及其设备、存储介质、电子设备 |
| CN109378010A (zh) * | 2018-10-29 | 2019-02-22 | 珠海格力电器股份有限公司 | 神经网络模型的训练方法、语音去噪方法及装置 |
| CN111145730A (zh) * | 2019-12-30 | 2020-05-12 | 苏州思必驰信息科技有限公司 | 语音识别模型的优化方法及系统 |
| CN111145721A (zh) * | 2019-12-12 | 2020-05-12 | 科大讯飞股份有限公司 | 个性化提示语生成方法、装置和设备 |
| CN111326174A (zh) * | 2019-12-31 | 2020-06-23 | 四川长虹电器股份有限公司 | 一种远场语音干扰场景测试语料自动化合成的方法 |
| CN111402875A (zh) * | 2020-03-06 | 2020-07-10 | 斑马网络技术有限公司 | 用于车机的语音测试用音频的合成方法、装置及电子设备 |
| CN111862945A (zh) * | 2019-05-17 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种语音识别方法、装置、电子设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0573088A (ja) * | 1991-09-13 | 1993-03-26 | Toshiba Corp | 認識辞書の作成方法、認識辞書作成装置及び音声認識装置 |
| US6876966B1 (en) * | 2000-10-16 | 2005-04-05 | Microsoft Corporation | Pattern recognition training method and apparatus using inserted noise followed by noise reduction |
| CN104901976A (zh) * | 2014-03-03 | 2015-09-09 | 华为技术有限公司 | 一种车辆内部使用场景的设置方法、车载设备和网络设备 |
| CN105989849B (zh) * | 2015-06-03 | 2019-12-03 | 乐融致新电子科技(天津)有限公司 | 一种语音增强方法、语音识别方法、聚类方法及装置 |
| US10332509B2 (en) * | 2015-11-25 | 2019-06-25 | Baidu USA, LLC | End-to-end speech recognition |
| JP6910987B2 (ja) * | 2018-06-07 | 2021-07-28 | 株式会社東芝 | 認識装置、認識システム、端末装置、サーバ装置、方法及びプログラム |
-
2020
- 2020-11-23 CN CN202011325103.7A patent/CN112614484B/zh active Active
-
2021
- 2021-10-13 US US17/500,188 patent/US20220036879A1/en active Pending
- 2021-11-02 JP JP2021179501A patent/JP7300492B2/ja active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102411930A (zh) * | 2010-09-21 | 2012-04-11 | 索尼公司 | 生成音频模型的方法、设备和检测场景类别的方法、设备 |
| US20170004844A1 (en) * | 2012-05-04 | 2017-01-05 | Kaonyx Labs LLC | Systems and methods for source signal separation |
| CN108242234A (zh) * | 2018-01-10 | 2018-07-03 | 腾讯科技（深圳）有限公司 | 语音识别模型生成方法及其设备、存储介质、电子设备 |
| CN109378010A (zh) * | 2018-10-29 | 2019-02-22 | 珠海格力电器股份有限公司 | 神经网络模型的训练方法、语音去噪方法及装置 |
| CN111862945A (zh) * | 2019-05-17 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种语音识别方法、装置、电子设备及存储介质 |
| CN111145721A (zh) * | 2019-12-12 | 2020-05-12 | 科大讯飞股份有限公司 | 个性化提示语生成方法、装置和设备 |
| CN111145730A (zh) * | 2019-12-30 | 2020-05-12 | 苏州思必驰信息科技有限公司 | 语音识别模型的优化方法及系统 |
| CN111326174A (zh) * | 2019-12-31 | 2020-06-23 | 四川长虹电器股份有限公司 | 一种远场语音干扰场景测试语料自动化合成的方法 |
| CN111402875A (zh) * | 2020-03-06 | 2020-07-10 | 斑马网络技术有限公司 | 用于车机的语音测试用音频的合成方法、装置及电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360705A (zh) * | 2021-08-09 | 2021-09-07 | 武汉华信数据系统有限公司 | 数据管理方法和数据管理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112614484B (zh) | 2022-05-20 |
| US20220036879A1 (en) | 2022-02-03 |
| JP2022020062A (ja) | 2022-01-31 |
| JP7300492B2 (ja) | 2023-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112131988B (zh) | 确定虚拟人物唇形的方法、装置、设备和计算机存储介质 | |
| CN111539514B (zh) | 用于生成神经网络的结构的方法和装置 | |
| EP3451329B1 (en) | Interface intelligent interaction control method, apparatus and system, and storage medium | |
| KR102565673B1 (ko) | 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체 | |
| WO2019029100A1 (zh) | 一种基于虚拟现实与增强现实的采矿操作多交互实现方法 | |
| CN105096935A (zh) | 一种语音输入方法、装置和系统 | |
| JP2021168139A (ja) | マンマシンインタラクションのための方法、装置、機器および媒体 | |
| CN112309365B (zh) | 语音合成模型的训练方法、装置、存储介质以及电子设备 | |
| CN111862987B (zh) | 语音识别方法和装置 | |
| CN104866275B (zh) | 一种用于获取图像信息的方法和装置 | |
| KR20210040329A (ko) | 비디오 태그의 생성 방법, 장치, 전자 기기 및 저장 매체 | |
| US20220068265A1 (en) | Method for displaying streaming speech recognition result, electronic device, and storage medium | |
| CN107608799B (zh) | 一种用于执行交互指令的方法、设备及存储介质 | |
| CN112133307A (zh) | 人机交互方法、装置、电子设备及存储介质 | |
| CN113767647A (zh) | 使用文本相似性将视觉标记映射到声音标记 | |
| CN112420073A (zh) | 语音信号处理方法、装置、电子设备和存储介质 | |
| CN112614484B (zh) | 特征信息挖掘方法、装置及电子设备 | |
| CN112650844A (zh) | 对话状态的追踪方法、装置、电子设备和存储介质 | |
| CN112652311B (zh) | 中英文混合语音识别方法、装置、电子设备和存储介质 | |
| CN112201259B (zh) | 声源定位方法、装置、设备和计算机存储介质 | |
| CN112527105B (zh) | 人机互动方法、装置、电子设备及存储介质 | |
| CN115240696A (zh) | 一种语音识别方法及可读存储介质 | |
| Ma et al. | Finding speaker identities with a conditional maximum entropy model | |
| CN112114886A (zh) | 误唤醒音频的获取方法和装置 | |
| CN113938739A (zh) | 信息显示方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |