CN111580775B - 信息控制方法及装置、存储介质 - Google Patents
信息控制方法及装置、存储介质 Download PDFInfo
- Publication number
- CN111580775B CN111580775B CN202010350332.8A CN202010350332A CN111580775B CN 111580775 B CN111580775 B CN 111580775B CN 202010350332 A CN202010350332 A CN 202010350332A CN 111580775 B CN111580775 B CN 111580775B
- Authority
- CN
- China
- Prior art keywords
- voice
- type
- sound intensity
- input
- voice data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013145 classification model Methods 0.000 claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 39
- 230000004044 response Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 5
- 230000007787 long-term memory Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims 4
- 230000010365 information processing Effects 0.000 claims 4
- 238000003672 processing method Methods 0.000 claims 3
- 230000002035 prolonged effect Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 description 17
- 230000003993 interaction Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开是关于一种信息控制方法及装置、存储介质。该方法应用于语音设备中，包括：采集第一语音得到语音数据；将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。通过该方法，能提升语音设备采集完整语义的语音数据的可能，因而可提高电子设备响应的精确度，提升用户使用体验。
Description
技术领域
本公开涉及智能语音技术领域，尤其涉及一种信息控制方法及装置、存储介质。
背景技术
随着计算机和人工智能技术的飞速发展，智能语音对话也得到极大的发展。近几年来，在语音交互技术中，为了达到流畅，自然，拟人化对话体验，出现了一种全双工的语音交互技术。
图1为全双工语音交互的特点和涉及相关技术的示例图。如图1所示，全双工语音交互有三个特点：1)一次唤醒，连续对话；2)边听边说，随时打断；3)更自然的表达。而这三个特点，也带来了相应的技术挑战，包括：1)多轮对话能力；2)回声消除；3)无效音拒识；4)智能判停和断句。如何提升全双工语音交互中语音交互的质量，特别是如何实现智能判停和断句，有待进一步解决。
发明内容
本公开提供一种信息控制方法及装置、存储介质。
根据本公开实施例的第一方面，提供一种信息控制方法，应用于语音设备，包括：
采集第一语音得到语音数据；
将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
可选的，所述方法还包括：
当所述判定结果为所述第一语音停止输入时，则停止采集；
基于采集得到的所述语音数据进行语音指令的响应。
可选的，所述方法还包括：
根据所述第一语音的声音强度变化趋势确定所述第一语音的类型；
若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止；
所述将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果，包括：
若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到无监督方式训练得到的所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
可选的，所述根据所述第一语音的声音强度确定所述语音是否输入停止，包括：
确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；
若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
可选的，所述方法还包括：
确定在采集到所述第一语音的语音数据后的预设时长内是否有继续采集到语音；
所述将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果，包括：
若在所述预设时长内未继续采集到语音，将所述语音数据输入到无监督方式训练得到的所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
根据本公开实施例的第二方面，提供一种信息控制装置，应用于语音设备，包括：
采集模块，配置为采集第一语音得到语音数据；
分析模块，配置为将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
所述采集模块，还配置为当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
可选的，所述装置还包括：
第一停止模块，配置为当所述判定结果为所述第一语音停止输入时，则停止采集；
第一响应模块，配置为基于采集得到的语音数据进行语音指令的响应。
可选的，所述装置还包括：
第一确定模块，配置为根据所述第一语音的声音强度变化趋势确定所述第一语音的类型；
第二确定模块，配置为若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止；
所述分析模块，具体配置为若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到无监督方式训练得到的所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
可选的，所述第二确定模块，具体配置为确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
可选的，所述装置还包括：
第三确定模块，配置为确定在采集到所述语音的语音数据后的预设时长内是否有继续采集到语音；
所述分析模块，具体配置为若在所述预设时长内未继续采集到语音，将所述语音数据输入到无监督方式训练得到的所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
根据本公开实施例的第三方面，提供一种信息控制装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如上述第一方面中所述的信息控制方法。
根据本公开实施例的第四方面，提供一种存储介质，包括：
当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如上述第一方面中所述的信息控制方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开在采集第一语音得到语音数据后，会将语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到第一语音是否输入停止的判定结果，并在确定判定结果为第一语音未停止输入时，继续采集第二语音。通过该方式，一方面，可减少因用户输入语音时的停顿使得语音数据被截断而造成的语义不完整现象发生，能提升语音设备采集完整语义的语音数据的可能，进而可提高电子设备响应的精确度，提升用户使用体验。另一方面，语义分类模型为采用无监督方式训练得到的，一方面，无需事先标注样本，具有智能性；另一方面，对于语音数据的语义分析场景，因语音数据的多样性，也可利用大量的样本通过自学习的方式去寻找内在规律，从而获得更有效的分类效果，提升电子设备响应的精度。
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为全双工语音交互的特点和涉及相关技术的示例图。
图2是本公开实施例示出的一种信息控制方法流程图一。
图3是本公开实施例示出的一种信息控制方法流程图二。
图4是根据一示例性实施例示出的一种信息控制装置图。
图5是本公开实施例示出的一种语音设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图2是本公开实施例示出的一种信息控制方法流程图一，如图2所示，应用于语音设备中的信息控制方法包括以下步骤：
S11、采集第一语音得到语音数据；
S12、将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
S13、当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
在本公开的实施例中，语音设备支持语音采集和音频输出的功能，在此基础上能实现人机间的语音交互。语音设备包括：智能手机、智能音箱或支持语音交互功能的可穿戴设备等。
例如，以语音设备是智能音箱为例，可以基于智能音箱所包含的语音采集组件采集用户输入的语音，并基于智能音箱的分析处理，通过智能音箱的语音输出组件输出采集的语音所对应的响应信息。智能音箱的语音采集组件可以是麦克风，智能音箱的语音输出组件可以是扬声器。
语音设备采集的语音的语音数据，可以是用户输入的语音请求信息，例如“请播放一首李白的诗”等；也可以是用户输入的语音聊天信息，例如，用户和语音设备进行人机对话时输入的“我觉得你太聪明了”等聊天信息。
在步骤S11至S12中，语音设备采集第一语音得到语音数据后，会将语音数据输入到语义分类模型，从语义的角度对语音数据的内容进行分析，判断语义是否完整，并在判断语义内容完整时输出可停止继续采集语音数据的判定结果，而在判断语义内容不完整时输出需继续采集语音数据的判定结果。
需要说明的是，本公开的语义分类模型采用的是无监督方式训练得到的。无监督方式训练时，不需要事先标记样本标签，可利用如聚类分析等算法根据样本间的相似度来将无标签的样本划分成若干不相交的子集，从而实现样本分类。本公开采用无监督方式训练的模型，无需事先对大量的语音样本进行标注，而利用自学习的方式获得样本的内在性质和规律实现分类，一方面，无需事先标注样本，具有智能性；另一方面，对于语音数据的语义分析场景，因语音数据的多样性，也可利用大量的样本通过自学习的方式去寻找内在规律，从而获得更有效的分类效果。其中，语音数据的多样性包括：语音内容的多样性以及语序的多样性(如存在有倒装的语序等)。
通常，语音设备会对预定时长内采集获得的语音数据进行识别并给出响应，但由于用户在输入一句完整语义的语音的中途可能会出现停顿而导致超过预定时长，或者用户持续发送语音时的时长超过预定时长，此时，均可能导致语音设备采集获得的语音数据是被截断后的数据，该被截断后的语音数据语义不完整。当对截断后的语音数据进行响应时，一方面可能存在错误响应，另一方面也可能存在拒识别，即无法给出响应的情况。
以语音设备是智能音箱为例，当智能音箱采集到“我想听”或“放一首”等被截断的语音数据后，由于智能音箱根据当前语音数据无法识别出用户的准确需求，则可能不给出响应；或者基于截断后的语音数据的分析，任意播放一首歌曲，然而该歌曲可能并不是用户想听的内容。
对此，本公开引入语义分类模型，判断语音是否输入停止的判定结果，若基于步骤S12中语义分类模型的判定，得到的是当前第一语音未停止输入的判定结果，则在S13中继续采集第二语音。
需要说明的是，在本公开的实施例中，第二语音为第一语音后续的任意语音，第一和第二不是区分不同的条数，仅是区分不同时间采集的语音。当判定结果为第一语音未停止时，继续采集的第二语音的语音数据可能是对第一语音的语音数据的补充。
可以理解的是，本公开实施例在人机交互过程中，引入语义分类模型来确定用户的语音输入是否输入停止，并在第一语音输入未停止的情况下，继续采集第二语音。通过该方式，提升了语音设备采集完整语义的语音数据的可能，因而可提高电子设备响应的精确度。此外，语义分类模型是无监督方式训练得到的，无需事先标记样本，因而更加智能；此外，也可利用大量无需标记的样本获得更好的分类效果，从而提升电子设备响应的精度。
在一种实施例中，所述方法还包括：
当所述判定结果为所述第一语音停止输入时，则停止采集；
基于采集得到的语音数据进行语音指令的响应。
在该实施例中，当语音设备的判断结果为语音输入完整，即代表语音的语义完整时，则停止继续采集，并对当前采集的第一语音的语音数据进行响应。
例如，当智能音箱采集到“我想听周杰伦的彩虹”的语音数据后，语义分类模型基于语义分析确定出该语音数据的语义完整，并给出第一语音停止输入的判定结果后，则会停止采集，并播放用户想听的歌曲。
可以理解的是，本公开实施例在人机交互过程中，引入语义分类模型来确定用户的第一语音输入是否输入停止，并在判定第一语音输入停止的情况下即给出响应。通过该方式，因只要判定出语音数据的语义完整即给响应，而可能无需等待预定时长后再给响应，因而能在不降低语音设备响应精确度的情况下，加快语音设备的响应速度。
图3是本公开实施例示出的一种信息控制方法流程图二，如图3所示，应用于语音设备中的信息控制方法包括以下步骤：
S11、采集第一语音得到语音数据；
S12a、根据所述第一语音的声音强度变化趋势确定所述第一语音的类型；
S12b、若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到无监督方式训练得到的所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
S13、当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
在本公开的实施例中，语音活动检测(Voice Activity Detection，VAD)方法是从音频的角度判断语音数据的边界。例如，语音设备可检测语音的声音强度(声能)，并通过语音的声能变化趋势来确定语音数据的边界。
在本公开的实施例中，通过语音活动检测方法来确定第一语音是否带拖音，并将不带拖音的类型确定为第一类型。其中，不带拖音的第一类型的语音，是指语音数据的声音强度保持在一个恒定强度范围，声音强度不会随时间延长而逐步减小。
需要说明的是，本公开将带拖音的语音确定为第二类型的语音，带拖音的第二类型的语音是指语音数据尾部的声音的强度随时间延长逐步减小的语音。
在一种实施例中，根据所述第一语音的声音强度变化趋势确定所述第一语音的类型，包括：
检测所述第一语音的声音强度；
若第一语音的声音强度逐渐降低，则确定所述第一语音是带拖音的第二类型；
若所述第一语音不属于第二类型，则确定所述第一语音是不带拖音的第一类型。
本公开实施例中，通过语音活动检测方法确定第一语音的类型为不带拖音的第一类型后，则将语音数据输入到语义分类模型，得到第一语音是否输入停止的判定结果。
需要说明的是，因拖音通常是一句话的尾部，例如智能音箱接收的“我想听inging”的语音请求即是一种带拖音的语音类型，拖音部分“ing ing”在尾部。再例如智能音箱接收的“你好强大啊～～～”的语音聊天也是一种带拖音的语音类型，语气助词“啊～～～”也属于尾部。
对此，对于不带拖音的第一类型，由于声音强度维持在一定强度范围内，尾部不存在强度逐渐降低的特征，因而从声音强度的角度可能无法准确判断是否输入完成。因此，针对不带拖音的第一类型需采用不同于声音强度的判定方式，从语义的角度来判断语音是否输入停止。
可以理解是，本公开事先区分第一语音的类型，当第一语音是不带拖音的第一类型时，采用语义分类模型来确定第一语音是否输入停止，充分利用了语音设备采集的语音数据的特点，做针对性的判定，一方面，对语义分类模型而言，因不用考虑带拖音的第二类型，因此模型的训练任务相对于包括所有类型语音的模型会相对较轻，基于此，本公开利用的语义分类模型针对同一类型的语音训练而成，模型相对简化且能有更好的分类效果；此外，本公开根据第一语音的声音强度变化趋势判断类型的方式，直接从音频的角度出发判断，方法简单，无需对语音数据做更多的类似语音识别或语义内容分析等处理，因而能快速给出判定结果，且减少功耗。
在一种实施例中，所述方法还包括：
若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止。
在该实施例中，从音频角度，根据声音强度确定第一语音是否输入停止，充分的利用了带拖音的语音的特点，无需对语音数据做更多的类似语音识别或语义内容分析等处理，因而能在不降低语音设备响应精确度的情况下，减少功耗。
在一种实施例中，所述根据所述第一语音的声音强度确定所述第一语音是否输入停止，包括：
确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；
若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
如前所述的，带拖音的第二类型的第一语音是指语音数据尾部的声音的强度随时间延长逐步减小的语音。因此，在该实施例中，语音设备在确定第一语音的类型为带拖音的第二类型，则在判定第一语音的声音强度持续降低至不小于预定声音强度阈值时，则继续采集第二语音。该预定声音强度阈值例如是3分贝。
需要说明的是，本公开实施例中，当第一语音的声音强度持续降低至小于预定声音强度阈值，则可以停止采集，并响应采集到的语音数据。
可以理解的是，在本公开的实施例中，从音频角度，在第一语音的声音强度持续降低至不小于预定声音强度阈值时，继续采集第二语音，因而能提升语音设备采集完整语义的语音数据的可能，进而可提高电子设备响应的精确度，提升用户使用体验。
在一种实施例中，所述方法还包括：
确定在采集到所述第一语音的语音数据后的预设时长内是否有继续采集到语音；
所述将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果，包括：
若在所述预设时长内未继续采集到语音，将所述语音数据输入到无监督方式训练得到的所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
在该实施例中，语音设备并不是即时将采集到的语音数据输入到语义分类模型，而是当在采集到语音的语音数据的预设时长内未继续采集到语音时，再将语音数据输入到语义分类模型。
通常，语音设备连续采集到的语音，属于用户想要表达的完整语义中的一部分，而只有当语音出现停顿或超过语音设备设定的采集时长时，才可能出现因语音数据被截断而无法呈现完整语义的情况。因而，本公开在确定预设时长内未采集到语音数据时，再将语音数据输入到语义分类模型，以确定用户的第一语音是否输入停止，能减少不必要的语义分析处理，节约语音设备的功耗。
在一种实施例中，所述语义分类模型包括：长短期记忆网络模型或时间卷积网络模型。
在该实施例中，无监督方式训练得到的语义分类模型包括长短期记忆深度学习(long short term memory，LSTM)模型，或时间卷积网络(temporal convolutionnetwork，TCN)模型。
LSTM网络是一种时间循环神经网络，可有效缓解语句过长而存在的长依赖问题。LSTM网络通过先筛选有效信息，随后基于该有效信息捕捉更大时间范围内的有效信息，来决定当前输出(在本申请中即语音数据的语义是否完整)。
TCN网络同时用到基于时序性的一维因果卷积和扩张卷积作为标准卷积层，并将每两个这样的卷积层与恒等映射封装为一个残差模块，再由残差模块堆叠起深度网络，并在最后几层使用全卷积层代替全连接层。相较而言，TCN网络比LSTM网络的处理速度要快。
需要说明的是，本公开在使用上述网络时，也可考虑提升语音设备的硬件处理能力，或对模型的进行精简以提升语音设备响应用户输入的语音的速度。
在提升语音设备的硬件处理能力方面，例如可嵌入式神经网络处理器(NPU)来提升模型的处理速度；在模型精简方面，可通过蒸馏处理、剪枝法或核稀疏化等方式来压缩网络模型，本公开实施例不做限制。
图4是根据一示例性实施例示出的一种信息控制装置图。参照图4，该信息控制装置包括：
采集模块101，配置为采集第一语音得到语音数据；
分析模块102，配置为将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
所述采集模块101，还配置为当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
可选的，所述装置还包括：
第一停止模块103，配置为当所述判定结果为所述第一语音停止输入时，则停止采集；
第一响应模块104，配置为基于采集得到的语音数据进行语音指令的响应。
可选的，所述装置还包括：
第一确定模块105，配置为根据所述第一语音的声音强度变化趋势确定所述第一语音的类型；
第二确定模块106，配置为若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止；
所述分析模块102，具体配置为若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到无监督方式训练得到的所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
可选的，所述第二确定模块106，具体配置为确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
可选的，所述装置还包括：
第三确定模块107，配置为确定在采集到所述第一语音的语音数据后的预设时长内是否有继续采集到语音；
所述分析模块102，具体配置为若在所述预设时长内未继续采集到语音，将所述语音数据输入到无监督方式训练得到的所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种语音设备装置800的框图。例如，装置800可以是智能音箱、智能手机等。
参照图5，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他语音元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行控制方法，所述方法包括：
采集第一语音得到语音数据；
将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种信息处理方法，其特征在于，应用于语音设备，包括：
采集第一语音得到语音数据；
根据所述第一语音的声音强度变化趋势确定所述第一语音的类型；
若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止；其中，所述带拖音的第二类型的语音是指语音数据尾部的声音的强度随时间延长逐步减小的语音；
若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；其中，不带拖音的第一类型的语音是指语音数据的声音强度保持在预定强度范围，且声音强度不会随时间延长而逐步减小的语音；
当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音；
其中，所述根据所述第一语音的声音强度确定所述第一语音是否输入停止，包括：
确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；
若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述判定结果为所述第一语音停止输入时，则停止采集；
基于采集得到的语音数据进行语音指令的响应。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定在采集到所述第一语音的语音数据后的预设时长内是否有继续采集到语音；
若所述第一语音的类型为不带拖音的第一类型，所述将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果，包括：
若在所述预设时长内未继续采集到语音，且所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到无监督方式训练得到的所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
4.根据权利要求1所述的方法，其特征在于，所述语义分类模型包括：长短期记忆网络模型或时间卷积网络模型。
5.一种信息处理装置，其特征在于，应用于语音设备，包括：
采集模块，配置为采集第一语音得到语音数据；
第一确定模块，配置为根据所述第一语音的声音强度变化趋势确定所述第一语音的类型；
第二确定模块，配置为若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止；其中，所述带拖音的第二类型的语音是指语音数据尾部的声音的强度随时间延长逐步减小的语音；
分析模块，配置为若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到无监督方式训练得到的语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；其中，不带拖音的第一类型的语音是指语音数据的声音强度保持在预定强度范围，且声音强度不会随时间延长而逐步减小的语音；
所述采集模块，还配置为当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音；
其中，所述第二确定模块，具体配置为确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第一停止模块，配置为当所述判定结果为所述第一语音停止输入时，则停止采集；
第一响应模块，配置为基于采集得到的所述语音数据进行语音指令的响应。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第三确定模块，配置为确定在采集到所述第一语音的语音数据后的预设时长内是否有继续采集到语音；
所述分析模块，具体配置为若在所述预设时长内未继续采集到语音，且所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
8.根据权利要求5所述的装置，其特征在于，所述语义分类模型包括：长短期记忆网络模型或时间卷积网络模型。
9.一种信息控制装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如权利要求1至4中任一项所述的信息处理方法。
10.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如权利要求1至4中任一项所述的信息处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010350332.8A CN111580775B (zh) | 2020-04-28 | 2020-04-28 | 信息控制方法及装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010350332.8A CN111580775B (zh) | 2020-04-28 | 2020-04-28 | 信息控制方法及装置、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111580775A CN111580775A (zh) | 2020-08-25 |
| CN111580775B true CN111580775B (zh) | 2024-03-05 |
Family
ID=72126888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010350332.8A Active CN111580775B (zh) | 2020-04-28 | 2020-04-28 | 信息控制方法及装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111580775B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192502A (zh) * | 2021-04-27 | 2021-07-30 | 北京小米移动软件有限公司 | 音频处理方法、装置及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1856821A (zh) * | 2003-07-31 | 2006-11-01 | 艾利森电话股份有限公司 | 允许声音打断的系统与方法 |
| CN107919130A (zh) * | 2017-11-06 | 2018-04-17 | 百度在线网络技术（北京）有限公司 | 基于云端的语音处理方法和装置 |
| CN109599130A (zh) * | 2018-12-10 | 2019-04-09 | 百度在线网络技术（北京）有限公司 | 收音方法、装置及存储介质 |
| CN110517685A (zh) * | 2019-09-25 | 2019-11-29 | 深圳追一科技有限公司 | 语音识别方法、装置、电子设备及存储介质 |
| CN110648656A (zh) * | 2019-08-28 | 2020-01-03 | 北京达佳互联信息技术有限公司 | 语音端点检测方法、装置、电子设备及存储介质 |
| CN110689877A (zh) * | 2019-09-17 | 2020-01-14 | 华为技术有限公司 | 一种语音结束端点检测方法及装置 |
| CN110827795A (zh) * | 2018-08-07 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 语音输入结束判断方法、装置、设备、系统以及存储介质 |
| CN111583923A (zh) * | 2020-04-28 | 2020-08-25 | 北京小米松果电子有限公司 | 信息控制方法及装置、存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112011105136B4 (de) * | 2011-04-08 | 2018-12-13 | Mitsubishi Electric Corporation | Spracherkennungsvorrichtung und Navigationsvorrichtung |
-
2020
- 2020-04-28 CN CN202010350332.8A patent/CN111580775B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1856821A (zh) * | 2003-07-31 | 2006-11-01 | 艾利森电话股份有限公司 | 允许声音打断的系统与方法 |
| CN107919130A (zh) * | 2017-11-06 | 2018-04-17 | 百度在线网络技术（北京）有限公司 | 基于云端的语音处理方法和装置 |
| CN110827795A (zh) * | 2018-08-07 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 语音输入结束判断方法、装置、设备、系统以及存储介质 |
| CN109599130A (zh) * | 2018-12-10 | 2019-04-09 | 百度在线网络技术（北京）有限公司 | 收音方法、装置及存储介质 |
| CN110648656A (zh) * | 2019-08-28 | 2020-01-03 | 北京达佳互联信息技术有限公司 | 语音端点检测方法、装置、电子设备及存储介质 |
| CN110689877A (zh) * | 2019-09-17 | 2020-01-14 | 华为技术有限公司 | 一种语音结束端点检测方法及装置 |
| CN110517685A (zh) * | 2019-09-25 | 2019-11-29 | 深圳追一科技有限公司 | 语音识别方法、装置、电子设备及存储介质 |
| CN111583923A (zh) * | 2020-04-28 | 2020-08-25 | 北京小米松果电子有限公司 | 信息控制方法及装置、存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Glimpsing speech interrupted by speech-modulated noise;Miller, RE et al.;JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA;第143卷(第5期);全文 * |
| 基于参数迁移和卷积循环神经网络的语音情感识别;缪裕青;邹巍;刘同来;周明;蔡国永;;计算机工程与应用(10);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111580775A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583923B (zh) | 信息控制方法及装置、存储介质 | |
| JP6811758B2 (ja) | 音声対話方法、装置、デバイス及び記憶媒体 | |
| CN110634483B (zh) | 人机交互方法、装置、电子设备及存储介质 | |
| JP7166294B2 (ja) | オーディオ処理方法、装置及び記憶媒体 | |
| CN111583907A (zh) | 信息处理方法、装置及存储介质 | |
| CN107978316A (zh) | 控制终端的方法及装置 | |
| CN108648754B (zh) | 语音控制方法及装置 | |
| CN111696553B (zh) | 一种语音处理方法、装置及可读介质 | |
| CN106888327B (zh) | 语音播放方法及装置 | |
| US12014730B2 (en) | Voice processing method, electronic device, and storage medium | |
| CN111968680B (zh) | 一种语音处理方法、装置及存储介质 | |
| CN111583919B (zh) | 信息处理方法、装置及存储介质 | |
| CN111580773B (zh) | 信息处理方法、装置及存储介质 | |
| CN107945806B (zh) | 基于声音特征的用户识别方法及装置 | |
| CN105488026A (zh) | 关注话题的提醒方法及装置 | |
| CN112133302B (zh) | 预唤醒终端的方法、装置及存储介质 | |
| CN111009239A (zh) | 回声消除方法、回声消除装置及电子设备 | |
| CN111739535A (zh) | 一种语音识别方法、装置和电子设备 | |
| CN111580775B (zh) | 信息控制方法及装置、存储介质 | |
| CN112863499B (zh) | 语音识别方法及装置、存储介质 | |
| CN111667829B (zh) | 信息处理方法及装置、存储介质 | |
| CN112863511B (zh) | 信号处理方法、装置以及存储介质 | |
| CN109887492A (zh) | 一种数据处理方法、装置和电子设备 | |
| CN115083396A (zh) | 音频尾端检测的语音处理方法、装置、电子设备及介质 | |
| CN113192502A (zh) | 音频处理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |