CN111583923A - 信息控制方法及装置、存储介质 - Google Patents
信息控制方法及装置、存储介质 Download PDFInfo
- Publication number
- CN111583923A CN111583923A CN202010349234.2A CN202010349234A CN111583923A CN 111583923 A CN111583923 A CN 111583923A CN 202010349234 A CN202010349234 A CN 202010349234A CN 111583923 A CN111583923 A CN 111583923A
- Authority
- CN
- China
- Prior art keywords
- voice
- input
- type
- sound intensity
- stopped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013145 classification model Methods 0.000 claims abstract description 51
- 238000004458 analytical method Methods 0.000 claims abstract description 43
- 230000004044 response Effects 0.000 claims abstract description 20
- 238000013136 deep learning model Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 7
- 230000010365 information processing Effects 0.000 claims 2
- 238000003672 processing method Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 20
- 230000003993 interaction Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000004821 distillation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
Abstract
本公开是关于一种信息控制方法及装置、存储介质。该方法应用于语音设备中，包括：采集第一语音得到语音数据；将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。通过该方法，能提升语音设备采集完整语义的语音数据的可能，因而可提高电子设备响应的精确度，提升用户使用体验。
Description
技术领域
本公开涉及智能语音技术领域，尤其涉及一种信息控制方法及装置、存储介质。
背景技术
随着计算机和人工智能技术的飞速发展，智能语音对话也得到极大的发展。近几年来，在语音交互技术中，为了达到流畅，自然，拟人化对话体验，出现了一种全双工的语音交互技术。
图1为全双工语音交互的特点和涉及相关技术的示例图。如图1所示，全双工语音交互有三个特点：1)一次唤醒，连续对话；2)边听边说，随时打断；3)更自然的表达。而这三个特点，也带来了相应的技术挑战，包括：1)多轮对话能力；2)回声消除；3)无效音拒识；4)智能判停和断句。如何提升全双工语音交互中语音交互的质量，特别是如何实现智能判停和断句，有待进一步解决。
发明内容
本公开提供一种信息控制方法及装置、存储介质。
根据本公开实施例的第一方面，提供一种信息控制方法，应用于语音设备，包括：
采集第一语音得到语音数据；
将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
可选的，所述方法还包括：
当所述判定结果为所述第一语音停止输入时，则停止采集；
基于采集得到的所述语音数据进行语音指令的响应。
可选的，所述方法还包括：
根据所述第一语音的声音强度变化趋势确定所述第一语音的类型；
若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止；
所述将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果，包括：
若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
可选的，所述根据所述第一语音的声音强度确定所述第一语音是否输入停止，包括：
确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；
若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
可选的，所述方法还包括：
确定在采集到所述第一语音的语音数据后的预设时长内是否有继续采集到语音；
所述将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果，包括：
若在所述预设时长内未继续采集到语音，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
可选的，所述语义分类模型为对带标签的语音数据样本进行训练后得到的有监督深度学习模型。
根据本公开实施例的第二方面，提供一种信息控制装置，应用于语音设备，包括：
采集模块，配置为采集第一语音得到语音数据；
分析模块，配置为将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
所述采集模块，还配置为当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
可选的，所述装置还包括：
第一停止模块，配置为当所述判定结果为所述第一语音停止输入时，则停止采集；
第一响应模块，配置为基于采集得到的所述语音数据进行语音指令的响应。
可选的，所述装置还包括：
第一确定模块，配置为根据所述第一语音的声音强度变化趋势确定所述第一语音的类型；
第二确定模块，配置为若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止；
所述分析模块，具体配置为若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
可选的，所述第二确定模块，具体配置为确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
可选的，所述装置还包括：
第三确定模块，配置为确定在采集到所述第一语音的语音数据后的预设时长内是否有继续采集到语音；
所述分析模块，具体配置为若在所述预设时长内未继续采集到语音，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
可选的，所述语义分类模型为对带标签的语音数据样本进行训练后得到的有监督深度学习模型。
根据本公开实施例的第三方面，提供一种信息控制装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如上述第一方面中所述的信息控制方法。
根据本公开实施例的第四方面，提供一种存储介质，包括：
当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如上述第一方面中所述的信息控制方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开在采集第一语音得到语音数据后，会将语音数据输入到语义分类模型，基于语义分析得到第一语音是否输入停止的判定结果，并在确定判定结果为语音未停止输入时，继续采集第二语音。通过该方式，可减少因用户输入语音时的停顿使得语音数据被截断而造成的语义不完整现象发生，能提升语音设备采集完整语义的语音数据的可能，进而可提高电子设备响应的精确度，提升用户使用体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为全双工语音交互的特点和涉及相关技术的示例图。
图2是本公开实施例示出的一种信息控制方法流程图一。
图3是本公开实施例示出的一种信息控制方法流程图二。
图4是根据一示例性实施例示出的一种信息控制装置图。
图5是本公开实施例示出的一种语音设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图2是本公开实施例示出的一种信息控制方法流程图一，如图2所示，应用于语音设备中的信息控制方法包括以下步骤：
S11、采集第一语音得到语音数据；
S12、将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
S13、当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
在本公开的实施例中，语音设备支持语音采集和音频输出的功能，在此基础上能实现人机间的语音交互。语音设备包括：智能手机、智能音箱或支持语音交互功能的可穿戴设备等。
例如，以语音设备是智能音箱为例，可以基于智能音箱所包含的语音采集组件采集用户输入的语音，并基于智能音箱的分析处理，通过智能音箱的语音输出组件输出采集的语音所对应的响应信息。智能音箱的语音采集组件可以是麦克风，智能音箱的语音输出组件可以是扬声器。
语音设备采集的语音的语音数据，可以是用户输入的语音请求信息，例如“请播放一首李白的诗”等；也可以是用户输入的语音聊天信息，例如，用户和语音设备进行人机对话时输入的“我觉得你太聪明了”等聊天信息。
在步骤S11至S12中，语音设备采集第一语音得到语音数据后，会将语音数据输入到语义分类模型。该语义分类模型是从语义的角度对语音数据的内容进行分析，判断语义是否完整，并在判断语义内容完整时输出可停止继续采集语音数据的判定结果，而在判断语义内容不完整时输出需继续采集语音数据的判定结果。需要说明的是，本公开的语义分类模型是通过对包括大量不同语义的语音样本训练而成。
通常，语音设备会对预定时长内采集获得的语音数据进行识别并给出响应，但由于用户在输入一句完整语义的语音的中途可能会出现停顿而导致超过预定时长，或者用户持续发送语音时的时长超过预定时长，此时，均可能导致语音设备采集获得的语音数据是被截断后的数据，该被截断后的语音数据语义不完整。当对截断后的语音数据进行响应时，一方面可能存在错误响应，另一方面也可能存在拒识别，即无法给出响应的情况。
以语音设备是智能音箱为例，当智能音箱采集到“我想听”或“放一首”等被截断的语音数据后，由于智能音箱根据当前语音数据无法识别出用户的准确需求，则可能不给出响应；或者基于截断后的语音数据的分析，任意播放一首歌曲，然而该歌曲可能并不是用户想听的内容。
对此，本公开引入语义分类模型，判断语音是否输入停止的判定结果，若基于步骤S12中语义分类模型的判定，得到的是当前第一语音未停止输入的判定结果，则在S13中继续采集第二语音。
需要说明的是，在本公开的实施例中，第二语音为第一语音后续的任意语音，第一和第二不是区分不同的条数，仅是区分不同时间采集的语音。当判定结果为第一语音未停止时，继续采集的第二语音的语音数据可能是对第一语音的语音数据的补充。
可以理解的是，本公开实施例在人机交互过程中，引入语义分类模型来确定用户的语音输入是否输入停止，并在第一语音输入未停止的情况下，继续采集第二语音。通过该方式，提升了语音设备采集完整语义的语音数据的可能，因而可提高电子设备响应的精确度。
在一种实施例中，所述方法还包括：
当所述判定结果为所述第一语音停止输入时，则停止采集；
基于采集得到的所述语音数据进行语音指令的响应。
在该实施例中，当语音设备的判断结果为第一语音输入完整，即代表第一语音的语义完整时，则停止继续采集，并对当前采集的第一语音的语音数据进行响应。
例如，当智能音箱采集到“我想听周杰伦的彩虹”的语音数据后，语义分类模型基于语义分析确定出该语音数据的语义完整，并给出第一语音停止输入的判定结果后，则会停止采集，并播放用户想听的歌曲。
可以理解的是，本公开实施例在人机交互过程中，引入语义分类模型来确定用户的第一语音输入是否输入停止，并在判定第一语音输入停止的情况下即给出响应。通过该方式，因只要判定出语音数据的语义完整即给响应，而可能无需等待预定时长后再给响应，因而能在不降低语音设备响应精确度的情况下，加快语音设备的响应速度。
图3是本公开实施例示出的一种信息控制方法流程图二，如图3所示，应用于语音设备中的信息控制方法包括以下步骤：
S11、采集第一语音得到语音数据；
S12a、根据所述第一语音的声音强度变化趋势确定所述第一语音的类型；
S12b、若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
S13、当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
在本公开的实施例中，可通过语音的声音强度变化趋势来确定语音的类型，该方法是从音频的角度来对语音的类型进行区域，属于语音活动检测(Voice ActivityDetection，VAD)的一种。
在本公开的实施例中，根据所述第一语音的声音强度变化趋势来确定第一语音是否带拖音，并将不带拖音的类型确定为第一类型。其中，不带拖音的第一类型的语音，是指语音数据的声音强度保持在一个恒定强度范围，声音强度不会随时间延长而逐步减小。
需要说明的是，本公开将带拖音的语音确定为第二类型的语音，带拖音的第二类型的语音是指语音数据尾部的声音的强度随时间延长逐步减小的语音。
在一种实施例中，根据所述第一语音的声音强度变化趋势确定所述语音的类型，包括：
若所述第一语音的声音强度逐渐降低，则确定所述第一语音是带拖音的第二类型；
若所述第一语音不属于第二类型，则确定所述第一语音是不带拖音的第一类型。
本公开实施例中，根据所述第一语音的声音强度变化趋势确定第一语音的类型为不带拖音的第一类型后，则将语音数据输入到语义分类模型，得到第一语音是否输入停止的判定结果。
需要说明的是，因拖音通常是一句话的尾部，例如智能音箱接收的“我想听inging”的语音请求即是一种带拖音的语音类型，拖音部分“ing ing”在尾部。再例如智能音箱接收的“你好强大啊～～～”的语音聊天也是一种带拖音的语音类型，语气助词“啊～～～”也属于尾部。
对此，对于不带拖音的第一类型，由于声音强度维持在一定强度范围内，尾部不存在强度逐渐降低的特征，因而从声音强度的角度可能无法准确判断是否输入完成。因此，针对不带拖音的第一类型需采用不同于声音强度的判定方式，从语义的角度来判断语音是否输入停止。
可以理解是，本公开事先区分第一语音的类型，当第一语音是不带拖音的第一类型时，采用语义分类模型来确定第一语音是否输入停止，充分利用了语音设备采集的语音数据的特点，做针对性的判定，一方面，对语义分类模型而言，因不用考虑带拖音的第二类型，因此模型的训练任务相对于包括所有类型语音的模型会相对较轻，基于此，本公开利用的语义分类模型针对同一类型的语音训练而成，模型相对简化且能有更好的分类效果；此外，本公开事先根据第一语音的声音强度变化趋势判断类型的方式，直接从音频的角度出发判断，方法简单，无需对语音数据做更多的类似语音识别或语义内容分析等处理，因而能快速给出判定结果，且减少功耗。
在一种实施例中，所述方法还包括：
若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止。
在该实施例中，从音频角度，根据声音强度确定第一语音是否输入停止，充分的利用了带拖音的语音的特点，无需对语音数据做更多的类似语音识别或语义内容分析等处理，因而能在不降低语音设备响应精确度的情况下，减少功耗。
在一种实施例中，所述根据所述第一语音的声音强度确定所述第一语音是否输入停止，包括：
确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；
若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
如前所述的，带拖音的第二类型的第一语音是指语音数据尾部的声音的强度随时间延长逐步减小的语音。因此，在该实施例中，语音设备在确定第一语音的类型为带拖音的第二类型，则在判定第一语音的声音强度持续降低至不小于预定声音强度阈值时，则继续采集第二语音。该预定声音强度阈值例如是3分贝。
需要说明的是，本公开实施例中，当第一语音的声音强度持续降低至小于预定声音强度阈值，则可以停止采集，并响应采集到的语音数据。
可以理解的是，在本公开的实施例中，从音频角度，在第一语音的声音强度持续降低至不小于预定声音强度阈值时，继续采集第二语音，因而能提升语音设备采集完整语义的语音数据的可能，进而可提高电子设备响应的精确度，提升用户使用体验。
在一种实施例中，所述方法还包括：
确定在采集到所述第一语音的语音数据后的预设时长内是否有继续采集到语音；
所述将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果，包括：
若在所述预设时长内未继续采集到语音，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
在该实施例中，语音设备并不是即时将采集到的语音数据输入到语义分类模型，而是当在采集到语音的语音数据的预设时长内未继续采集到语音时，再将语音数据输入到语义分类模型。
通常，语音设备连续采集到的语音，属于用户想要表达的完整语义中的一部分，而只有当语音出现停顿或超过语音设备设定的采集时长时，才可能出现因语音数据被截断而无法呈现完整语义的情况。因而，本公开在确定预设时长内未采集到语音时，再将语音数据输入到语义分类模型，以确定用户的第一语音是否输入停止，能减少不必要的语义分析处理，节约语音设备的功耗。
在一种实施例中，所述语义分类模型为对带标签的语音数据样本进行训练后得到的有监督深度学习模型。
在本公开的实施了中，语义分类模型采用的是有监督的深度学习模型。因有监督的深度学习模型是对大量人为标注标签后的语音数据样本进行的处理，基于标签的引导，因而训练获得的模型的精度会更优。
基于此，本公开将语音数据输入到有监督深度学习模型，能得到更准确的判定结果，因而能提高电子设备响应的精确度，提升用户体验。
需要说明的是，本公开的有监督深度学习模型，可以是卷积神经网络(Convolutional Neural Networks，CNN)或循环神经网络(Recurrent Neural Network，RNN)等。此外，本公开的语义分类模型还可是传统的XGBoost模型或支持向量机(SupportVector Machine，SVM)模型等，本公开实施例不做限制。
在一种实施例中，所述有监督深度学习模型包括Bert语言模型。
在该实施例中，有监督深度学习模型采用的是Bert语言模型。Bert是一种具有双向深度的神经网络模型。Bert模型的关键是采用了一种名为掩蔽语言模型(MaskedLanguage Modeling)的技术，它允许在模型中同时利用左侧和右侧的词语从而进行双向训练来提升精度。此外，为了训练理解句子关系以及单词之间的语义关系的模型，Bert模型还预先训练二进制化的下一句预测任务，通过添加这种预测机制，使得模型能理解句子之间的关系，因而能够更好的进行语义分析。
基于此，本公开采用Bert模型，能更好的进行语义分析从而得到更为精确的判定结果，因此本公开采用Bert的语义分类模型能提高电子设备响应的精确度，提升用户体验。
在一种实施例中，所述Bert语言模型为经过蒸馏处理的语言模型。
在深度学习模型中，较大、较复杂的网络虽然具有很好的精度，但是也存在很多的冗余信息，因此运算量以及资源的消耗都非常多，当应用到语音设备时，可能会导致语音设备响应用户输入的语音的速度较慢。
基于此，一方面可提升语音设备的硬件处理能力，另一方面可对模型的进行精简。
在提升语音设备的硬件处理能力方面，例如可嵌入式神经网络处理器(NPU)来提升模型的处理速度。
在模型精简方面，蒸馏处理可以将复杂网络中的有用信息提取出来迁移到一个更小的网络上，这样学习来的小网络可以具备和大的复杂网络想接近的性能效果，并且也大大的节省了计算资源，相对于提升语音设备的硬件处理能力的角度，能在不增加语音设备的成本的前提下提升语义分类模型的处理速度，从而提升语音设备的响应速度。
需要说明的是，本公开并不限定于采用蒸馏处理的方法来压缩模型，还可采用例如剪枝法或核稀疏化等方式来压缩模型。
图4是根据一示例性实施例示出的一种信息控制装置图。参照图4，该信息控制装置包括：
采集模块101，配置为采集第一语音得到语音数据；
分析模块102，配置为将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
所述采集模块101，还配置为当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
可选的，所述装置还包括：
第一停止模块103，配置为当所述判定结果为所述第一语音停止输入时，则停止采集；
第一响应模块104，配置为基于采集得到的所述语音数据进行语音指令的响应。
可选的，所述装置还包括：
第一确定模块105，配置为根据所述第一语音的声音强度变化趋势确定所述第一语音的类型；
第二确定模块106，配置为若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止；
所述分析模块102，具体配置为若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
可选的，所述第二确定模块106，具体配置为确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
可选的，所述装置还包括：
第三确定模块107，配置为确定在采集到所述第一语音的语音数据后的预设时长内是否有继续采集到语音；
所述分析模块102，具体配置为若在所述预设时长内未继续采集到语音，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
可选的，所述语义分类模型为对带标签的语音数据样本进行训练后得到的有监督深度学习模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种语音设备装置800的框图。例如，装置800可以是智能音箱、智能手机等。
参照图5，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他语音元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行控制方法，所述方法包括：
采集第一语音得到语音数据；
将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (14)
1.一种信息处理方法，其特征在于，应用于语音设备，包括：
采集第一语音得到语音数据；
将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述判定结果为所述第一语音停止输入时，则停止采集；
基于采集得到的所述语音数据进行语音指令的响应。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述第一语音的声音强度变化趋势确定所述第一语音的类型；
若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止；
所述将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果，包括：
若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一语音的声音强度确定所述第一语音是否输入停止，包括：
确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；
若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定在采集到所述第一语音的语音数据后的预设时长内是否有继续采集到语音；
所述将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果，包括：
若在所述预设时长内未继续采集到语音，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
6.根据权利要求1所述的方法，其特征在于，所述语义分类模型为对带标签的语音数据样本进行训练后得到的有监督深度学习模型。
7.一种信息处理装置，其特征在于，应用于语音设备，包括：
采集模块，配置为采集第一语音得到语音数据；
分析模块，配置为将所述语音数据输入到语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果；
所述采集模块，还配置为当确定所述判定结果为所述第一语音未停止输入时，继续采集第二语音。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第一停止模块，配置为当所述判定结果为所述第一语音停止输入时，则停止采集；
第一响应模块，配置为基于采集得到的所述语音数据进行语音指令的响应。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第一确定模块，配置为根据所述第一语音的声音强度的变化趋势确定所述第一语音的类型；
第二确定模块，配置为若所述第一语音的类型为带拖音的第二类型，根据所述第一语音的声音强度确定所述第一语音是否输入停止；
所述分析模块，具体配置为若所述第一语音的类型为不带拖音的第一类型，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
10.根据权利要求9所述的装置，其特征在于，
所述第二确定模块，具体配置为确定所述第二类型的所述第一语音的声音强度是否持续降低至小于预定声音强度阈值；若所述第一语音的声音强度不小于所述预定声音强度阈值，则继续采集所述第二语音。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第三确定模块，配置为确定在采集到所述第一语音的语音数据后的预设时长内是否有继续采集到语音；
所述分析模块，具体配置为若在所述预设时长内未继续采集到语音，将所述语音数据输入到所述语义分类模型，基于语义分析得到所述第一语音是否输入停止的判定结果。
12.根据权利要求7所述的装置，其特征在于，所述语义分类模型为对带标签的语音数据样本进行训练后得到的有监督深度学习模型。
13.一种信息控制装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如权利要求1至6中任一项所述的信息控制方法。
14.一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如权利要求1至6中任一项所述的信息控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010349234.2A CN111583923B (zh) | 2020-04-28 | 2020-04-28 | 信息控制方法及装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010349234.2A CN111583923B (zh) | 2020-04-28 | 2020-04-28 | 信息控制方法及装置、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583923A true CN111583923A (zh) | 2020-08-25 |
| CN111583923B CN111583923B (zh) | 2023-11-14 |
Family
ID=72124565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010349234.2A Active CN111583923B (zh) | 2020-04-28 | 2020-04-28 | 信息控制方法及装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583923B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111580775A (zh) * | 2020-04-28 | 2020-08-25 | 北京小米松果电子有限公司 | 信息控制方法及装置、存储介质 |
| CN113192502A (zh) * | 2021-04-27 | 2021-07-30 | 北京小米移动软件有限公司 | 音频处理方法、装置及存储介质 |
| CN113936679A (zh) * | 2021-09-23 | 2022-01-14 | 电子科技大学 | 一种基于信息蒸馏与聚合的低信噪比语音增强方法 |
| WO2023092399A1 (zh) * | 2021-11-25 | 2023-06-01 | 华为技术有限公司 | 语音识别方法、语音识别装置及系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6496799B1 (en) * | 1999-12-22 | 2002-12-17 | International Business Machines Corporation | End-of-utterance determination for voice processing |
| JP2004062685A (ja) * | 2002-07-30 | 2004-02-26 | P To Pa:Kk | 情報処理システム、情報処理方法、プログラム |
| JP2004325848A (ja) * | 2003-04-25 | 2004-11-18 | Nippon Telegr & Teleph Corp <Ntt> | 音声対話制御方法、音声対話制御装置、音声対話制御プログラム |
| JP2011227236A (ja) * | 2010-04-19 | 2011-11-10 | Honda Motor Co Ltd | 音声対話装置 |
| CN107146618A (zh) * | 2017-06-16 | 2017-09-08 | 北京云知声信息技术有限公司 | 语音处理方法及装置 |
| CN107180631A (zh) * | 2017-05-24 | 2017-09-19 | 刘平舟 | 一种语音交互方法及装置 |
| WO2017157684A1 (de) * | 2016-03-16 | 2017-09-21 | Bayerische Motoren Werke Aktiengesellschaft | Fortbewegungsmittel, system und verfahren zur anpassung einer länge einer erlaubten sprechpause im rahmen einer spracheingabe |
| CN107665706A (zh) * | 2016-07-29 | 2018-02-06 | 科大讯飞股份有限公司 | 快速语音交互方法及系统 |
| CN107785018A (zh) * | 2016-08-31 | 2018-03-09 | 科大讯飞股份有限公司 | 多轮交互语义理解方法和装置 |
| CN107799116A (zh) * | 2016-08-31 | 2018-03-13 | 科大讯飞股份有限公司 | 多轮交互并行语义理解方法和装置 |
| CN107919130A (zh) * | 2017-11-06 | 2018-04-17 | 百度在线网络技术（北京）有限公司 | 基于云端的语音处理方法和装置 |
| CN108257616A (zh) * | 2017-12-05 | 2018-07-06 | 苏州车萝卜汽车电子科技有限公司 | 人机对话的检测方法以及装置 |
| CN109599130A (zh) * | 2018-12-10 | 2019-04-09 | 百度在线网络技术（北京）有限公司 | 收音方法、装置及存储介质 |
| CN109637519A (zh) * | 2018-11-13 | 2019-04-16 | 百度在线网络技术（北京）有限公司 | 语音交互实现方法、装置、计算机设备及存储介质 |
| CN110111789A (zh) * | 2019-05-07 | 2019-08-09 | 百度国际科技（深圳）有限公司 | 语音交互方法、装置、计算设备和计算机可读介质 |
| CN110619873A (zh) * | 2019-08-16 | 2019-12-27 | 北京小米移动软件有限公司 | 音频处理方法、装置及存储介质 |
-
2020
- 2020-04-28 CN CN202010349234.2A patent/CN111583923B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6496799B1 (en) * | 1999-12-22 | 2002-12-17 | International Business Machines Corporation | End-of-utterance determination for voice processing |
| JP2004062685A (ja) * | 2002-07-30 | 2004-02-26 | P To Pa:Kk | 情報処理システム、情報処理方法、プログラム |
| JP2004325848A (ja) * | 2003-04-25 | 2004-11-18 | Nippon Telegr & Teleph Corp <Ntt> | 音声対話制御方法、音声対話制御装置、音声対話制御プログラム |
| JP2011227236A (ja) * | 2010-04-19 | 2011-11-10 | Honda Motor Co Ltd | 音声対話装置 |
| CN108780644A (zh) * | 2016-03-16 | 2018-11-09 | 宝马股份公司 | 运输工具、用于在语音输入范围内调整允许的语音停顿长度的系统和方法 |
| WO2017157684A1 (de) * | 2016-03-16 | 2017-09-21 | Bayerische Motoren Werke Aktiengesellschaft | Fortbewegungsmittel, system und verfahren zur anpassung einer länge einer erlaubten sprechpause im rahmen einer spracheingabe |
| CN107665706A (zh) * | 2016-07-29 | 2018-02-06 | 科大讯飞股份有限公司 | 快速语音交互方法及系统 |
| CN107785018A (zh) * | 2016-08-31 | 2018-03-09 | 科大讯飞股份有限公司 | 多轮交互语义理解方法和装置 |
| CN107799116A (zh) * | 2016-08-31 | 2018-03-13 | 科大讯飞股份有限公司 | 多轮交互并行语义理解方法和装置 |
| CN107180631A (zh) * | 2017-05-24 | 2017-09-19 | 刘平舟 | 一种语音交互方法及装置 |
| CN107146618A (zh) * | 2017-06-16 | 2017-09-08 | 北京云知声信息技术有限公司 | 语音处理方法及装置 |
| CN107919130A (zh) * | 2017-11-06 | 2018-04-17 | 百度在线网络技术（北京）有限公司 | 基于云端的语音处理方法和装置 |
| US20190139566A1 (en) * | 2017-11-06 | 2019-05-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Cloud-based speech processing method and apparatus |
| CN108257616A (zh) * | 2017-12-05 | 2018-07-06 | 苏州车萝卜汽车电子科技有限公司 | 人机对话的检测方法以及装置 |
| CN109637519A (zh) * | 2018-11-13 | 2019-04-16 | 百度在线网络技术（北京）有限公司 | 语音交互实现方法、装置、计算机设备及存储介质 |
| CN109599130A (zh) * | 2018-12-10 | 2019-04-09 | 百度在线网络技术（北京）有限公司 | 收音方法、装置及存储介质 |
| CN110111789A (zh) * | 2019-05-07 | 2019-08-09 | 百度国际科技（深圳）有限公司 | 语音交互方法、装置、计算设备和计算机可读介质 |
| CN110619873A (zh) * | 2019-08-16 | 2019-12-27 | 北京小米移动软件有限公司 | 音频处理方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 钟家伟;: "CSC-BPTT算法在全双工模式智能语音交互技术中应用研究", no. 04 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111580775A (zh) * | 2020-04-28 | 2020-08-25 | 北京小米松果电子有限公司 | 信息控制方法及装置、存储介质 |
| CN111580775B (zh) * | 2020-04-28 | 2024-03-05 | 北京小米松果电子有限公司 | 信息控制方法及装置、存储介质 |
| CN113192502A (zh) * | 2021-04-27 | 2021-07-30 | 北京小米移动软件有限公司 | 音频处理方法、装置及存储介质 |
| CN113936679A (zh) * | 2021-09-23 | 2022-01-14 | 电子科技大学 | 一种基于信息蒸馏与聚合的低信噪比语音增强方法 |
| WO2023092399A1 (zh) * | 2021-11-25 | 2023-06-01 | 华为技术有限公司 | 语音识别方法、语音识别装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583923B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110634483B (zh) | 人机交互方法、装置、电子设备及存储介质 | |
| JP6811758B2 (ja) | 音声対話方法、装置、デバイス及び記憶媒体 | |
| CN111583923B (zh) | 信息控制方法及装置、存储介质 | |
| CN108363706B (zh) | 人机对话交互的方法和装置、用于人机对话交互的装置 | |
| JP7166294B2 (ja) | オーディオ処理方法、装置及び記憶媒体 | |
| EP3933570A1 (en) | Method and apparatus for controlling a voice assistant, and computer-readable storage medium | |
| CN109360549B (zh) | 一种数据处理方法、穿戴设备和用于数据处理的装置 | |
| CN111696553B (zh) | 一种语音处理方法、装置及可读介质 | |
| CN113362812B (zh) | 一种语音识别方法、装置和电子设备 | |
| CN108648754B (zh) | 语音控制方法及装置 | |
| CN111210844B (zh) | 语音情感识别模型的确定方法、装置、设备及存储介质 | |
| EP4002355A1 (en) | Voice processing method and apparatus, electronic device, and storage medium | |
| CN108073572A (zh) | 信息处理方法及其装置、同声翻译系统 | |
| CN114360527A (zh) | 车载语音交互方法、装置、设备及存储介质 | |
| CN112133302A (zh) | 预唤醒终端的方法、装置及存储介质 | |
| CN111580773B (zh) | 信息处理方法、装置及存储介质 | |
| CN111580775B (zh) | 信息控制方法及装置、存储介质 | |
| CN113593539A (zh) | 流式端到端语音识别方法、装置及电子设备 | |
| CN112863499B (zh) | 语音识别方法及装置、存储介质 | |
| CN111667829B (zh) | 信息处理方法及装置、存储介质 | |
| CN115083396A (zh) | 音频尾端检测的语音处理方法、装置、电子设备及介质 | |
| CN111400443B (zh) | 信息处理方法、装置及存储介质 | |
| CN113726952A (zh) | 通话过程中的同声传译方法及装置、电子设备、存储介质 | |
| CN111968680A (zh) | 一种语音处理方法、装置及存储介质 | |
| CN112863511A (zh) | 信号处理方法、装置以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |