CN111862949A - 自然语言的处理方法及装置、电子设备及存储介质 - Google Patents
自然语言的处理方法及装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111862949A CN111862949A CN202010751773.9A CN202010751773A CN111862949A CN 111862949 A CN111862949 A CN 111862949A CN 202010751773 A CN202010751773 A CN 202010751773A CN 111862949 A CN111862949 A CN 111862949A
- Authority
- CN
- China
- Prior art keywords
- processing
- voice
- branch
- feature extraction
- branches
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003058 natural language processing Methods 0.000 title claims abstract description 18
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 234
- 238000000605 extraction Methods 0.000 claims abstract description 126
- 230000004044 response Effects 0.000 claims abstract description 25
- 230000010076 replication Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 25
- 238000002360 preparation method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/34—Adaptation of a single recogniser for parallel processing, e.g. by use of multiple processors or cloud computing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Telephonic Communication Services (AREA)
Abstract
本公开是关于一种自然语言的处理方法及装置、电子设备及存储介质。该方法包括：获取语音输入的语音数据；通过具有多处理分支的语音处理模型的特征层，对所述语音数据进行语音特征提取；其中，所述语音处理模型包含的不同所述处理分支，用于提供语音服务中不同的语音任务；采用多个所述处理分支分别对所述语音特征进行处理，并行输出多个所述语音任务的响应结果。通过该方法，能在一个服务中以多任务的方式同时为多个语音任务提供支持，因而能提升语音数据处理的效率。
Description
技术领域
本公开涉及电子设备技术领域，尤其涉及一种自然语言的处理方法及装置、电子设备及存储介质。
背景技术
随着计算机和人工智能技术的飞速发展，智能语音对话也得到极大的发展。智能语音助手(语音设备中的应用)这几年来为人们所熟知，用户可通过语音来向智能语音助手传达自己的需求，例如数值计算、天气查询和智能家居控制等。
智能语音助手在接收到用户的语音后，通过自然语言处理(Natural LanguageProcessing，NLP)技术来对用户的需求进行分析，其中的NLP技术包括但不限于文本纠错、意图识别以及槽位提取(关键词提取)等。
发明内容
本公开提供一种自然语言的处理方法及装置、电子设备及存储介质。
根据本公开实施例的第一方面，提供一种自然语言的处理方法，包括：
获取语音输入的语音数据；
通过具有多处理分支的语音处理模型的特征层，对所述语音数据进行语音特征提取；所述语音处理模型包含的不同所述处理分支，用于提供语音服务中不同的语音任务；
采用多个所述处理分支分别对所述语音特征进行处理，并行输出多个所述语音任务的响应结果。
可选的，所述方法还包括：
对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
复制所述特征提取分支中部分特征层，得到复制层；
根据所述复制层预备连接的所述处理分支，对所述复制层的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述复制层输出端，得到所述语音处理模型。
可选的，至少两个不同所述处理分支对应的所述复制层不同。
可选的，所述方法还包括：
对预设模型进行训练，得到多个特征提取分支及多个所述处理分支的网络参数，其中，一个所述处理分支位于一个所述特征提取分支的输出端；
根据各所述特征提取分支预备连接的所述处理分支，对各所述特征提取分支的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述特征提取分支的输出端，得到所述语音处理模型。
可选的，所述方法还包括：
对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
对各所述处理分支的网络参数进行调整，并将网络参数调整后的各所述处理分支连接在所述特征提取分支的输出端，得到所述语音处理模型。
可选的，所述预设模型包括BERT模型。
根据本公开实施例的第二方面，提供一种自然语言处理装置，包括：
获取模块，配置为获取语音输入的语音数据；
特征提取模块，配置为通过具有多处理分支的语音处理模型的特征层，对所述语音数据进行语音特征提取；所述语音处理模型包含的不同所述处理分支，用于提供语音服务中不同的语音任务；
输出模块，配置为采用多个所述处理分支分别对所述语音特征进行处理，并行输出多个所述语音任务的响应结果。
可选的，所述装置还包括：
第一得到模块，配置为对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
复制模块，配置为复制所述特征提取分支中部分特征层，得到复制层；
第一调整模块，配置为根据所述复制层预备连接的所述处理分支，对所述复制层的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述复制层输出端，得到所述语音处理模型。
可选的，至少两个不同所述处理分支对应的所述复制层不同。
可选的，所述装置还包括：
第二得到模块，配置为对预设模型进行训练，得到多个特征提取分支及多个所述处理分支的网络参数，其中，一个所述处理分支位于一个所述特征提取分支的输出端；
第二调整模块，配置为根据各所述特征提取分支预备连接的所述处理分支，对各所述特征提取分支的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述特征提取分支的输出端，得到所述语音处理模型。
可选的，所述装置还包括：
第三得到模块，配置为对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
第三调整模块，配置为对各所述处理分支的网络参数进行调整，并将网络参数调整后的各所述处理分支连接在所述特征提取分支的输出端，得到所述语音处理模型。
可选的，所述预设模型包括BERT模型。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如上述第一方面中所述的自然语言的处理方法。
根据本公开实施例的第四方面，提供一种存储介质，包括：
当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面中所述的自然语言的处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开的实施例中，针对获取的语音数据，通过具有多处理分支的语音处理模型，能并行输出多个语音任务的响应结果。即通过该种分布式的架构，针对一个语音输入，使得能在同一语音服务中在提取出特征之后，以并行的多任务的方式提供服务响应，因而相对串行执行，能大大提升语音数据处理的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开实施例示出的一种自然语言的处理方法流程图。
图2为本公开实施例中一种语音处理模型的网络架构示例图一。
图3为本公开实施例中一种语音处理模型的网络架构示例图二。
图4为本公开实施例中一种语音处理模型的网络架构示例图三。
图5是根据一示例性实施例示出的一种自然语言处理装置图。
图6是本公开实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本公开实施例示出的一种自然语言的处理方法流程图一，如图1所示，该方法包括以下步骤：
S11、获取语音输入的语音数据；
S12、通过具有多处理分支的语音处理模型的特征层，对所述语音数据进行语音特征提取；所述语音处理模型包含的不同所述处理分支，用于提供语音服务中不同的语音任务；
S13、采用多个所述处理分支分别对所述语音特征进行处理，并行输出多个所述语音任务的响应结果。
本公开的自然语言的处理方法应用于电子设备中，该电子设备包括移动终端、固定终端，还包括服务器。
若本公开的自然语言的处理方法应用于移动终端，该移动终端可以是语音设备。语音设备支持语音采集和音频输出的功能，在此基础上能实现人机间的语音交互。语音设备包括：智能手机、智能音箱或支持语音交互功能的可穿戴设备等。
例如，以语音设备是智能音箱为例，智能音箱可基于语音采集组件采集用户输入的语音，并利用本公开提供的方法对语音数据做处理获得响应结果，将语音数据的响应结果通过语音输出组件输出。智能音箱的语音采集组件可以是麦克风，智能音箱的语音输出组件可以是扬声器。
当本公开的自然语言的处理方法应用于服务器中时，服务器可从语音设备获取语音数据，并基于本公开提供的方法获得语音数据的响应结果后，将语音数据的响应结果输出给语音设备。
在本公开的步骤S12中，电子设备在获得语音数据后，会通过具有多处理分支的语音处理模型的特征层，对语音数据进行语音特征提取。该语音处理模型包含的不同处理分支，可完成语音服务中不同的语音任务。
需要说明的是，在本公开的实施例中，语音服务可基于不同的语音任务对获取的语音数据做处理，并提供具有不同功能的服务。例如，不同功能的服务包括：语音转文本服务、语音翻译服务、导航服务、音视频播放服务或订票服务等。
此外，本公开中，多处理分支的语音处理模型，可以是基于预设模型采用不同的模型结构训练而成。例如，可以是特征层包括多个特征提取分支，不同特征提取分支再连接不同的处理分支，通过不同的特征提取分支和不同的处理分支共同获得不同语音任务的响应结果；也可以是特征层只包括一个特征提取分支，该一个特征提取分支可提供相同的特征，并通过连接不同的处理分支来获得不同语音任务的响应结果；还可以是特征层只包括一个特征提取分支，但该一个特征提取分支基于特征层中的不同网络参数可提供不同的特征，并通过连接不同的处理分支来获得不同语音任务的响应结果。此处的网络参数包括但不限于：神经网络中节点的权值。
在本公开的步骤S13中，电子设备在获得语音数据的语音特征之后，即可采用多个处理分支分别对语音特征进行处理，并同步输出多个语音任务的响应结果。
需要说明的是，在本公开的实施例中，不同的处理分支分别对语音特征进行处理，所述处理方式包括：意图识别，槽位提取等。以语音数据是“播放我要去西藏”为例，例如，针对音乐播放任务，可识别用户的意图是要播放“我要去西藏”的歌曲；针对导航任务，基于槽位提取，可实现导航的信息点(Point of Information，POI)抽取，该信息点包括去西藏所要经过的地方；再例如，针对订票任务，基于槽位提取，可确定订票的目的地是“西藏”。
在本公开的实施例中，针对获取的语音数据，通过具有多处理分支的语音处理模型，能并行输出多个语音任务的响应结果。本公开采用该种分布式的架构，针对一个语音输入，使得能在同一语音服务中以多任务的方式同时提供自然语言理解(Natural LanguageUnderstanding，NLU)支持。可以理解的是，通过该种方式，相对串行执行，能大大提升语音数据处理的效率。
在一种实施例中，所述方法还包括：
对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
复制所述特征提取分支中部分特征层，得到复制层；
根据所述复制层预备连接的所述处理分支，对所述复制层的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述复制层输出端，得到所述语音处理模型。
如前所述的，多处理分支的语音处理模型，可以是基于预设模型采用不同的模型结构训练而成。在该实施例中，语音处理模型中包括一个特征提取分支，但该特征提取分支连接了多个处理分支。此外，该一个特征提取分支，针对各处理分支，即针对各语音任务，对预设模型的部分特征层的网络参数进行了调整，而该特征层中其余部分的网络参数相同，即该模型结构中共用了一部分特征层提取的特征。本公开实施例中，将对预设模型的网络参数进行调整的部分特征层称之为复制层，复制层中的第一个特征层与被复制的特征层的前一个特征层连接。
需要说明的是，本公开的预设模型是一个预训练模型。预训练模型是已基于某一任务(例如任务A)对应的训练集学习了网络参数并保存。当有一个新的任务(例如任务B)来临时，网络参数初始化的时候即可加载事先基于任务A学习好的参数，并根据任务B设定调节部分层次的网络参数，以使得训练得到的模型更适应新的任务。
因此，在本公开的实施例中，在利用预设模型进行训练时，可得到特征提取分支及多个处理分支的网络参数，并设定对特征提取分支中部分特征层的网络参数根据各处理分支进行调整。需要说明的是，本公开实施例中，特征提取分支中的网络参数可包括各特征层抽取特征的权重分配，以及特征归一化参数等；各处理分支的网络参数可包括训练样本的迭代次数以及学习率等参数。
此外，在本公开的实施例中，对特征提取分支中网络参数进行调整的部分特征层具体是特征提取分支中的哪几层，本公开实施例不做限制。但通常，特征提取分支中，网络层次靠前的特征层(低层)提取的特征是一些表层特征，这些表层特征针对不同的任务可能具有普适性，而网络层次靠后的特征层(高层)提取的特征与任务的关联度更高，因此，在本公开实施例中，将各处理分支连接在网络参数调整后的复制层输出端，即设置网络层次靠后的特征层为复制层，而共用了特征提取分支中复制层之外的特征层提取的特征。
可以理解的是，在该实施例中，通过共用特征提取分支中一部分特征层提取的特征，并对另一部分特征层的参数根据语音任务进行微调来获得语音处理模型，因而使得在利用该语音处理模型对语音数据进行自然语言的处理时，各语音任务能获得较为精确的响应结果，同时通过一部分特征的复用，还能节约计算资源，提升响应速度。此外，该实施例中，各处理分支连接在网络参数调整后的复制层输出端，即参数微调的特征层位于特征提取分支中的高层部分，因而使得获得的语音处理模型能更好的执行对应的语音任务，减少误响应。
在一种实施例中，至少两个不同所述处理分支对应的所述复制层不同。
在该实施例中，因不同处理分支对应的语音任务不同，而特征提取分支中，不同特征层提取的特征对不同语音任务的重要度可能不同，因此，可设定至少两个处理分支对应的复制层不同。也即，不同处理分支，对网络参数进行调节的特征层不同，共用的特征层也不同。
可以理解的是，通过该种方式，能提升语音处理模型的精准度，因而在利用语音处理模型对语音数据进行多任务的处理时，能获得各语音任务对应的更精准的响应结果。
在一种实施例中，所述预设模型包括BERT模型。
BERT是一种具有双向深度的神经网络模型，共有12层。BERT模型的关键是允许在模型中同时利用左侧和右侧的词语从而进行双向训练来提升精度。基于此，本公开采用BERT模型，能获得精准度更好的语音处理模型，因而在利用语音处理模型对语音数据进行多任务的处理时，能获得各语音任务对应的更精准的响应结果。
图2为本公开实施例中一种语音处理模型的网络架构示例图一，如图2所示，语音处理模型在BERT模型的基础上训练而成。在该网络架构中，下游任务1至下游任务3即为不同的处理分支，对应不同的语音任务，可获得不同的输出结果。下游任务1对BERT模型的特征层中10至12层的网络参数进行微调；下游任务2不对BERT的特征层做微调，即利用预训练模型的网络参数；下游任务3对BERT模型的特征层中第12层的网络参数进行微调。在该网络架构中，不同的下游任务复用了BERT模型的特征层中1至9层的网络参数。在本公开实施例中，将网络架构称之为中心化的BERT(CentraBERT)，基于该架构，不同的下游任务可以根据需要拷贝并微调BERT网络的某些部分。
需要说明的是，在基于中心化的BERT架构对语音数据进行处理时，可使用BERT系列的不同语言模型，例如掩蔽语言模型(Masked Language Modeling，MLM)、MLM与自动降噪(Denoising Entity Auto，DEA)相结合、排列语言模型(Permuted Lauguage Modeling，PLM)等。特征抽取上，BERT语言模型可基于Transformer的编解码结构，实现双向预测。基于不同的基础语言模型，以及各处理分支的处理方式(例如，引入知识图谱、引入注意力机制、调整训练样本数和算法优化等)获得的不同语音处理模型版本具有各自的亮点。如下表一为不同版本的语音处理模型对应的信息：
表一
此外，在本公开的实施例中，还可以通过增加训练样本，例如，增加时事、娱乐新闻语料等，采用全词覆盖(Whole Word Mask)的方式来构建训练样本提升模型训练的精准度。如下表二为基于不同版本的语音处理模型训练精度的对比表：
表二
| 任务 | 预训练BERT | CentraBERT v1.0 | CentraBERT v1.1 |
| qq标签信息提取 | 93.79 | 95.40 | 96.21 |
| 订票信息提取 | 95.68 | 95.47 | 96.14 |
| 订票意图分类 | 95.71 | 96.25 | 97.21 |
| 导航信息提取 | 92.35 | 92.22 | 94.80 |
| 导航意图分类 | - | 95.79 | 96.35 |
| 视频信息提取 | 91.94 | 93.93 | 94.27 |
| 视频意图分类 | 92.21 | 94.37 | 95.03 |
| 电台信息提取 | 95.03 | 98.52 | 98.75 |
从表二可以看出，针对不同的语音任务，采用中心化的BERT架构，相对于直接用预训练BERT模型，准确率均有不同程度的提升。而增加一次训练所选取的样本数(batchsize)训练获得的CentraBERT v1.1相对于CentraBERT v1.0，准确率也有一定程度的提升。
在一种实施例中，所述方法还包括：
对预设模型进行训练，得到多个特征提取分支及多个所述处理分支的网络参数，其中，一个所述处理分支位于一个所述特征提取分支的输出端；
根据各所述特征提取分支预备连接的所述处理分支，对各所述特征提取分支的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述特征提取分支的输出端，得到所述语音处理模型。
在该实施例中，语音处理模型中包括多个特征提取分支，一个特征提取分支连接一个处理分支。此外，每个特征提取分支，针对各自连接的处理分支，对各特征提取分支的网络参数进行了调整。也即，在该实施例中，不同处理分支不复用特征。
可以理解的是，一个处理分支对应一个特征提取分支的方式，使得各处理分支在对特征进行处理时能相互独立，无耦合。此外，各特征提取分支基于各自的语音任务，对预设模型的参数进行了微调，因而使得在利用该语音模型对语音数据进行自然语言的处理时，各语音任务能获得较为精确的响应结果。
图3为本公开实施例中一种语音处理模型的网络架构示例图二，如图3所示，语音处理模型在BERT模型的基础上训练而成。在该网络架构中，包括三个特征提取分支，分别是：BERT-音乐(微调)、BERT-导航(微调)和BERT-订票(微调)，该三个特征提取分支，基于不同的语音任务，各自在预训练BERT模型进行了网络参数的调整。三个特征提取分支对应三个处理分支，分别是：音乐意图识别、导航信息点抽取和订票槽位抽取。该三个处理分支，对应三个语音任务，可获得三个的输出结果。
在一种实施例中，所述方法还包括：
对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
对各所述处理分支的网络参数进行调整，并将网络参数调整后的各所述处理分支连接在所述特征提取分支的输出端，得到所述语音处理模型。
在该实施例中，语音处理模型中包括一个特征提取分支，但该特征提取分支连接了多个处理分支。此外，该一个特征提取分支，针对各处理分支，即针对各语音任务，提取了相同的特征，但是对不同处理分支的网络参数进行了调整，因而能提供不同的语音任务输出。
在该实施例中，不同处理分支复用同一特征提取分支提取的特征。可以理解的是，通过该种方式，不同处理分支可共享特征，因而能减少特征抽取对内存的占用以及耗时，因而能节约计算资源。
图4为本公开实施例中一种语音处理模型的网络架构示例图三，如图4所示，语音处理模型仍在BERT模型的基础上训练而成。在该网络架构中，包括一个特征提取分支(预训练BERT特征提取层)，该特征提取分支连接了下游任务1至下游任务3。其中，各下游任务均是可训练的，例如，基于特征提取分支提取的特征做进一步的特征筛选、归一化处理等，而特征筛选的权重分配或归一化方式可基于逻辑回归模型softmax和条件随机场(Conditional Random Field，CRF)做标签回归实现调整。基于网络参数进行调整后的三个处理分支，即可获得三个输出结果。
图5是根据一示例性实施例示出的一种自然语言处理装置图二。参照图5，在一个可选的实施例中，所述装置还包括：
获取模块101，配置为获取语音输入的语音数据；
特征提取模块102，配置为通过具有多处理分支的语音处理模型的特征层，对所述语音数据进行语音特征提取；所述语音处理模型包含的不同所述处理分支，用于提供语音服务中不同的语音任务；
输出模块103，配置为采用多个所述处理分支分别对所述语音特征进行处理，并行输出多个所述语音任务的响应结果。
可选的，所述装置还包括：
第一得到模块104，配置为对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
复制模块105，配置为复制所述特征提取分支中部分特征层，得到复制层；
第一调整模块106，配置为根据所述复制层预备连接的所述处理分支，对所述复制层的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述复制层输出端，得到所述语音处理模型。
可选的，至少两个不同所述处理分支对应的所述复制层不同。
可选的，所述装置还包括：
第二得到模块107，配置为对预设模型进行训练，得到多个特征提取分支及多个所述处理分支的网络参数，其中，一个所述处理分支位于一个所述特征提取分支的输出端；
第二调整模块108，配置为根据各所述特征提取分支预备连接的所述处理分支，对各所述特征提取分支的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述特征提取分支的输出端，得到所述语音处理模型。
可选的，所述装置还包括：
第三得到模块109，配置为对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
第三调整模块110，配置为对各所述处理分支的网络参数进行调整，并将网络参数调整后的各所述处理分支连接在所述特征提取分支的输出端，得到所述语音处理模型。
可选的，所述预设模型包括BERT模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种移动终端装置800的框图。例如，装置800可以是移动电话，移动电脑等。
参照图6，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行控制方法，所述方法包括：
获取语音输入的语音数据；
通过具有多处理分支的语音处理模型的特征层，对所述语音数据进行语音特征提取；所述语音处理模型包含的不同所述处理分支，用于提供语音服务中不同的语音任务；
采用多个所述处理分支分别对所述语音特征进行处理，并行输出多个所述语音任务的响应结果。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (14)
1.一种自然语言的处理方法，其特征在于，所述方法包括：
获取语音输入的语音数据；
通过具有多处理分支的语音处理模型的特征层，对所述语音数据进行语音特征提取；其中，所述语音处理模型包含的不同所述处理分支，用于提供语音服务中不同的语音任务；
采用多个所述处理分支分别对所述语音特征进行处理，并行输出多个所述语音任务的响应结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
复制所述特征提取分支中部分特征层，得到复制层；
根据所述复制层预备连接的所述处理分支，对所述复制层的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述复制层输出端，得到所述语音处理模型。
3.根据权利要求2所述的方法，其特征在于，至少两个不同所述处理分支对应的所述复制层不同。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对预设模型进行训练，得到多个特征提取分支及多个所述处理分支的网络参数，其中，一个所述处理分支位于一个所述特征提取分支的输出端；
根据各所述特征提取分支预备连接的所述处理分支，对各所述特征提取分支的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述特征提取分支的输出端，得到所述语音处理模型。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
对各所述处理分支的网络参数进行调整，并将网络参数调整后的各所述处理分支连接在所述特征提取分支的输出端，得到所述语音处理模型。
6.根据权利要求2至5中任一项所述的方法，其特征在于，所述预设模型包括BERT模型。
7.一种自然语言的处理装置，其特征在于，所述装置包括：
获取模块，配置为获取语音输入的语音数据；
特征提取模块，配置为通过具有多处理分支的语音处理模型的特征层，对所述语音数据进行语音特征提取；所述语音处理模型包含的不同所述处理分支，用于提供语音服务中不同的语音任务；
输出模块，配置为采用多个所述处理分支分别对所述语音特征进行处理，并行输出多个所述语音任务的响应结果。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第一得到模块，配置为对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
复制模块，配置为复制所述特征提取分支中部分特征层，得到复制层；
第一调整模块，配置为根据所述复制层预备连接的所述处理分支，对所述复制层的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述复制层输出端，得到所述语音处理模型。
9.根据权利要求8所述的装置，其特征在于，至少两个不同所述处理分支对应的所述复制层不同。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第二得到模块，配置为对预设模型进行训练，得到多个特征提取分支及多个所述处理分支的网络参数，其中，一个所述处理分支位于一个所述特征提取分支的输出端；
第二调整模块，配置为根据各所述特征提取分支预备连接的所述处理分支，对各所述特征提取分支的网络参数进行调整，并将预备连接的所述处理分支连接在网络参数调整后的所述特征提取分支的输出端，得到所述语音处理模型。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第三得到模块，配置为对预设模型进行训练，得到特征提取分支及多个所述处理分支的网络参数，其中，所述处理分支位于所述特征提取分支的输出端；
第三调整模块，配置为对各所述处理分支的网络参数进行调整，并将网络参数调整后的各所述处理分支连接在所述特征提取分支的输出端，得到所述语音处理模型。
12.根据权利要求7至11中任一项所述的装置，其特征在于，所述预设模型包括BERT模型。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如权利要求1至6中任一项所述的自然语言的处理方法。
14.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的自然语言的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010751773.9A CN111862949B (zh) | 2020-07-30 | 2020-07-30 | 自然语言的处理方法及装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010751773.9A CN111862949B (zh) | 2020-07-30 | 2020-07-30 | 自然语言的处理方法及装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111862949A true CN111862949A (zh) | 2020-10-30 |
| CN111862949B CN111862949B (zh) | 2024-04-02 |
Family
ID=72946483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010751773.9A Active CN111862949B (zh) | 2020-07-30 | 2020-07-30 | 自然语言的处理方法及装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862949B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926313A (zh) * | 2021-03-10 | 2021-06-08 | 新华智云科技有限公司 | 一种槽位信息的提取方法与系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07140998A (ja) * | 1992-12-28 | 1995-06-02 | Toshiba Corp | 音声認識インターフェース |
| JP2005195834A (ja) * | 2004-01-07 | 2005-07-21 | Sony Corp | 音声認識装置および方法、並びに、プログラムおよび記録媒体 |
| KR20150116389A (ko) * | 2014-04-07 | 2015-10-15 | 삼성전자주식회사 | 전자 장치와 서버를 활용한 음성 인식 |
| JP2016180915A (ja) * | 2015-03-25 | 2016-10-13 | 日本電信電話株式会社 | 音声認識システム、クライアント装置、音声認識方法、プログラム |
| CN206741933U (zh) * | 2017-03-13 | 2017-12-12 | 浙江曼悟电子科技股份有限公司 | 一种便携式多路并行智能语音识别一体机 |
| CN109523994A (zh) * | 2018-11-13 | 2019-03-26 | 四川大学 | 一种基于胶囊神经网络的多任务语音分类方法 |
| CN110197658A (zh) * | 2019-05-30 | 2019-09-03 | 百度在线网络技术（北京）有限公司 | 语音处理方法、装置以及电子设备 |
| CN110335603A (zh) * | 2019-07-12 | 2019-10-15 | 四川长虹电器股份有限公司 | 应用于电视场景的多模态交互方法 |
| CN110491383A (zh) * | 2019-09-25 | 2019-11-22 | 北京声智科技有限公司 | 一种语音交互方法、装置、系统、存储介质及处理器 |
| CN110909543A (zh) * | 2019-11-15 | 2020-03-24 | 广州洪荒智能科技有限公司 | 意图识别方法、装置、设备及介质 |
| CN111276131A (zh) * | 2020-01-22 | 2020-06-12 | 厦门大学 | 一种基于深度神经网络的多类声学特征整合方法和系统 |
| US20200211541A1 (en) * | 2018-12-27 | 2020-07-02 | At&T Intellectual Property I, L.P. | Voice gateway for federated voice services |
-
2020
- 2020-07-30 CN CN202010751773.9A patent/CN111862949B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07140998A (ja) * | 1992-12-28 | 1995-06-02 | Toshiba Corp | 音声認識インターフェース |
| JP2005195834A (ja) * | 2004-01-07 | 2005-07-21 | Sony Corp | 音声認識装置および方法、並びに、プログラムおよび記録媒体 |
| KR20150116389A (ko) * | 2014-04-07 | 2015-10-15 | 삼성전자주식회사 | 전자 장치와 서버를 활용한 음성 인식 |
| JP2016180915A (ja) * | 2015-03-25 | 2016-10-13 | 日本電信電話株式会社 | 音声認識システム、クライアント装置、音声認識方法、プログラム |
| CN206741933U (zh) * | 2017-03-13 | 2017-12-12 | 浙江曼悟电子科技股份有限公司 | 一种便携式多路并行智能语音识别一体机 |
| CN109523994A (zh) * | 2018-11-13 | 2019-03-26 | 四川大学 | 一种基于胶囊神经网络的多任务语音分类方法 |
| US20200211541A1 (en) * | 2018-12-27 | 2020-07-02 | At&T Intellectual Property I, L.P. | Voice gateway for federated voice services |
| CN110197658A (zh) * | 2019-05-30 | 2019-09-03 | 百度在线网络技术（北京）有限公司 | 语音处理方法、装置以及电子设备 |
| CN110335603A (zh) * | 2019-07-12 | 2019-10-15 | 四川长虹电器股份有限公司 | 应用于电视场景的多模态交互方法 |
| CN110491383A (zh) * | 2019-09-25 | 2019-11-22 | 北京声智科技有限公司 | 一种语音交互方法、装置、系统、存储介质及处理器 |
| CN110909543A (zh) * | 2019-11-15 | 2020-03-24 | 广州洪荒智能科技有限公司 | 意图识别方法、装置、设备及介质 |
| CN111276131A (zh) * | 2020-01-22 | 2020-06-12 | 厦门大学 | 一种基于深度神经网络的多类声学特征整合方法和系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926313A (zh) * | 2021-03-10 | 2021-06-08 | 新华智云科技有限公司 | 一种槽位信息的提取方法与系统 |
| CN112926313B (zh) * | 2021-03-10 | 2023-08-15 | 新华智云科技有限公司 | 一种槽位信息的提取方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111862949B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110826344B (zh) | 神经网络模型压缩方法、语料翻译方法及其装置 | |
| CN111524521B (zh) | 声纹提取模型训练方法和声纹识别方法、及其装置和介质 | |
| CN111832316B (zh) | 语义识别的方法、装置、电子设备和存储介质 | |
| CN110781305A (zh) | 基于分类模型的文本分类方法及装置，以及模型训练方法 | |
| CN111128183B (zh) | 语音识别方法、装置和介质 | |
| CN111461304B (zh) | 分类神经网络的训练方法、文本分类方法、装置及设备 | |
| CN113707134B (zh) | 一种模型训练方法、装置和用于模型训练的装置 | |
| CN112068711A (zh) | 一种输入法的信息推荐方法、装置和电子设备 | |
| CN114328838A (zh) | 事件抽取方法、装置、电子设备及可读存储介质 | |
| CN111553464A (zh) | 基于超网络的图像处理方法、装置及智能设备 | |
| US11354520B2 (en) | Data processing method and apparatus providing translation based on acoustic model, and storage medium | |
| CN111832315A (zh) | 语义识别的方法、装置、电子设备和存储介质 | |
| CN111753917A (zh) | 数据处理方法、装置及存储介质 | |
| CN114996422A (zh) | 指令识别方法及装置、训练方法、计算机可读存储介质 | |
| CN110674246A (zh) | 问答模型训练方法、自动问答方法及装置 | |
| CN111862949B (zh) | 自然语言的处理方法及装置、电子设备及存储介质 | |
| CN111739535A (zh) | 一种语音识别方法、装置和电子设备 | |
| US20230386470A1 (en) | Speech instruction recognition method, electronic device, and non-transient computer readable storage medium | |
| CN113923517B (zh) | 一种背景音乐生成方法、装置及电子设备 | |
| CN110837557A (zh) | 摘要生成方法、装置、设备及介质 | |
| CN114462410A (zh) | 实体识别方法、装置、终端及存储介质 | |
| CN104699668B (zh) | 确定词语相似度的方法及装置 | |
| CN112002313B (zh) | 交互方法及装置、音箱、电子设备和存储介质 | |
| CN108345590B (zh) | 一种翻译方法、装置、电子设备以及存储介质 | |
| CN110674416A (zh) | 游戏推荐方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |