CN110648657B - 一种语言模型训练方法、构建方法和装置 - Google Patents
一种语言模型训练方法、构建方法和装置 Download PDFInfo
- Publication number
- CN110648657B CN110648657B CN201810682370.6A CN201810682370A CN110648657B CN 110648657 B CN110648657 B CN 110648657B CN 201810682370 A CN201810682370 A CN 201810682370A CN 110648657 B CN110648657 B CN 110648657B
- Authority
- CN
- China
- Prior art keywords
- language model
- terminal
- model
- server
- model parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 122
- 238000012549 training Methods 0.000 title claims abstract description 96
- 238000010276 construction Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 abstract description 20
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
Abstract
本申请实施例公开了一种语言模型训练方法，所述方法包括：终端确定第一语言模型；终端通过本地生成的历史输入数据对第一语言模型进行训练得到训练后的第一语言模型；终端向服务器发送训练后的第一语言模型的第一模型参数，第一模型参数用于确定第二语言模型的第二模型参数；第二语言模型用于为终端展示联想得到的候选项。可见，在得到第二语言模型的过程中，包含有用户隐私的历史输入数据均在终端本地通过第一语言模型进行训练，无需向服务器上传原始的历史输入数据，故降低了用户隐私信息暴露的风险，且终端上传到服务器的也仅是训练后的第一语言模型的第一模型参数，上传的数据量相对较少，提高了得到第二语言模型过程中终端的上传效率。
Description
技术领域
本申请涉及输入法领域，特别是涉及一种语言模型训练方法、构建方法和装置。
背景技术
用户可以通过输入法输入字符串，并选择输入法根据字符串所展示的候选项进行上屏。输入法除了可以根据输入的字符串展示候选项，有些情况下还可以根据用户已经选择上屏的内容展示对应的候选项。
输入法所展示的候选项可以是通过语言模型联想得到的，而语言模型需要通过大量语料的训练才能提高联想精度。
在一些可能的实施方式中，输入法通过大量用户的历史输入数据在网络侧对语言模型进行训练，而所获取到的历史输入数据一般是在使用输入法过程中自行上传或者输入法线下收集的。而不论哪一种方式均会导致用户的隐私信息例如用户所输入的具体内容有暴露的风险，使得训练语言模型的过程中，用户隐私难以得到保护。
发明内容
为了解决上述技术问题，本申请提供了一种语言模型训练方法、构建方法和装置，以希望能够在得到第二语言模型的过程中，降低用户隐私信息暴露的风险，且提高得到第二语言模型过程中终端的上传效率。
本申请实施例公开了如下技术方案：第一方面，本申请实施例提供了一种语言模型训练方法，所述方法包括：
终端确定第一语言模型；
所述终端通过本地生成的历史输入数据对所述第一语言模型进行训练得到训练后的第一语言模型；
所述终端向服务器发送所述训练后的第一语言模型的第一模型参数，所述第一模型参数用于确定第二语言模型的第二模型参数；所述第二语言模型用于为所述终端展示联想得到的候选项。
可选的，所述第一语言模型为根据所述终端本地生成的历史输入数据训练得到的；
或，
所述第一语言模型为所述终端从所述服务器获取到的。
可选的，所述第一模型参数为经过加密的。
可选的，所述终端向服务器发送所述第一模型参数，包括：
若所述终端处于空闲状态，所述终端向服务器发送所述第一模型参数；
和/或，
若用于对所述第一语言模型进行训练的历史输入数据满足预设数量，所述终端向服务器发送所述第一模型参数。
可选的，所述本地生成的历史输入数据包括所述终端本地的历史输入字符串和历史上屏候选项之间的对应关系，和/或所述终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系；
其中，所述第一历史上屏候选项的上屏位置与所述第二历史上屏候选项的上屏位置相邻，且所述第一历史上屏候选项的上屏顺序位于所述第二历史上屏候选项之前。
第二方面，本申请实施例提供了一种语言模型训练装置，所述装置包括：确定单元、训练单元和发送单元；
所述确定单元，用于终端确定第一语言模型；
所述训练单元，用于所述终端通过本地生成的历史输入数据对所述第一语言模型进行训练得到训练后的第一语言模型；
所述发送单元，用于所述终端向服务器发送所述训练后的第一语言模型的第一模型参数，所述第一模型参数用于确定第二语言模型的第二模型参数；所述第二语言模型用于为所述终端展示联想得到的候选项。
可选的，所述第一语言模型为根据所述终端本地生成的历史输入数据训练得到的；
或，
所述第一语言模型为所述终端从所述服务器获取到的。
可选的，所述第一模型参数为经过加密的。
可选的，所述发送单元，具体用于：
若所述终端处于空闲状态，所述终端向服务器发送所述第一模型参数；
和/或，
若用于对所述第一语言模型进行训练的历史输入数据满足预设数量，所述终端向服务器发送所述第一模型参数。
可选的，所述本地生成的历史输入数据包括所述终端本地的历史输入字符串和历史上屏候选项之间的对应关系，和/或所述终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系；
其中，所述第一历史上屏候选项的上屏位置与所述第二历史上屏候选项的上屏位置相邻，且所述第一历史上屏候选项的上屏顺序位于所述第二历史上屏候选项之前。
第三方面，本申请实施例提供了一种语言模型训练设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如第一方面中任意一项所述语言模型训练方法。
第四方面，本申请实施例提供了一种语言模型构建方法，所述方法包括：
所述服务器获取多个终端发送的第一模型参数；所述第一模型参数为终端通过本地生成的历史输入数据对第一语言模型进行训练得到的；
所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数；
所述服务器根据所述第二模型参数，构建所述第二语言模型；所述第二语言模型用于为终端展示联想得到的候选项。
可选的，所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数，包括：
所述服务器将所述多个终端发送的第一模型参数进行整合，得到所述第二模型参数。
第五方面，本申请实施例提供了一种语言模型构建装置，所述装置包括：获取单元、确定单元和构建单元；
所述获取单元，用于所述服务器获取多个终端发送的第一模型参数；所述第一模型参数为终端通过本地生成的历史输入数据对第一语言模型进行训练得到的；
所述确定单元，用于所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数；
所述构建单元，用于所述服务器根据所述第二模型参数，构建所述第二语言模型；所述第二语言模型用于为终端展示联想得到的候选项。
可选的，所述确定单元，具体用于：
所述服务器将所述多个终端发送的第一模型参数进行整合，得到所述第二模型参数。
第六方面，本申请实施例提供了一种语言模型构建设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如第四方面中任意一项所述语言模型构建方法。
第七方面，本申请实施例提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面中任意一项所述语言模型训练方法或者如第二方面中任意一项所述语言模型构建方法。
由上述技术方案可以看出，终端确定好用于训练的第一语言模型后，可以根据本地生成的历史输入数据对第一语言模型进行训练，以改进第一语言模型的模型参数。由于训练后的第一语言模型的第一模型参数可以用于在服务器侧整合得到第二语言模型的第二模型参数，故终端还可以向服务器发送训练后的第一语言模型的第一模型参数，以便服务器以此得到第二语言模型，终端中设置的输入法可以通过该第二语言模型为用户展示联想得到的候选项。在得到第二语言模型的过程中，包含有用户隐私的历史输入数据均在终端本地通过第一语言模型进行训练，无需向服务器上传原始的历史输入数据，故降低了用户隐私信息暴露的风险，且终端上传到服务器的也仅是训练后的第一语言模型的第一模型参数，上传的数据量相对较少，提高了得到第二语言模型过程中终端的上传效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种语言模型训练、构建系统的架构示意图；
图2为本申请实施例提供的一种语言模型训练方法的方法流程图；
图3为本申请实施例提供的一种语言模型构建方法的方法流程图；
图4为本申请实施例提供的一种语言模型训练装置的结构示意图；
图5为本申请实施例提供的一种语言模型构建装置的结构示意图；
图6为本申请实施例提供的一种语言模型训练设备的结构示意图；
图7为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
在传统的语言模型训练方式中，输入法可以通过大量用户的历史输入数据在网络侧对语言模型进行训练，而所获取到的历史输入数据一般是在使用输入法过程中自行上传或者输入法线下收集的。而不论哪一种方式均会导致用户的隐私信息例如用户所输入的具体内容有暴露的风险，使得训练语言模型的过程中，用户隐私难以得到保护。
为此，本申请实施例提供了一种语言模型训练方法，在该方法中，终端确定用于训练的第一语言模型后，可以根据本地生成的历史输入数据对第一语言模型进行训练，以改进第一语言模型的模型参数。由于训练后的第一语言模型的模型参数可以用于在服务器侧整合得到第二语言模型的模型参数，故终端还可以向服务器发送训练后的第一语言模型的模型参数，以便服务器以此得到第二语言模型，终端中设置的输入法可以通过该第二语言模型为用户展示联想得到的候选项。这样，可以实现在得到第二语言模型的过程中，包含有用户隐私的历史输入数据可以均在终端本地通过第一语言模型进行训练，无需向服务器上传原始的历史输入数据，故降低了用户隐私信息暴露的风险，且终端上传到服务器的也仅是训练后的第一语言模型的模型参数，上传的数据量相对较少，提高了得到第二语言模型过程中终端的上传效率。
作为一种示例，图1示出了本实施例提供的一种语言模型训练、构建系统的架构示意图，本申请实施例提供的语言模型训练、构建方法可以应用于如图1所示的语言模型训练、构建系统中，该语言模型训练、构建系统可以包括多个终端101、服务器102。其中，终端101可以为安装有输入法、且具有语言模型训练功能的设备，例如可以是安装有输入法、且具有对语言模型训练功能的手机、笔记本电脑、台式电脑、平板电脑、电子书阅读器、动态影像专家压缩标准音频层面4(Moving Picture Experts Group Audio Layer IV，MP4)播放器和膝上型便携计算机等。
本申请实施例中所提到的语言模型可以为能够根据输入的字符串或已经选择上屏的候选项，输出联想到的候选项的语言模型，比如，可以是大词汇连续语音识别中常用的一种语言模型N-Gram、神经网络语言模型(Neural Language Model，NLM)等语言模型。这样，当用户通过输入法输入字符串(例如通过输入法中语音输入功能所输入的语音信息对应的字符串、通过输入法中的键盘输入字符串)或选择一个候选项上屏到终端101时，输入法对应的语言模型能够输出根据输入字符串或上屏候选项联想到的候选项，从而可以展示该语言模型输出的候选项。
具体地，终端101可以先确定用于训练的第一语言模型103。其中，终端101可以存储有本地生成的历史输入数据。需要说明的是，本地生成的历史输入数据可以是在终端101本地采集到的历史数据中，与用户输入行为相关的数据，比如可以是用户使用终端101中输入法所输入的字符串或者选择上屏的内容，即历史输入数据可以包括历史输入字符串和历史上屏候选项。举例来说，假设用户通过终端101的输入法输入了字符串“nihao”，且从该字符串“你好”对应的多个候选项中选择了一个候选项“你好”上屏到终端101，那么，可以将该字符串“nihao”作为该终端101本地生成的历史输入数据中的历史输入字符串，以及可以将该候选项“你好”作为该历史输入数据中的历史上屏候选项。
然后，终端101可以根据本地生成的历史输入数据对第一语言模型103进行训练，以改进第一语言模型103的模型参数，从而可以得到训练后的第一语言模型，以及该训练后的第一语言模型的第一模型参数。接着，终端101可以向服务器102发送该第一模型参数。
在服务器102获取到多个终端101发送的第一模型参数后，服务器102可以先根据获取的第一模型参数确定第二语言模型的第二模型参数。然后，服务器102可以根据第二模型参数，构建第二语言模型，以便输入法可以通过该第二语言模型得到根据用户输入的字符串或选择上屏的候选项所联想到的候选项，并展示该联想得到的候选项。
需要注意的是，上述应用场景仅是为了便于理解本申请而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
为便于更加容易理解本申请所提供的技术方案，接下来，将对本申请实施例中所涉及到的一些概念进行解释说明。
其中，字符串可以是用户想要输入到终端101中的内容对应的一串字符，字符串中可以包括文字、字母、数字、符号等。其中，一个字符串的组成形式可以是想要输入内容对应的音节或音节组合，也可以是想要输入内容对应的笔画顺序，也可以是想要输入内容对应的特定标识等等。
候选项可以是输入法根据用户输入的字符串所展示的字词、符号等内容，比如，当输入法为拼音输入法时，候选项可以是汉字；当输入法为平假名输入法，候选项可以是日文汉字。这里需要注意的是，候选项的语言种类除了上述几种可能的方式以外，还可以为其它不同的语言种类，在此不对候选项的语言种类做任何限定。
需要强调的是，在用户通过输入法输入一字符串，输入法可以根据用户输入的字符串在候选项展示页面中展示对应的候选项，若用户从展示的候选项中选择一个候选项上屏到终端101中，则可以认为用户所选择的该候选项为上屏候选项。
为了便于描述，在之后的实施例中，将主要以中文输入法，字符串中的字符组合为想输入内容对应的音节或音节组合为例进行说明。
下面结合附图，详细说明本申请的各种非限制性实施方式。
接下来，将从终端侧的角度，对本申请所提供的语言模型训练方法进行介绍。参见图2，为本申请实施例提供的一种语言模型训练方法的方法流程图。如图2所示，可以包括如下步骤：
S201：终端确定第一语言模型。
为了避免输入法在服务器侧通过用户的历史输入数据对语言模型进行训练的过程中，会导致用户的隐私信息有暴露的风险，在本实施例中，当需要训练语言模型时，终端可以先确定用于训练的语言模型，接着，终端可以在本地对用于训练的语言模型进行训练。其中，为便于描述，可以将用于训练的语言模型称之为第一语言模型。
需要说明的是，本申请实施例提供了多种确定第一语言模型的方式，例如，终端本地有上一次训练完的语言模型，那么，终端可以将该语言模型确定为第一语言模型，又例如，为了提高语言模型的更新效率，终端可以通过向服务器发送请求，以获得包括了最新版本的语言模型的输入法，或者以获得针对输入法的更新数据，且该更新数据包括了最新版本的语言模型，从而可以将该最新版本的语言模型确定为第一语言模型。下面将针对其中两种方式具体介绍：
第一种方式：终端所确定的第一语言模型可以为该终端从服务器获取到的。
在本方式中，终端所确定的第一语言模型可以为该终端从服务器获取到的。在一种可能的实现方式中，当终端需要确定第一语言模型时，终端可以从服务器获取用于训练的语言模型，比如，终端可以从服务器直接下载包括了最新版本的语言模型的输入法，又比如服务器可以向终端发送针对输入法的更新数据，且该更新数据可以包括了最新版本的语言模型，接着，该终端便可以通过该更新数据对该输入法进行更新，从而终端获取到最新版本的语言模型；终端从服务器获取到该用于训练的语言模型后，终端可以将该语言模型确定为第一语言模型，以便可以对该第一语言模型进行训练。
例如，假设终端为智能手机，且该智能手机安装有输入法，其中，该输入法未存储有最新版本的语言模型，而该输入法对应的服务器存储有最新版本的语言模型；那么，该服务器可以通过向该智能手机发送针对该输入法的更新数据，且该更新数据可以包括最新版本的语言模型，接着，该智能手机便可以通过该更新数据对该输入法进行更新。这样，该智能手机本地便存储有最新版本的语言模型，并且该智能手机可以将该最新版本的语言模型确定为第一语言模型。
第二种情况：终端所确定的第一语言模型可以为根据该终端本地生成的历史输入数据训练得到的。
在本方式中，终端所确定的第一语言模型可以为根据该终端本地生成的历史输入数据训练得到的，比如可以是终端本地中上一次训练完的语言模型。在一种可能的实现方式中，终端可以先确定出上一次根据历史输入数据训练完的语言模型，即终端可以先确定出终端本地中上一次训练完的语言模型，接着，终端可以将该语言模型确定为第一语言模型，以便可以继续对该第一语言模型进行训练。
S202：所述终端通过本地生成的历史输入数据对所述第一语言模型进行训练得到训练后的第一语言模型。
由于终端本地生成的历史输入数据能够体现出使用该终端中输入法的用户的输入习惯。故此，为改进第一语言模型的模型参数，使得改进后的第一语言模型能够输出符合用户输入习惯的候选项，在本实施例中，在终端确定出用于训练的第一语言模型后，终端可以通过本地生成的历史输入数据对该第一语言模型进行训练，以得到训练后的第一语言模型。其中，本地生成的历史输入数据可以包括所述终端本地的历史输入字符串(例如通过终端本地输入法中语音输入功能所输入的语音信息对应的字符串、通过终端本地输入法中的键盘所输入的字符串)和历史上屏候选项之间的对应关系，和/或所述终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系。
这样，通过向训练后的第一语言模型输入字符串或者候选项，该训练后的第一语言模型能够输出根据该字符串或者该候选项联想得到的候选项。并且，终端便可以利用本地生成的历史输入数据，在终端本地对第一语言模型进行训练，而不需要再将本地生成的历史输入数据向服务器发送，并在服务器侧通过历史输入数据对语言模型进行训练，降低了由于终端需要上传本地历史输入数据所导致的用户隐私信息暴露的风险。
接下来，将对终端本地的历史输入字符串和历史上屏候选项之间的对应关系，以及终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系分别进行介绍。
首先，将对终端本地的历史输入字符串和历史上屏候选项之间的对应关系进行介绍。
在本实施例中，若用户通过终端中的输入法输入一字符串，且在输入法针对该字符串所展示的多个候选项中，确定了上屏到该终端的候选项，则可以将该字符串作为该终端本地的历史输入字符串，将上屏到该终端的候选项作为该终端本地的历史上屏候选项，以及可以将该字符串和上屏到该终端的候选项之间的对应关系作为该终端本地的历史输入字符串和历史上屏候选项之间的对应关系。
例如，假设用户通过终端的输入法输入了字符串“wozaixiangfang”，且依次从该字符串“wozaixiangfang”对应的多个候选项中选择了候选项“我在”和候选项“香坊”上屏到终端，那么，可以将该字符串“wozaixiangfang”作为该终端本地生成的历史输入字符串，将候选项“我在香坊”作为该终端本地生成的历史上屏候选项，以及可以将该字符串“wozaixiangfang”和该候选项“我在香坊”之间的对应关系作为该终端本地的历史输入字符串和历史上屏候选项之间的对应关系。
其次，将对终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系进行介绍。
在本实施例中，第一历史上屏候选项的上屏位置与第二历史上屏候选项的上屏位置相邻，且该第一历史上屏候选项的上屏顺序位于该第二历史上屏候选项之前。
具体地，若用户通过终端中的输入法输入第一字符串，并在输入法针对该第一字符串所展示的多个候选项中，确定了上屏到该终端的第一候选项，紧接着，又输入第二字符串，并在输入法针对该第二字符串所展示的多个候选项中，确定了上屏到该终端的第二候选项；那么，可以将该第一候选项作为该终端本地的第一历史上屏候选项，将该第二候选项作为该终端本地的第二历史上屏候选项，以及可以将该第一候选项和该第二候选项之间的对应关系作为该终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系。
例如，假设用户先通过终端的输入法输入了字符串“chuangqianmingyueguang”，并选择了候选项“床前明月光”上屏到该终端，紧接着，又通过输入法输入了字符串“yishidishangshuang”，并选择了候选项“疑是地上霜”上屏到该终端。由于候选项“床前明月光”的上屏位置与候选项“疑是地上霜”的上屏位置相邻，且该候选项“床前明月光”的上屏顺序位于该候选项“疑是地上霜”之前。那么，可以将该候选项“床前明月光”作为该终端本地生成的第一历史上屏候选项，将该候选项“疑是地上霜”作为该终端本地生成的第二历史上屏候选项，以及可以将该候选项“床前明月光”和该候选项“疑是地上霜”之间的对应关系作为该终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系。
S203：所述终端向服务器发送所述训练后的第一语言模型的第一模型参数。
终端在得到训练后的第一语言模型后，可以获取到训练后的第一语言模型的模型参数。为便于描述，可以将训练后的第一语言模型的模型参数称之为第一模型参数。可以理解的是，由于训练后的第一语言模型是根据终端本地生成的历史输入数据训练得到的，故第一模型参数能够反映出使用该终端的用户的输入习惯。
为能够获取到涵盖用户输入习惯更全面的第二语言模型，以使得第二语言模型输出的候选项更加符合群体用户输入习惯，故需要综合各个终端的第一模型参数来构建第二语言模型。具体地，在本实施例中，终端可以向服务器发送第一模型参数，例如可以将第一模型参数压缩后再向服务器发送，以便于服务器可以根据多个第一模型参数执行后续操作得到第二语言模型，其中，第二语言模型可以是用于为终端展示联想得到的候选项的语言模型。可以理解的是，由于第二语言模型是根据多个第一模型参数所确定的，因此，第二语言模型能够反映出群体用户的更多输入习惯。并且，由于终端上传到服务器的仅是第一模型参数，相对上传整个训练后的第一语言模型而言，终端需要上传的数据量相对较少，提高了训练第二语言模型过程中终端的上传效率。
需要说明的是，本实施例提供了多种终端向服务器发送第一模型参数的时机，例如，可以当终端处于空闲状态时，或者当用于对第一语言模型训练的历史输入数据满足预设数量时。接下来，将对其中两种时机进行介绍：
第一种时机：若终端处于空闲状态，该终端可以向服务器发送训练后的第一语言模型的第一模型参数。
在本实施例中，终端处于空闲状态可以理解为终端运行的进程较少，例如，每天晚上凌晨，用户通常不对终端执行任何操作，终端所运行的进程也较少。可以理解的是，当终端处于空闲状态时，该终端可以向服务器发送训练后的第一语言模型的第一模型参数，比如，可以每天晚上凌晨两点之后，终端可以向服务器发送第一模型参数，这样，可以使得终端可以在用户没有察觉的情况下向服务器发送训练后的第一语言模型的第一模型参数，提高了用户体验。
第二种时机：若用于对所述第一语言模型进行训练的历史输入数据满足预设数量，所述终端向服务器发送所述训练后的第一语言模型的第一模型参数。
需要说明的是，若用于对第一语言模型进行训练的历史输入数据越多，则训练后的第一语言模型所输出的候选项越符合用户的输入习惯。故此，在本实施例中，当用于对第一语言模型进行训练的历史输入数据满足预设数量时，终端可以向服务器发送训练后的第一语言模型的第一模型参数。即当用于对第一语言模型训练的历史输入数据所包括的对应关系数量等于或大于预设数量时，例如历史输入数据所包括的历史输入字符串和历史上屏候选项之间的对应关系数量等于或大于预设数量、第一历史上屏候选项和第二历史上屏候选项之间的对应关系数量大于或等于预设数量或者这两种对应关系数量之和大于或等于预设数量，终端可以向服务器发送第一模型参数。
需要强调的是，在一种可能的实现方式中，终端满足上述两种时机中的任意一种时，终端均可以向服务器发送第一模型参数。在另一种可能的实现方式中，终端可以在同时满足上述两种时机时，终端才可以向服务器发送第一模型参数，这样，可以保证在训练后的第一语言模型所输出的候选项能够符合用户的输入习惯的前提下，终端可以实现在用户没有察觉的情况下向服务器发送第一模型参数，从而提高了终端向服务器发送第一模型参数的效率。
由上述技术方案可以看出，终端确定好用于训练的第一语言模型后，可以根据本地生成的历史输入数据对第一语言模型进行训练，以改进第一语言模型的模型参数。由于训练后的第一语言模型的第一模型参数可以用于在服务器侧整合得到第二语言模型的第二模型参数，故终端还可以向服务器发送训练后的第一语言模型的第一模型参数，以便服务器以此得到第二语言模型，终端中设置的输入法可以通过该第二语言模型为用户展示联想得到的候选项。在得到第二语言模型的过程中，包含有用户隐私的历史输入数据均在终端本地通过第一语言模型进行训练，无需向服务器上传原始的历史输入数据，故降低了用户隐私信息暴露的风险，且终端上传到服务器的也仅是训练后的第一语言模型的第一模型参数，上传的数据量相对较少，提高了得到第二语言模型过程中终端的上传效率。
需要说明的是，为了提高终端与服务器之间所传输的数据的安全性，在本实施例的一种实现方式中，终端向服务器发送的第一模型参数可以是经过加密的，例如，在终端向服务器发送第一模型参数之前，终端可以先对第一模型参数进行加密，接着，再将经过加密的第一模型参数向服务器发送。这样，可以实现在终端与服务器传输第一模型参数的过程中，能够提高第一模型参数的安全性，从而大大降低第一模型参数被窃取的风险。
接下来，将从服务器侧的角度，介绍在本申请所提供的语言模型构建方法中，服务器如何根据第一模型参数构建第二语言模型。参见图3，为本申请实施例提供的一种语言模型构建方法的方法流程图。如图3所示，可以包括如下步骤：
S301：服务器获取多个终端发送的第一模型参数。
在本实施例中，不同终端发送的第一模型参数可以体现不同用户的输入习惯，故为可以改进第一语言模型的模型参数，以使得改进后的第一语言模型(即第二语言模型)能够符合大部分用户的输入习惯，服务器可以获取多个终端发送的第一模型参数。
S302：所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数。
服务器获取到多个终端发送的第一模型参数后，服务器可以根据多个第一模型参数，确定第二语言模型的模型参数。为便于描述，可以将第二语言模型的模型参数称之为第二模型参数。具体地，服务器可以将多个第一模型参数进行整合，得到第二语言模型的第二模型参数，例如，服务器可以将多个第一模型参数的平均值作为第二语言模型的第二模型参数。
可以理解的是，由于第二语言模型的第二模型参数是根据多个终端的第一模型参数确定得到的，故第二模型参数能够反映出使用该多个终端的不同用户各自的输入习惯。
需要说明的是，若服务器所获取到的第一模型参数为经过加密的，那么，服务器可以先对第一模型参数进行解密，再根据解密后的第一模型参数确定第二语言模型的第二模型参数。
S303：所述服务器根据所述第二模型参数，构建所述第二语言模型。
服务器确定第二语言模型的第二模型参数后，服务器可以通过该第二模型参数构建语言模型，例如，可以将服务器中所存储的语言模型的模型参数设置为该第二模型参数，从而得到第二语言模型，这样，便可以通过第二语言模型为终端展示联想得到的候选项。
需要说明的是，在本实施例的一种实现方式中，在服务器得到第二语言模型后，服务器可以通过第二语言模型得到根据用户输入的字符串或选择上屏的上屏候选项联想得到的候选项，并且，可以通过网络将联想得到的候选项向终端发送，以便终端可以展示该联想得到的候选项；或者，服务器也可以向各个终端发送第二语言模型，以便各个终端需要展示根据用户输入的字符串或选择上屏的上屏候选项联想得到的候选项时，各个终端均可以根据本地中的第二语言模型得到根据用户输入的字符串或选择上屏的上屏候选项联想得到的候选项。
由上述技术方案可以看出，服务器获取到多个终端发送的第一模型参数后，服务器可以根据多个第一模型参数整合得到第二语言模型的第二模型参数，并且可以根据第二模型参数构建第二模型，以便输入法可以通过第二语言模型为用户展示联想得到的候选项。这样，服务器仅根据第二语言模型参数便可以构建第二模型，而并不需要通过对语言模型进行训练得到第二语言模型，缩短了服务器得到第二语言模型的时间，提高了训练第二语言模型过程中构建第二语言模型的效率。并且，在训练第二语言模型的过程中，服务器仅需要获取第一模型参数，而无需获取包含有用户隐私的历史输入数据，便可以构建第二语言模型，这样，可以降低了用户隐私信息暴露的风险，且服务器需要获取的也仅是训练后的第一语言模型的第一模型参数，故终端与服务器之间所传输的数据量相对较少，节省了服务器与终端之间传输数据的时间，提高了训练第二语言模型过程中终端的传输效率。
参见图4，示出了本申请实施例中一种语言模型训练装置，所述装置包括：确定单元401、训练单元402和发送单元403；
所述确定单元401，用于终端确定第一语言模型；
所述训练单元402，用于所述终端通过本地生成的历史输入数据对所述第一语言模型进行训练得到训练后的第一语言模型；
所述发送单元403，用于所述终端向服务器发送所述训练后的第一语言模型的第一模型参数，所述第一模型参数用于确定第二语言模型的第二模型参数；所述第二语言模型用于为所述终端展示联想得到的候选项。
可选的，所述第一语言模型为根据所述终端本地生成的历史输入数据训练得到的；
或，
所述第一语言模型为所述终端从所述服务器获取到的。
可选的，所述第一模型参数为经过加密的。
可选的，所述发送单元403，具体用于：
若所述终端处于空闲状态，所述终端向服务器发送所述第一模型参数；
和/或，
若用于对所述第一语言模型进行训练的历史输入数据满足预设数量，所述终端向服务器发送所述第一模型参数。
可选的，所述本地生成的历史输入数据包括所述终端本地的历史输入字符串和历史上屏候选项之间的对应关系，和/或所述终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系；
其中，所述第一历史上屏候选项的上屏位置与所述第二历史上屏候选项的上屏位置相邻，且所述第一历史上屏候选项的上屏顺序位于所述第二历史上屏候选项之前。
参见图5，示出了本申请实施例中一种语言模型构建装置，所述装置包括：获取单元501、确定单元502和构建单元503；
所述获取单元501，用于所述服务器获取多个终端发送的第一模型参数；所述第一模型参数为终端通过本地生成的历史输入数据对第一语言模型进行训练得到的；
所述确定单元502，用于所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数；
所述构建单元503，用于所述服务器根据所述第二模型参数，构建所述第二语言模型；所述第二语言模型用于为终端展示联想得到的候选项。
可选的，所述确定单元502，具体用于：
所述服务器将所述多个终端发送的第一模型参数进行整合，得到所述第二模型参数。
参照图6，语言模型训练设备600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件606，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理部件602可以包括多媒体模块，以方便多媒体组件606和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件606为设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为设备600生成、管理和分配电力相关联的组件。
多媒体组件606包括在所述设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件606包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为设备600提供各个方面的状态评估。例如传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如所述组件为设备600的显示器和小键盘，传感器组件614还可以检测设备600或设备600一个组件的位置改变，用户与设备600接触的存在或不存在，设备600方位或加速/减速和设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于设备600和其他设备之间有线或无线方式的通信。设备600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
该设备600包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
终端确定第一语言模型；
所述终端通过本地生成的历史输入数据对所述第一语言模型进行训练得到训练后的第一语言模型；
所述终端向服务器发送所述训练后的第一语言模型的第一模型参数，所述第一模型参数用于确定第二语言模型的第二模型参数；所述第二语言模型用于为所述终端展示联想得到的候选项。
可选的，所述第一语言模型为根据所述终端本地生成的历史输入数据训练得到的；
或，
所述第一语言模型为所述终端从所述服务器获取到的。
可选的，所述第一模型参数为经过加密的。
可选的，所述终端向服务器发送所述第一模型参数，包括：
若所述终端处于空闲状态，所述终端向服务器发送所述第一模型参数；
和/或，
若用于对所述第一语言模型进行训练的历史输入数据满足预设数量，所述终端向服务器发送所述第一模型参数。
可选的，所述本地生成的历史输入数据包括所述终端本地的历史输入字符串和历史上屏候选项之间的对应关系，和/或所述终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系；
其中，所述第一历史上屏候选项的上屏位置与所述第二历史上屏候选项的上屏位置相邻，且所述第一历史上屏候选项的上屏顺序位于所述第二历史上屏候选项之前。
本申请实施例还提供了一种语言模型构建设备，该语言模型构建设备与图6所示的语言模型训练设备的结构相同，区别在于：
该设备600包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
所述服务器获取多个终端发送的第一模型参数；所述第一模型参数为终端通过本地生成的历史输入数据对第一语言模型进行训练得到的；
所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数；
所述服务器根据所述第二模型参数，构建所述第二语言模型；所述第二语言模型用于为终端展示联想得到的候选项。
可选的，所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数，包括：
所述服务器将所述多个终端发送的第一模型参数进行整合，得到所述第二模型参数。
本申请实施例还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由设备600的处理器620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种语言模型训练方法，所述方法包括：
终端确定第一语言模型；
所述终端通过本地生成的历史输入数据对所述第一语言模型进行训练得到训练后的第一语言模型；
所述终端向服务器发送所述训练后的第一语言模型的第一模型参数，所述第一模型参数用于确定第二语言模型的第二模型参数；所述第二语言模型用于为所述终端展示联想得到的候选项。
可选的，所述第一语言模型为根据所述终端本地生成的历史输入数据训练得到的；
或，
所述第一语言模型为所述终端从所述服务器获取到的。
可选的，所述第一模型参数为经过加密的。
可选的，所述终端向服务器发送所述第一模型参数，包括：
若所述终端处于空闲状态，所述终端向服务器发送所述第一模型参数；
和/或，
若用于对所述第一语言模型进行训练的历史输入数据满足预设数量，所述终端向服务器发送所述第一模型参数。
可选的，所述本地生成的历史输入数据包括所述终端本地的历史输入字符串和历史上屏候选项之间的对应关系，和/或所述终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系；
其中，所述第一历史上屏候选项的上屏位置与所述第二历史上屏候选项的上屏位置相邻，且所述第一历史上屏候选项的上屏顺序位于所述第二历史上屏候选项之前。
该非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，还可以使得电子设备能够执行一种语言模型构建方法，所述方法包括：
所述服务器获取多个终端发送的第一模型参数；所述第一模型参数为终端通过本地生成的历史输入数据对第一语言模型进行训练得到的；
所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数；
所述服务器根据所述第二模型参数，构建所述第二语言模型；所述第二语言模型用于为终端展示联想得到的候选项。
可选的，所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数，包括：
所述服务器将所述多个终端发送的第一模型参数进行整合，得到所述第二模型参数。
图7是本申请实施例中服务器的结构示意图。该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在服务器700上执行存储介质730中的一系列指令操作。
服务器700还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口758，一个或一个以上键盘756，和/或，一个或一个以上操作系统741，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (17)
1.一种语言模型训练方法，其特征在于，所述方法包括：
终端确定第一语言模型；
所述终端通过本地生成的历史输入数据对所述第一语言模型进行训练得到训练后的第一语言模型；
所述终端向服务器发送所述训练后的第一语言模型的第一模型参数，所述第一模型参数用于确定第二语言模型的第二模型参数；所述第二语言模型用于为所述终端展示联想得到的候选项。
2.根据权利要求1所述的方法，其特征在于，所述第一语言模型为根据所述终端本地生成的历史输入数据训练得到的；
或，
所述第一语言模型为所述终端从所述服务器获取到的。
3.根据权利要求1或2所述的方法，其特征在于，所述第一模型参数为经过加密的。
4.根据权利要求1或2所述的方法，其特征在于，所述终端向服务器发送所述第一模型参数，包括：
若所述终端处于空闲状态，所述终端向服务器发送所述第一模型参数；
和/或，
若用于对所述第一语言模型进行训练的历史输入数据满足预设数量，所述终端向服务器发送所述第一模型参数。
5.根据权利要求1或2所述的方法，其特征在于，所述本地生成的历史输入数据包括所述终端本地的历史输入字符串和历史上屏候选项之间的对应关系，和/或所述终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系；
其中，所述第一历史上屏候选项的上屏位置与所述第二历史上屏候选项的上屏位置相邻，且所述第一历史上屏候选项的上屏顺序位于所述第二历史上屏候选项之前。
6.一种语言模型训练装置，其特征在于，所述装置包括：确定单元、训练单元和发送单元；
所述确定单元，用于终端确定第一语言模型；
所述训练单元，用于所述终端通过本地生成的历史输入数据对所述第一语言模型进行训练得到训练后的第一语言模型；
所述发送单元，用于所述终端向服务器发送所述训练后的第一语言模型的第一模型参数，所述第一模型参数用于确定第二语言模型的第二模型参数；所述第二语言模型用于为所述终端展示联想得到的候选项。
7.根据权利要求6所述的装置，其特征在于，所述第一语言模型为根据所述终端本地生成的历史输入数据训练得到的；
或，
所述第一语言模型为所述终端从所述服务器获取到的。
8.根据权利要求6或7所述的装置，其特征在于，所述第一模型参数为经过加密的。
9.根据权利要求6或7所述的装置，其特征在于，所述发送单元，具体用于：
若所述终端处于空闲状态，所述终端向服务器发送所述第一模型参数；
和/或，
若用于对所述第一语言模型进行训练的历史输入数据满足预设数量，所述终端向服务器发送所述第一模型参数。
10.根据权利要求6或7所述的装置，其特征在于，所述本地生成的历史输入数据包括所述终端本地的历史输入字符串和历史上屏候选项之间的对应关系，和/或所述终端本地的第一历史上屏候选项和第二历史上屏候选项之间的对应关系；
其中，所述第一历史上屏候选项的上屏位置与所述第二历史上屏候选项的上屏位置相邻，且所述第一历史上屏候选项的上屏顺序位于所述第二历史上屏候选项之前。
11.一种语言模型训练设备，其特征在于，包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序包含用于执行如权利要求1至5中任意一项所述语言模型训练方法。
12.一种语言模型构建方法，其特征在于，所述方法包括：
服务器获取多个终端发送的第一模型参数；所述第一模型参数为终端通过本地生成的历史输入数据对第一语言模型进行训练得到的；
所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数；
所述服务器根据所述第二模型参数，构建所述第二语言模型；所述第二语言模型用于为终端展示联想得到的候选项。
13.根据权利要求12所述的方法，其特征在于，所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数，包括：
所述服务器将所述多个终端发送的第一模型参数进行整合，得到所述第二模型参数。
14.一种语言模型构建装置，其特征在于，所述装置包括：获取单元、确定单元和构建单元；
所述获取单元，用于服务器获取多个终端发送的第一模型参数；所述第一模型参数为终端通过本地生成的历史输入数据对第一语言模型进行训练得到的；
所述确定单元，用于所述服务器根据所述多个终端发送的第一模型参数确定第二语言模型的第二模型参数；
所述构建单元，用于所述服务器根据所述第二模型参数，构建所述第二语言模型；所述第二语言模型用于为终端展示联想得到的候选项。
15.根据权利要求14所述的装置，其特征在于，所述确定单元，具体用于：
将所述多个终端发送的第一模型参数进行整合，得到所述第二模型参数。
16.一种语言模型构建设备，其特征在于，包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序包含用于执行如权利要求12至13中任意一项所述语言模型构建方法。
17.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至5中任意一项所述语言模型训练方法或者如权利要求12至13中任意一项所述语言模型构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810682370.6A CN110648657B (zh) | 2018-06-27 | 2018-06-27 | 一种语言模型训练方法、构建方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810682370.6A CN110648657B (zh) | 2018-06-27 | 2018-06-27 | 一种语言模型训练方法、构建方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110648657A CN110648657A (zh) | 2020-01-03 |
| CN110648657B true CN110648657B (zh) | 2024-02-02 |
Family
ID=68989130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810682370.6A Active CN110648657B (zh) | 2018-06-27 | 2018-06-27 | 一种语言模型训练方法、构建方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110648657B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065361B (zh) * | 2021-03-16 | 2023-01-20 | 上海商汤临港智能科技有限公司 | 用户亲密度的确定方法及装置、电子设备和存储介质 |
| WO2022208451A1 (en) * | 2021-04-01 | 2022-10-06 | Communaute Woopen Inc. | System and method for translation of streaming encrypted content |
| CN117251095A (zh) * | 2023-09-12 | 2023-12-19 | 深圳市驿格科技有限公司 | 用于pda的数据输入方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103456300A (zh) * | 2013-08-07 | 2013-12-18 | 安徽科大讯飞信息科技股份有限公司 | 一种基于class-base语言模型的POI语音识别方法 |
| WO2014117548A1 (en) * | 2013-02-01 | 2014-08-07 | Tencent Technology (Shenzhen) Company Limited | Method and device for acoustic language model training |
| CN106951468A (zh) * | 2017-03-02 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 对话生成方法及装置 |
| CN107204184A (zh) * | 2017-05-10 | 2017-09-26 | 平安科技（深圳）有限公司 | 语音识别方法及系统 |
| CN107945792A (zh) * | 2017-11-06 | 2018-04-20 | 百度在线网络技术（北京）有限公司 | 语音处理方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9430465B2 (en) * | 2013-05-13 | 2016-08-30 | Facebook, Inc. | Hybrid, offline/online speech translation system |
-
2018
- 2018-06-27 CN CN201810682370.6A patent/CN110648657B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014117548A1 (en) * | 2013-02-01 | 2014-08-07 | Tencent Technology (Shenzhen) Company Limited | Method and device for acoustic language model training |
| CN103456300A (zh) * | 2013-08-07 | 2013-12-18 | 安徽科大讯飞信息科技股份有限公司 | 一种基于class-base语言模型的POI语音识别方法 |
| CN106951468A (zh) * | 2017-03-02 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 对话生成方法及装置 |
| CN107204184A (zh) * | 2017-05-10 | 2017-09-26 | 平安科技（深圳）有限公司 | 语音识别方法及系统 |
| CN107945792A (zh) * | 2017-11-06 | 2018-04-20 | 百度在线网络技术（北京）有限公司 | 语音处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110648657A (zh) | 2020-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10296201B2 (en) | Method and apparatus for text selection | |
| US20170150290A1 (en) | Method and device for information push | |
| US20160170575A1 (en) | Application activation method and apparatus and electronic equipment | |
| US20200394356A1 (en) | Text information processing method, device and terminal | |
| US20160226519A1 (en) | Method and device for compressing firmware program, method and device for decompressing firmware program | |
| US9959487B2 (en) | Method and device for adding font | |
| CN110648657B (zh) | 一种语言模型训练方法、构建方法和装置 | |
| US20170316011A1 (en) | Method and apparatus for searching resource | |
| US20160314164A1 (en) | Methods and devices for sharing cloud-based business card | |
| CN104850643B (zh) | 图片对比方法和装置 | |
| CN107463372B (zh) | 一种数据驱动的页面更新方法和装置 | |
| CN111814088A (zh) | 一种页面处理方法及装置 | |
| US10229165B2 (en) | Method and device for presenting tasks | |
| CN107943317B (zh) | 输入方法及装置 | |
| US20170075671A1 (en) | Method and apparatus for installing application and smart device using the same | |
| CN111177521A (zh) | 一种查询词分类模型的确定方法和装置 | |
| CN109901726B (zh) | 一种候选词生成方法、装置及用于候选词生成的装置 | |
| CN109799916B (zh) | 一种候选项联想方法和装置 | |
| US20170185366A1 (en) | Method and device for inputting information | |
| CN109917927B (zh) | 一种候选项确定方法和装置 | |
| CN106843860B (zh) | 一种调整搜索框的显示样式的方法、装置和系统 | |
| CN110674416A (zh) | 游戏推荐方法及装置 | |
| CN111208910B (zh) | 一种云端联想方法和相关装置 | |
| CN111078022B (zh) | 一种输入方法及装置 | |
| CN111427459B (zh) | 一种在用户通信时输入优化的方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |