CN109740759A - 学习模型优化与选择方法、电子装置及计算机设备 - Google Patents

Abstract

本发明公开了一种学习模型优化与选择方法，包括：计算收集的脱敏数据以生成多个质检模型并进行预测而得到质检结果并进行复核；将复核后的质检结果作为验证集并加入训练以计算准确率与召回率；当准确率与召回率达到阈值时，保存多个质检模型并将学习率减去固定值，使多个质检模型在特定参数范围内调整；当准确率大于阈值时，或者当准确率不大于阈值且召回率大于阈值，将学习率减去固定值；及当准确率与召回率皆不大于阈值，将学习率调回初始值。本发明提供的学习模型优化与选择方法与电子装置使模型训练人员更加直观的了解模型可能的效果，而参数调优方法使得模型能够比较快速的得到较为准确、稳定的中间模型，从而使得项目能够快速投产。

Description

学习模型优化与选择方法、电子装置及计算机设备

技术领域

本发明涉及大数据引擎之样本处理的技术领域，尤其涉及一种学习模型优化与选择方法、电子装置、计算机设备及存储介质。

背景技术

在文本质检系统中，在利用深度学习进行文本质检时，模型参数调优与模型选择方法非常重要。然而，传统的模型选择方法挑选出的模型无法保障准确率与召回率，而传统的参数调优方法主要是固定学习率或者使用学习率固定步数衰减，造成难以获得效果较好的质检模型。

发明内容

有鉴于此，本发明提出一种学习模型优化与选择方法，使模型训练人员更加直观的了解到了模型可能的效果，而配套的参数调优方法使得模型能够比较快速的得到较为准确、稳定的中间模型，从而使得项目能够快速投产。

为实现上述目的，本发明提出一种学习模型优化与选择方法，应用于电子装置中，该方法包括步骤：

在训练模型时，在生产数据中收集固定时间周期内的脱敏数据；

通过多个算法对所述脱敏数据进行计算以生成多个不同类型的质检模型；

利用所述多个质检模型进行预测，可得到所述多个质检模型的多个质检结果，并对所述多个质检结果复核；

将复核后的所述多个质检结果作为验证集，并将所述验证集加入训练中，每步完成后进行验证，以计算准确率与召回率；

设置所述准确率的阈值A与所述召回率的阈值B，並从学习率的初始值始训练；

当所述准确率达到所述阈值A与所述召回率达到所述阈值B时，则保存所述多个质检模型并将所述学习率减去固定值，使所述多个质检模型在特定参数范围内调整；

判断所述准确率是否小于所述阈值A和所述召回率是否小于所述阈值B；

当所述准确率大于所述阈值A时，或者当所述准确率不大于所述阈值且所述召回率大于所述阈值B，则将所述学习率减去所述固定值；及

当所述准确率不大于所述阈值A且所述召回率不大于所述阈值B，则将所述学习率调回所述初始值。

进一步地，所述多个算法至少包括BILSTM RNN+Attention、BiLSTM RNN、LSTM RNN与Text CNN，且所述多个质检模型至少包括BI-LSTM(双向长短时记忆)RNN(循环神经网络)模型与BI-LSTM Attention模型。

进一步地，所述多个质检模型在训练过程中保存多个模型文件，所述多个模型文件为所述质检模型之文件内部保存的多个参数。

进一步地，所述多个参数保存在一个后缀为(.pb)的文件中。

进一步地，所述准确率＝正确预测违规的消息数/(所述正确预测违规的消息数+错误预测违规的消息数)，及所述召回率＝所述正确预测违规的消息数/所述验证集中实际违规的消息数。

为实现上述目的，本发明提出一种电子装置，包括数据收集模块、模型生成模块、预测模块、计算模块、设定模块与判断与调整模块。

所述数据收集模块在生产数据中收集固定时间周期内的脱敏数据。

所述模型生成模块通过多个算法对所述脱敏数据进行计算以生成多个不同类型的质检模型。

所述预测模块利用所述多个质检模型进行预测，可得到所述多个质检模型的多个质检结果，并对所述多个质检结果复核。

所述计算模块将复核后的所述多个质检结果作为验证集，并将所述验证集加入训练中，每步完成后进行验证，以计算准确率与召回率。

所述设定模块设置所述准确率的阈值A与所述召回率的阈值B，並从学习率的初始值始训练。

所述判断与调整模块于所述准确率达到所述阈值A与所述召回率达到所述阈值B时，保存所述多个质检模型并将所述学习率减去固定值，使所述多个质检模型在特定参数范围内调整，判断所述准确率是否小于所述阈值A和所述召回率是否小于所述阈值B，当所述准确率大于所述阈值A时，或者当所述准确率不大于所述阈值且所述召回率大于所述阈值B，则将所述学习率减去所述固定值，及当所述准确率不大于所述阈值A且所述召回率不大于所述阈值B，则将所述学习率调回所述初始值。

进一步地，所述多个算法至少包括BILSTM RNN+Attention、BiLSTM RNN、LSTM RNN与Text CNN，且所述多个质检模型至少包括BI-LSTM(双向长短时记忆)RNN(循环神经网络)模型与BI-LSTM Attention模型。

进一步地，所述准确率＝正确预测违规的消息数/(所述正确预测违规的消息数+错误预测违规的消息数)，及所述召回率＝所述正确预测违规的消息数/所述验证集中实际违规的消息数。

为实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述学习模型优化与选择方法的步骤。

为实现上述目的，本发明还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述学习模型优化与选择方法的步骤。

相较于现有技术，本发明之学习模型优化与选择方法，使模型训练人员更加直观的了解到了模型可能的效果，而配套的参数调优方法使得模型能够比较快速的得到较为准确、稳定的中间模型，从而使得项目能够快速投产。

附图说明

图1系显示本发明实施例之电子装置的硬件架构示意图；

图2系显示本发明实施例之学习模型优化与选择系统的功能方块图；及

图3系显示本发明实施例之学习模型优化与选择方法的步骤流程图。

附图标记：

电子装置	10
		存储器	110
处理器	120
		学习模型优化与选择系统	130
数据收集模块	210
		模型生成模块	220
预测模块	230
		计算模块	240
设定模块	250
		判断与调整模块	260

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

图1系显示本发明实施例之电子装置的硬件架构示意图。电子装置10，但不仅限于，可通过系统总线相互通信连接存储器110、处理器120以及学习模型优化与选择系统130，图1仅示出了具有组件110-130的电子装置10，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器110至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器110可以是所述电子装置10的内部存储单元，例如该电子装置10的硬盘或内存。在另一些实施例中，所述存储器也可以是所述电子装置10的外部存储设备，例如该电子装置10上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器110还可以既包括所述电子装置100的内部存储单元也包括其外部存储设备。本实施例中，所述存储器110通常用于存储安装于所述电子装置10的操作系统和各类应用软件，例如学习模型优化与选择系统130的程序代码等。此外，所述存储器110还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器120在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器120通常用于控制所述电子装置10的总体操作。本实施例中，所述处理器120用于运行所述存储器110中存储的程序代码或者处理数据，例如，运行所述学习模型优化与选择系统130等。

图2系显示本发明实施例之学习模型优化与选择系统的功能方块图。本发明实施例之电子装置10包括数据收集模块210、模型生成模块220、预测模块230、计算模块240、设定模块250与判断与调整模块260。

在训练模型时，数据收集模块210在生产数据中收集一天的脱敏数据。

数据脱敏(Data Masking)又称数据漂白、数据去隐私化或数据变形，意指对某些敏感信息通过脱敏规则进行数据的变形，以实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。

模型生成模块220通过算法对所述脱敏数据进行计算以生成不同类型的质检模型。算法包括：BILSTM RNN+Attention、BiLSTM RNN、LSTM RNN、Text CNN等等。生成的质检模型中，有的质检模型准确率较高，但召回率比较低，有的质检模型准确率适中，召回率较高。所述质检模型至少包括BI-LSTM(双向长短时记忆)RNN(循环神经网络)模型与BI-LSTMAttention模型。

所述质检模型在训练过程中保存不同的模型文件。所述模型文件为所述质检模型之文件内部保存的一些参数，输入一条消息，经过判断后输出这条消息违反哪个质检点或者不违规。

比如，[你真是个傻子]，在数据集中被标注为违反“侮辱客户”这个质检点；[我真是个傻子，如果记得带钥匙，就不至于一直在门外等着了]，在数据集中会标注为“正常”；[我的联系方式是18911111111，请惠存]，在数据集中被标注为“私留联系方式”；大量(如上百万条)的违规与合规数据组成训练集，通过算法训练生成模型，再次输入一些类似语义的消息[你是个傻子吧]，模型将这条消息标记为违反“侮辱客户”这个质检点。

上述参数具体保存在一个后缀为(.pb)的文件中，这个文件中保存了模型的结构(就是BILSTM RNN等)和模型中不同神经网络节点的参数(参数具体的样子就是实数)。提供给业务一个标注系统，简单描述是分两列，第一列是消息(如：你就是个傻子)，第二列是由业务人员填写是否违反质检点，违反哪种质检点。

预测模块230利用所述多个质检模型进行预测，可得到多个质检模型的质检结果，并对所述质检结果复核，例如，由业务人员复核，或者经由复核系统复核。具体来说就是加载上面说的pb文件，并调用tensorflow框架提供的接口，将消息传入接口后，消息数据与pb文件中保存的参数进行计算，得到预测结果(即质检结果)。若质检模型给出的违规结果不正确，则进行更正。

计算模块240将复核后的质检结果作为验证集，并将所述验证集加入训练中，每步完成后进行验证，以计算准确率与召回率。准确率＝正确预测违规的消息数/(正确预测违规的消息数+错误预测违规的消息数)。召回率＝正确预测违规的消息数/验证集中实际违规的消息数。

设定模块250设置准确率与召回率的阈值，例如A和B，从学习率的初始值(Z＝default value)开始训练。观察训练过程中质检模型的准确率和召回率等指标的变化趋势设定阈值，比如准确率需要大于0.7，召回率需要大于0.4。

学习率调参是调参中非常重要的一个点，表示每次更新参数的幅度大小。如果学习率设置的太大，会导致待优化的参数在最小值附近波动，不收敛而使网络跳过最优值，如果设置的太小，会导致待优化的参数收敛缓慢而使学习率的收敛速度太慢。质检模型的阈值是经过很多次训练总结出来的，比如在一次训练中，迭代从1到100000，统计质检模型在此期间的准确率和召回率(每一次迭代都计算一次准确率和召回率)，并选择准确率和召回率中的较高点(如，最大值*0.9)作为各自的阈值。

当准确率与召回率达到该阈值时(X＝A and Y＝B)，判断与调整模块460保存质检模型并降低学习率，即将所述学习率减去固定值(Z–M，但Z–M＞C(最低阈值，例如，0.00001))，使质检模型在此较优的(特定的)参数范围内小幅度调整。比如说，当准确率与召回率达到该阈值时，将学习率降低预设倍率，例如，10倍(Z/10)。

较优的参数范围说明如下。学习率是用来控制调节参数的程度的，比如说模型中的一个参数是w，它在模型训练的第t步(每一步调整一次w的取值)的值为w_t，经过梯度下降法(一种参数调优算法)参数计算得到在t+1步时，这个w应该增大，这时增加的数字需要与学习率相乘，用以控制这个参数不至于调节的太过了。

比如说，最佳的w取值是0.9，此时w_t是0.8，如果学习率是1那么0.8增大1变成1.8，就调整过头了，而且永远不会调整成0.9。但如果学习率是0.001，那么经过100步，是一定会调整成0.9。如果学习率是0.1，那么经过1步就可以调整到0.9。所以，大的学习率可以加速调优，能够迅速把参数调整到比较合理的区域，而要更加精确的找到最优参数，需要用较小的学习率进行细粒度的调整。

此处的较优的参数范围是指：由于准确率或召回率达到了设定的阈值，那么就可以认为此时模型内部的参数在合理的范围内，是符合要求的，而这时要找到最优参数的话，需要降低学习率进行细粒度的调整。

判断与调整模块460判断准确率是否小于阈值A和召回率是否小于阈值B。当准确率大于阈值A时(X＞A)，或者当准确率不大于阈值A(X≤A)且召回率大于阈值B(X≤A&Y＞B)，则判断与调整模块460降低学习率，即将所述学习率减去固定值(Z–M，但Z–M＞C(最低阈值，例如，0.00001))。当准确率不大于阈值A(X≤A)且召回率不大于阈值B(Y≤B)，则判断与调整模块460将学习率调回初始值(Z＝default value)。

以下以一个具体场景说明本发明方法的实际操作流程。

每天都会生成近百万的数据，首先通过多个模型进行筛选，筛选出一些最有可能违规的消息，和多个模型都认为不违规的消息，违规数据交给业务人员复核。复核时间是一天，则第二天将业务人员返回的人工质检消息与不违规的数据整合作为训练集进行训练。在训练过程中，初始学习率比较大(0.001)，这就意味着：在一次训练迭代中，为了缩短预测值与真实值之间的差距，而进行参数调整的幅度为该参数调整方向(正或者负)0.001个单位(1个单位就是1)，这使得模型能快速调整到适当的范围(预测值与真实值距离小，同时也意味着模型的准确率和召回率达到了我们的阈值)，此时缩小学习率(变为原来的0.1倍)，以更小的学习率进行参数调整。若下次模型依然符合要求，则再次缩小(0.1倍)，此后一直保持(0.00001)，直到模型不符合要求后，学习率再次调整为0.001。

图3系显示本发明实施例之学习模型优化与选择方法的步骤流程图。

步骤301，在训练模型时，在生产数据中收集一天的脱敏数据。

数据脱敏(Data Masking)又称数据漂白、数据去隐私化或数据变形，意指对某些敏感信息通过脱敏规则进行数据的变形，以实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。

步骤302，通过算法对所述脱敏数据进行计算以生成不同类型的质检模型。算法包括：BILSTM RNN+Attention、BiLSTM RNN、LSTM RNN、Text CNN等等。生成的质检模型中，有的质检模型准确率较高，但召回率比较低，有的质检模型准确率适中，召回率较高。所述质检模型至少包括BI-LSTM(双向长短时记忆)RNN(循环神经网络)模型与BI-LSTM Attention模型。

所述质检模型在训练过程中保存不同的模型文件。所述模型文件为所述质检模型之文件内部保存的一些参数，输入一条消息，经过判断后输出这条消息违反哪个质检点或者不违规。

比如，[你真是个傻子]，在数据集中被标注为违反“侮辱客户”这个质检点；[我真是个傻子，如果记得带钥匙，就不至于一直在门外等着了]，在数据集中会标注为“正常”；[我的联系方式是18911111111，请惠存]，在数据集中被标注为“私留联系方式”；大量(如上百万条)的违规与合规数据组成训练集，通过算法训练生成模型，再次输入一些类似语义的消息[你是个傻子吧]，模型将这条消息标记为违反“侮辱客户”这个质检点。

上述参数具体保存在一个后缀为(.pb)的文件中，这个文件中保存了模型的结构(就是BILSTM RNN等)和模型中不同神经网络节点的参数(参数具体的样子就是实数)。提供给业务一个标注系统，简单描述是分两列，第一列是消息(如：你就是个傻子)，第二列是由业务人员填写是否违反质检点，违反哪种质检点。

步骤303，利用所述多个质检模型进行预测，可得到多个质检模型的质检结果，并对所述质检结果复核，例如，由业务人员复核，或者经由复核系统复核。具体来说就是加载上面说的pb文件，并调用tensorflow框架提供的接口，将消息传入接口后，消息数据与pb文件中保存的参数进行计算，得到预测结果(即质检结果)。若质检模型给出的违规结果不正确，则进行更正。

步骤304，将复核后的质检结果作为验证集，并加入训练中，每步完成后进行验证，以计算准确率与召回率。准确率＝正确预测违规的消息数/(正确预测违规的消息数+错误预测违规的消息数)。召回率＝正确预测违规的消息数/验证集中实际违规的消息数。

步骤305，设置准确率与召回率的阈值，例如A和B，从学习率的初始值(Z＝defaultvalue)开始训练。观察训练过程中质检模型的准确率和召回率等指标的变化趋势设定阈值，比如准确率需要大于0.7，召回率需要大于0.4。

质检模型的阈值是经过很多次训练总结出来的，比如在一次训练中，迭代从1到100000，统计质检模型在此期间的准确率和召回率(每一次迭代都计算一次准确率和召回率)，并选择准确率和召回率中的较高点(如，最大值*0.9)作为各自的阈值。

步骤306，当准确率与召回率达到该阈值时(X＝A and Y＝B)，则保存质检模型并降低学习率(Z–M，但Z–M＞C(最低阈值，例如，0.00001))，使质检模型在此较优的(特定的)参数范围内小幅度调整。比如说，当准确率与召回率达到该阈值时，将学习率降低预设倍率，例如，10倍(Z/10)。

较优的参数范围说明如下。学习率是用来控制调节参数的程度的，比如说模型中的一个参数是w，它在模型训练的第t步(每一步调整一次w的取值)的值为w_t，经过梯度下降法(一种参数调优算法)参数计算得到在t+1步时，这个w应该增大，这时增加的数字需要与学习率相乘，用以控制这个参数不至于调节的太过了。

比如说，最佳的w取值是0.9，此时w_t是0.8，如果学习率是1那么0.8增大1变成1.8，就调整过头了，而且永远不会调整成0.9。但如果学习率是0.001，那么经过100步，是一定会调整成0.9。如果学习率是0.1，那么经过1步就可以调整到0.9。所以，大的学习率可以加速调优，能够迅速把参数调整到比较合理的区域，而要更加精确的找到最优参数，需要用较小的学习率进行细粒度的调整。

此处的较优的参数范围是指：由于准确率或召回率达到了设定的阈值，那么就可以认为此时模型内部的参数在合理的范围内，是符合要求的，而这时要找到最优参数的话，需要降低学习率进行细粒度的调整。

步骤307，判断准确率是否小于阈值A和召回率是否小于阈值B。

步骤308，当准确率大于阈值A时(X＞A)，或者当准确率不大于阈值(X≤A)且召回率大于阈值(X≤A&Y＞B)，则降低学习率(Z–M，但Z–M＞C(最低阈值，例如，0.00001))。

步骤309，当准确率不大于阈值(X≤A)且召回率不大于阈值(Y≤B)，则学习率调回初始值(Z＝default value)。

本发明方法经由设置准确率与召回率以不断的训练与测试质检模型，使模型训练人员更加直观的了解到了模型可能的效果，而配套的参数调优方法使得模型能够比较快速的得到较为准确、稳定的中间模型，从而使得项目能够快速投产。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种学习模型优化与选择方法，应用于电子装置中，其特征在于，所述方法包括步骤：

在训练模型时，在生产数据中收集固定时间周期内的脱敏数据；

通过多个算法对所述脱敏数据进行计算以生成多个不同类型的质检模型；

利用所述多个质检模型进行预测，可得到所述多个质检模型的多个质检结果，并对所述多个质检结果复核；

将复核后的所述多个质检结果作为验证集，并将所述验证集加入训练中，每步完成后进行验证，以计算准确率与召回率；

设置所述准确率的阈值A与所述召回率的阈值B，并从学习率的初始值始训练；

当所述准确率达到所述阈值A与所述召回率达到所述阈值B时，则保存所述多个质检模型并将所述学习率减去固定值，使所述多个质检模型在特定参数范围内调整；

判断所述准确率是否小于所述阈值A和所述召回率是否小于所述阈值B；

当所述准确率大于所述阈值A时，或者当所述准确率不大于所述阈值A且所述召回率大于所述阈值B，则将所述学习率减去所述固定值；及

当所述准确率不大于所述阈值A且所述召回率不大于所述阈值B，则将所述学习率调回所述初始值。

2.如权利要求1所述之学习模型优化与选择方法，其特征在于，所述多个算法至少包括BILSTM RNN+Attention、BiLSTM RNN、LSTM RNN与Text CNN，且所述多个质检模型至少包括BI-LSTM、RNN模型与BI-LSTM Attention模型中的一种或几种。

3.如权利要求2所述之学习模型优化与选择方法，其特征在于，所述多个质检模型在训练过程中保存多个模型文件，所述多个模型文件为所述质检模型之文件内部保存的多个参数。

4.如权利要求1所述之学习模型优化与选择方法，其特征在于，所述多个参数保存在一个后缀为‘.pb’的文件中。

5.如权利要求1所述之学习模型优化与选择方法，其特征在于，所述准确率＝正确预测违规的消息数/(所述正确预测违规的消息数+错误预测违规的消息数)，及所述召回率＝所述正确预测违规的消息数/所述验证集中实际违规的消息数。

6.一种电子装置，其特征在于，包括：

数据收集模块，用于在训练模型时，在生产数据中收集固定时间周期内的脱敏数据；

模型生成模块，用于通过多个算法对所述脱敏数据进行计算以生成多个不同类型的质检模型；

预测模块，用于利用所述多个质检模型进行预测，可得到所述多个质检模型的多个质检结果，并对所述多个质检结果复核；

计算模块，用于将复核后的所述多个质检结果作为验证集，并将所述验证集加入训练中，每步完成后进行验证，以计算准确率与召回率；

设定模块，用于设置所述准确率的阈值A与所述召回率的阈值B，並从学习率的初始值始训练；及

判断与调整模块，用于当所述准确率达到所述阈值A与所述召回率达到所述阈值B时，则保存所述多个质检模型并将所述学习率减去固定值，使所述多个质检模型在特定参数范围内调整，判断所述准确率是否小于所述阈值A和所述召回率是否小于所述阈值B，当所述准确率大于所述阈值A时，或者当所述准确率不大于所述阈值且所述召回率大于所述阈值B，则将所述学习率减去所述固定值，及当所述准确率不大于所述阈值A且所述召回率不大于所述阈值B，则将所述学习率调回所述初始值。

7.如权利要求6所述之电子装置，其特征在于，所述多个算法至少包括BILSTM RNN+Attention算法、BiLSTM RNN算法、LSTM RNN算法及Text CNN算法中的一种或多种，且所述多个质检模型至少包括BI-LSTM、RNN模型与BI-LSTM Attention模型中的一种或多种。

8.如权利要求6所述之学习模型优化与选择方法，其特征在于，所述准确率＝正确预测违规的消息数/(所述正确预测违规的消息数+错误预测违规的消息数)，及所述召回率＝所述正确预测违规的消息数/所述验证集中实际违规的消息数。

9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项学习模型优化与选择方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至5任一项学习模型优化与选择方法的步骤。