CN113177595B - 文档分类模型构建、训练、测试方法及模型构建系统 - Google Patents

文档分类模型构建、训练、测试方法及模型构建系统 Download PDF

Info

Publication number
CN113177595B
CN113177595B CN202110477900.5A CN202110477900A CN113177595B CN 113177595 B CN113177595 B CN 113177595B CN 202110477900 A CN202110477900 A CN 202110477900A CN 113177595 B CN113177595 B CN 113177595B
Authority
CN
China
Prior art keywords
model
document classification
terminal
target
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110477900.5A
Other languages
English (en)
Other versions
CN113177595A (zh
Inventor
谢福进
孙亚东
王闻馨
王志海
喻波
魏力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wondersoft Technology Co Ltd
Original Assignee
Beijing Wondersoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wondersoft Technology Co Ltd filed Critical Beijing Wondersoft Technology Co Ltd
Priority to CN202110477900.5A priority Critical patent/CN113177595B/zh
Publication of CN113177595A publication Critical patent/CN113177595A/zh
Application granted granted Critical
Publication of CN113177595B publication Critical patent/CN113177595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)

Abstract

本发明实施例提供一种文档分类模型构建、训练、测试方法及模型构建系统，模型构建方法包括：向N个第一终端发送文档分类模型网络结构，N为大于或者等于1的整数；根据N个第一终端的排序顺序，依次向每个第一终端发送参考模型参数，并接收反馈的目标模型参数，服务器向排序首位的第一终端发送的参考模型参数由服务器构建，在N大于或者等于2时，除排序首位的第一终端，每个第一终端接收到的参考模型参数为前一个第一终端反馈的目标模型参数；根据文档分类模型网络结构和排序末位的第一终端反馈的目标模型参数，生成目标文档分类模型。本发明可以保证文档不出客户端边界，同时能完成模型训练，有效降低数据泄露风险。

Description

文档分类模型构建、训练、测试方法及模型构建系统
技术领域
本发明涉及数据处理技术领域，特别是涉及一种文档分类模型构建、训练、测试方法及模型构建系统。
背景技术
云计算、大数据、移动互联、物联网和人工智能等技术推动了社会的数字化，数据成为新型的生产要素，能够在流动、分享、加工和处理的过程中创造价值。然而海量数据的汇集在带来巨大价值的同时也面临着严重的安全风险，如何有效利用和保护数据成了网络安全的关注焦点。
为了有效利用和保护数据，可以对数据资产进行分类管理，而实现数据分类管理的前提是首先对数据资产进行分类，现有的数据分类技术包括：传统的正则表达式匹配的文档分类和基于智能模型的文档分类。而基于智能模型的文档分类由于具备智能化、快捷化等优点在实际应用中使用较多。
现有技术中，在基于智能模型进行文档分类时，需要训练智能文档分类模型。下面对非涉密环境下智能文档分类模型的训练方法进行介绍，在真实数据中挑选一定数量的数据集作为样本库，将样本库中的数据样本分为训练集，验证集和测试集，将训练集数据样本输入到智能文档分类模型，进行特征提取和分类训练，将验证集数据样本输入到智能文档分类模型，进行模型指标验证，并计算准确率(Accuracy)，然后自动优化调整模型参数重新开始训练，直到准确率足够小(满足预设值)时，退出迭代，最后将测试集数据样本输入到智能文档分类模型，进行模型性能评估。
由于智能文档分类模型的准确率直接与生产环境真实数据相关，但是涉密环境中敏感文档分布在不同保密级别的终端上，不能集中收集利用，涉密环境中终端存储的敏感文档不能离开受保护边界，无法创建集中式样本库，导致无法构建文档分类模型。
由此可见，现有技术中在构建文档分类模型时，需要创建集中式样本库，存在数据收集操作繁琐以及涉密环境下无法构建文档分类模型的问题。
发明内容
本发明实施例提供了一种文档分类模型构建、训练、测试方法及模型构建系统，以解决现有技术中在构建文档分类模型时，需要创建集中式样本库，存在数据收集操作繁琐以及涉密环境下无法构建文档分类模型的问题。
第一方面，本发明实施例提供一种文档分类模型构建方法，应用于服务器，包括：
向N个第一终端分别发送文档分类模型网络结构，N为大于或者等于1的整数；
根据所述N个第一终端对应的排序顺序，依次向每个所述第一终端发送参考模型参数，并接收每个所述第一终端反馈的目标模型参数，其中，所述服务器向排序首位的所述第一终端发送的所述参考模型参数由所述服务器构建，在N大于或者等于2时，除排序首位的所述第一终端，每个所述第一终端接收到的所述参考模型参数为当前第一终端的前一个所述第一终端反馈的所述目标模型参数；
根据所述文档分类模型网络结构和排序末位的所述第一终端反馈的所述目标模型参数，生成目标文档分类模型；
其中，所述目标模型参数由所述第一终端将所述参考模型参数加载至所述文档分类模型网络结构生成参考模型后，通过本地文档训练所述参考模型得到。
第二方面，本发明实施例提供一种文档分类模型训练方法，应用于第一终端，包括：
接收服务器发送的文档分类模型网络结构和参考模型参数；
将所述参考模型参数加载至所述文档分类模型网络结构，生成参考模型；
根据本地文档对所述参考模型进行训练，输出目标模型参数并反馈至所述服务器；
其中，当前第一终端为N个第一终端中的某一个，N为大于或者等于1的整数，所述N个第一终端按照预设顺序排序，排序首位的所述第一终端对应的所述参考模型参数由所述服务器构建，在N大于或者等于2时，其他的所述第一终端对应的所述参考模型参数为前一个所述第一终端对应的所述目标模型参数。
第三方面，本发明实施例提供一种文档分类模型测试方法，应用于第二终端，包括：
接收服务器发送的用于生成目标文档分类模型的文档分类模型网络结构和目标模型参数，并生成所述目标文档分类模型；
根据本地文档对所述目标文档分类模型进行文档分类测试，获取模型测试统计结果，所述模型测试统计结果包括测试文档数量以及测试正确的文档数量；
将所述模型测试统计结果反馈至所述服务器；
其中，当前第二终端为K个第二终端中的某一个，K为大于或者等于1的整数。
第四方面，本发明实施例提供一种文档分类模型构建系统，包括：服务器、N个第一终端，N为大于或者等于1的整数；
所述服务器用于：向所述N个第一终端分别发送文档分类模型网络结构，并根据所述N个第一终端对应的排序顺序，依次向每个所述第一终端发送参考模型参数；
所述第一终端用于：接收所述服务器发送的所述文档分类模型网络结构和所述参考模型参数，将所述参考模型参数加载至所述文档分类模型网络结构，生成参考模型，根据本地文档对所述参考模型进行训练，输出目标模型参数并反馈至所述服务器；
所述服务器还用于：根据所述N个第一终端对应的排序顺序，依次接收每个所述第一终端反馈的所述目标模型参数，根据所述文档分类模型网络结构和排序末位的所述第一终端反馈的所述目标模型参数，生成目标文档分类模型；
其中，所述服务器向排序首位的所述第一终端发送的所述参考模型参数为所述服务器构建的模型参数，在N大于或者等于2时，除排序首位的所述第一终端，每个所述第一终端接收到的所述参考模型参数为当前第一终端的前一个所述第一终端反馈的所述目标模型参数。
第五方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述的文档分类模型构建方法、第二方面所述的文档分类模型训练方法或者第三方面所述的文档分类模型测试方法的步骤。
第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的文档分类模型构建方法、第二方面所述的文档分类模型训练方法或者第三方面所述的文档分类模型测试方法的步骤。
在本发明实施例中，服务器向N个第一终端发送文档分类模型网络结构，并按照排序顺序依次向N个第一终端发送参考模型参数，由第一终端基于文档分类模型网络结构和参考模型参数进行模型训练，向服务器反馈目标模型参数，服务器基于N个第一终端中排序末位的第一终端反馈的目标模型参数以及文档分类模型网络结构构建目标文档分类模型，可以将模型训练集成在服务端以及客户端，在整个模型训练过程中保证文档不出客户端边界，同时能完成模型训练，有效降低数据泄露风险，解决了在构建文档分类模型时，需要创建集中式样本库，存在数据收集操作繁琐以及涉密环境下无法构建文档分类模型的问题。
附图说明
图1是本发明实施例提供的应用于服务器的文档分类模型构建方法示意图；
图2是本发明实施例提供的涉密环境邮件外发管控方案示意图；
图3是本发明实施例提供的应用于第一终端的文档分类模型训练方法示意图；
图4是本发明实施例提供的应用于第二终端的文档分类模型测试方法示意图；
图5是本发明实施例提供的文档分类模型构建系统示意图之一；
图6是本发明实施例提供的文档分类模型构建系统示意图之二；
图7是本发明实施例提供的文档分类模型构建系统示意图之三。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
下面对本发明实施例提供的应用于服务器的文档分类模型构建方法进行介绍，参见图1所示，该方法包括：
步骤101、向N个第一终端分别发送文档分类模型网络结构，N为大于或者等于1的整数。
服务器与N个第一终端通信连接，N个第一终端中的每个第一终端，均配置有终端安全计算引擎，以便于可以进行计算。服务器向N个第一终端分别发送文档分类模型网络结构，针对N的取值为1的情况，直接发送即可，针对N的取值大于或者等于2的情况，在发送文档分类模型网络结构时，可以同步发送，以提升发送效率。
步骤102、根据所述N个第一终端对应的排序顺序，依次向每个所述第一终端发送参考模型参数，并接收每个所述第一终端反馈的目标模型参数，其中，所述服务器向排序首位的所述第一终端发送的所述参考模型参数由所述服务器构建，在N大于或者等于2时，除排序首位的所述第一终端，每个所述第一终端接收到的所述参考模型参数为当前第一终端的前一个所述第一终端反馈的所述目标模型参数。
针对N个第一终端而言，在N的取值大于或者等于2时，服务器可以确定N个第一终端对应的排序顺序，在确定排序顺序时，可以随机确定或者按照预设策略确定，在按照预设策略确定时，可以根据服务器与第一终端建立通信连接的时间顺序确定N个第一终端对应的排序顺序(如建立通信连接的时间越早、排序越靠前)，或者，根据第一终端的标识号由小到大的顺序确定N个第一终端对应的排序顺序(如标识号越小、排序越靠前)，当然并不局限于上述两种确定方式。其中，针对N的取值为1的情况，排序顺序为：当前第一终端既是排序首位的第一终端，也是排序末位的第一终端。
服务器在确定N个第一终端对应的排序顺序之后，每个第一终端对应于一排序序号，服务器根据N个第一终端对应的排序顺序，依次向每个第一终端发送参考模型参数时，即为根据第一终端对应的排序序号向第一终端发送参考模型参数，如，根据第一终端对应的排序序号由小到大的顺序，依次向N个终端分别发送参考模型参数。针对N的取值为1的情况，可以同步发送文档分类模型网络结构以及参考模型参数。
针对每个第一终端，服务器在向当前第一终端发送参考模型参数之后，可以接收当前第一终端反馈的目标模型参数，在N的取值大于或者等于2时，将当前第一终端反馈的目标模型参数作为与当前第一终端相邻的下一个第一终端的参考模型参数发送至当前第一终端相邻的下一个第一终端，这里的相邻为排序序号相邻。针对排序首位(即排序序号为首位)的第一终端而言，其接收到的参考模型参数为服务器构建的模型参数。
其中，所述目标模型参数由所述第一终端将所述参考模型参数加载至所述文档分类模型网络结构生成参考模型后，通过本地文档(在涉密环境下，本地文档为敏感文档，在非涉密环境下本地文档可以为普通文档)训练所述参考模型得到。即，针对每个第一终端而言，可以将接收到的参考模型参数加载至接收到的文档分类模型网络结构中，以生成参考模型，然后利用本地文档训练参考模型，在参考模型训练完成后，得到目标模型参数。其中，根据本地文档训练参考模型为现有技术，这里不再赘述，进行参考模型训练的过程实际为：不断调整参考模型参数，在参考模型对应的分类准确率满足预设值时，将对应的参考模型参数确定为目标模型参数。
步骤103、根据所述文档分类模型网络结构和排序末位的所述第一终端反馈的所述目标模型参数，生成目标文档分类模型。
由于N个第一终端依次向服务器反馈目标模型参数，服务器在接收到N个第一终端中的最后一个第一终端反馈的目标模型参数之后，可以根据文档分类模型网络结构和排序末位的第一终端反馈的目标模型参数，生成目标文档分类模型，即，将最后一个第一终端反馈的目标模型参数加载至文档分类模型网络结构中，生成目标文档分类模型。针对N的取值为1的情况，可以直接依据当前第一终端反馈的目标模型参数进行目标文档分类模型的生成。
本发明上述实施过程，服务器向N个第一终端发送文档分类模型网络结构，并按照排序顺序依次向N个第一终端发送参考模型参数，由第一终端基于文档分类模型网络结构和参考模型参数进行模型训练，向服务器反馈目标模型参数，服务器基于N个第一终端中排序末位的第一终端反馈的目标模型参数以及文档分类模型网络结构生成目标文档分类模型，可以将模型训练集成在服务端以及客户端，在整个模型训练过程中保证文档不出客户端边界，同时能完成模型训练，有效降低数据泄露风险，解决了在构建文档分类模型时，需要创建集中式样本库，存在数据收集操作繁琐以及涉密环境下无法构建文档分类模型的问题。
在本发明一可选实施例中，该方法还包括：
预先构建所述文档分类模型网络结构和模型参数；
其中，所述服务器构建的所述模型参数为向排序首位的所述第一终端发送的所述参考模型参数。
服务器在发送文档分类模型网络结构之前，需要构建文档分类模型网络结构和模型参数，然后将构建的文档分类模型网络结构发送至N个第一终端中的每一个第一终端，将构建的模型参数作为N个第一终端中排序首位的第一终端对应的参考模型参数，发送至排序首位的第一终端。
本发明上述实施过程，通过预先构建文档分类模型网络结构和模型参数，将文档分类模型网络结构发送至N个第一终端，将模型参数发送至排序首位的第一终端，由排序首位的第一终端生成目标模型参数，在N的取值大于或者等于2时，基于将生成的目标模型参数作为相邻的下一个第一终端的参考模型参数、通过服务器传输至相邻的下一个第一终端的原则，实现模型参数的传递，以便于各第一终端可以进行模型训练。
在本发明一可选实施例中，在N大于或者等于2的情况下，所述根据所述N个第一终端对应的排序顺序，依次向每个所述第一终端发送参考模型参数，并接收每个所述第一终端反馈的目标模型参数，包括：
向排序首位的所述第一终端发送所述参考模型参数，接收排序首位的所述第一终端反馈的所述目标模型参数；
将排序首位的所述第一终端反馈的所述目标模型参数确定为排序第二的所述第一终端对应的所述参考模型参数并发送至排序第二的所述第一终端，接收排序第二的所述第一终端反馈的所述目标模型参数；
依据相邻的两个所述第一终端中前一个所述第一终端反馈的所述目标模型参数为后一个所述第一终端的所述参考模型参数的原则，根据所述排序顺序依次向(N-2)个所述第一终端发送所述参考模型参数并接收反馈的所述目标模型参数，直至接收到第N个所述第一终端反馈的所述目标模型参数。
在N大于或者等于2的情况下，服务器在根据N个第一终端对应的排序顺序，依次向每个第一终端发送参考模型参数，并接收每个第一终端反馈的目标模型参数时，可以首先向排序首位的第一终端发送参考模型参数，由排序首位的第一终端将参考模型参数加载至文档分类模型网络结构，生成参考模型，利用本地文档训练参考模型，在参考模型训练完成后，得到目标模型参数并反馈至服务器。
服务器在接收到排序首位的第一终端反馈的目标模型参数之后，可以将排序首位的第一终端反馈的目标模型参数确定为排序第二的第一终端对应的参考模型参数，将排序第二的第一终端对应的参考模型参数发送至排序第二的第一终端，由排序第二的第一终端将接收到的参考模型参数加载至文档分类模型网络结构，以进行模型训练，最终得到目标模型参数反馈至服务器。
服务器在接收到排序第二的第一终端反馈的目标模型参数之后，依据相邻的两个第一终端中前一个第一终端反馈的目标模型参数作为后一个第一终端的参考模型参数的原则，根据排序顺序，向剩余的(N-2)个第一终端依次发送参考模型参数，并针对每个第一终端，接收反馈的目标模型参数，且针对当前第一终端而言，服务器在接收到当前第一终端对应的目标模型参数之后，根据当前第一终端对应的目标模型参数，向相邻的下一个第一终端发送参考模型参数，直至接收到第N个第一终端反馈的目标模型参数。
即，针对相邻的两个第一终端，服务器在接收到前一个第一终端反馈的目标模型参数之后，向后一个第一终端发送参考模型参数，依据该原则依次接收第一终端反馈的目标模型参数，直至接收到第N个第一终端反馈的目标模型参数。在N等于1的情况下，仅需要接收一个第一终端反馈的目标模型参数。
在N大于或者等于2的情况下，下面通过一具体实例对根据N个第一终端对应的排序顺序，依次向每个第一终端发送参考模型参数，并接收每个第一终端反馈的目标模型参数的过程进行阐述。服务器构建文档分类模型网络结构和模型参数，将文档分类模型网络结构发送至N个第一终端中的每一个第一终端，将构建的模型参数w0发送至排序首位的第一终端(第一终端1)，排序首位的第一终端将模型参数w0加载至文档分类模型网络结构，生成参考模型，使用本地文档对参考模型进行训练，输出目标模型参数w1并反馈至服务器。由于反馈的是训练结果且不能反推文档数据，文档数据仍然在第一终端1上，未出保护边界。服务器将w1发送给排序第二的第一终端(第一终端2)，排序第二的第一终端向服务器反馈目标模型参数w2，依次迭代，直到N个第一终端均反馈目标模型参数，服务器得到第N个第一终端反馈的目标模型参数wn。
本发明上述实施过程，向N个第一终端发送文档分类模型网络结构，将构建的模型参数发送至排序首位的第一终端，按照相邻的两个第一终端中前一个第一终端反馈的目标模型参数为后一个第一终端的参考模型参数的原则，向(N-1)个第一终端依次发送参考模型参数，并接收反馈的目标模型参数，可以实现获取最终的目标模型参数。
在本发明一可选实施例中，在生成目标文档分类模型之后，还包括：
向K个第二终端中的每一个第二终端发送所述文档分类模型网络结构和排序末位的所述第一终端反馈的所述目标模型参数，K为大于或者等于1的整数，且K的取值小于或者等于N；
接收每个所述第二终端反馈的模型测试统计结果，所述模型测试统计结果包括测试文档数量以及测试正确的文档数量，所述模型测试统计结果由所述第二终端根据所述文档分类模型网络结构和排序末位的所述第一终端反馈的所述目标模型参数生成所述目标文档分类模型后、通过本地文档对所述目标文档分类模型进行文档分类测试得到；
根据所述K个第二终端对应的测试正确的文档数量的总和与所述K个第二终端对应的测试文档数量的总和之比，确定所述目标文档分类模型对应的测试准确率。
服务器在生成目标文档分类模型之后，可以向K个第二终端中的每个第二终端分别发送文档分类模型网络结构和排序末位的第一终端反馈的目标模型参数。其中，第二终端可作为测试终端，第一终端为训练终端，且第二终端对应的数量K小于或者等于第一终端对应的数量N。例如，K的取值为N的六分之一。
针对每个第二终端而言，可以根据接收到的文档分类模型网络结构和排序末位的第一终端对应的目标模型参数，生成目标文档分类模型，根据本地文档对目标文档分类模型进行文档分类测试，获取包括测试文档数量以及测试正确的文档数量的模型测试统计结果，将获取的模型测试统计结果反馈至服务器。其中，测试正确的文档可以理解为该文档对应的分类类别测试正确。
服务器接收每个第二终端反馈的模型测试统计结果之后，根据K个模型测试统计结果确定目标文档分类模型对应的测试准确率。具体可以为：计算K个第二终端对应的测试正确的文档数量的总和，得到第一数值，计算K个第二终端对应的测试文档数量的总和，得到第二数值，根据第一数值和第二数值的比值，确定目标文档分类模型对应的测试准确率(分类测试准确率)。例如，第二终端反馈的模型测试统计结果包括测试正确的文档数量C以及测试文档数量T，服务器根据接收到的K个第二终端对应的模型测试统计结果，使用如下公式计算定目标文档分类模型对应的测试准确率ACC。
Figure BDA0003047749190000111
其中，i表示第二终端对应的序号，且i的取值可以为1、2……K，针对K个第二终端，累加测试正确的文档数量以及累加测试文档数量，然后根据二者的比值确定测试准确率。
本发明上述实施过程，通过向用于测试的第二终端发送文档分类模型网络结构和排序末位的第一终端反馈的目标模型参数，由第二终端基于本地文档进行模式测试，反馈模型测试统计结果，服务器根据模型测试统计结果确定目标文档分类模型对应的测试准确率，可以实现对目标文档分类模型进行有效测试。
在完成目标文档分类模型的训练以及测试之后，测试结果如果出现过拟合的现象则需要调优处理，调优处理的过程即为调整模型参数继续训练、测试，经过调优处理后可完成目标文档分类模型的构建，若未出现过拟合的现象，则可以确定完成目标文档分类模型的构建。在构建目标文档分类模型之后，可以根据目标文档分类模型进行文档分类，其中目标文档分类模型对应的文档类别与文档级别之间配置有关联关系，且不同的企业其对应的关联关系可以不同(如，在企业1中文档类别1属于第一级别，在企业2中文档类别1属于第二级别)，在确定文档类别之后可以根据关联关系确定该文档类别对应的级别信息。
下面通过一具体实例对应用本发明实施例的文档分类模型构建方法的涉密场景进行介绍。银行A需要对行内员工外发邮件是否包含敏感文档进行监管，具体包括检测→识别→处置→评估环节，其关键点是敏感文档的识别，即按预设规则进行敏感文档分类。但是敏感文档分布在全行各部门员工所使用的终端上，而且保密级别各不相同，作为项目建设负责的科信部门也没有权限要求业务部门提供敏感文档。其中，银行A涉密环境邮件外发管控方案图可参见图2所示。在银行A科信部门部署文档分类模型构建平台(相当于上述的服务器)，负责文档分类模型的训练与测试过程调度。在银行A各业务部门员工对应的终端上部署终端安全技术引擎，负责响应平台的调度任务，使用终端拥有的敏感文档训练和测试模型。在银行A企业网络出口部署邮件外发管控系统(基于网络的数据防泄露系统NDLP)，负责检测企业出口的所有邮件，并协议还原获得邮件内容，将邮件正文和附件分别发往文档分类模型构建平台进行识别。文档分类模型构建平台使用构建的文档分类模型识别邮件内容文档，并将识别的文档类别和与文档类别对应的风险等级反馈给NDLP。NDLP依据识别结果，按照预定管控策略进行处置，处置包括阻断，审批和放行等手段。NDLP按月对邮件外发安全事件进行统计评估，并生成报表。
以上为本发明实施例提供的文档分类模型构建方法的整体实施过程，服务器向N个第一终端发送文档分类模型网络结构，并按照排序顺序依次向N个第一终端发送参考模型参数，由第一终端基于文档分类模型网络结构和参考模型参数进行模型训练，向服务器反馈目标模型参数，服务器基于N个第一终端中排序末位的第一终端反馈的目标模型参数以及文档分类模型网络结构生成目标文档分类模型，并利用第二终端进行模型测试，可以将模型构建集成在服务端以及客户端，由服务端负责模型训练调度和测试过程调度，客户端负责执行模型训练和模型测试，在整个模型构建过程中保证文档不出客户端边界，同时能完成模型训练和测试，有效降低数据泄露风险，解决了在构建文档分类模型时，需要创建集中式样本库，存在数据收集操作繁琐以及涉密环境下无法构建文档分类模型的问题。
本发明实施例还提供一种文档分类模型训练方法，应用于第一终端，如图3所示，包括：
步骤301、接收服务器发送的文档分类模型网络结构和参考模型参数。
第一终端为用于模型训练的终端，可以接收服务器发送的文档分类模型网络结构和参考模型参数，其中文档分类模型网络结构由服务器构建，参考模型参数可以由服务器构建，也可以由与当前第一终端相邻的上一个第一终端生成。
步骤302、将所述参考模型参数加载至所述文档分类模型网络结构，生成参考模型。
第一终端在获取文档分类模型网络结构和参考模型参数之后，可以将参考模型参数加载至文档分类模型网络结构中，生成参考模型，这里的参考模型可以理解为第一终端对应的中间训练模型。
步骤303、根据本地文档对所述参考模型进行训练，输出目标模型参数并反馈至所述服务器。
在生成参考模型之后，第一终端可以根据本地文档对生成的参考模型进行训练，其中根据本地文档训练参考模型的过程可以为：将本地文档(在涉密环境下，本地文档为敏感文档，在非涉密环境下本地文档可以为普通文档)输入参考模型，进行特征提取和分类训练，验证训练结果，在训练结果(分类准确率)不满足条件时，调整参考模型参数，然后继续训练直至训练结果满足条件时，确定参考模型训练完成，将此时对应的参考模型参数确定为目标模型参数。其中，进行参考模型训练的过程实际为：不断调整参考模型参数，在参考模型对应的分类准确率满足预设值时，将对应的参考模型参数确定为目标模型参数。在确定目标模型参数之后，将其反馈至服务器。
其中，当前第一终端为N个第一终端中的某一个，N为大于或者等于1的整数，在N的取值等于1时，当前第一终端对应的所述参考模型参数为所述服务器构建的模型参数，在N的取值大于或者等于2时，所述N个第一终端按照预设顺序排序，排序首位的所述第一终端对应的所述参考模型参数由所述服务器构建，其他的所述第一终端对应的所述参考模型参数为前一个所述第一终端对应的所述目标模型参数。
在N的取值大于或者等于2时，N个第一终端按照预设顺序排序，即N个第一终端中的每个第一终端对应于一排序序号。针对当前第一终端为N个第一终端中的排序首位的第一终端的情况，当前第一终端可以接收服务器构建的模型参数，此时，服务器构建的模型参数可以作为排序首位的第一终端对应的参考模型参数。
针对当前第一终端为N个第一终端中的非排序首位的第一终端的情况，可以接收通过服务器发送的与当前第一终端相邻的上一个第一终端生成的目标模型参数，这里的相邻为排序序号相邻，即，上一个第一终端生成的目标模型参数反馈至服务器，服务器将其作为下一个第一终端的参考模型参数发送至下一个第一终端。
在N等于1的情况下，排序顺序为：当前第一终端既是排序首位的第一终端，也是排序末位的第一终端，服务器仅需要接收一个第一终端反馈的目标模型参数。
本发明上述实施过程，通过接收服务器发送的文档分类模型网络结构和参考模型参数，根据文档分类模型网络结构和参考模型参数进行模型训练输出目标模型参数反馈至服务器，在N大于或者等于2时，由服务器将其发送至相邻的下一个第一终端，使得模型参数在不同的第一终端上更新，实现由服务端负责模型训练调度，客户端负责执行模型训练，保证服务器可以获取最终的目标模型参数。
本发明实施例还提供一种文档分类模型测试方法，应用于第二终端，如图4所示，包括：
步骤401、接收服务器发送的用于生成目标文档分类模型的文档分类模型网络结构和目标模型参数，并生成所述目标文档分类模型。
在服务器生成目标文档分类模型之后，第二终端可以接收服务器发送的用于生成目标文档分类模型的文档分类模型网络结构和目标模型参数，第二终端根据接收到的文档分类模型网络结构和目标模型参数生成目标文档分类模型。
其中，服务器可以向N(N为大于或者等于1的整数)个第一终端发送文档分类模型网络结构，并按照排序顺序依次向N个第一终端发送参考模型参数，由第一终端基于文档分类模型网络结构和参考模型参数进行模型训练，向服务器反馈目标模型参数，服务器依次接收N个第一终端分别反馈的目标模型参数(针对N大于或者等于2的情况，相邻的两个第一终端中，前一个第一终端反馈的目标模型参数为后一个第一终端的参考模型参数)，基于N个第一终端中排序末位的第一终端反馈的目标模型参数以及文档分类模型网络结构生成目标文档分类模型。在N等于1的情况下，服务器仅需要向一个第一终端发送参考模型参数、接收一个第一终端反馈的目标模型参数，且此时当前第一终端既是排序首位的第一终端，也是排序末位的第一终端。
步骤402、根据本地文档对所述目标文档分类模型进行文档分类测试，获取模型测试统计结果，所述模型测试统计结果包括测试文档数量以及测试正确的文档数量。
第二终端在生成目标文档分类模型之后，可以根据本地文档(在涉密环境下，本地文档为敏感文档，在非涉密环境下本地文档可以为普通文档)对目标文档分类模型进行文档分类测试，且本地文档的数量可以为一个或者多个(包括两个)。具体可以为：针对每个本地文档可以对应于一分类标签，将当前本地文档输入目标文档分类模型之后，可以获取分类结果，若分类结果与当前本地文档对应的分类标签相匹配，则确定当前本地文档属于进行分类测试对应的测试正确的文档，若分类结果与当前本地文档对应的分类标签不匹配，则确定当前本地文档属于分类测试对应的测试不正确的文档。
在进行文档分类测试之后，可以获取模型测试统计结果，模型测试统计结果可以包括测试文档数量以及测试正确的文档数量。
步骤403、将所述模型测试统计结果反馈至所述服务器。
在获取模型测试统计结果之后，可以将其反馈至服务器，其中，第二终端的数量为K个，K为大于或者等于1的整数，且K的取值小于或者等于N，当前第二终端为K个第二终端中的某一个。在K个第二终端将模型测试统计结果反馈至服务器之后，可以由服务器根据K个模型测试统计结果确定目标文档分类模型对应的测试准确率。具体可以为：计算K个第二终端对应的测试正确的文档数量的总和，得到第一数值，计算K个第二终端对应的测试文档数量的总和，得到第二数值，根据第一数值和第二数值的比值，确定目标文档分类模型对应的测试准确率。
本发明上述实施过程，通过接收服务器发送的用于生成目标文档分类模型的文档分类模型网络结构和目标模型参数，并生成目标文档分类模型，根据本地文档对目标文档分类模型进行文档分类测试，获取模型测试统计结果反馈至服务器，可以实现由服务端负责测试过程调度，客户端负责执行模型测试，保证服务器根据模型测试统计结果确定目标文档分类模型对应的测试准确率，进而保证对目标文档分类模型进行有效测试。
本发明实施例还提供一种文档分类模型构建系统，如图5所示，包括：服务器51、N个第一终端52，N为大于或者等于1的整数；
所述服务器51用于：向所述N个第一终端52分别发送文档分类模型网络结构，并根据所述N个第一终端52对应的排序顺序，依次向每个所述第一终端52发送参考模型参数；
所述第一终端52用于：接收所述服务器51发送的所述文档分类模型网络结构和所述参考模型参数，将所述参考模型参数加载至所述文档分类模型网络结构，生成参考模型，根据本地文档对所述参考模型进行训练，输出目标模型参数并反馈至所述服务器51；
所述服务器51还用于：根据所述N个第一终端52对应的排序顺序，依次接收每个所述第一终端52反馈的所述目标模型参数，根据所述文档分类模型网络结构和排序末位的所述第一终端52反馈的所述目标模型参数，生成目标文档分类模型；
其中，所述服务器51向排序首位的所述第一终端52发送的所述参考模型参数为所述服务器51构建的模型参数，在N大于或者等于2时，除排序首位的所述第一终端52，每个所述第一终端52接收到的所述参考模型参数为当前第一终端52的前一个所述第一终端52反馈的所述目标模型参数。
本发明实施例提供的文档分类模型构建系统包括服务器51以及与服务器51通信连接的N个第一终端52，其中，N为大于或者等于1的整数，N个第一终端52中的每个第一终端52，均配置有终端安全计算引擎，以便于可以进行计算。服务器51基于与N个第一终端52之间的连接，向N个第一终端52分别发送文档分类模型网络结构，针对N的取值为1的情况，直接发送即可，针对N的取值大于或者等于2的情况，在发送文档分类模型网络结构时，可以同步发送，以提升发送效率。
针对N个第一终端52而言，在N的取值大于或者等于2时，服务器51可以确定N个第一终端52对应的排序顺序，在确定排序顺序时，可以随机确定或者按照预设策略确定，在按照预设策略确定时，可参见上述方法实施例中的描述，这里不再赘述。其中，针对N的取值为1的情况，排序顺序为：当前第一终端52既是排序首位的第一终端，也是排序末位的第一终端。服务器51在确定N个第一终端52对应的排序顺序之后，每个第一终端52可对应于一排序序号，服务器51根据第一终端52对应的排序序号依次向第一终端52发送参考模型参数，如，根据第一终端52对应的排序序号由小到大的顺序，依次向N个第一终端52分别发送参考模型参数。针对N的取值为1的情况，可以同步发送文档分类模型网络结构以及参考模型参数。
服务器51在向当前第一终端52发送参考模型参数之后，可以接收当前第一终端52反馈的目标模型参数，在N的取值大于或者等于2时，将当前第一终端52反馈的目标模型参数作为与当前第一终端52相邻的下一个第一终端52的参考模型参数发送至当前第一终端52相邻的下一个第一终端52，这里的相邻为排序序号相邻。针对排序首位(即排序序号为首位)的第一终端52而言，其接收到的参考模型参数为服务器51构建的模型参数。
其中，第一终端52接收服务器51发送的文档分类模型网络结构和参考模型参数后，将参考模型参数加载至文档分类模型网络结构，生成参考模型，通过本地文档(在涉密环境下，本地文档为敏感文档，在非涉密环境下本地文档可以为普通文档)训练参考模型得到目标模型参数并反馈至服务器51。
针对服务器51而言，可以按照排序顺序，向排序首位的第一终端52发送参考模型参数，接收排序首位的第一终端52反馈的目标模型参数之后，在N的取值大于或者等于2时，向排序第二的第一终端52发送参考模型参数(排序首位的第一终端52反馈的目标模型参数)，接收排序第二的第一终端52反馈的目标模型参数，在N的取值为2时，可以根据接收到的目标模型参数进行目标文档分类模型的生成。在N的取值大于2时，可以向排序第三的第一终端52发送参考模型参数(排序第二的第一终端52反馈的目标模型参数)，依次类推，直至接收到N个第一终端52中的最后一个第一终端52反馈的目标模型参数，然后根据文档分类模型网络结构和排序末位的第一终端52反馈的目标模型参数，生成目标文档分类模型。
本发明提供的文档分类模型构建系统，服务器向N个第一终端发送文档分类模型网络结构，并按照排序顺序依次向N个第一终端发送参考模型参数，第一终端基于文档分类模型网络结构和参考模型参数进行模型训练，向服务器反馈目标模型参数，服务器依次接收N个目标模型参数，基于N个第一终端中排序末位的第一终端反馈的目标模型参数以及文档分类模型网络结构生成目标文档分类模型，可以使得模型参数在不同第一终端上更新，实现由服务端负责模型训练调度，客户端负责执行模型训练，保证服务器可以获取最终的目标模型参数以生成目标文档分类模型，且通过将模型训练集成在服务端以及客户端，在整个模型训练过程中可以保证文档不出客户端边界，在完成模型训练的同时，有效降低数据泄露风险。
在本发明一可选实施例中，如图6所示，所述服务器51包括：服务端任务管理模块511以及模型构建模块512，所述服务端任务管理模块511包括任务分发子模块5111和结果收集子模块5112，所述模型构建模块512包括模型训练子模块5121和模型测评子模块5122；
所述模型训练子模块5121连接所述任务分发子模块5111和所述结果收集子模块5112，所述任务分发子模块5111连接所述结果收集子模块5112，所述模型测评子模块5122连接所述结果收集子模块5112；
所述任务分发子模块5111用于：向所述N个第一终端52分别发送所述文档分类模型网络结构，并根据所述N个第一终端52对应的排序顺序，依次向每个所述第一终端52发送所述参考模型参数；
所述结果收集子模块5112用于：根据所述N个第一终端52对应的排序顺序，依次接收每个所述第一终端52反馈的所述目标模型参数；
所述模型训练子模块5121用于：根据所述文档分类模型网络结构和所述结果收集子模块5112发送的排序末位的所述第一终端52反馈的所述目标模型参数，生成所述目标文档分类模型；
所述模型训练子模块5121还用于：预先构建所述文档分类模型网络结构和模型参数；其中，所述模型训练子模块5121构建的所述模型参数为向排序首位的所述第一终端52发送的所述参考模型参数。
针对服务器51而言，可以包括：服务端任务管理模块511以及模型构建模块512，服务端任务管理模块511包括任务分发子模块5111和结果收集子模块5112，任务分发子模块5111在发送文档分类模型网络结构之前，模型训练子模块5121需要构建文档分类模型网络结构和模型参数，然后将构建的文档分类模型网络结构发送至与之连接的任务分发子模块5111，由任务分发子模块5111发送至N个第一终端52中的每一个第一终端52，并将构建的模型参数发送至任务分发子模块5111，由任务分发子模块5111将其作为排序首位的第一终端52的参考模型参数，发送至排序首位的第一终端52。在N大于或者等于2的情况下，任务分发子模块5111在向N个第一终端52分别发送文档分类模型网络结构时，可以同步发送。
任务分发子模块5111还用于：在N大于或者等于2的情况下，确定N个第一终端52对应的排序顺序，根据N个第一终端52对应的排序顺序，依次向每个第一终端52发送参考模型参数，针对N等于1的情况，排序顺序为：当前第一终端52既是排序首位的第一终端，也是排序末位的第一终端。结果收集子模块5112用于：根据N个第一终端52对应的排序顺序，依次接收每个第一终端52反馈的目标模型参数。其中，结果收集子模块5112与任务分发子模块5111连接且配合工作，在N大于或者等于2的情况下，结果收集子模块5112接收到当前第一终端52对应的目标模型参数之后，由任务分发子模块5111将当前第一终端52对应的目标模型参数作为相邻的下一个第一终端52的参考模型参数发送至下一个第一终端52。即，任务分发子模块5111向第一终端52发送参考模型参数，第一终端52根据参考模型参数向结果收集子模块5112反馈目标模型参数，任务分发子模块5111根据结果收集子模块5112接收到的目标模型参数，向相邻的下一个第一终端52发送参考模型参数，即，除首个第一终端52外，向其他第一终端52发送的参考模型参数以结果收集子模块5112接收到的目标模型参数为依据。
模型训练子模块5121连接结果收集子模块5112，可以根据文档分类模型网络结构和结果收集子模块5112反馈的排序末位的第一终端52反馈的目标模型参数，生成目标文档分类模型，以实现基于经过N个第一终端52训练后的目标模型参数生成目标文档分类模型。
上述过程，首先预先构建文档分类模型网络结构和模型参数，将文档分类模型网络结构发送至N个第一终端，将模型参数发送至排序首位的第一终端，由排序首位的第一终端生成目标模型参数，在N大于或者等于2时，基于将生成的目标模型参数作为相邻的下一个第一终端的参考模型参数、通过任务分发子模块传输至相邻的下一个第一终端的原则，实现模型参数的传递，以便于各第一终端可以进行模型训练。
本发明实施例提供的服务器，可以负责模型训练调度，由第一终端进行模型训练，服务器根据第一终端的模型训练结果生成目标文档分类模型，实现将模型训练集成在服务端以及客户端，在整个模型训练过程中保证文档不出客户端边界，同时能完成模型训练，有效降低数据泄露风险。
在本发明一可选实施例中，如图6所示，所述第一终端52包括第一终端任务管理模块521和文档分类模型训练模块522，所述第一终端任务管理模块521包括第一任务接收调度子模块5211和第一结果反馈子模块5212；
所述第一任务接收调度子模块5211连接所述任务分发子模块5111、所述文档分类模型训练模块522，所述文档分类模型训练模块522连接所述第一结果反馈子模块5212，所述第一结果反馈子模块5212连接所述结果收集子模块5112；
所述第一任务接收调度子模块5211用于：接收所述任务分发子模块5111发送的所述文档分类模型网络结构和所述参考模型参数；
所述文档分类模型训练模块522用于：将所述参考模型参数加载至所述文档分类模型网络结构，生成参考模型，根据本地文档对所述参考模型进行训练，获取所述目标模型参数；
所述第一结果反馈子模块5212用于：获取所述目标模型参数并反馈至所述结果收集子模块5112。
第一终端52包括第一终端任务管理模块521和文档分类模型训练模块522，第一终端任务管理模块521包括第一任务接收调度子模块5211和第一结果反馈子模块5212，第一任务接收调度子模块5211与任务分发子模块5111连接，可以接收任务分发子模块5111发送的文档分类模型网络结构和参考模型参数。文档分类模型训练模块522连接第一任务接收调度子模块5211，获取文档分类模型网络结构和参考模型参数，通过将参考模型参数加载至文档分类模型网络结构中，生成参考模型，然后根据本地文档对参考模型进行训练，获取目标模型参数。
文档分类模型训练模块522连接第一结果反馈子模块5212，将目标模型参数发送至第一结果反馈子模块5212，由第一结果反馈子模块5212将目标模型参数发送至结果收集子模块5112，以使得服务器51获取目标模型参数。
本发明实施例提供的第一终端，可以根据服务器的模型训练调度，进行模型训练，将训练得到的目标模型参数反馈至服务器，由服务器生成目标文档分类模型，实现将模型训练集成在服务端以及客户端，在整个模型训练过程中保证文档不出客户端边界，同时能完成模型训练，有效降低数据泄露风险。
在本发明一可选实施例中，如图5所示，所述文档分类模型构建系统还包括：K个第二终端53，K为大于或者等于1的整数，且K的取值小于或者等于N；
所述第二终端53用于：接收所述服务器51发送的所述文档分类模型网络结构和排序末位的所述第一终端52对应的所述目标模型参数，并生成所述目标文档分类模型，根据本地文档对所述目标文档分类模型进行文档分类测试，获取模型测试统计结果并将所述模型测试统计结果反馈至所述服务器51，所述模型测试统计结果包括测试文档数量以及测试正确的文档数量。
文档分类模型构建系统在包括服务器51、N个第一终端52的基础上，还包括K个第二终端53。服务器51在生成目标文档分类模型之后，可以向K个第二终端53中的每个第二终端53分别发送文档分类模型网络结构和排序末位的第一终端52反馈的目标模型参数(用于生成目标文档分类模型的目标模型参数)。其中，第二终端53为测试终端，第一终端52为训练终端，且第二终端53对应的数量K小于或者等于第一终端52对应的数量N。例如，K的取值为N的六分之一。
针对每个第二终端53而言，可以根据接收到的文档分类模型网络结构和排序末位的第一终端52对应的目标模型参数，生成目标文档分类模型，根据本地文档对目标文档分类模型进行文档分类测试，获取包括测试文档数量以及测试正确的文档数量的模型测试统计结果，将获取的模型测试统计结果反馈至服务器51。
本发明实施例提供的第二终端，通过接收文档分类模型网络结构和排序末位的第一终端反馈的目标模型参数，基于本地数据进行模式测试，生成模型测试统计结果并反馈至服务器，可以由服务器根据模型测试统计结果确定目标文档分类模型对应的测试准确率，实现由服务端负责测试过程调度，客户端负责执行模型测试，保证服务器对目标文档分类模型进行有效测试。
在本发明一可选实施例中，如图5和图7所示，所述任务分发子模块5111还用于：向所述K个第二终端53中的每一个所述第二终端53发送所述文档分类模型网络结构和排序末位的所述第一终端52对应的所述目标模型参数；
所述结果收集子模块5112还用于：接收所述K个第二终端53分别发送的所述模型测试统计结果；
所述模型测评子模块5122用于：根据所述K个第二终端53对应的所述测试正确的文档数量的总和与所述K个第二终端53对应的所述测试文档数量的总和之比，确定所述目标文档分类模型对应的测试准确率。
任务分发子模块5111可以获取文档分类模型网络结构和排序末位的所述第一终端52对应的目标模型参数，并将其发送至每一个第二终端53，第二终端53可以根据接收到的文档分类模型网络结构和排序末位的第一终端52对应的目标模型参数，生成目标文档分类模型，根据本地文档对目标文档分类模型进行文档分类测试，获取模型测试统计结果，将获取的模型测试统计结果反馈至结果收集子模块5112。
结果收集子模块5112连接模型测评子模块5122，将K个第二终端53分别发送的模型测试统计结果传输至模型测评子模块5122，模型测评子模块5122根据K个模型测试统计结果确定目标文档分类模型对应的测试准确率。在确定目标文档分类模型对应的测试准确率时，可以计算K个第二终端53对应的测试正确的文档数量的总和，得到第一数值，计算K个第二终端53对应的测试文档数量的总和，得到第二数值，根据第一数值和第二数值的比值，确定目标文档分类模型对应的测试准确率。
本发明实施例提供的服务器，可以负责模型测试调度，由第二终端进行模型测试，服务器根据第二终端的模型测试结果确定目标文档分类模型对应的测试准确率，实现将模型测试集成在服务端以及客户端，在整个模型测试过程中保证文档不出客户端边界，同时能完成模型测试，有效降低数据泄露风险。
在本发明一可选实施例中，如图5和图7所示，所述第二终端53包括：第二终端任务管理模块531和文档分类模型测试模块532，所述第二终端任务管理模块531包括第二任务接收调度子模块5311和第二结果反馈子模块5312；
所述第二任务接收调度子模块5311连接所述任务分发子模块5111、所述文档分类模型测试模块532，所述文档分类模型测试模块532连接所述第二结果反馈子模块5312，所述第二结果反馈子模块5312连接所述结果收集子模块5112；
所述第二任务接收调度子模块5311用于：接收所述任务分发子模块5111发送的所述文档分类模型网络结构和排序末位的所述第一终端52对应的所述目标模型参数；
所述文档分类模型测试模块532用于：根据所述文档分类模型网络结构和排序末位的所述第一终端52对应的所述目标模型参数，生成所述目标文档分类模型，根据本地文档对所述目标文档分类模型进行文档分类测试，获取模型测试统计结果；
所述第二结果反馈子模块5312用于：获取所述模型测试统计结果并反馈至所述结果收集子模块5112。
第二终端53包括第二终端任务管理模块531和文档分类模型测试模块532，第二终端任务管理模块531包括第二任务接收调度子模块5311和第二结果反馈子模块5312，第二任务接收调度子模块5311连接任务分发子模块5111，接收任务分发子模块5111发送的文档分类模型网络结构和排序末位的第一终端52对应的目标模型参数，将接收的文档分类模型网络结构和排序末位的第一终端52对应的目标模型参数，发送至文档分类模型测试模块532，文档分类模型测试模块532可以根据文档分类模型网络结构和排序末位的第一终端52对应的目标模型参数，生成目标文档分类模型，并根据本地文档对目标文档分类模型进行文档分类测试，获取模型测试统计结果。
文档分类模型测试模块532获取模型测试统计结果之后，将模型测试统计结果发送至第二结果反馈子模块5312，第二结果反馈子模块5312将模型测试统计结果发送至结果收集子模块5112，以使得服务器51获取当前第二终端53对应的模型测试统计结果。
以上为第二终端与服务器交互的过程，可以实现由服务端负责测试过程调度，客户端负责执行模型测试，保证服务器对目标文档分类模型进行有效测试。
需要说明的是，第二终端还可以包括文档分类模型训练模块，相应的，第一终端还可以包括文档分类模型测试模块，即测试终端(第二终端)可以具备模型训练功能，训练终端(第一终端)可以具备模型测试功能，保证第一终端和第二终端为具有相同功能的终端，进而可以保证测试终端和训练终端确定的随机性。
以上为本发明实施例提供的文档分类模型构建系统，服务器向N个第一终端发送文档分类模型网络结构，并按照排序顺序依次向N个第一终端发送参考模型参数，由第一终端基于文档分类模型网络结构和参考模型参数进行模型训练，向服务器反馈目标模型参数，服务器基于N个第一终端中排序末位的第一终端反馈的目标模型参数以及文档分类模型网络结构构建目标文档分类模型，可以将模型训练集成在服务端以及客户端，由服务端负责模型训练调度，客户端负责执行模型训练，在整个模型训练过程中保证文档不出客户端边界，同时能完成模型训练，有效降低数据泄露风险。
进一步的，服务器向第二终端发送用于生成目标文档分类模型的文档分类模型网络结构和目标模型参数，由第二终端生成目标文档分类模型，根据本地文档对目标文档分类模型进行文档分类测试，获取模型测试统计结果反馈至服务器，可以实现由服务端负责测试过程调度，客户端负责执行模型测试，保证服务器根据模型测试统计结果确定目标文档分类模型对应的测试准确率，进而保证对目标文档分类模型进行有效测试。即本发明提供的文档分类模型构建系统，可以将模型构建集成在服务端以及客户端，由服务端负责模型训练调度和测试过程调度，客户端负责执行模型训练和模型测试，在整个模型构建过程中保证文档不出客户端边界，同时能完成模型训练和测试，有效降低数据泄露风险，解决了在构建文档分类模型时，需要创建集中式样本库，存在数据收集操作繁琐以及涉密环境下无法构建文档分类模型的问题。
本发明实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述文档分类模型构建方法、文档分类模型训练方法或者文档分类模型测试方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述文档分类模型构建方法、文档分类模型训练方法或者文档分类模型测试方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (15)

1.一种文档分类模型构建方法，应用于服务器，其特征在于，包括：
向N个第一终端分别发送文档分类模型网络结构，N为大于或者等于1的整数；
根据所述N个第一终端对应的排序顺序，依次向每个所述第一终端发送参考模型参数，并接收每个所述第一终端反馈的目标模型参数，其中，所述服务器向排序首位的所述第一终端发送的所述参考模型参数由所述服务器构建，在N大于或者等于2时，除排序首位的所述第一终端，每个所述第一终端接收到的所述参考模型参数为当前第一终端的前一个所述第一终端反馈的所述目标模型参数；
根据所述文档分类模型网络结构和排序末位的所述第一终端反馈的所述目标模型参数，生成目标文档分类模型；
其中，所述目标模型参数由所述第一终端将所述参考模型参数加载至所述文档分类模型网络结构生成参考模型后，通过本地文档训练所述参考模型得到。
2.根据权利要求1所述的文档分类模型构建方法，其特征在于，还包括：
预先构建所述文档分类模型网络结构和模型参数；
其中，所述服务器构建的所述模型参数为向排序首位的所述第一终端发送的所述参考模型参数。
3.根据权利要求1所述的文档分类模型构建方法，其特征在于，在N大于或者等于2的情况下，所述根据所述N个第一终端对应的排序顺序，依次向每个所述第一终端发送参考模型参数，并接收每个所述第一终端反馈的目标模型参数，包括：
向排序首位的所述第一终端发送所述参考模型参数，接收排序首位的所述第一终端反馈的所述目标模型参数；
将排序首位的所述第一终端反馈的所述目标模型参数确定为排序第二的所述第一终端对应的所述参考模型参数并发送至排序第二的所述第一终端，接收排序第二的所述第一终端反馈的所述目标模型参数；
依据相邻的两个所述第一终端中前一个所述第一终端反馈的所述目标模型参数为后一个所述第一终端的所述参考模型参数的原则，根据所述排序顺序依次向(N-2)个所述第一终端发送所述参考模型参数并接收反馈的所述目标模型参数，直至接收到第N个所述第一终端反馈的所述目标模型参数。
4.根据权利要求1所述的文档分类模型构建方法，其特征在于，在生成目标文档分类模型之后，还包括：
向K个第二终端中的每一个第二终端发送所述文档分类模型网络结构和排序末位的所述第一终端反馈的所述目标模型参数，K为大于或者等于1的整数，且K的取值小于或者等于N；
接收每个所述第二终端反馈的模型测试统计结果，所述模型测试统计结果包括测试文档数量以及测试正确的文档数量，所述模型测试统计结果由所述第二终端根据所述文档分类模型网络结构和排序末位的所述第一终端反馈的所述目标模型参数生成所述目标文档分类模型后、通过本地文档对所述目标文档分类模型进行文档分类测试得到；
根据所述K个第二终端对应的测试正确的文档数量的总和与所述K个第二终端对应的测试文档数量的总和之比，确定所述目标文档分类模型对应的测试准确率。
5.一种文档分类模型训练方法，应用于第一终端，其特征在于，包括：
接收服务器发送的文档分类模型网络结构和参考模型参数；
将所述参考模型参数加载至所述文档分类模型网络结构，生成参考模型；
根据本地文档对所述参考模型进行训练，输出目标模型参数并反馈至所述服务器；
其中，当前第一终端为N个第一终端中的某一个，N为大于或者等于1的整数，所述N个第一终端按照预设顺序排序，排序首位的所述第一终端对应的所述参考模型参数由所述服务器构建，在N大于或者等于2时，其他的所述第一终端对应的所述参考模型参数为前一个所述第一终端对应的所述目标模型参数。
6.一种文档分类模型测试方法，应用于第二终端，其特征在于，包括：
接收服务器发送的用于生成目标文档分类模型的文档分类模型网络结构和目标模型参数，并生成所述目标文档分类模型；
根据本地文档对所述目标文档分类模型进行文档分类测试，获取模型测试统计结果，所述模型测试统计结果包括测试文档数量以及测试正确的文档数量；
将所述模型测试统计结果反馈至所述服务器；
其中，当前第二终端为K个第二终端中的某一个，K为大于或者等于1的整数；
其中，所述接收服务器发送的用于生成目标文档分类模型的文档分类模型网络结构和目标模型参数，并生成所述目标文档分类模型包括：
通过所述服务器向N个第一终端分别发送文档分类模型网络结构，N为大于或者等于1的整数；根据所述N个第一终端对应的排序顺序，所述服务器依次向所述N个第一终端发送参考模型参数；所述N个第一终端基于所述文档分类模型网络结构和所述参考模型参数进行模型训练，并向所述服务器反馈目标模型参数；所述服务器依次接收所述N个第一终端分别反馈的所述目标模型参数，在N大于或者等于2的情况，相邻的两个第一终端中，前一个第一终端反馈的目标模型参数为后一个第一终端的参考模型参数；
接收所述服务器发送的用于生成目标文档分类模型的文档分类模型网络结构和目标模型参数，并生成目标文档分类模型；
其中，所述用于生成目标文档分类模型的文档分类模型网络结构和目标模型参数为所述N个第一终端中排序末位的第一终端向所述服务器反馈的目标模型参数和文档分类模型网络结构。
7.一种文档分类模型构建系统，其特征在于，包括：服务器、N个第一终端，N为大于或者等于1的整数；
所述服务器用于：向所述N个第一终端分别发送文档分类模型网络结构，并根据所述N个第一终端对应的排序顺序，依次向每个所述第一终端发送参考模型参数；
所述第一终端用于：接收所述服务器发送的所述文档分类模型网络结构和所述参考模型参数，将所述参考模型参数加载至所述文档分类模型网络结构，生成参考模型，根据本地文档对所述参考模型进行训练，输出目标模型参数并反馈至所述服务器；
所述服务器还用于：根据所述N个第一终端对应的排序顺序，依次接收每个所述第一终端反馈的所述目标模型参数，根据所述文档分类模型网络结构和排序末位的所述第一终端反馈的所述目标模型参数，生成目标文档分类模型；
其中，所述服务器向排序首位的所述第一终端发送的所述参考模型参数为所述服务器构建的模型参数，在N大于或者等于2时，除排序首位的所述第一终端，每个所述第一终端接收到的所述参考模型参数为当前第一终端的前一个所述第一终端反馈的所述目标模型参数。
8.根据权利要求7所述的文档分类模型构建系统，其特征在于，所述服务器包括：服务端任务管理模块以及模型构建模块，所述服务端任务管理模块包括任务分发子模块和结果收集子模块，所述模型构建模块包括模型训练子模块和模型测评子模块；
所述模型训练子模块连接所述任务分发子模块和所述结果收集子模块，所述任务分发子模块连接所述结果收集子模块，所述模型测评子模块连接所述结果收集子模块；
所述任务分发子模块用于：向所述N个第一终端分别发送所述文档分类模型网络结构，并根据所述N个第一终端对应的排序顺序，依次向每个所述第一终端发送所述参考模型参数；
所述结果收集子模块用于：根据所述N个第一终端对应的排序顺序，依次接收每个所述第一终端反馈的所述目标模型参数；
所述模型训练子模块用于：根据所述文档分类模型网络结构和所述结果收集子模块发送的排序末位的所述第一终端反馈的所述目标模型参数，生成所述目标文档分类模型。
9.根据权利要求8所述的文档分类模型构建系统，其特征在于，所述模型训练子模块还用于：
预先构建所述文档分类模型网络结构和模型参数；
其中，所述模型训练子模块构建的所述模型参数为向排序首位的所述第一终端发送的所述参考模型参数。
10.根据权利要求8所述的文档分类模型构建系统，其特征在于，所述第一终端包括第一终端任务管理模块和文档分类模型训练模块，所述第一终端任务管理模块包括第一任务接收调度子模块和第一结果反馈子模块；
所述第一任务接收调度子模块连接所述任务分发子模块、所述文档分类模型训练模块，所述文档分类模型训练模块连接所述第一结果反馈子模块，所述第一结果反馈子模块连接所述结果收集子模块；
所述第一任务接收调度子模块用于：接收所述任务分发子模块发送的所述文档分类模型网络结构和所述参考模型参数；
所述文档分类模型训练模块用于：将所述参考模型参数加载至所述文档分类模型网络结构，生成参考模型，根据本地文档对所述参考模型进行训练，获取所述目标模型参数；
所述第一结果反馈子模块用于：获取所述目标模型参数并反馈至所述结果收集子模块。
11.根据权利要求8所述的文档分类模型构建系统，其特征在于，所述文档分类模型构建系统还包括：K个第二终端，K为大于或者等于1的整数，且K的取值小于或者等于N；
所述第二终端用于：接收所述服务器发送的所述文档分类模型网络结构和排序末位的所述第一终端对应的所述目标模型参数，并生成所述目标文档分类模型，根据本地文档对所述目标文档分类模型进行文档分类测试，获取模型测试统计结果并将所述模型测试统计结果反馈至所述服务器，所述模型测试统计结果包括测试文档数量以及测试正确的文档数量。
12.根据权利要求11所述的文档分类模型构建系统，其特征在于，
所述任务分发子模块还用于：向所述K个第二终端中的每一个所述第二终端发送所述文档分类模型网络结构和排序末位的所述第一终端对应的所述目标模型参数；
所述结果收集子模块还用于：接收所述K个第二终端分别发送的所述模型测试统计结果；
所述模型测评子模块用于：根据所述K个第二终端对应的所述测试正确的文档数量的总和与所述K个第二终端对应的所述测试文档数量的总和之比，确定所述目标文档分类模型对应的测试准确率。
13.根据权利要求12所述的文档分类模型构建系统，其特征在于，所述第二终端包括：第二终端任务管理模块和文档分类模型测试模块，所述第二终端任务管理模块包括第二任务接收调度子模块和第二结果反馈子模块；
所述第二任务接收调度子模块连接所述任务分发子模块、所述文档分类模型测试模块，所述文档分类模型测试模块连接所述第二结果反馈子模块，所述第二结果反馈子模块连接所述结果收集子模块；
所述第二任务接收调度子模块用于：接收所述任务分发子模块发送的所述文档分类模型网络结构和排序末位的所述第一终端对应的所述目标模型参数；
所述文档分类模型测试模块用于：根据所述文档分类模型网络结构和排序末位的所述第一终端对应的所述目标模型参数，生成所述目标文档分类模型，根据本地文档对所述目标文档分类模型进行文档分类测试，获取所述模型测试统计结果；
所述第二结果反馈子模块用于：获取所述模型测试统计结果并反馈至所述结果收集子模块。
14.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4任一项所述的文档分类模型构建方法、如权利要求5所述的文档分类模型训练方法或者如权利要求6所述的文档分类模型测试方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的文档分类模型构建方法、如权利要求5所述的文档分类模型训练方法或者如权利要求6所述的文档分类模型测试方法的步骤。
CN202110477900.5A 2021-04-29 2021-04-29 文档分类模型构建、训练、测试方法及模型构建系统 Active CN113177595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110477900.5A CN113177595B (zh) 2021-04-29 2021-04-29 文档分类模型构建、训练、测试方法及模型构建系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110477900.5A CN113177595B (zh) 2021-04-29 2021-04-29 文档分类模型构建、训练、测试方法及模型构建系统

Publications (2)

Publication Number Publication Date
CN113177595A CN113177595A (zh) 2021-07-27
CN113177595B true CN113177595B (zh) 2022-07-12

Family

ID=76925547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110477900.5A Active CN113177595B (zh) 2021-04-29 2021-04-29 文档分类模型构建、训练、测试方法及模型构建系统

Country Status (1)

Country Link
CN (1) CN113177595B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326495A (zh) * 2016-09-27 2017-01-11 浪潮软件集团有限公司 一种基于话题模型的中文文本自动分类方法
CN110019794A (zh) * 2017-11-07 2019-07-16 腾讯科技（北京）有限公司 文本资源的分类方法、装置、存储介质及电子装置
CN112256874A (zh) * 2020-10-21 2021-01-22 平安科技（深圳）有限公司 模型训练方法、文本分类方法、装置、计算机设备和介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309840B (zh) * 2018-03-27 2023-08-11 创新先进技术有限公司 风险交易识别方法、装置、服务器及存储介质
CN110011784B (zh) * 2019-04-04 2021-06-08 东北大学 支持隐私保护的knn分类服务系统及方法
CN110263158B (zh) * 2019-05-24 2023-08-01 创新先进技术有限公司 一种数据的处理方法、装置及设备
CN112085051B (zh) * 2020-07-24 2024-02-09 西安电子科技大学 基于加权投票的图像分类方法、系统及电子设备
CN112446544B (zh) * 2020-12-01 2024-09-24 平安科技（深圳）有限公司 交通流预测模型训练方法、装置、电子设备及存储介质
CN112465043B (zh) * 2020-12-02 2024-05-14 平安科技（深圳）有限公司 模型训练方法、装置和设备
CN112700639B (zh) * 2020-12-07 2022-03-08 电子科技大学 一种基于联邦学习与数字孪生的智能交通路径规划方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326495A (zh) * 2016-09-27 2017-01-11 浪潮软件集团有限公司 一种基于话题模型的中文文本自动分类方法
CN110019794A (zh) * 2017-11-07 2019-07-16 腾讯科技（北京）有限公司 文本资源的分类方法、装置、存储介质及电子装置
CN112256874A (zh) * 2020-10-21 2021-01-22 平安科技（深圳）有限公司 模型训练方法、文本分类方法、装置、计算机设备和介质

Also Published As

Publication number Publication date
CN113177595A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN102855535B (zh) 社交影响者发现
US20100205663A1 (en) Systems and methods for consumer-generated media reputation management
US7840576B1 (en) Flexible rule-based infrastructure for discussion board maintenance
AU2009221644A1 (en) Facilitating relationships and information transactions
US8620911B2 (en) Document registry system
CN113221535B (zh) 情报处理方法、装置、计算机设备和存储介质
CN113656808A (zh) 数据安全评估方法、装置、设备及存储介质
Saleem et al. Personalized decision-strategy based web service selection using a learning-to-rank algorithm
US11831661B2 (en) Multi-tiered approach to payload detection for incoming communications
US11537668B2 (en) Using a machine learning system to process a corpus of documents associated with a user to determine a user-specific and/or process-specific consequence index
Mardiansyah et al. Comparative Analysis of ChatGPT-4 and Google Gemini for Spam Detection on the SpamAssassin Public Mail Corpus
Lota et al. A systematic literature review on sms spam detection techniques
Salau et al. Data cooperatives for neighborhood watch
CN114548118A (zh) 一种服务对话检测方法及系统
CN113177595B (zh) 文档分类模型构建、训练、测试方法及模型构建系统
CN112766560A (zh) 联盟区块链网络优化方法、装置、系统和电子设备
JP2019021161A (ja) セキュリティ設計支援システムおよびセキュリティ設計支援方法
Cohen Two models of digital forensic examination
JP4802523B2 (ja) 電子メッセージ分析装置および方法
US20090288142A1 (en) Authentication detection
CN115796600A (zh) 一种舆情风险预警方法、系统、介质及电子设备
CN115618120A (zh) 一种公众号信息推送方法、系统、终端设备及存储介质
CN112712270B (zh) 信息处理方法、装置、设备及存储介质
Kaur et al. Adaptive access control mechanism (AACM) for enterprise cloud computing
Singhal et al. Techniques for enterprise network security metrics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant