CN116991984A - 广域协同与体系知识增强的电子卷宗材料处理方法及系统 - Google Patents

广域协同与体系知识增强的电子卷宗材料处理方法及系统 Download PDF

Info

Publication number
CN116991984A
CN116991984A CN202311260313.6A CN202311260313A CN116991984A CN 116991984 A CN116991984 A CN 116991984A CN 202311260313 A CN202311260313 A CN 202311260313A CN 116991984 A CN116991984 A CN 116991984A
Authority
CN
China
Prior art keywords
model
training
task
target
court
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311260313.6A
Other languages
English (en)
Other versions
CN116991984B (zh
Inventor
许建峰
孙福辉
陈奇伟
万玉晴
王霄
黄国栋
李晓慧
刘明胜
于江旭
廉园园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
People's Court Information Technology Service Center
Taiji Computer Corp Ltd
Original Assignee
People's Court Information Technology Service Center
Taiji Computer Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by People's Court Information Technology Service Center, Taiji Computer Corp Ltd filed Critical People's Court Information Technology Service Center
Priority to CN202311260313.6A priority Critical patent/CN116991984B/zh
Publication of CN116991984A publication Critical patent/CN116991984A/zh
Application granted granted Critical
Publication of CN116991984B publication Critical patent/CN116991984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/18Legal services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Library & Information Science (AREA)
  • Technology Law (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书涉及人工智能技术领域,提供了一种广域协同与体系知识增强的电子卷宗材料处理方法及系统,该方法包括:使中心服务端利用从境内法院集合汇集的案例库构建针对目标任务的第一样本数据集,并根据第一样本数据集进行小样本学习任务训练,以获得基础模型;使边缘服务端利用目标法院的案例库构建针对目标任务的第二样本数据集;根据第二样本数据集对基础模型进行小样本学习任务训练,以获得目标法院针对目标任务的卷宗材料处理模型;获取目标法院的待处理卷宗材料;并调用卷宗材料处理模型对待处理卷宗材料进行处理,以获得待处理卷宗材料的处理结果。本说明书实施例可提高电子卷宗材料处理结果的准确性,并提高卷宗资源的利用率。

Description

广域协同与体系知识增强的电子卷宗材料处理方法及系统
技术领域
本说明书涉及人工智能技术领域,尤其是涉及一种广域协同与体系知识增强的电子卷宗材料处理方法及系统。
背景技术
电子卷宗是指在案件受理前或者案件受理过程中,将装订成卷的纸质案卷材料,依托数字影像技术、文字识别技术、数据库技术等媒介技术制作而成的具有特定格式的电子文档和相关电子数据。电子卷宗有利于司法机关实现无纸化和智能化司法办公,并有利于提高司法效率。
电子卷宗处理的应用场景可以包括目标检测、信息抽取、内容生成、语义度量和决策研判等。针对每个应用场景,目前各地法院均各自独立训练,各自部署的卷宗材料处理模型,由于各地法院积累的案件数量有限,各自独立训练的卷宗材料处理模型缺少泛化能力,导致处理结果的准确性较低;而且各地法院这种各自独立训练卷宗材料处理模型并各自部署的方式,也影响了卷宗资源的利用率。
发明内容
本说明书实施例的目的在于提供一种广域协同与体系知识增强的电子卷宗材料处理方法及系统,以提高电子卷宗材料处理结果的准确性,并提高卷宗资源的利用率。
为达到上述目的,一方面,本说明书实施例提供了一种广域协同与体系知识增强的电子卷宗材料处理方法,包括:
使中心服务端利用从境内法院集合汇集的案例库构建针对目标任务的第一样本数据集,并根据所述第一样本数据集进行小样本学习任务训练,以获得基础模型;
使边缘服务端利用目标法院的案例库构建针对所述目标任务的第二样本数据集;根据所述第二样本数据集对所述基础模型进行小样本学习任务训练,以获得所述目标法院针对所述目标任务的卷宗材料处理模型;获取所述目标法院的待处理卷宗材料;调用所述卷宗材料处理模型对所述待处理卷宗材料进行处理,以获得所述待处理卷宗材料的处理结果。
本说明书实施例的广域协同与体系知识增强的电子卷宗材料处理方法中,所述目标任务包括电子卷宗材料的以下处理任务之一:
目标检测;
信息抽取;
内容生成;
语义度量;
决策研判。
本说明书实施例的广域协同与体系知识增强的电子卷宗材料处理方法中,所述根据所述第一样本数据集进行小样本学习任务训练,包括:
按照N类K样本的抽样方式,从所述第一样本数据集中抽取样本数据构建第一训练任务集;所述第一训练任务集中每个第一训练任务均具有独立的支持集和查询集;
利用所述第一训练任务集中每个所述第一训练任务的支持集并行训练元模型,获得所述元模型的第一模型参数集合;
利用所述第一训练任务集中每个所述第一训练任务的查询集,分别测试以所述第一模型参数集合中每个模型参数构建的元模型;
计算构建的各个元模型的总损失之和;
基于总损失之和进行模型初始参数更新;
判断所述总损失之和在训练过程中的变化趋势是否满足预设条件;
当所述总损失之和在训练过程中的变化趋势不满足预设条件时,根据所述第一样本数据集构建新的第一训练任务集,并根据所述新的第一训练任务集继续训练;
当所述总损失之和在训练过程中的变化趋势满足预设条件时,将对应的元模型作为基础模型。
本说明书实施例的广域协同与体系知识增强的电子卷宗材料处理方法中,所述根据所述第二样本数据集对所述基础模型进行小样本学习任务训练,包括:
按照N类K样本的抽样方式,从所述第二样本数据集中抽取样本数据构建第二训练任务集;所述第二训练任务集中每个第二训练任务均具有独立的支持集和查询集;
利用所述第二训练任务集中每个所述第二训练任务的支持集调优基础模型,获得所述基础模型的第二模型调优参数;
利用所述第二训练任务集中每个所述第二训练任务的查询集,分别测试以所述第二模型调优参数构建的模型;
计算第二训练任务查询集在调优模型上的总损失之和;
判断所述总损失之和在调优过程中的变化趋势是否满足预设条件;
当所述总损失之和在调优过程中的变化趋势不满足预设条件时,根据所述第二样本数据集补充新的第二训练任务,并根据所述新的第二训练任务继续训练;
当所述总损失之和在调优过程中的变化趋势满足预设条件时,将对应的调优模型作为所述目标法院针对所述目标任务的卷宗材料处理模型。
本说明书实施例的广域协同与体系知识增强的电子卷宗材料处理方法中,所述第二样本数据集包括:所述目标法院的指定涉案领域的案例数据;所述目标法院针对所述目标任务的卷宗材料处理模型包括:所述目标法院的针对所述指定涉案领域的目标任务的卷宗材料处理模型。
本说明书实施例的广域协同与体系知识增强的电子卷宗材料处理方法中,还包括:
使所述中心服务端定时获取归属于所述境内法院集合的每个卷宗材料处理模型的处理准确率的变化趋势,形成变化趋势集合;确定所述变化趋势集合中与期望趋势不一致的变化趋势所占的比例;判断所述比例是否达到比例阈值;当所述比例达到比例阈值时,更新所述基础模型;
并使所述边缘服务端根据更新后的基础模型更新所述卷宗材料处理模型。
另一方面,本说明书实施例还提供了一种广域协同与体系知识增强的电子卷宗材料处理系统,包括:
所述中心服务端包括:第一构建模块,用于利用从境内法院集合汇集的案例库构建针对目标任务的第一样本数据集;
第一训练模块,用于根据所述第一样本数据集进行小样本学习任务训练,以获得基础模型;
所述边缘服务端包括:
第二构建模块,用于利用目标法院的案例库构建针对所述目标任务的第二样本数据集;
第二训练模块,用于根据所述第二样本数据集对所述基础模型进行小样本学习任务训练,以获得所述目标法院针对所述目标任务的卷宗材料处理模型;
材料获取模块,用于获取所述目标法院的待处理卷宗材料;
模型调用模块,用于调用所述卷宗材料处理模型对所述待处理卷宗材料进行处理,以获得所述待处理卷宗材料的处理结果。
另一方面,本说明书实施例还提供了一种计算机设备,包括存储器、处理器、以及存储在所述存储器上的计算机程序,所述计算机程序被所述处理器运行时,执行上述方法的指令。
另一方面,本说明书实施例还提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被计算机设备的处理器运行时,执行上述方法的指令。
另一方面,本说明书实施例还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被计算机设备的处理器运行时,执行上述方法的指令。
由以上本说明书实施例提供的技术方案可见,本说明书实施例中,中心服务端可利用从境内法院集合汇集的案例库构建针对目标任务的第一样本数据集,并根据第一样本数据集进行小样本学习任务训练,以获得基础模型;在此基础上,境内每个法院对应的边缘服务端以该基础模型为基础,利用本法院的案例库对基础模型进行小样本学习任务训练,以获得满足本法院个性化需求的卷宗材料处理模型,并利用该卷宗材料处理模型对本法院的待处理卷宗材料进行处理;由此实现通过中心服务端和边缘服务端的协同,增强边缘服务端生成的卷宗材料处理模型的处理能力。由于中心服务端训练基础模型时汇集了境内各个法院的案例数据,使得训练出的基础模型具有更好的泛化能力,从而提高了模型的处理准确性,且提高了卷宗资源的利用率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了本说明书一些实施例中广域协同与体系知识增强的电子卷宗材料处理系统的结构框图;
图2示出了本说明书一些实施例中广域协同与体系知识增强的电子卷宗材料的图像分类方法的流程图;
图3示出了图2所示方法中根据第一图像样本数据集进行小样本学习任务训练的流程图;
图4示出了图2所示方法中根据第二图像样本数据集对基础模型进行小样本学习任务训练的流程图;
图5示出了本说明书另一些实施例中广域协同与体系知识增强的电子卷宗材料的图像分类方法的流程图;
图6示出了本说明书一些实施例中中心服务端的结构框图;
图7示出了本说明书一些实施例中边缘服务端的结构框图;
图8示出了本说明书另一些实施例中中心服务端的结构框图;
图9示出了本说明书一些实施例中计算机设备的结构框图。
【附图标记说明】
10、中心服务端;
101、第一构建模块;
102、第一训练模块;
103、趋势获取模块;
104、比例确定模块;
105、比例判断模块;
106、模型更新模块;
20、边缘服务端;
201、第二构建模块;
202、第二训练模块;
203、材料获取模块;
204、模型调用模块;
30、多源数据库;
40、本地数据库;
902、计算机设备;
904、处理器;
906、存储器;
908、驱动机构;
910、输入/输出接口;
912、输入设备;
914、输出设备;
916、呈现设备;
918、图形用户接口;
920、网络接口;
922、通信链路;
924、通信总线。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
本说明书的实施例中,电子卷宗材料包括用于形成电子卷宗所需的各种文本材料(如起诉状、委托书等)和图像材料(如身份证、律师资格证、证据图像等)等。电子卷宗材料的处理可以包括:电子卷宗材料的目标检测、信息抽取、内容生成、语义度量和决策研判等场景。其中,目标检测例如可以包括文本材料与图像材料的识别,图像材料中图像目标的检测识别等。信息抽取例如可以包括文本实体、关系、事件等信息等抽取。内容生成例如可以包括文本摘要生成、文书内容生成等。语义度量例如可以包括基于相似度计算的类案推荐、法条推荐等。决策研判例如可以包括诉讼数据分析、辅助决策、趋势预测等。
虽然上述列举的电子卷宗材料的处理场景各异,但均存在相似的问题(即针对每个应用场景,目前各地法院均各自独立训练,各自部署的卷宗材料处理模型,由于各地法院积累的案件数量有限,各自独立训练的卷宗材料处理模型缺少泛化能力,导致处理结果的准确性较低;而且各地法院这种各自独立训练卷宗材料处理模型并各自部署的方式,也影响了卷宗资源的利用率)。有鉴于此,本说明书实施例提供了新的电子卷宗材料的处理方案,可以适用于包括但不限于上述列举的电子卷宗材料的处理场景。
图1中示出了本说明书一些实施例中广域协同与体系知识增强的电子卷宗材料处理系统,该系统可以包括中心服务端10和多个边缘服务端20。中心服务端10可以利用从境内法院集合汇集的案例库(即图1中的多源数据库30)构建针对目标任务的第一样本数据集,根据所述第一样本数据集进行小样本学习任务训练,以获得基础模型。每个边缘服务端20可以利用目标法院的案例库(即图1中的本地数据库40)构建针对所述目标任务的第二样本数据集;根据所述第二样本数据集对所述基础模型进行小样本学习任务训练,以获得所述目标法院针对所述目标任务的卷宗材料处理模型;获取所述目标法院的待处理卷宗材料;调用所述卷宗材料处理模型对所述待处理卷宗材料进行处理,以获得所述待处理卷宗材料的处理结果。其中,目标法院可以为境内法院集合中的任意一个法院。
利用本说明书实施例的广域协同与体系知识增强的电子卷宗材料处理系统,可以提高电子卷宗材料处理结果的准确性,并提高卷宗资源的利用率。而且,这种中心服务端10和边缘服务端20协同处理的方式,既可以降低中心服务端10的处理压力,还可以更加充分的利用各个边缘服务端20的算力资源,从而有利于提电子卷宗材料的处理效率。
在本说明书一些实施例中,所述中心服务端10和所述边缘服务端20可以为具有运算和网络交互功能的电子设备;也可以为运行于该电子设备中,为数据处理和网络交互提供业务逻辑的软件。多源数据库30可以为汇集境内法院集合的案例的司法数据中台等。本地数据库40即为目标法院本地对应的数据库。
为了便于理解,以下以电子卷宗材料的目标检测中的图像分类为例进行举例说明;但是,这种具体应用场景的示例性说明不应理解为对本说明书实施例的限定。
在本说明书一些实施例中提供了一种广域协同与体系知识增强的电子卷宗材料的图像分类方法,可以应用于上述的广域协同与体系知识增强的电子卷宗材料处理系统侧,参考图2所示,该电子卷宗材料的图像分类方法可以包括以下步骤:
步骤201、使中心服务端利用从境内法院集合汇集的案例库构建针对图像分类的第一图像样本数据集,并根据所述第一图像样本数据集进行小样本学习任务训练,以获得基础模型。
步骤202、使边缘服务端利用目标法院的案例库构建针对图像分类的第二图像样本数据集;根据所述第二图像样本数据集对所述基础模型进行小样本学习任务训练,以获得所述目标法院的图像分类模型;获取所述目标法院的待处理卷宗图像材料;调用所述图像分类模型对所述待处理卷宗图像材料进行分类处理,以获得所述待处理卷宗图像材料的分类结果。
本说明书实施例中,中心服务端可利用从境内法院集合汇集的案例库构建针对图像分类的第一图像样本数据集,并根据第一图像样本数据集进行小样本学习任务训练,以获得基础模型;在此基础上,境内每个法院对应的边缘服务端以该基础模型为基础,利用本法院的案例库对基础模型进行小样本学习任务训练,以获得满足本法院个性化需求的图像分类模型,并利用该图像分类模型对本法院的待处理卷宗图像材料进行处理;由此实现通过中心服务端和边缘服务端的协同,增强边缘服务端生成的图像分类模型的图像分类能力。由于中心服务端训练基础模型时汇集了境内各个法院的案例数据,使得训练出的基础模型具有更好的泛化能力,从而提高了图像分类模型的图像分类准确性,且提高了卷宗资源的利用率。而且,这种中心服务端和边缘服务端协同处理的方式,既可以降低中心服务端的处理压力,还可以更加充分的利用各个边缘服务端的算力资源,从而有利于提电子卷宗材料的图像分类效率。
境内法院集合即为境内各个法院的集合;境内各个法院均有自己的案例库,将这些案例库汇总在一起形成的案例库,使得卷宗图像材料的数据量得以大幅增加,从而为后续的模型训练提供了有利基础。在本说明书一些实施例中,利用从境内法院集合汇集的案例库构建针对图像分类的第一图像样本数据集可以包括:
(1)对境内法院集合汇集的案例库中的卷宗图像材料进行样本标注。
可以采用人工标注、自动标注或半自动标注,对境内法院集合汇集的案例库中的卷宗图像材料进行样本标注。通过对境内法院集合汇集的案例库中的卷宗图像材料进行样本标注,可以实现有监督下的模型训练。其中,卷宗图像材料例如可以包括身份证、律师资格证和证据图像等。
(2)根据所述标注样本类,构建第一图像样本数据集,记为Dmeta-train。
(3)根据待训练的模型结构,按照N类K样本学习(Nway-Kshot learning)的方式构建的任务集,其中每个任务按照预设比例(本说明书实施例中采用3:1)划分支持集(support set)和查询集(query set),将任务集分为M个mini-batch,用于第一阶段的训练。具体将在下文中说明。
参考图3所示,在本说明书一些实施例中,在中心服务端根据所述第一图像样本数据集Dmeta-train对初始模型进行第一阶段小样本学习任务训练,通过内循环和外循环执行训练过程,得到待训练模型的最佳初始模型参数。该阶段可以包括以下步骤:
步骤301、按照N类K样本的抽样方式,从所述第一图像样本数据集中抽取样本数据构建第一阶段训练任务集;所述第一阶段训练任务集中每个第一训练任务均具有独立的支持集和查询集。
N类K样本是指在每一个训练任务的支持集和查询集中,均有N个类别,且每个类别均有K个样本。其中N和K的取值可以自定义。在本说明书的实施例中,可以自定义每个任务中的材料类别,这样做的好处在于,可以使模型学习同一类材料在不同法院、不同案件类型中的差异。其中,第一阶段训练的mini-batch数量可以根据实际需要自定义。
例如,在以一示例性实施例中,假设第一阶段训练采用M个mini-batch,则可以从第一图像样本数据集Dmeta-train中,随机选出N个类别,每个类别的样本分成支持集和查询集,得到一个task,反复bz次,构建一个包含bz个task的mini-batch。以同样的方式采样出其他的M-1个mini-batch。
步骤302、利用所述第一个mini-batch任务集中每个任务的支持集,开始内循环的学习过程,得到每个任务更新的模型参数集合
例如,在以一示例性实施例中,待训练模型为,其初始化参数记为/>,从第一个mini-batch任务集中取出第1个训练任务/>,用/>的支持集并行内循环训练,得到支持集所有样本的损失函数/>,采用随机梯度下降(Stochastic Gradient Descent,SGD)算法进行模型参数更新(在本说明书的实施例中,每个内循环的任务可以只执行一次更新):
其中,为执行完第1个训练任务/>后获得的模型参数,/>为学习率。
并行执行第一个mini-batch中所有任务的内循环训练后,可得到每个任务支持集样本学到的模型参数集合,其中,/>为mini-batch中的任务数量。
步骤303、利用所述第一个mini-batch任务集中每个任务的查询集,开始外循环的学习过程,将查询集样本输入所在Task于内循环中学到的,得到损失函数。
例如,在以一示例性实施例中,从第一阶段的第一个mini-batch中取出第1个训练任务,用第1个训练任务/>的查询集,测试以所述内循环学习到模型参数集合中第1个模型参数构建的元模型(即使用/>支持集训练得到的模型/>),得到查询集在该模型上的损失函数。同样,可以从第一个mini-batch中取出第2个训练任务/>,用第2个训练任务/>的查询集,测试以所述内循环学习得到的/>模型,以得到在该模型上的测试损失函数;以此类推完成外循环学习。
步骤304、计算外循环中所有查询集在对应内循环模型上的损失函数,求和得到mini-batch的总损失函数。
在执行步骤303的基础上,可以根据公式,计算得到第一个mini-batch的总损失函数。
步骤305、针对外循环的总损失函数,采用SGD算法对模型的初始化参数/>进行更新。
在执行步骤304的基础上,根据公式,计算得到所述第一阶段学习中第一个mini-batch更新初始参数后的模型。按照同样的步骤,对所有mini-batch执行内外循环的学习过程,模型初始参数在第一阶段训练的所有mini-batch上的持续更新,其他计算结果不被记忆。得到最终的/>再进行第二阶段学习。
步骤306、将所述第一阶段学习结果作为中心服务端的基础模型。
从图3所示的步骤可以看出,基础模型是一个通用模型。但是,对于境内的不同法院而言,其应用场景和需求可能存在差异。因此,对于境内的每个法院(即每个法院的边缘服务端),可以在该基础模型的基础上,以本法院的案例库构建针对图像分类的第二图像样本数据集,并利用图像分类的第二图像样本数据集对基础模型进行第二阶段的小样本学习任务训练,以通过进一步的小样本学习任务训练达到精调基础模型的目的,从而获得满足本法院个性化需求的图像分类模型。
参考图4所示,在本说明书一些实施例中,在边缘服务端根据所述第二图像样本数据集Dmeta-test对所述基础模型进行第二阶段小样本学习任务训练,该阶段可以包括以下步骤:
步骤401、按照N类K样本的抽样方式,从所述第二图像样本数据集中抽取样本数据构建第二阶段训练任务;所述第二阶段训练任务具有独立的支持集和查询集。
步骤402、利用所述第二阶段训练任务的支持集调优基础模型,获得所述基础模型在边缘服务端的调优模型:;这里同样采用SGD算法对模型参数进行更新。
步骤403、利用所述第二阶段训练任务的查询集,对通过支持集调优后的模型进行测试验证。
步骤404、判断所述调优模型是否满足预设条件;如果所述调优模型在第二阶段训练任务查询集上的测试结果不满足预设条件,则执行步骤401,即在第一阶段训练任务集中补充相关材料的mini-batch,进行训练。如果所述调优模型在第二阶段训练任务查询集上的测试结果满足预设条件,则执行步骤405。
步骤405、将第二阶段的调优模型作为所述目标法院的图像分类模型。
由于图4所示的小样本学习任务训练,与图3所示的小样本学习任务训练较为类似,对于图4所示的小样本学习任务训练的具体细节不再赘述。通过图4所示的小样本学习任务训练获得的图像分类模型具有更强的针对性,从而可以更好地满足不同法院的个性化需求,分类精度也更高。
此外,在本说明书一些实施例中,图像分类的第二图像样本数据集可以包括目标法院的指定涉案领域的案例数据;对应的,该目标法院的图像分类模型可以包括目标法院的针对指定涉案领域的图像分类模型。例如,境内的A法院可以利用A法院的道路交通领域的图像材料数据,对基础模型进行精调,从而获得A法院的针对道路交通领域的图像分类模型。再如,境内的A法院还可以利用A法院的知识产权纠纷领域的图像材料数据,对基础模型进行精调,从而获得A法院的针对知识产权纠纷领域的图像分类模型。
在训练出目标法院的图像分类模型后,对于目标法院的卷宗图像材料待处理卷宗图像材料(包括目标法院的存量案例数据中未参与模型训练和测试的数据,以及目标法院的增量数据),均可以利用该图像分类模型进行分类处理。得到的分类结果可以用于电子卷宗图像材料的后续处理(如命名实体识别提取等);例如,从识别出的身份证图像中,提取“姓名”、“住址”等信息。
随着境内各个法院累积的案件数据的增加,可能会出现不同的案件类型和不同分类需求,为了提高模型的预测精度和预测适应性,可以适时对基础模型及依附于该基础模型的各个图像分类模型进行模型迭代更新。
参考图5所示,在本说明书另一些实施例中,广域协同与体系知识增强的电子卷宗的图像材料处理方法可以包括以下步骤:
步骤501、使中心服务端利用从境内法院集合汇集的案例库构建针对图像分类的第一图像样本数据集,并根据所述第一图像样本数据集进行小样本学习任务训练,以获得基础模型。
步骤502、使边缘服务端利用目标法院的案例库构建针对图像分类的第二图像样本数据集;根据所述第二图像样本数据集对所述基础模型进行小样本学习任务训练,以获得所述目标法院的图像分类模型;获取所述目标法院的待处理卷宗图像材料;调用所述图像分类模型对所述待处理卷宗图像材料进行分类处理,以获得所述待处理卷宗图像材料的分类结果。
步骤503、使所述中心服务端定时获取归属于所述境内法院集合的每个图像分类模型的分类准确率的变化趋势,形成变化趋势集合;确定所述变化趋势集合中与期望趋势不一致的变化趋势所占的比例;判断所述比例是否达到比例阈值;当所述比例达到比例阈值时,更新所述基础模型。
对于归属于境内法院集合的每个图像分类模型,可以在每个定时时机到来时,统计一次其分类准确率。其中,定时时长可以自定义;一个图像分类模型的分类准确率是指:该图像分类模型的分类正确的次数,在该图像分类模型的分类总次数中的比例。例如,图像分类模型M进行了100次分类预测,其中,90次分类正确,则图像分类模型M的分类准确率为90%。由于统计时间窗口不同,每次统计出的分类准确率可能会发生变化。因此,可以根据历次统计的每一个图像分类模型的分类准确率,绘制出每个图像分类模型的分类准确率的变化趋势。
随着时间的推移,境内各个法院的案件情况可能发生变化,使得每个图像分类模型的分类准确率会呈现先维持一段时间的高值(当然期间可能会小幅波动),然后逐步下降的整体趋势,当图像分类模型的分类准确率下降到一定程度(可以预设分类准确率下限),则可以启动模型的迭代更新,以使图像分类模型的分类准确率维持在高值。当一个图像分类模型的分类准确率整体呈下降趋势,且已下降至低于分类准确率下限时,可以认为该图像分类模型的分类准确率的变化趋势与期望趋势不一致;否则,可以认为该图像分类模型的分类准确率的变化趋势与期望趋势一致。
为了更加准确地评估模型更新时机,可以统计每个图像分类模型的分类准确率的变化趋势,并据此确定变化趋势集合中与期望趋势不一致的变化趋势所占的比例。然后判断所述比例是否达到比例阈值。
当变化趋势集合中与期望趋势不一致的变化趋势所占的比例达到比例阈值时,表明基础模型已经难以满足分类准确性需求,使得依附于该基础模型的大部分的图像分类模型,也相应地难以满足分类准确性需求;此时,可以更新所述基础模型。应当注意的是,在本说明书的实施例中,更新基础模型是一种迭代更新,即在现有基础模型基础上的更新,而非从零开始重新训练,以利于提高模型训练效率。
当变化趋势集合中与期望趋势不一致的变化趋势所占的比例未达到比例阈值时,表明基础模型仍可以满足分类准确性需求,仅有少部分依附于该基础模型的图像分类模型难以满足分类准确性需求。在本说明书的一些实施例中,此时可以不对这些难以满足分类准确性需求的图像分类模型进行更新,以降低成本,并在待下一个定时时机的到来,再次进行判断。在本说明书的另一些实施例中,也可以在不更新基础模型的前提下,按需对这些难以满足分类准确性需求的图像分类模型中进行模型更新,以满足不同法院的个性化需求。
步骤504、使所述边缘服务端根据更新后的基础模型更新所述图像分类模型。
境内各个法院对应的边缘服务端可以根据更新后的基础模型,更新本地的图像分类模型。
虽然上文描述的过程流程包括以特定顺序出现的多个操作,但是,应当清楚了解,这些过程可以包括更多或更少的操作,这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。
参考图6所示,在本说明书一些实施例中,中心服务端10可以包括:
第一构建模块101,用于利用从境内法院集合汇集的案例库构建针对目标任务的第一样本数据集;
第一训练模块102,用于根据所述第一样本数据集进行小样本学习任务训练,以获得基础模型。
参考图7所示,在本说明书一些实施例中,每个边缘服务端20可以包括:
第二构建模块201,用于利用目标法院的案例库构建针对所述目标任务的第二样本数据集;
第二训练模块202,用于根据所述第二样本数据集对所述基础模型进行小样本学习任务训练,以获得所述目标法院针对所述目标任务的卷宗材料处理模型;
材料获取模块203,用于获取所述目标法院的待处理卷宗材料;
模型调用模块204,用于调用所述卷宗材料处理模型对所述待处理卷宗材料进行处理,以获得所述待处理卷宗材料的处理结果。
参考图8所示,在本说明书另一些实施例中,除了第一构建模块101和第一训练模块102之外,中心服务端10还可以包括:
趋势获取模块103,用于定时获取归属于所述境内法院集合的每个卷宗材料处理模型的处理准确率的变化趋势,形成变化趋势集合;
比例确定模块104,用于确定所述变化趋势集合中与期望趋势不一致的变化趋势所占的比例;
比例判断模块105,用于判断所述比例是否达到比例阈值;
模型更新模块106,用于当所述比例达到比例阈值时,更新所述基础模型,以便于每个边缘服务端20可根据更新后的基础模型更新所述卷宗材料处理模型。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
需要说明的是,本说明书的实施例中,所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权同意且经过各方充分授权的信息和数据。
本说明书的实施例还提供一种计算机设备。如图9所示,在本说明书一些实施例中,所述计算机设备902可以包括一个或多个处理器904,诸如一个或多个中央处理单元(CPU)或图形处理器(GPU),每个处理单元可以实现一个或多个硬件线程。计算机设备902还可以包括任何存储器906,其用于存储诸如代码、设置、数据等之类的任何种类的信息,一具体实施例中,存储器906上并可在处理器904上运行的计算机程序,所述计算机程序被所述处理器904运行时,可以执行上述任一实施例所述的广域协同与体系知识增强的电子卷宗材料处理方法的指令。非限制性的,比如,存储器906可以包括以下任一项或多种组合:任何类型的RAM,任何类型的ROM,闪存设备,硬盘,光盘等。更一般地,任何存储器都可以使用任何技术来存储信息。进一步地,任何存储器可以提供信息的易失性或非易失性保留。进一步地,任何存储器可以表示计算机设备902的固定或可移除部件。在一种情况下,当处理器904执行被存储在任何存储器或存储器的组合中的相关联的指令时,计算机设备902可以执行相关联指令的任一操作。计算机设备902还包括用于与任何存储器交互的一个或多个驱动机构908,诸如硬盘驱动机构、光盘驱动机构等。
计算机设备902还可以包括输入/输出接口910(I/O),其用于接收各种输入(经由输入设备912)和用于提供各种输出(经由输出设备914)。一个具体输出机构可以包括呈现设备916和相关联的图形用户接口918(GUI)。在其他实施例中,还可以不包括输入/输出接口910(I/O)、输入设备912以及输出设备914,仅作为网络中的一台计算机设备。计算机设备902还可以包括一个或多个网络接口920,其用于经由一个或多个通信链路922与其他设备交换数据。一个或多个通信总线924将上文所描述的部件耦合在一起。
通信链路922可以以任何方式实现,例如,通过局域网、广域网(例如,因特网)、点对点连接等、或其任何组合。通信链路922可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务端等的任何组合。
本申请是参照本说明书一些实施例的方法、设备(系统)、计算机可读存储介质和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理器的处理器以产生一个机器,使得通过计算机或其他可编程数据处理器的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理器以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理器上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算机设备访问的信息。按照本说明书中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理器来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
还应理解,在本说明书实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种广域协同与体系知识增强的电子卷宗材料处理方法,其特征在于,包括:
使中心服务端利用从境内法院集合汇集的案例库构建针对目标任务的第一样本数据集,并根据所述第一样本数据集进行小样本学习任务训练,以获得基础模型;
使边缘服务端利用目标法院的案例库构建针对所述目标任务的第二样本数据集;根据所述第二样本数据集对所述基础模型进行小样本学习任务训练,以获得所述目标法院针对所述目标任务的卷宗材料处理模型;获取所述目标法院的待处理卷宗材料;调用所述卷宗材料处理模型对所述待处理卷宗材料进行处理,以获得所述待处理卷宗材料的处理结果。
2.如权利要求1所述的广域协同与体系知识增强的电子卷宗材料处理方法,其特征在于,所述目标任务包括电子卷宗材料的以下处理任务之一:
目标检测;
信息抽取;
内容生成;
语义度量;
决策研判。
3.如权利要求1所述的广域协同与体系知识增强的电子卷宗材料处理方法,其特征在于,所述根据所述第一样本数据集进行小样本学习任务训练,包括:
按照N类K样本的抽样方式,从所述第一样本数据集中抽取样本数据构建第一训练任务集;所述第一训练任务集中每个第一训练任务均具有独立的支持集和查询集;
利用所述第一训练任务集中每个所述第一训练任务的支持集并行训练元模型,获得所述元模型的第一模型参数集合;
利用所述第一训练任务集中每个所述第一训练任务的查询集,分别测试以所述第一模型参数集合中每个模型参数构建的元模型;
计算构建的各个元模型的总损失之和;
基于总损失之和进行模型初始参数更新;
判断所述总损失之和在训练过程中的变化趋势是否满足预设条件;
当所述总损失之和在训练过程中的变化趋势不满足预设条件时,根据所述第一样本数据集构建新的第一训练任务集,并根据所述新的第一训练任务集继续训练;
当所述总损失之和在训练过程中的变化趋势满足预设条件时,将对应的元模型作为基础模型。
4.如权利要求1所述的广域协同与体系知识增强的电子卷宗材料处理方法,其特征在于,所述根据所述第二样本数据集对所述基础模型进行小样本学习任务训练,包括:
按照N类K样本的抽样方式,从所述第二样本数据集中抽取样本数据构建第二训练任务集;所述第二训练任务集中每个第二训练任务均具有独立的支持集和查询集;
利用所述第二训练任务集中每个所述第二训练任务的支持集调优基础模型,获得所述基础模型的第二模型调优参数;
利用所述第二训练任务集中每个所述第二训练任务的查询集,分别测试以所述第二模型调优参数构建的模型;
计算第二训练任务查询集在调优模型上的总损失之和;
判断所述总损失之和在调优过程中的变化趋势是否满足预设条件;
当所述总损失之和在调优过程中的变化趋势不满足预设条件时,根据所述第二样本数据集补充新的第二训练任务,并根据所述新的第二训练任务继续训练;
当所述总损失之和在调优过程中的变化趋势满足预设条件时,将对应的调优模型作为所述目标法院针对所述目标任务的卷宗材料处理模型。
5.如权利要求1所述的广域协同与体系知识增强的电子卷宗材料处理方法,其特征在于,所述第二样本数据集包括:所述目标法院的指定涉案领域的案例数据;所述目标法院针对所述目标任务的卷宗材料处理模型包括:所述目标法院的针对所述指定涉案领域的目标任务的卷宗材料处理模型。
6.如权利要求1所述的广域协同与体系知识增强的电子卷宗材料处理方法,其特征在于,还包括:
使所述中心服务端定时获取归属于所述境内法院集合的每个卷宗材料处理模型的处理准确率的变化趋势,形成变化趋势集合;确定所述变化趋势集合中与期望趋势不一致的变化趋势所占的比例;判断所述比例是否达到比例阈值;当所述比例达到比例阈值时,更新所述基础模型;
并使所述边缘服务端根据更新后的基础模型更新所述卷宗材料处理模型。
7.一种广域协同与体系知识增强的电子卷宗材料处理系统,其特征在于,包括中心服务端和边缘服务端;
所述中心服务端包括:
第一构建模块,用于利用从境内法院集合汇集的案例库构建针对目标任务的第一样本数据集;
第一训练模块,用于根据所述第一样本数据集进行小样本学习任务训练,以获得基础模型;
所述边缘服务端包括:
第二构建模块,用于利用目标法院的案例库构建针对所述目标任务的第二样本数据集;
第二训练模块,用于根据所述第二样本数据集对所述基础模型进行小样本学习任务训练,以获得所述目标法院针对所述目标任务的卷宗材料处理模型;
材料获取模块,用于获取所述目标法院的待处理卷宗材料;
模型调用模块,用于调用所述卷宗材料处理模型对所述待处理卷宗材料进行处理,以获得所述待处理卷宗材料的处理结果。
8.一种计算机设备,包括存储器、处理器、以及存储在所述存储器上的计算机程序,其特征在于,所述计算机程序被所述处理器运行时,执行根据权利要求1-6任意一项所述方法的指令。
9.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被计算机设备的处理器运行时,执行根据权利要求1-6任意一项所述方法的指令。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被计算机设备的处理器运行时,执行根据权利要求1-6任意一项所述方法的指令。
CN202311260313.6A 2023-09-27 2023-09-27 广域协同与体系知识增强的电子卷宗材料处理方法及系统 Active CN116991984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311260313.6A CN116991984B (zh) 2023-09-27 2023-09-27 广域协同与体系知识增强的电子卷宗材料处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311260313.6A CN116991984B (zh) 2023-09-27 2023-09-27 广域协同与体系知识增强的电子卷宗材料处理方法及系统

Publications (2)

Publication Number Publication Date
CN116991984A true CN116991984A (zh) 2023-11-03
CN116991984B CN116991984B (zh) 2024-01-12

Family

ID=88526985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311260313.6A Active CN116991984B (zh) 2023-09-27 2023-09-27 广域协同与体系知识增强的电子卷宗材料处理方法及系统

Country Status (1)

Country Link
CN (1) CN116991984B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977073A (zh) * 2019-03-11 2019-07-05 厦门纵横集团科技股份有限公司 一种法院电子卷宗自动化归档系统及其方法
CN112836051A (zh) * 2021-02-19 2021-05-25 太极计算机股份有限公司 一种在线自学习的法院电子卷宗文本分类方法
US20220138572A1 (en) * 2020-10-30 2022-05-05 Thomson Reuters Enterprise Centre Gmbh Systems and Methods for the Automatic Classification of Documents
CN114491028A (zh) * 2022-01-18 2022-05-13 四川大学 基于正则化元学习的小样本文本分类方法
US20220292861A1 (en) * 2019-10-25 2022-09-15 Xero Limited Docket Analysis Methods and Systems
CN116402130A (zh) * 2023-03-01 2023-07-07 北京明朝万达科技股份有限公司 模型训练方法、信息抽取方法、装置、电子设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977073A (zh) * 2019-03-11 2019-07-05 厦门纵横集团科技股份有限公司 一种法院电子卷宗自动化归档系统及其方法
US20220292861A1 (en) * 2019-10-25 2022-09-15 Xero Limited Docket Analysis Methods and Systems
US20220138572A1 (en) * 2020-10-30 2022-05-05 Thomson Reuters Enterprise Centre Gmbh Systems and Methods for the Automatic Classification of Documents
CN112836051A (zh) * 2021-02-19 2021-05-25 太极计算机股份有限公司 一种在线自学习的法院电子卷宗文本分类方法
CN114491028A (zh) * 2022-01-18 2022-05-13 四川大学 基于正则化元学习的小样本文本分类方法
CN116402130A (zh) * 2023-03-01 2023-07-07 北京明朝万达科技股份有限公司 模型训练方法、信息抽取方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN116991984B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
Verenich et al. Survey and cross-benchmark comparison of remaining time prediction methods in business process monitoring
CN109587713B (zh) 一种基于arima模型的网络指标预测方法、装置及存储介质
US20190370659A1 (en) Optimizing neural network architectures
US20190279088A1 (en) Training method, apparatus, chip, and system for neural network model
US20190043487A1 (en) Methods and systems for optimizing engine selection using machine learning modeling
US11537950B2 (en) Utilizing a joint-learning self-distillation framework for improving text sequential labeling machine-learning models
CN110110858B (zh) 一种基于强化学习的自动化机器学习方法
US11630990B2 (en) Systems and methods for auto machine learning and neural architecture search
CN117170685B (zh) 一种数据处理方法、装置、设备及介质
US10162879B2 (en) Label filters for large scale multi-label classification
CN113257414B (zh) 基于贝叶斯结构学习的信息归类方法、装置和系统
CN110490304B (zh) 一种数据处理方法及设备
CN112085541A (zh) 基于浏览消费时序数据的用户需求分析方法及装置
CN111444677A (zh) 基于大数据的阅读模型优化方法、装置、设备及介质
Krajsic et al. Variational Autoencoder for Anomaly Detection in Event Data in Online Process Mining.
CN109783381B (zh) 一种测试数据生成方法、装置及系统
US11538048B1 (en) Predictively identifying activity subscribers
CN111259975B (zh) 分类器的生成方法及装置、文本的分类方法及装置
CN116991984B (zh) 广域协同与体系知识增强的电子卷宗材料处理方法及系统
CN109800887B (zh) 预测流程模型的生成方法、装置、存储介质和电子设备
CN117131083A (zh) 预测语句执行时间范围的方法、装置、处理器及电子设备
CN115345600B (zh) 一种rpa流程的生成方法和装置
Körner et al. Mastering Azure Machine Learning: Perform large-scale end-to-end advanced machine learning in the cloud with Microsoft Azure Machine Learning
US11816148B1 (en) Sampling technique for data clustering
CN115905293A (zh) 作业执行引擎的切换方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant