CN117421414A - 基于aigc的rpa智能交互式系统的设计方法 - Google Patents

基于aigc的rpa智能交互式系统的设计方法 Download PDF

Info

Publication number
CN117421414A
CN117421414A CN202311734420.8A CN202311734420A CN117421414A CN 117421414 A CN117421414 A CN 117421414A CN 202311734420 A CN202311734420 A CN 202311734420A CN 117421414 A CN117421414 A CN 117421414A
Authority
CN
China
Prior art keywords
rpa
chinese script
chinese
agent
development
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311734420.8A
Other languages
English (en)
Other versions
CN117421414B (zh
Inventor
廖万里
金卓
梁芳烜
肖飞
刘金朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Kingsware Information Technology Co Ltd
Original Assignee
Zhuhai Kingsware Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Kingsware Information Technology Co Ltd filed Critical Zhuhai Kingsware Information Technology Co Ltd
Priority to CN202311734420.8A priority Critical patent/CN117421414B/zh
Publication of CN117421414A publication Critical patent/CN117421414A/zh
Application granted granted Critical
Publication of CN117421414B publication Critical patent/CN117421414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/3332Query translation
    • G06F16/3335Syntactic pre-processing, e.g. stopword elimination, stemming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于AIGC的RPA智能交互式系统的设计方法、电子设备、存储介质,涉及代码开发技术领域。该方法包括:收集RPA中文脚本数据,对RPA中文脚本数据进行筛选和清洗;按照问答形式对RPA中文脚本数据进行标注;通过基础预训练大模型对RPA中文脚本数据进行训练,获得RPA中文脚本生成模型;在训练过程中,对RPA中文脚本生成模型生成的RPA中文脚本进行相似性评估和测试通过率评估,根据评估结果优化训练损失函数;创建多个RPA代理,由多个RPA代理理解和分配开发任务,并利用RPA中文脚本生成模型完成开发任务。根据本发明实施例的基于AIGC的RPA智能交互式系统的设计方法,能够支持自动化生成RPA中文脚本。

Description

基于AIGC的RPA智能交互式系统的设计方法
技术领域
本发明涉及代码开发技术领域,尤其是涉及一种基于AIGC的RPA智能交互式系统的设计方法、电子设备和存储介质。
背景技术
大模型也叫大型语言模型、大语言模型(Large Language Model,LLM;LargeLanguage Models,LLMs),是“大算力+强算法”结合的产物。大型语言模型(LLM)是指包含数千亿(或更多)参数的语言模型,这些参数是在大量文本数据上训练的,例如模型GPT、PaLM、BLOOM、GLM和LlaMA等,可以有效地提取数据高阶特征,从而实现更准确的预测和分类。大模型的核心技术是生成式人工智能(Artificial Intelligence Generated Content,AIGC),生成式人工智能是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术,它不同于传统的人工智能,它不是简单地从数据中学习规律,而是能够根据输入的条件或者需求,自主地创造出新的内容。自ChatGPT发布后,陆续涌现了LaMDA、Alpaca、ChatGLM、XVERSE、MOSS、BaiChuan、盘古大模型、文心一言和通义千问等大模型,可以实现互动式闲聊、自动写作与内容生成、艺术创作与设计、虚拟现实与游戏开发、语音合成与音乐创作、图像生成和代码生成。
大模型基于代码数据训练后,具备了代码纠错、找bug、自动写代码的能力,国内外目前已持续推出AIGC式编程工具,在自动生成sql、Python、Go、Java等主流编程语言方面已经有很不错的表现,这对于程序员的生产力提升是不言而喻的。AIGC在代码生成方面具有巨大潜力,如果能够应用于训练生成RPA中文脚本,将有望大幅提升RPA开放人员的生产力,也为普通的非技术工作者提供了更为便捷的工具,大幅降低了编程门槛。
大模型拥有超强的语义理解能力,可以与人闲聊,并通过多轮问询,实现目标需求,唯一不足的地方就是需要人类不断的prompt。prompt是指在使用AI模型时,设计和构建用于输入的文本提示,使得模型能够更好地理解和回答问题。如果需要大模型做一件复杂的事情,多轮提问是一件很麻烦的事情,比较耗费用户的时间和精力,效率不够高。而且,目前市面上只有适用于通用编程语言,如Python/JAVA/C等语言的生成模型,而中文脚本与现有通用编程语言特性相差较大,缺乏能够支持实现RPA中文脚本生成的模型。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出了一种基于AIGC的RPA智能交互式系统的设计方法、电子设备和存储介质,设计了一个能够自动生成RPA中文脚本的模型,提升RPA开发效率。
一方面,根据本发明实施例的基于AIGC的RPA智能交互式系统的设计方法,包括以下步骤:
收集RPA中文脚本数据,对所述RPA中文脚本数据进行筛选和清洗;
按照问答形式对筛选和清洗后的所述RPA中文脚本数据进行标注;
获取基础预训练大模型,并通过所述基础预训练大模型对标注后的所述RPA中文脚本数据进行训练,获得RPA中文脚本生成模型;
在训练过程中,对所述RPA中文脚本生成模型生成的RPA中文脚本进行相似性评估和测试通过率评估,根据评估结果优化训练损失函数,以提升所述RPA中文脚本生成模型的训练准确度;
创建多个RPA代理,由多个所述RPA代理理解和分配开发任务,并利用所述RPA中文脚本生成模型完成开发任务。
根据本发明的一些实施例,所述对所述RPA中文脚本数据进行筛选和清洗,包括以下步骤中的至少之一:
筛选出能够通过RPA开放平台的集成测试的所述RPA中文脚本数据;
对长度不符合要求的所述RPA中文脚本数据进行重写或者拆分,确保经过重写或者拆分后的所述RPA中文脚本数据能够通过所述RPA开放平台的集成测试;
删除所述RPA中文脚本数据中的无意义内容;
按照RPA中文脚本开发格式校正所述RPA中文脚本数据;
按照RPA中文脚本开发注释格式,对所述RPA中文脚本数据的节点添加必要注释。
根据本发明的一些实施例,所述按照问答形式对筛选和清洗后的所述RPA中文脚本数据进行标注,具体包括:
根据所述RPA中文脚本数据,采用多种不同描述方式编写问题,所述问题用于描述脚本功能和执行步骤,所述问题的答案为所述RPA中文脚本数据;
或者,根据所述RPA中文脚本数据,按照问答形式,构建多轮对话数据。
根据本发明的一些实施例,对所述RPA中文脚本生成模型生成的RPA中文脚本进行相似性评估,具体包括:
将所述RPA中文脚本分为函数模板、函数注释和函数主体三个板块;
获取每个所述板块的词组精确率和词组召回率,并根据所述词组精确率和所述词组召回率,计算每个所述板块的相似度评估指标;
根据每个所述板块的相似度评估指标,计算所述RPA中文脚本的相似度评估指标。
根据本发明的一些实施例,所述测试通过率的计算方式如下:
其中,为测试通过率指标,γ为RPA中文脚本的出现频次;n表示针对同一个问题,所述RPA中文脚本生成模型生成了n个答案;k表示从n个答案中随机抽取k个答案,k≤n;i为n个答案中通过测试的答案的数量,i≤n;P(c=i)为n个答案中有i个答案通过测试的概率,n、k、i均为正整数。
根据本发明的一些实施例,所述根据评估结果优化训练损失函数,具体包括:
获取所述RPA中文脚本的相似度评估指标,并根据所述相似度评估指标,计算相似度损失;
根据所述RPA中文脚本的参考序列与预测序列的分布差异,计算交叉熵损失;
根据所述相似度损失和所述交叉熵损失,优化所述训练损失函数。
根据本发明的一些实施例,多个所述RPA代理包括用户任务理解代理、RPA组件开发代理、RPA流程开发代理和RPA任务开发代理;所述用户任务理解代理用于理解开发任务,并将所述开发任务拆分为若干个子任务,并将每个子任务分配给所述RPA组件开发代理、所述RPA流程开发代理或所述RPA任务开发代理;所述RPA组件开发代理用于开发RPA中文脚本,所述RPA流程开发代理用于开发RPA流程,所述RPA任务开发代理用于RPA任务的生成和执行。
根据本发明的一些实施例,多个所述RPA代理配置有代理配置文件,所述代理配置文件包括提示信息部分、任务环境部分、代理描述部分和工具调用部分;所述提示信息部分用于提供模型提示信息,所述任务环境部分用于描述当前环境、决定每个所述RPA代理的执行顺序、以及对每个所述RPA代理的回复进行筛选和更新;所述代理描述部分用于描述每个所述RPA代理的代理信息;所述工具调用部分用于定义所述RPA代理需要的RPA开发接口。
另一方面,根据本发明实施例的电子设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行上述实施例的基于AIGC的RPA智能交互式系统的设计方法。
另一方面,根据本发明实施例的存储介质,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行上述实施例所述的基于AIGC的RPA智能交互式系统的设计方法。
根据本发明实施例的基于AIGC的RPA智能交互式系统的设计方法、电子设备和存储介质,至少具有如下有益效果:利用大模型训练RPA中文脚本生成模型,获得可以根据RPA功能描述生成相应中文脚本的模型,降低RPA开发门槛,提高开发效率,缩短开发周期;提出了RPA开发场景内多代理系统,完成系统的智能自动化操作,即自定义多个RPA代理,系统内各个代理相互协调配合,自主思考和决策执行操作,几乎不需要人为干预;解决了RPA开发过程中多轮对话的繁琐问询过程,用户仅需向系统提供RPA开发任务功能描述,系统内部便可自动协调完成开发任务。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的基于AIGC的RPA智能交互式系统的设计方法的步骤流程图;
图2为RPA中文脚本数据的收集和处理过程;
图3为多个RPA代理的交互设计示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
大模型基于代码数据训练后,具备了代码纠错、找bug、自动写代码的能力,国内外目前已持续推出AIGC式编程工具,在自动生成sql、Python、Go、Java等主流编程语言方面已经有很不错的表现,这对于程序员的生产力提升是不言而喻的。AIGC在代码生成方面具有巨大潜力,如果能够应用于训练生成RPA中文脚本,将有望大幅提升RPA开放人员的生产力,也为普通的非技术工作者提供了更为便捷的工具,大幅降低了编程门槛。
大模型拥有超强的语义理解能力,可以与人闲聊,并通过多轮问询,实现目标需求,唯一不足的地方就是需要人类不断的prompt。prompt是指在使用AI模型时,设计和构建用于输入的文本提示,使得模型能够更好地理解和回答问题。如果需要大模型做一件复杂的事情,多轮提问是一件很麻烦的事情,比较耗费用户的时间和精力,效率不够高。而且,目前市面上只有适用于通用编程语言,如Python/JAVA/C等语言的生成模型,而中文脚本与现有通用编程语言特性相差较大,缺乏能够支持实现RPA中文脚本生成的模型。
为了解决上述问题,本发明实施例提供了一种基于AIGC的RPA智能交互式系统的设计方法、电子设备和存储介质,设计了一个能够用于自动生成RPA中文脚本的模型,从而实现了RPA智能自动化开发,降低RPA开发门槛,提高开发效率,缩短开发周期,并且避免了大模型需要多轮询问的问题。
下面结合附图1-3,详细描述本发明实施例的基于AIGC的RPA智能交互式系统的设计方法、电子设备和存储介质。
如图1所示,根据本发明实施例的基于AIGC的RPA智能交互式系统的设计方法,包括以下步骤:
步骤S100:收集RPA中文脚本数据,对RPA中文脚本数据进行筛选和清洗;
步骤S200:按照问答形式对筛选和清洗后的RPA中文脚本数据进行标注;
步骤S300:获取基础预训练大模型,并通过基础预训练大模型对标注后的RPA中文脚本数据进行训练,获得RPA中文脚本生成模型;
步骤S400:在训练过程中,对RPA中文脚本生成模型生成的RPA中文脚本进行相似性评估和测试通过率评估,根据评估结果优化训练损失函数,以提升RPA中文脚本生成模型的训练准确度;
步骤S500:创建多个RPA代理,由多个RPA代理理解和分配开发任务,并利用RPA中文脚本生成模型完成开发任务。
具体地,本发明实施例利用大模型(LLM)技术训练自研的RPA中文脚本生成模型,解决没有可以支持实现RPA中文脚本生成的模型的问题。自研的RPA中文脚本具有以下特性:
1、RPA中文脚本中英夹杂,固定库函数具备中英文映射关系,使用时可以自由使用任一类型,如信息返回,可以使用“日志”,也可以使用“trace”。变量、脚本命名没有要求,可以使用中文或英文命名。
2、RPA中文脚本有固定的编码结构,共包含七个部分,分别为“{$I 输入模板.run}、{$I 帮助信息.run}、{$I 参数定义.run}、{$I 返回定义.run}、{$I 函数主体.run}、{$I 调试开始.run}和{$I 调试结束.run}”。
3、RPA中文脚本模拟人类操作,主要实现具体场景中的一个特定功能,比如银行流水下载场景中,网银账户登录、进入对应菜单查询并下载流水、关闭浏览器等均可抽象为一个脚本。
4、RPA中文脚本支持多流程、多场景的重用,比如网银账户登录脚本,可用于银行流水下载流程,也可用于网银账号余额查询流程,亦可用于银行回单下载流程等。
5、RPA中文脚本支持互相调用,满足多代码块的重用需要。
6、RPA中文脚本没有缩进要求,无法通过缩进表示代码之间的包含和层次关系。
目前市面上只有通用编程语言Python/JAVA/C等语言的生成模型,RPA中文脚本与现有通用编程语言特性相差较大,故不能直接套用现有代码生成模型。为了获得可以生成RPA中文脚本的LLM模型,需要收集数据进行训练,数据的收集和处理过程如图2所示。为了收集RPA中文脚本数据,需要收集RPA现有业务开发场景,包括但不限于银行、证券、基金、期货、保险、政务、电力、制造、医疗、通信和电商等行业业务场景,然后根据现有业务场景分别收集对应场景的RPA中文脚本数据,数量约在2W左右(具体数量可以根据实际需要进行调整)。
收集了RPA中文脚本数据后,需要对RPA中文脚本数据进行筛选和清洗,以确保数据的准确性,提升后续的训练效果。对RPA中文脚本数据进行筛选和清洗,包括以下步骤中的至少之一:
筛选出能够通过RPA开放平台的集成测试的RPA中文脚本数据;
对长度不符合要求的RPA中文脚本数据进行重写或者拆分,确保经过重写或者拆分后的RPA中文脚本数据能够通过RPA开放平台的集成测试;
删除RPA中文脚本数据中的无意义内容;
按照RPA中文脚本开发格式校正RPA中文脚本数据;
按照RPA中文脚本开发注释格式,对RPA中文脚本数据的节点添加必要注释。
具体地,收集完RPA中文脚本数据后,进行第一轮筛选:所有收集的RPA中文脚本数据必须可以通过RPA开放平台的集成测试,确保收集到的数据的准确性。第二轮筛选:现有LLM多轮对话阶段最大可支持8K的上下文长度训练,需要针对不符合长度要求的RPA中文脚本数据进行重写或者拆分为更多组件,重新编写的RPA中文脚本数据需要重新进行集成测试,确保数据无误。第三轮筛选:删除RPA中文脚本数据中的多余内容,如‘-----------’、‘**************’、‘==============’、连续的空格、换行符、多余无意义的注释以及成段的代码注释等无意义内容。第四轮筛选:RPA中文脚本由现场RPA开发人员编写,每个人编程风格不一致,需要严格按照RPA中文脚本开发格式校正RPA中文脚本数据,从而可以避免小规模数据训练中,数据差异太大,LLM训练效果不好的问题。第五轮筛选:按照RPA中文脚本开发注释格式,为每一个重要节点的RPA中文脚本代码添加必要注释,方便后续进行RPA中文脚本标注。
在对RPA中文脚本数据进行筛选和清洗后,需要按照问答形式对筛选和清洗后的RPA中文脚本数据进行标注,标注过程包括:
根据RPA中文脚本数据,采用多种不同描述方式编写问题,问题用于描述脚本功能和执行步骤,问题的答案为RPA中文脚本数据;
或者,根据RPA中文脚本数据,按照问答形式,构建多轮对话数据。
具体地,按照问答形式标注RPA中文脚本,答案是RPA中文脚本,问题是对于脚本的功能和执行步骤的描述,这主要来源于RPA中文脚本的注释,如表1所示。为了进一步增加数据多样性和模型泛化能力,采用不同描述方式编写了问题,如表2所示。此外,需要实现模型的多轮对话功能,需要构造多轮对话数据,一般对代码片段、参数、功能等构造多轮对话数据,如表3所示。
表1 问答数据样例
表2 问题多样性构造
表3 多轮对话数据构造
在完成对RPA中文脚本数据的标注后,通过基础预训练大模型对标注后的RPA中文脚本数据进行训练,从而获得RPA中文脚本生成模型。在本发明示例中,使用GLM模型(GLM,Generative Language Model,通用预训练语言模型)作为基础预训练大模型(需要说明的是,也可以采用其它的大模型,而不仅限于GLM),来训练RPA中文脚本生成模型。GLM模型采用了自回归空白填充,跨度排序和2D位置编码,融合了自回归模型、自编码模型和编解码模型的原理,在自然语言理解、无条件生成以及条件生成领域均表现优异。GLM借鉴自编码模型的掩码一个单词或是一个实体的思想,GLM掩码的一个句子片段,这个句子片段的具体内容通过自回归的方式来预测。因此,GLM进行生成任务时,可以看到上文的信息,预测的文本片段可以不定长。GLM的中文适配性很好,训练和推理比较高效,适用于长段的RPA中文脚本中英夹杂的数据,故选择GLM大模型作为基础预训练大模型,来训练RPA中文脚本生成模型。
在训练过程中,需要对RPA中文脚本生成模型生成的RPA中文脚本进行相似性评估,相似性评估的过程如下:
将RPA中文脚本分为函数模板、函数注释和函数主体三个板块;
获取每个板块的词组精确率和词组召回率,并根据词组精确率和词组召回率,计算每个板块的相似度评估指标;
根据每个板块的相似度评估指标,计算RPA中文脚本的相似度指标。
具体地,RPA中文脚本不同于普通的自然语言,需要根据其数据特征,定义模型评估指标,判断模型训练是否符合预期需求。RPA中文脚本分为三个板块,分别为函数模板、函数注释和函数主体,评估过程中将RPA中文脚本分成三个板块进行评估,作为RPA中文脚本相似度评估指标E_1。每个板块分别计算预测序列和参考序列的n-gram重叠程度评测模型的精确率,以及统计预测序列和参考序列的共有n-gram词组占比来评测模型的召回率。n-gram是一种基于统计语言模型的算法,它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作,形成了长度为N的字节片段序列,每一个字节片段称为gram,对所有gram的出现频度进行统计,并且按照事先设定好的阈值进行过滤,形成关键gram列表,也就是这个文本的向量特征空间,列表中的每一种gram就是一个特征向量维度。
其中,指函数模板/>、函数注释/>和函数主体/>各个板块的相似度评估指标,而/>是整个RPA中文脚本的相似度评估指标。/>、/>和/>都是平衡系数,/>是简短惩罚因子,解决参考序列长度太短的情况。/>都是词组长度,/>和/>是权重系数,当n=2时,权重系数为0.5,当n=3时,权重系数为1/3,依次类推。/>是n-gram词组精确度,即预测序列的n-gram词组和参考序列的重叠程度占比。/>是n-gram词组召回率,即预测序列的n-gram词组和参考序列的共有占比。
除了进行相似度评估以外,还需要进行测试通过率评估;RPA中文脚本属于代码生成范畴,判断代码正确性应该判断最终代码是否通过测试。根据RPA中文脚本编码规范要求,实现一个RPA业务过程,需要多个RPA中文脚本,一个功能相当于一个RPA中文脚本,各个RPA中文脚本存在依赖关系,只要任一RPA中文脚本生成错误,RPA业务流程就无法成功运行。同时,为了避免出现概率较大的RPA中文脚本效果过优,导致评估结果偏好,测试时增加了惩罚系数,约束频次较高的RPA中文脚本正确率。
其中,为测试通过率指标,γ为RPA中文脚本的出现频次;n表示针对同一个问题,RPA中文脚本生成模型生成了n个答案;k表示从n个答案中随机抽取k个答案,k≤n;i为n个答案中通过测试的答案的数量,i≤n;P(c=i)为n个答案中有i个答案通过测试的概率,n、k、i均为正整数。
在完成相似性评估和测试通过率评估后,还需要根据评估结果优化训练损失函数,过程如下:
获取RPA中文脚本的相似度评估指标,并根据相似度评估指标,计算相似度损失;
根据RPA中文脚本的参考序列与预测序列的分布差异,计算交叉熵损失;
根据相似度损失和交叉熵损失,优化训练损失函数。
具体地,在训练过程中,需要将RPA中文脚本的词组精确率和词组召回率作为训练损失的部分结果,与交叉熵损失一起,进行反向传播,最小化训练损失函数,使模型生成正确可执行的RPA中文脚本。
其中,L为训练损失函数,是RPA中文脚本的相似度评估指标,取其负对数值,获得相似度损失,RPA中文脚本的相似度越高,损失函数则越小。C是收集的RPA中文脚本数据的词表的类别数,j≤C为自然数,/>是参考序列分布,/>是预测序列分布,计算交叉熵损失,即通过比对参考序列和预测序列的分布差异,评估预测序列是否接近参考序列,训练过程损失集成了自定义相似度损失和交叉熵损失,共同评估训练效果,有效提高训练准确度。
基于AIGC的RPA智能交互式系统是一个多代理系统,每个代理使用大模型构建,用于理解用户需求。在本示例中,共构建了四个RPA代理,分别为用户任务理解代理、RPA组件开发代理、RPA流程开发代理、RPA任务开发代理。用户任务理解代理中主要用于理解用户任务,拆解用户任务步骤,形成多个子任务,并将拆分的子任务分配到其他代理,如RPA中文脚本相关开发任务分配到RPA组件开发代理,RPA流程相关开发任务分配到RPA流程开发代理,涉及RPA任务的生成和执行等任务则分配给RPA任务开发代理;各个RPA代理间的交互设计如图3所示。
此外,为了实现各个RPA代理间的交互,本发明还自定义了代理配置文件,代理配置文件包括提示信息部分、任务环境部分、代理描述部分和工具调用部分。提示信息部分用于提供模型提示信息,提示信息越详细,模型越能深入理解用户意图;提示信息包括个人责任描述、输出格式要求和历史信息存储三部分,RPA组件开发代理的提示信息部分示例如表4:
表4
任务环境部分用于描述当前环境、决定每个RPA代理的执行顺序、以及对每个RPA代理的回复进行筛选和更新;任务环境部分包括5个主要部分,分别是描述器(describer)、顺序器(order)、筛选器(selector)、更新器(updater)和可视器(visibility)。描述器用于为每个RPA代理提供当前环境描述,顺序器用于决定RPA代理在环境中的行动顺序,筛选器用于筛选掉不符合环境要求的代理回复,更新器用于将代理回复更新至可以看到该回复的其他代理历史消息存储中,可视器用于维护每个RPA代理可以看到的其他代理名单。以RPA业务智能自动化开发为例,env_type选择已构建的RPA虚拟环境,max_turns设置至多20轮对话数量,order设计代理按照顺序依次执行,visibility设计代理互相可见,selector、updater和describer采用自定义的rpadevelop,rpadevelop根据实际开发需求定义了代理环境、回复筛选规则和更新规则,示例配置如表5:
表5
代理描述部分用于描述每个RPA代理的代理信息,是针对各个RPA代理间的具体描述,包括代理类型、代理名称、代理责任描述、信息存储、模型参数设置等信息,以RPA组件开发代理为例,agent_type指代理类型,name指代理名称,role_description指代理责任描述,memory_type指历史对话信息存储类型,prompt_template指定提示模板,llm_type指大模型类型,model调用大模型,RPA组件开发代理中需要调用微调的RPA中文脚本生成模型,temperature指生成答案随机性,recursive代表递归执行,max_tokens生成文本长度,tools指工具调用,设置示例如表6:
表6
工具调用部分用于定义RPA代理需要的RPA开发接口,如RPA中文脚本导入接口、审核接口、修改接口和执行接口,RPA流程创建接口、审核接口、修改接口和执行接口,RPA任务创建接口和修改接口等。任务执行时,RPA代理内部需要调用工具定义的开发接口完成开发流程,如RPA组件开发代理执行任务过程中,需要调用RPA中文脚本的RPA开法接口的脚本导入、审核、修改和执行等接口。tool_name指工具名称,tool_url指工具调用API接口,部分示例如表7:
表7
根据本发明实施例的基于AIGC的RPA智能交互式系统的设计方法,依托大模型超强的语义理解能力和垂直领域训练的RPA代码生成大模型,构建基于AIGC的RPA智能交互式系统,实现根据用户目标制定计划,然后自主执行完所有计划,整个过程自动化的能力非常的强,几乎不需要人为干预,极大提升RPA业务开发效率。针对RPA开发场景,本发明自定义了多个LLM代理,包括用户任务理解代理、RPA组件开发代理,RPA流程开发代理,RPA任务开发代理等,设计协调了各个LLM代理的交互和运作方式,以完成RPA业务开发目标,并可以成功生成可执行RPA中文脚本,只需要给它们一个总体的目标,它们就会根据目标生成和执行任务,并从结果中学习反馈,实现自动化和优化RPA开发任务。本发明可以避免用户与AI进行多轮对话交互,实现只需要给出任务需求描述,AI即可以根据用户描述,自主分配需要自动处理的任务,并根据具体分配任务调动RPA场景领域范围内自定义的RPA组件开发代理、RPA流程开发代理和RPA任务开发代理等代理工具,让RPA开发用户使用最少的输入来实现最大的输出,节省用户的时间和精力。
本发明设计了基于AIGC的RPA智能交互式系统,主要解决RPA中文脚本生成问题,以及RPA智能自动化开发问题,具有以下有益效果:
(1)利用大模型训练RPA中文脚本生成模型,获得可以根据RPA功能描述生成相应中文脚本的模型,降低RPA开发门槛,提高开发效率,缩短开发周期。
(2)提出了RPA中文脚本数据的收集和处理方式,以及RPA中文脚本生成模型的评估指标和损失计算方式,从而获得可直接根据用户功能描述生成可执行的RPA中文脚本的模型,为其他相似的垂直领域提供了有效的参考类型。
(3)提出了RPA开发场景内多代理系统,完成系统的智能自动化操作,即自定义多个RPA代理,系统内各个代理相互协调配合,自主思考和决策执行操作,几乎不需要人为干预。
(4)解决了RPA开发过程中多轮对话的繁琐问询过程,用户仅需向系统提供RPA开发任务功能描述,RPA组件、流程和任务开发均由系统内部协调完成。同时,系统内部的思考和决策过程,也为用户提供业务灵感,相得益彰。
另一方面,本发明实施例还提出了一种电子设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行上述的基于AIGC的RPA智能交互式系统的设计方法。
其中,处理器可以采用通用的中央处理器(Central Processing Unit,CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请实施例所提供的技术方案;
存储器可以采用只读存储器(Read Only Memory,ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory,RAM)等形式实现。存储器可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器中,并由处理器来调用执行本申请实施例的基于AIGC的RPA智能交互式系统的设计方法;存储器与处理器之间可以通过总线等进行连接。
另一方面,本发明实施例还提供了一种存储介质,存储介质为计算机可读存储介质,该存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述的基于AIGC的RPA智能交互式系统的设计方法。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,实现了以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
尽管本文描述了具体实施方案,但是本领域中的普通技术人员将认识到,许多其它修改或另选的实施方案同样处于本公开的范围内。例如,结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外,虽然已根据本公开的实施方案描述了各种示例性具体实施和架构,但是本领域中的普通技术人员将认识到,对本文所述的示例性具体实施和架构的许多其它修改也处于本公开的范围内。
上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解,框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样,根据一些实施方案,框图和流程图中的一些块可能无需按示出的顺序执行,或者可以无需全部执行。另外,超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。
因此,框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解,框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。
本文所述的程序模块、应用程序等可包括一个或多个软件组件,包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令,所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如,本文所述的例示性方法的一种或多种操作)被执行。
软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言,诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言,其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中,包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行,而无需首先转换成另一种形式。
软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如,预设的或固定的)或动态的(例如,在执行时创建或修改的)。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种基于AIGC的RPA智能交互式系统的设计方法,其特征在于,包括以下步骤:
收集RPA中文脚本数据,对所述RPA中文脚本数据进行筛选和清洗;
按照问答形式对筛选和清洗后的所述RPA中文脚本数据进行标注;
获取基础预训练大模型,并通过所述基础预训练大模型对标注后的所述RPA中文脚本数据进行训练,获得RPA中文脚本生成模型;
在训练过程中,对所述RPA中文脚本生成模型生成的RPA中文脚本进行相似性评估和测试通过率评估,根据评估结果优化训练损失函数,以提升所述RPA中文脚本生成模型的训练准确度;
创建多个RPA代理,由多个所述RPA代理理解和分配开发任务,并利用所述RPA中文脚本生成模型完成开发任务。
2.根据权利要求1所述的基于AIGC的RPA智能交互式系统的设计方法,其特征在于,所述对所述RPA中文脚本数据进行筛选和清洗,包括以下步骤中的至少之一:
筛选出能够通过RPA开放平台的集成测试的所述RPA中文脚本数据;
对长度不符合要求的所述RPA中文脚本数据进行重写或者拆分,确保经过重写或者拆分后的所述RPA中文脚本数据能够通过所述RPA开放平台的集成测试;
删除所述RPA中文脚本数据中的无意义内容;
按照RPA中文脚本开发格式校正所述RPA中文脚本数据;
按照RPA中文脚本开发注释格式,对所述RPA中文脚本数据的节点添加必要注释。
3.根据权利要求1所述的基于AIGC的RPA智能交互式系统的设计方法,其特征在于,所述按照问答形式对筛选和清洗后的所述RPA中文脚本数据进行标注,具体包括:
根据所述RPA中文脚本数据,采用多种不同描述方式编写问题,所述问题用于描述脚本功能和执行步骤,所述问题的答案为所述RPA中文脚本数据;
或者,根据所述RPA中文脚本数据,按照问答形式,构建多轮对话数据。
4.根据权利要求1所述的基于AIGC的RPA智能交互式系统的设计方法,其特征在于,对所述RPA中文脚本生成模型生成的RPA中文脚本进行相似性评估,具体包括:
将所述RPA中文脚本分为函数模板、函数注释和函数主体三个板块;
获取每个所述板块的词组精确率和词组召回率,并根据所述词组精确率和所述词组召回率,计算每个所述板块的相似度评估指标;
根据每个所述板块的相似度评估指标,计算所述RPA中文脚本的相似度评估指标。
5.根据权利要求1所述的基于AIGC的RPA智能交互式系统的设计方法,其特征在于,所述测试通过率的计算方式如下:
其中,为测试通过率指标,γ为RPA中文脚本的出现频次;n表示针对同一个问题,所述RPA中文脚本生成模型生成了n个答案;k表示从n个答案中随机抽取k个答案,k≤n;i为n个答案中通过测试的答案的数量,i≤n;P(c=i)为n个答案中有i个答案通过测试的概率,n、k、i均为正整数。
6.根据权利要求1所述的基于AIGC的RPA智能交互式系统的设计方法,其特征在于,所述根据评估结果优化训练损失函数,具体包括:
获取所述RPA中文脚本的相似度评估指标,并根据所述相似度评估指标,计算相似度损失;
根据所述RPA中文脚本的参考序列与预测序列的分布差异,计算交叉熵损失;
根据所述相似度损失和所述交叉熵损失,优化所述训练损失函数。
7.根据权利要求1所述的基于AIGC的RPA智能交互式系统的设计方法,其特征在于,多个所述RPA代理包括用户任务理解代理、RPA组件开发代理、RPA流程开发代理和RPA任务开发代理;所述用户任务理解代理用于理解开发任务,并将所述开发任务拆分为若干个子任务,并将每个子任务分配给所述RPA组件开发代理、所述RPA流程开发代理或所述RPA任务开发代理;所述RPA组件开发代理用于开发RPA中文脚本,所述RPA流程开发代理用于开发RPA流程,所述RPA任务开发代理用于RPA任务的生成和执行。
8.根据权利要求1所述的基于AIGC的RPA智能交互式系统的设计方法,其特征在于,多个所述RPA代理配置有代理配置文件,所述代理配置文件包括提示信息部分、任务环境部分、代理描述部分和工具调用部分;所述提示信息部分用于提供模型提示信息,所述任务环境部分用于描述当前环境、决定每个所述RPA代理的执行顺序、以及对每个所述RPA代理的回复进行筛选和更新;所述代理描述部分用于描述每个所述RPA代理的代理信息;所述工具调用部分用于定义所述RPA代理需要的RPA开发接口。
9.一种电子设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行权利要求1-8中任一项所述的基于AIGC的RPA智能交互式系统的设计方法。
10.一种存储介质,其特征在于,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行权利要求1-8中任一项所述的基于AIGC的RPA智能交互式系统的设计方法。
CN202311734420.8A 2023-12-18 2023-12-18 基于aigc的rpa智能交互式系统的设计方法 Active CN117421414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311734420.8A CN117421414B (zh) 2023-12-18 2023-12-18 基于aigc的rpa智能交互式系统的设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311734420.8A CN117421414B (zh) 2023-12-18 2023-12-18 基于aigc的rpa智能交互式系统的设计方法

Publications (2)

Publication Number Publication Date
CN117421414A true CN117421414A (zh) 2024-01-19
CN117421414B CN117421414B (zh) 2024-03-26

Family

ID=89528682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311734420.8A Active CN117421414B (zh) 2023-12-18 2023-12-18 基于aigc的rpa智能交互式系统的设计方法

Country Status (1)

Country Link
CN (1) CN117421414B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118567626A (zh) * 2024-07-31 2024-08-30 支付宝(杭州)信息技术有限公司 一种任务自主处理方法、装置、存储介质及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163420A (zh) * 2020-09-23 2021-01-01 北京天行有灵科技有限公司 一种基于nlp技术的rpa流程自动生成方法
US20230229861A1 (en) * 2022-01-14 2023-07-20 Salesforce, Inc. Systems and methods near negative distinction for evaluating nlp models
CN116562807A (zh) * 2023-05-05 2023-08-08 科大讯飞股份有限公司 机器人流程自动化方法、装置、电子设备和存储介质
CN116719520A (zh) * 2023-08-07 2023-09-08 支付宝(杭州)信息技术有限公司 代码生成方法及装置
CN116820429A (zh) * 2023-08-28 2023-09-29 腾讯科技(深圳)有限公司 代码处理模型的训练方法、装置、电子设备及存储介质
CN116909532A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 一种代码生成与缺陷修复方法和装置
CN117035318A (zh) * 2023-08-10 2023-11-10 达观数据有限公司 基于大语言模型的机器人自动化流程设计和调度方法及装置
CN117149977A (zh) * 2023-09-07 2023-12-01 世纪恒通科技股份有限公司 一种基于机器人流程自动化的智能催收机器人
CN117194258A (zh) * 2023-09-15 2023-12-08 支付宝(杭州)信息技术有限公司 一种代码大模型的评测方法和装置
CN117215944A (zh) * 2023-09-19 2023-12-12 太保科技有限公司 一种大模型代码生成能力的自动评测方法及相关产品

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163420A (zh) * 2020-09-23 2021-01-01 北京天行有灵科技有限公司 一种基于nlp技术的rpa流程自动生成方法
US20230229861A1 (en) * 2022-01-14 2023-07-20 Salesforce, Inc. Systems and methods near negative distinction for evaluating nlp models
CN116562807A (zh) * 2023-05-05 2023-08-08 科大讯飞股份有限公司 机器人流程自动化方法、装置、电子设备和存储介质
CN116719520A (zh) * 2023-08-07 2023-09-08 支付宝(杭州)信息技术有限公司 代码生成方法及装置
CN117035318A (zh) * 2023-08-10 2023-11-10 达观数据有限公司 基于大语言模型的机器人自动化流程设计和调度方法及装置
CN116820429A (zh) * 2023-08-28 2023-09-29 腾讯科技(深圳)有限公司 代码处理模型的训练方法、装置、电子设备及存储介质
CN117149977A (zh) * 2023-09-07 2023-12-01 世纪恒通科技股份有限公司 一种基于机器人流程自动化的智能催收机器人
CN116909532A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 一种代码生成与缺陷修复方法和装置
CN117194258A (zh) * 2023-09-15 2023-12-08 支付宝(杭州)信息技术有限公司 一种代码大模型的评测方法和装置
CN117215944A (zh) * 2023-09-19 2023-12-12 太保科技有限公司 一种大模型代码生成能力的自动评测方法及相关产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118567626A (zh) * 2024-07-31 2024-08-30 支付宝(杭州)信息技术有限公司 一种任务自主处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN117421414B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN110018820B (zh) 一种基于深度强化学习的Graph2Seq自动生成Java代码注释的方法
Fu et al. A survey on complex question answering over knowledge base: Recent advances and challenges
Huang et al. Gamepad: A learning environment for theorem proving
CN108388425B (zh) 一种基于lstm自动补全代码的方法
Petrick On natural language based computer systems
Li et al. Api-bank: A comprehensive benchmark for tool-augmented llms
DE102020110536A1 (de) Verfahren, Systeme, Herstellungsgegenstände und Vorrichtungen für ein kontext- und komplexitätsbewusstes Empfehlungssystem zur verbesserten Softwareentwicklungseffizienz
Cuayáhuitl et al. Evaluation of a hierarchical reinforcement learning spoken dialogue system
CN117421414B (zh) 基于aigc的rpa智能交互式系统的设计方法
CN116820429B (zh) 代码处理模型的训练方法、装置、电子设备及存储介质
US20120004903A1 (en) Rule generation
CN112748914A (zh) 一种应用程序开发方法、装置、电子设备和存储介质
Haije et al. Automatic comment generation using a neural translation model
CN116719520B (zh) 代码生成方法及装置
CN114327483B (zh) 图张量神经网络模型建立方法及源代码语义识别方法
CN108766507B (zh) 一种基于CQL与标准信息模型openEHR的临床质量指标计算方法
CN111930912A (zh) 对话管理方法及系统、设备和存储介质
CN114528398A (zh) 一种基于交互双重图卷积网络的情感预测方法及系统
CN112463989A (zh) 一种基于知识图谱的信息获取方法及系统
Osis et al. Formal problem domain modeling within MDA
CN110489730A (zh) 文本处理方法、装置、终端及存储介质
KR20230065017A (ko) 인공지능 분석 기반 프로그램 소스코드의 요약문 생성 장치 및 방법
Lawrence et al. Counterfactual learning from human proofreading feedback for semantic parsing
CN117252161A (zh) 一种特定领域的模型训练和文本生成方法
CN117573084A (zh) 一种基于逐层融合抽象语法树的代码补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant