CN110321924A - 计费规则的智能录入方法、介质及计算机设备 - Google Patents
计费规则的智能录入方法、介质及计算机设备 Download PDFInfo
- Publication number
- CN110321924A CN110321924A CN201910440481.0A CN201910440481A CN110321924A CN 110321924 A CN110321924 A CN 110321924A CN 201910440481 A CN201910440481 A CN 201910440481A CN 110321924 A CN110321924 A CN 110321924A
- Authority
- CN
- China
- Prior art keywords
- different
- charging regulation
- subject
- contract
- charging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007600 charging Methods 0.000 title claims abstract description 205
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000008676 import Effects 0.000 claims abstract description 7
- 210000001520 comb Anatomy 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 abstract description 6
- 239000000047 product Substances 0.000 description 15
- 238000012550 audit Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 6
- 230000008520 organization Effects 0.000 description 6
- 238000013439 planning Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000000153 supplemental effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出一种计费规则的智能录入方法,所述方法包括:导入合同文件;调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则;比对所述至少两个不同的计费规则中所包含的各个科目;若不同的计费规则中的科目相同,则将所述计费规则录入系统;若不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息。本发明通过至少两个结构化处理模型基于阅读理解能力对输入的合同文件进行梳理生成不同的计费规则,比对生成的不同的计费规则,对生成的计费规则进行校验,校验通过时,则自动录入系统;否则,进行提示,实现合同文件的高效、高准确率的录入。
Description
技术领域
本发明涉及合同管理技术领域,尤其涉及一种计费规则的智能录入方法、介质及计算机设备。
背景技术
计费系统是公司底层核心系统,所有的征信数据产品的计费模式都依赖该系统。主要的功能有机构账户维护,合同信息录入,计费规则录入,账单生成。可根据客户签署的合同信息,根据用户对数据产品的实际使用量,根据计费规则来生成账单。由于合同中涉及的产品信息项非常多,每家签署的内容和折扣等方式都不同,所以计费规则的录入一直是一大难点。
目前系统用的双录模式,就是需要两个人,人工录入,每个人进入录入页,字段的显示位置是不同的,两个人录完后,系统做一致性比对,一致则到人工审核,不一致则高亮,回退,让人工再去修改。因此,现有的技术方案中至少存在以下缺陷:
1,多人力的投入,增加了成本,降低了时效性;
2,合同需要人工手动录入,合同信息量较大时,会有录入信息错误的风险。
发明内容
本发明提供一种计费规则的智能录入方法及相应的装置,其主要实现了通过调用至少两个结构化处理模型对输入的合同文件进行梳理生成不同的计费规则,再通过比对生成的不同的计费规则,对生成的计费规则进行校验,校验通过时,则自动录入系统;否则,进行提示,实现合同信息的高效、快速、高准确率的智能录入。
本发明还提供一种用于执行本发明的计费规则的智能录入方法的计算机设备及可读存储介质。
为解决上述问题,本发明采用如下各方面的技术方案:
第一方面,本发明提供一种计费规则的智能录入方法,所述方法包括:
导入合同文件;
调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则;
比对所述至少两个不同的计费规则中所包含的各个科目;
若不同的计费规则中的科目相同,则将所述计费规则录入系统;若不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息。
具体的,所述调用预先训练的不同的结构化处理模型对所述合同文件进行处理,对应生成不同的计费规则,包括:
预先建立基准计费规则,所述基准计费规则中包含多个基准科目;
调用不同的结构化处理模型;
接收每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的结构化信息表,其中,所述结构化信息表中包含若干个与所述基准科目匹配的目标字段;
依据所述结构化信息表中的合同标识信息对所述结构化信息表进行整合生成所述计费规则。
具体的,所述依据所述结构化信息表中的合同标识信息对所述结构化信息表进行整合生成所述计费规则,包括:
判断所述基准计费规则中是否包含当前合同文件的合同标识信息;
若所述基准计费规则中不包含当前合同文件的合同标识信息,则将当前合同文件的结构化信息表中的各个目标字段插入到所述基准计费规则中,生成所述计费规则;
若所述基准计费规则中包含当前合同文件的合同标识信息,则将当前合同文件的结构化信息表中的各个目标字段更新到所述基准计费规则中,生成所述计费规则。
优选的,还包括:
接收每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的与所述基准科目不匹配的字段;
依据所述与所述基准科目不匹配的字段调整所述基准计费规则。
具体的,还包括:
获取预置时间段内相同科目与不同科目的数量的比值,若该比值小于预设阈值,则调整所述结构化处理模型。
具体的,还包括:
获取预置时间段内不同科目的科目内容;
依据所述不同科目的科目内容对不同的科目进行分类并统计;
依据统计结果调整所述结构化处理模型。
具体的,所述若所述不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息,包括:
若所述不同的计费规则中存在不相同的科目,则提取不相同的科目;
将所述不相同的科目进行标注或者弹窗展示于用户界面。
第二方面,本发明提供一种计费规则的智能录入装置,所述方法包括:
导入模块,用于导入合同文件;
调用模块,用于调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则;
比对模块,用于比对所述至少两个不同的计费规则中所包含的各个科目;
生成模块,用于若所述不同的计费规则中的科目相同,则将所述计费规则录入系统;若所述不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息。
第三方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现第一方面中任一项所述计费规则的智能录入方法的步骤。
第四方面,本发明提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如第一方面中任一项权利要求所述计费规则的智能录入方法的步骤。
相对于现有技术,本发明的技术方案至少具备如下优点:
1、本发明提供一种计费规则的智能录入方法,通过导入合同文件;调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则;比对所述至少两个不同的计费规则中所包含的各个科目;若不同的计费规则中的科目相同,则将所述计费规则录入系统;若不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息。本发明通过至少两个结构化处理模型基于阅读理解能力对输入的合同文件进行梳理生成不同的计费规则,再通过比对生成的不同的计费规则,对生成的计费规则进行校验,校验通过时,则自动录入系统;否则,进行提示,实现合同信息的高效、快速、高准确率的智能录入。
2、本发明通过调用不同的结构化处理模型;接收每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的结构化信息表;依据所述结构化信息表中的合同标识信息对所述结构化信息表进行整合生成所述计费规则。其中,所述不同的结构化处理模型都是通过预先训练好的基于阅读理解能力的结构化处理模型。本发明通过拍照或是扫描将合同文件上传,通过调用两种结构化处理模型接口,设定好对应的结构化信息后,两种结构化处理模型会自动做相关信息检索提取,按照结构化的信息回填对应的值,实现合同信息的智能录入。
3、本发明实施例中,当检测到所述不同的计费规则中存在不相同的科目,则提取不相同的科目,并将所述不相同的科目进行标注或者弹窗展示于用户界面,实现对合同信息提取有误的情况下的报错提示,以便相关人员进行再次审核。
附图说明
图1为一个实施例中计费规则的智能录入方法流程图;
图2为一个实施例中计费规则的智能录入装置结构框图;
图3为一个实施例中计算机设备的内部结构框图。
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如S11、S12等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本领域普通技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域普通技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例提供一种计费规则的智能录入方法,如图1所示,所述方法包括以下步骤:
S11、导入合同文件。
本发明实施例中,所述合同文件可以是合同的照片、合同的扫描件、以及PDF、Excel文件或word形式的合同文本信息。本发明可以通过上传合同的文本信息或者通过拍照或是扫描的方式将合同文件全部上传,通过调用两种结构化处理模型接口,设定好对应的标准结构化信息后,所述结构化处理模型会自动做相关信息检索提取,按照所述标准结构化的信息对所述合同文件进行结构化梳理。
S12、调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则。
本发明实施例中,所述结构化处理模型可以包括两个或者两个以上,本发明优选调用两个结构化处理模型对所述合同文件进行处理。具体的,所述结构化处理模型包括第一结构化处理模型以及第二结构化处理模型,其中,所述第一结构化处理模型以及所述第二结构化处理模型为两套算法不同的处理模型,其均可以不同程度地对所述合同文件进行结构化处理。本发明基于两套模型对合同文件进行处理,并比对两个模型的处理结果以判断处理结果的准确性。
本发明实施例中,所述结构化处理模型具体通过阅读理解能力对所述合同文件进行信息梳理。阅读理解能力(reading comprehension)是自然语言处理(NLP)中较为活跃的一个研究方向。NLP是人工智能的一个分支,用于分析,理解和生成自然语言,以便方便人和计算机设备进行交流,方便人与人之间的交流。本发明所述阅读理解能力,具体涉及信息检索和信息抽取的能力。简而言之,就是录入一段文字或者一本书,通过提问或是关键字检索,就可自动返回文章中相关的信息。本发明基于该阅读理解能力,将合同扫描进去后,通过结构化的信息,可抽取出想要的关键信息项。
本发明实施例中,在对所述合同文件进行处理之前还包括:预先训练第一结构化处理模型以及第二结构化处理模型,具体通过通过输入多个样本信息,对样本信息进行关键词检索,获取想要的字段信息。
进一步的,本发明实施例中,还包括预先建立基准计费规则,所述基准计费规则中包含多个基准科目。其中,一种的可能的设计中,所述基准计费规则以表格的形式进行展示。本发明实施例中,所述基准计费规则的表格形式包括若干个子表,所述各个子表中包括若干个基准科目,所述计费规则的子表至少包括合同基础信息表、产品列表以及缴费计划表等。其中,所述合同基础信息表中可以包括如下基准科目:合同编号、合同录入时间、是否开票、机构名称、付费方式以及付费周期等基准科目。所述产品列表中可以包括各个收费产品。所述缴费计划表中可以包括如下基准科目:费用类型、机构应缴费时间、应缴费金额、逾期天数以及实际缴费时间等信息。
本发明实施例中,所述调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则,具体通过以下方案实现:
其一、调用不同的结构化处理模型,其中,不同的结构化处理模型至少包括所述第一结构化处理模型以及所述第二结构化处理模型。
其二、接收每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的结构化信息表。
本发明实施例中,将所述基准计费规则以及所述合同文件输入至所述结构化处理模型,所述每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的结构化信息表,具体包括:
1,提取所述基准计费规则中的各个子表,提取各个子表中的关键字段,所述关键字段可以依据所述各个子表中包含的基准科目而定,例如,所述合同基础信息表中包含基准科目“合同编号”,则所述结构化处理模型则以所述“合同编号”为关键字段对所述合同文件进行检索。
2,依据所述关键字段对所述合同文件中的内容进行检索并提取所述合同文件中与所述关键字段匹配的目标字段。
一种可能的设计中,所述结构化处理模型可以将所述合同文件中的各个字段与所述关键字段进行匹配,计算对应的匹配度,当某个字段与所述关键字段的匹配度大于预设阈值时,则判断该字段为所述目标字段。对所述目标字段进行梳理生成对应的结构化信息表,其中,各个结构化信息表中包含若干个对应的目标字段。
请参考下表1,表1为一种可能的设计中,所述结构化处理模型输出的一种结构化信息表,该结构化信息表为合同基本信息表。
表1合同基本信息表
如上表1所示,该结构化信息表为合同基本信息表,该合同基本信息表中包含合同编号、机构名称、付费方式、结算周期以及付款时长等目标字段。
请参考下表2,表2为另一种结构化信息表,该结构化信息表为计费补充信息表。
表2计费补充信息表
如上表2所示,在该计费补充信息表中包含计费开始时间、计费结束时间以及市场折扣等目标字段。
其三、依据所述结构化信息表中的合同标识信息对所述结构化信息表进行整合生成所述计费规则。
具体的,本发明通过判断所述基准计费规则中是否包含当前合同文件的合同标识信息;若所述基准计费规则中不包含当前合同文件的合同标识信息,则将当前合同文件的结构化信息表中的各个目标字段插入到所述基准计费规则中,生成所述计费规则;若所述基准计费规则中包含当前合同文件的合同标识信息,则将当前合同文件的结构化信息表中的各个目标字段更新到所述基准计费规则中,生成所述计费规则。
一种可能的设计中,所述计费规则以表格的形式输出,所述计费规则的表格形式包括若干个子表,其中,各个子表中包含若干个科目,所述科目依据所述结构化信息表中的目标字段而定。
具体的,所述计费规则以表格的形式输出,其中,所述计费规则包括三个子表,所述三个子表分别为合同基本信息表、产品列表以及缴费计划表。具体的,所述合同基本信息表中包含合同编号、录入时间、预付款总额以及预充值等科目,所述产品列表中包含收费产品、计费时间以及录入时间等科目。所述缴费计划表中包含费用类型、机构应缴款时间以及应缴金额等科目。
优选的,本发明还可以依据每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的结果调整所述基准计费规则。具体的,本发明可以接收每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的与所述基准科目不匹配的字段;依据所述与所述基准科目不匹配的字段调整所述基准计费规则。例如,一种可能的应用场景中,导入新的合同文件,所述新的合同文件中存在与所述基准计费规则中不同的字段,则需要将该不同的字段加入所述基准计费规则中以更新所述基准计费规则。
S13、比对所述至少两个不同的计费规则中所包含的各个科目。
本发明实施例中,所述比对所述不同的计费规则中所包含的各个科目,具体通过提取所述不同的计费规则中包含的各个科目;将对应的科目进行一一比对,其中,所述科目包括以下任意一项或多项:合同标识信息、合同录入时间、是否开票、机构名称、付费方式以及付费周期等。
本发明实施例中,分别提取所述计费规则表中的各个科目,比对各个科目的内容,以对所述合同文件进行审核。若各个科目的内容一致,则判断所述合同文件审核通过,否则判断所述合同文件审核不通过。
本发明实施例中,可以优选两个不同的结构化处理模型对所述合同文件进行处理,生成两个计费规则。另一种实施例中,本发明也可以选用两个以上的结构化处理模型对所述合同文件进行处理生成对应的计费规则表。理论上来说,选用的结构化处理模型的个数越多,则合同的审核精度越高。然而,本发明综合成本以及精度两个参数的考虑,优选两个模型进行处理,以在可控的成本范围内以最高的精度对合同文件进行审核。
S14、若不同的计费规则中的科目相同,则将所述目标计费规则录入系统;若不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息。
本发明实施例中,若所述不同的计费规则中存在不相同的科目,则提取不相同的科目;将所述不相同的科目进行标注或者弹窗展示于用户界面。
本发明实施例中,若所述不同的计费规则中的科目相同,则判断所述合同文件审核通过,则自动将所述计费规则录入系统,否则,判断所述合同文件审核不通过。当判断所述不同的计费规则中存在不相同的科目时,则提取所述不相同的科目,并依据所述不相同的科目生成提示信息。其中,所述提示信息可以为高亮显示所述不相同的科目或者对所述不相同的科目进行字体标注或其他标注、或者弹窗显示所述不相同的科目,以提示相关人员对所述不相同的科目进行再次审核以及修改。
另一种实施例中,本发明还可以依据所述计费规则中的缴费计划,判断当前是否达到缴费日期,若当前已经到达缴费日期并且还未缴费或者客户已经逾期预设时间段未交费则输出缴费提示信息以提醒相关人员催促客户缴费。
另一种实施例中,本发明还包括获取预置时间段内相同科目与不同科目的数量的比值,若该比值小于预设阈值,则调整所述结构化处理模型。
另一种实施例中,本发明还包括获取预置时间段内不同科目的科目内容依据所述不同科目的科目内容对不同的科目进行分类并统计;依据统计结果调整所述结构化处理模型。
请参考图3,在另一种实施例中,本发明提供了一种计费规则的智能录入装置,包括:
导入模块11,用于导入合同文件。
本发明实施例中,所述合同文件可以是合同的照片、合同的扫描件、以及PDF、Excel文件或word形式的合同文本信息。本发明可以通过上传合同的文本信息或者通过拍照或是扫描的方式将合同文件全部上传,通过调用两种结构化处理模型接口,设定好对应的标准结构化信息后,所述结构化处理模型会自动做相关信息检索提取,按照所述标准结构化的信息对所述合同文件进行结构化梳理。
调用模块12,用于调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则。
本发明实施例中,所述结构化处理模型可以包括两个或者两个以上,本发明优选调用两个结构化处理模型对所述合同文件进行处理。具体的,所述结构化处理模型包括第一结构化处理模型以及第二结构化处理模型,其中,所述第一结构化处理模型以及所述第二结构化处理模型为两套算法不同的处理模型,其均可以不同程度地对所述合同文件进行结构化处理。本发明基于两套模型对合同文件进行处理,并比对两个模型的处理结果以判断处理结果的准确性。
本发明实施例中,所述结构化处理模型具体通过阅读理解能力对所述合同文件进行信息梳理。阅读理解能力(reading comprehension)是自然语言处理(NLP)中较为活跃的一个研究方向。NLP是人工智能的一个分支,用于分析,理解和生成自然语言,以便方便人和计算机设备进行交流,方便人与人之间的交流。本发明所述阅读理解能力,具体涉及信息检索和信息抽取的能力。简而言之,就是录入一段文字或者一本书,通过提问或是关键字检索,就可自动返回文章中相关的信息。本发明基于该阅读理解能力,将合同扫描进去后,通过结构化的信息,可抽取出想要的关键信息项。
本发明实施例中,在对所述合同文件进行处理之前还包括:预先训练第一结构化处理模型以及第二结构化处理模型,具体通过通过输入多个样本信息,对样本信息进行关键词检索,获取想要的字段信息。
进一步的,本发明实施例中,还包括预先建立基准计费规则,所述基准计费规则中包含多个基准科目。其中,一种的可能的设计中,所述基准计费规则以表格的形式进行展示。本发明实施例中,所述基准计费规则的表格形式包括若干个子表,所述各个子表中包括若干个基准科目,所述计费规则的子表至少包括合同基础信息表、产品列表以及缴费计划表等。其中,所述合同基础信息表中可以包括如下基准科目:合同编号、合同录入时间、是否开票、机构名称、付费方式以及付费周期等基准科目。所述产品列表中可以包括各个收费产品。所述缴费计划表中可以包括如下基准科目:费用类型、机构应缴费时间、应缴费金额、逾期天数以及实际缴费时间等信息。
本发明实施例中,所述调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则,具体通过以下方案实现:
其一、调用不同的结构化处理模型,其中,不同的结构化处理模型至少包括所述第一结构化处理模型以及所述第二结构化处理模型。
其二、接收每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的结构化信息表。
本发明实施例中,将所述基准计费规则以及所述合同文件输入至所述结构化处理模型,所述每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的结构化信息表,具体包括:
1,提取所述基准计费规则中的各个子表,提取各个子表中的关键字段,所述关键字段可以依据所述各个子表中包含的基准科目而定,例如,所述合同基础信息表中包含基准科目“合同编号”,则所述结构化处理模型则以所述“合同编号”为关键字段对所述合同文件进行检索。
2,依据所述关键字段对所述合同文件中的内容进行检索并提取所述合同文件中与所述关键字段匹配的目标字段。
一种可能的设计中,所述结构化处理模型可以将所述合同文件中的各个字段与所述关键字段进行匹配,计算对应的匹配度,当某个字段与所述关键字段的匹配度大于预设阈值时,则判断该字段为所述目标字段。对所述目标字段进行梳理生成对应的结构化信息表,其中,各个结构化信息表中包含若干个对应的目标字段。
请参考上表1,表1为一种可能的设计中,所述结构化处理模型输出的一种结构化信息表,该结构化信息表为合同基本信息表。
如上表1所示,该结构化信息表为合同基本信息表,该合同基本信息表中包含合同编号、机构名称、付费方式、结算周期以及付款时长等目标字段。
请参考上表2,表2为另一种结构化信息表,该结构化信息表为计费补充信息表。如上表2所示,在该计费补充信息表中包含计费开始时间、计费结束时间以及市场折扣等目标字段。
其三、依据所述结构化信息表中的合同标识信息对所述结构化信息表进行整合生成所述计费规则。
具体的,本发明通过判断所述基准计费规则中是否包含当前合同文件的合同标识信息;若所述基准计费规则中不包含当前合同文件的合同标识信息,则将当前合同文件的结构化信息表中的各个目标字段插入到所述基准计费规则中,生成所述计费规则;若所述基准计费规则中包含当前合同文件的合同标识信息,则将当前合同文件的结构化信息表中的各个目标字段更新到所述基准计费规则中,生成所述计费规则。
一种可能的设计中,所述计费规则以表格的形式输出,所述计费规则的表格形式包括若干个子表,其中,各个子表中包含若干个科目,所述科目依据所述结构化信息表中的目标字段而定。
具体的,所述计费规则以表格的形式输出,其中,所述计费规则包括三个子表,所述三个子表分别为合同基本信息表、产品列表以及缴费计划表。具体的,所述合同基本信息表中包含合同编号、录入时间、预付款总额以及预充值等科目,所述产品列表中包含收费产品、计费时间以及录入时间等科目。所述缴费计划表中包含费用类型、机构应缴款时间以及应缴金额等科目。
优选的,本发明还可以依据每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的结果调整所述基准计费规则。具体的,本发明可以接收每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的与所述基准科目不匹配的字段;依据所述与所述基准科目不匹配的字段调整所述基准计费规则。例如,一种可能的应用场景中,导入新的合同文件,所述新的合同文件中存在与所述基准计费规则中不同的字段,则需要将该不同的字段加入所述基准计费规则中以更新所述基准计费规则。
比对模块13,用于比对所述至少两个不同的计费规则中所包含的各个科目。
本发明实施例中,所述比对所述不同的计费规则中所包含的各个科目,具体通过提取所述不同的计费规则中包含的各个科目;将对应的科目进行一一比对,其中,所述科目包括以下任意一项或多项:合同标识信息、合同录入时间、是否开票、机构名称、付费方式以及付费周期等。
本发明实施例中,分别提取所述计费规则表中的各个科目,比对各个科目的内容,以对所述合同文件进行审核。若各个科目的内容一致,则判断所述合同文件审核通过,否则判断所述合同文件审核不通过。
本发明实施例中,可以优选两个不同的结构化处理模型对所述合同文件进行处理,生成两个计费规则。另一种实施例中,本发明也可以选用两个以上的结构化处理模型对所述合同文件进行处理生成对应的计费规则表。理论上来说,选用的结构化处理模型的个数越多,则合同的审核精度越高。然而,本发明综合成本以及精度两个参数的考虑,优选两个模型进行处理,以在可控的成本范围内以最高的精度对合同文件进行审核。
生成模块14,用于若不同的计费规则中的科目相同,则将所述目标计费规则录入系统;若不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息。
本发明实施例中,若所述不同的计费规则中存在不相同的科目,则提取不相同的科目;将所述不相同的科目进行标注或者弹窗展示于用户界面。
本发明实施例中,若所述不同的计费规则中的科目相同,则判断所述合同文件审核通过,则自动将所述计费规则录入系统,否则,判断所述合同文件审核不通过。当判断所述不同的计费规则中存在不相同的科目时,则提取所述不相同的科目,并依据所述不相同的科目生成提示信息。其中,所述提示信息可以为高亮显示所述不相同的科目或者对所述不相同的科目进行字体标注或其他标注、或者弹窗显示所述不相同的科目,以提示相关人员对所述不相同的科目进行再次审核以及修改。
另一种实施例中,本发明还可以依据所述计费规则中的缴费计划,判断当前是否达到缴费日期,若当前已经到达缴费日期并且还未缴费或者客户已经逾期预设时间段未交费则输出缴费提示信息以提醒相关人员催促客户缴费。
另一种实施例中,本发明还包括获取预置时间段内相同科目与不同科目的数量的比值,若该比值小于预设阈值,则调整所述结构化处理模型。
另一种实施例中,本发明还包括获取预置时间段内不同科目的科目内容依据所述不同科目的科目内容对不同的科目进行分类并统计;依据统计结果调整所述结构化处理模型。
在另一种实施例中,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现任一项技术方案所述的计费规则的智能录入方法。其中,所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(RandomAcceSS Memory,随即存储器)、EPROM(EraSable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储设备包括由设备(例如,计算机、手机)以能够读的形式存储或传输信息的任何介质,可以是只读存储器,磁盘或光盘等。
本发明实施例提供的一种计算机可读存储介质,可实现1、导入合同文件;调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则;比对所述至少两个不同的计费规则中所包含的各个科目;若不同的计费规则中的科目相同,则将所述计费规则录入系统;若不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息。本发明通过至少两个结构化处理模型基于阅读理解能力对输入的合同文件进行梳理生成不同的计费规则,再通过比对生成的不同的计费规则,对生成的计费规则进行校验,校验通过时,则自动录入系统;否则,进行提示,实现合同信息的高效、快速、高准确率的智能录入。
此外,在又一种实施例中,本发明提供了一种计算机设备,如图3所示,所述计算机设备包括处理器303、存储器305、输入单元307以及显示单元309等器件。本领域技术人员可以理解,图3示出的结构器件并不构成对所有计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件。存储器305可用于存储应用程序301以及各功能模块,处理器303运行存储在存储器305的应用程序301,从而执行设备的各种功能应用以及数据处理。存储器305可以是内存储器或外存储器,或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器305只作为例子而非作为限定。
输入单元307用于接收信号的输入,以及接收用户输入的关键字。输入单元307可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并根据预先设定的程序驱动相应的连接装置;其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元309可用于显示用户输入的信息或提供给用户的信息以及计算机设备的各种菜单。显示单元309可采用液晶显示器、有机发光二极管等形式。处理器303是计算机设备的控制中心,利用各种接口和线路连接整个电脑的各个部分,通过运行或执行存储在存储器303内的软件程序和/或模块,以及调用存储在存储器内的数据,执行各种功能和处理数据。图3中所示的一个或多个处理器303能够执行、实现图3中所示的输入模块11、识别模块12、提取模块13以及生成模块14的功能。
在一种实施方式中,所述计算机设备包括存储器305和处理器303,所述存储器305中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器303执行以上实施例所述的一种计费规则的智能录入方法的步骤。
4、本发明实施例提供的一种计算机设备,可实现导入合同文件;调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则;比对所述至少两个不同的计费规则中所包含的各个科目;若不同的计费规则中的科目相同,则将所述计费规则录入系统;若不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息。本发明通过至少两个结构化处理模型基于阅读理解能力对输入的合同文件进行梳理生成不同的计费规则,再通过比对生成的不同的计费规则,对生成的计费规则进行校验,校验通过时,则自动录入系统;否则,进行提示,实现合同信息的高效、快速、高准确率的智能录入。
另一种实施例中,本发明还可以实现调用不同的结构化处理模型;接收每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的结构化信息表;依据所述结构化信息表中的合同标识信息对所述结构化信息表进行整合生成所述计费规则。其中,所述不同的结构化处理模型都是通过预先训练好的基于阅读理解能力的结构化处理模型。本发明通过拍照或是扫描将合同文件上传,通过调用两种结构化处理模型接口,设定好对应的结构化信息后,两种结构化处理模型会自动做相关信息检索提取,按照结构化的信息回填对应的值,实现合同信息的智能录入。
本发明实施例提供的计算机可读存储介质可以实现上述计费规则的智能录入方法的实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种计费规则的智能录入方法,其特征在于,所述方法包括:
导入合同文件;
调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则;
比对所述至少两个不同的计费规则中所包含的各个科目;
若不同的计费规则中的科目相同,则将所述计费规则录入系统;若不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息。
2.根据权利要求1所述的计费规则的智能录入方法,其特征在于,所述调用预先训练的不同的结构化处理模型对所述合同文件进行处理,对应生成不同的计费规则,包括:
预先建立基准计费规则,所述基准计费规则中包含多个基准科目;
调用不同的结构化处理模型;
接收每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的结构化信息表,其中,所述结构化信息表中包含若干个与所述基准科目匹配的目标字段;
依据所述结构化信息表中的合同标识信息对所述结构化信息表进行整合生成所述计费规则。
3.根据权利要求2所述的计费规则的智能录入方法,其特征在于,所述依据所述结构化信息表中的合同标识信息对所述结构化信息表进行整合生成所述计费规则,包括:
判断所述基准计费规则中是否包含当前合同文件的合同标识信息;
若所述基准计费规则中不包含当前合同文件的合同标识信息,则将当前合同文件的结构化信息表中的各个目标字段插入到所述基准计费规则中,生成所述计费规则;
若所述基准计费规则中包含当前合同文件的合同标识信息,则将当前合同文件的结构化信息表中的各个目标字段更新到所述基准计费规则中,生成所述计费规则。
4.根据权利要求2所述的计费规则的智能录入方法,其特征在于,还包括:
接收每个结构化处理模型依据所述基准科目对所述合同文件进行梳理得到的与所述基准科目不匹配的字段;
依据所述与所述基准科目不匹配的字段调整所述基准计费规则。
5.根据权利要求1所述的计费规则的智能录入方法,其特征在于,还包括:
获取预置时间段内相同科目与不同科目的数量的比值,若该比值小于预设阈值,则调整所述结构化处理模型。
6.根据权利要求1所述的计费规则的智能录入方法,其特征在于,还包括:
获取预置时间段内不同科目的科目内容;
依据所述不同科目的科目内容对不同的科目进行分类并统计;
依据统计结果调整所述结构化处理模型。
7.根据权利要求1所述的计费规则的智能录入方法,其特征在于,所述若所述不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息,包括:
若所述不同的计费规则中存在不相同的科目,则提取不相同的科目;
将所述不相同的科目进行标注或者弹窗展示于用户界面。
8.一种计费规则的智能录入装置,其特征在于,所述方法包括:
导入模块,用于导入合同文件;
调用模块,用于调用预先训练的至少两个不同的结构化处理模型对所述合同文件进行处理,对应生成至少两个不同的计费规则;
比对模块,用于比对所述至少两个不同的计费规则中所包含的各个科目;
生成模块,用于若所述不同的计费规则中的科目相同,则将所述计费规则录入系统;若所述不同的计费规则中存在不相同的科目,则依据所述不相同的科目生成提示信息。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现权利要求1至7中任一项所述计费规则的智能录入方法的步骤。
10.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项权利要求所述计费规则的智能录入方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910440481.0A CN110321924A (zh) | 2019-05-24 | 2019-05-24 | 计费规则的智能录入方法、介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910440481.0A CN110321924A (zh) | 2019-05-24 | 2019-05-24 | 计费规则的智能录入方法、介质及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110321924A true CN110321924A (zh) | 2019-10-11 |
Family
ID=68119018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910440481.0A Pending CN110321924A (zh) | 2019-05-24 | 2019-05-24 | 计费规则的智能录入方法、介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110321924A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353745A (zh) * | 2020-03-11 | 2020-06-30 | 上海东普信息科技有限公司 | 运单结算管控方法、系统、计算机设备和存储介质 |
CN116091010A (zh) * | 2023-04-10 | 2023-05-09 | 北京凌华峰通信技术有限公司 | 连锁企业网络设备运营管理方法、装置、电子设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170076342A1 (en) * | 2015-09-15 | 2017-03-16 | Sap Se | Duplicate check based on generated hash value |
US20180144261A1 (en) * | 2016-11-18 | 2018-05-24 | NantOmics, LLC. | Methods and systems for predicting dna accessibility in the pan-cancer genome |
CN108280626A (zh) * | 2018-01-30 | 2018-07-13 | 深圳壹账通智能科技有限公司 | 合同数据处理方法、装置、计算机设备和存储介质 |
CN108647319A (zh) * | 2018-05-10 | 2018-10-12 | 思派(北京)网络科技有限公司 | 一种基于短文本聚类的标注系统及其方法 |
US20190005012A1 (en) * | 2017-06-30 | 2019-01-03 | Accenture Global Solutions Limited | Document processing |
-
2019
- 2019-05-24 CN CN201910440481.0A patent/CN110321924A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170076342A1 (en) * | 2015-09-15 | 2017-03-16 | Sap Se | Duplicate check based on generated hash value |
US20180144261A1 (en) * | 2016-11-18 | 2018-05-24 | NantOmics, LLC. | Methods and systems for predicting dna accessibility in the pan-cancer genome |
US20190005012A1 (en) * | 2017-06-30 | 2019-01-03 | Accenture Global Solutions Limited | Document processing |
CN108280626A (zh) * | 2018-01-30 | 2018-07-13 | 深圳壹账通智能科技有限公司 | 合同数据处理方法、装置、计算机设备和存储介质 |
CN108647319A (zh) * | 2018-05-10 | 2018-10-12 | 思派(北京)网络科技有限公司 | 一种基于短文本聚类的标注系统及其方法 |
Non-Patent Citations (3)
Title |
---|
JUN WANG 等: "Structuring Relevant Feature Sets with Multiple Model Learning", ARXIV, 5 September 2012 (2012-09-05), pages 1 - 9 * |
李淑雯;郭燕莹;韦树盛;朱光炜;: "智能监控系统在医院医保费用控制中的应用效果评价", 医院管理论坛, no. 04, 20 April 2019 (2019-04-20), pages 70 - 79 * |
赖郁婷 等: "D-Reader:一种以全文预测的阅读理解模型", 中文信息学报, no. 11, 15 November 2018 (2018-11-15), pages 140 - 147 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353745A (zh) * | 2020-03-11 | 2020-06-30 | 上海东普信息科技有限公司 | 运单结算管控方法、系统、计算机设备和存储介质 |
CN111353745B (zh) * | 2020-03-11 | 2023-09-29 | 上海东普信息科技有限公司 | 运单结算管控方法、系统、计算机设备和存储介质 |
CN116091010A (zh) * | 2023-04-10 | 2023-05-09 | 北京凌华峰通信技术有限公司 | 连锁企业网络设备运营管理方法、装置、电子设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163478A (zh) | 一种合同条款的风险审查方法及装置 | |
CN109583827A (zh) | 发票核对方法、装置、计算机设备及存储介质 | |
CN107705020A (zh) | 一种全过程智能工程监理信息管控系统 | |
CN109344382A (zh) | 审核合同的方法、装置、电子设备及计算机可读存储介质 | |
CN109360084A (zh) | 征信违约风险的评估方法及装置、存储介质、计算机设备 | |
CN110321924A (zh) | 计费规则的智能录入方法、介质及计算机设备 | |
CN111078880B (zh) | 子应用的风险识别方法以及装置 | |
CN107103218A (zh) | 一种业务实现方法和装置 | |
CN110427542A (zh) | 分类网络训练及数据标注方法和装置、设备、介质 | |
CN109543444A (zh) | 一种文件签署方法、装置、存储介质和服务器 | |
CN109670824A (zh) | 电子账本的生成方法、装置、设备及存储介质 | |
CN108876076A (zh) | 基于指令数据的个人信用评分方法及装置 | |
CN107358411A (zh) | 矫正人员管理方法及装置 | |
CN109345285A (zh) | 一种活动的投放方法、装置及设备 | |
CN109359113A (zh) | 纳税报表核对方法、装置及存储介质、服务器 | |
CN110046981A (zh) | 一种信用评估方法、装置及存储介质 | |
CN107194627A (zh) | 报销单审核方法及装置 | |
CN109558101A (zh) | 财务信息动态显示方法、装置及存储介质、服务器 | |
CN110532359A (zh) | 法律条文查询方法、装置、计算机设备和存储介质 | |
CN109785966A (zh) | 基于机器学习的病案审核方法、装置、设备及存储介质 | |
CN110211249A (zh) | 一种支持多种支付方式的停车场缴费方法和装置 | |
CN114566159A (zh) | 一种基于校核操作的电气票流转方法及装置 | |
CN109741077A (zh) | 售后索赔结算方法、设备及存储介质 | |
CN109784271A (zh) | 视频会议风控方法及计算机可读存储介质 | |
CN109785155A (zh) | 基于医保报销模型调整医保策略的方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |