CN116451646A - 一种标准草案检测方法、系统、电子设备及存储介质 - Google Patents

一种标准草案检测方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN116451646A
CN116451646A CN202310454344.9A CN202310454344A CN116451646A CN 116451646 A CN116451646 A CN 116451646A CN 202310454344 A CN202310454344 A CN 202310454344A CN 116451646 A CN116451646 A CN 116451646A
Authority
CN
China
Prior art keywords
standard
standard draft
detected
draft
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310454344.9A
Other languages
English (en)
Inventor
沈佳妮
叶琪
李静文
阮彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Health Statistics Center
East China University of Science and Technology
Original Assignee
Shanghai Health Statistics Center
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Health Statistics Center, East China University of Science and Technology filed Critical Shanghai Health Statistics Center
Priority to CN202310454344.9A priority Critical patent/CN116451646A/zh
Publication of CN116451646A publication Critical patent/CN116451646A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开一种标准草案检测方法、系统、电子设备及存储介质，涉及标准草案检测领域，首先对待检测标准草案依据组成部分进行分段，然后利用ChatGPT模型，结合标准问题，对每段待检测文本内容进行规范性检测，确定待检测标准草案的编写是否规范。本发明考虑到标准的组成结构和专业表达对标准质量的影响，并且避免通过标准化专家根据标准要求逐项检测，指导标准草案撰写人员反复修改，减少了人力资源，提高了标准草案的检测效率。

Description

一种标准草案检测方法、系统、电子设备及存储介质
技术领域
本发明涉及标准草案检测领域，特别是涉及一种标准草案检测方法、系统、电子设备及存储介质。
背景技术
随着中国的标准体系建设在不断的完善，已经制定了国家、地方、行业等各类标准。据统计截至2022年底，国家标准4.2万项，备案行业标准7.8万多项；地方标准6.2万多项；自我声明公开团体标准4.9万多项；企业标准260多万项。此外，随着日益激烈的科技竞争，国家对标准化工作的重视，未来几年还会产生庞大数量的各类标准。
标准作为科学技术为依据制定的技术行为准则，可以对各项工作与活动进行有效地指导、监督和管理。它的编写有着严格的规范。然而，撰写标准草案的人员并非是标准化专家，对于标准的了解不够深入，编写的标准草案难以符合标准规范。为了提高标准撰写的规范性，保证标准草案的立项和批准，标准草案的规范性校验成为标准化工作中必不可少的一个环节。
校验过程通常由标准化专家根据标准要求逐项检测，指导标准草案撰写人员反复修改，整个规范化校验过程需要浪费大量的人力资源和时间。
目前缺乏针对标准草案的规范性检测方法，相似的现有技术主要针对论文的质量进行评价。部分研究者采用统计的方法，将计算的论文中各元素(题目、作者、单位、中文摘要等)数量，与预置的各元素标准数量进行对比评价。部分研究者利用分词工具对论文中词频进行统计，依据制定的评价标准细则，对论文的质量进行评估。此外，还有研究者构建指标体系，利用词性提取、相异词计算、句法分析等进行文本分析，根据文本分析结果评价文本质量。这些研究不是针对标准文本质量评估开展的研究，没有考虑到标准的组成结构和专业表达对标准质量的影响。此外，现有技术必须预先设定评价体系，灵活性不足，无法交互式学习出评价体系，也无法提供详细的评价和建议。总之，现有技术无法解决标准草案规范性检测的问题。
发明内容
本发明的目的是提供一种标准草案检测方法、系统、电子设备及存储介质，以提高对标准草案规范性的检测效率。
为实现上述目的，本发明提供了如下方案：
一种标准草案检测方法，包括：
获取待检测标准草案；
对所述待检测标准草案的组成部分进行分段，得到多段待检测文本内容；所述组成部分包括封面、目次、前言、范围、规范性引用文件、术语和定义；
基于ChatGPT模型以及标准问题，对每段所述待检测文本内容进行检测，得到检测结果；所述检测结果为标准或者不标准；所述标准问题是基于ChatGPT模型、提示和初始问题对标准草案样本进行检测的检测结果确定的；所述提示包括多个子提示；所述子提示是基于标准草案样本以及元语言生成模式、模板模式、语法分析模式、翻转交互模式、问题细化模式、问题完善模式、反思模式和重新表达模式确定的；所述初始问题包括多个初始子问题；所述初始子问题是专家根据所述标准草案样本依据具体情况进行审查得出。
可选地，所述标准问题的确定过程，具体包括：
获取所述标准草案样本；
对所述标准草案样本的组成部分进行分段，得到多段样本文本内容；
将一段所述样本文本内容和对应的所述子提示和所述初始子问题输入至所述ChatGPT模型，得到当前段所述样本文本内容的检测结果；
将当前段所述样本文本内容的检测结果输入至检测结果判别模型中进行判别，得到判别结果；所述判别结果为正确或者不正确；其中，所述检测结果判别模型是利用训练集对依次连接的RoBERTa模型和分类器进行训练得到的；所述训练集包括正例数据和对应的第一标签以及负例数据和对应的第二标签；所述正例数据包括专家对所述标准草案样本进行检测，检测出的不标准样本文本内容以及对应的判定理由；所述第一标签为正确；所述负例数据包括ChatGPT模型对所述标准草案样本进行检测，检测出的判定错误样本文本内容以及对应的判定理由；所述第二标签为不正确；
若所述判别结果为不正确，则调整所述初始子问题，得到调整后子问题，并将所述调整后子问题作为所述初始子问题，返回“将一段所述样本文本内容和对应的所述子提示和所述初始子问题输入至所述ChatGPT模型，得到当前段所述样本文本内容的检测结果”的步骤；
若所述判别结果为正确，则将所述初始子问题作为当前段所述样本文本内容的标准子问题，返回“将一段所述样本文本内容和对应的所述子提示和所述初始子问题输入至所述ChatGPT模型，得到当前段所述样本文本内容的检测结果”的步骤，对下一段所述样本文本内容进行检测；
根据每段所述样本文本内容的标准子问题，确定所述标准问题。
可选地，利用训练集对依次连接的RoBERTa模型和分类器进行训练，具体包括：
构建所述训练集；
利用所述RoBERTa模型，将所述正例数据或者所述负例数据转换为向量；
利用所述分类器对所述向量进行预测，得到预测结果；
计算所述预测结果与所述第一标签或者所述第二标签的交叉熵损失；
根据所述交叉熵损失对所述分类器进行优化，得到检测结果判别模型。
可选地，所述分类器为：
Psiy＝softmax(RoBERTac(y,θ))；其中，P表示预测结果；y表示所述正例数据或者所述负例数据；θ表示分类器的参数；si代表第一标签或者第二标签；c表示分类器模型。
可选地，对所述待检测标准草案的组成部分进行分段，得到多段待检测文本内容，之前还包括：
对所述待检测标准草案的内容排版、段落格式和字体格式进行初始检查，得到初始检查后的标准草案；
根据所述组成部分对所述初始检查后的标准草案进行分段，得到多段待检测文本内容。
可选地，对所述待检测标准草案的内容排版、段落格式和字体格式进行初始检查，得到初始检查后的标准草案，具体包括：
检查待检测标准草案的层次结构和编排格式是否符合规范；
检查待检测标准草案的必备要素的构成和表述是否正确；
检查待检测标准草案的段落格式是否规范；
检查待检测标准草案的每个页面的字号字体、数学公式或图表脚注的表示形式是否正确；
检查待检测标准草案的各层次条编号是否符合规范；
若以上至少一种的检查结果为否，则对所述待检测标准草案进行修改，得到初始检查后的标准草案。
一种标准草案检测系统，包括：
数据获取模块，用于获取待检测标准草案；
分段模块，用于对所述待检测标准草案的组成部分进行分段，得到多段待检测文本内容；所述组成部分包括封面、目次、前言、范围、规范性引用文件、术语和定义；
检测模块，用于基于ChatGPT模型以及标准问题，对每段所述待检测文本内容进行检测，得到检测结果；所述检测结果为标准或者不标准；所述标准问题是基于ChatGPT模型、提示和初始问题对标准草案样本进行检测的检测结果确定的；所述提示包括多个子提示；所述子提示是基于标准草案样本以及元语言生成模式、模板模式、语法分析模式、翻转交互模式、问题细化模式、问题完善模式、反思模式和重新表达模式确定的；所述初始问题包括多个初始子问题；所述初始子问题是专家根据所述标准草案样本依据具体情况进行审查得出。
一种电子设备，包括：存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的标准草案检测方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的标准草案检测方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明的标准草案检测方法，首先对待检测标准草案依据组成部分进行分段，然后利用ChatGPT模型，结合标准问题，对每段待检测文本内容进行规范性检测，确定待检测标准草案的编写是否规范。本发明考虑到标准的组成结构和专业表达对标准质量的影响，并且避免通过标准化专家根据标准要求逐项检测，指导标准草案撰写人员反复修改，减少了人力资源，提高了标准草案的检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的标准草案检测方法流程图；
图2为本发明实施例1在实际应用中的流程图；
图3为本发明中各个模式的工作示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种标准草案检测方法、系统、电子设备及存储介质，以提高对标准草案规范性的检测效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，本发明提供的标准草案检测方法，包括：
步骤101：获取待检测标准草案。
步骤102：对所述待检测标准草案的组成部分进行分段，得到多段待检测文本内容；所述组成部分至少包括封面、目次、前言、范围、规范性引用文件、术语和定义。
作为一种可选的实施方式，步骤102，具体包括：
对所述待检测标准草案的内容排版、段落格式和字体格式进行初始检查，得到初始检查后的标准草案。
根据所述组成部分对所述初始检查后的标准草案进行分段，得到多段待检测文本内容。
在实际应用中，所述待检测标准草案的内容划分步骤，包括：首先按照目次将待检测标准草案S’进行划分，如果目次中有小标题再按照小标题划分，如果小标题对应的内容超过750个单词，以750单词为一段继续划分段落，然后对待检测标准草案的其他组成部分进行划分，得到S’＝{S1’，S2’，…Si’，…，Sn’}。
具体地，在进行分段之前包括对待检测标准草案的内容排版、段落格式和字体格式进行审查，以确保其符合标准规范的格式要求，具体包括：检验待检测标准草案的层次结构和编排格式是否符合规范，必备要素的构成和表述是否正确，以及段落格式是否规范，检查每个页面的字号字体、数学公式、图表脚注的表示形式是否正确，最后检验各层次条编号是否符合规范。
若以上至少一种的检查结果为否，则对所述待检测标准草案进行修改，得到初始检查后的标准草案。
步骤103：基于ChatGPT模型以及标准问题，对每段所述待检测文本内容进行检测，得到检测结果；所述检测结果为标准或者不标准；所述标准问题是基于ChatGPT模型、提示和初始问题对标准草案样本进行检测的检测结果确定的；所述提示包括多个子提示；所述子提示是基于标准草案样本以及元语言生成模式、模板模式、语法分析模式、翻转交互模式、问题细化模式、问题完善模式、反思模式和重新表达模式确定的；所述初始问题包括多个初始子问题；所述初始子问题是专家根据所述标准草案样本依据具体情况进行审查得出，确保标准草案的全面性和可靠性；所述标准问题包括：标准草案的可行性和有效性、标准草案是否与已有法规文件相符、标准草案是否能够满足实际需求以及标准草案的适用范围和具体细节。
作为一种可选的实施方式，所述标准问题的确定过程，具体包括：
获取所述标准草案样本。
对所述标准草案样本的组成部分进行分段，得到多段样本文本内容。
在实际应用中，如图2所示，标准问题的确定步骤如下：
S1：划分草案，用于将标准草案样本S按照内容主题划分为多段，得到S＝{S1，S2，…Si，…，Sn}，其中Si表示标准草案中一段待检验的文本内容。
S2：基于规则的提示问题Prompt的生成，利用预定义的规则生成初始子问题Pi，所述Pi用于引导ChatGPT模型理解所述待检测的段Si的检测要求，i表示当前待校段的编号。
在实际应用中，基于规则的Prompt生成步骤具体包括：利用元语言生成模式、模板模式、语法分析模式、翻转交互模式、问题细化模式、问题完善模式、反思模式、重新表达模式和上下文管理器规则生成针对Si段检测的Prompti。
其中，元语言生成模式用于描述公式、符号、或者表格。更进一步，元语言生成模式用于创建自定义语言，例如公式E、符号Sy或者表格T。在这种模式下，用户要向ChatGPT解释这种自定义语言的语义，以便可以使用这种新语言及其语义编写难以直接用语言描述的提示。当草案中某些内容无法直接用文字描述时，就需要使用元语言生成模式与其他模型搭配使用。其构造规则如下：首先需要用户向ChatGPT解释一个或多个符号、单词或语句的含义，然后要求ChatGPT使用所提供的语义进行后续对话。例如，根据元语言生成模式生成的提示可以为：从现在开始，如果我输入“Tk：元数据子集、元数据项、元数据值”，代表的是表格的第k行分别为：元数据子集、元数据项、元数据值。
模板模式用于ChatGPT的输出在结构上遵循精确的模板；模板模式用于规范化ChatGPT的输出格式，要求它的输出必须遵循用户人工设定的精确模板，并生成指定格式的内容。用户希望ChatGPT的输出格式为“X：Y”，其中X代表判定结论，用“标准”或“不标准”来回答，Y代表判定理由，用一段文本来描述。例如，在给定模板模式之后，生成的提示可以是“标准，Y1”或“不标准，Y2”，其中Y1和Y2分别代表判定的分析过程。这样的规范化输出格式有助于提高ChatGPT的输出准确性和可读性，也方便后续分析和处理。
语法分析模式用于检查语句结构是否标准，标点是否使用正确；语法分析模式用于让ChatGPT自动检查草案中语句结构和标点符号是否符合规范，它需要与模板模式搭配使用，以确保标准草案中的语言表达准确、清晰、规范。其构造规则如下：首先，用户要求ChatGPT对每个输入的句子进行语法分析，并检查其结构和标点符号是否符合规范；其次，如果某个句子不符合规范，ChatGPT应该根据预设的模板进行输出，格式为“不符合标准，建议改为：Y”，其中Y表示ChatGPT建议修改后的句子。例如，根据语法分析模式生成的提示可以为：从现在开始，我希望你检查所有语句的结构是否标准，标点是否使用正确。如果不标准，请遵循以下模板进行输出：“符合标准”或者“不符合标准，建议改为：Y”，Y表示修改后的语句。
翻转交互模式用于明确说明检测目标，询问ChatGPT模型需要哪些信息可以实现目标；翻转交互模式的目标是通过ChatGPT主导对话，专注于实现特定目标，以更快、更准确地实现用户需求。该模式遵循以下构造规则：首先，希望ChatGPT能够提供快速的测试或自动提问，直到获取足够的信息以检测草案的标准性。接下来，用户根据ChatGPT提出的问题作出回答，并要求ChatGPT汇总交互过程中的信息，以提供一个标准且全面的问题。例如，根据翻转交互模式生成的提示可以是：“请对草案中的‘前言’部分进行标准性判断。从现在开始，希望你向我提出问题直到获得足够的信息来进行判断。”。
问题细化模式用于提出检测的问题，询问ChatGPT能否提供更精细、正确的问题列表，如果ChatGPT输出有更正确的问题列表，更新问题Pi，选择更优质的问题。问题细化模式的目标是确保ChatGPT始终建议用户提出更好、更精细的问题，而不是他们最初提出的问题。该模式遵循以下构造规则：当ChatGPT认为需要做出假设才能提供答案时，要求ChatGPT提供额外信息需求，以产生更好的提示。其次，用户需要根据ChatGPT提出的请求做出回应，并要求ChatGPT直接细化提示以包含附加信息。例如，根据问题细化模式生成的提示可以是：“从现在开始，每当我就草案是否标准提出问题时，请提出更好、更精细的问题版本，并询问我是否愿意使用您的问题。”。
问题完善模式用于提出问题，询问ChatGPT能否回答问题，如果不能(信息不足)，让它提出额外需要的三个问题，并补充到原问题Pi中。问题完善模式的目标是强制ChatGPT将一个问题细分为多个问题，以提供更好的答案。当使用细分的单个问题的问题时，ChatGPT通常表现更好。构造规则如下：要求ChatGPT考虑问题的上下文，并确定可能缺失或不清楚的任何信息，生成一些额外的问题。然后，用户回答这些问题，并要求ChatGPT将单个问题的答案结合起来，汇总所有问题，得出标准性问题的最终答案。例如，根据问题完善模式生成的提示可以是：“每当我提出一个关于草案是否标准的问题时，你需要生成三个额外的问题来帮助你提供更准确的答案。在我回答这三个问题之后，请将这些答案组合起来，以完善我最初的问题。”。
反思模式用于要求模型自动向用户解释给出答案背后的原理，该模式允许用户更好地评估输出的有效性。反思模式的目标是让ChatGPT自动解释其答案背后的原理，以便用户更好地评估输出的有效性。该模式遵循以下构造规则：要求ChatGPT每次自动解释其答案的基本原理。在回答错误时，用户需要根据它提供的理由，理解模型的处理过程，并调整提示以解决问题。通过反思模式，用户可以解决任何困惑点，发现潜在假设。例如，根据反思模式生成的提示可以是：“在上述例子中，缺少文件的归口信息，你并没有识别出来，请解释其原因，并提供替代措辞以改进我的问题，以便更好地满足我的需求。”。
重新表达模式用于针对当ChatGPT拒绝回答问题时，自动构建问题的重新表述。重新表达模式的目标是在ChatGPT拒绝回答问题时自动帮助用户重新表述问题。当用户的问题措辞过于模糊或包含ChatGPT当前无法回答的知识时，ChatGPT将无法提供答案，此时就需要使用重新表达模式。该模式遵循以下构造规则：当ChatGPT无法提供答案时，要求它向用户澄清拒绝回答的原因。接着，用户对问题进行分析并重新修改问题。例如，根据重新表达模式生成的提示可以是：“如果你不能回答问题，请解释为什么无法回答，并提供一个或多个替代问题，以便我可以改进问题并获得答案。”。
上下文管理器用于当处理完草案中的一个组成部分之后快速切换到下一个组成部分的Prompt，上下文管理器中包括了一组预设的Prompt，当Si为所述标准的组成部分的第一段时，从上下文管理器中选出与之对应的Prompti。上下文管理器需要在模型训练之前预设完成，它的目的是在交互过程中，让ChatGPT将谈话重点放在特定话题上，或将无关话题排除在考虑范围之外。这种模式使用户能够更好地控制ChatGPT在生成输出时考虑或忽略哪些语句。当处理到草案中下一个主题时，用户可以快速定位到对应的标准。在标准化鉴别过程中，上下文管理器模式可以是：“在分析这段文本是否符合标准时，请参考‘范围’部分的标准。”这就需要ChatGPT快速跳转到“范围”部分的标准，并忽略不相关的话题或参考信息。
将一段所述样本文本内容和对应的所述子提示和所述初始子问题输入至所述ChatGPT模型，得到当前段所述样本文本内容的检测结果。详细过程如图3所示，针对一段待检草案，首先需要利用上下文管理器来确定该段落所属的主题，引导ChatGPT将注意力重点关注于特定主题中。然后进入翻转交互模式，获取判断标准草案所需的要素，并结合专家提出的初始问题，形成问题P1。之后，可以选择进入问题细化模式，通过ChatGPT生成更加高质、精细的问题版本；或进入问题完善模式，要求ChatGPT根据现有信息补充三个额外问题，并进行总结，从而得到更为全面、详尽的问题P2。最后，将问题P2输入至ChatGPT中，要求其根据语法分析模式检查草案的语法合理性，并按照模板模式给出正确的答案。每次ChatGPT给出的回答都要使用分类器判断其合理性。如果回答有误，则进入反思模型，要求ChatGPT自动解释回答错误的原因，并更新问题得到P3。而如果ChatGPT拒绝回答该问题，则进入重新表达模式，生成替代问题P4。如果回答正确，则退出循环，并保存标准问题以及判断结果。
S3：标准草案的检测，用于检测标准草案样本的每段Si的规范性，将生成的初始子问题Pi和待检测的段Si依次输入到ChatGPT模型中，输出规范性检测的结果Oi。
将当前段所述样本文本内容的检测结果输入至检测结果判别模型中进行判别，得到判别结果；所述判别结果为正确或者不正确；其中，所述检测结果判别模型是利用训练集对依次连接的RoBERTa模型和分类器进行训练得到的；所述训练集包括正例数据和对应的第一标签以及负例数据和对应的第二标签；所述正例数据包括专家对所述标准草案样本进行检测，检测出的不标准样本文本内容以及对应的判定理由；所述第一标签为正确；所述负例数据包括ChatGPT模型对所述标准草案样本进行检测，检测出的判定错误样本文本内容以及对应的判定理由；所述第二标签为不正确。
若所述判别结果为不正确，则调整所述初始子问题，得到调整后子问题，并将所述调整后子问题作为所述初始子问题，返回“将一段所述样本文本内容和对应的所述子提示和所述初始子问题输入至所述ChatGPT模型，得到当前段所述样本文本内容的检测结果”的步骤。
若所述判别结果为正确，则将所述初始子问题作为当前段所述样本文本内容的标准子问题，返回“将一段所述样本文本内容和对应的所述子提示和所述初始子问题输入至所述ChatGPT模型，得到当前段所述样本文本内容的检测结果”的步骤，对下一段所述样本文本内容进行检测。
S4：检验结果的判别，用于判别所述规范性检测的结果Oi的准确性，使用基于RoBERTa模型分类器进行判别。
如果Oi被判定为不正确，生成新的Pi重新检测待检测的段Si。
如果Oi被判定为正确，将Oi加入检测结果集合O中，得到O＝{O1，O2，…Oi}，接着检测标准草案的下一段Si+1。
根据每段所述样本文本内容的标准子问题，确定所述标准问题。
S5：检测结果的输出，将生成的检测最终结果O输出，所有的标准子问题汇总为P，其中，O＝{O1，O2，…，On}，P＝{P1，P2，…，Pn}。
在实际应用中，利用训练集对依次连接的RoBERTa模型和分类器进行训练，具体包括：
构建所述训练集。具体的，构造训练集的过程包括：专家检测的正例数据和由未训练的ChatGPT生成的负例数据，对于正例数据，抽取出所有不符合标准的草案文本以及专家的判定理由；对于负例数据，使用未经训练的ChatGPT对草案进行判断，并从中筛选出判定错误的文本，然后提取其对应的草案文本和判定理由，并存储到负例样本库中。定义标签s0表示判定理由合理，标签s1表示判定理由不合理，故正例样本库中的标签均为s0，负例样本库中的标签均为s1。此外，为了确保模型在训练过程中达到正负例之间的平衡，正例样本库和负例样本库的规模必须相当。
利用所述RoBERTa模型，将所述正例数据或者所述负例数据转换为向量。
利用所述分类器对所述向量进行预测，得到预测结果。
计算所述预测结果与所述第一标签或者所述第二标签的交叉熵损失。
根据所述交叉熵损失对所述分类器进行优化，得到检测结果判别模型。
在实际应用中，使用RoBERTa预训练语言模型来训练分类器。RoBERTa模型是一种基于多个双向Transformer模型的encoder部分堆叠组成主体框架的语言模型。它采用了动态掩码机制，即每次向模型输入一个序列时都会生成一种新的掩码模式，以此来获得更好的上下文表示。基于RoBERTa模型的分类器(检测结果判别模型)将训练好的RoBERTa模型作为基础，并在其之上添加一个分类层(分类器)。该层将RoBERTa模型学习到的文本表示映射到目标类别的概率分布，从而实现文本分类。具体来说，对于每一段由草案和判定理由组成的文本，RoBERTa模型将该文本转换为向量表示，然后通过分类层将该向量映射到对应的类别s0或者s1上，最终再将预测结果标签与训练集中给定的真实标签(第一标签或者第二标签)计算交叉熵损失，以此分类器进行优化。分类器可以用以下公式表示：
Psiy＝softmax(RoBERTac(y,θ))；其中，P表示预测结果；y表示所述正例数据或者所述负例数据；θ表示分类器的参数；si代表第一标签或者第二标签；c表示分类器模型。
为了评估ChatGPT回答的准确性，每个回答都需要进行分类，并分析其判定结果的准确率。首先，需要对ChatGPT的回答进行预处理，提取其对于标准草案规范性的判定结果以及判定理由，并进行组合；接着，使用一个预训练过的RoBERTa模型分类器来分析ChatGPT的判定理由是否合理。如果分类器预测的标签为s0，则判定理由是合理且正确，需要将判定结果和标准问题分别存储到集合O和集合P中；如果标签为s1，则认为ChatGPT的判断结果不可信，需要生成新的Pi重新检测待检测的段。
在实际应用中，还包括：
S6：测试新草案，将未被专家鉴定的待检测标准草案按照S1的规则划分，得到S'＝{S'1,S'2,…,S'n}，使用从S2-S5迭代训练过程中生成的标准问题集合P，分别对各个草案片段进行规范性性判断，得到测试集输出O'＝{O'1,O'2,…,O'n}，最终再将判断结果按照次序汇总。
实施例2
为了执行上述实施例1对应的方法，以实现相应的功能和技术效果，下面提供一种标准草案检测系统，包括：
数据获取模块，用于获取待检测标准草案。
分段模块，用于对所述待检测标准草案的组成部分进行分段，得到多段待检测文本内容；所述组成部分包括封面、目次、前言、范围、规范性引用文件、术语和定义。
检测模块，用于基于ChatGPT模型以及标准问题，对每段所述待检测文本内容进行检测，得到检测结果；所述检测结果为标准或者不标准；所述标准问题是基于ChatGPT模型、提示和初始问题对标准草案样本进行检测的检测结果确定的；所述提示包括多个子提示；所述子提示是基于标准草案样本以及元语言生成模式、模板模式、语法分析模式、翻转交互模式、问题细化模式、问题完善模式、反思模式和重新表达模式确定的；所述初始问题包括多个初始子问题；所述初始子问题是专家根据所述标准草案样本依据具体情况进行审查得出。
实施例3
为了更清晰地阐述实施例1和施例2的过程，下面以“健康体检基本数据集”为例进行具体检测，过程包括：
首先使用数据获取模块获取“健康体检基本数据集”。接着，进入分段模块，对该草案的组成部分进行逐一分段，包括封面、目次、前言、范围、规范性引用文件、数据集元数据属性、数据元目录和索引。
随后进入检测模块，使用翻转交互模式确定“健康体检基本数据集”中“范围”部分标准化判定所需的基本要求，例如陈述是否简洁明了、逻辑是否一致等等。结合专家给定的初始问题，生成问题P1：“范围的陈述应简洁，范围应表述为一系列事实的陈述，使用陈述型条款，不应包含要求、指示、推荐和允许型条款。”。
接下来，请进入问题细化模式或者问题完善模式，在与ChatGPT的交互过程中得到更为全面、详尽的问题P2：“范围的陈述应简洁，范围应表述为一系列事实的陈述，使用陈述型条款，不应包含要求、指示、推荐和允许型条款。陈述应使用下列适当的表述形式：本文件规定了xxx的要求/特性/尺寸指示；本文件描述了xxx的方法/路径。”。
随后，将问题P2以及待检测的草案样本输入至ChatGPT，让ChatGPT判断该草案样本是否符合标准，语言是否符合语法规范，要求以模板模式规定的格式要求输出结果。例如，给定草案样本为：“本文件规定了健康体检基本数据集的数据集元数据属性和数据元目录。”我们会将其与问题P2一起输入至ChatGPT。
如果ChatGPT的判定结果正确，则汇总输出结果。如果判定错误，则进入反思模式，根据错误原因，修改问题得到P3。如果ChatGPT拒绝回答，则进入重新表达模式，生成替代问题P4。重复迭代这个过程，直到ChatGPT的判定结果正确，再退出循环。
实施例4
本发明提供了一种电子设备，包括：存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行实施例1的标准草案检测方法。
实施例5
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施例1的标准草案检测方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种标准草案检测方法，其特征在于，包括：
获取待检测标准草案；
对所述待检测标准草案的组成部分进行分段，得到多段待检测文本内容；所述组成部分包括封面、目次、前言、范围、规范性引用文件、术语和定义；
基于ChatGPT模型以及标准问题，对每段所述待检测文本内容进行检测，得到检测结果；所述检测结果为标准或者不标准；所述标准问题是基于ChatGPT模型、提示和初始问题对标准草案样本进行检测的检测结果确定的；所述提示包括多个子提示；所述子提示是基于标准草案样本以及元语言生成模式、模板模式、语法分析模式、翻转交互模式、问题细化模式、问题完善模式、反思模式和重新表达模式确定的；所述初始问题包括多个初始子问题；所述初始子问题是专家根据所述标准草案样本依据具体情况进行审查得出。
2.根据权利要求1所述的标准草案检测方法，其特征在于，所述标准问题的确定过程，具体包括：
获取所述标准草案样本；
对所述标准草案样本的组成部分进行分段，得到多段样本文本内容；
将一段所述样本文本内容以及对应的所述子提示和所述初始子问题输入至所述ChatGPT模型，得到当前段所述样本文本内容的检测结果；
将当前段所述样本文本内容的检测结果输入至检测结果判别模型中进行判别，得到判别结果；所述判别结果为正确或者不正确；其中，所述检测结果判别模型是利用训练集对依次连接的RoBERTa模型和分类器进行训练得到的；所述训练集包括正例数据和对应的第一标签以及负例数据和对应的第二标签；所述正例数据包括专家对所述标准草案样本进行检测，检测出的不标准样本文本内容以及对应的判定理由；所述第一标签为正确；所述负例数据包括ChatGPT模型对所述标准草案样本进行检测，检测出的判定错误样本文本内容以及对应的判定理由；所述第二标签为不正确；
若所述判别结果为不正确，则调整所述初始子问题，得到调整后子问题，并将所述调整后子问题作为所述初始子问题，返回“将一段所述样本文本内容和对应的所述子提示和所述初始子问题输入至所述ChatGPT模型，得到当前段所述样本文本内容的检测结果”的步骤；
若所述判别结果为正确，则将所述初始子问题作为当前段所述样本文本内容的标准子问题，并返回“将一段所述样本文本内容和对应的所述子提示和所述初始子问题输入至所述ChatGPT模型，得到当前段所述样本文本内容的检测结果”的步骤，对下一段所述样本文本内容进行检测；
根据每段所述样本文本内容的标准子问题，确定所述标准问题。
3.根据权利要求2所述的标准草案检测方法，其特征在于，利用训练集对依次连接的RoBERTa模型和分类器进行训练，具体包括：
构建所述训练集；
利用所述RoBERTa模型，将所述正例数据或者所述负例数据转换为向量；
利用所述分类器对所述向量进行预测，得到预测结果；
计算所述预测结果与所述第一标签或者所述第二标签的交叉熵损失；
根据所述交叉熵损失对所述分类器进行优化，得到检测结果判别模型。
4.根据权利要求2所述的标准草案检测方法，其特征在于，所述分类器为：
Psiy＝softmax(RoBERTac(y,θ))；其中，P表示预测结果；y表示所述正例数据或者所述负例数据；θ表示分类器的参数；si代表第一标签或者第二标签；c表示分类器模型。
5.根据权利要求1所述的标准草案检测方法，其特征在于，对所述待检测标准草案的组成部分进行分段，得到多段待检测文本内容，之前还包括：
对所述待检测标准草案的内容排版、段落格式和字体格式进行初始检查，得到初始检查后的标准草案；
根据所述组成部分对所述初始检查后的标准草案进行分段，得到多段待检测文本内容。
6.根据权利要求5所述的标准草案检测方法，其特征在于，对所述待检测标准草案的内容排版、段落格式和字体格式进行初始检查，得到初始检查后的标准草案，具体包括：
检查待检测标准草案的层次结构和编排格式是否符合规范；
检查待检测标准草案的必备要素的构成和表述是否正确；
检查待检测标准草案的段落格式是否规范；
检查待检测标准草案的每个页面的字号字体、数学公式或图表脚注的表示形式是否正确；
检查待检测标准草案的各层次条编号是否符合规范；
若以上至少一种的检查结果为否，则对所述待检测标准草案进行修改，得到初始检查后的标准草案。
7.一种标准草案检测系统，其特征在于，包括：
数据获取模块，用于获取待检测标准草案；
分段模块，用于对所述待检测标准草案的组成部分进行分段，得到多段待检测文本内容；所述组成部分包括封面、目次、前言、范围、规范性引用文件、术语和定义；
检测模块，用于基于ChatGPT模型以及标准问题，对每段所述待检测文本内容进行检测，得到检测结果；所述检测结果为标准或者不标准；所述标准问题是基于ChatGPT模型、提示和初始问题对标准草案样本进行检测的检测结果确定的；所述提示包括多个子提示；所述子提示是基于标准草案样本以及元语言生成模式、模板模式、语法分析模式、翻转交互模式、问题细化模式、问题完善模式、反思模式和重新表达模式确定的；所述初始问题包括多个初始子问题；所述初始子问题是专家根据所述标准草案样本依据具体情况进行审查得出。
8.一种电子设备，其特征在于，包括：存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1-6任一项所述的标准草案检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的标准草案检测方法。
CN202310454344.9A 2023-04-25 2023-04-25 一种标准草案检测方法、系统、电子设备及存储介质 Pending CN116451646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310454344.9A CN116451646A (zh) 2023-04-25 2023-04-25 一种标准草案检测方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310454344.9A CN116451646A (zh) 2023-04-25 2023-04-25 一种标准草案检测方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116451646A true CN116451646A (zh) 2023-07-18

Family

ID=87127260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310454344.9A Pending CN116451646A (zh) 2023-04-25 2023-04-25 一种标准草案检测方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116451646A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874210A (zh) * 2024-03-12 2024-04-12 粤港澳大湾区数字经济研究院(福田) 自主交互问答方法、系统、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874210A (zh) * 2024-03-12 2024-04-12 粤港澳大湾区数字经济研究院(福田) 自主交互问答方法、系统、设备及介质
CN117874210B (zh) * 2024-03-12 2024-06-14 粤港澳大湾区数字经济研究院(福田) 自主交互问答方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN109947836B (zh) 英语试卷结构化方法和装置
AU2019263758B2 (en) Systems and methods for generating a contextually and conversationally correct response to a query
US8170868B2 (en) Extracting lexical features for classifying native and non-native language usage style
CN111090986A (zh) 一种公文文档纠错的方法
US20230069935A1 (en) Dialog system answering method based on sentence paraphrase recognition
CN114913729B (zh) 一种选题方法、装置、计算机设备和存储介质
CN111597356B (zh) 智能化教育知识图谱构建系统与方法
CN112926345A (zh) 基于数据增强训练的多特征融合神经机器翻译检错方法
CN116244410B (zh) 一种基于知识图谱和自然语言的指标数据分析方法及系统
CN116451646A (zh) 一种标准草案检测方法、系统、电子设备及存储介质
CN110674722B (zh) 一种试卷拆分方法及其系统
CN116306487A (zh) 高等院校学位论文格式智能检测系统及方法
CN109977391B (zh) 一种文本数据的信息抽取方法及装置
CN113204488A (zh) 一种针对递归神经网络驱动的对话系统的自动化测试方法
US8666987B2 (en) Apparatus and method for processing documents to extract expressions and descriptions
Larsson Classification into readability levels: implementation and evaluation
CN115496630A (zh) 一种基于自然语言算法的专利撰写质量核检方法以及系统
Rüdian et al. Automatic Feedback for Open Writing Tasks: Is this text appropriate for this lecture?
CN114328832A (zh) 视频内容识别方法、装置、设备及存储介质
CN108573025B (zh) 基于混合模板抽取句子分类特征的方法及装置
Ji Readability Evaluation of Books in Chinese as a Foreign Language Using the Machine Learning Algorithm
Balkan et al. Test suite design: Guidelines and methodology
Paquot et al. Using Foreign and Second Language Learner Corpora
US11854432B1 (en) Developing an e-rater advisory to detect babel-generated essays
BALEW Amharic textual entailment recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination