CN117251559A - 基于自然语言大模型的工程标准规范获取方法及系统 - Google Patents

基于自然语言大模型的工程标准规范获取方法及系统 Download PDF

Info

Publication number
CN117251559A
CN117251559A CN202311222178.6A CN202311222178A CN117251559A CN 117251559 A CN117251559 A CN 117251559A CN 202311222178 A CN202311222178 A CN 202311222178A CN 117251559 A CN117251559 A CN 117251559A
Authority
CN
China
Prior art keywords
text
data
model
engineering
standard specification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311222178.6A
Other languages
English (en)
Other versions
CN117251559B (zh
Inventor
聂琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Zhuxiaobao Artificial Intelligence Technology Co ltd
Original Assignee
Guangdong Zhuxiaobao Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Zhuxiaobao Artificial Intelligence Technology Co ltd filed Critical Guangdong Zhuxiaobao Artificial Intelligence Technology Co ltd
Priority to CN202311222178.6A priority Critical patent/CN117251559B/zh
Publication of CN117251559A publication Critical patent/CN117251559A/zh
Application granted granted Critical
Publication of CN117251559B publication Critical patent/CN117251559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于自然语言大模型的工程标准规范获取方法及系统，该方法包括：获取目标用户输入的原始数据；根据预设的数据预处理算法对所述原始数据进行处理，得到处理后数据；将所述处理后数据输入至训练好的自然语言大模型中，以得到输出的工程标准规范数据；将所述工程标准规范数据推送至用户终端。可见，本发明能够利用自然语言大模型来直接提取用户输入的原始数据中的工程标准规范数据，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。

Description

基于自然语言大模型的工程标准规范获取方法及系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于自然语言大模型的工程标准规范获取方法及系统。
背景技术
随着工程项目的规模和复杂度的增加，对于工程项目进行合规检查和监控的难度和成本也越来越大，许多企业开始试图引入更加先进的信息技术来提高工程合规监控审查的效率，其中，如何及时高效地获取或更新工程标准规范成为了其中重要的一个问题。但现有的信息技术在解决工程标准规范的获取方面的工作任务时，过于依赖人工检索和检验，没有考虑到结合自然语言大模型的优势，因此容易出错，效率较低。可见，现有技术存在缺陷，亟需解决。
发明内容
本发明所要解决的技术问题在于，提供一种基于自然语言大模型的工程标准规范获取方法及系统，能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
为了解决上述技术问题，本发明第一方面公开了一种基于自然语言大模型的工程标准规范获取方法，所述方法包括：
获取目标用户输入的原始数据；
根据预设的数据预处理算法对所述原始数据进行处理，得到处理后数据；
将所述处理后数据输入至训练好的自然语言大模型中，以得到输出的工程标准规范数据；
将所述工程标准规范数据推送至用户终端。
作为一种可选的实施方式，在本发明第一方面中，所述根据预设的数据预处理算法对所述原始数据进行处理，得到处理后数据，包括：
将语音类型的所述原始数据输入至自然语言大模型中，以得到文本类型的处理后数据；所述自然语言大模型为基于Large Language Model(LLM)即大规模语言模型，是一种基于深度学习的自然语言处理模型，能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。
作为一种可选的实施方式，在本发明第一方面中，所述自然语言大模型包括依次连接的文本预处理模型、概率推测模型和文本片段组合模型。
作为一种可选的实施方式，在本发明第一方面中，所述文本预处理模型用于执行以下步骤：
根据预设的语言结构分析模型，对所述处理后数据进行分析，得到所述处理后数据中每一数据片段对应的语言结构类型；所述语言结构类型包括主语、谓语、宾语、定语、名词、动词、形容词中的一种或多种的组合；
根据预设的工程规范关键字库，对所述处理后数据进行关键字识别，以得到所述处理后数据中的多个关键字片段；
确定每一所述关键字片段对应的语言结构类型；
根据预设的类型-权重对应关系，计算每一所述关键字片段对应的语言结构类型对应的类型权重；
计算每一所述关键字片段与对应的匹配关键字之间的相似度；所述匹配关键字为所述工程规范关键库中用于识别出所述关键字片段的匹配字符；
计算每一所述关键字片段的所述类型权重和所述相似度的乘积，得到每一所述关键字片段对应的文本权重；
将所述文本权重大于预设的权重阈值的所有所述关键字片段确定为所述处理后数据对应的待预测片段。
作为一种可选的实施方式，在本发明第一方面中，所述概率推测模型用于对每一所述待预测片段和对应的语言结构类型进行概率预测，以得到每一所述待预测片段对应的属于工程标准规范数据的数据类型的概率；所述概率推测模型通过包括有多个训练文本片段和对应的语言结构类型标注和数据类型标注的训练数据集训练得到；所述数据类型包括建筑与市政工程质量控制通用规范、建设工程竣工验收标准、施工现场安全管理执行规范、危险性较大的分部分项工程安全管理规定、工程施工技术档案资料填写规范中的至少一种。
作为一种可选的实施方式，在本发明第一方面中，所述文本片段组合模型包括文本筛选单元、文本拼接单元、文本连贯性预测单元和文本输出单元；所述文本筛选单元用于将所述概率大于预设的概率阈值的所述待预测片段筛选出来，得到多个待拼接片段；所述文本拼接单元用于对所述多个待拼接片段根据多种拼接规则进行组合拼接，以得到多个拼接片段；所述文本连贯性预测单元用于对每一所述拼接片段进行连贯性预测，以得到每一所述拼接片段的连贯性参数；所述文本输出单元将所述连贯性参数大于预设的参数阈值的所述拼接片段进行输出，以得到所述工程标准规范数据。
作为一种可选的实施方式，在本发明第一方面中，所述文本拼接单元用于执行以下步骤：
对于以任意次序连接的任意两个所述待拼接片段，对该两个待拼接片段的连接处对应的预设数量个字符，通过文本连贯性预测模型进行预测，得到该两个待拼接片段的对应的第一连贯性参数；所述文本连贯性预测模型通过包括有多个训练工程文本连接字符片段和对应的连贯性批注的训练数据集训练得到；
对该两个待拼接片段对应的所述语言结构类型，通过预设的语言结构连贯性规则进行判断，得到该两个待拼接片段对应的第二连贯性参数；
计算所述第一连贯性参数和所述第二连贯性参数的加权求和平均值，并判断所述加权求和平均值是否大于预设的连贯性阈值，若是，则输出该两个待拼接片段按该次序的组合为一个拼接片段。
本发明第二方面公开了一种基于自然语言大模型的工程标准规范获取系统，所述系统包括：
获取模块，用于获取目标用户输入的原始数据；
处理模块，用于根据预设的数据预处理算法对所述原始数据进行处理，得到处理后数据；
输出模块，用于将所述处理后数据输入至训练好的自然语言大模型中，以得到输出的工程标准规范数据；
推送模块，用于将所述工程标准规范数据推送至用户终端。
作为一种可选的实施方式，在本发明第二方面中，所述处理模块根据预设的数据预处理算法对所述原始数据进行处理，得到处理后数据的具体方式，包括：
将语音类型的所述原始数据输入至自然语言大模型中，以得到文本类型的处理后数据；所述自然语言大模型为基于Large Language Model(LLM)即大规模语言模型，是一种基于深度学习的自然语言处理模型，能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。
作为一种可选的实施方式，在本发明第二方面中，所述自然语言大模型包括依次连接的文本预处理模型、概率推测模型和文本片段组合模型。
作为一种可选的实施方式，在本发明第二方面中，所述文本预处理模型用于执行以下步骤：
根据预设的语言结构分析模型，对所述处理后数据进行分析，得到所述处理后数据中每一数据片段对应的语言结构类型；所述语言结构类型包括主语、谓语、宾语、定语、名词、动词、形容词中的一种或多种的组合；
根据预设的工程规范关键字库，对所述处理后数据进行关键字识别，以得到所述处理后数据中的多个关键字片段；
确定每一所述关键字片段对应的语言结构类型；
根据预设的类型-权重对应关系，计算每一所述关键字片段对应的语言结构类型对应的类型权重；
计算每一所述关键字片段与对应的匹配关键字之间的相似度；所述匹配关键字为所述工程规范关键库中用于识别出所述关键字片段的匹配字符；
计算每一所述关键字片段的所述类型权重和所述相似度的乘积，得到每一所述关键字片段对应的文本权重；
将所述文本权重大于预设的权重阈值的所有所述关键字片段确定为所述处理后数据对应的待预测片段。
作为一种可选的实施方式，在本发明第二方面中，所述概率推测模型用于对每一所述待预测片段和对应的语言结构类型进行概率预测，以得到每一所述待预测片段对应的属于工程标准规范数据的数据类型的概率；所述概率推测模型通过包括有多个训练文本片段和对应的语言结构类型标注和数据类型标注的训练数据集训练得到；所述数据类型包括建筑与市政工程质量控制通用规范、建设工程竣工验收标准、施工现场安全管理执行规范、危险性较大的分部分项工程安全管理规定、工程施工技术档案资料填写规范中的至少一种。
作为一种可选的实施方式，在本发明第二方面中，所述文本片段组合模型包括文本筛选单元、文本拼接单元、文本连贯性预测单元和文本输出单元；所述文本筛选单元用于将所述概率大于预设的概率阈值的所述待预测片段筛选出来，得到多个待拼接片段；所述文本拼接单元用于对所述多个待拼接片段根据多种拼接规则进行组合拼接，以得到多个拼接片段；所述文本连贯性预测单元用于对每一所述拼接片段进行连贯性预测，以得到每一所述拼接片段的连贯性参数；所述文本输出单元将所述连贯性参数大于预设的参数阈值的所述拼接片段进行输出，以得到所述工程标准规范数据。
作为一种可选的实施方式，在本发明第二方面中，所述文本拼接单元用于执行以下步骤：
对于以任意次序连接的任意两个所述待拼接片段，对该两个待拼接片段的连接处对应的预设数量个字符，通过文本连贯性预测模型进行预测，得到该两个待拼接片段的对应的第一连贯性参数；所述文本连贯性预测模型通过包括有多个训练工程文本连接字符片段和对应的连贯性批注的训练数据集训练得到；
对该两个待拼接片段对应的所述语言结构类型，通过预设的语言结构连贯性规则进行判断，得到该两个待拼接片段对应的第二连贯性参数；
计算所述第一连贯性参数和所述第二连贯性参数的加权求和平均值，并判断所述加权求和平均值是否大于预设的连贯性阈值，若是，则输出该两个待拼接片段按该次序的组合为一个拼接片段。
本发明第三方面公开了另一种基于自然语言大模型的工程标准规范获取系统，所述系统包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于自然语言大模型的工程标准规范获取方法中的部分或全部步骤。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于自然语言大模型的工程标准规范获取方法中的部分或全部步骤。
与现有技术相比，本发明具有以下有益效果：
本发明能够利用自然语言大模型来直接提取用户输入的原始数据中的工程标准规范数据，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于自然语言大模型的工程标准规范获取方法的流程示意图；
图2是本发明实施例公开的一种基于自然语言大模型的工程标准规范获取系统的结构示意图；
图3是本发明实施例公开的另一种基于自然语言大模型的工程标准规范获取系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于自然语言大模型的工程标准规范获取方法及系统，能够利用自然语言大模型来直接提取用户输入的原始数据中的工程标准规范数据，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于自然语言大模型的工程标准规范获取方法的流程示意图。其中，图1所描述的方法可以应用于相应的数据处理设备、数据处理终端、数据处理服务器中，且该服务器可以是本地服务器，也可以是云服务器，本发明实施例不做限定如图1所示，该基于自然语言大模型的工程标准规范获取方法可以包括以下操作：
101、获取目标用户输入的原始数据。
可选的，获取的方式可以为通过人机交互系统获取，或是通过图像获取设备或是语音获取设备来直接获取，相应的原始数据的类型也可以为文本信息、图像信息或语音信息。
102、根据预设的数据预处理算法对原始数据进行处理，得到处理后数据。
可选的，可以用预设的数据清洗算法和数据编码算法对原始数据进行处理，以得到处理后的数据。
103、将处理后数据输入至训练好的自然语言大模型中，以得到输出的工程标准规范数据。
104、将工程标准规范数据推送至用户终端。
可选的，用户终端可以为办公室或施工现场的显示设备，用于对工程标准规范数据进行及时和准确的表达。
可见，实施本发明实施例所描述的方法能够利用自然语言大模型来直接提取用户输入的原始数据中的工程标准规范数据，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
作为一种可选的实施例，上述步骤中的，根据预设的数据预处理算法对原始数据进行处理，得到处理后数据，包括：
将语音类型的原始数据输入至自然语言大模型中，以得到文本类型的处理后数据；自然语言大模型为基于Large Language Model(LLM)即大规模语言模型，是一种基于深度学习的自然语言处理模型，能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。
通过上述实施例，能够将语音类型的原始数据输入至自然语言大模型中，以得到文本类型的处理后数据，从而能够直接从语音信息中提取出文本信息，以便于后续提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
作为一种可选的实施例，可选的，自然语言大模型包括依次连接的文本预处理模型、概率推测模型和文本片段组合模型。
通过上述实施例，能够通过依次连接的文本预处理模型、概率推测模型和文本片段组合模型来提取工程标准规范数据，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
可选的，文本预处理模型用于执行以下步骤：
根据预设的语言结构分析模型，对处理后数据进行分析，得到处理后数据中每一数据片段对应的语言结构类型；语言结构类型包括主语、谓语、宾语、定语、名词、动词、形容词中的一种或多种的组合；
根据预设的工程规范关键字库，对处理后数据进行关键字识别，以得到处理后数据中的多个关键字片段；
确定每一关键字片段对应的语言结构类型；
根据预设的类型-权重对应关系，计算每一关键字片段对应的语言结构类型对应的类型权重；
计算每一关键字片段与对应的匹配关键字之间的相似度；匹配关键字为工程规范关键库中用于识别出关键字片段的匹配字符；
计算每一关键字片段的类型权重和相似度的乘积，得到每一关键字片段对应的文本权重；
将文本权重大于预设的权重阈值的所有关键字片段确定为处理后数据对应的待预测片段。
通过上述实施例，文本预处理模型能够有效结合语言结构类型、匹配识别相似度等因素，来综合地为概率推测模型提前筛选出更加准确和更高可能性的工程标准规范文本，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
作为一种可选的实施例，可选的，概率推测模型用于对每一待预测片段和对应的语言结构类型进行概率预测，以得到每一待预测片段对应的属于工程标准规范数据的数据类型的概率；概率推测模型通过包括有多个训练文本片段和对应的语言结构类型标注和数据类型标注的训练数据集训练得到；数据类型包括建筑与市政工程质量控制通用规范、建设工程竣工验收标准、施工现场安全管理执行规范、危险性较大的分部分项工程安全管理规定、工程施工技术档案资料填写规范中的至少一种。
通过上述实施例，概率推测模型能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
作为一种可选的实施例，可选的，文本片段组合模型包括文本筛选单元、文本拼接单元、文本连贯性预测单元和文本输出单元；文本筛选单元用于将概率大于预设的概率阈值的待预测片段筛选出来，得到多个待拼接片段；文本拼接单元用于对多个待拼接片段根据多种拼接规则进行组合拼接，以得到多个拼接片段；文本连贯性预测单元用于对每一拼接片段进行连贯性预测，以得到每一拼接片段的连贯性参数；文本输出单元将连贯性参数大于预设的参数阈值的拼接片段进行输出，以得到工程标准规范数据。
通过上述实施例，文本筛选单元、文本拼接单元、文本连贯性预测单元和文本输出单元能够实现结合文本筛选拼接以及连贯性预测等因素来拼接得到工程标准规范数据，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
作为一种可选的实施例，可选的，文本拼接单元用于执行以下步骤：
对于以任意次序连接的任意两个待拼接片段，对该两个待拼接片段的连接处对应的预设数量个字符，通过文本连贯性预测模型进行预测，得到该两个待拼接片段的对应的第一连贯性参数；文本连贯性预测模型通过包括有多个训练工程文本连接字符片段和对应的连贯性批注的训练数据集训练得到；
对该两个待拼接片段对应的语言结构类型，通过预设的语言结构连贯性规则进行判断，得到该两个待拼接片段对应的第二连贯性参数；
计算第一连贯性参数和第二连贯性参数的加权求和平均值，并判断加权求和平均值是否大于预设的连贯性阈值，若是，则输出该两个待拼接片段按该次序的组合为一个拼接片段。
通过上述实施例，文本拼接单元能够实现结合第一连贯性参数和第二连贯性参数等因素来提高拼接的准确性和有效性，以便于后续筛选得到工程标准规范数据，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
实施例二
请参阅图2，图2是本发明实施例公开的一种基于自然语言大模型的工程标准规范获取系统的结构示意图。其中，图2所描述的系统可以应用于相应的数据处理设备、数据处理终端、数据处理服务器中，且该服务器可以是本地服务器，也可以是云服务器，本发明实施例不做限定。如图2所示，该系统可以包括：
获取模块201，用于获取目标用户输入的原始数据。
可选的，获取的方式可以为通过人机交互系统获取，或是通过图像获取设备或是语音获取设备来直接获取，相应的原始数据的类型也可以为文本信息、图像信息或语音信息。
处理模块202，用于根据预设的数据预处理算法对原始数据进行处理，得到处理后数据。
可选的，可以用预设的数据清洗算法和数据编码算法对原始数据进行处理，以得到处理后的数据。
输出模块203，用于将处理后数据输入至训练好的自然语言大模型中，以得到输出的工程标准规范数据。
推送模块204，用于将工程标准规范数据推送至用户终端。
可选的，用户终端可以为办公室或施工现场的显示设备，用于对工程标准规范数据进行及时和准确的表达。
可见，实施本发明实施例所描述的系统能够利用自然语言大模型来直接提取用户输入的原始数据中的工程标准规范数据，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
作为一种可选的实施例，处理模块202根据预设的数据预处理算法对原始数据进行处理，得到处理后数据的具体方式，包括：
将语音类型的原始数据输入至自然语言大模型中，以得到文本类型的处理后数据；自然语言大模型为基于Large Language Model(LLM)即大规模语言模型，是一种基于深度学习的自然语言处理模型，能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。
通过上述实施例，能够将语音类型的原始数据输入至自然语言大模型中，以得到文本类型的处理后数据，从而能够直接从语音信息中提取出文本信息，以便于后续提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
作为一种可选的实施例，自然语言大模型包括依次连接的文本预处理模型、概率推测模型和文本片段组合模型。
通过上述实施例，能够通过依次连接的文本预处理模型、概率推测模型和文本片段组合模型来提取工程标准规范数据，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
作为一种可选的实施例，文本预处理模型用于执行以下步骤：
根据预设的语言结构分析模型，对处理后数据进行分析，得到处理后数据中每一数据片段对应的语言结构类型；语言结构类型包括主语、谓语、宾语、定语、名词、动词、形容词中的一种或多种的组合；
根据预设的工程规范关键字库，对处理后数据进行关键字识别，以得到处理后数据中的多个关键字片段；
确定每一关键字片段对应的语言结构类型；
根据预设的类型-权重对应关系，计算每一关键字片段对应的语言结构类型对应的类型权重；
计算每一关键字片段与对应的匹配关键字之间的相似度；匹配关键字为工程规范关键库中用于识别出关键字片段的匹配字符；
计算每一关键字片段的类型权重和相似度的乘积，得到每一关键字片段对应的文本权重；
将文本权重大于预设的权重阈值的所有关键字片段确定为处理后数据对应的待预测片段。
通过上述实施例，文本预处理模型能够有效结合语言结构类型、匹配识别相似度等因素，来综合地为概率推测模型提前筛选出更加准确和更高可能性的工程标准规范文本，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
作为一种可选的实施例，概率推测模型用于对每一待预测片段和对应的语言结构类型进行概率预测，以得到每一待预测片段对应的属于工程标准规范数据的数据类型的概率；概率推测模型通过包括有多个训练文本片段和对应的语言结构类型标注和数据类型标注的训练数据集训练得到；数据类型包括建筑与市政工程质量控制通用规范、建设工程竣工验收标准、施工现场安全管理执行规范、危险性较大的分部分项工程安全管理规定、工程施工技术档案资料填写规范中的至少一种。
通过上述实施例，概率推测模型能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
作为一种可选的实施例，可选的，文本片段组合模型包括文本筛选单元、文本拼接单元、文本连贯性预测单元和文本输出单元；文本筛选单元用于将概率大于预设的概率阈值的待预测片段筛选出来，得到多个待拼接片段；文本拼接单元用于对多个待拼接片段根据多种拼接规则进行组合拼接，以得到多个拼接片段；文本连贯性预测单元用于对每一拼接片段进行连贯性预测，以得到每一拼接片段的连贯性参数；文本输出单元将连贯性参数大于预设的参数阈值的拼接片段进行输出，以得到工程标准规范数据。
通过上述实施例，文本筛选单元、文本拼接单元、文本连贯性预测单元和文本输出单元能够实现结合文本筛选拼接以及连贯性预测等因素来拼接得到工程标准规范数据，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
作为一种可选的实施例，可选的，文本拼接单元用于执行以下步骤：
对于以任意次序连接的任意两个待拼接片段，对该两个待拼接片段的连接处对应的预设数量个字符，通过文本连贯性预测模型进行预测，得到该两个待拼接片段的对应的第一连贯性参数；文本连贯性预测模型通过包括有多个训练工程文本连接字符片段和对应的连贯性批注的训练数据集训练得到；
对该两个待拼接片段对应的语言结构类型，通过预设的语言结构连贯性规则进行判断，得到该两个待拼接片段对应的第二连贯性参数；
计算第一连贯性参数和第二连贯性参数的加权求和平均值，并判断加权求和平均值是否大于预设的连贯性阈值，若是，则输出该两个待拼接片段按该次序的组合为一个拼接片段。
通过上述实施例，文本拼接单元能够实现结合第一连贯性参数和第二连贯性参数等因素来提高拼接的准确性和有效性，以便于后续筛选得到工程标准规范数据，从而能够提高工程标准规范数据的获取效率和精确性，相对于现有技术中依赖人工的方式，可以有效减少出错，使得工程建设合法合规。
实施例三
请参阅图3，图3是本发明实施例公开的另一种基于自然语言大模型的工程标准规范获取系统的结构示意图。如图3所示，该系统可以包括：
存储有可执行程序代码的存储器301；
与存储器301耦合的处理器302；
处理器302调用存储器301中存储的可执行程序代码，执行本发明实施例一公开的基于自然语言大模型的工程标准规范获取方法中的部分或全部步骤。
实施例四
本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一公开的基于自然语言大模型的工程标准规范获取方法中的部分或全部步骤。
以上所描述的系统实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种基于自然语言大模型的工程标准规范获取方法及系统所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于自然语言大模型的工程标准规范获取方法，其特征在于，所述方法包括：
获取目标用户输入的原始数据；
根据预设的数据预处理算法对所述原始数据进行处理，得到处理后数据；
将所述处理后数据输入至训练好的自然语言大模型中，以得到输出的工程标准规范数据；
将所述工程标准规范数据推送至用户终端。
2.根据权利要求1所述的基于自然语言大模型的工程标准规范获取方法，其特征在于，所述根据预设的数据预处理算法对所述原始数据进行处理，得到处理后数据，包括：
将语音类型的所述原始数据输入至自然语言大模型中，以得到文本类型的处理后数据；所述自然语言大模型为基于Large Language Model(LLM)即大规模语言模型，是一种基于深度学习的自然语言处理模型，能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。
3.根据权利要求1所述的基于自然语言大模型的工程标准规范获取方法，其特征在于，所述自然语言大模型包括依次连接的文本预处理模型、概率推测模型和文本片段组合模型。
4.根据权利要求3所述的基于自然语言大模型的工程标准规范获取方法，其特征在于，所述文本预处理模型用于执行以下步骤：
根据预设的语言结构分析模型，对所述处理后数据进行分析，得到所述处理后数据中每一数据片段对应的语言结构类型；所述语言结构类型包括主语、谓语、宾语、定语、名词、动词、形容词中的一种或多种的组合；
根据预设的工程规范关键字库，对所述处理后数据进行关键字识别，以得到所述处理后数据中的多个关键字片段；
确定每一所述关键字片段对应的语言结构类型；
根据预设的类型-权重对应关系，计算每一所述关键字片段对应的语言结构类型对应的类型权重；
计算每一所述关键字片段与对应的匹配关键字之间的相似度；所述匹配关键字为所述工程规范关键库中用于识别出所述关键字片段的匹配字符；
计算每一所述关键字片段的所述类型权重和所述相似度的乘积，得到每一所述关键字片段对应的文本权重；
将所述文本权重大于预设的权重阈值的所有所述关键字片段确定为所述处理后数据对应的待预测片段。
5.根据权利要求3所述的基于自然语言大模型的工程标准规范获取方法，其特征在于，所述概率推测模型用于对每一所述待预测片段和对应的语言结构类型进行概率预测，以得到每一所述待预测片段对应的属于工程标准规范数据的数据类型的概率；所述概率推测模型通过包括有多个训练文本片段和对应的语言结构类型标注和数据类型标注的训练数据集训练得到；所述数据类型包括建筑与市政工程质量控制通用规范、建设工程竣工验收标准、施工现场安全管理执行规范、危险性较大的分部分项工程安全管理规定、工程施工技术档案资料填写规范中的至少一种。
6.根据权利要求5所述的基于自然语言大模型的工程标准规范获取方法，其特征在于，所述文本片段组合模型包括文本筛选单元、文本拼接单元、文本连贯性预测单元和文本输出单元；所述文本筛选单元用于将所述概率大于预设的概率阈值的所述待预测片段筛选出来，得到多个待拼接片段；所述文本拼接单元用于对所述多个待拼接片段根据多种拼接规则进行组合拼接，以得到多个拼接片段；所述文本连贯性预测单元用于对每一所述拼接片段进行连贯性预测，以得到每一所述拼接片段的连贯性参数；所述文本输出单元将所述连贯性参数大于预设的参数阈值的所述拼接片段进行输出，以得到所述工程标准规范数据。
7.根据权利要求6所述的基于自然语言大模型的工程标准规范获取方法，其特征在于，所述文本拼接单元用于执行以下步骤：
对于以任意次序连接的任意两个所述待拼接片段，对该两个待拼接片段的连接处对应的预设数量个字符，通过文本连贯性预测模型进行预测，得到该两个待拼接片段的对应的第一连贯性参数；所述文本连贯性预测模型通过包括有多个训练工程文本连接字符片段和对应的连贯性批注的训练数据集训练得到；
对该两个待拼接片段对应的所述语言结构类型，通过预设的语言结构连贯性规则进行判断，得到该两个待拼接片段对应的第二连贯性参数；
计算所述第一连贯性参数和所述第二连贯性参数的加权求和平均值，并判断所述加权求和平均值是否大于预设的连贯性阈值，若是，则输出该两个待拼接片段按该次序的组合为一个拼接片段。
8.一种基于自然语言大模型的工程标准规范获取系统，其特征在于，所述系统包括：
获取模块，用于获取目标用户输入的原始数据；
处理模块，用于根据预设的数据预处理算法对所述原始数据进行处理，得到处理后数据；
输出模块，用于将所述处理后数据输入至训练好的自然语言大模型中，以得到输出的工程标准规范数据；
推送模块，用于将所述工程标准规范数据推送至用户终端。
9.一种基于自然语言大模型的工程标准规范获取系统，其特征在于，所述系统包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的基于自然语言大模型的工程标准规范获取方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的基于自然语言大模型的工程标准规范获取方法。
CN202311222178.6A 2023-09-20 2023-09-20 基于自然语言大模型的工程标准规范获取方法及系统 Active CN117251559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311222178.6A CN117251559B (zh) 2023-09-20 2023-09-20 基于自然语言大模型的工程标准规范获取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311222178.6A CN117251559B (zh) 2023-09-20 2023-09-20 基于自然语言大模型的工程标准规范获取方法及系统

Publications (2)

Publication Number Publication Date
CN117251559A true CN117251559A (zh) 2023-12-19
CN117251559B CN117251559B (zh) 2024-04-26

Family

ID=89130748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311222178.6A Active CN117251559B (zh) 2023-09-20 2023-09-20 基于自然语言大模型的工程标准规范获取方法及系统

Country Status (1)

Country Link
CN (1) CN117251559B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521673A (zh) * 2024-01-08 2024-02-06 安徽大学 一种具备分析训练性能的自然语言处理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238061A1 (zh) * 2019-05-28 2020-12-03 平安科技（深圳）有限公司 自然语言分类方法、装置、计算机设备以及存储介质
CN112347229A (zh) * 2020-11-12 2021-02-09 润联软件系统(深圳)有限公司 一种答案抽取方法、装置、计算机设备及存储介质
CN112711950A (zh) * 2020-12-23 2021-04-27 深圳壹账通智能科技有限公司 地址信息抽取方法、装置、设备及存储介质
CN115081428A (zh) * 2022-07-22 2022-09-20 粤港澳大湾区数字经济研究院(福田) 一种处理自然语言的方法、自然语言处理模型、设备
WO2023060795A1 (zh) * 2021-10-12 2023-04-20 平安科技（深圳）有限公司 关键词自动提取方法、装置、设备及存储介质
CN116431806A (zh) * 2023-03-23 2023-07-14 青岛海尔电冰箱有限公司 自然语言理解方法及冰箱
CN116775872A (zh) * 2023-06-19 2023-09-19 中国电信股份有限公司 一种文本处理方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238061A1 (zh) * 2019-05-28 2020-12-03 平安科技（深圳）有限公司 自然语言分类方法、装置、计算机设备以及存储介质
CN112347229A (zh) * 2020-11-12 2021-02-09 润联软件系统(深圳)有限公司 一种答案抽取方法、装置、计算机设备及存储介质
CN112711950A (zh) * 2020-12-23 2021-04-27 深圳壹账通智能科技有限公司 地址信息抽取方法、装置、设备及存储介质
WO2023060795A1 (zh) * 2021-10-12 2023-04-20 平安科技（深圳）有限公司 关键词自动提取方法、装置、设备及存储介质
CN115081428A (zh) * 2022-07-22 2022-09-20 粤港澳大湾区数字经济研究院(福田) 一种处理自然语言的方法、自然语言处理模型、设备
CN116431806A (zh) * 2023-03-23 2023-07-14 青岛海尔电冰箱有限公司 自然语言理解方法及冰箱
CN116775872A (zh) * 2023-06-19 2023-09-19 中国电信股份有限公司 一种文本处理方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521673A (zh) * 2024-01-08 2024-02-06 安徽大学 一种具备分析训练性能的自然语言处理系统
CN117521673B (zh) * 2024-01-08 2024-03-22 安徽大学 一种具备分析训练性能的自然语言处理系统

Also Published As

Publication number Publication date
CN117251559B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN112084334B (zh) 语料的标签分类方法、装置、计算机设备及存储介质
CN117251559B (zh) 基于自然语言大模型的工程标准规范获取方法及系统
CN111613212A (zh) 语音识别方法、系统、电子设备和存储介质
CN113488024B (zh) 一种基于语义识别的电话打断识别方法和系统
CN110245232B (zh) 文本分类方法、装置、介质和计算设备
CN111783450B (zh) 语料文本中的短语提取方法、装置、存储介质及电子设备
CN111651198A (zh) 代码摘要自动化生成方法及装置
CN117115581A (zh) 一种基于多模态深度学习的智能误操作预警方法及系统
CN113535925A (zh) 语音播报方法、装置、设备及存储介质
CN113077821A (zh) 音频质量检测方法、装置、电子设备及存储介质
CN112463967A (zh) 情绪预警方法、系统、设备及存储介质
CN110910905B (zh) 静音点检测方法及装置、存储介质、电子设备
CN115858776A (zh) 一种变体文本分类识别方法、系统、存储介质和电子设备
CN117252539A (zh) 基于神经网络的工程标准规范获取方法及系统
CN110674839B (zh) 异常用户识别方法、装置、存储介质及电子设备
CN114168743A (zh) 基于知识图谱的网络防御意图识别解析方法、设备及介质
CN110083807B (zh) 合同的修改影响自动预测方法、装置、介质及电子设备
CN113011162A (zh) 一种指代消解方法、装置、电子设备及介质
CN112131378A (zh) 用于识别民生问题类别的方法、装置及电子设备
CN111783447B (zh) 基于ngram距离的敏感词检测方法、装置、设备及存储介质
CN115391496B (zh) 一种法律文书案例抽取方法、系统和存储介质
CN115455179B (zh) 敏感词汇检测方法、装置、设备及存储介质
CN112015858B (zh) 信息的检测方法、设备及存储介质
CN114519357B (zh) 基于机器学习的自然语言处理方法和系统
CN116049152A (zh) 一种资源转移事件处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant