CN116468298A - 基于gpt网络模型的汽车技术规划与决策的方法及系统 - Google Patents
基于gpt网络模型的汽车技术规划与决策的方法及系统 Download PDFInfo
- Publication number
- CN116468298A CN116468298A CN202310686571.4A CN202310686571A CN116468298A CN 116468298 A CN116468298 A CN 116468298A CN 202310686571 A CN202310686571 A CN 202310686571A CN 116468298 A CN116468298 A CN 116468298A
- Authority
- CN
- China
- Prior art keywords
- target
- gpt
- network model
- output
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000005516 engineering process Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 11
- 230000008901 benefit Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 3
- 238000007418 data mining Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于GPT网络模型的汽车技术规划与决策的方法及系统，通过获取目标文本数据，并根据目标文本数据，构建无标注的语料库；构建GPT网络模型，并控制GPT网络模型在语料库的基础上进行无监督预训练，以学习得到通用语言模型；构建有标注的目标数据集，并确定目标数据集中的各目标输入和目标输出；控制通用语言模型在目标数据集的基础上进行监督微调处理，以学习得到目标语言模型；将实际需求输入目标语言模型中，输出对应的反馈结果，具体的，通过对大量的汽车相关的文本数据进行预训练和微调，实现对汽车技术路线等信息的自动理解和响应，自动给出相应的结果，以辅助技术规划人员及决策者提高技术规划/决策效率和质量。
Description
技术领域
本发明属于基于GPT网络模型的汽车技术规划与决策的技术领域，具体涉及一种基于GPT网络模型的汽车技术规划与决策的方法及系统。
背景技术
GPT（Generative Pre-training Transformer）技术是一种生成式预训练变换模型，它可以利用大量的无标注文本数据进行自我学习，从而实现对不同领域和任务的自然语言理解和生成。GPT技术在近年来取得了显著的进展，尤其是在ChatGPT（ChatGenerative Pre-training Transformer）方面，它可以实现与人类的自然对话，并在多个评测指标上超越了人类水平。GPT技术在汽车领域也有着广泛的应用前景，例如可以用于汽车技术规划与决策、汽车智能化、汽车故障诊断等方面。
传统的用于汽车技术规划与决策的方法有基于专家系统的方法、基于数据挖掘的方法、基于深度学习的方法等等，具体的，基于专家系统的汽车技术规划及决策方法主要利用专家知识库和推理机制，对汽车技术方案进行评估和选择，但该方法需要大量的人工编制和维护专家知识库，且难以适应技术变化和用户需求的多样性；基于数据挖掘的汽车技术规划及决策方法主要利用数据挖掘算法，从历史数据中提取汽车技术方案的特征和评价指标，然后根据一定的优化模型或规则，对汽车技术方案进行排序或分类，但该方法需要大量的标注数据，且难以处理非结构化或多模态的数据；基于深度学习的汽车技术规划及决策方法主要利用深度学习模型，如卷积神经网络、循环神经网络、注意力机制等，对汽车技术方案进行特征提取和语义理解，然后根据一定的损失函数或奖励函数，对汽车技术方案进行生成或选择，但该方法需要大量的计算资源，且难以解释其内部机制和输出结果。
可以理解的，现有的汽车技术规划与决策方法，通常需要人工收集和分析大量的技术方案和最新技术趋势，再进行系统的学习或训练，这样不仅耗时耗力，而且容易受到主观因素的影响，导致技术规划和决策的效率和质量不高。
发明内容
基于此，本发明实施例当中提供了一种基于GPT网络模型的汽车技术规划与决策的方法及系统，旨在解决现有技术中，需要人工收集和分析大量的技术方案和最新技术趋势，耗时耗力，而且容易受到主观因素的影响，导致技术规划/决策的效率和质量不高的问题。
本发明实施例的第一方面提供了一种基于GPT网络模型的汽车技术规划与决策的方法，所述方法包括：
获取目标文本数据，并根据所述目标文本数据，构建无标注的语料库；
构建GPT网络模型，并控制所述GPT网络模型在所述语料库的基础上进行无监督预训练，以学习得到通用语言模型；
构建有标注的目标数据集，并确定所述目标数据集中的各目标输入和目标输出，其中，所述目标输入为一个或多个技术方案或问题描述，所述目标输出为一个或多个技术路线选择或优劣势分析；
控制所述通用语言模型在所述目标数据集的基础上进行监督微调处理，以学习得到目标语言模型，其中，采用所述GPT网络模型中Transformer的Decoder部分进行无监督预训练，同时，采用所述GPT网络模型中Masked Multi-Head Attention遮蔽掉当前词语后面的信息，以实现单向的文本生成；
将实际需求输入所述目标语言模型中，输出对应的反馈结果，所述反馈结果用于表示汽车技术规划或决策的结果。
进一步的，所述构建GPT网络模型，并控制所述GPT网络模型在所述语料库的基础上进行无监督预训练，以学习得到通用语言模型的步骤中，所述GPT网络模型包括输入层和输出层，在所述输入层中对输入数据进行字节级字节对编码，将文本数据分割成更小的子词单元，以减少词汇表的大小和稀疏性，提高模型的泛化能力和效率，同时，将每个子词单元转换为一个独热编码向量，并与一个可学习的嵌入矩阵相乘，得到一个固定长度的嵌入向量；所述输出层包括线性变换层和softmax层，用于将每个嵌入向量映射到一个概率分布向量，表示每个子词单元作为下一个词语出现的概率。
进一步的，所述构建有标注的目标数据集，并确定所述目标数据集中的各目标输入和目标输出的步骤中，获取所述语料库中的所述目标文本数据，将所述目标文本数据进行人工或半自动的标注，得到有标注的目标数据集，再确定目标数据集中，各目标输入和目标输出，以及各目标输入和目标输出之间的对应关系。
进一步的，所述控制所述通用语言模型在所述目标数据集的基础上进行监督微调处理，以学习得到目标语言模型的步骤中，在输入数据的开头、中间以及结尾添加目标标记，以使所述通用语言模型识别任务类型和输入内容。
进一步的，所述将实际需求输入所述目标语言模型中，输出对应的反馈结果，所述反馈结果用于表示汽车技术规划或决策的结果的步骤包括：
将实际需求中的每个子词单元转换为一个嵌入向量，并加上位置编码向量，得到序列嵌入矩阵；
将序列嵌入矩阵作为输入，经过预设Transformer Decoder层，得到序列输出矩阵；
将序列输出矩阵作为输入，经过预设线性变换层和预设softmax层，得到输出矩阵。
进一步的，所述将序列嵌入矩阵作为输入，经过预设Transformer Decoder层，得到序列输出矩阵的步骤中，每个Transformer Decoder层包括一个Masked Multi-HeadAttention层、一个前馈神经网络层、两个残差连接层和两个层归一化层，公式如下所示：
其中，H0表示为第0层的输出，维度为2048×12288；E表示为序列嵌入矩阵；表示为第l层的输出，其中，l=1，…，L，维度为2048×12288；H表示为最后一层的输出，维度为2048×12288；MHA表示为Masked Multi-Head Attention函数；FFN表示为前馈神经网络函数；LayerNorm表示为层归一化函数。
本发明实施例的第二方面提供了一种基于GPT网络模型的汽车技术规划与决策的系统，所述系统包括：
语料库构建模块，用于获取目标文本数据，并根据所述目标文本数据，构建无标注的语料库；
无监督预训练模块，用于构建GPT网络模型，并控制所述GPT网络模型在所述语料库的基础上进行无监督预训练，以学习得到通用语言模型，其中，采用所述GPT网络模型中Transformer的Decoder部分进行无监督预训练，同时，采用所述GPT网络模型中MaskedMulti-Head Attention遮蔽掉当前词语后面的信息，以实现单向的文本生成；
目标数据集构建模块，用于构建有标注的目标数据集，并确定所述目标数据集中的各目标输入和目标输出，其中，所述目标输入为一个或多个技术方案或问题描述，所述目标输出为一个或多个技术路线选择或优劣势分析；
监督微调模块，用于控制所述通用语言模型在所述目标数据集的基础上进行监督微调处理，以学习得到目标语言模型；
输出模块，用于将实际需求输入所述目标语言模型中，输出对应的反馈结果，所述反馈结果用于表示汽车技术规划或决策的结果。
本发明实施例的第三方面提供了一种可读存储介质，包括：
所述可读存储介质存储一个或多个程序，该程序被处理器执行时实现上述任一项所述的基于GPT网络模型的汽车技术规划与决策的方法。
本发明实施例的第四方面提供了一种电子设备，其特征在于，所述电子设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器上所存放的计算机程序时，实现上述任一项所述的基于GPT网络模型的汽车技术规划与决策的方法。
本发明通过获取目标文本数据，并根据目标文本数据，构建无标注的语料库；构建GPT网络模型，并控制GPT网络模型在语料库的基础上进行无监督预训练，以学习得到通用语言模型；构建有标注的目标数据集，并确定目标数据集中的各目标输入和目标输出，其中，目标输入为一个或多个技术方案或问题描述，目标输出为一个或多个技术路线选择或优劣势分析；控制通用语言模型在目标数据集的基础上进行监督微调处理，以学习得到目标语言模型；将实际需求输入目标语言模型中，输出对应的反馈结果，具体的，通过对大量的汽车相关的技术方案和最新技术趋势文本数据进行预训练和微调，实现对汽车技术路线等信息的自动理解和响应，自动给出技术路线选择及不同方案的优劣势分析，以辅助技术规划人员及决策者提高技术规划/决策效率和质量。
附图说明
图1是本发明实施例一提供的一种基于GPT网络模型的汽车技术规划与决策的方法的实现流程图；
图2是本发明实施例二提供的一种基于GPT网络模型的汽车技术规划与决策的系统的结构框图；
图3是本发明实施例三提供的一种电子设备的结构框图。
以下具体实施方式将结合上述附图进一步说明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
一般的，传统的方法具有以下缺点：
基于专家系统的汽车技术规划及决策方法：
（1）不能有效利用海量的无标注文本数据进行自我学习和更新；
（2）不能灵活适应不同领域和任务的语言表达和交互方式；
（3）不能生成多样化和创新性的汽车技术方案。
基于数据挖掘的汽车技术规划及决策方法：
（1）需要大量的标注数据，标注成本高且容易出错；
（2）难以处理非结构化或多模态的数据，如文本、图像、音频等；
（3）难以捕捉汽车技术方案之间的复杂关系。
基于深度学习的汽车技术规划及决策方法：
（1）需要大量的计算资源，计算成本高且容易出现过拟合或欠拟合；
（2）难以解释其内部机制和输出结果，缺乏可解释性和可信度；
（3）难以保证生成或选择的汽车技术方案的合理性和可行性。
为了给出更好的汽车技术规划与决策的方法，具体采用了GPT模型作为核心的人工智能技术，下面以具体实施例对本发明进行进一步说明：
实施例一
请参阅图1，图1示出了本发明实施例一提供的一种基于GPT网络模型的汽车技术规划与决策的方法的实现流程图，所述方法具体包括步骤S01至步骤S05。
步骤S01，获取目标文本数据，并根据所述目标文本数据，构建无标注的语料库。
在本实施例当中，可以从互联网或其他数据源获取大量的汽车相关的技术方案和最新技术趋势文本数据，即目标文本数据，构建一个无标注的语料库。例如，可以从汽车行业的网站、论坛、博客、新闻、报告等获取文本数据，也可以从专利数据库、学术论文、技术标准等获取目标文本数据。具体的，语料库可以包含数百万或数千万篇文档，覆盖汽车领域的各个方面，如发动机、变速箱、底盘、车身、电子电器、安全系统、智能网联等。
步骤S02，构建GPT网络模型，并控制所述GPT网络模型在所述语料库的基础上进行无监督预训练，以学习得到通用语言模型。
具体的，GPT网络模型的目标函数是最大化文本数据的对数似然。例如，可以使用OpenAI发布的GPT-3模型1作为GPT网络模型，该网络模型有1750亿个参数，使用了45TB的文本数据进行预训练，可以生成高质量的自然语言文本。其中，在无监督预训练过程中，GPT网络模型使用一个大规模的无标注文本语料库，如WebText，作为输入，学习一个生成式的通用语言模型，即根据前面的词语来预测下一个词语的概率，需要说明的是，只采用GPT网络模型中Transformer的Decoder部分进行无监督预训练，同时，采用GPT网络模型中MaskedMulti-Head Attention遮蔽掉当前词语后面的信息，以实现单向的文本生成。
另外，GPT网络模型包括输入层和输出层，由于涉及汽车相关的技术方案和最新技术趋势，因此需要在输入层中对输入数据进行字节级（byte-level）字节对编码（BPE，Byte-Pair Encoding），将文本数据分割成更小的子词单元（subword units），以减少词汇表的大小和稀疏性，提高模型的泛化能力和效率，例如，将“新能源汽车”分割成“新”、“能”、“源”、“汽”、“车”等子词单元，同时，将每个子词单元转换为一个独热编码（one-hot encoding）向量，并与一个可学习的嵌入矩阵相乘，得到一个固定长度（如12288）的嵌入向量。
输出层包括线性变换层和softmax层，用于将每个嵌入向量映射到一个概率分布向量，表示每个子词单元作为下一个词语出现的概率，由于需要生成自然语言文本作为输出，因此输出层采用了一个线性变换层和一个softmax层，需要说明的是，输出层与输入层共享同一个嵌入矩阵，以减少参数数量和增加一致性。
更为具体的，由于需要处理大量的汽车相关文本数据，因此需要增加GPT网络模型的容量和深度，以提高模型的表达能力和泛化能力，其中，可以增加Transformer Decoder部分的层数（如24层）、隐藏层大小（如12288）、多头注意力头数（如96头）等参数。同时，为了防止过拟合，可以增加Dropout、Layer Normalization等正则化技术。
通过利用GPT网络模型作为核心算法，能够有效地利用大规模无标注文本数据进行预训练，学习到丰富的语义和语法信息，提高了语言模型的泛化能力和生成质量。
步骤S03，构建有标注的目标数据集，并确定所述目标数据集中的各目标输入和目标输出，其中，所述目标输入为一个或多个技术方案或问题描述，所述目标输出为一个或多个技术路线选择或优劣势分析。
具体的，获取语料库中的目标文本数据，将目标文本数据进行人工或半自动的标注，得到有标注的目标数据集，再确定目标数据集中，各目标输入和目标输出，以及各目标输入和目标输出之间的对应关系，可以理解的，在语料库中，包括技术规划、决策案例、以及专家或用户的反馈等等汽车信息，即可以从历史的技术规划或决策案例中获取目标输入和目标输出，也可以从专家或用户的反馈中获取目标输入和目标输出，而有标注的目标数据集可以包含若干样本，每个样本包含一个目标输入和一个目标输出。
在本实施例当中，为了构建有标注的目标数据集，需要收集和整理大量的汽车技术规划或决策相关的文本数据，如技术方案、问题描述、技术路线选择、优劣势分析等，并对其进行人工或半自动的标注，以确定目标输入和目标输出之间的对应关系。例如，可以使用专利文献、技术报告、行业分析等作为数据来源，并使用专家或众包工作者等作为标注者。标注过程中，需要注意保证数据的质量和一致性，避免出现错误或歧义的标注。
为了使用有标注的目标数据集，需要将其划分为训练集、验证集和测试集，分别用于训练、验证和测试GPT网络模型在汽车技术规划或决策任务上的性能。例如，可以按照8:1:1的比例划分目标数据集，并使用交叉验证等方法来评估模型的泛化能力。使用过程中，需要注意保证数据的平衡和代表性，避免出现数据倾斜或过拟合的问题。
步骤S04，控制所述通用语言模型在所述目标数据集的基础上进行监督微调处理，以学习得到目标语言模型。
其中，通用语言模型在进行监督微调处理时，即GPT网络模型在微调时，不仅要最大化下游任务的目标函数，还要保留无监督预训练时的通用语言模型目标函数作为一个辅助项，从而利用无监督预训练时学习到的语义和语法信息。GPT网络模型在不同任务上的输入/输出格式也有所不同，需要根据任务特点进行适当的拼接或分割。
具体的，在输入数据的开头、中间以及结尾添加目标标记，以使通用语言模型识别任务类型和输入内容，在本实施例当中，由于涉及汽车技术规划或决策任务，因此需要对输入数据进行特定的格式化，以便GPT网络模型能够识别任务类型和输入内容。具体来说，可以在输入数据的开头添加一个特殊的标记（如<|start|>），表示开始一个新的任务；在输入数据的结尾添加一个特殊的标记（如<|end|>），表示结束一个任务；在输入数据中添加一个特殊的分隔符（如<|sep|>），表示分隔不同的技术方案或问题描述。例如，如果输入数据是两个技术方案A和B的描述，那么可以将其格式化为<|start|>A<|sep|>B<|end|>。
由于需要生成自然语言文本作为输出，因此输出层与无监督预训练阶段保持一致，采用了一个线性变换层和一个softmax层，将每个嵌入向量映射到一个概率分布向量，表示每个子词单元作为下一个词语出现的概率。输出层与输入层共享同一个嵌入矩阵，以减少参数数量和增加一致性。
另外，由于需要处理不同类型和难度的汽车技术规划或决策任务，因此需要根据不同任务动态调整GPT网络模型的参数，以适应任务需求和数据分布。具体的，可以根据任务类型和输入长度选择合适的Transformer Decoder层数、多头注意力头数、Dropout比例等参数。同时，为了防止过拟合，可以使用Early Stopping、Weight Decay等正则化技术。
通过根据不同的汽车技术规划或决策任务，对GPT网络模型进行微调，使其能够适应不同的输入输出格式和目标函数，提高了语言模型的灵活性和适应性。
步骤S05，将实际需求输入所述目标语言模型中，输出对应的反馈结果，所述反馈结果用于表示汽车技术规划或决策的结果。
可以理解的，如果输入目标语言模型的实际需求为一个关于某种新能源汽车技术方案的描述，那么输出的反馈结果可能是一个关于该技术方案与其他技术方案相比较的优劣势分析；如果输入目标语言模型的实际需求为一个关于某种汽车技术问题的提问，那么输出的反馈结果可能是一个关于该问题的解决方案或建议。另外，GPT网络模型可以根据输入实际需求的内容和风格，生成适合的反馈结果输出，如正式的报告、简洁的总结、幽默的评论等。
需要说明的是，目标语言模型的具体处理过程为：
首先将实际需求中的每个子词单元转换为一个嵌入向量，并加上位置编码向量，得到序列嵌入矩阵，可以表示为：
其中，X表示为输入数据，即实际需求文本中每个子词单元的独热编码向量组成的矩阵，维度为2048×50257；We表示为嵌入矩阵，维度为50257×12288；P表示为位置编码矩阵，维度为2048×12288；E表示为序列嵌入矩阵。
再将序列嵌入矩阵作为输入，经过预设Transformer Decoder层，得到序列输出矩阵，具体的，每个Transformer Decoder层包括一个Masked Multi-Head Attention层、一个前馈神经网络层、两个残差连接层和两个层归一化层，公式如下所示：
其中，H0表示为第0层的输出，维度为2048×12288；E表示为序列嵌入矩阵；表示为第l层的输出，其中，l=1，…，L，维度为2048×12288；H表示为最后一层的输出，维度为2048×12288；MHA表示为Masked Multi-Head Attention函数；FFN表示为前馈神经网络函数；LayerNorm表示为层归一化函数。
最后将序列输出矩阵作为输入，经过预设线性变换层和预设softmax层，得到输出矩阵，具体的，线性变换层和softmax层的数量均为一个，输出矩阵表示每个子词单元作为下一个词语出现的概率，可以表示为：
其中，H表示为输入数据，维度为2048×12288；表示为嵌入矩阵的转置，维度为12288×50257；Y表示为输出矩阵，也即反馈结果，维度为2048×50257。
另外，还通过实验仿真验证了本发明实施例提出的基于GPT网络模型的汽车技术规划与决策的方法的有效性和优越性。实验数据如表1所示，表中列出了本发明实施例提出的方法与现有方法在不同汽车技术规划或决策任务上的性能比较，其中，现有方法1为基于专家系统的方法，主要利用专家知识库和推理机制来评估和选择汽车技术方案，在这种方法中，专家知识库包含了大量的汽车技术相关知识和经验，而推理机制则用于根据输入的问题或需求，从专家知识库中提取相应的知识，并进行推理和决策过程；现有方法2为基于数据挖掘的方法，主要利用数据挖掘算法来从历史数据中提取汽车技术方案的特征和评价指标，并根据一定的优化模型或规则对这些方案进行排序或分类。性能指标为准确率、召回率以及F1值。从表中可以看出，本发明实施例提出的方法在各个任务上都优于现有方法，说明本发明方法具有显著的进步。
表1
综上，本发明上述实施例当中的基于GPT网络模型的汽车技术规划与决策的方法，通过获取目标文本数据，并根据目标文本数据，构建无标注的语料库；构建GPT网络模型，并控制GPT网络模型在语料库的基础上进行无监督预训练，以学习得到通用语言模型；构建有标注的目标数据集，并确定目标数据集中的各目标输入和目标输出，其中，目标输入为一个或多个技术方案或问题描述，目标输出为一个或多个技术路线选择或优劣势分析；控制通用语言模型在目标数据集的基础上进行监督微调处理，以学习得到目标语言模型；将实际需求输入目标语言模型中，输出对应的反馈结果，具体的，通过对大量的汽车相关的技术方案和最新技术趋势文本数据进行预训练和微调，实现对汽车技术路线等信息的自动理解和响应，自动给出技术路线选择及不同方案的优劣势分析，以辅助技术规划人员及决策者提高技术规划/决策效率和质量。
实施例二
请参阅图2，图2是本发明实施例二提供的一种基于GPT网络模型的汽车技术规划与决策的系统的结构框图。基于GPT网络模型的汽车技术规划与决策的系统200包括：语料库构建模块21、无监督预训练模块22、目标数据集构建模块23、监督微调模块24以及输出模块25，其中：
语料库构建模块21，用于获取目标文本数据，并根据所述目标文本数据，构建无标注的语料库；
无监督预训练模块22，用于构建GPT网络模型，并控制所述GPT网络模型在所述语料库的基础上进行无监督预训练，以学习得到通用语言模型，其中，采用所述GPT网络模型中Transformer的Decoder部分进行无监督预训练，同时，采用所述GPT网络模型中MaskedMulti-Head Attention遮蔽掉当前词语后面的信息，以实现单向的文本生成，另外，所述GPT网络模型包括输入层和输出层，在所述输入层中对输入数据进行字节级字节对编码，将文本数据分割成更小的子词单元，以减少词汇表的大小和稀疏性，提高模型的泛化能力和效率，同时，将每个子词单元转换为一个独热编码向量，并与一个可学习的嵌入矩阵相乘，得到一个固定长度的嵌入向量；所述输出层包括线性变换层和softmax层，用于将每个嵌入向量映射到一个概率分布向量，表示每个子词单元作为下一个词语出现的概率；
目标数据集构建模块23，用于构建有标注的目标数据集，并确定所述目标数据集中的各目标输入和目标输出，其中，所述目标输入为一个或多个技术方案或问题描述，所述目标输出为一个或多个技术路线选择或优劣势分析，另外，获取所述语料库中的所述目标文本数据，将所述目标文本数据进行人工或半自动的标注，得到有标注的目标数据集，再确定目标数据集中，各目标输入和目标输出，以及各目标输入和目标输出之间的对应关系；
监督微调模块24，用于控制所述通用语言模型在所述目标数据集的基础上进行监督微调处理，以学习得到目标语言模型，其中，在输入数据的开头、中间以及结尾添加目标标记，以使所述通用语言模型识别任务类型和输入内容；
输出模块25，用于将实际需求输入所述目标语言模型中，输出对应的反馈结果，所述反馈结果用于表示汽车技术规划或决策的结果。
进一步的，在本发明其它一些实施例当中，所述输出模块25包括：
转换单元，用于将实际需求中的每个子词单元转换为一个嵌入向量，并加上位置编码向量，得到序列嵌入矩阵；
序列输出矩阵获取单元，用于将序列嵌入矩阵作为输入，经过预设TransformerDecoder层，得到序列输出矩阵，其中，每个Transformer Decoder层包括一个MaskedMulti-Head Attention层、一个前馈神经网络层、两个残差连接层和两个层归一化层，公式如下所示：
其中，H0表示为第0层的输出，维度为2048×12288；E表示为序列嵌入矩阵；表示为第l层的输出，其中，l=1，…，L，维度为2048×12288；H表示为最后一层的输出，维度为2048×12288；MHA表示为Masked Multi-Head Attention函数；FFN表示为前馈神经网络函数；LayerNorm表示为层归一化函数；
输出矩阵获取单元，用于将序列输出矩阵作为输入，经过预设线性变换层和预设softmax层，得到输出矩阵。
实施例三
本发明另一方面还提出一种电子设备，请参阅图3，所示为本发明实施例三当中的电子设备的结构框图，包括存储器20、处理器10以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的基于GPT网络模型的汽车技术规划与决策的方法。
其中，处理器10在一些实施例中可以是中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行访问限制程序等。
其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的硬盘。存储器20在另一些实施例中也可以是电子设备的外部存储装置，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，存储器20还可以既包括电子设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储电子设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
需要指出的是，图3示出的结构并不构成对电子设备的限定，在其它实施例当中，该电子设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的基于GPT网络模型的汽车技术规划与决策的方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据状态实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示 例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例 或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于GPT网络模型的汽车技术规划与决策的方法，其特征在于，所述方法包括：
获取目标文本数据，并根据所述目标文本数据，构建无标注的语料库；
构建GPT网络模型，并控制所述GPT网络模型在所述语料库的基础上进行无监督预训练，以学习得到通用语言模型，其中，采用所述GPT网络模型中Transformer的Decoder部分进行无监督预训练，同时，采用所述GPT网络模型中Masked Multi-Head Attention遮蔽掉当前词语后面的信息，以实现单向的文本生成；
构建有标注的目标数据集，并确定所述目标数据集中的各目标输入和目标输出，其中，所述目标输入为一个或多个技术方案或问题描述，所述目标输出为一个或多个技术路线选择或优劣势分析；
控制所述通用语言模型在所述目标数据集的基础上进行监督微调处理，以学习得到目标语言模型；
将实际需求输入所述目标语言模型中，输出对应的反馈结果，所述反馈结果用于表示汽车技术规划或决策的结果。
2.根据权利要求1所述的基于GPT网络模型的汽车技术规划与决策的方法，其特征在于，所述构建GPT网络模型，并控制所述GPT网络模型在所述语料库的基础上进行无监督预训练，以学习得到通用语言模型的步骤中，所述GPT网络模型包括输入层和输出层，在所述输入层中对输入数据进行字节级字节对编码，将文本数据分割成更小的子词单元，以减少词汇表的大小和稀疏性，提高模型的泛化能力和效率，同时，将每个子词单元转换为一个独热编码向量，并与一个可学习的嵌入矩阵相乘，得到一个固定长度的嵌入向量；所述输出层包括线性变换层和softmax层，用于将每个嵌入向量映射到一个概率分布向量，表示每个子词单元作为下一个词语出现的概率。
3.根据权利要求2所述的基于GPT网络模型的汽车技术规划与决策的方法，其特征在于，所述构建有标注的目标数据集，并确定所述目标数据集中的各目标输入和目标输出的步骤中，获取所述语料库中的所述目标文本数据，将所述目标文本数据进行人工或半自动的标注，得到有标注的目标数据集，再确定目标数据集中，各目标输入和目标输出，以及各目标输入和目标输出之间的对应关系。
4.根据权利要求3所述的基于GPT网络模型的汽车技术规划与决策的方法，其特征在于，所述控制所述通用语言模型在所述目标数据集的基础上进行监督微调处理，以学习得到目标语言模型的步骤中，在输入数据的开头、中间以及结尾添加目标标记，以使所述通用语言模型识别任务类型和输入内容。
5.根据权利要求4所述的基于GPT网络模型的汽车技术规划与决策的方法，其特征在于，所述将实际需求输入所述目标语言模型中，输出对应的反馈结果，所述反馈结果用于表示汽车技术规划或决策的结果的步骤包括：
将实际需求中的每个子词单元转换为一个嵌入向量，并加上位置编码向量，得到序列嵌入矩阵；
将序列嵌入矩阵作为输入，经过预设Transformer Decoder层，得到序列输出矩阵；
将序列输出矩阵作为输入，经过预设线性变换层和预设softmax层，得到输出矩阵。
6.根据权利要求5所述的基于GPT网络模型的汽车技术规划与决策的方法，其特征在于，所述将序列嵌入矩阵作为输入，经过预设Transformer Decoder层，得到序列输出矩阵的步骤中，每个Transformer Decoder层包括一个Masked Multi-Head Attention层、一个前馈神经网络层、两个残差连接层和两个层归一化层，公式如下所示：
其中，H0表示为第0层的输出，维度为2048×12288；E表示为序列嵌入矩阵；表示为第l层的输出，其中，l=1，…，L，维度为2048×12288；H表示为最后一层的输出，维度为2048×12288；MHA表示为Masked Multi-Head Attention函数；FFN表示为前馈神经网络函数；LayerNorm表示为层归一化函数。
7.一种基于GPT网络模型的汽车技术规划与决策的系统，其特征在于，所述系统包括：
语料库构建模块，用于获取目标文本数据，并根据所述目标文本数据，构建无标注的语料库；
无监督预训练模块，用于构建GPT网络模型，并控制所述GPT网络模型在所述语料库的基础上进行无监督预训练，以学习得到通用语言模型，其中，采用所述GPT网络模型中Transformer的Decoder部分进行无监督预训练，同时，采用所述GPT网络模型中MaskedMulti-Head Attention遮蔽掉当前词语后面的信息，以实现单向的文本生成；
目标数据集构建模块，用于构建有标注的目标数据集，并确定所述目标数据集中的各目标输入和目标输出，其中，所述目标输入为一个或多个技术方案或问题描述，所述目标输出为一个或多个技术路线选择或优劣势分析；
监督微调模块，用于控制所述通用语言模型在所述目标数据集的基础上进行监督微调处理，以学习得到目标语言模型；
输出模块，用于将实际需求输入所述目标语言模型中，输出对应的反馈结果，所述反馈结果用于表示汽车技术规划或决策的结果。
8.一种可读存储介质，其特征在于，包括：
所述可读存储介质存储一个或多个程序，该程序被处理器执行时实现如权利要求1-6任一项所述的基于GPT网络模型的汽车技术规划与决策的方法。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器上所存放的计算机程序时，实现权利要求1-6任一项所述的基于GPT网络模型的汽车技术规划与决策的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310686571.4A CN116468298B (zh) | 2023-06-12 | 2023-06-12 | 基于gpt网络模型的汽车技术规划与决策的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310686571.4A CN116468298B (zh) | 2023-06-12 | 2023-06-12 | 基于gpt网络模型的汽车技术规划与决策的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116468298A true CN116468298A (zh) | 2023-07-21 |
| CN116468298B CN116468298B (zh) | 2023-11-03 |
Family
ID=87182854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310686571.4A Active CN116468298B (zh) | 2023-06-12 | 2023-06-12 | 基于gpt网络模型的汽车技术规划与决策的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116468298B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116822510A (zh) * | 2023-08-28 | 2023-09-29 | 深圳市领存技术有限公司 | 一种文本处理方法、系统、电子设备及存储介质 |
| CN117056519A (zh) * | 2023-08-17 | 2023-11-14 | 天津大学 | 面向跨领域的立法意见综合报告自动生成方法 |
| CN117114249A (zh) * | 2023-10-24 | 2023-11-24 | 广州知韫科技有限公司 | 基于语言模型的任务规划及响应系统 |
| CN117436457A (zh) * | 2023-11-01 | 2024-01-23 | 人民网股份有限公司 | 反讽识别方法、装置、计算设备及存储介质 |
| CN117475449A (zh) * | 2023-12-28 | 2024-01-30 | 思创数码科技股份有限公司 | Pdf文档处理方法、装置、可读存储介质及电子设备 |
| CN117667979A (zh) * | 2023-12-08 | 2024-03-08 | 暨南大学 | 基于大语言模型的数据挖掘方法、装置、设备及介质 |
| CN118034659A (zh) * | 2024-04-10 | 2024-05-14 | 北京云庐科技有限公司 | 自动生成cae仿真程序的方法、系统和介质 |
| CN118332421A (zh) * | 2024-06-12 | 2024-07-12 | 航科广软(广州)数字科技有限公司 | 生态环境智能决策方法、系统、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783477A (zh) * | 2020-05-13 | 2020-10-16 | 厦门快商通科技股份有限公司 | 一种语音翻译方法及系统 |
| CN112287678A (zh) * | 2020-11-03 | 2021-01-29 | 沈阳雅译网络技术有限公司 | 一种基于预训练模型的古体诗自动生成方法 |
| CN114974222A (zh) * | 2022-05-07 | 2022-08-30 | 科大讯飞股份有限公司 | 一种词汇拆分模型构建方法、语音识别模型构建方法 |
| CN115062003A (zh) * | 2022-05-26 | 2022-09-16 | 电子科技大学 | 基于gpt2的云erp社区生成式问答方法 |
| CN115132353A (zh) * | 2022-07-19 | 2022-09-30 | 平安科技（深圳）有限公司 | 心理问题自动答复模型的生成方法、装置及设备 |
| CN115396175A (zh) * | 2022-08-23 | 2022-11-25 | 北京元支点信息安全技术有限公司 | 基于无监督预训练模型诱饵的制作和装置 |
| KR102506404B1 (ko) * | 2022-06-10 | 2023-03-07 | 큐에라소프트(주) | 훈련된 언어 모델을 이용한 의사결정 시뮬레이션 장치 및 방법 |
-
2023
- 2023-06-12 CN CN202310686571.4A patent/CN116468298B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783477A (zh) * | 2020-05-13 | 2020-10-16 | 厦门快商通科技股份有限公司 | 一种语音翻译方法及系统 |
| CN112287678A (zh) * | 2020-11-03 | 2021-01-29 | 沈阳雅译网络技术有限公司 | 一种基于预训练模型的古体诗自动生成方法 |
| CN114974222A (zh) * | 2022-05-07 | 2022-08-30 | 科大讯飞股份有限公司 | 一种词汇拆分模型构建方法、语音识别模型构建方法 |
| CN115062003A (zh) * | 2022-05-26 | 2022-09-16 | 电子科技大学 | 基于gpt2的云erp社区生成式问答方法 |
| KR102506404B1 (ko) * | 2022-06-10 | 2023-03-07 | 큐에라소프트(주) | 훈련된 언어 모델을 이용한 의사결정 시뮬레이션 장치 및 방법 |
| CN115132353A (zh) * | 2022-07-19 | 2022-09-30 | 平安科技（深圳）有限公司 | 心理问题自动答复模型的生成方法、装置及设备 |
| CN115396175A (zh) * | 2022-08-23 | 2022-11-25 | 北京元支点信息安全技术有限公司 | 基于无监督预训练模型诱饵的制作和装置 |
Non-Patent Citations (3)
| Title |
|---|
| 张超然;裘杭萍;孙毅;王中伟;: "基于预训练模型的机器阅读理解研究综述", 计算机工程与应用, no. 11 * |
| 闫茹玉;刘学亮;: "结合自底向上注意力机制和记忆网络的视觉问答模型", 中国图象图形学报, no. 05 * |
| 陈志豪;余翔;刘子辰;邱大伟;顾本刚;: "基于注意力和字嵌入的中文医疗问答匹配方法", 计算机应用, no. 06 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117056519A (zh) * | 2023-08-17 | 2023-11-14 | 天津大学 | 面向跨领域的立法意见综合报告自动生成方法 |
| CN116822510A (zh) * | 2023-08-28 | 2023-09-29 | 深圳市领存技术有限公司 | 一种文本处理方法、系统、电子设备及存储介质 |
| CN116822510B (zh) * | 2023-08-28 | 2023-12-19 | 深圳市领存技术有限公司 | 一种文本处理方法、系统、电子设备及存储介质 |
| CN117114249A (zh) * | 2023-10-24 | 2023-11-24 | 广州知韫科技有限公司 | 基于语言模型的任务规划及响应系统 |
| CN117114249B (zh) * | 2023-10-24 | 2024-01-26 | 广州知韫科技有限公司 | 基于语言模型的任务规划及响应系统 |
| CN117436457A (zh) * | 2023-11-01 | 2024-01-23 | 人民网股份有限公司 | 反讽识别方法、装置、计算设备及存储介质 |
| CN117436457B (zh) * | 2023-11-01 | 2024-05-03 | 人民网股份有限公司 | 反讽识别方法、装置、计算设备及存储介质 |
| CN117667979A (zh) * | 2023-12-08 | 2024-03-08 | 暨南大学 | 基于大语言模型的数据挖掘方法、装置、设备及介质 |
| CN117475449A (zh) * | 2023-12-28 | 2024-01-30 | 思创数码科技股份有限公司 | Pdf文档处理方法、装置、可读存储介质及电子设备 |
| CN118034659A (zh) * | 2024-04-10 | 2024-05-14 | 北京云庐科技有限公司 | 自动生成cae仿真程序的方法、系统和介质 |
| CN118332421A (zh) * | 2024-06-12 | 2024-07-12 | 航科广软(广州)数字科技有限公司 | 生态环境智能决策方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116468298B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116468298B (zh) | 基于gpt网络模型的汽车技术规划与决策的方法及系统 | |
| CN108984724B (zh) | 利用高维表示提高特定属性情感分类准确率方法 | |
| CN110532558B (zh) | 一种基于句子结构深层解析的多意图识别方法及系统 | |
| Choi et al. | Identifying emerging technologies to envision a future innovation ecosystem: A machine learning approach to patent data | |
| CN113868432B (zh) | 一种用于钢铁制造企业的知识图谱自动构建方法和系统 | |
| CN113987187B (zh) | 基于多标签嵌入的舆情文本分类方法、系统、终端及介质 | |
| Li et al. | MRMR-based ensemble pruning for facial expression recognition | |
| CN113254675B (zh) | 基于自适应少样本关系抽取的知识图谱构建方法 | |
| CN112487191B (zh) | 基于CNN-BiLSTM/BiGRU混联组合模型的文本分类方法和装置 | |
| CN117151222B (zh) | 领域知识引导的突发事件案例实体属性及其关系抽取方法、电子设备和存储介质 | |
| CN111723295A (zh) | 一种内容分发方法、装置和存储介质 | |
| CN113849653A (zh) | 一种文本分类方法及装置 | |
| CN113920379A (zh) | 一种基于知识辅助的零样本图像分类方法 | |
| CN114297986B (zh) | 一种基于强化学习的icd自动合并编码系统和方法 | |
| CN117873487B (zh) | 一种基于gvg的代码函数注释生成方法 | |
| CN111340637B (zh) | 一种基于机器学习反馈规则增强的医疗保险智能审核系统 | |
| CN116595979A (zh) | 一种基于标签提示的命名实体识别方法、装置及介质 | |
| CN114707483B (zh) | 基于对比学习和数据增强的零样本事件抽取系统及方法 | |
| CN114610871B (zh) | 基于人工智能算法的情报系统建模分析方法 | |
| CN114548325B (zh) | 基于对偶对比学习的零样本关系抽取方法和系统 | |
| CN116226711A (zh) | 一种基于多特征融合的案件争议焦点识别方法及装置 | |
| Cleuziou et al. | Learning pretopological spaces for lexical taxonomy acquisition | |
| CN113643141B (zh) | 解释性结论报告生成方法、装置、设备及存储介质 | |
| CN114943216A (zh) | 基于图注意力网络的案件微博属性级观点挖掘方法 | |
| CN114036268A (zh) | 基于意图门的任务型多轮对话方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |