CN117370536B - 一种任务执行方法、装置、存储介质及电子设备 - Google Patents
一种任务执行方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117370536B CN117370536B CN202311673949.3A CN202311673949A CN117370536B CN 117370536 B CN117370536 B CN 117370536B CN 202311673949 A CN202311673949 A CN 202311673949A CN 117370536 B CN117370536 B CN 117370536B
- Authority
- CN
- China
- Prior art keywords
- text
- language model
- sample
- target
- question
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000000295 complement effect Effects 0.000 claims description 10
- 230000001172 regenerating effect Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 230000000153 supplemental effect Effects 0.000 claims 1
- 239000007788 liquid Substances 0.000 description 12
- 239000013078 crystal Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000009776 industrial production Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书公开了一种任务执行方法、装置、存储介质及电子设备。可以将用户输入的指定文本输入到预先训练的语言模型中,以通过语言模型确定指定文本对应的文本特征表示,并可以确定每个候选问题文本特征表示与文本特征表示之间的相关度,以根据相关度,从各候选问题文本特征表示中确定出与文本特征表示相匹配的候选问题文本特征表示,作为目标问题文本特征表示,并根据目标问题文本特征表示与所述文本特征表示之间的相关度是否低于预设的相关度阈值,确定是否向用户请求补充文本信息,以及是否将预先确定的目标问题文本特征表示对应的回复文本,作为指定文本对应的目标回复文本回复给用户。
Description
技术领域
本说明书涉及人工智能技术领域,尤其涉及一种任务执行方法、装置、存储介质及电子设备。
背景技术
目前,在工业生产领域中,中高端工业生产对工业人员的专业性要求较高,同时专业文档信息量也很大,进而使得工业人员在工业生产过程中容易出现各种工业问题,例如:“在1号服务器温度50-80摄氏度时,如何设置5号液泵的转速?”。
通常情况下,可以采用工业问答系统,来针对用户在生产过程中的问题为用户提供相应的答案,但是,由于工业问答系统回答的答案的准确率较低,使得工业人员可能做出错误的控制决策,进而导致生产线停摆,并给企业带来极大的损失。
因此,如何提高工业问答系统回答工业人员提出的问题的准确率,则是一个亟待解决的问题。
发明内容
本说明书提供一种任务执行方法、装置、存储介质及电子设备,以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种任务执行方法,包括:
获取用户输入的指定文本,所述指定文本中包含所述用户输入的问题信息;
将所述指定文本输入到预先训练的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示,并针对预先获取的每个各候选问题文本特征表示,确定该候选问题文本特征表示与所述文本特征表示之间的相关度;
根据所述相关度,从各候选问题文本特征表示中确定出与所述文本特征表示相匹配的候选问题文本特征表示,作为目标问题文本特征表示,所述候选问题文本特征表示用于表征在任务执行过程中可能发生的问题对应的问题文本;
判断所述目标问题文本特征表示与所述文本特征表示之间的相关度是否低于预设的相关度阈值;
若是,则根据所述目标问题文本特征表示对应的问题文本,确定补充问题,并将所述补充问题展示给所述用户,接收所述用户基于所述补充问题返回的补充文本信息,根据所述补充文本信息以及所述指定文本,重新生成所述指定文本对应的特征表示;
若否,则将预先确定的所述目标问题文本特征表示对应的回复文本,作为所述指定文本对应的目标回复文本,并通过所述目标回复文本,进行任务执行。
可选地,将所述指定文本输入到预先训练的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示,具体包括:
将所述指定文本输入到预设的关键词提取模型中,以通过所述关键词提取模型,提取出所述指定文本中包含的各关键词,作为各目标关键词;
将所述各目标关键词输入到预先训练的语言模型中,以通过所述语言模型根据所述各目标关键词,确定所述指定文本对应的文本特征表示。
可选地,训练所述语言模型,具体包括:
获取各问题信息对应的文本,作为各样本文本;
从各样本文本中确定出至少部分样本文本作为负样本文本,并确定所述负样本文本对应的奖励值为第一指定值,将各样本文本中除所述负样本文本之外的其他样本文本作为正样本文本,并确定所述正样本文本对应的奖励值为第二指定值,所述第一指定值低于所述第二指定值;
针对每个样本文本,若该样本文本为正样本文本,则对该样本文本包含的各关键词进行随机拼接,得到该样本文本对应的拼接后关键词;
若该样本文本为负样本文本,则从其他样本文本包含的各关键词中选取出至少部分关键词进行随机拼接,得到该样本文本对应的拼接后关键词;
将该样本文本输入到预设的语言模型中,得到该样本文本对应的特征表示,作为该样本文本的第一特征表示;以及
将该样本文本对应的拼接后关键词输入到预设的语言模型中,得到该样本文本对应的拼接后关键词对应的特征表示,作为该样本文本的第二特征表示;
根据所述每个样本文本的第一特征表示和第二特征表示,以及每个样本文本对应的奖励值,对所述语言模型进行训练,得到训练后语言模型。
可选地,根据所述每个样本文本的第一特征表示和第二特征表示,以及每个样本文本对应的奖励值,对所述语言模型进行训练,得到训练后语言模型,具体包括:
针对每个样本文本,根据该样本文本的第一特征表示中的每个维度的特征值和该样本文本的第二特征表示中该维度的特征值之间的差值,确定该样本文本的第三特征表示;
根据每个样本文本的第三特征表示,以及,每个样本文本对应的奖励值,对所述语言模型进行训练,得到训练后语言模型。
可选地,根据所述目标问题文本特征表示对应的问题文本,确定补充问题,具体包括:
将预先确定的所述目标问题文本特征表示对应的问题文本中包含的各关键字,作为第一关键字集;以及
将所述指定文本中包含的各关键字,作为第二关键字集;
确定所述第一关键字集和所述第二关键字集之间的补集,并从所述补集包含的各关键字中,确定出目标关键字;
根据所述目标关键字,确定补充问题,所述补充问题用于向所述用户确定与所述目标关键字相对应的信息。
可选地,将所述指定文本输入到预先训练的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示之前,所述方法还包括:
根据所述语言模型对应的计算图,确定运行所述语言模型时每个算子所需的存储资源数据以及计算资源数据;
根据每个算子所需的存储资源数据以及计算资源数据,将所述语言模型部署到晶圆级芯片中;
将所述指定文本输入到预先训练的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示,具体包括:
将所述指定文本输入到预选训练并部署到所述晶圆级芯片的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示。
可选地,根据每个算子所需的存储资源数据以及计算资源数据,将所述语言模型部署到晶圆级芯片中,具体包括:
根据每个算子所需的存储资源数据以及计算资源数据以及所述晶圆级芯片中包含的每个晶粒对应的存储资源和计算资源,对所述晶圆级芯片中包含的各晶粒进行分簇,得到各晶簇,并将所述语言模型包含的各算子分配到各晶簇中,以将所述语言模型部署到所述晶圆级芯片中,其中,每个晶簇用于运行所述语言模型包含的至少部分算子。
本说明书提供了一种任务执行装置,所述装置包括:
获取模块,用于获取用户输入的指定文本,所述指定文本中包含所述用户输入的问题信息;
确定模块,用于将所述指定文本输入到预先训练的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示,并针对预先获取的每个各候选问题文本特征表示,确定该候选问题文本特征表示与所述文本特征表示之间的相关度;
筛选模块,用于根据所述相关度,从各候选问题文本特征表示中确定出与所述文本特征表示相匹配的候选问题文本特征表示,作为目标问题文本特征表示,所述候选问题文本特征表示用于表征在任务执行过程中可能发生的问题对应的问题文本;
判断模块,用于判断所述目标问题文本特征表示与所述文本特征表示之间的相关度是否低于预设的相关度阈值;
更新模块,用于若是,则根据所述目标问题文本特征表示对应的问题文本,确定补充问题,并将所述补充问题展示给所述用户,接收所述用户基于所述补充问题返回的补充文本信息,根据所述补充文本信息以及所述指定文本,重新生成所述指定文本对应的特征表示;
执行模块,用于若否,则将预先确定的所述目标问题文本特征表示对应的回复文本,作为所述指定文本对应的目标回复文本,并通过所述目标回复文本,进行任务执行。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任务执行方法。
本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任务执行方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
在本说明书提供的任务执行方法中,获取用户输入的指定文本,指定文本中包含用户输入的问题信息,将指定文本输入到预先训练的语言模型中,以通过语言模型确定指定文本对应的文本特征表示,并针对预先获取的每个各候选问题文本特征表示,确定该候选问题文本特征表示与文本特征表示之间的相关度,根据相关度,从各候选问题文本特征表示中确定出与文本特征表示相匹配的候选问题文本特征表示,作为目标问题文本特征表示,候选问题文本特征表示用于表征在任务执行过程中可能发生的问题对应的问题文本,判断目标问题文本特征表示与文本特征表示之间的相关度是否低于预设的相关度阈值,若是,则根据目标问题文本特征表示对应的问题文本,确定补充问题,并将补充问题展示给用户,接收用户基于补充问题返回的补充文本信息,根据补充文本信息以及指定文本,重新生成指定文本对应的特征表示,若否,则将预先确定的目标问题文本特征表示对应的回复文本,作为指定文本对应的目标回复文本,并通过目标回复文本,进行任务执行。
从上述方法可以看出,可以通过语言模型,实现可主动与用户进行“拟人化沟通”的问答系统,进而可以在用户输入的问题不确定时,向用户征询补充信息,从而可以根据补充信息完善用户提出的问题,并可以基于完善后的问题,为用户确定回复信息,进而可以提升确定出的回复信息的准确率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书中提供的一种任务执行方法的流程示意图;
图2为本说明书中提供的语言模型的示意图;
图3为本说明书中提供的全连接网络层的示意图;
图4为本说明书提供的分簇后晶圆级芯片的示意图;
图5为本说明书提供的一种任务执行装置的示意图;
图6为本说明书提供的一种对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种任务执行方法的流程示意图,包括以下步骤:
S101:获取用户输入的指定文本,所述指定文本中包含所述用户输入的问题信息。
在本说明书中,当用户在工业生产线上进行任务执行的过程中遇到工业问题时,可以通过将问题输入到业务平台所提供的客户端中,以通过客户端返回相应的答案,并根据答案进行任务执行,因此,客户端返回的答案的准确性就显得尤为重要。
基于此,业务平台可以接收用户输入的指定文本,进而可以根据用户输入的指定文本,确定用户提出的问题,并为用户匹配相应的回复文本返回给用户,以使得用户根据回复文本继续进行任务执行,这里的指定文本中包含用户输入的问题信息,这里的任务可以为控制工业生产线进行生产任务的执行。
在本说明书中,用于实现任务执行方法的执行主体,可以是指服务器等设置于业务平台中的指定设备,也可以为笔记本电脑、台式电脑、手机等设备组成的控制系统,下面仅以服务器是执行主体为例,对本说明书提供的任务执行进行说明。
S102:将所述指定文本输入到预先训练的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示,并针对预先获取的每个各候选问题文本特征表示,确定该候选问题文本特征表示与所述文本特征表示之间的相关度。
进一步地,服务器可以将指定文本输入到预设的关键词提取模型中,以通过关键词提取模型,提取出指定文本中包含的各关键词,作为各目标关键词,进而可以将指定文本中包含的各目标关键词输入到预先训练的语言模型中,以通过语言模型确定指定文本对应的文本特征表示,并针对预先获取的每个各候选问题文本特征表示,确定该候选问题文本特征表示与所述文本特征表示之间的相关度,其中,上述的语言模型如图2所示。
图2为本说明书中提供的语言模型的示意图。
结合图2可以看出,上述的语言模型可以为孪生神经网络模型,上述的语言模型中可以包含两个大模型以及一个全连接网络层组成,这里的两个大模型中的一个用于提取输入的文本对应的特征表示,另一个用于提取输入的文本对应的拼接后关键词对应的特征表示。
具体地,上述的语言模型的训练方法可以为获取各问题信息对应的文本,作为各样本文本,从各样本文本中确定出至少部分样本文本作为负样本文本,并确定负样本文本对应的奖励值为第一指定值,将各样本文本中除负样本文本之外的其他样本文本作为正样本文本,并确定正样本文本对应的奖励值为第二指定值,其中,第一指定值低于第二指定值,优选地,上述的第一指定值可以设置为-30,上述的第二指定值可以设置为30。
进一步地,针对每个样本文本,若该样本文本为正样本文本,则对该样本文本包含的各关键词进行随机拼接,得到该样本文本对应的拼接后关键词,若该样本文本为负样本文本,则从其他样本文本包含的各关键词中选取出至少部分关键词进行随机拼接,得到该样本文本对应的拼接后关键词,将该样本文本输入到预设的语言模型的一个大模型中,得到该样本文本对应的特征表示,作为该样本文本的第一特征表示,以及,将该样本文本对应的拼接后关键词输入到预设的语言模型的另一个大模型中,得到该样本文本对应的拼接后关键词对应的特征表示,作为该样本文本的第二特征表示,将每个样本文本的第一特征表示、第二特征表示以及第一特征表示中每个维度的值减去第二特征表示中与之对应的维度的值的差值的绝对值组成的向量,输入到预设的语言模型的全连接网络层中,以通过每个样本文本的第一特征表示和第二特征表示,以及每个样本文本对应的奖励值,对语言模型进行训练,得到训练后语言模型,其中,上述的全连接网络层如图3所示。
图3为本说明书中提供的全连接网络层的示意图。
结合图3可以看出,服务器可以针对每个样本文本,根据该样本文本的第一特征表示中的每个维度的特征值和该样本文本的第二特征表示中该维度的特征值之间的差值,确定该样本文本的第三特征表示,进而可以将该样本文本的第一特征表示、第二特征表示、第三特征表示输入到全连接网络层中,以通过每个样本文本的第三特征表示,以及,每个样本文本对应的奖励值,对语言模型进行训练,得到训练后语言模型。
需要说明的是,上述的各候选问题文本特征表示是在语言模型训练完成后,服务器可以针对采集到的在任务执行过程中可能发生的每个问题对应的问题文本输入到语言模型中提取出的。
具体地,服务器可以采集在任务执行过程中可能发生的每个问题对应的问题文本,作为各候选问题文本,并可以针对每个候选问题文本,获取该候选问题文本的答案,将该候选问题文本,该候选问题文本对应的答案作为第一数据集并保存。
例如:一条描述工业控制的问题为“在1号服务器温度50-80摄氏度时,需怎么设置5号液泵的转速?”,上述问题的答案为“5档”,则可以将上述问题与答案保存到第一数据集中,并且保存的形式可以为 [问题: “在1号服务器温度50-80摄氏度时,需怎么设置5号液泵的转速?”, 答案:“5档”]。
进一步地,服务器可以针对每个候选问题文本,将该候选问题文本输入到关键词提取模型中,以提取出该候选问题文本中包含的各关键词,进而可以将该候选问题文本,该候选问题文本对应的答案,该候选问题文本中包含的各关键词保存到第二数据集中。
例如:针对问题“在1号服务器温度50-80摄氏度时,需怎么设置5号液泵的转速?”,可以提取出该问题的关键词为1号服务器、5号液泵设置需求、50-80摄氏度,进而可以将该候选问题文本,该候选问题文本对应的答案,该候选问题文本中包含的各关键词保存到第二数据集中,并且保存的形式可以为问题: “在1号服务器温度50-80摄氏度时,需怎么设置5号液泵的转速?”, 关键字集:[1号服务器、5号液泵设置需求、50-80摄氏度],答案:“5档”。
进一步地,针对第二数据集中的每个候选问题文本的关键字集中包含的每个关键字,服务器还可以生成该关键字对应的补充问题,这里的补充问题用于向用户确定与该关键字相对应的信息,进而可以将该关键字,该关键字对应的补充问题保存到第三数据集中。
例如:针对上述的关键字集:[1号服务器、5号液泵设置需求、50-80摄氏度]中的1号服务器,则可以生成对应的补充问题为“几号服务器”,假设用户输入的指定文本为“服务器温度50-80摄氏度时,需怎么设置5号液泵的转速?”时,可以发现用户输入的问题信息中缺乏服务器信息,而不同的服务器的处理方法不同,此时,服务器可以通过上述的补充问题,向用户进行进一步的确认,以提高生成的回复信息的准确性,以此类推,上述的关键词“5号液泵设置需求”对应的补充问题可以为“几号液泵?”等,进而可以将每个关键词和每个关键词对应的补充问题保存到第三数据集中,保存的形式可以为{[关键字:“1号服务器”,确认问题:“基于几号服务器?”],[关键字:“5号液泵设置需求”,确认问题:“设置几号液泵?”],[关键字:“50-80摄氏度”,确认问题:“1号服务器当前温度是多少?”]}。
在实际应用场景中,上述的每个候选问题文本对应的特征表示可以实时输入到语言模型中,以获取各候选问题文本对应的候选问题文本特征表示,当然,为了提高为用户生成回复信息的效率,也可以预先通过语言模型针对每个候选问题文本,生成该候选问题文本对应的候选问题文本特征表示。
S103:根据所述相关度,从各候选问题文本特征表示中确定出与所述文本特征表示相匹配的候选问题文本特征表示,作为目标问题文本特征表示,所述候选问题文本特征表示用于表征在任务执行过程中可能发生的问题对应的问题文本。
进一步地,服务器在确定出用户输入的指定文本对应的文本特征表示与各候选问题文本特征表示之间的相关度之后,可以根据确定出的相关度,从各候选问题文本特征表示中确定出与文本特征表示相匹配的候选问题文本特征表示,作为目标问题文本特征表示。
其中,服务器确定目标问题文本特征表示的方法可以根据实际需求设置,例如:服务器可以从各候选问题文本特征表示中,选取出与用户输入的指定文本对应的文本特征表示之间的相关度最高的候选文本特征表示,作为目标问题文本特征表示。
S104:判断所述目标问题文本特征表示与所述文本特征表示之间的相关度是否低于预设的相关度阈值。
S105:若是,则根据所述目标问题文本特征表示对应的问题文本,确定补充问题,并将所述补充问题展示给所述用户,接收所述用户基于所述补充问题返回的补充文本信息,根据所述补充文本信息以及所述指定文本,重新生成所述指定文本对应的特征表示。
S106:若否,则将预先确定的所述目标问题文本特征表示对应的回复文本,作为所述指定文本对应的目标回复文本,并通过所述目标回复文本,进行任务执行。
进一步地,服务器可以判断目标问题文本特征表示与文本特征表示之间的相关度是否低于预设的相关度阈值,若是,则可以根据目标问题文本特征表示对应的问题文本,确定补充问题,并将补充问题展示给用户,接收用户基于补充问题返回的补充文本信息,根据补充文本信息以及指定文本,重新生成指定文本对应的特征表示。
具体地,服务器可以将预先确定的目标问题文本特征表示对应的问题文本中包含的各关键字,作为第一关键字集,以及,将指定文本中包含的各关键字,作为第二关键字集,确定第一关键字集和第二关键字集之间的补集,并从补集包含的各关键字中,随机确定出目标关键字,根据目标关键字,确定补充问题,这里的补充问题用于向用户确定与目标关键字相对应的信息。
需要说明的是,服务器根据目标关键字,确定补充问题的方法可以为服务器可以从上述的第三数据集中,确定出与目标关键字对应的补充问题作为基础补充问题,进而可以通过语言模型对基础补充问题进行优化,生成向用户展示的补充问题。
上述的优化用于将补充问题中包含的至少部分字词的顺序打乱后重组和/或将补充问题中包含的至少部分字词用同义词进行替换,以使得展示给用户的补充问题更加生动,从而可以提升用户的使用体验。
若否,则服务器可以将预先确定的第一数据集中保存的目标问题文本特征表示对应的问题文本对应的答案,作为目标问题文本特征表示对应的回复文本,并将目标问题文本特征表示对应的回复文本,作为指定文本对应的目标回复文本,并通过将目标回复文本展示给用户,以使得用户可以基于目标回复文本进行任务执行。
需要说明的是,上述的关键词提取模型、上述的语言模型可以为两个独立的模型,当然,上述的关键词提取模型也可以为一个上述的语言模型中的一个子模型,而由于上述的语言模型为大型模型,并且语言模型中的参数量较大,单一普通人工智能芯片的存储和计算资源有限,因此,导致部署难度较高,基于此,本说明书中还可以根据语言模型对应的计算图,确定运行语言模型时每个算子所需的存储资源数据以及计算资源数据,从而可以根据每个算子所需的存储资源数据以及计算资源数据,将语言模型部署到晶圆级芯片中。
其中,服务器可以根据每个算子所需的存储资源数据、计算资源数据以及晶圆级芯片中包含的每个晶粒对应的存储资源和计算资源,对晶圆级芯片中包含的各晶粒进行分簇,得到各晶簇,并将语言模型包含的各算子分配到各晶簇中,以使得每个晶簇负责执行语言模型的至少部分算子对应的计算任务,从而将语言模型部署到晶圆级芯片中。
具体地,服务器可以针对上述的问答系统,确定该问答系统对应的静态计算图,并可以对获取到的静态计算图进行优化,得到优化后静态计算图。
进一步地,服务器可以根据优化后静态计算图中涉及的张量的大小和存储的数据类型,以及,预先构建不同的数据类型所需的存储资源的映射关系表,对每个张量的存储资源的需求进行预估。
其中,上述的不同的数据类型所需的存储资源的映射关系表可以为:数据类型存储资源映射关系表={数据类型1:2,数据类型2:4,…,数据类型n:m}。
从上述数据类型存储资源映射关系表中可以看出,当数据类型为1时,对应的数据类型存储需求(即所需的存储资源)为2,依次类推。
上述预估每个张量的存储资源的需求的方法,具体可以参考如下公式:
张量存储资源需求=数据类型存储需求*张量的维度/>
从上述公式中可以看出,一个大小为5*5*3,用于存储数据类型1数据的张量所需的存储资源为2*5*5*3=150。
进一步地,服务器可以根据静态计算图中包含的每个算子的算子信息,确定每个算子所需的存储资源数据以及计算资源数据,上述的算子信息包括:所涉及的张量的大小、维度信息、一般系数等。
例如:算子所需的计算资源数据={算子1=f1(张量大小,维度信息),算子2= f2(张量大小,维度信息),…,算子n= fn(张量大小,维度信息)}。
进一步地,服务器可以基于上述的静态计算图、上述的每个张量所需的存储资源、上述每个算子所需的计算资源数据,确定语言模型中包含的每层网络层所需的存储资源以及计算资源。
进而可以根据确定出的语言模型中包含的每层网络层所需的存储资源以及计算资源,以及,每个晶粒的存储资源和计算资源,对晶圆级芯片进行分簇,并设置数据流。
其中,由于每个晶粒的存储资源和计算资源相同,因此,每个簇分到的计算任务量可以设置的尽量相同,以避免晶圆级芯片发热不均匀,换句话说,可以将语言模型中包含的每层网络层所需的存储资源以及计算资源均匀的分配给每个晶簇,从而使各个晶簇之间负载均衡。
具体地,上述的分簇方法可以为,若晶簇ID为12,则晶粒数=晶圆芯片横向晶粒数%3*晶圆芯片纵向晶粒数%4,若晶簇ID属于[9,10,11],晶粒数=晶圆芯片横向晶粒数%3*晶圆芯片纵向晶粒数/4,若晶簇ID属于[4,8],晶粒数=晶圆芯片横向晶粒数/3*晶圆芯片纵向晶粒数%4,而针对其他晶簇,晶粒数=晶圆芯片横向晶粒数/3*晶圆芯片纵向晶粒数/4,晶簇状态={簇ID、存储资源:簇晶粒数*单晶粒存储资源、计算资源:簇晶粒数*单晶粒计算资源}。
服务器可以根据全局计算密度,按照数据流在晶簇上的执行顺序,依次为晶簇部署语言模型的各个网络层,其中,网络层的部署顺序为从语言模型的输入层、隐藏层、输出层依次部署,每次部署完一层,并根据当前晶簇的计算密度是否超过全局计算密度,将语言模型部署到晶圆级芯片中。
具体地,如果当前晶簇的计算密度大于全局计算密度,或者当前晶簇的存储资源小于当前晶簇所分配的网络的存储需求时,则按数据流执行顺序,移动至下一个晶簇进行部署,其中,上述的当前晶簇的计算密度以及全局计算密度的计算方法可以参考如下公式。
全局计算密度=
当前晶簇计算密度=
其中,按照上述方法分簇后的晶圆级芯片如图4所示。
在图4中,左上角为1号簇,簇按照从上到下,从左到右的顺序排序,右下角为12号簇,在数据流方面,1号簇包含语言模型的输入层(输入簇),2号簇分为两部分,其中2/1用于部署用于判断特征表示之间相关度的全连接神经网络层(句簇),2/2包含语言模型的输出层(输出簇),其他簇用于部署语言模型的隐藏层(普簇),数据流依次为1号簇、5号簇、9号簇、10号簇、11号簇、12号簇、8号簇、4号簇、3号簇、7号簇、6号簇、2/2号簇,2/1号簇。
当执行输入时,执行步骤为基于1号簇接收数据,然后依次执行5号簇、9号簇、10号簇、11号簇、12号簇、8号簇、4号簇、3号簇、7号簇、6号簇、2/2号簇,以提取关键字。
执行目标问题文本特征表示筛选时,执行步骤为将关键字段输入1号簇,依次执行5号簇、9号簇、10号簇、11号簇、12号簇、8号簇、4号簇、3号簇、7号簇、6号簇、2/2号簇,以获得文本特征表示,将获取到的文本特征表示与第一数据集中的所有候选问题文本特征表示输入2/1号簇,进行分析,即循环执行2/1号簇,第一数据集中包含的问题文本的数量次数。
确定回复文本时,将第一数据集中的目标问题文本特征表示对应的问题文本输入1号簇,然后依次执行5号簇、9号簇、10号簇、11号簇、12号簇、8号簇、4号簇、3号簇、7号簇、6号簇、2/2号簇,进行句式转化,再输出。
确定补充问题时,将第三数据集的确认问题输入1号簇,然后依次执行5号簇、9号簇、10号簇、11号簇、12号簇、8号簇、4号簇、3号簇、7号簇、6号簇、2/2号簇,进行句式转化,再输出。
从上述方法可以看出,服务器可以通过语言模型,实现可主动与用户进行“拟人化沟通”的问答系统,进而可以在用户输入的问题不确定时,向用户征询补充信息,从而可以根据补充信息完善用户提出的问题,并可以基于完善后的问题,为用户确定回复信息,进而可以提升确定出的回复信息的准确率。
除此之外,还可以基于语言模型包含的每层结构的算力需求以及存储资源需求,对晶圆级芯片进行分簇,以将语言模型部署到晶圆级芯片中,其中,晶圆级芯片包含的每个晶簇所需要存储的数据以及所需要执行的计算任务的数量基本相同,从而可以避免因为计算任务分布不平衡导致的热膨胀,进而导致晶圆级芯片使用寿命降低问题,并且可以通过首位衔接式数据流方案,减少晶圆级芯片运行语言模型时所需要搬运数据时的数据搬运压力。
以上为本说明书的一个或多个实施任务执行方法,基于同样的思路,本说明书还提供了相应的任务执行装置,如图5所示。
图5为本说明书提供的一种任务执行装置的示意图,包括:
获取模块501,用于获取用户输入的指定文本,所述指定文本中包含所述用户输入的问题信息;
确定模块502,用于将所述指定文本输入到预先训练的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示,并针对预先获取的每个各候选问题文本特征表示,确定该候选问题文本特征表示与所述文本特征表示之间的相关度;
筛选模块503,用于根据所述相关度,从各候选问题文本特征表示中确定出与所述文本特征表示相匹配的候选问题文本特征表示,作为目标问题文本特征表示,所述候选问题文本特征表示用于表征在任务执行过程中可能发生的问题对应的问题文本;
判断模块504,用于判断所述目标问题文本特征表示与所述文本特征表示之间的相关度是否低于预设的相关度阈值;
更新模块505,用于若是,则根据所述目标问题文本特征表示对应的问题文本,确定补充问题,并将所述补充问题展示给所述用户,接收所述用户基于所述补充问题返回的补充文本信息,根据所述补充文本信息以及所述指定文本,重新生成所述指定文本对应的特征表示;
执行模块506,用于若否,则将预先确定的所述目标问题文本特征表示对应的回复文本,作为所述指定文本对应的目标回复文本,并通过所述目标回复文本,进行任务执行。
可选地,所述确定模块502具体用于,将所述指定文本输入到预设的关键词提取模型中,以通过所述关键词提取模型,提取出所述指定文本中包含的各关键词,作为各目标关键词;将所述各目标关键词输入到预先训练的语言模型中,以通过所述语言模型根据所述各目标关键词,确定所述指定文本对应的文本特征表示。
可选地,所述装置还包括:训练模块507;
所述训练模块507具体用于,获取各问题信息对应的文本,作为各样本文本;从各样本文本中确定出至少部分样本文本作为负样本文本,并确定所述负样本文本对应的奖励值为第一指定值,将各样本文本中除所述负样本文本之外的其他样本文本作为正样本文本,并确定所述正样本文本对应的奖励值为第二指定值,所述第一指定值低于所述第二指定值;针对每个样本文本,若该样本文本为正样本文本,则对该样本文本包含的各关键词进行随机拼接,得到该样本文本对应的拼接后关键词;若该样本文本为负样本文本,则从其他样本文本包含的各关键词中选取出至少部分关键词进行随机拼接,得到该样本文本对应的拼接后关键词;将该样本文本输入到预设的语言模型中,得到该样本文本对应的特征表示,作为该样本文本的第一特征表示;以及将该样本文本对应的拼接后关键词输入到预设的语言模型中,得到该样本文本对应的拼接后关键词对应的特征表示,作为该样本文本的第二特征表示;根据所述每个样本文本的第一特征表示和第二特征表示,以及每个样本文本对应的奖励值,对所述语言模型进行训练,得到训练后语言模型。
可选地,所述训练模块507具体用于,针对每个样本文本,根据该样本文本的第一特征表示中的每个维度的特征值和该样本文本的第二特征表示中该维度的特征值之间的差值,确定该样本文本的第三特征表示;根据每个样本文本的第三特征表示,以及,每个样本文本对应的奖励值,对所述语言模型进行训练,得到训练后语言模型。
可选地,所述更新模块505具体用于,将预先确定的所述目标问题文本特征表示对应的问题文本中包含的各关键字,作为第一关键字集;以及将所述指定文本中包含的各关键字,作为第二关键字集;确定所述第一关键字集和所述第二关键字集之间的补集,并从所述补集包含的各关键字中,确定出目标关键字;根据所述目标关键字,确定补充问题,所述补充问题用于向所述用户确定与所述目标关键字相对应的信息。
可选地,所述装置还包括:部署模块508;
所述部署模块508具体用于,根据所述语言模型对应的计算图,确定运行所述语言模型时每个算子所需的存储资源数据以及计算资源数据;根据每个算子所需的存储资源数据以及计算资源数据,将所述语言模型部署到晶圆级芯片中;将所述指定文本输入到预选训练并部署到所述晶圆级芯片的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示。
可选地,所述部署模块508具体用于,根据每个算子所需的存储资源数据以及计算资源数据以及所述晶圆级芯片中包含的每个晶粒对应的存储资源和计算资源,对所述晶圆级芯片中包含的各晶粒进行分簇,得到各晶簇,并将所述语言模型包含的各算子分配到各晶簇中,以将所述语言模型部署到所述晶圆级芯片中,其中,每个晶簇用于运行所述语言模型包含的至少部分算子。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的一种任务执行方法。
本说明书还提供了图6所示的一种对应于图1的电子设备的示意结构图。如图6所述,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的任务执行方法。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(ProgrammableLogic Device, PLD)(例如现场可编程门阵列(Field Programmable Gate Array,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(HardwareDescription Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(AdvancedBoolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(JavaHardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby HardwareDescription Language)等,目前最普遍使用的是VHDL(Very-High-Speed IntegratedCircuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (9)
1.一种任务执行方法,其特征在于,包括:
获取用户输入的指定文本,所述指定文本中包含所述用户输入的问题信息;
将所述指定文本输入到预先训练的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示,并针对预先获取的每个各候选问题文本特征表示,确定该候选问题文本特征表示与所述文本特征表示之间的相关度,其中,所述语言模型是预先根据所述语言模型对应的计算图,确定运行所述语言模型时每个算子所需的存储资源数据以及计算资源数据,根据每个算子所需的存储资源数据以及计算资源数据,将所述语言模型部署到晶圆级芯片中的;
根据所述相关度,从各候选问题文本特征表示中确定出与所述文本特征表示相匹配的候选问题文本特征表示,作为目标问题文本特征表示,所述候选问题文本特征表示用于表征在任务执行过程中可能发生的问题对应的问题文本;
判断所述目标问题文本特征表示与所述文本特征表示之间的相关度是否低于预设的相关度阈值;
若是,则根据所述目标问题文本特征表示对应的问题文本,确定补充问题,并将所述补充问题展示给所述用户,接收所述用户基于所述补充问题返回的补充文本信息,根据所述补充文本信息以及所述指定文本,重新生成所述指定文本对应的特征表示;
若否,则将预先确定的所述目标问题文本特征表示对应的回复文本,作为所述指定文本对应的目标回复文本,并通过所述目标回复文本,进行任务执行。
2.如权利要求1所述的方法,其特征在于,将所述指定文本输入到预先训练的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示,具体包括:
将所述指定文本输入到预设的关键词提取模型中,以通过所述关键词提取模型,提取出所述指定文本中包含的各关键词,作为各目标关键词;
将所述各目标关键词输入到预先训练的语言模型中,以通过所述语言模型根据所述各目标关键词,确定所述指定文本对应的文本特征表示。
3.如权利要求2所述的方法,其特征在于,训练所述语言模型,具体包括:
获取各问题信息对应的文本,作为各样本文本;
从各样本文本中确定出至少部分样本文本作为负样本文本,并确定所述负样本文本对应的奖励值为第一指定值,将各样本文本中除所述负样本文本之外的其他样本文本作为正样本文本,并确定所述正样本文本对应的奖励值为第二指定值,所述第一指定值低于所述第二指定值;
针对每个样本文本,若该样本文本为正样本文本,则对该样本文本包含的各关键词进行随机拼接,得到该样本文本对应的拼接后关键词;
若该样本文本为负样本文本,则从其他样本文本包含的各关键词中选取出至少部分关键词进行随机拼接,得到该样本文本对应的拼接后关键词;
将该样本文本输入到预设的语言模型中,得到该样本文本对应的特征表示,作为该样本文本的第一特征表示;以及
将该样本文本对应的拼接后关键词输入到预设的语言模型中,得到该样本文本对应的拼接后关键词对应的特征表示,作为该样本文本的第二特征表示;
根据所述每个样本文本的第一特征表示和第二特征表示,以及每个样本文本对应的奖励值,对所述语言模型进行训练,得到训练后语言模型。
4.如权利要求3所述的方法,其特征在于,根据所述每个样本文本的第一特征表示和第二特征表示,以及每个样本文本对应的奖励值,对所述语言模型进行训练,得到训练后语言模型,具体包括:
针对每个样本文本,根据该样本文本的第一特征表示中的每个维度的特征值和该样本文本的第二特征表示中该维度的特征值之间的差值,确定该样本文本的第三特征表示;
根据每个样本文本的第三特征表示,以及,每个样本文本对应的奖励值,对所述语言模型进行训练,得到训练后语言模型。
5.如权利要求1所述的方法,其特征在于,根据所述目标问题文本特征表示对应的问题文本,确定补充问题,具体包括:
将预先确定的所述目标问题文本特征表示对应的问题文本中包含的各关键字,作为第一关键字集;以及
将所述指定文本中包含的各关键字,作为第二关键字集;
确定所述第一关键字集和所述第二关键字集之间的补集,并从所述补集包含的各关键字中,确定出目标关键字;
根据所述目标关键字,确定补充问题,所述补充问题用于向所述用户确定与所述目标关键字相对应的信息。
6.如权利要求1所述的方法,其特征在于,根据每个算子所需的存储资源数据以及计算资源数据,将所述语言模型部署到晶圆级芯片中,具体包括:
根据每个算子所需的存储资源数据以及计算资源数据以及所述晶圆级芯片中包含的每个晶粒对应的存储资源和计算资源,对所述晶圆级芯片中包含的各晶粒进行分簇,得到各晶簇,并将所述语言模型包含的各算子分配到各晶簇中,以将所述语言模型部署到所述晶圆级芯片中,其中,每个晶簇用于运行所述语言模型包含的至少部分算子。
7.一种任务执行装置,其特征在于,所述装置包括:
获取模块,用于获取用户输入的指定文本,所述指定文本中包含所述用户输入的问题信息;
确定模块,用于将所述指定文本输入到预先训练的语言模型中,以通过所述语言模型确定所述指定文本对应的文本特征表示,并针对预先获取的每个各候选问题文本特征表示,确定该候选问题文本特征表示与所述文本特征表示之间的相关度,其中,所述语言模型是预先根据所述语言模型对应的计算图,确定运行所述语言模型时每个算子所需的存储资源数据以及计算资源数据,根据每个算子所需的存储资源数据以及计算资源数据,将所述语言模型部署到晶圆级芯片中的;
筛选模块,用于根据所述相关度,从各候选问题文本特征表示中确定出与所述文本特征表示相匹配的候选问题文本特征表示,作为目标问题文本特征表示,所述候选问题文本特征表示用于表征在任务执行过程中可能发生的问题对应的问题文本;
判断模块,用于判断所述目标问题文本特征表示与所述文本特征表示之间的相关度是否低于预设的相关度阈值;
更新模块,用于若是,则根据所述目标问题文本特征表示对应的问题文本,确定补充问题,并将所述补充问题展示给所述用户,接收所述用户基于所述补充问题返回的补充文本信息,根据所述补充文本信息以及所述指定文本,重新生成所述指定文本对应的特征表示;
执行模块,用于若否,则将预先确定的所述目标问题文本特征表示对应的回复文本,作为所述指定文本对应的目标回复文本,并通过所述目标回复文本,进行任务执行。
8.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~6任一项所述的方法。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311673949.3A CN117370536B (zh) | 2023-12-07 | 2023-12-07 | 一种任务执行方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311673949.3A CN117370536B (zh) | 2023-12-07 | 2023-12-07 | 一种任务执行方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117370536A CN117370536A (zh) | 2024-01-09 |
CN117370536B true CN117370536B (zh) | 2024-03-12 |
Family
ID=89391400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311673949.3A Active CN117370536B (zh) | 2023-12-07 | 2023-12-07 | 一种任务执行方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117370536B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117828064B (zh) * | 2024-03-05 | 2024-05-28 | 之江实验室 | 一种问答系统及问答系统的构建方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019133418A (ja) * | 2018-01-31 | 2019-08-08 | 株式会社日本経済新聞社 | 検索装置、検索方法、プログラム、およびデータベース |
CN111783518A (zh) * | 2020-05-14 | 2020-10-16 | 北京三快在线科技有限公司 | 训练样本生成方法、装置、电子设备及可读存储介质 |
CN116127305A (zh) * | 2022-12-22 | 2023-05-16 | 支付宝(杭州)信息技术有限公司 | 一种模型训练的方法、装置、存储介质及电子设备 |
CN116339752A (zh) * | 2022-12-01 | 2023-06-27 | 航天时代飞鸿技术有限公司 | 基于多级中间表示的自主可控芯片模型自动部署方法及系统 |
CN116401354A (zh) * | 2023-04-28 | 2023-07-07 | 科大讯飞股份有限公司 | 一种文本处理方法、装置、存储介质及设备 |
CN116720008A (zh) * | 2023-08-11 | 2023-09-08 | 之江实验室 | 一种机器阅读方法、装置、存储介质及电子设备 |
CN117149989A (zh) * | 2023-11-01 | 2023-12-01 | 腾讯科技(深圳)有限公司 | 大语言模型训练方法、文本处理方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11899904B2 (en) * | 2017-04-12 | 2024-02-13 | Microsoft Technology Licensing, Llc. | Text input system with correction facility |
-
2023
- 2023-12-07 CN CN202311673949.3A patent/CN117370536B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019133418A (ja) * | 2018-01-31 | 2019-08-08 | 株式会社日本経済新聞社 | 検索装置、検索方法、プログラム、およびデータベース |
CN111783518A (zh) * | 2020-05-14 | 2020-10-16 | 北京三快在线科技有限公司 | 训练样本生成方法、装置、电子设备及可读存储介质 |
CN116339752A (zh) * | 2022-12-01 | 2023-06-27 | 航天时代飞鸿技术有限公司 | 基于多级中间表示的自主可控芯片模型自动部署方法及系统 |
CN116127305A (zh) * | 2022-12-22 | 2023-05-16 | 支付宝(杭州)信息技术有限公司 | 一种模型训练的方法、装置、存储介质及电子设备 |
CN116401354A (zh) * | 2023-04-28 | 2023-07-07 | 科大讯飞股份有限公司 | 一种文本处理方法、装置、存储介质及设备 |
CN116720008A (zh) * | 2023-08-11 | 2023-09-08 | 之江实验室 | 一种机器阅读方法、装置、存储介质及电子设备 |
CN117149989A (zh) * | 2023-11-01 | 2023-12-01 | 腾讯科技(深圳)有限公司 | 大语言模型训练方法、文本处理方法及装置 |
Non-Patent Citations (2)
Title |
---|
Research and Implementation of Intelligent Question Answering System in a Restrited Domain;Yinli Wang et al;《2008 Chinese Conference on Pattern Recognition》;20081031;第1-6页 * |
基于语义树的语句相似度和相关度在问答系统中的研究;于甜甜;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140915;第2014年卷(第09期);第I138-1256页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117370536A (zh) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117370536B (zh) | 一种任务执行方法、装置、存储介质及电子设备 | |
CN111966334B (zh) | 一种业务处理方法、装置及设备 | |
CN110162796A (zh) | 新闻专题创建方法和装置 | |
CN116663618B (zh) | 一种算子优化方法、装置、存储介质及电子设备 | |
CN116521380A (zh) | 一种资源自适应协同的模型训练加速方法、装置及设备 | |
CN116304720B (zh) | 一种代价模型训练的方法、装置、存储介质及电子设备 | |
CN110826894A (zh) | 超参数确定方法、装置及电子设备 | |
CN111737595B (zh) | 一种候选词推荐方法、词库排序模型训练方法及装置 | |
CN115774552A (zh) | 配置化的算法设计方法、装置、电子设备及可读存储介质 | |
CN115543945B (zh) | 一种模型压缩的方法、装置、存储介质及电子设备 | |
CN116402113A (zh) | 一种任务执行的方法、装置、存储介质及电子设备 | |
CN115858837A (zh) | 一种智能工厂设备的三维模型管理方法、设备及介质 | |
CN116308620A (zh) | 一种模型训练和信息推荐的方法、装置、存储介质及设备 | |
CN112307371B (zh) | 小程序子服务识别方法、装置、设备及存储介质 | |
CN115099229A (zh) | 计划模型生成方法、装置、电子设备及存储介质 | |
CN117455015B (zh) | 一种模型优化的方法、装置、存储介质及电子设备 | |
CN117009729B (zh) | 基于softmax的数据处理方法及装置 | |
CN117350351B (zh) | 用户响应预测系统的训练方法、用户响应预测方法及装置 | |
CN116341642B (zh) | 一种数据处理的方法、装置、存储介质及电子设备 | |
CN117171577B (zh) | 一种高性能算子选择的动态决策方法及装置 | |
CN117520850A (zh) | 一种模型训练方法、装置、存储介质及电子设备 | |
CN116340852B (zh) | 一种模型训练、业务风控的方法及装置 | |
CN114792256B (zh) | 基于模型选择的人群扩量方法及装置 | |
CN116755862B (zh) | 一种算子优化调度模型的训练方法、装置、介质及设备 | |
CN117591217A (zh) | 一种信息展示方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |