CN113822439A - 任务预测方法、装置、设备及存储介质 - Google Patents

任务预测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113822439A
CN113822439A CN202110807151.8A CN202110807151A CN113822439A CN 113822439 A CN113822439 A CN 113822439A CN 202110807151 A CN202110807151 A CN 202110807151A CN 113822439 A CN113822439 A CN 113822439A
Authority
CN
China
Prior art keywords
modality
task prediction
sample
feature
modalities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110807151.8A
Other languages
English (en)
Inventor
张先礼
管冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110807151.8A priority Critical patent/CN113822439A/zh
Publication of CN113822439A publication Critical patent/CN113822439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种任务预测方法、装置、设备及存储介质，涉及人工智能技术领域。所述方法包括：获取任务预测模型的训练样本，训练样本包括样本个体的n个模态的特征数据；通过任务预测模型，基于n个模态的特征数据，提取样本个体的特征表示信息，并基于特征表示信息，确定样本个体对应的任务预测结果；基于n个模态之间的互信息以及任务预测结果的准确性，确定模型训练损失；基于模型训练损失，调整任务预测模型的参数，得到完成训练的任务预测模型，完成训练的任务预测模型用于任务预测。本申请实施例中，任务预测模型面向多个模态的特征数据，能够在任务预测过程中嵌入更加完整的语义信息，有助于提升任务预测的准确性。

Description

任务预测方法、装置、设备及存储介质
技术领域
本申请实施例涉及人工智能技术领域，特别涉及一种任务预测方法、装置、设备及存储介质。
背景技术
人工智能技术(Artificial Intelligence，AI)已在多个领域展开了研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等。
机器学习(Machine Learning，ML)是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。通过海量的数据训练机器学习模型，并通过训练完成的机器学习模型执行特定任务的预测，可以辅助或替代人工对特定任务的认定，有效避免由于人员知识储备的不足、精力有限等导致的认定误差，提升特定任务的认定准确性。相关技术中，由于不同模态的数据来源或形式不一样，通常无法对不同模态的数据进行统一处理，因此，机器学习面向个体的单模态数据执行特定任务的预测。
然而，由于单模态数据通常无法完整表示个体的语义，面向单模态数据执行的任务预测的准确性也会随之大打折扣。
发明内容
本申请实施例提供了一种任务预测方法、装置、设备及存储介质，面向多个模态的特征数据，能够在任务预测过程中嵌入更加完整的语义信息，有助于提升任务预测的准确性。所述技术方案如下：
一方面，本申请实施例提供了一种任务预测方法，所述方法包括：
获取任务预测模型的训练样本，所述训练样本包括样本个体的n个模态的特征数据，所述n为大于1的整数；
通过所述任务预测模型，基于所述n个模态的特征数据，提取所述样本个体的特征表示信息，并基于所述特征表示信息，确定所述样本个体对应的任务预测结果；所述特征表示信息包括所述n个模态分别对应的特征表示向量；
基于所述n个模态之间的互信息以及所述任务预测结果的准确性，确定模型训练损失；
基于所述模型训练损失，调整所述任务预测模型的参数，得到完成训练的任务预测模型，所述完成训练的任务预测模型用于任务预测。
另一方面，本申请实施例提供了一种任务预测方法，所述方法包括：
获取目标个体的m个模态的特征数据，所述m为大于1的整数；
通过任务预测模型，基于所述m个模态的特征数据，提取所述目标个体的特征表示信息，所述特征表示信息包括所述m个模态分别对应的特征表示向量；
采用全局最大池化操作，融合所述m个模态分别对应的特征表示向量，得到所述目标个体的融合特征表示向量；
通过所述任务预测模型，基于所述融合特征表示向量，确定所述目标样本对应的任务预测结果。
再一方面，本申请实施例提供了一种任务预测装置，所述装置包括：
样本获取模块，用于获取任务预测模型的训练样本，所述训练样本包括样本个体的n个模态的特征数据，所述n为大于1的整数；
任务预测模块，用于通过所述任务预测模型，基于所述n个模态的特征数据，提取所述样本个体的特征表示信息，并基于所述特征表示信息，确定所述样本个体对应的任务预测结果；所述特征表示信息包括所述n个模态分别对应的特征表示向量；
损失确定模块，用于基于所述n个模态之间的互信息以及所述任务预测结果的准确性，确定模型训练损失；
参数调节模块，用于基于所述模型训练损失，调整所述任务预测模型的参数，得到完成训练的任务预测模型，所述完成训练的任务预测模型用于任务预测。
又一方面，本申请实施例提供了一种任务预测装置，所述装置包括：
数据获取模块，用于获取目标个体的m个模态的特征数据，所述m为大于1的整数；
特征提取模块，用于通过任务预测模型，基于所述m个模态的特征数据，提取所述目标个体的特征表示信息，所述特征表示信息包括所述m个模态分别对应的特征表示向量；
特征融合模块，用于采用全局最大池化操作，融合所述m个模态分别对应的特征表示向量，得到所述目标个体的融合特征表示向量；
任务预测模块，用于通过所述任务预测模型，基于所述融合特征表示向量，确定所述目标样本对应的任务预测结果。
还一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任务预测方法。
还一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任务预测方法。
还一方面，本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任务预测方法。
本申请实施例提供的技术方案至少包括如下有益效果：
通过对任务预测模型进行训练，得到完成训练的任务预测模型，以在后续通过完成训练的任务预测模型进行任务预测，实现了一种通过人工智能的方式进行任务预测的方法，能够辅助或代替人工对任务的认定，有助于降低人工成本。并且，本申请实施例中，任务预测模型面向多个模态的特征数据，能够在任务预测过程中嵌入更加完整的语义信息，有助于提升任务预测的准确性。另外，本申请实施例中，任务预测模型的训练参考了多个模态之间的互信息，确保了多个模态的数据表示一致性，并且，能够将有用的特征嵌入到特征表示向量中，而将无用的特征丢弃掉，增强抗干扰能力。此外，本申请实施例中，任务预测模型采用的是多模态之间的互信息和任务预测结果的准确性进行联合的方式训练，实现了在特征表示向量中嵌入与任务有关的语义特征的同时，尽可能保留个体特征。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的任务预测系统的示意图；
图2是本申请一个实施例提供的任务预测方法的流程图；
图3是本申请一个实施例提供的任务预测模型的预测结果的示意图；
图4是本申请一个实施例提供的任务预测方法的示意图；
图5是本申请另一个实施例提供的任务预测方法的流程图；
图6是本申请一个实施例提供的任务预测模型的框图；
图7是本申请另一个实施例提供的任务预测模型的框图；
图8是本申请又一个实施例提供的任务预测模型的框图；
图9是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能够以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术，也有软件层面的技术。人工智能基础技术一般包括例如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
自然语言处理(Nature Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括：人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的技术方案涉及人工智能的自然语言处理、机器学习/深度学习等技术，具体通过如下实施例进行说明。
在对本申请提供的技术方案进行介绍之前，对本申请实施例中涉及的一些技术名词进行简单介绍。
电子病历(Electronic Health Records，EHR)：病历是病人在医院诊断治疗全过程的原始记录，它包含有首页、病程记录、检查检验结果、医嘱、手术记录、护理记录等等。电子病历(EHR)是以电子化方式管理的有关个人终生健康状态和医疗保健行为的信息，涉及病人信息的采集、存储、传输、处理和利用的所有过程信息。在一些示例中，可对HER进行如下定义：EHR是基于一个特定系统的电子化病人记录，提供用户访问完整准确的数据、警示、提示和临床决策等能力。
模态(modal)：数据是AI的基础，不同行业领域的数据来源广泛、形式多样。每一种来源或形式都可以看作是一种模态，例如，视频、图片、语音以及工业场景下的传感数据、红外、声谱等。
表示学习(Representation Learning)：在机器学习中，表示学习是一组允许系统从原始数据中自动发现特征检测或分类所需的表示的技术。表示学习取代了手动特征工程，允许机器学习特征并使用它们执行特定任务。通常将高维的数据转换为低维向量表示。
互信息(Mutual Information)：互信息是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。
请参考图1，其示出了本申请一个实施例提供的任务预测系统的实施例。该任务预测系统可以包括：第一计算机设备110和第二计算机设备120。
计算机设备是指具备数据分析处理功能和/或存储功能的设备，如具备数据存储能力和/或数据处理能力的PC(Personal Computer，个人计算机)和服务器等，或者是诸如手机、平板电脑、多媒体播放设备、可穿戴设备等终端，还可以是其他计算机设备，本申请实施例对此不作限定。可选地，当计算机设备为服务器时，该计算机设备可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。
本申请实施例中，计算机设备用于执行任务预测模型的训练和/或使用，该任务预测模型用于任务预测。可选地，任务预测模型为上述机器学习模型/深度学习模型。应理解，任务预测模型的训练设备和任务预测模型的使用设备可以实现为同一台计算机设备，也即，在训练任务预测模型的计算机设备上，使用完成训练的任务预测模型执行任务预测，也可以说，在需要通过任务预测模型执行任务预测的计算机设备上，训练任务预测模型；或者，任务预测模型的训练设备和任务预测模型的使用设备可以实现为至少两台不同的计算机设备，也即，任务预测模型的训练设备实现为至少一台计算机设备、任务预测模型的使用设备实现为另外一台或多台计算机设备。
通常，任务预测模型的训练过程中需要对海量的数据进行分析和处理，因而对计算机设备的性能要求较高，而任务预测模型的使用过程对计算机设备的性能要求却没有那么高，因此，在本实施例中，以任务预测模型的训练设备和任务预测模型的使用设备实现为至少两台不同的计算机设备为例进行介绍，但这并不构成对本申请的限定。应理解，对任务预测模型进行训练的计算机设备也可以使用完成训练的任务预测模型执行任务预测。
如图1所示，计算机设备包括：第一计算机设备110和第二计算机设备120；其中，第一计算机设备110用于对任务预测模型进行训练，第二计算机设备120用于使用完成训练的任务预测模型执行任务预测。可选地，第一计算机设备110和第二计算机设备120实现为相同类型的计算机设备，如均实现为个人计算机；或者，第一计算机设备110和第二计算机设备120实现为不同类型的计算机设备，如第一计算机设备110实现为服务器、第二计算机设备120实现为终端。
在一个示例中，如图1所示，第一计算机设备110可以获取包含多个训练样本的训练样本集，并通过训练样本集对任务预测模型进行训练，得到完成训练的任务预测模型；第二计算机设备120可以获取该完成训练的任务预测模型，并使用该完成训练的任务预测模型执行任务预测，得到任务预测结果。可选地，第一计算机设备110和第二计算机设备120之间通过网络进行互相通信，该网络可以是有线网络，也可以是无线网络。
需要说明的一点是，本申请实施例提供的通过任务预测模型执行任务预测的方法可以应用于多个领域，如智能医疗、自动驾驶、智能营销、机器人、教学、游戏、无人驾驶、智能家居、智能客服等领域。示例性地，在应用于智能医疗领域的情况下，可以通过任务预测模型基于病人的电子病历等对病人的病情、住院时长、死亡风险、治疗方案等任务进行预测；在应用于自动驾驶领域的情况下，可以通过任务预测模型基于车辆的性能参数、目的地信息等对车辆的驾驶时长、驾驶方案、驾驶路线、拥堵风险等任务进行预测；在应用于智能营销领域的情况下，可以通过任务预测模型基于营销数据对营销的方向、预期收益、营销风险等任务进行预测。在下述实施例所涉及的示例中，仅以智能医疗领域为例进行说明，应理解，这并不构成对本申请提供的技术方案的限定。
请参考图2，其示出了本申请一个实施例提供的任务预测方法的流程图。该任务预测方法可应用于图1所示的任务预测系统中，如应用于图1所示的第一计算机设备110中。如图2所示，该任务预测方法包括如下步骤(步骤210～步骤240)中的至少部分步骤。
步骤210，获取任务预测模型的训练样本，训练样本包括样本个体的n个模态的特征数据，n为大于1的整数。
本申请实施例通过任务预测模型实现任务预测，该任务预测模型为机器学习模型/神经网络模型。示例性地，任务预测模型应用于智能医疗领域，通过任务预测模型执行的任务预测包括但不限于：病情预测、住院时长预测、死亡风险预测、治疗方案预测等。为确保任务预测模型的预测准确性，需要对任务预测模型进行训练。
计算机设备首先需要获取用于训练任务预测模型的训练样本。可选地，计算机设备获取对应于任务预测模型的训练样本集，该训练样本集中包括至少一个训练样本。本申请实施例对计算机设备获取的训练样本的个数不作限定，实际应用中，可以结合任务预测模型的准确性要求、计算机设备的处理能力等确定训练样本的个数。可选地，一个训练样本对应于一个样本个体。
训练样本包括样本个体的n个模态的特征数据，n为大于1的整数。示例性地，任务预测模型应用于智能医疗领域，样本个体包括病人的电子病历，多个模态的特征数据包括以下至少一项：文本模态的特征数据(如医生输入的文本数据)、数值模态的特征数据(如检查化验指标)、影像模态的特征数据(如医学影像)。可选地，训练样本还包括样本个体对应的任务认定结果，该任务认定结果通常是指人工执行任务所得到的结果。示例性地，任务预测模型应用于智能医疗领域，所需执行的任务包括住院时长评估的情况下，任务认定结果包括住院时长；所需执行的任务包括死亡风险预测的情况下，任务认定结果包括死亡风险的大小或是否有死亡风险；所需执行的任务包括病情诊断的情况下，任务认定结果包括病情。
步骤220，通过任务预测模型，基于n个模态的特征数据，提取样本个体的特征表示信息，并基于特征表示信息，确定样本个体对应的任务预测结果；特征表示信息包括n个模态分别对应的特征表示向量。
在获取到用于训练任务预测模型的训练样本之后，计算机设备可以调用任务预测模型对训练样本进行处理。本申请实施例中，计算机设备通过任务预测模型，基于n个模态的特征数据，提取n个模态分别对应的特征表示向量，得到样本个体的特征表示信息；并通过任务预测模型，基于样本个体的特征表示信息，进一步确定样本个体对应的任务预测结果。
基于任务预测模型所执行的步骤，可以看出，本申请实施例中，任务预测模型主要进行了两方面的处理：一方面是提取特征表示信息，另一方面是执行任务预测。可选地，任务预测模型包括两个部分的学习网络，一个部分的学习网络用于提取特征表示信息，另一个部分的学习网络用于执行任务预测。当然，任务预测模型也可以仅包括一个学习网络，该学习网络不仅用于提取特征表示信息，也用于执行任务预测，本申请实施例对此不作限定。有关任务预测模型的模型结构等的其它介绍说明，请参见下述实施例，此处不多赘述。
可选地，计算机设备直接将训练样本中样本个体的n个模态的特征数据输入任务预测模型，以得到样本个体的特征表示信息；或者，计算机设备先对训练样本中样本个体的n个模态的特征数据进行预处理，并将预处理得到的数据输入任务预测模型，以得到样本个体的特征表示信息。可选地，在提取出样本个体的特征表示信息之后，计算机设备可以直接将样本个体的特征表示信息输入任务预测模型，以得到样本个体对应的任务预测结果；或者，计算机设备先对样本个体的特征表示信息进行再处理，并将再处理得到的数据输入任务预测模型，以得到样本个体对应的任务预测结果。本申请实施例对步骤220的具体实现方式不作限定，有关步骤220的其它介绍说明，请参见下述实施例，此处不多赘述。
步骤230，基于n个模态之间的互信息以及任务预测结果的准确性，确定模型训练损失。
在对任务预测模型进行训练的过程中，需要基于任务预测模型的模型训练损失，来调整任务预测模型的参数。因此，计算机设备需要确定任务预测模型的模型训练损失。本申请实施例中，任务预测模型的模型训练损失至少基于以下两项信息确定：n个模态之间的互信息、任务预测结果的准确性。可选地，计算机设备可以对n个模态之间的互信息和任务预测结果的准确性进行求和、加权求和、取平均值、求差、求余等一种或多种处理，得到任务预测模型的模型训练损失，本申请实施例对此不作限定。有关模型训练损失的计算等的其它介绍说明，请参见下述实施例，此处不多赘述。
由上述解释可知，互信息可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。因此，通过结合n个模态之间的互信息对任务预测模型进行训练，可以确保n个模态的数据表示一致性，并且，能够将有用的特征嵌入到特征表示向量中，而将无用的特征丢弃掉，增强抗干扰能力。本申请实施例还通过联合n个模态之间的互信息和任务预测结果的准确性，实现了在特征表示向量中嵌入与任务有关的语义特征的同时，尽可能保留个体特征。
步骤240，基于模型训练损失，调整任务预测模型的参数，得到完成训练的任务预测模型，完成训练的任务预测模型用于任务预测。
计算机设备基于任务预测模型的模型训练损失，调整任务预测模型的参数，以使得模型训练损失收敛，得到完成训练的任务预测模型。之后，该计算机设备可以使用完成训练的任务预测模型执行任务预测；或者，其它计算机设备在从该计算机设备获取到完成训练的任务预测模型后，使用完成训练的任务预测模型执行任务预测。可选地，在任务预测模型包括多个学习网络的情况下，计算机设备基于模型训练损失，联合调整多个学习网络的参数。
为了进一步提升任务预测模型的预测准确性，在一个示例中，计算机设备还可以通过测试样本对完成训练的任务预测模型进行验证。示例性地，计算机设备获取任务预测模型的测试样本，测试样本包括样本个体的n个模态的特征数据；通过完成训练的任务预测模型，基于n个模态的特征数据，提取样本个体的特征表示信息，并基于特征表示信息，确定样本个体对应的任务预测结果；基于任务预测结果和样本个体对应的任务认定结果，对完成训练的任务预测模型的准确性进行验证。可选地，计算机设备按照一定的比例获取测试样本和训练样本，例如，按照8:2、7:3、6:4中任一比例获取训练样本和测试样本。可选地，计算机设备可以对任务预测模型进行多轮训练，每进行一轮训练后均对完成训练的任务预测模型进行验证，若连续x(x为正整数，如5)次验证的验证结果没有提升，则保留这x次中最好的验证结果对应的模型参数。
综上所述，本申请实施例提供的技术方案，通过对任务预测模型进行训练，得到完成训练的任务预测模型，以在后续通过完成训练的任务预测模型进行任务预测，实现了一种通过人工智能的方式进行任务预测的方法，能够辅助或代替人工对任务的认定，有助于降低人工成本。并且，本申请实施例中，任务预测模型面向多个模态的特征数据，能够在任务预测过程中嵌入更加完整的语义信息，有助于提升任务预测的准确性。另外，本申请实施例中，任务预测模型的训练参考了多个模态之间的互信息，确保了多个模态的数据表示一致性，并且，能够将有用的特征嵌入到特征表示向量中，而将无用的特征丢弃掉，增强抗干扰能力。此外，本申请实施例中，任务预测模型采用的是多模态之间的互信息和任务预测结果的准确性进行联合的方式训练，实现了在特征表示向量中嵌入与任务有关的语义特征的同时，尽可能保留个体特征。
在一个示例中，任务预测模型包括特征编码网络和任务预测网络。结合上述步骤220，可知，计算机设备可以通过特征编码网络，基于n个模态的特征数据，提取样本个体的特征表示信息；并通过任务预测网络，基于样本个体的特征表示信息，确定样本个体对应的任务预测结果。基于此，上述步骤220，包括如下几个步骤(步骤222～步骤228)中的至少部分步骤。
步骤222，对n个模态的特征数据分别进行离散化处理，得到n个模态分别对应的离散化特征数据。
计算机设备可以先对样本个体的n个模态的特征数据进行离散化处理，得到n个模态分别对应的离散化特征数据。本申请实施例对离散化处理的方式不作限定，可选地，离散化处理包括以下处理方式中的一种或多种：自然语言处理、归一化处理、直方图均衡化处理等。可选地，在模态不同的情况下，离散化处理的方式也可以不同，从而实现对模态的特征数据进行针对性地离散化处理，有效提取特征数据中有用的信息。下面，示出了几种模态可能的离散化处理方式。
在一个示例中，在n个模态包括文本模态的情况下，对文本模态的特征数据进行自然语言处理，得到文本模态对应的离散化特征数据。示例性地，以智能医疗领域为例，文本模态的特征数据包括医生输入的文本数据，如“3天前病人开始出现咳嗽，似犬吠状，伴声嘶、喉鸣，白天症状轻夜晚入睡后加重，加重时有呼吸困难症状”，通过自然语言处理技术(如命名实体识别)分析出结构化的离散特征，从而可以得到诸如“犬吠状”、“声嘶”、“喉鸣”、“呼吸困难”等离散化特征数据。
在一个示例中，在n个模态包括数值模态的情况下，对数值模态的特征数据进行归一化处理，得到数值模态对应的离散化特征数据。示例性地，以智能医疗领域为例，数值模态的特征数据包括检查化验的数值等，如“血小板计数为200”，通过归一化处理分析出数值对应的离散特征，从而可以得到诸如“偏低”、“正常”、“偏高”等离散化特征数据。
在一个示例中，在n个模态包括影像模态的情况下，对影像模态的特征数据进行归一化处理和/或直方图均衡化处理，得到影像模态对应的离散化特征数据。示例性地，以智能医疗领域为例，影像模态的特征数据包括医疗影像，如“核磁共振成像”，通过归一化处理和/或直方图均衡化处理分析出影像对应的离散特征，从而可以得到诸如“病变”、“腰椎退化”等离散化特征数据。
步骤224，通过特征编码网络，对n个模态分别对应的离散化特征数据进行映射处理，得到n个模态分别对应的特征表示向量。
计算机设备在对n个模态的特征数据进行离散化地预处理之后，调用任务预测模型中的特征编码网络，对n个模态分别对应的离散化特征数据进行映射处理，得到n个模态分别对应的特征表示向量。其中，特征编码网络可以是任何合适的神经网络编码器，例如，卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent NeuralNetwork，RNN)、深度神经网络(Deep Neural Networks，DNN)。通过特征编码网络，可以将n个模态的离散化特征数据分别映射为低维向量表示。
可选地，n个模态可以分别有其对应的特征编码网络，基于此，特征编码网络包括n个特征编码子网络，n个特征编码子网络和n个模态一一对应；从而上述步骤224，包括：针对n个模态中的第k个模态，通过第k个模态对应的特征编码子网络，对第k个模态对应的离散化特征数据进行映射处理，得到第k个模态对应的特征表示向量；其中，k为小于或等于n的正整数。
步骤226，采用全局最大池化操作，融合n个模态分别对应的特征表示向量，得到样本个体的融合特征表示向量。
通过任务预测模型中的特征编码网络得到的样本个体的特征表示信息，是包括n个模态分别对应的特征表示向量的。为了便于任务预测模型中的任务预测网络进行后续处理，计算机设备需要融合n个模态分别对应的特征表示向量，得到样本个体的融合特征表示向量。本申请实施例中，计算机设备采用全局最大池化操作，融合n个模态分别对应的特征表示向量。其中，全局最大池化操作可以松耦合地融合不同模态对应的特征表示向量，对输入的模态数量不作要求；而基于不同模态之间的互信息训练任务预测模型，则可以强调相同个体不同模态数据表示的一致性，这两种操作的结合，可以使得任务预测模型更好地应对实际应用场景中的模态缺失问题。
可选地，特征表示向量的维数为d，d为正整数；基于此，上述采用全局最大池化操作，融合n个模态分别对应的特征表示向量，包括：提取n个模态分别对应的特征表示向量的第i维元素，得到n个元素；i为小于或等于d的正整数；将n个元素的最大值，作为融合特征表示向量的第i维元素；融合特征表示向量的维数为d。换句话说，计算机设备针对每一个维度，将n个模态分别对应的特征表示向量中对应于该维度的元素中，取值最大的元素作为融合特征表示向量对应于该维度的元素。
步骤228，通过任务预测网络，基于融合特征表示向量，确定任务预测结果。
融合特征表示向量是融合了样本个体的n个模态的特征的向量，计算机设备调用任务预测模型中的任务预测网络，对融合特征表示向量进行处理，即可得到样本个体对应的任务预测结果。本申请实施例对样本个体的任务预测结果的维数不作限定，可选地，任务预测结果的维数与任务类型相关联。示例性地，若任务类型为回归问题(如住院时长预测任务)，则任务预测结果的维数为一维；若任务类型为分类问题(如死亡风险评估任务)，则任务预测结果的维数为y维，y为大于1的整数，如y为2。
综上所述，本申请实施例提供的技术方案，通过采用全局最大池化操作融合多个模态分别对应的特征表示向量，可以松耦合地融合不同模态对应的特征表示向量，对输入的模态数量不作要求；而基于不同模态之间的互信息训练任务预测模型，则可以强调相同个体不同模态数据表示的一致性，这两种操作的结合，可以使得任务预测模型更好地应对实际应用场景中的模态缺失问题。
在一个示例中，上述步骤230，包括如下步骤(步骤232～步骤238)中的至少部分步骤。
步骤232，构建模态正样本，以及模态正样本对应的模态负样本；其中，模态正样本包括同一样本个体的不同模态的特征表示向量，模态负样本包括不同样本个体的不同模态的特征表示向量。
为了强调相同个体不同模态数据表示的一致性，需要采集不同模态之间的模态负样本和模态正样本。其中，模态正样本包括同一样本个体的不同模态的特征表示向量，模态负样本包括不同样本个体的不同模态的特征表示向量。本申请实施例中，计算机设备基于多个样本个体的n个模态分别对应的特征表示向量，构建模态正样本，以及模态正样本对应的模态负样本。
可选地，n个模态之间的互信息包括n个模态中任意两个模态之间的互信息的集合，也即，计算机设备分别计算n个模态中两两模态之间的互信息。从而，模态正样本和模态负样本包括的也是两两模态的特征表示向量。下面，以n个模态包括的第一模态和第二模态为例，对模态正样本和模态负样本的构建过程进行介绍，如下所示。
计算机设备基于第一样本个体的第一模态对应的特征表示向量，以及第一样本个体的第二模态对应的特征表示向量，构建第一模态正样本；基于第一样本个体的第一模态对应的特征表示向量，以及第二样本个体的第二模态对应的特征表示向量，构建第一模态负样本；基于第一样本个体的第二模态对应的特征表示向量，以及第一样本个体的第一模态对应的特征表示向量，构建第二模态正样本；基于第一样本个体的第二模态对应的特征表示向量，以及第二样本个体的第一模态对应的特征表示向量，构建第二模态负样本。
其中，第一模态正样本是指以第一模态为锚点时，第一模态和第二模态之间的模态正样本；第一模态负样本是指以第一模态为锚点时，第一模态和第二模态之间的模态负样本；第二模态正样本是指以第二模态为锚点时，第二模态和第一模态之间的模态正样本；第二模态负样本是指以第二模态为锚点时，第二模态和第一模态之间的模态负样本。换句话说，第一模态和第二模态之间的样本构建，需要分别以第一模态和第二模态为锚点，构建模态正样本和模态负样本。
示例性地，第i个样本个体的第一模态对应的特征表示向量为
Figure BDA0003167021120000141
第i个样本个体的第二模态对应的特征表示向量为
Figure BDA0003167021120000142
第j个样本个体的第一模态对应的特征表示向量为
Figure BDA0003167021120000143
第j个样本个体的第二模态对应的特征表示向量为
Figure BDA0003167021120000144
其中，i≠j。在以第一模态为锚点的情况下，
Figure BDA0003167021120000145
可以看作模态正样本，
Figure BDA0003167021120000146
可以看作模态负样本；在以第二模态为锚点的情况下，
Figure BDA0003167021120000147
可以看作模态正样本，
Figure BDA0003167021120000148
可以看作模态负样本。
步骤234，基于模态正样本和模态负样本，确定模态互信息损失，模态互信息损失用于指示n个模态之间的互信息；
计算机设备基于所构建的模态正样本和模态负样本，确定模态互信息损失。其中，模态互信息损失用于指示n个模态之间的互信息，计算机设备可以通过最小化模态互信息损失，以实现最大化模态之间的互信息，达到相同个体不同模态数据表示的一致性的目的。基于步骤232，同样，以n个模态包括的第一模态和第二模态为例，对模态互信息损失的确定过程进行介绍，如下所示。
计算机设备基于第一模态正样本，确定第一模态和第二模态之间的第一余弦相似度；基于第一模态负样本，确定第一模态和第二模态之间的第二余弦相似度；基于第一模态和第二模态之间的第一余弦相似度和第二余弦相似度，确定第一模态互信息损失；基于第二模态正样本，确定第二模态和第一模态之间的第一余弦相似度；基于第二模态负样本，确定第二模态和第一模态之间的第二余弦相似度；基于第二模态和第一模态之间的第一余弦相似度和第二余弦相似度，确定第二模态互信息损失。
其中，第一模态互信息损失用于指示以第一模态为锚点时，第一模态和第二模态之间的互信息；第二模态互信息损失用于指示以第二模态为锚点时，第二模态和第一模态之间的互信息。换句话说，第一模态和第二模态之间的模态互信息损失，需要分别以第一模态和第二模态为锚点来确定。
示例性地，基于步骤232的示例，假设针对每个模态正样本，均确定Nneg个对应的模态负样本，则模态互信息损失的计算如下所示。
以第一模态为锚点的情况下，第一模态和第二模态之间的模态互信息损失可以表示为：
Figure BDA0003167021120000151
以第二模态为锚点的情况下，第二模态和第一模态之间的模态互信息损失可以表示为：
Figure BDA0003167021120000152
其中，sim函数为求余弦相似度，τ为温度参数，可以设定τ的取值为0.1、0.01等。
步骤236，基于任务预测结果和样本个体对应的任务认定结果，确定任务预测损失，任务预测损失用于指示任务预测结果的准确性。
一方面，训练样本包括样本个体对应的任务认定结果；另一方面，计算机设备基于任务预测模型得到样本个体对应的任务预测结果。从而，计算机设备可以基于任务预测结果和任务认定结果，确定任务预测损失，该任务预测损失用于指示任务预测结果的准确性，或者可以说，该任务预测损失用于指示任务预测结果与任务认定结果之间的偏差。
示例性地，假设第i个样本个体的融合特征表示向量为ci，第i个样本个体的任务预测结果为
Figure BDA0003167021120000161
第i个样本个体的任务认定结果为yi；则任务预测损失可以表示为：
Figure BDA0003167021120000162
其中，Nb为样本个体的数量；CE是指Cross-Entropy(交叉熵)，适用于分类问题；SE是指Squared Error(均方差)，适用于回归问题。
步骤238，基于模态互信息损失和任务预测损失，确定模型训练损失。
计算机设备联合模态互信息损失和任务预测损失，即可确定模型训练损失。可选地，计算机设备对模态互信息损失和任务预测损失进行求和、求差、加权求和、求余等一种或多种处理，得到模型训练损失。
示例性地，基于上述步骤234和步骤236的示例，并将n个模态扩展为大于两个模态的情况，则模型训练损失可以表示为：
Figure BDA0003167021120000163
其中，λs、λt、λz分别为
Figure BDA0003167021120000164
Ltask对应的平衡参数，可以结合实际的应用需求灵活设置它们的取值。
综上所述，本申请实施例提供的技术方案，通过采用多模态之间的互信息和任务预测结果的准确性进行联合的方式训练任务预测模型，实现了在特征表示向量中嵌入与任务有关的语义特征的同时，尽可能保留个体特征。如图3所示，图3(a)是相关技术中通过完成训练的模型对样本个体进行处理得到的示意图，可见，该模型只有在正负样本间有一个边界，丧失了个体特征；图3(b)是本申请实施例中通过完成训练的任务预测模型对样本个体进行处理得到的示意图，可见，通过本申请实施例所得到的特征表示能将所有的样本个体聚成多个簇，个体特征相近聚类到一起形成一个簇，而每个簇中又有明显的边界，有效保留了个体特征。
请参考图4，其示出了本申请一个实施例提供的任务预测方法的示意图。该任务预测方法可应用于图1所示的任务预测系统中，如应用于图1所示的第一计算机设备110中。
如图4所示，计算机设备获取任务预测模型对应的训练样本集，该训练样本集包括多个训练样本，训练样本包括样本个体的多个模态的特征数据。首先，计算机设备对样本个体的多个模态的特征数据进行离散化地预处理，得到这多个模态分别对应的离散化特征数据；接着，计算机设备通过多个模态分别对应的特征编码网络对多个模态分别对应的离散化特征数据进行映射处理，得到多个模态分别对应的特征表示向量；然后，计算机设备采用全局最大池化操作，融合多个模态分别对应的特征表示向量，得到样本个体对应的融合特征表示向量；最后，计算机设备通过任务预测网络对样本个体的融合特征表示向量进行处理，得到样本个体对应的任务预测结果。
在损失计算时，如图4所示，一方面，计算机设备基于多个模态分别对应的特征表示向量，得到多个模态之间的互信息损失；另一方面，计算机设备基于样本个体对应的任务认定结果和任务预测结果，确定任务预测损失。计算机设备联合多个模态之间的互信息损失以及任务预测损失得到模型训练损失，并基于模型训练损失，调整特征编码网络和任务预测网络的参数，得到完成训练的特征编码网络和完成训练的任务预测网络。
请参考图5，其示出了本申请一个实施例提供的任务预测方法的流程图。该任务预测方法可应用于图1所示的任务预测系统中，如应用于图1所示的第二计算机设备120中。如图5所示，该任务预测方法包括如下步骤(步骤510～步骤540)中的至少部分步骤。
步骤510，获取目标个体的m个模态的特征数据，m为大于1的整数。
步骤520，通过任务预测模型，基于m个模态的特征数据，提取目标个体的特征表示信息，特征表示信息包括m个模态分别对应的特征表示向量。
步骤530，采用全局最大池化操作，融合m个模态分别对应的特征表示向量，得到目标个体的融合特征表示向量。
可选地，特征表示向量的维数为d，d为正整数；上述步骤530，包括：提取m个模态分别对应的特征表示向量的第i维元素，得到m个元素；i为小于或等于d的正整数；将m个元素的最大值，作为融合特征表示向量的第i维元素；融合特征表示向量的维数为d。
步骤540，通过任务预测模型，基于融合特征表示向量，确定目标样本对应的任务预测结果。
可选地，目标个体包括电子病历；m个模态包括以下至少一个模态：文本模态、数值模态、影像模态；和/或，任务预测结果包括以下至少一项：病情诊断结果、风险评估结果、时长评估结果、方案评估结果。
有关图5实施例中未介绍的内容，可参见上述图2实施例的介绍，此处不多赘述。需要说明的一点是，图5实施例中的任务预测模型，是采用图2实施例中对任务预测模型进行训练的方式得到的。
综上所述，本申请实施例提供的技术方案，通过采用全局最大池化操作融合多个模态分别对应的特征表示向量，可以松耦合地融合不同模态对应的特征表示向量，对输入的模态数量不作要求；而任务预测模型是基于不同模态之间的互信息训练得到的，则可以强调相同个体不同模态数据表示的一致性，这两种操作的结合，可以更好地应对实际应用场景中的模态缺失问题。
请参考图6，其示出了本申请一个实施例提供的任务预测装置的框图。该装置具有实现上述图2实施例所述的任务预测方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置在计算机设备中。该装置600可以包括：样本获取模块610、任务预测模块620、损失确定模块630和参数调节模块640。
样本获取模块610，用于获取任务预测模型的训练样本，所述训练样本包括样本个体的n个模态的特征数据，所述n为大于1的整数。
任务预测模块620，用于通过所述任务预测模型，基于所述n个模态的特征数据，提取所述样本个体的特征表示信息，并基于所述特征表示信息，确定所述样本个体对应的任务预测结果；所述特征表示信息包括所述n个模态分别对应的特征表示向量。
损失确定模块630，用于基于所述n个模态之间的互信息以及所述任务预测结果的准确性，确定模型训练损失。
参数调节模块640，用于基于所述模型训练损失，调整所述任务预测模型的参数，得到完成训练的任务预测模型，所述完成训练的任务预测模型用于任务预测。
在一个示例中，所述任务预测模型包括特征编码网络和任务预测网络；如图7所示，所述任务预测模块620，包括：离散化单元622，用于对所述n个模态的特征数据分别进行离散化处理，得到所述n个模态分别对应的离散化特征数据；特征编码单元624，用于通过所述特征编码网络，对所述n个模态分别对应的离散化特征数据进行映射处理，得到所述n个模态分别对应的特征表示向量；特征融合单元626，用于采用全局最大池化操作，融合所述n个模态分别对应的特征表示向量，得到所述样本个体的融合特征表示向量；任务预测单元628，用于通过所述任务预测网络，基于所述融合特征表示向量，确定所述任务预测结果。
在一个示例中，所述特征编码网络包括n个特征编码子网络，所述n个特征编码子网络和所述n个模态一一对应；如图7所示，所述特征编码单元624，用于：针对所述n个模态中的第k个模态，通过所述第k个模态对应的特征编码子网络，对所述第k个模态对应的离散化特征数据进行映射处理，得到所述第k个模态对应的特征表示向量；其中，所述k为小于或等于所述n的正整数。
在一个示例中，所述特征表示向量的维数为d，所述d为正整数；如图7所示，所述特征融合单元626，用于：提取所述n个模态分别对应的特征表示向量的第i维元素，得到n个元素；所述i为小于或等于所述d的正整数；将所述n个元素的最大值，作为所述融合特征表示向量的第i维元素；所述融合特征表示向量的维数为所述d。
在一个示例中，如图7所示，所述离散化单元622，用于：在所述n个模态包括文本模态的情况下，对所述文本模态的特征数据进行自然语言处理，得到所述文本模态对应的离散化特征数据；在所述n个模态包括数值模态的情况下，对所述数值模态的特征数据进行归一化处理，得到所述数值模态对应的离散化特征数据；在所述n个模态包括影像模态的情况下，对所述影像模态的特征数据进行归一化处理和/或直方图均衡化处理，得到所述影像模态对应的离散化特征数据。
在一个示例中，如图7所示，所述损失确定模块630，包括：样本构建单元632，用于构建模态正样本，以及所述模态正样本对应的模态负样本；其中，所述模态正样本包括同一样本个体的不同模态的特征表示向量，所述模态负样本包括不同样本个体的不同模态的特征表示向量；互信息损失确定单元634，用于基于所述模态正样本和所述模态负样本，确定模态互信息损失，所述模态互信息损失用于指示所述n个模态之间的互信息；预测损失确定单元636，用于基于所述任务预测结果和所述样本个体对应的任务认定结果，确定任务预测损失，所述任务预测损失用于指示所述任务预测结果的准确性；训练损失确定单元638，用于基于所述模态互信息损失和所述任务预测损失，确定所述模型训练损失。
在一个示例中，所述n个模态包括第一模态和第二模态；如图7所示，所述样本构建单元632，用于：基于第一样本个体的所述第一模态对应的特征表示向量，以及所述第一样本个体的所述第二模态对应的特征表示向量，构建第一模态正样本；所述第一模态正样本是指以所述第一模态为锚点时，所述第一模态和所述第二模态之间的模态正样本；基于所述第一样本个体的所述第一模态对应的特征表示向量，以及第二样本个体的所述第二模态对应的特征表示向量，构建第一模态负样本；所述第一模态负样本是指以所述第一模态为锚点时，所述第一模态和所述第二模态之间的模态负样本；基于所述第一样本个体的所述第二模态对应的特征表示向量，以及所述第一样本个体的所述第一模态对应的特征表示向量，构建第二模态正样本；所述第二模态正样本是指以所述第二模态为锚点时，所述第二模态和所述第一模态之间的模态正样本；基于所述第一样本个体的所述第二模态对应的特征表示向量，以及所述第二样本个体的所述第一模态对应的特征表示向量，构建第二模态负样本；所述第二模态负样本是指以所述第二模态为锚点时，所述第二模态和所述第一模态之间的模态负样本。
在一个示例中，如图7所示，所述互信息损失确定单元634，用于：基于所述第一模态正样本，确定所述第一模态和所述第二模态之间的第一余弦相似度；基于所述第一模态负样本，确定所述第一模态和所述第二模态之间的第二余弦相似度；基于所述第一模态和所述第二模态之间的第一余弦相似度和第二余弦相似度，确定第一模态互信息损失；所述第一模态互信息损失用于指示以所述第一模态为锚点时，所述第一模态和所述第二模态之间的互信息；基于所述第二模态正样本，确定所述第二模态和所述第一模态之间的第一余弦相似度；基于所述第二模态负样本，确定所述第二模态和所述第一模态之间的第二余弦相似度；基于所述第二模态和所述第一模态之间的第一余弦相似度和第二余弦相似度，确定第二模态互信息损失；所述第二模态互信息损失用于指示以所述第二模态为锚点时，所述第二模态和所述第一模态之间的互信息。
综上所述，本申请实施例提供的技术方案，通过对任务预测模型进行训练，得到完成训练的任务预测模型，以在后续通过完成训练的任务预测模型进行任务预测，实现了一种通过人工智能的方式进行任务预测的方法，能够辅助或代替人工对任务的认定，有助于降低人工成本。并且，本申请实施例中，任务预测模型面向多个模态的特征数据，能够在任务预测过程中嵌入更加完整的语义信息，有助于提升任务预测的准确性。另外，本申请实施例中，任务预测模型的训练参考了多个模态之间的互信息，确保了多个模态的数据表示一致性，并且，能够将有用的特征嵌入到特征表示向量中，而将无用的特征丢弃掉，增强抗干扰能力。此外，本申请实施例中，任务预测模型采用的是多模态之间的互信息和任务预测结果的准确性进行联合的方式训练，实现了在特征表示向量中嵌入与任务有关的语义特征的同时，尽可能保留个体特征。
请参考图8，其示出了本申请一个实施例提供的任务预测装置的框图。该装置具有实现上述图5实施例所述的任务预测方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置在计算机设备中。该装置800可以包括：数据获取模块810、数据获取模块810、特征融合模块830和任务预测模块840。
数据获取模块810，用于获取目标个体的m个模态的特征数据，所述m为大于1的整数。
特征提取模块820，用于通过任务预测模型，基于所述m个模态的特征数据，提取所述目标个体的特征表示信息，所述特征表示信息包括所述m个模态分别对应的特征表示向量。
特征融合模块830，用于采用全局最大池化操作，融合所述m个模态分别对应的特征表示向量，得到所述目标个体的融合特征表示向量。
任务预测模块840，用于通过所述任务预测模型，基于所述融合特征表示向量，确定所述目标样本对应的任务预测结果。
在一个示例中，所述特征表示向量的维数为d，所述d为正整数；所述特征融合模块830，用于：提取所述m个模态分别对应的特征表示向量的第i维元素，得到m个元素；所述i为小于或等于所述d的正整数；将所述m个元素的最大值，作为所述融合特征表示向量的第i维元素；所述融合特征表示向量的维数为所述d。
在一个示例中，所述目标个体包括电子病历；所述m个模态包括以下至少一个模态：文本模态、数值模态、影像模态；和/或，所述任务预测结果包括以下至少一项：病情诊断结果、风险评估结果、时长评估结果、方案评估结果。
综上所述，本申请实施例提供的技术方案，通过采用全局最大池化操作融合多个模态分别对应的特征表示向量，可以松耦合地融合不同模态对应的特征表示向量，对输入的模态数量不作要求；而任务预测模型是基于不同模态之间的互信息训练得到的，则可以强调相同个体不同模态数据表示的一致性，这两种操作的结合，可以更好地应对实际应用场景中的模态缺失问题。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图9，其示出了本申请实施例提供的计算机设备的结构框图，该计算机设备可用于实现上述任务预测方法示例的功能。具体来讲：
该计算机设备900包括处理单元(如CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)和FPGA(Field Programmable GateArray，现场可编程逻辑门阵列)等)901、包括RAM(Random-Access Memory，随机存储器)902和ROM(Read-Only Memory，只读存储器)903的系统存储器904，以及连接系统存储器904和中央处理单元901的系统总线905。该计算机设备900还包括帮助计算计算机设备内的各个器件之间传输信息的I/O系统(Input Output System，基本输入/输出系统)906，和用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备907。
该基本输入/输出系统906包括有用于显示信息的显示器908和用于用户输入信息的诸如鼠标、键盘之类的输入设备909。其中，该显示器908和输入设备909都通过连接到系统总线905的输入输出控制器910连接到中央处理单元901。该基本输入/输出系统906还可以包括输入输出控制器910以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器910还提供输出到显示屏、打印机或其他类型的输出设备。
该大容量存储设备907通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。该大容量存储设备907及其相关联的计算机可读介质为计算机设备900提供非易失性存储。也就是说，该大容量存储设备907可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦写可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备907可以统称为存储器。
根据本申请实施例，该计算机设备900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备900可以通过连接在该系统总线905上的网络接口单元911连接到网络912，或者说，也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。
该存储器还包括至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述任务预测方法。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任务预测方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任务预测方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种任务预测方法，其特征在于，所述方法包括：
获取任务预测模型的训练样本，所述训练样本包括样本个体的n个模态的特征数据，所述n为大于1的整数；
通过所述任务预测模型，基于所述n个模态的特征数据，提取所述样本个体的特征表示信息，并基于所述特征表示信息，确定所述样本个体对应的任务预测结果；所述特征表示信息包括所述n个模态分别对应的特征表示向量；
基于所述n个模态之间的互信息以及所述任务预测结果的准确性，确定模型训练损失；
基于所述模型训练损失，调整所述任务预测模型的参数，得到完成训练的任务预测模型，所述完成训练的任务预测模型用于任务预测。
2.根据权利要求1所述的方法，其特征在于，所述任务预测模型包括特征编码网络和任务预测网络；
所述通过所述任务预测模型，基于所述n个模态的特征数据，提取所述样本个体的特征表示信息，并基于所述特征表示信息，确定所述样本个体对应的任务预测结果，包括：
对所述n个模态的特征数据分别进行离散化处理，得到所述n个模态分别对应的离散化特征数据；
通过所述特征编码网络，对所述n个模态分别对应的离散化特征数据进行映射处理，得到所述n个模态分别对应的特征表示向量；
采用全局最大池化操作，融合所述n个模态分别对应的特征表示向量，得到所述样本个体的融合特征表示向量；
通过所述任务预测网络，基于所述融合特征表示向量，确定所述任务预测结果。
3.根据权利要求2所述的方法，其特征在于，所述特征编码网络包括n个特征编码子网络，所述n个特征编码子网络和所述n个模态一一对应；
所述通过所述特征编码网络，对所述n个模态分别对应的离散化特征数据进行映射处理，得到所述n个模态分别对应的特征表示向量，包括：
针对所述n个模态中的第k个模态，通过所述第k个模态对应的特征编码子网络，对所述第k个模态对应的离散化特征数据进行映射处理，得到所述第k个模态对应的特征表示向量；其中，所述k为小于或等于所述n的正整数。
4.根据权利要求2所述的方法，其特征在于，所述特征表示向量的维数为d，所述d为正整数；
所述采用全局最大池化操作，融合所述n个模态分别对应的特征表示向量，得到所述样本个体的融合特征表示向量，包括：
提取所述n个模态分别对应的特征表示向量的第i维元素，得到n个元素；所述i为小于或等于所述d的正整数；
将所述n个元素的最大值，作为所述融合特征表示向量的第i维元素；所述融合特征表示向量的维数为所述d。
5.根据权利要求2所述的方法，其特征在于，对所述n个模态的特征数据分别进行离散化处理，得到所述n个模态分别对应的离散化特征数据，包括：
在所述n个模态包括文本模态的情况下，对所述文本模态的特征数据进行自然语言处理，得到所述文本模态对应的离散化特征数据；
在所述n个模态包括数值模态的情况下，对所述数值模态的特征数据进行归一化处理，得到所述数值模态对应的离散化特征数据；
在所述n个模态包括影像模态的情况下，对所述影像模态的特征数据进行归一化处理和/或直方图均衡化处理，得到所述影像模态对应的离散化特征数据。
6.根据权利要求1所述的方法，其特征在于，所述基于所述n个模态之间的互信息以及所述任务预测结果的准确性，确定模型训练损失，包括：
构建模态正样本，以及所述模态正样本对应的模态负样本；其中，所述模态正样本包括同一样本个体的不同模态的特征表示向量，所述模态负样本包括不同样本个体的不同模态的特征表示向量；
基于所述模态正样本和所述模态负样本，确定模态互信息损失，所述模态互信息损失用于指示所述n个模态之间的互信息；
基于所述任务预测结果和所述样本个体对应的任务认定结果，确定任务预测损失，所述任务预测损失用于指示所述任务预测结果的准确性；
基于所述模态互信息损失和所述任务预测损失，确定所述模型训练损失。
7.根据权利要求6所述的方法，其特征在于，所述n个模态包括第一模态和第二模态；
所述构建模态正样本，以及所述模态正样本对应的模态负样本，包括：
基于第一样本个体的所述第一模态对应的特征表示向量，以及所述第一样本个体的所述第二模态对应的特征表示向量，构建第一模态正样本；所述第一模态正样本是指以所述第一模态为锚点时，所述第一模态和所述第二模态之间的模态正样本；
基于所述第一样本个体的所述第一模态对应的特征表示向量，以及第二样本个体的所述第二模态对应的特征表示向量，构建第一模态负样本；所述第一模态负样本是指以所述第一模态为锚点时，所述第一模态和所述第二模态之间的模态负样本；
基于所述第一样本个体的所述第二模态对应的特征表示向量，以及所述第一样本个体的所述第一模态对应的特征表示向量，构建第二模态正样本；所述第二模态正样本是指以所述第二模态为锚点时，所述第二模态和所述第一模态之间的模态正样本；
基于所述第一样本个体的所述第二模态对应的特征表示向量，以及所述第二样本个体的所述第一模态对应的特征表示向量，构建第二模态负样本；所述第二模态负样本是指以所述第二模态为锚点时，所述第二模态和所述第一模态之间的模态负样本。
8.根据权利要求7所述的方法，其特征在于，所述基于所述模态正样本和所述模态负样本，确定模态互信息损失，包括：
基于所述第一模态正样本，确定所述第一模态和所述第二模态之间的第一余弦相似度；
基于所述第一模态负样本，确定所述第一模态和所述第二模态之间的第二余弦相似度；
基于所述第一模态和所述第二模态之间的第一余弦相似度和第二余弦相似度，确定第一模态互信息损失；所述第一模态互信息损失用于指示以所述第一模态为锚点时，所述第一模态和所述第二模态之间的互信息；
基于所述第二模态正样本，确定所述第二模态和所述第一模态之间的第一余弦相似度；
基于所述第二模态负样本，确定所述第二模态和所述第一模态之间的第二余弦相似度；
基于所述第二模态和所述第一模态之间的第一余弦相似度和第二余弦相似度，确定第二模态互信息损失；所述第二模态互信息损失用于指示以所述第二模态为锚点时，所述第二模态和所述第一模态之间的互信息。
9.一种任务预测方法，其特征在于，所述方法包括：
获取目标个体的m个模态的特征数据，所述m为大于1的整数；
通过任务预测模型，基于所述m个模态的特征数据，提取所述目标个体的特征表示信息，所述特征表示信息包括所述m个模态分别对应的特征表示向量；
采用全局最大池化操作，融合所述m个模态分别对应的特征表示向量，得到所述目标个体的融合特征表示向量；
通过所述任务预测模型，基于所述融合特征表示向量，确定所述目标样本对应的任务预测结果。
10.根据权利要求9所述的方法，其特征在于，所述特征表示向量的维数为d，所述d为正整数；
所述采用全局最大池化操作，融合所述m个模态分别对应的特征表示向量，得到所述目标个体的融合特征表示向量，包括：
提取所述m个模态分别对应的特征表示向量的第i维元素，得到m个元素；所述i为小于或等于所述d的正整数；
将所述m个元素的最大值，作为所述融合特征表示向量的第i维元素；所述融合特征表示向量的维数为所述d。
11.根据权利要求9所述的方法，其特征在于，所述目标个体包括电子病历；
所述m个模态包括以下至少一个模态：文本模态、数值模态、影像模态；
和/或，
所述任务预测结果包括以下至少一项：病情诊断结果、风险评估结果、时长评估结果、方案评估结果。
12.一种任务预测装置，其特征在于，所述装置包括：
样本获取模块，用于获取任务预测模型的训练样本，所述训练样本包括样本个体的n个模态的特征数据，所述n为大于1的整数；
任务预测模块，用于通过所述任务预测模型，基于所述n个模态的特征数据，提取所述样本个体的特征表示信息，并基于所述特征表示信息，确定所述样本个体对应的任务预测结果；所述特征表示信息包括所述n个模态分别对应的特征表示向量；
损失确定模块，用于基于所述n个模态之间的互信息以及所述任务预测结果的准确性，确定模型训练损失；
参数调节模块，用于基于所述模型训练损失，调整所述任务预测模型的参数，得到完成训练的任务预测模型，所述完成训练的任务预测模型用于任务预测。
13.一种任务预测装置，其特征在于，所述装置包括：
数据获取模块，用于获取目标个体的m个模态的特征数据，所述m为大于1的整数；
特征提取模块，用于通过任务预测模型，基于所述m个模态的特征数据，提取所述目标个体的特征表示信息，所述特征表示信息包括所述m个模态分别对应的特征表示向量；
特征融合模块，用于采用全局最大池化操作，融合所述m个模态分别对应的特征表示向量，得到所述目标个体的融合特征表示向量；
任务预测模块，用于通过所述任务预测模型，基于所述融合特征表示向量，确定所述目标样本对应的任务预测结果。
14.一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一项所述的任务预测方法。
15.一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至11任一项所述的任务预测方法。
CN202110807151.8A 2021-07-16 2021-07-16 任务预测方法、装置、设备及存储介质 Pending CN113822439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110807151.8A CN113822439A (zh) 2021-07-16 2021-07-16 任务预测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110807151.8A CN113822439A (zh) 2021-07-16 2021-07-16 任务预测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113822439A true CN113822439A (zh) 2021-12-21

Family

ID=78912664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110807151.8A Pending CN113822439A (zh) 2021-07-16 2021-07-16 任务预测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113822439A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023202194A1 (zh) * 2022-04-22 2023-10-26 腾讯科技（深圳）有限公司 一种图像合成模型的确定方法和相关装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023202194A1 (zh) * 2022-04-22 2023-10-26 腾讯科技（深圳）有限公司 一种图像合成模型的确定方法和相关装置

Similar Documents

Publication Publication Date Title
Uçar et al. The effect of training and testing process on machine learning in biomedical datasets
CN112949786B (zh) 数据分类识别方法、装置、设备及可读存储介质
CN111738001B (zh) 同义词识别模型的训练方法、同义词确定方法及设备
Crowder et al. Artificial cognition architectures
JP7191443B2 (ja) 機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム
CN113722474A (zh) 文本分类方法、装置、设备及存储介质
CN113723513B (zh) 多标签图像分类方法、装置及相关设备
CN113673244B (zh) 医疗文本处理方法、装置、计算机设备和存储介质
CN111242948A (zh) 图像处理、模型训练方法、装置、设备和存储介质
CN111382807B (zh) 图像处理方法、装置、计算机设备和存储介质
CN112364912A (zh) 信息分类方法、装置、设备及存储介质
Ulloa Applied biomedical engineering using artificial intelligence and cognitive models
Datta et al. Artificial intelligence in critical care: Its about time!
CN113822439A (zh) 任务预测方法、装置、设备及存储介质
Murad et al. AI powered asthma prediction towards treatment formulation: An android app approach
CN114764865A (zh) 数据分类模型训练方法、数据分类方法和装置
CN111783473A (zh) 医疗问答中最佳答案的识别方法、装置和计算机设备
CN113628709B (zh) 相似对象确定方法、装置、设备及存储介质
CN116994695A (zh) 报告生成模型的训练方法、装置、设备及存储介质
CN114429822A (zh) 病历质检方法、装置和存储介质
CN111582404A (zh) 内容分类方法、装置及可读存储介质
Barracca et al. Evolution of clinical medicine: from expert opinion to artificial intelligence
Refat et al. SentiNet: A nonverbal facial sentiment analysis using convolutional neural network
Monteiro et al. A metaheuristic algorithm for classification of white blood cells in healthcare informatics
CN115146716B (zh) 标注方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination