CN114360731A - 一种面向老年照护的医养结合知识服务系统构建方法 - Google Patents

Abstract

本发明提供一种面向老年照护的医养结合知识服务系统构建方法，结合跨媒体知识统一表征、跨媒体知识实体抽取、语义分析和人机协同的知识图谱审核，支持提供高精准度老年照护知识图谱，提供风险分级、智能问答、方案制定、应急预警、康复和照护推荐的“端到端”老年照护知识服务。本发明用跨媒体知识图谱取代灵活性不足、规模小的传统关系型数据库，产生老年照护生态圈内全方位知识数据集。与现有的基于传统数据库的医养服务系统相比，本发明在多源多维信息基础上提供更全面、准确、灵活的领域知识集成，提供基于知识工程技术的信息与服务管理方案，提供更自动化、个性化、智能化的老年照护解决方案，能有效降低成本并提高功效。

Description

一种面向老年照护的医养结合知识服务系统构建方法

技术领域

本发明利用跨媒体知识图谱技术实现老年知识服务和健康自主管理，构建基于多模态医养结合知识图谱和知识服务平台的健康自主管理方案，属于医学与人工智能技术的交叉领域。

背景技术

我国正处于工业化、城镇化、人口老龄化快速发展期，生态环境和生活方式不断变化，健康、养老、照护资源供给不足，信息技术应用水平较低，难以满足人民群众对健康、养老日益增长的需求。智慧照护利用物联网、云计算、大数据、智能硬件等新一代信息技术产品，能实现个人、家庭、社区、机构与照护资源的有效对接和优化配置，推动照护服务智慧化升级，提升照护服务质量效率水平。

但是目前互联网、人工智能技术在医养结合领域的基础研究、技术攻关和应用实践均显不足。亟需利用智慧感知、物联数据采集、信息安全等技术，将老人、社区医院、机构与现有信息系统互联互通和业务协同，构建线上线下一体化的智慧照护服务平台，建立以“老人”为中心的互联网照护生态体系和技术标准。

医养结合设计到多种维度的知识源，包括老年常见疾病知识库，照护方案知识库，照护资源知识库，健康科普知识库等。一方面，本技术联合专业的健康照护专家，收集整理相关知识；另一方面，这类知识源往往涉及到多模态的知识，研发统一的跨媒体知识管理，以及高效的跨媒体知识查询，实现跨媒体知识图谱系统下的跨媒体知识统一组织。本专利将实现以下3方面的技术：1)构建高精度的跨媒体老年健康照护知识图谱，形成老年健康照护知识图谱标准；2)提供个性化老年健康照护科普和知识服务；3)提供智能化老年健康照护管理方案及追踪执行服务。

发明内容

为解决以上问题，本发明从知识工程角度出发，通过知识表示、知识构建、知识推理和知识问答等技术提供跨模态老年知识服务系统。

为了实现上述目的，本发明提出的技术方案提供一种面向老年照护的医养结合知识服务系统构建方法，结合跨媒体知识统一表征、跨媒体知识实体抽取、语义分析和人机协同的知识图谱审核，支持提供高精准度老年照护知识图谱，提供风险分级、智能问答、方案制定、应急预警、康复和照护推荐的“端到端”老年照护知识服务。

而且，基于建立医养结合知识存储和表示结构，进行以下步骤：

1)建立多模态医养结合知识库存储架构，包括实现跨媒体知识分布式异构混合存储；设置标签关联结构，实现语义标签与哈希标签融合，使其能够对多媒体数据进行统一的语义表征和管理，以支撑上层跨媒体多模态知识检索；

2)建立多模态的统一表征以及表示学习模型，包括数据转化为token序列，多种预训练方法检验；

3)医养结合知识图谱构建和推理；

4)基于多模态知识图谱的搜索及问答，包括跨媒体检索，语义理解，问句重写，答案排序，以及基于知识图谱的答案生成；

5)基于多模态知识图谱技术的知识服务及智能照护管理平台搭建。

而且，医养结合知识图谱构建和推理，包括以下步骤：

步骤1.实体与关键信息抽取；

步骤2.关系识别；

步骤3.多模态实体连接；

步骤4.计算语义相似度，判断实体mention是否能够匹配到知识库中的某个实体；

步骤5.将节点的多模态属性信息输入预训练模型，[CLS]对应的输出作为该节点的向量表征；

步骤6.设计损失函数，极小化邻居节点向量均值和中心节点的距离；

步骤7.利用中心节点预测其context节点，训练模型表征；

步骤8.使用sigmoid分类器预测样本正负标签；

步骤9.用超参数分配两者的权重，不断迭代，直至模型收敛；

步骤10.使用图神经网络模型结合预训练方法进行链接预测和知识推理。

而且，所述基于多模态知识图谱技术的知识服务及智能照护管理平台搭建，包括以下步骤，

步骤1.打通机构、社区和居家的智能终端和应用设备，实现“云-管-边-端”一体化；

步骤2.利用TCP协议的Socket套接字实现数据链路的长链接；

步骤3.提升物联网感知-计算-响应过程的时效性；

步骤4.线上和线下协同统一；

步骤5.与集成平台、HIS、LIS、PACS等系统进行深度对接；

步骤6.统一平台、统一入口、统一建设；

步骤7.将各类物联网边缘设备、老年知识库、智能装备技术标准、智能辅助健康教育和远程培训等封装形成老年照护技术包。

与现有的基于传统数据库的医养服务系统相比，本发明在多源多维信息基础上提供更全面、准确、灵活的领域知识集成，提供基于知识工程技术的信息与服务管理方案，提供更自动化、个性化、智能化的老年照护解决方案，能有效降低成本并提高功效。

本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。

附图说明

图1为本发明实施例的基于跨媒体知识图谱技术的老年照护知识服务实施过程的技术路线示意图。

具体实施方式

以下结合附图和实施例具体说明本发明的技术方案。

本发明集合了跨媒体知识统一表征、跨媒体知识实体抽取、语义分析和人机协同的知识图谱审核技术。要求提供高精准度老年照护知识图谱，提供风险分级、智能问答、方案制定、应急预警、康复和照护推荐的“端到端”老年照护知识服务。

本发明从知识工程角度出发，通过知识表示、知识构建、知识推理和知识问答等技术提供跨模态老年知识服务系统，具体包括：

(1)构建多模态医养知识库的异构混合存储方式，并研究其逻辑统一表征模型：

首先建立包括图片、文本、视频、音频、关系型数据、图谱型数据的统一表征模型。

(2)然后采用跨媒体实体抽取和关系抽取技术，构建知识图谱：设计跨媒体的实体关系抽取，形成初步的医养结合知识图谱。基于图嵌入技术来构建知识图谱的表示学习模型，迭代优化实体及关系抽取模型，最终形成优化版医养结合知识图谱。

(3)再经过多维画像构建、意图理解技术、跨媒体实体连接技术、异构数据语义匹配技术、知识展示排序技术，完成搜索问答过程。

(4)然后，通过溯因推断、网路推理、可解释的链接预测、推理规则的自主学习，推理规则的泛化与验证，完成知识图谱推理过程。可以设计跨媒体知识图谱的链接预测技术，并探索针对老年健康照护场景的自主规则学习。设计跨媒体的实体链接技术以及深度语义匹配技术，实现基于知识图谱的智能问答及搜索。

(5)最后，可设计医养结合知识服务及自主管理方案平台：融合搜索问答、知识推理、预测预警、风险评估、方案形成于一体，构建老年健康自主管理平台。

如图1所示，本发明实施例提供一种面向老年照护的医养结合知识服务系统构建方法，具体步骤如下：

1.多模态医养知识库物理存储及逻辑表示架构。

1.1异构医养结合知识库混合存储和标签融合。

1)设计跨媒体知识分布式异构混合存储方式。结合数据类型感知，自动存储选型、数据动态分配，负载均衡、数据语义聚类，近数据存储等技术，实现海量多媒体知识和大规模知识图谱的分布式混合存储，以提供异构跨媒体知识存储。多媒体知识包括关系型数据、文本、图像、视频和音频等异构数据，因此，需要关系型数据库、NoSQL、分布式文件系统等多种类型的存储系统混合存储。为了实现高效的数据存储，并支撑上层的跨模态数据检索和知识图谱推理等应用，需要研究跨媒体知识分布式异构混合存储，结合数据类型感知，自动存储选型、数据动态分配，负载均衡、数据语义聚类，近数据存储等技术，实现海量多媒体知识和大规模知识图谱的分布式混合存储。

2)研究人工(语义)标签与机器(哈希)标签融合，以提供统一的跨媒体知识管理。语义标签与哈希标签都是多媒体知识的语义元数据，是实现统一跨媒体知识管理的根本。针对海量的语义标签与哈希标签，需要研究两者之间的关联关系，设计高效的标签关联结构，实现语义标签与哈希标签融合，使其能够对多媒体数据进行统一的语义表征和管理，以支撑上层跨媒体多模态知识检索。

1.2基于BERT的多模态数据的表示学习模型

多模态统一表征是将不同模态下的数据用同一向量空间中的向量表示，使得在语义上相近的数据在投影后的向量空间上也保持距离的相近。本专利基于BERT(Bidirectional Encoder Representation from Transformers)的多模态预训练方法。

构建多模态的表示学习模型主要需要下面三个步骤：

(1)数据转化为token序列：中文文本每个字符即是一个token；视频数据被剪切为多个片段，每个片段作为一个token；图片数据每张图片作为一个token；语音数据通过梅尔频谱处理为token序列；体征时序数据通过采样准话为token序列。

(2)Embedding方法。模型输入由position embedding、segment embedding、tokenembedding和visual embedding四种embedding组成，分别表征数据的位置信息，模态类型信息，token信息和视频或图片所蕴含的信息。

(3)预训练方法：每个token被输入前都会被一定的几率被mask。文本、语音和体征序列的某个token被mask后，训练任务是预测被mask掉的token；视频对应的token被mask后，训练任务是预测该视频所对应的行为；图片对应的token被mask后，训练任务是预测该图片中对应的目标类别；此外，使用第一个token符号[CLS]对应的输出，预测所有模态的数据是否匹配。

2.基于预训练的多模态知识的医养结合知识图谱构建和推理

2.1医养结合知识图谱构建

(1)实体与关键信息抽取。对于文本，需要有可靠的实体抽取模型；图片信息需要进行分类，关键目标检测与打标签；视频需要进行关键帧识别和动作检测；音频和体征等时序数据需要区分关键时段与分类。对应于大规模图谱，这些多模态输入的类别繁多且是分布长尾，需要有强大的小样本学习方法。

(2)关系识别。构建基于多模态输入的关系识别方法，将识别的实体以正确的关系联系起来。

(3)跨媒体的实体抽取技术。通过将实体采用多模态统一表征模型编码，然后计算语义相似度，判断实体mention是否能够匹配到知识库中的某个实体。

2.2多模态知识图谱的表示学习训练方案

利用图谱的结构信息和节点的属性信息学习图谱表征，将节点的多模态属性信息输入预训练模型，[CLS]对应的输出作为该节点的向量表征。参考ANRL模型，其分为Neighbor Enhancement和Attribute-aware Skip-gram两部分。

(1)Neighbor Enhancement。将中心节点和所有邻居节点均值用多模态预训练BERT表征为向量形式，该方法认为邻居节点向量的平均值和中心节点向量应具有相似性，设计损失函数，极小化邻居节点向量均值和中心节点的距离。

(2)Attribute-aware Skip-gram。参考word2vec的Skip-gram和负采样方法，利用中心节点预测其context节点，训练模型表征。通过随机游走法采样得到context节点，中心节点与context节点组成正样本，在其他节点中采样相同数量的节点组成负样本，使用sigmoid分类器预测样本正负标签。将上述两部分的损失函数组合，用超参数分配两者的权重，不断迭代，至模型收敛。

2.3基于多模态知识图谱的推理技术

结合患者库与知识库这两个异构图。研究基于预训练的图网络模型(pretrainedgraph neural network,GNN)，GNN可以是如graphtransformer等图模型。预训练时，将部分节点的属性遮挡，或者将边进行遮挡，让GNN模型预测属性值或边的类型。通过预训练，GNN在下游任务中可以有稳健的表现。

具体实施时，医养结合知识图谱构建和推理的实现可采用以下步骤实现：

步骤1.实体与关键信息抽取。

步骤2.关系识别。

步骤3.多模态实体连接。

步骤4.计算语义相似度，判断实体mention是否能够匹配到知识库中的某个实体。

步骤5.将节点的多模态属性信息输入预训练模型，[CLS]对应的输出作为该节点的向量表征。

步骤6.设计损失函数，极小化邻居节点向量均值和中心节点的距离。

步骤7.利用中心节点预测其context节点，训练模型表征。

步骤8.使用sigmoid分类器预测样本正负标签。

步骤9.用超参数分配两者的权重，不断迭代，直至模型收敛。

步骤10.使用图神经网络模型结合预训练方法进行链接预测和知识推理。

3.基于多模态知识图谱的搜索问答技术

3.1跨媒体检索

跨媒体检索的研究目标是分析一种媒体数据和多种媒体数据之间的语义关联，在一种或多种媒体数据间进行检索，也就是通过提交某种媒体查询来检索出其他种类媒体数据，进而解决“媒体鸿沟”和“异构鸿沟”问题，。

3.3语义理解

1)意图识别。通过识别提问的意图，判定问句的类型、目标及中心词，并与在图谱中对问题所涉及的子图进行定位。

2)实体和关系链接。利用实体-关系对信息以及问句的整体信息，进行实体-关系联合链接，将问题与图谱对齐，并提供问句相关实体和关系。

3.2问句重写。

在意图识别和实体-关系链接的基础上，生成知识图谱查询，提交到知识库执行查询语句。

3.4答案排序机制

针对语义检索和基于语义理解工作流得到的答案进行可信度打分，最终选择最佳答案作为对用户的回复。

3.5基于知识图谱的答案生成

从知识图谱中查询获得返回结果需要进行处理转换形成自然语言形式的答案。

4.基于多模态知识图谱技术的知识服务及智能照护管理平台搭建

搭建智能医养结合知识服务平台，主要提供两大类服务，即基于知识图谱的知识服务以及基于知识图谱的自主管理服务。其中基于知识图谱的知识服务包含老年健康科普智能问答以及个性化的知识推荐服务；基于知识图谱的自主管理服务包括健康照护管理方案的自动生成以及管理监控预警。

4.1老年健康科普智能问答。

由于患者库和知识库是异构的，且患者库具有时效性，所以需要研究基于异构图的连接预测模型，特别是可解释性的异构图模型。

4.2个性化推荐服务

在检测到某种需要预警的信号时，需要通过主动问诊的方式，通过交互了解更多情况，通过图谱推理，判断其情况，决定推荐的干预方案。

4.3管理方案的自动生成

基于用户的健康相关信息，利用知识图谱的规则进行推理，生成健康照护相关的目标以及具体的方案，涵盖指标监测计划，运动，饮食等方案，提供自动生成个性化的推荐管理方案。

4.4管理监控预警

多模态的监护功能，从音频，视频等信息源中实时捕捉关键信息，及时提醒或者发出警告信号。

具体实施时，基于多模态知识图谱技术的知识服务及智能照护管理平台搭建可采用以下步骤实现：

步骤1.打通机构、社区和居家的智能终端和应用设备，实现“云-管-边-端”一体化。

步骤2.利用TCP协议的Socket套接字实现数据链路的长链接。

步骤3.提升物联网感知-计算-响应过程的时效性.

步骤4.线上和线下协同统一。

步骤5.与集成平台、HIS、LIS、PACS等系统进行深度对接。

步骤6.统一平台、统一入口、统一建设。

步骤7.将各类物联网边缘设备、老年知识库、智能装备技术标准、智能辅助健康教育和远程培训等封装形成老年照护技术包。

终上所述，本发明医养结合服务的需求日益增大，而照护供给相对不足，需要构建智能化医养结合知识服务系统解决老年照护需求多元化与供给方式简单且碎片化的结构矛盾。本技术应用时，可以用跨媒体知识图谱取代灵活性不足、规模小的传统关系型数据库，产生老年照护生态圈内全方位知识数据集，提供丰富、精确、智能化程度高的“端到端”老年照护自主管理方案。将：1)首先建立多模态健康照护知识的统一表征模型，并利用深度学习的框架将文本、图谱、视频及音频类多模态数据映射到统一的向量空间，构建多模态的知识表示预训练模型；2)基于预训练的多模态知识的表示模型来进行跨媒体的实体关系抽取，并基于实体对齐技术来融合不同的知识源，利用基于BERT预训练的深度学习框架，来进行跨媒体的实体关系抽取，构建跨媒体医养结合知识图谱；3)融合知识的表示以及图谱结构信息，构建知识图谱上节点和边的向量表示，并利用知识图谱的表示学习模型来持续迭代优化实体关系抽取和进行知识推理补全，最终得到更精准的多模态医养结合知识图谱；4)基于多模态医养结合知识图谱及其表示学习模型，进一步研发多模态知识图谱的搜索问答；5)研究跨媒体的实体链接技术以及深度语义匹配技术，实现基于知识图谱的智能问答及搜索研究跨媒体知识图谱的链接预测技术，并探索针对老年健康照护场景的自主规则学习，最终将实现老年健康照护的知识服务及自主管理平台。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

在一些可能的实施例中，提供一种面向老年照护的医养结合知识服务系统构建系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种面向老年照护的医养结合知识服务系统构建方法。

在一些可能的实施例中，提供一种面向老年照护的医养结合知识服务系统构建系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种面向老年照护的医养结合知识服务系统构建方法。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种面向老年照护的医养结合知识服务系统构建方法，其特征在于：结合跨媒体知识统一表征、跨媒体知识实体抽取、语义分析和人机协同的知识图谱审核，支持提供高精准度老年照护知识图谱，提供风险分级、智能问答、方案制定、应急预警、康复和照护推荐的“端到端”老年照护知识服务。

2.根据权利要求1所述面向老年照护的医养结合知识服务系统构建方法，其特征在于：基于建立医养结合知识存储和表示结构，进行以下步骤：

1)建立多模态医养结合知识库存储架构，包括实现跨媒体知识分布式异构混合存储；设置标签关联结构，实现语义标签与哈希标签融合，使其能够对多媒体数据进行统一的语义表征和管理，以支撑上层跨媒体多模态知识检索；

2)建立多模态的统一表征以及表示学习模型，包括数据转化为token序列，多种预训练方法检验；

3)医养结合知识图谱构建和推理；

4)基于多模态知识图谱的搜索及问答，包括跨媒体检索，语义理解，问句重写，答案排序，以及基于知识图谱的答案生成；

5)基于多模态知识图谱技术的知识服务及智能照护管理平台搭建。

3.根据权利要求2所述面向老年照护的医养结合知识服务系统构建方法，其特征在于：医养结合知识图谱构建和推理，包括以下步骤：

步骤1.实体与关键信息抽取；

步骤2.关系识别；

步骤3.多模态实体连接；

步骤4.计算语义相似度，判断实体mention是否能够匹配到知识库中的某个实体；

步骤5.将节点的多模态属性信息输入预训练模型，[CLS]对应的输出作为该节点的向量表征；

步骤6.设计损失函数，极小化邻居节点向量均值和中心节点的距离；

步骤7.利用中心节点预测其context节点，训练模型表征；

步骤8.使用sigmoid分类器预测样本正负标签；

步骤9.用超参数分配两者的权重，不断迭代，直至模型收敛；

步骤10.使用图神经网络模型结合预训练方法进行链接预测和知识推理。

4.根据权利要求2所述面向老年照护的医养结合知识服务系统构建方法，其特征在于：所述基于多模态知识图谱技术的知识服务及智能照护管理平台搭建，包括以下步骤，

步骤1.打通机构、社区和居家的智能终端和应用设备，实现“云-管-边-端”一体化；

步骤2.利用TCP协议的Socket套接字实现数据链路的长链接；

步骤3.提升物联网感知-计算-响应过程的时效性；

步骤4.线上和线下协同统一；

步骤5.与集成平台、HIS、LIS、PACS等系统进行深度对接；

步骤6.统一平台、统一入口、统一建设；

步骤7.将各类物联网边缘设备、老年知识库、智能装备技术标准、智能辅助健康教育和远程培训等封装形成老年照护技术包。

Images