CN117747124A - 基于网络激发图分解的医学大模型逻辑反演方法及系统 - Google Patents
基于网络激发图分解的医学大模型逻辑反演方法及系统 Download PDFInfo
- Publication number
- CN117747124A CN117747124A CN202410187002.XA CN202410187002A CN117747124A CN 117747124 A CN117747124 A CN 117747124A CN 202410187002 A CN202410187002 A CN 202410187002A CN 117747124 A CN117747124 A CN 117747124A
- Authority
- CN
- China
- Prior art keywords
- graph
- excitation
- base
- network
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005284 excitation Effects 0.000 title claims abstract description 201
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000003058 natural language processing Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000008450 motivation Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 abstract 1
- 238000013507 mapping Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008035 nerve activity Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000000968 medical method and process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种基于网络激发图分解的医学大模型逻辑反演方法及系统，基于网络激发图分解，通过对医学术语集精细化分割并构建网络激发基底图库，将任务过程中的医学大模型网络激发图分解为多张网络激发基底图，并将基底图对应的节点和关系映射到知识图谱中，从而重构出医学大模型输出结果时的推理逻辑路径，实现可视化的医学大模型逻辑反演。本发明通过收集大模型对精细化区分的医学实体和关系生成的网络激发图，构建完备的参考图库，实现多分类判断和多实体及关系的一次性检验；将分解得到的激发基底图对应的节点和关系映射到医学知识图谱，重构大模型思维推理路径，发掘复杂逻辑和多跳逻辑，提升医学大模型的可解释性。
Description
技术领域
本发明涉及医疗健康信息技术领域，尤其涉及一种基于网络激发图分解的医学大模型逻辑反演方法及系统。
背景技术
随着大模型的问世和快速更新迭代，其解决主观问题和复杂问题的能力被不断凸显。相比传统的人工智能方法仅仅辅助医生完成医疗场景中的部分过程，将大模型在医疗场景应用的最终目标是构建在能力上与医生相当的大模型，与医生合作完成医疗全流程的所有问题。大模型与医疗场景结合已经成为领域内的研究热点，研究人员利用大模型开发辅助诊断系统，发掘潜在疾病、预警诊疗过程中的风险、协助完成相关报告。
当前的大模型一般通过transformer层为基本单位进行构建，为支撑起解决主观问题和复杂问题的能力，大模型的结构和参数被设计得十分庞大和复杂。相比于结构确定的传统人工智能方法，大模型的生成机制难以从物理层面解读，并且由于复杂的结构和参数，大模型生成的内容会夹杂大量的幻觉。
而在医疗场景中安全性可靠性永远是最首要的要求，提升大模型的可解释性，尤其是医疗场景下的可解释性，成为了大模型在医疗场景中应用时人机互信的关键。逻辑反演是通过深入模型内部参数进行监控，将大模型生成输出内容过程中的思维逻辑反向推演并可视化呈现的技术，能够对模型输出的内容做出可靠而详细的解释。
现有技术通过线性人工成像（Linear Artificial Tomograph）的方法来对大模型的输出进行一定程度上的解释。这类方法意识到了大模型具有庞大且复杂的结构，采用了线性人工成像的方法，首先设计刺激和任务，其次收集大模型的神经活动，最后构建线性模型对神经活动进行分类，因此避免了从物理结构来解释模型的输出内容。但是，上述技术只能通过二分类的方法反映出大模型对普遍性概念的理解，不能直接应用于医学大模型推理的逻辑反演。
医疗领域的推理蕴含着大量的复杂逻辑和多跳逻辑，对医学推理进行逻辑反演需要更加精细化的概念区分，以此重构出医学大模型的推理路径。
复杂逻辑和多跳逻辑：即在医学推理逻辑中，不仅仅存在从A到B的简单推理逻辑，绝大多数是A和B共同作用得出C的复杂逻辑和从A到B再到C的多跳逻辑。
精细化概念区分：线性人工成像方法只能展示出大模型的输出是否诚实、道德、公平等普遍性概念，普遍性的概念以及二分类的结果不适用于对医学大模型输出的解释。对于普遍性的概念，例如诚实与否不足以对医学大模型的输出进行解释，因为医学推理需要具备医学知识和医学思维，然而如果模型训练时没有医学数据和医学思维的训练或模型使用时没有运用医学推理等情况，都会造成模型输出一个诚实正确但不符合医学逻辑的结论。对于简单二分类的结果，例如监测模型输出是否运用医学推理，给出的结论并不能清晰解释医学大模型的推理过程，缺乏可信度和说服力。
因此，上述基于线性人工成像的技术难以实现对医学大模型的深层推理逻辑链或逻辑网进行挖掘，限制了所构建系统对医学大模型输出结果的解释能力。
发明内容
本发明目的在于针对现有技术的不足，提出一种基于网络激发图分解的医学大模型逻辑反演方法。
本发明的目的是通过以下技术方案来实现的：一种基于网络激发图分解的医学大模型逻辑反演方法，该方法包括：
结构提取：将医学术语集的数据进行三元体结构提取，使用三元组构建推理逻辑知识图谱，并将三元体拆分为节点和关系；
参考图库构建：对每一个节点或关系多次生成网络激发图并进行平均处理，得到激发基底图，判断激发基底图的网络激发程度，并将网络激发程度作为激发特征基底图，将节点或关系分别与激发基底图和激发特征基底图与进行对应作为参考图组，存储参考图组构建参考图库；
拆解在大模型使用过程中生成的网络激发图：通过参考图库对网络激发图进行修正，根据参考图库进行相似度筛选得到候选图库，使用候选图库计算大模型使用过程中网络激发图的基底图概率系数向量集合，每个基底图概率系数向量包括各个基底激发图的权重值，将基底图概率系数向量集合对应的各个激发基底图中的节点和关系代入至推理逻辑知识图谱构建推理子图。
进一步地，所述结构提取具体为通过自然语言处理技术进行三元组结构提取，通过提取的三元组构建推理逻辑知识图谱，并将三元体拆分为节点和关系，并将医学术语节点集和医学术语关系集存储到数据库。
进一步地，生成网络激发图具体包括：将大模型的神经活动激活通过transformer层中的多头注意力机制的输出进行呈现，具体为提取任意单注意力头的查询参数矩阵、关键参数矩阵/>和数值参数矩阵/>并分别和输入矩阵相乘，得到查询矩阵/>、关键矩阵/>和数值矩阵/>，根据查询矩阵得到单注意力机制头单激发矩阵/>；将得到的每一个单注意力机制头单激发矩阵构建分块矩阵，得到网络激发图。
进一步地，所述激发基底图的网络激发程度根据预设的网络激发程度阈值分为活跃、一般和冷静，其中所述网络激发程度阈值分为一般到活跃的阈值和冷静到一般的阈值。
进一步地，所述根据参考图库对网络激发图进行修正具体为：通过上下文学习识别大模型输出文本中已经存在的节点和关系，在参考图库中找到对应的节点和关系并调用相关联的基底图，以此叠加得到已存在节点激发图和已存在关系激发图，将网络激发图/>减去已存在节点激发图和已存在关系激发图，得到经过修正的网络激发图/>；通过激发特征基底图的方法得到修正的网络激发特征图。
进一步地，所述基底图概率系数向量具体计算过程为：
调用参考图库中的激发特征基底图与修正的网络激发特征图进行比对，通过图相似度算法计算激发特征图与每一个节点激发特征基底图的相似度和每一个关系激发特征基底图的相似度，设置两种相似度的阈值，将高于阈值的节点存储于候选节点库中，将高于阈值的关系存储于候选关系库/>中；将候选节点库和候选关系库/>中的所有网络激发基底图合并为候选图库X，其中基底图能通过在候选图库X的位置和节点及关系名称一一对应；求解方程/>中的基底图概率系数向量W，其中/>为度量矩阵，每一个解得的基底图概率系数向量和每个公式中的度量矩阵一一对应；通过对度量矩阵进行求平均值得到度量值，将度量值升序排列并选取前/>个，/>为预设的基底图推荐数量，按排序顺序记录下所有/>个基底图概率系数向量/>并存储为/>。
进一步地，所述构建推理子图包括两种：一种为计算基底图概率系数向量集合中每一个基底图概率系数向量对应的推理路径；一种为统计基底图概率系数向量集合中每一个节点和关系的出现概率，构建由亮度表示出现概率的推理图谱。
进一步地，所述计算基底图概率系数向量集合中每一个基底图概率系数向量对应的推理路径具体为：找到基底图概率系数向量权重取1的位置所对应的节点和关系的名称；调用三元组构建的推理逻辑知识图谱，在推理逻辑知识图谱中找到对应的节点和关系的位置构建推理子图。
进一步地，构建由亮度表示出现概率的推理图谱具体为：计算基底图概率系数向量集合中所有基底图概率系数向量平均值，找到基底图概率系数向量平均值中各个权重不为0的位置所对应的节点和关系；在推理逻辑知识图谱中找到对应的节点和关系的位置，找到基底图概率系数向量平均值中的最小权重值和最大权重值/>，计算每个节点和关系对应的权重值/>在所有节点和关系中的权重比值/>，权重比值，作为为节点和关系在推理逻辑知识图谱中的亮度，以此构建由不同明暗程度/>的节点和关系组成的推理子图/>。
根据说明书的另一方面，本发明还提供了一种基于网络激发图分解的医学大模型逻辑反演系统，包括：网络激发图生成模块、参考图库构建模块、网络激发图分解模块、医学推理逻辑重构模块和接口管理模块；
所述网络激发图生成模块用于参考图库构建模块会让网络激发图分解模块使用过程中所需网络激发图的生成；
所述参考图库构建模块用于将医学术语集的数据进行三元体结构提取，使用三元组构建推理逻辑知识图谱，并将三元体拆分为节点和关系；对每一个节点或关系多次生成网络激发图并进行平均处理，得到激发基底图，判断激发基底图的网络激发程度，并将网络激发程度作为激发特征基底图，将节点或关系分别与激发基底图和激发特征基底图与进行对应作为参考图组，存储参考图组构建参考图库；
所述网络激发图分解模块用于通过参考图库对网络激发图进行修正，根据参考图库进行相似度筛选得到候选图库，使用候选图库计算大模型使用过程中网络激发图的基底图概率系数向量集合，从而确定在大模型使用过程中网络激发图由哪些基底图叠加得到；
所述医学推理逻辑重构模块用于将基底图概率系数向量集合对应的各个激发基底图中的节点和关系代入至推理逻辑知识图谱构建推理子图；
所述接口管理模块用于管理所有模块中出现的输入输出接口；包括一个参数设置输入接口和一个连接医学推理逻辑重构模块的推理路径输出接口。
本发明的有益效果：
通过对医学术语集的精细化拆分，以最基本的实体和关系刺激模型并构建完备网络激发基底图库，解决了现有方法不做精细化区分只能进行二分类判断的问题，能够对模型生成输出内容过程中最基本医学实体和关系是否被使用进行发现。
在使用模型进行输出的同时读取网络激发图，根据参考图库将网络激发图分解成多个通过精细化拆分医学术语集训练得到的网络激发基底图，通过基底图匹配实体和关系的名称完成，解决现有方法只能进行单步判断的问题，实现对多个实体和关系是否被使用进行一次性判断。
通过对医学大模型的网络激发进行监测，分离出生成输出结果时潜在的激发节点和关系，基于分离出的节点和关系结合知识图谱进行重构，从而实现现有方法无法完成的对医学大模型推理过程中的复杂逻辑和多跳逻辑的反演，将推理过程通过知识图谱可视化提供给使用者以判断模型输出的合理性。
总而言之，本发明基于网络激发图分解，通过对医学术语集精细化分割并构建网络激发基底图库，实现将任务过程中的医学大模型网络激发图分解为多张网络激发基底图，并将基底图对应的节点和关系映射到知识图谱中，从而重构出医学大模型输出结果时的推理逻辑路径，通过可视化的方式实现医学大模型逻辑反演。
附图说明
图1为基于网络激发图分解的医学大模型逻辑反演方法流程图；
图2为基于网络激发图分解的医学大模型逻辑反演系统构图；
图3为网络激发图生成框架；
图4为任务产生的网络激发图分解框架；
图5为本发明实施例提供的基于网络激发图分解的医学大模型逻辑反演装置示意图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
如图1所示，本发明提供的一种基于网络激发图分解的医学大模型逻辑反演方法，通过对医学术语集精细化分割并构建网络激发基底图库，实现将任务过程中的医学大模型网络激发图分解为多张网络激发基底图，并将基底图对应的节点和关系映射到知识图谱中，从而重构出医学大模型输出结果时的推理逻辑路径，通过可视化的方式实现医学大模型逻辑反演。该方法具体为：
结构提取：将医学术语集的数据进行三元体结构提取，使用三元组构建推理逻辑知识图谱，并将三元体拆分为节点和关系；
医学术语来源于临床指南、OMOP(Observation Medical Outcomes Partnership)和SNOMED CT等术语库、医生经验和医学文献，通过自然语言处理(Natural LanguageProcessing, NLP)技术对上述文本进行三元体结构提取，一方面通过提取的三元组构建推理逻辑知识图谱用于明示化推理逻辑，另一方面将三元组拆分为最基本的节点和关系，将节点收集为医学术语节点集/>，其中每一个节点记为/>，将关系收集为医学术语关系集/>，其中每一个关系记为/>。将构建好的医学术语集存储在.csv文件或oracle等数据库中。
参考图库构建：对每一个节点或关系多次生成网络激发图并进行平均处理，得到激发基底图，判断激发基底图的网络激发程度，并将网络激发程度作为激发特征基底图，将节点或关系分别与激发基底图和激发特征基底图与进行对应作为参考图组，存储参考图组构建参考图库；
具体地，从.csv文件或oracle等数据库中读取医学术语进入大模型系统，对于每一个节点或关系多次生成网络激发图，将同一个节点或关系的多张网络激发图进行平均处理，得到网络激发基底图并与其节点或关系一一对应，/>，/>。将网络激发程度分为活跃、一般、冷静三种程度；将活跃和一般之间及一般和冷静之间的阈值分别设置为/>，/>。由于网络激发图是一个分块矩阵，对于/>中的每一个/>，计算每一个/>的平均值并和/>，/>两个阈值进行比较并赋值，取值范围为/>，用/>代表该区块神经活动激发程度为冷静，用0代表该区块神经活动激发程度为一般，用1代表该区块神经活动激发程度为活跃。以此生成网络激发特征图/>，/>。将每一个节点或关系与网络激发特征图、网络激发图一一对应，/>，。将节点名称与其对应的网络激发特征图、网络激发图存储进数据库中得到节点参考图库/>，/>为第i个节点对应的参考图组，/>。将关系名称与其对应的网络激发特征图、网络激发图存储进数据库中得到关系参考图库/>，/>为第i个关系对应的参考图组，/>。参考图库由节点参考图库/>和关系参考图库/>共同组成，将参考图库存储在数据库中以方便网络激发图分解模块调用。
拆解在大模型使用过程中生成的网络激发图：通过参考图库对网络激发图进行修正，根据参考图库进行相似度筛选得到候选图库，使用候选图库计算大模型使用过程中网络激发图的基底图概率系数向量集合，每个基底图概率系数向量包括各个激发基底图的权重值，将基底图概率系数向量集合对应的各个激发基底图中的节点和关系代入至推理逻辑知识图谱构建推理子图。
具体地，如图4所示，将输入文本输入进大模型并生成输出结果，与此同时获取本次模型运行的网络激发图Y。通过上下文学习识别输出文本中已经存在的节点和关系，在参考图库中找到对应的节点和关系并调用相关联的基底图，以此叠加得到已存在节点激发图和已存在关系激发图，分别用和/>表示，将网络激发图Y减去已存在节点激发图和已存在关系激发图，得到经过修正的网络激发图/>，即，通过网络激发特征图生成方法生成经过修正的网络激发特征图/>。
对可能组成模型网络激发图的基底图进行初筛，调用参考图库中的所有网络激发特征图与网络激发特征图进行比对，通过图相似度算法计算激发特征图/>与每一个节点激发特征图/>的相似度/>和每一个关系激发特征图/>的相似度/>，节点相似度/>和关系相似度/>统称为相似度。根据使用者设置的相似度阈值/>，将高于阈值的节点存储于候选节点库/>中，将高于阈值的关系存储于候选关系/>中。将候选节点库/>和候选关系库/>中的所有网络激发基底图合并为候选图库/>并确保基底图能通过在候选图库/>的位置和节点及关系名称一一对应，求解方程中的系数向量/>。由于/>的解并不唯一，引入度量矩阵/>，方程被修正为，每一个解得的/>和/>一一对应，通过对度量矩阵/>进行求平均值得到度量值/>，将度量值/>升序排列并选取前/>个，/>为使用者设置的推荐数量，按排序顺序记录下所有/>个系数向量/>并存储为/>。
对于中的每一个/>构建推理路径，找到系数向量/>取1的位置所对应的节点和关系的名称。调用先前构建的推理逻辑知识图谱/>，在/>中找到对应的节点和关系的位置构建推理子图/>。
对于构建总体推理图谱，对/>中的所有/>取平均值得到基底图平均概率系数向量/>，/>中的第/>个值被称为第/>个基底图平均概率系数并被记作，记录所有/>对应的基底图所属节点和关系的名称，所有的/>将被用于表示对应节点和关系的权重值。调用先前构建的推理逻辑知识图谱/>，在/>中找到对应的节点和关系的位置，找到最小权重值/>和最大权重值/>，计算节点和关系对应的权重值/>在所有节点和关系中的权重比值/>，权重比值/>，也被称为节点和关系在图谱/>中的亮度，以此构建由不同明暗程度/>的节点和关系组成的推理子图/>。
如图2所示，本发明提供的一种基于网络激发图分解的医学大模型逻辑反演系统包括网络激发图生成模块、参考图库构建模块、网络激发图分解模块、医学推理逻辑重构模块和接口管理模块。模块具体内容如下：
网络激发图生成模块：如图3所示，本模块对基于transformer架构的已经训练完成的大模型进行网络激发监控，通过对每一个transformer层中多头注意力机制的多个输出进行捕捉和重构，从而生成反映大模型神经活动的网络激发图。该模块将用作参考图库的构建和大模型使用过程中的网络激发图的生成。
参考图库构建模块：参考图库基于医学术语的精细化拆分，由激发基底图和激发特征基底图组成的参考图组构成，其构建的意义在于为大模型使用时监测得到的网络激发图分解提供依据，并通过选取的激发基底图溯源大模型推理时可能考虑到的医学节点。
网络激发图分解模块：本模块基于参考图库，拆解在大模型使用过程中生成的网络激发图，得到稀疏化的基底图概率系数向量，从而确定在大模型使用过程中网络激发图由哪些基底图叠加得到。
医学推理逻辑重构模块：本模块继承网络激发图分解模块中的和候选图库/>，通过基底图概率系数向量所选择的节点和关系重构知识图谱子图，可以是与/>中每一个/>对应的推理路径，/>；也可以是统计/>中每一个节点和关系的出现概率从而构建一个由亮度表示出现概率的总体推理图谱。
接口管理模块：本模块旨在管理所有模块中出现的输入输出接口，使各个模块整合成为一个便于使用的系统。包括知识图谱、参考图库、可被监测的大模型、参数设置输入接口和连接网络激发图分解模块的推理路径输出接口。通过推理路径输出接口，输出根据排序推荐的顺序输出推理路径，提供使用者判断大模型的输出是否符合医学推理逻辑。
与前述一种基于网络激发图分解的医学大模型逻辑反演方法的实施例相对应，本发明还提供了一种基于网络激发图分解的医学大模型逻辑反演装置的实施例。
参见图5，本发明实施例提供的一种基于网络激发图分解的医学大模型逻辑反演装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的一种基于网络激发图分解的医学大模型逻辑反演方法。
本发明提供的一种基于网络激发图分解的医学大模型逻辑反演装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明提供的一种基于网络激发图分解的医学大模型逻辑反演装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于网络激发图分解的医学大模型逻辑反演方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本发明还提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时，实现所述的一种基于网络激发图分解的医学大模型逻辑反演方法。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
Claims (10)
1.一种基于网络激发图分解的医学大模型逻辑反演方法，其特征在于，该方法包括：
结构提取：将医学术语集的数据进行三元体结构提取，使用三元组构建推理逻辑知识图谱，并将三元体拆分为节点和关系；
参考图库构建：对每一个节点或关系多次生成网络激发图并进行平均处理，得到激发基底图，判断激发基底图的网络激发程度，并将网络激发程度作为激发特征基底图，将节点或关系分别与激发基底图和激发特征基底图与进行对应作为参考图组，存储参考图组构建参考图库；
拆解在大模型使用过程中生成的网络激发图：通过参考图库对网络激发图进行修正，根据参考图库进行相似度筛选得到候选图库，使用候选图库计算大模型使用过程中网络激发图的基底图概率系数向量集合，每个基底图概率系数向量包括各个基底激发图的权重值，将基底图概率系数向量集合对应的各个激发基底图中的节点和关系代入至推理逻辑知识图谱构建推理子图。
2.根据权利要求1所述的一种基于网络激发图分解的医学大模型逻辑反演方法，其特征在于，所述结构提取具体为通过自然语言处理技术进行三元组结构提取，通过提取的三元组构建推理逻辑知识图谱，并将三元体拆分为节点和关系，并将医学术语节点集和医学术语关系集存储到数据库。
3.根据权利要求1所述的一种基于网络激发图分解的医学大模型逻辑反演方法，其特征在于，生成网络激发图具体包括：将大模型的神经活动激活通过transformer层中的多头注意力机制的输出进行呈现，具体为提取任意单注意力头的查询参数矩阵、关键参数矩阵/>和数值参数矩阵/>并分别和输入矩阵相乘，得到查询矩阵/>、关键矩阵/>和数值矩阵/>，根据查询矩阵得到单注意力机制头单激发矩阵/>；将得到的每一个单注意力机制头单激发矩阵构建分块矩阵，得到网络激发图。
4.根据权利要求1所述的一种基于网络激发图分解的医学大模型逻辑反演方法，其特征在于，所述激发基底图的网络激发程度根据预设的网络激发程度阈值分为活跃、一般和冷静，其中所述网络激发程度阈值分为一般到活跃的阈值和冷静到一般的阈值。
5.根据权利要求1所述的一种基于网络激发图分解的医学大模型逻辑反演方法，其特征在于，所述根据参考图库对网络激发图进行修正具体为：通过上下文学习识别大模型输出文本中已经存在的节点和关系，在参考图库中找到对应的节点和关系并调用相关联的基底图，以此叠加得到已存在节点激发图和已存在关系激发图/>，将网络激发图/>减去已存在节点激发图和已存在关系激发图，得到经过修正的网络激发图/>；通过激发特征基底图的方法得到修正的网络激发特征图。
6.根据权利要求5所述的一种基于网络激发图分解的医学大模型逻辑反演方法，其特征在于，所述基底图概率系数向量具体计算过程为：
调用参考图库中的激发特征基底图与修正的网络激发特征图进行比对，通过图相似度算法计算激发特征图与每一个节点激发特征基底图的相似度和每一个关系激发特征基底图的相似度，设置两种相似度的阈值，将高于阈值的节点存储于候选节点库/>中，将高于阈值的关系存储于候选关系库/>中；将候选节点库/>和候选关系库/>中的所有网络激发基底图合并为候选图库X，其中基底图能通过在候选图库X的位置和节点及关系名称一一对应；求解方程/>中的基底图概率系数向量W，其中/>为度量矩阵，每一个解得的基底图概率系数向量和每个公式中的度量矩阵一一对应；通过对度量矩阵进行求平均值得到度量值，将度量值升序排列并选取前/>个，/>为预设的基底图推荐数量，按排序顺序记录下所有/>个基底图概率系数向量/>并存储为。
7.根据权利要求1所述的一种基于网络激发图分解的医学大模型逻辑反演方法，其特征在于，所述构建推理子图包括两种：一种为计算基底图概率系数向量集合中每一个基底图概率系数向量对应的推理路径；一种为统计基底图概率系数向量集合中每一个节点和关系的出现概率，构建由亮度表示出现概率的推理图谱。
8.根据权利要求7所述的一种基于网络激发图分解的医学大模型逻辑反演方法，其特征在于，所述计算基底图概率系数向量集合中每一个基底图概率系数向量对应的推理路径具体为：找到基底图概率系数向量权重取1的位置所对应的节点和关系的名称；调用三元组构建的推理逻辑知识图谱，在推理逻辑知识图谱中找到对应的节点和关系的位置构建推理子图。
9.根据权利要求7所述的一种基于网络激发图分解的医学大模型逻辑反演方法，其特征在于，构建由亮度表示出现概率的推理图谱具体为：计算基底图概率系数向量集合中所有基底图概率系数向量平均值，找到基底图概率系数向量平均值中各个权重不为0的位置所对应的节点和关系；在推理逻辑知识图谱中找到对应的节点和关系的位置，找到基底图概率系数向量平均值中的最小权重值和最大权重值/>，计算每个节点和关系对应的权重值/>在所有节点和关系中的权重比值/>，权重比值/>，作为节点和关系在推理逻辑知识图谱中的亮度，以此构建由不同明暗程度/>的节点和关系组成的推理子图/>。
10.一种基于网络激发图分解的医学大模型逻辑反演系统，其特征在于，包括：网络激发图生成模块、参考图库构建模块、网络激发图分解模块、医学推理逻辑重构模块和接口管理模块；
所述网络激发图生成模块用于参考图库构建模块会让网络激发图分解模块使用过程中所需网络激发图的生成；
所述参考图库构建模块用于将医学术语集的数据进行三元体结构提取，使用三元组构建推理逻辑知识图谱，并将三元体拆分为节点和关系；对每一个节点或关系多次生成网络激发图并进行平均处理，得到激发基底图，判断激发基底图的网络激发程度，并将网络激发程度作为激发特征基底图，将节点或关系分别与激发基底图和激发特征基底图与进行对应作为参考图组，存储参考图组构建参考图库；
所述网络激发图分解模块用于通过参考图库对网络激发图进行修正，根据参考图库进行相似度筛选得到候选图库，使用候选图库计算大模型使用过程中网络激发图的基底图概率系数向量集合，从而确定在大模型使用过程中网络激发图由哪些基底图叠加得到；
所述医学推理逻辑重构模块用于将基底图概率系数向量集合对应的各个激发基底图中的节点和关系代入至推理逻辑知识图谱构建推理子图；
所述接口管理模块用于管理所有模块中出现的输入输出接口；包括一个参数设置输入接口和一个连接医学推理逻辑重构模块的推理路径输出接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410187002.XA CN117747124A (zh) | 2024-02-20 | 2024-02-20 | 基于网络激发图分解的医学大模型逻辑反演方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410187002.XA CN117747124A (zh) | 2024-02-20 | 2024-02-20 | 基于网络激发图分解的医学大模型逻辑反演方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117747124A true CN117747124A (zh) | 2024-03-22 |
Family
ID=90281574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410187002.XA Pending CN117747124A (zh) | 2024-02-20 | 2024-02-20 | 基于网络激发图分解的医学大模型逻辑反演方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117747124A (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894088A (zh) * | 2016-03-25 | 2016-08-24 | 苏州赫博特医疗信息科技有限公司 | 基于深度学习及分布式语义特征医学信息抽取系统及方法 |
| CN107368468A (zh) * | 2017-06-06 | 2017-11-21 | 广东广业开元科技有限公司 | 一种运维知识图谱的生成方法及系统 |
| CN109036553A (zh) * | 2018-08-01 | 2018-12-18 | 北京理工大学 | 一种基于自动抽取医疗专家知识的疾病预测方法 |
| CN110059195A (zh) * | 2019-04-10 | 2019-07-26 | 华侨大学 | 一种基于lis的医学检验知识图谱构建方法 |
| CN110931090A (zh) * | 2019-11-26 | 2020-03-27 | 太平金融科技服务（上海）有限公司 | 疾病数据处理方法、装置、计算机设备和存储介质 |
| US20200185102A1 (en) * | 2018-12-11 | 2020-06-11 | K Health Inc. | System and method for providing health information |
| CN111369562A (zh) * | 2020-05-28 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111767946A (zh) * | 2020-06-19 | 2020-10-13 | 北京百度网讯科技有限公司 | 医学影像分级模型训练及预测方法、装置、设备及介质 |
| CN114445667A (zh) * | 2022-01-28 | 2022-05-06 | 北京百度网讯科技有限公司 | 图像检测方法和用于训练图像检测模型的方法 |
| CN114610897A (zh) * | 2022-02-25 | 2022-06-10 | 北京工业大学 | 基于图注意力机制的医学知识图谱关系预测方法 |
| CN114925212A (zh) * | 2022-05-06 | 2022-08-19 | 神州医疗科技股份有限公司 | 一种自动判断并融合知识图谱的关系抽取方法及系统 |
| CN115080764A (zh) * | 2022-07-21 | 2022-09-20 | 神州医疗科技股份有限公司 | 基于知识图谱及聚类算法的医学相似实体分类方法及系统 |
| CN115640410A (zh) * | 2022-12-06 | 2023-01-24 | 南京航空航天大学 | 基于强化学习路径推理的知识图谱多跳问答方法 |
| CN115862848A (zh) * | 2023-02-15 | 2023-03-28 | 之江实验室 | 基于临床数据筛选和医学知识图谱的疾病预测系统和装置 |
| US20230154161A1 (en) * | 2021-11-16 | 2023-05-18 | Google Llc | Memory-optimized contrastive learning |
| CN116244448A (zh) * | 2023-02-24 | 2023-06-09 | 中国电子科技集团公司第十研究所 | 基于多源数据信息的知识图谱构建方法、设备及系统 |
| CN116610822A (zh) * | 2023-07-21 | 2023-08-18 | 南京邮电大学 | 一种面向糖尿病文本的知识图谱多跳推理方法 |
| CN116682553A (zh) * | 2023-08-02 | 2023-09-01 | 浙江大学 | 一种融合知识与患者表示的诊断推荐系统 |
| CN116861001A (zh) * | 2023-07-13 | 2023-10-10 | 合肥工业大学 | 一种基于元学习的医学常识知识图谱自动化构建方法 |
| CN117057173A (zh) * | 2023-10-13 | 2023-11-14 | 浙江大学 | 一种支持发散思维的仿生设计方法、系统及电子设备 |
-
2024
- 2024-02-20 CN CN202410187002.XA patent/CN117747124A/zh active Pending
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894088A (zh) * | 2016-03-25 | 2016-08-24 | 苏州赫博特医疗信息科技有限公司 | 基于深度学习及分布式语义特征医学信息抽取系统及方法 |
| CN107368468A (zh) * | 2017-06-06 | 2017-11-21 | 广东广业开元科技有限公司 | 一种运维知识图谱的生成方法及系统 |
| CN109036553A (zh) * | 2018-08-01 | 2018-12-18 | 北京理工大学 | 一种基于自动抽取医疗专家知识的疾病预测方法 |
| US20200185102A1 (en) * | 2018-12-11 | 2020-06-11 | K Health Inc. | System and method for providing health information |
| CN110059195A (zh) * | 2019-04-10 | 2019-07-26 | 华侨大学 | 一种基于lis的医学检验知识图谱构建方法 |
| CN110931090A (zh) * | 2019-11-26 | 2020-03-27 | 太平金融科技服务（上海）有限公司 | 疾病数据处理方法、装置、计算机设备和存储介质 |
| CN111369562A (zh) * | 2020-05-28 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111767946A (zh) * | 2020-06-19 | 2020-10-13 | 北京百度网讯科技有限公司 | 医学影像分级模型训练及预测方法、装置、设备及介质 |
| US20230154161A1 (en) * | 2021-11-16 | 2023-05-18 | Google Llc | Memory-optimized contrastive learning |
| CN114445667A (zh) * | 2022-01-28 | 2022-05-06 | 北京百度网讯科技有限公司 | 图像检测方法和用于训练图像检测模型的方法 |
| CN114610897A (zh) * | 2022-02-25 | 2022-06-10 | 北京工业大学 | 基于图注意力机制的医学知识图谱关系预测方法 |
| CN114925212A (zh) * | 2022-05-06 | 2022-08-19 | 神州医疗科技股份有限公司 | 一种自动判断并融合知识图谱的关系抽取方法及系统 |
| CN115080764A (zh) * | 2022-07-21 | 2022-09-20 | 神州医疗科技股份有限公司 | 基于知识图谱及聚类算法的医学相似实体分类方法及系统 |
| CN115640410A (zh) * | 2022-12-06 | 2023-01-24 | 南京航空航天大学 | 基于强化学习路径推理的知识图谱多跳问答方法 |
| CN115862848A (zh) * | 2023-02-15 | 2023-03-28 | 之江实验室 | 基于临床数据筛选和医学知识图谱的疾病预测系统和装置 |
| CN116244448A (zh) * | 2023-02-24 | 2023-06-09 | 中国电子科技集团公司第十研究所 | 基于多源数据信息的知识图谱构建方法、设备及系统 |
| CN116861001A (zh) * | 2023-07-13 | 2023-10-10 | 合肥工业大学 | 一种基于元学习的医学常识知识图谱自动化构建方法 |
| CN116610822A (zh) * | 2023-07-21 | 2023-08-18 | 南京邮电大学 | 一种面向糖尿病文本的知识图谱多跳推理方法 |
| CN116682553A (zh) * | 2023-08-02 | 2023-09-01 | 浙江大学 | 一种融合知识与患者表示的诊断推荐系统 |
| CN117057173A (zh) * | 2023-10-13 | 2023-11-14 | 浙江大学 | 一种支持发散思维的仿生设计方法、系统及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 孙郑煜;鄂海红;宋美娜;王宁;: "基于大数据技术的医学知识图谱构建方法", 软件, no. 01, 15 January 2020 (2020-01-15) * |
| 袁凯琦;邓扬;陈道源;张冰;雷凯;: "医学知识图谱构建技术与研究进展", 计算机应用研究, no. 07, 18 August 2017 (2017-08-18) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sahu et al. | FINE_DENSEIGANET: Automatic medical image classification in chest CT scan using Hybrid Deep Learning Framework | |
| Heo et al. | Uncertainty-aware attention for reliable interpretation and prediction | |
| Suresh et al. | Hybridized neural network and decision tree based classifier for prognostic decision making in breast cancers | |
| Shamout et al. | Deep interpretable early warning system for the detection of clinical deterioration | |
| Giuste et al. | Explainable artificial intelligence methods in combating pandemics: A systematic review | |
| Sandhiya et al. | An effective disease prediction system using incremental feature selection and temporal convolutional neural network | |
| Cullell-Dalmau et al. | Research techniques made simple: deep learning for the classification of dermatological images | |
| US8271414B2 (en) | Network characterization, feature extraction and application to classification | |
| Zhang et al. | Explainability metrics of deep convolutional networks for photoplethysmography quality assessment | |
| Garcia et al. | Clinical decision support systems in myocardial perfusion imaging | |
| CN114864088B (zh) | 一种基于医疗健康的数字孪生建立方法、装置和存储介质 | |
| Kanwar et al. | Machine learning, artificial intelligence and mechanical circulatory support: A primer for clinicians | |
| Islam et al. | Enhancing lung abnormalities detection and classification using a Deep Convolutional Neural Network and GRU with explainable AI: A promising approach for accurate diagnosis | |
| CN113744845A (zh) | 基于人工智能的医学影像处理方法、装置、设备及介质 | |
| CN114191665A (zh) | 机械通气过程中人机异步现象的分类方法和分类装置 | |
| Khazaal et al. | Predicting Coronary Artery Disease Utilizing Support Vector Machines: Optimizing Predictive Model | |
| Nayebi et al. | WindowSHAP: An efficient framework for explaining time-series classifiers based on Shapley values | |
| Calikli et al. | An algorithmic approach to missing data problem in modeling human aspects in software development | |
| Radiuk et al. | Human-in-the-loop approach based on MRI and ECG for healthcare diagnosis | |
| CN117747124A (zh) | 基于网络激发图分解的医学大模型逻辑反演方法及系统 | |
| Nawaz et al. | Ensemble of Autoencoders for Anomaly Detection in Biomedical Data: A Narrative Review | |
| Alhadeethy et al. | Deep learning model for predicting and detecting overlapping symptoms of cardiovascular diseases in hospitals of UAE | |
| Myrzakerimova et al. | Development of an automated expert system for diagnosing diseases of internal organs | |
| Gao et al. | Application of Machine Learning in Intelligent Medical Image Diagnosis and Construction of Intelligent Service Process | |
| Alekhya et al. | Early Strokes Detection of Patient and Health Monitoring System Based On Data Analytics Using K-Means Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |