CN108389614A - 基于图像分割与卷积神经网络构建医学影像图谱的方法 - Google Patents

基于图像分割与卷积神经网络构建医学影像图谱的方法 Download PDF

Info

Publication number
CN108389614A
CN108389614A CN201810175030.4A CN201810175030A CN108389614A CN 108389614 A CN108389614 A CN 108389614A CN 201810175030 A CN201810175030 A CN 201810175030A CN 108389614 A CN108389614 A CN 108389614A
Authority
CN
China
Prior art keywords
knowledge
image
entity
medical
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810175030.4A
Other languages
English (en)
Other versions
CN108389614B (zh
Inventor
刘宏杰
徐宏喆
闫雨
李文
杨刚
王婵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201810175030.4A priority Critical patent/CN108389614B/zh
Publication of CN108389614A publication Critical patent/CN108389614A/zh
Application granted granted Critical
Publication of CN108389614B publication Critical patent/CN108389614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于图像分割与卷积神经网络构建医学影像图谱的方法，通过卷积神经网络方法进行医学影像精细分割，针对采集到的医学影像进行图像分割识别，针对医疗诊断知识进行医疗知识单元分割，形成不同医学影像图片的知识单元；分析图像分割影像关系建立不同影像知识单元的连接并连通附加医学病症知识单元，基于医学影像识别和医学诊断知识的联结，完成知识库关联关系建立；将影像分割后的知识单元进行特征匹配，形成具有同类属性的实体作为知识图谱中的实体节点，融合建立知识库实体，完成实体对齐；利用构建的实体以及实体之间的关联关系建立知识图谱。提供疑似诊断提醒和治疗路线建议，为人工智能AI诊疗提供了可能。

Description

基于图像分割与卷积神经网络构建医学影像图谱的方法
技术领域
本发明属于图像识别和知识图谱技术领域，具体涉及一种基于图像分割与卷积神经网络构建医学影像图谱的方法。
背景技术
知识图谱作为一种深度检索挖掘的方法被广泛应用于大数据信息的精准获取。近年来，医学领域内探索以知识图谱为基础的AI诊疗已取得了一定的研究成果，例如一种基于深度学习的中文医学知识图谱构建方法。但是，目前国内还没有成熟的医学影像知识图谱的构建先例，基于医学影像与对应的医学文本记录交叉对比方面还属于空白阶段。因此，需要一种适用于医学影像特征和相关医学诊断知识提取，并能够使之相结合的知识图谱构建方法。故本专利特别提出一种利用图像分割识别技术构建医学知识图谱的方法，以期能够为临床诊断提供辅助决策信息。
知识图谱通过提取非结构化数据，以节点与边的结构反映实体间的联系，可以实现深度语义检索和层次化结果显示，为鉴别诊断提供了新的思路。现有医学知识图谱大都以文本型非结构化病例、文献等进行构建，而非基于医学影像，无法对影像数据进行挖掘和利用。
此外，常用图像分割技术通常存在归类困难、关联对比效果不好、影像识别颗粒度不够细致等问题，不适用医学影像的处理。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于图像分割与卷积神经网络构建医学影像图谱的方法，通过将卷积神经网络应用于图像处理技术，从而提高图像分类准确率与图像识别粒度，提高病变点识别准确率；通过实体对齐和关联关系建立影像谱图，反映影像、疾病与征象等实体间的关系，在实现深度信息检索的基础上提供疑似诊断提醒和治疗路线建议。
本发明采用以下技术方案：
一种基于图像分割与卷积神经网络构建医学影像图谱的方法，通过卷积神经网络方法进行医学影像精细分割，针对采集到的医学影像进行图像分割识别，针对医疗诊断知识进行医疗知识单元分割，形成不同医学影像图片的知识单元；采用统计学和机器学习方法建立影像基础知识库；分析图像分割影像关系建立不同影像知识单元的连接并连通附加医学病症知识单元，基于医学影像识别和医学诊断知识的联结，采用模糊匹配的方式实现跨领域关系形成，完成知识库关联关系建立；将影像分割后的知识单元进行特征匹配，特征近似的知识单元标记唯一标识，形成具有同类属性的实体，将其作为知识图谱中的实体节点，对领域内的相关医学病症知识单元进行标识，形成病症实体节点，融合建立知识库实体，完成实体对齐；利用构建的实体以及实体之间的关联关系建立知识图谱。
具体的，通过机器学习的方式让计算机大量学习正常X光医学影像建立卷积神经网络基准，选择领域内医学病症相关信息作为补充知识单元，与影像知识单元共同构建基础知识单元，完成医学影像卷积神经网络建立，具体步骤如下：
S1011、用随机数初始化所有的滤波器和参数/权重；
S1012、网络将训练图片作为输入，执行卷积，ReLU，池化以及全连接层的前向传播步骤并计算每个类别的对应输出概率；
S1013、计算输出层的总误差；
S1014、反向传播算法计算误差相对于所有权重的梯度，并用梯度下降法更新所有的滤波器/权重和参数的值，以使输出误差最小化。
进一步的，其特征在于，卷积神经网络影像精细分割根据医学病症主要集中的病变区域进行多层卷积，提取其颜色、形状特征值，将其以数学矩阵方式展示，通过对正常影像做多层卷积，得出影像基准；影像分割识别之前先建立领域内的卷积神经网络，通过样本训练建立相应的滤波器和参数/权重。
具体的，医疗知识单元分割具体为：根据医学影像对应的知识域做医疗诊断知识分割，形成诊断知识单元，建立医学诊断知识单元，具体步骤如下：
S1031、将现代医学影像学电子书输入系统中，使用Paoding分词器进行分词处理；
S1032、对分词进行清洗，将错误和问题词汇清洗掉；
S1033、根据分词内容建立特征向量，形成医学诊断知识单元。
具体的，影像基础知识库建立具体为：结合医学数据源的特点训练模型，将分割后的知识单元和内的医学病症知识单元进行系统化清洗、处理、归类，形成独立结构的影像基础知识库，实现自动化提取知识单元的过程，并将监督学习与规则相结合。
具体的，知识库关联关系建立具体为：对原始知识域连通关系进行梳理和统计，从概率学的角度做关联映射，知识库关联关系建立具体如下：
S301、知识单元模糊匹配，将影像中提取出的特征向量和医学诊断知识中提取出来的特征向量进行模糊匹配，统计匹配概率和次数；
S302、根据匹配结果进行数据连接，并针对不同匹配次数的连接进行分级登记；
S303、根据分级级别建立不同等级的知识关联关系。
具体的，实体对齐具体为：采用集体实体对齐方法，使用向量空间模型和余弦相似度模型，在考虑实体间属性相似性的基础上加入实体间的相互关系，为实体本身相似度和关联实体相似度的属性分配不同权重，通过加权求和计算相似度，为每个向量建立倒排表，通过键值生成候选对，使用余弦相似性函数计算每个候选对的向量相似性，输出结果。
进一步的，每个实体e建立两个向量和来自于实体属性，来自于相邻节点属性值的加权求和，定义为γ为权重，为标识属性外的其他属性，为相邻节点属性，输出结果如下：
其中，ωn为名称向量的相似性权重，sim(e1,e2)为两个实体e1,e2间的相似性，为两个实体本身属性相似度，为两个实体的邻居实体相似度。
进一步的，相似度计算如下：
sim(e1,e2)＝αsimAttr(e1,e2)+(1-α)simNB(e1,e2)
其中，simAttr()为实体本身相似度，simNB()为关联实体相似度，α为权重，(a1,a2)分别为e1,e2的自身属性，(e1',e'2)分别为e1,e2的邻居实体，sim(a1,a2)为两个实体e1,e2自身属性的相似度。
具体的，知识图谱构建具体为：经历医学影像及医疗知识分割、知识库建立、知识库关联关系建立、实体对齐后，对实验结果进行本体构建，构建的本体包含对齐的实体以及实体之间的关联关系，通过自底向上的方式构建本体，完成知识图谱构建。
与现有技术相比，本发明至少具有以下有益效果：
本发明基于图像分割与卷积神经网络构建医学影像图谱的方法，针对采集到的医学影像进行图像分割识别，针对医疗诊断知识进行知识单元分割，采用统计学和机器学习的方法，结合医学数据源的特点训练模型，实现自动化提取知识单元的过程，并将监督学习与规则相结合，以提供较高的准确率和召回率；根据形成的知识库包含了影像知识单元和诊断知识单元两类知识，对原始知识域连通关系进行梳理和统计，从概率学的角度做关联映射；采用集体实体对齐方法，使用向量空间模型和余弦相似度模型，在考虑实体间属性相似性的基础上加入实体间的相互关系；最后利用构建的实体以及实体之间的关联关系建立知识图谱。图像识别和知识图谱是分处于两个不同领域内的前沿技术，在各自领域内发挥着越来越重要的作用，但是，在现实应用中，单一学科技术往往已经不能满足具体应用需求，本发明首次将图像识别和知识图谱构建结合到了一起，将基于卷积神经网络的图像识别和知识图谱结合起来，并将其推广至医疗诊断领域中，为人工智能AI诊疗提供了可能。
进一步的，通过医学影像卷积神经网络实现医学影像识别，提取医学影像特征，作为医学影像特征知识库的输入，为医学影像特征库的建立提供数据支撑。通过医学影像卷积神经网络可以进行有效的影像识别，在一定程度上提升读片效率。另外，基于卷积神经网络的模糊特性，在做知识库关联时，亦可尽可能多的发散知识关联，提供更加丰富多样的关联诊断。
进一步的，因影像本身具有多样性，关注区域和主要特征不尽相同，影像识别过程中侧重点也不完全一样，针对不同的医学影像建立不同的卷积神经网络，通过样本训练的方式找到其对应的滤波器和参数/权重，能够有效提高其识别精度，使得整个识别过程更加智能化。另外通过样本学习的方式可以动态调整影像识别侧重点和当前医学影像重心，实现医学影像识别的AI特性。
进一步的，因影像本身像素、尺寸很大，整体识别效率低下，识别过程不能并行，通过影像分割的方式，根据应用需求将特定重点区域划分出来，使影像能够成为多个单独瓦片，针对单独瓦片进行图像识别，因其瓦片尺寸小所以识别效率可以得到大大的提升，同时，一张完整的影像分割成多个瓦片后，系统识别可以并发进行，大大提升了运行效率。
进一步的，知识库作为知识图谱的基础，其存量大小直接决定了知识图谱的规模和实体样本的多样性，通过建立丰富且高效的知识库，为实体对齐和知识图谱的建立提供知识支撑。影像基础知识库打破了医学影像识别和医学知识之间的认知壁垒，使得AI辅助影像诊断成为可能。
进一步的，知识图谱具有两个关键组成部分，实体节点和网状关系，建立知识库关联关系可以为后续知识图谱的建立提供网状关联基础。通过建立知识库关联关系可以在数据层面上对映射关系进行一次筛选和优化，提升后续知识图谱的效率和可靠性。
进一步的，关系的相似作用在某些情况下可以超过属性相似性，因此知识库中实体间的关系对于实体对齐有重要意义。集体实体对齐从全局考虑了实体间的关系，与传统成对实体对齐方法相比，可以有效提高匹配的准确率和召回率。
进一步的，通过机器学习和图像识别的方式提取出基于医疗X光影像的特征值，并通过大量的样本学习，构建X光影像知识单元，最终形成基于X光影像的知识基准。并以此为基础构建医疗知识图谱，形成独立的AI诊断体系，相对于人工诊疗看图的方式，提升了诊疗效率，降低误诊的可能，并使得医学互联网资源共享成为可能。
综上所述，本方法图像分割归类简单，关联对比效果好，、影像识别颗粒度较细致，适用医学影像的处理，知识图谱通过提取非结构化数据，以节点与边的结构反映实体间的联系，可以实现深度语义检索和层次化结果显示。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明实现系统流程图；
图2为CNN影像分割算法局部连接与参数共享机制示意图；
图3为CNN影像分割算法多卷积核机制示意图；
图4为医学影像知识图谱实例展示图。
具体实施方式
本发明提供了一种基于图像分割与卷积神经网络构建医学影像图谱的方法，利用卷积神经网络对医学影像进行分割从中提取影像知识单元，通过知识抽取获得结构化补充知识，二者相结合构建影像知识库，最终采用实体对齐算法和关系挖掘算法构建影像知识图谱，首次将图像识别技术应用于医学知识图谱的构建，所完成的影像领域知识图谱能够有效识别非结构化文献及影像数据，实现基于语义的影像检索，深度挖掘影像信息与实体间依赖关系，作为辅助诊疗手段提高鉴别诊断准确率，为AI医疗提供基础。
请参阅图1，本发明一种基于图像分割与卷积神经网络构建医学影像图谱的方法，包括以下步骤：
S1、医学影像及医疗知识分割；
通过卷积神经网络方法进行医学影像精细分割，针对采集到的医学影像进行图像分割识别，针对医疗诊断知识进行知识单元分割，形成不同医学影像图片的知识单元，具体如下：
S101、医学影像卷积神经网络建立；
收集大量的医学影像，本例中收集X光影像作为基础样本，通过机器学习的方式让计算机大量学习正常X光医学影像建立卷积神经网络基准，选择上述领域内医学病症相关信息作为补充知识单元，与影像知识单元共同构建基础知识单元，基本步骤如下：
S1011、用随机数初始化所有的滤波器和参数/权重；
影像分割识别之前需要建立领域内的卷积神经网络，通过样本训练建立相应的滤波器和参数/权重。
S1012、网络将训练图片作为输入，执行前向步骤(卷积，ReLU，池化以及全连接层的前向传播)并计算每个类别的对应输出概率；
S1013、计算输出层的总误差；
S1014、反向传播算法计算误差相对于所有权重的梯度，并用梯度下降法更新所有的滤波器/权重和参数的值，以使输出误差最小化；
S102、医学影像分割；
对样本影像进行医学影像精细分割，将一个较大的影像分割成为若干小的瓦片，如图2、3所示，对每一瓦片分别进行全连接或者局部连接。针对不同类型的医学影像预设分割颗粒度和区域角度方法，通过上述卷积神经网络形成不同类别的医学影像图片知识单元；
S103、医疗知识单元分割；
根据医学影像对应的知识域做医疗诊断知识分割，形成诊断知识单元，以《现代医学影像学》为知识蓝本，建立医学诊断知识单元，具体步骤如下：
S1031、将《现代医学影像学》电子书输入系统中，使用Paoding分词器进行分词处理。
S1032、对分词进行清洗，将错误和问题词汇清洗掉；
S1033、根据分词内容建立特征向量，形成医学诊断知识单元；
S2、知识库建立；
根据医学领域的不同场景建立知识库规则，采用统计学和机器学习的方法，结合医学数据源的特点训练模型，将步骤S1分割后的知识单元和内的医学病症知识单元进行系统化清洗、处理、归类，形成独立结构的影像基础知识库，实现自动化提取知识单元的过程，并将监督学习与规则相结合，以提供较高的准确率和召回率；
医学影像特征提取和医学诊断知识特征向量提取，影像特征向量提取可以通过卷积神经网络进行机器学习提取，医学诊断知识特征向量需要经过数据清洗、汇聚处理后才能提取出符合构建知识库的知识单元。
内的医学知识单元，在本申请中特指X光影像，针对X光影像所对应的影像知识单元和医学知识单元，分别采用影像识别和语义判断的方式进行获取。
分割后的知识单元图像是零散而分散的，不具有系统性，而这些图像单元具有一定的语义信息，因此，需要进行分级和系统化工作。从图像中提取特征，构建具有影像基准特征的图像知识库，将典型图像与概念结构联系在一起，体现知识间的依赖关系。
此外，内的医学文献是非结构化和半结构化的，需要对这些数据进行基于语义的知识抽取，形成包括实体、关系和属性三个要素的知识单元；
S3、知识库关联关系建立；
分析图像分割影像关系建立不同影像知识单元的连接并连通附加医学病症知识单元，基于医学影像识别和医学诊断知识的联结，采用模糊匹配的方式实现跨领域关系形成，根据上述步骤形成的知识库包含了影像知识单元和诊断知识单元两类知识，但是彼此之间存在知识孤岛，相互连通度不够，没有形成稳定的关联关系，针对上述问题，对原始知识域连通关系进行梳理和统计，从概率学的角度做关联映射，具体操作如下：
S301、知识单元模糊匹配，将影像中提取出的特征向量和医学诊断知识中提取出来的特征向量进行模糊匹配，统计匹配概率和次数；
S302、根据匹配结果进行数据连接，并针对不同匹配次数的连接进行分级登记；
S303、根据分级级别建立不同等级的知识关联关系；
S4、实体对齐；
将影像分割后的知识单元进行特征匹配，特征近似的知识单元标记唯一标识，形成具有同类属性的实体，将其作为知识图谱中的实体节点。
同时，对领域内的相关医学病症知识单元进行标识，形成病症实体节点，与上述节点融合建立知识库实体。
医学实体在不同的数据源中存在严重的多元指代问题，例如药品包括主要成分名、别名和商品名，但都代表真实世界的同一实体，因此需要对知识单元进行特征匹配，使不同来源的知识在同一框架规范下进行数据整合，特征近似的知识单元标记为同一实体，将其作为知识图谱中的节点。
医学知识单元在临床表现上形态迥异，而单一病症往往又有其并发症，单从医疗诊断角度判断，其知识单元过于分散和碎片化，为避免知识单元碎片化将具有相同属性和近似特征的知识单元进行对齐操作，形成具有同类属性的实体。同时，对领域内的相关医学病症知识单元进行标识，形成病症实体节点，与上述节点融合建立知识库实体，领域基础分词来自《现代医学影像学》，通过对该本书进行语义词性分词完成基础领域知识单元建立。
采用集体实体对齐方法，使用向量空间模型和余弦相似度模型，在考虑实体间属性相似性的基础上加入实体间的相互关系。
实体本身相似度为simAttr()，关联实体相似度为simNB()，为两个实体的属性分配不同权重，通过加权求和计算相似度，表达式如下：
sim(e1,e2)＝αsimAttr(e1,e2)+(1-α)simNB(e1,e2)
其中，α为权重，(a1,a2)分别为e1,e2的自身属性，(e1',e'2)分别为e1,e2的邻居实体，sim(a1,a2)为两个实体e1,e2自身属性的相似度；
算法为每个实体e建立两个向量和来自于实体属性，来自于相邻节点属性值的加权求和，定义为其中γ为权重，为标识属性外的其他属性，为相邻节点属性。为每个向量建立倒排表，通过键值生成候选对，使用余弦相似性函数计算每个候选对的向量相似性，输出结果如下：
其中，ωn为名称向量的相似性权重，sim(e1,e2)为两个实体e1,e2间的相似性，为两个实体本身属性相似度，为两个实体的邻居实体相似度。
S5、知识图谱构建。
利用构建的实体以及实体之间的关联关系建立知识图谱。
经历医学影像及医疗知识分割、知识库建立、知识库关联关系建立、实体对齐后，对实验结果进行本体构建，构建的本体主要包含对齐的实体以及实体之间的关联关系，通过自底向上的方式构建本体，完成知识图谱构建。
卷积神经网络影像精细分割根据医学病症主要集中的病变区域进行多层卷积，提取其主要特征值，如颜色、形状等，将其以数学矩阵方式展示，通过对大量正常影像做多层卷积，得出影像基准。具体应用时，将新得到的影像进行多层卷积识别，得出新影像的具体知识。
以图4为例，图中反映以大叶性肺叶为中心的发散式结构化实体关系，圆形代表实体，疾病实体抽取算法从文献中获得，影像特征实体通过医学影像分割提取，实体对齐从语义上实现一致化，例如“大叶性肺炎”与“肺炎球菌肺炎”指向同一事物；连线说明各疾病、疾病与征象、疾病与影像特征的关系，如“症状”、“并发症”、“特性”、“影像表现”等。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
构建影像医学知识图谱用以实现基于影像的深度搜索。
现有检索对图像的理解取决于周边文本，没有对图像包含的知识进行提取，也没有对相似知识进行组织，因此限制了提供信息的能力；同时，在搜索结果中包含较多歧义，无法体现知识间的依赖关系。本发明采用卷积神经网络对影像进行处理，提取图像特征，与已构建完成的知识图谱中实体进行比对，返回以此实体为中心的网络结构，其中包括疾病名称、征象、并发症、影像特征等内容，从语义上理解搜索意图，避免歧义，提升搜索准确率和提供信息的能力。
实施例二
构建影像医学知识图谱用以实现基于图像处理的辅助诊疗。
医学图谱采用层次化、结构化的方式体现出各医学实体间的关系，全面的反映图像与文献信息，为鉴别诊断提供辅助依据。医学上同一征象对应多种典型疾病，同一种疾病有多种影像表现，这种多样性为诊断带来了挑战。本发明通过图像分割识别，提取疾病对应影像的典型特征，在大量训练数据的基础上保证了特征的准确性。通过相似性比较，可以快速确定对应实体，从而给出疾病诊断建议。同时，知识图谱全面的反映疾病与征象、与诊疗方案间的关联关系，为后续治疗提供依据。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于图像分割与卷积神经网络构建医学影像图谱的方法，其特征在于，通过卷积神经网络方法进行医学影像精细分割，针对采集到的医学影像进行图像分割识别，针对医疗诊断知识进行医疗知识单元分割，形成不同医学影像图片的知识单元；采用统计学和机器学习方法建立影像基础知识库；分析图像分割影像关系建立不同影像知识单元的连接并连通附加医学病症知识单元，基于医学影像识别和医学诊断知识的联结，采用模糊匹配的方式实现跨领域关系形成，完成知识库关联关系建立；将影像分割后的知识单元进行特征匹配，特征近似的知识单元标记唯一标识，形成具有同类属性的实体，将其作为知识图谱中的实体节点，对领域内的相关医学病症知识单元进行标识，形成病症实体节点，融合建立知识库实体，完成实体对齐；利用构建的实体以及实体之间的关联关系建立知识图谱。
2.根据权利要求1所述的一种基于图像分割与卷积神经网络构建医学影像图谱的方法，其特征在于，通过机器学习的方式让计算机大量学习正常X光医学影像建立卷积神经网络基准，选择领域内医学病症相关信息作为补充知识单元，与影像知识单元共同构建基础知识单元，完成医学影像卷积神经网络建立，具体步骤如下：
S1011、用随机数初始化所有的滤波器和参数/权重；
S1012、网络将训练图片作为输入，执行卷积，ReLU，池化以及全连接层的前向传播步骤并计算每个类别的对应输出概率；
S1013、计算输出层的总误差；
S1014、反向传播算法计算误差相对于所有权重的梯度，并用梯度下降法更新所有的滤波器/权重和参数的值，以使输出误差最小化。
3.根据权利要求1或2所述的一种基于图像分割与卷积神经网络构建医学影像图谱的方法，其特征在于，卷积神经网络影像精细分割根据医学病症主要集中的病变区域进行多层卷积，提取其颜色、形状特征值，将其以数学矩阵方式展示，通过对正常影像做多层卷积，得出影像基准；影像分割识别之前先建立领域内的卷积神经网络，通过样本训练建立相应的滤波器和参数/权重。
4.根据权利要求1所述的一种基于图像分割与卷积神经网络构建医学影像图谱的方法，其特征在于，医疗知识单元分割具体为：根据医学影像对应的知识域做医疗诊断知识分割，形成诊断知识单元，建立医学诊断知识单元，具体步骤如下：
S1031、将现代医学影像学电子书输入系统中，使用Paoding分词器进行分词处理；
S1032、对分词进行清洗，将错误和问题词汇清洗掉；
S1033、根据分词内容建立特征向量，形成医学诊断知识单元。
5.根据权利要求1所述的一种基于图像分割与卷积神经网络构建医学影像图谱的方法，其特征在于，影像基础知识库建立具体为：结合医学数据源的特点训练模型，将分割后的知识单元和内的医学病症知识单元进行系统化清洗、处理、归类，形成独立结构的影像基础知识库，实现自动化提取知识单元的过程，并将监督学习与规则相结合。
6.根据权利要求1所述的一种基于图像分割与卷积神经网络构建医学影像图谱的方法，其特征在于，知识库关联关系建立具体为：对原始知识域连通关系进行梳理和统计，从概率学的角度做关联映射，知识库关联关系建立具体如下：
S301、知识单元模糊匹配，将影像中提取出的特征向量和医学诊断知识中提取出来的特征向量进行模糊匹配，统计匹配概率和次数；
S302、根据匹配结果进行数据连接，并针对不同匹配次数的连接进行分级登记；
S303、根据分级级别建立不同等级的知识关联关系。
7.根据权利要求1所述的一种基于图像分割与卷积神经网络构建医学影像图谱的方法，其特征在于，实体对齐具体为：采用集体实体对齐方法，使用向量空间模型和余弦相似度模型，在考虑实体间属性相似性的基础上加入实体间的相互关系，为实体本身相似度和关联实体相似度的属性分配不同权重，通过加权求和计算相似度，为每个向量建立倒排表，通过键值生成候选对，使用余弦相似性函数计算每个候选对的向量相似性，输出结果。
8.根据权利要求7所述的一种基于图像分割与卷积神经网络构建医学影像图谱的方法，其特征在于，每个实体e建立两个向量和 来自于实体属性，来自于相邻节点属性值的加权求和，定义为γ为权重，为标识属性外的其他属性，为相邻节点属性，输出结果如下：
其中，ωn为名称向量的相似性权重，sim(e1,e2)为两个实体e1,e2间的相似性，为两个实体本身属性相似度，为两个实体的邻居实体相似度。
9.根据权利要求8所述的一种基于图像分割与卷积神经网络构建医学影像图谱的方法，其特征在于，相似度计算如下：
sim(e1,e2)＝αsimAttr(e1,e2)+(1-α)simNB(e1,e2)
其中，simAttr()为实体本身相似度，simNB()为关联实体相似度，α为权重，(a1,a2)分别为e1,e2的自身属性，(e'1,e'2)分别为e1,e2的邻居实体，sim(a1,a2)为两个实体e1,e2自身属性的相似度。
10.根据权利要求1所述的一种基于图像分割与卷积神经网络构建医学影像图谱的方法，其特征在于，知识图谱构建具体为：经历医学影像及医疗知识分割、知识库建立、知识库关联关系建立、实体对齐后，对实验结果进行本体构建，构建的本体包含对齐的实体以及实体之间的关联关系，通过自底向上的方式构建本体，完成知识图谱构建。
CN201810175030.4A 2018-03-02 2018-03-02 基于图像分割与卷积神经网络构建医学影像图谱的方法 Active CN108389614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810175030.4A CN108389614B (zh) 2018-03-02 2018-03-02 基于图像分割与卷积神经网络构建医学影像图谱的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810175030.4A CN108389614B (zh) 2018-03-02 2018-03-02 基于图像分割与卷积神经网络构建医学影像图谱的方法

Publications (2)

Publication Number Publication Date
CN108389614A true CN108389614A (zh) 2018-08-10
CN108389614B CN108389614B (zh) 2021-01-19

Family

ID=63070223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810175030.4A Active CN108389614B (zh) 2018-03-02 2018-03-02 基于图像分割与卷积神经网络构建医学影像图谱的方法

Country Status (1)

Country Link
CN (1) CN108389614B (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242865A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 基于多图谱的医学图像自动分区系统、方法、装置及存储介质
CN109272044A (zh) * 2018-09-19 2019-01-25 郑州云海信息技术有限公司 一种图像相似度确定方法、装置、设备及存储介质
CN109685765A (zh) * 2018-11-21 2019-04-26 浙江大学山东工业技术研究院 一种基于卷积神经网络的x光片肺炎结果预测装置
CN109814551A (zh) * 2019-01-04 2019-05-28 丰疆智慧农业股份有限公司 谷物处理自动驾驶系统、自动驾驶方法以及自动识别方法
CN109960810A (zh) * 2019-03-28 2019-07-02 科大讯飞(苏州)科技有限公司 一种实体对齐方法及装置
CN109960722A (zh) * 2019-03-31 2019-07-02 联想(北京)有限公司 一种信息处理方法及装置
CN110033019A (zh) * 2019-03-06 2019-07-19 腾讯科技（深圳）有限公司 人体部位的异常检测方法、装置和存储介质
CN110134965A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 用于信息处理的方法、装置、设备和计算机可读存储介质
CN110222201A (zh) * 2019-06-26 2019-09-10 中国医学科学院医学信息研究所 一种专病知识图谱构建方法及装置
CN110245242A (zh) * 2019-06-20 2019-09-17 北京百度网讯科技有限公司 医学知识图谱构建方法、装置以及终端
CN110349652A (zh) * 2019-07-12 2019-10-18 之江实验室 一种融合结构化影像数据的医疗数据分析系统
CN110457486A (zh) * 2019-07-05 2019-11-15 中国人民解放军战略支援部队信息工程大学 基于知识图谱的人物实体对齐方法及装置
CN110457502A (zh) * 2019-08-21 2019-11-15 京东方科技集团股份有限公司 构建知识图谱方法、人机交互方法、电子设备及存储介质
CN110837572A (zh) * 2019-11-15 2020-02-25 北京推想科技有限公司 图像检索方法、装置、可读存储介质及电子设备
CN110910991A (zh) * 2019-11-21 2020-03-24 张军 一种医用自动图像处理系统
CN111209407A (zh) * 2018-11-21 2020-05-29 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
CN111223076A (zh) * 2019-12-30 2020-06-02 北京深睿博联科技有限责任公司 神经系统影像分析方法和装置
CN111382275A (zh) * 2018-12-28 2020-07-07 医渡云（北京）技术有限公司 医疗知识图谱的构建方法、装置、介质及电子设备
CN111476775A (zh) * 2020-04-07 2020-07-31 广州柏视医疗科技有限公司 Dr征象识别装置和方法
CN111563192A (zh) * 2020-04-28 2020-08-21 腾讯科技（深圳）有限公司 实体对齐方法、装置、电子设备及存储介质
CN111626196A (zh) * 2020-05-27 2020-09-04 成都颜禾曦科技有限公司 基于知识图谱的典型牛科动物身体结构智能分析方法
CN111743574A (zh) * 2020-07-12 2020-10-09 西北工业大学 乳腺癌超声影像高置信实体关系的知识图谱构建方法
CN111951952A (zh) * 2020-07-17 2020-11-17 北京欧应信息技术有限公司 一种基于医疗影像信息自动诊断骨科疾病的装置
CN111949801A (zh) * 2020-07-27 2020-11-17 西北工业大学 医生经验知识与超声影像信息的知识图谱融合方法
CN112015909A (zh) * 2020-08-19 2020-12-01 普洛斯科技(重庆)有限公司 知识图谱的构建方法及装置、电子设备、存储介质
CN112101034A (zh) * 2020-09-09 2020-12-18 沈阳东软智能医疗科技研究院有限公司 一种判别医学实体的属性的方法、装置及相关产品
TWI717817B (zh) * 2019-08-29 2021-02-01 宏碁股份有限公司 預測模型遷移方法與預測模型遷移裝置
CN112349369A (zh) * 2020-11-27 2021-02-09 广州瀚信通信科技股份有限公司 医疗影像大数据智能分析方法、系统及存储介质
CN112530548A (zh) * 2019-09-19 2021-03-19 沐恩生医光电股份有限公司 一种医疗影像辨识的方法与系统
CN112992317A (zh) * 2021-05-10 2021-06-18 明品云(北京)数据科技有限公司 一种医学数据处理方法、系统、设备及介质
US11227390B2 (en) 2018-09-26 2022-01-18 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image processing
CN114238526A (zh) * 2022-02-23 2022-03-25 浙江大华技术股份有限公司 图像聚档方法、电子设备及存储介质
CN114611568A (zh) * 2022-01-18 2022-06-10 北京邮电大学 医学影像诊疗产品的跨设备泛化性的检测方法及相关设备
CN115588504A (zh) * 2022-10-28 2023-01-10 大连大学附属中山医院 一种基于分子影像成像技术的监测管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302603A1 (en) * 2010-07-28 2015-10-22 Varian Medical Systems, Inc. Knowledge-based automatic image segmentation
CN106021281A (zh) * 2016-04-29 2016-10-12 京东方科技集团股份有限公司 医学知识图谱的构建方法、其装置及其查询方法
CN106355627A (zh) * 2015-07-16 2017-01-25 中国石油化工股份有限公司 一种用于生成知识图谱的方法及系统
CN106875940A (zh) * 2017-03-06 2017-06-20 吉林省盛创科技有限公司 一种基于神经网络的机器自学习构建知识图谱训练方法
CN107391906A (zh) * 2017-06-19 2017-11-24 华南理工大学 基于神经网络和图谱结构的健康饮食知识网络构建方法
CN107463786A (zh) * 2017-08-17 2017-12-12 王卫鹏 基于结构化报告模板的医学影像知识库建立方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302603A1 (en) * 2010-07-28 2015-10-22 Varian Medical Systems, Inc. Knowledge-based automatic image segmentation
CN106355627A (zh) * 2015-07-16 2017-01-25 中国石油化工股份有限公司 一种用于生成知识图谱的方法及系统
CN106021281A (zh) * 2016-04-29 2016-10-12 京东方科技集团股份有限公司 医学知识图谱的构建方法、其装置及其查询方法
CN106875940A (zh) * 2017-03-06 2017-06-20 吉林省盛创科技有限公司 一种基于神经网络的机器自学习构建知识图谱训练方法
CN107391906A (zh) * 2017-06-19 2017-11-24 华南理工大学 基于神经网络和图谱结构的健康饮食知识网络构建方法
CN107463786A (zh) * 2017-08-17 2017-12-12 王卫鹏 基于结构化报告模板的医学影像知识库建立方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔洁: ""基于EMR的乳腺肿瘤知识图谱构建研究"", 《计算机应用与软件》 *

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272044A (zh) * 2018-09-19 2019-01-25 郑州云海信息技术有限公司 一种图像相似度确定方法、装置、设备及存储介质
CN109242865A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 基于多图谱的医学图像自动分区系统、方法、装置及存储介质
US11227390B2 (en) 2018-09-26 2022-01-18 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image processing
CN109685765A (zh) * 2018-11-21 2019-04-26 浙江大学山东工业技术研究院 一种基于卷积神经网络的x光片肺炎结果预测装置
CN111209407B (zh) * 2018-11-21 2023-06-16 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
CN111209407A (zh) * 2018-11-21 2020-05-29 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
CN109685765B (zh) * 2018-11-21 2023-03-14 浙江大学山东工业技术研究院 一种基于卷积神经网络的x光片肺炎结果预测装置
CN111382275A (zh) * 2018-12-28 2020-07-07 医渡云（北京）技术有限公司 医疗知识图谱的构建方法、装置、介质及电子设备
CN109814551A (zh) * 2019-01-04 2019-05-28 丰疆智慧农业股份有限公司 谷物处理自动驾驶系统、自动驾驶方法以及自动识别方法
CN110033019A (zh) * 2019-03-06 2019-07-19 腾讯科技（深圳）有限公司 人体部位的异常检测方法、装置和存储介质
CN110033019B (zh) * 2019-03-06 2021-07-27 腾讯科技（深圳）有限公司 人体部位的异常检测方法、装置和存储介质
CN109960810B (zh) * 2019-03-28 2020-05-19 科大讯飞(苏州)科技有限公司 一种实体对齐方法及装置
CN109960810A (zh) * 2019-03-28 2019-07-02 科大讯飞(苏州)科技有限公司 一种实体对齐方法及装置
CN109960722A (zh) * 2019-03-31 2019-07-02 联想(北京)有限公司 一种信息处理方法及装置
CN110134965B (zh) * 2019-05-21 2023-08-18 北京百度网讯科技有限公司 用于信息处理的方法、装置、设备和计算机可读存储介质
CN110134965A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 用于信息处理的方法、装置、设备和计算机可读存储介质
CN110245242A (zh) * 2019-06-20 2019-09-17 北京百度网讯科技有限公司 医学知识图谱构建方法、装置以及终端
CN110222201A (zh) * 2019-06-26 2019-09-10 中国医学科学院医学信息研究所 一种专病知识图谱构建方法及装置
CN110222201B (zh) * 2019-06-26 2021-04-27 中国医学科学院医学信息研究所 一种专病知识图谱构建方法及装置
CN110457486A (zh) * 2019-07-05 2019-11-15 中国人民解放军战略支援部队信息工程大学 基于知识图谱的人物实体对齐方法及装置
CN110349652A (zh) * 2019-07-12 2019-10-18 之江实验室 一种融合结构化影像数据的医疗数据分析系统
CN110349652B (zh) * 2019-07-12 2022-02-22 之江实验室 一种融合结构化影像数据的医疗数据分析系统
CN110457502A (zh) * 2019-08-21 2019-11-15 京东方科技集团股份有限公司 构建知识图谱方法、人机交互方法、电子设备及存储介质
TWI717817B (zh) * 2019-08-29 2021-02-01 宏碁股份有限公司 預測模型遷移方法與預測模型遷移裝置
CN112530548A (zh) * 2019-09-19 2021-03-19 沐恩生医光电股份有限公司 一种医疗影像辨识的方法与系统
CN110837572A (zh) * 2019-11-15 2020-02-25 北京推想科技有限公司 图像检索方法、装置、可读存储介质及电子设备
CN110837572B (zh) * 2019-11-15 2020-10-13 北京推想科技有限公司 图像检索方法、装置、可读存储介质及电子设备
CN110910991A (zh) * 2019-11-21 2020-03-24 张军 一种医用自动图像处理系统
CN111223076B (zh) * 2019-12-30 2023-12-15 北京深睿博联科技有限责任公司 神经系统影像分析方法和装置
CN111223076A (zh) * 2019-12-30 2020-06-02 北京深睿博联科技有限责任公司 神经系统影像分析方法和装置
CN111476775B (zh) * 2020-04-07 2021-11-16 广州柏视医疗科技有限公司 Dr征象识别装置和方法
CN111476775A (zh) * 2020-04-07 2020-07-31 广州柏视医疗科技有限公司 Dr征象识别装置和方法
CN111563192A (zh) * 2020-04-28 2020-08-21 腾讯科技（深圳）有限公司 实体对齐方法、装置、电子设备及存储介质
CN111626196B (zh) * 2020-05-27 2023-05-16 西南石油大学 基于知识图谱的典型牛科动物身体结构智能分析方法
CN111626196A (zh) * 2020-05-27 2020-09-04 成都颜禾曦科技有限公司 基于知识图谱的典型牛科动物身体结构智能分析方法
CN111743574B (zh) * 2020-07-12 2023-04-07 西北工业大学 乳腺癌超声影像高置信实体关系的知识图谱构建方法
CN111743574A (zh) * 2020-07-12 2020-10-09 西北工业大学 乳腺癌超声影像高置信实体关系的知识图谱构建方法
CN111951952A (zh) * 2020-07-17 2020-11-17 北京欧应信息技术有限公司 一种基于医疗影像信息自动诊断骨科疾病的装置
CN111949801B (zh) * 2020-07-27 2023-10-24 西北工业大学 医生经验知识与超声影像信息的知识图谱融合方法
CN111949801A (zh) * 2020-07-27 2020-11-17 西北工业大学 医生经验知识与超声影像信息的知识图谱融合方法
CN112015909B (zh) * 2020-08-19 2024-04-30 普洛斯科技(重庆)有限公司 知识图谱的构建方法及装置、电子设备、存储介质
CN112015909A (zh) * 2020-08-19 2020-12-01 普洛斯科技(重庆)有限公司 知识图谱的构建方法及装置、电子设备、存储介质
CN112101034A (zh) * 2020-09-09 2020-12-18 沈阳东软智能医疗科技研究院有限公司 一种判别医学实体的属性的方法、装置及相关产品
CN112101034B (zh) * 2020-09-09 2024-02-27 沈阳东软智能医疗科技研究院有限公司 一种判别医学实体的属性的方法、装置及相关产品
CN112349369A (zh) * 2020-11-27 2021-02-09 广州瀚信通信科技股份有限公司 医疗影像大数据智能分析方法、系统及存储介质
CN112992317A (zh) * 2021-05-10 2021-06-18 明品云(北京)数据科技有限公司 一种医学数据处理方法、系统、设备及介质
CN114611568A (zh) * 2022-01-18 2022-06-10 北京邮电大学 医学影像诊疗产品的跨设备泛化性的检测方法及相关设备
CN114238526B (zh) * 2022-02-23 2022-06-07 浙江大华技术股份有限公司 图像聚档方法、电子设备及存储介质
CN114238526A (zh) * 2022-02-23 2022-03-25 浙江大华技术股份有限公司 图像聚档方法、电子设备及存储介质
CN115588504A (zh) * 2022-10-28 2023-01-10 大连大学附属中山医院 一种基于分子影像成像技术的监测管理系统

Also Published As

Publication number Publication date
CN108389614B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN108389614A (zh) 基于图像分割与卷积神经网络构建医学影像图谱的方法
Heidari et al. The COVID-19 epidemic analysis and diagnosis using deep learning: A systematic literature review and future directions
CN111488474B (zh) 基于增强注意力的细粒度手绘草图图像检索方法
CN110297908A (zh) 诊疗方案预测方法及装置
WO2016192612A1 (zh) 基于深度学习对医疗数据进行分析的方法及其智能分析仪
Madhavan et al. Res-CovNet: an internet of medical health things driven COVID-19 framework using transfer learning
CN107194158A (zh) 一种基于图像识别的疾病辅助诊断方法
Li et al. A generalized framework of feature learning enhanced convolutional neural network for pathology-image-oriented cancer diagnosis
WO2021203865A1 (zh) 分子结合位点检测方法、装置、电子设备及存储介质
Ji et al. Graph model-based salient object detection using objectness and multiple saliency cues
WO2020224433A1 (zh) 基于机器学习的目标对象属性预测方法及相关设备
CN106909938A (zh) 基于深度学习网络的视角无关性行为识别方法
CN116364299B (zh) 一种基于异构信息网络的疾病诊疗路径聚类方法及系统
CN113571184B (zh) 一种用于精神健康测评的对话交互设计方法及系统
Mahajan Applications of pattern recognition algorithm in health and medicine
CN109671055A (zh) 肺结节检测方法及装置
CN113380360B (zh) 一种基于多模态病历图的相似病历检索方法及系统
Ye et al. Multi-level composite neural networks for medical question answer matching
Li et al. Diagnosis of heart failure from imbalance datasets using multi-level classification
Liao et al. Convolutional herbal prescription building method from multi-scale facial features
Almadhoun et al. Automated recognition of urinary microscopic solid particles
CN110010251B (zh) 一种中药社团信息生成方法、系统、装置和存储介质
Feng et al. Trusted multi-scale classification framework for whole slide image
CN116959733A (zh) 医疗数据的分析方法、装置、设备及存储介质
Yadav Cluster based-image descriptors and fractional hybrid optimization for medical image retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant