CN115938563A - 一种基于跨模态语义哈希的医疗诊断方法和装置 - Google Patents

一种基于跨模态语义哈希的医疗诊断方法和装置 Download PDF

Info

Publication number
CN115938563A
CN115938563A CN202211362576.3A CN202211362576A CN115938563A CN 115938563 A CN115938563 A CN 115938563A CN 202211362576 A CN202211362576 A CN 202211362576A CN 115938563 A CN115938563 A CN 115938563A
Authority
CN
China
Prior art keywords
hash
semantic
cross
data
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211362576.3A
Other languages
English (en)
Inventor
尤新革
彭勤牧
史玉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202211362576.3A priority Critical patent/CN115938563A/zh
Publication of CN115938563A publication Critical patent/CN115938563A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明属于计算机辅助疾病诊疗技术领域，公开一种基于跨模态语义哈希检索的医疗诊断方法及装置，包括：利用人工神经网络对类别标注信息进行哈希编码以组成语义相似性保持分类器；利用语义相似性保持分类器指导多个模态的人工神经网络编码器的训练过程；利用完成训练的编码器对不同模态医疗数据进行哈希编码；通过跨模态语义哈希检索来完成医疗诊断。本发明在医疗诊断中有以下几点优势：具有较低的存储与计算资源消耗；具有很好的语义表征能力，即样本的哈希编码可同时表示样本的类间语义关系并保持类内相互聚集；可以同时处理基于单模态医疗数据与基于多模态医疗数据的医疗诊断任务。

Description

一种基于跨模态语义哈希的医疗诊断方法和装置
技术领域
本发明属于计算机辅助疾病诊疗技术领域，尤其涉及一种基于跨模态语义哈希的医疗诊断方法和装置。
背景技术
计算机辅助疾病诊断致力于通过计算机对医疗数据的处理从而自动地给出医疗数据所具有的疾病类型。目前已有的计算机辅助诊断技术可以分为基于分类器的计算机辅助疾病诊断系统与基于图像检索的计算机辅助疾病诊断系统。虽然这两类方法极大地促进了计算机辅助疾病诊断系统的发展，但现有系统忽略了当前医学数据模态多样的特点。例如，论文(Graph temporal ensembling based semi-supervised convolutional neuralnetwork with noisy labels for histopathology image analysis，Medical ImageAnalysis(2020))和论文(Multi-label transfer learning for the early diagnosisof breast cancer，Neurocomputing(2020))。为此，本发明使用跨模态语义哈希方法来搭建一种基于跨模态语义哈希的计算机辅助疾病诊断系统。
使用跨模态语义哈希方法来搭建计算机辅助疾病诊断系统的主要难点在于疾病语义难以编码且部分模态的医疗数据缺失。这两个因素使得当前跨模态语义哈希方法在当前计算机辅助疾病诊断的应用中存在以下问题：现有方法一般针对实例之间的相似性关系进行编码，无法同时处理疾病类别之间的语义关系与疾病类内的聚集关系；现有方法一般需要挖掘数据的模态间联系，无法处理部分模态的医疗数据缺失时的情况。因此，现有跨模态语义哈希方法不能直接用来搭建计算机辅助疾病诊断系统。例如，论文(Triplet-baseddeep hashing network for cross-modal retrieval，IEEE Transactions on ImageProcessing，2018)和论文(Multi-task consistency-preserving adversarial hashingfor cross-modal retrieval，IEEE Transactions on Image Processing，2020)。
为此，本发明通过利用人工神经网络对类别标注信息进行哈希编码以组成语义相似保持分类器的方式，以跨模态语义哈希方法在搭建计算机辅助疾病诊断系统的过程中疾病语义难以编码且部分模态的医疗数据缺失的问题。同时，通过本发明得到的哈希编码在检索过程中具有较低的存储与计算资源消耗等优势(在Windows 10 64位操作系统上1千万个位长为128比特的哈希编码只需占用160MB的存储空间，且对位长为128比特的哈希编码计算1千万次汉明距离仅需约20秒)，从而满足实际应用的需求。
通过上述分析，现有技术存在的问题及缺陷为：
(1)目前已有的计算机辅助诊断技术可以分为基于分类器的计算机辅助疾病诊断系统与基于图像检索的计算机辅助疾病诊断系统忽略了当前医学数据模态多样的特点。
(2)目前还没有使用跨模态语义哈希方法来搭建一种基于跨模态语义哈希的计算机辅助疾病诊断系统。
(3)使用跨模态语义哈希方法来搭建计算机辅助疾病诊断系统存在疾病语义难以编码、部分模态的医疗数据缺失的问题。
发明内容
针对现有技术存在的问题，本发明提供了一种基于跨模态语义哈希的医疗诊断方法和装置。
本发明是这样实现的，一种基于跨模态语义哈希的医疗诊断方法包括：
步骤一，使用人工神经网络对类别标注信息进行哈希编码组成语义相似性保持分类器；
步骤二，利用所述语义相似性保持分类器指导作为X光照片编码器的VGG-16网络与体检报告对应的全连接神经网络编码器训练；
步骤三，利用完成训练的模态编码器对X光照片与体检报告进行哈希编码；
步骤四，通过跨模态语义哈希检索来完成医疗诊断。
进一步，所述跨模态语义哈希的医疗诊断方法还包括对输入的X光照片、体检报告进行预处理，构建类别标注信息。
进一步，所述预处理包括，调整X光照片的大小与通道为224×224×3并减去均值。
进一步，所述预处理还包括，利用词袋模型提取体检报告的词袋模型向量，并对诊断结果进行0，1向量化表示，组成类别标签。
进一步，所述编码器训练包括学习语义相似性保持分类器以及基于语义相似性保持分类器的编码器训练。
进一步，所述学习语义相似性保持分类器的过程包括：
利用labNet对N3个类别标签yl进行哈希编码，采用目标函数对labNet进行优化，公式如下所示：
其中，表示语义关系，用于约束labNet网络的输出接近二值化，S是人工标注的数据相似关系矩阵，α为超参数，fy(θy；yl)是yl经labNet处理后的输出，是fy(θy；yl)经sign(·)函数处理后得到的哈希编码，α哈希编码矩阵W作为语义相似性保持分类器。
所述labNet网络为基于类别标签，搭建节点数分别为类别标签长度，4096与编码位长c的三层全连接人工神经网络。
进一步，所述编码器训练是基于所述语义相似性保持分类器利用目标函数Ln对imgNet网络、txtNet网络中参数θ1与θ2进行优化，公式如下：
其中，为球状分类损失函数，二值化损失函数，是归一化向量，wl是与类别标签对应的哈希编码，β，m与k是超参数。
进一步，所述编码器为处理X光照片的imgNet人工神经网络与处理体检报告的txtNet人工神经网络；
imgNet网络为基于X光照片，将原始的VGG-16深度神经网络的最后一层全连接层改为编码位长c的全连接层形成；
所述txtNet网络为基于体检报告，搭建节点数分别为报告特征维度d2，4096与编码位长c的三层全连接人工神经网络。
进一步，所述步骤三中哈希编码过程为：
首先，利用imgNet网络获取N1张X光照片的近似二值化编码利用txtNet网络获取N2份体检报告的近似二值化编码
然后，使用对与进行处理获取由{0，1}c组成的离散哈希编码与
最后，依照待诊断医疗数据的类型，提取相应的哈希编码。
进一步，所述跨模态语义哈希检索过程为：
计算待诊断医疗数据对应的哈希编码和与之不同模态的X光照片和体检报告的哈希编码之间的汉明距离；
依据汉明距离的远近，找出距离待诊断医疗数据最近的医疗数据库中数据，并使用该数据本身已有的类别标签作为待诊断医疗数据的诊断结果给出。
本发明的另一目的在于提供一种基于跨模态语义哈希的医疗诊断装置，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的至少两个存储器；其中，所述存储器中一个存储有可被所述至少一个处理器执行的指令，所述指令被程序设置为执行上述基于跨模态语义哈希的医疗诊断方法对另外一个存储器中存储的医疗数据进行处理。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述一种基于跨模态语义哈希的医疗诊断方法的步骤。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
本发明具有较低的存储与计算资源消耗。相比于将数据表示为浮点型向量，本发明通过将医疗数据表示为离散二值化哈希编码的方式，降低了数据检索过程中的存储与计算资源的消耗。具体而言，在Windows 10 64位操作系统上，1千万个位长为128比特的哈希编码只需占用160MB的存储空间，且对位长为128比特的哈希编码计算1千万次汉明距离仅需约20秒。
本发明具有很好的语义表征能力。本发明首先构建了可以体现疾病类间关系的语义相似性保持分类器，并将不同模态医疗数据的哈希编码当作易于被该分类器分类的特征。一方面，数据的哈希编码继承了语义相似性保持分类器中类别编码之间的语义相似性关系。另一方面，由于分类过程对相同类别样本相互聚集的约束，数据的哈希编码亦可以进行类内聚集。
本发明可以同时处理基于单模态医疗数据与基于多模态医疗数据的医疗诊断任务。由于本发明方法将每个模态编码器的训练过程当成一个无其他模态信息参与的分类任务，从而避免部分医疗数据模态缺失的影响。当处理对象为单模态医疗数据时，可以将这些数据视为其他数据模态缺失的数据，从而使用本发明方法直接处理即可。当处理对象为多模态医疗数据时，将不同模态的医疗数据分别依照本发明方法处理即可。
作为本发明的权利要求的创造性辅助证据，还体现在本发明的技术方案转化后的商业价值：(1)本发明所公开的一种基于跨模态语义哈希检索的医疗诊断方法及装置，可以直接基于档案中具有相应诊断结果的X光照片与体检报告进行医疗诊断，节省雇用专业医师的人工成本。(2)本发明所设计的跨模态语义哈希算法可以处理医疗数据部分模态缺失的问题，无须X光照片与体检报告成对出现，通过降低对数据质量的要求，节省数据获取成本。
本发明得到的哈希编码在检索过程中具有较低的存储与计算资源消耗等优势。以在Windows 10 64位操作系统上1千万个位长为128比特的哈希编码为例，其存储空间只需160MB，计算1千万次对应的汉明距离仅需约20秒。同时，在同等硬件条件下的Windows 1064位操作系统上1千万个长度为128维的浮点型向量，其存储空间需要20GB，计算1千万次对应的欧式距离则需要约1.5小时。通过对比发现，经本发明所设计的跨模态语义哈希算法得到的哈希编码，可以显著降低对存储与计算硬件的要求，节省硬件设备购买成本。本发明的技术方案转化后的预期收益和商业价值为：
本发明得到的哈希编码在检索过程中具有较低的存储与计算资源消耗等优势(在Windows 10 64位操作系统上1千万个位长为128比特的哈希编码只需占用160MB的存储空间，且对位长为128比特的哈希编码计算1千万次汉明距离仅需约20秒)，从而满足实际应用的需求。
本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：用跨模态语义哈希方法来搭建计算机辅助疾病诊断系统的主要难点在于疾病语义难以编码且部分模态的医疗数据缺失，本发明通过利用人工神经网络对类别标注信息进行哈希编码以组成语义相似性保持分类器的方式，以跨模态语义哈希方法在搭建计算机辅助疾病诊断系统的过程中疾病语义难以编码且部分模态的医疗数据缺失的问题。本发明使用跨模态语义哈希方法搭建一种基于跨模态语义哈希的计算机辅助疾病诊断系统，解决了跨模态语义哈希方法在搭建存在的计算机辅助疾病诊断系统疾病语义难以编码且部分模态的医疗数据缺失的问题。
附图说明
图1是本发明实施例提供的基于跨模态语义哈希的医疗诊断方法的流程示意图；
图2是本发明实施例提供的基于跨模态语义哈希的医疗诊断方法的模型结构图；
图3是本发明实施例提供的使用与待诊断数据不同模态医疗数据库进行诊断的可视化示意图；
图4是本发明实施例提供的使用与待诊断数据相同模态医疗数据库进行诊断的可视化示意图；
图5是本发明实施例提供的基于跨模态语义哈希的医疗诊断装置的结构示意图；
图6是本发明实施例提供的对比方法对应的PR曲线图；
图7是本发明实施例提供的相关对比方法对应的PR曲线图；
图8是本发明实施例提供的本发明与相关对比方法对应的PR曲线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示，本发明实施例通过四个步骤构建基于跨模态语义哈希的医疗诊断方法。具体的模型结构图如图2所示，包括：
步骤一，使用人工神经网络对类别标注信息进行哈希编码组成语义相似性保持分类器；
步骤二，利用所述语义相似性保持分类器指导多个模态的人工神经网络编码器训练；
步骤三，利用完成训练的模态编码器对不同模态医疗数据进行哈希编码；
步骤四，通过跨模态语义哈希检索来完成医疗诊断。
进一步，所述跨模态语义哈希的医疗诊断方法还包括对输入的X光照片、体检报告进行预处理，构建类别标注信息。
本发明实施例中，所述数据预处理将N1张X光照片的大小与通道数调整为224×224×3，并减去其均值
本发明实施例中，所述数据预处理对N2份体检报告X2使用词袋模型提取每一份体检报告的词袋模型向量其中的维度为d2。
本发明实施例中，所述数据预处理将已有相应诊断结果的数X光照片和体检报告的诊断结果进行0，1向量化表示，组成类别标签其中N3为类别标签个数。
本发明实施例中，所述编码器训练包括两个部分：学习语义相似性保持分类器与语义相似性保持分类器指导下的编码器训练。
所述编码器是指处理X光照片的imgNet人工神经网络与处理体检报告的txtNet人工神经网络。
所述语义相似性保持分类器是通过人工神经网络对无重复的类别标签向量进行语义关系维护编码，从而使用对应的哈希编码矩阵建立的。
本发明的一个实施例中，所述语义相似性保持分类器指导下的编码器训练是指将每个编码器的训练过程当成一个无其他模态信息参与的分类任务，从而使用分类损失加强疾病类内的聚集程度并避免部分医疗数据模态缺失的影响。
本发明实施例中，所述数据编码是指使用训练完毕的imgNet网络对X光照片数据库中的X光照片与待进行病种诊断的X光照片进行编码，使用训练完毕的txtNet网络对体检报告数据库中的体检报告与待进行病种诊断的体检报告进行编码。
本发明实施例中，所述跨模态语义哈希检索是计算待诊断医疗数据对应的哈希编码和与之不同模态的医疗数据库中数据对应的哈希编码之间的汉明距离，并依据汉明距离地远近找出距离待诊断医疗数据最近的医疗数据库中数据，最终使用该数据本身已有的类别标签作为待诊断医疗数据的诊断结果给出。
本发明实施例中，所述编码器训练包括两个部分：学习语义相似性保持分类器与语义相似性保持分类器指导下的编码器训练。
为了获取语义相似性保持分类器，首先使用labNet对类别标签yl进行哈希编码。labNet是节点数分别为d3，4096与编码位长c的三层全连接人工神经网络。为了使得类别标签的哈希编码可以体现疾病类别之间的语义关系，本发明实施例采取如下目标函数对labNet进行优化：
其中fy(θy；yl)是yl经labNet处理后的输出，wl是fy(θy，yl)经sign(·)函数处理后得到的哈希编码，α是度量不同项目的超参数。
该目标函数的第一项使得类别标签的哈希编码可以体现疾病类别之间的语义关系。该目标函数的第二项是约束labNet网络的输出接近二值化，以满足哈希编码离散的性质。
当labNet网络完成训练后，使用该网络与sign(·)函数对无重复的类别标签向量进行处理以获取对应的哈希编码之后，将该哈希编码矩阵W作为语义相似性保持分类器。
当语义相似性保持分类器构建完成后，将每个模态编码器的训练过程当成一个无其他模态信息参与的分类任务，从而使用分类损失加强疾病类内的聚集程度并避免部分医疗数据模态缺失的影响。
对于X光照片，将原始的VGG-16深度神经网络的最后一层全连接层改为编码位长c的全连接层形成imgNet。对于体检报告，搭建节点数分别为d2，4096与编码位长c的三层全连接人工神经网络txtNet。
当网络构建完成后，在语义相似性保持分类器的指导下，采取如下目标函数分别对imgNet与txtNet中的网络参数θ1和θ2进行优化：
其中是归一化向量， k∈[0，m-1]，wl是与类别标签对应的哈希编码，β，m与k是超参数。该目标函数的第一项是球状分类损失函数，该函数可以约束相同类别样本的哈希编码进行聚集。该目标函数的第二项是二值化损失函数，该损失函数致力于使编码器的输出接近二值化，以满足哈希编码离散的性质。
本发明实施例中，所述数据编码是使用训练完毕的imgNet网络对X光照片数据库中的X光照片进行处理获取其对应的近似二值化编码并使用训练完毕的txtNet网络对体检报告数据库中的体检报告进行处理获取其对应的近似二值化编码为了获取由{0，1}c组成的离散哈希编码与使用对与进行处理。
依照待诊断医疗数据的类型，提取相应的哈希编码。对于待进行病种诊断的X光照片依照处理X光照片数据库中的X光照片的流程获取其对应的离散哈希编码对于待进行病种诊断的体检报告依照处理体检报告数据库中的体检报告的流程获取其对应的离散哈希编码
本发明实施例中，所述跨模态语义哈希检索的过程为：
在获取到X光照片数据库与体检报告数据库中数据对应的离散哈希编码与以及待诊断医疗数据对应的哈希编码或后，计算待诊断医疗数据对应的哈希编码和与之不同模态的医疗数据库中数据对应的哈希编码之间的汉明距离。依据汉明距离的远近，找出距离待诊断医疗数据最近的医疗数据库中数据，并使用该数据本身已有的类别标签作为待诊断医疗数据的诊断结果给出。
为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
实施例1
通过使用本发明基于跨模态语义哈希的医疗诊断方法，可使用与待诊断数据不同模态的医疗数据，对X光照片或体检报告进行疾病类型诊断。当待诊断数据为X光照片而数据库中数据为体检报告时，如图3所示，本发明通过找出距离待诊断X光照片最近的医疗数据库中体检报告数据，并使用该数据本身已有的类别标签作为待诊断医疗数据的诊断结果给出；当待诊断数据为体检报告而数据库中数据为X光照片时，如图3所示，本发明通过找出距离待诊断体检报告最近的医疗数据库中X光照片数据，并使用该数据本身已有的类别标签作为待诊断医疗数据的诊断结果给出。
实施例2
通过使用本发明基于跨模态语义哈希的医疗诊断方法，可使用与待诊断数据相同模态的医疗数据，对X光照片进行疾病类型诊断。当待诊断数据为X光照片而数据库中数据亦为X光照片时，如图4所示，本发明通过找出距离待诊断X光照片最近的医疗数据库中体检报告数据，并使用该数据本身已有的类别标签作为待诊断医疗数据的诊断结果给出。
实施例3
进一步地，如图5所示，是本发明实施例中基于跨模态语义哈希的医疗诊断装置的架构示意图。本实施例的基于跨模态语义哈希的医疗诊断装置包括一个或多个处理器以及至少两个存储器。其中，图5中以一个处理器和两个存储器为例。
处理器1，存储器1和存储器2可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器1和存储器2作为一种非易失性计算机可读存储介质，可用于存储易失性软件程序和非易失性计算机可执行程序，如实施例1中的基于跨模态语义哈希的医疗诊断的方法和医疗数据及其对应的哈希编码。处理器1通过运行存储在存储器1中的非易失性软件程序和指令对存储器2中医疗数据库中数据进行处理，从而执行跨模态语义哈希的医疗诊断的方法并将医疗数据库中数据所对应的哈希编码存储于存储器2中。
存储器1和存储器2可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器2可选包括相对于处理器1和存储器1的远程设置的存储器，这些远程存储器可以通过网络连接至处理器1和存储器1。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器1中，当被所述一个或者多个处理器1执行时，执行上述实施例1中的基于跨模态语义哈希的医疗诊断装置的方法以对存储器2中医疗数据库中数据进行编码并对待诊断数据进行诊断，例如，执行以上描述的图1或图2所示的各个步骤。
本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合实验过程的数据、图表等进行描述。
为评估本发明给出的医疗诊断准确性，在公开医疗诊断基准数据集MIMIC-CXR上使用平均精度均值Mean Average Precision(MAP)与精确率－召回率Precision-Recall(PR)曲线进行评估。MAP作为评价算法准确度的常用指标之一，其值越高则越说明医疗诊断的准确性越高。对于PR曲线，算法对应的曲线位置越高则说明该算法的医疗诊断的准确性越高。其中MIMIC-CXR数据集包含377110张胸部X光照片及其对应的体检报告，涵盖了14种常见肺部疾病。将哈希编码长度设置为16，32，64，128位，并使用DDH指代本发明，X指代X光照片数据所属模态，R指代体检报告数据所属模态。
为评估本发明在待诊断数据与数据库中数据属于不同模态时的医疗诊断效果，将本发明DDH与9种代表性跨模态语义哈希方法进行比较。该9种对比方法包括：论文(Equally-guided discriminative hashing for cross-modal retrieval,Proceedingsof the 28th International Joint Conference on Artificial Intelligence(2019))所提出的EGDH方法，论文(Self-supervised adversarial hashing networks for cross-modal retrieval,Proceedings of the IEEE conference on computer vision andpattern recognition(2018))所提出的SSAH方法，论文(Deep cross-modal hashing,Proceedings of the IEEE conference on computer vision and pattern recognition(2017))所提出的DCMH方法，论文(Cross-view retrieval via probability-basedsemantics-preserving hashing,IEEE transactions on cybernetics(2016))所提出的SePH方法，论文(Large-scale cross-modality search via collective matrixfactorization hashing,IEEE Transactions on Image Processing(2016))所提出的CMFH方法，论文(Semantic topic multimodal hashing for crossmedia retrieval,Twenty-Fourth International Joint Conference on Artificial Intelligence(2015))所提出的STMH方法，论文(Large-scale supervised multimodal hashing withsemantic correlation maximization,Twenty-Eighth AAAI Conference on ArtificialIntelligence(2014))所提出的SCM方法，论文(Data fusion through cross-modalitymetric learning using similarity-sensitive hashing,Twenty-Eighth IEEEcomputer society conference on computer vision and pattern recognition(2010))所提出的CMSSH方法与论文(Relations between two sets of variates,Biometrika(1936))所提出的CCA方法。
表1当待诊断数据与数据库中数据属于不同模态时的诊断效果对应MAP
根据表1的MAP测试结果，当待诊断数据为X光照片而数据库中数据为体检报告时，本发明方法相较于EGDH方法，在MAP上提升了2.42％；当待诊断数据为体检报告而数据库中数据为X光照片时，本发明方法相较于EGDH方法，在MAP上提升了1.81％。
当待诊断数据为X光照片而数据库中数据为体检报告时，在图6中绘制本发明与相关对比方法对应的PR曲线图。根据图6的PR曲线结果，本发明在待诊断数据为X光照片而数据库中数据为体检报告时的诊断效果优于其他方法。
当待诊断数据为体检报告而数据库中数据为X光照片时，在图7中绘制本发明与相关对比方法对应的PR曲线图。根据图7的PR曲线结果，本发明在当待诊断数据为体检报告而数据库中数据为X光照片时的诊断效果优于其他方法。
为评估本发明在待诊断数据与数据库中数据属于相同模态时的医疗诊断效果，将本发明DDH与6种代表性单模态语义哈希方法进行比较。该6种对比方法包括：论文(Hashnet:Deep learning to hash by continuation,Proceedings of the IEEEinternational conference on computer vision(2017))所提出的HashNet方法，论文(Deep supervised discrete hashing,Advances in neural information processingsystems(2017))所提出的DSDH方法，论文(Deep hashing network for efficientsimilarity retrieval,Thirtieth AAAI Conference on Artificial Intelligence(2016))所提出的DHN方法，论文(Feature learning based deep supervised hashingwith pairwise labels,Twenty-Fifth International Joint Conference onArtificial Intelligence(2016))所提出的DPSH方法，论文(Iterative quantization:Aprocrustean approach to learning binary codes for large-scale imageretrieval,IEEE transactions on pattern analysis and machine intelligence(2012))所提出的ITQ方法以及论文(Spectral hashing,Advances in neuralinformation processing systems(2015))所提出的SH方法。
表2当待诊断数据与数据库中数据属于相同模态时的诊断效果对应MAP
根据表2的MAP测试结果，当待诊断数据为X光照片而数据库中数据亦为X光照片时，本发明方法相较于HashNet方法，在MAP上提升了2.15％。
当待诊断数据为X光照片而数据库中数据为X光照片时，在图8中绘制本发明与相关对比方法对应的PR曲线图。根据图8的PR曲线结果，本发明在当待诊断数据为X光照片而数据库中数据为X光照片时的诊断效果优于其他方法。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体，或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所做的做的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于跨模态语义哈希的医疗诊断方法，其特征在于，所述跨模态语义哈希的医疗诊断方法包括：
步骤一，使用人工神经网络对类别标注信息进行哈希编码组成语义相似性保持分类器；
步骤二，利用所述语义相似性保持分类器指导多个模态的人工神经网络编码器训练；
步骤三，利用完成训练的模态编码器对不同模态医疗数据进行哈希编码；
步骤四，通过跨模态语义哈希检索来完成医疗诊断。
2.如权利要求1所述的基于跨模态语义哈希的医疗诊断方法，其特征在于，所述跨模态语义哈希的医疗诊断方法还包括对输入的X光照片、体检报告进行预处理，构建类别标注信息。
3.如权利要求2所述的基于跨模态语义哈希的医疗诊断方法，其特征在于，所述预处理包括，调整X光照片的大小与通道为224×224×3并减去均值。
4.如权利要求2所述的基于跨模态语义哈希的医疗诊断方法，其特征在于，所述预处理还包括，利用词袋模型提取体检报告的词袋模型向量，并对诊断结果进行0，1向量化表示，组成类别标签。
5.如权利要求1所述的基于跨模态语义哈希的医疗诊断方法，其特征在于，所述编码器训练包括学习语义相似性保持分类器以及基于语义相似性保持分类器的编码器训练。
6.如权利要求5所述的基于跨模态语义哈希的医疗诊断方法，其特征在于，所述学习语义相似性保持分类器的过程包括：
利用labNet对类别标签yl进行哈希编码，采用目标函数对labNet进行优化，公式如下所示：
其中，表示语义关系，用于约束labNet网络的输出接近二值化，fy(θy；yl)是yl经labNet处理后的输出，是fy(θy；yl)经sign(·)函数处理后得到的哈希编码，α为超参数，哈希编码矩阵W作为语义相似性保持分类器。
7.如权利要求5所述的基于跨模态语义哈希的医疗诊断方法，其特征在于，所述编码器训练是基于所述语义相似性保持分类器利用目标函数Ln对imgNet网络、txtNet网络中参数θ1与θ2进行优化，公式如下：
其中，为球状分类损失函数，二值化损失函数，是归一化向量，wl是与类别标签对应的哈希编码，β是超参数；
所述编码器为处理X光照片的imgNet人工神经网络与处理体检报告的txtNet人工神经网络；
所述imgNet网络是将原始的VGG-16深度神经网络的最后一层全连接层改为编码位长c的全连接层形成；
所述txtNet网络为搭建节点数分别为d2，4096与编码位长c的三层全连接人工神经网络。
8.如权利要求1所述的基于跨模态语义哈希的医疗诊断方法，其特征在于，所述步骤三中哈希编码过程为：
首先，利用imgNet网络获取X光照片的近似二值化编码利用txtNet网络获取体检报告的近似二值化编码
然后，使用对与进行处理获取由{0，1}c组成的离散哈希编码与
最后，依照待诊断医疗数据的类型，提取相应的哈希编码。
9.如权利要求1所述的基于跨模态语义哈希的医疗诊断方法，其特征在于，所述跨模态语义哈希检索过程为：
计算待诊断医疗数据对应的哈希编码和与之不同模态的X光照片和体检报告的哈希编码之间的汉明距离；
依据汉明距离的远近，找出距离待诊断医疗数据最近的医疗数据库中数据，并使用该数据本身已有的类别标签作为待诊断医疗数据的诊断结果给出。
10.一种基于跨模态语义哈希的医疗诊断装置，其特征在于，所述装置包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被程序设置为执行权利要求1-8任一所述的基于跨模态语义哈希的医疗诊断方法。
CN202211362576.3A 2022-11-02 2022-11-02 一种基于跨模态语义哈希的医疗诊断方法和装置 Pending CN115938563A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211362576.3A CN115938563A (zh) 2022-11-02 2022-11-02 一种基于跨模态语义哈希的医疗诊断方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211362576.3A CN115938563A (zh) 2022-11-02 2022-11-02 一种基于跨模态语义哈希的医疗诊断方法和装置

Publications (1)

Publication Number Publication Date
CN115938563A true CN115938563A (zh) 2023-04-07

Family

ID=86699757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211362576.3A Pending CN115938563A (zh) 2022-11-02 2022-11-02 一种基于跨模态语义哈希的医疗诊断方法和装置

Country Status (1)

Country Link
CN (1) CN115938563A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112829A (zh) * 2023-10-24 2023-11-24 吉林大学 医疗数据跨模态检索方法、装置和相关设备
CN117995338A (zh) * 2024-04-03 2024-05-07 中国科学院合肥物质科学研究院 一种基于语义分析的体检数据处理方法及系统
CN118097193A (zh) * 2024-04-23 2024-05-28 苏州大学 基于图卷积的哈希编码图像匹配方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112829A (zh) * 2023-10-24 2023-11-24 吉林大学 医疗数据跨模态检索方法、装置和相关设备
CN117112829B (zh) * 2023-10-24 2024-02-02 吉林大学 医疗数据跨模态检索方法、装置和相关设备
CN117995338A (zh) * 2024-04-03 2024-05-07 中国科学院合肥物质科学研究院 一种基于语义分析的体检数据处理方法及系统
CN118097193A (zh) * 2024-04-23 2024-05-28 苏州大学 基于图卷积的哈希编码图像匹配方法及系统

Similar Documents

Publication Publication Date Title
WO2023077816A1 (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
Gao et al. Holistic classification of CT attenuation patterns for interstitial lung diseases via deep convolutional neural networks
CN115938563A (zh) 一种基于跨模态语义哈希的医疗诊断方法和装置
WO2021155792A1 (zh) 一种处理装置、方法及存储介质
WO2021139191A1 (zh) 数据标注的方法以及数据标注的装置
WO2021189913A1 (zh) 图像中目标物的分割方法、装置、电子设备及存储介质
CN110992338A (zh) 一种原发灶转移辅助诊断系统
Weng et al. Cattle face recognition based on a Two-Branch convolutional neural network
Sahin et al. Detection and classification of COVID-19 by using faster R-CNN and mask R-CNN on CT images
Rajaraman et al. Novel loss functions for ensemble-based medical image classification
CN113421228A (zh) 一种基于参数迁移的甲状腺结节识别模型训练方法及系统
Li et al. Automatic annotation algorithm of medical radiological images using convolutional neural network
Sun et al. 3d segmentation of pulmonary nodules based on multi-view and semi-supervised
CN115908800A (zh) 医学图像分割方法
Zhi et al. Intelligent medical image feature extraction method based on improved deep learning
CN115019133A (zh) 基于自训练和标签抗噪的图像中弱目标的检测方法及系统
Farhangi et al. Automatic lung nodule detection in thoracic CT scans using dilated slice‐wise convolutions
CN116128876B (zh) 一种基于异构域的医学图像分类方法和系统
Wang et al. Image recognition of pediatric pneumonia based on fusion of texture features and depth features
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN114972297A (zh) 口腔健康监测方法及装置
CN113255794A (zh) 一种基于GoogLeNet网络的医学图像分类方法
Lin et al. A meta-fusion RCNN network for endoscopic visual bladder lesions intelligent detection
Li et al. Dairy Cow Individual Identification System Based on Deep Learning
CN112381766B (zh) 一种基于小样本学习的肺部ct影像特征检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination