CN115080782A - 相似病灶的检索和匹配方法与系统 - Google Patents

相似病灶的检索和匹配方法与系统 Download PDF

Info

Publication number
CN115080782A
CN115080782A CN202210664467.0A CN202210664467A CN115080782A CN 115080782 A CN115080782 A CN 115080782A CN 202210664467 A CN202210664467 A CN 202210664467A CN 115080782 A CN115080782 A CN 115080782A
Authority
CN
China
Prior art keywords
focus
patient
information
scanning image
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210664467.0A
Other languages
English (en)
Inventor
林格
周凡
陈小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202210664467.0A priority Critical patent/CN115080782A/zh
Publication of CN115080782A publication Critical patent/CN115080782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种相似病灶的检索和匹配方法与系统。包括：收集患者体检的各种量化指标及过往患者病灶CT图像数据，训练CT扫描图像编码器，训练CT扫描图像解码器，训练辅助信息编码器，对待诊断患者进行CT扫描并输入其信息，得到病灶的CT图像并输入到CT扫描图像编码器中，再将待诊断患者的辅助个人信息输入到辅助信息编码器中，最后结合相关病例及CT扫描图像解码器对病灶情况的具体判断辅助医生对患者进行诊断，最后将诊断结果输入到患者信息管理系统以持续优化检索匹配系统。本发明可持续优化患者信息管理系统，其病灶检索匹配系统综合考虑患者多方面可能影响病灶属性的信息，并将VIT结构引入病灶图像的学习中，有更大潜力学到用户的病灶信息。

Description

相似病灶的检索和匹配方法与系统
技术领域
本发明涉及计算机视觉、信息检索领域，具体涉及一种相似病灶的检索和匹配方法与系统。
背景技术
近年来随着深度学习技术的普及和医学成像技术愈发成熟，将深度学习的相关技术应用于医学领域成了一个重大的研究课题。目前各种医学诊断以及病人的相关资料都已经采用数字化，这为深度学习中所需要的大量数据提供了基础，其中基于标准化、结构化的电子病历系统采集了高质量的医学胸腔影像数据，这些数据中包含了过往病人不同照位的胸腔CT扫描图片。在医生对当前病人病灶进行定性时，往往会出于主观的原因造成误诊，而合理的利用过往所采集的CT影像资料，并在这些资料中检索相似的病灶来辅助医生诊断可以很大程度上避免误诊的情况。
随着Transformer在NLP领域产生的巨大的影响，以及近两年VIT的出现，Transformer结构也开始在CV领域崭露头角。对于有监督学习，Transformer结构相较于传统的卷积结构要有更强大的学习潜力。除此之外，Transformer中的注意力机制可以有效地将多种信息进行融合处理，相较于卷积网络直接加和或者通道拼接的信息融合方式，Transformer结构在多信息处理的方面更加有优势。在医学领域，对于病人病灶的确定，不再仅仅局限于用户某一症状相关的资料，而是应该结合其生活习惯，饮食习惯等多方面来综合判断。
目前的现有技术之一是专利“一种病灶匹配方法及装置(CN110674885A)”，该技术通过判断每一个病灶的大小形状及相对位置，然后将得到的数据输入到现有的过往病历数据库中进行比对，选出相似大小和形状的病灶病历来辅助医生进行判断。该方法的缺点是由于只使用了传统的图形之间的几何关系，并没有深入挖掘这些信息，所以可能会忽略很多对于定性病灶有用的内容，同时只通过一张图像来进行病灶的检索而不考虑患者更多的个人信息是不合理的。
目前的现有技术之二是论文“Deep lesion tracker:Monitoring lesions in4dlongitudinal imaging studies”中的基于深度卷积网络的病灶检索方法，该方法首先标定患者病灶的区域，然后利用卷积网络来学习数据库中病灶区域的CT图像，再利用训练好的模型来辅助及星星判断，最后得出当前患者病灶区域的情况，辅助医生进行判断。该方法的缺点是没有用到检索功能，其对于病人病灶区域的判断是根据网络学习出的过往患者的情况来进行判断，同时只考虑到患者病灶的CT扫描图像而没有将更多的患者信息考虑在内。
目前的现有技术之三是论文“基于视觉注意力模型的医学图像目标检测”中基于目标检测的病灶检测方法，该方法首先将过往用户的CT扫描的图片以及病灶的位置作为数据集来训练目标检测网络，然后将当前病人CT扫描图片输入到该目标检测网络中，从而检测出病人病灶位置以及病灶的具体类型。该方案的缺点是关于病灶类型的判断是利用目标检测网络实现的，并没有利用专门的网络来实现，容易造成判断的不够准确，同时也没有考虑到患者的其他可能会对判断病灶有用处的个人信息。
发明内容
本发明的目的是克服现有方法的不足，提出了相似病灶的检索和匹配方法与系统。本发明解决的主要问题是，现有的病灶检测以及检索和匹配方法大多没有采用最新的深度学习网络架构，同时现有的病灶匹配方法往往只考虑CT扫描结果的视觉信息，而忽略很多其他重要的信息比如用户的饮食习惯，生活习惯等信息；当前对于过往病历的整理大多以具体的病例为单位而不是以人为单位，导致很多可能会对病灶的定性有利的判断信息缺失。即如何基于深度学习的方式，从图形识别、多种类型的信息融合出发，建立完整的病历档案，在判断病灶时尽量完整、综合地考虑各种患者的信息后给出合理答案的问题。
为了解决上述问题，本发明提出了一种相似病灶的检索和匹配方法，所述方法包括：
确认患者的具体临床症状，并收集患者体检的各种量化指标；
收集过往患者病灶CT图像和经由医生判断之后确定的病灶区域，标注出所述病灶区域，并将所述病灶的具体类型信息记录为种类标签；
训练CT扫描图像编码器，首先将经目标检测后得到的图像输入到CT扫描图像编码器中，将其输出的CT扫描图像的编码和所述用户辅助信息的表示结果融合后输入到CT扫描图像解码器中，在得到相似病灶检测输出和病灶判断输出后和所述种类标签做回归，精度下降到网络收敛时，完成CT扫描图像编码器的训练；
训练CT扫描图像解码器，参照VIT(Vison Transformer)中的attention模块，将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到CT扫描图像解码器中，将患者辅助信息作为attention中的K和V，所述CT扫描图像的编码作为Q，通过子注意力机制结合患者本身的信息来学习到患者的患病情况，并直接输出对于用户病灶的判断，作为医生对患者病情定性的一个参照，同时将CT扫描图像解码器得到的病灶隐码输入到相似病灶检索系统，在患者信息档案中检索相似的病例来作为医生确诊患者病灶的参考；
训练辅助信息编码器，所述辅助信息编码器基于transformer的编码器结构，首先将用户的各项身体指标以及生活习惯信息转化为one-hot张量，然后将所述one-hot张量信息输入全连接网络(Fully Connected，FC)中做词嵌入，类似自然语言处理(NaturalLanguage Processing，NLP)的处理方式，接着将嵌入后的张量作为用户辅助信息的表示结果，最后将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到基于transformer的CT图像解码器中，通过梯度下降的方式训练所述辅助信息编码器直至其收敛；
将待诊断患者的信息输入到所述完成所有子网络训练后的病灶检索匹配系统中，将其作为一个补充数据集的扩充数据库；
对所述待诊断患者进行CT扫描，将几个关键的照位作为病灶检测网络FasterRCNN的输入，将输出的病灶位置作为截取图像的依据来对原病灶检测的CT图像进行截取，得到病灶的CT图像；
将所述病灶的CT图像输入到所述CT扫描图像编码器中，同时将所述待诊断患者的辅助个人信息输入到所述辅助信息编码器中，将所述两个编码器的值作为子注意力机制的Q，K，V分别输入到所述CT扫描图像解码器中，由所述CT扫描图像解码器分别输出对于病灶判断的隐码和对病灶的具体判断，其中病灶判断的隐码输入到所述相似病灶检索系统中，以此来检索相关的其他病例，最后结合相关病例以及所述CT扫描图像解码器对病灶情况的具体判断来辅助医生对患者进行诊断；
将诊断结果输入到患者信息管理系统作为数据库的补充，同时持续跟踪患者的情况，记录患者后续的治疗状况来作为新的数据集的标签，以持续优化检索匹配系统。
优选地，确认患者的具体临床症状，并收集患者体检的各种量化指标，具体为：
对用户进行CT扫描，并从不同的照位来收集患者的病灶区域图像。
优选地，收集过往患者病灶CT图像和经由医生判断之后确定的病灶区域，标注出所述病灶区域，并将所述病灶的具体类型信息记录为种类标签，具体为：
基于所述收集到的目标检测数据集，来训练FasterRCNN网络到收敛，将所述病灶区域图像拉伸并调整对比度、亮度来做数据增强，多次训练后，采用测试集上效果最佳的目标检测网络作为本方法的病灶区域检测网络，以测试其关于病灶位置检测准确性，并确保其准确性接近或者超过正常医生检测指标。
优选地，训练辅助信息编码器，具体为：
所述辅助信息编码器基于transformer的编码器结构，首先将用户的各项身体指标以及生活习惯信息转化为one-hot张量，然后将所述one-hot张量信息输入FC中做词嵌入，接着将嵌入后的张量作为用户辅助信息的表示结果；
将所述用户辅助信息的表示结果作为所述基于transformer的CT图像解码器的K和V，所述CT扫描图像的编码作为Q，输入到所述transformer解码器中，并通过解码器以及后续的相似病灶检索系统得出整个网络对于病灶性质的判断，并检索出相似的病灶作为网络结构的输出，将所述输出和收集到的不同用户之前的病例来做回归，通过梯度下降的方式训练所述辅助信息编码器直至其收敛。
相应地，本发明还提供了一种相似病灶的检索和匹配系统，包括：
数据收集单元，用于确认患者的具体临床症状，并收集患者体检的各种量化指标；收集过往患者病灶CT图像和经由医生判断之后确定的病灶区域，标注出所述病灶区域，并将所述病灶的具体类型信息记录为种类标签；
CT扫描图像编码器训练单元，用于训练CT扫描图像编码器，首先将经目标检测后得到的图像输入到CT扫描图像编码器中，将其输出的CT扫描图像的编码和所述用户辅助信息的表示结果融合后输入到CT扫描图像解码器中，在得到相似病灶检测输出和病灶判断输出后和所述种类标签做回归，精度下降到网络收敛时，完成CT扫描图像编码器的训练；
CT扫描图像解码器训练单元，用于训练CT扫描图像解码器，参照VIT中的attention模块，将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到CT扫描图像解码器中，将患者辅助信息作为attention中的K和V，所述CT扫描图像的编码作为Q，通过子注意力机制结合患者本身的信息来学习到患者的患病情况，并直接输出对于用户病灶的判断，作为医生对患者病情定性的一个参照，同时将CT扫描图像解码器得到的病灶隐码输入到相似病灶检索系统，在患者信息档案中检索相似的病例来作为医生确诊患者病灶的参考；
辅助信息编码器训练单元，用于训练辅助信息编码器，所述辅助信息编码器基于transformer的编码器结构，首先将用户的各项身体指标以及生活习惯信息转化为one-hot张量，然后将所述one-hot张量信息输入FC中做词嵌入，接着将嵌入后的张量作为用户辅助信息的表示结果，最后将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到基于transformer的CT图像解码器中，通过梯度下降的方式训练所述辅助信息编码器直至其收敛；
待测患者信息输入单元，用于将待诊断患者的信息输入到所述完成所有子网络训练后的病灶检索匹配系统中，将其作为一个补充数据集的扩充数据库；
病灶CT图像生成单元，用于对对所述待诊断患者进行CT扫描，将几个关键的照位作为病灶检测网络FasterRCNN的输入，将输出的病灶位置作为截取图像的依据来对原病灶检测的CT图像进行截取，得到病灶的CT图像；
辅助诊断单元，用于将所述病灶的CT图像输入到所述CT扫描图像编码器中，同时将所述待诊断患者的辅助个人信息输入到所述辅助信息编码器中，将所述两个编码器的值作为子注意力机制的Q，K，V分别输入到所述CT扫描图像解码器中，由所述CT扫描图像解码器分别输出对于病灶判断的隐码和对病灶的具体判断，其中病灶判断的隐码输入到所述相似病灶检索系统中，以此来检索相关的其他病例，最后结合相关病例以及所述CT扫描图像解码器对病灶情况的具体判断来辅助医生对患者进行诊断；
检索匹配系统优化单元，用于将诊断结果输入到患者信息管理系统作为数据库的补充，同时持续跟踪患者的情况，记录患者后续的治疗状况来作为新的数据集的标签，以持续优化检索匹配系统。
实施本发明，具有如下有益效果：
本发明设计了一个可以持续优化的患者信息管理系统，以具体的患者为单位，记录了包含患者所患疾病在内的各种信息，并且可以随着系统的适用，不断产生新的数据来对系统本身的子网络进行训练，以此来优化整个网络的参数。病灶检索匹配系统不仅考虑用户当前所患疾病的情况，同时还考虑了用户包括生活习惯，饮食习惯等各种可能影响到病灶属性的信息，较其他仅基于视觉的检索匹配系统考虑了更多的影响信息因素。本发明将近年出现的VIT结构引入到了对于病灶图像的学习中，较其他基于卷积的深度学习方法，有更大的潜力学到用户的病灶信息。
附图说明
图1是本发明实施例的相似病灶的检索和匹配方法的流程图；
图2是本发明实施例的相似病灶的检索和匹配系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的相似病灶的检索和匹配方法的流程图，如图1所示，该方法包括：
S1，确认患者的具体临床症状，并收集患者体检的各种量化指标；
S2，收集过往患者病灶CT图像和经由医生判断之后确定的病灶区域，标注出所述病灶区域，并将所述病灶的具体类型信息记录为种类标签；
S3，训练CT扫描图像编码器，首先将经目标检测后得到的图像输入到CT扫描图像编码器中，将其输出的CT扫描图像的编码和所述用户辅助信息的表示结果融合后输入到CT扫描图像解码器中，在得到相似病灶检测输出和病灶判断输出后和所述种类标签做回归，精度下降到网络收敛时，完成CT扫描图像编码器的训练；
S4，训练CT扫描图像解码器，参照VIT中的attention模块，将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到CT扫描图像解码器中，将患者辅助信息作为attention中的K和V，所述CT扫描图像的编码作为Q，通过子注意力机制结合患者本身的信息来学习到患者的患病情况，并直接输出对于用户病灶的判断，作为医生对患者病情定性的一个参照，同时将CT扫描图像解码器得到的病灶隐码输入到相似病灶检索系统，在患者信息档案中检索相似的病例来作为医生确诊患者病灶的参考；
S5，训练辅助信息编码器，所述辅助信息编码器基于transformer的编码器结构，首先将用户的各项身体指标以及生活习惯信息转化为one-hot张量，然后将所述one-hot张量信息输入FC中做词嵌入，接着将嵌入后的张量作为用户辅助信息的表示结果，最后将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到基于transformer的CT图像解码器中，通过梯度下降的方式训练所述辅助信息编码器直至其收敛；
S6，将待诊断患者的信息输入到所述完成所有子网络训练后的病灶检索匹配系统中，将其作为一个补充数据集的扩充数据库；
S7，对所述待诊断患者进行CT扫描，将几个关键的照位作为病灶检测网络FasterRCNN的输入，将输出的病灶位置作为截取图像的依据来对原病灶检测的CT图像进行截取，得到病灶的CT图像；
S8，将所述病灶的CT图像输入到所述CT扫描图像编码器中，同时将所述待诊断患者的辅助个人信息输入到所述辅助信息编码器中，将所述两个编码器的值作为子注意力机制的Q，K，V分别输入到所述CT扫描图像解码器中，由所述CT扫描图像解码器分别输出对于病灶判断的隐码和对病灶的具体判断，其中病灶判断的隐码输入到所述相似病灶检索系统中，以此来检索相关的其他病例，最后结合相关病例以及所述CT扫描图像解码器对病灶情况的具体判断来辅助医生对患者进行诊断；
S9，将诊断结果输入到患者信息管理系统作为数据库的补充，同时持续跟踪患者的情况，记录患者后续的治疗状况来作为新的数据集的标签，以持续优化检索匹配系统。
步骤S1，具体如下：
S1-1，对用户进行CT扫描，并从不同的照位来收集患者的病灶区域图像。
步骤S2，具体如下：
S2-1，基于所述收集到的目标检测数据集，来训练FasterRCNN网络到收敛，将所述病灶区域图像拉伸并调整对比度、亮度来做数据增强，多次训练后，采用测试集上效果最佳的目标检测网络作为本方法的病灶区域检测网络，以测试其关于病灶位置检测准确性，并确保其准确性接近或者超过正常医生检测指标。
步骤S5，具体如下：
S5-1，所述辅助信息编码器基于transformer的编码器结构，首先将用户的各项身体指标以及生活习惯信息转化为one-hot张量，然后将所述one-hot张量信息输入FC中做词嵌入，接着将嵌入后的张量作为用户辅助信息的表示结果；
S5-2，将所述用户辅助信息的表示结果作为所述基于transformer的CT图像解码器的K和V，所述CT扫描图像的编码作为Q，输入到所述transformer解码器中，并通过解码器以及后续的相似病灶检索系统得出整个网络对于病灶性质的判断，并检索出相似的病灶作为网络结构的输出，将所述输出和收集到的不同用户之前的病例来做回归，通过梯度下降的方式训练所述辅助信息编码器直至其收敛。
相应地，本发明还提供了一种相似病灶的检索和匹配系统，如图2所示，包括：
数据收集单元1，用于确认患者的具体临床症状，并收集患者体检的各种量化指标；收集过往患者病灶CT图像和经由医生判断之后确定的病灶区域，标注出所述病灶区域，并将所述病灶的具体类型信息记录为种类标签；
具体地，对用户进行CT扫描，并从不同的照位来收集患者的病灶区域图像；基于所述收集到的目标检测数据集，来训练FasterRCNN网络到收敛，将所述病灶区域图像拉伸并调整对比度、亮度来做数据增强，多次训练后，采用测试集上效果最佳的目标检测网络作为本方法的病灶区域检测网络，以测试其关于病灶位置检测准确性，并确保其准确性接近或者超过正常医生检测指标。
CT扫描图像编码器训练单元2，用于训练CT扫描图像编码器，首先将经目标检测后得到的图像输入到CT扫描图像编码器中，将其输出的CT扫描图像的编码和所述用户辅助信息的表示结果融合后输入到CT扫描图像解码器中，在得到相似病灶检测输出和病灶判断输出后和所述种类标签做回归，精度下降到网络收敛时，完成CT扫描图像编码器的训练；
CT扫描图像解码器训练单元3，用于训练CT扫描图像解码器，参照VIT中的attention模块，将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到CT扫描图像解码器中，将患者辅助信息作为attention中的K和V，所述CT扫描图像的编码作为Q，通过子注意力机制结合患者本身的信息来学习到患者的患病情况，并直接输出对于用户病灶的判断，作为医生对患者病情定性的一个参照，同时将CT扫描图像解码器得到的病灶隐码输入到相似病灶检索系统，在患者信息档案中检索相似的病例来作为医生确诊患者病灶的参考；
辅助信息编码器训练单元4，用于训练辅助信息编码器，所述辅助信息编码器基于transformer的编码器结构，首先将用户的各项身体指标以及生活习惯信息转化为one-hot张量，然后将所述one-hot张量信息输入FC中做词嵌入，接着将嵌入后的张量作为用户辅助信息的表示结果，最后将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到基于transformer的CT图像解码器中，通过梯度下降的方式训练所述辅助信息编码器直至其收敛；
具体地，首先将用户的各项身体指标以及生活习惯信息转化为one-hot张量，然后将所述one-hot张量信息输入FC中做词嵌入，接着将嵌入后的张量作为用户辅助信息的表示结果；将所述用户辅助信息的表示结果作为所述基于transformer的CT图像解码器的K和V，所述CT扫描图像的编码作为Q，输入到所述transformer解码器中，并通过解码器以及后续的相似病灶检索系统得出整个网络对于病灶性质的判断，并检索出相似的病灶作为网络结构的输出，将所述输出和收集到的不同用户之前的病例来做回归，通过梯度下降的方式训练所述辅助信息编码器直至其收敛。
待测患者信息输入单元5，用于将待诊断患者的信息输入到所述完成所有子网络训练后的病灶检索匹配系统中，将其作为一个补充数据集的扩充数据库；
病灶CT图像生成单元6，用于对对所述待诊断患者进行CT扫描，将几个关键的照位作为病灶检测网络FasterRCNN的输入，将输出的病灶位置作为截取图像的依据来对原病灶检测的CT图像进行截取，得到病灶的CT图像；
辅助诊断单元7，用于将所述病灶的CT图像输入到所述CT扫描图像编码器中，同时将所述待诊断患者的辅助个人信息输入到所述辅助信息编码器中，将所述两个编码器的值作为子注意力机制的Q，K，V分别输入到所述CT扫描图像解码器中，由所述CT扫描图像解码器分别输出对于病灶判断的隐码和对病灶的具体判断，其中病灶判断的隐码输入到所述相似病灶检索系统中，以此来检索相关的其他病例，最后结合相关病例以及所述CT扫描图像解码器对病灶情况的具体判断来辅助医生对患者进行诊断；
检索匹配系统优化单元8，用于将诊断结果输入到患者信息管理系统作为数据库的补充，同时持续跟踪患者的情况，记录患者后续的治疗状况来作为新的数据集的标签，以持续优化检索匹配系统。
因此，本发明通过可以持续优化的患者信息管理系统，以具体的患者为单位，记录了包含患者所患疾病在内的各种信息，并且可以随着系统的适用，不断产生新的数据来对系统本身的子网络进行训练，以此来优化整个网络的参数。本发明的病灶检索匹配系统不仅考虑用户当前所患疾病的情况，同时还考虑了用户包括生活习惯，饮食习惯等各种可能影响到病灶属性的信息，较其他仅基于视觉的检索匹配系统考虑了更多的影响信息因素。本发明将近年出现的VIT结构引入到了对于病灶图像的学习中，较其他基于卷积的深度学习方法，有更大的潜力学到用户的病灶信息。
以上对本发明实施例所提供的相似病灶的检索和匹配方法与系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种相似病灶的检索和匹配方法，其特征在于，所述方法包括：
确认患者的具体临床症状，并收集患者体检的各种量化指标；
收集过往患者病灶CT图像和经由医生判断之后确定的病灶区域，标注出所述病灶区域，并将所述病灶的具体类型信息记录为种类标签；
训练CT扫描图像编码器，首先将经目标检测后得到的图像输入到CT扫描图像编码器中，将其输出的CT扫描图像的编码和所述用户辅助信息的表示结果融合后输入到CT扫描图像解码器中，在得到相似病灶检测输出和病灶判断输出后和所述种类标签做回归，精度下降到网络收敛时，完成CT扫描图像编码器的训练；
训练CT扫描图像解码器，参照VIT中的attention模块，将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到CT扫描图像解码器中，将患者辅助信息作为attention中的K和V，所述CT扫描图像的编码作为Q，通过子注意力机制结合患者本身的信息来学习到患者的患病情况，并直接输出对于用户病灶的判断，作为医生对患者病情定性的一个参照，同时将CT扫描图像解码器得到的病灶隐码输入到相似病灶检索系统，在患者信息档案中检索相似的病例来作为医生确诊患者病灶的参考；
训练辅助信息编码器，所述辅助信息编码器基于transformer的编码器结构，首先将用户的各项身体指标以及生活习惯信息转化为one-hot张量，然后将所述one-hot张量信息输入全连接网络FC中做词嵌入，接着将嵌入后的张量作为用户辅助信息的表示结果，最后将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到基于transformer的CT图像解码器中，通过梯度下降的方式训练所述辅助信息编码器直至其收敛；
将待诊断患者的信息输入到所述完成所有子网络训练后的病灶检索匹配系统中，将其作为一个补充数据集的扩充数据库；
对所述待诊断患者进行CT扫描，将几个关键的照位作为病灶检测网络FasterRCNN的输入，将输出的病灶位置作为截取图像的依据来对原病灶检测的CT图像进行截取，得到病灶的CT图像；
将所述病灶的CT图像输入到所述CT扫描图像编码器中，同时将所述待诊断患者的辅助个人信息输入到所述辅助信息编码器中，将所述两个编码器的值作为子注意力机制的Q，K，V分别输入到所述CT扫描图像解码器中，由所述CT扫描图像解码器分别输出对于病灶判断的隐码和对病灶的具体判断，其中病灶判断的隐码输入到所述相似病灶检索系统中，以此来检索相关的其他病例，最后结合相关病例以及所述CT扫描图像解码器对病灶情况的具体判断来辅助医生对患者进行诊断；
将诊断结果输入到患者信息管理系统作为数据库的补充，同时持续跟踪患者的情况，记录患者后续的治疗状况来作为新的数据集的标签，以持续优化检索匹配系统。
2.如权利要求1所述的相似病灶的检索和匹配方法，其特征在于，所述确认患者的具体临床症状，并收集患者体检的各种量化指标，具体为：
对用户进行CT扫描，并从不同的照位来收集患者的病灶区域图像。
3.如权利要求1所述的相似病灶的检索和匹配方法，其特征在于，所述收集过往患者病灶CT图像和经由医生判断之后确定的病灶区域，标注出所述病灶区域，并将所述病灶的具体类型信息记录为种类标签，具体为：
基于所述收集到的目标检测数据集，来训练FasterRCNN网络到收敛，将所述病灶区域图像拉伸并调整对比度、亮度来做数据增强，多次训练后，采用测试集上效果最佳的目标检测网络作为本方法的病灶区域检测网络，以测试其关于病灶位置检测准确性，并确保其准确性接近或者超过正常医生检测指标。
4.如权利要求1所述的相似病灶的检索和匹配方法，其特征在于，所述训练辅助信息编码器，具体为：
辅助信息编码器基于transformer的编码器结构，首先将用户的各项身体指标以及生活习惯信息转化为one-hot张量，然后将所述one-hot张量信息输入FC中做词嵌入，接着将嵌入后的张量作为用户辅助信息的表示结果；
将所述用户辅助信息的表示结果作为所述基于transformer的CT图像解码器的K和V，所述CT扫描图像的编码作为Q，输入到所述transformer解码器中，并通过解码器以及后续的相似病灶检索系统得出整个网络对于病灶性质的判断，并检索出相似的病灶作为网络结构的输出，将所述输出和收集到的不同用户之前的病例来做回归，通过梯度下降的方式训练所述辅助信息编码器直至其收敛。
5.一种相似病灶的检索和匹配系统，其特征在于，所述系统包括：
数据收集单元，用于确认患者的具体临床症状，并收集患者体检的各种量化指标；收集过往患者病灶CT图像和经由医生判断之后确定的病灶区域，标注出所述病灶区域，并将所述病灶的具体类型信息记录为种类标签；
CT扫描图像编码器训练单元，用于训练CT扫描图像编码器，首先将经目标检测后得到的图像输入到CT扫描图像编码器中，将其输出的CT扫描图像的编码和所述用户辅助信息的表示结果融合后输入到CT扫描图像解码器中，在得到相似病灶检测输出和病灶判断输出后和所述种类标签做回归，精度下降到网络收敛时，完成CT扫描图像编码器的训练；
CT扫描图像解码器训练单元，用于训练CT扫描图像解码器，参照VIT中的attention模块，将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到CT扫描图像解码器中，将患者辅助信息作为attention中的K和V，所述CT扫描图像的编码作为Q，通过子注意力机制结合患者本身的信息来学习到患者的患病情况，并直接输出对于用户病灶的判断，作为医生对患者病情定性的一个参照，同时将CT扫描图像解码器得到的病灶隐码输入到相似病灶检索系统，在患者信息档案中检索相似的病例来作为医生确诊患者病灶的参考；
辅助信息编码器训练单元，用于训练辅助信息编码器，所述辅助信息编码器基于transformer的编码器结构，首先将用户的各项身体指标以及生活习惯信息转化为one-hot张量，然后将所述one-hot张量信息输入FC中做词嵌入，接着将嵌入后的张量作为用户辅助信息的表示结果，最后将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到基于transformer的CT图像解码器中，通过梯度下降的方式训练所述辅助信息编码器直至其收敛；
待测患者信息输入单元，用于将待诊断患者的信息输入到所述完成所有子网络训练后的病灶检索匹配系统中，将其作为一个补充数据集的扩充数据库；
病灶CT图像生成单元，用于对对所述待诊断患者进行CT扫描，将几个关键的照位作为病灶检测网络FasterRCNN的输入，将输出的病灶位置作为截取图像的依据来对原病灶检测的CT图像进行截取，得到病灶的CT图像；
辅助诊断单元，用于将所述病灶的CT图像输入到所述CT扫描图像编码器中，同时将所述待诊断患者的辅助个人信息输入到所述辅助信息编码器中，将所述两个编码器的值作为子注意力机制的Q，K，V分别输入到所述CT扫描图像解码器中，由所述CT扫描图像解码器分别输出对于病灶判断的隐码和对病灶的具体判断，其中病灶判断的隐码输入到所述相似病灶检索系统中，以此来检索相关的其他病例，最后结合相关病例以及所述CT扫描图像解码器对病灶情况的具体判断来辅助医生对患者进行诊断；
检索匹配系统优化单元，用于将诊断结果输入到患者信息管理系统作为数据库的补充，同时持续跟踪患者的情况，记录患者后续的治疗状况来作为新的数据集的标签，以持续优化检索匹配系统。
6.如权利要求5所述的相似病灶的检索和匹配系统，其特征在于，所述数据收集单元，需要对用户进行CT扫描，并从不同的照位来收集患者的病灶区域图像；基于所述收集到的目标检测数据集，来训练FasterRCNN网络到收敛，将所述病灶区域图像拉伸并调整对比度、亮度来做数据增强，多次训练后，采用测试集上效果最佳的目标检测网络作为本方法的病灶区域检测网络，以测试其关于病灶位置检测准确性，并确保其准确性接近或者超过正常医生检测指标。
7.如权利要求5所述的相似病灶的检索和匹配系统，其特征在于，所述辅助信息编码器训练单元，需要将用户的各项身体指标以及生活习惯信息转化为one-hot张量，然后将所述one-hot张量信息输入FC中做词嵌入，接着将嵌入后的张量作为用户辅助信息的表示结果；将所述用户辅助信息的表示结果作为所述基于transformer的CT图像解码器的K和V，所述CT扫描图像的编码作为Q，输入到所述transformer解码器中，并通过解码器以及后续的相似病灶检索系统得出整个网络对于病灶性质的判断，并检索出相似的病灶作为网络结构的输出，将所述输出和收集到的不同用户之前的病例来做回归，通过梯度下降的方式训练所述辅助信息编码器直至其收敛。
CN202210664467.0A 2022-06-14 2022-06-14 相似病灶的检索和匹配方法与系统 Pending CN115080782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210664467.0A CN115080782A (zh) 2022-06-14 2022-06-14 相似病灶的检索和匹配方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210664467.0A CN115080782A (zh) 2022-06-14 2022-06-14 相似病灶的检索和匹配方法与系统

Publications (1)

Publication Number Publication Date
CN115080782A true CN115080782A (zh) 2022-09-20

Family

ID=83250500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210664467.0A Pending CN115080782A (zh) 2022-06-14 2022-06-14 相似病灶的检索和匹配方法与系统

Country Status (1)

Country Link
CN (1) CN115080782A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117577258A (zh) * 2024-01-16 2024-02-20 北京大学第三医院（北京大学第三临床医学院） Petct相似病例检索和预后预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117577258A (zh) * 2024-01-16 2024-02-20 北京大学第三医院（北京大学第三临床医学院） Petct相似病例检索和预后预测方法
CN117577258B (zh) * 2024-01-16 2024-04-02 北京大学第三医院（北京大学第三临床医学院） Petct相似病例检索和预后预测方法

Similar Documents

Publication Publication Date Title
CN110993064B (zh) 面向深度学习的医学影像标注方法及装置
CN110491502B (zh) 显微镜视频流处理方法、系统、计算机设备和存储介质
CN113241135A (zh) 一种基于多模态融合的疾病风险预测方法和系统
CN107563383A (zh) 一种医学影像辅助诊断及半监督样本生成系统
CN112712879A (zh) 医学影像报告的信息提取方法、装置、设备及存储介质
Xie et al. Interpreting depression from question-wise long-term video recording of SDS evaluation
CN112309566A (zh) 影像智能识别与医学智能推理的远程自动诊断系统及方法
CN115115897B (zh) 多模态预训练的胃部肿瘤分类系统
CN105956412A (zh) 基于智能图文识别实现冠心病临床数据收集的系统及方法
CN111524093A (zh) 一种异常舌象的智能筛查方法及其系统
CN114898860A (zh) 基于跨模态transformer的多模态焦虑症检测方法和系统
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN115080782A (zh) 相似病灶的检索和匹配方法与系统
CN113658690A (zh) 一种智能导医方法、装置、存储介质以及电子设备
CN113539486A (zh) 一种基于中医面舌象动态变化的健康状态辨识系统
CN113485555A (zh) 医学影像阅片方法、电子设备和存储介质
CN117457162A (zh) 基于多编码器和多模态信息融合的急诊分诊方法及系统
CN116993699A (zh) 一种眼动辅助训练下的医学图像分割方法及系统
CN117322865A (zh) 基于深度学习的颞下颌关节盘移位mri检查诊断系统
CN115089112B (zh) 卒中后认知障碍风险评估模型建立方法、装置及电子设备
CN116580801A (zh) 一种基于大型语言模型的超声检查方法
CN116433646A (zh) 一种基于卷积神经网络和Transformer的脑网络特征提取方法
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
WO2020099941A1 (en) Application of deep learning for medical imaging evaluation
Wang et al. Diagnosis of cognitive and motor disorders levels in stroke patients through explainable machine learning based on MRI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination