CN115934981A - 用于检索医学x射线的系统和方法 - Google Patents

用于检索医学x射线的系统和方法 Download PDF

Info

Publication number
CN115934981A
CN115934981A CN202211151023.3A CN202211151023A CN115934981A CN 115934981 A CN115934981 A CN 115934981A CN 202211151023 A CN202211151023 A CN 202211151023A CN 115934981 A CN115934981 A CN 115934981A
Authority
CN
China
Prior art keywords
candidate
embeddings
diagnostic
embedding
ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211151023.3A
Other languages
English (en)
Inventor
E·埃雷兹
A·奥凯里博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GSI Technology Inc
Original Assignee
GSI Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GSI Technology Inc filed Critical GSI Technology Inc
Publication of CN115934981A publication Critical patent/CN115934981A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B42/00—Obtaining records using waves other than optical waves; Visualisation of such records by using optical means
    • G03B42/02—Obtaining records using waves other than optical waves; Visualisation of such records by using optical means using X-rays
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种用于检索医学X射线的系统包括经训练的卷积神经网络(CNN)、平衡特征生成器、平衡类型选择器以及K最近邻(KNN)分类器。所述经训练的CNN将多幅诊断X射线图像编码为多个候选嵌入，并且将部分诊断X射线图像编码为查询嵌入。所述平衡特征生成器根据所述查询嵌入和所述多个候选嵌入来产生多个虚拟候选嵌入。所述平衡类型选择器选择所述多个虚拟候选嵌入的子集。所述KNN分类器在所述查询嵌入与所述多个候选嵌入和所述多个虚拟候选嵌入的所述子集之间执行KNN搜索。

Description

用于检索医学X射线的系统和方法
相关申请的交叉引用
本申请要求2021年9月22日提交的美国临时专利申请US 63/246,854以及2022年9月4日提交的美国临时专利申请US 63/403,763的优先权，这两者均通过引用并入本文。
技术领域
本发明总体涉及相似性搜索，并且具体涉及X射线图像搜索。
背景技术
当放射科医生遇到不明确的病例时，他们通常在公共或内部数据库中搜索相似病例，这将在诊断决策制定过程中帮助他们。这样的搜索对他们的工作流程是很大的负担，并且减少了诊断其他病例可用的时间。重要的是利用自动的基于内容的图像检索系统来替换这样的人工密集型搜索。
在MICCAI 2020上，由Wilson Silva、Alexander Poellinger、Jaime S.Cardoso和Mauricio Reyes在他们的论文“Interpretability-Guided Content-Based MedicalImage Retrieval”中，Silva等人描述了如在图1中所示的医学图像检索系统100。系统100具有卷积神经网络(CNN)疾病分类器103和K最近邻(KNN)搜索器105。CNN疾病分类器103是使用公开可用的胸部X射线图像训练数据集训练的CNN。如在该论文中所描述的，使用CNN疾病分类器103将来自相同的公开可用集合的多个候选诊断胸部X射线101编码到多个候选确诊嵌入(embedding)102中。
然后，KNN搜索器105使用候选诊断嵌入102相对于查询部分诊断X射线107执行KNN搜索，所述查询部分诊断X射线107已经类似地被编码到查询部分诊断嵌入108中。因此，由KNN搜索器105返回与查询部分诊断X射线107最相似的K个(例如10个)候选诊断嵌入102。然后，系统100将与K个候选诊断嵌入102相关联的候选诊断胸部X射线101返回给操作者，作为数据库中与部分诊断X射线107最相似的K个大多数病例。
发明内容
因此，根据本发明的优选实施例，提供了一种用于检索医学X射线的系统。所述系统包括经训练的卷积神经网络(CNN)、平衡特征生成器、平衡类型选择器以及K最近邻(KNN)分类器。所述经训练的CNN将多幅诊断X射线图像编码为多个候选嵌入，并且将部分诊断X射线图像编码为查询嵌入。所述平衡特征生成器根据所述查询嵌入和所述多个候选嵌入来产生多个虚拟候选嵌入。所述平衡类型选择器选择所述多个虚拟候选嵌入的子集。所述KNN分类器在所述查询嵌入与多个候选嵌入和所述多个虚拟候选嵌入的子集之间执行KNN搜索。
此外，根据本发明的优选实施例，所述系统包括诊断X射线图像数据存储部、嵌入数据存储部和平衡嵌入数据存储部。所述诊断X射线图像数据存储部存储所述多幅诊断X射线图像，所述嵌入数据存储部存储所述多个候选嵌入，以及平衡嵌入数据存储部。所述平衡嵌入数据存储部存储所述多个虚拟候选嵌入。
此外，根据本发明的优选实施例，所述系统包括目标诊断选择器，在所述目标诊断选择器所述KNN搜索的所述执行之前从所述KNN分类器中过滤被存储在所述嵌入数据存储部中的不想要的候选嵌入。
又进一步地，根据本发明的优选实施例，所述系统包括数据可视化器，所述数据可视化器示出了被存储在所述嵌入数据存储部中的所述多个候选嵌入的量和/或被存储在所述平衡嵌入数据存储部中的所述多个虚拟候选嵌入的量，被存储在所述嵌入数据存储部中的所述多个候选嵌入的量和/或被存储在所述平衡嵌入数据存储部中的所述多个虚拟候选嵌入的量与多个诊断和所述多个诊断的多个类别相关联。
另外，根据本发明的优选实施例，所述系统包括X射线数据检索器，所述X射线数据检索器从所述诊断图像X射线数据存储部中检索诊断和图像数据，所述诊断和图像数据与在所述KNN搜索期间由所述KNN分类器返回的K个最近邻候选相关联。
此外，根据本发明的优选实施例，所述系统在关联存储器中实现。
根据本发明的优选实施例，也提供了一种用于检索医学X射线的方法。所述方法包括：将多幅诊断X射线图像编码为多个候选嵌入，并且第二将部分诊断X射线图像编码为查询嵌入，根据所述查询嵌入和所述多个候选嵌入产生多个虚拟候选嵌入，选择所述多个虚拟候选嵌入的子集，并且在所述查询嵌入与多个所述候选嵌入和所述多个虚拟候选嵌入的所述子集之间执行KNN搜索。
此外，根据本发明的优选实施例，所述方法包括：将所述多幅诊断X射线图像存储在诊断X射线图像数据存储部中、将所述多个候选嵌入存储在嵌入数据存储部中，并且将所述多个虚拟候选嵌入存储在平衡嵌入数据存储部中。
此外，根据本发明的优选实施例，所述方法包括在所述KNN搜索的所述执行之前从所述KNN分类器中过滤被存储在所述嵌入数据存储部中的不想要的候选嵌入。
又进一步地，根据本发明的优选实施例，所述方法包括示出被存储在所述嵌入数据存储部中的所述多个候选嵌入的量和/或被存储在所述平衡嵌入数据存储部中的所述多个虚拟候选嵌入的量，被存储在所述嵌入数据存储部中的所述多个候选嵌入的量和/或被存储在所述平衡嵌入数据存储部中的所述多个虚拟候选嵌入的量与多个诊断和所述多个诊断的多个类别相关联。
另外，根据本发明的优选实施例，所述方法包括从所述诊断图像X射线数据存储部中检索诊断和图像数据，所述诊断和图像数据与在所述KNN搜索期间由所述KNN分类器返回的K个最近邻候选相关联。
附图说明
被视为本发明的主题在本说明书的结尾部分中被特别指出并且明确要求。然而，关于组织和操作方法两者，以及其目标、特征以及其优点，当结合随附的附图阅读时，可以通过参考以下详细描述来最好地理解本发明，其中：
图1是现有技术的X射线图像检索系统的示意图；
图2是根据本发明的优选实施例构造和可操作的平衡X射线图像检索系统的示意图；
图3A是根据本发明的优选实施例构造和可操作的在关联处理单元上实现的平衡X射线图像检索系统的示意图；并且
图3B是根据本发明的优选实施例构造和可操作的在关联处理单元上实现的平衡X射线图像检索系统的示意图。
将意识到，为了简化和清楚说明，在附图中所示的元件不一定按比例绘制。例如，为了清楚起见，元件中的一些元件的尺寸可以相对于其他元件被夸大。此外，在认为合适的情况下，可以在附图中重复参考数字以指示对应或相似的元件。
具体实施方式
在以下详细描述中，阐述了许多具体细节，以便提供对本发明的透彻理解。然而，本领域技术人员将理解，本发明可以在没有这些具体细节的情况下实践。在其他实例中，为了不模糊本发明，没有详细描述公知的方法、流程和组件。
申请人已经认识到：为了进行准确的KNN搜索，需要平衡所述候选数据集(查询将相对其进行搜索)。为了平衡，数据集不具有针对仅一个或者仅一些目标候选类别或群组的大量数据。在本文中上文所描述的Silva等人的X射线CNN/KNN系统的问题在于：候选X射线嵌入的数据集是不平衡的。所述不平衡反映在针对任意特定诊断或诊断类别(其可以是在本文中上文所提到的类别或群组)，与每个类别或群组相关联的记录的数量不相等。例如，如果有5个诊断类别，1至5，则与群组相关联的X射线记录的数量不相等。
在诊断候选X射线记录中的这样的不平衡导致在候选X射线嵌入中的不平衡。这种不平衡导致Silva等人的KNN X射线诊断方法的性能的劣化。
在2019年6月的Neurocomputing Journal上的文章“Smote-variants:a PythonImplementation of 85 Minority Oversampling Techniques”中描述了用于根据现有嵌入来创建“虚拟嵌入”以增加可用嵌入的数量的方法。
申请人已经认识到：在上文所提到的文章中所描述的用于创建“虚拟嵌入”的方法也可以被用于创建“候选虚拟X射线嵌入”。
申请人已经认识到：通过向X射线CNN/KNN系统添加“平衡系统”，可以改善预测结果的准确度。
申请人已经认识到：通过使得用户能够在具有和不具有额外虚拟嵌入的KNN搜索结果之间进行选择，他们可以选取更准确的结果。
CNN/KNN X射线检索系统
参考图2，图2图示了平衡X射线图像检索系统200。系统200包括CNN/KNN X射线检索系统210、平衡系统220以及数据集可视化器230。CNN/KNN X射线检索系统210包括诊断X射线图像数据存储部101、CNN特征提取器102、嵌入数据存储部103、目标诊断选择器108、KNN分类器107以及X射线数据检索器104。
利用如由申请人所有的、在2021年2月23日发布的题为“FINDING K EXTREMEVALUES IN CONSTANT PROCESSING TIME”的美国专利US 10,929,751中所描述的图像KNN系统，并且通过引用将其并入本文，来自诊断X射线数据存储部101的多幅已知候选X射线图像116C，以及未知查询X射线图像117Q，可以由CNN特征提取器102分别编码为候选X射线嵌入116CE和查询X射线嵌入117QE，并且可以被存储在嵌入数据存储部103中。候选X射线嵌入116CE以及查询X射线嵌入117QE然后可以被输入到KNN分类器107中以用于识别。
将意识到，诊断或候选X射线图像116C以及其相关联的候选X射线嵌入116CE可以表示不同类别的诊断，诸如癌症、病毒感染、细菌感染等。也将意识到，诊断X射线图像116C以及其相关联的候选X射线嵌入116CE也可以表示在这样的类别的诊断中的不同诊断，例如，不同癌症类型。
可能怀疑例如特定癌症类型的放射科医生可能想要从KNN分类器107中排除与非癌症诊断相关联的候选X射线嵌入116CE。她可以利用数据可视化器230来查看在嵌入数据存储部103中所包含的候选X射线嵌入116CE数据集的可视化。这样的可视化可以示出与多个诊断和多个诊断类别相关联的X射线嵌入116CE的数量。在知道这样的数量的候选X射线嵌入116CE的情况下，她然后可以使用目标诊断选择器108排除任何不想要的候选X射线嵌入1116ce。目标诊断选择器108可以从嵌入数据存储部103中仅选择与例如可疑的或目标诊断类别相匹配的候选X射线嵌入116CE，并且可以将这样的候选X射线嵌入116CE输入到KNN分类器107中。将意识到，放射科医生可以备选地选择不过滤所述数据集，并且因此可以不将数据要求输入到目标诊断选择器108中。
KNN分类器107然后可以找到K个候选X射线嵌入116CE，所述K个候选X射线嵌入116CE是用于查询X射线嵌入117QE的最近邻。X射线数据检索器104然后可以从诊断X射线数据存储部101检索与K个最近邻候选相关联的诊断和图像数据，并且然后可以输出与由KNN分类器107返回的K个最近邻相对应的图像和诊断信息。
平衡系统
平衡系统220包括平衡嵌入生成器105、平衡嵌入数据存储部106以及平衡类型选择器110。
在上文所提到的操作场景中，在回顾了在数据集可视化器230上对候选X射线嵌入116CE的可视化之后，放射科医生可以认为嵌入数据存储部103中针对任何特定诊断或类别(例如，特定肺癌类型)的候选X射线嵌入116CE的数量太低而不能产生准确的KNN计算或分类。在这样的情况下，她可以选择将多个虚拟候选X射线嵌入116VCE添加到在KNN计算中由KNN分类器107所使用的多个候选嵌入116CE。
利用现有虚拟候选X射线嵌入的平衡
为了平衡所述候选数据集，放射科医生可以添加来自平衡嵌入数据存储部106的多个现有虚拟候选X射线嵌入116VCE。她可以在平衡类型选择器110上输入所需数量和(一种或多种)类型的虚拟候选X射线嵌入116VCE，这将来自平衡嵌入数据存储部106的该数量和(一种或多种)类型添加到KNN分类器107。放射科医生然后可以以与上文所描述的相似的方式使用平衡数据集来重复所述KNN分类。
将意识到，通过在“无额外虚拟候选X射线嵌入116VCE”和“所需数量的额外虚拟候选X射线嵌入116VCE”之间由平衡类型选择器110来改变要被输入到KNN分类器107的虚拟候选X线嵌入116VCE的数量和类型，放射科医生现在可以将仅使用所选择的候选X射线嵌入116CE的原始不平衡数据集产生的KNN搜索结果与由平衡数据集与额外虚拟候选X射线嵌入116VCE产生的结果进行比较。放射科医生然后可以比较具有和不具有额外虚拟嵌入的KNN搜索结果，并且然后可以选取更准确的结果。
生成新的虚拟候选X射线嵌入
如果在平衡嵌入数据存储部106中没有足够的虚拟候选X射线嵌入116VCE，放射科医生可以选择创建一些新的虚拟候选X射线嵌入116VCE。她可以向平衡嵌入生成器105中输入她希望创建的虚拟候选X射线嵌入116VCE的数量以及她希望创建它们的候选X射线嵌入116CE的类型。平衡嵌入生成器105可以在特征数据存储部103中搜索m(例如m＝5)个最近邻候选X射线嵌入116CE，以查询X射线嵌入117QE。然后，平衡嵌入生成器105可以生成新的虚拟候选X射线嵌入116VCE，其具有特征向量，所述特征向量例如是但并不限于由算法找到的m个候选X射线嵌入116CE的平均值。
平衡嵌入生成器105可以将虚拟候选X射线嵌入116VCE存储在平衡嵌入数据存储部106中。该过程可以根据需要来重复。将意识到，由于KNN搜索的随机性质，由平衡嵌入生成器105根据相同的KNN搜索相对于相同的查询X射线嵌入117QE生成多个虚拟候选X射线嵌入116VCE可能不产生相同的虚拟候选X射线嵌入116VCE。
平衡X射线图像检索系统的关联处理器
平衡X射线图像系统200可以在关联处理单元内的关联存储器阵列上实现，类似于在本文中上文所提到的美国专利US 10,929,751中的KNN系统。关联处理单元的大规模并行处理功能可以减少数据操作和KNN搜索时间。
参考图3A，图3A图示了在关联处理单元(APU)300上实现的本发明的优选实施例。APU 300可以是任何合适的APU，诸如能从美国的GSI Technology公司市售的Gemini APU。APU 300可以包括APU 300的部分中的数据存储部201(为清晰起见，其已经被阴影化)、APU300的另一部分中的KNN分类器204、APU 300的第三部分中的查询存储部203以及标记行301。应当注意，数据存储部201、KNN分类器202、查询存储部203以及标记行301可以在APU300的任意部分中，并且甚至可以被混合在一起。数据存储部201和查询存储部203可以包括多个列202。多个候选X射线嵌入116CE和多个虚拟候选X射线嵌入116VCE可以被存储在数据存储部201的列202中。查询X射线嵌入117可以被存储在查询存储部203的列202中。
KNN分类器204可以在本文中上文所提到的美国专利US 10,929,751中所描述的大规模并行操作中对多个候选X射线嵌入116CE、多个虚拟候选X射线嵌入116VCE和查询X射线嵌入117QE进行操作。将意识到，候选嵌入112和虚拟候选嵌入113可以根据KNN分类器204的要求通过使用标记行301来包括或排除。当标记行301中的列被选择时，则仅那些行中的那些嵌入可以被包括在所述KNN分类中。标记行310可以是目标诊断选择器108和平衡类型选择器110的实现，这两者都在本文中在上文进行了解释。
参考图3B，图3B图示了在APU 300’上实现的本发明的另一优选实施例。数据存储部301可以包括单独的候选X射线嵌入数据存储部305和单独的平衡嵌入数据存储部306。KNN分类器304可以包括临时存储部308和KNN处理器309。候选嵌入数据存储部305、平衡特征数据存储部306、临时存储部307以及KNN处理器309可以包括多个列302。多个候选X射线嵌入116CE可以被存储在候选嵌入数据存储部305的列202中。多个虚拟候选X射线嵌入116VCE可以被存储在平衡特征数据存储部306的列202中。查询X射线嵌入117QE可以被存储在查询存储部303的列302中。
查询X射线嵌入117QE、所选择的多个候选X射线嵌入116CE以及所选择的多个虚拟候选X射线嵌入116VCE可以在由KNN分类器309并行操作之前被写入到临时存储部308的列302。
将意识到，通过平衡数据集，在本文中上文由Silva等人所描述的医学图像系统中的X射线图像识别的准确度从不平衡结果提高了5％。
尽管已经在本文中例示说明并且描述了本发明的特定特征，但是本领域普通技术人员现在将进行许多修改、替换、变更和等效。因此，应当理解，随附的权利要求旨在涵盖本发明的真正主旨范围内的所有这样的修改和变更。

Claims (11)

1.一种用于检索医学X射线的系统，所述系统包括：
经训练的卷积神经网络(CNN)，其用于将多幅诊断X射线图像编码为多个候选嵌入，并且将部分诊断X射线图像编码为查询嵌入；
平衡特征生成器，其用于根据所述查询嵌入和所述多个候选嵌入来产生多个虚拟候选嵌入；
平衡类型选择器，其用于选择所述多个虚拟候选嵌入的子集；以及
K最近邻(KNN)分类器，其用于在所述查询嵌入与多个所述候选嵌入和所述多个虚拟候选嵌入的所述子集之间执行KNN搜索。
2.根据权利要求1所述的系统，并且也包括：
诊断X射线图像数据存储部，其用于存储所述多幅诊断X射线图像；
嵌入数据存储部，其用于存储所述多个候选嵌入；以及
平衡嵌入数据存储部，其用于存储所述多个虚拟候选嵌入。
3.根据权利要求1所述的系统，并且也包括：
目标诊断选择器，其用于在所述KNN搜索的所述执行之前从所述KNN分类器中过滤被存储在所述嵌入数据存储部中的不想要的候选嵌入。
4.根据权利要求1所述的系统，并且也包括：
数据可视化器，其用于示出被存储在所述嵌入数据存储部中的所述多个候选嵌入的量和/或被存储在所述平衡嵌入数据存储部中的所述多个虚拟候选嵌入的量，所述被存储在所述嵌入数据存储部中的所述多个候选嵌入的量和/或被存储在所述平衡嵌入数据存储部中的所述多个虚拟候选嵌入的量与多个诊断和所述多个诊断的多个类别相关联。
5.根据权利要求1所述的系统，并且也包括：
X射线数据检索器，其用于从所述诊断图像X射线数据存储部中检索诊断和图像数据，所述诊断和图像数据与在所述KNN搜索期间由所述KNN分类器返回的K个最近邻候选相关联。
6.根据权利要求1所述的系统，其在关联存储器中实现。
7.一种用于检索医学X射线的方法，所述方法包括：
将多幅诊断X射线图像编码为多个候选嵌入，并且第二将部分诊断X射线图像编码为查询嵌入；
根据所述查询嵌入和所述多个候选嵌入来产生多个虚拟候选嵌入；
选择所述多个虚拟候选嵌入的子集；并且
在所述查询嵌入与多个所述候选嵌入和所述多个虚拟候选嵌入的所述子集之间执行KNN搜索。
8.根据权利要求1所述的方法，并且也包括：
将所述多幅诊断X射线图像存储在诊断X射线图像数据存储部中；
将所述多个候选嵌入存储在嵌入数据存储部中；并且
将所述多个虚拟候选嵌入存储在平衡嵌入数据存储部中。
9.根据权利要求1所述的方法，并且也包括：
在所述KNN搜索的所述执行之前，从所述KNN分类器过滤被存储在所述嵌入数据存储部中的不想要的候选嵌入。
10.根据权利要求1所述的方法，并且也包括：
示出被存储在所述嵌入数据存储部中的所述多个候选嵌入的量和/或被存储在所述平衡嵌入数据存储部中的所述多个虚拟候选嵌入的量，所述被存储在所述嵌入数据存储部中的所述多个候选嵌入的量和/或被存储在所述平衡嵌入数据存储部中的所述多个虚拟候选嵌入的量与多个诊断和所述多个诊断的多个类别相关联。
11.根据权利要求1所述的方法，并且也包括：
从所述诊断图像X射线数据存储部中检索诊断和图像数据，所述诊断和图像数据与在所述KNN搜索期间由所述KNN分类器返回的K个最近邻候选相关联。
CN202211151023.3A 2021-09-22 2022-09-21 用于检索医学x射线的系统和方法 Pending CN115934981A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163246854P 2021-09-22 2021-09-22
US63/246,854 2021-09-22
US202263403763P 2022-09-04 2022-09-04
US63/403,763 2022-09-04

Publications (1)

Publication Number Publication Date
CN115934981A true CN115934981A (zh) 2023-04-07

Family

ID=86384811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211151023.3A Pending CN115934981A (zh) 2021-09-22 2022-09-21 用于检索医学x射线的系统和方法

Country Status (2)

Country Link
US (1) US20230157675A1 (zh)
CN (1) CN115934981A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250266B2 (en) * 2019-08-09 2022-02-15 Clearview Ai, Inc. Methods for providing information about a person based on facial recognition

Also Published As

Publication number Publication date
US20230157675A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
US7672976B2 (en) Method for the reduction of image content redundancy in large image databases
RU2533500C2 (ru) Система и способ для объединения клинических признаков и признаков изображений для диагностики с применением компьютера
Zhou et al. Scalable feature matching by dual cascaded scalar quantization for image retrieval
US6654728B1 (en) Fuzzy logic based classification (FLBC) method for automated identification of nodules in radiological images
JP5354507B2 (ja) 物体認識用画像データベースの作成方法、作成装置および作成処理プログラム
JP2009093563A (ja) 類似画像検索装置、及び類似画像検索プログラム
US20080192995A1 (en) Example-Based Diagnosis Decision Support
CN115934981A (zh) 用于检索医学x射线的系统和方法
Sumi et al. Improving classification accuracy using combined filter+ wrapper feature selection technique
JP2873955B1 (ja) 画像処理方法および装置
CN109885712B (zh) 基于内容的肺结节图像检索方法及系统
Wetzel Computational aspects of pathology image classification and retrieval
Hersh et al. Medical image retrieval and automated annotation: OHSU at ImageCLEF 2006
Anai et al. Effect of Genetic Algorithm as a Feature Selection for Image Classification
Elshazly et al. Lymph diseases diagnosis approach based on support vector machines with different kernel functions
Zhang et al. A hierarchical feature selection model using clustering and recursive elimination methods
CN109446408A (zh) 检索相似数据的方法、装置、设备及计算机可读存储介质
EP4327333A1 (en) Methods and systems for automated follow-up reading of medical image data
CN110895573B (zh) 一种检索方法和装置
Joly et al. Unsupervised individual whales identification: spot the difference in the ocean
Pedrosa et al. Lesion-based chest radiography image retrieval for explainability in pathology detection
CN113889228B (zh) 基于混合注意的语义增强哈希医学图像检索方法
Moirangthem et al. Image classification and retrieval framework for Brain Tumour Detection using CNN on ROI segmented MRI images
Napravnik et al. Using Autoencoders to Reduce Dimensionality of DICOM Metadata
Iscen et al. Scaling group testing similarity search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication