CN112638262B - 相似度确定装置、方法及程序 - Google Patents

相似度确定装置、方法及程序 Download PDF

Info

Publication number
CN112638262B
CN112638262B CN201980055412.6A CN201980055412A CN112638262B CN 112638262 B CN112638262 B CN 112638262B CN 201980055412 A CN201980055412 A CN 201980055412A CN 112638262 B CN112638262 B CN 112638262B
Authority
CN
China
Prior art keywords
region
similarity
medical image
image
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980055412.6A
Other languages
English (en)
Other versions
CN112638262A (zh
Inventor
金田昭治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112638262A publication Critical patent/CN112638262A/zh
Application granted granted Critical
Publication of CN112638262B publication Critical patent/CN112638262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种相似度确定装置、方法及程序，其能够考虑图像中所包含的观察结果位置及分布适当地确定图像之间的相似度。区域分割部(22)将第1医用图像中的对象区域分割为多个区域。观察结果分类部(23)将第1医用图像的各个像素分类为至少一个观察结果。特征量计算部(24)针对每个观察结果计算第1特征量。区域相似度导出部(25)针对分割出的每个区域导出第1医用图像与第2医用图像的区域相似度。相似度导出部(26)通过与分割出的各个区域的尺寸及分割出的各个区域中所包含的特定观察结果的尺寸中的至少一个对应的权重系数进行多个区域相似度的加权运算，从而导出第1医用图像与第2医用图像的相似度。

Description

相似度确定装置、方法及程序
技术领域
本发明涉及一种确定两个医用图像的相似度的相似度确定装置、方法及程序。
背景技术
近年来，由于CT(Computed Tomography：计算机断层扫描)装置及MRI(MagneticResonance Imaging：磁共振成像)装置等医疗设备的发展，更高质量的高分辨率三维图像被使用于图像诊断中。
另一方面，在医疗领域中，已知一种相似病例检索装置，其根据成为检查对象的CT图像等检查图像来检索与检查图像相似的过去病例(例如，参考非专利文1及专利文献1、2)。在非专利文献1中提出如下方法：将肺的病例图像分类为分别表示多个种类的组织或病变(将以下组织或病变总称为观察结果)的多个区域，然后登记到病例数据库中，关于检查图像也同样，将肺分类为分别表示多个种类的观察结果的多个区域，并根据关于检查图像的观察结果分类结果来检索与检查图像相似的病例图像。并且，在专利文献1、2中提出如下方法：将图像的浓度直方图、浓度的平均值或浓度的分散度等图像的特征量和登记到数据库中的图像的特征量进行比较，由此检索与检查图像相似的图像。并且，作为计算图像之间的相似度的方法，提出如下方法：在多个图像中的至少一个图像内设定多个部分区域，针对所设定的每个部分区域确定与其他图像内的对应区域之间的相似度，并使用对各部分区域设定的权重系数对所确定的部分区域相似度加权相加，由此计算整个区域相似度(参考专利文献3)。
作为肺疾病，已知有间质性肺炎。提出如下方法：通过分析间质性肺炎患者的CT图像，将CT图像中所包含的蜂窝肺、网状阴影及囊肿等表示特定观察结果的病变进行分类并定量化(参考非专利文献2、3)。如此分析CT图像并对病变进行分类并定量化，由此能够容易判定肺疾病的程度。并且，对如此分类并定量化的区域分配分别不同的颜色而显示，由此能够容易诊断特定症状的区域以哪种程度包含在图像内。
并且，为了从CT图像等三维图像中提取所关注的器官等结构物，需要在三维图像中检测结构物。在此，为了将图像中的关注像素分类为多个类别，提出一种深度学习(Deeplearning)的方法。
深度学习是使用多层神经网络的机械学习方法，所述多层神经网络通过以层级方式连接多个处理层而构建。
在深度学习中，在多层神经网络的各个层中，针对由相对于所输入数据的前一级层级得到的不同的多个运算结果数据，即，特征量的提取结果数据进行运算处理。而且，针对由此得到的特征量数据，在下一级以后的处理层中进一步进行运算处理，由此能够提高特征量的确认率，并将所输入的数据分类为多个类别。
可以认为，将这种深度学习方法适用于上述三维图像，以将三维图像的各个像素分类为多个类别。例如，当将三维图像中所包含的多个种类的结构物进行分类时，对神经网络进行深度学习，以输入三维图像并将三维图像中的成为处理对象的像素分类为多个种类的结构物中的任一个结构物。通过使用如此进行了深度学习的神经网络，可以将所输入的三维图像的成为处理对象的像素分类为多个种类的结构物中的任一个结构物。
以往技术文献
专利文献
专利文献1：日本再公表2013-065090号公报
专利文献2：日本特开2011-118543号公报
专利文献3：日本特开2000-342558号公报
非专利文献
非专利文献1：Case-based lung image categorization and retrieval forinterstitial lung diseases：clinical workflows、Adrien Depeursinge等、Iht J CARS(2012)7：97-110、Published online：1June 2011
非专利文献2：Evaluation of computer-based computer tomographystratification against outcome models in connective tissue disease-relatedinterstitial lung disease：a patient outcome study、Joseph Jacobi等、BMCMedicine(2016)14：190、DOI 10.1186/s12916-016-0739-7
非专利文献3：基于计算机的间质性肺炎的CT图像的定量评价，岩泽多惠、断层影像研究会杂志第41卷第2号、2014年8月
发明内容
发明要解决的技术课题
通过使用非专利文献1及专利文献1～3中所记载的方法，能够检索在检查图像的肺中所包含的病变相似的病例图像。另一方面，检查图像中所包含的观察结果趋向于根据其特征容易产生于特定的区域。因此，当确定检查图像与病例图像的相似度时，重要的是考虑检查图像中所包含的对象器官中的观察结果位置及分布。
本发明是鉴于上述事情而完成的，其目的在于使得能够考虑图像中所包含的观察结果位置及分布而适当地确定图像之间的相似度。
用于解决技术课题的手段
根据本发明的相似度确定装置确定第1医用图像与第2医用图像的相似度，所述相似度确定装置具备：
区域分割部，将第1医用图像中的对象区域分割为多个区域；
观察结果分类部，将第1医用图像的各个像素分类为至少一个观察结果；
特征量计算部，针对分割出的每个区域，计算在第1医用图像中分类出的每个观察结果的第1特征量；
区域相似度导出部，根据在第1医用图像中计算出的每个观察结果的第1特征量和在第2医用图像中预先计算出的每个观察结果的第2特征量，针对分割出的每个区域导出第1医用图像与第2医用图像的区域相似度；及
通过与分割出的各个区域的尺寸及分割出的各个区域中所包含的特定观察结果的尺寸中的至少一个对应的权重系数进行多个区域相似度的加权运算，从而导出第1医用图像与第2医用图像的相似度。
另外，在根据本发明的相似度确定装置中，区域分割部可以根据彼此不同的多个种类的区域图案将对象区域分割为每个区域图案的多个区域，
特征量计算部针对每个区域图案计算分割出的每个区域的第1特征量，
区域相似度导出部针对每个区域图案导出分割出的每个区域的区域相似度，
相似度导出部进行关于多个种类的区域图案的区域相似度的加权运算，从而导出第1医用图像与第2医用图像的相似度。
并且，在根据本发明的相似度确定装置中，相似度导出部可以通过权重系数和与观察结果的种类及区域图案的种类对应的区域图案权重系数，进行关于多个种类的区域图案的区域相似度的加权运算。
并且，在根据本发明的相似度确定装置中，还可以具备输入部，该输入部接受区域图案权重系数的变更指示，
相似度导出部通过权重系数和变更后的区域图案权重系数进行加权运算。
并且，在根据本发明的相似度确定装置中，特定观察结果可以是病变的观察结果。
并且，在根据本发明的相似度确定装置中，观察结果分类部可以具有进行了机械学习以将多个种类的观察结果进行分类的判别器，由判别器将第1医用图像的各个像素分类为多个种类的观察结果中的至少一个观察结果。
并且，在根据本发明的相似度确定装置中，其还可以具备检索部，所述检索部参考病例数据库并根据第1医用图像与多个第2医用图像的相似度来检索与第1医用图像相似的第2医用图像作为相似医用图像，所述病例数据库中登记有多个第2医用图像，并且将关于多个第2医用图像的每一个图像的第2特征量与多个第2医用图像的每一个图像对应关联地登记。
并且，在根据本发明的相似度确定装置中，还可以具备显示控制部，所述显示控制部将相似医用图像的检索结果显示于显示部。
并且，在根据本发明的相似度确定装置中，可以在第1医用图像及第2医用图像包含肺且对象区域是肺区域的情况下，
区域分割部从肺区域提取支气管，并以支气管的位置为基准将肺区域分割为多个区域。
并且，在根据本发明的相似度确定装置中，区域分割部可以确定支气管的多个分支位置，并根据分支位置将肺区域分割为多个区域。
并且，在根据本发明的相似度确定装置中，区域分割部可以根据分支位置将肺区域沿上下方向分割为多个区域。
“上下方向”是指获取医用图像的受检体即患者的体轴方向。
并且，在根据本发明的相似度确定装置中，区域分割部可以将肺区域分割为距多个分支位置中的特定分支位置在特定距离内的区域和除了特定距离内的区域以外的区域。
并且，在根据本发明的相似度确定装置中，区域分割部可以将肺区域进一步分割为外侧区域和内侧区域。
并且，在根据本发明的相似度确定装置中，区域分割部可以将肺区域进一步分割为背侧区域和腹侧区域。
根据本发明的相似度确定方法确定第1医用图像与第2医用图像的相似度，在所述相似度确定方法中：
将第1医用图像中的对象区域分割为多个区域；
将第1医用图像的各个像素分类为至少一个观察结果；
针对分割出的每个区域，计算在第1医用图像中分类出的每个观察结果的第1特征量；
根据在第1医用图像中计算出的每个观察结果的第1特征量和在第2医用图像中预先计算出的每个观察结果的第2特征量，针对分割出的每个区域导出第1医用图像与第2医用图像的区域相似度；及
通过与分割出的各个区域的尺寸及分割出的各个区域中所包含的特定观察结果的尺寸中的至少一个对应的权重系数，进行多个区域相似度的加权运算，从而导出第1医用图像与第2医用图像的相似度。
另外，可以提供一种程序，其使计算机执行根据本发明的相似度确定方法。
根据本发明的另一相似度确定装置具备：存储器，存储用于使计算机执行确定第1医用图像与第2医用图像的相似度的处理的命令；及
处理器，以执行所存储的命令的方式构成，处理器执行如下处理：
将第1医用图像中的对象区域分割为多个区域；
将第1医用图像的各个像素分类为至少一个观察结果；
针对分割出的每个区域，计算在第1医用图像中分类出的每个观察结果的第1特征量；
根据在第1医用图像中计算出的每个观察结果的第1特征量和在第2医用图像中预先计算出的每个观察结果的第2特征量，针对分割出的每个区域导出第1医用图像与第2医用图像的区域相似度；及
通过与分割出的各个区域的尺寸及分割出的各个区域中所包含的特定观察结果的尺寸中的至少一个对应的权重系数，进行多个区域相似度的加权运算，从而导出第1医用图像与第2医用图像的相似度。
发明效果
根据本发明，根据对象区域内的观察结果位置及分布适当地进行加权，由此能够适当地确定第1医用图像与第2医用图像的相似度。
附图说明
图1是表示适用了根据本发明的第1实施方式的相似度确定装置的、诊断支持系统的概要的硬件结构图。
图2是表示根据第1实施方式的相似度确定装置的结构的概略框图。
图3是表示区域分割部的结构的概略框图。
图4是与肺区域一并表示支气管区域中的图结构的图。
图5是用于说明基于第1分割部的第1分割处理的图。
图6是用于说明基于第2分割部的第2分割处理的图。
图7是用于说明基于第3分割部的第3分割处理的图。
图8是用于说明基于第4分割部的第4分割处理的图。
图9是示意性地表示基于第1分割部至第4分割部的肺区域的分割结果的图。
图10是表示多层神经网络的一例的图。
图11是表示关于某一关注区域的中心像素的与观察结果的种类对应的评价值的图。
图12是表示被分配与分类对应的颜色的映射图像中的一剖面的图。
图13是表示观察结果体积的计算结果的图。
图14是表示检索结果列表的图。
图15是表示检索结果的图。
图16是表示在第1实施方式中进行的处理的流程图。
图17是区域分割处理的流程图。
图18是表示与区域图案对应的权重系数的图。
图19是表示与区域图案对应的权重系数的图。
图20是表示与区域图案对应的权重系数的图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。图1是表示适用了根据本发明的第1实施方式的相似度确定装置的、诊断支持系统的概要的硬件结构图。如图1所示，在诊断支持系统中，根据本实施方式的相似度确定装置1、三维图像摄影装置2及图像保管服务器3经由网络4以可通信的状态连接。
三维图像摄影装置2是通过拍摄受检体的成为诊断对象的部位而生成表示该部位的三维图像的装置，具体而言，是CT装置、MRI装置及PET(Positron Emission Tomography：正电子发射断层扫描)装置等。由该三维图像摄影装置2生成的、由多个切片图像组成的三维图像发送并保存于图像保管服务器3。另外，在本实施方式中，作为受检体的患者的诊断对象部位是肺，三维图像摄影装置2是CT装置，将包含受检体的肺的胸部CT图像生成为三维图像。
图像保管服务器3是保存并管理各种数据的计算机，具备大容量外部存储装置及数据库管理用软件。图像保管服务器3经由有线或无线网络4而与其他装置进行通信，并收发图像数据等。具体而言，经由网络获取包含由三维图像摄影装置2生成的三维图像的图像数据的各种数据，并保存在大容量外部存储装置等记录介质中进行管理。另外，图像数据的存储形式及经由网络4的各装置之间的通信基于DICOM(Digital Imaging andCommunication in Medicine：医学数字成像和通信)等协议。另外，在本实施方式中，在图像保管服务器3中保存有成为检查对象的三维图像(以下，设为检查图像)及登记有病例图像的病例数据库DB。关于病例数据库DB将进行后述。并且，在本实施方式中，检查图像是由一个以上的切片图像(以下，设为检查切片图像)组成的三维图像。并且，病例图像也是由一个以上的切片图像(以下，设为病例切片图像)组成的三维图像。另外，检查图像对应于第1医用图像，病例图像对应于第2医用图像。
相似度确定装置1将本发明的相似度确定程序安装到一台计算机。计算机可以是进行诊断的医生直接操作的工作站或个人电脑，也可以是经由网络与它们连接的服务器计算机。相似度确定程序记录并分发到DVD(Digital Versatile Disc：数字多功能光盘)或CD-ROM(Compact Disc Read Only Memory：光盘只读存储器)等记录介质中，并从该记录介质安装到计算机。或者，以从外部可以访问的状态存储于与网络连接的服务器计算机的存储装置或网络储存器，并根据要求下载并安装于医生所使用的计算机。
图2是表示根据本发明的实施方式的相似度确定装置的概略结构的图，所述第1实施方式是通过将相似度确定程序安装于计算机而实现。如图2所示，相似度确定装置1具备CPU(Central Processing Unit：中央处理器)11、存储器12及储存器13作为标准工作站的结构。并且，在相似度确定装置1上连接有由液晶显示器等组成的显示部14、由键盘及鼠标等组成的输入部15。
储存器13由硬盘及SSD(Solid State Drive：固态驱动器)等组成。在储存器13中存储有各种信息，该各种信息包括经由网络4从图像保管服务器3获取的受检体的检查图像及处理中所需信息。
并且，在存储器12中存储有相似度确定程序。相似度确定程序规定如下处理作为使CPU11执行的处理：图像获取处理，获取成为检查对象的检查图像；区域分割处理，将检查图像中的对象区域分割为多个区域；观察结果分类处理，将检查图像的各个像素分类为至少一个观察结果；特征量计算处理，针对分割出的每个区域计算在检查图像中分类出的每个观察结果的第1特征量；区域相似度导出处理，根据在检查图像中计算出的每个观察结果的第1特征量和在病例图像中预先计算出的每个观察结果的第2特征量，针对分割出的每个区域导出检查图像与病例图像的区域相似度；相似度导出处理，通过与分割出的各个区域的尺寸及分割出的各个区域中所包含的特定观察结果的尺寸中的至少一个对应的权重系数进行多个区域相似度的加权运算，以导出检查图像与病例图像的相似度；检索处理，根据导出的相似度来检索与检查图像相似的病例图像；及显示控制处理，将检索结果显示于显示部14。
而且，CPU11按照程序执行这些处理，由此计算机作为图像获取部21、区域分割部22、观察结果分类部23、特征量计算部24、区域相似度导出部25、相似度导出部26、检索部27及显示控制部28而发挥功能。
图像获取部21获取成为检查对象的受检体的检查图像V0。另外，在检查图像V0已保存在储存器13中的情况下，图像获取部21可以从储存器13获取检查图像V0。
区域分割部22将检查图像中的肺区域分割为多个区域。以下，对区域分割处理进行详细说明。图3是表示区域分割部22的结构的概略框图。如图3所示，区域分割部22具有：支气管提取部30，从检查图像中的肺区域提取支气管区域；第1分割部31，根据支气管的分支位置，将肺区域沿上下方向分割为多个区域；第2分割部32，将肺区域分割为距多个分支位置中的特定的分支位置在特定距离内的区域和除了特定距离内的区域以外的区域；第3分割部33，将肺区域分割为外侧区域和内侧区域；及第4分割部34，将肺区域分割为背侧区域和腹侧区域。
支气管提取部30从检查图像V0提取支气管的结构作为支气管区域。因此，支气管提取部30从检查图像V0提取对象区域即肺区域。作为提取肺区域的方法，能够使用将检查图像V0中的每个像素的信号值进行直方图化，并通过对肺进行阈值处理而提取的方法，或者基于表示肺的种子点的区域生长法(Region Growing)等任意的方法。另外，也可以使用进行了机械学习以提取肺区域的判别器。
然后，支气管提取部30提取从检查图像V0提取的肺区域中所包含的支气管区域的图结构作为三维支气管区域。作为提取支气管区域的方法，能够使用如下方法：例如使用在日本特开2010-220742号公报等中记载的Hesse矩阵来提取支气管的图结构，将所提取的图结构分类为起点、端点、分支点及边，通过用边来连结起点、端点及分支点而提取支气管区域。另外，提取支气管区域的方法并不限定于此。
图4是与肺区域一并表示支气管提取部30所提取的支气管区域中的图结构的图。如图4所示，在左肺区域40L及右肺区域40R中包含支气管的图结构41。另外，在图结构41中，由白色圆圈示出支气管分支。
在此，肺区域由解剖学上的肺区域来分割，这在诊断上很重要。然而，在疾病进展了的病例中，肺区域的边界不清楚，因此不易根据肺区域进行区域分割。在这种情况下，假设将肺区域沿上下方向以体积均等的方式进行了三等分的情况下，由疾病区域扩展或缩小引起的区域尺寸的变化均匀地分散于分割出的区域，因此无法将疾病区域视为区域特征。在此，肺区域中所包含的支气管与朝向上主体的支气管及朝向下主体的支气管分离。因此，通过以支气管分支位置为基准分割肺区域，容易掌握进展了的疾病的肺区域内的局部变化。
因此，第1分割部31根据支气管的分支位置将肺区域沿上下方向分割为多个区域。具体而言，以支气管第1分支及支气管第3分支为基准，将左右肺区域分割为上、中、下三个区域。另外，本实施方式中的支气管第1分支相当于气管与左右支气管的分支点。而且，在本实施方式中，将随着从支气管第1分支朝向支气管末端而出现的分支依次称为第2支气管分支、第3支气管分支……。图5是用于说明基于第1分割部31的第1分割处理的图。另外，在左右肺区域的每个区域存在两个支气管第3分支。第1分割部31以位于受检体的体轴方向下侧的支气管第3分支为基准进行区域分割。如图5所示，第1分割部31在支气管第1分支B1中设定水平面42，在左右肺区域40L、40R中的下侧支气管第3分支B31中分别设定水平面43L、43R。另外，图5二维地示出肺区域，但是由于检查图像V0是三维图像，因此实际上如上所述设定水平面。在此，水平面是指与获取检查图像V0的受检体的体轴垂直地相交的平面。
第1分割部31将左肺区域40L分割为如下三个区域：水平面42与左肺区域40L的上端之间的左上肺区域40LU；水平面42与水平面43L之间的左中肺区域40LM；及水平面43L与左肺区域40L的下端之间的左下肺区域40LL。
并且，第1分割部31将右肺区域40R分割为如下三个区域：水平面42与右肺区域40R的上端之间的右上肺区域40RU；水平面42与水平面43R之间的右中肺区域40RM；及水平面43R与右肺区域40R的下端之间的右下肺区域40RL。
并且，由于肺门部附近的肺的中心区域中存在大的支气管及血管，因此当确定检查图像V0与病例图像的相似度时，优选与肺胞为主体的其他区域区分。由于肺的中心区域也会产生由疾病引起的整体肺的缩小及位移，因此优选以支气管的分支点为基准。
第2分割部32将肺区域分割为距多个分支位置中的特定的分支位置在特定距离内的区域和除了特定距离内的区域以外的区域。具体而言，在左右肺区域40L、40R中，设定具有以支气管第3分支为中心的特定半径的球形区域。图6是用于说明基于第2分割部32的第2分割处理的图。另外，在左右肺区域的每个区域存在两个支气管第3分支。第2分割部32在左右肺区域40L、40R中的两个支气管第3分支B31、B32的每一个中设定具有特定半径的球形区域。即，如图6所示，第2分割部32对左肺区域40L设定以下侧支气管第3分支B31为中心的球形区域44L1、及以上侧支气管第3分支B32为中心的球形区域44L2。并且，第2分割部32对右肺区域40R设定以下侧支气管第3分支B31为中心的球形区域44R1、及以上侧支气管第3分支B32为中心的球形区域44R2。
另外，球形区域的半径根据从支气管第3分支B31、B32到左右肺区域的左右端部为止的距离进行设定即可。例如，将球形区域的半径设为该距离的0.5～0.65倍即可。在此，在图6所示右肺区域40R中，从支气管第3分支B31到右肺区域40R的右端为止距离大于从支气管第3分支B32到右肺区域40R的右端为止的距离。因此，球形区域的半径为球形区域44R1＞球形区域44R2。另一方面，在图6所示左肺区域40L中，从支气管第3分支B31、B32的每一个到左肺区域40L的左端为止的距离大致相同。因此，球形区域的半径在球形区域44L1和球形区域44L2中大致相同。
然后，第2分割部32将左肺区域40L分割为由球形区域44L1及球形区域44L2组成的左中心区域44LC、及除了左中心区域44LC以外的区域44LO。
并且，将右肺区域40R分割为由球形区域44R1和球形区域44R2组成的右中心区域44RC和除了右中心区域44RC以外的区域44RO。另外，区域44LO及区域44RO成为肺胞为主体的区域。
第3分割部33将肺区域分割为外侧区域和内侧区域。在此，第3分割部33仅将由第2分割部32分割的区域44LO及区域44RO分割为外侧区域和内侧区域。图7是用于说明基于第3分割部33的第3分割处理的图。另外，图7中示出轴向平面的断层图像G1、矢状平面的断层图像G2及冠状平面的断层图像G3。第3分割部33将肺区域分割为从胸膜起肺区域的体积为50～60％的外侧区域和除此以外的内侧区域。具体而言，第3分割部33将左肺区域40L分割为外侧区域40Lex及内侧区域40Lin，将右肺区域40R分割为外侧区域40Rex及内侧区域40Rin。
另外，由第3分割部33将由第1分割部31分割的左上肺区域40LU、左中肺区域40LM、左下肺区域40LL、右上肺区域40RU、右中肺区域40RM及右下肺区域40RL分别被分割为外侧区域和内侧区域。
第4分割部34将肺区域分割为背侧区域和腹侧区域。在此，第4分割部34仅将由第2分割部32分割的区域44LO及区域44RO分割为背侧区域和腹侧区域。图8是用于说明基于第4分割部34的第4分割处理的图。另外，图8中示出轴向平面的断层图像G1及矢状平面的断层图像G2。第4分割部34以将肺区域的体积进行二等分的冠状平面为基准，将肺区域分割为背侧区域和腹侧区域。具体而言，第4分割部34在左肺区域40L中设定成为基准的冠状剖面46L，以冠状剖面46L为基准，将左肺区域40L分割为背侧区域40LB及腹侧区域40LF。并且，第4分割部34在右肺区域40R中设定成为基准的冠状剖面46R，以冠状剖面46R为基准，将右肺区域40R分割为背侧区域40RB及腹侧区域40RF。
另外，由第4分割部34将由第3分割部33分割的左上肺区域40LU、左中肺区域40LM、左下肺区域40LL、右上肺区域40RU、右中肺区域40RM及右下肺区域40RL各自的外侧区域和内侧区域进一步分割为背侧区域和腹侧区域。
图9是示意性地表示基于第1分割部31到第4分割部34的肺区域的分割结果的图。图9中的上侧图表示肺区域的轴向剖面，下侧图表示冠状剖面。并且，图9中仅对左中心区域40LC及右中心区域40RC赋予符号，通过分割而获取的其他区域省略了符号。通过由第1分割部31到第4分割部34的分割，左右肺区域分别分割为13个区域。
另外，由区域分割部22对肺区域进行的分割并不限定于上述第1分割～第4分割。例如，肺疾病之一的间质性肺炎有时病变部扩展到支气管及血管的周围。因此，可以在肺区域中提取支气管区域及血管区域，并且将肺区域分割为支气管区域及血管区域的周围的预先确定的范围的区域和除此以外的区域。另外，作为预先确定的范围，能够设为从支气管及血管的表面在1cm左右范围内的区域。
观察结果分类部23将检查图像V0中所包含的肺区域的各个像素分类为至少一个观察结果。具体而言，观察结果分类部23针对检查图像V0中所包含的肺区域的每个像素，计算表示是多个种类的组织或病变(即，观察结果)中的每一个组织或病变的可能性的多个评价值，并根据多个评价值将检查图像V0的各个像素分类为多个种类的观察结果中的至少一种观察结果。在本实施方式中，观察结果分类部23将检查图像V0的各个像素分类为一个观察结果。
本实施方式的观察结果分类部23具有由通过机械学习之一的深度学习(Deeplearning)而生成的多层神经网络组成的判别器，并使用该判别器来确定检查图像V0的各个像素所属的观察结果的种类。另外，作为机械学习方法，并不限定于深度学习，也能够使用支持向量机等其他方法。
在多层神经网络中，在各个层中使用各种内核对由前一层级得到的不同的多个特征量数据进行运算处理。而且，在下一级以后的层中，对通过该运算处理而得到的特征量数据进一步进行运算处理，由此能够提高特征量的识别率，并能够将所输入的数据分类为多个类别。
另外，在本实施方式中，将多层神经网络描述为输入检查图像V0并输出对肺区域的多个种类的观察结果的分类结果，但是可以构成为输入构成检查图像V0的多个检查切片图像的每一个图像，并输出对肺区域的多个种类的观察结果的分类结果。
图10是表示多层神经网络的一例的图。如图10所示，多层神经网络50由包含输入层51及输出层52的多个层级组成。在本实施方式中进行了学习，以将检查图像V0中所包含的肺区域分类为如下多个观察结果，例如浸润阴影、肿瘤阴影、毛玻璃阴影、小叶中心结节阴影、非小叶中心结节阴影、点状阴影、网状阴影、线状阴影、小叶间隔增厚、蜂窝肺、囊肿、低吸收区(气肿)、气肿倾向、空腔、胸膜增厚、胸腔积液、支气管扩张、牵拉性支气管扩张、血管、正常肺、胸壁及纵隔等。另外，观察结果的种类并不限定于这些，可以是比这些更多的观察结果，也可以是比这些更少的观察结果。
在本实施方式中，使用几百万大量的教师数据使多层神经网络50学习这些观察结果。当学习时，从观察结果的种类已知的剖面图像中剪切预先确定尺寸(例如1.5cm×1.5cm)的关注区域，并将该关注区域用作教师数据。然后，将教师数据输入到多层神经网络50，并输出观察结果的种类的分类处理的结果(以下，设为分类结果)。接着，将所输出的结果与教师数据进行比较，根据正确与否，从输出侧向输入侧对多层神经网络50的各个层中所包含的单元(图10中由圆圈表示)的各个层级之间的结合权重进行修正。使用大量的教师数据重复进行结合权重的修正，直到预先确定的次数或所输出的分类结果的正确率成为100％为止，并结束学习。
另外，在输入图像是检查切片图像的情况下，当学习多层神经网络50时，从构成病变已知的三维图像的切片图像中剪切标准化为预先确定尺寸(例如1.5cm×1.5cm)的二维区域，并将所剪切的二维区域图像用作教师数据。
观察结果分类部23为了分类而从检查图像V0中提取作为对象区域的肺区域。肺区域的提取以与上述支气管提取部30相同的方式进行即可。并且，在观察结果分类部23中，可以使用支气管提取部30所提取的肺区域。
观察结果分类部23当进行观察结果分类处理时，从检查图像V0的肺区域中依次剪切与教师数据相同大小的关注区域，并将该关注区域输入到由多层神经网络50组成的判别器。由此，对所剪切的关注区域的中心像素输出与观察结果各个分类对应的评价值。另外，与该各个分类对应的评价值是表示中心像素属于各个分类的可能性的评价值，表示该评价值越大，属于该分类的可能性越高。
图11是表示关于某一关注区域的中心像素的与观察结果的种类对应的评价值的图。另外，在图11中，为了简化说明而示出关于一部分观察结果的评价值。在本实施方式中，判别器将关注区域的中心像素分类为多个观察结果中评价值为最大的观察结果。例如，在获取如图11所示评价值的情况下，该关注区域的中心像素是网状阴影的可能性最高，其次是毛玻璃阴影的可能性高。相反地，几乎没有正常肺或低吸收区的可能性。因此，在获取如图11所示评价值的情况下，通过观察结果分类处理，关注区域的中心像素被分类为评价值为最大的8.5的网状阴影。由此，检查图像V0中所包含的肺区域的所有像素被分类为多个种类的观察结果中的任一个观察结果。
如此，观察结果分类部23将输入到多层神经网络50的关注区域的中心像素分类为多个评价值中最大评价值的观察结果，并生成观察结果分类结果。由此，检查图像V0中所包含的肺区域的所有像素分类为多个种类的观察结果中的任一个观察结果。
观察结果分类部23根据观察结果分类处理的结果对检查图像V0中的各个分类区域分配颜色，由此生成映射图像。具体而言，关于分类为上述多个种类的观察结果中的任一个观察结果的三维空间上的所有像素，观察结果分类部23对同一分类的像素分配相同颜色，由此生成三维映射图像。图12是表示对多个种类的各个分类分配与该分类对应的颜色的映射图像中的一剖面的图。另外，在图12中，为了简化说明，示出分类为毛玻璃阴影、正常肺、支气管扩张、蜂窝肺、网状阴影、浸润阴影、低吸收区及囊肿八个种类的观察结果时的映射图像。
另外，可以由后述显示控制部28将映射图像显示于显示部14。当将映射图像显示于显示部14时，如图12所示，显示三维映射图像中的任意剖面的图像即可。然而，并不限定于此，也可以将三维映射图像显示于显示部14。
特征量计算部24针对在检查图像V0中分类出的每个观察结果计算特征量。具体而言，计算每个观察结果区域的大小、每个观察结果的平均浓度、每个观察结果的浓度的分散度、每个观察结果区域的数量及每个观察结果区域的平均尺寸等至少一个作为特征量。另外，将关于检查图像V0计算出的特征量称为第1特征量。并且，每个观察结果区域的大小、每个观察结果区域的数量及每个观察结果区域的平均尺寸等是尺寸特征量。作为每个观察结果区域的大小，能够使用每个观察结果区域的体积。
另外，在上述病例数据库DB中，针对多个病例图像的每一个图像登记有文件名、各个像素中的关于多个观察结果的评价值、以及每个观察结果的特征量。将关于病例图像登记在病例数据库DB中的特征量称为第2特征量。第1特征量及第2特征量标准化为0以上且1以下的值。并且，关于检查图像V0，若获取各个像素中的关于多个观察结果的评价值及每个观察结果的特征量，则该检查图像V0登记在病例数据库DB中作为新的病例图像。此时，关于该检查图像V0的评价值及第1特征量作为新的病例图像的评价值及第2特征量登记于病例数据库DB。
区域相似度导出部25根据在检查图像V0中计算出的每个观察结果的第1特征量和在病例图像中预先计算出的每个观察结果的第2特征量，针对分割出的每个区域导出检查图像V0与病例图像的相似度即区域相似度。另外，区域相似度导出部25针对与检查图像V0和登记在病例数据库DB中的所有病例图像对应的每个区域导出区域相似度。
为此，区域相似度导出部25将关于检查图像V0计算出的第1特征量标准化为0以上且1以下的值。然后，如下述式(1)所示，在分割出的各个区域中，针对每个观察结果计算第1特征量与病例图像的第2特征量的距离之差作为特征量之差Ddi。另外，在式(1)中，i表示观察结果的种类，k表示特征量的种类，Tvk表示检查图像V0中的每个种类的第1特征量，Tck表示病例图像中的每个种类的第2特征量。另外，计算差分的第1特征量与第2特征量的特征量的种类相同。并且，在式(1)中，∑表示求出关于所有种类的特征量的(Tvk-Tck)2的总和。另外，由于第1特征量及第2特征量标准化为0以上且1以下的值，因此特征量之差Ddi也成为0以上且1以下的值。并且，在第1特征量Tvk与第2特征量Tck一致的情况下，特征量之差Ddi为0。另外，可以使用第1特征量与第2特征量之差的绝对值等来代替第1特征量与第2特征量的距离之差。
Ddi＝√(∑(Tvk-Tck)2) (1)
然后，区域相似度导出部25由下述式(2)计算检查图像V0与病例图像的区域相似度Sj0。即，在分割出的各个区域中，按每个观察结果，对所有观察结果相加特征量之差Ddi，由此计算区域相似度Sj0。在式(2)中，j表示分割出的区域的种类。另外，在使用式(2)计算出区域相似度Sj0的情况下，第1特征量与第2特征量的距离越小，检查图像V0与病例图像对应的区域越相似。因此，在式(2)中赋予负号，检查图像V0与病例图像越相似，区域相似度Sj0的值变得越大。
Sj0＝-∑Ddi (2)
另一方面，在通过上述式(2)计算出区域相似度Sj0的情况下，若相同的观察结果是相同尺寸，则区域相似度Sj0成为0。然而，在比较相同的病变彼此的情况下，事实上，病变越大，越相似。在由上述式(2)计算出区域相似度Sj0的情况下，在尺寸较大的观察结果为相同的特征量的情况、以及尺寸较小的观察结果为相同的特征量的情况这两者并没有差异，未能反映出病变尺寸越大越相似的事实。
从而，关于检查图像V0及病例图像的被分割出的区域中所包含的相同的观察结果，不应该将尺寸仅视为差异，而优选使尺寸越相似，区域相似度越大。因此，在本实施方式中，区域相似度导出部25由以下式(3)在检查图像V0与病例图像之间进一步计算分割出的各个区域中每个观察结果的尺寸差Dsi。另外，在式(3)中，分割出的各个区域中的Pvi表示检查图像V0的观察结果i的观察结果占有率，Pci表示病例图像的观察结果i的观察结果占有率。
Dsi＝1-|Pvi-Pci|/(Pvi+Pci) (3)
从而，区域相似度导出部25优选由下述式(4)计算检查图像V0与病例图像的区域相似度Sj1。在此，在检查图像V0及病例图像的被分割出的各个区域中，观察结果特征量越相似，Ddi值越小，在检查图像V0及病例图像的被分割出的各个区域中，观察结果的尺寸越相似，Dsi的值越大。因此，通过使用式(4)而能够考虑关于相同观察结果的尺寸而计算检查图像V0与病例图像对应的区域越相似，值越大的区域相似度Sj1。
Sj1＝∑(Dsi-Ddi) (4)
在此，观察结果占有率如下所述计算。首先，区域相似度导出部25在分割出的各个区域中计算各个观察结果i的体积。观察结果体积能够通过对各个区域中所包含的各个观察结果像素数相乘检查图像V0的每一体素的体积而计算。图13中示出观察结果体积的计算结果。在图13中，体积单位是立方毫米。然后，区域相似度导出部25通过各个区域的体积对观察结果体积进行标准化而计算观察结果占有率(＝观察结果体积/肺体积)。另外，可以使观察结果占有率作为尺寸特征量包含在第1特征量中，并在特征量计算部24中进行计算。
另外，在由式(4)计算出区域相似度Sj1的情况下，区域相似度Sj1的最大值根据检查图像V0中的被分割出的各个区域而不同。因此，优选根据检查图像V0与病例图像的对应区域之间的区域相似度Sj1为最大的条件，即，在检查图像V0与病例图像的对应区域之间没有差异的条件，对区域相似度Sj1进行标准化。式(5)是根据检查图像V0与病例图像的对应区域之间的区域相似度Sj1为最大的条件Sjmax，对由式(4)计算出的区域相似度Sj1进行了标准化。在式(5)中，Sj2是标准化了的区域相似度。
Sj2＝Sj1/Sjmax＝∑(Dsi-Ddi)/Sjmax (5)
另外，在由式(2)计算区域相似度的情况下，也优选对区域相似度Sj0进行标准化。式(6)是根据检查图像V0与病例图像的对应区域之间的区域相似度Sj0为最大的条件，对式(2)进行了标准化。在式(6)中，Sj3是标准化了的区域相似度。
Sj3＝Sj0/Sjmax＝∑Dsi/Sjmax (6)
相似度导出部26通过与分割出的各区域的尺寸及分割出的各区域中所包含的特定观察结果的尺寸中的至少一个对应的权重系数进行多个区域相似度的加权运算，从而导出检查图像V0与病例图像的相似度。另外，相似度导出部26使用区域相似度Sj2来导出检查图像V0与病例图像的相似度。
在此，在肺疾病中的肺纤维症等中，在肺下侧优选位置及胸膜正下方优选位置容易出现网状阴影及蜂窝肺观察结果，相反地，通常在细菌性肺炎的初期不会出现在胸膜正下方，而从内部侧起毛玻璃阴影及浸润阴影扩展。并且，吸入性肺炎等容易产生于肺的背侧。如此，在肺疾病中，针对每种疾病在肺中存在特征性发作位置。为了考虑这种发作位置的特征而导出检查图像V0与病例图像的相似度，在所有区域相加针对所分割的每个区域导出的区域相似度Sj2，由此能够考虑疾病发作位置的相似性而导出检查图像V0与病例图像的相似度。
然而，由如上所述区域分割部22分割的区域的尺寸按每个区域而不同。为了不取决于区域尺寸而导出相似度，由分割出的区域的尺寸对区域相似度Sj2进行加权即可。并且，存在医学上重要的区域等，优选对这种重要的区域增大权重。
此外，通常，以病变为主体而导出相似度，并进行病例图像的检索。
因此，存在病变的区域是重要的区域，将检查图像V0的被分割出的各个区域中的病变的大小根据肺的所有区域内的病变的大小进行标准化，由此对区域相似度Sj2进行与所获取的病变比例对应的加权，从而能够着重于病变而导出检查图像V0与病例图像的相似度。并且，通过如此导出相似度，能够检索医生所期望的病例图像。
例如，将肺区域分割为10个区域。在分割出的10个区域中，9个区域是正常状态，在一个区域中存在病变。在这种情况下，在10个区域的每个区域中导出的区域相似度全部为0.9的情况下，若对所有区域进行均等的评价，则检查图像V0与病例图像的相似度为9.0。另一方面，在10个区域中处于正常状态下的9个区域中导出的区域相似度全部为1.0，且在存在病变的区域中导出的区域相似度为0的情况下，若对所有区域进行均等的评价，则检查图像V0与病例图像的相似度为9.0，其与在10个区域的每个区域中导出的区域相似度全部为0.9时相同。从而，通过增大存在病变的区域的区域相似度的权重，并减小正常区域的区域相似度的权重，能够导出考虑到存在病变的区域的相似度。
因此，在本实施方式中，相似度导出部26将多个种类的观察结果分类为正常肺及气肿倾向等成为背景的观察结果组(以下，设为背景观察结果组)、以及点状阴影、毛玻璃阴影及浸润阴影等成为病变的观察结果组(以下，设为病变观察结果组)。然后，仅使用分类为病变观察结果组的观察结果来计算导出检查图像V0与病例图像的相似度时使用的权重系数Wj。具体而言，由下述式(7)计算每个区域的权重系数Wj。在式(7)中，Aj是区域j的尺寸，Pv1ij是关于分类到区域j中的病变观察结果组的所有观察结果的观察结果占有率。另外，可以将Aj设为权重系数Wj，也可以将Pv1ij设为权重系数Wj。
Wj＝Aj×Pv1ij (7)
相似度导出部26使用由式(7)计算出的权重系数Wj，并由下述式(8)计算检查图像V0与病例图像的相似度St。在式(8)中，B0是对整个肺区域的尺寸相乘关于分类到肺区域内的病变观察结果组的所有观察结果的观察结果占有率的值。
St＝∑(Wj×Sj2)/B0 (8)
另一方面，关于成为病变的观察结果，重要性也根据观察结果的种类而不同。因此，优选考虑观察结果重要性而导出相似度。因此，相似度导出部26由下述式(9)设定每个观察结果的重要性Ii。另外，在式(9)中，i是分类为病变的观察结果的种类，fi是以分类到检查图像V0的被分割出的各个区域中的病变的每个观察结果的观察结果占有率Pvi为参数的函数。
Ii＝fi(Pvi) (9)
在此，如图13所示，在大尺寸观察结果和小尺寸观察结果中，体积值的位数不同。因此，优选通过函数fi将作为三维信息的观察结果占有率转换为等效的二维等以降低维数。由此，观察结果的尺寸的差异与医生的感觉一致。因此，如上所述，尺寸小却重要性高的观察结果为了提高其重要性，优选通过函数fi转换为非线性。因此，在本实施方式中，如下述式(10)所示设定函数fi。
fi＝a·(b·X+(1-b)·Xc) (10)
另外，在式(10)中，a是确定每个观察结果的整体重要性差异的常数。c取1以下的值，并且是确定强调小尺寸观察结果的效果的常数。b是确定基于常数c的效果的程度的常数。并且，X＝(Pvi)2/3。通过对观察结果占有率Pv进行2/3次方，将观察结果占有率Pvi从三维转换成等效的二维。
相似度导出部26针对每个观察结果设定式(10)所示函数并适用于式(9)，由此针对分割出的每个区域设定关于分类到病变的各个观察结果的重要性Iij。然后，如下述式(11)所示，相似度导出部26计算如此设定的重要性Iij在区域内的总和，并通过对其相乘区域的尺寸Aj而计算权重系数W1j。另外，可以将ΣIij设为权重系数W1j。
W1j＝Aj×∑Iij (11)
然后，相似度导出部26使用由式(11)计算出的权重系数W1j，并由下述式(12)计算检查图像V0与病例图像的相似度St。在式(12)中，B1是将关于分类到肺区域内的病变观察结果组的所有观察结果的重要性Iij的总和相乘于整个肺区域的尺寸的值。
St＝∑(W1j×Sj2)/B1 (12)
检索部27进行检索处理，该检索处理根据相似度St从病例数据库DB中检索与检查图像V0相似的病例图像作为相似病例图像。首先，对病例数据库DB进行说明。
在病例数据库DB中登记有多个由一个以上病例切片图像组成的病例图像。具体而言，将多个病例图像的每一个图像的观察结果分类结果、特征量(即，第2特征量)与多个病例图像的每一个图像对应关联地登记。在本实施方式中，若重新获取检查图像V0，则检查图像V0作为新的病例图像登记到病例数据库DB。
检索部27根据检查图像V0与登记到病例数据库DB中的所有病例图像的相似度St，检索与检查图像V0相似的病例图像作为相似病例图像。具体而言，检索部27以相似度St大的顺序将病例图像进行排序，从而制作检索结果列表。图14是表示检索结果列表的图。如图14所示，在检索结果列表L0中，登记到病例数据库DB中的病例图像以相似度St大的顺序排序。然后，检索部27从病例数据库DB中提取检索结果列表L0中的排序顺序为上位规定数的病例图像作为相似病例图像。
显示控制部28将基于检索部27的检索结果显示于显示部14。图15是表示检索结果的图。如图15所示，在检索结果61中显示有作标记的检查图像V1及作标记的相似病例图像R1～R4。另外，在此显示有四个相似病例图像R1～R4，但是还可以显示更多相似病例图像。
在图15中，检查图像V1及相似病例图像R1～R4是通过预先确定的投影方法拍摄到的投影图像。另外，在图15中，为了说明仅示出五个种类的标记，但是实际上根据分类出的观察结果的种类进行标记。在检查图像V1的下方，显示有轴向剖面、矢状剖面及冠状剖面三个剖面中的检查切片图像62～64。并且，在相似病例图像R1～R4的下方，也显示有相同的三个剖面中的病例切片图像。并且，在检查图像V1的下方显示的检查切片图像62～64、以及在相似病例图像R1～R4的下方显示的病例切片图像的切片面，可以通过来自输入部15的操作而切换。
接着，对第1实施方式中进行的处理进行说明。图16是表示在第1实施方式中进行的处理的流程图。首先，图像获取部21获取检查图像V0(步骤ST1)，区域分割部22将检查图像V0中的肺区域分割为多个区域(步骤ST2)。
图17是区域分割处理的流程图。在区域分割处理中，支气管提取部30从检查图像V0提取支气管结构作为支气管区域(步骤ST11)。接着，第1分割部31根据支气管的分支位置，将肺区域沿上下方向分割为多个区域(第1分割处理；步骤ST12)。并且，第2分割部32将肺区域分割为中心区域和除了中心区域以外的区域(第2分割处理；步骤ST13)。并且，第3分割部33将肺区域分割为外侧区域和内侧区域(第3分割处理；步骤ST14)。然后，第4分割部34将肺区域分割为背侧区域和腹侧区域(第4分割处理；步骤ST15)，并结束区域分割处理。
返回到图16，观察结果分类部23将检查图像V0中所包含的肺区域的各个像素分类为至少一个观察结果，并生成观察结果分类结果(步骤ST3)。然后，特征量计算部24针对分割出的每个区域，且针对在检查图像V0中分类出的每个观察结果计算第1特征量(步骤ST4)。并且，区域相似度导出部25根据在检查图像V0中计算出的每个观察结果的第1特征量和在病例图像中预先计算出的每个观察结果的第2特征量，导出分割出的每个区域的检查图像V0与病例图像的相似度即区域相似度(步骤ST5。此外，相似度导出部26进行多个区域相似度的加权运算，从而导出检查图像V0与病例图像的相似度(步骤ST6)。另外，如上所述、相似度导出部26导出检查图像V0与登记在病例数据库DB中的所有病例图像的相似度。此外，检索部27根据相似度进行检索处理(步骤ST7)，显示控制部28将检索结果显示于显示部14(步骤ST8)，并结束处理。
如此，根据本实施方式，检查图像V0中的肺区域被分割为多个区域，检查图像V0的各个像素分类为至少一个观察结果。并且，针对分割出的每个区域，计算在检查图像V0中分类出的每个观察结果的第1特征量。然后，根据在检查图像V0中计算出的每个观察结果的第1特征量和在病例图像中预先计算出的每个观察结果的第2特征量，针对分割出的每个区域导出检查图像V0与病例图像的区域相似度。此外，通过与分割出的各个区域的尺寸及分割出的各个区域中所包含的特定观察结果的尺寸中的至少一个对应的权重系数进行多个区域相似度的加权运算，从而导出检查图像V0与病例图像的相似度。根据本实施方式，由于如此进行分割出的每个区域的区域相似度的加权运算，因此通过根据对象区域内的观察结果位置及分布适当地进行加权，能够适当地确定检查图像V0与病例图像的相似度。
接着，对本发明的第2实施方式进行说明。在上述第1实施方式中，关于通过区域分割部22进行分割而得到的左右各13个区域导出区域相似度，从而导出检查图像V0与病例图像的相似度。在第2实施方式中，与第1实施方式不同点在于，根据彼此不同的多个种类的区域图案，将肺区域分割为每个区域图案的多个区域，并针对每个区域图案导出区域相似度。另外，基于第2实施方式的相似度确定装置的结构与基于第1实施方式的相似度确定装置的结构相同，只有进行的处理不同，因此在此省略关于装置的详细说明。
在此，肺中的疾病发作位置是疾病的特征性位置且涉及到较广范围的情况下，如上述第1实施方式那样，即使由一个区域图案来分割肺区域，也能够适当地导出检查图像V0与病例图像的相似度。然而，在肿瘤性病变等局部发作且在肺区域内的各种位置发作的病变的情况下，即使在检查图像V0和病例图像两者中存在病变，若在检查图像V0和病例图像的对应区域不存在病变，则相似度值不会增大。其结果，导致无法检索与检查图像V0相似的病例图像。
通常，局部发作的局部病变与弥漫性病变的特征不同。从而，这些病变被分类为不同的观察结果。例如，毛玻璃阴影及网状阴影等观察结果是弥漫性病变，结节阴影等观察结果是局部病变。在被分类为弥漫性病变的观察结果的情况下，导出将肺区域分割为更精细的每个区域的区域相似度，由此能够适当地导出检查图像V0与病例图像的相似度。另一方面，在被分类为局部病变的观察结果的情况下，导出将肺区域分割为更粗略的每个区域的区域相似度，由此能够适当地导出检查图像V0与病例图像的相似度。
因此，在第2实施方式中，如第1实施方式那样，除了将左右肺区域分别分割为十三个区域的区域图案(以下，设为第1区域图案)以外，也根据通过由第1分割部31仅进行第1分割处理而获取的分割区域的图案(以下，设为第2区域图案)、通过由第2分割部32仅进行第2分割处理而获取的分割区域的图案(以下，设为第3区域图案)、通过由第3分割部33仅进行第3分割处理而获取的分割区域的图案(以下，设为第4区域图案)、及通过由第4分割部34仅进行第4分割处理而获取的分割区域的图案(以下，设为第5区域图案)导出区域相似度。
另外，在第2实施方式中，左右肺区域40L、40R完全未分割的状态也包含于区域图案之一(第6区域图案)。
在此，在第2实施方式中，无需使用所有的第1～第6区域图案，而由其中两个以上的区域图案来分割左右肺区域40L、40R即可。另外，一个肺区域由第1区域图案分割为十三个，由第2区域图案分割为三个，由第3区域图案分割为两个，由第4区域图案分割为两个，由第5区域图案分割为两个，由第6区域图案分割为一个。因此，在使用所有的第1～第6区域图案的情况下，区域相似度在一个肺区域中导出23个(左右肺中46个)。
在第2实施方式中，相似度导出部26对基于所有区域图案的区域相似度，由以下式(13)计算每个区域的权重系数W2j。在式(13)中，Iij是针对分割出的每个区域关于分类到病变的每个观察结果的重要性，PWir是对由区域图案r分割的区域中所包含的观察结果i的权重系数。从而，式(13)计算由针对与区域图案对应的观察结果i的权重系数PWir对所分割的每个区域的观察结果重要性Iij进行了加权的值在区域内的总和，并对其相乘区域的尺寸Aj，由此计算权重系数W2j。另外，权重系数PWir是区域图案权重系数。并且，可以将∑(PWir×Iij)设为权重系数W2j。
W2j＝Aj×∑(PWir×Iij) (13)
图18是表示权重系数PWir的示例的图。另外，在图18中，第1、第2及第6分别表示第1区域图案(片肺13分割)、第2区域图案(片肺3分割)及第6区域图案(片肺1分割)。如图18所示，例如，对于由第1区域图案分割的区域中所包含的毛玻璃阴影的观察结果，作为权重系数PWir而设定有0.7。并且，对于由第2区域图案分割的区域中所包含的毛玻璃阴影的观察结果，作为权重系数PWir而设定有0.3。并且，对于由第6区域图案分割的区域中所包含的毛玻璃阴影的观察结果，作为权重系数PWir而设定有0。权重系数PWir为0是指由式(13)计算的权重系数W2j也为0。另一方面，对于由第1区域图案分割的区域中所包含的结节阴影的观察结果，作为权重系数PWir设定有0。并且，对于由第2区域图案分割的区域中所包含的结节阴影的观察结果，作为权重系数PWir设定有0.5。并且，对于由第6区域图案分割的区域中所包含的结节阴影的观察结果，作为权重系数PWir设定有0.5。
从而，通过采用图18所示权重系数PWir，当导出相似度St时，对于毛玻璃阴影及网状阴影的观察结果，主要采用关于分割为精细的区域的区域相似度，对于结节阴影的观察结果，主要采用关于分割为粗略的区域的区域相似度。由此，能够考虑局部病变及弥漫性病变的特征而导出检查图像V0与病例图像的相似度St。
然后，在第2实施方式中，相似度导出部26使用由式(13)计算出的权重系数W2j，并由下述式(14)计算检查图像V0与病例图像的相似度St。在式(14)中，B3是将关于分类到肺区域内的病变观察结果组中的所有观察结果的W2j的总和相乘于整个肺区域的尺寸的值。
St＝∑(W2j×Sj2)/B3 (14)
另外，在上述第2实施方式中，可以将权重系数PWir设为可变更的权重系数。例如，根据在检查图像V0中关注病变是局部病变还是弥漫性病变，可以将权重系数PWir设为可变更权重系数。在该情况下，优选根据操作者从输入部15发出的变更指示，将权重系数PWir设为可变更权重系数。图19及图20是表示权重系数PWir的另一例的图。对于任何观察结果，图19所示权重系数PWir对第6区域图案的值均为0。通过使用这种权重系数PWir，在检查图像V0中关注病变只是局部病变的情况下，能够适当地检索相似病例图像。
另一方面，对于任何观察结果，图20所示权重系数PWir对第1区域图案的值均为0。通过使用这种权重系数PWir，在检查图像V0中关注病变只是弥漫性病变的情况下，能够适当地检索相似病例图像。
另外，在上述各实施方式中，导出检查图像V0与病例图像中的对应区域之间的区域相似度，但是并不限定于此。例如，不仅导出对应区域之间的区域相似度，也可以导出与除了对应区域以外的区域之间的区域相似度。当导出与除了对应区域以外的区域之间的区域相似度时，优选设为越靠近对应区域，越增大权重等。
并且，在上述各实施方式中，针对检查图像V0的每个像素，计算表示是多个种类的观察结果中的每一个观察结果的可能性的多个评价值，并根据多个评价值将检查图像V0的各个像素分类为多个种类的观察结果中的至少一个观察结果，但是观察结果分类方法并不限定于使用评价值的方法。
并且，在上述各实施方式中，在图像保管服务器3中保存有病例数据库DB，但是也可以在储存器13中保存病例数据库DB。
并且，在上述各实施方式中，将检查图像登记在病例数据库DB中，但是也可以将除了检查图像以外的图像作为登记对象图像而登记于病例数据库。
并且，在上述各实施方式中，例如作为图像获取部21、区域分割部22、观察结果分类部23、特征量计算部24、区域相似度导出部25、相似度导出部26、检索部27及显示控制部28等执行各种处理的处理部(processing unit)的硬件结构，能够使用以下所示各种处理器(processor)。在上述各种处理器中，如上所述，除了执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU以外，还包括FPGA(Field Programmable Gate Array：现场可编程门阵列)等在制造之后能够变更电路结构的处理器，即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific Integ ratedCircuit：专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器，即，专用电路等。
一个处理部可以由这些各种处理器中的一个来构成，也可以由相同种类或不同种类的两个以上处理器的组合(例如，多个FPGA的组合或CPU和FPGA的组合)来构成。并且，可以由一个处理器构成多个处理部。
作为由一个处理器构成多个处理部的例子，第一，有如下方式：以客户端、服务器等的计算机为代表，由一个以上CPU与软件的组合而构成一个处理器，该处理器作为多个处理部而发挥功能。第二，有如下方式：以片上系统(System on Chip：SoC)等为代表，使用由一个IC(Integrated Circuit：集成电路)芯片来实现包括多个处理部的整体系统的功能的处理器。如此，各种处理部构成为使用一个以上上述各种处理器作为硬件结构。
此外，作为这些各种处理器的硬件结构，更具体而言，能够使用组合半导体元件等电路元件的电路(circuitry)。
符号说明
1-相似度确定装置，2-三维图像摄影装置，3-图像保管服务器，4-网络，11-CPU，12-存储器，13-储存器，14-显示部，15-输入部，21-图像获取部，22-区域分割部，23-观察结果分类部，24-特征量计算部，25-区域相似度导出部，26-相似度导出部，27-检索部，28-显示控制部，30-支气管提取部，31-第1分割部，32-第2分割部，33-第3分割部，34-第4分割部，40L-左肺区域，40R-右肺区域，41-支气管，50-多层神经网络，51-输入层，52-输出层，61-检索结果，62～64-检查切片图像，B1、B31-支气管分支，DB-病例数据库，G1-轴向方向的剖面图像，G2-冠状方向的剖面图像，G3-矢状方向的剖面图像，L0-检查结果列表，R1～R4-相似病例图像，V0、V1-检查图像。

Claims (15)

1.一种相似度确定装置，其确定第1医用图像与第2医用图像的相似度，所述相似度确定装置具备：
区域分割部，将所述第1医用图像中的对象区域分割为多个区域；
观察结果分类部，将所述第1医用图像的各个像素分类为至少一个观察结果；
特征量计算部，针对分割出的每个所述区域，计算在所述第1医用图像中分类出的每个观察结果的第1特征量；
区域相似度导出部，根据在所述第1医用图像中计算出的每个所述观察结果的所述第1特征量和在所述第2医用图像中预先计算出的每个所述观察结果的第2特征量，针对分割出的每个所述区域导出所述第1医用图像与所述第2医用图像的区域相似度；及
相似度导出部，通过与分割出的各个所述区域的尺寸及分割出的各个所述区域中所包含的特定观察结果的尺寸中的至少一个对应的针对每个所述区域的权重系数，进行多个所述区域相似度的加权运算，从而导出所述第1医用图像与所述第2医用图像的相似度，
所述区域分割部根据彼此不同的多个种类的区域图案将所述对象区域分割为每个所述区域图案的多个区域，
所述特征量计算部针对每个所述区域图案计算分割出的每个所述区域的第1特征量，
所述区域相似度导出部针对每个所述区域图案导出分割出的每个所述区域的所述区域相似度，
所述相似度导出部进行关于所述多个种类的区域图案的所述区域相似度的加权运算，从而导出所述第1医用图像与所述第2医用图像的相似度。
2.根据权利要求1所述的相似度确定装置，其中，
所述相似度导出部通过所述权重系数和与所述观察结果的种类及所述区域图案的种类对应的区域图案权重系数，进行关于所述多个种类的区域图案的所述区域相似度的加权运算。
3.根据权利要求2所述的相似度确定装置，其中，
所述相似度确定装置还具备：
输入部，接受所述区域图案权重系数的变更指示，
所述相似度导出部通过所述权重系数和变更后的所述区域图案权重系数进行所述加权运算。
4.根据权利要求1至3中任一项所述的相似度确定装置，其中，
所述特定观察结果是病变的观察结果。
5.根据权利要求1至3中任一项所述的相似度确定装置，其中，
所述观察结果分类部具有进行了机械学习以将多个种类的所述观察结果进行分类的判别器，由该判别器将所述第1医用图像的各个像素分类为所述多个种类的所述观察结果中的至少一个观察结果。
6.根据权利要求1至3中任一项所述的相似度确定装置，其中，
所述相似度确定装置还具备检索部，所述检索部参考病例数据库并根据所述第1医用图像与多个所述第2医用图像的相似度来检索与所述第1医用图像相似的第2医用图像作为相似医用图像，所述病例数据库中登记有多个所述第2医用图像，并且将关于多个所述第2医用图像的每一个图像的所述第2特征量与多个所述第2医用图像的每一个图像对应关联地登记。
7.根据权利要求6所述的相似度确定装置，其中，
所述相似度确定装置还具备：
显示控制部，将所述相似医用图像的检索结果显示于显示部。
8.根据权利要求1至3中任一项所述的相似度确定装置，其中，
在所述第1医用图像及所述第2医用图像包含肺且所述对象区域是肺区域的情况下，
所述区域分割部从所述肺区域提取支气管，并以该支气管的位置为基准将所述肺区域分割为多个区域。
9.根据权利要求8所述的相似度确定装置，其中，
所述区域分割部确定所述支气管的多个分支位置，并根据该分支位置将所述肺区域分割为多个区域。
10.根据权利要求9所述的相似度确定装置，其中，
所述区域分割部根据所述分支位置将所述肺区域沿上下方向分割为多个区域。
11.根据权利要求9所述的相似度确定装置，其中，
所述区域分割部将所述肺区域分割为距所述多个分支位置中的特定分支位置在特定距离内的区域和除了该特定距离内的区域以外的区域。
12.根据权利要求8所述的相似度确定装置，其中，
所述区域分割部将所述肺区域进一步分割为外侧区域和内侧区域。
13.根据权利要求8所述的相似度确定装置，其中，
所述区域分割部将所述肺区域进一步分割为背侧区域和腹侧区域。
14.一种相似度确定方法，其确定第1医用图像与第2医用图像的相似度，在所述相似度确定方法中，
将所述第1医用图像中的对象区域分割为多个区域；
将所述第1医用图像的各个像素分类为至少一个观察结果；
针对分割出的每个所述区域，计算在所述第1医用图像中分类出的每个观察结果的第1特征量；
根据在所述第1医用图像中计算出的每个所述观察结果的所述第1特征量和在所述第2医用图像中预先计算出的每个所述观察结果的第2特征量，针对分割出的每个所述区域导出所述第1医用图像与所述第2医用图像的区域相似度；及
通过与分割出的各个所述区域的尺寸及分割出的各个所述区域中所包含的特定观察结果的尺寸中的至少一个对应的针对每个所述区域的权重系数，进行多个所述区域相似度的加权运算，从而导出所述第1医用图像与所述第2医用图像的相似度，
根据彼此不同的多个种类的区域图案将所述对象区域分割为每个所述区域图案的多个区域，
针对每个所述区域图案计算分割出的每个所述区域的第1特征量，
针对每个所述区域图案导出分割出的每个所述区域的所述区域相似度，
进行关于所述多个种类的区域图案的所述区域相似度的加权运算，从而导出所述第1医用图像与所述第2医用图像的相似度。
15.一种记录介质，记录有使计算机执行确定第1医用图像与第2医用图像的相似度的处理的相似度确定程序，所述相似度确定程序使计算机执行如下步骤：
将所述第1医用图像中的对象区域分割为多个区域的步骤；
将所述第1医用图像的各个像素分类为至少一个观察结果的步骤；
针对分割出的每个所述区域，计算在所述第1医用图像中分类出的每个观察结果的第1特征量的步骤；
根据在所述第1医用图像中计算出的每个所述观察结果的所述第1特征量和在所述第2医用图像中预先计算出的每个所述观察结果的第2特征量，针对分割出的每个所述区域导出所述第1医用图像与所述第2医用图像的区域相似度的步骤；及
通过与分割出的各个所述区域的尺寸及分割出的各个所述区域中所包含的特定观察结果的尺寸中的至少一个对应的针对每个所述区域的权重系数，进行多个所述区域相似度的加权运算，从而导出所述第1医用图像与所述第2医用图像的相似度的步骤，
所述相似度确定程序还使计算机执行如下处理：
根据彼此不同的多个种类的区域图案将所述对象区域分割为每个所述区域图案的多个区域，
针对每个所述区域图案计算分割出的每个所述区域的第1特征量，
针对每个所述区域图案导出分割出的每个所述区域的所述区域相似度，
进行关于所述多个种类的区域图案的所述区域相似度的加权运算，从而导出所述第1医用图像与所述第2医用图像的相似度。
CN201980055412.6A 2018-08-31 2019-06-17 相似度确定装置、方法及程序 Active CN112638262B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-162860 2018-08-31
JP2018162860 2018-08-31
PCT/JP2019/023814 WO2020044735A1 (ja) 2018-08-31 2019-06-17 類似度決定装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
CN112638262A CN112638262A (zh) 2021-04-09
CN112638262B true CN112638262B (zh) 2024-05-14

Family

ID=69644166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980055412.6A Active CN112638262B (zh) 2018-08-31 2019-06-17 相似度确定装置、方法及程序

Country Status (5)

Country Link
US (1) US11854190B2 (zh)
JP (1) JP7004829B2 (zh)
CN (1) CN112638262B (zh)
DE (1) DE112019004300T5 (zh)
WO (1) WO2020044735A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7334900B2 (ja) * 2019-05-20 2023-08-29 国立研究開発法人理化学研究所 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体
US20220172367A1 (en) * 2020-11-27 2022-06-02 Vida Diagnostics, Inc. Visualization of sub-pleural regions
JP2022168985A (ja) * 2021-04-27 2022-11-09 株式会社日立製作所 医用画像処理装置及び医用画像処理方法
CN113361509B (zh) * 2021-08-11 2021-11-09 西安交通大学医学院第一附属医院 用于面神经麻痹检测的图像处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117936A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd ３次元類似画像検索装置
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
CN102208105A (zh) * 2010-03-31 2011-10-05 富士胶片株式会社 医学图像处理技术
CN106164903A (zh) * 2014-03-27 2016-11-23 富士胶片株式会社 类似病例检索装置、类似病例检索方法及类似病例检索程序
CN106560827A (zh) * 2015-09-30 2017-04-12 松下知识产权经营株式会社 控制方法
WO2018116727A1 (ja) * 2016-12-19 2018-06-28 富士フイルム株式会社 類似症例検索装置とその作動方法および作動プログラム、並びに類似症例検索システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342558A (ja) 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
US6925199B2 (en) 2000-11-29 2005-08-02 Fujitsu Limited Computer readable recording medium recorded with diagnosis supporting program, diagnosis supporting apparatus and diagnosis supporting method
US7783096B2 (en) * 2005-10-17 2010-08-24 Siemens Corporation Device systems and methods for imaging
US7848592B2 (en) * 2006-07-31 2010-12-07 Carestream Health, Inc. Image fusion for radiation therapy
JP5159242B2 (ja) * 2007-10-18 2013-03-06 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP5056695B2 (ja) 2008-09-24 2012-10-24 富士ゼロックス株式会社 類似画像提示装置及びプログラム
JP2011118543A (ja) 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
CN103200861B (zh) 2011-11-04 2015-10-14 松下电器产业株式会社 类似病例检索装置以及类似病例检索方法
WO2015067299A1 (en) * 2013-11-05 2015-05-14 Brainlab Ag Quantification of brain vulnerability

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117936A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd ３次元類似画像検索装置
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
CN102208105A (zh) * 2010-03-31 2011-10-05 富士胶片株式会社 医学图像处理技术
CN106164903A (zh) * 2014-03-27 2016-11-23 富士胶片株式会社 类似病例检索装置、类似病例检索方法及类似病例检索程序
CN106560827A (zh) * 2015-09-30 2017-04-12 松下知识产权经营株式会社 控制方法
WO2018116727A1 (ja) * 2016-12-19 2018-06-28 富士フイルム株式会社 類似症例検索装置とその作動方法および作動プログラム、並びに類似症例検索システム

Also Published As

Publication number Publication date
US20210166382A1 (en) 2021-06-03
JP7004829B2 (ja) 2022-01-21
WO2020044735A1 (ja) 2020-03-05
CN112638262A (zh) 2021-04-09
DE112019004300T5 (de) 2021-05-20
US11854190B2 (en) 2023-12-26
JPWO2020044735A1 (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
CN112638262B (zh) 相似度确定装置、方法及程序
JP7034306B2 (ja) 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
EP3207521A1 (en) Image analysis method supporting illness development prediction for a neoplasm in a human or animal body
CN113164142B (zh) 相似度确定装置、方法及程序
KR20180022607A (ko) 다양한 측정으로부터의 의료 측정 데이터에 기초한 결과 데이터의 결정
JP6914233B2 (ja) 類似度決定装置、方法およびプログラム
US20240257349A1 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Irene et al. Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method
JP2023114463A (ja) 表示装置、方法およびプログラム
Ganasala et al. Semiautomatic and automatic brain tumor segmentation methods: performance comparison
US11893735B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Gia et al. A Computer-Aided Detection to Intracranial Hemorrhage by Using Deep Learning: A Case Study
Deenadhayalan et al. Computed Tomography Image based Classification and Detection of Lung Diseases with Image Processing Approach
Kareem et al. Effective classification of medical images using image segmentation and machine learning
Lakhanpal et al. Brain tumor segmentation and classification Using mrimages
Begum et al. Computed Tomography Image based Classification and Detection of Lung Diseases with Image Processing Approach
Esan et al. 3-D MEDICAL IMAGE REGION-GROWING BASED SEGMENTATION TECHNIQUES, CHALLENGES AND OPEN ISSUES
Pawa A Systematic Study of Segmentation Me Computed Tom
Bergo et al. Focal Cortical Dysplasia Segmentation in 3D Magnetic Resonance Images of the Human Brain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant