CN113164141A - 相似度确定装置、方法及程序 - Google Patents

相似度确定装置、方法及程序 Download PDF

Info

Publication number
CN113164141A
CN113164141A CN201980077633.3A CN201980077633A CN113164141A CN 113164141 A CN113164141 A CN 113164141A CN 201980077633 A CN201980077633 A CN 201980077633A CN 113164141 A CN113164141 A CN 113164141A
Authority
CN
China
Prior art keywords
medical image
similarity
image
observation
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980077633.3A
Other languages
English (en)
Inventor
金田昭治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN113164141A publication Critical patent/CN113164141A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

观察结果分类部将第1医用图像的各个像素分类为至少一个观察结果。特征量计算部针对每个观察结果计算第1特征量。相似度导出部根据在第1医用图像中计算出的每个观察结果的第1特征量和在第2医用图像中预先计算出的每个观察结果的第2特征量来导出第1医用图像与第2医用图像的相似度。区域确定部在第2医用图像中确定包括用于导出相似度的重要观察结果的至少一个重要区域。

Description

相似度确定装置、方法及程序
技术领域
本发明涉及一种确定两个医用图像的相似度的相似度确定装置、方法及程序。
背景技术
近年来，由于CT(Computed Tomography：计算机断层扫描)装置及MRI(MagneticResonance Imaging：磁共振成像)装置等医疗设备的发展，更高质量的高分辨率三维图像被使用于图像诊断中。
另一方面，在医疗领域中，已知有一种根据成为检查对象的CT图像等检查图像来检索与检查对象相似的过去病例的相似病例检索装置(例如，参考“Case-based lungimage categorization and retrievalFor interstitial lung diseases：clinicalworkflow、Adrien Depeursinge等、Int J CARS(2012)7：97-110、Published online：1June 2011”)。在Depeursinge等的文献中，提出如下方法：将肺的病例图像分类为分别表示多个种类的组织或病变(将以下组织或病变称为观察结果)的多个区域，然后登记到病例数据库中，关于检查图像也同样，将肺分类为分别表示多个种类的观察结果的多个区域，并根据关于检查图像的观察结果分类结果来检索与检查图像相似的病例图像。
并且，作为计算图像之间的相似度的方法，提出如下方法：在多个图像中的至少一个图像内设定多个部分区域，针对所设定的每个部分区域确定与其他图像内的对应区域之间的相似度，并使用对各个部分区域设定的权重系数将所确定的每个部分区域的相似度进行加权相加，由此计算整个区域相似度(参考日本特开2000-342558号公报)。
作为肺疾病，已知有间质性肺炎。提出有如下方法：通过分析间质性肺炎患者的CT图像，将CT图像中所包含的蜂窝肺，网状阴影和囊肿等表示特定观察结果的病变进行分类并定量化(参考“Evaluation of computer-based com puter tomographystratification against outcome models in connective tissue disease-relatedinterstitial lung disease：a patient outcome study、Joseph Jacobi等、BMCMedicine(2016)14：190、DOI 10.1186/s 12916-016-0739-7”及“基于计算机的间质性肺炎的CT图像的定量评价、岩泽多惠，断层影像研究会杂志，第41卷第2期，2014年8月”)。如此通过分析CT图像而将病变进行分类并定量化，能够容易判定肺疾病的程度。并且，通过对如此分类并定量化的区域分配分别不同的颜色进行显示，能够容易诊断特定症状的区域以哪种程度包括在图像内。
并且，为了从CT图像等三维图像中提取所关注的器官等结构物，需要在三维图像中检测结构物。在此，为了将图像中的所关注的像素分类为多个类别，提出一种深度学习(Deep learning)的方法。深度学习是使用多层神经网络的机械学习方法，所述多层神经网络通过以层级方式连接多个处理层而被构建。
在深度学习中，在多层神经网络的各个层中，针对由相对于所输入数据的前一级层级得到的不同的多个运算结果数据，即，特征量的提取结果数据进行运算处理。而且，针对由此得到的特征量数据，在下一级以后的处理层中进一步进行运算处理，由此能够提高特征量的识别率，并将所输入的数据分类为多个类别。
可以认为，将这种深度学习方法适用于上述三维图像，以将三维图像的各个像素分类为多个类别。例如，当将三维图像中所包括的多个种类的结构物进行分类时，对神经网络进行深度学习，以输入三维图像并将三维图像中的成为处理对象的像素分类为多个种类的结构物中的任一个。通过使用如此已深度学习的神经网络，可以将所输入的三维图像的目标像素分类为多个种类的结构物中的任一个。
发明内容
发明要解决的技术课题
通过使用Depeursinge等的文献中记载的方法，能够检索在检查图像的肺等器官中包括的病变相似的病例图像，并显示所检索到的病例图像。另一方面，在使用了三维图像的相似检索中，难以用一个图像来表现整个图像。因此，在显示与检查图像相似的病例图像的情况下，显示包括目标器官的特定断层面的切片图像。然而，并不限定于在所显示的病例图像的切片图像中包括与检查图像中所包括的诊断对象的病变相同的病变。因此，为了确认病例图像中的病变等的特征，需要依次切换显示病例图像的断层面，以显示包括病变的切片图像。通过如此依次显示包括病变的切片图像，难以迅速掌握所显示的病例图像与检查图像是否相似。另一方面，可以认为将检查图像中所包括的器官与病例图像中所包括的器官对准位置而显示病例图像。然而，检查图像中的包括病变的断层面的位置和病例图像中的包括病变等的特征的断层面的位置未必一定对应。因此，即使进行了对准位置，也难以迅速掌握所显示的病例图像与检查图像是否相似。
本发明是鉴于上述情况而完成的，其目的在于当显示了与检查图像相似的病例图像时，能够迅速确认病例图像中所包括的特征。
用于解决技术课题的手段
基于本发明的相似度确定装置，其确定三维的第1医用图像与三维的第2医用图像的相似度，所述相似度确定装置具备：
观察结果分类部，将第1医用图像的各个像素分类成多个种类的观察结果中的至少一个观察结果；
特征量计算部，针对在第1医用图像中分类出的每个观察结果计算第1特征量；
相似度导出部，根据在第1医用图像中计算出的每个观察结果的第1特征量和在第2医用图像中预先计算出的每个观察结果的第2特征量来导出第1医用图像与第2医用图像的相似度；及
区域确定部，在第2医用图像中确定包括用于导出相似度的重要观察结果的至少一个重要区域。
另外，在基于本发明的相似度确定装置中，还可以具备权重系数设定部，该权重系数设定部对于在第1医用图像中分类出的各个观察结果设定加权程度根据各个观察结果的尺寸而不同的权重系数，
区域确定部根据权重系数来确定重要区域。
并且，在基于本发明的相似度确定装置中，区域确定部可以根据基于每个观察结果的第1特征量和每个观察结果的第2特征量的每个观察结果的相似度来确定重要区域。
并且，在基于本发明的相似度确定装置中，还可以具备区域分割部，该区域分割部将第1医用图像中的对象区域分割为多个区域，
特征量计算部在分割出的每个区域中，针对在所述第1医用图像中分类出的每个观察结果计算第1特征量，
相似度导出部针对分割出的每个区域导出第1医用图像与第2医用图像的区域相似度，并根据多个区域相似度来导出第1医用图像与第2医用图像的相似度，
区域确定部根据区域相似度来确定重要区域。
并且，在基于本发明的相似度确定装置中，其还可以具备检索部，所述检索部参考病例数据库并根据第1医用图像与多个第2医用图像的相似度来检索与第1医用图像相似的第2医用图像作为相似医用图像，所述病例数据库中登记有多个第2医用图像，并且与多个第2医用图像的每个第2医用图像对应关联地登记有关于多个第2医用图像的每个第2医用图像的第2特征量。
并且，在基于本发明的相似度确定装置中，还可以具备显示控制部，所述显示控制部将包括相似医用图像中的重要区域的切片图像作为检索结果而显示于显示部。
并且，在基于本发明的相似度确定装置中，显示控制部可以将穿过相似医用图像中的一个重要区域的重心的切片图像作为检索结果而显示于显示部。
并且，在基于本发明的相似度确定装置中，显示控制部可以将相似医用图像中的一个重要区域的面积最大的切片图像作为检索结果而显示于显示部。
并且，在基于本发明的相似度确定装置中，还可以具备显示控制部，所述显示控制部将强调了重要区域的相似医用图像作为检索结果而三维显示于显示部。
基于本发明的相似度确定方法，其确定三维的第1医用图像与三维的第2医用图像的相似度，在所述相似度确定方法中：
将第1医用图像的各个像素分类为多个种类的观察结果中的至少一个观察结果；
针对在第1医用图像中分类出的每个观察结果计算第1特征量；
根据在第1医用图像中计算出的每个观察结果的第1特征量和在第2医用图像中预先计算出的每个观察结果的第2特征量来导出第1医用图像与第2医用图像的相似度；及
在第2医用图像中确定包括用于导出相似度的重要观察结果的至少一个重要区域。
另外，可以提供一种程序，其使计算机执行基于本发明的相似度确定方法。
基于本发明的另一相似度确定装置，其具备：内存，存储用于使计算机执行确定第1医用图像与第2医用图像的相似度的处理的命令；及
处理器，以执行所存储的命令的方式构成，处理器执行如下处理：
将第1医用图像的各个像素分类为多个种类的观察结果中的至少一个观察结果；
针对在第1医用图像中分类出的每个观察结果计算第1特征量；
根据在第1医用图像中计算出的每个观察结果的第1特征量和在第2医用图像中预先计算出的每个观察结果的第2特征量来导出第1医用图像与第2医用图像的相似度；及
在第2医用图像中执行确定包括用于导出相似度的重要观察结果的至少一个重要区域的处理。
发明效果
根据本发明，当显示了与检查图像相似的病例图像时，能够迅速确认病例图像中所包括的特征。
附图说明
图1是表示适用了基于本发明的第1实施方式的相似度确定装置的诊断支持系统的概要的硬件结构图。
图2是表示基于第1实施方式的相似度确定装置的结构的概略框图。
图3是表示多层神经网络的一例的图。
图4是表示关于某一关注区域的中心像素的与观察结果的种类对应的评价值的图。
图5是表示观察结果体积的计算结果的图。
图6是表示观察结果的种类与权重系数的关系的图。
图7是表示观察结果的种类与相似度的关系的图。
图8是表示检索结果列表的图。
图9是表示检索结果的显示画面的图。
图10是用于说明包括重要区域的断层面的图。
图11是表示显示有三个方向的断层面的切片图像的状态的图。
图12是表示在第1实施方式中进行的处理的流程图。
图13是表示基于第2实施方式的相似度确定装置的结构的概略框图。
图14是用于说明肺区域的分割的图。
图15是表示显示有三个轴向的断层图像的状态的图。
图16是表示强调了重要区域的三维图像的图。
图17是表示被分配与分类对应的颜色的映射图像的图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。图1是表示适用了基于本发明的第1实施方式的相似度确定装置的诊断支持系统的概要的硬件结构图。如图1所示，在诊断支持系统中，基于本实施方式的相似度确定装置1、三维图像摄影装置2及图像保管服务器3以经由网络4可以通信的状态连接。
三维图像摄影装置2是通过拍摄受检体的成为诊断对象的部位而生成表示该部位的三维图像的装置，具体而言，是CT装置、MRI装置及PET(Positron Emission Tomography：正电子发射断层扫描)装置等。由该三维图像摄影装置2生成的、由多个切片图像组成的三维图像发送并保存于图像保管服务器3。另外，在本实施方式中，作为受检体的患者的诊断对象部位是肺，三维图像摄影装置2是CT装置，将包括受检体的肺的胸部的CT图像生成为三维图像。
图像保管服务器3是保存并管理各种数据的计算机，具备大容量外部存储装置及数据库管理用软件。图像保管服务器3经由有线或无线网络4而与其他装置进行通信，并收发图像数据等。具体而言，经由网络获取包括由三维图像摄影装置2生成的三维图像的图像数据的各种数据，并保存在大容量外部存储装置等记录介质中进行管理。另外，图像数据的存储形式及经由网络4的各个装置之间的通信基于DICOM(Digital Imaging andCommunication in Medicine：医学数字成像和通信)等协议。另外，在本实施方式中，在图像保管服务器3中保存有成为检查对象的三维图像(以下，设为检查图像)及登记有病例图像的病例数据库DB。关于病例数据库DB进行后述。并且，在本实施方式中，检查图像是由一个以上的切片图像(以下，设为检查切片图像)组成的三维图像。并且，病例图像也是由一个以上的切片图像(以下，设为病例切片图像)组成的三维图像。另外，检查图像对应于第1医用图像，病例图像对应于第2医用图像。
相似度确定装置1将本发明的相似度确定程序安装到一台计算机。计算机可以是进行诊断的医生直接操作的工作站或个人电脑，也可以是经由网络与它们连接的服务器计算机。相似度确定程序记录并分发到DVD(Digital Versatile Disc：数字多功能光盘)或CD-ROM(Compact Disc Read Only Memory：光盘只读存储器)等记录介质，并从该记录介质安装到计算机。或者，以从外部可以访问的状态存储于与网络连接的服务器计算机的存储装置或网络存储器，并根据要求下载并安装于医生所使用的计算机。
图2是表示通过将基于第1实施方式的相似度确定程序安装到计算机而实现的、基于本发明的第1实施方式的相似度确定装置的概略结构的图。如图2所示，相似度确定装置1具备CPU(Central Processing Unit：中央处理器)11、内存12及存储器13作为标准工作站的结构。并且，在相似度确定装置1上连接有由液晶显示器等组成的显示部14、由键盘及鼠标等组成的输入部15。
存储器13由硬盘及SSD(Solid State Drive：固态驱动器)等组成。在存储器13中存储有各种信息，该各种信息包括经由网络4从图像保管服务器3获取的受检体的检查图像及处理中所需信息。
并且，内存12中存储有相似度确定程序。相似度确定程序规定如下处理作为使CPU11执行的处理：图像获取处理，获取成为检查对象的检查图像；观察结果分类处理，将检查图像的各个像素分类为多个种类的观察结果中的至少一个观察结果；特征量计算处理，针对在检查图像中分类出的每个观察结果计算第1特征量；权重系数设定处理，对于在检查图像中分类出的各个观察结果，设定加权程度根据各个观察结果的尺寸而不同的权重系数；相似度导出处理，进行在检查图像中计算出的每个观察结果的第1特征量与在病例图像中预先计算出的每个观察结果的第2特征量的基于权重系数的加权运算，从而导出检查图像与病例图像的相似度；区域确定处理，在病例图像中确定包括用于导出相似度的重要观察结果的至少一个重要区域；检索处理，根据所导出的相似度来检索与检查图像相似的病例图像；及显示控制处理，将检索结果显示于显示部14。
而且，CPU11按照程序执行这些处理，由此计算机作为图像获取部21、观察结果分类部22、特征量计算部23、权重系数设定部24、相似度导出部25、区域确定部26、检索部27及显示控制部28而发挥功能。
图像获取部21获取成为检查对象的受检体的检查图像V0。另外，在检查图像V0已保存在存储器13中的情况下，图像获取部21可以从存储器13获取检查图像V0。
观察结果分类部22将检查图像V0中所包括的肺区域的各个像素分类为多个种类的观察结果中的至少一个观察结果。具体而言，观察结果分类部22针对检查图像V0中所包括的肺区域的每个像素，计算表示是多个种类的组织或病变(即，观察结果)的每一个组织或病变的可能性的多个评价值，并根据多个评价值将检查图像V0的各个像素分类为多个种类的观察结果中的至少一个观察结果。在本实施方式中，观察结果分类部22将检查图像V0的各个像素分类为一个观察结果。
本实施方式的观察结果分类部22具有由通过机械学习之一的深度学习(Deeplearning)而生成的多层神经网络组成的判别器，并使用该判别器来确定检查图像V0的各个像素所属的观察结果的种类。另外，作为机械学习方法，并不限定于深度学习，也能够使用支持向量机等其他方法。
在多层神经网络中，在各个层中使用各种内核对由前一级层级得到的不同的多个特征量数据进行运算处理。然后，对通过该运算处理而得到的特征量数据，在下一级以后的层中进一步进行运算处理，由此能够提高特征量的识别率，并能够将所输入的数据分类为多个类别。
另外，在本实施方式中，将多层神经网络描述为输入检查图像V0并输出对肺区域的多个种类的观察结果的分类结果，但是可以构成为输入构成检查图像V0的多个检查切片图像的每个检查切片图像，并输出对肺区域的多个种类的观察结果的分类结果。
图3是表示多层神经网络的一例的图。如图3所示，多层神经网络40由包括输入层41及输出层42的多个层级组成。在本实施方式中已进行学习，以将检查图像V0中所包括的肺区域分类为如下多个观察结果，例如浸润阴影、肿瘤阴影、毛玻璃阴影、小叶中心结节阴影、非小叶中心结节阴影、网状阴影、线状阴影、小叶间隔增厚、蜂窝肺、囊肿、低吸收区(气肿)、气肿倾向、空腔、胸膜增厚、胸腔积液、空腔、支气管扩张、牵拉性支气管扩张、动脉、正常肺、胸壁及纵隔等。另外，观察结果的种类并不限定于这些，可以是比这些更多的观察结果，也可以是比这些更少的观察结果。
在本实施方式中，使用几百万大量的教师数据使多层神经网络40学习这些观察结果。当学习时，从观察结果的种类已知的断层图像中剪切预先确定尺寸(例如1.5cm×1.5cm)的关注区域，并将该关注区域用作教师数据。然后，将教师数据输入到多层神经网络40，并输出观察结果的种类的分类处理的结果(以下，设为分类结果)。接着，将所输出的结果与教师数据进行比较，根据正确与否，从输出侧向输入侧对多层神经网络40的各个层中所包括的单元(图3中由圆圈表示)的各个层级之间的结合权重进行修正。使用大量的教师数据重复进行结合权重的修正，直至预先确定的次数或者所输出的分类结果的正确率成为100％为止，并结束学习。
另外，在所输入的图像是检查切片图像的情况下，当学习多层神经网络40时，从构成病变已知的三维图像的切片图像中剪切标准化为预先确定尺寸(例如1.5cm×1.5cm)的二维区域，并将所剪切的二维区域图像用作教师数据。
观察结果分类部22为了分类而从检查图像V0中提取作为对象区域的肺区域。作为提取肺区域的方法，能够使用将检查图像V0中的每个像素的信号值进行直方图化，并通过对肺进行阈值处理而提取的方法，或者基于表示肺的种子点的区域生长法(RegionGrowing)等任意的方法。另外，也可以使用以提取肺区域的方式进行了机械学习的判别器。
观察结果分类部22当进行观察结果分类处理时，从检查图像V0的肺区域中依次剪切与教师数据相同大小的关注区域，并将该关注区域输入到由多层神经网络40组成的判别器。由此，对所剪切的关注区域的中心像素输出与观察结果的各个分类对应的评价值。另外，与该各个分类对应的评价值是表示中心像素属于各个分类的可能性的评价值，表示该评价值越大，属于该分类的可能性越高。
图4是表示关于某一关注区域的中心像素的与观察结果的种类对应的评价值的图。另外，在图4中，为了简化说明而示出关于一部分观察结果的评价值。在本实施方式中，判别器将关注区域的中心像素分类为多个观察结果中评价值最大的观察结果。例如，在获取如图4所示评价值的情况下，该关注区域的中心像素是网状阴影的可能性最高，其次是毛玻璃阴影的可能性高。相反地，几乎没有正常肺或低吸收区的可能性。因此，在获取如图4所示评价值的情况下，通过观察结果分类处理，关注区域的中心像素被分类为评价值为最大的8.5的网状阴影。由此，检查图像V0中所包括的肺区域的所有像素被分类为多个种类的观察结果中的任一个。
观察结果分类部22从所提取的肺区域中依次剪切与教师数据相同的体素区域，并输入到由如上所述己学习的多层神经网络40组成的判别器。由此，关于所剪切的区域的中心像素，对多个种类的病变区域的每一个输出多个评价值。观察结果分类部22将输入到多层神经网络40的区域的中心像素分类为多个评价值中最大评价值的观察结果，并生成观察结果分类结果。由此，检查图像V0中所包括的肺区域的所有像素分类为多个种类的观察结果中的任一个。
特征量计算部23针对在检查图像V0中分类出的每个观察结果计算特征量。具体而言，计算每个观察结果区域的大小、每个观察结果的平均浓度、每个观察结果的浓度的分散、每个观察结果区域的数量及每个观察结果区域的平均尺寸等中的至少一个作为特征量。另外，将关于检查图像V0计算出的特征量称为第1特征量。并且，每个观察结果区域的大小、每个观察结果区域的数量及每个观察结果区域的平均尺寸等是尺寸特征量。作为每个观察结果区域的大小，能够使用每个观察结果区域的体积。
另外，在上述病例数据库DB中，针对多个病例图像的每个病例图像登记有文件名、关于各个像素中的多个观察结果的评价值、以及每个观察结果的特征量。将关于病例图像登记在病例数据库DB中的特征量称为第2特征量。第1特征量及第2特征量标准化为0以上且1以下的值。并且，关于检查图像V0，若获取关于各个像素中的多个观察结果的评价值及每个观察结果的特征量，则该检查图像V0作为新的病例图像登记在病例数据库DB中。此时，关于该检查图像V0的评价值及第1特征量作为新的病例图像的评价值及第2特征量登记于病例数据库DB中。
权重系数设定部24对于检查图像V0的各个像素所分类的各个观察结果，设定加权程度根据各个观察结果的尺寸而不同的权重系数。权重系数是当后述相似度导出处理时，进行在检查图像V0中计算出的每个观察结果的第1特征量与在病例图像中预先计算出的即登记到病例数据库DB中的每个观察结果的第2特征量的加权运算时的权重系数。另外，在本实施方式中，权重系数设定部24设定的权重系数在确定区域确定部26中的重要区域时也被使用。
在此，由于医用图像的特征是多种多样的，因此考虑医用图像观点上的特征量的重要性，若对特征量不进行适当的加权，则特征量差异的大小与医学图像差异的大小不对应，而导致相似度偏离医学感觉。从而，若对特征量不进行适当的加权，则在检索到与检查图像V0相似的病例图像的情况下，检索结果可能会成为不适合的相似度顺序。
并且，在检查图像V0及病例图像中，若相同的观察结果以大致相同的大小存在，则医学上两个图像相似。并且，观察结果区域越大，该观察结果在诊断上越重要，因此观察结果大小在判断图像之间的相似性方面极为重要。
另一方面，观察结果中如点状阴影一样，即使尺寸小，也有表示疾病初始状态的特性的重要的观察结果。并且，若随着衰老而进行肺气肿化，则肺中出现稍微低吸收的状态，这种低吸收观察结果在老年患者中出现的频率高，因此并非很重要。这种老年人的低吸收观察结果即使尺寸大，也无关紧要。
因此，若等同地判断点状阴影的观察结果及老年人的低吸收的观察结果，则大区域的低吸收区的细微差异大于点状阴影的差异。其结果，点状阴影的相似性被掩盖在低吸收区的相似性中，无法检索包括医学上重要的点状阴影的病例的病例图像。
因此，在本实施方式中，权重系数设定部24对多个观察结果的每个观察结果设定加权程度根据各个观察结果的尺寸而不同的权重系数。作为观察结果的尺寸，能够使用特征量计算部23计算出的第1特征量中所包括的尺寸特征量。具体而言，能够使用观察结果体积。在此，观察结果体积能够通过对三维检查图像V0中所包括的各个观察结果像素数相乘检查图像V0的每一体素的体积而计算出。图5中示出观察结果体积的计算结果。在图5中，体积单位是立方毫米。然而，肺的大小因患者而异。因此，优选将通过器官的体积即肺的体积将观察结果体积进行了标准化的观察结果占有率(＝观察结果体积/肺体积)用作观察结果的尺寸。在本实施方式中，将观察结果占有率用作观察结果的尺寸。另外，可以将观察结果占有率作为尺寸特征量而包括在第1特征量中。在该情况下，特征量计算部23可以计算观察结果占有率。
关于检查图像V0的各个观察结果，权重系数设定部24由下述式(1)设定每个观察结果的权重系数Wi。另外，在式(1)中，i是观察结果的种类，fi是将检查图像V0中的每个观察结果的观察结果占有率Pvi作为参数的函数。
Wi＝fi(Pvi) (1)
在此，如图5所示，在大尺寸观察结果和小尺寸观察结果中，体积值的位数不同。因此，优选通过函数fi将作为三维信息的观察结果占有率转换为等效的二维等以降低维数。由此，观察结果的尺寸的差异与医生的感觉一致。因此，如上所述，尺寸小却重要性高的观察结果为了提高其重要性，优选通过函数fi转换为非线性。因此，在本实施方式中，如下述式(2)所示设定函数fi。
fi＝a·(b·X+(1-b)·Xc) (2)
另外，在式(2)中，a是确定每个观察结果的整体重要性差异的常数。c取1以下的值，并且是确定强调小尺寸观察结果的效果的常数。b是确定基于常数c的效果的程度的常数。并且，X＝(Pvi)2/3。通过对观察结果占有率Pi进行2/3次方，将观察结果占有率Pvi从三维转换成等效的二维。
权重系数设定部24针对每个观察结果设定式(2)所示函数并适用于式(1)，由此设定关于多个种类的观察结果的每一个观察结果的权重系数Wi。
相似度导出部25根据权重系数设定部24所设定的权重系数Wi，进行在检查图像V0中计算出的每个观察结果的第1特征量与在病例图像中预先计算出的每个观察结果的第2特征量的加权运算，从而导出检查图像V0与病例图像的相似度。另外，相似度导出部25导出检查图像V0与登记到病例数据库DB中的所有病例图像的相似度。
为此，相似度导出部25将关于检查图像V0计算出的第1特征量标准化为0以上且1以下的值。然后，如下述式(3)所示，针对每个观察结果计算第1特征量与病例图像的第2特征量的距离之差来作为特征量之差Ddi。另外，在式(3)中，k表示特征量的种类，Tvk表示检查图像V0中的每个种类的第1特征量，Tck表示病例图像中的每个种类的第2特征量。另外，计算差分的第1特征量与第2特征量的特征量的种类相同。并且，在式(3)中，∑表示求出关于所有种类的特征量的(Tvk-Tck)2的总和。另外，由于第1特征量及第2特征量标准化为0以上且1以下的值，因此特征量之差Ddi也成为0以上且1以下的值。另外，在第1特征量Tvk与第2特征量Tck一致的情况下，特征量之差Ddi为0。另外，可以使用第1特征量与第2特征量之差的绝对值等来代替第1特征量与第2特征量的距离之差。
Ddi＝√(∑(Tvk-Tck)2) (3)
然后，相似度导出部25使用权重系数Wi，并由下述式(4)计算检查图像V0与病例图像的相似度S0。即，对每个观察结果相乘权重系数Wi和特征量之差Ddi，并将相乘结果对所有观察结果相加，由此计算相似度S0。另外，在使用式(4)计算出相似度S0的情况下，第1特征量与第2特征量的距离越小，检查图像V0与病例图像越相似。因此，在式(4)中赋予负号，检查图像V0与病例图像越相似，使相似度S0的值越大。
S0＝-∑(Wi×Ddi) (4)
另一方面，在由上述式(4)计算出相似度的情况下，若相同的观察结果具有相同的尺寸，则相似度为0。然而，在比较相同的病变彼此的情况下，事实上，病变越大，越相似。在由上述式(4)计算出相似度的情况下，在尺寸较大的观察结果为相同的特征量的情况、以及尺寸较小的观察结果为相同的特征量的情况这两者并没有差异，未能反映出病变尺寸越大越相似的事实。
从而，关于检查图像V0及病例图像中所包括的相同的观察结果，不应该将尺寸仅视为差异，而优选尺寸越相似，相似度越大。因此，在本实施方式中，相似度导出部25由以下式(5)在检查图像V0与病例图像之间进一步计算每个观察结果的尺寸差Dsi。另外，在式(5)中，Pvi表示检查图像V0的观察结果i的观察结果占有率，Pci表示病例图像的观察结果i的观察结果占有率。
Dsi＝1-|Pvi-Pci|/(Pvi+Pci) (5)
从而，相似度导出部25优选由下述式(6)计算检查图像V0与病例图像的相似度S1。在此，在检查图像V0及病例图像中，观察结果特征量越相似，Ddi值越小，在检查图像V0及病例图像中，观察结果的尺寸越相似，Dsi的值越大。因此，通过使用式(6)，能够考虑相同的观察结果的尺寸而计算检查图像V0与病例图像越相似，值越大的相似度。
S1＝∑(Wi×(Dsi-Ddi) (6)
另外，在由式(6)计算出相似度S1的情况下，相似度S1的最大值根据检查图像V0而不同。因此，优选根据检查图像V0与病例图像的相似度S1为最大的条件，即，检查图像V0与病例图像没有差异的条件，将相似度S1进行标准化。式(7)根据检查图像V0与病例图像的相似度S1为最大的条件，将由式(6)计算出的相似度S1进行了标准化。式(7)中，S2是标准化的相似度。
S2＝S1/∑Wi＝∑(Wi×(Dsi-Ddi)/∑wi (7)
另外，在由式(4)计算相似度的情况下，也优选将相似度S0进行标准化。式(8)根据检查图像V0与病例图像的相似度S0为最大的条件，将式(4)进行了标准化。在式(8)中，S3是已标准化的相似度。
S3＝S0/∑Wi＝∑(Wi×Dsi)/∑wi (8)
区域确定部26在病例图像中确定包括用于导出相似度的重要观察结果的至少一个重要区域。在本实施方式中，根据权重系数设定部24所设定的每个观察结果的权重系数Wi来确定重要区域。具体而言，将根据上述式(1)所设定的权重系数Wi成为预先确定的阈值Th1以上的观察结果的区域确定为重要区域。
图6是表示观察结果的种类与权重系数的关系的图。在此，在将阈值Th1设为0.7的情况下，由于权重系数为0.7以上的观察结果是蜂窝肺，因此蜂窝肺的区域被确定为重要区域。
另外，基于权重系数Wi的重要区域的确定方法并不限定于上述方法。例如，可以根据权重系数Wi中的最大权重系数Wmax来确定阈值Th1。例如，可以将在最大权重系数Wmax上乘以0.75的值设定为阈值Th1。在图6中，最大权重系数Wmax为蜂窝肺的0.81。在该情况下，阈值Th1为0.81×0.75≈0.61。从而，权重系数Wi为0.61以上的网状阴影(权重系数0.65)及蜂窝肺(权重系数0.81)的区域被确定为重要区域。
另外，区域确定部26可以根据相似度导出部25所导出的相似度来确定重要区域。具体而言，可以根据基于每个观察结果的第1特征量和每个观察结果的第2特征量的每个观察结果的相似度来确定重要区域。例如，在相似度由式(3)导出的情况下，将每个观察结果的特征量之差Ddi为预先确定的阈值Th2以下的观察结果的区域确定为重要区域即可。并且，在由式(6)导出相似度的情况下，将(Dsi-Ddi)为预先确定的阈值Th3以上的观察结果的区域确定为重要区域即可。
图7是表示由式(6)导出相似度时的观察结果的种类与相似度的关系的图。在此，在将阈值Th3设为0.5的情况下，由于相似度为0.5以上的观察结果是网状阴影，因此网状阴影的区域被确定为重要区域。
并且，基于相似度的重要区域的确定方法并不限定于上述方法。例如，可以根据最大相似度来确定阈值Th2、Th3。例如，可以将在最大相似度上乘以0.75的值设定为阈值Th2、Th3。在图7中，最大相似度是网状阴影的0.62。在该情况下，阈值Th3是0.62×0.75≈0.47。从而，相似度为0.47以上的网状阴影(相似度0.62)及蜂窝肺(相似度0.48)的区域被确定为重要区域。
检索部27进行检索处理，该检索处理根据相似度S2从病例数据库DB中检索与检查图像V0相似的病例图像作为相似病例图像。首先，对病例数据库D B进行说明。
在病例数据库DB中登记有多个由一个以上病例切片图像组成的病例图像。具体而言，与多个病例图像的每个病例图像对应关联地登记有多个病例图像的每个病例图像的观察结果分类结果、特征量(即，第2特征量)。在本实施方式中，若重新获取检查图像V0，则检查图像V0作为新的病例图像登记到病例数据库DB中。
检索部27根据检查图像V0与登记到病例数据库DB中的所有病例图像的相似度S2，检索与检查图像V0相似的病例图像作为相似病例图像。具体而言，检索部27以相似度S2的降序将病例图像进行排序，从而制作检索结果列表。图8是表示检索结果列表的图。如图8所示，在检索结果列表L0中，登记到病例数据库DB中的病例图像以相似度S2的降序排序。然后，检索部27从病例数据库DB中提取检索结果列表L0中的排序顺序为上位规定数的病例图像作为相似病例图像。另外，相似病例图像对应于相似医用图像。
显示控制部28将基于检索部27的检索结果显示于显示部14。图9是表示检索结果的显示画面的图。如图9所示，显示画面30具有检查图像显示区域31及检索结果显示区域32。检查图像显示区域31显示检查图像中的所期望的轴向剖面的检查切片图像。在检索结果显示区域32中显示相似病例图像R1～R4。具体而言，将包括相似病例图像R1～R4中的重要区域的轴向剖面的病例切片图像显示为检索结果。另外，在图9所示状态下，选择在检索结果显示区域32中所期望的相似病例图像R1～R4，可以通过来自输入部15的操作来切换显示所选择的相似病例图像的断层面。
在此，由于重要区域是三维区域，因此在轴向方向上具有扩展。图10是用于说明重要区域向轴向方向的扩展的图。如图10所示，在肺区域35中被确定的重要区域36在轴向方向上具有扩展。在本实施方式中，将穿过相似病例图像中的重要区域36的重心37的轴向剖面38的病例切片图像显示为检索结果。另外，在区域确定部26中确定了多个重要区域的情况下，可以显示穿过尺寸最大的重要区域的重心的轴向剖面的病例切片图像。并且，可以将图10所示的相似病例图像中的重要区域36的面积最大的轴向剖面39中的病例切片图像显示为检索结果。
另外，可以通过选择显示于检索结果显示区域32中的相似病例图像R1～R4，将所选择的相似病例图像的轴向剖面的病例切片图像、矢状剖面的病例切片图像及冠状剖面的病例切片图像显示于检查图像显示区域31中。图11是表示显示有三个方向的剖面的病例切片图像的状态的图。如图11所示，在显示画面30A上，若选择相似病例图像R1～R4中的相似病例图像R1，则所选择的相似病例图像R1的轴向剖面的病例切片图像SL10、矢状剖面的病例切片图像SL11及病例冠状剖面的切片图像SL12显示于检查图像显示区域31。另外，相似病例图像R1被赋予表示其被选择的框33。并且，检查图像显示区域31上方的字符变更为“相似病例图像”。在此，可以唯一地规定在三维图像中穿过某一点的三个方向的剖面。因此，穿过重要区域的重心的三个方向的剖面能够唯一地规定。从而，病例切片图像SL10～SL12均为表示穿过重要区域的重心的断层面的病例切片图像。
另外，如图11所示，可以选择显示于显示画面30A上的三个方向的剖面的病例切片图像SL10～SL12中的任一个，并可以通过来自输入部15的操作来切换显示所选择的断层面的病例切片图像。
接着，对第1实施方式中进行的处理进行说明。图12是表示在第1实施方式中进行的处理的流程图。首先，图像获取部21获取检查图像V0(步骤ST1)，观察结果分类部22将检查图像V0中所包括的肺区域分类为分别表示多个种类的观察结果的多个种类的病变区域，从而生成观察结果分类结果(步骤ST2)。然后，特征量计算部23针对在检查图像V0中分类出的每个观察结果计算第1特征量(步骤ST3)。此外，权重系数设定部24设定检查图像V0的每个观察结果的权重系数Wi(步骤ST4)。
接着，相似度导出部25根据权重系数进行在检查图像V0中计算出的每个观察结果的第1特征量与在病例图像中预先计算出的每个观察结果的第2特征量的加权运算，从而导出检查图像V0与病例图像的相似度(步骤ST5)。另外，如上所述、相似度导出部25导出检查图像V0与登记在病例数据库DB中的所有病例图像的相似度。接着，区域确定部26在病例图像中确定包括用于导出相似度的重要观察结果的至少一个重要区域(步骤ST6)。此外，检索部27根据相似度进行检索处理(步骤ST7)，显示控制部28将包括重要区域的切片图像作为检索结果而显示于显示部14(步骤ST8)，并结束处理。
如此，根据本实施方式，针对检查图像V0的每个像素，计算表示是多个种类的观察结果的每一个观察结果的可能性的多个评价值，根据多个评价值，检查图像V0的各个像素分类为多个种类的观察结果中的至少一个观察结果。并且，针对在检查图像V0中分类出的每个观察结果计算第1特征量。此外，根据在检查图像V0中计算出的每个观察结果的第1特征量和在病例图像中预先计算出的每个观察结果的第2特征量来导出检查图像V0与病例图像的相似度。并且，在病例图像中，确定包括用于导出相似度的重要观察结果的至少一个重要区域。因此，通过以包括重要区域的方式显示相似病例图像，在相似病例图像中包括诊断上有特征的区域。因此，根据本实施方式，当显示与检查图像V0相似的病例图像时，能够迅速确认病例图像中所包括的特征。
另外，在上述实施方式中，对于在检查图像V0中分类出的各个观察结果设定加权程度根据各个观察结果的尺寸而不同的权重系数，根据权重系数进行在检查图像V0中计算出的每个观察结果的第1特征量与在病例图像中预先计算出的每个观察结果的第2特征量的加权运算，从而导出检查图像V0与病例图像的相似度，但是并不限定于此。可以不使用权重系数Wi，而进行第1特征量与第2特征量的运算来导出相似度。在该情况下，运算可以是第1特征量与第2特征量的差分等。
接着，对本发明的第2实施方式进行说明。图13是表示基于本发明的第1实施方式的相似度确定装置的概略结构的图。另外，在图13中对与图2相同的结构赋予相同的参考编号，在此，省略详细说明。基于第2实施方式的相似度确定装置1A与第1实施方式的不同点在于，还具备将检查图像V0中的肺区域分割为多个区域的区域分割部29。
区域分割部29将肺区域分割为多个区域。图14是用于说明肺区域的分割的图。如图14所示，区域分割部29将左右肺区域分割为左中枢区域50LC及右中枢区域50RC和除此以外的区域。然后，将除了中枢区域以外的区域进一步分割为上中下三个区域、中区域和外区域、以及腹侧和背侧。图14中对外区域赋予斜线。在第2实施方式中，区域分割部29将左右肺区域分别分割为13个区域。
在第2实施方式中，特征量计算部23针对分割出的每个区域计算在检查图像V0中分类出的每个观察结果的第1特征量。相似度导出部25针对分割出的每个区域导出检查图像V0与病例图像的相似度。另外，将每个区域的相似度称为区域相似度。区域确定部26根据区域相似度来确定重要区域。具体而言，在由区域分割部29分割的13个区域的每个区域中的区域相似度中，将最大区域相似度的区域确定为重要区域。
图15是用于对确定第2实施方式中的重要区域进行说明的图。另外，在图15中，在轴向剖面的病例切片图像SL20、矢状剖面的病例切片图像SL21及冠状剖面的病例切片图像S22的每个病例切片图像中，对重要区域60赋予斜线而示出。并且，在图15中，用虚线来示出肺区域中的分割出的区域的边界。并且，在图15中，用单点划线61来示出轴向剖面，用长虚线62来示出矢状剖面，用双点划线63来示出冠状剖面。
另外，在第2实施方式中，相似度导出部25根据区域相似度来导出检查图像V0与病例图像的相似度。例如，根据区域相似度的加权相加值、区域相似度的最大值及区域相似度的平均值等，导出检查图像V0与病例图像的相似度。
显示控制部28将包括重要区域的切片图像作为检索结果显示于显示部14。在第2实施方式中，也与第1实施方式同样，将穿过相似病例图像中的重要区域36的重心37的轴向剖面38的切片图像、或者将重要区域的面积最大的切片图像显示为检索结果，但是并不限定于此。
另外，在上述第1及第2实施方式中，可以将相似病例图像显示为三维图像。在该情况下，显示强调了重要区域的三维图像即可。图16是表示强调了重要区域的三维图像的图。在图16所示三维图像65中，示出仅使重要区域不透明，而使其他区域透明的三维图像。另外，在图16中，为了明确肺内的位置关系，使支气管66不透明。并且，除了图16所示三维图像以外，还可以显示包括相似病例图像中的重要区域的断层面的病例切片图像。在该情况下，可以显示轴向剖面、矢状剖面及冠状剖面所有病例切片图像，也可以显示任意一个剖面的病例切片图像。
并且，在上述实施方式中，将检查图像V0的断层图像显示于显示部14，但是并不限定于此。在观察结果分类部22中可以生成检查图像V0的映射图像，并将映射图像的断层图像显示于显示部14。
即，可以根据观察结果分类部22中的观察结果分类处理的结果，通过将颜色分配于各个分类的区域而生成映射图像，并显示所生成的映射图像。具体而言，关于分类为上述多个种类的观察结果中的任一个观察结果的三维空间上的所有像素，观察结果分类部22通过对同一分类的像素分配相同颜色而生成三维映射图像。图17是表示对多个种类的各个分类分配与该分类对应的颜色的映射图像中的一剖面的图。另外，在图17中，为了简化说明，示出分类为毛玻璃阴影、正常肺、支气管扩张、蜂窝肺、网状阴影、浸润阴影、低吸收区及囊肿的八个种类的观察结果时的映射图像。并且，图17中仅示出一个肺的映射图像。
另外，在上述各实施方式中，针对检查图像V0的每个像素，计算表示是多个种类的观察结果的每一个观察结果的可能性的多个评价值，并根据多个评价值将检查图像V0的各个像素分类为多个种类的观察结果中的至少一个观察结果，但是观察结果分类方法并不限定于使用评价值的方法。
另外，在上述各实施方式中，在图像保管服务器3中保存有病例数据库D B，但是也可以在存储器13中保存病例数据库DB。
并且，在上述各实施方式中，将检查图像登记在病例数据库DB中，但是也可以将除了检查图像以外的图像作为登记对象图像而登记于病例数据库。
并且，在上述各实施方式中，例如作为图像获取部21、观察结果分类部22、特征量计算部23、权重系数设定部24、相似度导出部25、区域确定部26、检索部27、显示控制部28及区域分割部29等执行各种处理的处理部(Processing Unit)的硬件结构，能够使用以下所示的各种处理器(processor)。在上述各种处理器中，如上所述，除了执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU以外，还包括FPGA(Field ProgrammableGate Array：现场可编程门阵列)等在制造之后可以变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific IntegratedCircuit：专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个来构成，也可以由相同种类或不同种类的两个以上处理器的组合(例如，多个FPGA的组合或CPU和FPGA的组合)来构成。并且，可以由一个处理器构成多个处理部。
作为由一个处理器构成多个处理部的例子，第一，有如下方式：以客户端、服务器等计算机为代表，由一个以上的CPU与软件的组合而构成一个处理器，该处理器作为多个处理部而发挥功能。第二，有如下方式：以片上系统(System on Chip：SoC)等为代表，使用由一个IC(Integrated Circuit：集成电路)芯片来实现包括多个处理部的整体系统的功能的处理器。如此，各种处理部构成为使用一个以上的上述各种处理器作为硬件结构。
此外，作为这些各种处理器的硬件结构，更具体而言，能够使用组合了半导体元件等电路元件的电路(Circuitry)。
符号说明
1-相似度确定装置，2-三维图像摄影装置，3-图像保管服务器，4-网络，11-CPU，12-内存，13-存储器，14-显示部，15-输入部，21-图像获取部，22-观察结果分类部，23-特征量计算部，24-权重系数设定部，25-相似度导出部，26-区域确定部，27-检索部，28-显示控制部，29-区域分割部，30、30A-显示画面，31-检查图像显示区域，32＝检索结果显示区域，35-肺区域，36＝重要区域，37-重心，38、39-轴向剖面，40＝多层神经网络，41-输入层，42-输出层，50LC、50RC-中枢区域，60-重要区域，61～63-表示剖面的线，65-三维图像，66-支气管，L0-检查列表，R1～R4-相似病例图像，SL10～SL12、SL20～SL22-病例切片图像，V0-检查图像。

Claims (11)

1.一种相似度确定装置，其确定三维的第1医用图像与三维的第2医用图像的相似度，所述相似度确定装置具备：
观察结果分类部，将所述第1医用图像的各个像素分类为多个种类的观察结果中的至少一个观察结果；
特征量计算部，针对在所述第1医用图像中分类出的每个观察结果计算第1特征量；
相似度导出部，根据在所述第1医用图像中计算出的所述每个观察结果的所述第1特征量和在所述第2医用图像中预先计算出的所述每个观察结果的第2特征量来导出所述第1医用图像与所述第2医用图像的相似度；及
区域确定部，在所述第2医用图像中确定包括用于导出所述相似度的重要观察结果的至少一个重要区域。
2.根据权利要求1所述的相似度确定装置，其中，
所述相似度确定装置还具备权重系数设定部，所述权重系数设定部对于在所述第1医用图像中分类出的各个观察结果，设定加权程度根据该各个观察结果的尺寸而不同的权重系数，
所述区域确定部根据所述权重系数来确定所述重要区域。
3.根据权利要求1所述的相似度确定装置，其中，
所述区域确定部根据基于所述每个观察结果的所述第1特征量和所述每个观察结果的所述第2特征量的所述每个观察结果的相似度来确定所述重要区域。
4.根据权利要求1所述的相似度确定装置，其中，
所述相似度确定装置还具备将所述第1医用图像中的对象区域分割为多个区域的区域分割部，
所述特征量计算部在所述分割出的每个区域中，针对在所述第1医用图像中分类出的每个观察结果计算第1特征量，
所述相似度导出部针对所述分割出的每个区域导出所述第1医用图像与所述第2医用图像的区域相似度，并根据多个所述区域相似度来导出所述第1医用图像与所述第2医用图像的相似度，
所述区域确定部根据所述区域相似度来确定所述重要区域。
5.根据权利要求1至4中任一项所述的相似度确定装置，其中，
所述相似度确定装置还具备检索部，所述检索部参考病例数据库并根据所述第1医用图像与多个所述第2医用图像的相似度来检索与所述第1医用图像相似的第2医用图像作为相似医用图像，所述病例数据库中登记有多个所述第2医用图像，并且与所述多个第2医用图像的每个第2医用图像对应关联地登记有关于所述多个第2医用图像的每个第2医用图像的所述第2特征量。
6.根据权利要求5所述的相似度确定装置，其中，
所述相似度确定装置还具备显示控制部，所述显示控制部将包括所述相似医用图像中的所述重要区域的切片图像作为检索结果而显示于显示部。
7.根据权利要求6所述的相似度确定装置，其中，
所述显示控制部将穿过所述相似医用图像中的一个所述重要区域的重心的切片图像作为所述检索结果显示于所述显示部。
8.根据权利要求6所述的相似度确定装置，其中，
所述显示控制部将所述相似医用图像中的一个所述重要区域的面积最大的切片图像作为所述检索结果显示于所述显示部。
9.根据权利要求5所述的相似度确定装置，其中，
所述相似度确定装置还具备显示控制部，所述显示控制部将强调了所述重要区域的所述相似医用图像作为检索结果三维显示于显示部。
10.一种相似度确定方法，其确定三维的第1医用图像与三维的第2医用图像的相似度，在所述相似度确定方法中：
将所述第1医用图像的各个像素分类为多个种类的观察结果中的至少一个观察结果；
针对在所述第1医用图像中分类出的每个观察结果计算第1特征量；
根据在所述第1医用图像中计算出的所述每个观察结果的所述第1特征量和在所述第2医用图像中预先计算出的所述每个观察结果的第2特征量来导出所述第1医用图像与所述第2医用图像的相似度；及
在所述第2医用图像中，确定包括用于导出所述相似度的重要观察结果的至少一个重要区域。
11.一种相似度确定程序，其使计算机执行确定三维的第1医用图像与三维的第2医用图像的相似度的处理，所述相似度确定程序使计算机执行如下步骤：
将所述第1医用图像的各个像素分类为多个种类的观察结果中的至少一个观察结果的步骤；
针对在所述第1医用图像中分类出的每个观察结果计算第1特征量的步骤；
根据在所述第1医用图像中计算出的所述每个观察结果的所述第1特征量和在所述第2医用图像中预先计算出的所述每个观察结果的第2特征量来导出所述第1医用图像与所述第2医用图像的相似度的步骤；及
在所述第2医用图像中，确定包括用于导出所述相似度的重要观察结果的至少一个重要区域的步骤。
CN201980077633.3A 2018-11-27 2019-10-23 相似度确定装置、方法及程序 Pending CN113164141A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-221167 2018-11-27
JP2018221167 2018-11-27
PCT/JP2019/041479 WO2020110520A1 (ja) 2018-11-27 2019-10-23 類似度決定装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
CN113164141A true CN113164141A (zh) 2021-07-23

Family

ID=70853894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980077633.3A Pending CN113164141A (zh) 2018-11-27 2019-10-23 相似度确定装置、方法及程序

Country Status (5)

Country Link
US (1) US11989880B2 (zh)
JP (1) JP7091475B2 (zh)
CN (1) CN113164141A (zh)
DE (1) DE112019005888T5 (zh)
WO (1) WO2020110520A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3646240A4 (en) 2017-06-26 2021-03-17 The Research Foundation for The State University of New York SYSTEM, PROCEDURE AND COMPUTER-ACCESSIBLE MEDIUM FOR VIRTUAL PANCREATOGRAPHY

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117936A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd ３次元類似画像検索装置
JP2001155019A (ja) * 1999-11-25 2001-06-08 Olympus Optical Co Ltd 類似画像検索装置
CN102208105A (zh) * 2010-03-31 2011-10-05 富士胶片株式会社 医学图像处理技术
CN106164903A (zh) * 2014-03-27 2016-11-23 富士胶片株式会社 类似病例检索装置、类似病例检索方法及类似病例检索程序
CN106560827A (zh) * 2015-09-30 2017-04-12 松下知识产权经营株式会社 控制方法
WO2018116727A1 (ja) * 2016-12-19 2018-06-28 富士フイルム株式会社 類似症例検索装置とその作動方法および作動プログラム、並びに類似症例検索システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342558A (ja) 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
US20080292194A1 (en) * 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
US8331637B2 (en) * 2006-03-03 2012-12-11 Medic Vision-Brain Technologies Ltd. System and method of automatic prioritization and analysis of medical images
JP5159242B2 (ja) * 2007-10-18 2013-03-06 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP5374078B2 (ja) * 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
WO2013001584A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および類似症例検索方法
JP5789791B2 (ja) * 2011-07-25 2015-10-07 パナソニックＩｐマネジメント株式会社 類似症例検索装置および読影知識抽出装置
JP5054252B1 (ja) * 2011-11-04 2012-10-24 パナソニック株式会社 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117936A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd ３次元類似画像検索装置
JP2001155019A (ja) * 1999-11-25 2001-06-08 Olympus Optical Co Ltd 類似画像検索装置
CN102208105A (zh) * 2010-03-31 2011-10-05 富士胶片株式会社 医学图像处理技术
CN106164903A (zh) * 2014-03-27 2016-11-23 富士胶片株式会社 类似病例检索装置、类似病例检索方法及类似病例检索程序
CN106560827A (zh) * 2015-09-30 2017-04-12 松下知识产权经营株式会社 控制方法
WO2018116727A1 (ja) * 2016-12-19 2018-06-28 富士フイルム株式会社 類似症例検索装置とその作動方法および作動プログラム、並びに類似症例検索システム

Also Published As

Publication number Publication date
US20210279879A1 (en) 2021-09-09
JP7091475B2 (ja) 2022-06-27
US11989880B2 (en) 2024-05-21
WO2020110520A1 (ja) 2020-06-04
JPWO2020110520A1 (ja) 2021-10-14
DE112019005888T5 (de) 2021-09-30

Similar Documents

Publication Publication Date Title
US11263497B2 (en) Method and system for machine learning classification based on structure or material segmentation in an image
US11227391B2 (en) Image processing apparatus, medical image diagnostic apparatus, and program
US10734107B2 (en) Image search device, image search method, and image search program
CN113164142B (zh) 相似度确定装置、方法及程序
JP6914233B2 (ja) 類似度決定装置、方法およびプログラム
US11854190B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Bhat et al. Identification of intracranial hemorrhage using ResNeXt model
US20210183061A1 (en) Region dividing device, method, and program, similarity determining apparatus, method, and program, and feature quantity deriving apparatus, method, and program
US11989880B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
JP2023114463A (ja) 表示装置、方法およびプログラム
US11893735B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Hsu et al. DeepOPG: Improving Orthopantomogram Finding Summarization with Weak Supervision
Singh Diagnosing Covid-19 using image processing and machine learning
Ramos Analysis of medical images to support decision-making in the musculoskeletal field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination