CN111918611B - 胸部x线图像的异常显示控制方法、记录介质及装置 - Google Patents

胸部x线图像的异常显示控制方法、记录介质及装置 Download PDF

Info

Publication number
CN111918611B
CN111918611B CN201980023263.5A CN201980023263A CN111918611B CN 111918611 B CN111918611 B CN 111918611B CN 201980023263 A CN201980023263 A CN 201980023263A CN 111918611 B CN111918611 B CN 111918611B
Authority
CN
China
Prior art keywords
chest
ray image
abnormal state
image
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980023263.5A
Other languages
English (en)
Other versions
CN111918611A (zh
Inventor
近藤坚司
小泽顺
木村浩彦
伊藤春海
藤本真一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Panasonic Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Holdings Corp filed Critical Panasonic Holdings Corp
Publication of CN111918611A publication Critical patent/CN111918611A/zh
Application granted granted Critical
Publication of CN111918611B publication Critical patent/CN111918611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种异常显示控制方法，异常显示控制装置的计算机：取得对象胸部X线图像(S50)，使用预先机器学习过的模型，在对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成(S100)，算出用于从结构物判定异常状态的指标，将指标与预先求出的基准指标进行比较，基于比较结果判定结构物是否为异常状态(S200)，在判定为结构物是异常状态时，将对象胸部X线图像中的包含判定为是异常状态的结构物的区域的图像、和结构物的异常状态的内容显示于显示器(S300)。

Description

胸部X线图像的异常显示控制方法、记录介质及装置
技术领域
本公开涉及医用图像的处理技术，更详细而言是涉及胸部X线(X射线)图像的异常判定技术。
背景技术
近年来，开发了通过对医用图像进行解析处理来检测病变区域的装置、软件等。这种装置、软件或者使用它们进行的诊断被称为计算机辅助检测(CAD)，可期待能够减轻医生(医师)的读片(射线图判读)工作的负担。
另外，在医用图像中，胸部X线图像因拍摄设备价格低以及拍摄成本低，普及率也高，已成为诊断胸部疾病时的首选方法。
作为胸部X线图像的CAD技术，例如在非专利文献1中公开的那样，对要检测的疾病的病变图像进行机器学习的方法已成为主流。然而，在胸部X线图像中，沿进深方向重叠地描画出多个解剖结构(解剖学结构)。因此，在这些解剖学结构物与病变重叠的情况下，会发生无法明确地视觉识别病变这一事态。作为也对应病变与解剖结构重叠而无法明确地视觉识别的病症的技术，提出了专利文献1。
专利文献1是着眼于由肋骨包围的肺野区域(即肋间区域)并将如果左右的肋间距离有差异则怀疑有病变的可能性这一医生的见解进行工程实现的技术。根据该技术，即使病变本身无法被明确视觉识别，通过检测由病变引起的解剖结构的变化(也即是说左右的肋间距离的差异)，也能够推定异常。
现有技术文献
非专利文献
非专利文献1：X.Wang,Y.Peng,L.Lu,Z.Lu,M.Bagheri,R.Summers,Chest X-Ray8:Hospital-Scale Chest X-ray Database and Benchmarks on Weakly-SupervisedClassification and Localization of Common Thorax Diseases,CVPR2017.
非专利文献2：O.Ronneberger,P.Fischer,and T.Brox,U-Net:ConvolutionalNetworks for Biomedical Image Segmentation,Medical Image Computing andComputer-Assisted Intervention(MICCAI),Springer,LNCS,Vol.9351:234-241,2015.
非专利文献3：J.Long,E.Shelhamer,T.Darrell,Fully Convolutional Networksfor Semantic Segmentation,In CVPR,2015.
非专利文献4：Jinwon An,Sungzoon Cho,Variational Autoencoder basedAnomaly Detection using Reconstruction P robability,December 27,2015SNU DataMining Center 2015-2Special Lecture on IE.
专利文献
专利文献1：国际公开第2010/035517号
发明内容
然而，在上述现有技术中，关于不依赖于特定的解剖结构而以统一的构架判定多样的异常状态这一点，需要进一步的改善。
本公开的一个技术方案是一种胸部X线图像的异常显示控制方法，从作为读片对象的胸部X线图像的对象胸部X线图像判定异常状态并显示于显示器的异常显示控制装置的计算机：
取得所述对象胸部X线图像；
使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
算出用于从所述结构物判定异常状态的指标，将所述指标与预先求出的基准指标进行比较，基于比较结果判定所述结构物是否为异常状态；
在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容显示于显示器。
该总括性的或者具体的技术方案既可以通过装置、系统、集成电路、计算机程序或者计算机可读取的记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序以及计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc Read Only Memory)等非易失性的记录介质。
根据上述技术方案，能够实现进一步的改善。从说明书及附图可知晓本公开的一个技术方案中的进一步的优点及效果。上述优点和/或效果分别由若干个实施方式和说明书及附图所记载的特征提供，但无需为了获得一个或一个以上相同的特征而提供所有的实施方式和特征。
附图说明
图1是第1实施方式中的异常显示控制装置的框图。
图2是第1实施方式中的院内网络结构的框图。
图3是第1实施方式中的流程图。
图4A是表示包含降主动脉的阴影的胸部X线图像的图。
图4B是表示降主动脉的阴影的掩模图像(蒙片)的图。
图4C是表示将掩模图像重叠在胸部X线图像上的图像的图。
图5A是表示包含右背侧横膈膜的阴影的胸部X线图像的图。
图5B是表示右背侧横膈膜的阴影的掩模图像的图。
图5C是表示将掩模图像重叠在胸部X线图像上的图像的图。
图6A是表示包含第一胸椎的胸部X线图像的图。
图6B是表示第一胸椎的掩模图像的图。
图6C是表示将掩模图像重叠在胸部X线图像上的图像的图。
图7是概略地表示U-Net的架构的图。
图8A是表示第1实施方式中的异常判定处理的流程图。
图8B是表示第1实施方式中的异常判定处理的流程图。
图9是表示定义了按各结构物所执行的步骤的执行信息的图。
图10是概略地表示作为正常模型的一例的概率密度分布的图。
图11是对基于降维(维数削减)的异常显示控制方法进行说明的图。
图12是表示堆叠自编码器的网络结构的图。
图13是表示变分自编码器的网络结构的图。
图14A是表示结构物的位置正常的例子的图。
图14B是表示结构物的位置异常的例子的图。
图15是对两个线结构的角度计算进行说明的图。
图16A是表示两个线结构的角度正常的例子的图。
图16B是表示两个线结构的角度异常的例子的图。
图17A是表示两个线结构之间的距离正常的例子的图。
图17B是表示两个线结构之间的距离异常的例子的图。
图18A是表示线结构的面积正常的例子的图。
图18B是表示线结构的面积异常的例子的图。
图19A是表示线结构的宽度正常的例子的图。
图19B是表示线结构的宽度异常的例子的图。
图20A是表示对象胸部X线图像的样本图像的图。
图20B是表示结构物的掩模图像的图。
图20C是表示结构物的掩模图像的图。
图20D是表示将掩模图像重叠在对象胸部X线图像上的图像的图。
图20E是表示重叠了结构物的掩模图像的状态下的剪切图像的图。
图20F是表示不重叠结构物的掩模图像的状态下的剪切图像的图。
图21A是表示夹在线结构间的区域正常的例子的图。
图21B是表示夹在线结构间的区域异常的例子的图。
图22A是表示对象胸部X线图像的样本图像的图。
图22B是表示结构物的掩模图像的图。
图22C是表示将掩模图像重叠在对象胸部X线图像上的图像的图。
图22D是表示重叠了结构物的掩模图像的状态下的剪切图像的图。
图22E是表示不重叠结构物的掩模图像的状态下的剪切图像的图。
图23是表示第1实施方式中的显示器的显示例的图。
图24是表示第2实施方式中的异常显示控制装置的构成的框图。
图25是表示第2实施方式中的结构物检测处理的流程图。
图26是概略地表示分辨率信息的图。
图27是概略地表示图25的步骤S103～步骤S106的处理的图。
图28是表示第3实施方式中的异常显示控制装置的构成的框图。
图29是第3实施方式中的流程图。
图30是概略地表示异常所见信息的图。
图31是表示第3实施方式中的显示器的显示例的图。
图32是第4实施方式中的院内网络结构的框图。
图33是对从两个线结构P、Q算出顶点VT以及线结构P侧的切线TLp和线结构Q侧的切线TLq的方法进行说明的图。
具体实施方式
(成为本公开的基础的见解)
如前所述，在非专利文献1的方法中，难以检测无法明确地视觉识别的病变。另外，在专利文献1的方法中，难以应对除了肋间区域的面积或者距离表现出差异的异常以外的异常。于是，本发明人着眼于胸部X线图像中描画出的各种局部结构，想到了以下的各技术方案，它们能够不依赖于特定的解剖结构而以统一的构架判定也包括了病变无法被明确地视觉识别的情况的多样的异常的有无。
本公开的第1技术方案是一种胸部X线图像的异常显示控制方法，从作为读片对象的胸部X线图像的对象胸部X线图像判定异常状态并显示于显示器的异常显示控制装置的计算机：
取得所述对象胸部X线图像；
使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
算出用于从所述结构物判定异常状态的指标，将所述指标与预先求出的基准指标进行比较，基于比较结果判定所述结构物是否为异常状态；
在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容显示于显示器。
本公开的第2技术方案是一种异常显示控制程序，使异常显示控制装置的计算机作为取得部、检测部、判定部和显示控制部而发挥功能，所述异常显示控制装置从作为读片对象的胸部X线图像的对象胸部X线图像判定异常状态并显示于显示器，
所述取得部取得所述对象胸部X线图像，
所述检测部使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成，
所述判定部算出用于从所述结构物判定异常状态的指标，将所述指标与预先求出的基准指标进行比较，基于比较结果判定所述结构物是否为异常状态，
所述显示控制部在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容显示于显示器。
本公开的第3技术方案是一种异常显示控制装置，具备：
显示器；
取得部，其取得作为读片对象的胸部X线图像的对象胸部X线图像；
检测部，其使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
判定部，其算出用于从所述结构物判定异常状态的指标，将所述指标与预先求出的基准指标进行比较，基于比较结果判定所述结构物是否为异常状态；
显示控制部，其在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容显示于所述显示器。
在该第1技术方案、第2技术方案或者第3技术方案中，使用预先机器学习过的模型，在作为读片对象的胸部X线图像的对象胸部X线图像中，检测出包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成。算出用于从包括由第1线状区域或者第2线状区域形成的线结构的结构物判定异常状态的指标，比较指标与预先确定的基准指标，基于比较结果判定结构物是否为异常状态。将会与解剖结构的种类或者对象胸部X线图像中的解剖结构的位置无关地检测出第1线状区域以及第2线状区域。因而，根据第1技术方案、第2技术方案或者第3技术方案，能够不依赖于特定的解剖结构而以统一的构架判定多样的异常状态。另外，在判定为结构物是异常状态时，将对象胸部X线图像中的包含判定为是异常状态的结构物的区域的图像和结构物的异常状态的内容显示于显示器。因此，能够将有益的信息提示给用户。其结果，不仅是读片医生，而且也能够利用于临床医生或者放射科医生的诊断或者自学、以及医学专业的学生的教育或者自学。
在上述第1技术方案中，例如也可以为，
所述预先机器学习过的模型是使用以像素为单位进行预测的神经网络(NeuralNetwork)以在学习用胸部X线图像中检测出所述结构物的方式进行了学习的模型，所述学习用胸部X线图像是正常状态的胸部X线图像。
在该技术方案中，用使用以像素为单位进行预测的神经网络以在学习用胸部X线图像中检测出结构物的方式进行了学习的模型来检测结构物，所述学习用胸部X线图像是正常状态的胸部X线图像。因而，由于以像素为单位进行预测，因此能够高精度地检测包括由第1线状区域或者第2线状区域形成的线结构的结构物。
在上述第1技术方案中，例如也可以为，
在所述检测中，
将所述对象胸部X线图像变换为比所述对象胸部X线图像的分辨率低的第1分辨率从而制作第1X线图像，
将所述对象胸部X线图像变换为比所述第1分辨率高且在所述对象胸部X线图像的分辨率以下的第2分辨率从而制作第2X线图像，
从所述第1X线图像检测第1尺寸的所述结构物，
基于所述第1尺寸的所述结构物的检测结果，在所述第2X线图像中设定比所述第2X线图像小的搜索区域，
从所述搜索区域检测比所述第1尺寸小的第2尺寸的所述结构物。
在该技术方案中，从第1分辨率的第1X线图像检测第1尺寸的结构物。在比第1分辨率高的第2分辨率的第2X线图像中设定搜索区域，从该搜索区域检测比第1尺寸小的第2尺寸的结构物。因而，根据该技术方案，在使用高分辨率的图像时，设定比对象胸部X线图像的尺寸小的尺寸的搜索区域。因此，存储器的使用量减少。其结果，即使在内存量少的情况下，也能够抑制结构物检测性能的降低。
在上述第1技术方案中，例如也可以为，
在所述第1尺寸的所述结构物的检测中，从所述第1X线图像检测解剖结构作为所述第1尺寸的所述结构物，
在所述第2尺寸的所述结构物的检测中，从所述第2X线图像的所述搜索区域检测所述线结构作为所述第2尺寸的所述结构物。
根据该技术方案，解剖结构为比较大的第1尺寸，因此能够优选从比较低的第1分辨率的第1X线图像中检测。另外，线结构为比较小的第2尺寸，因此能够优选从比较高的第2分辨率的第2X线图像中的所设定的搜索区域内检测。
在上述第1技术方案中，例如也可以为，
在所述搜索区域的设定中，使用从预先保存有所述第1尺寸的所述结构物与所述第2尺寸的所述结构物的相对位置关系的位置存储器读出的所述相对位置关系，设定所述搜索区域。
根据该技术方案，能够从作为第1检测子步骤的检测结果所得到的第1尺寸的结构物的位置、和第1尺寸的结构物与第2尺寸的结构物的相对位置关系，掌握第2尺寸的结构物的位置。因而，通过设定搜索区域以使得包含所掌握的第2尺寸的结构物的位置，能够切实地检测出第2尺寸的结构物。
在上述第1技术方案中，例如也可以为，
在所述判定中，算出所述线结构的位置作为所述指标。
根据该技术方案，能够在线结构的位置不同于正常状态的情况下，判定为是异常状态。
在上述第1技术方案中，例如也可以为，
在所述判定中，算出两个所述线结构间形成的角度作为所述指标。
根据该技术方案，能够在线结构的角度不同于正常状态的情况下，判定为是异常状态。
在上述第1技术方案中，例如也可以为，
在所述判定中，算出两个所述线结构之间的距离作为所述指标。
根据该技术方案，能够在两个线结构之间的距离不同于正常状态的情况下，判定为是异常状态。
在上述第1技术方案中，例如也可以为，
在所述判定中，算出所述线结构的面积作为所述指标。
根据该技术方案，能够在线结构的面积不同于正常状态的情况下，判定为是异常状态。
在上述第1技术方案中，例如也可以为，
在所述判定中，算出所述线结构的宽度作为所述指标。
根据该技术方案，能够在线结构的宽度不同于正常状态的情况下，判定为是异常状态。
在上述第1技术方案中，例如也可以为，
在所述判定中，算出夹在两个以上的所述线结构间的区域的图像模式作为所述指标。
根据该技术方案，能够在夹在两个线结构间的区域的图像模式不同于正常状态的情况下，判定为是异常状态。
在上述第1技术方案中，例如也可以为，
在所述判定中，算出所述线结构的邻近区域的图像模式作为所述指标。
根据该技术方案，能够在线结构的邻近区域的图像模式不同于正常状态的情况下，判定为是异常状态。
在上述第1技术方案中，例如也可以为，
在所述判定中，基于从基准存储器读出的所述基准指标与从所述对象胸部X线图像算出的所述指标的差异，判定所述结构物是否为异常状态，所述基准存储器预先保存有根据在多个正常状态的胸部X线图像中分别检测出的所述结构物所算出的所述指标作为所述基准指标。
根据该技术方案，由于预先保存有根据在多个正常状态的胸部X线图像中分别检测出的结构物所算出的指标作为基准指标，因此能够基于与正常状态的基准指标的差异，精准地判定结构物是否为异常状态。
在上述第1技术方案中，例如也可以为，进一步，
从预先保存有单个或者多个所述结构物的异常状态与对于胸部X线图像的异常所见之间的对应关系的异常所见存储器读出所述对应关系，使用所述对应关系从所述判定出的每个所述结构物的异常状态判定所述对象胸部X线图像的异常所见，
将所判定出的所述对象胸部X线图像的异常所见显示于所述显示器。
根据该技术方案，使用预先保存于异常所见存储器的对应关系，从所判定出的每个结构物的异常状态，判定对象胸部X线图像的异常所见。判定出的对象胸部X线图像的异常所见显示于显示器。因而，能够对用户提示有益的信息。另外，由于结构物的异常状态的内容和对象胸部X线图像的异常所见显示于显示器，因此也能够利用于临床医生、放射科医生、医学专业的学生等用户的诊断、教育、自学。
本公开的第4技术方案是一种服务器装置，具备：
取得部，其取得作为读片对象的胸部X线图像的对象胸部X线图像；
检测部，其使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
判定部，其算出用于从所述结构物判定异常状态的指标，将所述指标与预先确定的基准值进行比较，基于比较结果判定所述结构物是否为异常状态；以及
通信控制部，其在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容发送给外部的终端装置。
在该第4技术方案中，使用预先机器学习过的模型，在作为读片对象的胸部X线图像的对象胸部X线图像中检测出包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成。算出用于从包括由第1线状区域或者第2线状区域形成的线结构的结构物判定异常状态的指标，比较指标与预先确定的基准指标，基于比较结果判定结构物是否为异常状态。将会与解剖结构的种类或者对象胸部X线图像中的解剖结构的位置无关地检测出第1线状区域以及第2线状区域。因而，根据第4技术方案，能够不依赖于特定的解剖结构而以统一的构架判定多样的异常状态。另外，在判定为结构物是异常状态时，对象胸部X线图像中的包含判定为是异常状态的结构物的区域的图像和结构物的异常状态的内容被发送到外部的终端装置。因此，能够将有益的信息提供给终端装置的用户。其结果，不仅是读片医生，而且也能够利用于临床医生或者放射科医生的诊断或者自学、以及医学专业的学生的教育或者自学。
(实施方式)
以下，参照附图，对本公开的实施方式进行说明。此外，在各附图中，对于相同的构成要素使用相同的标号，并适当省略说明。
(第1实施方式)
图1是概略地表示第1实施方式中的执行胸部X线图像的异常显示控制方法的异常显示控制装置100的构成的框图。图2是概略地表示医疗机构内的网络结构410的框图。
如图2所示，医疗机构内的网络结构410包括内部网络(Intra network)400。该内部网络400上连接有异常显示控制装置100、医用图像管理系统200以及胸部X线图像拍摄装置300。医用图像管理系统200保存并管理胸部X线图像、计算机断层摄影(CT)图像、由核磁共振成像法(MRI)得到的图像等。胸部X线图像拍摄装置300拍摄患者或者做体检的人的胸部X线图像。由胸部X线图像拍摄装置300拍摄到的胸部X线图像被发送到医用图像管理系统200而保存。
此外，异常显示控制装置100、医用图像管理系统200以及胸部X线图像拍摄装置300不一定要连接在同一医疗机构内的内部网络400上。异常显示控制装置100以及医用图像管理系统200也可以是在设置于医疗机构外部的数据中心、私有云服务器、公共云服务器等上工作的软件。胸部X线图像拍摄装置300既可以设置在医院内，也可以设置在用于体检等的流动车中。作为医用图像管理系统200，例如采用图像保存和通信系统(PACS)。
如图1所示，异常显示控制装置100具备正常模型存储部103、图像存储器106、通信部107、显示器108、中央运算处理装置(CPU)120和存储器121。异常显示控制装置100例如由个人计算机构成。
通信部107经由内部网络400与医用图像管理系统200等进行通信。正常模型存储部103例如由硬盘或者半导体存储器等构成。正常模型存储部103(相当于基准存储器的一例)将预先定义的多个结构物(后述)的正常状态作为模型进行存储。图像存储器106例如由硬盘或者半导体存储器等构成。图像存储器106存储所取得的对象胸部X线图像。显示器108例如由液晶监视器构成，显示对象胸部X线图像，由作为用户的医生或者放射科医生对所述对象胸部X线图像进行图像诊断或者图像拍摄后的图像确认。另外，显示器108显示供填写拍摄了对象胸部X线图像的患者的病历信息、图像诊断的结果的报告输入画面等。
存储器121例如由半导体存储器等构成。存储器121例如包括只读存储器(ROM)、随机存取存储器(RAM)、电可擦可编程的只读存储器(EEPROM)等。存储器121的ROM存储使CPU120工作的第1实施方式的控制程序。
CPU120通过执行存储于存储器121的第1实施方式的控制程序，作为结构物检测部101、结构物异常判定部102、显示控制部122和通信控制部123而发挥功能。结构物检测部101(相当于检测部的一例)从保存于图像存储器106的对象胸部X线图像，检测预先定义的多个结构物。结构物异常判定部102(相当于判定部的一例)按由结构物检测部101检测出的每个结构物，通过参照存储于正常模型存储部103的正常模型，判定是否为异常状态。关于显示控制部122、通信控制部123的功能，会在后面分别详细进行说明。
图3是概略地表示由第1实施方式涉及的异常显示控制装置100执行的处理步骤的流程图。首先，在步骤S50中，通信控制部123(相当于取得部的一例)经由通信部107从医用图像管理系统200取得作为读片对象的胸部X线图像的对象胸部X线图像，将取得的对象胸部X线图像保存于图像存储器106。在步骤S100中，结构物检测部101从图像存储器106读取对象胸部X线图像，并从该对象胸部X线图像检测预先定义的一个以上的结构物。
“一个以上的结构物”的每一个是(i)人体的解剖结构在胸部X线图像上被描画出的线或区域、或者(ii)解剖结构的一部分在胸部X线图像上被描画出的线或区域、或者(iii)X线透射率不同的多个解剖结构的边界在胸部X线图像上被描画出的边界线。
“一个以上的结构物”的每一个被分类为“线结构”或者“区域结构”。“线结构”包括在胸部X线图像上描画出的边界线、解剖结构在胸部X线图像上被描画出的线、以及解剖结构的一部分在胸部X线图像上被描画出的线。
将不是线结构的结构物、即不能视为线状的结构物定义为“区域结构”。由于存在尽管是线结构但在图像上宽度比一个像素大的结构物，因此担心“线结构”与“区域结构”的差异不明确。于是，例如也可以将结构物的(纵向长度)/(横向长度)在阈值以上的结构物定义为“线结构”。该阈值设定为如使结构物被视为线状那样的适当的值即可，例如也可以为10、100或者1000。线结构的例子表示于图4A～4C和图5A～5C，区域结构的例子表示于图6A～6C。
图4A是表示包含降主动脉的阴影(即由降主动脉与肺实质之间的X线透射率的差异描画出的边界线，相当于第1线状区域的一例)的胸部X线图像Ix的图。图4B是表示降主动脉的阴影的掩模图像Px的图。图4C是表示将图4B的掩模图像Px重叠显示在图4A的胸部X线图像Ix上的图像的图。图5A是表示包含右背侧横膈膜(右背侧肺基部)的阴影(即由肺实质的背侧基部与腹侧器官之间的X线透射率的差异描画出的边界线，相当于第1线状区域的一例)的胸部X线图像Ix的图。图5B是表示右背侧横膈膜的阴影的掩模图像Py的图。图5C是表示将图5B的掩模图像Py重叠显示在图5A的胸部X线图像Ix上的图像的图。图6A是表示包含第一胸椎被投影的区域的胸部X线图像Ix的图。图6B是表示第一胸椎的掩模图像Pz。图6C是表示将图6B的掩模图像Pz重叠显示在图6A的胸部X线图像Ix上的图像的图。
掩模图像是以二值或者灰阶表现出对应的胸部X线图像中的结构物所占的区域的图像。在本实施方式中，作为二值掩模图像进行说明。该掩模图像作为在对结构物检测部101进行机器学习时的学习数据，由具有医学知识的人来制作和准备。另外，学习后的结构物检测部101将掩模图像作为处理对象胸部X线图像得到的结果进行输出。
在本实施方式中，使用人工神经网络作为对结构物检测部101进行机器学习的手段。具体而言，作为进行从对象图像中以像素为单位提取对象区域的语义分割(SemanticSegmentation)的人工神经网络，使用了非专利文献2中公开的U-Net。语义分割意味着将图像以像素为单位进行区域分割。
图7是概略地表示U-Net的架构的图。U-Net是如图7所示的具备编码器ECD以及解码器DCD的卷积神经网络，在U-Net中，输入图像被输入到输入层IL时，从U-Net，输出图像被输出到输出层OL。大量提供成组的如图4A、图5A、图6A那样的输入图像与如图4B、图5B、图6B那样的掩模图像来进行机器学习。
具体而言，将如图4A那样的胸部X线图像Ix大量输入到U-Net，以从U-Net输出如图4B那样的掩模图像Px的方式进行机器学习，生成降主动脉的阴影用的结构物检测部101。另外，将如图5A那样的胸部X线图像Ix大量输入到U-Net，以从U-Net输出如图5B那样的掩模图像Py的方式进行机器学习，生成右背侧横膈膜的阴影用的结构物检测部101。另外，将如图6A那样的胸部X线图像Ix大量输入到U-Net，以从U-Net输出如图6B那样的掩模图像Pz的方式进行机器学习，生成第一胸椎用的结构物检测部101。而且，当对象胸部X线图像被输入到机器学习后的、例如降主动脉的阴影用的结构物检测部101时，作为使其机器学习了的结构物的区域而检测出降主动脉的阴影。
在本实施方式中，对于预先定义的总计N(N为1以上的整数)个结构物，预先使分别进行结构物检测的U-Net机器学习而准备N个已学习完的U-Net，这些N个已学习完的U-Net被用作结构物检测部101。此外，作为进行语义分割的人工神经网络，也可以取代U-Net而使用如非专利文献3所公开的那样的其他的神经网络。
回到图3，在步骤S200中，结构物异常判定部102按检测出的每个结构物判定是否为异常状态。
图8A、8B是概略地表示步骤S200(图3)中的异常判定处理步骤的流程图。图9是概略地表示定义了按各结构物所执行的图8A、8B的步骤的执行信息900的图。如图9所示，执行信息900包含设定于纵轴的步骤栏901和设定于横轴的结构物ID栏902。
如图8A、8B所示，结构物异常判定部102按检测出的每个结构物，进行基于结构物的位置的判定处理(步骤S201)、基于结构物间的角度的判定处理(步骤S202)、基于结构物间的距离的判定处理(步骤S203)、基于结构物的面积的判定处理(步骤S204)、基于结构物的粗细的判定处理(步骤S205)、基于夹在结构物间的区域的图像模式的判定处理(步骤S206)、和基于结构物的邻近区域的图像模式的判定处理(步骤S207)。关于各个判定处理，将会在后面详细说明。
在各判定处理中，用于判定正常或异常的指标按每个结构物而不同。因此，如图9所示的那样的执行信息900预先基于医学见解来准备，并保存于存储器121。其原因在于，按每个结构物，异常时的异常的表现方式不同。根据该执行信息900，结构物异常判定部102按每个结构物，获得如下信息：是否要执行图8A、8B的流程图的各步骤，在要与其他结构物进行比较而执行的情况下与哪个结构物比较。
图9所示的执行信息900的结构物ID栏902中记有“〇”或者结构物ID的情况下，关于对应的结构物，执行其步骤。例如，关于结构物1，执行步骤S201～S203、S207，不执行步骤S204～S206。即，关于结构物1，基于结构物1的位置、结构物1与结构物8的角度、结构物1与结构物4的距离、以及结构物1的邻近区域的图像模式，判定是否为异常状态。例如，关于结构物N，执行步骤S202、S204～S206，不执行步骤S201、S203、S207。即，关于结构物N，基于结构物N的角度、结构物N的面积、结构物N的宽度、以及夹在结构物N与结构物12间的区域的图像模式，判定是否为异常状态。
此外，在本实施方式中，作为在步骤S201～S207中判定正常或异常的共同的方法，事先根据大量的正常数据构建正常模型，将从对象胸部X线图像检测出的结构物与该正常模型进行比较。事先所构建的正常模型预先存储于正常模型存储部103。
图10是概略地表示作为正常模型的一例的概率密度分布PDD的图。在从结构物提取的指标为一维的情况下，结构物异常判定部102例如使用如图10那样的概率密度分布PDD判定是否为异常状态。关于成为对象的指标，结构物异常判定部102针对上述的正常模型中的指标的概率密度分布PDD，利用与从结构物提取出的指标对应的概率的值来判定正常程度。例如在图10中，提取出的指标P1、P2的正常程度分别为Q1、Q2。于是，结构物异常判定部102判定为指标P2看似正常，判定为指标P1看似异常。
作为表示概率密度分布PDD的方法，有使用基于数量较少的参数的参数模型(parametric model)来表示的方法、使用不假定特定的函数式而由各个数据确定分布的形状的非参数模型(non-parametric model)来表示的方法等。如果从结构物提取的指标的维数少，则结构物异常判定部102使用其概率密度分布判定是否为异常状态。例如在使用参数模型的情况下，作为正常模型，将表示概率密度分布的参数(例如正态分布的均值以及标准偏差)存储于正常模型存储部103。另一方面，在从结构物提取的指标为图像那样的高维的情况下，能够使用基于降维的异常判定方法。
图11是对利用降维时的重构误差的异常判定方法进行说明的图。在构建正常模型的机器学习时，从学习用数据集分布的原高维原始空间HDOS，求取削减了维数的低维子空间LDPS。在此，在仅用正常数据构成了学习用数据集而求出低维子空间LDPS的情况下，认为所得到的低维子空间LDPS成为反映了正常数据的特征的空间。在将从结构物提取的指标投影到该低维子空间LDPS时，如果本性与原学习数据接近(即如果为正常数据)，则会获得小于预定阈值的重构误差ER1。另一方面，如果是异常的数据，则会获得预定阈值以上的重构误差ER2。结构物异常判定部102利用这点，进行是否为异常状态的判定。重构误差能够根据将从结构物提取的指标投影到低维子空间LDPS(也即是说压缩了维数)时的矢量、与原高维原始空间HDOS中的矢量的距离来计算。作为进行降维的方法，能够使用主成分分析、堆叠自编码器、变分自编码器等方法。图12是表示堆叠自编码器1200的网络结构的图。如图12所示，堆叠自编码器1200是沙漏型的前馈网络，其具备输入层IL、输出层OL和两个以上的中间层ML，且相比于输入层IL、输出层OL，缩减了中间层ML的神经元数。在堆叠自编码器1200中，将自身作为教师数据进行学习以使得获得如将输入再现那样的输出。在学习结束后，中间层ML成为能够良好地表达学习数据集的本性那样的特征表达。因此，例如能够将中间层ML(i)的输出作为降维数据。
图13是表示变分自编码器1300的网络结构的图。如图13所示，变分自编码器1300与堆叠自编码器1200(图12)同样地是沙漏型的网络，其具备输入层IL、输出层OL和两个以上的中间层，且相比于输入层IL、输出层OL，缩减了中间层的神经元数。例如非专利文献4中公开了变分自编码器。图13相当于非专利文献4的图2或者图3。
在变分自编码器1300中，编码器ECD以图像x作为输入，输出作为成为生成图像x的基础的隐变量LV的z的分布(z|x)的参数。解码器DCD基于从分布/>(z|x)采样得到的z，输出生成图像的分布pθ(x|z)。变分自编码器1300中的学习通过数据集的各点x的对数边缘似然logpθ(x)的变分下界的最大化来进行。在非专利文献3中，作为算法3，说明了学习算法。
使用变分自编码器1300的异常判定如下这样进行。将对象胸部X线图像y输入到已学习完的编码器ECD，获得隐变量LV的值为z的分布f(z|y)。从该分布进行采样而获得隐变量z，使用所得到的隐变量z求取对象胸部X线图像y的似然pθ(y|z)。结构物异常判定部102根据该似然pθ(y|z)，判定异常或正常。在非专利文献4中，作为算法4，说明了判定算法。
在主成分分析的情况下，将进行降维的矩阵作为正常模型存储于正常模型存储部103。在堆叠自编码器、变分自编码器的情况下，将学习后的网络结构以及参数作为正常模型存储于正常模型存储部103。
以上，说明了在步骤S201～S207中判定正常状态或者异常状态的共同的方法。自此，说明各步骤中的具体的实现方法。
在图8A的步骤S201中，结构物异常判定部102判定关于结构物的位置是否正常。若判定为异常(步骤S201：否)，则处理进入步骤S211。另一方面，若判定为正常(步骤S201：是)，则处理进入步骤S212。在步骤S211、S212之后，处理进入步骤S202。
作为步骤S201的事先的准备，预先大量地准备如图4B、图5B、图6B所示的那样的二值掩模图像作为学习用图像。按每个结构物Pp并且按每个样本j，预先算出掩模区域的重心坐标(GXpj，GYpj)，将该二维重心坐标作为用于判定正常状态或者异常状态的指标。求取以此方式从学习用的二值掩模图像算出的重心坐标(GXpj，GYpj)的二维概率密度分布，并作为正常模型存储于正常模型存储部103。
此外，为了吸收胸部X线图像拍摄装置300中的拍摄时的位置偏移、被摄对象的体格差异，也可以在检测出与肺野相比较难以受疾病的影响并且也不易受拍摄时的被摄对象的姿势的影响的骨头(肋骨、胸椎等)之后，标准化为标准的位置以及体格，求取标准化后的重心坐标(NGXpj，NGYpj)，并作为正常模型存储于正常模型存储部103。
结构物异常判定部102从由结构物检测部101检测并输出的结构物Pp的掩模图像算出重心坐标。结构物异常判定部102通过将算出的重心坐标与保存于正常模型存储部103的对应于结构物Pp的二维概率密度分布进行比较，从而进行异常判定。在此，能够判定的异常的例子表示于图14A、14B。
图14A、14B是表示气管的左壁和右壁分别被定义为结构物的例子的图。图14A表示与气管的右壁对应的结构物P14a(相当于由第1线状区域与第2线状区域的组合所构成的一例)和与气管的左壁对应的结构物Q14a(相当于第1线状区域的一例)位于正常的位置的例子。图14B表示与气管的右壁对应的结构物P14b和与气管的左壁对应的结构物Q14b因疾病而相对于身体向右(在图像上为向左)位移了的例子。
在本实施方式中，气管的左右壁分别被定义为线结构的结构物。即，气管的几乎所有区域都在纵隔当中，该部分的支气管壁相当于第1线状区域的一例。如果在气管向支气管分支的附近，气管或者支气管变为与右肺野相邻，则该气管或者支气管的右壁相当于第2线状区域的一例。另一方面，对于气管的左壁，由于即使在向支气管分支的附近也存在降主动脉，因此相当于第1线状区域的一例。或者，也可以将气管所占的区域定义为区域结构的结构物。
回到图8A，在步骤S202中，结构物异常判定部102判定关于结构物与结构物之间的角度是否正常。若判定为异常(步骤S202：否)，则处理进入步骤S221。另一方面，若判定为正常(步骤S202：是)，则处理进入步骤S222。在步骤S221、S222之后，处理进入步骤S203。
作为进行步骤S202的与角度有关的异常判定的对象，有作为支气管分支的部分的角度的气管分叉角、肋骨横膈膜角等。
图15是对彼此间形成角度的两个线结构P、Q的角度计算进行说明的图。如图15所示，在使用角度进行异常判定的情况下，作为结构物，可使用彼此间形成角度的两个线结构P、Q。作为事先的准备，预先大量地准备彼此间形成角度的两个线结构P、Q的二值掩模图像作为学习用图像。而且，按每个样本j，算出该两个线结构P、Q的顶点VT，并在顶点VT的近旁，算出线结构P侧的切线TLp和线结构Q侧的切线TLq，从而算出切线TLp与切线TLq间形成的角度θpq。该角度作为用于判定正常状态或者异常状态的指标。求取以此方式从学习用的二值掩模图像算出的角度θpq的一维概率密度分布，并作为正常模型预先存储于正常模型存储部103。
在此，使用图33，对根据两个线结构P、Q算出顶点VT以及线结构P侧的切线TLp和线结构Q侧的切线TLq的方法进行说明。图33的A-1是处理对象的胸部X线图像(已经以说明所需的部分为中心进行了修剪)，图33的A-2是将图33的A-1中的区域R1进一步剪切并进行了对比度调整以使得气管易被视觉识别的图像。图33的A-3是表示分别将图15中的线结构P、Q进行区域提取所得到的区域PA3、QA3的图像。图15中的角度θpq是在胸部X线图像上表示气管分支的角度的气管分叉角，点VT是气管分叉角的顶点。从向下的气管起，作为支气管而向左右分支并进入左右的肺，因此，正常的支气管如图33所示那样在胸部X线图像上描画为稍稍下凸的形状的平缓的曲线。由此，作为从顶点VT向线结构P、Q的切线，能够将靠近线结构P、Q的顶点VT的部分进行直线近似来求取。线结构P、Q是左右支气管的下侧的边界，但至于教导U-Net将从顶点VT到哪里作为P、Q，能够由设计侧决定。此次，教导为包括胸椎、降主动脉的与中央阴影(胸部X线图像上的中央的X线吸收大的部分)重叠的左右支气管的下侧的边界。此次，使用线结构P、Q的靠中央的1/3的区域作为“靠近线结构P、Q的顶点VT的部分”。如前所述，即使是线结构，也存在在图像上宽度大于一个像素的构造物，因此，首先分别将两个线结构P、Q细化。作为细化算法，有Zhang-Suen、田村、Nagendra prasad-Wang-Gupta、Hilditch等的方法，可以用任意方法。例如可以使用比较高速的Zhang-Suen的方法。图33的A-4表示将图33的A-3的区域PA3、QA3细化出的作为一个像素宽的连通分量的区域PA4、QA4。接着，如图33的A-5所示，针对区域PA4、QA4，求取从图像的靠中央取1/3的长度(像素的连通数)的区域PA5、QA5。接着，将PA5和QA5使用霍夫(Hough)变换等方法进行直线近似。使用直线近似后的两条直线的式子，能够算出角度θpq。
此外，在图33中，与图15、图16A、图16B不同，以彼此没有相接的方式表现了线结构P、Q，但不管彼此相接还是分离，都能够应用上述的方法。
结构物异常判定部102算出由结构物检测部101检测并输出的线结构P、Q的掩模图像间形成的角度。结构物异常判定部102通过将算出的角度与保存于正常模型存储部103的对应于线结构P、Q的一维概率密度分布进行比较，从而进行异常判定。在此，能够判定的异常的例子表示于图16A、16B。
图16A、16B是表示支气管的分支部分的两个下侧边界线分别被定义为线结构的例子的图。图16A表示线结构P16a(相当于第1线状区域的一例)与线结构Q16a(相当于第1线状区域的一例)间形成的气管分叉角正常的例子。图16B表示线结构P16b(相当于第1线状区域的一例)与线结构Q16b(相当于第1线状区域的一例)间形成的气管分叉角因疾病而扩大了的例子。
回到图8A，在步骤S203中，结构物异常判定部102判定关于结构物与结构物之间的距离是否正常。若判定为异常(步骤S203：否)，则处理进入步骤S231。另一方面，若判定为正常(步骤S203：是)，则处理进入步骤S232。在步骤S231、S232之后，处理进入步骤S204。
在使用距离进行异常判定的情况下，使用两个结构物。作为事先的准备，预先大量地准备如图4B、图5B、图6B所示的那样的二值掩模图像作为学习用图像。按求取相互的距离的结构物Pp、Qq并且按每个样本j，算出结构物Pp的掩模图像与结构物Qq的掩模图像之间的距离Dpqj。该距离作为用于判定正常状态或者异常状态的指标。求取以此方式从学习用的二值掩模图像算出的距离Dpqj的一维概率密度分布，并作为正常模型预先存储于正常模型存储部103。
结构物异常判定部102从由结构物检测部101检测并输出的结构物Pp、Qq的掩模图像算出距离。结构物异常判定部102通过将算出的距离与保存于正常模型存储部103的对应于结构物Pp、Qq的一维概率密度分布进行比较，从而进行异常判定。作为距离，能够使用结构物Pp的重心与结构物Qq的重心之间的距离。在此，能够判定的异常的例子表示于图17A、17B。
图17A、17B是表示心阴影的左侧边界线和右侧边界线分别被定义为线结构的例子的图。图17A表示右心阴影的线结构P17a(相当于第1线状区域的一例)与左心阴影的线结构Q17a(相当于第1线状区域的一例)之间的距离正常的例子。图17B表示右心阴影的线结构P17b(相当于第1线状区域的一例)与左心阴影的线结构Q17b(相当于第1线状区域的一例)之间的距离因疾病而扩大了的例子。此外，定义距离的两个线结构中的某一方或者双方也有可能通过步骤S201中的与位置有关的异常判定而被判定为异常状态。
回到图8A，在步骤S204中，结构物异常判定部102判定关于结构物的面积是否正常。若判定为异常(步骤S204：否)，则处理进入步骤S241。另一方面，若判定为正常(步骤S204：是)，则处理进入步骤S242。在步骤S241、S242之后，处理进入步骤S205(图8B)。
作为事先的准备，预先大量地准备如图4B、图5B、图6B所示的那样的二值掩模图像作为学习用图像。按每个结构物Pp并且按每个样本j，算出掩模图像的面积Apj。该面积作为用于判定正常状态或者异常状态的指标。求取以此方式从学习用的二值掩模图像算出的面积Apj的一维概率密度分布，并作为正常模型预先存储于正常模型存储部103。
结构物异常判定部102从由结构物检测部101检测并输出的结构物Pp的掩模图像算出面积。结构物异常判定部102通过将算出的面积与保存于正常模型存储部103的对应于结构物Pp的一维概率密度分布进行比较，从而进行异常判定。作为面积，能够使用构成结构物Pp的像素的面积。或者，也可以使用构成结构物Pp的像素的个数作为面积。在此，能够判定的异常的例子表示于图18A、18B。
图18A、18B是表示左(图像上为右)膈顶阴影被定义为线结构的例子的图。图18A表示与膈顶阴影对应的线结构P18a(相当于第1线状区域的一例)正常的例子。图18B表示与膈顶阴影对应的线结构因疾病而变得难以视觉识别的例子。在如图18B那样的情况下，结构物检测部101无法检测出成为目标的结构物(在此为膈顶阴影)的一部分或者全部。因此，结构物异常判定部102能够以由结构物检测部101检测出的结构物的面积作为指标，进行异常判定。
在图8B的步骤S205中，结构物异常判定部102判定关于线结构的粗细(宽度)是否正常。若判定为异常(步骤S205：否)，则处理进入步骤S251。另一方面，若判定为正常(步骤S205：是)，则处理进入步骤S252。在步骤S251、S252之后，处理进入步骤S206。
作为事先的准备，预先大量地准备如图4B、图5B所示的那样的线结构的二值掩模图像作为学习用图像。按每个线结构P并且按每个样本j，算出掩模图像的宽度Wpj。该宽度作为用于判定正常状态或者异常状态的指标。求取以此方式从学习用的二值掩模图像算出的宽度Wpj的一维概率密度分布，并作为正常模型预先存储于正常模型存储部103。
结构物异常判定部102从由结构物检测部101检测并输出的结构物Pp的掩模图像算出宽度。结构物异常判定部102通过将算出的宽度与对应于结构物Pp的一维概率密度分布进行比较，从而进行异常判定。能够采用如下方法作为从掩模图像算出宽度的方法：决定线结构的掩模图像的长轴方向(纵向)以及短轴方向(横向)，并将短轴方向的长短的平均值、最频值或者最大值决定为宽度。在此，能够判定的异常的例子表示于图19A、19B。
图19A、19B是表示气管的右侧壁(图像上为左侧)被定义为线结构的例子的图。图19A表示与气管的右侧壁对应的线结构P19a(相当于第2线状区域的一例)具有正常宽度的例子。图19B表示与气管的右侧壁对应的线结构P19b(相当于第2线状区域的一例)的宽度因疾病而变宽了(变粗了)的例子。
回到图8B，在步骤S206中，结构物异常判定部102判定关于夹在结构物间的区域的图像模式是否正常。若判定为异常(步骤S206：否)，则处理进入步骤S261。另一方面，若判定为正常(步骤S206：是)，则处理进入步骤S262。在步骤S261、S262之后，处理进入步骤S207。
在本实施方式中，在使用夹在结构物间的区域的图像模式进行异常判定的情况下，使用两个结构物。作为事先的准备，预先大量地准备如图4B、图5B、图6B所示的那样的结构物(包括线结构)的二值掩模图像作为学习用图像。按结构物Pp、Qq的每个样本j，作为夹在结构物间的区域，从原图像剪切图像Ipqj。作为所剪切的图像Ipqj的区域，能够决定为包含结构物Pp的掩模图像和结构物Qq的掩模图像双方的外接矩形。使用图20A～20F，说明夹在结构物间的区域。
图20A是表示对象胸部X线图像的样本j的图像IXj的图。图20B是表示与图20A对应的结构物P20b(相当于第1线状区域的一例)的掩模图像的图。图20C是表示与图20A对应的结构物Q20c(相当于第1线状区域的一例)的掩模图像的图。图20D是表示在对象胸部X线图像的样本j的图像IXj上分别重叠了结构物P20b、Q20c的掩模图像得到的图像的图。图20E是表示用于说明而重叠了结构物P20b、Q20c的掩模图像的状态下的剪切图像IXC1的图。图20F是表示实际利用的不重叠结构物P20b、Q20c的掩模图像的状态下的剪切图像IXC2的图。
如图20F所示，在剪切出对象胸部X线图像的局部区域后，结构物异常判定部102例如利用上述图11所示的那样的降维时的重构误差，判定是否为异常状态。在此，能够判定的异常的例子表示于图21A、21B。
图21A、21B是表示心阴影被定义为夹在作为两个线结构的与右心阴影对应的线结构和与左心阴影对应的线结构间的区域的例子的图。图21A是表示夹在与右心阴影对应的线结构P21a(相当于第1线状区域的一例)和与左心阴影对应的线结构Q21a(相当于第1线状区域的一例)间的心阴影正常的例子的图。在图21A中，心阴影上可见血管影。图21B是表示在夹在与右心阴影对应的线结构P21b(相当于第1线状区域的一例)和与左心阴影对应的线结构Q21b(相当于第1线状区域的一例)间的心阴影上由于与心阴影重叠的疾病而看不到血管影的异常的例子的图。
回到图8B，在步骤S207中，结构物异常判定部102判定关于结构物的邻近区域的图像模式是否正常。若判定为异常(步骤S207：否)，则处理进入步骤S271。另一方面，若判定为正常(步骤S207：是)，则处理进入步骤S272。
作为事先的准备，预先大量地准备如图4B、图5B、图6B所示的那样的结构物(包括线结构)的二值掩模图像作为学习用图像。按结构物Pp的每个样本j，作为结构物的邻近区域，从原图像剪切图像Ipj。作为所剪切的图像Ipj的区域，能够决定为结构物Pp的掩模图像的外接矩形。使用图22A～22E，说明结构物的邻近区域。
图22A是表示对象胸部X线图像的样本j的图像IXj的图。图22B是表示与图22A对应的结构物P22b(相当于第1线状区域的一例)的掩模图像的图。图22C是表示在对象胸部X线图像的样本j的图像IXj上重叠了结构物P22b的掩模图像得到的图像的图。图22D是表示用于说明而重叠了结构物P22b的掩模图像的状态下的剪切图像IXC3的图。图22E是表示实际利用的不重叠结构物P22b的掩模图像的状态下的剪切图像IXC4的图。
如图22E所示，在剪切出对象胸部X线图像的局部区域后，结构物异常判定部102例如利用如图11所示的那样的降维时的重构误差，判定是否为异常状态。此外，作为结构物P22b的邻近区域所剪切的区域不限于掩模图像的外接矩形。例如，如图22D所示，也可以设为将掩模图像的外接矩形进一步向周围扩大了的区域。或者，也可以设为使掩模图像的区域通过形态学运算的膨胀处理而扩大了的区域。形态学运算指的是，针对输入图像(二进制)，一边对预定的核(kernel)进行卷积运算，一边扫描的处理。例如若使用形状为3×3、值全部为1的核进行一次运算，则能够得到膨胀了一个像素的量的输出图像(二进制)。如果要使其进一步膨胀，可以多次应用该核，或使用更大形状的核。
在图8A的步骤S211中，结构物异常判定部102将异常判定结果(也即是说判定为异常状态的结构物以及异常的内容)保存于存储器121。在图8A的步骤S212中，结构物异常判定部102将正常判定结果(也即是说判定为正常状态的结构物)保存于存储器121。
在图8A、8B的步骤S221、S231、S241、S251、S261、S271中，与步骤S211同样地，结构物异常判定部102也将异常判定结果(也即是说判定为异常状态的结构物以及异常的内容)保存于存储器121。在图8A、8B的步骤S222、S232、S242、S252、S262、S272中，与步骤S212同样地，结构物异常判定部102也将正常判定结果(也即是说判定为正常状态的结构物)保存于存储器121。当图8B的步骤S271、S272结束时，图8A、8B的工作(也即是说图3的步骤S200的工作)结束。
此外，也可以将图8A、8B的步骤S212、S222、S232、S242、S252、S262、S272省略。即，结构物异常判定部102也可以仅将异常判定结果保存于存储器121。
回到图3，在步骤S300中，显示控制部122将在步骤S200中判定为异常状态的结构物、以及结构物的异常的内容显示于显示器108。
图23是概略地表示显示器108的显示例的图。如图23所示，显示控制部122将对象胸部X线图像Ix、判定为异常状态的结构物Pxa、Qxa和表示结构物Pxa、Qxa的异常状态的内容的消息Ms显示于显示器108。结构物的名称以及消息Ms预先被定义并保存于存储器121。
如上所述，根据本公开的第1实施方式，能够以如下的统一的构架判定胸部X线图像的各种异常：使用预先机器学习过的模型，检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成，算出用于从检测出的结构物判定异常状态的指标，对算出的指标与预先确定的基准值进行比较，基于比较结果判定结构物是否为异常状态，将包含被判定为是异常状态的结构物的区域和结构物的异常状态的内容显示于显示器108。
另外，并非单单显示检测出的病变的位置以及/或者病名，而能够将如哪个结构物怎样与正常状态不同这一信息提示给用户。因而，对于用户而言是有益的，不仅是读片医生，也能够利用于临床医生以及放射科医生的诊断以及自学、或者医学专业的学生的教育以及自学。
(第2实施方式)
图24是概略地表示第2实施方式中的执行胸部X线图像的异常显示控制方法的异常显示控制装置100A的构成的框图。图24的异常显示控制装置100A与图1的异常显示控制装置100相比，取代CPU120而具备CPU120A，取代存储器121而具备存储器121A。
第2实施方式的正常模型存储部103(相当于位置存储器的一例)预先存储有与结构物间的相对位置关系有关的信息。存储器121A与存储器121同样地构成，例如包括ROM、RAM、EEPROM等。存储器121A的ROM存储使CPU120A工作的第2实施方式的控制程序。
CPU120A通过执行存储于存储器121A的第2实施方式的控制程序，作为结构物检测部101、结构物异常判定部102、显示控制部122、通信控制部123、分辨率转换部109和搜索区域设定部110而发挥功能。
分辨率转换部109对对象胸部X线图像进行多级的缩小变换，制作具有互不相同的分辨率的图像群。分辨率转换部109将制作出的图像群存储于图像存储器106。搜索区域设定部110利用由结构物检测部101得到的对于低分辨率的图像的结构物的检测结果、以及存储于正常模型存储部103的与结构物间的相对位置关系有关的信息，对更高分辨率的图像设定结构物的搜索区域。
接着，说明由第2实施方式涉及的异常显示控制装置100A执行的处理步骤。此外，整体的处理步骤与使用图3的流程图所说明的第1实施方式是同样的。
图25是概略地表示在步骤S100(图3)中由第2实施方式涉及的异常显示控制装置100A执行的结构物检测处理步骤的流程图。图26是概略地表示分辨率信息2600的图。
在图25的步骤S101中，分辨率转换部109对通过步骤S50(图3)所取得的对象胸部X线图像，制作R(在本实施方式中例如为R＝3)级的缩小图像。胸部X线图像的分辨率通常为，一边由2000～3000个像素构成。在第2实施方式中，对象胸部X线图像的分辨率例如为2048×2048。另外，由分辨率转换部109制作的3级缩小图像的分辨率例如为1024×1024、512×512、256×256。
在该第2实施方式中，从最低分辨率的图像开始，分辨率i依次确定为“0、1、2、3”。即，256×256的图像的分辨率i为“0”，512×512的图像的分辨率i为“1”，1024×1024的图像的分辨率i为“2”，2048×2048的图像(也即是说原图像)的分辨率i为“3”。分辨率转换部109将制作出的低分辨率的缩小图像存储于图像存储器106。
接着，在步骤S102中，结构物检测部101从图像存储器106读取分辨率i＝0(即最低分辨率的256×256)的图像作为结构物检测对象图像。接着，在步骤S103中，结构物检测部101基于分辨率信息2600(图26)，检测与分辨率i的图像(在最初的步骤S103中为i＝0的图像)相关联的结构物。
如图26所示，分辨率信息2600具有结构物ID栏2601和分辨率i栏2602。在结构物ID栏2601中，设定有在第1实施方式中所定义的结构物ID为“1”～“N”的N个结构物。在分辨率i栏2602中，与结构物ID栏2601的结构物对应地，定义有检测结构物时所用的图像的分辨率。例如，结构物ID为“1”的结构物从分辨率i为“0”、也即是说分辨率为256×256的图像中检测。此外，在图26中，针对结构物，仅设定有一个分辨率，但不限于此。例如，根据结构物，也可以预先设定两种以上的分辨率，在各自的分辨率的图像中检测对应的结构物。
与第1实施方式同样地，结构物检测部101使用非专利文献2中公开的U-Net，检测结构物。如上所述，U-Net是卷积神经网络的一种。卷积神经网络是深度神经网络的一种。具备两层以上的中间层的神经网络被称为深度神经网络。在深度神经网络的机器学习时以及结构物检测时，多使用图像处理单元(GPU)来加速处理。此时，由于GPU的搭载内存量的限制，存在无法处理高分辨率图像的情况。在这种情况下，将原图像缩小而使分辨率降低后的图像会被输入到U-Net。然而，在该情况下，对于特别是如线结构这样的尺寸小的结构物的检测性能恐怕会降低。因此，在本第2实施方式中，结构物检测部101从低分辨率的图像中检测比较大的尺寸(相当于第1尺寸的一例)的结构物，并对高分辨率的图像通过进行修剪来限定搜索范围从而检测比较小的尺寸(相当于第2尺寸的一例)的结构物。
回到图25，在步骤S104中，结构物检测部101将分辨率i递增。在最初的步骤S104中成为i＝1。在步骤S105中，结构物检测部101判定分辨率i是否超过了分辨率的上限(也即是说i＝R+1)。如果分辨率i超过了分辨率的上限(步骤S105：是)，则图25的处理结束，步骤S100(图3)的处理结束。另一方面，如果分辨率i没有超过分辨率的上限(步骤S105：否)，则处理进入步骤S106。
在步骤S106中，搜索区域设定部110基于图26的分辨率信息2600，选定与分辨率i(在最初的步骤S106中为i＝1)相关联的所有结构物，针对分辨率i的图像，按对应的每个结构物设定搜索区域。作为事先的准备，预先大量地准备如图4B、图5B、图6B所示的那样的结构物的二值掩模图像作为学习用图像。预先从学习用的二值掩模图像中求取结构物彼此间的相对位置关系并事先保存于正常模型存储部103(相当于位置存储器的一例)。搜索区域设定部110读取保存于正常模型存储部103的相对位置关系，并在搜索区域的设定中加以利用。步骤S106结束后，处理返回至步骤S103。在第2次的步骤S103中，结构物检测部101基于分辨率信息2600(图26)，检测与分辨率i的图像(在第2次的步骤S103中为i＝1的图像)相关联的结构物。之后，在分辨率i不超过分辨率的上限的期间(步骤S105：否)，反复进行步骤S103～S106。
图27是概略地表示图25的步骤S103～S106的处理的图。在图27中，首先，由结构物检测部101从低分辨率(i＝0)的胸部X线图像Ia中检测出结构物Pa、Pb(步骤S103)。在图27的例子中，结构物Pa为右肺野，结构物Pb为左肺野。在本实施方式中，胸部X线图像Ia相当于第1X线图像的一例，分辨率i＝0(256×256)相当于第1分辨率的一例，结构物Pa、Pb的尺寸相当于第1尺寸的一例。
接着，分辨率i递增(步骤S104)，在中分辨率(i＝1)的胸部X线图像Ib中，由搜索区域设定部110设定搜索区域(步骤S106)。在图27的例子中，仅示出了搜索区域SA1，但在步骤S106中，按与分辨率i对应的每个结构物ID，分别设定搜索区域。另外，使用保存于正常模型存储部103的、检测对象的结构物ID与已经检测出的结构物(在图27的例子中为结构物Pa或者结构物Pb)的位置关系，分别设定搜索区域。
接着，在中分辨率(i＝1)的胸部X线图像Ib中，由结构物检测部101从搜索区域检测结构物(步骤S103)。在图27的例子中，仅示出了从搜索区域SA1检测出的结构物Pc，但在步骤S103中，按各搜索区域，对检测对象的结构物进行检测。在本实施方式中，胸部X线图像Ib相当于第2X线图像的一例，分辨率i＝1(512×512)相当于第2分辨率的一例，结构物Pc的尺寸相当于第2尺寸的一例。
接着，分辨率i递增(步骤S104)，在高分辨率(i＝2)的胸部X线图像Ic中，由搜索区域设定部110设定搜索区域(步骤S106)。在图27的例子中，仅示出了搜索区域SA2，但在步骤S106中，按与分辨率i对应的每个结构物ID，分别设定搜索区域。另外，使用保存于正常模型存储部103的、检测对象的结构物ID与已经检测出的结构物(在图27的例子中为结构物Pa或者结构物Pb)的位置关系，分别设定搜索区域。
接着，在高分辨率(i＝2)的胸部X线图像Ic中，由结构物检测部101从搜索区域检测结构物(步骤S103)。在图27的例子中，仅示出了从搜索区域SA2检测出的结构物Pd，但在步骤S103中，按各搜索区域，对检测对象的结构物进行检测。
如上所述，根据本公开的第2实施方式，在使用U-Net等深度神经网络作为结构物检测部101的情况下，即使在GPU的内存量少的情况下，当使用高分辨率的图像时，由于设定了比对象胸部X线图像的尺寸小的尺寸的搜索区域，因此也能够抑制结构物检测性能的降低。
(第3实施方式)
图28是概略地表示第3实施方式中的执行胸部X线图像的异常显示控制方法的异常显示控制装置100B的构成的框图。图28的异常显示控制装置100B与图1的异常显示控制装置100相比，新具备异常所见信息存储部104，并且，取代CPU120而具备CPU120B，取代存储器121而具备存储器121B。
异常所见信息存储部104(相当于异常所见存储器的一例)例如由硬盘或者半导体存储器等构成。关于异常所见信息存储部104的存储内容的一例，将会在后面说明。存储器121B与存储器121同样地构成，例如包括ROM、RAM、EEPROM等。存储器121B的ROM存储使CPU120B工作的第3实施方式的控制程序。
CPU120B通过执行存储于存储器121B的第3实施方式的控制程序，作为结构物检测部101、结构物异常判定部102、显示控制部122B、通信控制部123和图像异常判定部105而发挥功能。图像异常判定部105基于结构物检测部101和结构物异常判定部102的处理结果、以及存储于正常模型存储部103和异常所见信息存储部104的信息，判定关于整个对象胸部X线图像的异常所见。显示控制部122B除了显示控制部122的功能之外，还将由图像异常判定部105判定出的异常所见和怀疑的病名显示于显示器108。
图29是概略地表示由第3实施方式涉及的异常显示控制装置100B执行的处理步骤的流程图。图29的步骤S50、S100、S200与图3的步骤S50、S100、S200相同。在继步骤S200之后的步骤S400中，图像异常判定部105基于在步骤S200中判定出的一个以上的结构物的异常状态、和存储于异常所见信息存储部104的异常所见信息3000(图30)，判定对象胸部X线图像的异常所见。
图30是概略地表示存储于异常所见信息存储部104的异常所见信息3000的图。如图30所示，异常所见信息3000包含结构物ID栏3001、指标栏3002、异常所见栏3003和疾病栏3004。在结构物ID栏3001中，记载有被判定为异常状态的结构物ID。在指标栏3002中，记载有对应的结构物ID被判定为异常状态的指标。在异常所见栏3003中，记载有对应的结构物ID以对应的指标被判定为异常状态时的所见。在疾病栏3004中，记载有根据记载于异常所见栏3003的所见而怀疑的疾病。
图像异常判定部105例如在由结构物异常判定部102判定为结构物1、8之间的角度异常时，基于存储于异常所见信息存储部104的异常所见信息3000，判定为异常所见为“X2”、怀疑的疾病为“Y3”。
回到图29，在步骤S500中，显示控制部122B将对象胸部X线图像、由结构物异常判定部102判定为异常状态的结构物以及异常的内容、和由图像异常判定部105判定出的异常所见以及怀疑的疾病名显示于显示器108。当步骤S500结束时，图29的工作结束。
图31是概略地表示显示器108的显示例的图。如图31所示，显示控制部122B将对象胸部X线图像Ix、判定为异常状态的结构物Pxa、Qxa、判定出的异常所见Mf、表示作为异常所见Mf的根据的结构物Pxa、Qxa的异常的内容的消息Ms、和怀疑的疾病名Ds显示于显示器108。例如，在图31中，判定为异常状态的结构物Pxa、Qxa分别为右心阴影和左心阴影，判定为异常状态的指标是距离，因此在显示器108上，作为异常所见Mf而显示有“心扩大”，作为怀疑的疾病名Ds而显示有“高血压病”。
如上所述，根据本公开的第3实施方式，将胸部X线图像的异常所见、作为其根据的结构物的位置、结构物的异常状态的内容、怀疑的病名提示给用户。如此，并非单单显示检测出的病变的位置以及/或者病名，而能够将如哪个结构物怎样与正常状态不同这一对于用户而言有益的信息提示给用户。其结果，不仅是读片医生，而且也能够利用于临床医生或者放射科医生的诊断或者自学、以及医学专业的学生的教育或者自学。
(第4实施方式)
图32是概略地表示第4实施方式中的医疗机构内的网络结构410A的框图。在第4实施方式中，如图32所示，医疗机构的内部网络400上连接有服务器装置500、显示控制装置600、医用图像管理系统200以及胸部X线图像拍摄装置300。
此外，服务器装置500、显示控制装置600、医用图像管理系统200和胸部X线图像拍摄装置300不一定要连接在同一医疗机构内的内部网络400上。显示控制装置600以及医用图像管理系统200也可以是在设置于医疗机构外部的数据中心、私有云服务器、公共云服务器等上工作的软件。
如图32所示，服务器装置500具备正常模型存储部103、图像存储器106、通信部107、CPU130、存储器131。存储器131例如由半导体存储器等构成。存储器131例如包括ROM、RAM、EEPROM等。存储器131的ROM存储使CPU130工作的控制程序。
CPU130通过执行存储于存储器131的控制程序，作为结构物检测部101(相当于检测部的一例)、结构物异常判定部102(相当于判定部的一例)和通信控制部123A(相当于取得部的一例)而发挥功能。通信控制部123A经由通信部107从医用图像管理系统200取得对象胸部X线图像，将取得的对象胸部X线图像保存于图像存储器106。通信控制部123A经由通信部107将结构物检测部101的检测结果和结构物异常判定部102的判定结果向显示控制装置600进行发送。
显示控制装置600(相当于终端装置的一例)例如由平板式计算机构成，由医生或者放射科医生等医疗从业人员持有。如图32所示，显示控制装置600具备CPU140、存储器141、图像存储器142、通信部143和显示器108。
存储器141例如由半导体存储器等构成。存储器141例如包括ROM、RAM、EEPROM等。存储器141的ROM存储使CPU140工作的控制程序。CPU140通过执行存储于存储器141的控制程序，作为显示控制部122和通信控制部123B而发挥功能。
通信控制部123B经由通信部143接收从服务器装置500发送来的对象胸部X线图像的数据，将接收到的数据存储于图像存储器142。另外，通信控制部123B经由通信部143接收从服务器装置500发送来的判定为异常状态的结构物Pxa、Qxa的数据、和表示结构物Pxa、Qxa的异常的内容的消息Ms，将接收到的数据存储于存储器141。显示控制部122基于从服务器装置500发送来的信息，将与图23同样的画面显示于显示器108。
根据该第4实施方式，能够获得与上述第1实施方式同样的效果。或者，服务器装置500的CPU130也可以作为结构物检测部101、结构物异常判定部102、通信控制部123、分辨率转换部109(图24)和搜索区域设定部110(图24)而发挥功能。在该情况下，能够获得与上述第2实施方式同样的效果。再者，服务器装置500的CPU130也可以作为结构物检测部101、结构物异常判定部102、通信控制部123和图像异常判定部105(图28)而发挥功能，显示控制装置600的CPU140也可以作为显示控制部122B(图28)而发挥功能。在该情况下，能够获得与上述第3实施方式同样的效果。
产业上的可利用性
根据本公开，能够利用于作为读片对象的胸部X线图像的诊断辅助系统以及面向医学专业的学生或者实习医生的读片教育系统。
标号说明
100异常显示控制装置；101结构物检测部；102结构物异常判定部；103正常模型存储部；104异常所见信息存储部；105图像异常判定部；106图像存储器；107通信部；108显示器；109分辨率转换部；110搜索区域设定部；122显示控制部；123、123A通信控制部；200医用信息管理系统；300胸部X线图像拍摄装置；400内部网络；500服务器装置；600显示控制装置。

Claims (18)

1.一种胸部X线图像的异常显示控制方法，从作为读片对象的胸部X线图像的对象胸部X线图像判定异常状态并显示于显示器的异常显示控制装置的计算机：
取得所述对象胸部X线图像；
使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
算出用于从所述结构物判定异常状态的指标，将所述指标与预先求出的基准指标进行比较，基于比较结果判定所述结构物是否为异常状态；
在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容显示于显示器。
2.根据权利要求1所述的胸部X线图像的异常显示控制方法，
所述预先机器学习过的模型是使用以像素为单位进行预测的神经网络以在学习用胸部X线图像中检测出所述结构物的方式进行了学习的模型，所述学习用胸部X线图像是正常状态的胸部X线图像。
3.根据权利要求2所述的胸部X线图像的异常显示控制方法，
在所述检测中，
将所述对象胸部X线图像变换为比所述对象胸部X线图像的分辨率低的第1分辨率从而制作第1X线图像，
将所述对象胸部X线图像变换为比所述第1分辨率高且在所述对象胸部X线图像的分辨率以下的第2分辨率从而制作第2X线图像，
从所述第1X线图像检测第1尺寸的所述结构物，
基于所述第1尺寸的所述结构物的检测结果，在所述第2X线图像中设定比所述第2X线图像小的搜索区域，
从所述搜索区域检测比所述第1尺寸小的第2尺寸的所述结构物。
4.根据权利要求3所述的胸部X线图像的异常显示控制方法，
在所述第1尺寸的所述结构物的检测中，从所述第1X线图像检测解剖结构作为所述第1尺寸的所述结构物，
在所述第2尺寸的所述结构物的检测中，从所述第2X线图像的所述搜索区域检测所述线结构作为所述第2尺寸的所述结构物。
5.根据权利要求3所述的胸部X线图像的异常显示控制方法，
在所述搜索区域的设定中，使用从预先保存有所述第1尺寸的所述结构物与所述第2尺寸的所述结构物的相对位置关系的位置存储器读出的所述相对位置关系，设定所述搜索区域。
6.根据权利要求4所述的胸部X线图像的异常显示控制方法，
在所述搜索区域的设定中，使用从预先保存有所述第1尺寸的所述结构物与所述第2尺寸的所述结构物的相对位置关系的位置存储器读出的所述相对位置关系，设定所述搜索区域。
7.根据权利要求1至6中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出所述线结构的位置作为所述指标。
8.根据权利要求1至6中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出两个所述线结构间形成的角度作为所述指标。
9.根据权利要求1至6中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出两个所述线结构之间的距离作为所述指标。
10.根据权利要求1至6中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出所述线结构的面积作为所述指标。
11.根据权利要求1至6中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出所述线结构的宽度作为所述指标。
12.根据权利要求1至6中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出夹在两个以上的所述线结构间的区域的图像模式作为所述指标。
13.根据权利要求1至6中任一项所述的胸部X线图像的异常显示控制方法，
在所述判定中，算出所述线结构的邻近区域的图像模式作为所述指标。
14.根据权利要求7所述的胸部X线图像的异常显示控制方法，
在所述判定中，基于从基准存储器读出的所述基准指标与从所述对象胸部X线图像算出的所述指标的差异，判定所述结构物是否为异常状态，所述基准存储器预先保存有根据在多个正常状态的胸部X线图像中分别检测出的所述结构物所算出的所述指标作为所述基准指标。
15.根据权利要求1至6中任一项所述的胸部X线图像的异常显示控制方法，进一步，
从预先保存有单个或者多个所述结构物的异常状态与对于胸部X线图像的异常所见之间的对应关系的异常所见存储器读出所述对应关系，使用所述对应关系从所述判定出的每个所述结构物的异常状态判定所述对象胸部X线图像的异常所见，
将所判定出的所述对象胸部X线图像的异常所见显示于所述显示器。
16.一种计算机可读取记录介质，记录有异常显示控制程序，该程序使异常显示控制装置的计算机作为取得部、检测部、判定部和显示控制部而发挥功能，所述异常显示控制装置从作为读片对象的胸部X线图像的对象胸部X线图像判定异常状态并显示于显示器，
所述取得部取得所述对象胸部X线图像，
所述检测部使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成，
所述判定部算出用于从所述结构物判定异常状态的指标，将所述指标与预先求出的基准指标进行比较，基于比较结果判定所述结构物是否为异常状态，
所述显示控制部在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容显示于显示器。
17.一种异常显示控制装置，具备：
显示器；
取得部，其取得作为读片对象的胸部X线图像的对象胸部X线图像；
检测部，其使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
判定部，其算出用于从所述结构物判定异常状态的指标，将所述指标与预先求出的基准指标进行比较，基于比较结果判定所述结构物是否为异常状态；以及
显示控制部，其在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容显示于所述显示器。
18.一种服务器装置，具备：
取得部，其取得作为读片对象的胸部X线图像的对象胸部X线图像；
检测部，其使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
判定部，其算出用于从所述结构物判定异常状态的指标，将所述指标与预先确定的基准值进行比较，基于比较结果判定所述结构物是否为异常状态；以及
通信控制部，其在判定为所述结构物是异常状态时，将所述对象胸部X线图像中的包含判定为是异常状态的所述结构物的区域的图像、和所述结构物的异常状态的内容发送给外部的终端装置。
CN201980023263.5A 2018-05-16 2019-04-22 胸部x线图像的异常显示控制方法、记录介质及装置 Active CN111918611B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-094738 2018-05-16
JP2018094738 2018-05-16
PCT/JP2019/016947 WO2019220871A1 (ja) 2018-05-16 2019-04-22 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置

Publications (2)

Publication Number Publication Date
CN111918611A CN111918611A (zh) 2020-11-10
CN111918611B true CN111918611B (zh) 2023-12-29

Family

ID=68540157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980023263.5A Active CN111918611B (zh) 2018-05-16 2019-04-22 胸部x线图像的异常显示控制方法、记录介质及装置

Country Status (4)

Country Link
US (1) US11475568B2 (zh)
JP (1) JP7456928B2 (zh)
CN (1) CN111918611B (zh)
WO (1) WO2019220871A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325742B (zh) * 2020-03-03 2023-09-26 北京深睿博联科技有限责任公司 一种正位胸片中基于空间关系的异常检测方法及系统
EP4099268A1 (en) * 2021-05-31 2022-12-07 Fujita Academy Medical information display apparatus, medical image processing apparatus, and medical information display method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6226047A (ja) * 1985-07-26 1987-02-04 コニカ株式会社 胸部ｘ線検診支援装置
JP2005020338A (ja) * 2003-06-26 2005-01-20 Fuji Photo Film Co Ltd 異常陰影検出方法および装置並びにプログラム
JP2005211439A (ja) * 2004-01-30 2005-08-11 Fuji Photo Film Co Ltd 異常陰影表示装置およびそのプログラム
CN101325912A (zh) * 2005-12-15 2008-12-17 皇家飞利浦电子股份有限公司 用于在电生理标测和治疗期间显现心脏形态的系统和方法
CN103079466A (zh) * 2010-08-27 2013-05-01 柯尼卡美能达医疗印刷器材株式会社 胸部诊断辅助系统以及程序
CN103479375A (zh) * 2012-06-11 2014-01-01 柯尼卡美能达株式会社 胸部诊断辅助信息生成方法及系统以及动态图像处理装置
JP2014221163A (ja) * 2013-05-14 2014-11-27 国立大学法人九州工業大学 画像診断支援装置及び支援方法
JP2016087222A (ja) * 2014-11-07 2016-05-23 コニカミノルタ株式会社 画像処理装置及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7894646B2 (en) * 2003-08-01 2011-02-22 Hitachi Medical Corporation Medical image diagnosis support device and method for calculating degree of deformation from normal shapes of organ regions
JP4260060B2 (ja) 2004-05-12 2009-04-30 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー Ｘ線ｃｔ装置および画像再構成装置
JP5573674B2 (ja) 2008-09-25 2014-08-20 コニカミノルタ株式会社 医用画像処理装置及びプログラム
WO2011021181A1 (en) * 2009-08-16 2011-02-24 Ori Hay Assessment of spinal anatomy
GB201617507D0 (en) * 2016-10-14 2016-11-30 Axial3D Limited Axial3D UK
JP6833444B2 (ja) 2016-10-17 2021-02-24 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム
JPWO2019220825A1 (ja) * 2018-05-16 2021-06-17 パナソニック株式会社 胸部ｘ線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6226047A (ja) * 1985-07-26 1987-02-04 コニカ株式会社 胸部ｘ線検診支援装置
JP2005020338A (ja) * 2003-06-26 2005-01-20 Fuji Photo Film Co Ltd 異常陰影検出方法および装置並びにプログラム
JP2005211439A (ja) * 2004-01-30 2005-08-11 Fuji Photo Film Co Ltd 異常陰影表示装置およびそのプログラム
CN101325912A (zh) * 2005-12-15 2008-12-17 皇家飞利浦电子股份有限公司 用于在电生理标测和治疗期间显现心脏形态的系统和方法
CN103079466A (zh) * 2010-08-27 2013-05-01 柯尼卡美能达医疗印刷器材株式会社 胸部诊断辅助系统以及程序
CN103479375A (zh) * 2012-06-11 2014-01-01 柯尼卡美能达株式会社 胸部诊断辅助信息生成方法及系统以及动态图像处理装置
JP2014221163A (ja) * 2013-05-14 2014-11-27 国立大学法人九州工業大学 画像診断支援装置及び支援方法
JP2016087222A (ja) * 2014-11-07 2016-05-23 コニカミノルタ株式会社 画像処理装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
支气管肺发育不良(BPD)X线片与CT诊断对比分析;顾英翠;林华云;夏继国;;现代诊断与治疗(第03期);第572-574页 *

Also Published As

Publication number Publication date
JP7456928B2 (ja) 2024-03-27
JPWO2019220871A1 (ja) 2021-06-17
CN111918611A (zh) 2020-11-10
US11475568B2 (en) 2022-10-18
WO2019220871A1 (ja) 2019-11-21
US20210049766A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
JP2021518966A (ja) 医用画像認識方法及びシステム、並びに、モデルトレーニング方法、コンピュータ装置、及びプログラム
CN112639880A (zh) 使用深度学习自动确定3d对象的正则姿态和自动叠加3d对象
US20200401854A1 (en) Method and system for image segmentation and identification
CN111047572A (zh) 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN111563523A (zh) 利用机器训练的异常检测的copd分类
CN111462071B (zh) 一种图像处理方法和系统
Gaggion et al. Improving anatomical plausibility in medical image segmentation via hybrid graph neural networks: applications to chest x-ray analysis
US20230177698A1 (en) Method for image segmentation, and electronic device
JP7101809B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111918611B (zh) 胸部x线图像的异常显示控制方法、记录介质及装置
JP7457011B2 (ja) 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
AU2019204365C1 (en) Method and System for Image Segmentation and Identification
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
Mousavi Moghaddam et al. Lung parenchyma segmentation from CT images with a fully automatic method
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
EP2178046A2 (en) Multi-image correlation
US20220076421A1 (en) Method for identifying bone images
JP5954846B2 (ja) 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
CN112862785A (zh) Cta影像数据识别方法、装置及存储介质
JP2020188960A (ja) 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
CN115482181B (zh) 一种图像信息提取方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Osaka, Japan

Applicant after: Panasonic Holding Co.,Ltd.

Address before: Osaka, Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant