CN113348485A - 异常检测方法、异常检测程序、异常检测装置、服务器装置以及信息处理方法 - Google Patents

异常检测方法、异常检测程序、异常检测装置、服务器装置以及信息处理方法 Download PDF

Info

Publication number
CN113348485A
CN113348485A CN202080010971.8A CN202080010971A CN113348485A CN 113348485 A CN113348485 A CN 113348485A CN 202080010971 A CN202080010971 A CN 202080010971A CN 113348485 A CN113348485 A CN 113348485A
Authority
CN
China
Prior art keywords
region
lung
shadow
chest
ray image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080010971.8A
Other languages
English (en)
Inventor
近藤坚司
小泽顺
木村浩彦
伊藤春海
田中雅人
藤本真一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN113348485A publication Critical patent/CN113348485A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

计算机取得胸部X线图像(S50)，在取得的胸部X线图像中，使用模型检测边界线(S100)，模型在检测前使用机器学习构建而成，基于边界线，在取得的胸部X线图像中设定包含与心脏重叠的第1肺区域和与肝脏重叠的第2肺区域中的至少一方的第3肺区域(S200)，提取表示第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标(S500)，基于血管指标和基准指标，判定第3肺区域所包含的区域是否为异常状态，基准指标使用了预先使用提取血管指标的方法从正常状态的胸部X线图像的与第3肺区域所包含的区域相当的区域提取出的指标(S700)，在判定为第3肺区域所包含的区域是异常状态时，输出表示判定的信息。

Description

异常检测方法、异常检测程序、异常检测装置、服务器装置以 及信息处理方法
技术领域
本公开涉及医用图像的处理技术，更详细而言是涉及胸部X线(X射线)图像中的异常状态的检测技术。
背景技术
近年来，开发了检测医用图像中的病变区域并推定所见、病名的装置和/或软件等。使用这种装置和/或软件的诊断被称为计算机辅助诊断(CAD)。可期待CAD能够减轻医生(医师)的读片(射线图判读)工作的负担。
在诊断胸部疾病的方法中，使用胸部X线图像的诊断方法是最普遍的。这是因为拍摄胸部X线图像的设备价格低，普及率高，胸部拍摄的成本也低。
胸部X线图像的CAD技术的例子包括：对表示病变的图像进行机器学习而检测病变区域的技术(参照非专利文献1)；使用对胸部进行连续拍摄所得到的多个帧图像来检测异常区域的技术(参照专利文献1)。
专利文献1公开如下技术：将多个帧图像的每一个中的肺区域分割为多个小区域，对在多个帧图像之间对应的每个小区域进行图像解析，按每个小区域判定换气的状态是否异常，按每个小区域判定血流的状态是否异常。
现有技术文献
非专利文献
非专利文献1：X.Wang,Y.Peng,L.Lu,Z.Lu,M.Bagheri,R.Summers,Chest X-Ray8:Hospital-Scale Chest X-ray Database and Benchmarks on Weakly-SupervisedClassification and Localization of Common Thorax Diseases,CVPR2017.
非专利文献2：O.Ronneberger,P.Fischer,and T.Brox,U-Net:ConvolutionalNetworks for Biomedical Image Segmentation,Medical Image Computing andComputer-Assisted Intervention(MICCAI),Springer,LNCS,Vol.9351:234-241,2015.
非专利文献3：J.Long,E.Shelhamer,T.Darrell,Fully Convolutional Networksfor Semantic Segmentation,In CVPR,2015.
非专利文献4：Jinwon An,Sungzoon Cho,Variational Autoencoder basedAnomaly Detection using Reconstruction P robability,December 27,2015SNU DataMining Center 2015-2Special Lecture on IE.
非专利文献5：“医用画像における円形·線状パターン検出のためのフィルタバンク構築(用于医用图像中的圆形/线状图案检测的滤波器组构建)”电子情报通信学会论文志D-II Vol.J87-D-II No.1pp175-185.
专利文献
专利文献1:国际公开第2009/090894号
发明内容
然而，在上述现有的专利文献1记载的技术中，在提取肺区域时，根据胸部X线图像的各像素的信号值制作浓度直方图，利用判别分析法等求取阈值，并提取信号值高于求出的阈值的区域作为肺区域的候选。由此，需要进一步的改善。
本公开的一个技术方案是一种异常检测方法，
计算机取得胸部X线图像；
所述计算机使用模型在所述取得的胸部X线图像中检测X线透射率范围不同的多个解剖学结构的图像的边界线，所述模型在所述检测前使用机器学习构建而成；
所述计算机基于检测出的所述边界线，在所述取得的胸部X线图像中设定包含肺与心脏重叠的第1肺区域和肺与肝脏重叠的第2肺区域中的至少一方的第3肺区域；
所述计算机提取表示所述第3肺区域所包含的区域内存在的至少一根肺血管的粗细和密度中的至少一方的血管指标；
所述计算机基于所述血管指标和基准指标，判定所述第3肺区域所包含的区域是否为异常状态，所述基准指标使用了预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的指标；
所述计算机在所述第3肺区域所包含的区域被判定为是异常状态时，输出表示所述判定的信息。
此外，该总括性的或者具体的技术方案既可以通过装置、系统、集成电路、计算机程序或者计算机可读取的记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序以及计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc Read Only Memory)等非易失性的记录介质。
根据上述技术方案，能够实现进一步的改善。从说明书及附图可知晓本公开的一个技术方案中的进一步的优点及效果。上述优点和/或效果分别由若干个实施方式和说明书及附图所记载的特征提供，但无需为了获得一个或一个以上相同的特征而提供所有的实施方式和特征。
附图说明
图1是第1实施方式中的异常显示控制装置的框图。
图2是第1实施方式中的院内网络结构的框图。
图3是第1实施方式中的流程图。
图4A是表示包含降主动脉的阴影的胸部X线图像的图。
图4B是表示降主动脉的阴影的掩模(mask)图像(蒙片)的图。
图4C是表示将掩模图像重叠在胸部X线图像上的图像的图。
图5A是表示包含右背侧肺底的阴影的胸部X线图像的图。
图5B是表示右背侧肺底的阴影的掩模图像的图。
图5C是表示将掩模图像重叠在胸部X线图像上的图像的图。
图6A是表示包含第一胸椎的胸部X线图像的图。
图6B是表示第一胸椎的掩模图像的图。
图6C是表示将掩模图像重叠在胸部X线图像上的图像的图。
图7是概略地表示U-Net的架构的图。
图8是表示设定肺与肝脏重叠的区域的方法及该区域的一例的图。
图9是表示设定肺与肝脏重叠的区域的方法及该区域的一例的图。
图10是表示设定肺与心脏重叠的区域的方法及该区域的一例的图。
图11是表示设定肺与心脏重叠的区域的方法及该区域的一例的图。
图12是表示设定肺与胃重叠的区域的方法及该区域的一例的图。
图13是表示设定肺与胃重叠的区域的方法及该区域的一例的图。
图14是说明右背侧肺底阴影的推定方法的图。
图15是表示肺在胸部X线图像上存在的区域的图。
图16是表示与心脏重叠的肺区域以及与肝脏重叠的肺区域的图。
图17是表示肺血管、气管以及支气管的图。
图18是表示所设定的局部区域的一例的图。
图19是表示所设定的局部区域的一例的图。
图20是表示所设定的局部区域的一例的图。
图21是说明肺血管的粗细和密度的变化的图。
图22是表示人体的肺血管、气管以及支气管的图。
图23是表示图16中的各区域的外接矩形的图。
图24是表示以区域的外接矩形为基准的标准化(归一化)坐标系的图。
图25是表示以区域的外接矩形为基准的标准化坐标系的图。
图26是表示以区域的外接矩形为基准的标准化坐标系的图。
图27是表示图19的胸部X线图像中局部区域的重心位置的例子的图。
图28是表示进行异常检测的对象的胸部X线图像的图。
图29是表示正常模型的胸部X线图像的图。
图30是概略地表示作为基准指标的一例的概率密度函数的图。
图31是说明基于降维(维数削减)的异常检测方法的图。
图32是表示堆叠自编码器的网络结构的图。
图33是表示变分自编码器的网络结构的图。
图34A是表示第1实施方式中的显示器的显示例的图。
图34B是表示显示器的另一显示例的图。
图35是表示显示器的又一显示例的图。
图36是表示显示器的又一显示例的图。
图37是与图1不同的构成的异常显示控制装置的框图。
图38是第2实施方式中的院内网络结构的框图。
图39是表示胸部X线图像正位片和CT切片图像的图。
图40是表示胸部X线图像正位片和胸部X线图像侧位片的图。
具体实施方式
(发明本公开涉及的一个技术方案的经过)
首先，对发明本公开涉及的一个技术方案的经过进行说明。专利文献1公开了在提取肺区域时，根据胸部X线图像的各像素的信号值制作浓度直方图，利用判别分析法等求取阈值，并提取信号值高于求出的阈值的区域作为肺区域的候选，并在候选区域的边界附近进行边缘检测从而决定肺区域的边界线。然而，在胸部X线图像中，肺与心脏重叠的区域的像素的信号值并不像肺没有与其他脏器(内脏器官)重叠的区域的像素的信号值那么高，肺与肝脏重叠的区域的像素的信号值也不像肺没有与其他脏器重叠的区域的像素的信号值那么高。关于这一点，使用图39和图40进行说明。
在图39中，并排示出了胸部X线图像正位片Ixp和表示胸部X线图像Ixp的位置L1处的截面的计算机断层摄影(CT)的切片图像Isl。在切片图像Isl中，示出了右肺RL、左肺LL、心脏HT和降主动脉AO。单点划线L2是连结胸部X线图像Ixp和切片图像Isl的对应的右肺的右端的线。此外，在本说明书中，在指定左右的情况下，不以胸部X线图像为基准，而以被拍摄对象人物的身体为基准。单点划线L3是连结胸部X线图像Ixp和切片图像Isl的对应的右心房的右端的线。单点划线L4是连结胸部X线图像Ixp和切片图像Isl的对应的降主动脉的左端的线。单点划线L5是连结胸部X线图像Ixp和切片图像Isl的对应的左心室的左端的线。单点划线L6是连结胸部X线图像Ixp和切片图像Isl的对应的左肺的左端的线。在胸部X线图像Ixp中，区域RL0和区域LL0由于肺的X线吸收值低因而像素的信号值低，分别作为右肺所在的区域和左肺所在的区域而被熟知。然而，观察切片图像Isl可知，在心脏HT的腹侧和背侧也分别存在有右肺RL和左肺LL。由此，在胸部X线图像Ixp中，为了防止看漏存在于肺与心脏重叠的区域内的肺的病变，对该区域、即肺与心脏重叠的区域进行图像诊断是很重要的。
在图40中，并排示出了胸部X线图像正位片Ixp和胸部X线图像侧位片Ixp2。在胸部X线图像侧位片Ixp2中，用虚线示出了在侧位片中右肺所在的区域RL，用实线示出了在侧位片中左肺所在的区域LL。单点划线L7是连结胸部X线图像正位片Ixp和胸部X线图像侧位片Ixp2的对应的右肺和左肺的上端的线。单点划线L8是连结胸部X线图像正位片Ixp和胸部X线图像侧位片Ixp2的对应的右横膈顶的上端的线。单点划线L9是连结胸部X线图像正位片Ixp和胸部X线图像侧位片Ixp2的对应的左横膈顶的上端的线。单点划线L10是连结胸部X线图像正位片Ixp和胸部X线图像侧位片Ixp2的对应的右肺(背侧)的下端的线。实线L11是连结胸部X线图像正位片Ixp和胸部X线图像侧位片Ixp2的对应的左肺(背侧)的下端的线。如上所述，在胸部X线图像正位片Ixp中，区域RL0和区域LL0由于肺的X线吸收值低因而像素的信号值低，分别作为右肺所在的区域和左肺所在的区域而被熟知。然而，观察胸部X线图像侧位片Ixp2可知，在单点划线L8下方存在有右肺，在单点划线L9下方存在有左肺。此外，虽然在图40中没有示出，但在右肺下面隔着横膈膜存在有肝脏，在左肺下面隔着横膈膜存在有胃等。由此，在胸部X线图像正位片Ixp中，为了防止看漏存在于肺与其他脏器重叠的区域内的肺的病变，对该区域、即肺与其他脏器重叠的区域进行图像诊断是很重要的。其他脏器可以是肝脏或者胃。
因此，在专利文献1公开的决定肺区域的边界线的方法中，难以在胸部X线图像中进行肺与心脏重叠的区域内的异常的检测以及肺与肝脏重叠的区域内的异常的检测。于是，本发明人着眼于胸部X线图像中描画的各种各样的线结构(相当于边界线的一例)，想到了以下的发明的各技术方案，它们能够在肺与心脏重叠的区域和/或肺与肝脏重叠的区域内判定有无异常。
本公开的第1技术方案是一种异常检测方法，
计算机取得胸部X线图像；
所述计算机使用模型在所述取得的胸部X线图像中检测X线透射率范围不同的多个解剖学结构的图像的边界线，所述模型在所述检测前使用机器学习构建而成；
所述计算机基于检测出的所述边界线，在所述取得的胸部X线图像中设定包含肺与心脏重叠的第1肺区域和肺与肝脏重叠的第2肺区域中的至少一方的第3肺区域；
所述计算机提取表示所述第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标；
所述计算机基于所述血管指标和基准指标，判定所述第3肺区域所包含的区域是否为异常状态，所述基准指标使用了预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的指标；
所述计算机在所述第3肺区域所包含的区域被判定为是异常状态时，输出表示所述判定的信息。
在该第1技术方案中，着眼于胸部X线图像中描画的各种边界线，检测出边界线。因此，能够基于边界线，设定包含肺与心脏重叠的第1肺区域和/或肺与肝脏重叠的第2肺区域的第3肺区域。因此，根据第1技术方案，能够判定在第3肺区域所包含的区域内有无异常。在判定为第3肺区域所包含的区域内有异常时，输出表示判定的信息。因此，能够向用户提供有益的信息。其结果，第1技术方案的异常检测方法不仅能够向读片医生提供有益的信息，而且能够利用于临床医生或者放射科医生的诊断或者自学、以及医学专业的学生的教育或者自学。根据第1技术方案的异常检测方法，能够针对在现有的胸部X线图像的诊断辅助技术中的异常检测技术中多数情况没有被包含在异常检测对象区域内的第1肺区域(在胸部X线图像中肺与心脏重叠的区域)和/或第2肺区域(在胸部X线图像中肺与肝脏重叠的区域)，基于血管指标进行异常检测。
在上述第1技术方案中，例如也可以为，
在所述检测中，检测左室阴影、降主动脉阴影、左横膈顶阴影、椎体的左边界线、椎体的右边界线、右房阴影和右横膈顶阴影中的至少两个的边界线；
在所述设定中，设定包含所述第1肺区域的所述第3肺区域，所述第1肺区域由夹在在所述检测中检测出的边界线中的至少两条之间的区域设定。
根据该技术方案，能够基于检测出的边界线，更精准地在胸部X线图像中设定肺与心脏重叠的区域即第1肺区域。
在上述第1技术方案中，例如也可以为，
在所述检测中，检测所述左室阴影、所述降主动脉阴影、所述左横膈顶阴影、所述椎体的左边界线、所述椎体的右边界线、所述右房阴影和所述右横膈顶阴影中的至少所述左室阴影、所述降主动脉阴影、所述左横膈顶阴影、所述椎体的右边界线和所述右房阴影的边界线；
在所述设定中，所述第1肺区域由夹在在所述检测中检测出的边界线中的所述左室阴影、所述降主动脉阴影和所述左横膈顶阴影之间的区域以及夹在所述椎体的右边界线和所述右房阴影之间的区域设定。
根据该技术方案，能够基于检测出的边界线，更精准地在胸部X线图像中设定肺与心脏重叠的区域即第1肺区域。
在上述第1技术方案中，例如也可以为，
在所述检测中，检测所述左室阴影、所述降主动脉阴影、所述左横膈顶阴影、所述椎体的左边界线、所述椎体的右边界线、所述右房阴影和所述右横膈顶阴影中的至少所述椎体的左边界线、所述左室阴影、所述左横膈顶阴影、所述椎体的右边界线和所述右房阴影的边界线；
在所述设定中，所述第1肺区域由夹在在所述检测中检测出的边界线中的所述椎体的左边界线、所述左室阴影和所述左横膈顶阴影之间的区域以及夹在所述椎体的右边界线和所述右房阴影之间的区域设定。
根据该技术方案，能够基于检测出的边界线，更精准地在胸部X线图像中设定肺与心脏重叠的区域即第1肺区域。
在上述第1技术方案中，例如也可以为，
在所述设定中，所述第1肺区域设定为由在所述检测中检测出的边界线与连接相邻的所述边界线的插补线包围的封闭区域。
根据该技术方案，即使没有由检测出的多个边界线形成封闭区域，也能够更切实地在胸部X线图像中设定肺与心脏重叠的区域即第1肺区域。
在上述第1技术方案中，例如也可以为，
在所述检测中，检测右横膈顶阴影、右背侧肺底阴影和椎体的右边界线中的至少两个的边界线；
在所述设定中，设定包含所述第2肺区域的所述第3肺区域，所述第2肺区域由夹在在所述检测中检测出的边界线中的至少两条之间的区域设定。
根据该技术方案，能够基于检测出的边界线，更精准地在胸部X线图像中设定肺与肝脏重叠的区域即第2肺区域。
在上述第1技术方案中，例如也可以为，
在所述检测中，检测所述右横膈顶阴影、所述右背侧肺底阴影和所述椎体的右边界线中的至少所述右横膈顶阴影和所述右背侧肺底阴影的边界线；
在所述设定中，所述第2肺区域由夹在在所述检测中检测出的边界线中的所述右横膈顶阴影和所述右背侧肺底阴影之间的区域设定。
根据该技术方案，能够基于检测出的边界线，更精准地在胸部X线图像中设定肺与肝脏重叠的区域即第2肺区域。
在上述第1技术方案中，例如也可以为，
在所述检测中，检测所述右横膈顶阴影、所述右背侧肺底阴影和所述椎体的右边界线的边界线；
在所述设定中，所述第2肺区域由夹在在所述检测中检测出的所述右横膈顶阴影、所述右背侧肺底阴影和所述椎体的右边界线之间的区域设定。
根据该技术方案，能够基于检测出的边界线，更精准地在胸部X线图像中设定肺与肝脏重叠的区域即第2肺区域。
在上述第1技术方案中，例如也可以为，
在所述设定中，所述第2肺区域设定为由在所述检测中检测出的边界线与连接相邻的所述边界线的插补线包围的封闭区域。
根据该技术方案，即使没有由检测出的多个边界线形成封闭区域，也能够更切实地在胸部X线图像中设定肺与肝脏重叠的区域即第2肺区域。
在上述第1技术方案中，例如也可以为，
在所述检测中检测出所述右背侧肺底阴影的情况下，所述计算机计算表示所述右背侧肺底阴影的检测结果的准确度的可靠度；
在所述可靠度为预定的第1阈值以下时，所述计算机基于在所述检测中检测出的所述右背侧肺底阴影以外的边界线的位置，推定所述右背侧肺底阴影；
在所述第2肺区域的设定中，如果所述可靠度高于所述第1阈值，则利用在所述检测中检测出的所述右背侧肺底阴影，如果所述可靠度为所述第1阈值以下，则利用在所述推定中推定出的所述右背侧肺底阴影。
根据该技术方案，即使表示右背侧肺底阴影的检测结果的准确度的可靠度在第1阈值以下，也能够利用推定出的右背侧肺底阴影，设定第2肺区域。
在上述第1技术方案中，例如也可以为，
在所述第2肺区域的设定中利用了在所述推定中推定出的所述右背侧肺底阴影的情况下，在所述输出中，输出提醒注意包含右肺底的区域的信息。
根据该技术方案，能够引起用户对包含右肺底的区域的注意。
在上述第1技术方案中，例如也可以为，
所述第3肺区域还包含位于所述第1肺区域下侧的第4肺区域，
在所述检测中，还检测左背侧肺底阴影作为所述边界线。
根据该技术方案，能够针对在现有的胸部X线图像的诊断辅助技术中的异常检测技术中多数情况没有被包含在异常检测对象区域内的、位于第1肺区域(在胸部X线图像中肺与心脏重叠的区域)下侧的第4肺区域，基于血管指标进行异常检测。
在上述第1技术方案中，例如也可以为，
在所述检测中，检测左横膈顶阴影、所述左背侧肺底阴影和椎体的左边界线中的包括所述左背侧肺底阴影的至少两个的边界线；
在所述设定中，设定包含所述第4肺区域的所述第3肺区域，所述第4肺区域由夹在在所述检测中检测出的边界线中的至少两条之间的区域设定。
根据该技术方案，能够基于检测出的边界线，更精准地在胸部X线图像中设定位于第1肺区域下侧的第4肺区域。
在上述第1技术方案中，例如也可以为，
在所述检测中，检测左横膈顶阴影、所述左背侧肺底阴影和椎体的左边界线中的至少所述左横膈顶阴影和所述左背侧肺底阴影的边界线；
在所述设定中，所述第4肺区域由夹在在所述检测中检测出的边界线中的所述左横膈顶阴影和所述左背侧肺底阴影之间的区域设定。
根据该技术方案，能够基于检测出的边界线，更精准地在胸部X线图像中设定位于第1肺区域下侧的第4肺区域。
在上述第1技术方案中，例如也可以为，
在所述检测中，检测左横膈顶阴影、所述左背侧肺底阴影和椎体的左边界线的边界线；
在所述设定中，所述第4肺区域由夹在在所述检测中检测出的所述左横膈顶阴影、所述左背侧肺底阴影和所述椎体的左边界线之间的区域设定。
根据该技术方案，能够基于检测出的边界线，更精准地在胸部X线图像中设定位于第1肺区域下侧的第4肺区域。
在上述第1技术方案中，例如也可以为，
在所述设定中，所述第4肺区域设定为由在所述检测中检测出的边界线与连接相邻的所述边界线的插补线包围的封闭区域。
根据该技术方案，即使没有由检测出的多个边界线形成封闭区域，也能够更切实地在胸部X线图像中设定位于第1肺区域下侧的第4肺区域。
在上述第1技术方案中，例如也可以为，
所述计算机计算表示所述检测中的所述左背侧肺底阴影的检测结果的准确度的可靠度；
在所述可靠度为预定的第2阈值以下时，所述计算机基于在所述检测中检测出的所述左背侧肺底阴影以外的边界线的位置，推定所述左背侧肺底阴影；
在所述第4肺区域的设定中，如果所述可靠度高于所述第2阈值，则利用在所述检测中检测出的所述左背侧肺底阴影，如果所述可靠度为所述第2阈值以下，则利用在所述推定中推定出的所述左背侧肺底阴影。
根据该技术方案，即使表示左背侧肺底阴影的检测结果的准确度的可靠度在第2阈值以下，也能够利用推定出的左背侧肺底阴影，设定第4肺区域。
在上述第1技术方案中，例如也可以为，
在所述第4肺区域的设定中利用了在所述推定中推定出的所述左背侧肺底阴影的情况下，在所述输出中，还输出提醒注意包含左肺底的区域的信息。
根据该技术方案，能够引起用户对包含左肺底的区域的注意。
在上述第1技术方案中，例如也可以为，
在所述输出中，将被判定为异常状态的、所述第3肺区域所包含的区域的图像和所述第3肺区域所包含的区域的异常状态的内容作为表示所述判定的信息显示于显示器而输出。
根据该技术方案，能够向用户提示有益的信息。
在上述第1技术方案中，例如也可以为，
所述计算机进一步在在所述设定中设定的所述第3肺区域内分割设定多个局部区域1～n，所述多个局部区域1～n包含所述第3肺区域所包含的区域，所述n为2以上的自然数；
在所述提取中，作为所述血管指标，提取表示局部区域i内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标i，所述i为1至n的自然数；
在所述判定中，基于所述血管指标i和基准指标i，判定所述局部区域i是否为异常状态，所述基准指标i使用了预先使用提取所述血管指标i的方法从正常状态的胸部X线图像的与所述局部区域i相当的区域提取出的指标；
在所述输出中，将被判定为异常状态的局部区域j的图像和所述局部区域j的异常状态的内容显示于所述显示器，所述j为1以上且n以下的自然数。
根据该技术方案，在第3肺区域内分割设定多个局部区域，按多个局部区域的每一个判定是否为异常状态，因此，能够提高被判定为异常的区域的分辨率。
在上述第1技术方案中，例如也可以为，
所述计算机进一步生成包括所述多个局部区域1～n中的、根据所述取得的胸部X线图像中的从肺门部的二维距离而各不相同的局部区域的多个组1～m，所述m为2以上的自然数；
在所述提取中，作为所述血管指标，提取表示组k内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标k，所述k为1至m的自然数；
在所述判定中，基于所述血管指标k和基准指标k，判定所述组k是否为异常状态，所述基准指标k使用了预先使用提取所述血管指标k的方法从正常状态的胸部X线图像的与所述组k相当的区域提取出的指标；
在所述输出中，将被判定为异常状态的组h的图像和所述组h的异常状态的内容显示于所述显示器，所述h为1以上且m以下的自然数。
根据该技术方案，肺血管的粗细和密度类似的局部区域被分组，因此能够按每组，更精准地求取血管指标。另外，关于预先求取的基准指标，即使在用于求取基准指标的例如学习用的图像数量少的情况下，也能够使用于求取基准指标的图像数量增加为多于局部区域的图像数量，变得易于求取基准指标。
在上述第1技术方案中，例如也可以为，
所述模型是使用以像素为单位进行预测的神经网络，以作为正常状态的胸部X线图像的学习用胸部X线图像为输入数据，以表示所述学习用胸部X线图像中的边界线的图像为监督(教师)数据，以从所述学习用胸部X线图像中检测所述边界线的方式机器学习得到的模型。
在该技术方案中，使用如下模型检测边界线，即，使用以像素为单位进行预测的神经网络，以作为正常状态的胸部X线图像的学习用胸部X线图像为输入数据，以表示学习用胸部X线图像中的边界线的图像为监督数据，以从学习用胸部X线图像中检测边界线的方式机器学习得到的模型。因此，由于以像素为单位进行预测，因而能够高精度地检测边界线。
在上述第1技术方案中，例如也可以为，
所述基准指标是预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的指标的概率密度函数、或者预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的关于指标预先设定的阈值。
根据该技术方案，能够使用概率密度函数或者阈值更精准地进行异常检测。
本公开的第2技术方案是一种异常检测程序，
使计算机作为取得部、检测部、设定部、判定部以及输出控制部而发挥功能，
所述取得部取得胸部X线图像；
所述检测部使用模型在所述取得的胸部X线图像中检测X线透射率范围不同的多个解剖学结构的图像的边界线，所述模型在所述检测前使用机器学习构建而成；
所述设定部基于检测出的所述边界线，在所述取得的胸部X线图像中设定包含肺与心脏重叠的第1肺区域和肺与肝脏重叠的第2肺区域中的至少一方的第3肺区域；
所述判定部提取表示所述第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标，基于提取出的所述血管指标和基准指标，判定所述第3肺区域所包含的区域是否为异常状态，所述基准指标使用了预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的指标；
所述输出控制部在所述第3肺区域所包含的区域被判定为是异常状态时，输出表示所述判定部的判定结果的信息。
在该第2技术方案中，着眼于胸部X线图像中描画的各种边界线，检测出边界线。因此，能够基于线结构，设定包含肺与心脏重叠的第1肺区域和/或肺与肝脏重叠的第2肺区域的第3肺区域。因此，根据第2技术方案，能够判定在第3肺区域所包含的区域内有无异常。在判定为第3肺区域所包含的区域内有异常时，输出表示判定结果的信息。因此，能够向用户提供有益的信息。其结果，第2技术方案的异常检测程序不仅能够向读片医生提供有益的信息，而且能够利用于临床医生或者放射科医生的诊断或者自学、以及医学专业的学生的教育或者自学。根据第2技术方案的异常检测程序，能够针对在现有的胸部X线图像的诊断辅助技术中的异常检测技术中多数情况没有被包含在异常检测对象区域内的、第1肺区域(在胸部X线图像中肺与心脏重叠的区域)和/或第2肺区域(在胸部X线图像中肺与肝脏重叠的区域)，基于血管指标进行异常检测。
本公开的第3技术方案是一种异常检测装置，具备：
取得部，其取得胸部X线图像；
检测部，其使用模型在所述取得的胸部X线图像中检测X线透射率范围不同的多个解剖学结构的图像的边界线，所述模型在所述检测前使用机器学习构建而成；
设定部，其基于检测出的所述边界线，在所述取得的胸部X线图像中设定包含肺与心脏重叠的第1肺区域和肺与肝脏重叠的第2肺区域中的至少一方的第3肺区域；
判定部，其提取表示所述第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标，基于提取出的所述血管指标和基准指标，判定所述第3肺区域所包含的区域是否为异常状态，所述基准指标使用了预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的指标；以及
输出控制部，其在所述第3肺区域所包含的区域被判定为是异常状态时，输出表示所述判定部的判定结果的信息。
在该第3技术方案中，着眼于胸部X线图像中描画的各种边界线，检测出边界线。因此，能够基于线结构，设定包含肺与心脏重叠的第1肺区域和/或肺与肝脏重叠的第2肺区域的第3肺区域。因此，根据第3技术方案，能够判定在第3肺区域所包含的区域内有无异常。在判定为第3肺区域所包含的区域内有异常时，输出表示判定结果的信息。因此，能够向用户提供有益的信息。其结果，第3技术方案的异常检测装置不仅能够向读片医生提供有益的信息，而且能够利用于临床医生或者放射科医生的诊断或者自学、以及医学专业的学生的教育或者自学。根据第3技术方案的异常检测装置，能够针对在现有的胸部X线图像的诊断辅助技术中的异常检测技术中多数情况没有被包含在异常检测对象区域内的、第1肺区域(在胸部X线图像中肺与心脏重叠的区域)和/或第2肺区域(在胸部X线图像中肺与肝脏重叠的区域)，基于血管指标进行异常检测。
本公开的第4技术方案是一种服务器装置，具备：
取得部，其取得胸部X线图像；
检测部，其使用模型在所述取得的胸部X线图像中检测X线透射率范围不同的多个解剖学结构的图像的边界线，所述模型在所述检测前使用机器学习构建而成；
设定部，其基于检测出的所述边界线，在所述取得的胸部X线图像中设定包含肺与心脏重叠的第1肺区域和肺与肝脏重叠的第2肺区域中的至少一方的第3肺区域；
判定部，其提取表示所述第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标，基于提取出的所述血管指标和基准指标，判定所述第3肺区域所包含的区域是否为异常状态，所述基准指标使用了预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的指标；以及
输出控制部，其在所述第3肺区域所包含的区域被判定为是异常状态时，输出表示所述判定部的判定结果的信息。
在该第4技术方案中，设定包含肺与心脏重叠的第1肺区域和/或肺与肝脏重叠的第2肺区域的第3肺区域，基于基准指标和血管指标判定第3肺区域所包含的区域是否为异常状态。因此，根据第4技术方案，能够判定在第3肺区域所包含的区域内有无异常。在判定为第3肺区域所包含的区域有异常时，表示判定部的判定结果的信息发送到外部的终端装置。因此，能够向终端装置的用户提供有益的信息。其结果，第4技术方案的服务器装置不仅能够向读片医生提供有益的信息，而且能够利用于临床医生或者放射科医生的诊断或者自学、以及医学专业的学生的教育或者自学。根据第4技术方案的服务器装置，能够针对在现有的胸部X线图像的诊断辅助技术中的异常检测技术中多数情况没有被包含在异常检测对象区域内的、第1肺区域(在胸部X线图像中肺与心脏重叠的区域)和/或第2肺区域(在胸部X线图像中肺与肝脏重叠的区域)，基于血管指标进行异常检测。
本公开的第5技术方案是一种异常检测方法，
计算机取得胸部X线图像；
所述计算机在所述取得的胸部X线图像中判定包含肺与心脏重叠的第1肺区域和/或所述肺与肝脏重叠的第2肺区域的第3肺区域所包含的区域是否表示出异常状态；
所述计算机在判定为所述第3肺区域所包含的区域表示出异常状态时，输出表示所述第3肺区域所包含的区域异常的信息。
在该第5技术方案中，能够在取得的胸部X线图像中，判定在包含肺与心脏重叠的第1肺区域和/或肺与肝脏重叠的第2肺区域的第3肺区域所包含的区域内有无异常。在判定为第3肺区域所包含的区域有异常时，输出表示第3肺区域所包含的区域异常的信息。因此，能够向用户提供有益的信息。其结果，第5技术方案的异常检测方法不仅能够向读片医生提供有益的信息，而且能够利用于临床医生或者放射科医生的诊断或者自学、以及医学专业的学生的教育或者自学。根据第5技术方案的异常检测方法，能够针对在现有的胸部X线图像的诊断辅助技术中的异常检测技术中多数情况没有被包含在异常检测对象区域内的、第1肺区域(在胸部X线图像中肺与心脏重叠的区域)和/或第2肺区域(在胸部X线图像中肺与肝脏重叠的区域)进行异常检测。
在上述第5技术方案中，例如也可以为，
所述计算机进一步在所述取得的胸部X线图像中检测肺的图像与心脏的图像的第1边界线和/或所述肺的图像与肝脏的图像的第2边界线；
所述计算机进一步基于所述第1边界线和/或所述第2边界线，在所述取得的胸部X线图像中设定所述第3肺区域；
所述计算机进一步提取表示所述第3肺区域所包含的区域内的血管密度的血管指标；
在所述判定中，基于所述血管指标和基准指标，判定所述第3肺区域所包含的区域是否表示出异常状态，所述基准指标表示正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域内的血管密度。
根据该技术方案，由于使用了表示正常状态的胸部X线图像的与第3肺区域所包含的区域相当的区域内的血管的密度的基准指标，因此能够更精准地进行异常检测。
本公开的第6技术方案是一种信息处理方法，
计算机取得胸部X线图像；
所述计算机使用模型在所述取得的胸部X线图像中检测X线透射率范围不同的多个解剖学结构的图像的边界线，所述模型在所述检测前使用机器学习构建而成；
所述计算机基于检测出的所述边界线，在所述取得的胸部X线图像中设定包含肺与心脏重叠的第1肺区域和肺与肝脏重叠的第2肺区域中的至少一方的第3肺区域；
所述计算机提取表示所述第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标；
所述计算机输出所述提取出的血管指标。
在该第6技术方案中，着眼于胸部X线图像中描画的各种边界线，检测出边界线。因此，能够基于边界线，设定包含肺与心脏重叠的第1肺区域和/或肺与肝脏重叠的第2肺区域的第3肺区域。因此，根据第6技术方案，能够提取表示第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标。将提取到的血管指标输出。因此，能够向用户提供第3肺区域所包含的区域内的血管指标。其结果，用户能够利用第3肺区域所包含的区域内的血管指标。例如，用户能够使用第3肺区域所包含的区域内的血管指标，根据客观的数值掌握胸部X线图像中的第3肺区域所包含的区域内的肺血管的状态。由此，用户能够更精准地诊断肺血管的状态是否异常。
(实施方式)
以下，参照附图，对本公开的实施方式进行说明。此外，在各附图中，对于相同的构成要素使用相同的标号，并适当省略说明。
(第1实施方式)
图1是概略地表示第1实施方式中的执行胸部X线图像的异常显示控制方法的异常显示控制装置100的构成的框图。图2是概略地表示医疗机构内的网络结构410的框图。
如图2所示，医疗机构内的网络结构410包括内部网络(Intra network)400。异常显示控制装置100、医用图像管理系统200以及胸部X线图像拍摄装置300连接于内部网络400。医用图像管理系统200保存并管理胸部X线图像、计算机断层摄影(CT)图像、利用核磁共振成像法(MRI)生成的图像等。胸部X线图像拍摄装置300拍摄患者或者做体检的人的胸部X线图像。由胸部X线图像拍摄装置300拍摄到的胸部X线图像被发送到医用图像管理系统200而被保存。
此外，异常显示控制装置100、医用图像管理系统200以及胸部X线图像拍摄装置300不一定要连接在同一医疗机构内的内部网络400上。异常显示控制装置100以及医用图像管理系统200也可以是在设置于医疗机构外部的数据中心、私有云服务器、公共云服务器等上工作的软件。胸部X线图像拍摄装置300既可以设置在医院内，或者也可以设置在用于体检等的流动车中。医用图像管理系统200例如是图像保存和通信系统(PACS)。
如图1所示，异常显示控制装置100(相当于异常检测装置的一例)具备正常模型存储部105、图像存储器106、通信部107、显示器108、中央运算处理装置(CPU)120和存储器121。异常显示控制装置100例如由个人计算机构成。
通信部107经由内部网络400与医用图像管理系统200等进行通信。正常模型存储部105例如由硬盘或者半导体存储器等构成。正常模型存储部105存储预先定义的多个局部区域(后述)的每一个表示正常状态的情况下的、确定指标的概率密度函数(稍后参照图30进行说明)的信息、以及用于计算指标的式子。稍后会对确定概率密度函数的信息进行说明。用于计算指标的式子指的是(i)从局部区域提取线结构(后述)的算法以及从提取到的线结构获得指标的计算式或者(ii)将局部区域的图像进行维度压缩的算法(后述的主成分分析、或者堆叠自编码器、或者变分自编码器等)以及根据所述算法计算局部区域的图像的重构误差的式子。如后所述，在本实施方式中，指标为血管的粗细和/或血管的密度，也被称为“血管指标”。
图像存储器106例如由硬盘或者半导体存储器等构成。图像存储器106存储所取得的对象胸部X线图像。显示器108例如由液晶监视器构成，用于作为用户的医生或者放射科医生显示读片对象的胸部X线图像即对象胸部X线图像。另外，显示器108显示供填写拍摄了对象胸部X线图像的患者的病历信息、图像诊断的结果的报告输入画面等。
存储器121例如由半导体存储器等构成。存储器121例如包括只读存储器(ROM)、随机存取存储器(RAM)、电可擦可编程的只读存储器(EEPROM)等。存储器121的ROM存储使CPU120工作的第1实施方式的控制程序。
CPU120通过执行存储于存储器121的第1实施方式的控制程序，作为检测部101、肺区域设定部102、局部区域设定部103、异常判定部104、显示控制部122和通信控制部123而发挥功能。检测部101读出保存于图像存储器106的对象胸部X线图像，检测所读出的对象胸部X线图像所包含的多个线结构。肺区域设定部102将由通过检测部101检测出的多个线结构中的至少两个线结构包围的区域设定为肺区域。肺区域在胸部X线图像中既可以为肺的一部分的区域，也可以为肺的全部的区域。局部区域设定部103将所设定的肺区域进行分割，在肺区域的内部设定多个局部区域。异常判定部104对通过局部区域设定部103设定的各个局部区域，计算指标，将计算出的指标与存储于正常模型存储部105的在对应的局部区域为正常状态的情况下的指标的概率密度函数进行比较，由此，按各局部区域判定是否为异常状态。显示控制部122和通信控制部123的功能分别稍后进行说明。
图3是概略地表示第1实施方式涉及的由异常显示控制装置100执行的处理步骤的流程图。在步骤S50中，通信控制部123(相当于取得部的一例)经由通信部107从医用图像管理系统200取得作为读片对象的胸部X线图像的对象胸部X线图像，将取得的对象胸部X线图像保存于图像存储器106。在步骤S100中，检测部101从图像存储器106读出对象胸部X线图像，并从该对象胸部X线图像中检测预先定义的两个以上的线结构。
在此，将人体的解剖学结构(例如心脏等内脏)在胸部X线图像中被描画出的区域或边界线、或者人体的解剖学结构的一部分在胸部X线图像中被描画出的区域或边界线、或者X线透射率互不相同的人体的多个解剖学结构间的边界在胸部X线图像中被描画出的边界线定义为“结构物”。尤其，在结构物之中，将所述边界线、被描画为线状的人体的解剖学结构、以及被描画为线状的人体的解剖学结构的一部分定义为“线结构”。将不是线结构的结构物、即不能视为线状的结构物定义为“区域结构”。由于存在尽管是线结构但在图像上宽度比一个像素大的结构物，因此担心“线结构”与“区域结构”的差异不明确。于是，例如可以如下这样区分“线结构”和“区域结构”。
(i)将提取到的结构物的图像(例如图4B、图5B)用适当的阈值进行二值化。
(ii)对二值化后的结构物的图像进行细线化处理直到宽度成为1个像素。
(iii)计算细线化处理后的图像中的结构物的面积与细线化处理前的图像中的结构物的面积之比，如果面积比在预先确定的阈值以上，则判定该结构物为“线结构”，否则判定为“区域结构”。该阈值设定为如使结构物被视为线状那样的适当的值即可。线结构的例子表示于图4A～4C和图5A～5C，区域结构的例子表示于图6A～6C。
图4A是表示包含降主动脉的阴影(即，由降主动脉的X线透射率与肺实质的X线透射率的差异描画出的边界线)的胸部X线图像Ix的图。
图4B是表示降主动脉的阴影的掩模图像Px的图。图4C是表示将图4B的掩模图像Px重叠显示在图4A的胸部X线图像Ix上的图像的图。图5A是表示包含右背侧肺底的阴影(即，由肺实质的背侧基部的X线透射率与腹侧脏器的X线透射率的差异描画出的边界线)的胸部X线图像Ix的图。图5B是表示右背侧肺底的阴影的掩模图像Py的图。图5C是表示将图5B的掩模图像Py重叠显示在图5A的胸部X线图像Ix上的图像的图。图6A是表示包含第一胸椎被投影的区域的胸部X线图像Ix的图。图6B是表示第一胸椎的掩模图像Pz。图6C是表示将图6B的掩模图像Pz重叠显示在图6A的胸部X线图像Ix上的图像的图。
掩模图像是用黑色表现对应的胸部X线图像中存在结构物的区域、用白色表现对应的胸部X线图像中不存在结构物的区域的二值图像。此外，也可以用白色表现存在结构物的区域、用黑色表现不存在结构物的区域。此外，在人难以从图像判定结构物所在的区域的情况下，也可以使用表示存在可能性的中间值将掩模图像表现为多值(灰阶)图像。作为多值图像的设定方法，例如既可以为一名掩模图像制作者根据自己的自信而以多级设定有自信～无自信，也可以通过将多个制作者分别用二值制作出的掩模图像进行平均来制作。多个胸部X线图像和与相应的胸部X线图像对应的掩模图像的组在通过机器学习构建检测部101时被使用，掩模图像是进行机器学习时的监督数据。掩模图像由具有医学知识的人来制作。机器学习完成而构建出的检测部101读出保存于图像存储器106的对象胸部X线图像，检测读出的对象胸部X线图像所包含的多个线结构，输出表示所检测出的线结构的区域的掩模图像。在本实施方式以及以下的实施方式中，检测部101相当于“模型”的一例。
在本实施方式中，作为检测部101，使用非专利文献2中公开的U-Net。U-Net进行语义分割(Semantic Segmentation)，将输入图像以像素为单位分割为多个区域。
图7是概略地表示U-Net的架构的图。U-Net是如图7所示的具备编码器ECD以及解码器DCD的卷积神经网络，在向U-Net的输入层IL输入了输入图像时，从U-Net的输出层OL输出输出图像。用于使U-Net进行机器学习的输入数据与作为监督数据的掩模图像的组例如是图4A所示的图像与图4B所示的图像的组、图5A所示的图像与图5B所示的图像的组、或者图6A所示的图像与图6B所示的图像的组。
在构建从对象胸部X线图像中检测降主动脉的阴影的检测部101时所使用的U-Net的学习数据例如是(输入数据＝图4A所示的胸部X线图像Ix，监督数据＝图4B所示的掩模图像Px)。在将对象胸部X线图像输入检测降主动脉的阴影的已机器学习完的检测部101时，检测部101从被输入的对象胸部X线图像中检测降主动脉的阴影。
在构建从对象胸部X线图像中检测右背侧肺底的阴影的检测部101时所使用的U-Net的学习数据例如是(输入数据＝图5A所示的胸部X线图像Ix，监督数据＝图5B所示的掩模图像Py)。在将对象胸部X线图像输入检测右背侧肺底的阴影的已机器学习完的检测部101时，检测部101从被输入的对象胸部X线图像中检测右背侧肺底的阴影。
在构建从对象胸部X线图像中检测第一胸椎的检测部101时所使用的U-Net的学习数据例如是(输入数据＝图6A所示的胸部X线图像Ix，监督数据＝图6B所示的掩模图像Pz)。检测第一胸椎的已机器学习完的检测部101读出保存于图像存储器106的对象胸部X线图像，检测所读出的对象胸部X线图像所包含的第一胸椎，输出第一胸椎的区域图像。
检测部101也可以是N(N为1以上的整数)个机器学习完成的U-Net、也即是说机器学习完成的第1U-Net、……、机器学习完成的第N U-Net。
也可以准备N个胸部X线图像与其对应的掩模图像的组、也即是说胸部X线图像与其对应的掩模图像的第1组、……、胸部X线图像与其对应的掩模图像的第N组，使第1U-Net使用胸部X线图像与其对应的掩模图像的第1组进行机器学习、……、使第N U-Net使用胸部X线图像与其对应的掩模图像的第N组进行机器学习。由此，能够构建完成机器学习的N个U-Net。
检测部101也可以是一个机器学习完成的U-Net。为了构建该U-Net，也可以使用胸部X线图像和与其对应的掩模图像的N个组，使该U-Net进行机器学习。也即是说，也可以构建U-Net作为通过一个U-Net检测N个线结构的Multi-class segmentation(多类分割)。此外，作为进行语义分割的人工神经网络，也可以取代U-Net而使用如非专利文献3所公开的其他的神经网络。
回到图3，在步骤S200中，肺区域设定部102(相当于设定部的一例)使用检测出的线结构，在胸部X线图像中设定肺区域，肺区域是肺被投影的区域。在图8至图13中，表示由肺区域设定部102设定出胸部X线图像中的肺区域的例子。
图8、图9是表示在胸部X线图像中设定肺与肺以外的脏器例如肝脏和横膈膜重叠的区域的方法及该区域的一例的图。图10、图11是表示在胸部X线图像中设定肺与肺以外的脏器例如心脏重叠的区域的方法及该区域的一例的图。图12、图13是表示在胸部X线图像中设定肺与肺以外的脏器例如胃重叠的区域的方法及该区域的一例的图。
在图8中，图像Ix是医生进行诊断的诊断对象的胸部X线图像(在本实施方式中也能说是被处理的处理对象)，图像Ixp是将图像Ix中的区域Rx放大显示得到的图像。另外，线结构Px1、Px2、Px3是检测部101检测出的线结构，分别为右横膈顶阴影、右背侧肺底阴影和椎体的右边界线。肺区域设定部102使用这些检测部101检测出的线结构，在图像Ixp中设定肺与肺以外的脏器、例如肝脏和横膈膜重叠的区域。肺区域设定部102在各线结构在中途中断的情况下，将线结构的端与距离该端最近的自身线结构上的点用直线的插补线连接，在线结构彼此之间分开的情况下，将线结构的端与距离该端最近的其他线结构上的点用直线的插补线连接。连结线结构Px1的两个端点中的距离线结构Px2最近的端点A1与线结构Px2上的点中的距离端点A1最近的点B1的直线是插补线Pa。连结线结构Px1的两个端点中的距离线结构Px3最近的端点A2与线结构Px3上的点中的距离端点A2最近的点B2的直线是插补线Pb。由此，定义由线结构Px1、Px2、Px3以及插补线Pa、Pb包围的封闭区域Ax1。肺区域设定部102设定该区域Ax1作为表示肺图像的区域所包含的区域。同样地，在图9至图13中表示肺区域设定的其他例子。
在图9中，图像Ix是医生进行诊断的诊断对象的胸部X线图像(在本实施方式中也能说是被处理的处理对象)，图像Ixp是将图像Ix中的区域Rx放大显示得到的图像。另外，线结构Px1、Px2是检测部101检测出的线结构，分别为右横膈顶阴影和右背侧肺底阴影。肺区域设定部102使用这些检测部101检测出的线结构，在图像Ixp中设定肺与肺以外的脏器、例如肝脏和横膈膜重叠的区域。肺区域设定部102在各线结构在中途中断的情况下，将线结构的端与距离该端最近的自身线结构上的点用直线的插补线连接，在线结构彼此之间分开的情况下，将线结构的端与距离该端最近的其他线结构上的点用直线的插补线连接。连结线结构Px1的两个端点中的距离线结构Px2最近的端点A1与线结构Px2上的点中的距离端点A1最近的点B1的直线是插补线Pa。连结线结构Px1的两个端点中的距离线结构Px2最近的另一端点A2与线结构Px2上的点中的距离端点A2最近的点B3的直线是插补线Pc。由此，定义由线结构Px1、Px2以及插补线Pa、Pc包围的封闭区域Ax2。肺区域设定部102设定该区域Ax2作为表示肺图像的区域所包含的区域。
在图10中，图像Ix是医生进行诊断的诊断对象的胸部X线图像(在本实施方式中也能说是被处理的处理对象)，图像Ixp是将图像Ix中的区域Rx放大显示得到的图像。另外，线结构Px1、Px3、Px4、Px6、Px7、Px8是检测部101检测出的线结构，分别为右横膈顶阴影、椎体的右边界、右房阴影、降主动脉阴影、左室阴影和左横膈顶阴影。肺区域设定部102使用这些检测部101检测出的线结构，在图像Ixp中设定肺与肺以外的脏器、例如心脏重叠的区域。肺区域设定部102在各线结构在中途中断的情况下，将线结构的端与距离该端最近的自身线结构上的点用直线的插补线连接，在线结构彼此之间分开的情况下，将线结构的端与距离该端最近的其他线结构上的点用直线的插补线连接。连结线结构Px4的两个端点中的距离线结构Px3最近的端点A4与线结构Px3上的点中的距离端点A4最近的点B4的直线是插补线Pd。连结线结构Px4的两个端点中的距离线结构Px3最近的另一端点A5与线结构Px3上的点中的距离端点A5最近的点B5的直线是插补线Pe。连结线结构Px7的两个端点中的距离线结构Px6最近的端点A6与线结构Px6上的点中的距离端点A6最近的点B6的直线是插补线Pf。连结线结构Px6的两个端点中的距离线结构Px8最近的端点A7与线结构Px8上的点中的距离端点A7最近的点B7的直线是插补线Pg。由此，定义由线结构Px4、Px3以及插补线Pd、Pe包围的封闭区域Ax3和由线结构Px6、Px7、Px8以及插补线Pf、Pg包围的封闭区域Ax4。肺区域设定部102设定这些区域Ax3、Ax4作为表示肺图像的区域所包含的区域。
在图11中，图像Ix是医生进行诊断的诊断对象的胸部X线图像(在本实施方式中也能说是被处理的处理对象)，图像Ixp是将图像Ix中的区域Rx放大显示得到的图像。另外，线结构Px1、Px3、Px4、Px5、Px7、Px8是检测部101检测出的线结构，分别为右横膈顶阴影、椎体的右边界、右房阴影、椎体的左边界、左室阴影和左横膈顶阴影。肺区域设定部102使用这些检测部101检测出的线结构，在图像Ixp中设定肺与肺以外的脏器、例如心脏重叠的区域。肺区域设定部102在各线结构在中途中断的情况下，将线结构的端与距离该端最近的自身线结构上的点用直线的插补线连接，在线结构彼此之间分开的情况下，将线结构的端与距离该端最近的其他线结构上的点用直线的插补线连接。连结线结构Px4的两个端点中的距离线结构Px3最近的端点A4与线结构Px3上的点中的距离端点A4最近的点B4的直线是插补线Pd。连结线结构Px4的两个端点中的距离线结构Px3最近的另一端点A5与线结构Px3上的点中的距离端点A5最近的点B5的直线是插补线Pe。连结线结构Px7的两个端点中的距离线结构Px5最近的端点A8与线结构Px5上的点中的距离端点A8最近的点B8的直线是插补线Ph。连结线结构Px8的两个端点中的距离线结构Px5最近的端点A9与线结构Px5上的点中的距离端点A9最近的点B9的直线是插补线Pi。由此，定义由线结构Px4、Px3以及插补线Pd、Pe包围的封闭区域Ax3和由线结构Px5、Px7、Px8以及插补线Ph、Pi包围的封闭区域Ax5。肺区域设定部102设定这些区域Ax3、Ax5作为表示肺图像的区域所包含的区域。此外，在由检测部101检测出的线结构彼此相连接的情况下，不需要插补线。
在图12中，图像Ix是医生进行诊断的诊断对象的胸部X线图像(在本实施方式中也能说是被处理的处理对象)，图像Ixp是将图像Ix中的区域Rx放大显示得到的图像。另外，线结构Px5、Px9、Px10是检测部101检测出的线结构，分别为椎体的左边界线、左横膈顶阴影和左背侧肺底阴影。肺区域设定部102使用这些检测部101检测出的线结构，在图像Ixp中设定肺与肺以外的脏器、例如胃和横膈膜重叠的区域。肺区域设定部102在各线结构在中途中断的情况下，将线结构的端与距离该端最近的自身线结构上的点用直线的插补线连接，在线结构彼此之间分开的情况下，将线结构的端与距离该端最近的其他线结构上的点用直线的插补线连接。连结线结构Px10的两个端点中的距离线结构Px5最近的端点A10与线结构Px5上的点中的距离端点A10最近的点B10的直线是插补线Pj。连结线结构Px10的两个端点中的距离线结构Px9最近的另一端点A11与线结构Px9上的点中的距离端点A11最近的点B11的直线是插补线Pk。连结线结构Px9的两个端点中的距离线结构Px5最近的端点A12与线结构Px5上的点中的距离端点A12最近的点B12的直线是插补线Pl。由此，定义由线结构Px5、Px9、Px10以及插补线Pj、Pk、Pl包围的封闭区域Ax6。肺区域设定部102设定该区域Ax6作为表示肺图像的区域所包含的区域。
在图13中，图像Ix是医生进行诊断的诊断对象的胸部X线图像(在本实施方式中也能说是被处理的处理对象)，图像Ixp是将图像Ix中的区域Rx放大显示得到的图像。另外，线结构Px9、Px10是检测部101检测出的线结构，分别为左横膈顶阴影和左背侧肺底阴影。肺区域设定部102使用这些检测部101检测出的线结构，在图像Ixp中设定肺与肺以外的脏器、例如胃和横膈膜重叠的区域。肺区域设定部102在各线结构在中途中断的情况下，将线结构的端与距离该端最近的自身线结构上的点用直线的插补线连接，在线结构彼此之间分开的情况下，将线结构的端与距离该端最近的其他线结构上的点用直线的插补线连接。连结线结构Px10的两个端点中的距离线结构Px9最近的端点A10与线结构Px9上的点中的距离端点A10最近的点B13的直线是插补线Pm。连结线结构Px10的两个端点中的距离线结构Px9最近的另一端点A11与线结构Px9上的点中的距离端点A11最近的点B11的直线是插补线Pk。由此，定义由线结构Px9、Px10以及插补线Pk、Pm包围的封闭区域Ax7。肺区域设定部102设定该区域Ax7作为表示肺图像的区域所包含的区域。
此外，关于线结构Px2(右背侧肺底阴影，图8、图9)和线结构Px10(左背侧肺底阴影，图12、图13)，根据X射线量等的拍摄时的设定值、对比度转换等的拍摄后的图像处理时的设定值、被拍摄对象的人物的体格(尤其是由于因肥胖产生的腹部脂肪引起的X射线散射)，而存在步骤S100(图3)中的线结构检测所需的亮度对比度不够、线结构检测失败的可能性。于是，肺区域设定部102也可以计算表示检测部101检测出的线结构的准确度的可靠度。
如果计算出的可靠度高于预定的阈值(第1阈值)，则肺区域设定部102在设定肺与其他脏器、例如横膈膜和肝脏重叠的区域(相当于第2肺区域的一例)时，利用检测部101检测出的线结构(例如，右背侧肺底阴影)。另一方面，如果计算出的可靠度不高于预定的阈值，则肺区域设定部102也可以基于检测部101检测出的、其他的预定的解剖学结构的位置，另行推定线结构(例如，右背侧肺底阴影)，并利用推定出的线结构(例如，右背侧肺底阴影)设定上述第2肺区域。
如果计算出的可靠度高于预定的阈值(第2阈值)，则肺区域设定部102在设定肺与其他脏器、例如横膈膜和胃等腹部脏器重叠的区域(相当于第4肺区域的一例)时，利用检测部101检测出的线结构(例如左背侧肺底阴影)。另一方面，如果计算出的可靠度不高于预定的阈值，则肺区域设定部102也可以基于检测部101检测出的、其他的预定的解剖学结构的位置，另行推定线结构(例如左背侧肺底阴影)，并利用推定出的线结构(例如左背侧肺底阴影)设定上述第4肺区域。
此外，作为进行推定的线结构，不限于右背侧肺底阴影以及左背侧肺底阴影，也可以是其他线结构。作为其他线结构，例如也可以推定左右横膈顶。推定左右横膈顶的原因在于，尤其在女性的情况下，在胸部X线图像中，由于乳房的阴影与左右横膈顶重叠，因此存在左右横膈顶检测的可靠度降低的情况。推定左横膈顶的原因还在于，在胸部X线图像中，不论男女，由于映现于图像的胃泡都位于左横膈顶附近，因此存在左横膈顶检测的可靠度降低的情况。
作为表示检测部101检测出的线结构的准确度的可靠度，例如能够利用神经网络的输出层的值。例如在图7所示的U-Net中，在机器学习时，用户设定希望在输出层OL检测出的掩模图像作为监督数据。具体而言，用户例如在输出层OL设定将图4B的用黑色表示的掩模图像Px的区域设为值1.0、将用白色表示的背景区域设为值0.0的监督数据。在已机器学习完的U-Net(也即是说检测降主动脉的阴影的检测部101)中，将未知的胸部X线图像输入到输入层IL而使检测出图4B的解剖学结构时，在U-Net的输出层OL输出的输出值按每个像素取0.0～1.0的值。在该情况下，输出值越接近1.0，也能够解释为U-Net越有自信，输出值越接近0.0，也能够解释为U-Net越没有自信。由此，能够将输出值在0.0<输出值≤1.0的范围内的、在图像上相互接近的区域视为与某个解剖学结构对应的区域，并利用这些值的平均值作为该解剖学结构的可靠度。
可替代地，肺区域设定部102预先基于许多正常病例求取线结构的位置或者面积等的指标，通过与位置或者面积等的指标的概率密度函数进行比较，能够计算表示检测部101检测出的线结构的准确度的可靠度。
例如，线结构的位置的指标如下这样求取。即，预先准备大量如图4B、图5B、图6B所示那样的二值掩模图像作为学习用的掩模图像。预先对每个结构物Pp、并且对每个样本j，计算出掩模区域的重心坐标(GXpj,GYpj)，将该二维重心坐标作为位置的指标。肺区域设定部102通过与像这样从学习用的二值掩模图像计算出的重心坐标(GXpj,GYpj)的二维概率密度函数进行比较，能够计算表示检测部101检测出的线结构的准确度的可靠度。
此外，为了吸收胸部X线图像拍摄装置300中的拍摄时的位置偏移、被拍摄对象的体格差异，也可以在检测出与肺相比不易受到疾病的影响并且也不易受到拍摄时的被拍摄对象的姿势影响的骨骼(肋骨、胸椎等)后，标准化为标准的位置以及体格，与标准化后的重心坐标(NGXpj,NGYpj)的二维概率密度函数进行比较。
肺区域设定部102从由检测部101检测出的结构物Pp的掩模图像计算重心坐标。肺区域设定部102通过将计算出的重心坐标与保存于正常模型存储部105的与结构物Pp对应的重心坐标的二维概率密度函数进行比较，计算表示检测部101检测出的线结构的准确度的可靠度。
例如，线结构的面积的指标如下这样求取。即，预先准备大量如图4B、图5B、图6B所示那样的二值掩模图像作为学习用的掩模图像。对每个结构物Pp、并且对每个样本j，计算出掩模图像的面积Apj。将该面积作为指标。求取像这样从学习用的二值掩模图像计算出的面积Apj的一维概率密度函数，预先存储于正常模型存储部105。
肺区域设定部102从由检测部101检测出的结构物Pp的掩模图像计算面积。肺区域设定部102通过将计算出的面积与保存于正常模型存储部105的与结构物Pp对应的面积的一维概率密度函数进行比较，计算表示检测部101检测出的线结构的准确度的可靠度。作为面积，能够使用构成结构物Pp的像素的面积。可替代地，作为面积，也可以使用构成结构物Pp的像素的个数。
在检测对象为线结构的情况下，肺区域设定部102也可以利用将检测部101检测出的线结构的区域进行细线化处理后的线长代替面积来计算可靠度。另外，在检测对象为左背侧肺底或者右背侧肺底的情况下，肺区域设定部102也可以在胸部X线图像中，通过针对能够推定为存在左背侧肺底的在左横膈顶阴影下方附近的区域、或者能够推定为存在右背侧肺底的在右横膈顶阴影下方附近的区域，根据像素值的标准偏差等判定对比度是否足够(例如，像素值的标准偏差是否在预定值以上)，从而计算表示检测部101检测出的线结构的准确度的可靠度。
图14是说明在胸部X线图像中推定右背侧肺底阴影的方法的图。在图14中，示出了在胸部X线图像Ixp中表示通过像素的浓淡值的阈值处理所获得的肺图像的区域，作为右肺的区域RL0、左肺的区域LL0。使用图14，说明基于检测部101检测出的其他的预定的解剖学结构的位置，推定右背侧肺底阴影的方法。例如，预先从许多正常病例求取右横膈顶阴影与右背侧肺底阴影的位置关系，并保存于存储器121。而且，如图14所示，肺区域设定部102首先基于上述位置关系，从检测部101检测出的右横膈顶阴影Px1，求取右背侧肺底的存在概率在预定值以上的区域AP。接着，肺区域设定部102推定区域AP的下端线作为右背侧肺底阴影Px2。
另外，由于胃泡(胃中的空气和/或气体)的存在，左背侧肺底阴影比右背侧肺底阴影更不易检测。因此，在左背侧肺底阴影的可靠度为阈值(第2阈值)以下的情况下，肺区域设定部102也可以使用上述的图14所示的方法推定左背侧肺底阴影。可替代地，肺区域设定部102也可以推定在将表示椎骨(胸椎和腰椎)的图像的区域即区域VT(图16)的中心线视为直线的情况下的成为右背侧肺底阴影的线对称的线作为左背侧肺底阴影。
图15、图16是概略地表示肺在胸部X线图像中存在的区域的图。图17是概略地表示肺血管BV、气管TR以及支气管BR的图。
使用图15说明肺区域。在图15中，示出了在胸部X线图像Ixp中表示通过像素的浓淡值的阈值处理所获得的肺图像的区域，作为区域RL0、区域LL0。胸部X线图像的熟练读片医生识别为，实际的表示肺图像的区域即肺区域在图15中是包含区域RL0、区域LL0以及由包括边界线RLB1、RLB2、LLB1、LLB2在内的线包围的区域的区域。由此，在肺癌、肺炎等的诊断中，将包含区域RL0、区域LL0以及由包括边界线RLB1、LLB1、RLB2、LLB2在内的线所确定的区域的区域作为肺区域进行诊断是很重要的。此外，在本实施方式中的图3的步骤S200中，肺区域设定部102也可以例如利用专利文献1中记载的技术提取区域RL0和/或区域LL0。
使用图16对本公开作为对象的肺区域设定的另一例进行说明。在图16中，区域VT是表示椎骨(胸椎和腰椎)的图像的区域。图15中的表示右肺的区域RL0和表示左肺的区域LL0以外的肺区域在图16中是表示肺图像的区域所包含的区域，是使用检测出的线结构所决定的区域RL1、RL2、LL1、LL2。在对肺的诊断中着眼于肺中存在的肺血管的走行是很重要的。如图17所示，肺血管如果正常，则从中枢的肺门部向末梢的胸膜，会一边分岔一边变细。另外，在当前的胸部X线摄像技术中，无法视认末梢的胸膜附近的血管。通过利用诊断对象的胸部X线图像中的血管的粗细和密度中的至少一方与正常时的血管的粗细和密度中的至少一方的差异，能够对由于疾病而使血管变得比正常时的状态粗或细等变化进行异常检测。血管的密度例如是相对于图像的局部区域的面积的、在相同区域内血管所占的面积的比例。关于血管的粗细，例如在从局部区域检测出血管所占的区域作为二值图像后，作为一个以上的连结区域进行标记，对每个连结区域确定线的走行方向作为二值图像处理中的主轴方向，并求取与走行方向正交的方向的长短作为线宽，能够设为相对于所有连结区域的线宽的平均值。关于血管所占的区域的二值图像的生成，只要在进行“非专利文献5”中公开的线状图案强调之后进行二值化即可。
回到图16。图16中的区域VT内实际上如图15那样存在有表示肺的区域的边界线RLB1、LLB1等。然而，在这些区域内，根据椎骨的图像模式，难以视认肺血管的图像。
在胸部X线图像Ixp中，区域RL1(相当于第2肺区域的一例，相当于第3肺区域的一例)是肺与其他脏器、例如横膈膜和肝脏重叠的区域，但由于横膈膜和肝脏的X线吸收率大致一样，因而关于在人体中与它们的脊背侧薄薄地重叠的肺区域(在图16的胸部X线图像Ixp上相当于区域RL1)，在胸部X线图像中易于形成血管区域与其周边(即肺实质)的对比度。因此，在该区域RL1，为了图像诊断而能够利用血管区域的信息。
同样地，在胸部X线图像Ixp中，区域RL2(相当于第1肺区域的一例，相当于第3肺区域的一例)是肺与其他脏器、例如心脏(尤其是右房)重叠的区域，区域LL1(相当于第1肺区域的一例，相当于第3肺区域的一例)是肺与其他脏器、例如心脏(尤其是左室)重叠的区域。由于心脏的X线吸收率大致一样，因而关于在人体中与其脊背侧薄薄地重叠的肺区域(在图16的胸部X线图像Ixp上相当于区域RL2、LL1)，在胸部X线图像中易形成血管区域与其周边(即肺实质)的对比度。因此，在该区域RL2、LL1，为了图像诊断而能够利用血管区域的信息。
在胸部X线图像Ixp中，区域LL2(相当于第4肺区域的一例)是肺与其他脏器、例如横膈膜和胃等腹部脏器重叠的区域。在胃中存在空气和/或气体的情况下，有时会难以观察肺血管，但关于在人体中与其脊背侧薄薄地重叠的肺区域(在图16的胸部X线图像Ixp上相当于区域LL2)，为了图像诊断也能够利用血管区域的信息。由此，在本公开中，尤其对区域RL1、RL2、LL1、LL2，着眼于肺血管走行的模式而进行异常检测。
回到图3，在步骤S300中，局部区域设定部103对由肺区域设定部102设定的肺区域、也即是说图16中的区域RL1、RL2、LL1、LL2的每一个进行分割，设定多个局部区域。
图18、图19、图20分别是概略地表示所设定的多个局部区域的一例的图。图21是概略地表示肺血管的粗细以及密度的变化的图。此外，在图21中，示意性地在胸部X线图像的肺区域的一部分示出了在X线照射方向上具有进深而存在于体内的肺血管被投影在二维的胸部X线图像上时的状态。图22是表示人体的肺血管、气管以及支气管的图。此外，在图22中，用椭圆概略地表示了肺门的位置。
在图18中，在图16所示的区域RL1内表示邻接的局部区域的边界的线在胸部X线图像Ixp中距右肺门部CHLR(后述)的二维距离大致恒定，在区域RL2内表示邻接的局部区域的边界的线在胸部X线图像Ixp中距右肺门部CHLR的二维距离大致恒定，在区域LL1内表示邻接的局部区域的边界的线在胸部X线图像Ixp中距左肺门部CHLL(后述)的二维距离大致恒定，在区域LL2内表示邻接的局部区域的边界的线在胸部X线图像Ixp中距左肺门部CHLL的二维距离大致恒定。
此外，如图22所示，表现人体的肺血管、气管以及支气管的图中的、左右肺门HLL、HLR在左右肺中是支气管BR、肺动脉、肺静脉出入的区域。在胸部X线图像Ixp中，由于肺动脉的X线吸收率高，因而通过图像处理，能够容易地检测出胸部X线图像Ixp中的肺动脉的区域。在本公开中，在图18、图19、图20中，局部区域设定部103将通过图像处理检测出的相对于左右肺的肺动脉的区域与区域VT的边界线的交点分别检测为左肺门部CHLL以及右肺门部CHLR的位置。在胸部X线图像中，中央阴影(图略)中的气管以及支气管由于与周围的中央阴影相比X线吸收率较低，因而能够通过图像处理容易地检测。于是，在图18、图19、图20中，局部区域设定部103也可以将通过图像处理检测出的相对于左右肺的支气管与区域VT的边界线的交点分别检测为左肺门部CHLL以及右肺门部CHLR的位置。上述中央阴影是指胸部X线图像中的夹在左右肺之间的区域，在图18、图19、图20中，是包含区域VT、表示心脏的区域(区域RL2和区域LL1)以及表示降主动脉的区域(图略)的区域。
在图18中，区域RL1包含局部区域RL11、RL12、RL13。局部区域RL11与局部区域RL12的边界线由距右肺门部CHLR的二维距离大致相等的点的集合(也即是说以右肺门部CHLR为中心的圆弧)形成。局部区域RL12与局部区域RL13的边界线由距右肺门部CHLR的二维距离大致相等的点的集合形成。在图18中，区域RL2包含局部区域RL21、RL22、RL23。局部区域RL21与局部区域RL22的边界线由距右肺门部CHLR的二维距离大致相等的点的集合形成。局部区域RL22与局部区域RL23的边界线由距右肺门部CHLR的二维距离大致相等的点的集合形成。
在图18中，区域LL1包含局部区域LL11、LL12、LL13。局部区域LL11与局部区域LL12的边界线由距左肺门部CHLL的二维距离大致相等的点的集合(也即是说以左肺门部CHLL为中心的圆弧)形成。局部区域LL12与局部区域LL13的边界线由距左肺门部CHLL的二维距离大致相等的点的集合形成。在图18中，区域LL2包含局部区域LL21、LL22、LL23。局部区域LL21与局部区域LL22的边界线由距左肺门部CHLL的二维距离大致相等的点的集合形成。局部区域LL22与局部区域LL23的边界线由距左肺门部CHLL的二维距离大致相等的点的集合形成。
在图18的例子中，区域RL1、RL2、LL1分别相当于第3肺区域的一例，局部区域RL11、RL12、RL13、RL21、RL22、RL23、LL11、LL12、LL13相当于多个局部区域1～n的一例。即在图18的例子中，n＝9。
如图19所示，局部区域设定部103也可以用通过肺门部的直线分割局部区域。在图19中，局部区域RL11由通过右肺门部CHLR的第1直线群分割为局部区域RL111、RL112、RL113这3个区域。局部区域RL12由通过右肺门部CHLR的第2直线群分割为局部区域RL121、RL122、RL123、RL124这4个区域。局部区域RL13由通过右肺门部CHLR的第3直线群分割为局部区域RL131、RL132、RL133这3个区域。
局部区域LL11由通过左肺门部CHLL的直线分割为局部区域LL111、LL112这2个区域。局部区域LL12由通过左肺门部CHLL的直线分割为局部区域LL121、LL122这2个区域。局部区域LL13由通过左肺门部CHLL的直线分割为局部区域LL121、LL122这2个区域。局部区域LL21由通过左肺门部CHLL的第4直线群分割为局部区域LL211、LL212、LL213这3个区域。局部区域LL22由通过左肺门部CHLL的第5直线群分割为局部区域LL221、LL222、LL223这3个区域。局部区域LL23由通过左肺门部CHLL的直线分割为局部区域LL231、LL232这2个区域。
如图20所示，局部区域设定部103也可以将区域RL1、RL2、LL1、LL2的每一个，用与在胸部X线图像Ixp设定的X轴平行的一条或多条直线、和/或与在胸部X线图像Ixp设定的Y轴平行的一条或多条直线分割成格子状。在图20中，局部区域设定部103也可以针对分割出的局部区域，根据从肺门部CHLR、CHLL向局部区域的重心的二维距离进行分组。在该情况下，预先基于正常模型(也即是说基于许多正常病例制作出的标准的肺的图像)求取的基准指标(稍后参照图30进行说明)按组求取，并预先保存于正常模型存储部105。
例如，在图20中，局部区域设定部103也可以使第1组包括局部区域LL1G1和局部区域LL1G2，使第2组包括局部区域LL1G3和局部区域LL1G4。局部区域设定部103也可以使第3组包括局部区域RL1G1和局部区域RL1G2，使第4组包括局部区域RL1G3、局部区域RL1G4和局部区域RL1G5，使第5组包括局部区域RL1G6和局部区域RL1G7，使第6组包括局部区域RL1G8和局部区域RL1G9。局部区域设定部103也可以使第7组包括局部区域LL2G1和局部区域LL2G2，使第8组包括局部区域LL2G3和局部区域LL2G4，使第9组包括局部区域LL2G5和局部区域LL2G6，使第10组包括局部区域LL2G7和局部区域LL2G8。在图20的例子中，局部区域设定部103生成第1组至第10组这10个组，它们10个组相当于多个组1～m的一例。即，在图20的例子中，m＝10。
若像这样将局部区域分组，按局部区域的每个组求取正常模型的基准指标，则在使用正常模型求取基准指标时的胸部X线图像的图像数量一定时，与按每个局部区域求取正常模型的基准指标的情况相比用于求取基准指标的局部图像数量增加，求出的正常模型的基准指标的统计可靠性增高。
在此，说明由分割为局部区域带来的优点。如图21那样随着从肺的中枢即肺门向末梢即胸膜，肺血管的直径变细，并且肺血管分岔，肺血管的根数增多。但是，如直径细到某种程度，则在胸部X线图像Ibv中无法描画肺血管的区域。由此，通过将距肺门的距离大致一定的区域分割为同一局部区域，从而在该局部区域内，血管的直径(也即是说血管的粗细)以及血管的密度(例如相对于图像的局部区域的面积的、在相同区域内血管所占的面积的比例)会大致一致。其结果，能够良好地定义距肺门的距离大致相同的范围的局部区域内的正常状态，具有适于进行使用正常模型的基准指标的异常检测这一优点。
另外，如图19、图20所示，设定了细致分割的局部区域时，在本实施方式中，如后所述对每个局部区域进行异常判定，因此能够提高进行异常判定的区域的分辨率。
回到图3，在步骤S400中，异常判定部104从通过局部区域设定部103所设定的多个局部区域中选择一个局部区域i。在步骤S500中，异常判定部104提取表示肺血管的粗细和密度的指标(相当于血管指标的一例)。异常判定部104也可以提取表示肺血管的粗细和密度中的某一方的指标。异常判定部104提取表示肺血管的粗细和密度中的至少一方的指标即可。该指标的提取可以应用各种技术。
例如，在提取血管的区域后，能够另行提取表示该血管的粗细和密度中的至少一方的特征量。在血管的提取中，可以应用非专利文献5所记载的使用从黑塞(Hessia)矩阵的各像素计算出的最大特征值提取线状结构物的方法。另外，通过构建生成黑塞矩阵的各元素的分带滤波器组，能够以各分辨率等级提取线状结构物，能够提取大小不同的血管区域。另外，在由分带滤波器组提取了各分辨率等级下的线状结构物后，能够根据前景(线状结构物)的像素值与背景的像素值之比，算出各分辨率等级下的密度。例如，在上述方法中，能够提取表示肺血管的粗细和密度中的至少一方的指标。在将滤波器组的个数设为FB个、并使用一维(标量)的值作为密度的情况下，能够从各局部区域提取FB维的特征量。
明确地，也能够期待并非提取与肺血管有关的指标、也即是说特征量，而是从局部区域的图像本身包含表示肺血管的粗细和密度中的至少一方的指标，通过将图像进行维度压缩，提取少数维的特征量。关于该方法，在后述的步骤S700中说明。
回到图3，在步骤S600中，异常判定部104从正常模型存储部105中提取与诊断对象的肺的图像所包含的局部区域i对应的正常模型的局部区域的基准指标。关于由局部区域设定部103设定的局部区域与存储于正常模型存储部105的正常模型的局部区域之间的关联，可以采用各种方法。
例如，也可以在预先将基准指标存储于正常模型存储部105时，对所设定的局部区域附加表示该局部区域在由图16所示那样的肺区域内的位置的索引(index)。作为索引，例如能够利用该局部区域的中心坐标相对于图16中的区域RL0、RL1、RL2等的外接矩形的相对位置。
图23是表示图16中的区域RL0、RL1、RL2各自的外接矩形CQR0、CQR1、CQR2的图。可以定义将作为基准的外接矩形的X坐标的起点设为0、终点设为1并将上述外接矩形的Y坐标的起点设为0、终点设为1时的局部区域的标准化中心坐标(x，y)。
图24、图25、图26分别是表示以区域RL0、RL1、RL2各自的外接矩形CQR0、CQR1、CQR2为基准的标准化坐标系的图。作为局部区域的标准化中心坐标，能够使用包含该局部区域的区域的坐标系中的、局部区域图像(以局部区域内为1、以局部区域外为0的二值图像)的重心位置。
图27是在图19的胸部X线图像中表示局部区域的重心位置的例子的图。例如，在图27中，局部区域RL123的重心位置RL123C的坐标由图25所示的区域RL1的标准化坐标系(以外接矩形CQR1为基准的标准化坐标系)表现。同样地，在图27中，局部区域RL22的重心位置RL22C的坐标由图26所示的区域RL2的标准化坐标系(以外接矩形CQR2为基准的标准化坐标系)表现。
在此，0<x<1并且0<y<1。关于正常模型制作时的不同正常病例间的局部区域的关联、或者异常检测时的异常检测对象(也即是说医生的诊断对象)的局部区域与正常模型的局部区域的关联，能够通过搜索与该标准化中心坐标(x，y)的距离成为最小的对象来决定。例如，关于进行异常检测时的异常检测对象的局部区域与正常模型的局部区域的关联之时，使用图28、图29来说明。
图28是表示进行异常检测的对象(也即是说医生的诊断对象)的胸部X线图像Ixp的图。图29是表示正常模型的胸部X线图像Ixr的图。考虑在进行异常检测的诊断对象的胸部X线图像Ixp(图28)中确定标准化中心坐标为点P(0.3,0.8)的局部区域RP和正常模型上的、指标比较对象的局部区域的情况。在该情况下，在正常模型的胸部X线图像Ixr(图29)中，点Q1～Q4之中，与点P的距离成为最小的标准化中心坐标为点Q4(0.4，0.85)。由此，对局部区域RP的指标与局部区域RQ4的基准指标进行比较。
正常模型制作时的不同正常病例间的局部区域的关联也以同样的方式进行。此时，从正常模型制作用的多个正常病例中选定一个用于决定局部区域的分割方法的基准症例，其他正常病例的局部区域全部与基准症例中的局部区域相关联。作为基准症例的选定方法，可以重视位置分辨率，选定局部区域的分割数最多的病例。
局部区域设定部103在设定局部区域时，也可以针对不同的胸部X线图像也进行使与距肺门的距离相应的分割数以及与距肺门的距离方向正交的方向的分割数恒定的局部区域的分割，对相互对应的局部区域附加相同的索引。在该情况下，异常判定部104通过对附加于“正常模型”的索引与附加于“异常检测对象的胸部X线图像”的索引进行比较，能够从正常模型存储部105提取与“异常检测对象的胸部X线图像”所包含的局部区域对应的、“正常模型”中的局部区域的基准指标。
在制作正常模型时，在上述说明中通过导入标准化坐标系，实质上，肺的图像的大小和位置被标准化。于是，异常判定部104也可以在使诊断对象的肺的图像的大小和位置标准化后，使存储于正常模型存储部105的正常模型(也即是说基于许多正常病例制作出的标准的肺的图像)与诊断对象的肺的图像重叠时，将正常模型所包含的多个局部区域中的、与诊断对象的肺的图像所包含的局部区域i重叠的面积最大的局部区域判断为是与局部区域i对应的局部区域。
在步骤S700中，异常判定部104(相当于判定部的一例)将在步骤S500中提取出的指标与在步骤S600中提取出的基准指标进行比较，基于比较结果判定诊断对象的肺的图像所包含的局部区域i是否为异常状态。另外，异常判定部104将异常判定结果、也即是说判定为异常状态的局部区域以及异常的内容保存于存储器121。
此外，上述中，作为与进行异常检测的对象的胸部X线图像上的局部区域对应的局部区域，选择了正常模型中的标准化中心坐标最近的局部区域，并将该选出的局部区域的基准指标用于异常判定，但不限于此。例如，也可以选择多个与进行异常检测的对象的胸部X线图像上的局部区域的标准化中心坐标距离近的、正常模型中的局部区域的标准化中心坐标，使用该选出的多个局部区域的基准指标，根据同距离的远近(近度)新合成一个基准指标。
作为正常模型中的多个局部区域的选法，可以选择包括与进行异常检测的对象的胸部X线图像上的局部区域的标准化中心坐标的距离小于一定值的标准化中心坐标的局部区域、或者包括按同距离从小到大的一定个数的标准化中心坐标的局部区域。例如，在图28、图29中，从与进行异常检测的对象的胸部X线图像上的局部区域的标准化中心坐标的距离小的起选择3个。在该情况下，与进行异常检测的对象的胸部X线图像Ixp(图28)的标准化中心坐标P对应的、正常模型的胸部X线图像Ixr(图29)的标准化中心坐标被选为标准化中心坐标Q4、Q3、Q1。即，选择局部区域RQ1、RQ2、RQ3、RQ4中的包括标准化中心坐标Q4、Q3、Q1的局部区域RQ4、RQ3、RQ1。而且，通过用距离的倒数将局部区域RQ4、RQ3、RQ1各自的基准指标加权合成，能够计算新的基准指标。
关于基准指标，预先准备许多张正常症例的胸部X线图像，用步骤S500的方法，从这些各个图像，按每个局部区域计算指标(在本实施方式中为表示血管的粗细和密度的血管指标)的概率密度函数。将与多个局部区域对应的多个指标的概率密度函数分别作为基准指标预先保存于正常模型存储部105。
图30是概略地表示指标的概率密度函数PDF的一例的图。用预定的算法从许多正常病例的胸部X线图像求取指标并将求出的指标的频率制图，即可得到图30所示的指标的概率密度函数PDF。在本实施方式中，图30所示的指标的概率密度函数PDF作为基准指标而保存于正常模型存储部105。指标的概率密度函数PDF预先按每个局部区域求出。异常判定部104按每个局部区域，例如使用如图30那样的概率密度函数PDF判定是否为异常状态。在图30中示出了一维指标的概率密度函数，但在多维指标、例如FB维的特征量的情况下，图30的横轴的“指标”成为向量，概率密度函数PDF例如表示FB维的多维空间中的正态分布。异常判定部104关于作为对象的指标，针对上述的指标的概率密度函数PDF，用与从局部区域提取出的指标对应的概率的值来判定正常度。例如在图30中，提取出的指标P1、P2的正常度分别为Q1、Q2。于是，异常判定部104判定为指标P2似乎正常，判定为指标P1似乎异常。
在此，如图30所示，在概率密度函数为一维的情况下，根据与概率密度函数的最频值或者平均值(在与正态分布近似的情况下二者一致)进行了比较的指标的大小，能够判定指标是因过大而异常还是因过小而异常。在概率密度函数为多维的情况下，根据相对于概率密度函数的最频值或者平均值在多维空间上的位置的、指标在多维空间上的位置，能够判定特定维数的指标是因过小而异常还是因过大而异常。利用这一点，例如异常原因能够分类为宽度“更宽的/相同的/更窄的”血管“在增多/在减少”。
作为表示概率密度函数PDF的方法，有使用基于数量较少的参数的参数模型(parametric model)来表示的方法、使用不假定特定的函数式而由各个数据确定分布的形状的非参数模型(non-parametric model)来表示的方法等。如果从局部区域提取的指标的维数少，则异常判定部104使用其概率密度函数判定是否为异常状态。例如在使用参数模型的情况下，作为基准指标，将表示概率密度函数的参数(例如正态分布的均值以及标准偏差)存储于正常模型存储部105。
在提取出表示血管的粗细和密度的特征量的情况下，能够以血管的粗细与正常状态相比在变粗/在变细/不同、血管的密度与正常状态相比在变小/在变大/不同的方式设定异常的内容。例如，在存在由肺炎引起的浸润影或者由肺癌引起的结节影或肿瘤影的局部区域，变得难以看到血管图案，血管的密度变得比正常状态小。例如，在蜂窝肺化的局部区域，通常的血管图案消失不见，提取出蜂窝肺壁的图案来代替血管，与正常时的血管影的粗细或密度相比成为不同的值。例如，在由于心脏衰竭引起了胸膜肥厚的局部区域，在在正常状态下看不到血管图案的区域，提取出胸膜肥厚的图案来代替血管，与正常时的血管影的粗细或密度相比成为不同的值。
另一方面，在从局部区域提取的指标为高维的情况下，能够使用基于降维的异常判定方法。这能够用于在前面的步骤S500中提到的期待从局部区域的图像本身包含表示肺血管的粗细和密度中的至少一方的指标而通过将图像进行维度压缩来提取少数维的特征量的情况。
图31是对利用降维时的重构误差的异常判定方法进行说明的图。在求取正常模型的基准指标的机器学习时，从学习用数据集分布的原高维原始空间HDOS，求取削减了维数的低维子空间LDPS。在此，在用正常数据构成了学习用数据集而求出低维子空间LDPS的情况下，认为所得到的低维子空间LDPS成为反映了正常数据的特征的空间。在将从局部区域提取的指标投影到该低维子空间LDPS时，如果本性与原学习数据接近(即如果为正常数据)，则会获得小于预定阈值的重构误差ER1。另一方面，如果是异常的数据，则会获得预定阈值以上的重构误差ER2。异常判定部104利用这点，进行是否为异常状态的判定。重构误差能够根据将从局部区域提取的指标投影到低维子空间LDPS(也即是说压缩了维度)时的矢量、与原高维原始空间HDOS中的矢量的距离来计算。作为进行降维的方法，能够使用主成分分析、堆叠自编码器、变分自编码器等方法。
图32是表示堆叠自编码器1200的网络结构的图。如图32所示，堆叠自编码器1200是沙漏型的前馈网络，其具备输入层IL、输出层OL和两个以上的中间层ML，且相比于输入层IL、输出层OL，缩减了中间层ML的神经元数。在堆叠自编码器1200中，将输入数据自身作为教师数据进行学习以使得获得如将输入再现那样的输出。在学习结束后，中间层ML成为能够良好地表达学习数据集的本性那样的特征表达。因此，例如能够将中间层ML(i)的输出作为降维数据。
图33是表示变分自编码器1300的网络结构的图。如图33所示，变分自编码器1300与堆叠自编码器1200(图32)同样地是沙漏型的网络，其具备输入层IL、输出层OL和两个以上的中间层，且相比于输入层IL、输出层OL，缩减了中间层的神经元数。例如非专利文献4中公开了变分自编码器。图33相当于非专利文献4的图2或者图3。
在变分自编码器1300中，编码器ECD以图像x作为输入，输出作为成为生成图像x的基础的隐变量LV的z的分布
Figure BDA0003180077500000431
的参数。解码器DCD基于从分布
Figure BDA0003180077500000441
采样得到的z，输出生成图像的分布pθ(x|z)。变分自编码器1300中的学习通过数据集的各点x的对数边缘似然logpθ(x)的变分下界的最大化来进行。在非专利文献3中，作为算法3，说明了学习算法。
使用变分自编码器1300的异常判定如下这样进行。将对象胸部X线图像y输入到已学习完的编码器ECD，获得隐变量LV的值为z的分布f(z|y)。从该分布进行采样而获得隐变量z，使用所得到的隐变量z求取对象胸部X线图像y的似然pθ(y|z)。异常判定部104根据该似然pθ(y|z)，判定异常或正常。在非专利文献4中，作为算法4，说明了判定算法。
在主成分分析的情况下，将进行降维的矩阵作为正常模型的基准指标存储于正常模型存储部105。在堆叠自编码器、变分自编码器的情况下，将学习后的网络结构以及参数作为正常模型的基准指标存储于正常模型存储部105。
在基于降维的方法的情况下，异常判定部104难以从重构误差求取异常理由，因此仅将表示判定为异常状态的局部区域的信息作为异常判定结果保存于存储器121。
回到图3，在步骤S800中，异常判定部104判定是否选择了所有局部区域。如果选择了所有局部区域(步骤S800：是)，则处理进入步骤S900。另一方面，如果尚未选择所有局部区域(步骤S800：否)，则处理返回至步骤S400，选择下一个局部区域，重复进行以上的步骤。在步骤S900中，显示控制部122将在步骤S700中判定为是异常状态的局部区域以及异常的内容显示于显示器108。
图34A是概略地表示显示器108的显示例的图。如图34A所示，显示控制部122将对象胸部X线图像Ix、判定为异常状态的局部区域AB1、AB2、AB3以及表示异常状态的内容的消息Ms显示于显示器108。局部区域的名称以及消息Ms预先被定义并保存于存储器121。在图34A的例子中，局部区域AB1、AB2、AB3分别相当于局部区域j的一例。
图34B是概略地表示显示器108的另一显示例的图。在图34B的例子中，显示控制部122将对象胸部X线图像Ix、判定为异常状态的局部区域LL1G1、LL1G2以及表示异常状态的内容的消息Ms显示于显示器108。如使用图20说明的那样，局部区域设定部103使局部区域LL1G1、LL1G2包含于第1组。即，在图34B的例子中，包括局部区域LL1G1、LL1G2的第1组相当于组h的一例。
图35是概略地表示显示器108的又一显示例的图。如上所述，肺区域设定部102计算表示检测部101检测出的线结构的准确度的可靠度，在计算出的可靠度不高于预定的阈值时，也可以基于检测部101检测出的其他的预定的解剖学结构的位置，另行推定线结构，并利用推定出的线结构设定肺区域。在该情况下，设定的肺区域的边界有可能不正确。因此，如图35所示，作为显示于显示器108的消息Ms，除了异常状态的内容之外，显示控制部122也可以还显示处理对象区域没能鉴定这一情况(即处理对象区域由推定出的线结构构成这一情况)以及提醒注意区域边界附近进行确认的语句等。
在图35中，区域AP是如使用图14说明的那样基于右横膈顶阴影与右背侧肺底阴影的位置关系从检测部101检测出的右横膈顶阴影Px1(例如图8)求出的右背侧肺底的存在概率在预定值以上的区域。在本实施方式中，如区域AP这样的具有预定的透明度的模糊图像预先按每个线结构制作好并保存于存储器121。即，表示右背侧肺底用的模糊图像(图35的区域AP)的数据和表示左背侧肺底用的模糊图像(图略)的数据预先保存于存储器121。显示控制部122在肺区域设定部102计算出的可靠度为预定的阈值以下的情况下，从存储器121读出表示模糊图像的数据。显示控制部122例如通过alpha混合将模糊图像与胸部X线图像重叠，并显示于显示器108。
可替代地，显示控制部122也可以进而将表示推定出的右背侧肺底阴影Px2的区域AP的下端线(图14)也显示于显示器108。进一步可替代地，显示控制部122也可以在检测部101检测出的右背侧肺底阴影Px10(例如图12)的可靠度在阈值以上的情况下也将区域AP(图35)显示于显示器108。进一步可替代地，显示控制部122也可以使得用户能够通过对异常显示控制装置100所具备的操作面板(图略)的操作来选择是否将区域AP(图35)显示于显示器108。
图36是概略地表示显示器108的又一显示例的图。在图36的实施方式中，例如，预先根据许多正常病例求取左横膈顶阴影与左背侧肺底阴影的位置关系，并保存于存储器121。在图36中，区域BP是基于上述位置关系从检测部101检测出的左背侧肺底阴影Px10(例如图12)求出的、左横膈顶的存在概率为预定值以上的区域。显示控制部122也可以进而将推定出的区域BP的上端线显示于显示器108。
如上，根据本公开的第1实施方式，能够在胸部X线图像中对肺与心脏重叠的区域以及肺与肝脏重叠的区域判定有无异常。
另外，能够向用户提示如下信息，即哪个位置的局部区域如何与正常状态不同。因此，对于用户来说是有益的，不仅读片医生，而且也能够利用于临床医生或者放射科医生的诊断和自学、或者医学专业的学生的教育和自学。
另外，例如如图18所示，将区域RL1、RL2、LL1、LL2分割而设定了局部区域RL21等，因此能够提高判定为异常的区域的分辨率。
(第1实施方式的变形例)
在上述第1实施方式中，例如如图18所示，将区域RL1、RL2、LL1、LL2分割而设定了局部区域RL21等，并按每个局部区域判定了是否为异常状态，但不限于此。例如，也可以不将区域RL1、RL2、LL1、LL2进行分割，异常判定部104按区域RL1、RL2、LL1、LL2分别判定是否为异常状态。
图37是表示与图1不同的构成的异常显示控制装置的框图。如图37所示，异常显示控制装置100(相当于异常检测装置的一例)具备正常模型存储部105、图像存储器106、通信部107、显示器108、CPU120、存储器121。异常显示控制装置100例如由个人计算机构成。
存储器121的ROM存储使CPU120工作的第1实施方式的变形例的控制程序。CPU120通过执行存储于存储器121的第1实施方式的变形例的控制程序，作为检测部101、肺区域设定部102、异常判定部104、显示控制部122和通信控制部123而发挥功能。如此，在图37的实施方式中，CPU120不包括局部区域设定部。
正常模型存储部105存储预先定义的区域RL1、RL2、LL1、LL2的基准指标，而不像上述第1实施方式那样存储预先定义的多个局部区域的基准指标。即，在图37的实施方式中，将会在区域RL1、RL2、LL1、LL2所包含的、在某种程度上具有宽度的血管的直径(也即是说血管的粗细)或者血管的密度(也即是说相对于图像的局部区域的面积的、在相同区域内血管所占的面积的比例)的范围内，定义基准指标。
异常判定部104从区域RL1、RL2、LL1、LL2提取表示肺血管的粗细和密度中的至少一方的血管指标。异常判定部104将提取到的血管指标与从正常模型存储部105中提取出的基准指标进行比较，对区域RL1、RL2、LL1、LL2分别判定是否为异常状态。
在图37的实施方式中，在区域RL1、RL2、LL1、LL2内判定为异常的情况下，无法确定其内部的异常之处。然而，在图37的实施方式中，也与上述第1实施方式同样地，能够在胸部X线图像中，针对肺与心脏重叠的区域、肺与肝脏和横膈膜重叠的区域、以及肺与横膈膜和胃重叠的区域，判定有无异常。
(第2实施方式)
图38是概略地表示第2实施方式中的医疗机构内的网络结构410A的框图。在第2实施方式中，如图38所示，服务器装置500、显示控制装置600、医用图像管理系统200以及胸部X线图像拍摄装置300连接于医疗机构的内部网络400。
此外，服务器装置500、显示控制装置600、医用图像管理系统200和胸部X线图像拍摄装置300不一定要连接在同一医疗机构内的内部网络400上。显示控制装置600以及医用图像管理系统200也可以是在设置于医疗机构外部的数据中心、私有云服务器、公共云服务器等上工作的软件。
如图38所示，服务器装置500具备正常模型存储部105、图像存储器106、通信部107、CPU130、存储器131。存储器131例如由半导体存储器等构成。存储器131例如包括ROM、RAM、EEPROM等。存储器131的ROM存储使CPU130工作的控制程序。
CPU130通过执行存储于存储器131的控制程序，作为检测部101、肺区域设定部102、局部区域设定部103、异常判定部104(相当于判定部的一例)、通信控制部123A(相当于取得部的一例)而发挥功能。通信控制部123A经由通信部107从医用图像管理系统200取得对象胸部X线图像，将取得的对象胸部X线图像保存于图像存储器106。通信控制部123A经由通信部107将检测部101的检测结果和异常判定部104的判定结果发送给显示控制装置600。
显示控制装置600(相当于终端装置的一例)例如由平板式计算机构成，由医生或者放射科医生等医疗从业者保持。如图38所示，显示控制装置600具备CPU140、存储器141、图像存储器142、通信部143以及显示器108。
存储器141例如由半导体存储器等构成。存储器141例如包括ROM、RAM、EEPROM等。存储器141的ROM存储使CPU140工作的控制程序。CPU140通过执行存储于存储器141的控制程序，作为显示控制部122和通信控制部123B而发挥功能。
通信控制部123B经由通信部143接收从服务器装置500发送来的对象胸部X线图像的数据，将接收到的数据存储于图像存储器142。另外，通信控制部123B经由通信部143接收从服务器装置500发送来的被判定为异常状态的局部区域的数据和表示异常的内容的消息，将接收到的数据以及消息存储于存储器141。显示控制部122基于从服务器装置500发送来的信息，将与图34～图36同样的画面显示于显示器108。根据该第2实施方式，能够获得与上述第1实施方式同样的效果。在上述各实施方式中，被判定为异常状态的局部区域AB1、AB2、AB3以及表示异常状态的内容的消息Ms相当于表示异常判定部104的判定结果的信息的一例。
(其他)
(1)在上述各实施方式中，例如如图16所示，肺区域设定部102在胸部X线图像Ixp中设定了肺与心脏重叠的区域RL2、LL1、肺与肝脏和横膈膜重叠的区域RL1、以及肺与横膈膜和胃重叠的区域LL2，但不限于此。肺区域设定部102也可以在胸部X线图像Ixp中设定肺与心脏重叠的区域RL2、LL1、肺与肝脏和横膈膜重叠的区域RL1、以及肺与横膈膜和胃重叠的区域LL2中的任一个或者两个。即，肺区域设定部102在胸部X线图像Ixp中设定肺与心脏重叠的区域RL2、LL1、肺与肝脏和横膈膜重叠的区域RL1、以及肺与横膈膜和胃重叠的区域LL2中的至少一个即可。
(2)在上述各实施方式中，例如如图34A、34B所示，显示控制部122使显示器108显示了被判定为异常状态的局部区域以及异常的内容，但不限于此。显示控制部122(相当于输出控制部的一例)例如也可以向设置于异常显示控制装置100的可拆装的存储器输出被判定为异常状态的局部区域以及异常的内容。上述可拆装的存储器例如是通用串行总线(USB)存储器、可写入的光盘(CD-R)、可改写的CD(CD-RW)、可写入的数字多用途盘(DVD-R)等。在该实施方式中，也能够对用户提供有益的信息。
(3)在上述各实施方式中，例如指标的概率密度函数PDF(图30)作为基准指标而保存于正常模型存储部105。可替代地，也可以指标的阈值作为基准指标而保存于正常模型存储部105。该指标的阈值例如是图30的横轴所示的第1值TH1以及第2值TH2。在该情况下，异常判定部104在指标P为TH1≤P≤TH2时，判定为似乎正常，在指标P为P<TH1或者TH2<P时，判定为似乎异常。
(4)在上述各实施方式中，代替图3的步骤S600、S700、S800、S900，显示控制部122也可以将在步骤S500中提取到的指标显示于显示器108，或者也可以输出到上述可拆装的存储器。根据该实施方式，能够将在步骤S500中提取到的指标提供给用户。其结果，用户能够利用在步骤S500中提取到的指标。例如，用户能够使用在步骤S500中提取到的指标，根据客观的数值掌握胸部X线图像的局部区域内的肺血管的状态。由此，用户能够更精准地诊断肺血管的状态是否异常。
产业上的可利用性
根据本公开，能够利用于作为读片对象的胸部X线图像的诊断辅助系统以及面向医学专业的学生或者实习医生的读片教育系统。
标号说明
100、100A异常显示控制装置；101检测部；102肺区域设定部；103局部区域设定部；104异常判定部；105、105A正常模型存储部；106图像存储器；107通信部；108显示器；121、121A存储器；122显示控制部；123通信控制部；200医用信息管理系统；300胸部X线图像拍摄装置；400内部网络；500服务器装置。

Claims (29)

1.一种异常检测方法，
计算机取得胸部X线图像；
所述计算机使用模型在所述取得的胸部X线图像中检测X线透射率范围不同的多个解剖学结构的图像的边界线，所述模型在所述检测前使用机器学习构建而成；
所述计算机基于检测出的所述边界线，在所述取得的胸部X线图像中设定包含肺与心脏重叠的第1肺区域和肺与肝脏重叠的第2肺区域中的至少一方的第3肺区域；
所述计算机提取表示所述第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标；
所述计算机基于所述血管指标和基准指标，判定所述第3肺区域所包含的区域是否为异常状态，所述基准指标使用了预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的指标；
所述计算机在所述第3肺区域所包含的区域被判定为是异常状态时，输出表示所述判定的信息。
2.根据权利要求1所述的异常检测方法，
在所述检测中，检测左室阴影、降主动脉阴影、左横膈顶阴影、椎体的左边界线、椎体的右边界线、右房阴影和右横膈顶阴影中的至少两个的边界线；
在所述设定中，设定包含所述第1肺区域的所述第3肺区域，所述第1肺区域由夹在在所述检测中检测出的边界线中的至少两条之间的区域设定。
3.根据权利要求2所述的异常检测方法，
在所述检测中，检测所述左室阴影、所述降主动脉阴影、所述左横膈顶阴影、所述椎体的左边界线、所述椎体的右边界线、所述右房阴影和所述右横膈顶阴影中的至少所述左室阴影、所述降主动脉阴影、所述左横膈顶阴影、所述椎体的右边界线和所述右房阴影的边界线；
在所述设定中，所述第1肺区域由夹在在所述检测中检测出的边界线中的所述左室阴影、所述降主动脉阴影和所述左横膈顶阴影之间的区域以及夹在所述椎体的右边界线和所述右房阴影之间的区域设定。
4.根据权利要求2或3所述的异常检测方法，
在所述检测中，检测所述左室阴影、所述降主动脉阴影、所述左横膈顶阴影、所述椎体的左边界线、所述椎体的右边界线、所述右房阴影和所述右横膈顶阴影中的至少所述椎体的左边界线、所述左室阴影、所述左横膈顶阴影、所述椎体的右边界线和所述右房阴影的边界线；
在所述设定中，所述第1肺区域由夹在在所述检测中检测出的边界线中的所述椎体的左边界线、所述左室阴影和所述左横膈顶阴影之间的区域以及夹在所述椎体的右边界线和所述右房阴影之间的区域设定。
5.根据权利要求2至4中任一项所述的异常检测方法，
在所述设定中，所述第1肺区域设定为由在所述检测中检测出的边界线与连接相邻的所述边界线的插补线包围的封闭区域。
6.根据权利要求1至5中任一项所述的异常检测方法，
在所述检测中，检测右横膈顶阴影、右背侧肺底阴影和椎体的右边界线中的至少两个的边界线；
在所述设定中，设定包含所述第2肺区域的所述第3肺区域，所述第2肺区域由夹在在所述检测中检测出的边界线中的至少两条之间的区域设定。
7.根据权利要求6所述的异常检测方法，
在所述检测中，检测所述右横膈顶阴影、所述右背侧肺底阴影和所述椎体的右边界线中的至少所述右横膈顶阴影和所述右背侧肺底阴影的边界线；
在所述设定中，所述第2肺区域由夹在在所述检测中检测出的边界线中的所述右横膈顶阴影和所述右背侧肺底阴影之间的区域设定。
8.根据权利要求6或7所述的异常检测方法，
在所述检测中，检测所述右横膈顶阴影、所述右背侧肺底阴影和所述椎体的右边界线的边界线；
在所述设定中，所述第2肺区域由夹在在所述检测中检测出的所述右横膈顶阴影、所述右背侧肺底阴影和所述椎体的右边界线之间的区域设定。
9.根据权利要求6至8中任一项所述的异常检测方法，
在所述设定中，所述第2肺区域设定为由在所述检测中检测出的边界线与连接相邻的所述边界线的插补线包围的封闭区域。
10.根据权利要求6至9中任一项所述的异常检测方法，
在所述检测中检测出所述右背侧肺底阴影的情况下，所述计算机计算表示所述右背侧肺底阴影的检测结果的准确度的可靠度；
在所述可靠度为预定的第1阈值以下时，所述计算机基于在所述检测中检测出的所述右背侧肺底阴影以外的边界线的位置，推定所述右背侧肺底阴影；
在所述第2肺区域的设定中，如果所述可靠度高于所述第1阈值，则利用在所述检测中检测出的所述右背侧肺底阴影，如果所述可靠度为所述第1阈值以下，则利用在所述推定中推定出的所述右背侧肺底阴影。
11.根据权利要求10所述的异常检测方法，
在所述第2肺区域的设定中利用了在所述推定中推定出的所述右背侧肺底阴影的情况下，在所述输出中，输出提醒注意包含右肺底的区域的信息。
12.根据权利要求1至11中任一项所述的异常检测方法，
所述第3肺区域还包含位于所述第1肺区域下侧的第4肺区域，
在所述检测中，还检测左背侧肺底阴影作为所述边界线。
13.根据权利要求12所述的异常检测方法，
在所述检测中，检测左横膈顶阴影、所述左背侧肺底阴影和椎体的左边界线中的包括所述左背侧肺底阴影的至少两个的边界线；
在所述设定中，设定包含所述第4肺区域的所述第3肺区域，所述第4肺区域由夹在在所述检测中检测出的边界线中的至少两条之间的区域设定。
14.根据权利要求12或13所述的异常检测方法，
在所述检测中，检测左横膈顶阴影、所述左背侧肺底阴影和椎体的左边界线中的至少所述左横膈顶阴影和所述左背侧肺底阴影的边界线；
在所述设定中，所述第4肺区域由夹在在所述检测中检测出的边界线中的所述左横膈顶阴影和所述左背侧肺底阴影之间的区域设定。
15.根据权利要求12或13所述的异常检测方法，
在所述检测中，检测左横膈顶阴影、所述左背侧肺底阴影和椎体的左边界线的边界线；
在所述设定中，所述第4肺区域由夹在在所述检测中检测出的所述左横膈顶阴影、所述左背侧肺底阴影和所述椎体的左边界线之间的区域设定。
16.根据权利要求13至15中任一项所述的异常检测方法，
在所述设定中，所述第4肺区域设定为由在所述检测中检测出的边界线与连接相邻的所述边界线的插补线包围的封闭区域。
17.根据权利要求13至16中任一项所述的异常检测方法，
所述计算机计算表示所述检测中的所述左背侧肺底阴影的检测结果的准确度的可靠度；
在所述可靠度为预定的第2阈值以下时，所述计算机基于在所述检测中检测出的所述左背侧肺底阴影以外的边界线的位置，推定所述左背侧肺底阴影；
在所述第4肺区域的设定中，如果所述可靠度高于所述第2阈值，则利用在所述检测中检测出的所述左背侧肺底阴影，如果所述可靠度为所述第2阈值以下，则利用在所述推定中推定出的所述左背侧肺底阴影。
18.根据权利要求17所述的异常检测方法，
在所述第4肺区域的设定中利用了在所述推定中推定出的所述左背侧肺底阴影的情况下，在所述输出中，还输出提醒注意包含左肺底的区域的信息。
19.根据权利要求1至18中任一项所述的异常检测方法，
在所述输出中，将被判定为异常状态的、所述第3肺区域所包含的区域的图像和所述第3肺区域所包含的区域的异常状态的内容作为表示所述判定的信息显示于显示器而输出。
20.根据权利要求19所述的异常检测方法，
所述计算机进一步在在所述设定中设定的所述第3肺区域内分割设定多个局部区域1～n，所述多个局部区域1～n包含所述第3肺区域所包含的区域，所述n为2以上的自然数；
在所述提取中，作为所述血管指标，提取表示局部区域i内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标i，所述i为1至n的自然数；
在所述判定中，基于所述血管指标i和基准指标i，判定所述局部区域i是否为异常状态，所述基准指标i使用了预先使用提取所述血管指标i的方法从正常状态的胸部X线图像的与所述局部区域i相当的区域提取出的指标；
在所述输出中，将被判定为异常状态的局部区域j的图像和所述局部区域j的异常状态的内容显示于所述显示器，所述j为1以上且n以下的自然数。
21.根据权利要求20所述的异常检测方法，
所述计算机进一步生成包括所述多个局部区域1～n中的、根据所述取得的胸部X线图像中的从肺门部的二维距离而各不相同的局部区域的多个组1～m，所述m为2以上的自然数；
在所述提取中，作为所述血管指标，提取表示组k内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标k，所述k为1至m的自然数；
在所述判定中，基于所述血管指标k和基准指标k，判定所述组k是否为异常状态，所述基准指标k使用了预先使用提取所述血管指标k的方法从正常状态的胸部X线图像的与所述组k相当的区域提取出的指标；
在所述输出中，将被判定为异常状态的组h的图像和所述组h的异常状态的内容显示于所述显示器，所述h为1以上且m以下的自然数。
22.根据权利要求1至21中任一项所述的异常检测方法，
所述模型是使用以像素为单位进行预测的神经网络，以作为正常状态的胸部X线图像的学习用胸部X线图像为输入数据，以表示所述学习用胸部X线图像中的边界线的图像为监督数据，以从所述学习用胸部X线图像中检测所述边界线的方式机器学习得到的模型。
23.根据权利要求1至22中任一项所述的异常检测方法，
所述基准指标是预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的指标的概率密度函数、或者预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的关于指标预先设定的阈值。
24.一种异常检测程序，
使计算机作为取得部、检测部、设定部、判定部以及输出控制部而发挥功能，
所述取得部取得胸部X线图像；
所述检测部使用模型在所述取得的胸部X线图像中检测X线透射率范围不同的多个解剖学结构的图像的边界线，所述模型在所述检测前使用机器学习构建而成；
所述设定部基于检测出的所述边界线，在所述取得的胸部X线图像中设定包含肺与心脏重叠的第1肺区域和肺与肝脏重叠的第2肺区域中的至少一方的第3肺区域；
所述判定部提取表示所述第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标，基于提取出的所述血管指标和基准指标，判定所述第3肺区域所包含的区域是否为异常状态，所述基准指标使用了预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的指标；
所述输出控制部在所述第3肺区域所包含的区域被判定为是异常状态时，输出表示所述判定部的判定结果的信息。
25.一种异常检测装置，具备：
取得部，其取得胸部X线图像；
检测部，其使用模型在所述取得的胸部X线图像中检测X线透射率范围不同的多个解剖学结构的图像的边界线，所述模型在所述检测前使用机器学习构建而成；
设定部，其基于检测出的所述边界线，在所述取得的胸部X线图像中设定包含肺与心脏重叠的第1肺区域和肺与肝脏重叠的第2肺区域中的至少一方的第3肺区域；
判定部，其提取表示所述第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标，基于提取出的所述血管指标和基准指标，判定所述第3肺区域所包含的区域是否为异常状态，所述基准指标使用了预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的指标；以及
输出控制部，其在所述第3肺区域所包含的区域被判定为是异常状态时，输出表示所述判定部的判定结果的信息。
26.一种服务器装置，具备：
取得部，其取得胸部X线图像；
检测部，其使用模型在所述取得的胸部X线图像中检测X线透射率范围不同的多个解剖学结构的图像的边界线，所述模型在所述检测前使用机器学习构建而成；
设定部，其基于检测出的所述边界线，在所述取得的胸部X线图像中设定包含肺与心脏重叠的第1肺区域和肺与肝脏重叠的第2肺区域中的至少一方的第3肺区域；
判定部，其提取表示所述第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标，基于提取出的所述血管指标和基准指标，判定所述第3肺区域所包含的区域是否为异常状态，所述基准指标使用了预先使用提取所述血管指标的方法从正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域提取出的指标；以及
输出控制部，其在所述第3肺区域所包含的区域被判定为是异常状态时，输出表示所述判定部的判定结果的信息。
27.一种异常检测方法，
计算机取得胸部X线图像；
所述计算机在所述取得的胸部X线图像中判定包含肺与心脏重叠的第1肺区域和/或所述肺与肝脏重叠的第2肺区域的第3肺区域所包含的区域是否表示出异常状态；
所述计算机在判定为所述第3肺区域所包含的区域表示出异常状态时，输出表示所述第3肺区域所包含的区域异常的信息。
28.根据权利要求27所述的异常检测方法，
所述计算机进一步在所述取得的胸部X线图像中检测肺的图像与心脏的图像的第1边界线和/或所述肺的图像与肝脏的图像的第2边界线；
所述计算机进一步基于所述第1边界线和/或所述第2边界线，在所述取得的胸部X线图像中设定所述第3肺区域；
所述计算机进一步提取表示所述第3肺区域所包含的区域内的血管密度的血管指标；
在所述判定中，基于所述血管指标和基准指标，判定所述第3肺区域所包含的区域是否表示出异常状态，所述基准指标表示正常状态的胸部X线图像的与所述第3肺区域所包含的区域相当的区域内的血管密度。
29.一种信息处理方法，
计算机取得胸部X线图像；
所述计算机使用模型在所述取得的胸部X线图像中检测X线透射率范围不同的多个解剖学结构的图像的边界线，所述模型在所述检测前使用机器学习构建而成；
所述计算机基于检测出的所述边界线，在所述取得的胸部X线图像中设定包含肺与心脏重叠的第1肺区域和肺与肝脏重叠的第2肺区域中的至少一方的第3肺区域；
所述计算机提取表示所述第3肺区域所包含的区域内存在的至少一个肺血管的粗细和密度中的至少一方的血管指标；
所述计算机输出所述提取出的血管指标。
CN202080010971.8A 2019-05-22 2020-05-15 异常检测方法、异常检测程序、异常检测装置、服务器装置以及信息处理方法 Pending CN113348485A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2019096123 2019-05-22
JP2019-096123 2019-05-22
JP2020072407 2020-04-14
JP2020-072407 2020-04-14
PCT/JP2020/019397 WO2020235461A1 (ja) 2019-05-22 2020-05-15 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法

Publications (1)

Publication Number Publication Date
CN113348485A true CN113348485A (zh) 2021-09-03

Family

ID=73458916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080010971.8A Pending CN113348485A (zh) 2019-05-22 2020-05-15 异常检测方法、异常检测程序、异常检测装置、服务器装置以及信息处理方法

Country Status (4)

Country Link
US (1) US11935234B2 (zh)
JP (1) JP7457011B2 (zh)
CN (1) CN113348485A (zh)
WO (1) WO2020235461A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022132822A (ja) * 2021-03-01 2022-09-13 東洋製罐株式会社 異常検知に関する方法、プログラム、装置及びシステム
JPWO2022185644A1 (zh) * 2021-03-03 2022-09-09

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04250142A (ja) * 1991-01-28 1992-09-07 Konica Corp 胸部放射線画像の画像処理装置
US20100266174A1 (en) * 2007-12-13 2010-10-21 Koninklijke Philips Electronics N.V. method of retrieving data from a medical image data set
CN103345740A (zh) * 2013-06-13 2013-10-09 沈阳航空航天大学 基于多投影图像配准的肺结节检测方法
CN105574871A (zh) * 2015-12-16 2016-05-11 深圳市智影医疗科技有限公司 在放射图像中检测肺部局部性病变的分割分类方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW514513B (en) * 1996-02-06 2002-12-21 Deus Technologies Inc Method for the detection of lung nodule in radiological images using digital image processing and artificial neural network
US20050207630A1 (en) * 2002-02-15 2005-09-22 The Regents Of The University Of Michigan Technology Management Office Lung nodule detection and classification
JP2005246032A (ja) * 2004-02-04 2005-09-15 Fuji Photo Film Co Ltd 異常陰影検出方法および装置並びにプログラム
US7876936B2 (en) * 2006-01-31 2011-01-25 Mevis Medical Solutions, Inc. Method for segmenting arteries and veins
WO2009090894A1 (ja) 2008-01-15 2009-07-23 Konica Minolta Medical & Graphic, Inc. 動態画像診断支援システム
EP2440129A4 (en) * 2009-06-08 2015-06-03 Mri Interventions Inc MRI-CONTROLLED SURGICAL SYSTEMS WITH PRESET SCAN SURFACES
US9603668B2 (en) * 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US10445462B2 (en) * 2016-10-12 2019-10-15 Terarecon, Inc. System and method for medical image interpretation
US11908584B2 (en) * 2017-05-15 2024-02-20 Ne Scientific, Llc Methods and systems for modeling a necrotized tissue volume in an ablation procedure
JP2018196693A (ja) * 2017-05-25 2018-12-13 コニカミノルタ株式会社 動態解析システム
US20190320934A1 (en) * 2018-04-18 2019-10-24 Siemens Healthcare Gmbh Medical image acquisition with sequence prediction using deep learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04250142A (ja) * 1991-01-28 1992-09-07 Konica Corp 胸部放射線画像の画像処理装置
US20100266174A1 (en) * 2007-12-13 2010-10-21 Koninklijke Philips Electronics N.V. method of retrieving data from a medical image data set
CN103345740A (zh) * 2013-06-13 2013-10-09 沈阳航空航天大学 基于多投影图像配准的肺结节检测方法
CN105574871A (zh) * 2015-12-16 2016-05-11 深圳市智影医疗科技有限公司 在放射图像中检测肺部局部性病变的分割分类方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAOLA CAMPADELLI等: "《A Fully Automated Method for Lung Nodule Detection From Postero-Anterior Chest Radiographs》", ，IEEE TRANSACTIONS ON MEDICAL IMAGING, 30 October 2006 (2006-10-30), pages 1 - 16 *

Also Published As

Publication number Publication date
US11935234B2 (en) 2024-03-19
US20220028072A1 (en) 2022-01-27
JPWO2020235461A1 (zh) 2020-11-26
WO2020235461A1 (ja) 2020-11-26
JP7457011B2 (ja) 2024-03-27

Similar Documents

Publication Publication Date Title
KR101887194B1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
Soliman et al. Accurate lungs segmentation on CT chest images by adaptive appearance-guided shape modeling
Chan et al. Effective pneumothorax detection for chest X‐ray images using local binary pattern and support vector machine
CN109074639B (zh) 医学成像系统中的图像配准系统和方法
KR101874348B1 (ko) 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치
US8953856B2 (en) Method and system for registering a medical image
CN111401398A (zh) 用于根据人工智能检测输出确定疾病进展的系统和方法
WO2021021329A1 (en) System and method for interpretation of multiple medical images using deep learning
CN112215858A (zh) 用于图像分割和识别的方法和系统
WO2007078764A2 (en) Cad detection system for multiple organ systems
JP2008520317A (ja) 医療画像データ内の腫瘍境界を自動的に検出及び区分するシステム及び方法
EP3796210A1 (en) Spatial distribution of pathological image patterns in 3d image data
CN111563523A (zh) 利用机器训练的异常检测的copd分类
CN112348908A (zh) 用于医学成像中分段的基于形状的生成对抗网络
EP3722996A2 (en) Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof
US20240274276A1 (en) Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network
US11475568B2 (en) Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus
US11935234B2 (en) Method for detecting abnormality, non-transitory computer-readable recording medium storing program for detecting abnormality, abnormality detection apparatus, server apparatus, and method for processing information
Suinesiaputra et al. Deep learning analysis of cardiac MRI in legacy datasets: multi-ethnic study of atherosclerosis
Cifci SegChaNet: a novel model for lung cancer segmentation in CT scans
CN118247284A (zh) 图像处理模型的训练方法、图像处理方法
Singh et al. Semantic segmentation of bone structures in chest X-rays including unhealthy radiographs: A robust and accurate approach
WO2023276810A1 (ja) 疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデル
WO2021197176A1 (en) Systems and methods for tumor characterization
Dandıl et al. A Mask R-CNN based Approach for Automatic Lung Segmentation in Computed Tomography Scans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Osaka, Japan

Applicant after: Panasonic Holding Co.,Ltd.

Address before: Osaka, Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

CB02 Change of applicant information