CN111918610A - 胸部x线图像的灰度变换方法、灰度变换程序、灰度变换装置、服务器装置以及变换方法 - Google Patents

胸部x线图像的灰度变换方法、灰度变换程序、灰度变换装置、服务器装置以及变换方法 Download PDF

Info

Publication number
CN111918610A
CN111918610A CN201980023262.0A CN201980023262A CN111918610A CN 111918610 A CN111918610 A CN 111918610A CN 201980023262 A CN201980023262 A CN 201980023262A CN 111918610 A CN111918610 A CN 111918610A
Authority
CN
China
Prior art keywords
ray image
chest
subject
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980023262.0A
Other languages
English (en)
Inventor
近藤坚司
小泽顺
木村浩彦
伊藤春海
藤本真一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN111918610A publication Critical patent/CN111918610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/484—Diagnostic techniques involving phase contrast X-ray imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种胸部X线图像的灰度变换方法，将作为读片对象的胸部X线图像的对象胸部X线图像的灰度进行变换的图像灰度变换装置的计算机：取得对象胸部X线图像(S50)，使用预先机器学习过的模型，在对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成(S100)，提取与结构物的邻近区域对应的像素集合，使用像素集合的直方图生成进行直方图平滑化的对比度变换式(S500)，使用对比度变换式，进行对象胸部X线图像整体的各像素值的亮度变换(S700)。

Description

胸部X线图像的灰度变换方法、灰度变换程序、灰度变换装置、 服务器装置以及变换方法
技术领域
本公开涉及医用图像的处理技术，更详细而言是涉及胸部X线(X射线)图像的灰度变换技术。
背景技术
在医用图像中，胸部X线图像因拍摄设备价格低以及拍摄成本低，普及率也高，已成为诊断胸部疾病时的首选方法。然而，在胸部X线图像中，是沿进深方向重叠地描画出多个解剖结构(解剖学结构)。因此，被指出了如下问题点：因为读片(射线图判读)难，所以导致将病变看漏，导致轻易地实施计算机断层摄影等。
另外，胸部X线图像通常在X线拍摄装置中被取得为高灰度(例如10～14位)的数字图像。另一方面，在将拍摄到的胸部X线图像显示于监视器时，胸部X线图像被灰度压缩为较低灰度(例如8～12位)来显示。灰度压缩也一并进行γ补正等对比度变换处理，并以尽可能地保存图像中的重要的灰度的方式进行。为了尽量使读片变得容易一些，重要的是以不使胸部X线图像的对于诊断而言重要的区域的信息减少的方式进行灰度压缩。
以往，作为能够在保持胸部X线图像的信息量的同时将所希望的区域以所希望的对比度和浓度进行显示的灰度变换技术，提出了专利文献1。在专利文献1所记载的技术中，根据胸部X线图像的像素值直方图，例如推定肺野和纵膈这样的大致的区域的像素值范围，并基于推定结果，决定γ曲线的控制点。
现有技术文献
专利文献
专利文献1：国际公开第2015/174206号
非专利文献
非专利文献1：O.Ronneberger,P.Fischer,and T.Brox,U-Net:ConvolutionalNetworks for Biomedical Image Segmentation,Medical Image Computing andComputer-Assisted Intervention(MICCAI),Springer,LNCS,Vol.9351:234-241,2015.
非专利文献2：J.Long,E.Shelhamer,T.Darrell,Fully Convolutional Networksfor Semantic Segmentation,In CVPR,2015.
发明内容
在上述专利文献1所记载的技术中，例如能够应用分别适于肺野和纵膈的γ曲线。然而，在上述现有技术中，不能保证使胸部X线图像的对于诊断而言重要的区域的对比度提高，因此需要进一步的改善。
本公开的一个技术方案是一种胸部X线图像的灰度变换方法，将作为读片对象的胸部X线图像的对象胸部X线图像的灰度进行变换的图像灰度变换装置的计算机：
取得所述对象胸部X线图像；
使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
提取与所述结构物的邻近区域对应的像素集合；
使用所述像素集合的直方图生成进行直方图平滑化的对比度变换式；
使用所述对比度变换式，进行所述对象胸部X线图像整体的各像素值的亮度变换。
此外，该总括性的或者具体的技术方案既可以通过装置、系统、集成电路、计算机程序或者计算机可读取的记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序以及计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc Read Only Memory)等非易失性的记录介质。
根据本公开，能够实现进一步的改善。从说明书及附图可知晓本公开的一个技术方案中的进一步的优点及效果。上述优点和/或效果分别由若干个实施方式和说明书及附图所记载的特征提供，但无需为了获得一个或一个以上相同的特征而提供所有的实施方式和特征。
附图说明
图1是第1实施方式中的图像灰度变换装置的框图。
图2是第1实施方式中的医疗机构内的网络结构的框图。
图3是第1实施方式中的流程图。
图4A是表示包含降主动脉的阴影的胸部X线图像的图。
图4B是表示降主动脉的阴影的掩模图像(蒙片)的图。
图4C是表示将掩模图像重叠在胸部X线图像上的图像的图。
图5A是表示包含右背侧横膈膜的阴影的胸部X线图像的图。
图5B是表示右背侧横膈膜的阴影的掩模图像的图。
图5C是表示将掩模图像重叠在胸部X线图像上的图像的图。
图6A是表示包含第一胸椎的胸部X线图像的图。
图6B是表示第一胸椎的掩模图像的图。
图6C是表示将掩模图像重叠在胸部X线图像上的图像的图。
图7是概略地表示U-Net的架构的图。
图8A是概略地表示线结构的一例的图。
图8B是概略地表示图8A的线结构的邻近区域的一例的图。
图9A是概略地表示区域结构的一例的图。
图9B是概略地表示图9A的区域结构的邻近区域的一例的图。
图10是概略地表示灰度变换LUT(查找表)的一例的图。
图11A是概略地表示图8A的线结构的邻近区域的不同的例子的图。
图11B是概略地表示图9A的区域结构的邻近区域的不同的例子的图。
图12是表示第2实施方式中的图像灰度变换装置的构成的框图。
图13是表示第2实施方式中的结构物检测处理的流程图。
图14是概略地表示分辨率信息的图。
图15是概略地表示图13的步骤S103～步骤S106的处理的图。
图16是表示第3实施方式中的图像灰度变换装置的构成的框图。
图17是第3实施方式中的流程图。
图18是第4实施方式中的医疗机构内的网络结构的框图。
图19是对使轮廓线MLpr膨胀(扩展)预定像素数的理由进行说明的图。
具体实施方式
(成为本公开的基础的见解)
根据上述专利文献1所记载的技术，例如能够应用分别适于肺野和纵膈的γ曲线。对此，本发明人发现在胸部X线图像中，与肺野或者纵膈相比在图像中所占的面积较小并且浓淡差小的区域有时对于诊断很重要。然而，在上述专利文献1所记载的技术中，不能保证这种区域的对比度提高。
于是，本发明人想到了以下的各技术方案，它们能够使胸部X线图像的对于诊断而言重要的、在胸部X线图像中所占的面积小并且浓淡差小的区域(例如后述的线结构)的对比度提高。
本公开的第1技术方案是一种胸部X线图像的灰度变换方法，
将作为读片对象的胸部X线图像的对象胸部X线图像的灰度进行变换的图像灰度变换装置的计算机：
取得所述对象胸部X线图像；
使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
提取与所述结构物的邻近区域对应的像素集合；
使用所述像素集合的直方图生成进行直方图平滑化的对比度变换式；
使用所述对比度变换式，进行所述对象胸部X线图像整体的各像素值的亮度变换。
本公开的第2技术方案是一种图像灰度变换程序，使图像灰度变换装置的计算机作为取得部、检测部、提取部、平滑化部和亮度变换部而发挥功能，所述图像灰度变换装置将作为读片对象的胸部X线图像的对象胸部X线图像的灰度进行变换，
所述取得部取得所述对象胸部X线图像，
所述检测部使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成，
所述提取部提取与所述结构物的邻近区域对应的像素集合，
所述平滑化部使用所述像素集合的直方图生成进行直方图平滑化的对比度变换式，
所述亮度变换部使用所述对比度变换式，进行所述对象胸部X线图像整体的各像素值的亮度变换。
本公开的第3技术方案是一种图像灰度变换装置，具备：
取得部，其取得作为读片对象的胸部X线图像的对象胸部X线图像；
检测部，其使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
提取部，其提取与所述结构物的邻近区域对应的像素集合；
平滑化部，其使用所述像素集合的直方图生成进行直方图平滑化的对比度变换式；以及
亮度变换部，其使用所述对比度变换式，进行所述对象胸部X线图像整体的各像素值的亮度变换。
在该第1技术方案、第2技术方案或者第3技术方案中，使用预先机器学习过的模型，在作为读片对象的胸部X线图像的对象胸部X线图像中检测出包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成。提取与所检测出的结构物的邻近区域对应的像素集合。使用提取到的像素集合的直方图生成进行直方图平滑化的对比度变换式。使用所生成的对比度变换式，进行对象胸部X线图像整体的各像素值的亮度变换。因而，根据第1技术方案、第2技术方案或者第3技术方案，能够使结构物的邻近区域内的对比度提高而不受高频的像素值的像素的影响。
在上述第1技术方案中，例如也可以为，
所述预先机器学习过的模型是使用以像素为单位进行预测的神经网络(NeuralNetwork)以在学习用胸部X线图像中检测出所述结构物的方式进行了学习的模型，所述学习用胸部X线图像是正常状态的胸部X线图像。
在该技术方案中，用使用以像素为单位进行预测的神经网络以在学习用胸部X线图像中检测出结构物的方式进行了学习的模型来检测结构物，所述学习用胸部X线图像是正常状态的胸部X线图像。因而，由于以像素为单位进行预测，因此能够高精度地检测包括由第1线状区域或者第2线状区域形成的线结构的结构物。
在上述第1技术方案中，例如也可以为，
在所述检测中，
将所述对象胸部X线图像变换为比所述对象胸部X线图像的分辨率低的第1分辨率从而制作第1X线图像，
将所述对象胸部X线图像变换为比所述第1分辨率高且在所述对象胸部X线图像的分辨率以下的第2分辨率从而制作第2X线图像，
从所述第1X线图像检测第1尺寸的所述结构物，
基于所述第1尺寸的所述结构物的检测结果，在所述第2X线图像中设定比所述第2X线图像小的搜索区域，
从所述搜索区域，检测比所述第1尺寸小的第2尺寸的所述结构物。
在该技术方案中，从第1分辨率的第1X线图像检测第1尺寸的结构物。在比第1分辨率高的第2分辨率的第2X线图像中设定搜索区域，从该搜索区域检测比第1尺寸小的第2尺寸的结构物。因而，根据该技术方案，在使用高分辨率的图像时，设定比对象胸部X线图像的尺寸小的尺寸的搜索区域。因此，存储器的使用量减少。其结果，即使在内存量少的情况下，也能够抑制结构物检测性能的降低。
在上述第1技术方案中，例如也可以为，
在所述第1尺寸的所述结构物的检测中，从所述第1X线图像检测解剖结构作为所述第1尺寸的所述结构物，
在所述第2尺寸的所述结构物的检测中，从所述第2X线图像的所述搜索区域检测所述线结构作为所述第2尺寸的所述结构物。
根据该技术方案，解剖结构为比较大的第1尺寸，因此能够优选从比较低的第1分辨率的第1X线图像中检测。另外，线结构为比较小的第2尺寸，因此能够优选从比较高的第2分辨率的第2X线图像中的所设定的搜索区域内检测。
在上述第1技术方案中，例如也可以为，
在所述搜索区域的设定中，使用从预先保存有所述第1尺寸的所述结构物与所述第2尺寸的所述结构物的相对位置关系的位置存储器读出的所述相对位置关系，设定所述搜索区域。
根据该技术方案，能够从作为第1检测子步骤的检测结果所得到的第1尺寸的结构物的位置、和第1尺寸的结构物与第2尺寸的结构物的相对位置关系，掌握第2尺寸的结构物的位置。因而，通过设定搜索区域以使得包含所掌握的第2尺寸的结构物的位置，能够切实地检测出第2尺寸的结构物。
在上述第1技术方案中，例如也可以为，
在所述提取中，将使所述结构物的轮廓线向外侧和内侧膨胀预定像素数后的区域作为所述结构物的邻近区域。
在该技术方案中，提取从结构物的轮廓线向外侧扩预定像素数的区域的像素集合、和从结构物的轮廓线向内侧扩预定像素数的区域的像素集合。因而，根据该技术方案，能够使结构物的轮廓线处的对比度提高。其结果，能够使结构物易于被视觉识别。
在上述第1技术方案中，例如也可以为，
在所述提取中，将使所述结构物向外侧膨胀预定像素数后的区域作为所述结构物的邻近区域。
在该技术方案中，提取与使结构物向外侧膨胀了预定像素数后的区域对应的区域的像素集合。因而，根据该技术方案，能够使比结构物大预定像素数的区域内的对比度提高。其结果，能够使结构物易于被视觉识别。
在上述第1技术方案中，例如也可以为，
在所述提取中，使用所述检测出的所有所述结构物。
根据该技术方案，能够使所检测出的结构物的所有邻近区域内的对比度提高。
在上述第1技术方案中，例如也可以为，
进一步，用户选择所述检测出的所述结构物中的一部分结构物，
在所述提取中，仅使用由所述用户选择出的所述一部分结构物。
根据该技术方案，通过选择所希望的结构物，能够使所希望的结构物的邻近区域内的对比度提高。
在上述第1技术方案中，例如也可以为，
还将进行了所述亮度变换后的所述对象胸部X线图像显示于显示器，
在所述亮度变换中，使用所述对比度变换式、和向比所述对象胸部X线图像的灰度低的灰度变换的灰度削减式，进行所述对象胸部X线图像整体的各像素值的亮度变换。
根据该技术方案，即使在可显示于显示器的灰度低于对象胸部X线图像的灰度的情况下，也能够以适合于显示器的灰度将使结构物的邻近区域内的对比度提高了的对象胸部X线图像显示于显示器。
本公开的第4技术方案是一种服务器装置，具备：
取得部，其取得作为读片对象的胸部X线图像的对象胸部X线图像；
检测部，其使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
提取部，其提取与所述结构物的邻近区域对应的像素集合；
平滑化部，其使用所述像素集合的直方图生成进行直方图平滑化的对比度变换式；
亮度变换部，其使用所述对比度变换式，进行所述对象胸部X线图像整体的各像素值的亮度变换；以及
通信控制部，其将进行了所述亮度变换后的所述对象胸部X线图像发送给外部的终端装置。
在该第4技术方案中，使用预先机器学习过的模型，在作为读片对象的胸部X线图像的对象胸部X线图像中检测出包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成。提取与所检测出的结构物的邻近区域对应的像素集合。使用提取到的像素集合的直方图生成进行直方图平滑化的对比度变换式。使用所生成的对比度变换式，进行对象胸部X线图像整体的各像素值的亮度变换。进行了亮度变换后的对象胸部X线图像发送到外部的终端装置。因而，根据第4技术方案，终端装置的用户能够获得结构物的邻近区域内的对比度不受高频的像素值的像素的影响而提高了的对象胸部X线图像。
(实施方式)
以下，参照附图，对本公开的实施方式进行说明。此外，在各附图中，对于相同的构成要素使用相同的标号，并适当省略说明。
(第1实施方式)
图1是概略地表示第1实施方式中的执行胸部X线图像的灰度变换方法的图像灰度变换装置100的构成的框图。图2是概略地表示医疗机构内的网络结构410的框图。
如图2所示，医疗机构内的网络结构410包括内部网络(Intra network)400。该内部网络400上连接有图像灰度变换装置100、医用图像管理系统200以及胸部X线图像拍摄装置300。医用图像管理系统200保存并管理胸部X线图像、计算机断层摄影(CT)图像、由核磁共振成像法(MRI)得到的图像等。胸部X线图像拍摄装置300拍摄患者或者做体检的人的胸部X线图像。由胸部X线图像拍摄装置300拍摄到的胸部X线图像被发送到医用图像管理系统200而保存。
此外，图像灰度变换装置100、医用图像管理系统200以及胸部X线图像拍摄装置300不一定要连接在同一医疗机构内的内部网络400上。图像灰度变换装置100以及医用图像管理系统200也可以是在设置于医疗机构外部的数据中心、私有云服务器、公共云服务器等上工作的软件。胸部X线图像拍摄装置300既可以设置在医院内，也可以设置在用于体检等的流动车中。作为医用图像管理系统200，例如采用图像保存和通信系统(PACS)。
如图1所示，图像灰度变换装置100具备查找表(LUT)存储部105、图像存储器106、通信部107、显示器108、中央运算处理装置(CPU)120和存储器121。图像灰度变换装置100例如由个人计算机构成。
通信部107经由内部网络400与医用图像管理系统200等进行通信。LUT存储部105例如由硬盘或者半导体存储器等构成。LUT存储部105存储灰度变换LUT。图像存储器106例如由硬盘或者半导体存储器等构成。图像存储器106存储所取得的对象胸部X线图像以及被亮度变换后的胸部X线图像。在本实施方式中，显示器108例如具有显示8位(256灰度)图像的功能。显示器108例如由液晶监视器构成，显示对象胸部X线图像，由作为用户的医生或者放射科医生对所述对象胸部X线图像进行图像诊断或者图像拍摄后的图像确认。另外，显示器108显示供填写拍摄了对象胸部X线图像的患者的病历信息、图像诊断的结果的报告输入画面等。
存储器121例如由半导体存储器等构成。存储器121例如包括只读存储器(ROM)、随机存取存储器(RAM)、电可擦可编程的只读存储器(EEPROM)等。存储器121的ROM存储使CPU120工作的第1实施方式的控制程序。
CPU120通过执行存储于存储器121的第1实施方式的控制程序，作为结构物检测部111、像素提取部112、直方图计算部113、直方图平滑化部114、亮度变换部115、显示控制部116以及通信控制部117而发挥功能。
结构物检测部111(相当于检测部的一例)从保存于图像存储器106的对象胸部X线图像，检测预先定义的多个结构物。像素提取部112(相当于提取部的一例)提取与由结构物检测部111检测出的结构物的邻近区域对应的像素集合。直方图计算部113根据由像素提取部112提取到的像素集合算出亮度直方图。直方图平滑化部114使用由直方图计算部113算出的亮度直方图进行直方图平滑化。直方图平滑化部114进一步进行低灰度化，获得灰度变换LUT。直方图平滑化部114将灰度变换LUT存储于LUT存储部105。亮度变换部115使用存储于LUT存储部105的灰度变换LUT，将对象胸部X线图像的全部像素的亮度进行变换。显示控制部116将由亮度变换部115进行亮度变换后的对象胸部X线图像显示于显示器108。通信控制部117(相当于取得部的一例)控制通信部107。关于结构物检测部111、像素提取部112、直方图计算部113、直方图平滑化部114、亮度变换部115、显示控制部116的功能，会在后面分别详细进行说明。
图3是概略地表示由第1实施方式涉及的图像灰度变换装置100执行的处理步骤的流程图。首先，在步骤S50中，通信控制部117(相当于取得部的一例)经由通信部107从医用图像管理系统200取得对象胸部X线图像，将取得的对象胸部X线图像保存于图像存储器106。在步骤S100中，结构物检测部111从图像存储器106读取对象胸部X线图像，并从该对象胸部X线图像检测预先定义的一个以上的结构物。
“一个以上的结构物”的每一个是(i)人体的解剖结构在胸部X线图像上被描画出的线或区域、或者(ii)解剖结构的一部分在胸部X线图像上被描画出的线或区域、或者(iii)X线透射率不同的多个解剖结构的边界在胸部X线图像上被描画出的边界线。
“一个以上的结构物”的每一个被分类为“线结构”或者“区域结构”。“线结构”包括在胸部X线图像上描画出的边界线、解剖结构在胸部X线图像上被描画出的线、以及解剖结构的一部分在胸部X线图像上被描画出的线。将不是线结构的结构物、即不能视为线状的结构物定义为“区域结构”。由于存在尽管是线结构但在图像上宽度比一个像素大的结构物，因此担心“线结构”与“区域结构”的差异不明确。于是，例如也可以将结构物的(纵向长度)/(横向长度)在阈值以上的结构物定义为“线结构”。该阈值设定为如使结构物被视为线状那样的适当的值即可，例如也可以为10、100或者1000。线结构的例子表示于图4A～4C和图5A～5C，区域结构的例子表示于图6A～6C。
图4A是表示包含降主动脉的阴影(即由降主动脉与肺实质之间的X线透射率的差异描画出的边界线，相当于第1线状区域的一例)的胸部X线图像Ix的图。图4B是表示降主动脉的阴影的掩模图像Px的图。图4C是表示将图4B的掩模图像Px重叠显示在图4A的胸部X线图像Ix上的图像的图。图5A是表示包含右背侧横膈膜(右背侧肺基部)的阴影(即由肺实质的背侧基部与腹侧器官之间的X线透射率的差异描画出的边界线，相当于第1线状区域的一例)的胸部X线图像Ix的图。图5B是表示右背侧横膈膜的阴影的掩模图像Py的图。图5C是表示将图5B的掩模图像Py重叠显示在图5A的胸部X线图像Ix上的图像的图。图6A是表示包含第一胸椎被投影的区域的胸部X线图像Ix的图。图6B是表示第一胸椎的掩模图像Pz。图6C是表示将图6B的掩模图像Pz重叠显示在图6A的胸部X线图像Ix上的图像的图。
掩模图像是以二值或者灰阶表现出对应的胸部X线图像中的结构物所占的区域的图像。在本实施方式中，作为二值掩模图像进行说明。该掩模图像作为在对结构物检测部111进行机器学习时的学习数据，由具有医学知识的人来制作和准备。另外，学习后的结构物检测部111将掩模图像作为处理对象胸部X线图像得到的结果进行输出。
在本实施方式中，使用人工神经网络作为对结构物检测部111进行机器学习的手段。具体而言，作为进行从对象图像中以像素为单位提取对象区域的语义分割(SemanticSegmentation)的人工神经网络，使用了非专利文献1中公开的U-Net。语义分割意味着以像素为单位掌握图像。
图7是概略地表示U-Net的架构的图。U-Net是如图7所示的具备编码器ECD以及解码器DCD的卷积神经网络，在U-Net中输入图像被输入到输入层IL时，从U-Net，输出图像被输出到输出层OL。大量提供成组的如图4A、图5A、图6A那样的输入图像与如图4B、图5B、图6B那样的掩模图像来进行机器学习。
具体而言，将如图4A那样的胸部X线图像Ix大量输入到U-Net，从U-Net输出如图4B那样的掩模图像Px地进行机器学习，生成降主动脉的阴影用的结构物检测部111。另外，将如图5A那样的胸部X线图像Ix大量输入到U-Net，从U-Net输出如图5B那样的掩模图像Py地进行机器学习，生成右背侧横膈膜的阴影用的结构物检测部111。另外，将如图6A那样的胸部X线图像Ix大量输入到U-Net，从U-Net输出如图6B那样的掩模图像Pz地进行机器学习，生成第一胸椎用的结构物检测部111。而且，当对象胸部X线图像被输入到机器学习后的、例如降主动脉的阴影用的结构物检测部111时，作为使其机器学习了的结构物的区域而检测出降主动脉的阴影。
在本实施方式中，对于预先定义的总计N(N为1以上的整数)个结构物，预先使分别进行结构物检测的U-Net机器学习而准备N个已学习完的U-Net，这些N个已学习完的U-Net被用作结构物检测部111。此外，作为进行语义分割的人工神经网络，也可以取代U-Net而使用如非专利文献2所公开的那样的其他的神经网络。
回到图3，在步骤S200中，像素提取部112在相应的胸部X线图像中检测结构物0、～、结构物k、～、结构物N-1。而且，像素提取部112提取结构物0的邻近区域R0所包含的像素的像素值的集合P0、～、结构物k的邻近区域Rk所包含的像素的像素值的集合Pk、～、结构物N-1的邻近区域RN-1所包含的像素的像素值的集合PN-1。像素值的集合Pk由式(1)表示。式(1)表示像素值的集合Pk是邻近区域Rk所包含的坐标(x，y)的像素值Px,y的集合。
Pk＝{px，y|px，y∈Rk} (1)
图8A是概略地表示线结构的一例的图。图8B是概略地表示图8A的线结构的邻近区域的一例的图。图9A是概略地表示区域结构的一例的图。图9B是概略地表示图9A的区域结构的邻近区域的一例的图。
在图8A、8B中，像素提取部112提取作为由结构物检测部111检测出的结构物的线结构ML的轮廓线MLpr。像素提取部112通过由形态处理使该轮廓线MLpr向外侧和内侧膨胀预定像素数，算出邻近区域Mnh1。像素提取部112提取邻近区域Mnh1所包含的各像素的像素值的集合。
在此，使用图19来说明使轮廓线MLpr膨胀预定像素数的理由。图19的(a)是线结构ML的放大图，图19的(b)作为将线结构ML横穿的线(图19的(a)中的PF)上的亮度纵断面(profile)。图19的(b)的横轴是图19的(a)的图像空间(x坐标值)，纵轴是图19的(a)的图像中的线PF上的亮度值。在很多图像中，即使是边缘，在放大观测时，相邻的像素值也会如图19的(b)那样平滑地变化。因此，图19的(a)中的线结构ML的边界线在图19的(b)中被识别为MLpr1和MLpr2。本公开的目的在于要使线结构ML的对比度提高，因此在此后的直方图平滑化处理中，需要使用图19的(b)中的亮度V1和V3的像素值。然而，若使用仅从图19的(b)中的边界线MLpr1和MLpr2稍稍远离的区域(图19的(b)中的Ca、Cb的范围)的像素，则无法充分达到使线结构ML的对比度提高这一目的。因此，通过使轮廓线MLpr1和MLpr2膨胀预定像素数，从而变为使用像素值V1、V3的像素。关于决定“预定像素”的方法，例如在轮廓线MLpr的近旁以从轮廓线MLpr离开的方式依次计算相邻的像素值之差(即亮度变化)，决定为到该亮度变化成为线结构的亮度变化(在图19的(b)中为|V1-V3|的一定比例(例如5％～10％))的位置为止的范围。
在图9A、9B中，像素提取部112提取作为由结构物检测部111检测出的结构物的区域结构RG的轮廓线RGpr。像素提取部112通过由形态处理使该轮廓线RGpr向外侧和内侧膨胀预定像素数，算出邻近区域Rnh1。像素提取部112提取邻近区域Rnh1所包含的各像素的像素值的集合。如使用图8A、8B、9A、9B说明的那样，在本实施方式中，邻近区域Rk作为使结构物的轮廓线向内侧和外侧膨胀预定像素数后的区域。
回到图3，在步骤S300中，像素提取部112制作式(2)所示的像素值的集合P0、～、像素值的集合Pk、～、像素值的集合PN-1的并集S。
S＝P0UP1UP2∪P3U…UPN-1 (2)
接着，在步骤S400中，直方图计算部113制作与通过步骤S300制作出的并集S所包含的多个像素值有关的直方图。将该制作出的直方图称为亮度直方图。此外，像素值表示亮度值。
在步骤S500中，直方图平滑化部114使用制作出的亮度直方图，生成进行直方图平滑化的对比度变换式。若使用对比度变换前的对象胸部X线图像所包含的亮度值z、并集S所包含的亮度值z的度数H(z)、并集S的元素数(也即是说由式(2)定义的并集S所包含的像素数)A、以及亮度最大值Zmax，则直方图平滑化后、也即是说对比度变换后的亮度值q(z)可由式(3)的对比度变换式表示。度数H(z)是并集S所包含的像素值、也即是说亮度值z的度数意味着，度数H(z)没有包括对象胸部X线图像中的邻近区域R0～RN-1以外的区域的亮度值z的度数。
在该实施方式中，低灰度化前的对象胸部X线图像的灰度例如为12位(4096灰度)，低灰度化后的图像的灰度例如为8位(256灰度)。在此，在低灰度化之前进行上述的对比度变换，亮度最大值Zmax为Zmax＝4095。
Figure BDA0002706739740000161
式(3)中的直方图平滑化后的亮度值q(z)针对0≤z≤Zmax的亮度值z来算出。例如针对z＝0，可求出q(0)＝H(0)Zmax/A。例如针对z＝1，可求出q(1)＝{H(0)+H(1)}Zmax/A。例如针对z＝2，可求出q(2)＝{H(0)+H(1)+H(2)}Zmax/A。例如针对z＝Zmax＝4095，可求出q(4095)＝{H(0)+…+H(4095)}Zmax/A。
在步骤S600中，直方图平滑化部114利用作为灰度削减式的式(4)，从12位的亮度值q(z)，算出8位的亮度值t(z)，将12位的图像低灰度化为8位的图像。
t(z)＝q(z)/16 (4)
此外，在式(3)、式(4)中，小数点以下进行四舍五入或者被舍去，算出整数的亮度值q(z)、t(z)。因而，在式(4)中，亮度值q(z)为0～4095的整数，亮度值t(z)为0～255的整数。
直方图平滑化部114进而制作灰度变换LUT1000(图10)。直方图平滑化部114将制作出的灰度变换LUT1000存储于LUT存储部105。
图10是概略地表示灰度变换LUT1000的一例的图。如图10所示，灰度变换LUT1000将原亮度值z与直方图平滑化及低灰度化后的亮度值t(z)相关联而构成。在此，如上所述，亮度值z为0～4095的整数，亮度值t(z)为0～255的整数。
如图8B、图9B所示的那样的结构物的邻近区域Mnh1、Rnh1包含构成结构物的像素和不构成结构物的像素双方。即，关于N个结构物的每一个，并集S包含构成结构物的像素和不构成结构物的像素。因此，通过对并集S的亮度直方图进行直方图平滑化，将会获得在对象胸部X线图像中使N个结构物的每一个结构物与其边界的对比度提高的灰度变换LUT1000。
回到图3，在步骤S700中，亮度变换部115使用通过步骤S600制作出的灰度变换LUT1000，将胸部X线图像的全部像素进行亮度变换。在步骤S800中，显示控制部116将灰度变换成了8位的对象胸部X线图像显示于显示器108。由此，执行对于N个结构物全部的使对比度提高的亮度变换以及使低灰度化的灰度变换。被灰度变换成了8位的对象胸部X线图像将会显示于显示器108。
在此，说明用语的定义。“灰度变换”指的是包含(A)改善图像的浓淡对比度的对比度变换和(B)将图像的浓淡的灰度数进行变换(削减)的灰度削减双方的亮度变换。直方图平滑化以及γ补正是(A)对比度变换的具体的方法的一例。另一方面，“亮度变换”不指特定的变换处理，而单指亮度(像素值)的变换。另外，作为本来的意思，“灰度”在广义上指的是“图像的浓淡的程度”，在狭义上指的是“数字图像中的浓淡的级数”(例如256个灰度)。像素值也可以表示亮度值。
此外，在本实施方式中，在步骤S200中，邻近区域Rk作为使结构物的轮廓线向内侧和外侧膨胀了预定像素数的区域，但不限于此。
图11A是概略地表示图8A的线结构的邻近区域的不同的例子的图。图11B是概略地表示图9A的区域结构的邻近区域的不同的例子的图。
在图11A、图11B的例子中，像素提取部112将使线结构ML、区域结构RG的区域本身向外侧膨胀了预定像素数的区域分别作为邻近区域Mnh2、Rnh2。如图11A、图11B所示的那样的结构物的邻近区域包含构成结构物的像素和结构物的外侧区域的像素双方。但是，与图8B、图9B所示的邻近区域不同的是，更多地包含构成结构物本身的像素。因此，通过对图11A、图11B的邻近区域所包含的像素的并集S的亮度直方图进行直方图平滑化，将会获得针对所有N个结构物而使结构物内部的对比度、以及结构物与其边界的对比度提高的灰度变换LUT。例如，在结构物为骨头例如肋骨或者锁骨的情况下，骨小梁的对比度将会提高。
如上所述，根据本公开的第1实施方式，检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成。使用与所检测出的结构物的邻近区域对应的像素的像素值的集合的直方图，生成进行直方图平滑化的对比度变换式，进而生成进行低灰度化的灰度削减式，获得灰度变换LUT。使用灰度变换LUT，进行对象胸部X线图像整体的亮度变换。由此，能够进行如不受高频的像素值的像素的影响而使对于诊断而言重要的结构物的对比度提高的那样的灰度变换处理。
(第2实施方式)
图12是概略地表示第2实施方式中的执行胸部X线图像的灰度变换方法的图像灰度变换装置100A的构成的框图。图12的图像灰度变换装置100A与图1的图像灰度变换装置100相比，还具备正常模型存储部103，并且，取代CPU120而具备CPU120A，取代存储器121而具备存储器121A。
正常模型存储部103(相当于位置存储器的一例)预先存储与结构物间的相对位置关系有关的信息。存储器121A与存储器121同样地构成，例如包括ROM、RAM、EEPROM等。存储器121A的ROM存储使CPU120A工作的第2实施方式的控制程序。
CPU120A通过执行存储于存储器121A的第2实施方式的控制程序，作为结构物检测部111、像素提取部112、直方图计算部113、直方图平滑化部114、亮度变换部115、显示控制部116、分辨率转换部109以及搜索区域设定部110而发挥功能。
分辨率转换部109对对象胸部X线图像进行多级的缩小变换，制作具有互不相同的分辨率的图像群。分辨率转换部109将制作出的图像群存储于图像存储器106。搜索区域设定部110利用由结构物检测部111得到的对于低分辨率的图像的结构物的检测结果、以及存储于正常模型存储部103的与结构物间的相对位置关系有关的信息，对更高分辨率的图像设定结构物的搜索区域。
接着，说明由第2实施方式涉及的图像灰度变换装置100A执行的处理步骤。此外，整体的处理步骤与使用图3的流程图所说明的第1实施方式是同样的。
图13是概略地表示在步骤S100(图3)中由第2实施方式涉及的图像灰度变换装置100A执行的处理步骤的流程图。图14是概略地表示分辨率信息2600的图。
在图13的步骤S101中，分辨率转换部109对通过步骤S50(图3)所取得的对象胸部X线图像，制作R(在本实施方式中例如为R＝3)级的缩小图像。胸部X线图像的分辨率通常为，一边由2000～3000个像素构成。在第2实施方式中，对象胸部X线图像的分辨率例如为2048×2048。另外，由分辨率转换部109制作的3级缩小图像的分辨率例如为1024×1024、512×512、256×256。
在该第2实施方式中，从最低分辨率的图像开始，分辨率i依次确定为“0、1、2、3”。即，256×256的图像的分辨率i为“0”，512×512的图像的分辨率i为“1”，1024×1024的图像的分辨率i为“2”，2048×2048的图像(也即是说原图像)的分辨率i为“3”。分辨率转换部109将制作出的低分辨率的缩小图像存储于图像存储器106。
接着，在步骤S102中，结构物检测部111从图像存储器106读取分辨率i＝0(即最低分辨率的256×256)的图像作为结构物检测对象图像。接着，在步骤S103中，结构物检测部111基于分辨率信息2600(图14)，检测与分辨率i的图像(在最初的步骤S103中为i＝0的图像)相关联的结构物。
如图14所示，分辨率信息2600具有结构物ID栏2601和分辨率i栏2602。在结构物ID栏2601中，设定有在第1实施方式中所定义的结构物ID为“0”～“N-1”的N个结构物。在分辨率i栏2602中，与结构物ID栏2601的结构物对应地，定义有检测结构物时所用的图像的分辨率。例如，结构物ID为“0”的结构物从分辨率i为“0”、也即是说分辨率为256×256的图像中检测。此外，在图14中，针对结构物，设定了一个分辨率，但不限于此。例如，根据结构物，也可以预先设定两种以上的分辨率，在各自的分辨率的图像中检测对应的结构物。
与第1实施方式同样地，结构物检测部111使用非专利文献1中公开的U-Net，检测结构物。如上所述，U-Net是卷积神经网络的一种。卷积神经网络是深度神经网络的一种。具备两层以上的中间层的神经网络被称为深度神经网络。在深度神经网络的机器学习时以及结构物检测时，多使用图像处理单元(GPU)来加速处理。此时，由于GPU的搭载内存量的限制，存在无法处理高分辨率图像的情况。在这种情况下，将原图像缩小而使分辨率降低后的图像会被输入到U-Net。然而，在该情况下，对于特别是如线结构这样的尺寸小的结构物的检测性能恐怕会降低。因此，在本第2实施方式中，结构物检测部111从低分辨率的图像中检测比较大的尺寸(相当于第1尺寸的一例)的结构物，并对高分辨率的图像通过进行修剪来限定搜索范围从而检测比较小的尺寸(相当于第2尺寸的一例)的结构物。
回到图13，在步骤S104中，结构物检测部111将分辨率i递增。在最初的步骤S104中成为i＝1。在步骤S105中，结构物检测部111判定分辨率i是否超过了分辨率的上限(也即是说i＝R+1)。如果分辨率i超过了分辨率的上限(步骤S105：是)，则图25的处理结束，步骤S100(图3)的处理结束。另一方面，如果分辨率i没有超过分辨率的上限(步骤S105：否)，则处理进入步骤S106。
在步骤S106中，搜索区域设定部110基于图14的分辨率信息2600，选定与分辨率i(在最初的步骤S106中为i＝1)相关联的所有结构物，针对分辨率i的图像，按对应的每个结构物设定搜索区域。作为事先的准备，预先从大量的如图4B、图5B、图6B所示的那样的结构物的二值掩模图像中求取结构物彼此间的位置关系并保存于正常模型存储部103。搜索区域设定部110读取保存于正常模型存储部103的位置关系，并在搜索区域的设定中加以利用。步骤S106结束后，处理返回至步骤S103。在第2次的步骤S103中，结构物检测部111基于分辨率信息2600(图14)，检测与分辨率i的图像(在第2次的步骤S103中为i＝1的图像)相关联的结构物。之后，在分辨率i不超过分辨率的上限的期间(步骤S105：否)，反复进行步骤S103～S106。
图15是概略地表示图13的步骤S103～S106的处理的图。在图15中，首先，由结构物检测部111从低分辨率(i＝0)的胸部X线图像Ia中检测出结构物Pa、Pb(步骤S103)。在图15的例子中，结构物Pa为右肺野，结构物Pb为左肺野。在本实施方式中，胸部X线图像Ia相当于第1X线图像的一例，分辨率i＝0(256×256)相当于第1分辨率的一例，结构物Pa、Pb的尺寸相当于第1尺寸的一例。
接着，分辨率i递增(步骤S104)，在中分辨率(i＝1)的胸部X线图像Ib中，由搜索区域设定部110设定搜索区域(步骤S106)。在图15的例子中，示出了搜索区域SA1，但在步骤S106中，按与分辨率i对应的每个结构物ID，分别设定搜索区域。另外，使用保存于正常模型存储部103的、检测对象的结构物ID与已经检测出的结构物(在图15的例子中为结构物Pa或者结构物Pb)的位置关系，分别设定搜索区域。
接着，在中分辨率(i＝1)的胸部X线图像Ib中，由结构物检测部111从搜索区域检测结构物(步骤S103)。在图15的例子中，示出了从搜索区域SA1检测出的结构物Pc，但在步骤S103中，按各搜索区域，对检测对象的结构物进行检测。在本实施方式中，胸部X线图像Ib相当于第2X线图像的一例，分辨率i＝1(512×512)相当于第2分辨率的一例，结构物Pc的尺寸相当于第2尺寸的一例。
接着，分辨率i递增(步骤S104)，在高分辨率(i＝2)的胸部X线图像Ic中，由搜索区域设定部110设定搜索区域(步骤S106)。在图15的例子中，示出了搜索区域SA2，但在步骤S106中，按与分辨率i对应的每个结构物ID，分别设定搜索区域。另外，使用保存于正常模型存储部103的、检测对象的结构物ID与已经检测出的结构物(在图15的例子中为结构物Pa或者结构物Pb)的位置关系，分别设定搜索区域。
接着，在高分辨率(i＝2)的胸部X线图像Ic中，由结构物检测部111从搜索区域检测结构物(步骤S103)。在图15的例子中，示出了从搜索区域SA2检测出的结构物Pd，但在步骤S103中，按各搜索区域，对检测对象的结构物进行检测。
如上所述，根据本公开的第2实施方式，在使用U-Net等深度神经网络作为结构物检测部111的情况下，即使在GPU的内存量少的情况下，当使用高分辨率的图像时，由于设定了比对象胸部X线图像的尺寸小的尺寸的搜索区域，因此也能够抑制结构物检测性能的降低。
再者，能够获得第1实施方式的效果、即能够进行如不受高频的像素值的像素的影响而使对于诊断而言重要的结构物的对比度提高的那样的灰度变换处理。
(第3实施方式)
图16是概略地表示第3实施方式中的执行胸部X线图像的灰度变换方法的图像灰度变换装置100B的构成的框图。图16的图像灰度变换装置100B与图1的图像灰度变换装置100相比，还具备输入部118，并且，取代CPU120而具备CPU120B，取代存储器121而具备存储器121B。
输入部118例如由医生或者放射科医生等用户来操作。存储器121B与存储器121同样地构成，例如包括ROM、RAM、EEPROM等。存储器121B的ROM存储使CPU120B工作的第3实施方式的控制程序。
CPU120B通过执行存储于存储器121B的第3实施方式的控制程序，作为结构物检测部111、像素提取部112B、直方图计算部113、直方图平滑化部114、亮度变换部115、显示控制部116以及通信控制部117而发挥功能。
第1实施方式的像素提取部112提取与由结构物检测部111检测出的N个结构物全部的邻近区域对应的像素的像素值。与此相对地，第2实施方式的像素提取部112B提取与由结构物检测部111检测出的N个结构物中的、由用户使用输入部118所选择出的结构物的邻近区域对应的像素的像素值。
图17是概略地表示由第3实施方式涉及的图像灰度变换装置100B执行的处理步骤的流程图。图17的步骤S50、S100分别与图3的步骤S50、S100相同。在继步骤S100之后的步骤S150中，像素提取部112B选择由结构物检测部111检测出的N个结构物中的、使用输入部118所指定的结构物。在步骤S250中，像素提取部112按选择出的每个结构物，提取与结构物的邻近区域对应的像素值的集合。图17的步骤S300～S800分别与图3的步骤S300～S800相同。
根据该第3实施方式，能够进行使用户所希望的结构物的对比度提高那样的灰度变换处理。
(第4实施方式)
图18是概略地表示第4实施方式中的医疗机构内的网络结构410A的框图。在第4实施方式中，如图18所示，医疗机构的内部网络400上连接有服务器装置500、显示控制装置600、医用图像管理系统200以及胸部X线图像拍摄装置300。
此外，服务器装置500、显示控制装置600、医用图像管理系统200和胸部X线图像拍摄装置300不一定要连接在同一医疗机构内的内部网络400上。显示控制装置600以及医用图像管理系统200也可以是在设置于医疗机构外部的数据中心、私有云服务器、公共云服务器等上工作的软件。
如图18所示，服务器装置500具备LUT存储部105、图像存储器106、通信部107、CPU130、存储器131。存储器131例如由半导体存储器等构成。存储器131例如包括ROM、RAM、EEPROM等。存储器131的ROM存储使CPU130工作的控制程序。
CPU130通过执行存储于存储器131的控制程序，作为结构物检测部111、像素提取部112、直方图计算部113、直方图平滑化部114、亮度变换部115以及通信控制部117A而发挥功能。通信控制部117A经由通信部107将由亮度变换部115得到的亮度变换后的对象胸部X线图像向显示控制装置600进行发送。
显示控制装置600(相当于终端装置的一例)例如由平板式计算机构成，由医生或者放射科医生等医疗从业人员持有。如图18所示，显示控制装置600具备CPU140、存储器141、图像存储器142、通信部143和显示器108。
存储器141例如由半导体存储器等构成。存储器141例如包括ROM、RAM、EEPROM等。存储器141的ROM存储使CPU140工作的控制程序。CPU140通过执行存储于存储器141的控制程序，作为显示控制部116和通信控制部117B而发挥功能。
通信控制部117B经由通信部143接收从服务器装置500发送来的亮度变换后的对象胸部X线图像的数据，将接收到的数据存储于图像存储器142。显示控制部116将存储于图像存储器142的亮度变换后的对象胸部X线图像显示于显示器108。
根据该第4实施方式，能够获得与上述第1实施方式同样的效果。或者，服务器装置500的CPU130也可以作为结构物检测部111、像素提取部112、直方图计算部113、直方图平滑化部114、亮度变换部115、通信控制部117、分辨率转换部109(图12)和搜索区域设定部110(图12)而发挥功能。在该情况下，能够获得与上述第2实施方式同样的效果。
产业上的可利用性
根据本公开，能够利用于作为读片对象的胸部X线图像的诊断辅助系统以及面向医学专业的学生或者实习医生的读片教育系统。
标号说明
100图像灰度变换装置；105LUT存储部；106图像存储器；108显示器；111结构物检测部；112像素提取部；113直方图计算部；114直方图平滑化部；115亮度变换部；116显示控制部；117、117A通信控制部；200医用信息管理系统；300胸部X线图像拍摄装置；400内部网络；500服务器装置；600显示控制装置。

Claims (14)

1.一种胸部X线图像的灰度变换方法，将作为读片对象的胸部X线图像的对象胸部X线图像的灰度进行变换的图像灰度变换装置的计算机：
取得所述对象胸部X线图像；
使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
提取与所述结构物的邻近区域对应的像素集合；
使用所述像素集合的直方图生成进行直方图平滑化的对比度变换式；
使用所述对比度变换式，进行所述对象胸部X线图像整体的各像素值的亮度变换。
2.根据权利要求1所述的胸部X线图像的灰度变换方法，
所述预先机器学习过的模型是使用以像素为单位进行预测的神经网络以在学习用胸部X线图像中检测出所述结构物的方式进行了学习的模型，所述学习用胸部X线图像是正常状态的胸部X线图像。
3.根据权利要求2所述的胸部X线图像的灰度变换方法，
在所述检测中，
将所述对象胸部X线图像变换为比所述对象胸部X线图像的分辨率低的第1分辨率从而制作第1X线图像，
将所述对象胸部X线图像变换为比所述第1分辨率高且在所述对象胸部X线图像的分辨率以下的第2分辨率从而制作第2X线图像，
从所述第1X线图像检测第1尺寸的所述结构物，
基于所述第1尺寸的所述结构物的检测结果，在所述第2X线图像中设定比所述第2X线图像小的搜索区域，
从所述搜索区域，检测比所述第1尺寸小的第2尺寸的所述结构物。
4.根据权利要求3所述的胸部X线图像的灰度变换方法，
在所述第1尺寸的所述结构物的检测中，从所述第1X线图像检测解剖结构作为所述第1尺寸的所述结构物，
在所述第2尺寸的所述结构物的检测中，从所述第2X线图像的所述搜索区域检测所述线结构作为所述第2尺寸的所述结构物。
5.根据权利要求3或4所述的胸部X线图像的灰度变换方法，
在所述搜索区域的设定中，使用从预先保存有所述第1尺寸的所述结构物与所述第2尺寸的所述结构物的相对位置关系的位置存储器读出的所述相对位置关系，设定所述搜索区域。
6.根据权利要求1至5中任一项所述的胸部X线图像的灰度变换方法，
在所述提取中，将使所述结构物的轮廓线向外侧和内侧膨胀预定像素数后的区域作为所述结构物的邻近区域。
7.根据权利要求1至5中任一项所述的胸部X线图像的灰度变换方法，
在所述提取中，将使所述结构物向外侧膨胀预定像素数后的区域作为所述结构物的邻近区域。
8.根据权利要求1至7中任一项所述的胸部X线图像的灰度变换方法，
在所述提取中，使用所述检测出的所有所述结构物。
9.根据权利要求1至7中任一项所述的胸部X线图像的灰度变换方法，
进一步，用户选择所述检测出的所述结构物中的一部分结构物，
在所述提取中，仅使用由所述用户选择出的所述一部分结构物。
10.根据权利要求1至9中任一项所述的胸部X线图像的灰度变换方法，
还将进行了所述亮度变换后的所述对象胸部X线图像显示于显示器，
在所述亮度变换中，使用所述对比度变换式、和向比所述对象胸部X线图像的灰度低的灰度变换的灰度削减式，进行所述对象胸部X线图像整体的各像素值的亮度变换。
11.一种图像灰度变换程序，使图像灰度变换装置的计算机作为取得部、检测部、提取部、平滑化部和亮度变换部而发挥功能，所述图像灰度变换装置将作为读片对象的胸部X线图像的对象胸部X线图像的灰度进行变换，
所述取得部取得所述对象胸部X线图像，
使用预先机器学习过的模型，所述检测部在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成，
所述提取部提取与所述结构物的邻近区域对应的像素集合，
所述平滑化部使用所述像素集合的直方图生成进行直方图平滑化的对比度变换式，
所述亮度变换部使用所述对比度变换式，进行所述对象胸部X线图像整体的各像素值的亮度变换。
12.一种图像灰度变换装置，具备：
取得部，其取得作为读片对象的胸部X线图像的对象胸部X线图像；
检测部，其使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
提取部，其提取与所述结构物的邻近区域对应的像素集合；
平滑化部，其使用所述像素集合的直方图生成进行直方图平滑化的对比度变换式；以及
亮度变换部，其使用所述对比度变换式，进行所述对象胸部X线图像整体的各像素值的亮度变换。
13.一种服务器装置，具备：
取得部，其取得作为读片对象的胸部X线图像的对象胸部X线图像；
检测部，其使用预先机器学习过的模型，在所述对象胸部X线图像中检测包括线结构的结构物，所述线结构由投影并描画出X线透射率互不相同的多个解剖结构的与周围亮度不同的第1线状区域、或者投影并描画出包括气管或支气管的壁或叶间裂的解剖结构的第2线状区域所形成；
提取部，其提取与所述结构物的邻近区域对应的像素集合；
平滑化部，其使用所述像素集合的直方图生成进行直方图平滑化的对比度变换式；
亮度变换部，其使用所述对比度变换式，进行所述对象胸部X线图像整体的各像素值的亮度变换；以及
通信控制部，其将进行了所述亮度变换后的所述对象胸部X线图像发送给外部的终端装置。
14.一种变换方法，包括：
取得X线图像，
在所述X线图像中检测线状区域，
决定所述线状区域的邻近区域，
使用多个第1像素的多个第1像素值生成变换式，多个第1像素是所述线状区域所包含的像素以及所述线状区域的邻近区域所包含的像素，
使用所述变换式，将多个第1像素值和多个第2像素的多个第2像素值变换为多个变换值，多个第2像素包含(i)包含于所述X线图像且不包含于所述线状区域的像素和(ii)包含于所述X线图像且不包含于所述邻近区域的像素，
所述变换式为
Figure FDA0002706739730000041
所述z为所述X线图像所包含的像素值，
所述q(z)为所述多个变换值所包含的所述像素值z的变换值，
所述H(i)为所述多个第1像素中的像素值为i的像素的数量，
所述Zmax为所述X线图像的多个像素的每一个能表示的最大像素值，
所述A为所述多个第1像素的数量。
CN201980023262.0A 2018-05-16 2019-04-12 胸部x线图像的灰度变换方法、灰度变换程序、灰度变换装置、服务器装置以及变换方法 Pending CN111918610A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-094737 2018-05-16
JP2018094737 2018-05-16
PCT/JP2019/015880 WO2019220825A1 (ja) 2018-05-16 2019-04-12 胸部ｘ線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法

Publications (1)

Publication Number Publication Date
CN111918610A true CN111918610A (zh) 2020-11-10

Family

ID=68539846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980023262.0A Pending CN111918610A (zh) 2018-05-16 2019-04-12 胸部x线图像的灰度变换方法、灰度变换程序、灰度变换装置、服务器装置以及变换方法

Country Status (4)

Country Link
US (1) US11406340B2 (zh)
JP (1) JPWO2019220825A1 (zh)
CN (1) CN111918610A (zh)
WO (1) WO2019220825A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918611B (zh) * 2018-05-16 2023-12-29 松下控股株式会社 胸部x线图像的异常显示控制方法、记录介质及装置
WO2019220825A1 (ja) * 2018-05-16 2019-11-21 パナソニック株式会社 胸部ｘ線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法
JP7314048B2 (ja) * 2019-12-26 2023-07-25 綜合警備保障株式会社 学習モデルの構築装置、学習モデルの構築方法及び学習モデルの構築プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879553A (zh) * 2005-06-15 2006-12-20 佳能株式会社 检测心脏、胸廓和横隔膜边界的方法、装置和存储介质
WO2008035286A2 (en) * 2006-09-22 2008-03-27 Koninklijke Philips Electronics N.V. Advanced computer-aided diagnosis of lung nodules
CN101546427A (zh) * 2008-02-27 2009-09-30 西门子电脑辅助诊断有限公司 一种抑制图像中的模糊特征的方法
JP2010259540A (ja) * 2009-04-30 2010-11-18 Canon Inc 画像処理装置及び画像処理方法
JP2012130518A (ja) * 2010-12-21 2012-07-12 Hitachi Medical Corp 画像処理装置、画像処理プログラム、及びｘ線画像診断装置
JP2012228407A (ja) * 2011-04-27 2012-11-22 Hitachi Medical Corp Ｘ線撮影装置
CN106558045A (zh) * 2016-10-20 2017-04-05 上海联影医疗科技有限公司 一种肺组织分割方法、装置，医学图像处理系统
CN106611416A (zh) * 2015-10-19 2017-05-03 上海联影医疗科技有限公司 一种医学图像中肺分割的方法及装置
JP2018000312A (ja) * 2016-06-28 2018-01-11 国立大学法人 大分大学 肺結節明瞭化画像における背景ノイズの抑制方法
JP2018064627A (ja) * 2016-10-17 2018-04-26 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4579507B2 (ja) * 2003-06-10 2010-11-10 キヤノン株式会社 画像処理装置
JPWO2015174206A1 (ja) 2014-05-16 2017-04-20 株式会社日立製作所 画像診断装置及び階調情報設定方法
JP6598149B2 (ja) * 2015-07-10 2019-10-30 国立大学法人 大分大学 胸部ｘ線画像における肺結節明瞭化法
WO2019220825A1 (ja) * 2018-05-16 2019-11-21 パナソニック株式会社 胸部ｘ線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879553A (zh) * 2005-06-15 2006-12-20 佳能株式会社 检测心脏、胸廓和横隔膜边界的方法、装置和存储介质
WO2008035286A2 (en) * 2006-09-22 2008-03-27 Koninklijke Philips Electronics N.V. Advanced computer-aided diagnosis of lung nodules
CN101546427A (zh) * 2008-02-27 2009-09-30 西门子电脑辅助诊断有限公司 一种抑制图像中的模糊特征的方法
JP2010259540A (ja) * 2009-04-30 2010-11-18 Canon Inc 画像処理装置及び画像処理方法
JP2012130518A (ja) * 2010-12-21 2012-07-12 Hitachi Medical Corp 画像処理装置、画像処理プログラム、及びｘ線画像診断装置
JP2012228407A (ja) * 2011-04-27 2012-11-22 Hitachi Medical Corp Ｘ線撮影装置
CN106611416A (zh) * 2015-10-19 2017-05-03 上海联影医疗科技有限公司 一种医学图像中肺分割的方法及装置
JP2018000312A (ja) * 2016-06-28 2018-01-11 国立大学法人 大分大学 肺結節明瞭化画像における背景ノイズの抑制方法
JP2018064627A (ja) * 2016-10-17 2018-04-26 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム
CN106558045A (zh) * 2016-10-20 2017-04-05 上海联影医疗科技有限公司 一种肺组织分割方法、装置，医学图像处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈胜 等: "基于小波变换的多神经网络胸片骨骼分离", 电子科技, vol. 28, no. 5, pages 124 - 126 *

Also Published As

Publication number Publication date
US20210045704A1 (en) 2021-02-18
JPWO2019220825A1 (ja) 2021-06-17
WO2019220825A1 (ja) 2019-11-21
US11406340B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
KR101264182B1 (ko) 화상 처리 방법 및 화상 처리 장치
CN110889005B (zh) 搜索医学参考图像
US20150287188A1 (en) Organ-specific image display
US11406340B2 (en) Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method
CN111127430A (zh) 确定医学影像显示参数的方法及装置
JP2020179159A (ja) 肝臓腫瘍例のレビューを容易にするシステムおよび方法
EP3201876B1 (en) Medical image processing apparatus, medical image processing method
JP2004041694A (ja) 画像生成装置およびプログラム、画像選択装置、画像出力装置、画像提供サービスシステム
Bhairannawar Efficient medical image enhancement technique using transform HSV space and adaptive histogram equalization
US20180365876A1 (en) Method, apparatus and system for spine labeling
CN105678750B (zh) 医学图像的灰度映射曲线生成方法及装置
JP6747785B2 (ja) 医用画像処理装置及び医用画像処理方法
JP7456928B2 (ja) 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
KR101467380B1 (ko) 의료 영상 화질 개선 방법 및 그 장치
JP4668289B2 (ja) 画像処理装置および方法並びにプログラム
CN111723836A (zh) 图像相似度的计算方法及装置、电子设备、存储介质
JP2018524071A (ja) 医用画像を表示するための伝達関数の選択
US9153016B2 (en) Method and system for enhancing contrast of spatially-localized phenomena in mammography image
CN108242049A (zh) 一种针对gpu优化的全尺度dr影像增强处理方法
JP2003224775A (ja) 時系列処理画像の表示装置
CN113299369B (zh) 一种医学图像调窗优化方法
JP2021019714A (ja) 画像処理装置、画像処理方法及びｘ線ｃｔ装置
CN106683058A (zh) 医学图像的校正方法及其装置
EP4266255A1 (en) Method and system for generating label of medical image
JP7129754B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Osaka, Japan

Applicant after: Panasonic Holding Co.,Ltd.

Address before: Osaka, Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201110