CN112804943A - 学习完成模型的制作方法、亮度调整方法以及图像处理装置 - Google Patents

学习完成模型的制作方法、亮度调整方法以及图像处理装置 Download PDF

Info

Publication number
CN112804943A
CN112804943A CN201880098416.8A CN201880098416A CN112804943A CN 112804943 A CN112804943 A CN 112804943A CN 201880098416 A CN201880098416 A CN 201880098416A CN 112804943 A CN112804943 A CN 112804943A
Authority
CN
China
Prior art keywords
image
learning
loss function
brightness adjustment
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880098416.8A
Other languages
English (en)
Other versions
CN112804943B (zh
Inventor
高桥涉
田川雄介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN112804943A publication Critical patent/CN112804943A/zh
Application granted granted Critical
Publication of CN112804943B publication Critical patent/CN112804943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

该学习完成模型(10)的制作方法具备对学习模型(11)进行优化以使损失函数(A)的值变小的步骤。损失函数(A)构成为：与相对于训练数据(20)而言进行了亮度调整而得到的亮度调整后图像(3)的规定区域(PA)的对比度变小的情况相比，在相对于训练数据而言亮度调整后图像的规定区域的对比度变大的情况下，输出相对大的值。

Description

学习完成模型的制作方法、亮度调整方法以及图像处理装置
技术领域
本发明涉及一种放射线图像的亮度调整方法。
背景技术
以往，已知对拍摄被摄体而得到的医用放射线图像进行亮度调整以使其成为适于诊断的亮度和对比度。这种放射线图像的亮度调整例如在日本特开2015-181543号公报中有所公开。
在上述日本特开2015-181543号公报中公开了以下内容：从对被摄体进行拍摄而得到的输入图像提取出主要被摄体区域，获取代表该区域的亮度值的代表值，计算用于强调或抑制代表值的附近的对比度的灰度变换系数，使用计算出的灰度变换系数，按照规定的算法来对输入图像的各像素的亮度值(像素值)进行变换，由此进行输入图像的亮度调整。
现有技术文献
专利文献
专利文献1：日本特开2015-181543号公报
发明内容
发明要解决的问题
在放射线图像的亮度调整中，期望的是，在图像中的与被摄体等的诊断有关的区域中使对比度变大来提高视觉识别性，另一方面，在该区域中不产生像素值的饱和。像素值的饱和是指因超过像素值的上限或下限的水平的信号而导致像素的信息丢失，超过了上限值的像素被称为所谓的“全白(日语：白飛び)”，低于下限值的像素被称为所谓的“全黑(日语：黒つぶれ)”。通过亮度调整而越使对比度变大，则越容易产生像素值的饱和，因此关于亮度调整，优选的是，在与被摄体等的诊断有关的区域中不产生像素值的饱和的条件下尽量提高与诊断有关的区域的对比度。
在上述日本特开2015-181543号公报所公开的技术中，按照固定的算法来进行亮度调整，因此难以应对区域的提取错误的发生、像素值的分布与通常大不相同的人工关节等例外事例，有时在与被摄体等的诊断有关的区域中会发生全白或全黑。因此，近年来，尝试使用通过机器学习得到的学习完成模型，来根据输入图像直接输出亮度调整参数。如果机器学习有效地发挥功能，则能够期待能够在与被摄体等的诊断有关的区域中抑制全白或全黑的发生同时尽量使对比度变大，并且也能够应对人工关节等例外事例。
但是，在机器学习中，使用大量的学习用数据来进行统计性的学习，因此输出的亮度调整参数相对于最优值(用于在与被摄体等的诊断有关的区域中不产生像素值的饱和的条件下尽量使对比度变大的值)分别向使对比度变大的方向和使对比度变小的方向偏差。因此，在进行了输出最优值的机器学习而得到的学习完成模型中，存在如下问题点：若输出的亮度调整参数相对于最优值向使对比度变大的方向偏差，则有可能发生全白或全黑(像素值的饱和)。
本发明是为了解决上述那样的问题而完成的，本发明的1个目的在于提供一种在使用了通过机器学习得到的学习完成模型的亮度调整中，能够抑制在图像中的与被摄体等的诊断有关的区域中发生全白或全黑的学习完成模型的制作方法、亮度调整方法以及图像处理装置。
用于解决问题的方案
为了达成上述目的，本发明的第一方面的学习完成模型的制作方法是通过将拍到了被摄体的放射线图像作为输入、并输出放射线图像的亮度调整参数的机器学习得到的学习完成模型的制作方法，包括以下步骤：将训练数据中包含的输入图像作为输入，通过学习模型来输出输入图像的亮度调整参数；使用通过学习模型得到的亮度调整参数，来获取与亮度调整参数有关的损失函数的值；以及对学习模型进行优化以使损失函数的值变小，其中，损失函数构成为：与相对于训练数据而言基于亮度调整参数进行了亮度调整而得到的亮度调整后图像的规定区域的对比度变小的情况相比，在相对于训练数据而言亮度调整后图像的规定区域的对比度变大的情况下，输出相对大的值，由此使学习偏向使对比度变小的方向。
在本发明的第一方面的学习完成模型的制作方法中，通过上述的结构，在相对于训练数据而言亮度调整后图像的规定区域的对比度变大的情况下，损失函数输出相对大的值，因此能够获得抑制了输出使对比度大得超过最优值那样的亮度调整参数的学习完成模型。也就是说，在所制作出的学习完成模型中，能够使针对放射线图像而输出的亮度调整参数的预测分布相对于最优值(用于在与被摄体等的诊断有关的规定区域中不产生像素值的饱和的条件下尽量使对比度变大的值)偏向使对比度变小的方向。由此，能够抑制由于使规定区域的对比度变得过大而在亮度调整后图像的规定区域中发生全白或全黑(像素值的饱和)。通过以上，在使用了通过机器学习得到的学习完成模型的亮度调整中，能够抑制在图像中的与被摄体等的诊断有关的区域(规定区域)中发生全白或全黑。
在上述第一方面的学习完成模型的制作方法中，也可以是，损失函数构成为：在亮度调整后图像的规定区域中由于像素值的饱和而发生全白或全黑的情况下，与在规定区域中不产生像素值的饱和的情况相比，输出相对大的值。如果这样构成，则在规定区域中发生全白或全黑的情况下，损失函数的值偏向于变大，因此能够获得进行了偏向于抑制规定区域中的全白或全黑的发生的学习的学习完成模型。
在上述第一方面的学习完成模型的制作方法中，也可以是，损失函数包含权重函数，与相对于训练数据而言亮度调整后图像的对比度变小的情况相比，在相对于训练数据而言亮度调整后图像的对比度变大的情况下，该权重函数被赋予大的权重。如果这样构成，则无需为了根据对比度使输出值偏向而准备多个损失函数，能够利用权重函数来使损失函数的值容易地偏向。
在上述第一方面的学习完成模型的制作方法中，也可以是，损失函数是基于训练数据中包含的训练参数与针对训练数据中包含的输入图像的亮度调整参数之间的误差的函数。在使用了基于亮度调整参数的误差的损失函数的机器学习中，能够认为误差相对于最优值而言向对比度变小的方向和向对比度变大的方向对称地偏差。因此，在利用无偏向的损失函数进行了学习的情况下，存在以下可能性：从学习完成模型输出的亮度调整参数的预测分布中的一半相对于最优值向使对比度变大的方向偏差，从而发生全白或全黑(像素值的饱和)。根据上述结构，即使是基于训练参数与亮度调整参数之间的误差的损失函数，也能够抑制误差相对于最优值被对称地评价，在相对于最优值而言对比度变大的情况下能够使损失函数的值相对地变大，因此在效果上，能够抑制在规定区域中发生像素值的饱和。
在上述第一方面的学习完成模型的制作方法中，也可以是，损失函数是基于训练数据中包含的训练图像的像素值与亮度调整后图像的像素值之间的比较的函数，其中，亮度调整后图像是对训练数据中包含的输入图像基于亮度调整参数进行了亮度调整而得到的图像。在此，训练图像是基于被认为是最优值的亮度调整参数进行了亮度调整而得到的亮度调整后图像。在使用了基于像素值的比较的损失函数的机器学习中，当在亮度调整后图像中发生了全白或全黑(像素值的饱和)时，与该区域的像素值发生饱和的程度相应地被评价得过小，因此容易进行偏向使对比度变大的方向的学习。其结果，在利用无偏向的损失函数进行了学习而得到的学习完成模型中，存在以下可能性：输出的亮度调整参数相对于最优值向使对比度变大的方向偏差，从而发生全白或全黑(像素值的饱和)。因此，根据上述结构，即使是基于像素值的比较的损失函数，在相对于最优值而言对比度变大的情况下能够使损失函数的值相对地变大，从而能够抑制因像素的饱和而使得误差被评价得过小，因此在效果上，能够抑制在规定区域中发生像素值的饱和。
在上述损失函数是基于训练图像的像素值与亮度调整后图像的像素值之间的比较的函数的情况下，也可以是，损失函数构成为：在图像中的规定区域中发生像素值的饱和的情况下，与在规定区域以外的区域中发生像素值的饱和的情况相比，输出大的值。在此，例如图像中的拍到被摄体的规定区域与规定区域以外的背景的区域在诊断上的重要度不同。因此，通过在规定区域中发生像素值的饱和的情况下使损失函数的值相对地变大，在规定区域以外使损失函数的值相对地变小，能够抑制在规定区域中发生像素值的饱和，同时能够抑制因重要度低的规定区域以外的区域中的误差而导致学习受到影响。
在该情况下，也可以是，损失函数基于训练数据中包含的规定区域的位置信息和损失函数的偏向信息，针对输入图像中的每个位置被设定偏向的大小。如果这样构成，则能够基于规定区域的位置信息来区分规定区域与规定区域以外的区域，并基于损失函数的偏向信息来确定规定区域与规定区域以外的区域中的损失函数的偏向的大小关系，因此能够容易地根据图像中的区域来使损失函数的偏向的大小不同。
在上述第一方面的学习完成模型的制作方法中，也可以是，规定区域包含拍到被摄体的区域的至少一部分。如果这样构成，则能够获得使学习偏向使图像中与诊断有关的拍到被摄体的区域中的对比度变小的方向的学习完成模型，因此能够使用由学习完成模型输出的亮度调整参数，更可靠地抑制在拍到被摄体的区域中发生全白或全黑。
在上述第一方面的学习完成模型的制作方法中，也可以是，亮度调整参数包含：窗位，其用于规定在放射线图像中变换为亮度调整后图像的像素值范围的中心值；以及窗宽，其用于规定像素值范围的大小。在这种基于窗位和窗宽的亮度调整中，能够根据窗宽的值来调整规定区域的像素值的对比度的大小。因此，与大量的参数对对比度产生影响的情况相比，能够通过损失函数来容易地进行对比度的评价。
本发明的第二方面的亮度调整方法是使用了将拍到了被摄体的放射线图像作为输入、并输出放射线图像的亮度调整参数的机器学习的亮度调整方法，包括以下步骤：获取放射线图像；使用通过机器学习得到的学习完成模型，来获取针对放射线图像的亮度调整参数；以及基于亮度调整参数，对放射线图像进行亮度调整来获取亮度调整后图像，其中，学习完成模型是通过进行与亮度调整参数有关的损失函数的优化的学习来制成的，损失函数构成为：与相对于机器学习的训练数据而言亮度调整后图像的规定区域的对比度变小的情况相比，在相对于训练数据而言亮度调整后图像的规定区域的对比度变大的情况下，输出相对大的值，由此使学习偏向使对比度变小的方向。
在本发明的第二方面的亮度调整方法中，通过上述的结构，在相对于训练数据而言亮度调整后图像的规定区域的对比度变大的情况下，损失函数输出相对大的值。其结果，在利用该损失函数进行了机器学习而得到的学习完成模型中，能够使针对放射线图像而输出的亮度调整参数的预测分布相对于最优值偏向于使对比度变小的方向。因此，即使是进行了输出最优值的学习而得到的学习完成模型，也能够抑制输出使对比度大得超过最优值那样的亮度调整参数，因此即使使用所输出的亮度调整参数来进行亮度调整，也能够抑制因使规定区域的对比度变得过大而在亮度调整后图像的规定区域中发生全白或全黑(像素值的饱和)。通过以上，在使用了通过机器学习得到的学习完成模型的亮度调整中，能够抑制在图像中的与被摄体等的诊断有关的区域(规定区域)中发生全白或全黑。
在上述第二方面的亮度调整方法中，也可以是，还包括以下步骤：获取与被摄体的摄影部位或摄影目的有关的信息，在获取亮度调整参数的步骤中，基于与摄影部位或摄影目的有关的信息，从多个学习完成模型中选择亮度调整中使用的学习完成模型。此外，摄影部位是指被摄体的头部、腹部、腰部、四肢等作为拍摄的对象的各个部位。摄影目的是指想通过拍摄出的图像来把握的诊断内容或图像的用途，例如虽然是胸部图像，但要把握心脏、肺、骨头中的哪一个的病变之类的。在此，在医用放射线图像中，与摄影部位、摄影目的相应地，应该描绘的对象不同，因此有可能亮度调整参数的最优值也大不相同。因此，通过根据摄影部位或摄影目的来分别地准备进行了学习而得到的多个学习完成模型，并基于与摄影部位或摄影目的有关的信息来进行学习完成模型的选择，能够进行与摄影部位或摄影目的相应的最优的亮度调整。
本发明的第三方面的图像处理装置具备：图像获取部，其获取放射线图像；存储部，其存储通过将拍到了被摄体的放射线图像作为输入、并输出放射线图像的亮度调整参数的机器学习得到的学习完成模型；参数获取部，其使用学习完成模型，来获取针对放射线图像的亮度调整参数；以及调整处理部，其基于亮度调整参数，对放射线图像进行亮度调整来获取亮度调整后图像，其中，学习完成模型是通过进行与亮度调整参数有关的损失函数的优化的学习来制成的，损失函数构成为：与相对于机器学习的训练数据而言亮度调整后图像的规定区域的对比度变小的情况相比，在相对于训练数据而言亮度调整后图像的规定区域的对比度变大的情况下，输出相对大的值，由此使学习偏向使对比度变小的方向。
在第三方面的图像处理装置中，通过上述的结构，与第二方面的亮度调整方法同样地，在使用了通过机器学习得到的学习完成模型的亮度调整中，能够抑制在图像中的与被摄体等的诊断有关的区域(规定区域)中发生全白或全黑。
发明的效果
根据本发明，如上所述，在使用了通过机器学习得到的学习完成模型的亮度调整中，能够抑制在图像中的与被摄体等的诊断有关的区域中发生全白或全黑。
附图说明
图1是用于说明第一实施方式的亮度调整方法和学习完成模型的制作方法的图。
图2是示出了放射线图像的一例的图。
图3是用于说明学习完成模型的图。
图4是用于说明亮度调整的内容的图。
图5是示出灰度变换的第一例(A)和第二例(B)的图。
图6是示出了多个窗宽的图(A)、以及用于说明在各窗宽下的灰度变换的图(B)～(D)。
图7是示出了第一实施方式中的损失系数的变化(A)和亮度调整参数的预测分布(B)的图。
图8是用于说明具备第一实施方式的图像处理装置的摄像系统的图。
图9是用于说明图像处理装置的结构的框图。
图10是用于说明由图像处理装置进行的亮度调整方法的流程图。
图11是亮度调整参数的获取处理(子例程)的流程图。
图12是用于说明与摄影部位或摄影目的有关的信息的图。
图13是示出了进行机器学习的学习数据处理部的图。
图14是用于说明第一实施方式的学习完成模型的制作方法的流程图。
图15是用于说明针对训练数据的输入图像的图像改变处理的图。
图16是示出了第二实施方式的损失函数和训练数据的图。
图17是示出了输入图像(A)、针对输入图像的权重映射图的例子(B)和(C)的图。
图18是示出了第二实施方式中的损失系数的变化(A)以及亮度调整参数的预测分布(B)的图。
具体实施方式
下面，基于附图来说明将本发明具体化而得到的实施方式。
参照图1～图15来说明第一实施方式的学习完成模型的制作方法、亮度调整方法以及图像处理装置。
(亮度调整方法和学习完成模型的制作方法的概要)
图1所示的第一实施方式的亮度调整方法是使用了将拍到了被摄体的放射线图像1作为输入、并输出放射线图像1的亮度调整参数2的机器学习的亮度调整方法。
放射线图像1是医生等对患者进行诊断等时使用的医用图像，例如是如图2所示的X射线图像。具体地说，放射线图像1是通过所谓的普通X射线摄影来对被摄体的诊断部位(患部)进行拍摄而得到的静止图像。放射线图像1例如是利用以规定的灰度数进行分割而得到的像素值来表现每个像素的浓淡(明暗)而成的单色的数字图像。在图2中，示出了对被检体的腰部的大腿骨周边进行拍摄而得到的放射线图像1的例子。在基于放射线图像1的诊断中，为了能够更准确地把握作为诊断目的的患部的状态，进行放射线图像1的亮度调整。亮度调整也称为灰度变换。
具体地说，如图1所示，第一实施方式的亮度调整方法包括以下步骤：步骤S1，获取放射线图像1；步骤S2，使用通过机器学习得到的学习完成模型10，来获取针对放射线图像1的亮度调整参数2；以及步骤S3，基于亮度调整参数2，对放射线图像1进行亮度调整来获取亮度调整后图像3。
在步骤S1中，例如通过由X射线摄影装置等构成的摄像部210来获取拍到被摄体的放射线图像1。在步骤S1中，也可以从图像服务器250获取预先存储于用于存储图像的图像服务器250的放射线图像1。
在步骤S2中，学习完成模型10当被输入作为亮度调整的对象的放射线图像1时，输出针对所输入的图像的亮度调整参数2。学习完成模型10被进行了针对所输入的图像(放射线图像1)输出对于诊断而言最优的亮度调整参数2的机器学习。作为机器学习法，只要是适于输出针对所输入的图像的亮度调整参数2的处理的方法即可，没有特别限定。
作为一例，在第一实施方式中，如图3所示，学习完成模型10具有由卷积神经网络CNN形成的前级、以及由全连接层FC形成的后级。能够认为，这样的学习完成模型10通过前级的卷积神经网络CNN而具有从放射线图像1中识别出对于诊断而言重要的规定区域的图像识别的功能，通过后级的全连接层FC而具有将前级的输出变换为亮度调整参数2的功能。通过学习完成模型10具备卷积神经网络CNN的高精度的图像识别功能，能够期待有效地抑制在对于诊断而言重要的区域中的全白或全黑等像素值的饱和。另外，通过卷积神经网络CNN的多层化(深度化)，能够期待还能够应对各个放射线图像1的个体差异、人工关节等例外的事例。
如图1所示，为了制成进行输出亮度调整参数2的处理的学习完成模型10，要进行使用大量的训练数据20的机器学习。在本说明书中，将学习完成模型10的制作阶段的、通过机器学习进行学习中的状态设为学习模型11。对学习模型11进行了机器学习而得到的是学习完成模型10。
在第一实施方式中，机器学习中使用的训练数据20包含输入图像21和训练参数22。输入图像21是为了学习用而预先准备的放射线图像(参照图2)，是进行亮度调整之前的原始图像。训练参数22是作为针对输入图像21而输出的亮度调整参数的最优值而制成的正确答案数据。
在医用放射线图像中，为了提高关注区域的视觉识别性，期望在图像中的与被摄体等的诊断有关的规定区域PA(参照图2)中获得尽量大的对比度。另一方面，在医用放射线图像中，期望在图像中的与被摄体等的诊断有关的规定区域PA中不产生所谓的全白或全黑等像素值的饱和。另一方面，在医用放射线图像中，关于图像中的被摄体等规定区域PA以外的、背景或与诊断无关的区域PB(参照图2)，允许发生对比度的下降、像素值的饱和。因此，医用放射线图像中的亮度调整参数的最优值能够定义为是在与诊断有关的规定区域PA中不产生像素值的饱和的条件下使规定区域PA的对比度尽量变大的值。训练参数22是针对各个输入图像21例如通过由训练数据制成者进行参数调整的作业来导出的最优值。
在制作学习完成模型时，将输入图像21作为输入，将亮度调整参数2作为输出，使学习模型11学习从输入图像21向训练参数22的变换处理。在机器学习中，定义用于对学习中的学习模型11的输出结果(亮度调整参数2)与训练数据20(训练参数22)之间的差异进行评价的损失函数。在机器学习中，通过使损失函数变小的优化运算，来使学习模型11的内部参数进行优化(学习)以输出使得与训练数据20之间的差异最小化的输出结果。使用对于使学习收敛而言足够数量的训练数据20，经过对于使学习收敛而言足够的次数来进行学习模型11的优化(学习)，由此制作学习完成模型10。这样，学习完成模型10是通过进行与亮度调整参数2有关的损失函数的优化的学习来制成的。
在此，第一实施方式的损失函数A构成为：与相对于机器学习的训练数据20而言亮度调整后图像3的规定区域PA(参照图2)的对比度变小的情况相比，相对于训练数据20而言亮度调整后图像3的规定区域PA的对比度变大的情况下，输出相对大的值，由此使学习偏向使对比度变小的方向。
如上所述，规定区域PA(参照图2)是在医用放射线图像中与图像中的被摄体等的诊断有关的区域。规定区域PA包含拍到被摄体的区域的至少一部分。规定区域PA无需是拍到被摄体的区域的全部，能够只设定为拍到被摄体的区域的一部分。与诊断有关的关注区域是被摄体中能够认为存在疾患的一部分区域。因此，规定区域PA能够是拍到被摄体的区域中的包含关注区域的一部分区域。
在步骤S3中，进行基于亮度调整参数2的亮度调整的处理。其结果，获取对所输入的放射线图像1的亮度进行调整而得到的亮度调整后图像3。亮度调整后图像3例如被输出到显示装置，来用于医生等的诊断。
〈亮度调整参数〉
接着，说明学习完成模型10所输出的亮度调整参数2。在第一实施方式中，亮度调整(灰度变换)处理的内容没有特别限定，亮度调整参数2只要与图像的亮度调整处理相应即可，没有特别限定。在第一实施方式中，作为一例，说明基于窗口处理的亮度调整，该窗口处理是将输入图像的灰度范围中的一部分范围变换为显示用的灰度范围的处理。
图4是放射线图像1的像素值(灰度)的直方图HG与亮度调整后的输出灰度的概念图。直方图HG的横轴是输入图像中的像素值，直方图HG的纵轴是具有该像素值的像素数量(频度)。
在窗口处理中，提取出所输入的图像中的、通过亮度调整参数2确定出的一部分灰度范围，并将其变换为与亮度调整后的输出灰度范围相配合。由此，在窗口处理中，通过亮度调整参数2来确定构成与诊断有关的规定区域PA(参照图2)的图像部分所具有的像素值范围，由此能够调节规定区域PA的对比度。另外，在窗口处理中，能够提取原始的放射线图像1中的灰度范围的一部分，将其变换为显示装置能够输出的灰度范围。如图4所示，医用放射线图像的灰度数一般来说比显示装置能够显示的灰度数大。例如医用放射线图像是具有0～4095的4096灰度(12bit)的像素值的图像数据。另一方面，一般的显示装置以0～255的256灰度(8bit)进行显示。在下面，说明将4096灰度的输入图像变换为256灰度的灰度范围的窗口处理的例子。
亮度调整参数2包含：窗位WL，其用于规定在放射线图像1中变换为亮度调整后图像3的像素值范围的中心值；以及窗宽WW，其用于规定像素值范围的大小。在亮度调整处理中，将以窗位WL为中心的窗宽WW的灰度范围分配到输出灰度(0～255)，由此进行亮度调整。此时，在放射线图像1中，具有窗宽WW的下限值VL以下的像素值(0～VL)的像素在亮度调整后图像3中被变换为最低灰度(0灰度)。在放射线图像1中，具有窗宽WW的上限值VH以上的像素值(VH～4095)的像素在亮度调整后图像3中被变换为最大灰度(255灰度)。由此，亮度调整后图像3成为用与输出灰度相应的灰度数来表现的图像。窗宽WW的灰度范围既可以比输出灰度的范围(256灰度)大，也可以比其小。
图5示出了将窗宽WW的灰度范围变换为输出灰度(0～255)的情况下的变换特性(浓度变换曲线)的例子。在亮度调整中，既可以如图5的(A)那样将窗宽WW的灰度范围用一次式(线性的变换特性)来变换为输出灰度，也可以如图5的(B)那样将窗宽WW的灰度范围用二次式、对数函数等非线性的变换特性来变换为输出灰度。在图5的(B)那样的事例中，亮度调整参数2也可以包含用于决定变换特性(浓度变换曲线的形状)的追加的参数。
如图6的(A)所示，例如假设为由直方图HG中的标注了阴影的范围中包含的像素构成了规定区域PA的图像部分。此时，考虑以下情况：以比规定区域PA(阴影部)的灰度范围大的WWa、与规定区域PA的灰度范围一致的WWb、比规定区域PA的灰度范围小的WWc这3种模式来设定窗宽WW。
在用WWa设定窗宽WW的情况下，如图6的(B)所示，规定区域PA的灰度范围WWb在亮度调整后图像3中用输出灰度范围(0～255)中的一部分范围来表现。规定区域PA用比256灰度窄的范围来表现。
在用WWb设定窗宽WW的情况下，如图6的(C)所示，规定区域PA的灰度范围WWb在亮度调整后图像3中用输出灰度范围(0～255)的整个范围来表现。因此，与用WWa设定窗宽WW的情况相比，对比度增大。
在用WWc设定窗宽WW的情况下，如图6的(D)所示，规定区域PA的灰度范围WWb比窗宽WWc宽，因此关于构成规定区域PA的像素中的、具有窗宽WWc的外侧的像素值(窗宽WWc的上限值VH以上的像素值、以及窗宽WWc的下限值VL以下的像素值)的像素，在亮度调整后图像3中像素值饱和从而表现为0灰度或255灰度。关于在规定区域PA之内属于窗宽WWc的内侧的像素，在亮度调整后图像3中用输出灰度范围(0～255)的整个范围来表现，因此对比度增大。
这样，在亮度调整参数2中，越缩小窗宽WW，则亮度调整后图像3中的规定区域PA的对比度越变大。换言之，越缩小窗宽WW，则用越多的灰度数来表现在亮度调整后图像3中包含于规定区域PA的像素的浓淡(明暗)，因此对比度分辨率变高。另一方面，当过分缩小窗宽WW时，在亮度调整后图像3的规定区域PA中发生全白或全黑等像素值的饱和。越扩大窗宽WW，则亮度调整后图像3中的规定区域PA的对比度越变小。越扩大窗宽WW，则用越少的灰度数来表现在亮度调整后图像3中包含于规定区域PA的像素的浓淡(明暗)，因此对比度分辨率变低。
〈损失函数〉
接着，说明损失函数。如图1示出的那样，机器学习中使用的训练数据20(训练参数22)用于提供亮度调整参数2的最优值(正确答案)，因此尽量设计为将灰度范围WWb(参照图6)设为窗宽WW。学习完成模型10构成为：通过使用损失函数来进行的优化，针对所输入的放射线图像1，将与灰度范围WWb相当的窗宽WW的值作为亮度调整参数2来输出。因此，在作为亮度调整参数2的窗宽WW向比最优值(WWb)大的方向偏差的情况下，与最优值相比，对比度变小，向在规定区域PA中不易发生像素值的饱和的方向进行亮度调整。另一方面，在作为亮度调整参数2的窗宽WW向比最优值(WWb)小的方向偏差的情况下，与最优值相比，对比度变大，向在规定区域PA中易于发生全白或全黑等像素值的饱和的方向进行亮度调整。
因此，如图1示出的那样，在第一实施方式中，损失函数A构成为：与相对于机器学习的训练数据20而言亮度调整后图像3的规定区域PA的对比度变小的情况相比，在相对于训练数据20而言亮度调整后图像3的规定区域PA的对比度变大的情况下，输出相对大的值，由此使学习偏向使对比度变小的方向。
即，损失函数A是如以下那样设计得到的函数：在从学习中的学习模型11输出的亮度调整参数2相对于作为最优值的训练数据20而言向使对比度变小的方向具有误差的情况下，将误差评价得相对小，在从学习中的学习模型11输出的亮度调整参数2相对于作为最优值的训练数据20而言向使对比度变大的方向具有误差的情况下，将误差评价得相对大。在机器学习中，对学习模型11进行优化以使损失函数A变小，因此针对使对比度变大的方向上的误差，损失函数A的输出值变大，其结果，学习模型11的学习偏向进一步抑制对比度的方向。
因而，假设在从学习中的学习模型11输出的亮度调整参数2输出比作为最优值(WWb)的训练参数22小的窗宽WW、从而在规定区域PA中产生了像素值的饱和(全白或全黑)的情况下，相对大地估算损失函数A。这样，在第一实施方式中，损失函数A构成为：在亮度调整后图像3的规定区域PA中由于像素值的饱和而发生全白或全黑的情况下，与在规定区域PA中不产生像素值的饱和的情况相比，输出相对大的值。
示出损失函数A的具体例。在第一实施方式中，损失函数A是基于训练数据20中包含的训练参数22与针对训练数据20中包含的输入图像21的亮度调整参数2之间的误差的函数。
另外，损失函数A包含权重函数，与相对于训练数据20而言亮度调整后图像3的对比度变小的情况相比，在相对于训练数据20而言亮度调整后图像3的对比度变大的情况下，该权重函数被赋予大的权重。
例如，损失函数A是下式(1)所示的加权均方误差。
[数1]
Figure BDA0003005546600000151
在此，
Figure BDA0003005546600000152
在上式(1)中，WL、WW分别是学习中的学习模型11针对输入图像21输出的窗位和窗宽(亮度调整参数2)。WL0、WW0是训练数据20中包含的窗位和窗宽(训练参数22)。WW0是与图6中例示的最优值(WWb)相当的值。f(r)是权重函数。w是权重的值(w>1)。
在权重函数f(r)中，在学习模型11的输出结果与训练数据20之间的误差(WW-WW0)为负的情况(窗宽WW比最优值小、对比度大的情况)下，权重w的值被考虑在内来将误差估算得相对大。在权重函数f(r)中，在学习模型11的输出结果与训练数据20之间的误差(WW-WW0)为正的情况(窗宽WW比最优值大、对比度小的情况)下，不将权重w考虑在内，而是将误差的值保持原样地输出。权重w没有特别限定，但是例如为10。在该情况下，与误差(WW-WW0)为正的情况相比，在误差(WW-WW0)为负的情况下，损失函数A将误差评价得大10倍。
由此，损失函数A在相对于训练数据20而言亮度调整后图像3的规定区域PA的对比度变大的情况(误差(WW-WW0)为负的情况)下输出相对大的值，由此使学习偏向使对比度变小的方向。
接着，参照图7来说明通过第一实施方式的损失函数A而产生的学习的偏向对学习完成模型10所输出的亮度调整参数2带来的影响。图7的(A)是示出了与窗宽WW(横轴)相对的、损失函数A的输出值(纵轴)的变化的曲线图，图7的(B)是示出使用损失函数A来进行了优化的学习完成模型10所输出的窗宽WW的预测分布PD的曲线图。预测分布PD表示学习完成模型10输出横轴的各窗宽WW的值的频度(概率)。
作为比较例，用虚线表示使用了基于不包含加权的单纯的均方误差的损失函数RMSE的事例。比较例的损失函数RMSE用下式(2)来表示。
[数2]
Figure BDA0003005546600000161
根据上式(2)和图7的(A)可知，比较例的损失函数RMSE相对于误差的方向(窗宽WW的大小)是对称的。因此，能够认为，使用损失函数RMSE来进行了优化的学习完成模型的输出结果的预测分布CD是相对于最优值WW0对称的分布。如上所述，能够想到，在输出的窗宽WW相对于最优值WW0向小的一侧偏移的情况下，在规定区域PA发生像素值的饱和。在使用比较例的损失函数RMSE来进行了优化的学习完成模型中，根据输出结果的预测分布CD的对称性，有可能在输出的窗宽WW中的大约一半的事例中，在规定区域PA中发生像素值的饱和。
与此相对，在图7中用实线示出的损失函数A在最优值(WW0)时取极小值，并且在窗宽WW比最优值(训练数据20)小的方向上被估算得大与权重系数W相当的量，因此非对称地偏向。
因此，使用第一实施方式的损失函数A来进行了优化的学习完成模型10的输出结果的预测分布PD是以下分布：在该分布中，相对于最优值WW0，与使对比度变大的方向(缩小窗宽WW的方向)相比，偏向使对比度变小的方向(扩大窗宽WW的方向)。
其结果，根据预测分布PD可知，在使用第一实施方式的损失函数A来进行了优化的学习完成模型10中，抑制了输出的窗宽WW超过最优值WW0地向使对比度变大的方向(缩小窗宽WW的方向)偏差，抑制了在规定区域PA发生像素值的饱和的可能性。
(图像处理装置)
接着，参照图8和图9来说明第一实施方式的图像处理装置100。图像处理装置100构成为：使用通过针对拍到了被摄体的放射线图像1而输出放射线图像1的亮度调整参数2的机器学习得到的学习完成模型10，来进行亮度调整处理。即，图像处理装置100是作为执行上述的第一实施方式的亮度调整方法的装置来构成的。
在图8的例子中，图像处理装置100构成为拍摄被摄体的放射线图像1的摄像系统200的一部分。摄像系统200具备摄像部210、控制部220、图像处理装置100、操作部230以及显示部240。操作部230是键盘、鼠标及其它输入装置。显示部240由液晶显示装置等图像显示装置构成。
摄像部210包含顶板211、X射线照射部212以及X射线检测部213。顶板211构成为对被摄体SB(人)进行支承。X射线照射部212构成为向被摄体SB照射X射线。X射线检测部213例如由FPD(Flat Panel Detector：平板探测器)构成，构成为检测从X射线照射部212照射并透过被摄体SB的X射线。通过摄像部210来获取拍到了被摄体的关注区域的X射线图像(参照图2)来作为放射线图像1。
控制部220是构成为对摄像部210的拍摄动作进行控制的计算机。控制部220进行使顶板211、X射线照射部212以及X射线检测部213移动的未图示的移动机构的控制、X射线照射部212所进行的X射线照射的控制、摄影条件的设定等各种控制。
另外，图像处理装置100与摄像部210、操作部230以及显示部240分别连接。图像处理装置100从摄像部210的X射线检测部213获取X射线的检测信号，基于获取到的检测信号来获取放射线图像1。图像处理装置100进行放射线图像1(参照图1)的亮度调整，并获取亮度调整后图像3(参照图1)。
如图9所示，图像处理装置100由具备CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)、被设置为专用的FPGA(field-programmable gate array：现场可编程门阵列)等处理器110、ROM、RAM、易失性或非易失性存储装置(HDD、SDD(solid state drive：固态驱动器))等存储部120的计算机构成。图像处理装置100能够由在存储部中安装了规定的软件(程序)的计算机(个人计算机、工作站、超级计算机等)或包含多台计算机的计算机系统构成。
在第一实施方式中，图像处理装置100具备图像获取部111、参数获取部112以及调整处理部113。图像获取部111、参数获取部112以及调整处理部113例如作为处理器110的功能模块来构建。即，计算机所具备的处理器110通过执行存储部120中存储的程序121，来作为图像获取部111、参数获取部112、调整处理部113发挥功能。
图像获取部111构成为获取放射线图像1。图像获取部111例如基于从X射线检测部213获取到的检测信号来生成放射线图像1。图像获取部111能够通过从存储部120读出存储部120中存储的放射线图像1、或者通过从外部的图像服务器250经由网络接收放射线图像1，来获取放射线图像1。图像获取部111将获取到的放射线图像1分别输出到参数获取部112和调整处理部113。
参数获取部112构成为使用存储部120中存储的学习完成模型10来获取针对放射线图像1的亮度调整参数2。即，参数获取部112通过将从图像获取部111获取到的放射线图像1输入到学习完成模型10，来获取包含窗位WL和窗宽WW的亮度调整参数2。参数获取部112将获取到的亮度调整参数2输出到调整处理部113。
调整处理部113构成为基于亮度调整参数2，对放射线图像1进行亮度调整来获取亮度调整后图像3。调整处理部113基于从参数获取部112获取到的亮度调整参数2(窗位WL、窗宽WW)进行窗口处理，来获取亮度调整后图像3。调整处理部113将获取到的亮度调整后图像3输出到显示部240并存储到存储部120。另外，调整处理部113经由操作部230来受理来自操作者的输入操作。调整处理部113能够经由操作部230来受理由操作者进行的亮度调整参数2的直接输入。在受理了亮度调整参数2的输入的情况下，调整处理部113基于所输入的亮度调整参数2来进行亮度调整。
存储部120用于存储通过将拍到了被摄体的放射线图像1作为输入、并输出放射线图像1的亮度调整参数2的机器学习得到的学习完成模型10。即，如图1示出的那样，存储部120用于存储通过进行与亮度调整参数2有关的损失函数A的优化的学习而预先制成的学习完成模型10。
存储部120除此以外还存储有处理器110执行的程序121、放射线图像1。另外，存储部120存储所获取到的亮度调整后图像3。
也可以将图像处理装置100的图像获取部111、参数获取部112以及调整处理部113通过进行各个部的处理的专用的硬件来构建，来取代作为通过处理器执行软件来实现的功能模块来构建。
(亮度调整处理)
参照图10～图12来说明图像处理装置100的亮度调整处理。图10～图12示出的亮度调整处理是由图像处理装置100实施第一实施方式的亮度调整方法的处理。
在图10的步骤S11中，例如通过由摄像部210进行拍摄，图像获取部111获取放射线图像1。在步骤S12中，参数获取部112利用存储部120中存储的学习完成模型10，来进行获取放射线图像1的亮度调整参数2的处理。在第一实施方式中，获取亮度调整参数2的处理包括图11的步骤S21～S23。
即，在第一实施方式的亮度调整方法中，如图11所示，具备获取与被摄体的摄影部位或摄影目的有关的信息5的步骤S21。
具体地说，如图12所示，参数获取部112经由操作部230受理信息输入，由此获取与被摄体的摄影部位或摄影目的有关的信息5。
摄影部位的信息例如是胸部正面、侧面、腹部(腰部)正面、四肢骨头(例如膝关节正面、侧面、手部)等表示对哪个部位进行了拍摄的信息。摄影目的的信息是诊断骨折、诊断特定的疾病等信息。例如在胸部正面的放射线图像中诊察肺组织、心脏组织的状态(有无肿瘤、支气管或血管走向等)的情况下与诊察如图2示出那样的腰部的放射线图像1中的大腿骨等骨头的状态(骨折、脱臼、骨变形等)的情况下，亮度调整参数2的最优值不同。
因此，在第一实施方式中，存储部120预先存储有与这些同摄影部位或摄影目的有关的信息5相应的多个学习完成模型10。各个学习完成模型10被学习为：针对与摄影部位、摄影目的相应的放射线图像1输出最优的亮度调整参数2。例如在胸部正面用的学习完成模型10中，使用用于进行对于确认肺组织、心脏组织的状态而言最优的亮度调整的训练数据20，来学习了胸部正面的图像用的亮度调整参数2。存储部120将各个学习完成模型10与同摄影部位或摄影目的有关的信息5相对应地存储。
然后，在图11的步骤S22中，参数获取部112基于与摄影部位或摄影目的有关的信息5，从多个学习完成模型10中选择亮度调整中使用的学习完成模型10。由此，参数获取部112获取与摄影部位或摄影目的相应的学习完成模型10。
在步骤S23中，参数获取部112利用所选择出的学习完成模型10来获取放射线图像1的亮度调整参数2。这样，在第一实施方式的亮度调整方法中，在获取亮度调整参数2的步骤中，基于与摄影部位或摄影目的有关的信息5，来从多个学习完成模型10中选择亮度调整中使用的学习完成模型10。利用所选择出的学习完成模型10来获取放射线图像1的亮度调整参数2。
返回到图10，在步骤S13中，调整处理部113基于所获取到的亮度调整参数2来进行放射线图像1的亮度调整。由此，调整处理部113获取亮度调整后图像3。在步骤S14中，调整处理部113将获取到的亮度调整后图像3存储到存储部120，并输出到显示部240。
通过以上，能够实施图像处理装置100的第一实施方式的亮度调整方法。
(学习完成模型的制作方法)
接着，参照图13～图15来说明第一实施方式的学习完成模型的制作方法。
如图13所示，能够由与图像处理装置100分别地设置的学习数据处理部50来实施学习完成模型10的制作(机器学习)。学习数据处理部50由在存储部中安装了规定的软件(程序)的计算机(个人计算机、工作站、超级计算机等)或包含多个计算机的计算机系统构成。
学习完成模型10的制作方法是以下方法：通过将拍到了被摄体的放射线图像1作为输入、并输出放射线图像1的亮度调整参数2的机器学习，来制作学习完成模型。学习数据处理部50将包含输入图像21和训练参数22的训练数据20、损失函数A、学习用的学习模型11存储于存储部，并通过机器学习来制作学习完成模型10。学习数据处理部50存储有使机器学习收敛所需的多个训练数据20的学习用数据集。
如图14所示，在步骤S31中，学习数据处理部50从学习用数据集中获取用于进行学习的训练数据20。在步骤S32中，学习数据处理部50将训练数据20中包含的输入图像21作为输入，通过学习模型11来获取输入图像21的亮度调整参数2。
在步骤S33中，学习数据处理部50使用通过学习模型11得到的亮度调整参数2，来获取与亮度调整参数2有关的损失函数A的值。在第一实施方式中，学习数据处理部50基于训练数据20中包含的训练参数22(窗位WL0、窗宽WW0)、以及作为学习模型11的输出结果的亮度调整参数2(窗位WL、窗宽WW)，通过上式(1)来获取损失函数A的输出值。
在步骤S34中，学习数据处理部50对学习模型11进行优化以使损失函数A的值变小。学习数据处理部50学习用于输出使损失函数A的输出值最小的亮度调整参数2(窗位WL、窗宽WW)的学习模型11的内部参数。通过步骤S31～S34，来进行针对1个训练数据20的机器学习。
在步骤S35中，学习数据处理部50判断在学习用数据集中是否存在下一个(未学习的)训练数据20，在存在下一个训练数据20的情况下，在步骤S31中获取下一个训练数据20并进行机器学习。在步骤S35中学习用数据集中包含的训练数据20的学习全部完成的情况(不存在下一个训练数据20的情况)下，处理进入到步骤S36。
在步骤S36中，学习数据处理部50判断学习用数据集中包含的训练数据20的学习是否实施了预先设定的规定次数。在学习次数未达到规定次数的情况下，学习数据处理部50重复进行步骤S31～S35的处理，直到达到规定次数为止。然后，当学习次数达到规定次数时，机器学习完成，制成学习完成模型10。学习数据处理部50在步骤S37中，将制成的学习完成模型10存储到存储部，结束处理。
这样，实施了学习完成模型10的制作方法。所制作出的学习完成模型10例如经由网络被发送到图像处理装置100并存储到存储部120。在如图12示出的那样制作与摄影部位、摄影目的相应的多个学习完成模型10的情况下，针对每个摄影部位、摄影目的准备学习用数据集，使用每个摄影部位、摄影目的的学习用数据集来分别执行图14的步骤S31～S37。由此，制作出学习为针对与摄影部位、摄影目的相应的放射线图像1输出最优的亮度调整参数2的多个学习完成模型10。
此外，在学习用数据集中能够包含通过对1个输入图像21进行各种图像改变处理来制成的多个输入图像21。例如图15所示，使参数随机地变化来进行输入图像21的旋转(A)、翻转(B)、仿射变换等变形(C)、亮度和/或对比度的变化(D)、放大或缩小(省略图示)等图像改变处理。对各个输入图像21设定训练参数22来分别作为不同的训练数据20包含到学习用数据集。其结果，能够根据1个输入图像21获取大量的不同的输入图像21，能够容易地进行用于使学习收敛的数据数量的扩充。
另外，在第一实施方式中，学习完成模型10的制作方法在图13中也可以由图像处理装置100实施。在该情况下，如图9示出的那样，图像处理装置100的存储部120存储训练数据20的学习用数据集，图像处理装置100的处理器110包含学习部114来作为功能模块。由学习部114实施图14示出的步骤S31～S37的各处理。
此时，学习部114也可以将从摄像部210获取到的放射线图像1作为输入图像21来制成新的训练数据20，进行学习完成模型10的追加学习。例如，也可以是，在由操作者借助操作部230来针对使用由参数获取部112输出的亮度调整参数2进行了亮度调整的放射线图像1进行亮度调整参数的输入(手动的重新设定)的情况下，制成将该放射线图像1作为输入图像21、将所输入的亮度调整参数作为训练参数22的训练数据20。在这样的事例中，能够想到，由图像处理装置100进行了自动亮度调整后的结果偏离了最优值，因此由操作者手动地设定了最优的亮度调整参数。因此，通过使用将手动输入的参数作为训练参数22的训练数据20来进行学习完成模型10的追加学习，能够实现亮度调整处理的进一步优化。
此外，学习完成模型10的追加学习也可以在与图像处理装置100网络连接的学习数据处理部50中进行。在该情况下，图像处理装置100能够将根据放射线图像1制成的训练数据20发送到学习数据处理部50，并在学习数据处理部50中进行学习完成模型10的追加学习。
(第一实施方式的效果)
在第一实施方式中，能够获得以下那样的效果。
在第一实施方式的学习完成模型10的制作方法、亮度调整方法以及图像处理装置100中，如上所述，在相对于训练数据20而言亮度调整后图像3的规定区域PA的对比度变大的情况下，损失函数A输出相对大的值。其结果，在通过该损失函数A进行了机器学习而得到的学习完成模型10中，能够使针对放射线图像1输出的亮度调整参数2的预测分布PD相对于最优值WW0偏向使对比度变小的方向。因此，即使是学习为输出最优值WW0的学习完成模型10，也能够抑制输出超过最优值WW0的使得成为大的对比度的亮度调整参数2，因此能够抑制在亮度调整后图像3的规定区域PA中发生全白或全黑(像素值的饱和)。通过以上，在使用了通过机器学习得到的学习完成模型10的亮度调整中，能够抑制在图像中的与被摄体等的诊断有关的区域(规定区域PA)中发生全白或全黑。
此外，关于使亮度调整参数2的预测分布PD相对于最优值WW0向使对比度变小的方向偏向，例如也能够考虑使训练数据20中的训练参数22相对于最优值WW0偏向使对比度变小的方向。但是，在该情况下，进行以下学习：预测分布PD的峰偏离最优值WW0，输出单纯地与最优值WW0相比使对比度变得小的亮度调整参数2。与此相对，在第一实施方式中，将训练参数22作为最优值WW0并使误差偏向，因此能够进行以下学习：损失函数A的最小值原样保持为最优值WW0，从而使预测分布PD的峰尽量与最优值WW0一致。
另外，在第一实施方式中，如上所述，损失函数A构成为：在亮度调整后图像3的规定区域PA中由于像素值的饱和而发生全白或全黑的情况下，与在规定区域PA中不产生像素值的饱和的情况相比，输出相对大的值。由此，在规定区域PA中发生全白或全黑的情况下，损失函数A的值变大，因此能够获得被学习为偏向于抑制规定区域PA中的全白或全黑的发生的学习完成模型10。
另外，在第一实施方式中，如上所述，损失函数A包含权重函数f(r)，与相对于训练数据20而言亮度调整后图像3的对比度变小的情况相比，在相对于训练数据20而言亮度调整后图像3的对比度变大的情况下，权重函数f(r)被赋予大的权重。由此，通过权重函数，能够使损失函数A的值容易地偏向。
另外，在第一实施方式中，如上所述，损失函数A是基于训练数据20中包含的训练参数22与针对训练数据20中包含的输入图像21的亮度调整参数2之间的误差的函数。由此，即使是基于训练参数22与亮度调整参数2之间的误差的损失函数A，也能够抑制误差相对于最优值WW0被对称地被评价，在相对于最优值WW0而言对比度变大的情况下能够使损失函数A的值相对地变大，因此在效果上，能够抑制在规定区域PA中发生像素值的饱和。
另外，在第一实施方式中，如上所述，规定区域PA包含拍到被摄体的区域的至少一部分。由此，能够使用由学习完成模型10输出的亮度调整参数2，来可靠地抑制在拍到被摄体的区域中发生全白或全黑。
另外，在第一实施方式中，如上所述，亮度调整参数2包含：窗位WL，其用于规定在放射线图像1中变换为亮度调整后图像3的像素值范围的中心值；以及窗宽WW，其用于规定像素值范围的大小。由此，能够通过窗宽WW的值来调整规定区域PA的像素值的对比度的大小。因此，与大量的参数对对比度产生影响的情况相比，能够利用损失函数A来容易地进行对比度的评价。
另外，在第一实施方式中，如上所述，还包括获取与被摄体的摄影部位或摄影目的有关的信息5的步骤，在获取亮度调整参数2的步骤中，基于与摄影部位或摄影目的有关的信息5，从多个学习完成模型10中选择亮度调整中使用的学习完成模型10。通过像这样准备与摄影部位或摄影目的相应地分别地进行了学习的多个学习完成模型10，并基于与摄影部位或摄影目的有关的信息5来进行学习完成模型10的选择，能够进行与摄影部位或摄影目的相应的最优的亮度调整。
(第二实施方式)
接着，参照图16～图18来说明第二实施方式的学习完成模型的制作方法和亮度调整方法。在第二实施方式中，说明以下例子：与将损失函数A设为基于训练参数22与亮度调整参数2之间的误差的函数的上述第一实施方式不同，设为基于训练数据20与亮度调整后图像3之间的比较的函数。在第二实施方式中，关于与上述第一实施方式相同的结构，使用相同的标记并省略说明。
如图16所示，在第二实施方式中，学习完成模型10是通过进行与亮度调整参数2有关的损失函数B的优化的学习来制成的。损失函数B是基于训练数据20中包含的训练图像23的像素值与亮度调整后图像3的像素值之间的比较的函数，其中，所述亮度调整后图像3是基于亮度调整参数2对训练数据20中包含的输入图像21进行了亮度调整而得到的图像。
具体地说，在第二实施方式中，在机器学习中，将训练数据20中包含的输入图像21作为输入，基于由学习中的学习模型11输出的亮度调整参数2来获取亮度调整后图像3。另外，基于训练数据20中包含的输入图像21、以及训练参数22来获取进行了亮度调整而得到的训练图像23。亮度调整后图像3和训练图像23是针对训练数据20中包含的同一输入图像21分别进行了亮度调整而得到的图像。训练图像23是基于亮度调整参数的最优值进行了亮度调整而得到的机器学习的正确答案图像。
而且，损失函数B构成为基于两图像的同一像素的、训练图像23的像素值与亮度调整后图像3的像素值之间的比较的函数。由此，在第二实施方式中，基于通过亮度调整参数2实际地进行了亮度调整的结果的图像，来评价学习模型11的输出结果与训练数据20之间的差异。
例如，损失函数B是基于亮度调整后图像3与训练图像23的对应像素的像素值之差的函数。具体地说，如下式(3)所示，是对亮度调整后图像3与训练图像23的对应像素的像素值之差乘以权重而得到的均方误差。
[数3]
Figure BDA0003005546600000261
其中，
Figure BDA0003005546600000262
在此，x、y分别是图像(亮度调整后图像3、训练图像23)的坐标。k(x,y)是各坐标(x,y)处的权重。I(x,y)是亮度调整后图像3的坐标(x,y)处的像素值，I0(x,y)是训练图像23的坐标(x,y)处的像素值。f(r)是权重函数。w是权重的值(w>1)。Imax是像素值的最大值(＝255)。
损失函数B与第一实施方式同样地包含权重函数，与相对于训练数据20而言亮度调整后图像3的对比度变小的情况(I(x,y)＝0、Imax以外时)相比，在相对于训练数据20而言亮度调整后图像3的对比度变大的情况下(I(x,y)＝0或Imax时)，该权重函数被赋予大的权重。
即，在窗宽WW变得比最优值WW0小的情况(对比度变大的情况)下，在规定区域PA中产生像素值I发生饱和的像素。也就是说，在最优像素值I0为0<I0<Imax的像素中，像素值I(x,y)为最低值0(全黑)或最大值Imax(全白)。在此情况下，损失函数B通过对误差(I―I0)乘以权重w，来将误差估算得相对大。由此，第二实施方式的损失函数B在相对于训练数据20而言亮度调整后图像3的规定区域PA的对比度变大的情况(I(x,y)＝0或Imax时)下，输出相对大的值，由此使学习偏向使对比度变小的方向。能够想到在窗宽WW变得比最优值WW0大的情况(对比度变小的情况)下，在规定区域PA中不产生像素值I发生饱和的像素，因此不用乘以权重w，损失函数B将误差估算得相对小。
并且，在第二实施方式中，损失函数B能够包含针对图像中的每个像素(位置坐标)设定的权重k(x,y)。因此，在第二实施方式中，能够针对图像中的每个区域设定不同的权重k。例如，在第二实施方式中，如图17所示，损失函数B构成为：通过权重k，在图像中的规定区域PA中发生像素值的饱和的情况下，与在规定区域PA以外的区域PB中发生像素值的饱和的情况相比，输出大的值。由此，在规定区域PA中，在相对于训练数据20(训练图像23)而言亮度调整后图像3的对比度变大的情况(发生像素值的饱和的情况)下，损失函数B的值被估算得相对大，向抑制对比度来抑制像素值的饱和的发生的方向强有力地进行学习。另一方面，在规定区域PA以外的区域PB中，在相对于训练数据20(训练图像23)而言亮度调整后图像3的对比度变大的情况(发生像素值的饱和的情况)下，损失函数B的值被估算得相对小，进行不超过所需地抑制对比度的学习。
为了像这样针对图像中的每个像素(位置坐标)设定权重k，如图16所示，在第二实施方式的训练数据20中包含规定区域PA的位置信息24a和损失函数B的偏向信息24b。位置信息24a是图像中的位置坐标的信息。偏向信息24b是权重k的设定值。
具体地说，训练数据20包含权重映射图24，该权重映射图24包含输入图像21中的位置信息24a和偏向信息24b。权重映射图24包含在输入图像21中应用共同的权重k的区域来作为位置信息24a。权重映射图24包含在输入图像21中应用于被划分为位置信息24a的区域的权重k的值来作为偏向信息24b。
例如图17的(B)所示，位置信息24a能够被设定为：将输入图像21划分为拍到被摄体SB的区域61与背景区域62。在该情况下，偏向信息24b与位置信息24a相应地，针对拍到被摄体SB的区域61与背景区域62分别包含不同的权重k的值。在图17的(B)的例子中，拍到被摄体SB的区域是规定区域PA。拍到被摄体SB的区域61的权重k被设定为比背景区域62的权重高。区域61能够被设定为权重k＝10，背景区域62能够被设定为无权重(k＝1)。
例如图17的(C)所示，位置信息24a能够被设定为对拍到被摄体SB的区域61的内部进一步进行区分。即，拍到被摄体SB的区域61中还能够区分与诊断有关的重要度高的区域与相对而言重要度低的区域。另外，根据被摄体的解剖学上的构造等形态性的条件，有时在被摄体的每个部位，像素值的易饱和度不同。在此情况下，位置信息24a能够被设定为将拍到被摄体SB的区域61的内部区分为多个局部区域，能够针对各个局部区域来设定偏向信息24b(权重k)。在图17的(C)的例子中，示出以下例子：根据被摄体的腰部的解剖学上的构造，针对股骨颈61a、大转子61b、骨干部61c、ward三角61D的各局部区域分别设定相同或不同的权重k。
通过权重映射图24，针对输入图像21的任意的位置坐标的像素p(x,y)，获取对该像素p所属的区域设定的权重k(x,y)。由此，在损失函数B中，基于训练数据20中包含的规定区域PA的位置信息24a和损失函数B的偏向信息24b，针对输入图像21中的每个位置设定了偏向的大小。
其结果，损失函数B构成为：在图像中的规定区域PA中发生像素值的饱和的情况下，与在规定区域PA以外的区域中发生像素值的饱和的情况相比，输出大的值。
说明通过第二实施方式的损失函数B产生的学习的偏向对学习完成模型10所输出的亮度调整参数2产生的影响。
图18是示出了与窗宽WW相对的、损失函数B的输出值的变化、以及使用损失函数B进行了优化的学习完成模型10所输出的窗宽WW的预测分布PD的曲线图。
作为比较例，用虚线示出以下事例：不进行加权，而是使用基于亮度调整后图像3与训练图像23的对应像素的像素值的均方误差的损失函数RMSE。比较例的损失函数RMSE用下式(4)来表示。
[数4]
Figure BDA0003005546600000281
在上式(4)中，在比较例的损失函数RMSE中，当在亮度调整后图像中发生了全白或全黑(像素值的饱和)时，与该区域的像素值发生饱和相应地被评价得过小。也就是说，如图18的(A)所示，在窗宽WW小于最优值WW0、发生了像素值的饱和的情况下的损失函数的输出值与窗宽WW大于最优值WW0、未发生像素值的饱和的情况下的损失函数的输出值相比相对地变小。因此，如图18的(B)所示，能够认为，使用损失函数RMSE来进行了优化的学习完成模型的输出结果的预测分布CD成为相对于最优值WW0偏向发生全白或全黑(像素值的饱和)的方向(缩小窗宽WW的方向)的非对称的分布。在使用比较例的损失函数RMSE来进行了优化的学习完成模型中，有可能在输出的窗宽WW中的一半以上的事例中，在规定区域PA中发生像素值的饱和。
与此相对，在图18中用实线示出的损失函数B当在亮度调整后图像中发生了全白或全黑(像素值的饱和)(I＝0或Imax)时，对该区域的像素值的误差乘以权重w，相对大地估算误差。在未发生全白或全黑(像素值的饱和)(0<I<Imax)的情况下，不乘以权重w，相对小地估算该区域的像素值的误差。此外，关于最优像素值I0和像素值I均为0或Imax的像素，虽然在计算上要乘以权重w，但是由于误差为0，因此对损失函数B不造成影响。因此，使用第一实施方式的损失函数B来进行了优化的学习完成模型10的输出结果的预测分布PD为如以下那样偏向的分布：相对于最优值WW0，在像素值容易饱和的使对比度变大的方向(缩小窗宽WW的方向)上小，而在使对比度变小的方向(扩大窗宽WW的方向)上大。
其结果，根据预测分布PD可知，在使用第一实施方式的损失函数B来进行了优化的学习完成模型10中，能够抑制输出的窗宽WW超过最优值WW0地向使对比度变大的方向(缩小窗宽WW的方向)偏差，能够抑制在规定区域PA中发生像素值的饱和的可能性。
此外，第二实施方式的其它结构与上述第一实施方式相同。在第二实施方式中，关于学习完成模型10的制作方法、亮度调整方法以及图像处理装置100，除了损失函数B与上述第一实施方式不同的点以外，是同样的，因此省略说明。
(第二实施方式的效果)
在第二实施方式中，能够获得以下那样的效果。
在第二实施方式中，与上述第一实施方式同样地，在使用了通过机器学习得到的学习完成模型10的亮度调整中，能够抑制在图像中的与被摄体等的诊断有关的区域(规定区域PA)中发生全白或全黑。
另外，在第二实施方式中，如上所述，损失函数B是基于训练数据20中包含的训练图像23的像素值与亮度调整后图像3的像素值之间的比较的函数，其中，亮度调整后图像3是基于亮度调整参数2对训练数据20中包含的输入图像21进行了亮度调整而得到的图像。由此，即使是基于训练图像23与亮度调整后图像3的像素值的比较的损失函数B，也能够在相对于最优值而言对比度变大的情况下使损失函数B的值相对地变大，能够抑制因像素的饱和而使得误差被评价得过小，因此在效果上，能够抑制在规定区域PA中发生像素值的饱和。
另外，在第二实施方式中，如上所述，损失函数B构成为：在图像中的规定区域PA中发生像素值的饱和的情况下，与在规定区域PA以外的区域中发生像素值的饱和的情况相比，输出大的值。由此，能够抑制在规定区域PA中发生像素值的饱和，并且能够抑制因重要度低的除规定区域PA以外的区域PB中的误差而使学习受到影响。
另外，在第二实施方式中，如上所述，损失函数B基于训练数据20中包含的规定区域PA的位置信息24a和损失函数B的偏向信息24b，针对输入图像21中的每个位置设定了偏向的大小。由此，能够基于规定区域PA的位置信息24a来区分规定区域PA与规定区域PA以外的区域PB，基于损失函数B的偏向信息24b来确定规定区域PA与规定区域PA以外的区域PB中的损失函数B的偏向的大小关系，因此能够容易地与图像中的区域相应地使损失函数B的偏向的大小(权重k)不同。
第二实施方式的其它效果与上述第一实施方式相同。
(变形例)
此外，应该认为，本次公开的实施方式在所有方面均为例示而不是限制性的。本发明的范围不是通过上述的实施方式的说明示出，而是通过权利要求书示出，还包括与权利要求书等同的意义及范围内的所有变更(变形例)。
例如，在上述第一实施方式和第二实施方式中，作为损失函数的例子，示出了基于均方误差的损失函数A和损失函数B，但是本发明不限于此。在本发明中，也可以通过均方误差以外的函数来构成损失函数。例如作为上述第二实施方式的损失函数B，也可以使用PSNR(Peak signal-to-noise ratio：峰值信噪比)、SSIM(Structural SIMilarity：结构相似性)等函数。但是，例如SSIM能够评价图像间的相似度，但由于是也评价图像的位置偏移等与亮度调整无关的构造上的要素的指标，因此单纯地仅评价图像间的像素值(亮度)的均方误差作为用于亮度调整的学习模型中使用的损失函数更为合适。
另外，在上述第一实施方式和第二实施方式中，示出了在相对于训练数据20而言规定区域PA的对比度变大的情况下施加大的权重w(>1)的例子，但是本发明不限于此。也可以是，在相对于训练数据20而言规定区域PA的对比度变小的情况下施加小的权重w(<1)，由此规定区域PA的对比度变大的情况下的输出值相对地变大。
另外，在上述第一实施方式和第二实施方式中，示出了规定区域PA包含拍到被摄体的区域的至少一部分的例子，但是本发明不限于此。规定区域PA只要根据放射线图像1的用途来设定即可，也可以是拍到被摄体的区域以外的区域。
另外，在上述第一实施方式和第二实施方式中，示出了在损失函数中包含权重函数f(r)、由此使损失函数的输出值偏向的例子，但是本发明不限于此。例如，也可以是，在相对于训练数据20而言规定区域PA的对比度变大的情况下与在相对于训练数据20而言规定区域PA的对比度变小的情况下分别应用不同的损失函数，由此使损失函数的输出值偏向。
另外，在上述第二实施方式中，示出了使用权重映射图24来在规定区域PA与规定区域PA以外的区域PA以外中使权重k不同的例子，但是本发明不限于此。在本发明中，也可以不是针对每个区域设定不同的权重k。在损失函数B中，也可以不包含权重k。在该情况下，训练数据20无需包含权重映射图24。
另外，在上述第二实施方式中，示出了基于训练数据20中包含的训练参数22来获取训练图像23的例子，但是本发明不限于此。在本发明中，也可以在训练数据20中包含训练图像23。在该情况下，也可以是，训练数据20未必包含训练参数22。
另外，在上述第一实施方式和第二实施方式中，示出了获取与摄影部位或摄影目的有关的信息5来从多个学习完成模型10中选择亮度调整中使用的学习完成模型10的例子，但是本发明不限于此。在本发明中，也可以不获取与摄影部位或摄影目的有关的信息5。也就是说，也可以不选择学习完成模型10。
此外，与摄影部位或摄影目的有关的信息5的获取不限于使用操作部230的方法，例如也可以通过对所输入的放射线图像1进行图像识别，来获取与摄影部位或摄影目的有关的信息5。
另外，在上述第一实施方式和第二实施方式中，示出了亮度调整参数2包含窗位WL和窗宽WW的例子，但是本发明不限于此。例如，亮度调整参数2也可以包含窗宽的上限值VH和下限值VL来代替窗宽WW。
附图标记说明
1：放射线图像；2：亮度调整参数；3：亮度调整后图像；5：与摄影部位或摄影目的有关的信息；10：学习完成模型；11：学习模型；20：训练数据；21：输入图像；22：训练参数；23：训练图像；24a：位置信息；24b：偏向信息；100：图像处理装置；111：图像获取部；112：参数获取部；113：调整处理部；120：存储部；A、B：损失函数；PA：规定区域；PB：规定区域以外的区域；WL：窗位；WW：窗宽；f(r)：权重函数。

Claims (12)

1.一种学习完成模型的制作方法，该学习完成模型是通过将拍到了被摄体的放射线图像作为输入、并输出所述放射线图像的亮度调整参数的机器学习得到的学习完成模型，该学习完成模型的制作方法包括以下步骤：
将训练数据中包含的输入图像作为输入，通过学习模型来输出所述输入图像的所述亮度调整参数；
使用通过所述学习模型得到的所述亮度调整参数，来获取与所述亮度调整参数有关的损失函数的值；以及
对所述学习模型进行优化以使所述损失函数的值变小，
其中，所述损失函数构成为：与相对于所述训练数据而言基于所述亮度调整参数进行了亮度调整而得到的亮度调整后图像的规定区域的对比度变小的情况相比，在相对于所述训练数据而言所述亮度调整后图像的规定区域的对比度变大的情况下，输出相对大的值，由此使学习偏向使对比度变小的方向。
2.根据权利要求1所述的学习完成模型的制作方法，其中，
所述损失函数构成为：在所述亮度调整后图像的所述规定区域中由于像素值的饱和而发生全白或全黑的情况下，与在所述规定区域中不产生像素值的饱和的情况相比，输出相对大的值。
3.根据权利要求1所述的学习完成模型的制作方法，其中，
所述损失函数包含权重函数，与相对于所述训练数据而言所述亮度调整后图像的对比度变小的情况相比，在相对于所述训练数据而言所述亮度调整后图像的对比度变大的情况下，该权重函数被赋予大的权重。
4.根据权利要求1所述的学习完成模型的制作方法，其中，
所述损失函数是基于所述训练数据中包含的训练参数与针对所述训练数据中包含的所述输入图像的所述亮度调整参数之间的误差的函数。
5.根据权利要求1所述的学习完成模型的制作方法，其中，
所述损失函数是基于所述训练数据中包含的训练图像的像素值与所述亮度调整后图像的像素值之间的比较的函数，其中，所述亮度调整后图像是基于所述亮度调整参数对所述训练数据中包含的所述输入图像进行了亮度调整而得到的图像。
6.根据权利要求5所述的学习完成模型的制作方法，其中，
所述损失函数构成为：在图像中的所述规定区域中发生像素值的饱和的情况下，与在所述规定区域以外的区域中发生像素值的饱和的情况相比，输出大的值。
7.根据权利要求6所述的学习完成模型的制作方法，其中，
所述损失函数基于所述训练数据中包含的所述规定区域的位置信息和所述损失函数的偏向信息，针对所述输入图像中的每个位置设定了偏向的大小。
8.根据权利要求1所述的学习完成模型的制作方法，其中，
所述规定区域包含拍到所述被摄体的区域的至少一部分。
9.根据权利要求1所述的学习完成模型的制作方法，其中，
所述亮度调整参数包含：窗位，其用于规定所述放射线图像中的被变换为所述亮度调整后图像的像素值范围的中心值；以及窗宽，其用于规定所述像素值范围的大小。
10.一种亮度调整方法，使用了将拍到了被摄体的放射线图像作为输入、并输出所述放射线图像的亮度调整参数的机器学习，该亮度调整方法包括以下步骤：
获取所述放射线图像；
使用通过机器学习得到的学习完成模型来获取针对所述放射线图像的所述亮度调整参数；以及
基于所述亮度调整参数，对所述放射线图像进行亮度调整来获取亮度调整后图像，
其中，所述学习完成模型是通过进行与所述亮度调整参数有关的损失函数的优化的学习来制成的，
所述损失函数构成为：与相对于机器学习的训练数据而言所述亮度调整后图像的规定区域的对比度变小的情况相比，在相对于所述训练数据而言所述亮度调整后图像的规定区域的对比度变大的情况下，输出相对大的值，由此使学习偏向使对比度变小的方向。
11.根据权利要求10所述的亮度调整方法，其中，
还包括以下步骤：获取与所述被摄体的摄影部位或摄影目的有关的信息，
在获取所述亮度调整参数的步骤中，基于与所述摄影部位或摄影目的有关的信息，从多个所述学习完成模型中选择所述亮度调整中使用的所述学习完成模型。
12.一种图像处理装置，具备：
图像获取部，其获取放射线图像；
存储部，其用于存储通过将拍到了被摄体的放射线图像作为输入、并输出所述放射线图像的亮度调整参数的机器学习得到的学习完成模型；
参数获取部，其使用所述学习完成模型，来获取针对所述放射线图像的所述亮度调整参数；以及
调整处理部，其基于所述亮度调整参数，对所述放射线图像进行亮度调整来获取亮度调整后图像，
其中，所述学习完成模型是通过进行与所述亮度调整参数有关的损失函数的优化的学习来制成的，
所述损失函数构成为：与相对于机器学习的训练数据而言所述亮度调整后图像的规定区域的对比度变小的情况相比，在相对于所述训练数据而言所述亮度调整后图像的规定区域的对比度变大的情况下，输出相对大的值，由此使学习偏向使对比度变小的方向。
CN201880098416.8A 2018-10-03 2018-10-03 学习完成模型的制作方法、亮度调整方法以及图像处理装置 Active CN112804943B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037075 WO2020070834A1 (ja) 2018-10-03 2018-10-03 学習済みモデルの製造方法、輝度調整方法および画像処理装置

Publications (2)

Publication Number Publication Date
CN112804943A true CN112804943A (zh) 2021-05-14
CN112804943B CN112804943B (zh) 2023-09-26

Family

ID=70055145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880098416.8A Active CN112804943B (zh) 2018-10-03 2018-10-03 学习完成模型的制作方法、亮度调整方法以及图像处理装置

Country Status (4)

Country Link
US (1) US12067699B2 (zh)
JP (1) JP7081680B2 (zh)
CN (1) CN112804943B (zh)
WO (1) WO2020070834A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893455A (zh) * 2024-03-11 2024-04-16 杭州海康威视数字技术股份有限公司 图像亮度和对比度调整方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584175B (zh) * 2018-11-21 2020-08-14 浙江大华技术股份有限公司 一种图像处理方法及装置
JP7439640B2 (ja) * 2020-05-18 2024-02-28 コニカミノルタ株式会社 放射線画像処理装置、プログラム及び放射線画像処理方法
JP7230231B2 (ja) * 2020-09-30 2023-02-28 グーグル エルエルシー 同じグループ内の異種サブグループ間でのロバストなモデル性能
EP3982299A1 (en) * 2020-10-09 2022-04-13 Naver Corporation Superloss: a generic loss for robust curriculum learning
WO2023100656A1 (ja) * 2021-12-01 2023-06-08 株式会社村田製作所 機械学習装置および推定装置
CN116664431B (zh) * 2023-05-30 2024-04-12 新疆美特智能安全工程股份有限公司 一种基于人工智能的图像处理系统及方法
CN116593408B (zh) * 2023-07-19 2023-10-17 四川亿欣新材料有限公司 一种重质碳酸钙粉体色度检测方法
CN116757971B (zh) * 2023-08-21 2024-05-14 深圳高迪数码有限公司 一种基于周围光的图像自动调整方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561973A (ja) * 1991-08-30 1993-03-12 Shimadzu Corp 医療用画像表示装置
CN1447284A (zh) * 2002-03-25 2003-10-08 西门子公司 用于在医学成像中进行图像显示的方法
CN106255462A (zh) * 2014-05-16 2016-12-21 株式会社日立制作所 图像诊断装置及灰度信息设定方法
CN106663313A (zh) * 2014-06-13 2017-05-10 艾里斯泰克软件股份有限公司 图像的显示中以及与之有关的改进
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN107563542A (zh) * 2017-08-02 2018-01-09 阿里巴巴集团控股有限公司 数据预测方法及装置和电子设备
CN107590786A (zh) * 2017-09-08 2018-01-16 深圳市唯特视科技有限公司 一种基于对抗学习网络的图像增强方法
US20180061023A1 (en) * 2016-08-31 2018-03-01 Fujifilm Corporation Image processing apparatus, image processing method, and image processing program
CN108090871A (zh) * 2017-12-15 2018-05-29 厦门大学 一种基于卷积神经网络的多对比度磁共振图像重建方法
CN108447036A (zh) * 2018-03-23 2018-08-24 北京大学 一种基于卷积神经网络的低光照图像增强方法
CN108537794A (zh) * 2018-04-19 2018-09-14 上海联影医疗科技有限公司 医学图像数据处理方法、装置和计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720283B2 (en) 2005-12-09 2010-05-18 Microsoft Corporation Background removal in a live video
US7614378B2 (en) 2007-03-27 2009-11-10 Denso International America, Inc. Flexible seal and molded rigid chamber
US8831325B2 (en) 2009-12-29 2014-09-09 Shimadzu Corporation Radiographic image processing apparatus and radiographic image processing program
JP5804340B2 (ja) 2010-06-10 2015-11-04 株式会社島津製作所 放射線画像領域抽出装置、放射線画像領域抽出プログラム、放射線撮影装置および放射線画像領域抽出方法
JP6414386B2 (ja) 2014-03-20 2018-10-31 株式会社島津製作所 画像処理装置および画像処理プログラム
CN111656392B (zh) * 2018-02-15 2024-01-05 通用电气公司 用于合成磁共振图像的系统和方法
CN110570358A (zh) * 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像增强方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561973A (ja) * 1991-08-30 1993-03-12 Shimadzu Corp 医療用画像表示装置
CN1447284A (zh) * 2002-03-25 2003-10-08 西门子公司 用于在医学成像中进行图像显示的方法
CN106255462A (zh) * 2014-05-16 2016-12-21 株式会社日立制作所 图像诊断装置及灰度信息设定方法
CN106663313A (zh) * 2014-06-13 2017-05-10 艾里斯泰克软件股份有限公司 图像的显示中以及与之有关的改进
US20180061023A1 (en) * 2016-08-31 2018-03-01 Fujifilm Corporation Image processing apparatus, image processing method, and image processing program
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN107563542A (zh) * 2017-08-02 2018-01-09 阿里巴巴集团控股有限公司 数据预测方法及装置和电子设备
CN107590786A (zh) * 2017-09-08 2018-01-16 深圳市唯特视科技有限公司 一种基于对抗学习网络的图像增强方法
CN108090871A (zh) * 2017-12-15 2018-05-29 厦门大学 一种基于卷积神经网络的多对比度磁共振图像重建方法
CN108447036A (zh) * 2018-03-23 2018-08-24 北京大学 一种基于卷积神经网络的低光照图像增强方法
CN108537794A (zh) * 2018-04-19 2018-09-14 上海联影医疗科技有限公司 医学图像数据处理方法、装置和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TARIK ARICI: "A Histogram Modification Framework and Its Application for Image Contrast Enhancement", 《IEEE TRANSACTIONS ON IMAGE PROCESSING, 》, vol. 18, no. 9, pages 1921 - 1935, XP011268498, DOI: 10.1109/TIP.2009.2021548 *
TURGAY CELIK: "Spatial Entropy-Based Global and Local Image Contrast Enhancement", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 23, no. 12, pages 5298 - 5308, XP011564109, DOI: 10.1109/TIP.2014.2364537 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893455A (zh) * 2024-03-11 2024-04-16 杭州海康威视数字技术股份有限公司 图像亮度和对比度调整方法
CN117893455B (zh) * 2024-03-11 2024-06-04 杭州海康威视数字技术股份有限公司 图像亮度和对比度调整方法

Also Published As

Publication number Publication date
JP7081680B2 (ja) 2022-06-07
US20210350513A1 (en) 2021-11-11
CN112804943B (zh) 2023-09-26
US12067699B2 (en) 2024-08-20
JPWO2020070834A1 (ja) 2021-09-02
WO2020070834A1 (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
CN112804943B (zh) 学习完成模型的制作方法、亮度调整方法以及图像处理装置
US20100266188A1 (en) Chest x-ray registration, subtraction and display
CN101930595A (zh) 图像处理方法和图像处理设备
US11631160B2 (en) Image processing apparatus, image processing method, and X-ray CT apparatus
JP2019114262A (ja) 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム
KR102414601B1 (ko) 기계학습 기반 고관절 골절 진단을 위한 골밀도 도출 방법 및 이를 이용한 골밀도 도출 프로그램
JP2022517769A (ja) 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム
CN106530236B (zh) 一种医学图像处理方法及系统
JP4938427B2 (ja) 脳出血部位体積計算装置
US20230169666A1 (en) Methods and systems for image registration
US11406340B2 (en) Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method
JP7019104B2 (ja) 閾値の学習方法
KR101464862B1 (ko) 카메라를 이용한 척추 측만증 판단 방법 및 장치
US11803970B2 (en) Image judgment device, image judgment method, and storage medium
US11232559B2 (en) Image processing apparatus and computer-readable storage medium
JP6872470B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置
JP2010005109A (ja) 画像生成装置、プログラム、および画像生成方法
Aboobacker et al. Improving presentation consistency of radiographic images using deep learning
JP7446570B2 (ja) プログラム、学習装置、学習方法、学習済みプログラムおよび骨格セグメンテーション装置
CN116725640B (zh) 一种身体穿刺打印模板的构建方法
WO2024095434A1 (ja) 画像処理プログラム、画像処理方法、検出プログラム、検出方法、および情報処理装置
EP3889882A1 (en) Image normalization increasing robustness of machine learning applications for medical images
JP2020171425A (ja) 画像処理装置、放射線撮影システム及びプログラム
JP2024063537A (ja) 情報処理装置及びその制御方法、放射線撮影システム、プログラム
CN118229741A (zh) 图像处理方法及图像处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant