CN112822982B - 图像制作装置、图像制作方法以及学习完毕模型的制作方法 - Google Patents

图像制作装置、图像制作方法以及学习完毕模型的制作方法 Download PDF

Info

Publication number
CN112822982B
CN112822982B CN201980066856.XA CN201980066856A CN112822982B CN 112822982 B CN112822982 B CN 112822982B CN 201980066856 A CN201980066856 A CN 201980066856A CN 112822982 B CN112822982 B CN 112822982B
Authority
CN
China
Prior art keywords
image
teacher
noise
learning
specific portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980066856.XA
Other languages
English (en)
Other versions
CN112822982A (zh
Inventor
押川翔太
高桥涉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN112822982A publication Critical patent/CN112822982A/zh
Application granted granted Critical
Publication of CN112822982B publication Critical patent/CN112822982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本图像制作装置具备：学习图像生成部(1)，其基于三维数据来生成教师输入图像和教师输出图像；噪声施加部(2)，其对教师输入图像和教师输出图像施加相同的噪声；学习部(3)，其基于被施加了所述噪声的教师输入图像和被施加了所述噪声的教师输出图像来进行机器学习，由此对用于提取或除去特定部分的学习模型进行学习；以及图像制作部(4)，其使用学习完毕的学习模型来制作提取出或除去了特定部分的图像。

Description

图像制作装置、图像制作方法以及学习完毕模型的制作方法
技术领域
本发明涉及一种图像制作装置、图像制作方法以及学习完毕模型的制作方法。
背景技术
以往，已知一种图像制作装置。例如，在国际公开第2007/029467号中公开了这种装置。
在上述国际公开第2007/029467号中公开了一种图像处理装置(图像制作装置)，该图像处理装置基于教师输入图像和教师输出图像进行机器学习，使用学习结果，根据处理对象图像来输出增强图像。在该图像处理装置中，为了对大量的模式进行学习，对教师输入图像实施多个图像处理并生成多个教师输入图像。例如，以使教师输入图像的画质变差的方式进行处理。在该情况下，教师输入图像中包括噪声，通过机器学习得到了减少噪声的学习结果。
现有技术文献
专利文献
专利文献1：国际公开第2007/029467号
发明内容
发明要解决的问题
然而，在上述国际公开第2007/029467号的图像处理装置中，进行减少教师输入图像的噪声的机器学习，因此能够对提取如使噪声平滑化这样的图像的低频区域的滤波器进行学习。因此，在使用学习结果来制作图像的情况下，存在使图像平滑化而导致输出图像模糊这个问题。
本发明是为了解决上述那样的课题而完成的，本发明的一个目的在于提供一种能够抑制在使用通过机器学习而学习得到的学习模型来制作图像时的模糊的图像制作装置、图像制作方法以及学习完毕模型的制作方法。
用于解决问题的方案
为了达成上述目的，本发明的第一方面的图像制作装置具备：学习图像生成部，其基于具有三维的像素值数据的三维数据来生成教师输入图像和教师输出图像，所述教师输入图像是包括被检体的特定部分的区域的二维的图像，所述教师输出图像是与教师输入图像相同的视角下的、示出特定部分的图像或除去特定部分的图像；噪声施加部，其对教师输入图像和教师输出图像施加相同的噪声；学习部，其基于被施加了所述噪声的教师输入图像和被施加了所述噪声的教师输出图像来进行机器学习，由此对用于提取或除去特定部分的学习模型进行学习；以及图像制作部，其根据拍摄到的包括特定部分的图像，使用学习完毕的学习模型来制作提取出或除去了特定部分的图像。
在本发明的第一方面的图像制作装置中，通过如上述那样构成，对教师输入图像和教师输出图像这两方施加相同的噪声，因此能够对如提取或除去教师输入图像和教师输出图像的特定部分这样的图像处理进行学习，所述特定部分为除噪声成分以外的差异。由此，不对使噪声平滑化的滤波器进行学习，因此能够抑制制作出的图像模糊。
在所述第一方面的图像制作装置中，优选的是，学习图像生成部构成为：基于拍摄被检体所得到的计算机断层摄影图像来获取三维数据，通过数字重建模拟来生成教师输入图像和教师输出图像。如果像这样构成，则能够根据计算机断层摄影图像通过数字重建模拟容易地生成多套的教师输入图像和教师输出图像，因此能够使用多套的图像组进行机器学习。由此，能够使学习模型的学习精度提高。
在所述第一方面的图像制作装置中，优选的是，噪声施加部构成为：对教师输入图像和教师输出图像施加基于拍摄图像所得到的摄影结果的噪声进行了调整的噪声。如果像这样构成，则能够对教师输入图像和教师输出图像施加与实际进行拍摄的情况下的噪声相应的噪声来进行机器学习，因此能够在根据拍摄到的包括特定部分的图像使用学习完毕的学习模型来制作图像的情况下有效地抑制噪声的影响，能够提取或除去特定部分。
在该情况下，优选的是，噪声施加部构成为施加高斯噪声，并且构成为对教师输入图像和教师输出图像施加被调整为与拍摄图像所得到的摄影结果的噪声的标准偏差对应的标准偏差的高斯噪声。如果像这样构成，则能够使施加的高斯噪声的标准偏差与实际拍摄的图像的噪声一致，因此能够更有效地抑制噪声对图像的制作产生影响，能够提取或除去特定部分。
在所述第一方面的图像制作装置中，优选的是，特定部分为骨头，学习图像生成部构成为：生成包括被检体的骨头的区域的二维的教师输入图像以及除去被检体的骨头的教师输出图像，学习部构成为：基于被施加了噪声的教师输入图像和被施加了噪声的教师输出图像来进行机器学习，由此对用于除去骨头的学习模型进行学习，图像制作部构成为：根据拍摄到的包括骨头的图像，使用学习完毕的学习模型来制作除去了骨头的图像。如果像这样构成，则能够对不极力除去噪声成分且仅除去骨头这样的学习模型进行学习，因此，通过使用学习模型来制作图像，能够输出抑制了模糊的骨抑制图像。
在所述第一方面的图像制作装置中，优选的是，特定部分为血管，学习图像生成部构成为：生成包括被检体的血管的区域的二维的教师输入图像以及示出被检体的血管的教师输出图像，学习部构成为：基于被施加了噪声的教师输入图像和被施加了噪声的教师输出图像来进行机器学习，由此对用于提取血管的学习模型进行学习，图像制作部构成为：根据拍摄到的包括血管的图像，使用学习完毕的学习模型来提取血管并制作图像。如果像这样构成，则能够对不极力除去噪声成分且提取血管这样的学习模型进行学习，因此，通过使用学习模型来制作图像，能够输出抑制了模糊的血管图像。
本发明的第二方面的图像制作方法基于具有三维的像素值数据的三维数据来生成包括被检体的特定部分的区域的二维的教师输入图像，生成教师输出图像，所述教师输出图像是与教师输入图像相同的视角下的、示出特定部分的图像或除去特定部分的图像，对教师输入图像和教师输出图像施加相同的噪声，基于被施加了所述噪声的所述教师输入图像和被施加了所述噪声的教师输出图像进行机器学习，由此对用于提取或除去特定部分的学习模型进行学习，根据拍摄到的包括特定部分的图像，使用学习完毕的学习模型来制作提取出或除去了特定部分的图像。
在本发明的第二方面的图像制作方法中，通过如上述那样构成来对教师输入图像和教师输出图像这两方施加相同的噪声，因此能够对如提取或除去教师输入图像和教师输出图像的特定部分这样的图像处理进行学习，所述特定部分是除噪声成分以外的差异。由此，不对如使噪声平滑化这样的滤波器进行学习，因此能够抑制制作出的图像模糊。
本发明的第三方面的学习完毕模型的制作方法基于具有三维的像素值数据的三维数据来生成包括被检体的特定部分的区域的二维的教师输入图像，生成教师输出图像，所述教师输出图像是与教师输入图像相同的视角下的、示出特定部分的图像或除去特定部分的图像，对教师输入图像和教师输出图像施加相同的噪声，基于被施加了所述噪声的所述教师输入图像和被施加了所述噪声的教师输出图像来进行机器学习，由此对用于提取或除去特定部分的学习模型进行学习。
在本发明的第三方面的学习完毕模型的制作方法中，通过如上述那样构成来对教师输入图像和教师输出图像这两方施加相同的噪声，因此能够对如提取或除去教师输入图像和教师输出图像的特定部分这样的图像处理进行学习，所述特定部分是除噪声成分以外的差异。由此，不对使噪声平滑化的滤波器进行学习，因此能够抑制制作出的图像模糊。
发明的效果
根据本发明，如上述那样，能够抑制使用通过机器学习进行学习得到的学习模型来制作图像时的模糊。
附图说明
图1是表示一个实施方式所涉及的图像制作装置的框图。
图2是表示对用于通过一个实施方式所涉及的图像制作装置来制作图像的图像进行拍摄的X射线摄影装置的图。
图3是用于说明一个实施方式所涉及的学习方法和图像制作方法的图。
图4是用于说明一个实施方式所涉及的学习图像制作方法的图。
图5是用于说明一个实施方式所涉及的除去骨头的情况下的学习方法的图。
图6是用于说明一个实施方式所涉及的提取血管的情况下的学习方法的图。
图7是用于说明一个实施方式所涉及的学习模型的学习处理的流程图。
图8是用于说明一个实施方式所涉及的图像制作处理的流程图。
图9是表示一个实施方式的变形例所涉及的图像制作装置的框图。
具体实施方式
下面，基于附图来说明将本发明具体化了的实施方式。
参照图1～图8来说明本发明的一个实施方式所涉及的图像制作装置100的结构、一个实施方式的图像制作方法、一个实施方式的学习完毕模型的制作方法。
(图像处理装置的结构)
首先，参照图1来说明第一实施方式所涉及的图像制作装置100的结构。
图像制作装置100构成为：使用通过机器学习而学习完毕的学习模型，来制作提取出或去除了进行X射线摄影所得到的图像的特定部分的图像。如图1所示，图像制作装置100具备学习图像生成部1、噪声施加部2、学习部3以及图像制作部4。另外，图像制作装置100构成为：能够从CT摄影装置10获取CT图像。另外，图像制作装置100构成为：能够从X射线摄影装置20获取X射线摄影图像。另外，图像制作装置100构成为：能够向显示装置30发送所制作的图像。
图像制作装置100具备通信部，以从CT摄影装置10或X射线摄影装置20获取数据、以及向显示装置30发送数据。通信部例如包括HDMI(注册商标)(High-DefinitionMultimedia Interface：高清多媒体接口)、Display Port(显示器端口)、USB端口等输入输出接口。
另外，图像制作装置100例如包括CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理器)、ROM(Read Only Memory：只读存储器)以及RAM(Random Access Memory：随机存取存储器)等作为硬件结构。另外，图像制作装置100包括HDD(Hard Disk Drive：硬盘驱动器)或非易失性的存储器等作为存储部。
如图2所示，X射线摄影装置20包括顶板21、X射线照射部22以及FPD(Flat PanelDetector：平板探测器)23。顶板21构成为支承被检体O(人)。X射线照射部22构成为朝向被检体O照射X射线。FPD 23构成为检测从X射线照射部22照射并透过了被检体O的X射线。
图像制作装置100的学习图像生成部1构成为：生成用于通过学习部3对学习模型进行学习的教师输入图像和教师输出图像。具体地说，学习图像生成部1基于具有三维的像素值数据的三维数据来生成教师输入图像和教师输出图像，该教师输入图像是包括被检体O的特定部分的区域的二维的图像，该教师输出图像是与教师输入图像相同的视角下的、示出特定部分的图像或除去特定部分的图像。详细地说，学习图像生成部1基于拍摄被检体O所得到的计算机断层摄影图像(CT图像)来获取三维数据(具有三维的体素值的数据)。而且，学习图像生成部1构成为：基于三维数据，通过数字重建模拟(DRR)来生成教师输入图像和教师输出图像。
另外，学习图像生成部1构成为：根据一个三维数据(CT图像数据)来生成多组的教师输入图像和教师输出图像。例如，学习图像生成部1构成为：根据一个三维数据来生成大致10万组的教师输入图像和教师输出图像。学习图像生成部1构成为：使数字重建模拟的投影角度、投影坐标、用于生成DRR图像的参数、对比度、边缘增强等互不相同，来生成多组的教师输入图像和教师输出图像。
如图4所示，学习图像生成部1在通过数字重建模拟来生成图像的情况下，虚拟地配置三维数据11、X射线源12以及投影面13，对三维数据11虚拟地进行投影。而且，学习图像生成部1基于三维数据11进行计算，来生成向投影面13投影的图像14。
学习图像生成部1在生成教师输入图像的情况下，从X射线源12向三维数据11的包括特定部分的部分虚拟地照射X射线，对通过的CT值(体素值)进行加法运算来计算二维的图像14的各像素值。
另外，学习图像生成部1在生成教师输出图像的情况下，从X射线源12向三维数据11的包括特定部分的部分虚拟地照射X射线，仅对特定部分的CT值(体素值)进行加法运算或者对排除了特定部分的CT值(体素值)的CT值进行加法运算来计算二维的图像14的各像素值。例如，在提取特定部分的情况下，仅对与特定部分对应的范围的CT值(体素值)进行加法运算来计算二维的图像14的各像素值。另外，在提取CT上的特定部分时，可以使用公知的3D分割技术，也可以从由治疗计划装置制作出的治疗计划数据获取特定部分区域。另外，在排除特定部分的情况下，对排除了与特定部分对应的范围的CT值(体素值)的CT值进行加法运算来计算二维的图像14的各像素值。
另外，学习图像生成部1构成为：在将血管等的运动(跳动)设为特定部分的情况下，基于在三维空间的基础上还包括时间的四维的数据来生成教师输入图像和教师输出图像。由此，即使是伴随时间经过而运动的对象，也能够高精度地进行学习。
噪声施加部2构成为：对通过学习图像生成部1生成的教师输入图像和教师输出图像施加噪声。在此，在本实施方式中，噪声施加部2构成为：对教师输入图像和教师输出图像施加相同的噪声。另外，噪声施加部2构成为：对教师输入图像和教师输出图像施加基于拍摄图像所得到的摄影结果的噪声进行了调整的噪声。也就是说，噪声施加部2构成为：施加基于通过X射线摄影装置20进行了X射线摄影的情况下包括的噪声进行了调整的噪声。关于X射线摄影装置20进行的X射线摄影的噪声，例如通过在X射线照射部22与FPD 23之间配置均匀的物质(X射线透过率大致相等的物质(例如空气、水等))来进行X射线摄影，由此进行测定。
另外，噪声施加部2构成为施加高斯噪声。另外，噪声施加部2构成为：对教师输入图像和教师输出图像施加被调整为与拍摄图像所得到的摄影结果的噪声的标准偏差σ对应的标准偏差σ的高斯噪声。也就是说，噪声施加部2构成为：施加基于通过X射线摄影装置20进行了X射线摄影的情况下包括的噪声被调整为同等的标准偏差σ的高斯噪声。
另外，噪声施加部2构成为：对通过相同条件而生成的教师输入图像和教师输出图像的组施加相同的噪声。另一方面，噪声施加部2构成为：对生成的教师输入图像和教师输出图像的每个组施加互不相同的噪声。另外，例如噪声施加部2构成为：对生成的教师输入图像和教师输出图像的每个组以使参数随机变化的方式施加噪声。
另外，在本实施方式中，如图3所示，学习部3构成为：基于被施加了噪声的教师输入图像和被施加了噪声的教师输出图像来进行机器学习，由此对用于提取或除去特定部分的学习模型进行学习。学习部3构成为：通过AI(人工知能)，基于被施加了噪声的教师输入图像和被施加了噪声的教师输出图像来进行图像分析。另外，学习部3构成为使用卷积层来进行学习。另外，学习部3构成为通过深度学习来进行学习。另外，学习部3构成为使用神经网络来进行学习。
此外，通过学习部3对学习模型进行的学习可以针对每个被检体O进行，也可以针对每个X射线摄影装置20进行。另外，可以定期地进行学习。另外，可以制作汇总了不同的被检体O的学习数据的学习模型。
另外，在本实施方式中，如图3所示，图像制作部4构成为：根据拍摄到的包括特定部分的图像，使用学习完毕的学习模型来制作提取出或除去了特定部分的图像。也就是说，图像制作部4构成为：根据通过X射线摄影装置20拍摄到的包括特定部分的二维的X射线图像，使用通过学习部3进行了学习的学习模型来制作提取出或除去了特定部分的二维的图像。另外，图像制作部4构成为：根据通过X射线摄影装置20拍摄到的实时的二维图像来制作提取出或除去了特定部分的图像。例如，在被检体O的治疗等过程中，图像制作部4根据使用X射线摄影装置20透视到的图像，来制作除去了骨头、提取出血管或提取出支架等器具后的图像。另外，图像制作部4将制作出的图像发送至显示装置30。由此，使显示装置30显示提取出或除去了特定部分的图像。
参照图5对特定部分为骨头的例子进行说明。如图5所示，通过学习图像生成部1来生成包括作为特定部分的被检体O的骨头的区域的二维的教师输入图像。另外，通过学习图像生成部1来生成除去了作为特定部分的被检体O的骨头的二维的教师输出图像。而且，通过噪声施加部2对二维的教师输入图像和教师输出图像施加相同的噪声。通过学习部3，根据被施加了相同的噪声的教师输入图像和教师输出图像，通过机器学习来对用于除去骨头的学习模型进行学习。而且，使用用于除去该骨头的学习模型，通过图像制作部4来制作从通过X射线摄影装置20拍摄到的被检体O的X射线图像中除去了骨头的图像。
参照图6对特定部分为血管的例子进行说明。如图6所示，通过学习图像生成部1来生成包括作为特定部分的被检体O的血管的区域的二维的教师输入图像。另外，通过学习图像生成部1来生成提取出作为特定部分的被检体O的血管的二维的教师输出图像。而且，通过噪声施加部2对二维的教师输入图像和教师输出图像施加相同的噪声。通过学习部3，根据被施加了相同的噪声的教师输入图像和教师输出图像，通过机器学习来对用于提取血管的学习模型进行学习。而且，使用用于提取该血管的学习模型，通过图像制作部4来制作从通过X射线摄影装置20拍摄到的被检体O的X射线图像中提取出血管的图像。
(学习模型学习处理)
接着，参照图7来说明通过图像制作装置100进行的学习模型学习处理。
在步骤S1中，获取通过CT摄影装置10制作出的CT图像(三维数据)。在步骤S2中，根据CT图像来生成多组的教师输入图像和教师输出图像。
在步骤S3中，对生成的同组的教师输入图像和教师输出图像施加相同的噪声。在步骤S4中，对学习模型进行学习。由此，生成用于提取或除去特定部分的学习完毕模型。
(图像制作处理)
接着，参照图8来说明通过图像制作装置100进行的图像制作处理。
在步骤S11中，获取通过X射线摄影装置20得到的被检体O的摄影结果(二维的X射线图像)。在步骤S12中，根据获取到的X射线图像，使用学习完毕模型来制作提取出或除去了特定部分的图像。
(本实施方式的效果)
在本实施方式中，能够得到如以下那样的效果。
在本实施方式中，如上述那样设置有：噪声施加部2，其对教师输入图像和教师输出图像施加相同的噪声；以及学习部3，其基于被施加了上述噪声的教师输入图像和被施加了上述噪声的教师输出图像来进行机器学习，由此对用于提取或除去特定部分的学习模型进行学习。由此，由于对教师输入图像和教师输出图像这两方施加相同的噪声，因此能够对如提取或除去教师输入图像和教师输出图像的特定部分这样的图像处理进行学习，所述特定部分是除噪声成分以外的差异。由此，不对使噪声平滑化的滤波器进行学习，因此能够抑制制作出的图像模糊。
另外，在本实施方式中，如上述那样将学习图像生成部1构成为：基于拍摄被检体O所得到的计算机断层摄影图像来获取三维数据，通过数字重建模拟来生成教师输入图像和教师输出图像。由此，能够根据计算机断层摄影图像，通过数字重建模拟容易地生成多组的教师输入图像和教师输出图像，因此能够使用多组的图像来进行机器学习。由此，能够使学习模型的学习精度提高。
另外，在本实施方式中，如上述那样将噪声施加部2构成为：对教师输入图像和教师输出图像施加基于拍摄图像所得到的摄影结果的噪声进行了调整的噪声。由此，能够对教师输入图像和教师输出图像施加与实际进行摄影的情况下的噪声相应的噪声来进行机器学习，因此能够在根据拍摄到的包括特定部分的图像、使用学习完毕的学习模型来制作图像的情况下，有效地抑制噪声的影响，能够提取或除去特定部分。
另外，在本实施方式中，如上述那样将噪声施加部2构成为施加高斯噪声，并且构成为：对教师输入图像和教师输出图像施加被调整为与拍摄图像所得到的摄影结果的噪声的标准偏差对应的标准偏差的高斯噪声。由此，能够使施加的高斯噪声的标准偏差与实际进行摄影的图像的噪声一致，因此能够更有效地抑制噪声对图像的制作产生影响，能够提取或除去特定部分。
另外，在本实施方式中，如上述那样将学习图像生成部1构成为：生成包括被检体O的骨头的区域的二维的教师输入图像以及除去被检体的骨头的教师输出图像。另外，将学习部3构成为：基于被施加了噪声的教师输入图像和被施加了噪声的教师输出图像来进行机器学习，由此对用于除去骨头的学习模型进行学习。另外，将图像制作部4构成为：根据拍摄到的包括骨头的图像，使用学习完毕的学习模型来制作除去了骨头的图像。由此，能够对不极力除去噪声成分且仅除去骨头的学习模型进行学习，因此，通过使用学习模型来制作图像，能够输出抑制了模糊的骨抑制图像。
另外，在本实施方式中，如上述那样将学习图像生成部1构成为：生成包括被检体O的血管的区域的二维的教师输入图像以及示出被检体的血管的教师输出图像。另外，将学习部3构成为：基于被施加了噪声的教师输入图像和被施加了噪声的教师输出图像来进行机器学习，由此对用于提取血管的学习模型进行学习。另外，将图像制作部4构成为：根据拍摄到的包括血管的图像，使用学习完毕的学习模型来提取血管并制作图像。由此，能够对如不极力除去噪声成分且提取血管这样的学习模型进行学习，因此，通过使用学习模型来制作图像，能够输出抑制了模糊的血管图像。
(变形例)
此外，应当认为本次公开的实施方式在所有方面均为例示，而非限制性的。本发明的范围不由上述的实施方式的说明示出，而由权利要求书示出，还包括与权利要求书同等的含义和范围内的所有变更(变形例)。
例如，在上述一个实施方式中，示出了进行机器学习的装置和进行图像制作的装置是同一装置的例子，但本发明不限于此。在本发明中，进行机器学习的装置和进行图像制作的装置也可以为不同的装置。例如如图9所示，可以通过设置有学习图像生成部1、噪声施加部2以及学习部3的图像学习装置200来进行机器学习。另外，也可以通过设置有图像制作部4的图像制作装置300来进行图像制作。在该情况下，图像学习装置200可以配置于与图像制作装置300分离的部位。另外，图像学习装置200也可以由设置于云上的服务器计算机来构成。
另外，在上述一个实施方式中示出了对用于从X射线摄影装置的摄影结果中提取或除去特定部分的学习模型进行学习的结构的例子，但本发明不限于此。在本发明中，也可以为对用于从X射线摄影装置以外的摄影装置的摄影结果中提取或除去特定部分的学习模型进行学习的结构。另外，本发明一般可以广泛地应用于学习时的教师输出图像并非标签图像而是与教师输入图像相同方式的图像的情况。
另外，在上述一个实施方式中示出了制作从摄影结果中提取出或除去了特定部分的图像的结构的例子，但本发明不限于此。在本发明中，也可以制作从提取出或除去了特定部分的图像中进一步除去了噪声的图像。
另外，在上述一个实施方式中示出了被检体为人的例子，但本发明不限于此。在本发明中，被检体也可以为人以外的生物体，也可以为非生物体。
另外，在上述一个实施方式中示出了特定部分为血管或骨头的例子，但本发明不限于此。在本发明中，特定部分也可以为血管和骨头以外的部分。
另外，在上述一个实施方式中示出了施加于教师输入图像和教师输出图像的噪声为高斯噪声的例子，但本发明不限于此。在本发明中，施加于教师输入图像和教师输出图像的噪声也可以为高斯噪声以外的噪声。
另外，在上述一个实施方式中，为了方便说明，示出了使用按照处理流程依次进行处理的流程驱动型的流程图来说明图像制作装置的处理的例子，但本发明并不限于此。在本发明中，也可以通过以事件单位执行处理的事件驱动型(event-driven)的处理来进行图像制作装置的处理。在该情况下，可以基于以完全的事件驱动型来进行处理，也可以将事件驱动和流程驱动组合来进行处理。
附图标记说明
1：学习图像生成部；2：噪声施加部；3：学习部；4：图像制作部；100：图像制作装置；O：被检体。

Claims (8)

1.一种图像制作装置，具备：
学习图像生成部，其基于具有三维的像素值数据的三维数据来生成教师输入图像和教师输出图像，所述教师输入图像是包括被检体的特定部分的区域的二维的图像，所述教师输出图像是与所述教师输入图像相同的视角下的示出所述特定部分的图像或除去所述特定部分的图像；
噪声施加部，其对所述教师输入图像和所述教师输出图像施加相同的噪声；
学习部，其基于被施加了所述噪声的所述教师输入图像和被施加了所述噪声的所述教师输出图像来进行机器学习，由此对用于提取或除去所述特定部分的学习模型进行学习；以及
图像制作部，其根据拍摄到的包括所述特定部分的图像，使用学习完毕的所述学习模型来制作提取出或除去了所述特定部分的图像。
2.根据权利要求1所述的图像制作装置，其特征在于，
所述学习图像生成部构成为：基于拍摄被检体所得到的计算机断层摄影图像来获取所述三维数据，通过数字重建模拟来生成所述教师输入图像和所述教师输出图像。
3.根据权利要求1所述的图像制作装置，其特征在于，
所述噪声施加部构成为：对所述教师输入图像和所述教师输出图像施加基于拍摄图像所得到的摄影结果的噪声进行了调整的噪声。
4.根据权利要求3所述的图像制作装置，其特征在于，
所述噪声施加部构成为施加高斯噪声，并且构成为对所述教师输入图像和所述教师输出图像施加被调整为与拍摄图像所得到的摄影结果的噪声的标准偏差对应的标准偏差的高斯噪声。
5.根据权利要求1所述的图像制作装置，其特征在于，
所述特定部分为骨头，
所述学习图像生成部构成为：生成包括被检体的骨头的区域的二维的所述教师输入图像以及除去被检体的骨头的所述教师输出图像，
所述学习部构成为：基于被施加了所述噪声的所述教师输入图像和被施加了所述噪声的所述教师输出图像来进行机器学习，由此对用于除去骨头的所述学习模型进行学习，
所述图像制作部构成为：根据拍摄到的包括骨头的图像，使用学习完毕的所述学习模型来制作除去了骨头的图像。
6.根据权利要求1所述的图像制作装置，其特征在于，
所述特定部分为血管，
所述学习图像生成部构成为：生成包括被检体的血管的区域的二维的所述教师输入图像以及示出被检体的血管的所述教师输出图像，
所述学习部构成为：基于被施加了所述噪声的所述教师输入图像和被施加了所述噪声的所述教师输出图像来进行机器学习，由此对用于提取血管的所述学习模型进行学习，
所述图像制作部构成为：根据拍摄到的包括血管的图像，使用学习完毕的所述学习模型来提取血管并制作图像。
7.一种图像制作方法，其中，
基于具有三维的像素值数据的三维数据来生成包括被检体的特定部分的区域的二维的教师输入图像，
生成教师输出图像，所述教师输出图像是与所述教师输入图像相同视角下的、示出所述特定部分的图像或除去所述特定部分的图像，
对所述教师输入图像和所述教师输出图像施加相同的噪声，
基于被施加了所述噪声的所述教师输入图像和被施加了所述噪声的所述教师输出图像来进行机器学习，由此对用于提取或除去所述特定部分的学习模型进行学习，
根据拍摄到的包括所述特定部分的图像，使用学习完毕的所述学习模型来制作提取出或除去了所述特定部分的图像。
8.一种学习完毕模型的制作方法，其中，
基于具有三维的像素值数据的三维数据来生成包括被检体的特定部分的区域的二维的教师输入图像，
生成教师输出图像，所述教师输出图像是与所述教师输入图像相同视角下的、示出所述特定部分的图像或除去所述特定部分的图像，
对所述教师输入图像和所述教师输出图像施加相同的噪声，
基于被施加了所述噪声的所述教师输入图像和被施加了所述噪声的所述教师输出图像来进行机器学习，由此对用于提取或除去所述特定部分的学习模型进行学习。
CN201980066856.XA 2018-10-10 2019-09-27 图像制作装置、图像制作方法以及学习完毕模型的制作方法 Active CN112822982B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018191880 2018-10-10
JP2018-191880 2018-10-10
PCT/JP2019/038168 WO2020075531A1 (ja) 2018-10-10 2019-09-27 画像作成装置、画像作成方法および学習済みモデルの作成方法

Publications (2)

Publication Number Publication Date
CN112822982A CN112822982A (zh) 2021-05-18
CN112822982B true CN112822982B (zh) 2023-09-15

Family

ID=70164499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066856.XA Active CN112822982B (zh) 2018-10-10 2019-09-27 图像制作装置、图像制作方法以及学习完毕模型的制作方法

Country Status (4)

Country Link
US (1) US20210398254A1 (zh)
JP (1) JP7052880B2 (zh)
CN (1) CN112822982B (zh)
WO (1) WO2020075531A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7258604B2 (ja) * 2019-03-05 2023-04-17 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、および学習済みモデルの製造方法
US11983853B1 (en) 2019-10-31 2024-05-14 Meta Plattforms, Inc. Techniques for generating training data for machine learning enabled image enhancement
JP7200193B2 (ja) * 2020-11-09 2023-01-06 日本電子株式会社 Ｘ線測定装置、ｘ線測定方法及び機械学習方法
JPWO2022186110A1 (zh) * 2021-03-01 2022-09-09
KR102643269B1 (ko) * 2022-02-22 2024-03-04 사회복지법인 삼성생명공익재단 3d ct 데이터에서 가상 x-레이 영상을 생성하는 방법 및 영상처리장치
WO2023240091A1 (en) * 2022-06-06 2023-12-14 The Regents Of The University Of California Methods for electrochemical mechanistic analysis of cyclic voltammograms

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005569A (zh) * 2006-01-16 2007-07-25 索尼株式会社 信息处理装置和方法、学习装置和方法
CN101252884A (zh) * 2005-09-05 2008-08-27 柯尼卡美能达医疗印刷器材株式会社 图像处理方法和图像处理装置
JP2018089301A (ja) * 2016-12-07 2018-06-14 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム
CN108629784A (zh) * 2018-05-08 2018-10-09 上海嘉奥信息科技发展有限公司 一种基于深度学习的ct图像颅内血管分割方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
EP4086854A1 (en) * 2013-05-02 2022-11-09 Smith & Nephew, Inc. Surface and image integration for model evaluation and landmark determination
JP2016116659A (ja) * 2014-12-19 2016-06-30 株式会社東芝 医用画像処理装置、治療システム、医用画像処理方法、および医用画像処理プログラム
US20180018757A1 (en) * 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
JP6581068B2 (ja) 2016-11-11 2019-09-25 株式会社東芝 画像処理装置、画像処理方法、プログラム、運転制御システム、および、車両

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252884A (zh) * 2005-09-05 2008-08-27 柯尼卡美能达医疗印刷器材株式会社 图像处理方法和图像处理装置
CN101005569A (zh) * 2006-01-16 2007-07-25 索尼株式会社 信息处理装置和方法、学习装置和方法
JP2018089301A (ja) * 2016-12-07 2018-06-14 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム
CN108629784A (zh) * 2018-05-08 2018-10-09 上海嘉奥信息科技发展有限公司 一种基于深度学习的ct图像颅内血管分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lung Structures Enhancement in Chest Radiographs via CT Based FCNN Training;Ophir Gozes;Image Analysis for Moving Organ, Breast, and Thoracic Images;第147-158页 *
Task Driven Generative Modeling for Unsupervised Domain Adaptation: Application to X-ray Image Segmentation;Yue Zhang;《Medical Image Computing and Computer Assisted Intervention – MICCAI 2018》;第599-607页 *

Also Published As

Publication number Publication date
JP7052880B2 (ja) 2022-04-12
WO2020075531A1 (ja) 2020-04-16
JPWO2020075531A1 (ja) 2021-09-02
CN112822982A (zh) 2021-05-18
US20210398254A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
CN112822982B (zh) 图像制作装置、图像制作方法以及学习完毕模型的制作方法
US11727569B2 (en) Training a CNN with pseudo ground truth for CT artifact reduction
Hatvani et al. Deep learning-based super-resolution applied to dental computed tomography
JP7494125B2 (ja) ディープラーニング技法を用いたｘ線データの金属影響ボクセル表現の自動補正
DE102015014908B4 (de) Vorrichtung, Verfahren und Programm zum Verarbeiten eines medizinischen Bildes, und Röntgentherapievorrichtung
CN112435307B (zh) 一种深度神经网络辅助的四维锥束ct影像重建方法
US9672641B2 (en) Method, apparatus, and computer readable medium for removing unwanted objects from a tomogram
Tong et al. X-ray2Shape: reconstruction of 3D liver shape from a single 2D projection image
US20220160323A1 (en) Method of calibrating x-ray projection geometry in x-ray cone beam computed tomography
CN115209808A (zh) 学习完毕模型的制作方法、图像生成方法以及图像处理装置
JPWO2021171394A5 (zh)
US11963812B2 (en) Method and device for producing a panoramic tomographic image of an object to be recorded
CN111932467A (zh) 一种图像处理方法及装置
Kim et al. Convolutional neural network–based metal and streak artifacts reduction in dental CT images with sparse‐view sampling scheme
Wang et al. Inner-ear augmented metal artifact reduction with simulation-based 3D generative adversarial networks
CN113570586A (zh) 神经网络系统的创建、处理ct图像的方法及其装置
Gottschalk et al. Deep learning based metal inpainting in the projection domain: Initial results
TWI716762B (zh) 一種利用神經網路去除牙齒影像雜訊之方法
JP7273416B2 (ja) 画像処理装置，画像処理方法および画像処理プログラム
Heil et al. Metal artifact reduction in x-ray computed tomography: Inpainting versus missing value
Agrawal et al. Deep learning based projection domain metal segmentation for metal artifact reduction in cone beam computed tomography
Morrow Synthetic Image Production for Digital Chest Tomosynthesis
JP2024075557A (ja) 医療映像の椎体識別装置及び方法
Tripathi et al. Detection of Covid Disease using Computed Tomography Images
Abdo et al. Teeth and Jaw Segmentation from CBCT images Using 3D Deep Learning Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant