CN112308788B - 图像处理装置、图像处理方法以及x射线ct装置 - Google Patents

图像处理装置、图像处理方法以及x射线ct装置 Download PDF

Info

Publication number
CN112308788B
CN112308788B CN202010454757.3A CN202010454757A CN112308788B CN 112308788 B CN112308788 B CN 112308788B CN 202010454757 A CN202010454757 A CN 202010454757A CN 112308788 B CN112308788 B CN 112308788B
Authority
CN
China
Prior art keywords
image
noise reduction
input
images
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010454757.3A
Other languages
English (en)
Other versions
CN112308788A (zh
Inventor
山本真理子
山川惠介
高桥勋
后藤大雅
高桥悠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Healthcare Corp
Original Assignee
Fujifilm Healthcare Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Healthcare Corp filed Critical Fujifilm Healthcare Corp
Publication of CN112308788A publication Critical patent/CN112308788A/zh
Application granted granted Critical
Publication of CN112308788B publication Critical patent/CN112308788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理装置、图像处理方法以及X射线CT装置，即使是使用通用的画质评价指标无法对噪声进行定量化的医用图像，也能高精度地降噪并提高画质。图像处理装置具备：预处理部，其生成输入图像，该输入图像包含1张以上的原图像和与原图像相比降低了噪声的图像；以及降噪处理部，其应用已学习网络，基于上述输入图像输出对上述原图像降低了噪声的图像，上述降噪处理部中使用的上述已学习网络是通过使用多个学习集进行深度学习而构筑的，该多个学习集以包含噪声的医用图像、针对该医用图像进行降噪处理而得到的降噪图像以及在上述降噪处理的过程中得到的中间图像中的1张以上作为输入图像，并且以基于这些输入图像而得到的正确图像作为输出图像。

Description

图像处理装置、图像处理方法以及X射线CT装置
技术领域
本发明涉及图像处理装置、图像处理方法以及X射线CT装置，尤其涉及使用机器学习或者深度学习来降低图像的噪声的图像处理装置、图像处理方法以及X射线CT装置。
背景技术
使用X射线CT装置成像的医用图像具有如下特点：信号和噪声的定义根据图像的用途而不同，无法通过模拟制作临床上必需精度的图像，根据通用的画质评价指标无法对噪声进行定量化。另外，其降噪处理包括各种各样的方法，例如用于降低来源于金属的噪声的处理可以分类为：(1)实际空间中的处理、(2)投影空间中的处理以及(3)它们的组合的重复处理这3种(非专利文献1)。这些处理的噪声降低效果以及计算成本均为：处理(2)比处理(1)大，处理(3)比处理(2)大。关于处理(3)，虽然理论上可以使噪声为0，但由于计算成本高，在吞吐量为必需的商用机器中不采用。在商用机器中采用处理(1)及处理(2)，并且根据图像的用途而分别使用。
另一方面，针对一般的图像，将使用机器学习或者深度学习进行的降噪处理作为适应性地评价图像并进行与图像的特征对应的噪声降低的自适应滤波器而列举出较好的效果(非专利文献2)。
虽然机器学习或者深度学习作为根据通用的画质评价指标无法定量化且根据用途需要适应性的处理的医用图像的噪声降低方法而被期待，但方法应用本身是困难的。这是因为：如果想要仿照针对一般图像的深度学习的惯例而将无噪声的图像作为正确图像来构筑已学习网络，则正确图像要么不存在，要么即使存在其绝对数也较少，无法满足深度学习所必需的正确图像数(非专利文献2)。
非专利文献1：Gjesteby,L.,et al.(2016)."Metal Artifact Reduction in CT:Where are we after four decades？",IEEE Access,4,5826-5849
非专利文献2：Z.Eaton-Rosen,et al."Improving Data Augmentation forMedical Image Segmentation",MIDL 2018
发明内容
本发明是鉴于上述事项而完成的发明，目的如下：即使是使用通用的画质评价指标无法对噪声进行定量化的医用图像，也能高精度地降噪来提高画质。
为了解决上述课题，本发明提供如下的手段。
根据本发明的一个方式，提供一种图像处理装置，其具备：预处理部，其生成输入图像，该输入图像包含1张以上的原图像和与原图像相比降低了噪声的图像；以及降噪处理部，其应用已学习网络，基于上述输入图像输出对上述原图像降低噪声后的图像，上述降噪处理部中使用的上述已学习网络是通过使用多个学习集进行深度学习而构筑的，该多个学习集以包含噪声的医用图像、针对该医用图像进行降噪处理而得到的降噪图像以及在上述降噪处理的过程中得到的中间图像中的1张以上作为输入图像，并且以基于这些输入图像而得到的正确图像作为输出图像。
根据本发明的另一个方式，提供一种图像处理方法，其具有：预处理步骤，其生成输入图像，该输入图像包含1张以上的原图像和与原图像相比降低了噪声的图像；以及降噪处理步骤，其应用已学习网络，基于上述输入图像输出对上述原图像降低噪声后的图像，上述降噪处理步骤中使用的上述已学习网络是通过使用多个学习集进行深度学习而构筑的，该多个学习集以包含噪声的医用图像、针对该医用图像进行降噪处理而得到的降噪图像以及在上述降噪处理的过程中得到的中间图像中的1张以上作为输入图像，并且以基于这些输入图像而得到的正确图像作为输出图像。
另外，根据本发明的又一个方式，提供一种X射线CT装置，其具备：成像部，其对被检体照射X射线，检测透过上述被检体的X射线来生成图像；以及上述的图像处理装置，该图像处理装置将由上述成像部生成的图像作为原图像来进行降噪处理。
根据本发明，即使是使用通用的画质评价指标无法对噪声进行定量化的医用图像，也能高精度地降噪来提高画质。
附图说明
图1是表示应用了本发明的第1实施方式所涉及的图像处理装置的X射线CT装置的概略构成的框图。
图2是表示图1的X射线CT装置的图像处理部(图像处理装置)的概略构成的框图。
图3是表示深度学习的网络结构的一例的参考图。
图4是表示用于生成学习数据的学习准备装置的概略构成的参考框图。
图5是使用图4的学习准备装置进行的正确图像制作处理所涉及的流程图。
图6是表示在制作学习数据的实施例1中在决定参数值时显示在作为输出装置的监视器上的画面示例的参考图。
图7是制作学习数据的实施例1中的制作学习数据的处理流程图。
图8是制作学习数据的实施例2中的制作学习数据的处理流程图。
图9是制作学习数据的实施例3中的制作学习数据的处理流程图。
图10是表示本发明的第2实施方式所涉及的图像处理部(图像处理装置)的概略构成的框图。
图11是表示在本发明的第2实施方式中与转换编号k对应的处理和用途的对应关系的一例的对应表。
图12是表示使用本发明的第2实施方式所涉及的图像处理部(图像处理装置)进行的降噪处理的流程的流程图。
符号说明
110：成像部；120：控制部；130：运算部；140：存储部；150：输入部；160：输出部；111：X射线源；112：X射线检测器；113：开口；114：转盘；115：工作台；131：信号收集部；132：图像生成部：133：图像处理部(图像处理装置)；310：预处理部；311：学习应用部；312：用途识别部；313：选择部；321：预处理部；322：学习数据制作部；600：学习准备装置；610：转换处理/参数定义部；620：参数值决定部；630：转换处理执行部。
具体实施方式
(第1实施方式)
下面，参照附图来说明应用了本发明的第1实施方式所涉及的图像处理装置(图像处理部)的X射线CT装置。
图1表示本实施方式所涉及的X射线CT装置的概略构成图。图1的X射线CT装置具备：进行X射线的照射及检测的成像部110、对成像部110中的成像进行控制的控制部120、根据由成像部110检测出的信号生成图像并进行预定的处理的运算部130、存储运算部130执行的程序和执行程序所需的数据的存储部140、输入X射线照射条件等成像条件和图像的生成条件的输入部150、以及显示所生成的图像的输出部160。
成像部110具备：具有X射线管的X射线源111、将多个X射线检测元件排列为一维或二维状的X射线检测器112、以对向配置的方式支承X射线源111和X射线检测器112且在中央具有开口部113的转盘114、以及位于开口部113的内部且能在开口面的法线方向上移动的工作台115。
控制部120分别具备未图示的X射线控制器、转盘控制器以及工作台控制器等针对成像部110所包含的每个构成要素而设置的控制器，并且通过在下述的运算部130中展开并执行预定的程序，向成像部110发送必要的控制信号。
运算部130控制X射线CT装置整体，并向控制部120所包含的各控制机发送必要的信号。另外，运算部130收集从成像部110接收到的X射线检测信号并生成重建图像，并针对重建图像进行预定的图像处理。运算部130由CPU(Central Processing Unit；中央处理器)、GPU(Graphics Processing Unit；图形处理单元)或者两者的组合构成。
运算部130实现信号收集部131、图像生成部132以及图像处理部133的功能。上述的运算部130包含的各部分所执行的动作的一部分或者全部，也可以通过ASIC(application specific integrated circuit；专用集成电路)、FPGA(field-programmable gate array；现场可编程门阵列)来实现。
信号收集部131用于收集从X射线检测器112接收到的模拟X射线检测信号并将其转换为数字投影信号，例如可以应用数据收集系统(DAS；Data Acquisition System)。在图像生成部132中，基于由信号收集部131收集并转换得到的数字投影信号，生成重建图像(CT图像)。图像处理部133针对由图像生成部132生成的重建图像进行包括降噪处理的预定的图像处理。关于图像处理部133的细节，将在下文进行描述。
存储部140用于存储运算部130所执行的程序和执行程序所需的数据、在后述的图像处理部133中利用机器学习进行降噪处理所需的已学习网络。作为存储部140，可以应用存储器、HDD(Hard Disk Drive；硬盘驱动器)装置等。输入部150用于接收用户的成像条件的输入，可以应用键盘、鼠标、触摸面板等。输出部160例如可以应用对运算部130中生成的图像进行显示的监视器等。
(关于图像处理部)
本实施方式所涉及的图像处理装置作为图像处理部133组装于X射线CT装置。图像处理部133针对由图像生成部132生成的重建图像进行降噪处理、边缘提取、对比度调整等与成像对象、目的对应的各种图像处理。在本实施方式中，设定为图像处理部133主要进行降噪处理，关于其它图像处理省略说明。
图像处理部133在如本实施方式这样组装于运算部130的情况下，作为搭载于作为运算部130的CPU、GPU上的软件或者ASIC、FPGA等硬件而实现其功能。特别地，作为图像处理部133的功能的学习应用部311可以利用Tensorflow(谷歌公司)、Chainer(首选网络公司)、Theano(蒙特利尔大学)等公知的软件来实现。
在本实施方式中，图像处理部133通过机器学习或者深度学习来实现降噪处理。因此，如图2所示，图像处理部133具备预处理部310和学习应用部311。
预处理部310用于生成在学习应用部311中应用深度学习网络进行降噪处理时的输入图像。预处理部310具备原图像输入输出部3101和降噪处理部3102，将输入预处理部310中的原图像作为输入图像，并且生成至少一张针对原图像进行公知的降噪处理所得到的图像(下面称为“降噪处理图像”)来作为输入图像。
具体而言，原图像输入输出部3101将从图像生成部132取得的重建图像(原图像)作为输入图像，输出到学习应用部311中。另外，在降噪处理部3102中，作为输入图像，生成例如在执行预先规定的公知的第1降噪处理时生成的中间图像或者执行该降噪处理而得到的第1噪声处理图像、通过其它公知的第2降噪处理得到的第2降噪图像这3种图像，并且将它们输出到学习应用部311。
因此，从预处理部310向学习应用部311输出共4张输入图像。在预处理部310中，优选这些多张输入图像是噪声的性质互不相同的图像。例如，当在已学习网络中从包含因金属引起的噪声的图像进行降低因金属引起的噪声的处理时，优选在预处理部310中，作为降噪图像，生成将受到金属影响的分量在投影空间中替换为减去该金属的影响后的值而得到的投影替换处理图像、对受到金属影响的分量在投影空间中进行线性插值而得到的线性插值图像、进行射束硬化校正处理而得到的图像等。
另外，作为通过公知的降噪处理得到的中间图像，优选为通过将原图像按空气、软部组织、骨组织等分类进行区域分割，并将空气的分类设定为0HU、将软部组织的分类设定为1000HU等针对每个区域降低噪声分量得到的图像、对原图像的高频分量进行加强而得到的高频图像、表示原图像中的相邻像素间的像素值之差的大小的边缘图像等。
针对降噪处理的对象即医用图像，学习应用部311基于在预处理部310中生成的输入图像应用已学习网络来进行降噪处理。这里，已学习网络是针对输入数据具有与输出特定数据的函数相同的功能的程序。因此，也可以通过运算部130构筑已学习网络，另外，还可以通过与运算部130不同的独立的运算装置预先构筑已学习网络并将其存储在存储部140中。
在这样构成的X射线CT装置中，如下述那样对图像进行成像。即，用户通过输入部150输入成像部位、管电压、管电流量、其它成像条件、视野尺寸、图像中心、滤波器条件、其它图像生成条件等作为成像/图像生成条件，并指示成像开始。控制部120生成与输入的成像条件对应的控制信号，并输出到成像部110。
成像部110根据获取的控制信号进行X射线成像，并将投影信号输出到信号收集部131。信号收集部131将投影信号转换为数字信号并输出到图像生成部132，图像生成部132根据图像的生成条件，使用Filtered Back Projection(滤波反投影)法、逐次重建法等图像重建法，基于投影信号生成表示被摄体的X射线吸收系数的重建图像(CT图像)。
在图像处理部133中，预处理部310获取由信号收集部131收集的数字投影信号以及由图像生成部132生成的重建图像中的至少一方，生成由学习应用部311输入到已学习网络中的输入图像。在预处理部310中，如上述那样生成多个输入图像，并将其输出到学习应用部311。学习应用部311读入存储在存储部140中的已学习网络，设定已学习网络所需的处理参数，基于输入图像使用已学习网络获取输出图像并进行输出。
(关于深度学习网络)
图3表示学习应用部311所使用的深度学习网络(下面简单记载为“网络”)的结构的一例。
在本实施方式中，设定为学习应用部311使用卷积神经网络(CNN：Convolutionalneural network)作为网络来进行说明。如图3所示，CNN由输入1张以上包括噪声的图像410的输入层420、构成为重复大量卷积运算的运算单元430、以及输出1张降噪后的图像450的输出层440构成。
图3中，表示各层的模块下的数字表示通道数，各层内的数字表示通过层处理的尺寸，表示输入层及输出的模块端部的数字表示输入及输出的尺寸。
在本实施方式中，关于网络，从处理精度及处理时间的优越性出发，设定为被广泛使用的CNN，但并不限定于此，也可以使用例如MLP(Multi Layer Perceptron；多层感知器)、VAE(Variational Auto Encoder；可变自动编码器)、GAN(生成对抗网络；GenerativeAdversarial Network)等。
(关于制作学习数据以及构筑已学习网络)
下面，关于学习应用部311所应用的已学习网络的构筑进行说明。在本实施方式中，如图3所示，作为学习应用部311所应用的已学习网络的一例，使用CNN，输入包含因金属引起的噪声的图像，并输出降噪后的图像。
学习数据由网络的输入数据和网络的输出数据(正确数据)构成。输入数据和输出数据成对，将对的数量称为数据数量。深度学习中的数据数量在多的时候为10万以上。此外，在下面的说明中，将网络的结构例示为CNN，与此相应地，将输入数据称为输入图像，将输出数据称为输出图像，将正确数据称为正确图像。
在本实施方式中，如图4所示，为了构筑已学习网络，通过学习准备装置600制作学习数据即输入图像和输出图像(正确图像)。作为学习准备装置600，不仅能组装于运算部130中，而且能应用与运算部130不同的独立的专用或者通用的计算机等。
学习准备装置600具备：生成输入图像的预处理部321、生成正确图像的学习数据制作部322、以及使网络对学习数据进行学习的学习执行部323。
预处理部321与图像处理部133的预处理部310相同地，除了原图像以外，生成至少一张进行公知的降噪处理而得到的降噪图像来作为输入图像。具体而言，与上述的预处理部310相同地，将CT图像作为原图像，生成对该原图像进行例如预先规定的公知的第1降噪处理而得到的降噪图像的输出图像、对该原图像进行第1降噪处理时生成的中间图像、对该原图像进行公知的第2降噪处理而得到的降噪图像这3种图像。生成的图像可以暂时存储于未图示的存储装置中，也可以输出到学习数据制作部322。
学习数据制作部322具备：转换处理/参数定义部610、参数值决定部620以及转换执行部630。
转换处理/参数定义部610预先定义用于将输入图像转换为输出图像的转换处理以及转换处理所用的参数。在本实施方式中，由于使用网络进行降噪，因此将用于得到对输入图像进行降噪后的正确图像的处理设定为转换处理，例如从实际空间上的加权和、频率空间上的加权和、或者它们的组合、其它公知的降噪处理等中适当地选择。另外，一并定义在已定义的转换处理所用的参数。
参数值决定部620针对由转换处理/参数定义部610确定的参数，具体地决定参数值。转换执行部630针对在转换处理/参数定义部610中定义的转换处理，应用由参数值决定部620决定的参数值，执行输入图像的转换并生成输出图像(正确图像)。此外，关于在预处理部321中生成的输入图像以及在学习数据制作部322中生成的正确图像，可以根据需要存储在未图示的存储装置中。
学习执行部323通过收集学习数据并将学习数据应用于CNN使其进行反复学习，从而构筑已学习网络，该学习数据将在预处理部321中生成的图像作为输入图像，并将在学习数据制作部322中生成的正确图像作为输出图像。
(关于学习数据制作处理)
下面，关于像这样构成的学习准备装置600的学习数据制作部322中的正确图像制作的流程，根据图5的流程图进行说明。
当用于实现学习数据制作部322的程序被展开、启动时，学习数据制作部322实现作为转换处理/参数定义部610、参数值决定部620以及转换执行部630的功能。在步骤S610中，转换处理/参数定义部610从未图示的存储部中读入并定义转换处理以及参数的定义。
之后，开始用于制作多张正确图像的处理中的第一张的处理，在步骤S620中，通过参数值设定部620设定用于得到第一张正确图像的参数的值。接着，在步骤S630中，学习数据制作部322从预处理部321读入用于得到第一张正确图像的输入图像。
在接下来的步骤S640中，转换执行部630使用在步骤S620中设定的参数的值对输入图像进行转换处理，并将得到的数据作为正确图像以与输入图像成为一对的方式存储在未图示的存储装置中(步骤S650)。当制作正确图像的数据数量为N时，重复进行N次从上述的步骤S620到步骤S650的动作(步骤S660)，并将得到的数据集设定为学习数据。
在本实施方式中，关于根据输入图像将参数值设定为不同值的示例进行了说明，但也可以将参数值设定为所有的输入图像通用的值。
如以上所述，在本实施方式中，使用将存在噪声的图像作为输入图像并将对该输入图像进行转换后的图像作为输出图像的学习数据，来构筑已学习网络。因此，例如，关于针对本来无法得到正确图像的图像等使用通用的画质评价指标无法对噪声进行定量化的医用图像的降噪处理，也能应用已学习网络，能够高精度地降噪来提高画质。
此外，优选根据成为降噪处理对象的图像、它的尺寸来构筑已学习网络。例如，当想要降低因金属引起的噪声时，构筑的是使用将包含因金属引起的噪声的图像作为输入图像并将降低因金属引起的噪声而得到的图像作为输出图像的学习数据构筑的已学习网络。通过使用这样构筑的已学习网络来进行降噪处理，能够针对根据图像的用途而噪声的定义不同且无法根据通用的画质评价指标对噪声进行定量化的因金属引起的噪声进行适应性的降噪处理，得到较高的降噪效果。
更具体地，可以通过学习数据来构筑已学习网络，该学习数据以没有进行降噪处理的原图像、仅具有金属区域的值的金属图像、对受到金属影响的分量在投影空间中进行线性插值得到的线性插值图像、通过射束硬化校正处理降低因金属引起的噪声而得到的射束硬化校正图像、对原图像的高频分量进行加强而得到的高频图像、表示原图像中的相邻像素间的像素值之差的大小的边缘图像、根据成像对象的X射线减弱系数的不同对区域进行分割而得到的区域分割图像中的2张以上作为输入图像。
通过使用应用这样的学习数据而构筑的已学习网络进行降噪处理，能够针对根据图像的用途而噪声的定义不同且无法根据通用的画质评价指标对噪声进行定量化的因金属引起的噪声，得到公知的降噪处理以上的降噪效果。
下面，关于实施例1～实施例6所涉及的学习数据制作例进行说明。
＜学习数据制作的实施例1＞
本实施例中，将用于将转换处理/参数定义部610所定义的输入图像转换为输出图像的转换处理设定为实际空间上的加权和、频率空间上的加权和、或者实际空间上和频率空间上的加权和的组合中的任意一种。另外，在参数值决定部620中，基于用户的输入，决定从输入图像转换为正确图像所用的参数中的1个以上的值。
更具体地，在决定参数值时，学习数据制作部322读入由预处理部321生成的输入图像，并将它们显示在作为输出装置的监视器等上。图6表示此时显示的画面的示例。图6所示的画面900由输入图像的显示区域910、输入转换的参数的参数值输入区域930、用于显示使用输入的值的参数对输入图像进行转换得到的结果即正确图像的正确图像显示区域920构成。
在图6所示的示例中，使用参数值输入区域930中示出的参数，能够将具体的值输入参数值输入区域930的右侧的栏里。在参数值输入区域930中，作为已定义的参数，显示的是：在没有被指定为实际空间上的合成区域的区域中以加权和1进行加权的基本图像(ImgB)、合成低频分量的合成图像1(ImgLn)、合成高频分量的合成图像2(ImgHn)、合成高频和低频的区域即合成区域(Sn)、确定用于提取低频分量的滤波器Kln的低频用滤波器的参数(kln)、确定用于提取高频分量的滤波器Khn的高频用滤波器的参数(khn)。
另外，由转换处理/参数定义部610定义的、从输入图像(ImgLn、ImgHn、n＝1、2、……、N)向正确图像(ImgGT)的转换处理通过实际空间上和频率空间上的加权和的组合成为以下述式(1)表示的转换处理。
【数式1】
式(1)中，图像、区域、滤波器全部用以实数值作为分量的矩阵表示，i、j是与像素对应的行号和列号，角标N是合成的区域的数量，n是对区域进行编号的1以上且N以下的整数。
更具体地，关于输入图像是包含因金属引起的噪声的图像，正确图像是降低因金属引起的噪声而得到的图像的情况进行说明。
预处理部321作为一例生成相当于公知的降噪处理的输入图像的CT图像即原图像、将受到金属影响的分量在投影空间中替换为减去影响后的值而得到的投影替换图像、对受到金属影响的分量在投影空间中进行线性插值而得到的线性插值图像、进行射束硬化校正处理后得到的射束硬化校正图像共4张输入图像。
用户参照输入图像显示区域910，通过目视判断例如4张输入图像中在大部分的像素中噪声最少的图像，并在参数值输入区域930中设定为基本图像(ImgB)。接着，通过目视判断在4张输入图像中的一张中较好地残留了低频分量的信号且在另一张中较好地残留了高频分量的信号的区域，并在参数值输入区域930中设定为合成区域(Sn)。
图6中示出了预先规定以矩形来指定区域并将指定矩形的2点的x、y坐标作为参数输入的示例。接着，用户将残留有低频分量的信号的图像作为合成图像1(ImgLn)，将残留有高频分量的信号的图像作为合成图像2(ImgHn)，并在参数值输入区域930中进行设定。进而，视觉确认合成图像1及合成图像2中的信号和噪声的空间尺度，判断适于合成的频率，并在参数值输入区域930中设定用于指定低频用滤波器的参数(kln)和用于指定高频用滤波器的参数(khn)。
在本实施例中，关于低频用滤波器，将其滤波器形状预先规定为高斯滤波器，且将其内核大小设定为参数。另外，关于高频用滤波器，预先规定为从恒等映像减去高斯滤波器而得到的滤波器，且将高斯滤波器的内核大小设定为参数。关于高频用滤波器的参数，优选为与用于提取高频分量的合成图像2中残留的噪声的频率相当的值，例如3以上且7以下。
当用户决定参数值时，使用设定的参数值对输入图像转换后的结果显示在正确图像显示区域920中。用户可以参照显示的转换结果重复进行除了基本图像的设定以外的参数值设定和对使用设定的参数值得到的转换结果的视觉确认。在数式1中，N表示重复的次数。
在上述的示例中，例如，基本图像是射束硬化校正图像或者投影替换图像，合成区域在金属附近，合成图像1是线性插值图像，合成图像2优选为射束硬化校正图像或者投影替换图像。
(关于学习数据制作的处理)
上述的正确图像的生成处理，具体地根据图7所示的流程图来进行。下面，关于本实施例1所涉及的学习数据制作部322中的正确图像制作的流程，根据图7的流程图进行说明。
当学习数据制作程序被展开/启动时，学习数据制作部322实现作为转换处理/参数定义部610、参数值决定部620以及转换执行部630的功能。在步骤S710中，转换处理/参数定义部610从未图示的存储部中读入并定义转换处理以及参数的定义。
在步骤S720中，学习数据制作部322从预处理部321读入用于得到正确图像的输入图像，并将读入的输入图像与在步骤S710中定义的参数一起显示在监视器中。在步骤S730中，通过参数值设定部620设定各参数的值以获取正确图像。具体地，用户参照显示在监视器上的输入图像来决定参数值，并使用输入装置输入该值。
在接下来的步骤S740中，转换执行部630使用在步骤S730中设定的参数的值对输入图像进行转换处理，并将得到的数据作为正确图像以与输入图像成为一对的方式存储在未图示的存储装置中(步骤S750)。当制作正确图像的数据数为N时，重复进行N次从上述的步骤S720到步骤S750的动作(步骤S760)，并将得到的数据集设定为学习数据。
此外，在上述的说明中，将从输入图像向正确图像的转换处理设定为实际空间上和频率空间上的加权和的组合，但当将参数设定为极端的值时，不言而喻，将成为更单纯的处理。即，当将低频用滤波器的参数、高频用滤波器的参数中的一方设定为全通过，且将另一方设定为全截断时，成为用合成图像1替换基本图像中的合成区域的处理。
进而，当将合成区域设定为图像的整个区域时，成为频率上的加法运算和。另外，当将低频用滤波器的参数和高频用滤波器的参数设定为其频率分布仅相差常数倍，则成为实际空间上的加法运算和。最后，当将低频用滤波器的参数、高频用滤波器的参数中的一方设定为全通过，将另一方设定为全截断，且将合成区域设定为图像的整个区域时，成为选择输入图像中的1张的处理。
另外，在图6的画面示例中，示出了参数值输入区域930为文本框的示例，但也可以实现为通过单击显示在输入信息显示区域910上的图像中的1张来选择图像，或者通过单击图像的2点来获取合成区域的两端点坐标，或者通过将数字输入标准输出中来获取滤波器参数等GUI(Graphical User Interface；图形用户界面)、通过命令行输入数值或文字的CUI(Character User Interface；字符用户界面)。
如此，根据本实施例，用户判断并输入从输入图像向正确图像的转换的参数中的1个以上的值，将使用输入的参数值得到的转换处理的结果作为正确图像，将输入输出图像作为学习数据来构筑已学习网络。通过使用像这样构筑的已学习网络，即使针对无法根据通用的画质评价指标进行评价的噪声，也能高精度地进行降噪处理。
进而，将转换处理/参数定义部610定义的转换处理设定为实际空间上和频率空间上的加权和的组合。特别地，输入图像是包含来源于金属的噪声的图像，并将公知的降噪处理中的投影替换处理和射束硬化校正处理的输出图像作为输入图像，来构筑已学习网络。
通过应用这样的已学习网络，能够得到较高的降噪效果。这是因为：反映了公知的降噪处理中的投影替换处理和射束硬化校正处理的原理的不同，各自的降低处理后的噪声的空间分布和频率分布不同。
＜学习数据制作的实施例2＞
在本实施例中，关于转换处理/参数定义部610定义的用于将输入图像转换为输出图像的转换处理，设定为将公知的降噪处理的一部分替换为使用参数进行的处理的转换处理，并基于用户的输入来决定该参数中的1个以上的值。
在本实施例中，关于将转换处理所用的公知的降噪处理设定为投影空间中的处理的示例进行说明。这里，作为投影空间中的处理，已知NMAR(Normalized metal artifactreduction)、O-MAR(Orthopedic-Metal Artifact Reduction)、SEMAR(Single EnergyMetal Artifact Reduction)等多种处理，但都是大致由3个处理要素构成。
即，第1处理要素是将原图像按空气、软部组织、骨组织等分类进行区域分割并设为区域分割图像的区域分割处理。另外，第2处理要素是将原图像中的空气的区域设定为0HU，将软部组织的区域设定为1000HU，将骨组织的区域设定为原CT值+1000HU等，并按照区域降低噪声分量来得到按区域分类的降噪图像的按区域分类的降噪处理。进而，第3处理要素是对按区域分类的降噪图像和原图像进行投影处理，用按区域分类的降噪图像的投影值替换原图像的投影图像中受金属影响的投影值，然后进行反投影而得到校正图像的金属部替换处理。
在本实施例中，关于这3个处理要素中的第2处理要素即按区域分类的降噪处理，替换为使用参数进行的处理。
下面，关于本实施例中的通过学习数据制作部322根据输入图像生成正确图像的转换处理，根据图8的流程图进行说明。
在本实施例中，生成4张为了生成正确图像而输入的输入图像。在通过学习数据制作部322生成正确图像之前，预处理部321生成原图像、对原图像进行互不相同的方法的以往的噪声降低处理得到的图像(以往降低处理图像1和以往降低处理图像2)、高频图像共4张。
在图8的步骤S101中，在预处理部321中生成的4张输入图像被输入学习数据制作部322中。在接下来的步骤S102中，通过转换执行部630，分别针对4张图像进行按空气、软部组织、骨组织等分类进行区域分割的区域分割处理，从而制作区域分割图像。
接着，在接下来的步骤S103中，针对区域分割图像，进行对每个区域所适用的降噪处理，制作按区域分类的降噪图像。
更具体地，关于由4张输入图像得到的区域分割图像，在步骤S311中，针对每个区域分类为不同处理，并针对每个区域进行处理。具体地，在步骤S312中进行软部组织区域用的降噪处理，在步骤S313中进行骨组织区域用的降噪处理，在步骤S314中进行空气区域用的降噪处理，在步骤S315中进行金属区域用的降噪处理。
这里，关于步骤S312的软部组织区域用的降噪处理进行说明。
步骤S312的降噪处理将公知的降低处理的一部分替换为使用参数进行的处理。即，软部组织区域用的降噪处理和针对其的输入图像与公知的降低处理不同。
具体地，在公知的降低处理中，将所有软部组织的分类设定为一定的值，例如设为1000HU，但在本实施例中的软部组织用的降噪处理中，通过指定基本图像，生成合成图像1(低频分量)，生成合成图像2(高频分量)，指定合成区域、低频用滤波器、高频用滤波器，并使用上述的式(1)进行合成，从而对软部组织区域进行降噪处理。
与实施例1相同地，参数是基本图像、合成图像1、合成图像2、合成区域、低频用滤波器的参数、高频用滤波器的参数。
关于参数的值，作为以往降低处理图像1，例举为线性插值图像，作为以往降低处理图像2，例举为射束硬化校正图像，作为基本图像及合成图像2，例举为射束硬化校正图像，作为合成图像1，例举为线性插值图像，作为合成区域，例举为整个区域，作为低频用滤波器，例举为内核大小为3的高斯内核，作为高频用滤波器，例举为从恒等转换减去低频用滤波器得到的滤波器。
对由步骤S312得到的软部组织区域、骨组织区域、空气区域、金属区域的每个区域的降噪处理图像进行合成，生成按区域分类的降噪图像(步骤S315)。
在接下来的步骤S104中，将原图像的投影图像中受金属影响的部分替换为如上述那样得到的按区域分类的降噪图像的投影图像，并进行反投影，制作降噪后的图像。在本实施例中，将像这样获取的降噪后的图像作为正确图像。
如以上所述，如果为了高精度化而将处理复杂化，很多情况下会产生参数，但参数的优化方法并不是显而易见的。但是，根据本例，由于用户判断并设定参数，因此能够实现处理的高精度化，能够得到噪声更少的正确图像。
＜学习数据制作的实施例3＞
在上述的实施例2中，将软部组织用的降低处理(S312)设定为使用参数得到的按区域分类的降噪处理，然后将进行金属部替换处理得到的结果作为正确图像。
一般地，在由多种图像处理构成且产生中间图像的图像处理中，存在中间图像的目标画质与最终输出的目标画质不同的情况。由于图像的纹理等高频分量的一部分通过金属部替换处理来恢复，因此在按区域分类的降噪处理中，低频分量的正确性被重视。因此，在本实施例中，对于成为上述实施例2中的正确图像的低频分量的合成图像1进一步进行高精度化。
在下面的说明中，关于本实施例即上述实施例2中的按区域分类的降噪处理(S103)中软部组织区域用的降噪处理的合成图像1的制作处理的其他示例，根据图9的流程图进行说明。
本实施例中的合成图像1不是选择1张输入图像，而是根据多张输入图像来制作。因此，首先决定合成图像1的制作中所用的M张输入图像，并设定为合成基础图像m(m＝1～M)(步骤S31)。这里，合成基础图像m优选为包含低频分量且噪声的性质不同的输入图像，例如，当M＝2时，合成基础图像1优选为射束硬化校正图像，合成基础图像2优选为线性插值图像。
接着，在步骤S32中，针对每个合成基础图像m，计算出用于定义剔除值的阈值Th1m及Th2m。例如，基于软部组织区域中的CT值的平均值和方差值决定阈值。
作为一例，关于射束硬化校正图像及线性插值图像的情况下的阈值进行说明。在射束硬化校正图像的情况下，其残存噪声是可以根据CT值的分布在某种程度下与信号分离且通过金属部替换处理可以进一步降低的性质的噪声，因此可以允许某种程度的噪声残存。因此，合成基础图像1的阈值Th11及Th21优选为合成基础图像1的平均值±方差/2。
另一方面，在线性插值图像的情况下，关于图像中残存的噪声，与射束硬化校正图像的情况相反，不优选允许噪声残存。因此，即使以信号的缺损为代价也必须降噪，合成基础图像2的阈值Th12及Th22优选为合成基础图像2的平均值±方差/5～平均值±方差/3。
然后，在接下来的步骤S33中，以合成基础图像阈值Th1m为下限，且以Th2m为上限，对合成基础图像m进行截取，设为阈值处理后合成基础图像m。最后，在步骤S34中，根据阈值处理后合成基础图像m制作合成图像1。作为从阈值处理后合成基础图像m向合成图像1的合成方法，优选为如下的合成方法：例如将合成基础图像1不是剔除值的像素设定为合成基础图像1的像素值，除此之外，将合成基础图像2不是剔除值的像素设定为合成基础图像2的像素值，将再除此之外的像素设定为阈值处理后合成基础图像1的像素值。
如以上所述，当噪声的频率分布依赖于成像对象时，通过由用户判断并设定最优的参数，能够制作较好地再现低频分量的中间图像，通过使用基于此得到的正确图像来构筑已学习网络，在使用该已学习网络进行的降噪处理中，能够提高降噪率。
＜学习数据制作的实施例4＞
在本实施例中，使用与上述实施例2或者实施例3中的骨组织区域用的降噪处理(S313)的处理不同的方法。在实施例2或者实施例3中的公知的骨组织区域用的降低处理中，将原图像的值设定为按区域分类的降噪图像，但在本实施例中，针对每个像素比较输入图像中的原图像、以往降低处理图像1及以往降低处理图像2，关于所有像素将3张图像的最大值设定为像素值。该情况下，参数为用于指定具有表示最大值的像素的图像，例如原图像、以往降低处理图像1、以往降低处理图像2的变量。
来源于金属的噪声具有使骨组织的像素值变小的倾向，在根据以往降低处理的种类而噪声的空间分布不同的情况下，通过应用针对每个像素采用原图像和以往降低处理的最大值的本实施例，能够得到对生成的正确图像的骨组织中的像素值的减小进行恢复的效果。如此，使用通过反映了骨组织中的噪声的特征的降低处理而提高了骨组织区域的降噪率的正确图像构筑已学习网络，并将其应用于降噪处理，由此能够提高降噪率。
＜学习数据制作的实施例5＞
在上述的实施例2至实施例4中，对按区域分类的降噪处理进行了高精度化，但也可以对区域分割处理或者金属部替换处理进行高精度化。
作为对区域分割处理进行高精度化的处理，例如可以考虑通过边缘检测处理和形态学处理的组合来实现，用户设定的参数为索贝尔法、高斯的拉普拉斯法、Canny法等边缘检测方法的选择，若是Canny法也可以是2个阈值等针对每个边缘检测法的参数、以及形态学处理的参数。
通过像这样由用户判断并设定各处理的参数，即使在使参数的最优值发生较大变化的因素例如强度、空间图案依赖于成像对象的噪声存在的情况下，也能高精度地进行区域分割处理，并能够制作合适的正确图像。因此，通过使用该正确图像构筑网络并将其用于降噪处理中，即使是使用通用的画质评价指标无法对噪声进行定量化的医用图像，也能高精度地降噪并提高画质。
＜学习数据制作的实施例6＞
在上述的实施例2至实施例5中，对来源于金属的噪声的降噪处理中的、投影空间中的处理的一部分进行了高精度化，但也可以对射束硬化校正处理等实际空间中的处理、逐次重建等实际空间和投影空间的处理的组合的重复处理的一部分进行高精度化。
例如，在对射束硬化校正处理进行高精度化的情况下，当通过检测出容易产生射束硬化的区域，制作误差图像并将i作为常数从原图像中减去误差图像的i倍这样的处理来实施射束硬化校正处理时，i成为参数。
这样，通过由用户判断并设定处理的参数，即使对于能够视觉确认但无法根据通用的画质指标进行定量化的噪声，也能获取高精度地降噪后的正确图像。因此，通过使用该正确图像构筑网络并将其用于降噪处理中，即使是使用通用的画质评价指标无法对噪声进行定量化的医用图像，也能高精度地降噪并提高画质。
(第2实施方式)
在本实施方式中，在X射线CT装置的图像处理部133中，识别输入图像的用途，并根据用途进行降噪处理。这里，图像的用途是根据头部、齿颚、胸部、腹部、腰椎、股关节等成像部位以及软部组织、骨组织等成像组织来确定的。当成像组织是软部组织时，CT图像用于内科疾病、恶性肿瘤等软部组织疾病的诊断等，当成像组织是骨组织时，CT图像用于骨折等整形外科疾病的诊断等。
因此，如图10所示，本实施方式中的图像处理部133具备：针对每个用途设置的多个(为了便于说明，在本实施方式中设定为K个)预处理部及学习应用部、用于识别输入图像的用途的用途识别部312、根据用途识别部312的识别结果从多个预处理部及多个学习应用部中选择合适的预处理部及学习应用部的选择部313。
在K个预处理部310及学习应用部311中的每一个中，预处理部k运算出针对学习应用部k的输入图像(下面，将k称为“转换编号”。其中，k＝1～K)。另外，学习应用部k分别与用途、对于进行与该用途对应的降噪处理来说合适的已学习网络相关联。因此，当选择部313根据用途识别部312所识别的用途选择了预处理部及学习应用部时，生成与该用途对应的输入图像，并应用最优的已学习网络执行降噪处理。
转换编号k预先与用途以及对于进行与该用途对应的降噪处理来说合适的已学习网络相关联，被赋予相同的转换编号k的预处理部及学习应用部全部相互具有对应关系。图11示出了表示用k表示的一系列处理和用途的对应关系的一例的对应表。
在图11中，K为12，例如将转换编号1设定为头部的骨组织的诊断，在与转换编号1相对应的预处理部310中，生成与此对应的输入图像，与转换编号9相对应的学习应用部与进行对于头部的骨组织的图像来说合适的降噪处理的已学习网络相对应。关于下面的转换编号也是同样的。
此外，用途与转换编号无需1对1对应，如图11的转换编号9的股关节中例示的那样，在对于骨组织和软部组织来说相同的降噪处理有效的情况下，只要进行相同的处理即可，可以对应相同的转换编号。另外，如转换编号10及11所示，即使在如膝和肩这样成像部位不同的情况下，当相同的降噪处理有效时，也可以对应相同的转换编号。表示用途和转换编号的对应的数据表预先存储在存储部(参照图1)中。
关于具备多个上述的预处理部及学习应用部的情况下的降噪处理的流程，根据图12的流程图进行说明。
在步骤S41中，当从图像生成部输入了原图像时，用途识别部312识别原图像的用途并输出到选择部313。在接下来的步骤S42中，选择部313从存储部140读入表示用途和转换编号的对应关系的数据表，并将与从用途识别部312获取的用途对应的转换编号k输出到预处理部310。
在步骤S43中，预处理部310执行与对应于转换编号k的预处理部k相对应的处理，运算出学习应用部k的输入图像，并输出到学习应用部k。在步骤S44中，学习应用部k应用与学习应用部k相对应的已学习网络对获取的输入图像降噪后的图像进行输出，结束本处理。
这里，用途识别部312可以进行如下的处理：例如通过读入从图像生成部132输入的图像，并对该图像进行图像识别从而识别出成像对象的形状来确定成像部位，或者识别出成像对象的频率分量来确定成像组织，或者根据成像部位和成像组织来确定用途。
另外，也可以并用从输入部150输入的图像的生成条件来确定用途。在图像的生成条件中，例如关于图像重建滤波器，通常骨组织是高通滤波器，软部组织是低通滤波器，与成像组织存在对应关系，因此可以根据重建滤波器确定出成像组织。
如以上所说明的那样，根据本实施例，通过根据图像的用途分别使用多种已学习网络，能够进行与图像的用途对应的降噪处理，即使针对根据图像的用途而噪声与信号的定义不同的医用图像，也能得到更高的降噪效果。

Claims (7)

1.一种图像处理装置，其特征在于，具备：
预处理部，其生成输入图像，该输入图像包含1张以上的原图像以及与原图像相比降低了噪声的图像，其中上述预处理部包括降噪处理部；以及
学习应用部，其应用已学习网络，用于对上述原图像进行降噪处理，
其中，上述预处理部将上述原图像输出至上述学习应用部，作为输入至上述学习应用部中的多个输入图像当中的第一输入图像，
通过对上述原图像进行降噪处理，上述降噪处理部生成要被输入到上述学习应用部中的上述多个输入图像当中的第二输入图像，
上述学习应用部基于上述多个输入图像对上述原图像进行上述降噪处理，
上述降噪处理部中使用的上述已学习网络是通过使用多个学习集进行深度学习而构筑的，该多个学习集以包含噪声的医用图像、针对该医用图像进行降噪处理而得到的降噪图像以及在上述降噪处理的过程中得到的中间图像中的1张以上作为上述多个输入图像，并且以基于上述多个输入图像而得到的正确图像作为输出图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
上述医用图像是包含因金属引起的噪声的医用图像，通过使用多个学习集进行深度学习来构筑上述已学习网络，该多个学习集以该医用图像和基于该医用图像得到的多个图像作为输入图像，以降低因金属引起的噪声而得到的正确图像作为输出图像。
3.根据权利要求1所述的图像处理装置，其特征在于，
上述已学习网络是通过使用多个学习集进行深度学习而构筑的，该多个学习集以没有进行降噪的医用图像、仅具有金属区域的值的金属图像、对受到金属影响的分量在投影空间中进行线性插值而得到的线性插值图像、通过射束硬化校正处理降低因金属引起的噪声而得到的射束硬化校正图像、对原图像的高频分量进行加强而得到的高频图像、表示原图像中的相邻像素间的像素值之差的大小的边缘图像以及根据成像对象的X射线减弱系数的不同对区域进行分割而得到的区域分割图像中的2张以上作为输入图像，并且以基于这些输入图像而得到的降低因金属引起的噪声而得到的正确图像作为输出图像。
4.根据权利要求1所述的图像处理装置，其特征在于，
通过针对上述多个输入图像进行实际空间上的加权和、频率空间上的加权和、实际空间上以及频率空间上的加权和的组合中的任意一种处理，得到上述正确图像。
5.根据权利要求1所述的图像处理装置，其特征在于，
通过用户确定处理中所使用的预定的参数的值并对上述多个输入图像进行公知的降噪处理，得到上述正确图像。
6.一种图像处理方法，其特征在于，具有：
预处理步骤，其生成输入图像，该输入图像包含1张以上的原图像以及与原图像相比降低了噪声的图像，其中上述预处理部包括降噪处理步骤；以及
学习应用步骤，其通过学习应用部应用已学习网络，用于对上述原图像进行降噪处理，
其中，上述降噪处理步骤中，将上述原图像输出至上述学习应用部，作为输入至上述学习应用部中的多个输入图像当中的第一输入图像，
通过对上述原图像进行降噪处理，上述降噪处理步骤中生成要被输入到上述学习应用部中的上述多个输入图像当中的第二输入图像，
通过上述学习应用部，基于上述多个输入图像对上述原图像进行上述降噪处理，
上述降噪处理步骤中使用的上述已学习网络是通过使用多个学习集进行深度学习而构筑的，该多个学习集以包含噪声的医用图像、针对该医用图像进行降噪处理而得到的降噪图像以及在上述降噪处理的过程中得到的中间图像中的1张以上作为上述多个输入图像，并且以基于上述多个输入图像而得到的正确图像作为输出图像。
7.一种X射线CT装置，其特征在于，具备：
成像部，其对被检体照射X射线，检测透过上述被检体的X射线来生成图像；以及
权利要求1至5中任一项所述的图像处理装置，
该图像处理装置将由上述成像部生成的图像作为原图像来进行降噪处理。
CN202010454757.3A 2019-07-25 2020-05-26 图像处理装置、图像处理方法以及x射线ct装置 Active CN112308788B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-136899 2019-07-25
JP2019136899A JP7245740B2 (ja) 2019-07-25 2019-07-25 画像処理装置、画像処理方法及びｘ線ｃｔ装置

Publications (2)

Publication Number Publication Date
CN112308788A CN112308788A (zh) 2021-02-02
CN112308788B true CN112308788B (zh) 2023-10-20

Family

ID=74187625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010454757.3A Active CN112308788B (zh) 2019-07-25 2020-05-26 图像处理装置、图像处理方法以及x射线ct装置

Country Status (3)

Country Link
US (1) US11631160B2 (zh)
JP (1) JP7245740B2 (zh)
CN (1) CN112308788B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128521B (zh) * 2021-04-30 2023-07-18 西安微电子技术研究所 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质
US20230177747A1 (en) * 2021-12-06 2023-06-08 GE Precision Healthcare LLC Machine learning generation of low-noise and high structural conspicuity images

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016093494A (ja) * 2014-11-10 2016-05-26 株式会社東芝 磁気共鳴イメージング装置、画像処理装置及び画像処理方法
WO2016132880A1 (ja) * 2015-02-16 2016-08-25 株式会社日立製作所 演算装置、ｘ線ｃｔ装置、及び画像再構成方法
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
CN109102550A (zh) * 2018-06-08 2018-12-28 东南大学 基于卷积残差网络的全网络低剂量ct成像方法及装置
CN109166161A (zh) * 2018-07-04 2019-01-08 东南大学 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统
EP3467766A1 (en) * 2017-10-06 2019-04-10 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545965B2 (en) 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
JP4895204B2 (ja) 2007-03-22 2012-03-14 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
US8233586B1 (en) * 2011-02-17 2012-07-31 Franz Edward Boas Iterative reduction of artifacts in computed tomography images using forward projection and an edge-preserving blur filter
US20130051516A1 (en) * 2011-08-31 2013-02-28 Carestream Health, Inc. Noise suppression for low x-ray dose cone-beam image reconstruction
US9734424B2 (en) 2014-04-14 2017-08-15 Microsoft Technology Licensing, Llc Sensor data filtering
JP6347290B2 (ja) 2015-01-09 2018-06-27 株式会社島津製作所 Ｘ線撮影装置
JP6525772B2 (ja) * 2015-06-30 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法、放射線撮影システムおよび画像処理プログラム
CN108352058B (zh) 2015-11-17 2022-04-29 皇家飞利浦有限公司 数据和扫描器规格指导的智能滤波设备和方法
EP3465247A4 (en) * 2016-05-31 2020-02-12 Shanghai United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR ELIMINATING GIBBS ARTIFACTS IN A MEDICAL IMAGING SYSTEM
JP6929047B2 (ja) * 2016-11-24 2021-09-01 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
CN110337673B (zh) * 2017-01-05 2023-10-20 通用电气公司 基于深度学习的在断层摄影重建中估计数据的方法和系统
JP6738305B2 (ja) 2017-06-30 2020-08-12 富士フイルム株式会社 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
EP3447721A1 (en) 2017-08-24 2019-02-27 Agfa Nv A method of generating an enhanced tomographic image of an object
US11564970B2 (en) 2017-10-09 2023-01-31 The Broad Institute, Inc. Compositions and methods for combinatorial drug discovery in nanoliter droplets
US10891762B2 (en) * 2017-11-20 2021-01-12 ClariPI Inc. Apparatus and method for medical image denoising based on deep learning
JP7246903B2 (ja) 2017-12-20 2023-03-28 キヤノンメディカルシステムズ株式会社 医用信号処理装置
EP3509013A1 (en) 2018-01-04 2019-07-10 Holo Surgical Inc. Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure
KR102507711B1 (ko) * 2018-06-15 2023-03-10 캐논 가부시끼가이샤 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 컴퓨터 판독가능 매체

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016093494A (ja) * 2014-11-10 2016-05-26 株式会社東芝 磁気共鳴イメージング装置、画像処理装置及び画像処理方法
WO2016132880A1 (ja) * 2015-02-16 2016-08-25 株式会社日立製作所 演算装置、ｘ線ｃｔ装置、及び画像再構成方法
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
EP3467766A1 (en) * 2017-10-06 2019-04-10 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
CN109805950A (zh) * 2017-10-06 2019-05-28 佳能医疗系统株式会社 医用图像处理装置以及医用图像处理系统
CN109102550A (zh) * 2018-06-08 2018-12-28 东南大学 基于卷积残差网络的全网络低剂量ct成像方法及装置
CN109166161A (zh) * 2018-07-04 2019-01-08 东南大学 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法

Also Published As

Publication number Publication date
CN112308788A (zh) 2021-02-02
JP7245740B2 (ja) 2023-03-24
US11631160B2 (en) 2023-04-18
JP2021019714A (ja) 2021-02-18
US20210027430A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
EP3449421B1 (en) Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods
EP3751516B1 (en) Autonomous multidimensional segmentation of anatomical structures on three-dimensional medical imaging
JP7169986B2 (ja) オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法
JP4354484B2 (ja) 内部構造の撮像
JP5331797B2 (ja) 医用診断装置および医用診断装置の画質改善方法
JP7326010B2 (ja) 超音波診断装置、超音波パラメータ学習装置、超音波診断装置制御プログラム及び超音波パラメータ学習プログラム
JP2007203046A (ja) 対象の画像スライスを作成するための方法及びシステム
JP2005519685A (ja) 画素の符号化法、画像処理法と、１以上の画素により再現されるオブジェクトの定性的な認識を目的とする画像処理法
WO2006126384A1 (ja) 異常陰影候補の表示方法及び医用画像処理システム
US8483470B2 (en) Radiological image area extracting apparatus, radiological image area extraction program, and radiographic apparatus
CN112308788B (zh) 图像处理装置、图像处理方法以及x射线ct装置
JP2015144632A (ja) 画像処理方法、画像処理装置及びプログラム
CN112165900A (zh) 图像解析方法、分割方法、骨密度测量方法、学习模型生成方法和图像生成装置
JP2024051051A (ja) 高密度要素抑制による合成乳房組織画像発生のためのシステムおよび方法
CN111047519B (zh) 用于调整图像观感的方法
WO2009110260A1 (ja) 画像処理装置
US20230094397A1 (en) Learning device, image generation device, learning method, image generation method, learning program, and image generation program
WO2023064957A1 (en) Systems, devices, and methods for level identification of three-dimensional anatomical images
JP5924408B2 (ja) 画像処理装置
JP2017000675A (ja) 医用画像処理装置及びｘ線撮像装置
US20230095304A1 (en) Image processing device, image processing method, and image processing program
JP6872470B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置
WO2022241121A1 (en) Systems, devices, and methods for segmentation of anatomical image data
CN114651273A (zh) 用于图像标准化的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220111

Address after: Chiba County, Japan

Applicant after: Fujifilm medical health Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Hitachi, Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant