CN110522464B - 医用信号处理装置以及模型学习装置 - Google Patents

医用信号处理装置以及模型学习装置 Download PDF

Info

Publication number
CN110522464B
CN110522464B CN201910438589.6A CN201910438589A CN110522464B CN 110522464 B CN110522464 B CN 110522464B CN 201910438589 A CN201910438589 A CN 201910438589A CN 110522464 B CN110522464 B CN 110522464B
Authority
CN
China
Prior art keywords
medical
activation
learning
unit
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910438589.6A
Other languages
English (en)
Other versions
CN110522464A (zh
Inventor
竹岛秀则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of CN110522464A publication Critical patent/CN110522464A/zh
Application granted granted Critical
Publication of CN110522464B publication Critical patent/CN110522464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/482—Diagnostic techniques involving multiple energy imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种医用信号处理装置以及模型学习装置，能够高精度且高效地获得与医用信号的拍摄条件相应的机械学习输出。实施方式所涉及的医用信号处理装置具备：变更部，根据与作为处理对象的医用信号相关的拍摄条件的分类，针对学习完毕模型所包含的单元而变更激活的程度；以及应用部，对上述激活的程度被变更了的变更后的学习完毕模型应用上述医用信号而生成输出信号。

Description

医用信号处理装置以及模型学习装置
本申请是基于2018年5月25日提出申请的日本专利申请2018-100724而提出的，且主张享有上述在先申请的优先权，上述在先申请的全部内容都通过参照而被包含于本申请。
技术领域
本发明的实施方式涉及医用信号处理装置以及模型学习装置。
背景技术
在使用了医用图像数据或其原始数据等医用信号的机械学习中，为了从局部缺损的医用信号复原原来的信号，存在应用从大量的学习数据学习到的深层神经网络(DNN：Deep Neural Network)的方法。例如，存在如下的方法：在磁共振成像(MRI：MagneticResonance Imaging)中，对欠采样(undersampled)的k空间数据应用DNN而生成缺损部分被复原了的k空间数据，并基于复原后的k空间数据获得复原图像。并且，存在对欠采样的k空间数据应用DNN而直接获得复原图像的方法。
非专利文献1：Jo Schlemper，等4人,「A Deep Cascade of ConvolutionalNeural Networks for MR Image Reconstruction」arXiv:1703.00555v1[cs.CV],2017年3月1日
非专利文献2：Bo Zhu et al.Deep learning MR reconstruction withAutomated Transform by Manifold Approximation(AUTOMAP)in real-worldacquisitions with imperfect training:simulation and in-vivo experiments.InProc.ISMRM Workshop on Machine Learning,Poster 46,March 2018
发明内容
本发明所要解决的课题在于根据医用信号的拍摄条件而高精度且高效地获得机械学习输出。
本发明的目的在于根据医用信号的拍摄条件而高精度且高效地获得机械学习输出。
实施方式所涉及的医用信号处理装置具备：变更部，根据与作为处理对象的医用信号相关的拍摄条件的分类，针对学习完毕模型所包含的单元而变更激活的程度；以及应用部，对上述激活的程度被变更了的变更后的学习完毕模型应用上述医用信号而生成输出信号。
发明效果
能够根据医用信号的拍摄条件而高精度且高效地获得机械学习输出。
附图说明
图1是示出本实施方式所涉及的医用信号处理装置所隶属的医用信号处理系统的结构以及处理的概要的图。
图2是示出本实施方式所涉及的多层化网络的整体的结构的图。
图3是示出本实施方式所涉及的医用图像诊断装置的结构的图。
图4是示出本实施方式所涉及的多层化网络的中间层的结构的图。
图5是示出在图3的存储器中存储的等级/激活参数表的一例的图。
图6是示出由图3的处理电路执行的DNN重构处理的流程的图。
图7是示出图1的模型学习装置的结构的图。
图8是示出由图7的处理电路执行的学习处理的典型流程的图。
图9是示意性地示出基于第一学习方法的、图8所示的步骤SB3～步骤SB7所涉及的处理的图。
图10是示意性地示出基于第二学习方法的、图8所示的步骤SB3～步骤SB7所涉及的处理的图。
图11是示出在本实施方式所涉及的DNN重构处理中使用的学习完毕模型的构造的一例的图。
图12是示意性地示出具体例1所涉及的激活控制的一例的图。
图13是示意性地示出应用例1所涉及的激活控制的一例的图。
图14是示意性地示出应用例2所涉及的激活控制的一例的图。
图15是示出应用例3所涉及的等级/激活参数表的一例的图。
附图标记说明
1…医用信号处理装置、3…医用拍摄装置、5…模型学习装置、7…学习数据保管装置、9…医用图像诊断装置、11…处理电路、13…存储器、15…输入接口、17…通信接口、19…显示器、51…处理电路、53…存储器、55…输入接口、57…通信接口、59…显示器、90…学习完毕模型、100…医用信号处理系统、111…拍摄控制功能、112…分类功能、113…激活控制功能、114…重构运算功能、115…图像处理功能、115…前向传播功能、116…图像处理功能、117…显示控制功能、131…学习完毕模型、133…激活参数表、511…分类功能、512…学习功能、513…激活参数决定功能、514…显示控制功能、531…模型学习程序。
具体实施方式
实施方式所涉及的医用信号处理装置具有变更部和应用部。变更部根据与作为处理对象的医用信号相关的拍摄条件的分类，针对学习完毕模型所包含的单元而变更激活的程度。应用部对上述激活的程度被变更了的变更后的学习完毕模型应用上述医用信号而生成输出信号。
以下，参照附图对本实施方式所涉及的医用信号处理装置以及模型学习装置进行说明。
图1是示出本实施方式所涉及的医用信号处理装置1所隶属的医用信号处理系统100的结构以及处理的概要的图。如图1所示，本实施方式所涉及的医用信号处理系统100具有医用信号处理装置1、医用拍摄装置3、模型学习装置5以及学习数据保管装置7。
学习数据保管装置7存储包含多个学习样本的学习数据。例如，学习数据保管装置7是内置有大容量存储装置的计算机。该计算机可以是进行图像处理的工作站，可以是医用图像诊断装置所包含的计算机，也可以是图像浏览装置。并且，学习数据保管装置7也可以是与计算机经由缆线或通信网络以能够通信的方式连接的大容量存储装置。作为该存储装置，能够适当利用HDD(Hard Disk Drive)、SSD(Solid State Drive)、集成电路存储装置等。
模型学习装置5基于存储于学习数据保管装置7的学习数据，根据模型学习程序而使机械学习模型进行机械学习，生成学习完毕的机械学习模型(以下称为学习完毕模型)。模型学习装置5是具有CPU(Central Processing Unit)以及GPU(Graphics ProcessingUnit)等处理器的工作站等计算机。模型学习装置5与学习数据保管装置7可以经由缆线或者通信网络而以能够通信的方式连接，学习数据保管装置7也可以搭载于模型学习装置5。在该情况下，经由缆线或者通信网络等，从学习数据保管装置7朝模型学习装置5供给学习数据。模型学习装置5与学习数据保管装置7也可以并不以能够通信的方式连接。在该情况下，经由存储有学习数据的移动式存储介质，从学习数据保管装置7朝模型学习装置5供给学习数据。
本实施方式所涉及的机械学习模型是以医用信号作为输入而生成与该医用信号对应的输出信号的、多个函数合成而得的带参数的合成函数。本实施方式所涉及的机械学习模型可以是作为输出信号能够对输入医用信号所包含的信号缺损部分被复原了的医用信号进行输出的模型，也可以是能够输出与输入医用信号相关的识别结果的模型。带参数的合成函数由多个能够调整的函数以及参数的组合定义。本实施方式所涉及的机械学习模型可以是满足上述要求的任意的带参数的合成函数，但在此设为是多层的网络模型(以下称为多层化网络)。
医用拍摄装置3生成作为处理对象的医用信号。本实施方式所涉及的医用信号在概念上包含通过利用医用拍摄装置3或者其他的医用拍摄装置对被检体实施医用拍摄而收集到的原始数据、或对该原始数据实施重构处理而生成的医用图像数据。关于医用拍摄装置3，只要能够生成医用信号即可，可以是任意的图像设备(modality)装置。例如，本实施方式所涉及的医用拍摄装置3可以是磁共振成像装置(MRI装置)、X射线计算机断层拍摄装置(CT装置)、X射线诊断装置、PET(Positron Emission Tomography)装置、SPECT装置(SinglePhoton Emission CT)装置以及超声波诊断装置等单一的图像设备装置，也可以是PET/CT装置、SPECT/CT装置、PET/MRI装置、SPECT/MRI装置等复合图像设备装置。
另外，本实施方式所涉及的原始数据并不仅限定于利用医用拍摄装置3收集到的原始的原始数据。例如，本实施方式所涉及的原始数据也可以是通过对医用图像数据实施正向投影处理而生成的计算上的原始数据。并且，本实施方式所涉及的原始数据也可以是针对原始的原始数据实施了信号压缩处理、分辨率分解处理、信号插补处理、分辨率合成处理等任意的信号处理后的原始数据。并且，在本实施方式所涉及的原始数据为3维的原始数据的情况下，也可以是仅在1轴或者2轴实施了复原处理的混合数据。同样，本实施方式所涉及的医用图像并不仅限定于利用医用拍摄装置3生成的原始的医用图像。例如，本实施方式所涉及的医用图像可以是对原始的医用图像实施了图像压缩处理、分辨率分解处理、图像插补处理、分辨率合成处理等任意的图像处理后的医用图像。
医用信号处理装置1使用由模型学习装置5根据模型学习程序学习到的学习完毕模型，生成与利用医用拍摄装置3收集到的作为处理对象的输入医用信号对应的输出信号。医用信号处理装置1与模型学习装置5可以经由缆线或者通信网络而以能够通信的方式连接，医用信号处理装置1与模型学习装置5也可以安装于单一的计算机。在该情况下，经由缆线或者通信网络等，从模型学习装置5朝医用信号处理装置1供给学习完毕模型。医用信号处理装置1与模型学习装置5也可以并不以能够通信的方式连接。在该情况下，经由存储有学习完毕模型的移动式存储介质等，从模型学习装置5朝医用信号处理装置1供给学习完毕模型。关于学习完毕模型的供给，可以是从医用信号处理装置1的制造到相对于医用设施等的装配之间的任意的时刻，可以是维护时，可以在任意的时刻进行。所供给的学习完毕模型被存储于医用信号处理装置1。并且，医用信号处理装置1可以是搭载于搭载医用拍摄装置3的医用图像诊断装置的计算机，也可以是与该医用图像诊断装置经由缆线或网络等以能够通信的方式连接的计算机，也可以是与该医用图像诊断装置独立的计算机。
以下对本实施方式所涉及的多层化网络的整体结构进行说明。此处，多层化网络是指具有仅呈层状地排列的邻接层间结合的构造、信息从输入层侧朝输出层侧沿一个方向传播的网络。本实施方式所涉及的多层化网络如图2所示由输入层(l＝1)、中间层(l＝2，3，···，L－1)、输出层(l＝L)的L个层构成。另外，以下说明一个例子，多层化网络的结构并不限定于以下的说明。
若将第l层中的单元数设为I个、将朝第l层的输入u(l)记为式(1－1)、将来自第l层的输出z(l)记为式(l－2)那样分别进行标记，则朝第l层的输入与来自第1层的输出之间的关系能够用式(1-3)表示。
u(1)＝(u1， u2， u3，.......，uI) (1-1)
z(l)＝(z1， z2， z3，.......，zI) (1-2)
z(l)＝f(u(l)) (1-3)
此处，右上的角标(1)表示层的编号。并且，式(1-3)中的f(u)是激活函数，可以是逻辑序列函数(逻辑函数)、双曲线正切函数、标准化线性函数(ReLU：Rectified LinerUnit)、线性映射、恒等映射、最大输出函数等，能够根据目的而选择各种函数。
若将第1+1层中的单元数设为J个，将第1层与第1+1层之间的加权矩阵W(1+1)记为式(2-1)、将第1+1层中的偏差b(1+1)记为式(2-2)那样分别进行标记，则朝第1+1层的输入u(1 +1)、来自第1+1层的输出z(1+1)能够分别用式(2-3)、式(2-4)表示。
b(l+1)＝(b1，b2，b3，.......，bJ) (2-2)
u(l+1)＝W(l+1)z(l)+b(+1) (2-3)
z(l+1)＝f(u(l+1)) (2-4)
在本实施方式所涉及的多层化网络中，对输入层(1＝1)输入有用式(3-1)表示的医用信号。并且，在该输入层中，输入数据x原封不动地成为输出数据z(1)，因此式(3-2)的关系成立。
x＝(x1，x2，x3，.......，xN) (3-1)
z(1)＝x (3-2)
此处，若将输入至输入层的医用信号称为“输入医用信号”，则关于输入医用信号x，能够根据目的而选择各种形式。以下列举几个典型例。
(1)将输入医用信号x设为一个图像数据，将各成分xp(p＝1，2，…，N)规定为构成这一个图像数据的各个位置的值(像素值或者体素值)的形式。
(2)将输入医用信号x设为M个图像数据(例如，拍摄条件相互不同的多个图像数据)，将各成分xp中的1≤p≤q设为第一个图像数据、将q+1≤p≤r设为第二个图像数据、将r+1≤p≤s设为第三个图像数据、…，在输入层中针对每个图像数据分配输入单元的范围的形式。
(3)将输入医用信号x设为M个图像数据，将各成分xp规定为一个图像数据的各个位置的值(像素值或者体素值)沿纵向排列的矢量的形式。
(4)将输入医用信号x设为k空间数据或投影数据等的原始数据(RAW数据)，采用(1)～(3)等的形式。
(5)将输入医用信号x作为实施了卷积处理的图像数据或者原始数据，采用(1)～(3)等的形式。
在输入层后续的中间层(1＝2，3，···，L-1)的层中，依次执行遵照式(2-3)、式(2-4)的计算，由此能够计算各层的输出z(2)，···z(L-1)。
将输出层(第L层)的输出z(L)记为以下的式(4-1)那样。本实施方式所涉及的多层化网络是输入至输入层的图像数据x从输入层侧朝向输出层侧而仅在邻接层间结合并传播的前向传播型网络。这样的前向传播型网络能够作为式(4-2)那样的合成函数表现。
z(L)：y＝z(L) (4-1)
y(x)
＝f(u(L))
＝f(W(L)z(L-1)+b(L))
＝f(W(L)f(W(L-1)z(L-2)+b(L-1))+b(L))
＝f(W(L)f(W(L-1)f(.......f(W(l) z(1-1)+b(l))......))+b(L)) (4-2)
关于由式(4-2)定义的合成函数，根据式(2-3)、式(2-4)，定义为使用了加权矩阵W(1+1)的各层间的线性关系、使用了各层中的激活函数f(u(1+1))的非线性关系(或者线性关系)、偏差b(1+1)的组合。尤其是加权矩阵W(1+1)、偏差b(1+1)被称为网络的参数p。由式(4-2)定义的合成函数根据以何种方式选择参数p而改变作为函数的形式。因而，关于本实施方式所涉及的多层化网络，通过适当地选择构成式(4-2)的参数p，能够定义为输出层能够输出优选的结果y的函数。
以下，对本实施方式所涉及的使用了多层化网络的医用信号处理系统100的详细情况进行说明。在以下的说明中，假设医用信号处理装置1连接于医用拍摄装置3，与医用拍摄装置3一起组装于医用图像诊断装置。
图3是示出本实施方式所涉及的医用图像诊断装置9的结构的图。如图3所示，医用图像诊断装置9包含医用信号处理装置1和医用拍摄装置3。举出一例，医用拍摄装置3对应于架台，医用信号处理装置1对应于与该架台连接的控制台。另外，医用信号处理装置1可以设置于医用图像诊断装置9的架台，也可以既不由医用图像诊断装置9的控制台、也不由架台实现，而由其他的构成要素实现。作为该其他的构成要素，例如能够举出医用图像诊断装置9为磁共振成像装置的情况下的、设置于机械室的控制台以外的计算机或者专用的计算装置。
医用拍摄装置3针对被检体实施与该医用拍摄装置3的图像设备装置种类相应的拍摄原理的医用拍摄，收集与该被检体相关的原始数据。收集到的原始数据被传送至医用信号处理装置1。例如，原始数据是医用拍摄装置3为磁共振成像装置的情况下的k空间数据、为X射线计算机断层拍摄装置的情况下的投影数据或者正弦模式数据、为超声波诊断装置的情况下的回声数据、为PET装置的情况下的符合数据或者正弦模式数据、为SPECT装置的情况下的投影数据或者正弦模式数据。
例如，在医用拍摄装置3为磁共振成像装置的架台的情况下，该架台在施加有经由静磁场磁铁的静磁场的情况下，反复进行经由倾斜磁场线圈的倾斜磁场的施加和经由发送线圈的RF脉冲的施加。释放因RF脉冲的施加而从被检体释放的MR信号。所释放的MR信号经由接收线圈而被接收。所接收到的MR信号由接收电路实施A/D转换等信号处理。A/D转换后的MR信号被称为k空间数据。k空间数据被作为原始数据传送至医用信号处理装置1。
例如，在医用拍摄装置3为X射线计算机断层拍摄装置的架台的情况下，该架台一边使X射线管和X射线检测器绕被检体旋转一边从X射线管朝被检体照射X射线，并利用X射线检测器检测透过了被检体后的X射线。在X射线检测器中，产生具有与所检测到的X射线的剂量相应的峰值的电信号。该电信号由数据收集电路实施A/D转换等信号处理。A/D转换后的电信号被称为投影数据或者正弦模式数据。投影数据或者正弦模式数据被作为原始数据传送至医用信号处理装置1。
如图3所示，医用信号处理装置1作为硬件资源具有处理电路11、存储器13、输入接口15、通信接口17以及显示器19。
处理电路11具有CPU或GPU等处理器。该处理器通过启动安装于存储器13等的程序而执行拍摄控制功能111、分类功能112、激活控制功能113、重构运算功能114、前向传播功能115、图像处理功能116以及显示控制功能117等。另外，并不限于各功能111～117由单一的处理电路实现的情况。也可以组合多个独立的处理器而构成处理电路，通过各处理器执行程序来实现各功能111～117。
在拍摄控制功能111中，处理电路11遵照拍摄条件控制医用拍摄装置3，对该被检体实施医用拍摄。作为本实施方式所涉及的拍摄条件的要素，包含基于医用拍摄装置3的拍摄原理和各种拍摄参数。拍摄原理与医用拍摄装置3的种类、具体而言与磁共振成像装置、X射线计算机断层拍摄装置、PET装置、SPECT装置以及超声波诊断装置对应。拍摄参数例如包含FOV(Field Of View)、拍摄部位、切片位置、帧(医用图像的时相)、矩阵大小、造影剂的有无等。在为磁共振成像的情况下，拍摄参数例如还包含脉冲序列的种类、TR(Time toRepeat)、TE(Echo Time)、FA(Flip Angle)等参数、k空间填充轨迹的类别等。在为X射线计算机断层拍摄的情况下，拍摄参数还包含X射线条件(管电流、管电压以及X射线曝光持续时间等)、扫描种类(频谱CT、积分型CT、非螺旋扫描、螺旋扫描、同步扫描等)、倾斜角、旋转速度以及检测器空间分辨率等。并且，作为本实施方式所涉及的拍摄条件的其他要素，包含原始数据或者医用图像数据等医用信号的数据缺损部位。
在分类功能112中，处理电路11根据与原始数据或者医用图像数据等作为处理对象的医用信号相关的拍摄条件的种类而对该医用信号进行分类。以下，将与拍摄条件的种类对应的分类称为等级，将与拍摄条件的种类对应的分类的识别码称为等级值。等级值可以是拍摄条件的种类的名称，也可以是任意的文字、记号。
在激活控制功能113中，处理电路11根据与原始数据或者医用图像数据等作为处理对象的医用信号相关的拍摄条件的等级，变更学习完毕模型90所包含的单元的激活的程度。在本实施方式中，将表示单元的激活的程度的参数称为激活参数。处理电路11利用存储于存储器13的等级/激活参数表133来变更每个单元的激活参数的值。等级/激活参数表133例如由模型学习装置5生成。关于等级/激活参数表133将在后面叙述。另外，在本实施方式中，将加权矩阵W和偏差b的总称仅称为参数，与激活参数进行区分。
在重构运算功能114中，处理电路11对从医用拍摄装置3传送来的原始数据实施图像重构处理而重构医用图像。例如，作为本实施方式所涉及的图像重构，能够分类成解析学图像重构和逐次近似图像重构。例如，作为MR图像重构所涉及的解析学图像重构，存在傅里叶变换或者逆傅里叶变换。作为CT图像重构所涉及的解析学图像重构，存在FBP(filteredback projection)法、CBP(convolution back projection)法或者它们的应用。作为逐次近似图像重构，存在EM(expectation maximization)法、ART(algebraic reconstructiontechnique)法或者它们的应用等。并且，处理电路11通过对医用图像实施图像重构的逆变换处理而生成原始数据。例如，在图像重构为傅里叶变换的情况下，其逆变换为逆傅里叶变换，在图像重构为逆拉东变换的情况下，其逆变换为拉东变换。
在前向传播功能115中，处理电路11对在激活控制功能113中变更了激活的程度(激活参数)的学习完毕模型131应用原始数据或者医用图像数据等作为处理对象的医用信号而生成输出信号。输出信号的方式依赖于学习完毕模型131的方式。例如，在学习完毕模型131为用于图像识别的机械学习模型的情况下，作为输出信号输出识别结果。在学习完毕模型131为用于信号缺损的复原的机械学习模型的情况下，作为输出信号输出信号缺损部分被复原后的医用信号。关于学习完毕模型131将在后面叙述。
在图像处理功能116中，处理电路11对由重构运算功能114生成的医用图像、由前向传播功能115生成的输出信号等实施各种图像处理。例如，处理电路11实施体绘制法、表面绘制法、像素值投影处理、MPR(Multi-Planer Reconstruction)处理、CPR(Curved MPR)处理等三维图像处理。
在显示控制功能117中，处理电路11将各种信息显示于显示器19。例如，处理电路11显示由重构运算功能114生成的医用图像、由前向传播功能115生成的输出信号、由图像处理功能115实施了图像处理后的医用图像。并且，处理电路11也可以显示由分类功能112决定的医用信号的等级值或等级/激活参数表133等。
存储器13是存储各种信息的ROM(Read only Memory)、RAM(Random AccessMemory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、集成电路存储装置等存储装置。存储器13例如存储由模型学习装置5生成的学习完毕模型131、等级/激活参数表133。存储器13除了可以是上述存储装置以外，也可以是在与CD(Compact Disc)、DVD(DigitalVersatile Disc)、闪存等移动式存储介质、半导体存储元件等之间读写各种信息的驱动装置。并且，存储器13也可以位于与医用信号处理装置1经由网络连接的其他的计算机内。
输入接口15接受来自用户的各种输入操作，将所接受的输入操作转换成电信号并朝处理电路11输出。具体而言，输入接口15与鼠标、键盘、轨迹球、开关、按钮、操纵杆、触摸板以及触摸屏显示器等输入设备连接。输入接口15将与针对该输入设备的输入操作对应的电信号朝处理电路11输出。并且，连接于输入接口15的输入设备也可以是设置于经由网络等连接的其他的计算机的输入设备。
通信接口17是用于与医用拍摄装置3、模型学习装置5、学习数据保管装置7、其他的计算机之间进行数据通信的接口。
显示器19遵照处理电路11的显示控制功能117而显示各种信息。例如，显示器19显示由重构运算功能114生成的医用图像、由前向传播功能115生成的输出信号、由图像处理功能115实施了图像处理后的医用图像。并且，显示器19输出用于接受来自用户的各种操作的GUI(Graphical User Interface)等。例如，作为显示器19，能够适当使用液晶显示器(LCD：Liquid Crystal Display)、CRT(Cathode Ray Tube)显示器、有机EL显示器(OELD：Organic Electro Luminescence Display)、等离子显示器或者其他的任意的显示器。
其次，对本实施方式所涉及的多层化网络的中间层的结构进行说明。图4是示出本实施方式所涉及的多层化网络的中间层的结构的图。
如图4所示，中间层的各层l具有多个单元Uab。本实施方式所涉及的多个单元被分类成个数比各层的单元数少的类别。以下，将单元的分类称为通道。“U”的第一个角标表示该单元所隶属的通道的编号，第二个角标表示该单元的在该通道内的编号。另外，在图4中，为了附图的简便，针对各通道示出一个输出，但实际上从各通道的各单元均存在输出。并且，在图4中，为了附图的简便，假设对各通道存在输入，但实际上对各通道的各单元均存在输入。
本实施方式所涉及的多层化网络使用与多种多样的等级的拍摄条件相关的医用信号对参数进行学习，以便能够针对与多种多样的等级的拍摄条件相关的医用信号进行应用。本实施方式所涉及的多层化网络的单元被分类成：与在学习中利用的所有的等级关联的单元的类别即共用通道；以及在单一或者比所有等级少的多个等级中限定性地关联的单元的类别即个别通道。例如，在图4中，各层l所包含的多个单元被分类成4个通道，第一通道、第二通道以及第三通道被设定为个别通道，第四通道被设定为共用通道。另外，在图4中，为了简便，从单元编号小的单元开始按顺序来对通道进行区分，但隶属于同一通道的多个单元也可以在各层中是分散的。
共用通道针对所有的等级的输入医用信号都对输出信号有价值地作出贡献。个别通道限定于在输入有关联的等级的输入医用信号的情况下对输出信号有价值地作出贡献，在输入有不关联的等级的输入医用信号的情况下不对输出信号有价值地作出贡献。
在本实施方式所涉及的单元中附加有激活参数Aab。激活参数Aab的第一个角标表示所隶属的层的编号，第二个角标表示在该层中的通道的编号。
例如，激活参数Aab是表示单元处于活动状态(激活状态)的活动状态值和表示处于非活动状态(非激活状态)的非活动状态值的2值。隶属于共用通道的单元的激活参数始终被设定为活动状态值。隶属于个别通道的单元的激活参数在输入医用信号的等级是与该个别通道关联的等级的情况下被设定为活动状态值，在输入医用信号的等级是与该个别通道不关联的等级的情况下被设定为非活动状态值。在激活参数为活动状态值的情况下、即单元处于活动状态的情况下，该单元所隶属的网络被连接，从该单元输出输出数据z。在激活参数为非活动状态值的情况下、即单元处于非活动状态的情况下，该单元所隶属的网络被切断，不从该单元输出输出数据z。以下，有时将激活参数被设定为活动状态值的状态表现为激活、将激活参数被设定为非活动状态值的状态表现为非激活。活动状态值意味着与非活动状态值相比激活的程度高。
激活参数Aab是与加权矩阵W以及偏差b不同的变量。例如，如图4所示，激活参数Aab与对应的单元的输出相乘。同一层的同一通道的激活参数Aab具有同一值。由此，能够以通道为单位而根据等级来设定激活参数。
在激活控制功能113中，处理电路11根据输入医用信号的等级而将个别通道的激活参数在活动状态值与非活动状态值之间切换。由此，能够使多层化网络与输入医用信号的等级最匹配。换言之，本实施方式所涉及的多层化网络可以说引入了等级非依存网络即共用通道和等级依存网络即个别通道。因此，与同输入医用信号的等级无关而激活参数全都被设定为活动状态值的情况下相比，能够提高计算速度以及计算精度。并且，通过设置共用通道和个别通道，能够使共用通道承担各等级共用的计算，使个别通道承担各等级特有的计算。当仅在个别通道生成学习完毕模型的情况下，需要该学习完毕模型重复了作为处理对象的等级的个数的共用通道。另一方面，本实施方式所涉及的学习完毕模型设置有共用通道和个别通道，因此能够削减单元数。
如图4所示，在层间设置有定标器(scaler)。定标器对因激活参数而停止的单元的数量进行补偿。具体而言，定标器针对前段的各单元与后段的各单元之间的连接的每个设置。各定标器将前段的单元的输出数据作为输入，针对输入的输出数据乘以补偿参数，并朝作为连接目标的单元输出。补偿参数被设定为用作为连接源的单元的全部数量除以活动状态的单元的数量而得的值。例如，在作为连接源的单元的全部数量为64，其中的16个单元为非活动状态的情况下，各定标器为对来自作为连接源的单元的输出值乘以64/48倍。隶属于同层的各定标器的补偿参数被设定为同一值。补偿参数例如在激活控制功能113中由处理电路11设定。
在激活控制功能113中，处理电路11利用存储于存储器13的等级/激活参数表133来变更每个单元的激活参数。等级/激活参数表133是针对各个等级而存储有单元和激活参数之间的关联的LUT(Look Up Table)。处理电路11利用等级/激活参数表133确定与作为处理对象的医用信号相关的等级所属的各单元的激活参数，将学习完毕模型131的各单元的激活参数变更为该确定出的各单元的激活参数。另外，能够对同一通道的多个单元分配同一激活参数，也可以遵照另行确定的基准(例如，作为激活参数而使“活动”和“非活动”交替反复的基准)来分配激活参数。
图5是示出等级/激活参数表133的一例的图。如图5所示，图5所示的等级/激活参数表133作为等级使用脉冲序列种类，将单元用通道表示。作为脉冲序列种类，例如能够举出EPI(Echo Planar Imaging)、FSE(Fast Spin Echo)、FE(Field Echo)等。通道数与图4同样为4个。第一通道、第二通道以及第三通道为个别通道，第四通道为共用通道。
在激活控制功能113中，处理电路11将在分类功能112中决定出的等级值作为检索关键字来检索存储器13中存储的等级/激活参数表133，确定与该等级值相关的每个单元的激活参数，并将学习完毕模型131的各单元的激活参数变更为该确定出的激活参数。由此，能够根据输入医用信号的等级而使学习完毕模型的单元间的连接关系动态地最优化。
如图5所示，例如，在脉冲序列种类为EPI的情况下，第一通道的激活参数被变更为“活动”、第二通道的激活参数被变更为“非活动”、第三通道的激活参数被变更为“非活动”、第四通道的激活参数被变更为“活动”。在脉冲序列种类为FSE的情况下，第一通道的激活参数被变更为“非活动”、第二通道的激活参数被变更为“活动”、第三通道的激活参数被变更为“非活动”、第四通道的激活参数被变更为“活动”。在脉冲序列种类为FE的情况下，第一通道的激活参数被变更为“非活动”、第二通道的激活参数被变更为“非活动”、第三通道的激活参数被变更为“活动”、第四通道的激活参数被变更为“活动”。
另外，关于输入医用信号，无需针对拍摄条件的所有的要素都分类成等级。只要限定于作为由学习完毕模型131进行的重构的对象的等级，对输入医用信号的等级进行分类即可。例如，在根据上述3种脉冲序列种类而生成能够重构的学习完毕模型131的情况下，输入医用信号只要被分类成是上述3种脉冲序列种类的那种即可。关于上述3种脉冲序列种类以外的拍摄条件的要素、例如k空间填充方式或拍摄部位等，并非必须分类。同样，等级/激活参数表133只要限定于成为由所使用的学习完毕模型131进行的重构的对象的等级而记录激活参数与单元之间的关联即可。
其次，对本实施方式所涉及的医用信号处理装置1所进行的动作例进行说明。在以下的说明中，假设学习完毕模型是进行信号缺损的复原的多层化网络。作为多层化网络，能够使用模仿生物的大脑的神经回路的深层神经网络(DNN：Deep Neural Network)。本实施方式所涉及的信号缺损是包含实际的医用信号相对于与被检体相关的所期望的医用信号的任意的差异的概念。例如，作为信号缺损，包含因由各种原因产生的噪声而导致的信号劣化、因由投影数据或k空间数据的抽取收集等造成的医用信号的采样点数量的降低而导致的信号缺失、因在A/D转换的过程中产生的从连续值朝离散值的转换而导致的信息缺失等。
本实施方式所涉及的处理电路11实施利用学习完毕模型131从包含信号缺损的原始数据重构信号缺损部分被复原了的医用图像数据的DNN重构。作为在学习完毕模型131中应用的原始数据，能够应用由各种医用拍摄装置3生成的原始数据，但在以下的DNN重构的说明中，假设原始数据是由磁共振成像装置收集到的k空间数据。
图6是示出由处理电路11执行的DNN重构处理的流程的图。如图6所示，处理电路11首先输入具有信号缺损的k空间数据(步骤SA1)。作为具有信号缺损的k空间数据，例如输入具有数据缺失的k空间数据。关于这样的k空间数据，例如在k空间填充方式为笛卡尔扫描的情况下，能够通过抽取了相位编码步骤的MR拍摄等收集，在k空间填充方式为径向扫描的情况下，能够通过抽取了收集线的MR拍摄等收集。
在进行步骤SA1后，处理电路11执行分类功能112(步骤SA2)。在步骤SA2中，处理电路11决定在步骤SA1中输入的k空间数据的等级值。处理电路11可以自动地决定与k空间数据的拍摄条件对应的等级值，也可以遵照经由输入接口15的用户的指示来决定。另外，拍摄条件遍及多方面，因此，等级分类对象的拍摄条件的种类也可以遵照经由输入接口15的用户的指示来决定。例如，当使用能够根据拍摄条件中的脉冲序列种类而重构的学习完毕模型131的情况下，只要根据所输入的k空间数据的脉冲序列的类别来决定等级值即可。
在进行步骤SA2后，处理电路11执行激活控制功能113(步骤SA3)。在步骤SA3中，处理电路11根据在步骤SA2中决定了的等级值而针对学习完毕模型131的通道来变更激活的程度(激活参数)。此时，处理电路11将在步骤SA2中决定了的等级值作为检索关键字而检索等级/激活参数表133，根据每个通道而确定与该等级值关联的激活参数。进而，处理电路11将学习完毕模型131的各通道的激活参数变更为所确定的激活参数。并且，处理电路11针对各层而对被设为非活动状态的单元的个数进行计数，基于单元的全部数量和被设为非活动状态的个数来决定补偿参数，并将补偿参数设定于定标器。
在进行步骤SA3后，处理电路11执行重构运算功能114(步骤SA4)。在步骤SA4中，处理电路11对在步骤SA1中输入的k空间数据执行FFT而生成重构图像数据。由于在步骤SA1中输入的k空间数据具有信号缺损，因此在步骤SA4中生成的重构图像数据的画质劣化。将在步骤SA4中生成的重构图像数据称为临时重构图像数据。另外，当k空间数据包含信号缺损部分的情况下，处理电路11也可以进行对该信号缺损部分填充0值的补零处理(zero-padding)。处理电路11对补零处理后的k空间数据进行FFT，生成重构图像数据。
在进行步骤SA4后，处理电路11执行前向传播功能115(步骤SA5)。在步骤SA5中，处理电路11将在步骤SA4中生成的临时重构图像数据应用于在步骤SA3中变更了激活参数后的变更完毕的学习完毕模型131，生成信号缺损部分被复原了的重构图像数据。此时，学习完毕模型131的各单元根据输入医用信号的等级而其激活的程度被变更，因此能够高精度且高效地进行重构图像数据的复原。
在进行步骤SA5后，处理电路11执行显示控制功能117(步骤SA6)。在步骤SA6中，处理电路11将在步骤SA6中生成的重构图像数据显示于显示器19。由此，用户能够观察信号缺损部分被复原了的重构图像。
综上，DNN重构处理结束。
另外，上述DNN重构的处理的流程只是一例，并不限定于此，也能够适当变更步骤SA1～SA6的顺序。例如，临时重构图像数据的生成工序(步骤SA4)也可以设置在k空间数据的输入工序(步骤SA1)与等级值的决定工序(步骤SA2)之间。并且，在步骤SA6中重构图像数据被显示于显示器19，但也可以输出至存储器13或USB(Universal Serial Bus)存储器等移动存储介质，也可以经由通信接口17等输出至其他装置。
如上述说明的那样，医用信号处理装置1具有处理电路11。处理电路11至少具有激活控制功能113和前向传播功能115。在激活控制功能113中，处理电路11根据与作为处理对象的医用信号相关的拍摄条件的等级，针对学习完毕模型131所包含的单元而变更激活的程度。在前向传播功能115中，处理电路11对激活的程度被变更了的变更后的学习完毕模型131应用医用信号而生成输出信号。
根据上述结构，医用信号处理装置1能够根据与作为处理对象的医用信号相关的拍摄条件的等级而事后重构学习完毕模型131。由此，能够在维持学习完毕模型131的通用性的同时，获得与作为处理对象的医用信号相关的拍摄条件相匹配的、基于学习完毕模型131的机械学习输出。因此，能够根据医用信号的拍摄条件而高精度且高效地获得机械学习输出。
另外，存在用户并不期望根据等级来变更激活参数的情况。为了响应该要求，处理电路11也可以在执行DNN重构前在显示器19显示用于选择激活参数的调整的有无的GUI(Graphical User Interface)等。在经由输入接口15等而选择了调整激活参数的意思的情况下，处理电路11如上所述执行激活控制功能113，根据等级来变更激活参数。在选择了不调整激活参数的意思的情况下，处理电路11执行激活控制功能113，将所有的激活参数设定为活动状态值。然后，处理电路11将输入医用图像应用于学习完毕模型131。
其次，对模型学习装置5进行说明。
图7是示出模型学习装置5的结构的图。如图7所示，模型学习装置5作为硬件资源具有处理电路51、存储器53、输入接口55、通信接口57以及显示器59。
处理电路51具有CPU或GPU等处理器。该处理器通过启动安装于存储器53等的模型学习程序531来执行分类功能511、学习功能512、激活参数决定功能513以及显示控制功能514等。另外，各功能511～514并不限于由单一的处理电路实现的情况。也可以组合多个独立的处理器而构成处理电路，通过各处理器执行程序来实现各功能511～514。
在分类功能511中，处理电路51根据与作为处理对象的医用信号相关的拍摄条件的种类而对该医用信号进行分类，决定等级值。由处理电路51实现的分类功能511与由医用信号处理装置1的处理电路11实现的分类功能112大致相同。
在学习功能512中，处理电路51基于与多个拍摄条件相关的学习数据而使多层化网络学习参数。本实施方式所涉及的处理电路51针对共用单元和个别单元而分别学习参数。通过由学习功能512实现的参数的学习，生成具有图4所示的构造的学习完毕模型131。
在激活参数决定功能513中，处理电路51决定多层化网络所包含的各单元的激活参数值。进而，处理电路51生成针对各单元根据每个等级记录有激活参数值的等级/激活参数表133。
在显示控制功能514中，处理电路51将学习数据、学习结果、拍摄条件、等级、等级值、激活参数等显示于显示器59。
存储器53是存储各种信息的ROM、RAM、HDD、SSD、集成电路存储装置等存储装置。存储器53例如存储用于多层化网络的学习的模型学习程序531。存储器53除了可以是上述存储装置以外，也可以是在与CD、DVD、闪存等移动式存储介质、RAM等半导体存储元件等之间读写各种信息的驱动装置。并且，存储器53也可以位于与模型学习装置5经由网络连接的其他的计算机内。
输入接口55接受来自用户的各种输入操作，将所接受的输入操作转换为电信号并朝处理电路51输出。具体而言，输入接口55与鼠标、键盘、轨迹球、开关、按钮、操纵杆、触摸板以及触摸屏显示器等输入设备连接。输入接口55将与针对该输入设备的输入操作对应的电信号朝处理电路51输出。并且，连接于输入接口55的输入设备也可以是设置于经由网络等连接的其他的计算机的输入设备。
通信接口57是用于与医用信号处理装置1、医用拍摄装置3、学习数据保管装置7、其他的计算机之间进行数据通信的接口。
显示器59遵照处理电路51的显示控制功能514而显示各种信息。例如，显示器59显示学习数据、学习结果、拍摄条件、等级、等级值、激活参数等。并且，显示器59输出用于接受来自用户的各种操作的GUI等。例如，作为显示器19，能够适当使用液晶显示器、CRT显示器、有机EL显示器、等离子显示器或者其他任意的显示器。
其次，对本实施方式所涉及的模型学习装置5所执行的动作例进行说明。
图8是示出处理电路51所执行的学习处理的典型流程的图。如图8所示，处理电路51首先输入与多个拍摄条件(等级)相关的学习数据(步骤SB1)。学习数据具有与多个等级相关的多个学习样本。各学习样本包含：根据某一等级的拍摄条件收集且具有信号缺损部分的主输入信号；以及与该主输入信号对应且不具有该信号缺损部分的正解输入信号。作为学习样本，至少使用隶属于能够重构欲生成的学习完毕模型131的等级的学习样本。例如，在生成图5所示的能够根据EPI、FSE以及FE重构的学习完毕模型131的情况下，至少使用隶属于EPI、FSE以及FE的拍摄条件(等级)的学习样本。可以针对各等级准备多个学习样本。
在进行步骤SB1后，处理电路51执行分类功能511(步骤SB2)。在步骤SB2中，处理电路51根据学习数据所包含的各学习样本的拍摄条件(等级)来决定等级值。
在进行步骤SB2后，处理电路51执行学习功能512(步骤SB3－SB6)。在学习功能512中，处理电路51首先生成或者读出未学习参数的未学习的多层化网络。假设对未学习的多层化网络的各层的各单元预先赋予激活参数。在初期，激活参数的值被设定为活动状态值。
在步骤SB3中，处理电路51基于在步骤SB1中输入的所有的等级的学习样本，学习多层化网络的共用通道的参数。作为参数的学习方法，能够使用已知的各种各样的参数学习方法。例如，处理电路51将输入医用信号朝多层化网络的共用通道前向传播，计算与输入医用信号对应的推定输出信号。接着，处理电路51将误差朝多层化网络的共用通道反向传播，计算梯度向量。误差被规定为推定输出信号与正解输出信号的差分。接着，处理电路51基于梯度向量对多层化网络的共用通道的参数进行更新。具体而言，处理电路51以使得推定输出医用信号与正解输出医用信号近似的方式对参数进行更新。进而，满足预定的收敛条件的参数或者通过既定次数的更新得到的参数被决定为共用通道的最终的参数。
在进行步骤SB3后，处理电路51将在步骤SB3中最终决定的参数设定为共用通道的参数(步骤SB4)。
在进行步骤SB4后，处理电路51基于能够重构欲生成的学习完毕模型的各等级的学习样本，针对每个等级而按顺序学习多层化网络的个别通道的参数(步骤SB5)。例如，在使用图5所示的EPI、FSE以及FE的学习样本的情况下，使用EPI的学习样本学习个别通道的参数，接着使用FSE的学习样本学习个别通道的参数，最后使用FE的学习样本学习个别通道的参数。
作为个别通道的参数的学习方法，能够使用已知的各种各样的参数学习方法。例如，处理电路51将输入医用信号朝多层化网络的个别通道前向传播，计算与输入医用信号对应的推定输出信号。接着，处理电路51将误差朝多层化网络的个别通道反向传播，计算梯度向量。误差被规定为推定输出信号与正解输出信号的差分。接着，处理电路51基于梯度向量而对多层化网络的个别通道的参数进行更新。具体而言，处理电路51以使得推定输出医用信号与正解输出医用信号近似的方式对参数进行更新。进而，满足预定的收敛条件的参数或者通过既定次数的更新得到的参数被决定为个别通道的最终的参数。
在进行步骤SB5后，处理电路51将在步骤SB5中最终决定的参数设定为个别通道的参数(步骤SB6)。由此，学习完毕模型131完成。
在进行步骤SB6后，处理电路51执行激活参数决定功能513(步骤SB7)。在步骤SB7中，处理电路51针对每个等级决定各通道的激活参数值，生成等级/激活参数。
此处，对从步骤SB3到步骤SB7的详细情况进行说明。
图9是示意性地示出图8所示的步骤SB3至步骤SB7的处理的图。另外，图9中的等级分类对象的拍摄条件是脉冲序列种类，具体而言是EPI和FSE。另外，未学习的多层化网络151的单元被分类成第一个别通道(1Ch)、第二个别通道(2Ch)、共用通道(3Ch)。
如图9所示，在步骤SB3中，基于所有等级的学习样本学习共用通道的参数。作为共用通道的设定方法，考虑以下的2个方法。
增设型的设定方法：将多层化网络的各层所包含的所有的单元设定为共用通道。在该情况下，将该所有的单元作为隶属于共用通道的单元来学习参数。对共用通道的各单元赋予激活参数。在共用通道的参数学习时，激活参数被设定为活动状态值。个别通道在共用通道的参数的学习后增设。
切换型设定方法：多层化网络的各层所包含的多个单元预先被分类成共用通道和个别通道。对共用通道以及个别通道的各单元赋予激活参数。在学习共用通道的参数的情况下，共用通道的激活参数被设定为活动状态值，个别通道的单元的激活参数被设定为非活动状态值。
在共用通道(3Ch)的参数的学习完成后，按照每个等级学习个别通道(1Ch以及2Ch)的参数。例如，基于EPI等级的学习样本学习第一个别通道(1Ch)的参数，基于FSE等级的学习样本学习第二个别通道(2Ch)的参数。以下，分成作为设定方法采取增设型的情况和采取切换型的情况而对个别通道的参数学习进行说明。
增设型的设定方法：在多层化网络151的各层增设新的单元。对所增设的单元赋予激活参数。所增设的单元被设定为用于EPI等级的第一个别通道(1Ch)。在参数学习时，第一个别通道以及共用通道的激活参数值被设定为活动状态值。进而，基于EPI等级的学习样本，针对隶属于第一个别通道的单元而学习参数。隶属于第一个别通道的单元的参数的初始值可以设定成任意的值，例如设定成0。在与第一个别通道相关的参数学习时，与共用通道相关的参数固定为在步骤SB4中设定的值。
在针对EPI通道而参数学习完成的情况下，在多层化网络151的各层进一步增设新的单元。对所增设的单元赋予激活参数。所增设的单元被设定为用于FSE等级的第二个别通道(2Ch)。在参数学习时，第二个别通道以及共用通道的激活参数值被设定为活动状态值，第一个别通道的激活参数被设定为非活动状态值。使用FSE等级的学习样本针对隶属于第二个别通道的单元学习参数。隶属于第二个别通道的单元的参数的初始值可以设定成任意的值，例如设定成0。在与第二个别通道相关的参数学习时，与共用通道相关的参数固定为在步骤SB4中设定的值。
切换型的设定方法：在针对用于EPI等级的第一个别通道(1Ch)进行参数学习的情况下，第一个别通道(1Ch)以及共用通道(3Ch)的激活参数被设定为活动状态值，第二个别通道(2Ch)的激活参数被设定为非活动状态值。在该状态下基于EPI等级的学习样本学习第一个别通道的参数。第一个别通道的参数的初始值可以设定成任意的值，例如设定为0。在与第一个别通道相关的参数学习时，与共用通道相关的参数固定为在步骤SB4中设定的值。
其次，用于FSE等级的第二个别通道(2Ch)以及共用通道(3Ch)的激活参数被设定为活动状态值，第一个别通道(1Ch)的激活参数被设定为非活动状态值。在该状态下，基于FSE等级的学习样本学习第二个别通道的参数。隶属于第二个别通道的单元的参数的初始值可以设定成任意的值，例如设定为0。在与第二个别通道相关的参数学习时，与共用通道相关的参数固定为在步骤SB4中设定的值。
综上，对图9所示的个别通道的参数学习的说明结束。另外，共用通道和个别通道的单元数能够适当设计。共用通道与个别通道的单元数可以为相同数量，也可以不同。并且，在个别通道彼此之间，单元数可以为相同数量，也可以不同。
在对个别通道的参数进行学习后，在SB7中生成等级/激活参数表。例如，处理电路51基于各单元所隶属的通道和与该通道对应的等级而生成等级/激活参数表。例如，共用通道的激活参数值针对所有等级都被设定为活动(活动状态值)。个别通道的激活参数值针对与该个别通道对应的等级被设定为活动，针对不对应的等级被设定为非活动(非活动状态值)。具体而言，如图9所示，针对EPI等级，共用通道(3Ch)的激活参数值被设定为活动、EPI通道(1Ch)的激活参数值被设定为活动、FSE通道(2Ch)的激活参数值被设定为非活动。针对FSE等级，共用通道(3Ch)的激活参数值被设定为活动、EPI通道(1Ch)的激活参数值被设定为非活动、FSE通道(2Ch)的激活参数值被设定为活动。
另外，在上述图9的说明中，在各个别通道的参数学习时，关于并非学习对象的个别通道，假设其不存在或者将其设为非激活。然而，本实施方式所涉及的个别通道的参数学习方法并不限定于此。
图10是示意性地示出图8所示的步骤SB3～步骤SB7的处理的图。另外，图10中的等级分类对象的拍摄条件是脉冲序列种类，具体而言是EPI、FSE以及FE。未学习的多层化网络152的单元被分类成第一个别通道(1Ch)、第二个别通道(2Ch)、第三个别通道(3Ch)以及共用通道(4Ch)。
在图10所示的学习方法中也形成为，作为共用通道的设定方法能够采用增设型以及切换型的任一个。关于共用通道的参数学习方法，与图9相同，因此省略说明。
关于个别通道的学习方法，与共用通道的设定方法的类型无关，是共用的。如图10所示，处理电路51基于各等级的学习样本，针对每个等级，使用所有的个别通道(1Ch、2Ch以及3Ch的集合)学习参数。此时，处理电路51监视隶属于个别通道的单元的输出，计算针对多层化网络的推定输出信号的、各单元的贡献度。贡献度比阈值高的单元被设定为该等级的通道。阈值的值能够任意设定。另外，假定在参数学习时个别通道以及共用通道的激活参数全都被设定为活动状态值。
例如，如图10所示，使用EPI等级的学习样本学习个别通道(1Ch、2Ch以及3Ch的集合)的参数。在该情况下，监视各单元的输出，计算相对于推定输出信号的各单元的贡献度。进而，贡献度比阈值高的单元的集合被分类成与EPI等级关联的通道。针对FSE等级以及FE等级以同样方式进行上述处理。由此能够进行个别通道的参数的学习和各单元的等级的分类。在图10中，与EPI等级关联的通道被设定为第一以及第二通道的集合，与FSE等级关联的通道被设定为第二以及第三通道的集合，与FE等级关联的通道被设定为第一以及第三通道的集合。
这样，根据图10所示的学习方法，能够使1个个别通道与多个等级关联。因此，与图9所示的学习方法相比能够实现单元数的削减。另一方面，根据图9所示的学习方法，一个个别通道仅与一个等级关联，因此能够利用该等级使其最优化。
在个别通道的参数学习完成后，在SB7中生成等级/激活参数表。例如，处理电路51基于各单元所隶属的通道和与该通道对应的等级生成等级/激活参数表。例如，共用通道(4Ch)的激活参数值针对所有等级都被设定为活动。关于个别通道的激活参数值，针对与该个别通道关联的等级被设定为活动、针对不关联的等级被设定为非活动。具体而言，如图10所示，针对EPI等级，共用通道(4Ch)的激活参数值被设定为活动、EPI通道(1Ch以及2Ch的集合)的激活参数值被设定为活动、第三个别通道(3Ch)的激活参数值被设定为非活动。针对FSE等级，共用通道(4Ch)的激活参数值被设定为活动、FSE通道(2Ch以及3Ch的集合)的激活参数值被设定为活动、第一个别通道(1Ch)的激活参数值被设定为非活动。针对FE等级，共用通道(4Ch)的激活参数值被设定为活动、FE通道(1Ch以及3Ch的集合)的激活参数值被设定为活动、第二个别通道(2Ch)的激活参数值被设定为非活动。
在进行步骤SB7后，处理电路51将学习完毕模型131和等级/激活参数表133输出(步骤SB8)。例如，处理电路51可以将学习完毕模型131和等级/激活参数表133经由通信接口57发送至医用信号处理装置1，也可以记录于存储器53。
综上，DNN重构处理结束。
如以上说明的那样，模型学习装置5具有处理电路51。处理电路51通过执行模型学习程序531而至少执行学习功能512。在学习功能512中，处理电路51基于与多个拍摄条件相关的多个医用信号，生成对单元赋予了用于根据拍摄条件对单元的激活的程度进行调节的变量即激活参数的学习完毕模型131。并且，在学习功能512中，处理电路51基于与多个拍摄条件相关的多个医用信号，学习多个单元中的与多个拍摄条件的全部关联的第一单元的参数。进而，处理电路51针对多个拍摄条件的各个，基于与该拍摄条件相关的医用信号，学习多个单元中的与该拍摄条件关联且与第一单元不同的第二单元的参数。
根据上述结构，模型学习装置5能够生成能够根据与作为处理对象的医用信号相关的拍摄条件的等级而事后重构的学习完毕模型131。
其次，对DNN重构处理的具体例进行说明。DNN重构处理所涉及的学习完毕模型是模仿生物的大脑的神经回路的多层的网络模型即深层神经网络(DNN：Deep NeuralNetwork)。更详细地说，作为DNN，设为包含进行信号缺损的复原的CNN(ConvolutionalNeural Network)。
图11是示出在DNN重构处理中使用的学习完毕模型160的构造的一例的图。如图11所示，学习完毕模型160具有包含FFT(Fast Fourier Transfer)层162、CNN层164以及IFFT(Inverse Fast Fourier Transfer)层166的单位网络构造161被级联连接的连锁构造。在FFT层162输入有k空间数据，对所输入的k空间数据应用FFT，输出重构图像数据。CNN层164是由模型学习装置5生成的学习完毕模型131。即、CNN层164构成为能够根据具有信号缺损的输入重构图像数据的等级进行重构。对CNN层164输入有该输入重构图像数据，输出信号缺损部分被复原了的重构图像数据。对IFFT层166输入有重构图像数据，对所输入的重构图像数据应用IFFT，输出k空间数据。单位网络构造161的输出数据具有与输入数据相同的维度以及分辨率。
借助单位网络构造161的输出成为下一个单位网络构造161的输入的连锁构造，能够提高信号缺损部分的复原精度。CNN层164通过处理电路11的前向传播功能115执行。FFT层162和IFFT层166可以作为处理电路11的前向传播功能115的一个功能执行，也可以由重构运算功能114执行。
如图11所示，当作为学习完毕模型160的输出而输出重构图像数据的情况下，学习完毕模型160的最后的单位网络构造161e不包含IFF层166，只要包含FFT层162以及CNN层164即可。在作为学习完毕模型160的输出而输出k空间数据的情况下，最后的单位网络构造161e与其他的单位网络构造161同样，包含FFT层162、CNN层164以及IFFT层166即可。学习完毕模型160也可以被存储于医用信号处理装置1的存储器13。
另外，学习完毕模型160的构造能够根据目的而适当地进行设计变更。例如，可以在IFFT层166的后段设置有整合层。对整合层输入有基于从CNN层164输出的临时重构图像数据的处理完毕的k空间数据、和输入至学习完毕模型160的处理前的k空间数据，利用处理前的k空间数据对处理完毕的k空间数据实施整合处理，输出整合处理完毕的k空间数据。在整合处理中，处理完毕的k空间数据根据信号缺损程度而按照每个像素与处理前的k空间数据加权相加。例如，信号缺损程度越低则对处理前的k空间数据的像素值赋予越高的权重，信号缺损程度越高则对处理前的k空间数据的像素值赋予越低的权重。由此，能够确保处理完毕的k空间数据与处理前的k空间数据之间的整合性。
另外，学习完毕模型160也能够被应用于由磁共振成像装置以外的医用图像诊断装置收集的医用信号。例如，当在由X射线计算机断层拍摄装置收集的原始数据应用学习完毕模型160的情况下，只要将FFT层162置换为逆拉东变换层，将IFFT层166置换为拉东变换层即可。在逆拉东变换层中，对原始数据进行FBP等逆拉东变换，重构CT图像数据。在拉东变换层中，对CT图像数据等进行拉东变换，计算原始数据。
作为X射线计算机断层拍摄装置的原始数据，能够应用表示X射线剂量的积分值的积分型数据或表示每个X射线能量的计数值的频谱CT数据等。作为积分型数据的等级，例如是积分型扫描，作为频谱CT数据的等级，能够举出频谱CT扫描。另外，作为积分型扫描，也可以是一边将高电压在2个值之间切换一边进行CT扫描的双能量扫描。
其次，对激活控制的具体例进行说明。
[具体例1]
图12是示意性地示出激活控制的一例的图。如图12所示，假设等级分类对象的拍摄条件是相位编码方向。由EPI收集到的重构图像数据包含与相位编码方向对应的条纹状的噪声。更详细地说，在重构图像中描绘出沿与相位编码方向正交的方向行进的条纹状噪声。例如，在相位编码方向相对于重构图像为上下方向的情况下，在重构图像中描绘出横线的噪声。在相位编码方向相对于重构图像为左右方向的情况下，在重构图像中描绘出纵线的噪声。
在等级分类对象的拍摄条件为相位编码方向的情况下，学习完毕模型的单元被区分成：为了降低纵线噪声以及横线噪声而共用地使用的共用通道；用于降低纵线噪声的第一个别通道；以及用于降低横线噪声的第二个别通道。例如，以共用通道包含第1个至第32个单元、第一个别通道包含第33个至第48个单元、第二个别通道包含第49个至第64个单元的方式设计学习完毕模型。该学习完毕模型基于相位编码方向为上下方向的医用图像和相位编码方向为左右方向的医用图像而遵照图8所示的学习处理生成。
如图12的上部所示，在输入医用图像的等级为相位编码方向＝上下方向的情况下，共用通道以及第二个别通道的激活参数被设定为活动值、第一个别通道的激活参数被设定为非活动值。由此，能够高效地降低输入医用图像所包含的横线噪声。如图12的下部所示，在输入医用图像的等级为相位编码方向＝左右方向的情况下，共用通道以及第一个别通道的激活参数被设定为活动值、第二个别通道的激活参数被设定为非活动值。由此，能够高精度且高效地降低输入医用图像所包含的噪声。
[具体例2]
作为等级分类对象的拍摄条件，也可以是作为拍摄对象的脏器的类别。作为脏器的类别，能够举出头部、腹部、脖子、四肢、心脏等。在该情况下，学习完毕模型基于二种以上的拍摄对象脏器的医用图像而遵照图8所示的学习处理生成。具体而言，在生成能够根据头部、腹部以及心脏重构的学习完毕模型的情况下，至少基于头部的医用图像、腹部的医用图像以及心脏的医用图像生成学习完毕模型。在该情况下，学习完毕模型包含：用于降低头部特有的噪声的第一个别通道；用于降低腹部特有的噪声的第二个别通道；用于降低心脏特有的噪声的第三个别通道；以及用于降低头部、腹部以及心脏等拍摄部位共有的噪声的共用通道。当对学习完毕模型应用心脏的医用图像的情况下，第三个别通道以及共用通道的激活参数被设定为活动值，第一个别通道以及第二个别通道的激活参数被设定为非活动值。由此能够高精度且高效地降低输入医用图像所包含的噪声。
[具体例3]
作为等级分类对象的拍摄条件，也可以是k空间数据中的数据缺失部位或者数据收集部位。例如，在k空间填充方式为径向方式的情况下，考虑沿着从0度到360度的角度的收集线(辐线)收集k空间数据的情况。在该情况下，关于0度～1度、1度～2度、···359度～360度的各个收集线，作为数据缺失部位或者数据收集部位而设定k空间数据收集的有无。在该情况下，学习完毕模型基于数据缺失部位或者数据收集部位为各种各样的医用图像，遵照图8所示的学习处理被生成。在该情况下，针对数据收集线(数据收集部位)的每个组合形成个别通道。例如，形成有用于降低0度～1度、120度～121度以及240度～241度的收集线为数据收集部位、其他的角度为数据缺失部位的MR图像所特有的噪声的个别通道等。在该情况下，该个别通道以及共用通道的激活参数被设定为活动值、其他的个别通道的激活参数被设定为非活动值。由此能够高精度且高效地降低输入医用图像所包含的、因数据缺失等而导致的噪声。
数据缺失部位或者数据收集部位也可以根据k空间的收集掩模图案(maskpattern)设定。例如，将k空间分割为16×16的区块，针对各区块，作为数据缺失部位或者数据收集部位而设定k空间数据收集的有无。在该情况下，学习完毕模型基于数据缺失部位或者数据收集部位为各种各样的医用图像而遵照图8所示的学习处理被生成。在该情况下，形成有用于降低各区块特有的噪声的个别通道和用于降低所有区块共有的噪声的共用通道等。在该情况下，该个别通道以及共用通道的激活参数被设定为活动值，其他的个别通道的激活参数被设定为非活动值。由此能够高精度且高效地降低输入医用图像所包含的、因数据缺失等而导致的噪声。
(应用例1)
在上述实施例中，设为仅将与输入医用信号的等级对应的个别通道激活。然而，本实施方式并不限定于此。即、也可以仅将与输入医用信号的等级对应的个别通道非激活。
图13是示意性地示出应用例1所涉及的激活控制的一例的图。如图13所示，设为等级分类对象的拍摄条件为脉冲序列以及k空间填充方式的种类的组合。重构图像数据根据脉冲序列以及k空间填充方式的种类的组合而包含各种各样的噪声。图13的等级为：脉冲序列＝non-EPI以及k空间填充方式＝笛卡尔、脉冲序列＝non-EPI以及k空间填充方式＝径向、脉冲序列＝EPI以及k空间填充方式＝无限定。
在等级分类对象的拍摄条件为上述三种的情况下，学习完毕模型的单元例如被分成：限定于脉冲序列＝non-EPI且k空间填充方式＝笛卡尔而不激活的第一个别通道；限定于脉冲序列＝non-EPI且k空间填充方式＝径向而不激活的第二个别通道；以及限定于脉冲序列＝EPI且k空间填充方式＝无限定而不激活的第三个别通道。在仅将与输入医用图像的等级对应的个别通道非激活的情况下，可以不设置共用通道。
如图13所示，例如，以第一个别通道包含第1个至第24个单元、第二个别通道包含第25个至第48个单元、第三个别通道包含第49个至第72个单元的方式设计学习完毕模型。该学习完毕模型基于脉冲序列＝non-EPI且k空间填充方式＝笛卡尔的医用图像、脉冲序列＝non-EPI且k空间填充方式＝径向的医用图像、脉冲序列＝EPI且k空间填充方式＝无限定的医用图像，遵照图8所示的学习处理被生成。第一个别通道是限定于脉冲序列＝non-EPI且k空间填充方式＝笛卡尔的医用图像而非激活的单元的集合。第二个别通道是限定于脉冲序列＝non-EPI且k空间填充方式＝径向的医用图像而非激活的单元的集合。第三个别通道是限定于脉冲序列＝EPI且k空间填充方式＝无限定的医用图像而非激活的单元的集合。
如图13的上部所示，在输入医用图像的等级为脉冲序列＝non-EPI且k空间填充方式＝笛卡尔的情况下，第二以及第三个别通道的激活参数被设定为活动值，第一个别通道的激活参数被设定为非活动值。如图13的中部所示，在输入医用图像的等级为脉冲序列＝non-EPI且k空间填充方式＝径向的情况下，第一以及第三个别通道的激活参数被设定为活动值，第二个别通道的激活参数被设定为非活动值。如图13的下部所示，在输入医用图像的等级为脉冲序列＝EPI且k空间填充方式＝无限定的情况下，第一以及第二个别通道的激活参数被设定为活动值，第三个别通道的激活参数被设定为非活动值。由此能够高效地降低与输入医用图像的脉冲序列以及k空间填充方式的组合对应的噪声。
(应用例2)
在上述实施例中，个别通道限定于输入医用信号的等级而激活。并且，在上述应用例1中，个别通道限定于输入医用信号的等级而被设为非活性。然而，本实施方式并不限定于此。即、也可以混杂有限定于输入医用信号的等级而激活的个别通道和限定于输入医用信号的等级而非激活的个别通道。
图14是示意性地示出应用例2所涉及的激活控制的一例的图。如图14所示，等级分类对象的拍摄条件为是否包含确定的脉冲序列种类所固有的噪声。重构图像数据根据脉冲序列而包含各种各样的噪声。例如，在脉冲序列为EPI的情况下，在重构图像中描绘出EPI特有的噪声。以下，将EPI固有的噪声称为EPI噪声。图14的等级为表示包含EPI噪声的值“1”或者表示不包含EPI噪声的值“0”这2个值。
在图14所示的情况下，学习完毕模型的单元例如被分成：在EPI噪声＝“0”以及“1”的任一情况下都激活的共用通道；限定于EPI噪声＝“1”的情况而非激活的第一个别通道；以及限定于EPI噪声＝“1”的情况而激活的第二个别通道。
如图14所示，例如，以共用通道包含第1个至第32个单元、第一个别通道包含第33个至第48个单元、第二个别通道包含第49个至第64个单元的方式设计学习完毕模型。该学习完毕模型基于EPI噪声＝“1”的医用图像和EPI噪声＝“0”的医用图像而遵照图8所示的学习处理被生成。作为EPI噪声＝“0”的医用图像，也可以使用以EPI以外的脉冲序列收集的任意的医用图像。
如图14的上部所示，在输入医用图像的等级为EPI噪声＝“1”的情况下，共用通道以及第二个别通道的激活参数被设定为活动值，第一个别通道的激活参数被设定为非活动值。如图14的下部所示，在输入医用图像的等级为EPI噪声＝“0”的情况下，共用通道以及第一个别通道的激活参数被设定为活动值，第二个别通道的激活参数被设定为非活动值。由此能够根据EPI噪声的有无而高精度且高效地降低输入医用图像的噪声。
(应用例3)
在上述实施例中，激活参数为活动值或者非活动值这2个值。然而，本实施方式并不限定于此。应用例3所涉及的激活参数为包含表示活动值的“1”、表示非活动值的“0”、以及“1”与“0”之间包含的至少一个中间值的3个值以上。另外，“1”表示与“0”相比而激活的程度更高。
图15是示出应用例3所涉及的等级/激活参数表的一例的图。如图15所示，等级作为一例是脉冲序列种类。具体而言，作为脉冲序列种类，设为EPI、GRASE(Gradient AndSpin Echo)、FSE。GRASE是多次施加基于FSE法的再聚焦脉冲，在施加再聚焦脉冲的期间通过EPI法使倾斜磁场开关而产生回声，进行数据收集的脉冲序列。即、GRASE具有EPI和FSE双方的性质。
如图15所示，单元被分成第一通道、第二通道以及第三通道。第一通道以及第二通道是针对至少1个等级而激活参数被设定为“0”的个别通道。具体而言，第一通道是限定于等级“EPI”而激活的单元的类别，第二通道是限定于等级“FSE”而激活的单元的类别。第三通道是共用通道，是针对两个等级均激活的通道的类别。
在等级为“EPI”的情况下，激活参数关于第一通道被设定为“1”、关于第二通道被设定为“0”、关于第三通道被设定为“1”。在等级为“FSE”的情况下，激活参数关于第一通道被设定为“0”、关于第二通道被设定为“1”、关于第三通道被设定为“1”。在等级为“GRASE”的情况下，第一通道以及第二通道各自的激活参数根据该GRASE的EPI的性质的程度和FSE的性质的程度而被设定为“1”和“0”之间的值。例如，在该GRASE的EPI的性质的程度和FSE的性质的程度为各占一半的情况下，对于激活参数，关于第一通道被设定为“0.5”、关于第二通道被设定为“0.5”、关于第三通道被设定为“1”。例如，在该GRASE的EPI的性质的程度和FSE的性质的程度之比为7∶3的情况下，对于激活参数，关于第一通道被设定为“0.7”、关于第二通道被设定为“0.3”、关于第三通道被设定为“1”。
在应用例3所涉及的激活控制功能113中，处理电路11对隶属于各通道的单元的输出乘以针对该通道设定的激活参数。例如，在等级为“EPI”的情况下，对隶属于第一通道的单元的输出乘以“1”，对隶属于第二通道的单元的输出乘以“0”，对隶属于第三通道的单元的输出乘以“1”。在等级为“GRASE”的情况下，在图15所示的例中，对隶属于第一通道的单元的输出乘以“0.5”，对隶属于第二通道的单元的输出乘以“0.5”，对隶属于第三通道的单元的输出乘以“1”。
应用例3所涉及的定标器根据激活参数对其值被设定为小于“1”的值的单元的输出值的降低进行补偿。例如，在单元数为64，其中的32个单元的激活参数被设定为“0.5”、其余的单元的激活参数被设定为“1”的情况下，定标器为对来自作为连接源的单元的输出值乘以64/(32×1+32×0.5)＝64/48倍。
应用例3所涉及的学习完毕模型基于激活参数被设定为“1”或者“0”的等级的学习样本而遵照图8所示的学习处理被生成即可。关于激活参数具有“1”以及“0”以外的值的等级的学习样本，即便不在参数学习中使用也能够处理。例如，与图15所示的等级/激活参数表对应的学习完毕模型基于EPI等级的学习样本和FSE等级的学习样本而生成。在生成学习完毕模型后，基于GRASE所具有的EPI的性质的程度和FSE的性质的程度，针对等级“GRASE”而针对每个通道决定激活参数即可。
如上所述，根据应用例3，关于具有在参数学习中考虑的多个原始等级的中间的性质的次要等级的激活参数，通过基于关联的原始等级的激活参数值决定，能够事后重构最适合该次要等级的学习完毕模型。另外，上述实施方式的说明并不限定于不使用激活参数为“1”“0”以外的等级的学习样本而进行学习的方法，并不妨碍除了“1”“0”之外还赋予GRASE的学习数据和中间的激活参数，使用这些数据进行参数学习。
在上述说明中使用的“处理器”这一用语例如意味着CPU、GPU、或者、专用集成电路(Application Specific Integrated Circuit：ASIC))、可编程逻辑器件(例如，简单可编程逻辑器件(Simple Programmable Logic Device：SPLD)、复合可编程逻辑器件(ComplexProgrammable Logic Device：CPLD)、以及现场可编程门阵列(Field Programmable GateArray：FPGA))等电路。处理器通过读取保存于存储电路的程序并加以执行来实现功能。另外，代替在存储电路中保存程序，也可以构成为在处理器的电路内直接编入程序。在该情况下，处理器通过读取编入电路内的程序并加以执行来实现功能。并且，也可以并不执行程序，而是通过逻辑电路的组合来实现与该程序对应的功能。另外，本实施方式的各处理器并不限于针对每个处理器而构成为单一的电路的情况，也可以组合多个独立的电路而构成为1个处理器，并实现其功能。此外，也可以将图1、图3以及图7中的多个构成要素统合在1个处理器中而实现其功能。
根据以上说明了的至少1个实施方式，能够高精度且高效地获得与医用信号的拍摄条件对应的机械学习输出。
上面叙述了具体的实施方式，这些实施方式只不过是作为例子加以提示，并非意图限定发明的范围。实际上，此处叙述的新的实施方式能够以各种各样的形式实现，并且能够在不脱离发明的主旨的范围进行各种省略、置换、变更。这些省略或变更包含于技术方案所记载的范围及其等同的范围中，且包含于本发明的范围和主旨中。

Claims (11)

1.一种医用信号处理装置，具备：
变更部，根据与作为处理对象的医用信号相关的拍摄条件的分类，针对学习完毕模型所包含的单元变更激活的程度；以及
应用部，对上述激活的程度被变更了的变更后的学习完毕模型应用上述医用信号而生成输出信号，
上述学习完毕模型具有多个层，上述多个层分别具有多个单元，上述多个单元分别构成为能够变更上述激活的程度，
上述变更部根据与作为上述处理对象的医用信号相关的上述拍摄条件的分类，变更上述多个层分别包含的上述多个单元各自的上述激活的程度。
2.根据权利要求1所述的医用信号处理装置，其中，
上述激活的程度由上述单元的活动状态以及非活动状态的2个值表示。
3.根据权利要求1所述的医用信号处理装置，其中，
上述激活的程度由包含表示上述单元的活动状态的值、表示上述单元的非活动状态的值、以及表示上述活动状态的值与表示上述非活动状态的值之间所包含的至少一个值的3个值以上表示。
4.根据权利要求1所述的医用信号处理装置，其中，
上述医用信号是由磁共振成像装置收集的数据，
上述拍摄条件包含上述磁共振成像装置中的脉冲序列的种类、k空间填充方式的种类、相位编码方向、拍摄部位以及k空间数据缺损部位中的至少一个。
5.根据权利要求1所述的医用信号处理装置，其中，
还具备存储部，该存储部存储针对拍摄条件的多个分类的每个而将单元和激活的程度建立关联的表，
上述变更部利用上述表，根据上述医用信号的拍摄条件的分类变更单元的激活的程度。
6.根据权利要求1所述的医用信号处理装置，其中，
上述单元包含：第一单元，与跟在上述学习完毕模型的学习时作为学习样本输入的所有的医用信号相关的所有的拍摄条件关联；以及第二单元，与上述所有的拍摄条件中的单一的或者多个拍摄条件限定性地关联，
上述变更部使上述第二单元中的与上述分类对应的单元和上述第一单元的激活的程度，比上述第二单元中的不与上述分类对应的单元的激活的程度高。
7.根据权利要求1所述的医用信号处理装置，其中，
上述输出信号具有与上述医用信号相同的维度以及分辨率。
8.根据权利要求1所述的医用信号处理装置，其中，
上述输出信号是针对上述医用信号的识别结果。
9.根据权利要求1所述的医用信号处理装置，其中，
上述医用信号是医用图像数据。
10.一种模型学习装置，其中，
具备生成部，该生成部基于与多个拍摄条件相关的多个医用信号，生成对单元赋予了用于根据拍摄条件调节上述单元的激活的程度的变量的学习完毕模型，
上述学习完毕模型具有多个层，上述多个层分别具有多个单元，上述多个单元分别构成为能够变更上述激活的程度，
根据与作为处理对象的医用信号相关的上述拍摄条件的分类，变更上述多个层分别包含的上述多个单元各自的上述激活的程度。
11.根据权利要求10所述的模型学习装置，其中，还具备：
第一学习部，基于与多个拍摄条件相关的多个医用信号，学习多个单元中的与上述多个拍摄条件的全部关联的第一单元的参数；以及
第二学习部，针对上述多个拍摄条件的每个，基于与该拍摄条件相关的医用信号，学习上述多个单元中的与该拍摄条件关联且与上述第一单元不同的第二单元的参数。
CN201910438589.6A 2018-05-25 2019-05-24 医用信号处理装置以及模型学习装置 Active CN110522464B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018100724A JP7126864B2 (ja) 2018-05-25 2018-05-25 医用信号処理装置及び学習プログラム
JP2018-100724 2018-05-25

Publications (2)

Publication Number Publication Date
CN110522464A CN110522464A (zh) 2019-12-03
CN110522464B true CN110522464B (zh) 2023-11-03

Family

ID=68614749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910438589.6A Active CN110522464B (zh) 2018-05-25 2019-05-24 医用信号处理装置以及模型学习装置

Country Status (3)

Country Link
US (1) US11301961B2 (zh)
JP (1) JP7126864B2 (zh)
CN (1) CN110522464B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220254177A1 (en) * 2019-06-07 2022-08-11 Leica Microsystems Cms Gmbh System and method for processing biology-related data and a microscope
JP7026863B2 (ja) * 2019-10-25 2022-02-28 三菱電機株式会社 データ処理装置、送信装置、受信装置、人工衛星、データ処理方法、制御回路および記憶媒体

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157733A (en) * 1990-06-08 1992-10-20 Fuji Photo Film Co., Ltd. Radiation image processing apparatus, determination apparatus, and radiation image read-out apparatus
JPH0561973A (ja) * 1991-08-30 1993-03-12 Shimadzu Corp 医療用画像表示装置
JPH0728766A (ja) * 1993-06-24 1995-01-31 Toshiba Corp パターン認識システム及び監視システム
JPH11296496A (ja) * 1998-04-09 1999-10-29 Hitachi Ltd パターン認識装置
EP1321896A2 (en) * 2001-12-21 2003-06-25 International Business Machines Corporation Method and circuits for scaling images using neural networks
CN103646410A (zh) * 2013-11-27 2014-03-19 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统
JP2016067573A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 検出器生成装置、方法およびプログラム並びに画像検出装置
CN106970343A (zh) * 2017-04-11 2017-07-21 深圳先进技术研究院 一种磁共振成像方法及装置
CN107182216A (zh) * 2015-12-30 2017-09-19 中国科学院深圳先进技术研究院 一种基于深度卷积神经网络的快速磁共振成像方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6081139B2 (ja) * 2011-12-26 2017-02-15 東芝メディカルシステムズ株式会社 超音波診断装置、医用画像処理装置、及び医用画像処理方法
US20160113501A1 (en) * 2013-06-03 2016-04-28 The Johns Hopkins University Functional Magnetic Resonance Imaging (fMRI) Methodology Using Transverse Relaxation Preparation and Non-Echo-Planar Imaging (EPI) Pulse Sequences
US9594983B2 (en) * 2013-08-02 2017-03-14 Digimarc Corporation Learning systems and methods
KR102328269B1 (ko) * 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
WO2016145379A1 (en) * 2015-03-12 2016-09-15 William Marsh Rice University Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification
KR101659578B1 (ko) * 2015-09-01 2016-09-23 삼성전자주식회사 자기 공명 영상 처리 방법 및 장치
FR3046519B1 (fr) * 2016-01-04 2022-11-04 Netatmo Dispositif d'eclairage automatique
US10206646B2 (en) * 2016-03-10 2019-02-19 Siemens Healthcare Gmbh Method and system for extracting centerline representation of vascular structures in medical images via optimal paths in computational flow fields
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
US10496884B1 (en) * 2017-09-19 2019-12-03 Deepradiology Inc. Transformation of textbook information
CN116741353A (zh) 2017-11-24 2023-09-12 佳能医疗系统株式会社 医用数据处理装置、磁共振成像装置及学习完毕模型生成方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157733A (en) * 1990-06-08 1992-10-20 Fuji Photo Film Co., Ltd. Radiation image processing apparatus, determination apparatus, and radiation image read-out apparatus
JPH0561973A (ja) * 1991-08-30 1993-03-12 Shimadzu Corp 医療用画像表示装置
JPH0728766A (ja) * 1993-06-24 1995-01-31 Toshiba Corp パターン認識システム及び監視システム
JPH11296496A (ja) * 1998-04-09 1999-10-29 Hitachi Ltd パターン認識装置
EP1321896A2 (en) * 2001-12-21 2003-06-25 International Business Machines Corporation Method and circuits for scaling images using neural networks
CN103646410A (zh) * 2013-11-27 2014-03-19 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统
JP2016067573A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 検出器生成装置、方法およびプログラム並びに画像検出装置
CN107182216A (zh) * 2015-12-30 2017-09-19 中国科学院深圳先进技术研究院 一种基于深度卷积神经网络的快速磁共振成像方法及装置
CN106970343A (zh) * 2017-04-11 2017-07-21 深圳先进技术研究院 一种磁共振成像方法及装置

Also Published As

Publication number Publication date
CN110522464A (zh) 2019-12-03
JP7126864B2 (ja) 2022-08-29
JP2019202064A (ja) 2019-11-28
US11301961B2 (en) 2022-04-12
US20190362472A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN110858315B (zh) 考虑较少训练数据的基于深度机器学习的磁共振成像质量分类
CN107464231B (zh) 用于确定医学成像的最佳操作参数的系统和方法
CN109754447A (zh) 图像生成方法、装置、设备和存储介质
JP7559135B2 (ja) データ処理装置及び方法
Fantini et al. Automatic detection of motion artifacts on MRI using Deep CNN
EP3611529B1 (en) Motion determination for volumetric magnetic resonance imaging using a deep machine-learning model
CN110070612B (zh) 一种基于生成对抗网络的ct图像层间插值方法
US11615530B2 (en) Medical data processing apparatus for reconstructing a medical image using a neural network
JP2015009152A (ja) 医療画像処理装置および医用画像処理プログラム
CN110522464B (zh) 医用信号处理装置以及模型学习装置
US20230021786A1 (en) Medical information processing apparatus and medical information processing method
JP2019154854A (ja) 医用画像診断装置、医用信号復元方法、医用信号復元プログラム、モデル学習方法、モデル学習プログラム、および磁気共鳴イメージング装置
JP2022088320A (ja) 体動補正装置、方法及びプログラム
US11734817B2 (en) Medical information processing apparatus, magnetic resonance imaging apparatus, and medical information processing method
JP7258540B2 (ja) データ処理装置、磁気共鳴イメージング装置、学習装置および学習方法
JPH021082A (ja) ３次元の面の定義を発生する装置及び方法、並びにグラフィック表示システム
Jiang et al. Real-time diagnosis of intracerebral hemorrhage by generating dual-energy CT from single-energy CT
Shang et al. Short‐Axis PET Image Quality Improvement by Attention CycleGAN Using Total‐Body PET
CN116090561A (zh) 推理装置及方法、医用图像诊断装置及学习完成神经网络生成方法
JP7355532B2 (ja) 医用情報処理装置、方法及びプログラム
EP4266074A1 (en) Segmentation of medical images reconstructed from a set of magnetic resonance images
US20240005451A1 (en) Methods and systems for super-resolution with progressive sub-voxel up-sampling
JP2024127104A (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び、記録媒体
JP2022061484A (ja) Ｍｒ信号処理装置
WO2024033111A1 (en) Reconstruction parameter determination for the reconstruction of synthesized magnetic resonance images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant