CN116090561A - 推理装置及方法、医用图像诊断装置及学习完成神经网络生成方法 - Google Patents

推理装置及方法、医用图像诊断装置及学习完成神经网络生成方法 Download PDF

Info

Publication number
CN116090561A
CN116090561A CN202211355000.4A CN202211355000A CN116090561A CN 116090561 A CN116090561 A CN 116090561A CN 202211355000 A CN202211355000 A CN 202211355000A CN 116090561 A CN116090561 A CN 116090561A
Authority
CN
China
Prior art keywords
learning
data
neural network
function
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211355000.4A
Other languages
English (en)
Inventor
竹岛秀则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of CN116090561A publication Critical patent/CN116090561A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供推理装置及方法、医用图像诊断装置及学习完成神经网络生成方法。课题在于，提高使用激活函数的学习完成神经网络的推理性能。解决手段在于，实施方式所涉及的推理装置具备取得部和推理部。取得部取得处理对象数据。推理部对于所述处理对象数据适用学习完成神经网络来计算推理数据。所述学习完成神经网络具有融合激活函数，该融合激活函数按照将输入矢量要素变换为输出矢量要素的多个单位网络构造中的每个单位网络构造，执行基于多个激活函数以及与所述多个激活函数分别对应的多个混合系数的运算。

Description

推理装置及方法、医用图像诊断装置及学习完成神经网络生成方法
关联申请：
本申请基于2021年11月1日提交的日本专利申请2021-178506主张优先权，该申请的全部内容被引用至本申请中。
技术领域
在此记载的实施方式总体涉及推理装置、医用图像诊断装置、推理方法及学习完成神经网络生成方法。
背景技术
在对于医用图像数据或其原始数据等医用数据执行期望的推理的神经网络中，有适用深度神经网络(DNN：Deep Neural Network)或卷积神经网络(CNN：ConvolutionalNeural Network)的方法。
在这样的神经网络中，作为用于活化处理的函数，探讨了各种激活函数(活化函数)。作为激活函数的种类，例如可以举出逻辑Sigmoid函数(逻辑函数)、双曲线正切函数(tanh)、归一化线性函数(ReLU：修正线性单元(Rectified Liner Unit))、线性映射、恒等映射、Maxout函数、ELU、LeakyReLU、Complex ReLU等。但是，采用这些激活函数中的任一个的情况下的推理性能都有利有弊。
以往，在神经网络中使用的激活函数的种类由设计者决定。因此，设计者需要预先知晓与使用目的或优化方法相应的最佳的激活函数的种类。另一方面，已知所使用的激活函数的种类的选择对神经网络的推理性能造成很大影响。因此，期望使用使得神经网络的推理性能提高的恰当的激活函数。
现有技术文献：
非专利文献1：Hidenori Takeshima，“Deep Learning and Its Application toFunction Approximation for MR in Medicine：An Overview”，[Online]，2021年9月17日，Magnetic Resonance in Medical Sciences，[2021年10月15日检索]，互联网＜URL：https：//doi.org/10.2463/mrms.rev.2021-0040＞
发明内容
发明所要解决的课题：
本说明书及附图所公开的实施方式所要解决的课题之一在于，提高使用了激活函数的学习完成神经网络的推理性能。但是，通过本说明书及附图中公开的实施方式所要解决的课题不限于上述课题。也能够将与后述的实施方式所示的各构成所具有的各效果对应的课题定位为其他课题。
实施方式所涉及的推理装置具备取得部和推理部。取得部取得处理对象数据。推理部对于所述处理对象数据适用学习完成神经网络来计算推理数据。所述学习完成神经网络具有融合激活函数(Ensemble activities function)，该融合激活函数按照将输入矢量要素变换为输出矢量要素的多个单位网络构造中的每个单位网络构造，执行基于多个激活函数以及与所述多个激活函数分别对应的多个混合系数的运算。
发明效果：
发明的目的在于，提高使用了激活函数的学习完成神经网络的推理性能。
附图说明
图1是表示实施方式所涉及的医用数据处理装置所属的医用数据处理系统的构成及处理的概要的图。
图2是表示实施方式所涉及的神经网络的构造的图。
图3是概略性地表示实施方式所涉及的基于融合激活函数的运算的情形的图。
图4是表示实施方式所涉及的卷积层的构成的图。
图5是表示实施方式所涉及的医用图像诊断装置的构成的图。
图6是表示实施方式所涉及的学习完成神经网络的输入与输出的组合的一例的图。
图7是表示实施方式所涉及的模型学习装置的构成的图。
图8是概略性地表示实施方式的第1变形例所涉及的基于融合激活函数的运算的情形的图。
图9是概略性地表示实施方式的第2变形例所涉及的基于融合激活函数的运算的情形的图。
附图标记说明：
100……医用数据处理系统
1……医用数据处理装置
3……医用摄像装置
5……模型学习装置
7……学习数据保管装置
9……医用图像诊断装置
11……处理电路
111……摄像控制功能
112……复原功能
113……取得功能
114……推理功能
115……图像处理功能
116……显示控制功能
13……存储器
15……输入接口
17……通信接口
19……显示器
50……模型学习程序
51……处理电路
511……取得功能
512……学习功能
53……存储器
55……输入接口
57……通信接口
59……显示器
90……学习完成模型
A1-A6……激活函数
M、M1、M2……混合函数
a1-a6、b1-b3、c1-c2……系数
y1-y2、z1-z6、z’1-z’3……输出值
具体实施方式
实施方式所涉及的推理装置具备取得部和推理部。取得部取得处理对象数据。推理部对于所述处理对象数据适用学习完成神经网络来计算推理数据。所述学习完成神经网络具有融合激活函数，该融合激活函数按照将输入矢量要素变换为输出矢量要素的多个单位网络构造中的每个单位网络构造，执行基于多个激活函数以及与所述多个激活函数分别对应的多个混合系数的运算。
以下，参照附图，详细说明推理装置及学习完成神经网络生成方法的实施方式。推理装置是对于处理对象数据适用学习完成神经网络来计算推理数据的装置。推理装置典型地是进行以处理对象的输入医用数据作为输入并输出对应的输出医用数据的处理的医用数据处理装置。输入医用数据对应于处理对象数据。此外，推理装置不限于用于医用领域，也可以用于针对医用领域以外的数据的推理处理。在以下的实施方式中，说明推理装置对于医用数据进行处理的情况。在以下的说明中，针对具有大致相同的功能及构成的构成要素附加同一标记，并仅在需要的情况下进行重复说明。
(实施方式)
图1是表示本实施方式所涉及的作为推理装置的医用数据处理装置1所属的医用数据处理系统100的构成及处理的概要的图。如图1所示，本实施方式所涉及的医用数据处理系统100具有医用数据处理装置1、医用摄像装置3、模型学习装置5及学习数据保管装置7。
学习数据保管装置7存储包括多个学习样本的学习数据。例如，学习数据保管装置7是内置有存储装置的计算机。另外，学习数据保管装置7也可以是与计算机经由线缆或通信网络以能够通信的方式连接的大容量存储装置。作为该存储装置，能够适宜地利用HDD(硬盘驱动器(Hard Disk Drive))、SSD(固态驱动器(Solid State Drive))、集成电路存储装置等。
模型学习装置5基于学习数据保管装置7中存储的学习数据，依照模型学习程序使机器学习模型进行机器学习，生成学习完成的机器学习模型(以下称为学习完成模型)。模型学习装置5是具有CPU(中央处理单元(Central Processing Unit))及GPU(图形处理单元(Graphics Processing Unit))等处理器的工作站等计算机。模型学习装置5与学习数据保管装置7既可以经由线缆或者通信网络以能够通信的方式连接，也可以是学习数据保管装置7被搭载于模型学习装置5。在该情况下，经由线缆或者通信网络等，从学习数据保管装置7向模型学习装置5供给学习数据。模型学习装置5与学习数据保管装置7也可以不是以能够通信的方式连接。在该情况下，经由存储有学习数据的便携式存储介质，从学习数据保管装置7向模型学习装置5供给学习数据。模型学习装置5是学习装置的一例。
本实施方式所涉及的机器学习模型是将多个函数合成而得到的带参数合成函数。带参数合成函数通过多个能够调整的函数及参数的组合而定义。本实施方式所涉及的机器学习模型可以是满足上述的要求的任意的带参数合成函数，但设为多层的网络模型(以下称为多层化网络)。作为多层化网络，例如使用深度神经网络(DNN：Deep Neural Network)、具有卷积层的卷积神经网络(CNN：Convolutional Neural Network)等神经网络。在以下的说明中，本实施方式的多层化网络设为神经网络。本实施方式所涉及的神经网络以由医用摄像装置3采集的处理对象的输入医用数据作为输入，输出对应的输出医用数据。
医用摄像装置3生成处理对象的医用数据。本实施方式所涉及的医用数据在概念上包括：由医用摄像装置3或者其他医用摄像装置对被检体实施医用摄像从而采集的原始数据、或者对该原始数据实施复原处理而生成的医用图像数据。医用摄像装置3只要能够生成医用数据，则可以是任何医用设备装置皆可。例如，本实施方式所涉及的医用摄像装置3既可以是磁共振成像装置(MRI装置)、X射线计算机断层摄影装置(CT装置)、X射线诊断装置、PET(正电子发射断层扫描(Positron Emission Tomography))装置、SPECT装置(单光子发射(Single Photon Emission)CT)装置及超声波诊断装置等单一医用设备装置，也可以是PET/CT装置、SPECT/CT装置、PET/MRI装置、SPECT/MRI装置等复合医用设备装置。
医用数据处理装置1使用由模型学习装置5依照模型学习程序进行学习而得到的学习完成模型，生成与由医用摄像装置3采集的处理对象的输入医用数据对应的输出医用数据。医用数据处理装置1与模型学习装置5既可以经由线缆或者通信网络以能够通信的方式连接，也可以是医用数据处理装置1和模型学习装置5被安装于单一的计算机中。在该情况下，经由线缆或者通信网络等，从模型学习装置5向医用数据处理装置1供给学习完成模型。医用数据处理装置1与模型学习装置5也可以不一定以能够通信的方式连接。在该情况下，经由存储有学习完成模型的便携式存储介质等，从模型学习装置5向医用数据处理装置1供给学习完成模型。学习完成模型的供给既可以在从医用数据处理装置1被制造直到向医用设施等安装之间的任意的时刻进行，也可以在维护时进行，可以在任何时刻进行皆可。被供给的学习完成模型存储于医用数据处理装置1。另外，医用数据处理装置1既可以是搭载医用摄像装置3的医用图像诊断装置中搭载的计算机，也可以是与该医用图像诊断装置经由线缆或网络等以能够通信的方式连接的计算机，还可以是与该医用图像诊断装置独立的计算机。
以下，说明本实施方式所涉及的神经网络的典型的构成。图2是表示本实施方式所涉及的神经网络的典型的构成的图。在此，神经网络是具有以分层状排列的仅在相邻层间连接的构造、且信息从输入层侧向输出层侧单向传播的网络。本实施方式所涉及的神经网络是被输入至输入层的图像数据从输入层侧朝向输出层侧仅在相邻层间连接并传播的正向传播型网络。
本实施方式所涉及的神经网络如图2所示，设为由输入层(l＝1)、中间层(l＝2，3，···，L-1)、输出层(l＝L)这L层构成。此外，以下为举例说明，神经网络的构成不限定于以下的说明。
在输入层(第1层)中被输入输入数据。输入数据例如是医用图像数据等图像数据、k空间数据或投影数据等原始数据(RAW数据)等。在输入层中，被输入的数据原样成为输出数据。
在接续于输入层的中间层(l＝2，3，···，L-1)层中，输出通过顺次执行基于各层之间的加权矩阵、各层的偏置以及各层的活化处理的计算而计算出的计算值。
在接续于中间层的输出层(第L层)中，从中间层输入的数据原样成为输出数据。
本实施方式所涉及的神经网络是被输入至输入层的数据从输入层侧朝向输出层侧仅在相邻层间连接并传播的正向传播型网络。这种正向传播型网络作为将使用加权矩阵W的各层间的线性关系、各层中的使用活化处理的非线性关系(或者线性关系)以及偏置组合而成的合成函数而定义。特别是，将加权矩阵、偏置称为网络的参数p。像这样定义的合成函数根据如何选择参数p而改变作为函数的形式。因此，本实施方式所涉及的神经网络通过恰当地选择合成函数的参数p，能够作为其输出层能够输出期望的结果的函数而定义。
神经网络由多个单位网络构造构成。单位网络构造各自是将输入矢量要素变换为输出矢量要素的、构成网络的要素的单位。单位网络构造例如相当于节点、层、通道，单元等。例如，在各个单位网络构造中，接受包括其他多个单位网络构造的输出值的输入矢量要素作为输入，计算对输入矢量要素的各值施加不同的权重而得到的值再加上偏置b而得到的值，并对计算出的值适用活化处理。在活化处理中，输出对计算值实施非线性变换(或者线性变换)而得到的1个值。然后，将计算出的值作为单位网络构造的输出而输出。
在本实施方式中，在活化处理中使用称为融合激活函数的新的函数。融合激活函数是通过准备多个激活函数、并将对它们进行统合的部分加入到学习过程中进行学习从而生成的函数。具体而言，融合激活函数是对于同一数据适用多个激活函数、并输出依照各激活函数和混合系数对数据进行运算而得到的输出值的函数。
融合激活函数例如是对于同一数据分别适用多个激活函数、依照混合系数将多个激活函数的输出值统合并输出统合后的输出值的函数。
作为激活函数，能够根据目的选择逻辑Sigmoid函数(逻辑函数)、双曲线正切函数(tanh)、归一化线性函数(ReLU：修正线性单元(Rectified Liner Unit))、线性映射、恒等映射、Maxout函数等各种函数。或者，也可以将ELU、LeakyReLU、Complex ReLU等用作激活函数。
混合系数是按照要统合的每个激活函数设置的加权参数。例如在对神经网络进行训练以使其能够以规定的输入数据作为输入而输出作为目标的输出数据的过程中，混合系数通过与神经网络所包括的其他加权参数一起被优化而决定。
以下，参照图3说明本实施方式所涉及的融合激活函数。图3是概略地表示本实施方式所涉及的基于融合激活函数的运算的情形的图。如图3所示，融合激活函数由3个激活函数A1-A3和混合函数M构成。激活函数A1-A3是种类不同的激活函数。在图3中，将激活函数A1-A3表现为“Act.1”-“Act.3”。融合激活函数中使用的激活函数的数量既可以是2个，也可以是4个以上。
融合激活函数受理输入矢量要素x_i的输入。输入矢量要素x_i例如表现由从构成CNN的特定的通道i输出的多个输入值x构成的矢量。
输入矢量要素x_i被适用于各激活函数A1-A3。激活函数A1输出以输入矢量要素x_i的各值x作为输入而执行运算的结果作为输出值z1。同样，激活函数A2、A3输出以输入矢量要素x_i的各值x作为输入而执行运算的结果作为输出值z2、z3。
混合函数M是受理来自预先准备的多个种类的激活函数的输出值作为输入、并输出将取得的多个输出值统合而得到的1个输出值的函数。在图3所示的一例中，混合函数M依照混合系数将从激活函数A1-A3取得的3个输出值z1-z3统合来运算输出值y。
混合函数M既可以是计算多个输入的线性加权和的函数，也可以是计算多个输入的非线性加权和的函数。另外，混合函数M既可以是以多个输入中的各个输入作为变量的1次函数，也可以是2次函数，还可以是由具有3以上的次数的多项式表现的函数。另外，作为混合函数M，也可以使用在内核技巧(Kernel trick)的方法中使用的内核函数。另外，作为混合函数M，也可以使用作为将多个函数合成而得到的带参数合成函数而表现的神经网络。
例如，在形成融合激活函数的激活函数的种类是2个的情况下，混合函数M对预先准备的2个种类的激活函数A1、A2的输出值z1、z2进行统合，计算输出值y。式(1)表示使用1次函数作为混合函数M的情况下的输出值y的计算式的一例。在式(1)中，系数a1-a3各自是本实施方式中的混合系数。系数a1-a3通过在对神经网络整体进行优化的过程中与其他参数一起被优化而决定。在式(1)中，混合函数M是计算将对激活函数A1、A2的输出值z1、z2乘以不同的系数而得到的值再相加而得到的值y的函数。
y＝a1z1+a2z2+a3  (1)
式(2)表示使用2次函数作为混合函数M的情况下的输出值y的计算式的一例。在式(2)中，系数a1-a6各自是本实施方式中的混合系数。系数a1-a6通过在对神经网络整体进行优化的过程中与其他参数一起被优化而决定。
y＝a1z12+a2z1z2+a3z22+a4z1+a5z2+a6  (2)
上述的激活函数及混合函数M对于输入矢量要素x_i所包括的各值x顺次适用，并输出与输入矢量要素x_i所包括的各值x对应的输出值y。融合激活函数生成包括相对于输入矢量要素x_i所包括的各值x而输出的输出值y在内的输出矢量要素y_i，并将生成的输出矢量要素y_i作为融合激活函数的输出。
接下来，说明使用CNN作为神经网络的一例的情况。CNN包括输入层、卷积层、池化层、全连接层及输出层。在CNN中，例如，在全连接层之前，多次反复配置在2个卷积层之后配置有池化层的处理块。适宜地设定卷积层及池化层的连接数及连接顺序。
输入层被赋予输入数据。输入数据典型地是矢量数据。输入数据在安装时，既可以按照存储器上的输入数据的每个集合(例如每1通道)被读出，也可以按照包括多个通道的输入数据的每个要素被读出。在卷积层中，对于来自输入层的输入数据进行卷积处理。在池化层中，对于被卷积处理后的数据，例如执行最大池化处理。在全连接层中，由处理块处理后的数据与全连接层的通道在层问全连接。在输出层中，生成作为来自CNN的最终输出的输出数据。
在卷积层中，执行卷积处理、正则化处理及活化处理。此外，正则化处理及活化处理不是必须的，也可以不执行。在卷积层不进行活化处理的情况下，在卷积层以外的其他层中进行活化处理。图4是概略地表示卷积层的典型构成的图。在图4中，将卷积处理表现为“Conv.”，将活化处理表现为“融合Act.”。在图4中，省略了正则化处理。
在卷积处理中，对于输入层中的输入数据，按每个通道进行卷积处理。例如，在卷积处理中，按每个通道进行使用1个内核(滤波器)的卷积处理，卷积处理后的数据作为特征图生成。
在正则化处理(regularization)中，输入被进行了卷积处理后的特征图，并对于该特征图执行正则化处理。例如，作为正则化处理，使用批处理正则化(BatchNormalization)或随机失活(Dropout)。关于正则化处理，使用一般性的处理即可。
在活化处理中，向卷积处理后的数据或者正则化处理后的数据适用上述的融合激活函数，生成来自卷积层的最终输出数据。输出数据向相邻的下层的卷积层或者池化层输入。
在输出层中，对于从全连接层的输出，执行使用激活函数的活化处理。在活化处理中，作为激活函数例如适用归一化指数(Softmax)函数。或者，也可以适用与期望的输出形式相应的其他激活函数。例如，在为了二值分类而使用CNN的情况下，使用逻辑函数作为激活函数，在为了回归问题而使用CNN的情况下，使用线性映射作为激活函数。
此外，上述的融合激活函数也可以被用于在输出层中使用的活化处理，而替代被用于卷积层的活化处理。另外，也可以在卷积层及输出层双方中，在活化处理中使用融合激活函数。
以下，说明本实施方式所涉及的医用数据处理装置1的构成的一例。在以下的说明中，医用数据处理装置1设为与医用摄像装置3连接，与医用摄像装置3一起被装入医用图像诊断装置9。
图5是表示本实施方式所涉及的医用图像诊断装置9的构成的图。如图5所示，医用图像诊断装置9包括医用数据处理装置1和医用摄像装置3。举出一例，医用摄像装置3对应于架台，医用数据处理装置1对应于与该架台连接的控制台。此外，医用数据处理装置1既可以被设置于医用图像诊断装置9的架台，也可以由既不是医用图像诊断装置9的控制台也不是架台的别的构成要素实现。作为该别的构成要素，例如可以举出在医用图像诊断装置9为磁共振成像装置的情况下的设置于机械室中的除了控制台以外的其他计算机或者专用的计算装置。
医用摄像装置3对于被检体实施与该医用摄像装置3的医用设备装置种类相应的摄像原理的医用摄像，采集与该被检体相关的原始数据。采集的原始数据被向医用数据处理装置1传送。例如，原始数据是医用摄像装置3为磁共振成像装置的情况下的k空间数据、医用摄像装置3为X射线计算机断层摄影装置的情况下的投影数据或者正弦图数据、医用摄像装置3为超声波诊断装置的情况下的回波数据、医用摄像装置3为PET装置的情况下的符合数据或者正弦图数据、医用摄像装置3为SPECT装置的情况下的投影数据或者正弦图数据。另外，在医用摄像装置3为X射线诊断装置的情况下，原始数据是X射线图像数据。医用摄像装置3是摄像部的一例。
在医用摄像装置3为磁共振成像装置的架台的情况下，该架台在经由静磁场磁体施加静磁场之下，反复经由梯度磁场线圈施加梯度磁场与经由发送线圈施加RF脉冲。由于RF脉冲的施加，从被检体释放MR信号。释放的MR信号经由接收线圈被接收。接收的MR信号由接收电路实施A/D转换等信号处理。A/D转换后的MR信号被称为k空间数据。k空间数据作为原始数据被向医用数据处理装置1传送。
在医用摄像装置3为X射线计算机断层摄影装置的架台的情况下，该架台使X射线管和X射线检测器围绕被检体旋转并且从X射线管向被检体照射X射线，由X射线检测器检测透射了被检体的X射线。在X射线检测器中，产生具有与检测出的X射线的剂量相应的波峰值的电信号。该电信号由数据采集电路实施A/D转换等信号处理。A/D转换后的电信号被称为投影数据或者正弦图数据。投影数据或者正弦图数据作为原始数据被向医用数据处理装置1传送。
在医用摄像装置3为超声波诊断装置的超声波探头的情况下，该超声波探头从多个超声波振子向被检体体内发送超声波束，经由超声波振子，接收从被检体体内反射的超声波。超声波振子产生具有与接收的超声波的声压相应的波峰值的电信号。该电信号由超声波探头等上设置的A/D转换器实施A/D转换。A/D转换后的电信号被称为回波数据。回波数据作为原始数据被向医用数据处理装置1传送。
在医用摄像装置3为PET装置的架台的情况下，该架台由同时计测电路同时计测伴随着从被检体内积蓄的放射性核素产生的正电子与该放射性核素的周围存在的电子的湮灭而产生的511keV的一对伽玛射线，从而生成具有与一对伽玛射线(LOR(响应线(Line OfResponse)))的能量值和检测位置相关的数字值的数字数据。该数字数据被称为符合数据或者正弦图数据。符合数据或者正弦图数据作为原始数据被向医用数据处理装置1传送。
在医用摄像装置3为X射线诊断装置的C形臂的情况下，该C形臂从该C形臂上设置的X射线管产生X射线。通过该C形臂上设置的或者与该C形臂独立设置的FPD(平板显示器(Flat Panel Display))等X射线检测器，接收从X射线管产生且透射了被检体的X射线。X射线检测器产生具有与检测出的X射线的剂量相应的波峰值的电信号，并对该电信号实施A/D转换等信号处理。A/D转换后的电信号被称为X射线图像数据。X射线图像数据作为原始数据被向医用数据处理装置1传送。
如图5所示，医用数据处理装置1具有处理电路11、存储器13、输入接口15、通信接口17及显示器19作为硬件资源。
存储器13是存储各种信息的HDD(硬盘驱动器(Hard Disk Drive))、SSD(固态驱动器(Solid State Drive))、集成电路等存储装置。另外，存储器13除了HDD或SSD等以外，也可以是CD(光盘(Compact Disc))、DVD(数字通用盘(Digital Versatile Disc))、闪存等可移动性存储介质。此外，存储器13也可以是与闪存、RAM(随机存取存储器(Random AccessMemory))等半导体存储器元件等之间读写各种信息的驱动装置。另外，存储器13的保存区域既可以处于医用数据处理装置1内，也可以处于由网络连接的外部存储装置内。
存储器13存储由处理电路11执行的程序、在处理电路11的处理中使用的各种数据等。作为程序，例如使用预先从网络或者非易失性的计算机可读取的存储介质安装至计算机并使该计算机实现处理电路11的各功能的程序。此外，本说明书中处理的各种数据典型地是数字数据。存储器13是存储部的一例。
存储器13存储由模型学习装置5生成的学习完成模型90。学习完成模型90是对参数p进行了学习以便能够以输入医用数据作为输入而输出作为目标的输出医用数据的神经网络。学习完成模型90是学习完成神经网络的一例。
图6是表示学习完成模型90的输入与输出的组合的一例的图。学习完成模型90受理输入数据的输入，并输出输出数据。例如，如图6所示，学习完成模型90受理输入医用数据的输入，并输出输出医用数据。输入医用数据及输出医用数据例如是与处理对象的被检体相关的医用图像数据。也可以替代医用图像数据，而使用处理对象的原始数据作为输入医用数据及输出医用数据。原始数据是与处理对象的被检体相关的原始数据。另外，也可以受理医用图像的输入作为输入医用数据，而输出与医用图像相关的识别结果作为输出医用数据。
此外，本实施方式所涉及的原始数据不仅限定于由医用摄像装置3采集的原本的原始数据。例如，本实施方式所涉及的原始数据也可以是对通过复原功能112或者推理功能114生成的医用图像实施正向投影处理从而生成的计算上的原始数据。另外，本实施方式所涉及的原始数据也可以是对于原本的原始数据进行数据压缩处理、分辨率分解处理、数据插值处理、分辨率合成处理等任意的数据处理而得到的原始数据。另外，本实施方式所涉及的原始数据在3维的原始数据的情况下，也可以是仅对1轴或者2轴进行复原处理而得到的混合数据。同样，本实施方式所涉及的医用图像不仅限定于通过复原功能112或者推理功能114生成的原本的医用图像。例如，本实施方式所涉及的医用图像也可以是对于原本的医用图像进行图像压缩处理、分辨率分解处理、图像插值处理、分辨率合成处理等任意的图像处理而得到的医用图像。
输入接口15受理来自操作者的各种输入操作，将受理的输入操作转换为电信号并向处理电路11输出。例如，输入接口15从操作者受理医用信息的输入、各种命令信号的输入等。输入接口15由用于进行处理电路11的各种处理等的鼠标、键盘、轨迹球、开关按钮、将显示画面与触摸板一体化而成的触摸屏、使用光学传感器的非接触输入电路、以及语音输入电路等实现。输入接口15与处理电路11连接，将从操作者受理的输入操作变换为电信号并向控制电路输出。此外，在本说明书中，输入接口不仅限于具备鼠标、键盘等物理性的操作部件的接口。例如，从与装置分体设置的外部的输入设备接受与输入操作对应的电信号、并将该电信号向处理电路11输出的电信号的处理电路也包含在输入接口的例子中。输入接口15是输入部的一例。
通信接口17是经由网络对医用数据处理装置1与外部设备的通信进行传送控制的网络接口。
显示器19显示各种信息。例如，显示器19输出由处理电路11生成的医用信息、用于从操作者受理各种操作的GUI(图形用户界面(GraphicalUser Interface))等。例如，显示器19是液晶显示器或CRT(阴极射线管(Cathode Ray Tube))显示器。显示器19是显示部的一例。
处理电路11对医用数据处理装置1整体的动作进行控制。处理电路11是通过调用执行存储器13内的程序从而执行摄像控制功能111、复原功能112、取得功能113、推理功能114、图像处理功能115及显示控制功能116的处理器。此外，在图5中，作为由单一的处理电路11实现摄像控制功能111、复原功能112、取得功能113、推理功能114、图像处理功能115及显示控制功能116而进行了说明，但也可以将多个独立的处理器组合来构成处理电路，由各处理器执行程序从而实现各功能。另外，摄像控制功能111、复原功能112、取得功能113、推理功能114、图像处理功能115及显示控制功能116各自也可以作为个别的硬件电路安装。关于处理电路11所执行的各功能的上述说明在以下的各实施方式及变形例中也是同样的。
另外，医用数据处理装置1作为由单一的控制台执行多个功能而进行说明，但也可以将多个功能由个别的装置执行。例如，处理电路11的功能也可以分散地搭载于不同的装置。
上述说明中使用的“处理器”这样的用语例如意味着CPU(中央处理单元(CentralProcessing Unit))、GPU(图形处理单元(Graphics ProcessingUnit))、或者ASIC、可编程逻辑设备(例如，简单可编程逻辑设备(SimpleProgrammable Logic Device：SPLD)、复杂可编程逻辑设备(ComplexProgrammable Logic Device：CPLD)及现场可编程逻辑门阵列(FieldProgrammable Gate Array：FPGA)等电路。处理器通过读出执行存储器13中保存的程序从而实现功能。此外，也可以替代将程序保存于存储器13，而构成为将程序直接装入处理器的电路内。在该情况下，处理器通过读出并执行电路内装入的程序从而实现功能。此外，本实施方式的各处理器不限于按每个处理器作为单一的电路构成的情况，也可以将多个独立的电路组合而构成为1个处理器，并实现其功能。进而，也可以将图5中的多个构成要素统合至1个处理器来实现其功能。上述“处理器”的说明在以下的各实施方式及变形例中也是同样。
处理电路11通过摄像控制功能111，依照摄像条件对医用摄像装置3进行控制，对该被检体实施医用摄像。本实施方式所涉及的摄像条件包括医用摄像装置3的摄像原理和各种摄像参数。摄像原理对应于医用摄像装置3的种类，具体而言，对应于磁共振成像装置、X射线计算机断层摄影装置、PET装置、SPECT装置及超声波诊断装置。摄像参数例如包括FOV(视野(Field Of View))、摄像部位、切片位置、帧(医用图像的时相)、时间分辨率、矩阵大小、有无造影剂等。另外，在磁共振成像的情况下，摄像参数例如还包括摄像序列的类别、TR(重复时间(Time to Repeat))、TE(回波时间(Echo Time))、FA(翻转角(Flip Angle))等参数、k空间填充轨迹的类别。在X射线计算机断层摄影的情况下，摄像参数还包括X射线条件(管电流、管电压及X射线暴露持续时间等)、扫描种类(非螺旋扫描、螺旋扫描、同步扫描等)、倾斜角、重构函数、旋转框架的每1次旋转的视图数、旋转速度及检测器空间分辨率等。在超声波诊断的情况下，摄像参数还包括焦点位置、增益、发送强度、接收强度、PRF、束扫描方式(扇区扫描、凸型扫描、线性扫描等)及扫描模式(B模式扫描、多普勒扫描、彩色多普勒扫描、M模式扫描、A模式扫描等)。
处理电路11通过复原功能112，对从医用摄像装置3传送的原始数据实施复原处理来复原医用图像。本实施方式所涉及的复原处理包括从原始数据向原始数据的复原、从原始数据向图像数据的复原、从图像数据向图像数据的复原中的任一种。此外，从通过某坐标系定义的原始数据向通过其他坐标系定义的2维图像数据或者3维图像数据的复原处理也被称为重构处理或者图像重构处理。本实施方式所涉及的复原处理例如是去噪型复原或数据误差反馈型复原等复原处理。例如，作为本实施方式所涉及的复原处理所涉及的图像重构，能够分类为解析学图像重构和逐次近似图像重构。例如，作为MR图像重构所涉及的解析学图像重构，有傅立叶变换或者逆傅立叶变换。作为CT图像重构所涉及的解析学图像重构，有FBP(滤波反投影(filtered back projection))法、CBP(卷积反投影(convolution backprojection))法或者它们的应用。作为逐次近似图像重构，有EM(期望最大化(expectationmaximization))法、ART(代数重建技术(algebraic reconstruction technique))法或者它们的应用等。用于实现复原功能112的处理电路11是图像生成部的一例。
处理电路11通过取得功能113，取得处理对象数据。在本实施方式中，处理对象数据是与处理对象的被检体相关的医用数据。处理对象的医用数据例如是通过对于被检体的医用摄像而得到的医用图像数据。用于实现取得功能113的处理电路11是取得部的一例。
处理电路11通过推理功能114，对于处理对象数据适用学习完成模型90来计算推理数据。在本实施方式中，处理电路11向与被检体相关的输入医用数据适用学习完成模型90，从而作为推理数据生成输出医用数据。输出医用数据例如是通过对于医用图像执行图像处理而生成的期望的医用图像。用于实现推理功能114的处理电路11是推理部的一例。
处理电路11通过图像处理功能115，对通过复原功能112生成的医用图像、通过推理功能114生成的输出图像等实施各种图像处理。例如，处理电路11实施体绘制、面体绘制、像素值投影处理、MPR(多平面重构(Multi-Planer Reconstruction))处理、CPR(曲面MPR(Curved MPR))处理等3维图像处理。另外，处理电路11也可以进行对位处理作为图像处理。
处理电路11通过显示控制功能116，将各种信息显示在显示器19上。例如，处理电路11显示通过复原功能112生成的医用图像、通过推理功能114生成的输出图像、通过图像处理功能115进行图像处理后的医用图像。
接下来，说明通过医用数据处理装置1的取得功能113及推理功能114执行的推理处理的动作。推理处理是向医用输入数据适用学习完成模型90、并使学习完成模型90输出期望的输出医用数据的处理。此外，以下说明的各处理中的处理过程不过是一例，各处理能够在可能的范围内适宜地变更。另外，针对以下说明的处理过程，能够与实施方式相应地适宜进行步骤的省略、置换及追加。
在推理处理中，处理电路11首先通过取得功能113，从存储器13取得学习完成模型90，处理电路11从医用摄像装置3取得要适用学习完成模型90的处理对象的输入医用数据。
接下来，处理电路11通过推理功能114，向输入医用数据适用学习完成模型90。学习完成模型90受理输入医用数据的输入，并生成输出医用数据。处理电路11取得使学习完成模型90生成的输出医用数据作为推理结果。
接下来，说明本实施方式所涉及的医用数据处理装置1的效果。
本实施方式所涉及的医用数据处理装置1取得处理对象数据，对于处理对象数据适用学习完成模型90来计算推理数据。学习完成模型90具有融合激活函数。融合激活函数按照将输入矢量要素变换为输出矢量要素的多个单位网络构造中的每个单位网络构造，执行基于多个激活函数以及与多个激活函数分别对应的多个混合系数的运算。单位网络构造例如是神经网络的节点、层、通道等。此外，既可以对于1个节点设置1个融合激活函数，也可以对多个节点设置1个融合激活函数。即，单位网络构造也可以是多个节点、多个层、多个通道等。
具体而言，融合激活函数能够向同一输入矢量要素适用多个激活函数来运算多个第1输出值，向多个第1输出值分别适用多个混合系数来运算多个第2输出值，并基于多个第2输出值运算输出矢量要素。例如，在对多个激活函数A1、A2的输出值z1、z2执行由式(1)表现的运算的情况下，融合激活函数能够执行基于多个输出值z1、z2和多个系数a1、a2、a3的运算来取得输出值y，并基于多个输出值y运算输出矢量要素y_i。在此，系数a1、a2、a3对应于混合系数，输出值z1、z2对应于第1输出值，输出值y对应于第2输出值。
通过上述构成，根据本实施方式所涉及的医用数据处理装置1，通过预先准备作为使用候选的多个激活函数，并使用具有将准备的多个激活函数统合而得到的融合激活函数的学习完成模型90进行推理，与用户任意地选择所使用的激活函数的情况相比，能够实现高推理性能。
本实施方式所涉及的医用图像诊断装置9具备上述的医用数据处理装置1、以及对于被检体进行医用摄像的医用摄像装置3。医用数据处理装置1能够取得由医用摄像装置3取得的医用数据作为处理对象数据。然后，医用数据处理装置1能够向取得的医用数据适用学习完成模型90来计算推理数据。
通过上述构成，根据本实施方式所涉及的医用图像诊断装置9，能够将通过使用融合激活函数而具有高推理性能的学习完成模型90，适用于针对医用图像诊断装置9中取得的医用数据进行的期望的推理处理。例如，在使用学习完成模型90执行针对医用摄像装置3中取得的医用图像的图像处理的情况下，与用户任意地选择在活化处理中使用的激活函数的情况相比，能够提高推理性能。
接下来，说明本实施方式所涉及的模型学习装置5的构成的一例。图7是表示模型学习装置5的构成的图。如图7所示，模型学习装置5具有处理电路51、存储器53、输入接口55、通信接口57及显示器59作为硬件资源。
处理电路51对模型学习装置5整体的动作进行控制。处理电路51是通过调用执行存储器53内的程序从而执行取得功能511及学习功能512的处理器。
处理电路51通过取得功能511，取得在神经网络的学习中使用的学习数据。学习数据包括输入学习数据和输出学习数据(以下称为正确输出数据)。用于实现取得功能511的处理电路51是取得部的一例。
处理电路51通过学习功能512，基于学习数据训练神经网络来生成学习完成神经网络。此时，处理电路51对每个单位网络构造的学习参数和融合激活函数的混合系数进行更新以使基于误差的损失函数最小，该误差是基于输入学习数据的神经网络的输出数据(以下称为推断输出数据)与正确输出数据之间的误差。用于实现学习功能512的处理电路51是学习部的一例。学习参数是对神经网络进行定义的合成函数的参数。学习参数例如是加权矩阵、偏置等。
存储器53是存储各种信息的HDD(硬盘驱动器(Hard Disk Drive))、SSD(固态驱动器(Solid State Drive))、集成电路等存储装置。另外，存储器53除了HDD或SSD等以外，也可以是CD(光盘(Compact Disc))、DVD(数字通用盘(Digital Versatile Disc))、闪存等可移动性存储介质。此外，存储器53也可以是与闪存、RAM(随机存取存储器(Random AccessMemory))等半导体存储器元件等之间读写各种信息的驱动装置。另外，存储器53的保存区域既可以处于模型学习装置5内，也可以处于由网络连接的外部存储装置内。
存储器53存储由处理电路51执行的程序、在处理电路51的处理中使用的各种数据等。作为程序，例如使用预先从网络或者非易失性的计算机可读取的存储介质安装至计算机、并使该计算机实现处理电路51的各功能的程序。此外，本说明书中处理的各种数据典型地是数字数据。存储器53是存储部的一例。
存储器53例如存储用于神经网络的学习的模型学习程序50。另外，存储器53临时地存储用于神经网络的学习的学习数据。另外，存储器53存储作为用于融合激活函数的候选的多个激活函数。
输入接口55受理来自操作者的各种输入操作，将受理的输入操作转换为电信号并向处理电路51输出。例如，输入接口55从操作者受理医用信息的输入、各种命令信号的输入等。输入接口55由用于进行处理电路11的各种处理等的鼠标、键盘、轨迹球、开关按钮、将显示画面与触摸板一体化而成的触摸屏、使用光学传感器的非接触输入电路、以及语音输入电路等实现。输入接口55与处理电路51连接，将从操作者受理的输入操作变换为电信号并向控制电路输出。此外，在本说明书中，输入接口不仅限于具备鼠标、键盘等物理性的操作部件的接口。例如，从与装置分体设置的外部的输入设备接受与输入操作对应的电信号、并将该电信号向处理电路51输出的电信号的处理电路也包含在输入接口的例子中。输入接口55是输入部的一例。
通信接口57是经由网络对医用数据处理装置1与外部设备的通信进行传送控制的网络接口。
显示器59显示各种信息。例如，显示器59输出由处理电路51生成的医用信息、用于从操作者受理各种操作的GUI(图形用户界面(Graphical User Interface))等。例如，显示器59是液晶显示器或CRT(阴极射线管(Cathode Ray Tube))显示器。显示器59是显示部的一例。
接下来，说明模型学习装置5的处理电路51依照模型学习程序50执行的模型学习处理。模型学习处理是基于学习数据训练机器学习模型来生成学习完成模型90的处理。
在模型学习处理中，处理电路51首先通过取得功能511，从学习数据保管装置7取得包括多个学习样本的学习数据。学习样本包括输入学习数据及正确输出数据的组合。正确输出数据是在向神经网络输入了输入学习数据时期望从神经网络输出的数据。正确输出数据也可以称为教师数据。输入学习数据及正确输出数据例如是通过对患者进行摄像而生成的医用图像。输入学习数据及正确输出数据也可以是通过对任意的幻影进行摄像而生成的医用图像。
接下来，处理电路51通过学习功能512，通过基于输入学习数据的神经网络的正向传播来生成推断输出数据。此外，神经网络的参数在第1次正向传播中被设定为初始值。接下来，处理电路51通过学习功能512，计算被生成的推断输出数据与被输入的正确输出数据之间的误差。接下来，处理电路51通过学习功能512，通过基于计算出的误差的神经网络的逆向传播来计算梯度矢量。接下来，处理电路51通过学习功能512基于计算出的梯度矢量，对包括混合系数在内的神经网络整体的参数进行更新。
例如，在融合激活函数是进行将激活函数A1、A2统合的上述的式(1)的运算的函数的情况下，通过对神经网络进行训练，学习参数被更新，并且式(1)中的各个系数a1-a3作为混合系数被更新。另外，在融合激活函数是进行将激活函数A1、A2统合的上述的式(2)的运算的函数的情况下，通过对神经网络进行训练，学习参数被更新，并且式(2)中的各个系数a1-a6作为混合系数被更新。
处理电路51判断是否满足结束条件。结束条件例如也可以被设定为反复次数达到了规定次数。另外，结束条件也可以被设定为梯度矢量达到了小于阈值。在未满足结束条件的情况下，处理电路51使用同一学习样本或者其他学习样本反复进行上述处理。另外，在满足结束条件的情况下，处理电路51输出更新后的神经网络作为学习完成模型90。学习完成模型90存储于医用数据处理装置1的存储器13。
由此，结束对本实施方式所涉及的模型学习装置5所进行的模型学习处理的说明。此外，上述的学习处理的流程是一例，本实施方式不限定于此。
如上所述，本实施方式所涉及的模型学习程序50使模型学习装置5执行学习功能512。学习功能512对于具有以输入学习数据作为输入的输入层、输出与输入学习数据对应的输出数据的输出层、以及设置在输入层与输出层之间的至少1个中间层在内的神经网络，适用输入学习数据来生成推断输出数据。然后，学习功能512对包括多个混合系数在内的神经网络的参数进行更新，以使推断输出数据与正确输出数据近似。
另外，本实施方式所涉及的模型学习装置5能够取得包括输入学习数据和输出学习数据的学习数据，基于学习数据训练神经网络来生成学习完成神经网络。神经网络具有将输入矢量要素变换为输出矢量要素的带学习参数的多个单位网络构造。另外，神经网络具有融合激活函数，该融合激活函数按多个单位网络构造中的每个单位网络构造执行基于多个激活函数以及与多个激活函数分别对应的多个混合系数的运算。模型学习装置5能够对学习参数和多个混合系数进行更新，以使基于输入学习数据的神经网络的输出数据与输出学习数据之间的误差最小。
通过上述构成，根据本实施方式，能够通过机器学习生成用于进行活化处理的函数自身。由此，能够设定最佳的参数作为融合激活函数的混合系数，能够实现推理性能进一步提高的推理装置。
(第1变形例)
说明实施方式的第1变形例。本变形例是将实施方式的构成如下变形而得到的。关于与实施方式同样的构成、动作及效果省略说明。
在本变形例中，说明使用相对于1个输入数据输出多个输出数据的神经网络的情况。神经网络例如构成为：受理医用图像作为输入数据，并输出被实施不同的图像处理后的多个医用图像。
图8是概略地表示本变形例所涉及的基于融合激活函数的运算的情形的图。在图8所示的一例中，融合激活函数由6个激活函数A1-A6和2个混合函数M1、M2构成。在图8中，将激活函数A1-A6表现为“Act.1”-“Act.6”。
激活函数A1-A3是种类不同的活化函数。另外，激活函数A4-A6是种类不同的活化函数。作为激活函数A1-A3使用的激活函数的种类与作为激活函数A4-A6使用的激活函数的种类既可以相同，也可以不同。
向融合激活函数输入的输入矢量要素x_i被适用于各激活函数A1-A6。各激活函数A1-A6受理输入矢量要素x_i的各值x作为输入，并输出对各值x适用了激活函数的结果作为输出值z1-z6。
混合函数M1依照混合系数对从激活函数A1-A3取得的3个输出值z1-z3进行统合来运算1个输出值y1。混合函数M2依照混合系数对从激活函数A4-A6取得的3个输出值z4-z6进行统合来运算1个输出值y2。
上述的激活函数A1-A6及混合函数M1、M2被顺次适用于输入矢量要素x_i所包括的各值x，并输出与输入矢量要素x_i所包括的各值x对应的输出值y1、y2。融合激活函数生成包括输出值y1的输出矢量要素y1_i以及包括输出值y2的输出矢量要素y2_i，将其作为融合激活函数的输出。
另外，作为相对于1个输入数据输出多个输出数据的神经网络，通过向输入数据适用多个种类的激活函数，将各激活函数的输出作为多个通道而设为后续的输入，反复进行上述的卷积处理和活化处理，也能够构成为输出多个输出数据的神经网络。例如，如果向各激活函数输入的输入数据的通道数为10而且有3个激活函数，则向下一卷积处理输入的通道数成为30。在该情况下，融合激活函数中的融合运算成为下一卷积处理的系数的一部分。在该情况下，也能够得到与上述的实施方式同样的效果。
(第2变形例)
说明实施方式的第2变形例。本变形例是将实施方式的构成如下变形而得到的。关于与实施方式同样的构成、动作及效果省略说明。
本变形例所涉及的融合激活函数是向同一输入矢量要素适用多个混合系数来运算多个第1输出值、向多个第1输出值分别适用多个激活函数来运算多个第2输出值、并基于多个第2输出值运算输出矢量要素的函数。
图9是概略地表示本变形例所涉及的基于融合激活函数的运算的情形的图。在此，作为一例，说明融合激活函数是将激活函数A1、A2、A3统合而得到的函数的情况。融合激活函数通过对被输入至激活函数A1的输入值x预先乘以系数b1来运算输出值z’1(＝b1·x)，通过对被输入至激活函数A2的输入值x预先乘以系数b2来运算输出值z’2(＝b2·x)，通过对被输入至激活函数A3的输入值x预先乘以系数b3来运算输出值z’3(＝b3·x)。输出值z’1-z’3各自对应于第1输出值。系数b1-b3各自对应于混合系数。
接下来，融合激活函数向输出值z’1适用激活函数A1，向输出值z’2适用激活函数A2，向输出值z’3适用激活函数A3。然后，融合激活函数向激活函数A1的输出值z1、激活函数A2的输出值z2、激活函数A3的输出值z3适用混合函数M，运算输出值y。输出值z1、z2、z3对应于第2输出值。混合函数M既可以是以输出值z1、z2、z3为变量的1次函数，也可以是2次函数，还可以是3次以上的多项式。
(第3变形例)
说明实施方式的第3变形例。本变形例是将实施方式的构成如下变形而得到的。关于与实施方式同样的构成、动作及效果省略说明。
本变形例所涉及的融合激活函数是向输入矢量要素适用基于多个混合系数和多个激活函数而重构的函数、来运算输出矢量要素的函数。
在此，作为一例，说明融合激活函数是对激活函数A1、A2统合而得到的函数的情况。融合激活函数使用通过对激活函数A1乘以系数c1而预先重构的函数、以及通过对激活函数A2乘以系数c2而预先重构的函数，进行运算。在此，系数c1、c2各自对应于混合系数。
融合激活函数向输入值x适用重构后的各个激活函数A1、A2，向重构后的激活函数A1的输出值z1以及重构后的激活函数A2的输出值z2适用上述的混合函数M，运算输出值y。混合函数M既可以是以输出值z1、z2为变量的1次函数，也可以是2次函数，还可以是3次以上的多项式。
(第4变形例)
说明实施方式的第4变形例。本变形例是将实施方式的构成如下变形而得到的。关于与实施方式同样的构成、动作及效果省略说明。
在本变形例所涉及的神经网络中，作为针对过学习(overfitting)的对策而引入正则化(regularization)方法。
作为正则化方法，例如可以举出将全部混合系数设为同一值的方法。例如，在融合激活函数是使用上述的式(1)对激活函数A1、A2的输出值z1、z2进行统合的函数的情况下，通过将按照每个单位网络构造而设置的全部融合激活函数的系数a1-a3设为同一值，能够抑制过学习。
另外，也可以对按照每个网络构造而存在的融合激活函数预先分组，并将属于各组的全部融合激活函数所具有的混合系数设为同一值。
另外，在神经网络所包括的多个融合激活函数中，也可以将与同一激活函数对应的混合系数设为相同的值。在该情况下，将与相同的种类的激活函数(例如激活函数A1)对应的混合系数(例如式(1)的a1)在全部融合激活函数中设为同一值。
在本实施方式中，通过对神经网络整体进行训练，按每个单位网络构造生成融合激活函数。因此，生成的多个融合激活函数既可能成为按每个单位网络构造而不同的函数，也可能成为相同的函数。
作为其他正则化方法，例如可以举出如下方法：向基于推断输出数据与被输入的正确输出数据之间的误差的损失函数，加入多个混合系数间的差越小则值越小的成本函数。例如，作为成本函数，加入混合系数的平方和。由此，在对学习参数和混合系数进行更新以使推断输出数据与正确输出数据之间的误差最小时，通过对各参数进行优化以使多个混合系数之差最小，能够抑制过学习。
作为其他正则化方法，可以举出适用通过使用目标之外的学习数据进行迁移学习的方法。在该方法中，将通过基于目标之外的学习数据对神经网络进行训练而生成的学习完成神经网络的学习参数及混合系数作为初始值，并使用正规的学习数据执行神经网络的训练。在正规的学习数据是医用图像数据的情况下，例如，使用医用领域以外的一般领域的图像数据作为目标之外的学习数据来进行神经网络的训练，从而生成学习完成模型。然后，通过使用被生成的学习完成模型的学习参数及混合系数作为初始值，并使用医用图像数据作为学习数据来进行神经网络的训练，能够抑制由于过学习引起的通用性能的降低，并提高推理性能。
作为其他正则化方法，例如可以举出数据扩展(data augmentation)、将对于学习参数以及/或者混合系数的L2正则化项加入损失函数的方法、将对于学习参数以及/或者混合系数的L2正则化项加入损失函数来进行稀疏正则化的方法等。另外，也可以使用在适用了上述的迁移学习的基础上进行对于学习参数或混合系数的差量的L2正则化或L1正则化的方法。
此外，正则化方法不限定于说明的方法，也可以使用一般使用的各种正则化方法。另外，也可以将上述方法之中的多个组合使用。
(其他变形例)
此外，本实施方式所涉及的神经网络也能够适用于复杂网络。另外，本实施方式所涉及的神经网络也能够适用于不设置偏置的神经网络。例如，在如对MRI图像等复杂图像进行去噪那样的不设置偏置的复杂网络中，也可以替代激活函数而适用本实施方式的融合激活函数。
本实施方式所涉及的神经网络对于以复杂数据为处理对象数据的推理装置也是有用的。另外，也可以在取得的处理对象数据为复杂数据的情况与并非如此的情况下，对使用的激活函数或者神经网络进行区分使用。例如，也可以仅在取得的处理对象数据是由磁共振成像装置取得的MRI图像数据或由超声波诊断装置取得的回波数据的情况下，利用使用了本实施方式所涉及的融合激活函数的神经网络进行推理处理。
在本实施方式中，以适用于医用数据的神经网络为例进行了说明，但对于执行针对一般图像的图像识别的神经网络也能够适用本实施方式的融合激活函数。作为这样的神经网络，例如可以举出将图像中显示的对象是“猫”、“狗”、“马”、“牛”等中的哪一个的情况进行输出的DNN。在该神经网络的训练中，例如使用显示了某种动物的图像作为输入学习数据，并使用表示“猫”、“狗”、“马”、“牛”等动物的种类的独热矢量作为正确输出数据。
根据以上说明的至少1个实施方式，能够提高使用激活函数的学习完成神经网络的推理性能。
以上说明了几个实施方式，但这些实施方式作为例子来提示，其意图不在于对发明的范围进行限定。这些新颖的实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够以此处记载的实施方式的形式进行各种省略、置换、变更。这些形式或变形包含在发明的范围或主旨中，并包含在权利要求书及其等同的范围中。

Claims (10)

1.一种推理装置，其中，具备：
取得部，取得处理对象数据；以及
推理部，对于所述处理对象数据适用学习完成神经网络来计算推理数据，
所述学习完成神经网络具有融合激活函数，该融合激活函数按照将输入矢量要素变换为输出矢量要素的多个单位网络构造中的每个单位网络构造，执行基于多个激活函数以及与所述多个激活函数分别对应的多个混合系数的运算。
2.如权利要求1所述的推理装置，其中，
所述融合激活函数向同一输入矢量要素适用所述多个激活函数来运算多个第1输出值，向所述多个第1输出值分别适用所述多个混合系数来运算多个第2输出值，并基于所述多个第2输出值运算所述输出矢量要素。
3.如权利要求1所述的推理装置，其中，
所述融合激活函数向同一输入矢量要素适用所述多个混合系数来运算多个第1输出值，向所述多个第1输出值分别适用所述多个激活函数来运算多个第2输出值，并基于所述多个第2输出值运算所述输出矢量要素。
4.如权利要求1所述的推理装置，其中，
所述融合激活函数向输入矢量要素适用基于所述多个混合系数和所述多个激活函数重构而成的函数，来运算所述输出矢量要素。
5.一种医用图像诊断装置，其中，具备：
如权利要求1至4中任一项所述的推理装置；以及
医用摄像装置，对于被检体进行医用摄像，
所述取得部取得由所述医用摄像装置取得的医用数据，作为所述处理对象数据。
6.一种推理方法，其中，具备：
取得工序，取得处理对象数据；以及
推理工序，对于所述处理对象数据适用学习完成神经网络来计算推理数据，
所述学习完成神经网络具有融合激活函数，该融合激活函数按照将输入矢量要素变换为输出矢量要素的多个单位网络构造中的每个单位网络构造，执行基于多个激活函数以及与所述多个激活函数分别对应的多个混合系数的运算。
7.一种学习完成神经网络生成方法，其中，具备：
取得工序，取得包括输入学习数据和输出学习数据的学习数据；以及
学习工序，基于所述学习数据训练神经网络来生成学习完成神经网络，
所述神经网络具有：
带学习参数的多个单位网络构造，将输入矢量要素变换为输出矢量要素；以及
融合激活函数，按照所述多个单位网络构造中的每个单位网络构造，执行基于多个激活函数以及与所述多个激活函数分别对应的多个混合系数的运算，
所述学习工序中，对所述学习参数和所述多个混合系数进行更新，以使基于所述输入学习数据的所述神经网络的输出数据与所述输出学习数据之间的误差最小。
8.如权利要求7所述的学习完成神经网络生成方法，其中，
所述学习工序包括：在所述神经网络所包括的多个所述融合激活函数中，将与同一激活函数对应的混合系数设为相同的值的工序。
9.如权利要求7或者8所述的学习完成神经网络生成方法，其中，
所述学习工序包括：将所述多个混合系数之差越小则值越小的成本函数加入损失函数的工序。
10.如权利要求7至9中任一项所述的学习完成神经网络生成方法，其中，
所述学习工序包括：以通过基于目标之外的学习数据训练所述神经网络而生成的学习完成神经网络的学习参数及混合系数作为初始值，执行基于所述学习数据的所述神经网络的所述训练的工序。
CN202211355000.4A 2021-11-01 2022-11-01 推理装置及方法、医用图像诊断装置及学习完成神经网络生成方法 Pending CN116090561A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021178506A JP2023067357A (ja) 2021-11-01 2021-11-01 推論装置、医用画像診断装置、推論方法及び学習済みニューラルネットワーク生成方法
JP2021-178506 2021-11-01

Publications (1)

Publication Number Publication Date
CN116090561A true CN116090561A (zh) 2023-05-09

Family

ID=86144975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211355000.4A Pending CN116090561A (zh) 2021-11-01 2022-11-01 推理装置及方法、医用图像诊断装置及学习完成神经网络生成方法

Country Status (3)

Country Link
US (1) US20230134630A1 (zh)
JP (1) JP2023067357A (zh)
CN (1) CN116090561A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117217288B (zh) * 2023-09-21 2024-04-05 摩尔线程智能科技(北京)有限责任公司 大模型的微调方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
JP2023067357A (ja) 2023-05-16
US20230134630A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
JP7386944B2 (ja) 医用データ処理装置、超音波診断装置及び学習済みモデル生成方法
US11100638B2 (en) Medical imaging device and medical image processing method using a neutral network
CN111771138A (zh) 具有用于根据欠采样超声数据产生图像的神经网络的超声系统
US11615530B2 (en) Medical data processing apparatus for reconstructing a medical image using a neural network
JP2020036877A (ja) 反復的画像再構成フレームワーク
US10987021B2 (en) Medical image diagnostic apparatus, medical signal restoration method, and model training method
US20220361848A1 (en) Method and system for generating a synthetic elastrography image
JP2016152916A (ja) Ｘ線コンピュータ断層撮像装置及び医用画像処理装置
JP7366643B2 (ja) 医用データ処理装置、医用データ処理方法及び医用画像診断装置
CN116090561A (zh) 推理装置及方法、医用图像诊断装置及学习完成神经网络生成方法
US11301961B2 (en) Medical signal processing apparatus and model learning apparatus
CN115908610A (zh) 一种基于单模态pet图像获取衰减校正系数图像的方法
JP7125356B2 (ja) 超音波ｃｔ装置、画像処理装置、および、画像処理プログラム
US20220019850A1 (en) Medical data processing apparatus and method
US20220175334A1 (en) Information processing apparatus and method
JP2022089773A (ja) 情報処理装置及び方法
JP2022041386A (ja) 多元数演算装置及び医用画像診断装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination