CN114846477A - 神经网络模型及其学习方法 - Google Patents

神经网络模型及其学习方法 Download PDF

Info

Publication number
CN114846477A
CN114846477A CN202080090652.2A CN202080090652A CN114846477A CN 114846477 A CN114846477 A CN 114846477A CN 202080090652 A CN202080090652 A CN 202080090652A CN 114846477 A CN114846477 A CN 114846477A
Authority
CN
China
Prior art keywords
layer
neural network
data
feature map
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080090652.2A
Other languages
English (en)
Inventor
幸村雄介
井上弘毅
永嶋文哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Energy Laboratory Co Ltd
Original Assignee
Semiconductor Energy Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Energy Laboratory Co Ltd filed Critical Semiconductor Energy Laboratory Co Ltd
Publication of CN114846477A publication Critical patent/CN114846477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

提供一种可以以高精度处理输入数据的神经网络模型。本发明包括第一及第二神经网络，第一神经网络包括第一层、第二层及第三层。将第一层所输出的特征图输入到第二层及第二神经网络，将第二神经网络所输出的特征图输入到第三层。在此，以在将第一数据输入到第一神经网络时第一层所输出的特征图为正确的特征图，以在将噪声附加到第一数据而得的第二数据输入到第一神经网络时第一层所输出的特征图为学习特征图，此时第二神经网络进行了学习以使输入学习特征图时输出的特征图与正确的特征图一致。

Description

神经网络模型及其学习方法
技术领域
本发明的一个方式涉及一种神经网络模型。另外，本发明的一个方式涉及一种神经网络模型的学习方法。
背景技术
利用AI(Artificial Intelligence，人工智能)进行图像处理的技术受到瞩目。例如，专利文献1公开了一种技术，即利用神经网络检测出包括在图像中的物体的种类、该物体的区域的分割技术。另外，还开发出利用AI将黑白图像变成彩色、进行深度推测等的技术。
另外，开发出包括跳跃连接的层的神经网络。在此，跳跃连接是指一种结构，其中将神经网络中的层所输出的特征图不仅输入到下一层而且输入到更靠近输出层的其他层。非专利文献1公开了一种U-Net作为具有跳跃连接的神经网络。在U-Net中，由于跳跃连接，例如容易将输入到神经网络的图像数据所包括的信息反映到输出层附近的层所输出的特征图。由此，可以以高精度进行图像处理。例如，在U-Net中，容易将输入到神经网络的图像数据所包括物体的位置、轮廓等信息反映到输出层附近的层所输出的特征图，因此可以以高精度进行分割。
[先行技术文献]
[专利文献]
[专利文献1]日本专利申请公开第2019-82979号公报
[非专利文献]
[非专利文献1]Olaf Ronneberger，Philipp Fischer，and Thomas Brox，“U-Net：Convolutional Networks for Biomedical Image Segmentation”，Medical ImageComputing and Computer-Assisted Intervention，234-241(2015).
发明内容
发明所要解决的技术问题
在包括跳跃连接的层的神经网络中，在输入到该神经网络的数据(输入数据)包括噪声时，该噪声容易传输到靠近输出层的层。由此，有可能不能以高精度处理该数据。
本发明的一个方式的目的之一是提供一种能够去除输入数据中的噪声的神经网络模型。另外，本发明的一个方式的目的之一是提供一种可以以高精度处理输入数据的神经网络模型。另外，本发明的一个方式的目的之一是提供一种新颖神经网络模型。
本发明的一个方式的目的之一是提供一种能够去除输入数据中的噪声的神经网络模型的学习方法。另外，本发明的一个方式的目的之一是提供一种可以以高精度处理输入数据的神经网络模型的学习方法。另外，本发明的一个方式的目的之一是提供一种新颖的神经网络模型的学习方法。
注意，这些目的的记载不妨碍其他目的的存在。注意，本发明的一个方式并不需要实现所有上述目的。除上述目的外的目的从说明书、附图、权利要求书等的描述中是显而易见的，并且可以从所述描述中抽出。
解决技术问题的手段
本发明的一个方式是一种神经网络模型及其学习方法，该神经网络模型包括第一神经网络及第二神经网络，第一神经网络包括通过第二神经网络跳跃连接的层。第二神经网络具有去除被输入的特征图中的噪声的功能。因此，即使输入到第一神经网络的数据包括噪声，也可以抑制该噪声传输到靠近第一神经网络的输出层的层。
当进行本发明的一个方式的神经网络模型的学习时，首先，取得第一神经网络的权重系数的初始值。接着，进行第一学习来取得第二神经网络的权重系数。然后，进行第二学习来取得第一神经网络的权重系数。在进行第一学习及第二学习之后，评价本发明的一个方式的神经网络模型的推论精度。直到推论精度到达规定值以上为止进行第一学习及第二学习。
本发明的一个方式是一种神经网络模型，该神经网络模型包括第一神经网络及第二神经网络，第一神经网络包括第一层、第二层及第三层，将第一层所输出的特征图输入到第二层及第二神经网络，将第二神经网络所输出的特征图输入到第三层，以在将第一数据输入到第一神经网络时第一层所输出的特征图为正确的特征图，以在将噪声附加到第一数据而得的第二数据输入到第一神经网络时第一层所输出的特征图为学习特征图，通过第一学习第二神经网络进行了学习以使在将学习特征图输入到第二神经网络时第二神经网络所输出的特征图与正确的特征图一致。
另外，在上述方式中，第二神经网络的权重系数也可以通过将用于取得初始值的数据输入到第一神经网络来取得第一神经网络的权重系数的初始值，然后通过第一学习来取得。
另外，在上述方式中，第一神经网络的权重系数也可以通过在取得第二神经网络的权重系数之后将第二数据输入到第一神经网络来进行的第二学习取得。
另外，在上述方式中，第一神经网络也可以包括第四层、第五层及第六层，也可以将第四层所输出的特征图输入到第五层及与第四层跳跃连接的第六层，第四层也可以比第一层靠近第一神经网络的输出层，第三层也可以比第六层靠近第一神经网络的输出层。
另外，本发明的一个方式是一种神经网络模型，该神经网络模型包括第一神经网络及第二神经网络，第一神经网络包括第一层、第二层、第三层及第四层，按第四层、第三层、第二层、第一层的顺序靠近第一神经网络的输出层，将第一层所输出的特征图输入到第二层及第二神经网络，将第三层所输出的特征图及第二神经网络所输出的特征图输入到第四层，以在将第一数据输入到第一神经网络时第一层所输出的特征图为正确的特征图，以在将噪声附加到第一数据而得的第二数据输入到第一神经网络时第一层所输出的特征图为学习特征图，通过第一学习第二神经网络进行了学习以使在将学习特征图输入到第二神经网络时第二神经网络所输出的特征图与正确的特征图一致。
另外，在上述方式中，第二神经网络的权重系数也可以通过将用于取得初始值的数据输入到第一神经网络来取得第一神经网络的权重系数的初始值，然后通过第一学习来取得。
另外，在上述方式中，第一神经网络的权重系数也可以通过在取得第二神经网络的权重系数之后将第二数据输入到第一神经网络来进行的第二学习取得。
另外，在上述方式中，第一神经网络也可以包括第五层、第六层及第七层，也可以将第五层所输出的特征图输入到第六层及与第五层跳跃连接的第七层，第五层也可以比第一层靠近第一神经网络的输出层，第四层也可以比第七层靠近第一神经网络的输出层。
另外，本发明的一个方式是一种神经网络模型的学习方法，该神经网络模型包括第一神经网络及第二神经网络，第一神经网络包括第一层、第二层及第三层，将第一层所输出的特征图输入到第二层及第二神经网络，将第二神经网络所输出的特征图输入到第三层。该神经网络模型的学习方法包括如下步骤：第一步骤，其中通过将用于取得初始值的数据输入到第一神经网络，来取得第一神经网络的权重系数的初始值；第二步骤，其中以在将第一数据输入到第一神经网络时第一层所输出的特征图为正确的特征图，以在将噪声附加到第一数据而得的第二数据输入到第一神经网络时第一层所输出的特征图为学习特征图，进行第一学习以使在将学习特征图输入到第二神经网络时第二神经网络所输出的特征图与正确的特征图一致，由此取得第二神经网络的权重系数；第三步骤，其中通过将第二数据输入到第一神经网络进行第二学习，来取得第一神经网络的权重系数；以及第四步骤，其中将测试数据输入到第一神经网络，根据第一神经网络所输出的输出数据评价神经网络模型的推论精度。直到推论精度到达规定值以上为止进行第二至第四步骤。
另外，在上述方式中，第一神经网络也可以包括第四层、第五层及第六层，也可以将第四层所输出的特征图输入到第五层及与第四层跳跃连接的第六层，第四层也可以比第一层靠近第一神经网络的输出层，第三层也可以比第六层靠近第一神经网络的输出层。
发明效果
根据本发明的一个方式可以提供一种能够去除输入数据中的噪声的神经网络模型。另外，根据本发明的一个方式可以提供一种可以以高精度处理输入数据的神经网络模型。另外，根据本发明的一个方式可以提供一种新颖神经网络模型。
根据本发明的一个方式可以提供一种能够去除输入数据中的噪声的神经网络模型的学习方法。另外，根据本发明的一个方式可以提供一种可以以高精度处理输入数据的神经网络模型的学习方法。另外，根据本发明的一个方式可以提供一种新颖的神经网络模型的学习方法。
注意，本发明的一个方式的效果不局限于上述效果。上述列举的效果并不妨碍其他效果的存在。另外，其他效果是上面没有提到而将在下面的记载中进行说明的效果。本领域技术人员可以从说明书或附图等的记载中导出并适当抽出上面没有提到的效果。此外，本发明的一个方式具有上述效果及/或其他效果中的至少一个效果。因此，本发明的一个方式有时不具有上述例举的效果。
附图简要说明
图1A及图1B是示出神经网络模型的结构例子的图。
图2是示出神经网络模型的学习方法的一个例子的流程图。
图3A及图3B是示出神经网络模型的学习方法的一个例子的图。
图4A、图4B1、图4B2以及图4C是示出神经网络模型的学习方法的一个例子的图。
图5是示出神经网络模型的学习方法的一个例子的图。
图6是示出神经网络模型的学习方法的一个例子的图。
图7是示出神经网络模型的结构例子的图。
图8A及图8B是示出运算处理系统的结构例子的方框图。
图9是示出摄像部的结构例子的方框图。
图10是示出像素块200及电路201的结构例子的图。
图11是示出像素的结构例子的图。
图12A至图12C是示出滤波器的图。
图13A是示出像素的结构例子的图。图13B至图13D是示出光电转换器件的结构例子的图。
图14是示出摄像装置的结构例子的截面图。
图15A至图15C是示出晶体管的结构例子的截面图。
图16是示出摄像装置的结构例子的截面图。
图17是示出摄像装置的结构例子的截面图。
实施发明的方式
参照附图对实施方式进行详细说明。注意，本发明不局限于下面说明，所属技术领域的普通技术人员可以很容易地理解一个事实就是其方式及详细内容在不脱离本发明的宗旨及其范围的情况下可以被变换为各种各样的形式。因此，本发明不应该被解释为仅限定在以下所示的实施方式所记载的内容中。另外，在下面所说明的发明的结构中，在不同的附图中共同使用相同的附图标记来表示相同的部分或具有相同功能的部分，而有时省略其重复说明。另外，有时在不同的附图中适当地省略或改变相同构成要素的阴影。
注意，本说明书等所使用的“第一”、“第二”、“第三”等序数词是为了避免构成要素的混淆而附加的，而不是为了在数目方面上进行限定的。
另外，即使在电路图上为一个构成要素，如果在功能上没有问题，该构成要素也可以使用多个构成要素构成。例如，有时被用作开关的多个晶体管可以串联或并联连接。此外，有时对电容器进行分割并将其配置在多个位置上。
此外，有时一个导电体具有布线、电极及端子等多个功能，在本说明书中，有时对同一构成要素使用多个名称。另外，即使在电路图上示出构成要素之间直接连接的情况，有时实际上该构成要素之间通过一个或多个导电体连接，本说明书中这种结构也包括在直接连接的范畴内。
(实施方式)
在本实施方式中，说明本发明的一个方式的神经网络模型及该神经网络模型的学习方法的一个例子等。
<神经网络模型_1>
图1A是示出本发明的一个方式的神经网络模型的神经网络模型10的结构例子的图。神经网络模型10包括神经网络NN1及神经网络NN2。
神经网络NN1包括多个由神经元构成的层，设置在各层中的神经元彼此连结。因此，神经网络NN1可以说是分层神经网络。由神经元构成的各层具有从输入到该层的数据中提取特征量并输出表示该特征量的数据作为特征图的功能。另外，神经网络NN2也可以是分层神经网络。
图1A示出神经网络NN1所包括的层中的层L_1、层L_2及层L_3。另外，用箭头示出层间的数据流。
在本说明书等中，在多个要素使用同一符号并且需要区分它们时，有时对符号附加“_1”、“[1]”等用于识别的符号。例如，在图1A等中，将三个层L分别记载为层L_1、层L_2及层L_3以便区别。
神经网络包括输入层及输出层，输入层和输出层之间设置有中间层。可以对于一个神经网络设置多个中间层。图1A所示的层L_1、层L_2及层L_3可以是中间层。层L_1也可以是输入层，层L_3也可以是输出层。
在本说明书等中，有时将“对神经网络的输入层输入数据”称为“对神经网络输入数据”。另外，有时将“从神经网络的输入层输出数据”称为“从神经网络输出数据”。
将层L_1所输出的特征图输入到层L_2，将层L_2所输出的特征图输入到层L_3。就是说，数据按层L_1、层L_2、层L_3的顺序被传输。因此，可以说层L_1的下一层是层L_2，层L_2的下一层是层L_3。
另外，还将层L_1所输出的特征图输入到神经网络NN2。具体而言，在神经网络NN2为包括输入层、中间层及输出层的分层神经网络的情况下，神经网络NN2的输入层被输入层L_1所输出的特征图。并且，将神经网络NN2所输出的特征图输入到层L_3。
在此，神经网络NN2具有去除输入到神经网络NN2的特征图中的噪声的功能。因此，可以说层L_3被输入特征图，该特征图是从层L_1输入到神经网络NN2的且其中的噪声被神经网络NN2去除。由此，可以说将层L_1所输出的特征图通过神经网络NN2输入到层L_3。
如上所述，层L_1的下一层是层L_2。另一方面，从层L_1输出且输入到神经网络NN2的特征图通过神经网络NN2输入到层L_3。就是说，从层L_1输出且输入到神经网络NN2的特征图跳过作为层L_1的下一层的层L_2而输入到层L_3。因此，可以说层L_1和层L_3是通过神经网络NN2跳跃连接着的。另外，层L_3可以说是结合层L_1所输出的特征图和层L_2所输出的特征图的结合层。
在本说明书等中，用点划线连接而表示各层是跳跃连接着的。例如，在图1A中，通过用点划线连接层L_1和神经网络NN2以及神经网络NN2和层L_3，来表示层L_1和层L_3是通过神经网络NN2跳跃连接着的。
神经网络NN1具有关于输入到输入层的数据从输出层输出规定推论结果作为特征图的功能。例如，当将图像数据输入到神经网络NN1的输入层时，神经网络NN1具有对该图像数据进行分割或深度估计的功能。或者，当将黑白或灰度的图像数据输入到神经网络NN1的输入层时，神经网络NN1具有将该图像数据变成彩色的功能。
在本说明书等中，有时将输出层所输出的特征图称为包括该输出层的神经网络所输出的输出数据。
在包括跳跃连接的层的神经网络中，在输入到该神经网络的数据包括噪声时，该噪声容易传输到靠近输出层的层。由此，有可能不能以高精度进行该数据的推论。另一方面，神经网络模型10中的神经网络NN1包括通过具有去除噪声的功能的神经网络NN2跳跃连接的层。因此，即使输入到神经网络NN1的数据包括噪声，也可以抑制该噪声传输到靠近输出层的层。由此，可以以高精度进行该数据的推论。
在图1A所示的神经网络模型10中，设置在作为通过神经网络NN2跳跃连接的层L的层L_1和层L_3之间的层L是一层，但是本发明不局限于此。如图1B所示，也可以在层L_1和层L_3之间设置m层(m是2以上的整数)的层L_2。在图1B中，按离神经网络NN1的输入层近的顺序将m层的层L_2记载为层L_2[1]至层L_2[m]，以便区别。
在图1B所示的神经网络模型10中，层L_1所输出的特征图输入到层L_2[1]及神经网络NN2。另外，层L_3被输入层L_2[m]所输出的特征图以及神经网络NN2所输出的特征图。
神经网络模型10所包括的神经网络NN1例如可以是卷积神经网络(CNN：Convolutional Neural Network)。当神经网络NN1具有图1B所示的结构并是CNN时，层L_1及层L_2[m]例如可以为池化层。
神经网络NN2例如可以为自动编码器。例如可以为生成式对抗网络(GAN：Generative Adversarial Networks)。当神经网络NN2是GAN时，例如可以采用条件GAN(Conditional GAN)。当神经网络NN2是GAN时，神经网络NN2可以以高精度进行推论，例如可以以高精度去除输入到神经网络NN2的特征图中的噪声，所以是优选的。
<学习方法>
接着，使用图2至图6说明神经网络模型10的学习方法的一个例子。图2是示出神经网络模型10的学习方法的一个例子的流程图。图3至图6是示出图2所示的各步骤中的处理的一个例子的示意图。注意，在图3至图6中，神经网络模型10具有图1A所示的结构。另外，在图3至图6中，作为一个例子示出一种神经网络模型10的学习方法的一个例子，其中使神经网络NN1具有在将图像数据输入到神经网络NN1时对该图像数据进行分割的功能。
[步骤S1]
首先，对神经网络NN1输入用于取得初始值的数据，取得为神经网络NN1的权重系数11的初始值的权重系数11_1(步骤S1)。图3A及图3B是示出步骤S1中的处理的一个例子的示意图。具体而言，图3A是示出步骤S1_1中的处理的一个例子的示意图，图3B是示出步骤S1_2中的处理的一个例子的示意图。
如图3A所示，在步骤S1_1中，准备数据21。数据21例如可以以行列表示。在此，例如，当数据21为通过摄像取得的图像数据时，行列的要素可以是表示照射到摄像装置中的像素的光的照度的灰度值。另外，可以是表示显示对应于数据21的图像的显示装置中的像素所发射的光的亮度的灰度值。就是说，表示数据21的行列的行数及列数例如可以与对应于数据21的图像的分辨率相同。注意，有时可以以行列表示数据21以外的数据。例如，有时可以以行数及列数与数据21相同的行列表示数据21以外的数据。或者，有时可以以行数及列数比数据21少的行列表示数据21以外的数据。
对数据21附加假设噪声的数据来取得数据22。例如，当作为输入到神经网络NN1的数据假设通过利用相机进行摄像来取得的图像数据时，作为该噪声例如可以假设相机镜头上的划痕或附着于相机的水滴。或者，可以假设在黑暗的地方进行摄像时发生的散粒噪声。另外，当作为输入到神经网络NN1的数据假设通过拍摄显示在显示装置上的图像来取得的图像数据时，作为上述噪声例如可以假设点缺陷、线缺陷等缺陷。注意，在附加到数据21的数据是要由神经网络NN2去除的数据的情况下，该数据不一定需要为假设噪声的数据。
在以上方法中，在步骤S1_1中，基于数据21生成数据22，但是本发明的一个方式不局限于此。例如，也可以基于数据22生成数据21。此时，例如在雨天环境下进行摄像，取得数据22，对数据22进行图像处理来去除水滴，由此可以取得数据21。
接着，如图3B所示，在步骤S1_2中，将数据22及数据23输入到神经网络NN1。在此，数据23例如可以是作为数据22的分割结果示出所希望的物体的数据。由此，可以取得为神经网络NN1的权重系数11的初始值的权重系数11_1。例如，当将数据22输入到神经网络NN1时，可以从神经网络NN1取得使神经网络NN1所输出的输出数据与数据23的误差为最小的权重系数11_1。
注意，在图3A所示的步骤S1_1中，准备一个数据21，但是也可以准备两个以上的数据21。另外，在图3B所示的步骤S1_2中，将一个数据22和一个数据23输入到神经网络NN1，但是也可以将两个以上的数据22和两个以上的数据23输入到神经网络NN1。另外，在步骤S1_2中，也可以不将数据23输入到神经网络NN1。例如，当后述的神经网络NN1的学习通过无监督学习进行时，也可以不将数据23输入到神经网络NN1。
当以图3A及图3B所示的过程进行步骤S1中的处理时，可以说数据22是用于取得初始值的数据。另外，也可以说数据22和数据23都是用于取得初始值的数据。
在进行步骤S1的阶段，神经网络NN2没有取得权重系数。因此，在步骤S1中，没有进行由神经网络NN2进行的处理。
[步骤S2]
接着，神经网络模型10通过进行第一学习来取得神经网络NN2的权重系数12(步骤S2)。图4A、图4B1及图4B2以及图4C是示出步骤S2中的处理的一个例子的示意图。具体而言，图4A是示出步骤S2_1中的处理的一个例子的示意图，图4B1是示出步骤S2_2a中的处理的一个例子的示意图，图4B2是示出步骤S2_2b中的处理的一个例子的示意图，图4C是示出步骤S2_3中的处理的一个例子的示意图。
在步骤S2中，神经网络NN1中的各层保持权重系数11_i(i是1以上的整数)。当进行步骤S1之后立刻进行步骤S2时，i可以是1。注意，在图4B1及图4B2中，将层L_1所保持的权重系数11_i记载为权重系数11_i[1]。
以下，详细地说明进行第一学习的步骤S2。首先，如图4A所示，在步骤S2_1中，准备包括多个数据24的数据集25，将假设噪声的数据分别附加到数据24来取得数据26。由此，取得包括多个数据26的数据集27。附加到数据24的噪声可以为种类与可以附加到图3A所示的数据21的噪声相同的噪声。注意，与附加到数据21的数据同样，在附加到数据24的数据是要由神经网络NN2去除的数据的情况下，该数据不一定需要为假设噪声的数据。
在以上方法中，在步骤S2_1中，基于数据24生成数据26，但是本发明的一个方式不局限于此。数据24及数据26的取得方法可以与步骤S1_1中的数据21及数据22的取得方法相同。例如，当在步骤S1_1中基于数据22生成数据21时，在步骤S2_1中通过基于数据26生成数据24可以取得数据24及数据26。
接着，如图4B1所示，在步骤S2_2a中，将数据24输入到神经网络NN1，取得层L_1所输出的特征图34。例如，取得数据集25中的多个数据24各自的特征图34。由此，取得包括多个特征图34的特征图集35。此外，如图4B2所示，在步骤S2_2b中，将数据26输入到神经网络NN1，取得层L_1所输出的特征图36。例如，取得数据集27中的多个数据26各自的特征图36。由此，取得包括多个特征图36的特征图集37。
然后，如图4C所示，在步骤S2_3中，分别将特征图36和特征图34输入到神经网络NN2作为学习数据和正确数据。由此，可以取得神经网络NN2的权重系数12。例如，神经网络NN2可以取得权重系数12，该权重系数12使在将特征图36输入到神经网络NN2时神经网络NN2所输出的特征图与对应于该特征图36的特征图34一致。具体而言，例如在通过利用误差函数(也称为损失函数)的梯度下降法可以取得使在将特征图36输入到神经网络NN2时神经网络NN2所输出的特征图与为正确数据的特征图34的误差为最小的权重系数12。作为误差函数，可以使用误差平方差、交叉熵损失函数等。在梯度下降法中，取得使误差函数为最小的权重系数。该最小值例如可以通过对误差函数进行微分来求出。误差函数的微分例如可以通过反向传播算法求出。
当神经网络NN2为条件GAN时，通过将特征图34输入到生成器且将特征图36输入到鉴别器，神经网络NN2可以进行学习。
在本说明书等中，有时将可用作学习数据的特征图称为学习特征图，将可用作正确数据的特征图称为正确的特征图。例如，可以将特征图36称为学习特征图，可以将特征图34称为正确的特征图。
[步骤S3]
接着，神经网络模型10通过进行第二学习来取得神经网络NN1的权重系数11(步骤S3)。图5是示出步骤S3中的处理的一个例子的示意图。
在步骤S3中，神经网络NN1中的各层保持权重系数11_i。如上所述，例如在神经网络NN1中的各层保持权重系数11的初始值的情况下，i可以是1。另外，神经网络NN2保持在之前的步骤S2中取得的权重系数12。在图5中，将层L_1保持的权重系数11_i记载为权重系数11_i[1]，将层L_2保持的权重系数11_i记载为权重系数11_i[2]，将层L_3保持的权重系数11_i记载为权重系数11_i[3]。
在步骤S3中，分别将数据26和数据28输入到神经网络NN1作为学习数据和正确数据。在此，数据26可以是与在图4A所示的步骤S2_1中取得且在图4B2所示的步骤S2_2b中输入到神经网络NN1的数据26相同的数据。就是说，在步骤S2的神经网络NN2的学习中，可以将与为取得作为学习特征图的特征图36而输入到神经网络NN1的数据相同的数据用作神经网络NN1的学习中的学习数据。另外，数据28例如可以是作为数据26的分割结果示出所希望的物体的数据。在此，以在神经网络NN1的学习中用作正确数据的数据28的集合为数据集29。注意，在步骤S2_2b中，输入到神经网络NN1的数据26和在步骤S3中输入到神经网络NN1的数据26也可以不同。
通过上述步骤，可以取得神经网络NN1的权重系数11_i+1。具体而言，通过使权重系数11_i最优化，可以取得权重系数11_i+1。例如，神经网络NN1可以取得权重系数11_i+1，权重系数11_i+1使在将数据26输入到神经网络NN1时神经网络NN1所输出的输出数据与对应于该数据26的数据28一致。具体而言，例如，通过利用误差函数的梯度下降法可以取得权重系数11_i+1，权重系数11_i+1使在将数据26输入到神经网络NN1时神经网络NN1所输出的输出数据与为正确数据的数据28的误差为最小。
如上所述，神经网络NN2保持在之前的步骤S2中取得的权重系数12。因此，输入到神经网络NN1的数据26还被进行由神经网络NN2进行的处理。因此，在步骤S3中，神经网络NN1取得的权重系数11_i+1可以是反映了神经网络NN2保持的权重系数12的权重系数。注意，在以上说明中，在步骤S3中不取得权重系数12，即在步骤S3中不使在之前的步骤S2中取得的权重系数12最优化，但是本发明的一个方式不局限于此。例如，在步骤S3中，也可以使权重系数11和权重系数12都最优化。
另外，在图5中，示出通过有监督学习进行神经网络NN1的学习的情况，也可以通过无监督学习进行神经网络NN1的学习。当通过无监督学习进行神经网络NN1的学习时，也可以不将为正确数据的数据28输入到神经网络NN1。
[步骤S4]
接着，对神经网络NN1输入数据41作为测试数据，根据神经网络NN1所输出的输出数据43评价神经网络模型10的推论精度(步骤S4)。图6是示出步骤S4中的处理的一个例子的示意图。
例如，对比输出数据43与作为数据41的分割结果示出所希望的物体的数据45，根据输出数据43与数据45之差评价神经网络模型10的推论精度。例如，以行数及列数都相同的行列表示输出数据43和数据45。根据构成输出数据43的行列的各要素与根据构成数据45的行列的各要素之差评价神经网络模型10的推论精度。
例如，在以p行q列(p、q是1以上的整数)的行列分别表示输出数据43和数据45时，首先判定输出数据43的第一行第一列的要素与数据45的第一行第一列的要素是否一致。同样，关于所有要素，判定输出数据43的和数据45的是否一致。然后，一致的上述要素的数量除以行列的所有要素的数量(p×q个)，以该结果为准确率。根据准确率评价神经网络模型10的推论精度。准确率越高，可以评价为推论精度评价越高。
或者，也可以根据误差函数评价神经网络模型10的推论精度。另外，当以使神经网络NN1具有对输入到神经网络NN1的数据进行分割的功能的方式进行神经网络模型10的学习时，神经网络模型10的推论精度可以利用mIoU(mean Intersection over Union，均交并比)评价。
或者，例如，在输出数据43和数据45都以p行q列的行列表示时，首先计算出输出数据43的第一行第一列的要素与数据45的第一行第一列的要素之差的绝对值。同样，关于所有要素，计算出输出数据43的与数据45的之差的绝对值。然后，计算出所计算的p×q个上述差的绝对值的总和，根据总和值评价神经网络模型10的推论精度。该总合值越小，可以评价为输出数据43与数据45的误差越小，即推论精度越高。例如，当以使神经网络NN1具有对输入到神经网络NN1的数据进行深度估计的功能的方式进行神经网络模型10的学习时，可以适当地使用该方法。
或者，例如，当以使神经网络NN1具有将输入到神经网络NN1的黑白图像数据变成彩色的功能的方式进行神经网络模型10的学习时，例如，可以根据颜色空间评价推论精度。例如，通过对比输出数据43和数据45的HSV颜色空间，可以评价神经网络模型10的推论精度。在此，HSV颜色空间是指使图像数据所表示的图像的色调、饱和度及明度数值化的颜色空间。另外，也可以利用RGB颜色空间、CMY颜色空间或HLS颜色空间等评价推论精度。
此外，也可以准备多个为测试数据的数据41。此时，以数据41的集合为数据集42。另外，当准备多个数据41时，要准备多个输出数据43及多个数据45。例如，要准备与数据41相同数量的输出数据43以及与数据41相同数量的数据45。当准备多个输出数据43及多个数据45时，以输出数据43的集合为数据集44，以数据45的集合为数据46。当利用多个数据41评价神经网络模型10的推论精度时，例如，将该多个数据41的每一个输入到神经网络NN1，且计算出各数据41的推论精度。各数据41的推论精度的平均值可以为在下一个步骤中使用的神经网络模型10的推论精度。
[步骤S5]
然后，判定在步骤S4中被评价的神经网络模型10的推论精度是否是规定值以上(步骤S5)。在是规定值以上的情况下，结束神经网络模型10的学习。在低于规定值时，对i加上1，再次进行步骤S2至步骤S5。就是说，直到推论精度到达规定值以上为止由第一学习进行权重系数12的最优化且由第二学习进行权重系数11的最优化。以上是神经网络模型10的学习方法的一个例子。注意，在步骤S5中，也可以评价第一学习及第二学习所引起的推论精度增加的幅度，在增加幅度为规定值以下时结束神经网络模型10的学习。例如，也可以评价分别进行第一学习和第二学习j次(j是1以上的整数)时与进行j+1次时的推论精度之差，在该差为规定值以下时结束神经网络模型10的学习。
<神经网络模型_2>
图7是示出本发明的一个方式的神经网络模型的神经网络模型10a的结构例子的图。神经网络模型10a包括神经网络NN1a及神经网络NN2a。神经网络NN1a具有与神经网络NN1同样的功能，神经网络NN2a具有与神经网络NN2同样的功能。另外，神经网络模型10a可以以与神经网络模型10同样的过程进行学习。
在本说明书等中，在涉及神经网络模型10的情况下，有时包括神经网络模型10a。另外，在涉及神经网络NN1的情况下，有时包括神经网络NN1a，在涉及神经网络NN2的情况下，有时包括神经网络NN2a。
神经网络NN1a包括输入层IL、中间层ML_1至中间层ML_17及输出层OL。神经网络NN1a的体系结构例如可以为U-Net。或者，例如可以为DenseNet。
在具有图7所示的结构的神经网络NN1a中，将输入层IL所输出的特征图输入到中间层ML_1，将中间层ML_1所输出的特征图输入到中间层ML_2。如此，将输入到输入层IL的数据依次传输到中间层ML_1至中间层ML_17。然后，将中间层ML_17所输出的特征图输入到输出层OL。通过以上步骤，在中间层ML_1至中间层ML_17中，可以说中间层ML_1最靠近输入层IL，按中间层ML_2至中间层ML_16的顺序远离输入层IL，即靠近输出层OL，中间层ML_17最靠近输出层OL。
将中间层ML_1所输出的特征图不仅输入到中间层ML_2，而且输入到神经网络NN2a。将神经网络NN2a所输出的特征图输入到中间层ML_16。就是说，中间层ML_16不但被输入中间层ML_15所输出的特征图，而且被输入神经网络NN2a所输出的特征图。因此，可以说中间层ML_1和中间层ML_16是通过神经网络NN2a跳跃连接着的。另外，中间层ML_16可以说是被用作结合中间层ML_15所输出的特征图和神经网络NN2a所输出的特征图的结合层。
将中间层ML_3所输出的特征图不仅输入到中间层ML_4，而且输入到中间层ML_14。就是说，中间层ML_14不但被输入中间层ML_13所输出的特征图，而且被输入中间层ML_3所输出的特征图。因此，可以说中间层ML_3和中间层ML_14是跳跃连接着的。另外，中间层ML_14可以说是被用作结合中间层ML_13所输出的特征图和中间层ML_3所输出的特征图的结合层。
将中间层ML_5所输出的特征图不仅输入到中间层ML_6，而且输入到中间层ML_12。就是说，中间层ML_12不但被输入中间层ML_11所输出的特征图，而且被输入中间层ML_5所输出的特征图。因此，可以说中间层ML_5和中间层ML_12是跳跃连接着的。另外，中间层ML_12可以说是被用作结合中间层ML_11所输出的特征图和中间层ML_5所输出的特征图的结合层。
将中间层ML_7所输出的特征图不仅输入到中间层ML_8，而且输入到中间层ML_10。就是说，中间层ML_10不但被输入中间层ML_9所输出的特征图，而且被输入中间层ML_7所输出的特征图。因此，可以说中间层ML_7和中间层ML_10是跳跃连接着的。另外，中间层ML_10可以说是被用作结合中间层ML_9所输出的特征图和中间层ML_7所输出的特征图的结合层。
由此，可以说图7所示的神经网络NN1a包括四组跳跃连接的层。另外，可以说在跳跃连接的中间层ML中最靠近输入层IL的中间层ML_1与最靠近输出层OL的中间层ML_16通过神经网络NN2a跳跃连接。
例如，在U-Net中，由于跳跃连接将靠近输入层的中间层所输出的特征图输入到靠近输出层的中间层。因此，当输入到输入层的数据包含噪声时，该噪声易于传输到靠近输出层的层。由此，有可能不能以高精度进行该数据的推论。另一方面，例如，在具有图7所示的结构的神经网络NN1a中，跳跃连接的中间层ML中的最靠近输入层IL的中间层ML_1与最靠近输出层OL的中间层ML_16通过具有去除噪声的功能的神经网络NN2a跳跃连接。因此，即使输入到输入层IL的数据包括噪声，也可以抑制该噪声传输到靠近输出层OL的层。由此，神经网络NN1a可以以高精度进行该数据的推论。
此外，随着利用中间层ML的特征提取进展，输入到输入层IL的数据中的噪声的影响变小。例如，当输入层IL被输入包括噪声的数据时，该噪声给中间层ML_7所输出的特征图带来的影响比该噪声给中间层ML_1所输出的特征图带来的影响小。因此，即使由于跳跃连接远离输入层IL的中间层ML所输出的特征图被输入到其他中间层ML，也可以不对该特征图进行噪声去除。例如，作为比中间层ML_1远离输入层IL的层的中间层ML_3、中间层ML_5及中间层ML_7分别可以与中间层ML_14、中间层ML_12及中间层ML_10跳跃连接而不通过具有去除噪声的功能的神经网络。因此，即使增加跳跃连接的层，也可以在抑制神经网络模型10的规模扩大的同时保持对输入到输入层IL的数据的推论精度。
在图7中，神经网络NN1a包括17个中间层ML并包括四组跳跃连接的层，但是本发明的一个方式不局限于此。例如，中间层ML也可以比17个多。另外，在图7中，只有中间层ML_1和中间层ML_16通过具有去除噪声的功能的神经网络跳跃连接，但是本发明的一个方式不局限于此。例如，除了中间层ML_1和中间层ML_16以外，中间层ML_3和中间层ML_14也可以通过具有去除噪声的功能的神经网络跳跃连接。在增加通过具有去除噪声的功能的神经网络跳跃连接的层的数量时，可以以高精度进行输入到输入层IL的数据的推论。
<运算处理系统的结构例子>
例如，可以将本发明的一个方式的神经网络模型用于运算处理系统。图8A是示出可以使用本发明的一个方式的神经网络模型的运算处理系统100的结构例子的方框图。运算处理系统100包括信息处理装置120。
信息处理装置120包括摄像部121、输出部122、运算部123、主存储部124及辅助存储部125。信息处理装置120所包括的构成要素间的数据等可以通过传送通道127传送。注意，在本说明书等中，可以将摄像部换称为摄像装置。
摄像部121具有进行摄像并取得图像数据的功能。可以将图3A所示的数据21视为该图像数据。输出部122具有供应信息的功能。
运算部123具有进行运算处理的功能。运算部123例如具有对从摄像部121、主存储部124、辅助存储部125等通过传送通道127传送到运算部123的数据进行规定运算处理的功能。运算部123例如可以包括CPU(Central Processing Unit：中央处理器)及GPU(GraphicsProcessing Unit：图形处理器)等。
主存储部124具有储存数据及程序等的功能。运算部123可以读取主存储部124所储存的数据及程序等并执行运算处理。例如，运算部123可以通过执行从主存储部124读取的程序来对从主存储部124读取的数据执行规定运算处理。
主存储部124优选与辅助存储部125相比高速地进行工作。主存储部124例如可以包括DRAM(Dynamic Random Access Memory：动态随机存取存储器)、SRAM(Static RandomAccess Memory：静态随机存取存储器)等。
辅助存储部125具有与主存储部124相比长期间储存数据及程序等的功能。辅助存储部125例如可以包括HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态驱动器)等。另外，辅助存储部125也可以包括ReRAM(Resistive Random Access Memory：电阻随机存取存储器，也称为阻变式存储器)、PRAM(Phase change Random Access Memory：相变随机存取存储器)、FeRAM(Ferroelectric Random Access Memory：铁电随机存取存储器)、MRAM(Magnetoresistive Random Access Memory：磁阻随机存取存储器，也称为磁阻式存储器)或快闪存储器等非易失性存储器。
通过本发明的一个方式的神经网络模型的学习取得的权重系数11及权重系数12储存在辅助存储部125中。权重系数11及权重系数12也可以储存在主存储部124中。
信息处理装置120例如可以设置在智能手机、平板终端、个人计算机等信息终端中。
注意，运算处理系统100的结构不局限于上述结构。例如，如图8B所示，运算处理系统100除了信息处理装置120之外还可以包括信息处理装置110。
信息处理装置110包括摄像部111、输出部112、运算部113、主存储部114、辅助存储部115及通信部116。信息处理装置110所包括的构成要素间的数据等可以通过传送通道117传送。
摄像部111具有进行摄像并取得图像数据的功能。可以将图3A所示的数据21视为该图像数据。输出部112具有供应信息的功能。
运算部113具有进行运算处理的功能。运算部113例如具有对从摄像部111、主存储部114、辅助存储部115、通信部116等通过传送通道117传送到运算部113的数据进行规定运算处理的功能。运算部113例如可以包括CPU及GPU等。
主存储部114具有储存数据及程序等的功能。运算部113可以读取主存储部114所储存的数据及程序等并执行运算处理。例如，运算部113可以通过执行从主存储部114读取的程序来对从主存储部114读取的数据执行规定运算处理。
主存储部114优选与辅助存储部115相比高速地进行工作。主存储部114例如可以包括DRAM、SRAM等。
辅助存储部115具有与主存储部114相比长期间储存数据及程序等的功能。辅助存储部115例如可以包括HDD或SSD等。另外，辅助存储部115也可以包括ReRAM、PRAM、FeRAM、MRAM或快闪存储器等非易失性存储器。
通过本发明的一个方式的神经网络模型的学习取得的权重系数11及权重系数12储存在辅助存储部115中。权重系数11及权重系数12也可以储存在主存储部114中。
通信部116具有与设置在信息处理装置110的外部的装置等进行数据等的收发的功能。另外，通信部116可以具有向网络供应数据等的功能及从网络取得数据等的功能。
信息处理装置120包括摄像部121、输出部122、运算部123、主存储部124、辅助存储部125及通信部126。注意，关于信息处理装置120及信息处理装置120所包括的构成要素的说明，可以参照上述说明。
通信部126具有与设置在信息处理装置120的外部的装置等进行数据等的收发的功能。另外，通信部126可以具有向网络供应数据等的功能及从网络取得数据等的功能。
运算部123例如具有对从摄像部121、主存储部124、辅助存储部125、通信部126等通过传送通道127传送到运算部123的数据进行规定运算处理的功能。
在此，当将本发明的一个方式的神经网络模型用于运算部113及运算部123时，例如运算部113可以进行学习来取得权重系数11及权重系数12，可以将其从信息处理装置110提供给信息处理装置120。由此，即使设置在信息处理装置120中的运算部123不进行学习，也可以基于运算部113所取得的权重系数11及权重系数12由神经网络模型对输入到运算部123的数据进行运算处理。因此，可以使运算部123的运算处理能力低于运算部113。
在运算部113取得权重系数11及权重系数12并将其从信息处理装置110提供给信息处理装置120的情况下，信息处理装置110例如可以设置在服务器中。注意，当将信息处理装置110设置在服务器中时，也可以不将摄像部111及输出部112设置在信息处理装置110中。就是说，也可以将摄像部111及输出部112设置在信息处理装置110的外部。
另外，如上所述，信息处理装置120例如可以设置在智能手机、平板终端、个人计算机等信息终端中。另外，也可以将信息处理装置110的构成要素的至少一部分和信息处理装置120的构成要素的至少一部分都设置在服务器中。例如，也可以将运算部113和运算部123设置在服务器中。此时，例如将信息终端所取得的数据通过网络提供给运算部123，设置在服务器中的运算部123对该数据进行估计等。并且，将估计结果通过网络提供给信息终端，由此信息终端可以取得估计结果。
在运算处理系统100具有图8B所示的结构，且运算部113进行学习来取得权重系数11及权重系数12时，可以不由摄像部111取得图3A所示的数据21。例如，也可以由摄像部121进行摄像来取得被用作数据21的图像数据，将其从信息处理装置120提供给信息处理装置110。此时，在信息处理装置110中也可以不设置摄像部111。
<摄像部的结构例子>
图9是说明摄像部111及摄像部121的结构例子的方框图。该摄像部包括像素阵列300、电路201、电路301、电路302、电路303、电路304、电路305及电路306。注意，电路201及电路301至电路306不局限于由单个电路构成，有时由多个电路的组合构成。或者，也可以统合上述任意多个电路。另外，也可以连接有上述以外的电路。另外，电路201、电路301、电路302、电路303、电路304、电路305及电路306也可以设置在运算部113或运算部123中。
像素阵列300具有摄像功能及运算功能。电路201、301具有运算功能。电路302具有运算功能或数据转换功能。电路303、304、306具有选择功能。电路303通过布线424与像素块200电连接。电路304通过布线423与像素块200电连接。电路305具有对像素提供积和运算用电位的功能。具有选择功能的电路可以使用移位寄存器或译码器等。电路306通过布线413与像素块200电连接。另外，电路301、302也可以设置在外部。
像素阵列300包括多个像素块200。像素块200如图10所示包括配置为矩阵状的多个像素400，各像素400通过布线412与电路201电连接。注意，电路201也可以设置在像素块200内。
另外，像素400与相邻的像素400通过晶体管450(晶体管450a至450f)电连接。将在后面说明晶体管450的功能。
像素400可以取得图像数据，并可以生成将图像数据与权重系数相加而得的数据。注意，图10中作为一个例子示出像素块200所具有的像素数为3×3，但是不局限于此。例如，可以为2×2、4×4等。或者，水平方向与垂直方向的像素数也可以不同。另外，也可以使相邻的像素共有部分像素。
像素块200及电路201可以用作积和运算电路。
像素400如图11所示可以包括光电转换器件401、晶体管402、晶体管403、晶体管404、晶体管405、晶体管406及电容器407。
光电转换器件401的一个电极与晶体管402的源极和漏极中的一个电连接。晶体管402的源极和漏极中的另一个与晶体管403的源极和漏极中的一个、晶体管404的栅极及电容器407的一个电极电连接。晶体管404的源极和漏极中的一个与晶体管405的源极和漏极中的一个电连接。电容器407的另一个电极与晶体管406的源极和漏极中的一个电连接。
光电转换器件401的另一个电极与布线414电连接。晶体管403的源极和漏极中的另一个与布线415电连接。晶体管405的源极和漏极中的另一个与布线412电连接。晶体管404的源极和漏极中的另一个与GND布线等电连接。晶体管406的源极和漏极中的另一个与布线411电连接。电容器407的另一个电极与布线417电连接。
晶体管402的栅极与布线421电连接。晶体管403的栅极与布线422电连接。晶体管405的栅极与布线423电连接。晶体管406的栅极与布线424电连接。
在此，将晶体管402的源极和漏极中的另一个、晶体管403的源极和漏极中的一个、电容器407的一个电极及晶体管404的栅极电连接的点记作节点FD。另外，将电容器407的另一个电极及晶体管406的源极和漏极中的一个电连接的点记作节点FDW。
布线414、415可以用作电源线。例如，布线414可以用作高电位电源线，布线415可以用作低电位电源线。布线421、422、423、424可以用作控制各晶体管的导通的信号线。布线411可以用作对像素400提供相当于权重系数的电位的布线。布线412可以用作使像素400与电路201电连接的布线。布线417可以用作通过晶体管450使该像素的电容器407的另一个电极与其他像素的电容器407的另一个电极电连接的布线(参照图10)。
另外，布线412也可以与放大电路或增益可调电路电连接。
作为光电转换器件401可以使用光电二极管。对光电二极管的类型没有限制，可以使用光电转换层中含有硅的Si光电二极管及光电转换层含有有机光导电膜的有机光电二极管等。注意，当想要提高低照度时的光检测灵敏度时，优选使用雪崩光电二极管。
晶体管402能够具有控制节点FD的电位的功能。晶体管403能够具有使节点FD的电位初始化的功能。晶体管404能够具有根据节点FD的电位控制流过电路201的电流的功能。晶体管405能够具有选择像素的功能。晶体管406能够具有对节点FDW提供相当于权重系数的电位。
在作为光电转换器件401使用雪崩光电二极管时有时施加高电压，作为与光电转换器件401连接的晶体管优选使用高耐压的晶体管。作为该高耐压的晶体管，例如可以使用在沟道形成区域中使用金属氧化物的晶体管(以下，OS晶体管)等。具体而言，作为晶体管402，优选使用OS晶体管。
另外，OS晶体管还具有关态电流极低的特性。通过作为晶体管402、403、406使用OS晶体管，可以使节点FD及节点FDW能够保持电荷的期间极长。因此，可以采用在所有的像素中同时进行电荷储存工作的全局快门方式而无需采用复杂的电路结构或工作方式。另外，也可以在将图像数据保持在节点FD的同时进行用该图像数据的多次运算。
另一方面，有时优选晶体管404的放大特性良好。另外，晶体管406有时优选使用能够高速工作的迁移率高的晶体管。由此，作为晶体管404、406可以使用将硅用于沟道形成区域的晶体管(以下称为Si晶体管)。
注意，不局限于上述，也可以任意组合OS晶体管及Si晶体管而使用。另外，也可以作为所有晶体管都使用OS晶体管。或者，所有晶体管也都可以使用Si晶体管。作为Si晶体管，可以举出含有非晶硅的晶体管、含有结晶硅(微晶硅、低温多晶硅、单晶硅)的晶体管等。
像素400中的节点FD的电位根据将由布线415提供的复位电位以及因光电转换器件401的光电转换而生成的电位(图像数据)相加而得的电位决定。或者，由布线411提供的相当于权重系数的电位被电容耦合而决定。因此，相当于将图像数据与任意权重系数相加而得到的数据的电流可以流过晶体管405。
注意，以上是像素400的电路结构的一个例子，在采用其他电路结构的情况下也可以进行光电转换工作。
如图10所示，各像素400通过布线412彼此电连接。电路201可以利用各像素400的晶体管404中流过的电流之和进行运算。
电路201包括电容器202、晶体管203、晶体管204、晶体管205、晶体管206和电阻器207。
电容器202的一个电极与晶体管203的源极和漏极中的一个电连接。晶体管203的源极和漏极中的一个与晶体管204的栅极电连接。晶体管204的源极和漏极中的一个与晶体管205的源极和漏极中的一个电连接。晶体管205的源极和漏极中的一个与晶体管206的源极和漏极中的一个电连接。电阻器207的一个电极与电容器202的另一个电极电连接。
电容器202的另一个电极与布线412电连接。晶体管203的源极和漏极中的另一个与布线218电连接。晶体管204的源极和漏极中的另一个与布线219电连接。晶体管205的源极和漏极中的另一个与GND布线等基准电源线电连接。晶体管206的源极和漏极中的另一个与布线212电连接。电阻器207的另一个电极与布线217电连接。
布线217、218、219可以用作电源线。例如，布线218可以用作提供读出专用电位的布线。布线217、219可以用作高电位电源线。布线213、215、216可以用作控制各晶体管的导通的信号线。布线212为输出线，例如，可以与图9所示的电路301电连接。
晶体管203可以具有将布线211的电位复位到布线218的电位的功能。布线211是与电容器202的一个电极、晶体管203的源极和漏极中的一个及晶体管204的栅极连接的布线。晶体管204、205可以具有作为源极跟随器电路的功能。晶体管206可以具有控制读出的功能。另外，电路201也可以用作相关双采样电路(CDS电路)，也可以换用具有该功能的其他结构的电路。
在本发明的一个方式中，去除图像数据(X)与权重系数(W)的积以外的偏置成分，提取想要的WX。WX可以利用同一像素的进行了摄像的数据、没有进行摄像的数据以及分别对其加权的数据来算出。
进行了摄像时流过像素400的电流(Ip)总和为kΣ(X-Vth)2，加权时流过像素400的电流(Ip)总和为kΣ(W+X-Vth)2。另外，没有进行摄像时流过像素400的电流(Iref)总和为kΣ(0-Vth)2，加权时流过像素400的电流(Iref)总和为kΣ(W-Vth)2。在此，k为常数，Vth为晶体管405的阈值电压。
首先，算出进行了摄像的数据与对该数据进行了加权的数据之差分(数据A)。即，kΣ((X-Vth)2-(W+X-Vth)2)＝kΣ(-W2-2W·X+2W·Vth)。
接着，算出没有进行摄像的数据与对该数据进行了加权的数据之差分(数据B)。即，kΣ((0-Vth)2-(W-Vth)2)＝kΣ(-W2+2W·Vth)。
然后，获取数据A与数据B的差分。即，kΣ(-W2-2W·X+2W·Vth-(-W2+2W·Vth))＝kΣ(-2W·X)。也就是说，可以去除图像数据(X)与权重系数(W)的积以外的偏置成分。
电路201可以读出数据A及数据B。数据A与数据B的差分运算例如可以利用电路301进行。
在此，提供给像素块200整体的权重被用作滤波器。作为该滤波器，例如可以使用卷积神经网络(CNN)的卷积滤波器。或者，可以使用边缘提取滤波器等图像处理滤波器。作为边缘提取滤波器的一个例子，例如可以举出图12A所示的拉普拉斯滤波器、图12B所示的Prewitt滤波器、图12C所示的Sobel滤波器等。
当像素块200中的像素400的数量为3×3时，可以将上述边缘提取滤波器的要素作为权重分配给各像素400而供应。如上所述，为了计算出数据A及数据B，可以使用进行了摄像的数据、没有进行摄像的数据以及分别对其加权的数据。在此，进行了摄像的数据、没有进行摄像的数据是没有加权的数据，可以将其换称为对所有的像素400附加了权重0的数据。
在图12A至图12C中例示出的边缘提取滤波器是滤波器的要素(权重：ΔW)之和(ΣΔW/N，N是要素的数量)为0的滤波器。因此，只要进行取得ΣΔW/N的工作而不重新进行从其他电路提供ΔW＝0的工作，就可以取得将所有的像素400与相当于ΔW＝0的值相加的数据。
该工作相当于使设置在像素400间的晶体管450(晶体管450a至450f)导通的工作(参照图10)。通过使晶体管450导通，各像素400的节点FDW都通过布线417短路。此时，再次分配储存在各像素400的节点FDW中的电荷，在使用图12A至图12C所例示出的边缘提取滤波器的情况下，节点FDW的电位(ΔW)为0或几乎0。因此，可以取得相加相当于ΔW＝0的值的数据。
注意，当通过从像素阵列300的外侧的电路提供电荷来改写权重(ΔW)时，由于距离较长的布线411的电容等而改写的完成需要一些时间。另一方面，像素块200是微小的区域，布线417的距离较短，其电容也小。因此，在储存在像素块200中的节点FDW的电荷的再次分配工作中，可以高速地改写权重(ΔW)。
在图10所示的像素块200中，示出晶体管450a至450f分别与互不相同的栅极线(布线413a至413f)电连接的结构。在该结构中，可以独立地控制晶体管450a至450f的导通，可以选择性地进行取得ΣΔW/N的工作。
例如，当使用图12B或图12C等所示的滤波器时，有初始被提供ΔW＝0的像素。在以ΣΔW/N＝0为前提的情况下，可以将被提供了ΔW＝0的像素从作为和的对象的像素排除。在排除该像素时，不需要提供用来使晶体管450a至450f的一部分工作的电位，因此可以抑制功耗。
电路201输出的积和运算结果的数据依次输入到电路301。电路301除了具有进行之前所述的数据A与数据B的差分的运算功能之外还可以具有各种各样的运算功能。例如，电路301可以采用与电路201同样的结构。或者，软件处理也可以替代电路301的功能。
另外，电路301也可以包括进行激活函数运算的电路。该电路例如可以使用比较器电路。比较器电路将对被输入的数据与设定的阈值进行比较的结果以二值数据的形式输出。也就是说，像素块200及电路301可以用作神经网络的部分要素。
电路301输出的数据被依次输入到电路302。电路302例如可以具有包括锁存电路及移位寄存器等的结构。通过采用该结构，可以进行并串转换，并可以将并行被输入的数据作为串行数据输出到布线311。
例如，假设将具有图1A或图1B所示的结构的神经网络模型10用于运算部113及运算部123，可以将布线311所输出的数据输入到层L_1。因此，层L_1可以为神经网络NN1的输入层。另外，当具有图1A或图1B所示的结构的神经网络模型10进行学习时，可以以布线311所输出的数据为图3A所示的数据21且以对数据21附加噪声而得的数据为数据22。该噪声例如可以为高斯噪声。由此，即使布线311所输出的数据包括噪声，也可以抑制该噪声导致用于运算部113及运算部123的神经网络模型的推论精度下降。
[像素的结构例子]
图13A是示出像素400的结构例子的图。像素400可以采用层561及层563的叠层结构。
层561包括光电转换器件401。光电转换器件401如图13B所示可以包括层565a和层565b。注意，根据情况也可以将层称为区域。
图13B所示的光电转换器件401是pn结型光电二极管，例如可以将p型半导体用于层565a，可以将n型半导体用于层565b。或者，可以将n型半导体用于层565a，可以将p型半导体用于层565b。
上述pn结型光电二极管典型地可以使用单晶硅形成。
另外，层561中的光电转换器件401可以如图13C所示地采用层566a、层566b、层566c和层566d的叠层。图13C所示的光电转换器件401是雪崩光电二极管的一个例子，层566a、层566d相当于电极，层566b、566c相当于光电转换部。
层566a优选为低电阻金属层等。例如，可以使用铝、钛、钨、钽、银或其叠层。
层566d优选使用对可见光具有高透光性的导电层。例如，可以使用铟氧化物、锡氧化物、锌氧化物、铟锡氧化物、镓锌氧化物、铟镓锌氧化物或石墨烯等。另外，可以省略层566d。
光电转换部的层566b、566c例如可以具有将硒类材料作为光电转换层的pn结型光电二极管的结构。优选的是，作为层566b使用p型半导体的硒类材料，作为层566c使用n型半导体的镓氧化物等。
使用硒类材料的光电转换器件具有对可见光具有高外部量子效率的特性。该光电转换器件可以利用雪崩倍增而增加相对于入射光的量的电子放大量。另外，硒类材料具有高光吸收系数，所以例如可以以薄膜制造光电转换层，因此使用硒类材料从制造的观点来看有利。硒类材料的薄膜可以通过真空蒸镀法或溅射法等形成。
作为硒类材料，可以使用单晶硒或多晶硒等结晶硒、非晶硒、铜、铟、硒的化合物(CIS)或者铜、铟、镓、硒的化合物(CIGS)等。
n型半导体优选由带隙宽且对可见光具有透光性的材料形成。例如，可以使用锌氧化物、镓氧化物、铟氧化物、锡氧化物或者上述物质混在一起的氧化物等。另外，这些材料也具有空穴注入阻挡层的功能，可以减少暗电流。
另外，层561中的光电转换器件401可以如图13D所示地采用层567a、层567b、层567c、层567d和层567e的叠层。图13D所示的光电转换器件401是有机光导电膜的一个例子，层567a为下部电极，层567e是具有透光性的上部电极，层567b、567c、567d相当于光电转换部。
光电转换部的层567b和层567d中的一个可以为空穴传输层。层567b和层567d中的另一个可以为电子传输层。另外，层567c可以为光电转换层。
作为空穴传输层，例如可以使用氧化钼等。作为电子传输层，例如可以使用C60、C70等富勒烯或其衍生物等。
作为光电转换层，可以使用n型有机半导体和p型有机半导体的混合层(本体异质结结构)。
图13A所示的层563例如包括硅衬底。在该硅衬底中设置Si晶体管等。可以使用该Si晶体管形成像素400。另外，可以形成图9所示的电路201及电路301至电路306。
接着，参照截面图对摄像装置的叠层结构进行说明。注意，以下所示的绝缘层及导电层等构成要素只是一个例子，也可以含有其他的构成要素。或者，也可以省略以下所示的构成要素的一部分。另外，以下所示的叠层结构可以根据需要利用贴合工序、抛光工序等形成。
具有图14所示的结构的摄像装置包括层560、层561及层563。在图14中，作为设置在层563中的构成要素示出晶体管402及晶体管403，但是也可以将晶体管404至晶体管406等其他构成要素也可以设置在层563中。
层563中设置有硅衬底632、绝缘层633、绝缘层634、绝缘层635及绝缘层637。另外，设置有导电层636。
绝缘层634、绝缘层635及绝缘层637被用作层间绝缘膜及平坦化膜。绝缘层633被用作保护膜。导电层636与图11所示的布线414电连接。
作为层间绝缘膜及平坦化膜，例如可以使用氧化硅膜等无机绝缘膜、丙烯酸树脂、聚酰亚胺树脂等有机绝缘膜。作为保护膜，例如可以使用氮化硅膜、氧化硅膜、氧化铝膜等。
作为导电层，适当地选择选自铝、铬、铜、银、金、铂、钽、镍、钛、钼、钨、铪、钒、铌、锰、镁、锆、铍、铟、钌、铱、锶和镧等中的金属元素、以上述金属元素为成分的合金或者组合上述金属元素的合金等而使用即可。该导电体既可以为单层又可以为由不同材料构成的多个层。
图14所示的Si晶体管是在硅衬底中具有沟道形成区域的鳍型晶体管。图15A示出沟道宽度方向的截面(图14的层563的A1-A2截面)。另外，Si晶体管也可以是图15B所示的平面型晶体管。
或者，如图15C所示，也可以采用包括硅薄膜的半导体层545的晶体管。例如，半导体层545可以使用在硅衬底632上的绝缘层546上形成的单晶硅(SOI(Silicon onInsulator：绝缘体上硅))。
层561设置有光电转换器件401。光电转换器件401可以形成在层563上。在图14中，示出作为光电转换器件401将图13D所示的有机光导电膜用作光电转换层的结构。这里，层567a为阴极，层567e为阳极。
层561中设置有绝缘层651、652、653、654及导电层655。
绝缘层651、653、654用作层间绝缘膜及平坦化膜。另外，绝缘层654以覆盖光电转换器件401的端部的方式设置而具有防止层567e和层567a之间发生短路的功能。绝缘层652用作元件分离层。元件分离层优选使用有机绝缘膜等。
相当于光电转换器件401的阴极的层567a与层563中的晶体管402的源极和漏极中的一个电连接。相当于光电转换器件401的阳极的层567e通过导电层655与设置在层563中的导电层636电连接。
层560形成在层561上。层560包括遮光层671、光学转换层672及微透镜阵列673。
遮光层671可以抑制光进入相邻的像素中。作为遮光层671可以使用铝、钨等的金属层。另外，也可以层叠该金属层与具有作为反射防止膜的功能的介电膜。
作为光学转换层672可以使用滤色片。通过按每个像素将(红色)、G(绿色)、B(蓝色)、Y(黄色)、C(青色)和M(品红色)等颜色分配给各滤色片，可以获得彩色图像。另外，在作为光学转换层672使用波长截止滤波器时，可以实现能够获得各种波长区域的图像的摄像装置。
例如，当作为光学转换层672使用阻挡可见光线的波长以下的光的红外滤光片时，可以得到红外线摄像装置。另外，通过作为光学转换层672使用阻挡近红外线的波长以下的光的滤光片，可以得到远红外线摄像装置。另外，通过作为光学转换层672使用阻挡可见光线的波长以上的光的紫外滤光片，可以得到紫外线摄像装置。
另外，通过将闪烁体用于光学转换层672，可以得到用于X射线摄像装置等的获得使辐射强度可视化的图像的摄像装置。当透过摄像对象的X射线等辐射入射到闪烁体时，由于光致发光现象而转换为可见光线或紫外光线等的光(荧光)。通过由光电转换器件401检测该光来获得图像数据。此外，也可以将该结构的摄像装置用于辐射探测器等。
闪烁体含有如下物质：当被照射X射线或伽马射线等辐射时吸收辐射的能量而发射可见光或紫外线的物质。例如，可以使用将Gd2O2S：Tb、Gd2O2S：Pr、Gd2O2S：Eu、BaFCl：Eu、NaI、CsI、CaF2、BaF2、CeF3、LiF、LiI、ZnO等分散到树脂或陶瓷中的材料。
在光学转换层672上设置微透镜阵列673。透过微透镜阵列673所包括的各透镜的光穿过正下方的光学转换层672而照射到光电转换器件401。通过设置微透镜阵列673，可以将所集聚的光入射到光电转换器件401，所以可以高效地进行光电转换。微透镜阵列673优选由对摄像对象的波长的光具有高透光性的树脂或玻璃等形成。
图16是图14所示的叠层结构的变形例子，层561中的光电转换器件401的结构以及层563的部分结构不同。在图16所示的结构中，层561与层563间也有贴合面。
层561包括光电转换器件401、绝缘层661、662、664、665及导电层685、686。
光电转换器件401是形成在硅衬底上的pn结型光电二极管，包括相当于p型区域的层565b及相当于n型区域的层565a。光电转换器件401是嵌入式光电二极管，通过设置在层565a的表面一侧(取出电流侧)的较薄的p型区域(层565b的一部分)抑制暗电流，从而减少噪声。
绝缘层661以及导电层685、686用作贴合层。绝缘层662用作层间绝缘膜及平坦化膜。绝缘层664用作元件分离层。绝缘层665具有抑制载流子的流出的功能。
硅衬底中设置有使像素分离的槽，绝缘层665设置在硅衬底顶面及该槽中。通过设置绝缘层665可以抑制光电转换器件401内产生的载流子流入到相邻的像素。另外，绝缘层665还具有抑制杂散光的侵入的功能。因此，利用绝缘层665可以抑制混色。另外，也可以在硅衬底的顶面与绝缘层665之间设置反射防止膜。
元件分离层可以利用LOCOS(LOCal Oxidation of Silicon：硅局部氧化)法形成。或者，也可以利用STI(Shallow Trench Isolation：浅沟槽隔离)法等形成。绝缘层665例如可以使用氧化硅、氮化硅等无机绝缘膜、聚酰亚胺、丙烯酸树脂等有机绝缘膜。另外，绝缘层665也可以采用多层结构。此外，也可以不设置元件分离层。
光电转换器件401的层565a(n型区域，相当于阴极)与导电层685电连接。层565b(p型区域，相当于阳极)与导电层686电连接。导电层685、686具有嵌入绝缘层661中的区域。另外，绝缘层661及导电层685、686的表面以高度一致的方式被平坦化。
在层563中绝缘层637上形成有绝缘层638。此外，形成有与晶体管402的源极和漏极中的一个电连接的导电层683及与导电层636电连接的导电层684。
绝缘层638及导电层683、684用作贴合层。导电层683、684具有嵌入绝缘层638中的区域。另外，绝缘层638及导电层683、684的表面以高度一致的方式被平坦化。
在此，导电层683及导电层685优选使用主要成分同一的金属元素形成，导电层684及导电层686优选使用主要成分同一的金属元素形成。另外，绝缘层638及绝缘层661的主要成分优选同一。
例如，作为导电层683至686可以使用Cu、Al、Sn、Zn、W、Ag、Pt或Au等。从接合的容易性的观点来看，特别优选使用Cu、Al、W或Au。另外，绝缘层638、661可以使用氧化硅、氧氮化硅、氮氧化硅、氮化硅、氮化钛等。
换言之，优选的是，作为导电层683至导电层686使用上述金属材料中的相同金属材料。另外，优选的是，作为绝缘层638及绝缘层661使用上述绝缘材料中的相同绝缘材料。通过采用上述结构，可以进行以层563和层561的边界为接合位置的贴合。
注意，导电层683至导电层686也可以具有多个层的多层结构，此时表面层(接合面)使用相同金属材料即可。另外，绝缘层638及绝缘层661也可以具有多个层的多层结构，此时表面层(接合面)使用相同绝缘材料即可。
通过进行该贴合，可以使导电层683与导电层685电连接，并且可以使导电层684与导电层686电连接。另外，可以以足够的机械强度使绝缘层661及绝缘层638连接。
当接合金属层时，可以利用表面活化接合法。在该方法中，通过溅射处理等去除表面的氧化膜及杂质吸附层等并使清洁化且活化了的表面接触而接合。或者，可以利用并用温度及压力使表面接合的扩散接合法等。上述方法都可以发生原子级的结合，因此可以获得电上和机械上都优异的接合。
另外，当接合绝缘层时，可以利用亲水性接合法等。在该方法中，在通过抛光等获得高平坦性之后，使利用氧等离子体等进行过亲水性处理的表面接触而暂时接合，利用热处理进行脱水，由此进行正式接合。亲水性接合法也发生原子级的结合，因此可以获得机械上优异的接合。
在贴合层563与层561的情况下，由于在各接合面金属层与绝缘层是混在一起的，所以，例如，组合表面活化接合法及亲水性接合法即可。
例如，可以采用在进行抛光之后使表面清洁化，对金属层的表面进行防氧处理，然后进行亲水性处理来进行接合的方法等。另外，也可以作为金属层的表面使用Au等难氧化性金属，进行亲水性处理。另外，也可以使用上述以外的接合方法。
通过上述贴合可以使层563中的构成要素与层561中的构成要素电连接。
图17是图16所示的叠层结构的变形例子，层561及层563的部分结构不同。
该变形例子具有将像素400中的晶体管402设置在层561中的结构。在层561中，晶体管402使用Si晶体管形成。晶体管402的源极和漏极中的一个与光电转换器件401的一个电极直接连接。另外，晶体管402的源极和漏极中的另一个与节点FD电连接。
在图17所示的摄像装置中，层563设置有构成摄像装置的晶体管中的至少排除晶体管402的晶体管。在图17中，作为设置在层563中的构成要素，示出晶体管404及晶体管405，但是在层563中也可以设置晶体管403及晶体管406等其他构成要素。另外，在图17所示的摄像装置的层563中，设置有绝缘层635和绝缘层637之间的绝缘层647。绝缘层647被用作层间绝缘膜及平坦化膜。
[符号说明]
10：神经网络模型、10a：神经网络模型、21：数据、22：数据、23：数据、24：数据、25：数据集、26：数据、27：数据集、28：数据、29：数据集、34：特征图、35：特征图集、36：特征图、37：特征图集、41：数据、42：数据集、43：输出数据、44：数据集、45：数据、46：数据、100：运算处理系统、110：信息处理装置、111：摄像部、112：输出部、113：运算部、114：主存储部、115：辅助存储部、116：通信部、117：传送通道、120：信息处理装置、121：摄像部、122：输出部、123：运算部、124：主存储部、125：辅助存储部、126：通信部、127：传送通道、200：像素块、201：电路、202：电容器、203：晶体管、204：晶体管、205：晶体管、206：晶体管、207：电阻、211：布线、212：布线、213：布线、215：布线、216：布线、217：布线、218：布线、219：布线、300：像素阵列、301：电路、302：电路、303：电路、304：电路、305：电路、306：电路、311：布线、400：像素、401：光电转换器件、402：晶体管、403：晶体管、404：晶体管、405：晶体管、406：晶体管、407：电容器、411：布线、412：布线、413：布线、414：布线、415：布线、417：布线、421：布线、422：布线、423：布线、424：布线、450：晶体管、545：半导体层、546：绝缘层、560：层、561：层、563：层、565a：层、565b：层、566a：层、566b：层、566c：层、566d：层、567a：层、567b：层、567c：层、567d：层、567e：层、632：硅衬底、633：绝缘层、634：绝缘层、635：绝缘层、636：导电层、637：绝缘层、638：绝缘层、647：绝缘层、651：绝缘层、652：绝缘层、653：绝缘层、654：绝缘层、655：导电层、661：绝缘层、662：绝缘层、664：绝缘层、665：绝缘层、671：遮光层、672：光学转换层、673：微透镜阵列、683：导电层、684：导电层、685：导电层、686：导电层。

Claims (10)

1.一种神经网络模型，包括：
第一神经网络；以及
第二神经网络，
其中，所述第一神经网络包括第一层、第二层及第三层，
将所述第一层所输出的特征图输入到所述第二层及所述第二神经网络，
将所述第二神经网络所输出的特征图输入到所述第三层，
并且，以在将第一数据输入到所述第一神经网络时所述第一层所输出的特征图为正确的特征图，以在将噪声附加到所述第一数据而得的第二数据输入到所述第一神经网络时所述第一层所输出的特征图为学习特征图，通过第一学习所述第二神经网络进行了学习以使在将所述学习特征图输入到所述第二神经网络时所述第二神经网络所输出的特征图与所述正确的特征图一致。
2.根据权利要求1所述的神经网络模型，
其中所述第二神经网络的权重系数通过将用于取得初始值的数据输入到所述第一神经网络来取得所述第一神经网络的权重系数的初始值，然后通过所述第一学习来取得。
3.根据权利要求2所述的神经网络模型，
其中所述第一神经网络的权重系数通过在取得所述第二神经网络的权重系数将所述第二数据输入到所述第一神经网络来进行的第二学习取得。
4.根据权利要求1至3中任一项所述的神经网络模型，
其中所述第一神经网络包括第四层、第五层及第六层，
将所述第四层所输出的特征图输入到所述第五层及与所述第四层跳跃连接的所述第六层，
所述第四层比所述第一层靠近所述第一神经网络的输出层，
并且所述第三层比所述第六层靠近所述第一神经网络的输出层。
5.一种神经网络模型，包括：
第一神经网络；以及
第二神经网络，
其中，所述第一神经网络包括第一层、第二层、第三层及第四层，
按所述第四层、所述第三层、所述第二层、所述第一层的顺序靠近所述第一神经网络的输出层，
将所述第一层所输出的特征图输入到所述第二层及所述第二神经网络，
将所述第三层所输出的特征图及所述第二神经网络所输出的特征图输入到所述第四层，
并且，以在将第一数据输入到所述第一神经网络时所述第一层所输出的特征图为正确的特征图，以在将噪声附加到所述第一数据而得的第二数据输入到所述第一神经网络时所述第一层所输出的特征图为学习特征图，通过第一学习所述第二神经网络进行了学习以使在将所述学习特征图输入到所述第二神经网络时所述第二神经网络所输出的特征图与所述正确的特征图一致。
6.根据权利要求5所述的神经网络模型，
其中所述第二神经网络的权重系数通过将用于取得初始值的数据输入到所述第一神经网络来取得所述第一神经网络的权重系数的初始值，然后通过所述第一学习来取得。
7.根据权利要求6所述的神经网络模型，
其中所述第一神经网络的权重系数通过在取得所述第二神经网络的权重系数将所述第二数据输入到所述第一神经网络来进行的第二学习取得。
8.根据权利要求5至7中任一项所述的神经网络模型，
其中所述第一神经网络模型包括第五层、第六层及第七层，
将所述第五层所输出的特征图输入到所述第六层及与所述第五层跳跃连接的所述第七层，
所述第五层比所述第一层靠近所述第一神经网络的输出层，
并且所述第四层比所述第七层靠近所述第一神经网络的输出层。
9.一种神经网络模型的学习方法，
其中，所述神经网络模型包括第一神经网络及第二神经网络，
其中所述第一神经网络包括第一层、第二层及第三层，
将所述第一层所输出的特征图输入到所述第二层及所述第二神经网络，
并且将所述第二神经网络所输出的特征图输入到所述第三层，
并且，所述神经网络模型的学习方法包括如下步骤：
第一步骤，其中通过将用于取得初始值的数据输入到所述第一神经网络，来取得所述第一神经网络的权重系数的初始值；
第二步骤，其中以在将第一数据输入到所述第一神经网络时所述第一层所输出的特征图为正确的特征图，以在将噪声附加到所述第一数据而得的第二数据输入到所述第一神经网络时所述第一层所输出的特征图为学习特征图，进行第一学习以使在将所述学习特征图输入到所述第二神经网络时所述第二神经网络所输出的特征图与所述正确的特征图一致，由此取得所述第二神经网络的权重系数；
第三步骤，其中通过将所述第二数据输入到所述第一神经网络进行第二学习，来取得所述第一神经网络的权重系数；以及
第四步骤，其中将测试数据输入到所述第一神经网络，根据所述第一神经网络所输出的输出数据评价所述神经网络模型的推论精度，
其中直到所述推论精度到达规定值以上为止进行所述第二至第四步骤。
10.根据权利要求9所述的神经网络模型的学习方法，
其中所述第一神经网络包括第四层、第五层及第六层，
将所述第四层所输出的特征图输入到所述第五层及与所述第四层跳跃连接的所述第六层，
所述第四层比所述第一层靠近所述第一神经网络的输出层，并且所述第三层比所述第六层靠近所述第一神经网络的输出层。
CN202080090652.2A 2019-12-27 2020-12-14 神经网络模型及其学习方法 Pending CN114846477A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-238931 2019-12-27
JP2019238931 2019-12-27
PCT/IB2020/061875 WO2021130594A1 (ja) 2019-12-27 2020-12-14 ニューラルネットワークモデル、及びその学習方法

Publications (1)

Publication Number Publication Date
CN114846477A true CN114846477A (zh) 2022-08-02

Family

ID=76575741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080090652.2A Pending CN114846477A (zh) 2019-12-27 2020-12-14 神经网络模型及其学习方法

Country Status (4)

Country Link
US (1) US20230024698A1 (zh)
KR (1) KR20220122671A (zh)
CN (1) CN114846477A (zh)
WO (1) WO2021130594A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941739B1 (en) * 2021-01-05 2024-03-26 Pixar Object deformation network system and method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395147B2 (en) 2017-10-30 2019-08-27 Rakuten, Inc. Method and apparatus for improved segmentation and recognition of images
JP2020057172A (ja) * 2018-10-01 2020-04-09 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習装置、推論装置及び学習済みモデル

Also Published As

Publication number Publication date
US20230024698A1 (en) 2023-01-26
KR20220122671A (ko) 2022-09-02
WO2021130594A1 (ja) 2021-07-01
JPWO2021130594A1 (zh) 2021-07-01

Similar Documents

Publication Publication Date Title
TWI758307B (zh) 攝像裝置及包括攝像裝置的晶片
CN110870299B (zh) 摄像装置及电子设备
JP2023129625A (ja) 撮像装置
JP7217227B2 (ja) 撮像装置、及び電子機器
US11991438B2 (en) Imaging device and electronic device
KR20220003568A (ko) 촬상 장치, 그 동작 방법, 및 전자 기기
WO2021130594A1 (ja) ニューラルネットワークモデル、及びその学習方法
US20220292332A1 (en) System
KR20220051350A (ko) 촬상 장치 및 전자 기기
JP2019004358A (ja) 撮像装置および撮像システム
WO2018234925A1 (ja) 撮像装置
US12041366B2 (en) Imaging device and electronic device
KR20220020259A (ko) 촬상 장치 및 전자 기기
WO2021214616A1 (ja) 撮像装置
KR20220043138A (ko) 촬상 장치 또는 촬상 시스템
KR20220142457A (ko) 촬상 장치, 전자 기기, 및 이동체
JP2018164139A (ja) 撮像装置および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination