CN110889803A - 信息处理方法、信息处理装置及记录介质 - Google Patents

信息处理方法、信息处理装置及记录介质 Download PDF

Info

Publication number
CN110889803A
CN110889803A CN201910830394.6A CN201910830394A CN110889803A CN 110889803 A CN110889803 A CN 110889803A CN 201910830394 A CN201910830394 A CN 201910830394A CN 110889803 A CN110889803 A CN 110889803A
Authority
CN
China
Prior art keywords
data
image
noise
sensed data
sensed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910830394.6A
Other languages
English (en)
Inventor
S·阿莱图
L·里加齐奥
筑泽宗太郎
石井育规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019041037A external-priority patent/JP7212554B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN110889803A publication Critical patent/CN110889803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供信息处理方法、信息处理装置及记录介质。通过训练而得到作为包含多个种类的噪声的传感数据的转换的结果而输出该多个种类的噪声被减轻的传感数据的单一的机器学习模型。计算机取得包含噪声的第一传感数据；将第一传感数据输入至单一的转换器，取得作为由转换器对于第一传感数据的噪声去除处理的结果而从转换器输出的第二传感数据；取得与第一传感数据相同或对应的场面中的不包含噪声并且与第二传感数据不同的第三传感数据；取得第二传感数据的特征信息及第三传感数据的特征信息；及通过使用第二传感数据及其特征信息作为转换数据，使用第三传感数据及其特征信息作为与转换数据对应的参考数据的机器学习而对转换器进行训练。

Description

信息处理方法、信息处理装置及记录介质
技术领域
本公开涉及信息处理方法、信息处理装置及记录了程序的记录介质。
背景技术
作为在去除多样的场景的图像的噪声中适用了有教师机器学习的技术，以往已知基于使用了蒙特卡洛路径追踪的图像描绘的噪声去除的手法(参照专利文献1)。
现有技术文献
专利文献
专利文献1：美国专利申请公开第2018/0293713号说明书
发明内容
在上述的噪声去除的手法中使用的噪声消除器包含用于与多样的场景即多样的噪声对应的多个神经网络，所以需要许多计算量。因此，能够实用地执行该噪声消除器的环境受限。
本公开提供能够得到单一的机器学习模型的信息处理方法等，该单一的机器学习模型输出对包含多个种类的噪声的传感数据进行转换而得到的该多个种类的噪声整体被减轻的传感数据。
根据本公开的一个方式所涉及的信息处理方法，计算机取得包含噪声的第一传感数据；将所述第一传感数据输入至单一的转换器，取得作为所述转换器对于所述第一传感数据的噪声去除处理的结果而从所述转换器输出的第二传感数据；取得与所述第一传感数据相同或对应的场面中的不包含噪声并且与所述第二传感数据不同的第三传感数据；基于所述第二传感数据及所述第三传感数据，取得所述第二传感数据的特征信息及所述第三传感数据的特征信息；及通过下述机器学习对所述转换器进行训练，该机器学习使用所述第二传感数据和所述第二传感数据的特征信息作为转换数据，且使用所述第三传感数据和所述第三传感数据的特征信息作为与所述转换数据对应的参考数据。
此外，本公开的一个方式所涉及的信息处理装置具备：处理器及存储器，所述存储器存储单一的转换器，所述处理器构成为：取得由摄像装置生成的包含噪声的第一传感数据；将所述第一传感数据输入至所述转换器，取得作为所述转换器对于所述第一传感数据的噪声去除处理的结果而从所述转换器输出的第二传感数据；及输出所取得的所述第二传感数据，所述转换器通过下述机器学习被训练，该机器学习使用所述第二传感数据和基于所述第二传感数据的所述第二传感数据的特征信息作为转换数据，且使用与所述第一传感数据相同或对应的场面中的不包含所述噪声并且与所述第二传感数据不同的第三传感数据、以及基于所述第三传感数据的所述第三传感数据的特征信息，作为与所述转换数据对应的参考数据。
此外，本公开的一个方式所涉及的记录介质是能够由具备处理器及存储器的计算机读取的非易失性的记录介质，记录了通过使用所述存储器而被所述处理器执行从而使所述计算机进行如下处理的计算机程序：取得由摄像装置生成的包含噪声的第一传感数据；将所述第一传感数据输入至在所述存储器中存储的单一的转换器，取得作为所述转换器对于所述第一传感数据的噪声去除处理的结果而从所述转换器输出的第二传感数据；及输出所取得的所述第二传感数据，所述转换器通过下述机器学习而被训练，该机器学习使用所述第二传感数据和基于所述第二传感数据的所述第二传感数据的特征信息作为转换数据，且使用与所述第一传感数据相同或对应的场面中的不包含所述噪声并且与所述第二传感数据不同的第三传感数据、以及基于所述第三传感数据的所述第三传感数据的特征信息，作为与所述转换数据对应的参考数据。
另外，概括或具体的这些方式也可以由系统、集成电路或计算机程序来实现，也可以由装置、系统、集成电路、方法、计算机程序及记录介质的任意的组合来实现。
发明效果
根据本公开所涉及的信息处理方法等，能够得到单一的机器学习模型，该单一的机器学习模型作为包含多个种类的噪声的传感数据的转换的结果而输出该多个种类的噪声整体被减轻的传感数据。
附图说明
图1是表示实施方式所涉及的一个信息处理装置的功能构成例的框图。
图2是表示构成在上述的信息处理装置中构建的GAN(生成式对抗网络(Generative Adversarial Network))的生成器及识别器的输入输出的概要的图。
图3是表示上述的信息处理装置中包含的特征提取部及第二转换结果比较部的输入输出的概要的图。
图4是表示为了由上述的信息处理装置对转换处理部进行训练而由上述的信息处理装置执行的信息处理方法的步骤例的流程图。
图5是表示实施方式所涉及的其他信息处理装置的功能构成例及功能构成要素间的输入输出的概要的图。
图6是表示为了从图像去除噪声而由上述的其他信息处理装置执行的信息处理方法的步骤例的流程图。
标号说明：
10、10A 信息处理装置(计算机)
20、20A 有噪声图像群
30 无噪声图像群
40 已转换图像群
110 图像读取部
120 转换处理部(转换器、生成器)
130 第一转换结果比较部(识别器)
140 特征提取部
150 第二转换结果比较部
160 转换参数更新部
190 转换结果输出部。
具体实施方式
(成为本公开的基础的知识和见识)
发明人们发现了关于上述的以往的手法，产生以下的问题。
包含不同的种类的噪声的图像还能够认为是上述的以往的手法中的种类不同的场景的图像。作为在此所说的噪声的种类的例子，可列举在暗处以高灵敏度设定而摄影的图像所表现的高斯噪声。此外作为其他的例子，可列举传感器的故障引起的像素丢失及过度曝光导致的变白。就种类不同的噪声而言，图像所表现的特性上的倾向相互不同，所以为了去除各种噪声而所需的图像处理也不同。例如对高斯噪声的去除来说，对于像素值的某种平滑化处理是有效的。对变白来说，有将在图像内特别明亮的部分的像素的明亮度使用色调曲线来降低从而能够抑制的技术。另外，这些是图像中可包含的噪声的种类的很小一部分。此外，因摄影环境、摄影器材的光学系统或者电路系统、或在压缩等数据处理中产生的各种原因而图像所表现的变黑、渐晕、色像差导致的色移、固定模式噪声、随机噪声、锯齿、抖动、块噪声、蚊式噪声也能包含于在本公开中用语噪声所指的对象。此外，在本公开中，畸变像差及对镜头的附着物等光学系统中的异物的映入也能包含于作为从图像去除的对象的噪声。进而，作为噪声而没有上述那样的特别的名称的伪影及这些噪声的复合物也能包含于作为本公开中的从图像去除的对象的噪声。若是以往的手法，为了将这样的各种噪声使用神经网络来去除，利用通过训练而针对特定的种类的噪声的多个神经网络的模型。
但是，对利用多个神经网络的模型的噪声去除的处理来说，作为整体而需要许多的计算。因此，若考虑处理速度或耗电，则能够实用地执行该处理的环境受限。例如，对于数码相机(在本公开中包含数码手提摄像机，以下也简称为相机)或智能手机等便携式信息终端等、处理器的处理能力或能够持续利用的电力有限的边缘设备等，难以实用地安装这样的以往的噪声消除器。
若对噪声的去除使用单一的神经网络，则能够抑制处理所需的计算量。但是，在得到与特性不同的多个种类的噪声对应的单一的模型时，在以往的机器学习的训练方法中，结果上有可能成为针对某一个种类的噪声的去除而特殊化的模型。也就是说在以以往的训练方法训练的单一的模型中，去除性能在噪声的种类间产生差异。因此，得到兼具关于各种噪声的去除所要求的性能的模型是困难的。有可能直至得到可利用的模型的训练所需的时间变得非常长，或不能完成训练，也就是说得不到所要求的性能的模型。
为了针对这样的通过基于机器学习的训练而得到的以图像的噪声去除为目的的模型实现计算负荷的抑制和噪声去除性能的稳定兼顾，在所提供的本公开的一个方式所涉及的信息处理方法中，计算机取得包含噪声的第一传感数据；将所述第一传感数据输入至单一的转换器，取得作为所述转换器对于所述第一传感数据的噪声去除处理的结果而从所述转换器输出的第二传感数据；取得与所述第一传感数据相同或对应的场面中的不包含噪声并且与所述第二传感数据不同的第三传感数据；基于所述第二传感数据及所述第三传感数据，取得所述第二传感数据的特征信息及所述第三传感数据的特征信息；及通过下述机器学习对所述转换器进行训练，该机器学习使用所述第二传感数据和所述第二传感数据的特征信息作为转换数据，且使用所述第三传感数据和所述第三传感数据的特征信息作为与所述转换数据对应的参考数据。
通过使用该方法，模型被训练以便将所输入的图像转换为更好地具备不包含噪声的图像的特征的图像。结果上，能够得到与所输入的图像中包含的噪声的种类无关而具有稳定的噪声去除性能的单一的模型。
此外，也可以是所述第二传感数据的特征信息通过对下述模型输入所述第二传感数据从而被取得，该模型通过机器学习被训练为若输入传感数据则输出该输入的传感数据的特征信息，所述第三传感数据的特征信息通过对所述模型输入所述第三传感数据从而被取得。
此外，也可以是所述模型是多层神经网络模型，所述第二传感数据的特征信息及所述第三传感数据的特征信息是所述模型的中间层的输出。
此外，也可以是所述中间层为多个层，所述第二传感数据的特征信息及所述第三传感数据的特征信息是来自所述多个层之中的相同层的输出。
此外，也可以是所述训练是所述转换器的参数的更新，所述转换器的参数的更新基于所述第二传感数据和所述第三传感数据之差、以及作为从所述多个层之中的相同层输出的输出的所述第二传感数据的特征信息和所述第三传感数据的特征信息之差。
此外，也可以是所述第二传感数据和所述第三传感数据之差通过对下述识别器输入所述第二传感数据和所述第三传感数据从而从所述识别器被输出，该识别器使用机器学习被训练为对所输入的传感数据是否是所述转换器的转换数据或是否是参考数据进行识别。
此外，传感数据也可以是从图像传感器输出的图像。
此外，本公开的一个方式所涉及的信息处理装置具备：处理器及存储器，所述存储器存储单一的转换器，所述处理器构成为：取得由摄像装置生成的包含噪声的第一传感数据；将所述第一传感数据输入至所述转换器，取得作为所述转换器对于所述第一传感数据的噪声去除处理的结果而从所述转换器输出的第二传感数据；及输出所取得的所述第二传感数据，所述转换器通过下述机器学习被训练，该机器学习使用所述第二传感数据和基于所述第二传感数据的所述第二传感数据的特征信息作为转换数据，且使用与所述第一传感数据相同或对应的场面中的不包含所述噪声并且与所述第二传感数据不同的第三传感数据、以及基于所述第三传感数据的所述第三传感数据的特征信息，作为与所述转换数据对应的参考数据。
通过该信息处理装置，图像中包含的噪声与其种类无关而以稳定的水平被去除。
此外，本公开的一个方式所涉及的记录介质是能够由具备处理器及存储器的计算机读取的非易失性的记录介质，记录了通过使用所述存储器而被所述处理器执行从而使所述计算机执行下述处理的程序：取得由摄像装置生成的包含噪声的第一传感数据；将所述第一传感数据输入至在所述存储器中存储的单一的转换器，取得作为所述转换器对于所述第一传感数据的噪声去除处理的结果而从所述转换器输出的第二传感数据；及输出所取得的所述第二传感数据，所述转换器通过下述机器学习被训练，该机器学习使用所述第二传感数据和基于所述第二传感数据的所述第二传感数据的特征信息作为转换数据，且使用与所述第一传感数据相同或对应的场面中的不包含所述噪声并且与所述第二传感数据不同的第三传感数据、以及基于所述第三传感数据的所述第三传感数据的特征信息，作为与所述转换数据对应的参考数据。
通过执行该程序的信息处理装置，图像中包含的噪声与其种类无关而以稳定的水平被去除。
另外，概括或具体的这些方式也可以由系统、集成电路或计算机程序来实现，也可以由装置、系统、集成电路、方法、计算机程序及记录介质的任意的组合来实现。
以下，关于本公开的一个方式所涉及的信息处理方法及信息处理装置的实施方式，参照附图进行说明。在此所示的实施方式表示本公开的一具体例。因此，以下的实施方式所示的数值、形状、构成要素、构成要素的配置及连接形态、以及步骤(工序)及步骤的顺序等是一例，并非限定本公开。此外，以下的实施方式中的构成要素之中的独立权利要求中没有记载的构成要素是能够任意地附加的构成要素。此外，各图是示意图，并非必须严密地被图示。
(实施方式)
在本公开中，关于噪声去除所涉及的技术的实施方式，分为训练阶段和推理阶段进行说明。本公开中的训练阶段是对执行对于包含噪声的图像的噪声去除的处理的机器学习模型进行训练的阶段。此外，本公开中的推理阶段是使用训练的结果得到的机器学习模型从包含噪声的图像推理不包含噪声的图像的阶段。
[1.训练阶段]
[1－1.构成]
图1是表示实施方式所涉及的信息处理装置的功能构成例的框图。本实施方式所涉及的信息处理装置10是执行对图像中包含的噪声进行去除的机器学习模型的训练的装置。
如图1所示，信息处理装置10具备图像读取部110、转换处理部120、第一转换结果比较部130、特征提取部140、第二转换结果比较部150及转换参数更新部160。
例如信息处理装置10也可以由具备处理器及存储器的1台计算机来实现。在该情况下，信息处理装置10的上述的构成要素例如也可以是处理器执行在存储器中存储的1个或多个程序从而实现的功能性的构成要素。此外，上述的构成要素之中转换处理部120、第一转换结果比较部130、特征提取部140及第二转换结果比较部150分别是机器学习模型，并且它们之中转换处理部120是对图像中包含的噪声进行去除的上述的训练的对象。关于各机器学习模型的训练在后面叙述。
图像读取部110接受包含噪声的图像(在本公开中也称为有噪声图像)的输入。例如有噪声图像也可以作为为了使信息处理装置10去除噪声而输入的图像，在记录介质中汇集多个。该记录介质也可以是信息处理装置10的构成要素之一。或者，该记录介质也可以是与信息处理装置10所具备的输入输出接口(无图示)连接的可拆卸的记录介质。或者，也可以是该输入输出接口为通信用接口，记录介质是与信息处理装置10以有线或无线的方式通信的其他的1台或多台计算机中使用的记录介质。在图1中，这样汇集的图像作为有噪声图像群20来表示。
有噪声图像群20中包含的图像都包含上述例示那样的各种噪声之中的至少1种类的噪声。图像读取部110接受输入的包含噪声的图像在以下也称为第一图像。例如第一图像是由相机等所具备的摄像装置(图像传感器)生成且因该摄像装置或摄影环境中的某种原因而包含噪声的图像。作为第一图像的其他的例子，可列举作为使用程序加工的结果而包含噪声的图像。在此的图像的加工是，无论加工前有无噪声，对图像进行导致像素值或像素数发生变更的处理，例如，进行图像的色调、明亮度或对比度的调整、浓淡度(灰度)转换、被摄体的追加、删除或变形、尺寸的扩大、缩小或压缩率的变更、格式的变更的处理。此外也可以基于将上述的噪声的某一个添加或伪再现于图像的目的来对图像施以加工。第一图像从图像读取部110被输入至转换处理部120。
转换处理部120是本实施方式中的信息处理装置10所具备的存储器中存储的转换器的一例，对从图像读取部110接受输入的第一图像执行用于噪声去除的转换处理(在本公开中也称为噪声去除处理)。转换处理部120是单一的机器学习模型，例如卷积神经网络的模型。
对第一图像执行了噪声去除处理的转换处理部120输出已转换图像(在以下也称为第二图像)作为该处理的结果。其中，训练阶段中的该第二图像依然可能包含噪声。例如，由于转换处理部120的噪声去除性能不充分，第一图像中包含的噪声有可能残留在第二图像中，或作为噪声去除处理的副作用而在第一图像中没有的噪声被添加至第二图像中。特别是在转换处理部120的训练之初，在第二图像中包含噪声的可能性高。此外，在第一图像和第二图像中，除了由于噪声而受损的部分，所映现的场面(被摄体及构图)共通。
另外，在转换处理部120的训练中，作为转换的结果而输出的第二图像的数据(在本公开中也称为转换数据)被用作训练(training)数据的一部分。
第一转换结果比较部130是通过与转换处理部120的组合而构成在信息处理装置10中构建的GAN(生成式对抗网络)的机器学习模型。在该GAN中，作为转换器的转换处理部120是生成器(Generator)，第一转换结果比较部130是识别器(Discriminator)。在图2中，表示转换处理部120及第一转换结果比较部130的输入输出的概要。
第一转换结果比较部130接受如上所述由转换处理部120输出的第二图像及作为不包含噪声的图像(在本公开中也称为无噪声图像)的第三图像的输入。
第三图像是映现出与第一图像相同或对应的场面的不包含噪声的图像，作为用于转换处理部120的训练的图像而被输入至信息处理装置10。例如第三图像也可以在记录介质中汇集多个，在图1及图2中，这样汇集的图像作为无噪声图像群30来表示。另外，汇集了第三图像的记录介质既可以与汇集了第一图像的记录介质相同，是信息处理装置10的构成要素之一，也可以是可拆卸的记录介质及其他的信息处理装置中使用的记录介质的任一个。
另外，在对原本不包含噪声的图像施以添加噪声的处理而准备第一图像的情况下，映现出与第一图像相同的场面的第三图像例如是该处理前的图像。若使用其他的表现，则映现出相同的场面的第一图像和第三图像是被摄体、构图等摄影条件共通的图像。在摄影条件中除了这些外，例如包含摄影的日期时间及场所。此外，使用器材以及其状态(condition)及设定也是摄影条件。此外，相反，也可以将原本包含多个种类的噪声的图像、和使用多个能够从该图像去除特定的种类的噪声的图像处理程序等去除多个种类的噪声而得到的图像分别利用作映现出相同的场面的第一图像、第三图像。
此外，映现出与第一图像对应的场面的第三图像是指，被摄体及构图与第一图像共通或类似，并且在其他摄影条件的至少一部分中存在差异而不包含噪声的图像。下记的(例1)至(例3)是能用作映现出对应的场面的第一图像及第三图像的图像的组合的具体例。若在(例1)至(例3)的各个中例示的多个图像中，有上述例示那样的包含噪声的图像和不包含噪声的图像，则能够分别利用作映现出对应的场面的第一图像、第三图像。
(例1)被摄体、场所、构图共通，改变ISO灵敏度而连续地摄影的多个图像。
(例2)被摄体、场所、构图共通，以不同的照明条件摄影的多个图像。例如以不同的照度或不同的光的照射方式(例：顺光和逆光)分别摄影的图像。在不同的时间段(例：刚日出后和正午)或不同的天气(例：晴天和阴天)下分别摄影的图像。
(例3)由立体相机同时摄影的一组的图像。在该情况下，考虑仅在由一方的镜头摄影的图像中映射到被摄体的光泽面的光源映照而产生变白的情形，或相机有故障而仅在由受到该故障影响的光学系统或处理电路摄影的一方的图像中包含噪声的情形。
此外，在运动图像中一次拍摄中包含的前后2帧的图像中，一方通过加工而去除噪声，另一方不去除，进而将在帧间不同的被摄体的位置使用运动信息而对齐的图像也能够利用作为映现出对应的场面的第一图像及第三图像。
此外，在被摄体及构图为共通或类似，并且其他摄影条件不同的多个图像的任一个都不包含噪声的情况下，也可以对某一个图像施以添加噪声的加工而设为第一图像，利用未加工的图像作为第三图像。
这样的第三图像的数据在信息处理装置10中的后面叙述的转换处理部120的训练中被用作参考数据的一部分。另外，在本公开中针对第三图像的数据，基于与作为通过映现出相同或对应的场面的第一图像的转换而得到的第二图像的数据的训练数据对应的数据之意，也称为正解数据或标签数据。
在这样准备的第一图像(有噪声图像)、第二图像(已转换图像)及第三图像(无噪声图像)之间，在噪声的有无多少、或是否是对于有噪声图像的转换处理的结果上不同，但在映现出相同或对应的场面之意上处于对应关系。因此，在作为第二图像的数据的转换数据(训练数据)和作为第三图像的数据的参考数据(正解数据或标签数据)之间也同样地处于对应关系。
若返回第一转换结果比较部130的说明，则关于所输入的各图像，识别是否是作为由转换处理部120进行的噪声去除处理的结果而输出的已转换图像。更具体而言，第一转换结果比较部130进行识别，将来源于无噪声图像群30的图像设为真类，将转换处理部120输出的已转换图像设为伪类。
然后，第一转换结果比较部130基于该识别的结果，计算已转换图像和与该已转换图像对应的无噪声图像之差。第二图像的噪声越少则第一转换结果比较部130计算的该差(在本公开中也称为第一误差)越小。也就是说，转换处理部120的噪声去除处理的性能通过训练越提高，则第一误差变得越小。所计算出的第一误差从第一转换结果比较部130被输入至转换参数更新部160。
另外，对于作为GAN的识别器的第一转换结果比较部130，也进行用于使识别的精度提高的在后面叙述的训练。在构建了上述那样的GAN的信息处理装置10中，对于转换处理部120的训练是如下训练：输出使其用于第一转换结果比较部130易于误识别为无噪声图像的、也就是说通过对第一图像进行转换而与无噪声图像更接近的第二图像。此外，对于第一转换结果比较部130的训练是如下训练：用于使其更准确地识别转换处理部120输出的第二图像是否为无噪声图像(即参考数据)、无噪声图像是否为无噪声图像(即参考数据)。该GAN的目的在于，一边像这样将转换处理部120及第一转换结果比较部130这双方提高性能，一边使其相互竞争，从而得到具有更高的噪声去除性能的转换器。
特征提取部140是已经被训练的机器学习模型，接受转换处理部120输出的第二图像及来自无噪声图像群30的第三图像的输入。特征提取部140是大量使用不包含噪声的图像而训练用于物体辨识(识别)的机器学习模型，例如是卷积神经网络的模型。
其中在特征提取部140中，不利用对于接受了输入的图像的最终输出、也就是说物体辨识的结果，而利用从中间层的输出。从被用于物体辨识的神经网络的中间层的输出表示所输入的图像是不包含噪声的图像的可能性、也就是说表现不包含噪声的图像所具有的特性或倾向的特征量。在此所说的特征例如能够列举对比度、边缘或轮廓作为例子，但也可以是更高次的人不容易辨识的特征。在有多个中间层的情况下，也可以利用来自多个中间层的一部分的输出。另外，从各中间层输出的特征量是与相互不同的特征相关的信息。从哪个中间层输出的特征量所示的特征都表示输入图像是没有噪声的图像的可能性，所以将与更多的种类的特征相关的特征量利用于训练，从而有可能更早地实现噪声去除处理的精度提高、或进一步提高精度。所取得的各图像的特征量(以下也称为特征信息)从特征提取部140被输入至第二转换结果比较部150。
另外，第二图像的这样的特征信息的数据在后面叙述的转换处理部120的训练中被用作转换数据(训练数据)的一部分。此外，第三图像的这样的特征信息的数据在后面叙述的转换处理部120的训练中被用作参考数据(正解数据或标签数据)的一部分。
从特征提取部140接受了特征信息的输入的第二转换结果比较部150计算第二图像的特征信息与对应于该第二图像的第三图像的特征信息之差。就第二转换结果比较部150计算的该差(在本公开中也称为第二误差)而言，第二图像的噪声越少则第二误差越小。也就是说，转换处理部的噪声去除处理的性能越通过训练而提高，则第二误差变得越小。所计算出的第二误差从第二转换结果比较部150被输入至转换参数更新部160。
另外，在利用从多个中间层输出的特征信息的情况下，第二转换结果比较部150计算从相同层输出的第二图像的特征信息和第三图像的特征信息之间的差作为第二误差。例如，计算从接受了第二图像的输入的特征提取部140的某中间层输出的边缘的特征量与从接受了第三图像输入的特征提取部140的相同中间层输出的边缘的特征量之差作为第二误差。在图3中，表示特征提取部140及第二转换结果比较部150的输入输出的概要。若参照图3，关于从作为神经网络的特征提取部140的中间层之一输出的与特征A相关的第二图像的特征量A2及第三图像的特征量A3，在输入目的地的第二转换结果比较部150中计算了该差(与特征A相关的第二误差)。此外，关于从特征提取部140的中间层的其他一个输出的与特征B相关的第二图像的特征量B2及第三图像的特征量B3，在输入目的地的第二转换结果比较部150中计算了该差(与特征B相关的第二误差)。
转换参数更新部160基于从第一转换结果比较部130输入的第一误差、和从第二转换结果比较部150输入的第二误差，对转换处理部120的参数进行更新。作为更新的对象的该参数例如上述那样，在转换处理部120为卷积神经网络的模型的情况下是核(kernel)的值(权重)或偏置(bias)的值。
转换处理部120的训练如下进行：通过对转换处理部120的参数进行调整，以使作为转换数据的第二图像的数据与作为参考数据的第三图像的数据之差、也就是说表示该差的第一误差，及作为转换数据的第二图像的特征量的数据和作为参考数据的第三图像的数据的特征量之差、也就是说第二误差变小。若进行其他的表现，第一误差是关于第二图像和第三图像之差的反馈信息，第二误差是关于第二图像和第三图像的与作为无噪声图像的特征相关的差的反馈信息。
为了执行该参数的调整，例如转换参数更新部160首先对第一误差和第二误差进行相加，或在对它们分别乘以权重系数的基础上进行相加。接着转换参数更新部160计算使该相加的结果之和为零或非常接近于零的值的参数，将转换处理部120的旧的参数置换为新计算出的该参数。
另外，转换参数更新部160还对于上述的第一转换结果比较部130进行用于提高识别所输入的各图像是转换处理部120输出的已转换图像还是无噪声数据的准确性的机器学习的训练。该训练如下执行：将第二图像作为识别数据且将第三图像作为参考数据，及将第三图像作为识别数据且将第二图像作为参考数据。
至此为止关于信息处理装置10的构成要素及各构成要素的功能进行了说明。在信息处理装置10中，通过这些各构成要素执行各自的功能，执行基于对图像中包含的噪声进行去除的转换器即也作为GAN的生成器的转换处理部120的机器学习的训练。接着，关于为了该训练而由信息处理装置10执行的信息处理方法的步骤进行说明。
[1－2.用于转换器的训练的信息处理方法的步骤]
图4是表示为了基于机器学习的转换处理部120的训练而具有上述的构成的信息处理装置10执行的信息处理方法的步骤例的流程图。
首先，在信息处理装置10中，从有噪声图像群20取得有噪声图像(第一图像)(步骤S10)，输入至图像读取部110。另外，第一图像为多个，各第一图像包含各种噪声之中的至少1种类的噪声，图像读取部110读取的第一图像整体中包含的噪声的种类达到多个。
在图像读取部110中，判定是否有尚未读取的第一图像、也就是说未使用于训练的第一图像(步骤S20)。在没有未使用于训练的第一图像的情况下，也就是说全部的有噪声图像已经为了训练而被读取的情况下(步骤S20中是)，信息处理装置10中的使用了该信息处理方法的转换处理部120的训练结束。在步骤S20中否的情况下，未读的第一图像被读取而输入至转换处理部120。
转换处理部120作为噪声去除处理，对第一图像进行转换而生成已转换图像(第二图像)(步骤S30)。作为该噪声去除处理的结果而取得的第二图像被输入至第一转换结果比较部130及特征提取部140。
进而在信息处理装置10中，从无噪声图像群30取得与上述的第一图像对应的无噪声图像(第三图像)，输入至第一转换结果比较部130及特征提取部140(步骤S40)。
第一转换结果比较部130计算接受了输入的第二图像与第三图像之差而取得第一误差(步骤S50)。第一误差被输入至转换参数更新部160。
此外，在特征提取部140中，基于接受了输入的第二图像及第三图像中的各个图像，取得作为无噪声图像的特征即第二图像的特征量及第三图像的特征量。所取得的第二特征信息的特征量及第三特征信息的特征量被输入至第二转换结果比较部150。
第二转换结果比较部150计算接受了输入的第二特征信息和第三特征信息之差而取得第二误差(步骤S60)。第二误差被输入至转换参数更新部160。
转换参数更新部160基于接受了输入的第一误差及第二误差，对转换处理部120的新的参数进行计算，利用所计算出的参数对转换处理部120的参数进行更新(步骤S70)。在步骤S70中计算的新的参数是与使用了旧的参数的转换处理相比结果上使第一误差及第二误差变得更小的参数。由此，使用第二图像及第二图像的特征信息作为转换数据，使用第三图像及第三图像的特征信息作为与转换数据对应的参考数据，执行机器学习。
以上，关于为了基于作为单一的模型的转换处理部120的机器学习的训练而由信息处理装置10执行的信息处理方法的步骤，使用例子进行了说明。另外，该信息处理方法并非限定于上述的步骤例。例如上述的步骤例中的步骤S50和步骤S60也可以交换顺序。
[1－3.效果]
由使用了上述的新的参数的转换处理部120进行的转换处理的结果所得到的第二图像和第三图像之差，与使用了旧的参数的转换处理的结果所得到的第二图像和第三图像之差相比被缩小。该效果是如下得到的：对于进行用于图像的噪声去除处理的转换的转换器即转换处理部120的上述的训练是用于减少第一误差的训练，也就是说通过包含噪声的图像的转换而生成与不包含噪声的图像更近似的图像的训练。
此外，关于作为无噪声图像的特征，使用了新的参数的转换处理的结果所得到的第二图像和第三图像之差，与使用了旧的参数的转换处理的结果所得到的第二图像和第三图像之差相比被缩小。该效果是如下得到的：对于转换处理部120的上述的训练进而是用于减少第二误差的训练，也就是说使其通过包含噪声的图像的转换而生成具备与不包含噪声的图像所具有的作为无噪声图像的特征更接近的特征的图像的训练。若进行其他的表现，这样的训练后的转换处理部120输出的已转换图像与在训练前已输出的已转换图像相比，作为无噪声图像而违和感更少，即可以说更接近于自然。
通过这样的训练而得到的转换处理部120不针对特定的种类的噪声而特殊化，且能够适当地去除多个种类的噪声。
此外，作为该训练的对象的转换处理部120为单一的机器学习模型。因此，在由转换处理部120进行的噪声去除处理中，与使用多个神经网络而对应于多个种类的噪声去除的以往的噪声去除处理相比计算量被抑制。
接着，关于由这样得到的转换器即转换处理部120进行的从包含噪声的图像至不包含噪声的图像的推理阶段，使用具备转换处理部120的信息处理装置为例进行说明。
[2.推理(噪声去除)阶段]
[2－1.构成]
图5是表示本实施方式所涉及的其他信息处理装置的功能构成例及功能构成间的输入输出的概要的图。本实施方式所涉及的信息处理装置10A是接受包含噪声的图像的输入，对该图像进行转换而取得去除了噪声的图像的装置。
如图5所示，信息处理装置10A具备图像读取部110、转换处理部120及转换结果输出部190。对信息处理装置10A的这些构成要素之中的与信息处理装置10的构成要素共通的构成要素使用同一参照标号。另外，关于共通的构成要素，在以下有时简化说明。
例如信息处理装置10A也可以由具备处理器及存储器的1台计算机实现。在该情况下，信息处理装置10A的上述的构成要素例如也可以是处理器执行在存储器中存储的1个或多个程序从而被实现的功能性的构成要素。另外，信息处理装置10A与信息处理装置10既可以是分体的计算机，也可以由1台计算机来实现。
图像读取部110接受包含噪声的图像、也就是说有噪声图像的输入。例如有噪声图像也可以作为为了使信息处理装置10A去除噪声而被输入的图像，在记录介质中汇集多个。该记录介质也可以是信息处理装置10A的构成要素之一。或者，也可以是与信息处理装置10A所具备的输入输出接口(无图示)连接的可拆卸的记录介质。或者，也可以是该输入输出接口为通信用接口，是与信息处理装置10A以有线或无线的方式通信的其他的1台或多台装置中使用的记录介质。在图5中，这样汇集的图像作为有噪声图像群20A而示出。
尽管有噪声图像群20A中包含的图像与有噪声图像群20所包含的图像是不同的，但都包含在上述中例示的那样的各种噪声。关于信息处理装置10A的图像读取部110接受输入的有噪声图像，在以下也可以与训练阶段下的说明相同地称为第一图像。例如第一图像是由相机等所具备的摄像装置(图像传感器)生成且因该相机或摄影环境中的某种原因而包含噪声的图像。第一图像从图像读取部110被输入至转换处理部120。
转换处理部120是本实施方式中的在信息处理装置10A所具备的存储器中存储的转换器的一例。其中，与在训练阶段下说明的转换器的不同点在于，是作为基于上述的信息处理方法的机器学习的训练的结果而得到的推理模型。也就是说转换处理部120是与多个种类的噪声去除对应的单一的机器学习模型，例如是卷积神经网络的模型。在信息处理装置10A与信息处理装置10分体的情况下，信息处理装置10A是在信息处理装置10中安装了已训练的转换处理部120的信息处理装置。
对第一图像执行了噪声去除处理的转换处理部120作为该处理的结果而输出已转换图像。在推理阶段的说明中，也将转换处理部120输出的已转换图像与训练阶段下的说明相同地称为第二图像。推理阶段中的该第二图像是执行了与转换处理部120在训练阶段之初能执行的噪声去除处理相比更优的噪声去除处理而取得的，是作为无噪声图像而更自然的图像。
转换结果输出部190输出转换处理部120输出的第二图像。第二图像的输出目的地例如是汇集第二图像的记录介质，在图5中，这样汇集的图像作为已转换图像群40而被示出。该记录介质也可以与汇集了上述的有噪声图像群20的记录介质相同，是信息处理装置10A的构成要素之一，也可以是可拆卸的记录介质及其他的装置中使用的记录介质的任一个。例如，信息处理装置10A也可以由系统LSI实现而被装入相机或行车记录仪等摄影装置，在该摄影装置中使用的记录介质为转换结果输出部190的输出目的地。在该情况下，即使是在暗处的高灵敏度摄影等易于产生噪声的条件下摄影的图像，也能够在记录介质中以噪声更少的鲜明的画质进行记录。此外，作为第二图像的输出目的地的其他例，也可以作为被提示给用户的图像而输出至显示装置。例如信息处理装置10A也可以由系统LSI实现而被装入车载后监视器系统或电子镜系统，第二图像被输出至该车辆所具备的监视器。在该情况下，即使是在易于产生噪声的条件下摄影的图像，在监视器中，也能够以噪声更少的鲜明的画质进行显示。此外，由于抑制了计算量，在这样的车载系统的用途中，还有可能有益于缩短从摄影至显示为止的时间延迟。作为第二图像的输出目的地的再其他的例子，也可以是进行某种图像处理的其他硬件或软件。例如，第二图像也可以被输入至用于物体辨识处理的程序，在该情况下，信息处理装置10A有助于实现误辨识或漏辨识更少且精度高的物体辨识。此外，由于抑制了计算量，在车载系统的用途中，还有可能有益于缩短从摄影至物体辨识的完成为止的处理时间。这样第二图像从转换结果输出部190以与其用途相应的方式被输出。
接着，关于由具有这样的构成的信息处理装置10A执行的用于噪声去除的信息处理方法的步骤进行说明。
[2－2.用于噪声去除的信息处理方法的步骤]
图6是表示由信息处理装置10A执行的用于噪声去除的信息处理方法的步骤例的流程图。
首先，在信息处理装置10A中，取得有噪声图像(第一图像)(步骤S10A)，输入至图像读取部110。
在图像读取部110中，判定是否有尚未读取的第一图像、也就是说未实施噪声去除处理的第一图像(步骤S20A)。在没有未实施噪声去除处理的第一图像的情况下，也就是说全部第一图像已进行噪声去除处理的情况下(步骤S20A中是)，信息处理装置10A中的使用了该信息处理方法的第一图像的噪声去除处理结束。在步骤S20A中否的情况下，所读取的第一图像被输入至转换处理部120。
转换处理部120作为噪声去除处理，对第一图像进行转换而生成已转换图像(第二图像)(步骤S30A)。
作为该噪声去除处理的结果而取得的第二图像从转换处理部120被输入至转换结果输出部190，从转换结果输出部190以与其用途相应的方式被输出。
以上，关于安装了通过机器学习而训练出的模型即转换处理部120的信息处理装置10A执行的信息处理方法的步骤，使用例子进行了说明。另外，该信息处理方法并非限定于上述的步骤例。
此外，该信息处理方法例如能通过信息处理装置10A所具备的处理器使用存储器执行规定的程序从而由信息处理装置10A执行。
[2－3.效果]
在上述的推理阶段下执行从有噪声图像至无噪声图像的推理的转换处理部120是使用在上述的训练阶段的说明中叙述的方法而训练出的机器学习模型。因此，无论所输入的有噪声图像所包含的噪声的种类，都能够适当地去除任意种类的噪声。
此外，转换处理部120为单一的机器学习模型。因此，在由转换处理部120进行的噪声去除处理中，与使用多个神经网络而与多个种类的噪声去除对应的以往的噪声去除处理相比计算量被抑制。因此，就转换处理部120而言，与以往的噪声消除器相比实用的执行环境的限制被缓和。转换处理部120例如通过被安装于在处理器的处理能力或可持续利用的电力上受限的边缘设备等，能提高这样的边缘设备的有用性。
(变形及其他补充事项)
本公开的一或多个方式所涉及的信息处理方法、信息处理装置及程序并非限定于上述的实施方式的说明。只要不脱离本公开的宗旨，将本领域技术人员想到的各种变形施加于上述的实施方式的方式也可以被包含于本公开的方式。可举出下记那样的变形例及其他对实施方式的说明的补充事项。
(1)包含在第一图像中而通过噪声去除处理被消除的噪声的种类不限定于在实施方式的说明中所列举的。例如，在摄影时发生的雾或沙尘与相机的性能、设定或故障等无关地映现在图像中。像这样，在摄影范围之中不可避免地存在而映现在图像中的物体的可能损害该图像的有用性的像也可以被包含于本公开中的第一图像中包含的噪声的一种，也可以是由噪声去除处理去除的对象。由此，扩展了例如能够高精度地进行物体辨识的图像的摄影状况的范围。
(2)在实施方式中使用的“不包含噪声的图像(或无噪声图像)”，该用语的意义并非限定于完全不包含噪声的图像。例如推理阶段的说明中例示的那样，既可以基于使用特征提取部140而取得的各图像的作为无噪声图像的特征量而判定是否是无噪声图像，也可以使用其他已有的各种图像解析进行判定。或者，也可以基于亮度分布等从图像数据得到的其他信息、依据Exif(可交换图像文件格式(Exchangeable image file format))等的图像的元信息、或它们的组合来判定。或者，也可以是基于人眼观察的判定。此外，是否是无噪声图像的判定基准也可以根据对训练后的转换器所要求的噪声去除性能、或由转换器进行的噪声去除处理后的图像的用途而不同。此外，“包含噪声的图像(或有噪声图像)”所包含的噪声不限定于能够通过人眼观察而辨识的噪声。例如也可以是在画面显示或印刷物中人难以辨识，但在基于物体辨识等的程序的处理中可能成为降低辨识的精度的原因的噪声。
(3)实施方式中的信息处理装置所具备的机器学习模型不限定于在上述举例的基于卷积神经网络的手法的机器学习的模型。作为转换处理部120、第一转换结果比较部130、特征提取部140或第二转换结果比较部150而发挥的各模型只要能够提供所希望的功能，也可以通过其他机器学习的手法而被训练。
(4)在上述实施方式中说明了处理的对象为图像的例子，但处理的对象也可以是图像以外的传感数据。例如，如果是从麦克风输出的声音数据、从LiDAR等雷达输出的点群数据、从压力传感器输出的压力数据、从温度传感器或湿度传感器输出的温度数据或湿度数据、从香味传感器输出的香味数据等能够取得参考数据的传感数据，也可以被设为处理的对象。基于该意义，上述实施方式中的第一图像、第二图像及第三图像的数据分别是第一传感数据、第二传感数据、第三传感数据的例子，第一传感数据、第二传感数据及第三传感数据是相同或对应的场面中的传感数据。
(5)上述的各信息处理装置所具备的构成要素的一部分或全部也可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成于一个芯片而制造的超多功能LSI，具体而言，是包含微处理器、ROM(只读存储器(Read-OnlyMemory))、RAM(随机存取存储器(Random Access Memory))等而构成的计算机系统。在ROM中，存储有计算机程序。通过微处理器按照该计算机程序而动作，系统LSI达成其功能。
另外，在此设为系统LSI，但根据集成度的差异，有时被称呼为IC、LSI、超LSI、超级LSI。此外，集成电路化的手法并非限于LSI，也可以由专用电路或者通用处理器来实现。也可以利用在LSI制造后能够编程的FPGA(现场可编程门阵列(Field Programmable GateArray))、或能够重构LSI内部的电路单元的连接或设定的可重构处理器。
这样的系统LSI等例如能被装入数码相机、智能手机等附带相机的便携式信息终端、或者能被装入监视器系统或者包含物体检测功能的先进驾驶辅助系统等各种车载系统。
进而，若根据半导体技术的进步或者衍生的其他技术而置换LSI的集成电路化的技术出现，则也可以使用该技术进行功能块的集成化。生物技术的适用等也作为可能性。
(6)此外，上述的各信息处理装置的构成要素例如也可以由分别具备处理器及存储器且可相互通信的多台计算机协调而动作，作为提供与上述的各信息处理装置相同的功能的信息处理系统的构成要素来实现。在该情况下，这些构成要素例如通过这些计算机所具备的处理器的一部分或全部执行在这些计算机所具备的存储器的一部分或全部中存储的1个或多个程序从而被实现。
(7)本公开的一个方式不仅是上述的各信息处理装置，也可以是以信息处理装置中包含的特征性的构成部为步骤的信息处理方法。该信息处理方法例如是使用图4或图6的流程图而如上所述的信息处理方法。此外，本公开的一个方式也可以是使计算机执行这样的信息处理方法中包含的特征性的各步骤的计算机程序。此外，本公开的一个方式也可以是记录了这样的计算机程序的计算机可读取的非易失性的记录介质。
工业实用性
本公开能够广泛地利用于进行从图像数据等各种传感数据去除噪声的处理的装置等。

Claims (9)

1.一种信息处理方法，由计算机执行：
取得包含噪声的第一传感数据；
将所述第一传感数据输入至单一的转换器，取得作为所述转换器对于所述第一传感数据的噪声去除处理的结果而从所述转换器输出的第二传感数据；
取得与所述第一传感数据相同或对应的场面中的不包含噪声并且与所述第二传感数据不同的第三传感数据；
基于所述第二传感数据及所述第三传感数据，取得所述第二传感数据的特征信息及所述第三传感数据的特征信息；
通过下述机器学习对所述转换器进行训练，该机器学习使用所述第二传感数据和所述第二传感数据的特征信息作为转换数据，且使用所述第三传感数据和所述第三传感数据的特征信息作为与所述转换数据对应的参考数据。
2.如权利要求1所述的信息处理方法，
所述第二传感数据的特征信息通过对下述模型输入所述第二传感数据从而被取得，该模型通过机器学习被训练为若输入传感数据则输出该输入的传感数据的特征信息，
所述第三传感数据的特征信息通过对所述模型输入所述第三传感数据从而被取得。
3.如权利要求2所述的信息处理方法，
所述模型是多层神经网络模型，
所述第二传感数据的特征信息及所述第三传感数据的特征信息是所述模型的中间层的输出。
4.如权利要求3所述的信息处理方法，
所述中间层为多个层，所述第二传感数据的特征信息及所述第三传感数据的特征信息是来自所述多个层之中的相同层的输出。
5.如权利要求4所述的信息处理方法，
所述训练是所述转换器的参数的更新，该转换器的参数的更新基于所述第二传感数据与所述第三传感数据之差、以及作为从所述多个层之中的相同层的输出的所述第二传感数据的特征信息与所述第三传感数据的特征信息之差。
6.如权利要求5所述的信息处理方法，
所述第二传感数据与所述第三传感数据之差通过对下述识别器输入所述第二传感数据和所述第三传感数据从而从所述识别器被输出，该识别器使用机器学习被训练为对所输入的传感数据是否是所述转换器的转换数据或者是否是参考数据进行识别。
7.如权利要求1～6的任一项所述的信息处理方法，
所述第一传感数据、所述第二传感数据及所述第三传感数据是从图像传感器输出的图像。
8.一种信息处理装置，具备处理器及存储器，
所述存储器存储单一的转换器，
所述处理器构成为：
取得由摄像装置生成的包含噪声的第一传感数据；
将所述第一传感数据输入至所述转换器，取得作为所述转换器对于所述第一传感数据的噪声去除处理的结果而从所述转换器输出的第二传感数据；
输出所取得的所述第二传感数据，
所述转换器通过下述机器学习被训练，该机器学习使用所述第二传感数据和基于所述第二传感数据的所述第二传感数据的特征信息作为转换数据，且使用与所述第一传感数据相同或对应的场面中的不包含所述噪声并且与所述第二传感数据不同的第三传感数据、以及基于所述第三传感数据的所述第三传感数据的特征信息，作为与所述转换数据对应的参考数据。
9.一种记录介质，是能够由具备处理器及存储器的计算机读取的非易失性的记录介质，记录了通过使用所述存储器而被所述处理器执行从而使所述计算机执行下述处理的计算机程序：
取得由摄像装置生成的包含噪声的第一传感数据；
将所述第一传感数据输入至在所述存储器中存储的单一的转换器，取得作为所述转换器对于所述第一传感数据的噪声去除处理的结果而从所述转换器输出的第二传感数据；
输出所取得的所述第二传感数据，
所述转换器通过下述机器学习被训练，该机器学习使用所述第二传感数据和基于所述第二传感数据的所述第二传感数据的特征信息作为转换数据，且使用与所述第一传感数据相同或对应的场面中的不包含所述噪声并且与所述第二传感数据不同的第三传感数据、以及基于所述第三传感数据的所述第三传感数据的特征信息，作为与所述转换数据对应的参考数据。
CN201910830394.6A 2018-09-07 2019-09-04 信息处理方法、信息处理装置及记录介质 Pending CN110889803A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862728379P 2018-09-07 2018-09-07
US62/728379 2018-09-07
JP2019041037A JP7212554B2 (ja) 2018-09-07 2019-03-06 情報処理方法、情報処理装置、及びプログラム
JP2019-041037 2019-03-06

Publications (1)

Publication Number Publication Date
CN110889803A true CN110889803A (zh) 2020-03-17

Family

ID=67777197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910830394.6A Pending CN110889803A (zh) 2018-09-07 2019-09-04 信息处理方法、信息处理装置及记录介质

Country Status (3)

Country Link
US (1) US11127117B2 (zh)
EP (1) EP3620989A1 (zh)
CN (1) CN110889803A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112615677A (zh) * 2020-11-30 2021-04-06 华中科技大学 基于深度学习的非正交波分复用时域鬼成像方法和系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7281041B2 (ja) * 2018-11-29 2023-05-25 京セラドキュメントソリューションズ株式会社 種類判別システム
JP7111088B2 (ja) * 2019-01-24 2022-08-02 カシオ計算機株式会社 画像検索装置、学習方法及びプログラム
KR102652117B1 (ko) * 2019-07-10 2024-03-27 삼성전자주식회사 이미지 보정 방법 및 이미지 보정 시스템
EP3767536A1 (en) * 2019-07-17 2021-01-20 Naver Corporation Latent code for unsupervised domain adaptation
US10861144B1 (en) * 2019-11-27 2020-12-08 Panasonic Intellectual Property Management Co., Ltd. Image-processing method
US11663840B2 (en) * 2020-03-26 2023-05-30 Bloomberg Finance L.P. Method and system for removing noise in documents for image processing
JP7458857B2 (ja) * 2020-04-01 2024-04-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN111709891B (zh) * 2020-06-12 2023-11-24 北京小米松果电子有限公司 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN115442613A (zh) * 2021-06-02 2022-12-06 四川大学 一种利用gan的基于帧间信息的噪声去除方法
US20220414832A1 (en) * 2021-06-24 2022-12-29 Canon Medical Systems Corporation X-ray imaging restoration using deep learning algorithms

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
GB2555431A (en) * 2016-10-27 2018-05-02 Nokia Technologies Oy A method for analysing media content
US10572979B2 (en) 2017-04-06 2020-02-25 Pixar Denoising Monte Carlo renderings using machine learning with importance sampling

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112615677A (zh) * 2020-11-30 2021-04-06 华中科技大学 基于深度学习的非正交波分复用时域鬼成像方法和系统

Also Published As

Publication number Publication date
EP3620989A1 (en) 2020-03-11
US20200082508A1 (en) 2020-03-12
US11127117B2 (en) 2021-09-21

Similar Documents

Publication Publication Date Title
CN110889803A (zh) 信息处理方法、信息处理装置及记录介质
US10432861B2 (en) Scene motion correction in fused image systems
US10922799B2 (en) Image processing method that performs gamma correction to update neural network parameter, image processing apparatus, and storage medium
CN111741211B (zh) 图像显示方法和设备
JP7212554B2 (ja) 情報処理方法、情報処理装置、及びプログラム
US9344636B2 (en) Scene motion correction in fused image systems
US11600025B2 (en) Image processing method, image processing apparatus, image processing system, and learnt model manufacturing method
JP7297470B2 (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
JP6415062B2 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
KR101309008B1 (ko) 화상처리방법 및 화상처리장치
JP6415063B2 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
CN113298829B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP5147912B2 (ja) 画像処理方法、画像処理装置、プログラムおよび記録媒体
Kwon et al. Exposure-adaptive color-image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination