CN113674364A - 信息处理设备和方法、计算机可读存储介质 - Google Patents

信息处理设备和方法、计算机可读存储介质 Download PDF

Info

Publication number
CN113674364A
CN113674364A CN202010408019.5A CN202010408019A CN113674364A CN 113674364 A CN113674364 A CN 113674364A CN 202010408019 A CN202010408019 A CN 202010408019A CN 113674364 A CN113674364 A CN 113674364A
Authority
CN
China
Prior art keywords
image
information processing
processing apparatus
machine learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010408019.5A
Other languages
English (en)
Inventor
禹一童
王菁
许宽宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202010408019.5A priority Critical patent/CN113674364A/zh
Priority to PCT/CN2021/092005 priority patent/WO2021227934A1/zh
Priority to CN202180033535.7A priority patent/CN115605908A/zh
Priority to JP2022569198A priority patent/JP2023525846A/ja
Priority to US17/916,813 priority patent/US20230153954A1/en
Priority to EP21803938.6A priority patent/EP4152245A4/en
Publication of CN113674364A publication Critical patent/CN113674364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种信息处理设备和方法、计算机可读存储介质。其中，信息处理设备包括处理电路，处理电路被配置为：基于输入的原始图像生成合成噪声图像；以及对合成噪声图像中的黑电平进行处理，并基于经处理的合成噪声图像来训练用于对图像去噪的机器学习模型，以得到经训练的机器学习模型。

Description

信息处理设备和方法、计算机可读存储介质
技术领域
本公开涉及信息处理技术领域，具体地涉及对图像中的黑电平进行处理。更具体地，涉及一种信息处理设备和方法、计算机可读存储介质。
背景技术
在图像去噪领域，因为合成数据易于获取和分析，因此常使用合成数据训练基于深度学习的去噪模型。然而，研究表明，在真实场景中测试经训练后的去噪模型时，基于合成噪声图像训练得到的去噪模型不能很好地对真实场景下的图像去噪，从而影响去噪后的图像的质量。这种现象在暗光条件下会更加严重。这是由于合成噪声图像中的黑电平不准确而导致的。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
根据本公开的一个方面，提供了一种信息处理设备，其包括处理电路，该处理电路被配置为：基于输入的原始图像生成合成噪声图像；以及对所述合成噪声图像中的黑电平进行处理，并基于经处理的合成噪声图像来训练用于对图像去噪的机器学习模型，以得到经训练的机器学习模型。
在根据本公开的实施例的信息处理设备中，对合成噪声图像中的黑电平进行处理能够减轻由于黑电平不准确而对训练机器学习模型造成的影响，因此能够提高基于经处理的合成噪声图像而训练得到的经训练的机器学习模型的去噪性能。
根据本公开的另一个方面，提供了一种信息处理装置，其包括处理电路，该处理电路被配置为：将待处理图像输入到通过上述信息处理设备得到的经训练的机器学习模型，以对所述待处理图像进行去噪处理。
根据本公开实施例的信息处理装置能够更准确地去除待处理图像中的噪声。
根据本公开的另一个方面，提供了一种信息处理方法，包括：基于输入的原始图像生成合成噪声图像；以及对所述合成噪声图像中的黑电平进行处理，并基于经处理的合成噪声图像来训练用于对图像去噪的机器学习模型，以得到经训练的机器学习模型。
根据本公开的另一个方面，提供了一种信息处理方法，包括：将待处理图像输入到通过上述信息处理设备得到的经训练的机器学习模型，以对所述待处理图像进行去噪处理。
依据本发明的其它方面，还提供了用于实现上述信息处理方法的计算机程序代码和计算机程序产品以及其上记录有该用于实现上述用于信息处理方法的计算机程序代码的计算机可读存储介质。
附图说明
为了进一步阐述本发明的以上和其它优点和特征，下面结合附图对本发明的具体实施方式作进一步详细的说明。附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。具有相同的功能和结构的元件用相同的参考标号表示。应当理解，这些附图仅描述本发明的典型示例，而不应看作是对本发明的范围的限定。在附图中：
图1是示出现有的图像传感器的概要图。
图2是示出黑基准列的概要图。
图3示出了根据本公开实施例的信息处理设备的功能模块框图。
图4是示出传感器的滤色器阵列的示例的图。
图5是示出现有的数字相机所进行的图像信号处理的示意图。
图6是示出根据本公开实施例的基于对黑电平进行扰动来训练机器学习模型的示意图。
图7是示出根据本公开实施例的信息处理方法的流程示例的流程图。
图8示出了根据本公开实施例的信息处理装置的功能模块框图。
图9是示出根据本公开实施例的信息处理方法的流程示例的流程图。
图10是示出作为本公开实施例中可采用的个人计算机的示例结构的框图。
具体实施方式
在下文中，首先结合现有的图像传感器等介绍黑电平。
图1是示出现有的图像传感器的概要图。如图1所示，光子(光信号)经过镜头和RGB颜色滤镜照射在光电二极管(可以等效于传感器)阵列上，光电二极管通过光电效应将光信号转换为光电流，每一个光电二极管所产生的光电流会被放大器(在图1中未示出)放大并被传送至ADC(模数转换器)，在ADC中最终转换为数字信号。
即使在无光照的情况下，光电二极管也会产生反向直流电流(即，暗电流)，因此，光电二极管是产生暗电流的器件。为了解决这一问题，在现有技术中，通过设置黑电平来抵消暗电流。
黑电平是指在经过一定校准的显示装置上，图像数据为0时(即，没有光亮输出时)对应的信号电平。显示装置例如为数字摄像装置(包括数字相机和数字摄像机)、电视、手机、显示器等。下面以数字相机为例来介绍现有技术中获取黑电平的方法。起初，黑电平的获取是通过黑基准列(Black Reference Columns)标定得到的。后来，因为电子器件的发展，暗电流的变动并不是十分显著，现有相机便去除了黑基准列，并采用人工设定的黑电平(黑电平的计算方法随相机制造厂家不同而不同，通常是被设定为一个标量，例如512)。
图2是示出黑基准列的概要图。
如图2所示，黑基准列是设计在光电二极管阵列旁边，无法被曝光的区域。一般的，黑基准列为8行大小，黑基准列上也装有和光电二极管阵列一样的光电二极管，只不过不被光照射而已。黑基准列上的信号也会被放大器放大，被读出并被进行ADC转换。最终，相机根据黑基准列经过ADC得到的数字信号图计算出黑电平。
如上所述人为设定或计算的黑电平并不能精确地代表暗电流，而是会产生黑电平误差ε，且这个误差在暗光下变得较为明显。
在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其它细节。
下面结合附图详细说明根据本公开的实施例。
图3示出了根据本公开实施例的信息处理设备300的功能模块框图，如图3所示，信息处理设备300包括：第一处理单元302，其可以被配置为基于输入的原始图像生成合成噪声图像；以及第二处理单元304，其可以被配置为对合成噪声图像中的黑电平进行处理，并基于经处理的合成噪声图像来训练用于对图像去噪的机器学习模型，以得到经训练的机器学习模型。
作为示例，原始图像包括RAW格式的RGB数据(也可称为raw-RGB图像或raw图像)。raw-RGB图像可以直接反映光子经过传感器例如CCD/CMOS(电荷耦合器件/互补金属氧化物半导体)后生成电子的情况。图4是示出传感器(例如，CCD/CMOS)的滤色器阵列(CFA)的示例的图。RAW格式的传感器数据通常以CFA的形式存在。CFA是HxW(H和W是传感器的维度，其中，H表示高度，W表示宽度)大小的像素阵列，其中，每个像素携带关于红、绿或蓝单个颜色通道的信息。由于落在CMOS中的任何给定光电二极管上的光被记录为电容器中的一些电子的数量，因此，其仅可以被保存为标量值；单个像素不能保留可观测到的光的三维特性。CFA提供了以下折中：借助于置于每个像素上的谱可选择滤波器在不同的位置捕获关于三个颜色通道中的每个通道的信息。在下文中，记原始图像的大小为H x W。
作为示例，机器学习模型是神经网络。例如，神经网络可以是卷积神经网络等，例如可以是U-net神经网络、Senet神经网络或SKnet神经网络等。
在根据本公开的实施例的信息处理设备300中，对合成噪声图像中的黑电平进行处理能够减轻由于黑电平不准确而对训练机器学习模型造成的影响，因此能够提高基于经处理的合成噪声图像而训练得到的经训练的机器学习模型的去噪性能。
另外，基于合成噪声图像训练机器学习模型省时省力。在训练机器学习模型时，如果是采集包括原始图像和真实噪声图像的成对图像数据，意味着采集人员需要固定相机进行两次拍摄，并且保证两次拍摄之间物体不能移动。然而，由于有合成噪声图像，不必实地采集成包括原始图像和真实噪声图像的成对数据，而只需要基于原始图像来合成合成噪声图像即可。另外，基于合成噪声图像训练机器学习模型、而不是基于包括原始图像和真实噪声图像的成对图像来训练机器学习模型，可以需要更少的人工标注成本。合成噪声图像的可操作性使得可以使用更少的数据训练出更加稳健的机器学习模型。
作为示例，原始图像是图像获取装置在长曝光状态下拍摄得到的长曝光图像，以及合成噪声图像用于仿真图像获取装置在暗光环境下拍摄得到的短曝光图像。
例如，图像获取装置可以是数码摄影装置(包括数字相机或数字摄像机等)。本领域技术人员可以理解，图像获取装置也可以是除了数码摄影装置之外的可以获得RAW格式的RGB数据的装置。
例如，图像获取装置可以就是信息处理设备300，或者图像获取装置可以不同于信息处理设备300(例如，图像获取装置可以是数字相机或数字摄像机，信息处理设备300可以是手机或计算机等等)。在下文中，为了方便描述，如果没有特意说明，令图像获取装置和信息处理设备300为同一数字相机。
例如，长曝光图像和短曝光图像是图像获取装置真实拍摄得到的图像，长曝光图像是在长曝光状态下拍摄得到的干净的没有噪声的图像，短曝光图像是在暗光环境下拍摄得到的有噪声的图像，合成噪声图像是基于作为长曝光图像的原始图像而生成的，用来仿真短曝光图像。
在合成噪声图像是用于仿真图像获取装置在暗光环境下拍摄得到的短曝光图像的情况下，经训练的机器学习模型对在暗光环境下拍摄得到的短曝光图像的去噪性能得以提高。上述经训练的机器学习模型例如还可应用于全天候的自动驾驶、夜间人脸识别任务等。
作为示例，第一处理单元302可以被配置为基于从原始图像获取的噪声参数，对原始图像进行噪声化处理，从而生成合成噪声图像。
例如，由数字摄像装置拍摄的原始图像的噪声主要是散粒噪声和读出噪声。上述噪声参数可以是从原始图像获取的有关读出噪声的参数(简称为读出噪声参数)α和有关散粒噪声的参数(简称为散粒噪声参数)β。本领域技术人员还可以想到噪声参数的其他示例，这里不再累述。
作为示例，第一处理单元302可以被配置为基于从原始图像获取的黑电平和白电平，对原始图像进行线性化处理，以得到原始图像的线性化后的图像；以及第一处理单元302可以被配置为对线性化后的图像进行噪声化处理，从而生成合成噪声图像。
例如，白电平是指在经过一定校准的显示装置上，图像数据为峰值白时对应的信号电平。如上所述，显示装置例如为数字摄像装置(包括数字相机和数字摄像机)、电视、手机、显示器等。
令原始图像中的像素的像素值为RawImage，白电平为n以及黑电平为m，则原始图像的线性化后的图像中的相应像素的像素值y(在下文中，为了方便描述，有时将原始图像的线性化后的图像简称为图像y)可以表示为：
Figure BDA0002492137180000061
在表达式(1)中，max{}表示取最大值以及min{}表示取最小值。通过基于表达式(1)进行的线性化处理，将原始图像中的每个像素限制到0-1范围内的值，从而得到原始图像的线性化后的图像y。
例如，还可以改变线性化后的图像y的增益倍数，例如，将线性化后的图像y的局部图像中的像素除以预定值(例如，100或300)。
例如，可以基于从原始图像获取的读出噪声参数α和散粒噪声参数β，向图像y添加高斯噪声、泊松噪声、高斯-泊松噪声、异方差-高斯(Heteroscedastic-Gaussian)噪声(该噪声n可以表示为n～N(0,(β×y+α)))等中的至少之一，生成像素值为z的合成噪声图像(在下文中，将该合成噪声图像简称为合成噪声图像z)。
作为示例，第二处理单元304可以被配置为从原始图像获取预定图像获取参数，基于预定图像获取参数与用于处理黑电平的偏置图像之间的对应关系得到相应的偏置图像，并基于所得到的偏置图像对合成噪声图像中的黑电平进行处理。
根据本公开实施例的信息处理设备300通过基于所得到的偏置图像对合成噪声图像中的黑电平进行处理，使得经处理的合成噪声图像中的黑电平更精确地代表暗电流，因此降低了黑电平误差ε，从而使得经处理的合成噪声图像更接近真实噪声图像。
作为示例，对应关系是通过以下方式生成的：在暗光环境下，基于针对图像获取装置的每个预定图像获取参数拍摄得到的黑图像，得到与每个预定图像获取参数相对应的偏置图像。通过该方式生成的对应关系有利于在暗光环境下对合成噪声图像中的黑电平进行处理。
例如，黑图像可以是在图像获取装置中的图像获取部件被黑色物体遮盖住的情况下而拍摄的图像。本领域技术人员还可以想到拍摄得到黑图像的其他方式，这里不再累述。
作为示例，图像获取装置是数码摄影装置以及预定图像获取参数包括数码摄影装置的曝光时间和感光度(ISO)；以及对应关系是通过以下方式生成的：合上数码摄影装置的盖子，针对数码摄影装置的曝光时间和感光度的每个参数对拍摄黑图像，并且对黑图像进行预处理，以得到与每个参数对相对应的偏置图像。
如上所述，图像获取装置可以是除了数码摄影装置之外的可以获得RAW格式的RGB数据的装置，以及相应地预定图像获取参数可以是除了曝光时间和感光度之外的其他参数，这里不再累述。在下文中以图像获取装置为数码摄影装置例来进行描述。在下文中，为了便于描述，有时将数码摄影装置称为数字相机或相机。
使用数码摄影装置的曝光时间和感光度作为预定图像获取参数的原因在于，黑电平误差ε会受到曝光时间和感光度的影响。一方面，暗电流会被放大器放大，同时，黑电平误差ε也会被放大，因此黑电平误差ε会受到感光度的影响；另一方面，当曝光时间变长时，光电二极管在开关闭合前所累积的光电流和暗电流都会变多，因此黑电平误差ε会受到曝光时间的影响。
例如，获取一数字相机，有无镜头均可，合上相机的盖子，将相机输出格式设置为.RAW格式文件，其余相机参数设置为默认值；对于ISO值和曝光值的每个对，拍摄得到一个黑图像。例如，假设相机的曝光时间有0.1s和1s可选，ISO值有100和200可选，则共存在四组ISO值和曝光值的对：(0.1s，100)、(1s，100)、(0.1s，200)、(1s，200)，因此，可共拍摄得到4个黑图像。
作为示例，对黑图像进行预处理包括：基于数码摄影装置的黑电平和白电平，对黑图像进行线性化处理。
令数码摄影装置的黑电平为m’、白电平为n’，黑图像中的像素为BlackFrame以及偏置图像中的对应像素为BiasFrame，则上述对黑图像进行的线性化处理可以表示为：
Figure BDA0002492137180000081
在表达式(2)中，max{}表示取最大值以及min{}表示取最小值。通过基于表达式(2)进行的线性化处理，将黑图像中的每个像素限制到0-1范围内，从而得到偏置图像。
作为示例，第二处理单元304可以被配置为将所得到的偏置图像加在合成噪声图像上。
例如，第二处理单元304可以将所得到的偏置图像的每个像素的值加在合成噪声图像z中的对应像素上，来对合成噪声图像z中的黑电平进行处理，从而生成经处理的合成噪声图像。
作为示例，第二处理单元304可以被配置为从得到的偏置图像中的预定位置选取图像块，并将基于所选取的图像块而计算的偏置值加在合成噪声图像上。
例如，偏置图像的高度为H以及宽度为W，预定位置为ps。例如，可以从得到的偏置图像选取位置位于沿高度方向在H/2至H/2+ps以及沿宽度方向在W/2至W/2+ps范围的像素作为所选取的图像块。本领域技术人员可以理解，可以从得到的偏置图像中选取任意图像块来作为所选取的图像块。例如，可以根据经验或应用场景或实验等确定ps，例如ps可以为128，本领域技术人员可以理解，ps可以被确定为使得可以从得到的偏置图像中选取任意图像块所对应的值。例如，可以计算所选取的图像块中的像素的均值，将该均值加到合成噪声图像z的每个像素的值上，来对合成噪声图像z中的黑电平进行处理，从而生成经处理的合成噪声图像。本领域技术人员可以理解，还可以基于所选取的图像块中的像素的值来计算除了均值之外的其他数值，以用于对合成噪声图像z中的黑电平进行处理。
作为示例，第二处理单元304可以被配置为从得到的偏置图像中的预定位置选取像素，并将所选取的像素的值加在合成噪声图像上。
例如，可以从得到的偏置图像选取位于[H/2,W/2]处的像素的值，加在合成噪声图像z的每个像素的值上，来对合成噪声图像z中的黑电平进行处理，从而生成经处理的合成噪声图像。本领域技术人员可以理解，可以从得到的偏置图像选取位于任意位置处的像素的值，来对合成噪声图像z中的黑电平进行处理。
作为示例，可以将经处理的合成噪声图像的R、G1、B、G2的值分别组成一单独的通道，并将这四个通道级联在一起。可以将每个通道的图像数据(每个通道的数据大小为H/2×W/2)作为样本分别输入到机器学习模型。
在上文中，对原始图像进行线性化处理，在得到的线性化后的图像y上添加噪声而得到合成噪声图像z，并对合成噪声图像z进行黑电平处理从而得到经处理的合成噪声图像。作为替选，可以将线性化后的图像y的R、G1、B、G2的值分别组成一单独的通道，然后在线性化后的图像y的R、G1、B、G2的每个通道上分别添加噪声，接下来分别在R、G1、B、G2通道对黑电平进行处理，以及将经处理的每个通道的图像数据作为样本分别输入到机器学习模型。
在将上述经处理的合成噪声图像作为样本来训练机器学习模型时，将与原始图像相对应的、由图像获取装置拍摄得到的显示图像作为用于对机器学习模型进行训练的标签图像。在对机器学习模型进行训练时，可以将标签图像的R、G1、B、G2的值分别组成一单独的通道，以与经处理的合成噪声图像的R、G1、B、G2通道相对应。
下面以图像获取装置为数字相机为例来描述上述标签图像。可以将数字相机视为一种信号转换工具：数字相机将真实场景中的光信号转变为数字信号(光信号—>电信号—>数字信号)，该转换过程是由数字相机的硬件完成的。从数字相机获得的数字信号是上文所述的原始图像。然后，数字相机进行图像信号处理，以将该数字信号(原始图像)转换成可用于显示的图像(显示图像)，举例来说，原始图像是数字相机拍摄得到的RAW格式的图像，显示图像是对原始图像转换后得到的、在数字相机的屏幕上显示出来的s-RGB格式图像。
图5是示出现有的数字相机所进行的图像信号处理的示意图。
在图5中，首先对原始图像进行如表达式(1)所示的线性化处理。
在图5中，线性化处理之后是白平衡，白平衡的作用是消除有色光源对物体颜色的影响。例如，分别拍摄红光照射下和绿光照射下的红苹果，拍摄结果可能会截然不同，但是，红苹果的“颜色”(苹果表面对光谱反射的分布性质)却应该是一个客观事实，不应该随光源改变而变化。为了获得物体本来的颜色，通过白平衡来解决这一问题。在实现上，是通过将三个乘数[R,G,B]以点乘的方式乘到图像上完成的。
在图5中，白平衡之后是去马赛克，去马赛克的目的是将之前的1通道的原始图像变成可以在显示装置上显示的3通道的图像，其本质是线性插值操作。即将大小为H×W的原始图像变为3个大小为H×W的图像(s-RGB格式的图像)。
在图5中，去马赛克之后是颜色空间转换。在数字相机中，用(R，G，B)这个三维向量表示某一个像素的值，即(R，G，B)是数字相机所用的颜色基底。然而，数字相机所用的颜色基底和显示装置的颜色基底并不相同，颜色空间转换操作的目的是将数字相机的颜色基底变化为在显示装置上可用的基底。颜色空间转换通过将去马赛克后的图像乘以一个3×3的转换矩阵实现，该矩阵是一个固定值。通过颜色空间转换可以得到s-RGB格式的图像。也就是说，通过图像信号处理得到的图像为s-RGB格式的图像(显示图像)。
例如，可以基于显示图像(标签图像)和经处理的合成噪声图像来更新机器学习模型的参数。例如，可以将显示图像和经处理的合成噪声图像在二范式下计算平均距离，根据反向传播更新机器学习模型的参数，从而得到经训练的机器学习模型。
作为示例，第二处理单元304可以被配置为从服从预定分布的偏置值的数值范围内抽取偏置值，以及基于所抽取的偏置值对合成噪声图像中的图像块的黑电平进行处理，并且基于经处理的图像块来训练机器学习模型。
例如，本领域技术人员可以根据经验或应用场景或实验预先确定图像块的大小，例如，图像块可以是1024x 1024的图像块。
基于所抽取的偏置值对合成噪声图像中的图像块的黑电平进行处理本质上是对图像块的黑电平进行扰动。
根据本公开实施例的信息处理设备300能够通过对黑电平进行的扰动增强机器学习模型对黑电平的鲁棒性。
例如，第二处理单元304可以将所抽取的偏置值加到合成噪声图像z中的图像块的每个像素上，以对该图像块中的黑电平进行处理。
作为示例，预定分布可以是高斯分布或均匀分布。例如，上述预定分布的分布函数的参数是根据经验或者应用场景或实验等而确定的。例如，均匀分布可以是服从(-10,10)的均匀分布。
作为示例，第二处理单元304可以被配置为从上述数值范围内随机抽取偏置值。
图6是示出根据本公开实施例的基于对黑电平进行扰动来训练机器学习模型的示意图。在图6中，以1024x 1024大小的图像块作为样本为例来进行描述。
如图6所示，在(1)中，从上述通过对原始图像进行线性化处理、添加噪声后等生成的合成噪声图像z中提取图像块。在(2)中，通过扰动对图像块中的黑电平进行处理。在(3)中，将经处理的图像块的R、G1、B、G2的值分别组成一单独的通道从而获得四个(1024/2)x(1024/2)大小的数据块(即，每个数据块的大小为512x 512)并将这四个通道级联在一起。在(4)中，将上述四个512x 512大小的数据块分别作为样本输入到机器学习模型，以及将原始图像经过(5)中的图像信号处理而获得的s-RGB格式的显示图像中的相应图像块作为训练的标签，来训练机器学习模型。例如，可以将作为样本的图像块和作为标签的图像块在二范式下计算平均距离，根据反向传播更新机器学习模型的参数，从而得到经训练的机器学习模型。其中，(5)中的图像信号处理与图5中的图像信号处理相同。
尽管上文中描述了对合成噪声图像中的图像块的黑电平进行扰动，但是，本领域技术人员可以理解，还可以基于所抽取的偏置值对合成噪声图像的黑电平进行扰动(例如，将所抽取的偏置值加在合成噪声图像的每个像素上)，这里不再累述。
与上述信息处理设备实施例相对应地，本公开还提供了信息处理方法的实施例。
图7是示出根据本公开实施例的信息处理方法S700的流程示例的流程图。
根据本公开实施例的信息处理方法S700从S702开始。
在S704中，基于输入的原始图像生成合成噪声图像。
有关原始图像的具体示例可参见有关信息处理设备300的相应部分(例如，第一处理单元302)的描述，这里不再累述。
在S706中，对合成噪声图像中的黑电平进行处理，并基于经处理的合成噪声图像来训练用于对图像去噪的机器学习模型，以得到经训练的机器学习模型。
有关对黑电平进行处理的具体示例可参见有关信息处理设备300的相应部分(例如，第二处理单元304)的描述，这里不再累述。
信息处理方法S700在S708结束。
在根据本公开实施例的信息处理方法S700中，对合成噪声图像中的黑电平进行处理能够减轻由于黑电平不准确而对训练机器学习模型造成的影响，因此能够提高基于经处理的合成噪声图像而训练得到的经训练的机器学习模型的去噪性能。
根据本公开的另一实施例，还提供了一种信息处理装置800。
图8示出了根据本公开实施例的信息处理装置800的功能模块框图，如图8所示，信息处理装置800包括：第三处理单元802，其可以被配置为将待处理图像输入到通过信息处理设备300或信息处理方法S700得到的经训练的机器学习模型，以对待处理图像进行去噪处理。
由于通过信息处理设备300或信息处理方法S700得到了具有提高的去噪性能的经训练的机器学习模型，因此，根据本公开实施例的信息处理装置800能够更准确地去除待处理图像中的噪声。
作为示例，待处理图像是在暗光环境下拍摄得到的短曝光图像。信息处理装置800可以更准确地去除在暗光环境下拍摄得到的短曝光图像中的噪声。
与上述信息处理装置实施例相对应地，本公开还提供了信息处理方法的实施例。
图9是示出根据本公开实施例的信息处理方法S900的流程示例的流程图。
根据本公开实施例的信息处理方法S900从S902开始。
在S904中，将待处理图像输入到通过信息处理设备300或信息处理方法S700得到的经训练的机器学习模型，以对待处理图像进行去噪处理。
信息处理方法S900在S906结束。
由于通过信息处理设备300或信息处理方法S700得到了具有提高的去噪性能的经训练的机器学习模型，因此，根据本公开实施例的信息处理方法S900能够更准确地去除待处理图像中的噪声。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者其组合的形式实现，这是本领域的技术人员在阅读了本发明的描述的情况下利用其基本电路设计知识或者基本编程技能就能实现的。
而且，本发明还提出了一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在通过软件或固件实现本发明的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图10所示的通用计算机1000)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
在图10中，中央处理单元(CPU)1001根据只读存储器(ROM)1002中存储的程序或从存储部分1008加载到随机存取存储器(RAM)1003的程序执行各种处理。在RAM 1003中，也根据需要存储当CPU 1001执行各种处理等等时所需的数据。CPU 1001、ROM 1002和RAM 1003经由总线1004彼此连接。输入/输出接口1005也连接到总线1004。
下述部件连接到输入/输出接口1005：输入部分1006(包括键盘、鼠标等等)、输出部分1007(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1008(包括硬盘等)、通信部分1009(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1009经由网络比如因特网执行通信处理。根据需要，驱动器1010也可连接到输入/输出接口1005。可移除介质1011比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1010上，使得从中读出的计算机程序根据需要被安装到存储部分1008中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可移除介质1011安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图10所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可移除介质1011。可移除介质1011的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1002、存储部分1008中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
还需要指出的是，在本发明的装置、方法和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应该视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按时间顺序执行。某些步骤可以并行或彼此独立地执行。
最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。
本技术还可以如下实现。
附记1.一种信息处理设备，包括：
处理电路，被配置为：
基于输入的原始图像生成合成噪声图像；以及
对所述合成噪声图像中的黑电平进行处理，并基于经处理的合成噪声图像来训练用于对图像去噪的机器学习模型，以得到经训练的机器学习模型。
附记2.根据附记1所述的信息处理设备，其中，所述处理电路被配置为从所述原始图像获取预定图像获取参数，基于所述预定图像获取参数与用于处理黑电平的偏置图像之间的对应关系得到相应的偏置图像，并基于所得到的偏置图像对所述合成噪声图像中的黑电平进行处理。
附记3.根据附记2所述的信息处理设备，其中，
所述对应关系是通过以下方式生成的：
在暗光环境下，基于针对图像获取装置的每个预定图像获取参数拍摄得到的黑图像，得到与每个预定图像获取参数相对应的偏置图像。
附记4.根据附记3所述的信息处理设备，其中，
所述图像获取装置是数码摄影装置以及所述预定图像获取参数包括所述数码摄影装置的曝光时间和感光度；以及
所述对应关系是通过以下方式生成的：
合上所述数码摄影装置的盖子，针对所述数码摄影装置的曝光时间和感光度的每个参数对拍摄黑图像，并且对所述黑图像进行预处理，以得到与所述每个参数对相对应的偏置图像。
附记5.根据附记4所述的信息处理设备，其中，对所述黑图像进行预处理包括：基于所述数码摄影装置的黑电平和白电平，对所述黑图像进行线性化处理。
附记6.根据附记2至5中任一项所述的信息处理设备，其中，所述处理电路被配置为将所得到的偏置图像加在所述合成噪声图像上。
附记7.根据附记2至5中任一项所述的信息处理设备，其中，所述处理电路被配置为从得到的偏置图像中的预定位置选取图像块，并将基于所选取的图像块而计算的偏置值加在所述合成噪声图像上。
附记8.根据附记2至5中任一项所述的信息处理设备，其中，所述处理电路被配置为从得到的偏置图像中的预定位置选取像素，并将所选取的像素的值加在所述合成噪声图像上。
附记9.根据附记1所述的信息处理设备，其中，所述处理电路被配置为：
从服从预定分布的偏置值的数值范围内抽取偏置值，以及
基于所抽取的偏置值对所述合成噪声图像中的图像块的黑电平进行处理，并且基于经处理的图像块来训练所述机器学习模型。
附记10.根据附记9所述的信息处理设备，其中，所述预定分布是高斯分布或均匀分布。
附记11.根据附记9或10所述的信息处理设备，其中，所述处理电路被配置为从所述数值范围内随机抽取所述偏置值。
附记12.根据附记1至11中任一项所述的信息处理设备，其中，所述处理电路被配置为基于从所述原始图像获取的噪声参数，对所述原始图像进行噪声化处理，从而生成所述合成噪声图像。
附记13.根据附记12所述的信息处理设备，其中，所述处理电路被配置为：
基于从所述原始图像获取的黑电平和白电平，对所述原始图像进行线性化处理，以得到所述原始图像的线性化后的图像；以及
对所述线性化后的图像进行所述噪声化处理，从而生成所述合成噪声图像。
附记14.根据附记1至13中任一项所述的信息处理设备，其中，所述原始图像是图像获取装置在长曝光状态下拍摄得到的长曝光图像，以及所述合成噪声图像用于仿真所述图像获取装置在暗光环境下拍摄得到的短曝光图像。
附记15.根据附记1至14中任一项所述的信息处理设备，其中，
其中，所述原始图像包括RAW格式的RGB数据。
附记16.根据附记1至15中任一项所述的信息处理设备，其中，
所述机器学习模型是神经网络。
附记17.一种信息处理装置，包括：
处理电路，被配置为：
将待处理图像输入到通过根据附记1至16中任一项所述的信息处理设备得到的经训练的机器学习模型，以对所述待处理图像进行去噪处理。
附记18.根据附记17所述的信息处理装置，其中，所述待处理图像是在暗光环境下拍摄得到的短曝光图像。
附记19.一种信息处理方法，包括：
基于输入的原始图像生成合成噪声图像；以及
对所述合成噪声图像中的黑电平进行处理，并基于经处理的合成噪声图像来训练用于对图像去噪的机器学习模型，以得到经训练的机器学习模型。
附记20.一种信息处理方法，包括：
将待处理图像输入到通过根据附记1至16中任一项所述的信息处理设备得到的经训练的机器学习模型，以对所述待处理图像进行去噪处理。
附记21.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行根据附记19或20所述的信息处理方法。

Claims (10)

1.一种信息处理设备，包括：
处理电路，被配置为：
基于输入的原始图像生成合成噪声图像；以及
对所述合成噪声图像中的黑电平进行处理，并基于经处理的合成噪声图像来训练用于对图像去噪的机器学习模型，以得到经训练的机器学习模型。
2.根据权利要求1所述的信息处理设备，其中，所述处理电路被配置为从所述原始图像获取预定图像获取参数，基于所述预定图像获取参数与用于处理黑电平的偏置图像之间的对应关系得到相应的偏置图像，并基于所得到的偏置图像对所述合成噪声图像中的黑电平进行处理。
3.根据权利要求2所述的信息处理设备，其中，
所述对应关系是通过以下方式生成的：
在暗光环境下，基于针对图像获取装置的每个预定图像获取参数拍摄得到的黑图像，得到与每个预定图像获取参数相对应的偏置图像。
4.根据权利要求3所述的信息处理设备，其中，
所述图像获取装置是数码摄影装置以及所述预定图像获取参数包括所述数码摄影装置的曝光时间和感光度；以及
所述对应关系是通过以下方式生成的：
合上所述数码摄影装置的盖子，针对所述数码摄影装置的曝光时间和感光度的每个参数对拍摄黑图像，并且对所述黑图像进行预处理，以得到与所述每个参数对相对应的偏置图像。
5.根据权利要求1所述的信息处理设备，其中，所述处理电路被配置为：
从服从预定分布的偏置值的数值范围内抽取偏置值，以及
基于所抽取的偏置值对所述合成噪声图像中的图像块的黑电平进行处理，并且基于经处理的图像块来训练所述机器学习模型。
6.根据权利要求5所述的信息处理设备，其中，所述预定分布是高斯分布或均匀分布。
7.一种信息处理装置，包括：
处理电路，被配置为：
将待处理图像输入到通过根据权利要求1至6中任一项所述的信息处理设备得到的经训练的机器学习模型，以对所述待处理图像进行去噪处理。
8.一种信息处理方法，包括：
基于输入的原始图像生成合成噪声图像；以及
对所述合成噪声图像中的黑电平进行处理，并基于经处理的合成噪声图像来训练用于对图像去噪的机器学习模型，以得到经训练的机器学习模型。
9.一种信息处理方法，包括：
将待处理图像输入到通过根据权利要求1至6中任一项所述的信息处理设备得到的经训练的机器学习模型，以对所述待处理图像进行去噪处理。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行根据权利要求8或9所述的信息处理方法。
CN202010408019.5A 2020-05-14 2020-05-14 信息处理设备和方法、计算机可读存储介质 Pending CN113674364A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010408019.5A CN113674364A (zh) 2020-05-14 2020-05-14 信息处理设备和方法、计算机可读存储介质
PCT/CN2021/092005 WO2021227934A1 (zh) 2020-05-14 2021-05-07 信息处理设备和方法、计算机可读存储介质
CN202180033535.7A CN115605908A (zh) 2020-05-14 2021-05-07 信息处理设备和方法、计算机可读存储介质
JP2022569198A JP2023525846A (ja) 2020-05-14 2021-05-07 情報処理装置及び方法
US17/916,813 US20230153954A1 (en) 2020-05-14 2021-05-07 Information processing device and method, and computer readable storage medium
EP21803938.6A EP4152245A4 (en) 2020-05-14 2021-05-07 INFORMATION PROCESSING METHOD AND DEVICE, AND COMPUTER-READABLE STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408019.5A CN113674364A (zh) 2020-05-14 2020-05-14 信息处理设备和方法、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113674364A true CN113674364A (zh) 2021-11-19

Family

ID=78526429

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010408019.5A Pending CN113674364A (zh) 2020-05-14 2020-05-14 信息处理设备和方法、计算机可读存储介质
CN202180033535.7A Pending CN115605908A (zh) 2020-05-14 2021-05-07 信息处理设备和方法、计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202180033535.7A Pending CN115605908A (zh) 2020-05-14 2021-05-07 信息处理设备和方法、计算机可读存储介质

Country Status (5)

Country Link
US (1) US20230153954A1 (zh)
EP (1) EP4152245A4 (zh)
JP (1) JP2023525846A (zh)
CN (2) CN113674364A (zh)
WO (1) WO2021227934A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6736279B2 (ja) * 2015-10-14 2020-08-05 オリンパス株式会社 撮像装置、画像処理装置、画像処理方法
JP6659162B2 (ja) * 2016-03-15 2020-03-04 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
CN110557584B (zh) * 2018-05-31 2022-04-26 杭州海康威视数字技术股份有限公司 图像处理方法及装置、计算机可读存储介质
CN110992272B (zh) * 2019-10-18 2023-03-14 深圳大学 基于深度学习的暗光图像增强方法、装置、设备及介质
CN111127336B (zh) * 2019-11-18 2023-05-02 复旦大学 一种基于自适应选择模块的图像信号处理方法

Also Published As

Publication number Publication date
EP4152245A4 (en) 2023-11-01
EP4152245A1 (en) 2023-03-22
JP2023525846A (ja) 2023-06-19
CN115605908A (zh) 2023-01-13
US20230153954A1 (en) 2023-05-18
WO2021227934A1 (zh) 2021-11-18

Similar Documents

Publication Publication Date Title
US7995115B2 (en) Image pickup device, image pickup system, image pickup method, and image processing device
JP4534756B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
EP2193656B1 (en) Multi-exposure pattern for enhancing dynamic range of images
US8264594B2 (en) Exposure control for an imaging system
US7791652B2 (en) Image processing apparatus, image capture apparatus, image output apparatus, and method and program for these apparatus
JP5744437B2 (ja) 追尾装置、追尾方法及びプログラム
US8199229B2 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
CN100594736C (zh) 摄像设备及其控制方法
EP1667435A2 (en) Sensing apparatus, method for sensing energy field and camera
US20050169521A1 (en) Processing of mosaic digital images
JP2011010108A (ja) 撮像制御装置、撮像装置及び撮像制御方法
JP2007174276A (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
KR20080039226A (ko) 화상처리장치, 촬영장치 및 이들에 있어서의 화상처리방법및 당해 방법을 컴퓨터에 실행시키는 프로그램
CN101753797A (zh) 图像信号处理设备及方法和程序
US7949182B2 (en) Combining differently exposed images of the same object
US20140028879A1 (en) Image processing device, image processing method, and solid-state imaging device
Hanji et al. Noise-aware merging of high dynamic range image stacks without camera calibration
Kumar et al. New digital camera sensor architecture for low light imaging
JP5097018B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、撮像装置の制御方法、プログラム及び記録媒体
CN113674364A (zh) 信息处理设备和方法、计算机可读存储介质
GB2579883A (en) Spatially Multiplexed Exposure
KR100934730B1 (ko) 적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지센서
CN108668124B (zh) 基于电荷计算的感光芯片测试方法及设备
Singh et al. Detail Enhanced Multi-Exposer Image Fusion Based on Edge Perserving Filters
US11153467B2 (en) Image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication