CN104041002B - 图像处理装置、成像设备及图像处理方法 - Google Patents

图像处理装置、成像设备及图像处理方法 Download PDF

Info

Publication number
CN104041002B
CN104041002B CN201380004768.XA CN201380004768A CN104041002B CN 104041002 B CN104041002 B CN 104041002B CN 201380004768 A CN201380004768 A CN 201380004768A CN 104041002 B CN104041002 B CN 104041002B
Authority
CN
China
Prior art keywords
pixel
value
image
unit
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380004768.XA
Other languages
English (en)
Other versions
CN104041002A (zh
Inventor
原崇之
吉田和弘
渡边义
渡边义一
片冈晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN104041002A publication Critical patent/CN104041002A/zh
Application granted granted Critical
Publication of CN104041002B publication Critical patent/CN104041002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理装置，包括：抽取单元，配置为在目标图像中抽取像素以获得包含比目标图像的数量少的像素的经抽取的图像；提取单元，配置为从包含经抽取的图像中的像素当中的感兴趣像素的区域中提取相似像素，每个相似像素与感兴趣像素的相似度为阈值或更大；第一计算单元，配置为基于相似像素的像素值来计算校正候选值；第二计算单元，配置为基于对于经抽取的图像的每个像素计算的校正候选值，对于每个抽取的像素计算校正候选值；以及校正单元，配置为基于通过第一或第二计算单元计算的校正候选值来校正目标图像中的目标像素的目标像素值。

Description

图像处理装置、成像设备及图像处理方法
技术领域
本发明涉及图像处理装置、成像设备、图像处理方法及计算机可读记录介质。
背景技术
由于成像元件和电路的特性，通过诸如数码相机或扫描仪的成像设备捕捉的图像包含噪声，诸如散粒噪声或暗电流噪声。为了从捕捉到的图像中获得高质量图像，需要减少图像中的噪声。然而，如果简单地使用低通滤波器来减少噪声，则在图像的人类感知中很重要的元素，诸如边，在减少噪声的同时也丢失，导致低图像质量。因此，有必要根据图像区域的特性适应性地减少噪声。
作为降噪技术，已经开发出ε-滤波器和双边滤波器(见非专利文献1(HiroshiHarashima、Kaoru Odajima、Yoshiaki Shishikui、Hiroshi Miyakawa“ε-SeparatingNonlinear Digital Filter and Its Applications”，IEICE Transactions A，卷J65-A，No.4，第297-304页，1982)和非专利文献2(CC.Tomasi和R.Manduchi，“BilateralFiltering for Gray and Color Images”Proc.Sixth Int'l Conf.计算机视觉，第839-846页，1988))。使用ε-滤波器，如果基于与感兴趣像素的信号差等于或小于预定阈值的相邻像素来执行滤波，噪声可以被减少而具有更大信号差的元件，诸如边，可以被保留(见非专利文献1)。
类似于ε-滤波器，双边滤波器可以允许同时的边保留和降噪(见非专利文献2)。双边滤波器是用于根据基于与感兴趣像素的信号差和空间距离生成的权重系数来执行滤波的技术。基于与双边滤波器相当的原理的其他降噪也已经被提出(例如，见专利文献1(日本专利申请公开No.2007-288439)、专利文献2(日本专利申请公开No.2008-205737)、专利文献3(日本专利申请公开No.2010-178302)以及专利文献4(日本专利申请公开No.2010-087769))。
此外，专利文献5(日本专利申请公开No.2010-218110)公开了不执行诸如分割的迭代处理来减少彩色图像中的信号相关的噪声的技术。此技术是基于与ε-滤波器相当的原理。具体地，选择感兴趣像素周围的相似像素组，并且在转换通过使用ε-滤波器的操作获得的结果和要处理的像素值之间的差的转换处理中反映相似像素组的特征。
然而，常规的降噪处理具有成本增加的问题。例如，在专利文献5中公开的处理中，有必要在图像中所有像素位置处执行滤波操作，因此几乎不能减少计算成本。此外，非专利文献3(Ce Liu等，“Automatic Estimation and Removal of Noise from a SingleImage”，IEEE Trans.模式分析和机器智能，卷30，No.2，第299-314页，2008)公开了用于减少彩色图像中的信号相关的噪声的技术。然而，在此方法中，需要大的处理成本用于图像分割或统计计算。
因此，需要提供能够在对于图像的降噪处理中减少处理成本的图像处理装置、成像设备、图像处理方法和计算机可读记录介质。
发明内容
本发明的目标是至少部分地解决常规技术中的问题。
根据实施例，提供了一种图像处理装置，包括：抽取(decimating)单元，配置为在要被处理的目标图像中抽取像素以获得包含比目标图像的数量少的像素的经抽取的图像；相似像素提取单元，配置为从包含经抽取的图像中包含的像素当中的感兴趣像素的区域中提取相似像素，每个所述相似像素与要处理的感兴趣像素的相似度等于或大于第一阈值；第一校正候选值计算单元，配置为基于相似像素的像素值来计算用来校正像素值的校正候选值；第二校正候选值计算单元，配置为基于对于经抽取的图像中包含的每个像素计算的所述校正候选值，对于通过抽取单元抽取的每个像素计算校正候选值；以及校正单元，配置为基于通过第一校正候选值计算单元或通过第二校正候选值计算单元对于目标像素计算的校正候选值，来校正目标图像中要校正的目标像素的目标像素值。
根据另一实施例，提供了一种成像设备，包括：成像单元，配置为捕捉图像；根据以上实施例的图像处理装置；函数存储单元，配置为在其中存储多个噪声方差估计函数，每一个指示目标像素的校正候选值与目标像素的每 个相似像素的噪声方差值之间的关系，并且每一个与在成像单元中设置的成像条件相关联；获取单元，配置为获取在成像单元中设置的成像条件或从外部装置输入的成像条件；函数选择单元，配置为选择与通过获取单元获取的成像条件相关联地存储在函数存储单元中的噪声方差估计函数；噪声方差值计算单元，配置为基于通过函数选择单元选择的噪声方差估计函数并基于校正候选值，计算目标像素的噪声方差值；以及权重系数计算单元，配置为基于噪声方差值计算目标像素的权重系数和目标像素的校正候选值。所述校正单元通过使用权重系数执行目标像素值和校正候选值的加权相加来校正目标像素值。
根据又一实施例，提供了一种通过图像处理装置来实现的图像处理方法。图像处理方法包括：抽取要处理的目标图像中的像素，来获得包含比目标图像的数量少的像素的经抽取的图像；从包含经抽取的图像中包含的像素当中的感兴趣像素的区域中提取相似像素，每个所述相似像素与要处理的感兴趣像素的相似度等于或大于第一阈值；基于相似像素的像素值来计算用来校正像素值的校正候选值；基于对于经抽取的图像中包含的每个像素计算的所述校正候选值，对于在抽取步骤抽取的每个像素计算校正候选值；以及基于在用于校正像素值的计算中或对于在所述抽取中抽取的每个像素的计算中对于目标像素计算的校正候选值，校正目标图像中要校正的目标像素的目标像素值。
根据又另一实施例，提供了一种在其上存储了可运行的程序的计算机可读记录介质。该程序指令计算机执行：抽取要处理的目标图像中的像素，来获得包含比目标图像的数量少的像素的经抽取的图像；从包含经抽取的图像中包含的像素当中的感兴趣像素的区域中提取相似像素，每个所述相似像素与要处理的感兴趣像素的相似度等于或大于第一阈值；基于相似像素的像素值来计算用来校正像素值的校正候选值；基于对于经抽取的图像中包含的每个像素计算的所述校正候选值，对于在抽取步骤抽取的每个像素计算校正候选值；以及基于在用于校正像素值的计算中或对于在所述抽取中抽取的每个像素的计算中对于目标像素计算的校正候选值，校正目标图像中要校正的目标像素的目标像素值。
当结合附图考虑时，通过阅读下面的本发明的目前优选的实施例的详细描述，将更好地理解此发明的以上和其他目标、特征、优点和技术和产业意 义。
附图说明
图1是图解根据第一实施例的成像设备的总体配置的框图；
图2是图解执行降噪处理的图像处理单元的功能配置的框图；
图3是用于说明由下采样单元执行的处理的示图；
图4是用于说明窗口的示图；
图5是用于说明提取相似像素的处理的示图；
图6是用于说明由上采样单元执行的处理的示图；
图7是图解估计函数的示图；
图8是图解其中绘制了像素值与噪声方差值之间的关系的曲线图的示图；
图9是由图像处理单元执行的降噪处理的流程图；
图10是图解根据第二实施例的图像处理单元的功能配置的框图；
图11是由根据第二实施例的图像处理单元执行的降噪处理的流程图；
图12是根据第三实施例的由图像处理单元执行的降噪处理的流程图；
图13是用于说明计算欧氏距离的处理的示图；
图14是用于说明指定的方向e的示图；以及
图15是图解基于Bayer排列的图像数据的示图。
具体实施方式
下面将参照附图详细地说明图像处理装置、成像设备、图像处理方法和程序的示例性实施例。
第一实施例
图1是图解根据第一实施例的成像设备1的总体配置的框图。成像设备1的具体示例包括数码相机。成像设备1包括捕捉图像的成像单元11、处理从成像单元11获得的图像信号的信号处理单元18、控制整个成像设备1的主控制单元17、用于存储图像数据的帧存储器19、以及用于使能与各种设备的连接的I/F(接口)21。I/F21连接至接收来自用户的输入的输入单元22、显示图像等的显示单元23、用于存储图像数据或读出图像数据的外部存储器24、以及用于附接存储介质26的存储卡附接单元25。
成像单元11包括镜头12、光圈(diaphragm)13、电子快门14、光电转换元件15和预处理单元16。光电转换元件15是例如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)。成像单元11包括滤色器(原色系或互补色系都是适用的(未示出))，并且对于例如以蜂窝方式排列的R、G和B的每一个，布置一个光电转换元件15。预处理单元16包括模拟信号处理器，诸如前置放大器或自动增益控制器(AGC)，或者包括模数(A/D)转换器。预处理单元16对通过光电转换元件15输出的模拟图像信号执行预处理，诸如放大或钳位(clamping)，并且之后将模拟图像信号转换为数字图像信号。
信号处理单元18包括数字信号处理器(DSP)等，并且对从成像单元11获得的数字信号执行各种类型的图像处理，诸如颜色分离、白平衡调整、或伽玛校正。信号处理单元18将经处理的图像数据存储在帧存储器19中，读出在帧存储器19中存储的图像数据，或者对所读出的图像数据执行图像处理，诸如降噪。
帧存储器19是半导体存储器，诸如VRAM、SRAM或DRAM，并且在其中存储图像数据等。从帧存储器19读出的图像数据经受通过信号处理单元18的信号处理，诸如图像压缩。之后，图像数据经由I/F21存储在外部存储器24中或存储在附接于存储卡附接单元25的存储介质26中。
外部存储器24是非易失性存储器，诸如快闪存储器。存储介质26是可移除和可便携式非易失性存储器，诸如USB存储器、SD存储卡、或者磁光盘。
成像设备1可以进一步包括通信单元(未示出)，并且可以将存储在外部存储器24等中的图像数据发送到服务器等。成像设备1可以经由通信单元从服务器等接收图像数据，并且将图像数据存储在外部存储器24等中。在此情况中，通信单元连接至移动电话网络或有线/无线LAN网络来发送和接收图像数据。
显示单元23显示从帧存储器19、外部存储器24或存储介质26中读出的图像数据等。显示单元23例如是液晶显示器或有机EL显示器，并且被安装在成像设备1的机身上。显示单元23包括以集成的方式充当输入单元22的触摸板。输入单元22通过触摸板和在机身上提供的键盘接收用户操作。
主控制单元17和信号处理单元18包括微型计算机、LSI等。微型计算机是计算机，其中CPU、RAM、EEPROM、ASIC等经由总线彼此连接。当 CPU运行在EEPROM中存储的降噪程序20时，对图像数据执行下面说明的降噪处理。
降噪程序20被预先存储在充当主控制单元17的EEPROM中，并且与成像设备1一起提供。可能可以通过将降噪程序20存储在存储介质26中，并且经由I/F21将它加载到充当主控制单元17的EEPROM上，来分配降噪程序20。也可能可以经由网络将降噪程序20下载到EEPROM。
图2是图解执行降噪处理的图像处理单元100的功能配置的框图。图像处理单元100通过在图1中图解的主控制单元17、信号处理单元18、帧存储器19和降噪程序20来实现。图像处理单元100对作为处理对象的目标图像执行降噪处理，该目标图像是通过成像单元11获得的图像或存储在帧存储器19中的图像。根据第一实施例的图像处理单元100执行用于从要处理的灰度图像中减少与信号值(即，像素值)关联的噪声的降噪处理，在所述灰度图像中每个像素仅具有亮度分量。
作为另一示例，可能可以采用通过诸如ASIC的硬件来执行降噪处理的图像处理单元100。
图像处理单元100包括下采样单元101、相似像素提取单元102、均值计算单元103、上采样单元104、估计函数选择单元105、噪声方差值计算单元106、权重系数计算单元107和校正单元108。
下采样单元101从帧存储器19等中获取作为要处理的目标图像的灰度图像。目标图像可以是存储在存储介质26中的图像，而不是通过成像单元11捕捉的图像。通过以预定的比率抽取目标图像中的像素，下采样单元101获取包括比目标图像的数量更少的像素的下采样图像。
图3是用于说明由下采样单元101执行的处理的示图。如图3中图解的，下采样单元101对目标图像应用低通滤波器。结果，提取出具有预定频率或更低频率的低频分量。换言之，下采样单元101起低频分量提取单元的作用。
下采样单元101通过在应用低通滤波器之后以预定比率抽取目标图像中的像素来获得下采样的图像。换言之，下采样单元101起获得具有比目标图像数量更少的像素的下采样图像(抽取的图像)的抽取单元的作用。在图3中，为了说明方便图解了一维排列的像素值；然而，下采样单元101在目标图像的两个方向(即，在水平方向和垂直方向)上执行下采样。在图3中图解的示例中，像素值通过应用低通滤波(121)/4而被平滑，并且目标图像 的像素数量被减半。
用这种方式，根据第一实施例的下采样单元101在执行下采样之前向目标图像应用低通滤波器来平滑目标图像。因此，可以防止发生图像失真(aliasing)，使得能够降低下采样图像中的噪声电平。
返回参照图2，相似像素提取单元102从通过下采样单元101获得的下采样图像中选择感兴趣像素。相似像素提取单元102通过使用诸如光栅扫描的扫描方法，从下采样图像中顺序地选择作为感兴趣像素的所有像素。
相似像素提取单元102在目标图像中设置窗口，使得感兴趣像素位于窗口的中心。图4是用于说明窗口的示图。在目标图像30中，窗口32是具有预定尺寸的矩形区域，其中感兴趣像素31位于中心。在图4中图解的窗口32是5×5像素的窗口。只要窗口是包括感兴趣像素的区域，窗口的形状和尺寸不限于该实施例而是可以以任意方式设置。
相似像素提取单元102从窗口中的所有像素当中提取相似像素，在每个所述相似像素处与感兴趣像素的相似度等于或大于预定阈值。具体地，相似像素提取单元102计算每个像素的像素值与感兴趣像素的像素值之间的绝对值(绝对差值)，并且提取具有等于或小于阈值的绝对差值的像素作为相对于感兴趣像素具有等于或大于阈值的相似度的相似像素。图5是用于说明提取相似像素的处理的示图。在图5中，图解了其中提取具有30或更小的绝对差值的像素作为相似像素的示例。在下文中，针对感兴趣像素通过相似像素提取单元102提取的多个相似像素被描述为相似像素组。
返回参照图2，均值计算单元103计算通过相似像素提取单元102提取的相似像素组的像素值的均值。通过均值计算单元103计算出的均值是一个值，具体地，是要在校正感兴趣像素的像素值以减少目标图像中的噪声的处理(稍后描述)中使用的校正候选值。换言之，均值计算单元103起计算用于校正感兴趣像素的像素值的校正候选值的第一校正候选值计算单元的作用。
在根据第一实施例的图像处理单元100中，相似像素组的均值被用作校正候选值。然而，校正候选值不限于相似像素组的均值。可能可以使用基于相似像素组的像素值来确定的任何值，诸如相似像素组的均方值或标准偏差值。
根据第一实施例的图像处理单元100使用针对感兴趣像素提取的相似像 素的均值，而不是感兴趣像素周围的所有相邻像素的均值，来作为校正候选值。因此，可以计算不被诸如边区域的像素值极大地变化的部份影响的(均)值作为校正候选值。
上采样单元104对均值计算单元103针对下采样图像中的各个像素计算的均值上采样，并且对于已经通过下采样抽取(丢弃)的每个像素获得相似像素组的均值，即，校正候选值。此外，上采样单元104对针对下采样图像的各个像素获得的均值并对针对各个抽取的像素获得的均值应用低通滤波器，以便可以平滑针对目标图像的所有像素获得的均值。
图6是用于说明由上采样单元104执行的处理的示图。在图6中图解的示例中，上采样单元104首先通过在均值计算单元103针对下采样图像的所有像素计算出的均值之间插入值“零”来执行二倍上采样(double-upsampling)。随后，上采样单元104对通过上采样获得的均值应用低通滤波器，由此执行平滑。因此，计算出抽取的像素的均值。在图6中图解的示例中，应用了低通滤波器(121)/2。换言之，上采样单元104起为下采样单元101抽取的每个像素计算均值作为校正候选值的第二校正候选值计算单元的作用。
由上采样单元104执行的以上处理与在下采样图像的像素均值之间的线性内插处理相同。因此，对于另一个示例，上采样单元104可以通过在下采样图像的像素的均值之间执行线性内插而不是执行以上处理来计算抽取的像素的均值。这样，只要上采样单元104可以基于下采样图像的像素的均值计算抽取的像素的均值，具体的处理不限于在实施例中描述的那些。
此外，虽然图6为了说明方便图解了在一个维度对均值上采样的示例，但是上采样单元104在目标图像的垂直方向和水平方向的每个方向上执行上采样和平滑处理。
返回参照图2，在估计函数存储单元110中存储用于估计与均值的噪声方差值的估计函数。噪声方差值指示针对目标图像的像素中要校正的目标像素获得的相似像素组的噪声方差。具体地，估计函数存储单元110通过存储装置来实现，所述存储装置诸如在图1中图解的帧存储器19或外部存储器24。
图7是图解估计函数的示图。如图7中所示，估计函数是噪声方差值(τ 2)随着均值(μ)的增加而增加的函数。
下面将说明噪声方差值。一般，在通过CCD或CMOS捕捉的图像中出现的散粒噪声的大小与信号值(像素值)有关。图8是图解在其中绘制了像素值与噪声方差值之间的示例性关系的曲线图的示图。
如图8中所示，像素值和噪声方差值高度相关。因此，可以通过图线的回归而从像素值高精度地估计噪声方差。然而，真实的像素值不能从降噪的图像中获得。因此，在根据第一实施例的成像设备1中，基于相似像素组的均值(μ)而不是基于像素值来计算噪声方差值(τ2)。具体地，如图7中所示的估计函数被预先设置并被存储在估计函数存储单元110中。噪声的大小依赖于在图像拍摄时的成像条件(诸如ISO速度)而变化。因此，估计函数与成像条件相关联地存储在估计函数存储单元110中。即，在估计函数存储单元110中存储每个与成像条件相关联的多个估计函数。
具体地，可以通过在每种成像条件下捕捉块图像(patch image)、将块上信号值的变化作为噪声、并且对获得的信号值应用最小平方法，来确定估计函数。
估计函数选择单元105基于用来捕捉目标图像的成像条件，从估计函数存储单元110中选择与成像条件相关联的估计函数。当目标图像是通过成像单元11获得的图像时，估计函数选择单元105从成像单元11获取图像。当目标图像是存储在存储器中的图像时，估计函数选择单元105获取与图像一起存储的成像条件信息。
返回参照图2，噪声方差值计算单元106通过使用由估计函数选择单元105选择的估计函数，基于已通过上采样单元104对于目标图像中的每个像素获得的均值(μ)来计算每个像素的噪声方差值(τ2)。
根据第一实施例的噪声方差值计算单元106根据估计函数从均值(μ)计算噪声方差值(τ2)。然而，作为另一示例，可能可以使用可以如同估计函数一样从均值(μ)确定噪声方差值(τ2)的查找表，而不是使用估计函数。在此情况中，假定在查找表中均值(μ)和噪声方差值(τ2)相关联。
权重系数计算单元107基于已经通过均值计算单元103或上采样单元104针对在目标图像中包含的像素当中要校正的目标像素获得的均值(μ)，并基于通过噪声方差值计算单元106针对目标像素获得的噪声方差值(τ2)，来计算权重系数。权重系数是由校正单元108用来校正要校正的目标像素的像素值的系数，如稍后将描述。具体地，通过下面的表达式(1)来计算权重系 数(w)。
其中α是任意的设计参数。
校正单元108执行目标像素的像素值和通过均值计算单元103或上采样单元104对于目标像素获得的均值(μ)的加权相加。校正单元108使用通过加权相加获得的校正值代替目标像素的像素值，从而校正目标像素的像素值。
具体地，校正单元108通过下面的表达式(2)来计算校正值。
x←w×μ+(1-w)×y (2)
其中x是校正值而y是目标像素的像素值。如表达式(2)所指示的，校正值x随着权重系数(w)逼近1而逼近均值(μ)，并且均值(μ)随着权重系数(w)逼近0而逼近目标像素的原始像素值y。
相对的，根据表达式(1)，权重系数计算单元107在平坦区域或具有大量噪声的区域，即在具有大噪声方差(τ2)的区域中，计算相对大的值(接近1的值)作为权重系数。因此，校正单元108将目标像素的目标像素值校正为接近于均值的校正值，所以可以减少大量的噪声。
另一方面，根据表达式(1)，权重系数计算单元107在纹理区域或具有较少量噪声的区域中，即在具有较小噪声方差的区域中，计算相对小的值(接近0的值)作为权重系数(w)。因此，校正单元108将目标像素的目标像素值校正为更接近原始像素值(y)的校正值，所以可以保存精细的信号分量。通过以上述方式使用加权相加，可以根据目标图像的局部区域的特性来适应性的减少噪声。
通过对于目标图像中的所有像素计算校正值并使用计算出的校正值来代替目标图像中的所有像素的像素值，校正单元108获得降噪的图像，并且输出降噪的图像。
图9是通过图像处理单元100执行的降噪处理的流程图。在降噪处理中，图像处理单元100的下采样单元101从诸如帧存储器19的存储装置中获取要经历降噪处理的目标图像(步骤S100)。随后，下采样单元101通过使用低通滤波器来提取低频分量，并且以预定的比率从目标图像抽取像素，从而获得下采样的图像(步骤S101)。
相似像素提取单元102从下采样图像中选择感兴趣像素(步骤S102)。随后，相似像素提取单元102相对于感兴趣像素设置窗口，并且在窗口中的所有像素当中提取其像素值和感兴趣像素的像素值之间的绝对差值变为等于或小于阈值的像素，即，每个都具有相对于感兴趣像素的等于或大于阈值的相似度的多个像素，作为相似像素组(步骤S103)。均值计算单元103计算相似像素组的像素值的均值(μ)(步骤S104)。
当下采样图像中的所有像素都没有被选择作为感兴趣像素(在步骤S105的“否”)时，该处理返回步骤S102，并且相似像素提取单元102选择下采样图像中的剩余像素作为感兴趣像素(步骤S102)。在步骤S105，当关于下采样图像中的所有像素都完成了从步骤S102到步骤S104的处理(在步骤S105的“是”)时，上采样单元104对针对下采样图像中的所有像素获得的多个均值(μ)执行上采样和平滑(步骤S110)。因此，计算出目标图像中通过下采样单元101抽取的像素的均值(μ)。
随后，噪声方差值计算单元106从目标图像中选择要经历校正处理的目标图像(步骤S111)。噪声方差值计算单元106基于通过均值计算单元103或上采样单元104计算的均值(μ)来计算目标像素的噪声方差值(τ2)(步骤S112)。在此时，估计函数选择单元105在估计函数存储单元110中选择与目标图像的成像条件相关联的估计函数。噪声方差值计算单元106基于所选择的估计函数和目标像素的均值(μ)来计算噪声方差值(τ2)。
随后，权重系数计算单元107基于目标像素的均值和噪声方差值通过表达式(1)来计算权重系数(w)(步骤S113)。校正单元108使用目标像素的权重系数(w)通过表达式(2)来执行目标像素的像素值(y)和目标像素的均值(μ)的加权相加，从而获得校正值(x)(步骤S114)。校正单元108使用校正值(x)来代替目标像素的像素值(步骤S115)。
当目标图像中的所有像素都没有被选择作为目标像素(在步骤S116的“否”)时，该处理返回步骤S111，并且噪声方差值计算单元106选择目标图像中的剩余像素作为目标像素(步骤S111)。
在步骤S116，当对于目标图像中的所有像素都完成了从步骤S111到步骤S115的处理(步骤S116的“是”)时，完成对目标图像的降噪处理。
如上所述，根据第一实施例的图像处理单元100仅计算下采样的图像中的像素的均值，而不是计算在目标图像中包含的所有像素的像素值的均值， 所述下采样的图像通过抽取目标图像中的像素的下采样来获得。因此，可以减少均值的计算。
例如，如果目标图像在水平方向上和垂直方向上均被下采样为一半，则在下采样的图像中的像素的数量减少至目标图像的四分之一。此外，用于提取相似像素组的窗口的尺寸被减小至四分之一。因此，除了下采样和上采样所需的计算之外，计算可以被减少至十六分之一。
一般，如果对下采样的图像执行图像处理，则具有原始尺寸的图像的图像分辨率被降低。相反，根据第一实施例的图像处理单元100在将图像恢复为原始尺寸之后执行像素值和目标像素的均值的加权相加处理，因此图像分辨率不太可能被降低。
此外，图像处理单元100在对目标图像下采样之前对目标图像应用低通滤波器。因此，下采样的图像的噪声电平可以低于输入图像，所以用于提取相似像素组的信号差的阈值可以更小。因此，即使在具有大量噪声的图像中，边模糊也更少可能发生。
这样，根据第一实施例的成像设备1，可以在对图像执行的降噪处理期间根据图像的局部区域中的噪声方差来适应性地改变降噪的程度。
在根据第一实施例的图像处理单元100中，权重系数计算单元107基于对每个目标像素计算的噪声方差值通过估计函数来计算权重系数。然而，作为另一示例，权重系数计算单元107可以使用恒定设计值来作为噪声方差值。具体地，在这种情况中，成像设备1并非必须包括估计函数存储单元110。此外，图像处理单元100并非必须包括估计函数选择单元105和噪声方差值计算单元106。
第二实施例
下面将说明根据第二实施例的成像设备。在根据第一实施例的成像设备中，基于目标图像的相似像素组的均值和噪声方差值来计算权重系数。相反，根据第二实施例的成像设备基于目标图像的相似像素组的像素值的方差值(像素方差值)和噪声方差值来计算权重系数。
以下，将说明与根据第一实施例的成像设备1的不同。图10是图解根据第二实施例的图像处理单元120的功能配置的框图。除了第一实施例的图像处理单元100的功能配置之外，图像处理单元120包括均方值计算单元121和像素方差值计算单元122。
均方值计算单元121计算通过相似像素提取单元102关于感兴趣像素提取的相似像素组的像素值的均方值。像素方差值计算单元122从通过均方值计算单元121对于感兴趣像素计算的均方值减去通过均值计算单元103对于感兴趣像素计算的均值的平方，从而获得感兴趣像素的像素方差值(σ2)。
上采样单元123对通过均值计算单元103计算的均值上采样，也对通过像素方差值计算单元122计算的像素方差值上采样。以与上面参照图6说明的均值的上采样相同的方式来执行像素方差值的上采样。具体地，上采样单元123通过在下采样的图像的所有像素的像素方差值之间插入值“0”来执行二倍上采样，之后应用低通滤波器来执行平滑。从而，计算出抽取的像素的像素方差值。
即，像素方差值计算单元122起计算下采样的图像中每个像素的像素方差值的第一像素方差值计算单元的作用，并且上采样单元123起计算通过下采样抽取的每个像素的像素方差值的第二像素方差值计算单元的作用。
权重系数计算单元124通过下面的表达式(3)基于目标像素的相似像素组的像素方差值(σ2)和噪声方差值(τ2)来计算权重系数(w)。
图11是通过根据第二实施例的图像处理单元120执行的降噪处理的流程图。在根据第二实施例的降噪处理中，在均值计算单元103完成均值计算处理(步骤S104)之后，均方值计算单元121计算对于感兴趣像素获得的相似像素组的均方值(步骤S200)。
像素方差值计算单元122从对于感兴趣像素获得的均方值中减去均值的方差，从而获得针对感兴趣像素的相似像素组的像素方差值(步骤S201)。
当对于在下采样的图像中包含的所有像素都完成了从步骤S102至步骤S201的处理(在步骤S105的“是”)时，上采样单元123对针对下采样的图像中的所有像素获得的均值(μ)和像素方差值(σ2)执行上采样和平滑(步骤S202)。因此，计算出通过下采样单元101从目标图像中抽取的像素的均值(μ)和像素方差值(σ2)。
在步骤S112，当计算出目标图像中的目标像素的噪声方差值时，权重系数计算单元124根据表达式(3)、基于关于目标像素的相似像素组的像素方差值(σ2)和噪声方差值(τ2)来计算权重系数(w)(步骤S203)。
根据第二实施例的成像设备的其他配置和处理与根据第一实施例的成像设备的那些相同。
如上所述，根据第二实施例的成像设备，与第一实施例的成像设备相似，可以在对图像执行的降噪处理期间根据图像的局部区域中的噪声方差来适应性地改变降噪的程度。
此外，根据第二实施例的图像处理单元120基于关于感兴趣像素的相似像素组的像素方差值和噪声方差值来计算权重系数。因此，在平坦区域中，相似像素组的像素方差值变得更小并且权重系数逼近1。此外，噪声方差值变得比相似像素组的像素方差值要小。因此，根据第二实施例的图像处理单元120，除了错误之外，权重系数的最大值变成1。因此，校正值(x)变得更接近均值，所以在平均区域中可以获得平滑图像。
另一方面，在具有纹理的粗糙区域中，相似像素的像素方差值相对于噪声方差值增大，并且权重系数逼近0。因此，校正值(x)逼近原始像素值。因此，可以在图像的粗糙区域中维持纹理和图像分辨率。
作为根据第二实施例的成像设备的变型，权重系数计算单元124可以通过下面的表达式(4)而不是表达式(3)来计算权重系数(w)。
其中α和β是任意的设计参数。可以通过调整设计参数α和β来调整降噪的程度。
第三实施例
与根据第二实施例的成像设备相似，根据第三实施例的成像设备基于关于目标像素的相似像素组的像素方差值和噪声方差值来计算权重系数。然而，虽然根据第二实施例的成像设备计算下采样的图像的像素的像素方差值，但是根据第三实施例的成像设备不计算下采样的图像的像素的像素方差值。根据第三实施例的成像设备仅计算下采样的图像的像素的均方值，并且在完成上采样之后，基于均方值来计算目标像素的像素方差值。
根据第三实施例的成像设备的图像处理单元的功能配置与上面参照图10说明的根据第二实施例的图像处理单元120的功能配置相同。
在根据第三实施例的图像处理单元120中，上采样单元123对通过均值计算单元103计算的均值以及通过均方值计算单元121计算的均方值执行上 采样和平滑。对均方值的上采样和平滑处理与上面参照图6说明的对均值执行的那些相同。具体地，首先执行预定倍数的上采样，随后通过应用低通滤波器执行平滑。
根据第三实施例的均方值计算单元121和上采样单元123分别起第一均方值计算单元和第二均方值计算单元的作用。
像素方差值计算单元122基于已经通过均方值计算单元121对于下采样的图像中的所有像素计算出的均方值、或者基于已经通过上采样单元123对于通过下采样单元101执行的处理抽取的像素而获得的均方值，来计算目标图像中的目标像素的像素方差值。
图12是通过根据第三实施例的图像处理单元120执行的降噪处理的流程图。在第三实施中，当选择了感兴趣像素(步骤S102)时，计算感兴趣像素的相似像素组的均值和均方值(步骤S104和步骤S200)，并且该处理不计算像素方差值而进行到上采样和平滑处理(步骤S300)。在步骤S300，上采样单元123对均值和均方值执行上采样和平滑。
当选择了目标像素(步骤S111)时，像素方差值计算单元122基于已经通过均方值计算单元121对于在下采样的图像中的像素计算出的均方值，或者基于已经通过上采样单元123对于通过下采样抽取的像素计算出的均方值，来计算目标像素的像素方差值(步骤S301)。
根据第三实施例的成像设备的其他配置和处理与根据其他实施例的成像设备的那些相同。
如上所述，根据第三实施例的成像设备，与其他实施例的成像设备相似，可以在对图像执行的降噪处理期间根据图像的局部区域中的噪声方差来适应性地改变降噪的程度。
此外，虽然根据第二实施例的图像处理单元120从下采样的图像中计算像素方差值，并且通过对从下采样的图像获得的像素方差值上采样来获得目标图像的每个像素的像素方差值，但是根据第三实施例的图像处理单元120仅从下采样的图像计算相似像素组的均方值，之后从通过上采样获得的目标图像中的每个像素的均方值计算像素方差值。由于在像素方差值的计算方法中的差异，在降噪处理中的边保留效果的程度在第二实施例的成像设备和第三实施例的成像设备之间不同。
下面将给出在根据第二和第三实施例的降噪处理中计算通过下采样抽 取的像素x2的像素方差值的处理的说明。通过下面的等式(5)获得像素方差值(xn)，其中E(xn)是与像素xn对应的相似像素组的均值，E(xn 2)是与像素xn对应的相似像素组的均方值，并且V(xn)是像素xn的像素方差值。
V(xn)＝E(xn 2)-E(xn)2 (5)
当通过根据第二实施例的降噪处理来计算像素x2的像素方差值时，执行针对像素x1和像素x3计算的像素方差值的线性内插。在此情况中，通过下面的等式(6)来获得像素x2的像素方差值V'(x2)。
顺带地，当通过根据第三实施例的降噪处理来计算像素x2的像素方差值时，通过使用针对像素x1和像素x3计算的均方值来计算像素方差值。在此情况中，通过下面的等式(7)来获得像素x2的像素方差值V″(x2)。
如等式(7)所指示的，像素方差值V″(x2)变得比像素方差值V'(x2)要大像素x1和像素x3之间的估计的差的一半的平方。具体地，像素方差值V'(x2)和像素方差值V″(x2)之间的差在平坦区域中更小。然而，当像素x1和像素x3在具有大变化的区域(诸如包括边的区域)中时，像素x1和像素x3之间的估计差变得更大，所以像素方差值V″(x2)变得大于像素方差值V'(x2)。作为结果，在边区域中基于像素方差值计算的权重系数逼近0。换言之，可以改善边保留效果。
这样，在根据第三实施例的降噪处理中，可以比在根据第二实施例的降噪处理中获得更高的边保留效果。
第四实施例
根据第四实施例的成像设备基于RGB三分量对彩色图像执行降噪处理。根据第四实施例的成像设备的配置和处理与上面参照图1至图9说明的根据第一实施例的成像设备的那些基本相同。
以下，将说明根据第四实施例的成像设备与根据第一实施例的成像设备的不同。在图2中所示的图像处理单元100中，根据第四实施例的相似像素 提取单元102从包含感兴趣像素的窗口中提取与感兴趣像素的差的程度等于或小于阈值的像素，作为相对于感兴趣像素具有等于或大于阈值的相似度的相似像素。在RGB空间中的欧氏距离被用作差异的程度。
均值计算单元103计算三维RGB矢量(μR,μG,μB)作为针对感兴趣像素的相似像素组的均值。估计函数存储单元110存储对于每个RGB分量的估计函数。噪声方差值计算单元106基于均值(μR,μG,μB)和对于每个RGB分量的估计函数来计算噪声方差值(τR 2,τG 2,τB 2)。
权重系数计算单元107通过下面的表达式(8)基于对于每个颜色的噪声方差值和均值来计算权重系数矩阵(W)。
其中α是任意的设计参数。
校正单元108使用目标像素的像素值y(三维RGB矢量)、对于目标像素的相似像素组的均值μ(三维RGB矢量)、权重系数矩阵W(3×3矩阵)和单位矩阵I(3×3矩阵)，通过下面的表达式(9)来计算校正值x(三维RGB矢量)。
x←Wμ+(I-W)y (9)
根据第四实施例的成像设备，可以以更低的成本来减少彩色图像中的信号有关的噪声而不降低分辨率。
根据第四实施例的成像设备的其他配置和处理与根据其他实施例的成像设备的那些相同。
根据第四实施例的成像设备将基于RGB分量的彩色图像用作处理对象。然而，作为第一变型，成像设备可以使用在诸如YCC彩色空间或L*a*b*彩色空间等任意的彩色空间表示的彩色图像。作为另一示例，成像设备可以使用n带光谱图像作为处理对象。在此情况中，可以通过将像素值(信号值)用作n维矢量来执行降噪处理。
作为第二变型，可能可以在RGB空间中使用除欧氏距离之外的值作为像素之间的差的程度。例如，如图13中所示，可能可以将窗口32中的像素 映射到L*a*b*空间，并且在该空间中使用欧氏距离作为相距的程度。作为另一示例，可能可以使用Lp范数或像素值的分布之间的距离来代替欧氏距离。像素值的分布之间的距离是围绕着窗口中的每个像素的相邻像素值的均值和围绕感兴趣像素的相邻像素值的均值之间的距离。可以在日本专利申请公开No.2011-039675中找到像素值的分布之间的距离的详情。
作为第三变型，如图14中所示，代替在基于RGB三分量的三维空间中执行目标像素的像素值和均值的加权相加的第四实施例的成像设备的校正单元108，校正单元108可以在一维指定的方向e上投影目标像素的像素值和均值之间的差，并且执行投影的像素值和投影的均值的加权相加。指定的方向e可以是通过与相似像素组的均值的RGB比率相同的RGB比率确定的方向、亮度的方向或者最大方差的方向。稍后将描述最大方差的方向。
权重系数w(p)是标量。例如，权重系数计算单元107通过下面的表达式(10)计算权重系数w(p)。
这样，通过将三维像素值和均值投影在一维值上，可以减少计算。由于在指定的方向e上的投影，变得可以强制地将在垂直于指定方向e的方向上的噪声调整为0。例如，在日本专利申请公开No.2010-218110中描述了通过将三维像素值和均值投影到在指定方向e上一维值来计算校正值的处理的详情。
下面将描述最大方差的方向。校正单元108从相似像素组的像素值的方差-协方差矩阵Σimage中减去噪声的方差-协方差矩阵Σnoise。校正单元108还获得通过减后的值获得的矩阵的特征值和特征矢量，并且获得方差-协方差矩阵的特征值变得最大的特征矢量，从而获得最大方差的方向。
方差-协方差矩阵的特征值指示给定数据的方差的方向。特征值指示方差在通过特征矢量指示的方向上的大小，即，变化的程度。因此，可以通过获得方差-协方差矩阵的特征值变得最大的特征矢量来获得最大方差的方向。
这样，根据第四实施例的校正单元108起计算最大方差的方向作为指定的方向e的第一指定方向计算单元或第二指定方向计算单元的作用。
第五实施例
与根据第四实施例的成像设备相似，根据第五实施例的成像设备对彩色图像执行降噪处理。根据第五实施例的成像设备基于相似像素组的像素值的方差-协方差矩阵Σimage和噪声的方差-协方差矩阵Σnoise来计算权重系数。根据第五实施例的成像设备的配置和处理与上面参照图10和图11说明的根据第二实施例的成像设备的那些相同。
以下，将说明根据第五实施例的成像设备与根据其他实施例的成像设备的差异。在图10中所图示的图像处理单元120中，根据第五实施例的均方值计算单元121获得RGB分量的任意两个分量(R和G、G和B、或者B和R)的乘积值的均值。具体地，均方值计算单元121计算相对于感兴趣像素的三维RGB矢量y的乘积值yyT的均值E(yyT)。这里，T指示转置矩阵。
通过下面的表达式(11)，像素方差值计算单元122基于对于感兴趣像素的相似像素组的均值μ(三维RGB矢量)和均方值E(yyT)来计算对于感兴趣像素的相似像素组的方差-协方差矩阵Σimage。
Σimage←E(yyT)-μμT (11)
上采样单元123对针对下采样的图像中的每个像素计算的均值μ(三维RGB矢量)和均方值E(yyT)执行上采样和平滑。上采样和平滑处理与上面参照图6说明的那些相同。
权重系数计算单元124通过下面的表达式(12)计算权重系数矩阵W。
这样，权重系数计算单元124基于对于目标像素的相似像素组的像素的方差-协方差矩阵Σimage和噪声的方差-协方差矩阵Σnoise来计算权重系数。
噪声方差值计算单元106基于相似像素组的均值通过使用估计函数来计算噪声的方差-协方差矩阵Σnoise。
根据第五实施例的成像设备的其他配置和处理与根据其他实施例的成像设备的那些相同。
根据第五实施例的成像设备，RGB分量的方差协方差用来计算用于加权相加的权重系数。因此，RBG空间中像素值的分布可以反映在降噪的程度中。因此，可以降噪同时保存RGB弱信号。
第六实施例
与根据第四和第五实施例的成像设备相似，根据第六实施例的成像设备对彩色图像执行降噪处理。然而，虽然根据第五实施例的成像设备计算下采 样的图像的像素的像素方差值，但是根据第六实施例的成像设备不计算下采样的图像的像素的像素方差值。根据第六实施例的成像设备仅计算下采样的图像的像素的均方值，并且在完成上采样之后，基于均方值来计算目标像素的像素方差值。
根据第六实施例的成像设备的图像处理单元的功能配置和处理与上面参照图10和图12说明的根据第三实施例的成像设备的相同。
以下，将说明根据第六实施例的成像设备与根据其他实施例的成像设备的差异。在图10中所图示的图像处理单元120中，根据第六实施例的上采样单元123对通过均值计算单元103计算的均值并对通过均方值计算单元121计算的均方值执行上采样和平滑。
此外，像素方差值计算单元122基于已经通过均方值计算单元121对于下采样的图像中的每个像素计算出的均方值(E(yyT))、或者基于已经通过上采样单元123对于通过下采样单元101执行的处理抽取的像素而计算的均方值，来计算目标图像中的目标像素的像素方差值。
根据第六实施例的成像设备的其他配置和处理与根据其他实施例的成像设备的那些相同。
根据第六实施例的成像设备，与根据第五实施例的成像设备相似，可以降噪同时保存RGB弱信号。此外，与根据第二和第三实施例的对灰度图像的降噪处理的关系相似，在根据第五和第六实施例的对彩色图像的降噪处理中，在围绕边的区域中的降噪的特征有所变化。因此，当应用线性内插时，与根据第五实施例的降噪处理中相比，在根据第六实施例的降噪处理中可以获得更高的边保留效果。
此外，作为使用彩色图像作为处理对象的成像设备的变型，可以基于如图15中所示的Bayer排列来对图像数据执行降噪处理。具体地，图像处理单元可以通过基于Bayer排列对图像数据执行去马赛克(demosaicing)将图像转换为RGB图像，来执行在第五和第六实施例中说明的降噪处理。
此外，关于对下采样的图像的处理，可以对Bayer排列中的每个颜色分量执行根据第一至第三实施例的灰度图像上的降噪处理，在上采样和平滑处理中基于Bayer排列的图像数据可以被转换为RGB图像，并且可以对RGB图像执行根据第四至第六实施例的对彩色图像执行的降噪处理。
根据实施例的成像设备可以优选地应用于捕捉图像的任何设备，诸如数 码相机、扫描仪、或具有相机的移动电话。
虽然为了完整和清楚的公开已经相对于特定实施例描述了本发明，但是所附权利要求并不限于此，而是将被解释为包含清楚地落在这里阐述的基本教导之内的、本领域技术人员可以想到的所有变型和替换构造。

Claims (12)

1.一种图像处理装置，包括：
抽取单元，配置为在要被处理的目标图像中抽取像素以获得包含比目标图像的数量少的像素的经抽取的图像；
相似像素提取单元，配置为从包含经抽取的图像中包含的像素当中的感兴趣像素的区域中提取相似像素，每个所述相似像素与要处理的感兴趣像素的相似度等于或大于第一阈值；
第一校正候选值计算单元，配置为基于相似像素的像素值来计算用来校正像素值的第一校正候选值；
第二校正候选值计算单元，配置为基于对于经抽取的图像中包含的每个像素计算的所述第一校正候选值，对于通过抽取单元丢弃的每个像素计算第二校正候选值；
噪声方差值计算单元，配置为基于第一或第二校正候选值和噪声方差估计函数来计算目标像素的噪声方差值，所述噪声方差估计函数指示目标像素的第一或第二校正候选值与目标像素的相似像素的噪声方差值之间的关系；
权重系数计算单元，配置为基于噪声方差值来计算目标像素值的权重系数和目标像素的第一或第二校正候选值；以及
校正单元，配置为通过使用权重系数执行目标像素值和第一或第二校正候选值的加权相加，来校正目标图像中要校正的目标像素的目标像素值。
2.根据权利要求1的图像处理装置，进一步包括低频分量提取单元，该低频分量提取单元配置为从目标图像提取具有预定的频率或更小频率的低频分量，其中
所述抽取单元从目标图像中抽取与低频分量对应的像素来获得经抽取的图像。
3.根据权利要求2的图像处理装置，其中所述第一校正候选值计算单元计算相似像素的像素值的均值作为第一校正候选值。
4.根据权利要求1的图像处理装置，进一步包括：
函数存储单元，配置为在其中存储噪声方差估计函数。
5.根据权利要求4的图像处理装置，进一步包括：
均方值计算单元，配置为计算通过相似像素提取单元对于在经抽取的图像中包含的每个像素而提取的相似像素的像素值的均方值；
第一像素方差值计算单元，配置为基于在经抽取的图像中包含的每个像素的均方值，对于经抽取的图像中的每个像素的像素值计算像素方差值；以及
第二像素方差值计算单元，配置为基于对于经抽取的图像中的每个像素计算的像素方差值，计算通过抽取单元丢弃的每个像素的像素方差值，其中
权重系数计算单元还基于像素方差值来计算权重系数。
6.根据权利要求4的图像处理装置，进一步包括：
第一均方值计算单元，配置为计算通过相似像素提取单元对于在经抽取的图像中包含的每个像素提取的相似像素的像素值的均方值；
第二均方值计算单元，配置为基于对于经抽取的图像中的每个像素计算的均方值，计算相对于通过抽取单元丢弃的每个像素的相似像素的像素值的均方值；以及
像素方差值计算单元，基于已经通过第一均方值计算单元或通过第二均方值计算单元对于目标像素计算的均方值，计算目标像素的相似像素的像素值的像素方差值，其中
权重系数计算单元还基于像素方差值来计算权重系数。
7.一种成像设备，包括：
成像单元，配置为捕捉图像；
根据权利要求1的图像处理装置，还包括：
函数存储单元，配置为在其中存储多个噪声方差估计函数，每一个指示目标像素的第一或第二校正候选值与目标像素的每个相似像素的噪声方差值之间的关系，并且每一个与在成像单元中设置的成像条件相关联；
获取单元，配置为获取在成像单元中设置的成像条件或从外部装置输入的成像条件；
函数选择单元，配置为选择与通过获取单元获取的成像条件相关联地存储在函数存储单元中的噪声方差估计函数，
所述噪声方差值计算单元配置为基于通过函数选择单元选择的噪声方差估计函数并基于第一或第二校正候选值，计算目标像素的噪声方差值。
8.根据权利要求1的图像处理装置，其中
目标图像是彩色图像，并且
所述校正单元将目标像素的目标像素值和第一或第二校正候选值之间的差投影在预定的彩色空间内的第一指定方向上，并且通过使用权重系数来执行目标像素值和投影在第一指定方向上的第一或第二校正候选值的加权相加，来将目标像素值校正为第一指定方向上的值。
9.根据权利要求8的图像处理装置，进一步包括第一指定方向计算单元，该第一指定方向计算单元被配置为基于相对于目标像素的目标像素值的相似像素的像素值和噪声的方差-协方差来计算最大方差方向作为第一指定方向，其中
所述校正单元通过使用由第一指定方向计算单元计算的第一指定方向来校正目标像素值。
10.根据权利要求1的图像处理装置，其中
目标图像是镜面图像，并且
所述校正单元将目标像素的目标像素值和第一或第二校正候选值之间的差投影在镜面空间内的第二指定方向上，并且通过使用权重系数来执行目标像素值和第一或第二校正候选值的加权相加，以将目标像素值校正为第二指定方向上的值。
11.根据权利要求10的图像处理装置，进一步包括第二指定方向计算单元，该第二指定方向计算单元被配置为基于相对于目标像素的目标像素值的相似像素的像素值和噪声的方差-协方差来计算最大方差方向作为第二指定方向，其中
所述校正单元通过使用由第二指定方向计算单元计算的第二指定方向来校正目标像素值。
12.一种通过图像处理装置来实现的图像处理方法，该图像处理方法包括：
抽取要处理的目标图像中的像素，来获得包含比目标图像的数量少的像素的经抽取的图像；
从包含经抽取的图像中包含的像素当中的感兴趣像素的区域中提取相似像素，每个所述相似像素与要处理的感兴趣像素的相似度等于或大于第一阈值；
基于相似像素的像素值来计算用来校正像素值的第一校正候选值；
基于对于经抽取的图像中包含的每个像素计算的所述第一校正候选值，对于在抽取步骤丢弃的每个像素计算第二校正候选值；
基于第一或第二校正候选值和噪声方差估计函数来计算目标像素的噪声方差值，所述噪声方差估计函数指示目标像素的第一或第二校正候选值与目标像素的相似像素的噪声方差值之间的关系；
基于噪声方差值来计算目标像素值的权重系数和目标像素的第一或第二校正候选值；以及
通过使用权重系数执行目标像素值和第一或第二校正候选值的加权相加，校正目标图像中要校正的目标像素的目标像素值。
CN201380004768.XA 2012-01-06 2013-01-04 图像处理装置、成像设备及图像处理方法 Active CN104041002B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012001599A JP6024107B2 (ja) 2012-01-06 2012-01-06 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2012-001599 2012-01-06
PCT/JP2013/050346 WO2013103154A1 (en) 2012-01-06 2013-01-04 Image processing apparatus, imaging device, image processing method, and computer-readable recording medium

Publications (2)

Publication Number Publication Date
CN104041002A CN104041002A (zh) 2014-09-10
CN104041002B true CN104041002B (zh) 2017-03-08

Family

ID=48745211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380004768.XA Active CN104041002B (zh) 2012-01-06 2013-01-04 图像处理装置、成像设备及图像处理方法

Country Status (7)

Country Link
US (1) US9357144B2 (zh)
EP (1) EP2801188B1 (zh)
JP (1) JP6024107B2 (zh)
KR (1) KR101646859B1 (zh)
CN (1) CN104041002B (zh)
CA (1) CA2862759C (zh)
WO (1) WO2013103154A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014024922A1 (ja) * 2012-08-07 2014-02-13 国立大学法人静岡大学 固体撮像装置
CN104036457B (zh) * 2013-09-02 2015-03-18 上海联影医疗科技有限公司 一种图像降噪方法
CN103888689B (zh) * 2014-03-13 2017-10-31 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN103888679A (zh) 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
JP6417729B2 (ja) 2014-06-09 2018-11-07 株式会社リコー 画像処理装置、画像処理方法、プログラム、視差データの生産方法、機器制御システム
JP2016100698A (ja) 2014-11-19 2016-05-30 株式会社リコー 校正装置、校正方法、プログラム
KR102272108B1 (ko) * 2015-02-27 2021-07-05 삼성전자주식회사 영상 처리 장치 및 방법
CN105376505B (zh) * 2015-11-04 2018-10-09 上海兆芯集成电路有限公司 相似块融合方法以及使用该方法的装置
CN108259782A (zh) 2016-12-28 2018-07-06 株式会社理光 图像处理装置、摄影系统、图像处理方法
JP2019057903A (ja) 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
US10681271B2 (en) * 2017-03-15 2020-06-09 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium
JP7005168B2 (ja) * 2017-05-02 2022-01-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7030493B2 (ja) * 2017-11-30 2022-03-07 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN110413805B (zh) * 2018-04-25 2022-02-01 杭州海康威视数字技术股份有限公司 一种图像存储方法、装置、电子设备及存储介质
KR20200068457A (ko) * 2018-12-05 2020-06-15 삼성전자주식회사 에지 보전 스무딩을 수행하는 이미지 프로세싱 장치 및 이의 이미지 프로세싱 방법
JP7310252B2 (ja) 2019-04-19 2023-07-19 株式会社リコー 動画生成装置、動画生成方法、プログラム、記憶媒体
CN112015929B (zh) 2019-05-30 2024-07-05 阿里云计算有限公司 栅格数据访问方法、装置、电子设备及计算机存储介质
JP7306089B2 (ja) 2019-06-17 2023-07-11 株式会社リコー 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム
CN113129221B (zh) * 2019-12-31 2023-08-18 杭州海康威视数字技术股份有限公司 图像处理方法、装置、设备及存储介质
JP7424076B2 (ja) 2020-01-29 2024-01-30 株式会社リコー 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
US20210383534A1 (en) * 2020-06-03 2021-12-09 GE Precision Healthcare LLC System and methods for image segmentation and classification using reduced depth convolutional neural networks
CN111709894B (zh) * 2020-06-16 2022-09-02 展讯通信（上海）有限公司 图像处理方法、装置、电子设备及存储介质
CN114584673B (zh) * 2020-12-01 2024-01-09 京东方科技集团股份有限公司 一种图像处理方法和装置
CN112561823B (zh) * 2020-12-18 2024-05-28 上海国茂数字技术有限公司 滤波方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1838082A2 (en) * 2006-03-20 2007-09-26 Ricoh Company, Ltd. A method for removing color noise and image-capturing device that uses this method

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259965A (ja) 2001-02-26 2002-09-13 Sony Corp 画像ノイズ低減方法及び装置
JP4154400B2 (ja) * 2004-04-01 2008-09-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP4977395B2 (ja) 2006-04-14 2012-07-18 富士フイルム株式会社 画像処理装置及び方法
JP2008205737A (ja) 2007-02-19 2008-09-04 Olympus Corp 撮像システム、画像処理プログラム、画像処理方法
JP5092536B2 (ja) 2007-05-18 2012-12-05 カシオ計算機株式会社 画像処理装置及びそのプログラム
US8824831B2 (en) * 2007-05-25 2014-09-02 Qualcomm Technologies, Inc. Advanced noise reduction in digital cameras
JP5315158B2 (ja) 2008-09-12 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP5125954B2 (ja) 2008-09-30 2013-01-23 Ｎｋワークス株式会社 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置
JP2010153969A (ja) 2008-12-24 2010-07-08 Sanyo Electric Co Ltd 撮像装置
JP5197414B2 (ja) * 2009-02-02 2013-05-15 オリンパス株式会社 画像処理装置及び画像処理方法
JP5251637B2 (ja) * 2009-03-16 2013-07-31 株式会社リコー ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
JP5326920B2 (ja) 2009-08-07 2013-10-30 株式会社リコー 画像処理装置、画像処理方法、及び、コンピュータプログラム
JP5589446B2 (ja) 2009-09-18 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2011068179A1 (en) 2009-12-01 2011-06-09 Ricoh Company, Ltd. Image information processing method, image information processing apparatus, image processing apparatus, and recording medium
JP5158167B2 (ja) * 2010-09-27 2013-03-06 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US8830359B2 (en) 2010-03-30 2014-09-09 Nikon Corporation Image processing apparatus, imaging apparatus, and computer readable medium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1838082A2 (en) * 2006-03-20 2007-09-26 Ricoh Company, Ltd. A method for removing color noise and image-capturing device that uses this method

Also Published As

Publication number Publication date
CA2862759A1 (en) 2013-07-11
EP2801188A4 (en) 2015-08-12
JP6024107B2 (ja) 2016-11-09
EP2801188A1 (en) 2014-11-12
US9357144B2 (en) 2016-05-31
KR20140097507A (ko) 2014-08-06
CA2862759C (en) 2016-11-15
WO2013103154A1 (en) 2013-07-11
KR101646859B1 (ko) 2016-08-12
US20140347526A1 (en) 2014-11-27
CN104041002A (zh) 2014-09-10
JP2013143599A (ja) 2013-07-22
EP2801188B1 (en) 2019-07-31

Similar Documents

Publication Publication Date Title
CN104041002B (zh) 图像处理装置、成像设备及图像处理方法
CN110827200B (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
JP5251637B2 (ja) ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
Vanmali et al. Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility
EP2102815B1 (en) Method of sharpening using panchromatic pixels
US8253825B2 (en) Image data processing method by reducing image noise, and camera integrating means for implementing said method
US8203615B2 (en) Image deblurring using panchromatic pixels
JP4460839B2 (ja) デジタル画像鮮鋭化装置
CN101868966A (zh) 图像处理装置和图像处理方法
EP2130175A2 (en) Edge mapping incorporating panchromatic pixels
US10769474B2 (en) Keypoint detection circuit for processing image pyramid in recursive manner
US9619862B2 (en) Raw camera noise reduction using alignment mapping
US8482625B2 (en) Image noise estimation based on color correlation
CN102223480A (zh) 图像处理装置及图像处理方法
WO2012008116A1 (en) Image processing apparatus, image processing method, and program
CN116416175A (zh) 一种基于自适应边缘保持平滑金字塔的图像融合方法
JP4992379B2 (ja) 画像の階調変換装置、プログラム、電子カメラ、およびその方法
US20150104112A1 (en) Large Radius Edge-Preserving Low-Pass Filtering
JP5810778B2 (ja) 画像処理装置および画像処理方法
CN112241670B (zh) 图像处理方法及装置
Singh et al. Detail Enhanced Multi-Exposer Image Fusion Based on Edge Perserving Filters
CN117641135A (zh) 一种图像处理方法及装置、设备、存储介质
Lukac et al. Principal Component Analysis-Based Denoising of Color Filter Array Images
JP6468791B2 (ja) 画像処理装置、撮像装置、画像処理システム、画像処理方法および画像処理プログラム
Feng et al. Perceptual thumbnail generation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant