CN101868966A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN101868966A
CN101868966A CN200880117358A CN200880117358A CN101868966A CN 101868966 A CN101868966 A CN 101868966A CN 200880117358 A CN200880117358 A CN 200880117358A CN 200880117358 A CN200880117358 A CN 200880117358A CN 101868966 A CN101868966 A CN 101868966A
Authority
CN
China
Prior art keywords
pixel
presumptive area
filter coefficient
motion vector
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880117358A
Other languages
English (en)
Other versions
CN101868966B (zh
Inventor
佐佐木宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN101868966A publication Critical patent/CN101868966A/zh
Application granted granted Critical
Publication of CN101868966B publication Critical patent/CN101868966B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理装置，具有：区域提取部(108)，其提取当前帧内的包含对象像素在内的第1预定区域和前一帧的包含空间位置与对象像素相同的像素在内的第2预定区域；运动矢量计算部(103)，其根据第1预定区域内的一部分或全部像素、以及第2预定区域内的一部分像素，计算第1预定区域相对于前一帧的运动矢量；滤波器系数决定部(104)，其根据运动矢量，决定针对第2预定区域的多个像素的滤波器系数；以及降噪处理部(105)，其根据第2预定区域的多个像素和滤波器系数，降低对象像素的噪声。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及对按时间序列方式所输入的图像进行降噪处理的图像处理装置和图像处理方法。
背景技术
动态图像信号是收集多个按指定时间间隔所拍摄的帧(场)图像而构成的信号。该动态图像信号一般可假定为：各帧(场)图像具有针对帧内(场内)的局部空间的相关，并且邻接帧(场)具有针对帧间(场间)的局部时间的相关。
这样的动态图像信号主要是通过利用具有CCD和CMOS等摄像元件的摄像机拍摄任意的被摄体而获得的。例如，数字摄像机中的数字动态图像信号按以下获得。首先，利用构成摄像机的摄像部的镜头，使光学被摄体像在摄像元件上成像。所成像的光学被摄体像按排列在摄像元件上的各像素进行光电转换而成为电信号。该电信号按预定顺序从摄像元件被输出。从该摄像元件输出的信号是模拟图像信号。该模拟图像信号以预定的增益量进行放大，之后由A/D转换部转换成数字图像信号。这样获得的数字图像信号通常在此后由数字信号处理电路进行预定的图像处理。
在这样的由摄像机所拍摄的图像中一般重叠有噪声。噪声的产生有各种要因，其中之一是由摄像元件的特性引起。作为起因于该摄像元件的特性的噪声中的代表性噪声，可列举起因于光电转换时的统计性质的散粒噪声。该散粒噪声具有与图像信号值的平方根成正比的平均振幅，一般针对时间方向和空间方向在统计上成为随机噪声。
随机噪声照字义是“随机”，相对于此，动态图像信号如上所述被认为在局部空间上和局部时间上有相关性，因而作为针对重叠有这样的随机噪声的动态图像信号进行的降噪处理，能利用以下的降噪处理：利用了空间相关的帧内(场内)降噪处理，以及利用了时间相关的帧间(场间)降噪处理。于是，以往提出了各种针对动态图像信号能利用的这些降噪处理技术。
另外，以下，只要不作特别区别，就将1个摄像图像记载为帧，然而即使将帧置换为场，也能同样应用发明。
首先，在上述的2种降噪处理中的利用时间相关的降噪处理中，有将降噪后的帧用作以前帧的巡回型降噪处理，对于该巡回型降噪处理，公知其是在有数的降噪处理技术中可获得较大的降噪效果的技术。不过，该技术是以处理对象帧和该处理对象帧的以前的帧之间的相关作为前提的技术，因而当应用于具有运动的场景时，具有以前的帧重叠在当前的帧上而产生残像的问题。为了应对该问题，还开发出控制成减少残像的技术，然而新产生这样的问题：当减少了残像时，下次不能期待充分的降噪效果。
作为用于解决该问题的技术，例如在日本特开平2-184176号公报中记载了这样的技术：检测影像的各画面部分的变化量，进一步计算与该变化量成正比的动态信号，根据该动态信号分别切换前一帧的影像信号的权重和当前帧的前一行的影像信号的权重，将这些加权后的影像信号相加后的信号与当前的影像信号以预定比率进行混合，从而进行降噪处理。在该技术中，由于根据影像的变化量计算动态信号，因而当在影像的边缘部有变动时，导致当前影像信号相对于前一帧或前一行的影像信号的混合比率增大，具有降噪效果下降的问题。
对此，例如在日本特开平6-62283号公报中记载了这样的降噪处理技术：将帧内相关和帧间相关一起利用，即使对于有运动的场景，也能提高降噪能力。该公报记载的降噪系统具有用于延迟1个帧或者1个场的图像存储器，通过对以下的像素数据进行非线性滤波器处理，输出进行了降噪后的像素数据，这些像素数据是：新输入的中心像素数据；该中心像素数据的附近的像素数据；以及记录在该图像存储器内的已进行了降噪的前一帧或者前一场的图像数据中的所述中心像素数据的附近的像素数据。所述非线性滤波器是这样的非线性滤波器：对与所述中心像素数据值相关高的附近像素的数据分配大的权重系数，反之对相关低的像素分配小的权重系数，进行加权平均。这样，可进行利用了帧内相关和帧间相关这两者的降噪。在该技术中，特别是在摄像图像在静止状态的情况下，由于在加权平均中使用的前一帧或前一场的像素和当前场的像素中权重系数大的像素增加，因而有助于平均化的像素数增加，能有效地进行降噪。并且，在摄像图像有运动的情况下，与前一帧或前一场的像素相比，对当前场的像素赋予大的权重系数，进行使用了大致当前场的像素的加权平均，因而降噪量与在静止状态的情况下相比减小，然而与使用当前帧和以前帧的相同位置的像素的简单的巡回型降噪处理相比，降噪效果可以说很大。不过，在该处理中，由于存在这样的情况，即，不仅针对与处理对象像素本来有相关的像素设定大的权重，而且即使是与处理对象像素没有时间方向的相关的像素，也由于噪声影响而判定为外观上的相关高，设定大的权重，因而当使用这些像素来进行滤波器处理时，有可能消除了本来应再现的图像的细微结构。
并且，在日本特开平6-350879号公报中记载了这样的技术：在进行帧间的降噪处理时，进行当前帧的预定块与前一帧的图像信号的块匹配来计算相关，提取判定为相关最高的前一帧的块，对该提取块和当前帧的预定块进行降噪处理。在该技术中，即使在有运动的情况下，也能有效利用帧间相关来进行降噪。不过，在该技术中，当图像信号内包含噪声时，块匹配的精度下降，具有这样的可能性：在摄影图像中的不包含结构上显著的特征(边缘)等的处于静止的细微结构区域中，作为来自前一帧的图像信号的提取块，(在噪声是随机噪声的情况下例如任意地)提取了本来不应提取的块。由于这与将时间上运动的图像进行累计是等效的，因而有可能消除了静止区域的细微结构并招致分辨率下降。
这样，对于使用时间相关的现有的降噪处理，特别是针对动态区域，是实质切换到主要使用帧内相关的降噪处理的技术，或者是计算运动矢量、提取帧间相关高的区域、更积极地利用帧间相关来进行降噪处理的技术。
然而，对于上述的现有技术，如上所述，可以说都不能利用帧间相关来提高降噪能力，而且不能充分保持细微结构。
发明内容
本发明是鉴于上述情况而完成的，本发明的目的是提供一种可在良好保持细微结构的同时、充分降低动态图像的噪声的图像处理装置和图像处理方法。
为了达到上述目的，本发明的图像处理装置对按时间序列输入的图像进行降噪处理，所述图像处理装置具有：像素提取单元，其提取处理对象图像内的包含对象像素在内的第1预定区域的多个像素、以及该处理对象图像之前的过去图像的包含空间位置与所述对象像素相同的像素在内的第2预定区域的多个像素；运动矢量计算单元，其根据所述第1预定区域内的一部分或全部像素、以及所述第2预定区域内的一部分像素，计算所述第1预定区域相对于所述过去图像的运动矢量；滤波器系数决定单元，其根据所述运动矢量，决定针对所述第2预定区域的多个像素的滤波器系数；以及降噪单元，其根据所述第2预定区域的多个像素和所述滤波器系数，降低所述对象像素的噪声。
并且，根据本发明的图像处理方法对按时间序列输入的图像进行降噪处理，所述图像处理方法具有：像素提取步骤，提取处理对象图像内的包含对象像素在内的第1预定区域的多个像素、以及该处理对象图像之前的过去图像的包含空间位置与所述对象像素相同的像素在内的第2预定区域的多个像素；运动矢量计算步骤，根据所述第1预定区域内的一部分或全部像素、以及所述第2预定区域内的一部分像素，计算所述第1预定区域相对于所述过去图像的运动矢量；滤波器系数决定步骤，根据所述运动矢量，决定针对所述第2预定区域的多个像素的滤波器系数；以及降噪步骤，其根据所述第2预定区域的多个像素和所述滤波器系数，降低所述对象像素的噪声。
附图说明
图1是示出本发明的实施方式1中的图像处理装置的结构的框图。
图2是示意示出在上述实施方式1中、当前帧与前一帧的像素的位置关系的图。
图3是示出上述实施方式1中的针对当前帧的处理对象像素的提取块区域(5×5像素)的图。
图4是示出上述实施方式1中的针对前一帧的空间位置与处理对象像素相同的像素的提取块区域(5×5像素)的图。
图5是示出上述实施方式1中的当前帧的差值块(5×5像素)的图。
图6是示出上述实施方式1中的前一帧的差值块(5×5像素)的图。
图7是示出上述实施方式1中的运动矢量计算部的详细结构的框图。
图8是示出在上述实施方式1中、与运动矢量计算中的块匹配结果相乘的权重W(k)的配置例的图。
图9是示出在上述实施方式1中、图像信号中所包含的噪声量与亮度级的关系的线图。
图10是示出上述实施方式1中的运动矢量决定部的详细结构的框图。
图11是示出在上述实施方式1中、当由相关值判定部判定为中央部的3×3像素区域的相关高时的5×5像素区域的图。
图12是示出在上述实施方式1中、当由相关值判定部判定为左侧偏上方的E10和E12之间的相关高时的5×5像素区域的图。
图13是示出在上述实施方式1中、当由相关值判定部判定为右上角部的E03、E04、E14的相关高时的5×5像素区域的图。
图14是示出在上述实施方式1中、针对图11所示的2值化相关值E(k)计算出的运动矢量v的图。
图15是示出在上述实施方式1中、针对图12所示的2值化相关值E(k)计算出的运动矢量v的图。
图16是示出在上述实施方式1中、针对图13所示的2值化相关值E(k)计算出的运动矢量v的图。
图17是示出在上述实施方式1中、对应于图14所示的运动矢量所决定的空间距离滤波器的系数例的图。
图18是示出在上述实施方式1中、对应于图15所示的运动矢量所决定的空间距离滤波器的系数例的图。
图19是示出在上述实施方式1中、对应于图16所示的运动矢量所决定的空间距离滤波器的系数例的图。
图20是示出上述实施方式1中的滤波器系数决定部的详细结构的框图。
图21是示出上述实施方式1中的空间距离滤波器系数表的图。
图22是示出上述实施方式1中的存储有与像素值间差值对应的权重系数值的像素值间距离滤波器系数表的图。
图23是示出上述实施方式1中的降噪处理部的详细结构的框图。
图24是示出上述实施方式1中的图像处理装置的处理进程的流程图。
图25是示出本发明的实施方式2中的图像处理装置的结构的框图。
具体实施方式
以下，参照附图说明本发明的实施方式。
[实施方式1]
图1至图24示出本发明的实施方式1，图1是示出图像处理装置的结构的框图，图2是示意示出当前帧与前一帧的像素的位置关系的图。
在进行具体说明之前，参照图2说明在本实施方式中使用的表记的定义。
首先，假定时间由t表示，图像中的空间位置由r表示。不过，由于图像是二维，因而期望的是，空间位置r以矢量表记作为基准例如用粗体字符表示，然而在本文中用通常的字符代替。
然后，设作为处理对象图像的当前帧中的降噪处理对象的处理对象像素为P(r0，tc)。而且，设由处理对象像素P(r0，tc)和位于该处理对象像素P(r0，tc)的空间附近的周边像素构成的当前帧的提取块区域(第1预定区域)202内所包含的像素为P(r，tc)。
而且，将降噪后的前一帧中的提取块区域(第2预定区域)(而且，在图2中示出降噪前的前一帧中的提取块区域202。该提取块区域202被提取成包含与上述的处理对象像素P(r0，tc)为同一空间位置r0的像素P(r0，tp)。而且，这里假定提取块区域201是与提取块区域202同一尺寸的区域，然而如后所述不限于此)所包含的像素为Pn(r，tp)(另外，附给P的下标n表示是已进行了降噪处理的像素。并且，空间位置r0与处理对象像素P(r0，tc)相同的像素是Pn(r0，tp)。)。
并且，将当前帧的提取块区域的像素P(r，tc)相对于处理对象像素P(r0，tc)的差值设为D(r，tc)，根据以下算式进行定义。
D(r，tc)＝P(r，tc)-P(r0，tc)
式中，假定将r＝r0时的差值D定义为：
D(r0，tc)＝P(r0，tc)。
而且，设前一帧的提取块区域的像素Pn(r，tp)相对于处理对象像素P(r0，tc)的差值为D(r，tp)，根据以下算式进行定义。
D(r，tp)＝Pn(r，tp)-P(r0，tc)
然后，设针对当前帧的提取块区域的像素P(r，tc)的降噪用滤波器系数为C(r，tc)，设针对前一帧的提取块区域的像素Pn(r，tp)的降噪用滤波器系数为C(r，tp)，则降噪用滤波器处理后的处理对象像素Pr(r0，tc)按以下计算。
Pr(r0，tc)＝∑rC(r，tc)P(r，tc)+∑rC(r，tp)Pn(r，tp)
这里，符号“∑r”表示提取区域内的总和。并且，假定上述的各降噪用滤波器系数C(r，tc)、C(r，tp)满足下面的标准化条件。
∑r{C(r，tc)+C(r，tp)}＝1
并且，图3～图6示出分别用5×5像素的二维排列要素Pc、Pp、Dc、Dp表现上述P(r，tc)、Pn(r，tp)、D(r，tc)、D(r，tp)的例子。这里，图3是示出针对当前帧的处理对象像素的提取块区域(5×5像素)的图，图4是示出针对前一帧的空间位置与处理对象像素相同的像素的提取块区域(5×5像素)的图，图5是示出当前帧的差值块(5×5像素)的图，图6是示出前一帧的差值块(5×5像素)的图。
即，P(r，tc)对应于图3中用Pc00～Pc44表示的排列要素301，Pn(r，tp)对应于图4中用Pp00～Pp44表示的排列要素401，D(r，tc)对应于图5中用Dc00～Dc44表示的排列要素501，D(r，tp)对应于图6中用Dp00～Dp44表示的排列要素601。这里，处理对象像素的空间位置r0分别对应于位于各排列中央的要素即Pc22、Pp22、Dc22、Dp22。并且，根据上述的r＝r0时的差值D的定义，Dc22等于Pc22。
下面，参照图1说明本实施方式的图像处理装置的基本结构。
该图像处理装置具有：行存储器101；作为像素值间差值计算单元的像素值间差值计算部102；作为运动矢量计算单元的运动矢量计算部103；作为滤波器系数决定单元的滤波器系数决定部104；作为降噪单元的降噪处理部105；帧存储器106；控制部107；以及作为像素提取单元的区域提取部108。
数字动态图像信号例如按光栅扫描顺序被输入到行存储器101。这里，假定动态图像信号是这样的动态图像信号：例如经由未图示的摄像部的镜头成像在摄像元件上的光学像由该摄像元件进行光电转换而作为模拟信号被输出，然后该模拟信号进行A/D转换而成为数字数据。
该行存储器101构成为能存储多行的数据。更详细地说，行存储器101构成为至少能存储可包含由降噪处理部105进行了滤波处理的处理区域在内的行数的数据。
区域提取部108根据来自控制部107的控制信号，从存储在行存储器101内的多行数据中提取包含处理对象像素P(r0，tc)在内的附近的预定尺寸的块区域的各像素P(r，tc)，将提取出的块区域的各像素P(r，tc)分别输出到像素值间差值计算部102和降噪处理部105。
并且，区域提取部108根据来自控制部107的控制信号，从存储在帧存储器106内的降噪后的前一帧的输出图像数据中提取包含与处理对象像素P(r0，tc)为同一像素位置r0的像素Pn(r0，tp)在内的附近的预定块区域的各像素Pn(r，tp)，将提取出的块区域的各像素Pn(r，tp)分别输出到像素值间差值计算部102和降噪处理部105。
这里，帧存储器106构成为具有可存储2帧的图像数据的容量的环形缓存器。即，帧存储器106构成为，使用所输入的降噪后的当前帧图像的各像素Pn(r，tc)，改写已记录的降噪后的前一帧图像的各像素Pn(r，tp)。
像素值间差值计算部102根据所输入的像素P(r，tc)和其中的处理对象像素P(r0，tc)，如上所述计算差值D(r，tc)，然后，根据所输入的前一帧的像素Pn(r，tp)和当前帧的处理对象像素P(r0，tc)，如上所述计算差值D(r，tp)。然后，像素值间差值计算部102将计算出的差值D(r，tc)和D(r，tp)分别输出到运动矢量计算部103和滤波器系数决定部104。
运动矢量计算部103根据所输入的差值D(r，tc)和D(r，tp)计算运动矢量(这里，v也用通常字符代替粗体字符)，将计算出的运动矢量v输出到滤波器系数决定部104。并且，运动矢量计算部103将计算出的运动矢量v输出到其他处理部，以使得也能在例如手抖校正等其他处理中使用。
滤波器系数决定部104根据所输入的差值D(r，tc)和D(r，tp)以及运动矢量v，计算用于对当前帧的提取块区域的各像素P(r，tc)应用的滤波器系数C(r，tc)和用于对前一帧的提取块区域的各像素Pn(r，tp)应用的滤波器系数C(r，tp)，将计算出的滤波器系数C(r，tc)和C(r，tp)输出到降噪处理部105。
降噪处理部105根据从区域提取部108输入的当前帧的预定的提取块区域的像素P(r，tc)、从区域提取部108输入的前一帧的预定的提取块区域的像素Pn(r，tp)、从滤波器系数决定部104输入的滤波器系数C(r，tc)和C(r，tp)、以及从控制部107输入的噪声估计参数(如后所述，例如ISO灵敏度和增益量等)，针对处理对象像素P(r0，tc)进行降噪处理。然后，降噪处理部105将降噪后的处理对象像素Pn(r0，tc)输出到未图示的输出缓存器，并且还输出到帧存储器106。
接着，图7是示出运动矢量计算部103的详细结构的框图。
该运动矢量计算部103具有：区域选择部701；块匹配处理部702；作为噪声量估计单元的噪声量估计部703；以及运动矢量决定部704。
输入到运动矢量计算部103的来自像素值间差值计算部102的输出即提取块区域的差值D(r，tc)被输入到区域选择部701。于是，区域选择部701提取所输入的差值D(r，tc)的例如中央部的区域(另外，这里提取与提取块区域的一部分对应的差值D，然而也可以提取与提取块区域的全部对应的差值D(特别是，当使前一帧的提取块区域取大于当前帧的提取块区域的尺寸时等)。在该图7所示的例子中，运动矢量计算部103提取与图5所示的5×5像素的排列要素501的中央部的3×3像素区域对应的Dc11、Dc12、Dc13、Dc21、Dc22、Dc23、Dc31、Dc32、Dc33。然后，运动矢量计算部103按以下计算该提取区域内的累计值S。
S＝∑rDx(r，tc)+P(r0，tc)
这里的符号“∑r”表示由区域选择部701提取出的3×3像素区域内的总和。并且，Dx(r，tc)表示将提取出的中央部3×3像素区域的中央的Dc22＝Pc22置换为0(也就是说，设Dc22＝Pc22＝0)的区域内所包含的像素(在图7中，图示出该Dx(r，tc))。
运动矢量计算部103将计算出的累计值S输出到噪声量估计部703，并将Dx(r，tc)输出到块匹配处理部702。
这样，来自区域选择部701的差值数据提取区域的像素Dx(r，tc)被输入到块匹配处理部702。然后，来自像素值间差值计算部102的差值D(r，tp)被输入到该块匹配处理部702。然后，块匹配处理部702通过进行如下的运算，计算当前帧与前一帧的提取块内的相关值E(k)(这里，k也使用通常字符代替粗体字符)。
E(k)＝∑r|D(r+k，tp)-Dx(r，tc)|×W(k)
式中，假定在(r+k)超过前一帧的提取区域D(r+k，tp)的情况下，不追加加法运算处理。并且，W(k)是为了补充由于在外周部的相关值计算中使用的像素数减少从而变为较小值而设置的权重。这里，图8是示出与运动矢量计算中的块匹配结果相乘的权重W(k)的配置例的图。在该图8中，示出5×5像素的区域中的权重一例。
另外，在上述中，使用差值绝对值来进行相关值E(k)的计算，使得减少计算量，然而不限于此。当然，在计算量即使少许增大也没关系的情况下，可以使用例如平方和来计算相关值E(k)。
块匹配处理部702将这样计算出的相关值E(k)输出到运动矢量决定部704。
另一方面，来自控制部107的噪声估计参数被输入到噪声量估计部703，并且来自区域选择部701的提取区域的累计值S被输入到噪声量估计部703。然后，噪声量估计部703根据噪声估计参数和累计值S，估计噪声量。这里，图9是示出图像信号中所包含的噪声量(噪声统计量(标准偏差))与亮度级的关系的线图。在该图9中，将作为用于进行噪声量估计的噪声估计参数之一的噪声模型表描绘成7点(包含零在内的8点)的折线图形来示出。
这里，噪声模型表按以下构成。首先，利用生成噪声模型表的对象的摄像装置，预先拍摄特定的被摄体。该特定的被摄体是由多个不同亮度级的补片(patch)构成的被摄体，是亮度级在各补片的区域内均一的被摄体，可列举灰度图等为例。然后，将各区域内的平均值用作亮度级，将标准偏差用作噪声量，使这些亮度级和噪声量对应起来制表。
噪声量估计部703将上述提取区域累计值S用作亮度级，根据在该亮度级的上侧和下侧附近的2个登记亮度级，参照上述噪声模型表，取得与该2个登记亮度级对应的2个标准偏差。然后，噪声量估计部703根据上述2个登记亮度级和累计值S的亮度级对这2个标准偏差进行线性插补，针对累计值S的亮度级计算噪声量Nq0。然后，噪声量估计部703通过根据作为来自控制部107的噪声估计参数之一的摄像条件(ISO感光度和增益量这样的参数)校正计算出的噪声量Nq0，由此计算最终的估计噪声量Nq。该最终的估计噪声量Nq的计算例如按以下进行。
Nq＝Nq0×F(增益量，…)
这里，F(x，…)是具有1个以上变量的函数。
之后，噪声量估计部703将计算出的估计噪声量Nq输出到运动矢量决定部704。
然后，图10是示出运动矢量决定部704的详细结构的框图。
该运动矢量决定部704具有：相关值判定部1001，高相关区域候选提取部1002，以及重心计算部1003。
输入到运动矢量决定部704的估计噪声量Nq和相关值E(k)被输入到相关值判定部1001。于是，相关值判定部1001将估计噪声量Nq和相关值E(k)进行比较。不过，由于所输入的估计噪声量Nq是相对于1个像素的量，因而为了使估计噪声量Nq的大小与相关值E(k)的大小一致，相关值判定部1001将使估计噪声量Nq成为预定系数倍后的结果重新用作估计噪声量Nq，之后进行上述比较。
然后，相关值判定部1001在判定为相关值E(k)大于估计噪声量Nq的情况下，认为是相关低的区域而输出值0；在除此以外的情况下，认为是虽然被噪声埋没但具有相关高的可能性的区域，输出值1。
图11～图13示出5×5像素区域中的相关值E(k)的判定结果的若干例。这里，图11是示出当由相关值判定部1001判定为中央部的3×3像素区域的相关高时的5×5像素区域的图，图12是示出当由相关值判定部1001判定为左侧偏上方的E10和E12之间的相关高时的5×5像素区域的图，图13是示出当由相关值判定部1001判定为右上角部的E03、E04、E14的相关高时的5×5像素区域的图。另外，图11～图13中，阴影线的区域对应于认为具有相关高的可能性而设置了1的区域，除此以外的区域对应于认为相关低而设置了0的区域。
即，在图11的标号1101所示的例子中，认为中央部3×3像素区域的相关高而设置了值1，除此以外的区域认为相关低而设置了0。
并且，在图12的标号1201所示的例子中，认为E10和E12的相关高而设置了值1，除此以外的区域认为相关低而设置了0。
同样，在图13的标号1301所示的例子中，认为E03、E04、E14的相关高而设置了值1，除此以外的区域认为相关低而设置了0。
相关值判定部1001将这样进行了2值化后的相关值E(k)重新用作2值化相关值E(k)，输出到高相关区域候选提取部1002。
高相关区域候选提取部1002对在所输入的2值化相关值E(k)中设置了1的区域的中心位置E22计算位置矢量ke，将计算出的位置矢量ke输出到重心计算部1003。
重心计算部1003通过进行下面的计算来计算运动矢量v，将计算出的运动矢量v输出到滤波器系数决定部104。
V＝∑ke/Ne
这里，Ne是从高相关区域候选提取部1002输出的位置矢量的数量。
即，在所输入的2值化相关值E(k)例如相对于图11所示的中心位置E22为上下左右对称的情况下，重心计算部1003将图14的标号1401所示的零矢量计算为运动矢量v。这里，图14是示出针对图11所示的2值化相关值E(k)计算出的运动矢量v的图。
并且，在所输入的2值化相关值E(k)例如相对于图12所示的中心位置E22向左上方偏离的情况下，重心计算部1003将图15的标号1501所示的矢量计算为运动矢量v。这里，图15是示出针对图12所示的2值化相关值E(k)计算出的运动矢量v的图。
然后，在所输入的2值化相关值E(k)例如相对于图13所示的中心位置E22向右上角部偏离的情况下，重心计算部1003将图16的标号1601所示的矢量计算为运动矢量v。这里，图16是示出针对图13所示的2值化相关值E(k)计算出的运动矢量v的图。
然后，图20是示出滤波器系数决定部104的详细结构的框图。
该滤波器系数决定部104具有：空间距离滤波器系数表2000；作为最大权重位置决定单元和空间权重系数决定单元的空间距离滤波器系数选择部2001；作为像素值间距离权重系数决定单元的像素值间距离滤波器系数选择部2002；像素值间距离滤波器系数表2003；构成滤波器系数计算单元的乘法器2004；构成滤波器系数计算单元的标准化系数计算部2005；构成滤波器系数计算单元的滤波器系数计算部2006；以及构成滤波器系数计算单元的除数乘数转换部2007。
来自像素值间差值计算部102的输出即差值D(r，tc)和D(r，tp)、以及来自运动矢量计算部103的输出即运动矢量v被输入到滤波器系数决定部104。该各输入中的差值D(r，tc)和D(r，tp)被输入到像素值间距离滤波器系数选择部2002，运动矢量v被输入到空间距离滤波器系数选择部2001。
空间距离滤波器系数选择部2001将所输入的运动矢量v的二维坐标转换成从左上向右下的光栅扫描顺序的序列编号n。然后，空间距离滤波器系数选择部2001从存储在空间距离滤波器系数表2000内的图21的标号2101所示的索引是1到N的系数表中，选择序列编号n的表进行读入。这里，图21是示出空间距离滤波器系数表的图。并且，在各索引的表内存储有滤波器尺寸(例如5×5像素)的系数值。
并且，在运动矢量v是以像素间距作为精度的情况下，索引的总数N是与运动矢量计算区域的像素数相同的数量。或者，在运动矢量v是以半像素间距作为精度的情况下，索引的总数N是所述像素数的4倍的数量。
图17～图19示出所选择的例如5×5像素的滤波器系数值的例子。这里，图17是示出对应于图14所示的运动矢量所决定的空间距离滤波器的系数例的图，图18是示出对应于图15所示的运动矢量所决定的空间距离滤波器的系数例的图，图19是示出对应于图16所示的运动矢量所决定的空间距离滤波器的系数例的图。
即，在运动矢量是图14的标号1401所示的运动矢量的情况下，决定了图17的标号1701所示的滤波器系数。另外，该标号1701所示的滤波器系数也对应于与当前帧的提取块的差值D(r，tc)对应的空间距离滤波器。
并且，在运动矢量是图15的标号1501所示的运动矢量的情况下，决定了图18的标号1801所示的滤波器系数。
而且，在运动矢量是图16的标号1601所示的运动矢量的情况下，决定了图19的标号1901所示的滤波器系数。
另外，图17～图19所示的滤波器系数值是为了示出滤波器系数根据运动矢量进行二维变化的情况而作了例示，并不限定于该各图所示的滤波器系数值。
该图17～图19所示的滤波器系数是根据高斯函数Gs(r)＝Aexp{-(r-v)2/2σs 2}构成的滤波器系数。高斯函数的中心位置(r＝v)(该中心位置是最大权重位置)对应于在图17～图19中施加了阴影线的位置，具有系数值根据距该中心位置的空间距离|r|而减小的特性。也就是说，图17～图19所示的滤波器系数设置成：使高斯函数的滤波器移动以使得用运动矢量表示的位置v作为中心位置，并提取出核心尺寸区域(在图示的例子中是5×5像素尺寸的区域)。
另外，这里说明了使用高斯函数来构成滤波器系数的例子，然而不限于此，当然可以使用高斯函数以外的函数来构成滤波器系数。
空间距离滤波器系数选择部2001将这样选择出的空间距离滤波器系数输出到乘法器2004。
另一方面，像素值间距离滤波器系数选择部2002分别取得从像素值间差值计算部102输入的差值D(r，tc)和D(r，tp)的绝对值来作为像素值间距离，从像素值间距离滤波器系数表2003中选择与这些像素值间距离对应的滤波器系数，将所选择的滤波器系数输出到乘法器2004。
这里，图22是示出存储有与像素值间差值对应的权重系数值的像素值间距离滤波器系数表的图。标号2201例示的像素值间距离滤波器系数表具有从0到M的索引，对应于差值绝对值的可取范围。然后，像素值间距离滤波器系数表存储着输入了像素值间距离(差值绝对值)时的预定函数值。
另外，像素值间距离滤波器可以与上述的空间距离滤波器一样根据高斯函数Gd(d)＝Bexp{-d2/2σd 2}(这里d是像素值间距离)来设计，或者也可以根据函数值随着变量值增大而减小的任意函数(例如有理函数等)来设计。
来自空间距离滤波器系数选择部2001的空间距离滤波器系数、和来自像素值间距离滤波器系数选择部2002的像素值间距离滤波器系数是针对每个相同滤波器系数位置，通过乘法器2004进行乘法运算而成为双向滤波器系数值的。然后，该双向滤波器系数值被输出到滤波器系数计算部2006和标准化系数计算部2005。这里，由于计算出的双向滤波器系数值在核心内的总和一般不能固定为1而是可变，因而通过滤波器系数计算部2006进行用于使滤波器系数的总和成为1的滤波器系数校正。
因此，首先由标准化系数计算部2005计算与所输入的当前帧和前一帧的提取块分别对应的双向滤波器系数值的总和，作为标准化系数值输出到除数乘数转换部2007。
除数乘数转换部2007具有将输入值转换为倒数的表，将所输入的标准化系数值转换为倒数，并输出到滤波器系数计算部2006。
滤波器系数计算部2006通过将标准化系数值的倒数乘以所输入的双向滤波器系数值，由此求出总和为1的滤波器系数C(r，tc)、C(r，tp)，将求出的滤波器系数C(r，tc)、C(r，tp)输出到降噪处理部105。
另外，上述滤波器系数用于双向滤波器，然而取而代之，可以用于仅使用空间距离的单向滤波器。在该情况下，尽管相对于陡峭的边缘结构而言的保存性下降，然而在保持细微结构方面可充分发挥功能。
然后，图23是示出降噪处理部105的详细结构的框图。
该降噪处理部105具有：基准信号计算部2301，核化处理部2302，以及噪声量估计部2303。
从区域提取部108输出的提取块区域的像素P(r，tc)、Pn(r，tp)和处理对象像素P(r0，tc)、从滤波器系数决定部104输出的滤波器系数C(r，tc)和C(r，tp)、以及从控制部107输出的噪声估计参数被输入到降噪处理部105。该各输入中的提取块区域的像素P(r，tc)和Pn(r，tp)以及滤波器系数C(r，tc)和C(r，tp)被输入到基准信号计算部2301，处理对象像素P(r0，tc)被输入到核化处理部2302，噪声估计参数被输入到噪声量估计部2303。
基准信号计算部2301根据所输入的像素P(r，tc)和Pn(r，tp)以及滤波器系数C(r，tc)和C(r，tp)，进行以下那样的滤波器处理，将处理结果输出到噪声量估计部2303和核化处理部2302。
Pr(r0，tc)＝∑rC(r，tc)P(r，tc)+∑rC(r，tp)Pn(r，tp)
噪声量估计部2303根据所输入的基准信号Pr(r0，tc)和上述的噪声估计参数(ISO灵敏度、信号增益量、传感器温度、曝光时间、以及噪声模型表)估计噪声量，将估计出的噪声量输出到核化处理部2302。这里，对于该噪声量估计部2303的噪声量估计，除了使用基准信号Pr(r0，tc)取代提取区域累计值S来作为亮度级这一方面以外，与运动矢量计算部103内所包含的噪声量估计部703相同，因而省略说明。
核化处理部2302根据所输入的基准信号Pr(r0，tc)、处理对象像素P(r0，tc)以及估计噪声量Nq，进行基于以下条件的核化处理，从而计算降噪后的处理对象像素Pn(r0，tc)，将计算出的降噪后的处理对象像素Pn(r0，tc)分别输出到未图示的输出缓存器和帧存储器106。
|P(r0，tc)-Pr(r0，tc)|＜Nq时
Pn(r0，tc)＝Pr(r0，tc)
P(r0，tc)-Pr(r0，tc)≥Nq时
Pn(r0，tc)＝P(r0，tc)-Nq
P(r0，tc)-Pr(r0，tc)≤-Nq时
Pn(r0，tc)＝P(r0，tc)+Nq
另外，这里使降噪处理部105采用图23所示的结构，然而不限于这样的结构，可以采用从该图23所示的结构中省略噪声量估计部和核化处理部后的更简单的结构。在该情况下，降噪处理是将基准信号Pr(r0，tc)用作降噪后的处理对象像素Pn(r0，tc)的处理，也就是说，
Pn(r0，tc)＝Pr(r0，tc)
图24是示出图像处理装置的处理进程的流程图。
开始该处理后，使帧存储器106的内容初始化为零(步骤S2401)。
然后，将按光栅扫描顺序输入的输入图像信号按预定行数存储在行存储器101内(步骤S2402)。例如，在利用降噪处理部105针对5×5像素的提取像素块进行降噪处理的情况下，在该步骤S2402中要存储的是例如4行。
接下来，在输入图像信号是从行的开头起第5像素(在提取像素块的水平方向的像素数是5个像素的情况下)以下的情况下，将5个像素存储在行存储器101内，在是第6像素以上的情况下，将1个像素存储在行存储器101内(步骤S2403)。由此，例如在步骤S2402中已在行存储器101内存储了4行的情况下，在该步骤S2403中存储4行+5个像素，能将最初的5×5像素用作提取块。并且，在行存储器101内已存储了例如4行+5个像素的情况下，在该步骤S2403中存储4行+6个像素，能使提取块水平错开1个像素，也就是说，能使处理对象像素水平移动1个像素。
因此，利用区域提取部108从行存储器101中提取当前帧的处理对象块区域的像素P(r，tc)(步骤S2404)。
然后，利用区域提取部108从帧存储器106中提取前一帧的处理对象块区域的像素Pn(r，tp)(步骤S2405)。
然后，通过利用像素值间差值计算部102求出P(r，tc)以及Pn(r，tp)与处理对象像素P(r0，tc)之间的差值，由此计算像素值间差值D(r，tc)和D(r，tp)(步骤S2406)。
之后，利用运动矢量计算部103，使用像素值间差值D(r，tc)和D(r，tp)来计算运动矢量v(步骤S2407)。
然后，利用滤波器系数决定部104，根据像素值间差值D(r，tc)和D(r，tp)以及运动矢量v，计算滤波器系数C(r，tc)和C(r，tp)(步骤S2408)。
然后，利用降噪处理部105，根据滤波器系数C(r，tc)和C(r，tp)以及像素P(r，tc)和Pn(r，tp)，计算进行了降噪的处理对象像素Pn(r0，t0)(步骤S2409)。
然后，将计算出的降噪后的处理对象像素Pn(r0，t0)分别存储在未图示的输出缓存器和帧存储器内(步骤S2410)。
之后，判定帧像素数量的处理是否结束(步骤S2411)，在判定为帧像素数量的处理未结束的情况下，回到步骤S2403，重复进行上述的处理。
另一方面，在判定为帧像素数量的处理结束的情况下，进一步判定预定处理帧数量的处理是否结束(步骤S2412)。
这里，在判定为预定处理帧数量的处理还未结束的情况下，回到步骤S2402，按上述进行下一帧的处理。
并且，在判定为预定处理帧数量的处理结束的情况下，结束全部该一系列处理。
根据这样的实施方式1，由于根据动态图像信号的小振幅的变动来变更使前一帧的提取块进行作用的滤波器系数，因而能进行保持了细微结构的降噪。
并且，针对大的变动，由于根据像素值间差值来变更滤波器系数，因而能抑制边缘部变弱。
而且，估计噪声量，根据估计出的噪声量决定运动矢量，因此，尽管针对没有强的边缘等特征的图像区域计算出的运动矢量原本没有时间方向的相关性，然而可减少起因于噪声而被误检测为运动矢量的情况。
[实施方式2]
图25示出本发明的实施方式2，是示出图像处理装置的结构的框图。在该实施方式2中，对于与上述实施方式1相同的部分附上相同标号而省略说明，主要仅说明不同点。
首先，说明在该实施方式2中使用的表记的定义与在上述实施方式1中使用的表记的定义的不同。在该实施方式2中，使用未进行降噪的前一帧的信号(即，不是巡回型降噪处理)。因此，由于前一帧未进行降噪，因而前一帧的提取块区域的表记为P(r，tp)。
伴随于此，针对前一帧的提取块区域的差值D(r，tp)的定义为下式。
D(r，tp)＝P(r，tp)-P(r0，tc)
然后，降噪用滤波器处理后的处理对象像素Pr(r0，tc)的定义为下式。
Pr(r0，tc)＝∑rC(r，tc)P(r，tc)+∑rC(r，tp)P(r，tp)
然后，如图25所示，本实施方式的图像处理装置具有：开关2501；帧存储器2502；帧存储器2503；作为像素提取单元的区域提取部2504；像素值间差值计算部102；运动矢量计算部103；滤波器系数决定部104；降噪处理部105；以及控制部107。
数字的动态图像信号例如按光栅扫描顺序被输入到开关2501。这里，动态图像信号是这样的动态图像信号：例如经由未图示的摄像部的镜头成像在摄像元件上的光学像由该摄像元件进行光电转换而作为模拟信号被输出，然后该模拟信号进行A/D转换而成为数字数据。
开关2501将所输入的动态图像信号的输出目的地切换到帧存储器2502或帧存储器2503。该开关2501的输出目的地的切换是根据控制部107的控制按每个帧期间进行的。
区域提取部2504根据控制部107的控制信号，判定存储在帧存储器2502和帧存储器2503内的数据内的哪一方是当前帧的数据、且另外哪一方是前-帧的数据，根据判定结果，从当前帧的数据中提取包含处理对象像素P(r0，tc)在内的附近的预定尺寸的块区域的像素P(r，tc)，并从前一帧的数据中提取预定块区域的像素P(r，tp)。然后，区域提取部2504将这些提取块区域的像素P(r，tc)和P(r，tp)输出到像素值间差值计算部102和降噪处理部105。
像素值间差值计算部102根据所输入的P(r，tc)和P(r0，tc)计算差值D(r，tc)，然后，根据所输入的P(r，tp)和P(r0，tc)计算差值D(r，tp)。然后，像素值间差值计算部102将计算出的差值D(r，tc)和D(r，tp)分别输出到运动矢量计算部103和滤波器系数决定部104。
运动矢量计算部103根据所输入的差值D(r，tc)和D(r，tp)计算运动矢量v，将计算出的运动矢量v输出到滤波器系数决定部104。
滤波器系数决定部104根据所输入的差值D(r，tc)和D(r，tp)以及运动矢量v，计算滤波器系数C(r，tc)和C(r，tp)，将计算出的滤波器系数C(r，tc)和C(r，tp)输出到降噪处理部105。
降噪处理部105根据从区域提取部2504输入的当前帧的预定的提取块区域的像素P(r，tc)、从区域提取部2504输入的前一帧的预定的提取块区域的像素P(r，tp)、从滤波器系数决定部104输入的滤波器系数C(r，tc)和C(r，tp)、以及从控制部107输入的用于调整降噪量的噪声估计参数，针对处理对象像素P(r0，tc)进行降噪处理。然后，降噪处理部105将进行了降噪后的处理对象像素Pn(r0，tc)输出到未图示的输出缓存器。
根据这样的实施方式2，与上述的实施方式1大致一样，由于根据动态图像信号的小振幅的变动来变更使前一帧的提取块进行作用的滤波器系数，因而能进行保持了细微结构的降噪。并且，针对大的变动，由于根据像素值间差值变更滤波器系数，因而能抑制边缘部变弱。
并且，该实施方式2由于不采用上述的实施方式1那样的巡回型滤波器结构，因而不能期待与上述的实施方式1相同的降噪效果，然而即使在起因于运动矢量的误检测等而使细微结构在某帧中例如消失的情况下，也能另行获得在短期间中(例如下一帧中)消除该影响的效果。
另外，在上述的各实施方式中，使前一帧的提取块尺寸和当前帧的提取块尺寸相同，但是无需特意这样。例如，可考虑使前一帧的提取块尺寸大于当前帧的提取块尺寸。在该情况下，能计算更宽范围内的运动矢量。并且，在该情况下，由于还能使用当前帧的提取块整体来进行运动矢量的块匹配，因而能提高运动矢量检测精度。
而且，在上述的各实施方式中，采用大致同时实施运动矢量计算处理、滤波器系数计算处理以及降噪处理的结构，将帧存储器所需要的存储器尺寸抑制到最低限度。然而，不限于此，还能将运动矢量计算处理与其他处理分开，设置在其他处理的前面。然而在该情况下，有必要另行准备好用于计算运动矢量的帧存储器。
另外，本发明并不限定于上述的实施方式，可在实施阶段中在不背离本发明主旨的范围内对构成要素进行变形来具体化。并且，通过将上述实施方式公开的多个构成要素适当组合，可形成各种发明。例如，可以从实施方式所示的全部构成要素中删除若干构成要素。而且，可以将不同实施方式中的构成要素适当组合。这样，当然能在不背离发明主旨的范围内进行各种变形和应用。
本申请是以2007年11月21日在日本提交的日本特願2007-302099号作为优先权主张的基础来进行申请的，上述公开内容被引用在本申请说明书、权利要求书和附图中。

Claims (14)

1.一种图像处理装置，该图像处理装置对按时间序列输入的图像进行降噪处理，其特征在于，所述图像处理装置具有：
像素提取单元，其提取处理对象图像内的包含对象像素在内的第1预定区域的多个像素、以及该处理对象图像之前的过去图像的包含空间位置与所述对象像素相同的像素在内的第2预定区域的多个像素；
运动矢量计算单元，其根据所述第1预定区域内的一部分或全部像素、以及所述第2预定区域内的一部分像素，计算所述第1预定区域相对于所述过去图像的运动矢量；
滤波器系数决定单元，其根据所述运动矢量，决定针对所述第2预定区域的多个像素的滤波器系数；以及
降噪单元，其根据所述第2预定区域的多个像素和所述滤波器系数，降低所述对象像素的噪声。
2.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还具有像素值间差值计算单元，该像素值间差值计算单元计算由所述像素提取单元提取出的所述第1预定区域内的像素的像素值以及所述第2预定区域内的像素的像素值与上述对象像素的像素值之间的差值，
所述运动矢量计算单元根据针对所述第1预定区域内的一部分或全部像素的所述差值、以及针对所述第2预定区域内的一部分像素的所述差值，计算所述第1预定区域相对于所述过去图像的运动矢量。
3.根据权利要求2所述的图像处理装置，其特征在于，上述滤波器系数决定单元根据所述像素值间的差值和所述运动矢量，决定针对所述第2预定区域的多个像素的滤波器系数，并决定针对所述第1预定区域的多个像素的滤波器系数，
上述降噪单元根据所述第1预定区域的多个像素、所述第2预定区域的多个像素以及所述滤波器系数，降低所述对象像素的噪声。
4.根据权利要求1至权利要求3中任一项所述的图像处理装置，其特征在于，上述运动矢量计算单元构成为具有估计针对上述对象像素的噪声量的噪声量估计单元，并根据估计出的所述噪声量决定运动矢量。
5.根据权利要求1至权利要求4中任一项所述的图像处理装置，其特征在于，上述滤波器系数决定单元构成为具有：
最大权重位置决定单元，其根据上述运动矢量决定最大权重位置；以及
空间距离权重系数决定单元，其根据距所述最大权重位置的空间距离，决定针对所述预定区域的像素的空间距离权重系数。
6.根据权利要求3所述的图像处理装置，其特征在于，上述滤波器系数决定单元构成为具有：
最大权重位置决定单元，其根据上述运动矢量决定最大权重位置；
空间距离权重系数决定单元，其根据距所述最大权重位置的空间距离，决定针对所述预定区域的像素的空间距离权重系数；
像素值间距离权重系数决定单元，其根据上述像素值间的差值，决定针对所述预定区域的像素的像素值间距离权重系数；以及
滤波器系数计算单元，其根据所述空间距离权重系数和所述像素值间距离权重系数，计算针对所述预定区域的像素的滤波器系数。
7.根据权利要求1至权利要求6中任一项所述的图像处理装置，其特征在于，所述过去图像是由所述降噪单元降低了噪声后的图像。
8.一种图像处理方法，该图像处理方法对按时间序列输入的图像进行降噪处理，其特征在于，所述图像处理方法具有：
像素提取步骤，提取处理对象图像内的包含对象像素在内的第1预定区域的多个像素、以及该处理对象图像之前的过去图像的包含空间位置与所述对象像素相同的像素在内的第2预定区域的多个像素；
运动矢量计算步骤，根据所述第1预定区域内的一部分或全部像素、以及所述第2预定区域内的一部分像素，计算所述第1预定区域相对于所述过去图像的运动矢量；
滤波器系数决定步骤，根据所述运动矢量，决定针对所述第2预定区域的多个像素的滤波器系数；以及
降噪步骤，根据所述第2预定区域的多个像素和所述滤波器系数，降低所述对象像素的噪声。
9.根据权利要求8所述的图像处理方法，其特征在于，所述图像处理方法还具有像素值间差值计算步骤，该像素值间差值计算步骤计算由所述像素提取步骤提取出的所述第1预定区域内的像素的像素值以及所述第2预定区域内的像素的像素值与上述对象像素的像素值之间的差值，
所述运动矢量计算步骤是这样的步骤：根据针对所述第1预定区域内的一部分或全部像素的所述差值、以及针对所述第2预定区域内的一部分像素的所述差值，计算所述第1预定区域相对于所述过去图像的运动矢量。
10.根据权利要求9所述的图像处理方法，其特征在于，上述滤波器系数决定步骤是这样的步骤：根据所述像素值间的差值和所述运动矢量，决定针对所述第2预定区域的多个像素的滤波器系数，并决定针对所述第1预定区域的多个像素的滤波器系数，
上述降噪步骤是这样的步骤：根据所述第1预定区域的多个像素、所述第2预定区域的多个像素以及所述滤波器系数，降低所述对象像素的噪声。
11.根据权利要求8至权利要求10中任一项所述的图像处理方法，其特征在于，上述运动矢量计算步骤是这样的步骤：包含估计针对上述对象像素的噪声量的噪声量估计步骤，并根据估计出的所述噪声量决定运动矢量。
12.根据权利要求8至权利要求11中任一项所述的图像处理方法，其特征在于，上述滤波器系数决定步骤包含以下步骤：
最大权重位置决定步骤，根据上述运动矢量决定最大权重位置；以及
空间距离权重系数决定步骤，根据距所述最大权重位置的空间距离，决定针对所述预定区域的像素的空间距离权重系数。
13.根据权利要求10所述的图像处理方法，其特征在于，上述滤波器系数决定步骤包含以下步骤：
最大权重位置决定步骤，根据上述运动矢量决定最大权重位置；
空间距离权重系数决定步骤，根据距所述最大权重位置的空间距离，决定针对所述预定区域的像素的空间距离权重系数；
像素值间距离权重系数决定步骤，根据上述像素值间的差值，决定针对所述预定区域的像素的像素值间距离权重系数；以及
滤波器系数计算步骤，根据所述空间距离权重系数和所述像素值间距离权重系数，计算针对所述预定区域的像素的滤波器系数。
14.根据权利要求8至权利要求13中任一项所述的图像处理方法，其特征在于，所述过去图像是由所述降噪步骤降低了噪声后的图像。
CN2008801173585A 2007-11-21 2008-11-13 图像处理装置和图像处理方法 Expired - Fee Related CN101868966B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007302099A JP5052301B2 (ja) 2007-11-21 2007-11-21 画像処理装置、画像処理方法
JP2007-302099 2007-11-21
PCT/JP2008/070673 WO2009066603A1 (ja) 2007-11-21 2008-11-13 画像処理装置、画像処理方法

Publications (2)

Publication Number Publication Date
CN101868966A true CN101868966A (zh) 2010-10-20
CN101868966B CN101868966B (zh) 2013-04-10

Family

ID=40667427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801173585A Expired - Fee Related CN101868966B (zh) 2007-11-21 2008-11-13 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US8373777B2 (zh)
EP (1) EP2216984A4 (zh)
JP (1) JP5052301B2 (zh)
CN (1) CN101868966B (zh)
WO (1) WO2009066603A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103889305A (zh) * 2011-10-04 2014-06-25 奥林巴斯株式会社 图像处理装置、内窥镜装置、图像处理方法及图像处理程序
CN105391921A (zh) * 2014-09-02 2016-03-09 佳能株式会社 摄像装置、摄像装置的控制方法及图像传感器
TWI582415B (zh) * 2014-06-19 2017-05-11 斯克林集團公司 影像處理裝置，影像取得裝置，影像處理方法及影像取得方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5306061B2 (ja) 2009-06-01 2013-10-02 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5289288B2 (ja) * 2009-11-27 2013-09-11 三菱電機株式会社 ノイズ除去装置及びノイズ除去方法
JP5603676B2 (ja) * 2010-06-29 2014-10-08 オリンパス株式会社 画像処理装置及びプログラム
JP5558431B2 (ja) * 2011-08-15 2014-07-23 株式会社東芝 画像処理装置、方法及びプログラム
JP2013055381A (ja) * 2011-08-31 2013-03-21 Ricoh Co Ltd 撮像装置及び撮像方法並びに携帯情報端末装置
TW201318418A (zh) * 2011-10-26 2013-05-01 Novatek Microelectronics Corp 降低影像雜訊的方法及相關裝置
JP6135526B2 (ja) * 2014-01-30 2017-05-31 株式会社リガク 画像処理方法および画像処理装置
JP2015177270A (ja) * 2014-03-13 2015-10-05 株式会社東芝 視差画像生成装置
JP6415066B2 (ja) * 2014-03-20 2018-10-31 キヤノン株式会社 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
TWI536319B (zh) * 2014-06-24 2016-06-01 瑞昱半導體股份有限公司 去雜訊方法以及影像系統
JP6336341B2 (ja) * 2014-06-24 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US9836831B1 (en) * 2014-07-30 2017-12-05 Google Inc. Simulating long-exposure images
US10009544B2 (en) * 2014-09-02 2018-06-26 Canon Kabushiki Kaisha Image capturing apparatus, control method of the same and image sensor
JP6841097B2 (ja) 2017-03-09 2021-03-10 富士通株式会社 動き量算出プログラム、動き量算出方法、動き量算出装置及び業務支援システム
US10728548B2 (en) * 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
CN109462728B (zh) * 2017-09-06 2020-01-14 浙江宇视科技有限公司 码率控制方法、装置、图像采集设备及可读存储介质
KR102467240B1 (ko) * 2018-02-05 2022-11-15 한화테크윈 주식회사 영상의 잡음 제거 장치 및 방법
EP3570248A1 (en) * 2018-05-14 2019-11-20 InterDigital CE Patent Holdings Method and apparatus for processing a video content based on confidence-aware guided video filtering and corresponding computer readable program product and computer readable storage medium
US10755387B2 (en) * 2018-08-09 2020-08-25 Dreamworks Animation Llc Firefly detection using a plurality of buffers
TWI703864B (zh) * 2019-07-04 2020-09-01 瑞昱半導體股份有限公司 基於雜訊比的去雜訊方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110049B2 (ja) 1989-01-10 1995-11-22 日本電気株式会社 ノイズリダクション回路
JP2826018B2 (ja) 1992-08-07 1998-11-18 シャープ株式会社 ビデオ信号のノイズ低減システム
JP3468546B2 (ja) 1993-06-02 2003-11-17 株式会社日立製作所 画像信号処理装置
JPH1013718A (ja) * 1996-06-18 1998-01-16 Oki Electric Ind Co Ltd ノイズ除去回路
JP2001136416A (ja) * 1999-08-20 2001-05-18 Sony Corp 信号処理装置及び方法
AU2003246185A1 (en) * 2002-06-25 2004-01-06 Matsushita Electric Industrial Co., Ltd. Motion detection device and noise reduction device using that
US7391450B2 (en) * 2002-08-16 2008-06-24 Zoran Corporation Techniques for modifying image field data
JP2007506348A (ja) * 2003-09-23 2007-03-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インバンド動き補償時間フィルタリングを利用したビデオノイズ除去アルゴリズム
US7295616B2 (en) * 2003-11-17 2007-11-13 Eastman Kodak Company Method and system for video filtering with joint motion and noise estimation
JP4966015B2 (ja) * 2003-12-01 2012-07-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動きボケ低減のための帯域通過フィルタを用いた動き補償逆フィルタリング
JP4755490B2 (ja) * 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
KR100672328B1 (ko) * 2005-01-18 2007-01-24 엘지전자 주식회사 영상신호의 잡음 크기 추정 장치
EP1872590B1 (en) * 2005-04-19 2014-10-22 Telecom Italia S.p.A. Method and apparatus for digital image coding
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
JP2007243627A (ja) * 2006-03-09 2007-09-20 Shibasoku:Kk ビデオ信号処理装置
JP4266227B2 (ja) * 2006-03-20 2009-05-20 株式会社東芝 動画像信号処理装置
JP2007274067A (ja) * 2006-03-30 2007-10-18 Mitsubishi Electric Corp ノイズ除去装置、ノイズ除去方法、および映像信号表示装置
JP2007302099A (ja) 2006-05-10 2007-11-22 Auto Technica:Kk 操作ペダルの支持構造
JP4337857B2 (ja) * 2006-09-28 2009-09-30 ソニー株式会社 画像データのノイズ処理方法及びノイズ処理装置並びに撮像装置
JP4653059B2 (ja) * 2006-11-10 2011-03-16 オリンパス株式会社 撮像システム、画像処理プログラム
JP4885690B2 (ja) * 2006-11-28 2012-02-29 株式会社エヌ・ティ・ティ・ドコモ 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置
JP2009071689A (ja) * 2007-09-14 2009-04-02 Sony Corp 画像処理装置、画像処理方法および撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103889305A (zh) * 2011-10-04 2014-06-25 奥林巴斯株式会社 图像处理装置、内窥镜装置、图像处理方法及图像处理程序
CN103889305B (zh) * 2011-10-04 2016-08-31 奥林巴斯株式会社 图像处理装置、内窥镜装置及图像处理方法
TWI582415B (zh) * 2014-06-19 2017-05-11 斯克林集團公司 影像處理裝置，影像取得裝置，影像處理方法及影像取得方法
CN105391921A (zh) * 2014-09-02 2016-03-09 佳能株式会社 摄像装置、摄像装置的控制方法及图像传感器
US9906749B2 (en) 2014-09-02 2018-02-27 Canon Kabushiki Kaisha Image capturing apparatus capable of generating and adding pixel region information to image data, method of controlling the same, and image sensor
CN105391921B (zh) * 2014-09-02 2019-01-04 佳能株式会社 摄像装置、摄像装置的控制方法及图像传感器

Also Published As

Publication number Publication date
JP2009130537A (ja) 2009-06-11
EP2216984A4 (en) 2011-04-06
US8373777B2 (en) 2013-02-12
WO2009066603A1 (ja) 2009-05-28
CN101868966B (zh) 2013-04-10
EP2216984A1 (en) 2010-08-11
JP5052301B2 (ja) 2012-10-17
US20100225790A1 (en) 2010-09-09

Similar Documents

Publication Publication Date Title
CN101868966B (zh) 图像处理装置和图像处理方法
US10606918B2 (en) Configurable convolution engine
CN110827200B (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
KR102485885B1 (ko) 싱글-샷 hdr 컬러 이미지 센서로부터 hdr 이미지 생성
JP6024107B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US8379120B2 (en) Image deblurring using a combined differential image
CN101516001B (zh) 数字拍摄设备及其控制方法和记录介质
US9041834B2 (en) Systems and methods for reducing noise in video streams
CN111898701A (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
JP6160292B2 (ja) 画像補正装置、撮像装置及び画像補正用コンピュータプログラム
US10769474B2 (en) Keypoint detection circuit for processing image pyramid in recursive manner
US8121429B2 (en) Image processing apparatus, image-capturing apparatus, image processing method, and program
US9811892B1 (en) Separating sub-band image data for processing and merging with unprocessed image data
US10893223B2 (en) Systems and methods for rolling shutter compensation using iterative process
JP5810778B2 (ja) 画像処理装置および画像処理方法
US20200051210A1 (en) Image pipeline with dual demosaicing circuit for efficient image processing
JP3318248B2 (ja) 画質改善装置及び記録媒体
EP2631871B1 (en) Virtual image generation
Koh et al. Robust video stabilization based on mesh grid warping of rolling-free features
Spruck et al. Motion-adapted Three-dimensional Frequency Selective Extrapolation
CN118155009A (zh) 训练数据的生成方法、装置、电子设备和存储介质
CN117793316A (zh) 自动避障投影方法、装置、投影仪及计算机可读存储介质
Vijay et al. HDR imaging in the presence of motion blur.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130410

Termination date: 20191113

CF01 Termination of patent right due to non-payment of annual fee