CN105229998B - 图像处理装置、方法和计算机可读介质 - Google Patents
图像处理装置、方法和计算机可读介质 Download PDFInfo
- Publication number
- CN105229998B CN105229998B CN201480027522.9A CN201480027522A CN105229998B CN 105229998 B CN105229998 B CN 105229998B CN 201480027522 A CN201480027522 A CN 201480027522A CN 105229998 B CN105229998 B CN 105229998B
- Authority
- CN
- China
- Prior art keywords
- blending ratio
- unit
- value
- input picture
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 12
- 238000002156 mixing Methods 0.000 claims abstract description 259
- 230000008859 change Effects 0.000 claims abstract description 34
- 239000000203 mixture Substances 0.000 claims abstract description 25
- 238000003672 processing method Methods 0.000 claims description 6
- 101150030072 CNTF gene Proteins 0.000 description 33
- 238000010586 diagram Methods 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 24
- 230000000694 effects Effects 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 238000003780 insertion Methods 0.000 description 11
- 230000037431 insertion Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
- H04N5/213—Circuitry for suppressing or minimising impulsive noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明的目的是充分地降低运动图像中的噪声。每次当输入图像被输入时，判定部判定所述输入图像与已被输出的输出图像中的像素值分布的变化量是否小于预定阈值。混合比率供给部供给随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述输出图像混合时所述输出图像的混合比率。每次当所述输入图像被输入时，混合部基于被供给过来的所述混合比率将所述输入图像和所述输出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像。
Description
技术领域
本技术涉及图像处理装置、摄像装置、图像处理方法和用于致使计算机执行该方法的程序。具体地，本技术涉及能够降低运动图像的噪声的图像处理装置、摄像装置、图像处理方法以及用于致使计算机执行该方法的程序。
背景技术
为了降低混合在运动图像中的噪声，从过去就已经使用了被称为三维降噪(3DNR：3-dimensional noise reduction)的技术。3DNR是通过把在时间轴上连续的两个二维(2D：two-dimensional)帧混合而降低噪声的技术。在3DNR中，一般地，每次当输入帧被输入时，图像处理装置将在先输出的输出帧和当前输入帧混合，以便生成当前输出帧。在这样的混合时，曾提出了如下的图像处理装置：其使在先输出帧和当前输入帧相互比较以便获得运动量，且随着所述运动量的变大而使在先输出帧的混合比率变低(参见例如专利文献1)。
引用文献列表
专利文献
专利文献1：日本专利申请特开第2010-4266号
发明内容
本发明所要解决的技术问题
然而，在上述的相关技术中，有可能无法充分地降低噪声。即，因为上述的图像处理装置根据运动量来决定混合比率，所以当运动量恒定不变的状态持续发生时，各输出帧就会根据该恒定不变的混合比率而被混合。当在多个输入帧上该混合比率为恒定不变时，就存在着如下可能性：这些输入帧不会以均等比率与输出帧混合。
例如，当连续的输入帧F1、F2和F3按照时间顺序被输入且输出帧的混合比率是恒定值α时，输入帧F1没有变化地首先被输出从而作为输出帧F1'。接着，比率为α的在先输出帧F1'(即，输入帧F1)和比率为 (1-α)的输入帧F2被混合，从而输出输出帧F2'。然后，比率为α的在先输出帧F2'和比率为(1-α)的输入帧F3被混合，从而输出输出帧F3'。因为输出帧F2'中的输入帧F1和F2的比率是α:(1-α)，所以输出帧F3'中的输入帧F1、F2和F3的比率是α2:α(1-α):(1-α)。关于混合比率α，通常被设定为小于“1”的值，这样，在输出帧中，越早过去的输入帧就具有越小的比率。因此，存在着这样的可能性：当混合比率为恒定不变时，无法充分地降低噪声。
而且，当在运动图像中出现强烈的运动时，存在着如下可能：输出帧中的各输入帧之间的比率差别被增大了。例如，设想这样的一种情况：输入帧F1与F2之间的变化是大的变化，且下一个输入帧F3及其随后的各帧在相邻的帧之间具有小的变化。在这种情况下，因为输入帧F1与 F2之间的变化大，所以在将输入帧F1和F2混合时，输入帧F1以高的混合比率α而被混合。与此相反，输入帧F2及其随后的各输入帧在相邻的帧之间具有小的变化，且这些输入帧以较低的混合比率而被混合。结果，输入帧F1以比跟在输入帧F1之后的各输入帧的比率高的比率而被混合，并且降噪效果受到损失。
本技术是鉴于如上所述的情形而被做出的，且本技术的目的是充分地降低运动图像中的噪声。
解决技术问题所采取的技术方案
为了消除上述问题而做出了本技术。根据本技术的第一方面，提供了图像处理装置、图像处理方法和致使计算机执行所述图像处理方法的程序。所述图像处理装置包括：判定部，每次当输入图像被输入时，所述判定部判定所述输入图像和已被输出的输出图像中的像素值分布的变化量是否小于预定阈值；混合比率供给部，所述混合比率供给部供给随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述输出图像混合时所述输出图像的混合比率；以及混合部，每次当所述输入图像被输入时，所述混合部基于被供给过来的所述混合比率而将所述输入图像和所述输出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像。因此，发挥了下列作用：所述输入图像和所述输出图像是以随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的混合比率而被混合的。
而且，在第一方面中，所述混合比率供给部可以包括上限值生成部、获取部和限制部。所述上限值生成部生成随着所述次数的变多而变大的上限值。所述获取部获得随着所述变化量的变大而变小的值。当所述获取部的获取值大于所述上限值时，所述限制部提供该上限值以作为所述混合比率，而当所述获取值不超过所述上限值时，所述限制部提供该获取值以作为所述混合比率。因此，发挥了下列作用：被随着所述次数的变多而变大的所述上限值限制的值被提供以作为所述混合比率。
而且，在第一方面中，所述混合比率供给部可以提供如下的随着所述次数的变多而变大的所述混合比率：该所述混合比率使得混合于所述输出图像中的各所述输入图像的比例变得均一。因此，发挥了下列作用：提供了随着所述次数的变多而变大、且使混合于所述输出图像中的各所述输入图像的比例变得均一的混合比率。
而且，在第一方面中，所述输入图像和所述输出图像各者可以是包括多个区域的图像，各所述区域包括多个像素。所述判定部可以以每个所述区域为单位而判定所述变化量是否小于所述预定阈值。所述混合比率供给部可以以每个所述区域为单位而获得所述变化量被相继地判定为小于所述预定阈值的所述次数，且供给随着以每个所述区域为单位所获得的所述次数中的最小值的变大而变大的所述混合比率。因此，发挥了下列作用：供给了随着以每个区域为单位所述变化量被相继地判定为小于所述预定阈值的所述次数中的最小值的变大而变大的混合比率。
而且，在第一方面中，所述输入图像和所述输出图像各者可以是包括多个像素的图像。所述判定部可以以每个所述像素为单位而判定所述变化量是否小于所述预定阈值。所述混合比率供给部可以以每个所述像素为单位而获得所述变化量被相继地判定为小于所述预定阈值的所述次数，且供给随着以每个所述像素为单位所获得的所述次数中的最小值的变大而变大的所述混合比率。因此，发挥了下列作用：供给了随着以每个所述像素为单位所述变化量被相继地判定为小于所述预定阈值的所述次数中的最小值的变大而变大的混合比率。
而且，在第一方面中，所述图像处理装置还可以包括：更换部，在所述像素包括表示像素值的有效数据且包括不适用于所述有效数据的无效数据的情况下，所述更换部基于所述次数以每个所述像素为单位而更换该像素内的所述无效数据；和图像保存部，所述图像保存部保存已被更换了所述无效数据的所述输出图像。在该图像处理装置中，所述混合比率供给部可以从所述被保存的输出图像中获得所述次数。因此，发挥了下列作用：所述次数是从已被更换了所述无效数据的所述输出图像中获得的。
根据本技术第一方面的所述图像处理方法包括：判定步骤，每次当输入图像被输入时，用判定部判定所述输入图像和已被输出的输出图像中的像素值分布的变化量是否小于预定阈值；混合比率供给步骤，用混合比率供给部供给随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述输出图像混合时所述输出图像的混合比率；以及混合步骤，每次当所述输入图像被输入时，用混合部基于被供给过来的所述混合比率将所述输入图像和所述输出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像。
此外，根据本技术的第二方面，提供了一种摄像装置，其包括：判定部，每次当输入图像被输入时，所述判定部判定所述输入图像和已被输出的输出图像中的像素值分布的变化量是否小于预定阈值；混合比率供给部，所述混合比率供给部供给随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述输出图像混合时所述输出图像的混合比率；混合部，每次当所述输入图像被输入时，所述混合部基于被供给过来的所述混合比率将所述输入图像和所述输出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像；以及图像保存部，所述图像保存部保存所述已被输出的输出图像。因此，发挥了下列作用：所述输入图像和所述输出图像是以随着所述变化量被相继地判定为小于所述预定阈值的所述次数的变多而变大的混合比率而被混合的。
本发明的效果
根据本技术，可以获得能够充分地降低运动图像中的噪声的良好效果。
附图说明
图1是示出了第一实施例中的摄像装置的构造例的框图。
图2是示出了第一实施例中的图像处理部的构造例的框图。
图3是示出了第一实施例中的混合比率供给部的构造例的框图。
图4是示出了第一实施例中的与运动量对应的混合比率的例子的曲线图。
图5是示出了第一实施例中的与计数值对应的限制值的例子的曲线图。
图6是示出了第一实施例中的混合部的构造例的框图。
图7是示出了第一实施例中由图像处理部200执行的图像处理的例子的流程图。
图8是示出了第一实施例中要被处理的运动图像的例子的图。
图9是示出了第一实施例中的计数值、限制值和混合比率的例子的图。
图10是示出了第一实施例中的IIR系数的例子的曲线图。
图11是示出了第二实施例中的图像处理部的构造例的框图。
图12是示出了第二实施例中的在计数值嵌入之前的像素数据的数据结构例的图。
图13是示出了第二实施例中的在计数值嵌入之后的像素数据的数据结构例的图。
图14是示出了第二实施例中的运动判定部的构造例的框图。
图15是示出了第二实施例中的静止帧数计数部的构造例的框图。
图16是示出了第二实施例中的限制部的构造例的框图。
图17是示出了第三实施例中的运动判定部的构造例的框图。
图18是示出了第三实施例中的静止帧数计数部的构造例的框图。
图19是示出了第四实施例中的运动判定部的构造例的框图。
图20是示出了第四实施例中的静止帧数计数部的构造例的框图。
具体实施方式
以下，将说明用来实施本技术的方式(以下，称为实施例)。应当注意的是，将按照下列顺序提供说明。
1.第一实施例(以随着计数值的变大而变大的混合比率混合的例子)
2.第二实施例(以随着每个像素和整个图像的计数值中的最小值的变大而变大的混合比率混合的例子)
3.第三实施例(以随着每个像素和每个区域的计数值中的最小值的变大而变大的混合比率混合的例子)
4.第四实施例(以随着整个图像、每个像素和每个区域的计数值中的最小值的变大而变大的混合比率混合的例子)
1.第一实施例
摄像装置的构造例
图1是示出了本技术第一实施例中的摄像装置100的构造例的框图。摄像装置100是摄取图像用的装置，且摄像装置100包括摄像镜头110、摄像器件120、模拟前端130、A/D转换部140、可编程增益放大器150 和相机控制部160。而且，摄像装置100还包括图像处理部200、D/A转换部170和显示部180。
摄像镜头110是用来在摄像器件120上形成被摄目标的图像的透镜。摄像镜头110包括诸如聚焦镜头和变焦镜头等镜头。
摄像器件120对来自摄像镜头110的光进行光电转换，且将转换后的电信号作为图像信号而通过信号线129提供给模拟前端130。摄像器件 120能够利用电荷耦合器件(CCD：Charge Coupled Device)或互补金属氧化物半导体(CMOS：Complementary Metal OxideSemiconductor)传感器等来实现。
模拟前端130对模拟图像信号执行诸如噪声消除处理和放大处理等处理，且将得到的信号通过信号线139提供给A/D转换部140。模拟前端130包括例如相关双采样(CDS：correlated double sampling)电路，且利用这个CDS电路来消除噪声。
A/D转换部140将模拟图像信号转换成数字图像数据，且将该数字图像数据通过信号线149提供给可编程增益放大器150。所述图像数据包括多个像素数据，各所述像素数据表示各像素的像素值。应当注意的是， A/D转换部140被构造成被设置于模拟前端130外部，但是A/D转换部 140可以被设置于模拟前端130内部。
可编程增益放大器150根据相机控制部160的控制而放大所述图像数据中的各像素的像素值。可编程增益放大器150将放大后的图像数据通过信号线159提供给图像处理部200。
图像处理部200对由所述多个图像数据形成的运动图像执行3DNR。所述多个图像数据按照时间顺序而作为输入帧被输入到图像处理部200 中。每次有输入帧被输入时，图像处理部200就把通过使当前输入帧和在先输出帧混合而获得的图像数据作为当前输出帧而经由信号线209输出至D/A转换部170。当第一输入帧被输入时，在先输出帧不存在，因此，该输入帧没有变化地被输出为输出帧。图像处理部200将按照时间顺序连续的两个帧混合，以便消除运动图像中的噪声。
应当注意的是，图像处理部200除了能够执行3DNR之外，还能够进一步执行诸如去马赛克处理、白平衡处理和伽马校正处理等图像处理。这些处理被执行的顺序是任意设定的。
相机控制部160控制整个摄像装置100。根据用户的操作(按下开始按钮等)，相机控制部160控制摄像器件120和模拟前端130以开始生成多个图像信号。这些图像信号是在预设的恒定周期(例如，1/60秒)内被生成的。根据用户的操作(按下结束按钮等)，相机控制部160终止图像信号的生成。而且，相机控制部160将可编程增益放大器150中的像素值的放大因子控制为预设值。
D/A转换部170将数字图像数据转换成模拟图像信号，且将所述模拟图像信号通过信号线179提供给显示部180。显示部180显示基于所述图像信号的图像。
应当注意的是，摄像装置100能够进一步包括将图像数据记录在诸如存储器等记录介质中的记录部。
图像处理部的构造例
图2是示出了第一实施例中的图像处理部200的构造例的框图。图像处理部200包括运动判定部210、静止帧数计数部220、混合比率供给部230、混合部250和帧缓存器270。
每次当输入帧被输入时，运动判定部210比较在先输出帧和当前输入帧，且判定运动的有无。在判定运动的有无时，运动判定部210首先从帧缓存器270中读取在先输出帧，且获得这个输出帧和当前输入帧的像素值分布的变化量以作为运动量dS。例如，运动判定部210获得在所述输出帧和所述输入帧中具有相同坐标的像素之间的像素值的差分。然后，运动判定部210计算出这些差分的统计量(例如，平均值)以作为运动量dS。
在获得运动量dS之后，在运动量dS小于预定阈值Th_f的情况下，运动判定部210判定无运动，而在运动量dS等于或大于阈值Th_f的情况下，运动判定部210判定有运动。运动判定部210将运动量dS提供给混合比率供给部230，且将关于运动的有无的判定结果提供给静止帧数计数部220。以这样的方式，从帧之间的像素值的差分求出运动的手段被称为帧间差分法(inter-frame difference method)。
应当注意的是，运动判定部210是在权利要求书中说明的判定部的例子。而且，运动判定部210能够通过使用除了帧间差分法以外的手段来判定运动的有无。例如，运动判定部210可以通过使用块匹配算法 (block matching algorithm)来判定运动的有无。
当使用块匹配算法时，输入帧和输出帧各者被处理为由各自具有预定形状(例如，8×8像素的正方形)的多个块形成的图像。运动判定部 210获得输入帧和输出帧中的具有高的相关性的两个块，生成从所述两个块中的一个块到另一个块的矢量以作为运动矢量，且计算出所述矢量的大小以作为运动量dS。在块匹配算法中，运动量是以该帧内的每个块为单位而被计算的，因此，这些统计量(例如，平均值)被输出以作为整个画面的运动量dS。
静止帧数计数部220对被相继地判定为无运动的次数进行计数，且生成计数值以作为计数值CNTf。静止帧数计数部220保存该计数值 CNTf。当判定为无运动时，静止帧数计数部220就使计数值CNTf递增，而当判定有运动时，静止帧数计数部220就将计数值CNTf设定成初始值(例如，“0”)。静止帧数计数部220将计数值CNTf提供给混合比率供给部230。
应当注意的是，静止帧数计数部220使计数值CNTf递增，但是递增值不限于“1”。而且，当无运动时，静止帧数计数部220使计数值CNTf 递增，但是静止帧数计数部220可以是当无运动时使计数值CNTf递减的递减计数器。
混合比率供给部230提供这样的混合比率α’：其中，随着被相继地判定为无运动的次数(即，计数值CNTf)的变多，使输出图像的比例变高。例如，混合比率供给部230生成随着运动量dS的变小而变大的混合比率α，且生成随着计数值CNTf的变大而变大的上限值L。然后，混合比率供给部230限制混合比率α以使其不超过上限值L，且把限制后的值设定为混合比率α’。这里，混合比率α和α’各自都是表示在输入帧和输出帧混合时所述输出帧的比例的值，且例如，为它们设定的是0到1 的实数。混合比率供给部230将所设定的混合比率α’提供给混合部250。
混合部250基于混合比率α’而使在先输出帧和当前输入帧混合。每次有输入帧被输入时，混合部250从帧缓存器270中读取在先输出帧，且基于混合比率α’而使这个输出帧和当前输入帧混合。具体地，混合部 250通过使用下列表达式来使所述两个帧混合。应当注意的是，当第一输入帧被输入时，在先输出帧不存在，所以混合比率α’被设定成“0”。
Yt(x,y)＝αt’×Yt-1(x,y)+(1-αt’)×Xt(x,y) 表达式1
在上面的表达式中，Yt(x,y)和Yt-1(x,y)是第t个输出帧和第(t-1)个输出帧中的具有坐标(x,y)的像素的像素值。x是帧中的水平坐标，且y是垂直坐标。这里，沿帧的水平方向的像素数量是M(M是整数)，且x是0 到(M-1)的值。而且，沿帧的垂直方向的像素数量是N(N是整数)，且y 是0到(N-1)的值。Xt(x,y)是第t个输入帧中的具有坐标(x,y)的像素的像素值。αt’是第t个被设定的混合比率。
在由表达式1表达的滤波器中，输出信号(即，输出帧)被反馈，因此，在无限长的时间内针对于冲激而输出了不为0的值。因此，这样的滤波器被称为无限冲激响应(IIR：infinite impulse response)滤波器。
混合部250将所生成的当前输出帧输出至D/A转换部170，且还致使帧缓存器270保存所生成的当前输出帧。帧缓存器270将该输出帧保存下来。应当注意的是，帧缓存器270是在权利要求书中说明的图像保存部的例子。
混合比率供给部的构造例
图3是示出了第一实施例中的混合比率供给部230的构造例的框图。混合比率供给部230包括混合比率生成部231、上限值生成部242和混合比率限制部243。
混合比率生成部231生成随着运动量dS的变小而变大的混合比率α。混合比率生成部231通过使用由例如下列表达式表达的函数而生成混合比率α。
数学式1
表达式2
在上面的表达式中，a和b各自都是正实数。αmax是混合比率α的上限值，且为它设定的是大于“0”且小于“1”的实数。Th_s是运动量dS 的阈值。Th_s被设定成例如与在判定运动的有无时所使用的阈值Th_f 相同的值。应当注意的是，这些阈值可以被设定成不同的值。
应当注意的是，混合比率生成部231可以利用除了表达式2以外的表达式来获得混合比率α，只要能够生成随着运动量dS的变小而变大的混合比率α即可。而且，混合比率生成部231能够利用演算来获得混合比率α，但是混合比率生成部231不限于这种构造。例如，混合比率生成部231可以被构造成包括一个表格，在该表格中预先从例如表达式2 等求出的混合比率α与运动量dS被彼此关联起来，并且混合比率生成部 231从这个表格中读取与运动量dS对应的混合比率α。或者，如果运动量dS等于或大于阈值Th_s，那么混合比率生成部231可以返回“0”值，而如果不是上述情况，那么混合比率生成部231可以使用用于返回αmax的函数以便不必执行演算就能生成混合比率α。应当注意的是，混合比率生成部231是在权利要求书中说明的获取部的例子。
上限值生成部242从计数值CNTf生成上限值L。上限值生成部242 通过使用例如下列表达式来计算上限值L，且将上限值L提供给混合比率限制部243。
L＝(CNTf+1)/(CNTf+2) 表达式3
应当注意的是，上限值生成部242可以用除了表达式3以外的表达式来获得上限值L，只要能够生成随着计数值CNTf的变大而变小的上限值L即可。而且，上限值生成部242能够利用演算来获得上限值L，但是上限值生成部242不限于这种构造。例如，上限值生成部242可以被构造成包括一个表格，在该表格中预先从例如表达式3等求出的上限值L 与计数值CNTf被彼此关联起来，并且上限值生成部242从这个表格中读取与计数值CNTf对应的上限值L。
混合比率限制部243限制混合比率α以使其不超过上限值L。当混合比率α大于上限值L时，混合比率限制部243把该上限值L作为限制后的混合比率α’而输出至混合部250。另一方面，当混合比率α不超过上限值L时，混合比率限制部243把混合比率α没有变化地作为混合比率α’而输出至混合部250。
应当注意的是，混合比率供给部230供给的是输出帧的混合比率α’，但是混合比率供给部230可以不供给α’而是供给输入帧的混合比率 (1-α’)。在这种情况下，混合比率生成部231生成随着运动量dS的变大而变大的混合比率(1-α)。而且，上限值生成部242生成随着计数值CNTf 的变大而变大的下限值。然后，混合比率限制部243限制该混合比率(1-α)以使其不小于该下限值。
图4是示出了第一实施例中的与运动量dS对应的混合比率α的例子的曲线图。如在该图中所举例说明的，生成了随着运动量dS的变大而变小的混合比率α。而且，当运动量dS小于阈值Th_s时，生成上限的混合比率αmax。
图5是示出了第一实施例中的与计数值CNTf对应的上限值L的例子的曲线图。如在该图中所举例说明的，生成了随着计数值CNTf的变大而变大的上限值L。
混合部的构造例
图6是示出了第一实施例中的混合部250的构造例的框图。混合部 250包括减法器251、乘法器252和253以及加法器254。
减法器251将两个输入值中的一个输入值从另一个输入值中减去。值“1”和混合比率α’被输入到减法器251中。减法器251从“1”中减去混合比率α’，且将减法结果(1-α’)提供给乘法器252。
乘法器252和253各者都将两个输入值相乘。(1-α’)和输入帧内的像素的像素值被输入到乘法器252中。一个输入帧包括多个(例如，M×N 个)像素值，且这些像素值按照预定顺序被相继地输入。每次当像素值被输入时，乘法器252将这个像素值和(1-α’)相乘且将乘法结果提供给加法器254。
混合比率α’和从帧缓存器270中读取的输出帧内的像素的像素值被输入到乘法器253中。每次当像素值被输入时，乘法器253将这个像素值和混合比率α’相乘且将乘法结果提供给加法器254。
加法器254将两个输入值相加。加法器254将乘法器252的乘法结果和乘法器253的乘法结果相加，且将加法结果作为输出帧的像素值而提供给帧缓存器270。
摄像装置的操作的例子
图7是示出了在第一实施例中由图像处理部200执行的图像处理的例子的流程图。例如，每次当运动图像内的输入帧被输入到图像处理部 200中时，就执行图像处理。图像处理部200从当前输入帧和在先输出帧中检测运动量dS且判定运动的有无(步骤S901)。
图像处理部200对被相继地判定为无运动的次数进行计数，且生成计数值CNTf(步骤S902)。图像处理部200从运动量dS生成混合比率α (步骤S903)。然后，图像处理部200从计数值CNTf生成上限值L，且利用这个上限值L来限制混合比率α(步骤S904)。
图像处理部200基于限制后的混合比率α’而将输入帧和输出帧混合，然后输出(步骤S905)。在步骤S905之后，图像处理部200终止该图像处理。
图8是示出了在第一实施例中要被处理的运动图像的例子的图。如在该图中所举例说明的，该运动图像包括帧编号为“0”到“63”的64 个输入帧。做出如下的假设：帧编号为“0”的输入帧是在闪光灯处于打开状态下而被生成的，且这个帧的亮度在整体上是高的。而且，还做出如下的假设：帧编号为“1”到“63”的输入帧均具有比帧编号为“0”的输入帧的亮度低的亮度，且相邻的帧之间的亮度分布变化量小。
图9是示出了第一实施例中的计数值、上限值和混合比率的例子的图。这里，假设图8中的运动图像被输入。因为当帧编号为“0”的输入帧被输入时在先输出帧是不存在的，所以混合比率α’被设定成“0”。
接着，在帧编号为“1”的输入帧被输入的时候，当前输入帧的相对于在先输出帧的运动量dS是大的运动量。因此，混合比率α被设定成“0”。这同样适用于限制后的混合比率α’。
在帧编号为“2”的输入帧被输入的时候，当前输入帧的相对于在先输出帧的运动量dS是小的运动量。因此，混合比率α被设定成相对较大的“0.97”。被相继地判定为无运动的次数是一次，且因此上限值L利用表达式3而被设定成大约“0.67”。因此，限制后的混合比率α’是“0.67”。
因为在帧编号“3”之后运动量dS也是小的运动量，所以设定了相对较大的混合比率α。应当注意的是，基于表达式3，上限值L随着被相继地判定为无运动的次数(即，计数值CNTf)的增多而变大，且限制后的混合比率α’也随之变大。
以这样的方式，设定了随着被相继地判定为无运动的次数的变多而变大的混合比率α’。
图10是示出了第一实施例中的IIR系数的例子的曲线图。在该图中，纵轴表示IIR系数，且横轴表示帧编号。这里，IIR系数是表示各输入帧在输出帧中的比例的系数。IIR系数是用例如下列的表达式4到表达式7 而被表达的。
数学式2
Yn＝α1×α2×…×αn×X0+(1-α1)×α2×…×αn×X1
+…+(1-αn-1)×αn×Xn-1+(1-αn)×Xn
＝a0X0+b1X1+…+bn-1Xn-1+cnXn 表达式4
数学式3
a0＝α1×α2×…×αn 表达式5
数学式4
表达式6
数学式5
cn＝(1-αn) 表达式7
在表达式4中，Yn是第n个输出帧中的像素的像素值。α0到αn是第 0个到第n个被设定的混合比率。X0到Xn是第0个到第n个输入帧中的像素的像素值。a0是表示第0个输入帧的比例的IIR系数。bk(k是1到 (n-1)的整数)是表示第k个输入帧的比例的IIR系数。cn是表示第n个输入帧的比例的IIR系数。在表达式6中，Παl(l是(k+1)到n的整数) 表示αl的无穷乘积(infinite product)。应当注意的是，在表达式4到表达式7中省略了像素的坐标的说明。在表达式7之后的各表达式中，也类似地省略了像素的坐标的说明。
将说明表达式4的推导方法。当以混合比率α执行混合时，第1个输出帧的像素值Y1是用基于表达式1的下列表达式而被表达的。
Y1＝α1×Y0+(1-α1)×X1
＝α1×X0+(1-α1)×X1 表达式8
第2个输出帧的像素值Y2是用基于上述表达式8和表达式1的下列表达式而被表达的。
Y2＝α2×Y1+(1-α2)×X2
＝α2×(α1×X0+(1-α1)×X1)+(1-α2)×X2
＝α1×α2×X0+(1-α1)×α2×X1+(1-α2)×X2 表达式9
如在表达式8和表达式9中所举例说明的，跟在第1个输出帧之后的那些输出帧中的各输出帧的像素值能够用多个输入帧的像素值的加权值的和来表达。类似于表达式8和表达式9，在第n个输出帧中，当针对在第(n-1)个输出帧之前的那些输出帧的各像素值、通过把由表达式1举例说明的函数按次序进行卷积的卷积运算(convolution operation)而使所有的输出帧都被输入帧取代时，表达式4就被推导出来。
这里，如在图8中所举例说明的，设想了如下情况：其中，在64个帧中，第0个输入帧与第1个输入帧之间有运动，而第2个输入帧及其以后的各输入帧中无运动。在这种情况下，例如，生成了值为“0”的混合比率α0和α1，且生成了值为“31/32”(≈0.97)的混合比率α2到α63。当这些值被代入到表达式5中时，获得了值为“0”的IIR系数a0。
而且，根据表达式6，IIR系数b1是(31/32)62(≈0.139)。IIR系数b2是(1-31/32)×(31/32)61(≈0.005)。随后，基于表达式6和表达式7，获得了随着帧编号的增大而变大的IIR系数。结果，获得了由图10中的点划线所示的轨线。当混合比率α没有受到限制时，该轨线表示IIR系数，即，未使输入帧的比例变得均一。而且，当在第1个输入帧中有运动时，这时的IIR系数b1变得远远大于其他IIR系数(b2等)。因此，当以限制前的混合比率α执行混合时，降噪效果受到损失。
与此相反，当混合比率α被上限值L限制时，获得了均一的IIR系数。例如，IIR系数bk和bk+1是用基于表达式6的下列表达式10和表达式11而被表达的。
bk＝(1-αk)×αk+1×αk+2×…×αn 表达式10
bk+1＝(1-αk+1)×αk+2×…×αn 表达式11
根据这些表达式10和表达式11，获得了由下列表达式表示的关系。
bk＝{(1-αk)×αk+1/(1-αk+1)}×bk+1 表达式12
这里，假设被上限值L限制的混合比率αk和αk+1等于上限值L。在这种情况下，根据表达式3可以得知：限制后的αk是(CNTf+1)/(CNTf+2)，限制后的αk+1是(CNTf+2)/(CNTf+3)。当它们被代入表达式12中时，表达式12中的(1-αk)×αk+1/(1-αk+1)的值是“1”。因此，bk＝bk+1成立。于是，当利用受到上限值L限制后的混合比率α来执行混合时，就使IIR系数变得均一。
在图10中的实践中，如示出了在混合比率α受到限制的情况下的IIR 系数的该图10所示，在IIR系数(即，输入帧的比例)均一的理想条件下执行混合。因此，运动图像内的噪声被充分地消除。
这里，假定在64个帧上一直持续着无运动的静止状态，那么第0个到第63个输入帧各者的噪声的方差σ2如下列表达式所示是全部一致的。
数学式6
σ2＝V(A0)＝V(A1)＝V(A2)＝…＝V(A63) 表达式13
在上面的表达式中，A0到A63表示第0个到第63个帧的全部像素。而且，V()是用于返回该输入帧的噪声的方差的函数。
而且，所有的第0个到第63个输入帧中的全部像素的像素值的平均值是从下列表达式获得的。
数学式7
表达式14
用基于表达式13和表达式14的下列表达式来表达当混合比率α受到限制时噪声的方差值。
数学式8
表达式15
如上面的表达式所示，噪声的方差被减小至1/64。因此，当混合比率α受到限制时，因为输入帧的比例是均一的，所以在64(＝26)帧已经通过的时候，获得了大约为18分贝的S/N比(信噪比)的改善效果。类似地，在22i帧(i是整数)已经通过的时候，获得了6×i分贝的S/N比的改善效果。
与此相反，当混合比率α没有受到限制时，因为未使输入帧的比例变得均一，所以就导致降噪效果低于当混合比率α受到限制时的情况。例如，在64帧已经通过的时候，预计只有14.7dB的S/N比的改善效果。
而且，当混合比率α没有受到限制时，能够发现：第1个IIR系数 b1极大，且直到由第1个输入帧中的像素值给予到输出帧上的效果丧失之前的收敛帧数被增大了。相反地，当混合比率α受到限制时，如在图 10中所举例说明的，理想的IIR系数被应用，且通过至多64帧就使该IIR 收敛。
如上所述，根据本技术的第一实施例，随着被相继地判定为无运动的次数的变多，摄像装置100增大了在输入图像和输出图像混合时的所述输出图像的比例，因此能够使输出图像中的各输入图像的比例变得均一。于是，运动图像内的噪声能够被充分地降低。
2.第二实施例
摄像装置的构造例
在第一实施例中，图像处理部200检测整个画面的运动的有无，但是更小的运动检测单位是较佳的。第二实施例中的图像处理部200与第一实施例的不同之处在于：图像处理部200既检测整个画面的运动又检测每个像素的运动。
图11是示出了第二实施例中的图像处理部200的构造例的框图。第二实施例中的图像处理部200与第一实施例的不同之处在于：图像处理部200还包括计数值嵌入处理部260和计数值提取部280。
而且，第二实施例中的运动判定部210与第一实施例的不同之处在于：还检测每个像素的运动的有无。第二实施例中的静止帧数计数部220 与第一实施例的不同之处在于：静止帧数计数部220还以每个像素为单位对被相继地判定为无运动的次数进行计数。各像素的计数值CNTp1到 CNTpm被提供给混合比率供给部230和计数值嵌入处理部260。这里， m是整数且表示该帧内的像素总数。
第二实施例中的混合比率供给部230与第一实施例的不同之处在于：混合比率供给部230从整个画面的计数值CNTf和各像素的计数值 CNTp1～CNTpm生成上限值L。
计数值嵌入处理部260在来自混合部250的输出帧中把每个像素的计数值嵌入至像素数据内。具体地，计数值嵌入处理部260接收来自于相机控制部160的无效位数。所述无效位数表示在像素数据中不适用于那些表示像素值的有效位的位数。具体地，设定了与可编程增益放大器 150中的增益对应的值。例如，当增益是2x倍以上且小于2x+1倍时，x个位就成为无效位。
计数值嵌入处理部260把与计数值对应的像素的像素数据内的无效位用表示这个计数值的位更换。换言之，计数值嵌入处理部260将计数值嵌入到像素数据内。
计数值嵌入处理部260致使帧缓存器270保存已嵌入有计数值的输出帧。
计数值提取部280提取被嵌入的计数值。计数值提取部280从帧缓存器270中读取输出帧，且也接收来自于相机控制部160的无效位数。计数值提取部280基于该无效位数而从输出帧中提取每个像素的计数值。计数值提取部280把所提取的计数值提供给静止帧数计数部220。
而且，计数值提取部280用无效位更换所有的表示计数值的位，且将已经历过更换的输出帧提供给至运动判定部210和混合部250。
像素数据的数据结构例
图12是示出了第二实施例中的在计数值嵌入之前的像素数据的数据结构例的图。该像素数据的数据大小例如是16位。在该图中，白色圆圈是有效位，且十字形是表示无效位的位。
当增益小于2倍时，在该像素数据中所有位都是有效的。当增益在2 倍以上且小于4倍时，在该像素数据中1位是无效位。当增益在4倍以上且小于8倍时，在该像素数据中2位是无效位。以这样的方式，随着增益的变大，无效位的数量增多。
图13是示出了第二实施例中的在计数值嵌入之后的像素数据的数据结构例的图。在该图中，白色圆圈是有效位，且黑色圆圈是表示计数值的位。
当增益小于2倍时，因为在该像素数据中所有位都是有效的，所以计数值不能被嵌入。当增益在2倍以上且小于4倍时，在该像素数据中1 位是无效位。因此，在所述1位中嵌入计数值。当增益在4倍以上且小于8倍时，在该像素数据内的R数据中2位是无效位。因此，在所述2 位中嵌入计数值。以这样的方式，随着增益的变大，被嵌入的计数值的位数能够增多。
通过以这样的方式将计数值嵌入到像素数据中，就不必预备用来保存每个像素的计数值的存储器。应当注意的是，图像处理部200可以被构造成还包括用来保存每个像素的计数值的存储器且将计数值保存在该存储器中。在这种构造中，不必执行计数值嵌入处理和计数值提取处理。
运动判定部的构造例
图14是示出了第二实施例中的运动判定部210的构造例的框图。运动判定部210包括整个画面运动判定部211和每个像素运动判定部213。
整个画面运动判定部211使用帧间差分法、或块匹配算法等来判定整个画面上的运动的有无。整个画面运动判定部211将运动量dS提供给混合比率供给部230且将关于运动的有无的判定结果Mf提供给静止帧数计数部220。
每个像素运动判定部213判定每个像素的运动的有无。所述每个像素运动判定部计算出输入帧和输出帧内的相应像素中的像素值之间的差分的绝对值以作为像素的运动量。如果这样的运动量大于预定阈值Th_p，那么每个像素运动判定部213就判定这个像素中有运动。如果不是上述情况，那么每个像素运动判定部213就判定无运动。每个像素运动判定部213将关于每个像素的运动的有无的判定结果Mp1到Mpm提供给静止帧数计数部220。
应当注意的是，运动判定部210将整个画面的运动量提供给混合比率供给部230，但是运动判定部210不局限于这种构造。运动判定部210 也能够将整个画面的运动量和每个像素的运动量的统计量(例如，平均值)作为运动量dS而提供给混合比率供给部230。
静止帧数计数部的构造例
图15是示出了第二实施例中的静止帧数计数部220的构造例的框图。静止帧数计数部220包括整个画面静止帧数计数部221和每个像素静止帧数计数部223。
整个画面静止帧数计数部221对整个画面上的被相继地判定为无运动的次数进行计数。具体地，整个画面静止帧数计数部221保存计数值 CNTf，且当在来自整个画面运动判定部211的判定结果Mf中判定为有运动时，就将计数值CNTf设定成初始值。另一方面，当判定为无运动时，整个画面静止帧数计数部221使计数值CNTf递增。然后，整个画面静止帧数计数部221将计数值CNTf提供给混合比率供给部230。
每个像素静止帧数计数部223以每个像素为单位对被相继地判定为无运动的次数进行计数。具体地，每个像素静止帧数计数部223接收来自每个像素运动判定部213的判定结果Mp1到Mpm且接收来自计数值提取部280的计数值CNTp1到CNTpm。当在各判定结果中判定为有运动时，每个像素静止帧数计数部223将相应的计数值设定成初始值。另一方面，当判定为无运动时，每个像素静止帧数计数部223使相应的计数值递增。然后，每个像素静止帧数计数部223将计数值CNTp1到 CNTpm提供给混合比率供给部230。
混合比率供给部的构造例
图16是示出了第二实施例中的混合比率供给部230的构造例的框图。第二实施例中的混合比率供给部230与第一实施例的不同之处在于：混合比率供给部230还包括最小值选择部241。最小值选择部241接收来自静止帧数计数部220的计数值CNTf和计数值CNTp1到CNTpm。最小值选择部241将这些计数值中的最小值MIN提供给上限值生成部242。
第二实施例中的上限值生成部242通过不是使用CNTf而是使用最小值MIN的下列表达式来计算上限值L。
L＝(MIN+1)/(MIN+2) 表达式16
应当注意的是，上限值生成部242能够通过使用代替表达式16的下列表达式来计算上限值。
L＝(MIN-1)/(MIN) 表达式17
如上所述，根据本技术的第二实施例，摄像装置100既检测整个画面的运动又检测每个像素的运动，因此，它能够提高运动的检测精度。利用检测精度的提高，以适当的混合比率将帧混合，且降噪效果得到改善。
3.第三实施例
运动判定部的构造例
在第二实施例中，图像处理部200检测整个画面的运动的有无和每个像素的运动的有无，但是更小的运动检测单位是较佳的。第三实施例中的图像处理部200与第二实施例的不同之处在于：图像处理部200将帧划分成多个区域，且检测每个区域的运动而不是整个画面的运动。
图17是示出了第三实施例中的运动判定部210的构造例的框图。第三实施例中的运动判定部210与第二实施例的不同之处在于：运动判定部210包括每个区域运动判定部212以代替整个画面运动判定部211。
每个区域运动判定部212将输入帧和输出帧各者划分成多个区域，且判定每个区域的运动的有无。这里，假设各所述区域具有分别包括多个像素的预定形状(例如，8×8像素的正方形)。
每个区域运动判定部212使用例如块匹配算法从而基于运动量dS是否等于或大于阈值Th_a来判定每个区域的运动的有无。在块匹配时，例如，各区域被看作块，且以每个块为单位来检测运动。每个区域运动判定部212将各个区域的判定结果Ma1到Mav提供给静止帧数计数部220。这里，v是小于像素数量m的整数，且v表示区域个数。
应当注意的是，区域的大小和块的大小不局限于一样的大小。例如，每个区域运动判定部212可以进一步将各区域划分成多个块，且基于这些块的相关性而检测运动。
第三实施例中的每个像素运动判定部213的构造类似于第二实施例中的每个像素运动判定部213的构造。
静止帧数计数部
图18是示出了第三实施例中的静止帧数计数部220的构造例的框图。第三实施例中的静止帧数计数部220与第二实施例的不同之处在于：静止帧数计数部220包括每个区域静止帧数计数部222以代替整个画面静止帧数计数部221。
每个区域静止帧数计数部222以每个区域为单位而对被相继地判定为无运动的次数进行计数。每个区域静止帧数计数部222保存v个区域中的计数值CNTa1到CNTav。每个区域静止帧数计数部222接收来自每个区域运动判定部212的判定结果Ma1到Mav。当在各判定结果中判定为有运动时，每个区域静止帧数计数部222将相应的计数值设定成初始值。另一方面，当判定为无运动时，每个区域静止帧数计数部222使相应的计数值递增。然后，每个区域静止帧数计数部222将计数值CNTa1 到CNTav提供给混合比率供给部230。
第三实施例中的每个像素静止帧数计数部223的构造类似于第二实施例中的每个像素静止帧数计数部223的构造。
应当注意的是，虽然摄像装置100既检测每个区域的运动又检测每个像素的运动，但是摄像装置100可以被构造成检测这些运动中的任何一者。
而且，虽然摄像装置100既检测检测每个区域的运动又检测每个像素的运动，但是摄像装置100可以被构造成既检测整个画面的运动又检测每个区域的运动。
如上所述，根据本技术的第三实施例，摄像装置100既检测每个区域的运动又检测每个像素的运动，因此，能够提高运动的检测精度。利用检测精度的提高，以适当的混合比率将帧混合，且降噪效果得到改善。
4.第四实施例
运动判定部的构造例
在第二实施例中，图像处理部200既检测检测整个画面的运动又检测每个像素的运动，但是从检测精度的角度来看，期望进一步检测每个区域的运动。第四实施例中的图像处理部200与第二实施例的不同之处在于：图像处理部200除了检测整个画面的运动和每个像素的运动以外，还检测每个区域的运动。
图19是示出了第四实施例中的运动判定部210的构造例的框图。第四实施例中的运动判定部210与第二实施例的不同之处在于：运动判定部210进一步包括每个区域运动判定部212。
第四实施例中的每个区域运动判定部212的构造类似于第三实施例中的每个区域运动判定部212的构造。
静止帧数计数部
图20是示出了第四实施例中的静止帧数计数部220的构造例的框图。第四实施例中的静止帧数计数部220与第二实施例的不同之处在于：静止帧数计数部220进一步包括每个区域静止帧数计数部222。
第四实施例中的每个区域静止帧数计数部222的构造类似于第三实施例中的每个区域静止帧数计数部222的构造。
如上所述，根据本技术的第四实施例，摄像装置100检测整个画面的运动、每个区域的运动和每个像素的运动这三者中的全部，因此，能够提高运动的检测精度。利用检测精度的提高，以适当的混合比率将帧混合，且降噪效果得到改善。
应当注意的是，上述各实施例是用来实施本技术的例子，且各实施例中的事项和权利要求书中的本发明特定事项具有各自的对应关系。类似地，权利要求书中的本发明特定事项和由与本发明特定事项一样的名称表示的、本技术的实施例中的事项具有各自的对应关系。应当注意的是，本技术不局限于这些实施例，且能够通过在不脱离本技术的要旨的前提下以各种各样的方式修改实施例来体现本技术。
而且，在上面各实施例中说明的处理步骤可以被理解为包括一系列的这些步骤的方法。或者，在上面各实施例中说明的处理步骤可以被理解为用来致使计算机执行这一系列步骤的程序或存储有这个程序的记录介质。作为该记录介质，例如，可以使用压缩光盘(CD：Compact Disc)、迷你光盘(MD：Mini Disc)、数字通用光盘(DVD：Digital VersatileDisc)、存储卡、或蓝光(注册商标)光盘等。
应当注意的是，本技术能够采取下列技术方案。
(1)一种图像处理装置，其包括：
判定部，每次当输入图像被输入时，所述判定部判定所述输入图像与已被输出的输出图像中的像素值分布的变化量是否小于预定阈值；
混合比率供给部，所述混合比率供给部供给随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述输出图像混合时所述输出图像的混合比率；以及
混合部，每次当所述输入图像被输入时，所述混合部基于被供给过来的所述混合比率将所述输入图像和所述输出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像。
(2)根据(1)所述的图像处理装置，其中所述混合比率供给部包括：
上限值生成部，所述上限值生成部生成随着所述次数的变多而变大的上限值；
获取部，所述获取部获取随着所述变化量的变大而变小的值；和
限制部，在所述获取部的获取值大于所述上限值的情况下，所述限制部提供该上限值以作为所述混合比率，而当所述获取值不超过所述上限值的情况下，所述限制部提供该获取值以作为所述混合比率。
(3)根据(1)或(2)所述的图像处理装置，其中
所述混合比率供给部供给如下的随着所述次数的变多而变大的所述混合比率：该混合比率使得混合于所述输出图像中的多个所述输入图像各者的比例变得均一。
(4)根据(1)到(3)中任一者所述的图像处理装置，其中
所述输入图像和所述输出图像各者是含有多个区域的图像，各所述区域中包括多个像素，
所述判定部以每个所述区域为单位而判定所述变化量是否小于所述预定阈值，并且
所述混合比率供给部以每个所述区域为单位而获得所述变化量被相继地判定为小于所述预定阈值的所述次数，且供给随着以每个所述区域为单位所获得的所述次数中的最小值的变大而变大的所述混合比率。
(5)根据(1)到(4)中任一者所述的图像处理装置，其中
所述输入图像和所述输出图像各者是包括多个像素的图像，
所述判定部以每个所述像素为单位而判定所述变化量是否小于所述预定阈值，并且
所述混合比率供给部以每个所述像素为单位而获得所述变化量被相继地判定为小于所述预定阈值的所述次数，且供给随着以每个所述像素为单位所获得的所述次数中的最小值的变大而变大的所述混合比率。
(6)根据(5)所述的图像处理装置，其还包括：
更换部，在所述像素包括表示像素值的有效数据且包括不适用于所述有效数据的无效数据的情况下，所述更换部基于所述次数以每个所述像素为单位而更换该像素内的所述无效数据；和
图像保存部，所述图像保存部保存已被更换了所述无效数据的所述输出图像，
其中，所述混合比率供给部从所述被保存的输出图像中获得所述次数。
(7)一种摄像装置，其包括：
判定部，每次当输入图像被输入时，所述判定部判定所述输入图像与已被输出的输出图像中的像素值分布的变化量是否小于预定阈值；
混合比率供给部，所述混合比率供给部供给随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述输出图像混合时所述输出图像的混合比率；
混合部，每次当所述输入图像被输入时，所述混合部基于被供给过来的所述混合比率将所述输入图像和所述输出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像；以及
图像保存部，所述图像保存部保存所述已被输出的输出图像。
(8)一种图像处理方法，其包括：
判定步骤：每次当输入图像被输入时，用判定部判定所述输入图像和已被输出的输出图像中的像素值分布的变化量是否小于预定阈值；
混合比率供给步骤：用混合比率供给部供给随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述输出图像混合时所述输出图像的混合比率；以及
混合步骤：每次当所述输入图像被输入时，用混合部基于被供给过来的所述混合比率将所述输入图像和所述输出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像。
(9)一种程序，其致使计算机执行：
判定步骤：每次当输入图像被输入时，用判定部判定所述输入图像和已被输出的输出图像中的像素值分布的变化量是否小于预定阈值；
混合比率供给步骤：用混合比率供给部供给随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述输出图像混合时所述输出图像的混合比率；以及
混合步骤：每次当所述输入图像被输入时，用混合部基于被供给过来的所述混合比率将所述输入图像和所述输出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像。
附图标记列表
100：摄像装置
110：摄像镜头
120：摄像器件
130：模拟前端
140：A/D转换部
150：可编程增益放大器
160：相机控制部
170：D/A转换部
180：显示部
200：图像处理部
210：运动判定部
211：整个画面运动判定部
212：每个区域运动判定部
213：每个像素运动判定部
220：静止帧数计数部
221：整个画面静止帧数计数部
222：每个区域静止帧数计数部
223：每个像素静止帧数计数部
230：混合比率供给部
231：混合比率生成部
241：最小值选择部
242：上限值生成部
243：混合比率限制部
250：混合部
251：减法器
252、253：乘法器
254：加法器
260：计数值嵌入处理部
270：帧缓存器
280：计数值提取部
Claims (9)
1.一种图像处理装置，其包括：
判定部，每次当输入图像被输入时，所述判定部判定所述输入图像与已被输出的输出图像中的像素值分布的变化量是否小于预定阈值；
混合比率供给部，所述混合比率供给部供给随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述输出图像混合时所述输出图像的混合比率；以及
混合部，每次当所述输入图像被输入时，所述混合部基于被供给过来的所述混合比率将所述输入图像和所述输出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像，
其中所述混合比率供给部包括：
上限值生成部，所述上限值生成部生成随着所述次数的变多而变大的上限值；
获取部，所述获取部获取随着所述变化量的变大而变小的值；和
限制部，在所述获取部的获取值大于所述上限值的情况下，所述限制部提供该上限值以作为所述混合比率，而当所述获取值不超过所述上限值的情况下，所述限制部提供该获取值以作为所述混合比率。
2.根据权利要求1所述的图像处理装置，其中
所述混合比率供给部供给如下的随着所述次数的变多而变大的所述混合比率：该混合比率使得混合于所述输出图像中的多个所述输入图像各者的比例变得均一。
3.根据权利要求1所述的图像处理装置，其中
所述输入图像和所述输出图像各者是含有多个区域的图像，各所述区域中包括多个像素，
所述判定部以每个所述区域为单位而判定所述变化量是否小于所述预定阈值，并且
所述混合比率供给部以每个所述区域为单位而获得所述变化量被相继地判定为小于所述预定阈值的所述次数，且供给随着以每个所述区域为单位所获得的所述次数中的最小值的变大而变大的所述混合比率。
4.根据权利要求1至3中任一项所述的图像处理装置，其中
所述输入图像和所述输出图像各者是包括多个像素的图像，
所述判定部以每个所述像素为单位而判定所述变化量是否小于所述预定阈值，并且
所述混合比率供给部以每个所述像素为单位而获得所述变化量被相继地判定为小于所述预定阈值的所述次数，且供给随着以每个所述像素为单位所获得的所述次数中的最小值的变大而变大的所述混合比率。
5.根据权利要求4所述的图像处理装置，其还包括：
更换部，在所述像素包括表示像素值的有效数据且包括不适用于所述有效数据的无效数据的情况下，所述更换部基于所述次数以每个所述像素为单位而更换该像素内的所述无效数据；和
图像保存部，所述图像保存部保存已被更换了所述无效数据的所述输出图像，
其中，所述混合比率供给部从所述被保存的输出图像中获得所述次数。
6.一种摄像装置，其包括：
如权利要求1至4中任一项所述的图像处理装置；和
用于保存所述已被输出的输出图像的图像保存部。
7.一种摄像装置，其包括：
如权利要求5所述的图像处理装置。
8.一种图像处理方法，其包括：
判定步骤：每次当输入图像被输入时，用判定部判定所述输入图像和已被输出的输出图像中的像素值分布的变化量是否小于预定阈值；
混合比率供给步骤：用混合比率供给部供给随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述输出图像混合时所述输出图像的混合比率；以及
混合步骤：每次当所述输入图像被输入时，用混合部基于被供给过来的所述混合比率将所述输入图像和所述输出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像，
其中所述混合比率供给步骤包括：
用上限值生成部生成随着所述次数的变多而变大的上限值；
用获取部获取随着所述变化量的变大而变小的值；和
在所述获取部的获取值大于所述上限值的情况下，用限制部提供该上限值以作为所述混合比率，而当所述获取值不超过所述上限值的情况下，用所述限制部提供该获取值以作为所述混合比率。
9.一种计算机可读介质，其存储有程序，所述程序致使计算机执行如下步骤：
判定步骤：每次当输入图像被输入时，用判定部判定所述输入图像和已被输出的输出图像中的像素值分布的变化量是否小于预定阈值；
混合比率供给步骤：用混合比率供给部供给随着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述输出图像混合时所述输出图像的混合比率；以及
混合步骤：每次当所述输入图像被输入时，用混合部基于被供给过来的所述混合比率将所述输入图像和所述输出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像，
其中所述混合比率供给步骤包括：
用上限值生成部生成随着所述次数的变多而变大的上限值；
用获取部获取随着所述变化量的变大而变小的值；和
在所述获取部的获取值大于所述上限值的情况下，用限制部提供该上限值以作为所述混合比率，而当所述获取值不超过所述上限值的情况下，用所述限制部提供该获取值以作为所述混合比率。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013108157 | 2013-05-22 | ||
| JP2013-108157 | 2013-05-22 | ||
| PCT/JP2014/059870 WO2014188799A1 (ja) | 2013-05-22 | 2014-04-03 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105229998A CN105229998A (zh) | 2016-01-06 |
| CN105229998B true CN105229998B (zh) | 2018-12-28 |
Family
ID=51933365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480027522.9A Active CN105229998B (zh) | 2013-05-22 | 2014-04-03 | 图像处理装置、方法和计算机可读介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9794452B2 (zh) |
| EP (1) | EP3001669B1 (zh) |
| JP (1) | JP6438390B2 (zh) |
| CN (1) | CN105229998B (zh) |
| WO (1) | WO2014188799A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10559073B2 (en) | 2016-03-23 | 2020-02-11 | Intel Corporation | Motion adaptive stream processing for temporal noise reduction |
| JP6797306B2 (ja) * | 2017-08-03 | 2020-12-09 | Eizo株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US20230007146A1 (en) * | 2019-12-19 | 2023-01-05 | Sony Semiconductor Solutions Corporation | Image processing device, image processing method, and program |
| KR102649600B1 (ko) * | 2020-01-17 | 2024-03-22 | 삼성디스플레이 주식회사 | 클럭 생성기 및 이를 포함하는 표시 장치 |
| US11508273B2 (en) * | 2020-11-12 | 2022-11-22 | Synaptics Incorporated | Built-in test of a display driver |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5404178A (en) * | 1992-10-08 | 1995-04-04 | Sony Corporation | Noise eliminating circuit |
| CN1697513A (zh) * | 2004-05-14 | 2005-11-16 | 索尼株式会社 | 图像处理设备和图像处理方法 |
| CN1921559A (zh) * | 2005-08-26 | 2007-02-28 | 索尼株式会社 | 图像处理设备、图像显示器以及图像处理方法 |
| CN101924899A (zh) * | 2009-06-09 | 2010-12-22 | 佳能株式会社 | 图像处理设备和图像处理方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06121193A (ja) * | 1992-10-08 | 1994-04-28 | Sony Corp | ノイズ除去回路 |
| JP4407015B2 (ja) * | 2000-06-15 | 2010-02-03 | ソニー株式会社 | ノイズ除去装置およびノイズ除去方法 |
| US7085318B2 (en) | 2000-06-15 | 2006-08-01 | Sony Corporation | Image processing system, image processing method, program, and recording medium |
| US7623723B2 (en) * | 2003-11-26 | 2009-11-24 | GE Medical Systems Global Technology Com. | Method for random point and patterned noise reduction in digital images |
| US20060139494A1 (en) * | 2004-12-29 | 2006-06-29 | Samsung Electronics Co., Ltd. | Method of temporal noise reduction in video sequences |
| JP3916637B2 (ja) * | 2005-03-08 | 2007-05-16 | 三菱電機株式会社 | 映像信号処理装置、映像信号処理方法、及び映像信号表示装置 |
| JP2008252591A (ja) * | 2007-03-30 | 2008-10-16 | Toshiba Corp | 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置 |
| US8204124B2 (en) * | 2007-08-27 | 2012-06-19 | Sony Corporation | Image processing apparatus, method thereof, and program |
| JP5219608B2 (ja) * | 2008-05-01 | 2013-06-26 | キヤノン株式会社 | フレームレート変換装置、方法及びプログラム |
| JP5417746B2 (ja) | 2008-06-19 | 2014-02-19 | ソニー株式会社 | 動き適応型ノイズ低減装置、画像信号処理装置、画像入力処理装置、および、動き適応ノイズ低減方法 |
| US20100238354A1 (en) * | 2009-03-18 | 2010-09-23 | Shmueli Yaron | Method and system for adaptive noise reduction filtering |
| JP2012222617A (ja) | 2011-04-08 | 2012-11-12 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2014027442A (ja) | 2012-07-26 | 2014-02-06 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
-
2014
- 2014-04-03 US US14/890,507 patent/US9794452B2/en active Active
- 2014-04-03 WO PCT/JP2014/059870 patent/WO2014188799A1/ja active Application Filing
- 2014-04-03 CN CN201480027522.9A patent/CN105229998B/zh active Active
- 2014-04-03 JP JP2015518146A patent/JP6438390B2/ja not_active Expired - Fee Related
- 2014-04-03 EP EP14801504.3A patent/EP3001669B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5404178A (en) * | 1992-10-08 | 1995-04-04 | Sony Corporation | Noise eliminating circuit |
| CN1697513A (zh) * | 2004-05-14 | 2005-11-16 | 索尼株式会社 | 图像处理设备和图像处理方法 |
| CN1921559A (zh) * | 2005-08-26 | 2007-02-28 | 索尼株式会社 | 图像处理设备、图像显示器以及图像处理方法 |
| CN101924899A (zh) * | 2009-06-09 | 2010-12-22 | 佳能株式会社 | 图像处理设备和图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3001669A1 (en) | 2016-03-30 |
| EP3001669B1 (en) | 2018-03-14 |
| CN105229998A (zh) | 2016-01-06 |
| JPWO2014188799A1 (ja) | 2017-02-23 |
| US9794452B2 (en) | 2017-10-17 |
| WO2014188799A1 (ja) | 2014-11-27 |
| EP3001669A4 (en) | 2016-12-21 |
| US20160080613A1 (en) | 2016-03-17 |
| JP6438390B2 (ja) | 2018-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105229998B (zh) | 图像处理装置、方法和计算机可读介质 | |
| Gu et al. | Coded rolling shutter photography: Flexible space-time sampling | |
| US9876970B2 (en) | Multi-exposure imaging | |
| CN102726037B (zh) | 图像处理装置、摄像装置和图像处理方法 | |
| US9367896B2 (en) | System and method for single-frame based super resolution interpolation for digital cameras | |
| CN104809710B (zh) | 图像去噪方法以及使用该方法的装置 | |
| US8749699B2 (en) | Method and device for video processing using a neighboring frame to calculate motion information | |
| CN101658027A (zh) | 用于图像帧的降噪方法和单元 | |
| CN102077572A (zh) | 用于在成像系统中防止运动模糊和重影的方法及装置 | |
| CN102769756A (zh) | 图像处理设备、图像处理方法和程序 | |
| CN102170520B (zh) | 级联滤波器及其标定去噪强度的动态设定方法 | |
| CN104796583B (zh) | 相机噪声模型产生及使用方法以及使用该方法的装置 | |
| Messikommer et al. | Multi-bracket high dynamic range imaging with event cameras | |
| CN103109305A (zh) | 图像处理装置、摄像装置、程序和图像处理方法 | |
| CN107454285A (zh) | 图像噪声估计方法及装置与图像提取装置 | |
| CN108322650A (zh) | 视频拍摄方法和装置、电子设备、计算机可读存储介质 | |
| CN107395991A (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| Gryaditskaya et al. | Motion aware exposure bracketing for HDR video | |
| Portz et al. | Random coded sampling for high-speed HDR video | |
| KR20190109242A (ko) | 이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치 | |
| Zhou et al. | An Effective Image Demosaicking Algorithm with Correlations among RGB Channels | |
| Choi et al. | Multi-spectral flash imaging using weight map | |
| CN115605908A (zh) | 信息处理设备和方法、计算机可读存储介质 | |
| Zhou et al. | Mobile camera source identification based on CFA Interpolation and large components of sensor pattern noise | |
| Brandsvoll | FPGA based noise reduction in video cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160912 Address after: Kanagawa Applicant after: SONY semiconductor solutions Address before: Tokyo, Japan Applicant before: Sony Corp |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |