CN107454285A - 图像噪声估计方法及装置与图像提取装置 - Google Patents

图像噪声估计方法及装置与图像提取装置 Download PDF

Info

Publication number
CN107454285A
CN107454285A CN201610535196.3A CN201610535196A CN107454285A CN 107454285 A CN107454285 A CN 107454285A CN 201610535196 A CN201610535196 A CN 201610535196A CN 107454285 A CN107454285 A CN 107454285A
Authority
CN
China
Prior art keywords
block
noise
present sample
estimation unit
universe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610535196.3A
Other languages
English (en)
Inventor
吴适达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Publication of CN107454285A publication Critical patent/CN107454285A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像噪声估计方法及装置与图像提取装置，该方法包括下列步骤：决定当前图像帧的多个当前采样区块以及先前图像帧的多个先前采样区块；计算每一当前采样区块的区块特征，以及计算每一当前采样区块及其对应的一个先前采样区块之间的区块绝对差值和；依据区块特征将这些当前采样区块分群为多个区间；依据区块特征以及区块绝对差值和为这些区间分别建立噪声模型；以及依据噪声模型计算当前图像帧的局部图像区块的噪声强度信息。

Description

图像噪声估计方法及装置与图像提取装置
技术领域
本发明涉及一种图像处理技术，且特别涉及一种图像噪声估计方法及装置与图像提取装置。
背景技术
在周围的光线不足时，数字相机和数字摄影机等电子图像提取装置所拍摄的图像通常会有严重的噪声干扰。在已知的图像噪声消除方法中，可以使用空间域噪声滤波器来消除空间域噪声，以及使用时间域噪声滤波器来消除时间域噪声。时空噪声滤波器则融合了时间域噪声滤波器和空间域噪声滤波器，在图像中属于静态的区域使用时间域噪声滤波器，而在属于动态的区域使用空间域噪声滤波器；如此可以避免在动态的区域中使用时间域噪声滤波器而产生运动物体残影的问题，也可以让动态区域有消除噪声的效果，不至于和静态区域在画质上有太大的差异。然而要通过噪声滤波器有效消除噪声，必须先估计图像中的噪声强度(noise level)，才能正确分辨图像中的动态区域和静态区域，也才能让噪声滤波器依据噪声大小调整滤波强度。已知的噪声估计方法通常以局部估计模型的方式建立噪声模型，虽然采用局部估计的模型较为简单，但是参数存储的空间需求较大；此外已知的噪声估计方法在建立噪声模型的过程中，通常未考虑噪声的信号相依性(signal-dependent characteristic)和噪声的边缘强度相依性(edge-dependentcharacteristic)，也就是噪声强度会依图像中像素亮度(pixel Y intensity)和像素边缘强度(pixels edge strength)而改变的特性，因此如何提升图像噪声估计的正确性依然是一个重要的课题。
发明内容
本发明提供一种图像噪声估计方法、图像噪声估计装置与图像提取装置，其可以提升图像噪声估计的正确性。
本发明提供一种图像噪声估计方法，包括下列步骤：决定当前图像帧中的多个当前采样区块以及先前图像帧中的多个先前采样区块；计算每一当前采样区块的区块特征，以及计算每一当前采样区块及其对应的先前采样区块之间在至少一色彩空间分量上的区块绝对差值和；依据这些区块特征将这些当前采样区块分群为多个区间；依据这些区块特征以及这些区块绝对差值和为这些区间的每一个来建立噪声模型；以及依据噪声模型和当前局部图像区块特征计算当前图像帧的局部图像区块的噪声强度信息。
本发明提供一种图像噪声估计装置。图像噪声估计装置包括全域噪声估计单元与局部噪声计算单元。全域噪声估计单元用以决定当前图像帧中的多个当前采样区块以及先前图像帧中的多个先前采样区块。全域噪声估计单元还用以计算每一当前采样区块的区块特征，以及计算每一当前采样区块及其对应的先前采样区块之间在至少一色彩空间分量上的区块绝对差值和。全域噪声估计单元还用以依据这些区块特征将这些当前采样区块分为多个区间，以及依据这些区块特征以及这些区块绝对差值和为每一区间建立噪声模型。局部噪声计算单元连接全域噪声估计单元。局部噪声计算单元用以依据噪声模型和当前局部图像区块特征计算当前图像帧的局部图像区块的噪声强度信息。
本发明提供一种图像提取装置。图像提取装置包括图像提取器、存储器、非临时性介质以及处理器。图像提取器用以提取当前图像帧。存储器用以存储当前图像帧与先前图像帧。非临时性介质用以存储程序。处理器连接非临时性介质、图像提取器与存储器。处理器可以存取存储器，以及执行非临时性介质的程序。所述程序包括全域噪声估计单元以及局部噪声计算单元。全域噪声估计单元可以决定当前图像帧中的多个当前采样区块以及先前图像帧中的多个先前采样区块。全域噪声估计单元可以计算这些当前采样区块的每一个的区块特征。全域噪声估计单元可以计算这些当前采样区块的每一个与这些先前采样区块的对应一个之间在至少一色彩空间分量上的区块绝对差值和。全域噪声估计单元可以依据这些区块特征将这些当前采样区块分群为多个区间。全域噪声估计单元可以依据这些区块特征以及这些区块绝对差值和而为这些区间的每一个来建立噪声模型。局部噪声计算单元可以依据噪声模型计算当前图像帧的局部图像区块的噪声强度信息。
基于上述，本发明实施例所述的图像噪声估计方法、图像噪声估计装置与图像提取装置可以针对当前图像帧以及先前图像帧进行时间域的全域噪声估计并且考虑像素亮度以及边缘强度等信息以建立噪声模型。噪声模型可以用于当前图像帧的局部图像区块，依据局部图像区块的特征求得该局部图像区块的噪声强度信息。本发明实施例所述的图像噪声估计方法、图像噪声估计装置与图像提取装置可以提升整体图像噪声估计的正确性。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依据本发明一实施例所绘示的一种图像噪声估计装置的电路方块示意图。
图2是依据本发明一实施例所绘示的一种图像噪声估计方法的流程示意图。
图3绘示本发明一实施例的采样区块的采样示意图。
图4是依据本发明一实施例绘示在一个采样区块中，一个目前像素及其多个邻接像素的示意图。
图5绘示本发明一实施例将采样区块分群为多个区间的示意图。
图6至图8绘示在区块绝对差值和与区块边缘强度值所构成的坐标空间中，计算亮度分量Y在某一个亮度区间的噪声模型的一个实施范例示意图。
图9绘示本发明一实施例计算色度分量U的噪声模型的示意图。
图10是依据本发明一实施例说明图2所示步骤S250的细部流程示意图。
图11绘示本发明一实施例计算局部图像区块在亮度分量上的噪声平均值的示意图。
图12是依据本发明另一实施例绘示的一种图像噪声估计装置的电路方块示意图。
图13是依据本发明又一实施例绘示的一种图像提取装置的电路方块示意图。
【符号说明】
100：图像噪声估计装置
110、1321：全域噪声估计单元
120、1322：局部噪声计算单元
1200、1300：图像提取装置
1230：运动检测单元
1240：时空噪声滤波单元
1250：切换单元
1260：图像暂存单元
1310：图像提取器
1320：存储器
1330：处理器
1340：非临时性介质
blkEdgVar_Y：区块边缘强度值
blkMean_Y：区块亮度平均值
blkSAD_Y：区块亮度分量Y上的绝对差值和
blkSAD_U：区块色度分量U上的绝对差值和
blkSAD_V：区块色度分量V上的绝对差值和
C：目前像素
curBlk：当前采样区块
edgVar_base：边缘强度基准值
I(t)：当前图像帧
I(t-1)：先前图像帧
Ispatial(t)：空间域噪声滤波结果
Itemporal(t)：时间域噪声滤波结果
inten_L：相邻左侧区间的亮度中间值
inten_R：相邻右侧区间的亮度中间值
noise_Mean：噪声平均值
noiseSAD_base_Th：噪声基准值阈值
noiseSAD＝coef_a*blkEdgVar+coef_b：噪声线性模型
noiseSAD_mean_Th：噪声平均值阈值
noiseSAD_STD：噪声标准差
noiseSAD_STD_Th：噪声标准差阈值
P0、P1、P2、P3、P4、P5、P6、P7：邻接像素
preBlk：先前采样区块
S210、S220、S230、S240、S250、S1010、S1020：步骤
具体实施方式
在本申请说明书全文(包括权利要求书)中所使用的“耦接(或连接)”一词可指任何直接或间接的连接手段。举例而言，若文中描述第一装置耦接(或连接)在第二装置，则应该被解释成该第一装置可以直接连接于该第二装置，或者该第一装置可以通过其他装置或某种连接手段而间接地连接至该第二装置。另外，凡可能之处，在附图及实施方式中使用相同标号的元件/构件/步骤代表相同或类似部分。不同实施例中使用相同标号或使用相同用语的元件/构件/步骤可以相互参照相关说明。
图1是依据本发明一实施例所绘示的一种图像噪声估计装置100的电路方块示意图。请参照图1，在本实施例中，图像噪声估计装置100可以设置在具有图像提取功能的电子装置中，其中电子装置例如是数字摄影机、数字摄录机、智能手机、数字个人助理(PDA)、平板计算机、笔记型计算机、智慧型眼镜、智慧型手表或其他固定式或便携式装置。另外，图像提取功能可以是通过例如是摄影机或摄录机，并且可包括光学定焦镜头或光学变焦镜头，以及诸如电荷耦合装置(charge coupled device，CCD)或互补式金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)等图像感测装置来实现，但本发明并不限于此。
在本实施例中，图像噪声估计装置100用以针对电子装置所提取的图像，进行噪声估计以及噪声计算。图像噪声估计装置100例如是中央处理单元(central processingunit，CPU)、可编程的通用或专用微处理器、数字信号处理器(digital signal processor，DSP)、可编程控制器、特殊应用集成电路(application specific integrated circuit，ASIC)、可编程逻辑装置(programmable logic device，PLD)或任何其他类似的装置或其组合等，因此图像噪声估计装置100可以藉由软件或固件的方式来实现图像噪声估计装置100的各项功能，或藉由硬件(电路)的方式实现图像噪声估计装置100的各项功能，或藉由软件与硬件相互组合的方式实现图像噪声估计装置100的各项功能。在另一些实施例中，图像噪声估计装置100可以是包含了多个集成电路及其他元件的系统电路。
图像噪声估计装置100包括全域噪声估计单元110以及局部噪声计算单元120。在藉由硬件实现图像噪声估计装置100的应用例中，全域噪声估计单元110可以是全域噪声估计电路，而局部噪声计算单元120可以是局部噪声计算电路。全域噪声估计单元110接收当前图像帧I(t)以及先前图像帧I(t-1)。全域噪声估计单元110用以分析当前图像帧I(t)以及先前图像帧I(t-1)以建立噪声模型。局部噪声计算单元120连接全域噪声估计单元110。依据全域噪声估计单元110建立的噪声模型，局部噪声计算单元120可以针对当前图像帧I(t)当中的局部图像区块进行特征提取，配合噪声模型参数以取得局部图像区块的噪声强度信息。换句话说，图像噪声估计装置100属于一种时间域的噪声估计装置。图像噪声估计装置100是藉由分析时间上相邻两帧图像的方式来建立噪声模型。
图2是依据本发明一实施例所绘示的一种图像噪声估计方法的流程示意图，请同时参考图1、图2。在步骤S210中，全域噪声估计单元110决定当前图像帧I(t)当中的多个当前采样区块以及先前图像帧I(t-1)的多个先前采样区块。在一些实施例中，全域噪声估计单元110在步骤S210中可以依据采样数量sampleNum计算采样步进值sampleStep，以决定所述当前采样区块在当前图像帧I(t)中的采样位置，亦即决定所述先前采样区块在先前图像帧I(t-1)中的采样位置。所述采样数量sampleNum表示于一个图像帧中的欲采样的区块数量。采样数量sampleNum可以依照设计需求或应用需求来决定。例如，全域噪声估计单元110可以依据以下公式(1)来决定采样步进值。
对于上述公式(1)，blkNum表示于一个图像帧中的区块总数，round()是一个四舍五入函数，而max()是一个“取最大值”函数。采样步进值sampleStep决定于图像帧的区块总数blkNum除以采样数量sampleNum后四舍五入的值，并且采样步进值sampleStep不小于1。举例来说，图3绘示本发明一实施例的采样区块的采样示意图。全域噪声估计单元110以移动至少一格区块的方式对于当前图像帧I(t)以及先前图像帧I(t-1)进行采样，其中采样数量sampleNum可依据使用需求设定之。全域噪声估计单元110在步骤S210中可以依据采样步进值sampleStep来决定当前采样区块CurBlk在当前图像帧I(t)中的采样位置，亦即决定所述先前采样区块PreBlk在先前图像帧I(t-1)中的采样位置。每一当前采样区块CurBlk在当前图像帧I(t)中的位置相同于每一先前采样区块PreBlk在先前图像帧I(t-1)中的采样位置。举例来说，区块总数blkNum假设为35，若采样数量sampleNum被设定为17，则采样步进值sampleStep为2。采样步进值sampleStep为2，其意味着全域噪声估计单元110在当前图像帧I(t)中以“每移动二个区块采样一个区块”的方式对于当前图像帧I(t)进行采样，先前图像帧I(t-1)的采样方式相同于当前图像帧I(t)的采样方式。
在步骤S220中，全域噪声估计单元110计算每一当前采样区块的区块特征，以及计算每一当前采样区块及其对应的先前采样区块之间在至少一色彩空间分量上的区块绝对差值和。依照设计需求，图像噪声估计装置100可以应用于各种不同的色彩空间。例如，在本实施例中，图像噪声估计装置100可以应用于YUV色彩空间，其中色彩空间分量Y为亮度分量(Luminance)，色彩空间分量U和V为色度分量(Chrominance)但本发明的应用不限于此。在本发明另一实施例中，图像噪声估计装置100可以应用于RGB色彩空间或是其他色彩空间。
以YUV色彩空间为例，全域噪声估计单元110可以计算每一当前采样区块的多个像素在亮度分量Y上的亮度平均值作为区块特征。在本实施例中，全域噪声估计单元110可依据以下公式(2)、(3)来计算每一当前采样区块的亮度平均值blkMean_Y。一个当前采样区块curBlk具有多个像素，而curBlk_Y(m，n)表示在一个当前采样区块curBlk中位置为(m，n)的像素的亮度值。在本实施例中，亮度平均值blkMean_Y等于此当前采样区块curBlk当中的所有像素的亮度值curBlk_Y(m，n)的总和除以区块面积blkVol的结果，其中区块面积blkVol为当前采样区块curBlk的高blkSize与当前采样区块curBlk的宽blkSize的相乘结果。
blkVol＝blkSize*blkSize……………………………………………(3)
全域噪声估计单元110还可以计算每一当前采样区块及其对应的先前采样区块之间在亮度分量Y上的区块绝对差值和blkSAD_Y，计算每一当前采样区块及其对应的先前采样区块之间在色度分量U和V上的区块绝对差值和blkSAD_U与blkSAD_V。以下将以区块绝对差值和blkSAD_Y作为说明范例，而区块绝对差值和blkSAD_U与blkSAD_V的计算方式可以参照区块绝对差值和blkSAD_Y的相关说明而类推。
举例来说，全域噪声估计单元110可依据以下公式(4)计算当前采样区块及其对应的先前采样区块在亮度分量Y上的区块绝对差值和blkSAD_Y。全域噪声估计单元110可以计算在一个当前采样区块curBlk中位置在(m，n)处像素的亮度值curBlk_Y(m，n)与先前采样区块preBlk中位置在(m，n)处像素的亮度值preBlk_Y(m，n)的绝对差值。全域噪声估计单元110可以将当前采样区块curBlk与先前采样区块preBlk之间所有像素的绝对差值累加起来，作为当前采样区块curBlk的区块绝对差值和blkSAD_Y。
在本实施例中，全域噪声估计单元110还可以在步骤S220中计算每一个当前采样区块中的每一个像素的像素边缘强度值，以及依据这些像素的像素边缘强度值计算每一个当前采样区块的区块边缘强度值。举例来说(但不限于此)，全域噪声估计单元110可依据以下公式(5)、(6)、(7)来决定每一当前采样区块的区块边缘强度值。
图4是依据本发明一实施例绘示在一个采样区块中，一个目前像素及其多个邻接像素的示意图。举例来说，假设一个当前采样区块curBlk当中具有多个像素，例如图4所示像素C、P0、P1、P2、P3、P4、P5、P6、P7。对于当前采样区块curBlk的这些像素的一个目前像素C而言，全域噪声估计单元110可以计算所述目前像素C与多个邻接像素P0～P7的加权平均值LP。举例来说，全域噪声估计单元110可以使用公式(7)来计算此目前像素C的加权平均值LP。在公式(7)中，C表示目前像素C的亮度值，P0表示邻接像素P0的亮度值，P1表示邻接像素P1的亮度值，P2表示邻接像素P2的亮度值，P3表示邻接像素P3的亮度值，P4表示邻接像素P4的亮度值，P5表示邻接像素P5的亮度值，P6表示邻接像素P6的亮度值，而P7表示邻接像素P7的亮度值。公式(7)中的权重可以依照设计需求或应用需求来改变。
全域噪声估计单元110可以计算目前像素C与加权平均值LP的第一绝对差值|C-LP|，以及分别计算邻接像素P0～P7与所述加权平均值LP的多个第二绝对差值|P0-LP|、|P1-LP|、|P2-LP|、|P3-LP|、|P4-LP|、|P5-LP|、|P6-LP|与|P7-LP|，以及计算所述第一绝对差值与所述多个第二绝对差值的总和作为目前像素C的像素边缘强度值pixelEdgVar_Y。举例来说，全域噪声估计单元110还可以使用公式(6)来计算目前像素C的像素边缘强度值pixelEdgVar_Y。以此类推，全域噪声估计单元110可以使用公式(6)与公式(7)而获得当前采样区块curBlk的所有像素的像素边缘强度值pixelEdgVar_Y。
在一个当前采样区块curBlk中，全域噪声估计单元110可以计算多个像素的像素边缘强度值pixelEdgVar_Y的总和，作为当前采样区块curBlk的区块边缘强度值blkEdgVar_Y。举例来说，全域噪声估计单元110还可以使用公式(5)来计算此当前采样区块curBlk的区块边缘强度值blkEdgVar_Y，其中pixelEdgVar_Y(m，n)表示在一个当前采样区块curBlk中位置在(m，n)处像素的像素边缘强度值pixelEdgVar_Y。区块边缘强度值blkEdgVar_Y为此当前采样区块curBlk的所有像素的像素边缘强度值pixelEdgVar_Y总和的结果。
请参照图2，在步骤S230中，全域噪声估计单元110可以依据每一当前采样区块的区块亮度平均值blkMean_Y，将步骤S210所决定的这些当前采样区块分群为多个区间。这些区间的数量可以依照设计需求来决定。举例来说(但不限于此)，请参考图5，图5绘示本发明一实施例将采样区块分群为多个区间的示意图。图5所示横轴表示当前采样区块的亮度平均值blkMean_Y，而纵轴表示当前采样区块的区块绝对差值和blkSAD_Y。图5所示一个记号“+”表示一个当前采样区块在区块亮度平均值blkMean_Y与区块绝对差值和blkSAD_Y所构成的坐标平面中的位置。由于不同亮度往往具有不同的噪声强度信息，因此全域噪声估计单元110可以依据上述步骤S220所取得的每一当前采样区块的区块亮度平均值blkMean_Y，来将这些当前采样区块分群为多个区间seg0、seg1、seg2、seg3、seg4、seg5、seg6与seg7。
举例来说(但不限于此)，全域噪声估计单元110还可依据以下公式(8)过滤每一当前采样区块。在本实施例中，全域噪声估计单元110可以在步骤S230中依据每一个当前采样区块的区块亮度平均值blkMean_Y以及区块边缘强度值blkEdgVar_Y来过滤这些当前采样区块，进而获得多个经过滤的当前采样区块。这些经过滤的当前采样区块的亮度平均值blkMean_Y介于预设的最小平均亮度阈值NE_blkMeanY_minTh以及预设的最大平均亮度阈值NE_blkMeanY_maxTh之间，并且这些经过滤的当前采样区块的区块边缘强度值blkEdgVar_Y小于预设的边缘强度值阈值NE_blkEdgVar_maxTh。也就是说，全域噪声估计单元110可以将这些将当前采样区块当中在亮度分量上过暗、过亮的区块以及边缘强度过强的区块进行滤除；原因是过暗、过亮的区块属于亮度饱和的区块，其噪声值可能会过低而影响估计估，而边缘强度过强的区块则因为亮度变化大，其亮度平均值较没有代表性，可能会被分类到不适当的区间而影响估计值。依据这些经过滤的当前采样区块的亮度平均值blkMean_Y，全域噪声估计单元110可以在步骤S230中将这些经过滤当前采样区块分群为多个区间seg0～seg7。
在步骤S240中，全域噪声估计单元110依据每一当前采样区块的区块特征以及区块绝对差值和分别为区间seg0～seg7的每一个来建立噪声模型。举例来说(但不限于此)，全域噪声估计单元110可以分别计算每一区间在色彩空间分量(例如亮度分量Y)上的噪声平均值noiseSAD_Mean以及噪声标准差noiseSAD_STD，作为所述噪声模型。具体来说，全域噪声估计单元110可以依据上述步骤S220计算取得的每一个当前采样区块的亮度平均值blkMean_Y、区块边缘强度值blkEdgVar_Y、在亮度分量Y上的区块绝对差值和blkSAD_Y、在色度分量U与V上的区块绝对差值和blkSAD_U与blkSAD_V来建立噪声模型。
图6至图8绘示在区块绝对差值和与区块边缘强度值所构成的坐标空间中，计算亮度分量的噪声模型的一个实施范例示意图。由于亮度分量上的噪声强度具有随像素边缘强度增强而变大的特性，亮度分量上的噪声模型为一噪声强度和边缘强度之间的线性模型。全域噪声估计单元110可以在步骤S240选择图5所示区间seg0～seg7的其中一个作为目标区间(其余区间的操作可以参照所述目标区间的相关说明而类推)。关于亮度分量的噪声模型，以下说明计算基准点的详细步骤。在步骤S240中，全域噪声估计单元110可以在所述目标区间内的所有当前采样区块中选择一个或多个当前采样区块，作为所述目标区间的第一区块集合S1。其中，在第一区块集合S1中的当前采样区块在亮度分量Y上的区块绝对差值和blkSAD_Y小于或等于噪声基准值阈值noiseSAD_base_Th。噪声基准值阈值noiseSAD_base_Th可以依照设计需求或应用需求来决定。
图6绘示本发明一实施例计算亮度分量的噪声模型的基准点的示意图，基准点可以代表图像中平坦且静态区的噪声和边缘强度特性。图6所示横轴表示当前采样区块的区块边缘强度值blkEdgVar_Y，而纵轴表示当前采样区块的区块绝对差值和blkSAD_Y。图6所示一个记号“+”表示一个当前采样区块在区块边缘强度值blkEdgVar_Y与区块绝对差值和blkSAD_Y所构成的坐标平面中的位置。在本实施例中，全域噪声估计单元110可以使用下列公式(9)来过滤所述目标区间中的当前采样区块，而获得第一区块集合S1。公式(9)所示blkSADi表示在所述目标区间中的第i个当前采样区块的区块绝对差值和blkSAD_Y。在本实施例中，第一区块集合S1包含属于平坦区且为静态区的当前采样区块，其筛选条件为当前采样区块在亮度分量Y上的区块绝对差值和blkSAD小于或等于噪声基准值阈值noiseSAD_base_Th。全域噪声估计单元110可以使用下列公式(10)来决定噪声基准值阈值noiseSAD_base_Th。公式(10)所示blkSAD_Min表示在所述目标区间中，所有当前采样区块的区块绝对差值和blkSAD_Y当中的最小者。在公式(10)所示实施例中，噪声基准值阈值noiseSAD_base_Th为区块绝对差值和最小者blkSAD_Min乘上参数值k1的结果。参数值k1可以依照设计需求或应用需求来决定。举例来说，参数值k1可以是大于0且小于等于4的实数。
noiseSAD_base_Th＝k1*blkSAD_Min，0＜k1≤4…………………………(10)
接着，全域噪声估计单元110可以在步骤S240中依据第一区块集合S1当中的多个当前采样区块的区块边缘强度值blkEdgVar_Y来计算所述目标区间的边缘强度基准值edgVar_base，以及依据第一区块集合S1当中的多个当前采样区块在亮度分量Y上的区块绝对差值和blkSAD_Y来计算所述目标区间的噪声基准值noiseSAD_base。举例来说，全域噪声估计单元110可使用下列公式(11)、(12)来分别计算边缘强度基准值edgVar_base以及噪声基准值noiseSAD_base。在公式(11)中，blkEdgVari表示在第一区块集合S1中的第i个当前采样区块的区块边缘强度值blkEdgVar_Y，而M1表示第一区块集合S1中的当前采样区块的数量。在公式(12)中，blkSADi表示在第一区块集合S1中的第i个当前采样区块的区块绝对差值和blkSAD_Y。在本实施例中，全域噪声估计单元110依据第一区块集合S1当中的所有当前采样区块的边缘强度值blkEdgVari的总和除以第一区块集合S1的区块数量M1的结果，来作为边缘强度基准值edgVar_base。全域噪声估计单元110依据第一区块集合S1当中的所有当前采样区块在亮度分量上的区块绝对差值和blkSADi的总和除以区块数量M1的结果，来作为噪声基准值noiseSAD_base。据此，全域噪声估计单元110可取得关于亮度分量Y的噪声模型的基准点坐标(edgVar_base，noiseSAD_base)。
在步骤S240中，全域噪声估计单元110还可以在所述目标区间内的当前采样区块中选择一个或多个当前采样区块，作为所述目标区间的第二区块集合S2。其中，在第二区块集合S2内的当前采样区块在所述亮度分量Y上的区块绝对差值和blkSAD_Y小于或等于噪声平均值阈值noiseSAD_mean_Th。噪声平均值阈值noiseSAD_mean_Th可以依照设计需求或应用需求来决定。
图7绘示本发明一实施例计算亮度分量的噪声模型的系数值的示意图，此系数描述了噪声强度随边缘强度变化的趋势。图7所示横轴表示当前采样区块的区块边缘强度值blkEdgVar_Y，而纵轴表示当前采样区块的区块绝对差值和blkSAD_Y。图7所示一个记号“+”表示一个当前采样区块在区块边缘强度值blkEdgVar_Y与区块绝对差值和blkSAD_Y所构成的坐标平面中的位置。在本实施例中，全域噪声估计单元110可以使用下列公式(13)来过滤所述目标区间中的当前采样区块，而获得第二区块集合S2。公式(13)所示blkSADi表示在所述目标区间中的第i个当前采样区块的区块绝对差值和blkSAD_Y。在本实施例中，第二区块集合S2包含用来计算线性模型(linear model)参数的第一系数值coef_a以及第二系数值coef_b的当前采样区块，其筛选条件为当前采样区块在亮度分量Y上的区块绝对差值和blkSADi小于或等于噪声平均值阈值noiseSAD_mean_Th，其中筛选目的在于排除运动的区块。全域噪声估计单元110可以使用下列公式(14)来决定噪声平均值阈值noiseSAD_mean_Th。在公式(14)所示实施例中，噪声平均值阈值noiseSAD_mean_Th为噪声基准值noiseSAD_base乘上参数值k2的结果。参数值k2可以依照设计需求或应用需求来决定。举例来说，参数值k2可以是大于0且小于等于4的实数。
noiseSAD_mean_Th＝k2*noiseSAD_base，0＜k2≤4………………………(14)
接着，全域噪声估计单元110可以在步骤S240中依据边缘强度基准值edgVar_base与噪声基准值noiseSAD_base，以及依据在第二区块集合S2当中的当前采样区块在亮度分量Y上的区块绝对差值和blkSAD_Y以及区块边缘强度值blkEdgVar_Y，来计算所述目标区间的第一系数值coef_a以及第二系数值coef_b。举例来说，全域噪声估计单元110可使用下列公式(15)、(16)、(17)、(18)来分别计算线性模型(linear model)的第一系数值coef_a以及第二系数值coef_b。在公式(15)中，blkEdgVari表示在第二区块集合S2中的第i个当前采样区块的区块边缘强度值blkEdgVar_Y。在公式(16)中，blkSADi表示在第二区块集合S2中的第i个当前采样区块的区块绝对差值和blkSAD_Y。在本实施例中，线性模型需经过基准点坐标(edgVar_base，noiseSAD_base)，以避免平坦区的噪声值被高估。因此，全域噪声估计单元110依据边缘强度基准值edgeVar_base以及第二区块集合S2当中的当前采样区块在亮度分量Y上的边缘强度值blkEdgVari来计算变数值data_x(i)，以及依据噪声基准值noiseSAD_base以及第二区块集合S2当中的当前采样区块在亮度分量Y上的区块绝对差值和blkSADi来计算变数值data_y(i)。全域噪声估计单元110再依据变数值data_x(i)、data_y(i)来计算第一系数值coef_a，并且依据边缘强度基准值edgeVar_base、噪声基准值noiseSAD_base以及第一系数值coef_a来计算第二系数值coef_b。据此，全域噪声估计单元110可取得通过基准点坐标(edgVar_base，noiseSAD_base)的线性模型noiseSAD＝coef_a*blkEdgVar+coef_b。
data_x(i)＝blkEdgVari-edgeVar_base……………………………………(15)
data_y(i)＝blkSADi-noiseSAD_base………………………………………(16)
coef_b＝noiseSAD_base-coef_a*edgVar_base……………………………(18)
在步骤S240中，全域噪声估计单元110还可以在所述目标区间内的当前采样区块中选择一个或多个当前采样区块，作为所述目标区间的第三区块集合S3。其中，在第三区块集合S3内的当前采样区块在亮度分量Y上的区块绝对差值和blkSAD_Y小于或等于噪声标准差阈值noiseSAD_STD_Th。噪声标准差阈值noiseSAD_STD_Th可以依照设计需求或应用需求来决定。
图8绘示本发明一实施例计算亮度分量的噪声模型的噪声标准差的示意图。图8所示横轴表示当前采样区块的区块边缘强度值blkEdgVar_Y，而纵轴表示当前采样区块的区块绝对差值和blkSAD_Y。图8所示一个记号“+”表示一个当前采样区块在区块边缘强度值blkEdgVar_Y与区块绝对差值和blkSAD_Y所构成的坐标平面中的位置。在本实施例中，全域噪声估计单元110可以使用下列公式(19)、(20)、(21)、(22)来过滤所述目标区间中的当前采样区块，而获得第三区块集合S3。公式(19)所示blkSADi表示在所述目标区间中的第i个当前采样区块的区块绝对差值和blkSAD_Y。在本实施例中，第三区块集合S3包含用来计算噪声标准差noiseSAD_STD的当前采样区块，其筛选条件为各当前采样区块在亮度分量Y上的区块绝对差值和blkSADi小于或等于噪声标准差阈值noiseSAD_STD_Th，其中筛选目的在于排除变异范围过大的区块。全域噪声估计单元110可以使用下列公式(20)来决定噪声标准差阈值noiseSAD_STD_Th。公式(20)所示noiseSAD_Meani表示在所述目标区间中的第i个当前采样区块的噪声平均值noiseSAD_Mean。在公式(20)所示实施例中，噪声标准差阈值noiseSAD_STD_Th依据所述目标区间内的各当前采样区块的噪声平均值noiseSAD_Meani以及一粗估噪声变异范围noiseSAD_STD_rough来决定。
noiseSAD_STD_Th＝noiseSAD_Meani-noiseSAD_STD_rough……………(20)
noiseSAD_Meani＝coef_a*blkEdgVari+coef_b……………………………(21)
全域噪声估计单元110可以在步骤S240中依据所述目标区间的第一系数值coef_a与第二系数值coef_b，以及依据在第三区块集合S3当中的当前采样区块的边缘强度值blkEdgVari，来计算所述目标区间的噪声平均值noiseSAD_Meani。据此，全域噪声估计单元110可取得关于亮度分量Y的噪声模型当中的噪声平均值noiseSAD_Meani。全域噪声估计单元110还可以在步骤S240中依据所述目标区间的噪声基准值noiseSAD_base以及参数值k3来决定一个粗估噪声变异范围noiseSAD_STD_rough。参数值k3可以依照设计需求或应用需求来决定。举例来说，参数值k3可以是大于等于2且小于等于8的实数。
接着，全域噪声估计单元110可以在步骤S240中依据在第三区块集合S3当中的当前采样区块在亮度分量Y上的区块绝对差值和blkSAD_Y以及噪声平均值noiseSAD_Meani，来计算所述目标区间的噪声标准差noiseSAD_STD。举例来说，全域噪声估计单元110可使用下列公式(23)计算噪声标准差noiseSAD_STD。在公式(23)中，blkSADi表示在第三区块集合S3中的第i个当前采样区块的区块绝对差值和blkSAD_Y，而noiseSAD_Meani表示在第三区块集合S3中的第i个当前采样区块的噪声平均值noiseSAD_Mean，而M3表示第三区块集合S3中的当前采样区块的数量。在本实施例中，全域噪声估计单元110总和了第三区块集合S3当中的各当前采样区块的区块绝对差值和blkSADi与噪声平均值noiseSAD_Meani相减的绝对值，并除以第三区块集合S3的区块数量M3，来取得噪声标准差noiseSAD_STD。据此，全域噪声估计单元110可取得关于亮度分量Y的噪声模型当中的噪声标准差noiseSAD_STD。
在步骤S240中，全域噪声估计单元110可以分别计算每一个区间在色度分量U和V上的噪声平均值noiseSAD_Mean以及噪声标准差noiseSAD_STD，作为噪声模型。以下说明色度分量U的噪声模型的详细步骤。色度分量V的噪声模型可以参照色度分量U的相关说明而类推。
举例来说，图9绘示本发明一实施例计算色度分量U的噪声模型的示意图。由于色度分量上的噪声强度随像素边缘强度增强而变大的特性不明显，色度分量上的噪声模型不考虑噪声强度和边缘强度之间的关系。图9所示横轴表示当前采样区块的亮度平均值blkMean_Y，而纵轴表示当前采样区块在色度分量U上的区块绝对差值和blkSAD_U。图9所示一个记号“+”表示一个当前采样区块在亮度平均值blkMean_Y与区块绝对差值和blkSAD_U所构成的坐标平面中的位置。全域噪声估计单元110可以在步骤S240选择图9所示区间seg0～seg7的其中一个作为目标区间(其余区间的操作可以参照所述目标区间的相关说明而类推)。在步骤S240中，全域噪声估计单元110可以在所述目标区间内的所有当前采样区块中选择一个或多个当前采样区块，作为所述目标区间的第四区块集合S4。其中，在第四区块集合S4中的当前采样区块在色度分量U上的区块绝对差值和blkSAD_U小于或等于噪声平均值阈值noiseSAD_mean_Th。噪声平均值阈值noiseSAD_mean_Th可以依照设计需求或应用需求来决定。
在本实施例中，全域噪声估计单元110可以使用下列公式(24)、(25)来过滤所述目标区间中的当前采样区块，而获得第四区块集合S4。公式(24)所示blkSADi表示在所述目标区间中的第i个当前采样区块的区块绝对差值和blkSAD_U。在本实施例中，第四区块集合S4包含用来计算噪声平均值的当前采样区块，其筛选条件为当前采样区块在色度分量U上的区块绝对差值和blkSADi小于或等于噪声平均值阈值noiseSAD_mean_Th，其中筛选目的在于排除运动的当前采样区块。公式(25)所示blkSAD_Min表示在所述目标区间中，所有当前采样区块的区块绝对差值和blkSAD_U当中的最小者。在公式(25)所示实施例中，噪声平均值阈值noiseSAD_mean_Th为区块绝对差值和最小值blkSAD_Min乘上参数值k4的结果。参数值k4可以依照设计需求或应用需求来决定。举例来说，参数值k4可以是大于0且小于等于8的实数。
noiseSAD_Mean_Th＝k4*blkSAD_Min，0≤k4≤8…………………………(25)
接着，全域噪声估计单元110可以在步骤S240中依据在第四区块集合S4当中的当前采样区块在色度分量U的区块绝对差值和blkSAD_U来计算所述目标区间的噪声平均值noiseSAD_Mean。举例来说，全域噪声估计单元110可依据下列公式(26)计算噪声平均值。在公式(26)中，blkSADi表示在第四区块集合S4中的第i个当前采样区块的区块绝对差值和blkSAD_U，而M4表示第四区块集合S4中的当前采样区块的数量。在本实施例中，全域噪声估计单元110总和了第四区块集合S4当中的各当前采样区块的区块绝对差值和blkSADi，并除以第四区块集合S4的区块数量M4，来取得噪声平均值noiseSAD_Mean。据此，全域噪声估计单元110可取得关于色度分量U的噪声模型当中的噪声平均值noiseSAD_Mean。
在步骤S240中，全域噪声估计单元110还可以选择在所述目标区间中的一个或多个当前采样区块，作为所述目标区间的第五区块集合S5。其中，在第五区块集合S5中的当前采样区块在色度分量U上的区块绝对差值和blkSAD_U小于或等于噪声标准差阈值noiseSAD_STD_Th。请再参考图9，在本实施例中，全域噪声估计单元110可以使用下列公式(27)、(28)、(29)来过滤所述目标区间中的当前采样区块，而获得第五区块集合S5。公式(27)所示blkSADi表示在所述目标区间中的第i个当前采样区块的区块绝对差值和blkSAD_U。在本实施例中，第五区块集合S5包含用来计算噪声标准差noiseSAD_STD的当前采样区块，其筛选条件为各当前采样区块在色度分量U上的区块绝对差值和blkSADi小于或等于噪声标准差阈值noiseSAD_STD_Th，其中筛选目的在于排除变异范围过大的区块。全域噪声估计单元110可以使用下列公式(28)、(29)来决定噪声标准差阈值noiseSAD_STD_Th。公式(28)所示noiseSAD_Mean表示所述目标区间的噪声平均值，noiseSAD_STD_rough表示所述目标区间的一粗估噪声变异范围。在公式(28)、(29)所示实施例中，噪声标准差阈值noiseSAD_STD_Th依据所述目标区间的噪声平均值noiseSAD_Mean以及粗估噪声变异范围noiseSAD_STD_rough来决定，其中粗估噪声变异范围noiseSAD_STD_rough是依据所述目标区间的噪声平均值noiseSAD_Mean以及参数值k5来决定。参数值k5可以依照设计需求或应用需求来决定。举例来说，参数值k5可以是大于等于2且小于等于8的实数。
noiseSAD_STD_Th＝noiseSAD_Mean+noiseSAD_STD_rough……………(28)
接着，全域噪声估计单元110可以在步骤S240中依据在第五区块集合S5当中的当前采样区块的区块绝对差值和blkSAD_U以及噪声平均值noiseSAD_Mean，去计算所述目标区间的噪声标准差noiseSAD_STD。举例来说，全域噪声估计单元110可使用下列公式(30)计算噪声标准差noiseSAD_STD。在公式(30)中，blkSADi表示在第五区块集合S5中的第i个当前采样区块的区块绝对差值和blkSAD_U，而noiseSAD_Mean表示所述目标区间的噪声平均值，而M5表示第五区块集合S5中的当前采样区块的数量。在本实施例中，全域噪声估计单元110总和了第五区块集合S5当中的各当前采样区块的区块绝对差值和blkSADi与噪声平均值noiseSAD_Mean相减的绝对值，并除以第五区块集合S5的区块数量M5，来取得噪声标准差noiseSAD_STD。据此，全域噪声估计单元110可取得关于色度分量U的噪声模型当中的噪声标准差noiseSAD_STD。
此外，关于色度分量V的噪声模型的噪声平均值noiseSAD_Mean以及噪声标准差noiseSAD_STD可如同上述色度分量U的噪声模型的计算方式类推之，在此不再加以赘述。
请参照图2，在步骤S250中，局部噪声计算单元120依据噪声模型计算当前图像帧的局部图像区块的噪声强度信息。具体来说，局部噪声计算单元120可以依据上述步骤S240当中全域噪声估计单元110分别在亮度分量Y、色度分量U和V上建立的噪声模型来计算当前图像帧的局部图像区块的噪声强度信息。
图10是依据本发明一实施例说明图2所示步骤S250的细部流程示意图，请同时参考图1、图10。在步骤S1010中，局部噪声计算单元120用以接收当前图像帧I(t)，并且计算当前图像帧I(t)的局部图像区块的亮度平均值blkMean_Y以及边缘强度值blkEdgVar_Y。在步骤S1020中，局部噪声计算单元120依据局部图像区块的亮度平均值blkMean_Y以及边缘强度值blkEdgVar_Y，藉由使用全域噪声估计单元110所提供的噪声模型去计算局部图像区块在各色彩空间分量上的噪声平均值、噪声标准差以及噪声基准值。
举例来说，如图11所示，图11绘示本发明一实施例计算局部图像区块在亮度分量上的噪声平均值的示意图。图11所示横轴表示区块的亮度平均值，而纵轴表示噪声平均值noiseSAD_Mean，“X”表示一局部区块的亮度平均值。在本实施例中，局部噪声计算单元120依据当前图像帧I(t)的局部图像区块的亮度平均值blkMean_Y决定此局部图像区块的相邻左侧区间(例如区间Seg2)以及相邻右侧区间(例如区间Seg3)，并且使用以下公式(31)、(32)去计算左右两侧区间的噪声平均值noiseSAD_Mean_L与noiseSAD_Mean_R。在公式(31)、(32)中，coef_a_L表示相邻左侧区间Seg2的第一系数值coef_a，coef_b_L表示相邻左侧区间Seg2的第二系数值coef_b，coef_a_R表示相邻右侧区间Seg3的第一系数值coef_a，coef_b_R表示相邻右侧区间Seg3的第二系数值coef_b。左右两侧区间的噪声平均值依据此局部图像区块的边缘强度值blkEdgVar_Y以及左右两侧区间的第一系数值coef_a_L、coef_a_R以及第二系数值coef_b_L、coef_b_R来决定。
noiseSAD_Mean_L＝coef_a_L*blkEdgVar_Y+coef_b_L…………………(31)
noiseSAD_Mean_R＝coef_a_R*blkEdgVar_Y+coef_b_R………………...(32)
接着，局部噪声计算单元120使用以下公式(33)以线性内插的方式得到此局部图像区块的噪声平均值noiseSAD_Mean_Interp。在公式(33)中，blkMean_Y表示当前图像帧I(t)的局部图像区块的亮度平均值，inten_L表示相邻左侧区间Seg2的亮度中间值，inten_R表示相邻右侧区间Seg3的亮度中间值。
在本实施例中，当前图像帧I(t)的局部图像区块在各色彩空间分量上的噪声平均值、噪声标准差以及噪声基准值可参照上述计算局部图像区块在亮度分量Y上的噪声平均值noiseSAD_Mean_Interp的方式类推，因此不再赘述。
图12是依据本发明另一实施例绘示的一种图像噪声估计装置的电路方块示意图。请参考图12，图像提取装置1200包括图像噪声估计装置100、运动检测单元1230、时空噪声滤波单元1240、切换单元1250以及图像暂存单元1260。图像提取装置1200例如是数字摄影机、数字摄录机、智能手机、数字个人助理(PDA)、平板计算机、笔记型计算机、智慧型眼镜、智慧型手表或其他固定式或便携式装置。图像噪声估计装置100包括全域噪声估计单元110以及局部噪声计算单元120。在本实施例中，全域噪声估计单元110接收当前图像帧I(t)以及先前图像帧I(t-1)。全域噪声估计单元110用以分析当前图像帧I(t)以及先前图像帧I(t-1)以建立噪声模型。局部噪声计算单元120连接全域噪声估计单元110。依据全域噪声估计单元110建立的噪声模型，局部噪声计算单元120可以针对当前图像帧I(t)当中的局部图像区块进行特征提取，并通过噪声模型取得局部图像区块的噪声强度信息。局部噪声计算单元120可以将局部图像区块的噪声强度信息提供给运动检测单元1230与时空噪声滤波单元1240。在本实施例的图像噪声估计装置100、全域噪声估计单元110以及局部噪声计算单元120可以参照图1至图11的相关说明，因此不再赘述。
运动检测单元1230、时空噪声滤波单元1240、切换单元1250与图像暂存单元1260可以藉由软件或固件的方式来实现，或藉由硬件(电路)的方式实现，或藉由软件与硬件相互组合的方式实现。在藉由硬件实现图像噪声估计装置100的应用例中，运动检测单元1230可以是运动检测电路，时空噪声滤波单元1240可以是时空噪声滤波电路，切换单元1250可以是切换电路，而图像暂存单元1260可以是图像暂存电路。本实施例并不限制运动检测单元1230、时空噪声滤波单元1240、切换单元1250与图像暂存单元1260的实施方式与演算细节。在一些实施例中，运动检测单元1230、时空噪声滤波单元1240、切换单元1250与图像暂存单元1260可以是已知的算法、元件和/或电路。
在本实施例中，运动检测单元1230连接局部噪声计算单元120。运动检测单元1230用以进行局部图像区块的运动检测。运动检测单元1230可以依据所述局部图像区块在色彩空间分量上(路如亮度分量Y)的噪声平均值以及噪声标准差来决定运动检测阈值。依据所述运动检测阈值，运动检测单元1230可以判断所述局部图像区块为静止状态或运动状态。依据当前图像帧I(t)以及先前图像帧I(t-1)，时空噪声滤波单元1240可以计算并提供时间域噪声滤波结果Itemporal(t)或空间域噪声滤波结果Ispatial(t)。切换单元1250连接时空噪声滤波单元1240。切换单元1250用以依据运动检测单元1230的运动检测的结果来决定选择时间域噪声滤波结果Itemporal(t)或空间域噪声滤波结果Ispatial(t)。当所述局部图像区块为静止状态时，切换单元1250可以选择输出时间域噪声滤波结果Itemporal(t)给图像暂存单元1260。当所述局部图像区块为运动状态时，切换单元1250可以选择输出空间域噪声滤波结果Ispatial(t)给图像暂存单元1260。图像暂存单元1260连接切换单元1250，用以暂存切换单元1250所输出的时间域噪声滤波结果Itemporal(t)或空间域噪声滤波结果Ispatial(t)。以下针对亮度分量Y、色度分量U和V的运动检测分别说明。
关于亮度分量Y的运动检测。运动检测单元1230可以依据以下公式(34)、(35)判断局部图像区块的状态为静止(Static)或运动(Motion)。举例来说，运动检测单元1230依据局部噪声计算单元1220所计算此局部图像区块在亮度分量上的噪声平均值noiseSAD_Mean_Y以及噪声标准差noiseSAD_STD_Y来决定运动检测阈值motionTh_Y。运动检测单元1230依据此局部图像区块的区块绝对差值和blkSAD_Y是否小于等于运动检测阈值motionTh_Y判断局部图像区块为静止状态，若否则判断局部图像区块为运动状态。
motionTh_Y＝noiseSAD_Mean_Y+k_Y*noiseSAD_STD_Y，0≤k_Y＜8…………(34)
其中，时空噪声滤波单元1240用以分别输出局部图像区块的时间域噪声滤波结果以及空间域噪声滤波结果。具体来说，时空噪声滤波单元1240依据全域噪声估计单元1210以及局部噪声计算单元1220所计算的噪声平均值noiseSAD_Mean_Y决定时间域噪声滤波结果的滤波强度。并且，时空噪声滤波单元1240依据全域噪声估计单元1210以及局部噪声计算单元1220所计算的噪声基准值noiseSAD_base_Y决定空间域噪声滤波结果的滤波强度。
在本实施例中，切换单元1250可依据以下公式(36)决定其当局部图像区块的噪声滤波结果，其中当局部图像区块为静止状态时，切换单元1250输出局部图像区块的时间域噪声滤波结果至图像暂存单元1260，而当局部图像区块为运动状态时，切换单元1250输出局部图像区块的空间域噪声滤波结果至图像暂存单元1260。
关于色度分量U的运动检测。运动检测单元1230可以依据以下公式(37)、(38)判断局部图像区块的状态为静止(Static)或运动(Motion)。举例来说，运动检测单元1230依据局部噪声计算单元1220所计算此局部图像区块在色度分量U上的噪声平均值noiseSAD_Mean_U以及噪声标准差noiseSAD_STD_U来决定运动检测阈值motionTh_U。运动检测单元1230依据此局部图像区块的区块绝对差值和blkSAD_U是否小于等于运动检测阈值motionTh_U判断局部图像区块为静止状态，若否则判断局部图像区块为运动状态。
motionTh_U＝noiseSAD_Mean_U+k_U*noiseSAD_STD_U，0＜k_U≤8 ………(37)
其中，时空噪声滤波单元1240用以分别输出局部图像区块的时间域噪声滤波结果以及空间域噪声滤波结果。具体来说，时空噪声滤波单元1240依据全域噪声估计单元1210以及局部噪声计算单元1220所计算的噪声平均值noiseSAD_Mean_U决定时间域噪声滤波结果的滤波强度以及空间域噪声滤波结果的滤波强度。
在本实施例中，切换单元1250可依据以下公式(39)决定其当局部图像区块的噪声滤波结果，其中当局部图像区块为静止状态时，切换单元1250输出局部图像区块的时间域噪声滤波结果Itemporal(t)至图像暂存单元1260，而当局部图像区块为运动状态时，切换单元1250输出局部图像区块的空间域噪声滤波结果Ispatial(t)至图像暂存单元1260。
此外，关于色度分量V的运动检测以及决定局部图像区块的噪声滤波结果可如同上述色度分量U的运动检测以及决定局部图像区块的噪声滤波结果的方式获得，在此不再加以赘述。
图13是依据本发明又一实施例绘示的一种图像提取装置1300的电路方块示意图，请参考图13。图像提取装置1300包括图像提取器1310、存储器1320、处理器1330以及非临时性介质(non-transitory medium)1340。图像提取器1310用以提取当前图像帧。依照设计需求，图像提取器1310可以是摄影机或摄录机。在一些实施例中，图像提取器1310可以包括光学定焦镜头或光学变焦镜头，以及诸如电荷耦合装置(charge coupled device，CCD)或互补式金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)等图像感测元件，但本公开并不限于此。
存储器1320用以存储当前图像帧以及先前图像帧，以提供至处理器1330。存储器1320例如是任何类型的固定或可移动的随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器或类似的装置或是上述各装置的组合。非临时性介质1340用以存储程序。非临时性介质1340例如是任何类型的固定或可移动的硬盘或非依电性存储器(Non-volatile memory)，例如只读存储器(read-only memory，ROM)、快闪存储器或类似的装置，或是上述各装置的组合。
处理器1330例如是中央处理单元(central processing unit，CPU)、可编程的通用或专用微处理器、数字信号处理器(digital signal processor，DSP)、可编程控制器、特殊应用集成电路(application specific integrated circuit，ASIC)、可编程逻辑装置(programmable logic device，PLD)或任何其他类似的装置或其组合等。处理器1330连接非临时性介质1340、图像提取器1310以及存储器1320。处理器1330可以存取存储器1320，以便将图像提取器1310所提取的当前图像帧存放在存储器1320，或是从存储器1320读取先前图像帧。处理器1330还可以执行非临时性介质1340的程序。所述程序至少包括全域噪声估计单元1321与局部噪声计算单元1322。
全域噪声估计单元1321用以决定当前图像帧当中的多个当前采样区块以及先前图像帧的多个先前采样区块。全域噪声估计单元1321用以计算每一个当前采样区块的区块特征。全域噪声估计单元1321用以计算每一个当前采样区块以及对应的一个先前采样区块之间在色彩空间分量上的区块绝对差值和。全域噪声估计单元1321用以依据这些区块特征将这些当前采样区块分群为多个区间。全域噪声估计单元1321用以依据这些区块特征以及这些区块绝对差值和，而为每一个区间建立噪声模型。局部噪声计算单元1322用以依据这些噪声模型计算当前图像帧的局部图像区块的噪声强度信息。图13所述全域噪声估计单元1321的操作细节可以参照图1与12所述全域噪声估计单元110的相关说明而类推，图13所述局部噪声计算单元1322的操作细节可以参照图1与12所述局部噪声计算单元120的相关说明而类推，因此不再赘述。
综上所述，本发明上述诸实施例所述图像噪声估计装置与图像提取装置是以时间域的噪声估计方式针对两张图像帧进行噪声估计。上述诸实施例考虑了区块特征(包含亮度和边缘强度)和噪声强度之间的关系以及排除了运动状态以及变异范围过大的采样区块等条件，来建立噪声模型。因此，上述诸实施例可以提升图像噪声估计的正确性。此外，此噪声模型可用于针对图像帧当中的局部图像区块进行计算，以取得局部图像区块的相关噪声强度信息。在一些应用范例中，这些局部图像区块的相关噪声强度信息可进一步被应用于运动检测以及时空噪声滤波。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。

Claims (45)

1.一种图像噪声估计方法，包括：
决定当前图像帧中的多个当前采样区块以及先前图像帧中的多个先前采样区块；
计算所述多个当前采样区块的每一个的区块特征，以及计算所述多个当前采样区块的每一个以及所述多个先前采样区块的对应的一个之间在至少一色彩空间分量上的区块绝对差值和；
依据所述多个区块特征将所述多个当前采样区块分群为多个区间；
依据所述多个区块特征以及所述多个区块绝对差值和，而为所述多个区间的每一个来建立噪声模型；以及
依据所述噪声模型计算所述当前图像帧的局部图像区块的噪声强度信息。
2.如权利要求1所述的图像噪声估计方法，其中决定所述当前图像帧中的所述多个当前采样区块以及所述先前图像帧中的所述多个先前采样区块的步骤包括：
依据采样数量计算采样步进值以决定所述多个当前采样区块以及所述多个先前采样区块的采样位置。
3.如权利要求1所述的图像噪声估计方法，其中计算所述多个当前采样区块的每一个的所述区块特征的步骤包括：
分别计算所述多个当前采样区块的每一个的多个像素的亮度平均值作为所述区块特征。
4.如权利要求3所述的图像噪声估计方法，其中计算所述多个当前采样区块的每一个的所述区块特征的步骤还包括：
计算所述多个当前采样区块的每一个当中的所述多个像素的每一个的像素边缘强度值；以及
依据所述多个像素的所述像素边缘强度值，分别计算所述多个当前采样区块的每一个的区块边缘强度值。
5.如权利要求4所述的图像噪声估计方法，其中计算所述多个当前采样区块的每一个当中的所述多个像素的每一个的所述像素边缘强度值的步骤包括：
对于所述多个像素的一个目前像素而言，计算所述目前像素与多个邻接像素的加权平均值；
计算所述目前像素与所述加权平均值的第一绝对差值；
分别计算所述多个邻接像素与所述加权平均值的多个第二绝对差值；以及
计算所述第一绝对差值与所述多个第二绝对差值的总和，作为所述目前像素的所述像素边缘强度值。
6.如权利要求4所述的图像噪声估计方法，其中计算所述多个当前采样区块的每一个的所述区块边缘强度值的步骤包括：
在所述多个当前采样区块的一个采样区块中，计算所述多个像素的所述像素边缘强度值的总和，作为所述采样区块的所述区块边缘强度值。
7.如权利要求4所述的图像噪声估计方法，其中依据所述多个区块特征将所述多个当前采样区块分群为所述多个区间的步骤包括：
依据所述多个当前采样区块的每一个的所述亮度平均值以及所述区块边缘强度值来过滤所述多个当前采样区块，而获得多个经过滤当前采样区块，其中所述多个经过滤当前采样区块的所述亮度平均值介于预设的最小平均亮度阈值以及预设的最大平均亮度阈值之间，并且所述多个经过滤当前采样区块的所述区块边缘强度值小于预设的边缘强度值阈值；以及
依据所述多个经过滤当前采样区块的所述亮度平均值，将所述多个经过滤当前采样区块分群为所述多个区间。
8.如权利要求4所述的图像噪声估计方法，其中所述色彩空间分量为亮度分量，并且建立所述噪声模型的步骤包括：
分别计算所述多个区间的每一个在所述亮度分量上的噪声平均值以及噪声标准差，作为所述噪声模型。
9.如权利要求8所述的图像噪声估计方法，其中计算所述噪声平均值以及所述噪声标准差的步骤包括：
选择所述多个区间的其中一个作为目标区间；
选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第一区块集合，其中在所述第一区块集合中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和小于或等于噪声基准值阈值；
依据所述第一区块集合当中的所述多个当前采样区块的所述多个区块边缘强度值来计算所述目标区间的边缘强度基准值；以及
依据所述第一区块集合当中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和来计算所述目标区间的噪声基准值。
10.如权利要求9所述的图像噪声估计方法，其中计算所述噪声平均值以及所述噪声标准差的步骤还包括：
选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第二区块集合，其中在所述第二区块集合中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和小于或等于噪声平均值阈值；以及
依据所述边缘强度基准值与所述噪声基准值，以及依据在所述第二区块集合当中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和以及所述多个区块边缘强度值，来计算所述目标区间的第一系数值以及第二系数值。
11.如权利要求10所述的图像噪声估计方法，其中计算所述噪声平均值以及所述噪声标准差的步骤还包括：
选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第三区块集合，其中在所述第三区块集合中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和小于或等于噪声标准差阈值；
依据所述第一系数值与所述第二系数值，以及依据在所述第三区块集合当中的所述多个当前采样区块的所述边缘强度值，来计算所述目标区间的所述噪声平均值；以及
依据在所述第三区块集合当中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和以及所述噪声平均值计算所述目标区间的所述噪声标准差。
12.如权利要求4所述的图像噪声估计方法，其中所述色彩空间分量为色度分量，并且建立所述噪声模型的步骤包括：
分别计算所述多个区间的每一个在所述色度分量上的噪声平均值以及噪声标准差，作为所述噪声模型。
13.如权利要求12所述的图像噪声估计方法，其中计算所述噪声平均值以及所述噪声标准差的步骤包括：
选择所述多个区间的其中一个作为目标区间；
选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第四区块集合，其中在所述第四区块集合中的所述多个当前采样区块的所述多个区块绝对差值和小于或等于噪声平均值阈值；以及
依据在所述第四区块集合当中的所述多个当前采样区块在所述色度分量的所述多个区块绝对差值和来计算所述目标区间的所述噪声平均值。
14.如权利要求13所述的图像噪声估计方法，其中计算所述噪声平均值以及该噪声标准差的步骤包括：
选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第五区块集合，其中在所述第五区块集合中的所述多个当前采样区块在所述色度分量的所述多个区块绝对差值和小于或等于噪声标准差阈值；以及
依据在所述第五区块集合当中的所述多个当前采样区块的所述多个区块绝对差值和以及所述噪声平均值计算所述目标区间的所述噪声标准差。
15.如权利要求1所述的图像噪声估计方法，其中依据所述噪声模型计算所述当前图像帧的所述局部图像区块的所述噪声强度信息的步骤包括：
计算所述当前图像帧的所述局部图像区块的亮度平均值以及边缘强度值；以及
依据所述局部图像区块的所述亮度平均值以及所述边缘强度值，藉由使用所述噪声模型计算所述局部图像区块在所述色彩空间分量上的噪声平均值、噪声标准差以及噪声基准值。
16.一种图像噪声估计装置，包括：
全域噪声估计单元，用以决定当前图像帧当中的多个当前采样区块以及先前图像帧的多个先前采样区块，计算所述多个当前采样区块的每一个的区块特征，计算所述多个当前采样区块的每一个以及所述多个先前采样区块的对应的一个之间在至少一色彩空间分量上的区块绝对差值和，依据所述多个区块特征将所述多个当前采样区块分群为多个区间，以及依据所述多个区块特征以及所述多个区块绝对差值和而为所述多个区间的每一个来建立噪声模型；以及
局部噪声计算单元，连接所述全域噪声估计单元，用以依据所述噪声模型计算所述当前图像帧的局部图像区块的噪声强度信息。
17.如权利要求16所述的图像噪声估计装置，其中所述全域噪声估计单元还用以依据采样数量计算采样步进值以决定所述多个当前采样区块以及所述多个先前区块的采样位置。
18.如权利要求16所述的图像噪声估计装置，其中所述全域噪声估计单元还用以分别计算所述多个当前采样区块的每一个的多个像素的亮度平均值作为所述区块特征。
19.如权利要求18所述的图像噪声估计装置，其中所述全域噪声估计单元还用以计算所述多个当前采样区块的每一个当中的所述多个像素的每一个的像素边缘强度值，以及依据所述多个像素的所述像素边缘强度值，分别计算所述多个当前采样区块的每一个的区块边缘强度值。
20.如权利要求19所述的图像噪声估计装置，其中对于所述多个像素的目前像素而言，所述全域噪声估计单元还用以计算所述目前像素与多个邻接像素的加权平均值，计算所述目前像素与所述加权平均值的第一绝对差值，分别计算所述多个邻接像素与所述加权平均值的多个第二绝对差值，以及计算所述第一绝对差值与所述多个第二绝对差值的总和来作为所述目前像素的所述像素边缘强度值。
21.如权利要求19所述的图像噪声估计装置，其中在所述多个当前采样区块的一个采样区块中，所述全域噪声估计单元还用以计算所述多个像素的所述像素边缘强度值的总和，作为所述采样区块的所述区块边缘强度值。
22.如权利要求19所述的图像噪声估计装置，其中所述全域噪声估计单元还用以依据所述多个当前采样区块的每一个的所述亮度平均值以及所述区块边缘强度值来过滤所述多个当前采样区块，而获得多个经过滤当前采样区块，其中所述多个经过滤当前采样区块的所述亮度平均值介于预设的最小平均亮度阈值以及预设的最大平均亮度阈值之间，并且所述多个经过滤当前采样区块的所述区块边缘强度值小于预设的边缘强度值阈值；以及所述全域噪声估计单元还用以依据所述多个经过滤当前采样区块的所述亮度平均值，将所述多个经过滤当前采样区块分群为所述多个区间。
23.如权利要求19所述的图像噪声估计装置，其中所述色彩空间分量为亮度分量，并且所述全域噪声估计单元还用以分别计算所述多个区间的每一个在所述亮度分量上的噪声平均值以及噪声标准差，作为所述噪声模型。
24.如权利要求23所述的图像噪声估计装置，其中所述全域噪声估计单元还用以选择所述多个区间的其中一个作为目标区间，选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第一区块集合，其中在所述第一区块集合中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和小于或等于噪声基准值阈值；所述全域噪声估计单元还用以依据所述第一区块集合当中的所述多个当前采样区块的所述多个区块边缘强度值来计算所述目标区间的边缘强度基准值，以及依据所述第一区块集合当中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和来计算所述目标区间的噪声基准值。
25.如权利要求24所述的图像噪声估计装置，其中所述全域噪声估计单元还用以选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第二区块集合，其中在所述第二区块集合中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和小于或等于噪声平均值阈值；以及所述全域噪声估计单元还用以依据所述边缘强度基准值与所述噪声基准值，以及依据在所述第二区块集合当中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和以及所述多个区块边缘强度值，来计算第一系数值以及第二系数值。
26.如权利要求25所述的图像噪声估计装置，其中所述全域噪声估计单元还用以选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第三区块集合，其中在所述第三区块集合中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和小于或等于噪声标准差阈值；所述全域噪声估计单元还用以依据所述第一系数值与所述第二系数值，以及依据在所述第三区块集合当中的所述多个当前采样区块的所述边缘强度值，来计算所述目标区间的所述噪声平均值；以及所述全域噪声估计单元还用以依据在所述第三区块集合当中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和以及所述噪声平均值计算所述目标区间的所述噪声标准差。
27.如权利要求19所述的图像噪声估计装置，其中所述色彩空间分量为色度分量，并且所述全域噪声估计单元还用以分别计算所述多个区间的每一个在所述色度分量上的噪声平均值以及噪声标准差，作为所述噪声模型。
28.如权利要求27所述的图像噪声估计装置，其中所述全域噪声估计单元还用以选择所述多个区间的其中一个作为目标区间，选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第四区块集合，其中在所述第四区块集合中的所述多个当前采样区块的所述多个区块绝对差值和小于或等于噪声平均值阈值；以及所述全域噪声估计单元还用以依据在所述第四区块集合当中的所述多个当前采样区块在所述色度分量的所述多个区块绝对差值和来计算所述目标区间的所述噪声平均值。
29.如权利要求28所述的图像噪声估计装置，其中所述全域噪声估计单元还用以选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第五区块集合，其中在所述第五区块集合中的所述多个当前采样区块在所述色度分量的所述多个区块绝对差值和小于或等于噪声标准差阈值；以及所述全域噪声估计单元还用以依据在所述第五区块集合当中的所述多个当前采样区块的所述多个区块绝对差值和以及所述噪声平均值计算所述目标区间的所述噪声标准差。
30.如权利要求16所述的图像噪声估计装置，其中所述局部噪声计算单元还用以计算所述局部图像区块的亮度平均值以及边缘强度值；以及所述局部噪声计算单元还用以依据所述局部图像区块的所述亮度平均值以及所述边缘强度值，藉由使用所述噪声模型计算所述局部图像区块在所述色彩空间分量上的噪声平均值、噪声标准差以及噪声基准值。
31.一种图像提取装置，包括：
图像提取器，用以提取当前图像；
存储器，用以存储所述当前图像帧以及先前图像帧；
非临时性介质，用以存储程序；以及
处理器，连接所述非临时性介质、所述图像提取器以及所述存储器，用以存取所述存储器，以及执行所述非临时性介质的所述程序，其中所述程序包括全域噪声估计单元与局部噪声计算单元，所述全域噪声估计单元用以决定所述当前图像帧当中的多个当前采样区块以及所述先前图像帧的多个先前采样区块，所述全域噪声估计单元用以计算所述多个当前采样区块的每一个的区块特征，所述全域噪声估计单元用以计算所述多个当前采样区块的每一个以及所述多个先前采样区块的对应的一个之间在至少一色彩空间分量上的区块绝对差值和，所述全域噪声估计单元用以依据所述多个区块特征将所述多个当前采样区块分群为多个区间，所述全域噪声估计单元用以依据所述多个区块特征以及所述多个区块绝对差值和而为所述多个区间的每一个来建立噪声模型，以及所述局部噪声计算单元用以依据所述噪声模型计算所述当前图像帧的局部图像区块的噪声强度信息。
32.如权利要求31所述的图像提取装置，其中所述全域噪声估计单元还用以依据采样数量计算采样步进值以决定所述多个当前采样区块以及所述多个先前区块的采样位置。
33.如权利要求31所述的图像提取装置，其中所述全域噪声估计单元还用以分别计算所述多个当前采样区块的每一个的多个像素的亮度平均值作为所述区块特征。
34.如权利要求33所述的图像提取装置，其中所述全域噪声估计单元还用以计算所述多个当前采样区块的每一个当中的所述多个像素的每一个的像素边缘强度值，以及依据所述多个像素的所述像素边缘强度值，分别计算所述多个当前采样区块的每一个的区块边缘强度值。
35.如权利要求34所述的图像提取装置，其中对于所述多个像素的一个目前像素而言，所述全域噪声估计单元还用以计算所述目前像素与多个邻接像素的加权平均值，计算所述目前像素与所述加权平均值的第一绝对差值，分别计算所述多个邻接像素与所述加权平均值的多个第二绝对差值，以及计算所述第一绝对差值与所述多个第二绝对差值的总和来作为所述目前像素的所述像素边缘强度值。
36.如权利要求34所述的图像提取装置，其中在所述多个当前采样区块的一个采样区块中，所述全域噪声估计单元还用以计算所述多个像素的所述像素边缘强度值的总和，作为所述采样区块的所述区块边缘强度值。
37.如权利要求34所述的图像提取装置，其中所述全域噪声估计单元还用以依据所述多个当前采样区块的每一个的所述亮度平均值以及所述区块边缘强度值来过滤所述多个当前采样区块，而获得多个经过滤当前采样区块，其中所述多个经过滤当前采样区块的所述亮度平均值介于预设的最小平均亮度阈值以及预设的最大平均亮度阈值之间，并且所述多个经过滤当前采样区块的所述区块边缘强度值小于预设的边缘强度值阈值；以及所述全域噪声估计单元还用以依据所述多个经过滤当前采样区块的所述亮度平均值，将所述多个经过滤当前采样区块分群为所述多个区间。
38.如权利要求34所述的图像提取装置，其中所述色彩空间分量为亮度分量，并且所述全域噪声估计单元还用以分别计算所述多个区间的每一个在所述亮度分量上的噪声平均值以及噪声标准差，作为所述噪声模型。
39.如权利要求38所述的图像提取装置，其中所述全域噪声估计单元还用以选择所述多个区间的其中一个作为目标区间，选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第一区块集合，其中在所述第一区块集合中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和小于或等于噪声基准值阈值；所述全域噪声估计单元还用以依据所述第一区块集合当中的所述多个当前采样区块的所述多个区块边缘强度值来计算所述目标区间的边缘强度基准值，以及依据所述第一区块集合当中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和来计算所述目标区间的噪声基准值。
40.如权利要求39所述的图像提取装置，其中所述全域噪声估计单元还用以选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第二区块集合，其中在所述第二区块集合中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和小于或等于噪声平均值阈值；以及所述全域噪声估计单元还用以依据所述边缘强度基准值与所述噪声基准值，以及依据在所述第二区块集合当中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和以及所述多个区块边缘强度值，来计算第一系数值以及第二系数值。
41.如权利要求40所述的图像提取装置，其中所述全域噪声估计单元还用以选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第三区块集合，其中在所述第三区块集合中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和小于或等于噪声标准差阈值；所述全域噪声估计单元还用以依据所述第一系数值与所述第二系数值，以及依据在所述第三区块集合当中的所述多个当前采样区块的所述边缘强度值，来计算所述目标区间的所述噪声平均值；以及所述全域噪声估计单元还用以依据在所述第三区块集合当中的所述多个当前采样区块在所述亮度分量上的所述多个区块绝对差值和以及所述噪声平均值计算所述目标区间的所述噪声标准差。
42.如权利要求34所述的图像提取装置，其中所述色彩空间分量为色度分量或浓度分量，并且所述全域噪声估计单元还用以分别计算所述多个区间的每一个在所述色度分量或所述浓度分量上的噪声平均值以及噪声标准差，作为所述噪声模型。
43.如权利要求42所述的图像提取装置，其中所述全域噪声估计单元还用以选择所述多个区间的其中一个作为目标区间，选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第四区块集合，其中在所述第四区块集合中的所述多个当前采样区块的所述多个区块绝对差值和小于或等于噪声平均值阈值；以及所述全域噪声估计单元还用以依据在所述第四区块集合当中的所述多个当前采样区块在所述色度分量或所述浓度分量的所述多个区块绝对差值和来计算所述目标区间的所述噪声平均值。
44.如权利要求43所述的图像提取装置，其中所述全域噪声估计单元还用以选择在所述目标区间中的所述多个当前采样区块的至少其中一个作为所述目标区间的第五区块集合，其中在所述第五区块集合中的所述多个当前采样区块在所述色度分量或所述浓度分量的所述多个区块绝对差值和小于或等于噪声标准差阈值；以及所述全域噪声估计单元还用以依据在所述第五区块集合当中的所述多个当前采样区块的所述多个区块绝对差值和以及所述噪声平均值计算所述目标区间的所述噪声标准差。
45.如权利要求31所述的图像提取装置，其中所述局部噪声计算单元还用以计算所述局部图像区块的亮度平均值以及边缘强度值；以及所述局部噪声计算单元还用以依据所述局部图像区块的所述亮度平均值以及所述边缘强度值，藉由使用所述噪声模型计算所述局部图像区块在所述色彩空间分量上的噪声平均值以及噪声标准差。
CN201610535196.3A 2016-05-30 2016-07-08 图像噪声估计方法及装置与图像提取装置 Pending CN107454285A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105116806 2016-05-30
TW105116806A TW201742001A (zh) 2016-05-30 2016-05-30 影像雜訊估測方法及裝置與影像擷取裝置

Publications (1)

Publication Number Publication Date
CN107454285A true CN107454285A (zh) 2017-12-08

Family

ID=60420587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610535196.3A Pending CN107454285A (zh) 2016-05-30 2016-07-08 图像噪声估计方法及装置与图像提取装置

Country Status (3)

Country Link
US (1) US10127635B2 (zh)
CN (1) CN107454285A (zh)
TW (1) TW201742001A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741363A (zh) * 2019-01-11 2019-05-10 湖南国科微电子股份有限公司 基于区块差值的运动判断方法、装置及电子设备
CN110443858A (zh) * 2018-05-04 2019-11-12 财团法人石材暨资源产业研究发展中心 用于石材色纹分析的色彩量化方法
TWI695345B (zh) * 2018-04-13 2020-06-01 財團法人石材暨資源產業研究發展中心 色彩量化方法
WO2021232965A1 (zh) * 2020-05-19 2021-11-25 百果园技术(新加坡)有限公司 视频去噪方法、装置、移动终端和存储介质
CN114140362A (zh) * 2022-01-29 2022-03-04 杭州微影软件有限公司 一种热成像图像校正方法和装置
CN114155161A (zh) * 2021-11-01 2022-03-08 富瀚微电子(成都)有限公司 图像去噪方法、装置、电子设备与存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6832224B2 (ja) * 2017-04-28 2021-02-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
US11836597B2 (en) * 2018-08-09 2023-12-05 Nvidia Corporation Detecting visual artifacts in image sequences using a neural network model
CN112085682B (zh) * 2020-09-11 2023-08-22 成都国科微电子有限公司 图像降噪方法、装置、电子设备及存储介质
CN112862753B (zh) * 2020-12-31 2024-05-24 百果园技术(新加坡)有限公司 噪声强度估计方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097236A1 (en) * 2005-11-02 2007-05-03 Samsung Electronics Co., Ltd Method and apparatus for reducing noise of image sensor
CN103945090A (zh) * 2013-01-17 2014-07-23 联咏科技股份有限公司 噪声估测装置及其方法
CN104486618A (zh) * 2014-12-30 2015-04-01 浙江宇视科技有限公司 视频图像的噪声检测方法及装置
US20150281677A1 (en) * 2013-02-20 2015-10-01 Intel Corporation Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video
CN105005973A (zh) * 2015-06-30 2015-10-28 广东欧珀移动通信有限公司 一种图像快速去噪的方法及装置

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
KR100503820B1 (ko) * 2003-01-30 2005-07-27 학교법인 포항공과대학교 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
US20040223640A1 (en) * 2003-05-09 2004-11-11 Bovyrin Alexander V. Stereo matching using segmentation of image columns
US7486820B2 (en) * 2005-01-06 2009-02-03 Siemens Medical Solutions Usa, Inc. System and method for multilabel random walker segmentation using prior models
US7561732B1 (en) 2005-02-04 2009-07-14 Hrl Laboratories, Llc Method and apparatus for three-dimensional shape estimation using constrained disparity propagation
KR100762670B1 (ko) * 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images
KR100813100B1 (ko) * 2006-06-29 2008-03-17 성균관대학교산학협력단 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
CN101689299B (zh) * 2007-06-20 2016-04-13 汤姆逊许可证公司 用于图像的立体匹配的系统和方法
KR100899422B1 (ko) * 2007-08-06 2009-05-27 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
US8149336B2 (en) 2008-05-07 2012-04-03 Honeywell International Inc. Method for digital noise reduction in low light video
KR101529754B1 (ko) * 2008-08-08 2015-06-19 톰슨 라이센싱 암 노이즈 아티팩트를 검출하기 위한 방법 및 장치
US8571303B2 (en) * 2008-11-25 2013-10-29 Nec System Technologies, Ltd. Stereo matching processing system, stereo matching processing method and recording medium
US8761491B2 (en) * 2009-02-06 2014-06-24 Himax Technologies Limited Stereo-matching processor using belief propagation
US8401280B2 (en) * 2009-12-21 2013-03-19 Electronics And Telecommunications Research Institute Device for improving stereo matching results, method of improving stereo matching results using the device, and system for receiving stereo matching results
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US9111342B2 (en) * 2010-07-07 2015-08-18 Electronics And Telecommunications Research Institute Method of time-efficient stereo matching
US8447098B1 (en) * 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
KR20120072245A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 스테레오 영상 정합 장치 및 방법
KR20120089921A (ko) * 2010-12-23 2012-08-16 한국전자통신연구원 다이나믹 프로그래밍 방식을 이용하는 스테레오 매칭 시스템 및 그 방법
TWI434225B (zh) * 2011-01-28 2014-04-11 Nat Univ Chung Cheng Stereo Matching Method Using Quantitative Operation of Image Intensity Value
KR101792501B1 (ko) * 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
US8818125B2 (en) * 2011-10-07 2014-08-26 Texas Instruments Incorporated Scene adaptive filter design for improved stereo matching
KR20130057327A (ko) * 2011-11-23 2013-05-31 엘지이노텍 주식회사 스테레오 매칭 시스템의 전처리 장치
US9014463B2 (en) * 2011-11-25 2015-04-21 Kyungpook National University Industry-Academic Cooperation Foundation System for real-time stereo matching
CN104025153B (zh) * 2011-12-30 2017-09-15 英特尔公司 粗到细多个视差候选立体匹配
EP2615579A1 (en) * 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
US8989481B2 (en) * 2012-02-13 2015-03-24 Himax Technologies Limited Stereo matching device and method for determining concave block and convex block
KR20130094626A (ko) * 2012-02-16 2013-08-26 한국전자통신연구원 스테레오 매칭 방법 및 장치
CN104205804B (zh) * 2012-03-30 2016-05-25 富士胶片株式会社 图像处理装置、拍摄装置以及图像处理方法
US9225962B2 (en) * 2012-07-16 2015-12-29 Cisco Technology, Inc. Stereo matching for 3D encoding and quality assessment
US9280806B2 (en) * 2013-01-10 2016-03-08 Broadcom Corporation Edge smoothing block filtering and blending
US8995784B2 (en) * 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
TWI528815B (zh) 2013-02-04 2016-04-01 鈺立微電子股份有限公司 可降低影像雜訊之影像處理方法
US9262808B2 (en) * 2013-02-07 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Denoising of images with nonstationary noise
JP2014187610A (ja) * 2013-03-25 2014-10-02 Sony Corp 画像処理装置、画像処理方法、プログラムおよび撮像装置
TWI573096B (zh) 2013-12-31 2017-03-01 智原科技股份有限公司 影像雜訊估測的方法與裝置
US20150371420A1 (en) * 2014-06-19 2015-12-24 Samsung Electronics Co., Ltd. Systems and methods for extending a field of view of medical images
US9973694B1 (en) * 2014-08-21 2018-05-15 Jaunt Inc. Image stitching to form a three dimensional panoramic image
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
US10462445B2 (en) * 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097236A1 (en) * 2005-11-02 2007-05-03 Samsung Electronics Co., Ltd Method and apparatus for reducing noise of image sensor
CN103945090A (zh) * 2013-01-17 2014-07-23 联咏科技股份有限公司 噪声估测装置及其方法
US20150281677A1 (en) * 2013-02-20 2015-10-01 Intel Corporation Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video
CN104486618A (zh) * 2014-12-30 2015-04-01 浙江宇视科技有限公司 视频图像的噪声检测方法及装置
CN105005973A (zh) * 2015-06-30 2015-10-28 广东欧珀移动通信有限公司 一种图像快速去噪的方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI695345B (zh) * 2018-04-13 2020-06-01 財團法人石材暨資源產業研究發展中心 色彩量化方法
CN110443858A (zh) * 2018-05-04 2019-11-12 财团法人石材暨资源产业研究发展中心 用于石材色纹分析的色彩量化方法
CN109741363A (zh) * 2019-01-11 2019-05-10 湖南国科微电子股份有限公司 基于区块差值的运动判断方法、装置及电子设备
WO2021232965A1 (zh) * 2020-05-19 2021-11-25 百果园技术(新加坡)有限公司 视频去噪方法、装置、移动终端和存储介质
CN114155161A (zh) * 2021-11-01 2022-03-08 富瀚微电子(成都)有限公司 图像去噪方法、装置、电子设备与存储介质
CN114155161B (zh) * 2021-11-01 2023-05-09 富瀚微电子(成都)有限公司 图像去噪方法、装置、电子设备与存储介质
CN114140362A (zh) * 2022-01-29 2022-03-04 杭州微影软件有限公司 一种热成像图像校正方法和装置
CN114140362B (zh) * 2022-01-29 2022-07-05 杭州微影软件有限公司 一种热成像图像校正方法和装置

Also Published As

Publication number Publication date
TW201742001A (zh) 2017-12-01
US20170345131A1 (en) 2017-11-30
US10127635B2 (en) 2018-11-13

Similar Documents

Publication Publication Date Title
CN107454285A (zh) 图像噪声估计方法及装置与图像提取装置
CN103632352B (zh) 一种噪声图像的时域降噪方法和相关装置
JP4395789B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN103561206B (zh) 图像处理方法和装置
KR100735561B1 (ko) 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치
KR101225056B1 (ko) 이미지 센서 노이즈 저감 장치 및 방법
CN100379259C (zh) 使用模式自适应滤波来使视频信号平滑的设备和方法
KR20110048922A (ko) 이미지 센서의 통합 노이즈 모델링 방법 및 이를 이용하는 노이즈 저감 방법
KR20130033446A (ko) 고 다이나믹 레인지 이미지를 캡처하도록 장치를 동작시키는 방법
CN101690160B (zh) 用于使用自动聚焦统计的运动检测的方法、系统及设备
CN113822830B (zh) 基于深度感知增强的多曝光图像融合方法
CN105141838A (zh) 去马赛克方法以及使用该方法的装置
CN112541868B (zh) 图像处理方法、装置、计算机设备和存储介质
WO2023005818A1 (zh) 噪声图像生成方法、装置、电子设备及存储介质
CN103020924A (zh) 基于相似场景的低照度监控图像增强方法
WO2019210707A1 (zh) 一种图像清晰度评测方法、装置及电子设备
TW202224404A (zh) 相機模組的鏡頭髒污偵測方法
US20120182454A1 (en) Chromatic Noise Reduction Method and Apparatus
US20100061650A1 (en) Method And Apparatus For Providing A Variable Filter Size For Providing Image Effects
CN116233607A (zh) 一种多曝光图像处理方法、装置、芯片及电子设备
US20240086661A1 (en) Method and apparatus for processing graphic symbol and computer-readable storage medium
CN108513068A (zh) 图像的选取方法、装置、存储介质及电子设备
Siddiqui et al. Hierarchical color correction for camera cell phone images
CN101461228A (zh) 图像处理电路、半导体装置和图像处理设备
CN107481199B (zh) 图像去雾处理方法、装置、存储介质和移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171208