CN101262559B - 一种序列图像噪声消除的方法及装置 - Google Patents

Abstract

本发明公开了一种序列图像噪声消除的方法及装置，用以解决现有技术中存在的噪声消除效果不明显或系统成本高的问题。该方法对输入图像序列的第N帧图像进行噪声估计，得到该帧图像的噪声估计值，然后在确定所述噪声估计值大于给定的噪声最小值时，则根据所述输入图像序列的第N帧图像的空间信息对该N帧图像进行空间域上的噪声消除，并且在确定所述噪声估计值大于给定的帧间阈值时，则根据该帧图像的时间信息对所述帧内去噪图像序列的第N帧图像进行时间域上的噪声消除，得到输出图像序列的第N帧图像。根据本发明提出的方案，既能有效的消除图像的噪声，又能降低系统的成本，并且又能保持图像的清晰度。

Description

一种序列图像噪声消除的方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种序列图像噪声消除的方法及装置。

背景技术

在摄像和监控系统中，总希望获得噪声尽可能小的图像，但由于感光器件的灵敏度和动态范围，以及实际环境中光照变化等原因，使获得的图像中始终存在着噪声，导致图像的清晰程度下降，影响图像的后续处理和应用。目前，应用在摄像和监控系统中的噪声消除方法主要有两种，一种是在摄像装置中利用帧内信息来降低或消除噪声，另一种是额外增加去噪处理芯片来降低或消除噪声。

方法一，在摄像装置中利用帧内信息来降低或消除噪声的方法，是指在同一帧内利用空间相邻的图像像素点间的关系进行处理，空间域上的噪声是指一帧图像内存在的类似麻点的不均匀像素点。空间域上的噪声消除的可以采用邻域直接平均滤波、邻域中值滤波等算法。

方法二，额外增加去噪处理芯片来降低或消除噪声的方法，是指在摄像装置的外部新增加噪声消除的芯片，该芯片对摄像装置输出的序列图像进行噪声消除处理。这种方法利用输出的多帧图像的信息，对图像序列进行噪声消除，常采用逐点自适应的多帧叠加平均技术，分别针对运动像素点和静止像素点进行不叠加和叠加的操作，以达到噪声消除的目的。

方法一由于只利用了帧内信息进行噪声消除，去噪效果不明显；方法二中虽然利用了帧间信息对图像进行噪声消除，但由于它另处增加了一个处理芯片，导致系统成本明显增加，而且由于它是在摄像装置外部进行噪声消除的，因此它只能处理摄像装置输出的图像格式类型的图像，且噪声消除操作是在摄像装置的图像后处理之后，使得最后获得的图像清晰度不高。

发明内容

有鉴于此，本发明实施例提供序列图像噪声消除的方法，用以解决现有技术中存在的噪声消除效果不明显或系统成本高的问题。

本发明实施例提供的一种序列图像噪声消除的方法，包括：

A.对输入图像序列的第N帧图像进行噪声估计，得到所述第N帧图像的噪声估计值，其中N≥1；

B.判断所述第N帧图像的噪声估计值是否小于给定的噪声最小值，如果小于，则将所述第N帧图像作为输出图像序列的第N帧图像并保存该输出图像序列的第N帧图像，结束，不再执行步骤C；如果不小于，根据所述输入图像序列的第N帧图像的空间信息对所述第N帧图像进行空间域上的噪声消除，继续执行步骤C；

C.确定所述噪声估计值是否小于给定的帧间阈值，如果不小于，则提取保存的在所述第N帧之前的图像帧作为参考帧，对经过空间域上的噪声消除后的第N帧图像进行时间域上的噪声消除，得到输出图像序列的第N帧图像并保存该输出图像序列的第N帧图像；否则，将经过空间域上的噪声消除后的第N帧图像作为输出图像序列的第N帧图像并保存该输出图像序列的第N帧图像。

本发明实施例提供的一种包含成像模块的摄像装置，该装置包括：

图像噪声估计模块、帧内去噪模块以及帧间去噪模块，帧间去噪模块包括参考帧保存模块，其中，

噪声估计模块，用于对输入图像序列的第N帧图像进行噪声估计，得到该帧图像的噪声估计值；判断所述第N帧图像的噪声估计值是否小于给定的噪声最小值，如果小于，则将所述第N帧图像作为输出图像序列的第N帧图像并将该输出图像序列的第N帧图像发送给帧间去噪模块的参考帧保存模块进行保存；如果不小于，则将所述第N帧图像发送给帧内去噪模块；

帧内去噪模块，用于根据所接收到的所述第N帧图像的空间信息对该第N帧图像进行空间域上的噪声消除；并确定所述噪声估计值是否小于给定的帧间阈值，如果不小于，则将经过空间域上噪声消除后的第N帧图像发送给帧间去噪模块；否则，则将经过空间域上噪声消除后的第N帧图像作为输出图像序列的第N帧图像并将该输出图像序列的第N帧图像发送给帧间去噪模块的参考帧保存模块进行保存；

帧间去噪模块，用于在接收到经过空间域上噪声消除后的第N帧图像时，提取保存的在所述第N帧之前的图像帧作为参考帧，对经过空间域上的噪声消除后的第N帧图像进行时间域上的噪声消除，得到输出图像序列的第N帧图像并由参考帧保存模块保存该输出图像序列的第N帧图像。

本发明实施例利用对当前帧的噪声估计结果，判断是对该帧图像进行空间域上的噪声消除，还是对该帧图像进行空间域和时间域上的控制帧内帧间去噪的组合，既能有效的消除图像的噪声，又能降低系统的成本，并且又能保持图像的清晰度。

附图说明

图1为本发明实施例一所提供的方案的具体流程图；

图2A为本发明实施例一中基于运动估计的时间域上的噪声消除的具体流程图；图2B为本发明实施例一中基于运动估计时，当前帧与参考帧进行比较的一种示意图；

图3A为本发明实施例一中基于运动判断的时间域上的噪声消除的具体流程图；图3B为本发明实施例一中基于运动判断时，当前帧与参考帧进行比较的一种示意图；图3C为本发明实施例一中基于运动判断时，当前帧与参考帧进行比较的另一种示意图；

图4为本发明实施例二所提供的方案的具体流程图；

图5为本发明实施例二中图像序列的前三帧图像的处理流程图；

图6为本发明实施例三所提供的方案的具体流程图；

图7为本发明实施例四所提供的一种摄像装置的结构示意图；

图8为本发明实施例四中帧间去噪模块的结构示意图；

图9为本发明实施例五所提供的一种摄像装置的结构示意图；

图10为本发明实施例六所提供的一种摄像装置的结构示意图；

图11为本发明实施例七所提供的一种摄像装置的结构示意图。

具体实施方式

本发明实施例中对摄像装置中的成像器件产生的当前帧图像进行噪声估计，其中成像器件包括：CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)图像传感器、CCD(Charge Coupled Device，电荷耦合器件)图像传感器，然后根据噪声估计值的大小，确定是否对该帧图像进行空间域上的噪声消除，以及是否对该帧图像进行空间域和时间域联合的噪声消除，以及对该帧图像进行空间域或/和时间域上的噪声消除时的参数，然后对该帧图像进行相应的操作，然后对该帧图像进行图像后处理。这样对于不同噪声状态的帧进行不同的噪声消除，既能有效的消除图像的噪声，又能降低系统的成本，并且又能保持图像的清晰度。

本发明实施例中，在对图像进行时间域上的噪声消除时，可以以经过空间域去噪的帧图像为参考帧，也可以以经过空间域和时间域联合去噪的帧图像为参考帧。同时，参考帧可以为保存的当前帧之前的一帧图像，也可以为保存的当前帧之前的多帧图像。另外，在保存参考帧时，可以将图像进行压缩，在提取图像时，再进行解压缩，这样可以减少保存参考帧的存储容量。

本发明实施例一中以经过空间域去噪的帧图像为时间域去噪的参考帧，其具体实施流程如图1所示，其中参考帧为保存的当前帧的上一帧图像，主要包括以下步骤：

步骤101：对输入图像序列的第N帧图像进行噪声估计，获得该帧图像的噪声估计值。

噪声大小与成像器件的工艺、图像信号的增益有密切的关系，这些信息可以提供噪声的粗略估计值，并且可以进一步根据该帧的图像数据对其噪声进行精确的估计。对图像的噪声进行精确的估计的方法可以分为帧内和帧间两种，其中，帧内估计方法利用了图像空间相关性的假设，将图像分成若干小块，利用小块内的方差分布曲线估计图像噪声大小，从而获得图像的噪声估计值；帧间估计方法利用图像时间相关性的假设，将前后帧的差值帧分成若干小块，利用小块内的方差分布曲线估计图像噪声大小，从而获得图像的噪声估计值。本发明实施例中对噪声的估计方法可以采用其中的任意一种。

在具体实施过程中，考虑到处理的实时性，以及节约存储空间，将第N-1帧的噪声估计值作为第N帧的噪声估计值。

步骤102：判断所述第N帧图像的噪声估计值是否小于预设的噪声最小值，如果是，则说明该帧图像中的噪声非常小，可以不对其进行噪声消除，进入步骤108；否则，则说明该帧图像中的噪声不可以忽略不计，继续步骤103。

步骤103：根据噪声估计值的大小确定对所述第N帧图像进行空间域上的噪声消除的参数。对于不同大小的噪声估计值，可以选择相应的噪声消除参数，比如，如果所述第N帧图像中的噪声估计值较大，则可选择强去噪，反之，则可选择弱去噪。

步骤104：根据所述参数及该帧图像的空间信息对所述第N帧图像进行空间域上的噪声消除。

对于空间域的噪声消除，可以选择常用的邻域直接平均、邻域中值滤波等方法，根据所选择的方法不同，所述参数的类型也不一样。比如，可以根据所述参数选择邻域窗的位置和大小和平均的权重等。

步骤105：判断所述噪声估计值是否小于预设的阈值，如果是，则说明该帧图像只需进行空间域上的滤波，进入步骤108；否则，说明该帧图像还需进行时间域上的滤波，进入步骤106。

步骤106：判断所述第N帧是否为输入图像序列的第一帧图像，如果是，则进入步骤109；否则，继续步骤107。

步骤107：保存所述第N帧图像，然后根据所述噪声估计值，确定所述第N帧图像进行时间域上的噪声消除的参数，再提取保存的第N-1帧图像的信息，根据所述第N帧图像和第N-1帧图像的信息，对所述第N帧图像进行时间域上的噪声消除，得到输出图像序列的第N帧图像。

为了避免运动模糊，在对所述第N帧图像进行时间域上的噪声消除之前，必须对该帧图像的每个像素点进行运动判断或运动估计，并基于运动判断或运动估计对所述第N帧图像进行时间域上的噪声消除。因此所述步骤107有两种实现方法：

基于运动判断的帧间去噪算法是根据以待处理像素为中心的某一邻域与参考帧对应区域的差异度来衡量该象素的运动等级，根据该运动等级决定该象素点与参考帧对应位置象素点的平均权重，进行帧间去噪。应用该方法对所述第N帧图像进行时间域上的噪声消除的实现步骤如图2A所示，主要包括：

S201A：以预设大小的区域，以所述第N帧图像的每个像素点为中心，划分像素块。例如以3x3为区域对第N帧图像进行像素块的划分，如图2B所示，以第n个像素点为中心的像素块为图中所示的第n个像素块。

S202A：将每个像素块分别与所述第N-1帧图像的对应区域进行比较，得到所述像素块与所述第N-1图像的对应区域的差异度，根据所述差异度，确定与所述像素块对应的像素点的运动等级。

如图2B所示，第N-1帧图像与第N帧图像的第n个像素块对应的为图中的第n个参考像素块，比较该第n个像素块与第n个参考像素块之间的差异，得到相应的差异度，再根据差异度确定第N帧图像中的第n个像素点的运动等级，其中差异度越小，说明该像素点移动的可能性越小，相应的运动等级也就越低。

为简化算法，可以将运动等级设为两个等级，一个等级表示该像素点是静止的，另一个等级表示该像素点是运动的。

S203A：根据所述像素点的运动等级，确定该像素点与所述第N-1帧的对应像素点的平均权重，按照所述平均权重对该像素点进行时间域上的噪声消除。

基于运动估计的帧间去噪算法也可以称作基于运动补偿的帧间去噪算法，根据以待处理像素为中心的某一邻域与参考帧对应位置附近同样大小的邻域的区域差异度，选择差异度最小的区域的中心像素点作为进行帧间去噪的参考点，两个区域的区域差异度决定当前像素点与参考像素点的平均权重，进行帧间去噪。应用该方法对所述第N帧图像进行时间域上的噪声消除的实现步骤如图3A所示，主要包括：

S301A：以预设大小的区域，以所述第N帧图像的每个像素点为中心，划分像素块。

S302A：将每个像素块分别与所述第N-1帧图像的对应区域附近的相同大小的多个参考像素块进行比较，得到所述像素块与每个参考像素块的差异度，选择差异度最小的参考像素块的中心像素点为所述第N帧图像对应像素点的参考像素点。其中所述相同大小的多个参考像素块可根据具体的需要进行设置。

如图3B所示，同样以3x3大小划分像素块为例，第N帧图像中的第n个像素点划分的像素块为第n个像素块，可将该像素块与第N-1帧图像中的第1、2、3......10个参考像素块进行比较，假设比较结果中，该像素块与第4个参考像素块的差异度最小，则选择所述第4个参考像素块的中心像素点，即第m个参考像素点为第n个像素点的参考像素点，该例中对多个参考像素块的选择方式只是可能的一种，还可以有别的选择方式，比如图3C中所选择的。

S303A：根据所述差异度最小的参考像素块与所述像素块的差异度，确定所述像素块对应的中心像素点的与所述参考像素点的平均权重，按照所述平均权重对该像素点进行时间域上的噪声消除。在上述例子中，根据第n个像素块与第4个参考像素块的差异度，确定第n个像素点与第m个参考像素点的平均权重，然后根据该平均权重对第n个像素点进行时间域上的噪声消除。

步骤108：保存所述第N帧图像，并将其作为输出图像序列的第N帧图像。

步骤109：对所述输出图像序列的第N帧图像进行图像后处理。对图像进行后处理是指对图像进行缩放、增强等处理。

本发明实施例二提供了以经过时间域去噪后的帧图像为参考帧对当前输入的第N帧图像进行时间域上的噪声消除，且参考帧为M帧的实施方式，其中M≥2。

假设M＝3，则该实施例的具体实施流程如图4所示，主要包括以下步骤：

步骤401：对输入图像序列的第N帧图像进行噪声估计，获得该帧图像的噪声估计值。

步骤402：判断该噪声估计值是否小于预设的噪声最小值，如果是，进入步骤408，否则，继续步骤403。

步骤403：根据噪声估计值的大小和该帧图像的空间信息对所述第N帧图像进行空间域上的噪声消除，然后保存所述第N帧图像。

步骤404：判断该噪声估计值是否小于预设的阈值，如果是，进入步骤408，否则，继续步骤405。

步骤405：判断N是否大于3，如果是，则继续步骤406，否则进入步骤408。

步骤406：提取保存的第N-1帧、第N-2帧、第N-3帧图像，对所述第N帧图像进行时间域上的噪声消除，得到输出图像序列的第N帧图像。

对所述第N帧图像进行时间域上的噪声消除，可以采用上述的基于运动判断的帧间去噪算法也可以采用基于运动估计的帧间去噪算法。

如果采用基于运动判断的帧间去噪算法，则将所述第N帧图像中的一个像素点为中心的像素块分别与第N-1帧、第N-2帧和第N-3帧图像的对应区域进行比较，得到该像素点与每帧图像对应像素点的平均权重，然后根据每个平均权重对该像素点进行时间域上的噪声消除，按这种方法处理所述第N帧图像中的每个像素点，得到输出图像序列的第N帧图像。

如果采用基于运动估计的帧间去噪算法，则先将第N帧图像中的一个像素点为中心的像素块，先与第N-1帧图像的对应区域附近的相同大小的多个参考像素块进行比较，得到第N-1帧图像中的对应的参考像素点，再用同样的方法得到第N-2帧和第N-3帧图像中的对应的参考像素点，再确定该像素点与每个参考像素点的平均权重，然后根据所述平均权重对该像素点进行时间域上的噪声消除，按照该方法处理所述第N帧图像中的每个像素点，得到输出图像序列的第N帧图像。

步骤407：将已保存的第N帧图像更新为所述输出图像序列的第N帧图像，当处理第N+1帧图像时，所述输出图像序列的第N帧图像为其中的一参考帧。

步骤408：保存所述第N帧图像，并将其作为输出图像序列的第N帧。

步骤409：对输出图像序列的第N帧图像进行图像后处理。

在上述步骤中当N≤3时，还可以采用另一种方案进行处理，图5示出了采用该方案对输入图像序列的前3帧进行的具体流程，假设这3帧图像都已经过空间域上的噪声消除，如图5所示，主要包括以下步骤：

步骤501：对于输入序列的第1帧图像，直接将该帧图像作为输出图像序列的第1帧，并保存第1帧图像。

步骤502：对于输入序列的第2帧图像，先提取保存的第1帧图像，将保存的第1帧图像作为第2帧图像的参考帧，对第2帧图像进行时间域上的噪声消除，得到输出图像序列的第2帧图像，同时保存输出图像序列的第2帧图像。

步骤503：对于输入序列的第3帧图像，先提取保存的第1帧和第2帧图像，将保存的第1帧和第2帧图像作为第3帧图像的参考帧，对第3帧图像进行时间域上的噪声消除，得到输出图像序列的第3帧图像，同时保存输出图像序列的第3帧图像。

本发明实施例三提供了以经过时间域去噪后的帧图像为参考帧对当前输入的第N帧图像进行时间域上的噪声消除、在保存帧图像时先对图像进行压缩、在提取保存的图像时对图像进行解压缩、且参考帧为一帧的实施方式，其具体实施过程如图6所示，主要包括以下步骤：

步骤601：对输入图像序列的第N帧图像进行噪声估计。

步骤602：判断该噪声估计值是否小于预设的噪声最小值，如果是，进入步骤609，否则，继续步骤603。

步骤603：根据噪声估计值的大小和该帧图像的空间信息对所述第N帧图像进行空间域上的噪声消除，然后保存所述第N帧图像。

步骤604：判断该噪声估计值是否小于预设的阈值，如果是，进入步骤609，否则，继续步骤605。

步骤605：判断N是否等于1，如果是，进入步骤609，否则继续步骤606。

步骤606：提取保存的第N-1帧图像，并对其进行解压缩。

步骤607：根据所述第N-1帧图像的信息，对所述第N帧图像进行时间域上的噪声消除，得到输出图像序列的第N帧图像。

步骤608：对所述输出图像序列的第N帧图像进行压缩，然后保存该帧图像。

步骤609：对所述第N帧图像进行压缩，然后保存压缩后的第N帧图像。

步骤610：将所述第N帧图像作为输出图像序列的第N帧图像。

步骤611：对所述输出图像序列的第N帧图像进行图像后处理。

本发明实施例以参考帧为已做过时间域上的噪声消除的图像帧，且参考帧只有一帧为例进行说明，但并不限于此，对参考帧为已做过空间域上的噪声消除或/和参考帧为多帧的情况，同样可以在保存帧图像时进行压缩，在提取帧图像时进行解压缩，具体过程与上述实施例三的过程雷同，在此不再赘述。

本发明实施例四提供了一种摄像装置，该装置以经过空间域上噪声消除的图像帧为当前帧在时间域上噪声消除的参考帧，其结构示意图如图7所示，包括：成像模块701、噪声估计模块702、帧内去噪模块703、帧间去噪模块704和图像后处理模块706。其中，成像模块701，用于拍摄图像，并将拍摄到的图像序列传给噪声估计模块；噪声估计模块702，用于对输入图像序列的第N帧图像进行噪声估计，得到该帧图像的噪声估计值；帧内去噪模块703，用于在所述第N帧图像的噪声估计值大于给定的噪声最小值时，根据所述输入图像序列的每帧图像的空间信息对该帧图像进行空间域上的噪声消除；帧间去噪模块704，用于在所述第N帧图像的噪声估计值大于给定的帧间阈值时，根据每帧图像的时间信息对其进行时间域上的噪声消除；图像后处理模块706，用于对输出图像序列的每帧图像进行后处理。

进一步地，该装置中的帧间去噪模块704，如图8所示，包括：参考帧保存模块705和噪声消除模块707。其中，参考帧保存模块705，用于保存所述第N帧图像的信息；噪声消除模块707，用于在N＞M时，提取保存的第N-1帧、第N-2帧......第N-M帧图像作为参考帧，根据所述第N帧图像的信息和所述参考帧的信息，对该帧图像进行时间域上的噪声消除，其中，M≥1。

进一步地，噪声消除模块707，包括：运动等级确定模块801和时间域噪声消除模块一802。其中，运动等级确定模块801，用于以所述第N帧图像的每个像素点为中心的划分像素块，将每个像素块分别与每个参考帧的对应区域进行比较，并根据所述像素块与所述参考帧的对应区域的差异度，确定该像素块的中心像素点相对该参考帧的运动等级；时间域噪声消除模块一802，用于根据所述每个像素点的运动等级，确定该像素点与每个参考帧的对应像素点的平均权重，并按照所述平均权重对所述第N帧图像的每个像素点进行时间域上的噪声消除。

或者，噪声消除模块707，包括：参考像素点确定模块803和时间域噪声消除模块二804。其中，参考像素点确定模块803用于以所述第N帧图像的每个像素点为中心的划分像素块，将每个像素块分别与按一定规则选择的每个参考帧中多个大小相同的多个像素块进行比较，选择每个参考帧中差异度最小的像素块的中心像素点为该参考帧中与所述第N帧图像像素块的中心像素点对应的参考像素点；时间域噪声消除模块二804，用于根据所述第N帧图像的像素块与每个参考帧中差异度最小的像素块的差异度，确定所述像素块的中心像素点与每个参考帧中对应的所述参考像素点的平均权重，按照所述平均权重对所述第N帧图像的该像素点进行时间域上的噪声消除。

该装置的基本工作原理为：成像模块701拍摄图像，并将拍摄到图像序列传给噪声估计模块702；噪声估计模块对当前帧进行噪声估计，根据噪声估计值的大小，确定是否需要对当前帧进行空间域或/和时间域上的噪声消除，从而确定是否开启帧内去噪模块703或/开启帧间去噪模块704，并确定进行噪声消除的参数，将确定需要进行噪声消除的帧图像发送给帧内去噪模块703，将确定不需要进行噪声消除的帧图像发送给帧间去噪模块704的参考帧保存模块705保存；帧内去噪模块703根据所接收到的帧图像的空间信息，及噪声估计模块702发送来的控制参数，对该帧图像进行噪声消除处理，如果确定该帧图像还需要进行时间域上的噪声消除，且当前帧不是输入图像序列的第一帧，则将该帧图像发送给帧间去噪模块704的噪声消除模块707，并同时将该帧图像发送给帧间去噪模块704的参考帧保存模块705保存，如果确定该帧图像不需要进行时间域上的噪声消除，或当前帧为输入图像序列的第一帧，则将该帧图像发送给帧间去噪模块704的参考帧保存模块705保存，并将该帧图像发送给图像后处理模块706；帧间去噪模块704的噪声消除模块707接收到当前帧时，读取参考帧保存模块705保存的当前帧之前的一帧或多帧图像，作为当前帧的参考帧，对当前帧进行时间域上的噪声消除，并将处理后的当前帧发送给图像后处理模块706；图像后处理模块706在接收到当前帧时，对当前帧进行图像后处理，包括：对图像进行缩放、增强等处理，最后将处理完的当前帧输出。

本发明实施例五提供了一种摄像装置，该装置以经过时间域上噪声消除的图像帧为当前帧在时间域上进行噪声消除的参考帧，图9为该摄像装置的结构示意图，该装置与实施例4所提供的装置的区别点在于：在帧间去噪模块704的参考帧保存模块705对当前帧进行时间域上的噪声消除后，帧间去噪模块704的参考帧保存模块705保存该帧图像，当帧间去噪模块704的参考帧保存模块705对下一帧图像进行处理时，提取参考帧保存模块705保存的该帧图像，作为下一帧图像的参考帧之一。

本发明实施例六提供了一种摄像装置，该装置在实施例四提供的装置的基础上在帧间去噪模块704内增加了图像压缩模块708和图像解压缩模块709，图10为该装置的结构示意图。该装置根据噪声估计模块702得到的噪声估计值判断当前帧不需要进行去噪时，先将该帧图像发送给图像压缩模块708，图像压缩模块708对该帧图像进行压缩，然后再将压缩后的该帧图像发送给参考帧保存模块705保存；如果当前帧需要进行帧内去噪，则在帧内去噪模块703完成对当前帧的处理后，将该帧图像发送给图像压缩模块708，图像压缩模块708对该帧图像进行压缩，把压缩后的图像发送给参考帧保存模块705保存；如果当前帧需要进行帧间去噪，则在帧间去噪模块704的噪声消除模块707对当前帧进行处理时，在提取参考帧保存模块705保存的参考帧时，图像解压缩模块709对提取的参考帧进行解压缩，将解压缩后的参考帧发送给帧间去噪模块704的噪声消除模块707。

本发明实施例七提供了一种摄像装置，该装置在实施例五提供的装置的基础上在帧间去噪模块704内增加了图像压缩模块708和图像解压缩模块709，图11为该装置的结构示意图。该装置根据噪声估计模块702得到的噪声估计值判断当前帧不需要进行去噪时，先将该帧图像发送给图像压缩模块708，图像压缩模块708对该帧图像进行压缩，然后再将压缩后的该帧图像发送给参考帧保存模块705保存；如果当前帧需要进行帧内去噪模块703处理但不需要帧间去噪模块704的处理，则当前帧在经过帧内去噪模块703处理后，帧内去噪模块703将该帧图像发送给图像压缩模块708，图像压缩模块708对该帧图像进行压缩，把压缩后的图像发送给帧存储模块705保存。如果当前帧在经过帧内去噪模块703的处理后，还需要帧间去噪模块704对其进行处理，则在帧间去噪模块704的噪声消除模块707对当前帧进行处理时，在提取参考帧保存模块705保存的参考帧时，图像解压缩模块709对提取的参考帧进行解压缩，将解压缩后的参考帧发送给帧间去噪模块704。在帧间去噪模块704的噪声消除模块707对当前帧进行噪声消除后，将该帧图像发送给图像压缩模块708，图像压缩模块708对该帧图像进行压缩，然后将该帧图像发送给参考帧保存模块705保存。

本发明实施例对摄像装置中成像器件拍摄的图像序列的当前帧进行噪声估计，根据噪声估计值的大小，确定是否对当前进行空间域或/时间域的噪声消除，然后对当前帧进行相应的处理。这样可以根据当前帧的噪声大小选择合适的噪声消除参数及组合，既能有效的消除图像的噪声，又能降低系统的成本，并且又能保持图像的清晰度。同时，本发明实施例在存储时间域上噪声消除的参考帧时，对图像进行压缩，可以降低对存储器容量的要求，且该存储器可以与摄像装置中的其它处理功能模块共用，如帧率转换模块等。另外，由于本发明实施例提供的方案是在摄像装置内部进行噪声消除，将噪声消除在图像成像阶段，然后再对图像进行后处理等操作，因而最终得到的图像的效果佳；而且，由于是在摄像装置内部进行噪声消除的，因此可以处理多种图像数据格式的图像，如Bayer格式数据，RGB格式数据，YUV格式数据等。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种序列图像噪声消除的方法，其特征在于，包括：

A.对输入图像序列的第N帧图像进行噪声估计，得到所述第N帧图像的噪声估计值，其中N≥1；

B.判断所述第N帧图像的噪声估计值是否小于给定的噪声最小值，如果小于，则将所述第N帧图像作为输出图像序列的第N帧图像并保存该输出图像序列的第N帧图像，结束，不再执行步骤C；如果不小于，根据所述输入图像序列的第N帧图像的空间信息对所述第N帧图像进行空间域上的噪声消除，继续执行步骤C；

C.确定所述噪声估计值是否小于给定的帧间阈值，如果不小于，则提取保存的在所述第N帧之前的图像帧作为参考帧，对经过空间域上的噪声消除后的第N帧图像进行时间域上的噪声消除，得到输出图像序列的第N帧图像并保存该输出图像序列的第N帧图像；否则，将经过空间域上的噪声消除后的第N帧图像作为输出图像序列的第N帧图像并保存该输出图像序列的第N帧图像。

2.根据权利要求1所述的方法，其特征在于，步骤C中提取保存的第N-1帧、第N-2帧......第N-M帧图像作为参考帧，根据所述第N帧图像的信息和所述参考帧的信息，对所述第N帧图像进行时间域上的噪声消除。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第N帧图像的信息和所述参考帧的信息，对所述第N帧图像进行时间域上的噪声消除，包括：

以所述第N帧图像的每个像素点为中心划分像素块，将每个像素块分别与每个参考帧的对应区域进行比较，根据所述像素块与所述参考帧的对应区域的差异度，确定该像素块的中心像素点相对该参考帧的运动等级；

根据所述运动等级，确定该像素点与每个参考帧的对应像素点的平均权重，按照所述平均权重对所述第N帧图像的该像素点进行时间域上的噪声消除。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第N帧图像的信息和所述参考帧的信息，对该帧图像进行时间域上的噪声消除，包括：

以所述第N帧图像的每个像素点为中心划分像素块，将每个像素块分别与按一定规则选择的每个参考帧中多个大小相同的多个像素块进行比较，选择每个参考帧中差异度最小的像素块的中心像素点为该参考帧中与所述第N帧图像像素块的中心像素点对应的参考像素点；

根据所述第N帧图像的像素块与每个参考帧中差异度最小的像素块的差异度，确定所述像素块的中心像素点与每个参考帧中对应的所述参考像素点的平均权重，按照所述平均权重对所述第N帧图像的该像素点进行时间域上的噪声消除。

5.根据权利要求1的方法，其特征在于，步骤C中当所述噪声估计值不小于给定的帧间阈值时，进一步包括：

如果N＝1，则保存经过空间域上噪声消除后的第N帧图像的信息，并将该帧图像作为输出图像序列的第N帧图像；

如果N＞1，则以保存的在所述第N帧图像之前的所有帧图像为参考帧，对经过空间域上噪声消除后的第N帧图像进行时间域上的噪声消除，得到输出图像序列的第N帧图像。

6.根据权利要求2所述的方法，其特征在于，在所述保存所述第N帧图像的信息之前，包括：

将所述第N帧图像进行压缩；

则在提取保存的第N-1帧、第N-2帧......第N-M帧图像作为参考帧之前，对所述第N-1帧、第N-2帧......第N-M帧图像进行解压缩。

7.根据权利要求1所述的方法，其特征在于，如果第N帧图像的噪声估计值不小于给定的噪声最小值，该方法进一步包括：

根据所述第N帧图像的噪声估计值，确定对该帧图像进行空间域上的噪声消除的参数，则根据所述输入图像序列的第N帧图像的空间信息和所述参数对该第N帧图像进行空间域上的噪声消除。

8.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

将所述输出图像序列的第N帧图像进行图像后处理，然后输出。

9.一种包含成像模块的摄像装置，其特征在于，该装置包括：图像噪声估计模块、帧内去噪模块以及帧间去噪模块，帧间去噪模块包括参考帧保存模块，其中，

噪声估计模块，用于对输入图像序列的第N帧图像进行噪声估计，得到该帧图像的噪声估计值；判断所述第N帧图像的噪声估计值是否小于给定的噪声最小值，如果小于，则将所述第N帧图像作为输出图像序列的第N帧图像并将该输出图像序列的第N帧图像发送给帧间去噪模块的参考帧保存模块进行保存；如果不小于，则将所述第N帧图像发送给帧内去噪模块；

帧内去噪模块，用于根据所接收到的所述第N帧图像的空间信息对该第N帧图像进行空间域上的噪声消除；并确定所述噪声估计值是否小于给定的帧间阈值，如果不小于，则将经过空间域上噪声消除后的第N帧图像发送给帧间去噪模块；否则，则将经过空间域上噪声消除后的第N帧图像作为输出图像序列的第N帧图像并将该输出图像序列的第N帧图像发送给帧间去噪模块的参考帧保存模块进行保存；

帧间去噪模块，用于在接收到经过空间域上噪声消除后的第N帧图像时，提取保存的在所述第N帧之前的图像帧作为参考帧，对经过空间域上的噪声消除后的第N帧图像进行时间域上的噪声消除，得到输出图像序列的第N帧图像并由参考帧保存模块保存该输出图像序列的第N帧图像。

10.根据权利要求9所述的摄像装置，其特征在于，所述帧间去噪模块包括：

噪声消除模块，用于在N＞M时，提取保存的第N-1帧、第N-2帧......第N-M帧图像作为参考帧，根据所述第N帧图像的信息和所述参考帧的信息，对该帧图像进行时间域上的噪声消除。

11.根据权利要求10所述的摄像装置，其特征在于，所述噪声消除模块，包括：

运动等级确定模块，用于以所述第N帧图像的每个像素点为中心划分像素块，将每个像素块分别与每个参考帧的对应区域进行比较，并根据所述像素块与所述参考帧的对应区域的差异度，确定该像素块的中心像素点相对该参考帧的运动等级；

时间域噪声消除模块一，用于根据所述每个像素点的运动等级，确定该像素点与每个参考帧的对应像素点的平均权重，并按照所述平均权重对所述第N帧图像的该像素点进行时间域上的噪声消除。

12.根据权利要求10所述的摄像装置，其特征在于，所述噪声消除模块，包括：

参考像素点确定模块，用于以所述第N帧图像的每个像素点为中心划分像素块，将每个像素块分别与按一定规则选择的每个参考帧中多个大小相同的多个像素块进行比较，选择每个参考帧中差异度最小的像素块的中心像素点为该参考帧中与所述第N帧图像像素块的中心像素点对应的参考像素点；

时间域噪声消除模块二，用于根据所述第N帧图像的像素块与每个参考帧中差异度最小的像素块的差异度，确定所述像素块的中心像素点与每个参考帧中对应的所述参考像素点的平均权重，按照所述平均权重对所述第N帧图像的该像素点进行时间域上的噪声消除。

13.根据权利要求10所述的摄像装置，其特征在于，该装置进一步包括：

图像压缩模块，用于在参考帧保存模块保存所述第N帧图像之前，对所述第N帧图像进行压缩。

14.根据权利要求10所述的摄像装置，其特征在于，该装置进一步包括：图像解压缩模块，用于在噪声消除模块提取保存的第N-1帧、第N-2帧......第N-M帧图像之前，对所述保存的帧图像进行解压缩。

15.根据权利要求9所述的摄像装置，其特征在于，所述噪声估计模块进一步用于，根据所述第N帧图像的噪声估计值，确定该帧图像进行空间域上的噪声消除的参数，则所述帧内去噪模块，用于根据所述输入图像序列的第N帧图像的空间信息和所述参数对该第N帧图像进行空间域上的噪声消除。

16.根据权利要求9所述的摄像装置，其特征在于，该装置进一步包括：图像后处理模块，用于将所述输出图像序列的第N帧图像进行图像后处理，然后输出。

Images