CN101778297B - 影像序列的干扰消除方法 - Google Patents
影像序列的干扰消除方法 Download PDFInfo
- Publication number
- CN101778297B CN101778297B CN2009100030186A CN200910003018A CN101778297B CN 101778297 B CN101778297 B CN 101778297B CN 2009100030186 A CN2009100030186 A CN 2009100030186A CN 200910003018 A CN200910003018 A CN 200910003018A CN 101778297 B CN101778297 B CN 101778297B
- Authority
- CN
- China
- Prior art keywords
- image
- full
- base image
- full luminance
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本发明是一种影像序列的干扰消除方法，通过在对影像撷取组件所摄取的原始影像数据作分色处理的过程中整合三维滤波的手段，首先将原始影像数据转为灰阶化的完整亮度影像，并且通过帧间滤波的步骤消除可能存在的干扰，然后再与原始影像数据进行插值处理，过程中再通过自适应的帧内平均值滤波的步骤，以合适的滤波方式获得的较佳的影像滤波结果；借此提供一种自适应干扰消除的帧间插值算法，可以避免干扰或是由干扰而生成的假像对于后续影像处理的影响。
Description
技术领域
本发明是一种视频信号的干扰消除方法，特别是一种在利用彩色滤镜阵列插值处理(color filter array interpolation，CFAi)进行分色处理的过程中结合三维干扰滤波步骤的影像序列的干扰消除方法。
背景技术
一般常見出现在影像中的干扰(noise)有脉波干扰(Impulse noise)、黑白干扰(Salt and pepper noise)及高斯干扰，其中以高斯干扰最符合影像传感器所产生的干扰。三维(3D)干扰濾波器中，常見的有平均值滤波器(Mean filter)，中值滤波器(Median filter)和高斯滤波器(Gaussian filter)。平均值滤波器和中值滤波器都属于线性濾波器，主要是将邻近影像的像素值直接相加或乘上某一加权值后相加，并取其平均值，以取代中间像素值的一种滤波方法。高斯滤波器则是应用高斯函数的常态分布(normal distribution)特性，选择适当的平滑参数(σ)以控制干扰的消除程度。除此之外，还有使用傅立叶转换(Fourier Transform)及小波转换(Wavelet Transform)的干扰消除方法。
干扰在影像序列中是以随机方式出现，而现有的三维干扰滤波技术都是应用于完全红绿蓝(RGB)或是YCC彩色空间(YCC domain)等空间域的一种滤波技术，而且大部份应用于视频信号(或是影像序列)的三维滤波处理都是使用在CFAi(CFA interpolation)的分色处理之后。然而干扰会影响CFAi的分色处理及其后续处理的结果，同样的前述各个流程的处理结果也会影响移动估测(motion estimation)的正确性。因为在CFAi的分色处理中因为干扰而产生的假影(artifacts)也会影响移动估测(motion estimation)的正确性。
发明内容
本发明提出了一种影像序列的干扰消除方法，通过将CFAi的分色处理过程和三维干扰滤波步骤整合在一起的手段，进而解决前述的问题。
依据本发明所揭露的方法的一种较佳实施例，包括：
A.取得影像撷取组件所摄取的原始影像数据(raw image data)的步骤；
B.帧间亮度处理(interframe luma processing)的步骤，定义当前帧的原始影像数据为基础影像(base image)，定义前一帧的原始影像数据为参考影像(reference image)，再将基础影像和参考影像分别转换为灰阶化亮度值的完整亮度基础影像和完整亮度参考影像；
C.全彩影像的生成步骤(Full RGB generation)，利用前述步骤产生的完整亮度基础影像和完整亮度参考影像分别对基础影像和参考影像进行差值处理，以生成无干扰的全彩影像(Full RGB Image)。
本发明还揭露了一种影像序列的自适应干扰消除方法，其中包括有一自适应平均值滤波的步骤，主要依据帧间影像(inter-image)及帧内影像(intra-image)的信息例如平滑度(smoothness)和相似度(similarity)的信息，用以在对基础影像和参考影像的处理过程中选择合适的滤波方式，进而获得的较佳的影像滤波结果。
本发明还揭露了一种具有动态补偿(Motion Compensation)的视频信号的干扰消除方法，利用全局移动估计(global motion estimation)和影像对位(imageregistration)的步骤对处理过程中的基础影像和参考影像进行补偿，进而获得较佳的影像滤波结果。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1揭示实现本发明方法的硬件系统架构的一种较佳实施例；
图2揭示本发明的方法的主要步骤流程图；
图3为本发明的方法的局部步骤流程图；
图4为本发明的方法的局部步骤流程图；
图5为本发明的方法的局部步骤的另一较佳实施例流程图；
图6为本发明的方法的局部步骤流程图。
其中，附图标记
10 影像撷取组件
11 彩色滤镜阵列(color filter array，CFA)
12 影像传感器(image sensor)
20 运算处理器
30 记忆单元
具体实施方式
首先请参阅图1，为用以实施本发明的方法的硬件系统的一较佳实施例，其中包括有：
一影像撷取组件10，为一种具有彩色滤镜阵列(color filter array，CFA)11的影像传感器(image sensor)12，用以摄取外部的物体影像并将其转换为具有原始影像数据(raw image data)的电信号，而这种电信号即为一种数字影像信号，再借助连续摄影的方式产生连续的影像序列(image sequence)，即一般所称的视频信号；
一运算处理器20，通过程序化的方式执行本发明所述的方法步骤，用以消除前述原始影像数据中的干扰；以及
一记忆单元30，用以储存影像处理过程中的相关数据及运作程序。
具体而言，前述图1的硬件系统可以是数字相机(digital camera)、数字摄影机或其它类似的电子装置的一部份。
本发明所揭露的影像序列的干扰消除方法的主要流程图，请参阅图2，包括：
A.取得影像撷取组件所摄取的原始影像数据(raw image data)的步骤，用以取得当前帧的原始影像数据(current image2)和前一帧的原始影像数据(previousimage1)，并定义当前帧的原始影像数据为基础影像(raw image2)，定义前一帧的原始影像数据为参考影像(raw image1)；
B.帧间亮度处理(interframe luma processing)的步骤，用以将基础影像(rawimage2)和参考影像(raw image1)通过亮度通道处理(luma channel generation)分别转换为灰阶化亮度值所表示的完整亮度基础影像(full luma image2)和完整亮度参考影像(full luma image1)；以及
C.全彩影像的生成步骤(Full RGB generation)，利用前述步骤产生的完整亮度基础影像(full luma image2)和完整亮度参考影像(full luma image1)分别对基础影像和参考影像进行差值处理，以生成无干扰的全彩影像(Full RGB Image)。
前述步骤B.帧间亮度处理的详细步骤，请参阅图3，包括：
B-1、将基础影像(raw image2)和参考影像(raw image1)通过亮度通道处理(luma channel generation)转换为亮度信号，例如可以使用屏蔽(mask)进行转换，取得灰阶化的完整亮度影像(full luma images)，分别获得完整亮度基础影像(fullluma image2)和完整亮度参考影像(full luma image1)；
B-2、影像对位(image registration)的步骤，将完整亮度基础影像(full lumaimage2)和完整亮度参考影像(full luma image1)进行对位处理，产生已对位的完整亮度参考影像(registered full luma image1)；以及
B-3、自适应的帧内平均值滤波(adaptive frame average)处理步骤，将上一步骤中已对位的完整亮度参考影像(registered full luma image1)和完整亮度基础影像(full luma image2)利用自适应的帧内平均值滤波处理步骤，产生一完成干扰消除的去干扰化完整亮度基础影像(Filtered Full Luma Image2)。
有关本发明所提出的自适应的帧内平均值滤波处理步骤的一较佳实施例，请参阅图4所示，包括：
4.1、从前后两帧输入影像(input image1，input image2)中逐一地分别选取一比较区块；(例如前述图3中步骤B-3的已对位的完整亮度参考影像(registeredfull luma image1)和完整亮度基础影像(full luma image2)，就是此一步骤4.1中的前后两帧输入影像(input image1，input image2))
4.2、对被选取的两个比较区块进行平滑度比较(例如进行影像梯度(grad)的比较分析)，判断前后两帧输入影像(input image1，input image2)中是否皆为平滑的影像内容，换句话说，当前后两帧输入影像(input image1，input image2)皆为平滑的影像内容，则执行步骤4.4，反之当前后两帧输入影像(input image1，input image2)存在高反差的影像内容，则进行下一步骤；
4.3、对被选取的两个比较区块进行帧间相似度比较(interframe similarityevaluation)，具体的方式可以通过例如绝对差值总合(Sum of AbsoluteDifference，SAD)的运算，判断前后两帧输入影像(input image1，input image2)是否具备高度的相似性，若是前后两帧输入影像(input image1，input image2)具有高度的相似性，则执行步骤4.4，反之则保留后一帧输入影像(input image2)的内容直接作为均值滤波的输出影像(averaged image)；以及
4.4、对前后两帧输入影像(input image1，input image2)的像素作平均值滤波处理，产生一均值滤波的输出影像(averaged image)。
前述步骤B.帧间亮度处理步骤的另一较佳实施例还包括有一动态补偿的步骤，如图5所示，利用步骤B-1.1的全局移动估算(global motion estimation)，对完整亮度基础影像(full luma image2)和完整亮度参考影像(full luma image1)进行全局移动估算，以取得完整亮度基础影像(full luma image2)和完整亮度参考影像(full luma image1)的像素间的相对关系，产生一偏移的完整亮度参考影像(shifted full luma image1)，再将这个偏移的完整亮度参考影像(shifted fullluma image1)和前述的完整亮度基础影像(full luma image2)通过前述的步骤B-2进行影像对位(image registration)。
本发明采用整体偏移估算(global shift estimation)，可以减少像素图元层次(pixel-wise)的移动估算模块的搜索范围，并且在进行影像对位(imageregistration)处理之前略微地移动了完整亮度参考影像(full luma image1)进行对齐，降低了影像对位的处理时间。
再请参阅图6，其中揭露了前述图2中全彩影像的生成步骤C.的较佳实施例，其包括：
C-1、取得色度影像的步骤，基本上是利用色度通道(chroma channel)的技术分别从基础影像(raw image2)(就是当前帧的原始影像数据(current image2))和参考影像(raw image1)(就是前一帧的原始影像数据(previous image1))中分别取得r，g，b(红red，绿green，蓝blue)三种色度的分量，换句话说，就是利用前述步骤B-2获得的已对位的完整亮度参考影像(registered full luma image1)和前述步骤B-3产生的去干扰化完整亮度基础影像(Filtered Full Luma Image2)分别与参考影像(raw image1)和基础影像(raw image2)作差值运算(difference)，分别获得已对位的色度参考影像(registered chroma image1)和色度基础影像(chromaimage2)的色度分量信息(r，g，b)，前述的差值表达式分别如下列式1.1和式1.2；
chroma image 1＝CFA image 1(r，g，b)-registered full luma image1(Y)
····(式1.1)
chroma image2＝CFA image2(r，g，b)-registered full luma image1(Y)
····(式1.2)
其中CFA(r，g，b)是具有彩色滤镜阵列(color filter array，CFA)的影像传感器(image sensor)所摄取的r，g，b信号的原始影像数据；
C-2、自适应的帧内平均值滤波处理(adaptive frame average)步骤，将上一步骤C-1产生的已对位的色度参考影像(registered chroma image 1)和色度基础影像(chroma image2)分别作为前后两帧影像，再通过图4所示的自适应的帧内平均值滤波处理步骤获得一均值化的色度基础影像(chroma image2′的色度分量数据(r，g，b)；
C-3、产生基础影像的完整色度影像的步骤，利用前述步骤B-3产生的去干扰化完整亮度基础影像(Filtered Full Luma Image2)与上一步骤C-2产生的均值化的色度基础影像(chroma image2′)合并为基础影像的完整色度影像(fullchroma image2)；以及
C-4、全彩影像的生成步骤(Full RGB generation)，利用前述步骤B-3获得的去干扰化完整亮度基础影像(Filtered Full Luma Image2)与上一步骤C-3产生的基础影像的完整色度影像(full chroma image2)合并为全彩影像(Full RGBImage)，表达式如下列式2。
Full RGB Image＝Filtered Full Luma Image2(Y)+full chroma image2(r，g，b)·····(式2)
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (2)
1.一种影像序列的干扰消除方法，用以对具有一彩色滤镜阵列的一影像传感器所摄取的影像序列进行干扰的消除处理，其特征在于，该方法包括：
A.取得该影像传感器所摄取的原始影像数据的步骤，用以取得一当前帧的原始影像数据和一前一帧的原始影像数据，并定义该当前帧的原始影像数据为一基础影像，定义该前一帧的原始影像数据为一参考影像；
B.帧间亮度处理的步骤，用以将该基础影像和该参考影像分别转换为灰阶化亮度值所表示的一完整亮度基础影像和一完整亮度参考影像；以及
C.全彩影像的生成步骤，利用前述步骤B.产生的该完整亮度基础影像和该完整亮度参考影像分别对该基础影像和该参考影像进行差值处理，以生成一无干扰的全彩影像，
其中所述步骤B包括以下步骤：
B-1、将该基础影像和该参考影像通过亮度信道处理转换为亮度信号，分别获得该完整亮度基础影像和该完整亮度参考影像；
B-2、影像对位的步骤，将该完整亮度基础影像和该完整亮度参考影像进行对位处理，产生一已对位的完整亮度参考影像；以及
B-3、自适应的帧内平均值滤波处理步骤，将该已对位的完整亮度参考影像和该完整亮度基础影像利用一自适应的帧内平均值滤波处理步骤，产生完成干扰消除的一去干扰化完整亮度基础影像，
其中所述步骤C包括以下步骤：
C-1、取得色度影像的步骤，利用该步骤B-2获得的该已对位的完整亮度参考影像和该步骤B-3产生的该去干扰化完整亮度基础影像分别与该参考影像和该基础影像作差值运算，分别获得一已对位的色度参考影像和一色度基础影像的色度分量信息；
C-2、自适应的帧内平均值滤波处理步骤，将前述步骤C-1产生的该已对位的色度参考影像和该色度基础影像分别作为前后两帧影像，再通过一自适应的帧内平均值滤波处理步骤获得一均值化的色度基础影像；
C-3、产生基础影像的完整色度影像的步骤，利用该步骤B-3产生的该去干扰化完整亮度基础影像与上一步骤C-2产生的该均值化的色度基础影像合并为一基础影像的完整色度影像；以及
C-4、全彩影像的生成步骤，利用前述步骤B-3获得的该去干扰化完整亮度基础影像与前一步骤C-3产生的该基础影像的完整色度影像合并为一全彩影像，
其中所述步骤B-3包括以下步骤：
d11、从该已对位的完整亮度参考影像和该完整亮度基础影像中逐一地分别选取一比较区块；
d12、对被选取的该两个比较区块进行平滑度比较，判断该已对位的完整亮度参考影像和该完整亮度基础影像中是否皆为平滑的影像内容，当该已对位的完整亮度参考影像和该完整亮度基础影像皆为平滑的影像内容，则执行下列步骤d14，反之当该已对位的完整亮度参考影像和该完整亮度基础影像存在高反差的影像内容，则进行下一步骤；
d13、对被选取的该两个比较区块进行帧间相似度比较，判断该已对位的完整亮度参考影像和该完整亮度基础影像是否具备高度的相似性，若是具有高度的相似性，则执行下列步骤d14，反之则保留该完整亮度基础影像的内容直接作为一均值滤波的输出影像；以及
d14、对该已对位的完整亮度参考影像和该完整亮度基础影像的像素作平均值滤波处理，产生一均值滤波的输出影像，
其中所述步骤C-2包括以下步骤：
d21、从该色度参考影像和该色度基础影像中逐一地分别选取一比较区块；
d22、对被选取的该两个比较区块进行平滑度比较，判断该色度参考影像和该色度基础影像中是否皆为平滑的影像内容，当该色度参考影像和该色度基础影像皆为平滑的影像内容，则执行下列步骤d24，反之当该色度参考影像和该色度基础影像存在高反差的影像内容，则进行下一步骤；
d23、对被选取的该两个比较区块进行帧间相似度比较，判断该色度参考影像和该色度基础影像是否具备高度的相似性，若是具有高度的相似性，则执行下列步骤d24，反之则保留该色度基础影像的内容直接作为一均值滤波的输出影像；以及
d24、对该色度参考影像和该色度基础影像的像素作平均值滤波处理，产生一均值滤波的输出影像。
2.根据权利要求1所述的影像序列的干扰消除方法，其特征在于，该帧间亮度处理的步骤还包括：
利用一全局移动估算，对该完整亮度基础影像和该完整亮度参考影像进行该全局移动估算，取得该完整亮度基础影像和该完整亮度参考影像的像素间的相对关系，产生一偏移的完整亮度参考影像；以及
将该偏移的完整亮度参考影像和该完整亮度基础影像通过该步骤B-2进行影像对位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100030186A CN101778297B (zh) | 2009-01-08 | 2009-01-08 | 影像序列的干扰消除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100030186A CN101778297B (zh) | 2009-01-08 | 2009-01-08 | 影像序列的干扰消除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101778297A CN101778297A (zh) | 2010-07-14 |
| CN101778297B true CN101778297B (zh) | 2012-08-08 |
Family
ID=42514591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100030186A Expired - Fee Related CN101778297B (zh) | 2009-01-08 | 2009-01-08 | 影像序列的干扰消除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101778297B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6337506B2 (ja) * | 2014-02-24 | 2018-06-06 | セイコーエプソン株式会社 | 画像表示装置、及び、画像表示装置の制御方法 |
| TWI743746B (zh) * | 2020-04-16 | 2021-10-21 | 瑞昱半導體股份有限公司 | 影像處理方法及影像處理電路 |
| CN113556545B (zh) * | 2020-04-23 | 2023-12-08 | 瑞昱半导体股份有限公司 | 图像处理方法及图像处理电路 |
| CN112233036B (zh) * | 2020-10-21 | 2021-06-08 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于高反差保留算法的图像增强方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1937781A (zh) * | 2005-09-20 | 2007-03-28 | 恩益禧电子股份有限公司 | 图像处理设备和图像处理方法 |
| CN1981304A (zh) * | 2004-07-05 | 2007-06-13 | 皇家飞利浦电子股份有限公司 | 照相机彩色噪声降低的方法和电路 |
| CN101326808A (zh) * | 2005-12-07 | 2008-12-17 | 美光科技公司 | 提供噪声降低同时保留成像器边缘的方法及设备 |
-
2009
- 2009-01-08 CN CN2009100030186A patent/CN101778297B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1981304A (zh) * | 2004-07-05 | 2007-06-13 | 皇家飞利浦电子股份有限公司 | 照相机彩色噪声降低的方法和电路 |
| CN1937781A (zh) * | 2005-09-20 | 2007-03-28 | 恩益禧电子股份有限公司 | 图像处理设备和图像处理方法 |
| CN101326808A (zh) * | 2005-12-07 | 2008-12-17 | 美光科技公司 | 提供噪声降低同时保留成像器边缘的方法及设备 |
Non-Patent Citations (1)
| Title |
|---|
| JP特开2004-128936A 2004.04.22 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101778297A (zh) | 2010-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101658027B (zh) | 用于图像帧的降噪方法和单元 | |
| US7773115B2 (en) | Method and system for deblurring digital camera images using reference image and motion estimation | |
| KR101277255B1 (ko) | 복합 영상 신호에서의 화질 개선 방법 및 그 장치, 복합영상 신호에서의 왜곡 제거 방법 및 그 장치 | |
| US9262811B2 (en) | System and method for spatio temporal video image enhancement | |
| CN111510691B (zh) | 颜色插值方法及装置、设备、存储介质 | |
| JP5047287B2 (ja) | 動き解析への用途を有するスパース積分画像記述子 | |
| TWI423666B (zh) | Image elimination method for image sequence | |
| US8773593B2 (en) | Noise reduction filter circuitry and method | |
| CN112801925B (zh) | 基于信息熵最大化消除水波纹影响的水下图像增强方法 | |
| Akiyama et al. | Pseudo four-channel image denoising for noisy CFA raw data | |
| JP2012208553A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CN101778297B (zh) | 影像序列的干扰消除方法 | |
| WO2017154293A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
| US8538070B2 (en) | Motion detecting method and apparatus thereof | |
| JPWO2017216903A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2015211325A (ja) | パープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置 | |
| KR100839922B1 (ko) | 적응적 평균값 필터를 이용한 컬러 잡음 제거 장치 및 방법 | |
| JP5227906B2 (ja) | 映像記録システム | |
| KR100741517B1 (ko) | 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법 | |
| KR100821939B1 (ko) | 영상 잡음 제거 장치 및 방법 | |
| JP6137437B1 (ja) | 画像処理装置及び画像処理方法 | |
| CN115272135B (zh) | 一种单帧图片降噪并消除图片伪彩的方法 | |
| JP2011254376A (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
| Sibiryakov | Sparse projections and motion estimation in colour filter arrays | |
| TWI459795B (zh) | 雜訊抑制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120808 Termination date: 20190108 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |