CN1783939A - 振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体 - Google Patents

振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体 Download PDF

Info

Publication number
CN1783939A
CN1783939A CNA2005101187726A CN200510118772A CN1783939A CN 1783939 A CN1783939 A CN 1783939A CN A2005101187726 A CNA2005101187726 A CN A2005101187726A CN 200510118772 A CN200510118772 A CN 200510118772A CN 1783939 A CN1783939 A CN 1783939A
Authority
CN
China
Prior art keywords
image
pixel
input picture
edge strength
image restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005101187726A
Other languages
English (en)
Inventor
蚊野浩
富永隆一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1783939A publication Critical patent/CN1783939A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及一种振铃去除装置,具有:使用图像复原滤波器,将具有图像劣化的输入图像,复原成劣化被修减后的图像的图像复原机构,以及对输入图像以及通过图像复原机构所得到的复原图像进行加权平均的加权平均机构。加权平均机构,在图像复原图像中的振铃较明显的部分中,对输入图像与复原图像进行加权平均,使得输入图像的程度较强,在振铃不明显的部分中,对输入图像与复原图像进行加权平均,使得复原图像的程度较强。

Description

振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体
技术领域
本发明涉及一种振铃(ringring)去除装置以及记录有振铃去除程序的计算机可读取记录媒体。
背景技术
静止图像手抖动校正技术,是一种减轻静止图像摄影中的手抖动的技术,通过检测出手抖动,根据该检测结果来稳定图像来实现。
作为检测出手抖动的方法,有使用手抖动传感器(角速度传感器)的方法,以及解析图像并进行检测的电子式。稳定图像的方法中,有稳定透镜或摄像元件的光学式,以及通过图像处理将手抖动所引起的模糊去除的电子式。
另外,完全电子式的手抖动校正技术,也即通过只解析·处理所拍摄的一张手抖动图像,生成去除了手抖动动的图像的技术,尚未达到实用水平。特别是,通过解析一张手抖动图像,求出能够通过手抖动传感器所得到的精度的手抖动信号,是很困难的。
所以,使用手抖动传感器检测出手抖动,使用该手抖动数据,通过图像处理来去除手抖动模糊是比较现实的。将通过图像处理去除模糊,称作图像复原。另外,手抖动传感器以及图像复原方法,这里均称作电子式手抖动校正。
但是,如果手抖动或影像模糊等图像的劣化过程很明确,则通过使用维纳滤波器或一般的称作反滤波器的图像复原滤波器,便能够减轻该劣化。但是,其副作用是,图像边缘部的周边部中,产生了称作振铃的波状劣化。这是与单纯的边缘强调处理以及模糊掩盖锐化(unsharp masking)处理等中所能够看到的,边缘部前后的过冲、下冲类似的现象。
发明内容
本发明目的在于提供一种能够减轻使用图像复原滤波器所复原的图像中所产生的振铃的振铃去除装置以及记录有振铃去除程序的计算机可读取记录媒体。
本发明的第1振铃去除装置的特征在于,具有:图像复原机构,其使用图像复原滤波器,将具有图像劣化的输入图像,复原成劣化被修减后的图像;以及加权平均机构,其对输入图像以及通过图像复原机构所得到的复原图像进行加权平均;加权平均机构,在图像复原图像中的振铃较明显的部分中,对输入图像与复原图像进行加权平均,使得输入图像的程度较强,在振铃不明显的部分中,对输入图像与复原图像进行加权平均,使得复原图像的程度较强。
本发明的第2振铃去除装置的特征在于,具有:图像复原机构,其使用图像复原滤波器,将具有图像劣化的输入图像,复原成劣化被修减后的图像;边缘强度计算机构,其计算出输入图像的每一个像素的边缘强度;以及加权平均机构,其根据由边缘强度计算机构所计算出的每一个像素的边缘强度,在每一个像素中对输入图像以及通过图像复原机构所得到的复原图像进行加权平均;加权平均机构,对边缘强度较小的像素,进行输入图像与复原图像的加权平均,使得输入图像的程度较强,对边缘强度较大的像素,进行输入图像与复原图像的加权平均,使得复原图像的程度较强。
本发明的第3振铃去除装置的特征在于,具有:边缘强度计算机构,其计算出具有图像劣化的输入图像的每一个像素的边缘强度;选择机构,其根据由边缘强度计算机构所计算出的每一个像素的边缘强度,从图像复原强度不同的多个图像复原滤波器中,对每一个像素选择1个图像复原滤波器;以及图像复原机构,其将输入图像的各个像素的像素值,使用对该像素所选择的图像复原滤波器,复原成劣化被修减后的像素值;选择机构,对边缘强度较小的像素,选择复原强度较弱的图像复原滤波器,对边缘强度较大的像素,选择复原强度较强的图像复原滤波器。
本发明的第1计算机可读取记录媒体,是一种记录有振铃去除程序的计算机可读取记录媒体,其特征在于,记录有用来让计算机起到以下机构的作用的振铃去除程序:图像复原机构,其使用图像复原滤波器,将具有图像劣化的输入图像,复原成劣化被修减后的图像;以及加权平均机构,其对输入图像以及通过图像复原机构所得到的复原图像进行加权平均;加权平均机构,在图像复原图像中的振铃较明显的部分中,对输入图像与复原图像进行加权平均,使得输入图像的程度较强,在振铃不明显的部分中,对输入图像与复原图像进行加权平均,使得复原图像的程度较强。
本发明的第2计算机可读取记录媒体,是一种记录有振铃去除程序的计算机可读取记录媒体,其特征在于,记录有用来让计算机起到以下机构的作用的振铃去除程序:图像复原机构,其使用图像复原滤波器,将具有图像劣化的输入图像,复原成劣化被修减后的图像;边缘强度计算机构,其计算出输入图像的每一个像素的边缘强度;以及加权平均机构,其根据由边缘强度计算机构所计算出的每一个像素的边缘强度,在每一个像素中对输入图像以及通过图像复原机构所得到的复原图像进行加权平均;加权平均机构,对边缘强度较小的像素,进行输入图像与复原图像的加权平均,使得输入图像的程度较强,对边缘强度较大的像素,进行输入图像与复原图像的加权平均,使得复原图像的程度较强。
本发明的第3计算机可读取记录媒体,是一种记录有振铃去除程序的计算机可读取记录媒体,其特征在于,记录有用来让计算机起到以下机构的作用的振铃去除程序:边缘强度计算机构,其计算出具有图像劣化的输入图像的每一个像素的边缘强度;选择机构,其根据由边缘强度计算机构所计算出的每一个像素的边缘强度,从图像复原强度不同的多个图像复原滤波器中,对每一个像素选择1个图像复原滤波器;以及图像复原机构,其将输入图像的各个像素的像素值,使用对该像素所选择的图像复原滤波器,复原成劣化被修减后的像素值;选择机构,对边缘强度较小的像素,选择复原强度较弱的图像复原滤波器,对边缘强度较大的像素,选择复原强度较强的图像复原滤波器。
附图说明
图1为表示数码相机中所设置的手振动校正处理电路的构成的框图。
图2为表示放大角速度传感器1a的输出的放大器以及将放大器的输出变换成数字值的A/D变换器的框图。
图3为表示照相机的旋转量θ[deg]与画面上的移动量d[mm]之间的关系的模式图。
图4为表示35[mm]胶卷换算图像尺寸,与数码相机的图像尺寸的模式图。
图5为说明表现手抖动的空间滤波器(PSF)的模式图。
图6为用来说明Bresenham的直线绘制算法的模式图。
图7为表示通过图6的运动矢量所得到的PSF的模式图。
图8为表示以关注像素v22为中心的3×3区域的模式图。
图9a以及图9b为表示Prewitt的边缘提取算子的模式图。
图10为说明边缘强度v_edge与加权平均系数k之间的关系的曲线图。
具体实施方式
(实施方式1)
下面对照附图,对将本发明适用于数码相机的情况下的实施例进行说明。
(手抖动校正处理电路的构成)
图1中显示了数码相机中所设置的手抖动校正处理电路的构成。
1a、1b是用来检测出角速度的角速度传感器。一方的角速度传感器1a检测出照相机的平移方向的角速度,另一方角速度传感器1b检测出照相机的倾斜方向的角速度。2为根据由角速度传感器1a、1b所检测出的2轴的角速度,计算出图像复原滤波器的系数的图像复原滤波计算部。3为根据由图像复原滤波计算部2所计算出的系数,对拍摄图像(手抖动图像)进行图像复原处理的图像复原处理部。4为用来从通过图像复原处理部3所得到的复原图像中,去除振铃的振铃去除处理部。5为对通过振铃去除处理部4所得到的图像,进行模糊掩盖锐化处理的模糊掩盖锐化处理部。
以下,对图像复原滤波计算部2、图像复原处理部3以及振铃去除处理部4进行说明。
(2)图像复原滤波计算部2的说明
图像复原滤波计算部2具有:将角速度传感器1a、1b所检测出的角速度数据(手抖动信号)变换成运动矢量的手抖动信号/运动矢量变换处理部21;将通过手抖动信号/运动矢量变换处理部21所得到的运动矢量,变换成表示图像模糊的手抖动函数(PSF:Point Spread Function)的运动矢量/手抖动函数变换处理部22;以及将通过运动矢量/手抖动函数变换处理部22所得到的手抖动函数,变换成一般反滤波器(图像复原滤波器)的手抖动函数/一般反滤波变换处理部23。
(2-1)关于手抖动信号/运动矢量变换处理部21的说明
手抖动的原数据,是从摄影开始到摄影结束之间的角速度传感器1a、1b的输出数据。通过使用角速度传感器1a、1b与照相机的曝光时期同步,与摄影开始一起以给定的采样间隔dt[sec]测定平移方向以及倾斜方向的角速度,得到直到摄影结束的数据。采样间隔dt[sec]例如是1msec。
如图2所示,例如将照相机的平移方向的角速度θ’[deg/sec],通过角速度传感器1a变换成电压Vg[mV]之后,通过放大器101进行放大。放大器101所输出的电压Va[mV],被A/D变换器102变换成数字值DL[step]。为了将所得到的数字值数据变换成角速度,要使用传感器灵敏度S[mV/deg/sec]、放大器倍率K[倍]、A/D变换系数L[mV/step]进行计算。另外,放大器以及A/D变换器对每一个角速度传感器1a、1b分别设置。这些放大器以及A/D变换器,设置在手抖动信号/运动矢量变换处理部21内。
由角速度传感器1a所得到的电压值Vg[mV],与角速度θ’[deg/sec]的值成正比。由于此时的比率常数为传感器灵敏度,因此Vg[mV]通过下式(1)来表示。
Vg=Sθ’…(1)
另外,由于放大器101只放大电压值,因此所放大的电压Va[mV],通过下面的式(2)来表示。
Va=KVg…(2)
由放大器101所放大的电压值Va[mV]被进行了A/D变换,使用n[step](例如,-512~512)的数字值DL[step]来表示。设A/D变换系数为L[mV/step],则数字值DL[step],通过下面的式(3)来表示。
DL=Va/L…(3)
通过使用上述式(1)~(3),如下式(4)所示,能够根据传感器数据来求出角速度。
θ’=(L/KS)DL…(4)
能够根据摄影中的角速度数据,计算出所拍摄的图像上产生了怎样的抖动。将该图像中的外观运动称作运动矢量。
设从角速度数据的1个采样值到下一个采样值之间照相机所产生的旋转量为θ[deg]。此时,假设照相机以一定的角速度旋转,如果设采样频率为f=1/dt[Hz],则θ[deg]通过下式(5)来表示
θ=θ’/f=(L/KSf)DL…(5)
如图3所示,如果将r[mm]作为焦距(35[mm]胶卷换算),则根据照相机的旋转量θ[deg]能够通过下式(6)求出画面上的移动量d[mm]。
d=rtanθ…(6)
这里所求出的移动量d[mm],是35[mm]胶卷换算时的手抖动大小,单位为[mm]。在实际进行运算处理时,必须以数码相机的图像大小的单位[pixel]来考虑图像的大小。
由于是35[mm]胶卷换算图像,与数码相机所拍摄的[pixel]单位的图像的纵横比不同,因此要如下那样进行计算。如图4所示,在是35[mm]胶卷换算时,图像尺寸的横×纵为36[mm]×24[mm]。设数码相机所拍摄的图像大小为X[pixel]×Y[pixel],水平方向(平移方向)的抖动为x[pixel],垂直方向(倾斜方向)的抖动为y[pixel],则变换式为下式(7)、(8)。
x=dx(X/36)=rtanθx(X/36)…(7)
y=dy(Y/24)=rtanθy(Y/24)…(8)
上述式(7)、(8)中,在d与θ中使用了附加标记x与y,附加标记x表示水平方向的值,附加标记y表示是垂直方向的值。
综合上述式(1)~(8),水平方向(平移方向)的抖动x[pixel],与垂直方向(倾斜方向)的抖动y[pixel],通过下式(9)、(10)来表示。
x=rtan{(L/KSf)DLx}X/36…(9)
y=rtan{(L/KSf)DLy}Y/24…(10)
通过使用该变换式(9)、(10),能够根据作为数字值所得到的照相机各个轴的角速度数据,求出图像的抖动量(运动矢量)。
摄影中的运动矢量,能够只获得由传感器所得到的角速度的数据的数(采样点的数),通过顺次将它们的起点与终点连接起来,便成为图像上的手抖动轨迹。另外,通过看各个矢量的大小,能够得知此时的手抖动速度。
(2-2)运动矢量/手抖动函数变换处理部22
手抖动可以使用空间滤波器来表示。如果对应于图5的左侧图中所显示的手抖动的轨迹(在照相机抖动时,图像上某一点所描绘的轨迹、图像的抖动量),在算子的要素中加权进行空间滤波器处理,在滤波过程中,像素的浓淡值便成为只考虑对应于手抖动轨迹的附近像素的浓淡值,因此能够生成手抖动图像。
将对应于该轨迹所加权的算子,称作Point Spread Function(PSF),用作手抖动的数学模型。PSF的各个要素的权值,是与手抖动轨迹通过该要素的时间成正比的值,同时是标准化为让各个要素的重叠和为1的值。也即,是与运动矢量的大小的倒数成比例的权值。这是由于在考虑到手抖动给图像带来的影响时,运动地较慢会给图像带来较大的影响。
图5中央的图,表示假设手抖动的运动是等速的情况下的PSF,图5右侧的图表示考虑到了实际的手抖动运动的大小的情况下的PSF。图5的右侧的图中,将PSF权值较低(运动矢量的大小较大)的要素显示为黑色,将PSF权值较高(运动矢量的大小较小)的要素显示为白色。
通过上述(2-1)所得到的运动矢量(图像的抖动量),将手抖动的轨迹与轨迹的速度作为数据保存起来。
为了生成PSF,首先,根据手抖动的轨迹决定加权有PSF的要素。之后,根据手抖动的速度决定加于PSF的要素的权值。
通过将由上述(2-1)所得到的一系列运动矢量连接起来,便得到了近似于折线的手抖动轨迹。虽然该轨迹具有小数点以下的精度,但通过将其整数化,来在PSF中决定加权要素。因此,本实施例中,使用Bresenham的直线绘图算法,在PSF中决定加权要素。Bresenham的直线绘图算法是指,在数字画面上引一根通过任意两点的直线时,选择最佳点位置的算法。
使用图6的例子对Bresenham的直线绘图算法进行说明。图6中的带有箭头的直线表示运动矢量。
(a)从点位置的原点(0,0)出发,增加1个运动矢量的水平方向的要素。
(b)确认运动矢量的垂直方向的位置,在该垂直方向位置与前一个点的垂直方向位置相比不大于1的情况下,将点位置的垂直方向增加1。
(c)再次将运动矢量的水平方向要素加1。
反复进行这样的处理,直到到达运动矢量的终点,通过这样,能够通过点位置来表示运动矢量所经过的直线。
PSF的要素中所加的权值,利用运动矢量的各个矢量的大小(速度成分)不同来进行决定。权值取运动矢量大小的倒数,将权值代入对应于各个运动矢量的要素。但是,对各个要素的权值进行标准化,让各个要素的权值总和为1。图7中显示了通过图6的运动矢量所得到的PSF。速度较快的(运动矢量较长的)其权值变得较小,速度较慢的(运动矢量较短的)其权值变得较大。
(2-3)手抖动函数/一般反滤波变换处理部23
通过在水平方向上为Nx像素,在垂直方向上为Ny像素的分辨率,对图像进行数字化。位于水平方向第i个,垂直方向第j个处的像素的值,通过p(i,j)来表示。空间滤波器所进行的图像的变换是指,通过关注像素的附近像素的折合(畳み込み)来将变换模型化。折合的系数为h(1,m)。这里,为了简单起见,如果设-n<1,m<n,则关注像素的变换可以通过下式(11)来表示。另外,将h(1,m)自身称作空间滤波器,或滤波器系数。变换的性质由h(1,m)的系数值所决定。
p ′ ( i , j ) = Σ l = - n l = n Σ m = - n m = n h ( l , m ) × p ( i + l , j + m ) · · · ( 11 )
在数码相机等摄影装置中观察点光源的情况下,如果假定图像的形成过程中没有劣化,则图像上所观察的像,只有一点具有0以外的像素值,除此之外的像素值均为0。由于实际的摄影装置中含有劣化过程,因此即使观察点光源,其像也不是一点,而成为扩展了的像。在发生了手抖动的情况下,点光源在画面上产生了对应于手抖动的轨迹。
将观察图像的像素值与点光源的比值作为系数,将系数值的总和为1的空间滤波器称作Point Spread Function(PSF,点扩展函数)。该实施例中,作为PSF使用通过运动矢量/手抖动函数变换处理部22所得到的PSF。
在通过纵横(2n+1)×(2n+1)的空间滤波器h(1,m)、-n<1,m<n对PSF进行模型化时,对于各个像素,没有发生模糊的图像的像素值p(i,j)与产生了模糊的像素的像素值p’(i,j)之间,满足上述式(11)的关系。这里,实际上所能够观察的是模糊了的图像的像素值p’(i,j),没有发生模糊的图像的像素值p(i,j)通过什么方法来计算,是很必要的。
如果将上述式(11)应用于所有的像素,则如下式(12)所示。
p ′ ( 1,1 ) = Σ l = - n l = n Σ m = - n m = n h ( l , m ) × p ( 1 + l , 1 + m )
p ′ ( 1,2 ) = Σ l = - n l = n Σ m = - n m = n h ( l , m ) × p ( 1 + l , 2 + m )
p ′ ( 1 , N n ) = Σ l = - n l = n Σ m = - n m = n h ( l , m ) × p ( 1 + l , N n + m )
p ′ ( 2 , N n ) = Σ l = - n l = n Σ m = - n m = n h ( l , m ) × p ( 2 + l , N n + m )
p ′ ( N y , N n ) = Σ l = - n l = n Σ m = - n m = n h ( l , m ) × p ( N y + l , N n + m ) · · · ( 12 )
上述公式能够合并起来通过矩阵来表示,则变为下式(13)。这里,P为对原图像按照光栅扫描顺序而一元化所得到的结果。
P’=H×P…(13)
如果存在H的逆矩阵H-1,在通过计算P=H-1×P,便能够根据劣化了的图像P’求出未劣化的图像P,但一般来说不存在H的逆矩阵。对于不存在逆矩阵的矩阵来说,存在称作一般逆矩阵乃至伪逆矩阵的矩阵。下式(14)表示一般逆矩阵的例子。
H*=(Ht·H+γ·I)-1·Ht…(14)
这里,H*是一般逆矩阵,Ht是H的转置矩阵,γ为标量,I为与Ht·H相同大小的单位矩阵。通过使用H*计算下式(15),能够根据所观察的手抖动图像P’,计算出手抖动被校正了的图像P。γ为调整校正的强度的参数。如果γ越小,校正处理就较强,如果γ较大,校正处理就较弱。
P’=H*×P…(15)
在图像尺寸为640×480的情况下,上述式(15)的P变为307,200×1的矩阵,H*为307、200×307、200的矩阵。由于是这样的非常大的矩阵,因此直接使用上述式(14)、(15)是不实用的。因此,可以通过在计算中使用下述的方法,来缩小矩阵的大小。
首先,在上述式(15)中,设作为P的根源的图像尺寸为63×63,是比较小的尺寸。如果是63×63的图像,则P为3969×1的矩阵,H*为3969×3969的矩阵。H*是变换为对模糊图像全体进行了校正的图像全体的矩阵,H*的各行与P的乘积相当于进行各个像素的校正的运算。H*的正中的行与P的乘积,相当于对63×63像素的原图像的正中的像素进行校正。P是对原图像以光栅扫描顺序进行一体化所得到的,相反,通过由逆光栅扫描对H*的正中的行进行2维化,便能够构成63×63大小的空间滤波器。将这样所构成的空间滤波器称作一般反滤波器(以下称作图像复原滤波器)。
通过将这样所生成的实用尺寸的空间滤波器,依次应用于较大的图像全体的各个像素,便能够对模糊图像进行校正。另外,通过以上的顺序所求出的模糊图像的复原滤波器中,也存在通过γ所表示的调整复原强度的参数。
(3)图像复原处理部3
图像复原处理部3,如图1所示,具有滤波处理部31、32、33。滤波处理部31、33使用中值滤波器进行滤波处理。滤波处理部32,使用通过图像复原滤波计算部2所得到的图像复原滤波器,进行滤波处理。
将通过照相机所拍摄的手抖动图像,发送给滤波处理部31,进行使用中值滤波器的滤波处理,去除噪声。通过滤波处理部31所得到的图像,发送给滤波处理部32。滤波处理部32中,进行使用图像复原滤波器的滤波器处理,根据手抖动图像复原没有手抖动的图像。将通过滤波处理部32所得到的图像,发送给滤波处理部33,进行使用中值滤波器的滤波处理,去除噪声。
(4)关于振铃去除处理部4的说明
振铃去除处理部4,如图1所示,具有边缘强度计算部41、加权平均系数计算部42以及加权平均处理部43。
通过照相机所拍摄的手抖动图像,发送给边缘强度计算部41,对每一个像素计算出边缘强度。下面对边缘强度的求法进行说明。
如图8所示,设想以关注像素v22为中心的3×3区域。对关注像素v22,计算出水平边缘成分dh与垂直边缘成分dv。边缘成分的计算中,例如使用图9a以及图9b中所示的Prewitt的边缘提取算子。图9a显示了水平边缘提取算子,图9b显示了垂直边缘提取算子。
水平边缘成分dh以及垂直边缘成分dv,通过下面的式(16)、(17)求出。
dh=v11+v12+v13-v31-v32-v33…(16)
dv=v11+v21+v31-v13-v23-v33…(17)
接下来,从水平边缘成分dh以及垂直边缘成分dv,根据下式(18)计算出关注像素v22的边缘强度v_edge。
v_edge=sqrt(dh×dh+dv×dv)…(18)
另外,还可以使用abs(dh)+abs(dv),作为关注像素v22的边缘强度v_edge。另外,可以对这样所得到的边缘强度图像,进一步实施3×3的噪声去除滤波。
将通过边缘强度计算部41所计算出的各个像素的边缘强度v_edge,传输给加权平均系数计算部42。加权平均系数计算部42,根据下式(19),计算出各个像素的加权平均系数k。
If v_edge>th then k=1
If v_edge≤th then k=v edge/th…(19)
th是用来判断非常强的边缘的阈值。也即,v_edge与加权平均系数k之间的关系,是如图10所示的关系。
将通过加权平均系数计算部42所计算出的各个像素的加权平均系数k,输出给加权平均处理部43。设通过图像复原处理部3所得到的复原图像的像素值为v_restore,由照相机所拍摄的手抖动图像的像素值为v_shake,则加权平均处理部43通过进行下式(20)所表示的计算,对复原图像的像素值v_restore与手抖动图像的像素值v_shake进行加权平均。
v=k×v_restore+(1-k)×v_shake…(20)
也即,对于边缘强度v_edge大于阈值th的像素,由于对应于该位置的复原图像的振铃不突出,因此将通过图像复原处理部3所得到的复原图像的像素值v_restore原样输出。对于边缘强度v_edge为阈值th以下的像素,由于边缘强度v_edge越小,复原图像的振铃越明显,因此复原图像的程度较弱,手抖动图像的程度加强。
上述实施例中,通过对复原图像与手抖动图像进行加权相加,让边缘强度v_edge越大的像素,复原图像的程度越强,边缘强度v_edge越小的像素,手抖动图像的程度越大,通过这样,将边缘部周边所产生的振铃去除,但也可以如下那样来去除振铃。
如上所述,模糊图像的图像复原滤波器(图1的32)中,也存在通过γ来表示的对复原的强度进行调整的参数。因此,能够生成对应于复原的强度的多种复原滤波器。这样,在对边缘强度v_edge较大的像素进行复原时,由于与其相对应的复原图像的振铃不明显,因此使用复原强度较高的复原滤波器来复原图像,在对边缘强度v_edge较小的像素进行复原时,由于与其相对应的复原图像的振铃较明显,因此使用复原强度较小的复原滤波器来复原图像。通过这样,在防止振铃的情况下,不需要进行加权平均。

Claims (6)

1.一种振铃去除装置,其特征在于,
具备:
图像复原机构,其使用图像复原滤波器,将具有图像劣化的输入图像,复原成劣化被修减后的图像;以及
加权平均机构,其对输入图像以及通过图像复原机构所得到的复原图像进行加权平均,
加权平均机构,在图像复原图像中的振铃较明显的部分中,对输入图像与复原图像进行加权平均,使得输入图像的程度较强,在振铃不明显的部分中,对输入图像与复原图像进行加权平均,使得复原图像的程度较强。
2.一种振铃去除装置,其特征在于,
具备:
图像复原机构,其使用图像复原滤波器,将具有图像劣化的输入图像,复原成劣化被修减后的图像;
边缘强度计算机构,其计算出输入图像的每一个像素的边缘强度;以及
加权平均机构,其根据由边缘强度计算机构所计算出的每一个像素的边缘强度,在每一个像素中对输入图像以及通过图像复原机构所得到的复原图像进行加权平均,
加权平均机构,对边缘强度较小的像素,进行输入图像与复原图像的加权平均,使得输入图像的程度较强,对边缘强度较大的像素,进行输入图像与复原图像的加权平均,使得复原图像的程度较强。
3.一种振铃去除装置,其特征在于,
具备:
边缘强度计算机构,其计算出具有图像劣化的输入图像的每一个像素的边缘强度;
选择机构,其根据由边缘强度计算机构所计算出的每一个像素的边缘强度,从图像复原强度不同的多个图像复原滤波器中,对每一个像素选择1个图像复原滤波器;以及
图像复原机构,其将输入图像的各个像素的像素值,使用对该像素所选择的图像复原滤波器,复原成劣化被修减后的像素值,
选择机构,对边缘强度较小的像素,选择复原强度较弱的图像复原滤波器,对边缘强度较大的像素,选择复原强度较强的图像复原滤波器。
4.一种记录有振铃去除程序的计算机可读取记录媒体,其特征在于:
记录有用来让计算机起到以下机构的作用的振铃去除程序:
图像复原机构,其使用图像复原滤波器,将具有图像劣化的输入图像,复原成劣化被修减后的图像;以及
加权平均机构,其对输入图像以及通过图像复原机构所得到的复原图像进行加权平均,
加权平均机构,在图像复原图像中的振铃较明显的部分中,对输入图像与复原图像进行加权平均,使得输入图像的程度较强,在振铃不明显的部分中,对输入图像与复原图像进行加权平均,使得复原图像的程度较强。
5.一种记录有振铃去除程序的计算机可读取记录媒体,其特征在于:
记录有用来让计算机起到以下机构的作用的振铃去除程序:
图像复原机构,其使用图像复原滤波器,将具有图像劣化的输入图像,复原成劣化被修减后的图像;
边缘强度计算机构,其计算出输入图像的每一个像素的边缘强度;以及
加权平均机构,其根据由边缘强度计算机构所计算出的每一个像素的边缘强度,在每一个像素中对输入图像以及通过图像复原机构所得到的复原图像进行加权平均,
加权平均机构,对边缘强度较小的像素,进行输入图像与复原图像的加权平均,使得输入图像的程度较强,对边缘强度较大的像素,进行输入图像与复原图像的加权平均,使得复原图像的程度较强。
6.一种记录有振铃去除程序的计算机可读取记录媒体,其特征在于:
记录有用来让计算机起到以下机构的作用的振铃去除程序:
边缘强度计算机构,其计算出具有图像劣化的输入图像的每一个像素的边缘强度;
选择机构,其根据由边缘强度计算机构所计算出的每一个像素的边缘强度,从图像复原强度不同的多个图像复原滤波器中,对每一个像素选择1个图像复原滤波器;以及
图像复原机构,其将输入图像的各个像素的像素值,使用对该像素所选择的图像复原滤波器,复原成劣化被修减后的像素值,
选择机构,对边缘强度较小的像素,选择复原强度较弱的图像复原滤波器,对边缘强度较大的像素,选择复原强度较强的图像复原滤波器。
CNA2005101187726A 2004-10-29 2005-10-31 振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体 Pending CN1783939A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004316648 2004-10-29
JP2004316648A JP2006129236A (ja) 2004-10-29 2004-10-29 リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
CN1783939A true CN1783939A (zh) 2006-06-07

Family

ID=36261970

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005101187726A Pending CN1783939A (zh) 2004-10-29 2005-10-31 振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体

Country Status (3)

Country Link
US (1) US20060093233A1 (zh)
JP (1) JP2006129236A (zh)
CN (1) CN1783939A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547072A (zh) * 2010-12-28 2012-07-04 索尼公司 信号处理装置、信号处理方法和信号处理程序
CN105684417A (zh) * 2013-10-31 2016-06-15 富士胶片株式会社 图像处理装置、摄像装置、参数生成方法、图像处理方法及程序
CN106134178A (zh) * 2014-03-28 2016-11-16 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN107370941A (zh) * 2017-06-29 2017-11-21 联想(北京)有限公司 一种信息处理方法及电子设备
CN107395961A (zh) * 2017-07-07 2017-11-24 青岛海信移动通信技术股份有限公司 一种图像数据的复原方法和装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4766334B2 (ja) * 2004-12-21 2011-09-07 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム
JP4599398B2 (ja) * 2005-03-22 2010-12-15 オリンパス株式会社 画像処理装置及び内視鏡装置
JP2008015741A (ja) * 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置
JP2008052566A (ja) * 2006-08-25 2008-03-06 Canon Inc 画像処理装置及び画像処理方法
TR201810171T4 (tr) * 2006-10-03 2018-08-27 Vestel Elektronik Sanayi Ve Ticaret Anonim Sirketi Bir girdi görüntüsündeki halka şeklinde artefaktları en aza indirmek için yöntem ve aparat.
JP4241814B2 (ja) 2006-12-06 2009-03-18 三洋電機株式会社 画像補正装置及び方法並びに電子機器
US20080170124A1 (en) 2007-01-12 2008-07-17 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
JP4854579B2 (ja) 2007-04-20 2012-01-18 三洋電機株式会社 ぶれ補正装置及びぶれ補正方法ならびにぶれ補正装置を備えた電子機器や、画像ファイル及び画像ファイル作成装置
US8948513B2 (en) * 2009-01-27 2015-02-03 Apple Inc. Blurring based content recognizer
JP5013491B2 (ja) * 2009-02-17 2012-08-29 ソーバル株式会社 画像処理装置、画像処理方法、記録媒体
WO2010131296A1 (ja) * 2009-05-14 2010-11-18 株式会社 東芝 画像処理装置
JP5441652B2 (ja) * 2009-12-09 2014-03-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5468404B2 (ja) 2010-02-02 2014-04-09 パナソニック株式会社 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
US8803984B2 (en) 2010-02-10 2014-08-12 Dolby International Ab Image processing device and method for producing a restored image using a candidate point spread function
JP5237978B2 (ja) 2010-02-12 2013-07-17 パナソニック株式会社 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP5249271B2 (ja) 2010-03-19 2013-07-31 パナソニック株式会社 撮像装置、画像処理装置、および画像処理プログラム
JP5184574B2 (ja) 2010-04-30 2013-04-17 パナソニック株式会社 撮像装置、画像処理装置、および画像処理方法
WO2011145297A1 (ja) 2010-05-21 2011-11-24 パナソニック株式会社 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
JP5204165B2 (ja) 2010-08-05 2013-06-05 パナソニック株式会社 画像復元装置および画像復元方法
US8860824B2 (en) * 2010-08-06 2014-10-14 Honeywell International Inc. Motion blur modeling for image formation
US8905314B2 (en) 2010-09-30 2014-12-09 Apple Inc. Barcode recognition using data-driven classifier
CN102170569B (zh) * 2011-03-24 2016-01-06 深圳市云宙多媒体技术有限公司 一种振铃效应去噪方法、装置
US8861852B2 (en) 2011-05-09 2014-10-14 Canon Kabushiki Kaisha Image processing method for image restoration, image processing apparatus and image pickup apparatus
JP5425135B2 (ja) * 2011-05-09 2014-02-26 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
DE112013004507T5 (de) * 2013-03-28 2015-12-31 Fujifilm Corporation Bildverarbeitungsvorrichtung, Bilderfassungsvorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium
CN105659582B (zh) 2013-10-31 2020-03-27 富士胶片株式会社 信号处理装置、摄像装置、参数生成方法及信号处理方法
JP6338376B2 (ja) * 2014-01-08 2018-06-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN104796596B (zh) * 2014-01-20 2018-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
WO2015146364A1 (ja) 2014-03-28 2015-10-01 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法、及びプログラム
JP6566780B2 (ja) * 2015-08-18 2019-08-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP7078895B2 (ja) * 2018-06-11 2022-06-01 オムロン株式会社 制御システム、制御装置、画像処理装置およびプログラム
JP7362284B2 (ja) * 2019-03-29 2023-10-17 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4220972A (en) * 1979-05-22 1980-09-02 Honeywell Inc. Low contrast object extraction device
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
US6636645B1 (en) * 2000-06-29 2003-10-21 Eastman Kodak Company Image processing method for reducing noise and blocking artifact in a digital image
EP1209624A1 (en) * 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction
JP2002300461A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
US7050649B2 (en) * 2001-07-23 2006-05-23 Micron Technology, Inc. Suppression of ringing artifacts during image resizing
EP2280376B1 (en) * 2002-02-12 2015-10-28 Panasonic Intellectual Property Corporation of America Image processing apparatus and image processing method
US7551792B2 (en) * 2003-11-07 2009-06-23 Mitsubishi Electric Research Laboratories, Inc. System and method for reducing ringing artifacts in images

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547072A (zh) * 2010-12-28 2012-07-04 索尼公司 信号处理装置、信号处理方法和信号处理程序
CN105684417A (zh) * 2013-10-31 2016-06-15 富士胶片株式会社 图像处理装置、摄像装置、参数生成方法、图像处理方法及程序
CN105684417B (zh) * 2013-10-31 2019-05-14 富士胶片株式会社 图像处理装置、摄像装置、参数生成方法、图像处理方法
CN106134178A (zh) * 2014-03-28 2016-11-16 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN107370941A (zh) * 2017-06-29 2017-11-21 联想(北京)有限公司 一种信息处理方法及电子设备
CN107370941B (zh) * 2017-06-29 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN107395961A (zh) * 2017-07-07 2017-11-24 青岛海信移动通信技术股份有限公司 一种图像数据的复原方法和装置

Also Published As

Publication number Publication date
US20060093233A1 (en) 2006-05-04
JP2006129236A (ja) 2006-05-18

Similar Documents

Publication Publication Date Title
CN1783939A (zh) 振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体
CN1870715B (zh) 手抖动校正装置
JP5909540B2 (ja) 画像処理表示装置
JP4342493B2 (ja) 手ぶれ補正装置
JP4121780B2 (ja) デジタル画像における動きによるぼけを低減する方法
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP4307430B2 (ja) 手ぶれ検出装置
EP2533198A1 (en) Imaging device and method, and image processing method for imaging device
JP4958806B2 (ja) ぶれ検出装置、ぶれ補正装置及び撮像装置
JP2009141769A (ja) 画像処理装置
JP4145308B2 (ja) 手ぶれ補正装置
JP2009088935A (ja) 画像記録装置、画像補正装置及び撮像装置
JP4383379B2 (ja) 手ぶれ補正装置
JPH10232927A (ja) 画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ
JP5537995B2 (ja) 画像処理装置および画像処理プログラム
JP2007036799A (ja) 画像処理装置
JP2007266771A (ja) 手ぶれ検出装置およびデジタルカメラ
JP2007036894A (ja) 画像処理装置
JP2009088933A (ja) 画像記録装置、画像補正装置及び撮像装置
JP2010200940A (ja) 画像処理装置および内視鏡装置
JP2010213175A (ja) 画像処理装置及び撮像装置
JP6929185B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP4236642B2 (ja) 撮像装置
JP2008205603A (ja) 画像処理装置および画像処理方法
JP2002094799A (ja) 画像処理方法および装置並びに記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication