CN1870715A - 手抖动校正装置 - Google Patents

手抖动校正装置 Download PDF

Info

Publication number
CN1870715A
CN1870715A CNA2006100848016A CN200610084801A CN1870715A CN 1870715 A CN1870715 A CN 1870715A CN A2006100848016 A CNA2006100848016 A CN A2006100848016A CN 200610084801 A CN200610084801 A CN 200610084801A CN 1870715 A CN1870715 A CN 1870715A
Authority
CN
China
Prior art keywords
hand
image
correction mode
image restoration
shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100848016A
Other languages
English (en)
Other versions
CN1870715B (zh
Inventor
福本晋平
蚊野浩
畑中晴雄
川本裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyun Hyun Lee
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1870715A publication Critical patent/CN1870715A/zh
Application granted granted Critical
Publication of CN1870715B publication Critical patent/CN1870715B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

一种手抖动校正装置，具备：图像复原处理部，其利用基于手抖动信息而生成的图像复原滤波器，来进行校正被包含在输入图像中的手抖动的图像复原处理；和边缘增强处理部，其进行增强所述输入图像的边缘的边缘增强处理；其主旨为：该手抖动校正装置具备校正模式决定部，其基于根据所述手抖动信息生成的所述手抖动的大小，决定校正所述输入图像的手抖动校正模式，所述手抖动校正模式包括：进行所述图像复原处理的第1模式；进行所述边缘增强处理的第2模式；和所述图像复原处理及所述边缘增强处理都不进行的第3模式。

Description

手抖动校正装置
技术领域
本发明涉及一种搭载在数码相机等中的手抖动校正装置。
背景技术
静止图像手抖动校正技术，是校正摄影静止图像时所产生的手抖动的技术，通过检测手抖动，同时基于手抖动的检测结果使图像稳定化而实现。
在检测手抖动的方法中，具有使用手抖动传感器(角速度传感器)的方法、和解析图像并检测的电子式。在使图像稳定化的方法中，具有使透镜或摄像元件稳定化的光学式、和通过图像处理去除由手抖动产生的模糊的电子式。
另一方面，完全电子式的手抖动校正技术，即，通过只解析/处理摄影后的一张手抖动图像，而生成去除手抖动的图像的技术，还没有达到实际应用水平。尤其，通过解析一张手抖动图像，来求出由手抖动传感器得到的精度的手抖动信号是比较困难的。
从而，利用手抖动传感器检测手抖动，并利用其手抖动数据由图像处理去除手抖动模糊是比较现实的。由图像处理产生的模糊的去除称作图像复原。另外，在此，根据手抖动传感器和图像复原的手法称作电子式手抖动校正。
目前正在开发下述技术：将手抖动传感器的数据变换为作为表示由手抖动产生的图像的退化的模型的Point Spread Function(点展开函数，称作PSF)，根据PSF生成图像复原滤波器，并利用该图像复原滤波器复原图像的技术。
但是，即使可由PSF正确地表现手抖动信息，手抖动校正效果也根据手抖动大小、手抖动的轨迹的形状而不同。根据手抖动的大小、手抖动的轨迹的形状等，也会有手抖动校正效果低的情况、或画质与校正前相比反而退化的情况。
一般来说，图像复原滤波器由2维FIR滤波器构成，但由于硬件的制约，其大小的上限值被固定。若手抖动的大小变为某一定值以上，则图像复原滤波的成分不符合FIR滤波器的抽头(tap)数目，因此校正效果变差。相反地，手抖动的大小非常小时，不使用由PSF生成的图像复原滤波器，而使用反锐化掩蔽滤波器(unsharp masking filter)也能得到充分的校正效果。
另外，即使手抖动的大小相同，通过判定手抖动的速度变化状态为等速还是不等速(加速，减速，加减速)，校正效果也不同。在等速的情况下，由于完全失去特定的频率成分，因此存在不能通过图像复原滤波器来复原的频率成分。另外，图像复原滤波器的抽头数目与不等速的情况相比具有变大的倾向。进一步，在由图像复原滤波器复原的图像中振铃(ringing)变大。另外，手抖动的轨迹的形状变得越复杂，校正效果越低。
此外，在特开平7-226905号公报中，公开了：考虑到扇区的开口曲线而将检测出的抖动信息变换为点展开函数(PSF)的技术。
另外，在特开平10-215405号公报中，公开了：通过标记(mark)指定图像上的2点，并利用其倾斜度、长度由卷积运算复原图像的技术。
还有，在特开平11-24122号公报中，公开了如下的技术。通过积分由3个角加速度传感器得到的3轴旋转的角加速度，而求出角速度。另外，检测快门的开口经时变化。利用角速度及快门的开口经时变化，作成表示摄影时的模糊状态的传递函数(PSF)。通过对摄像后的图像进行传递函数的逆变换，而校正图像。
另外，在特开平11-27574号公报中，公开了：向2维频率空间变换摄像后的图像，并自动检测手抖动方向和大小的参数的技术。
还有，在特开2000-298300号公报中，公开了：推定对象图像上的各个像素中的手抖动矢量，并进行与推定的手抖动矢量相对应的校正的技术。
另外，在特开2004-88567号公报中，公开了：向图像数据附加摄像时的手抖动信息，并基于图像数据再生时所附加的手抖动信息校正图像数据的技术。
发明内容
本发明正是基于上述问题而提出的。
本发明的一个特征，其主旨为：一种手抖动校正装置，具备：图像复原处理部，其利用基于手抖动信息而生成的图像复原滤波器，来进行校正被包含在输入图像中的手抖动的图像复原处理；和边缘增强处理部，其进行增强所述输入图像的边缘的边缘增强处理，所述手抖动校正装置具备校正模式决定部，其基于根据所述手抖动信息生成的所述手抖动的大小，决定校正所述输入图像的手抖动校正模式，所述手抖动校正模式包括：进行所述图像复原处理的第1模式；进行所述边缘增强处理的第2模式；和所述图像复原处理及所述边缘增强处理都不进行的第3模式。
根据上述特征，校正模式决定部，基于根据手抖动信息生成的所述手抖动的大小，决定校正所述输入图像的手抖动校正模式。另外，手抖动校正模式，除了进行图像复原处理的第1模式之外，还包含不进行图像复原处理及边缘增强处理中的任一处理的第3模式。从而，能够防止手抖动校正后的画质比手抖动校正前的画质降低，同时充分地得到基于手抖动校正的效果。
本发明的另一特征，其主旨为：在本发明的上述的特征中，所述第1模式，是进行所述图像复原处理之后，进行所述边缘增强处理的所述手抖动校正模式，所述第2模式，是不进行所述图像复原处理，而进行所述边缘增强处理的所述手抖动校正模式。
本发明的另一特征，其主旨为：在本发明的上述特征中，所述校正模式决定部，除了根据所述手抖动信息生成的所述手抖动的大小以外，还基于表示根据所述手抖动信息生成的所述手抖动的轨迹的轨迹信息，而决定所述手抖动校正模式。
本发明的另一特征，其主旨为：在本发明的上述的特征中，所述校正模式决定部，基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，而控制由所述图像复原滤波器校正所述手抖动的强度。
本发明的另一特征，其主旨为：在本发明的上述的特征中，手抖动校正装置还具备振铃去除部，其进行去除包含在手抖动校正图像中的振铃的振铃去除处理，所述手抖动校正图像是由所述图像复原处理部校正所述手抖动的图像，所述第1模式，是在进行所述图像复原处理之后，进行所述振铃去除处理的所述手抖动校正模式，所述第3模式，是不进行所述图像复原处理及所述边缘增强处理、和所述振铃去除处理中的任一处理的所述手抖动校正模式，所述校正模式决定部，基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，而控制去除所述振铃的强度。
本发明的另一特征，其主旨为：在本发明的上述特征中，所述校正模式决定部，将所述手抖动的大小与规定的阈值进行比较，而决定所述手抖动校正模式，并基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，而控制所述规定的阈值。
附图说明
图1是表示手抖动校正处理电路的结构的框图。
图2是表示将角速度传感器的输出放大的放大器及将放大器的输出变换为数字值的A/D变换器的框图。
图3是表示相机的旋转量θ[deg]和画面上的移动量d[mm]之间的关系的示意图。
图4是表示换算为35[mm]滤镜时的图像尺寸和数码相机的图像尺寸的示意图。
图5是表示用于表现手抖动的空间滤波器(PSF)的示意图。
图6是用于说明Bresenham的直线描绘算法的示意图。
图7是表示由图6所示的移动矢量得到的PSF的示意图。
图8是表示以注目像素v22为中心的3×3的区域的示意图。
图9是表示Prewitt的边缘提取算子的示意图。
图10是表示边缘强度v_edge和加权平均系数k之间的关系的框图。
图11是表示由手抖动校正模式判定部71进行的校正模式判定处理步骤的流程图。
图12是表示手抖动的速度变化状态被判定为等速时的例子的图表。
图13是表示手抖动的速度变化状态被判定为不等速时的例子的图表。
图14是表示手抖动的轨迹的形状被判定为直线形状时的例子的图表。
图15是表示手抖动的轨迹的形状被判定为复杂形状时的例子的图表。
图16是用于说明手抖动量〔像素〕的计算方法的示意图。
具体实施方式
以下，参照附图说明有关本发明的一实施方式的手抖动校正装置。此外，在本发明的一实施方式中，手抖动校正装置适用在数码相机中。
(1)手抖动校正处理电路的构成
图1示出了设置在数码相机中的手抖动校正处理电路的结构。
角速度传感器11及角速度传感器12，是为了检测摄像被摄体的相机(未图示)的角速度而设置的。一方的角速度传感器11，检测相机的平移方向的角速度，另一方的角速度传感器12，检测相机的俯仰方向的角度速。角速度传感器11及角速度传感器12输出的输出信号，分别由放大器13及放大器14来放大后，分别通过A/D变换器15及A/D变换器16变换为数字数据(平移方向的角速度数据及俯仰方向的角速度数据)。
手抖动校正处理电路，具备图像复原滤波器计算部30、图像复原处理部40、振铃去除处理部50、反锐化掩蔽处理部60、手抖动校正模式判定部71(手抖动校正模式决定部)、和选择器72。
图像复原滤波器计算部30，基于平移方向的角速度数据及俯仰方向的角速度数据，计算图像复原滤波器(广义逆滤波器)的系数。图像复原处理部40，基于由图像复原滤波器计算部30计算出的系数，进行校正被包含在作为摄像图像的手抖动图像(v_tebre)中的手抖动的图像复原处理。振铃去除处理部50，进行去除被包含在手抖动校正图像(复原图像)中的振铃的振铃去除处理，所述手抖动校正图像是由图像复原处理部40校正手抖动的图像。反锐化掩蔽处理部60，进行增强振铃去除图像的边缘、或手抖动图像(v_tebre)的边缘的边缘增强处理，上述振铃去除图像是由振铃去除处理部50去除振铃的图像。
手抖动校正模式判定部71，基于由图像复原滤波器计算部30所得到的移动矢量和PSF(Point Spread Function)，判定作为校正手抖动的模式的手抖动校正模式。另外，手抖动校正模式判定部71，根据判定的手抖动校正模式，控制选择器72。
在此，在手抖动校正模式中，包括第1模式、第2模式、和第3模式。具体而言，第1模式，是进行图像复原处理之后进行振铃去除处理，接着进行边缘增强处理的手抖动校正模式。另外，第2模式，是不进行图像复原处理及振铃去除处理而只进行边缘增强处理的手抖动校正模式。还有，第3模式，是不进行图像复原处理、振铃去除处理及边缘增强处理中的任一处理的手抖动校正模式。
手抖动校正模式判定部71，在手抖动校正模式被判定为第1模式时，控制选择器72，以便手抖动图像(v_tebre)经由选择器72被发送到图像复原处理部40及振铃去除处理部50。由此，在手抖动校正模式被判定为第1模式时，通过依次进行基于图像复原处理部40的图像复原处理、基于振铃去除处理部50的振铃去除处理、及基于反锐化掩蔽处理部60的边缘增强处理，而生成对手抖动图像(v_tebre)校正手抖动的图像。
手抖动校正模式判定部71，在手抖动校正模式被判定为第2模式时，控制选择器72，以便手抖动图像(v_tebre)经由选择器72被发送到反锐化掩蔽处理部60。由此，在手抖动校正模式被判定为第2模式时，通过只进行基于反锐化掩蔽处理部60的边缘增强处理，而生成对手抖动图像(v_tebre)校正手抖动的图像。
手抖动校正模式判定部71，在手抖动校正模式被判定为第3模式时，控制选择器72，以便手抖动图像(v_tebre)被直接输出。由此，在手抖动校正模式被判定为第3模式时，不进行图像复原处理、振铃去除处理、及边缘增强处理中的任一处理。
(2)图像复原滤波器计算部30
图像复原滤波器计算部30，具备：将由角速度传感器11及角速度传感器12检测出的角速度数据(手抖动信号)变换为移动矢量的手抖动信号/移动矢量变换处理部31；将由手抖动信号/移动矢量变换处理部31得到的移动矢量变换为手抖动函数的移动矢量/手抖动函数变换处理部32；和将由移动矢量/手抖动函数变换处理部32得到的手抖动函数变换为广义逆滤波器的手抖动函数/广义逆滤波器变换处理部33。此外，手抖动函数，是表示图像的模糊的函数，例如是图像退化函数(PSF：Point SpreadFunction)。
(2-1)手抖动信号/移动矢量变换处理部31
手抖动信号，是在摄影开始到摄影结束之间角速度传感器11及角速度传感器12输出的信号。另外，手抖动数据，是角速度传感器11及角速度传感器12输出的信号被放大器13及放大器14放大之后，被A/D变换器15及A/D变换器16数字化后的数据。具体而言，手抖动信号/移动矢量变换处理部31，使角速度传感器11及角速度传感器12开始检测的时刻与相机的曝光时刻同步，同时以规定的采样间隔dt[sec]取得平移方向及俯仰方向的角速度，从而取得摄影开始到摄影结束的手抖动数据。采样间隔dt[sec]，例如是1msec。
如图2所示，例如，相机的平移方向的角速度θ’[deg/sec]，由角速度传感器11变换为电压Vg[mV]之后，由放大器13放大。从放大器13输出的电压Va[mV]，由A/D变换器15变换为数字值DL[step]。数字值DL[step]，利用传感器灵敏度S[mV/deg/sec]、放大倍数K[倍]、A/D变换系数L[mV/step]变换为角速度。
由角速度传感器11得到的电压值Vg[mV]，与角速度θ’[deg/sec]的值成比例。由于此时的比例常数为传感器灵敏度S[mV/deg/sec]，因此Vg[mV]由以下式(1)来表示。
Vg＝Sθ’…(1)
另外，放大器13，仅放大电压值Vg[mV]，因此放大后的电压Va[mV]由以下式(2)来表示。
Va＝KVg…(2)
由放大器13放大的电压值Va[mV]，通过A/D变换由n[step](例如，-512～512)的数字值DL[step]来表现。若将A/D变换系数作为L[mV/step]，则数字值DL[step]由以下式(3)来表示。
DL＝Va/L…(3)
通过利用上述式(1)～(3)，如以下式(4)所示，计算出角速度θ’。
θ’＝(L/KS)DL…(4)
由此，通过在摄影开始到摄影结束之间所取得的角速度，能够计算在手抖动图像(v_tebre)上产生的移动量。另外，将在手抖动图像(v_tebre)上产生的移动量称作移动矢量。
在从一个角速度的采样值到下一个角速度的采样值之间(采样间隔dt[sec])，将相机旋转的旋转量作为θ[deg]。在此，假设相机在采样间隔dt[sec]内以一定的角速度旋转，采样频率为f＝1/dt[Hz]，则相机的旋转量θ[deg]由以下式(5)来表示。
θ＝θ’/f＝(L/KSf)DL…(5)
如图3所示，若将r[mm]作为焦点距离(35[mm]滤镜换算)，则画面上的移动量d[mm]根据相机的旋转量θ[deg]由下式(6)来求出。
d＝rtanθ…(6)
在此求出的移动量d[mm]，其大小是35[mm]滤镜换算时的手抖动的大小，单位是[mm]。在实际进行计算处理时，必须用数码相机的图像的大小的单位[pixel]来考虑图像的大小。
35[mm]滤镜换算的图像的纵横比与由数码相机摄影的以[pixel]为单位的图像的纵横比不同，因此如下进行计算。如图4所示，35[mm]滤镜换算时图像尺寸的横×纵定为36[mm]×24[mm]。若将由数码相机摄影的图像的大小作为X[pixel]×Y[pixel]，将水平方向(平移方向)的抖动作为x[pixel]，将垂直方向(俯仰方向)的抖动作为y[pixel]，则变换式变成下式(7)、(8)。
x＝dx(X/36)＝rtanθx(X/36)…(7)
y＝dy(Y/24)＝rtanθy(Y/24)…(8)
在上述式(7)、(8)中，对d和θ使用了下标的x和y，但下标x表示水平方向的值，下标y表示垂直方向的值。
若总结上述式(1)～(8)，则水平方向(平移方向)的抖动x[pixel]、和垂直方向(俯仰方向)的抖动y[pixel]，由下式(9)、(10)来表示。
x＝rtan{(L/KSf)DLx}X/36…(9)
y＝rtan{(L/KSf)DLy}Y/24…(10)
通过使用该变换式(9)、(10)，可以根据作为数字值得到的相机的各个轴的角速度数据求出图像的抖动量(移动矢量)。
摄影中的移动矢量，可仅得到从传感器得到的角速度的数据的数目(仅仅是采样点的数目)，若顺次地连结它们的始点和终点，则成为图像上的手抖动的轨迹。另外，通过观察各个矢量的大小，而得知在该时刻中的手抖动的速度。
(2-2)手抖动函数/广义逆滤波器变换处理部33
手抖动，可使用空间滤波器来表示。若与图5(a)所示的手抖动的轨迹(相机抖动时描绘图像上的一点的轨迹、图像的抖动量)一致，给算子(operator)的要素加权并进行空间滤波处理，则在滤波过程中像素的浓淡值只考虑与手抖动的轨迹相对应的附近像素的浓淡值，因此能够作成手抖动图像。
将与该轨迹一致而加权的算子称作PSF(Point Spraed Function)，该PSF作为手抖动的数学模型来使用。PSF的各个要素的权值，是其要素与手抖动的轨迹通过的时间成比例的值，按照各个要素的权值的总和变成1那样被规一化的值。即，作成与移动矢量的大小的倒数成比例的权值。当考虑到手抖动给图像带来的影响时，缓慢移动的位置给图像带来较大的影响。
图5(b)表示假设手抖动的移动为等速时的PSF，图5(c)表示考虑到实际的手抖动的移动的大小时的PSF。在图5(c)中，将PSF的权值低(移动矢量的大小较大)的要素表示为黑的形状，将权值高(移动矢量的大小较小)的要素表示为白的形状。
在上述〔2-1〕中得到的移动矢量(图像的抖动量)具有手抖动的轨迹、和作为数据的轨迹的速度。
为了作成PSF，首先根据手抖动的轨迹决定加PSF的权值的要素。并且，根据手抖动的速度决定给PSF的要素加的权值。
通过将在上述〔2-1〕中得到的一系列的移动矢量连接，而得到近似于折线的手抖动的轨迹。该轨迹具有小数点以下的精度，但通过使其整数化而决定在PSF中加权的要素。因此，在该实施例中，利用Bresenham的直线描绘算法决定在PSF中加权的要素。所谓的Bresenham的直线描绘算法，是指在数字画面上要引出通过任意的两点的直线时选择最佳的点位置的算法。
利用图6的例子说明Bresenham的直线描绘算法。图6中附上箭头的直线表示移动矢量。
(a)从点位置的原点(0，0)出发，使移动矢量的水平方向的要素增加一。
(b)确认移动矢量的垂直方向的位置，该垂直方向位置与之前的点的垂直方向位置相比大于1时，使点位置的垂直方向增加一。
(c)再次使移动矢量的水平方向的要素增加一。
通过将上述的处理反复进行到移动矢量的终点为止，能够由点位置表现移动矢量通过的直线。
加在PSF的要素中的权值，利用每个移动矢量其矢量的大小(速度成分)不同而决定。权值采用移动矢量的大小的倒数，向与各个移动矢量相对应的要素代入权值。但是，按照各个要素的权值的总和变成1的方式使各个要素的权值规一化。图7示出了由图6的移动矢量得到的PSF。速度快的地方(移动矢量长的地方)的权值变小，速度慢的地方(移动矢量短的地方)的权值变大。
(2-3)移动矢量/手抖动函数变换处理部32
水平方向上以Nx像素、在垂直方向上以Ny像素的分辨率使图像数字化。由p(i，j)表示在水平方向上位于第i位置，在垂直方向上位于第j位置上的像素的值。所谓的由空间滤波器产生的图像的变换，是指通过注目像素的附近像素的卷积使变换模型化的变换。将卷积系数作为h(l，m)。在此，为了使其简单化，若-n＜1，m＜n，则注目像素的变换可由下式(11)来表现。另外，将h(l，m)本身称作空间滤波器，或称作滤波器系数。变换的性质由h(l，m)的系数值来决定。
p ′ ( i , j ) = Σ l = - n l = n Σ m = - n m = n h ( l , m ) × p ( i + l , j + m ) - - - - ( 11 )
在由数字相机等摄像装置观察点光源时，假设在图像的形成过程中没有退化，则在图像上所观察的像，只有某一点具有0以外的像素值，其以外的像素值为0。实际的摄像装置包含退化过程，因此即使观察点光源，该像不会成为一点，而成为扩散的像。在产生手抖动时，点光源在画面上生成与手抖动相对应的轨迹。
作为系数具有与对点光源的观察图像的像素值成比例的值，将系数值的总和成为1的空间滤波器称作PSF(Point Spread Function：点展开函数)。在该实施例中，作为PSF使用由移动矢量/手抖动函数变换处理部32得到的PSF。
在使PSF由纵横(2n+1)×(2n+1)的空间滤波器h(l，m)，-n＜1，m＜n模型化时，对于各个像素，不模糊的图像的像素值p(i，j)和模糊的图像的像素值p’(i，j)，具有上述式(11)的关系。在此，实际上可观察的是，模糊的图像的像素值为p’(i，j)，需要用那种方法来计算不模糊的图像的像素值p(i，j)。
若对所有的像素书写上述式(11)并排列，则变成下式(12)。
p ′ ( 1,2 ) = Σ l = - n l = n Σ m = - n m = n h ( l , m ) × p ( 1 + l , 2 + m )
…
p ′ ( 1 , N n ) = Σ l = - n l = n Σ m = - n m = n h ( l , m ) × p ( 1 + l , N n + m )
p ′ ( 2 , N n ) = Σ l = - n l = n Σ m = - n m = n h ( l , m ) × p ( 2 + l , N n + m )
…
p ′ ( N y , N n ) = Σ l = - n l = n Σ m = - n m = n h ( l , m ) × p ( N y + l , N n + m ) - - - - ( 12 )
总结上述式并以矩阵表现，变成以下式(13)。在此，P是以光栅扫描顺序使原图像一维化(一元化)而得到的。
P’＝H×P…(13)
若H的逆矩阵H-1存在，则通过计算P＝H-1×P’，可以从已退化的图像P’求出无退化的图像P，但一般，H的逆矩阵不存在。对于逆矩阵不存在的矩阵，存在称作广义逆矩阵或模拟逆矩阵的矩阵。在下式(14)中示出了广义逆矩阵的例子。
H*＝(Ht·H+γ·I)-1·H1…(14)
在此，H*是H的广义逆矩阵，Ht是H的转置矩阵，γ是标量，I是与Ht·H相同大小的单位矩阵。通过使用H*计算下式(15)，而能够根据所观察的手抖动图像P’得到校正了手抖动的图像P。γ是调整校正的强度(图像复原强度)的参数(正则化系数)。若γ较小则变成强的校正处理，若γ较大则变成弱的校正处理。
P＝H*×P’…(15)
在将图像尺寸作为640×480时，上述式(15)的P变成307、200×1的矩阵，H*变成307、200×307、200的矩阵。由于变成这种非常大的矩阵，因此直接使用上述式(14)、(15)是不实用的。因此，可以由以下的方法使在计算中使用的矩阵的大小变小。
首先，在上述式(15)中，将成为P的原图像的图像的大小作成63×63等、较小的尺寸。若是63×63的图像，则P变成3969×1的矩阵，H*变成3969×3969的矩阵。H*是将图像整体变换为校正模糊图像整体后的图像整体的矩阵，H*的各行与P的积相当于进行各个像素的校正的运算。H*的正中间的行与P的积相当于63×63像素的原图像的、对正中间的像素的校正。P是使原图像以光栅扫描顺序一维化而得到的，相反地，通过由反光栅扫描使H*的正中间的行2维化，而能够构成63×63的尺寸的空间滤波器。由此构成的空间滤波器称作广义逆滤波器。通过将由此作成的实用的尺寸的空间滤波器依次适用在较大的图像整体的各个像素中，可以校正模糊图像。
(3)图像复原处理部40
图像复原处理部40，如图1所示，具备：用于去除噪声的滤波电路41；和用于利用图像复原滤波器进行图像复原的滤波电路42。滤波电路41，利用中值滤波器进行滤波处理。
在手抖动校正模式为第1模式时，手抖动图像(v_tebre)通过相机并经由选择器72发送到滤波电路41中，进行利用中值滤波器的滤波处理，并去除噪声。由滤波电路41得到的图像，发送到由图像复原滤波器计算部30设置滤波器系数的滤波电路42中。在滤波电路42中，进行使用图像复原滤波器的滤波处理，从手抖动图像(v_tebre)开始复原校正手抖动后的图像。由滤波电路42得到的手抖动校正图像(v_fukugen)，发送到振铃去除处理部50内的加权平均处理部53中。
(4)振铃去除处理部50
振铃去除处理部50，如图1所示，具备边缘强度计算部51、加权平均系数计算部52及加权平均处理部53。
在手抖动校正模式为第1模式时，由相机摄影的图像v_tebre，经由选择器72也发送到边缘强度计算部51及加权平均处理部53。在边缘强度计算部51中，对每个像素计算出边缘强度。对边缘强度的计算方法进行说明。
如图8所示，假设以注目像素v22为中心的3×3的区域。对于注目像素v22，计算水平边缘成分dh和垂直边缘成分dv。对于边缘成分的计算，例如使用图9所示的Prewitt的边缘提取算子。图9(a)示出了水平边缘提取算子，图9(b)示出了垂直边缘提取算子。
水平边缘成分dh及垂直边缘成分dv，由下式(16)、(17)来求出。
dh＝v11+v12+v13-v31-v32-v33…(16)
dv＝v11+v21+v31-v13-v23-v33…(17)
接着，根据水平边缘成分dh及垂直边缘成分dv，基于下式(18)计算注目像素v22的边缘强度v_edge。
v_edge＝sqrt(dh×dh+dv×dv)…(18)
此外，作为注目像素v22的边缘强度v_edge，也可以使用abs(dh+abs(dv)。另外，对于由此而得到的边缘强度图像，还可以进一步使用3×3的噪声去除滤波器。
由边缘强度计算部51计算出的各个像素的边缘强度v_edge被付与加权平均系数计算部52。加权平均系数计算部52，基于下式(19)计算各个像素的加权平均系数k。
Ifv_edge＞Eth then k＝1
Ifv_edge≤Eth then k＝v_edge/Eth…(19)
Eth是用于调整振铃去除强度的参数。v_edge和加权平均系数k之间的关系成为如图10所示的关系。
由加权平均系数计算部52计算出的各个像素的加权平均系数k被付与加权平均处理部53。若将由图像复原处理部40得到的手抖动校正图像(v_fukugen)的像素值作为像素值(v_fukugen)，将由相机摄像的手抖动图像(v_tebre)的像素值作为像素值(v_tebre)，则加权平均处理部53，通过进行由下式(20)表示的计算，而对手抖动校正图像(v_fukugen)的像素值(v_fukugen)和手抖动图像(v_tebre)的像素值(v_tebre)进行加权平均。
v＝k×v_fukugen+(1-k)×v_tebre…(20)
即，对于边缘强度v_edge大于阈值Eth的像素，与其位置相对应的复原图像的振铃不显著，因此由图像复原处理部40得到的手抖动校正图像(v_fukugen)的像素值(v_fukugen)被原封不动地输出。对于边缘强度v_edge为阈值Eth以下的像素，边缘强度v_edge越小，则手抖动校正图像(v_fukugen)的振铃越显著，因此使复原图像的程度变弱，使手抖动图像(v_tebre)的程度变强。
若使阈值Eth变大，则手抖动图像(v_tebre)的比率增加，因此手抖动校正效果降低，但振铃去除强度变高。相反地，若使阈值Eth变小，则手抖动校正图像(v_fukugen)的比率增加，因此提高手抖动校正效果，但振铃去除强度降低。
(5)反锐化掩蔽处理部60
所谓的反锐化掩蔽是进行边缘增强的图像处理方法。在手抖动校正模式为第1模式时，由振铃去除处理部50施加振铃去除处理的图像被输入到反锐化掩蔽处理部60。在手抖动校正模式为第2模式时，由相机摄影的手抖动图像(v_tebre)，经由选择器72被输入到反锐化掩蔽处理部60。
将被输入到反锐化掩蔽处理部60中的图像称作原图像。反锐化掩蔽处理部60，首先通过利用高斯滤波器(Gaussian filter)使原图像平滑化而生成平滑化图像，取得原图像和平滑化图像的差分，通过将校正强度参数与该差分相乘而得到边缘强度图像。并且，通过向原图像添加边缘强度图像，而得到增强边缘的图像。
若原图像为I，由反锐化掩蔽处理得到的图像作为I’，则I’由以下式(21)来表示。
I’＝I+K(I-G(I))…(21)
在上述式(21)中，G(I)为原图像的平滑化图像，K为校正强度参数。
利用高斯滤波器进行平滑化后的图像G(I)，通过对原图像I(x，y)，进行下式(22)中表示的平均为0、方差为σ2的2维高斯函数的卷积来求得。
F ( x , y ) = 1 2 πσ 2 e x 2 + y 2 2 σ 2 - - - - ( 22 )
即，G(I)由以下式(23)来表示。
G(I)＝F(x，y)*I(x，y)
    ＝∫∫F(x+u，y+v)·I(x，y)dudv…(23)
在上述式(23)中，符号*表示卷积。表示方差的参数σ成为调整参数。
(6)手抖动校正模式判定部71
图11示出了，由手抖动校正模式判定部71进行的校正模式判定处理步骤。
手抖动校正模式判定部71，基于由手抖动信号/移动矢量变换处理部31得到的移动矢量、和由移动矢量/手抖动函数变换处理部32生成的PSF，判定手抖动校正模式。
首先，基于由手抖动信号/移动矢量变换处理部31得到的移动矢量的大小，进行手抖动的速度变化状态的判定处理(步骤S21)。即，判定手抖动的速度变化状态为等速或不等速(加减、减速或加减速)。
如上所述，摄影中的移动矢量，仅得到从传感器得到的角速度数据的数目(采样点的数目)。在该实施例中，基于摄影中的移动矢量的大小的变化范围Va是否小于规定的阈值Vth，来判定手抖动的速度变化状态为等速或不等速。
如图12所示，在摄影中的移动矢量的大小的变化范围Va，小于规定的阈值Vth时，判定为手抖动的速度变化状态为等速。如图13所示，在摄影中的移动矢量的大小的变化范围Va为规定的阈值Vth以上时，判定为手抖动的速度变化状态为不等速。
在判定为手抖动的速度变化状态为等速时，将在后述的手抖动的大小判定中作为阈值来使用的可校正手抖动大小Sth2设定为Sthc，将在手抖动函数/广义逆滤波器变换处理部33中使用并且调整手抖动校正强度(图像复原强度)的参数(正则化系数)γ(参照上述式(14))设定为γc，将在振铃去除处理部50中使用的用于调整振铃去除强度的参数Eth设定为Ethc(步骤S22)。并且，进入步骤S24。
在判定为手抖动的速度变化状态为不等速时，将可校正手抖动大小Sth2设定为大于Sthc的Stha，将调整手抖动校正强度(图像复原强度)的参数γ(参照上述式(14))设定为小于γc的γa，将用于调整振铃去除强度的参数Eth设定为小于Ethc的Etha(步骤S23)。
并且，进入步骤S24。这些参数被设定为，例如Sthc＝17[pixel]、Stha＝25[pixel]、γc＝0.07、γa＝0.05、Ethc＝64、Etha＝32。
即，在等速状态下，若手抖动大小变大，则由于通过图像复原滤波器难以复原图像，因此使可校正手抖动大小Sth2变小。还有，在等速状态下，通过进行图像复原处理引起的不良影响变大，因此为了使手抖动校正强度变弱，而使正则化系数γ变大。还有，在等速状态下进行图像复原处理时振铃变大，因此为了增大振铃去除强度，而使Eth变大。
在步骤S24中，基于由手抖动信号/移动矢量变换处理部31得到的移动矢量方向，进行手抖动轨迹的形状的判定处理。即，判定手动轨迹的形状为直线形状还是复杂形状。
在该实施例中，将摄影中的时间上相邻的移动矢量的方向的变化(移动矢量的角度变化)与规定的阈值θth进行比较，并基于是否存在规定的阈值θth以上的移动矢量的方向变化，判定手抖动的轨迹的形状为直线形状还是复杂形状。
如图14所示，在摄影中的时间上相邻的所有的移动矢量的方向变化(θ1～θ4)，小于阈值θth时，判定手抖动的轨迹的形状为直线形状。如图15所示，在摄影中在时间上相邻的移动矢量的方向变化(θ1～θ4)之中，如θ2、θ3那样，阈值θth以上的移动矢量的方向变化存在一个以上时，判定手抖动的轨迹的形状为复杂形状。
在判定手抖动的轨迹的形状为直线形状时，置位标记F(F＝1)之后(步骤S25)，进入步骤S27。在判定手抖动的轨迹的形状为复杂形状时，复位标记F(F＝0)之后(步骤S26)，进入步骤S27。
在步骤S27中，基于由移动矢量/手抖动函数变换处理部32生成的PSF，将手抖动的大小(手抖动量)进行分类。
参照图16，说明手抖动的大小(手抖动量)的计算方法。首先，求出包含所有的PSF图像的有效像素(像素值不为0的像素)的外接长方形。其次，基于该外接长方形的高度h〔像素〕与宽度w〔像素〕，求出对角线的长度Sz〔像素〕，作为手抖动的大小(手抖动量)。
在步骤S27中，具体而言，根据PSF求出手抖动的大小(手抖动量)Sz，判定求出的手抖动的大小Sz是否在Sz≤Sth1、Sth1＜Sz≤Sth2、Sz＞Sth2中的任一范围内。
在此，Sth1为预先设定的阈值，Sth2为由上述步骤S22或S23设定的阈值Sthc或Stha。并且，Sth1的值小于Sth2。
在判定为手抖动的大小Sz在Sth1＜Sz≤Sth2范围内时，判定标记F是否被置位(F＝1)(步骤S28)。在标记F被置位时，即，在判定为手抖动轨迹的形状为直线形状时，将校正模式设定为第1模式(进行使用复原滤波器的图像复原处理、振铃去除处理以及反锐化掩蔽处理的模式)(步骤S29)。在标记F没有被置位时，即，判定为手抖动轨迹的形状为复杂形状时，将校正模式设定为第3模式(不进行任何校正的模式)(步骤S30)。
在上述步骤S27中，在手抖动的大小Sz被判定为Sz≤Sth1时，将校正模式设定为第2模式(只进行反锐化掩蔽处理的模式)(步骤S31)。在上述步骤S27中，在手抖动大小Sz被判定为Sz＞Sth2时，将校正模式设定为第3模式(不进行任何校正的模式)(步骤S30)。
根据上述实施例，在手抖动的大小大于Sth2时，不进行手抖动校正，手抖动图像(v_tebre)原封不动地被输出。在手抖动大小为Sth1以下时，通过反锐化掩蔽处理部60对手抖动图像(v_tebre)进行边缘增强处理而被输出。在手抖动的大小大于Sth1且在Sth2以下，并且手抖动的轨迹的形状为复杂形状时，不进行手抖动校正，手抖动图像(v_tebre)原封不动地被输出。
在手抖动的大小大于Sth1且在STh2以下，并且手抖动的轨迹的形状为直线形状时，对于手抖动图像(v_tebre)进行基于图像复原处理部40的图像复原处理、基于振铃去除处理部50的振铃去除处理以及基于反锐化掩蔽处理部60的边缘增强处理之后，进行输出。此时，在移动矢量的速度变化状态为等速时，与移动矢量的速度变化状态为不等速时相比，基于图像复原处理部40的校正强度变弱的同时，基于振铃去除处理部50的振铃去除强度变强。
从而，根据上述实施例，根据移动矢量的速度变化状态、手抖动的轨迹的形状以及手抖动的大小，可以进行适于其的手抖动校正。
(其他的实施方式)
本发明通过上述实施方式进行了说明，然而不应理解为本发明公开的一部分的论述及图，限定了本发明。通过该公示，本技术领域的人员可明确各种代替实施方式、实施例以及运用技术。
例如，也可以省略在图11的步骤S24中进行的手抖动的轨迹的形状判定。此时，也省略步骤S25、S26、S28的处理。从而，通过步骤S27，判定手抖动大小Sz在Sth1＜Sz≤Sth2范围内时，校正模式被设定为第1模式。
还有，也可以不省略图11的步骤S24的处理，而省略图11的步骤S21的手抖动的速度的变化状态的判定。还有，也可以省略图11的步骤S24的处理的同时，省略图11的步骤S21的手抖动速度的变化状态的判定。
还有，在上述的实施方式中，第1模式包含图像复原处理、振铃去除处理以及边缘增强处理，然而第1模式并不限于此。具体而言，第1模式，也可以只包含图像复原处理以及振铃去除处理，也可以只包含图像复原处理。

Claims (6)

1、一种手抖动校正装置，具备：图像复原处理部，其利用基于手抖动信息而生成的图像复原滤波器，来进行校正被包含在输入图像中的手抖动；和边缘增强处理部，其进行增强所述输入图像的边缘的边缘增强处理，
所述手抖动校正装置具备校正模式决定部，其基于根据所述手抖动信息生成的所述手抖动的大小，决定校正所述输入图像的手抖动校正模式，
所述手抖动校正模式，包括：进行所述图像复原处理的第1模式；进行所述边缘增强处理的第2模式；和所述图像复原处理及所述边缘增强处理都不进行的第3模式。
2、根据权利要求1所述的手抖动校正装置，其特征在于，
所述第1模式，是进行所述图像复原处理之后，进行所述边缘增强处理的所述手抖动校正模式，
所述第2模式，是不进行所述图像复原处理，而进行所述边缘增强处理的所述手抖动校正模式。
3、根据权利要求1所述的手抖动校正装置，其特征在于，
所述校正模式决定部，除了根据所述手抖动信息生成的所述手抖动的大小以外，还基于轨迹信息，决定所述手抖动校正模式，所述轨迹信息表示根据所述手抖动信息生成的所述手抖动的轨迹。
4、根据权利要求1所述的手抖动校正装置，其特征在于，
所述校正模式决定部，基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，而控制采用所述图像复原滤波器校正所述手抖动的强度。
5、根据权利要求1所述的手抖动校正装置，其特征在于，
还具备振铃去除部，其进行去除包含在手抖动校正图像中的振铃的振铃去除处理，所述手抖动校正图像是由所述图像复原处理部校正所述手抖动的图像，
所述第1模式，是在进行所述图像复原处理之后，进行所述振铃去除处理的所述手抖动校正模式，
所述第3模式，是不进行所述图像复原处理及所述边缘增强处理、和所述振铃去除处理中的任一处理的所述手抖动校正模式，
所述校正模式决定部，基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，而控制去除所述振铃的强度。
6、根据权利要求1所述的手抖动校正装置，其特征在于，
所述校正模式决定部，
将所述手抖动的大小与规定的阈值进行比较，决定所述手抖动校正模式，
基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，控制所述规定的阈值。
CN2006100848016A 2005-05-26 2006-05-22 手抖动校正装置 Expired - Fee Related CN1870715B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005153759A JP4152398B2 (ja) 2005-05-26 2005-05-26 手ぶれ補正装置
JP2005-153759 2005-05-26
JP2005153759 2005-05-26

Publications (2)

Publication Number Publication Date
CN1870715A true CN1870715A (zh) 2006-11-29
CN1870715B CN1870715B (zh) 2012-10-24

Family

ID=37444257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100848016A Expired - Fee Related CN1870715B (zh) 2005-05-26 2006-05-22 手抖动校正装置

Country Status (3)

Country Link
US (1) US7574122B2 (zh)
JP (1) JP4152398B2 (zh)
CN (1) CN1870715B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969533A (zh) * 2010-09-08 2011-02-09 中兴通讯股份有限公司 一种移动终端摄像头的防抖方法及装置
CN101093288B (zh) * 2006-06-19 2012-07-18 三星电子株式会社 用于数码相机的手抖动校正模块
CN106210505A (zh) * 2015-05-29 2016-12-07 三星电机株式会社 图像校正电路、图像校正方法及相机模块
JP2018185357A (ja) * 2017-04-24 2018-11-22 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置
CN110475067A (zh) * 2019-08-26 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US10542217B2 (en) 2015-11-26 2020-01-21 Sony Semiconductor Solutions Corporation Shooting device and shooting method to suppress blur in an image

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4307430B2 (ja) * 2005-09-22 2009-08-05 三洋電機株式会社 手ぶれ検出装置
JP4848231B2 (ja) * 2006-09-01 2011-12-28 富士フイルム株式会社 画像修復方法、画像修復プログラム、及び、画像修復装置
US7961976B2 (en) * 2006-09-01 2011-06-14 Fujifilm Corporation Image data restoration apparatus, imaging apparatus, image data restoration method and computer readable medium storing image data restoration program
US20080100716A1 (en) * 2006-11-01 2008-05-01 Guoyi Fu Estimating A Point Spread Function Of A Blurred Digital Image Using Gyro Data
US20090027544A1 (en) * 2007-07-25 2009-01-29 Micron Technology, Inc. Solid state optical motion compensation
JP4930638B2 (ja) 2008-05-30 2012-05-16 富士通株式会社 画像補正装置および画像補正方法
WO2009150696A1 (ja) * 2008-06-10 2009-12-17 富士通株式会社 画像補正装置および画像補正方法
JP5013491B2 (ja) * 2009-02-17 2012-08-29 ソーバル株式会社 画像処理装置、画像処理方法、記録媒体
JP5523231B2 (ja) * 2010-07-16 2014-06-18 オリンパス株式会社 撮像装置
US9007428B2 (en) 2011-06-01 2015-04-14 Apple Inc. Motion-based image stitching
US8896713B2 (en) 2011-08-15 2014-11-25 Apple Inc. Motion-based video stabilization
US8913140B2 (en) 2011-08-15 2014-12-16 Apple Inc. Rolling shutter reduction based on motion sensors
US8786716B2 (en) 2011-08-15 2014-07-22 Apple Inc. Rolling shutter reduction based on motion sensors
EP2733922B1 (en) * 2012-11-16 2018-03-28 BlackBerry Limited Adapting an optical image stabilizer on a camera
US9124805B2 (en) * 2012-11-16 2015-09-01 Blackberry Limited Adapting an optical image stabilizer on a camera
KR101883481B1 (ko) * 2013-07-12 2018-07-31 한화에어로스페이스 주식회사 영상 안정화 장치 및 방법
WO2015015966A1 (ja) 2013-08-01 2015-02-05 富士フイルム株式会社 撮像装置、撮像方法及び画像処理装置
JP5992634B2 (ja) 2013-10-31 2016-09-14 富士フイルム株式会社 信号処理装置、撮像装置、パラメータ生成方法、信号処理方法及びプログラム
JP5992633B2 (ja) * 2013-10-31 2016-09-14 富士フイルム株式会社 画像処理装置及び撮像装置
CN103839233B (zh) * 2014-01-20 2017-05-10 左旺孟 一种相机抖动造成的模糊图像复原方法
WO2015122163A1 (ja) * 2014-02-14 2015-08-20 日本電気株式会社 映像処理システム
CN106165390B (zh) 2014-03-28 2019-06-28 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法
US9513456B2 (en) * 2014-06-20 2016-12-06 Texas Instruments Incorporated Lens driver circuit with ringing compensation
US10158808B2 (en) 2014-07-02 2018-12-18 Sony Corporation Zoom control device, zoom control method, and program
CN106664362B (zh) 2014-07-02 2019-08-27 索尼公司 图像处理装置、图像处理方法和计算机可读介质
US10979559B2 (en) 2015-05-01 2021-04-13 Vyng, Inc. Management of calls on mobile computing devices based on call participants
US10938984B2 (en) 2015-05-01 2021-03-02 Vyng, Inc. Management of media content associated with ending a call on mobile computing devices
US11381679B2 (en) 2015-05-01 2022-07-05 Vyng, Inc. Management of media content associated with call context on mobile computing devices
US11394821B2 (en) 2015-05-01 2022-07-19 Vyng Inc. Curated search of entities from dial pad selections
US10979558B2 (en) 2015-05-01 2021-04-13 Vyng, Inc. Management of media content associated with time-sensitive offers on mobile computing devices
US11394824B2 (en) 2015-05-01 2022-07-19 Vyng Inc. Adjusting presentation on smart phone lockscreen of visual content associated with metadata of incoming call
US11394823B2 (en) 2015-05-01 2022-07-19 Vyng Inc. Configuring business application for utilization of sender controlled media service
US11368575B2 (en) 2015-05-01 2022-06-21 Vyng, Inc. Management of calls and media content associated with a caller on mobile computing devices
US10944863B2 (en) 2015-05-01 2021-03-09 Vyng, Inc. Management of media content derived from natural language processing on mobile computing devices
US10931819B2 (en) 2015-05-01 2021-02-23 Vyng, Inc. Management of media content associated with a user of a mobile computing device
US10965809B2 (en) 2015-05-01 2021-03-30 Vyng, Inc. Management of media content associated with a call participant on mobile computing devices
US10951755B2 (en) 2015-05-01 2021-03-16 Vyng, Inc. Management of media content for caller IDs on mobile computing devices
US11451659B2 (en) 2015-05-01 2022-09-20 Vyng Inc. Dynamic rewardable activity value determination and allocation
US11394822B2 (en) 2015-05-01 2022-07-19 Vyng Inc. Incentivising answering call in smartphone lockscreen
KR101596203B1 (ko) * 2015-06-16 2016-02-22 중앙대학교 산학협력단 모션 블러 이미지 복원 방법 및 장치
US10506163B2 (en) * 2016-06-10 2019-12-10 Invensense, Inc. Systems and methods for synchronizing sensor data
US9922398B1 (en) 2016-06-30 2018-03-20 Gopro, Inc. Systems and methods for generating stabilized visual content using spherical visual content
US10587807B2 (en) 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
US10750092B2 (en) 2018-09-19 2020-08-18 Gopro, Inc. Systems and methods for stabilizing videos
US11363188B2 (en) * 2020-06-17 2022-06-14 Microsoft Technology Licensing, Llc Motion-based operation of imaging devices

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3401301B2 (ja) * 1993-10-13 2003-04-28 ペンタックス株式会社 カメラの像ブレ補正装置
JP4154053B2 (ja) * 1998-12-25 2008-09-24 キヤノン株式会社 画像記録・再生システム、画像記録装置及び画像再生装置
TWI360017B (en) * 2004-03-08 2012-03-11 Hoya Corp Anti-shake apparatus
JP2005298300A (ja) 2004-04-15 2005-10-27 Seiko Epson Corp 水素改質装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093288B (zh) * 2006-06-19 2012-07-18 三星电子株式会社 用于数码相机的手抖动校正模块
CN101969533A (zh) * 2010-09-08 2011-02-09 中兴通讯股份有限公司 一种移动终端摄像头的防抖方法及装置
CN106210505A (zh) * 2015-05-29 2016-12-07 三星电机株式会社 图像校正电路、图像校正方法及相机模块
US10542217B2 (en) 2015-11-26 2020-01-21 Sony Semiconductor Solutions Corporation Shooting device and shooting method to suppress blur in an image
JP2018185357A (ja) * 2017-04-24 2018-11-22 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置
JP7058945B2 (ja) 2017-04-24 2022-04-25 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置
CN110475067A (zh) * 2019-08-26 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110475067B (zh) * 2019-08-26 2022-01-18 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN1870715B (zh) 2012-10-24
JP2006333061A (ja) 2006-12-07
US7574122B2 (en) 2009-08-11
US20060291841A1 (en) 2006-12-28
JP4152398B2 (ja) 2008-09-17

Similar Documents

Publication Publication Date Title
CN1870715A (zh) 手抖动校正装置
CN1783939A (zh) 振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体
CN1315099C (zh) 图像处理方法和设备、压缩图像信号的方法和解压方法
KR101692401B1 (ko) 영상 처리 방법 및 장치
CN1305010C (zh) 在考虑其噪声的情况下改变数字图像的方法和系统
CN100345160C (zh) 一种控制平均亮度的直方图均衡方法
CN1742483A (zh) 图像处理装置和方法、记录介质和程序
KR101643613B1 (ko) 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체
CN1114888C (zh) 图像处理方法、设备和系统
CN1701595A (zh) 图象摄影处理方法及图象摄影装置
CN1750601A (zh) 图像传感设备和及其控制方法
CN1180627C (zh) 图像编码/解码方法,图像编码装置和图像解码装置
CN1735135A (zh) 分辨率转换设备和方法
CN1645914A (zh) 图像处理方法、图像处理装置及其使用的计算机程序
CN1756299A (zh) 用于处理运动图像的设备和方法以及计算机程序产品
CN1871847A (zh) 信号处理系统、信号处理方法以及信号处理程序
CN1878246A (zh) 图像处理装置和图像拍摄装置
CN1857008A (zh) 图像处理方法
CN1838737A (zh) 帧速率变换装置、摇摄·倾斜判断装置及视频装置
CN101035300A (zh) 一种图像增强方法及装置
CN1804682A (zh) 模糊校正方法及摄像装置
JP2009020844A (ja) 画像データ処理方法および撮像装置
CN1806449A (zh) 图像处理设备、图像处理方法和计算机程序
CN100336078C (zh) 图象信号处理装置和方法、及一起使用的程序和记录介质
JP2007096437A (ja) 画像生成者の意図の判定

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: XACTI CO., LTD.

Free format text: FORMER OWNER: SANYO ELECTRIC CO., LTD.

Effective date: 20140825

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140825

Address after: Japan Osaka

Patentee after: Hyun Hyun Lee

Address before: Japan Osaka

Patentee before: Sanyo Electric Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121024

Termination date: 20150522

EXPY Termination of patent right or utility model