CN101356802B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN101356802B
CN101356802B CN2007800011288A CN200780001128A CN101356802B CN 101356802 B CN101356802 B CN 101356802B CN 2007800011288 A CN2007800011288 A CN 2007800011288A CN 200780001128 A CN200780001128 A CN 200780001128A CN 101356802 B CN101356802 B CN 101356802B
Authority
CN
China
Prior art keywords
image
unit
jitter correction
exposure image
short time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800011288A
Other languages
English (en)
Other versions
CN101356802A (zh
Inventor
中嶋俊幸
西泽真人
三宅一永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101356802A publication Critical patent/CN101356802A/zh
Application granted granted Critical
Publication of CN101356802B publication Critical patent/CN101356802B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了能够实现比以往更加小型化且低成本的摄像装置。摄像装置(3)包括：摄像元件(12)，通过透镜(11)对成像于光接收面上的图像进行摄像；抖动校正单元(13)，基于由摄像元件(12)以不同的曝光时间进行摄像的至少两张图像，校正图像的抖动；输出单元(14)，输出抖动校正后的图像，即抖动校正图像，抖动校正单元(13)包括：正常曝光图像取得单元(21)，使摄像元件(12)曝光正常曝光时间，从而取得正常曝光图像(ia)；短时间曝光图像取得单元(22)，使摄像元件(12)曝光比正常曝光时间短的时间，从而取得短时间曝光图像(is)；抖动校正轨迹计算单元(23)，计算对于正常曝光图像(ia)的抖动校正轨迹；以及抖动校正图像生成单元(24)，基于正常曝光图像(ia)和抖动校正轨迹，生成抖动校正图像(ic)。

Description

摄像装置
技术领域
本发明涉及例如在使用固体摄像元件对被摄体进行摄像时校正因抖动而产生的被摄体图像的模糊的摄像装置。
背景技术
以往，作为这种摄像装置，已知例如专利文献1中所公开的装置。专利文献1中所公开的装置包括：对被摄体进行摄像的摄像元件；装载摄像元件的工作台(stage)；驱动工作台的音圈(voice coil)电机；用于检测被摄体图像中产生的抖动量的角速度传感器，根据角速度传感器检测出的抖动量，由音圈电机驱动装载了摄像元件的工作台，从而能够抑制因抖动而产生的被摄体图像的模糊。
专利文献1：特开2005-184122号公报
发明内容
发明要解决的课题
但是，专利文献1中所公开的装置是，为了检测抖动量而使包含角速度传感器、工作台及音圈电机等的专用装置内置于主体中的结构，因此存在难以实现小型化以及低成本的课题。因此，专利文献1中所公开的装置无法装载在期望更加廉价且小型轻量化的数字照相机或便携式电话用照相机中。
本发明为了解决以往的课题而完成，其目的在于提供能够实现比以往的装置更加小型化且低成本的摄像装置。
解决课题的方案
本发明的摄像装置包括：摄像元件，对成像于光接收面上的图像进行摄像；抖动校正单元，基于由所述摄像元件以不同的曝光时间进行了摄像的至少两张图像而校正图像的抖动；以及输出单元，输出抖动校正后的图像、即抖动校正图像，所述抖动校正单元包括：正常曝光图像取得单元，使所述摄像元件曝光正常曝光时间，从而取得正常曝光图像；短时间曝光图像取得单元，使所述摄像元件曝光比所述正常曝光时间短的时间，取得短时间曝光图像；抖动校正轨迹计算单元，基于所述正常曝光图像和所述短时间曝光图像，计算对于所述正常曝光图像的抖动校正轨迹；以及抖动校正图像生成单元，基于所述正常曝光图像和所述抖动校正轨迹，生成抖动校正图像。
本发明的另一种摄像装置，包括：摄像元件，对成像在光接收面上的图像进行摄像；抖动校正单元，基于由所述摄像元件以不同的曝光时间摄像的至少两张图像而校正图像的抖动；以及输出单元，输出作为抖动校正后的图像的抖动校正图像，其特征在于，所述抖动校正单元包括：短时间曝光图像取得单元，将所述摄像元件曝光规定的短时间，从而取得多个短时间曝光图像；抖动校正轨迹计算单元，基于所述多个短时间曝光图像，计算以某个短时间曝光图像为对象的抖动校正轨迹；以及抖动校正图像生成单元，基于已成为所述对象的短时间曝光图像和所述抖动校正轨迹，生成抖动校正图像。
发明效果
本发明能够提供具有可实现比以往的装置更加小型化且低成本的效果的摄像装置。
附图说明
图1是本发明的第1实施方式的摄像装置的方框图。
图2是表示本发明的摄像装置的硬件结构的方框图。
图3是本发明的摄像装置的CPU所执行的抖动校正程序的流程图。
图4是本发明的摄像装置的CPU所执行的第1抖动校正程序的流程图。
图5是本发明的摄像装置的CPU所执行的抖动校正轨迹计算程序的流程图。
图6是本发明的摄像装置的CPU所执行的抖动校正图像生成程序的流程图。
图7是本发明的第2实施方式的摄像装置的方框图。
图8是本发明的摄像装置的CPU所执行的第2抖动校正程序的流程图。
图9是本发明的第3实施方式的摄像装置的方框图。
图10是表示本发明的第3实施方式的摄像装置的动作的流程图。
图11是表示在本发明的第3实施方式的摄像装置中，读出高频区域及全像素区域的摄像数据的例子的图，图11的(a)是表示读出高频区域的摄像数据的例子的图，图11的(b)是表示读出全像素区域的摄像数据的例子的图。
图12是本发明的第4实施方式的摄像装置的方框图。
图13是表示本发明的第4实施方式的摄像装置的动作的流程图。
图14是本发明的第5实施方式的摄像装置的方框图。
图15是用于说明构成本发明的第5实施方式的摄像装置的抖动轨迹线径化单元的概念图。
图16是表示本发明的第5实施方式的摄像装置的动作的流程图。
图17是表示本发明的第5实施方式的摄像装置的线径化动作的流程图。
图18是本发明的第6实施方式的摄像装置的方框图。
图19是表示本发明的第6实施方式的摄像装置的动作的流程图。
图20是表示本发明的第6实施方式的摄像装置的抖动量计算动作的流程图。
标号说明
1、2、3、4、5、6摄像装置
11、61透镜
12摄像元件
13抖动校正单元
14输出单元
21正常曝光图像取得单元
22短时间曝光图像取得单元
23抖动校正轨迹计算单元
24抖动校正图像生成单元
31驱动单元
32记录单元
33显示单元
34指针单元
35微处理器单元
41图像信号读I/F
42控制指令输出I/F
43 CPU
44图像信号输出I/F
45存储器
46操作指令读入I/F
51噪音消除单元
62摄像单元(短时间曝光图像取得单元，正常曝光图像取得单元)
62a图像传感器(摄像元件)
62b电子快门
63快门按钮
64记录装置(输出单元)
65显示装置(输出单元)
70、90、110、130图像处理装置
71、131 ADC
72模式设定单元(短时间曝光图像取得单元，正常曝光图像取得单元，像素重置单元)
73、133高频区域检测单元
74、134存储器单元
74a短曝光用存储器
74b正常曝光用存储器
75、136抖动轨迹计算单元
76、137抖动校正单元
77、138信号处理单元
80全像素区域
81高频区域
82、83低频区域
95图像缩小单元
96缩小图像校正单元
97差分图像计算单元
98差分图像放大加法单元
115抖动轨迹线径化单元
132模式设定单元(短时间曝光图像取得单元)
134a第1存储器
134b第2存储器
134c累积用存储器
135向量检测单元
138信号处理单元
具体实施方式
以下，使用附图说明本发明的实施方式的带有抖动校正功能的摄像装置。
另外，在本说明书中，“抖动校正轨迹”是“频域抖动校正轨迹”和“时域抖动校正轨迹”的总称。
(第1实施方式)
如图1的方框图所示，本发明的第1实施方式的带有抖动校正功能的摄像装置1包括：摄像元件12，通过透镜11对成像在光接收面上的图像进行摄像；抖动校正单元13，基于由摄像元件12以不同的曝光时间进行了摄像的至少两张图像而校正图像的抖动；以及输出单元14，输出抖动校正后的图像——抖动校正图像。
并且，抖动校正单元13包括：正常曝光图像取得单元21，使摄像元件12曝光由正常的摄像条件所决定的正常曝光时间，从而取得正常曝光图像ia；短时间曝光图像取得单元22，使摄像元件12曝光比正常曝光时间短的时间，从而得到短时间曝光图像is；抖动校正轨迹计算单元23，基于正常曝光图像ia和短时间曝光图像is，计算对于正常曝光图像ia的抖动校正轨迹；以及抖动校正图像生成单元24，基于正常曝光图像ia和抖动校正轨迹，生成抖动校正图像ic。
图2是表示本发明的带有抖动校正功能的摄像装置1的硬件结构的方框图，由形成被摄体OJ的光学图像的透镜11、光学图像成像的摄像元件12、控制摄像元件12的驱动单元31、记录所摄像的图像的记录单元32、显示所摄像的图像的显示单元33、输入操作指令的指针(pointing)单元34、控制摄像装置1的微处理器单元35构成。另外，记录单元32或显示单元33构成本发明的输出单元。
并且，微处理器单元35包括：图像信号读入接口(I/F)41，读入从摄像元件12输出的图像信号；控制指令输出I/F42，将控制指令输出到驱动单元31；执行处理的CPU43；图像信号输出I/F44，将图像信号输出到记录单元32及显示单元33；存储器45，记录处理程序；操作指令读入I/F46，从指针单元34读入操作指令。
即，通过将抖动校正程序加载到微处理单元35的存储器45中，从而可以将抖动校正功能装入摄像装置1中。
图3是抖动校正程序的流程图，首先，CPU43执行抖动校正程序(步骤S11)，然后将抖动校正图像ic输出到记录单元32及显示单元33(步骤S12)，从而结束该程序。
图4是在步骤S11中所执行的第1抖动校正程序的流程图，首先，CPU43取得以比正常曝光时间短的曝光时间进行了摄像的短时间曝光图像is(步骤S21)，然后CPU43取得以正常曝光时间进行了摄像的正常曝光图像ia(步骤S22)。取得顺序也可以是ia、is的顺序。
另外，短时间曝光图像is及正常曝光图像ia是，使用机械快门或电子快门进行了摄像的短时间曝光图像及正常曝光图像由摄像元件12变换为图像信号后，经由图像信号读入I/F41作为数字数据读入的图像。
然后，CPU43计算抖动校正轨迹(步骤S23)，生成抖动校正图像ic(步骤S24)，详细内容将在后面叙述。
图5是CPU43在步骤S23中执行的抖动校正轨迹计算程序的流程图，首先CPU43对短时间曝光图像is进行傅立叶变换，从而生成频域短时间曝光图像Is(步骤S31)。即，在短时间曝光图像is和频域短时间曝光图像Is之间，[算式1]成立。
[算式1]
Is＝F(is)
其中，F(x)是x的傅立叶变换。
接着，CPU43对正常曝光图像ia进行傅立叶变换，从而生成频域正常曝光图像Ia(步骤S32)。
即，在正常曝光图像ia和频域正常曝光图像Ia之间，[算式2]成立。
[算式2]
Ia＝F(ia)
然后，CPU43将频域短时间曝光图像Is除以频域正常曝光图像Ia，从而计算频域抖动校正轨迹G(步骤S33)。即，步骤S33的处理可以由[算式3]来表示。
[算式3]
G = I s I a
这里，若设正常曝光图像ia中所包含的抖动轨迹为h，则[算式4]成立。
[算式4]
ia＝i*h
Ia＝F(i*h)＝I×H
H＝F(h)
其中，i＝无抖动图像，I＝无频域抖动图像
H＝频域抖动轨迹
*为卷积运算符
此外，若将以比正常曝光时间短的曝光时间进行了摄像的短时间曝光图像is视为其中不包含抖动的图像，则[算式5]成立。
[算式5]
is＝i
Is＝F(is)＝F(i)＝I
将[算式4]及[算式5]代入到[算式3]，则[算式6]成立。
[算式6]
G = I I × H = H - 1
即，在步骤S33计算出的频域抖动校正轨迹G成为频域抖动轨迹H的倒数。
图6是CPU43在步骤S24中执行的抖动校正图像生成程序的流程图，首先，CPU43对频域抖动校正轨迹G进行傅立叶逆变换，计算时域抖动校正轨迹g(步骤S41)。
即，在频域抖动校正轨迹G和时域抖动校正轨迹g之间，[算式7]成立。
[算式7]
g＝F-1(G)＝F-1(H-1)＝h-1
其中，F-1(X)为X的傅立叶逆变换。
接着，CPU43将时域抖动校正轨迹g对正常曝光图像ia进行卷积，从而生成抖动校正图像ic(步骤S42)。
这里，步骤S42的处理可以由[算式8]表示。
[算式8]
ic＝ia*g＝i*h*h-1＝i
因此，抖动校正图像ic成为无抖动图像i，能够从正常曝光图像ia中消除抖动。
再有，从[算式9]可知，通过对频域正常曝光图像Ia和频域抖动校正轨迹G的乘法运算结果进行傅立叶逆变换，也能够生成抖动校正图像ic。
[算式9]
ic＝F-1(Ia×G)＝F-1(Ia)*F-1(G)＝ia*g
如以上说明所示，根据第1实施方式的带有抖动校正功能的摄像装置1，可以基于正常曝光图像和短时间曝光图像而计算抖动校正轨迹，并且基于正常曝光图像和抖动校正轨迹而消除正常曝光图像的抖动。
(第2实施方式)
在上述的第1实施方式中，假定短时间曝光图像中不包含抖动，但叠加了噪音。进而，正常曝光图像中也叠加了噪音。
短时间曝光图像的摄像时，为弥补曝光不足而将电子电路的灵敏度提高，因此噪音的强度变大，短时间曝光图像的图像质量大幅下降。
此外，正常曝光图像的摄像时，虽然噪音的强度较小，但无法避免正常曝光图像中叠加噪音。
第2实施方式的带有抖动校正功能的摄像装置，为了解决该课题而还具有从图像中消除噪音的功能。
图7是本发明的第2实施方式的带有抖动校正功能的摄像装置2的方框图。另外，本实施方式与上述的第1实施方式大致相同地构成，因此对同一结构元件附加相同的标号并省略说明。
在图7中，带有抖动校正功能的摄像装置2除了第1实施方式所示的结构之外，还包括用于消除正常曝光图像及短时间曝光图像中所包含的噪音的噪音消除单元51。
另外，第2实施方式的带有抖动校正功能的摄像装置2的硬件结构与第1实施方式相同，只有加载到微处理器单元35中的一部分程序不同。
图8是代替图4的第1抖动校正程序而加载到微处理器单元35中的第2抖动校正程序的流程图，在第1抖动校正程序的步骤S22和步骤S23之间插入了步骤S51及步骤S52。
CPU43首先取得短时间曝光图像is(步骤S51)，接着取得正常曝光图像ia(步骤S52)。
这里，若设短时间曝光图像is中所包含的噪音为ns，正常曝光图像ia中所包含的噪音为na，则[算式10]成立。
[算式10]
is＝i+ns
ia＝i*h+na
CPU43对短时间曝光图像is及正常曝光图像ia施加噪音消除单元51即高频截止滤波器，从而消除噪音(步骤S53及步骤S54)。
若设高频截止滤波器的特性为r，则消除噪音后的短时间曝光图像(以下称为噪音消除后短时间曝光图像)isr及消除噪音后的正常曝光图像(以下称为噪音消除后正常曝光图像)iar由[算式11]表示。
[算式11]
isr＝is*r＝i*r+ns*r
iar＝ia*r＝i*h*r+na*r
接着，CPU43计算抖动校正轨迹(步骤S55)，抖动校正轨迹计算程序与第1实施方式相同，其流程图与图5相同。
CPU43首先对噪音消除后短时间曝光图像isr进行傅立叶变换，从而生成频域噪音消除后短时间曝光图像Isr(步骤S31)，然后对噪音消除后正常曝光图像iar进行傅立叶变换，从而生成频域噪音消除后正常曝光图像Iar(步骤S32)。
即，步骤S31及步骤S32的处理由[算式12]表示。
[算式12]
Isr＝F(isr)＝I×R+Ns×R
Iar＝F(iar)＝I×H×R+Na×R
其中，R＝F(r)
Ns＝F(ns)
Na＝F(na)
噪音随机地产生且大部分存在于高频，通过高频截止滤波器被消除，因此，[算式12]可以近似为[算式13]。
[算式13]
Isr≈I×R
Iar≈I×H×R
另外，优选是将高频截止滤波器的截止频率设为5～20赫兹，则能够消除噪音而不必消除频域抖动轨迹H。
CPU43将频域噪音消除后短时间曝光图像Isr除以频域噪音消除后正常曝光图像Iar，从而计算频域抖动校正轨迹G(步骤S33)。即，步骤S31及步骤S32的处理由[算式14]表示。
[算式14]
G = I sr I ar = I × R I × H × R = H - 1
最后，CPU43生成抖动校正图像ic(步骤S56)，抖动校正图像生成程序与第1实施方式相同，其流程图与图6相同。
即，CPU43对频域抖动校正轨迹G进行傅立叶逆变换，从而计算时域抖动校正轨迹g(步骤S41)，并将时域抖动校正轨迹g对正常曝光图像ia进行卷积，从而生成抖动校正图像ic(步骤S42)。另外，步骤S42的处理由[算式15]表示。
[算式15]
ic＝ia*g＝(i*h+na)*g＝i*h*h-1+na*h-1＝i+na*h-1＝i+na*g
其中，na*g成为将抖动校正轨迹对噪音na进行了卷积的噪音，其大小也可以视为[算式16]所示。
[算式16]
na≈na*g
因此，抖动校正图像ic成为对无抖动图像i叠加了噪音na*g的图像，但如前所述，由于噪音na的强度较弱，所以噪音na*g的强度也较弱，从而不会使图像质量大幅下降。
另外，从[算式17]可知，与第1实施方式同样地，通过对频域正常曝光图像Ia和频域抖动校正轨迹G的乘法运算结果进行傅立叶逆变换，也能够生成抖动校正图像ic。
[算式17]
ic＝F-1(Ia×G)＝F-1(I×H+Na)*F-1(G)＝i*h*h-1+na*h-1＝i+na*h-1
如以上说明所示，根据第2实施方式，能够排除短时间曝光图像中所包含的噪音的影响而校正抖动。
(第3实施方式)
首先，说明本发明的第3实施方式的摄像装置的结构。
如图9所示，本实施方式的摄像装置3包括：聚集来自被摄体的光的透镜61；对被摄体进行摄像的摄像单元62；用户在摄像时操作的快门按钮63；对摄像后的被摄体图像进行图像处理的图像处理装置70；记录被摄体图像的数据的记录装置64；以及用于显示被摄体图像的显示装置65。另外，在以下记载中，以下将摄像后的被摄体图像的数据简称为“摄像数据”。
透镜61聚集来自被摄体的光，并发射到摄像单元62。快门按钮63在用户摄像时按下了该按钮时，将表示其意旨的信号输出到模式设定单元72(后述)。
记录装置64例如包括半导体存储器，用于记录摄像数据。显示装置65例如包括液晶面板，用于显示摄像后的被摄体图像。另外，记录装置64或显示装置65构成本发明的输出单元。
摄像单元62包括：图像传感器62a，将透镜61聚集的被摄体光光电变换为电信号；电子快门62b，设定图像传感器62a的曝光时间。另外，摄像单元62构成本发明的短时间曝光图像取得单元及正常曝光图像取得单元。
图像传感器62a例如由CCD(Charge Coupled Device：电荷耦合元件)或CMOS(Complementary Metal-Oxide Semiconductor：互补型金属氧化物半导体)传感器等的固体摄像元件构成，具有规定数量的像素。电子快门62b基于来自模式设定单元72的控制信号，设定图像传感器62a的曝光时间。另外，图像传感器62a构成本发明的摄像元件。
图像处理装置70包括：模数变换器(以下称为‘ADC’)71，将图像传感器62a输出的模拟信号变换为数字信号；模式设定单元72，基于快门按钮63的状态设定模式；检测高频区域的高频区域检测单元73；保存摄像数据的存储器单元74；计算抖动轨迹的抖动轨迹计算单元75；进行抖动的校正处理的抖动校正单元76；以及进行规定的信号处理的信号处理单元77。另外，图像处理装置70例如由数字信号处理器构成。
ADC71将图像传感器62a进行了摄像的摄像数据进行AD变换，并输出到模式设定单元72。
当用户按下快门按钮63时，模式设定单元72接收从快门按钮63输出的信号，并设定为监控(monitor)模式及摄像模式的任意一种模式。这里，监控模式是指，在用户没有按下快门按钮63的状态下，将摄像单元62进行了摄像的被摄体图像作为活动图像显示在显示装置65的模式。此外，摄像模式是指，在用户按下了快门按钮63时对被摄体进行摄像，并取得被摄体的静态图像的模式。
此外，模式设定单元72可以控制电子快门62b，以在摄像模式中，图像传感器62a能够以规定的短曝光时间或规定的正常曝光时间进行摄像。这里，短曝光时间是指，比通过正常曝光的通常的摄像时间设定得短，使得不产生抖动且能够使摄像信号不被噪音埋没地取得。此外，正常曝光时间是指，为了对图像传感器62a提供与被摄体光相对应的正常曝光而决定的时间。
另一方面，模式设定单元72控制电子快门62b，以在监控模式中图像传感器62a以正常曝光时间对被摄体进行摄像，并使活动图像显示在显示装置65中。另外，在显示装置65由液晶面板构成时，一般使用的液晶面板的分辨率比图像传感器62a的分辨率低，所以优选是模式设定单元72通过稀疏读出图像传感器62a的像素数据，或者将像素数据每多个像素进行混合，从而实现帧频(frame rate)的提高，使活动图像显示在液晶面板上。
此外，模式设定单元72能够将用于重置图像传感器62a的各个像素中累积的信号的控制信号输出到摄像单元62。此外，模式设定单元72能够将用于从图像传感器62a读出图像传感器62a的全像素区域的规定像素区域中的摄像数据并输出到ADC71的控制信号输出到摄像单元62。另外，模式设定单元72构成本发明的短时间曝光图像取得单元、正常曝光图像取得单元以及像素重置单元。
高频区域检测单元73例如由使规定的空间频率以上的信号分量通过的高通滤波器构成，在监控模式下，检测对被摄体进行了摄像的全像素区域的规定的空间频率以上的像素区域(以下称为‘高频区域’)。即，高频区域检测单元73在监控模式下，能够检测图像传感器62a具有的像素区域中被摄体图像的移动比较大地显现的区域。此外，高频区域检测单元73包括用于存储表示检测出的高频区域的高频区域信息的存储器(省略图示)。
存储器74包括：短曝光用存储器74a，保存以短曝光时间摄像的被摄体图像(以下称为‘短时间曝光图像’)的数据；正常曝光用存储器74b，保存以正常曝光时间摄像的被摄体图像(以下称为‘正常曝光图像’)的数据。
抖动轨迹计算单元75在摄像模式下，将短时间曝光图像及正常曝光图像的高频区域中的摄像数据分别保存在短曝光用存储器74a及正常曝光用存储器74b中，并对两者的摄像数据进行比较，从而计算抖动轨迹。例如，抖动轨迹计算单元75将对正常曝光图像的数据进行了傅立叶变换后的数据，除以对短时间曝光图像的数据进行了傅立叶变换后的数据，对由除法运算所得到的数据进行傅立叶逆变换，从而计算抖动轨迹。另外，抖动轨迹计算单元75构成本发明的抖动校正轨迹计算单元。
抖动校正单元76基于由抖动轨迹计算单元75计算出的抖动轨迹，对以正常曝光时间进行了摄像的被摄体图像进行抖动校正。例如，抖动校正单元76通过对从由抖动轨迹计算单元75计算出的抖动轨迹的逆矩阵所得到的抖动校正轨迹和正常曝光图像的数据进行卷积的运算处理，对被摄体图像进行抖动校正。另外，抖动校正单元76构成本发明的抖动校正轨迹计算单元及抖动校正图像生成单元。
在监控模式中，信号处理单元77进行用于将所摄像的被摄体图像显示在显示装置65上的信号处理。此外，信号处理单元77在摄像模式下，进行用于将抖动校正后的摄像数据记录在记录装置64的信号处理和用于将抖动校正后的被摄体的图像显示在显示装置65的信号处理。
下面，使用算式具体说明通过抖动轨迹计算单元75及抖动校正单元76的抖动校正的一个例子。
设短时间曝光图像的数据为is，正常曝光图像的数据为il，正常曝光图像的抖动轨迹为h。若设没有抖动的理想的被摄体图像的数据为i，则il是i进行具有叫做h的PSF(Point Spread Function：点像分布函数)的抖动的图像数据，所以能够由下式表示。另外，记号‘*’表示卷积运算符。
il＝i*h                     (1)
接着，将i、is、il、h的傅立叶变换分别表示为I、IS、IL、H时，下式的关系成立。这里，F表示傅立叶变换，F-1表示傅立叶逆变换。
F(i)＝I                     (2)
F(is)＝IS                   (3)
F(il)＝IL                   (4)
F(h)＝H                     (5)
F-1(I)＝i                   (6)
F-1(IS)＝is                 (7)
F-1(IL)＝il                 (8)
F-1(H)＝h                   (9)
若将对于短时间曝光图像的数据is的傅立叶变换后的数据F(is)除以对于正常曝光图像的数据il的傅立叶变换后的数据F(il)，则得到下式。
F(is)/F(il)＝F(is)/F(i*h)＝IS/(I×H)               (10)
假设短时间曝光图像成为了与没有抖动的理想的被摄体图像相同的图像，则由于is＝i，所以IS＝I，代入式(10)，则得到下式。
F(is)/F(il)＝F(i)/F(i*h)＝I/(I×H)＝1/H＝H-1       (11)
这里，H-1表示H的逆矩阵，h的逆矩阵表示为h-1，则下式成立。
F(1/h)＝F(h-1)＝1/H＝H-1                           (12)
F-1(1/H)＝F-1(H-1)＝1/h＝h-1                       (13)
接着，若将对于短时间曝光图像的数据is的傅立叶变换后的数据F(is)除以对于正常曝光图像的数据il的傅立叶变换后的数据F(il)，并将除法运算所得到的数据进行傅立叶逆变换后的数据设为校正轨迹g，则校正轨迹g为式(11)的傅立叶逆变换，所以得到下式。
g＝F-1(H-1)＝h-1                                   (14)
因此，由下式表示校正轨迹g和短时间曝光图像的数据il的卷积，可以计算出没有抖动的理想的被摄体图像的数据i。
g*il＝h-1*i*h＝i*(h-1*h)＝i                  (15)
如此，本实施方式的摄像装置3可以取得校正了抖动的被摄体图像。另外，也可以在用前述的方法求出了PSF之后，例如由抖动轨迹数据生成抖动校正矩阵，并由所生成的抖动校正矩阵和抖动图像生成用于进行抖动校正的信号，从而进行抖动校正。
下面，使用图9～图11说明本实施方式的摄像装置3的动作。
首先，模式设定单元72被设定为监控模式(步骤S61)。通过模式设定单元72被设定为监控模式，来自摄像单元62的摄像数据由ADC71进行AD变换，经由模式设定单元72，被输入到高频区域检测单元73及信号处理单元77。
对于输入到高频区域检测单元73的摄像数据，执行用于检测高频区域的处理(步骤S62)。具体来说，例如图11的(a)所示，高频区域检测单元73从被摄体被摄像的区域即全像素区域80中检测高频区域81和比高频区域81的空间频率低的低频区域82及83，并将表示高频区域81的范围的高频区域信息保存在存储器中。
另一方面，对于输入到信号处理单元77的摄像数据，例如执行将其变换为规定格式的图像数据的图像处理，并作为活动图像显示在显示装置65中。
接着，通过模式设定单元72，判断快门按钮63是否被按下(步骤S63)。这里，在判断为没有按下快门按钮63的情况下，摄像装置3的动作返回到步骤S62。
在步骤S63中，判断为按下了快门按钮63的情况下，模式设定单元72被设定为摄像模式(步骤S64)。
并且，通过模式设定单元72控制电子快门62b，使得图像传感器62a以短曝光时间进行曝光，通过图像传感器62a，被摄体以短曝光时间被摄像(步骤S65)。
这里，模式设定单元72控制摄像单元62，使得读出高频区域检测单元73的存储器中所保存的高频区域信息，并输出以短曝光时间摄像的摄像数据中相当于高频区域的摄像数据。其结果，相当于高频区域的摄像数据从图像传感器62a被输出到ADC71，由ADC71进行AD变换，经由模式设定单元72，被输出到抖动轨迹计算单元75，由抖动轨迹计算单元75将其保存在短曝光用存储器74a中(步骤S66)。
接着，通过模式设定单元72，累积在图像传感器62a中的所有像素信号被重置(步骤S67)。
并且，通过模式设定单元72，电子快门62b受到控制，使得图像传感器62a以正常曝光时间进行曝光，通过图像传感器62a，被摄体以正常曝光时间被摄像(步骤S68)。
这里，模式设定单元72控制摄像单元62，以基于已经取得的高频区域信息，从以正常曝光时间摄像的摄像数据中输出相当于高频区域的摄像数据。其结果，相当于高频区域的摄像数据从图像传感器62a被输出到ADC71，由ADC71进行AD变换，经由模式设定单元72，被输出到抖动轨迹计算单元75，由抖动轨迹计算单元75将其保存在正常曝光用存储器74b中(步骤S69)。
并且，通过抖动轨迹计算单元75，基于保存在短曝光用存储器74a中的短曝光时间下的摄像数据和保存在正常曝光用存储器74b中的正常曝光时间下的摄像数据，计算抖动轨迹(步骤S70)。
另外，从通过图像传感器62a读出相当于短曝光时间的高频区域的摄像数据开始，到经过所有像素信号的重置处理后以正常曝光时间开始摄像为止的时间，优选设定为尽量短的时间(例如10～20毫秒左右)。根据该结构，短时间曝光图像和正常曝光图像之间没有摄像时间差，所以由抖动轨迹计算单元75的图像比较变得容易，并且能够缩短静态图像的摄像时间。
接着，通过模式设定单元72控制摄像单元62，使得输出以正常曝光时间进行了摄像的全像素的数据，经由ADC71及模式设定单元72，全像素的数据被输出到抖动校正单元76。在抖动校正单元76中，如图11(b)所示，一边读出全像素的数据，一边基于抖动轨迹计算单元75计算出的抖动轨迹，例如通过将像素数据移动相当于抖动轨迹的像素量的处理来进行抖动校正处理(步骤S71)，因抖动产生的被摄体图像的模糊被校正。这里，对保存在正常曝光用存储器74b中的摄像数据执行高频区域中的图像的抖动校正处理。
另外，在抖动校正处理中，例如因图像传感器62a内产生的暗电流的影响，在高频区域的图像和其他区域的图像之间产生电平差的情况下，可以通过将两者的摄像数据相加或者乘以对应于电平差的校正值来降低两者的电平差。
接着，进行了抖动校正处理的摄像数据被输出到信号处理单元77，通过信号处理单元77变换为规定格式的图像数据，从而被输出到记录装置64及显示装置65。
然后，通过记录装置64保存进行了抖动校正处理的摄像数据，通过显示装置65显示进行了抖动校正处理的被摄体图像(步骤S72)。另外，在继续进行摄像时，摄像装置3的动作返回到步骤S61。
如此，根据本实施方式的摄像装置3，抖动轨迹计算单元75为基于短时间曝光图像和正常曝光图像的比较结果，对被摄体图像的抖动进行校正的结构，所以不需要像以往的装置那样具备用于检测抖动轨迹的专用装置，能够实现比以往的装置更加小型化及低成本。
此外，根据本实施方式的摄像装置3，是将高频区域检测单元73检测的高频区域中的短时间曝光图像及正常曝光图像的数据保存在存储器单元74中的结构，所以例如与保存1帧的摄像数据的装置相比，能够大幅减少存储器容量，使存储器小型化。其结果，摄像装置3能够实现比以往的装置更加小型化、轻量化及低成本。
另外，在前述的实施方式中，将电子快门62b控制图像传感器62a的曝光时间的结构作为例子进行了说明，但本发明并不限定于此，由机械快门代替电子快门62b来控制曝光时间的结构也可以得到同样的效果。
(第4实施方式)
首先，说明本发明的第4实施方式的摄像装置的结构。另外，在本实施方式中，对于与本发明的第3实施方式的摄像装置3的各个结构元件相同的结构元件附加同一标号并省略说明。
如图12所示，本实施方式的摄像装置4相对于本发明的第3实施方式的摄像装置3，具有图像处理装置90而取代图像处理装置70。
图像处理装置90包括：ADC71，将图像传感器62a输出的模拟信号变换为数字信号；模式设定单元72，基于快门按钮63的状态设定模式；检测高频区域的高频区域检测单元73；保存摄像数据的存储器单元74；将表示摄像数据的图像缩小的图像缩小单元95；计算抖动轨迹的抖动轨迹计算单元75；校正由图像缩小单元95缩小的图像的抖动的缩小图像校正单元96；差分图像计算单元97，计算由图像缩小单元95缩小的图像和由缩小图像校正单元96校正后的图像的差分图像；差分图像放大加法单元98，放大差分图像后将其相加到包含摄像数据表示的抖动的图像中；以及进行规定的信号处理的信号处理单元77。
图像缩小单元95在摄像模式下，对短时间曝光图像及正常曝光图像的对应于高频区域的摄像数据施加空间分辨率变换，从而将摄像数据表示的各个图像以规定的缩小率缩小。
另外，在本实施方式中，抖动轨迹计算单元75将由图像缩小单元95进行了空间分辨率变换的摄像数据分别保存在短曝光用存储器74a及正常曝光用存储器74b中，并通过比较两者的摄像数据来计算抖动轨迹。此外，在以下的说明中，将保存在正常曝光用存储器74b的摄像数据表示的图像称为‘缩小正常曝光图像’。
缩小图像校正单元96基于由抖动轨迹计算单元75计算的抖动轨迹，对缩小正常曝光图像进行抖动校正。
例如，缩小图像校正单元96通过将从由抖动轨迹计算单元75计算出的抖动轨迹的逆矩阵得到的抖动校正轨迹、和缩小正常曝光图像的数据卷积的运算处理，进行缩小正常曝光图像的抖动校正。
差分图像计算单元97计算从由缩小图像校正单元96进行了抖动校正后的缩小正常曝光图像、和保存在正常曝光用存储器74b的摄像数据表示的缩小正常曝光图像的差分所得到的差分图像。
另外，图像缩小单元95、缩小图像校正单元96及差分图像计算单元97构成本发明的抖动校正轨迹计算单元。
差分图像放大加法单元98放大由差分图像计算单元97计算的差分图像，并将其相加到以正常曝光时间摄像的摄像数据中，从而进行被摄体图像的抖动校正。这里，差分图像放大加法单元98放大差分图像时的放大率为图像缩小单元95缩小图像时的缩小率的倒数。
另外，差分图像放大加法单元98构成本发明的抖动校正图像生成单元。
下面，使用图13说明本实施方式的摄像装置4的动作。
首先，模式设定单元72被设定为监控模式(步骤S81)。通过模式设定单元72被设定为监控模式，来自摄像单元62的摄像数据由ADC71进行AD变换，经由模式设定单元72，被输入到高频区域检测单元73及信号处理单元77。
对于输入到高频区域检测单元73的摄像数据执行用于检测高频区域的处理(步骤S82)，并将表示检测出的高频区域的范围的高频区域信息通过高频区域检测单元73而保存在存储器中。
另一方面，对于输入到信号处理单元77的摄像数据，例如执行变换为规定格式的图像数据的图像处理，并作为活动图像显示在显示装置65中。
接着，通过模式设定单元72，判断快门按钮63是否被按下(步骤S83)。这里，在没有被判断为按下快门按钮63的情况下，摄像装置4的动作返回到步骤S82。
在步骤S83中，判断为按下了快门按钮63的情况下，模式设定单元72被设定为摄像模式(步骤S84)。
并且，通过模式设定单元72控制电子快门62b，使得图像传感器62a以短曝光时间进行曝光，通过图像传感器62a，被摄体以短曝光时间被摄像(步骤S85)。
这里，模式设定单元72控制摄像单元62，以读出高频区域检测单元73的存储器中所保存的高频区域信息，并输出以短曝光时间摄像的摄像数据中相当于高频区域的摄像数据(步骤S86)。
其结果，相当于高频区域的摄像数据从图像传感器62a被输出到ADC71，由ADC71进行AD变换，经由模式设定单元72，被输出到图像缩小单元95，由图像缩小单元95施加空间分辨率变换，以表示用规定的缩小率缩小后的短时间曝光图像的高频区域(步骤S87)，施加了空间分辨率变换后的摄像数据通过抖动轨迹计算单元75被保存在短曝光用存储器74a中(步骤S88)。
接着，通过模式设定单元72，累积在图像传感器62a中的所有像素信号被重置(步骤S89)。
并且，通过模式设定单元72，电子快门62b受到控制，使得图像传感器62a以正常曝光时间进行曝光，通过图像传感器62a，被摄体以正常曝光时间被摄像(步骤S90)。
这里，模式设定单元72控制摄像单元62，以基于已经取得的高频区域信息，输出以正常曝光时间摄像的摄像数据中相当于高频区域的摄像数据(步骤S91)。
其结果，相当于高频区域的摄像数据从图像传感器62a被输出到ADC71，由ADC71进行AD变换，经由模式设定单元72，被输出到图像缩小单元95，由图像缩小单元95进行空间分辨率变换，以表示用规定的缩小率缩小后的正常时间曝光图像的高频区域(步骤S92)，进行了空间分辨率变换后的摄像数据，通过抖动轨迹计算单元75被保存在正常曝光用存储器74b中(步骤S93)。
并且，通过抖动轨迹计算单元75，基于保存在短曝光用存储器74a的短曝光时间下的摄像数据和保存在正常曝光用存储器74b的正常曝光时间下的摄像数据来计算抖动轨迹(步骤S94)。
这里，由缩小图像校正单元96根据抖动轨迹的逆矩阵计算抖动校正轨迹(步骤S95)，由缩小图像校正单元96通过所计算的抖动校正轨迹和保存在正常曝光用存储器74b的缩小正常曝光图像的数据的卷积运算处理，校正缩小正常曝光图像的抖动(步骤S96)。
然后，差分图像计算单元97计算从由缩小图像校正单元96进行了抖动校正后的缩小正常曝光图像、和保存在正常曝光用存储器74b的摄像数据表示的缩小正常曝光图像的差分所得到的差分图像(步骤S97)。
接着，通过模式设定单元72控制摄像单元62，使得输出以正常曝光时间进行了摄像的全像素的数据，并经由ADC71及模式设定单元72，全像素的数据被输出到差分图像放大加法单元98。
接着，差分图像放大加法单元98放大由差分图像计算单元97计算的差分图像，并将其相加到被输入到差分图像放大加法单元98的数据表示的全像素中，从而对被摄体图像的摄像数据进行抖动校正处理(步骤S98)。
接着，进行了抖动校正处理的摄像数据被输出到信号处理单元77，通过信号处理单元77变换为规定格式的图像数据，并被输出到记录装置64及显示装置65。
然后，通过记录装置64保存进行了抖动校正处理的摄像数据，通过显示装置65显示进行了抖动校正处理的被摄体图像(步骤S99)。另外，在继续进行摄像时，摄像装置4的动作返回到步骤S81。
如此，本实施方式的摄像装置4基于分别表示被缩小的短时间曝光图像和正常曝光图像的摄像数据来计算抖动校正轨迹，所以能够削减计算抖动校正轨迹所需的计算量，运算电路的规模变小，从而能够实现低功耗、小型化及低成本。
(第5实施方式)
首先，说明本发明的第5实施方式的摄像装置的结构。另外，在本实施方式中，对于与本发明的第3实施方式的摄像装置3的各个结构元件相同的结构元件附加同一标号并省略说明。
如图14所示，本实施方式的摄像装置5相对于本发明的第3实施方式的摄像装置3，代替图像处理装置70而具有图像处理装置110。
图像处理装置110包括：ADC71，将图像传感器62a输出的模拟信号变换为数字信号；模式设定单元72，基于快门按钮63的状态，设定模式；检测高频区域的高频区域检测单元73；保存摄像数据的存储器单元74；计算抖动轨迹的抖动轨迹计算单元75；对抖动轨迹进行线径化的抖动轨迹线径化单元115；进行抖动的校正处理的抖动校正单元76；进行规定的信号处理的信号处理单元77。
抖动轨迹线径化单元115在相对于计算的抖动轨迹的各个像素(以下称为‘关注像素’)，其右、左、上及下(以下称为‘相邻像素’)的任一个像素不在抖动轨迹上时，例如在相邻像素的像素值为0时，对计算出的抖动轨迹进行线径化。
这里，抖动轨迹线径化单元115分别计算相对于各个相邻像素在关注像素的对称侧(以下称为‘相邻对称侧’)的像素的像素值的加权平均值，在计算出的任一个加权平均值对于关注像素的像素值的比率为规定的阈值以上时，将该关注像素从抖动轨迹中排除，例如使其像素值为0。
例如，如图15的(a)所示，抖动轨迹线径化单元115对于包含计算的抖动轨迹的区域120的图像121，将图像121的各个像素作为关注像素122，如图15的(b)所示，在关注像素的右侧相邻的相邻像素的像素值c不是0时，计算在相邻对称侧即左方的像素值分别为a1、a2、a3的三个像素的加权平均值a＝(a1+2×a2+a3)/4。
这里，抖动轨迹线径化单元115计算加权平均值a对于关注像素的像素值b的比率R＝a/b，当计算出的比率R在规定的阈值以上时，将该关注像素从抖动轨迹中排除。
同样地，如图15的(b)至图15的(d)所示，抖动轨迹线径化单元115在相邻像素的像素值c不是0时，计算相邻对称侧即右方、下方、上方的各个加权平均值a对于关注像素的像素值b的比率R，当计算出的比率R在规定的阈值以上时，将该关注像素从抖动轨迹中排除。因此，如图15的(a)所示，抖动轨迹的区域120被线径化为抖动轨迹的区域123。
此外，在图14中，抖动轨迹线径化单元115将变换的摄像数据分别保存在短曝光用存储器74a及正常曝光用存储器74b，通过比较两者的摄像数据来计算抖动轨迹。另外，抖动轨迹线径化单元115构成本发明的抖动校正轨迹计算单元。
下面，使用图16及图17说明本实施方式的摄像装置5的动作。
首先，模式设定单元72被设定为监控模式(步骤S101)。通过模式设定单元72被设定为监控模式，来自摄像单元62的摄像数据由ADC71进行AD变换，经由模式设定单元72，被输入到高频区域检测单元73及信号处理单元77。
对于输入到高频区域检测单元73的摄像数据，执行用于检测高频区域的处理(步骤S102)，并将表示所检测出的高频区域的范围的高频区域信息由高频区域检测单元73保存在存储器中。
另一方面，对于输入到信号处理单元77的摄像数据，例如执行将其变换为规定格式的图像数据的图像处理，并作为活动图像显示在显示装置65上。
接着，通过模式设定单元72，判断快门按钮63是否被按下(步骤S103)。这里，在没有被判断为按下快门按钮63的情况下，摄像装置5的动作返回到步骤S102。
在步骤S103中，判断为按下了快门按钮63的情况下，模式设定单元72被设定为摄像模式(步骤S104)。
并且，通过模式设定单元72控制电子快门62b，使得图像传感器62a以短曝光时间进行曝光，通过图像传感器62a，被摄体以短曝光时间被摄像(步骤S105)。
这里，模式设定单元72控制摄像单元62，以读出高频区域检测单元73的存储器中所保存的高频区域信息，并输出以短曝光时间摄像的摄像数据中相当于高频区域的摄像数据。其结果，相当于高频区域的摄像数据从图像传感器62a被输出到ADC71，由ADC71进行AD变换，经由模式设定单元72，被输出到抖动轨迹计算单元75，并通过抖动轨迹计算单元75被保存在短曝光用存储器74a中(步骤S106)。
接着，通过模式设定单元72，累积在图像传感器62a的所有像素信号被重置(步骤S107)。
并且，通过模式设定单元72，电子快门62b受到控制，使得图像传感器62a以正常曝光时间进行曝光，通过图像传感器62a，被摄体以正常曝光时间被摄像(步骤S108)。
这里，模式设定单元72控制摄像单元62，以基于已经取得的高频区域信息，输出以正常曝光时间摄像的摄像数据中相当于高频区域的摄像数据。其结果，相当于高频区域的摄像数据从图像传感器62a被输出到ADC71，由ADC71进行AD变换，经由模式设定单元72，被输出到抖动轨迹计算单元75，并通过抖动轨迹计算单元75被保存在正常曝光用存储器74b中(步骤S109)。
进而，通过抖动轨迹计算单元75，基于保存在短曝光用存储器74a中的短曝光时间下的摄像数据和保存在正常曝光用存储器74b中的正常曝光时间下的摄像数据而计算抖动轨迹(步骤S110)，通过抖动轨迹线径化单元115，计算出的抖动轨迹如后述那样被线径化(步骤S111)。
接着，通过模式设定单元72控制摄像单元62，使得输出以正常曝光时间进行了摄像的全像素的数据，经由ADC71及模式设定单元72，全像素的数据被输出到抖动校正单元76。在抖动校正单元76中，一边读出全像素的数据，一边基于由抖动轨迹线径化单元115线径化后的抖动轨迹，例如通过将像素数据移动相当于抖动轨迹的像素量的处理进行抖动校正处理(步骤S112)，因抖动产生的被摄体图像的模糊被校正。这里，对保存在正常曝光用存储器74b中的摄像数据执行高频区域中的图像的抖动校正处理。
另外，在抖动校正处理中，例如因图像传感器62a内产生的暗电流的影响而在高频区域的图像和其他区域的图像之间产生电平差的情况下，可以通过将两者的摄像数据相加或者乘以对应于电平差的校正值来降低两者的电平差。
接着，进行了抖动校正处理的摄像数据被输出到信号处理单元77，通过信号处理单元77变换为规定格式的图像数据，从而被输出到记录装置64及显示装置65。
然后，通过记录装置64保存进行了抖动校正处理的摄像数据，通过显示装置65显示进行了抖动校正处理的被摄体图像(步骤S113)。另外，在继续进行摄像时，摄像装置5的动作返回到步骤S101。
这里，使用图17详细说明摄像装置5的动作步骤S111。在步骤S111中，将包含由抖动轨迹线径化单元115计算的抖动轨迹的区域的图像的各个像素设为关注像素，对各个关注像素(步骤S120～S129)的各个相邻像素(步骤S121～S128)执行以下处理。
首先，由抖动轨迹线径化单元115判断关注像素是否在抖动轨迹上，例如关注像素的像素值b是否为0(步骤S122)。这里，在判断为关注像素的像素值b为0时，执行对下一个相邻像素的处理。另外，在该情况下，步骤S122中的判断结果对于其他相邻像素也相同，所以执行对下一个关注像素的处理。
另一方面，在判断为关注像素的像素值b不为0时，由抖动轨迹线径化单元115判断相邻像素是否在抖动轨迹上，例如相邻像素的像素值c是否为0(步骤S123)。这里，在判断为相邻像素的像素值c不为0时，执行对下一个相邻像素的处理。
另一方面，在判断为相邻像素的像素值c为0时，由抖动轨迹线径化单元115计算在相邻对称侧的像素的像素值的加权平均值a(步骤S124)，并由抖动轨迹线径化单元115计算所计算出的加权平均值a对于关注像素的像素值b的比率R(步骤S125)。
这里，由抖动轨迹线径化单元115判断所计算出的比率R是否是规定的阈值TH以上(步骤S126)，当判断为比率R不在阈值TH以上时，执行对下一个相邻像素的处理。
另一方面，当判断为比率R在阈值TH以上时，关注像素从抖动轨迹中被排除，即关注像素的像素值b通过抖动轨迹线径化单元115而被设定为0(步骤S127)。
另外，接着，执行对下一个相邻像素的处理，但在步骤S127中关注像素的像素值b被设定为0时，根据步骤S122中对于其他相邻像素的判断，执行对下一个关注像素的处理。
如此，本实施方式的摄像装置5基于线径化后的抖动轨迹生成进行了正常曝光图像校正的校正图像，所以能够抑制因短时间曝光图像及正常曝光图像中所包含的噪音的影响及傅立叶变换时的误差的影响而在校正图像中产生的虚拟轮廓或模糊。
(第6实施方式)
首先，说明本发明的第6实施方式的摄像装置的结构。
如图18所示，本实施方式的摄像装置6取代本发明的第3实施方式的摄像装置3的图像处理装置70而具有图像处理装置130。因此，对于图像处理装置130以外的结构元件，附加与本发明的第3实施方式的摄像装置3相同的标号并省略详细的说明。
在图18中，本实施方式的图像处理装置130包括：ADC131，将图像传感器62a输出的模拟信号变换为数字信号；模式设定单元132，基于快门按钮63的状态设定模式；检测高频区域的高频区域检测单元133；保存摄像数据的存储器单元134；检测动态向量的动态向量检测单元135；计算抖动轨迹的抖动轨迹计算单元136；进行抖动的校正处理的抖动校正单元137；以及进行规定的信号处理的信号处理单元138。另外，图像处理装置130例如由数字信号处理器构成。
这里，ADC131、高频区域检测单元133及信号处理单元138分别与第3实施方式的ADC71、高频区域检测单元73及信号处理单元77为相同的结构，所以省略详细的说明。
当用户按下快门按钮63时，模式设定单元132接收从快门按钮63输出的信号，并设定为监控模式及摄像模式的任意一种模式。这里，监控模式是，在用户没有按下快门按钮63的状态下，将摄像单元62进行了摄像的被摄体图像作为活动图像显示在显示装置65的处理。另一方面，摄像模式是，在用户按下了快门按钮63时对被摄体进行摄像，并取得被摄体的静态图像的处理。
此外，模式设定单元132控制电子快门62b，以在摄像模式中，使图像传感器62a以短曝光时间多次曝光。另一方面，模式设定单元132控制电子快门62b，以在监控模式下使图像传感器62a以正常曝光时间进行摄像，并使活动图像显示在显示装置65中。
此外，模式设定单元132控制摄像单元62，以从图像传感器62a读出基于高频区域检测单元133输出的高频区域信息的区域的像素信号，并将其输出到ADC131。另外，模式设定单元132构成本发明的短时间曝光图像取得单元。
存储器单元134包括：依次保存以短曝光时间多次曝光而摄像的图像中相当于高频区域的摄像数据的第1存储器134a和第2存储器134b，以及用于将第1存储器134a中所保存的摄像数据和第2存储器134b中所保存的摄像数据相加后进行累积的累积用存储器134c。
具体来说，在通过图像传感器62a，例如进行了3次以短曝光时间的摄像时，第1存储器134a及第2存储器134b分别保存第1次及第2次的摄像数据，累积用存储器134c对第1次的摄像数据和第2次的摄像数据进行相加后累积。接着，第1存储器134a保存第3次的摄像数据，累积用存储器134c对第2次的摄像数据和第3次的摄像数据进行相加后进行累积。
动态向量检测单元135比较第1存储器134a中所保存的摄像数据和第2存储器134b中所保存的摄像数据，从而检测动态向量，并根据检测出的动态向量，取得包含了动态向量的方向和大小的动态向量值。动态向量值在每次第1存储器134a或者第2存储器134b中所保存的摄像数据被更新时取得，并依次被相加而保存在动态向量检测单元135的存储器(省略图示)中。
抖动轨迹计算单元136基于动态向量检测单元135取得的动态向量值来计算抖动轨迹。另外，抖动轨迹计算单元136构成本发明的抖动校正轨迹计算单元。
抖动校正单元137基于由抖动轨迹计算单元136计算的抖动轨迹，对摄像单元62摄像的被摄体图像进行抖动校正。另外，抖动校正单元137构成本发明的抖动校正轨迹计算单元及抖动校正图像生成单元。
下面，使用图19说明本实施方式的摄像装置6的动作。另外，如图19所示，本实施方式的摄像装置6的步骤中，步骤S131～S134与第3实施方式的摄像装置3的动作中的步骤S61～S64(参照图10)相同，所以省略说明。
在步骤S134，模式设定单元132被设定为摄像模式后，执行抖动轨迹计算处理(步骤S135)。使用图20说明该抖动轨迹计算处理。为了清楚容易地说明动作，在这里列举以短曝光时间进行3次摄像的情况为例来说明，但本发明并不限定于此，只要是以短曝光时间进行多次摄像即可。
首先，通过模式设定单元132，电子快门62b受到控制，以使图像传感器62a以短曝光时间曝光，执行短曝光时间的第1次摄像(步骤S141)。
然后，通过模式设定单元132，摄像单元62受到控制，以读出高频区域检测单元133的存储器中所保存的高频区域信息，并输出以短曝光时间摄像的第1次的摄像数据中相当于高频区域的摄像数据。其结果，所摄像的第1次摄像数据从图像传感器62a被输出到ADC131，由ADC131进行AD变换，经由模式设定单元132，被输出到抖动轨迹计算单元136，并通过抖动轨迹计算单元136被保存在第1存储器134a中(步骤S142)。
接着，与步骤S141同样地，执行短曝光时间的第2次摄像(步骤S143)。
进而，与步骤S142同样地，以短曝光时间摄像的第2次的摄像数据中相当于高频区域的摄像数据，通过抖动轨迹计算单元136被保存在第2存储器134b中(步骤S144)。
接着，通过动态向量检测单元135比较第1存储器134a中所保存的第1次的摄像数据和第2存储器134b中所保存的第2次的摄像数据，检测动态向量，并取得动态向量值(步骤S145)。该动态向量值的数据被保存在动态向量检测单元135的存储器中。
然后，通过抖动轨迹计算单元136，将第1存储器134a中所保存的第1次的摄像数据和第2存储器134b中所保存的第2次的摄像数据相加，相加后的摄像数据被保存在累积用存储器134c中(步骤S146)。
接着，与步骤S141同样地，执行短曝光时间的第3次摄像(步骤S147)。
进而，与步骤S142同样地，以短曝光时间摄像的第3次的摄像数据中相当于高频区域的摄像数据，通过抖动轨迹计算单元136被保存在第1存储器134a中(步骤S148)。
接着，与步骤S145同样地，通过动态向量检测单元135比较第1存储器134a中所保存的第3次的摄像数据和第2存储器134b中所保存的第2次的摄像数据，检测动态向量，并取得动态向量值(步骤S149)。
接着，通过动态向量检测单元135，在步骤S145所取得的动态向量值的数据和在步骤S149所取得的动态向量值的数据被相加(步骤S150)，并被保存在动态向量检测单元135的存储器中。加法运算后的动态向量值的数据通过动态向量检测单元135，输出到抖动轨迹计算单元136作为抖动轨迹的数据。
然后，与步骤S146同样地，通过抖动轨迹计算单元136，第1存储器134a所保存的第3次的摄像数据和第2存储器134b所保存的第2次的摄像数据被相加，相加后的摄像数据被保存在累积用存储器134c中(步骤S151)。其结果，累积用存储器134c中累积有以短曝光时间摄像的相当于高频区域的3次的摄像数据。由此，抖动轨迹计算处理结束，摄像装置6的动作进至图19的步骤S136。
接着，通过模式设定单元132控制摄像单元62，以输出摄像的全像素的数据，经由ADC131及模式设定单元132，全像素的数据被输出到抖动轨迹计算单元136。在抖动校正单元137中，如图11的(b)所示，一边读出全像素的数据，一边基于由抖动轨迹计算单元136取得的抖动轨迹，例如通过将像素数据移动相当于抖动轨迹的像素量的处理来进行抖动校正处理(步骤S136)，因抖动产生的被摄体图像的模糊被校正。这里，对保存在累积用存储器134c中的摄像数据执行高频区域中的图像的抖动校正处理。
另外，在从图像传感器62a读出以短曝光时间摄像的摄像数据中相当于高频区域的摄像数据时，由于在相当于高频区域的像素区域中不会累积被摄体的光信号，所以有时在高频区域的图像和其他区域的图像之间产生电平差。这种情况下，例如通过对相当于高频区域的摄像数据乘以对应于电平差的校正值，从而可以降低两者的电平差。
接着，进行了抖动校正处理的摄像数据被输出到信号处理单元138，通过信号处理单元138变换为规定格式的图像数据，从而被输出到记录装置64及显示装置65。
然后，通过记录装置64保存进行了抖动校正处理的摄像数据，通过显示装置65显示进行了抖动校正处理的被摄体图像(步骤S137)。另外，在继续进行摄像时，摄像装置6的动作返回到步骤S131。
如此，根据本实施方式的摄像装置6，抖动校正单元137为基于多个短时间曝光图像之间的抖动轨迹对被摄体图像的抖动进行校正的结构，所以不需要像以往的装置那样具备用于检测抖动轨迹的专用装置，能够实现比以往的装置更加小型化及低成本。
此外，根据本实施方式的摄像装置6，是将高频区域检测单元133检测的高频区域中的短时间曝光图像的数据保存在存储器单元134的结构，所以例如与保存1帧的摄像数据的装置相比，能够大幅减少存储器容量，使存储器小型化。其结果，摄像装置6能够实现比以往的装置更加小型化、轻量化及低成本。
在以上说明的本发明的第1至第6实施方式中，也可以组合各个实施方式的功能来构成本发明的摄像装置。另外，对于组合了各个实施方式的功能的方式，能够基于本发明的第1至第6实施方式而容易想到，因此省略说明。
工业上的可利用性
如此，本发明的摄像装置具有能够实现比以往的装置更加小型化及低成本的效果，作为校正在使用固体摄像元件对被摄体进行摄像时因抖动产生的被摄体图像的模糊的摄像装置等是有用的。

Claims (13)

1.一种摄像装置，包括：
摄像元件，对成像在光接收面上的图像进行摄像；
抖动校正单元，基于由所述摄像元件以不同的曝光时间摄像的至少两张图像而校正图像的抖动；以及
输出单元，输出作为抖动校正后的图像的抖动校正图像，
所述抖动校正单元包括：
正常曝光图像取得单元，使所述摄像元件曝光正常曝光时间，从而取得正常曝光图像；
短时间曝光图像取得单元，使所述摄像元件曝光比所述正常曝光时间短的时间，取得短时间曝光图像；
抖动校正轨迹计算单元，基于所述正常曝光图像和所述短时间曝光图像，计算对于所述正常曝光图像的抖动校正轨迹；以及
抖动校正图像生成单元，基于所述正常曝光图像和所述抖动校正轨迹，生成抖动校正图像。
2.如权利要求1所述的摄像装置，其特征在于，
所述摄像元件包括由多个像素构成的像素区域，
所述正常曝光图像取得单元和所述短时间曝光图像取得单元，从构成所述像素区域的一部分的特定区域中分别取得所述正常曝光图像和所述短时间曝光图像。
3.如权利要求2所述的摄像装置，其特征在于，
所述正常曝光图像取得单元和所述短时间曝光图像取得单元，通过从所述摄像元件中只读出所述特定区域的数据，分别取得所述正常曝光图像和所述短时间曝光图像。
4.如权利要求2所述的摄像装置，其特征在于，还包括：
高频区域检测单元，检测所述像素区域中的规定的空间频率以上的高频区域作为所述特定区域。
5.如权利要求1所述的摄像装置，其特征在于，还包括：
像素重置单元，在取得了所述短时间曝光图像后的规定的短时间之后，将所述像素区域的全部像素进行重置。
6.如权利要求1所述的摄像装置，其特征在于，
所述抖动校正轨迹计算单元通过将所述正常曝光图像和所述短时间曝光图像进行傅立叶变换，并将所述傅立叶变换后的短时间曝光图像除以所述傅立叶变换后的正常曝光图像，计算频域中的所述抖动校正轨迹。
7.如权利要求1所述的摄像装置，其特征在于，
所述抖动校正轨迹计算单元将所述正常曝光图像和所述短时间曝光图像进行傅立叶变换，并将所述傅立叶变换后的正常曝光图像除以所述傅立叶变换后的短时间曝光图像，从而计算抖动轨迹，将计算出的抖动轨迹进行线径化，并基于线径化后的抖动轨迹，计算频域中的所述抖动校正轨迹。
8.如权利要求6所述的摄像装置，其特征在于，
所述抖动校正图像生成单元通过将所述频域中的抖动校正轨迹进行傅立叶逆变换，将所述傅立叶逆变换后的抖动校正轨迹和由所述正常曝光图像取得单元所取得的正常曝光图像进行卷积积分，生成所述抖动校正图像。
9.如权利要求6所述的摄像装置，其特征在于，
所述抖动校正图像生成单元将通过所述抖动轨迹计算单元进行了傅立叶变换后的正常曝光图像和所述频域中的抖动校正轨迹进行乘法运算，并将乘法运算后的结果进行傅立叶逆变换，生成所述抖动校正图像。
10.如权利要求1所述的摄像装置，其特征在于，
所述抖动校正轨迹计算单元包括：
图像缩小单元，对所述正常曝光图像和所述短时间曝光图像进行空间分辨率变换而使其缩小；
缩小图像校正单元，基于由所述图像缩小单元分别进行过缩小的正常曝光图像和短时间曝光图像，对该正常曝光图像进行抖动校正；以及
差分图像计算单元，计算从由所述图像缩小单元进行过缩小的正常曝光图像和由所述缩小图像校正单元进行过校正的正常曝光图像的差分所获得的差分图像，
所述抖动校正图像生成单元包括：
差分图像放大加法单元，将所述差分图像放大，并将放大后的差分图像和由所述正常曝光图像取得单元所取得的正常曝光图像进行相加。
11.如权利要求1所述的摄像装置，其特征在于，
所述抖动校正单元具有噪音消除单元，所述噪音消除单元消除所述正常曝光图像和所述短时间曝光图像中包含的噪音，
所述抖动校正轨迹计算单元基于噪音消除后的所述正常曝光图像和所述短时间曝光图像，计算所述抖动校正轨迹。
12.如权利要求11所述的摄像装置，其特征在于，
所述噪音消除单元由截止频率为5～20赫兹的高频截止滤波器构成。
13.一种摄像装置，包括：
摄像元件，对成像在光接收面上的图像进行摄像；
抖动校正单元，基于由所述摄像元件以不同的曝光时间摄像的至少两张图像而校正图像的抖动；以及
输出单元，输出作为抖动校正后的图像的抖动校正图像，其特征在于，
所述抖动校正单元包括：
短时间曝光图像取得单元，将所述摄像元件曝光规定的短时间，从而取得多个短时间曝光图像；
抖动校正轨迹计算单元，基于所述多个短时间曝光图像，计算以某个短时间曝光图像为对象的抖动校正轨迹；以及
抖动校正图像生成单元，基于已成为所述对象的短时间曝光图像和所述抖动校正轨迹，生成抖动校正图像。
CN2007800011288A 2006-04-11 2007-04-05 摄像装置 Expired - Fee Related CN101356802B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP108949/2006 2006-04-11
JP2006108948 2006-04-11
JP108948/2006 2006-04-11
JP2006108949 2006-04-11
PCT/JP2007/057634 WO2007119680A1 (ja) 2006-04-11 2007-04-05 撮像装置

Publications (2)

Publication Number Publication Date
CN101356802A CN101356802A (zh) 2009-01-28
CN101356802B true CN101356802B (zh) 2010-09-08

Family

ID=38609439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800011288A Expired - Fee Related CN101356802B (zh) 2006-04-11 2007-04-05 摄像装置

Country Status (6)

Country Link
US (1) US20090115860A1 (zh)
EP (1) EP2007133A2 (zh)
JP (1) JPWO2007119680A1 (zh)
KR (1) KR20080108964A (zh)
CN (1) CN101356802B (zh)
WO (1) WO2007119680A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7952612B2 (en) * 2006-06-22 2011-05-31 Nokia Corporation Method and system for image construction using multiple exposures
KR100793284B1 (ko) * 2007-05-11 2008-01-10 주식회사 코아로직 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
JP2009089228A (ja) * 2007-10-02 2009-04-23 Sanyo Electric Co Ltd 撮像装置
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
JP4661922B2 (ja) 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
KR101574733B1 (ko) * 2008-11-19 2015-12-04 삼성전자 주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
JP5013491B2 (ja) * 2009-02-17 2012-08-29 ソーバル株式会社 画像処理装置、画像処理方法、記録媒体
KR101614914B1 (ko) * 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
KR101605129B1 (ko) * 2009-11-26 2016-03-21 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법 및 이를 기록한 기록 매체
JP5843454B2 (ja) * 2011-03-15 2016-01-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2012222529A (ja) * 2011-04-06 2012-11-12 Sony Corp 固体撮像素子および駆動方法、並びに電子機器
US9131172B2 (en) * 2012-11-30 2015-09-08 Hanwha Techwin Co., Ltd. Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
KR102649220B1 (ko) * 2017-02-06 2024-03-20 삼성전자주식회사 이미지의 떨림을 보정하는 전자 장치 및 전자 장치의 제어 방법
CN107370941B (zh) * 2017-06-29 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
KR102650217B1 (ko) * 2017-12-07 2024-03-21 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69127850T2 (de) * 1990-04-29 1998-03-12 Canon Kk Vorrichtung zum Erfassen von Bewegungen und Fokusdetektor, der eine solche Vorrichtung benutzt
JP4403635B2 (ja) * 2000-05-31 2010-01-27 パナソニック株式会社 ダイナミックレンジ拡大カメラ
JP4586291B2 (ja) * 2001-04-05 2010-11-24 株式会社ニコン 電子カメラおよび画像処理システム
JP5298396B2 (ja) * 2001-03-01 2013-09-25 株式会社ニコン 電子カメラおよび画像処理システム
US7176962B2 (en) * 2001-03-01 2007-02-13 Nikon Corporation Digital camera and digital processing system for correcting motion blur using spatial frequency
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
JP4385756B2 (ja) 2003-12-16 2009-12-16 株式会社ニコン 手ぶれ補正機能付きカメラ
JP4005098B2 (ja) * 2003-12-26 2007-11-07 松下電器産業株式会社 撮影装置、製品パッケージおよび半導体集積回路
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
US20080170124A1 (en) * 2007-01-12 2008-07-17 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
US7848541B2 (en) * 2007-03-05 2010-12-07 Science Applications International Corporation Differential phase correlation

Also Published As

Publication number Publication date
US20090115860A1 (en) 2009-05-07
EP2007133A2 (en) 2008-12-24
CN101356802A (zh) 2009-01-28
JPWO2007119680A1 (ja) 2009-08-27
WO2007119680A1 (ja) 2007-10-25
KR20080108964A (ko) 2008-12-16

Similar Documents

Publication Publication Date Title
CN101356802B (zh) 摄像装置
US7750942B2 (en) Image processing apparatus and method, recording medium, and program for correcting camera shake
CN100539648C (zh) 摄像元件及摄像装置和方法
EP1788802A1 (en) Image pickup device, image pickup result processing method and integrated circuit
US20020122133A1 (en) Digital camera and image processing system
CN101350886A (zh) 图像拾取装置、图像处理方法和计算机程序
JP2007281546A (ja) 撮像装置，及び撮像方法
JP5141245B2 (ja) 画像処理装置、補正情報生成方法、および撮像装置
JP2007053634A (ja) 撮像装置、欠陥画素補正装置および方法
JP2010062952A (ja) 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体
JP2017188760A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US7554594B2 (en) Solid-state image pickup apparatus for compensating for deterioration of horizontal charge transfer efficiency
CN104106259B (zh) 图像处理设备和图像处理方法
US10848675B2 (en) Image blur correction apparatus, camera body, image blur correction method, and storage medium
CN103634529A (zh) 原始数据处理装置、原始数据处理方法和成像设备
JP2006115116A (ja) 画像処理装置及び電子カメラ
US7961976B2 (en) Image data restoration apparatus, imaging apparatus, image data restoration method and computer readable medium storing image data restoration program
US8774543B2 (en) Row noise filtering
JP2005277618A (ja) 撮像装置、シェーディング補正装置、及びシェーディング補正方法
JP5228929B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP3938098B2 (ja) 補正装置、及び撮像装置
JP2003230045A (ja) 信号処理方法および装置
JPH1175106A (ja) 静止画カメラ
JP2005176173A (ja) 固体撮像装置
JP2000078460A (ja) デジタルカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100908

Termination date: 20130405