CN100442827C - 摄像装置及图像处理方法 - Google Patents

摄像装置及图像处理方法 Download PDF

Info

Publication number
CN100442827C
CN100442827C CNB2006101108413A CN200610110841A CN100442827C CN 100442827 C CN100442827 C CN 100442827C CN B2006101108413 A CNB2006101108413 A CN B2006101108413A CN 200610110841 A CN200610110841 A CN 200610110841A CN 100442827 C CN100442827 C CN 100442827C
Authority
CN
China
Prior art keywords
imaging apparatus
image
photography
offset
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006101108413A
Other languages
English (en)
Other versions
CN1917587A (zh
Inventor
中込浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN1917587A publication Critical patent/CN1917587A/zh
Application granted granted Critical
Publication of CN100442827C publication Critical patent/CN100442827C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

一种摄像装置,其中除摄影被摄体的实际图像摄影用的摄像元件(14a)以外,还包括具有高灵敏度的特性的位置偏移检测用的摄像元件(14b),同时驱动该摄像元件(14a、14b),进行被摄体的摄影。此时,利用由摄像元件(14b)获得的图像数据,由位置偏移检测部(28)算出由摄影时的手抖动引起的图像间的位置偏移量,基于该位置偏移量,由位置补正部(29)补正由摄像元件(14a)获得的图像数据的位置。由此,即使在低照度下的摄影,也能正确地检测由手抖动引起的图像间的位置偏移,从而能够获得无手抖动的良好的图像。

Description

摄像装置及图像处理方法
技术领域
本发明涉及例如数码相机等摄像装置,特别涉及具备用于补正摄影时的手抖动的手抖动补正功能的摄像装置、和该摄像装置中使用的图像处理方法及程序。
背景技术
近年,提出了一种在数码相机中,代替一次的长时间曝光而进行短曝光时间下的连续摄影,通过重叠由该连续摄影获得的多张图像,而获得无模糊的、抑制了噪声的鲜明的图像的方法。
此处,即使连续摄影中的各帧的间隔为短时间,其间相机与被摄体之间也可能产生位置偏移。因此,在重叠由连续摄影获得的各图像进行合成时,需要补正这种位置偏移而进行重叠。
以往,作为检测由手抖动引起的图像间的位置偏移的方法,在特开平10-173992号公报中公开有:通过获得预先设置时差而摄影的两个图像的互相关,检测图像间的位置偏差的方法。
例如,在不能使用闪光灯时,或被摄体离相机远而即便使用闪光灯,闪光灯光也不能充分到达的情况等,以低照度摄影的图像的SN比非常低,难以提取被摄体的特征点。因此,存在不能正确地检测由手抖动引起的图像间的位置偏移,即使图像合成也不能获得良好的图像的问题。
发明内容
本发明鉴于如所述的点而实现,目的在于提供一种即使是在低照度下的摄影,也能正确地检测由手抖动引起的图像间的位置偏移,获得无手抖动的良好的图像的摄像装置、图像处理方法及程序。
本发明的摄像装置构成为,包括:第一摄像元件,用于实际图像摄影,摄影被摄体;第二摄像元件,用于位置偏移检测,具有比该第一摄像元件更高的灵敏度的特性;摄影机构,同时驱动所述第一及第二摄像元件,进行被摄体的摄影;位置偏移检测机构,在基于该摄影机构的摄影时,对由所述第二摄像元件连续地获得的至少2张图像数据进行比较,算出由摄影时的手抖动引起的图像间的位置偏移量;和位置补正机构,基于由该位置偏移检测机构获得的位置偏移量,补正由所述第一摄像元件获得的图像数据的位置。
附图说明
图1是表示作为本发明的第一实施方式的摄像装置以数码相机为例的情况下的外观构成的图;
图2是表示第一实施方式的数码相机的摄影镜头与被摄体的关系的图;
图3是表示第一实施方式的数码相机的摄影镜头与摄像元件的关系的图;
图4是表示第一实施方式的数码相机的电路构成的框图;
图5是表示第一实施方式的数码相机的图像处理的动作的流程图;
图6是表示本发明的第二实施方式的数码相机中,在实际图像摄影用与位置偏移检测用中使用不同的摄影镜头与摄像元件的情况下的一个例子的图;
图7是表示本发明的第二实施方式的数码相机中,在实际图像摄影用与位置偏移检测用中使用不同的摄影镜头与摄像元件的情况下的其它例子的图;
图8是表示第二实施方式的数码相机的电路构成的框图;
图9是表示第二实施方式的数码相机的图像处理的动作的流程图;
图10是表示使用了本发明的第三实施方式的数码相机的冷光镜的摄像系统的构成的图;
图11是表示第三实施方式的数码相机的冷光镜的反射特性的图;
图12是表示将本发明适用于动画摄影时的图像处理的动作的流程图。
具体实施方式
以下,参照附图说明本发明的实施方式。
(第一实施方式)
图1是表示作为本发明的第一实施方式的摄像装置以数码相机为例的情况下的外观构成的图。
在该数码相机10的装置主体11的上表面设置有快门键12。该快门键12指示摄影时刻。
另外,其它虽未特别图示,但在装置主体上设置有电源键、或用于切换摄影模式与再生模式的模式键、用于表示有关摄影动作的各种菜单的菜单键等。而且,在装置主体的背面设置有未图示的液晶画面,摄影时将现在的摄影对象作为监视器图像而显示,再生时,记录于存储器中的图像被再生显示。
此处,在装置主体11的正面(与被摄体对置的面)并列设置有两个摄影镜头13a、13b。一方的摄影镜头13a是实际图像摄影用镜头,另一方摄影镜头13b是位置偏移检测用镜头,并相互靠近设置。
图2是表示第一实施方式的数码相机的摄影镜头与被摄体的关系的图。图中的Ka、Kb表示摄影镜头13a、13b的光轴,θa、θb表示摄影镜头13a、13b的视场角。而且,15是被摄体。实际图像摄影用的摄影镜头13a与位置偏移检测用的摄影镜头13b分别具有相同视场角、相同倍率。
图3是表示第一实施方式的数码相机的摄影镜头与摄像元件的关系的图。图中的14a、14b是摄像元件。
在该数码相机10的装置主体11内,与摄影镜头13a、13b对应而内置有两个摄像元件14a、14b。摄像元件14a、14b例如由CCD(charge coupleddevice)构成,分别接受通过摄影镜头13a、13b而输入的来自被摄体的各部位的光,并输出与该光的强度相对应的电信号。
摄像元件14a为实际图像摄影用元件,设置在摄影镜头13a的光轴Ka上。该摄像元件14a为了获得实际图像而在可见光区域具有灵敏度,在其前面呈拜尔(Bayer)排列状配置有彩色滤光片。另外,还存在配置用于截止IR(红外线)区域的光的滤光片的情况。
摄像元件14b为位置偏移检测用元件,设置在摄影镜头13b的光轴Kb上。该摄像元件14b是单色(monochrome)摄像元件,未配置彩色滤光片、IR截止滤光片、UV(紫外线)截止滤光片等滤光片类。而且,该摄像元件14b具有连微小的光都可检测的高灵敏度的特性,即使在低照度的摄影时也能够鲜明地摄影被摄体的外形的特征等。这两个摄像元件14a、14b具有相同像素大小、相同像素数,在摄影时被同时驱动。
图4是表示第一实施方式的数码相机的电路构成的框图。
数码相机10具备实际图像摄影用的摄像元件14a和位置偏移检测用的摄像元件14b。如上所述,摄像元件14a是在可见光区域具有灵敏度、具备彩色滤光片的光电转换元件。摄像元件14b是在可见光区域以外的IR区域也具有灵敏度、不具备彩色滤光片等而即使在低照度时也可高灵敏度摄影的单色的光电转换元件。
定时发生器(TG)21控制这两个摄像元件14a、14b的摄影时刻。AD转换器(ADC)22将从摄像元件14a输出的电信号转换为数字的图像数据。存储器23是实际图像用的存储器,将从摄像元件14a经由AD转换器22获得的图像数据作为实际图像存储一张份。AD转换器(ADC)24将从摄像元件14b输出的电信号转换为数字的图像数据。存储器25是位置偏移检测用的存储器,将从摄像元件14b经由AD转换器24获得的图像数据存储一张份。
CPU26是用于进行数码相机10的动作控制的计算机,通过读入在未图示的ROM等中存储的程序,按照该程序中记述的顺序执行各种处理。
该CPU26中设置有图像生成部27、位置偏移检测部28、位置补正部29。另外,它们功能性地表示由CPU26执行的处理。
图像生成部27根据在存储器25中存储的图像数据生成容易算出位置偏移的图像,并存储到存储器31或存储器32中。该存储器31、32都是为检测位置偏移而准备的存储器,此处,将由连续摄影而依次获得的多张图像数据中的第一张图像数据作为参照图像存储到存储器31中,第二张以后的图像数据依次逐个作为测量图像,存储到存储器32中。
位置偏移检测部28比较存储器31中存储的参照图像与存储器32中存储的测量图像,算出由手抖动引起的图像间的位置偏移。位置补正部29基于由该位置偏移检测部28算出的位置偏移量,补正存储器23中存储的图像数据也就是实际图像,并供给到加法平均部33。
加法平均部33是加法平均由连续摄影依次获得的图像数据的各像素的亮度值而生成一张合成图像的部分,此处,将由位置补正部29位置补正后的实际图像作为合成对象进行加法平均,将该结果存储到后段的存储器34中。另外,对相当于参照图像的第一张实际图像,直接存储到存储器34中,第二张以后的实际图像依次重叠到该第一张实际图像(最初的图像)上。
外部存储器35是将由加法平均部33在存储器34内作成的合成图像作为手抖动补正后的摄影图像而存储、保存的存储器。另外,实际上,例如根据JPEG(Joint Photograph coding Experts Group)等而压缩处理后保存到外部存储器35中。作为该外部存储器35,例如可使用闪存器(flashmemory)等。
下面,说明第一实施方式的动作。
另外,以下的流程图中所示的处理,通过作为微型计算机的CPU26读入规定的程序而执行。
图5是表示第一实施方式的数码相机的图像处理的动作的流程图,表示了通过将由连续摄影获得的多张图像数据(静止图像)对位合成,从而作成补正手抖动后的图像时的处理的流程。
首先,根据实际图像摄影用的摄像元件14a的输出状况设定对摄像元件14a的增益及曝光时间。另外,曝光时间被设定为即使摄影时发生手抖动,摄影后的图像也没有较大地模糊的程度的值。例如,希望在125msec以下。对位置偏移检测用的摄像元件14b也设定相同的曝光时间,并且设定与ADC输出范围一致的增益(步骤A11)。
若按下快门键12而指示摄影,则按照所述步骤A11中设定的增益及曝光时间在相同的时刻驱动摄像元件14a与摄像元件14b,并经由各自对应的AD转换器22、23而将一张份的图像数据分别存储到存储器23、25中(步骤A12)。
存储器25中存储的第一张图像数据通过图像生成部27以容易算出位置偏移的方式被图像处理之后,作为参照图像存储到存储器31中(步骤A13)。另一方面,存储器23中存储的第一张图像数据不经过位置补正处理及加法平均处理而直接作为最初的图像存储到存储器34中(步骤A14)。
接着,判断需要合成的既定张数份的图像的处理是否已经结束(步骤A18)。若未达到既定张数(步骤A18的“否”),则返回步骤A12,以规定的时间间隔连续执行第二张以后的摄影。该情况下,在第二张的摄影中由摄像元件14a获得的实际图像数据被保持在存储器23中,由摄像元件14b获得的位置偏移检测用的图像数据被存储到存储器25中之后,由图像生成部27进行图像处理并作为测量图像存储到存储器32中。此时,在存储器31中将第一张图像数据作为参照图像而保持。
存储器31中存储的参照图像与存储器32中存储的测量图像被供给到位置偏移检测部28,利用这两个图像数据算出由手抖动引起的图像间的位置偏移量(步骤A15)。
另外,作为位置偏移量的算出方法,除例如特开平10-173992号中公开的方法以外还有各种方法。在本发明中,并非特别限定于这些方法,也可以由公知的方法进行位置偏移量的算出。
由该位置偏移检测部28获得的位置偏移量被供给到位置补正部29。在位置补正部29中,基于所述位置偏移量将所述存储器23中保持的第二张实际图像的位置补正为与最初的图像一致(步骤A16)。
该位置偏移补正后的第二张实际图像被供给到加法平均部33,并对构成该实际图像的各像素的亮度值、与存储器34中已经存储的最初的图像的各像素的亮度值进行加法平均(步骤A17)。
然后,同样连续地进行既定张数份的摄影,在第二张以后获得的实际图像相对于最初的图像被位置偏移补正并依次被加法平均处理,其合成图像在存储器34中生成。
对该加法平均处理进行说明,一般同一点的信号的相关高,若进行n次加法则可获得n倍的值。另一方面,由于若设想杂音为不规则杂音,则通过多次平均(时间平均)成为0,因此SN比通过N次的累积平均提高
Figure C20061011084100091
倍。因此,通过合成多次的摄像结果,有效的曝光时间变长,输出成为合成图像的n倍,灵敏度增加n倍,并且图像的SN比提高
Figure C20061011084100092
倍。
若既定张数份的图像的处理结束(步骤A18的“是”),则存储器34中生成的合成图像作为补正了手抖动后的图像被输出到外部存储器35,并以规定的方式被压缩保存(步骤A19)。
于是,通过除实际图像摄影用的摄像元件14a以外还使用具有高灵敏度特性的摄像元件14b同时进行摄影,因此即使在低照度下的摄影,也能够从由摄像元件14b依次获得的图像数据提取被摄体的特征点,并正确地算出位置偏移量。因此,基于该位置偏移量,对由摄像元件14a依次获得的实际图像进行对位并重叠,从而能够获得补正了手抖动成分后的鲜明的图像。
(第二实施方式)
下面,对本发明的第二实施方式进行说明。
在所述第一实施方式中,2组光学系统的视场角及倍率相同,而且,对应于这些光学系统而设置的2组摄像元件的大小及像素数也相同。但是,如图6及图7所示,即使不一定使用相同特点的元件也能实现。图6的例子表示摄影镜头13a、13b的倍率不同、摄像元件14a、14b的大小及像素数不同的情况。图7的例子进而表示摄影镜头13a、13b的视场角不同的情况。
图8是表示第二实施方式的数码相机的电路构成的框图。另外,对与图4(第一实施方式)的构成相同的部分标注相同符号,并省略以下的说明。
在图8中,与图4的不同之处在于,在CPU26中具备光学元件补正部30。该光学元件补正部30考虑分别从实际图像摄影用的摄像元件14a与位置偏移检测用的摄像元件14b获得的图像数据的不同之处,使由位置偏移检测部28算出的位置偏移量对应于由摄像元件14a获得的图像数据的坐标系。
在位置补正部29中,利用基于该光学元件补正部30的补正后的位置偏移量,补正存储器23中存储的图像数据也就是实际图像的位置。
下面,对作为第二实施方式的动作进行说明。
另外,以下的流程图中所示的处理,通过作为微型计算机的CPU26读入规定的程序而执行。
图9是表示第二实施方式的数码相机的图像处理的动作的流程图,表示了通过将由连续摄影获得的多张图像数据(静止图像)对位合成,从而作成补正手抖动后的图像时的处理的流程。
基本的处理的流程与所述第一实施方式中的图5的流程图相同,不同之处在于步骤B16中添加有光学元件补正。
首先,根据实际图像摄影用的摄像元件14a的输出状况设定对摄像元件14a的增益及曝光时间。并且,对位置偏移检测用的摄像元件14b也设定相同的曝光时间,且设定与ADC输出范围一致的增益(步骤B11)。
若通过快门键12的按下操作而指示摄影,则按照所述步骤B11中设定的增益及曝光时间在相同的时刻驱动摄像元件14a与摄像元件14b,并经由各自对应的AD转换器22、23而一张份的图像数据被分别存储到存储器23、25中(步骤B 12)。
存储器25中存储的第一张图像数据通过图像生成部27以容易算出位置偏移的方式被图像处理之后,作为参照图像存储到存储器31中(步骤B13)。另一方面,存储器23中存储的第一张图像数据不经过位置补正处理及加法平均处理而直接作为最初的图像存储到存储器34中(步骤B14)。
接着,判断需要合成的既定张数份的图像的处理是否已经结束(步骤B19)。若未达到既定张数(步骤B19的“否”),则返回步骤B12,并以规定的时间间隔连续执行第二张以后的摄影。该情况下,在第二张的摄影中由摄像元件14a获得的实际图像数据保持在存储器23中,由摄像元件14b获得的位置偏移检测用的图像数据存储到存储器25中之后,通过图像生成部27而被图像处理之后作为测量图像存储到存储器32中。此时,在存储器31中将第一张图像数据作为参照图像而保持。
存储器31中存储的参照图像与存储器32中存储的测量图像被供给到位置偏移检测部28,利用这两个图像数据算出由手抖动引起的图像间的位置偏移量(步骤B15)。
此处,在第二实施方式中,由位置偏移检测部28算出的位置偏移量被供给到光学元件补正部30。在摄像元件14a、14b的大小及像素数不同的情况下,即使为相同的移动量,以各自的像素单位数出的大小也不同。在位置偏移检测部28中,基于摄像元件14a、14b的大小及像素数的不同,使由图像B算出的位置偏移量对应于图像A的坐标系而进行补正。即使在摄影镜头13a、13b的倍率或视场角不同的情况下也相同,基于该光学系统的倍率或视场角的不同,使所述位置偏移量对应于图像A的坐标系而进行补正(步骤B16)。
这样补正后的位置偏移量被供给到位置补正部29。在位置补正部29中,基于该补正后的位置偏移量,将所述存储器23中保持的第二张实际图像的位置补正为与最初的图像一致(步骤B17)。
该位置偏移补正后的第二张实际图像被供给到加法平均部33,对构成该实际图像的各像素的亮度值、与存储器34中已经存储的最初的图像的各像素的亮度值进行加法平均(步骤B18)。
然后,同样连续地进行既定张数份的摄影,在第二张以后获得的实际图像相对于最初的图像被位置偏移补正并依次被加法平均处理,其合成图像在存储器34中生成。
若既定张数份的图像的处理结束(步骤B19的是),则存储器34中生成的合成图像作为补正了手抖动后的图像被输出到外部存储器35中,并以规定的方式被压缩、保存(步骤B20)。
于是,即使在实际图像摄影用与位置偏移检测用的光学系统及摄像元件不同的情况下,通过使由位置偏移检测用的摄像元件获得的图像间的位置偏移量对应于由实际图像摄影用的摄像元件获得的图像的坐标系而进行补正,从而能够获得与所述第一实施方式同样的效果。
(第三实施方式)
下面,对本发明的第三实施方式进行说明。
在所述第一实施方式及第二实施方式中,在实际图像摄影用与位置偏移检测用中分别设定有摄影镜头13a、13b。对此,在第三实施方式中,如图10所示,采用如下构成:光学系统是一个摄影镜头13a,将通过该摄影镜头13a而入射的光由冷光镜(cold mirror)16分离成可见光和红外光。
冷光镜16以倾斜成规定的角度的状态设置在摄影镜头13a的光轴上,在该光轴上的后段配置有位置偏移检测用的摄像元件14b。而且,在冷光镜16的反射侧配置有实际图像摄影用的摄像元件14a。
图11是表示冷光镜16的反射特性的图,具有反射波长为400~700nm的可见光,透过700nm以上的红外光的特性。
在这种构成中,摄影时通过摄影镜头13a而入射的光的可见光成分由冷光镜16反射并被供给到摄像元件14a。另一方面,红外光成分通过冷光镜16被供给到摄像元件14b。因此,作为摄像元件14b,若使用在红外光区域具有高灵敏度特性的摄像元件,则即使在低照度下的摄影,也能高精度地检测图像间的位置偏移量,并通过图像合成能够得到手抖动补正后的图像。
(应用例)
另外,在所述第一及第二实施方式中,以静止图像为摄影的例子进行说明,但本发明的方法还可适用于动态图像的摄影中。
即,在静止图像中,通过对由连续摄影获得的多张图像进行对位并重叠,从而提高低照度下的SN比,获得无手抖动的图像。但是,即使不进行图像合成,若采用将由位置偏移检测用的摄像元件获得的图像间的位置偏移量适用于实际图像并实时地输出的构成,则对动态图像的手抖动也能同样地补正。
该情况下的图像处理在图12中表示。对于该图12的流程图中所示的处理,也通过作为微型计算机的CPU26读入规定的程序而执行。另外,在电路构成中未特别图示,但若以所述第一实施方式中的图4的构成为例,则能够通过去除作为图像合成的要素的加法平均部33与存储器34而实现。
以图4的构成为例,若简单地说明动画摄影时的处理,则在设定两个摄像元件14a、14b的增益及曝光时间之后(步骤C11),伴随快门键12的按下操作,开始摄影(步骤C12)。
与静止图像摄影时同样,摄像元件14a作为实际图像摄影用而使用,由该摄像元件14a以帧单位依次获得的各图像数据经由AD转换器22被存储到存储器23中。另一方面,摄像元件14b作为位置偏移检测用而使用,由该摄像元件14b以帧单位依次获得的各图像数据经由AD转换器24被存储到存储器25中。
此处,存储器25中存储的各图像数据,通过图像生成部27被图像处理之后,交替地存储到存储器31、32中(步骤C13)。该存储器31、32中存储的两个图像数据被供给到位置偏移检测部28,利用这两个图像数据算出由手抖动引起的图像间的位置偏移量(步骤C14)。并且,基于该位置偏移量,存储器23中存储的实际图像的位置由位置补正部29进行补正(步骤C15)。
于是,利用由摄像元件14b依次获得的位置偏移检测用的各图像数据,算出位置偏移量,并实时适用于由摄像元件14a依次获得的实际图像用的各图像数据,补正由手抖动引起的位置偏移。这种处理例如直到存在基于再次按下快门键12的动态图像摄影的结束指示的期间反复进行。若存在动态图像摄影的结束指示(步骤C16的“是”),则由位置补正后的各图像构成的动态图像数据以规定的方式被压缩处理并保存到外部存储器35中(步骤C17)。
另外,即使对这种动态图像摄影,也可适用所述第二实施方式。即,即使摄影镜头13a、13b或摄像元件14a、14b并不完全相同,也可通过具备图8所示的光学元件补正部30而应对。
进而,本发明除数码相机之外,例如带相机的移动电话机等,只要是具备摄影功能的电子设备,则所有这些均可适用,并能够获得同样的效果。
总之,本发明并非那样限定于所述各实施方式,在实施阶段中,在不脱离其宗旨的范围内可变形构成要素并使其具体化。而且,可通过所述各实施方式中公开的多个构成要素的适当的组合,形成各种发明。例如,可从实施方式所示的全部构成要素中删除几个构成要素,进一步,还可在不同的实施方式内适当组合构成要素。
进一步,在上述的实施方式中记载的方法作为可由计算机执行的程序,可写入例如磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD-ROM等)、半导体存储器等记录介质中而适用于各种装置,或还可通过网络等传输介质传输该程序本身而使用于各种装置。实现本装置的计算机读入记录介质中记录的程序或经由传输介质提供的程序,通过由该程序控制动作,从而执行上述的处理。

Claims (8)

1.一种摄像装置,具备:
第一摄像元件,用于实际图像摄影,摄影被摄体;
第二摄像元件,用于位置偏移检测,具有比该第一摄像元件更高的灵敏度的特性;
摄影机构,同时驱动所述第一及第二摄像元件,进行被摄体的摄影;
位置偏移检测机构,在基于该摄影机构的摄影时,对由所述第二摄像元件连续地获得的至少2张图像数据进行比较,算出由摄影时的手抖动引起的图像间的位置偏移量;和
位置补正机构,基于由该位置偏移检测机构获得的位置偏移量,补正由所述第一摄像元件获得的图像数据的位置。
2.根据权利要求1所述的摄像装置,其特征在于,
包括光学元件补正机构,其考虑分别由所述第一及第二摄像元件获得的图像数据的不同,使由所述位置偏移检测机构获得的位置偏移量对应于由所述第一摄像元件获得的图像数据的坐标系,
所述位置补正机构,基于根据该光学元件补正机构的补正后的位置偏移量,补正由所述第一摄像元件获得的图像数据的位置。
3.根据权利要求1所述的摄像装置,其特征在于,
所述第一摄像元件是具备彩色滤光片的摄像元件,
所述第二摄像元件是不具备彩色滤光片的单色摄影用的摄像元件。
4.根据权利要求1所述的摄像装置,其特征在于,
所述第一摄像元件在可见光区域具有灵敏度,
所述第二摄像元件在可见光区域以外具有灵敏度。
5.根据权利要求1所述的摄像装置,其特征在于,
包括:
第一摄影镜头,设置在装置主体上;和
第二摄影镜头,与该第一摄影镜头并列设置,
所述第一摄像元件接受经由所述第一摄影镜头而入射的光,所述第二摄像元件接受经由所述第二摄影镜头而入射的光。
6.根据权利要求1所述的摄像装置,其特征在于,
包括:
一个摄影镜头,设置在所述摄像装置主体上;和
分离机构,将经由该摄影镜头而入射的光,通过对其第一波长成分与第二波长成分中的一方进行反射并让另一方透射,来进行分离,
所述第一摄像元件接受由所述分离机构分离的第一波长成分的光,所述第二摄像元件接受由所述分离机构分离的第二波长成分的光。
7.根据权利要求6所述的摄像装置,其特征在于,
所述分离机构将经由所述摄影镜头而入射的光分离成可见光区域的波长成分和红外光区域的波长成分,
所述第一摄像元件在可见光区域具有灵敏度,
所述第二摄像元件在红外光区域具有灵敏度。
8.一种图像处理方法,在摄像装置中使用,所述摄像装置具备:第一摄像元件,用于实际图像摄影,摄影被摄体;和第二摄像元件,用于位置偏移检测,具有比该第一摄像元件更高的灵敏度的特性,
所述图像处理方法包括:
第一步骤,同时驱动所述第一及第二摄像元件,进行被摄体的摄影;
第二步骤,在基于该第一步骤的摄影时,对由所述第二摄像元件连续地获得的至少2张图像数据进行比较,算出由摄影时的手抖动引起的图像间的位置偏移量;和
第三步骤,基于由该第二步骤获得的位置偏移量,补正由所述第一摄像元件获得的图像数据的位置。
CNB2006101108413A 2005-08-15 2006-08-15 摄像装置及图像处理方法 Expired - Fee Related CN100442827C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005235271 2005-08-15
JP2005235271A JP4529840B2 (ja) 2005-08-15 2005-08-15 撮像装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN1917587A CN1917587A (zh) 2007-02-21
CN100442827C true CN100442827C (zh) 2008-12-10

Family

ID=37738467

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101108413A Expired - Fee Related CN100442827C (zh) 2005-08-15 2006-08-15 摄像装置及图像处理方法

Country Status (3)

Country Link
US (1) US7542666B2 (zh)
JP (1) JP4529840B2 (zh)
CN (1) CN100442827C (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1701595B (zh) * 2003-02-25 2010-04-28 松下电器产业株式会社 图象摄影处理方法及图象摄影装置
JP4345651B2 (ja) * 2004-11-29 2009-10-14 セイコーエプソン株式会社 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置
CN101681081B (zh) * 2007-06-20 2011-12-28 松下电器产业株式会社 成像模糊校正装置以及摄影装置
US8098957B2 (en) * 2008-02-13 2012-01-17 Qualcomm Incorporated Shared block comparison architechture for image registration and video coding
JP5197083B2 (ja) * 2008-03-21 2013-05-15 キヤノン株式会社 撮像装置及びその制御方法
US8736751B2 (en) * 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
JP2012119726A (ja) * 2009-03-27 2012-06-21 Panasonic Corp 撮像装置およびテレビドアホン装置
JP4994422B2 (ja) * 2009-05-13 2012-08-08 リズム時計工業株式会社 検知システム、検知システムの信号処理方法、および、煙感知器
JP5540899B2 (ja) * 2010-06-01 2014-07-02 日本電気株式会社 撮像装置,これを搭載する携帯端末機,撮像装置の制御方法,およびプログラム
CN102883099B (zh) * 2011-07-14 2015-03-11 中国移动通信有限公司 一种拍摄防抖方法及装置
CN104253934A (zh) * 2013-06-26 2014-12-31 中兴通讯股份有限公司 检测抖动的方法及系统
CN104093014A (zh) * 2014-07-21 2014-10-08 宇龙计算机通信科技(深圳)有限公司 图像处理方法和图像处理装置
CN106303203B (zh) * 2015-06-10 2019-06-25 联想(北京)有限公司 一种信息处理方法及电子设备
US10341565B2 (en) * 2016-05-10 2019-07-02 Raytheon Company Self correcting adaptive low light optical payload
CN107071263B (zh) * 2016-12-30 2020-02-18 努比亚技术有限公司 一种图像处理方法及终端
CN107040722B (zh) 2017-04-27 2019-02-15 维沃移动通信有限公司 一种拍摄方法及移动终端
CN110678116B (zh) * 2017-06-05 2022-11-04 索尼公司 医疗系统和控制单元

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618973A (ja) * 1992-07-03 1994-01-28 Nikon Corp カメラの手振れ表示装置
US5459542A (en) * 1992-12-25 1995-10-17 Canon Kabushiki Kaisha Image-blur preventing apparatus
JPH11275451A (ja) * 1998-03-20 1999-10-08 Canon Inc 撮像方法及び装置並びに記憶媒体
JP2003280057A (ja) * 2002-03-22 2003-10-02 Ricoh Co Ltd 振れ補正機能付き撮影装置
JP2004077686A (ja) * 2002-08-14 2004-03-11 Ricoh Co Ltd 振れ補正カメラ
JP2005049591A (ja) * 2003-07-28 2005-02-24 Nikon Corp 撮影レンズ、およびカメラシステム
CN1638440A (zh) * 2004-01-06 2005-07-13 株式会社尼康 电子照相机

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336578A (ja) * 1994-06-08 1995-12-22 Asahi Optical Co Ltd 電子カメラ
JPH09329820A (ja) * 1996-06-11 1997-12-22 Minolta Co Ltd 手ブレ補正カメラ
JPH10173992A (ja) 1996-12-10 1998-06-26 Nec Corp 画像修正装置
JPH11155096A (ja) * 1997-11-21 1999-06-08 Canon Inc 撮像装置、コンピュータ読み取り可能な記憶媒体及び画像処理装置
JP2000066261A (ja) * 1998-08-19 2000-03-03 Nikon Corp ブレ検出装置、ブレ補正カメラ及び交換レンズ
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2004254945A (ja) * 2003-02-26 2004-09-16 Nidek Co Ltd 眼底カメラ
US20050052570A1 (en) * 2003-08-21 2005-03-10 Pentax Corporation Image pickup apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618973A (ja) * 1992-07-03 1994-01-28 Nikon Corp カメラの手振れ表示装置
US5459542A (en) * 1992-12-25 1995-10-17 Canon Kabushiki Kaisha Image-blur preventing apparatus
JPH11275451A (ja) * 1998-03-20 1999-10-08 Canon Inc 撮像方法及び装置並びに記憶媒体
JP2003280057A (ja) * 2002-03-22 2003-10-02 Ricoh Co Ltd 振れ補正機能付き撮影装置
JP2004077686A (ja) * 2002-08-14 2004-03-11 Ricoh Co Ltd 振れ補正カメラ
JP2005049591A (ja) * 2003-07-28 2005-02-24 Nikon Corp 撮影レンズ、およびカメラシステム
CN1638440A (zh) * 2004-01-06 2005-07-13 株式会社尼康 电子照相机

Also Published As

Publication number Publication date
JP4529840B2 (ja) 2010-08-25
US20070036530A1 (en) 2007-02-15
CN1917587A (zh) 2007-02-21
US7542666B2 (en) 2009-06-02
JP2007053427A (ja) 2007-03-01

Similar Documents

Publication Publication Date Title
CN100442827C (zh) 摄像装置及图像处理方法
CN101064792B (zh) 拍摄设备和方法
RU2523083C2 (ru) Устройство съемки изображений, устройство обработки изображений и способ обработки изображений для формирования вспомогательной информации для снятого изображения
US7834931B2 (en) Apparatus and method for capturing an image using a flash and a solid-state image pickup device
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
CN104601904B (zh) 摄像设备、摄像方法和控制方法
KR100819810B1 (ko) 촬상 장치 및 촬상 방법
CN105516582B (zh) 摄像装置以及摄像装置的控制方法
US20060092297A1 (en) Method and apparatus for removing hot pixels in a digital camera
CN101287074B (zh) 摄像设备、摄像系统、摄像设备的驱动方法
CN108024053A (zh) 摄像装置、焦点调节方法和记录介质
CN105721741B (zh) 摄像装置、图像处理装置以及摄像方法
CN103004179A (zh) 跟踪装置和跟踪方法
CN105594196B (zh) 摄像装置和摄像方法
CN107306326A (zh) 摄像装置和摄像方法
US7400355B2 (en) Image pickup apparatus and photometer
KR100242014B1 (ko) 디지털 스틸 카메라의 셔터 속도 제어 장치 및 방법
JP2003101862A (ja) 撮像装置および撮像方法
KR20060056235A (ko) 자동 촬상 장치 및 자동 촬상 장치의 제어용 프로그램
JP4187512B2 (ja) 撮像装置
JP2007243320A (ja) 電子式スチルカメラ及び撮影方法
JP2005039365A (ja) ディジタル・カメラおよびその制御方法
CN106303212B (zh) 拍摄装置和拍摄方法
JP2006253875A (ja) 撮像装置
JP2008028924A (ja) 撮像装置及び撮像装置の制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1101000

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1101000

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081210

Termination date: 20200815