CN1574898A - 图像摄取装置 - Google Patents

图像摄取装置 Download PDF

Info

Publication number
CN1574898A
CN1574898A CNA200410046212XA CN200410046212A CN1574898A CN 1574898 A CN1574898 A CN 1574898A CN A200410046212X A CNA200410046212X A CN A200410046212XA CN 200410046212 A CN200410046212 A CN 200410046212A CN 1574898 A CN1574898 A CN 1574898A
Authority
CN
China
Prior art keywords
image
mentioned
composograph
zone
photography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200410046212XA
Other languages
English (en)
Other versions
CN100413320C (zh
Inventor
鹫巢晃一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1574898A publication Critical patent/CN1574898A/zh
Application granted granted Critical
Publication of CN100413320C publication Critical patent/CN100413320C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像摄取装置,用摄像元件摄取第1和第2图像,该图像摄取装置包括:控制装置,检测上述第2图像相对于作为基准图像的上述第1图像的位移量,并在被摄物体观察阶段和摄影阶段进行预定的处理;以及显示单元,可以显示上述第1和第2图像。

Description

图像摄取装置
技术领域
本发明涉及可以校正因手的抖动而产生的图像晃动从而获得高精度的图像的数字照相机等的图像摄取装置。
背景技术
当前的照相机,曝光设定和对焦等对摄影来说重要的操作已全部自动化,即使对照相机操作尚不熟练的人,产生失败的拍摄的可能性也非常小。
另外,最近以来,还在研究抑制因施加在照相机上的手的抖动而产生的图像晃动的系统,导致摄影者拍摄失败的主要因素几乎都已不存在了。
这里,简单地说明抑制图像晃动的防抖动系统。
施加在照相机上的手的抖动,通常是频率为1Hz~10Hz的振动。作为在摄影时即使发生了上述手的抖动也仍能得到无图像晃动的摄影图像的一种基本思路,必须检测因手的抖动而引起的照相机的振动并根据该检测结果使校正透镜在光轴正交面内移动(光学防抖动系统)。
即,为了在照相机受到振动的情况下也能得到不产生图像晃动的摄影图像,第一,必须精确地检测照相机的振动,第二,必须对上述振动所引起的光轴变化进行校正。
对施加于照相机的振动的检测,从原理上说,可以通过在照相机内装载检测加速度、角加速度、角速度、角位移等并对该检测结果进行适当运算处理的振动检测单元来进行。然后,通过驱动根据来自振动检测单元的照相机振动的检测信息校正摄影光轴的偏移的晃动校正光学单元(包含校正透镜),来进行图像晃动的校正。
另一方面,还有这样一种方法,即,用不会产生图像晃动的程度的曝光时间反复进行多次摄影动作,对由此得到的多个图像,一边进行图像晃动校正,一边进行合成,从而获得摄影图像(合成图像)。在日本专利公报(Japanese Patent Publication)第3110797号(以下,称文献1)中公开了这种方法。
发明内容
最近的数字照相机,与银盐胶片式小型照相机相比,尺寸越来越小,特别是,具有VGA级的摄像元件的照相机,已可以小型化到内藏于便携式电子设备(例如,便携式电话机)的程度。
在这种情况下,要想在照相机内装载上述光学防抖动系统,就必须使偏移校正光学单元进一步小型化、或使振动检测单元小型化。
但是,在偏移校正光学单元中,必需支承校正透镜并对其进行高精度的驱动,因而在小型化上是有限度的。另外,当前使用着的振动检测单元大部分都利用惯性力,所以如使振动检测单元小型化则检测灵敏度降低,因而存在着不能进行高精度的偏移校正的问题。
进而,作为施加于照相机的抖动,有以预定的轴为中心的角度抖动、使照相机平行晃动的位移抖动。虽然,角度抖动可以用光学防抖动系统进行校正,但是,位移抖动就很难校正了。在这种情况下,存在着照相机的尺寸越小,位移抖动越大的倾向。
另一方面,作为其他的防抖动系统,诸如在摄像机的动图像摄影中所使用的那样,还有一种这样的方法,即,检测从摄像元件读出的图像的移动矢量,并根据该移动矢量变更图像的读出位置,从而获得无图像晃动的动图像。
在上述方法的情况下,由于不需要在上述光学防抖动系统中使用的振动检测单元和偏移校正光学单元(包括校正透镜),所以具有能使照相机小型化的优点。
但是,不能将在摄像机中使用的防抖动系统简单地应用于数字照相机。其理由说明如下。
移动矢量的抽取,在每次读出图像时都要进行,例如,若1秒内取出15帧图像,则要对该取出后的各图像进行比较并检测移动矢量。
可是,当用数字照相机拍摄静止图像时,由于对摄像元件只进行一次曝光,所以不能象摄像机那样地进行图像的比较并检测移动矢量。
因此,不能将摄像机的防抖动系统简单地应用于数字照相机。
另外,在文献1的方法中,由于要反复进行多次的摄影动作,所以将使摄影时间延长。
在静止被摄物体的情况下,这并不成问题。但是,当被摄物体像人物那样稍有一点移动时,都将产生被摄物体侧的晃动(被摄物体晃动),因此,即使能够抑制因手的抖动而产生的图像晃动,也不能抑制因被摄物体晃动而导致的图像恶化。
另外,如果像摄像机那样地根据移动矢量总是校正构图的偏移,则即使通过摇镜头操作等有意识地摇动了照相机时,生成的摄影图像依然被锁定在摄影开始时的被摄物体,因而不能借助于照相机的图像位置调整(Framing Operation)获得摄影者想要拍摄的图像。
为此,通过特意地使移动矢量信号(位移信号)的低频分量衰减,提高摄像机的使用灵活性。但是,这可以说是降低防抖动精度,即使将所得到的多个图像合成,也不能获得进行了高精度的偏移校正的图像。
本发明的一种图像摄取装置,用摄像元件摄取第1和第2图像,其特征在于,包括:控制装置,检测出上述第2图像相对于作为基准图像的上述第1图像的位移量,在被摄物体观察阶段和摄影阶段进行预定的处理;以及显示单元,可以显示上述第1和第2图像;其中,上述控制装置,在被摄物体观察阶段,根据上述位移量,确定在上述第1和第2图像中显示在上述显示单元上的区域,并以预定的周期将该区域内的图像依次显示在上述显示单元上;在摄影阶段,根据上述位移量,使上述第2图像与上述第1图像相一致地合成上述第1和第2图像,生成曝光补偿后的合成图像。
本发明的另一种图像摄取装置,合成用摄像元件依次取得的第1和第2图像,得到进行了曝光补偿的合成图像,该图像摄取装置的特征在于,包括:
检测部,检测上述第2图像相对于作为基准图像的上述第1图像的位移量;坐标变换部,根据上述检测部的检测结果,对上述第2图像进行坐标变换,以使上述第2图像与上述第1图像相一致;合成部,合成上述第1图像和由上述坐标变换部进行坐标变换后的上述第2图像,生成上述合成图像;显示上述合成图像的显示单元;以及记录上述合成图像的记录部;进行以预定周期将上述合成图像依次显示在上述显示单元上的显示动作,以及以预定周期将上述合成图像依次记录在上述记录部内的记录动作中的至少一个动作。
本发明的摄影装置的特征,从以下参照附图进行的具体实施方式的说明将看得很清楚。
附图说明
图1是表示作为本发明的实施方式1的照相机的结构的框图。
图2是用于说明本发明的实施方式1中的坐标变换处理的图。
图3A和图3B是用于说明本发明的实施方式1中的特征点抽取区域的图。
图4是用于说明本发明的实施方式1中的图像合成处理的图。
图5A~图5C是表示在本发明的实施方式1中在被摄物体观察阶段和摄影阶段得到的图像的图。
图6是表示在本发明的实施方式1中所拍摄的图像及所显示的图像的图。
图7是表示作为本发明的实施方式1的照相机的摄影动作的流程图。
图8是表示本发明的实施方式1中的高通滤波器的作用的子例程。
图9是本发明的实施方式1中的防抖动特性的方向的说明图。
图10是表示本发明的实施方式1中的防抖动特性的曲线图。
图11是表示本发明的实施方式1中的高通滤波器的作用的子例程。
图12是表示本发明的实施方式1中的摄影处理动作的时序图。
图13是本发明的实施方式2中的特征点抽取区域的说明图。
图14是表示本发明的实施方式3中的摄影动作的流程图。
图15是本发明的实施方式3中的图像显示的说明图。
图16A~图16C是本发明的实施方式3中的所拍摄的图像状态的说明图。
图17是本发明的实施方式4中的防抖动特性的说明图。
图18是表示作为本发明的实施方式4的照相机的摄影动作的流程图。
图19是本发明的实施方式5中的防抖动特性的说明图。
图20是表示作为本发明的实施方式5的照相机的摄影动作的流程图。
具体实施方式
(实施方式1)
图1是表示作为本发明的实施方式1的照相机(摄影装置)的结构的图。从摄影镜头11入射的光束(摄影光束),由光圈13a进行光量限制,并在通过了快门12a后到达摄像元件19的受光面。摄像元件19,由MOS或CCD等半导体摄像元件构成。此外,在图1中只示出1个摄影镜头,但实际上设置着多个摄影镜头(包括聚焦镜头和变焦镜头)。
摄影镜头11(聚焦镜头),接受来自AF驱动电机14a的驱动力,并沿光轴L移动,停止在预定的对焦位置上,从而进行焦点调节。AF驱动电机14a,通过接收来自调焦驱动电路14b的驱动信号,进行驱动。
另外,摄影镜头11(变焦镜头),接受来自变焦驱动电机15a的驱动力,沿光轴L移动并停止在预定的变焦位置上,从而变更摄影光学系统的焦距。变焦驱动电机15a,通过接收来自变焦驱动电路15b的驱动信号,进行驱动。
光圈13a,具有多个光圈叶片,这些光圈叶片,通过接受来自光圈驱动单元13b的驱动力而动作,从而改变成为光通过孔的开孔面积(光圈孔径)。快门12a,具有多个快门叶片,这些快门叶片,通过接受来自快门驱动单元12b的驱动力而开闭成为光通过孔的开孔部。由此,控制入射到摄像元件19的光束的光量。
并且,变焦驱动电路15b、调焦驱动电路14b、光圈驱动单元13b、快门驱动单元12b、照明驱动电路16b及发声驱动电路17b的驱动,由摄影控制电路18进行控制。
另外,摄影控制电路18,通过摄像元件驱动电路16控制摄像元件19的动作(电荷累积动作、读出所累积的电荷的动作)。
释放操作开关12c、光圈操作开关13c、变焦操作开关15c、照明操作开关16c及防抖动操作开关17c的操作信号,输入到摄影控制电路18。摄影控制电路18,响应所输入的操作信号,控制调焦驱动电路14b、变焦驱动电路15b、光圈驱动单元13b、快门驱动单元12b、照明驱动电路16b的驱动。
摄影控制电路18,根据被后述的信号处理电路111取入的图像信号进行被摄物体亮度的检测(测光),并根据该测光结果决定光圈13a的光圈孔径和快门12a的开启时间、以及是否使用照明单元16a。此外,摄影控制电路18,一边驱动调焦驱动电路14b、即移动摄影镜头11,一边根据来自信号处理电路111的输出,求取对焦位置(所谓的基于对比度检测方式的焦点调节)。
从摄像元件19输出的图像信号,由A/D转换器110转换为数字信号后输入到信号处理电路111。信号处理电路111,对所输入的信号进行形成亮度信号和色彩信号等的信号处理,而生成彩色图像信号。
然后,由信号处理电路111进行了信号处理的图像信号,输出到显示单元118,从而显示为摄影图像,而且,还输出到记录电路119并进行记录。
以下,说明在摄影者将照相机所设有的释放按钮(图中未示出)按下一半并在通过照相机观察着被摄物体的状态下进行摄影的情况。此外,摄影者操作防抖动操作开关17c,将照相机上的设定模式设定为防抖动模式。
首先,当摄影者进行将释放按钮按下一半的操作时,释放操作开关12c上的第1开关(SW1)接通,开始摄影准备动作(焦点调节动作和测光动作)。摄影控制电路18,根据由测光动作得到的测光值,决定快门12a的开启时间(曝光时间)和光圈13a的光圈孔径。此外,摄影控制电路18,根据信号处理电路111的输出,驱动调焦驱动电路14b,求取聚焦镜头的对焦位置。进而,摄影控制电路18,根据所测得的测光值等,进行照明单元16a的发光设定(闪光发光或平坦发光的照明)。
位移检测电路114,如后所述,从通过摄影动作得到的图像内抽取特征点,并计算出该特征点在摄像画面内的位置坐标。
这里,如图2所示,说明对人物以建筑物为背景站立着的被摄物体进行摄影的情况。
在这种情况下,当取得多个图像时,由于手的抖动有时会得到像图像121b那样的使构图相对于图像121a偏移后的图像。位移检测电路114,将位于比图像121a的中央区域更外侧的区域内的建筑物123a的亮度较高的点即窗户124a的边缘125a作为特征点取出。按同样方式,也从图像121b中将窗户124b的边缘125b作为特征点取出。然后,将特征点125a和特征点125b进行比较而求得差分,并按该差分对图像121b进行校正(坐标变换)。
例如,通过模板匹配等使特征点125a和特征点125b相对应并在图像121b内搜索与特征点125a对应的特征点125b,从而,根据图像121b和图像121a的转换所需要的时间、特征点125a与特征点125b的偏移,来计算移动矢量值。在图2中,对图像121b进行坐标变换,以使得图像121b的特征点125b沿箭头126的方向移动并与特征点125a重合。
这里,作为抽取特征点的区域,选择摄影画面的比中央区域更外侧的区域,对其理由说明如下。当进行摄影时,在多数情况下,使主要被摄物体位于画面中央附近、且主要被摄物体多数都是人物。在这种情况下,如将主要被摄物体选作特征点,则将因被摄物体的晃动而存在着不妥当之处。
即,当在取得多个图像时,不仅摄影者的手的抖动而且被摄物体的晃动都会重叠进来,因而成为基于被摄物体的晃动进行图像的坐标变换。
这里,由于根据被摄物体的晃动进行图像的坐标变换,因此,虽然可以认为能得到使主要被摄物体的构图变得适当的图像(无图像晃动的图像),但是,一般来说,人物的动作是复杂的,对图像晃动的检测精度在很大程度上要受到被选作特征点的部位的影响,有时不可能对整个主要被摄物体的晃动进行适当的校正。
例如,在将主要被摄物体(人物)的眼睛选作特征点时,会产生眨眼的影响,而当将手指选作特征点时,由于手很容易动,所以实际上与人物整体的晃动不同。如此,即使将人物中的1个点选作特征点并根据该特征点进行图像的坐标变换,也不能对人物整体进行适当的坐标变换。并且,即使对多个图像进行坐标变换并进行合成,由于各图像中的特征点的坐标的位置散乱,所以并不一定能够得到理想的图像(无图像晃动的图像)。
因此,如本实施方式所示,将背景之类的静止被摄物体选作特征点并根据该特征点进行图像的坐标变换,可以获得理想的图像。
坐标变换电路115,对特定的图像进行坐标变换处理,以使得由位移检测电路114检测出的特定图像内的特征点与在该特定图像之前1个所取得的图像内的特征点重合。
这里,坐标变换电路115,根据从位移检测电路114输出的图像数据,变更各取得图像中的图像切出区域的位置,并进行使各图像的特征点重合的坐标变换。即,在图2中,对图像121a,切出用实线围出的区域121c中的图像,对图像121b,切出用虚线围出的区域121d中的图像。
这里,根据与图2的特征点125a的位置对应的坐标关系,设定图像121a中的图像切出区域,从而在其后的图像中以各特征点(例如特征点125b)为基准决定切出图像的区域。即,在设定1个图像中的特征点与切出图像的区域的关系时,对其他图像,根据该其他图像中的特征点和上述关系决定切出图像的区域。
按上述那样所决定的图像切出区域的位置,成为用于图像显示的基准位置(显示基准位置),在进行图像显示时,通过仅使图像切出区域相一致地进行显示,能够显示出无图像晃动的稳定的图像。
另外,图像切出区域的大小设定为,对于被摄物体观察状态(观察由显示单元118显示的被摄物体图像)的所有的图像为一定。此外,如图2所示,图像切出区域(121c、121d)的外框与摄影图像(121a、121b)的外框之间留有相当的余量(间隔)。
这里,各摄影图像中的图像切出区域内的图像,显示相同的图像,但如使图像切出区域过大,则当因手的抖动产生的各图像间的构图偏移增大时,有时会象图2中以单点划线表示的图像切出区域121e那样,越出到摄影图像之外。因此,在本实施方式中,在所有的摄影图像内,使图像切出区域的大小小于预定的大小,以使得图像切出区域在各摄影图像之内。
由坐标变换电路115进行了坐标变换的各图像数据,被传送到信号切换电路112。
信号切换电路112,当用显示单元118进行被摄物体观察时,将坐标变换后的图像数据传送到第2图像校正电路117,当进行摄影动作时,将坐标变换后的图像数据传送到图像存储电路113。
被输入到了第2图像校正电路117的图像数据,在进行了灰度(gamma)校正和压缩处理后,输出到显示单元118。然后,在显示单元118中,在使各图像内的图像切出区域相一致的状态下,按照摄像周期(图像速率)进行显示(电子显示)。这里,当要拍摄的被摄物体较暗时,在第2图像校正电路117中进行图像信号的增益提升。
在显示单元118中,通过以每1/30秒的周期等显示图像数据,显示为动图像,但要进行动图像显示,就必须以比显示周期短的曝光时间来进行摄影动作。
当以较短的曝光时间进行摄影动作时,如被摄物体较暗,则所拍摄的图像曝光不足。因此,必须在提高图像信号的增益从而补偿了曝光的状态下显示图像。这里,随着增益提升处理将使噪声分量增加,但由于是动图像显示,且设在照相机背面等处的显示单元118尺寸很小,所以噪声并不那么显著。此外,增益提升处理,也可以在由摄像元件19进行摄影动作的阶段进行。
当摄影者用显示单元118观察着被摄物体图像时,如上所述地变更各图像切出区域的位置(显示基准位置),在显示单元118上连续地显示进行了坐标变换的图像,所以可以观察到无图像晃动的稳定的图像。
另外,在被摄物体观察状态下,位移检测电路114,对通过摄影动作取得的各图像的特征点进行相关运算,求取移动矢量,并根据该移动矢量检测图像的偏移。这里,如精确地按所求出的移动矢量对各图像进行坐标变换时,则在某些情况下是不适当的。
例如,当摄影者进行照相机的摇镜头拍摄等的图像位置调整时,因图像位置调整而引起的特征点的变化也被检测为移动矢量,则即使进行摇镜头操作,显示单元118上的显示画面也不会变化,而画面将被锁定在被摄物体上。
为避免发生上述的不适当的情况,在实际的偏移检测中,对于进行摄影动作期间的移动矢量的变化,根据移动矢量信号中的除去了低频分量后的信号进行坐标变换。
手的抖动大约为1~10Hz左右的周期振动,与此不同,摇镜头动作是频率比上述手的抖动频率低的运动(例如0.05Hz)。在本实施方式中,使由位移检测电路114测得的移动矢量信号通过低频段除去滤波器(以下,称高通滤波器),并使该高通滤波器具有将第1频率(例如0.3Hz)以下的频率除去的特性,从而将由手的抖动产生的振动和由摇镜头动作产生的振动区分开。
另外,在本实施方式中,照相机的运动越大,使高通滤波器的时间常数越小(例如变更为将频率为1Hz以下的振动信号除去),进一步减弱防抖动效果,从而在显示单元118上显示出与照相机的运动对应的图像。当移动矢量显然表示摇摄时,就不再按该移动矢量的方向校正图像的偏移。
接着,说明摄影者将释放按钮完全按下从而使释放操作开关12c的第2开关(SW2)接通并进行摄影动作的情况。
如上所述,当在被摄物体观察阶段中使SW1接通时,进行对焦动作和测光动作。这里,根据测光动作中的测光结果,设定摄影时的快门12a的闭合时刻(曝光时间)和光圈13a的光圈孔径,但一般来说,在使用防抖动系统这样的摄影条件下,被摄物体较暗,所以将光圈设为全开、将曝光时间设为长秒值的曝光。
在本实施方式中,当曝光时间为长秒值的曝光时,将该曝光时间分割为多个短的曝光时间,并设定为反复进行与分割数相当的次数的摄影动作(图像的取得)。即,连续多次进行较短的曝光时间的摄影动作。当如此地分割为短的曝光时间时,由摄影动作得到的各图像曝光不足,但是,成为手的抖动的影响较小(图像晃动小)的图像。然后,在结束了所有的摄影动作后,将由该摄影动作取得的多个图像合成为1个图像(摄影图像),从而改善曝光。
这里,当取得多个图像时,即使在各图像中不产生图像晃动,有时也会发生在进行连续的多次摄影动作的期间里由于手的抖动而使得各图像间的构图(被摄物体图像)产生微小的位移的情形。如将由多次摄影动作得到的图像直接合成,则图像在构图偏移的状态下被合成,生成存在着图像晃动的合成图像。
在本实施方式中,根据连续多次的摄影动作从摄像元件19输出的多个图像信号,如上所述,由A/D转换器110被转换为数字信号,然后由信号处理电路111进行信号处理。信号处理电路111的输出信号,被输入摄影控制电路18,而且,还被输入位移检测电路114。
位移检测电路114,从取得的图像中抽取特征点,并计算出该特征点在取得的图像内的坐标位置。
在图2中,对图像121b进行坐标变换,以使得图像121b的特征点125b沿箭头126的方向与图像121a的特征点125a重合。即,各图像内的特征点成为进行图像的坐标变换时的基准。
但是,当对多个图像进行坐标变换并将其合成时,因在连续取得多个图像的期间的照相机的运动及被摄物体的运动,会产生被摄物体晃动的影响。因此,在本实施方式中,当取得多个图像中的1个图像时,使照明单元16a的照明光照射被摄物体。
这里,将使用照明单元16a的照明光所取得的1个图像作为第1图像,将未使用照明单元16a的照明光所取得的其他的图像(多个)作为第2图像。
这时,在第1图像和第2图像之间,除上述的构图偏移以外还存在着以下的不同。即,在第1图像内照明光照射到的照明区域的亮度,与在第2图像内的与上述照明区域对应的区域的亮度不同。并且,在第1图像内的照明区域(例如主要被摄物体的配置区域)可以得到充分的曝光,而在照明区域以外的区域、即照明光照射不到的区域(例如背景的配置区域)曝光不足。其原因是,一般而言,由于人物等的主要被摄物体位于照相机的附近,所以照明光可以照射到,而背景离照相机较远,所以照明光照射不到。
在本实施方式中,对于曝光不足的区域,通过将校正了构图偏移的(进行了坐标变换的)第2图像与第1图像合成来对曝光进行补偿。
用图3A和图3B说明选择特征点抽取区域的方法。
比较使用了照明单元16a的照明光的第1图像127(图3A)和未使用照明单元16a的照明光的第2图像128(图3B)。第1图像127内的人物122a因受到照明光的照射而显得明亮,第2图像128内的人物122b(作为被摄物体与人物122a相同)因不照射照明光而变得较暗。
与此不同,在照明光照射不到的区域内,几乎不存在亮度差,即,第1图像127内的建筑物123a的亮度与第2图像128内的建筑物123b的亮度大致相等。
如上所述,不存在亮度差的区域,因照射光照射不到而曝光不足,所以,将该区域看作图像合成的位置,并将其作为特征点的抽取区域。于是,从无亮度差的区域抽取特征点,并根据该特征点校正构图偏移。
在本实施方式中,从第1图像127中的与第2图像128相比无亮度差的区域(建筑物123a)取出亮度较高的点即窗户124a的边缘125a作为特征点。另外,对第2图像128,也同样地从无亮度差的区域(建筑物123b)取出亮度高的点即窗户124b的边缘125b作为特征点。然后,将第1图像127中的特征点125a与第2图像128中的特征点125b进行比较。
坐标变换电路115,对第2图像128进行坐标变换,以使得第2图像128的特征点125b与第1图像127的特征点125a重合。
这里,在图3B中示出多个第2图像中的1个图像,但对其他的第2图像也抽取特征点,并对其他的第2图像进行坐标变换,以使得该特征点与第1图像127的特征点125a重合。即,将第1图像127的特征点125a作为坐标变换时的基准,对各第2图像进行坐标变换,以使得各第2图像的特征点与特征点125a重合。
这里,为进行说明,求出各图像的特征点的坐标。但是,实际上,对第1图像127和第2图像128进行相关运算,并将各对应像素的位置变化作为移动矢量求出,将其作为特征点的变化。
另外,对其他的第2图像,也通过与第1图像127的相关运算求出移动矢量,并将其作为特征点的变化。
另外,特征点并非只从各图像抽取1个,而是可以从各图像抽取多个特征点,并将关于这些特征点有关的移动矢量的平均值或标量的最小值作为特征点的变化。
这里,之所以将上述最小值用作特征点的变化,是因为在图像内所抽取的特征点其本身也存在着移动的可能性,因而要选择最不能移动的特征点。
在被摄物体观察阶段,在取得图像的过程中移动矢量发生变化时,根据除去了低频分量后的信号进行坐标变换。这是为了使得与被摄物体观察阶段中的照相机的图像位置调整相对应,但在这种情况下,移动矢量的检测精度会降低。
如上所述,高通滤波器,具有将第1频率(例如0.3Hz)以下的频率除去的特性,如使移动矢量信号通过高通滤波器,则不能对所除去的低频分量的偏移进行校正。
实际的手的抖动是大约为1~10Hz左右的周期振动,所以,即使将0.3Hz以下的抖动信号除去,似乎也不存在任何问题。但是,将0.3Hz以下的频率除去的高通滤波器,有时也会对1Hz的信号带来相位移动等的恶劣影响。
因此,为进行高精度的偏移校正,优选的是,不设置高通滤波器。但是,在摄影阶段,除了摇摄等特殊的摄影方法外,不进行照相机的图像位置调整,所以,可以不使用高通滤波器,而是根据高精度的移动矢量信号,来进行坐标变换。
另外,在摇摄等特殊的摄影方法中,移动矢量值在特定的方向上增大,所以,在该特定方向上停止移动矢量的检测,使得跟踪照相机的图像位置调整即可。
当进行照相机的图像位置调整时,照相机从被摄物体观察阶段起产生预定方向的运动,通过比较在被摄物体观察阶段依次更新的各图像,可以判明该运动。具体地说,当图像间的移动矢量在预定方向上较大且持续该状态时,可判明为产生了上述预定方向的运动。
然后,如上所述,当判明正在进行照相机的图像位置调整时,在被摄物体观察阶段,变更该图像位置调整的方向的图像切出区域(图像显示区域)的位置,减弱防抖动效果或停止上述方向的防抖动动作。
如此,即使在摄影阶段,也具有与被摄物体观察阶段相同的偏移检测特性,从而,可以进行符合摄影者意图的摄影。
另外,如上所述,在被摄物体观察阶段中,由坐标变换电路115指定各图像上的图像切出区域,并在每次取得图像时进行图像的切出。另一方面,在摄影阶段中,求取移动矢量,并根据该移动矢量对第2图像进行坐标变换,以使得第2图像与第1图像重合,但是,不对各图像(第1图像或第2图像)进行图像的切出。
由坐标变换电路115进行了坐标变换的各图像数据,通过信号切换电路112被输出到图像存储电路113。在图像存储电路113中,只存储使用照明单元16a的照明光所取得的图像数据(第1图像数据)。被存储在图像存储电路113中的图像数据,被输出到图像合成电路116。
在图像合成电路116中,将所取得的各图像数据依次合成,生成1个图像数据(合成图像数据)。然后,在仅进行了预先设定的次数的摄影动作后,就结束摄影动作,并且,结束图像数据的合成处理。
如上所述,在本实施方式中,以使用了照明单元16a的照明光的第1图像127为基准(中心),对第2图像进行坐标变换,以使得第2图像与第1图像重合。
这里,说明以第1图像127为基准的理由。
如图2所示,在将构图产生了偏移的2个图像(第1图像和第2图像)合成时,产生如图4所示那样2个图像不重合的区域129。
因此,图像合成电路116,将区域129切去,并只对2个图像重合的区域进行扩展补足处理,以使其为原来的图像尺寸。因此,根据构图偏移的方向和偏移的大小,将合成的图像的一部分削掉。
这里,在第1图像和多个第2图像中,图像信息(主要被摄物体的曝光、构图等)等最为良好的是使用了照明单元16a的照明光的第1图像。因此,为了尽可能地使用第1图像内的区域,优选的是,以第1图像为坐标变换的基准,并使各第2图像与第1图像重合。
在数字图像的情况下,即使是1个曝光不足的图像,也可以通过提高图像信号的增益,来对曝光进行补偿,但是,如果提高了增益,则噪声也增加,而变成低劣的图像。但是,在如本实施方式所示那样,通过将多个图像合成来使整个图像的增益提升时,由于对各图像的噪声进行了平均,所以可以得到S/N比大的图像,其结果是,可以抑制噪声并得到适当的曝光。作为另一种解决方法,例如,容许噪声并将摄像元件19的灵敏度设定为高灵敏度,生成多个图像数据,并对各图像信号进行相加平均,从而减少图像所含有的随机噪声。
图像合成电路116,将所取得的所有图像相重合的区域作为图像切出区域,将不重合的区域129切去。
在本实施方式中,在被摄物体观察阶段,预先决定图像切出区域,但在摄影阶段,在图像合成结束后决定图像切出区域。
因此,因手的抖动产生的构图偏移越小,所切去的区域129越小,因而可以得到宽视场角的图像。
由图像合成电路116合成后的图像数据,被输入到第1图像校正电路117a,进行灰度校正和压缩处理,然后输出到显示单元118,显示为摄影图像,而且,记录在记录电路119。这里,使用照明单元16a的照明光所取得的第1图像数据,也记录在记录电路119。
这样,由于预先记录在整个区域上曝光适当的合成图像和仅在被照明光所照射的区域上曝光大致适当的第1图像,摄影者能够通过操作照相机上所设有的选择开关200(参照图1)等,来选择合成图像及第1图像中的任何一个。
图5表示当操作防抖动操作开关17c并使防抖动系统接通时由摄影动作所取得的图像的状态。
以图像121h、121i、121j、121k、121l表示在被摄物体观察阶段取得的图像。图像121h~121l的各图像中的图像切出区域121f,是根据通过各图像间的相关运算(与特定图像的相关运算)求得的移动矢量信号中的由高通滤波器处理后的信号来决定的。另外,在显示单元118上只显示该图像切出区域121f内的图像。
在被摄物体观察阶段中的动作,与摄影阶段中的动作相同,每当进行1次摄影动作时,就对由该摄影动作生成的图像数据进行上述的处理,并更新显示单元118上的显示图像。由此,显示在显示单元118上的图像,成为无图像晃动的图像,而且,可以进行与照相机的图像位置调整对应的显示(动图像)。
在摄影阶段中,使用照明单元16a的照明光来取得图像127(第1图像),而且,在不使用照明单元16a的照明光的情况下,依次取得图像128a、128b(第2图像)。根据通过使用这些图像的相关运算求得的移动矢量信号中的未由高通滤波器处理的信号,进行坐标变换处理,然后进行图像合成处理,并切去合成图像中的图像不重合的区域129(图4)。然后,设定合成图像中的图像切出区域121g(参照图5C),将合成图像数据记录在记录电路119,而且,将图像127也记录在记录电路119。
这里,用图6说明在被摄物体观察阶段及摄影阶段后显示在显示单元118的图像的状态。
在图6中,(A)表示在被摄物体观察阶段中通过摄影动作生成的图像,(B)表示在被摄物体观察阶段中由显示单元118显示的图像,(C)表示在摄影阶段中生成的合成图像,(D)表示在摄影阶段中由显示单元118显示的图像。
在被摄物体观察阶段,将(A)中示出的图像内的特定的区域121f设定为图像切出区域。然后,当由显示单元118进行图像显示时,如(B)所示,进行图像显示的设定,以使得图像切出区域121f位于显示画面130的中央。
因此,在显示单元118上不显示在(A)中示出的图像中的从显示画面130越出的区域(以斜线示出的区域)121n。此外,在显示画面130中产生画面缺失的区域131a、131b(参照图6(B)),盖上例如灰色的遮蔽框来进行显示。
摄影者通过观察显示画面内的蒙上遮蔽框的区域,可以得知自己的手的抖动程度的大小。此外,在图像切出区域121f内图像稳定,如(B)所示,图像还显示在图像切出区域121f以外的区域,所以,可以一边观察周围的情况,一边决定摄影时的构图。
在摄影阶段中,如(C)所示,对通过坐标变换处理及图像合成处理后的合成图像150,决定图像切出区域121g。这里,在摄影阶段中的各图像间的构图偏移,小于在被摄物体观察阶段中的构图偏移,图像切出区域121g,可以大于在被摄物体观察阶段中的图像切出区域121f。
然后,当在显示单元118上显示在摄影阶段中生成的合成图像(摄影图像)时,如(D)所示,进行图像显示的设定,以使得图像切出区域121g位于显示画面130的中央。
另外,在本实施方式中,由于只将与图像切出区域121g对应的图像数据记录在记录电路119,所以在显示画面130上不显示合成图像150内的图像切出区域121g以外的区域。并且,在显示画面130内产生图像缺失的区域133(参照图6(D)),盖上例如灰色的遮蔽框,来进行显示。根据上述的结构,由于在被摄物体观察阶段的显示图像与在摄影阶段后的显示图像的倍率相一致,所以,可以进行没有不谐调感的图像显示。
图7是表示本实施方式的照相机的摄影动作的流程图,该流程在接通照相机的电源时开始。
在步骤S1001中,摄影者通过将释放按钮按下一半的操作,使在SW1接通之前待机,当SW1接通时,就进入步骤S1002。
在步骤S1002中,开始使用了摄像元件19的摄影动作。摄影控制电路18,一边根据来自信号处理电路111的输出信号来检测被摄物体图像(摄影图像)的对比度,一边驱动AF驱动电机14a并使摄影镜头(聚光镜头)11沿光轴方向移动。然后,在对比度变得最高的时刻,停止摄影镜头11的移动,从而使摄影光学系统进入对焦状态(基于所谓的爬山法的焦点调节)。另外,也可以进行基于相位差检测方式的焦点调节。
另外,摄影控制电路18,还根据摄像元件19的输出求取被摄物体图像的亮度(测光)。
在步骤S1003中,摄影控制电路18,根据在步骤S1002中求得的被摄物体的亮度,求出要取得的图像数。
例如,要测定被摄物体的亮度(测光),并根据测光结果进行适当的曝光,必须使光圈13a全开(例如f2.8),并将快门12a的开启时间(曝光时间)设定为1/8秒。
这里,当摄影光学系统的焦距按35mm胶片换算为30mm时,在将曝光时间设定为1/8秒的摄影中,有可能因手的抖动而产生图像晃动。因此,可以将曝光时间缩短以使得不产生图像晃动,并因为缩短了的曝光时间,进行多次摄影动作(图像取得)。具体地说,将曝光时间设定为1/32秒,并设定为进行4次摄影动作。另一方面,当摄影焦距为300mm时,将曝光时间设定为1/320秒以使得不产生手的抖动,并设定为进行40次摄影动作。
在本实施方式中,根据摄影条件决定在进行连续多次的摄影动作时的各摄影动作的曝光时间,进而,还根据摄影条件决定摄影动作的次数。当对同一被摄物体进行多次摄影动作时,各摄影动作的曝光条件尽可能地接近适当曝光可以得到正确的图像信息。
因此,当被摄物体较暗时、光圈缩小而使镜头较暗时、摄像元件的灵敏度设定得较低时,将各摄影动作中的曝光时间尽可能地延长并设为有效的曝光条件。
但是,当曝光时间过长时,因手的抖动而使图像恶化,所以,如上所述,当摄影光学系统的焦距按35mm胶片换算为30mm时,为抑制图像晃动,将曝光时间设成约为焦距数值的倒数即1/32秒。然后,进行多次用以上述曝光时间的摄影动作,并将所得到的多个图像合成,从而对曝光进行补偿。
当焦距比30mm长时,如果是1/32秒的曝光时间,则可能会因手的抖动而使图像恶化,所以,使曝光时间进一步缩短。根据缩短的曝光时间,使摄影动作的次数增加,并将所得到的多个图像合成,从而对曝光进行补偿。
多次摄影动作中的各摄影动作的曝光时间,如果被摄物体越暗、摄影镜头越暗、摄像元件的灵敏度越低,则设定得越长,而如果摄影光学系统的焦距越长,则设定得越短。
另外,以比适当的曝光时间短的曝光时间进行的摄影动作的次数,如果要拍摄的被摄物体越暗、摄影镜头越暗、摄像元件的灵敏度越低、摄影光学系统的焦距越长,则设定得越多。
如上所述,在运算了进行摄影动作的次数后,在照相机的光学取景器内设有的显示单元或照相机外壳上设有的液晶显示单元(显示单元118)上,显示表示设定了防抖动模式(上述的进行多次摄影动作的模式)的信息,而且,显示关于摄影动作的次数的信息。摄影者通过观察上述显示,可以得知防抖动模式的设定和摄影动作的次数。
在步骤S1004中,位移检测电路114,从由摄像元件19的摄影动作得到的图像内抽取特征图像(特征点),并求出该特征点的坐标。这里,如上所述,特征点可以从图像内的存在静止被摄物体的可能性较大的区域(例如,图2中的存在建筑物123a的区域)抽取。
这里,则被摄物体观察阶段中的移动矢量信号,如上所述,由高通滤波器将低频分量除去,所以,比较容易进行照相机的图像位置调整。
在步骤S1005中,由坐标变换电路115根据在步骤S1004中求得的特征点的坐标来决定图像切出区域的位置。
另外,如后所述,当关于预定的方向的移动矢量的大小大于或等于预定值时,按该预定方向变更图像切出区域的位置。
这是为了使与照相机的图像位置调整相对应。具体地说,当照相机的运动(速度)大于预定值时,通过使用高通滤波器,将所检出的移动矢量信号中的比通常低的频率分量除去。然后,根据除去了低频分量的移动矢量,设定图像切出区域的位置。另外,当移动矢量是清楚地表示摇摄的值时,就不再按照该移动矢量来设定图像切出区域了。
用图8的流程图详细说明步骤S1005中的动作。
图8是表示图7的步骤S1005的子例程,当流程进行到步骤S1005时开始。首先,判断图像内的特征点的移动矢量的X方向(图像水平)的大小。
这里,X方向表示图9所示图像中的箭头X方向(图像的左右方向)。图9表示沿X方向进行了较大的图像位置调整时的图像状态。
在步骤S1501中,判断在步骤S1004中求得的X(水平)方向的移动矢量是否小于预定值a(a为任意值,例如1deg/s)。
当X方向的移动矢量小于预定值a时进入步骤S1502,如不小于则进入步骤S1503。
在步骤S1502中,对于在步骤S1004中求得的移动矢量信号,使用具有第1特性的高通滤波器。
图10示意地表示高通滤波器的频率特性。图中,单点划线135a表示将低于频率f1(例如0.3Hz)的频率除去(衰减)的高通滤波器的特性(第1特性)。实线135b表示将低于频率f2(例如1.0Hz)的频率除去(衰减)的高通滤波器的特性(第2特性)。
在本实施方式中,当X方向的移动矢量小于预定值a时,判断为未进行照相机的图像位置调整,采用时间常数大、即低频分量的除去能力较低的高通滤波器。
在步骤S1503中,判断在步骤S1004中求得的X方向的移动矢量是否小于预定值b(b>a,b为任意值,例如15deg/s)。这里,当小于预定值b时进入步骤S1504,如不小于则进入步骤S1505。
在步骤S1504中,对在步骤S1004中求得的移动矢量信号,使用具有图10中说明过的第2特性的高通滤波器。
当移动矢量的值大到一定的程度(大于预定值a)时,判断为进行了照相机的图像位置调整,并采用时间常数小、即低频分量的除去能力高的高通滤波器。
步骤S1505,是在移动矢量大、使照相机进行摇镜头拍摄时的步骤。在步骤S1505中,将X方向的移动矢量设定为零,不进行关于X方向的晃动校正(坐标变换)。由此,可以使显示单元118上的显示成为与照相机的动作一致的显示,摄影者能够一边观察显示单元118上的显示,一边追随被摄物体。
接着,对Y方向的移动矢量的判断,也通过与X方向的移动矢量的判断相同的判断方法来进行。这里,Y方向表示图9所示的图像中的箭头Y方向(图像的上下方向)。
当Y方向的移动矢量小于预定值a时,使用具有第1特性的高通滤波器,当大于预定值a、小于预定值b时,使用具有第2特性的高通滤波器。另外,当Y方向的移动矢量大于预定值a、b时,判断为使照相机沿Y方向动作(俯仰运动),并将Y方向的移动矢量设为零,不进行关于Y方向的晃动校正。在步骤S1506~步骤S1510中表示上述动作。
在步骤S1507、步骤S1509或步骤S1510中的处理之后,进入步骤S1511。
在步骤S1511中,根据在上述的步骤(步骤S1502、S1504、S1505、S1507、S1509、S1510)中设定的移动矢量,决定图像切出区域的位置。
在步骤S1512中,结束本子例程,返回主流程图。当步骤S1005中的处理结束时,就进入步骤S1006。
在图7的步骤S1006中,将图像显示在显示单元118上。这时的显示方法,如在图6的(B)中表示的被摄物体观察阶段的显示所示,进行图像显示的设定,以使得在步骤S1005求得的图像切出区域位于显示画面130的中央,并对产生画面缺陷的区域(区域131a、131b)进行遮蔽处理。
在步骤S1007中,一边反复进行步骤S1501~步骤S1506的动作并在显示单元118上进行图6(B)所示的显示一边等待,直到通过完全按下释放按钮的操作使SW2接通为止。另外,在步骤S1007中,解除释放按钮的按下一半的操作,使SW1断开,则返回流程的开始处。
在步骤S1008中,摄影控制电路18,判断是否是第1次的图像的取得。这里,当是第1次的图像取得时,进入步骤S1010,如不是第1次的图像取得,则进入步骤S1009。
在步骤S1009中,不使照明单元16a发光,进行摄影动作,由此取得第2图像,并进入步骤S1012。
在步骤S1010中,使照明单元16a发光,进行摄影动作,由此取得第1图像,并进入步骤S1012。这里,当进行第1次摄影动作时,通过发声驱动电路17b来驱动扬声器17a,发出表示摄影开始的声音。该声音例如可以是类似「噼」的电子声,也可以是快门的开启声、单镜头反射式照相机的反射镜弹起声等。
在步骤S1012中,位移检测电路114,从所取得的图像内的特定区域(例如,图2的建筑物123a)抽取特征图像(特征点),并求取该特征点的坐标。
具体地说,如上所述,将第1图像和第2图像进行比较,从亮度不同的区域(即照明光充分地照射了被摄物体的区域)以外的区域(即照明光不能充分地照射被摄物体的区域)抽取特征点并求取该特征点的坐标。另外,在步骤S1012中,将使用照明单元16a的照明光所取得的第1图像暂时存储在图像存储电路113内。
在步骤S1013中,由坐标变换电路115对各图像进行坐标变换处理。这里,不对由第1次摄影动作得到的图像、即第1图像进行坐标变换处理,而是将其作为进行坐标变换时的基准图像。并且,只对多个第2图像进行坐标变换处理。
另外,在摄影阶段的基于移动矢量的坐标变换中,不对移动矢量信号进行高通滤波器的处理,所以,能够进行高精度的移动检测(构图偏移的检测)。
在步骤S1013中,当根据相对于第1图像的第2图像的移动矢量判断为在进行照相机的图像位置调整时,对该移动矢量进行高通滤波器的处理。然后,根据进行了高通滤波器的处理的移动矢量进行坐标变换。另外,当根据移动矢量判断为照相机的动作剧烈时,不进行坐标变换。
用图11所示的流程图说明步骤S1013中的动作。图11是图7的步骤S1013的子例程,当流程进行到步骤S1013时开始。
在图11的步骤S1601中,坐标变换电路115,判断在步骤S1012中根据第1图像和第2图像内的特征点求得的移动矢量中的X方向上的移动矢量是否小于预定值a(例如1deg/s)。这里,当X方向的移动矢量小于预定值a时,进入步骤S1602,如不小于则进入步骤S1603。
在步骤S1602中,将X方向的移动矢量的值设定为原有的值。这里,如步骤S1005(图8中的步骤S1502)所示那样,不对在步骤S1004中求得的X方向的移动矢量进行具有第1特性的高通滤波器的处理。如上所述,当X方向的移动矢量的值小于预定值a时,判断为未进行照相机的图像位置调整,不进行高通滤波器的处理。由此,使得进行基于未被实施高通滤波器的处理的移动矢量信号的坐标变换处理,从而能够高精度地校正第2图像相对于第1图像的构图偏移。
在步骤S1603中,判断X方向的移动矢量是否小于预定值b(例如15deg/s)。当小于时进入步骤S1604,如不小于则进入步骤S1605。
在步骤S1604中,对上述X方向的移动矢量进行具有在图10中示出的第1特性的高通滤波器的处理。这里,使用具有与在步骤S1005(图8的步骤S1504)中使用的具有第2特性的高通滤波器相比时间常数大的第1特性的高通滤波器。
在本实施方式中,在摄影阶段也使用高通滤波器,因此可以与照相机的图像位置调整相对应。但是,在摄影阶段中,与被摄物体观察阶段相比,不使用高通滤波器,或者,使用时间常数大的高通滤波器,因此,能高精度地校正第2图像相对于第1图像的构图偏移。此外,摄影阶段的高通滤波器处理(图11的步骤S1601~步骤S1610的处理)和被摄物体观察阶段的高通滤波器处理(图8的步骤S1501~步骤S1510的处理),也可以按同样的方式进行。
在步骤S1605中,将移动矢量设为零,不进行X方向上的防抖动动作(构图的偏移校正)。即,当X方向的移动矢量大于预定值b时,判断为一边使照相机进行摇镜头一边进行拍摄,不使对构图偏移进行校正,所以,可以与摇镜头方式的拍摄相对应。如此,当使照相机进行摇镜头拍摄时,使被摄物体观察阶段及摄影阶段都具有相同的特性,将移动矢量设为零。
接着,对Y方向的移动矢量,也进行与对X方向的移动矢量的处理相同的处理。即,当在步骤S1012中求得的移动矢量中的Y方向的移动矢量小于预定值a时,将Y方向的移动矢量的值设定为原有的值。另外,当Y方向的移动矢量大于预定值a、小于预定值b时,使用具有第1特性的高通滤波器。进而,当Y方向的移动矢量大于预定值a、b时,判断为在使照相机沿Y方向动作(俯仰运动),并将Y方向的移动矢量设为零,不使其进行关于Y方向的晃动校正。在步骤S1606~步骤S1610中表示上述动作。在步骤S1607、步骤S1609或步骤S1610中的处理结束之后,就进入步骤S1611。
在步骤S1611中,根据在上述的步骤中设定的移动矢量,对第2图像进行坐标变换。这里,当在上述步骤S1605、步骤S1610中将X方向和Y方向的移动矢量设为零时,不对第2图像进行坐标变换处理。
在步骤S1612中,结束本子例程,返回主流程图。
在图7的步骤S1014中,将存储在图像存储电路113内的第1图像数据与在步骤S1013中进行了坐标变换的第2图像数据合成。这里,图像的合成,是通过将各图像的对应坐标信号相加平均来进行的,图像内的随机噪声可以通过相加平均来减小。
另外,当使照相机进行摇镜头拍摄等时,在步骤S1013(图11的子例程)中将移动矢量设为零,不对第2图像进行坐标变换。因此,在这种情况下,将第1图像与不进行坐标变换的第2图像合成。
通过将图像合成,对曝光不足进行补偿。这里,在第1图像中,由于使照明单元16a的照明光照射主要被摄物体,所以在主要被摄物体的存在区域上的曝光大致接近适当曝光的状态。因此,在将与第1图像内的主要被摄物体的存在区域对应的第2图像内的区域也用于图像合成时,有可能会使主要被摄物体的存在区域曝光过度。
但是,主要被摄物体本身并不发光,在第2区域中的主要被摄物体存在的区域(与第1图像内的被照明光照射了的区域对应的区域)内曝光不足。因此,即使将第1图像与第2图像合成,也几乎不会发生主要被摄物体存在的区域的曝光过度。
然而,如果比较第1图像与第2图像,则被照明单元16a的照明光照射的区域上的亮度存在较大的差异,所以,通过使与第1图像内的照明光所照射的区域对应的第2图像内的区域的亮度变暗,就是说使该区域的图像信号的增益降低,可以抑制合成图像上的曝光过度。
在本实施方式中,当由第1次摄影动作取得第1图像数据时,将该第1图像数据存储在图像存储电路113内,当由第2次摄影动作取得第2图像数据时,对该第2图像数据进行坐标变换处理,然后,与第1图像数据合成。然后,对由第3次及随后的摄影动作取得的第2图像数据,将其与在其前面合成了的图像数据合成。
在本实施方式中,一边进行图像取得,一边进行图像的合成,用图12的时序图说明图像合成处理的时序。在图12中,说明将进行4次摄影动作所取得的4个图像合成从而得到1个合成图像的情况。
在图12中,在进行f1~f4中示出的各曝光动作时,由摄像元件19进行光电变换,并从摄像元件19读出电荷累积后的信号作为摄像信号(F1~F4)。另外,仅在进行f1中示出的曝光动作时,使照明单元16a发光。
这里,与摄像信号F2的读出同时进行地,通过摄像信号F1(相当于第1图像数据)及摄像信号F2(相当于第2图像数据)的相关运算来求取特征点的变化(移动矢量),并根据该特征点的变化,将2个摄像信号F1、F2合成,得到合成信号C2。
接着,与摄像信号F3(相当于第2图像数据)的读出同时地,通过进行合成信号C2及摄像信号F3的相关运算来求取特征点的变化,并将合成信号C2及摄像信号F3合成,得到合成信号C3。
接着,与摄像信号F4(相当于第2图像数据)的读出同时地,通过进行合成信号C3及摄像信号F4的相关运算,来求取特征点的变化,并将合成信号C3及摄像信号F4合成,得到合成信号C4。
按照上述的时序,进行各图像的取得动作(摄影动作)和图像的合成动作。这里,在生成了最终的合成信号C4后,将该信号输出到显示单元118,显示为摄影图像,而且,还输出到记录电路119来进行记录。
在图7的步骤S1015中,按照在步骤S1003中设定的图像数来取得图像,并判断在步骤S1012~步骤S1014中的处理是否对所有这些图像已经结束。这里,当对所有图像的处理尚未结束时,返回步骤S1008,而当对所有图像的处理已结束时,进入步骤S1016。
在步骤S1016中,通过发声驱动电路17b来驱动扬声器17a,使其发出表示摄影动作完成的声音。
该声音,例如可以是类似「噼噼」的电子声,也可以是快门的闭合声、单镜头反射式照相机的反射镜复位声等。
当如上所述那样取得多个图像时,表示摄影动作的开始和完成的发声,是1组发声(取得最初的图像时的发声和取得最后的图像后的发声)。另外,即使在由1次摄影动作取得摄影图像时,表示摄影动作的开始和完成的发声也是1组。因此,进行多次摄影动作生成1个摄影图像的情况(用于校正图像晃动的摄影的情况)和通过1次摄影动作取得1个摄影图像的情况(通常的摄影的情况),其发声的次数相同,所以不会使摄影者有不谐调的感觉。
在步骤S1017中,将合成图像中的重合的区域、例如,在如图12所示那样地合成4个图像时4个图像全部重合的区域设定为图像切出区域。即,将所有的图像不重合的区域(相当于图4的区域129)切去。这里,当第2图像相对于第1图像的构图偏移小时,被切去的区域减小,而且,还相应于切去区域减小,图像切出区域增大。
然后,对图像切出区域的大小进行调整,以使得图像切出区域具有适当的长宽比,然后,进行图像显示的设定,以使得图像切出区域位于显示单元118的显示画面的中央,而且,对显示画面内的图像切出区域以外的区域(图6的(D)中的区域133)进行遮蔽处理。然后,由显示单元118显示进行了上述处理的图像。
在步骤S1018中,图像合成电路116,进行图像的扩展补全,以使得图像切出区域成为预定的图像尺寸。
在步骤S1019中,将在步骤S1018中进行了扩展补全的图像数据记录在例如由半导体存储器等构成的可在照相机上拆装的记录介质上。此外,将存储在图像存储电路113内的第1图像数据记录在记录电路119内。
通过如上述那样地预先记录合成图像和第1图像,摄影者可以在其后选择在所有的区域上曝光适当的图像(合成图像)和仅在被照明单元16a的照明光照射的区域上曝光适当的图像(第1图像)。
在步骤S1020中,返回流程的开始处。
另外,当在步骤S1020的阶段中,进行将释放按钮按下一半的操作,使SW1接通时,按步骤S1001、S1002、S1003、S1004再次进行流程。此外,当在步骤S1020的阶段中进行将释放按钮完全按下的操作,使SW2接通时,不返回流程开始处,而是在步骤S1020中待机。
(实施方式2)
作为本发明实施方式2的照相机,是上述的实施方式1的照相机的变形例。
这里,本实施方式的照相机的结构,与在实施方式1(图1)中说明过的结构大致相同。
在实施方式1中,对所取得的各图像(第1图像和第2图像)的亮度进行比较,并将几乎无亮度差的区域、即不受照明单元16a的照明光照射的区域作为特征点的抽取区域。但是,特征点的抽取区域,并不限定于不受照明光照射的区域。例如,可以将设置在摄影画面内的聚焦区域以外的区域作为特征点的抽取区域,或将对准焦点的区域以外的区域作为特征点的抽取区域。
其原因是,当进行摄影时,将主要被摄物体(人物)重合于聚焦区域,所以,为了从主要被摄物体所处的区域以外的区域抽取特征点,只需将聚焦区域以外的区域设定为特征点抽取区域即可。
图13是表示摄影画面内的特征点抽取区域的图。在摄影画面143内,设置着5个聚焦区域141a、141b、141c、141d、141e。
在图13中,示出在聚焦区域141c内捕捉主要被摄物体,并在聚焦区域141c内对主要被摄物体进行对焦的状态。这里,将以聚焦区域141c为中心并具有预定的范围的区域作为主要被摄物体区域142,将摄影画面143中的主要被摄物体区域142以外的区域作为周边区域140。主要被摄物体区域142,表示主要被摄物体所处可能性高的区域。因此,将周边区域140设定为特征点抽取区域。
在本实施方式中,主要被摄物体区域142的位置,随聚焦区域141a~141e中的对被摄物体进行对焦的聚焦区域而变化,周边区域也随之改变。
于是,如果从所取得的图像内的上述周边区域抽取适当的影像作为特征点,并根据该特征点的坐标对第2图像相对第1图像的偏移进行校正(坐标变换)后,将第1图像及第2图像合成,就可以得到无影像晃动的摄影图像(合成图像)。
如上所述,在实施方式1及实施方式2中,如用图8和图11说明过的那样,在被摄物体观察阶段和摄影阶段,变更防抖动特性、即与移动矢量对应的高通滤波器的特性。由此,可以进行与被摄物体观察阶段中的显示图像和摄影阶段中的显示图像对应的影像晃动校正。
即,在具有抑制影像晃动的防抖动系统的照相机中,在被摄物体观察阶段,根据各图像间的移动矢量信号,对从摄像元件19读出的每个图像设定图像切出区域(用于显示的区域)的位置,并显示该图像切出区域。而在摄影阶段,根据各图像间的移动矢量信号设定图像切出区域(用于合成的区域)的位置,并将这些图像切出区域内的图像合成,从而可以在观察影像信号的曝光后进行校正。并且,在摄影阶段中,显示合成后的图像,并将该合成图像记录在存储介质内。
另外,在被摄物体观察阶段,在位移检测电路114中,通过具有重视照相机的图像位置调整的特性的高通滤波器处理,将移动矢量信号的低频分量除去,并根据该除去了低频分量的移动矢量信号设定图像切出区域的位置。由此,可以使被摄物体观察阶段中的显示图像与照相机的图像位置调整相对应。
在摄影阶段,在位移检测电路114中,通过具有重视防抖动精度的特性的高通滤波器处理,将移动矢量信号的低频分量除去,并根据该除去了低频分量的移动矢量信号设定图像切出区域的位置。然后,通过将图像切出区域中的图像合成而对曝光进行补偿,从而可以得到几乎无影像晃动的合成图像(摄影图像)。
另外,当使照相机超过预定速度地运动时,通过将与进行着该运动的方向的移动矢量对应的高通滤波器处理的特性从第2频率特性(被摄物体观察阶段中的特性)变更为第1频率特性,可以进行符合摄影者的意图的摄影。
另外,被摄物体观察阶段和摄影阶段中的图像切出区域的面积不同,但按照用图6说明过的那样,在显示单元118上显示的图像倍率并不改变。即,不改变图像切出区域内的图像的大小地在显示单元118上进行显示,并对显示单元118的显示画面130内的图像切出区域以外的区域施加掩膜。
如上所述,通过使被摄物体观察阶段的显示图像与摄影阶段的摄影图像(合成图像)的倍率相同,可以抑制摄影者的不谐调感。
(实施方式3)
本发明实施方式3的照相机的结构,与实施方式1的照相机结构(图1)相同。本实施方式的照相机,在高通滤波器的特性及图像切出区域的位置等方面,与实施方式1不同。
图14是表示将防抖动系统设定为开(ON)时的本实施方式的照相机的摄影动作的流程图,该流程在接通照相机的电源时启动。
在步骤S2001中,待机直到摄影者通过将释放(release)按钮按下一半的操作而使SW1接通,当SW1接通后进入步骤S2002。
在步骤S2002中,用摄像元件19拍摄被摄物体像。摄影控制电路18,一边根据来自信号处理电路111的输出检测被摄物体影像(摄影图像)的对比度,一边驱动AF驱动电机14a而使摄影镜头11沿光轴方向移动。然后,在对比度变得最高的时刻,停止摄影镜头11的驱动,从而使摄影光学系统变为对焦状态(所谓的基于梯度法的焦点调节)。此外,也可以通过相位差检测方式进行焦点调节。
另外,摄影控制电路18根据摄像元件19的输出求取被摄物体的亮度。
在步骤S2003中,根据在步骤S2002中求得的被摄物体的亮度求出所取得的图像数。然后,在设置于照相机的取景器内的显示单元或设置于照相机外壳上的液晶显示单元(相当于显示单元118)上,显示关于防抖动模式(将多个图像合成而生成摄影图像的模式)的设定的信息,并显示关于图像取得次数的信息。摄影者,通过观察上述显示单元上的显示,即可得知防抖动模式的设定状态及图像取得次数。
在步骤S2004中,位移检测电路114从图像内的特定区域抽取特征性的像(特征点),并求出该特征点的坐标。如上所述,可以从图像内的静止被摄物体所处可能性高的区域(例如,图2中的建筑物123a所处的区域)抽取。
在步骤S2005中,坐标变换电路115根据在步骤S2004中求得的特征点坐标,确定图像切出区域(用于显示的区域)的位置。
这里,被摄物体观察阶段中的移动矢量信号,与实施方式1一样,由高通滤波器将低频分量除去,因此,如实施方式1中所述,很容易进行照相机的图像位置调整。
在步骤S2006中,将图像显示在显示单元118上。用图15说明这时的显示方法。
图15的(E)表示在被摄物体观察阶段中通过摄像元件19的摄像动作取得的1个图像。区域121f,表示从1个图像区域内切出的区域(图像切出区域),图像内的图像切出区域的位置,在步骤S2005中求得。
这里,图像切出区域内的图像,在第1图像和第2图像中都成为相同的图像,所以,当因手的抖动而在第1图像和第2图像间产生构图偏移时,第2图像内的图像切出区域的位置发生变化。
另外,根据第1图像和第2图像间的构图偏移量,有时图像切出区域是在第2图像内,有时图像切出区域又可能超出第2图像。因此,在本实施方式中,为防止图像切出区域从第2图像超出,如图15的(E)所示,将图像切出区域121f设定为比图像121a的整个区域小一定程度。
图15的(F)示出在被摄物体观察阶段中显示在显示单元118上的图像。这里,将图像切出区域121f内的图像放大到使图像切出区域121f与显示单元118上的显示画面130的尺寸相同,并将该放大后的图像显示在显示单元118上。
另外,图15的(G)和(H),表示了如后述那样在摄影阶段取得的1个图像,和在摄影阶段显示于显示单元118上的图像。
在步骤S2007中,反复进行步骤S2001~步骤S2006的处理并待机,直到通过将释放按钮完全按下的操作而使SW2接通为止。这里,如将释放按钮的半按下的操作解除而使SW1断开,则在步骤S2001中待机直到SW1再次接通。
在步骤S2008中,摄影控制电路18,判断是否是第1次取得图像。这里,当是第1次取得图像时,进入步骤S2010,如不是第1次取得图像,则进入步骤S2009。
在步骤S2009中,不使照明单元16a发光地取得图像(第2图像),并进入步骤S2011。
在步骤S2010中,使照明单元16a发光地取得图像(第1图像),并进入步骤S2011。另外,当取得第1图像时,摄影控制电路18,通过发声驱动电路17b驱动扬声器17a,使其发出用于摄影开始的声音。该声音可以是例如“P”的电子声,也可以是快门的开启声、单反照相机中的反光镜弹起声等。
在步骤S2011中,位移检测电路114,从第1图像和第2第图像中抽取特征像(特征点),并求出该特征点的坐标。
另外,在步骤S2011中,将使照明单元16a发光而取得的第1图像数据暂时存储在图像存储电路113内,并将其显示在显示单元118上。
这里的显示倍率,与上述被摄物体观察阶段中的显示倍率不同。以下,用图15进行具体的说明。
图15的(G)示出在步骤S2010中取得的第1图像150。图像切出区域121g,被设定为其面积大于被摄物体观察阶段中的图像切出区域121f,具有与第1图像150的整个区域大致相等的面积。
这是由于在摄影阶段不会产生比被摄物体观察阶段大的影像晃动。这里,图像切出区域的面积较大,由此可以得到与摄影视场角对应的摄影图像。
并且,如图15的(H)所示,将图像切出区域121g内的图像放大,以将其显示在显示单元118的整个显示画面130上。这里,由于图像切出区域121g的面积大于图像切出区域121f,所以图像切出区域121g的放大倍数小于图像切出区域121f的放大倍数。
另外,使图像切出区域的面积可以根据曝光时间改变,曝光时间越长,使图像切出区域的面积越小,例如,也可以使其接近于被摄物体观察阶段中的图像切出区域121f的面积。
图16A示出在被摄物体观察阶段和摄影阶段中取得的图像的状态。此外,图16B和图16C,是与被摄物体观察阶段和摄影阶段中取得的图像对应的图像切出区域的说明图。这里,如图16B和图16C所示,相对于被摄物体观察阶段中的图像切出区域121f,摄影阶段中的图像切出区域121g的面积较大。
在步骤S2011中,将图16中示出的图像127(第1图像)显示在显示单元118上,但图像127一直显示直到在后文所述的步骤S2016中将合成图像显示在显示单元118上。这里,对于第1图像不进行以下的步骤S2012及步骤S2013中的处理而进入步骤S2014。
在步骤S2012中,坐标变换电路115根据在步骤S2011中得到的特征点(移动矢量)对第2图像进行坐标变换处理。
在摄影阶段(步骤S2012)的坐标变换中,与被摄物体观察阶段一样,也对移动矢量信号进行高通滤波器处理。摄影阶段中的高通滤波器特性,与被摄物体观察阶段的高通滤波器特性相比,对低频分量的除去能力较弱,从而可以提高对构图偏移的校正精度。
在实施方式1中,对于摄影阶段中的特定的移动矢量信号不进行高通滤波器处理,但在本实施方式中,要对摄影阶段的移动矢量进行高通滤波器处理。即,在图11中,当X方向或Y方向的移动矢量小于预定值a时,对该移动矢量不进行高通滤波器处理,但在本实施方式中,当X方向或Y方向的移动矢量小于预定值a时也要进行高通滤波器处理。这是为了适应从摄影阶段起开始进行照相机的图像位置调整的情况。
另外,与实施方式1一样,当已知从被摄物体观察阶段起就进行着图像位置调整(使照相机运动着等)时,也可以根据移动矢量的大小提高高通滤波器对该运动方向的移动矢量的低频分量除去能力,或在坐标变换中不反映该移动矢量、即将移动矢量设定为零。
在步骤S2013中,将第1图像与进行了坐标变换的第2图像合成。
在步骤S2014中,取得与在步骤S2003中设定的图像取得数的量的图像(第1图像及第2图像),并对这些图像判断步骤S2011~步骤S2013中的处理是否已结束。这里,当对所有图像的上述处理尚未结束时,返回步骤S2008,而当对所有图像的上述处理已结束时,进入步骤S2015。
在步骤S2015中,摄影控制电路18,通过发声驱动电路17b驱动扬声器17a,使其发出表示摄影动作完成的声音。
在步骤S2016中,将在步骤S2013中合成后的图像显示在显示单元118上。即,如图15的(H)所示,对图像切出区域121g内的图像进行放大显示,以使合成图像150内的图像切出区域121g与显示单元118的显示画面130一致。这时,显示单元118上的显示图像,从在步骤S2011中显示的合成前的图像(第1图像)切换为合成后的图像。由此,摄影者,可以观察图像合成后的画面图像切出区域121g,能够得知曝光的改善效果。
在步骤S2017中,为使图像切除区域121g内的图像成为预定的图像尺寸(原图像尺寸),对该图像进行扩展补全处理。
在步骤S2018中,将在步骤S2017中得到的图像数据记录在记录电路119内,或记录在例如由半导体存储器等构成的可在照相机上装卸的记录介质上。
另外,在步骤S2018中,将存储在图像存储电路113内的第1图像也记录在记录电路119内。这样,通过记录有合成图像和第1图像,使摄影者能够对在全区域上曝光适当的合成图像和只在由照明光所照射的区域上曝光大致适当的第1图像进行比较。然后,通过操作照相机上所设有的选择开关200,可以选择合成图像和第1图像中的一个,并使用所选定的图像。
在步骤S2019中,返回流程的开始处。
如上所述,在本实施方式中,不仅在被摄物体观察阶段,在摄影阶段也对特定的移动矢量信号进行高通滤波器处理。由此,当从摄影阶段开始进行照相机的图像位置调整时,可以适应该图像位置调整。
另外,在本实施方式中,使摄影阶段中的图像切出区域大于被摄物体观察阶段中的图像切出区域。这样,通过增大摄影阶段中的图像切出区域,可以得到与摄影时的视场角对应的摄影图像(合成图像)。
(实施方式4)
在实施方式1~3中,在被摄物体观察阶段,虽然进行晃动校正,但不进行图像合成的曝光补偿。
一般地,被摄物体观察阶段中的图像取得间隔为1/30秒左右,各摄像动作中的曝光时间设定为1/60秒或更短一些。
因此,在低亮度的被摄物体(例如,夜景)的情况下,很难得到充分的曝光,因而在被摄物体观察阶段显示在显示单元118上的图像将变得很暗。这里,为使显示图像变得明亮,在摄像动作时或其后的信号处理时,需要大幅度地提高摄影信号的增益。但是,如果大幅度地提高摄像信号的增益,则噪声也增大,因而将变成低劣的图像。
本发明的实施方式4,使在被摄物体观察阶段中显示的图像的曝光尽可能地适当。具体地说,以不会产生因手的抖动而引起的影像晃动的短的曝光时间反复取得图像,并通过将这些图像合成而生成进行了曝光补偿的合成图像。然后,反复进行上述的图像合成动作,并将所生成的合成图像依次显示在显示单元118上。
在上述情况下,生成1个合成图像时的总的曝光时间变长,图像的显示间隔(图像的更新间隔)变长,所以不适于显示动的被摄物体。然而,在灰暗到要将摄像信号的增益提高到使噪声成了问题的程度的环境下,用显示单元118观看动的被摄物体是很少有的事。
因此,在本实施方式中,图像显示间隔允许稍长一些,无需大幅度地提高摄像信号的增益,可以抑制噪声引起的图像恶化。
另外,在本实施方式中,根据被摄物体的亮度,将被摄物体观察阶段中的显示模式在将通过摄像元件19的连续摄像动作得到的多个图像依次显示在显示单元118上的第1显示模式(通常的显示模式),和将如上所述的合成图像依次显示在显示单元118上的第2显示模式之间进行切换。这样,根据被摄物体的亮度适当地切换第1显示模式和第2显示模式,即可消除上述的显示间隔的问题和噪声的问题。
当在第2显示模式中生成合成图像时,根据合成前的各移动矢量,变更各图像内的图像切出区域的位置(合成基准位置)。然后,通过根据图像切出区域将多个图像合成,而生成合成图像。这时,对合成前的各图像间的移动矢量信号不进行高通滤波器处理地生成合成图像。由此,可以得到无构图偏移的合成图像。
另一方面,当在显示单元118上依次显示所生成的合成图像时,对各合成图像间的移动矢量信号进行高通滤波器处理。由此,可以使显示单元118上的显示与照相机的图像位置调整相对应。
就是说,在第2显示模式中,当从多个图像生成显示在显示单元118上的合成图像时,对各图像间的移动矢量信号不进行高通滤波器处理,由此可以生成无构图偏移的合成图像。而当依次显示合成图像时,对各合成图像间的移动矢量信号进行高通滤波器处理,因此,可以使显示单元118上的显示与照相机的操作相对应。
用图17对上述第2显示模式进行具体的说明。
示于图17上侧的3个图像组,各具有4个图像(31a~31d、32a~32d、33a~33d),通过对这些图像进行合成处理而生成1个合成图像(31、32、33)。所合成的各图像,通过使曝光时间为例如1/60秒的摄像动作而生成。
另外,当摄影光学系统的焦距比预定值长时,通过将曝光时间进一步缩短,可以抑制因手的抖动而产生的各图像间的构图偏移。例如,当摄影光学系统的焦距按135mm胶片换算为300mm时,可以将曝光时间设定为比1/60秒短的1/300秒。
首先,通过以短的曝光时间进行多次摄像动作,生成4个图像31a~31d。通过检测4个图像中的各图像间的移动矢量,设定各图像中的图像切出区域(用于合成的区域)的位置。然后,根据该图像切出区域将图像31a~31d合成,由此生成1个图像31,并将该图像31显示在显示单元118上。
这里,被摄物体越暗,所合成的图像的取得数越多,但如过分地增多取得图像数,将使显示单元118上的显示图像的更新间隔延长,因而将使显示单元118的显示变得不自然。因此,在本实施方式中,以特定的图像取得数(例如4个)停止图像的取得,而当曝光不足时,通过提高摄像信号的增益对曝光不足进行补偿。在这种情况下,虽然会使合成图像的噪声增大,但与如上所述的将1个图像信号的增益大幅度提高的情况相比,还是可以得到噪声小的图像。
接着,当设定图像切出区域的位置时,在合成前的各图像31a~31d中,图像切出区域内的图像设定为相同的图像。而且,对合成前的各图像31a~31d间的移动矢量信号不进行高通滤波器处理。由此,即使在合成前的各图像31a~31d之间产生构图的偏移,也能在合成图像31成为无构图偏移的图像。
将合成图像31显示在显示单元118上。
在结束了上述4个图像31a~31d的取得后,通过以短的曝光时间进行的摄像动作,取得4个图像32a~32d。这些图像32a~32d,以与上述图像31a~31d相同的方式进行合成,生成合成图像32。由于在图像32a~32d的合成阶段也不对各图像间的移动矢量信号进行高通滤波器处理,所以可以生成无构图偏移的合成图像32。合成图像32,自显示合成图像31起经过预定时间后显示在显示单元118上。
这里,当在合成图像31之后接着显示合成图像32时,检测2个合成图像间的移动矢量,并对该移动矢量信号进行高通滤波器处理,从而设定合成图像32中的图像切出区域(显示在显示单元118上的区域)的位置。由此,可以使显示单元118上的合成图像的显示与照相机的图像位置调整相对应。
接着,在结束了上述4个图像32a~32d的取得后,通过以短的曝光时间进行的摄像动作,取得4个图像33a~33d。这些图像33a~33d,以与上述图像31a~31d相同的方式进行合成,生成合成图像33。由于在图像33a~33d的合成阶段也不对各图像间的移动矢量信号进行高通滤波器处理,所以可以生成无构图偏移的合成图像33。合成图像33,自显示合成图像32起经过预定时间后显示在显示单元118上。
这里,当在合成图像32之后接着显示合成图像33时,检测2个合成图像间的移动矢量,并对该移动矢量信号进行高通滤波器处理,从而设定合成图像33中的图像切出区域的位置。因此,可以使显示单元118上的合成图像的显示与照相机的图像位置调整相对应。
另外,对合成图像34、35,也通过合成以短的曝光时间的摄像动作生成的多个图像而生成,并在显示合成图像33之后,依次显示合成图像34、35。
如上所述,通过以短的曝光时间进行多次摄像动作并用由此而得到的多个图像生成在显示单元118上进行更新显示的合成图像,来补偿合成图像(显示图像)的曝光。另外,如上所述,由于对合成前的各图像间的移动矢量信号不进行高通滤波器处理,各合成图像成为无构图偏移的图像,可以在显示单元118上连续显示无构图偏移的合成图像。而当连续显示合成图像时,通过对各合成图像间的移动矢量信号进行高通滤波器处理,可以使显示单元118上的显示变成与照相机的图像位置调整相对应的显示。
在本实施方式中,与实施方式1、2一样,根据照相机的运动(图像位置调整)量,变更与各合成图像间的移动矢量信号对应的高通滤波器的低频分量除去能力。即,根据移动矢量的值小于或大于预定值,变更与移动矢量信号对应的高通滤波器的特性。
由此,可以使显示单元118上的显示与照相机的图像位置调整相对应,并使该显示变得更易于观察。
另一方面,在摄影阶段中,与实施方式1、2一样,根据被摄物体的亮度、摄像元件19的灵敏度及摄影光学系统的焦距,设定曝光时间和图像取得数,然后,通过将所取得的多个图像合成而生成曝光适当的1个合成图像(摄影图像)36。
图18是综合了上述动作的流程图,该流程在接通照相机的电源时启动。
在步骤S3001中,待机直到摄影者通过将释放按钮按下一半的操作而使SW1接通,当SW1接通后进入步骤S3002。
在步骤S3002中,使用摄像元件19开始摄像动作。摄影控制电路18,一边根据来自信号处理电路111的输出而检测被摄物体影像的对比度,一边驱动AF驱动电机14a使摄影镜头11沿光轴方向移动。然后,在对比度变得最高的时刻,停止摄影镜头11的移动,从而使摄影光学系统成为对焦状态(所谓的基于梯度法的焦点调节)。此外,也可以根据相位差检测进行焦点调节。
另外,摄影控制电路18,根据摄像元件19的输出求取被摄物体影像的亮度(测光)。
在步骤S3003中,摄影控制电路18,根据在步骤S3002中求得的被摄物体的亮度等摄影条件,求出取得的图像数及取得各图像时的曝光时间。
在以上的运算结束后,在设置于照相机的取景器内的显示单元或设置于照相机外壳上的液晶显示单元上,显示关于防抖动模式(将多个图像合成而取得摄影图像的模式)的设定的信息、和关于图像取得数的信息。摄影者,通过观察上述显示单元上的显示内容,即可得知防抖动模式的设定及图像取得数。
在步骤S3004中,位移检测电路114从图像内的特定区域抽取特征像(特征点),并求取该特征点的坐标。如上所述,特征点可以从图像内静止被摄物体所处的可能性高的区域(例如,图2中的建筑物123a所处的区域)抽取。
在步骤S3005中,摄影控制电路18,根据摄影光学系统的焦距和在步骤S3002中得到的测光结果(被摄物体的亮度)等摄影条件,判断应设定为第1显示模式和第2显示模式中的哪一种显示模式。
这里,例如,当进行远距离摄影或被摄物体较暗时,摄影控制电路18判断为需要设定为第2显示模式。
当进行远距离摄影时,为抑制因手的抖动产生影像晃动,将曝光时间设定为比预先设定的值(例如1/60秒)短(例如1/300秒),并进行多次缩短了曝光时间量后的摄像动作而取得多个图像(相当于图17的图像31a~31d、32a~32d、33a~33d)。然后,通过将这些图像合成而生成进行了曝光补偿的合成图像(相当于图17的合成图像31~33)。
另外,当被摄物体非常暗时,通过使曝光时间仍为原来预先设定的值(例如1/60秒)而进行多次摄像动作,取得多个图像(相当于图17的图像31a~31d、32a~32d、33a~33d),并通过将这些图像合成而生成进行了曝光补偿的合成图像(相当于图17的合成图像31~33)。
另一方面,例如,当进行远距离摄影或被摄物体较暗时,摄影控制电路18,判断为需要设定为第1显示模式。在第1显示模式中,在每次通过摄像元件19的摄像动取得图像时,将该图像显示在显示单元118上。
在步骤S3005中,当判断为需要设定为第2显示模式时,设定为第2显示模式后进入步骤S3006。而当判断为需要设定为第1显示模式时,设定为第1显示模式后进入步骤S3007。
在步骤S3007中,坐标变换电路115,根据在步骤S3004中求得的特征点坐标,确定图像切出区域(用于显示的区域)的位置。
这里,在第1显示模式中,为使显示单元118上的显示与照相机的图像位置调整相对应,根据显示在显示单元118上的各图像间的移动矢量信号中的除去了低频分量(进行了高通滤波器处理的)的信号,设定图像切出区域的位置。
在步骤S3012中,将图像显示在显示单元118上。这时的显示方式,与实施方式3相同,对图像切出区域内的图像进行放大显示,以使在步骤S3007中设定的图像切出区域与显示单元118的显示画面一致。
在步骤S3006中,判断是否是用于求得显示在显示单元118上的合成图像的多个图像(相当于图17的图像31a~31d、32a~32d、33a~33d)中的最初取得的图像(相当于图17的图像31a、32a、33a)。这里,当是最初取得的图像时,进入步骤S3008,如不是则进入步骤S3009。
在步骤S3008中,根据与之前进行显示的合成图像的比较而得到的移动矢量,确定最初的图像中的图像切出区域(用于显示的区域)的位置。
这里,为了与照相机的图像位置调整相对应,根据进行了高通滤波器处理的移动矢量信号,确定图像切出区域的位置(显示基准位置)。在确定了图像切出区域的位置后,进入步骤S3011。
步骤S3009,是流程进行到对所合成的多个图像中最初取得的图像以外的图像(以下,称为其他图像)进行处理时的步骤。在步骤S3009中,根据相对于最初的图像的其他图像的移动矢量,求取与最初的图像内的图像切出区域对应的其他图像内的图像切出区域(用于合成的区域)的位置。
这里,如上所述,为得到无影像晃动的合成图像,对移动矢量信号不进行高通滤波器处理,并根据不进行高通滤波器处理的移动矢量信号确定其他图像内的图像切出区域的位置。
在步骤S3010中,图像合成电路116,将其他图像内的图像切出区域与最初的图像内的图像切出区域重合而进行图像的合成。
在步骤S3011中,判断是否在第2显示模式中取得了在显示单元118上显示的合成图像。例如,判断是否如图17所示将4个图像31a~31d合成而取得了合成图像31。这里,当取得了所显示的合成图像时,进入步骤S3012,否则返回步骤S3002,取得其余的图像
这里,说明为得到在第2显示模式中显示的合成图像而合成的图像数。此处,当想要以1/60秒的曝光时间的摄像动作得到与以1/10秒的曝光时间进行1次摄像动作所取得的图像相对应的图像时,要进行6次该摄像动作,并将所得到的6个图像合成。即,使进行多次摄像动作时的总曝光时间与1次摄像动作的曝光时间相等。
但是,当在被摄物体观察阶段中在显示单元118上显示动图像时,如用于得到所合成的图像的摄像动作的次数多,则使显示单元118上的图像的更新间隔延长,因而将难于观察到动图像。
因此,在本实施方式中,并不拘泥于如上所述的使总的曝光时间相等,而是以1/60秒的曝光时间进行3次摄像动作,并将由此得到的3个图像合成而对曝光进行补偿。然后,对曝光不足的部分,通过提高合成后的图像信号的增益进行补偿。
在步骤S3012中,将在步骤S3010中合成后的图像显示在显示单元118上。这时的显示方式与实施方式3相同,对图像切出区域内的图像进行放大显示,以使在步骤S3010中合成后的图像切出区域与显示单元118的显示画面一致。
在步骤S3013中,待机直到通过将释放按钮全部按下的操作而使SW2接通。而如果通过解除释放按钮的半按下操作而使SW1断开,则在步骤S3001中待机直到SW1再次接通。
这里,对返回步骤S3001的情况进行补充说明。在返回步骤S3001后,在步骤S3002中开始在被摄物体观察阶段中显示的图像的取得。然后,在步骤S3005中设定为第2显示模式,并当流程进行到步骤S3006时,判断在步骤S3002中取得的图像是否是所合成的多个图像中的最初的图像。
在步骤S3006中,当所取得的图像是上述的其他图像时,为生成无构图偏移的合成图像,不对其他图像相对于最初的图像的移动矢量信号进行高通滤波器处理,而是根据实际的移动矢量信号,设定其他图像内的图像切出区域的位置。
另一方面,当所取得的图像是最初的图像时,对该最初的图像相对于在这之前刚显示过的图像(合成图像)的移动矢量信号进行高通滤波器处理,并根据进行高通滤波器处理后的移动矢量信号,设定最初的图像中的图像切出区域的位置。
以下,用图17进行具体的说明。
当设定图像31a~31d内的图像切出区域的位置时,不对各图像间的移动矢量信号进行高通滤波器处理,当设定图像32a中的图像切出区域的位置时,对图像32a相对于合成图像31的移动矢量信号进行高通滤波器处理。
同样,当设定图像32a~32d内的图像切出区域的位置时,不对各图像间的移动矢量信号进行高通滤波器处理,当设定图像33a内的图像切出区域的位置时,对图像33a相对于合成图像32的移动矢量信号进行高通滤波器处理。
如上所述,对于在特定的图像组内最初取得的图像,通过与在该图像之前取得的图像组内的合成图像的相关运算,求出移动矢量,并通过高通滤波器处理将该移动矢量的低频分量除去。然后,根据除去了低频分量的移动矢量信号,设定在特定的图像组内最初取得的图像中的图像切出区域。
在步骤S3014中,开始用于取得摄影图像的摄像动作。
这里,当进行第1次摄像动作时,与实施方式1一样,通过使照明单元16a发光地进行摄像动作,取得第1图像。这时,摄影控制电路18,通过发声驱动电路17b驱动扬声器17a,使其发出用于表示摄影开始的声音。
另一方面,当进行第2次及随后的摄像动作时,不使照明单元16a发光地进行摄像动作,取得第2图像。当第1图像或第2图像的取得结束时,进入步骤S3015。
在步骤S3015中,由位移检测电路114从第1图像和第2图像中抽取特征像,并求取该特征点的坐标。特征点的抽取方法,与上述实施方式1等相同。
另外,在步骤S3015中,将使用照明单元16a取得的第1图像暂时存储在图像存储电路113内,并显示在显示单元118中。
在步骤S3016中,坐标变换电路115对第2图像进行坐标变换处理。
在步骤S3016的坐标变换处理中,与被摄物体观察阶段中的坐标变换处理不同,不对移动矢量信号进行高通滤波器处理。由此,可以根据移动矢量精确地校正第2图像相对于第1图像的构图偏移,因而可以得到无影像晃动的合成图像(摄影图像)。
在步骤S3017中,将第1图像和第2图像合成。
在步骤S3018中,判断是否已对与步骤S3003中求得的图像取得数相应的图像进行了步骤S3014~步骤S3017的处理。这里,当没有对所有图像结束上述处理时,返回步骤S3014,反复进行步骤S3014~步骤S3017的处理直到结束对所有图像的处理。
在被摄物体观察阶段的图像合成中,如上所述,以显示图像的更新时间为优先,减少摄像动作的次数,抑制显示图像更新时间的变长。另一方面,在摄影阶段的图像合成中,并不以显示图像的更新时间为优先,进行多次摄像动作以使总的曝光时间等于预先设定的曝光时间,并合成由此而得到的多个图像。
在步骤S3019中,摄影控制电路18,通过发声驱动电路17b驱动扬声器17a,使其发出指示摄影完成的声音。
在步骤S3020中,将在步骤S3017中最终得到的合成图像显示在显示单元118上。这里,由于通过步骤S3015中的处理预先在显示单元118上显示着第1图像,所以通过步骤S3020中的处理,将显示单元118上的显示从第1图像切换为合成图像。摄影者通过观察从第1图像到合成图像的切换,即可得知在合成图像上已对曝光进行了补偿。
在步骤S3021中,对合成图像中的图像切出区域内的图像进行扩展补全处理,以使该图像成为预定的图像尺寸(原来的图像尺寸)。
在步骤S3022中,将在步骤S3021中得到的合成图像记录在例如由半导体存储器等构成的可在照相机上装卸的记录介质中。另外,将存储在图像存储电路113内的第1图像数据记录在记录电路119内。
如上所述,通过记录好在所有区域上曝光都适当的合成图像,和只在由照明光所照射的区域上曝光大致适当的第1图像,摄影者可以选择合成图像及第1图像。
在步骤S3023中,返回流程的开始处。
如上所述,在本实施方式中,可以提高被摄物体观察阶段中的显示图像的质量,特别是,通过在用于图像合成的区间、即取得上述1个图像组的区间和作为动图像而取入下1个图像的区间、即2个图像组之间的区间内,使被摄物体观察阶段中的防抖动特性(对移动矢量的处理)不同,从而既可以提高防抖动精度又能提高照相机的使用灵活性。
就是说,在周期地执行多个图像的合成的照相机中,使在1个周期内取入多个图像时的偏移检测特性,与每个周期的偏移检测特性不同。这里,在每个周期的偏移检测特性中,通过高通滤波器的处理,在检测出的偏移信号(移动矢量信号)中使低频的偏移信号衰减。而在1个周期内的偏移检测特性中,在检测出的偏移信号(移动矢量信号)中不使低频的偏移信号衰减。由此,可以对在1个周期内得到的合成图像提高防抖动精度,并可以使在每个周期内更新的图像与照相机的图像位置调整相对应,从而可以提高照相机的使用灵活性。
(实施方式5)
本发明不仅适用于数码静态照相机,而且还可以应用于摄像机。可是,摄像机的摄影周期,由于在欣赏设备之间存在制约,所以即使被摄物体较暗时也不能延长摄影周期。
但是,在远距离摄影等摄影条件下,当以通常的1/60秒的曝光时间进行摄影时,很容易因手的抖动而产生影像的偏移。因此,通过将曝光时间缩短到不产生影像晃动的程度并以该曝光时间进行多次摄像动作,来取得多个图像。然后,对于这些图像,通过使特征点重合而合成,可以取得对曝光进行补偿,并几乎无影像晃动的图像。这里,通过使图像合成时的防抖动特性与图像更新时的防抖动特性不同,既可以提高防抖动效果又能提高照相机的使用灵活性。
用图19说明本实施方式的照相机。此外,本实施方式的照相机的结构,与在实施方式1中说明过的照相机结构大致相同。
示于图19上侧的3个图像组,各由4个图像构成,将取得各图像时的曝光时间设定为例如1/300秒。这在摄影时的摄影光学系统的焦距按135mm胶片换算为300mm时,为抑制因手的抖动而造成的图像恶化,将曝光时间设定为大致相当于焦距数值的倒数。
首先,以预定的曝光时间进行4次摄像动作,由此生成4个图像36a~36d。然后,检测这些图像36a~36d中的各图像间的移动矢量,并根据该移动矢量设定图像切出区域(用于合成的区域)。然后,使图像切出区域重合地将4个图像36a~36d合成,生成1个图像36。
这里,当被摄物体变暗时,为对曝光进行补偿,使所合成的图像的取得数增加,但如过分地增多取得图像数,将使显示单元118上的图像更新间隔延长,因而将使显示单元118不能进行很自然的显示。
因此,在本实施方式中,以特定的图像取得数(例如4个)停止图像的取得,并通过提高摄像信号的增益以补偿曝光的不足。在这种情况下,虽然随着增益的提高使摄像信号的噪声增大,但如果与如上所述的将摄像信号的增益大幅度提高的情况相比,还是可以得到噪声较小的图像。
在本实施方式中,当在生成1个用于显示的合成图像的情况下设定图像切出区域(用于合成的区域)的位置时,与实施方式4不同,对因手的抖动而产生的各图像间的移动矢量信号进行高通滤波器处理。其原因是,这种还保留着一定程度的移动矢量信号的低频分量的方式,能使显示的切换变得平滑,因而可以显示自然的图像。
因此,当生成1个用于显示的合成图像时,在对移动矢量信号进行的高通滤波器处理中,如图10的单点划线135a所示,采用具有将低于频率f1的频率分量除去的第1特性的高通滤波器。
合成后的图像,显示在显示单元118上。在显示着合成图像36的期间,取得图像37a~37d,并将这些图像37a~37d合成而生成合成图像37。在将图像合成的阶段,对合成的各图像间的移动矢量信号进行高通滤波器处理。
当在合成图像36之后接着显示合成图像37时,检测2个合成图像的移动矢量,并对该移动矢量信号进行高通滤波器处理。然后,根据进行了高通滤波器处理的移动矢量信号,设定合成图像37内的图像切出区域(用于显示的区域)的位置。由此,可以使显示图像与照相机的图像位置调整相对应。
在对合成图像间的移动矢量信号进行的高通滤波器处理中,如图10的实线135b所示,采用具有将低于频率f2的频率分量除去的第2特性的高通滤波器。如图10所示,具有第2特性的高通滤波器,与具有第1特性的高通滤波器相比,时间常数小、低频除去能力增大。
同样,对于合成图像38,也在合成图像37的显示中用预先取得的图像38a~38d生成。在合成图像38的合成阶段,也进行对移动矢量信号的高通滤波器处理。
当在合成图像37之后接着显示合成图像38时,检测2个合成图像间的移动矢量,并对该移动矢量信号进行高通滤波器处理。然后,根据进行了高通滤波器处理的移动矢量信号,设定合成图像38内的图像切出区域(用于显示的区域)的位置。因此,可以使显示图像与照相机的图像位置调整相对应。
在对合成图像间的移动矢量信号进行的高通滤波器处理中,如图10的实线135b所示,采用具有将低于频率f2的频率分量除去的第2特性的高通滤波器。
在本实施方式中,能够补偿曝光并显示防抖动精度高的图像(合成图像36~38),并可以使显示图像与照相机的图像位置调整相对应。
这里,与实施方式1~3一样,也可以根据照相机的运动(图像位置调整)量,变更对各显示图像间的移动矢量信号的高通滤波器处理中的特性(低频除去能力)。由此,可以显示与照相机的图像位置调整对应的适当的图像,可以更容易地使用照相机。
图20是综合了上述动作的流程图,该流程在接通照相机的电源时开始。
在步骤S4001中,待机直到摄影者将设置在照相机上的图中未示出的录像按钮接通,当录像按钮接通时进入步骤S4002。当通过录像按钮的操作,不是开始录像动作而是录像准备动作时,也可以进入步骤S4002。
在步骤S4002中,驱动摄像元件19进行摄像动作。摄影控制电路18,一边根据来自信号处理电路111的输出检测被摄物体像(摄影图像)的对比度,一边驱动AF驱动电机14a使摄影镜头11沿光轴方向移动。然后,在对比度变得最高的时刻,停止摄影镜头11的移动,从而使摄影光学系统变为对焦状态(所谓的基于梯度法的焦点调节)。此外,也可以进行基于相位差检测方式的焦点调节。
另外,摄影控制电路18,根据摄像元件19的输出求取被摄物体的亮度(测光)。
在步骤S4003中,根据在步骤S4002中求得的被摄物体的亮度等摄影条件,求出要取得的图像数及取得各图像时的曝光时间。
在步骤S4004中,位移检测电路114,从图像内抽取特征像(特征点),并求取该特征点的坐标。这里,特征点的抽取,可以按照与上述实施方式1相同的方法进行。
在步骤S4005中,根据在步骤S4002中得到的摄影条件判断是否需要显示合成后的图像。这里,作为需要显示合成后的图像的情况,例如是远距离摄影的情况。在这种情况下,为防止影像晃动而缩短曝光时间(例如设定为1/300秒),并进行多次摄像动作而取得图像,并将这些图像合成,以对曝光进行补偿。
另一方面,当不是远距离摄影时,判断为没有必要显示合成后的图像。在这种情况下,每次进行摄像动作就显示由摄像动作取得的图像。
在步骤S4005中,当判定为需要显示合成后的图像时,进入步骤S4006,否则进入步骤S4007。
在步骤S4007中,根据在步骤S4004中求得的特征点坐标,确定图像切出区域(用于显示的区域)的位置。图像切出区域的位置,虽然是根据在步骤S4004中求得的移动矢量确定的,但为了考虑照相机的图像位置调整,根据将移动矢量信号的低频分量除去(通过高通滤波器)后的信号来确定图像切出区域的位置。然后,进入步骤S4012。
在步骤S4006中,坐标变换电路115判断所摄取的图像是否是为显示而合成的图像中的通过第1次摄像动作而取得的图像。这里,当是通过第1次摄像动作得到的图像时,进入步骤S4009,否则进入步骤S4008。
在步骤S4009中,坐标变换电路115,根据相对于在这之前显示的合成图像中的图像切出位置的移动矢量,确定最初的图像内的图像切出区域(用于显示的区域)的位置。
这时的图像切出区域的位置,虽然根据移动矢量确定,但为适应于照相机的图像位置调整,对移动矢量信号进行高通滤波器处理,并根据进行了高通滤波器处理的移动矢量信号确定图像切出区域的位置。在这里的高通滤波器处理中,如图10的实线135b所示,将低于频率f2的频率分量除去,使得与照相机的图像位置调整相对应。在设定了图像切出区域的位置后,进入步骤S4011。
在步骤S4008中,坐标变换电路115,确定由第2次以后摄像动作取得的图像(其他图像)内的图像切出区域的位置。具体地说,根据在步骤S4009中求出的最初的图像内的图像切出区域的位置,及通过最初的图像和其他图像之间的相关运算求得的移动矢量,确定其他图像内的图像切出区域的位置。
在合成图像的阶段,虽然以获得无影像晃动的合成图像为目的,但为使所观察到的以一定周期更新的合成图像之间的连接更加自然,对所合成的图像间的移动矢量信号进行高通滤波器处理。然后,根据进行了高通滤波器处理的移动矢量信号确定所合成的各图像内的图像切出区域(用于合成的区域)的位置。
在这里的高通滤波器处理中,如图10的单点划线135a所示,将低于频率f1的频率分量除去,从而可以与照相机的缓慢运动(图像位置调整)相对应。
在步骤S4010中,将通过第2次以后的摄像动作取得的图像合成于通过第1次摄像动作取得的图像。
在步骤S4011中,判断是否取得了为补偿曝光所需的图像数的图像,当取得了所需图像数的图像时,进入步骤S4012,否则返回步骤S4002,进行下一个图像的取得。
在步骤S4012中,将在步骤S4010中最终合成了的合成图像显示在显示单元118上。这时的显示方法,与上述实施方式3相同,即对图像切出区域内的图像进行放大显示,以使图像切出区域与显示单元118的显示画面一致。
在步骤S4012中的图像显示后,进入步骤S4013,记录合成图像数据。接着,记录了合成图像数据后,返回步骤S4001,反复进行录像动作。
如上所述,在本实施方式中,当用摄像机进行远距离摄影时,可以提高显示图像的质量。这里,在取得用于显示的合成图像的区间及更新合成图像的区间内,变更防抖动特性(对移动矢量的高通滤波器处理的特性)。由此,可以显示无影像晃动的合成图像,并能使显示图像与照相机的图像位置调整相对应。而且,通过在生成合成图像的阶段进行高通滤波器处理,可以使如上所述的合成图像间的切换没有不谐调感。
另外,在本实施方式中,是以最初取得的图像作为图像合成处理的基准的,但只要是在所取得的图像数内,也可以将通过第2次、第3次的摄像动作取得的图像作为基准。
另外,本发明可以适用于具有照相机主体和安装于该照相机主体的镜头装置的照相机系统、镜头一体式的照相机。

Claims (15)

1.一种图像摄取装置,用摄像元件摄取第1和第2图像,其特征在于,包括:
控制装置,检测出上述第2图像相对于作为基准图像的上述第1图像的位移量,在被摄物体观察阶段和摄影阶段进行预定的处理;以及
显示单元,可以显示上述第1和第2图像;
其中,上述控制装置,在被摄物体观察阶段,根据上述位移量,确定在上述第1和第2图像中显示在上述显示单元上的区域,并以预定的周期将该区域内的图像依次显示在上述显示单元上,
在摄影阶段,根据上述位移量,使上述第2图像与上述第1图像相一致地合成上述第1和第2图像,生成进行了曝光补偿的合成图像。
2.根据权利要求1所述的图像摄取装置,其特征在于:
上述控制装置包括
检测部,检测上述位移量;
坐标变换部,根据上述检测部的检测结果,对上述第2图像进行坐标变换,以使上述第2图像与上述第1图像相一致;以及
合成部,合成上述第1图像和由上述坐标变换部进行了坐标变换的上述第2图像。
3.根据权利要求1或2所述的图像摄取装置,其特征在于:
包括可以记录上述第1图像和上述合成图像的记录部。
4.根据权利要求3所述的图像摄取装置,其特征在于:
具有选择开关,用于选择记录在上述记录部中的上述第1图像和上述合成图像中的一个。
5.根据权利要求2所述的图像摄取装置,其特征在于:
上述检测部生成依照上述位移量的位移信号,
上述坐标变换部,在被摄物体观察阶段,根据基于第1频率特性变换上述位移信号后的第1运算信号,进行上述第2图像的坐标变换;在摄影阶段,根据基于第2频率特性变换上述位移信号后的第2运算信号,进行上述第2图像的坐标变换。
6.根据权利要求5所述的图像摄取装置,其特征在于:
上述第1频率特性是除去上述位移信号中的低频侧部分的频率,上述第2频率特性是不除去上述低频侧部分的频率特性。
7.根据权利要求5或6所述的图像摄取装置,其特征在于:
上述坐标变换部根据上述位移量,使上述第1或第2频率特性变化。
8.根据权利要求7所述的图像摄取装置,其特征在于:
上述坐标变换部,使上述第1或第2频率特性关于特定的位移方向而变化。
9.根据权利要求1所述的图像摄取装置,其特征在于:
在上述摄影阶段,将上述合成图像显示在上述显示单元上,
使在上述被摄物体观察阶段所显示的图像区域的面积与在上述摄影阶段所显示的图像区域的面积不同。
10.根据权利要求9所述的图像摄取装置,其特征在于:
在上述摄影阶段所显示的图像区域的面积,大于在上述被摄物体观察阶段所显示的图像区域的面积。
11.根据权利要求1所述的图像摄取装置,其特征在于:
在上述摄影阶段,将上述合成图像显示在上述显示单元上,
在上述第1图像和第2图像的摄影结束后,根据上述位移量确定在上述摄影阶段所显示的图像区域的面积。
12.一种图像摄取装置,合成用摄像元件依次取得的第1和第2图像,得到进行了曝光补偿的合成图像,该图像摄取装置的特征在于,包括:
检测部,检测上述第2图像相对于作为基准图像的上述第1图像的位移量;
坐标变换部,根据上述检测部的检测结果,对上述第2图像进行坐标变换,以使上述第2图像与上述第1图像相一致;
合成部,合成上述第1图像和由上述坐标变换部进行了坐标变换的上述第2图像,生成上述合成图像;
显示上述合成图像的显示单元;以及
记录上述合成图像的记录部;
进行以预定周期将上述合成图像依次显示在上述显示单元上的显示动作,以及以预定周期将上述合成图像依次记录在上述记录部内的记录动作中的至少一个动作。
13.根据权利要求12所述的图像摄取装置,其特征在于:
上述检测部,生成依照下一个合成图像相对于在前一个周期内合成的合成图像的位移量的第1位移信号,上述坐标变换部,根据基于第1频率特性变换该第1位移信号后的第1运算信号,进行坐标变换,
关于上述多个图像中的一个周期内的图像,上述检测部生成依照相互的图像间的位移量的第2位移信号,上述坐标变换部,根据基于第2频率特性变换该第2位移信号后的第2运算信号,进行坐标变换。
14.根据权利要求12或13所述的图像摄取装置,其特征在于:
上述第1频率特性是除去上述第1位移信号中的低频侧部分的频率,上述第2频率特性是不除去上述第2位移信号中的上述低频侧部分的频率特性。
15.根据权利要求12或13所述的图像摄取装置,其特征在于:
上述第1频率特性是除去上述第1位移信号中的低频侧部分的频率,上述第2频率特性是除去上述第2位移信号中的比上述第1频率特性频率更低的部分的频率特性。
CNB200410046212XA 2003-05-29 2004-05-31 图像摄取装置 Expired - Fee Related CN100413320C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003153176A JP4181923B2 (ja) 2003-05-29 2003-05-29 撮像装置および撮像装置の制御方法
JP153176/2003 2003-05-29

Publications (2)

Publication Number Publication Date
CN1574898A true CN1574898A (zh) 2005-02-02
CN100413320C CN100413320C (zh) 2008-08-20

Family

ID=33447822

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200410046212XA Expired - Fee Related CN100413320C (zh) 2003-05-29 2004-05-31 图像摄取装置

Country Status (3)

Country Link
US (1) US7180043B2 (zh)
JP (1) JP4181923B2 (zh)
CN (1) CN100413320C (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100568928C (zh) * 2005-12-27 2009-12-09 三星数码影像株式会社 拍摄装置和方法
CN101180874B (zh) * 2005-05-25 2010-09-08 松下电器产业株式会社 成像装置、显示控制装置、显示装置、打印控制装置、以及打印装置
CN101090459B (zh) * 2006-04-03 2010-12-08 三星数码影像株式会社 拍摄设备和拍摄方法
CN101924880A (zh) * 2009-06-15 2010-12-22 卡西欧计算机株式会社 具有自动对焦功能的拍摄装置
CN101052101B (zh) * 2006-04-03 2011-02-02 三星电子株式会社 用于图像拾取的装置和方法
WO2011069467A1 (zh) * 2009-12-11 2011-06-16 惠州Tcl移动通信有限公司 一种具有防抖功能的拍照手机及其在拍照中的防抖方法
CN101626457B (zh) * 2008-07-08 2011-09-07 华晶科技股份有限公司 影像撷取方法
CN102375713A (zh) * 2010-08-17 2012-03-14 宏碁股份有限公司 电子装置及图像抗晃动的方法
CN102387307A (zh) * 2010-09-03 2012-03-21 Hoya株式会社 图像处理系统和图像处理方法
CN102625120A (zh) * 2011-01-31 2012-08-01 索尼公司 图像处理设备、方法和程序
CN102984464A (zh) * 2011-09-06 2013-03-20 奥林巴斯映像株式会社 摄像装置
CN103229496A (zh) * 2011-06-21 2013-07-31 奥林巴斯株式会社 摄像装置以及摄像方法
CN103873766A (zh) * 2012-12-10 2014-06-18 奥林巴斯映像株式会社 摄影装置、摄影装置的控制方法以及摄影系统
WO2016154873A1 (zh) * 2015-03-31 2016-10-06 华为技术有限公司 一种终端设备和拍照的方法
CN107431762A (zh) * 2015-04-14 2017-12-01 索尼公司 图像处理设备、图像处理方法以及图像处理系统
WO2018076942A1 (zh) * 2016-10-26 2018-05-03 努比亚技术有限公司 一种实现慢门拍照的方法和装置
CN108540728A (zh) * 2017-03-06 2018-09-14 中兴通讯股份有限公司 长曝光拍照方法及装置
CN111698421A (zh) * 2020-06-09 2020-09-22 展讯通信(上海)有限公司 一种图像处理方法、装置及计算机可读存储介质

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7486318B2 (en) * 2003-06-23 2009-02-03 Sony Corporation Method, apparatus, and program for processing an image
WO2005093654A2 (en) 2004-03-25 2005-10-06 Fatih Ozluturk Method and apparatus to correct digital image blur due to motion of subject or imaging device
US9215363B2 (en) * 2004-09-29 2015-12-15 Hewlett-Packard Development Company, L.P. Implementing autofocus in an image capture device while compensating for movement
JP4533119B2 (ja) 2004-12-13 2010-09-01 キヤノン株式会社 撮像装置及び撮像装置の画像表示方法
JP4487191B2 (ja) * 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム
WO2006082967A1 (ja) 2005-02-07 2006-08-10 Matsushita Electric Industrial Co., Ltd. 撮像装置
JP4756892B2 (ja) * 2005-04-01 2011-08-24 キヤノン株式会社 画像処理装置
JP2006345472A (ja) * 2005-05-13 2006-12-21 Sanyo Electric Co Ltd 画像信号処理装置、それを備えた撮像装置及び画像信号処理方法
JP4595733B2 (ja) * 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
JP4636979B2 (ja) * 2005-09-09 2011-02-23 キヤノン株式会社 撮像装置及びその制御方法
EP1952624A4 (en) * 2005-09-14 2011-03-23 Nokia Corp SYSTEM AND METHOD FOR IMPLEMENTING MOTION-CONTROLLED BRAKE MODE IMAGE STABILIZATION
JP4307430B2 (ja) * 2005-09-22 2009-08-05 三洋電機株式会社 手ぶれ検出装置
US7509038B2 (en) * 2005-09-29 2009-03-24 Seiko Epson Corporation Determining maximum exposure time to limit motion blur during image capture
US20070097221A1 (en) * 2005-10-28 2007-05-03 Stavely Donald J Systems and methods of exposure restart for cameras
JP4341613B2 (ja) * 2005-11-29 2009-10-07 セイコーエプソン株式会社 制御装置、撮影装置、撮影装置の制御方法、および、制御プログラム
WO2007069294A1 (ja) * 2005-12-12 2007-06-21 Atsuhiro Ueda 画像診断用データ・サンプリング・デバイス並びに該デバイスに用いられる撮像用アダプタ
JP2007306418A (ja) * 2006-05-12 2007-11-22 Fujifilm Corp 撮像装置および撮像制御方法
JP4483841B2 (ja) * 2006-09-06 2010-06-16 カシオ計算機株式会社 撮像装置
KR101008917B1 (ko) 2006-09-14 2011-01-17 후지쯔 가부시끼가이샤 화상 처리 방법 및 장치와 그 프로그램을 기록한 기록 매체
JP2008070611A (ja) * 2006-09-14 2008-03-27 Casio Comput Co Ltd 撮像装置、露出条件調整方法及びプログラム
EP1973338A1 (en) * 2007-03-19 2008-09-24 Sony Deutschland GmbH Apparatus and method for reducing motion blur in a video signal
WO2008117584A1 (ja) * 2007-03-23 2008-10-02 Kabushiki Kaisha Toshiba 手ぶれ補正装置、撮像装置、手ぶれ補正プログラム、撮像プログラム、手ぶれ補正方法、撮像方法
US7982775B2 (en) * 2007-08-02 2011-07-19 Texas Instruments Incorporated Method and apparatus for motion stabilization
JP4656168B2 (ja) * 2008-03-05 2011-03-23 カシオ計算機株式会社 画像合成装置
JP5199736B2 (ja) * 2008-06-06 2013-05-15 シャープ株式会社 画像撮像装置
US8228400B2 (en) * 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures
JP5226600B2 (ja) * 2009-04-28 2013-07-03 富士フイルム株式会社 画像変形装置およびその動作制御方法
JP2011029905A (ja) * 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム
JP5141733B2 (ja) * 2010-08-18 2013-02-13 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
JP5959850B2 (ja) * 2011-12-27 2016-08-02 キヤノン株式会社 撮像装置及びその制御方法
JP5917258B2 (ja) * 2012-04-20 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
CN110214445A (zh) * 2017-01-23 2019-09-06 株式会社Ntt都科摩 信息处理系统及信息处理装置
US10477107B2 (en) * 2017-01-27 2019-11-12 Invensense, Inc. Electronic image stabilization of a captured image
WO2022023956A1 (en) 2020-07-31 2022-02-03 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for on-phase microscopy
JP2022138536A (ja) * 2021-03-10 2022-09-26 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3927888A1 (de) 1989-08-24 1991-02-28 Philips Patentverwaltung Wechselrichteranordnung
US5768443A (en) * 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
CN1186991A (zh) * 1996-11-01 1998-07-08 松下电器产业株式会社 图象合成装置,图象合成方法及所用媒体
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JPH11271853A (ja) * 1998-03-25 1999-10-08 Toybox:Kk 画像合成カメラおよび画像担持体
JP2000358144A (ja) * 1999-06-17 2000-12-26 Canon Inc 画像入出力システム及びその制御方法
JP3697129B2 (ja) * 2000-01-20 2005-09-21 キヤノン株式会社 撮像装置
JP2003057711A (ja) * 2001-08-16 2003-02-26 Canon Inc 防振機能付き光学電子機器
US7379094B2 (en) * 2002-04-18 2008-05-27 Olympus Corporation Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range
JP4024581B2 (ja) * 2002-04-18 2007-12-19 オリンパス株式会社 撮像装置
JP4004943B2 (ja) * 2002-12-25 2007-11-07 富士フイルム株式会社 画像合成方法および撮像装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101180874B (zh) * 2005-05-25 2010-09-08 松下电器产业株式会社 成像装置、显示控制装置、显示装置、打印控制装置、以及打印装置
CN100568928C (zh) * 2005-12-27 2009-12-09 三星数码影像株式会社 拍摄装置和方法
CN101090459B (zh) * 2006-04-03 2010-12-08 三星数码影像株式会社 拍摄设备和拍摄方法
CN101052101B (zh) * 2006-04-03 2011-02-02 三星电子株式会社 用于图像拾取的装置和方法
CN101626457B (zh) * 2008-07-08 2011-09-07 华晶科技股份有限公司 影像撷取方法
CN101924880A (zh) * 2009-06-15 2010-12-22 卡西欧计算机株式会社 具有自动对焦功能的拍摄装置
CN101924880B (zh) * 2009-06-15 2012-12-19 卡西欧计算机株式会社 具有自动对焦功能的拍摄装置
WO2011069467A1 (zh) * 2009-12-11 2011-06-16 惠州Tcl移动通信有限公司 一种具有防抖功能的拍照手机及其在拍照中的防抖方法
US9167159B2 (en) 2009-12-11 2015-10-20 Huizhou Tcl Mobile Communication Co., Ltd. Camera mobile phone with anti-shaking function and anti-shaking method for use by the camera mobile phone in image capturing
CN102375713A (zh) * 2010-08-17 2012-03-14 宏碁股份有限公司 电子装置及图像抗晃动的方法
CN102387307A (zh) * 2010-09-03 2012-03-21 Hoya株式会社 图像处理系统和图像处理方法
CN102625120A (zh) * 2011-01-31 2012-08-01 索尼公司 图像处理设备、方法和程序
CN102625120B (zh) * 2011-01-31 2016-01-20 索尼公司 图像处理设备和方法
CN103229496A (zh) * 2011-06-21 2013-07-31 奥林巴斯株式会社 摄像装置以及摄像方法
CN103229496B (zh) * 2011-06-21 2015-03-11 奥林巴斯株式会社 摄像装置以及摄像方法
CN102984464A (zh) * 2011-09-06 2013-03-20 奥林巴斯映像株式会社 摄像装置
CN102984464B (zh) * 2011-09-06 2017-06-16 奥林巴斯株式会社 摄像装置
CN103873766A (zh) * 2012-12-10 2014-06-18 奥林巴斯映像株式会社 摄影装置、摄影装置的控制方法以及摄影系统
CN103873766B (zh) * 2012-12-10 2017-09-12 奥林巴斯株式会社 摄影装置、摄影装置的控制方法以及摄影系统
WO2016154873A1 (zh) * 2015-03-31 2016-10-06 华为技术有限公司 一种终端设备和拍照的方法
US10547785B2 (en) 2015-03-31 2020-01-28 Huawei Technologies Co., Ltd. Photographing method including image registration based on reference image, shake information, and a motion vector table
CN107431762A (zh) * 2015-04-14 2017-12-01 索尼公司 图像处理设备、图像处理方法以及图像处理系统
WO2018076942A1 (zh) * 2016-10-26 2018-05-03 努比亚技术有限公司 一种实现慢门拍照的方法和装置
CN107995432A (zh) * 2016-10-26 2018-05-04 努比亚技术有限公司 一种实现慢门拍照的方法和装置
CN108540728A (zh) * 2017-03-06 2018-09-14 中兴通讯股份有限公司 长曝光拍照方法及装置
CN111698421A (zh) * 2020-06-09 2020-09-22 展讯通信(上海)有限公司 一种图像处理方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN100413320C (zh) 2008-08-20
US20040238718A1 (en) 2004-12-02
JP2004357040A (ja) 2004-12-16
US7180043B2 (en) 2007-02-20
JP4181923B2 (ja) 2008-11-19

Similar Documents

Publication Publication Date Title
CN1574898A (zh) 图像摄取装置
CN1574899A (zh) 图像处理装置、图像摄取装置和程序
CN1574892A (zh) 用于获得具有图像振动校正的摄影图像的摄影装置和方法
CN1306303C (zh) 照相机、照相机系统和透镜装置
CN1219395C (zh) 摄像装置和摄像方法
CN1189773C (zh) 摄影透镜系统
CN1275454C (zh) 光电传感器系统和其驱动控制方法
CN1162727C (zh) 变焦镜头以及采用该变焦镜头的光学装置
CN1922529A (zh) 变焦透镜及摄像装置
CN1577033A (zh) 具有模糊校正功能的摄影镜头以及照相机系统
CN1975556A (zh) 光学设备
CN1675919A (zh) 摄像系统及图像处理程序
CN1707347A (zh) 防震装置
CN1749798A (zh) 变焦镜头及摄像装置
CN1967312A (zh) 变焦透镜系统、成像装置、以及拍摄设备
CN1959460A (zh) 变焦镜头和具有变焦镜头的图像拾取设备
CN1732682A (zh) 图像处理装置及图像处理程序
CN1893558A (zh) 电子抖动校正装置
CN101029960A (zh) 变焦透镜以及摄像装置
CN1707346A (zh) 防震装置
CN1741584A (zh) 摄像装置和图像数据的修正方法
CN1877387A (zh) 变焦透镜及包含变焦透镜的摄像设备
CN1910907A (zh) 用于拍摄设备的控制方法、控制设备和控制程序
CN1906518A (zh) 变焦镜头和摄像装置
CN1777242A (zh) 固体摄像器件

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080820

Termination date: 20210531