CN102016681B - 摄像设备 - Google Patents

摄像设备 Download PDF

Info

Publication number
CN102016681B
CN102016681B CN2009801157163A CN200980115716A CN102016681B CN 102016681 B CN102016681 B CN 102016681B CN 2009801157163 A CN2009801157163 A CN 2009801157163A CN 200980115716 A CN200980115716 A CN 200980115716A CN 102016681 B CN102016681 B CN 102016681B
Authority
CN
China
Prior art keywords
focus detection
detection pixel
signal
camera operation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801157163A
Other languages
English (en)
Other versions
CN102016681A (zh
Inventor
法田纱央里
原贵幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102016681A publication Critical patent/CN102016681A/zh
Application granted granted Critical
Publication of CN102016681B publication Critical patent/CN102016681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

一种摄像设备包括：摄像单元，其包括图像传感器，该图像传感器具有多个摄像像素和离散地配置在多个摄像像素之间的多个焦点检测像素；偏移检测单元，用于检测通过多次摄像操作获得的图像之间的偏移量；合成单元，用于基于由偏移检测单元检测到的偏移量，对通过多次摄像操作获得的图像中所包含的焦点检测像素的信号进行合成；以及焦点调节单元，用于通过使用由合成单元进行合成之前的焦点检测像素的信号和由合成单元进行了合成的焦点检测像素的信号来调节摄像镜头的焦点。

Description

摄像设备
技术领域
本发明涉及数字照相机等的摄像设备中的自动焦点调节技术。
背景技术
近年来，数字静态照相机等固态摄像设备中的图像传感器的像素数急剧增大，并且需要以高速进行高精度图像处理。
为了以高速实现高精度自动焦点调节(以下将被称为AF)，如图7和8所示，传统上提出了将AF像素(以下将被称为焦点检测像素)配置为图像传感器601的一部分像素的技术。如图7所示，以使光瞳位置相互对称的方式对光接收部进行分割。将其中一个光接收部定义为焦点检测像素(A图像)501，将另一个光接收部定义为焦点检测像素(B图像)502。
如图8所示，相对于图像传感器的所有像素以特定比率散布焦点检测像素(A图像)501和焦点检测像素(B图像)502。通过对相同水平位置处的焦点检测像素(A图像)604以及焦点检测像素(B图像)605之间的相位差进行比较来进行焦点检测。
在传统结构中，离散地配置焦点检测像素，因此混叠(aliasing)容易发生并极大降低了AF性能。
作为用于减少像素信息中所包含的混叠的传统技术，提出了以下方案。
日本特开平9-65219号公报提出了如下的技术，其中该技术利用移动部件重复使图像传感器移位，以形成等价的光学低通滤波器，从而有效避免了视频信号的混叠的生成。
日本特开平9-74524号公报提出了以下技术。当在接收到第一分辨率的图像时检测到摩尔纹(moire)时，生成利用图像移动部件使分辨率增大为第二分辨率的图像。如果没有检测到摩尔纹，则摩尔纹去除电路未进行动作，从而抑制了功耗。
然而，日本特开平9-65219号公报和日本特开平9-74524号公报的提案的目的不在于减少散布在图像传感器中的焦点检测像素的混叠。这些参考文献没有提及针对照相机抖动的测量。通常，通过使用包含混叠的图像的匹配计算来检测位置偏移量经常失败。因此，传统技术难以减少焦点检测像素的混叠。
发明内容
本发明旨在克服传统缺陷，减少焦点检测像素中所包含的混叠，并改善AF性能。
根据本发明的第一方面，提供了一种摄像设备，包括：摄像部件，其包括图像传感器，所述图像传感器具有用于对经由摄像镜头形成的被摄体图像进行光电转换以生成图像信号的多个摄像像素以及离散地配置在所述多个摄像像素之间的多个焦点检测像素；偏移检测部件，用于使用通过多次摄像操作获得的图像信号中所包含的摄像像素的信号来检测通过所述多次摄像操作获得的图像信号之间的偏移量，其中通过多次摄像操作获得的图像信号是通过所述摄像部件连续获得的并且在位置上相互偏移的图像信号；合成部件，用于基于由所述偏移检测部件检测到的偏移量，对通过所述多次摄像操作获得的图像信号中所包含的焦点检测像素的信号进行合成；以及焦点调节部件，用于通过使用由所述合成部件进行合成之前的焦点检测像素的信号和由所述合成部件进行了合成的焦点检测像素的信号来调节所述摄像镜头的焦点。
根据本发明的第二方面，提供了一种摄像设备的控制方法，所述摄像设备具有包括图像传感器的摄像部件，所述图像传感器具有用于对经由摄像镜头形成的被摄体图像进行光电转换以生成图像信号的多个摄像像素以及离散地配置在所述多个摄像像素之间的多个焦点检测像素，所述控制方法包括以下步骤：偏移检测步骤，用于使用通过多次摄像操作获得的图像信号中所包含的摄像像素的信号来检测通过所述多次摄像操作获得的图像信号之间的偏移量，其中通过多次摄像操作获得的图像信号是通过所述摄像部件连续获得的并且在位置上相互偏移的图像信号；合成步骤，用于基于在所述偏移检测步骤中检测到的偏移量，对通过所述多次摄像操作获得的图像信号中所包含的焦点检测像素的信号进行合成；以及焦点调节步骤，用于通过使用在所述合成步骤中进行合成之前的焦点检测像素的信号和在所述合成步骤中进行了合成的焦点检测像素的信号来调节所述摄像镜头的焦点。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明第一实施例的摄像设备的电路结构的框图；
图2是用于解释第二摄像操作所拍摄的图像相对于第一摄像操作所拍摄的图像(基准图像)偏移的状态的图；
图3是示出将第二摄像操作中的偏移的焦点检测像素与第一摄像操作中的焦点检测像素的位置相加并进行平均的状态的图；
图4是示出将第二摄像操作中的偏移的焦点检测像素插值到与第一摄像操作中的焦点检测像素的位置相同的水平位置的状态的图；
图5是用于解释AF框的图；
图6是示出根据本发明第二实施例的摄像设备的电路结构的框图；
图7是示出光瞳位置被对称分割的焦点检测像素的图；以及
图8是示出焦点检测像素离散地存在于图像传感器上的状态的图。
具体实施方式
以下将参考附图详细说明本发明的实施例。
第一实施例
图1是示出根据本发明第一实施例的摄像设备的电路结构的框图。
在图1中，镜头驱动电路102驱动摄像镜头101。光圈103对曝光进行调整。图像传感器104对光学信号进行光电转换。在图像传感器104中，将部分光电转换单元(摄像像素)替换为焦点检测像素。摄像镜头101被图示为一个透镜，但通常由多个透镜或镜头单元构成。致动器120使图像传感器104的位置移动。同步信号发生器(以下将被称为SSG)105生成固定周期的水平同步信号HD和垂直同步信号VD。时序发生器(以下将被称为TG)106生成与HD和VD同步的控制信号以驱动图像传感器104。A/D转换器107将从图像传感器104输出的模拟图像信号转换成数字图像信号。信号处理电路109进行颜色转换处理等。焦点检测像素提取电路122从图像数据中仅提取焦点检测像素的数据。相位差AF电路108检测如图7所示的焦点检测像素(A图像)和焦点检测像素(B图像)之间的相位差。偏移量检测电路119从除焦点检测像素以外的摄像像素中检测通过第二摄像操作连续拍摄的(连续获得的)图像的偏移量。焦点检测像素合成电路121对多次摄像操作中的AF提取像素进行合成，以生成一次摄像操作中的AF提取像素。切换电路123选择来自焦点检测像素提取电路122或焦点检测像素合成电路121的输出，并将所选择的输出输出到相位差AF电路108。存储器控制电路110接口于DRAM 111。调整大小电路112对图像数据进行放大/缩小。系统控制器113确定各电路的模式和参数，并控制整个摄像设备。监视器115显示图像数据。视频调制电路114调制图像数据以将其显示在监视器115上。压缩电路116根据JPEG压缩方案等来压缩图像数据。可拆卸介质卡118记录压缩后的图像数据。卡控制电路117接口于介质卡118。
将解释具有如图1所示的结构的摄像设备的操作。
光圈103将已通过摄像镜头101的来自被摄体的光量调整成适当光量。
TG 106生成定时信号并驱动图像传感器104，以与由SSG105生成的HD和VD同步地操作图像传感器104。图像传感器104将经由摄像镜头101形成的被摄体图像光电转换成模拟图像信号。A/D转换器107将模拟图像信号转换成数字图像数据。
焦点检测像素提取电路122从图像数据中仅提取焦点检测像素数据，并经由焦点检测像素合成电路121和切换电路123将所提取的数据输出到相位差AF电路108。
相位差AF电路108对焦点检测像素数据的A图像和B图像之间的相位差进行比较，并将相位差信息输出到系统控制器113。根据该相位差信息，系统控制器113向镜头驱动电路102通知摄像镜头101中的焦点调节透镜的驱动量，从而调节焦点。
信号处理电路109对从摄像像素获得的图像数据进行颜色转换等的信号处理。图像数据经由存储器控制电路110被临时写入DRAM 111，并被再次读出到偏移量检测电路119。
将解释偏移量检测电路119中执行的偏移量检测。
如图2所示，焦点检测像素(A图像)202和焦点检测像素(B图像)203散布在图像传感器104的摄像区域201中。
假定在第一摄像操作中获得与焦点检测像素(A图像)202和焦点检测像素(B图像)203的位置有关的信息。
在执行第二摄像操作之前，致动器120使图像传感器104的位置从摄像区域201的位置偏移到摄像区域204的位置。然后，还使焦点检测像素的位置偏移到由焦点检测像素(A图像)205和焦点检测像素(B图像)206所表示的位置。注意，在本实施例中，移动图像传感器，但是也可以移动镜头。
如果在摄像操作时发生照相机抖动，则使致动器120移动的摄像区域204的位置偏移到摄像区域207的位置。还使焦点检测像素的位置偏移到由焦点检测像素(A图像)208和焦点检测像素(B图像)209所表示的位置。在这种状态下，进行第二摄像操作。
作为用于获得由第一摄像操作和第二摄像操作所获得的图像之间的偏移量的方法，对通过第一摄像操作所拍摄的图像和通过第二摄像操作所拍摄的包含由照相机抖动所产生的偏移的图像使用除焦点检测像素以外的摄像像素来进行匹配计算。该匹配计算采用以下的已知方法。更具体地，第一摄像操作和第二摄像操作中通过信号处理电路109进行了信号处理并写入DRAM 111的图像数据被从DRAM 111中再次读出。然后，检测使第一摄像操作和第二摄像操作中的摄像像素之间的差整体最小的位置。
将通过在偏移量检测电路119中进行匹配计算所获得的两次摄像操作的偏移量校正后的图像数据输出到焦点检测像素合成电路121。
焦点检测像素合成电路121通过以下两种方法中的任意一个来执行合成处理。
第一焦点检测像素合成方法
图3示出第一焦点检测像素合成方法。
对位于给定的焦点检测像素(A图像)202和焦点检测像素(B图像)203周围的四对焦点检测像素(A图像)208和焦点检测像素(B图像)209进行加权计算，以使这四对焦点检测像素(A图像)208和焦点检测像素(B图像)209重叠在焦点检测像素(A图像)202和焦点检测像素(B图像)203的位置上。然后，执行平均。根据通过在偏移量检测电路119中进行匹配计算所获得的偏移量来计算加权系数。
如图3所示，AF2_A1、AF2_A2、AF2_A3和AF2_A4表示通过第二摄像操作获得的并位于第一摄像操作中的焦点检测像素附近的四个焦点检测像素(A图像)208的值，其中，在第一摄像操作的焦点检测像素中，焦点检测像素(A图像)202的值为AF1_A，并且焦点检测像素(B图像)203的值为AF1_B。此外，AF2_B1、AF2_B2、AF2_B3和AF2_B4表示四个焦点检测像素(B图像)209的值。
如图3所示，H1和H2表示从AF1_A和AF1_B到周围的四对焦点检测像素的水平距离的比。类似地，V1和V2表示垂直距离的比。
H1、H2、V1和V2分别满足H1+H2＝1和V1+V2＝1。
基于相邻位置的四对焦点检测像素，通过以下等式计算相对于AF1_A和AF1_B的位置的值AF2_A和AF2_B：
AF2_A＝(AF2_A1*V2+AF2_A3*V1)*H2+(AF2_A2*V2+AF2_A4*V1)*H1                             ...(1)
AF2_B＝(AF2_B1*V2+AF2_B3*V1)*H2+(AF2_B2*V2+AF2_B4*V1)*H1                     ...(2)
分别对AF1_A和AF1_B以及AF2_A和AF2_B进行平均。通过以下等式计算所获得的位置处的焦点检测像素信息AF_A和焦点检测像素信息AF_B：
AF_A＝(AF1_A+AF2_A)/2...(3)
AF_B＝(AF1_B+AF2_B)/2...(4)
类似地，对通过多次摄像操作获得的AF提取图像进行合成。将合成期间的AF提取图像的值存储在焦点检测像素合成电路121中。
以上述方式，焦点检测像素合成电路121能够增加焦点检测像素数，由此增加分辨率并减少混叠。在这种情况下，增加分辨率意味着增加计算散焦量(defocus amount)时的SAF像素数。
将通过对由多次摄像操作拍摄的图像进行平均而获得的焦点检测像素(A图像)205和焦点检测像素(B图像)206的信息输出到切换电路123，之后输出到相位差AF电路108。
相位差AF电路108通过使用合成之前的焦点检测像素(A图像)202和焦点检测像素(B图像)203以及焦点检测像素(A图像)AF_A和焦点检测像素(B图像)AF_B对A图像和B图像之间的相位差进行比较，来获得散焦量。相位差AF电路108将所获得的散焦量作为聚焦信息输出到系统控制器113。
第二焦点检测像素合成方法
图4示出第二焦点检测像素合成方法。
假定在第一摄像操作中获得由焦点检测像素(A图像)202和焦点检测像素(B图像)203所表示的位置的AF信息，在第二摄像操作中获得由焦点检测像素(A图像)208和焦点检测像素(B图像)209所表示的位置的AF信息。
在通过第一摄像操作和第二摄像操作未获得AF信息的位置处，利用加权进行插值，由此增加了焦点检测像素的采样点。
在图4中的合成焦点检测像素(A图像)401和合成焦点检测像素(B图像)402的位置处，利用A图像插值A图像，利用B图像插值B图像。
使用相邻的焦点检测像素(A图像)的焦点检测像素值AF1_A1、AF1_A2、AF2_A1和AF2_A2来计算合成焦点检测像素(A图像)401的焦点检测像素值AF_A：
AF_A＝{(AF1_A1*V2+AF1_A2*V1)+(AF2_A1*H2+AF2_A2*H1)}/2                           ...(5)
使用相邻的焦点检测像素(B图像)的焦点检测像素值AF1_B1、AF1_B2、AF2_B1和AF2_B2来计算合成焦点检测像素(B图像)402的焦点检测像素值AF_B：
AF_B＝{(AF1_B1*V2+AF1_B2*V1)+(AF2_B1*H2+AF2_B2*H1)}/2                           ...(6)
H1和H2表示AF2_A1和AF2_A2之间的水平距离的比以及AF2_B1和AF2_B2之间的水平距离的比。H1和H2满足H1+H2＝1。
V1和V2表示AF1_A1和AF1_A2之间的垂直距离的比以及AF1_B1和AF1_B2之间的垂直距离的比。V1和V2满足V1+V2＝1。
这样，在没有获得焦点检测像素值的位置处执行插值。
已经说明了通过根据由两次摄像操作获得的图像增加焦点检测像素数来增加分辨率的方法。当合成由两次或更多次摄像操作获得的AF提取图像时，焦点检测像素合成电路121存储由各次摄像操作获得的焦点检测像素值，以在两次或更多次摄像操作之后没有获得焦点检测像素值的位置处进行插值。
通过根据由两次摄像操作获得的图像增加焦点检测像素数来增加分辨率的方法也可应用于执行三次或四次摄像操作的情况。更具体地，根据通过第一摄像操作和第二摄像操作获得的图像、通过第二摄像操作和第三摄像操作获得的图像、以及通过第三摄像操作和第四摄像操作获得的图像，来增加焦点检测像素数。
如上所述，焦点检测像素合成电路121增加了焦点检测像素数，由此增加分辨率并减少混叠。在这种情况下，增加分辨率意味着增加计算散焦量时的SAF像素数。
将通过对由多次摄像操作拍摄的图像进行平均而获得的焦点检测像素(A图像)208和焦点检测像素(B图像)209的信息输出到切换电路123，之后输出到相位差AF电路108。相位差AF电路108通过使用合成之前的焦点检测像素(A图像)202和焦点检测像素(B图像)203以及焦点检测像素(A图像)AF_A和焦点检测像素(B图像)AF_B对A图像和B图像之间的相位差进行比较，来获得散焦量。相位差AF电路108将所获得的散焦量作为聚焦信息输出到系统控制器113。
根据相位差AF电路108中所获得的散焦量，系统控制器113向镜头驱动电路102通知摄像镜头101中的焦点调节透镜的驱动量，由此调节焦点。
图像记录处理
系统控制器113重复执行上述焦点调节。信号处理电路109对所获得的图像数据进行颜色转换处理等的信号处理。存储器控制电路110将图像数据临时写入DRAM 111。
存储器控制电路110从DRAM 111读出图像数据。调整大小电路112将图像数据的大小调整至适于显示在监视器115上的大小或适于记录在介质卡118上的大小。存储器控制电路110将调整大小后的图像数据再次写入DRAM 111。
存储器控制电路110从DRAM 111读出图像数据。根据NTS C或PAL方案，视频调制电路114对大小已调整至适于显示在监视器115上的大小的图像数据进行调制。监视器115显示该图像数据。
通过卡控制电路将大小已调整至适于记录在介质卡118上的大小图像数据写入介质卡118。
被摄体正在移动的情况
将解释当被摄体正在移动时的匹配计算方法。
如图5所示，AF框802被分割成9个，并且9个AF框802中的被摄体运动矢量彼此不同。在各AF框802中检测运动以检测被摄体距离。可以基于各AF框802的被摄体距离检测结果或者通过用户操作来自动确定要聚焦的AF框802。当在确定要聚焦的AF框802之后通过跟踪要聚焦的被摄体来进行AF评价时，还可以根据AF框802中检测到的运动矢量来调整整个图像的位置。
偏移量
上述的图像偏移可能由于像素偏移而发生。像素偏移包括用于使摄像像素数增加的处理或用于使照相机抖动减少的处理。
偏移量检测电路119还可以获得使摄像区域201、204或207偏移以增加摄像像素数时的偏移量。偏移量检测电路119还可以获得使摄像区域201、204或207偏移以减少照相机抖动时的偏移量。
第二实施例
图6是示出根据本发明第二实施例的摄像设备的电路结构的框图。
与作为第一实施例的电路结构的框图的图1中的附图标记相同的附图标记表示相同的电路。
第二实施例与第一实施例的不同之处在于：照相机抖动检测电路124替换了偏移量检测电路119。照相机抖动检测电路124使用陀螺仪等检测振动，并测量由照相机抖动所产生的偏移量。照相机抖动检测电路124将偏移量输出到焦点检测像素合成电路121和系统控制器113。
焦点检测像素合成电路121从DRAM 111读出图像数据。由照相机抖动检测电路124检测到的偏移量被设置为加权系数。然后，如第一实施例所述，对焦点检测像素进行平均或插值。将平均或插值后的焦点检测像素信息经由切换电路123输出到相位差AF电路108。相位差AF电路108执行AF处理。
当没有发生照相机抖动时，图1和6中的致动器120需要将图像传感器移动到任意位置，并通过多次摄像操作获得偏移图像。然而，当发生照相机抖动时，偏移量检测电路119或照相机抖动检测电路124可以检测图像之间的偏移量以获得对AF提取图像进行平均或插值所使用的加权系数。因此，可以不安装致动器120。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2008年4月30日提交的日本专利申请2008-119057的优先权，在此通过引用包含其全部内容。

Claims (4)

1.一种摄像设备，包括：
摄像部件，其包括图像传感器，所述图像传感器具有用于对经由摄像镜头形成的被摄体图像进行光电转换以生成图像信号的多个摄像像素以及离散地配置在所述多个摄像像素之间的多个焦点检测像素；
偏移检测部件，用于使用通过多次摄像操作获得的图像信号中所包含的摄像像素的信号来检测通过所述多次摄像操作获得的图像信号之间的偏移量，其中通过多次摄像操作获得的图像信号是通过所述摄像部件连续获得的并且在位置上相互偏移的图像信号；
合成部件，用于基于由所述偏移检测部件检测到的偏移量，对通过所述多次摄像操作获得的图像信号中所包含的焦点检测像素的信号进行合成；以及
焦点调节部件，用于通过使用由所述合成部件进行合成之前的焦点检测像素的信号和由所述合成部件进行了合成的焦点检测像素的信号来调节所述摄像镜头的焦点。
2.根据权利要求1所述的摄像设备，其特征在于，还包括移动部件，所述移动部件用于移动所述图像传感器的位置，以通过所述多次摄像操作获得在位置上相互偏移的图像信号。
3.根据权利要求1所述的摄像设备，其特征在于，所述合成部件通过基于所述偏移量对通过所述多次摄像操作获得的图像信号中所包含的焦点检测像素的信号和相邻的焦点检测像素的信号进行平均，来对通过所述多次摄像操作获得的图像信号中所包含的焦点检测像素的信号进行合成。
4.一种摄像设备的控制方法，所述摄像设备具有包括图像传感器的摄像部件，所述图像传感器具有用于对经由摄像镜头形成的被摄体图像进行光电转换以生成图像信号的多个摄像像素以及离散地配置在所述多个摄像像素之间的多个焦点检测像素，所述控制方法包括以下步骤：
偏移检测步骤，用于使用通过多次摄像操作获得的图像信号中所包含的摄像像素的信号来检测通过所述多次摄像操作获得的图像信号之间的偏移量，其中通过多次摄像操作获得的图像信号是通过所述摄像部件连续获得的并且在位置上相互偏移的图像信号；
合成步骤，用于基于在所述偏移检测步骤中检测到的偏移量，对通过所述多次摄像操作获得的图像信号中所包含的焦点检测像素的信号进行合成；以及
焦点调节步骤，用于通过使用在所述合成步骤中进行合成之前的焦点检测像素的信号和在所述合成步骤中进行了合成的焦点检测像素的信号来调节所述摄像镜头的焦点。
CN2009801157163A 2008-04-30 2009-04-27 摄像设备 Active CN102016681B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008119057 2008-04-30
JP2008-119057 2008-04-30
PCT/JP2009/058655 WO2009133960A1 (en) 2008-04-30 2009-04-27 Image sensing apparatus

Publications (2)

Publication Number Publication Date
CN102016681A CN102016681A (zh) 2011-04-13
CN102016681B true CN102016681B (zh) 2012-07-18

Family

ID=41255171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801157163A Active CN102016681B (zh) 2008-04-30 2009-04-27 摄像设备

Country Status (6)

Country Link
US (1) US8477231B2 (zh)
EP (1) EP2277072A4 (zh)
JP (1) JP5421647B2 (zh)
KR (1) KR101256961B1 (zh)
CN (1) CN102016681B (zh)
WO (1) WO2009133960A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5464982B2 (ja) * 2009-11-20 2014-04-09 キヤノン株式会社 撮像装置および画像処理方法
WO2011136031A1 (ja) * 2010-04-28 2011-11-03 富士フイルム株式会社 撮像装置
JP5714931B2 (ja) * 2011-02-15 2015-05-07 オリンパス株式会社 撮像装置
JP5791349B2 (ja) * 2011-04-21 2015-10-07 キヤノン株式会社 撮像装置及びその制御方法
JP5991461B2 (ja) * 2012-02-06 2016-09-14 株式会社ニコン 撮像装置およびその撮像プログラム
JP5942697B2 (ja) 2012-08-21 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
JP5967432B2 (ja) * 2012-09-11 2016-08-10 ソニー株式会社 処理装置、処理方法、及び、プログラム
KR102039464B1 (ko) 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법
KR102126505B1 (ko) * 2013-11-07 2020-06-24 삼성전자주식회사 디지털 촬영 장치 및 그 제어방법
US9380211B2 (en) * 2014-03-13 2016-06-28 Invensense, Inc. Image stabilization using light sensors
JP6532411B2 (ja) * 2016-01-14 2019-06-19 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
CN105786384B (zh) * 2016-02-26 2019-07-30 努比亚技术有限公司 一种调节焦点装置和方法
US10554877B2 (en) * 2016-07-29 2020-02-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image synthesis method and apparatus for mobile terminal, and mobile terminal
CN106101556B (zh) * 2016-07-29 2017-10-20 广东欧珀移动通信有限公司 移动终端的图像合成方法、装置及移动终端
US11910113B2 (en) * 2018-05-23 2024-02-20 Nikon Corporation Image sensor and image-capturing device having pixels for focus detection and pixels for image generation
US10410368B1 (en) * 2018-09-27 2019-09-10 Qualcomm Incorporated Hybrid depth processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829008B1 (en) * 1998-08-20 2004-12-07 Canon Kabushiki Kaisha Solid-state image sensing apparatus, control method therefor, image sensing apparatus, basic layout of photoelectric conversion cell, and storage medium
CN1818735A (zh) * 2005-02-08 2006-08-16 佳能株式会社 聚焦状态检测设备和光学仪器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01138402A (ja) * 1987-11-25 1989-05-31 Konica Corp 変位・傾き測定装置
JP3190220B2 (ja) 1994-12-20 2001-07-23 シャープ株式会社 撮像装置
JPH0974524A (ja) * 1995-07-05 1997-03-18 Sharp Corp 画像入力装置
JPH0965219A (ja) * 1995-08-24 1997-03-07 Sony Corp 撮像装置
JP3530696B2 (ja) * 1996-12-27 2004-05-24 キヤノン株式会社 撮像装置
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP4624604B2 (ja) 2001-07-10 2011-02-02 オリンパス株式会社 画像取得装置
JP2003250080A (ja) * 2002-02-22 2003-09-05 Canon Inc 撮影装置および撮影システム
JP4038103B2 (ja) * 2002-09-25 2008-01-23 富士フイルム株式会社 オートフォーカスカメラ
JP2005303409A (ja) 2004-04-07 2005-10-27 Canon Inc 固体撮像装置
JP4662880B2 (ja) * 2006-04-03 2011-03-30 三星電子株式会社 撮像装置，及び撮像方法
JP5157084B2 (ja) * 2006-05-17 2013-03-06 株式会社ニコン 相関演算装置、焦点検出装置および撮像装置
US8049801B2 (en) * 2006-09-14 2011-11-01 Nikon Corporation Image sensor and imaging apparatus
JP5028930B2 (ja) 2006-09-28 2012-09-19 株式会社ニコン 焦点検出装置および撮像装置
JP4973273B2 (ja) * 2007-03-28 2012-07-11 株式会社ニコン デジタルカメラ
US7978255B2 (en) * 2007-10-11 2011-07-12 Nikon Corporation Solid-state image sensor and image-capturing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829008B1 (en) * 1998-08-20 2004-12-07 Canon Kabushiki Kaisha Solid-state image sensing apparatus, control method therefor, image sensing apparatus, basic layout of photoelectric conversion cell, and storage medium
CN1818735A (zh) * 2005-02-08 2006-08-16 佳能株式会社 聚焦状态检测设备和光学仪器

Also Published As

Publication number Publication date
CN102016681A (zh) 2011-04-13
KR101256961B1 (ko) 2013-04-26
JP2009288780A (ja) 2009-12-10
WO2009133960A1 (en) 2009-11-05
KR20100135308A (ko) 2010-12-24
EP2277072A4 (en) 2011-08-31
EP2277072A1 (en) 2011-01-26
US20110013061A1 (en) 2011-01-20
JP5421647B2 (ja) 2014-02-19
US8477231B2 (en) 2013-07-02

Similar Documents

Publication Publication Date Title
CN102016681B (zh) 摄像设备
US8208034B2 (en) Imaging apparatus
CN101742098B (zh) 摄像装置及其控制方法
US8711230B2 (en) Image capture apparatus and program
US20080122940A1 (en) Image shooting apparatus and focus control method
EP2698658B1 (en) Image pickup apparatus, semiconductor integrated circuit and image pickup method
US8593531B2 (en) Imaging device, image processing method, and computer program
US20110080503A1 (en) Image sensing apparatus
JP5948856B2 (ja) 撮像装置とオートフォーカス方法並びにプログラム
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
JP6037224B2 (ja) 画像処理装置、撮像装置、およびプログラム
KR100682428B1 (ko) 촬상장치 및 그 제어 방법 및, 촬상장치의 자동 초점조절장치
JP4953770B2 (ja) 撮像装置
US20130321650A1 (en) Imaging device, control method of the same and program
JP2011217311A (ja) 撮像装置および撮像装置の制御方法
JP2011217334A (ja) 撮像装置および撮像装置の制御方法
US11102423B2 (en) Image pickup apparatus that performs flicker detection, control method for image pickup apparatus, and storage medium
CN109964479A (zh) 摄像设备及其控制方法
JP2007248698A (ja) 撮像方法および装置
JP4243462B2 (ja) 固体撮像装置および受光素子の感度対応出力調整方法
JP2014106324A (ja) オートフォーカス装置及び撮像装置
JP2004151183A (ja) 自動合焦装置並びにこれを有するデジタルカメラ及び携帯型情報端末機器
JP2010183254A (ja) 撮像装置および被写体検出プログラム
US20040174456A1 (en) Image sensing apparatus, autofocus method, program, and storage medium
JP5720382B2 (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant