CN103797415B - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN103797415B
CN103797415B CN201280044665.1A CN201280044665A CN103797415B CN 103797415 B CN103797415 B CN 103797415B CN 201280044665 A CN201280044665 A CN 201280044665A CN 103797415 B CN103797415 B CN 103797415B
Authority
CN
China
Prior art keywords
eye image
image
parallax amount
composograph
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280044665.1A
Other languages
English (en)
Other versions
CN103797415A (zh
Inventor
三轮宪治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103797415A publication Critical patent/CN103797415A/zh
Application granted granted Critical
Publication of CN103797415B publication Critical patent/CN103797415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Abstract

提供一种摄像设备，该摄像设备包括具有多个PD的多个摄像元件，所述多个PD各自对穿过摄像光学系统的出射光瞳的不同区域的光束进行光电转换并且输出左眼图像/右眼图像。所述摄像设备基于所述左眼图像和所述右眼图像来生成合成图像，计算所述左眼图像相对于合成图像的位置的位置偏移量作为视差量，并且将与所述视差量有关的信息作为视差映射进行存储。所述摄像设备通过将合成图像中所包括的被摄体移动至与所述视差映射所表示的视差量相对应的位置来生成要再现的左眼图像和右眼图像。

Description

摄像设备及其控制方法
技术领域
本发明涉及一种摄像设备及其控制方法。
背景技术
近年来，诸如三维(three-dimensional，3D)影院或3D显示器等的与立体图像相关联的装置的普及得到快速增长。传统上，由胶片相机等来拍摄立体图像。然而，随着数字摄像设备的普及，使用数字照相机或数字摄像机等拍摄用于生成立体图像的原始图像已经变得平常。
作为用户观看立体图像所利用的机制，准备了左右方向上存在视差的右眼图像和左眼图像的数据，以使得与利用左眼观看到的物体的图像和利用右眼观看到的物体的图像相对应。用户可以通过分别用他/她的右眼和左眼观看右眼图像和左眼图像来观看立体图像。这样的方法的例子包括诸如视差屏障方法(parallax barrier method)或柱状透镜方法(lenticular method)等的用于对要观察的视差图像进行分割的方法。另外，已知有一种方法，其中该方法用于经由左侧和右侧之间特性不同的滤波器来将不同的图像提供至用户的左眼和右眼。
另一方面，作为用于拍摄可观察的图像作为立体图像的方法，专利文献1和2公开了用于在不同视点同时拍摄图像的方法。专利文献1公开了一种固体摄像元件，其中在该固体摄像元件中，形成有多个微透镜并且各微透镜附近配置有至少一对光电二极管。在这对光电二极管中，第一图像信号是从其中一个光电二极管的输出所获得的，并且第二图像信号是从其中另一个光电二极管的输出所获得的。用户可以分别使用第一图像信号和第二图像信号作为左眼图像和右眼图像来观看立体图像。
另外，专利文献2公开了一种具有输出元件的输出视差映射，其中该输出元件具有与适用于第一图像的各像素的偏移相对应的输出值。可以基于该输出视差映射和第一图像来生成第二图像。
引用文献列表
专利文献
[专利文献1]日本特开昭58-24105
[专利文献2]日本特表2008-518317
如背景技术所述，为观看立体图像，需要用相应的眼睛来观看左右方向上具有视差的图像。因此，在背景技术所述的任一技术中，需要准备供用户左眼观看的“左眼图像”和供用户右眼观看的“右眼图像”。
然而，当使用专利文献1所公开的形成有多个微透镜并且各微透镜附近配置至少一对光电二极管的固体摄像元件进行拍摄时，可能发生如下问题。进行以下假设：一对光电二极管其中之一输出通过对穿过摄像光学系统的出射光瞳区域上的光束进行光电转换所获得的左眼图像，并且一对光电二极管中的另一个输出通过对穿过与出射光瞳区域不同的区域的光束进行光电转换所获得的右眼图像。在这种情况下，根据被摄体的类型，左眼图像和右眼图像都可能不是反映该被摄体的形状的图像。
例如，在以模糊方式拍摄来自点光源的光的拍摄场景中，最初应拍摄到以圆形图案模糊的光源的照片。然而，当通过专利文献1公开的固体摄像元件拍摄图像时，所拍摄图像可能是无法反映被摄体的形状的半圆形或椭圆形的形状。此外，例如，拍摄为图像的被摄体的形状在左眼图像和右眼图像之间是以不同方式所拍摄的，以使得左眼图像中的被摄体的左半边缺失并且右眼图像中的被摄体的右半边缺失。其原因是：在从摄像光学系统的出射光瞳发出的光束中，光电二极管所接收到的光的区域沿着用作边界的光轴而不同。
即使在通过应用专利文献2所公开的技术将摄像设备配置为基于左眼图像和视差映射生成右眼图像的情况下，仍发生下面的问题。具体地，作为右眼图像的生成的基准的左眼图像中的被摄体的形状与实际被摄体的形状不同，因此，即使使用了视差映射也无法生成正确反映被摄体形状的右眼图像。
发明内容
本发明的摄像设备包括具有被配置为对穿过摄像光学系统的出射光瞳的不同区域的光束进行光电转换并输出图像的多个光电转换单元的摄像元件，并且基于输出图像和视差量来生成正确反映被摄体形状的右眼图像/左眼图像。
根据本发明的一方面，提供一种摄像设备，包括：摄像元件，其包括各自具有第一光电转换单元和第二光电转换单元的多个像素，所述第一光电转换单元用于通过对穿过摄像光学系统的出射光瞳的区域的光束进行光电转换来输出左眼图像，所述第二光电转换单元用于通过对穿过所述出射光瞳的与所述区域不同的区域的光束进行光电转换来输出右眼图像；第一图像生成单元，用于通过将所述第一光电转换单元所输出的左眼图像和所述第二光电转换单元所输出的右眼图像针对各像素进行相加，来生成合成图像；视差计算单元，用于计算左眼图像/右眼图像相对于所生成的所述合成图像的位置的位置偏移量作为视差量，并将所计算出的所述视差量存储在存储单元中；以及第二图像生成单元，用于通过使所生成的所述合成图像中所包括的被摄体移动至与所述存储单元中所存储的所述视差量相对应的位置，来生成要再现的左眼图像和右眼图像。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明实施例的摄像元件的一般结构的示意图。
图2A是示出一个像素的结构的图。
图2B是示出像素阵列101的排列的图。
图3是示出从拍摄镜头的出射光瞳所发出的光束如何入射到摄像元件的概念图。
图4是示出本实施例的摄像设备的示例性结构的图。
图5A～5C是示出根据第一实施例的视差映射生成处理的例子的图。
图6是示出视差映射的示意图。
具体实施方式
图1是示意性示出应用于本实施例的摄像设备的摄像元件的示例性结构的图。摄像元件100包括：像素阵列101；垂直选择电路102，用于选择像素阵列101中的行；以及水平选择电路104，用于选择像素阵列101中的列。读出电路103读取垂直选择电路102已从像素阵列101内的像素中选择出的像素的信号。该读出电路103针对各列，具有用于累积信号的存储器、增益放大器或AD转换器等。
串行接口(SI)单元105根据外部电路给出的指令来确定各电路的操作模式。垂直选择电路102顺次选择像素阵列101的多个行，以使得将像素信号提取到读出电路103。此外，水平选择电路104针对各列顺次选择读出电路103所读取的多个像素信号。注意，除图1所示的组件外，摄像元件100还包括时序发生器和控制电路等，但对此不给出详细解释，其中该时序发生器用于将定时信号提供至垂直选择电路102、水平选择电路104和读出电路103等。
图2A和图2B是示出摄像元件100的像素的示例性结构的图。图2A示意性示出一个像素的结构。图2B示出像素阵列101的排列。图2A中所示的像素201具有用作光学元件的微透镜202和用作光接收元件的多个光电二极管(以下简称为“PD”)。
尽管图2A示出了针对一个像素设置左侧PD203和右侧PD204的例子，但也可以使用三个或更多个(例如，4或9个)PD。PD203对接收到的光束进行光电转换从而输出左眼图像。PD204对接收到的光束进行光电转换从而输出右眼图像。注意，除图2A所示的组件之外，像素201还包括用于将PD信号提取至读出电路103的像素放大器、行选择开关、以及用于复位PD信号的复位开关。
为提供二维图像，以诸如如图2B所示的多个像素301、302、303和304等的二维阵列来配置像素阵列101。PD301L、PD302L、PD303L和PD304L各自对应于图2A所示的PD203。此外，PD301R、PD302R、PD303R和PD304R各自对应于图2A所示的PD204。换言之，本实施例的摄像设备包括具有多个像素的摄像元件，其中各像素具有用于输出左眼图像的第一光电转换单元(PD203)和用于输出右眼图像的第二光电转换单元(PD204)。
接下来，将给出具有图2B所示的像素结构的摄像元件100的光接收的说明。图3是示出从拍摄镜头的出射光瞳发出的光束如何入射到摄像元件100的概念图。
像素阵列101具有微透镜202、颜色滤波器403以及PD404和PD405。PD404和PD405分别与图2A所示的PD203和PD204相对应。
在图3中，从拍摄镜头的出射光瞳406向着微透镜202发出的光束的中心轴是光轴409。从出射光瞳406发出的光以光轴409为中心入射到摄像元件100。部分区域407和408各自是拍摄镜头的出射光瞳406的区域。光线410和411是穿过部分区域407的光的最外周的光线。光线412和413是穿过部分区域408的光的最外周的光线。
在从出射光瞳406发出的光中，上部光束入射到PD405，并且下部光束入射到PD404，其中光轴409用作边界。换言之，PD404和PD405各自接收从摄像光学系统的出射光瞳的不同区域所发出的光束。这样，光接收元件(PD404和PD405)各自检测穿过出射光瞳的不同区域的光。因此，在以模糊的方式拍摄来自点光源的光的情况下，光接收元件各自获得形状不同的拍摄图像。
图4是示出本实施例的摄像设备的示例结构的图。参照图4，将详细说明图1所示的摄像元件100示例性地应用于用作摄像设备的数字照相机。构成摄像光学系统的镜头单元501使得从被摄体所反射的光汇聚到摄像元件505上。摄像元件505与图1所示的摄像元件100相对应，并且具有如图2B所示的像素结构。
镜头驱动装置502执行变焦控制、聚焦控制或光圈控制等。机械快门503由快门驱动装置504控制。摄像元件505将镜头单元501所聚焦的被摄体图像转换为图像信号。摄像信号处理电路506对摄像元件505所输出的图像信号执行各种处理或校正。时序发生单元507输出摄像元件505或摄像信号处理电路506所需要的定时信号。
系统控制单元509是对该摄像设备整体执行各种运算和控制的控制单元。内置的CPU(中央处理单元)(未示出)执行程序以进行处理。作为本实施例的具体操作，系统控制单元509基于图像合成电路513所生成的合成图像和视差映射生成电路514所生成的视差映射，来生成正确反映被摄体形状的左眼图像和右眼图像。此外，系统控制单元509对所生成的左眼图像和右眼图像进行再现，并且用户可以由此观察立体图像。注意，系统控制单元509还可以通过检测左眼图像和右眼图像之间的相位差来实现相位差AF。
存储单元508包括用于临时存储图像数据的存储器。存储介质控制接口单元(下文中简称为“I/F单元”)510被配置为将图像数据记录到记录介质511中以及从记录介质511读取图像数据。从摄像设备可拆卸的记录介质511是半导体存储器等。外部I/F单元512向外部装置发送数据以及从外部装置接收数据。显示单元516根据来自显示控制电路517的显示用数据来显示各种信息和拍摄图像。
摄像信号处理电路506通过将从摄像元件505输出的摄像数据分配为左眼图像和右眼图像来执行图像处理。存储单元508用作用于存储从摄像信号处理电路506所输出的输出数据、图像合成电路所生成的合成图像、以及视差映射生成电路所生成的视差映射的存储单元。
图像合成电路513用作用于将左眼图像与右眼图像进行合成而生成合成图像的第一图像生成单元。视差映射生成电路514用作用于执行以下处理的视差计算单元。视差映射生成电路514以合成图像的位置为基准来计算左眼图像和右眼图像之间的位置偏移量作为视差量，并且将与所计算出的视差量有关的信息作为视差映射存储在存储单元508中。测光装置515获取要用于曝光控制的测光值。
接下来，将给出摄像过程中数字照相机的操作的说明。当主电源接通时，控制系统电路单元的电源接通并且诸如摄像信号处理电路506等的摄像处理系统电路的电源也接通。当用户操作释放按钮(未示出)时，系统控制单元509基于来自摄像元件505的数据来进行与焦点状态检测有关的计算，从而计算摄像设备和被摄体之间的距离。然后，镜头驱动装置502驱动镜头单元501的可移动镜头，并且系统控制单元509判断焦点状态是否处于对焦(in-focus)。
当系统控制单元509判断为焦点状态不是对焦时，系统控制单元509再次控制镜头单元501的驱动，由此执行焦点状态检测处理。对于摄像设备和被摄体之间的距离的计算，除了用于根据来自摄像元件505的数据计算距离的方法以外，还可以使用利用距离测量专用装置(未示出)来计算距离的方法。系统控制单元509在判断为焦点状态是对焦之后开始拍摄操作。当拍摄操作完成时，摄像信号处理电路506处理从摄像元件505输出的图像信号，并且系统控制单元509控制图像数据向着存储单元508的写入。
将从摄像元件505输出的摄像数据作为来自多个PD的图像信号输出。在图2B所示的例子中，图像信号按照PD301L、PD301R、PD302L、PD302R、PD303L、PD303R、PD304L和PD304R的顺序输出。摄像信号处理电路506通过将从摄像元件505输出的摄像数据分配成左眼图像数据和右眼图像数据来执行图像处理。左眼图像数据是作为仅选择和处理来自如图2B所示的左侧PD301L、PD302L、PD303L和PD304L的输出的结果而获得的图像数据。另外，右眼图像数据是作为仅选择和处理来自如图2B所示的右侧PD301R、PD302R、PD303R和PD304R的输出的结果而获得的图像数据。左眼图像数据和右眼图像数据单独保存在存储单元508中。
图像合成单元513读取存储单元508中所保存的左眼图像数据和右眼图像数据，由此生成合成图像。将所生成的合成图像数据存储在存储单元508内。图像合成单元513执行的图像处理是用于针对左眼图像和右眼图像的各像素计算加法平均值的处理。因此，图像处理所生成的合成图像具有反映被摄体形状的形状。例如，如果被摄体是圆形形状并且左眼图像和右眼图像均为半圆形形状，则合成图像具有与被摄体相同的圆形形状。
即使当摄像元件505在被摄体的形状在左眼图像和右眼图像之间有所不同的状态下拍摄被摄体时，也通过图像合成单元513所执行的图像处理来对被摄体图像的形状进行插值，由此生成正确形状的图像数据。注意，摄像信号处理电路506也可以被配置为对经过图像处理的左眼图像和右眼图像进行合成。
接下来，视差映射生成电路514生成视差映射并将视差映射存储在存储单元508内。视差映射生成电路514通过利用以合成图像的位置作为基准的左眼图像和右眼图像之间的位置偏移量作为视差量，来生成视差映射。
第一实施例
在下文中，将给出第一实施例的说明。图5A-5C是示出根据第一实施例的视差映射生成处理的例子的图。图5A中所示的附图标记601表示通过拍摄被摄体所获得的图像的构图。附图标记602、603及604表示被摄体。在图5A所示的构图中，被摄体602、603及604按从上到下的顺序排列。另外，如图5C所示，被摄体在深度方向上并排排列。附图标记604表示最近的被摄体，并且附图标记602表示最远的被摄体。
图5B示出通过拍摄图5A所示的构图所获得的立体图像。图像605是左眼图像以及图像606是右眼图像。在左眼图像605中，被摄体602、603及604分别被表示为607L、608L及609L。在右眼图像606中，被摄体602、603及604分别被表示为607R、608R及609R。
在左眼图像605中的被摄体与右眼图像606中的被摄体之间存在位置偏移。在本实施例中，将该位置偏移的量定义为视差量。
附图标记610表示右眼图像606中的被摄体602相对于作为基准的左眼图像605中的被摄体602的位置偏移量、即607L和607R之间的视差量。同样，附图标记611表示右眼图像606中的被摄体604相对于作为基准的左眼图像605中的被摄体604的位置偏移量、即609L和609R之间的视差量。左眼图像605及右眼图像606中，被摄体603的位置是相同的。换言之，针对被摄体603，不存在视差量。
首先，视差映射生成电路514使用已知的模式匹配方法来检测左眼图像605和右眼图像606中所包括的被摄体。视差映射生成电路514对每个检测到的被摄体执行以下处理。视差映射生成电路514将位于左眼图像605中的被摄体重心和右眼图像606中的被摄体重心间的中点、与左眼图像605中的被摄体重心之间的位置偏移量计算作为视差量。换言之，视差映射生成电路514计算左眼图像中的被摄体重心相对于基于左眼图像605和右眼图像606所生成的合成图像中的被摄体重心的位置的位置偏移量，作为视差量。所计算出的视差量是与左眼图像相对应的视差量。当然，视差映射生成电路514也可以计算右眼图像中的被摄体重心相对于合成图像中的被摄体重心的位置的位置偏移量，作为与右眼图像相对应的视差量。
在图5B所示的例子中，对于被摄体602，视差映射生成电路514计算视差量612，其中该视差量612是视差量610的一半。对于被摄体604，视差映射生成电路514计算视差量613，其中该视差量613是视差量611的一半。视差映射生成电路514将与所计算出的视差量612和613有关的信息以及与用作该视差量的基准的图像的位置有关的信息作为视差映射而存储在存储单元508中。在该例子中，与用作该视差量的基准的图像的位置有关的信息表示合成图像中的被摄体的重心。如上所述，在图5B所示的例子中，针对被摄体603，不存在视差量。
图6示意性地示出视差映射。视差映射801包括视差量802和用作该视差量基准的图像的位置(重心)信息803。
接下来，将给出图像再现处理的说明。系统控制单元509用作用于执行下述处理的第二图像生成单元。系统控制单元509从存储单元508读取合成图像和视差映射。系统控制单元509确认出用作视差映射所表示的视差量的基准的图像的位置是合成图像中的被摄体的重心。然后，系统控制单元509通过使合成图像中所包括的被摄体偏移了由视差映射所表示的视差量，来生成要再现的左眼图像、即与视差量相对应的图像的再现用数据。
另外，系统控制单元509使视差映射所表示的视差量反转。系统控制单元509将通过对视差映射所表示的视差量进行反转所获得的视差量设置为右眼图像中的被摄体重心相对于合成图像中的被摄体重心的位置偏移量。然后，系统控制单元509通过使合成图像中所包括的被摄体偏移了对视差映射所表示的视差量进行反转所获得的量，来生成要再现的右眼图像、即与视差映射所表示的视差量相对应的图像以外的图像的再现用数据。
通过使合成图像中的被摄体偏移，配置被摄体的位置处的像素是缺失像素。因此，例如，系统控制单元509使用日本专利3524147号公开的已知技术来为缺失像素赋予颜色空间信息。换言之，系统控制单元509计算该缺失像素附近的像素的像素值的平均值作为颜色空间信息，并且将所计算出的颜色空间信息赋予至该缺失像素。
第一实施例的摄像设备将左眼图像和右眼图像进行合成，从而生成反映被摄体形状的合成图像。摄像设备生成与以所生成的合成图像的位置作为基准的视差量有关的信息，作为视差映射。然后，摄像设备基于该合成图像和视差映射所表示的视差量来生成要再现的左眼图像和右眼图像。
因此，根据第一实施例的摄像设备，即使由穿过摄像光学系统的出射光瞳的不同区域的光束的光电转换所获得的左眼图像/右眼图像的形状与被摄体的形状不同，在再现图像时，也可以对正确反映被摄体形状的图像进行再现。换言之，根据第一实施例的摄像设备，可以基于对穿过摄像光学系统的出射光瞳的不同区域的光束进行光电转换所输出的图像以及视差量，来生成正确反映被摄体形状的右眼图像/左眼图像。
第二实施例
接下来，将给出第二实施例的说明。第二实施例的摄像设备中所设置的系统控制单元509以左眼图像/右眼图像的位置作为基准，计算左眼图像和右眼图像中用作基准的位置的图像以外的图像的位置偏移量，作为视差量。系统控制单元509将所计算出的视差量以及与用作该视差量的基准的图像的位置有关的信息作为视差映射存储在存储单元508中。在该例子中，左眼图像的位置意图为用作视差量的基准的位置。
在图5B所示的例子中，对于被摄体602，视差映射生成电路514计算右眼图像606中的被摄体重心相对于左眼图像605中的该被摄体重心的位置偏移量、即视差量610。对于被摄体604，视差映射生成电路514计算右眼图像606中的被摄体重心相对于左眼图像605中的该被摄体重心的位置偏移量、即视差量611。
视差映射生成电路514将与所计算出的视差量610和611有关的信息以及与用作视差量的基准的图像的位置有关的信息作为视差映射存储在存储单元508中。在该例子中，与用作视差量的基准的图像的位置有关的信息表示左眼图像中的被摄体的重心。当然，用作视差量的基准的图像的位置也可以是右眼图像中的被摄体的重心。
接下来，将给出图像再现处理的说明。系统控制单元509从存储单元508读取合成图像和视差映射。系统控制单元509基于视差映射中所包括的与用作视差量的基准的图像的位置有关的信息，来判断视差量是以左眼图像的位置作为基准的视差量还是以右眼图像的位置作为基准的视差量。当系统控制单元509判断为视差量以左眼图像的位置作为基准时，系统控制单元509将合成图像设置为要再现的左眼图像，并且通过使该合成图像中所包括的被摄体偏移了该视差量来生成要再现的右眼图像。另外，当系统控制单元509判断为视差量是以右眼图像的位置作为基准时，系统控制单元509将该合成图像设置为要再现的右眼图像，并且通过使该合成图像中所包括的被摄体偏移了该视差量来生成要再现的左眼图像。
在该例子中，系统控制单元509判断为用作视差映射所表示的视差量的基准的图像的位置是左眼图像中的被摄体的重心。因此，系统控制单元509将所读取的合成图像设置为要再现的左眼图像。在本实施例中，左眼图像是与视差映射所表示的视差量相对应的图像以外的图像。另外，系统控制单元509通过使合成图像中所包括的被摄体偏移了由视差映射所表示的视差量，来生成要再现的右眼图像、即与该视差量相对应的图像的再现用数据。
根据第二实施例的摄像设备，在图像再现处理期间，将合成图像按照原样用作要再现的左眼图像，并且可以通过使该合成图像偏移了由视差映射所表示的视差量来生成要再现的右眼图像。因此，与第一实施例相比，可以减少再现图像所需的图像处理量，由此使再现操作的速度增大。
还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2011年9月13日提交的日本专利申请2011-199068的优先权，在此通过引用而包含其全部内容。

Claims (5)

1.一种摄像设备，包括：
摄像元件，其包括各自具有第一光电转换单元和第二光电转换单元的多个像素，所述第一光电转换单元用于通过对穿过摄像光学系统的出射光瞳的区域的光束进行光电转换来输出左眼图像，所述第二光电转换单元用于通过对穿过所述出射光瞳的与所述区域不同的区域的光束进行光电转换来输出右眼图像，
其特征在于，所述摄像设备还包括：
第一图像生成单元，用于通过将所述第一光电转换单元所输出的左眼图像和所述第二光电转换单元所输出的右眼图像针对各像素进行相加，来生成合成图像，其中所述合成图像与穿过所述摄像光学系统的所述出射光瞳的整个区域的光束相对应；
视差计算单元，用于计算左眼图像或右眼图像相对于所生成的所述合成图像的位置的位置偏移量作为视差量，并将所计算出的所述视差量存储在存储单元中；以及
第二图像生成单元，用于通过使所生成的所述合成图像中所包括的被摄体移动至与所述存储单元中所存储的所述视差量相对应的位置，来生成要再现的左眼图像和右眼图像。
2.根据权利要求1所述的摄像设备，其中，所述第二图像生成单元通过使所述合成图像中所包括的被摄体移动所述存储单元中所存储的所述视差量，来生成作为左眼图像和右眼图像其中一个的与所述视差量相对应的图像的再现用数据，并且通过使所述合成图像中所包括的被摄体移动所述视差量反转得到的量，来生成作为左眼图像和右眼图像其中一个的、与所述视差量相对应的图像以外的图像的再现用数据。
3.根据权利要求1所述的摄像设备，其中，所述视差计算单元以左眼图像或右眼图像的位置为基准，计算作为左眼图像和右眼图像其中一个的、用作所述基准的位置的图像以外的图像的位置偏移量作为视差量，以及
所述第二图像生成单元通过使所述合成图像中所包括的被摄体移动所述存储单元中所存储的所述视差量来生成作为左眼图像和右眼图像其中一个的与所述视差量相对应的图像的再现用数据，并且将所生成的所述合成图像设置为作为左眼图像和右眼图像其中一个的、与所述视差量相对应的图像以外的图像的再现用数据。
4.根据权利要求3所述的摄像设备，其中，所述视差计算单元将所述视差量和与用作所述视差量的基准的图像的位置有关的信息存储在所述存储单元中，
所述第二图像生成单元基于所述存储单元中所存储的与用作所述视差量的基准的图像的位置有关的信息，来判断所述存储单元中所存储的所述视差量是以左眼图像的位置为基准的视差量还是以右眼图像的位置为基准的视差量，
在所述第二图像生成单元判断为所述视差量是以左眼图像的位置为基准的视差量的情况下，所述第二图像生成单元将所述合成图像设置为要再现的左眼图像，并且通过使所述合成图像中所包括的被摄体移动所述视差量来生成右眼图像的再现用数据，以及
在所述第二图像生成单元判断为所述视差量是以右眼图像的位置为基准的视差量的情况下，所述第二图像生成单元将所述合成图像设置为要再现的右眼图像，并且通过使所述合成图像中所包括的被摄体移动所述视差量来生成左眼图像的再现用数据。
5.一种摄像设备的控制方法，所述摄像设备包括摄像元件，所述摄像元件包括各自具有第一光电转换单元和第二光电转换单元的多个像素，所述第一光电转换单元用于通过对穿过摄像光学系统的出射光瞳的区域的光束进行光电转换来输出左眼图像，所述第二光电转换单元用于通过对穿过所述出射光瞳的与所述区域不同的区域的光束进行光电转换来输出右眼图像，其特征在于，所述控制方法包括以下步骤：
通过将所述第一光电转换单元所输出的左眼图像和所述第二光电转换单元所输出的右眼图像针对各像素进行相加，来生成合成图像，其中所述合成图像与穿过所述摄像光学系统的所述出射光瞳的整个区域的光束相对应；
计算左眼图像或右眼图像相对于所生成的所述合成图像的位置的位置偏移量作为视差量，并将所计算出的所述视差量存储在存储单元中；以及
通过使所生成的所述合成图像中所包括的被摄体移动至与所述存储单元中所存储的所述视差量相对应的位置，来生成要再现的左眼图像和右眼图像。
CN201280044665.1A 2011-09-13 2012-09-06 摄像设备及其控制方法 Active CN103797415B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011199068A JP2013061440A (ja) 2011-09-13 2011-09-13 撮像装置および撮像装置の制御方法
JP2011-199068 2011-09-13
PCT/JP2012/005670 WO2013038629A1 (en) 2011-09-13 2012-09-06 Imaging apparatus and method for controlling same

Publications (2)

Publication Number Publication Date
CN103797415A CN103797415A (zh) 2014-05-14
CN103797415B true CN103797415B (zh) 2017-03-15

Family

ID=47882882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280044665.1A Active CN103797415B (zh) 2011-09-13 2012-09-06 摄像设备及其控制方法

Country Status (7)

Country Link
US (1) US20140176683A1 (zh)
EP (1) EP2756352A4 (zh)
JP (1) JP2013061440A (zh)
CN (1) CN103797415B (zh)
BR (1) BR112014003345A2 (zh)
RU (1) RU2567438C1 (zh)
WO (1) WO2013038629A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014204299A (ja) * 2013-04-05 2014-10-27 キヤノン株式会社 撮像装置および撮像装置の制御方法
CN104064577A (zh) * 2014-07-16 2014-09-24 上海集成电路研发中心有限公司 自动对焦的图像传感器
KR20160100569A (ko) 2015-02-16 2016-08-24 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 촬상 장치
JP6420195B2 (ja) * 2015-03-27 2018-11-07 ルネサスエレクトロニクス株式会社 半導体装置
CN107222734A (zh) * 2017-06-30 2017-09-29 联想(北京)有限公司 一种图像采集装置及电子设备
US20230016712A1 (en) * 2019-12-20 2023-01-19 Sony Group Corporation Imaging device, information processing method, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101959020A (zh) * 2009-07-17 2011-01-26 富士胶片株式会社 成像装置和成像方法
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
JPS61144191A (ja) * 1984-12-17 1986-07-01 Nippon Hoso Kyokai <Nhk> 立体テレビジョン画像伝送方法
JPH0846855A (ja) * 1994-08-02 1996-02-16 Canon Inc 複眼撮像装置
JP2000078611A (ja) * 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
US7683926B2 (en) * 1999-02-25 2010-03-23 Visionsense Ltd. Optical device
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2003284093A (ja) * 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP3928939B2 (ja) * 2002-06-21 2007-06-13 日本放送協会 画像処理装置および画像処理方法
JP4145121B2 (ja) * 2002-11-13 2008-09-03 シャープ株式会社 画像処理装置
JP4181446B2 (ja) * 2003-05-14 2008-11-12 シャープ株式会社 立体画像表示装置
JP2006105771A (ja) * 2004-10-05 2006-04-20 Canon Inc 撮像装置および地形図作成装置
US20090073170A1 (en) 2004-10-26 2009-03-19 Koninklijke Philips Electronics, N.V. Disparity map
US7469074B2 (en) * 2004-11-17 2008-12-23 Lexmark International, Inc. Method for producing a composite image by processing source images to align reference points
JP5224124B2 (ja) * 2007-12-12 2013-07-03 ソニー株式会社 撮像装置
JP5197469B2 (ja) * 2009-04-07 2013-05-15 富士フイルム株式会社 前方被写体像抽出装置およびその動作制御方法
JP5246424B2 (ja) * 2009-05-11 2013-07-24 ソニー株式会社 撮像装置
JP5499778B2 (ja) * 2010-03-03 2014-05-21 株式会社ニコン 撮像装置
JP5088973B2 (ja) * 2010-07-27 2012-12-05 シャープ株式会社 立体撮像装置およびその撮像方法
JP5502205B2 (ja) * 2010-09-10 2014-05-28 富士フイルム株式会社 立体撮像装置および立体撮像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101959020A (zh) * 2009-07-17 2011-01-26 富士胶片株式会社 成像装置和成像方法
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法

Also Published As

Publication number Publication date
RU2567438C1 (ru) 2015-11-10
US20140176683A1 (en) 2014-06-26
RU2014114535A (ru) 2015-10-20
EP2756352A1 (en) 2014-07-23
BR112014003345A2 (pt) 2017-03-01
CN103797415A (zh) 2014-05-14
JP2013061440A (ja) 2013-04-04
WO2013038629A1 (en) 2013-03-21
EP2756352A4 (en) 2015-04-22

Similar Documents

Publication Publication Date Title
CN103493484B (zh) 成像装置和成像方法
CN103797415B (zh) 摄像设备及其控制方法
CN102362487B (zh) 立体成像设备
US10587860B2 (en) Imaging apparatus and method for controlling same
CN103098459B (zh) 立体摄像装置及阴影校正方法
CN104580921B (zh) 摄像设备及其控制方法
JP6095266B2 (ja) 画像処理装置及びその制御方法
CN102860017B (zh) 立体摄像装置及其制造方法
JP2014026051A (ja) 撮像装置、画像処理装置
JP6053276B2 (ja) 撮像装置およびその制御方法、画像処理装置
JP6004741B2 (ja) 画像処理装置およびその制御方法、撮像装置
US9369698B2 (en) Imaging apparatus and method for controlling same
JP2014022888A (ja) 撮像装置および撮像装置の制御方法
JP5864992B2 (ja) 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法
JP2013070243A (ja) 撮像装置及び撮像装置の制御方法
JP5911276B2 (ja) 撮像装置およびその制御方法、画像処理装置
JP6366793B2 (ja) 画像処理装置およびその制御方法、撮像装置
JP6433474B2 (ja) 撮像装置およびその制御方法
JP6230266B2 (ja) 撮像装置、画像処理装置、および制御方法
JP6177305B2 (ja) 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法
JP5963483B2 (ja) 撮像装置および撮像装置の制御方法
JP6172949B2 (ja) 撮像装置、撮像装置の制御方法、画像処理装置および画像処理装置の制御方法
JP2014204299A (ja) 撮像装置および撮像装置の制御方法
JP2016154360A (ja) 撮像装置およびその制御方法
JP2014090252A (ja) 画像処理装置およびその制御方法、撮像装置およびその制御方法、並びに画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant