CN102647549A - 摄像设备、图像信号处理设备和记录设备 - Google Patents

摄像设备、图像信号处理设备和记录设备 Download PDF

Info

Publication number
CN102647549A
CN102647549A CN2012100387405A CN201210038740A CN102647549A CN 102647549 A CN102647549 A CN 102647549A CN 2012100387405 A CN2012100387405 A CN 2012100387405A CN 201210038740 A CN201210038740 A CN 201210038740A CN 102647549 A CN102647549 A CN 102647549A
Authority
CN
China
Prior art keywords
unit
picture
image signal
signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100387405A
Other languages
English (en)
Other versions
CN102647549B (zh
Inventor
永田桂次
斋藤槙子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102647549A publication Critical patent/CN102647549A/zh
Application granted granted Critical
Publication of CN102647549B publication Critical patent/CN102647549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及摄像设备、图像信号处理设备和记录设备。一种摄像设备，其包括：摄像单元，其具有多个单位像素，每一所述单位像素针对每一聚光器单元包括多个光电转换单元；以及记录单元，用于记录拍摄图像信号，其中，由所述摄像单元拍摄所述拍摄图像信号，并且分别从所述多个光电转换单元读出所述拍摄图像信号；并且所述记录单元与所述拍摄图像信号相关联地记录识别信息，所述识别信息能够识别用于获得所述拍摄图像信号的各光电转换单元。

Description

摄像设备、图像信号处理设备和记录设备
技术领域
本发明涉及一种用于获取立体视觉用的拍摄图像信号并生成图像信号的技术。
背景技术
近年来，诸如3D电影和3D显示器等的立体图像和立体图像相关装置迅速普及。通常使用胶片照相机等进行立体图像的拍摄。然而，随着诸如数字照相机和数字摄像机等的数字摄像设备的普及，使用这些数字摄像设备拍摄作为立体图像的生成源的图像。
通常使用以下的用于欣赏立体图像的机制。也就是说，对应于用户在通过右眼观看物体时的图像和他或她通过左眼观看物体时的图像，准备在左右方向上具有视差的“右眼图像”和“左眼图像”，并且用户通过右眼观看“右眼图像”和通过左眼观看“左眼图像”。作为该方法，已知有用于使用视差屏障系统或柱状透镜系统等分割要欣赏的图像以使其具有视差的方法、以及用于经由具有不同特性的右滤波器和左滤波器控制不同图像入射到右眼和左眼的方法。
对于可作为立体图像欣赏的图像的摄像方法，可以使用用于同时拍摄不同视点的图像的方法。
在日本特开昭58-24105号公报所述的固态图像传感器中，在固态图像传感器上形成多个微透镜，并且在这多个微透镜各自附近设置至少一对光电二极管。从该光电二极管对中的一个光电二极管的输出获得第一图像信号，并且从另一光电二极管获得第二图像信号。如日本特开昭58-24105号公报所述，当使用这样获得的第一图像信号和第二图像信号作为上述“右眼图像”和“左眼图像”时，可以欣赏立体图像。
日本特开2007-325139号公报所述的固态图像传感器具有下面的结构，在该结构中，也在固态图像传感器上形成多个微透镜，并且对于各微透镜设置多个光电二极管。作为日本特开2007-325139号公报的特征结构，经由门电路将与一个微透镜相对应所设置的多个光电二极管相互连接。因此，可以控制是在像素中相加相邻光电二极管的信号还是在不相加的情况下读出这些信号。
日本特开2007-325139号公报使用具有上述结构的固态图像传感器获得摄像设备的拍摄图像信号和焦点检测信号。在正常摄像模式下，相加所有光电二极管的信号以生成拍摄图像信号。在焦点检测模式下，必须获得具有视差的信号。为了获得在左右方向上具有视差的信号，仅需要连接在上下方向上相邻的光电二极管。另外，为了获得在上下方向上具有视差的信号，仅需要连接在左右方向上相邻的光电二极管。日本特开2007-325139号公报给出下面的应用方法。也就是说，使用具有该结构的固态图像传感器，根据被摄体图像的模式，使用适于被摄体图像的焦点检测的光电二极管的相加结果的组合，获得精确的焦点检测。
在欣赏由摄像设备所生成的图像信号时，通常将该图像信号打印在诸如纸张等的介质上或者将其显示在诸如电视机、监视器或投影仪等的显示装置上。这同样适用于2D图像和3D图像。
为了欣赏立体图像，如上所述，用户必须通过相应的眼观看在左右方向上具有视差的图像。因此，在相关技术所述的所有系统中，必须准备要通过右眼欣赏的“右眼图像”和要通过左眼欣赏的“左眼图像”。
相关技术文献说明了具有下面的结构的固态图像传感器，在该结构中，在固态图像传感器上形成多个微透镜，并且对于各微透镜设置多个光电二极管。另外，如这些文献所述，可以使用具有这一结构的固态图像传感器获得多个拍摄图像信号，其中，该多个拍摄图像信号可以分别用作可显示为立体图像的“右眼图像”和“左眼图像”。
然而，对于相关技术文献所述的发明，尽管可以获得“右眼图像”和“左眼图像”，但是“右眼图像”和“左眼图像”之间的视差通常具有不允许作为立体图像来欣赏这些图像的方向。
也就是说，在日本特开昭58-24105号公报所述的技术中，设计时的光电二极管对的配置预先确定拍摄图像的视差的方向。
或者，在日本特开2007-325139号公报所述的技术中，在从光电二极管读出信号时，通过根据被摄体图像所选择的光电二极管的相加结果的组合确定拍摄图像的视差的方向。也就是说，根据从摄像设备读出的信号所生成的“右眼图像”和“左眼图像”仅可以在读出信号之前所预先确定的一个方向上具有视差。
因此，当图像的视差方向与用户在欣赏拍摄图像时双眼的视差方向不一致时，用户不能将这些图像识别为立体图像。例如，当在从正常位置被转动90°的情况下显示在左右方向上具有视差的图像时，这两个图像的视差方向从左右方向改变成上下方向，并且不能作为立体图像来欣赏这些图像，因此出现问题。
发明内容
考虑到上述问题做出了本发明，并且本发明允许基于使用摄像设备所拍摄的拍摄图像信号，不管图像的显示方向如何、都生成并显示具有在适于作为立体图像欣赏的方向上的视差的图像。
本发明的第一方面提供一种摄像设备，所述摄像设备包括：摄像单元，其具有多个单位像素，每一所述单位像素针对每一聚光器单元包括多个光电转换单元；以及记录单元，用于记录拍摄图像信号，其中，由所述摄像单元拍摄所述拍摄图像信号，并且分别从所述多个光电转换单元读出所述拍摄图像信号，其中，所述记录单元与所述拍摄图像信号相关联地记录识别信息，所述识别信息使得能够识别获得所述拍摄图像信号所使用的各光电转换单元。
本发明的第二方面提供一种图像信号处理设备，其特征在于，使用上述摄像设备的各个光电转换单元中的拍摄图像信号和分别与拍摄图像信号相关联的多个识别信息，生成用于立体视觉的图像信号。
本发明的第三方面提供一种记录设备，包括：记录单元，用于记录由摄像设备拍摄的拍摄图像信号，其中，所述摄像设备包括具有多个单位像素的摄像单元，每一所述单位像素针对每一聚光器单元包括多个光电转换单元，所述拍摄图像信号分别从所述多个光电转换单元读出，其中，所述记录单元与所述拍摄图像信号相关联地记录识别信息，所述识别信息使得能够识别获得所述拍摄图像信号所使用的各光电转换单元。
通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是示出根据本发明的一个实施例的摄像设备的整体结构的框图；
图2A～2D是用于说明本发明实施例中的摄像设备和固态图像传感器的结构、图像信号的显示角度、以及在图像信号的生成中所使用的每一单位像素的信号的组合的示意图；
图3是示出本发明实施例中的固态图像传感器的单位像素的结构的例子的示意图；
图4A～4D是示出在本发明实施例中由记录单元所记录的拍摄图像信号和标签的序列的概念图；以及
图5是示出本发明实施例的变形例的固态图像传感器的单位像素的结构的例子的示意图。
具体实施方式
下面将参考附图详细说明本发明的一个实施例。图1是示出根据本发明的一个实施例的摄像设备的整体结构的框图。参考图1，附图标记1表示包括诸如透镜和光圈等的光学构件的光学系统。附图标记2表示遮挡固态图像传感器(后面说明)上的光以控制固态图像传感器的曝光时间的机械快门。附图标记3表示将照射光转换成电信号、并且将其输出作为拍摄图像信号的固态图像传感器。后面将详细说明本实施例的固态图像传感器。
附图标记5表示生成驱动电路6为了操作固态图像传感器3所需的信号的定时信号生成电路。附图标记6表示光学系统1、机械快门2和固态图像传感器3的驱动电路。附图标记7表示信号处理电路，其中，信号处理电路对拍摄图像信号执行诸如所需的各种类型的校正等的信号处理，并且根据经过了信号处理的拍摄图像信号生成图像信号。附图标记8表示存储经过了信号处理的拍摄图像信号和图像信号的图像存储器。附图标记9表示可从摄像设备拆卸的记录介质。
附图标记10表示将经过了信号处理的拍摄图像信号记录在记录介质9上的记录电路。附图标记11表示显示经过了信号处理的图像信号的图像显示装置。附图标记12表示将图像信号显示在图像显示装置11上的显示电路。附图标记13表示控制整个摄像设备的系统控制器。
附图标记14表示非易失性存储器(ROM)。非易失性存储器14存储描述要由系统控制器13执行的控制方法的程序、包括在执行该程序时要使用的参数和表的控制数据、以及用于各种类型的图像信号的校正的数据。
附图标记15表示易失性存储器(RAM)。易失性存储器15存储从存储程序和数据的非易失性存储器14所传送的、在系统控制器13控制摄像设备时所使用的程序、控制数据和校正数据。附图标记16表示控制摄像设备的电源ON/OFF状态所使用的开关S0。附图标记17表示发出摄像设备用以进行摄像操作所需的各种摄像准备操作的开始指示所使用的开关S1。附图标记18表示发出摄像设备的摄像操作开始指示所使用的开关S2。
注意，摄像设备的上述结构仅是实现本发明所需的结构的例子，并且本发明不局限于本实施例。例如，上述例子说明了一种包含摄像单元和记录单元的摄像设备。可选地，可以独立配置摄像设备和记录设备，并且可以通过记录设备记录由摄像设备所获取的拍摄图像信号。另外，在本发明的精神的范围内，其它组件可以经过各种修改和改变。
下面将说明本实施例的摄像设备中包含的固态图像传感器的结构。图2B是示出本实施例的固态图像传感器的整体结构的例子的示意图。
在这种情况下，当从摄像设备的正面观看摄像设备中包含的固态图像传感器时，将与摄像设备的底面平行的轴定义为x轴，并且将与摄像设备的底面垂直的轴定义为y轴。例如，在以使得固态图像传感器的长边侧与摄像设备的底面平行的方式包含固态图像传感器的假设下，将与长边平行的轴定义为x轴，并且将与短边平行的轴定义为y轴。
如图2B所示，本实施例的固态图像传感器包括(具有)按矩阵排列在作为二维平面的摄像平面上的多个单位像素。假定以在虚线内所描述的地址来表示图2B中以虚线表示的各个单位像素。例如，以(0，1)表示第0列第1行的单位像素的地址，并且以(N，M)表示第N列第M行的单位像素的地址。
图2B中以虚线所表示的各个单位像素将照射光转换成电信号，并且累积并输出电信号。下面将详细说明单位像素的结构的例子。
图3是示出本实施例的固态图像传感器的单位像素的结构的例子的示意图。图3示出作为用于各自将光转换成电信号的光电转换单元的光电二极管PD和作为将光会聚在光电二极管PD上的聚光器单元的微透镜ML的大体配置。这些光电二极管PD和微透镜ML形成一个单位像素。
如图3所示，在各个单位像素上，配置与单位像素相对应的多个光电二极管PD和微透镜ML。在这种情况下，例如，图3示出对于一个微透镜ML配置四个光电二极管PD、即光电二极管PD(0，0)、PD(1，0)、PD(0，1)和PD(1，1)的单位像素。
说明了可以实施本发明的固态图像传感器的结构的例子。然而，该固态图像传感器的结构仅是实施本发明所需的结构的例子。实际上，固态图像传感器仅需要具有针对每一聚光器单元包括多个光电转换单元的结构。本发明不局限于上述实施例，并且在本发明的精神的范围内允许各种修改和改变。
注意，为了在一个像素所包括的多个光电转换单元之间提供多个方向上的视差，光电二极管PD的数量优选是三个以上。
下面将使用图2B和2D及图4A～4D说明记录从上述固态图像传感器所读出的拍摄图像信号的记录单元。
图2D的D 1、D2和D3各自简单示出图2B中以虚线所示的多个单位像素中的一个单位像素所包括的多个光电二极管PD的排列，并且相当于图3所示的单位像素。在图2D中，为了简化，没有示出微透镜ML。
与一个单位像素相对应的多个光电二极管PD设置有作为识别信息的不同标签，以允许指定各个光电二极管PD。例如，各个光电二极管PD设置有包括与单位像素中的各个光电二极管的位置关系相关联的信息(位置信息)作为识别信息的标签。在本实施例中，将示例性说明下面的情况：与各单位像素相对应的各像素组设置有与x轴方向的位置x和y轴方向的位置y相关联的如(x，y)一样的标签信息。例如，如图3所示，光电二极管PD(0，0)设置有标签(0，0)，光电二极管PD(1，0)设置有标签(1，0)，光电二极管PD(0，1)设置有标签(0，1)，并且光电二极管PD(1，1)设置有标签(1，1)。
可选地，可以向形成各单位像素的多个光电二极管PD中的每一个分配识别所需的符号，并且可以使用该符号作为标签。例如，可以向左下的光电二极管PD(0，0)分配识别符号“LD”，可以向右上的光电二极管PD(1，1)分配识别符号“RU”，并且可以使用它们作为标签。
摄像单元控制固态图像传感器以累积拍摄图像信号，并且分别读出各个光电二极管PD(PD(0，0)、PD(1，0)、PD(0，1)和PD(1，1))的所有拍摄图像信号。下面将读出的光电二极管PD(0，0)、PD(1，0)、PD(0，1)和PD(1，1)的拍摄图像信号分别称为Sig(0，0)、Sig(1，0)、Sig(0，1)和Sig(1，1)。
图4A～4D是示出根据本实施例由记录单元所记录的拍摄图像信号和标签的序列的概念图。下面将以从第N列第M行的单位像素包括的多个光电二极管PD所获得的拍摄图像信号和作为识别信息分配给这些光电二极管的标签作为例子，说明要由记录单元记录的数据。
记录单元向各个光电二极管PD分配上述标签以读出各个光电二极管PD的拍摄图像信号，并且相互关联地保存拍摄图像信号的电平和标签。在本实施例中，如图4A所示，记录单元保存分配以标签(0，0)的光电二极管PD(0，0)的拍摄图像信号Sig(0，0)、分配以标签(1，0)的光电二极管PD(1，0)的拍摄图像信号Sig(1，0)、分配以标签(0，1)的光电二极管PD(0，1)的拍摄图像信号Sig(0，1)和分配以标签(1，1)的光电二极管PD(1，1)的拍摄图像信号Sig(1，1)。说明了记录有从第N列第M行的单位像素所获得的拍摄图像信号的数据。对应于从固态图像传感器读出的所有单位像素，记录这些数据。
注意，除识别信息以外，还可以向各光电二极管PD的上述标签分配在表示图2B中的各单位像素的虚线内所示的各单位像素的地址信息。可选地，如图4B所示，可以将各单位像素的地址信息分配给该单位像素的数据。
可选地，如图4C所示，可以在记录所有拍摄图像信号的数据的头处记录表示数据中的信号的存储顺序的标签，其中，对于所有单位像素，该数据按照相同顺序记录单位像素中包括的光电二极管PD的拍摄图像信号。可选地，如图4D所示，可以将从不同单位像素中包括的且具有共同的识别信息的光电二极管PD所获得的所有拍摄图像信号保存在一起，并且可以将共同的识别信息记录在该序列的头处作为标签。
通过向从各光电二极管PD所获得的拍摄图像信号分配这类标签信息，在通过任意图像处理单元或显示单元使用拍摄图像信号时，可以容易地指定拍摄图像信号和单位像素的地址。另外，可以容易地指定特定PD组中的光电二极管PD和从预定单位像素获得多个拍摄图像信号的光电二极管PD的位置关系。
使用由具有上述结构的摄像设备所拍摄的拍摄图像信号，可以独立于要显示的图像信号的转动角度、生成可作为立体图像欣赏的图像。
下面说明用于从在分配有标签信息的情况下被保存的拍摄图像信号获得针对各种图像转动角度适于立体视觉的(用于立体视觉的)图像对的拍摄图像信号的应用例子。注意，在本实施例的摄像设备的例子中，使用图1所示的信号处理电路7作为用于从拍摄图像信号获得要显示的图像信号的图像信号生成单元。作为另一例子，可以通过外部图像信号生成单元(图像信号处理设备)生成图像信号。
图2C的C1、C2和C3是示出在将这些图像显示在图像显示装置上时的图像转动角度和所显示的图像的示意图。图2C的C1、C2和C3各自示出的第一图像信号和第二图像信号对应于具有视差的一对图像，其中，根据由包含图2B所示的固态图像传感器的图2A所示的摄像设备拍摄并记录的拍摄图像信号，生成该对图像，并且该对图像对应于右眼图像和左眼图像。将在以转动角度＝0°显示该对图像时与该对图像的x轴重叠的轴定义为显示装置的基准轴Xv(图2C中以单点划线所示)。另外，假定θv是显示的图像从显示装置的基准轴Xv的转动角度。根据图像显示程序所指定的并表示转动角度的参数、或者基于用户的指示经由例如输入装置输入的并表示转动角度的参数，获取转动角度θv。
图2D的D1、D2和D3是根据与对应于各个信号的光电二极管PD的配置相对应地示出在生成具有视差的一对图像的各个图像信号时所使用的拍摄图像信号的组合的示意图。
在要生成图像信号时，基于标签信息，针对通过以与轴Xv垂直的线分割的各光电二极管PD，对来自单位像素中所包括的多个光电二极管PD的拍摄图像信号进行分组。然后，根据各组的拍摄图像信号生成形成一个图像的图像信号，从而获得在x轴方向上具有不同视差的第一图像和第二图像。
首先说明以横向位置显示基于由具有图2B所示的结构的摄像设备拍摄的拍摄图像信号所生成的图像时的例子。当如图2C的C1所示，显示的图像的转动角度θv＝0°时，选择光电二极管PD(0，0)和PD(0，1)作为第一PD组，如图2D的D1中的实线所示，并且使用第一PD组的拍摄图像信号生成第一图像信号。另外，选择光电二极管PD(1，0)和PD(1，1)作为第二PD组，并且使用第二PD组的拍摄图像信号生成第二图像信号。然后，由这样获得的第一图像信号形成第一图像，并且由第二图像信号形成第二图像，从而获得在x轴方向上具有不同视差的第一图像和第二图像。
当使用这样获得的第一图像和第二图像作为上述“左眼图像”和“右眼图像”时，可以生成在以横向位置显示图像时具有适于立体视觉的视差方向的图像。
即使在要以横向位置显示图像时，如果θv＝180°(在与上述情况相反的位置处)，则可以选择光电二极管PD(1，0)和PD(1，1)作为用于生成第一图像信号的第一PD组，并且可以选择光电二极管PD(0，0)和PD(0，1)作为用于生成第二图像信号的第二PD组。
下面说明在以纵向位置显示基于由具有图2B所示的结构的摄像设备拍摄的拍摄图像信号所生成的图像时的例子。当如图2C的C2所示，显示的图像的转动角度θv＝90°时，选择光电二极管PD(0，0)和PD(1，0)作为第二PD组，如图2D的D2中的实线所示，并且使用第二PD组的拍摄图像信号生成第二图像信号。另外，选择光电二极管PD(0，1)和PD(1，1)作为第一PD组，并且使用第一PD组的拍摄图像信号生成第一图像信号。然后，由这样获得的第一图像信号形成第一图像，并且由第二图像信号形成第二图像，从而获得在y轴方向上具有不同视差的第一图像和第二图像。
当使用这样获得的第一图像和第二图像作为上述“左眼图像”和“右眼图像”时，可以生成在以纵向位置显示图像时具有适于立体视觉的视差方向的图像。
即使在要以纵向位置显示图像时，如果θv＝270°(在与上述情况相反的位置处)，则可以选择光电二极管PD(0，0)和PD(1，0)作为用于生成第一图像信号的第一PD组，并且可以选择光电二极管PD(0，1)和PD(1，1)作为用于生成第二图像信号的第二PD组。
最后，下面说明在以倾斜位置显示基于由具有图2B所示的结构的摄像设备拍摄的拍摄图像信号所生成的图像时的例子。当如图2C的C 3所示，显示的图像的转动角度θv＝45°时，如图2D的D3中的实线所示，选择光电二极管PD(0，1)作为第一PD组，并且使用第一PD组的拍摄图像信号生成第一图像信号。另外，选择光电二极管PD(1，0)作为第二PD组，并且使用第二PD组的拍摄图像信号生成第二图像信号。然后，由这样获得的第一图像信号形成第一图像，并且由第二图像信号形成第二图像，从而获得在倾斜方向上具有不同视差的第一图像和第二图像。此时，由于与纵向位置和横向位置相比，可使用的拍摄图像信号的数量减少，所以在使用各个PD组的信号时，可以将该信号乘以想要的增益。例如，在这种情况下，由于与纵向位置或横向位置相比，可使用的拍摄图像信号的数量减少至1/2，所以还可以将该信号乘以约2×的增益，以获得与多个拍摄图像信号的相加结果相同的信号电平。
当使用这样获得的第一图像和第二图像作为上述“左眼图像”和“右眼图像”时，可以生成在以倾斜位置显示图像时具有适于立体视觉的视差方向的图像。
即使在要以倾斜位置显示图像时，如果θv＝225°(在与上述情况相反的位置处)，也可以选择光电二极管PD(0，1)作为用于生成第二图像信号的第二PD组，并且可以选择光电二极管PD(1，0)作为用于生成第一图像信号的第一PD组。
此外，即使在要以倾斜位置显示图像时，如果θv＝315°，则可以选择光电二极管PD(0，0)作为用于生成第一图像信号的第一PD组，并且可以选择光电二极管PD(1，1)作为用于生成第二图像信号的第二PD组。如果θv＝135°，则可以选择光电二极管PD(1，1)作为用于生成第一图像信号的第一PD组，并且可以选择光电二极管PD(0，0)作为用于生成第二图像信号的第二PD组。
注意，示例性说明了取预定角度的θv的情况。可以设置用于切换组的角度范围。例如，根据角度θv，选择要用于生成各个图像信号的拍摄图像信号，以在最接近与轴Xv平行的方向的方向上向第一图像和第二图像提供视差。
下面说明实际例子。
0≤θv≤22.5°(转动角度＝0°附近)...将该角度当作为θv＝0°来生成图像信号。
22.5°＜θv＜67.5°(顺时针方向转动时的转动角度＝45°附近)...将该角度当作为θv＝45°来生成图像信号。
67.5°≤θv≤112.5°(顺时针方向转动时的转动角度＝90°附近)...将该角度当作为θv＝90°来生成图像信号。
112.5°＜θv＜157.5°(顺时针方向转动时的转动角度＝135°附近)...将该角度当作为θv＝135°来生成图像信号。
157.5°≤θv≤202.5°(转动角度＝180°附近)...将该角度当作为θv＝180°来生成图像信号。
205.5°＜θv＜247.5°(顺时针方向转动时的转动角度＝225°附近)...将该角度当作为θv＝225°来生成图像信号。
247.5°≤θv≤292.5°(顺时针方向转动时的转动角度＝270°附近)...将该角度当作为θv＝270°来生成图像信号。
292.5°＜θv＜337.5°(顺时针方向转动时的转动角度＝315°附近)...将该角度当作为θv＝315°来生成图像信号。
337.5°≤θv≤360°(转动角度＝0°附近)...将该角度当作为θv＝0°来生成图像信号。
至此示例性说明了使用如图3所示每一单位像素以2×2矩阵配置四个光电二极管PD的固态图像传感器的结构。然而，在这一应用方法的情况下，在固态图像传感器的单位像素中，希望尽可能多地配置更大量的光电二极管。这是因为，当配置更大量的光电二极管时，如图5所示，可以从大量光电二极管PD自由选择生成第一图像信号和第二图像信号要使用的第一PD组和第二PD组。因此，可以更精确地调整在“右眼图像”和“左眼图像”之间所设置的视差的方向。
下面将示例性说明在对于图5的显示装置的基准轴Xv转动θv°的同时显示要显示的图像的情况。将与显示装置的基准轴Xv垂直、且通过穿过微透镜ML的光的重心的轴定义为轴Yv。此时，在单位像素中包括的多个光电二极管PD中，选择由轴Yv分割出的区域中的一个区域中所包括的光电二极管PD作为第一PD组，并且选择另一区域中包括的光电二极管PD作为第二PD组。在图5中以实线表示各个PD组。
基于分配给从各个光电二极管PD获得的拍摄图像信号的标签，选择从第一PD组中包括的光电二极管PD所获得的拍摄图像信号，以生成第一图像信号。类似地选择从第二PD组包括的光电二极管PD所获得的拍摄图像信号，以生成第二图像信号。
因此，可以更精确地确定在第一图像和第二图像之间所提供的视差的方向，并且可以获得在转动显示在显示装置上的图像时更适于作为立体图像来欣赏的图像。
上述实施例和变形例分别是实施本发明时的方面的适当例子。本发明不局限于这些实施例，并且允许本发明的主旨的范围内的各种修改和改变。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (8)

1.一种摄像设备，包括：
摄像单元，其具有多个单位像素，每一所述单位像素针对每一聚光器单元包括多个光电转换单元；以及
记录单元，用于记录拍摄图像信号，其中，由所述摄像单元拍摄所述拍摄图像信号，并且分别从所述多个光电转换单元读出所述拍摄图像信号，
其中，所述记录单元与所述拍摄图像信号相关联地记录识别信息，所述识别信息使得能够识别获得所述拍摄图像信号所使用的各光电转换单元。
2.根据权利要求1所述的摄像设备，其特征在于，所述记录单元与各单位像素中的所述多个光电转换单元的各个拍摄图像信号相关联地记录不同的识别信息。
3.根据权利要求1所述的摄像设备，其特征在于，所述识别信息包括表示所述单位像素中的各个光电转换单元的位置关系的位置信息。
4.一种图像信号处理设备，其特征在于，使用根据权利要求1所述的摄像设备的各个光电转换单元中的拍摄图像信号和分别与所述拍摄图像信号相关联的识别信息，生成用于立体视觉的图像信号。
5.根据权利要求4所述的图像信号处理设备，其特征在于，所述识别信息包括表示各单位像素中的各个光电转换单元的位置关系的位置信息。
6.一种记录设备，包括：
记录单元，用于记录由摄像设备拍摄的拍摄图像信号，其中，所述摄像设备包括具有多个单位像素的摄像单元，每一所述单位像素针对每一聚光器单元包括多个光电转换单元，所述拍摄图像信号分别从所述多个光电转换单元读出，
其中，所述记录单元与所述拍摄图像信号相关联地记录识别信息，所述识别信息使得能够识别获得所述拍摄图像信号所使用的各光电转换单元。
7.根据权利要求6所述的记录设备，其特征在于，所述记录单元与各单位像素中的所述多个光电转换单元的各个拍摄图像信号相关联地记录不同的识别信息。
8.根据权利要求6所述的记录设备，其特征在于，所述识别信息包括表示所述单位像素中的各个光电转换单元的位置关系的位置信息。
CN201210038740.5A 2011-02-17 2012-02-17 摄像设备、图像信号处理设备和记录设备 Active CN102647549B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011032629A JP5785398B2 (ja) 2011-02-17 2011-02-17 撮像装置及び画像信号処理装置
JP2011-032629 2011-02-17

Publications (2)

Publication Number Publication Date
CN102647549A true CN102647549A (zh) 2012-08-22
CN102647549B CN102647549B (zh) 2016-08-31

Family

ID=45939724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210038740.5A Active CN102647549B (zh) 2011-02-17 2012-02-17 摄像设备、图像信号处理设备和记录设备

Country Status (6)

Country Link
US (1) US9800861B2 (zh)
JP (1) JP5785398B2 (zh)
KR (1) KR20120094864A (zh)
CN (1) CN102647549B (zh)
DE (1) DE102012202386B4 (zh)
GB (1) GB2488234B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8742309B2 (en) 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
US10015471B2 (en) 2011-08-12 2018-07-03 Semiconductor Components Industries, Llc Asymmetric angular response pixels for single sensor stereo
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
JP6118058B2 (ja) * 2012-10-02 2017-04-19 キヤノン株式会社 固体撮像素子、撮像装置、及び制御方法
JP6120523B2 (ja) * 2012-10-24 2017-04-26 オリンパス株式会社 撮像素子及び撮像装置
JP6821028B2 (ja) * 2017-08-04 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および画像データ読み出し方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128328A1 (en) * 2003-12-12 2005-06-16 Konica Minolta Holdings, Inc. Solid-state image-sensing device
CN1893540A (zh) * 2005-07-09 2007-01-10 三星电子株式会社 包括有源像素传感器阵列的图像传感器和系统
CN101461230A (zh) * 2006-06-03 2009-06-17 株式会社尼康 固态成像器件和使用该固态成像器件的成像装置
US20090201405A1 (en) * 2008-02-04 2009-08-13 Texas Instruments Incorporated Solid-state imaging device
CN101609837A (zh) * 2008-06-09 2009-12-23 索尼株式会社 固体摄像器件、它的驱动方法以及使用它的电子装置
US20100086293A1 (en) * 2008-10-02 2010-04-08 Nikon Corporation Focus detecting apparatus and an imaging apparatus

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
US6137535A (en) 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
US6396873B1 (en) 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
JP4236152B2 (ja) * 2002-07-29 2009-03-11 富士フイルム株式会社 固体撮像素子
US7858935B2 (en) * 2006-06-30 2010-12-28 4Pi Analysis, Inc. Method and system for conducting event-streamed spectrum imaging
JP4992352B2 (ja) * 2006-09-11 2012-08-08 ソニー株式会社 固体撮像装置
JP4457316B2 (ja) * 2006-12-01 2010-04-28 富士フイルム株式会社 画像再生装置及び方法
JP5222625B2 (ja) * 2007-06-01 2013-06-26 富士フイルム株式会社 撮像装置
US20100176271A1 (en) * 2007-06-19 2010-07-15 Siliconfile Technologies Inc. Pixel array preventing the cross talk between unit pixels and image sensor using the pixel
US7781716B2 (en) * 2008-03-17 2010-08-24 Eastman Kodak Company Stacked image sensor with shared diffusion regions in respective dropped pixel positions of a pixel array
JP5515396B2 (ja) * 2009-05-08 2014-06-11 ソニー株式会社 撮像装置
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
JP2010283512A (ja) * 2009-06-03 2010-12-16 Sony Corp 画像データ出力装置および画像表示システム
DE102009049387B4 (de) 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
JP5537905B2 (ja) * 2009-11-10 2014-07-02 富士フイルム株式会社 撮像素子及び撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128328A1 (en) * 2003-12-12 2005-06-16 Konica Minolta Holdings, Inc. Solid-state image-sensing device
CN1893540A (zh) * 2005-07-09 2007-01-10 三星电子株式会社 包括有源像素传感器阵列的图像传感器和系统
CN101461230A (zh) * 2006-06-03 2009-06-17 株式会社尼康 固态成像器件和使用该固态成像器件的成像装置
US20090201405A1 (en) * 2008-02-04 2009-08-13 Texas Instruments Incorporated Solid-state imaging device
CN101609837A (zh) * 2008-06-09 2009-12-23 索尼株式会社 固体摄像器件、它的驱动方法以及使用它的电子装置
US20100086293A1 (en) * 2008-10-02 2010-04-08 Nikon Corporation Focus detecting apparatus and an imaging apparatus

Also Published As

Publication number Publication date
KR20120094864A (ko) 2012-08-27
CN102647549B (zh) 2016-08-31
JP5785398B2 (ja) 2015-09-30
GB201202670D0 (en) 2012-04-04
US9800861B2 (en) 2017-10-24
JP2012175194A (ja) 2012-09-10
DE102012202386B4 (de) 2017-02-09
GB2488234B (en) 2013-06-12
DE102012202386A1 (de) 2012-08-23
GB2488234A (en) 2012-08-22
US20120212581A1 (en) 2012-08-23

Similar Documents

Publication Publication Date Title
US9341935B2 (en) Image capturing device
JP5246424B2 (ja) 撮像装置
US20020140835A1 (en) Single sensor chip digital stereo camera
EP0645659A2 (en) Three dimensional imaging apparatus, camera, and microscope.
CN102647549A (zh) 摄像设备、图像信号处理设备和记录设备
CN103444192B (zh) 立体成像装置和立体成像方法
CN102135722B (zh) 摄像机结构、摄像机系统和方法
JP2010263501A (ja) 撮像装置
CN104469194A (zh) 图像处理装置及其控制方法
RU2567438C1 (ru) Устройство формирования изображений и способ управления им
US20120162453A1 (en) Image pickup apparatus
JP4272464B2 (ja) 立体映像補正装置およびその方法
CN102081294B (zh) 摄像装置
US20120307016A1 (en) 3d camera
CN103155576A (zh) 立体图像显示装置和立体图像显示方法
JP2011095431A (ja) 立体映像撮像装置および立体映像撮像方法
CN102547340A (zh) 立体显示系统、眼镜装置、显示装置和图像显示系统
EP2923483A1 (en) A module for plenoptic camera system
JP2013243602A (ja) 撮像装置およびその制御方法
CN103686135A (zh) 显示控制装置、摄像装置及控制方法
JP5853510B2 (ja) 撮像装置
JP2006287274A (ja) 撮像装置及びそれを用いた立体視画像生成システム
JP6230266B2 (ja) 撮像装置、画像処理装置、および制御方法
WO2010025529A1 (en) Method and device for filming and reproduction of 3d video images
JP2016001854A (ja) 情報処理装置、撮像装置、制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant