CN101995758A

CN101995758A - 成像装置和视频记录/播放系统

Info

Publication number: CN101995758A
Application number: CN2010102427751A
Authority: CN
Inventors: 黑木义彦
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-08-06
Filing date: 2010-07-30
Publication date: 2011-03-30
Anticipated expiration: 2030-07-30
Also published as: JP5391914B2; CN101995758B; US8078048B2; US20110033177A1; JP2011035853A

Abstract

本发明公开了一种成像装置和视频记录/播放系统，所述成像装置包括：摄影镜头，被配置为聚焦来自对象的光；分束器，被配置为在从所述对象的一个点漫射的光变为平行光的区域中将聚焦的光分束成左和右，从而分别形成不同的偏振光；成像镜头，被配置为分别对分束的不同的偏振光成像；透射单元，被配置为在相同平面上接收成像的不同的偏振光，从而在所述平面的每个区域中透射偏振光的任何一束；成像元件，被配置为将所述平面上透射的光转换成根据电信号的图像；以及图像生成单元，被配置为提取并对每个区域中转换的图像插值，从而生成两个不同的图像。

Description

成像装置和视频记录/播放系统

技术领域

本发明涉及一种成像装置，且更具体地涉及一种用于拍摄对象作为立体图像的成像装置以及视频记录/播放系统。

背景技术

在现有技术中，提出了使用左右两个视频摄像机同时拍摄共同对象并且同时输出左右视频以显示立体图像的系统。然而，如果使用两个视频摄像机，则装置尺寸加大，从而该系统不实用。另外，不考虑镜头的变焦比，两个视频摄像机之间的基线长度(基线)即立体摄像机的两个眼睛之间的距离一般约为65mm，对应于人双眼之间的距离。在这种情况下，在进行了变焦的视频中，视差增大且视觉系统被迫不同于普通方式地处理信息，从而引起视觉疲劳。另外，在没有变化地重复观看左右图像时，图像被双重摄影而变为不自然的图像。如果双眼的位置被设置为L和R且对象上的点被设置为A和B，则角LAR和角LBR被定义为绝对视差且(角LAR-角LBR)被定义为点A对点B的相对视差。以下将相对视差简称为视差。

为了便于调整镜头系统以进行立体摄影，提出了一种结合偏振滤波器以进行偏振从而满足相互正交关系以使得共用光学系统的立体成像装置(例如，参见日本已审专利申请公开No.6-054991(图2))。

发明内容

在现有技术中，叠加两个偏振滤波器的输出以便将光路集成到单个系统从而使得共用镜头系统。然而，为了在随后阶段提取左右图像，进一步设置偏振滤波器再次划分光路自身以使得光被输入到各个不同的偏振滤波器。相应地，由于在镜头系统中出现光损耗，因此难以使装置小型化。

期望简化立体摄影时光学系统的结构并使成像装置小型化。

根据本发明的一个实施例，提供了一种成像装置，包括：摄影镜头，被配置为聚焦来自对象的光；分束器，被配置为在从对象的一个点漫射的光变为平行光的区域中将聚焦的光分束成左和右，从而分别形成不同的偏振光；成像镜头，被配置为分别对被分束的不同的偏振光成像；透射单元，被配置为在相同平面上接收成像的不同的偏振光，从而在所述平面的每个区域中透射偏振光的任何一束；成像元件，被配置为将所述平面上的透射光转换为根据电信号的图像；以及图像生成单元，被配置为提取并对每个区域中转换的图像插值，从而生成两个不同的图像。通过该配置，由成像元件选择分束成左和右的偏振光从而生成两个不同的图像。

所述透射单元可以是附着到所述成像元件的前表面的偏振构件，并在对应于所述成像元件的像素或像素组的每个区域中透射偏振光的任何一束。通过该配置，在对应于成像元件的所述像素或像素组的每个区域中选择分束成左和右的偏振光，从而生成两个不同的图像。在这种情况下，像素组可以包括在水平方向上连续布置在平面上的像素组或以四边形形状布置在平面上的像素组。

分束器可以包括被配置为在互相正交的线性方向上偏振聚焦的光的对称偏振装置。或者，分束器可以包括被配置为在互相相反的旋转方向上偏振聚焦的光的左右对称的(bilateral)偏振装置。

根据本发明的另一个实施例，提供了一种视频记录/播放系统，包括：摄影镜头，被配置为聚焦来自对象的光；分束器，被配置为在从所述对象的一个点漫射的光变为平行光的区域中将聚焦的光分束成左和右，从而分别形成不同的偏振光；成像镜头，被配置为分别对分束的不同的偏振光成像；透射单元，被配置为在相同平面上接收成像的不同的偏振光，从而在所述平面的每个区域中透射所述偏振光的任何一束；成像元件，被配置为将所述平面上透射的光转换成根据电信号的图像；图像生成单元，被配置为提取并对每个区域中转换的图像插值，从而生成两个不同的图像；视频记录单元，被配置为将生成的两个图像作为左和右图像数据的帧分别记录在存储单元中；以及视频播放单元，被配置为同时播放和显示记录在所述存储单元中的所述左和右图像数据。因此，在成像元件中选择分束成左和右的偏振光，从而生成两个不同的图像，并且同时播放和显示这两个图像。

根据本发明的实施例，可以简化立体摄影时光学系统的结构并且使成像装置小型化。

附图说明

图1是根据本发明的实施例的成像装置的示例的顶横截面图。

图2是示出了根据本发明的所述实施例的成像装置的功能配置示例的图。

图3是示出了根据本发明的所述实施例的偏振滤波器的配置示例的图。

图4是示出了根据本发明的所述实施例的左偏振片和右偏振片的附着模式示例的图。

图5是示出了根据本发明的所述实施例的左偏振片和右偏振片的附着模式与像素之间的关系的图。

图6是示出了根据本发明的所述实施例的像素值的去马赛克(demosaic)示例的图。

图7是示出了根据本发明的实施例的视频记录/播放系统的配置示例的图。

图8是示出了根据本发明的所述实施例的左偏振片和右偏振片的另一个附着模式示例的图。

具体实施方式

以下将描述用于执行本发明的模式(以下称为实施例)。将按如下顺序给出描述。

1.第一实施例(行方向上偏振相同：成像装置的示例)

2.第二实施例(视频记录/播放系统的示例)

3.修改示例(每个块中的偏振相同)

1.第一实施例

成像装置的配置示例

图1是根据本发明的实施例的成像装置的示例的顶横截面图。该成像装置接收来自对象的入射光101，通过偏振滤波器114将光分束成左和右，在成像元件170上形成图像，并且生成左和右视频数据。该成像装置包括摄像机主体120的前段上的镜头单元110。

镜头单元110包括摄影镜头111和112、光圈113、偏振滤波器114和成像镜头115。

摄影镜头111和112是用于聚焦来自对象的入射光101的镜头。这些摄影镜头111包括用于聚焦的聚焦镜头、用于放大对象的变焦镜头等，且一般由多个镜头的组合实现以便校正色差。

光圈113具有窄化功能从而调整聚焦的光的量。光圈113一般由多个片状叶片组成。在光圈113的位置处，从对象的一个点漫射的光变为平行光。

偏振滤波器114将聚焦的光分成两束不同的偏振光。该偏振滤波器114被划分成对称的偏振装置从而在关于摄像机的直立状态的左和右两个位置处生成互相正交的线性方向上的偏振光或互相相反的旋转方向上的偏振光。该偏振滤波器114被放置成与光圈113平行地相邻。即，该偏振滤波器114用来在从对象的一个点漫射的光变为平行光的区域中通过左右对称的偏振装置将光分成两束不同的偏振光。所述两束不同的偏振光输入到成像镜头115以形成图像。偏振滤波器114是权利要求中描述的分束器的示例。

成像镜头115是用于对从偏振滤波器114接收的光成像的镜头。成像镜头115成像的光投射到摄像机主体120中的成像元件170上。

在这种情况下，入射瞳116放置在摄像机主体120的侧部上而不是成像镜头115的侧部上。

摄像机主体120包括成像元件170、视频记录单元200和视频存储单元300。成像元件170是用于将从镜头单元110接收的光转换成电信号的光电转换元件。成像元件170转换的电信号形成左和右视频数据。通过例如电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)图像传感器等实现该成像元件170。视频记录单元200将从成像元件170输出的左和右图像数据记录在视频存储单元300中。视频存储单元300存储从视频记录单元200输出的左和右图像数据。

成像装置的功能配置示例

图2是根据本发明的所述实施例的成像装置的功能配置示例。在光基本上变为平行光的位置处通过偏振滤波器114将摄影镜头111和112聚焦的光102分成两束不同的偏振光。该偏振滤波器114划分为左偏振装置141和右偏振装置142以便生成互相正交的线性方向上的偏振光或互相相反的旋转方向上的偏振光。生成的偏振光通过成像镜头115在成像元件170的表面上形成图像。后面将描述左偏振装置141和右偏振装置142的形状的示例。

左偏振片171或右偏振片172中的一个在对应于成像元件170的像素或像素组的区域中附着到成像元件170的表面。因此，左偏振片171或右偏振片172偏振的光输入到成像元件170的每个像素。因此，左偏振片171或右偏振片172在对应于成像元件170的像素或像素组的每个区域中透射偏振光之一。另外，左偏振片171和右偏振片172是权利要求中描述的透射单元的示例。后面将描述左偏振片171和右偏振片172的附着模式。

将由成像元件170光电转换的电信号提供给信号处理单元211和212。信号处理单元211在立体观看期间生成左眼图像。信号处理单元212在立体观看期间生成右眼图像。信号处理单元211和212是权利要求中描述的图像生成单元的示例。

偏振滤波器114的配置示例

图3是示出了根据本发明的所述实施例的偏振滤波器114的配置示例的图。该偏振滤波器114整体上具有盘的形状并且在中心直径位置处被划分为左偏振装置141和右偏振装置142。即，左偏振装置141和右偏振装置142是对称的。

左偏振装置141是针对当左眼观看对象时获得的图像进行偏振的滤波器。右偏振装置142是针对当右眼观看对象时获得的图像进行偏振的滤波器。通过左偏振装置141和右偏振装置142生成互相正交的线性方向上的偏振光或互相相反的旋转方向上的偏振光。

偏振片的附着模式示例

图4是示出了根据本发明的所述实施例的左偏振片171和右偏振片172的附着模式示例的图。在该示例中，在作为成像元件170的表面的平面上布置左偏振片171和右偏振片172以关于在水平方向上连续布置的像素组透射方向相同的偏振光。例如，考虑由1080像素×1920像素形成的高清晰度图像600，使用覆盖由2像素×1920像素形成的3840像素的矩形作为单位交替地布置在不同方向上进行偏振的偏振片。

左偏振片171具有与左偏振装置141相同方向的偏振特性并且仅透射左偏振装置141偏振的光。类似地，右偏振片172具有与右偏振装置142相同方向的偏振特性并且仅透射右偏振装置142偏振的光。因此，在成像元件170中，生成其中左偏振装置141偏振的光和右偏振装置142偏振的光在列方向上交替地重复的图像600。

基于生成的图像600，信号处理单元211和212将左偏振装置141偏振的光和右偏振装置142偏振的光分束。即，信号处理单元211生成仅由左偏振装置141偏振的光形成的图像610，而信号处理单元212生成仅由右偏振装置142偏振的光形成的图像620。

当在图一画面中示出时图像610和620处于齿缺失状态。信号处理单元211和212针对图像610和620进行解马赛克处理和插值处理，从而生成左眼图像630和右眼图像640。

图5是示出了根据本发明的所述实施例的左偏振片171和右偏振片172的附着模式与像素之间的关系的图。在该例中，关于由1080像素×1920像素形成的高清晰度图像，使用覆盖由2像素×1920像素形成的3840像素的矩形作为单位交替地布置进行不同方向上的偏振的偏振片。

该布置是在通过Bayer阵列在成像元件170中布置像素的假定下获得的并且考虑到使水平方向的扫描线处于同一偏振以及使RGB像素组处于同一偏振。即，考虑到画面亲和性，针对人的视觉特性使扫描线处于同一偏振是合理的。另外，2像素×2像素的块包括一个红色像素、一个蓝色像素和两个绿色像素，从而在解马赛克和插值处理时是方便的。

像素值的解马赛克示例

图6是示出了根据本发明的所述实施例的像素值的解马赛克示例的图。在此，示出了生成左眼图像的绿色像素值的示例。在一般的解马赛克处理中，通常使用相同颜色的相邻像素值的平均值。然而，在如本发明的实施例中每两行重复左眼图像和右眼图像的情况下，如果使用相邻值，则不能获得原始图像。在本发明的实施例中，进行所提及的像素值对应于左眼图像还是右眼图像的判断，然后进行解马赛克处理。

在Bayer布置中，在位置(4，2)处布置红色像素。此时，为了生成对应于位置(4，2)的绿色像素值g，进行通过下式表达的计算。

g_4，2＝(g_4，1+g_4，3+g_5，2+g_1，2×W₃)/(3.0+W₃)

其中，g_i，j表示位置(i，j)处的绿色像素值。另外，“3.0”对应于从目标像素g_4，2到相邻像素g_4，1、g_4，3、g_5，2的距离例如是“1.0”且其倒数是权重时的权重的总和。w₃表示由三个像素分离的像素值的权重且在这种情况下类似地具有值“1/3”。

如果一般化上式，则获得下式。

如果i是偶数(红色像素r的位置)，则：

g_i，j(g_i，j-1×W₁+g_i，j+1×W₁+g_i+1，j×W₁+g_i-3，j×W₃)/(W₁×3.0+W₃)

如果i是奇数(蓝色像素b的位置)，则：

g_i，j(g_i，j-1×W₁+g_i，j+1×W₁+g_i-1，j×W₁+g_i+3，j×W₃)/(W₁×3.0+W₃)

其中，w₁＝1.0，且w₃＝1/3。

可以通过相同的方法对其他红色像素r和蓝色像素b进行解马赛克处理。

通过解马赛克处理，RGB的像素值关于每个像素位置变得相等。在该步骤中，图4的图像610和620处于齿缺失状态。因此，针对不存在像素值的区域，可以通过插值生成像素值。作为插值方法，可以采用相邻值的平均值。该插值处理可以与解马赛克处理同时进行。

根据本发明的第一实施例，通过每两行附着到成像元件170的表面的偏振片171和172选择性地透射偏振滤波器114横向分束的光，从而生成左和右图像。

2.第二实施例

视频记录/播放系统的配置示例

图7是示出了根据本发明的实施例的视频记录/播放系统的配置示例的图。该视频记录/播放系统包括成像单元100、视频记录单元200、视频存储单元300、视频播放单元400和显示单元500。

成像单元100对应于上述成像装置，接收来自对象的入射光，并通过成像元件170生成处于齿缺失状态的左和右图像610和620。

视频记录单元200针对从成像单元100输出的左和右图像610和620进行解马赛克处理和插值处理并将左眼图像630和右眼图像640记录在视频存储单元300中。该视频记录单元200包括与左和右图像610和620相对应的信号处理单元211和212、图像存储器221和222以及编码单元231和232。信号处理单元211和212接收从成像单元100输出的左和右图像610和620并进行预定的信号处理。这些信号处理单元211和212对成像数据进行模数(A/D)转换并进行白平衡校正等。信号处理单元211和212针对左和右图像610和620进行解马赛克处理和插值处理。图像存储器221和222是暂时存储信号处理单元211和212处理的图像数据的存储器。编码单元231和232对存储在图像存储器221和222中的图像数据进行编码并将编码的图像数据输出到视频存储单元300。

视频存储单元300存储从视频记录单元200输出的左和右图像数据(左眼图像630和右眼图像640)。从视频播放单元400读取存储在视频存储单元300中的图像数据。

视频播放单元400读取并播放存储在视频存储单元300中的图像数据。该视频播放单元400包括与左和右图像数据对应的解码单元411和412以及显示控制单元421和422。解码单元411和412对从视频存储单元300读取的左和右图像数据进行解码。显示控制单元421和422控制解码单元411和412解码的左和右图像数据以使其显示在显示单元500上。

显示单元500显示从视频播放单元400输出的左和右图像数据。作为显示单元500，例如，考虑如下模式：在两个投影器中安装圆偏振光或线偏振光滤波器以便提供左眼和右眼图像，以使得使用对应于显示器的圆偏振光或线偏振光眼镜观看图像。在具有附着其上的滤波器的平板显示中，可以同时提供左眼和右眼图像，且可以使用视差屏障系统或双凸透镜的无眼镜立体显示装置。在本发明的实施例中，不是交替地提供左和右图像，而是同时提供，从而减轻视觉疲劳。

在本发明的实施例中，从成像单元100中图像数据的生成到显示单元500中图像数据的显示，提供高帧速率以消除由于运动或急动而导致的模糊。除了在摄影时调制传递函数(MTF)的恶化，由于运动导致的模糊经常由于图像在视网膜上的滑动而出现，更具体地，当跟踪和观看在保持类型显示中移动的对象(跟踪观看)时出现。保持类型显示表示在帧时间段内图像连续地显示在膜、液晶投影器等上。急动表示失去了图像的平滑性且运动笨拙。急动经常出现在视线固定的状态下(固定观看)观看使用高速快门摄影的图像时。这种运动图像质量的下降取决于摄影和显示时的帧速率、摄像机摄影的光圈比(光圈时间/帧时间)、视觉特征等。

在电影中使用每秒24帧(24Hz)的帧速率，而在电视中一般使用每秒60场(60Hz)的帧速率。在本发明的实施例中，考虑到由于运动或急动而导致的模糊，一般以每秒60(60Hz)或更多帧的速率且优选地以230至250帧(240Hz±10Hz)的速率从电信号生成拍摄的图像。因此，关于时间解决了分辨率的不足。

根据本发明的第二实施例，由于通过以两行间隔附着到成像元件170的表面的偏振片171和172选择性地透射的左眼和右眼图像进行了解马赛克和插值处理，因此可以高质量播放和显示立体图像。

3.修改示例

偏振片的另一个附着模式示例

图8是示出了根据本发明的实施例的左偏振片171和右偏振片172的另一个附着模式示例的图。在该例中，左偏振片173和右偏振片174布置在作为成像元件170的表面的平面上，以关于四边形形状(块形状)布置的像素组透射相同方向的偏振光。例如，使用由2像素×2像素组成的4像素块作为单位交替地布置用于在不同方向进行偏振的偏振片。

左偏振片173具有与左偏振装置141相同方向的偏振特性，且仅透射左偏振装置141偏振的光。相似地，右偏振片174具有与右偏振装置142相同方向的偏振特性且仅透射右偏振装置142偏振的光。因此，在成像元件170中，生成其中左偏振装置141偏振的光和右偏振装置142偏振的光在列方向上交替重复的图像601。

基于生成的图像601，信号处理单元211和212划分左偏振装置141偏振的光和右偏振装置142偏振的光。即，信号处理单元211生成仅由左偏振装置141偏振的光组成的图像611，且信号处理单元212生成仅由右偏振装置142偏振的光组成的图像621。

如同一图中所示，图像611和621处于齿缺失状态。信号处理单元211和212分别针对图像611和621进行解马赛克处理和插值处理，并生成左眼图像631和右眼图像641。可以与上述示例类似地基于相同左眼和右眼图像的其他像素值适当地进行该修改示例的解马赛克处理和插值处理。

本发明的实施例是用于实现本发明的示例，如本发明的实施例中所限定，本发明的实施例的事项对应于权利要求的具体事项。类似地，权利要求的具体事项对应于被赋予相同名称的本发明的实施例的事项。本发明不限于这些实施例，并且可以通过在不背离本发明的范围的情况下对实施例进行各种修改来实现。

可以将本发明的实施例中所描述的步骤视为具有一系列步骤的方法且可以将其视为用于在计算机或存储程序的记录介质上执行一系列步骤的程序。作为该记录介质，例如可以使用压缩盘(CD)、迷你盘(MD)、数字多功能盘(DVD)、存储卡、蓝光盘(注册商标)等。

本申请包含与2009年8月6日提交于日本专利局的日本在先专利申请JP 2009-182972中公开的主题相关的主题，该日本在先专利申请JP2009-182972的全部内容通过引用合并于此。

本领域的技术人员应该理解，根据设计要求和其他因素可以进行各种修改、组合、子组合和改变，只要这些修改、组合、子组合和改变在所附权利要求或其等价内容的范围内。

Claims

1.一种成像装置，包括：

摄影镜头，被配置为聚焦来自对象的光；

分束器，被配置为在从所述对象的一个点漫射的光变为平行光的区域中将所聚焦的光分束成左和右，从而分别形成不同的偏振光；

成像镜头，被配置为分别对所分束的不同的偏振光成像；

透射单元，被配置为在相同平面上接收成像的不同的偏振光，从而在所述平面的每个区域中透射所述偏振光的任何一束；

成像元件，被配置为将所述平面上透射的光转换成根据电信号的图像；以及

图像生成单元，被配置为提取并对每个区域中转换的图像插值，从而生成两个不同的图像。

2.根据权利要求1所述的成像装置，其中所述透射单元是附着到所述成像元件的前表面的偏振构件，并且在对应于所述成像元件的像素或像素组的每个区域中透射所述偏振光的任何一束。

3.根据权利要求2所述的成像装置，其中所述像素组包括在水平方向上连续布置在所述平面上的像素组。

4.根据权利要求2所述的成像装置，其中所述像素组包括以四边形形状布置在所述平面上的像素组。

5.根据权利要求1所述的成像装置，其中所述分束器包括被配置为在相互正交的线性方向上偏振所述聚焦的光的对称偏振装置。

6.根据权利要求1所述的成像装置，其中所述分束器包括被配置为在互相相反的旋转方向上偏振所述聚焦的光的对称偏振装置。

7.一种视频记录/播放系统，包括：

摄影镜头，被配置为聚焦来自对象的光；

成像镜头，被配置为分别对所分束的不同的偏振光成像；

成像元件，被配置为将所述平面上透射的光转换成根据电信号的图像；

图像生成单元，被配置为提取并对每个区域中转换的图像插值从而生成两个不同的图像；

视频记录单元，被配置为将所生成的两个图像作为左和右视频数据的帧记录在存储单元中；以及

视频播放单元，被配置为同时播放和显示记录在所述存储单元中的所述左和右视频数据。