CN102572468A - 图像处理器、图像处理方法和摄像装置 - Google Patents

图像处理器、图像处理方法和摄像装置 Download PDF

Info

Publication number
CN102572468A
CN102572468A CN2011103295580A CN201110329558A CN102572468A CN 102572468 A CN102572468 A CN 102572468A CN 2011103295580 A CN2011103295580 A CN 2011103295580A CN 201110329558 A CN201110329558 A CN 201110329558A CN 102572468 A CN102572468 A CN 102572468A
Authority
CN
China
Prior art keywords
image
visual point
parallax
point image
shutter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103295580A
Other languages
English (en)
Inventor
田尻真一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102572468A publication Critical patent/CN102572468A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing

Abstract

本发明公开了图像处理器、图像处理方法和摄像装置。本发明提供了能够获得可以实现自然立体图像显示的视点图像的图像处理器。该图像处理器包括：视差校正部，根据图像平面上的位置对从各个彼此不同的视点拍摄的且均在图像平面中具有不均匀视差分布的多个视点图像中的每个的视差量进行校正。

Description

图像处理器、图像处理方法和摄像装置
技术领域
本技术涉及对例如用于立体视觉的左视点图像和右视点图像执行图像处理的图像处理器、图像处理方法和包括该图像处理器的摄像装置。
背景技术
已提出和开发出各种摄像装置。例如，已提出包括成像透镜以及可在其左区域和右区域的透射(打开)状态和遮蔽(关闭)状态之间进行切换的快门的照相机(摄像装置)(例如，参考日本专利No.1060618、日本未审查专利申请公开No.2002-34056以及日本未审查专利申请公开(公开的PCT申请日文译文)No.H9-505906)。在这些摄像装置中，当该快门的左区域和右区域以时分方式交替地打开和关闭时，可以获得诸如左视点和右视点的摄像图像的两种图像(左视点图像和右视点图像)。当利用预定技术将左视点图像和右视点图像呈现给人眼时，人可以感到这些图像的立体效果。
然而，上述摄像装置中的大多数旨在拍摄静止图像。也提出了拍摄运动图像的摄像装置(例如，日本未审查专利申请公开No.H10-271534和2000-137203)，这些摄像装置使用执行帧顺序光检测驱动的所谓的全局快门型CCD(电荷耦合器件)作为图像传感器。
发明内容
然而，近年来，CMOS(互补金属氧化半导体)传感器已成为主流，与CCD相比，其成本较低、功耗较少且处理速度较高。与上述CCD不同，CMOS传感器是所谓的卷帘式快门型图像传感器，其执行行顺序光检测驱动。上述CCD每次在每个帧中捕捉全屏，而该CMOS传感器以行顺序方式执行，例如，从图像传感器上部至其下部的曝光或信号读取，从而导致不同行的曝光时间、读取时间等存在时间差。
因此，当CMOS传感器用在拍摄图像同时通过上述快门执行光路切换的摄像装置中时，一个帧中所有行的曝光时间和该快门的每个区域的打开周期之间存在时间差。结果，无法从多个视点获得高精密度的图像。例如，在为立体视觉获得两个视点图像(即，左视点图像和右视点图像)的情况下，来自左侧和右侧的透射光线在每个视点图像中心周围混合，因此，在观察者趋向于注视的画面中心周围没有出现水平视差(没有获得立体效果)。
因此，考虑例如通过控制快门的切换时序、曝光时间等从而阻止来自不同视点的光线混合在一个画面上来拍摄图像。然而，在这种技术中，虽然在例如画面中心部分中获得期望的视差，但在该画面上边缘和下边缘处减小(或消除)视差从而导致画面上的视差不均匀。当利用具有该不均匀视差分布的视点图像执行立体显示时，显示图像可能变得不自然。
期望提供能够获得可以实现自然立体图像显示的视点图像的图像处理器和图像处理方法以及摄像装置。
根据本技术的实施方式，提供了一种图像处理器，包括：视差校正部，根据图像平面上的位置对从各个彼此不同视点拍摄的且均在图像平面中具有不均匀视差分布的多个视点图像中的每个的视差量进行校正。
根据本技术的实施方式，提供了一种图像处理方法，包括：根据图像平面上的位置对从各个彼此不同视点拍摄的且均在图像平面中具有不均匀视差分布的多个视点图像中的每个的视差量进行校正。
在根据本技术实施方式的图像处理器和图像处理方法中，该视差校正部根据图像平面上的位置对从各个彼此不同视点拍摄的且均在图像平面中具有不均匀视差分布的多个视点图像中的每个的视差量进行校正。因此，在每个视点图像中，视差分布的不均匀性降低。
根据本技术的实施方式，提供了一种摄像装置，包括：成像透镜；快门，使得在多个光路中的每个光路的透射状态和遮蔽状态之间切换；摄像器件，检测已通过各个光路的光线，从而输出均对应于从各个彼此不同视点拍摄的多个视点图像的摄像数据；控制部，对快门中光路的透射状态和遮蔽状态之间的切换进行控制；以及图像处理部，对多个视点图像执行图像处理。该图像处理部包括根据图像平面上的位置对多个视点图像中的每个的视差量进行校正的视差校正部。
在根据本技术实施方式的摄像装置中，当快门在光路的透射状态和遮蔽状态之间切换时，摄像器件检测已通过各个光路的光线，从而输出均对应于多个视点图像的摄像数据。在这种情况下，因为摄像器件以行顺序方式操作，所以不同行的光检测周期之间存在时间差；然而，在每个摄像帧中在摄像器件的操作时间(operation timing)进行各光路的透射状态和遮蔽状态之间的切换，该操作时间被从各个所述摄像帧中的第一行曝光的开始时间(start timing)延迟预定时间长度(predetermined time length)，从而获得来自不同视点的光线没有混合的视点图像。在以该方式获得的视点图像中，图像平面中的视差分布是不均匀的；然而，根据图像平面上的位置校正视差量以降低不均匀性。
在根据本技术实施方式的图像处理器、图像处理方法和摄像装置中，视差校正部根据图像平面上的位置对从各个彼此不同视点拍摄的且均在图像平面中具有不均匀视差分布的多个视点图像中的每个的视差量进行校正；因此使得每个视点图像中视差的不均匀性降低。因此，可以获得能够实现自然立体图像显示的视点图像。
应当理解，前面的一般描述和下面的详细描述都是示例性的，旨在进一步说明所保护的技术。
附图说明
包括附图以提供对本发明的进一步理解，附图并入说明书并构成说明书的一部分。这些附图示出实施方式并与说明书一起用于说明本技术的原理。
图1示出根据本技术实施方式的摄像装置的总体构造。
图2A和2B是图1所示的快门的示意性平面图。
图3是图1所示的快门的示意性截面图。
图4是示出图1所示的快门的响应特性的实例的示图。
图5是示出图1所示的图像处理部的构造实例的功能框图。
图6是用于说明在拍摄2D图像(没有切换光路)的情况下的检测的光图像的示意图。
图7是用于说明在图1所示的摄像装置中获得左视点图像的原理的示意图。
图8是用于说明在图1所示的摄像装置中获得右视点图像的原理的示意图。
图9是用于说明使用图1所示的摄像装置获得的左视点图像和右视点图像之间的视差的示意图。
图10是示出根据比较例1的图像传感器(CCD)的驱动时间和快门的打开/关闭时间之间的关系的示意图。
图11是示出根据比较例2的图像传感器(CMOS)的驱动时间和快门的打开/关闭时间之间的关系的示意图。
图12A和12B是分别通过图11所示的时间控制获得的左视点图像和右视点图像的示意图。
图13是示出图1所示的图像传感器的驱动时间和图1所示的快门的打开/关闭时间之间的关系的示意图。
图14是通过图13所示的时间控制获得的视点图像的示意图，其中部分(A)、(B)和(C)分别示出左视点图像、右视点图像和水平视差分布。
图15是用于说明视差校正处理(视差增大(视差增强))的示意图。
图16是示出视差校正处理(视差增大(视差增强))的实例的示意图。
图17是示出在视差校正处理之前的图像中的视差量和立体效果之间的关系的示意图。
图18是示出在视差校正处理后的图像中的视差量和立体效果之间的关系的示意图。
图19是示出根据变形例1的图像处理部的构造实例的功能框图。
图20是用于说明根据变形例1的视差校正处理的优点的示意图。
图21是示出根据变形例2的图像传感器的驱动时间和快门的打开/关闭时间之间的关系的示意图。
图22A至图22C是通过图21所示的时间控制获得的视点图像的示意图，其中图22A、22B和22C分别示出左视点图像、右视点图像和水平视差分布。
图23是示出对图22A至图22C所示的视点图像的视差校正处理的实例的示意图。
图24是用于说明根据变形例3的视差校正处理(视差减小(视差抑制))的示意图。
图25是根据变形例4的摄像装置的总体构造。
具体实施方式
下面将参考附图详细说明本技术的优选实施方式。将按下列顺序给出说明。
1.实施方式(图像处理实例，其中利用差异图对视差量随着画面位置变化的视点图像执行视差校正)
2.变形例1(在根据空间频率执行视差校正的情况下的实例)
3.变形例2(对其他视点图像进行视差校正的实例)
4.变形例3(在减小视差量的情况下的实例)
5.变形例4(双目摄像装置的实例)
(实施方式)
[摄像装置1的构造]
图1示出根据本技术实施方式的摄像装置(摄像装置1)的总体构造。摄像装置1从多个彼此不同的视点拍摄物体的图像，从而以时分方式交替地获得多个视点图像(本文中，两个视点图像，即，左视点图像和右视点图像)作为运动图像(或静止图像)。摄像装置1是所谓的单目式摄像机，并可以通过快门控制执行左光路和右光路的切换。摄像装置1包括成像透镜10a和10b、快门11、图像传感器12、图像处理部13、透镜驱动部14、快门驱动部15、图像传感器驱动部16和控制部17。应注意，图像处理部13相当于本技术的图像处理器。然而，本技术的图像处理方法是通过图像处理部13的构造和操作来实现，将不加以描述。
成像透镜10a和10b均由从物体捕捉光线的透镜组构成，快门11设置在成像透镜10a和10b之间。应注意，快门11的位置没有特别限制；然而，理想地，快门11优选设置在成像透镜10a和10b的瞳面上或光圈位置(未示出)。成像透镜10a和10b用作例如所谓的变焦透镜，并可以通过由透镜驱动部14调节透镜间隔等来改变焦距。应注意，成像透镜10a和10b均不限于该可变焦点透镜，也可以是固定焦点透镜。
(快门11的构造)
快门11被分割成两个区域，即，左区域和右区域，并可以单独地改变该区域的透射(打开)/遮蔽(关闭)状态。快门11可以是能够以这种方式改变该区域状态的任何快门，例如，机械快门或诸如液晶快门的电快门。下面将更详细地描述快门11的构造。
图2A和图2B示出快门11的平面构造的实例。快门11具有两个区域(沿着水平方向)，即，左区域和右区域(SL和SR)，快门11被控制以执行在区域SL打开(区域SR关闭)(参考图2A)的状态和区域SR打开(区域SL关闭)(参考图2B)的状态之间交替切换。下面将以液晶快门作为实例描述该快门11的具体构造。图3示出作为液晶快门的快门11的区域SL和SR的边界周围的截面构造。
通过密封由玻璃等制成的基板101和106之间的液晶层104，并将偏振器107A贴合在基板101的光入射侧，将分析器107B贴合在基板106的光发射侧来构造快门11。电极形成在基板101和液晶层104之间，并且该电极被分割成多个(本文中，对应于区域SL和SR的两个)子电极102A。这两个子电极102A可以单独供给电压。区域SL和SR的共用电极105设置在面向该基板101的基板106上。应注意，基板106上的电极通常但不限定为区域SL和SR的共用电极，并可以被分割成对应于该区域的子电极。定向膜(alignment film)103A和定向膜103B分别形成在子电极102A和液晶层104之间以及电极105和液晶层104之间。
子电极102A和电极105是由例如ITO(铟锡氧化物)制成的透明电极。偏振器107A和分析器107B均使预定的偏振光选择性地从其中透过，并以例如交叉尼科尔(cross-nicol)或平行尼科尔(parallel-nicol)状态配置。液晶层104包括多种显示模式(诸如STN(超扭曲向列型)、TN(扭曲向列型)和OCB(光学补偿弯曲型))之一的液晶。本文优选使用的液晶是当使快门11从关闭状态变换成打开状态(施加的电压由低变高)时的响应特性基本上等同于当使快门11从打开状态变换成关闭状态(施加的电压由高变低)时的响应特性(波形是对称的)的液晶。然而，本文理想地使用的液晶是示出以下特性的液晶，其中从一种状态变换成另一种状态时的响应极其迅速，例如，如图4所示，透射率从关闭状态到打开状态垂直升高(F1)并从打开状态到关闭状态垂直下降(F2)。示出该响应特性的液晶的实例包括FLC(铁电液晶)。
在具有该构造的快门11中，当通过子电极102A和电极105将电压施加至液晶层104时，偏振器107A到分析器107B的透射率可以根据施加电压的大小而变化。换言之，当使用液晶快门作为快门11时，快门11中打开状态和关闭状态之间的切换可以通过电压控制来执行。此外，当将用于施加电压的电极分割成可被单独驱动的两个子电极102A时，可以使区域SL和SR的透射状态和遮蔽状态交替变化。
图像传感器12是光电转换元件，其基于已通过成像透镜10a和10b以及快门11中预定区域的光线输出光检测信号。图像传感器12是包括例如以矩阵形式设置的多个光电二极管(光检测像素)并以行顺序方式执行曝光和信号读取的卷帘式快门型(行顺序驱动型)摄像器件(例如，CMOS传感器)。注意，以预定颜色顺序布置的R、G和B滤色器(未示出)可以设置在图像传感器12的光检测表面上。
(图像处理部13的构造)
图像处理部13基于由图像传感器12提供的摄像数据对摄像图像(左视点图像和右视点图像)执行预定的图像处理，并包括存储图像处理之前或之后的摄像数据的存储器(未示出)。图像处理后的图像数据可以不存储，可以输出至外部的显示器等。
图5示出图像处理部13的具体构造。图像处理部13包括视差校正部131和差异图生成部133(深度信息获得部)，图像校正部130和132分别设置在视差校正部131的前一级和后一级中。视差校正部131改变和控制基于图像传感器12提供的摄像数据(左视点图像D0L和右视点图像D0R)的图像(左视点图像L1和右视点图像R1)之间的视差量。
视差校正部131对所提供的左视点图像和所提供的右视点图像之间的视差量进行校正。更具体地，根据图像平面上的位置对在图像平面中具有不均匀视差分布的多个视点图像的视差量进行校正以降低视差量的不均匀性。此外在该实施方式中，视差校正部131基于差异图生成部133提供的差异图执行上述校正。利用差异图，执行适于使物体的图像出现在画面平面前侧或里侧的立体效果的视差校正。换言之，可以校正视差量，从而使位于背面(远离观察者的侧)的物体的图像出现在距离观察者较远处，并使得位于正面(靠近观察者的侧)的物体的图像出现在距离观察者较近处(使视差引起的立体效果进一步增强)。
差异图生成部133通过例如立体匹配法基于摄像数据(左视点图像数据D0L和右视点图像数据D0R)生成所谓的差异图(深度信息)。更具体地，确定左视点图像和右视点图像之间各个像素的差异(相位差、相移)以生成其中所确定的差异被分配给各个像素的图。作为差异图，可以确定各个像素的差异，并可以存储分配给各个像素的差异，然而，可以确定均由预定数目的像素构成的各个像素块的差异，并可以存储分配给各个像素块的差异。差异图生成部133中生成的差异图作为图像数据DD提供给视差校正部131。
应该注意，本说明书中的“视差量”表示左视点图像和右视点图像之间在水平画面方向的位移量(相移量)。
图像校正部130执行诸如降噪过程或去马赛克(demosaic)处理的校正处理，图像校正部132执行诸如γ校正处理的校正处理。
透镜驱动部14是使成像透镜10a和10b中预定透镜沿着光轴移动从以改变焦距的致动器。
响应于控制部17的时间控制，快门驱动部15单独地驱动快门11中的左区域和右区域(SL和SR)打开或关闭。更具体地，在SL区域处在打开状态时，快门驱动部15驱动快门11从而使区域SR变成关闭状态，反之亦然。当拍摄运动图像时，快门驱动部15驱动快门11以时分方式交替地改变区域SL和SR的打开/关闭状态。快门11中左区域SL和右区域SR中每个的打开周期以1∶1对应于帧(帧L或帧R)，并且每个区域的打开周期和帧周期近似相等。
响应于控制部17的时间控制，图像传感器驱动部16对图像传感器12执行驱动控制。更具体地，图像传感器驱动部16驱动上述卷帘式快门型图像传感器12以行顺序方式执行曝光和信号读取。
控制部17以预定时间控制图像处理部13、透镜驱动部14、快门驱动部15和图像传感器驱动部16的操作，微处理器等用作控制部17。如将在稍后将详细描述，在该实施方式中，控制部17调整快门11的打开/关闭切换时间以使其从帧开始时间(第一行曝光开始时序)偏移预定的时间长度。
[摄像装置1的作用和效果]
(基本操作)
在上述摄像装置1中，响应于控制部17的控制，透镜驱动部14驱动成像透镜10a和10b，快门驱动部15将快门11中左区域SL和右区域SR分别变成打开状态和关闭状态。然而，与这些操作同步，图像驱动部16驱动图像传感器12。因此，执行到左光路的切换，在图像传感器12中基于从左视点入射的光线获得左视点图像数据D0L。
接着，快门驱动部15使快门11中右区域和左区域分别变成打开状态和关闭状态，并且图像驱动部16驱动图像传感器12。因此，执行从左光路到右光路的切换，在图像传感器12中基于从右视点入射的光线获得右视点图像数据D0R。
然后，在图像传感器12中以时间序列获得多个帧(摄像帧)，并且上述快门11以与获得摄像帧(稍后描述的帧L和R)的时间序列同步的方式改变左区域和右区域的打开/关闭状态，从而沿着时序交替地获得与左视点图像和右视点图像对应的摄像数据，并将该摄像数据顺序地提供给图像处理部13。
在图像处理部13中，首先，图像校正部130对基于以上述方式获得的左视点图像数据D0L和右视点图像数据D0R摄取的图像执行诸如降噪处理或去马赛克处理的校正处理。图像校正处理后的图像数据D1提供给视差校正部131。然后，视差校正部131对基于图像数据D1的视点图像(左视点图像L1和右视点图像R1)执行稍后描述的视差校正处理以生成视点图像(左视点图像L2和右视点图像R2)，然后将该视点图像提供作为图像数据D2提供给图像校正部132。图像校正部132对基于图像数据D2的视点图像执行诸如γ校正处理的校正处理以生成与左视点图像和右视点图像相关的图像数据Dout。以该方式生成的图像数据Dout存储在图像处理部13中或提供给外部设备。
(2.获得视点图像的原理)
下面将参考图6至图8，描述利用单目照相机获得左视点图像和右视点图像的原理。图6至图8等价于从上面观察的摄像装置1的视图，然而，为了简化，除了成像透镜10a和10b、快门11和图像传感器12之外，没有示出其它组件，而且简化了成像透镜10a和10b。
首先，如图6所示，下面将描述在没有执行左光路和右光路的切换的情况下(通常的2D摄像的情况下)检测到的光图像(出现在图像传感器12上的图像)。在本文中，以在深度方向上位于彼此不同的位置的三个物体作为实例。更具体地，该三个物体为位于成像透镜10a和10b的焦平面S1上的物体A(人)、位于物体A里侧(在距离成像透镜10a和10b较远的侧)的物体B(山)以及位于物体A前侧(在距离成像透镜10a和10b较近的侧)的物体C(花)。在该位置关系中，物体A的图像形成在例如传感器平面S2的中心周围。另一方面，位于焦平面S1里侧的物体B的图像形成在传感器平面S2的前侧(在距离成像透镜10a和10b较近的侧)，物体C的图像形成在传感器平面S2的里侧(在距离成像透镜10a和10b较远的侧)。换言之，聚焦在物体A上的图像(A0)和散焦在物体B和物体C上的图像(B0和C0)(模糊图像)出现在传感器平面S2上。
(左视点图像)
在执行左光路和右光路的切换情况下，以这种位置关系出现在传感器平面S2上的三个物体A至C的图像如下变化。例如，在快门驱动部15驱动快门11以使左区域SL和右区域SR分别变成打开状态和关闭状态的情况下，如图7所示，左光路通过快门11，而右光路被快门11遮蔽。在这种情况下，即使右光路被遮蔽，聚焦在位于焦平面S1上的物体A上的图像(A0)也形成在传感器平面S2上，与没有执行光路的切换的上述情况相同。然而，散焦在位于焦平面S1之外的物体B和C上的图像呈现为图像(B0’和C0’)，其中物体B和C分别向彼此相反的水平方向移动(移动方向d1和d2)。
(右视点图像)
另一方面，在快门驱动部15驱动快门1以使右区域SR和左区域SL分别变成打开状态和关闭状态的情况下，如图8所示，右光路通过快门11，而左光路被遮蔽。在这种情况下，聚焦在位于焦平面S1上的物体A上的图像形成在传感器平面S2上，而散焦在位于焦平面S1之外的物体B和C上的图像呈现为图像(B0’和C0’)，其中物体B和C分别向彼此相反的水平方向移动(移动方向d3和d4)。移动方向d3和d4分别与上述左视点图像中的移动方向d1和d2相反。
(左视点图像和右视点图像之间的视差)
如上所述，改变快门11中区域SL和SR的打开/关闭状态以执行切换对应于左视点和右视点的光路的切换，从而获得左视点图像L1和右视点图像R1。此外，如左视点图像和右视点图像中描述的散焦的物体图像在相反的水平方向移动，所以沿着水平方向的位移量(相位差)是引起立体效果的视差量。例如，如图9中的部分(A)和(B)所示，关于物体B，左视点图像L1中图像B0’的位置(B1L)和右视点图像R1中图像B0″的位置(B1R)之间在水平方向上的位移量Wb1是物体B的视差量。同样地，关于物体C，左视点图像L1中图像C0’的位置(C1L)和右视点图像R1中图像C0″的位置(C1R)之间在水平方向上的位移量WC1是物体C的视差量。
当利用诸如偏振系统、帧顺序系统或投影系统的3D显示方法显示左视点图像L1和右视点图像R1时，观察者可以感到例如所观察的图像的以下立体效果。在上述实例中，所观察的图像具有该立体效果，即，当没有视差的物体A(人)出现在显示屏(参考平面)上时，物体B(山)出现在该参考平面的里侧，而物体C(花)出现在该参考平面的前侧。
(3.快门11和图像传感器12的驱动时间)
接下来，下面将参考比较例(比较例1和2)详细描述快门11中的打开/关闭切换操作，以及图像传感器12中的曝光和信号读取。图10中的部分(A)和(B)示意性示出在比较例1中图像传感器(CCD)的曝光/读取时间和快门的打开/关闭切换时间。此外，图11中的部分(A)和(B)示意性示出在比较例2中图像传感器(CMOS)的曝光/读取时间和快门的打开/关闭切换时间。注意，在本说明书中，帧周期fr对应于相当于运动图像的帧周期的一半的周期(2fr＝运动图像的帧周期)。此外，图10和11中的部分(A)中的斜线阴影部分对应于曝光周期。应注意，虽然参考以运动图像为实例的情况进行描述，然而同样适用于拍摄静止图像的情况。
(比较例1)
在利用CCD作为图像传感器的比较例1中，画面是以帧顺序方式共同驱动的，因此，如图10中的部分(A)所示，不存在画面(摄像画面)曝光周期的时间差，并且信号读取(读入)与曝光同时执行。另一方面，执行左区域100L和右区域100R的打开状态和关闭状态的切换以在左视点图像的曝光周期内使左区域100L变成打开状态(同时使右区域100R变成关闭状态)，并在右视点图像的曝光周期内使右区域100R变成打开状态(同时使左区域100L变成关闭状态)(参考图10中的部分(B))。更具体地，以与曝光开始(帧周期开始)时间同步的方式执行左区域100L和右区域100R的打开状态和关闭状态的切换。然而，在比较例1中，左区域100L和右区域100R的打开周期均与帧周期fr相等，而且与曝光周期相等。
(比较例2)
在例如卷帘式快门型CMOS传感器用作图像传感器的情况下，与上述CCD不同，例如，从画面上部到其下部(沿着扫描方向S)以行顺序方式执行驱动。换言之，如图11的部分(A)所示，在画面中，不同行之间曝光开始时间或信号读取(读入)时间不同。因此，画面中不同位置处的曝光周期存在时间差。在使用这种CMOS传感器的情况下，当以与第一行曝光开始时间同步的方式执行快门中的打开状态和关闭状态的切换时(参考图11的部分(B))，在完成整个画面(所有行)曝光之前执行光路的切换。
结果，在左视点图像L100和右视点图像R100中，检测到通过彼此不同的光路的光线的混合，其引起所谓的水平串扰(horizontal crosstalk)。例如，在左视点图像L100的拍摄帧中，当左光路的通过光线的受光量从画面上部到其下部逐渐减少时，右光路的通过光线的受光量从画面上部到其下部逐渐增大。因此，例如，如图12A所示，在左视点图像L100中，上部区域D1主要基于来自左视点的光线形成，而下部区域D3主要基于来自右视点的光线形成，中心区域D2周围的视差量由于来自各个视点的光线混合而减小(由于串扰)。同样地，在右视点图像R100中，例如，如图12B所示，上部区域D1主要基于来自右视点的光线形成，而下部区域D3主要基于来自左视点的光线形成，中心区域D2周围的视差量由于串扰而减小。注意，图12中的颜色浓淡表示偏向于多个视点成分之一的偏向，并且颜色较深的区域中具有来自左视点和右视点之一的光线的受光量。
因此，在左视点图像和右视点图像以预定方法显示的情况下，减小(或消除)画面中心周围的视差量；因此无法显示立体图像(显示出类似于平面2D图像的图像)，而且在图像(画面)顶部和底部没有获得期望的立体效果。
因此，在该实施方式中，在帧(摄像帧)L和R中，快门11中打开状态和关闭状态之间的切换从图像传感器12中第一行曝光开始时间延迟了预定时间长度。更具体地，如图13中的部分(A)和(B)所示，快门11中区域SL和SR的打开状态和关闭状态之间的切换从第一行曝光开始时间t0延迟了1/2的曝光周期T。换言之，这等同于快门11中区域SL和SR的打开状态和关闭状态之间的切换以中心行曝光开始时间t1在扫描方向S执行的情况。因此，在帧L和R中，通过快门11的区域SL和SR的光线在画面的上部区域和下部区域中检测到，而从期望视点通过的光线主要在画面中心周围检测到。
更具体地，如图14中的部分(A)所示，在对应于帧L的左视点图像L1中，左视点的光线的受光量在画面中心周围最大，但向该画面的上边缘和下边缘逐渐减小。另一方面，右视点的光线的受光量在该画面中心周围最小，但向该画面的上边缘和下边缘逐渐增大。然而，如图14中的部分(B)所示，在对应于帧R的右视点图像R1中，右视点的光线的受光量在画面中心周围最大，但向该画面上边缘和下边缘逐渐减小。另一方面，左视点的光线的受光量在该画面中心周围最小，但向该画面的上边缘和下边缘逐渐增大。注意，图14中的部分(A)和(B)中的颜色浓淡表示视点成分之一的偏向，并且颜色较深的区域具有较大的左视点(或右视点)的光线的受光量。
因此，如图14中的部分(C)所示，左视点图像L1和右视点图像R1之间的视差量在画面中心周围最大，但向画面的上边缘和下边缘逐渐减小。注意，在这种情况下，当在画面上边缘和下边缘(最高线和最低线)处左视点和右视点的光线的受光量为1/2且彼此相等时，视差基本消除(形成平面图像)。然而，在该实施方式中，快门11中区域SL和SR的曝光周期T和打开周期与帧周期fr(例如，8.3ms)相等，并且快门11中打开状态和关闭状态之间的切换从第一行曝光开始时间延迟了T/2周期(例如，4.15ms)。
(4.视差校正处理)
与上述左视点图像L1和上述右视点图像R1的情况相同，对于在图像平面中具有不均匀视差分布的视点图像(在该实施方式中，视差量从中心到上边缘和下边缘逐渐减小)，立体效果在画面的中心部分及其上部和下部之间有所不同，而且有可能形成不自然的显示图像(观察者可能会感到图像的不舒服感)。因此，在该实施方式中，图像处理部13对具有不均匀视差分布的每个视点图像执行下面的视差校正处理。
更具体地，视差校正部131根据图像平面上的位置，对图像数据D1(左视点图像D1L和右视点图像D1R)执行视差校正。例如，在基于图像数据D1的左视点图像L1和右视点图像R1具有图15中的部分(A)所示视差分布(通过图13中的部分(A)和(B)所示时间控制获得的视差分布)的情况下，通过如图15中的部分(B)所示的随着图像平面中不同位置变化的校正量执行视差校正。更具体地，执行校正以使校正量从画面中心到上边缘和下边缘逐渐增大。换言之，调整校正量以使其在视差量较小的位置处较大，而在视差量较大的位置处较小。通过根据画面位置执行的该视差校正，可以在图像平面中生成具有如图15中的部分(C)所示的基本均匀的视差分布(降低了视差分布的不均匀性)的视点图像。然而，在该实施方式中，如稍后详细描述，增强(增大)视差量较小的位置处的视差量从而获得均匀的视差分布。然而，这种校正可以例如通过调整图像数据D1中每行数据的校正量来执行。
另一方面，差异图生成部133基于所提供的左视点图像数据D0L和所提供的右视点图像数据D0R生成差异图。更具体地，确定左视点图像和右视点图像之间各个像素的差异以生成存储分配给各个像素的所确定的差异的图。然而，作为差异图，如上所述，可以确定待存储的各个像素的差异；然而，可以确定均由预定数目的像素构成的各个像素块的差异，并可以存储分配给各个像素块的所确定的差异。差异图生成部133中生成的差异图作为图像数据DD提供给视差校正部131。
在该实施方式中，视差校正部131利用差异图执行上述视差校正。在这种情况下，根据图像平面上的位置通过水平移动图像位置(改变相移量)执行上述校正，然而，出现在前侧的物体图像和出现在里侧的物体图像在彼此相反的方向移动(如稍后详细描述)。换言之，需要根据每个物体图像的立体效果调整其移动方向。在该差异图中，存储了对应于分配给图像平面上每个位置的立体效果的深度信息，因此，可以利用这种差异图执行适于物体图像的每个立体效果的视差校正。更具体地，当控制视差量以使位于里侧(远离观察者的侧)的物体图像出现在距离观察者较远处，并使位于前侧(靠近观察者的侧)的物体图像出现在距离观察者较近处，可以执行上述校正。换言之，当增大具有不同立体效果的多个物体图像的视差量以增强各个立体效果时，可以在图像平面中获得均匀的视差分布。下面将描述该增大视差量的操作的实例。
(视差量的增大操作)
更具体地，如图16中的部分(A)和(B)所示，视差校正部131在水平方向(X方向)在左视点图像L1和右视点图像R1的每个中移动物体B位置，从而使视差量从Wb1增大到Wb2(Wb1＜Wb2)。另一方面，在水平方向在左视点图像L1和右视点图像R1的每个中移动物体C的图像位置，从而使视差量从Wc1增大到Wc2(Wc1＜Wc2)。
更具体地，将物体B在负(-)X方向(实线箭头所述)从左视点图像L1中的位置B1L移动到左视点图像L2中的位置B2L。另一方面，将物体B在正(+)X方向(虚线箭头所示)从右视点图像R1中的位置B1R移动到右视点图像R2中的B2R。因此，使物体B的视差量从Wb1增大到Wb2。另一方面，当将物体C在正(+)X方向(虚线箭头所示)从左视点图像L1中的位置C1L移动到左视点图像L2中的位置C2L时，将物体C在负(-)X方向(实线箭头所示)从右视点图像R1中的位置C1R移动到右视点图像R2中的位置C2R。因此，使物体C的视差量从Wc1增大到Wc2。应注意，没有视差的物体A的位置A1L和A1R没有变化(视差量保持为0)，并且设置在左视点图像L2和右视点图像R2中的相同位置处。
在图16中的上述部分(A)和(B)中示出的物体B和C的位置可以认为是物体B和C的某行数据上的点，并且在基于上述校正量分布对例如每行数据中的这些点位置执行视差增大处理时，当执行适于每个物体立体效果的视差控制(增强每个立体效果)时，图像平面中的视差分布被校正以达到基本均匀。
图17是用于说明分别对应于左视点图像数据D0L和右视点图像数据D0R的左视点图像L1和右视点图像R1中的视差量和立体效果之间的关系的示意图。在左视点图像L1和右视点图像R1之间物体B和物体C的视差量分别为Wb1和Wc1的情况下，在深度方向上物体A至C的图像的观察位置如下。物体A的图像在显示屏(参考平面)S3上的位置A1’观察到，物体B的图像在位于与物体A的里侧并与其相距距离Dab1的位置B1’观察到，物体C的图像在位于物体A的前侧并与其相距距离Dac1的位置C1’观察到。在这个实例中，在视差增大处理之前物体B和C的图像在距离范围D1内观察到，距离范围D1等于距离Dab1和Dac1的总和。
图18是用于说明视差增大处理后的左视点图像L2和右视点图像R2中视差量和立体效果之间的关系的示意图。在左视点图像L2和右视点图像R2之间物体B和物体C的视差量分别为Wb2和Wc2的情况下，在深度方向上物体A至C的图像的观察位置如下。物体A的图像在显示屏(参考平面)S3上的位置A2’(＝A1′)观察到，物体B的图像在位于位置A2’的里侧并与其相距距离Dab2(＞Dab1)的位置B2’观察到，物体C的图像在位于位置A2’的前侧并与其相距距离Dac2(＞Dac1)的位置C2’观察到。因此，当利用差异图增大各个物体的视差量时，物体B和C的图像在距离范围D2(＞距离范围D1)内观察到，距离范围D2等于距离Dab2和距离Dac2的总和。
因而，在该实施方式中，当通过快门11在各个光路的透射状态和遮蔽状态之间进行时，图像传感器12检测通过各个光路的光线以输出均对应于左视点图像和右视点图像的摄像数据。在这种情况下，在行顺序驱动型图像传感器12中，不同行之间的光检测周期存在时间差；然而，在每个摄像帧中，各个光路的透射状态和遮蔽状态之间的切换从第一行曝光开始时间延迟了预定时间长度，从而获得来自左视点和右视点的光线没有混合的视点图像。在以这种方式获得的视点图像中，图像平面中的视差分布是不均匀的(从中心区域到上边缘和下边缘视差减小)。图像处理部13根据图像平面上的位置对视差量进行校正，从而降低视差分布的不均匀性并获得基本均匀的视差分布。因此，可以获得能够实现自然立体图像显示的视点图像。
接下来，下面将描述根据上述实施方式的视差校正处理的变形例(变形例1至3)和根据上述实施方式的摄像装置的变形例(变形例4)。注意，与上述实施方式中相同的组件用相同的标号表示，并且不再进一步描述。
(变形例1)
图19示出根据变形例1的图像处理部(图像处理部13A)的构造实例。图像处理部13A对上述实施方式中利用成像透镜10a和10b、快门11以及图像传感器12获得的视点图像执行预定的图像处理(包括视差校正处理)。图像处理部13A包括图像校正部130、视差校正部131a、图像校正部132，和视差控制部133a。
在该变形例中，与上述实施方式中的图像处理部13不同，不包括视差图生成部133，并且视差校正部131a根据图像平面上的位置执行视差校正，而没有利用差异图(深度信息)。更具体地，在图像处理部13A中，与上述实施方式的情况相同，首先，图像校正部130对基于由图像传感器12提供的左视点图像数据D0L和右视点图像数据D0R摄取的图像执行预定的校正处理，从而向视差校正部131a提供该处理后的图像数据D1。另一方面，视差控制部133a利用预先存储的过滤系数对例如视点图像数据D0L和D0R的亮度信号执行微分处理，然后视差控制部133a对该亮度信号执行非线性变换，从而确定水平方向上的图像移动量(视差控制数据DK)。将所确定的视差控制数据DK提供给视差控制部131a。
视差校正部131a将对应于视差控制数据DK的图像移动量增加至基于图像数据D1的左视点图像L1和右视点图像R1上。此时，与上述实施方式的情况相同，根据图像平面上的位置执行视差校正。例如，在左视点图像L1和右视点图像R1具有图15中的部分(A)所示视差分布的情况下，在改变和控制视差量的同时，基于例如图15中的部分(B)所示分布增强上述图像移动量以使图像平面中的视差分布达到基本均匀。在将该视差校正处理后的左视点图像L2和右视点图像R2作为图像数据D2提供给图像校正部132之后，图像校正部132对左视点图像L2和右视点图像R2执行预定的校正处理，然后左视点图像L2和右视点图像R2作为图像数据Dout被存储，或提供给外部设备。在变形例中，可以利用根据视点图像中的空间频率控制视差量的技术执行视差校正。
然而，在该变形例中的视差校正处理中，图像移动方向限于一个水平方向。换言之，物体图像在显示平面的前向和后向中的一个方向移动。注意，物体图像在哪个水平方向移动可以通过上述视差控制部133a中使用的过滤系数设定。因此，在该变形例中，与利用差异图的上述实施方式不同，不论物体显示在前侧还是里侧，物体图像的显示位置都仅在后向和前向中的一个方向移动。在参考例如上述实例描述的情况下，位于里侧的物体B和位于前侧的物体C的显示位置都被控制以前向或后向移动。换言之，当物体B和C中一个的立体效果增强时，另一个的立体效果受到抑制。
此外，图像移动方向可以由用户选择或自动选择。然而，考虑到所谓的边框效应(frame effect)，优选在使图像向显示屏里侧移动时执行视差校正。换言之，在实际的立体显示中，左视点图像和右视点图像通过预定技术显示在显示器等上，在这种情况下，在待显示图像的上边缘和下边缘周围的立体效果容易受到显示边框的影响。更具体地，如图20所示，在图像显示在显示器200上的情况下，观察者的眼睛看到边框200a和所显示的图像。例如，与在上述实例中，在执行立体显示以使人A2出现在显示屏上并使山B2和花C2分别出现在显示屏的里侧和前侧的情况下，例如，在区域E2周围，对于花C2的距离感和对于边框200a的底部边框的距离感可能彼此不同从而在其间引起冲突。同样地，在区域E1周围，对于山B2的距离感和对于边框200a的顶部边框的距离感可能彼此相冲突。因此，所显示图像可能被拉向对应于边框200a的边框表面的平面(立体效果降低)从而引起不舒服的感觉。边框200a的这种影响容易影响到特别是以在显示有使图像出现在边框200a的前侧(距离观察者较近的侧)的立体效果的图像(在这种情况下中，花C2在区域E2中)的立体效果。因此，优选执行视差控制以抑制使图像出现在显示屏前侧的立体效果，即，使物体图像向后移动。
(变形例2)
图21中的部分(A)和部分(B)示意性示出根据变形例2的图像传感器(CMOS)的驱动时间和快门的打开/关闭时间。在该变形例中，与上述实例的情况相同，在行顺序驱动图像传感器12中，快门11中打开状态和关闭状态之间的切换从第一行曝光开始时间延迟了预定时间长度。此外，快门11中每个区域的打开周期相当于以1∶1对应于该区域的帧(帧L或帧R)，并且每个区域的打开周期和帧周期近似相等。然而，在该变形例中，在图像传感器12中，每行的曝光周期均减少(帧周期fr＞曝光周期T’)。此时，第一行曝光与帧周期fr的开始同步，开始在曝光周期T’内执行信号读取(信号读取时间提前了预定时间，而曝光开始时间没有变化)。
图像传感器12的曝光周期可以利用电子快门功能等来调节。在该情况下，帧周期fr(＝快门11的打开周期(关闭周期))为8.3ms，而曝光周期减少到曝光可能周期的60％(曝光周期T’＝8.3×0.6＝5ms)。然而，与上述实施方式的情况相同，快门11中打开状态和关闭状态之间的切换从第一行曝光开始时间延迟了相当于曝光周期T’的1/2的周期(2.5ms)。
因此，在每个帧L和R中均在画面上部区域和下部区域中检测到通过快门11中的区域SL和SR的光线混合；然而，来自期望视点的光线主要在其中心周围检测到。然而，在该变形例中，获得期望视点的光线的范围(沿着扫描方向S的范围)变宽。
更具体地，如图22中的部分(A)所示，在左视点图像L1中，来自左视点的光线的受光量在画面中心周围最大，但向该画面的下边缘和上边缘逐渐减小。另一方面，来自右视点的光线在该画面中心周围没有检测到，仅在该画面的上边缘和下边缘周围检测到。然而，如图22中的部分(B)所示，在右视点图像R1中，右视点的光线的受光量在画面中心周围最大，但向画面的上边缘和下边缘逐渐减小。另一方面，左视点中的光线在该画面周围没有检测到，仅在该画面的上边缘和下边缘周围检测到。应注意，图22中的部分(A)和(B)中的颜色浓淡表示各视点成分之一的偏向，并且颜色较深的区域具有较大的左视点(或右视点)的光线的受光量。因此，如图22中的部分(C)所示，左视点图像L1和右视点图像R1之间的视差量具有以下视差分布，其中视差量在从画面中心至画面上边缘和下边缘附近的较大范围内增大，但从该画面上边缘和下边缘附近至上边缘和下边缘逐渐减小。应注意，在画面上边缘和下边缘(最高线和最低线)处左视点和右视点的光线的受光量为1/2且彼此相等，因此，视差量为0(零)。
如在该变形例中，视点图像的视差分布不限于上述实施方式中的视差分布。对于在图像平面中具有不均匀视差分布的视点图像，可以基于根据该视差分布确定的校正量分布执行视差校正。例如，当基于图23中的部分(B)所示校正量分布，对具有图23中的部分(A)所示的视差分布的视点图像执行视差校正处理时，可获得具有图23中的部分(C)所示均匀视差分布的视点图像。
(变形例3)
在上述实施方式中，虽然增大(增强)视差量的操作被描述为视差控制操作的实例，然而在视差校正中，可以改变和控制视差量以使减小(抑制)视差量。换言之，例如，在参考如图15中的部分(A)所示的上述视差分布的实例进行说明的情况下，增强了画面上边缘和下边缘的视差量，但也可以抑制画面中心处的视差量以使整个画面的视差分布达到基本均匀。图24中的部分(A)和(B)示出用于说明视差减小处理的示意图。因此，在左视点图像L1和右视点图像R1中，物体B和C的位置沿着水平方向(X方向)移动以减小物体B和C的视差量。
更具体地，物体B在正(+)X方向(虚线箭头所示)从左视点图像L1中的位置B1L移动到左视点图像L2中的位置B2L。另一方面，物体B在负(-)X方向(实线箭头所示)从右视点图像R1中的位置B1R移动到右视点图像R2中的B2R。因此，使物体B的视差量从Wb1减小到Wb3(Wb1＞Wb3)。另一方面，以类似方式减小物体C的视差量。然而，物体C在负(-)X方向(实线箭头所示)从左视点图像L1中的位置C1L移动到左视点图像L2中的C2L。另一方面，物体C在正(+)X方向(虚线箭头所示)从右视点图像R1中的位置C1R移动到右视点图像R2中的位置C2R。
因此，在视差校正处理中，视差量是可控制的，不仅可以增大，而且可以减小。
(变形例4)
[摄像装置2的总体构造]
图25示出根据变形例4的摄像装置(摄像装置2)的总体构造。与根据上述实施方式的摄像装置1的情况相同，摄像装置2从左视点和右视点拍摄物体的图像以获得作为运动图像(或静止图像)的左视点图像和右视点图像。然而，根据该变形例的摄像装置2是在光路上具有从左视点和右视点捕捉光线LL和LR的成像透镜10a1和10b及成像透镜10a2和10b的所谓双目照相机，并在各个光路上包括快门11a和11b。成像透镜10b是用于各个光路的共用组件。此外，作为用于各个光路的共用组件，与根据上述实施方式的摄像装置1的情况相同，摄像装置2包括图像传感器12、图像处理部13、透镜驱动部18、快门驱动部19、图像传感器驱动部16和控制部17。
成像透镜10a1和10b君有从左视点捕捉光线LL的透镜组构成，成像透镜10a2和10b均由从右视点捕捉光线LR的透镜组构成。快门11a设置在成像透镜10a1和10b之间，快门11b设置在成像透镜10a2和10b之间。应注意，快门11a和11b的位置没有特别限制，然而，理想地，快门11a和11b优选设置在成像透镜的瞳面上或光圈位置(未示出)。
成像透镜10a1和10b(成像透镜10a2和10b)整体上用作例如变焦透镜。成像透镜10a1和10b(成像透镜10a2和10b)可以通过由透镜驱动部14调节透镜间隔等来改变焦距。此外，透镜组的每个均由一个透镜或多个透镜构成。反光镜110、111和112分别设置在成像透镜10a1和快门11a之间、成像透镜10a2和快门11b之间以及快门11a和快门11b之间。这些反光镜110至112使光线LL和LR通过快门11a和11b，然后进入成像透镜10b。
快门11a和11b被提供用于在左光路和右光路的透射状态和遮蔽状态之间切换，并控制快门11a和11b的打开(光透射)状态和关闭(光遮蔽)状态之间的切换。快门11a和11b均可以为能够执行上述光路切换的任何快门，例如，机械快门或诸如液晶快门的电快门。
透镜驱动部18是使成像透镜10a1和10b(成像透镜10a2和10b)中预定透镜沿着光轴移动的致动器。
快门驱动部19执行快门11a和11b中每个的打开/关闭切换驱动。更具体地，当快门11a处在打开状态时，快门驱动部19驱动快门11b以使其变成关闭状态，反之亦然。然而，当获得作为运动图像的视点图像时，快门驱动部19驱动快门11a和11b以使它们以时分方式交替地变成打开状态和关闭状态。
[摄像装置2的作用和效果]
在上述摄像装置2中，响应于控制部17的控制，透镜驱动部18驱动成像透镜10a1和10b，快门驱动部19使快门11a和快门11b分别变成打开状态和关闭状态。此外，与这些操作同步，图像传感器驱动部16驱动图像传感器12以检测光。因此，执行到对应于左视点的左光路的切换，然后图像传感器12检测来自物体的入射光线的光线LL以获得左视点图像数据D0L。
然后，透镜驱动部18驱动成像透镜10a2和10b，快门驱动部19使快门11b和快门11a分别变成打开状态和关闭状态。此外，与这些操作同步，图像传感器驱动部16驱动图像传感器12以检测光。因此，执行到对应于右视点的右光路的切换，图像传感器12检测来自物体的入射光线的光线LR以获得右视点图像数据D0R。成像透镜10a1和10a2的上述交替切换以及快门11a和11b打开状态和关闭状态之间的上述交替切换以时分方式执行，从而沿着时间序列交替地获得与左视点图像和右视点图像对应的摄像数据，并将左视点图像和右视点图像的组合顺序地提供给图像处理部13。
此时，与上述实施方式的情况相同，在摄像帧中，快门11a和11b的打开状态和关闭状态之间的切换从图像传感器12中的第一行曝光开始延迟了预定时间长度。因此，与上述实施方式的情况相同，例如，可以生成具有如图14中的部分(C)和图15中的部分(A)所示的视差分布的视点图像。
然后，图像处理部13对基于如上所述获得的左视点图像数据D0L和右视点图像数据D0R的摄影图像执行预定的图像处理，包括上述实施方式中描述的视差校正处理，从而生成例如用于立体视觉的左视点图像和右视点图像。所生成的视点图像存储在图像处理部13中，或提供给外部设备。
如上所述，该技术可应用于通过分别为左光路和右光路设置成像透镜构成的双目照相机。
虽然参考实施方式和变形例描述了本技术，但本技术不限于此，并可以做出各种修改。例如，在上述实施方式等中，作为视差校正处理中的视差控制技术的实例，描述了利用通过立体匹配生成的差异图的技术，和根据空间频率移动图像的技术，但是本技术中的视差校正处理也可以利用不同于上述视差控制技术的技术来实现。
此外，在上述实施方式等中，通过切换两个光路，即，左光路和右光路对两个视点图像，即，左视点图像和右视点图像执行预定的图像处理的情况被描述为实例；然而，视点不局限于左视点和右视点(水平方向)，并可以为顶部视点和底部视点(垂直方向)。
此外，可以执行三个或更多个光路的切换以获得三个或更多个视点图像。在这种情况下，例如，与根据上述实施方式的摄像装置1的情况相同，该快门可以被分割成多个区域，或者与根据变形例4的摄像装置2的情况相同，多个快门可以分别设置在光路上。
另外，在上述实施方式等中，作为具有不均匀视差分布的视点图像，使用了利用CMOS传感器通过使快门打开/关闭切换时间延迟曝光周期的1/2的摄像装置拍摄的图像；然而，该快门的打开/关闭切换时间不具体限制于此。当要校正的视点图像在图像平面中具有不均匀视差分布时，本发明的目的是可实现的。
本申请包含2010年11月2日向日本专利局提交的日本在先专利申请JP 2010-246509中所公开的主题，其全部内容结合于此作为参考。
本领域的技术人员应当理解，根据设计需求和其他因素，可以进行各种修改、组合、子组合和变形，均应包含在所附权利要求或其等同物的范围之内。

Claims (9)

1.一种图像处理器，包括：
视差校正部，对从各个彼此不同的视点拍摄的且各自在图像平面中具有不均匀视差分布的多个视点图像中的每个视点图像，根据在所述图像平面上的位置校正视差量。
2.根据权利要求1所述的图像处理器，其中，
所述视差校正部对所述视差量进行校正以使所述图像平面中的视差分布达到基本均匀。
3.根据权利要求2所述的图像处理器，其中，
所述视点图像均具有所述视差量从所述图像平面的中央到边缘逐渐减小的视差分布，并且
所述视差校正部对所述视差量进行校正以使所述视差量从所述图像平面的中央到边缘逐渐增强。
4.根据权利要求1至3中任一项所述的图像处理器，其中，
当每个所述视点图像均包括多个物体图像时，所述视差校正部对每个所述物体图像的视差量进行校正。
5.根据权利要求4所述的图像处理器，还包括基于所述多个视点图像获得深度信息的深度信息获得部，
其中，所述视差校正部使用所述深度信息对所述视差量进行校正。
6.根据权利要求1至3中任一项所述的图像处理器，其中，
所述视差校正部对所述视差量进行校正以使由所述多个视点图像创建的立体图像向后移动。
7.一种图像处理方法，包括：
对从各个彼此不同的视点拍摄的且各自在图像平面中具有不均匀视差分布的多个视点图像中的每个视点图像，根据所述图像平面上的位置校正视差量。
8.一种摄像装置，包括：
成像透镜；
快门，允许在多个光路中的每个光路的透射状态和遮蔽状态之间切换；
摄像器件，检测已通过各个光路的光线，从而输出均对应于从各个彼此不同的视点拍摄的多个视点图像的摄像数据；
控制部，对所述快门中所述光路的透射状态和遮蔽状态之间的切换进行控制；以及
图像处理部，对所述多个视点图像执行图像处理，
其中，所述图像处理部包括根据图像平面上的位置对所述多个视点图像中的每个的视差量进行校正的视差校正部。
9.根据权利要求8所述的摄像装置，其中
所述摄像器件以行顺序方式操作，以及
所述控制部控制所述快门在所述摄像器件的操作时间在所述光路的透射状态和遮蔽状态之间进行切换，所述操作时间在每个摄像帧中从第一行曝光的开始时间延迟了预定时间长度。
CN2011103295580A 2010-11-02 2011-10-26 图像处理器、图像处理方法和摄像装置 Pending CN102572468A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-246509 2010-11-02
JP2010246509A JP5594067B2 (ja) 2010-11-02 2010-11-02 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
CN102572468A true CN102572468A (zh) 2012-07-11

Family

ID=45996270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103295580A Pending CN102572468A (zh) 2010-11-02 2011-10-26 图像处理器、图像处理方法和摄像装置

Country Status (3)

Country Link
US (1) US20120105597A1 (zh)
JP (1) JP5594067B2 (zh)
CN (1) CN102572468A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636743A (zh) * 2013-11-06 2015-05-20 北京三星通信技术研究有限公司 文字图像校正的方法和装置
CN105007405A (zh) * 2014-04-18 2015-10-28 佳能株式会社 图像处理方法、图像处理设备和摄像设备
CN105323574A (zh) * 2014-07-29 2016-02-10 三星电子株式会社 用于渲染图像的设备和方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5904281B2 (ja) * 2012-08-10 2016-04-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
US20140118505A1 (en) * 2012-10-26 2014-05-01 Reald Inc. Stereoscopic image capture
US9819926B2 (en) * 2013-11-26 2017-11-14 Conmed Corporation Stereoscopic (3D) camera system utilizing a monoscopic (2D) control unit
CN103957361B (zh) * 2014-03-06 2017-07-14 浙江宇视科技有限公司 一种监控相机的曝光方法及其装置
JP2015207802A (ja) * 2014-04-17 2015-11-19 ソニー株式会社 画像処理装置および画像処理方法
KR102312273B1 (ko) 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
WO2016121172A1 (ja) * 2015-01-28 2016-08-04 ソニー株式会社 撮像装置、および、撮像装置の制御方法
WO2018066306A1 (ja) * 2016-10-04 2018-04-12 富士フイルム株式会社 撮像装置、静止画撮像方法、及び、静止画撮像プログラム
KR102414024B1 (ko) * 2017-04-04 2022-06-29 에스케이하이닉스 주식회사 광학필터를 구비하는 이미지 센서 및 그 동작방법
US10477064B2 (en) * 2017-08-21 2019-11-12 Gopro, Inc. Image stitching with electronic rolling shutter correction
US11729364B2 (en) 2019-09-18 2023-08-15 Gopro, Inc. Circular stitching of images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020008907A1 (en) * 2000-07-18 2002-01-24 Masao Yamamoto Stereoscopic image pickup apparatus and stereoscopic image pickup method
CN1918902A (zh) * 2004-12-16 2007-02-21 松下电器产业株式会社 复眼摄像装置
CN101651842A (zh) * 2008-08-12 2010-02-17 索尼株式会社 三维图像校正、显示和再生设备和方法及图像提供系统
CN101729918A (zh) * 2009-10-30 2010-06-09 无锡景象数字技术有限公司 一种实现双目立体图像校正和显示优化的方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027499A (ja) * 2000-07-03 2002-01-25 Canon Inc 撮像装置及びその制御方法
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP3749227B2 (ja) * 2002-03-27 2006-02-22 三洋電機株式会社 立体画像処理方法および装置
JP4179938B2 (ja) * 2003-02-05 2008-11-12 シャープ株式会社 立体画像生成装置、立体画像生成方法、立体画像生成プログラムおよび立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005033696A (ja) * 2003-07-11 2005-02-03 Nobuaki Hiromitsu ３次元表示装置
JP2005295004A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
JP4844305B2 (ja) * 2005-09-12 2011-12-28 日本ビクター株式会社 撮像装置
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP5327524B2 (ja) * 2009-02-27 2013-10-30 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US20110022804A1 (en) * 2009-07-24 2011-01-27 Arun Avanna Vijayakumar Method and system for improving availability of network file system service
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
JP5361618B2 (ja) * 2009-09-04 2013-12-04 キヤノン株式会社 画像処理装置及びその制御方法
US8472704B2 (en) * 2009-10-30 2013-06-25 Fujifilm Corporation Image processing apparatus and image processing method
JP5577772B2 (ja) * 2010-03-15 2014-08-27 ソニー株式会社 撮像装置
JP5556448B2 (ja) * 2010-07-01 2014-07-23 ソニー株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020008907A1 (en) * 2000-07-18 2002-01-24 Masao Yamamoto Stereoscopic image pickup apparatus and stereoscopic image pickup method
CN1918902A (zh) * 2004-12-16 2007-02-21 松下电器产业株式会社 复眼摄像装置
CN101651842A (zh) * 2008-08-12 2010-02-17 索尼株式会社 三维图像校正、显示和再生设备和方法及图像提供系统
CN101729918A (zh) * 2009-10-30 2010-06-09 无锡景象数字技术有限公司 一种实现双目立体图像校正和显示优化的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636743A (zh) * 2013-11-06 2015-05-20 北京三星通信技术研究有限公司 文字图像校正的方法和装置
CN104636743B (zh) * 2013-11-06 2021-09-03 北京三星通信技术研究有限公司 文字图像校正的方法和装置
CN105007405A (zh) * 2014-04-18 2015-10-28 佳能株式会社 图像处理方法、图像处理设备和摄像设备
US9894343B2 (en) 2014-04-18 2018-02-13 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
CN105323574A (zh) * 2014-07-29 2016-02-10 三星电子株式会社 用于渲染图像的设备和方法
US10721460B2 (en) 2014-07-29 2020-07-21 Samsung Electronics Co., Ltd. Apparatus and method for rendering image

Also Published As

Publication number Publication date
JP5594067B2 (ja) 2014-09-24
JP2012100101A (ja) 2012-05-24
US20120105597A1 (en) 2012-05-03

Similar Documents

Publication Publication Date Title
CN102572468A (zh) 图像处理器、图像处理方法和摄像装置
JP5577772B2 (ja) 撮像装置
JP5556448B2 (ja) 撮像装置
CN107407816B (zh) 具有时间复用的视觉显示器
JP5963002B2 (ja) マルチビュー無眼鏡立体映像表示装置とその最適視聴距離の制御方法
KR101937710B1 (ko) 입체영상 디스플레이장치 및 그 구동 방법
CN104345513B (zh) 一种阵列基板和液晶显示面板及其驱动方法
US8625981B2 (en) Imaging apparatus
CN102263967A (zh) 图像处理装置和方法、非暂时性有形介质、摄像装置
KR101752809B1 (ko) 입체 영상 표시 장치 및 그 구동 방법
JP2014512560A (ja) 多時点映像ディスプレイ装置
TWI420151B (zh) 顯示方法
TW200931065A (en) Three dimension liquid crystal display system and display method thereof
US10102811B2 (en) Method of displaying three-dimensional image and display apparatus using the same
CN104375343A (zh) 一种阵列基板和液晶显示面板及其驱动方法
WO2010078750A1 (zh) 一种立体摄像装置及方法
US20180217391A1 (en) 3D Display Device and Driving Method Thereof
US8847945B2 (en) Stereoscopic display device and display method thereof
CN102063007B (zh) 液晶眼镜、投影显示系统及其控制方法
CN1949028A (zh) 液晶屏立体光栅片及显示方法
CN110824724A (zh) 3d显示光学系统及装置
KR101758128B1 (ko) 초 다시점 입체영상 시청장치 및 이를 이용한 초 다시점 입체영상 디스플레이 방법
KR102135914B1 (ko) 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치
KR101812721B1 (ko) 입체영상 표시장치
JPH0613283U (ja) 立体画像表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120711