CN102860015A - 立体成像装置、图像再现装置和编辑软件 - Google Patents

立体成像装置、图像再现装置和编辑软件 Download PDF

Info

Publication number
CN102860015A
CN102860015A CN2010800659644A CN201080065964A CN102860015A CN 102860015 A CN102860015 A CN 102860015A CN 2010800659644 A CN2010800659644 A CN 2010800659644A CN 201080065964 A CN201080065964 A CN 201080065964A CN 102860015 A CN102860015 A CN 102860015A
Authority
CN
China
Prior art keywords
information
sequential
anaglyphs
image
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800659644A
Other languages
English (en)
Other versions
CN102860015B (zh
Inventor
林淳司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102860015A publication Critical patent/CN102860015A/zh
Application granted granted Critical
Publication of CN102860015B publication Critical patent/CN102860015B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Camera Data Copying Or Recording (AREA)

Abstract

本发明公开了一种立体图像捕获装置，其能够以高帧率对高清晰度3D活动视频进行拍摄和记录，并且能够执行诸如透镜畸变之类的像差的处理器密集型校正处理。所述立体图像捕获装置包括：多个图像捕获单元（20-1，20-2），其包括拍摄光学系统和对通过拍摄光学系统形成的目标图像分别进行光电转换的图像捕获元件；以及存储装置，其存储通过所述多个图像捕获单元（20-1，20-2）的每个光学系统的初始检验而获得的信息，该信息为第一信息和第二信息，所述第一信息表示各个拍摄光学系统的光轴的中心位置和裁剪尺寸，所述第二信息表示各个拍摄光学系统的像差。当对3D活动视频进行拍摄时，从图像捕获单元（20-1，20-2）获取的3D活动视频不经过基于所述第一信息和所述第二信息的处理器密集型校正处理，所述立体图像捕获装置将未校正的3D活动视频记录在存储卡上（步骤S28-1，S28-2），以及将所述第一信息和所述第二信息与该3D活动视频相关联并且将它们记录在存储卡上（步骤S30）。

Description

立体成像装置、图像再现装置和编辑软件
技术领域
本公开的主题涉及一种立体成像装置，尤其涉及一种用于对其间存在视差的多个视差图像进行成像的立体成像装置。
背景技术
PTL 1披露了一种立体成像装置，该立体成像装置装备有：第一透镜筒，其具有用于获取针对右眼的拍摄信息的CCD；第二透镜筒，其具有用于获取针对左眼的拍摄信息的CCD；照相机检测电路，其检测第一透镜筒和第二透镜筒各自的焦距；ROM，其由EEPROM等构成，其预先存储第一透镜筒和第二透镜筒各自光轴中心在各自焦距中的偏差量；以及CPU，其基于来自ROM的输出来控制各个焦距中左CCD和右CCD这一对CCD中的至少任一个中的图像裁剪区域。
PTL 2披露了这样一种图像处理器：即，针对立体照相机的透镜性质来设定基于透镜中心的用于坐标校正的近似公式，并且基于该近似公式，校正由照相机捕获的目标图像的投影坐标。
另一方面，PTL 3披露了这样一种图像处理器：即，利用多个成像装置进行高清晰度成像，将各成像装置的各个成像输出转换成数字图像，此后通过图像分割电路将各数字图像划分成多个图像区域，并且使各个图像区域并行地受到图像处理，从而即使在高清晰度图像的情况下也能以高的活动图像率来进行高速图像处理。
引文列表
专利文献
PTL 1：日本专利申请公布第H08-317424号
PTL 2：日本专利申请公布第2004-126905号
PTL 3：日本专利申请公布第2002-247593号
发明内容
技术问题
PTL 1披露了一种通过校正由于两个拍摄透镜之间的个体差异而引起的光轴偏差以由此改变图像裁剪区域来生成适于立体观看的左视点图像和右视点图像的技术，并且PTL 2披露了一种用于校正由于透镜畸变引起的图像失真的技术。
当拍摄静止图像时，在进行拍摄之后且写到存储卡上之前，可以进行用于校正由于两个拍摄透镜之间的个体差异而引起的光轴偏差的图像裁剪处理、或者用于校正由于透镜畸变引起的图像失真的处理。然而，当拍摄活动图像时，对存储卡的写入必须实时地进行。在拍摄活动图像时，当成像处理、图像处理和压缩处理集中进行时，难以使活动图像经过重负荷的透镜畸变校正处理，并且当高帧率拍摄并记录高清晰度（HD）活动图像时，尤其难以执行该处理。
PTL 3披露了一种能够以高活动图像率对高清晰度图像进行高速图像处理的图像处理器，但是PTL 3中所述的图像处理器并行地处理已经划分的各处理区域，因此具有复杂的电路构造从而变得造价高。另外，PTL 3中所述的图像处理为阴影校正，其既不是要求复杂计算的图像失真校正处理，甚至也不是用于三维（3D）活动图像的处理。
鉴于这些情形，提出了本公开的主题，并且其目的是提供：一种立体成像装置，其能够以高帧率拍摄和记录高清晰度3D图像，并且能够针对作为重负荷的透镜畸变的像差进行校正处理等；一种由立体成像装置拍摄的3D图像的图像再现装置；以及编辑软件。
问题的解决方案
为了实现上述目的，根据本公开主题的第一方面的立体成像装置包括：多个成像单元，每个成像单元均具有拍摄光学系统和成像装置，所述成像装置对通过所述拍摄光学系统聚焦的目标图像进行光电转换，所述多个成像单元成像相互之间具有视差的视差图像进行；存储单元，其存储第一信息和第二信息，所述第一信息表示每个拍摄光学系统的光轴的中心位置和裁剪尺寸、或者中心位于每个拍摄光学系统的光轴的中心位置的裁剪区域，所述第二信息表示每个拍摄光学系统的像差；成像控制单元，其使所述多个成像单元输出形成立体活动图像的多个时序视差图像；以及记录单元，当拍摄活动图像时，所述记录单元将从所述多个成像单元输出的所述多个时序视差图像记录在记录介质上，并且将从存储单元读出的所述第一信息和所述第二信息与所述多个视差图像相关联地记录在记录介质上。
所述第一信息是用于校正各个拍摄光学系统的光学中心的偏差量的信息，并且所述第一信息是通过在产品出厂之前检查所述多个成像单元的各个拍摄光学系统而获取的，并且为表示各个拍摄光学系统的光轴的中心位置和裁剪尺寸的信息，或者为表示以各个拍摄光学系统的光轴的中心位置为中心的裁剪区域的信息（例如，裁剪区域的对角的坐标位置）。另外，第二信息也是类似地通过在产品出厂之前检验所述多个成像单元的各个拍摄光学系统而获取的信息，并且为表示各个拍摄光学系统的诸如畸变的像差和色像差的像差的信息。所述这些第一信息和第二信息预先存储在诸如EEPROM的非易失性存储单元中。
根据第一方面所述的立体成像装置与被拍摄为活动图像（3D活动图像）的多个时序视差图像相关联地记录所述第一信息和所述第二信息，并且在拍摄活动图像期间不进行诸如透镜畸变校正的重负荷处理，使得能够以高帧率拍摄和记录高清晰度3D活动图像。
根据本公开主题的第二方面，在根据第一方面所述的立体成像装置中，所述第一信息是关于校正所述拍摄光学系统的像差之前的视差图像或已经校正了所述像差之后的视差图像的信息。也就是说，所述第一信息可以是假设为校正拍摄光学系统的像差之前的视差图像（包含像差的视差图像）的信息，或者可以是假设为校正了拍摄光学系统的像差之后的视差图像（不包含像差的视差图像）的信息。
根据本公开主题的第三方面，根据第一或第二方面所述的立体成像装置还包括视差量调节单元，所述视差量调节单元调节从所述多个成像单元输出的多个视差图像之间的视差量，其中所述记录单元将表示由所述视差量调节单元调节的视差量的第三信息与所述多个视差图像相关联地记录到所述记录介质上。所述第三信息是表示所述多个视差图像之间的横向偏差量的信息，并且为用于调节视差水平的信息。
根据本公开主题的第四方面，在根据第一至第三方面中的任一方面所述的立体成像装置中，所述拍摄光学系统为变焦透镜，所述存储单元存储针对所述变焦透镜的各个变焦位置的第一信息和第二信息，并且记录单元将如下信息与多个视差图像相关联地记录在记录介质上：存储在存储单元中的针对各个变焦位置的第一信息和第二信息以及表示当拍摄活动图像时所述变焦透镜的时序变焦位置的信息的所有信息，或者当拍摄活动图像时基于变焦透镜的变焦位置按时序从存储单元读出的第一信息和第二信息。
难以通过机械方式调节多个拍摄光学系统的光轴的中心的偏差，尤其是，在变焦透镜的全部变焦范围内调节光轴的中心的偏差受到限制。另外，所述多个拍摄光学系统的像差随着其变焦位置而变化。因此，所述存储单元预先针对变焦透镜的各个变焦位置存储第一信息和第二信息，并且，当拍摄活动图像时，与3D活动图像相关联地记录变焦透镜的各个变焦位置的第一信息和第二信息的全部信息以及表示所述变焦透镜的时序变焦位置的信息，或者，当拍摄活动图像时，与3D活动图像相关联地按时序记录基于变焦透镜的变焦位置从存储单元读出的第一信息和第二信息。
根据本公开主题的第五方面，根据第一方面、第二方面或第四方面所述的立体成像装置还包括：读出单元，其从所述记录介质中读出所述多个时序视差图像、以及所述第一信息和所述第二信息；图像处理单元，其基于读出的第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及输出单元，其将由所述图像处理单元创建的所述多个时序视差图像输出到所述立体成像装置中的立体显示单元或外部立体显示单元。
根据第五方面所述的立体成像装置在再现时从记录介质中读出所述多个时序视差图像以及所述第一信息和所述第二信息，基于所述第一信息从读出的所述多个时序视差图像中裁剪出用于立体显示的视差图像以校正所述多个视差图像的光轴的偏差，基于所述第二信息创建像差校正后的多个时序视差图像，并且将光轴偏差和像差已经校正了的多个时序视差图像（3D活动图像）输出到所述立体成像装置中的立体显示单元或外部立体显示单元。
应当注意的是，在再现活动图像时，不存在比活动图像拍摄处理或拍摄活动图像时的扩展处理需要更多时间的压缩记录处理，因此，在用于校正像差等的处理正在执行的同时，能够显示3D活动图像。
根据本公开主题的第六方面，根据第三方面所述的立体成像装置还包括：读出单元，其从所述记录介质中读出所述多个时序视差图像以及所述第一信息、所述第二信息和所述第三信息；图像处理单元，其基于读出的所述第一信息和所述第三信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及输出单元，其将由所述图像处理单元创建的所述多个时序视差图像输出到所述立体成像装置中的立体显示单元或外部立体显示单元。
根据第六方面所述的立体成像装置与根据第五方面所述的立体成像装置的不同之处在于，根据第六方面所述的立体成像装置基于所述第三信息来调节3D活动图像的视差量并且输出该3D活动图像。
根据本公开主题的第七方面，根据第三方面所述的立体成像装置还包括：读出单元，其从所述记录介质中读出所述多个时序视差图像以及所述第一信息、所述第二信息和所述第三信息；图像处理单元，其基于读出的所述第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及输出单元，其基于所述第三信息对由所述图像处理单元创建的所述多个时序视差图像进行移位，并且将经过移位的多个时序视差图像输出到所述立体成像装置中的立体显示单元或外部立体显示单元。
根据第七方面所述的立体成像装置与根据第六方面所述的立体成像装置的不同之处在于，根据第七方面所述的立体成像装置利用所述第三信息来对所述多个视差图像进行移位（利用所述第三信息作为偏调量）。
根据本公开主题的第八方面，根据第五至第七方面中的任一方面所述的立体成像装置，代替所述输出单元或者除了所述输出单元之外还包括：记录单元，其将由所述图像处理单元创建的所述多个时序视差图像记录在所述记录介质上。
也就是说，根据第八方面所述的立体成像装置将像差等已由所述图像处理单元校正了的经过处理的3D活动图像记录到所述记录介质上。此时，可以记录经过处理的3D活动图像，而不是未经处理的3D活动图像，或者可以将经过处理的3D活动图像与未经处理的3D活动图像单独进行记录。
根据本公开主题的第九方面的图像再现装置包括：读出单元，其从由根据第一、第二或第四方面所述的立体成像装置记录的所述记录介质中读出所述多个时序视差图像以及所述第一信息和所述第二信息；图像处理单元，其基于读出的所述第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及立体显示单元，其基于由所述图像处理单元生成的所述多个时序视差图像来显示立体活动图像。
根据本公开主题的第十方面的图像再现装置包括：读出单元，其从由根据第三方面所述的立体成像装置记录的所述记录介质中读出所述多个时序视差图像以及第一信息、第二信息和第三信息；图像处理单元，其基于读出的第一信息和第三信息来裁剪读出的多个时序视差图像以用于立体显示，并且基于读出的第二信息来创建像差校正后的多个时序视差图像；以及立体显示单元，其基于由所述图像处理单元创建的多个时序视差图像来显示立体活动图像。
根据本公开主题的第十一方面的图像再现装置包括：读出单元，其从由根据第三方面所述的立体成像装置记录的所述记录介质中读出所述多个时序视差图像以及所述第一信息、所述第二信息和所述第三信息；图像处理单元，其基于读出的所述第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及立体显示单元，其基于所述第三信息对由所述图像处理单元创建的所述多个时序视差图像进行移位，从而显示立体活动图像。
也就是说，根据第九、第十或第十一方面所述的图像再现装置从记录介质中读出尚未经过用于校正像差等的处理的未经处理的3D活动图像以及第一信息和第二信息或者与未经处理的3D活动图像相关联地记录的第一信息、第二信息和第三信息，并且对未经处理的3D活动图像进行校正并且将其输出到所述立体显示单元，以使光轴偏差、透镜畸变等已经校正了的3D活动图像能够再现。
根据本公开主题的第十二方面的编辑软件使计算机实现如下功能：读出功能，用于从由根据第一、第二或第四方面所述的立体成像装置记录的所述记录介质中读出所述多个时序视差图像以及所述第一信息和所述第二信息；图像处理功能，用于基于读出的所述第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及记录功能，用于将创建的所述多个时序视差图像记录到所述记录介质上。
根据本公开主题的第十三方面的编辑软件使计算机实现如下功能：读出功能，用于从由根据第三方面所述的立体成像装置记录的所述记录介质中读出所述多个时序视差图像以及所述第一信息、所述第二信息和所述第三信息；图像处理功能，用于基于读出的所述第一信息和所述第三信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及记录功能，用于将创建的所述多个时序视差图像记录到所述记录介质上。
根据本公开主题的第十四方面的编辑软件使计算机实现如下功能：读出功能，用于从由根据第三方面所述的立体成像装置记录的所述记录介质中读出所述多个时序视差图像以及所述第一信息、所述第二信息和所述第三信息；图像处理功能，用于基于读出的所述第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及输出功能，用于基于所述第三信息对由所述图像处理功能创建的所述多个时序视差图像进行移位，并且将经过移位的多个时序视差图像输出到所述立体成像装置中的立体显示单元或外部立体显示单元。
因此，当对3D活动图像进行再现时，不必执行用于校正光轴偏差、透镜畸变等的处理，能够简化再现处理，另外，由于不必实时地进行校正处理，所以即使在计算机不具有高性能时计算机也能够执行校正处理。
本发明的有益效果
根据本公开的主题，将尚未经过用于校正诸如透镜畸变等的像差的重负荷处理的3D活动图像记录在记录介质上，并且在将校正处理所需的信息与3D活动图像相关联的同时，将校正处理所需的信息记录到记录介质上。因此，当拍摄活动图像时，免除了重负荷校正处理，因此能够以高帧率拍摄和记录高清晰度3D活动图像。
另外，当对3D活动图像进行再现或转换时，基于未经处理的3D活动图像以及从记录介质中读出的与未经处理的3D活动图像相关联地记录的用于校正处理的信息来执行用于校正光轴偏差、透镜畸变等的处理。这使得可以再现或转换适于立体观看的高品质3D活动图像。
附图说明
图1A是示出根据本公开主题的立体成像装置的外观的视图（部分1）；
图1B是示出根据本公开主题的立体成像装置的外观的视图（部分2）；
图2是示出根据本公开主题的立体成像装置的实施例的框图；
图3是示出根据本公开主题的立体成像装置拍摄3D活动图像时的操作的流程图；
图4是示出由出厂前检查获得的照相机独有校正参数的示例的表；
图5是示出当变焦位置位于广角端时左右全视角图像和图像裁剪区域之间的关系的示图；
图6是示出当变焦位置已经移动至长焦端时左右全视角图像和图像裁剪区域之间的关系的示图；
图7是示出记录3D活动图像的记录文件的文件结构的示例的表；
图8是示出根据本公开主题的立体成像装置的对3D活动图像进行再现时的操作的流程图；
图9A是示出用于校正左右拍摄光学系统的光轴偏差等的图像裁剪的示图（部分1）；
图9B是示出用于校正左右拍摄光学系统的光轴偏差等的图像裁剪的示图（部分2）；
图9C是示出用于校正左右拍摄光学系统的光轴偏差等的图像裁剪的示图（部分3）；以及
图10是示出由根据本公开主题的立体成像装置执行的3D活动图像转换处理的流程图。
具体实施方式
下文中，将参照附图对根据本公开主题的立体成像装置的实施例进行说明。
[立体成像装置的外观]
图1A和图1B是示出根据本公开主题的立体成像装置的外观的视图，并且图1A是从立体成像装置的前面看到的透视图，而图1B是后视图。
该立体成像装置（立体照相机）10是能够对2D/3D静止图像和2D/3D活动图像进行记录和再现的数字照相机，并且如图1A和图1B所示，快门按钮11和变焦按钮12布置在照相机的薄的长方体状主体的上面上。
具有与照相机主体的横向宽度近似相同的宽度的透镜挡板13如此布置在照相机主体的正面上，以便能够沿照相机主体的垂直方向移动，并且通过使该透镜挡板13在由双点划线表示的位置和由实线表示的位置之间垂直移动，能够同时打开和关闭一对左右拍摄光学系统14-1、14-2各自的正面。应当注意的是，将屈光系统变焦透镜用作拍摄光学系统14-1、14-2。还应当注意的是，可以与透镜挡板13所执行的透镜正面的打开/关闭动作相结合地来接通/关断照相机电源。
如图1B所示，3D液晶显示监控器16布置在照相机主体的后表面的中央。液晶显示监控器16能够通过视差屏障将多个视差图像（右眼图像和左眼图像）显示为具有预定方向性的指向性图像。应当注意的是，适用于3D液晶显示监控器16的监控器包括使用双凸透镜的监控器、与观察者佩戴的诸如偏光眼镜或液晶快门式眼镜的专用眼镜结合以使得能够单独观察右眼图像和左眼图像的监控器，等等。
各种操作开关布置在液晶显示监控器16的左右侧。操作开关18A是用于在静止图像和活动图像之间切换的选择器开关，操作开关18B是用于调节右眼图像和左眼图像之间的视差量的视差调节开关，并且操作开关18C是用于在2D拍摄和3D拍摄之间切换的选择器开关。另外，操作开关18D是双重地用作MENU/OK按钮和再现按钮的跷跷板式按键，操作开关18E是多功能十字键，并且操作开关18F是DISP/BACK键。
MENU/OK按钮是一种既设有作为发出指令以在液晶显示监控器16的屏幕上显示菜单的菜单按钮的功能，又设有作为用于发出指令以确定或执行选定内容等的OK按钮的功能的操作开关。再现按钮是用于从拍摄模式切换到再现模式的按钮。十字键是用于输入上和下以及左和右四方向指令并且分配有宏按钮、闪光按钮、自拍定时器按钮等的操作开关，另外，当菜单已经选定时，十字键用作从菜单屏幕中选择项目或者发出指令以从每个菜单中选择各种设定项中的一项的开关（光标移动操作单元）。此外，十字键的左/右键在再现模式中用作帧馈送（向前和向后）键。DISP/BACK键用于进行液晶显示监控器16的各显示方面之间的切换，以取消菜单屏幕上的指示内容，以返回上一操作状态，等等。
应当注意的是，在图1A中，附图标记15表示立体声话筒。
[立体成像装置的内部构造]
图2是示出立体成像装置10的实施例的框图。
如图2所示，该立体成像装置10主要由如下部分构成：多个成像单元20-1、20-2；中央处理单元（CPU）32；上面所述的快门式按钮11和变焦按钮12；包括各种操作开关的操作单元34；显示控制单元36；液晶显示监控器16；记录控制单元38；压缩/解压处理单元42；数字信号处理单元44；AE（自动曝光）检测单元46；AF（自动聚焦）检测单元48、AWB（自动白平衡）检测单元50；VRAM（视频RAM）52；RAM54；ROM56；EEPROM（电可擦除可编程ROM）58等。应当注意的是，成像单元20-1、20-2对如下两种视差图像进行成像：相互之间具有视差的左眼图像和右眼图像，但是可以设有三个以上的成像单元20。
对左眼图像进行成像的成像单元20-1设有光学单元、固态成像装置（CCD）24、模拟信号处理单元25、A/D转换器26、图像输入控制器27、驱动光学单元的透镜驱动单元28、光圈驱动单元29、快门控制单元30和控制CCD 24的CCD控制单元31，光学单元由拍摄光学系统、光圈22和机械式快门23构成，拍摄光学系统由棱镜（未示出）、聚焦透镜和变焦透镜21构成。应当注意的是，由于对右眼图像进行成像的成像单元20-2具有与对左眼图像进行成像的成像单元20-1相同的构造，因此省略对成像单元20-2的具体说明。
CPU 32基于来自操作单元34的输入以集成方式根据预定控制程序来控制照相机的整体操作。应当注意的是，ROM 56存储由CPU32执行的控制程序以及控制所需的各种数据等，并且EEPROM 58存储表明出厂前产品检查的检测结果的各种信息（例如，关于CCD24的像素缺陷信息）或用于图像处理等的校正参数或表。应当注意的是，后面将对EEPROM 58中存储的各种信息的细节进行说明。
另外，VRAM 52是暂时存储液晶显示监控器16上显示的显示图像数据的存储器，并且RAM 54包含用于CPU 32的计算工作的区域以及用于暂时存储图像数据的区域。
包括在拍摄光学系统中的聚焦透镜和变焦透镜21由透镜驱动单元28驱动而沿着光轴前后移动。通过控制透镜驱动单元28的驱动，CPU 32控制聚焦透镜的位置以执行聚焦调节以聚焦到目标上，以及根据来自操作单元34中的变焦按钮12的变焦指令来控制变焦透镜的变焦位置以改变变焦倍率。
光圈22由例如可变光圈构成，并且由光圈驱动单元29驱动而操作。CPU 32通过光圈驱动单元29来控制光圈22的孔径尺寸（光阑值），从而控制入射到CCD 24上的光量。
机械式快门23打开/关闭光路从而确定CCD 24处的曝光时间，并且当来自CCD 24的图像信号被读出时阻挡不必要的光进入CCD24，从而防止污迹的生成。CPU 32将与对应于快门速度的曝光终止时间同步的快门关闭信号输出到快门控制单元30，从而控制机械式快门23。
CCD24由二维彩色CCD固态成像装置构成。在CCD 24的光接收表面上，二维地排列有多个光电二极管，并且滤色器按预定阵列布置在各个光电二极管中。
通过这样配置的光学单元聚焦到CCD的光接收表面上的目标的光学图像由光电二极管转换成对应于入射光量的信号电荷。根据CPU 32的指令，基于由CCD控制单元31给出的驱动脉冲，从CCD24中顺序地读出在各个光电二极管中累积的信号电荷以作为对应于信号电荷的电压信号（图像信号）。CCD 24设有电子快门功能，从而通过控制光电二极管中的电荷累积时间来控制曝光时间（快门速度）。应当注意的是，对应于快门速度的电荷累积开始时间是由电子快门控制的，并且曝光终止时间（电荷累积终止时间）是通过关闭机械式快门23来控制的。在该实施例中，CCD 24用作成像装置，但是还可以使用具有诸如CMOS传感器之类的其他构造的成像装置。
从CCD 24读出的R、G、B的模拟信号经过模拟信号处理单元25的相关双采样（CDS）或放大，然后由A/D转换器26转换成R、G、B的数字信号。
图像输入控制器27容纳具有预定容量的行缓冲器，以使由A/D转换器26进行了A/D转换的R、G、B的图像信号（CCDRAW数据）暂时累积在行缓冲器中，然后通过总线60存储到RAM 54中。
在3D拍摄模式中，CPU 32类似地控制对左眼图像进行成像的成像单元20-1和对右眼图像进行成像的成像单元20-2。
AE检测单元46基于当快门按钮被按下一半时取得的图像信号来计算AE控制所需的目标亮度，并且将表示目标亮度（拍摄EV（曝光值））的信号输出到CPU 32。CPU 32基于输入的拍摄EV而根据预定的程序图来设定多个成像单元20-1、20-2中的快门速度（曝光时间）、光阑值和拍摄灵敏度。
AF检测单元48对当快门按钮11被按下一半时取得的AF区域中的图像信号的高频分量的绝对值进行累加，并且将该累加值（AF评估值）输出到CPU 32。CPU 32通过如下过程对目标（主目标）进行聚焦调节：将聚焦透镜从最近侧向无限远侧移动，搜索由AF检测单元48检测到的AF评估值最大的聚焦位置，以及将聚焦透镜移动至该聚焦位置。
AWB检测单元50基于在拍摄时获取的R、G、B的图像信号而自动获取光源类型（目标场的色温），并且从存储有针对各个光源类型预先设定的R、G、B的白平衡增益（白平衡校正值）的表中读出相应的白平衡增益。
数字信号处理单元44包括第一图像处理单元，诸如白平衡校正电路、色调转换处理电路（例如，伽马校正电路）、用来对与单板CCD的滤色器阵列相关联的诸如R、G、B颜色信号之间的空间偏差进行内插从而调节各个颜色信号的位置的同步电路、轮廓校正电路以及亮度/色差信号生成电路，并且第一图像处理单元对存储在RAM54中的R、G、B的图像信号（CCDRAW数据）进行第一图像处理。也就是说，在数字信号处理单元44中，R、G、B的CCDRAW数据通过乘以由AWB检测单元50检测到的白平衡增益来经过白平衡校正，此后经过诸如色调转换处理（例如，伽马校正）的预定处理，并且此后被转换成由亮度信号（Y信号）和色差信号（Cr、Cb信号）构成的YC信号。已通过数字信号处理单元44处理的YC信号存储在RAM54中。
另外，数字信号处理单元44包括第二图像处理单元，诸如图像裁剪处理单元，所述图像裁剪处理单元从左右视点图像中裁剪各个预定裁剪区域中的图像以便在对3D活动图像进行再现时校正多个成像单元20-1、20-2的拍摄光学系统的光轴的偏差，以及诸如校正多个成像单元20-1、20-2的拍摄光学系统的透镜畸变的透镜畸变校正处理电路，并且该第二图像处理单元对由第一图像处理单元处理过的YC信号进行第二图像处理。应当注意的是，后面将对第二图像处理单元的处理内容的细节进行说明。
压缩/解压图像处理单元42在记录时根据来自CPU 32的指令将存储在RAM 54中的YC信号压缩到存储卡40上，或者将记录在存储卡40上的压缩数据解压成YC信号。记录控制单元38将由压缩/解压图像处理单元42压缩的压缩数据转换成预定格式的图像文件（例如，将3D静止图像转换成MP（多图片）格式的图像文件），并且将图像文件记录到存储卡40上，或者从存储卡40中读出图像文件。
液晶显示监控器16用作显示拍摄图像的图像显示单元，并且用作进行各种设定时的GUI（图形用户界面）。另外，液晶显示监控器16在拍摄模式下用作确认视角的电子取景器。在液晶显示监控器16上显示3D图像的情况下，显示控制单元36使液晶显示监控器16逐像素交替地显示存储在VRAM 52中的左眼图像和右眼图像。通过设置于液晶显示监控器16中的视差屏障，从预定距离进行观看的用户的左右眼单独从视觉上识别逐像素交替布置有右图像像素和左图像像素的左图像和右图像。因此，使得可以实现立体观看。
应当注意的是，尽管图2中未示出，该立体成像装置10具有记录和再现由图1A和图1B所示的立体声话筒15获取的音频信息（音频数据）的功能。
[在拍摄3D活动图像时的操作]
接下来，将参照图3所示的流程图对根据本公开主题的立体成像装置10拍摄3D活动图像时的操作进行说明。
通过使用图1B所示的操作开关18A切换至活动图像拍摄模式，并且使用操作开关18C切换至3D拍摄模式，能够设定拍摄3D活动图像的拍摄模式（下文中称为“3D活动图像拍摄模式”）。
设定为3D活动图像拍摄模式的立体成像装置10能够在记录活动图像之前或在记录活动图像期间将3D实况图像显示在液晶显示监控器16上，以使用户能够在观看该3D实况图像的同时操作视差量调节开关18B（见图1B），从而调节3D活动图像（左眼图像和右眼图像）的视差量。
也就是说，通过沿加方向或沿减方向操作视差量调节开关18B，能够增加或减少3D图像的视差量。
在图3中，CPU 32监控视差量调节开关18B的操作，并且如果视差量调节开关18B被操作（如果为“否”），则CPU 32将视差调节值H-SHIFT设定在内部存储器（RAM54）中（步骤S10，S12）。应当注意的是，如果视差量调节开关18B未被操作，则将视差调节值设定为零。
接下来，CPU 32判定是否发出了拍摄活动图像的指令（快门按钮11被完全按下）（步骤S14）。当快门按钮11被完全按下时，CPU 32首先在存储卡40中生成用于记录3D活动图像的记录文件，并且将图4所示的表中的数据记录在文件头中（步骤S16）。
此处，将对图4所示的表中的数据进行说明。
如图4中的表所示的这种通过出厂前检查获得的照相机独有数据存储在图2所示的EEPROM 58中。在该实施例中，对于左右拍摄光学系统中的每个系统，存储表示用于从具有CCD的全拍摄视角的图像（下文中称为“全像”）中裁剪图像的裁剪中心（光轴中心）坐标和变焦透镜的六个变焦位置ZP1至ZP6的裁剪尺寸（水平像素数和垂直像素的数量）的信息（第一信息），以及存储表示透镜畸变校正参数和计算公式的信息（第二信息）。
图5和图6示出了分别在变焦位置ZP1（广角端；35mm的视角）以及变焦位置ZP3（长焦端；45mm的视角）相对于左右全像的裁剪中心和裁剪尺寸等。
如图5所示，相对于左眼全像的裁剪中心（Lx1,Ly1）以及相对于右眼全像的裁剪中心（Rx1,Ry1）表示左右拍摄光学系统的光轴的相应中心，并且偏离于CCD成像面的中心（x标记）。
通过从左眼全像裁剪具有以裁剪中心（Lx1,Ly1）为中心的裁剪尺寸（LH1,LV1）的图像，以及类似地从右眼全像裁剪具有以裁剪中心（Rx1,Ry1）为中心的裁剪尺寸（RH1,RV1）的图像，能够对变焦位置ZP1处由于左右拍摄光学系统的光轴偏差引起的图像偏差进行校正，也就是说，能够对光轴偏差进行校正。
另外，图5所示的透镜畸变示出了桶形畸变的示例，但是关于具有这种类型的透镜畸变的图像，能够通过预先检查透镜畸变并且利用校正透镜畸变的信息（第二信息）来对透镜畸变进行校正。也就是说，利用通过将透镜畸变校正参数代入用于校正透镜畸变的计算公式（在图4所示的示例中为六次多项式）的相应项的系数中所获得的计算公式，并且将像素重新定位到通过将基于裁剪中心的各个像素的坐标值代入该计算公式中所获得的坐标位置，能够形成已经校正过透镜畸变的图像。
应当注意的是，能够通过具有更高次的计算公式来执行更高精度的畸变校正，但是计算量增加。
图6所示的相对于左眼全像的裁剪中心（Lx3,Ly3）以及相对于右眼全像的裁剪中心（Rx3,Ry3）分别与图5所示的裁剪中心（Lx1,Ly1）和裁剪中心（Rx1,Ry1）不同。这是因为，左右拍摄光学系统的光轴的中心偏差根据变焦透镜的各个变焦位置而不同。
因此，如图4所示的表中所示，存储了对于左右拍摄光学系统的各个变焦透镜的各个变焦位置的裁剪中心的信息。
此外，由于拍摄光学系统的透镜畸变根据变焦透镜的各个变焦位置而变化，所以针对左右拍摄光学系统的各个变焦透镜的变焦位置存储了透镜畸变校正参数，如图4中的表所示。
应当注意的是，该实施例中的裁剪中心和裁剪尺寸是已经校正了透镜畸变的图像上的值。另外，在左右拍摄光学系统的透镜特性彼此相同的情况下，共同的透镜畸变校正参数可用于左右透镜。往回参照图3，CPU 32判定是否已执行由变焦按钮12进行的变焦操作（步骤S18）。如果已经执行变焦操作（如果为“是”），则将左右变焦透镜移动至由变焦操作表示的变焦位置ZPx（步骤S20）。如果尚未进行变焦操作（如果为“否”），则处理继续进行到步骤S22。应当注意的是，CPU 32总是定位当前的变焦位置ZPx，而不管是否已经执行变焦操作。
在步骤S22中，CPU 32致动AE检测单元46以获取表示目标亮度的拍摄EV，致动AF检测单元48以获取表示AF区域中目标图像的对比度的AF评估值，并且驱动左右聚焦透镜以将该AF评估值保持在最大值。
接下来，CPU 32基于在步骤S32中获取的拍摄EV来判定左右成像单元20-1、20-2中的拍摄条件（光阑值，快门速度，拍摄灵敏度）（步骤S24-1，24-2）。应当注意的是，在左右成像单元20-1、20-2的性能彼此不同或者使用不同的透镜的情况下，如上所述需要单独判定拍摄条件，但是在左右成像单元20-1、20-2具有相同性能的情况下，在左右成像单元20-1、20-2中可以使用相同的拍摄条件。
CPU 32根据以上述方式判定的拍摄条件来对左右成像单元20-1、20-2进行曝光控制，并且获取一帧的左右视点图像（CCDRAW数据）（步骤S26-1，S26-2）。
获取的CCDRAW数据经过数字信号处理单元44的第一图像处理单元的图像处理，诸如白平衡校正、伽马校正和YC转换（步骤S28-1，S28-2），并且此处不执行由数字信号处理单元44的第二图像处理单元（图像裁剪处理电路，透镜畸变处理电路）进行的重负荷处理。
已经在步骤S28-1、S28-2中从CCDRAW数据进行YC转换得到的透镜畸变校正前的YC信号暂时累积在RAM 54中，并且当达到指定数量的帧（例如，在60/秒的帧率时为60帧）时，其YC信号已经压缩的具有校正前全视角的图像、与该图像相关联的变焦透镜的当前变焦位置ZPx以及在步骤S12中设定的视差调节值H-SHIFT存储在步骤S16中创建的记录文件中（步骤S30）。应当注意的是，作为用于活动图像的压缩系统，可应用于Motion JPEG、H.264、MPEG4、MPEG4-MVC等。
图7是示出记录文件的文件结构的示例的表。如图7所示，除了诸如拍摄信息、拍摄条件以及拍摄日期和时间等通常的附带信息之外，用于图4的表所示的各个变焦位置的裁剪中心、裁剪尺寸和透镜畸变校正参数（包含计算公式）的表、3D活动图像缩略图（表示3D活动图像的3D静止图像的尺寸减小的左右图像）、以及各个缩略图的视差量调节值H-SHIFT被记录到记录文件的标签上。另外，在每秒内，3D活动图像的视差量调节值H-SHIFT、变焦位置ZPx的信息包（一秒内每帧的包）、尺寸减小的3D活动图像（例如，60帧的时序左右视差图像）以及一秒内的音频数据被记录到记录文件的主体上。
在记录文件的主体上，仅针对任意活动图像拍摄时间持续地记录诸如上述一秒内的3D活动图像的信息。
往回参照图3，CPU 32在步骤S32中判定是否已经发出终止拍摄3D活动图像的指令。例如，在快门按钮11被完全按下之后，当快门按钮11再次被完全按下时，CPU 32判定处“已经发出拍摄终止指令”。
然后，如果未判定出“已经发出拍摄终止指令”（如果为“否”），则处理返回至步骤S10，并且重复拍摄和记录3D活动图像。
另一方面，如果判定出“已经发出拍摄终止指令”（如果为“是”），则处理继续进行到步骤S32，即，对小于一秒的3D活动图像等进行记录，然后终止拍摄和记录3D活动图像。
[在对3D活动图像进行再现时的操作]
接下来，将参照图8所示的流程图对根据本公开主题的立体成像装置10对3D活动图像进行再现时的操作进行说明。
当通过既作为MENU/OK按钮又作为再现按钮的操作开关18D设定再现模式时，立体成像装置10能够对记录在存储卡40中的图像进行再现。
在图8中，如果选择了已经记录有3D活动图像的记录文件并且指示进行图像的再现（步骤S50），则CPU 32基于记录文件的标签（见图7）读出图4所示的表的数据，并且将数据记录到内部存储器（RAM 54）中（步骤S52）。
接下来，CPU 32从记录文件的主体中读出3D活动图像、变焦位置ZPx以及与3D活动图像相关联地记录的视差量调节值H-SHIFT（步骤S54）。
读取的3D活动图像（压缩的YC信号）由压缩/解压处理单元42进行解压，并且被恢复为未压缩的YC信号（步骤S56），此后通过数字信号处理单元44的第二图像处理单元进行的图像处理（步骤S58至S64）。
也就是说，恢复的YC信号首先经过由透镜畸变校正处理电路实现的左右视点图像的透镜畸变校正。在该透镜畸变校正处理中，通过如下过程来获得已经校正了透镜畸变的视差图像：从基于与每帧相对应地记录的变焦位置ZPx而存储在RAM 54中的图4所示的表中读出相应的透镜畸变校正参数和裁剪中心（光轴中心）的坐标，通过将基于视点图像的每个像素的光轴中心的坐标值代入使用该透镜畸变校正参数作为系数的计算公式中来获取新的坐标值，并且将像素移动至该坐标值（步骤S58，见图5和图6）。
从透镜畸变校正之后的具有全视角的左右视差图像中，调节其各自的裁剪区域并且由图像裁剪处理电路裁剪各个裁剪区域，从而对左右拍摄光学系统的光轴的偏差进行校正。也就是说，图像裁剪处理电路从RAM 54中读出与具有全视角的视差图像的变焦位置ZPx相对应的裁剪中心（光轴中心）的坐标和裁剪尺寸的信息，并且基于这些信息从各自具有全视角的左右视差图像中裁剪光轴偏差校正之后的用于3D显示的左右视差图像（步骤S60）。
从图9A所示的透镜畸变校正之后的各自具有全视角的左右视差图像中，裁剪光轴偏差校正之后的左右视差图像，如图9B所示。
接下来，基于步骤S54中读取的视差量调节值H-SHIFT，图像裁剪处理电路从已经裁剪出的左右视差图像中沿横向裁剪出偏移了视差量调节值H-SHIFT的一半的裁剪区域，如图9C所示（步骤S62，S64）。应当注意的是，在图9C所示的示例中，沿视差量增加的方向裁剪裁剪区域，但是在视差量调节值H-SHIFT的符号相反的情况下，沿视差量减小的方向裁剪裁剪区域。
这样裁剪出的左右视差图像通过显示控制单元36输出到液晶显示监控器16（立体显示单元），并且作为3D图像显示在液晶显示监控器16上（步骤S66）。
在步骤S68中，判定像帧（picture frame）是否终止或者是否发出了终止活动图像的再现的指令，如果为“否”，则处理返回至步骤S54。
这样，对各个帧重复上述再现处理，并且将3D活动图像显示到液晶显示监控器16上。应当注意的是，3D活动图像的输出的目的地不限于液晶显示监控器16，并且目的地可以为外部的3D显示装置。
如果像帧终止或者发出了终止活动图像再现的指令（如果为“是”），则终止对3D活动图像进行再现的处理（步骤S70）。
在上述实施例的图像裁剪处理中，为了校正光轴偏差而裁剪图像，然后，基于视差调节值H-SHIFT来从裁剪图像中裁剪视差调节后的图像，但是图像裁剪处理不限于此，可以执行图像裁剪处理以使得左右视差图像的裁剪中心的各个坐标偏移视差调节值H-SHIFT的一半，并且根据偏移裁剪中心和裁剪尺寸，从各自具有全视角的图像中同时裁剪图像。
可选地，图像裁剪处理可以执行为使得在为了校正光轴偏差而裁剪图像之后，基于视差调节值H-SHIFT对裁剪图像进行视差调节（使图像移位）。当对图像进行立体显示时，显示图像的左右端可以遮掩（black out）H-SHIFT/2。或者，当然可以在不遮掩的情况下显示左右端。
[3D活动图像的转换处理]
接下来，将参照图10所示的流程图对根据本公开主题的立体成像装置10的3D活动图像的转换处理进行说明。应当注意的是，与图8所示的流程图相同的步骤由相同的步骤标号表示，从而将省略这些步骤的细节。
在图10中，首先，当活动图像转换菜单显示在液晶显示监控器16上并且活动图像转换菜单通过操作立体成像装置10的操作开关18D（MENU/OK按钮）而被选择和执行时，3D活动图像的转换处理开始（步骤S80）。
在步骤S82中，选择待进行转换处理的3D活动图像。可以通过显示3D活动图像的缩略图并且选择期望的缩略图来执行3D活动图像的这种选择。应当注意的是，通过将转换前的缩略图和转换后的缩略图显示为这两个缩略图能够通过标记、字母等相互区分开，能够防止选择转换后的3D活动图像。
当已经发出转换选择的3D活动图像的指令时，在步骤S52至S64中，所选的3D活动图像逐帧地经过透镜畸变校正处理、用于校正光轴偏差的图像裁剪处理等。
当一秒内对于指定数量的帧的图像处理终止时，对左右视差图像分别进行压缩（步骤S86），并且覆写到记录文件上或者存储到所生成的新的记录文件中（步骤S88）。
然后，处理重复步骤S54至S88，直至像帧终止为止。这样，能够生成已经校正了透镜畸变、光轴偏差等的转换后3D活动图像的记录文件。
[其它]
在该实施例中，立体成像装置10执行图8所示的3D活动图像再现处理，但是这不是限制，具有3D显示器的3D再现装置可以执行图8所示的3D活动图像再现处理。在该情况下，3D再现装置直接或者通过通信装置从记录介质中获取由立体成像装置10记录的3D活动图像的记录文件。
另外，在该实施例中，立体成像装置10执行图10所示的3D活动图像转换处理，但是这不是限制，安装有执行图10所示的3D活动图像转换处理的编辑软件的个人计算机或另外的外部装置可以对输入的未经处理的3D活动图像执行3D活动图像转换处理。
在该实施例中，透镜畸变校正后的图像的裁剪中心的坐标以及裁剪尺寸的信息存储且保持为用于校正光轴中心的偏差的信息，但是这不是限制，可以存储并保持透镜畸变校正之前的图像的裁剪中心的坐标以及裁剪尺寸的信息。在该情况下，首先，基于存储和保持的信息，从透镜畸变校正之前的图像中裁剪图像，从而校正光轴偏差，此后对裁剪图像执行用于校正透镜畸变的处理。
另外，在该实施例中，与变焦位置ZPx相对应的裁剪中心的坐标和裁剪尺寸的信息被保存为用于校正光轴中心的偏差的信息，如图4所示，但这不是限制，可以保存裁剪区域的对角的坐标。
另外，本公开主题不仅能够应用于拍摄光学系统的透镜畸变校正，而且能够应用于诸如色像差的另外像差的校正。
此外，如图7所示，图4所示的表存储在记录文件的标签中，以使得与每个活动图像的帧相关联地记录变焦位置ZPx的信息，但是这不是限制，可以直接与活动图像的帧相关联地记录基于变焦位置ZPx从图4所示的表中选择的数据。在该情况下，不必记录图4所示的表的变焦位置ZPx的信息。
另外，本公开主题不限于上面所述的实施例，当然可以在不偏离本公开主题的范围的情况下进行各种改进。
附图标记列表
10：立体成像装置
11：快门按钮
12：变焦按钮
16：液晶显示监控器
20-1，20-2：成像单元
21：聚焦透镜和变焦透镜
24：CCD
25：模拟信号处理单元
32：中央处理单元（CPU）
34：操作单元
44：数字信号处理单元
54：RAM
56：ROM
58：EEPROM

Claims (14)

1.一种立体成像装置，包括：
多个成像单元，每个成像单元具有拍摄光学系统和成像装置，所述成像装置对通过所述拍摄光学系统聚焦的目标图像进行光电转换，所述多个成像单元成像相互之间具有视差的视差图像；
存储单元，其存储第一信息和第二信息，所述第一信息表示每个拍摄光学系统的光轴的中心位置和裁剪尺寸、或中心位于每个拍摄光学系统的光轴的中心位置的裁剪区域，所述第二信息表示每个拍摄光学系统的像差；
成像控制单元，其使所述多个成像单元输出形成立体活动图像的多个时序视差图像；以及
记录单元，当拍摄活动图像时，所述记录单元将从所述多个成像单元输出的所述多个时序视差图像记录到记录介质上，并且将从所述存储单元读出的所述第一信息和所述第二信息与所述多个视差图像相关联地记录到所述记录介质上。
2.根据权利要求1所述的立体成像装置，其中，所述第一信息是关于校正所述拍摄光学系统的像差之前的视差图像或者已经校正了所述像差之后的视差图像的信息。
3.根据权利要求1或2所述的立体成像装置，还包括视差量调节单元，所述视差量调节单元调节从所述多个成像单元输出的多个视差图像之间的视差量，其中
所述记录单元将表示由所述视差量调节单元调节的视差量的第三信息与所述多个视差图像相关联地存储到所述记录介质上。
4.根据权利要求1至3中的任一项所述的立体成像装置，其中
所述拍摄光学系统为变焦透镜，
所述存储单元存储用于所述变焦透镜的各个变焦位置的所述第一信息和所述第二信息，并且
所述记录单元将如下信息与所述多个视差图像相关联地记录在所述记录介质上：存储在所述存储单元中的用于各个变焦位置的所述第一信息和所述第二信息以及表示当拍摄活动图像时所述变焦透镜的时序变焦位置的信息的所有信息，或者当拍摄活动图像时基于所述变焦透镜的变焦位置从所述存储单元按时序读出的所述第一信息和所述第二信息。
5.根据权利要求1、2或4所述的立体成像装置，还包括：
读出单元，其从所述记录介质中读出所述多个时序视差图像以及所述第一信息和所述第二信息；
图像处理单元，其基于读出的所述第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及
输出单元，其将由所述图像处理单元创建的所述多个时序视差图像输出到所述立体成像装置中的立体显示单元或外部立体显示单元。
6.根据权利要求3所述的立体成像装置，还包括：
读出单元，其从所述记录介质中读出所述多个时序视差图像以及所述第一信息、所述第二信息和所述第三信息；
图像处理单元，其基于读出的所述第一信息和所述第三信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及
输出单元，其将由所述图像处理单元创建的所述多个时序视差图像输出到所述立体成像装置中的立体显示单元或外部立体显示单元。
7.根据权利要求3所述的立体成像装置，还包括：
读出单元，其从所述记录介质中读出所述多个时序视差图像以及所述第一信息、所述第二信息和所述第三信息；
图像处理单元，其基于读出的所述第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及
输出单元，其基于所述第三信息对由所述图像处理单元创建的所述多个时序视差图像进行移位，并且将经过移位的多个时序视差图像输出至所述立体成像装置中的立体显示单元或外部立体显示单元。
8.根据权利要求5至7中任一项所述的立体成像装置，代替所述输出单元或者除了所述输出单元之外还包括：记录单元，其将由所述图像处理单元创建的所述多个时序视差图像记录到所述记录介质上。
9.一种图像再现装置，包括：
读出单元，其从由根据权利要求1、2或4所述的立体成像装置进行记录的所述记录介质中读出所述多个时序视差图像以及所述第一信息和所述第二信息；
图像处理单元，其基于读出的所述第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及
立体显示单元，其基于由所述图像处理单元创建的所述多个时序视差图像来显示立体活动图像。
10.一种图像再现装置，包括：
读出单元，其从由根据权利要求3所述的立体成像装置进行记录的所述记录介质中读出所述多个时序视差图像以及所述第一信息、所述第二信息和所述第三信息；
图像处理单元，其基于读出的所述第一信息和所述第三信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及
立体显示单元，其基于由所述图像处理单元创建的所述多个时序视差图像来显示立体活动图像。
11.一种图像再现装置，包括：
读出单元，其从由根据权利要求3所述的立体成像装置进行记录的所述记录介质中读出所述多个时序视差图像以及所述第一信息、所述第二信息和所述第三信息；
图像处理单元，其基于读出的所述第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及
立体显示单元，其基于所述第三信息对由所述图像处理单元创建的所述多个时序视差图像进行移位，从而显示立体活动图像。
12.一种编辑软件，其使计算机实现如下功能：
读出功能，用于从由根据权利要求1、2或4所述的立体成像装置进行记录的所述记录介质中读出所述多个时序视差图像以及所述第一信息和所述第二信息；
图像处理功能，用于基于读出的所述第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及
记录功能，用于将创建的所述多个时序视差图像记录到所述记录介质上。
13.一种编辑软件，其使计算机实现如下功能：
读出功能，用于从由根据权利要求3所述的立体成像装置进行记录的所述记录介质中读出所述多个时序视差图像以及所述第一信息、所述第二信息和所述第三信息；
图像处理功能，用于基于读出的所述第一信息和所述第三信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及
记录功能，用于将创建的所述多个时序视差图像记录到所述记录介质上。
14.一种编辑软件，其使计算机实现如下功能：
读出功能，用于从由根据权利要求3所述的立体成像装置进行记录的所述记录介质中读出所述多个时序视差图像以及所述第一信息、所述第二信息和所述第三信息；
图像处理功能，用于基于读出的所述第一信息来裁剪读出的所述多个时序视差图像以用于立体显示，并且基于读出的所述第二信息来创建像差校正后的多个时序视差图像；以及
输出功能，用于基于所述第三信息对由所述图像处理功能创建的所述多个时序视差图像进行移位，并且将经过移位的多个时序视差图像输出到所述立体成像装置中的立体显示单元或外部立体显示单元。
CN201080065964.4A 2010-03-29 2010-11-09 立体成像装置、图像再现装置 Expired - Fee Related CN102860015B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-075750 2010-03-29
JP2010075750 2010-03-29
PCT/JP2010/069913 WO2011121837A1 (ja) 2010-03-29 2010-11-09 立体撮像装置、画像再生装置及び編集ソフトウエア

Publications (2)

Publication Number Publication Date
CN102860015A true CN102860015A (zh) 2013-01-02
CN102860015B CN102860015B (zh) 2015-08-26

Family

ID=44711611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080065964.4A Expired - Fee Related CN102860015B (zh) 2010-03-29 2010-11-09 立体成像装置、图像再现装置

Country Status (4)

Country Link
US (1) US9256116B2 (zh)
JP (1) JP5166650B2 (zh)
CN (1) CN102860015B (zh)
WO (1) WO2011121837A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023275A (zh) * 2015-07-14 2015-11-04 清华大学 超分辨率光场采集装置及其的三维重建方法
CN108885335A (zh) * 2016-03-30 2018-11-23 索尼奥林巴斯医疗解决方案公司 医用立体观察装置、医用立体观察方法以及程序
CN113557711A (zh) * 2019-03-18 2021-10-26 索尼集团公司 图像拍摄装置、信息处理方法和程序

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US20140225991A1 (en) * 2011-09-02 2014-08-14 Htc Corporation Image capturing apparatus and method for obatining depth information of field thereof
JP5281720B1 (ja) * 2011-09-20 2013-09-04 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
CN103220460B (zh) * 2012-01-20 2016-05-25 华晶科技股份有限公司 影像处理方法及其装置
TWI524735B (zh) * 2012-03-30 2016-03-01 華晶科技股份有限公司 三維影像產生方法及裝置
JP6022212B2 (ja) * 2012-05-25 2016-11-09 シャープ株式会社 空間情報算出システム
DE102013012988A1 (de) * 2013-08-03 2015-02-05 Carl Zeiss Microscopy Gmbh Verfahren zur Kalibrierung eines digitalen optischen Abbildungssystems, Verfahren zur Korrektur von Abbildungsfehlern in einem digitalen optischen Abbildungssystem, sowie digitales optisches Abblildungssystem
TWI625051B (zh) * 2017-03-21 2018-05-21 奇景光電股份有限公司 深度感測裝置
CN107801012B (zh) * 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
JP2022162426A (ja) * 2021-04-12 2022-10-24 ソニーセミコンダクタソリューションズ株式会社 情報処理方法、情報処理装置、プログラム
JP2023079119A (ja) 2021-11-26 2023-06-07 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223007A1 (en) * 2002-06-03 2003-12-04 Yasuo Takane Digital photographing device
CN101001309A (zh) * 2006-01-13 2007-07-18 鸿富锦精密工业（深圳）有限公司 一种成像系统及方法
US20080131107A1 (en) * 2006-12-01 2008-06-05 Fujifilm Corporation Photographing apparatus
US20090304301A1 (en) * 2008-06-10 2009-12-10 Canon Kabushiki Kaisha Image processing apparatus, control method, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317424A (ja) 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JP2002247593A (ja) 2001-02-16 2002-08-30 Olympus Optical Co Ltd 画像処理装置
JP4047687B2 (ja) * 2002-09-30 2008-02-13 富士フイルム株式会社 デジタルカメラ
JP4397573B2 (ja) 2002-10-02 2010-01-13 本田技研工業株式会社 画像処理装置
WO2006062325A1 (en) * 2004-12-06 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for correcting image distortion of stereo-camera and method thereof
JP2008131551A (ja) * 2006-11-24 2008-06-05 Konica Minolta Opto Inc 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223007A1 (en) * 2002-06-03 2003-12-04 Yasuo Takane Digital photographing device
CN101001309A (zh) * 2006-01-13 2007-07-18 鸿富锦精密工业（深圳）有限公司 一种成像系统及方法
US20080131107A1 (en) * 2006-12-01 2008-06-05 Fujifilm Corporation Photographing apparatus
US20090304301A1 (en) * 2008-06-10 2009-12-10 Canon Kabushiki Kaisha Image processing apparatus, control method, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023275A (zh) * 2015-07-14 2015-11-04 清华大学 超分辨率光场采集装置及其的三维重建方法
CN105023275B (zh) * 2015-07-14 2018-08-28 清华大学 超分辨率光场采集装置及其的三维重建方法
CN108885335A (zh) * 2016-03-30 2018-11-23 索尼奥林巴斯医疗解决方案公司 医用立体观察装置、医用立体观察方法以及程序
CN108885335B (zh) * 2016-03-30 2021-10-22 索尼奥林巴斯医疗解决方案公司 医用立体观察装置、医用立体观察方法以及程序
CN113557711A (zh) * 2019-03-18 2021-10-26 索尼集团公司 图像拍摄装置、信息处理方法和程序

Also Published As

Publication number Publication date
CN102860015B (zh) 2015-08-26
US9256116B2 (en) 2016-02-09
US20130038699A1 (en) 2013-02-14
JP5166650B2 (ja) 2013-03-21
JPWO2011121837A1 (ja) 2013-07-04
WO2011121837A1 (ja) 2011-10-06

Similar Documents

Publication Publication Date Title
CN102860015B (zh) 立体成像装置、图像再现装置
CN103493484B (zh) 成像装置和成像方法
US8520059B2 (en) Stereoscopic image taking apparatus
CN102318331B (zh) 立体图像拾取装置
US9341935B2 (en) Image capturing device
JP5468482B2 (ja) 画像撮像装置
JP5595499B2 (ja) 単眼立体撮像装置
WO2012036019A1 (ja) 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
JP5284306B2 (ja) 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法
JP4763827B2 (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
JP2012093779A (ja) 立体撮像装置及び画像補正方法
JP2011199755A (ja) 撮像装置
JP5449535B2 (ja) 立体撮像装置及びその制御方法
JP5628914B2 (ja) 撮像装置および撮像方法
JP5160460B2 (ja) 立体撮像装置および立体撮像方法
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
CN103339948B (zh) 3d视频再现装置、3d成像装置和3d视频再现方法
JP2010237582A (ja) 立体撮像装置および立体撮像方法
CN103155576A (zh) 立体图像显示装置和立体图像显示方法
JP2012124650A (ja) 撮像装置および撮像方法
JP2010200024A (ja) 立体画像表示装置および立体画像表示方法
JP5307189B2 (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150826

Termination date: 20181109

CF01 Termination of patent right due to non-payment of annual fee