CN102318331A - 立体图像拾取装置 - Google Patents

立体图像拾取装置 Download PDF

Info

Publication number
CN102318331A
CN102318331A CN2010800039158A CN201080003915A CN102318331A CN 102318331 A CN102318331 A CN 102318331A CN 2010800039158 A CN2010800039158 A CN 2010800039158A CN 201080003915 A CN201080003915 A CN 201080003915A CN 102318331 A CN102318331 A CN 102318331A
Authority
CN
China
Prior art keywords
image
optical axis
image pickup
distortion correction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800039158A
Other languages
English (en)
Other versions
CN102318331B (zh
Inventor
星野谦治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102318331A publication Critical patent/CN102318331A/zh
Application granted granted Critical
Publication of CN102318331B publication Critical patent/CN102318331B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

对根据用于3D运动图像、3D静止图像等的图像拾取模式所获取的图像执行具有不同校正精度的畸变校正，并且还对其执行与左右拍摄光学系统中的每一个的光轴偏离量相对应的图像切出处理，由此校正光轴偏离量。在该情况下，从畸变校正之后的光轴偏离量当中读出与当前图像拾取模式相对应的光轴偏离量，该光轴偏离量在装运前的调整时被预先存储到EEPROM中并且与各个图像拾取模式相对应。对根据当前图像拾取模式所获取的左右图像执行与当前图像拾取模式相对应的畸变校正。然后，还基于读出的光轴偏离量来执行从畸变校正之后的具有全视角的图像切出用于立体显示的图像的切出处理。

Description

立体图像拾取装置
技术领域
本发明涉及一种立体图像拾取装置，并且更具体地，涉及一种拍摄其间具有视差的多个图像的立体图像拾取装置。
背景技术
在立体图像拾取装置中，通过使用有视差地被布置到左侧和右侧的两个图像拾取单元，从左右视点拍摄同一被摄物，并且分别获取左眼图像和右眼图像。这样获取的左右图像被输入到能够以三维(3D)方式进行显示的3D显示器，并且被显示以便于可由左右眼分开观看，从而左右图像可以被识别为立体图像。
通常，具有相同性能和特性的光学系统被用作两个图像拾取单元的拍摄光学系统，并且各个拍摄光学系统被调整并且并入装置主体中，使得其光轴彼此一致。
然而，在两个拍摄光学系统之间存在个体差异。因此，当与透镜移动等一起执行变焦倍率的改变等时，出现两个拍摄光学系统的光轴根据变焦位置而偏离的问题。另外，机械地调整光轴使得在整个变焦范围上不发生光轴偏离是极其困难的。
迄今为止，为了解决该问题，已经提出了一种立体图像拾取装置，其中：提供了存储装置，该存储装置在其中针对每个变焦位置存储两个拍摄光学系统的光轴偏离；在拍摄时，根据拍摄光学系统的变焦位置，从该存储装置读出对应的光轴偏离；基于读出的光轴偏离来转换所拍摄的左右图像中的一个图像的坐标；并且因此，使得左右图像的光轴坐标彼此一致(PTL 1)。
另外，PTL 2公开了一种立体图像拾取装置，包括：第一透镜镜筒，该第一透镜镜筒包括用于获得右眼的拍摄信息的CCD；第二透镜镜筒，该第二透镜镜筒包括用于获得左眼的拍摄信息的CCD；相机检测电路，该相机检测电路检测第一透镜镜筒和第二透镜镜筒的焦距；ROM，该ROM由EEPROM等形成，并且在其中针对每个焦距预先存储第一透镜镜筒和第二透镜镜筒中的每一个的光轴中心的偏离量；以及CPU，该CPU基于来自ROM的输出针对每个焦距来控制成对的左右CCD中的至少一个内的图像切出区域。
另一方面，PTL 3公开了一种图像处理装置，其中：将用于关于作为参考的透镜中心的坐标校正的近似表达设置为立体相机的透镜特性；并且基于该近似表达来校正由相机捕捉到的目标图像的投影坐标。
引用列表
专利文献
PTL 1：日本专利申请特开2006-162991号公报
PTL 2：日本专利申请特开08-317424号公报
PTL 3：日本专利申请特开2004-126905号公报
发明内容
技术问题
PTL 1和PTL 2公开了如下技术，其中，通过下述步骤来校正两个拍摄光学系统之间的由于个体差异而引起的光轴偏离：基于针对每个变焦位置而预先获取的光轴偏离量来转换左右图像中的一个图像的坐标；或者改变图像切出范围。另外，PTL 3公开了一种对由于透镜畸变而引起的图像畸变进行校正的技术。
顺带提及，即使在其中如在PTL 1和PTL 2所公开的发明中通过转换所拍摄的图像的坐标或者调整图像切出范围来校正两个拍摄光学系统之间的光轴偏离的情况下，如果此后对左右图像执行用于对如在PTL 3中公开的由于透镜畸变而引起的图像畸变(诸如桶形畸变或枕形畸变)进行校正的畸变校正，则出现光轴由于该畸变校正而偏离的问题。
例如，假定如图20中所示，具有桶形畸变的左眼的图像的光轴中心是OL，并且具有桶形畸变的右眼的图像的光轴中心是OR，则畸变校正之后的这些图像的光轴中心分别为OL′和OR′，并且光轴中心在水平方向和垂直方向上偏离了ΔH和ΔV。
另外，畸变校正是通过将每个像素的坐标值代入为高次多项式的畸变校正公式进行计算来执行的，并且因而计算量大。例如，在其中拍摄3D运动图像时使用具有高校正精度的畸变校正公式来执行畸变校正的情况下，出现难以以高帧率拍摄并且记录高清晰度(HD)3D运动图像的问题。
因此，在3D运动图像的情况下，不执行畸变校正，或者替代地，使用低次畸变校正公式来执行具有低校正精度的畸变校正。
另一方面，可以在拍摄后，在将图像写入到存储卡之前执行3D静止图像的畸变校正，并且因而可以使用具有高校正精度的畸变校正公式来执行具有高校正精度的畸变校正。
在如上所述其中对3D运动图像和3D静止图像分别使用具有不同校正精度的畸变校正公式的情况下，出现畸变校正之后的光轴中心根据所使用的畸变校正公式而偏离的问题。
本发明是鉴于上述情况而做出的，并且因此具有下述目的，提供一种立体图像拾取装置，即使在以对于用于拍摄3D运动图像、3D静止图像等的每个图像拾取模式而不同的校正精度来执行畸变校正的情况下，该装置也能够获得如下多个图像，该多个图像在畸变校正之后在用于立体观看的图像之间不具有光轴偏离，并且因此易于进行立体观看。
对问题的解决方案
为了实现上述目的，根据本发明的第一方面，提供了一种立体图像拾取装置，包括：多个图像拾取单元，每一个图像拾取单元包括拍摄光学系统和图像拾取元件，所述图像拾取元件使经由所述拍摄光学系统形成的被摄体图像经历光电转换，所述多个图像拾取单元拾取在所述多个图像拾取单元之间具有视差的多个图像；第一存储单元，所述第一存储单元在其中存储针对多个图像拾取模式中的每一个设置的畸变校正公式，所述畸变校正公式具有对于所述多个图像拾取模式中的每一个而不同的校正精度；畸变校正公式获取单元，所述畸变校正公式获取单元从存储在所述第一存储单元中的畸变校正公式中获取与当前图像拾取模式相对应的畸变校正公式；第二存储单元，所述第二存储单元在其中存储包括在所述多个图像拾取单元中的每个拍摄光学系统的预先检测到的光轴偏离量，所述光轴偏离量已经经历了使用针对所述多个图像拾取模式中的每一个设置的所述畸变校正公式的畸变校正；光轴偏离量获取单元，所述光轴偏离量获取单元基于下述来获取与所述当前图像拾取模式相对应的光轴偏离量：存储在所述第二存储单元中的每个拍摄光学系统的光轴偏离量以及所述当前图像拾取模式；图像拾取控制单元，所述图像拾取控制单元根据所述当前图像拾取模式来从所述多个图像拾取单元获取所述多个图像；畸变校正单元，所述畸变校正单元基于与所述当前图像拾取模式相对应地由所述畸变校正公式获取单元所获取的畸变校正公式来对由所述图像拾取控制单元所获取的多个图像执行畸变校正；以及图像切出单元，所述图像切出单元基于与所述当前图像拾取模式相对应地由所述光轴偏离量获取单元获取的光轴偏离量，来对由所述图像拾取控制单元获取的所述多个图像执行用于立体显示的图像的切出处理。
根据本发明的第一方面，由所述光轴偏离量获取单元获取在与当前图像拾取模式相对应的畸变校正之后的光轴偏离量，并且基于所获取的光轴偏离量，对所述多个图像执行用于立体显示的图像的切出处理。因此，即使使用具有根据图像拾取模式而不同的校正精度的畸变校正公式来执行畸变校正的情况下，也能够在不影响所执行的校正的情况下校正光轴偏离。
根据本发明的第二方面，根据第一方面的立体图像拾取装置还包括变焦位置检测单元，所述变焦位置检测单元检测所述多个拍摄光学系统中的每一个的当前变焦位置。在该立体图像拾取装置中，所述第一存储单元在其中存储根据每个拍摄光学系统的变焦位置的畸变校正公式，并且所述畸变校正公式获取单元从所述第一存储单元中获取与当前图像拾取模式和每个拍摄光学系统的当前变焦位置相对应的畸变校正公式。
在其中将当前图像拾取模式设置为以低校正精度执行畸变校正的情况下，使用低次多项式作为畸变校正公式。另一方面，在其中将当前图像拾取模式设置为以高校正精度执行畸变校正的情况下，使用高次多项式作为畸变校正公式。另外，在存储与变焦位置相对应的畸变校正公式的情况下，可以想到存储具有根据变焦位置而不同的各项的系数的畸变校正公式，以及存储畸变校正公式的一般公式和根据变焦位置的系数。
根据本发明的第三方面，在根据第一方面或第二方面的立体图像拾取装置中，所述第二存储单元在其中存储根据所述多个拍摄光学系统中的每一个的变焦位置的每个拍摄光学系统的光轴偏离量，并且所述光轴偏离量获取单元根据当前图像拾取模式和每个拍摄光学系统的当前变焦位置来从所述第二存储单元中获取对应的光轴偏离量。
即，除了使用具有根据图像拾取模式而不同的校正精度的畸变校正公式之外，即使在变焦位置改变时也使用不同的畸变校正公式(具有不同系数等的公式)。因此，所述光轴偏离量获取单元在与当前图像拾取模式和当前变焦位置相对应的畸变校正之后获取光轴偏离量。
根据本发明的第四方面，在根据第二方面或第三方面的立体图像拾取装置中，根据每个图像拾取模式和变焦位置，所述第二存储单元在其中存储经过使用与每个图像拾取模式和每个拍摄光学系统的变焦位置相对应的畸变校正公式的畸变校正之后的光轴偏离量，作为每个拍摄光学系统的光轴偏离量，并且所述光轴偏离量获取单元包括读出单元，所述读出单元根据当前图像拾取模式和当前变焦位置来从所述第二存储单元中读出对应的光轴偏离量。
根据本发明的第五方面，在根据第二方面或第三方面的立体图像拾取装置中，根据每个拍摄光学系统的变焦位置，所述第二存储单元在其中存储所述畸变校正之前的光轴偏离量作为每个拍摄光学系统的光轴偏离量，并且所述光轴偏离量获取单元包括计算单元，所述计算单元基于当前变焦位置将从所述第二存储单元读出的光轴偏离量代入与当前图像拾取模式相对应的并且通过所述畸变校正公式获取单元获取的畸变校正公式中，以由此计算所述畸变校正之后的光轴偏离量。
根据本发明的第四方面，根据每个图像拾取模式和变焦位置，所述第二存储单元在其中存储在使用与每个图像拾取模式和变焦位置相对应的畸变校正公式的畸变校正之后的光轴偏离量，并且从所述第二存储单元中读出与当前图像拾取模式和当前变焦位置相对应的光轴偏离量。根据第五方面，第二存储单元根据变焦位置在其中存储畸变校正之前的光轴偏离量，并且基于当前变焦位置，从所述第二存储单元中读出所存储的光轴偏离量。然后，将读出的光轴偏离量代入与当前图像拾取模式相对应并且由畸变校正公式获取单元获取的畸变校正公式中，由此计算畸变校正之后的光轴偏离量。以该方式，获得畸变校正之后的光轴偏离量。
根据本发明的第六方面，在根据第二方面或第三方面的立体图像拾取装置中，所述第二存储单元针对每个图像拾取模式，在其中存储用于计算在使用与每个图像拾取模式和每个拍摄光学系统的变焦位置相对应的畸变校正公式的畸变校正之后的光轴偏离量的信息，作为每个拍摄光学系统的光轴偏离量，并且所述光轴偏离量获取单元包括计算单元，所述计算单元基于下述来计算对应的光轴偏离量：根据当前图像拾取模式从所述第二存储单元读出的信息以及当前变焦位置。
用于计算在与变焦位置相对应的畸变校正之后的光轴偏离量的信息的可想到的示例包括：两个变焦位置(即，广角端和远景端)处的畸变校正之后的光轴偏离量；以及用于使用这些光轴偏离量的线性插值的计算公式。可以基于该计算公式和当前变焦位置来计算与当前图像拾取模式和当前变焦位置相对应的光轴偏离量。
根据本发明的第七方面，根据第二方面或第三方面的立体图像拾取装置进一步包括聚焦位置检测单元，所述聚焦位置检测单元检测所述多个拍摄光学系统中的每一个的当前聚焦位置。在该立体图像拾取装置中，根据每个图像拾取模式、变焦位置和聚焦位置，所述第二存储单元在其中存储在使用与每个图像拾取模式和每个拍摄光学系统的变焦位置相对应的畸变校正公式的畸变校正之后的光轴偏离量，并且所述光轴偏离量获取单元包括读出单元，所述读出单元根据当前图像拾取模式、当前变焦位置和当前聚焦位置，从所述第二存储单元中读出对应的光轴偏离量。
光轴还由于拍摄光学系统的聚焦位置而偏离。因此，根据第七方面，根据每个图像拾取模式、变焦位置和聚焦位置，第二存储单元在其中存储畸变校正之后的光轴偏离量，并且从所述第二存储单元读出与当前图像拾取模式、当前变焦位置和当前聚焦位置相对应的光轴偏离量。
根据本发明的第八方面，根据第二方面或第三方面的立体图像拾取装置进一步包括聚焦位置检测单元，所述聚焦位置检测单元检测所述多个拍摄光学系统中的每一个的当前聚焦位置。在该立体图像拾取装置中，根据每个图像拾取模式和变焦位置，所述第二存储单元在其中存储用于计算在使用与每个图像拾取模式和每个拍摄光学系统的变焦位置相对应的畸变校正公式的畸变校正之后的光轴偏离量的信息，并且所述光轴偏离量获取单元包括计算单元，所述计算单元基于下述来计算对应的光轴偏离量：根据当前图像拾取模式和当前变焦位置从所述第二存储单元中读出的信息以及当前聚焦位置。
用于计算在使用与每个图像拾取模式和每个拍摄光学系统的变焦位置相对应的畸变校正公式的畸变校正之后的光轴偏离量的信息的可想到的示例包括：两个聚焦位置(即，最近距离和无限远)处的畸变校正之后的光轴偏离量；以及用于使用这些光轴偏离量的线性插值的计算公式。可以基于该计算公式和当前聚焦位置来计算与当前图像拾取模式、当前变焦位置和当前聚焦位置相对应的光轴偏离量。
根据本发明的第九方面，根据第一方面至第八方面中的任何一方面的立体图像拾取装置进一步包括：阴影校正单元，所述阴影校正单元对通过所述图像拾取控制单元获取的多个图像执行阴影校正。在该立体图像拾取装置中，所述图像切出单元对已经经历了由所述阴影校正单元进行的阴影校正的图像执行图像切出处理。在通过阴影校正使多个图像的亮度均匀之后，执行图像切出处理，这从而使多个切出图像之间没有亮度差。
根据本发明的第十方面，在根据第一方面至第九方面中的任何一方面的立体图像拾取装置中，所述图像切出单元对已经经历了由所述畸变校正单元进行的畸变校正的图像执行图像切出处理。这使得能够在没有畸变的情况下从多个图像切出图像。
根据本发明的第十一方面，在根据第一方面至第九方面中的任何一方面的立体图像拾取装置中，所述畸变校正单元对已经经历了由所述图像切出单元进行的切出处理的图像执行畸变校正。
根据本发明的第十二方面，在根据第一方面至第十一方面中的任何一方面的立体图像拾取装置中，所述多个图像拾取模式为下述中的两个或更多图像拾取模式：在显示器单元上显示现场观看图像的操作时设置的图像模式；静止图像拾取模式；运动图像拾取模式；以及畸变增强图像拾取模式。应当注意，畸变增强图像拾取模式的可想到的示例包括鱼眼图像拾取模式。另外，鱼眼图像拾取模式类似地被视为3D运动图像和3D静止图像之间的不同图像拾取模式。
根据本发明的第十三方面，根据第十方面的立体图像拾取装置进一步包括：选择连续拍摄模式的单元，其中，在获取了预设的数目的图像之前或者在给出拍摄指令时，从所述多个图像拾取单元获取多个时间系列图像；以及内部存储单元，所述内部存储单元在其中临时地存储以连续拍摄模式拍摄的图像。在该立体图像拾取装置中，所述阴影校正单元在以连续拍摄模式进行拍摄结束之后，读出存储在内部存储单元中的多个图像，以对其执行阴影校正。阴影校正是在连续拍摄结束之后执行的，从而能够防止连续拍摄速度的降低。
根据本发明的第十四方面，根据第一方面至第十三方面中的任何一方面的立体图像拾取装置进一步包括：模式选择单元，所述模式选择单元选择拍摄模式或再生模式；以及记录单元，所述记录单元将指示所述图像拾取模式的信息和指示由所述光轴偏离量获取单元所获取的光轴偏离量的信息连同所述图像拾取控制单元在由所述模式选择单元选择的拍摄模式中所获取的多个图像一起，与所获取的多个图像相关联地记录到记录介质中。在该立体图像拾取装置中，所述畸变校正单元和所述图像切出单元从所述记录介质中读出与所述图像相关联地记录的多条信息以及由所述模式选择单元选择的再生模式中的多个图像，以基于与所读出的多条信息相对应的畸变校正公式和光轴偏离量来对所读出的多个图像执行畸变校正和图像切出处理。畸变校正和图像切出处理不是在拍摄时执行的而是在再生时执行的，从而能够减少拍摄时的处理量。特别是在拍摄3D运动图像时，能够以高帧速率拍摄并且记录高清晰度3D运动图像。
根据本发明的第十五方面，在根据第十四方面的立体图像拾取装置中，所述记录单元将在再生模式中经历了畸变校正和图像切出处理的图像记录到所述记录介质中。应当注意，可以记录诸如畸变校正的处理之后的图像，以便于覆写处理前的图像，或者可以与处理前的图像分立地进行记录。
根据本发明的第十六方面，根据第一至第十五方面中的任何一个的立体图像拾取装置进一步包括视差量调整单元，所述视差量调整单元调整从所述多个图像拾取单元输出的多个图像之间的视差量。在该立体图像拾取装置中，所述图像切出单元在进行用于立体显示的图像的切出处理时，基于由所述视差量调整单元调整的视差量，对其切出位置要进一步被调整的图像执行切出处理。这使得能够对多个图像执行切出处理，以便于获得与用户偏好匹配的视差量。
发明的有益效果
根据本发明，即使在以对于用于拍摄3D运动图像、3D静止图像等的每个图像拾取模式而不同的校正精度来执行畸变校正的情况下，也能够获得如下多个图像，该多个图像在畸变校正之后在用于立体观看的图像之间不具有光轴偏离并且因而易于立体观看。
附图说明
图1A是图示根据本发明的立体图像拾取装置的外观的视图；
图1B是图示根据本发明的立体图像拾取装置的外观的视图。
图2是图示根据本发明的立体图像拾取装置的实施例的框图。
图3是示出根据本发明的在装运前在光轴调整时执行的处理的第一实施例的流程图。
图4A是图示在装运前在光轴调整时记录到EEPROM中的表的示例的示图。
图4B是图示在装运前在光轴调整时记录到EEPROM中的表的示例的示图。
图4C是图示在装运前在光轴调整时记录到EEPROM中的表的示例的示图。
图5是示出根据本发明的立体图像拾取装置的每个图像拾取模式的拍摄操作的流程图。
图6是示出图5中图示的图像处理的第一实施例的流程图。
图7是示出根据本发明的在装运前在光轴调整时执行的处理的第二实施例的流程图。
图8是示出计算在畸变校正后的光轴偏离量的实施例的流程图。
图9是图示其中针对每个变焦位置和每个聚焦位置保持畸变校正后的光轴偏离量的表的示图。
图10是图示通过线性插值来计算存储在图9的表中的光轴偏离量的一部分的示例的示图。
图11是示出图5中图示的图像处理的第二实施例的流程图。
图12是示出连续拍摄时执行的图像处理的第一实施例的流程图。
图13是示出连续拍摄时执行的图像处理的第二实施例的流程图。
图14是示出连续拍摄时执行的图像处理的第三实施例的流程图。
图15是示出由根据本发明的立体图像拾取装置进行的拍摄处理的第一实施例的流程图。
图16是示出由根据本发明的立体图像拾取装置进行的再生处理的第一实施例的流程图。
图17是示出由根据本发明的立体图像拾取装置进行的拍摄处理的第二实施例的流程图。
图18是示出由根据本发明的立体图像拾取装置进行的再生处理的第二实施例的流程图。
图19是用于描述图17和图18中分别示出的拍摄和再生的第二实施例中的图像切出处理的视图。
图20是图示畸变校正前后之间的左右图像的光轴中心偏离的状态的视图。
具体实施方式
以下，参考附图描述根据本发明的立体图像拾取装置的实施例。
[立体图像拾取装置的外观]
图1是每一个都图示根据本发明的立体图像拾取装置的外观的视图。图1A是从立体图像拾取装置前面观察到的立体图像拾取装置的立体视图，并且图1B是立体图像拾取装置的背面视图。
立体图像拾取装置(复眼相机)10是能够记录和再生2D/3D静止图像以及2D/3D运动图像的数字相机，并且如图1A和图1B中所示，在薄型立方体相机主体的上表面上设置快门按钮11和变焦按钮12。
具有与相机主体的水平宽度基本上相同的宽度的透镜挡板13被设置在相机主体的前表面上，以便于可在相机主体的垂直方向上移动。在由交替的一长两短点划线指示的位置和由实线指示的位置之间在垂直方向上移动透镜挡板13，从而可以同时打开/关闭成对的左右拍摄光学系统14-1和14-2的前表面。应当注意，折射光学系统的变焦透镜被用作拍摄光学系统14-1和14-2。另外，可以结合由透镜挡板13进行的透镜的前表面的打开/关闭操作来使相机通电/断电。
如图1B中所示，在相机主体的后表面的中央部分中设置用于3D的液晶监视器16。液晶监视器16可以通过视差屏障(barrier)将多个视差图像(用于右眼的图像和用于左眼的图像)显示为每一个都具有预定方向性的方向性图像。应当注意，可以采用包括双凸透镜(lenticularlens)的监视器作为用于3D的液晶监视器16，可以通过佩戴诸如偏振眼镜的特殊眼镜和液晶快门眼镜等而在监视器上独立地观看用于右眼的图像和用于左眼的图像。
在液晶监视器16的左侧和右侧设置各种操作开关。操作开关18A是用于在静止图像拍摄和运动图像拍摄之间切换的转换开关，操作开关18B是用于调整用于右眼的图像和用于左眼的图像的视差量的视差调整开关，并且操作开关18C是用于在2D图像拾取和3D图像拾取之间进行切换的转换开关。另外，操作开关18D为跷跷板式按键，其用作MEMU/OK(菜单/确认)按钮和再生按钮二者，操作开关18E是多功能箭头键，并且操作开关18F是DISP/BACK(显示/返回)按键。
MEMU/OK按钮是设置有如下功能的操作开关：用于给出指令以在液晶监视器16的屏幕上显示菜单的菜单按钮的功能；以及用于给出指令以确定和执行所选择的内容的OK按钮的功能。再生按钮是用于从拍摄模式切换到再生模式的按钮。箭头键是用于在上、下、左、右四个方向上输入指令的操作开关，并且对箭头键指配微距按钮、闪光按钮、自定时按钮等。另外，在选择了菜单的情况下，箭头键用作用于给出指令以从菜单画面选择项目或者从每个菜单选择各种设置项目的开关(光标移动操作单元)。另外，包括在箭头键中的左右键用作再生模式中的逐帧前进(正向/反向前进)按钮。DISP/BACK键用于切换液晶监视器16的显示模式、取消菜单画面上的指令内容或者返回到前一操作状态。
应当注意，在图1A中，附图标记15指示立体声麦克风。
[立体图像拾取装置的内部构造]
图2是图示立体图像拾取装置10的实施例的框图。
如图2中所示，立体图像拾取装置10主要包括：多个图像拾取单元20-1和20-2；中央处理单元(CPU)32；操作单元34，该操作单元包括快门按钮11、变焦按钮12和上述各种操作开关；显示控制单元36；液晶监视器16；记录控制单元38；压缩/解压缩处理单元42；数字信号处理单元44；AE(自动曝光)检测单元46；AF(自动聚焦)检测单元48；AWB(自动白平衡)检测单元50；VRAM 52；RAM 54；ROM 56；和EEPROM 58。应当注意，图像拾取单元20-1和20-2拾取两个视差图像，即，在其间具有视差的用于左眼的图像和用于右眼的图像，并且替代地，图像拾取单元20的数目可以为三或更多。
拾取用于左眼的图像的图像拾取单元20-1包括：棱镜(未示出)；拍摄光学系统14-1(图1A)，该拍摄光学系统14-1由聚焦透镜和变焦透镜21组成；光学单元，该光学单元由光圈22和机械式快门23组成；固态图像拾取元件(CCD)24；模拟信号处理单元25；A/D转换器26；图像输入控制器27；驱动光学单元的透镜驱动单元28；光圈驱动单元29；快门控制单元30；以及控制CCD 24的CCD控制单元31。应当注意，拾取用于右眼的图像的图像拾取单元20-2具有与拾取用于左眼的图像的图像拾取单元20-1的构造相同的构造，并且因而省略了对其特定构造的描述。
CPU 32基于来自操作单元34的输入，根据预定控制程序来以综合方式控制相机的整个操作。应当注意，ROM 56在其中存储由CPU 32执行的控制程序、控制所必需的各种数据等，并且EEPROM 58在其中存储指示在产品装运之前的调整时的调整结果的各种信息，例如，CCD24的像素缺陷信息、用于图像处理的校正参数和表等。应当注意，稍后将详细描述存储在其中的各种信息。
另外，VRAM 52是其中临时存储了要在液晶监视器16上显示的用于显示的图像数据的存储器，并且RAM 54包括用于CPU 32的算术运算的区域和图像数据的临时存储区域。
包括在拍摄光学系统中的聚焦透镜和变焦透镜21由透镜驱动单元28来驱动，以由此沿光轴前后移动。CPU 32控制透镜驱动单元28的驱动，并且因此控制聚焦透镜的位置，以由此执行聚焦，使得被摄体进入焦点。此外，CPU 32响应于来自包括在操作单元34中的变焦按钮12的变焦指令来控制变焦透镜的变焦位置，以由此改变变焦倍率。
光圈22由例如虹膜式光圈构成，并且由光圈驱动单元29驱动来进行操作。CPU 32经由光圈驱动单元29来控制光圈22的开口(孔径)，以由此控制进入CCD 24的光量。
机械式快门23打开/关闭光学路径，以由此决定CCD 24的曝光时间，并且当从CCD 24读出图像信号时阻止不必要的光进入CCD 24，以由此防止拖尾(smear)的发生。CPU 32向快门控制单元30输出与对应于快门速度的曝光结束时间点同步的快门关闭信号，以由此控制机械式快门23。
CCD 24由二维彩色CCD固态图像拾取元件构成。在CCD 24的受光表面上以二维方式布置大量光电二极管，并且以预定布置图案将滤色器提供给每个光电二极管。
经由由此构成的光学单元在CCD的受光表面上成像的被摄体的光学图像由这样的光电二极管转换成与入射光量相对应的信号电荷。响应于来自CPU 32的命令，基于从CCD控制单元31供给的驱动脉冲，从CCD 24顺序读出每个光电二极管中所累积的信号电荷，作为与信号电荷相对应的电压信号(图像信号)。CCD 24具有电子快门功能，并且控制光电二极管的电荷累积时间，由此控制曝光时间(快门速度)。应当注意，与快门速度相对应的电荷累积开始时间点通过电子快门来控制，而曝光结束时间点(电荷累积结束时间点)通过关闭机械式快门23来控制。在本实施例中，CCD 24用作图像拾取元件，并且替代地，可以采用具有其他构造的图像拾取元件，诸如CMOS传感器。
通过模拟信号处理单元25对从CCD 24读出的R、G和B模拟信号进行相关双采样(CDS)和放大，并且然后通过A/D转换器26将R、G和B模拟信号转换成R、G和B数字信号。
图像输入控制器27包括具有预定容量的内置线缓冲器，其中通过A/D转换器26对其进行A/D转换的R、G和B图像信号(CCD RAW数据)被临时性地累积在其中，以经由总线60存储到RAM 54中。
在3D图像拾取模式时，与拾取用于左眼的图像的图像拾取单元20-1类似地，CPU 32控制拾取用于右眼的图像的图像拾取单元20-2。
AE检测单元46基于快门按钮11半按下时得到的图像信号来计算AE控制所必需的被摄体照度，并且向CPU 32输出指示被摄体照度(拍摄EV值)的信号。基于接收到的拍摄EV值，CPU 32根据预定程序图表来设置多个图像拾取单元20-1和20-2中的快门速度(曝光时间)、孔径和拍摄灵敏度。
AF检测单元48将半按下快门按钮11时得到的AF区域中的图像信号的高频分量的绝对值累加在一起，并且向CPU 32输出累加值(AF评估值)。CPU 32使聚焦透镜从最近距离朝无限远移动，搜索通过AF检测单元48检测到的AF评估值变为最大的焦点对准(in-focus)位置，并且使聚焦透镜移动到该焦点对准位置，以由此对被摄体(主被摄体)执行聚焦。应当注意，在拍摄运动图像时，CPU 32执行所谓的爬山(hillclimbing)控制，其中，移动聚焦透镜，使得AF评估值总是具有最大值。
AWB检测单元50基于在实际拍摄时获取的R、G和B图像信号来自动地获得光源类型(被摄领域的色温)，并且从表中读出对应的白平衡增益，在所述表中存储针对每个光源类型预先设置的R、G和B的白平衡增益(白平衡校正值)。
数字信号处理单元44包括白平衡校正电路、灰度转换处理电路(例如，伽马校正电路)、同步电路、轮廓校正电路、照度/色差生成电路等，所述同步电路对由于单板CCD中的滤色器布置而导致的R、G和B的彩色信号的空间偏离进行插值，以由此使各个彩色信号的位置彼此匹配。数字信号处理单元44对存储在RAM 54中的R、G和B的图像信号(CCD原始数据)执行图像处理。即，在数字信号处理单元44中，使R、G和B的CCD原始数据乘以由AWB检测单元50检测到的白平衡增益，从而执行白平衡校正。此后，CCD原始数据经历诸如灰度转换处理(例如，伽马校正)的预定处理，并且然后被转换成由亮度信号(Y信号)和色差信号(Cr信号和Cb信号)形成的YC信号。由数字信号处理单元44处理的YC信号被存储到RAM 54中。
另外，数字信号处理单元44包括：畸变校正电路，该畸变校正电路校正多个图像拾取单元20-1和20-2的拍摄光学系统的透镜畸变；以及图像切出处理电路，该图像切出处理电路从左右视点图像中的每一个切出预定切出区域的图像，以由此校正多个图像拾取单元20-1和20-2的拍摄光学系统的光轴偏离。应当注意，畸变校正电路和图像切出处理电路的处理内容稍后将详细描述。
压缩/解压缩处理单元42响应于来自CPU 32的命令在记录到存储卡40中时压缩存储在RAM 54中所存储的YC信号，并且解压缩记录在存储卡40中的压缩数据，以由此获得YC信号。记录控制单元38将通过压缩/解压缩处理单元42压缩的压缩数据的图像文件以预定格式(例如，在3D静止图像的情况下为MP(多图片)格式的图像文件；在3D运动图像的情况下为运动JPEG、H.264、MPEG4或MPEG4-MVC的运动图像文件)记录到存储卡40中，或者从存储卡40读出图像文件。
液晶监视器16被用作用于显示所拍摄的图像的图像显示单元，并且还被用作用于进行各种设置的GUI(图形用户界面)。另外，液晶监视器16被用作电子取景器，其显示用于在拍摄模式中检查视角的现场观看图像(以下，称为“直通图像(through image)”)。在其中在液晶监视器16上显示3D图像的情况下，显示控制单元36逐个像素的、交替地显示保持在VRAM 52中的用于左眼的图像和用于右眼的图像。提供给液晶监视器16的视差屏障允许在预定距离处进行观察的用户的左右眼单独观看逐个像素交替布置的左右图像。这使得能够进行立体观看。
应当注意，虽然图2中没有图示，但立体图像拾取装置10还具有记录和再生通过图1A中图示立体声麦克风15所获取的语音信息(音频数据)的功能。
[产品装运前的光轴调整的第一实施例]
接下来，对在产品装运前的调整时被存储到EEPROM 58中的用于光轴调整的信息进行描述。
图3是示出根据本发明的在装运前的光轴调整时执行的处理的第一实施例的流程图。
如图3所示，首先，将要调整的立体图像拾取装置10和用于调整光轴的调整图设定成处于预定的位置关系中，并且调整立体图像拾取装置10的每个拍摄光学系统的聚焦位置，以由此聚焦在调整图上(步骤S10)。应当注意，调整图被置于拍摄光学系统的光轴相互相交的收敛点的位置处。
接下来，将指示图像拾取模式的变量N设置为1(步骤S12)。这里，N＝1指示当在液晶监视器16上显示3D直通图像时的图像拾取模式，N＝2指示当拍摄3D运动图像时的图像拾取模式，并且N＝3指示当拍摄3D静止图像时的图像拾取模式。
随后，拍摄调整图，并且获取左右图像(步骤S14和S16)。
对所获取的左右图像中的每一个执行与当前图像拾取模式N相对应的畸变校正(步骤S18)。这里，用于执行畸变校正的所使用的畸变校正公式具有根据图像拾取模式N而不同的校正精度。例如，在用于直通图像的图像拾取模式(N＝1)中使用二次多项式，在用于运动图像的图像拾取模式(N＝2)中使用四次多项式，并且在用于静止图像的图像拾取模式(N＝3)中使用六次多项式。应当注意，高次畸变校正公式可以实现具有较高精度的畸变校正，但计算量增加。因此，校正精度和计算量具有折衷关系。
在步骤S18中的畸变校正之后，执行用于检测左右图像之间的对应特征点的对应点检测(步骤S20)。例如，可以采用块匹配法(blockmatching)作为检测对应点的方法。即，评估具有预定块尺寸并且从左图像关于作为基准的其任意像素作所切出的块和右图像的块之间的一致性程度，并且将当块之间的一致性程度最大时的右图像的块的基准像素被定义为与所述左图像的任意像素相对应的右图像的像素。另外，例如，可以使用块中像素之间的亮度差的平方和(SSD)作为用于以块匹配法评估块之间的一致性程度的函数(SSD块匹配法)。
在如上所述检测到对应点之后，检测对应点的偏离量(如果检测到多个对应点，则检测多个对应点的偏离量的平均)，并且与图像拾取模式N相关联地将检测到的偏离量存储到EEPROM 58中，作为两个拍摄光学系统的光轴偏离量(步骤S22和S24)。
接下来，确定是否为N＝4(步骤S26)。如果“否”，则使N递增1(步骤S28)，并且CPU 32转到步骤S18。如果“是”，则结束调整处理(步骤S30)。
以该方式，针对每个图像拾取模式(N＝1、2、3)将光轴偏离量存储到EEPROM 58中。
应当注意，在其中图像拾取光学系统是单个聚焦透镜的情况下，以如上所述的这样的方式来预先获取光轴偏离量，并且另一方面，在如本实施例中的图像拾取光学系统为变焦透镜的情况下，针对变焦透镜的每个变焦位置来获取光轴偏离量。
在其中变焦透镜的变焦位置从广角端处的变焦位置(Z1)到远景端处的变焦位置(Z10)具有10个阶段的情况下，将变焦透镜移到每个变焦位置，并且针对每个变焦位置执行上述从步骤S14到步骤S24的处理，从而针对每个变焦位置将光轴偏离量存储到EEPROM 58中。
应当注意，在步骤S18中的畸变校正中使用与每个变焦位置相对应的畸变校正公式。
图4A至图4C的每一个图示了示出每个图像拾取模式的光轴偏离量的表的示例，该光轴偏离量被存储在EEPROM 58中。
图4A至图4C分别图示了用于直通图像的表、用于静止图像的表和用于运动图像的表，并且各个表在其中针对每个变焦位置存储关于左右图像的光轴偏离量(垂直(V)方向上的光轴偏离量)。应当注意，在3D图像的情况下，各个图像之间的V方向上的光轴偏离对于立体视图而言是成问题的，并且因而仅存储V方向上的光轴偏离量，但并不限于此，还可以存储水平(H)方向上的光轴偏离量。
另外，用于每个图像拾取模式和每个变焦位置的畸变校正公式也被存储在EEPROM 58中。在该情况下，可考虑存储畸变校正公式的一般公式，该一般公式对于每个变焦位置都相同，只是每个项的系数针对每个变焦位置而改变，或者存储对于每个变焦位置不同的畸变校正公式。
[拍摄操作]
接下来，参考图5中所示流程图来描述由根据本发明的立体图像拾取装置10进行的3D运动图像或3D静止图像的拍摄操作。
通过图1B中图示的操作开关18A进行到运动图像拍摄模式的切换，并且通过图1B中图示的操作开关18C进行到3D图像拾取模式的切换，从而可以设置用于拍摄3D运动图像的拍摄模式(以下，称为“3D运动图像拍摄模式”)。另外，通过操作开关18A进行到静止图像拍摄模式的切换，并且通过操作开关18C进行到3D图像拾取模式的切换，从而可以设置用于拍摄3D静止图像的拍摄模式(以下，被称为“3D静止图像拍摄模式”)。
在步骤S40中，确定操作开关18A和18C将拍摄模式设置为3D运动图像拍摄模式还是3D静止图像拍摄模式。
如果确定了将拍摄模式设置为3D运动图像拍摄模式，则CPU 32确定是否给出拍摄运动图像的指令(快门按钮11全按下(开关S2接通))(步骤S42)。如果开关S2是断开的，则在液晶监视器16上显示3D直通图像(步骤S44)。
在显示3D直通图像的情况下，使用用于直通图像的畸变校正公式(二次多项式)来对从左右图像拾取单元20-1和20-3以时间系列方式顺序获取的左右图像执行畸变校正。此外，从图4A中图示的用于直通图像的表中读出与变焦透镜的当前变焦位置相对应的左右图像的光轴偏离量，并且从畸变校正后的图像切出用于3D直通图像的图像，使得这些光轴偏离量被抵消。然后，将切出的图像输出到液晶监视器16。
结果，能够在液晶监视器16上显示其中校正了两个图像拾取光学系统的针对每个变焦位置而不同的光轴偏离量的3D的直通图像。
另一方面，当开关S2被接通时，CPU 32开始3D运动图像的拍摄(步骤S46)。
当开始3D运动图像的拍摄时，对从左右图像拾取单元20-1和20-3以时间系列方式顺序获取的左右图像执行诸如畸变校正和图像切出处理的图像处理以及记录处理(步骤S48)。
[图像处理的第一实施例]
图6是示出图5的步骤S48等中的图像处理的第一实施例。
在该附图中，当获取左右图像时(步骤482)，包括在数字信号处理单元44中的畸变校正电路使用作为用于运动图像的畸变校正公式(四次多项式)并且与变焦透镜的当前变焦位置相对应的畸变校正公式，以由此对所获取的左右图像执行畸变校正(步骤S484)。
随后，从图4C的用于运动图像的表中读出与当前变焦位置(Z-pos)相对应的光轴偏离量，并且基于所读出的光轴偏离量，使切出范围在畸变校正后在左右图像上移动该光轴偏离量，从而执行图像切出处理(步骤S486)。结果，所切出的图像作为其光轴偏离已经被校正的图像被获得。
如上所述切出的左右图像的每一个以预定压缩格式被压缩，并且然后被记录到在存储卡40中创建的运动图像文件中(步骤S488)。应当注意，每当结束1秒的规定帧数(在帧速率为60帧/秒的情况下为60帧)的图像处理时就执行运动图像的记录处理，并且将压缩的运动图像顺序添加到运动图像文件。另外，还每1秒地压缩通过立体声麦克风15获取的语音数据，以将其记录到运动图像文件中。
返回到图5，确定开关S2是否被再次接通(步骤S50)。如果开关S2断开，则处理前进到步骤S48，并且继续运动图像的处理。当开关S2被接通时，结束3D运动图像的拍摄。
另一方面，如果在步骤S40中确定了拍摄模式被设置为3D静止图像拍摄模式，则CPU 32确定是否给出拍摄静止图像的指令(开关S2接通)(步骤S52)。如果开关S2断开，则在液晶监视器16上显示3D直通图像(步骤S54)。以与上述步骤S44中相同的方式执行3D直通图像在液晶监视器16上的显示。
当开关S2被接通时，CPU 32执行3D静止图像的拍摄(步骤S56)。不必说，当两段键程式快门(two-stage stroke shutter)按钮在被全按下之前被半按下时，其开关S1被接通，从而执行实际拍摄前的拍摄准备操作，诸如AE处理和AF处理。
与步骤S48类似地，对在实际拍摄时从左右图像拾取单元20-1和20-2获取的左右图像执行诸如畸变校正和图像切出处理的图像处理以及记录处理(步骤S58)。应当注意，步骤S58中的畸变校正是通过使用作为具有高校正精度的六次多项式的畸变校正公式来执行的，并且图像切出处理是基于从图4B的用于静止图像的表对应于当前变焦位置而读出的光轴偏离量来执行的。
[产品装运前的光轴调整的第二实施例]
图7是示出根据本发明的光轴调整时执行的处理的第二实施例的流程图。应当注意，与图3所示第一实施例的部分共同的部分用相同的步骤编号表示，并且省略其详细描述。
在图7中示出的第二实施例中，省略了图3中示出的步骤S12、S18、S26和S28的处理。
在图3中所示的第一实施例中，针对要存储到EEPROM 58中的直通图像、运动图像和静止图像的每个图像拾取模式检测光轴偏离量(参见图4A至图4C)。另一方面，在图7所示的第二实施例中，不对在步骤S16中获取的左右图像执行畸变校正，执行左右图像的对应点检测，并且检测左右图像的光轴偏离量(步骤S20和S22)。然后，将所检测到的光轴偏离量存储到EEPROM 58中(步骤S24)。应当注意，与图3所示的实施例类似地，针对变焦透镜的每个变焦位置来将光轴偏离量存储到EEPROM 58中。
即，在图7所示的第二实施例中，检测并且记录畸变校正前的左右图像的光轴偏离量，并且不检测或记录用于每个图像拾取模式的光轴偏离量。
然后，使用存储在EEPROM 58中的每个变焦位置的光轴偏离量的表，如图8所示，在拍摄时计算畸变校正后的光轴偏离量。
图8中，获取与当前图像拾取模式有关的信息和与变焦透镜的变焦位置有关的信息(步骤S60和S62)。
基于所获取的与变焦位置有关的信息来参考存储在EEPROM 58中的表，并且获取与变焦位置相对应的光轴偏离量(步骤S64)。另外，基于所获取的当前图像拾取模式和所获取的当前变焦位置，从EEPROM 58获取与当前图像拾取模式和变焦位置相对应的畸变校正公式(计算公式)。
通过将步骤S64中所获取得光轴偏离量代入所获取的计算公式中来执行计算，从而计算畸变校正后的光轴偏离量(步骤S66和S68)。
在图5中所示的步骤S44、S48和S58以及图6所示的步骤S486中的图像切出处理中使用上面计算的光轴偏离量。
如上所述，将畸变校正前的光轴偏离量保持在EEPROM 58中，在实际图像切出处理时，将保持在EEPROM 58中的值代入用于畸变校正的计算公式中，并且从而计算畸变校正后的光轴偏离量。以该方式，可以减小EEPROM 58的存储器占用率，并且即使在固件等被改变(包括畸变校正的改变)的情况下，也可以容易地改变切出位置。
应当注意，虽然如图4A至图4C所示的光轴偏离量的表在其中存储了每个变焦位置的光轴偏离量，但是表可以在其中仅存储至少两个变焦位置(例如，广角端和远景端)的光轴偏离量，并且可以通过根据当前变焦位置来对存储的至少两个变焦位置的光轴偏离量进行线性插值来计算变焦位置而不是所存储的变焦位置的光轴偏离量。
[产品装运前的光轴调整的第三实施例]
由立体图像拾取装置10获取的左右图像的光轴中心不仅会由于变焦透镜的变焦位置而偏离，而且还会由于聚焦透镜的聚焦位置而偏离。
鉴于上述情况，在第三实施例中，在装运前的检验中获取要存储到EEPROM 58中的用于聚焦透镜的每个聚焦位置的光轴偏离量。
即，针对聚焦透镜的每个聚焦位置(从最近距离的聚焦位置(F1)朝着无限远的聚焦位置(Fn))检测光轴偏离量。例如，将调整图置于与特定聚焦位置相对应的被摄体距离，并且在改变变焦透镜的变焦位置的同时针对每个变焦透镜检测光轴偏离量。可以基于如图3所示的第一实施例中所描述的畸变校正之后的左右图像来检测该光轴偏离量，或者可以基于如图7所示的第二实施例中所描述的畸变校正之前的左右图像来检测该光轴偏离量。
如上所述执行光轴偏离量的检测，同时将调整图的位置顺序移到与聚焦位置相对应的位置，由此获取用于所有变焦位置和所有聚焦位置的光轴偏离量。
图9图示了对应于变焦位置(Z1至Zn)和所有聚焦位置(F1至Fn)而获取的光轴偏离量的表。应当注意，在获取畸变校正之后的光轴偏离量的情况下，针对每个图像拾取模式创建图9所示的表。
然后，通过下述操作来获取要在图5中所示的步骤S44、S48和S58以及图6中所示的步骤S486中的图像切出处理中使用的光轴偏离量：根据当前图像拾取模式来选择表；以及基于当前变焦位置和当前聚焦位置，从所选择中的表读出对应的光轴偏离量。
另外，在图9中所示的表在其中存储畸变校正之前的光轴偏离量的情况下，将对应于当前变焦位置和当前聚焦位置所读出的光轴偏离量代入到与当前图像拾取模式和当前变焦位置相对应的畸变校正公式中，从而计算畸变校正之后的光轴偏离量。
此外，图9图示的表在其中存储与所有变焦位置和所有聚焦位置相对应的光轴偏离量，但并不限于此，如图10所图示的，可以检测并且存储仅两个聚焦位置(最近距离的聚焦位置(近)和无限远的聚焦位置(无限远))的光轴偏离量，并且通过利用中间的聚焦位置来对这两个聚焦位置的光轴偏离量进行线性插值来计算中间聚焦位置的光轴偏离量。
应当注意，在变焦位置到达远景端并且聚焦透镜的移动量因此变得更大的情况下，优选地，检测并且存储三个聚焦位置(即，最近距离、中间距离和无限远)的光轴偏离量，并且通过从最近距离到中间距离或者从中间距离到无限远的线性插值来计算光轴偏离量。
[图像处理的第二实施例]
图11是示出图5的步骤S48等中执行的图像处理的第二实施例的流程图。应当注意，与图6所示的第一实施例的那些共同的部分用相同的步骤编号表示，并且省略对其的详细说明。
与图6所示的第一实施例相比，图11中所示的图像处理的第二实施例与第一实施例的不同之处在于，在其中执行畸变校正的步骤S484之前添加了其中执行阴影校正的步骤483。
即，在步骤S483中，通过使用下述内容来校正(阴影校正)在步骤S482中获取的左右图像的每个像素的亮度：表，该表是根据视角位置针对左右图像单独提供的并且在其中存储阴影校正值；或者阴影校正值，该阴影校正值是根据视角位置通过计算公式获得的。
在通过这样的阴影校正使得左右图像的亮度均匀之后，执行畸变校正和图像切出处理，这因此使得所切出的左右图像在其间没有亮度差。
[连续拍摄时执行的图像处理的第一实施例]
连续拍摄的各个图像被视作静止图像，并且因此需要与3D静止图像的图像处理类似的图像处理。即，作为畸变校正，有必要使用具有高校正精度的畸变校正公式来执行校正。
然而，在连续拍摄时的拍摄间隔短的情况下，无法实时地执行具有高校正精度的畸变校正、图像切出处理等。
图12是示出连续拍摄时执行的图像处理的第一实施例的流程图。
当连续拍摄模式被设置并且输入连续拍摄图像的指令(开关S2接通)时(步骤S70)，CPU 32以连拍执行一个帧的拍摄(步骤S72)，并且将具有全视角的左右图像临时存储到RAM 54中(步骤S74)。
随后，确定开关S2是接通还是断开(步骤S76)。如果开关S2接通，则CPU 32去往步骤S72。如果开关S2断开，则开关S2去往步骤S78。即，在开关S2接通时，保持执行连续拍摄，并且保持将具有全视角的左右图像存储到RAM 54中。
当开关S2被断开时，逐帧地读出保存在RAM 54中的时间系列左右图像，并且通过使用与连续拍摄时的变焦透镜的变焦位置和连续拍摄模式相对应的畸变校正公式来对其进行畸变校正(步骤S78)。
随后，从EEPROM 58中读出或计算与连续拍摄时的变焦透镜的变焦位置和连续拍摄模式相对应的光轴偏离量，并且基于该光轴偏离量，从已经经过畸变校正的具有全视角的图像切出图像，以由此校正光轴偏离量(步骤S80)。
对如上所述切出的图像进行压缩处理等，并且然后将该切出的图像记录到存储卡40中(步骤S82)。
[连续拍摄时执行的图像处理的第二实施例]
图13是示出连续拍摄时执行的图像处理的第二实施例的流程图。应当注意，与图12所示的连续拍摄时执行的图像处理的第一实施例的那些共同的部分用相同的步骤编号表示，并且省略对其的详细说明。
图13中所示的连续拍摄时执行的图像处理的第二实施例与第一实施例的不同之处在于，在步骤S76和S78之间添加了步骤S77的处理。
即，在步骤S77中，对保存在RAM 54中的左右图像中的每一个执行根据视角位置的阴影校正，由此使得左右图像的亮度均匀。这使得要在后续步骤中对其执行畸变校正和图像切出处理的左右图像之间没有亮度差。
[连续拍摄时执行的图像处理的第三实施例]
图14是示出连续拍摄时执行的图像处理的第三实施例的流程图。应当注意，与图12中所示的连续拍摄时执行的图像处理的第一实施例的那些共同的部分用相同的步骤编号表示，并且省略对其的详细说明。
图14中所示的连续拍摄时执行的图像处理的第三实施例与第一实施例的不同之处在于，从连续拍摄的多个时间系列图像中，仅将用户指定要保存的图像保存到存储卡40中。
在图14中，当开关S2被断开时(步骤S76)，以拍摄的顺序读出并且再生保存在RAM 54中的时间系列左右图像(步骤S90)。
这里，假定在连续拍摄中执行了N次3D图像的拍摄，读出第N(指示拍摄顺序的N＝1至N)次的左右图像，并且执行畸变校正和图像切出处理(步骤S78和S80)。在液晶监视器16上将该处理后的左右图像显示为3D静止图像显示(步骤S92).
用户确定在观看在液晶监视器16上显示的3D静止图像的同时是否将3D静止图像保存到存储卡40中(步骤S94)。如果“是”(例如，在MENU/OK按钮被接通的情况下)，将在液晶监视器16上显示的3D静止图像保存到存储卡40中。
另一方面，如果“否”(例如，在通过包括在箭头键中的左右按键给出逐帧前进的指令的情况下)，则CPU 32去往步骤S90，从RAM54中读出接下来的左右图像，并且执行与上述相同的处理。
应当注意，在上述实施例中，在开关S2接通期间的时段期间执行连续拍摄，但并不限于此，可以在开关S2被接通时连续拍摄预设数目的图像。
[拍摄/再生处理的第一实施例]
图15和图16是示出根据本发明的立体图像拾取装置10进行的拍摄/再生处理的第一实施例的流程图。
在图15中，当立体图像拾取装置10被设置为拍摄模式，以由此开始拍摄时，将开始拍摄时的图像拾取模式(例如，3D运动图像拍摄模式或3D静止图像拍摄模式)、变焦透镜的变焦位置以及光轴偏离量写入到记录在存储卡40中的图像文件的标签(tag)中(步骤S100)。应当注意，根据图像拾取模式、变焦位置等从EEPROM 58中读出或者计算所使用的光轴偏离量。
另外，将所拍摄的具有全视角的左右图像(运动图像或静止图像)保存到图像文件中(步骤S102)。
即，在拍摄时，不执行上述畸变校正和上述图像切出处理，而将校正前的图像以及校正所需要的信息记录到标签中。
同时，如图16中所示，当将立体图像拾取装置10设置为再生模式以由此开始再生时，从保存在存储卡40中的要再生的图像文件中读出标签信息以及左右图像(步骤S110)。
然后，获取由包含在标签信息中的图像拾取模式和变焦位置所指定的畸变校正公式，并且使用所获取的畸变校正公式来对读出的左右图像执行畸变校正(步骤S112)。
随后，基于包含在标签信息中的光轴偏离量来从畸变校正后的左右图像切出图像，以由此校正光轴偏离(步骤S114)。
显示这样切出的左右图像，使得其切出中心位于液晶监视器16的画面中心(步骤S116)，并且从而将左右图像显示为没有光轴偏离量并且易于立体观看的3D图像。
如上所述保存具有全视角的图像，从而能够在2D照片印刷的情况下获得较广角度的照片印刷。另外，在用户选择2D再生的情况下，还能够再生以上切出图像中的任何一个切出图像。由此，即使在用户对3D再生感到眼睛疲劳，并且因此切换到2D再生时，可以知道3D图像的视角大小。
应当注意，在本实施例中，光轴偏离量被记录为标签信息，并且替代地，可以记录光轴中心的坐标或切出范围的对角的坐标作为光轴偏离量的代替。简言之，可以记录与图像切出有关的任何信息，只要该信息可以用于校正光轴偏离。
另外，还能够将在3D再生时经过畸变校正和图像切出处理的图像记录到存储卡40中。在该情况下，可以删除原始图像文件，或者可以保持两个图像文件。
[拍摄/再生处理的第二实施例]
图17和图18是示出根据本发明的立体图像拾取装置10进行的拍摄/再生处理的第二实施例的流程图。
在图17中，当立体图像拾取装置10被设置为拍摄模式以由此开始拍摄时，对具有全视角的所拍摄的左右图像(运动图像或静止图像)执行各种校正处理(步骤S120)。该情况下的图像处理指不包括用于校正左右图像的光轴偏离的图像切出处理而包括白平衡校正、伽马校正、阴影校正和畸变校正的图像处理。
已经经过图像处理的左右图像以预定压缩格式被压缩，并且然后被保存到存储卡40中(步骤S122)。
同时，如图18中所示，当立体图像拾取装置10被设置为再生模式以由此开始再生时，从保存在存储卡40中的要再生的图像文件中读出左右图像(步骤S130)。
随后，执行用于检测左右图像之间的对应特征点的对应点检测，以由此获取用于校正左右图像的光轴偏离的信息(步骤S132)。该对应点检测可以通过例如块匹配来执行。
参考左右图像中的一个图像(例如，左图像)，通过对应点检测获得与左图像上的每个像素相对应的另一图像(右图像)上的像素。作为这样的对应点检测的结果，能够获得：其中可以检测到左右图像之间的对应点的区域；以及其中不能检测到它们之间的对应点的区域。然后，针对左右图像中的每一个检测由其中可以检测到左右图像之间的对应点的区域的最外侧的四条边围成的区域，从而可以获取用于校正左右图像的光轴偏离的信息。
即，由四条边围成的区域的中心与切出区域相对应，基于该切出区域从具有全视角的图像中切出用于立体观看的每个图像，并且由四条边围成的区域的中心与切出中心相对应。
显示基于如上所述获得的切出区域来从具有全视角的左右图像分别切出的左右图像，使得其切出中心位于液晶监视器16的画面中心(步骤S134)。这使得左右图像能够被显示为不具有光轴偏离并且易于立体观看的3D图像。
例如，如图19所示，从具有全视角的左右图像中的每一个切出通过对应点检测获得并且用虚线指示的切出区域(由切出起点或切出中心和切出尺寸指定的区域)，并且在液晶监视器16上将各个切出图像(左右图像之间的重叠部分)显示为用于立体观看的图像。此时，显示左右图像，使得其切出中心彼此一致，并且因而左右图像的光轴偏离(V方向上的偏离)被校正。
应当注意，在上述示例中，仅显示左右图像之间的重叠部分，但并不限于此，而是还可以执行诸如一下a)至c)中所描述的显示。
a)将左右图像之间的非重叠部分照原样显示。结果，以3D方式显示重叠部分，而以2D方式显示非重叠部分。
b)以3D方式进行显示时，左右图像之间的非重叠部分由诸如边框的装饰性图案覆盖。
c)以3D方式进行显示时，左右图像之间的非重叠部分被删除(以黑色或白色填充)。
[其他]
在经过图像切出处理的左右图像的切出中心存在基本上相同的被摄体，并且因而测量左右图像的切出中心部分处的MTF(调制传递函数)，由此计算左右图像之间的分辨率的差。然后，改变对左右图像的图像质量的设置(轮廓增强和伽马校正)等，由此可以使得左右图像的分辨率均匀。
另外，在立体图像拾取装置10中，可以在液晶监视器16上显示3D直通图像，并且因此用户在观看3D直通图像的同时操作视差量调整开关18B(图1B)，并且因此可以调整3D图像(运动图像或静止图像)的视差量。
即，通过在正方向或负方向上操作视差量调整开关18B，由此可以增加或减少3D图像的视差量(视差调整值)。
在图像切出处理时，通过使用与光轴偏离量有关的信息和上述视差调整值(左右图像在H方向上的位移量)来切出图像，从而可以记录并且再生在V方向上不具有光轴偏离并且具有与用户偏好匹配的立体效果的3D图像。
应当注意，其中以不同校正精度执行畸变校正的多个图像拾取模式并不限于本实施例，并且可以包括：其中不执行畸变校正的图像拾取模式；以及其中增强畸变的图像拾取模式，诸如鱼眼图像拾取模式。
另外，在本实施例中，对畸变校正后的图像执行图像切出处理，并且相反地，可以对经过用于校正光轴偏离的图像切出处理的图像执行畸变校正。当然，在该情况下的图像切出处理中，应当在考虑到由后续步骤中的畸变校正所引起的光轴偏离的情况下对图像进行切出。
另外，当然，本发明不限于上述实施例，并且可以在不脱离本发明的精神的范围内进行各种修改。
附图标记列表
10  立体图像拾取装置
11  快门按钮
12  变焦按钮
14-1、14-2  拍摄光学系统
16  液晶监视器
20-1、20-2  图像拾取单元
21  聚焦透镜和变焦透镜
24  CCD
25  模拟信号处理单元
32  中央处理单元(CPU)
34  操作单元
44  数字信号处理单元
54  RAM
56  ROM
58  EEPROM

Claims (16)

1.一种立体图像拾取装置，包括：
多个图像拾取单元，每一个图像拾取单元包括：
拍摄光学系统；以及
图像拾取元件，所述图像拾取元件使经由所述拍摄光学系统形成的被摄体图像经历光电转换，所述多个图像拾取单元拾取在所述多个图像拾取单元之间具有视差的多个图像；
第一存储单元，所述第一存储单元在其中存储针对多个图像拾取模式中的每一个设置的畸变校正公式，所述畸变校正公式具有对于所述多个图像拾取模式中的每一个而不同的校正精度；
畸变校正公式获取单元，所述畸变校正公式获取单元从存储在所述第一存储单元中的所述畸变校正公式中获取与当前图像拾取模式相对应的畸变校正公式；
第二存储单元，所述第二存储单元在其中存储包括在所述多个图像拾取单元中的每个拍摄光学系统的预先检测到的光轴偏离量，所述光轴偏离量已经经历了使用针对所述多个图像拾取模式中的每一个设置的所述畸变校正公式的畸变校正；
光轴偏离量获取单元，所述光轴偏离量获取单元基于下述来获取与所述当前图像拾取模式相对应的光轴偏离量：存储在所述第二存储单元中的每个拍摄光学系统的光轴偏离量；以及所述当前图像拾取模式；
图像拾取控制单元，所述图像拾取控制单元根据所述当前图像拾取模式来从所述多个图像拾取单元获取所述多个图像；
畸变校正单元，所述畸变校正单元基于与所述当前图像拾取模式相对应地由所述畸变校正公式获取单元所获取的畸变校正公式，来对由所述图像拾取控制单元所获取的所述多个图像执行畸变校正；以及
图像切出单元，所述图像切出单元基于与所述当前图像拾取模式相对应地由所述光轴偏离量获取单元获取的所述光轴偏离量，来对由所述图像拾取控制单元获取的所述多个图像执行用于立体显示的图像的切出处理。
2.根据权利要求1所述的立体图像拾取装置，还包括：变焦位置检测单元，所述变焦位置检测单元检测所述多个拍摄光学系统中的每一个的当前变焦位置，其中：
所述第一存储单元在其中存储根据每个拍摄光学系统的变焦位置的畸变校正公式；并且
所述畸变校正公式获取单元从所述第一存储单元中获取与所述当前图像拾取模式和每个拍摄光学系统的所述当前变焦位置相对应的畸变校正公式。
3.根据权利要求1或2所述的立体图像拾取装置，其中：
所述第二存储单元在其中存储根据所述多个拍摄光学系统中的每一个的变焦位置的每个拍摄光学系统的光轴偏离量；并且
所述光轴偏离量获取单元根据所述当前图像拾取模式和每个拍摄光学系统的所述当前变焦位置来从所述第二存储单元中获取对应的光轴偏离量。
4.根据权利要求2或3所述的立体图像拾取装置，其中：
所述第二存储单元根据每个图像拾取模式和变焦位置来在其中存储使用与每个图像拾取模式和每个拍摄光学系统的所述变焦位置相对应的畸变校正公式的畸变校正之后的光轴偏离量，作为每个拍摄光学系统的光轴偏离量；并且
所述光轴偏离量获取单元包括读出单元，所述读出单元根据所述当前图像拾取模式和所述当前变焦位置来从所述第二存储单元中读出对应的光轴偏离量。
5.根据权利要求2或3所述的立体图像拾取装置，其中：
所述第二存储单元根据每个拍摄光学系统的变焦位置来在其中存储所述畸变校正之前的光轴偏离量，作为每个拍摄光学系统的光轴偏离量；并且
所述光轴偏离量获取单元包括计算单元，所述计算单元将基于所述当前变焦位置从所述第二存储单元中读出的光轴偏离量代入与所述当前图像拾取模式相对应并且由所述畸变校正公式获取单元获取的畸变校正公式中，以由此计算所述畸变校正之后的光轴偏离量。
6.根据权利要求2或3所述的立体图像拾取装置，其中：
所述第二存储单元针对每个图像拾取模式在其中存储用于计算使用与每个图像拾取模式和每个拍摄光学系统的变焦位置相对应的畸变校正公式的畸变校正之后的光轴偏离量的信息，作为每个拍摄光学系统的所述光轴偏离量；并且
所述光轴偏离量获取单元包括计算单元，所述计算单元基于下述来计算对应的光轴偏离量：根据所述当前图像拾取模式从所述第二存储单元中读出的信息；以及当前变焦位置。
7.根据权利要求2或3所述的立体图像拾取装置，还包括：聚焦位置检测单元，所述聚焦位置检测单元检测所述多个拍摄光学系统中的每一个的当前聚焦位置，其中：
所述第二存储单元根据每个图像拾取模式、变焦位置和聚焦位置来在其中存储在使用与每个图像拾取模式和每个拍摄光学系统的变焦位置相对应的畸变校正公式的畸变校正之后的光轴偏离量；并且
所述光轴偏离量获取单元包括读出单元，所述读出单元根据所述当前图像拾取模式、所述当前变焦位置和所述当前聚焦位置，从所述第二存储单元中读出对应的光轴偏离量。
8.根据权利要求2或3所述的立体图像拾取装置，还包括：聚焦位置检测单元，所述聚焦位置检测单元检测所述多个拍摄光学系统中的每一个的当前聚焦位置，其中：
所述第二存储单元根据每个图像拾取模式和所述变焦位置来在其中存储用于计算在使用与每个图像拾取模式和每个拍摄光学系统的变焦位置相对应的畸变校正公式的畸变校正之后的光轴偏离量的信息；并且
所述光轴偏离量获取单元包括计算单元，所述计算单元基于下述来计算对应的光轴偏离量：根据所述当前图像拾取模式和所述当前变焦位置从所述第二存储单元中读出的信息；以及当前聚焦位置。
9.根据权利要求1至8中的任何一项所述的立体图像拾取装置，还包括：阴影校正单元，所述阴影校正单元对由所述图像拾取控制单元获取的所述多个图像执行阴影校正，其中
所述图像切出单元对已经经过了所述阴影校正单元进行的阴影校正的图像执行图像切出处理。
10.根据权利要求1至9中的任何一项所述的立体图像拾取装置，其中，所述图像切出单元对已经经过了所述畸变校正单元进行的畸变校正的图像执行图像切出处理。
11.根据权利要求1至9中的任何一项所述的立体图像拾取装置，其中，所述畸变校正单元对已经经过了所述图像切出单元进行的切出处理的图像执行所述畸变校正。
12.根据权利要求1至11中的任何一项所述的立体图像拾取装置，其中，所述多个图像拾取模式是下述中的两个或更多图像拾取模式：在显示单元上显示现场观看图像的操作时设置的图像拾取模式；静止图像拾取模式；运动图像拾取模式；以及畸变增强图像拾取模式。
13.根据权利要求10所述的立体图像拾取装置，还包括：
选择连续拍摄模式的单元，在所述连续拍摄模式中，在获取了预设数目的图像之前或者在给出拍摄指令时，从所述多个图像拾取单元获取多个时间系列图像，以及
内部存储单元，所述内部存储单元在其中临时地存储以所述连续拍摄模式拍摄的图像，其中
所述阴影校正单元在以所述连续拍摄模式进行拍摄结束之后，读出存储在所述内部存储单元中的多个图像，以对其执行阴影校正。
14.根据权利要求1至13中的任何一项所述的立体图像拾取装置，还包括：
模式选择单元，所述模式选择单元选择拍摄模式或再生模式；以及
记录单元，所述记录单元将指示所述图像拾取模式的信息和指示由所述光轴偏离量获取单元所获取的所述光轴偏离量的信息连同由所述图像拾取控制单元在由所述模式选择单元选择的拍摄模式中所获取的多个图像一起，与所获取的多个图像相关联地记录到记录介质中，其中，
所述畸变校正单元和所述图像切出单元从所述记录介质中读出与所述图像相关联地记录的多条信息以及由所述模式选择单元选择的再生模式中的多个图像，以基于与所读出的多条信息相对应的所述畸变校正公式和所述光轴偏离量来对所读出的多个图像执行畸变校正和图像切出处理。
15.根据权利要求14所述的立体图像拾取装置，其中，所述记录单元将在再生模式中经过了所述畸变校正和所述图像切出处理的图像记录到所述记录介质中。
16.根据权利要求1至15中的任何一项所述的立体图像拾取装置，还包括：视差量调整单元，所述视差量调整单元调整从所述多个图像拾取单元输出的所述多个图像之间的视差量，其中
所述图像切出单元在进行用于立体显示的图像的切出处理时，基于通过所述视差量调整单元调整的视差量来对其切出位置要被进一步调整的图像执行切出处理。
CN201080003915.8A 2010-03-31 2010-11-22 立体图像拾取装置 Expired - Fee Related CN102318331B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010081051 2010-03-31
JP2010-081051 2010-03-31
PCT/JP2010/070776 WO2011121840A1 (ja) 2010-03-31 2010-11-22 立体撮像装置

Publications (2)

Publication Number Publication Date
CN102318331A true CN102318331A (zh) 2012-01-11
CN102318331B CN102318331B (zh) 2014-07-30

Family

ID=44711614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080003915.8A Expired - Fee Related CN102318331B (zh) 2010-03-31 2010-11-22 立体图像拾取装置

Country Status (6)

Country Link
US (1) US8363091B2 (zh)
EP (1) EP2458842B1 (zh)
JP (1) JP4875225B2 (zh)
CN (1) CN102318331B (zh)
BR (1) BRPI1006035A2 (zh)
WO (1) WO2011121840A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270952A (zh) * 2017-11-21 2018-07-10 深圳市芯舞时代科技有限公司 一种双目摄像机影像色差的校正方法及系统
CN111953870A (zh) * 2019-05-14 2020-11-17 佳能株式会社 电子设备、电子设备的控制方法和计算机可读介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031907A1 (en) * 2002-10-25 2008-02-07 Foamix Ltd. Cosmetic and pharmaceutical foam
WO2012032778A1 (ja) * 2010-09-08 2012-03-15 パナソニック株式会社 立体画像処理装置、立体撮像装置、立体撮像方法およびプログラム
JP5758138B2 (ja) * 2011-02-01 2015-08-05 シャープ株式会社 撮像装置、データ処理方法、およびプログラム
WO2013031227A1 (ja) * 2011-09-01 2013-03-07 パナソニック株式会社 撮像装置およびプログラム
US9160917B2 (en) 2013-07-09 2015-10-13 Htc Corporation Handheld electronic apparatus and image capturing apparatus and focusing method thereof
JP6031755B2 (ja) 2011-12-14 2016-11-24 ソニー株式会社 立体画像撮像装置
WO2013108339A1 (ja) * 2012-01-20 2013-07-25 パナソニック株式会社 ステレオ撮影装置
JP5779512B2 (ja) * 2012-01-24 2015-09-16 株式会社ソシオネクスト 画像の光学歪み補正装置，画像の光学歪み補正方法，および，画像の光学歪み補正装置を有する画像生成装置
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
JP6273764B2 (ja) * 2012-12-28 2018-02-07 株式会社リコー 画像処理装置
JP6010870B2 (ja) * 2013-12-24 2016-10-19 カシオ計算機株式会社 画像補正装置、及び画像補正方法、プログラム
US20150215530A1 (en) * 2014-01-27 2015-07-30 Microsoft Corporation Universal capture
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
JP6494328B2 (ja) * 2015-03-02 2019-04-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
TWI625051B (zh) * 2017-03-21 2018-05-21 奇景光電股份有限公司 深度感測裝置
US10917543B2 (en) 2017-04-24 2021-02-09 Alcon Inc. Stereoscopic visualization camera and integrated robotics platform
US10299880B2 (en) * 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform
US11083537B2 (en) 2017-04-24 2021-08-10 Alcon Inc. Stereoscopic camera with fluorescence visualization
US10762658B2 (en) * 2017-10-24 2020-09-01 Altek Corporation Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
JP2022027107A (ja) * 2020-07-31 2022-02-10 セイコーエプソン株式会社 画像表示方法、画像表示装置及び表示制御プログラム
JP2022168781A (ja) 2021-04-26 2022-11-08 キヤノン株式会社 電子機器、その制御方法、プログラムおよび記憶媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JPH11355813A (ja) * 1998-06-04 1999-12-24 Honda Motor Co Ltd カメラの内部パラメータ決定装置
JP2004007304A (ja) * 2002-06-03 2004-01-08 Fuji Photo Film Co Ltd デジタル撮影装置
JP2006162991A (ja) * 2004-12-07 2006-06-22 Fuji Photo Film Co Ltd 立体画像撮影装置
JP2007282245A (ja) * 2006-04-10 2007-10-25 Sony Taiwan Ltd 画像合成装置及び画像合成方法
CN101080921A (zh) * 2004-12-16 2007-11-28 松下电器产业株式会社 摄像装置
CN101151887A (zh) * 2005-03-25 2008-03-26 富士胶片株式会社 图像获取装置以及投影模块
US20080239064A1 (en) * 2007-03-29 2008-10-02 Fujifilm Corporation Stereoscopic image pickup apparatus and method of adjusting optical axis

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795623A (ja) 1993-06-25 1995-04-07 Sanyo Electric Co Ltd 立体撮像装置
JPH08336165A (ja) 1995-06-09 1996-12-17 Canon Inc 複眼撮像装置
JP4012710B2 (ja) * 2001-02-14 2007-11-21 株式会社リコー 画像入力装置
US20040001138A1 (en) 2002-06-27 2004-01-01 Weerashinghe W.A. Chaminda P. Stereoscopic panoramic video generation system
JP4397573B2 (ja) 2002-10-02 2010-01-13 本田技研工業株式会社 画像処理装置
JP4046276B2 (ja) 2002-10-24 2008-02-13 富士フイルム株式会社 デジタルカメラ
EP1617684A4 (en) * 2003-04-17 2009-06-03 Sharp Kk THREE-DIMENSIONAL IMAGE CREATION DEVICE, THREE-DIMENSIONAL IMAGE REPRODUCING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME
WO2004106857A1 (ja) 2003-05-29 2004-12-09 Olympus Corporation ステレオ光学モジュール及びステレオカメラ
US7596286B2 (en) * 2003-08-06 2009-09-29 Sony Corporation Image processing apparatus, image processing system, imaging apparatus and image processing method
JP3743828B2 (ja) * 2003-10-14 2006-02-08 カシオ計算機株式会社 電子カメラ
JP4104571B2 (ja) * 2004-03-29 2008-06-18 三洋電機株式会社 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
WO2006062325A1 (en) 2004-12-06 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for correcting image distortion of stereo-camera and method thereof
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
WO2008152441A2 (en) * 2006-09-15 2008-12-18 Tessera Technologies Hungary Kft. Imaging system with improved image quality and associated methods
JP4406937B2 (ja) * 2006-12-01 2010-02-03 富士フイルム株式会社 撮影装置
JP4714174B2 (ja) * 2007-03-27 2011-06-29 富士フイルム株式会社 撮像装置
CN101715064A (zh) * 2008-10-06 2010-05-26 鸿富锦精密工业（深圳）有限公司 影像撷取装置及其影像拍摄方法
JP4995854B2 (ja) * 2009-03-11 2012-08-08 富士フイルム株式会社 撮像装置、画像補正方法および画像補正プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JPH11355813A (ja) * 1998-06-04 1999-12-24 Honda Motor Co Ltd カメラの内部パラメータ決定装置
JP2004007304A (ja) * 2002-06-03 2004-01-08 Fuji Photo Film Co Ltd デジタル撮影装置
JP2006162991A (ja) * 2004-12-07 2006-06-22 Fuji Photo Film Co Ltd 立体画像撮影装置
CN101080921A (zh) * 2004-12-16 2007-11-28 松下电器产业株式会社 摄像装置
CN101151887A (zh) * 2005-03-25 2008-03-26 富士胶片株式会社 图像获取装置以及投影模块
JP2007282245A (ja) * 2006-04-10 2007-10-25 Sony Taiwan Ltd 画像合成装置及び画像合成方法
US20080239064A1 (en) * 2007-03-29 2008-10-02 Fujifilm Corporation Stereoscopic image pickup apparatus and method of adjusting optical axis

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270952A (zh) * 2017-11-21 2018-07-10 深圳市芯舞时代科技有限公司 一种双目摄像机影像色差的校正方法及系统
CN108270952B (zh) * 2017-11-21 2020-08-07 深圳市芯舞时代科技有限公司 一种双目摄像机影像色差的校正方法及系统
CN111953870A (zh) * 2019-05-14 2020-11-17 佳能株式会社 电子设备、电子设备的控制方法和计算机可读介质
US11523052B2 (en) 2019-05-14 2022-12-06 Canon Kabushiki Kaisha Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium

Also Published As

Publication number Publication date
CN102318331B (zh) 2014-07-30
EP2458842A4 (en) 2012-11-28
US20110279653A1 (en) 2011-11-17
JP4875225B2 (ja) 2012-02-15
EP2458842B1 (en) 2013-12-25
WO2011121840A1 (ja) 2011-10-06
BRPI1006035A2 (pt) 2016-12-06
JPWO2011121840A1 (ja) 2013-07-04
EP2458842A1 (en) 2012-05-30
US8363091B2 (en) 2013-01-29

Similar Documents

Publication Publication Date Title
CN102318331B (zh) 立体图像拾取装置
CN102362487B (zh) 立体成像设备
CN102893613B (zh) 立体图像再生装置及方法、立体摄像装置、立体显示器装置
US9560341B2 (en) Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device
CN102860015B (zh) 立体成像装置、图像再现装置
CN102959969B (zh) 单眼立体摄像装置
US7920176B2 (en) Image generating apparatus and image regenerating apparatus
US20110012997A1 (en) Compound-eye imaging apparatus
WO2012108099A1 (ja) 撮像装置および撮像方法
US9310672B2 (en) Stereoscopic image capturing device and method of controlling thereof
CN102388617A (zh) 复眼摄像装置及其视差调整方法和程序
CN103339947A (zh) 3d视频再现装置、3d视频再现程序及其记录介质、3d显示装置、3d成像装置和3d视频再现方法
CN103339948B (zh) 3d视频再现装置、3d成像装置和3d视频再现方法
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
JP2010237582A (ja) 立体撮像装置および立体撮像方法
CN104041026B (zh) 图像输出装置、方法以及程序及其记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140730

Termination date: 20181122