CN102860017A - 立体摄像装置及其制造方法 - Google Patents

立体摄像装置及其制造方法 Download PDF

Info

Publication number
CN102860017A
CN102860017A CN2011800209257A CN201180020925A CN102860017A CN 102860017 A CN102860017 A CN 102860017A CN 2011800209257 A CN2011800209257 A CN 2011800209257A CN 201180020925 A CN201180020925 A CN 201180020925A CN 102860017 A CN102860017 A CN 102860017A
Authority
CN
China
Prior art keywords
image
mentioned
visual point
amount
maximum disparity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800209257A
Other languages
English (en)
Other versions
CN102860017B (zh
Inventor
中村敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102860017A publication Critical patent/CN102860017A/zh
Application granted granted Critical
Publication of CN102860017B publication Critical patent/CN102860017B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

在图像再生装置中进行立体图像再生时，尽可能减少对应于画面尺寸而调整视差量的处理。从左右视点图像提取特征点（步骤S12），计算每个特征点的视差量（步骤S13）。根据计算出的每个特征点的视差量，获取近景侧的最大视差量与远景侧的最大视差量（步骤S14）。至少根据远景侧的最大视差量，获取将由左右视点图像形成的立体图像显示在立体显示器上时，从假定视距而双眼可融合的最大显示器尺寸（步骤S15）。同时记录图像信息和所获取的最大显示器尺寸（步骤S16）。读取按照这种方式记录的3D图像文件的图像再生装置可以根据最大显示器尺寸适当地进行显示。

Description

立体摄像装置及其制造方法
技术领域
本发明涉及立体摄像装置及其控制方法，特别地，涉及将多个视点图像记录在1个3维图像文件中的技术。
背景技术
立体摄像装置使用以左右具有视差地排列的2个摄像部（摄像单元），从左右视点对同一拍摄对象进行拍摄，分别获取左眼用的图像和右眼用的图像，将其记录在记录介质中。通过从记录介质读取该获取的左右图像，输入至可进行3维（3D）显示的3D显示器，显示为可以用左眼和右眼分别识别左眼用的图像和右眼用的图像，从而可以作为立体图像识别。
3D显示器具有多种画面尺寸，并存在所记录的左右图像的视差量不适合于要进行该左右图像再生显示的3D显示器的尺寸的情况。在这种情况下，从画面伸出或拉入的量过大，发生无法识别为自然的立体图像的问题。
为了解决这一问题，专利文献1公示了下述技术，即，使获取左右图像的2个摄像部的光轴相交叉，充分使用零视差的交叉点与摄像装置间的距离即交叉点（CP）信息，在再生时对左右图像视差量进行调整，从而调整所显示的影像的立体感。根据该技术，即使使用画面尺寸不同的显示装置进行再生，也可以始终得到自然的伸出量的立体影像。
专利文献1：日本特开2004－180069号公报
发明内容
但是，在专利文献1的技术中，因为在再生时对应于画面尺寸对左右图像的视差量进行调整，所以存在图像再生装置的处理繁杂的缺点。
本发明是鉴于上述情况提出的，目的在于提供一种立体摄像装置及其控制方法，在图像再生装置中进行立体图像再生时，尽量减少对应于画面尺寸调整视差量的处理。
用于实现上述目的的第一发明的立体摄像装置的特征在于，具有：摄像单元，其获取从多个视点对同一拍摄对象进行拍摄的多张视点图像；视差量计算单元，其根据上述获取的多张视点图像计算视差量，该视差量表示特征一致的特征点之间的偏移量；最大视差量获取单元，其获取上述计算出的各特征点的视差量中远景侧的最大视差量；最大显示器尺寸获取单元，其根据上述获取的远景侧的最大视差量，获取在将由上述多张视点图像形成的立体图像显示在立体显示器上时双眼可以融合的最大显示器尺寸；以及记录单元，其生成记录上述多张视点图像的3维图像文件，将该3维图像文件记录在记录介质中，该记录单元将上述多张视点图像记录在上述3维图像文件中，并且，将上述远景侧的最大视差量及最大显示器尺寸作为附属信息记录在上述3维图像文件中。此外，这里所说的“远景侧”，是指从摄像单元向拍摄对象侧远离的远位侧，反之，“近景侧”是指与远景侧相反，从拍摄对象向摄像单元侧靠近的近位侧。
根据使用上述结构的立体摄像装置，因为从得到的多个视点图像计算表示特征一致的特征点间的偏移量的视差量，得到计算出的各特征点的视差量中远景侧的最大视差量，根据远景侧的最大视差量得到最大显示器尺寸，将远景侧的最大视差量及最大显示器尺寸作为附属信息，记录在3维图像文件中，所以可以在图像再生装置中读取该3维图像文件时，通过将记录在附属信息中的最大显示尺寸与将要进行显示的立体显示器的显示尺寸进行比较，从而可以容易判断是否可以适当地进行立体观看。因此，在判断为可以立体观看的情况下，直接显示所记录的图像即可，从而可以减少对应于再生装置的画面尺寸进行视差量调整的处理。
另外，在第一发明的立体摄像装置中，作为上述附属信息，上述记录单元还记录假想视距及获取上述多张视点图像时的拍摄次数，该假想视距是假想的距离，是适合于观察上述立体图像的观看者与立体显示器间的距离。
由此，即使在图像再生装置中对视差量进行调整的情况下，也可以适当地进行视差量调整。
此外，优选在第一发明的立体摄像装置中，上述最大视差量获取单元获取上述计算出的各特征点的视差量中近景侧的最大视差量，上述最大显示器尺寸获取单元根据上述获取的近景侧最大视差量，获取在将由上述多张视点图像形成的立体图像显示在立体显示器上时双眼可以融合的最大显示器尺寸，上述记录单元记录上述获取的近景侧的最大视差量，作为上述附属信息，将其记录在上述3维图像文件中。
由此，近景侧也可以确定可以适当地进行立体观看的最大显示器尺寸。
此外，优选在第一发明的立体摄像装置中，具有代表图像设定单元，其将通过上述摄像单元获取的N张视点图像中的一张设定为代表图像，N是大于或等于3的整数，上述最大视差量获取单元针对由上述代表图像和上述N张图像中除了代表图像之外的（N－1）张视点图像的各个不同组合构成的2个图像，获取（N－1）个远景侧的最大视差量，上述最大显示器尺寸获取单元根据上述获取的（N－1）个远景侧的最大视差量，获取（N－1）个最大显示器尺寸，上述记录单元将上述获取的（N－1）个远景侧最大视差量及最大显示器尺寸作为上述附属信息，记录在上述3维图像文件中。
由此，在图像再生装置中可以参照（N－1）个最大显示器尺寸，通过与将要进行显示的显示器尺寸进行比较，从而可以简单选择适合于立体观看的图像。另外，在对视差量进行调整的情况下，也可以通过读取每个图像的最大视差量，容易地进行视差量调整。
而且，优选在第一发明的立体摄像装置中具有显示用图像生成单元，其根据上述N张视点图像，生成图像尺寸比该视点图像小的显示用图像，上述记录单元将上述显示用图像记录在上述3维图像文件中。
由此，在读取3维图像文件的图像再生装置中，在记录有假想视点图像的情况下，可以不进行视差调整，而使用假想视点图像进行显示，从而在记录有显示用图像的情况下，不对显示用图像尺寸进行调整，而直接显示显示用图像。
而且，优选在第一发明的立体摄像装置中还具有假想视点图像生成单元，其根据通过上述摄像单元获取的多张视点图像中的至少1张视点图像、和通过上述视差量计算单元计算出的视差量，生成与任意的假想视点相对应的1张或多张假想视点图像。
由此，摄像单元只要得到2张视点图像即可得到多视点图像，从而可以实现摄像单元的简单化、轻量化。
另外，优选在第一发明的立体摄像装置中，具有代表图像设定单元，其将上述多张视点图像及假想视点图像的N张图像中的一张设定为代表图像，上述最大视差量获取单元针对由上述代表图像和上述N张图像中除了代表图像的（N－1）张图像的各个不同组合而构成的2个图像，获取（N－1）个远景侧的最大视差量，上述最大显示器尺寸获取单元根据上述获取的（N－1）个远景侧的最大视差量，获取（N－1）个最大显示器尺寸，上述记录单元将上述获取的（N－1）个远景侧的最大视差量及最大显示器尺寸作为上述附属信息，记录在上述3维图像文件中。
由此，在图像再生装置中，可以参照（N－1）个最大显示器尺寸，通过与将要显示的显示器尺寸进行比较，从而可以简单地选择适合于立体观看的图像。另外，在对视差量进行调整的情况下，也可以通过读取每张图像的最大视差量，容易地进行视差量调整。
此外，优选在第一发明的立体摄像装置中，具有显示用图像生成单元，该显示用图像生成单元根据上述多张视点图像及假想视点图像，生成图像尺寸比该视点图像及假想视点图像小的显示用图像，上述记录单元将上述多张视点图像、和上述假想视点图像及显示用图像中的至少一方的图像记录在上述3维图像文件中。
由此，在读取了3维图像文件的图像再生装置中，在记录有假想视点图像的情况下，可以不进行视差调整而使用假想视点图像进行显示，在记录有显示用图像的情况下，可以不对显示用图像进行尺寸调整，而直接显示显示用图像。
此外，优选在第一发明的立体摄像装置中，上述3维图像文件是在前端图像之后连续收容1至多张图像的多图文件，上述记录单元作为上述前端图像而记录通过上述代表图像设定单元设定的代表图像，并且，在各图像之前记录与该图像相对应的附属信息。
由此，可以适当地记录多张图像和附属信息。
而且，优选在第一发明的立体摄像装置中，上述代表图像设定单元从上述多张视点图像中设定1张代表图像，上述记录单元在上述代表图像之后记录上述显示用图像，在该显示用图像之后记录其他视点图像或假想视点图像。
由此，可以加快图像再生装置中的显示图像读取，缩短在立体显示器显示图像之前所需的时间。
另外，优选在第一发明的立体摄像装置中，上述记录单元按照视点的排列顺序或向中央视点接近的顺序记录上述显示用图像。
由此，可以适当地记录显示用图像。
另外，优选在第一发明的立体摄像装置中，上述记录单元在将上述多张视点图像及假想视点图像记录在上述3维图像文件中时，作为上述3维图像文件的附属信息，记录表示各图像是实际视点图像还是假想视点图像的视点信息。
由此，在读取了3维图像文件的图像再生装置中，可以区分实际视点图像与假想视点图像。
此外，在第一发明的立体摄像装置中，其特征在于，上述最大显示器尺寸获取单元，可以获取立体显示器上的图像偏移量小于或等于人的双眼间距的显示器尺寸中的最大显示器尺寸，作为双眼可融合的最大显示器尺寸，上述图像偏移量与通过上述最大视差量获取单元获取的远景侧的最大视差量相对应。
由此，可以适当地得到最大显示器尺寸。
此外，在第一发明的立体摄像装置中，其特征在于，上述最大显示器尺寸获取单元，根据通过上述最大视差量获取单元获取的远景侧的最大视差量，从预先记录与最大视差量相对应的最大显示器尺寸的存储单元读取对应的最大显示器尺寸，或使用包含表示人的双眼间距的规定值的算式计算上述最大显示器尺寸。
由此，可以适当地获得最大显示器尺寸。
为了实现上述目的，第二发明的立体摄像装置的特征在于，具有：摄像单元，其获取从多个视点对同一拍摄对象进行拍摄的多张视点图像；显示用图像生成单元，其根据上述获取的多张视点图像，生成图像尺寸比该视点图像小的多个大画面显示用图像；视差量计算单元，其根据上述获取的多张视点图像计算表示特征一致的特征点间的偏移量的视差量；最大视差量获取单元，其获取上述计算出的各特征点的视差量中远景侧的最大视差量；图像偏移量计算单元，其根据上述获取的远景侧最大视差量，计算将由上述多张视点图像形成的立体图像显示在规定的大画面立体显示器上的情况下的、与上述最大视差量相对应的立体显示器上的图像偏移量；视差移动单元，其在上述计算出的图像偏移量超过表示人的双眼间距的规定值的情况下，实施成为上述规定值的上述多个大画面显示用图像间的视差移动；以及记录单元，其生成记录上述多张视点图像及大画面显示用图像的3维图像文件，将该3维图像文件记录在记录介质中，该记录单元在上述计算出的图像偏移量小于或等于表示人的双眼间距的规定值的情况下，将上述多张视点图像及视差移动前的大画面显示用图像记录在上述3维显示用图像文件中，在上述计算出的图像偏移量超过表示人的双眼间距的规定值的情况下，将上述多张视点图像及视差移动后的大画面显示用图像记录在上述3维图像文件中。
根据使用上述结构的第二发明，根据得到的多张视点图像生成图像尺寸比视点图像小的多个大画面显示用图像，根据得到的多张视点图像得到近景侧的最大视差量与远景侧的最大视差量，至少根据远景侧的最大视差量计算将由多张视点图像形成的立体图像显示在规定的大画面立体显示器上的情况下的、与最大视差量相对应的立体显示器上的图像偏移量，在计算出的图像偏移量超过表示人的双眼间距的规定值的情况下，实施并记录成为上述规定值的多个大画面显示用图像间的视差移动，所以具有假定的大画面立体显示器的图像再生装置可以显示适当的视差量的图像。
另外，优选在第二发明的立体摄像装置中，上述图像偏移量计算单元具有存储单元或读取单元，该存储单元存储预先假定的立体显示器的假定显示器宽度，该读取单元从输出目标的立体显示器读取该立体显示器的显示器尺寸，上述图像偏移量计算单元根据上述获取的远景侧的最大视差量和存储在上述存储单元中的假定显示器尺寸、或通过上述读取单元读取的显示器尺寸，计算上述假定的立体显示器或输出目标的立体显示器上的图像偏移量。
由此，可以适当地得到输出目标的立体显示器的宽度。
另外，为了实现上述目的，第三发明的立体摄像装置的控制方法的特征在于，具有：摄像工序，在该工序中，获取从多个视点拍摄同一拍摄对象的多张视点图像；视差量计算工序，在该工序中，根据上述获取的多张视点图像，计算表示特征一致的特征点间的偏移量的视差量；最大视差量获取工序，在该工序中，获取上述计算出的各特征点的视差量中远景侧的最大视差量；最大显示器尺寸获取工序，在该工序中，根据上述获取的远景侧的最大视差量，获取在将由上述多张视点图像形成的立体图像显示在立体显示器上时，双眼可融合的最大显示器尺寸；以及记录工序，在工序中，生成记录上述多张视点图像的3维图像文件，将该3维图像文件记录在记录介质中，在该工序中，将上述多张视点图像记录在3维图像文件中，并且，将上述远景侧的最大视差量及最大显示器尺寸作为附属信息记录在上述3维图像文件中。
此外，为了实现上述目的，第四发明的立体摄像装置的控制方法的特征在于，具有：摄像工序，在该工序中，获取从多个视点拍摄同一拍摄对象的多张视点图像；显示用图像生成工序，在该工序中，根据上述获取的多张视点图像，生成图像尺寸比该视点图像小的多个大画面显示用图像；视差量计算工序，在该工序中，根据上述获取的多张视点图像，计算表示特征一致的特征点间的偏移量的视差量；最大视差量获取工序，在该工序中，获取上述计算出的各特征点的视差量中远景侧的最大视差量；图像偏移量计算工序，在该工序中，根据上述获取的远景侧的最大视差量，计算在将由上述多张视点图像形成的立体图像显示在规定的大画面立体显示器上的情况下的、与上述最大视差量相对应的立体显示器上的图像偏移量；视差移动工序，在该工序中，在上述计算出的图像偏移量超过表示人的双眼间距的规定值的情况下，实施作为上述规定值的上述多个大画面显示用图像间的视差移动；以及记录工序，在该工序中，生成记录上述多张视点图像及大画面显示用图像的3维图像文件，将该3维图像文件记录在记录介质中，在工序中，在上述计算出的图像偏移量小于或等于表示人的双眼间距的规定值的情况下，将上述多张视点图像及视差移动前的大画面显示用图像记录在上述3维图像文件中，在上述计算出的图像偏移量超过表示人的双眼间距的规定值的情况下，将上述多张视点图像及视差移动后的大画面显示用图像记录在上述3维图像文件中。
发明的效果
根据本发明，在图像再生装置中再生立体图像时，可以尽可能减少对应于画面尺寸而调整视差量的处理，从而可以与画面尺寸无关地使观看者识别到自然的立体图像。
附图说明
图1是表示拍摄2张视点图像的情况的图。
图2是示意地表示3D图像文件的数据结构的图。
图3是表示拍摄、记录处理的流程图。
图4A及图4B是表示2张视点图像的一例的图。
图5是表示拍摄4张视点图像的情况的图。
图6是示意地表示3D图像文件的数据结构的图。
图7A至图7C是示意地表示3D图像文件的数据结构的其他状态的图。
图8是用于对假想视点进行说明的图。
图9A及图9B是示意地表示3D图像文件的数据结构的图。
图10是用于对视差移动原理进行说明的图。
图11A及图11B是表示左右视点图像和视差移动的图。
图12是表示拍摄、记录处理的流程图。
图13是示意地表示3D图像文件的数据结构的图。
图14A及图14B是表示立体摄像装置的外观的图。
图15是表示立体摄像装置的内部结构的框图。
具体实施方式
下面，根据附图，对于本发明优选的实施方式进行详细说明。
[第1实施方式]
对于第1实施方式涉及的3D图像文件进行说明。
图1是表示利用2个摄像装置101－2、101－3的各自的摄像单元，从不同的视点对拍摄对象100拍摄2张视点图像（摄像工序）的情况的图，图2是示意地表示记录通过图1所示的摄像单元101－2、102－3的各摄像单元拍摄的2张视点图像201－2、201－3的3D图像文件的数据结构的图。
图2所示的3D图像文件是基于MP格式的MP文件，将同一拍摄对象的多张视点图像相连而收容在1个文件中。对于相连的各视点图像，在其数据前端记录SOI（Start of Image）标记，并且，在末端记录EOI（End of Image）标记。由此，可以识别各图像的读入开始位置和结束位置。
此外，各视点图像数据由图像区域和附属信息区域构成。在附属信息区域中，除了由拍摄装置信息及拍摄模式信息等构成的Exif附属信息之外，在本实施方式中，还记录下述附属信息，其包含：图像记录时获取的最大显示器尺寸（宽度、高度）（单位：mm）、图像记录时假定的视距（观察立体图像时的观看者与显示器间的距离）（单位：mm）、最大视差量（近景）（%）、最大视差量（远景）（%）、拍摄各视点图像的装置的辐辏角、基线长度、摄像部配置（视点编号）、获取各视点图像时的拍摄次数。
使用图3的流程图，对于用于记录这种3D图像文件的拍摄、记录处理进行说明。
首先，获取多张视点图像（步骤S11）。在这里，如图1所示，利用2个摄像装置101－2、101－3对拍摄对象100分别拍摄1张图像，获取2张视点图像201－2、201－3。此外，在这里，将摄像装置101－2设为2号视点，将摄像装置101－3设为3号视点。
然后，使用视差量计算单元从2张视点图像201－2、201－3中提取多个特征点（步骤S12），计算每个特征点的视差量（步骤S13，视差量计算工序）。在这里，所谓视差量，是指在视点图像间的对应特征点的距离各视点图像的一端例如左端的距离的差，单位是像素。根据按照这种方式计算出的各特征点的视差量，使用最大视差量获取单元获取近景侧的最大视差量和远景侧的最大视差量（步骤S14，最大视差量获取工序）。
图4是表示2张视点图像的一例的图，图4A表示左视点图像201－2，图4B表示右视点图像201－3。
在图4的例子中，近景侧的最大视差量是213N，具有该视差量的特征点（最大视差量位置（近景）），分别是211N、212N。另外，远景侧的最大视差量是213F，具有该视差量的特征点（最大视差量位置（远景））分别是211F、212F。即，在立体观看基于这2张视点图像201－2、201－3的立体图像的情况下，在最近处可看到最大视差量位置（近景），在最远处可看到最大视差量位置（远景）。
该近景侧的最大视差量213N及远景侧的最大视差量213F与图像宽度的比值（%）即为最大视差量（近景）（%）、最大视差量（远景）（%）。
根据按照上述方式计算出的最大视差量，使用最大显示器尺寸获取单元获取最大显示器尺寸（步骤S15，最大显示器尺寸获取工序）。如果远景侧的视差量超过人的双眼间距，则图像本身的位置无法双眼融合，从而无法进行立体观看。因此，根据在步骤S14中计算出的最大视差量（远景）与图像宽度的比值（%），获取视差不超过人的双眼间距的最大显示器尺寸。
例如，假定人的双眼间距为50mm，如果最大视差量（远景）与图像宽度的比值是10%，则立体观看所容许的最大显示器宽度为500mm。即，如果是宽度小于或等于500mm的显示器，最大视差位置（远景）的视差量未超过两眼间距50mm，可显示，其结果，观看者可以进行立体观看。在这里，在假定长宽比为16:9的显示器的情况下，最大显示器高度为281.25mm。
此外，人的双眼间距可以对应于作为对象的观看者而适当确定。例如，在仅以成人为对象的情况下，可以设定为65mm等较宽的值。
例如，假定人的双眼间距为65mm，如果最大视差量（远景）相对于图像宽度的比值是15%，则立体观看可容许的最大显示器宽度约为433mm。另外，在假定长宽比为16:9的显示器的情况下，最大显示器的高度约为244mm。
另外，也可以不根据人的双眼间距计算，而预先准备记录有与最大视差量相对应的最大显示器尺寸的表格，通过参照该表格，获取最大显示器尺寸。
最后，如图2所示，使用记录单元将2张视点图像201－2、201－3和附属信息，作为1个3D图像文件进行记录（步骤S16，记录工序）。
即，在视点图像201－2的SOI标记之后，在附属信息中包含并记录在步骤S15中获取的最大显示器尺寸、假想的视距、在步骤S14中获取的最大视差量（近景）（%）、最大视差量（远景）（%）、步骤S11中的摄像装置101－2、101－3的辐辏角、基线长度、视点编号、及拍摄次数，然后，记录视点图像201－2的图像信息、EOI标记。
此外，记录视点图像201－3的SOI标记、附属信息、图像信息、EOI标记。可以在视点图像201－3的附属信息区域仅记录Exif附属信息。
如上所述，可以记录图2所示的3D图像文件。
按照上述方式记录的3D图像文件，在要显示在3D显示器上时通过图像再生装置读取。这时，在图像再生装置中，可以通过对3D图像文件的附属信息中记录的最大显示器尺寸与将要显示的3D显示器的显示尺进行比较，可以容易地判断是否可立体观看。因此，在判断为可立体观看的情况下，直接显示所记录的图像的即可，从而可以减少图像再生装置对应于图像尺寸而调整视差量的处理。
另外，在必须由图像再生装置调整视差量的情况下，通过使用附属信息中记录的假想距离或拍摄次数的信息，可以适当地调整视差量。
此外，在本实施方式中，仅根据远景侧的最大视差量确定最大显示器尺寸，但也可以考虑近景侧的最大视差量而决定。通过考虑近景侧的最大视差量，则不仅是远景侧，也可以适当地确定对于近景侧可立体观看的最大显示器尺寸。
例如，可以将近景侧的视差量小于或等于50mm的显示器尺寸作为最大显示器尺寸。如果近景侧的视差量增大，则因为观看者进行立体观看会感到疲劳，所以优选小于或等于规定量。
或者，也可以使用代表图像设定单元，将利用摄像单元获取的N（N是大于或等于3的整数）张视点图像中的一张设定为代表图像，使用最大视差量获取单元，对于由代表图像和上述N张图像中除了代表图像之外的（N－1）张视点图像的各个不同组合构成的2个图像，获取（N－1）个远景侧的最大视差量。这时，使用最大显示器尺寸获取单元，根据获取的（N－1）个远景侧的最大视差量，获取（N－1）个最大显示器尺寸，并且，使用记录单元，将获取的（N－1）个远景侧的最大视差量及最大显示器尺寸作为附属信息，记录在3维图像文件中。由此，在图像再生装置中，可以参照（N－1）个最大显示器尺寸，通过与将要显示的显示器尺寸进行比较，从而可以简单地选择适合于立体观看的图像。另外，在对视差量进行调整的情况下，通过读取每张图像的最大视差量，可以容易地进行视差量调整。
[第2实施方式]
在第1实施方式中，以从2个视点拍摄的2张视点图像为例进行了说明，但本发明涉及的立体图像的视点个数并不限定于2个点，也可以是多视点的视点图像。
图5是利用4个摄像装置101－1至101－4，从不同的视点对拍摄对象100拍摄4张视点图像的情况的图。在这里，使摄像装置101－1至101－4的视点编号依次为1至4。
图6是示意地表示记录由这4个摄像装置101－1至101－4拍摄的4张视点图像的3D图像文件的数据结构的图。在该3D图像文件中，除了4张视点图像之外，还记录有将通过显示用图像生成单元生成的各视点图像的尺寸缩小后的显示用图像（显示用图像生成工序）。作为显示用图像，可以使用分辨率为1920×1080的全HD尺寸图像。
如图6所示，这些图像按照下述顺序记录，即：1号视点的视点图像（以下称为视点图像（1））、1号视点的显示用图像（以下称为缩略图（1））、2号视点的视点图像（以下称为视点图像（2））、2号视点的显示用图像（以下称为缩略图（2））、3号视点的视点图像（以下称为视点图像（3））、3号视点的显示用图像（以下称为缩略图（3））、4号视点的视点图像（以下称为视点图像（4））、4号视点的显示用图像（以下称为缩略图（4））。
首先，作为前端图像，记录在作为基准视点的1号视点拍摄的视点图像（1），该记录区域含有SOI标记、附属信息区域、图像信息区域、及EOI标记。
在附属信息区域中，与第1实施方式同样地，除了摄像设备信息或摄像模式信息等Exif附属信息之外，还包含并记录最大显示器尺寸、假想视距、最大视差量（近景）、最大视差量（远景）、拍摄各视点图像的装置的辐辏角、基线长度、摄像部配置（视点编号）、获取各视点图像时的拍摄次数等附属信息。
此外，作为该最大显示器尺寸、最大视差量等记录使用该3D图像文件整体的情况下的值。具体地说，根据以在基准视点拍摄的视点图像（1）为基准而视差量最大的视点图像（在这里是视点图像（4）），计算出最大视差量，并根据该最大视差量获取最大显示器尺寸，记录这些最大视差量及最大显示器尺寸。关于辐辏角、基线长度等，可以记录与拍摄同一视点图像（在这里是视点图像（4））的装置之间的辐辏角、基线长度。
此外，在图像信息区域中记录视点图像（1）的图像信息，然后记录EOI标记。
在视点图像（1）之后，记录由视点图像（1）生成的缩略图（1），该记录区域与前述同样地，具有SOI标记、附属信息区域、图像信息区域、及EOI标记。在附属信息区域中记录通常的Exif附属信息。
在缩略图（1）之后记录视点图像（2）。在视点图像（2）的记录区域，也具有SOI标记、附属信息区域、图像信息区域、及EOI标记。
在附属信息区域中，除了通常的Exif附属信息之外，包含并记录根据该视点图像（2）和在基准视点拍摄的视点图像（1）计算出的最大显示器尺寸、假想视距、最大视差量（近景）、最大视差量（远景）、拍摄2张视点图像的装置的辐辏角、基线长度、视点编号、拍摄2张视点图像时的拍摄次数等附属信息。
在视点图像（2）之后，记录根据视点图像（2）生成的缩略图（2），然后记录视点图像（3）。
对于视点图像（3）的记录区域也同样地，具有SOI标记、附属信息区域、图像信息区域、及EOI标记，在附属信息区域中，除了通常的Exif附属信息之外，记录由该视点图像（3）和在基准视点拍摄的视点图像（1）计算出的最大显示器尺寸等。
下面，对于视点图像（4）也同样地进行记录。
如上所述，在记录多视点的视点图像的情况下，作为各视点图像的附属信息，优选记录与前端图像相关的最大显示器尺寸。
按照这种方式记录的3D图像文件，在显示在3D显示器上时，可通过图像再生装置读取。这时，在图像再生装置中，通过对记录在3D图像文件的附属信息中的每张视点图像的最大显示器尺寸，与将要进行显示的3D显示器的显示尺寸进行比较，从而可以容易地判断是否可以适当地立体观看。
此外，多视点图像的记录顺序并不限定于图6所示的顺序。
例如，如图7A所示，也可以按照视点图像（1）、缩略图（1）至缩略图（4）、视点图像（2）至视点图像（4）的顺序记录。通过预先在前面记录显示用的缩略图，可以加快进行显示时的文件读取时的图像读入，缩短在3D显示器上显示图像为止所需的时间。另外，各视点图像主要用于打印，因为打印需要规定的时间，所以即使将缩略图记录在文件的后半部，也不会有问题。
此外，各缩略图的记录顺序，也可以是先记录在3D显示器上显示时的推荐图像。例如，如果推荐由缩略图（2）和缩略图（3）进行立体显示，则如图7B所示，也可以在前端图像的视点图像（1）之后记录缩略图（2）、缩略图（3），然后，记录缩略图（1）、缩略图（4）。
2张图像视差量较小时，即使显示器很大也可以立体显示。另外，使用靠近中央部的视点的图像时，适合于立体观看。因此，在这种情况下，推荐2号视点和3号视点处的图像，从而优选预先将缩略图（2）和缩略图（3）记录在前面。
同样地，如果推荐由缩略图（1）和缩略图（3）进行的立体显示，则如图7C所示，也可以在前端图像的视点图像（1）之后，记录缩略图（1）、缩略图（3），然后记录缩略图（2）、缩略图（4）。
在存在立体显示中的推荐图像的情况下，也可以在作为前端图像的视点图像（1）的附属信息中记录推荐图像相关的最大显示器尺寸、假定视距、最大视差量。
[第3实施方式]
第2实施方式这种多视点图像，不一定全部是实际拍摄的图像，也可以包含与假想视点相对应的假想视点图像。
例如，如图8所示，利用2个摄像装置101－1、101－4，对拍摄对象100从不同的视点（1号视点、4号视点）拍摄2张视点图像。此外，也可以使用假想视点图像生成单元，在与1号视点和4号视点不同的视点，生成实际不存在的假想视点处的2号视点、3号视点的视点图像2、视点图像3。为了生成假想视点图像，存在对多张拍摄图像的各像素进行内分的方法，或使用由多个拍摄图像生成的视差对应图和1张拍摄图像生成的方法等，但并不特别限定。
图9A是示意地表示记录按照上述方式获取的各视点图像的3D图像文件的数据结构的图。在该图的例子中，记录实际拍摄的2张视点图像（1）、视点图像（4）、和作为它们的显示用图像的缩略图（1）、缩略图（4）、及作为假想视点图像的显示用图像的缩略图（2）、缩略图（3）。
首先，作为前端图像而记录视点图像（1），在其后记录缩略图（2）、缩略图（3）、缩略图（1）、缩略图（4），然后，记录视点图像（4）。在这里，缩略图的顺序按照推荐顺序记录，但是，例如也可以按照从左右两侧的任意方向开始的视点的排列顺序记录，也可以按照向中央视点接近的顺序记录。另外，缩略图（2）、缩略图（3）可以由缩略图（1）及缩略图（4）生成，也可以由视点图像（1）及视点图像（4）生成。
与前述同样地，各图像的记录区域具有SOI标记、附属信息区域、图像信息区域、及EOI标记。另外，在视点图像（1）的附属信息区域，除了最大显示器尺寸、假想距离、最大视差量之外，还记录表示各视点编号是实际进行拍摄的视点（实际视点）、还是假想视点的视点信息。
另外，也可以不具有显示用图像，而仅记录打印用的视点图像。在图9B所示的例子中，记录实际拍摄的2张视点图像（1）、视点图像（4）、和作为假想视点图像的视点图像（2）、视点图像（3）。
另外，作为记录顺序，使用打印或显示的推荐顺序，具体地说，作为前端图像记录视点图像（2），在其后记录视点图像（3）、视点图像（1）、视点图像（4）。与前述同样地，也可以按照视点顺序进行记录。
由此，通过生成并记录假想视点图像，作为实际视点图像只要有2张图像即可，从而可以实现摄像装置的摄像光学系统的简单化、轻量化。
[第4实施方式]
另外，使用图像偏移量计算单元，根据获取的远景侧的最大视差量，计算在将由多张视点图像形成的立体图像显示在规定的大画面立体显示器上的情况下的、与最大视差量相对应的立体显示器上的图像偏移量（图像偏移量计算工序），在判断如果显示在假定尺寸的显示器上，则远景侧的视差量超过人的双眼间距的情况下，使用视差移动单元进行图像的视差量调整，以使得显示在该尺寸的显示器上也可以立体观看，并记录该调整后的视差量（视差移动工序）。
在本实施方式中，作为视差量调整，进行视差移动。
图10是用于说明视差移动的原理的图。另外，图11A是表示左视点图像的图，图11B是表示右视点图像的图。在这里，观看者的左眼位于坐标（0，D），观看者的右眼位于坐标（XB，D）。对于在Z＝0处的左右视点图像中左视点图像的坐标为（XL，0）及右视点图像的坐标为（XR，0）的拍摄对象，看到其位于坐标（XP，YP）处。
在该状态下，如图11B所示，如果将右视点图像向左移动至XR－XR’，则如图10所示，拍摄对象的右视点图像的坐标成为（XR’，0），其结果，看到拍摄对象位于坐标（XP’，YP’）处。
由此，可以通过进行视差移动，进行视差量调整。因此，在远景侧的视差量超过人的双眼间距的情况下，可以通过进行视差移动，使其位于人的双眼间距之内，从而可以适当地进行立体观看。
图12是表示用于记录本实施方式涉及的3D图像的拍摄、记录处理的流程图。
首先，获取多张视点图像（步骤S21）。在这里，拍摄2张视点图像。然后，分别从2张视点图像提取多个特征点（步骤S22），计算每个特征点的视差量（步骤S23）。根据按照这种方式计算出的每个特征点，获取近景侧的最大视差量和远景侧的最大视差量（步骤S24）。
在这里，对于进行显示的假想显示器，获取其显示宽度。假想显示器的显示宽度可以使用存储单元预先确定并存储，在通过HDMI端子等外部连接端子连接3D显示器的情况下，也可以使用读取单元通过与该连接相对应的通信，读取3D显示器的尺寸。
判断在将该立体图像显示在该显示宽度的显示器上的情况下，是否可以立体观看远景侧的最大视差位置（步骤S25）。具体地说，计算显示宽度与远景侧的最大视差量（%）的乘积，判断计算出的乘积是否大于或等于人的双眼间距即50mm。
在计算出的乘积低于50mm的情况下，直接记录拍摄的2张视点图像（步骤S27）。例如，可以记录作为图2所示的数据结构的3D图像文件，也可以生成显示用缩略图或假想视点图像记录。
在计算出的乘积大于或等于50mm的情况下，进行视差移动，以使得该乘积低于50mm，从而可以立体观看远景侧的最大视差位置（步骤S26）。
如图11所示，视差移动可以通过使右视点图像向左方移动而进行，也可以通过使左视点图像向右方移动而进行。另外，也可以使左右视点图像向彼此接近的方向移动。
在视差移动处理结束后，进行记录（步骤S27）。图13是示意地表示这时记录的3D图像文件的数据结构的图。在该3D图像文件中，除了拍摄的2张原图之外，还记录有缩小各原图尺寸而获取的视差移动后的显示用图像及缩略图。在这里，显示用图像是全HD尺寸图像，缩略图是VGA尺寸图像。缩略图例如在显示在设置于摄像装置背面的小型液晶显示器上而进行图像检索时等使用。
如图13所示，上述图像按照1号视点的显示用图像、2号视点的显示图像、1号视点的缩略图、2号视点的缩略图、1号视点的原图、2号视点的原图的顺序记录，各记录区域具有SOI标记（图中省略）、附属信息区域、图像信息区域、及EOI标记（图中省略）。
首先，作为前端图像，记录作为基准视点的1号视点的显示用图像，在其附属信息区域记录最大视差量。
接下来记录的是2号视点的显示用图像，该图像是进行上述视差移动后的图像。在2号视点的显示用图像的附属信息区域，记录视点移动处理完成的信息和其移动量（单位：像素）。
然后，记录1号视点的缩略图，在该附属信息区域中还记录最大视差量。
此外，记录2号视点的缩略图。该缩略图可以是视差移动后的图像，也可以是由2号视点的原图生成的图像。
然后，记录1号视点的原图及2号视点的原图。在1号视点的原图的附属信息区域中还记录最大视差量。
通过生成这种3D图像文件，从而在显示在假定尺寸的显示器上时，可以始终观看远景侧的最大视差位置，从而适合于观看者进行立体观看。
另外，因为还记录有VGA尺寸的缩略图，所以也可以用于图像检索时的显示。
此外，可以将假想的显示器尺寸记录在前端图像的附属信息区域中。通过预先记录假定显示器尺寸，可以在图像再生装置中，通过对所读取的假定显示器尺寸和将要显示的3D显示器的显示尺寸进行比较，容易地适当判断是否可以立体观看。
[立体摄像装置的外观]
图14是表示本发明涉及的立体摄像装置的外观的图，图14A是从前面侧观察立体摄像装置的斜视图，图14B是背视图。
该立体摄像装置（复眼照相机）10是可以记录再生2D/3D静止画面、及2D/3D动画的数字照相机，如图14所示，在薄型长方体状的照相机主体的上表面配置快门按钮11、变焦按钮12。
在照相机主体的前表面配置镜头盖13，其具有与照相机主体的左右方向的宽度大致相同的宽度，且可以在照相机主体的上下方向自由移动，通过使该镜头盖13在由双点划线表示的位置和由实线表示的位置之间在上下方向移动，可以使左右一对的摄像光学系统14－1、14－2的前表面同时开闭。另外，作为摄像光学系统14－1、14－2，可以使用屈光系统的变焦透镜。另外，可以与镜头盖13进行的透镜前表面的开闭动作联动，使照相机电源接通/断开。
如图14B所示，在照相机主体14的背面，在其中央部配置3D用的液晶监视器16。液晶监视器16可以利用视差屏障（parallaxbarrier），将多个视差图像（右视点图像、左视点图像）作为分别具有规定指向性的指向性图像而显示。另外，作为3D用液晶监视器16，可以使用双凸透镜，或通过戴上偏光眼镜、液晶快门眼镜等专用眼镜而单独观看右视点图像和左视点图像的装置等。
在上述液晶监视器16的左右两侧配置各种操作开关。操作开关18A是切换静止图像拍摄和动画拍摄的切换开关，操作开关18B是调整右视点图像与左视点图像的视差量的视差调整开关，操作开关18C是切换2D拍摄和3D拍摄的切换开关。另外，操作开关18D是兼做MENU/OK按钮和再生按钮的前后键，操作开关18E是多功能十字键，操作开关18F是DISP/BACK键。
MENU/OK按钮是兼有作为菜单按钮的功能和作为OK按钮的功能的操作开关，该菜单按钮用于进行在液晶监视器16的画面上显示菜单的指示，该OK按钮用于指示选择内容的确定及执行等。再生按钮是从拍摄模式切换为再生模式的切换按钮。十字键是输入上下左右4个方向的指示的操作开关，分配用于微调按钮、闪光按钮、自拍按钮等，另外，在选择菜单的情况下，作为从该菜单画面选择项目或从各菜单指示各种设定项目选择的开关（光标移动操作单元）起作用。另外，十字键的左/右键作为再生模式时的场景进给（正向/反向进给）按钮起作用。DISP/BACK键在切换液晶监视器16的显示方式，或取消菜单画面上的指示内容或返回前1个操作状态时等使用。
另外，在图14中，15是立体麦克风。
[立体摄像装置的内部结构]
图15是表示上述立体摄像装置10内部结构的框图。
如图15所示，该立体摄像装置10主要由多个摄像部20－1、20－2、中央处理器（CPU）32、包含上述快门按钮11、变焦按钮12、及各种操作开关在内的操作部34、显示控制部36、液晶监视器16、记录控制部38、压缩/展开处理部42、数字信号处理部44、AE（Automatic Exposure：自动曝光）检测部46、AF（Auto Focus：自动对焦）检测部48、AWB（Automatic White Balance：自动白平衡）检测部50、VRAM 52、RAM 54、ROM 56、及EEPROM 58等构成。另外，摄像部20－1、20－2拍摄彼此具有视差的左眼用图像和右眼用图像这2张视差图像，但摄像部20也可以是大于或等于3个。
拍摄左眼用图像的摄像部20－1具有：光学单元，其由拍摄光学系统14－1（图14）、光圈22及机械快门23构成，该拍摄光学系统14－1由棱镜（未图示）、聚焦透镜及变焦透镜21构成；固体摄像元件（CCD）24、模拟信号处理部25、A/D变换器26、图像输入控制器27、驱动上述光学单元的透镜驱动部28、光圈驱动部29及快门控制部30、控制CCD 24的CCD控制部31。另外，拍摄右眼用图像的摄像部20－2因为具有与拍摄上述左眼用图像的摄像部20－1相同的结构，所以省略其具体的结构说明。
CPU 32根据来自操作部34的输入，按照规定的控制程序综合控制照相机整体的动作。最大显示器尺寸的计算、视差移动、假想视点图像的生成等，均可以通过CPU 32进行。
此外，在ROM 56中存储CPU 32所执行的控制程序及控制所需的各种数据等，在EEPROM 58中存储表示产品出厂前的调整时的调整结果的各种信息，例如CCD 24的像素缺陷信息、图像处理等使用的校正参数、或最大视差量与最大显示器尺寸的对应表格等。
另外，VRAM 52是暂时存储显示在液晶监视器16上的显示用的图像数据的存储器，RAM 54包含CPU 32的运算作业用区域及图像数据的暂时存储区域。
包含在拍摄光学系统中的聚焦透镜及变焦透镜21，由透镜驱动部28驱动而沿光轴前后移动。CPU 32通过控制透镜驱动部28的驱动，从而进行调焦，以将聚焦透镜的位置控制为使得焦点与拍摄对象对准，并且，对应于来自操作部34中的变焦按钮12的变焦指令，控制变焦透镜的变焦位置，变更变焦倍率。
光圈22例如由可变光圈构成，由光圈驱动部29驱动而动作。CPU 32经由光圈驱动部29控制光圈22的打开量（光圈值），控制向CCD 24的入射光量。
机械快门23通过使光路开闭而确定CCD 24的曝光时间，并且，在来自CCD 24的图像信号读取时，使不需要的光不入射到CCD 24，从而防止产生斑点。CPU 32将与对应于快门速度的曝光结束时刻同步的快门关闭信号输出至快门控制部30，对机械快门23进行控制。
CCD 24由2维彩色CCD固体摄像元件构成。在CCD 24的受光面2维排列多个光电二极管，对各光电二极管以规定的排列配置滤光片。
经由上述结构的光学单元，在CCD受光面上成像的拍摄对象的光学像，通过该光电二极管变换为与入射光量相对应的信号电荷。蓄积在各光电二极管中的信号电荷，按照CPU 32的指令，根据由CCD控制部31施加的驱动脉冲，依次从CCD 24读取作为与信号电荷相对应的电压信号（图像信号）。CCD 24具有电子快门功能，通过控制向光电二极管的电荷蓄积时间，对曝光时间（快门速度）进行控制。另外，通过电子快门控制与快门速度相对应的电荷蓄积开始时刻，通过关闭上述机械快门23控制曝光结束时刻（电荷蓄积结束时刻）。在该实施方式中，使用CCD 24作为摄像元件，但也可以使用CMOS传感器等其他结构的摄像元件。
从CCD 24读取的R、G、B的模拟信号，通过模拟信号处理部25进行相关二重采样（CDS）或放大后，通过A/D变换器26变换为R、G、B的数字信号。
图像输入控制器27内置有规定容量的线性缓冲器，暂时蓄积通过A/D变换器26进行A/D变换后的R、G、B的图像信号（CCDRAW数据），然后经由总线60存储在RAM 54中。
在3D摄像模式时，CPU 32与控制拍摄左视点图像的摄像部20－1同样地，对拍摄右视点图像的摄像部20－2进行控制。
AE检测部46根据在快门按钮11半压入时读取的图像信号，计算AE控制所需的拍摄对象亮度，将表示拍摄对象亮度（拍摄EV值）的信号输出至CPU 32。CPU 32根据输入的拍摄EV值，按照规定的程序曲线图设定多个摄像部20－1、20－2中的快门速度（曝光时间）、光圈值、摄像感光度。
AF检测部48使快门按钮11半压入时读取的AF区域的图像信号的高频成分的绝对值相乘，将该相乘得到的值（AF评价值）输出至CPU 32。CPU 32通过使聚焦透镜从最近处向无限远侧移动，搜索由AF检测部48检测到的AF评价值最大的合焦位置，使聚焦透镜移动至该合焦位置，从而进行针对拍摄对象（主要拍摄对象）的调焦。此外，在动画拍摄时，使聚焦透镜移动，以使得上述AF评价值始终为最大值，即，进行所谓的爬山法控制。
AWB检测部50根据在本次拍摄时得到的R、G、B图像信号，自动求出光源种类（被拍摄体的色温），从预先存储针对光源种类设定的R、G、B的白平衡系数（白平衡校正值）的表格读取对应的白平衡系数。
数字信号处理部44包含白平衡校正电路、灰度变换处理电路（例如γ校正电路）、同步化电路、轮廓校正电路、亮度/色差信号生成电路等，对于存储在RAM 54中的R、G、B的图像信号（CCDRAW数据）进行图像处理，上述同步化电路对伴随单板CCD的滤光片排列的R、G、B等色信号的空间偏移进行插补，从而使各色信号位置对齐。即，R、G、B的CCDRAW数据在数字信号处理部44中，乘以通过AWB检测部50检测到的白平衡系数，进行白平衡校正，并实施灰度变换处理（例如γ校正）等规定的处理，然后，变换为由亮度信号（Y信号）及色差信号（Cr、Cb）构成的YC信号。通过数字处理信号部44处理过的YC信号存储在RAM 54中。
另外，数字信号处理部44包含失真校正电路和图像切出处理电路而构成，该失真校正电路对多个摄像部20－1、20－2摄像光学系统的透镜畸变进行校正，该图像切出处理电路通过从左右视点图像中切出各规定切出区域的图像，而对多个摄像部20－1、20－2的拍摄光学系统的光轴偏移进行校正。
压缩/展开处理部42在向存储卡40记录时，根据来自CPU 32的指令，对存储在RAM 54中的YC信号进行压缩处理，另外，对记录在存储卡40中的压缩后的数据进行展开处理，得到YC信号。
记录控制部38将通过压缩/展开处理部42压缩得到的压缩数据制成规定格式的图像文件（例如，3D静止图像为MP文件，3D动画为动态JPEG、H.264、MPEG4、MPEG4－MVC动画文件），记录在存储卡40中，或从存储卡40进行图像文件读取。
另外，记录控制部38在记录本发明涉及的MP文件时，除了Exif附属信息之外，还在存储卡40中记录最大显示器尺寸、假定视距、最大视差量（近景）（%）、最大视差量（远景）（%）等，作为附属信息。
液晶监视器16作为用于显示拍摄到的图像的图像显示部使用，并且，在各种设定时作为GUI（可视化用户界面）使用。另外，液晶监视器16作为显示用于在拍摄模式时确认画面的实时取景图像（以下称为“实时取景图像”）的电子取景器使用。显示控制部36在使液晶监视器16显示3D图像的情况下，一个像素一个像素地交互显示VRAM 52中保存的左视点图像和右视点图像。利用设置在液晶监视器16上的视差屏障，可分别由从规定距离观看的用户的左右眼睛中识别一个像素一个像素地交互排列的左右图像。由此，可以进行立体观看。
利用按照上述方式的立体摄像装置10，可以实现上述实施方式。此外，这里说明的立体摄像装置10具有2个摄像部，以用于拍摄左右2张视点图像，但是，也可以构成为设有大于或等于3个摄像部，拍摄大于或等于3张视点图像。例如，如图5所示，也可以构成为，通过设置4个摄像装置101－1至101－4即4个摄像部，拍摄4张视点图像。
标号说明
10…立体摄像装置
14－1、14－2…摄像光学系统
16…液晶监视器
20－1、20－2…摄像部
21…聚焦透镜及变焦透镜
24…CCD
25…模拟信号处理部
32…中央处理器（CPU）
34…操作部
40…存储卡
44…数字信号处理部
100…拍摄对象
101－1至101－4…摄像装置
211N、212N…最大视差量位置（近景）
211F、212F…最大视差量位置（远景）
213N…近景侧的视差量
213F…远景侧的最大视差量

Claims (18)

1.一种立体摄像装置，其特征在于，具有：
摄像单元，其获取从多个视点对同一拍摄对象进行拍摄的多张视点图像；
视差量计算单元，其根据上述获取的多张视点图像计算视差量，该视差量表示特征一致的特征点之间的偏移量；
最大视差量获取单元，其获取上述计算出的各特征点的视差量中远景侧的最大视差量；
最大显示器尺寸获取单元，其根据上述获取的远景侧的最大视差量，获取在将由上述多张视点图像形成的立体图像显示在立体显示器上时双眼可以融合的最大显示器尺寸；以及
记录单元，其生成记录上述多张视点图像的3维图像文件，将该3维图像文件记录在记录介质中，该记录单元将上述多张视点图像记录在上述3维图像文件中，并且，将上述远景侧的最大视差量及最大显示器尺寸作为附属信息记录在上述3维图像文件中。
2.如权利要求1所述的立体摄像装置，其特征在于，
作为上述附属信息，上述记录单元还记录假想视距及获取上述多张视点图像时的拍摄次数，该假想视距是假想的距离，是观察上述立体图像的观看者与立体显示器间的适合距离。
3.如权利要求1或2所述的立体摄像装置，其特征在于，
上述最大视差量获取单元获取上述计算出的各特征点的视差量中近景侧的最大视差量，
上述最大显示器尺寸获取单元根据上述获取的近景侧最大视差量，获取在将由上述多张视点图像形成的立体图像显示在立体显示器上时双眼可以融合的最大显示器尺寸，
上述记录单元将上述获取的近景侧的最大视差量作为上述附属信息而记录在上述3维图像文件中。
4.如权利要求1至3中任意一项所述的立体摄像装置，其特征在于，
具有代表图像设定单元，其将通过上述摄像单元获取的N张视点图像中的一张设定为代表图像，N是大于或等于3的整数，
上述最大视差量获取单元针对由上述代表图像和上述N张图像中除了代表图像之外的N－1张视点图像的各个不同组合构成的2个图像，获取N－1个远景侧的最大视差量，
上述最大显示器尺寸获取单元根据上述获取的N－1个远景侧的最大视差量，获取N－1个最大显示器尺寸，
上述记录单元将上述获取的N－1个远景侧最大视差量及最大显示器尺寸作为上述附属信息，记录在上述3维图像文件中。
5.如权利要求4所述的立体摄像装置，其特征在于，
具有显示用图像生成单元，其根据上述N张视点图像，生成图像尺寸比该视点图像小的显示用图像，
上述记录单元将上述显示用图像记录在上述3维图像文件中。
6.如权利要求1或2所述的立体摄像装置，其特征在于，
还具有假想视点图像生成单元，其根据通过上述摄像单元获取的多张视点图像中的至少1张视点图像、和通过上述视差量计算单元计算出的视差量，生成与任意的假想视点相对应的1张或多张假想视点图像。
7.如权利要求6所述的立体摄像单元，其特征在于，
具有代表图像设定单元，其将上述多张视点图像及假想视点图像的N张图像中的一张设定为代表图像，
上述最大视差量获取单元针对由上述代表图像和上述N张图像中除了代表图像的N－1张图像的各个不同组合而构成的2个图像，获取N－1个远景侧的最大视差量，
上述最大显示器尺寸获取单元根据上述获取的N－1个远景侧的最大视差量，获取N－1个最大显示器尺寸，
上述记录单元将上述获取的N－1个远景侧的最大视差量及最大显示器尺寸作为上述附属信息，记录在上述3维图像文件中。
8.如权利要求7所述的立体摄像装置，其特征在于，
具有显示用图像生成单元，该显示用图像生成单元根据上述多张视点图像及假想视点图像，生成图像尺寸比该视点图像及假想视点图像小的显示用图像，
上述记录单元将上述多张视点图像、和上述假想视点图像及显示用图像中的至少一方的图像记录在上述3维图像文件中。
9.如权利要求4至8中任意一项所述的立体摄像装置，其特征在于，
上述3维图像文件是在前端图像之后连续收容1至多张图像的多图文件，
上述记录单元作为上述前端图像而记录通过上述代表图像设定单元设定的代表图像，并且，在各图像之前记录与该图像相对应的附属信息。
10.如权利要求9所述的立体摄像装置，其特征在于，
上述代表图像设定单元从上述多张视点图像中设定1张代表图像，
上述记录单元在上述代表图像之后记录上述显示用图像，在该显示用图像之后记录其他视点图像或假想视点图像。
11.如权利要求10所述的立体摄像装置，其特征在于，
上述记录单元按照视点的排列顺序或向中央视点接近的顺序记录上述显示用图像。
12.如权利要求7或8所述的立体摄像装置，其特征在于，
上述记录单元在将上述多张视点图像及假想视点图像记录在上述3维图像文件中时，作为上述3维图像文件的附属信息，记录表示各图像是实际视点图像还是假想视点图像的视点信息。
13.如权利要求1至12中任意一项所述的立体摄像装置，其特征在于，
上述最大显示器尺寸获取单元，可以获取立体显示器上的图像偏移量小于或等于人的双眼间距的显示器尺寸中的最大显示器尺寸，作为双眼可融合的最大显示器尺寸，上述图像偏移量与通过上述最大视差量获取单元获取的远景侧的最大视差量相对应。
14.如权利要求13所述的立体摄像装置，其特征在于，
上述最大显示器尺寸获取单元，根据通过上述最大视差量获取单元获取的远景侧的最大视差量，从预先记录与最大视差量相对应的最大显示器尺寸的存储单元读取对应的最大显示器尺寸，或使用包含表示人的双眼间距的规定值的算式计算上述最大显示器尺寸。
15.一种立体摄像装置，其特征在于，具有：
摄像单元，其获取从多个视点对同一拍摄对象进行拍摄的多张视点图像；
显示用图像生成单元，其根据上述获取的多张视点图像，生成图像尺寸比该视点图像小的多个大画面显示用图像；
视差量计算单元，其根据上述获取的多张视点图像计算表示特征一致的特征点间的偏移量的视差量；
最大视差量获取单元，其获取上述计算出的各特征点的视差量中远景侧的最大视差量；
图像偏移量计算单元，其根据上述获取的远景侧最大视差量，计算将由上述多张视点图像形成的立体图像显示在规定的大画面立体显示器上的情况下的、与上述最大视差量相对应的立体显示器上的图像偏移量；
视差移动单元，其在上述计算出的图像偏移量超过表示人的双眼间距的规定值的情况下，实施成为上述规定值的上述多个大画面显示用图像间的视差移动；以及
记录单元，其生成记录上述多张视点图像及大画面显示用图像的3维图像文件，将该3维图像文件记录在记录介质中，该记录单元在上述计算出的图像偏移量小于或等于表示人的双眼间距的规定值的情况下，将上述多张视点图像及视差移动前的大画面显示用图像记录在上述3维显示用图像文件中，在上述计算出的图像偏移量超过表示人的双眼间距的规定值的情况下，将上述多张视点图像及视差移动后的大画面显示用图像记录在上述3维图像文件中。
16.如权利要求15所述的立体摄像装置，其特征在于，
上述图像偏移量计算单元具有存储单元或读取单元，该存储单元存储预先假定的立体显示器的假定显示器宽度，该读取单元从输出目标的立体显示器读取该立体显示器的显示器尺寸，上述图像偏移量计算单元根据上述获取的远景侧的最大视差量和存储在上述存储单元中的假定显示器尺寸、或通过上述读取单元读取的显示器尺寸，计算上述假定的立体显示器或输出目标的立体显示器上的图像偏移量。
17.一种立体摄像装置的控制方法，其特征在于，具有：
摄像工序，在该工序中，获取从多个视点拍摄同一拍摄对象的多张视点图像；
视差量计算工序，在该工序中，根据上述获取的多张视点图像，计算表示特征一致的特征点间的偏移量的视差量；
最大视差量获取工序，在该工序中，获取上述计算出的各特征点的视差量中远景侧的最大视差量；
最大显示器尺寸获取工序，在该工序中，根据上述获取的远景侧的最大视差量，获取在将由上述多张视点图像形成的立体图像显示在立体显示器上时，双眼可融合的最大显示器尺寸；以及
记录工序，在工序中，生成记录上述多张视点图像的3维图像文件，将该3维图像文件记录在记录介质中，在该工序中，将上述多张视点图像记录在3维图像文件中，并且，将上述远景侧的最大视差量及最大显示器尺寸作为附属信息记录在上述3维图像文件中。
18.一种立体摄像装置的控制方法，其特征在于，具有：
摄像工序，在该工序中，获取从多个视点拍摄同一拍摄对象的多张视点图像；
显示用图像生成工序，在该工序中，根据上述获取的多张视点图像，生成图像尺寸比该视点图像小的多个大画面显示用图像；
视差量计算工序，在该工序中，根据上述获取的多张视点图像，计算表示特征一致的特征点间的偏移量的视差量；
最大视差量获取工序，在该工序中，获取上述计算出的各特征点的视差量中远景侧的最大视差量；
图像偏移量计算工序，在该工序中，根据上述获取的远景侧的最大视差量，计算在将由上述多张视点图像形成的立体图像显示在规定的大画面立体显示器上的情况下的、与上述最大视差量相对应的立体显示器上的图像偏移量；
视差移动工序，在该工序中，在上述计算出的图像偏移量超过表示人的双眼间距的规定值的情况下，实施作为上述规定值的上述多个大画面显示用图像间的视差移动；以及
记录工序，在该工序中，生成记录上述多张视点图像及大画面显示用图像的3维图像文件，将该3维图像文件记录在记录介质中，在工序中，在上述计算出的图像偏移量小于或等于表示人的双眼间距的规定值的情况下，将上述多张视点图像及视差移动前的大画面显示用图像记录在上述3维图像文件中，在上述计算出的图像偏移量超过表示人的双眼间距的规定值的情况下，将上述多张视点图像及视差移动后的大画面显示用图像记录在上述3维图像文件中。
CN201180020925.7A 2010-04-28 2011-04-22 立体摄像装置及其制造方法 Expired - Fee Related CN102860017B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010103904 2010-04-28
JP2010-103904 2010-04-28
PCT/JP2011/059911 WO2011136137A1 (ja) 2010-04-28 2011-04-22 立体撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
CN102860017A true CN102860017A (zh) 2013-01-02
CN102860017B CN102860017B (zh) 2015-06-10

Family

ID=44861441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180020925.7A Expired - Fee Related CN102860017B (zh) 2010-04-28 2011-04-22 立体摄像装置及其制造方法

Country Status (4)

Country Link
US (1) US9310672B2 (zh)
JP (1) JP5449535B2 (zh)
CN (1) CN102860017B (zh)
WO (1) WO2011136137A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011136137A1 (ja) * 2010-04-28 2011-11-03 富士フイルム株式会社 立体撮像装置及びその制御方法
CN103329549B (zh) * 2011-01-25 2016-03-09 富士胶片株式会社 立体视频处理器、立体成像装置和立体视频处理方法
EP2800385A4 (en) * 2011-12-28 2015-11-25 Sony Corp BINOCULAR DISPARITY SETTING APPARATUS, IMAGE PROCESSING APPARATUS, AND FRAME FORMAT
CN103379355B (zh) * 2012-04-25 2015-10-28 浙江大学 一种立体视频对产生方法及装置
JP6233870B2 (ja) * 2012-08-28 2017-11-22 稔 稲葉 立体映像受像機
CN103605199B (zh) * 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 成像装置及方法
EP3485321A4 (en) 2016-07-15 2020-04-01 Sun Chemical Corporation 3D / FLIP / MOTION PHOTO SUBSTRATE, IMAGING METHOD AND APPLICATIONS THEREOF

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180069A (ja) * 2002-11-28 2004-06-24 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
CN1788497A (zh) * 2003-04-17 2006-06-14 索尼株式会社 立体视觉图像处理装置、立体视觉图像提供方法及图像显示方法
CN1864415A (zh) * 2003-08-26 2006-11-15 夏普株式会社 立体视频再生装置及立体视频再生方法
JP2008109267A (ja) * 2006-10-24 2008-05-08 Sharp Corp 立体画像生成装置及び立体画像復号装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69417824T4 (de) * 1993-08-26 2000-06-29 Matsushita Electric Ind Co Ltd Stereoskopischer Abtastapparat
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US6549650B1 (en) * 1996-09-11 2003-04-15 Canon Kabushiki Kaisha Processing of image obtained by multi-eye camera
US6864910B1 (en) * 1999-06-30 2005-03-08 Canon Kabushiki Kaisha Optical apparatus
ATE433590T1 (de) * 2002-11-27 2009-06-15 Vision Iii Imaging Inc Abtastung der parallaxe durch manipulation der position der gegenstände in einer szene
EP1617684A4 (en) * 2003-04-17 2009-06-03 Sharp Kk THREE-DIMENSIONAL IMAGE CREATION DEVICE, THREE-DIMENSIONAL IMAGE REPRODUCING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME
JP2005167310A (ja) * 2003-11-28 2005-06-23 Sharp Corp 撮影装置
JP4328311B2 (ja) * 2005-04-14 2009-09-09 株式会社東芝 三次元画像表示用多視点画像の作成方法およびプログラム
JP4932660B2 (ja) * 2007-10-05 2012-05-16 富士フイルム株式会社 画像記録装置及び画像記録方法
KR101313740B1 (ko) * 2007-10-08 2013-10-15 주식회사 스테레오피아 원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠제작방법
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
WO2009051457A2 (en) 2007-10-19 2009-04-23 Samsung Electronics Co., Ltd. Method of recording three-dimensional image data
JP4657313B2 (ja) * 2008-03-05 2011-03-23 富士フイルム株式会社 立体画像表示装置および方法並びにプログラム
JP5369952B2 (ja) 2009-07-10 2013-12-18 ソニー株式会社 情報処理装置および情報処理方法
CN102860019B (zh) * 2010-04-28 2015-07-29 富士胶片株式会社 立体图像再生装置及方法、立体摄像装置、立体显示器装置
JP5449537B2 (ja) * 2010-04-28 2014-03-19 富士フイルム株式会社 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
WO2011136137A1 (ja) * 2010-04-28 2011-11-03 富士フイルム株式会社 立体撮像装置及びその制御方法
JP4956658B2 (ja) * 2010-10-12 2012-06-20 シャープ株式会社 立体映像変換装置及び立体映像表示装置
CN103329549B (zh) * 2011-01-25 2016-03-09 富士胶片株式会社 立体视频处理器、立体成像装置和立体视频处理方法
JP5466773B2 (ja) * 2011-02-03 2014-04-09 富士フイルム株式会社 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法
CN103339947B (zh) * 2011-02-03 2014-07-30 富士胶片株式会社 3d视频再现装置、3d显示装置、3d成像装置和3d视频再现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180069A (ja) * 2002-11-28 2004-06-24 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
CN1788497A (zh) * 2003-04-17 2006-06-14 索尼株式会社 立体视觉图像处理装置、立体视觉图像提供方法及图像显示方法
CN1864415A (zh) * 2003-08-26 2006-11-15 夏普株式会社 立体视频再生装置及立体视频再生方法
JP2008109267A (ja) * 2006-10-24 2008-05-08 Sharp Corp 立体画像生成装置及び立体画像復号装置

Also Published As

Publication number Publication date
JPWO2011136137A1 (ja) 2013-07-18
US20130050439A1 (en) 2013-02-28
US9310672B2 (en) 2016-04-12
WO2011136137A1 (ja) 2011-11-03
JP5449535B2 (ja) 2014-03-19
CN102860017B (zh) 2015-06-10

Similar Documents

Publication Publication Date Title
CN102893613B (zh) 立体图像再生装置及方法、立体摄像装置、立体显示器装置
CN102860019B (zh) 立体图像再生装置及方法、立体摄像装置、立体显示器装置
CN103493484B (zh) 成像装置和成像方法
US9077976B2 (en) Single-eye stereoscopic image capturing device
CN102362487B (zh) 立体成像设备
CN102860015B (zh) 立体成像装置、图像再现装置
CN102860017B (zh) 立体摄像装置及其制造方法
CN102959467A (zh) 单眼立体成像装置
CN103339947B (zh) 3d视频再现装置、3d显示装置、3d成像装置和3d视频再现方法
US8773506B2 (en) Image output device, method and program
CN102986232B (zh) 图像处理装置及方法
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
CN103339948B (zh) 3d视频再现装置、3d成像装置和3d视频再现方法
CN104041026B (zh) 图像输出装置、方法以及程序及其记录介质
CN104054333A (zh) 图像处理装置、方法以及程序及其记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150610

Termination date: 20180422