CN102893613A - 立体图像再生装置及方法、立体摄像装置、立体显示器装置 - Google Patents

立体图像再生装置及方法、立体摄像装置、立体显示器装置 Download PDF

Info

Publication number
CN102893613A
CN102893613A CN2011800209219A CN201180020921A CN102893613A CN 102893613 A CN102893613 A CN 102893613A CN 2011800209219 A CN2011800209219 A CN 2011800209219A CN 201180020921 A CN201180020921 A CN 201180020921A CN 102893613 A CN102893613 A CN 102893613A
Authority
CN
China
Prior art keywords
mentioned
visual point
image
point image
dimensional display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800209219A
Other languages
English (en)
Other versions
CN102893613B (zh
Inventor
中村敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102893613A publication Critical patent/CN102893613A/zh
Application granted granted Critical
Publication of CN102893613B publication Critical patent/CN102893613B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Abstract

根据记录在3维图像文件中的附属信息，显示适当的视差量的立体图像。获取进行3D显示的显示器的尺寸（步骤S31），读取3D图像文件（步骤S32）。另外，从读取的3D图像文件的元数据，获取可适当地3D显示各视点图像的最大显示器尺寸（步骤S33），对在步骤S31中获取的尺寸和在步骤S33中获取的最大显示器尺寸进行比较（步骤S34）。获取最大显示器尺寸较大的图像的视点编号（步骤S35），从获取的视点编号的图像中选择最适当的图像（步骤S37），使用选择的图像进行3D显示（步骤S38）。由此，可以根据最大显示器尺寸选择适当的图像而进行3D显示。

Description

立体图像再生装置及方法、立体摄像装置、立体显示器装置
技术领域
本发明涉及立体图像再生装置及方法、立体摄像装置、立体显示器装置，特别地，涉及适当地再生显示记录在3维图像文件中的立体图像的技术。
背景技术
立体摄像装置使用左右具有视差而排列的2个摄像部（摄像单元），从左右视点对同一拍摄对象进行拍摄，分别获取左眼用的图像和右眼用的图像，将其记录在记录介质中。通过从记录介质读取该获取的左右图像，输入可进行3维（3D）显示的3D显示器，显示为可以分别用左眼和右眼识别左眼用的图像和右眼用的图像，从而可以作为立体图像识别。
3D显示器具有多种画面尺寸，存在所记录的左右图像的视差量不适合于要再生显示该左右图像的3D显示器的尺寸的情况。在这种情况下，从画面伸出或拉入的量过大，发生无法识别为自然的立体图像的问题。
针对上述课题，在再生装置中进行由左眼用图像和右眼用图像生成可在任意视点观看的中间视点图像。为此，为了从视点不同的多张图像生成中间视点图像，必须求出图像之间像素的对应关系而推定进深。
但是，要在显示时进行不易视觉疲劳的显示（例如视差控制）时，存在不清楚可以针对多大进深范围进行显示的课题。要进行这种显示，必须根据拍摄时的可视角或摄像面的尺寸、透镜中心与摄像面的距离等条件适当地确定观看距离。
为了解决上述问题，在专利文献1中公示了一种在大于或等于2个视点的图像传输中，传输拍摄图像的照相机的摄像尺寸及透镜中心与摄像面的距离的信息的技术。根据该技术，可以在显示侧获取摄像时的可视角的信息。
专利文献1：日本特开2003－333621号公报
发明内容
但是，在专利文献1的技术中，存在显示装置侧的处理繁杂的缺点。另外，作为涉及数据传输的技术，并未公示在将立体图像记录在记录介质上的情况下，如何记录这些信息。
本发明是鉴于上述情况提出的，其目的在于提供一种立体图像再生装置及方法、立体摄像装置、立体显示器装置，该立体图像再生装置根据记录在3维图像文件中的附属信息，以适当的视差量显示立体图像。
为了实现上述目的，第一发明的立体图像再生装置的特征在于，具有：第1获取单元，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，并从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含N－1个最大显示器尺寸，该N－1个最大显示器尺寸与由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间的远景侧的最大视差量相对应，是将上述2张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸，N为大于或等于3的整数；第2获取单元，其获取输出目标的立体显示器的显示器尺寸；第1判断单元，其对上述获取的上述立体显示器的显示器尺寸和上述N－1个最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述N－1个最大显示器尺寸；选择单元，其从与上述N－1个最大显示器尺寸中的通过上述第1判断单元判断为小于或等于上述立体显示器的显示器尺寸的最大显示器尺寸相对应的1组或多组的2张视点图像中，选择1组的2张视点图像；以及输出单元，其在通过上述第1判断单元判断上述立体显示器的显示器尺寸大于上述N－1个最大显示器尺寸的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断单元判断上述立体显示器的显示器尺寸小于或等于上述N－1个最大显示器尺寸中的某1个最大显示器尺寸的情况下，将通过上述选择单元选择的2张视点图像输出至上述立体显示器。此外，这里所说的“远景侧”是指从摄像单元向拍摄对象侧远离的远位侧，反之，“近景侧”是指与远景侧相反的，从拍摄对象向摄像单元侧靠近的近位侧。
根据第一发明，因为从3维图像文件获取N张视点图像和（N－1）个最大显示器尺寸，并且，获取输出目标的立体显示器的显示器尺寸，对获取的立体显示器的显示器尺寸和（N－1）个最大显示器尺寸进行比较，从与（N－1）个最大显示器尺寸中的判断为小于或等于立体显示器的显示器尺寸的最大显示器尺寸相对应的1组或多组的2张视点图像选择1组2张视点图像，输出至立体显示器，所以可以根据记录在3维图像文件中的附属信息显示适当的视差量的立体图像。
为了实现上述目的，第二发明的立体图像再生装置的特征在于，具有：第1获取单元，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，并从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间的远景侧的最大视差量、和与该远景侧的最大视差量相对应的N－1个最大显示器尺寸，该最大显示器尺寸是将上述2张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸，N为大于或等于3的整数；第2获取单元，其获取输出目标的立体显示器的显示器尺寸；第1判断单元，其对上述获取的上述立体显示器的显示器尺寸和上述N－1个最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述N－1个最大显示器尺寸；提取单元，其从上述N张视点图像中的除了上述基准视点的视点图像以外的N－1张的多张视点图像中，提取1组或多组的2张视点图像；计算单元，其根据与上述提取的1组或多组的2张视点图像相对应而分别存储的上述远景侧的最大视差量，计算上述2张视点图像间的远景侧的最大视差量；第2判断单元，其根据上述计算出的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将与上述计算出的最大视差量相对应的2张视点图像显示在立体显示器上时，是否可双眼融合；选择单元，其从与上述N－1个最大显示器尺寸中的通过上述第1判断单元判断为小于或等于的上述立体显示器的显示器尺寸的最大显示器尺寸相对应的1组或多组的2张视点图像、和通过上述第2判断单元判断为可双眼融合的1组或多组的2张视点图像中，选择1组的2张视点图像；以及输出单元，其在通过上述第1判断单元判断上述立体显示器的显示器尺寸大于上述N－1个最大显示器尺寸，且通过上述第2判断单元判断为无法双眼融合的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断单元判断上述立体显示器的显示器尺寸小于或等于上述N－1个最大显示器尺寸中的某1个最大显示器尺寸，或通过上述第2判断单元判断为可双眼融合的情况下，将通过上述选择单元选择的2张视点图像输出至上述立体显示器。
根据第二发明，因为从3维图像文件获取N张视点图像和（N－1）个最大显示器尺寸，获取输出目标的立体显示器的显示器尺寸，判断立体显示器的显示器尺寸是否大于（N－1）个最大显示器尺寸，并且，根据与从N张视点图像中的除了基准视点的视点图像之外的（N－1）张的多张视点图像提取的1组或多组的2张视点图像相对应而分别存储的远景侧的最大视差量，计算该2张视点图像的视点图像间的远景侧的最大视差量，判断可否双眼融合，从与（N－1）个最大显示器尺寸中的判断为小于或等于立体显示器的显示器尺寸的最大显示器尺寸相对应的1组或多组的2张视点图像中选择1组2张视点图像，输出至立体显示器，所以可以根据记录在3维图像文件中的附属信息，显示适当视差量的立体图像。
为了实现上述目的，第三发明的立体图像再生装置的特征在于，具有：第1获取单元，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间的远景侧的最大视差量，N为大于或等于3的整数；第2获取单元，其获取输出目标的立体显示器的显示器尺寸；第1判断单元，其根据作为上述附属信息记录的远景侧的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将上述基准视点的视点图像和其他N－1张视点图像中的1张视点图像显示在立体显示器上时是否可双眼融合；提取单元，其从上述N张视点图像中除了上述基准视点的视点图像之外的N－1张多张视点图像中，提取1组或多组的2张视点图像；计算单元，其根据与上述提取的1组或多组的2张视点图像相对应而存储的远景侧的最大视差量，计算该2张视点图像间的远景侧的最大视差量；第2判断单元，其根据上述计算出的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将与上述计算出的最大视差量相对应的2张视点图像显示在立体显示器上时是否可双眼融合；选择单元，其从通过上述第1判断单元及第2判断单元中的至少一个单元判断为可双眼融合的1组或多组的2张视点图像中，选择1组的2张视点图像；以及输出单元，其在通过上述第1判断单元及第2判断单元判断为无法双眼融合的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断单元及第2判断单元中的至少一个单元判断为可双眼融合的情况下，将通过上述选择单元选择的2张视点图像输出至上述立体显示器。
根据第三发明，因为从3维图像文件获取N张视点图像和除了基准视点的视点图像以外的图像的（N－1）个远景侧的最大视差量，获取输出目标的立体显示器的显示器尺寸，判断在将基准视点的视点图像和其他（N－1）张视点图像中的1张视点图像显示在立体显示器上时是否可双眼融合，从N张视点图像中除了上述基准视点的视点图像以外的（N－1）张的多张视点图像中提取1组或多组的2张视点图像，计算提取出的1组或多组的2张视点图像间的远景侧的最大视差量，判断在将与计算出的最大视差量相对应的2张视点图像显示在立体显示器上时是否可双眼融合，将其输出至立体显示器，所以可以根据3维图像文件中记录的附属信息，显示适当的视差量的立体图像。
另外，在第二发明及第三发明的立体图像再生装置中，优选上述第2判断单元根据上述立体显示器的显示器尺寸和表示人的双眼间距的规定值计算容许视差量，根据上述计算出的最大视差量是否小于或等于上述容许视差量，判断是否可双眼融合。
由此，可以判断是否可适当地双眼融合。
此外，在第一发明至第三发明的立体图像再生装置中，其特征在于，上述选择单元优先选择上述多组的2张视点图像中包含与预先设定的基准视点相对应的视点图像的2张视点图像。
由此，可以适当地选择视点图像。
此外，在第一发明至第三发明的立体图像再生装置中，优选上述选择单元选择上述多组的2张视点图像中的上述最大视差量最大的2张视点图像。
由此，可以适当地选择视点图像。
而且，在第一发明至第三发明的立体图像再生装置中，优选上述选择单元选择上述多组的2张视点图像中上述最大视差量最小的2张视点图像。
由此，可以适当地选择视点图像。
而且，在第一发明至第三发明的立体图像再生装置中，优选上述选择单元优先选择上述多组的2张视点图像中包含按照视点排列顺序位于最中央侧的视点图像的2张视点图像。
由此，可以适当地选择视点图像。
另外，在第一发明至第三发明的立体图像再生装置中，优选具有获取上述多组的2张视点图像的近景侧的最大视差量的单元，上述选择单元根据上述获取的近景侧的最大视差量，从上述多组的2张视点图像中选择1组的2张视点图像。
由此，可以适当地选择视点图像。
此外，在第一发明至第三发明的立体图像再生装置中，其特征在于，在上述3维图像文件中记录的上述N张视点图像中，混合存在与实际视点相对应的多张视点图像、和与由实际视点的多张视点图像生成的假想视点相对应的假想视点图像的情况下，上述选择单元优先选择上述多组的2张视点图像中的包含上述实际视点的视点图像的2张视点图像。
由此，可以适当地选择视点图像。
为了实现上述目的，第四发明的立体摄像装置的特征在于，具有：摄像单元，其从多个视点获取拍摄同一拍摄对象的多张视点图像；视差量计算单元，其从上述获取的多张视点图像计算表示特征一致的特征点间的偏移量的视差量；最大视差量获取单元，其获取上述计算出的各特征点的视差量中的远景侧的最大视差量；最大显示器尺寸获取单元，其根据上述获取的远景侧的最大视差量，获取在将上述多张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸；记录单元，其生成记录上述多张视点图像的3维图像文件，将该3维图像文件记录在记录介质中，该记录单元将上述多张视点图像记录在上述3维图像文件中，并且，将上述远景侧的最大视差量及最大显示器尺寸作为附属信息记录在上述3维图像文件中；以及技术方案1至10中任意一项记载的立体图像再生装置。
由此，可以显示适当的视差量的立体图像。
为了实现上述目的，第四发明的立体显示器装置的特征在于，具有上述输出目标的立体显示器和上述第一发明至第三发明的立体图像再生装置。
由此，可以显示适当的视差量的立体图像。
为了实现上述目的，第五发明的立体图像再生方法的特征在于，具有：第1获取工序，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，并从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含N－1个最大显示器尺寸，该N－1个最大显示器尺寸与由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间的远景侧的最大视差量相对应，是将上述2张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸，N为大于或等于3的整数；第2获取工序，其获取输出目标的立体显示器的显示器尺寸；第1判断工序，其对上述获取的上述立体显示器的显示器尺寸和上述N－1个最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述N－1个最大显示器尺寸；选择工序，其从与N－1个最大显示器尺寸中的通过上述第1判断工序判断为小于或等于上述立体显示器的显示器尺寸的最大显示器尺寸相对应的1组或多组的2张视点图像中，选择1组的2张视点图像；以及输出工序，其在通过上述第1判断工序判断上述立体显示器的显示器尺寸大于上述N－1个最大显示器尺寸的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断工序判断上述立体显示器的显示器尺寸小于或等于上述N－1个最大显示器尺寸中的某1个最大显示器尺寸的情况下，将通过上述选择工序选择的2张视点图像输出至上述立体显示器。
为了实现上述目的，第六发明的立体图像再生方法的特征在于，具有：第1获取工序，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，并从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间的远景侧的最大视差量、和与该远景侧的最大视差量相对应的N－1个最大显示器尺寸，该最大显示器尺寸是将上述2张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸，N为大于或等于3的整数；第2获取工序，其获取输出目标的立体显示器的显示器尺寸；第1判断工序，其对上述获取的上述立体显示器的显示器尺寸和上述N－1个最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述N－1个最大显示器尺寸；提取工序，其从上述N张视点图像中的除了上述基准视点的视点图像以外的N－1张的多张视点图像中，提取1组或多组的2张视点图像；计算工序，其根据与上述提取的1组或多组的2张视点图像相对应而分别存储的上述远景侧的最大视差量，计算上述2张视点图像间的远景侧的最大视差量；第2判断工序，其根据上述计算出的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将与上述计算出的最大视差量相对应的2张视点图像显示在立体显示器上时，是否可双眼融合；选择工序，其从与上述N－1个最大显示器尺寸中的通过上述第1判断工序判断为小于或等于上述立体显示器的显示器尺寸的最大显示器尺寸相对应的1组或多组的2张视点图像、和通过上述第2判断工序判断为可双眼融合的1组或多组的2张视点图像中，选择1组的2张视点图像；以及输出工序，其在通过上述第1判断工序判断上述立体显示器的显示器尺寸大于上述N－1个最大显示器尺寸，且通过上述第2判断工序判断为无法双眼融合的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断工序判断上述立体显示器的显示器尺寸小于或等于上述N－1个最大显示器尺寸中的某1个最大显示器尺寸，或通过上述第2判断工序判断为可双眼融合的情况下，将通过上述选择工序选择的2张视点图像输出至上述立体显示器。
为了实现上述目的，第七发明的立体图像再生方法的特征在于，具有：第1获取工序，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间远景侧的最大视差量，N为大于或等于3的整数；第2获取工序，其获取输出目标的立体显示器的显示器尺寸；第1判断工序，其根据作为上述附属信息记录的远景侧的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将上述基准视点的视点图像与其他N－1张视点图像中的1张视点图像显示在立体显示器上时是否可双眼融合；提取工序，其从上述N张视点图像中除了上述基准视点的视点图像之外的N－1张的多张视点图像中，提取1组或多组的2张视点图像；计算工序，其根据与上述提取的1组或多组的2张视点图像相对应而存储的上述远景侧的最大视差量，计算上述2张视点图像间的远景侧的最大视差量；第2判断工序，其根据上述计算出的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将与上述计算出的最大视差量相对应的2张视点图像显示在立体显示器上时，是否可双眼融合；选择工序，其从通过上述第1判断工序及第2判断工序判断中的至少一个工序判断为可双眼融合的1组或多组的2张视点图像中选择1组的2张视点图像；以及输出工序，其在通过上述第1判断工序及第2判断工序判断为无法双眼融合的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断工序及第2判断工序中的至少一个工序判断为可双眼融合的情况下，将通过上述选择工序选择的2张视点图像输出至上述立体显示器。
发明的效果
根据本发明，可以根据3维图像文件中记录的附属信息，显示适当的视差量的立体图像。
附图说明
图1是表示拍摄2张视点图像的情况的图。
图2是示意地表示3D图像文件的数据结构的图。
图3是表示拍摄、记录处理的流程图。
图4是表示2张视点图像的一例的图。
图5是表示拍摄4张视点图像的情况的图。
图6是示意地表示3D图像文件的数据结构的图。
图7是示意地表示3D图像文件的数据结构的其他形式的图。
图8是用于对假想视点进行说明的图。
图9是示意地表示3D图像文件的数据结构的图。
图10是用于说明视差移动原理的图。
图11是表示左右视点图像与视差移动的图。
图12是表示拍摄、记录处理的流程图。
图13是示意地表示3D图像文件的数据结构的图。
图14是表示再生显示处理的流程图。
图15是表示再生显示处理的流程图。
图16是表示再生显示处理的流程图。
图17是表示再生显示处理的流程图。
图18是表示立体图像再生装置和3D显示器的整体结构的图。
图19是表示立体图像再生装置的内部结构的框图。
具体实施方式
下面，按照附图，对本发明优选的实施方式进行详细说明。
对于第1实施方式涉及的3D图像文件进行说明。
图1是表示利用2个摄像装置101－2、101－3的各自的摄像单元，从不同的视点对拍摄对象100拍摄2张视点图像的情况的图，图2是示意地表示记录通过图1所示的摄像单元101－2、101－3的各摄像单元拍摄的2张视点图像201－2、201－3的3D图像文件的数据结构的图。
图2所示的3D图像文件是基于MP格式的MP文件，使同一拍摄对象的多张视点图像连结而收容在1个文件中。对于相连结的各视点图像，在其数据前端记录SOI（Start of Image）标记，并且，在末端记录EOI（End of Image）标记。由此，可以识别各图像的读入开始位置和结束位置。
此外，各视点图像数据由图像区域和附属信息区域构成。在附属信息区域中，除了由拍摄装置信息及拍摄模式信息等构成的Exif附属信息之外，在本实施方式中，还记录下述附属信息，其包含：图像记录时获取的最大显示器尺寸（宽度、高度）（单位：mm）、图像记录时假定的视距（观察立体图像时的观看者与显示器间的距离）（单位：mm）、最大视差量（近景）（%）、最大视差量（远景）（%）、拍摄各视点图像的装置的辐辏角、基线长度、摄像部配置（视点编号）、获取各视点图像时的拍摄次数。此外，附属信息使用第1获取单元获取（第1获取工序）。另外，第1获取单元读取记录有N（N：大于或等于3的整数）个视点的立体观看用的N张视点图像和与该N张视点图像相对应的附属信息的3维图像文件，从该3维图像文件获取上述N张视点图像及附属信息，该附属信息包含（N－1）个最大显示器尺寸，该（N－1）个显示器尺寸与由上述N张视点图像中的预先设定的基准视点的视点图像和其他（N－1）张视点图像的各个不同的组合构成的2张视点图像间的远景侧的最大视差量相对应，是在将上述2张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸。
使用图3的流程图，对于用于记录这种3D图像文件的拍摄、记录处理进行说明。
首先，获取多张视点图像（步骤S11）。在这里，如图1所示，利用2个摄像装置101－2、101－3对拍摄对象100分别拍摄1张图像，获取2张视点图像201－2、201－3。此外，在这里，将摄像装置101－2设为2号视点，将摄像装置101－3设为3号视点。
然后，使用视差量计算单元从2张视点图像201－2、201－3中提取多个特征点（步骤S12），计算每个特征点的视差量（步骤S13）。在这里，所谓视差量，是指在视点图像间的对应特征点距离各视点图像的左端的距离的差，单位是像素。根据按照这种方式计算出的各特征点的视差量，使用最大视差量获取单元获取近景侧的最大视差量和远景侧的最大视差量（步骤S14）。
图4是表示2张视点图像的一例的图，图4A表示左视点图像201－2，图4B表示右视点图像201－3。
在图4的例子中，近景侧的最大视差量是213N，具有该视差量的特征点（最大视差量位置（近景）），分别是211N、212N。另外，远景侧的最大视差量是213F，具有该视差量的特征点（最大视差量位置（远景））分别是211F、212F。即，在立体观看基于这2张视点图像201－2、201－3的立体图像的情况下，在最近处可看到最大视差量位置（近景），在最远处可看到最大视差量位置（远景）。
该近景侧的最大视差量213N及远景侧的最大视差量213F与图像宽度的比值（%）即为最大视差量（近景）（%）、最大视差量（远景）（%）。
根据按照上述方式计算出的最大视差量，使用最大显示器尺寸获取单元获取最大显示器尺寸（步骤S15）。如果远景侧的视差量超过人的双眼间距，则图像本身的位置无法双眼融合，从而无法进行立体观看。因此，根据在步骤S14中计算出的最大视差量（远景）与图像宽度的比值（%），获取视差不超过人的双眼间距的最大显示器尺寸。
例如，假定人的双眼间距为50mm，如果最大视差量（远景）与图像宽度的比值是10%，则立体观看所容许的最大显示器宽度为500mm。即，如果是宽度小于或等于500mm的显示器，最大视差位置（远景）的视差量未超过两眼间距50mm，可显示，其结果，观看者可以进行立体观看。在这里，在假定长宽比为16:9的显示器的情况下，最大显示器高度为281.25mm。
此外，人的双眼间距可以对应于作为对象的观看者而适当确定。例如，在仅以成人为对象的情况下，可以设定为65mm等较宽的值。
例如，假定人的双眼间距为65mm，如果最大视差量（远景）相对于图像宽度的比值是15%，则立体观看可容许的最大显示器宽度约为433mm。另外，在假定长宽比为16:9的显示器的情况下，最大显示器的高度约为244mm。
另外，也可以不根据人的双眼间距计算，而是预先准备记录有与最大视差量相对应的最大显示器尺寸的表格，通过参照该表格，获取最大显示器尺寸。
最后，如图2所示，使用记录单元将2张视点图像201－2、201－3和附属信息，作为1个3D图像文件进行记录（步骤S16）。
即，在视点图像201－2的SOI标记之后，在附属信息中包含并记录在步骤S15中获取的最大显示器尺寸、假想的视距、在步骤S14中获取的最大视差量（近景）（%）、最大视差量（远景）（%）、步骤S11中的摄像装置101－2、101－3的辐辏角、基线长度、视点编号、及拍摄次数，然后，记录视点图像201－2的图像信息、EOI标记。
此外，记录视点图像201－3的SOI标记、附属信息、图像信息、EOI标记。可以在视点图像201－3的附属信息区域仅记录Exif附属信息。
如上所述，可以记录图2所示的3D图像文件。
按照上述方式记录的3D图像文件，在要显示在3D显示器上时通过再生装置读取。这时，在再生装置中，通过对3D图像文件的附属信息中记录的最大显示器尺寸与将要显示的3D显示器的显示尺寸进行比较，可以容易地判断是否可立体观看。因此，在判断为可立体观看的情况下，直接显示所记录的图像的即可，从而可以减再生装置中对应于图像尺寸而调整视差量的处理。
另外，在必须由再生装置调整视差量的情况下，通过使用附属信息中记录的假想视距或拍摄次数的信息，可以适当地调整视差量。
此外，在本实施方式中，仅根据远景侧的最大视差量确定最大显示器尺寸，但也可以考虑近景侧的最大视差量而决定。通过考虑近景侧的最大视差量，则不仅是远景侧，也可以适当地确定对于近景侧可立体观看的最大显示器尺寸。
[第2实施方式]
在第1实施方式中，以从2个视点拍摄的2张视点图像为例进行了说明，但本发明涉及的立体图像的视点个数并不限定于2个点，也可以是多视点的视点图像。
图5是利用4个摄像装置101－1至101－4，从不同的视点对拍摄对象100拍摄4张视点图像的情况的图。在这里，使摄像装置101－1至101－4的视点编号依次为1至4。
图6是示意地表示记录由这4个摄像装置101－1至101－4拍摄的4张视点图像的3D图像文件的数据结构的图。在该3D图像文件中，除了4张视点图像之外，还记录有将各视点图像的尺寸缩小后的显示用图像。作为显示用图像，可以使用分辨率为1920×1080的全HD尺寸图像。
如图6所示，这些图像按照下述顺序记录，即：1号视点的视点图像（以下称为视点图像（1））、1号视点的显示用图像（以下称为缩略图（1））、2号视点的视点图像（以下称为视点图像（2））、2号视点的显示用图像（以下称为缩略图（2））、3号视点的视点图像（以下称为视点图像（3））、3号视点的显示用图像（以下称为缩略图（3））、4号视点的视点图像（以下称为视点图像（4））、4号视点的显示用图像（以下称为缩略图（4））。
首先，作为前端图像，记录在作为基准视点的1号视点拍摄的视点图像（1），该记录区域含有SOI标记、附属信息区域、图像信息区域、及EOI标记。
在附属信息区域中，与第1实施方式同样地，除了摄像设备信息或摄像模式信息等Exif附属信息之外，还包含并记录最大显示器尺寸、假想视距、最大视差量（近景）、最大视差量（远景）、拍摄各视点图像的装置的辐辏角、基线长度、摄像部配置（视点编号）、获取各视点图像时的拍摄次数等附属信息。
此外，作为该最大显示器尺寸、最大视差量等记录使用该3D图像文件整体的情况下的值。具体地说，根据以在基准视点拍摄的视点图像（1）为基准而视差量最大的视点图像（在这里是视点图像（4）），计算出最大视差量，并根据该最大视差量获取最大显示器尺寸，记录这些最大视差量及最大显示器尺寸。关于辐辏角、基线长度等，可以记录与拍摄同一视点图像（在这里是视点图像（4））的装置之间的辐辏角、基线长度。
此外，在图像信息区域中记录视点图像（1）的图像信息，然后记录EOI标记。
在视点图像（1）之后，记录由视点图像（1）生成的缩略图（1），该记录区域与前述同样地，具有SOI标记、附属信息区域、图像信息区域、及EOI标记。在附属信息区域中记录通常的Exif附属信息。
在缩略图（1）之后记录视点图像（2）。在视点图像（2）的记录区域，也具有SOI标记、附属信息区域、图像信息区域、及EOI标记。
在附属信息区域中，除了通常的Exif附属信息之外，包含并记录根据该视点图像（2）和在基准视点拍摄的视点图像（1）计算出的最大显示器尺寸、假想视距、最大视差量（近景）、最大视差量（远景）、拍摄2张视点图像的装置的辐辏角、基线长度、视点编号、拍摄2张视点图像时的拍摄次数等附属信息。
在视点图像（2）之后，记录根据视点图像（2）生成的缩略图（2），然后记录视点图像（3）。
对于视点图像（3）的记录区域也同样地，具有SOI标记、附属信息区域、图像信息区域、及EOI标记，在附属信息区域中，除了通常的Exif附属信息之外，记录由该视点图像（3）和在基准视点拍摄的视点图像（1）计算出的最大显示器尺寸等。
然后，对于视点图像（4）也同样地进行记录。
如上所述，在记录多视点的视点图像的情况下，作为各视点图像的附属信息，优选记录与前端图像相关的最大显示器尺寸。
按照这种方式记录的3D图像文件，在显示在3D显示器上时，可通过再生装置读取。这时，在再生装置中，通过对记录在3D图像文件的附属信息中的每张视点图像的最大显示器尺寸，与将要进行显示的3D显示器的显示尺寸进行比较，从而可以容易地判断是否可以适当地立体观看。
此外，多视点图像的记录顺序并不限定于图6所示的顺序。
例如，如图7A所示，也可以按照视点图像（1）、缩略图（1）至缩略图（4）、视点图像（2）至视点图像（4）的顺序记录。通过预先在前面记录显示用的缩略图，可以加快进行显示时的文件读取时的图像读入，缩短在3D显示器上显示图像为止所需的时间。另外，各视点图像主要用于打印，因为打印需要规定的时间，所以即使将缩略图记录在文件的后半部，也不会有问题。
此外，各缩略图的记录顺序，也可以是先记录在3D显示器上显示时的推荐图像。例如，如果推荐由缩略图（2）和缩略图（3）进行立体显示，则如图7B所示，也可以在前端图像的视点图像（1）之后记录缩略图（2）、缩略图（3），然后，记录缩略图（1）、缩略图（4）。
2张图像视差量较小时，即使显示器很大也可以立体显示。另外，使用靠近中央部的视点的图像时，适合于立体观看。因此，在这种情况下，推荐2号视点和3号视点处的图像，从而优选预先将缩略图（2）和缩略图（3）记录在前面。
同样地，如果推荐由缩略图（1）和缩略图（3）进行的立体显示，则如图7C所示，也可以在前端图像的视点图像（1）之后，记录缩略图（1）、缩略图（3），然后记录缩略图（2）、缩略图（4）。
在存在立体显示中的推荐图像的情况下，也可以在作为前端图像的视点图像（1）的附属信息中记录推荐图像相关的最大显示器尺寸、假定视距、最大视差量。
[第3实施方式]
第2实施方式这种多视点图像，不一定全部是实际拍摄的图像，也可以包含与假想视点相对应的假想视点图像。
例如，如图8所示，利用2个摄像装置101－1、101－4，对拍摄对象100从不同的视点（1号视点、4号视点）拍摄2张视点图像。此外，也可以在与1号视点和4号视点不同的视点，生成实际不存在的假想视点处的2号视点、3号视点的视点图像2、视点图像3。为了生成假想视点图像，存在对多张拍摄图像的各像素进行内分的方法，或使用由多个拍摄图像生成的视差对应图和1张拍摄图像生成的方法等，但并不特别限定。
图9A是示意地表示记录按照上述方式获取的各视点图像的3D图像文件的数据结构的图。在该图的例子中，记录实际拍摄的2张视点图像（1）、视点图像（4）、和作为它们的显示用图像的缩略图（1）、缩略图（4）、及作为假想视点图像的显示用图像的缩略图（2）、缩略图（3）。
首先，作为前端图像而记录视点图像（1），在其后记录缩略图（2）、缩略图（3）、缩略图（1）、缩略图（4），然后，记录视点图像（4）。在这里，缩略图的顺序按照推荐顺序记录，但是，也可以按照视点的排列顺序记录，或按照向中央视点接近的顺序记录。另外，缩略图（2）、缩略图（3）可以由缩略图（1）及缩略图（4）生成，也可以由视点图像（1）及视点图像（4）生成。
与前述同样地，各图像的记录区域具有SOI标记、附属信息区域、图像信息区域、及EOI标记。另外，在视点图像（1）的附属信息区域，除了最大显示器尺寸、假想距离、最大视差量之外，还记录表示各视点编号是实际进行拍摄的视点（实际视点）还是假想视点的视点信息。
另外，也可以不具有显示用图像，而仅记录打印用的视点图像。在图9B所示的例子中，记录实际拍摄的2张视点图像（1）、视点图像（4）、和作为假想视点图像的视点图像（2）、视点图像（3）。
另外，作为记录顺序，使用打印或显示的推荐顺序，具体地说，作为前端图像记录视点图像（2），在其后记录视点图像（3）、视点图像（1）、视点图像（4）。与前述同样地，也可以按照视点顺序进行记录。
由此，通过生成并记录假想视点图像，作为实际视点图像只要有2张图像即可，从而可以实现摄像装置的摄像光学系统的简单化、轻量化。
[第4实施方式]
在判断如果显示在假定尺寸的显示器上，则远景侧的视差量超过人的双眼间距的情况下，也可以进行图像的视差量调整，以使得显示在该尺寸的显示器上也可以立体观看，然后再记录。
在本实施方式中，作为视差量调整，进行视差移动。
图10是用于说明视差移动的原理的图。另外，图11A是表示左视点图像的图，图11B是表示右视点图像的图。在这里，观看者的左眼位于坐标（0，D），观看者的右眼位于坐标（XB，D）。对于在Z＝0处的左右视点图像中左视点图像的坐标为（XL，0）及右视点图像的坐标为（XR，0）的拍摄对象，看到其位于坐标（XP，YP）处。
在该状态下，如图11B所示，如果将右视点图像向左移动至XR－XR’，则如图10所示，拍摄对象的右视点图像的坐标成为（XR’，0），其结果，看到拍摄对象位于坐标（XP’，YP’）处。
由此，可以通过进行视差移动，进行视差量调整。因此，在远景侧的视差量超过人的双眼间距的情况下，可以通过进行视差移动，使其位于人的双眼间距之内，从而可以适当地进行立体观看。
图12是表示用于记录本实施方式涉及的3D图像的拍摄、记录处理的流程图。
首先，获取多张视点图像（步骤S21）。在这里，拍摄2张视点图像。然后，分别从2张视点图像提取多个特征点（步骤S22），计算每个特征点的视差量（步骤S23）。根据按照这种方式计算出的每个特征点，获取近景侧的最大视差量和远景侧的最大视差量（步骤S24）。
在这里，对于进行显示的假想显示器，获取其显示宽度。假想显示器的显示宽度可以预先确定并存储，在通过HDMI端子等外部连接端子连接3D显示器的情况下，也可以通过与该连接相对应的通信，读取3D显示器的尺寸。
判断在将该立体图像显示在该显示宽度的显示器上的情况下，是否可以立体观看远景侧的最大视差位置（步骤S25）。具体地说，计算出显示宽度与远景侧的最大视差量（%）的乘积，判断计算出的乘积是否大于或等于人的双眼间距即50mm。
在计算出的乘积低于50mm的情况下，直接记录拍摄的2张视点图像（步骤S27）。例如，可以记录作为图2所示的数据结构的3D图像文件，也可以生成显示用缩略图或假想视点图像记录。
在计算出的乘积大于或等于50mm的情况下，进行视差移动，以使得该乘积低于50mm，从而可以立体观看远景侧的最大视差位置（步骤S26）。
如图11所示，视差移动可以通过使右视点图像向左方移动而进行，也可以通过使左视点图像向右方移动而进行。另外，也可以使左右视点图像向彼此接近的方向移动。
在视差移动处理结束后，进行记录（步骤S27）。图13是示意地表示这时记录的3D图像文件的数据结构的图。在该3D图像文件中，除了拍摄的2张原图之外，还记录有缩小各原图尺寸而获取的视差移动后的显示用图像及缩略图。在这里，显示用图像是全HD尺寸图像，缩略图是VGA尺寸图像。缩略图例如在显示在设置于摄像装置背面的小型液晶显示器上而进行图像检索时等使用。
如图13所示，上述图像按照1号视点的显示用图像、2号视点的显示图像、1号视点的缩略图、2号视点的缩略图、1号视点的原图、2号视点的原图的顺序记录，各记录区域具有SOI标记（图中省略）、附属信息区域、图像信息区域、及EOI标记（图中省略）。
首先，作为前端图像，记录作为基准视点的1号视点的显示用图像，在其附属信息区域记录最大视差量。
接下来记录的是2号视点的显示用图像，该图像是进行上述视差移动后的图像。在2号视点的显示用图像的附属信息区域记录视点移动处理完成的信息和其移动量（单位：像素）。
然后，记录1号视点的缩略图，在该附属信息区域中还记录最大视差量。
此外，记录2号视点的缩略图。该缩略图可以是视差移动后的图像，也可以是由2号视点的原图生成的图像。
然后，记录1号视点的原图及2号视点的原图。在1号视点的原图的附属信息区域中还记录最大视差量。
通过生成这种3D图像文件，从而在显示在假定尺寸的显示器上时，可以始终观看远景侧的最大视差位置，从而适合于观看者进行立体观看。
另外，因为还记录有VGA尺寸的缩略图，所以也可以用于图像检索时的显示。
此外，可以将假想的显示器尺寸记录在前端图像的附属信息区域中。通过预先记录假定显示器尺寸，可以在再生装置中，通过对所读取的假定显示器尺寸和将要显示的3D显示器的显示尺寸进行比较，容易地判断是否可以适当地立体观看。
[第5实施方式]
下面，使用图14的流程图，对于读取按照上述方式记录的3D图像文件并进行再生显示的处理进行说明。
此外，在本实施方式中可读取的3D图像文件的形式与图6所示的3D图像文件相同，记录在各视点图像的附属信息中的最大显示器尺寸、假想视距、最大视差量（远景）如下述表1所示。另外，各图像的视点位置和视点编号的关系为图5所示的关系，基准视点设为1号视点。
[表1]
Figure BDA00002308460800211
初始，使用第2获取单元获取之后进行3D图像显示的显示器的尺寸（横向宽度）（步骤S31：第2获取工序）。在这里，假设所获取的显示器的横向宽度为600mm。另外，读取图6所示的3D图像文件（步骤S32）。
然后，从读入的3D图像文件按照视点编号的顺序获取最大显示器尺寸（步骤S33）。在表1所示的例子中，首先获取1号视点即视点图像（1）的最大显示器尺寸为500mm。
然后，使用第1判断单元判断该获取的最大显示器尺寸是否大于或等于在步骤S31中获取的显示器尺寸（步骤S34：第1判断工序）。在这里，因为最大显示器尺寸是500mm，而显示器尺寸是600mm，所以转入步骤S36。
在步骤S36中，判断对于全部图像获取最大显示器尺寸是否结束。
在这里，因为对于全部图像还没有结束，所以返回步骤S33。
在步骤S33中，使视点编号增加1，然后获取2号视点即视点图像（2）的最大显示器尺寸为1200mm。
然后，转入步骤S34，判断获取的最大显示器尺寸是否大于或等于显示器尺寸。这一次，最大显示器尺寸是1200mm，因为大于显示器尺寸600mm，所以转入步骤S35。在步骤S35中，获取当前编号。在这里，获取视点编号2。
由此，对于全部图像反复进行步骤S33至步骤S35的处理。通过该处理，获取最大显示器尺寸大于或等于显示器尺寸的图像的视点编号。在这里，获取视点编号2和视点编号3。
然后，从在步骤S35中获取的视点编号的图像，使用选择单元选择显示图像（步骤S37）。在这里，选择作为基准视点的图像的视点图像（1）、和2号视点的图像（视点图像（2））或3号视点的图像（视点图像（3））中的任意一个图像（选择工序）。
作为选择的基准，考虑视差量最大的图像、视差量最小的图像、靠近中央视点的图像等。另外，也可以与假想视点图像相比优先选择实际拍摄的实际视点图像。该基准可以预先确定，也可以构成为由观看者自由设定。在这里，选择视差量最大的图像，其结果，选择视点图像（1）和视点图像（3）。
将在步骤S37中选择的图像经由输出单元3D显示在3D显示器上（步骤S38：输出工序）。即，在这里，根据视点图像（1）和视点图像（3）进行3D显示。这时，也可以使用各视点图像的显示用缩略图进行3D显示。此外，在没有在步骤S35中获取的视点编号的情况下，即，在全部图像的最大显示器尺寸小于显示器尺寸的情况下，进行2D显示。对于进行2D显示的图像的选择基准，也可以适当确定。
如上所述，通过读取作为通过第一获取单元（工序）获取的各视点图像的附属信息记录的最大显示器尺寸，与实际进行显示的显示器尺寸进行比较，选择最大显示器尺寸较大的图像而显示，从而可以始终显示适当的3D图像。
此外，上述处理也可以根据记录在3D图像文件的各视点图像的附属信息中的通过计算单元（工序）获取的最大视差量进行。或者，可以使用提取单元从N张视点图像中除了基准视点的视点图像以外的（N－1）张的多张视点图像提取1组或多组的2张视点图像，使用计算单元，根据与2张视点图像相对应而分别存储的远景侧的最大视差量，计算所提取的1组或多组的2张视点图像间的远景侧的最大视差量。
图15是根据最大视差量选择再生显示的图像的情况下的流程图。此外，对于与图14所示的流程图共通的部分标记相同的标号，省略其详细的说明。另外，在读取的3D图像文件的各视点图像的附属信息中，并未记录最大显示器尺寸，其他附属信息与表1所示的文件相同。另外，显示器的横向宽度也同样地是600mm。
与图14的情况同样地，获取显示器的尺寸（步骤S31），读取3D图像文件（步骤S32）。然后，从该读取的3D图像文件中选择2张（1组）视点图像（步骤S41）。因为最终会选择全部图像的组合，所以选择的顺序可以适当确定。在这里，首先选择视点图像（1）和视点图像（2）。
获取该选择的2张图像的最大视差量（远景）（步骤S42）。记录在各视点图像的附属信息中的最大视差量（远景）是与基准视点图像的最大视差量。因此，在选择的2张图像中未包含基准视点图像的情况下，必须重新计算最大视差量。
在这里，因为选择的2张图像中，一张是基准视点图像的视点图像（1），所以记录在视点图像（2）的附属信息中的最大视差量（远景）成为这2张的最大视差量（远景）。
下面，判断在步骤S31中获取的显示器的宽度与在步骤S42中获取的2张图像的最大视差量（远景）的乘积，是否小于或等于人的双眼间距50mm（步骤S43）。此外，人的双眼间距并不限定于50mm，例如，也可以使用65mm等数值。
在该乘积大于50mm的情况下，因为无法适当地立体观看远景侧的最大视差量，所以判断这2张视点图像的组合不适合于立体观看，转入步骤S45。
在这里，最大视差量（远景）是4%，与显示器宽度600mm的乘积是24mm。因此，满足小于或等于50mm的条件，转入步骤S44。在步骤S44中，获取这2张图像的视点编号。即，在这里，获取视点编号1和2的组合。
在步骤S45中，判断对于全部组合最大视差量获取是否结束。在这里，因为对全部组合还没有结束，所以返回步骤S41。
在下面的步骤S41中，选择不同的2张（1组）视点图像。
在这里，选择视点图像（2）和视点图像（3）这2张视点图像。
在步骤S42中，获取这2张最大视差量（远景）。如上所述，记录在视点图像（2）、视点图像（3）各自的附属信息中的最大视差量（远景），因为是与作为基准视点图像的视点图像（1）的最大视差量，所以必须重新计算视点图像（2）与视点图像（3）这2张图像中的最大视差量。
2张图像中的最大视差量通过获取记录在各自的附属信息中的最大视差量（远景）的差计算。因此，在这里，7%－4%＝3%是2张图像中的最大视差量（远景）。
在步骤S43中，判断上述计算出的2张图像的最大视差量（远景）与显示器的宽度的乘积是否小于或等于50mm。
在这里，最大视差量（远景）是3%，与显示器宽度600mm的乘积是18mm。因此，满足小于或等于50mm的条件，转入步骤S44。在步骤S44中，获取这2张图像的视点编号，即视点编号2和3的组合。
由此，对于全部的图像组合，重复进行步骤S42至步骤S44的处理。通过该处理，仅获取最大视差量（远景）与显示器尺寸的乘积小于或等于50mm的图像组合的视点编号。在这里，获取视点编号1和2、2和3、2和4、3和4的组合。
然后，根据在步骤S44中获取的视点编号的组合，选择显示图像（步骤S37）。
作为选择的基准，如前所述，考虑视差量最大的组合、视差量最小的组合、包含靠近中央视点的图像的组合、优先使用实际视点图像等。该基准可以预先确定，也可以由观看者自由设定。在这里，选择视差量最小的组合即2号视点和3号视点的组合，即，视点图像（2）和视点图像（3）。
最后，将在步骤S37中选择的图像3D显示在3D显示器上（步骤S38）。即，在这里根据视点图像（2）和视点图像（3）进行3D显示。也可以使用各视点图像的显示用缩略图进行3D显示。此外，在没有在步骤S35中获取的视点编号的情况下，即，在全部的组合中均不适合于步骤S43的条件的情况下，进行2D显示。对于进行2D显示的图像的选择基准，也可以适当确定。
由此，通过读取作为各视点图像的附属信息记录的最大视差量（远景），计算与实际进行显示的显示器尺寸的乘积，选择显示乘积小于人的双眼间距的图像的组合，从而可以显示非常适当的3D图像。
[第6实施方式]
如第5实施方式中说明所示，在根据记录在各视点图像的附属信息中的最大显示器尺寸选择显示图像的情况下，只能在与基准视点图像的组合中进行图像选择。对此，在根据记录在各视点图像的附属信息中的最大视差量（远景）选择显示图像的情况下，可以对于全部图像的组合进行判断，但处理变得繁杂。
因此，在本实施方式中，在附属信息中记录最大显示器尺寸和最大视差量（远景）这两种信息的情况下，使用两种信息进行显示图像的选择。
图16是表示根据最大显示器尺寸与最大视差量（远景）选择显示图像的情况下的流程图。此外，对于与图14、图15所示的流程图共通的部分标记相同的标号，省略其详细说明。
如图16所示，首先与图14的情况同样地，根据最大显示器尺寸选择可3D显示的图像（步骤S33至S35）。
然后，与图15的情况同样地，根据最大视差量（远景），选择可3D显示的图像（步骤S41至S44）。此外，这时，不需要对与基准视点图像的组合进行处理。
最后，从在步骤S35中获取的与基准视点图像的组合、及在步骤S44中获取的多个2张图像的组合中，进行显示图像选择（步骤S37）。选择基准可以与之前同样地适当确定。
如上所述，通过根据最大显示器尺寸与最大视差量（远景）选择显示的图像，可以缩短处理时间，并使用从全部组合中选择的适当的图像进行3D显示。
此外，在这里，选择根据远景侧的最大视差量进行显示的图像，但也可以考虑近景侧的最大视差量进行确定。通过考虑近景侧的最大视差量，则不仅是远景侧，还可以确定可适当地立体观看近景侧的图像的组合。
例如，也可以从在步骤S44中获取的多个2张图像组合中，选择近景侧的视差量小于或等于规定值的组合。如果近景侧的视差量增大，则因为观看者会在立体观看时感到疲劳，所以优选小于或等于50mm等值。
近景侧的最大视差量在记录在3D图像文件中的情况下，可以使用该近景侧的最大视差量的值。另外，如使用图4说明所示，也可以从各视点图像提取特征点，根据近景侧的最大视差量进行计算。
[第7实施方式]
图17是表示第7实施方式的图像再生处理的流程图。
在这里，读取的3D图像文件与表1所示的文件相同。此外，显示器的横向宽度为1300mm。
初始，获取之后要进行3D显示的显示器尺寸（步骤S51）。例如，从通过HDMI电缆连接的显示器，获取显示器尺寸。
然后，读取3D图像文件（步骤S52），从读入的3D图像文件的附属信息，读取基准视点编号标记的值（步骤S53）。在本实施方式中，读入基准视点编号1。
然后，根据基准视点编号1的图像即视点图像（1）的附属信息获取最大显示器尺寸（步骤S54）。这里记录的值，如前所述，是在与视点图像（1）的组合且成为最大视差量的视点的组合中的最大显示器尺寸，具体地说，是与视点图像（4）的组合中的最大显示器尺寸。
将该最大显示器尺寸与在步骤S51中获取的显示器尺寸进行比较（步骤S55）。在最大显示器尺寸与显示器尺寸相比较大的情况下（是的情况下），因为直接3D显示视点图像（1）和视点图像（4）也没有问题，所以将这2张图像3D显示在3D显示器上（步骤S56）而结束。
在步骤S55中的比较结果为否的情况下，转入步骤S57。
在步骤S57中，获取读入的3D图像文件中的全部视点的视点编号。此外，从各视点图像的附属信息，获取各图像的最大视差量的值（步骤S58）。如表1所示，从视点图像（2）获取最大视差量4%，从视点图像（3）获取最大视差量7%，从视点图像（4）获取最大视差量10%。
然后，计算进行3D显示的显示器中的容许视差量（步骤S59）。容许视差量通过下述式1计算出。此外，显示器尺寸是指显示器的横向宽度。另外，在这里将人的双眼间距设为50mm，也可以使用其他数值。
容许视差量[%]＝50mm÷显示器尺寸[mm]×100%…（式1）
在本实施方式中，因为显示器尺寸是1300mm，所以容许视差量约为3.85%。
然后，确认基准视点的配置（步骤S60）。在基准视点不是全部视点中的中央附近的情况下，将中央附近的视点位置设定为新的基准视点（步骤S61），计算各视点图像与新的基准视点的最大视差量（步骤S62）。
在本实施方式中，因为视点编号如图5所示，作为基准视点的1号视点不是中央附近。因此，在这里，作为中央附近的视点，将2号视点设定为新的基准视点。
计算各视点图像与该新的基准视点即2号视点的最大视差量。在表1的3D图像文件的例子中，记载在各视点图像的附属信息中的最大视差量与记载在视点图像（2）的附属信息中的最大视差量的差值的绝对值，成为新的基准视点处的最大视差量。因此，各视点图像的最大视差量如下所示。
视点图像（1）的最大视差量＝|0%－4%|＝4%
视点图像（2）的最大视差量＝|4%－4%|＝0%
视点图像（3）的最大视差量＝|7%－4%|＝3%
视点图像（4）的最大视差量＝|10%－4%|＝6%
此外，进行上述处理是由于更接近中央部配置的视点图像更适合于进行3D显示。
在步骤S62的处理结束，或在步骤S60中判断基准视点在全部视点中的中央附近的情况下，选择这些最大视差量中小于或等于容许视差量且具有最大值的视点（步骤S63）。在本实施方式中，因为容许视差量小于或等于3.85%，所以满足该条件的视点是3号视点。
如上所述，在可以选择满足条件的视点的情况下（步骤S64），使用基准视点图像和该选择的图像进行3D显示（步骤S65）。在无法选择的情况下（步骤S64），进行2D显示（步骤S66）。
例如，如果暂时获取的显示器尺寸是1700mm，则容许视差量为2.94%，无法选择小于或等于容许视差量且具有最大的最大视差量值的视点。在这种情况下，进行2D显示。
由此，因为基于容许视差量选择视点图像，所以可以适当地选择适合于立体观看的视点图像。
此外，也可以在无法选择的情况下不进行2D显示，而是在进行视差移动或视差而压缩调整为适当的视差量之后进行3D显示。
[立体摄像装置的外观]
下面，对于用于实现上述实施方式的装置进行说明。
图18是表示本发明涉及的立体摄像装置的外观的图，图18A是从前面侧观察立体摄像装置的斜视图，图18B是背视图。
该立体摄像装置（复眼照相机）10是可以记录再生2D/3D静止画面、及2D/3D动画的数字照相机，如图18所示，在薄型长方体状的照相机主体的上表面配置快门按钮11、变焦按钮12。
在照相机主体的前表面配置镜头盖13，其具有与照相机主体的左右方向的宽度大致相同的宽度，且可以在照相机主体的上下方向自由移动，通过使该镜头盖13在由双点划线表示的位置和由实线表示的位置之间在上下方向移动，可以使左右一对的摄像光学系统14－1、14－2的前表面同时开闭。另外，作为摄像光学系统14－1、14－2，可以使用屈光系统的变焦透镜。另外，可以与镜头盖13进行的透镜前表面的开闭动作联动，使照相机电源接通/断开。
如图18B所示，在照相机主体14的背面，在其中央部配置3D用的液晶监视器16。液晶监视器16可以利用视差屏障将多个视差图像（右视点图像、左视点图像）作为分别具有规定指向性的指向性图像而显示。另外，作为3D用液晶监视器16，可以使用双凸透镜，或通过戴上偏光眼镜、液晶快门眼镜等专用眼镜而单独观看右视点图像和左视点图像的装置等。
在上述液晶监视器16的左右两侧配置各种操作开关。操作开关18A是切换静止图像拍摄和动画拍摄的切换开关，操作开关18B是调整右视点图像与左视点图像的视差量的视差调整开关，操作开关18C是切换2D拍摄和3D拍摄的切换开关。另外，操作开关18D是兼做MENU/OK按钮和再生按钮的前后键，操作开关18E是多功能十字键，操作开关18F是DISP/BACK键。
MENU/OK按钮是兼有作为菜单按钮的功能和作为OK按钮的功能的操作开关，该菜单按钮用于进行在液晶监视器16的画面上显示菜单的指示，该OK按钮用于指示选择内容的确定及执行等。再生按钮是从拍摄模式切换为再生模式的切换按钮。十字键是输入上下左右4个方向的指示的操作开关，分配用于微调按钮、闪光按钮、自拍按钮等，另外，在选择菜单的情况下，作为从该菜单画面选择项目或从各菜单指示各种设定项目选择的开关（光标移动操作单元）起作用。另外，十字键的左/右键作为再生模式时的场景进给（正向/反向进给）按钮起作用。DISP/BACK键在切换液晶监视器16的显示方式，或取消菜单画面上的指示内容或返回前1个操作状态时等使用。
另外，在图18A中，15是立体麦克风。
[立体摄像装置的内部结构]
图19是表示上述立体摄像装置10内部结构的框图。
如图19所示，该立体摄像装置10主要由多个摄像部20－1、20－2、中央处理器（CPU）32、包含上述快门按钮11、变焦按钮12、及各种操作开关在内的操作部34、显示控制部36、液晶监视器16、记录控制部38、压缩/展开处理部42、数字信号处理部44、AE（Automatic Exposure：自动曝光）检测部46、AF（Auto Focus：自动对焦）检测部48、AWB（Automatic White Balance：自动白平衡）检测部50、VRAM 52、RAM 54、ROM 56、及EEPROM 58等构成。另外，摄像部20－1、20－2拍摄彼此具有视差的左眼用图像和右眼用图像这2张视差图像，但摄像部20也可以是大于或等于3个。
拍摄左眼用图像的摄像部20－1具有：光学单元，其由拍摄光学系统14－1（图21）、光圈22及机械快门23构成，该拍摄光学系统14－1由棱镜（未图示）、聚焦透镜及变焦透镜21构成；固体摄像元件（CCD）24、模拟信号处理部25、A/D变换器26、图像输入控制器27、驱动上述光学单元的透镜驱动部28、光圈驱动部29及快门控制部30、控制CCD 24的CCD控制部31。另外，拍摄右眼用图像的摄像部20－2因为具有与拍摄上述左眼用图像的摄像部20－1相同的结构，所以省略其具体的结构说明。
CPU 32根据来自操作部34的输入，按照规定的控制程序综合控制照相机整体的动作。最大显示器尺寸的计算、视差移动、假想视点图像的生成等，均可以通过CPU 32进行。
此外，在ROM 56中存储CPU 32所执行的控制程序及控制所需的各种数据等，在EEPROM 58中存储表示产品出厂前的调整时的调整结果的各种信息，例如CCD 24的像素缺陷信息、图像处理等使用的校正参数、或最大视差量与最大显示器尺寸的对应表格等。
另外，VRAM 52是暂时存储显示在液晶监视器16上的显示用的图像数据的存储器，RAM 54包含CPU 32的运算作业用区域及图像数据的暂时存储区域。
包含在拍摄光学系统中的聚焦透镜及变焦透镜21，由透镜驱动部28驱动而沿光轴前后移动。CPU 32通过控制透镜驱动部28的驱动，从而进行调焦，以将聚焦透镜的位置控制为使得焦点与拍摄对象对准，并且，对应于来自操作部34中的变焦按钮12的变焦指令，控制变焦透镜的变焦位置，变更变焦倍率。
光圈22例如由可变光圈构成，由光圈驱动部29驱动而动作。CPU 32经由光圈驱动部29控制光圈22的打开量（光圈值），控制向CCD 24的入射光量。
机械快门23通过使光路开闭而确定CCD 24的曝光时间，并且，在来自CCD 24的图像信号读取时，使不需要的光不入射到CCD 24，从而防止产生斑点。CPU 32将对应于快门速度的曝光结束时刻同步的快门关闭信号输出至快门控制部30，对机械快门23进行控制。
CCD 24由2维彩色CCD固体摄像元件构成。在CCD 24的受光面2维排列多个光电二极管，对各光电二极管以规定的排列配置滤光片。
经由上述结构的光学单元，在CCD受光面上成像的拍摄对象的光学像，通过该光电二极管变换为与入射光量相对应的信号电荷。蓄积在各光电二极管中的信号电荷，按照CPU 32的指令，根据由CCD控制部31施加的驱动脉冲，依次从CCD 24读取作为与信号电荷相对应的电压信号（图像信号）。CCD 24具有电子快门功能，通过控制向光电二极管的电荷蓄积时间对曝光时间（快门速度）进行控制。另外，通过电子快门控制与快门速度相对应的电荷蓄积开始时刻，通过关闭上述机械快门23控制曝光结束时刻（电荷蓄积结束时刻）。在该实施方式中，使用CCD 24作为摄像元件，但也可以使用CMOS传感器等其他结构的摄像元件。
从CCD 24读取的R、G、B的模拟信号，通过模拟信号处理部25进行相关二重采样（CDS）或放大后，通过A/D变换器26变换为R、G、B的数字信号。
图像输入控制器27内置有规定容量的线性缓冲器，暂时蓄积通过A/D变换器26进行A/D变换后的R、G、B的图像信号（CCDRAW数据），然后经由总线60存储在RAM 54中。
在3D摄像模式时，CPU 32与控制拍摄左视点图像的摄像部20－1同样地，对拍摄右视点图像的摄像部20－2进行控制。
AE检测部46根据在快门按钮11半压入时读取的图像信号，计算AE控制所需的拍摄对象亮度，将表示拍摄对象亮度（拍摄EV值）的信号输出至CPU 32。CPU 32根据输入的拍摄EV值，按照规定的程序曲线图设定多个摄像部20－1、20－2中的快门速度（曝光时间）、光圈值、摄像感光度。
AF检测部48使快门按钮11半压入时读取的AF区域的图像信号的高频成分的绝对值相乘，将该相乘获取的值（AF评价值）输出至CPU 32。CPU 32通过使聚焦透镜从最近处向无限远侧移动，搜索由AF检测部48检测到的AF评价值最大的合焦位置，使聚焦透镜移动至该合焦位置，从而进行针对拍摄对象（主要拍摄对象）的调焦。此外，在动画拍摄时，使聚焦透镜移动，以使得上述AF评价值始终为最大值，即，进行所谓的爬山法控制。
AWB检测部50根据在本次拍摄时获取的R、G、B图像信号，自动求出光源种类（被拍摄体的色温），从预先存储针对光源种类设定的R、G、B的白平衡系数（白平衡校正值）的表格读取对应的白平衡系数。
数字信号处理部44包含白平衡校正电路、灰度变换处理电路（例如，γ校正电路）、同步化电路、轮廓校正电路、亮度/色差信号生成电路等，对于存储在RAM 54中的R、G、B的图像信号（CCDRAW数据）进行图像处理，上述同步化电路对伴随单板CCD的滤光片排列的R、G、B等色信号的空间偏移进行插补，从而使各色信号位置对齐。即，R、G、B的CCDRAW数据在数字信号处理部44中，乘以通过AWB检测部50检测到的白平衡系数，进行白平衡校正，并实施灰度变换处理（例如γ校正）等规定的处理，然后，变换为由亮度信号（Y信号）及色差信号（Cr、Cb）构成的YC信号。通过数字处理信号部44处理过的YC信号存储在RAM 54中。
另外，数字信号处理部44包含失真校正电路和图像切出处理电路而构成，该失真校正电路对多个摄像部20－1、20－2摄像光学系统的透镜畸变进行校正，该图像切出处理电路通过从左右视点图像中切出各规定切出区域的图像，而对多个摄像部20－1、20－2的拍摄光学系统的光轴偏移进行校正。
压缩/展开处理部42在向存储卡40记录时，根据来自CPU 32的指令，对存储在RAM 54中的YC信号进行压缩处理，另外，对记录在存储卡40中的压缩后的数据进行展开处理，获取YC信号。
记录控制部38将通过压缩/展开处理部42压缩获取的压缩数据制成规定格式的图像文件（例如，3D静止图像为MP文件，3D动画为动态JPEG、H.264、MPEG4、MPEG4－MVC动画文件），记录在存储卡40中，或从存储卡40进行图像文件读取。
另外，记录控制部38在记录本发明涉及的MP文件时，除了Exif附属信息之外，还在存储卡40中记录最大显示器尺寸、假定视距、最大视差量（近景）（%）、最大视差量（远景）（%）等，作为附属信息。
液晶监视器16作为用于显示拍摄到的图像的图像显示部使用，并且，在各种设定时作为GUI（可视化用户界面）使用。另外，液晶监视器16作为显示用于在拍摄模式时确认画面的实时取景图像（以下称为“实时取景图像”）的电子取景器使用。显示控制部36在使液晶监视器16显示3D图像的情况下，一个像素一个像素地交互显示VRAM 52中保存的左视点图像和右视点图像。利用设置在液晶监视器16上的视差屏障，可分别由从规定距离观看的用户的左右眼睛中识别一个像素一个像素地交互排列的左右图像。由此，可以进行立体观看。
利用按照上述方式的立体摄像装置10，可以实现上述实施方式。
[立体图像再生装置]
此外，对于第5至第8实施方式，也可以在未设置摄像部的立体图像再生装置中实现。
图22是表示本发明涉及的立体图像再生装置300和3D显示器320的整体结构的图。如该图所示，立体图像再生装置300和3D显示器320是单独构成的装置，通过通信电缆310可通信连接。
3D显示器320是视差屏障方式或双凸透镜方式的显示器，每隔1条线交互地显示从立体图像再生装置300输入3D显示器320的左视点图像及右视点图像。
另外，3D显示器320也可以时间上交互地切换显示左视点图像及右视点图像。在这种情况下，观看者可以使用特殊的眼镜识别3D显示器320。
图23是表示立体图像再生装置300的内部结构的框图。如该图所示，立体图像再生装置300构成为，具有CPU 301、记录控制部305、存储卡306、显示控制部307、通信接口308等。
CPU 301根据记录在ROM 302中的控制程序，对立体图像再生装置300整体的动作进行综合控制。RAM 303作为CPU 301的运算作业用区域使用。
记录控制部305、显示控制部307经由总线304与CPU 301连接。记录控制部305控制3D图像文件向存储卡306的数据读写。存储卡306例如与图21所示的立体摄像装置10的存储卡40相同，在立体摄像装置10中记录包含拍摄到的各视点图像和附属信息的3D图像文件。
通信接口308是连接通信电缆310的连接器部，显示控制部307经由通信电缆310和通信接口308在3D立体显示器320上显示立体图像。作为通信接口308、通信线缆310，考虑使用HDMI规格的产品。根据HDMI规格，立体图像再生装置300可以获取经由通信线缆310连接的3D显示器320的显示器尺寸。
此外，也可以在立体图像再生装置300中设置用于拍摄各视点图像的多眼的摄像单元，将拍摄到的视点图像记录在存储卡306中。另外，也可以作为一体的装置构成立体图像再生装置300和3D显示器320。
标号说明
10…立体摄像装置
16…液晶监视器
20－1、20－2…摄像部
40…存储卡
44…数字信号处理部
100…拍摄对象
101－1至101－4…摄像装置
211N、212N…最大视差量位置（近景）
211F、212F…最大视差量位置（远景）
213N…近景侧的视差量
213F…远景侧的最大视差量
300…立体图像再生装置
320…3D显示器

Claims (15)

1.一种立体图像再生装置，其特征在于，具有：
第1获取单元，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，并从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含N－1个最大显示器尺寸，该N－1个最大显示器尺寸与由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间的远景侧的最大视差量相对应，是将上述2张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸，N为大于或等于3的整数；
第2获取单元，其获取输出目标的立体显示器的显示器尺寸；
第1判断单元，其对上述获取的上述立体显示器的显示器尺寸和上述N－1个最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述N－1个最大显示器尺寸；
选择单元，其从与上述N－1个最大显示器尺寸中的通过上述第1判断单元判断为小于或等于上述立体显示器的显示器尺寸的最大显示器尺寸相对应的1组或多组的2张视点图像中，选择1组的2张视点图像；以及
输出单元，其在通过上述第1判断单元判断上述立体显示器的显示器尺寸大于上述N－1个最大显示器尺寸的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断单元判断上述立体显示器的显示器尺寸小于或等于上述N－1个最大显示器尺寸中的某1个最大显示器尺寸的情况下，将通过上述选择单元选择的2张视点图像输出至上述立体显示器。
2.一种立体图像再生装置，其特征在于，具有：
第1获取单元，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，并从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间的远景侧的最大视差量、和与该远景侧的最大视差量相对应的N－1个最大显示器尺寸，该最大显示器尺寸是将上述2张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸，N为大于或等于3的整数；
第2获取单元，其获取输出目标的立体显示器的显示器尺寸；
第1判断单元，其对上述获取的上述立体显示器的显示器尺寸和上述N－1个最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述N－1个最大显示器尺寸；
提取单元，其从上述N张视点图像中的除了上述基准视点的视点图像以外的N－1张的多张视点图像中，提取1组或多组的2张视点图像；
计算单元，其根据与上述提取的1组或多组的2张视点图像相对应而分别存储的上述远景侧的最大视差量，计算上述2张视点图像间的远景侧的最大视差量；
第2判断单元，其根据上述计算出的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将与上述计算出的最大视差量相对应的2张视点图像显示在立体显示器上时，是否可双眼融合；
选择单元，其从与上述N－1个最大显示器尺寸中的通过上述第1判断单元判断为小于或等于的上述立体显示器的显示器尺寸的最大显示器尺寸相对应的1组或多组的2张视点图像、和通过上述第2判断单元判断为可双眼融合的1组或多组的2张视点图像中，选择1组的2张视点图像；以及
输出单元，其在通过上述第1判断单元判断上述立体显示器的显示器尺寸大于上述N－1个最大显示器尺寸，且通过上述第2判断单元判断为无法双眼融合的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断单元判断上述立体显示器的显示器尺寸小于或等于上述N－1个最大显示器尺寸中的某1个最大显示器尺寸，或通过上述第2判断单元判断为可双眼融合的情况下，将通过上述选择单元选择的2张视点图像输出至上述立体显示器。
3.一种立体图像再生装置，其特征在于，具有：
第1获取单元，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间的远景侧的最大视差量，N为大于或等于3的整数；
第2获取单元，其获取输出目标的立体显示器的显示器尺寸；
第1判断单元，其根据作为上述附属信息记录的远景侧的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将上述基准视点的视点图像和其他N－1张视点图像中的1张视点图像显示在立体显示器上时是否可双眼融合；
提取单元，其从上述N张视点图像中除了上述基准视点的视点图像之外的N－1张多张视点图像中，提取1组或多组的2张视点图像；
计算单元，其根据与上述提取的1组或多组的2张视点图像相对应而存储的远景侧的最大视差量，计算该2张视点图像间的远景侧的最大视差量；
第2判断单元，其根据上述计算出的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将与上述计算出的最大视差量相对应的2张视点图像显示在立体显示器上时是否可双眼融合；
选择单元，其从通过上述第1判断单元及第2判断单元中的至少一个单元判断为可双眼融合的1组或多组的2张视点图像中，选择1组的2张视点图像；以及
输出单元，其在通过上述第1判断单元及第2判断单元判断为无法双眼融合的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断单元及第2判断单元中的至少一个单元判断为可双眼融合的情况下，将通过上述选择单元选择的2张视点图像输出至上述立体显示器。
4.如权利要求2或3所述的立体图像再生装置，其特征在于，
上述第2判断单元根据上述立体显示器的显示器尺寸和表示人的双眼间距的规定值计算容许视差量，根据上述计算出的最大视差量是否小于或等于上述容许视差量，判断是否可双眼融合。
5.如权利要求1至4中任意一项所述的立体图像再生装置，其特征在于，
上述选择单元优先选择上述多组的2张视点图像中包含与预先设定的基准视点相对应的视点图像的2张视点图像。
6.如权利要求1至5中任意一项所述的立体图像再生装置，其特征在于，
上述选择单元选择上述多组的2张视点图像中的上述最大视差量最大的2张视点图像。
7.如权利要求1至5中任意一项所述的立体图像再生装置，其特征在于，
上述选择单元选择上述多组的2张视点图像中的上述最大视差量最小的2张视点图像。
8.如权利要求1至5中任意一项所述的立体图像再生装置，其特征在于，
上述选择单元优先选择上述多组的2张视点图像中的包含按照视点排列顺序而位于最中央侧的视点图像的2张视点图像。
9.如权利要求1至5中任意一项所述的立体图像再生装置，其特征在于，
具有获取上述多组的2张视点图像的近景侧的最大视差量的单元，
上述选择单元根据上述获取的近景侧的最大视差量，从上述多组的2张视点图像中选择1组的2张视点图像。
10.如权利要求1至9中任意一项所述的立体图像再生装置，其特征在于，
在上述3维图像文件中记录的上述N张视点图像中，混合存在与实际视点相对应的多张视点图像、和与由实际视点的多张视点图像生成的假想视点相对应的假想视点图像的情况下，上述选择单元优先选择上述多组的2张视点图像中的包含上述实际视点的视点图像的2张视点图像。
11.一种体摄像装置，其特征在于，具有：
摄像单元，其从多个视点获取拍摄同一拍摄对象的多张视点图像；
视差量计算单元，其从上述获取的多张视点图像计算表示特征一致的特征点间的偏移量的视差量；
最大视差量获取单元，其获取上述计算出的各特征点的视差量中的远景侧的最大视差量；
最大显示器尺寸获取单元，其根据上述获取的远景侧的最大视差量，获取在将上述多张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸；
记录单元，其生成记录上述多张视点图像的3维图像文件，将该3维图像文件记录在记录介质中，该记录单元将上述多张视点图像记录在上述3维图像文件中，并且，将上述远景侧的最大视差量及最大显示器尺寸作为附属信息记录在上述3维图像文件中；以及
权利要求1至10中任意一项所述的立体图像再生装置。
12.一种立体显示器装置，其特征在于，具有：
上述输出目标的立体显示器；以及
权利要求1至10中任意一项所述的立体图像再生装置。
13.一种立体图像再生方法，其特征在于，具有：
第1获取工序，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，并从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含N－1个最大显示器尺寸，该N－1个最大显示器尺寸与由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间的远景侧的最大视差量相对应，是将上述2张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸，N为大于或等于3的整数；
第2获取工序，其获取输出目标的立体显示器的显示器尺寸；
第1判断工序，其对上述获取的上述立体显示器的显示器尺寸和上述N－1个最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述N－1个最大显示器尺寸；
选择工序，其从与N－1个最大显示器尺寸中的通过上述第1判断工序判断为小于或等于上述立体显示器的显示器尺寸的最大显示器尺寸相对应的1组或多组的2张视点图像中，选择1组的2张视点图像；以及
输出工序，其在通过上述第1判断工序判断上述立体显示器的显示器尺寸大于上述N－1个最大显示器尺寸的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断工序判断上述立体显示器的显示器尺寸小于或等于上述N－1个最大显示器尺寸中的某1个最大显示器尺寸的情况下，将通过上述选择工序选择的2张视点图像输出至上述立体显示器。
14.一种立体图像再生方法，其特征在于，具有：
第1获取工序，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，并从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间的远景侧的最大视差量、和与该远景侧的最大视差量相对应的N－1个最大显示器尺寸，该最大显示器尺寸是将上述2张视点图像显示在立体显示器上时可双眼融合的最大显示器尺寸，N为大于或等于3的整数；
第2获取工序，其获取输出目标的立体显示器的显示器尺寸；
第1判断工序，其对上述获取的上述立体显示器的显示器尺寸和上述N－1个最大显示器尺寸进行比较，判断上述立体显示器的显示器尺寸是否大于上述N－1个最大显示器尺寸；
提取工序，其从上述N张视点图像中的除了上述基准视点的视点图像以外的N－1张的多张视点图像中，提取1组或多组的2张视点图像；
计算工序，其根据与上述提取的1组或多组的2张视点图像相对应而分别存储的上述远景侧的最大视差量，计算上述2张视点图像间的远景侧的最大视差量；
第2判断工序，其根据上述计算出的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将与上述计算出的最大视差量相对应的2张视点图像显示在立体显示器上时，是否可双眼融合；
选择工序，其从与上述N－1个最大显示器尺寸中的通过上述第1判断工序判断为小于或等于上述立体显示器的显示器尺寸的最大显示器尺寸相对应的1组或多组的2张视点图像、和通过上述第2判断工序判断为可双眼融合的1组或多组的2张视点图像中，选择1组的2张视点图像；以及
输出工序，其在通过上述第1判断工序判断上述立体显示器的显示器尺寸大于上述N－1个最大显示器尺寸，且通过上述第2判断工序判断为无法双眼融合的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断工序判断上述立体显示器的显示器尺寸小于或等于上述N－1个最大显示器尺寸中的某1个最大显示器尺寸，或通过上述第2判断工序判断为可双眼融合的情况下，将通过上述选择工序选择的2张视点图像输出至上述立体显示器。
15.一种立体图像再生方法，其特征在于，具有：
第1获取工序，其读取记录有N个视点的立体观看用的N张视点图像、和与该N张视点图像相对应的附属信息的3维图像文件，从该3维图像文件获取上述N张视点图像及附属信息，上述附属信息包含由上述N张视点图像中预先设定的基准视点的视点图像和其他N－1张视点图像的各不相同的组合构成的2张视点图像间远景侧的最大视差量，N为大于或等于3的整数；
第2获取工序，其获取输出目标的立体显示器的显示器尺寸；
第1判断工序，其根据作为上述附属信息记录的远景侧的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将上述基准视点的视点图像与其他N－1张视点图像中的1张视点图像显示在立体显示器上时是否可双眼融合；
提取工序，其从上述N张视点图像中除了上述基准视点的视点图像之外的N－1张的多张视点图像中，提取1组或多组的2张视点图像；
计算工序，其根据与上述提取的1组或多组的2张视点图像相对应而存储的上述远景侧的最大视差量，计算上述2张视点图像间的远景侧的最大视差量；
第2判断工序，其根据上述计算出的最大视差量、上述立体显示器的显示器尺寸、和表示人的双眼间距的规定值，判断将与上述计算出的最大视差量相对应的2张视点图像显示在立体显示器上时，是否可双眼融合；
选择工序，其从通过上述第1判断工序及第2判断工序判断中的至少一个工序判断为可双眼融合的1组或多组的2张视点图像中选择1组的2张视点图像；以及
输出工序，其在通过上述第1判断工序及第2判断工序判断为无法双眼融合的情况下，将上述N张视点图像中的1张视点图像输出至上述立体显示器，在通过上述第1判断工序及第2判断工序中的至少一个工序判断为可双眼融合的情况下，将通过上述选择工序选择的2张视点图像输出至上述立体显示器。
CN201180020921.9A 2010-04-28 2011-04-25 立体图像再生装置及方法、立体摄像装置、立体显示器装置 Expired - Fee Related CN102893613B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010103906 2010-04-28
JP2010-103906 2010-04-28
PCT/JP2011/060096 WO2011136191A1 (ja) 2010-04-28 2011-04-25 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置

Publications (2)

Publication Number Publication Date
CN102893613A true CN102893613A (zh) 2013-01-23
CN102893613B CN102893613B (zh) 2016-06-22

Family

ID=44861490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180020921.9A Expired - Fee Related CN102893613B (zh) 2010-04-28 2011-04-25 立体图像再生装置及方法、立体摄像装置、立体显示器装置

Country Status (4)

Country Link
US (1) US8736671B2 (zh)
JP (1) JP5449537B2 (zh)
CN (1) CN102893613B (zh)
WO (1) WO2011136191A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10632740B2 (en) 2010-04-23 2020-04-28 Landa Corporation Ltd. Digital printing process
JP5449535B2 (ja) * 2010-04-28 2014-03-19 富士フイルム株式会社 立体撮像装置及びその制御方法
CN102860019B (zh) * 2010-04-28 2015-07-29 富士胶片株式会社 立体图像再生装置及方法、立体摄像装置、立体显示器装置
JP5750457B2 (ja) 2011-01-25 2015-07-22 富士フイルム株式会社 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法
JP5486697B2 (ja) * 2011-02-03 2014-05-07 富士フイルム株式会社 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法
US9495795B2 (en) 2012-01-16 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image recording device, three-dimensional image reproducing device, image recording method, and three-dimensional image reproducing method
US10642198B2 (en) 2012-03-05 2020-05-05 Landa Corporation Ltd. Intermediate transfer members for use with indirect printing systems and protonatable intermediate transfer members for use with indirect printing systems
US10569534B2 (en) 2012-03-05 2020-02-25 Landa Corporation Ltd. Digital printing system
EP2822778B1 (en) 2012-03-05 2019-05-08 Landa Corporation Ltd. Digital printing process
MX2014010681A (es) 2012-03-05 2014-10-17 Landa Corp Ltd Estructuras de película de tinta.
US10434761B2 (en) 2012-03-05 2019-10-08 Landa Corporation Ltd. Digital printing process
US9643403B2 (en) 2012-03-05 2017-05-09 Landa Corporation Ltd. Printing system
US9498946B2 (en) 2012-03-05 2016-11-22 Landa Corporation Ltd. Apparatus and method for control or monitoring of a printing system
US9902147B2 (en) 2012-03-05 2018-02-27 Landa Corporation Ltd. Digital printing system
CN104284850B (zh) 2012-03-15 2018-09-11 兰达公司 打印系统的环形柔性皮带
GB201401173D0 (en) 2013-09-11 2014-03-12 Landa Corp Ltd Ink formulations and film constructions thereof
GB2536489B (en) 2015-03-20 2018-08-29 Landa Corporation Ltd Indirect printing system
GB2537813A (en) 2015-04-14 2016-11-02 Landa Corp Ltd Apparatus for threading an intermediate transfer member of a printing system
JP6626319B2 (ja) * 2015-11-18 2019-12-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
GB201602877D0 (en) * 2016-02-18 2016-04-06 Landa Corp Ltd System and method for generating videos
US10933661B2 (en) 2016-05-30 2021-03-02 Landa Corporation Ltd. Digital printing process
GB201609463D0 (en) 2016-05-30 2016-07-13 Landa Labs 2012 Ltd Method of manufacturing a multi-layer article
DE112018004530T5 (de) 2017-10-19 2020-07-09 Landa Corporation Ltd. Endloses flexibles band für ein drucksystem
US11267239B2 (en) 2017-11-19 2022-03-08 Landa Corporation Ltd. Digital printing system
WO2019102297A1 (en) 2017-11-27 2019-05-31 Landa Corporation Ltd. Digital printing system
US11707943B2 (en) 2017-12-06 2023-07-25 Landa Corporation Ltd. Method and apparatus for digital printing
JP7273038B2 (ja) 2017-12-07 2023-05-12 ランダ コーポレイション リミテッド デジタル印刷処理及び方法
JP7140517B2 (ja) * 2018-03-09 2022-09-21 キヤノン株式会社 生成装置、生成装置が行う生成方法、及びプログラム
JP7279085B2 (ja) 2018-06-26 2023-05-22 ランダ コーポレイション リミテッド デジタル印刷システム用の中間転写部材
US10994528B1 (en) 2018-08-02 2021-05-04 Landa Corporation Ltd. Digital printing system with flexible intermediate transfer member
WO2020075012A1 (en) 2018-10-08 2020-04-16 Landa Corporation Ltd. Friction reduction means for printing systems and method
EP3902680A4 (en) 2018-12-24 2022-08-31 Landa Corporation Ltd. DIGITAL PRINTING SYSTEM
JP2023505035A (ja) 2019-11-25 2023-02-08 ランダ コーポレイション リミテッド Ｉｔｍ内部に埋め込まれた粒子によって吸収された赤外線放射を使用したデジタル印刷におけるインクの乾燥
US11321028B2 (en) 2019-12-11 2022-05-03 Landa Corporation Ltd. Correcting registration errors in digital printing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190180A1 (en) * 2004-02-27 2005-09-01 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
CN1788497A (zh) * 2003-04-17 2006-06-14 索尼株式会社 立体视觉图像处理装置、立体视觉图像提供方法及图像显示方法
CN101651842A (zh) * 2008-08-12 2010-02-17 索尼株式会社 三维图像校正、显示和再生设备和方法及图像提供系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163337A (en) 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP3735617B2 (ja) * 1996-04-05 2006-01-18 松下電器産業株式会社 多視点画像伝送方法、多視点画像表示方法および多視点画像表示装置
JP2005073049A (ja) 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
JP4763571B2 (ja) * 2006-10-24 2011-08-31 シャープ株式会社 立体画像生成装置及び立体画像復号装置
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1788497A (zh) * 2003-04-17 2006-06-14 索尼株式会社 立体视觉图像处理装置、立体视觉图像提供方法及图像显示方法
US20050190180A1 (en) * 2004-02-27 2005-09-01 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
CN101651842A (zh) * 2008-08-12 2010-02-17 索尼株式会社 三维图像校正、显示和再生设备和方法及图像提供系统

Also Published As

Publication number Publication date
US20130044188A1 (en) 2013-02-21
US8736671B2 (en) 2014-05-27
CN102893613B (zh) 2016-06-22
JP5449537B2 (ja) 2014-03-19
WO2011136191A1 (ja) 2011-11-03
JPWO2011136191A1 (ja) 2013-07-18

Similar Documents

Publication Publication Date Title
CN102893613B (zh) 立体图像再生装置及方法、立体摄像装置、立体显示器装置
CN102860019B (zh) 立体图像再生装置及方法、立体摄像装置、立体显示器装置
CN103493484B (zh) 成像装置和成像方法
US9077976B2 (en) Single-eye stereoscopic image capturing device
CN102860017B (zh) 立体摄像装置及其制造方法
CN102959467A (zh) 单眼立体成像装置
CN103339947B (zh) 3d视频再现装置、3d显示装置、3d成像装置和3d视频再现方法
CN102986232B (zh) 图像处理装置及方法
JP5449551B2 (ja) 画像出力装置、方法およびプログラム
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
CN103339948B (zh) 3d视频再现装置、3d成像装置和3d视频再现方法
JP2010177921A (ja) 立体撮像装置および立体撮像方法
CN104041026B (zh) 图像输出装置、方法以及程序及其记录介质
CN104054333A (zh) 图像处理装置、方法以及程序及其记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160622

Termination date: 20180425