CN101959075B - 立体图像记录装置和方法、立体图像输出装置和方法、以及立体图像记录输出系统 - Google Patents

立体图像记录装置和方法、立体图像输出装置和方法、以及立体图像记录输出系统 Download PDF

Info

Publication number
CN101959075B
CN101959075B CN201010231448.6A CN201010231448A CN101959075B CN 101959075 B CN101959075 B CN 101959075B CN 201010231448 A CN201010231448 A CN 201010231448A CN 101959075 B CN101959075 B CN 101959075B
Authority
CN
China
Prior art keywords
image
recommendability
stereo
picture
formedness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010231448.6A
Other languages
English (en)
Other versions
CN101959075A (zh
Inventor
渡边干夫
中村敏
金森信乃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN101959075A publication Critical patent/CN101959075A/zh
Application granted granted Critical
Publication of CN101959075B publication Critical patent/CN101959075B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H04N5/7755—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver the recorder being connected to, or coupled with, the antenna of the television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明提供立体图像记录装置和方法、立体图像输出装置和方法、以及立体图像记录输出系统。一种具有两个成像单元的数字照相机，所述成像单元用于从不同的视点来捕捉同一对象的一对视差图像，以供在显示立体图像时使用。在这些视差图像的各个对应点之间的视差量被检测，以计算视差量的累计频率。基于该累计频率，评估这些视差图像用于立体显示的合适性，并与关于所评估的合适性的信息相关联地存储这些图像。在使用视差图像来显示立体图像之前，数字相框参考关于这些图像的立体合适性的信息，并根据立体合适性来修改其输出条件。

Description

立体图像记录装置和方法、立体图像输出装置和方法、以及立体图像记录输出系统
技术领域
本发明涉及一种装置和一种方法，其中，从不同的视点捕捉同一对象的多个图像，以便产生该对象的立体图像。更具体而言，本发明涉及一种立体图像记录装置及其方法，所述立体图像记录装置用于记录同时从不同视点捕捉的同一对象的多个图像，并且本发明还涉及一种立体图像输出装置及其方法，所述立体图像输出装置用于基于由所述立体图像记录装置记录的同一对象的多个图像来输出立体图像。本发明还涉及用于记录此类多个图像，以基于所记录的多个图像输出立体图像的一种立体图像记录输出系统。
背景技术
已知一种称为3D(三维)数字图片系统的成像系统，其包括：双目镜数字照相机，其通过成像设备对同时从不同的视点来对对象进行捕捉，以产生同一对象的一对图像；数字相框，其使用这两个图像来显示立体图像；以及立体打印机，其基于这两个图像进行立体图像的照片打印。在因特网上的富士胶片公司的主页上公开了此类立体数字图片系统：
例如对应于(http://www.fujifilm.cojp/corporate/news/article/ffnr0226.html)的(http://www.fujifilm.com/photokina2008/pdf/release/finepix_real3d_e.pdf)
由双目镜数字照相机同时从不同视点进行拍摄而获得的图像对在其间具有视差，因此在下文中将这些图像称为视差图像。数字相框在立体显示屏幕上一个覆盖一个地显示每对视差图像，使得注视屏幕的 观看者将用其右眼看到一个图像并用其左眼看到另一个图像，由于其视差而将所显示的图像感知为立体图像。
在本领域中已知的是此类立体图像与正常二维(2D)图像相比对观看者的眼睛施加更重的负荷，因为当观看者将视差图像感知为一个立体图像时，在从观看者的眼睛到视差图像的图像平面的观看距离与从观看者的眼睛到来自右眼的视线和来自左眼的视线交叉的交叉点的会聚距离之间存在差异。眼睛上的负荷经证明随着观看距离与会聚距离之间的差的增大而变重。会聚距离根据两个图像之间的视差量而变。
例如，在美国专利No.6,614,927(对应于JPA 1998-355808)中已经提出一种旨在减轻立体图像对观看者的眼睛的负荷的数字图片系统，其中，在从这些视差图像产生立体图像之前，检测视差图像对之间的视差量，以基于该视差量来评估立体图像将对观看者的眼睛产生多少负荷。如果评估结果显示立体图像将给眼睛施加的压力程度是不可接受的，则自动修改视差图像以便产生简单的2D(二维)图像。
在此现有技术中，可以根据通过视差评估的压力程度而自动地将立体图像切换成2D图像。也就是说，可能在显示屏上的立体图像之间意外地并入2D图像。在这种情况下，期待立体图像的观看者可能感觉奇怪或不舒服。另外，观看与2D图像混合的立体图像与仅仅观看立体图像相比，可能会给观看者带来更大的负荷。
发明内容
本发明的目在于仅使用适合于立体地显示图像的那些视差图像来显示立体图像。
根据本发明的立体图像记录装置包括：视差量测量设备，其在从不同视点捕捉的同一场景的一组图像中提取对应点以用于显示立体图像，检测每组对应点之间的视差量，并对所检测的视差量的发生频率 进行统计；立体合适性评估设备，其根据所述统计来计算不小于阈值的那些视差量的累计频率，基于该累计频率来评估图像用于立体显示的合适性，并根据所评估的合适性按至少两个等级的尺度(scale)来判定图像用于立体显示的可推荐性的水平；以及图像存储设备，其用于与可推荐性信息相关联地存储图像，其中，所述可推荐性信息与由所述立体合适性评估设备判定的可推荐性水平有关。
所述立体合适性评估设备将所计算的累计频率至少与累计频率阈值水平相比较，以判定可推荐性水平。所述立体合适性评估设备优选地在累计频率低于累计频率阈值水平时将可推荐性水平判定为较高等级，并在累计频率高于累计频率阈值水平时将可推荐性水平判定为较低等级。
当图像是将连续地输出以组成立体运动图像的图像帧时，所述视差量测量设备优选地检测视差量，并相对于每组图像帧对视差量的发生频率进行统计，并且所述立体合适性评估设备判定每组图像帧的可推荐性水平。
所述图像存储设备优选地将图像和可推荐性信息存储为图像文件。
根据本发明的立体图像记录方法包括：视差量测量步骤，包括在从不同视点捕捉的同一场景的一组图像中提取对应点以用于显示立体图像，检测每组对应点之间的视差量，并对所检测的视差量的发生频率进行统计的步骤；立体合适性评估步骤，包括根据所述统计来计算不小于阈值的那些视差量的累计频率，基于该累计频率来评估图像用于立体显示的合适性，并根据所评估的合适性按至少两个等级的尺度来判定图像用于立体显示的可推荐性的水平的步骤；以及图像存储步骤，存储所述图像及与由所述立体合适性评估设备判定的可推荐性水平有关的信息。
根据本发明的立体图像输出装置包括：输出设备，其用于使用从不同视点捕捉的同一场景的一组图像来输出立体图像；以及输出控制设备，其读取表示图像用于立体显示的合适性的可推荐性信息，并根据用于立体显示的合适性来改变所述输出设备的输出条件。
所述输出控制设备优选地基于可推荐性信息来判定是否使用图像输出立体图像，并控制所述输出设备在所述输出控制设备判定输出立体图像时使用图像将其输出。所述输出控制设备还可以基于可推荐性信息来控制输出设备，以改变用于使用图像来再现立体图像的大小或持续时间。
当图像是将连续地输出以组成立体运动图像的图像帧时，所述输出控制设备优选地根据附着于每组图像帧的可推荐性信息来判定是否输出每组的图像帧，并且当所述输出控制设备判定不输出一组图像帧时，所述输出控制设备控制所述输出设备继续输出之前刚刚已输出的另一组图像帧。
优选地，将每组图像连同可推荐性信息一起存储在图像文件中，并且所述输出控制设备读出多个图像文件以显示图表，该图表示出属于由可推荐性信息所表示的用于立体显示的各个合适性水平的图像文件的数目。
根据本发明的立体图像输出方法包括步骤：读取表示从不同视点捕捉的同一场景的一组图像的合适性的可推荐性信息以供显示立体图像使用；以及根据图像用于立体显示的合适性来改变用于使用图像输出立体图像的设备的输出条件。
根据本发明的立体图像记录输出系统包括：视差量测量设备，其在从不同视点捕捉的同一场景的一组图像中提取对应点以用于显示立 体图像，检测每组对应点之间的视差量，并对所检测的视差量的发生频率进行统计；立体合适性评估设备，其根据所述统计来计算不小于阈值的那些视差量的累计频率，基于该累计频率来评估图像用于立体显示的合适性，并根据所评估的合适性按至少两个等级的尺度来判定图像用于立体显示的可推荐性的水平；图像存储设备，其用于与可推荐性信息相关联地存储图像，所述可推荐性信息与由所述立体合适性评估设备判定的可推荐性水平有关；输出设备，其用于使用从不同视点捕捉的同一场景的一组图像来输出立体图像；以及输出控制设备，其读取与由所述图像存储设备存储的图像相关的可推荐性信息，并根据该可推荐性信息所表示的图像用于立体显示的合适性来改变所述输出设备的输出条件。
根据本发明，考虑用于立体显示的合适性来客观地评估从不同视点捕捉的每对视差图像，并与这些视差图像相关联地记录可推荐性水平，以指示这些图像用于立体显示的客观合适性。当使用视差图像来显示立体图像时，根据可推荐性水平来改变输出条件，从而使立体显示最优化。
附图说明
当结合附图进行阅读时，从优选实施例的以下详细说明中，本发明的以上及其他目的和优点将变得更加显而易见，在附图中，相同的附图标记在多个视图中自始至终指示相同或相应部分，并且在附图中：
图1是图示根据本发明的实施例的立体图像捕捉再现系统的透视图；
图2是图示使用其间具有视差的一对视差图像来显示立体图像的原理的说明图；
图3是图示双目镜数字照相机的结构的方框图；
图4是图示由双目镜数字照相机捕捉的一对视差图像的图，其示出这些图像的对应点和对应点之间的视差量；
图5是图示用于通过双目镜数字照相机来捕捉一对视差图像的流 程的流程图；
图6是图示用于在3D静止图像捕捉期间评估每对视差图像用于立体显示的可推荐性的流程的流程图；
图7图示用于计算视差图像之间的视差量的直方图的流程的流程图；
图8是在场景的背景上有风景的情况下从包含人物对象的场景拍摄的视差图像的视差量直方图；
图9是从具有均匀纹理背景的包含建筑物的场景拍摄的视差图像的视差量直方图；
图10是从整体地包含复杂图案的场景拍摄的视差图像的视差量直方图；
图11是示出了从具有均匀纹理背景的包含人对象的场景拍摄的视差图像的直方图；
图12是图示通过3D静止图像捕捉产生的3D静止图像文件的结构的方框图；
图13是用于在3D运动图像捕捉期间评估图像帧用于立体显示的可推荐性的流程的流程图；
图14是图示通过3D运动图像捕捉产生的3D运动图像文件的结构的方框图；
图15图示数字相框的内部结构的方框图；
图16是图示用于对可推荐图像的列表上的3D静止图像文件进行分类和登记的数字相框中的流程的流程图；
图17是图示用于对可推荐图像的列表上的3D运动图像文件进行分类和登记的数字相框中的流程的流程图；
图18是图示根据第一实施例的用于在数字相框上的立体显示的流程的流程图；
图19是图示根据第二实施例的用于在数字相框上的立体显示的流程的流程图；
图20是图示在第二实施例中使用的不同图像显示尺寸的说明图，其可根据可推荐水平而进行切换；
图21是图示根据第三实施例的用于在数字相框上的立体显示的流程的流程图；以及
图22是示出可推荐性水平与图像文件数目之间的相关性的图表，该图表被显示在数字相框上。
具体实施方式
在图1中图示的是根据本发明的实施例的立体图像捕捉再现系统10。系统10由体现本发明的立体图像记录装置的双目镜数字照相机11，和体现本发明的立体图像输出装置的数字相框12组成。
在下文中简称为照相机11的双目镜数字照相机11具有相互水平地间隔开的第一成像单元15L和第二成像单元15R，因此，照相机11可以同时从不同的视点拍摄同一对象，以捕捉对象的在其之间具有视差一对图像。数字相框12可以在LCD面板17上再现由照相机11捕捉的图像，使得每对中的一个图像被观看者的右眼感觉到，同时另一图像被观看者的左眼感觉到，因此，所显示的图像可以被感知为立体图像。在下文中，将由第一成像单元15L捕捉且被左眼感觉到的图像称为左图像，并将由第二成像单元15R捕捉且被右眼感觉到的图像称为右图像。
在图2中图示在数字相框12上显示立体图像的原理，其中，图2A示出用于显示立体图像的右和左视差图像20R和20L的示例，并且图2B图示当这些图像20R和20L被相互一个叠一个地显示在LCD面板17的屏幕22上时，观看者如何将其感知为立体图像。在图2中，附图标记21L和21R分别表示观看者的左眼和右眼，并且附图标记23L和23R分别表示包含在左眼和右眼20L和20R中的同一对象的图像。
如图2B所示，右图像20R内的对象23R的位置由于这些图像20R和20L之间的视差而相对地与左图像20L内的同一对象23L的位置发生移位。在下文中，将左右图像之间的同一对象的相对移位量称为视差量。当观看者观看屏幕22上的该对象时，在远离屏幕22而接近观看者的点 处，来自右眼21R的视线与来自左眼21L的视线交叉，使得对象的图像看起来是三维的，并且观看者感觉对象好像从屏幕22突出。在下文中，将来自左右眼睛的视线交叉的角称为会聚角，并将两个视线的相交点称为视线会聚点，而将从眼睛到视线会聚点的距离称为会聚距离。
在观看者观看屏幕22的同时，眼睛单独地对焦在屏幕22上。如果屏幕22显示简单的2D图像，则会聚距离通常等于观看距离，所述观看距离是从观看者的眼睛到屏幕22的距离。然而，由于对于立体显示而言会聚距离短于观看距离，所以每个眼睛的焦点不自然地不同于视线会聚点。因此，立体显示可能对眼睛施加一定的负荷，并且对眼睛的压力将随着观看距离与会聚距离之间的差的增大而增大。
鉴于观看距离与会聚距离之间的差根据视差量而变这一事实，本发明基于这两个图像之间的视差量来评估左右图像用于立体显示的合适性。
参考回图1，第一和第二成像单元15L和15R被安装在照相机11的前上部分上。照相机11在其顶侧具有电源/模式开关27和快门释放按钮28。照相机11还在其左侧具有用于加载存储卡29作为图像记录介质的卡槽30。虽然未详细地示出，但在照相机11的背面提供有操作部31(参见图3)和图像显示部32(参见图3)。图像显示部32充当用于图像捕捉的电子取景器，但是也充当用于再现捕捉的图像的监视器。
参照图3，主CPU 35响应于来自操作部31的输入，根据某个控制程序来监督照相机11的总体操作。CPU 35经由系统总线36连接到ROM37、EEPROM 38、和工作存储器39。ROM 37存储控制程序和CPU 35执行控制程序所需的多种数据。EEPROM 38存储关于照相机11的操作的许多种设置信息，包括用户设置的信息。工作存储器39包括操作工作存储段和用于临时存储图像数据的临时存储段。
由用户来操纵操作部31以在照相机11中输入各种信号，并且操作部31包括上述电源/模式开关27、释放按钮28和未示出的模式盘。电源/模式开关27将开启和关闭照相机11的电源，并且在再现模式与图像捕捉模式之间切换照相机11。在电源/模式开关27被开启时，电源电路42开始向照相机11的各组件供电，以驱动照相机11的各组件。在电源/模式开关27被关闭时，电源电路42停止向照相机的各组件供电。
图像捕捉模式可以包括例如用于捕捉二维静止图像的2D静止图像捕捉模式、用于捕捉二维运动图像的2D运动图像捕捉模式、用于捕捉三维静止图像的3D静止图像捕捉模式、以及用于捕捉三维运动图像的3D运动图像捕捉模式。操纵模式盘以在这些图像捕捉模式之间切换。
照相机11被配置为每当响应于释放按钮28上的操作通过成像单元15R和15L捕捉到左右图像时，在3D静止图像捕捉模式中记录一对左右视差图像作为3D静止图像文件。照相机11还可以在3D运动图像捕捉模式中以3D运动图像文件的形式记录多对左右图像作为用于显示3运动图像的一系列连续帧。
当照相机11被设置为2D静止图像捕捉模式或2D运动图像捕捉模式时，在图像捕捉模式管理标记寄存器45中设置指示照相机11处于用于捕捉2D图像的2D模式的标记。当照相机11被设置为3D静止图像捕捉模式或3D运动图像捕捉模式时，在图像捕捉模式管理标记寄存器45中设置指示照相机11处于用于捕捉3D图像的3D模式的标记。CPU 35参照图像捕捉模式管理标记45来在2D模式和3D模式之间区别图像捕捉模式。
释放按钮28是具有半按位置和全按下位置的双行程(two-stoke)开关。当释放按钮28在静止图像捕捉模式下被按至半按位置时，执行用于成像的初步处理，诸如自动曝光(AE)控制处理、自动对焦(AF)处理和自动白平衡(AWB)控制处理。当在静止图像捕捉模式下释放 按钮28被按至全按下位置时，捕捉静止图像以将其记录在记录介质中。在运动图像捕捉模式下，在释放按钮28被完全按下时开始记录运动图像。其后，当释放按钮28被再次按下时，运动图像的记录停止。在另一实施例中，照相机11可以具有特定用于静止图像捕捉的释放按钮，和特定用于运动图像捕捉的第二释放按钮。
图像显示部32包括视差屏障式或双凸透镜式的3D监视器，其能够使用在图像捕捉期间由第一和第二成像单元15L和15R捕捉的视差图像来显示立体图像。图像显示部32还可以基于所记录的视差图像来显示立体图像。
照相机姿势检测电路48包括用于检测照相机11的姿势的传感器，并将所检测的照相机11的姿势输出到CPU 35。CPU 35基于所检测的照相机姿势来确定是否将捕捉的左右图像作为垂直或水平图像来处理。
现在，将参照图3来描述照相机11的成像操作。第一和第二成像单元15L和15R基本上具有相同的结构，因此，用相同的附图标记来表示第一和第二成像单元15L和15R的相同组件，而通过添加作为左侧和右侧的缩写的“L”和“R”来加以区别。在以下说明中，将在不向附图标记添加“L”和“R”的情况下以单数形式来描述成像单元15L和15R的每个组件，除非需要参考两个相同的组件来进行说明。
拍摄透镜(taking lens)51包括变焦透镜、对焦透镜和光阑(stop)。变焦透镜和对焦透镜可沿着光轴(图中的LL和LR)前后移动。CPU 35控制经由AE-AF CPU 52来驱动未示出的变焦致动器，以控制变焦透镜的位置以进行变焦。CPU 35还控制经由AE-AF CPU 52来驱动未示出的对焦致动器，以控制对焦透镜的位置以进行对焦。CPU 35经由AE-AFCPU 52来驱动光阑控制器53，以控制光阑的孔径(曝光量)以控制图像传感器54上的入射光的量。
在3D模式下，CPU 35相互同步地驱动成像单元15L和15R的拍摄透镜51L和51R，以捕捉多个图像。也就是说，拍摄透镜51L和51R始终被设置在彼此相等的焦距(变焦比)处。在3D模式下，控制拍摄透镜51L和51R的光阑，以提供彼此相等的入射光量(曝光值)，并且拍摄透镜51L和51R始终对焦在同一对象上。
闪光投射器(flash projector)57包括例如朝着暗对象或在背光场景中投射闪光的放电管(氙气管)。充电/发射控制器58包括用于向闪光投射器57供应电流以进行光发射的主电容器。CPU 35向AE-AF CPU52输出闪光命令以便控制主电容器的充电和放电，以及来自闪光投射器57的发射的持续时间。或者，闪光投射器57可以是发光二极管(LED)。
成像单元15包括例如LED的测距发光器61，和用于捕捉被测距发光器61照亮的对象的图像的测距图像传感器62。由测距图像传感器62捕捉的图像充当用于测量到对象的距离的测距图像。公共测距驱动控制电路63驱动测距发光器61在预定定时发光，并控制测距图像传感器62来捕捉测距图像。
测距图像通过A/D转换器66被转换成数字数据，并被馈送到距离信息处理器电路67。基于测距图像，距离信息处理器电路67根据三角测量的原理来计算从照相机11到对象的距离，即对象距离。由距离信息处理器电路67计算的对象距离被存储在距离信息存储电路68中。
距离信息处理器电路67可以使用TOF(渡越时间)法，其中，基于光束从测距发光器61发射开始到在测距图像传感器62处接收到从对象反射的光束的时间和光速来计算对象距离。
成像单元15还包括透镜间距和角度驱动电路71，和透镜间距和角度检测电路72。CPU 35经由公共透镜间距和角度控制电路73来控制透镜间距和角度驱动电路71，以调整拍摄透镜51L和51R之间的间距和会 聚角。
透镜间距和角度检测电路72包括电波发送接收设备。CPU 35经由透镜间距和角度控制电路73来激励透镜间距和角度检测电路72L和72R，以电波进行相互通信从而检测拍摄透镜51L和51R之间的间距和会聚角。所检测的拍摄透镜51L和51R之间的间距和会聚角被存储在透镜间距和角度存储电路74中。
在示例中，图像传感器54由CCD组成。大量的光电二极管在图像传感器54的感光表面上被布置成二维阵列，并且三原色(R、G、B)的滤色器被以预定排列方式而布置在光电二极管的前面。在图像传感器54的感光表面上通过拍摄透镜51形成的对象的光学图像通过这些光电二极管被转换成对应于入射光量的量的信号电荷。积聚在各光电二极管中的信号电荷被基于响应于来自CPU 35的命令从定时发生器(TG)77生成的驱动脉冲，连续地从图像传感器54读出，输出对应于信号电荷的电压的RGB信号。图像传感器54可以充当控制光电二极管中的电荷存储时间的电子快门，以控制曝光时间(快门速度)。
请注意，图像传感器54不限于CCD型，而是可以是CMOS图像传感器或其他类型的图像传感器。
模拟信号处理器80包括用于从来自图像传感器54的RGB信号消除复位噪声(低频噪声)的相关双采样电路(CDS)，和用于将RGB信号放大至恒定幅值水平的AGS电路。图像传感器54的输出端处的模拟RGB信号在模拟信号处理器80中经受相关双采样处理并被放大，随后通过A/D转换器81被转换成数字RGB信号，并且在图像输入控制器(缓冲存储器)82中输入。
数字信号处理器85包括同步处理电路(通过对彩色信号进行内插以便使不同的彩色信号同步，补偿由于在单个CCD上的滤色器布置而 引起的来自单个CCD的不同颜色的输出信号之中的特殊滞后的处理电路)、白平衡调整电路、灰度转换电路(伽玛校正电路)、边缘校正电路、以及亮度-色度信号产生电路。当在图像输入控制器82中输入时，由数字信号处理器85来处理数字RGB信号以进行同步、白平衡调整、灰度转换、边缘校正及其他必要处理，并将其转换成由亮度信号(Y信号)和色度信号(Cr和Cb信号)组成的YC信号。该YC信号被存储在工作存储器39中。
在图像显示部32充当电子取景器的同时，从数字信号处理器85产生的YC信号被连续地馈送到缓冲存储器88。显示控制器89从缓冲存储器88读取YC信号并将其传输到YC/RGB转换器90。YC/RGB转换器90将YC信号转换成原始RGB信号，并经由驱动器91将RGB信号输出到图像显示部32。因此，图像显示部32显示存在于照相机11的视场中的对象的直通图像或活动图像。
在再现模式下，存储器控制器94经由接口(I/F)95来访问存储卡29以将压缩图像数据从记录的图像文件读出到缓冲存储器96。然后，图像数据被压缩/解压缩处理器97解压成YC信号，并且未压缩YC信号被馈送到缓冲存储器88。显示控制器89从缓冲存储器88读出YC信号并将其传输到YC/RGB转换器90。YC/RGB转换器90将YC信号转换成原始RGB信号，并经由驱动器91将RGB信号输出到图像显示部32。因此，图像显示部32显示被记录在存储卡29上的图像。
接下来，将描述用于图像捕捉和记录的过程。在2D模式下，将由成像单元之一、例如第一成像单元15L来捕捉要记录的图像。由第一成像单元15L捕捉的图像的图像数据被压缩/解压缩处理器97L压缩，并且通过存储器控制器94和接口95而被作为预定格式的图像文件记录在存储卡29上。例如，2D静止图像被记录为JPEG(联合图像专家组)格式的压缩图像文件，而2D运动图像被记录为符合H.264标准的MPEG2或MPEG4格式的压缩图像文件。
参照图示3D静止图像捕捉模式下的操作序列的图5，当释放按钮28被全按下时(S10)，成像单元15L和15R分别同时捕捉左右视差图像(S11)。请注意，基于来自成像单元15L和15R的任一个的图像信号来执行AF和AE过程。在数字信号处理器85L和85R中处理由成像单元15L和15R捕捉的视差图像，并随后将其写入工作存储器39。
视差测量电路100和立体合适性评估电路101(参见图3)基于由成像单元15L和15R同时捕捉的视差图像之间的视差量，相对于这两个图像来评估用于立体显示的合适性。根据所评估的用于立体显示的合适性，立体合适性评估电路101判定这些视差图像用于立体显示的可推荐性水平(S12)。
将参照示出由成像单元15L和15R捕捉的一对视差图像103L和103R的示例的图4、以及图6的流程图来描述立体合适性评估电路101中的可推荐性评估(S12)的顺序。视差测量电路100从工作存储器39读出图像103L和103R，以计算这些图像103L和103R之间的视差量的直方图F(ΔP)(S16)。
具体而言，如图7所示，视差测量电路100使用诸如区块(block)匹配法的适当方法来作为示例，提取图像103L和103R之间的对应点(S24)。视差测量电路100将图像103L和103R之一定义为参考图像，并将另一个定义为搜索图像。接下来，从参考图像提取诸如边缘的多个特征点，并将参考图像划分成多个区块。然后，使用相应区块的图像作为模板图像，根据诸如方差和(SSD)或绝对差和(SAD)的任何适当方法来确定与模板图像匹配的搜索图像的那些区块，其中，计算像素值之间的方差和或像素值之间的绝对差和。视差测量电路100从搜索图像的匹配区块中提取参考图像的特征点的对应点。
在图4中，图像103被提供为参考图像，并且图像103R被提供为搜 索图像，以便从搜索图像103R提取对应点P_R(xR，y)作为对应于参考图像103L的特征点P_R(xL，y)的点。视差测量电路100测量特征点P_R(xL，y)与对应点P_R(xR，y)之间的距离，例如xL-xR的绝对值，以使该距离充当视差量ΔP(S25)。请注意，虽然图4仅仅示出了一个特征点和一个对应点，但实际上提取了多个特征点和对应点，以测量各个特征点与对应点之间的多个视差量。
接下来，视差测量电路100计算示出所测量的视差量ΔP，以及每个视差量ΔP的发生次数或者频率F的直方图F(ΔP)。例如，通过每当测量到相同视差量时将相同视差量ΔP的频率F增加“1”来计算直方图F(ΔP)。重复测量视差量(S24)至计算直方图(S26)的步骤，直至相对于所有区块检测了参考图像103的特征点的所有对应点为止(S27、S28)。
在图8至11中示出由视差测量电路100计算的视差量直方图的多个示例。图8所示的直方图是根据在场景的背景上有风景的情况下对包含人物对象的场景拍摄的视差图像的直方图。对于此类场景，从主要人物对象以及背景提取大量的特征点和对应点，并且在许多视差量处出现频率F的峰值。另一方面，图9所示的直方图是从具有无特征的均匀纹理的背景的、包含建筑物的场景拍摄的视差图像的直方图。对于此类场景，从主对象，即建筑物提取较大数目的特征点和对应点，并从背景提取较少的特征点和对应点。结果，在有限的视差量处出现发生频率F的峰值。
图10所示的视差量直方图是从在整个区域中包含复杂图案并因此包含大量信息的场景拍摄的视差图像的直方图。对于此类场景，从整个图像区域提取大量的特征点和对应点，并且在许多视差量处出现频率F的峰值。图11所示的直方图是从具有无特征的均匀纹理的背景的、包含人物对象的场景拍摄的视差图像的直方图。对于此类场景，从主要人物对象提取较大数目的特征点和对应点，并从背景提取较少数目 的特征点和对应点，因此，在视差量的有限范围内出现发生频率F的峰值。
基于所计算的视差量直方图，如图6所示，立体合适性评估电路101相对于不小于阈值Th的那些视差量来计算发生频率的累计总数，即，累计频率∑Th(S17)。例如，当在图10的视差量直方图上计算累计频率∑Th时，立体合适性评估电路101将对应于频率F的最高峰值的视差量ΔP判定为阈值Th，并计算不小于阈值Th的那些视差量的累计频率∑Th。请注意，阈值Th可以不限于对应于频率F的最高峰值的视差量ΔP。例如，在如图8和10的视差量直方图所示存在频率F的多个峰值的情况下，可以将对应于频率F的最低峰值的视差量ΔP判定为阈值Th。或者，首先计算频率F的平均值，然后从视差量直方图获得对应于该平均值的视差量ΔP，并将其判定为阈值Th。
立体合适性评估电路101将累计频率∑Th与其阈值水平Th1和Th2相比较，阈值水平Th1和Th2被存储在ROM 37中，并被预置为Th1＜Th2。例如，可以根据在感官地检验在视差量的累计频率与观看者的眼睛的疲劳程度之间的关系的感官检验方法来预定用于累计频率的阈值Th1和Th2。设置两个阈值Th1和Th2使得根据用于立体显示的合适性，对视差图像的可推荐性进行三级评估。也就是说，可以根据在用于评估可推荐性的尺度应提供多少等级来改变累计频率的阈值的数目。
立体合适性评估电路101首先将累计频率∑Th与下阈值水平Th1相比较(S18)。当累计频率∑Th不大于阈值水平Th1时，这意味着视差图像之间的视差量整体上是小的，因此认为观看者的眼睛的疲劳是小的。然后，将这些视差图像的可推荐性水平评定为最高等级，即，本实施例中的“2”(S19)。
当累计频率∑Th大于阈电平Th1时，立体合适性评估电路101将累计频率∑Th与上阈值水平Th2相比较(S20)。当累计频率∑Th不大于 阈值水平Th2时，这意味着视差量总体上是中间值，因此将这些视差图像的可推荐性水平评定为中间等级“1”(S21)。
当累计频率∑Th大于阈值水平Th2时，这意味着视差量总体上是大的，因此将这些视差图像的可推荐性水平评定为最低等级“0”(S22)。
在可推荐性评估之后，图像103L和103R分别被压缩/解压缩处理器电路97L和97R压缩，并随后在被写入存储卡29上时被以3D静止图像文件编译。连同视差图像的压缩数据一起，3D图像文件还存储关于所评估的可推荐性水平的信息，及关于视差图像的其他信息，包括对象距离，以及拍摄透镜51L和51R之间的参考长度(间距)和会聚角(S 13)。
参照示出可以通过3D静止图像捕捉产生的3D静止图像文件110的结构的图12，3D静止图像文件110包括用于左图像103L的图像数据111L、用于右图像103R的图像数据111R、和分别作为图像数据111L和111R的开头的第一和第二报头112L和112R。
第一报头112L记录从数据头到第二报头112R的开头的末端的偏移量，和左图像数据111L的属性。请注意，“OR-1”是加给在被存储在3D静止图像文件110中的左图像数据111L上的标题的示例。
左图像数据111L的属性包括视点的顺序、3D成像条件、2D成像条件、以及可推荐性水平。视点的顺序指示存储的图像是左图像还是右图像；对左图像赋予序号“1”，并且对右图像赋予序号“2”。3D图像条件表示用于立体显示所需的信息，其可以包括第一和第二成像单元15L和15R之间的参考长度和会聚角，以及对象距离信息。2D成像条件包括快门速度、曝光值、以及在再现或打印图像时调整图像质量所需的其他信息。用由立体合适性评估电路101评定的等级来表示可推荐性水平；所述可推荐性水平涉及通过数字相框12等，基于图像111L和111R来显示立体图像。
第二报头112R记录右图像数据111R的属性。右图像数据111R的属性包括视点顺序和2D成像条件来作为其项目，其具有与第一报头112L的那些相同的内容。
接下来，将参照图13来描述用于在3D运动图像捕捉模式下评估运动图像用于立体显示的可推荐性的流程。将参照图14来描述可以产生以记录在3D运动图像捕捉模式下捕捉的图像帧的3D运动图像文件的结构。
在3D运动图像捕捉中，由第一和第二成像单元15L和15R捕捉的两个运动图像将被存储在工作存储器39中，但在这里将省略此处理的细节。视差测量电路100从存储在工作存储器39中的两个运动图像读出第一图像帧(S30)。
视差测量电路100计算所读取的两个图像帧之间的视差量的直方图F(ΔP)(S31)。基于所计算的直方图，视差测量电路100相对于不小于阈值Th的那些视差量来计算累计频率∑Th(S32)。然后，立体合适性评估电路101将累计频率∑Th与阈值水平Th1和Th2相比较，以评估这些图像帧用于立体显示的可推荐性(S33至S37)。请注意，3D运动图像捕捉模式下的步骤S33至S37根本上等同于在图6中描绘的3D静止图像捕捉模式下的步骤S18至S22，因此将省略这些步骤的细节。
接下来，视差测量电路100检查在工作存储器39中，在第一图像帧之后是否存在任何图像帧(S38)，并读出随后的图像帧(S39)以与上述相同的方式评估这些帧的可推荐性(S31至S39)。因此，针对3D运动图像的每对图像帧，评定可推荐性水平。
参照图14，3D运动图像文件115大致上可以分成表示与文件115的结构及和其他信息有关的报头部116，以及表示运动图像的数据的图像 数据部117。报头部116由流信息118和成像条件119组成。图像数据部117由多个数据块(chunk)120a至120n组成，其中的每个结合三个数据流#1至#3。
流信息118包括相对于数据流的定义123和属性124。流定义123定义数据块120a至120n中的各个数据流的内容。例如，流定义123定义数据流#1和#2分别包含3D运动图像的左和右图像帧，并且定义用于图像再现的每个块的数据量、以及报头地址。流定义123还定义数据流#3将表示左右图像帧用于立体显示的可推荐性水平。
流属性124表示整个3D运动图像文件115的属性。例如，在3D运动图像文件的再现期间对其给定的流ID、用于成像的分辨率、压缩格式、2D和3D显示之间的区别、每个块的帧数、或其他数据被记录为流属性124。
成像条件119记录在3D运动图像捕捉模式下设置的成像条件。例如，成像条件包括视点的数目、成像单元15L和15R的参考长度和会聚角。关于本实施例的照相机11，视点的数目是“2”，而参考长度和会聚角是在3D运动图像捕捉模式下使用的那些值。
在每个数据块120a至120n中，数据流#1 121a和数据流#2 121b分别包含关于左右图像帧的信息，其包括例如与包括在流属性ID 124中的流ID相同的流ID、每个数据块内的数据长度、以及用于一个帧的图像数据。除可推荐性水平之外，类似于数据流#1和#2，数据流#3121c还包含流ID和每个数据块内的数据长度。
接下来，将参照图15来描述数字相框12。数字相框12包括基于来自操作部130的输入，根据预定控制程序来监督照相机11的总体操作的CPU 131。CPU 131连接到ROM 132、EEPROM 122、和工作存储器134。ROM 132存储用于CPU 131的控制程序，和控制所需的各种数据。 EEPROM 133存储各种设置信息和关于数字相框12的操作的其他信息，包括由用户设置的信息。工作存储器134包括操作工作存储段和用于临时存储图像文件的临时存储段。CPU 131在根据存储在ROM 132中的控制程序进行操作时，充当本发明的输出控制设备。
CPU 131连接到存储器控制器137，以便从存储卡29读出图像文件。存储器控制器137被提供在数字相框12的卡槽139中(参见图1)。存储器控制器137经由接口(I/F)140来访问存储卡29，以读出要再现的设计的图像文件，并将读取的图像文件临时存储在工作存储器134中。存储在工作存储器134中的图像文件被压缩/解压缩处理器141解压成未压缩YC信号。
显示控制器144从工作存储器134读出YC信号并将其传输到YC/RGB转换器145。YC/RGB转换器145将YC信号转换成RGB信号，并经由驱动器146将RGB信号输出到LCD面板17。因此，在LCD面板17上再现并显示由照相机11捕捉的图像。
LCD面板17可以是例如视差屏障式或双凸透镜式3D监视器。虽然在图中未详细描述LCD面板17，但LCD面板17在其正面上具有视差屏障表面层。当显示立体图像时，LCD面板17在视差屏障表面层上生成视差屏障图案，或者称为狭缝阵列板。视差屏障图案具有以预定间隔交替的垂直可透光片段和垂直光屏蔽片段。LCD面板17在视差屏障表面层下面的层上同时显示左右视差图像的图像条，图像条被以对应于视差屏障图案的交替方式来布置，使得所显示的图像可以被感知为立体图像。
允许立体显示的显示设备的结构不限于使用狭缝阵列片的视差屏障式，其他类型也可以是可适用的，诸如使用双凸透镜板的双凸透镜式、使用微透镜阵列的集成摄影式、以及利用干涉的全息摄影式。
现在，将相对于第一实施例来描述在数字相框12上显示3D静止图像和3D运动图像的操作。如图16所示，CPU 131控制存储器控制器137从存储卡29读出第一3D静止图像文件110(S45)。CPU 131检查读取的3D静止图像文件110的可推荐性水平(S46)，以在可推荐性水平为1或以上时将3D静止图像文件110登记在存储在EEPROM 133中的可推荐图像列表上(S47、S48)。
当3D静止图像文件的可推荐性水平小于1时，CPU 131读出下一个3D静止图像文件110(S47、S49)，以执行步骤S46和S47。CPU 131对写在存储卡29上的所有3D静止图像文件110重复步骤S46至S49(S50)。
如图17所示，关于3D运动图像文件115，CPU 131读出第一对图像帧(S52)并检查可推荐性水平(S53)。当存在下一对图像帧时(S54)，CPU 131读出下一对图像帧并检查其可推荐性水平(S55、S53)。在读取3D运动图像文件115的所有图像帧并检查其可推荐性水平之后，CPU131对可推荐性水平求平均值(S56)，以在平均值不小于1时将3D运动图像文件115登记在可推荐图像的列表上(S57、S58)。请注意，CPU131相对于写在存储卡19上的所有3D运动图像文件115检查可推荐性水平。
在检查写在存储卡29上的所有3D运动图像文件115的可推荐性水平之后，CPU 131从EEPROM 133读取可推荐图像的列表(S60)并控制LCD面板17显示登记在可推荐图像列表上的那些图像文件的缩略图阵列(S61)。因此，CPU 131使得能够通过操纵操作部130来选择LCD面板17上的任何缩略图(S62)，以对应于所选缩略图连续地显示3D静止图像文件110或3D运动图像文件115(S63)。
因此，在屏幕上仅显示具有1或以上的可推荐性水平，即，中间和高可推荐性水平的那些立体图像。由于在屏幕上不显示具有低可推荐性水平的立体图像，所以观看者的眼睛的负荷减小。可以优选的是用 户可以适当地选择用于将图像登记在可推荐图像列表上的可推荐性的阈值水平。
接下来，将描述显示立体图像的第二实施例，其中，以根据可推荐性水平确定的不同尺寸来显示所有图像。如图19所示，CPU 131从存储卡29读出第一3D静止图像文件110(S65)并检查所读取的3D静止图像文件110的可推荐性水平(S66至S68)。
当3D静止图像文件110的可推荐性水平是“0”时，如图20所示，CPU 131控制LCD面板17以小尺寸150显示3D静止图像文件110的立体图像(S67、S69)。当3D静止图像文件110的可推荐性水平是“1”时，如图20所示，CPU 131控制LCD面板17以中等尺寸151显示3D静止图像文件110的立体图像(S68、S70)。此外，当3D静止图像文件110的可推荐性水平是“2”时，如图20中的实线所示，CPU 131控制LCD面板17以全屏尺寸显示3D静止图像文件110的立体图像(S71)。CPU 131相对于写在存储卡29上的所有3D静止图像文件110重复步骤S66至S71(S72、S73)。
关于3D运动图像文件115，CPU 131检查所有图像帧的可推荐性水平，以根据可推荐性水平的平均值来修改显示尺寸。
根据本实施例，以较小尺寸显示具有较低可推荐性水平的那些图像，这减少对观看者的眼睛的压力。另一方面，由于以全尺寸显示最高可推荐性水平的图像，所以观看者可以以最大尺寸欣赏高质量的立体图像。
虽然在第二实施例中，显示尺寸根据可推荐性水平而变，但可以根据单独图像的可推荐性水平来改变显示该单独图像的持续时间。在本示例中，将最短显示持续时间分配给具有最低可推荐性水平的那些图像，并优选地将较长的持续时间分配给具有较高的可推荐性水平的 图像。
接下来，将描述再现3D运动图像文件115的第三实施例。由于由连续地显示的多个视差图像帧来表示3D运动图像，所以如果在这些视差图像帧之间存在一定的视差量的差，则将迫使观看者的眼睛相对于不同的视差量来调整会聚距离，这将对观看者的眼睛施加更重的负荷。为了减轻眼睛的负荷，本实施例跳过再现具有较低可推荐性水平的那些图像帧，并取代所跳过的图像帧来继续显示在前面的图像帧。
如图21所示，在再现3D运动图像文件115时，CPU 131读出第一对图像帧(S75)，并检查读取的图像帧的可推荐性水平(S76、S77)。当可推荐性水平不小于1时，CPU 131控制LCD面板17显示读取的图像帧(S78)。当可推荐性水平小于1时，CPU 131读出下一对图像帧(S79)，以执行步骤S76和S77，而不显示小于1的可推荐性水平的图像帧。在这种情况下，CPU 131控制LCD面板17继续显示紧接在具有小于1的可推荐性水平的图像帧之前已被显示的前一图像帧。CPU 131相对于写在存储卡29上的所有3D运动图像文件115执行步骤S76至S78(S80)。
在以上实施例中，每当读出图像帧时，进行关于是否显示图像帧的判定。然而，在另一实施例中，可以首先检查3D运动图像文件115的所有图像帧的可推荐性水平，然后基于所检查的可推荐性水平来编辑3D运动图像文件115，以产生仅用于再现的临时运动图像文件。因此，即使3D运动图像文件115连续地包含低可推荐性水平的图像帧，也可以根据内容来编辑运动图像以减轻3D运动图像对观看者的眼睛的负荷。
在所有以上实施例中，期望的是用户可以基于可推荐性水平来可选地设置用于立体显示的内容。为了使得能够进行显示内容的可选设置，优选的是用户可以检查写在存储卡29上的所有图像文件的可推荐性水平的分布。
根据本发明的第四实施例，如例如图22所示，在数字相框12的LCD面板17上显示示出写在存储卡29上的所有图像文件的可推荐性水平的分布曲线的图表。由于图表115在其竖轴上描绘可推荐性水平，并在其横轴上描绘图像文件的数目，所以用户可以立即看到图像文件的数目与可推荐性水平之间的相关性。因此，用户可以在考虑图像文件的数目与可推荐性水平之间的相关性的同时，基于可推荐性水平来设置显示内容。
可以优选地在图表155上显示两个条156等，以限制要显示的图像文件的可推荐性水平的范围。在这种情况下，仅显示在所限制的可推荐性范围内的那些图像文件。在通过使用图表155上的条156限制可推荐性水平的范围来指定显示内容的情况下，可以提供更多的分级级数，以更细地评估图像用于立体显示的可推荐性或合适性。在基于可推荐性水平来指定显示内容的情况下，提供数目增加的可推荐性水平可能使第一至第三实施例中的可推荐性评估处理复杂化。然而，通过使用条156变得可以在平衡可推荐性水平和图像文件数目的同时，定义显示内容。因此，数目增加的可推荐性水平将不会妨碍操作。
虽然已将数字相框12描述为本发明的立体图像输出设备，但本发明可适用于任何种类的监视器、电视等，只要其能够显示立体图像即可。本发明还可以应用于利用双凸透镜产生立体打印照片的打印机。此外，已相对于在数字相框12上的立体显示而描述的第一至第四实施例还可以应用于照相机11的图像显示部32。
虽然已出于说明的目的公开了本发明的优选实施例，但本领域的技术人员应认识到，在不脱离随附权利要求所公开的本发明的范围和精神的情况下，可以进行各种修改、添加和替换。

Claims (6)

1.一种立体图像输出装置，包括：
输出设备，所述输出设备用于使用从不同视点捕捉的同一场景的一组图像来输出立体图像；以及
输出控制设备，所述输出控制设备读取表示所述图像用于立体显示的合适性的可推荐性信息，并根据用于立体显示的合适性来改变所述输出设备的输出条件，
其中，将每组所述图像连同所述可推荐性信息一起存储在图像文件中，并且所述输出控制设备读出多个所述图像文件以显示图表，所述图表示出属于由所述可推荐性信息所表示的用于立体显示的各个合适性水平的图像文件的数目，
其中，两个条被显示在所述图表上以限制用于要显示的所述图像文件的立体显示的所述合适性水平的范围，并且仅显示在所限制的范围内的所述图像文件，并且
其中，所述可推荐性信息表示通过以下步骤获得的所述图像用于立体显示的可推荐性的水平：
从所述一组图像中提取对应点；
检测每组所述对应点之间的视差量；
对所检测的视差量的频率进行统计；
根据所述统计来计算不小于阈值的那些视差量的累计频率；
基于所述累计频率来评估所述图像用于立体显示的合适性；以及
根据所评估的合适性按至少两个等级的尺度来判定所述图像用于立体显示的可推荐性的水平。
2.如权利要求1所述的立体图像输出装置，其中，所述输出控制设备基于所述可推荐性信息来判定是否使用所述图像输出立体图像，并控制所述输出设备在所述输出控制设备判定输出立体图像时使用所述图像来输出所述立体图像。
3.如权利要求1所述的立体图像输出装置，其中，所述输出控制设备基于所述可推荐性信息来控制所述输出设备，以改变用于使用所述图像再现立体图像的大小或持续时间。
4.如权利要求1所述的立体图像输出装置，其中，当所述图像是连续地输出以组成立体运动图像的图像帧时，所述输出控制设备根据附着于每组所述图像帧的所述可推荐性信息来判定是否输出每组的所述图像帧，并且当所述输出控制设备判定不输出一组所述图像帧时，所述输出控制设备控制所述输出设备继续输出之前刚刚已输出的另一组图像帧。
5.一种立体图像输出方法，包括步骤：
读取表示从不同视点捕捉的同一场景的一组图像的合适性的可推荐性信息，以供显示立体图像使用；以及
根据所述图像用于立体显示的合适性来改变用于使用所述图像输出立体图像的设备的输出条件，
其中，将每组所述图像连同所述可推荐性信息一起存储在图像文件中，并且输出控制设备读出多个所述图像文件以显示图表，所述图表示出属于由所述可推荐性信息所表示的用于立体显示的各个合适性水平的图像文件的数目，
其中，两个条被显示在所述图表上以限制用于要显示的所述图像文件的立体显示的所述合适性水平的范围，并且仅显示在所限制的范围内的所述图像文件，并且
其中，所述可推荐性信息表示通过以下步骤获得的所述图像用于立体显示的可推荐性的水平：
从所述一组图像中提取对应点；
检测每组所述对应点之间的视差量；
对所检测的视差量的频率进行统计；
根据所述统计来计算不小于阈值的那些视差量的累计频率；
基于所述累计频率来评估所述图像用于立体显示的合适性；以及
根据所评估的合适性按至少两个等级的尺度来判定所述图像用于立体显示的可推荐性的水平。
6.一种立体图像记录输出系统，包括：
视差量测量设备，所述视差量测量设备在从不同视点捕捉的同一场景的一组图像中提取对应点以用于显示立体图像，检测每组所述对应点之间的视差量，并对所检测的视差量的发生频率进行统计；
立体合适性评估设备，所述立体合适性评估设备根据所述统计来计算不小于阈值的那些视差量的累计频率，基于所述累计频率来评估所述图像用于立体显示的合适性，并根据所评估的合适性按至少两个等级的尺度来判定所述图像用于立体显示的可推荐性的水平；
图像存储设备，所述图像存储设备用于与可推荐性信息相关联地存储所述图像，所述可推荐性信息与由所述立体合适性评估设备判定的可推荐性水平有关；
输出设备，所述输出设备用于使用从不同视点捕捉的同一场景的一组图像来输出立体图像；以及
输出控制设备，所述输出控制设备读取与由所述图像存储设备存储的所述图像有关的所述可推荐性信息，并根据所述可推荐性信息所表示的所述图像用于立体显示的合适性来改变所述输出设备的输出条件，
其中，将每组所述图像连同所述可推荐性信息一起存储在图像文件中，并且所述输出控制设备读出多个所述图像文件以显示图表，所述图表示出属于由所述可推荐性信息所表示的用于立体显示的各个合适性水平的图像文件的数目，并且
其中，两个条被显示在所述图表上以限制用于要显示的所述图像文件的立体显示的所述合适性水平的范围，并且仅显示在所限制的范围内的所述图像文件。
CN201010231448.6A 2009-07-17 2010-07-15 立体图像记录装置和方法、立体图像输出装置和方法、以及立体图像记录输出系统 Expired - Fee Related CN101959075B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009169293A JP5249149B2 (ja) 2009-07-17 2009-07-17 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム
JP2009-169293 2009-07-17

Publications (2)

Publication Number Publication Date
CN101959075A CN101959075A (zh) 2011-01-26
CN101959075B true CN101959075B (zh) 2015-05-27

Family

ID=42937381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010231448.6A Expired - Fee Related CN101959075B (zh) 2009-07-17 2010-07-15 立体图像记录装置和方法、立体图像输出装置和方法、以及立体图像记录输出系统

Country Status (4)

Country Link
US (1) US20110012995A1 (zh)
EP (1) EP2278820A3 (zh)
JP (1) JP5249149B2 (zh)
CN (1) CN101959075B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10499029B2 (en) 2007-01-09 2019-12-03 Capso Vision Inc Methods to compensate manufacturing variations and design imperfections in a display device
KR101686168B1 (ko) * 2010-03-10 2016-12-22 주식회사 티엘아이 스트레오스코픽 동영상 파일의 구성 방법
JP5243477B2 (ja) 2010-04-13 2013-07-24 パナソニック株式会社 ブラー補正装置およびブラー補正方法
EP2587812A4 (en) * 2010-06-24 2014-02-26 Korea Electronics Technology METHOD FOR CONFIGURING A STEREOSCOPIC FILE WITH MOVING IMAGES
US20130128003A1 (en) * 2010-08-19 2013-05-23 Yuki Kishida Stereoscopic image capturing device, and stereoscopic image capturing method
JP5582945B2 (ja) * 2010-09-28 2014-09-03 キヤノン株式会社 撮像システム
JP5614268B2 (ja) * 2010-12-09 2014-10-29 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5668466B2 (ja) * 2010-12-28 2015-02-12 ソニー株式会社 画像処理装置、その制御方法およびプログラム
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
JP5492311B2 (ja) * 2011-02-08 2014-05-14 富士フイルム株式会社 視点画像生成装置、視点画像生成方法及び立体画像印画装置
TW201245768A (en) 2011-03-29 2012-11-16 Sony Corp Image pickup apparatus, image pickup device, image processing method, aperture control method, and program
JP5791328B2 (ja) * 2011-03-30 2015-10-07 Ｎｅｃパーソナルコンピュータ株式会社 ３ｄ画像処理方法及び３ｄ画像処理装置
CN102760234B (zh) 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
TWI463244B (zh) * 2011-04-14 2014-12-01 Ind Tech Res Inst 深度影像擷取裝置、系統及其方法
CN102289225A (zh) * 2011-04-22 2011-12-21 钰创科技股份有限公司 应用于网络摄影机的通用序列总线装置与其控制的方法
US20130063576A1 (en) * 2011-04-28 2013-03-14 Panasonic Corporation Stereoscopic intensity adjustment device, stereoscopic intensity adjustment method, program, integrated circuit and recording medium
JP2014515569A (ja) * 2011-05-19 2014-06-30 トムソン ライセンシング 両眼視画像の両眼視用および単眼視用の同時表示を可能にするための該両眼視画像の自動変換
JP2013005238A (ja) * 2011-06-16 2013-01-07 Sony Corp ３次元画像処理装置及び３次元画像処理方法、表示装置、並びにコンピューター・プログラム
JP2013064996A (ja) * 2011-08-26 2013-04-11 Nikon Corp 三次元画像表示装置
JP5658119B2 (ja) * 2011-09-30 2015-01-21 Kddi株式会社 映像評価装置、映像評価方法、およびプログラム
TWI514849B (zh) * 2012-01-11 2015-12-21 Himax Tech Ltd 立體影像顯示系統之校正裝置及其校正方法
US20150215530A1 (en) * 2014-01-27 2015-07-30 Microsoft Corporation Universal capture
US9319576B2 (en) * 2014-01-29 2016-04-19 Google Technology Holdings LLC Multi-processor support for array imagers
JP6597041B2 (ja) * 2015-08-18 2019-10-30 富士ゼロックス株式会社 サーバー装置及び情報処理システム
EP3135189A1 (en) * 2015-08-25 2017-03-01 Capso Vision, Inc. Methods to compensate manufacturing variations and design imperfections in a display device
CN106131448B (zh) * 2016-07-22 2019-05-10 石家庄爱赛科技有限公司 可自动调节成像亮度的三维立体视觉系统
WO2018223267A1 (en) * 2017-06-05 2018-12-13 Shanghaitech University Method and system for hyperspectral light field imaging

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099300A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体表示装置
JP4149037B2 (ja) 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
CN1703915A (zh) * 2002-09-27 2005-11-30 夏普株式会社 3－d图像显示单元,3－d图像记录装置和3－d图像记录方法
JP4259913B2 (ja) * 2003-05-08 2009-04-30 シャープ株式会社 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP4469159B2 (ja) * 2003-11-06 2010-05-26 学校法人早稲田大学 立体映像評価装置および立体映像チューナ
JP4730120B2 (ja) * 2005-02-28 2011-07-20 日本ビクター株式会社 映像データ処理装置、映像再生装置、映像データ処理方法、映像再生方法、これらの方法をコンピュータによって実行するためのプログラム並びに記録媒体
US8009188B2 (en) * 2005-02-28 2011-08-30 Victor Company Of Japan, Ltd. Video data processing apparatus utilizing viewer influence, picture reproducing apparatus, and computer programs related thereto
JP4673178B2 (ja) * 2005-10-06 2011-04-20 株式会社エヌアイデイ ストリーミング画像再生品質評価システム
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
JP2008219788A (ja) * 2007-03-07 2008-09-18 Toshiba Corp 立体画像表示装置、方法およびプログラム
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置

Also Published As

Publication number Publication date
EP2278820A2 (en) 2011-01-26
JP5249149B2 (ja) 2013-07-31
EP2278820A3 (en) 2014-01-15
JP2011024122A (ja) 2011-02-03
US20110012995A1 (en) 2011-01-20
CN101959075A (zh) 2011-01-26

Similar Documents

Publication Publication Date Title
CN101959075B (zh) 立体图像记录装置和方法、立体图像输出装置和方法、以及立体图像记录输出系统
CN102308590B (zh) 三维图像输出装置和三维图像输出方法
JP4692770B2 (ja) 複眼デジタルカメラ
CN103782586B (zh) 成像设备
US7929027B2 (en) Image management method
CN102893613B (zh) 立体图像再生装置及方法、立体摄像装置、立体显示器装置
CN102362487B (zh) 立体成像设备
CN102860019A (zh) 立体图像再生装置及方法、立体摄像装置、立体显示器装置
US7920176B2 (en) Image generating apparatus and image regenerating apparatus
CN106576143A (zh) 图像拍摄装置和图像拍摄方法
CN103098459B (zh) 立体摄像装置及阴影校正方法
CN102388617B (zh) 复眼摄像装置及其视差调整方法和程序
KR20090091787A (ko) 화상 기록 장치 및 화상 기록 방법
CN103733133A (zh) 摄像装置、其控制方法和程序
CN103339947B (zh) 3d视频再现装置、3d显示装置、3d成像装置和3d视频再现方法
CN102959974A (zh) 立体图像再现装置、其视差调整方法、视差调整程序、及摄影装置
JP2011114547A (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
JP2011024003A (ja) 立体動画記録方法および装置、動画ファイル変換方法および装置
CN103037235A (zh) 摄像装置及其控制方法
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
CN103339948B (zh) 3d视频再现装置、3d成像装置和3d视频再现方法
CN103385005B (zh) 立体图像处理装置以及立体图像处理方法
CN106993110A (zh) 摄像设备及其控制方法
CN104737527A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP5307189B2 (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150527

Termination date: 20210715

CF01 Termination of patent right due to non-payment of annual fee