CN102740098B - 3d图像显示设备、3d图像显示方法 - Google Patents

3d图像显示设备、3d图像显示方法 Download PDF

Info

Publication number
CN102740098B
CN102740098B CN201210049954.2A CN201210049954A CN102740098B CN 102740098 B CN102740098 B CN 102740098B CN 201210049954 A CN201210049954 A CN 201210049954A CN 102740098 B CN102740098 B CN 102740098B
Authority
CN
China
Prior art keywords
image
view
dimensional image
rendering
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210049954.2A
Other languages
English (en)
Other versions
CN102740098A (zh
Inventor
松本彻也
山路启
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102740098A publication Critical patent/CN102740098A/zh
Application granted granted Critical
Publication of CN102740098B publication Critical patent/CN102740098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了3D图像显示设备、3D图像显示方法、以及3D图像显示程序。3D图像显示设备包括:3D图像显示装置,用于显示彼此共享拍摄对象的至少一部分的多个2D图像,以显示其中2D图像的至少一部分被观看者感知为具有特定深度的立体图像的3D图像;以及显示控制装置,用于使得3D图像的深度改变,以提供具有不同深度的多个3D图像,并且使得具有不同深度的多个3D图像以列表形式显示在3D图像显示装置上。3D图像显示方法显示2D图像并执行控制。3D图像显示程序使得计算机执行该方法的步骤。一种计算机可读存储介质存储该程序。

Description

3D图像显示设备、3D图像显示方法
技术领域
本发明涉及适用于对根据多个图像生成的3D(三维)图像(立体图像)进行显示的3D(三维)图像显示设备、3D图像显示方法、和3D图像显示程序,并涉及将这样的程序记录其中的记录介质。
背景技术
众所周知,人类通过利用他/她的左眼和右眼以不同的角度和距离观看物体来感知物体的三维,也就是说,人类感知到物体的三维是由于左眼所观看到的物体的外观与右眼所观看到的物体的外观之间的差异。右眼观看到的物体与左眼观看到的同一物体之间的这种外观上的差异或者空间差别被称为视差。对于人类根据视差量来感知三维的情况来说,具有更大视差的图像看起来有更大程度的突出。
迄今为止,已经提出了各种探索人类感知三维的原理从而使得人们能够将2D(二维)图像(平面图像)感知为立体图像的方法。举一个例子,如果在不同角度上拍摄同一个对象从而获得右眼图像和左眼图像,并且将右眼图像呈现给人的右眼,同时将左眼图像呈现给左眼,则人将会感知到他/她正在观看该对象的立体图像,这是因为在右眼图像和左眼图像之间存在一定的视差。然后,显示为为人们呈现立体感的2D图像被称为3D图像。
在用于将右眼图像呈现给人的右眼,同时将左眼图像呈现给左眼的各种技术当中,视差屏障技术和柱状透镜技术可以作为典型的技术被提及。在这些技术当中,左眼图像和右眼图像各自被分解为竖条的形式,并且左眼图像和右眼图像的竖条被交替放置在同一屏幕上以形成一幅图像。在视差屏障技术的情况下,通过条形缝隙观看所形成图像的人用左眼只能看见左眼图像,并且用右眼只能看见右眼图像。在柱状透镜技术的情况下,在显示所形成图像的屏幕上提供柱状透 镜,该柱状透镜做出这样的限制,使得只有左眼图像能够被左眼看见,同时只有右眼图像能够被右眼看见。另外,已经提出了用于根据有关柱状透镜的类似原理来打印3D图像的3D打印技术。
由于人类的三维感知是取决于视差的,因此给人的立体感可以通过调节视差来进行改变。在视差屏障技术或者柱状透镜技术中,例如,如果将屏幕上显示的左眼图像和右眼图像在使他们不发生重合的方向上彼此移位以增加左眼图像和右眼图像之间的视差,则会给人更强的立体感。JP 2000-78615A公开了对3D视频图像的视差自由调节的数字广播接收器。
因此提出了一种具有3D拍照模式的相机,从而获得按照如上方式的用于立体观测的右眼图像以及左眼图像。JP 2008-172342A和JP 2004-104330A都公开了用于从多个图像之中对能够作为可用于立体观测的右眼图像以及左眼图像的那些图像进行自动选择的设备。将可用于立体观测的右眼图像和左眼图像的组合以这些图像彼此关联的形式存储为3D图像数据。
目前,常常有这样的情况,将下达命令对利用数字相机拍到图像进行打印的命令者一边观看在显示装置上显示的图像一边选择将要打印的图像。如果要命令打印2D图像数据,则在下达命令之前需选择将要打印的图像、选择打印尺寸、并确认将要打印的图像区域。另一方面,如果要命令打印3D图像数据,则不光需要做出如命令打印2D图像数据期间所做出的这些选择,还需要确定是将3D图像数据作为2D图像打印还是作为3D图像打印。如果是将3D图像数据作为2D图像打印,则还需要确定是打印左眼图像还是打印右眼图像。如果是将3D图像数据作为3D图像打印,则需要选择所打印的3D图像的立体感。换言之,相对于针对2D图像数据打印的命令,针对3D图像数据打印的命令是不方便的,这是因为将要做出更多的选择和确定。尤其是,还希望在下达命令之前由命令者利用他/她自己的眼睛对打印出的3D图像的所选立体感进行确认。
在如JP 2000-78615A所描述的数字广播接收器中,3D图像的视差是可调节的,不过不可能对经视差调节的3D图像的立体感进行确 认。在如JP 2008-172342A和JP 2004-104330A所描述的设备中,仅仅对适合于立体观测的图像进行选择,而并不确定根据选定的图像对所生成的图像是否是能够给操作者想要的立体感的3D图像。
发明内容
鉴于上述事实提出了本发明。本发明的目的在于提供3D图像显示设备、3D图像显示方法、以及3D图像显示程序,该设备、方法和程序允许显示多个3D图像,从这些3D图像中用户能够容易地选择给出想要的立体感的3D图像,还提供了将这样的程序记录其中的记录介质。
为了实现上述目的,本发明提供了一种用于显示多个三维图像的三维图像显示方法,其中每一个三维图像由拍摄的两个二维图像所组成的二维图像对来构成,其中将要显示的各三维图像在深度上彼此不同,并以列表的形式进行显示;并且将要显示的各三维图像相互间共享拍摄对象的至少一部分。
为了实现上述目的,本发明提供了一种三维图像显示设备,包括:三维图像显示装置,用于显示相互之间共享拍摄对象的至少一部分的多个二维图像,从而显示其中所述各二维图像的至少一部分被观看者感知为具有特定深度的立体图像的三维图像;以及显示控制装置,用于使得三维图像的深度产生变化,从而提供具有不同深度的多个三维图像,并且使得具有不同深度的多个三维图像以列表形式显示在三维图像显示装置上。
在上述三维图像显示装置的概念中,不仅包括可用于裸眼立体观测的显示装置,还包括可用于在观看者佩戴由偏振片或类似元件所构成的眼镜的情况下的立体观测的显示装置。术语“3D图像”不仅指完全立体的图像,还指显示为使得观看者可以将其感知为有立体感的2D图像。包含在3D图像中的物体不需要整体都有立体感地展现给观看者,也就是说,它们可以是至少一部分看起来有立体感。
术语“相互之间共享拍摄对象的至少一部分的多个二维图像”是指在利用3D图像显示装置立体显示的情况下其至少一部分看起来 有立体感的图像。具体地,这些图像是相互间共享拍摄对象的至少一部分、并且彼此间在包括背景等的构图上几乎相同的图像
将要以列表形式显示的图像可以同时显示也可以不同时显示。换言之,还可以通过使用滚动条等改变所显示图像来顺序显示将要以列表形式显示的尺寸缩小的图像。
优选地根据本发明的三维图像显示设备进一步包括:图像提取装置,用于从存储在存储介质中的多个二维图像中提取出在被组合起来的情况下能够被所述三维图像显示装置显示为三维图像的那些二维图像,其中所述显示控制装置通过将图像提取装置所提取的二维图像形成不同的组合来使得所述三维图像的深度产生变化,并使得根据二维图像的不同组合所生成的三维图像以列表形式显示在三维图像显示装置上。
上述构造允许从存储在存储介质中的图像中对适合于立体观测的图像进行自动提取,因此,使得可能提取了观看者所不期望组合在一起的图像。观看者可以通过互相比较由自动提取的图像所生成的3D图像来选择想要的3D图像。
该显示控制装置可以通过移动所述三维图像显示装置上所显示的所述二维图像的位置来使得所述三维图像的深度发生变化。
上述构造使得2D图像之间的视差改变,也就是说,允许根据相同的2D图像的组合来产生的具有不同深度的3D图像。
显示控制装置优选地使得构成所述具有不同深度的三维图像的多个二维图像显示为与这些三维图像一起显示的二维图像,其中以列表形式显示三维图像和二维图像。
如果按如上的方式显示图像,则观看者能够通过对3D图像和2D图像进行相互比较来选择想要的图像。
图像提取装置优选地基于文件格式、图像分析、或二维图像标签信息来对满足预定条件的二维图像进行提取。
如果基于文件格式、图像分析、或2D图像标签信息来提取满足预定条件的2D图像,则能够高效地提取可用于立体观测的图像。
显示控制装置优选地使得以列表形式以如下顺序显示三维图 像:使得基于所述预定条件被确定为更加适合用于立体观测的三维图像以更高的优先级进行显示。
如果按如上的方式显示图像,则观看者能够首先检查那些被确定为适用于立体观测的图像,从而能够轻松地找到想要的图像。
显示控制装置优选地使得在所述三维图像的生成过程中被剪切掉的区域与三维图像一起显示。
这种对在3D图像的生成过程中被剪切掉的区域的显示使得观看者能够识别该区域,并认定该将被剪切掉的区域随着3D图像深度的变化而变化。
三维图像显示装置上显示的具有不同深度的三维图像优选地是这样的三维图像,这些三维图像被显示是为了从中选择将要打印的三维图像。
优选地本发明的三维图像显示设备进一步包括用于从所述三维图像显示装置上所显示的具有不同深度的三维图像中选择将要打印的三维图像的装置。
优选地本发明的三维图像显示设备进一步包括打印尺寸指定装置,用于指定图像的打印尺寸。
显示控制装置优选地使得显示具有根据所述打印尺寸指定装置所指定的打印尺寸而得到的尺寸框,该尺寸框可以显示为叠加到所述三维图像上。
如果按上述方式显示尺寸框,则对于观看者来说,尤其是出于打印的目的,可以容易地选择具有期望的深度以给出想要的立体感的、且用户想要打印的3D图像。此外,由于对实际将要打印的区域做出了限定,因此防止了对不期望范围中的图像进行打印。
本发明还可以被实现为一种用于使得计算机执行以下过程的三维图像显示程序,所述过程为:显示步骤,用于对相互间共享拍摄对象的至少一部分的多个二维图像进行显示,以对其中二维图像的至少一部分被观看者感知为具有特定深度的立体图像的三维图像进行显示;以及控制步骤,用于执行控制以在显示步骤中以列表形式显示深度互不相同的三维图像。
本发明还可以被实现为一种其上记录有上述三维图像显示程序的计算机可读记录介质。
因此本发明提供了对3D图像的显示,从这些3D图像中用户可以容易地选择一幅给出期望的立体感的3D图像。
附图说明
在附图中:
图1示出了来自左眼和右眼的示例性视图;
图2A到图2D是分别图示出关于以下情况中的3D图像深度的示图,这些情况分别是:其中右眼图像和左眼图像被显示为彼此重叠;其中右眼图像和左眼图像被显示为彼此移位;其中右眼图像和左眼图像被显示为彼此进一步地移位;以及其中右眼图像和左眼图像之间的视差为另一个量;
图3是根据本发明实施例1的3D图像显示设备的功能性框图;
图4示出了监视器上显示的示例性图像编辑屏幕;
图5图示出在选定图像显示部分中显示图像的另一种方式;
图6图示出在选定图像显示部分中显示图像的另一种方式;
图7图示出了在选定图像显示部分中显示图像的又一种方式;
图8是示出监视器上显示的另一种图像编辑屏幕的示图;
图9是示出监视器上显示的另一种图像编辑屏幕的示图;
图10是根据本发明实施例2的3D图像显示设备的功能性框图;
图11示出了根据实施例2的3D图像显示设备的监视器上所显示的示例性图像编辑屏幕;
图12示出了包含在一组可用于立体观测的三个或更多图像中的图像;
图13是示出了在选择了一组可用于立体观测的三个或更多图像之后显示在选定图像显示部分中的示例性图像的示图;
图14是通过数字来表示用于构成选定图像显示部分中所显示的3D图像的2D图像的组合的示图;
图15A图示出其中从根据不同的2D图像的组合生成的并且以列 表形式显示的3D图像中选择一幅3D图像的情况的示图;并且图15B是示出在选择了3D图像之后所显示的屏幕的示图;以及
图16是示出在根据由用户按意愿选择的两个图像来生成3D图像的情况下所显示的图像编辑屏幕的示图。
具体实施方式
在下文中,基于在附图中所示出的优选实施例对根据本发明的3D图像显示设备、3D图像显示方法和3D图像显示程序进行了详细说明。
首先,对3D图像进行描述。
图1示出了来自左眼和右眼的示例性视图。在图1中,假设人2观看排列成纵列的方块6a到方块6c。观看方块6a到方块6c的人2利用左眼看到了视图4L,并且利用右眼看到了视图4R。根据人2与方块6a到方块6c之间的距离,视图4L中的方块6a到方块6c看起来与视图4R中的方块6a到方块6c有所不同,也就是说,距离人2更近的方块在左眼和右眼之间看起来因具有更大的视差而更加不同。在示出的情况中,方块6a被看作具有最大的视差。人类通过利用右眼和左眼看到不同的视图并且在大脑中将这些视图合并在一起以感知三维,从而看到的具有更大视差的物体被感知为更近。相反,如果将包含了三个方块的左眼图像(例如视图4L)示出给人的左眼,并且将包含了与左眼图像中相同方块的右眼图像(例如视图4R)示出给人的右眼,则这三个方块在该人看来是立体的。可以通过调节左眼图像和右眼图像之间的视差来改变给人的立体感。
各自表示从上方所看到的3D显示单元以及人的视线的图2A到图2D被用来对3D显示单元的原理进行描述,该3D显示单元用于通过将不同的图像呈现给右眼和左眼以显示3D图像。在3D显示单元8上,显示了右眼图像12和左眼图像14。右眼图像12仅呈现给在点24进行观察的右眼。左眼图像14仅呈现给在点22进行观察的左眼。对于显示在3D显示单元8上的右眼图像12和左眼图像14,在3D显示单元8、右眼图像12以及左眼图像14之间在绘图面的竖直方向上 的基本没有位移。但是,为了更好地理解附图,将所示出的3D显示单元8、右眼图像12以及左眼图像14在绘图面的竖直方向上相互移位。另外,右眼图像12和左眼图像14实际上都没有所示的厚度,因为它们仅仅是在3D显示单元8上显示的图像。
在图2A中,在3D显示单元8上显示右眼图像12和左眼图像14,它们之间在绘图面水平方向上没有位移。假设表示对象上的一个点的点16位于右眼图像12上,并且表示同一对象上同一点的点18位于左眼图像14上。表示同一对象上同一点并分别位于右眼图像和左眼图像上的这些点(例如点16和点18)此后称为“对应点”。在不同的角度拍摄同一对象所获得的图像为右眼图像12和左眼图像14。因此在图像12和图像14这两个图像之间存在一定的视差,因此对应点16和18之间在位置上具有L0的水平间距,即使以绝对重叠的方式显示右眼图像12和左眼图像14。
上述观看其上显示了图像12和图像14的3D显示单元8的人感知到由点16和点18所表示的对象上的点呈现在点10,即左眼朝向点18的视线26与右眼朝向点16的视线28彼此相交的点。换言之,由点16和点18所表示的对象看起来从3D显示单元8上突出了距离D0,该距离D0是3D显示单元8和点10之间的距离。从3D显示单元8突出的距离此后称为“3D图像的深度”、或“3D图像深度”。在示出的情况中,3D图像深度为D0,即,3D显示单元8和点10之间的距离。
在上述3D显示单元8中,可以以右眼图像12和左眼图像14之间具有水平位移的方式来显示这两个图像,从而使得视差量产生变化。右眼图像和左眼图像之间的水平位移的长度随后称为“位移量”。如果以绝对重叠的方式显示右眼图像和左眼图像,则位移量测量为零。由于人的三维感是基于视差的,并且视差量是可利用位移量调节的,因此可以通过对右眼图像12和左眼图像14之间的位移量进行调节来改变3D图像的立体感(或,深度)。
图2B示出了如果以Lz1的长度将所显示的右眼图像12和左眼图像14彼此进行移位而获得的3D图像深度。图2A中所示出的右眼 图像12和左眼图像14分别向左(以箭头13的方向)和向右(以箭头15的方向)移动,从而两个图像彼此移位了Lz1的位移量,如图2B所示。在示出的情况中,点16和点18之间的距离测量为L1(=L0+Lz1)。上述彼此移位的图像12和图像14给人以由点16和点18表示的对象呈现于点20的错觉,该点即左眼朝向点18的视线32与右眼朝向点16的视线34彼此相交的点。3D显示单元8和点20之间的距离是D1(>D0),从而在示出的这个情况中对象的3D图像深度是D1。
图2C示出了如果以Lz2的长度将所显示的右眼图像12和左眼图像14彼此进行移位而获得的3D图像深度。将图2B中所示出的右眼图像12和左眼图像14分别进一步向左(以箭头13的方向)和向右(以箭头15的方向)进行移动,从而使两个图像彼此移位了Lz2的位移量,如图2C所示。在示出的情况中,点16和点18之间的距离测量为L2(=L0+Lz2)。上述彼此进行了移位的图像12和图像14给人以由点16和点18表示的对象呈现于点30的错觉,该点即左眼朝向点18的视线36与右眼朝向点16的视线38彼此相交的点。3D显示单元8和点30之间的距离是D2(>D1),从而在示出的这个情况中对象的3D图像深度是D2。换言之,通过改变位移量允许观看3D显示单元8的人所感知的3D图像深度发生变化。在这一点上,如果以其间具有位移的方式显示右眼图像12和左眼图像14,则右眼图像12和左眼图像14的重合区域将会减少。结果,所显示的3D图像相比于图像12和图像14是其水平方向的两个端部区域都被剪切掉的图像。从3D图像中剪切掉的区域随着位移量的增加变得更大。
传统上来说通过在关于对象进行了水平移动的位置上拍摄对象来获得右眼图像和左眼图像。分别位于右眼图像和左眼图像上的对应点之间的距离,即,视差量,可以通过改变分别对右眼图像和左眼图像进行拍摄的位置之间的距离来进行改变。3D显示单元8上显示的3D图像的深度将会随着视差量发生改变。图2D示出了由不同于图2A所示出情况中的视差量的右眼图像和左眼图像之间的视差量所产生的3D图像深度。在图2D所示出的3D显示单元8上,类似于图2A 中的例子,以右眼图像和左眼图像之间在绘图面水平方向上没有位移的方式对它们进行显示。
在图2D中,右眼图像42上的对应点46与针对左眼的图像44上的对应点48之间的距离测量为L3(>L0)。对其上以上述方式显示了图像42和图像44的3D显示单元8进行查看的人感知到由点46和点48所表示的对象上的点呈现在点40处,即,左眼朝向点48的视线52与右眼朝向点46的视线54彼此相交的点。在示出的情况中,由点46和点48所表示的对象的3D图像深度是D3(>D0)。换言之,随着右眼图像和左眼图像之间的视差的增加,3D显示单元8上显示的3D图像具有更大的深度。
如上所述,3D显示单元8通过利用分别位于右眼图像和左眼图像上的对应点之间的视差,以及利用右眼图像和左眼图像之间的位移量,来使人们将2D图像感知为3D图像。虽然没有示出,但是可以采用相似的原理来表现3D图像的深度,以使得人们可以将图像中的物体感知为向3D显示单元8的背面缩进。
如果位移量太大,则用户的眼睛将会负荷过大,从而由于人眼的结构而不可能产生立体影像。位移量的可选范围取决于3D图像的水平长度(在右眼图像和左眼图像相对彼此移位的方向上的长度),并且随着图像尺寸的变大能够在更宽的范围中选择位移量。
根据上面描述的3D显示单元8的原理所显而易见的,允许通过改变位移量来使3D图像的深度发生变化,该原理也可以应用于3D图像的打印。另外,由于个体和个体的不同3D图像也看起来不同,因此对于想要的3D图像的深度会有个体差异。在上述内容的基础上,本发明的发明人提出了对通过以列表形式显示具有不同深度的各个3D图像以允许对具有想要深度的3D图像做出选择的3D图像显示设备的构想。
3D图像的深度取决于右眼图像和左眼图像之间的视差量,并且右眼图像和左眼图像之间的视差的量随着图像中的物体的位置在深度方向上的变化而发生变化。具体地,对于拍摄过程中离相机越近的物体则视差越大,同时离相机越远的物体则视差越小。换言之,一个 3D图像对于其中包含的各物体应该具有各种深度。为了简化描述,将3D图像深度在随后是指针对其间具有最大差距的对应点的3D图像深度,也就是说,如果右眼图像和左眼图像之间的位移量是零,则表示对象的对应点离相机最近。
如下参考附图对本发明实施例进行描述。
(实施例1)
图3是根据本发明实施例1的3D图像显示设备100的功能框图,其示出了3D图像显示设备的主要结构。3D图像显示设备100具有用于显示3D图像的监视器112、用于控制监视器112上的显示的显示控制单元108、以及都与显示控制单元108相连接的内部存储器102和存储器插槽104。外部存储器106连接到存储器插槽104。本实施例的3D图像显示设备100用于命令打印图像。观看监视器112上显示的图像的用户选择要打印的图像以发出打印命令。
内部存储器102是用于在其中存储作为3D图像的基础的左眼图像和右眼图像的存储器。只要能够在其中存储图像并从中读取图像,则任何存储介质可以被用作内部存储器102,其中的例子包括硬盘和RAM。
存储器插槽104是用于将3D图像显示设备100电子连接到外部存储器106的插槽。如果外部存储器106被连接到存储器插槽104,则显示控制单元108能够读出外部存储器106中所存储的关于图像等的数据。只要能够在其中存储图像并从中读取图像,则任何存储介质可以被用作外部存储器106,其中的例子包括软磁盘,MO盘、CD-R、DVD-R、闪存存储器。
显示控制单元108通过将图像数据转换为监视器112所要求的格式并将图像数据输出到监视器112来对监视器112上的显示进行控制。显示控制单元108通过调节监视器112上所显示的右眼图像和左眼图像之间的位移量来对3D图像的深度进行调节。如果右眼图像和左眼图像彼此重叠,则通过使用其间具有最大差距的对应点之间的距离作为基准来执行右眼图像和左眼图像之间的位移量的调节。另外,显示控制单元108改变所显示的3D图像的尺寸。利用CPU以及使得 CPU执行各种处理的操作程序来实现显示控制单元108。操作程序存储在内部存储器102中。
用户输入装置110是用于用户进行输入的装置,例如鼠标和键盘。
监视器112是允许显示3D图像的监视器。监视器112显示从显示控制单元108中输出的图像。监视器112能够单独显示2D图像、单独显示3D图像、以及混合显示2D图像和3D图像。任何已知的技术都可用于3D图像的显示,其中的例子包括视差屏障技术。
3D图像显示设备100将被选中、并由用户命令了对其进行打印的图像数据通过网络等输出到打印机。
图4示出了监视器112上显示的示例性图像编辑屏幕。所示出的图像编辑屏幕是当用户发出了打印图像的命令时监视器112上所显示的屏幕。
将通过对内部存储器102或外部存储器106中存储的多个图像进行尺寸上的缩小所获得的缩小图像(即缩略图)显示在位于监视器112左边的缩略图显示部分120中。在缩略图显示部分120中,混合显示作为2D图像的缩略图以及作为3D图像的缩略图。在内部存储器102或外部存储器106中存储的关于3D图像的数据由关于右眼图像的数据、关于左眼图像的数据、以及标签信息所组成,这些数据相互关联从而形成关于一幅3D图像的数据。标签信息包括针对相关联的右眼图像和左眼图像的3D图像深度。在缩略图显示部分120中被立体显示的3D图像各自具有预先已经存储的深度。
在缩略图显示部分120的右侧提供了滚动条124。在滚动条124中的钮122在绘图面的竖直方向上是可移动的。用户通过使用诸如鼠标之类的用户输入装置110在绘图面中竖直地拖动钮122来向上或者向下滚动显示在缩略图显示部分120中的图像。作为这样的操作的结果,可以将在内部存储器102或外部存储器106中存储的所有图像顺序显示在缩略图显示部分120中。然后,用户例如使用鼠标从缩略图显示部分120所显示的缩略图之中选择他/她想要按比例放大的图像。选定的缩略图被光标126所包围。应当注意,在缩略图显示部分 120中进行的图像选择并不是对要被命令打印的图像的最终确定。
将在缩略图显示部分120中选定的缩略图(即,由光标126所包围的图像)按比例放大,从而将按比例放大的图像显示在位于监视器112的中部的选定图像显示部分130中。虽然不是原始尺寸,但是在选定图像显示部分130中显示的图像大于在缩略图显示部分120中显示的缩略图。如果在缩略图显示部分120中被选定的图像是2D图像,则将选定的2D图像按比例放大并且显示在选定图像显示部分130中。
如果在缩略图显示部分120中被选定的图像是3D图像,则以列表形式在选定图像显示部分130中显示根据选定的3D图像数据可以生成的2D图像和3D图像。更具体地,在选定图像显示部分130的上部并排地显示左眼图像132和右眼的图像134,其中图像132和图像134构成选定的3D图像。左眼图像132以及右眼图像134都显示为2D图像。在左眼图像132以及右眼图像134上,分别以重叠的方式显示了框132a以及框134a。框132a以及框134a中的每一个都指示了在以规定的打印尺寸打印图像的情况下将被打印的相关图像的区域。
在选定图像显示部分130的下部,并排显示了3D图像136、3D图像138、以及3D图像140,由此可以根据选定的3D图像数据生成3D图像136、3D图像138、以及3D图像140中的每一个。3D图像136、3D图像138、以及3D图像140彼此深度不同,其中3D图像136具有最小的深度,而3D图像140具有最大的深度。换言之,在较靠近选定图像显示部分130左端位置上显示的选定图像显示部分130中的3D图像具有较小的深度,而在较靠近选定图像显示部分130右端位置上显示的3D图像具有较大的深度。在选定图像显示部分130的底部提供了滚动条142。用户可以通过在绘图面的水平方向上拖动滚动条142中的钮144来使得当前未显示在选定图像显示部分130中的图像被显示在选定图像显示部分130中。随着钮144向右拖动,在选定图像显示部分130中顺序显示具有日益增大的深度的3D图像。
在3D图像136的水平两侧上显示阴影部分136b和阴影部分 136c,其中阴影部分136b和阴影部分136c通过影线表示。类似地,在3D图像138的水平两侧上显示阴影部分138b和阴影部分138c,并且在3D图像140的水平两侧上显示阴影部分140b和阴影部分140c。每一个阴影部分表示由于通过对其间具有位移的右眼图像和左眼图像进行显示来生成3D图像而使得相比于右眼原始图像和左眼原始图像被从相关的3D图像中剪切掉的区域的尺寸。在3D图像的生成过程中将被剪切掉的区域随着3D图像深度的增加(也就是说,随着右眼图像和左眼图像之间的位移量的增加)而越来越大。因此,对于图4的选定图像显示部分130中显示的3D图像136、3D图像138、以及3D图像140,阴影部分136b和阴影部分136c是最小的,而阴影部分140b和阴影部分140c是最大的。分别将框136a、框138a和框140a以重叠方式显示在3D图像136、3D图像138、以及3D图像140上,其中每一个框指示了在对图像进行打印的情况下被打印的相关3D图像的区域。在将要打印3D图像的情况中,在3D图像的生成过程中没有被剪切掉而且满足规定的宽高比的区域将会被打印。结果,将框136a、框138a和框140a各自显示为在除了阴影部分的对应区域以外的其它区域中具有规定的宽高比。由于阴影部分随着3D图像深度的增加而增加,所以对于具有更大深度的3D图像,即使以相同的尺寸执行打印,也会打印出按照特定比例放大的更窄的区域。
以列表形式在选定图像显示部分130中对左眼图像132、右眼图像134、以及具有不同深度的3D图像进行显示,从而用户能够选择想要的图像。具体地,由于以列表形式显示了2D图像和3D图像,因此用户能够通过比较来确定是打印2D图像还是打印3D图像。在2D图像将被选择的情况下,可以选择想要的图像,或是左眼图像或是右眼图像。例如,如果选择了左眼图像,则可以命令打印左眼图像。以列表形式显示的具有不同深度的3D图像允许用户通过比较来对3D图像的深度进行指定。由于对根据图像深度的改变而被剪切掉的3D图像的水平两侧上的区域进行了附加指示以用于识别,因此用户能够知道这些区域的范围。
可以采用从显示的3D图像之中选择的3D图像的深度作为随后 选择的3D图像的深度。假设在图4中,例如用户选择了3D图像136。如果接下来在缩略图显示部分120中选择了另一个3D图像,则该3D图像被允许具有与3D图像136相同的深度,并被显示在用于3D图像的中间位置,也就是说,显示在3D图像138的位置。更具体地,接下来选择的3D图像被允许在对应点之间具有与3D图像136的对应点间距相同的距离,并被显示在3D图像138的位置上。在3D图像136和3D图像140的位置上,分别对与3D图像138的位置上所显示的3D图像相比深度减少和增大了的3D图像进行显示。上述这样的过程使得能以列表形式对根据用户针对另一个3D图像所希望的深度而修改了深度的3D图像进行显示,并且因此能以列表形式显示具有满足用户兴趣的深度的3D图像。从所显示的3D图像之中选择的3D图像的深度也可被应用于所有将要打印的其他3D图像。在这种情况下,将要打印的3D图像在深度上彼此一致。
在监视器112的右边,显示了“放大”按钮146、“缩小”按钮148、箭头按钮150、以及打印尺寸选择按钮152a到152c。“放大”按钮146和“缩小”按钮148用于分别对选定图像执行放大和缩小。用户可以通过利用例如鼠标选择“放大”按钮146从而将选定图像显示部分130中显示的图像放大。如果选择了“缩小”按钮148,则将选定图像显示部分130中显示的图像缩小。箭头按钮150用于移动光标126等。如果选择了右向箭头按钮,则光标126将会向右移动,并且对另一个图像进行选择。打印尺寸选择按钮152a到152c可以用于选择将要进行的打印的尺寸。在打印尺寸选择按钮152a到152c上表示了用于指示各种打印尺寸的符号、字符等。例如,带有字母L的打印尺寸选择按钮152a用于发出大尺寸打印的命令。
在监视器112的下部,显示“上一”按钮154和“下一”按钮156。通过按下“上一”按钮154将监视器112上所显示的屏幕改变为高一层级的屏幕。高一层级的屏幕是指,例如,用于对从中读取数据的存储器进行选择的屏幕。通过按下“下一”按钮156将监视器112上所显示的屏幕改变为低一层级的屏幕。低一层级的屏幕是指,例如,用于对选定图像显示部分130中所选择的图像的打印命令进行 确认的屏幕。
图5图示出另一种在选定图像显示部分130中显示图像的方式。图4和图5之间的唯一差别在于选定图像显示部分130中所显示的图像,于是对图5中所示出的除选定图像显示部分130以外的其它元素的描述进行了省略。在图4中,用于指示要打印的区域的框与2D图像和3D图像一起进行了显示,以突出地对这些区域进行指示。在图5中,虽然类似地将用于指示将要打印的区域的框与2D图像和3D图像一起进行了显示,但是除了将要打印的区域以外的区域,也就是,在所显示的框之外的区域没有被显示出来。为了避免用户误解,对不能打印的区域始终不进行显示。由于要打印的3D图像的区域随着3D图像的深度的增加而变得更窄,所以越靠近选定图像显示部分130右端所显示的3D图像越小。
图6图示出在选定图像显示部分130中显示图像的另一种方式。虽然在图4和图5中同时显示了具有不同深度的三个3D图像,但是在图6中只显示了一个3D图像158。根据图6中所图示出的显示方式,每次只对具有特定深度的一个3D图像进行显示,从而可以由用户根据意愿对深度进行改变。具体地,通过使用图像158下面所显示的滚动条160和钮162对3D图像158的深度进行改变。滚动条160的水平长度表示可以对深度进行调节的范围,并且钮162的位置表示3D图像158的当前深度。如果钮162的位置改变,则以根据钮162相对于滚动条160中的新位置所得到的深度对3D图像158进行显示。举一个例子,如果钮162的位置在滚动条160的右端,则以最大的深度显示3D图像158。换言之,用户能够通过使用鼠标等改变钮162的位置来按照意愿对3D图像158的深度进行改变,这样允许了用户选择满足他/她意愿的3D图像。
图7还图示出了在选定图像显示部分130中显示图像的另一种方式。根据图7中所图示出的显示方式,与图6中的情况一样,每次只对具有特定深度的一个3D图像进行显示,从而使得3D图像的深度随着时间的变化而变化。举一个例子,在同一位置以三秒钟的间隔交替地显示具有不同深度的3D图像136、3D图像138以及3D图像140。 换言之,3D图像的深度在三个阶段中随时间变化。如果使得在同一个位置所显示的3D图像的深度随时间而变化,则3D图像深度的变化对于用户来说将更加明显。
在每次只显示一幅3D图像并且其深度根据意愿或自动地发生改变的情况中,参考上述图6和图7中所描述的,用于一幅3D图像的空间对于3D图像的显示来说是足够的,也就是说,相对于其中以列表形式显示多个3D图像的情况,可以减小显示空间。
如上述本发明实施例1的3D图像显示设备100,允许用户对给出想要的立体感的期望的2D图像或3D图像进行选择,这是因为在该设备中以列表形式显示了2D图像以及具有不同深度的多个3D图像。
如果在3D显示单元8中执行对3D图像的放大或缩小,则对应点之间的距离改变,从而3D图像的深度相应地改变。3D图像的深度也随着图像打印尺寸的变化而变化,其中较小的打印尺寸将会导致深度的减小。结果,以小尺寸打印的3D图像可能由于用户所选择的深度太小而看起来并非立体的。
为了防止上述的问题,可以构想图8中所示出的图像编辑屏幕。图8的屏幕是监视器112上显示的另一个示例性图像编辑屏幕。假设,在已经通过光标126选择了缩略图之后,在选定图像显示部分130中没有图像被选定的情况下,通过光标164选择打印尺寸。
在图8中,在选定图像显示部分130中显示的3D图像仅是是具有使其在以所选打印尺寸被打印时呈现给用户立体感的深度的图像。举一个例子,当显示3D图像138和3D图像140时,不显示具有最小深度的3D图像136,因此3D图像136也不能被选择。换言之,这样的3D图像在以所选打印尺寸被打印时不会看起来是立体的。根据所示出的构造,用户能够对具有合适于打印尺寸的深度的3D图像进行选择。
右眼图像和左眼图像之间的视差可以是微小的,也就是说,在通过拍摄远距离的对象所获得的3D图像数据中,右眼图像和左眼图像可能是几乎相同的。在这种情况下,不需要将作为2D图像的右眼图像和左眼图像都显示出来,而可能如图8中所示只显示作为2D图 像的左眼图像132。在具体的处理中,如果对应点之间的距离长于特定的阈值,则显示右眼图像和左眼图像二者。
图9示出了监视器112上显示的图像编辑屏幕的另一个例子,其允许用户对适合于打印尺寸的3D图像深度进行选择。假设首先通过光标126来选择缩略图,然后由用户在选定图像显示部分130中选择了3D图像136。选定的3D图像136被光标166包围。如果在选定图像显示部分130中选择了具有特定深度的3D图像,当3D图像在以某个尺寸被打印时由于其深度而无法呈现立体感时,则用于指示该尺寸的打印尺寸选择按钮变灰。在图9中,因为3D图像136的大尺寸打印将由于图像的深度而无法给出立体感,所以打印尺寸选择按钮152a变灰。换言之,这样的变灰对以所考虑的尺寸打印的3D图像无法呈现立体感的情况作出警告。对于用户来说可以忽略该警告并且选择大尺寸的打印。上述参考图8和图9描述的各种处理基于预先针对打印尺寸、以及允许以特定打印尺寸打印以呈现立体感的对应点之间的最短距离进行了定义的表格来执行。将该表格存储在内部存储器102中。
在本发明实施例中,3D图像的深度可能并不是以三秒的间隔而是以其他的时间间隔来随时间变化的。另外,可以使得3D图像深度的变化并非在三个阶段中进行。
(实施例2)
相对于实施例1中以列表形式对两幅2D图像、以及根据这两幅2D图像所生成的具有不同深度的3D图像进行显示,在实施例2中,以列表形式对根据2D图像的不同组合所产生的具有不同深度的3D图像进行了显示。
图10是根据本发明实施例2的3D图像显示设备200的功能框图,其示出了3D图像显示设备200的主要结构。对于与3D图像显示设备100中的组件类似的组件以相同的标号示出,也没有对其做出进一步的说明。
用于对可用于立体观测的图像进行提取的图像提取器202从存储在内部存储器102或外部存储器106中的图像中对其中的两幅组合 起来可用于立体观测的图像进行提取。图像提取器202对满足预定条件的图像进行提取,具体的提取方法将在后面进行详细描述。基于预定条件,对用户选择的存储器中所存储的所有图像执行提取处理。
其中的两幅组合起来可用于立体观测的图像是以相似的构图拍摄同一对象得到的图像。对可用于立体观测的图像进行提取的预定条件的例子包括应该对多画面格式(MPF)文件中所包括的一组图像进行提取的条件。在MPF文件中,多个2D图像相互关联并且作为一个文件进行存储。如果将可用于立体观测的2D图像互相关联并进行存储,则这种文件格式是主要使用的格式。结果,MPF文件中所包含的2D图像的组合很可能是可用于立体观测的图像的组合。例如,如果使用了双镜头反射式照相机来拍摄两个图像,则将这两个图像彼此关联并作为MPF文件进行存储。另外,可以将利用针对同一对象水平移动的相机所拍摄的两个或多个关于同一对象的图片可选地存储为MPF文件。因此,如果基于文件格式来提取一组图像,则很可能根据所提取的图像中的两幅图像的组合来生成3D图像。
对可用于立体观测的图像进行提取的预定条件的另一个例子是应该对在短时间间隔内拍摄的一组图像进行提取的条件。在当今的数码相机中,针对每次拍照会将拍摄日期和时间(甚至达到几秒的程度)存储为标签信息。通常来说,在几秒钟或更短的时间间隔内所拍摄的图像常常是同一对象的图像。因此,如果基于标签信息对在几秒钟或更短的时间间隔内所拍摄的图像进行提取,则很可能根据所提取的图像中的两幅图像的组合来生成3D图像。举一个例子,提取了以不超过两秒的时间间隔拍摄的图像。
然而对可用于立体观测的图像进行提取的预定条件的另一个例子是应当对共享对象及构图的图像进行提取的条件。在这样的条件下的提取处理中,进行图像分析从而确定是否以相似的构图拍摄了同一对象。如果提取了以相似的构图拍摄同一对象的图像,则很可能根据所提取的图像中的两幅图像的组合来生成3D图像。
可以想到利用基于全球定位系统(GPS)的位置信息来作为对可用于立体观测的图像进行提取的预定条件。如果利用具有GPS功能的 数码相机来拍摄图像,则基于GPS的位置信息就会被记录在标签信息中。通常来说,位置信息彼此非常相似的图像有可能是关于同一对象的图像。因此,如果对基于GPS的位置信息彼此非常相似的图像进行提取,则很可能根据所提取的图像中的两幅图像的组合来生成3D图像。根据GPS功能的精度,位置信息彼此非常相似的图像示例性地是图像之间位置信息的差异不超过两米的图像。
还可以想到对在连续拍摄模式下先后拍摄的一组图像进行提取来作为对可用于立体观测的图像进行提取的预定条件。可以基于标签信息对在连续拍摄模式下先后拍摄的图像进行提取,这是因为在标签信息中记录了这些图像是以连续拍摄模式拍摄的。在连续拍摄模式下先后拍摄的图像有可能是关于同一对象的图像。因此,如果基于标签信息对在连续拍摄模式下先后拍摄的一组图像进行提取,则很可能根据所提取的图像中的两幅图像的组合来生成3D图像。另外,在连续拍摄模式下拍摄的图像是那些以很短的时间间隔所拍摄的图像。
还可以想到对构成移动图像的一组静止图像进行提取来作为对可用于立体观测的图像进行提取的预定条件。利用数码相机拍摄的移动图像由一串静止图像构成。通常是在拍摄移动图像时是对同一对象进行拍摄。换言之,构成移动图像的一组静止图像有可能是针对同一对象的图像。因此,如果对构成移动图像的静止图像进行提取,则很可能根据所提取的图像中的两幅图像的组合来生成3D图像。可以通过文件格式对移动图像和静止图像进行彼此区分。
上面描述的对用于立体观测的图像进行提取的这些预定条件可以被单独采用或者结合采用。举一个例子,将应当对以短时间间隔拍摄的图像进行提取的条件和应当对共享对象和构图的图像进行提取的条件结合在一起,从而对那些以不超过两秒的时间间隔拍摄的共享对象和构图的图像进行提取。
显示控制单元204不仅具有显示控制单元108的功能,而且还使得由用于提取可用于立体观测的图像的图像提取器202所提取的图像按照后面描述的方法显示在监视器112上。图像提取器202和显示控制单元204通过CPU以及使得CPU执行各种处理的操作程序来实 现。将这些操作程序存储在内部存储器102中。
图11示出了实施例2的监视器112上显示的图像编辑屏幕的示例。对于与图4的元件相类似的元件以相同的标号示出,并不再对其做出进一步的描述。
在缩略图显示部分120中,存储在内部存储器102或者外部存储器106中的图像数据在被分为三类之后以缩略图的形式进行显示以用于识别。在这点上,将不包括任何一条允许生成3D图像的图像数据的单个图像数据归为第一类,将已经从中提取出两条允许生成3D图像的图像数据的图像数据归为第二类,将已经从中提取出三条或三条以上的允许生成3D图像的图像数据的图像数据归为第三类。换言之,在缩略图显示部分120中,以混合的方式显示分别从上述三类图像数据得到的缩略图。由用于提取可用于立体观测的图像的图像提取器202,基于对可用于立体观测的图像的提取结果,来执行图像数据的分类。
即使是缩略图的形式,也将分为三类的图像数据显示为彼此按类别区分。更具体地:表示多条允许生成3D图像的图像数据的缩略图在其右下部具有以重叠的方式显示其上的3D标志。另一方面,在用于表示不包括任何一条允许生成3D图像的图像数据的图像数据(即,2D图像数据)的缩略图上没有任何显示。
对表示允许生成3D图像的多条图像数据的缩略图有两种显示方式。缩略图210显示为一幅图像的缩小版本。这样的缩略图210指示了其中包括了通过用于对可用于立体观测的图像进行提取的图像提取器202所提取的两条2D图像数据。缩略图212显示为多个缩略图堆叠的形式。这样的缩略图212指示了其中包括了通过图像提取器202所提取的三条或更多2D图像数据。
例如,将要由用于对可用于立体观测的图像进行提取的图像提取器202所提取的两幅2D图像为包括在MPF文件中的右眼图像和左眼图像。如果通过光标126选择了缩略图210,则包括在缩略图210中的2D图像、以及根据这些2D图像生成的具有不同深度的3D图像以列表形式显示在选定图像显示部分130中,就如同图4的选定图像 显示部分130那样。
假设如图12所示出的八幅2D图像216a到216h包括在缩略图212中。
图13示出了在通过光标126选择了缩略图212之后在选定图像显示部分130中所显示的示例性图像。针对图13,只对与图11中所示出的不同的元件进行描述。
在选定图像显示部分130中,以列表形式显示根据缩略图212中包括的2D图像生成的3D图像220a到220i。3D图像220a到220i是根据缩略图212中所包括的2D图像216a到216h的不同组合生成的。具体地,对缩略图212所包括的八幅2D图像中的每两个图像进行图像分析,以对可用于产生3D图像的多个图像集进行提取,并且以列表形式在选定图像显示部分130中显示根据所提取的图像集生成的3D图像。
在图14中,以与图12中对应的那些标号来表示用于构成选定图像显示部分130中所显示的3D图像的2D图像的组合。根据图14,例如,3D图像220a由2D图像216a和2D图像216c的组合所构成。3D图像220b由2D图像216a和2D图像216d的组合所构成。3D图像220a到220i分别由两幅2D图像以不同于其他组合的组合所构成,因此这些3D图像的深度互不相同。
由于根据2D图像的不同组合生成的3D图像以列表形式在选定图像显示部分130中进行显示,所以用户在他/她不需要自己对许多2D图像的各种组合进行尝试的情况下,就能够选择满足他/她意愿的3D图像。
如图15A所示如果从根据2D图像的不同组合生成、并且以列表形式显示的3D图像中选择了图像220g,则显示如图15B所示出的屏幕。在该屏幕的选定图像显示部分130中,如图15B所示出的,以列表形式显示了左眼图像222、右眼图像224、以及具有不同深度的3D图像226、3D图像228以及3D图像230。类似于图4的屏幕,所示出的显示屏幕允许用户从构成由用户选择的3D图像的2D图像之中选择想要的图像,并选择具有期望的深度的3D图像。
如上所述,根据本发明实施例2的3D图像显示设备200适用于自动地从存储在存储器中的图像之中提取可用于立体观测的图像。在设备200中,自动提取的2D图像的各种组合以列表形式显示为3D图像。因此,用户能够从根据2D图像的各种组合所生成的具有不同深度的3D图像中选择想要的3D图像。
为了描述的简明,本实施例的描述中所涉及的附图中省略了打印尺寸选择按钮。如同实施例1中的情况,可以在实施例2中显示这些按钮。
另外,不同于实施例1,在本实施例中,用于在选定的3D图像以某个尺寸进行打印时由于图像深度而预计不适合用于立体观测时对该尺寸进行指示的打印尺寸选择按钮可能有不同的显示。
同样为了描述的简明,从关于本实施例的描述所涉及的附图中省略了具有根据打印尺寸所得到的宽高比并以重叠的方式显示在3D图像上的框。如同实施例1中的情况,可以在实施例2中在3D图像上叠加这些框。
不同于实施例1,在本实施例中,不显示其深度根据所选打印尺寸被认为不合适用于立体观测的3D图像。
在本实施例中,如果自动提取的图像的不同组合以列表形式显示为3D图像,则希望3D图像以这样的顺序进行显示:其中对来源于被确定为更加适用于立体观测的图像集的3D图像以更高的优先级进行显示。例如,在同时显示排列成3行乘3列的9个图像的情况下,根据优先级显示的3D图像被定位为使得将被确定为最适合于立体观测的3D图像显示在左上部,而将被确定为第九适合于立体观测的3D图像显示在右下部。通过滚动所显示的3D图像,可以根据优先级对被确定为第十适合于立体观测的以及后续的3D图像进行显示。
根据上面描述的这些预定条件来确定所考虑的图像集是否适合用于立体观测。如果在以短的时间间隔拍摄的图像应该被提取的条件下来执行图像提取,则其组成图像是以短的时间间隔拍摄的图像集将会被确定为更适合用于立体观测。如果在共享对象和构图的图像应该被提取的条件下来执行图像提取,则进行图像分析以确定对应点之间 的差距,其中仅关于对象(多个对象)的视差更大而关于背景的视差更加可忽略的图像集被确定为更适合用于立体观测。如果在位置信息彼此非常相似的图像应该被提取的条件下来执行图像提取,则其组成图像的位置信息彼此更加相似的图像集将会被确定为更适合用于立体观测。还可以按照这样的顺序来排列3D图像:其中具有更早拍摄时间的3D图像被定位为具有较高的优先级,或者具有更大深度的3D图像(即,对应点之间更大的差距)被定位为具有较高的优先级。如果根据拍摄时间来排列3D图像,则参考每一个图像集的任一个构成图像的较早拍摄时间来对图像进行排序。
虽然本实施例中构成3D图像的图像集是由彼此自动组合的图像所组成的,但是用户也可以自由地将图像组合成图像集。举一个例子,如果选择了缩略图212,则如图12所示在选定图像显示部分130中以列表形式显示缩略图212所包括的2D图像,这允许用户对所显示的2D图像中的任何两幅图像进行选择。在选定图像显示部分130中显示根据所选定的两幅2D图像所生成的3D图像。结果,用户能够对根据他/她选择的两幅2D图像所生成的3D图像进行确认。
在上述用户对用于生成3D图像的两幅2D图像进行自由选择的情况中,对于在与用户所选择的第一2D图像组合的情况下将会产生更理想的3D图像的每个2D图像进行如图16所示的特别的指示。假设在图16中,用户选择2D图像216a作为构成一个3D图像的图像集的第一组成图像。用光标232包围所选定的2D图像216a。在选择了2D图像216a之后,用虚线显示的光标对在与2D图像216a组合的情况下将会允许生成理想的3D图像的2D图像进行包围。在示出的情况中,在2D图像216a被选择之后,2D图像216d、2D图像216f以及2D图像216g分别被以虚线显示的光标234d、光标234f以及光标234g包围。换言之,在图16中,2D图像216d、2D图像216f以及2D图像216g的每一个在与2D图像216a组合的情况下都能够产生期望的3D图像。根据上面描述的这些预定条件对所考虑的2D图像在与选定的2D图像组合的情况下是否能产生期望的3D图像做出确定。例如,在用于对所显示的2D图像进行提取的更严格的条件下被提取出来的 2D图像周围显现以虚线显示的光标。更具体地,如果在以短的时间间隔拍摄的图像应被提取的条件下对以不超过两秒的时间间隔拍摄的八个2D图像进行提取,则在拍摄选定的2D图像之前或者之后不超过一秒的时间内所拍摄的2D图像将会被以虚线显示的光标所包围。
也可以根据用于提取所显示的2D图像的条件之外的其他条件对所考虑的2D图像是否能产生期望的3D图像做出确定。例如,如果在以短的时间间隔拍摄的图像应该被提取的条件下对以不超过两秒的时间间隔拍摄的八个2D图像进行提取,则其自身与选定的2D图像之间的位置信息的差异不超过一米的2D图像将会被以虚线显示的光标所包围。
在选择了将要与选定的2D图像216a组合的2D图像之后,在选定图像显示部分130的下部显示根据这两幅2D图像构成的图像集所生成的3D图像。
在上面描述的每一个实施例中,监视器112可以是外部显示器单元,或者诸如触摸屏之类的输入装置可以被用作监视器。虽然希望监视器112是能够以混合的方式对2D和3D图像进行显示的显示装置,但是监视器112可以是允许对将要显示的图像(2D图像或3D图像)进行选择的显示装置。如果选择了显示3D图像,则在监视器上只显示3D图像,于是在适用于显示右眼图像的监视器部分中只对根据同一右眼图像所生成的3D图像进行显示,并且在适用于显示左眼图像的显示器部分中对根据同一左眼图像所生成的3D图像进行显示。虽然监视器112不能以混合的方式对2D和3D图像进行显示,但是通过这种方式,可以将左眼图像和右眼图像显示为2D图像。
在上面描述的每一个实施例中,以列表形式显示的图像可以是比上面描述中采用的更多或者更少的图像数目。将要以列表形式显示的图像的数目也可以由用户根据意愿进行指定。
在上面描述的每一个实施例中,不要求在显示屏幕中只能选择一幅图像。例如,可以选择两幅图像(例如左眼图像和3D图像)以指定对它们的打印。
在上面描述的每一个实施例中,使用滚动条和钮的结合来执行 对3D图像深度的调节,但是不对用于3D图像深度调节的界面做限制。可以想到对“+/-”按钮、数值的直接输入、下拉列表中的大深度/中深度/小深度的选择等的使用。
在上面描述的每一个实施例中,尽管都是根据2D图像生成3D图像,但是本发明还适用于其中根据三个或更多2D图像生成3D图像的情况。如果要根据八个2D图像生成3D图像,则将从存储器所存储的图像中提取八个或更多2D图像。
在上述每一个实施例中所执行的监视器112上的3D图像的显示可以通过以下3D图像显示方法来实现,该方法包括:通过显示彼此共享拍摄对象至少一部分的两个或更多2D图像来在3D图像显示装置上显示3D图像以使得这些2D图像的至少一部分可以被观看者感知为具有特定深度的立体图像的步骤;使得3D图像显示装置上所显示的多个3D图像的深度改变的步骤;以及以列表形式在3D图像显示装置上对深度发生改变的3D图像进行显示的步骤。
根据上面描述的本发明实施例的使得计算机响应于3D图像显示设备的各种功能进行操作的3D图像显示程序、以及使得计算机执行上述3D图像显示方法步骤过程的3D图像显示程序都是本发明的一个实施例。另外,将这样的程序记录其中的计算机可读存储介质也是本发明的一个实施例。
上面描述的本发明的实施例仅作为本发明的示例性实施例,而不对本发明的构造进行限制。任何根据本发明的3D图像显示设备、3D图像显示方法、3D图像显示程序、以及将这样的3D图像显示程序记录其中的记录介质不限于上述实施例中所描述的,而是在不脱离本发明的精神的前提下可以进行各种修改和实施。
根据本发明的3D图像显示设备、3D图像显示方法、3D图像显示程序、以及将这样的3D图像显示程序记录其中的记录介质可以被用来编辑3D图像,从而允许用户更加容易地选择具有能给出想要的立体感的期望深度的3D图像。

Claims (14)

1.一种三维图像显示设备,包括:
三维图像显示装置,用于显示彼此共享拍摄对象的至少一部分的多个二维图像,以显示其中所述多个二维图像的至少一部分被观看者感知为具有特定深度的立体图像的三维图像;
显示控制装置,用于使得三维图像的深度改变,以提供具有不同深度的多个三维图像,并且使得具有不同深度的所述多个三维图像和所述多个二维图像的至少一部分以列表形式显示在所述三维图像显示装置上,以及
图像提取装置,用于从存储在存储介质中的多个二维图像中提取出在被组合起来的情况下被所述三维图像显示装置显示为三维图像的那些二维图像,其中:
所述图像提取装置基于针对显示为三维图像的二维图像的提取结果来将存储在存储介质中的所述多个二维图像数据分为三类,其中,第一类包括不显示为三维图像的二维图像,第二类包括显示为三维图像的两条二维图像,第三类包括显示为三维图像的三条或三条以上的二维图像,并且
所述显示控制装置使被分为三类的所述多个二维图像区分显示在所述三维图像显示装置上,并且通过将所述图像提取装置所提取的各二维图像形成不同的组合来使得所述三维图像的深度改变,并使得根据各二维图像的不同组合所生成的三维图像以列表形式显示在三维图像显示装置上。
2.一种三维图像显示设备,包括:
三维图像显示装置,用于显示彼此共享拍摄对象的至少一部分的多个二维图像,以显示其中所述多个二维图像的至少一部分被观看者感知为具有特定深度的立体图像的三维图像;
显示控制装置,用于使得三维图像的深度改变,以提供具有不同深度的多个三维图像,并且使得具有不同深度的所述多个三维图像和所述多个二维图像的至少一部分以列表形式显示在所述三维图像显示装置上;
图像提取装置,用于从存储在存储介质中的多个二维图像中提取出在被组合起来的情况下被所述三维图像显示装置显示为三维图像的那些二维图像;以及二维图像选择装置,用于从所述多个二维图像中选择构成所述三维图像的两个二维图像,其中:
所述图像提取装置基于针对显示为三维图像的二维图像的提取结果来将存储在存储介质中的所述多个二维图像数据分为三类,其中,第一类包括不显示为三维图像的二维图像,第二类包括显示为三维图像的两条二维图像,第三类包括显示为三维图像的三条或三条以上的二维图像,
所述显示控制装置使被分为三类的所述多个二维图像区分显示在所述三维图像显示装置上,并且
在所述二维图像选择装置对所述两个二维图像中的一个二维图像进行选择时,所述显示控制装置对在与该一个二维图像组合的情况下将产生理想的三维图像的另一个二维图像进行突出指示。
3.如权利要求2所述的三维图像显示设备,其中:
所述图像提取装置基于文件格式、图像分析、或每个二维图像的标签信息来对满足预定条件的所述二维图像进行提取,
所述显示控制装置对由所述图像提取装置根据所述预定条件来提取的所述另一个二维图像进行突出指示。
4.如权利要求1或2所述的三维图像显示设备,其中:
所述显示控制装置通过将所述三维图像显示装置上所显示的各所述二维图像移位来使得所述三维图像的深度改变。
5.如权利要求1所述的三维图像显示设备,其中:
所述图像提取装置基于文件格式、图像分析、或每个二维图像的标签信息来对满足预定条件的所述二维图像进行提取。
6.如权利要求5所述的三维图像显示设备,其中:
所述显示控制装置使得各三维图像以列表形式按如下顺序显示:使得基于所述预定条件被确定为更加适合用于立体观测的三维图像以更高的优先级进行显示。
7.如权利要求3或5所述的三维图像显示设备,其中:
所述标签信息包括下列项目中的至少一项:所述三维图像的深度,其中所述三维图像基于与所述标签信息相关联的、并且被存储为与一个三维图像相关的数据的右眼图像和左眼图像;达到分和秒程度的拍摄日期和时间;基于全球定位系统的位置信息;以及在连续拍摄模式下的拍摄;
所述预定条件是下列项目中的至少一项:对多画面格式文件中所包括的一组图像进行提取,其中在多画面格式文件中,多个二维图像相互关联并且作为一个文件进行存储;对在短时间间隔内拍摄的一组图像进行提取;对共享对象及构图的图像进行提取;对基于全球定位系统的位置信息的利用;对在连续拍摄模式下先后拍摄的一组图像进行提取;以及对构成移动图像的一组静止图像进行提取;或者所述预定条件是上述项目的组合。
8.如权利要求1或2所述的三维图像显示设备,其中:
所述显示控制装置使得在所述三维图像的生成过程中被剪切掉的区域与所述三维图像一起显示。
9.如权利要求1或2所述的三维图像显示设备,其中所述三维图像显示装置上所显示的具有不同深度的所述多个三维图像被显示出来是为了从中选择将要打印的三维图像。
10.如权利要求1或2所述的三维图像显示设备,进一步包括打印图像选择装置,该打印图像选择装置用于从所述三维图像显示装置上所显示的具有不同深度的所述多个三维图像中选择将要打印的三维图像。
11.如权利要求1或2所述的三维图像显示设备,进一步包括打印尺寸指定装置,用于对图像的打印尺寸进行指定,其中:
所述显示控制装置使得具有根据所述打印尺寸指定装置所指定的打印尺寸而得到的长宽比的框以叠加到所述三维图像上的方式进行显示。
12.如权利要求1或2所述的三维图像显示设备,进一步包括:
打印图像选择装置,用于从所述三维图像显示装置上所显示的具有不同深度的所述多个三维图像中选择将要打印的三维图像,以及
打印尺寸指定装置,用于指定对所述打印图像选择装置所选择的所述三维图像进行打印的打印尺寸,其中:
当将以所述打印尺寸指定装置所指定的打印尺寸来打印所述打印图像选择装置所选择的所述三维图像时,在所述打印图像选择装置所选择的具有深度的所述三维图像未呈现出立体感的情况下,所述显示控制装置作出警告。
13.一种用于对多个三维图像进行显示的三维图像显示方法,其中根据由拍摄的两个二维图像所构成的二维图像对来构造所述多个三维图像的每一个,其中将要显示的所述多个三维图像彼此共享拍摄对象的至少一部分,所述三维图像显示方法包括步骤:
基于针对显示为三维图像的二维图像的提取结果来将所述多个二维图像数据分为三类,其中,第一类包括不显示为三维图像的二维图像,第二类包括显示为三维图像的两条二维图像,第三类包括显示为三维图像的三条或三条以上的二维图像,并且
区别显示被分为三类的所述多个二维图像,
通过将图像提取装置所提取的各二维图像形成不同的组合来使得所述三维图像的深度改变,并且
使得在深度上彼此不同并且根据各二维图像的不同组合所生成的三维图像以列表形式显示。
14.一种用于对多个三维图像进行显示的三维图像显示方法,其中根据由拍摄的两个二维图像所构成的二维图像对来构造所述多个三维图像中的每一个,其中将要显示的所述多个三维图像彼此共享拍摄对象的至少一部分,所述三维图像显示方法包括步骤:
从多个二维图像中提取出在被组合起来的情况下能显示为三维图像的那些二维图像,
基于针对显示为三维图像的二维图像的提取结果来将所述多个二维图像数据分为三类,其中,第一类包括不显示为三维图像的二维图像,第二类包括显示为三维图像的两条二维图像,第三类包括显示为三维图像的三条或三条以上的二维图像,
区别显示被分为三类的所述多个二维图像,
根据用户的选择从所述多个二维图像中选择出在被组合起来的情况下能显示为三维图像的两个二维图像,以及
在对所述两个二维图像中的一个二维图像进行选择时,对在与该一个二维图像组合的情况下将产生理想的三维图像的另一个二维图像进行突出指示。
CN201210049954.2A 2011-03-31 2012-02-29 3d图像显示设备、3d图像显示方法 Active CN102740098B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-081302 2011-03-31
JP2011081302A JP5325255B2 (ja) 2011-03-31 2011-03-31 立体画像表示装置、立体画像表示方法および立体画像表示プログラム

Publications (2)

Publication Number Publication Date
CN102740098A CN102740098A (zh) 2012-10-17
CN102740098B true CN102740098B (zh) 2015-07-01

Family

ID=46926580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210049954.2A Active CN102740098B (zh) 2011-03-31 2012-02-29 3d图像显示设备、3d图像显示方法

Country Status (3)

Country Link
US (1) US20120249529A1 (zh)
JP (1) JP5325255B2 (zh)
CN (1) CN102740098B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
JP2013016116A (ja) * 2011-07-06 2013-01-24 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US8781237B2 (en) * 2012-08-14 2014-07-15 Sintai Optical (Shenzhen) Co., Ltd. 3D image processing methods and systems that decompose 3D image into left and right images and add information thereto
US10178368B2 (en) * 2012-10-23 2019-01-08 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects
US8997021B2 (en) * 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
JP6125467B2 (ja) * 2014-06-16 2017-05-10 富士フイルム株式会社 プリント注文受付機とその作動方法および作動プログラム
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
CN109144393B (zh) * 2018-08-28 2020-08-07 维沃移动通信有限公司 一种图像显示方法及移动终端
JP7313706B2 (ja) * 2021-02-16 2023-07-25 株式会社サンセイアールアンドディ 遊技機

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349006B2 (en) * 2002-09-06 2008-03-25 Sony Corporation Image processing apparatus and method, recording medium, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2003284093A (ja) * 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP4200717B2 (ja) * 2002-09-06 2008-12-24 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US20050212914A1 (en) * 2004-03-25 2005-09-29 Fuji Photo Film Co., Ltd. Method, apparatus, system, and computer executable program for image processing
JP4115416B2 (ja) * 2004-03-25 2008-07-09 富士フイルム株式会社 画像処理方法、及び画像処理装置、及び画像処理システム、及び画像処理プログラム
JP5430266B2 (ja) * 2009-07-21 2014-02-26 富士フイルム株式会社 画像表示装置および方法並びにプログラム
JP4911230B2 (ja) * 2010-02-01 2012-04-04 カシオ計算機株式会社 撮影装置、並びに制御プログラム及び制御方法
KR20120015165A (ko) * 2010-08-11 2012-02-21 엘지전자 주식회사 영상의 깊이감 조절 방법 및 이를 이용하는 이동 단말기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349006B2 (en) * 2002-09-06 2008-03-25 Sony Corporation Image processing apparatus and method, recording medium, and program

Also Published As

Publication number Publication date
US20120249529A1 (en) 2012-10-04
CN102740098A (zh) 2012-10-17
JP5325255B2 (ja) 2013-10-23
JP2012217057A (ja) 2012-11-08

Similar Documents

Publication Publication Date Title
CN102740098B (zh) 3d图像显示设备、3d图像显示方法
CN102685525B (zh) 图像处理设备和图像处理方法以及图像处理系统
JP4958233B2 (ja) 多眼視画像作成システム及び多眼視画像作成方法
JP5347279B2 (ja) 画像表示装置
US8644594B2 (en) Three-dimensional image editing device and three-dimensional image editing method
US8891853B2 (en) Image processing device, three-dimensional image printing system, and image processing method and program
EP2315452A2 (en) Stereoscopic Image processing apparatus, method and program, for selecting and displaying stereo images with improved parallax.
US8373745B2 (en) Image processing apparatus, image display apparatus, image apparatus, and image processing method
US20090244258A1 (en) Stereoscopic display apparatus, stereoscopic display method, and program
US10074343B2 (en) Three-dimensional image output apparatus and three-dimensional image output method
JP6529267B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
JP4471979B2 (ja) 画像合成装置及び画像合成方法
JP4958689B2 (ja) 立体画像生成装置およびプログラム
JP5840022B2 (ja) 立体画像処理装置、立体画像撮像装置、立体画像表示装置
JP2019102907A (ja) 設定装置、設定方法、及びプログラム
JP5681588B2 (ja) 立体画像編集装置および立体画像編集方法
JP5501458B2 (ja) 立体画像表示装置、立体撮像装置、及び方法
US9838672B2 (en) Apparatus and method for referring to motion status of image capture device to generate stereo image pair to auto-stereoscopic display for stereo preview
EP2858362A1 (en) Method, device and system for resizing original depth frame into resized depth frame
US9118901B2 (en) Imaging apparatus, imaging method and imaging system
JP2014175702A (ja) 表示制御装置、その制御方法、および制御プログラム
JP5864996B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015046693A (ja) 画像処理装置、制御方法及びプログラム
US10091495B2 (en) Apparatus and method for displaying stereoscopic images
CN113313744A (zh) 一种无人飞行器高度及位置显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant