CN1678085A - 立体图像处理方法以及立体图像处理装置 - Google Patents

立体图像处理方法以及立体图像处理装置 Download PDF

Info

Publication number
CN1678085A
CN1678085A CNA200510055045XA CN200510055045A CN1678085A CN 1678085 A CN1678085 A CN 1678085A CN A200510055045X A CNA200510055045X A CN A200510055045XA CN 200510055045 A CN200510055045 A CN 200510055045A CN 1678085 A CN1678085 A CN 1678085A
Authority
CN
China
Prior art keywords
computing
value
camera
image processing
stereoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200510055045XA
Other languages
English (en)
Inventor
增谷健
滨岸五郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1678085A publication Critical patent/CN1678085A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种立体图像处理装置以及方法。照相机配置决定部(136)在当前帧中，以在刚才的帧中取得的Z值以及使用者的正确视差为基础，决定物体空间中的真实照相机的配置场所。在进行了投影处理之后，视差图像生成部(142)以视点图像为基础，生成视差图像。上述的Z值是在刚才的帧中由照相机配置决定部(136)配置的至少1台真实照相机取得的值，通过将其利用于当前帧，从而可以实现立体图像处理全体的高速化。

Description

立体图像处理方法以及立体图像处理装置
技术领域
本发明涉及立体图像处理技术，特别涉及以视差图像为基础来生成立体图像的方法以及装置。
背景技术
近年，网络基础设施(network infrastructure)的不完备成为问题，但迎来了向宽带的过渡期，这样，有效利用宽频带的内容的种类和较少的数量开始显得突出。图像不论在任何时代，都是最重要的表现手段，但是至今为止的多数研究都是关于显示质量或数据压缩率的改善的研究，和这些研究相比，拓展表现方式自身的技术的研究就显得落后了。
在此之中，立体图像显示(以下，简称为立体显示)从以前开始就被广泛研究，被用于剧场用途或特殊的显示装置中，在限于一定程度的市场上被实用化。今后，以提供更富于现场感的内容为目标，加速这方面的研究开发，个人使用者即使在家中也能享受立体显示所带来的快乐的时代即将来临。
即使在现在，例如，个人使用者也可以享受好像物体在眼前飞出那样刺激的3维立体图像显示所带来的快乐。如果以赛车游戏为例，玩家对好像在眼前浮现那样出现的物体，例如操作车，使其在物体存在的假想3维空间(以下，简称为物体空间)内行驶，通过和其他的玩家或计算机操作的车竞赛，从而能享受3维空间游戏所带来的乐趣。
这样的立体显示相关的技术即使现在也被广泛使用，也是今后期望进一步普及的技术，同时新的显示方式也被提出。例如，在专利文献1中，记载了将二维图像中被选择的部分图像立体显示的技术。
【专利文献1】
特开平11-39507号公报
确实，根据专利文献1，可以将平面图像中所期望的部分立体显示，但其并没有注意到实现立体显示时处理整体的高速化，对此有必要进行新的研究。
发明内容
本发明是鉴于这样的问题而做出的，其目的在于提供一种实现立体显示相关的处理整体的高速化的立体图像处理装置以及立体图像处理方法。
本发明的一种形态涉及立体图像处理装置。该装置是以对应于不同视点的多个视点图像为基础，立体显示物体的立体图像处理装置，其中包括：取得包含应当立体显示的物体的假想空间内的纵深方向的运算区域范围的纵深值取得部；以该取得的纵深方向的运算区域范围为基础，在假想空间内配置多个不同视点的视点配置部；和以来自多个不同视点的视点图像为基础，生成视差图像的视差图像生成部。
所谓“立体显示”是指显示立体图像。该“立体图像”是具有立体感并被显示的图像。其数据的实质是使多个图像具有视差的“视差图像”。视差图像一般是多个二维图像的集合。构成视差图像的各个图像是分别具有对应的视点的“视差图像”。也就是说，由多个视点图像构成视差图像。所谓“运算区域”是指在进行用来立体显示物体的规定的运算的假想空间上的区域。
所谓“视差”是指用于产生立体感的参数，可以进行各种定义。作为一例，可以以表示视点图像间的相同点的图像的坐标植的差异来表现。以下，在本说明书中，如果没有特别的限制，都遵从此定义。
根据该形态，因为可以以纵深方向的运算区域范围为基础，在假想空间内配置多个不同的视点，所以可以得到有效的视差图像，可以实现适当的立体显示。
该装置进一步包括在其假想空间内暂时配置视点的视点临时配置部。纵深值取得部基于暂时配置的视点，取得纵深方向的运算区域的范围也可以。视点临时配置部在假想空间内暂时配置1个视点也可以。
视点临时配置部也可以具有包含由视点配置部配置的多个视点的视野范围的视野范围这样，在假想空间内配置视点。视点配置部以由纵深值取得部取得的纵深方向的运算区域的范围为基础，除了由视点临时配置部暂时性配置的视点，使该视点成为中心这样，在假想空间内配置2个不同的视点也可以。视点配置部以在2个不同的视点的两个外侧方向上使视点间的距离为上述2个视点的距离间隔的方式配置多个视点也可以。
纵深值取得部以比视点图像的分辨率还低的分辨率取得纵深方向的运算区域的范围也可以。另外，纵深值取得部与应当立体显示的物体相对应，而且利用由较少的数据量构成的物体，取得纵深方向的运算区域范围也可以。根据该形态，通过削减取得纵深方向的运算区域范围时的处理量，从而可以实现处理整体的高速化。
纵深值取得部也可以在由视点配置部配置的多个不同的视点之中，取得至少根据1个视点的纵深方向的运算区域范围。纵深值取得部在由视点配置部配置的多个不同的视点之中，取得根据2个以上的视点的纵深方向的运算区域范围，合并各个纵深方向的运算区域范围，生成1个纵深方向的运算区域范围也可以。
进一步包括判断由纵深值取得部取得的纵深方向的运算区域范围是否能使用的纵深值使用判断部，当由纵深值使用判断部判断为不能使用时，视差图像生成部不生成视差图像，而生成没有视差的二维图像也可以。另外，进一步包括判断由纵深值取得部取得的纵深方向的运算区域范围是否能使用的纵深值使用判断部，当由纵深值使用判断部判断为不能使用时，视点配置部以生成具有比上次生成的视差图像更弱的视差的视差图像的方式配置多个不同的视点也可以。
进一步包括判断由纵深值取得部取得的纵深方向的运算区域范围是否能使用的纵深值使用判断部，当由纵深值使用判断部判断为不能使用时，纵深值取得部利用前方投影面或者后方投影面，取得纵深方向的运算区域也可以。
进一步包括：检测物体运动的状态，以此检测结果为基础，预测物体将来的运动状态的动作预测部；和以由该动作预测部预测的物体将来的动作状态为基础，预测包含该物体的规定区域的位移量的位移量预测部。视点配置部基于由位移量预测部预测的规定区域的位移量，在假想空间内配置多个不同的视点也可以。
进一步包括对每个物体取得是否包含在运算区域范围内的运算选择信息的运算选择信息取得部，在由运算选择信息取得部取得了不包含在运算区域范围内的运算选择信息时，纵深值取得部忽略作为不包含在范围内的物体，由其他物体取得纵深方向的运算区域范围。
本发明的其它形态立体图像处理方法。该方法包括：取得包括以立体显示为目的的物体的假想空间内的纵深方向的运算区域范围的步骤；以取得的纵深方向的运算区域范围为基础，在假想空间内配置多个不同的视点的步骤；和以来自多个不同视点的视点图像为基础，生成视差图像的步骤。
还有，将以上的构成要素的任意组合、本发明的表现在方法、装置、系统、存储介质、计算机程序等之间变换，作为本发明的形态也是有效的。
根据本发明，可以实现适当的立体显示。
附图说明
图1是示意性表示与屏幕面对应的基本表现空间的图。
图2是示意性表示由临时照相机特性的运算区域以及背面区域的图。
图3是表示实施方式1的立体图像处理装置实现的物体立体显示的样子的图。
图4是表示实施方式1的立体图像处理装置的构成的图。
图5(a)、图5(b)是分别表示由立体图像处理装置的立体感调整部显示的左眼图像和右眼图像的图。
图6是表示由立体图像处理装置的立体感调整部显示的、具有不同视差的多个物体的图。
图7是表示由立体图像处理装置的立体感调整部显示的、视差变化的物体的图。
图8是表示简单决定视差以及基本表现空间时利用的表的图。
图9是表示立体图像处理所采用的世界坐标系的图。
图10是表示立体图像处理所采用的模型坐标系的图。
图11是表示立体图像处理所采用的照相机坐标系的图。
图12是表示立体图像处理所采用的取景范围的图。
图13是表示图12的范围透视变换后的坐标系的图。
图14是表示实现适当视差时的照相机像角、图像大小、视差的关系的图。
图15是表示实现图14的状态的摄像系统的位置关系的图。
图16是表示实现图14的状态的摄像系统的位置关系的图。
图17是表示立体图像处理所采用的屏幕坐标系的图。
图18是表示实施方式1的立体图像处理装置的处理流程的图。
图19是表示实施方式2的立体图像处理装置的构成的图。
图20是表示实施方式2的立体图像处理装置的处理流程的图。
图21是表示实施方式3的立体图像处理装置的构成的图。
图22是表示实施方式3的立体图像处理装置的处理流程的图。
图23是表示第1变形例的立体图像处理装置的构成的图。
图24是表示第2变形例的立体图像处理装置的构成的图。
图25是表示第3变形例的立体图像处理装置的处理流程的图。
图26是示意性表示利用第4变形例的角度取得纵深方向的运算区域范围的样子的图。
图27是表示根据第5变形例的4台照相机的4眼式照相机配置的图。
图28是表示第6变形例的临时照相机和真实照相机的位置关系的图。
图29是表示第7变形例的立体图像处理装置的构成的图。
图30是表示第9变形例的立体图像处理装置的处理流程的图。
具体实施方式
以下所示的实施方式1～3的立体图像处理装置是以来自物体空间内所赋予的视点的视点图像为基础，生成视差图像的装置。通过将这样的图像在立体图像显示器等上放映，从而实现好像物体在眼前飞出那样刺激的3维立体图像显示。如果以赛车游戏为例，玩家使在眼前浮现并立体显示的物体、例如操作车使其在物体空间内行驶，通过和其他的玩家或计算机操作的车竞赛，从而可以享受3维游戏带来的乐趣。
进行这样的物体的立体显示时，该装置以帧为单位调整配置在物体空间内的视点的视点间隔等。所谓帧是指构成动态图像的最小单位。这样，通过以帧为单位调整视点间隔等，从而可以生成对应于物体的运动或状态的变化的视差图像，以此为基础实现最适当的立体显示。
这样，当每帧生成视差图像时，视差赋予过多成为问题，有给立体图像的观察者(以下，简称为“使用者”)带来轻微的不快感的情况。因此，该装置根据使用者的指示来进行视差的适当化。
图1示意性表示与屏幕面210对应的基本表现空间T。在此，基本表现空间T是使用者10认识正确视差的空间。也就是说，当在前方基本表现空间面12的前方或者后方基本表示空间面14的后方存在物体时，对于此物体，使用者会产生生理上的不舒服感觉。因此，实施方式的立体图像处理装置在基本表示空间T内立体地显示物体。基本表现空间T的范围由使用者设定。
(实施方式1)
在此，叙述实施方式1的概要。在实施方式1中，在物体空间内暂时配置1个照相机等视点。通过这样暂时配置的照相机(以下，简称为“临时照相机”)取得应当立体显示的物体的纵深方向的运算区域范围。当取得该纵深方向的运算区域的范围时，该装置采用所谓Z缓冲法的公知的背面消除算法。在此，所谓Z缓冲法是指当以每像素存储物体的Z值时，如果在Z轴上有离视点近的Z值，将该Z值覆写在已经存储的Z值上的方法。这样，通过对每像素在存储的Z值中求出最大的Z值(以下，简称为“最大Z值”)以及最小的Z值(以下，简称为“最小Z值”)，来特定纵深方向的运算区域的范围。在实施方式中，取得以X轴方向的线段以及Y轴方向的线段划分区间的像素所对应的位置的物体的Z值。
图2示意性表示由临时照相机16特定的运算区域R1以及背面区域R2。在物体空间中配置有临时照相机16、第1物体22a以及第2物体22b。运算区域R1是成为求出生成视差图像的后述的真实照相机的照相机参数的运算对象的区域，典型地，运算区域R1对应于应当立体显示的物体的可视面存在的区域。如前所述，通过对每个像素求出存储的Z值中最大Z值以及最小Z值，来特定纵深方向的运算区域R1的范围。另一方面，背面区域R2是从求出后述的真实照相机的照相机参数的运算的对象中被除外的区域，典型地，背面区域R2从临时照相机等视点看来位于运算区域R1的后方的、隐藏在可视面背后的物体的非可视面所存在的区域。在此，将第1物体22a以及第2物体22b统称为物体22。由临时照相机16利用Z缓冲法取得纵深方向的运算区域的范围的结果，运算区域R1的最前方运算区域面18的纵深由最小Z值、最后方运算区域面20的纵深由最大Z值来分别特定。背面区域R2是由上述的Z缓冲法消除背面的区域。
该装置以这样求出的最大Z值以及最小Z值为基础，决定用于取得视差图像的几台、例如2台照相机(以下，简称为“真实照相机”)的配置场所，将这2台真实照相机分别配置在物体空间内不同的位置上。此时，以使前面暂时配置的临时照相机变为中心的方式配置2台真实照相机。进一步，在进行这种2台真实照相机的配置决定时，该装置也调整使用者的正确视差。
这样，该装置配置2台真实照相机，对于应当立体显示的物体，对每个真实照相机进行后述的投影处理，取得视点图像，生成视差图像。图3表示实施方式1的立体图像处理装置实现的物体22的立体显示的样子。和图1相同的元素采用相同的符号，并适当省略其说明。如图所示，进行立体显示，以使在基本表现空间T的前方基本表现空间面12以及后方基本表现空间面14的纵深方向的范围内包括了前面求出的运算区域。
如上所述，该装置按每帧生成上述视差图像。当真实照相机的配置数多时，例如，当用于生成视差图像的运算量多时，为了使由临时照相机取得Z值的时间缩短，进行以下这样的处理也可以。
1)以比每个真实照相机的视点图像的分辨率还低的分辨率取得Z值。
2)与应当立体显示的图像相对应，而且利用由较少的数据量构成的物体取得Z值。
这种情况下，准备取得Z值用的另外的物体空间，在其物体空间内配置该物体，取得Z值也可以。
图4表示实施方式1的立体图像处理装置100的构成。该装置以对应于不同视点的多个视点图像为基础，立体显示图像。该立体图像处理装置100包括：以使用者对立体显示的图像的应答为基础，调整立体感的立体感调整部112；保存由立体感调整部112特定的正确视差的视差信息保存部120；从视差信息保存部120读取正确视差，由三维数据生成具有正确视差的视差图像的视差控制部114；取得显示装置的硬件信息，另外具有取得立体显示方式的功能的信息取得部118；以由信息取得部118取得的信息为基础，变更由视差控制部114生成的视差图像的形式的格式变换部116。在这里，所谓硬件信息是指包括例如显示装置本身的硬件相关的信息以及使用者和显示装置的距离等要素的信息。向立体图像处理装置100中输入用于描绘物体和空间的三维数据。三维数据例如是在世界坐标系中描述的物体以及空间的数据。
以上的构成在硬件上可以由任意的计算机CPU、存储器、其它的LSI来实现，在软件上可以由具有GUI功能、视差控制功能等其它功能的程序等来实现，在这里描述了由这些共同实现的功能块。即，这些功能块可以只由硬件、只由软件、或者由这些的组合的各种形式来实现，这是本领域的技术人员能理解的，对于以后的构成也是同样的。
立体感调整部112具有指示取得部122和视差特定部124。指示取得部122在使用者对立体显示的图像指示正确视差的范围时，取得该指示。视差特定部124以此范围为基础，特定使用者利用了该显示装置时的正确视差。正确视差以不依赖于显示装置的硬件的表现形式表示。通过实现正确视差，从而适合于使用者的生理的立体观察成为可能。这种由使用者进行的正确视差范围特定是由图中未示出的GUI(图形用户界面)来实现的，其详细内容后面叙述。
视差控制部114包括：以三维数据为基础，在假想空间内定义物体的物体定义部128；在物体空间内暂时配置临时照相机的照相机临时配置部130；以由照相机临时配置部130暂时配置的临时照相机为基准，将在世界坐标系上定义的坐标变换为透视坐标系的坐标变换部132；在由坐标变换部132进行坐标变换时，利用Z缓冲法取得Z值的Z值取得部134；根据由Z值取得部134取得的Z值以及视差信息保存部120保存的正确视差，计算照相机间隔等照相机参数，基于此，在物体空间内配置2台真实照相机的照相机配置决定部136；使真实照相机以成为照相机坐标系的原点的方式移动的原点移动部138；进行后述的投影处理的投影处理部140；投影处理后，进行向屏幕坐标系的变换处理，生成视点图像的视点图像生成部141；和以生成的多个视点图像为基础，生成视差图像的视差图像生成部142。照相机配置决定部136在实施方式中配置2台照相机，但也可以配置2台以上台数的真实照相机。视差控制部114所包括的各构成部的详细内容后面叙述。
信息取得部118由使用者的输入取得例如立体显示的视点数、空间分割或者时间分割等立体显示装置的方式、是否使用了快门眼镜、多眼式情况下的视点图像的排列方式、在视差图像中是否有视差翻转的视点图像的排列、磁头跟踪的结果等。还有，只有磁头跟踪的结果例外地经由图中未示出的路径直接被输入照相机配置决定部136中，在此被处理。
由使用者特定正确视差的范围如下所述地进行。图5(a)、图5(b)表示在由立体图像处理装置100的立体感调整部112进行正确视差的特定过程中，分别显示的左眼图像200、右眼图像202。在各个图像中表示了5个黑圆点，越向上就越近置且赋予大的视差、越向下就越远置且赋予大的视差。
所谓“近置”是指在不同场所配置的2个照相机的视线即光轴的交叉位置(以下也称为“光轴交叉位置”)所处的面(以下，也称为“光轴交叉面”)的前面，赋予立体观察这样的视差的状态。所谓“远置”是指相反地，在光轴交叉面的后面赋予立体观察这样的视差的状态。近置的物体的视差越大，使用者感觉越近，远置的物体的视差越大，使用者看起来越远离。限于没有特别的限定的情况下，视差在近置、远置时正负不翻转，同时定义为非负的值，在光轴交叉面上近置视差、远置视差都为零。
图6示意性表示在屏幕面210上显示这5个黑圆点时，使用者10感知到的距离感。在同图中，视差以不同的5个黑圆点同时/或者按顺序地被显示，是否为可以允许的视差由使用者10输入。另一方面，在图7中，向屏幕面210的显示本身由1个黑圆点进行，其视差连续地变更。当在远置和近置各自的方向上达到允许界限时，通过进行来自使用者10的规定的输入指示，从而可以决定可允许的视差。指示利用通常的按键操作、鼠标操作、声音的输入等来进行，其自身利用公知的技术即可。
另外，视差的决定利用更简单的方法进行也可以。同样地，基本表现空间的设定范围的决定也可以通过简单的方法来进行。图8表示简单地决定视差以及基本表现空间时所利用的表。基本表现空间的设定范围从增多近置空间侧的设定开始到只有远置空间侧的设定为止，被分为A～D的4段级，进一步，各自的视差也被分为1～5为止的5段级。在这里，例如，喜好最强的立体感，喜好最具飞出感的立体显示的情况下，使段级为5A。然后，并非必须在确认立体显示的同时决定段级，也可以只通过决定段级的按钮显示。在其附近有立体感确认用的按钮，通过按下此按钮，显示确认立体感的图像也可以。
图6、图7的任何一个都是指示取得部122可以将正确视差作为范围取得，决定在其近置的一侧以及远置的一侧的界限视差。近置侧的最大视差是在与自己最近的位置上能看到的点所允许的近度所对应的视差，远置侧的最大视差是与自己最远的位置能看到的点所允许的远度所对应的视差。只是，一般地，由于使用者生理上的问题，应当注意近置最大视差的情况居多，以下，也有只将近置的最大视差称为界限视差的情况。
在此，叙述视差控制部114具有的各个构成部的详细内容。物体定义部128基于输入的三维数据，在假想空间内定义物体。图9表示在世界坐标系中配置了第1物体22a以及第2物体22b的状态。图10表示在第1物体22a中设定了模型坐标系的样子。同样地，在第2物体22b中也设定其它的模型坐标系。通常以使物体22的中心成为原点的方式设定模型坐标系。
照相机临时配置部130在图9的世界坐标系的假想空间内暂时地配置1个临时照相机。该临时照相机是为了取得物体空间内的运算区域的纵深方向的范围而配置的。如上所述，该运算区域是临时照相机可以看见的可视面存在的区域，也就是说，是应当进行立体显示的区域。另一方面，背面区域对于临时照相机来说，是在运算区域的后方，隐藏在可视面的背后，是临时照相机不能看见的非可视面存在的区域。也就是说，背面区域是不进行立体显示的区域。如前所述，在实施方式中，纵深方向的运算区域范围是利用Z缓冲法这种已知的背面消除算法来特定的。
在实施方式1的立体图像处理装置100中，通过配置临时照相机，从而可以确定纵深方向的运算区域范围，以特定完的纵深方向的运算区域范围以及使用者的正确视差为基础，以后述的规定方法求出真实照相机的照相机参数。以这样求出的照相机参数为基础配置的真实照相机生成视点图像，以此为基础进行立体显示。由此，使用者在作为认识正确视差的空间的基本表现空间内可以实现包含刚才求出的运算区域的范围这样的立体显示。另外，在求出真实照相机的照相机参数时，通过将运算区域设定为在运算中不包括背面区域，从而可以实现在基本表现空间内不包含背面区域的立体显示。因为基本表现空间的范围是有限的，所以使用者将原来不能看见的背面区域从其空间中分离是有意义的。也就是说，通过暂时配置临时照相机，预先设定运算区域，从而可以决定真实照相机的照相机参数，以使实现在基本表现空间内包含物体这样的立体显示。
临时照相机的配置台数是1台也可以。其原因是：真实照相机是为了生成视点图像而使用的，但临时照相机只是为了取得纵深方向的运算区域的范围而使用的，临时照相机的作用仅此而已。因此，采用多台临时照相机也可以，但采用1台，能在短时间内取得划定运算区域的最大Z值以及最小Z值。
坐标变换部132将在世界坐标系总定义的坐标变换为透视坐标系。图11表示照相机坐标系。当由照相机临时配置部130从世界坐标系的任意位置开始，向任意的方向、以任意的角度布置临时照相机16时，坐标变换部132进行向照相机坐标系的变换。在这种从世界坐标系向照相机坐标系的变换中，以使临时照相机16成为照相机坐标系的原点的方式平行移动整体，进一步以使临时照相机16的视线面向Z轴的正方向的方式旋转移动。在该变换中采用了仿射变换。图12、图13表示透视坐标系。坐标变换部132首先如图12所示，将应当显示的空间在前方投影面34和后方投影面36上剪取。该前方投影面34和后方投影面36是由使用者等决定为能包括全部可视物体。剪取之后，将此取景范围如图13所示变换为正方体。在图12和图13中的处理也称为投影处理。
Z值取得部134，在由坐标变换部132进行坐标变换时，利用Z缓冲法，取得包括应当立体显示的物体的假想空间内的纵深方向的运算区域的范围。
在上述的例子中，是按每个像素取得最大Z值以及最小Z值，但Z值取得部134也可以是以比真实照相机生成的视点图像的分辨率还低的分辨率取得Z值。即，对于多个像素的集合，取得最大、最小的Z值也可以。取得的Z值的作用是用来特定物体的纵深方向的运算区域范围的，没有必要具有生成视差图像那样的分辨率。即，在这里通过使分辨率比视差图像还要降低，从而能减少用于取得Z值的数据处理量，可以实现立体显示处理全体的高速化。
Z值取得部134对应于应当立体显示的物体，而且利用由较少数据量构成的物体取得Z值也可以。成为纵深方向的运算区域范围的特定对象的物体不是实际上被立体显示的物体，不需要至此为止的正确性。如果能以一定程度的正确性确定纵深方向的运算区域的范围就足够了。即，在这里，通过利用较少数据量的物体，从而可以减少用于取得Z值的数据处理量，可以实现立体显示处理全体的高速化。此时，准备Z值取得用的其它物体空间，在其物体空间内配置该物体来取得Z值也可以。
另外，在物体的一部分或者全体具有透过部分的情况下，忽略此部分而取得Z值也可以。由此，可以实现在基本表现空间内不包含透过部分这样的立体显示。如前所述，因为基本表现空间是有限的，所以将使用者原来不能看见的物体的一部分或者全体的透过部分从其空间中分离出来是有意义的。当作为一部分或者全体是透过部分的物体位于其它物体的前方时，如果不忽略其部分而取得Z值的话，则位于透过部分的后方、本来在Z值取得时应当被反映的可视的物体在Z值取得时不能被反映。因此，如上所述，忽略透过部分来取得Z值是有意义的。
照相机配置决定部136根据由Z值取得部134取得的Z值以及在视差信息保存部120中保存的正确视差，计算照相机间隔等照相机参数，基于此，在物体空间内配置2台真实照相机。
图14至图16表示在本实施方式的立体图像处理装置中，照相机配置决定部136以Z值为基础，决定真实照相机的照相机参数为止的处理。图14是表示实现正确视差时的照相机像角、图像大小、视差的关系的图。首先，使用者通过立体感调整部112，将决定的界限视差变换为暂时配置的临时照相机的预定视角。如同图所示，近置和远置的界限视差能以像素数M、N表示，临时照相机的像角θ因为相当于显示画面的水平像素数L，所以是界限视差像素数的预定视角。近置的最大预定视角φ和远置的最大预定视角ψ以θ、M、N、L表示。
tan(φ/2)＝Mtan(θ/2)/L
tan(ψ/2)＝Ntan(θ/2)/L
这样，以由使用者赋予的界限视差为基础，决定近置的最大预定视角φ和远置的最大预定视角ψ。
接着，说明决定真实照相机的照相机参数为止的样子。图15中的基本表现空间T(其纵深也记为T)，如上所述是作为使用者实现正确视差的范围的空间，由立体感调整部112决定。在基本表现空间T的前面、与离自身最近的位置上能看见的点所允许的远近相对应的视差所相当的面开始的照相机配置面，即至视点面208为止的距离为视点距离S。在这里，基本表现空间T以及视点距离S是根据最大Z值以及最小Z值来决定的。即，对基本表现空间T设定最大Z值和最小Z值的差，对视点距离S设定最小Z值。基本表现空间T以及视点距离S基于与最大Z值接近的值或与最小Z值接近的值来决定也可以。因为基本表现空间T本来也是不要求严密性的。在本实施方式中，真实照相机是2台，距这些光轴交叉面212的视点面208的距离为D。到光轴交叉面212和前方投影面34为止的距离为A。
接着，如果将基本表现空间T内的近置以及远置的界限视差分别设为P、Q，则
E：S＝P：A
E：S+T＝Q：T-A
成立。E为真实照相机的照相机间距离。现在，作为没有赋予视差的像素的点G位于来自两照相机的光轴K2在光轴交叉面212上的交叉位置，光轴交叉面212为屏幕面的位置。产生近置最大视差P的光线K1在前方投影面34上交叉，产生远置最大视差Q的光线K3在后方投影面36上交叉。
P和Q如图14所示，利用φ、ψ，用
P＝2(S+A)tan(φ/2)
Q＝2(S+A)tan(ψ/2)
来表示，作为结果，得到
E＝2(S+A)tan(θ/2)(SM+SN+TN)/(LT)
A＝STM/(SM+SN+TN)。
如上所述，由于基本表现空间T和视点距离S是基于最大Z值和最小Z值计算的，是已知的，所以这样A以及E是自动决定的，即光轴交叉距离D和照相机间距离E是自动决定的，照相机参数确定。照相机配置决定部136如果根据这些参数来决定真实照相机的配置，则以后，对于来自各个照相机的图像，通过投影处理部140以及视点图像生成部141的处理独立进行，由视差图像生成部142可以生成并输出具有正确视差的视差图像。如上所述，E和A不包含硬件信息，能实现不依赖于硬件的表示形式。
这样，照相机配置决定部136以由Z值取得部134取得的纵深方向的运算区域的范围，也就是最大Z值以及最小Z值为基础，以使由照相机临时配置部130暂时配置的临时照相机位于中心的方式，可以在假想空间内配置2台不同的真实照相机。
原点移动部138使真实照相机以成为照相机坐标系的原点的方式移动。投影处理部140进行上述的投影处理。此时，在图12中，前方投影面34和后方投影面36的位置分别由最小Z值、最大Z值来决定也可以。图17表示屏幕坐标系。视点图像生成部141在投影处理后进行向屏幕坐标系的变换处理，生成视点图像。视差图像生成部142以生成的多个视点图像为基础生成视差图像。
图18表示实施方式1的立体图像处理装置100的处理流程。物体定义部128以输入的三维数据为基础，在假想空间内设定物体以及坐标系(S10)。照相机临时配置部130在物体空间内暂时配置1个临时照相机(S12)。坐标变换部132将在世界坐标系上定义的坐标变换为透视坐标系(S14)。Z值取得部134为了取得包含应当立体显示的物体的假想空间的纵深方向的运算区域范围，利用Z缓冲法取得Z值，求出最大Z值以及最小Z值(S16)。
照相机配置决定部136取得视差信息保存部120中保存的正确视差(S18)。照相机配置决定部136以最大Z值、最小Z值以及正确视差为基础，在物体空间内配置2台真实照相机(S20)。
原点移动部138使真实照相机以成为照相机坐标系的原点的方式移动(S22)。投影处理部140对应当立体显示的物体进行上述的投影处理(S24)，视点图像生成部141生成作为二维图像的视点图像(S26)。当没有生成照相机个数份的视点图像的情况下(S28的否)，重复原点移动以后的处理。当生成了照相机个数份的视点图像的情况下(S28的是)，视差图像生成部142以这些视点图像为基础生成视差图像(S29)，1帧内的处理结束。在继续进行下一帧的处理的情况下(S30的是)，同样地进行上述的处理。在不继续进行的情况下(S30的否)，结束处理。以上，说明了实施方式1的立体图像处理装置100的处理流程。
(第2实施方式)
在这里，叙述实施方式2的概要。在实施方式1中，是在物体空间内暂时配置临时照相机，以取得Z值，在实施方式2中，利用由真实照相机取得的Z值。图19表示实施方式2的立体图像处理装置100的构成。以下，对和实施方式1相同的构成采用相同的符号，并适当地省略其说明。在实施方式2的立体图像处理装置100中，设置有作为和图4中表示的实施方式1的立体图像处理装置100不同的构成要素的Z值读取部144、Z值写入部146、Z值保存部150。在Z值保存部150中存储由Z值取得部134取得的Z值。这样保存的Z值至少包括最大Z值以及最小Z值。
Z值读取部144读出保存在Z值保存部150中的真实照相机的Z值。该Z值是在刚才的帧中由真实照相机取得的Z值。Z值取得部134由至少1台真实照相机取得Z值也可以。对于静态的物体，在刚才的帧和当前帧之间，推断Z值没有大的变化。因此，在实施方式2中，通过将刚才的帧的Z值作为当前帧的Z值使用，从而可以减少取得Z值时的处理量，可以实现立体图像处理全体的高速化。另外，即使是动态的物体，实际上因也为刚才的帧和当前帧之间的物体的移动量并没有那么大的变化，所以对于动态的物体也能适用。
Z值读取部144综合2台以上的真实照相机的Z值也可以。所谓综合是指在每台照相机取得的各自的最大Z值以及最小Z值之中，将最大的最大Z值作为新的最大Z值，将最小的最小Z值作为新的最小Z值。通过综合，从而可以取得精度高的Z值。其结果，真实照相机可以生成有效的视差图像。Z值写入部146将由Z值取得部134取得的Z值或者如上所述综合的Z值保存在Z值保存部150中。
图20表示实施方式2中的立体图像处理装置100的处理流程。物体定义部128以输入的三维数据为基础，在假想空间内设定物体以及坐标系(S32)。照相机临时配置部130在其物体空间内配置1个临时照相机(S33)。Z值读取部144参照Z值保存部150，在保存了真实照相机的Z值的情况下(S34的是)，读出该Z值(S42)。在没有保存的情况下(S34的否)，即在立体图像处理开始时，处理第1帧的情况下，坐标变换部132将在世界坐标系上定义的坐标变换为透视坐标系(S38)。Z值取得部134为了取得包括应当立体显示的物体的假想空间的纵深方向的运算区域范围，利用Z缓冲法取得Z值，求出最大Z值以及最小Z值(S40)。
照相机配置决定部136取得保存在视差信息保存部120中的正确视差(S44)。照相机配置决定部136以最大Z值、最小Z值以及正确视差为基础，在物体空间内配置2台真实照相机(S46)。
原点移动部138使真实照相机以成为照相机坐标系的原点的方式移动(S48)。投影处理部140对应当立体显示的物体进行上述的投影处理(S49)，视点图像生成部141生成作为二维图像的视点图像(S50)。当视点图像生成时，Z值取得部134利用Z缓冲法取得真实照相机的Z值(S52)。Z值写入部146将取得的Z值写入Z值保存部150(S54)。当没有生成照相机个数份的视点图像的情况下(S56的否)，重复原点移动以后的处理。在生成了照相机个数份的视点图像的情况下(S56的是)，视差图像生成部142以这些视点图像为基础，生成视差图像(S57)，结束1帧的处理。在继续下一帧的情况下(S58的是)，接着在下一帧中进行视差图像生成处理。在不继续的情况下(S58的否)，结束视差图像生成处理。以上，说明了实施方式2的立体图像处理装置100的处理流程。
(第3实施方式)
在这里，叙述实施方式3的概要。实施方式2对于静态的物体是特别有效的，但例如物体突然在照相机的视野范围内入帧时或该立体图像处理装置检测出场景变化时，因为运算区域的范围急剧地产生变化，所以将刚才的帧中取得的Z值作为当前帧的Z值使用是不正确的。在这种情况下，该立体图像处理装置不是利用刚才的Z值设定照相机参数，而是通过将生成具有比在刚才帧中生成的视差图像还要弱的视差的视差图像这样的照相机参数适用于真实照相机中，来进行对应的。
图21表示实施方式3的立体图像处理装置100的构成。以下，对和实施方式2相同的构成采用相同的符号，并适当地省略其说明。在实施方式3的立体图像处理装置100中，作为和在图19中表示的实施方式2的立体图像处理装置100不同的构成要素，设置有Z值判断部190、照相机参数保存部152。图21中的照相机配置决定部136和图19中的照相机配置决定部136相比，进一步包括将配置真实照相机时的照相机参数按每帧保存在照相机参数保存部152中的功能。
Z值使用判断部190判断是否使用Z值，当判断为不使用时，通知视差控制部114，Z值不可使用。Z值使用判断部190包括场景判断部192以及物体检测部194。
场景判断部192通过运动向量等公知的运动检测方法，检测物体的运动状态。这样检测的结果，当判断为运动多的状态时，检测场景变化。此时，通知视差控制部114，Z值不可使用。
物体检测部194检测其它的物体进入物体空间中。其检测方法是当最大Z值和最小Z值的差瞬间超过规定值的情况下，通知视差控制部114，Z值不可使用。
当由Z值使用判断部190指示Z值不可使用时，照相机配置决定部136配置真实照相机，以便生成具有比在前帧中生成的视差图像还要弱的视差的视差图像。此时，照相机配置决定部136参照照相机参数保存部152，设定比上次使用的照相机间隔还要小的照相机间隔。照相机配置可以决定部136参照照相机参数保存部152，选择使用实现最小的照相机间隔的照相机参数进行配置。另外，使用预先指定的照相机参数进行配置也可以。
当运算区域的范围有急剧变化时，和在刚才的帧生成的视差图像相比，有生成视差的变化大的视差图像的情况。当观察这样的视差图像时，使用者有时会感到不舒服。特别是，当生成视差过强的视差图像时，这个问题变得更显著。为了避免这个问题，在实施方式3中的立体图像处理装置中生成实现比在刚才帧中生成的视差图像还要弱的视差的视差图像。由此，可以抑制立体显示时的急剧的视差变动，可以减轻对使用者的立体视觉的影响。
图22表示实施方式3的立体图像处理装置100的处理流程。由物体定义部128在假想空间内设定物体以及坐标系(S32)之后，照相机临时配置部130在此物体空间内配置1个临时照相机(S33)。Z值使用判断部190判断是否使用Z值，当判断为使用Z值时(S60的是)，Z值读取部144参照Z值保存部150(S34)。当判断为不使用Z值(S60的否)，或者没有保存真实照相机的Z值的情况下(S34的否)，照相机配置决定部136参照照相机参数保存部152，取得包括比上次使用的照相机间隔还要小的照相机间隔的照相机参数(S64)。在这里，在立体图像处理开始、处理第1帧时，照相机配置决定部136使用预先指定的照相机参数也可以。
Z值读取部144参照Z值保存部150，当保存了真实照相机的Z值的情况下(S34的是)，读取此Z值(S42)，跳过从照相机参数保存部152的照相机参数的取得。照相机配置决定部136取得在视差信息保存部120中保存的正确视差(S44)。如果存在取得的照相机参数，则照相机配置决定部136以此照相机参数为基础，如果不存在取得的照相机参数，则以最大Z值、最小Z值以及正确视差为基础，在物体空间内配置2台真实照相机(S46)。
照相机配置决定部136将配置决定后的照相机参数保存在照相机参数保存部152中(S66)。原点移动部138使真实照相机以成为照相机坐标系的原点的方式进行移动(S48)。投影处理部140对应当立体显示的物体进行上述的投影处理(S49)。视点图像生成部141生成作为二维图像的视点图像(S50)。在视点图像生成时，Z值取得部134利用Z缓冲法取得真实照相机的Z值(S52)。Z值写入部146将取得的Z值写入Z值保存部150(S54)。当没有生成照相机个数份的视点图像的情况下(S56的否)，重复原点移动以后的处理。
当生成了照相机个数份的视点图像的情况下(S56的是)，视差图像生成部142以这些视差图像为基础生成视差图像(S57)，1帧的处理结束。当继续下一帧的情况下(S58的是)，接着在下一帧进行视差图像生成处理。在不继续的情况下(S58的否)，结束视差图像生成处理。以上，说明了实施方式3的立体图像处理装置100的处理流程。
对本发明和实施方式的构成的对应进行了示例。“纵深值取得部”对应于Z值取得部134，“视点配置部”对应于照相机配置决定部136，“视差图像生成部”对应于视差图像生成部142，“视点临时配置部”对应于照相机临时配置部130，“纵深值使用判断部”对应于Z值使用判断部190。
以上以实施方式为基础说明了本发明。该实施方式只是示例，对于这些各构成要素和各种处理过程的组合各种变形例是可能的，另外，这种变形例也属于本发明的范围，这些都是被本领域的技术人员所理解的。
(第1变形例)
在实施方式1中，设置临时照相机的理由如上所述，是为了取得决定真实照相机的配置场所的Z值，并不是为了生成视差图像。另一方面，第1变形例中的临时照相机在取得Z值的同时，可以生成成为视差图像的基础的1个视点图像。
图23表示第1变形例的立体图像处理装置100的构成。以下，对和实施方式1相同的构成采用相同的符号，并适当省略其说明。在第1变形例的立体图像处理装置100中，从图4所示的实施方式1的立体图像处理装置100中除去坐标变换部132，新设置了临时照相机原点移动部135、临时照相机投影处理部137以及临时照相机视点图像生成部139。
临时照相机原点移动部135使临时照相机以成为照相机坐标系的原点的方式移动。临时照相机投影处理部137对临时照相机的应当立体显示的物体进行上述投影处理。临时照相机视点图像生成部139在由上述临时照相机进行的上述投影处理之后，进行向屏幕坐标系的变换处理，生成视点图像。如上所述，在第1变形例中，因为可以由临时照相机生成视点图像，所以视差图像生成部142除了能以由真实照相机生成的视点图像，还以由临时照相机生成的视点图像为基础，生成视差图像。
此时，照相机配置决定部136以取得的纵深方向的运算区域范围为基础，除了由照相机临时配置部130暂时配置的临时照相机之外，还以使该临时照相机成为中心的方式，在假想空间内配置2台不同的真实照相机。照相机配置决定部136使1台临时照相机以成为真实照相机群的中心的方式，在临时照相机的两个外侧方向上以等距离间隔配置偶数台真实照相机也可以。
(第2变形例)
图24是表示第2变形例的立体图像处理装置100的构成的图。第2变形例是在实施方式1的立体图像处理装置100中新设置了运算选择信息取得部160。运算选择信息取得部160取得是否包含在和每个物体相关联的运算区域范围中的运算选择信息，读取该运算选择信息。在取得了具有不包含在运算区域范围内的运算选择信息的物体时，对Z值取得部134进行：忽略该物体、从其它物体取得Z值这样的指示。由此，可以实现故意地飞出基本表现空间这样效果的物体的立体显示。另外，立体图像处理装置100内的图中未示出的CPU以使规定的物体不包含在运算区域范围内的方式对Z值取得部134进行指示也可以，使用者利用图中未示出的GUI进行指示也可以。Z值取得部134忽略由运算选择信息取得部160判断为不包括在内的物体，取得Z值。另外，运算选择信息取得部160也可以设置在实施方式2或者实施方式3的立体图像处理装置100中。
(第3变形例)
在实施方式3中，由Z值使用判断部190指示了Z值不可使用时，照相机配置决定部136配置真实照相机，以便生成具有比在刚才的帧中生成的视差图像还要弱的视差的视差图像。在第3变形例中，当有这样的指示时，视差图像生成部142生成没有视差的二维图像也可以。如上所述，使用者诉说不舒服的原因多是由于视差过强的问题，为了避免该问题，在当前帧中通过实现并非立体显示而是平面显示，从而可以减轻对使用者的立体视觉的影响。第3变形例的立体图像处理装置100的构成和实施方式3的立体图像处理装置100的构成相同。第3变形例中的临时照相机和第1变形例的情况同样，可以在取得Z值的同时生成成为视差图像的基础的1个视点图像。
图25表示第3变形例的立体图像处理装置100的处理流程。物体定义部128以输入的三维数据为基础，在假想空间内设定物体以及坐标系(S32)。照相机临时配置部130在该物体空间内配置1台临时照相机(S33)。Z值使用判断部190判断是否使用Z值，当判断为使用Z值时(S60的是)，Z值读取部144参照Z值保存部150(S34)。对于当判断为不使用Z值时(S60的否)的处理，后面叙述。由Z值使用判断部190判断为使用Z值时(S60的是)，Z值读取部144参照Z值保存部150，当保存了真实照相机的Z值的情况下(S34的是)，读出该Z值(S42)。当没有保存的情况下(S34的否)，即对于在立体图像处理开始时、处理第1帧的情况，后面叙述。
照相机配置决定部136取得保存在视差信息保存部120中的正确视差(S44)。照相机配置决定部136以最大Z值、最小Z值以及正确视差为基础，在物体空间内配置2台真实照相机(S46)。
原点移动部138使真实照相机以成为照相机坐标系的原点的方式移动(S48)。投影处理部140对于应当立体显示的物体进行上述的投影处理(S49)，视点图像生成部141生成作为二维图像的视点图像(S50)。在视点图像生成时，Z值取得部134利用Z缓冲法取得真实照相机的Z值(S52)。Z值写入部146将取得的Z值写入Z值保存部150(S54)。在没有生成照相机个数份的视点图像的情况下(S56的否)，重复原点移动以后的处理。在生成了照相机个数份的视点图像的情况下(S56的是)，视差图像生成部142以这些视点图像为基础，生成视差图像(S57)，1帧的处理结束。
在Z值使用判断部190判断为不使用Z值时(S60的否)，也就是当运算取得范围有急剧变化时，或者没有保存真实照相机的Z值时(S34的否)，原点移动部138使临时照相机以成为照相机坐标系的原点的方式移动(S72)。投影处理部140对于应当立体显示的物体进行上述的投影处理(S73)。视点图像生成部141生成作为二维图像的视点图像(S74)。Z值取得部134在视点图像生成时，由临时照相机取得Z值(S76)。Z值写入部146将取得的Z值保存在Z值保存部150中(S78)。视差图像生成部142不生成视差图像，而生成没有视差的二维图像(S80)，1帧的处理结束。
当下一帧继续的情况下(S58的是)，接着进行下帧中的视差图像生成处理。当不继续的情况下(S58的否)，结束视差图像生成处理。以上，说明了第3变形例的立体图像处理装置100的处理流程。这样，通过显示由1个临时照相机得到的视点图像，从而可以实现平面显示。
(第4变形例)
图26示意性表示利用角度取得纵深方向的运算区域范围的样子。在实施方式中，是取得与以X轴方向的线段以及Y轴方向的线段划分的像素对应的位置上的物体的Z值的，但在第4变形例中，如图所示，取得第1物体22a以及第2物体22b的第1角度θ和第2角度φ对应于同一点的坐标的物体的Z值，求出最大Z值以及最小Z值也可以。此时，准备Z值取得用的其它假想空间，求出最大Z值以及最小Z值也可以。
(第5变形例)
在实施方式中，照相机配置部136以临时照相机为中心配置了2台真实照相机，但在第5变形例中，在2台不同的真实照相机的两个外侧方向上，使照相机间的间隔为2台真实照相机的距离间隔的方式，配置几台例如4台真实照相机。图27表示由4台第1～第4台照相机24a～24d构成的4眼式照相机配置。将由在更接近中央的第2台照相机24b和第3台照相机24c间决定的上述A以及E用于其它的照相机间隔也可以。由此，可以缩短用来计算决定真实照相机的场所配置的照相机参数的时间，可以实现立体图像处理全体的高速化。
(第6变形例)
在实施方式中，照相机临时配置部130是按每帧决定假想空间内的临时照相机的配置场所，但在第6变形例中，照相机临时配置部130以具有在刚才的帧中包括由照相机配置决定部136配置的真实照相机的视野范围的视野范围的方式，配置临时照相机也可以。图28表示临时照相机16和4台第1～第4真实照相机24a～24d的位置关系。如图所示，以实现包括在刚才的帧中配置的4台第1～第4真实照相机24a～24d的视野范围的视野范围的方式，配置有临时照相机16。
(第7变形例)
图29是表示第7变形例的立体图像处理装置100的构成的图。在第7变形例中，在实施方式2的立体图像处理装置100中新设置了动作预测部170以及位移量预测部172。动作预测部170检测各物体向前后方向的运动以及动作速度等，以此检测结果为基础，预测这些物体将来的运动状态。位移量预测部172以动作预测部170的预测结果为基础，预测包括这些应当立体显示的物体的规定的区域的位移量。例如，位移量预测部172通过将该位移量和刚才帧中的纵深方向的运算区域范围相加，从而可以预测当前帧中纵深方向的运算区域范围。此时，以纵深方向的运算区域范围为基础，取得Z值，作为当前帧中Z值的预测值也可以。另外，位移量预测部172可以预测实现与该位移量对应的照相机的配置这样的照相机间隔和光轴交叉位置等照相机参数。
照相机配置决定部136以根据位移量预测部172的纵深方向的运算区域范围和照相机参数的预测结果为基础，决定在假想空间内的真实照相机的配置场所。例如，当由位移量预测部172得到纵深方向的运算区域范围明显扩张的预测结果时，照相机配置决定部136以使当前帧中的真实照相机的照相机间隔缩小的方式配置真实照相机。另外，照相机配置决定部136根据位移量预测部172的纵深方向的运算区域范围的预测结果的变化，来调整真实照相机的光轴交叉位置也可以。例如，照相机配置决定部136调整光轴交叉位置，以使从运算区域的最前方的运算区域面18开始至光轴交叉位置为止的距离和从光轴交叉位置开始至运算区域的最后方的运算区域面20为止的距离的比为恒定，来配置真实照相机也可以。由此，可以实现对应于物体的运动的真实照相机配置，立体图像处理装置100可以得到精度更高的视点图像。
(第8变形例)
在实施方式3中，当由Z值使用判断部190判断为不使用Z值时，在当前帧中生成了具有比在刚才的帧中生成的视差图像还要弱的视差的视差图像。但在第8变形例中，当由Z值使用判断部190判断为不使用Z值时，Z值取得部134不使用在刚才的帧中取得的Z值，而利用在上述的投影处理的剪取时临时设定的前方投影面34和后方投影面36，取得纵深方向的运算区域的范围也可以。如上所述，前方投影面34和后方投影面36由于决定为包含了可视物体全体，所以作为包含了应当立体显示的物体的运算区域，利用在前方投影面34和后方投影面36之间所包围区域是有效的。
(第9变形例)
在实施方式3中，当由Z值使用判断部190判断为不使用Z值时，在当前帧中生成了具有比在刚才的帧中生成的视差图像还要弱的视差的视差图像。在由真实照相机生成视点图像的同时取得Z值的情况下，虽然立体图像处理相关的时间上的问题少，但在该视点图像生成时需要通过其它的机会进行Z值的取得处理的情况下，以简单的取得方法取得处理的高速化是必要的。此时，作为第9变形例，Z值取得部134以比视点图像的分辨率还要低的分辨率取得Z值也可以。如前所述，取得的Z值是用来确定物体的纵深方向的运算区域的范围，无需生成视差图像那样的分辨率。即，在这里通过使分辨率比视点图像还降低，从而能减少用于取得Z值的数据处理量，可以实现立体显示处理全体的高速化。另外，当由Z值取得部134进行的Z值取得处理到场景变化为止还不能结束的情况下，使场景变化延迟到该取得处理结束为止，也可以。
图30表示第9变形例的立体图像处理装置100的处理流程。由物体定义部128在假想空间内设定了物体以及坐标系(S32)，照相机临时配置部130在该物体空间内配置1台临时照相机(S33)。Z值使用判断部190判断是否使用Z值，当判断为使用Z值时(S60的使)，Z值读取部144参照Z值保存部150(S34)。
当判断为不使用Z值时(S60的否)，或者在Z值保存部150中没有保存Z值时(S34的否)，坐标变换部132将在世界坐标系上定义的坐标变换为透视坐标系(S38)。Z值取得部134为了取得包括应当立体显示的物体的假想空间的纵深方向的运算区域的范围，利用Z缓冲法取得Z值，求出最大Z值以及最小Z值(S40)。此时，如上所述，Z值取得部134以比视点图像的分辨率还要低的分辨率取得Z值也可以。当由Z值取得部134进行的Z值取得处理到场景变化为止还不能结束的情况下，使场景变化延迟到该取得处理结束为止，也可以。
Z值读取部144当在Z值保存部150中保存了Z值时，读出Z值(S42)。照相机配置决定部136取得保存在视差确定部124中的正确视差(S44)。照相机配置决定部136以最大Z值、最小Z值以及正确视差为基础，在物体空间内配置2台真实照相机(S46)。
原点移动部138使真实照相机以成为照相机坐标系的原点的方式移动(S48)。投影处理部140对于应当立体显示的物体进行上述投影处理(S49)。视点图像生成部141生成作为二维图像的视点图像(S50)。在视点图像生成时，Z值取得部134利用Z缓冲法取得真实照相机的Z值(S52)。Z值写入部146将取得的Z值写入Z值保存部150中(S54)。
当没有生成照相机个数份的视点图像的情况下(S56的否)，重复原点移动以后的处理。当生成了照相机个数份的视点图像的情况下(S56的是)，视差图像生成部142以这些视点图像为基础，生成视差图像(S57)，结束1帧的处理。当继续下一帧的情况下(S58的是)，接着进行下帧中的视差图像生成处理。当不继续的情况下(S58的否)，结束视差图像生成处理。以上，说明了第9变形例的立体图像处理装置100的处理流程。
(第10变形例)
在实施方式中，相对于屏幕面，在水平方向上配置了照相机，但也可以在垂直方向上配置照相机，能取得和水平方向的情况同样的效果。
(第11变形例)
在实施方式中，由Z缓冲法取得了物体的Z值，作为变形例，取得景深图(depth map)来确定纵深方向的运算区域的范围也可以。本变形例也能取得和实施方式同样的效果。
(第12变形例)
任意组合实施方式1至实施方式3的形态也是有效的。根据本变形例，得到了任意组合实施方式1至实施方式3的效果。

Claims (19)

1、一种立体图像处理装置，其中以和不同的视点对应的多个视点图像为基础，立体显示物体，其特征在于，包括：
取得包括所述应当立体显示的物体的假想空间内的纵深方向的运算区域范围的纵深值取得部；
以所述取得的纵深方向的运算区域的范围为基础，在所述假想空间内配置多个不同视点的视点配置部；和
以来自所述多个不同的视点的视点图像为基础，生成视差图像的视差图像生成部。
2、根据权利要求1所述的立体图像处理装置，其特征在于，
还包括在所述假想空间内暂时配置视点的视点临时配置部；
所述纵深值取得部基于所述暂时配置的视点，取得所述纵深方向的运算区域的范围。
3、根据权利要求2所述的立体图像处理装置，其特征在于，
所述视点临时配置部在所述假想空间内暂时配置1个视点。
4、根据权利要求2所述的立体图像处理装置，其特征在于，
所述视点临时配置部在所述假想空间内配置视点，以便具有包括由所述视点配置部配置的多个视点的视野范围的视野范围。
5、根据权利要求3所述的立体图像处理装置，其特征在于，
所述视点临时配置部在所述假想空间内配置视点，以便具有包括由所述视点配置部配置的多个视点的视野范围的视野范围。
6、根据权利要求2～5中任一项所述的立体图像处理装置，其特征在于，
所述视点配置部以由所述纵深值取得部取得的所述纵深方向的运算区域的范围为基础，除了由所述视点临时配置部暂时配置的视点之外，在所述假想空间内配置2个不同的视点，以使该视点成为中心。
7、根据权利要求6所述的立体图像处理装置，其特征在于，
所述视点配置部在所述2个不同视点的两个外侧方向上，以使视点间的距离为所述2个视点的距离间隔的方式配置多个视点。
8、根据权利要求1所述的立体图像处理装置，其特征在于，
所述纵深值取得部以比所述视点图像的分辨率还要低的分辨率取得所述纵深方向的运算区域的范围。
9、根据权利要求1所述的立体图像处理装置，其特征在于，
所述纵深值取得部对应于所述应当立体显示的物体，而且利用由较少数据量构成的物体，取得所述纵深方向的运算区域的范围。
10、根据权利要求1所述的立体图像处理装置，其特征在于，
所述纵深值取得部在由所述视点配置部配置的所述多个不同的视点之中，由至少1个视点取得所述纵深方向的运算区域的范围。
11、根据权利要求1所述的立体图像处理装置，其特征在于，
所述纵深值取得部在由所述视点配置部配置的所述多个不同视点之中，由2个以上的视点取得所述纵深方向的运算区域的范围，综合各个纵深方向的运算区域的范围，生成1个纵深方向的运算区域的范围。
12、根据权利要求10或者11所述的立体图像处理装置，其特征在于，
进一步包括判断是否使用由所述纵深值取得部取得的所述纵深方向的运算区域的范围的纵深值使用判断部；
当由所述纵深值使用判断部判断为不能使用时，所述视差图像生成部不生成视差图像，而生成没有视差的二维图像。
13、根据权利要求10或者11所述的立体图像处理装置，其特征在于，
进一步包括判断是否使用由所述纵深值取得部取得的所述纵深方向的运算区域的范围的纵深值使用判断部；
当由所述纵深值使用判断部判断为不能使用时，所述视点配置部配置所述多个不同的视点，以便生成使其具有比上次生成的视差图像还要弱的视差的视差图像。
14、根据权利要求10或者11所述的立体图像处理装置，其特征在于，
进一步包括判断是否使用由所述纵深值取得部取得的所述纵深方向的运算区域的范围的纵深值使用判断部；
当由所述纵深值使用判断部判断为不能使用时，所述纵深值取得部利用前方投影面以及后方投影面，取得所述纵深方向的运算区域的范围。
15、根据权利要求10或者11所述的立体图像处理装置，其特征在于，
进一步包括：
检测所述物体的运动状态，以该检测结果为基础，预测所述物体将来的运动状态的动作预测部；和
以由所述动作预测部预测的物体将来的运动状态为基础，预测包括所述物体的规定区域的位移量的位移量预测部；
所述视点配置部基于由所述位移量预测部预测的规定区域的位移量，在所述假想空间内配置所述多个不同的视点。
16、根据权利要求1所述的立体图像处理装置，其特征在于，
进一步包括对所述每个物体取得是否包含在所述运算区域的范围内的运算选择信息的运算选择信息取得部；
当由所述运算选择信息取得部取得了不包含在所述运算区域的范围内的运算选择信息时，所述纵深值取得部忽略不包含在运算区域内的物体，从其它的物体取得所述纵深方向的运算区域的范围。
17、根据权利要求2所述的立体图像处理装置，其特征在于，
进一步包括对所述每个物体取得是否包含在所述运算区域的范围内的运算选择信息的运算选择信息取得部；
当由所述运算选择信息取得部取得了不包含在所述运算区域的范围内的运算选择信息时，所述纵深值取得部忽略不包含在运算区域内的物体，从其它的物体取得所述纵深方向的运算区域的范围。
18、根据权利要求10或者11所述的立体图像处理装置，其特征在于，
进一步包括对所述每个物体取得是否包含在所述运算区域的范围内的运算选择信息的运算选择信息取得部；
当由所述运算选择信息取得部取得了不包含在所述运算区域的范围内的运算选择信息时，所述纵深值取得部忽略不包含在运算区域内的物体，从其它的物体取得所述纵深方向的运算区域的范围。
19、一种立体图像处理方法，其特征在于，包括：
取得包括以立体显示为目的的物体的假想空间内的纵深方向的运算区域的范围的步骤；
以所述取得的纵深方向的运算区域的范围为基础，在所述假想空间内配置多个不同的视点的步骤；和
以来自所述多个不同的视点的视点图像为基础，生成视差图像的步骤。
CNA200510055045XA 2004-03-31 2005-03-15 立体图像处理方法以及立体图像处理装置 Pending CN1678085A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004104148 2004-03-31
JP2004104148A JP2005295004A (ja) 2004-03-31 2004-03-31 立体画像処理方法および立体画像処理装置

Publications (1)

Publication Number Publication Date
CN1678085A true CN1678085A (zh) 2005-10-05

Family

ID=35050344

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200510055045XA Pending CN1678085A (zh) 2004-03-31 2005-03-15 立体图像处理方法以及立体图像处理装置

Country Status (3)

Country Link
US (1) US20050219239A1 (zh)
JP (1) JP2005295004A (zh)
CN (1) CN1678085A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923728A (zh) * 2009-06-16 2010-12-22 三星电子株式会社 将二维图像转换为三维图像的转换装置及方法
CN102111632A (zh) * 2009-12-28 2011-06-29 索尼公司 三维图像生成设备、方法和程序以及三维图像显示设备
CN102165516A (zh) * 2009-08-31 2011-08-24 松下电器产业株式会社 图像显示控制装置、图像显示控制方法及集成电路
CN101086788B (zh) * 2006-06-07 2011-12-14 三星电子株式会社 产生视差图的方法和装置及其立体匹配方法和装置
CN102349304A (zh) * 2009-03-30 2012-02-08 日本电气株式会社 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质
CN104067612A (zh) * 2012-01-04 2014-09-24 汤姆逊许可公司 3d图像序列的处理

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8698844B1 (en) * 2005-04-16 2014-04-15 Apple Inc. Processing cursor movements in a graphical user interface of a multimedia application
US7298370B1 (en) * 2005-04-16 2007-11-20 Apple Inc. Depth ordering of planes and displaying interconnects having an appearance indicating data characteristics
JP4508049B2 (ja) * 2005-09-05 2010-07-21 株式会社日立製作所 ３６０°画像撮影装置
US9098647B2 (en) 2008-03-10 2015-08-04 Apple Inc. Dynamic viewing of a three dimensional space
US8089479B2 (en) * 2008-04-11 2012-01-03 Apple Inc. Directing camera behavior in 3-D imaging system
CN102106152A (zh) * 2008-07-24 2011-06-22 皇家飞利浦电子股份有限公司 通用3-d画面格式
JP4637942B2 (ja) * 2008-09-30 2011-02-23 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
US9619917B2 (en) 2008-10-03 2017-04-11 Apple Inc. Depth of field for a camera in a media-editing application
EP2399399A1 (en) 2009-02-18 2011-12-28 Koninklijke Philips Electronics N.V. Transferring of 3d viewer metadata
JP5388032B2 (ja) * 2009-05-11 2014-01-15 独立行政法人情報通信研究機構 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム
JP5415170B2 (ja) * 2009-07-21 2014-02-12 富士フイルム株式会社 複眼撮像装置
JP2011082919A (ja) * 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011176800A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
JP2011176823A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
JP5505881B2 (ja) * 2010-02-02 2014-05-28 学校法人早稲田大学 立体映像制作装置およびプログラム
CN102193705A (zh) * 2010-03-02 2011-09-21 鸿富锦精密工业（深圳）有限公司 三维多媒体影像互动控制系统及方法
JP5227993B2 (ja) * 2010-03-31 2013-07-03 株式会社東芝 視差画像生成装置、及びその方法
JP5573379B2 (ja) * 2010-06-07 2014-08-20 ソニー株式会社 情報表示装置および表示画像制御方法
WO2011155212A1 (ja) * 2010-06-11 2011-12-15 富士フイルム株式会社 立体画像表示装置、立体撮像装置、及び方法
US8631047B2 (en) 2010-06-15 2014-01-14 Apple Inc. Editing 3D video
JP4937390B2 (ja) * 2010-08-24 2012-05-23 株式会社東芝 立体映像表示装置及び立体映像用眼鏡
US8907983B2 (en) 2010-10-07 2014-12-09 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
JP2012090094A (ja) * 2010-10-20 2012-05-10 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP5066244B2 (ja) * 2010-10-29 2012-11-07 株式会社東芝 映像再生装置及び映像再生方法
JP5594067B2 (ja) * 2010-11-02 2014-09-24 ソニー株式会社 画像処理装置および画像処理方法
US9041743B2 (en) * 2010-11-24 2015-05-26 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
WO2012071463A2 (en) 2010-11-24 2012-05-31 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
WO2012071466A2 (en) 2010-11-24 2012-05-31 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
JP5599063B2 (ja) * 2010-12-14 2014-10-01 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
JP5050094B2 (ja) * 2010-12-21 2012-10-17 株式会社東芝 映像処理装置及び映像処理方法
JP5723149B2 (ja) * 2010-12-29 2015-05-27 任天堂株式会社 画像処理システム、画像処理プログラム、画像処理方法及び画像処理装置
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
US9983685B2 (en) * 2011-01-17 2018-05-29 Mediatek Inc. Electronic apparatuses and methods for providing a man-machine interface (MMI)
US9118970B2 (en) 2011-03-02 2015-08-25 Aria Glassworks, Inc. System and method for embedding and viewing media files within a virtual and augmented reality scene
JP5664356B2 (ja) * 2011-03-09 2015-02-04 富士通株式会社 生成装置および生成方法
JP5198615B2 (ja) * 2011-03-28 2013-05-15 株式会社東芝 画像処理装置及び画像処理方法
JP5738077B2 (ja) * 2011-06-03 2015-06-17 任天堂株式会社 表示制御プログラム、表示装置、表示システム、および、表示制御方法
US9022864B2 (en) 2011-06-03 2015-05-05 Nintendo Co., Ltd. Apparatus and method for controlling objects on a stereoscopic display
JP5757790B2 (ja) * 2011-06-03 2015-07-29 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び、情報処理方法
JP2012253690A (ja) * 2011-06-06 2012-12-20 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US9392251B2 (en) * 2011-12-29 2016-07-12 Samsung Electronics Co., Ltd. Display apparatus, glasses apparatus and method for controlling depth
US9286723B2 (en) * 2012-04-04 2016-03-15 Parag Tope Method and system of discretizing three-dimensional space and objects for two-dimensional representation of space and objects
JP6099892B2 (ja) * 2012-07-09 2017-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像表示装置
US9626799B2 (en) 2012-10-02 2017-04-18 Aria Glassworks, Inc. System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10769852B2 (en) 2013-03-14 2020-09-08 Aria Glassworks, Inc. Method for simulating natural perception in virtual and augmented reality scenes
US9836879B2 (en) * 2013-04-16 2017-12-05 Autodesk, Inc. Mesh skinning technique
US10977864B2 (en) 2014-02-21 2021-04-13 Dropbox, Inc. Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
JP7102173B2 (ja) * 2018-03-09 2022-07-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7341674B2 (ja) * 2019-02-27 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764231A (en) * 1992-05-15 1998-06-09 Eastman Kodak Company Method and apparatus for creating geometric depth images using computer graphics
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
JP3579162B2 (ja) * 1995-06-29 2004-10-20 松下電器産業株式会社 立体ｃｇ画像生成装置
JPH11119303A (ja) * 1997-10-20 1999-04-30 Fujitsu Ltd 監視システム及び監視方法
US6710903B2 (en) * 1998-07-29 2004-03-23 Sony Corporation Method and apparatus for formulating image data, method and apparatus for converting image data, method and apparatus for formulating holographic stereogram, recording medium and data transmitting method
US6366370B1 (en) * 1998-12-30 2002-04-02 Zebra Imaging, Inc. Rendering methods for full parallax autostereoscopic displays
JP3634677B2 (ja) * 1999-02-19 2005-03-30 キヤノン株式会社 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体
US6771809B1 (en) * 2000-04-28 2004-08-03 Orametrix, Inc. Method and system for registering data
GB2354389A (en) * 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
JP2001128195A (ja) * 1999-10-29 2001-05-11 Atr Ningen Joho Tsushin Kenkyusho:Kk 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体
US7307652B2 (en) * 2000-03-10 2007-12-11 Sensormatic Electronics Corporation Method and apparatus for object tracking and detection
JP2002008040A (ja) * 2000-06-16 2002-01-11 Matsushita Electric Ind Co Ltd 三次元情報検出装置及び三次元情報検出方法
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
WO2002037856A1 (en) * 2000-11-06 2002-05-10 Dynapel Systems, Inc. Surveillance video camera enhancement system
US6573912B1 (en) * 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
WO2002065763A2 (en) * 2001-02-12 2002-08-22 Carnegie Mellon University System and method for manipulating the point of interest in a sequence of images
JP4075418B2 (ja) * 2002-03-15 2008-04-16 ソニー株式会社 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム
JP3857988B2 (ja) * 2002-03-27 2006-12-13 三洋電機株式会社 立体画像処理方法および装置
US6853398B2 (en) * 2002-06-21 2005-02-08 Hewlett-Packard Development Company, L.P. Method and system for real-time video communication within a virtual environment
US7466336B2 (en) * 2002-09-05 2008-12-16 Eastman Kodak Company Camera and method for composing multi-perspective images
JP4228646B2 (ja) * 2002-10-02 2009-02-25 株式会社セガ 立体視画像生成方法および立体視画像生成装置
US7251346B2 (en) * 2002-11-19 2007-07-31 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
WO2004049736A1 (en) * 2002-11-21 2004-06-10 Vision Iii Imaging, Inc. Critical alignment of parallax images for autostereoscopic display
GB2413720B (en) * 2003-03-14 2006-08-02 British Broadcasting Corp Video processing
EP1646006B1 (en) * 2003-07-11 2010-03-10 Toyota Jidosha Kabushiki Kaisha Image processing device, image processing method, image processing program, and recording medium
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7376250B2 (en) * 2004-01-05 2008-05-20 Honda Motor Co., Ltd. Apparatus, method and program for moving object detection

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101086788B (zh) * 2006-06-07 2011-12-14 三星电子株式会社 产生视差图的方法和装置及其立体匹配方法和装置
CN102349304A (zh) * 2009-03-30 2012-02-08 日本电气株式会社 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质
CN102349304B (zh) * 2009-03-30 2015-05-06 日本电气株式会社 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质
CN101923728A (zh) * 2009-06-16 2010-12-22 三星电子株式会社 将二维图像转换为三维图像的转换装置及方法
CN102165516A (zh) * 2009-08-31 2011-08-24 松下电器产业株式会社 图像显示控制装置、图像显示控制方法及集成电路
CN102111632A (zh) * 2009-12-28 2011-06-29 索尼公司 三维图像生成设备、方法和程序以及三维图像显示设备
CN104067612A (zh) * 2012-01-04 2014-09-24 汤姆逊许可公司 3d图像序列的处理

Also Published As

Publication number Publication date
US20050219239A1 (en) 2005-10-06
JP2005295004A (ja) 2005-10-20

Similar Documents

Publication Publication Date Title
CN1678085A (zh) 立体图像处理方法以及立体图像处理装置
US9041774B2 (en) Dynamic adjustment of predetermined three-dimensional video settings based on scene content
US8514225B2 (en) Scaling pixel depth values of user-controlled virtual object in three-dimensional scene
CN1173296C (zh) 改进的图像转换和编码技术
CN1219402C (zh) 全方位影像输出方法和装置
CN1665313A (zh) 产生图像的装置和方法
CN1295658C (zh) 图象显示系统
US8750599B2 (en) Stereoscopic image processing method and apparatus
US8577127B2 (en) Method and apparatus for processing three-dimensional images
CN1132122C (zh) 图像处理方法及图像处理装置
CN1278349A (zh) 图像处理方法和装置
CN105894567B (zh) 放缩三维场景中的用户控制的虚拟对象的像素深度值
CN1701595A (zh) 图象摄影处理方法及图象摄影装置
Sun et al. Evaluating methods for controlling depth perception in stereoscopic cinematography
CN1696978A (zh) 立体图像处理方法及立体图像处理装置
JP6002043B2 (ja) 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体
CN1194705A (zh) 图像处理装置,图像处理方法,游戏机,和存储介质
CN1969589A (zh) 用于创建音频场景的设备和方法
CN1331822A (zh) 用于从顺序的2d图象数据产生3d模型的系统和方法
TW201328315A (zh) 將平面視訊轉換為立體視訊的系統
KR101717379B1 (ko) 휴먼팩터 기반의 입체영상 후보정 처리 시스템
JP2004007395A (ja) 立体画像処理方法および装置
JP2004007396A (ja) 立体画像処理方法および装置
CN1258366A (zh) 运动图象再生质量控制装置及其控制方法
JP5429911B2 (ja) 立体映像のデジタル映画に於ける最適な動き再生のための方法と装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication