CN101115168A - 产生虚拟图像和真实图像的合成图像 - Google Patents

产生虚拟图像和真实图像的合成图像 Download PDF

Info

Publication number
CN101115168A
CN101115168A CN 200710136767 CN200710136767A CN101115168A CN 101115168 A CN101115168 A CN 101115168A CN 200710136767 CN200710136767 CN 200710136767 CN 200710136767 A CN200710136767 A CN 200710136767A CN 101115168 A CN101115168 A CN 101115168A
Authority
CN
China
Prior art keywords
image
light source
real space
source information
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200710136767
Other languages
English (en)
Other versions
CN100534158C (zh
Inventor
富手要
大岛登志一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101115168A publication Critical patent/CN101115168A/zh
Application granted granted Critical
Publication of CN100534158C publication Critical patent/CN100534158C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Abstract

一种合成真实空间图像与虚拟图像的方法，包括：使一个成像单元捕获一个真实空间的图像；根据所捕获的真实空间中的多个真实图像产生一个覆盖预定空间的图像；根据所产生的图像提取光源的位置信息；并根据所提取的光源的位置信息对该虚拟图像增加一个光源或阴影。

Description

产生虚拟图像和真实图像的合成图像
技术领域
本发明涉及产生真实图像和虚拟图像的合成图像如计算机图形图像(CG图像)的方法、装置和程序。
背景技术
一种被称为混合实境(MR)的技术提供包括混合了真实空间图像(即背景)的CG图像的混合的真实性，根据该技术，用户能够感觉好像一个虚拟的对象存在于真实的空间中。该MR技术可用于通信、交通、娱乐及其他各种工业领域。
为了平滑合成虚拟空间和真实空间的处理并防止用户感觉到任何不协调，在MR技术中以下的一致性是所希望的：
(1)在保持正确的空间关系的同时混合真实空间的对象和虚拟空间的对象的几何一致性；
(2)自然混合真实空间的光源和虚拟空间的光源的光学一致性；
(3)均衡真实空间的时间和虚拟空间的时间的时间一致性。
为了实现这些一致性，非常重要的是要正确识别真实空间的信息和状态并且准确地将该真实空间的信息输入到虚拟空间。
已经提出了各种常规系统用来解决光学一致性的问题(即上述一致性中的一种)。
文献1(I.Sato，y.Sato，and K.Ikeuchi，“Acquiring a radiancedistribution to superimpose virtual objects onto a real scene”，IEEETransactions on Visualization and Computer Graphics，Vol.5，No.1，PP.1-12，January-March 1999)中讨论的系统通过一个鱼眼摄像机获得了一种真实空间的全向图像，根据所获得的全向图像来估计真实环境中的光源的位置信息，并将该估计的光源的位置信息反映在一个虚拟空间中。
另外，文献2(M.Kanbara，T.Iwao，and N.Yokoya，“ShadowRepresentation for Augmented Reality by Dynamic Shadow MapMethod”，a lecture memoir for an image recognition andcomprehension symposium(MIRU 2005)，PP.297-304，July 2005)中讨论的系统实现了根据一个三维标记器对光源环境(真实世界的光源位置)的实时估计，该标记器结合了一个二维方形标记器和放置在该标记器中央的一个镜面球，该系统还根据该估计的位置来布置虚拟光源。
根据文献2，该系统根据二维方形标记的位置和方向计算出观察点和虚拟对象间的相对位置。然后，为了估计一个光源环境，该系统使得安装在一个视频观察头戴显示器(HMD)上的摄像机能够根据所计算的相对位置捕获反映在该镜面球(即镜面球的高亮区域)中的该真实环境的光源。
文献1中讨论的系统可以在单次图像捕获操作中获得真实环境的光源信息。但是，该系统不能响应于照明环境的变化执行光源环境的实时估计，也不能反映虚拟空间中的照明环境的变化。
文献2中讨论的系统执行对光源信息的实时估计，也能反映虚拟环境的估计结果。但是，用户需要持续地捕获视野中的二维标记器，还需要事先预备复杂的标记器(即包括二维标记器和镜面球的三维标记器)。
发明内容
人们希望响应于环境光源的变化产生一种真实空间图像和虚拟图像的合成图像，而无需使用特殊的设备，如包括一个镜面球的三维标记。
如权利要求1至9所述，本发明的第一方面提供了一种产生合成图像的方法，其中真实空间的图像与虚拟对象的图像进行合成。
如权利要求10所述，本发明的第二方面提供了一种产生合成图像的装置，其中真实空间的图像与虚拟对象的图像进行合成。本发明的第三方面提供了一种程序，当由计算机或处理器执行时，该程序使得该计算机或处理器执行实施前述本发明的第一方面的方法。
本发明的其它特征根据下面参照附图对示例性实施例的详细描述将变得很清楚。
附图说明
构成说明书的一部分的附图，与文字描述一起，示出了本发明的一些示例性的实施例、特征及各个方面，用于解释本发明的至少一些原理。
图1是表示根据第一示例性实施方式的信息处理装置的方框图。
图2示出了根据第一示例性实施方式的该信息处理装置的概念。
图3是表示根据第一示例性实施方式的修改了的信息处理装置的方框图，该装置使用了一个标记测量器代替了位置/方向传感器。
图4示出了一个二维标记器。
图5是表示由第一示例性实施方式的信息处理装置执行的示例性处理的流程图。
图6是表示根据第二示例性实施方式的信息处理装置的方框图。
图7是表示根据第三示例性实施方式的信息处理装置的方框图。
具体实施方式
以下对示例性实施方式的描述本质上仅仅是示意性的，决不是要限制本发明及其应用或使用。
本领域普通技术人员所熟知的处理、技术、装置和系统是为了使得描述更恰当。例如，用于图像处理、数据处理及其他应用的特定电路没有详细的描述。但是构造这些对于相关领域普通技术人员熟知的这些系统以及实现这些系统的方法只是为了使得这里的披露更恰当。
应该注意的是，在整个说明书中，附图中类似的附图标记和字母代表类似的项目，因此一旦一个项目在一个附图中进行了描述，在下面的附图中将不再讨论。
下面将结合附图对示例性实施方式进行详细的描述。
第一示例性实施方式
图1是表示根据本发明的第一示例性实施方式的信息处理装置100的方框图。图2是该信息处理装置100所能提供的混合实境的概念性表示。
在图2中，用户201携带的头戴显示器(后面称为HMD)101包括一个能够获得位置和方向数据的视频摄像机。该用户201可以通过由该视频摄像机捕获的视频图像(真实图像)205观察真实空间。图2中，该信息处理装置100通过把由该视频摄像机捕获的多个真实空间图像(真实图像)205连接(如缝合)在一起可以产生一个天球(celestial sphere)206的虚拟图像。每个捕获的图像205是一个由该视频摄像机捕获的真实空间的一个图像。该天球206是一个具有无限半径的半球，可以被看作一个可以在其上投射所捕获的图像205的屏幕。
在该示例性实施方式中，信息处理装置100根据所产生的天球图像估计真实空间的光源信息。该信息处理装置100根据所估计的光源信息产生一个具有自然亮度和阴影的虚拟对象204。
信息处理装置100将所述具有如上所述设置的亮度和阴影的虚拟对象204与一个由用户201的视频摄像机捕获的桌子203(即一个真实对象)的真实图像进行合成。
HMD 101接收由信息处理装置100所产生的虚拟对象204和真实对象203的合成图像，并在其显示单元上显示该合成图像，这样用户201就可以观看该合成图像。由于所显示的合成图像中的虚拟对象具有自然的亮度和阴影，用户201可以体验到该混合的真实性，而没有任何不和谐感。
图1所示的信息处理装置100包括具有以下功能的各个单元。图1中，该信息处理装置100被连接至一个捕获真实空间图像的视频摄像机112，并且还被连接至HMD101。
根据图1的示例性设置，视频摄像机112和HMD101被彼此分开。但是，将摄像机112合并在HMD101中也是有用的，例如，如果摄像机112包括距离用户201的两只眼睛很近的一个右眼摄像机和一个左眼摄像机，这样每个摄像机就可以沿用户201的视线固定。而且，代替使用该右眼摄像机和左眼摄像机，也可以使用单目视频摄像机或者将一个视频摄像机附加在一个用户201可以手持的手持显示器(HHD)上。
在该示例性实施方式中，HMD101包括一个右眼小型显示单元和一个左眼小型显示单元。每个显示单元可以显示由视频摄像机112捕获的真实图像和由信息处理装置100产生的虚拟图像(即虚拟对象204的图像)的合成图像。因此，用户201可以观察到真实空间的图像和虚拟对象的合成图像。
虽然可以应用于由右眼视频摄像机和左眼视频摄像机捕获的一对图像，但为了简化描述，下面是应用于一个单图像的处理。
当使用一对视频摄像机(复眼摄像机)的时候，信息处理装置100对每个由视频摄像机捕获的图像进行类似的处理并产生一对合成图像。右眼显示单元和左眼显示单元合并在HMD中，并可独立地显示所产生的一对合成图像中对应的一个。
一个图像输入单元102获得由视频摄像机112捕获的真实图像。该图像输入单元102将视频摄像机112所捕获的图像信号转换为数字图像数据。该图像输入单元102例如是一个用于将图像信号转换为数字图像数据的视频捕获板。
一个位置/方向传感器103可以检测视频摄像机112的位置和方向。该位置/方向传感器103例如是一个陀螺传感器。一个位置/方向测量单元104获得该位置/方向传感器103的实时输出。该位置/方向测量单元104计算该视频摄像机112的三维位置和方向数据。
一个真实环境图像数据库管理单元105接收由图像输入单元102所提供的图像数据和由位置/方向测量单元104所提供的视频摄像机112的三维位置和方向数据。该真实环境图像数据库管理单元105根据该输入数据产生一个天球图像并保持所产生的这个天球图像。真实环境图像数据库管理单元105例如包括一个可以记录数据的硬盘。
用于产生天球图像的示例性方法下面结合图2进行描述。如图2所示，该天球206构成一个虚拟空间的一部分，其中用户201可以体验到混合的真实性。开始，该天球206具有中性的灰色。在当前的示例性实施方式中，该虚拟设置通过在一个存储装置中存储一对数据(在定义该虚拟空间的坐标系中天球上的各个位置的坐标值，和颜色信息)而产生。
该天球图像产生方法包括通过图像输入单元102连续地获得由用户201所携带的视频摄像机112捕获的图像205，该用户用该摄像机112观察四周。此外，该方法包括根据视频摄像机112的位置和方向在天球206上连续地投射图像205，如图2所示。
以这种方式，通过将该投射的图像205映射到天球206上，天球206最初没有定义的部分(即中性灰色部分)可以被连续地由相应的投射图像205所代替，这样一个完整的天球图像可以在天球206上最终形成。通过上述过程产生的天球图像可以在真实环境图像数据库管理单元105中被记录，并可被更新。
另外，在能够模拟初步确定真实空间的墙和对象的形状和布局的情况下，该天球图像产生方法可包括将所捕获的图像205映射在这样一个模拟形状上而无需使用上述天球。该模拟形状例如是一个类似房间的矩形平行六面体。类似于一个天球图像，被映射在该模拟形状上的捕获的图像205可以被记录在真实环境图像数据库管理单元105中，并可以被更新。
各种缝合技术可用于在产生一个全景图像的过程中自然地连接捕获的图像。相应地，使用这些缝合技术中的一种能够使得该装置产生一个具有所捕获的图像间的基本上无缝边界的天球图像。另外，利用所述基本上无缝的天球图像能够使得该装置改善检测光源位置的精确度并能恰当地估计光源。
光源信息估计单元106根据保存在真实环境图像数据库管理单元105中的天球图像以及视频摄像机112的三维位置和方向数据，估计真实空间中的光源信息。通常，计算机图形中的光源信息包括光源的类型以及光源的亮度、颜色、和位置/方向。
该光源的类型例如是一个平行光源、点光源或聚光灯。为了简化描述，当前示例性实施方式使用一个点光源，因为该点光源不需要计算来检测该光源的方向。因此，光源信息估计单元106除了该光源的亮度和颜色外，仅估计该光源的位置。
当前可用的计算机图形技术不可能处理无限数量的光源。因此，光源信息估计单元106访问记录在真实环境图像数据库管理单元105中的天球图像，并选择和提取有限数量的可能具有重大影响的光源。
有各种利用所产生的天球图像来估计光源的方法。当前示例型实施方式利用一种提取具有高于预定阈值的亮度值的一个区域的方法。下面描述一种示例性的计算光源的亮度、位置和颜色的方法。
关于光源的亮度，该方法包括从记录在真实环境图像数据库管理单元105中的天球图像连续提取预定数量的具有高于预定阈值的亮度值的区域(即高亮区域)，并为每个区域设置一个虚拟光源的相对亮度值，以使得所计算的亮度值的总和变得等于一个预定的亮度值。
关于光源的颜色，该方法包括将记录在真实环境图像数据库管理单元105中的图像数据分解为三个基本的颜色分量(R，G，B)，提取各个高亮区域中的像素值，计算每个区域的R，G和B颜色分量的平均值，并设置该光源的颜色。
但是，合并在HMD101中的视频摄像机112持续地获得一个真实环境。一个显示的光源颜色在色彩上可能稍微不同于真实光源的颜色。在这种情况下，用户可以在系统操作期间编辑该光源信息。
接下来，关于光源的位置，该方法包括使网格球顶的每个点(即以等间隔布置在天球上的一组点)与该天球图像相匹配，并在该网格球顶的一个最靠近该提取的高亮区中具有最高亮度值的点的点上布置一个光源。
另外，还有一种常规的方法，如基于图像的点亮(IBL)方法，其中天球的每个像素是一个点光源。相应地，至于该光源布局方法，可以根据该系统选择适当的方法。
IBL方法的一个例子在Paul E.Debevec，Rendering SyntheticObjects into Real Scenes；Bridging Traditional and Image-BasedGraphics with Global Illumination and High Dynamic RangePhotography，SIGGRAPH98，July 1998中进行了详细的讨论。因此，关于该IBL方法的详细描述被省略。
用户201所携带的HMD101包括两个摄像机，其使得用户能够观察立体图像。相应地，该方法可以包括根据由各个视频摄像机捕获的图像的高亮信息和两个视频摄像机间的距离信息执行一种立体测量，计算位于真实空间中的光源的三维信息，并在所计算的位置设置一个虚拟光源。
虽然当前示例性实施方式的光源是一个点光源，采用其它类型的光源或根据用户的指令编辑光源可能也是有用的。
计算另一种类型的光源的位置和方向的示例性方法在下面进行描述。在平行光源的情况下，该方法包括在真实空间中放置一个简单的杆状的对象，提取该对象的阴影，并根据该提取的阴影计算该光源的位置和方向。
另外，为了再现一个荧光灯或一个类似的光源，该方法包括设置一个线(或面)光源，在该线(或面)光源的边缘点和中心(或质心)位置布置点光源，并利用该点光源模拟线(或面)光源。
虚拟空间数据库108存储要被呈现在用户201的三维虚拟对象的CG模型数据。一个光源信息管理单元107根据由光源信息估计单元106所估计的光源信息管理存储在虚拟空间数据库108中的三维虚拟对象的光源信息(如亮度和阴影)。另外，用户201可以通过改变由光源信息管理单元107所管理的光源信息来改变记录在虚拟空间数据库108中的光源信息。
一个图像产生单元109产生一个要由用户201所观察的(如从观察点位置和方向)虚拟对象图像和通过图像输入单元102获得的真实空间图像的合成图像。更具体地说，该图像产生单元109根据位置/方向测量单元104计算出的位置和方向数据、包括在虚拟空间数据库108中的虚拟对象的地理信息、属性信息(颜色、质地等)以及所估计的光源信息产生一个虚拟对象图像。任何常规的技术都可以用来根据该光源信息产生一个三维虚拟对象图像。因此，关于该技术的详细描述被省略。
HMD101根据从图像产生单元109接收的合成图像数据在一个内置的显示单元上显示一个合成图像。当该合成图像被显示在HMD101上时，用户感觉好像虚拟对象204被放置在真实空间的桌子203上。
一个环境映射产生单元111利用从真实环境图像数据库管理单元105中获得的图像信息，产生一个环境映射，该映射能够在该虚拟对象204上施加伪(dummy)反射。任何常规的方法都可以用来产生一个环境映射并把该映射施加到一个虚拟对象上。下面描述一个示例性的产生环境映射的方法。
该方法包括根据对象周围反映(rendered)的环境产生一个环境映射。在当前的示例性实施方式中，该环境映射产生单元111根据由真实环境图像数据库管理单元105提供的图像执行该反映。
该环境映射产生方法可以包括获得六个(即前、后、上、下、左和右)二维图像平面来构成一个立方体。作为替代，该方法可包括面对虚拟空间中的观察点放置一个半球形的镜面球并使光被全向反射至该半球形球体以形成一个二维图像。
该环境映射的原理使得反射在反映过程中通过使用一条从光束沿视线前进的一点处的法线遇到一个对象，然后将该反射的光束与一个环境映射相交的点处的颜色替换为该对象的颜色。使用由该环境映射所得到的虚拟图像是有用的，因为可以提供给用户一个自然合成的图像。
包括一个视频捕获板的通常的计算机装置能够实现上述除视频摄像机112和HMD101之外的配置。因此，该信息处理装置以下的至少部分处理可以通过一个能够执行存储在存储器中的控制程序的中央处理单元(CPU)来实现。
接下来，根据当前示例性实施方式由信息处理装置执行的示例性处理将结合附图5的流程图进行描述。
首先，在步骤S500，CPU激活系统，获取天球206(或者任何其它适当的真实空间的模拟形状)的设置，并执行初始化。在初始化过程中，如果有一个图像组投射在该天球206上或该模拟形状上，CPU删除该图像组并且一次性地将其全部涂抹上中性的灰色，并删除记录在虚拟空间数据库108中的光源信息。
在步骤S501，CPU从位置/方向测量单元104中获取视频摄像机112的位置和方向信息。在步骤S502，图像输入单元102获取由该视频摄像机112捕获的真实图像数据。
在步骤S503，CPU根据在步骤S501和S502获得的该图像数据以及该视频摄像机位置和方向信息，产生一个围绕用户201的虚拟环境中的投影图像(即将捕获的图像投射在天球206或其它用于模拟真实环境的模型上)。CPU在该真实环境图像数据库管理单元105中记录所投射的天球图像。
以这种方式，该CPU能够通过持续地将所捕获的图像记录到该数据库中来持续更新该真实环境数据库，以存储最新的环境数据。
因此，当前的示例性实施方式能够无需使用特殊的装置如包括一个镜面球的二维标记器而建立该真实环境数据库。
位置/方向测量单元104通过传感器103执行该视频摄像机112的位置和方向的实时测量。因此，该CPU能够在获得捕获图像205的情况下检测视线方向。参考摄像机的一个已知的视角，该CPU能够沿视线方向将捕获的图像205投射在天球206上。
在步骤S504，该CPU根据在步骤S503的过程中获得的真实环境图像数据库估计光源信息(如光源的位置、色彩、和亮度)。由于该真实环境图像数据库被持续地更新，该CPU能够根据该更新的环境图像数据库估计光源信息。这样，该真实环境的实时亮度变化可以立即反映在虚拟空间的光源信息中。
在步骤S505中，CPU根据在步骤S504中估计的光源信息设置并改变记录在虚拟空间数据库108中的光源信息。
更具体的说，CPU可以通过将步骤S504中所估计的光源信息添加到虚拟空间数据库108中所记录的光源信息上，从而设置并改变该光源信息。
在步骤S506中，CPU根据在步骤S501中获得的视频摄像机的位置和方向数据、步骤S505中设置的光源信息以及记录在虚拟空间数据库中的虚拟对象信息产生一个虚拟图像。
在步骤S507中，CPU对步骤S502中获得的真实图像数据和步骤S506中产生的虚拟图像进行合成，并将所产生的合成图像输出到HMD101。
在步骤S508，CPU判断该过程是否完成。如果CPU判断该过程没有完成(步骤S508中的否)，则处理流程返回到步骤S501。在步骤S501，CPU重复上述步骤S500到S507的过程。例如，CPU可以在步骤S508根据想结束当前MR对话的用户的指令确定该过程已经结束。
另外，假设该光源环境在当前MR对话期间没有变化，该CPU可以计算一个填充率作为真实环境图像数据库管理单元105与一个该场景的天球模型或其他三维形状模型的比率。一旦填充率达到100％并且光源信息已经被估计，则CPU可以终止该光源估计过程。
此外，CPU可以连续地比较所捕获的图像和存储在真实环境图像数据库管理单元105中的图像。如果整个图像的亮度值已经大大地改变，则CPU可以确定真实空间的亮度条件已经变化，并且CPU可以重新开始该光源估计过程。
当前的示例性实施方式使用传感器的测量值来测量或估计视频摄像机112的位置和方向。但是，根据当前示例性实施方式的位置/方向测量(或估计)方法依赖于系统。因此，选择使用传感器和二维标记器的方法或仅使用二维标记器的方法可能是有用的。
图3示出了使用二维标记器的示例性图像处理装置。在图3中，一个标记器检测单元303根据由图像输入单元102所提供的图像来检测图4所示的一个二维标记器401。图4中，该二维标记器401是一个由具有Lmm长度的侧边的方形边框围绕而成的阴影区。该阴影区不同于其它标记器，并可用于识别该标记器401。
该二维标记器401是一个具有真实空间中的已知位置以及可从捕获图像中提取的已知区别特征(如颜色、形状和图样)的参考点。该标记器的细节是常规中已知的，因此它们的描述在此省略。相应地，该标记器检测单元303通过在捕获的图像范围内从该图像中搜索一个对应于二维标记器401的特征的一个区域来检测该二维标记器401。
正如通常所知的，该图像处理装置可以根据由该标记器检测单元303检测到的标记器信息(如位置、方向和标记器401在该图像中的区域)、标记器401的特征点在标记器坐标系中的位置、和视频摄像机112的摄像机参数来估计该二维标记器的位置和方向。
第二示例性实施方式
图6是表示根据第二示例性实施方式的信息处理装置的方框图。图6所示的该信息处理装置包括在根据第一示例性实施方式的信息处理装置中没有使用的光源信息估计单元601和光源信息管理单元602。图6所示的该信息处理装置不包括真实环境数据库管理单元105。
光源信息估计单元601根据由图像输入单元102所提供的图像数据以及由位置/方向测量单元104所提供的视频摄像机112的三维位置和方向数据，估计与视频摄像机112的视线方向有关的光源信息，而无需产生一个天球图像。
光源信息管理单元602累计由该光源信息估计单元601所估计的光源信息，并把所累计的光源信息记录和设置在虚拟空间数据库108中。该光源信息累计方法例如包括从光源信息中连续地选择来自高亮区域的具有更高亮度值的光源，并丢弃所有亮度值等于或小于预定亮度值的光源。
根据当前示例性实施方式的整个系统的处理过程类似于根据第一示例性实施方式的整个系统的处理，虽然根据当前示例性实施方式的整个系统的处理过程不包括图5所示的步骤S503的处理(即投射所捕获的图像的处理)。
更具体的说，当前示例性实施方式从图像输入单元所捕获的真实图像中直接估计光源信息，并在虚拟空间中设置所估计的信息，而不是根据从真实环境中捕获的图像产生天球图像。
光源信息估计单元601以下面的方式估计光源信息。如在第一实施方式中所描述的，该光源信息估计单元601可以从各种方法中选择一种适当的光源信息估计方法。
一种简单的方法例如包括从捕获的图像中提取高亮区域，在该高亮区域中检测一个具有最高亮度值的点或该高亮区域的质心点，预先假定在连接检测点和观察点的位置的方向上存在一个光源，在天球206的预测的部分布置一个点光源。
另外，在用于初步确定真实空间的墙和对象的形状和布局的模型可用的情况下，该方法包括在真实环境的模拟形状中设置一个光源。该光源信息管理单元602可以管理该布局信息。
类似于第一实施方式，当前实施方式可以根据图像输入单元102连续获得的捕获图像实现对光源的实时估计。当前实施方式的光源估计不需要在估计开始之前根据所捕获的多个真实空间的图像来产生一个完整的天球图像，因此可以减少光源信息估计所花费的时间并减轻处理的负担。
如上所述，根据当前实施方式的图像处理装置根据由HMD 101的视频摄像机112所捕获的图像来估计并累计真实环境的光源信息，并可以设置(或改变)在虚拟空间数据库108中估计并累计的光源信息。
另外，如图6所示，根据当前实施方式的图像处理装置提供了一种用于估计光源的简单结构，因为当前的实施方式不需要真实环境图像数据库管理单元105(即不需要用于管理天球图像的结构)。
第三示例性实施方式
根据第三示例性实施方式的信息处理装置使得多个用户可以体验该系统所提供的混合的真实性。
图7示出了根据当前实施方式的示例性信息处理装置。如图7所示，根据第三实施方式的该信息处理装置包括多个视频摄像机112、多个位置/方向传感器103和多个HMD101。其它结构类似于图1所示的结构。
位置/方向传感器103(i)检测视频摄像机101(i)的位置和方向。HMD(i)根据视频摄像机112(i)捕获的图像显示虚拟图像，其中i＝1，2或3。
图像输入单元102接收由多个视频摄像机112捕获的真实图像，并将所获得的图像数据发送至真实环境图像数据库管理单元105。位置/方向测量单元104从多个位置/方向传感器103接收多个视频摄像机112的三维位置和方向数据，并将所获得的数据发送至真实环境图像数据库管理单元105。
类似于第一实施方式，真实环境图像数据库管理单元105根据多个图像数据和多个视频摄像机112的三维位置和方向数据产生一个天球图像。光源信息估计单元106根据所产生的天球图像估计一个光源。
当前实施方式的整个系统的处理过程类似于图5所示的第一实施方式的处理。但是，当前实施方式的处理包括输入多个捕获的图像，根据多个捕获的图像产生一个天球图像，并为多个用户中的每个用户独立地产生一个合成图像。
根据当前实施方式的图像处理装置同时输入并处理由多个视频摄像机112捕获的多个图像。因此，当前的实施方式可以改善估计光源信息的准确性，并可以产生一个类似于真实环境的天球图像。
另外，当前实施方式使得多个用户可以使用由光源信息管理单元107管理的相同的光源信息。当前实施方式的上述结构可以应用于不包括真实环境图像数据库管理单元105的第二示例性实施方式。
第四示例性实施方式
当在第一示例性实施方式中用户正在体验MR期间真实环境的亮度条件动态发生改变时，第四示例性实施方式可以有效地改变虚拟环境的光源信息。
第四实施方式在步骤S505的处理过程中不同于图5所示的第一实施方式。在当前的实施方式中，当光源信息的亮度值或颜色值已经大大改变时(即已经改变了超过某个阈值的量，如通过阈值处理所确定的)，光源环境估计单元106在预定的变化量步长的一系列步骤中改变步骤S505的光源信息。
当步骤S505的处理过程通过步骤S508的过程被重复时，该光源环境估计单元106在一系列变化量步长的步骤中连续改变该光源信息，直到光源信息的亮度值或颜色值达到估计值。
在当前的实施方式中，该变化量步长在考虑了看上去对用户很自然的光源的亮度值或颜色值的变化量后被选择。通过执行上述过程，可以显示包括随时间逐渐改变的光源的虚拟图像。这样，该光源不会突然地改变。
第五示例性实施方式
第五示例性实施方式修改了第一实施方式以使得有限数量的光源被适当地布置在虚拟空间中。一种通常的用于根据离线反映技术表达一个线(或面)光源的方法包括在该线(或面)光源上设置点光源，并使用该点光源来模拟该线(或面)光源。
但是，实时CG反映系统不能在虚拟空间中设置无限数量的光源，因此使用有限数量的光源。
为此，如果存在任何线(或面)光源，根据第五实施方式的信息处理装置的真实环境图像数据库管理单元105在亮度值高于预定值的线(或面)光源区(即高亮区域)的特征点(如边缘点或质点)上设置点光源。
在这种情况下，在该场景中可用的光源数量是有限的。因此，在线(或面)光源的特征点上简单地设置点光源不能实现光源的有效布局。
因此，真实环境图像数据库管理单元105首先计算在整个场景中高亮区域的总的数目，然后获得不能设置光源的备选区。
更具体的说，为了确定该备选区，该真实环境图像数据库管理单元105参考一个区域和一个亮度值计算每个高亮区的属性值，并根据所计算的属性值计算优先级(即加权因子)。
例如，真实环境图像数据库管理单元105可以通过将一个亮度值乘以一个光源的高亮区域与全向真实环境的比率获得该属性值。该真实环境图像数据库管理单元105设置每个具有根据所计算的备选区的优先级被加权的亮度值的虚拟光源。
此外，如果可以设置更多数量的光源，将被设置的虚拟光源的数量可通过对该环境中具有更高优先级的光源进行加权来增加。在这种情况下，虚拟光源可被设置在面光源或线光源的特征点，如边缘点或质点(或中点)上，或者可以利用被设置为面光源或线光源的光源被设置为Voronoi域。
如上所述，根据第五示例性实施方式的信息处理装置可以根据从真实环境图像数据库管理单元105中获得的真实光源信息计算优先级(即加权因子)，并可以根据所计算的优先级有效地设置每个虚拟光源。
根据第五实施方式的系统结构将结合图1所示的方框图进行描述。根据第五实施方式的信息处理装置包括图像输入单元102，其可以输入用户能够观察的真实环境的图像。
当用户四处观看时，真实环境图像数据库管理单元105存储用于在真实环境中估计光源所需的真实图像。光源信息估计单元106估计光源信息。在这种情况下，光源信息估计单元106计算真实环境图像数据库管理单元105中的一个区域和每个高亮区域的亮度值。
光源信息估计单元106参考所计算的区域和亮度值为真实环境的每个光源分配优先级。关于设置在该场景中的虚拟光源，光源信息管理单元107根据所计算的优先级确定设置在该虚拟空间中的每个光源的亮度值。
最后，根据该光源环境的估计结果，虚拟光源信息被记录在虚拟空间数据库108中。如上所述，当前实施方式可以在虚拟空间中适当地设置有限数量的光源。
实现上述示例性实施方式功能的软件程序代码可被应用于包括各种设备的系统或装置中。该系统或装置中的计算机(或CPU或微处理器(MPU)或其它处理器如数字信号处理器(DSP))可以执行该程序以操作所述设备来实现上述示例性实施方式的功能。因此，当这些实施方式的功能或过程可通过计算机/处理器来实现时，本发明包含可安装在计算机/处理器中的程序代码。
在这种情况下，程序代码本身可以实现这些实施方式的功能。程序的等价物如果具有可比的功能也可以使用。此外，本发明包含提供程序代码给具有用于存储该程序代码的存储(或记录)介质的计算机。在这种情况下，程序的类型可以是目标代码、编译程序、OS脚本数据中的任意一种。提供该程序的存储介质可以从软盘、硬盘、光盘、磁光(MO)盘、压缩光盘ROM(CD-ROM)、CD-可记录、CD-可写磁盘、磁带、非易失性存储卡、ROM、及DVD(DVD-ROM，DVD-R)中任选其一。
提供该程序的方法包括访问一个网络如互联网并利用该网络下载该程序。例如，当互联网上的网站允许每个用户将本发明的计算机程序或具有自动安装功能的该程序的压缩文件下载至用户的硬盘或其它记录介质时，用户可以利用客户端计算机的浏览功能访问该网站。
另外，运行在计算机上的操作系统(OS)或其它应用软件可以根据程序的指令执行部分或全部实际处理过程。
另外，从存储介质中读取的程序代码可被写入配置在计算机中的一个功能扩展板的存储器中，或写入与该计算机连接的一个功能扩展单元的存储器中。在这种情况下，根据该程序的指令，该功能扩展板或功能扩展板单元上所提供的CPU可以执行部分或全部处理过程以实现上述示例性实施方式的功能。
如上所述，本发明的一个实施方式能够提供一种对真实空间图像(205)和虚拟图像进行合成的方法，包括：输入由一个成像单元112捕获的真实空间的图像(S502)；根据在所述输入步骤中输入的真实空间的多个真实图像产生一个覆盖预定空间的图像(S503)；根据所产生的图像提取光源的位置信息(S504)；根据所提取的光源的位置信息在虚拟图像上增加光源或阴影(S505，S506)。
该实施方式的方法还可包括：测量成像单元的位置和方向(S501)；根据测得的位置和方向产生一个覆盖预定空间的图像(S503)。
该实施方式的方法还可包括：根据所测量的位置和方向产生一个虚拟图像(S506)；对所产生的虚拟图像增加阴影(S505，S506)。
本发明的另一实施方式可以提供一种产生真实空间图像(205)和虚拟图像的合成图像的方法，包括：获取由成像装置捕获的真实空间的图像(S502)；获取该成像装置的位置和方向信息(S501)；根据所捕获的图像和该位置和方向信息计算真实空间的光源信息(S504)；根据所计算的光源信息更新存储单元中存储的光源信息(S505)；并根据该存储的光源信息和该位置和方向信息产生一个虚拟图像(S506)。
在这个实施方式中，成像装置的位置和方向信息最好从与该成像装置相连接的位置/方向传感器获得。这避免了使用特殊装置如包括一个镜面球的三维标记器来获取位置和方向信息的需要。
在这个实施方式中，该方法还可包括向存储的光源信息中增加计算的光源信息(S505)。
在这个实施方式中，该方法还可包括根据所存储的光源信息和位置和方向信息产生一个反映由存储的光源信息指示的光源的虚拟图像(S506)。
在这个实施方式中，该方法还可包括：获取由多个成像单元捕获的真实空间的图像(S502)；根据所捕获的图像估计光源信息(S502)；根据估计的光源信息更新所存储的光源信息(S505)；并根据更新后的光源信息产生对应于多个成像单元的位置和方向信息的虚拟图像(S506)。
在这个实施方式中，该方法还可包括：获取真实空问的几何信息；并根据捕获的图像、位置和方向信息以及该几何信息产生光源信息(S504)。
在这个实施方式中，该方法还可包括：根据存储的光源信息和计算的光源信息产生更新后的光源信息；根据所产生的更新后的光源信息更新所存储的光源信息(S505)。
在这个实施方式中，该方法还可包括：通过对存储的光源信息和计算的光源信息进行加权计算产生更新后的光源信息(S505)。
虽然本发明已经结合示例性实施方式进行了描述，但是应该理解本发明并不仅限于这里所公开的示例性实施方式。以下权利要求的范围符合最宽的解释以包含所有的修改、等价结构和功能。

Claims (11)

1.一种提供合成图像的方法，其中一个真实空间的图像与一个虚拟对象的虚拟图像被合成，该方法包括以下步骤：
接收多个捕获图像的图像数据，所述多个捕获图像包括与该真实空间的各个不同部分有关的多个图像；
根据所接收的多个捕获图像的图像数据产生模拟图像数据，其代表覆盖该真实空间的至少一个预定部分的一个图像；
根据该模拟图像数据估计与该真实空间有关的光源信息；
根据所估计的与该真实空间有关的光源信息产生虚拟图像数据，其代表所述的虚拟图像，所述虚拟图像数据包括与该虚拟对象有关的管理光源信息；
在接收到与该真实空间的那一部分有关的新捕获的图像的图像数据之后，更新该模拟图像数据，并根据更新后的模拟图像数据更新所估计的与该真实空间有关的光源信息，并根据更新后的与该真实空间有关的光源信息更新与该虚拟对象有关的光源信息，并重新生成该虚拟图像数据。
2.如权利要求1所述的方法，还包括通过把代表该真实空间的一个期望部分的真实图像数据与所述虚拟图像数据合成而生成代表所述合成图像的合成图像数据。
3.如权利要求1所述的方法，还包括使用一个具有预定模拟形状的模型来模拟该真实空间的预定部分，所述代表多个捕获图像的模拟图像数据被投影在该模型上。
4.如权利要求1所述的方法，还包括：
使用一个图像捕获装置来获取所述的多个捕获图像；
当多个图像被捕获时，获取代表该图像捕获装置的位置和方向的位置和方向数据；
利用所获取的位置和方向数据以及所接收的多个捕获图像的图像数据产生所述模拟图像数据。
5.如权利要求4所述的方法，其中通过一个与该图像捕获装置相连接的位置/方向传感器而获得部分或全部位置和方向数据。
6.如权利要求4所述的方法，其中通过在真实空间中的一个参考位置处设置一个具有预定特征的标记器，并处理所接收的捕获图像数据以搜索捕获图像中的一个具有对应于所述标记器的预定特征的特征的区域而获得部分或全部位置和方向数据。
7.如之前任一权利要求所述的方法，还包括：
使用多个分别对应于不同用户的图像捕获装置来获取所述多个捕获图像；并且
为每个所述用户产生合成图像数据，代表该用户关注的一个合成图像，与该虚拟对象有关的光源信息被共同用来为所有的多个用户产生合成图像数据。
8.如权利要求1所述的方法，其中估计的光源信息的变化由于一系列具有预定步长的步骤而逐渐受到影响。
9.如权利要求1所述的方法，其中与该虚拟对象有关的光源信息具有有限数量的虚拟对象光源，该方法还包括：
为真实空间中的多个高亮区域中的每一个分配一个优先级；
利用高亮区域的所分配的优先级和位置为所述有限数量的虚拟光源中的每一个设置光源信息。
10.一种提供合成图像的装置，其中一个真实空间的图像与一个虚拟对象的虚拟图像被合成，该装置包括：
接收装置，用于接收多个捕获图像的图像数据，所述多个捕获图像包括与该真实空间的各个不同部分有关的图像；
模拟图像数据产生装置，用于根据所接收的多个捕获图像的图像数据产生代表覆盖该真实空间的至少一个预定部分的一个图像的模拟图像数据；
光源信息估计装置，用于根据该模拟图像数据估计与该真实空间有关的光源信息；
图像数据产生装置，用于根据该估计的与该真实空间有关的光源信息产生代表所述虚拟图像的虚拟图像数据，所述虚拟图像数据包括与该虚拟对象有关的管理光源信息；
更新装置，可操作用来在接收一个与该真实空间的那一部分有关的新捕获的图像的图像数据之后更新该模拟图像数据，并根据更新后的模拟图像数据更新与真实空间有关的所估计的光源信息，并根据更新后的与真实空间有关的光源信息更新与虚拟对象有关的光源信息，并重新生成虚拟图像数据。
11.一种程序，当在计算机或处理器中执行时，使该计算机或处理器执行如权利要求1所述的方法。
CN 200710136767 2006-07-27 2007-07-27 产生虚拟图像和真实图像的合成图像 Expired - Fee Related CN100534158C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006204845 2006-07-27
JP2006204845A JP4804256B2 (ja) 2006-07-27 2006-07-27 情報処理方法

Publications (2)

Publication Number Publication Date
CN101115168A true CN101115168A (zh) 2008-01-30
CN100534158C CN100534158C (zh) 2009-08-26

Family

ID=38695514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200710136767 Expired - Fee Related CN100534158C (zh) 2006-07-27 2007-07-27 产生虚拟图像和真实图像的合成图像

Country Status (4)

Country Link
US (1) US8933965B2 (zh)
EP (1) EP1883052B1 (zh)
JP (1) JP4804256B2 (zh)
CN (1) CN100534158C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054164A (zh) * 2009-10-27 2011-05-11 索尼公司 图像处理设备、图像处理方法和程序
CN102867169A (zh) * 2011-04-08 2013-01-09 索尼公司 图像处理设备、显示控制方法及程序
CN103018903A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 具有显示方位锁定装置的头戴式显示器及其显示方法
CN103390290A (zh) * 2012-05-10 2013-11-13 佳能株式会社 信息处理设备及信息处理方法
CN105185221A (zh) * 2015-08-12 2015-12-23 太微图影（北京）数码科技有限公司 一种天球映射方法及装置
CN106997240A (zh) * 2015-10-29 2017-08-01 爱色丽瑞士有限公司 可视化装置
CN107993278A (zh) * 2016-10-26 2018-05-04 三星电子株式会社 显示装置和显示内容的方法
CN108062933A (zh) * 2016-11-07 2018-05-22 三星电子株式会社 显示设备和显示方法

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090225001A1 (en) * 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
US20090132967A1 (en) * 2007-11-16 2009-05-21 Microsoft Corporation Linked-media narrative learning system
US8081186B2 (en) * 2007-11-16 2011-12-20 Microsoft Corporation Spatial exploration field of view preview mechanism
US8584044B2 (en) * 2007-11-16 2013-11-12 Microsoft Corporation Localized thumbnail preview of related content during spatial browsing
US7847729B2 (en) 2008-01-28 2010-12-07 Research In Motion Limited GPS pre-acquisition for geotagging digital photos
JP4941370B2 (ja) * 2008-03-18 2012-05-30 富士通株式会社 画像補正プログラム、画像補正装置および画像補正方法
US9092053B2 (en) * 2008-06-17 2015-07-28 Apple Inc. Systems and methods for adjusting a display based on the user's position
US8233530B2 (en) * 2008-10-28 2012-07-31 International Business Machines Corporation Video scene matching on return from virtual rendering in a consumer digital video recording device
JP5237066B2 (ja) * 2008-11-28 2013-07-17 キヤノン株式会社 複合現実感提示システムおよび複合現実感提示方法、プログラム
DE102009008039A1 (de) * 2008-12-23 2010-07-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeugs oder einer Kraftfahrzeugkomponente
WO2011074172A1 (ja) * 2009-12-18 2011-06-23 パナソニック株式会社 情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法
WO2011080142A1 (en) * 2009-12-21 2011-07-07 Thomson Licensing Method for generating an environment map
BR112012018511A2 (pt) * 2010-01-29 2019-06-18 Koninklijke Philps Electronics N V sistema de controle de iluminação interativa, dispositivo de entrada para um sistema, método para o controle de iluminação interativa, computador, programa de computador e veículo de registro
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2395769B1 (en) 2010-06-11 2015-03-04 Nintendo Co., Ltd. Image display program, image display system, and image display method
CA3124446C (en) 2010-07-22 2023-10-31 K-Fee System Gmbh Portion capsule having an identifier
US8547421B2 (en) * 2010-08-13 2013-10-01 Sharp Laboratories Of America, Inc. System for adaptive displays
JP2012048597A (ja) * 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
JP5739674B2 (ja) 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5646263B2 (ja) * 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP5939733B2 (ja) 2010-10-15 2016-06-22 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法
US9164581B2 (en) 2010-10-22 2015-10-20 Hewlett-Packard Development Company, L.P. Augmented reality display system and method of display
US8854802B2 (en) 2010-10-22 2014-10-07 Hewlett-Packard Development Company, L.P. Display with rotatable display screen
US9489102B2 (en) 2010-10-22 2016-11-08 Hewlett-Packard Development Company, L.P. System and method of modifying lighting in a display system
JP5757790B2 (ja) * 2011-06-03 2015-07-29 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び、情報処理方法
JP5590680B2 (ja) * 2011-06-23 2014-09-17 日本電信電話株式会社 映像合成装置、映像合成方法、および映像合成プログラム
JP2013127774A (ja) * 2011-11-16 2013-06-27 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP5865092B2 (ja) * 2012-01-26 2016-02-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5842634B2 (ja) * 2012-01-26 2016-01-13 富士通株式会社 表示方法及び表示装置
US9613461B2 (en) 2012-12-10 2017-04-04 Sony Corporation Display control apparatus, display control method, and program
US9418629B2 (en) * 2013-03-15 2016-08-16 Disney Enterprises, Inc. Optical illumination mapping
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
FR3008210B1 (fr) * 2013-07-03 2016-12-09 Snecma Procede et systeme de realite augmentee pour la supervision
KR20150008733A (ko) * 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
JP6192483B2 (ja) * 2013-10-18 2017-09-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US9600904B2 (en) * 2013-12-30 2017-03-21 Samsung Electronics Co., Ltd. Illuminating a virtual environment with camera light data
US9299194B2 (en) * 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
CN106133796B (zh) 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和系统
JP6314672B2 (ja) * 2014-06-10 2018-04-25 株式会社リコー 表示処理装置、表示処理方法、及びプログラム
US9508195B2 (en) * 2014-09-03 2016-11-29 Microsoft Technology Licensing, Llc Management of content in a 3D holographic environment
US9916681B2 (en) * 2014-11-04 2018-03-13 Atheer, Inc. Method and apparatus for selectively integrating sensory content
JP6600945B2 (ja) * 2015-01-20 2019-11-06 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US20160259404A1 (en) 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
EP3106757B1 (en) * 2015-06-19 2019-01-30 Whirlpool Corporation Oven with water feeding system
JP6441763B2 (ja) * 2015-07-31 2018-12-19 Ｎｅｃプラットフォームズ株式会社 表示装置、表示制御方法、及びそのためのプログラム
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US10909711B2 (en) 2015-12-04 2021-02-02 Magic Leap, Inc. Relocalization systems and methods
US10657724B2 (en) * 2015-12-21 2020-05-19 Thomson Licensing Key lights direction detection
US10134188B2 (en) * 2015-12-21 2018-11-20 Intel Corporation Body-centric mobile point-of-view augmented and virtual reality
JP6275362B1 (ja) * 2016-04-01 2018-02-07 株式会社ｗｉｓｅ ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等
CN106204744B (zh) * 2016-07-01 2019-01-25 西安电子科技大学 利用编码光源为标志物的增强现实三维注册方法
KR102626821B1 (ko) 2016-08-02 2024-01-18 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
JP6916460B2 (ja) * 2016-08-31 2021-08-11 カシオ計算機株式会社 オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム
US10559095B2 (en) * 2016-08-31 2020-02-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and medium
JP6687751B2 (ja) * 2016-11-01 2020-04-28 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像表示装置、その制御方法、及びプログラム
JP6171079B1 (ja) * 2016-12-22 2017-07-26 株式会社Ｃｙｇａｍｅｓ 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
US10789693B2 (en) * 2017-01-05 2020-09-29 Perfect Corp. System and method for performing pre-processing for blending images
JP6134874B1 (ja) * 2017-01-10 2017-05-24 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
TWI608735B (zh) * 2017-03-13 2017-12-11 晶睿通訊股份有限公司 影像擷取裝置及亮度調整方法
JP7009495B2 (ja) 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド 多ソース仮想コンテンツ合成を伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
JP7009494B2 (ja) 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法
US9959905B1 (en) 2017-05-05 2018-05-01 Torus Media Labs Inc. Methods and systems for 360-degree video post-production
WO2018219900A1 (en) * 2017-06-01 2018-12-06 Philips Lighting Holding B.V. A system for rendering virtual objects and a method thereof
CN107610240A (zh) * 2017-08-09 2018-01-19 广东欧珀移动通信有限公司 头像替换方法、装置和移动终端
US11127212B1 (en) 2017-08-24 2021-09-21 Sean Asher Wilens Method of projecting virtual reality imagery for augmenting real world objects and surfaces
CN107516339B (zh) * 2017-08-25 2020-06-23 联想(北京)有限公司 一种信息处理方法及信息处理装置
KR101897704B1 (ko) * 2017-09-25 2018-10-29 넷마블 주식회사 게임 서비스 제공 장치 및 방법
US11087527B2 (en) * 2017-12-01 2021-08-10 Koninklijke Kpn N.V. Selecting an omnidirectional image for display
US11232502B2 (en) 2017-12-20 2022-01-25 Signify Holding B.V. Lighting and internet of things design using augmented reality
US10937245B2 (en) 2017-12-20 2021-03-02 Signify Holding B.V. Lighting and internet of things design using augmented reality
JP6529571B1 (ja) * 2017-12-26 2019-06-12 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、およびプログラムを実行するための情報処理装置
US10976982B2 (en) * 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
JP6407460B1 (ja) * 2018-02-16 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
GB2573593B (en) * 2018-05-10 2021-11-03 Samsung Electronics Co Ltd Augmented reality rendering method and apparatus
US11694392B2 (en) * 2018-05-22 2023-07-04 Apple Inc. Environment synthesis for lighting an object
TWI669682B (zh) * 2018-05-25 2019-08-21 光寶電子（廣州）有限公司 影像處理系統及影像處理方法
JP7304934B2 (ja) 2018-07-23 2023-07-07 マジック リープ， インコーポレイテッド 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
EP3827584A4 (en) 2018-07-23 2021-09-08 Magic Leap, Inc. INTRA-FIELD SUB-CODE SYNCHRONIZATION IN SEQUENTIAL FIELD DISPLAYS
US10802281B2 (en) 2018-12-20 2020-10-13 General Electric Company Periodic lenses systems for augmented reality
JP7239362B2 (ja) * 2019-03-20 2023-03-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
JP6892904B2 (ja) * 2019-08-29 2021-06-23 株式会社スクウェア・エニックス 画像処理プログラム、及び画像処理システム
WO2021076122A1 (en) * 2019-10-16 2021-04-22 Google Llc Lighting estimation for augmented reality
JP7465133B2 (ja) 2020-03-26 2024-04-10 キヤノン株式会社 情報処理装置、情報処理方法
JP7462464B2 (ja) * 2020-04-15 2024-04-05 キヤノン株式会社 画像処理装置および方法、プログラム、記憶媒体
CN113298888A (zh) * 2020-09-08 2021-08-24 阿里巴巴集团控股有限公司 图像处理方法、装置、设备和存储介质
US11657562B2 (en) * 2021-04-19 2023-05-23 Adobe Inc. Utilizing hemispherical clamping for importance sampling of image-based light to render a virtual environment
WO2024167191A1 (ko) * 2023-02-08 2024-08-15 삼성전자주식회사 외부 광에 기반하여 가상 객체에 대한 렌더링을 수행하기 위한 웨어러블 장치 및 그 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175762A (ja) * 1997-12-08 1999-07-02 Katsushi Ikeuchi 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法
GB2336057B (en) * 1998-04-02 2002-05-08 Discreet Logic Inc Producing image data in a virtual set
JP3803950B2 (ja) * 1999-03-04 2006-08-02 株式会社リコー 画像合成処理方法、画像合成処理装置及び記録媒体
JP3486575B2 (ja) * 1999-08-31 2004-01-13 キヤノン株式会社 複合現実感提示装置およびその方法並びに記憶媒体
EP1074943A3 (en) * 1999-08-06 2004-03-24 Canon Kabushiki Kaisha Image processing method and apparatus
JP3387856B2 (ja) * 1999-08-06 2003-03-17 キヤノン株式会社 画像処理方法、画像処理装置および記憶媒体
JP2002117413A (ja) * 2000-10-10 2002-04-19 Univ Tokyo 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法
US6980697B1 (en) * 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
EP1239416A1 (en) * 2001-02-28 2002-09-11 THOMSON multimedia Method and device to calculate light sources in a scene and to generate mutual photometric effects
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
JP4393169B2 (ja) * 2003-12-04 2010-01-06 キヤノン株式会社 複合現実感提示方法および装置
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054164A (zh) * 2009-10-27 2011-05-11 索尼公司 图像处理设备、图像处理方法和程序
CN102054164B (zh) * 2009-10-27 2013-07-10 索尼公司 图像处理设备、图像处理方法和程序
CN102867169A (zh) * 2011-04-08 2013-01-09 索尼公司 图像处理设备、显示控制方法及程序
CN102867169B (zh) * 2011-04-08 2017-07-11 索尼公司 图像处理设备和显示控制方法
CN103018903A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 具有显示方位锁定装置的头戴式显示器及其显示方法
US9294682B2 (en) 2012-05-10 2016-03-22 Canon Kabushiki Kaisha Information processing device, information processing method, and program for light source estimation
CN103390290B (zh) * 2012-05-10 2016-04-27 佳能株式会社 信息处理设备及信息处理方法
CN103390290A (zh) * 2012-05-10 2013-11-13 佳能株式会社 信息处理设备及信息处理方法
CN105185221A (zh) * 2015-08-12 2015-12-23 太微图影（北京）数码科技有限公司 一种天球映射方法及装置
CN105185221B (zh) * 2015-08-12 2018-01-19 太微图影（北京）数码科技有限公司 一种天球映射方法及装置
CN106997240A (zh) * 2015-10-29 2017-08-01 爱色丽瑞士有限公司 可视化装置
CN106997240B (zh) * 2015-10-29 2020-06-09 爱色丽瑞士有限公司 可视化装置
CN107993278A (zh) * 2016-10-26 2018-05-04 三星电子株式会社 显示装置和显示内容的方法
CN107993278B (zh) * 2016-10-26 2023-08-08 三星电子株式会社 显示装置和显示内容的方法
CN108062933A (zh) * 2016-11-07 2018-05-22 三星电子株式会社 显示设备和显示方法

Also Published As

Publication number Publication date
US20080024523A1 (en) 2008-01-31
EP1883052A3 (en) 2008-08-27
EP1883052A2 (en) 2008-01-30
JP4804256B2 (ja) 2011-11-02
JP2008033531A (ja) 2008-02-14
US8933965B2 (en) 2015-01-13
EP1883052B1 (en) 2015-11-04
CN100534158C (zh) 2009-08-26

Similar Documents

Publication Publication Date Title
CN100534158C (zh) 产生虚拟图像和真实图像的合成图像
JP4880350B2 (ja) 実マーカオブジェクトを識別する拡張現実システム
Noh et al. A review on augmented reality for virtual heritage system
CN105188516B (zh) 用于增强和虚拟现实的系统与方法
Portalés et al. Photogrammetry and augmented reality for cultural heritage applications
CN110517355A (zh) 用于照明混合现实对象的环境合成
CN109643465A (zh) 用于创建混合现实环境的系统等
CN105844714A (zh) 基于增强现实的场景显示方法及系统
CN111602100A (zh) 提供替代现实环境的方法、装置和系统
CN106484115A (zh) 用于增强和虚拟现实的系统和方法
Montero et al. Designing and implementing interactive and realistic augmented reality experiences
CN105139446A (zh) 一种基于kinect的全息虚拟试衣系统
Kolivand et al. Cultural heritage in marker-less augmented reality: A survey
CN111862348A (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
Broll Augmented reality
Hughes et al. Augmenting museum experiences with mixed reality
Magnenat-Thalmann et al. Real Time Animation and Illumination in Ancient Roman Sites.
Soares et al. Designing a highly immersive interactive environment: The virtual mine
CN110634190A (zh) 一种远程摄像vr体验系统
Zhu et al. Synthesizing 360-degree live streaming for an erased background to study renovation using mixed reality
Tao A VR/AR-based display system for arts and crafts museum
CN101561935B (zh) 面向GoCAD软件的植入式三维立体显示方法
CN101482978A (zh) 面向envi/idl的植入式真三维立体渲染方法
KR102622709B1 (ko) 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치
Barrile et al. A Combined Study of Cultural Heritage in Archaeological Museums: 3D Survey and Mixed Reality. Heritage 2022, 5, 1330–1349

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090826

Termination date: 20180727

CF01 Termination of patent right due to non-payment of annual fee