CN117813629A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

本技术涉及使得能够提供高质量的渲染图像的信息处理装置、信息处理方法和程序。本发明通过渲染来生成当从由用户设置和改变的观察视点观察3D模型时的3D模型图像，当渲染时通过使用与相对于3D模型的多个特定方向中的每一个方向对应的纹理来映射3D模型，并且生成引导图像，该引导图像用于引导观察视点的方向以匹配多个特定方向中的任何方向。

Description

信息处理装置、信息处理方法和程序

技术领域

本技术涉及信息处理装置、信息处理方法和程序，并且更具体地，涉及能够提供高图像质量的渲染图像的信息处理装置、信息处理方法和程序。

背景技术

专利文献1公开了以下体积(Volumetric)技术：对对象(例如真实的人)进行成像、将对象转换成3D数据并且根据用户的视点生成对象的渲染图像。

引用列表

专利文献

专利文献1：WO 2018/150933

发明内容

本发明要解决的问题

当通过使用对象的3D数据根据用户的视点生成对象的渲染图像时，要粘贴在对象上的纹理的图像质量会影响渲染图像的图像质量。

鉴于这样的情况提出了本技术，并且本技术使得能够提供高图像质量的渲染图像。

问题的解决方案

根据本技术的信息处理装置或程序是如下信息处理装置或程序，该信息处理装置包括显示单元，该显示单元通过渲染来生成当从由用户设置和改变的观看视点观看3D模型时的该3D模型的图像，并且在渲染时使用与相对于3D模型的多个特定方向中的每一个方向对应的纹理来映射3D模型，显示单元被配置成生成引导图像，该引导图像用于引导观看视点的方向以匹配多个特定方向中的任何方向，所述程序用于使计算机用作这样的信息处理装置。

本技术的信息处理方法是由显示单元执行的信息处理方法，显示单元被包括在信息处理装置中，该方法包括：通过渲染来生成当从由用户设置和改变的观看视点观看3D模型时的3D模型的图像，并且在渲染时使用与相对于3D模型的多个特定方向中的每一个方向对应的纹理来映射3D模型；以及生成引导图像，该引导图像用于引导观看视点的方向以匹配多个特定方向中的任何方向。

在本技术的信息处理装置、信息处理方法和程序中，通过渲染来生成当从由用户设置和改变的观看视点观看3D模型时的3D模型的图像，在渲染时使用与相对于3D模型的多个特定方向中的每一个方向对应的纹理来映射3D模型，并且生成引导图像，该引导图像用于引导观看视点的方向以匹配多个特定方向中的任何方向。

附图说明

图1是示出应用本技术的信息处理系统的概要的框图。

图2是示出当获取用于生成被摄体的3D模型的图像数据时的状态的图。

图3是示出信息处理系统的处理流程的示例的流程图。

图4是用于说明网格+UV纹理的图。

图5是用于说明网格+多纹理的图。

图6是示出在将虚拟图像与真实空间的图像进行组合并显示的情况下的一般操作过程的流程图。

图7是示出在便携式终端71不具有数据量方面的问题的情况下和在便携式终端具有数据量方面的问题的情况下获取纹理的图像的成像摄像装置的布置的图。

图8是示出成像摄像装置和虚拟摄像装置彼此接近的情况以及成像摄像装置和虚拟摄像装置彼此分开的情况的图。

图9是示出在第一实施方式中的将虚拟对象的图像与真实空间的图像进行组合并显示的情况下的操作过程的流程图。

图10是示出观看引导A的图。

图11是示出观看引导A的图。

图12是示出观看引导B的图。

图13是示出图1中的显示单元的配置示例的框图。

图14是示出检测与虚拟视点最接近的成像视点的处理的图。

图15是示出在存在多个虚拟对象的情况下检测与虚拟视点最接近的成像视点的处理过程的流程图。

图16是示出虚拟/成像视点轮廓生成单元的配置示例的框图。

图17是示出观看引导控制单元的配置示例的框图。

图18是示出观看引导的显示模式1的流程图。

图19是示出观看引导的显示模式2的流程图。

图20是示出在计算机根据程序执行一系列处理的情况下的计算机的硬件的配置示例的框图。

具体实施方式

在下文中，将参照附图描述本技术的实施方式。

<信息处理系统的实施方式>

图1示出了应用本技术的信息处理系统的概要。数据获取单元11获取用于生成被摄体的3D模型的图像数据。例如，a)获取通过如图2所示被布置成围绕被摄体31的多个成像装置41(被称为成像摄像装置41)捕获的多个视点图像作为图像数据。在这种情况下，多个视点图像优选地是由多个成像摄像装置41同步捕获的图像。此外，数据获取单元11可以获取例如b)通过由一个成像摄像装置41从多个视点对被摄体31进行成像而获得的多个视点图像作为图像数据。此外，数据获取单元11可以获取例如c)被摄体31的一个捕获图像作为图像数据。在这种情况下，稍后描述的3D模型生成单元12使用例如机器学习来生成3D模型。

注意，数据获取单元11可以基于图像数据执行校准，并且获取每个成像摄像装置41的内部参数和外部参数。此外，数据获取单元11可以获取例如多条深度信息，多条深度信息指示从多个位置处的视点到被摄体31的距离。

3D模型生成单元12基于用于生成被摄体31的3D模型的图像数据来生成具有关于被摄体的三维信息的模型。3D模型生成单元12通过例如使用所谓的可视外壳(visualhull)(体积相交方法)，利用来自多个视点的图像(例如，来自多个视点的轮廓图像)刮取被摄体的三维形状，来生成被摄体的3D模型。在这种情况下，3D模型生成单元12还可以使用指示从多个位置处的视点到被摄体31的距离的多条深度信息对使用可视外壳以高精度生成的3D模型进行变形。此外，例如，3D模型生成单元12可以根据被摄体31的一个捕获图像来生成被摄体31的3D模型。通过以时间序列帧为单位生成3D模型，由3D模型生成单元12生成的3D模型也可以被称为3D模型的运动图像。此外，由于使用由成像摄像装置41捕获的图像来生成3D模型，因此3D模型也可以被称为实况3D模型。3D模型可以以例如由顶点与顶点之间的连接表示的网格数据(其被称为多边形网格)的形式来表示形状信息，该形状信息表示被摄体的面部形状。表示3D模型的方法不限于此，并且可以由通过关于点的位置信息来表示3D模型的所谓的点云表示方法来描述3D模型。

还生成颜色信息的数据作为与3D形状数据相关联的纹理。例如，存在以下情况：当从任何方向观看时颜色恒定的视图无关纹理的情况，以及颜色根据观看方向而改变的视图相关纹理的情况。

格式化单元13将由3D模型生成单元12生成的3D模型的数据转换成适合于传输和累积的格式。例如，由3D模型生成单元12生成的3D模型可以通过执行来自多个方向的透视投影被转换成多个二维图像。在这种情况下，可以使用3D模型生成深度信息，该深度信息是来自多个视点的二维深度图像。将关于二维图像的状态的深度信息和颜色信息进行压缩以输出至发送单元14。深度信息和颜色信息可以作为一个图像并排发送，或者可以作为两个单独的图像发送。在这种情况下，由于它们是二维图像数据的形式，因此可以使用诸如高级视频编码(AVC)的二维压缩技术来对它们进行压缩。

此外，例如，可以将3D模型的数据转换成点云格式。可以将该数据作为三维数据输出至发送单元14。在这种情况下，例如，可以使用MPEG中讨论的基于几何的方法的三维压缩技术。

发送单元14将格式化单元13形成的发送数据发送至接收单元15。发送单元14离线地执行数据获取单元11、3D模型生成单元12和格式化单元13的一系列处理，并且然后将发送数据发送至接收单元15。此外，发送单元14可以将根据上述一系列处理生成的发送数据实时发送至接收单元15。

接收单元15接收从发送单元14发送的发送数据。

解码单元16对由接收单元15接收到的发送数据执行解码处理，并且将接收到的发送数据解码为显示所需的3D模型数据(形状和纹理数据)。

渲染单元17使用由解码单元16解码的3D模型的数据执行渲染。例如，渲染单元17从绘制3D模型的网格的摄像装置的视点来投影3D模型的网格，并且执行纹理映射以粘贴表示颜色或图案的纹理。此时的绘制可以被任意地设置并且从自由视点观看，而与成像时的摄像装置位置无关。

例如，渲染单元17根据3D模型的网格的位置执行纹理映射以对表示网格的颜色、图案或纹理的纹理进行粘贴。纹理映射包括考虑用户的观看视点的所谓的视图相关方法以及不考虑用户的观看视点的视图无关方法。由于视图相关方法根据观看视点的位置来改变要粘贴在3D模型上的纹理，因此与视图无关方法相比，存在可以实现更高质量的渲染的优点。另一方面，视图无关方法不考虑观看视点的位置，并且因此与视图相关方法相比，存在减少处理量的优点。注意，在显示装置检测到用户的观看点(感兴趣区域)之后，观看视点数据从显示装置输入至渲染单元17。此外，渲染单元17可以采用例如公告牌渲染(billboardrendering)，该公告牌渲染用于渲染对象使得对象相对于观看视点保持竖直姿态。例如，当渲染多个对象时，渲染单元可以通过公告牌渲染对于观看者低兴趣的对象，并且通过另一渲染方法渲染其他对象。

显示单元18将由渲染单元17渲染的结果显示在显示装置的显示器上。显示装置可以是诸如头戴式显示器、空间显示器、蜂窝电话、电视、PC等的2D监视器或3D监视器。

图1中的信息处理系统1示出了从获取作为用于生成内容的材料的捕获图像的数据获取单元11到控制用户观看的显示装置的显示单元18的一系列流程。然而，这并不意味着实现本技术需要所有功能块，并且可以针对每个功能块或多个功能块的组合来实现本技术。例如，在图1中，设置发送单元14和接收单元15是为了示出通过内容数据的分发从创建内容的操作到观看内容的操作的一系列流程，但是在由相同的信息处理装置(例如，个人计算机)执行内容创建到观看的操作的情况下，不需要包括格式化单元13、发送单元14、接收单元15或解码单元16。

当实现本信息处理系统1时，同一实现者可以实现信息处理系统1的全部，或者不同的实现者可以实现各个功能块。例如，业务经营者A通过数据获取单元11、3D模型生成单元12和格式化单元13生成3D内容。然后，可以设想的是，通过业务经营者B的发送单元14(平台)分发3D内容，并且业务经营者C的显示装置执行3D内容的接收、渲染和显示控制。

此外，每个功能块可以在云上实现。例如，渲染单元17可以在显示装置中实现或者可以在服务器中实现。在这种情况下，在显示装置与服务器之间交换信息。

在图1中，数据获取单元11、3D模型生成单元12、格式化单元13、发送单元14、接收单元15、解码单元16、渲染单元17和显示单元18被共同描述为信息处理系统1。然而，当涉及两个或更多个功能块时，本说明书的信息处理系统1可以被称为信息处理系统，并且例如，在不包括显示单元18的情况下，可以将数据获取单元11、3D模型生成单元12、格式化单元13、发送单元14、接收单元15、解码单元16和渲染单元17统称为信息处理系统1。

<信息处理系统的处理的流程>

将参照图3的流程图描述信息处理系统1的处理的流程的示例。

当处理开始时，在步骤S11中，数据获取单元11获取用于生成被摄体31的3D模型的图像数据。在步骤S12中，3D模型生成单元12基于用于生成被摄体31的3D模型的图像数据，生成具有关于被摄体31的三维信息的模型。在步骤S13中，格式化单元13将由3D模型生成单元12生成的3D模型的形状和纹理数据编码成适合于传输和累积的格式。在步骤S14中，发送单元14发送编码的数据，并且在步骤S15中，接收单元15接收所发送的数据。在步骤S16中，解码单元16执行解码处理以将数据转换成显示所需的形状和纹理数据。在步骤S17中，渲染单元17使用形状和纹理数据执行渲染。在步骤S18中，显示单元18显示渲染结果。当步骤S18的处理结束时，信息处理系统的处理结束。

<第一实施方式>

将描述应用于图1的信息处理系统1的第一实施方式。注意，在以下描述中，显示装置在其上将虚拟的对象(虚拟对象)显示为内容，并且虚拟对象是如图2所示通过从多个方向对被摄体31进行成像而生成的3D模型。3D模型包括表示3D形状(表面形状)的数据和表示表面的颜色等的纹理的数据。在以下描述中，术语“3D模型”主要是指虚拟对象的3D形状，并且通过将纹理粘贴在3D模型上而生成虚拟对象。

在第一实施方式中，渲染单元17使用视图无关方法和视图相关方法中的视图相关方法作为渲染(纹理映射)方法。

视图无关方法是如下格式：在渲染时不根据用户的观看视点相对于虚拟对象的方向(也被称为观看方向或视觉识别方向)改变要粘贴至表示虚拟对象的表面形状的3D模型的纹理，并且是具有小数据量的轻量格式。作为视图无关方法，例如，已知在计算机图形(CG)中通常使用的网格+UV纹理(Mesh+UV Texture)。如图4所示，网格+UV纹理利用一个UV纹理52覆盖(纹理映射)通过建模而生成的虚拟对象的3D模型51(网格)的所有方向。网格+UV纹理数据量小，并且因此渲染负荷低，并且可以通过通常的CG软件进行处理，并且因此在技术上容易处理。另一方面，在网格+UV纹理中，由于渲染之后的虚拟对象的图像的图像质量与3D模型的精度成比例，因此需要以高精度生成3D模型来提高图像质量。

视图相关方法是如下格式：在渲染时考虑用户相对于虚拟对象的观看方向而改变要粘贴至3D模型的纹理，并且是执行高图像质量渲染的高质量格式。作为视图相关方法，例如，已知网格+多纹理(Mesh+Multi Texture)。如图5所示，当从相对于通过建模而生成的虚拟对象的3D模型51的多个不同的观看方向观看(视觉识别)3D模型51时，网格+多纹理具有附加至3D模型51的多个纹理61-n(n为1、2、3、……、N)。即，网格+多纹理具有与多个特定方向对应的纹理61-n。当从预定观看方向视觉识别3D模型51时的纹理61-n可以是例如通过成像摄像装置41从预定观看方向实际捕获图2中的被摄体31而获得的捕获图像，图2中的被摄体31是3D模型51的基础。由于纹理61-n在多个观看方向(特定方向)上，因此使用由成像摄像装置41从多个不同的成像方向实际成像的被摄体31的捕获图像(或视频)。网格+多纹理可以使用如上所述的与用户的观看方向对应的纹理来执行最佳纹理映射，并且因此，特别地，当从与准备好纹理的成像方向接近的观看方向观看虚拟对象时的渲染图像(通过渲染生成的虚拟图像)具有自然的外观。与网格+UV纹理相比，网格+多纹理的数据量更大，并且因此渲染负荷更高，并且需要特有的渲染引擎，并且因此在技术上不容易处理。另一方面，由于网格+UV纹理可以在不需要高精度的3D模型的情况下获得高图像质量的渲染图像，因此网格+UV纹理经常被使用，并且在技术上也变得容易处理。

如上所述，在第一实施方式中，使用视图相关方法(网格+多纹理)作为渲染方法。

<显示装置中的AR技术>

在第一实施方式中，例如，使用诸如智能电话或平板电脑的便携式终端(移动终端)作为包括图1中的显示单元18的显示装置。然而，显示装置不限于上述便携式终端。在便携式终端中，使用增强现实(AR)技术将上述虚拟对象虚拟地布置在真实的空间(真实空间)中，并且显示通过利用摄像装置对虚拟对象进行成像而获得的图像，即通过组合真实空间的图像和虚拟对象的图像(虚拟图像)而获得的图像。然而，可以不显示真实空间的图像，并且可以仅显示虚拟图像，并且下面将省略对显示真实空间的图像(真实空间图像和虚拟图像的组合)的详细描述。

图6是示出在显示装置(便携式终端)中通过AR技术将上述虚拟对象的图像作为内容与真实空间的图像组合并进行显示的情况下的一般操作过程的流程图。换言之，图6示出了如下情况下的操作过程：由作为用户所拥有的显示装置的便携式终端71(装置)的摄像装置对真实空间进行成像、将由摄像装置捕获的实时的真实图像(真实空间的图像)显示在显示装置(显示器)上、并且同时将虚拟对象的图像(虚拟图像)作为内容叠加并显示在真实图像上。

在步骤S101中，用户利用便携式终端71的摄像装置对布置了内容(虚拟对象)的真实空间的场所进行成像。在布置了虚拟对象的场所中，存在布置预定标记的情况和未布置标记的情况。在未布置标记的情况下，使用实际存在的对象(真实对象)作为标记来确定布置了内容的场所。

步骤S102至S104表示将标记布置在布置了内容的场所处的情况下的过程。在步骤S102中，便携式终端71将用于显示内容的标记呈现给用户。在步骤S103中，用户移动便携式终端71，以对布置了与步骤S102中呈现的标记相同的标记的场所进行成像。在步骤S104中，便携式终端71从摄像装置捕获的图像中检测在步骤S102中呈现的标记。

在步骤S106中，便携式终端71基于由摄像装置捕获的图像中的标记的位置、取向等，确定在由摄像装置捕获的图像中显示内容的位置。注意，在将三维虚拟对象的图像作为内容进行显示的情况下，例如，基于由摄像装置捕获的图像中的标记的位置、形状、大小、取向等，相对于由摄像装置成像的真实空间来设置以标记为基准的三维坐标系，并且获得三维坐标系中的摄像装置的视点位置等。摄像装置的视点位置对应于用户观看内容(虚拟对象)的观看视点的位置。基于三维坐标系中的虚拟对象的位置和取向、摄像装置的视点位置等，确定在由摄像装置捕获的图像中显示虚拟对象的图像(内容)的位置。

在步骤S107中，便携式终端71执行控制以生成其中内容(虚拟对象的图像)叠加在步骤S105中确定的位置上的显示图像，并且将显示图像显示在显示器上。在步骤S108中，将在步骤S107中生成的显示图像显示在便携式终端71的显示器上。重复执行从步骤S103到步骤S108的过程。

步骤S103和S105表示在布置了内容的场所处未布置标记的情况下代替步骤S102至S104执行的步骤。在步骤S103中，用户移动便携式终端71，使得由便携式终端71的摄像装置对显示内容的场所进行成像。在步骤S105中，通过同步定位和映射(SLAM)(自定位估计和环境地图的创建)技术，从由便携式终端71的摄像装置捕获的图像中检测特征点，并且基于检测到的特征点来检测由摄像装置成像的真实对象在真实空间中的位置、摄像装置的视点位置和方向等。利用这种布置，在由摄像装置对显示内容的场所进行成像的情况下，在步骤S106中确定在由摄像装置成像的图像中显示虚拟对象的图像(内容)的位置。

<问题>

如图6所示，在将虚拟对象的图像(虚拟图像)作为内容显示在便携式终端71上的情况下、在使用视图相关方法作为渲染(纹理映射)的方法的情况下，可以显示高图像质量的渲染图像，但是存在以下问题。

由于需要针对多个不同的观看方向中的每一个准备要在渲染(映射)时粘贴至3D模型的纹理，因此虚拟对象的数据量变得庞大。具体地，在便携式终端71是瘦客户端(thinclient)中的终端的情况下，数据量根据使用情况(存储容量限制)而受到限制，并且因此需要减少虚拟对象的数据量。

例如，在便携式终端71不具有数据量方面的问题的情况下，如图7的左图中所示，可以将通过利用许多成像摄像装置41(参见图2)对作为3D模型51(虚拟对象)的基础的被摄体31的图像进行捕获而获得的捕获图像用作虚拟对象的纹理。在便携式终端71需要减少虚拟对象的数据量的情况下，如图7的右图中所示，需要减少用作纹理的捕获图像的数目或成像摄像装置41的数目。

如在图7的右图中那样，在纹理的数目少的情况下，纹理的视点(成像视点)的方向与渲染的视点(虚拟视点)的方向之间的偏差成为问题。纹理的视点(成像视点)表示获取了作为纹理的捕获图像的成像摄像装置41的视点。渲染的视点(虚拟视点)表示在渲染时设置的用于观看虚拟对象(3D模型51)的观看视点，即，对虚拟对象进行成像的虚拟摄像装置的视点。注意，虚拟视点的位置是基于真实空间中的便携式终端71的摄像装置的视点的位置而设置的。

图8中的左图示出了由虚拟摄像装置81表示的渲染的虚拟视点的方向相对于虚拟地布置在真实空间中的虚拟对象(3D模型51)接近由成像摄像装置41表示的多个纹理的任何成像视点的方向的情况。在获取要作为纹理的捕获图像的成像摄像装置41的数目大的情况下，不管布置虚拟摄像装置81的位置如何，渲染的虚拟视点的方向都接近任何纹理的成像视点的方向。在这种情况下，通过渲染生成的虚拟对象的图像(虚拟图像)具有高图像质量。图8中的右图示出了由虚拟摄像装置81表示的渲染的虚拟视点的方向离开由成像摄像装置41表示的多个纹理的任何成像视点的方向的情况。在获取要作为纹理的捕获图像的成像摄像装置41的数目小的情况下，很可能出现这样的情况。在这种情况下，通过渲染生成的虚拟对象的图像(虚拟图像)的图像质量劣化。

即，当减少纹理的数目以减少虚拟对象的数据量时，取决于渲染的虚拟视点(便携式终端71的摄像装置)的位置，通过渲染生成的虚拟对象的图像的图像质量劣化的可能性高。在第一实施方式中，为了抑制图像质量的这样的劣化，利用便携式终端71上的观看引导的显示对作为渲染的虚拟视点的便携式终端71的摄像装置的视点(虚拟视点)的方向进行引导，以相对于虚拟对象(3D模型51)的布置位置匹配(接近)纹理的任何成像视点的方向。即，在第一实施方式中，在使用与相对于3D模型51的多个特定方向中的每一个对应的纹理来映射3D模型51的情况下，通过观看引导对摄像装置的视点(观看视点)相对于3D模型51的方向进行引导，以匹配任何特定方向。注意，多个特定方向对应于纹理的成像视点的方向。

<第一实施方式的操作过程>

图9是示出在第一实施方式中的通过AR技术将上述虚拟对象的图像作为内容与真实空间的图像进行组合并显示在显示装置(便携式终端)上的情况下的操作过程的流程图。在图9中，步骤S31至S36与图6中的步骤S101至S106相同，并且因此省略对其的描述。

在步骤S37中，用户根据在如稍后描述的步骤S38至S41中显示在便携式终端71上的内容(虚拟对象的图像)和观看引导来移动便携式终端71或虚拟对象(3D模型)。利用这种布置，渲染的虚拟视点相对于虚拟对象的方向与任何纹理的成像视点相对于虚拟对象的方向相匹配(接近)。

在步骤S38中，便携式终端71生成内容图像，在该内容图像中，内容(虚拟对象的图像)在步骤S35中确定的位置处被叠加在由便携式终端71捕获的图像上。在步骤S39中，便携式终端71基于虚拟地布置在真实空间中的虚拟对象的位置和渲染的观看视点(便携式终端71的摄像装置的视点)的位置，生成如稍后描述的观看引导(引导图像)。在步骤S40中，便携式终端71执行控制以生成叠加了步骤S38中生成的内容图像和步骤S39中生成的观看引导的显示图像(输出图像)，并且将显示图像显示在显示器上。在步骤S41中，将在步骤S40中生成的显示图像显示在便携式终端71的显示器上。重复执行从步骤S37到步骤S41的过程。

<观看引导>

将描述图9的步骤S39中生成的观看引导。存在例如两种类型的观看引导，一种是观看引导A，并且另一种是观看引导B。可以将观看引导A和观看引导B同时显示在便携式终端71上，或者可以显示观看引导A和观看引导B中的仅一种，或者可以根据情况进行切换并显示。

(观看引导A)

图10和图11是示出观看引导A的图。在图10和图11中，3D模型51表示虚拟地布置在真实空间中的虚拟对象的3D形状。成像摄像装置41-n(n为1至8)表示纹理的成像视点的位置。虚拟摄像装置81表示渲染的虚拟视点(观看视点)的位置，并且表示便携式终端71的摄像装置的视点在真实空间中的位置。引导线91表示在成像摄像装置41-n相对于3D模型51(例如，3D模型51的重心位置)的方向(纹理的成像视点的方向)中与虚拟摄像装置81相对于3D模型51的方向(渲染的观看视点的方向)最接近的方向(最接近的方向)。最接近的方向指示在连接3D模型51和成像摄像装置41-n的直线中的以下直线的方向：在该直线的方向上，由连接3D模型51和虚拟摄像装置81的直线形成的角度最小。在图10中，成像摄像装置41-2的方向与虚拟摄像装置81的方向最接近，并且引导线91是从3D模型51到成像摄像装置41-2的方向上的直线。注意，成像摄像装置41-n相对于3D模型51的方向被简称为成像摄像装置41-n的方向，并且虚拟摄像装置81相对于3D模型51的方向被简称为虚拟摄像装置81-n的方向。

观看引导A可以是表示3D模型51、虚拟摄像装置81、成像摄像装置41-n和引导线91中的至少虚拟摄像装置81与引导线91之间的位置关系的如图10所示的平面图像。观看引导A不限于此，并且可以是以下图像，在该图像中，引导线91被三维地叠加并显示在便携式终端71上显示的内容图像(真实空间的图像和虚拟对象的图像)中。引导线91可以是指示任何一个或多个成像摄像装置41-n的方向而不是指示与虚拟摄像装置81的方向(渲染的观看视点的方向)最接近的成像摄像装置41-n的方向的情况。

如图10所示，在虚拟摄像装置81的方向不接近任何成像摄像装置41-n的方向的情况下，用户参考观看引导A并且移动便携式终端71，或者移动(旋转移动或平移)虚拟对象，使得虚拟摄像装置81(便携式终端71的摄像装置的视点)与引导线91交叠。可以通过例如对便携式终端71的显示器上显示的内容图像中的虚拟对象的图像进行拖动来执行虚拟对象的移动。注意，显示器包括触摸面板，并且可以通过在显示器上的手指操作来执行对虚拟对象的拖动操作等。虚拟对象的移动可以是在便携式终端71中虚拟地设置在真实空间中的三维坐标系的移动。

在如图11所示虚拟摄像装置81的方向与由引导线91指示的方向匹配的情况下，便携式终端71执行效果显示(效果图像的显示)，以向用户通知该事实。虚拟摄像装置81的方向与由引导线91指示的方向相匹配的情况可以是由虚拟摄像装置81的方向与由引导线91指示的方向所形成的角度(角度差)等于或小于预定阈值的情况。效果显示可以是任何形式，例如：在虚拟摄像装置81的方向与由引导线91指示的方向相匹配的情况下将观看引导A从显示切换为不显示；切换如图11所示的引导线91上的成像摄像装置41-2的显示形式(诸如颜色、照明和闪烁的显示形式)；切换引导线91的显示形式(包括不显示)；或者显示进行匹配的通知的字符、图像等。

(观看引导B)

图12是示出观看引导B的图。在图12中，3D模型51表示虚拟地布置在真实空间中的虚拟对象的3D形状。图像81D是布置在虚拟摄像装置81的方向上的投影面的图像，并且包括透视投影在投影面上的3D模型51的投影图像81M。投影图像81M例如是虚拟对象的轮廓图像，并且是仅指示未粘贴纹理的虚拟对象的形状(轮廓)的单色图像。注意，图像81D是通过将3D模型51投影到实际投影面上而获得的图像，在所述实际投影面上，由便携式终端71的摄像装置投影了真实空间中的真实对象。

图像41D是布置在与虚拟摄像装置81的方向最接近的成像摄像装置41-n的方向上的投影面的图像，并且包括经受透视投影的3D模型51的投影图像41M。与投影图像81M一样，投影图像41M是虚拟对象的轮廓图像，并且是仅显示未粘贴纹理的虚拟对象的形状(轮廓)的单色图像。注意，图像41D是当虚拟摄像装置81的方向(便携式终端71的摄像装置的方向)与最接近该方向的成像摄像装置41-n的方向相匹配时通过将3D模型51投影到实际投影面上而获得的图像，在所述实际投影面上投影了真实空间中的真实对象。

图像81D的投影图像81M和图像41D的投影图像41M在图像81D中彼此组合，同时保持它们之间在真实空间中虚拟设置的三维坐标系中的投影位置的位置关系。利用这种布置，图像81D包括：通过将3D模型51投影到虚拟摄像装置81的方向上而获得的投影图像81M；以及将3D模型51投影到与虚拟摄像装置81的方向最接近的成像摄像装置41-n的方向上而获得的投影图像41M。注意，指示与投影图像41M的投影位置的位置关系的投影图像81M可能不是与虚拟摄像装置81的方向最接近的成像摄像装置41-n的方向上的投影图像，并且可能是任何一个或多个成像摄像装置41-n的方向上的投影图像。

观看引导B是图像81D，并且在图像81D中的投影图像81M和投影图像41M的显示位置彼此不匹配的情况下(在它们之间的偏差大的情况下)，其指示虚拟摄像装置81的方向不接近任何成像摄像装置41-n的方向。在图像81D中的投影图像81M和投影图像41M的显示位置彼此不匹配的情况下，用户参考观看引导B并且移动便携式终端71或者移动(旋转移动或平移)虚拟对象，使得投影图像81M和投影图像41M的显示位置彼此匹配(彼此交叠)。可以通过例如拖动投影图像81M来执行虚拟对象的移动，投影图像81M是虚拟对象在观看引导B中的轮廓图像。

在观看引导B中的投影图像81M和投影图像41M的显示位置彼此匹配并且虚拟摄像装置81的方向与任何成像摄像装置41-n的方向匹配的情况下，便携式终端71执行效果显示(效果图像的显示)，以向用户通知匹配。注意，观看引导B中的投影图像81M和投影图像41M的显示位置彼此匹配的情况可以是它们的显示位置之间的偏差量等于或小于预定阈值的情况。效果显示可以是任何形式，例如：在投影图像81M和投影图像41M的显示位置匹配的情况下将观看引导B从显示切换为不显示；切换投影图像81M或投影图像41M中的至少一个的显示形式(诸如颜色、照明或闪烁的显示形式)；或者显示进行匹配通知的字符、图像等。

根据如上所述的观看引导A或观看引导B，在虚拟摄像装置81的方向与任何成像摄像装置41-n的方向相匹配的情况下，在便携式终端71上显示内容图像，在该内容图像中，通过渲染生成的内容(虚拟对象的图像)叠加在由便携式终端71的摄像装置捕获的图像上。此时，由于用于映射的纹理是通过成像摄像装置41-n(其方向与虚拟摄像装置81的方向相匹配)获得的捕获图像，因此在便携式终端71的显示器上显示高图像质量的内容图像(渲染图像)。利用这种布置，用户可以容易地调整便携式终端71的位置、虚拟对象的方向等，使得可以观看到高图像质量的内容图像。

<第一实施方式中的显示单元18的配置>

将描述第一实施方式中的图1的显示单元18的具体配置和处理。图13是示出显示单元18的配置示例的框图。显示单元18包括成像视点选择单元101、网格传送单元102、虚拟/成像视点轮廓生成单元103和观看引导控制单元104。

成像视点选择单元101基于关于虚拟摄像装置81(虚拟视点)和成像摄像装置41-n(成像视点)的内部参数和外部参数的信息(虚拟/成像视点内部/外部参数信息)以及关于被摄体(虚拟对象(3D模型51))的位置信息(被摄体位置信息)，来输出指示与虚拟视点最接近的成像视点的信息(最接近的成像视点信息)以及指示虚拟视点和成像视点彼此匹配的信息(虚拟视点/成像视点匹配信息)。最接近的成像视点信息被提供给虚拟/成像视点轮廓生成单元103和观看引导控制单元104，并且虚拟视点/成像视点匹配信息被提供给观看引导控制单元104。

注意，将具有与虚拟视点相对于虚拟对象的方向最接近的方向的成像视点表达为与虚拟视点最接近的成像视点，并且将虚拟视点相对于虚拟对象的方向与成像视点的方向之间的匹配表达为虚拟视点与成像视点之间的匹配。即，两个视点接近或彼此匹配的情况不限于两个视点的位置接近或彼此匹配的情况，还包括两个视点相对于虚拟对象的方向接近或彼此匹配的情况。

网格传送单元102将通过顶点或面来表示虚拟对象(3D模型51)的3D形状的网格信息提供给虚拟/成像视点轮廓生成单元103。

基于网格信息、关于虚拟/成像视点的内部/外部参数信息以及最接近的成像视点信息，虚拟/成像视点轮廓生成单元103将虚拟视点轮廓信息、成像视点轮廓信息以及轮廓匹配信息提供给观看引导控制单元104，虚拟视点轮廓信息指示通过在图12中的虚拟摄像装置81的方向上投影3D模型51而获得的投影图像81M(轮廓图像)，成像视点轮廓信息指示通过在与虚拟摄像装置81的方向最接近的成像摄像装置41-n的方向上投影3D模型51而获得的投影图像41M(轮廓图像)，轮廓匹配信息指示投影图像81M和投影图像41M彼此匹配。

观看引导控制单元104根据虚拟视点轮廓信息、成像视点轮廓信息、轮廓匹配信息、最接近的成像视点信息、虚拟视点/成像视点匹配信息、虚拟/成像视点内部/外部参数信息和渲染的图像生成要显示在显示器上的最终输出图像。渲染的图像是由渲染(渲染单元17)使用虚拟视点作为渲染的观看视点而生成的虚拟对象的图像(内容图像)。渲染的图像可以是虚拟对象的图像与真实空间的图像被组合的图像，或者可以是仅虚拟对象的图像。

此处，例如，成像视点选择单元101如下检测与虚拟视点最接近的成像视点。如图10中那样，图14示出了基于从每个成像摄像装置41-n(成像视点)的虚拟对象(3D模型51)的方向(每个成像摄像装置41-n相对于虚拟对象的方向)与从虚拟摄像装置81(虚拟视点)的虚拟对象(3D模型51)的方向之间的关系来计算每个成像摄像装置41-n的重要度P(i)的示例。在这种情况下，通过以下式(1)来计算重要度P(i)。

P(i)＝1/arccos(Ci·Cv)… (1)

此处，Ci表示从成像摄像装置41-n到3D模型51(参考位置R)的矢量。Cv表示从虚拟摄像装置81到3D模型51(参考位置R)的矢量。Ci·Cv表示矢量Ci和矢量Cv的内积。

因此，重要度P(i)与矢量Ci和矢量Cv所形成的角度成反比，并且矢量Ci和矢量Cv所形成的角度越小，重要度P(i)越高。即，成像摄像装置41-n相对于3D模型51的方向越接近虚拟摄像装置81相对于3D模型51的方向，该成像摄像装置41-n具有越高的重要度P(i)。

注意，矢量Ci和矢量Cv是参照3D模型51的代表点R来设置的。代表点R可以通过任何方法来设置。例如，将3D模型51上的距每个成像摄像装置41-n和虚拟摄像装置81的光轴的距离之和最小的点设置为代表点R。替选地，例如，将3D模型51的顶点在虚拟地设置在真实空间中的三维坐标系中的X方向、Y方向和Z方向中的每一个方向上的坐标的最大值与最小值之间的中间位置设置为代表点R。替选地，例如，将3D模型51中的最重要的位置设置为代表点R。例如，在3D模型51是人的情况下，将人的面部的中心等设置为代表点R。

图15是示出在存在多个虚拟对象(3D模型51)的情况下成像视点选择单元101检测与虚拟视点(虚拟摄像装置81)最接近的成像视点(成像摄像装置41-n)的过程的流程图。注意，图15示出了在按照与虚拟视点的接近度的顺序检测m个成像视点的情况下的处理，并且可以通过设置m＝1来检测最接近的成像视点。

在步骤S51中，成像视点选择单元101将指示分配给多个虚拟对象的编号的参数i设置为0。在步骤S52中，成像视点选择单元101将指示分配给包括每个虚拟对象的边界框(矩形框)的顶点的编号的参数j设置为0。在步骤S53中，成像视点选择单元101将第j个顶点投影到虚拟摄像装置81的投影面上。在步骤S54中，成像视点选择单元101确定是否已经将第i个虚拟对象的边界框的所有顶点投影到虚拟摄像装置81的投影面上，或者第j个顶点是否在虚拟摄像装置81的视角内。在步骤S54中确定尚未对第i个虚拟对象的边界框的所有顶点执行投影到虚拟摄像装置81的投影面上的情况下，或者在确定第j个顶点不在虚拟摄像装置81的视角内的情况下，成像视点选择单元101在步骤S55中递增参数j，并且将处理返回至步骤S53。

在步骤S54中确定已经对第i个虚拟对象的边界框的所有顶点执行了投影到虚拟摄像装置81的投影面上的情况下，或者在确定第j个顶点在虚拟摄像装置81的视角内的情况下，处理进行至步骤S56。在步骤S56中，在第i个虚拟对象的边界框的任何一个顶点处于虚拟摄像装置81的视角内的情况下，成像视点选择单元101添加第i个虚拟对象的参考位置(例如，边界框的中心位置)作为目标参考位置。

在步骤S57中，成像视点选择单元101确定是否已经对所有虚拟对象执行了步骤S52至S57中的处理。在步骤S57中的否定确定的情况下，成像视点选择单元101在步骤S58中递增参数i并将处理返回至步骤S52。

在步骤S57中的肯定确定的情况下，成像视点选择单元101使处理前进至步骤S59。在步骤S59中，成像视点选择单元101对在步骤S56中添加为目标参考位置的虚拟对象的参考位置进行平均，以获得所有虚拟对象的参考位置(在下文中，简称为参考位置)。

在步骤S60中，成像视点选择单元101将指示分配给成像摄像装置41-n的编号的参数i设置为0。在步骤S61中，成像视点选择单元101计算连接第i个成像摄像装置41(成像视点)和参考位置的矢量与连接虚拟摄像装置81(虚拟视点)和参考位置的矢量之间的角度。在步骤S62中，成像视点选择单元101按照步骤S61中计算的角度的升序对成像摄像装置41进行排序。在步骤S63中，成像视点选择单元101确定是否已经对所有成像摄像装置41执行了步骤S61和S62中的处理。在步骤S63中的否定确定的情况下，成像视点选择单元101在步骤S64中递增参数i并将处理返回至步骤S61。在步骤S63中的肯定确定的情况下，处理进行至步骤S65。在步骤S65中，成像视点选择单元101检测在步骤S62中按照角度的升序排序的成像摄像装置41中的前m个成像摄像装置41，作为按照与虚拟摄像装置81的接近度的顺序的m个成像摄像装置41。

<虚拟/成像视点轮廓生成单元103的配置示例>

图16是示出图13中的虚拟/成像视点轮廓生成单元103的配置示例的框图。虚拟/成像视点轮廓生成单元103包括虚拟视点轮廓生成单元111、成像视点轮廓生成单元112、虚拟视点投影单元113和轮廓匹配确定单元114。

虚拟视点轮廓生成单元111根据网格信息和关于虚拟/成像视点的内部/外部参数信息生成虚拟视点轮廓信息。虚拟视点轮廓信息被提供给观看引导控制单元104。

成像视点轮廓生成单元112根据网格信息和关于虚拟/成像视点的内部/外部参数信息生成关于成像摄像装置视角的成像视点轮廓信息，并且将成像视点轮廓信息提供给虚拟视点投影单元113。成像摄像装置视角表示与虚拟摄像装置81最接近的成像摄像装置41-n的视角。

虚拟视点投影单元113基于关于虚拟/成像视点的内部/外部参数信息将关于成像摄像装置视角的成像视点轮廓信息转换成关于虚拟摄像装置视角的成像视点轮廓信息，并且将成像视点轮廓信息提供给观看引导控制单元104。虚拟摄像装置视角表示虚拟摄像装置81的视角。

轮廓匹配确定单元114基于虚拟视点轮廓信息和成像视点轮廓信息将轮廓匹配信息提供给观看引导控制单元104。

<观看引导控制单元104的配置示例>

图17是示出图13中的观看引导控制单元104的配置示例的框图。观看引导控制单元104包括观看引导A生成单元121、观看引导B生成单元122和观看引导叠加单元123。

观看引导A生成单元121基于最接近的成像视点信息、关于虚拟/成像视点的内部/外部参数信息以及虚拟视点/成像视点匹配信息生成观看引导A的图像(观看引导A图像)，并且将生成的图像提供给观看引导叠加单元123。

观看引导B生成单元122基于虚拟视点轮廓信息、成像视点轮廓信息和轮廓匹配信息生成观看引导B的图像(观看引导B图像)，并且将生成的图像提供给观看引导叠加单元123。

观看引导叠加单元123基于虚拟视点/成像视点匹配信息和轮廓匹配信息对观看引导A图像、观看引导B图像和渲染图像进行叠加，以将叠加的图像作为最终输出图像输出至显示器。

<观看引导的显示模式>

将例示针对观看引导A和观看引导B的显示模式的两种显示模式1和2。图18是示出显示模式1的流程图。在图18中，在步骤S71中，便携式终端71确定在由摄像装置捕获的图像中显示内容的位置。步骤S71对应于图9的步骤S33(图6的步骤S106)的处理。在步骤S72中，便携式终端71在显示器上显示全部的观看引导A、观看引导B和内容图像。在步骤S73中，用户基于观看引导A移动内容或便携式终端71(虚拟摄像装置)，以使虚拟摄像装置81(虚拟视点)的位置与最接近的成像摄像装置41-n(成像视点)的位置相匹配。即，虚拟摄像装置81相对于虚拟对象的方向与最接近的成像摄像装置41-n的方向相匹配。

在步骤S74中，在观看引导A中确定虚拟摄像装置81(虚拟视点)与最接近的成像摄像装置41-n(成像视点)的位置匹配之后，便携式终端71将全部的观看引导A、观看引导B和内容图像连续显示在显示器上。在步骤S75中，用户基于观看引导B移动内容或便携式终端71(虚拟摄像装置)，以使虚拟摄像装置81(虚拟视点)的位置与最接近的成像摄像装置41-n(成像视点)的位置相匹配。即，如图12所示，用户在观看引导B中将投影图像81M的显示位置与投影图像41M的显示位置进行匹配，投影图像81M是通过将虚拟对象投影在虚拟摄像装置81的方向上而得到的轮廓图像，投影图像41M是通过将虚拟对象投影在成像摄像装置41-n的方向上而获得的轮廓图像。在步骤S76中，在观看引导B中确定虚拟摄像装置81(虚拟视点)与最接近的成像摄像装置41-n(成像视点)的位置匹配之后，便携式终端71隐藏观看引导A和观看引导B，并且仅将内容图像显示在显示器上。注意，在观看引导B中将虚拟摄像装置81(虚拟视点)与最接近的成像摄像装置41-n(成像视点)的位置匹配之后，可以在观看引导A中将虚拟摄像装置81(虚拟视点)与最接近的成像摄像装置41-n(成像视点)的位置进行匹配。

图19是示出显示模式2的流程图。在图19中，在步骤S81中，便携式终端71确定在由摄像装置捕获的图像中显示内容的位置。步骤S81对应于图18中的步骤S71和图9中的步骤S33(图6中的步骤S106)的处理。在步骤S82中，便携式终端71仅将观看引导A显示在显示器上，并且隐藏观看引导B和内容图像。然而，在内容图像中，例如，虚拟对象的图像可以作为轮廓图像进行效果显示。在步骤S83中，用户基于观看引导A移动内容或便携式终端71(虚拟摄像装置81)，以使虚拟摄像装置81(虚拟视点)的位置与最接近的成像摄像装置41-n(成像视点)的位置相匹配。即，虚拟摄像装置81相对于虚拟对象的方向与最接近的成像摄像装置41-n的方向相匹配。

在步骤S84中，在观看引导A中确定虚拟摄像装置81(虚拟视点)与最接近的成像摄像装置41-n(成像视点)的位置匹配之后，便携式终端71隐藏观看引导A，并且将观看引导B显示在显示器上。注意，可以将内容图像隐藏或者可以进行效果显示。在步骤S85中，用户基于观看引导B移动内容或便携式终端71(虚拟摄像装置)，以使虚拟摄像装置81(虚拟视点)的位置与最接近的成像摄像装置41-n(成像视点)的位置相匹配。即，如图12所示，用户在观看引导B中将投影图像81M的显示位置与投影图像41M的显示位置进行匹配，投影图像81M是通过将虚拟对象投影在虚拟摄像装置81的方向上而得到的轮廓图像，投影图像41M是通过将虚拟对象投影在成像摄像装置41-n的方向上而获得的轮廓图像。在步骤S86中，在观看引导B中确定虚拟摄像装置81(虚拟视点)与最接近的成像摄像装置41-n(成像视点)的位置匹配之后，便携式终端71隐藏观看引导A和观看引导B，并且仅将内容图像显示在显示器上。注意，在观看引导B中将虚拟摄像装置81(虚拟视点)与最接近的成像摄像装置41-n(成像视点)的位置匹配之后，可以在观看引导A中将虚拟摄像装置81(虚拟视点)与最接近的成像摄像装置41-n(成像视点)的位置进行匹配。

<程序>

上述信息处理系统1的一个或多个部件(诸如便携式终端71的部件装置)中的一系列处理可以由硬件或软件执行。在由软件执行一系列处理的情况下，形成软件的程序安装在计算机上。此处，计算机包括例如合并在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。

图20是示出在计算机通过程序执行由信息处理系统1的一个或多个部件(诸如便携式终端71的配置装置)执行的每个处理的情况下的计算机的硬件的配置示例的框图。

在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204彼此连接。

输入/输出接口205进一步连接至总线204。输入/输出接口205连接至输入单元206、输出单元207、存储单元208、通信单元209和驱动器210。

输入单元206包括键盘、鼠标、麦克风等。输出单元207包括显示器、扬声器等。存储单元208包括硬盘、非易失性存储器等。通信单元209包括网络接口等。驱动器210对可移除介质211如磁盘、光盘、磁光盘或半导体存储器进行驱动。

在如上所述配置的计算机中，例如，CPU 201经由输入/输出接口205和总线204将存储在存储单元208中的程序加载到RAM 203中，并且执行程序，从而执行上述一系列处理。

例如，可以通过将由计算机(CPU 201)执行的程序记录在作为封装介质的可移除介质211等上来提供该程序。此外，可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供程序。

在计算机中，可以通过将可移除介质211插入到驱动器210中来实现经由输入/输出接口205将程序安装在存储单元208上。替选地，可以通过经由有线或无线传输介质在通信单元209处接收程序来实现将程序安装在存储单元208上。此外，程序可以预先安装在ROM202和存储单元208上。

注意，由计算机执行的程序可以是用于按照本说明书中描述的顺序以时间序列进行处理的程序，或者可以是用于并行处理或者诸如在进行调用时的必要定时进行处理的程序。

本技术还可以具有以下配置。

(1)

一种信息处理装置，包括：

显示单元，其通过渲染来生成当从由用户设置和改变的观看视点观看3D模型时的所述3D模型的图像，并且在所述渲染时使用与相对于所述3D模型的多个特定方向中的每一个方向对应的纹理来映射所述3D模型，

所述显示单元被配置成生成引导图像，所述引导图像用于引导所述观看视点的方向以匹配所述多个特定方向中的任何方向。

(2)

根据条款(1)所述的信息处理装置，

其中，所述显示单元生成所述引导图像，所述引导图像用于将所述观看视点的方向引导至所述多个特定方向中与所述观看视点的方向最接近的特定方向。

(3)

根据条款(1)或(2)所述的信息处理装置，

其中，所述显示单元生成指示所述特定方向的引导线作为所述引导图像。

(4)

根据条款(3)所述的信息处理装置，

其中，所述显示单元生成表示所述3D模型的位置、所述观看视点的位置和所述引导线之间的位置关系的所述引导图像。

(5)

根据条款(1)至(4)中任一项所述的信息处理装置，

其中，所述显示单元生成表示第一投影图像与第二投影图像之间的投影位置的位置关系的引导图像，所述第一投影图像是通过将所述3D模型投影在所述观看视点的方向上而获得，所述第二投影图像是通过将所述3D模型投影在所述特定方向上而获得。

(6)

根据条款(5)所述的信息处理装置，

其中，所述显示单元生成将所述第一投影图像和所述第二投影图像显示为轮廓图像的引导图像。

(7)

根据条款(5)或(6)所述的信息处理装置，

其中，所述显示单元生成将指示所述特定方向的引导线和所述第一投影图像与所述第二投影图像之间的投影位置的位置关系同时显示或以切换方式显示的引导图像。

(8)

根据条款(1)至(7)中任一项所述的信息处理装置，

其中，所述纹理是通过从所述特定方向对生成为所述3D模型的被摄体进行成像而获得的捕获图像。

(9)

根据条款(1)至(8)中任一项所述的信息处理装置，还包括：

摄像装置，

其中，所述显示单元将所述摄像装置的视点设置为所述观看视点。

(10)

根据条款(9)所述的信息处理装置，

其中，所述显示单元将所述3D模型虚拟地布置在真实空间中，并且将当从所述观看视点观看所述3D模型时的所述3D模型的图像与由所述摄像装置成像的所述真实空间的图像进行组合。

(11)

根据条款(1)至(10)中任一项所述的信息处理装置，

其中，所述显示单元基于所述用户对所述3D模型的移动操作来改变所述特定方向。

(12)

根据条款(1)至(11)中任一项所述的信息处理装置，

其中，所述显示单元生成通知所述观看视点的方向与所述特定方向相匹配的图像。

(13)

根据条款(1)至(12)中任一项所述的信息处理装置，

其中，所述显示单元在所述观看视点的方向与所述特定方向匹配的情况下停止显示所述引导图像。

(14)

一种由显示单元执行的信息处理方法，

所述显示单元被包括在信息处理装置中，所述方法包括：

通过渲染来生成当从由用户设置和改变的观看视点观看3D模型时的所述3D模型的图像，并且在所述渲染时使用与相对于所述3D模型的多个特定方向中的每一个方向对应的纹理来映射所述3D模型；以及

生成引导图像，所述引导图像用于引导所述观看视点的方向以匹配所述多个特定方向中的任何方向。

(15)

一种用于使计算机用作以下单元的程序：

显示单元，其通过渲染来生成当从由用户设置和改变的观看视点观看3D模型时的所述3D模型的图像，并且在所述渲染时使用与相对于所述3D模型的多个特定方向中的每一个方向对应的纹理来映射所述3D模型，

所述显示单元被配置成生成引导图像，所述引导图像用于引导所述观看视点的方向以匹配所述多个特定方向中的任何方向。

附图标记列表

1 信息处理系统

11 数据获取单元

12 3D模型生成单元

13 格式化单元

14 发送单元

15 接收单元

16 解码单元

17 渲染单元

18 显示单元

41 成像摄像装置

71 便携式终端

81 虚拟摄像装置

91 引导线

101 成像视点选择单元

102 网格传送单元

103 成像视点轮廓生成单元

104 观看引导控制单元

111 虚拟视点轮廓生成单元

112 成像视点轮廓生成单元

113 虚拟视点投影单元

114 轮廓匹配确定单元

121 观看引导A生成单元

122 观看引导B生成单元

123 观看引导叠加单元

Claims (15)

1.一种信息处理装置，包括：

显示单元，其通过渲染来生成当从由用户设置和改变的观看视点观看3D模型时的所述3D模型的图像，并且在所述渲染时使用与相对于所述3D模型的多个特定方向中的每一个方向对应的纹理来映射所述3D模型，

所述显示单元被配置成生成引导图像，所述引导图像用于引导所述观看视点的方向以匹配所述多个特定方向中的任何方向。

2.根据权利要求1所述的信息处理装置，

其中，所述显示单元生成所述引导图像，所述引导图像用于将所述观看视点的方向引导至所述多个特定方向中与所述观看视点的方向最接近的特定方向。

3.根据权利要求1所述的信息处理装置，

其中，所述显示单元生成指示所述特定方向的引导线作为所述引导图像。

4.根据权利要求3所述的信息处理装置，

其中，所述显示单元生成表示所述3D模型的位置、所述观看视点的位置和所述引导线之间的位置关系的所述引导图像。

5.根据权利要求1所述的信息处理装置，

其中，所述显示单元生成表示第一投影图像与第二投影图像之间的投影位置的位置关系的所述引导图像，所述第一投影图像是通过将所述3D模型投影在所述观看视点的方向上而获得，所述第二投影图像是通过将所述3D模型投影在所述特定方向上而获得。

6.根据权利要求5所述的信息处理装置，

其中，所述显示单元生成将所述第一投影图像和所述第二投影图像显示为轮廓图像的所述引导图像。

7.根据权利要求5所述的信息处理装置，

其中，所述显示单元生成将指示所述特定方向的引导线和所述第一投影图像与所述第二投影图像之间的投影位置的位置关系同时显示或以切换方式显示的所述引导图像。

8.根据权利要求1所述的信息处理装置，

其中，所述纹理是通过从所述特定方向对生成为所述3D模型的被摄体进行成像而获得的捕获图像。

9.根据权利要求1所述的信息处理装置，还包括：

摄像装置，

其中，所述显示单元将所述摄像装置的视点设置为所述观看视点。

10.根据权利要求9所述的信息处理装置，

其中，所述显示单元将所述3D模型虚拟地布置在真实空间中，并且将当从所述观看视点观看所述3D模型时的所述3D模型的图像与由所述摄像装置成像的所述真实空间的图像进行组合。

11.根据权利要求1所述的信息处理装置，

其中，所述显示单元基于所述用户对所述3D模型的移动操作来改变所述特定方向。

12.根据权利要求1所述的信息处理装置，

其中，所述显示单元生成通知所述观看视点的方向与所述特定方向匹配的图像。

13.根据权利要求1所述的信息处理装置，

其中，所述显示单元在所述观看视点的方向与所述特定方向匹配的情况下停止显示所述引导图像。

14.一种由显示单元执行的信息处理方法，

所述显示单元被包括在信息处理装置中，所述方法包括：

通过渲染来生成当从由用户设置和改变的观看视点观看3D模型时的所述3D模型的图像，并且在所述渲染时使用与相对于所述3D模型的多个特定方向中的每一个方向对应的纹理来映射所述3D模型；以及

生成引导图像，所述引导图像用于引导所述观看视点的方向以匹配所述多个特定方向中的任何方向。

15.一种用于使计算机用作以下单元的程序：

显示单元，其通过渲染来生成当从由用户设置和改变的观看视点观看3D模型时的所述3D模型的图像，并且在所述渲染时使用与相对于所述3D模型的多个特定方向中的每一个方向对应的纹理来映射所述3D模型，

所述显示单元被配置成生成引导图像，所述引导图像用于引导所述观看视点的方向以匹配所述多个特定方向中的任何方向。