CN112534478A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

本公开内容涉及一种信息处理装置、信息处理方法和程序，其使得能够更高效地获取高质量的纹理。运动生成单元基于形成用户的3D模型的纹理的获取情况来生成用于对尚未获取纹理的区域进行成像的运动。此外，导航执行单元执行导航以用于使用户根据由运动生成单元生成的运动执行操作。本技术可以应用于例如执行3D模型生成处理的信息处理装置。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开内容涉及信息处理装置、信息处理方法和程序，并且更具体地，涉及使得能够更高效地获取高质量纹理的信息处理装置、信息处理方法和程序。

背景技术

近年来，已经提出了用于扫描人的三维形状并且生成人的3D模型的各种技术，并且已将其投入实际使用。例如，3D模型由将三维形状表示为诸如三角形和四边形的多边形集合的网格以及由表示三维形状的表面颜色的图像构成的纹理构成。

常规地，作为用于获取纹理的技术，已经使用了获取纹理的系统，在该系统中，安装有100个或更多个成像设备以围绕人，并且使成像设备同步以对人进行成像。然而，这样的系统是昂贵的。

此外，已经使用了用于获取纹理的系统，在该系统中，利用一个成像设备对在转台上旋转的人进行成像。然而，这样的系统需要人保持静止达几分钟。

例如，专利文献1公开了一种通过多视角立体视觉法生成高密度化身网格并应用多视角纹理合成来生成与3D面部模型相关联的纹理图像的技术。

引用列表

专利文献

专利文献1：日本未审查专利申请公开(PCT申请的译文)第2014-525108号。

发明内容

本发明要解决的问题

同时，传统上难以获取覆盖人的表面的整个区域的纹理，因为当获取纹理时，生成了无法获取纹理的区域(在下文被称为遮挡区域)。另一方面，为了抑制遮挡区域的生成，并且获取具有高覆盖率的高质量纹理，需要使人执行专用于对遮挡区域进行成像的特定移动，并且难以高效地获取纹理。

本公开内容是鉴于这样的情况而做出的，并且旨在使得能够更高效地获取高质量纹理。

问题的解决方案

本公开内容的一个方面提供了一种信息处理装置，该信息处理装置包括：运动生成单元，其基于构成用户的3D模型的纹理的获取状态来生成用于对未获取纹理的区域进行成像的运动；以及导航执行单元，其提供用于使用户根据由运动生成单元生成的运动执行动作的导航。

本公开内容的一个方面提供了一种信息处理方法或程序，其包括：基于构成用户的3D模型的纹理的获取状态来生成用于对未获取纹理的区域进行成像的运动；以及提供用于使用户根据所生成的运动执行动作的导航。

在本公开内容的一个方面中，基于构成用户的3D模型的纹理的获取状态，生成用于对未获取纹理的区域进行成像的运动，并且提供用于使用户根据该运动执行动作的导航。

本发明的效果

根据本公开内容的一个方面，可以更高效地获取高质量纹理。

注意，此处描述的效果不一定是限制性的，并且本发明的效果可以是本公开内容中描述的效果中的任何一种。

附图说明

图1示出了3D图像系统的第一配置示例。

图2示出了3D图像系统的第二配置示例。

图3示出了用户的3D模型的渲染结果的示例。

图4示出了在纹理中发生的遮挡的示例。

图5是示出信息处理装置的实施方式的配置示例的框图。

图6是示出3D模型生成处理的流程图。

图7示出了用于确定是否已适当地获取纹理的确定条件。

图8示出了由感测设备的RGB摄像装置的主轴VD与多边形法线SN形成的角度θ。

图9示出了在纹理中留下模糊的运动的示例。

图10示出了允许可靠地获取侧面的纹理的运动的示例。

图11示出了允许可靠地获取脚掌等的纹理的运动的示例。

图12示出了允许可靠地获取头部的顶部、腋窝等的纹理的运动的示例。

图13示出了允许可靠地获取头部的顶部、腋窝等的纹理的运动的示例。

图14示出了允许可靠地获取背部的纹理的运动的示例。

图15示出了允许可靠地获取整个圆周的纹理的运动的示例。

图16示出了允许纹理的高覆盖和获取的运动的示例。

图17示出了当可以进行适当的纹理获取时的定时。

图18示出了纹理获取状态可视化映射的示例。

图19示出了初学者的运动的示例。

图20示出了有经验用户的运动的示例。

图21示出了最佳位置、取向和移动的速度的呈现。

图22是示出应用本技术的计算机的实施方式的配置示例的框图。

具体实施方式

下面将参照附图详细地描述应用本技术的具体实施方式。

<信息处理系统的配置示例>

图1示出了3D图像系统的第一配置示例。

如图1所示，3D图像系统11包括感测设备12、显示设备13、投影仪14和信息处理装置15。

感测设备12包括能够捕获彩色图像的RGB摄像装置以及能够获取映射深度信息的深度图像的深度摄像装置。然后，感测设备12以在显示设备13的前侧的用户作为感测目标来捕获彩色图像，获取表示相对于用户的深度的深度图像，并且将该深度图像提供给信息处理装置15。

显示设备13显示例如通过根据信息处理装置15的控制来渲染用户的3D模型而获得的计算机图形(CG)图像。

例如，根据信息处理装置15的控制，投影仪14将用于将用户引导至感测设备12可以执行感测的范围的引导图像(例如，稍后描述的图21中的箭头)投影到地板表面上。注意，代替使用显示设备13，例如，投影仪14可以被配置成将通过渲染用户的3D模型而获得的CG图像投影到墙壁表面、屏幕等上。

信息处理装置15例如是具有3D图形功能的个人计算机。然后，信息处理装置15基于从感测设备12提供的彩色图像和深度图像来生成用户的3D模型，并且使显示设备13显示通过渲染3D模型而获得的CG图像。注意，稍后将参照图5描述信息处理装置15的详细配置。

具有这样的配置的3D图像系统11允许用户在观看显示在显示设备13上的CG图像的同时，根据使用CG图像的导航来生成3D模型。

图2示出了3D图像系统的第二配置示例。注意，在图2所示的3D图像系统11A的配置中，与图1中的3D图像系统11相同的配置用相同的附图标记表示，并且省略其详细的描述。

例如，3D图像系统11A包括感测设备12和信息处理装置15，这是与图1中的3D图像系统11的配置相同的配置。另一方面，3D图像系统11A包括头戴式显示器16，而不是显示设备13和投影仪14，这是与图1中的3D图像系统11在配置上的差异。即，在用户佩戴的头戴式显示器16上显示如上所述的CG图像、引导图像等。

因此，3D图像系统11A允许用户在观看显示在头戴式显示器16上的CG图像的同时，根据使用CG图像的导航来生成3D模型

具有这样的配置的3D图像系统11和11A通过使用由感测设备12获取的彩色图像和深度图像在信息处理装置15中生成用户的3D模型。此时，3D图像系统11和11A可以抑制遮挡区域的生成，并且获取具有覆盖用户表面的整个区域的高覆盖率的高质量纹理。

此处，将参照图3和图4描述在纹理中生成的遮挡区域和用户的3D模型。

例如，图3示出了通过从前侧、后侧和右侧对呈基本站立姿势的用户进行渲染而获得的CG图像，作为对由信息处理装置15创建的用户的3D模型进行渲染的结果的示例。

当如上所述的那样用户处于站立姿势时，利用感测设备12的RGB摄像装置来对用户的腋窝、裆部等进行成像是极其困难的。因此，在利用感测设备12的RGB摄像装置无法成像的部分中生成了在图3中所示的CG图像中不明显的遮挡区域。

图4示出了将3D模型渲染成使得姿势使已生成遮挡区域的部分变得明显的结果的示例。例如，在图4的A和图4的B中由圆圈指示的部分是发生未利用纹理填充的遮挡区域的地方。

因此，在3D图像系统11和11A中，信息处理装置15向用户提供导航使得不发生遮挡，并且执行3D模型生成处理以获取纹理并生成3D模型。

<信息处理装置的配置示例>

图5是示出应用本技术的信息处理装置的实施方式的配置示例的框图。

如图5所示，信息处理装置15包括图像获取单元21、图像信息分析单元22、运动跟踪单元23、建模单元24、运动呈现单元25、渲染单元26、输出控制单元27和纹理获取处理单元28。

图像获取单元21获取从图1或图2中的感测设备12输出的彩色图像和深度图像。然后，图像获取单元21根据需要将彩色图像和深度图像提供给图像信息分析单元22、运动跟踪单元23、建模单元24和纹理获取处理单元28。

图像信息分析单元22包括特征量检测单元31和属性估计单元32，并且执行对从图像获取单元21提供的彩色图像和深度图像进行分析的处理。

特征量检测单元31对由图像获取单元21获取的用户的彩色图像和深度图像进行分析，并且检测用户的特征量。

属性估计单元32对由图像获取单元21获取的用户的彩色图像和深度图像进行分析，并且估计例如用户的性别、年龄等以及用户的熟练程度(初学者、有经验的用户、专业人员等)，作为用户的属性。

运动跟踪单元23根据由图像获取单元21获取的用户的彩色图像和深度图像来执行运动跟踪以跟随用户的动作。例如，运动跟踪单元23可以执行运动跟踪，以根据呈现给用户的运动确定用户的动作是否已完成。

建模单元24包括网格生成单元41和纹理生成单元42，并且基于从图像获取单元21提供的彩色图像和深度图像来生成用户的3D模型。

例如，网格生成单元41基于由深度图像表示的深度生成将用户的三维形状表示为多边形集合的网格。

纹理生成单元42剪切出例如在彩色图像中示出用户的区域，并且生成表示用户的表面颜色的纹理。

运动呈现单元25包括运动记录单元51、运动分析单元52和运动生成单元53，并且执行呈现用于获取具有较高的覆盖率的纹理的运动的处理。

在运动记录单元51中，预先记录生成3D模型所需的各种运动。

运动分析单元52对记录在运动记录单元51中的运动进行分析。

运动生成单元53参考要利用纹理填充的区域的优先级、导致无法获取纹理的因素、用户的属性、移动的熟练程度等，并且生成用于利用纹理填充该区域的适当运动。

渲染单元26将从运动呈现单元25提供的运动应用于由建模单元24生成的3D模型以执行渲染，并且生成用户的3D模型的CG图像。

输出控制单元27包括显示控制单元61和投影控制单元62，并且执行例如用于控制到图1中的显示设备13和投影仪14以及图2中的头戴式显示器16的输出的处理。

显示控制单元61控制显示设备13(在不使用显示设备13的情况下为投影仪14)或头戴式显示器16，以显示由渲染单元26生成的用户的3D模型的CG图像。

投影控制单元62控制投影仪14或头戴式显示器16，以投影用于引导用户的引导图像(例如，稍后描述的图21中的箭头)。

纹理获取处理单元28包括导航执行单元71、模拟单元72、纹理获取条件确定单元73和纹理获取状态可视化映射创建单元74，并且执行获取较高质量纹理所需的各种类型的处理。

导航执行单元71执行获取纹理所需的登记工作，并且提供用于执行适当动作的导航。例如，在生成3D模型时，导航执行单元71将在平常锻炼中执行的热身练习的一些运动登记在运动记录单元51的数据库中。此时，导航执行单元71还登记事件、年龄组、再现难度程度(熟练程度)等，作为动作的目标。此外，导航执行单元71提供关于遮挡区域、最佳位置(取向)、移动的速度等的导航，使得用户可以执行用于利用由运动生成单元53生成的纹理来填充遮挡区域的适当的运动。

模拟单元72根据呈现给用户并且然后在生成3D模型时登记的运动来执行分析。例如，运动分析单元52利用虚拟摄像装置来模拟基于所登记的运动的动作，并且计算用户的位置、用户的取向、用户移动的定时等，以使构成网格的每个多边形法线与感测设备12的RGB摄像装置的主轴之间的角度(图7中的θ)最小化。

如稍后将参照图7和图8描述的，纹理获取条件确定单元73确定针对网格的每个多边形是否已适当地获取了纹理，并且根据所确定的结果来确定是否已经实现预先设置的纹理获取条件(例如，覆盖率)。

纹理获取状态可视化映射创建单元74基于由纹理获取条件确定单元73进行的确定的结果来创建纹理获取状态可视化映射。注意，稍后将参照图18描述由纹理获取状态可视化映射创建单元74创建的纹理获取状态可视化映射。

<3D模型生成处理>

将参照图6所示的流程图来描述要由信息处理装置15执行的3D模型生成处理。

在步骤S11中，导航执行单元71执行用于获取纹理所需的登记工作。例如，在用于重新获取纹理的重新成像时，导航执行单元71登记指示用户执行的动作(例如，正常的热身移动)、目标、再现难度程度、要利用纹理填充的区域的优先级、纹理获取条件等。

在步骤S12中，根据在步骤S11中登记的动作，模拟单元72通过模拟来计算使由感测设备12的RGB摄像装置的主轴VD与多边形法线SN形成的角度θ最小化的位置(取向)和定时。

在步骤S13中，导航执行单元71提供用于指示用户开始热身的导航。

在步骤S14中，在建模单元24中，网格生成单元41开始生成网格，并且纹理生成单元42开始生成纹理。因此，使用正在执行热身动作的用户的彩色图像和深度图像来开始3D建模。此时，也开始由纹理获取条件确定单元73进行的确定，并且也开始由纹理获取状态可视化映射创建单元74进行的纹理获取状态可视化映射的创建。

在步骤S15中，属性估计单元32根据由感测设备12捕获的用户的彩色图像和深度图像来估计用户的属性和移动的熟练程度。

此后，请求用户在一定时间段内自由地执行动作。然后，在步骤S16中，纹理获取条件确定单元73确定是否满足纹理获取条件。

如果纹理获取条件确定单元73在步骤S16中确定不满足纹理获取条件，则处理进行至步骤S17。

在步骤S17中，例如，基于关于针对网格的每个多边形是否已适当地获取纹理的确定结果，纹理获取状态可视化映射创建单元74通过计算遮挡区域并且使遮挡区域可视化来创建纹理获取状态可视化映射。在纹理获取状态可视化映射中，如稍后将参照图18描述的，对已经导致无法获取纹理的诸如时间不足和角度不足的因素中的每一个执行分类，并且使这些因素可视化。

在步骤S18中，运动生成单元53参考在步骤S11中登记的要利用纹理填充的区域的优先级、用户的属性和移动的熟练程度等，并且生成用于利用纹理填充该区域的适当运动。此时，运动生成单元53还参考在步骤S17中创建的纹理获取状态可视化映射中的导致无法获取纹理的因素。

在步骤S19中，导航执行单元71提供针对诸如遮挡区域、最佳位置(取向)以及移动的速度的适当动作的执行的导航，使得用户可以执行在步骤S18中生成的运动。

在步骤S20中，从通过对根据步骤S19中的导航执行适当动作的用户进行成像而获得的彩色图像中获取纹理。然后，当根据在步骤S18中生成的运动的用户动作完成时，处理返回到步骤S16。

之后，重复相似的处理，并且如果纹理获取条件确定单元73在步骤S16中确定满足纹理获取条件，则处理结束。

假设这样的3D模型生成处理被用于例如来自训练馆的远程指令。例如，可以创建用户的3D模型，使得处于远程位置的公知的教练可以检查用户的形式，并且提供反馈。此外，可以由用户的教练登记要在数据库中登记的运动。

此外，稍后描述的运动模拟数据可以在数据库中被累积，并且向公众开放，使得允许获取有效纹理和高覆盖的运动或者被频繁选择的运动可以被共享。

<纹理确定>

将参照图7至图9描述用于确定是否已适当地获取纹理的确定条件。

图7示出了针对如图7的下部所示的那样构成用户的网格的每个三角多边形根据用户的右侧图像和正面图像生成纹理的示例。

例如，根据在用户的右侧图像中所示的多边形颜色C1和在用户的正面图像中所示的多边形颜色C2(例如，平均值)来合成多边形颜色C。

然后，可以使用从感测设备12的RGB摄像装置到多边形的距离d、由感测设备12的RGB摄像装置的主轴VD与多边形法线SN形成的角度θ或多边形暴露在感测设备12的RGB摄像装置前面的时间t，作为用于确定针对某个多边形是否已适当地获取纹理的确定条件。

从感测设备12的RGB摄像装置到多边形的距离d优选地被设置为例如0.5m至2m作为确定条件。例如，基于由图像获取单元21获取的深度图像，纹理获取条件确定单元73可以确定从感测设备12的RGB摄像装置到多边形的距离d是否满足确定条件。

由感测设备12的RGB摄像装置的主轴VD与多边形法线SN形成的角度θ优选地被设置为10°或更小，作为确定条件。此处，感测设备12的RGB摄像装置的主轴VD、多边形法线SN和角度θ具有如图8所示的关系。例如，感测设备12的RGB摄像装置的主轴VD是已知的，并且纹理获取条件确定单元73可以从网格获得多边形法线SN。

多边形暴露在感测设备12的RGB摄像装置前面的时间t优选地被设置为长于1秒，作为确定条件。例如，基于由图像获取单元21获取的彩色图像，纹理获取条件确定单元73可以确定在多边形暴露在感测设备12的RGB摄像装置前面的时间t是否满足该确定条件。

例如，纹理获取条件确定单元73计算使用距离d的确定条件、使用角度θ的确定条件以及使用时间t的确定条件中的每一个的实现率。根据该实现率，可以确定其中获取高质量纹理的区域和其中未获取高质量纹理的区域。

例如，通过如上所述的那样使用多边形暴露在感测设备12的RGB摄像装置前面的时间t作为用于确定是否已适当地获取纹理的确定条件，可以排除其中存在由于用户的高速度移动而很可能留下模糊的纹理。

例如，在如图9所示的那样用户以高速度移动脚掌的运动的情况下，很可能在脚掌的纹理中留下模糊，并且确定未适当地获取纹理。

<导航的方法>

将参照图10至图16描述用于在防止遮挡区域的发生的同时获取纹理的导航的方法。

图10示出了允许可靠地获取侧面的纹理的运动的示例。例如，从侧面对在蹲下的同时执行举起和放下双手的运动的用户进行成像允许可靠地获取侧面的纹理。此时，可以呈现慢节奏运动，使得可以抑制模糊的发生，并且可以获取较高质量的纹理。注意，该运动对于初学者和有经验的用户是常见的，并且难度程度低。

图11示出了允许可靠地获取脚掌等的纹理的运动的示例。例如，从前面对正在执行诸如用一条腿蹲下并且向前转动另一条腿的脚掌的运动的用户进行成像允许可靠地获取脚掌等的纹理。注意，该运动针对有经验的用户，并且难度程度高。

图12示出了允许可靠地获取头部的顶部、腋窝等的纹理的运动的示例。例如，从前面对正面朝下趴着并且用户的头部朝前并且然后在举起双手的同时执行站起和跳跃的运动的用户进行成像允许可靠地获取头部的顶部、腋窝等的纹理。注意，该运动对于初学者和有经验的用户是常见的，并且难度程度低。

图13示出了允许可靠地获得头部顶部、腋窝等的纹理的运动的示例。例如，从前面对在从一侧到另一侧充分摆动双臂的同时执行用一只手在脚的外侧触摸地板的运动的用户进行成像允许可靠地获得头部的顶部、腋窝等的纹理。注意，该动作针对有经验的用户，并且难度程度高。

图14示出了允许可靠地获取背部的纹理的运动的示例。例如，对在执行交叉步的同时执行将用户的背部朝向感测设备12的RGB摄像装置转动的运动的用户进行成像允许可靠地获取背部的纹理。注意，该动作对于初学者和有经验的用户是常见的，并且是具有低难度程度的舞蹈。

图15示出了允许可靠地获取整个圆周的纹理的运动的示例。例如，对正在执行在足尖上旋转的运动的用户进行成像允许可靠地获取整个圆周的纹理。注意，该动作针对有经验的用户，并且是具有高难度程度的舞蹈。

图16示出了允许纹理的高覆盖和获取的运动的示例。例如，对在充分摆动双臂和双腿的同时执行转动全身的运动的用户进行成像允许纹理的高覆盖和可靠获取。注意，该运动针对有经验的用户，并且是具有高难度程度的舞蹈。

如上所述，运动生成单元53参考用户的属性和运动熟练程度来生成以下运动，在该运动中，对于要获取纹理的每个部分(即，还未获取纹理的区域)，设置诸如针对初学者或针对有经验的用户的难度程度。

<针对每个运动的适当纹理>

将参照图17至图21描述允许获取针对每个运动的适当纹理的位置和时间。

图17是示出当可以进行有效纹理获取的定时的示例。

在图17中，垂直轴表示由感测设备12的RGB摄像装置的主轴VD与多边形法线SN形成的角度θ，而水平轴表示多边形暴露在感测设备12的RGB摄像装置前面的时间t。然后，基于角度θ和时间t，获得当可以进行有效纹理获取的定时。

在图17中，当可以进行有效纹理获取的定时是当由感测设备12的RGB摄像装置的主轴VD与多边形法线SN形成的角度θ在+10°至-10°的范围内时，并且多边形暴露在感测设备12的RGB摄像装置前面的时间t在约5秒至约8秒的范围内。

可以通过例如模拟由感测设备12的RGB摄像装置的主轴VD与多边形法线SN形成的角度θ最小化的位置(取向)和定时，根据登记的运动来计算当可以进行有效纹理获取的这样的定时。例如，当登记运动时，以时间单位针对每个多边形来模拟角度θ。然后，计算取向的必要变化，使得可以在运动期间确保可以进行有效纹理获取的定时，或者运动发生在感测设备12的RGB摄像装置的正前方，并且因此由运动生成单元53生成运动。

图18示出了纹理获取状态可视化映射的示例。

例如，在用户已在一定时间段内自由地执行动作之后，纹理获取状态可视化映射创建单元74可以基于针对每个多边形的确定结果来创建纹理获取状态可视化映射。

在图18所示的示例中，根据由纹理获取条件确定单元73进行的确定的结果，创建纹理获取状态可视化映射，在该纹理获取状态可视化映射中，利用不同的阴影对遮挡区域(尚未成像)、时间不充足(例如，时间t小于1秒)的区域、角度不充足(例如，角度θ为10°或更大)的区域以及已经获取纹理的区域进行分类。当然，纹理获取状态可视化映射不限于图18所示的示例，并且例如，纹理获取状态可视化映射可以如在热图中根据由纹理获取条件确定单元73进行的确定的结果以不同颜色示出分类。

图19示出了针对初学者的运动的示例，并且图20示出了针对有经验的用户的运动的示例。

例如，考虑到要利用纹理填充的区域的优先级、在无法获取纹理的情况下的因素(距离d、角度θ和时间t)以及用户的属性和熟练程度，运动生成单元53可以通过组合记录在运动记录单元51中的各种运动来生成针对初学者的运动和针对有经验的用户的运动。例如，针对初学者的运动是如热身练习的缓慢动作，该缓慢动作是如图19所示的那样使腋窝、裆部等可见的移动。另一方面，例如，针对有经验的用户的运动是使腋窝、裆部等可见同时结合如图20所示的那样空手道套路(karate kata)的移动。

将参照图21描述最佳位置、取向和移动的速度的呈现。

例如，图21中所示的箭头是引导图像，由投影仪14将引导图像投影到地板表面上，以将用户引导至感测设备12可以执行感测的范围(由图示的交替的长虚线和短虚线限定的范围)。可以呈现这样的箭头以将用户引导至用于通过感测设备12捕获彩色图像和深度图像的最佳位置和取向。此外，可以使用视频、声音等来引导用户，使得可以实现最佳的移动速度。

例如，这允许通过对作为示例的运动的3D模型进行渲染获得的CG图像被显示在显示设备13上，并且用于引导用户的箭头被投影在投影仪14上，使得用户可以执行移动，以在用于由感测设备12进行的感测的最佳位置和取向处再现运动。

如上所述，3D图像系统11自动地确定是否已获取高质量纹理以及哪个区域未利用纹理填充，使得可以在没有拍摄者的情况下并且在进行自然移动的同时获取纹理。例如，在填充未成像的纹理区域的处理中，基于同一人的过去移动和在日常锻炼中执行的经登记的移动模式来确定最有效地帮助要填充纹理的区域的动作，并且提供导航。这允许在不迫使用户进行任何特殊移动的情况下获得具有高覆盖的纹理。

此外，在本实施方式中，当在简单拍摄系统环境下生成人的3D模型时，根据已输入的彩色图像和深度图像对用作被摄体的用户的诸如性别和年龄的属性进行分析。因此，可以执行例如基于移动的熟练程度的确定，以及3D模型的纹理的遮挡区域的确定，使得可以出于获取高清晰度纹理并且提高覆盖的目的而生成运动。此外，可以呈现用于引导用户到实际运动的导航，使得即使在没有拍摄者而自拍环境中，也可以在进行自然运动的同时生成3D模型(即，网格和纹理)。

<计算机的配置示例>

接下来，不仅可以通过硬件还可以通过软件执行上述一系列处理(信息处理方法)。当通过软件执行一系列处理时，构成软件的程序被安装在通用计算机等上。

图22是示出安装有用于执行上述一系列处理的程序的计算机的实施方式的配置示例的框图。

程序可以被预先记录在作为内置在计算机中的记录介质的硬盘105或ROM 103上。

替选地，程序可以被存储(记录)在由驱动器109驱动的可移除记录介质111中。诸如可移除记录介质111的可移除记录介质可以作为所谓的封装软件来提供。此处，可移除记录介质111的示例包括软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘和半导体存储器。

注意，程序可以如上所述从可移除记录介质111安装在计算机上，或者可以经由通信网络或广播网络下载到计算机，并且安装在内置硬盘105上。即，例如，程序可以经由用于数字卫星广播的人造卫星从下载站点被无线地传送至计算机，或者可以经由诸如局域网(LAN)或因特网的网络被有线地传送至计算机。

计算机具有内置中央处理单元(CPU)102，并且CPU 102经由总线101与输入/输出接口110连接。

当通过例如用户操作输入单元107经由输入/输出接口110输入命令时，CPU 102根据该命令执行在只读存储器(ROM)103中存储的程序。替选地，CPU 102将存储在硬盘105中的程序加载到随机存取存储器(RAM)104中，并执行程序。

因此，CPU 102执行根据上述流程图的处理或利用上述框图的配置执行的处理。然后，CPU 102使处理结果根据需要例如经由输入/输出接口110从输出单元106输出、从通信单元108发送或者被记录在硬盘105上。

注意，输入单元107由键盘、鼠标、麦克风等构成。此外，输出单元106由液晶显示器(LCD)、扬声器等构成。

此处，在本说明书中，要由计算机根据程序执行的处理不总是需要按流程图中所描述的时间顺序执行。即，要由计算机根据程序执行的处理还包括并行执行或单独执行的多个处理(例如，并行处理或者由对象进行的处理)。

此外，程序可以由一台计算机(处理器)处理，或者可以由多台计算机通过分布式处理来处理。此外，程序可以被传送至远程计算机并且被执行。

此外，在本说明书中，系统是指一组多个部件(设备、模块(部件)等)，并且所有部件是否在同一壳体中并不重要。因此，容纳在单独的壳体中并且经由网络进行连接的多个设备以及具有容纳在一个壳体中的多个模块的一个设备都是系统。

此外，例如，被描述为一个设备(或处理单元)的配置可以被划分并且被配置为多个设备(或处理单元)。相反，以上被描述为多个设备(或处理单元)的配置可以被组合并且被配置为一个设备(或处理单元)。此外，当然，可以将除了上述那些配置之外的配置添加到设备(或处理单元)的配置。此外，只要整个系统的配置和操作保持基本相同，则某个设备(或处理单元)的配置的一部分可以被包括在另一设备(或另一处理单元)的配置中。

此外，例如，本技术可以具有云计算配置，在该云计算配置中，多个装置共享一个功能并且在经由网络协作进行处理。

此外，例如，上述程序可以由任意设备执行。在这种情况下，设备仅需要具有必要的功能(功能块等)并且能够获得必要的信息。

此外，例如，在上述流程图中描述的每个步骤可以由一个设备执行或者可以由多个设备共享。此外，当在一个步骤中包括多个处理时，该步骤中包括的多个处理可以由一个设备执行或可以由多个设备共享。换言之，可以将包括在一个步骤中的多个处理作为多个步骤来处理。相反，描述为多个步骤的处理可以作为一个步骤被集中执行。

注意，要由计算机执行的程序可以被配置成使得按本说明书中所描述的时间顺序来处理所描述的步骤，或者在需要时(例如，在进行呼叫时)并行地处理或者单独地处理步骤。即，只要不产生矛盾，可以以与上述顺序不同的顺序处理步骤。此外，程序可以被配置成使得所描述的步骤与另一程序的处理并行地处理，或者可以与另一程序的处理组合地执行。

注意，只要不产生矛盾，与本说明书中描述的本技术相关的多种技术中的每一种可以独立地并且单独地执行。当然，与本技术相关的任何两种或更多种技术可以一起使用并执行。例如，在实施方式中的任何一个实施方式中描述的与本技术相关的技术中的一些或全部可以与另一实施方式中描述的与本技术相关的技术中的一些或全部组合地执行。此外，与以上描述的本技术相关的任何技术中的一些或全部可以与以上未描述的另一技术组合地执行。

<配置的组合的示例>

注意，本技术也可以如下所述来配置。

(1)一种信息处理装置，包括：

运动生成单元，其基于构成用户的3D模型的纹理的获取状态来生成用于对未获取所述纹理的区域进行成像的运动；以及

导航执行单元，其提供用于使所述用户根据由所述运动生成单元生成的运动执行动作的导航。

(2)

根据(1)所述的信息处理装置，还包括：

属性估计单元，其估计所述用户的属性和移动熟练程度；

其中，所述运动生成单元通过参考由所述属性估计单元估计的所述用户的属性和移动熟练程度来生成所述运动。

(3)

根据(1)或(2)所述的信息处理装置，还包括：

确定单元，其针对构成所述3D模型的网格的每个多边形，确定是否已适当地获取所述纹理，

其中，所述运动生成单元通过参考如下区域来生成所述运动，所述区域被所述确定单元确定为未适当地获取所述纹理的区域。

(4)

根据(3)所述的信息处理装置，还包括

映射创建单元，其基于由所述确定单元进行确定的结果来创建使得所述纹理的获取状态可视化的映射。

(5)

根据(4)所述的信息处理装置，其中，

所述映射创建单元在所述映射上针对导致无法获取所述纹理的每个因素执行可视化。

(6)

根据(3)至(5)中任一项所述的信息处理装置，其中，

所述确定单元使用由对所述用户进行成像的成像设备的主轴和要进行确定的所述多边形的法线形成的角度，作为用于确定是否已适当地获取所述纹理的确定条件。

(7)

根据(3)至(6)中任一项所述的信息处理装置，其中，

所述确定单元使用要进行确定的所述多边形已暴露在对所述用户进行成像的成像设备前面的时间，作为用于确定是否已适当地获取所述纹理的确定条件。

(8)

根据(3)至(7)中任一项所述的信息处理装置，其中，

所述确定单元使用从对所述用户进行成像的成像设备到要进行确定的所述多边形的距离，作为用于确定是否已适当地获取所述纹理的确定条件。

(9)

一种信息处理方法，包括通过执行3D模型生成处理的信息处理装置进行以下操作：

基于构成用户的3D模型的纹理的获取状态来生成用于对未获取所述纹理的区域进行成像的运动；以及

提供用于使所述用户根据所生成的运动执行动作的导航。

(10)

一种程序，所述程序用于使执行3D模型生成处理的信息处理装置的计算机执行包括以下操作的处理：

基于构成用户的3D模型的纹理的获取状态来生成用于对未获取所述纹理的区域进行成像的运动；以及

提供用于使所述用户根据所生成的运动执行动作的导航。

注意，本实施方式不限于上述实施方式，并且可以在本公开的范围内以各种方式进行修改。此外，在本文中描述的效果仅是说明性的并且不旨在是限制性的，并且可以获得其他效果。

附图标记列表

11 3D图像系统

12 感测设备

13 显示设备

14 投影仪

15 信息处理装置

21 图像获取单元

22 图像信息分析单元

23 运动跟踪单元

24 建模单元

25 运动呈现单元

26 渲染单元

27 输出控制单元

28 纹理获取处理单元

31 特征量检测单元

32 属性估计单元

41 网格生成单元

42 纹理生成单元

51 运动记录单元

52 运动分析单元

53 运动生成单元

61 显示控制单元

62 投影控制单元

71 导航执行单元

72 模拟单元

73 纹理获取条件确定单元

74 纹理获取状态可视化映射创建单元

Claims (10)

1.一种信息处理装置，包括：

运动生成单元，其基于构成用户的3D模型的纹理的获取状态来生成用于对未获取所述纹理的区域进行成像的运动；以及

导航执行单元，其提供用于使所述用户根据由所述运动生成单元生成的运动执行动作的导航。

2.根据权利要求1所述的信息处理装置，还包括：

属性估计单元，其估计所述用户的属性和移动熟练程度；

其中，所述运动生成单元通过参考由所述属性估计单元估计的所述用户的属性和移动熟练程度来生成所述运动。

3.根据权利要求1所述的信息处理装置，还包括：

确定单元，其针对构成所述3D模型的网格的每个多边形，确定是否已适当地获取所述纹理，

其中，所述运动生成单元通过参考如下区域来生成所述运动，所述区域被所述确定单元确定为未适当地获取所述纹理的区域。

4.根据权利要求3所述的信息处理装置，还包括：

映射创建单元，其基于由所述确定单元进行确定的结果来创建使得所述纹理的获取状态可视化的映射。

5.根据权利要求4所述的信息处理装置，其中，

所述映射创建单元在所述映射上针对导致无法获取所述纹理的每个因素执行可视化。

6.根据权利要求3所述的信息处理装置，其中，

所述确定单元使用由对所述用户进行成像的成像设备的主轴和要进行确定的所述多边形的法线形成的角度，作为用于确定是否已适当地获取所述纹理的确定条件。

7.根据权利要求3所述的信息处理装置，其中，

所述确定单元使用要进行确定的所述多边形已暴露在对所述用户进行成像的成像设备前面的时间，作为用于确定是否已适当地获取所述纹理的确定条件。

8.根据权利要求3所述的信息处理装置，其中，

所述确定单元使用从对所述用户进行成像的成像设备到要进行确定的所述多边形的距离，作为用于确定是否已适当地获取所述纹理的确定条件。

9.一种信息处理方法，包括通过执行3D模型生成处理的信息处理装置进行以下操作：

基于构成用户的3D模型的纹理的获取状态来生成用于对未获取所述纹理的区域进行成像的运动；以及

提供用于使所述用户根据所生成的运动执行动作的导航。

10.一种程序，所述程序用于使执行3D模型生成处理的信息处理装置的计算机执行包括以下操作的处理：

基于构成用户的3D模型的纹理的获取状态来生成用于对未获取所述纹理的区域进行成像的运动；以及

提供用于使所述用户根据所生成的运动执行动作的导航。

Images