CN109559370A - 一种三维建模方法及装置 - Google Patents

Abstract

一种三维建模方法及装置，该方法包括：接收穿戴式设备发送的第一坐标信息，所述第一坐标信息为所述穿戴式设备与真实物体接触时的接触点的位置信息；根据所述第一坐标信息，构建所述真实物体的三维模型；接收所述穿戴式设备发送的所述穿戴式设备对所述真实物体的操作信息；根据所述操作信息对所述三维模型进行操作。这种方式中，构建真实物体的三维模型所采用的第一坐标信息和构建出三维模型之后穿戴式设备对真实物体的进一步的操作信息均是由穿戴式设备获取的，即在同一坐标系下获取的，有助于提高触觉反馈的准确性。

Description

一种三维建模方法及装置

技术领域

本发明实施例涉及虚拟现实技术领域，尤其涉及一种三维建模方法及装置。

背景技术

虚拟现实(virtual reality，VR)技术是近年来新兴的多媒体技术，即通过计算机仿真技术为用户创建一个虚拟世界。通常，VR系统包括虚拟现实主机和虚拟现实显示器。虚拟现实显示器一般为头盔式可视设备(head mounted display，HMD)或者眼镜式可视设备。虚拟现实主机可以构建真实物体的三维模型，并将该三维模型发送给虚拟现实显示器，用户通过虚拟现实显示器便可在虚拟世界中看到真实物体对应的三维模型。

以虚拟现实主机具体是手机为例，用户可以将手机与HMD连接。目前，VR系统构建真实物体的三维模型的方式为：当用户佩戴HMD时，HMD上的图像采集装置获取真实物体的二维图像，然后将这些二维图像发送给手机，手机将这些二维图像进行处理得到真实物体对应的三维模型。

随着VR技术的发展，为了使得用户能够和虚拟世界进行互动，VR系统中除了虚拟现实主机和虚拟现实显示器，还增加了VR数据手套。下面介绍用户佩戴VR数据手套与虚拟世界的交互过程。

继续沿用上述例子进行描述，虚拟现实主机对真实物体进行重建之后，还可以对用户的手进行重建，重建方式为：用户佩戴VR数据手套，由于VR数据手套上设置有传感器，所述VR数据手套可以获得用户的手的位置信息，然后将用户的手的位置信息发送于手机，手机将这些位置信息进行重建得到用户的手的三维模型，所以用户就可以在虚拟世界看到自己的手。当虚拟现实主机获得的用户的手的位置信息与真实物体的三维模型所在的位置信息有部分重合时，用户便可以在虚拟世界中看到用户的手的三维模型触摸到了真实物体对应的三维模型。

但实际上，用户的手的位置信息是通过VR数据手套获得的，而真实物体的位置信息是通过HMD上的图像采集模块获取的，即，用户的手和真实物体的位置信息并非在一个坐标系下获得的。因此，有可能出现一种情况，即用户在虚拟世界中看到自己的手已经与三维模型接触到，但是在真实世界中用户的手并没有触摸到真实物体，即无法准确的提供触觉反馈，进而导致用户体验较差。

发明内容

本发明实施例提供一种三维建模方法及装置，用以提高触觉反馈的准确性。

第一方面，本发明实施例提供一种三维建模方法，该方法包括：接收穿戴式设备发送的第一坐标信息，所述第一坐标信息为所述穿戴式设备与真实物体接触时的接触点的位置信息；根据所述第一坐标信息，构建所述真实物体的三维模型；接收所述穿戴式设备发送的所述穿戴式设备对所述真实物体的操作信息；根据所述操作信息对所述三维模型进行操作。

在本发明实施例中，若将该方法应用于VR系统中，则该方法由虚拟现实主机执行，即用户佩戴穿戴式设备触摸真实物体时，穿戴式设备可以采集自身与真实物体的接触点的第一坐标信息，并将第一坐标信息发送于虚拟现实主机。虚拟现实主机根据第一坐标信息构建真实物体的三维模型，然后虚拟现实主机接收穿戴式设备发送的穿戴式设备自身对真实物体的操作信息，并根据操作信息对三维模型进行操作。在该方法中，构建真实物体的三维模型所采用的第一坐标信息和构建出三维模型之后穿戴式设备对真实物体的进一步的操作信息均是由穿戴式设备自身获取的，即在同一坐标系下获取的，有助于提高触觉反馈的准确性。

在一个可能的设计中，在根据所述第一坐标信息，构建所述真实物体的三维模型之后，所述方法还包括：在所述三维模型的表面显示一虚拟界面；接收所述穿戴式设备发送的所述穿戴式设备对所述真实物体的操作信息，包括：接收所述穿戴式设备发送的第二坐标信息，所述第二坐标信息为所述穿戴式设备在所述真实物体表面进行操作的操作点的位置信息；根据所述操作信息对所述三维模型进行操作，包括：若所述第二坐标信息位于所述虚拟界面中操作控件的第三坐标信息所指示的区域中，则触发所述操作控件。

在本发明实施例中，虚拟现实主机可以在三维模型表现显示一虚拟界面，即用户在虚拟世界看到表明承载有虚拟界面的三维模型，用户可以通过穿戴式设备在真实物体表面的操作，进而实现在虚拟世界中对三维模型表面的虚拟界面的“操作”。例如，穿戴式设备采集自身在真实物体表面进行操作的操作点的第二坐标信息，并将第二坐标信息发送于虚拟现实主机，若第二坐标信息位于虚拟界面中操作控件的第三坐标信息所指示的区域中，则触发操作控件。通过这种方式，用户在真实世界中对真实物体的操作，可以映射到虚拟世界中对三维模型的操作，由于构建真实物体的三维模型所采用的第一坐标信息和构建出三维模型之后穿戴式设备对真实物体的进一步的操作信息都是由穿戴式设备自身获取的，即在同一坐标系下获取的，所以不会出现用户在虚拟世界看到自己的手已经与虚拟界面接触到，但在真实世界中用户的手并没有接触到到真实物体的情况，使用户触摸虚拟界面的同时触摸到真实物体的表面，提高了触觉反馈的准确性。

在一个可能的设计中，所述方法还包括：获取现实世界中所述真实物体的特征信息；根据所述特征信息对所述三维模型进行处理，其中，所述特征信息包括为所述真实物体的颜色信息和/或亮度信息。

在本发明实施例中，虚拟现实主机可以获取真实物体的特征信息，并根据特征信息对三维模型进行处理。通过这种方式，使得构建出的三维模型尽可能的接近真实物体，提高用户体验感。

在一个可能的设计中，根据所述第一坐标信息，构建所述真实物体的三维模型，包括：根据所述第一坐标信息构建所述真实物体外表面的点云信息；根据所述点云信息确定所述三维模型。

在本发明实施例中，虚拟现实主机可以根据第一坐标信息构建真实物体外表面的点云信息，进而根据点云信息确定三维模型。在这种方式中，第一坐标信息能较为准确的反映真实物体的外表面的轮廓，使得构建出的三维模型尽可能的接近真实物体，提高用户体验感。

第二方面，本发明实施例还提供一种三维建模方法，该方法包括：获取用户的身体部位与真实物体接触时的接触点的第一坐标信息；根据所述第一坐标信息，构建所述真实物体的三维模型；获取所述用户的身体部位对所述真实物体的操作信息；根据所述操作信息对所述三维模型进行操作。

在本发明实施例中，若将该方法应用于VR系统中，则该方法由虚拟现实主机执行，即虚拟现实主机获取用户的身体部位与真实物体的接触点的第一坐标信息，并根据第一坐标信息构建真实物体的三维模型，然后虚拟现实主机获取用户的身体部位对真实物体的操作信息，并根据操作信息对三维模型进行操作。在该方法中，用户无需佩戴任何穿戴式设备，可直接触摸真实物体来构建真实物体的三维模型，并且，用户的身体部位对真实物体的操作可以映射到虚拟世界中对三维模型的操作，提高用户与虚拟世界交互的真实感。

在一个可能的设计中，获取用户的身体部位与真实物体接触时的接触点的第一坐标信息，包括：接收图像传感器发送的第一图像；从所述第一图像中确定所述用户的身体部位与所述真实物体的接触点的第一坐标信息；获取所述用户的身体部位对所述真实物体的操作信息，包括：接收所述图像传感器发送的第二图像；从所述第二图像中确定所述用户的身体部位对所述真实物体的操作信息。

在本发明实施例中，虚拟现实主机构建真实物体的三维模型采用的第一坐标信息和用户的身体部位对真实物体的操作信息均是由图像传感器获取的，即在同一坐标系下获取的，所以有助于提高触觉反馈的准确性。

在一个可能的设计中，在根据所述第一坐标信息，构建所述真实物体的三维模型之后，所述方法还包括：在所述三维模型的表面显示一虚拟界面；获取所述用户的身体部位对所述真实物体的操作信息，包括：获取所述用户的身体部位在所述真实物体表面进行操作的操作点的第二坐标信息；所述根据所述操作信息对所述三维模型进行操作，包括：若所述第二坐标信息位于所述虚拟界面中的操作控件的第三坐标信息所指示的区域中，则触发所述操作控件。

在本发明实施例中，虚拟现实主机可以在三维模型表现显示一虚拟界面，即用户在虚拟世界看到表明承载有虚拟界面的三维模型，用户可以直接在真实物体的表面进行操作，进而实现在虚拟世界中对三维模型表面的虚拟界面的“操作”。例如，虚拟现实主机获取到用户的身体部位在真实物体表面进行操作的操作点的第二坐标信息，若第二坐标信息位于虚拟界面中操作控件的第三坐标信息所指示的区域中，则触发操作控件。通过这种方式，用户在真实世界中对真实物体的操作，可以映射到虚拟世界中对三维模型的操作，由于构建真实物体的三维模型所采用的第一坐标信息和构建出三维模型之后穿戴式设备对真实物体的进一步的操作信息都是由图像传感器获取的，即在同一坐标系下获取的，所以不会出现用户在虚拟世界看到自己的手已经与虚拟界面接触到，但在真实世界中用户的手并没有接触到到真实物体的情况，使用户触摸虚拟界面的同时触摸到真实物体的表面，提高了触觉反馈的准确性。

在一个可能的设计中，所述方法还包括：获取现实世界中所述真实物体的特征信息；根据所述特征信息对所述三维模型进行处理，其中，所述特征信息包括为所述真实物体的颜色信息和/或亮度信息。

在本发明实施例中，虚拟现实主机可以获取真实物体的特征信息，并根据特征信息对三维模型进行处理。通过这种方式，使得构建出的三维模型尽可能的接近真实物体，提高用户体验感。

在一个可能的设计中，根据所述第一坐标信息，构建所述真实物体的三维模型，包括：根据所述第一坐标信息构建所述真实物体外表面的点云信息；根据所述点云信息确定所述三维模型。

在本发明实施例中，虚拟现实主机可以根据第一坐标信息构建真实物体外表面的点云信息，进而根据点云信息确定三维模型。在这种方式中，第一坐标信息能较为准确的反映真实物体的外表面的轮廓，使得构建出的三维模型尽可能的接近真实物体，提高用户体验感。

第三方面，本发明实施例还提供一种三维建模装置。该三维建模装置具有实现上述方法设计中虚拟现实主机的功能。这些功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。

在一个可能的设计中，三维建模装置的具体结构可包括接收单元和处理单元。这些单元可执行上述第一方面或第一方面的任意一种可能的设计所提供的方法中的相应功能。

第四方面，本发明实施例还提供一种三维建模装置。该三维建模装置具有实现上述方法设计中虚拟现实主机的功能。这些功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。

在一个可能的设计中，三维建模装置的具体结构可包括获取单元和处理单元。这些单元可执行上述第二方面或第二方面的任意一种可能的设计所提供的方法中的相应功能。

第五方面，本发明实施例还提供一种三维建模装置。该三维建模装置具有实现上述方法设计中虚拟现实主机的功能。这些功能可以通过硬件实现。该三维建模装置包括：存储器，用于存储计算机可执行程序代码；处理器，处理器与存储器耦合。其中存储器所存储的程序代码包括指令，当处理器执行所述指令时，所述指令使三维建模装置执行上述第一方面或第一方面的任意一种可能的设计中三维建模装置所执行的方法。

第六方面，本发明实施例还提供一种三维建模装置。该三维建模装置具有实现上述方法设计中虚拟现实主机的功能。这些功能可以通过硬件实现。该三维建模装置包括：存储器，用于存储计算机可执行程序代码；处理器，处理器与存储器耦合。其中存储器所存储的程序代码包括指令，当处理器执行所述指令时，所述指令使三维建模装置执行上述第二方面或第二方面的任意一种可能的设计中三维建模装置所执行的方法。

第七方面，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的三维建模方法。

第八方面，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第二方面所述的三维建模方法。

第九方面，本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的三维建模方法。

第十方面，本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面所述的三维建模方法。

在本发明实施例中，用户佩戴穿戴式设备触摸真实物体时，穿戴式设备可以采集自身与真实物体的接触点的第一坐标信息，并将第一坐标信息发送于虚拟现实主机。虚拟现实主机根据第一坐标信息构建真实物体的三维模型，然后虚拟现实主机接收穿戴式设备发送的穿戴式设备自身对真实物体的操作信息，并根据操作信息对三维模型进行操作。在该方法中，构建真实物体的三维模型所采用的第一坐标信息和构建出三维模型之后穿戴式设备对真实物体的进一步的操作信息均是由穿戴式设备自身获取的，即在同一坐标系下获取的，有助于提高触觉反馈的准确性。

附图说明

图1为本发明实施例提供的一种VR系统的架构图；

图2为本发明实施例提供的一种三维建模方法的流程图；

图3为本发明实施例提供的虚拟现实主机建构真实物体的三维模型的示意图；

图4为本发明实施例提供的真实物体与虚拟物体的对比图；

图5为本发明实施例提供的另一种三维建模方法的流程图；

图6为本发明实施例提供的一种三维建模装置的结构示意图；

图7为本发明实施例提供的一种三维建模装置的结构示意图；

图8为本发明实施例提供的一种三维建模装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例提供的技术方案进行清楚、完整地描述。

以下，对本发明实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

(1)虚拟现实技术，是一种可以利用计算机仿真技术生成虚拟世界的技术，用户可以沉浸于该虚拟世界，并且与该虚拟世界进行交互。通常，VR系统包括虚拟现实主机和虚拟现实显示器。

(2)虚拟现实主机，是VR系统中重要的设备，用来构建真实物体的三维模型，并将三维模型发送于虚拟现实显示器。虚拟现实主机可以是电视机、笔记本电脑、智能手机等电子设备。虚拟现实主机也可以被称为虚拟现实服务器等。

(3)虚拟现实显示器，是VR系统中重要的设备。虚拟现实显示器通常包括左右两个眼镜，各自独立分开，使得人的左右眼获取信息有差异，例如左右眼屏幕分别显示左右眼的不同的图像，人眼获取这种带有差异的信息后在脑海中产生立体感。为了方便用户使用，虚拟现实显示器通常设置于结构为头盔式或眼镜式的设备上。

(4)增强现实(augmented reality，AR)技术，简单来说，AR技术是通过模拟仿真技术得到虚拟物体(图标、文字等)，并将虚拟物体叠加到真实世界，即用户体验到真实世界的同时也可以看到虚拟物体。通常，AR系统中包括增强现实显示器、增强现实主机。增强现实主机需要构建真实物体的三维模型，并将虚拟物体准确的叠加到真实物体的三维模型上，使用者通过增强现实显示器便可以看到叠加有虚拟物体的真实世界。

(5)穿戴式设备，是用户与虚拟物体(三维模型)进行交互的重要设备，例如VR数据手套。VR数据手套上设置有多种传感器，例如弯曲传感器、定位传感器等。弯曲传感器可以检测用户的手的弯曲动作，定位传感器可以定位用户的手的位置信息。因此，由于VR数据手套的作用，用户的手在真实世界中的运动行为例如移动或旋转等可以映射到虚拟世界中，即用户可以在虚拟世界中看到自己的手也在移动或旋转。穿戴式设备可以应用于VR系统，也可以应用于AR系统。

(6)另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。且在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

为更好地介绍本发明实施例中的三维建模方法，下面首先介绍本发明实施例的一种应用场景，即VR系统的系统架构。如图1所示，VR系统包括虚拟现实主机和虚拟现实显示器。其中，虚拟现实主机以手机为例，虚拟现实显示器以HMD为例，HMD与手机连接。

前面已经提到过，VR系统和AR系统都需要构建真实物体的三维模型，所以本发明实施例提供的三维建模方式既可以适用于VR系统，也可以应用于AR系统，或者未来可能有的其它的需要构建真实物体的三维模型的系统，若应用于VR系统，则本发明实施例提供的三维建模方法由虚拟现实主机执行，若应用于AR系统，则本发明实施例提供的三维建模方法由增强现实主机执行。在本文的介绍中，主要以VR系统为例进行说明。

目前，VR系统构建真实物体的三维模型的方式为：用户佩戴HMD，HMD上的图像采集装置获取真实物体的二维图像，然后将这些二维图像发送给手机，手机将这些二维图像进行处理得到真实物体对应的三维模型。手机将得到的三维模型发送于虚拟现实显示器，用户便可在虚拟世界中看到真实物体对应的三维模型。

随着VR技术的发展，为了使得用户能够和虚拟世界进行互动，VR系统中除了虚拟现实主机和虚拟现实显示器，还增加了VR数据手套(图1未示出)。下面介绍用户佩戴VR数据手套与虚拟世界的交互过程。

继续沿用上述例子进行描述，虚拟现实主机对真实物体进行重建之后，还可以对用户的手进行重建，重建方式为：用户佩戴VR数据手套，由于VR数据手套上设置有传感器，所述VR数据手套可以获得用户的手的位置信息，然后将用户的手的位置信息发送于手机，手机根据这些位置信息构建用户的手的三维模型，所以用户就可以在虚拟世界看到自己的手对应的三维模型。当虚拟现实主机获得的用户的手的位置信息与真实物体的三维模型所在的位置信息有部分重合时，用户便可以在虚拟世界中看到用户的手的三维模型触摸到了真实物体对应的三维模型。

但是实际上，用户的手的位置信息是通过VR数据手套获得的，而真实物体的位置信息是通过HMD上的图像采集模块获取的，即，用户的手和真实物体的位置信息并非在一个坐标系下获得的。因此，有可能出现一种情况，即用户在虚拟世界中看到自己的手已经与三维模型接触到，但是在真实世界中用户的手并没有触摸到真实物体，即无法准确的提供触觉反馈，进而导致用户体验较差。

为了解决该技术问题，本发明实施例提供一种三维建模方法，以将该方法应用在图1所示的VR架构为例，在该方法中，用户佩戴穿戴式设备触摸真实物体时，穿戴式设备可以采集自身与真实物体的接触点的坐标信息，并将这些坐标信息发送于虚拟现实主机。虚拟现实主机根据这些坐标信息构建真实物体的三维模型，虚拟现实主机可以接受穿戴式设备发送的穿戴式设备与真实物体的操作信息，并根据这些操作信息对三维模型进行操作。在这种方法中，虚拟现实主机构建真实物体的三维模型的方式较为简单，无需在HMD上增设图像采集装置来对真实物体进行拍摄，用户只需要佩戴穿戴式设备触摸真实物体即可得到真实物体的三维模型，而且用户可以通过穿戴式设备对真实物体进行操作，进而实现在虚拟世界中对三维模型进行操作的目的。由于构建真实物体的三维模型的坐标信息是通过穿戴式设备采集的，构建真实物体的三维模型之后，对真实物体的操作信息也是由穿戴式设备采集的，即在同一坐标系下获取的，所以有助于提高触觉反馈的准确性。具体请参考图2，为本发明实施例提供的三维建模方法的流程图。在下文的介绍过程中，以将该方法应用在图1所示的VR架构为例。该方法的流程描述如下：

S201:虚拟现实主机接收穿戴式设备发送的第一坐标信息，该第一坐标信息为穿戴式设备与真实物体接触时的接触点的位置信息。

在本发明实施例中，穿戴式设备并不限定于VR数据手套，还可以是其它设备例如VR腕式设备等。本文将具体以穿戴式设备是VR数据手套为例进行说明。

在S201之前，若用户佩戴VR数据手套触摸真实物体，VR数据手套可以采集自身与真实物体的接触点的第一坐标信息。一种可能的实现方式为：VR数据手套上可以设置有多种传感器，例如压力传感器和定位传感器。当用户佩戴VR数据手套触摸真实物体时，VR数据手套与真实物体的接触点时，VR数据手套表面会有压力变化，所以压力传感器可以确定VR数据手套与真实物体接触，进一步，定位传感器可以准确定位接触点的第一坐标信息。在这种方式下，虚拟现实主机获得的第一坐标信息等于真实物体表面的坐标信息，所以虚拟现实主机构建的三维模型可以较为准确的反映真实物体。当然，还可以有其它的实现方式，本发明实施例对此不作具体的限定。

在本发明实施例中，用户佩戴VR数据手套触摸真实物体时，可以触摸真实物体的全部外表面，当然也只触摸真实物体外表面的部分区域。真实物体的体积较小时例如真实物体具体是一个网球，用户佩戴VR数据手套可以触摸到网球的全部外表面。真实物体的体积较大时例如真实物体具体是一张桌子，用户佩戴VR数据手套进行触摸时，可能并没有触摸到桌子的每个地方，而是只触摸了桌面部分。那么虚拟现实主机根据构建的三维模型便是桌面部分对应的三维模型。

前面已经提到过，目前的VR系统构建真实物体的三维模型的方式为：当用户佩戴HMD时，HMD上的图像采集装置获取真实物体的二维图像，然后将这些二维图像发送给手机，手机将这些二维图像进行处理得到真实物体对应的三维模型。因此，为了能够完整的重建真实物体的三维模型，用户需要移动位置进而对真实物体进行360度的拍摄。而在本发明实施例中，用户只需要佩戴VR数据手套触摸真实物体的表面即可，无需移动位置也可以实现对真实物体进行重建，用户操作较为简便，体验较好。

穿戴式设备采集到自身与真实物体接触时的接触点的第一坐标信息之后，可以将第一坐标信息发送于虚拟现实主机。相应的，虚拟现实主机接收穿戴式设备发送的第一坐标信息，即S201。

在本发明实施例中，虚拟现实主机和穿戴式设备之间的连接方式可以有多种，例如无线连接(wifi连接)、有线连接等。

S202:虚拟现实根据第一坐标信息，构建真实物体的三维模型。

在本发明实施例中，S202的实现过程可以分两步进行，第一步，虚拟现实主机根据第一坐标信息，构建真实物体的外表面的点云信息；第二步，虚拟现实主机根据点云信息确定真实物体的三维模型。

在第一步中，虚拟现实主机将接收的坐标信息在三维空间中标出，例如将每个坐标信息对应的坐标点标出，进而得到真实物体的三维模型的外表面的点云信息。点云信息能够指示真实物体的大致轮廓。

在第二步中，虚拟现实主机可以对点云信息进行网格处理，得到真实物体的三维模型。这里的网格处理，即将点云信息中相邻的点进行连接，以构成网格。若点云信息比较密集，那么经过网格处理后的点云信息便可形成真实物体的网格模型，该网格模型与真实物体的外表面较为符合，即该网格模型可以直接作为真实物体的三维模型。当然，虚拟现实主机还可以在得到真实物体的网格模型之后，对该网格模型进行预处理，以得到真实物体的最终的三维模型。下面介绍虚拟现实主机对网格模型进行预处理的一种可能的实现方式。

在本发明实施例中，虚拟现实主机可以获取真实物体的特征信息，然后根据这些特性信息对网格模型进行处理，得到真实物体最终的三维模型。

在本发明实施例中，特征信息可以是真实物体的亮度信息或颜色信息等。虚拟现实主机获取真实物体的特征信息的方式可以有多种。例如，在虚拟现实主机或者HMD上设置图像拍摄装置，对真实物体进行拍摄，图像拍摄装置将拍摄得到的图像发送于虚拟现实主机，虚拟现实主机从这些图像中提取真实物体的颜色信息或亮度信息等，然后对网格模型进行处理，使得得到的最终的三维模型尽可能的与真实物体的外观较为接近。通过这种方式构建的真实物体的三维模型与真实物体差异较小，进而使得用户在虚拟世界看到的三维模型更有真实感。

以真实物体是网球为例，图3示出了虚拟现实主机构建真实物体的三维模型的示意图。如图3所示，用户佩戴VR数据手套触摸网球，VR数据手套采集自身与网球接触时的接触点的坐标信息，并将这些坐标信息发送于虚拟现实主机，虚拟现实主机根据这些坐标信息构建网球外表面的点云信息，然后对点云信息进行网格处理，得到网格模型，这个网格模型便可作为网球的三维模型，那么用户便可以在虚拟世界看到网球的三维模型。

S203:虚拟现实主机接收穿戴式设备发送的穿戴式设备对真实物体的操作信息。

前面已经提到过，用户佩戴穿戴式设备触摸真实物体时，虚拟现实主机根据穿戴式设备发送的第一坐标信息构建出真实物体的三维模型，在实际操作过程中，用户佩戴穿戴式设备还可以对真实物体进行进一步的操作，例如移动、挤压、旋转等等。

举例来说，用户佩戴VR数据手套触摸网球之后，虚拟现实主机构建出网球的三维模型，即用户在虚拟世界看到网球的三维模型，若在真实世界中，用户佩戴VR数据手套挤压网球，那么VR数据手套可以采集自身对网球挤压的作用点的坐标信息以及作用力的大小等操作信息，并将这些操作信息发送于虚拟现实主机，虚拟现实主机根据这些操作信息对网球的三维模型进行操作。

S204:虚拟现实主机根据操作信息对三维模型进行操作。

作为一种示例，虚拟现实主机构建出真实物体的三维模型之后，可以在三维模型的外表面显示一虚拟界面，即用户在虚拟世界中看到表面承载有虚拟界面的三维模型。这里的虚拟界面可以有多种，以虚拟界面是手机为例，虚拟界面可以是手机的主操作界面，在该主操作界面中包含各种应用程序的显示图标等。或者，虚拟界面也可以是手机中某个应用程序的操作界面，例如微信的操作界面、新浪微博的操作界面等等。或者，虚拟界面还可以是手机中的图片、视频等。

在本发明实施例中，虚拟现实主机在三维模型的外表面显示一虚拟界面可以具体是在三维模型的外表面上的部分区域上显示虚拟界面。例如，真实物体是正方体，那么虚拟现实主机构建的真实物体的三维模型也是正方体。虚拟现实主机可以将虚拟界面显示于构建的三维模型(正方形)的六个外表面中的某一个侧面，例如可以将虚拟界面显示于三维模型的外表面中便于用户操作的一个侧面。在实际操作过程中，虚拟现实主机构建真实物体的三维模型之后，可以确定在三维模型的外表面中的哪一个侧面显示虚拟界面，然后虚拟现实主机可以检测这个侧面的尺寸，并按照该尺寸调整虚拟界面的尺寸，使得显示的虚拟界面的尺寸小于或等于确定出的侧面的尺寸。

当然，虚拟现实主机还可以是三维模型的外表面的上的全部区域显示虚拟界面，例如真实物体是球体，那么虚拟现实主机构建的真实物体对应的三维模型也是球体。如果虚拟界面是全球地图，那么虚拟现实主机可以将该全球地图投射于该球体的三维模型的全部外表面。因此，在实际操作过程中，主机可以根据实际情况确定要将虚拟界面显示于三维模型表面上的全部区域还是部分区域。

在本发明实施例中，虚拟现实主机在三维物体的表面显示虚拟界面之后，可以确定虚拟界面中每个操作控件的坐标信息，并将每个操作控件的坐标信息存储，以便使用。当虚拟现实主机获取穿戴式设备在真实物体表面的操作点的第二坐标信息时，可以判断第二坐标信息是否位于虚拟界面中某个操作控件的第三坐标信息所指示的区域中，若是，则虚拟现实主机触摸这个操作控件。

以虚拟现实主机是手机为例，真实物体是桌子为例。图4示出了虚拟现实主机在三维模型表面显示虚拟界面的示意图。请参见图4，手机构建桌子的桌面部分(用户佩戴VR数据手套只触摸桌面部分)的三维模型之后，可以将虚拟界面显示三维模型的外表面，虚拟界面可以是手机的主操作界面，其中包含手机中的各个应用程序的图标。因此，用户在虚拟世界中看到的是桌面部分的三维模型，并且在其外表面上承载有手机的主操作界面。

用户在虚拟世界中看到表面承载有手机的主操作界面的三维模型时，可以“触摸”虚拟界面中的操作控件来实现相应的功能。请继续参见图4，用户佩戴VR数据手套在真实世界中的桌面部分上进行点击操作，VR数据手套获取自身在桌面部分的操作点的第二坐标信息，并将该第二坐标信息发送于虚拟现实主机，虚拟现实主机判断该操作点的第二坐标信息是否位于虚拟界面中的操作控件的第三坐标信息所指示的区域中，若是，则虚拟现实主机触发该操作控件。

在本发明实施例中，穿戴式设备在真实物体表面的点击操作，可以映射于虚拟世界中，即在三维模型的表面的虚拟界面中“点击”操作控件的操作。通过这种方式，用户在真实世界中对真实物体的操作，可以映射到虚拟世界中对三维模型的操作，由于构建真实物体的三维模型所采用的第一坐标信息和构建出三维模型之后穿戴式设备对真实物体的进一步的操作信息都是由穿戴式设备自身获取的，即在同一坐标系下获取的，所以不会出现用户在虚拟世界看到自己的手已经与三维模型接触到，但在真实世界中用户的手并没有触摸到真实物体的情况，提高了触觉反馈的准确性。

当然，虚拟现实主机不仅可以在真实物体的三维模型的表面显示虚拟界面，还可以显示虚拟物体。这里的虚拟物体可以是主机中事先构建好的，或者主机从其它设备获取的虚拟物体。继续以上述例子进行说明，手机构建桌子的桌面部分的三维模型后，可以在该三维模型的表面投射虚拟物体例如一只猫等，用户便可以在虚拟世界看到桌面上有一只猫。

通过以上描述可知，在本发明实施例中，在本发明实施例中，用户佩戴穿戴式设备触摸真实物体时，穿戴式设备可以采集自身与真实物体的接触点的第一坐标信息，并将第一坐标信息发送于虚拟现实主机。虚拟现实主机根据第一坐标信息构建真实物体的三维模型，然后虚拟现实接收穿戴式设备发送的穿戴式设备自身对真实物体的操作信息，并根据操作信息对三维模型进行操作。在该方法中，构建真实物体的三维模型所采用的第一坐标信息是由穿戴式设备获取的，当构建出三维模型之后，穿戴式设备对真实物体的进一步的操作信息也是由穿戴式设备自身获取的，即在同一坐标系下获取的，有助于提高触觉反馈的准确性。

在图2所示的实施例中，用户是通过佩戴穿戴式设备与虚拟世界进行交互的，下面介绍另一个实施例，在该实施例中，用户可以不佩戴任何设备直接与虚拟世界进行交互。请参见图5，本发明实施例一实施例提供的另一种三维建模方法，该方法的流程描述如下：

S501：虚拟现实主机获取用户的身体部位与真实物体接触时的接触点的第一坐标信息。

在本发明实施例中，用户的身体部位可以是用户的手、胳膊、脚等。在下文的介绍中，以用户的身体部位具体是用户的手为例进行说明。

在S501中，虚拟现实主机可以与传感器(定位传感器、手势跟踪传感器、图像传感器等)连接，传感器检测用户的身体部位与真实物体接触时的接触点的坐标信息，并将这些坐标信息发送于主机，对应的，虚拟现实主机接收用户的身体部位与真实物体接触时的接触点的坐标信息。具体过程可分三步进行：第一步，传感器可扫描环境中是否有用户的手。例如传感器内部可以存储有手的特征信息，例如肤色、皮肤纹理等，传感器可以扫描环境中是否有符合这些特征信息的物体。第二步，传感器确定环境中存在用户的手时，还可以检测用户的手是否与真实物体接触。例如用户的手掌或手指是否发生压缩变形等。第三步，传感器确定用户的手与真实物体接触，可以进一步确定接触点的坐标信息，然后将这些坐标信息发送于虚拟现实主机。虚拟现实主机接收到接触点的坐标信息之后，可以根据这些坐标信息构建真实物体的三维模型。

在本发明实施例中，设计人员可以将传感器设置在HMD上，或者虚拟现实主机上，当然也可以设置在其它特定的位置处，例如在VR体验室中，这些传感器可以设置在VR体验室中方便扫描用户的身体部位的位置处。

S502：虚拟现实主机根据第一坐标信息，构建真实物体的三维模型。

关于S502的描述请参见图2所示的实施例中关于S202的描述，为了说明书的简洁，在此不作赘述。

S503：虚拟现实主机获取用户的身体部位对真实物体的操作信息。

前面已经提到过，虚拟现实主机根据用户的身体部位与真实物体接触时的接触点的第一坐标信息构建出真实物体的三维模型，在实际操作过程中，用户的身体部位还可以对真实物体进行进一步的操作，例如移动、挤压、旋转等等。可以理解的是，若虚拟现实主机构建真实物体时采用的第一坐标信息是通过图像传感器获取的，那么这里的操作信息也是通过图像传感器获取的。

举例来说，虚拟现实主机接收图像传感器发送的第一图像(可以是静态图，动态图、视频等)，从第一图像中确定用户的身体部位与真实物体的接触点的第一坐标信息，然后根据第一坐标信息构建真实物体的三维模型。之后，虚拟现实主机接收该图像传感器发送的第二图像；并从第二图像中确定用户的身体部位对所述真实物体的操作信息，然后根据操作信息对三维模型进行操作。

在实际操作过程中，可以通过图像传感器实时的监控用户与真实物体的交互信息，若用户的身体部位触摸一真实物体时，虚拟现实主机可以通过图像传感器采集的第一图像构建真实物体的三维模型，在构建三维模型之后，若用户身体部位还对真实物体进行了一系列的操作信息例如用户手握持真实物体移动一定的距离，则虚拟现实主机还可以从图像采集设备采集的第二图像中获取用户的身体部位对真实物体的操作信息，并根据操作信息对三维模型进行操作，即在虚拟世界中会呈现出用户握持三维模型移动一定的距离的情景。

S504：虚拟现实主机根据操作信息对三维模型进行操作。

关于S504的描述请参见图2所示的实施例中关于S204的描述，为了说明书的简洁，在此不作赘述。

通过以上描述可知，在本发明实施例中，用户无需佩戴任何穿戴式设备，可以直接触摸真实物体，虚拟现实主机可以通过传感器获取用户的身体部位与真实物体的接触点的第一坐标信息，并将第一坐标信息发送于虚拟现实主机。虚拟现实主机根据第一坐标信息构建真实物体的三维模型，然后，虚拟现实主机可以进一步通过传感器获取用户对真实物体的操作信息，并根据该操作信息对真实物体的三维模型进行操作。通过这种方式，用户在真实世界中对真实物体的操作，可以映射到虚拟世界中对三维模型的操作，由于构建真实物体的三维模型所采用的第一坐标信息和构建出三维模型之后穿戴式设备对真实物体的进一步的操作信息都是由由传感器获取的，即在同一坐标系下获取的，所以不会出现用户在虚拟世界看到自己的手已经与三维模型接触到，但在真实世界中用户的手并没有触摸到真实物体的情况，提高了触觉反馈的准确性。

总结来说，在本发明实施例中，用户佩戴穿戴式设备触摸真实物体时，穿戴式设备可以采集自身与真实物体的接触点的第一坐标信息，并将第一坐标信息发送于三维建模装置。三维建模装置根据第一坐标信息构建真实物体的三维模型，然后三维建模装置接收穿戴式设备发送的穿戴式设备自身对真实物体的操作信息，并根据操作信息对三维模型进行操作。在该方法中，构建真实物体的三维模型所采用的第一坐标信息和构建出三维模型之后穿戴式设备对真实物体的进一步的操作信息均是由穿戴式设备自身获取的，即在同一坐标系下获取的，有助于提高触觉反馈的准确性。

下面结合附图介绍本发明实施例提供的设备。

图6示出了一种三维建模装置600的结构示意图。该三维建模装置600可以实现上文中涉及的虚拟现实主机的功能。该三维建模装置600可以包括接收单元601和处理单元602。其中，接收单元601可以用于执行图2所示的实施例中的S201、S203，和/或用于支持本文所描述的技术的其它过程。处理单元602可以用于执行图2所示的实施例中的S202、S204，和/或用于支持本文所描述的技术的其它过程。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

图7示出了一种三维建模装置700的结构示意图。该三维建模装置700可以实现上文中涉及的虚拟现实主机的功能。该三维建模装置700可以包括获取单元701和处理单元702。其中，获取单元701可以用于执行图5所示的实施例中的S501、S503，和/或用于支持本文所描述的技术的其它过程。处理单元702可以用于执行图5所示的实施例中的S502、S504，和/或用于支持本文所描述的技术的其它过程。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

需要说明的是，在本发明实施例中，上述三维建模装置以功能单元的形式展示。在不受限制的情况下，本文所使用的术语“单元”可指执行一个或多个软件或固件程序的专用集成电路(application-specific integrated circuit，ASIC)、电子电路、(共享、专用或组)处理器以及存储器，组合逻辑电路，和/或提供所述功能的其它合适的部件。

在一个简单的实施例中，本领域的技术人员可以想到，还可以将三维建模装置600或三维建模装置700通过如图8所示的结构实现。

如图8所示，三维建模装置800可以包括：存储器801、处理器802和总线803。处理器801和处理器802可以通过总线803连接。其中，存储器801用于存储计算机执行指令，当三维建模装置800运行时，处理器802执行存储器801存储的计算机执行指令，以使三维建模装置800执行图2或图5所示的实施例提供的三维建模方法。具体的三维建模方法可参考上文及附图中的相关描述，此处不再赘述。

在本发明实施例中，处理器802可以是现场可编程门阵列(field-programmablegate array，FPGA)，专用集成芯片(application specific integrated circuit，ASIC)，系统芯片(system on chip，SoC)，中央处理器(central processor unit，CPU)，网络处理器(network processor，NP)，数字信号处理电路(digital signal processor，DSP)，微控制器(micro controller unit，MCU)，还可以采用可编程控制器(programmable logicdevice，PLD)或其他集成芯片。总线803可以是外设部件互连标准(peripheral componentinterconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。总线803可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

总结来说，在本发明实施例中，用户佩戴穿戴式设备触摸真实物体时，穿戴式设备可以采集自身与真实物体的接触点的第一坐标信息，并将第一坐标信息发送于虚拟现实主机。虚拟现实主机根据第一坐标信息构建真实物体的三维模型，然后虚拟现实接收穿戴式设备发送的穿戴式设备自身对真实物体的操作信息，并根据操作信息对三维模型进行操作。在该方法中，构建真实物体的三维模型所采用的第一坐标信息是由穿戴式设备获取的，当构建出三维模型之后，穿戴式设备对真实物体的进一步的操作信息也是由穿戴式设备自身获取的，即在同一坐标系下获取的，有助于提高触觉反馈的准确性。

在上述发明实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘Solid State Disk(SSD))等。

以上实施例仅用以对本发明实施例的技术方案进行详细介绍，但以上实施例的说明只是用于帮助理解本发明实施例的方法及其核心思想，不应该理解为对本申请的限制。本领域技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明实施例的保护范围之内。

Claims (21)

1.一种三维建模方法，其特征在于，包括：

接收穿戴式设备发送的第一坐标信息，所述第一坐标信息为所述穿戴式设备与真实物体接触时的接触点的位置信息；

根据所述第一坐标信息，构建所述真实物体的三维模型；

接收所述穿戴式设备发送的所述穿戴式设备对所述真实物体的操作信息；

根据所述操作信息对所述三维模型进行操作。

2.如权利要求1所述的方法，其特征在于，在根据所述第一坐标信息，构建所述真实物体的三维模型之后，所述方法还包括：

在所述三维模型的表面显示一虚拟界面；

接收所述穿戴式设备发送的所述穿戴式设备对所述真实物体的操作信息，包括：

接收所述穿戴式设备发送的第二坐标信息，所述第二坐标信息为所述穿戴式设备在所述真实物体表面进行操作的操作点的位置信息；

根据所述操作信息对所述三维模型进行操作，包括：

若所述第二坐标信息位于所述虚拟界面中操作控件的第三坐标信息所指示的区域中，则触发所述操作控件。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取现实世界中所述真实物体的特征信息；

根据所述特征信息对所述三维模型进行处理，其中，所述特征信息包括为所述真实物体的颜色信息和/或亮度信息。

4.如权利要求1所述的方法，其特征在于，根据所述第一坐标信息，构建所述真实物体的三维模型，包括：

根据所述第一坐标信息构建所述真实物体外表面的点云信息；

根据所述点云信息确定所述三维模型。

5.一种三维建模方法，其特征在于，包括：

获取用户的身体部位与真实物体接触时的接触点的第一坐标信息；

根据所述第一坐标信息，构建所述真实物体的三维模型；

获取所述用户的身体部位对所述真实物体的操作信息；

根据所述操作信息对所述三维模型进行操作。

6.如权利要求5所述的方法，其特征在于，所述获取用户的身体部位与真实物体接触时的接触点的第一坐标信息，包括：

接收图像传感器发送的第一图像；

从所述第一图像中确定所述用户的身体部位与所述真实物体的接触点的第一坐标信息；

所述获取所述用户的身体部位对所述真实物体的操作信息，包括：

接收所述图像传感器发送的第二图像；

从所述第二图像中确定所述用户的身体部位对所述真实物体的操作信息。

7.如权利要求5所述的方法，其特征在于，在根据所述第一坐标信息，构建所述真实物体的三维模型之后，所述方法还包括：

在所述三维模型的表面显示一虚拟界面；

获取所述用户的身体部位对所述真实物体的操作信息，包括：

获取所述用户的身体部位在所述真实物体表面进行操作的操作点的第二坐标信息；

所述根据所述操作信息对所述三维模型进行操作，包括：

若所述第二坐标信息位于所述虚拟界面中的操作控件的第三坐标信息所指示的区域中，则触发所述操作控件。

8.如权利要求5-7任一所述的方法，其特征在于，所述方法还包括：

获取现实世界中所述真实物体的特征信息；

根据所述特征信息对所述三维模型进行处理，其中，所述特征信息包括为所述真实物体的颜色信息和/或亮度信息。

9.如权利要求5-8任一所述的方法，其特征在于，根据所述第一坐标信息，构建所述真实物体的三维模型，包括：

根据所述第一坐标信息构建所述真实物体外表面的点云信息；

根据所述点云信息确定所述三维模型。

10.一种三维建模装置，其特征在于，包括：

接收单元，用于接收穿戴式设备发送的第一坐标信息，所述第一坐标信息为所述穿戴式设备与真实物体接触时的接触点的位置信息；

处理单元，用于根据所述第一坐标信息，构建所述真实物体的三维模型；

所述接收单元还用于：接收所述穿戴式设备发送的所述穿戴式设备对所述真实物体的操作信息；

所述处理单元还用于：根据所述操作信息对所述三维模型进行操作。

11.如权利要求10所述的装置，其特征在于，所述处理单元还用于：

在所述三维模型的表面显示一虚拟界面；

所述接收单元在用于接收所述穿戴式设备发送的所述穿戴式设备对所述真实物体的操作信息时，具体用于：接收所述穿戴式设备发送的第二坐标信息，所述第二坐标信息为所述穿戴式设备在所述真实物体表面进行操作的操作点的位置信息；

所述处理单元在用于根据所述操作信息对所述三维模型进行操作时，具体用于：

若所述第二坐标信息位于所述虚拟界面中操作控件的第三坐标信息所指示的区域中，则触发所述操作控件。

12.如权利要求10或11所述的装置，其特征在于，所述处理单元还用于：

获取现实世界中所述真实物体的特征信息；

根据所述特征信息对所述三维模型进行处理，其中，所述特征信息包括为所述真实物体的颜色信息和/或亮度信息。

13.如权利要求10所述的装置，其特征在于，所述处理单元在用于根据所述第一坐标信息，构建所述真实物体的三维模型时，具体用于：

根据所述第一坐标信息构建所述真实物体外表面的点云信息；

根据所述点云信息确定所述三维模型。

14.一种三维建模装置，其特征在于，包括：

获取单元，用于获取用户的身体部位与真实物体接触时的接触点的第一坐标信息；

处理单元，用于根据所述第一坐标信息，构建所述真实物体的三维模型；

所述获取单元还用于：获取所述用户的身体部位对所述真实物体的操作信息；

所述处理单元还用于：根据所述操作信息对所述三维模型进行操作。

15.如权利要求14所述的装置，其特征在于，所述获取单元在用于获取用户的身体部位与真实物体接触时的接触点的第一坐标信息时，具体用于：

接收图像传感器发送的第一图像；

从所述第一图像中确定所述用户的身体部位与所述真实物体的接触点的第一坐标信息；

所述获取单元在用于获取所述用户的身体部位对所述真实物体的操作信息时，具体用于：

接收所述图像传感器发送的第二图像；

从所述第二图像中确定所述用户的身体部位对所述真实物体的操作信息。

16.如权利要求14所述的装置，其特征在于，所述处理单元还用于：

在所述三维模型的表面显示一虚拟界面；

所述获取单元在用于获取所述用户的身体部位对所述真实物体的操作信息时，具体用于：

获取所述用户的身体部位在所述真实物体表面进行操作的操作点的第二坐标信息；

所述处理单元在用于根据所述操作信息对所述三维模型进行操作时，具体用于：

若所述第二坐标信息位于所述虚拟界面中的操作控件的第三坐标信息所指示的区域中，则触发所述操作控件。

17.如权利要求14-16任一所述的装置，其特征在于，所述处理单元还用于：

获取现实世界中所述真实物体的特征信息；

根据所述特征信息对所述三维模型进行处理，其中，所述特征信息包括为所述真实物体的颜色信息和/或亮度信息。

18.如权利要求14-17任一所述的装置，其特征在于，所述处理单元在用于根据所述第一坐标信息，构建所述真实物体的三维模型时，具体用于：

根据所述第一坐标信息构建所述真实物体外表面的点云信息；

根据所述点云信息确定所述三维模型。

19.一种三维建模装置，其特征在于，包括：处理器和存储器；

所述存储器用于存储计算机执行指令，当所述处理器执行所述指令时，使所述三维建模装置执行如权利要求1-9任意一项所述的方法。

20.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-9任意一项所述的方法。

21.一种包含指令的计算机程序产品，其特征在于，当其在计算机上运行时，使得计算机执行如权利要求1-9任意一项所述的方法。