CN101174332A

CN101174332A - 一种将真实世界实时场景与虚拟现实场景结合交互的方法和装置以及系统

Info

Publication number: CN101174332A
Application number: CNA2007101396218A
Authority: CN
Inventors: 张建中
Original assignee: Individual
Current assignee: Individual
Priority date: 2007-10-29
Filing date: 2007-10-29
Publication date: 2008-05-07
Anticipated expiration: 2027-10-29
Also published as: CN101174332B

Abstract

本公开的是一种将真实世界实时场景与虚拟现实场景结合交互的方法和装置以及系统，本公开使用多维地址标识资源；用多维地址标识虚拟现实场景，用该多维地址的空间结构部定义虚拟现实场景的空间结构以及在全局的多维地址虚拟空间结构中的定位；或用多维地址的空间结构部定义该虚拟现实场景在真实世界实时场景中的空间结构以及定位；用多维地址标识真实世界实时场景；用多维地址的空间结构部定义各个真实世界实时场景之间的空间结构和定位以及真实世界实时场景在虚拟现实中的定位和空间结构；使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制。

Description

一种将真实世界实时场景与虚拟现实场景结合交互的方法和装置以及系统

技术领域

本发明涉及用一种在网络技术领域的虚拟场景和真实场景结合的方法和装置以及系统，更具体地说，本发明是关于一种将真实的实时场景与虚拟现实场景结合交互的方法、装置以及系统。

发明背景

目前的实现真实世界实时场景和虚拟现实场景的无缝混合是通过混合现实(MR，mixedreahty)技术来实现的。MR技术是一种增强的VR(虚拟现实)技术，通过该技术可以实现真实世界的场景和虚拟现实场景的共存，通过显示装置可以显示真实世界实时场景和虚拟现实场景的组合图像，将真实空间的图像与虚拟的三维图形合成在一起呈现给使用者。在MR系统中，使用者可以观看叠加到真实物体上的三维计算机图形。在相关的公开技术还包括：中国专利申请号200510098736.8专利公开号CN 1746822A公开日2006年3月15日，发明创造的名称为用于呈现与虚拟图像合成的图像的信息处理装置及方法。中国专利申请号200580035562.9专利公开号CN 101048210A公开日2007年10月3日，发明创造的名称为面向对象混合现实和视频游戏创作工具系统和方法发明背景。中国专利申请号200610073300.8专利公开号CN 1845064A公开日2006年10月11日，发明创造的名称为信息处理方法和设备。上述的各个公开的方法以及混合现实(MR，mixed reahty)技术，都是基于国际互联网(Internet)、万维网来实现的，是国际互联网(Internet)、万维网的其中的一种应用，由于目前的国际互联网(Internet)、万维网没有定义一种方法，用于实现对网络中的各种资源进行全局虚拟空间定位，空间结构描述，使得在互联网上构建一个网络全局的虚拟现实世界成为了一个十分困难事情，因此目前的各种混合现实(MR，mixedreahty)技术都是构建一种局部的混合现实，不能够在网络全局实现真实世界实时场景和虚拟现实场景的无缝混合。

本公开是以本人在先公开的多维地址编址方法以及构建多维地址的方法等为基础实现的，

《构建多维地址的方法、装置以及系统》的中国专利申请号是200710139245.2

《一种多维地址编址的方法和装置以及系统》的中国专利申请号是200710139252.2

《一种多维超链接的通讯方法和装置以及系统》的中国专利申请号是200710139315.4

《一种对多维地址数据进行解析的方法和装置以及系统》的中国专利申请号是200710139272.X

发明内容

本发明克服了国际互联网、万维网和目前的各种混合现实(MR，mixed reahty)技术，的不足之处，本公开是构建在本人在先发明的多维地址的基础上的，是通过多维地址实现对网络中各种资源的标识、定位和描述并为其构建虚拟的空间结构，包括用多维地址标识真实世界中的真实场景以及数据采集设备，用该多维地址的空间结构部定义数据采集设备所采集的真实世界的场景在虚拟现实中的定位，还包括用多维地址标识虚拟现实的空间结构以及用多维地址虚拟空间结构进行虚拟现实建模。本人发明的多维地址都是具全局的虚拟空间结构和定位，因此用多维地址标识、定义真实世界实时场景的空间结构、空间结构域和定位以及用多维地址标识、定义虚拟现实场景的空间结构、空间结构域和定位；以及将用多维地址标识、定义的真实世界实时场景与虚拟现实场景结合起来的混合场景；使该场景具有全局的虚拟空间结构定位和空间结构域在网络中实现全局的虚拟现实和真实世界的混合现实技术。

本发明的技术方案是：

创建一种将真实世界实时场景与虚拟现实场景结合交互的方法，用本地或远程资源的一个或多个真实场景数据采集设备在真实世界采集一个或多个真实世界场景的实时数据，并构建一个或多个真实世界实时场景，用本地或远程资源创建一个或多个虚拟现实场景，该虚拟现实场景可与一个或多个数据采集设备在真实世界采集的一个或多个真实世界的实时数据所构建的一个或多个真实世界实时场景的相结合；包括用多维地址标识资源；所述用多维地址标识资源包括：用多维地址标识虚拟现实场景，用该多维地址的空间结构部定义虚拟现实场景的空间结构以及在全局的多维地址虚拟空间结构中的定位；或用多维地址的空间结构部定义该虚拟现实场景在真实世界实时场景中的空间结构以及定位；用多维地址标识真实世界实时场景；用多维地址的空间结构部定义各个真实世界实时场景之间的空间结构和定位以及真实世界实时场景在虚拟现实中的定位和空间结构；使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制。

本发明的另一个方面

创建一种将真实世界实时场景与虚拟现实场景结合交互的装置，用于本地或远程资源的一个或多个真实场景数据采集设备在真实世界采集一个或多个真实世界场景的实时数据，并构建一个或多个真实世界实时场景的装置，用于本地或远程资源创建一个或多个虚拟现实场景的装置，用于该虚拟现实场景可与一个或多个数据采集设备在真实世界采集的一个或多个真实世界的实时数据所构建的一个或多个真实世界实时场景的相结合的装置；包括用于多维地址标识资源的装置；所述用于多维地址标识资源的装置包括：用于多维地址标识虚拟现实场景，用该多维地址的空间结构部定义虚拟现实场景的空间结构以及在全局的多维地址虚拟空间结构中的定位的装置；或用于多维地址的空间结构部定义该虚拟现实场景在真实世界实时场景中的空间结构以及定位的装置；用于多维地址标识真实世界实时场景，用多维地址的空间结构部定义各个真实世界实时场景之间的空间结构和定位以及真实世界实时场景在虚拟现实中的定位和空间结构的装置；用于使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制的装置。

本发明的又一方面

一种将真实世界实时场景与虚拟现实场景结合交互的系统，该系统包括：处理器：可执行用于使真实世界实时场景与虚拟现实场景结合交互的实用程序；存储装置：与处理器相连，存储用于真实世界实时场景与虚拟现实场景结合交互的数据；接口：用于真实世界实时场景与虚拟现实场景结合交互的系统连接于网络；包括用于多维地址标识资源的系统，

用于本地或远程资源的一个或多个真实场景数据采集设备在真实世界采集一个或多个真实世界场景的实时数据，并构建一个或多个真实世界实时场景的系统，用于本地或远程资源创建一个或多个虚拟现实场景的系统，用于该虚拟现实场景可与一个或多个数据采集设备在真实世界采集的一个或多个真实世界的实时数据所构建的一个或多个真实世界实时场景的相结合的系统；包括用于多维地址标识资源的系统；所述用于多维地址标识资源的系统包括：用于多维地址标识虚拟现实场景，用该多维地址的空间结构部定义虚拟现实场景的空间结构以及在全局的多维地址虚拟空间结构中的定位的系统；或用于多维地址的空间结构部定义该虚拟现实场景在真实世界实时场景中的空间结构以及定位的系统；用于多维地址标识真实世界实时场景，用多维地址的空间结构部定义各个真实世界实时场景之间的空间结构和定位以及真实世界实时场景在虚拟现实中的定位和空间结构的系统；用于使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制的系统。

与现有技术相比本发明的有益效果是：

目前的各种混合现实(MR，mixed reahty)技术都是构建一种局部的混合现实，不能够在网络全局实现真实世界实时场景和虚拟现实场景的无缝混合。用多维地址标识、定义的真实世界实时场景与虚拟现实场景结合起来的混合场景；使该场景具有全局的虚拟空间结构定位和空间结构域在网络中实现全局的虚拟现实和真实世界的混合现实技术。

附图说明

图1是本发明应用的一种网络系统的高层的概念性图解

图2是本发明应用的一种公知的通用计算机环境示图

图3是本发明应用的又一种公知的计算环境示图

图4是本发明应用的用多维地址标识的真实的实时场景与用多维地址标识的虚拟现实场景结合的概念性示图

图5是本发明应用的真实世界数据采集的过程的示图

图6是本发明应用的将真实的实时场景与虚拟现实场景结合交互的过程的框图

图7是本发明应用的真实的实时场景与虚拟现实场景结合交互的又一过程的框图

图8是本发明应用的通过第三方将真实的实时场景与虚拟现实场景结合交互的过程的框图

具体实施方式

下面结合附图与具体实施方式对本发明进行进一步详细描述：本公开较佳的实施环境是包括但不限于是多维统一网还包括诸如因特网、万维网等等，所述的多维统一网是指：包含有用多维地址标记资源的网络。

所述数据采集设备包括视频数据采集设备、音频数据采集设备、触觉与力觉信号生成装置，味觉数据采集装置，诸如摄像机，该摄像机可以是CCD或CMOS视频摄像机、麦克风、红外摄像机、微光仪、三维扫描仪、三维定位跟踪设备等使真实世界场景中的数据采集设备，可通过多维地址与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制。

本公开中所述的资源，包括：物理资源、逻辑资源、以及服务资源；可移动资源、不可移动资源，计算资源、数据资源，作为例子所述可通过网络使用的资源包括但不限于，计算资源，诸如：计算机群、并行计算机、计算机池、大型数据库、多处理器系统、基于微处理器的系统、可嵌入计算机、个人计算机、手持或膝上型便携式设备、可编程消费电子产品、基于光交换技术的高速交换设备、各种计算机功能部件的集合体、主干网中的管理资源、高速路由器、主干网的接入接点、(路由器)、网关、交换机、域名服务器、通讯设备、精密仪器、传感器、存储器、CPU、ROM、RAM、CPU群集合体、DRAM群集合体、输入/输出接口等，作为例子所述可通过网络传输的资源包括但不限于，数据资源，诸如：计算机地址、节点地址、接口、端口号、指针、存储地址、数据、函数、对象、计算机软件包括系统软件、应用软件、应用程序、文件、文本文件、音频文件/视频文件、数据、的数据文件、数据实例、元数据、字符、字符串、信息、电子货币、包括虚拟物质、虚拟事物、虚拟现象及属性、虚拟现实世界、虚拟人、虚拟动物、虚拟植物、虚拟地球、虚拟城市、虚拟物体，虚拟子网、网关、虚拟子网服务器、防火墙、协议、元素等等，所述服务资源，包括：一个资源或多个资源集合所提供的服务。用一个多维地址标识该服务资源，即该多维地址(包括其子多维地址)标识了提供该服务的所有硬件、软件。所述资源还包括但不限于诸如：服务、语义、知识、类型、特性、状态、结构、关系、功能、过程、作用、效用、功用、等等(属性也是一种资源)。

所述数据包括：创建构建虚拟现实场景或/和真实世界实时场景过程中调用的所有各种相关的函数，包括但不限于诸如：关于顶点的函数、关于向量的函数、关于矩阵的函数、关于四元数的函数、关于光照模型的函数、关于纹理的函数、关于网格的函数、关于矢量的函数，关于多维地址空间结构体和/或多维地址空间结构域的几何体的函数，包括描述的几何体的条样函数、非统一有理B-样条函数(HURBS)、B-样条函数、，还包括诸如：顶点坐标、坐标系的W值、世界矩阵、视图矩阵、投影矩阵、变换矩阵、单位矩阵、逆矩阵、移动矩阵、旋转矩阵、缩放矩阵、结合浮点值、法线向量、环境光照、扩散关照、反射光照、半球关照等等的函数；还包括：3D压缩文件，以VRML、X3D标准等3D图形描述语言产生的3D对象，以及3D java小应用程序运行实时的3D成图及移动算法产生的3D对象、面向对象的语言Java、C++语言、C语言、可扩展标记语言、脚本语言等等。根据多维地址所产生或映射的构建关于事物及属性的数据以及空间结构相关函数存储在存储介质中。

所述多维地址为一种标识符，是可输入到计算资源并被计算机程序处理的数据，该多维地址用于标识可通过网络使用的资源以及用于标识可通过网络传输的资源，该多维地址中所包含的数据，还包括用于构建关于事物及属性的数据，用该多维地址标识可通过网络使用或传输的资源，使资源具有多维地址所构建的事物及属性的数据；

所述多维地址中包含有空间结构部，所述空间结构部是将用于构建关于事物及属性的数据的多维地址虚拟空间结构的位段称之为空间结构部，多维地址虚拟空间结构部中包含有构建多维地址虚拟空间结构的位和数值

所述虚拟现实场景、包括用公知的技术构建的虚拟现实场景，包括：通过视觉信号显示、听觉信号显示、触觉与力觉信号显示、味觉信号显示、所构建的人可感知的虚拟场景，所述虚拟现实场景包括用现有的技术以及未来出现的技术进行构建，构建虚拟现实场景的技术包括但不限于，环境建模技术、几何建模技术、物理建模技术、行为建模技术、听觉的建模技术、基于几何图形的实时绘制技术、图形化用户界面技术、各种虚拟现实技术、全景技术、虚拟场景的组织管理方法、虚拟场景的真实感实时渲染技术、以VRML、X3D标准等3D图形描述语言产生的3D对象、以3D java小应用程序运行实时的3D成图及移动算法产生的3D对象、虚拟场景中自由漫游技术、AUTOCAD，、3DMAX，MAYA等立体显示技术、对虚拟物体的控制方法等等。

所述真实世界实时场景、是通过安装在真实世界现场的数据采集设备所采集现场的实时数据，并用该数据构建的用感知呈现装置呈现的关于真实现场的可感知的场景，包括可视的场景、可听的场景、可触的场景、以及关于用嗅觉、味觉体会的场景。

所述实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制。包括、音频数据、视频数据、触觉数据、味觉数据、嗅觉数据的传输以及相关指令的传输交互控制、电子交易数字信息交互控制、文本交互数字信息交互、控制等

所述输出装置，包括但不限于视觉感知设备、听觉感知设备、触觉(力觉)感知设备、嗅觉感知设备、味觉感知设备等等，诸如：显示器、虚拟现实的头盔显示器、立体眼镜、浏览器、显示界面、洞穴式立体显示装置、响应工作台显示装置、墙式立体显示装置、耳机、喇叭、充气式触觉反馈装置振动式触觉反馈装置等等。

在本发明中图1例示的是一种网络系统这种网络包括因特网、万维网以及包含有用多维地址标记资源的网络系统我们称为多维统一网的系统，100示出的是该网络的高层的概念性图解，作为例子该网络包括但不限于用多维地址协议定义、控制数据传输，还可以用TCP/IP协议(族)控制数据传输，网络中的各种资源作为例子包括但不限于用多维地址进行标识、定位；还可以用IPv4、IPv6、IPv9标识资源，图中的101、102、103、104、105、106均为以多维地址标识的资源或用IPv4、IPv6、IPv9标识资源，其中101为传输介质，102通常为网络高速路由器其包含有但不限于关于多维地址协议和对多维地址数据进行解析的协议的模块、以及实现将真实世界实时场景与虚拟现实场景结合交互的模块，103为网络接入节点其通常也是路由器其包含但不限于关于多维地址协议、TCP/IP协议族，其在102网络高速路由器和其它网络之间路由数据分组，网络节点103连接有多个网络高速路由器102以提供一定的冗余，104、105、106均为以多维地址标识的资源，其中105是104的下级别多维地址标识的资源106是105的下级别多维地址标识的资源，各级别资源的级别是逻辑上的上下级关系，其可能位于不同的网络并通过不同的接入节点103进行数据传输，或直接连接102网络高速路由器进行数据分组传输，所述下级别的多维地址来源于上级别多维地址标识的资源的分配或来源于多维地址管理资源的分配或第三方资源的分配，多个资源通过多维地址的相互关联构成一个多维虚拟网络，各资源维护其关联资源的路由表。网络可以包含有各种拓扑结构的网络，其可以通过增加新的资源，诸如：结点、链路进行无限的扩展。

所述网络还包括：由其中的逻辑资源构成的多维网，网络中主干网部分包含有多个网络高速路由器，这些多维统一网高速路由器接收数据分组，并向网络中的其它节点传递这些数据分组，每个多维统一网高速路由器具有多个到其它多维统一网高速路由器和/或因特网高速路由器的连接并且这些连接具有高数据容量，网络中的资源包括但不限于依靠以多维地址为基础构建的多维地址协议完成数据通讯，资源中驻留有以多维地址为基础构建的多维地址协议的其中一个或多个协议软件包括对多维地址数据进行解析的协议模块。所示网络100是用通信(传输)介质101以及图中未示出的接口将资源102、103、104、105、106，可通讯的连接起来并依靠多维地址以及多维地址为基础构建的多维地址协议或/和TCP/IP协议族实现数据的传输及应用，图1中100网络系统中的各资源之间的连接可以是任何拓扑结构的连接，包括可以是总线形拓扑结构，环形拓扑结构，星形拓扑结构和这些形状混合构成的混合拓扑结构，以及其他形状的拓扑结构，其总体结构可以通过增加新节点和链路获得无限扩展，其中每个资源节点可以具有多个将其连接到其它资源节点的链路。这些实现网络各系统的物理基础网络即是以通信介质101构成的使数字设备(节点)相互之间具有多个链路进行连接的异构的网络，这些异构的网络包括：以太网、令牌环局域网，数字数据网(DDN)综合业务数字网(ISDN)、全光网、基于先进的交换和光纤传输技术即ATM和SONET的超高带宽网络服务(vBNS)、ATM、SDH/SONET、基于波分多路复用WDM的光传输技术的传输系统、WDM、DWDM、以光交叉连接OXC/光分插复用OADM设备为主体的光交换系统、3T(Tb/s传输、Tb/s交换、Tb/s路由)光网络、混合光纤同轴电缆网HFC、非对称数字用户线ADSL等等其他网络及其通信介质。网络100可以与互联网(因特网)电视网，通信网等相互共用其由通信介质构成的网络，在该网络系统中，因特网，万维网，电视网，通信网以及各种专用网及其资源也可以成为该网络的资源，即通过一种设备装置或/和软件可以是因特网，万维网，电视网，通信网及各种专用网包括上述各网中的资源，成为多维统一网中的资源。通过此种设备装置或/和软件也可以使该网络系统中的的资源成为基于IPV4，IPV6，IPV9地址的系统的资源，此种设备，装置或/和软件通过多维地址协议其它协议的诸如：多维地址配置、标识、路由、管理等实现上述功能，这也是我们发明的一种实施例，其也是一种在多维统一网服务管理装置中的对多维地址数据进行解析的协议的应用实施例。

图1所示网络系统100中的资源。103、104、105、106也可以是区域的网络服务管理装置、通讯设备或/和路由器、区域(本地)域名服务器、交换机、智能集线器等多维统一网服务管理资源。虽然图1中所示出了各资源102、103、104、105、106及通信介质101，但应当理解这些资源的实际数量和类型可以有所不同，其实际数量可以远大于图1中所示出的数量。在图1中所例示的资源，其通常包括有通用的计算机装置，该装置可以被编程以对多维地址的结构进行约定和建立，并生成多维地址以及进行多维地址编址，多维地址域名解析、多维地址虚拟空间结构解析包括将真实的实时场景与虚拟现实场景结合交互、对多维地址结构进行全局的布局，并确立多维地址总体的分配方法。维护一个全局的名字和地址的数据库，包括地址结构和布局的数据库，响应数据库访问请求，响应请求名字——地址转换信息的外部查询。其还包括：对区域网络服务管理装置和资源进行服务管理。实施上述各项或/和各项之集合的装置可以是高性能通用计算机系统，其也可以是居于不同物理位置具有不同多维地址的若干个通用计算机系统的一种逻辑的集合。在本发明例示的图1中的资源102、103、104、105、106作为信源产生通过多维统一网系统发送以多维地址为基础构建的数据分组，或者作为最终目的地接收所述数据分组、包括将真实的实时场景与虚拟现实场景结合交互，或作为中间路由节点转交以多维地址为基础构建的数据分组。为了允许在任意网络中从任意节点向另一个节点传送数据。须有源节点地址(有时虽然是临时的)和目的节点地址，所述地址是多维地址或是IPv4、IPv6、IPv9等地址。在多维统一网的网络的主干部分分布有大量的专用局域网络服务管理装置(多维统一网路由资源/因特网路由资源)，这些专用网络服务管理装置(多维统一网路由资源/因特网路由资源)具有两个或两个以上的多维统一网、因特网(含以太网)的网络接口用于连接不同的网络，其协议至少包括以多维地址为基础构建的网络的多维地址协议，其包括对多维地址数据进行解析的协议，还包括诸如：多维地址协议中的各种协议，理解多维地址协议、IPv4、IPv6、IPv9等协议，可进行多维统一网/网络层通信，支持两种以上的子网协议(异种网)，可进行存储、转发、寻径、并具有一组路由协议。专用的多维统一网服务管理装置(路由器)，其用于连接多个逻辑上分开的多维统一网/或因特网网络。当数据从一个子网传输到另一个子网时可通过专用的网络服务管理装置(路由器)来实现，其可以判断多维地址、IP地址(包括IPv4、IPv6、IPv9地址)和选择路径、以及在多维统一网、以及因特网的网络互联环境中建立灵活有效的连接，可完成不同数据分组和介质的访问方法，去连接各种子网。网络的连接具有高数据容量，其通常使用光纤链路。图1例示中的101是通信介质，其可以是有线介质或无线介质，他们包括但不限于铜导线、同轴电缆、光缆、无线电波、微波、FR(射频)红外线、声音等对本发明而言，图1中的资源102、103、104、105、106可使用任意公知的技术来实现。例如可以使用硬件逻辑组件来实现，如一个或多个ASIC(特定应用的集成电路)，或者它可以作为一个或多个处理器执行的一组指令以软件的形式来实现。所述软件包括但不限于程序模块以及实现本发明的特定抽象数据类型的例程、程序、组件数据结构等，他们在多维统一网计算环境中通常位于本地、远程资源和多维服务管理装置以及包括存储器设备在内的计算机存储介质中。

图2示出的是200形式的公知的通用计算机环境，该计算机是用于包含但不限于本发明的将真实的实时场景与虚拟现实场景结合交互的计算环境。在图2中其210处理器CPU在各种存储单元，如：221只读存储器ROM、222随机存取存储器RAM和高速缓存的支持下运行与对将真实的实时场景与虚拟现实场景结合交互的相关的软件，但不限于关于对将真实的实时场景与虚拟现实场景结合交互的软件。关于将真实的实时场景与虚拟现实场景结合交互系统的软件或/和其它软件存储在ROM中，称为ROM映像，这个映像中包括，但不限于，关于将真实的实时场景与虚拟现实场景结合交互的系统软件、还包括其它软件的引导程序、初始化数据、初始屏幕显示或者系统状态的字符串、系统执行的多任务程序以及实时操作系统(RTOS)内核。ROM中存储的ROM映像包含最终设计的代码。RAM存储的包括，但不限于，关于将真实的实时场景与虚拟现实场景结合交互的软件、还包括其它软件的程序执行过程中变量和堆栈的临时值。高速缓存提前存储来自于外部存储器的指令和数据副本，并在快速处理过程中临时存储结果。

关于将真实的实时场景与虚拟现实场景结合交互系统的软件通常嵌入在只读存储器(ROM)中。图2中的220是用于存储信息和处理器所执行的指令的与总线230相互连接的存储器，它是用于存储数据和程序的随机访问半导体存储器，他可以用以存储将真实的实时场景与虚拟现实场景结合交互系统但不限于此系统的数据和程序以及临时变量或其它中间信息，存储器220，包括：易失性和/或非易失性存储器形式的计算机存储介质，诸如221只读存储器ROM和222随机存取存储器RAM，ROM中一般存储关于将真实的实时场景与虚拟现实场景结合交互系统但不限于将真实的实时场景与虚拟现实场景结合交互系统的系统启动程序和参数表，RAM中一般存储包括数据和/或程序模块，可由处理单元210立即访问和/或当即操作。常驻内存的监控程序或者操作系统的常驻内存部分，甚至也可用来存放字库或者某些语言的编译程序及解释程序。在图2中示出的220是概念性的存储器，但是应当理解存储器220经常被组织成为高速缓存层次结构的具有高速缓存存储器(cache)的存储器或其它存储设备。

CPU210是与系统总线相连接的执行存储器220中存储的指令的通用可编程处理器即是一个集中取指和处理一组通用指令的单元，其可以取指和控制一个给定命令或指令的顺序执行，并与系统的其余部分进行通讯，以及进行对字节或字的算术和逻辑操作。图2中示出的是单独的CPU然而应当理解资源包括：多维统一网服务管理装置(服务器)、请求资源(客户)、调用资源(第三方资源)它们可以是具有多个CPU的计算系统。图2中示例的资源(装置)中还包括：将存储器220在内的各种计算机组件和/或功能单元连接到CPU 210和使功能单元和/或组件之间相互连接的系统总线230，系统总线230可以是任何几种类型的总线结构，包括有：存储器总线、使用任何各种各样总线结构的局部总线、作为例子，但不限于，这样的总线结构：工业标准总线(ISA)、微通道总线(MCA)、扩充的工业标准总线(EISA)、局部总线(PCI)、AGP总线、通用串行总线(USB)视频电子标准协会局部总线(VESA)、基于光波导的短距离光互联总线、在可嵌入式计算机中应用的I²C总线、CAN总线、先进的串行高速总线、PCI-X(扩展PCI)总线、CompactPCI总线(cPCI)、PXI总线、IEEE1394总线、UART总线、以及CoreConnect总线标准、AMBA总线标准、Wishbone总线标准、AHB总线、ASB总

图2、中例示的资源(装置)200、中还包括其他的易失性的/非易失性的、可移动的/不可移动的计算机存储介质。图2、示出的计算机200中例示了可读写不可移动的非易失性的磁介质的旋转磁性硬盘驱动单元241其通过不可移动的非易失性存储器接口240连接到系统总线230。200中还包括：磁盘驱动器251、光盘驱动器252、其通过可移动的非易失性存储器接口250连接至系统总线230，磁盘驱动器251、光盘驱动器252可分别装入使用诸如：读写可移动的非易失性磁盘、读写可移动的非易失性光盘，可以在示例的资源(装置)环境中使用其他的可移动的/不可移动的、易失性的/非易失性的计算机存储介质，其还包括，但不限于磁带、磁带存储器、快闪存储器、数字通用盘、数字视频带、移动存储设备、硬盘驱动器、U盘、移动硬盘、固态ROM、固态RAM等等。上述的驱动单元241、251、252及其相关的计算机存储介质，是用于存储关于将真实的实时场景与虚拟现实场景结合交互系统的但不限于该系统的计算机可读指令、数据结构、程序模块、数据实例或其他数据。图2中示出的201是终端接口，其可以通过任意的方式或为单个或多个终端提供连接，连接到系统总线230。应当理解，其通常通过在一个或多个电子电路卡上的终端接口I/O处理器支持多个终端的直接连接附接，包括终端可通过局域网络连接到终端接口201也可以是其他方式。

图2中示出的与系统总线230连接的202例示的是应用将真实的实时场景与虚拟现实场景结合交互系统的网络和/或互联网接口，它是针对应用多维地址的网络和/或互联网260的数据传输提供物理的连接，可通过多维统一网/互联网接口202发送消息并接收数据，包括程序代码。

图3时出的是又一计算环境300，计算机300中的输出接口381将输出设备371，诸如打印机、显示器、扬声器等连接至系统总线230，通过输入接口380可以将输入设备370，诸如：键盘、鼠标操纵杆、轨迹球、触摸板等与系统总线230连接，将命令和信息输入到计算机300、中，即向处理器210传送定向信息和命令集并用于控制显示器上的光标移动，计算机300的多维统一网/互联网接口202是针对多维统一网和/或互联网260的数据传输提供的物理的连接。其可以使用任何的技术实现，计算机300可通过多维统一网的网络/互联网接口202发送消息并接收数据，包括程序代码，计算机300还可以具有其他的接口，诸如通过音频接口382，可将音频输入设备372包括话筒、摄像机话筒连接至系统总线230，通过视频接口383将监视器373等连接至系统总线230，通过智能化仪器接口384将智能化仪器设备374包括数字化存储示波器，数字化万用表等连接至系统总线230，通过过程控制接口385将数字/模拟转换设备和模拟/数字转换设备375连接于系统总线230，通过通信接口386将调制解调器376等与系统总线230连接起来。

图2或图3中200、300形式的公知的通用计算机，示例图中各单元组件及其组合并不是想要对任何关于本发明的用途或功能范围进行任何的限制，也不应该将所例示的各种环境中的单元、组建的一个或组合解释为具有相关的依赖性要求，其单元组件在不影响本发明的实质的情况下可进行任意的增加和/或组合其它位示出的单元、组件，也可以缩减所例示出的单元、组件或/和组合，任何不影响本发明实质的改变都应是视作本发明的等同物范围。

图4示出的是用多维地址标识的真实的实时场景与用多维地址标识的虚拟现实场景结合的示图，为了能简单的说明本发明，图4采用的是二维示图，虽然图4中是用二维的图式来表示的但应当理解在实际中所述用多维地址标识的真实的实时场景和用多维地址标识的虚拟现实场景通常为三维场景。图4中的401是虚拟现实场景，402、403~N是真实世界的实时场景，真实世界的实时场景402、403~N与虚拟现实场景401结合于虚拟现实场景401中的402(a)、403(a)、N(a)的位置。

图4中的虚拟现实场景401是用本地或远程资源创建的，应当理解虽然在图4中示出的是一个虚拟现实场景，但在实际中可以是多个虚拟现实场景，虚拟现实场景401可与一个或多个数据采集设备，在真实世界采集的一个或多个真实世界场景的实时数据所构建的真实世界实时场景402、403~N相结合构成一种混合现实，虚拟现实中的场景401是一种用多维地址标识的资源，通过用多维地址标识虚拟现实场景401，用该多维地址的空间结构部定义虚拟现实场景401的空间结构以及在全局的多维地址虚拟空间结构中的定位；实施例中还包括用多维地址的空间结构部定义该虚拟现实场景401在真实世界场景中的空间结构以及定位；图4中的真实世界的实时场景402、403~N是用本地或远程资源的一个或多个真实场景数据采集设备在真实世界采集一个或多个真实世界场景的实时数据构建的实时场景，该实时场景402、403~N包括但不限于用多维地址标识，所述用多维地址标识真实世界实时场景402、403~N，还包括用多维地址标识真实世界中的真实场景以及数据采集设备，包括使虚拟现实场景401中与真实世界实时场景相结合部分402(a)、403(a)、N(a)的位置包含有链接真实世界实时场景402、403~N的多维地址，包括使该多维地址是所述一个或多个真实场景以及数据采集设备的多维地址，通过该链接使真实世界场景中的数据采集设备，可通过多维地址与相应的虚拟现实场景401建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制；在使真实的实时场景与虚拟现实场景结合交互过程中还包括用结合引擎接收来自所述真实场景数据采集设备在真实世界采集的一个或多个真实世界实时场景402、403~N的实时数据，使结合引擎接收来自所述虚拟现实场景401系统的数据和命令，通过所述结合引擎响应于提供图形输出的命令而构造真实世界实时场景与虚拟现实场景合成场景的数据结构。所述结合引擎可位于请求方由请求方进行真实的实时场景与虚拟现实场景结合；或所述结合引擎可位于响应方由响应方进行真实的实时场景与虚拟现实场景结合；或所述结合引擎可位于第三方由第三方进行真实的实时场景与虚拟现实场景结合。

图5示出的是真实世界数据采集的过程，该实施例包括在真实世界中用多维地址虚拟空间规范对真实现场场景进行多层次的空间结构间划分包括将一个或多个真实世界实时场景的空间结构进行多层次的序列化；根据分层次、分区域、分级别的空间结构序列，分布的布置数据采集设备进行实时数据采集，使数据采集设备布局于真实现场场景中的关键位置，使所采集的实时数据具有不同的取景区域、不同的取景范围、不同取景角度。或全域的采集现场场景的数据流。将真实场景以及数据采集设备用多维地址标识，用多维地址的空间结构部定义数据采集设备所采集的真实世界的场景在虚拟现实中的定位，所述数据采集设备的布局、位置、取景范围与标识该真实场景以及数据采集设备的多维地址的虚拟空间结构相对应；图5中的500是真实世界的一现场场景，将该现场按多维地址规范划分成若干个空间结构，每个空间结构中可有一个或多个数据采集装备，在该示图中示出了数据采集装置501至514，所述各个数据采集装置用有线、或无线的方式与本地或远程的主机520相连，该主机通过接口接入网络，主机520接收来自真实场景数据采集设备501至514在真实世界采集的一个或多个真实世界场景的实时数据，520还通过网络接收来自所述虚拟现实场景系统的数据和命令，将指定数据采集设备采集的数据流交付虚拟现实场景系统，还包括：响应于提供图形输出的命令而构造真实世界实时场景与虚拟现实场景合成场景的数据结构。

图6示出的是将真实的实时场景与虚拟现实场景结合交互的步骤包括：601开始，602请求方发出请求报文，请求建立与真实场景端的连接；603真实场景端响应请求方的请求建立连接；604真实场景端用真实场景的实时数据生成实时场景影象，与真实场景端构建的虚拟现实的虚拟场景通过结合引擎合成在一起；并将该合成影象的实时数据流交付第二方；605请求方将该合成影象的实时数据所构建的真实场景的实时场景影象与虚拟现实的虚拟场景共同呈现在显示装置上；606结束。

图7示出的是将真实的实时场景与虚拟现实场景结合交互的又一方法的步骤包括：701开始，702请求方发出请求报文，请求建立与真实场景端的连接；703真实场景端响应请求方的请求建立连接；704真实场景端将真实场景的实时数据交付请求方；705请求方通过结合引擎，使显示装置上呈现出，真实场景端交付的真实场景的实时数据生成实时场景影象和请求方构建的虚拟现实的虚拟场景的混合现实场景影象；706结束。

图8示出的是通过第三方将真实的实时场景与虚拟现实场景结合交互的方法的步骤包括：801开始，802第三方建立虚拟现实场景，该虚拟场景中包含有链接真实世界的一个或多个真实场景以及数据采集设备的多维地址；803请求方请求建立与第三方的连接；804第三方响应请求方的请求建立连接；805第三方将其建立的虚拟现实场景的实时数据以及该虚拟场景中包含有链接真实世界的一个或多个真实场景以及数据采集设备的多维地址，交付请求方；806请求方根据第三方提供的真实场景方的多维地址、自动请求建立与真实场景方的连接；807真实场景方响应请求方的请求建立连接；808真实场景端将各自真实场景的实时数据交付请求方；809通过结合引擎使请求方的显示装置上呈现出，用真实场景的实时数据生成实时场景影象和第三方构建的虚拟现实的虚拟场景合成在一起的混合现实场景景象；810结束。

在本公开中所述：使真实世界场景中的真实场景以及数据采集设备，可通过多维地址与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制，包括根据多维地址协议，第一方自动建立与第一方自动建立与第二方或/和第三方或/和第N方的多维地址的关联多维地址的连接，并实现相应的真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制；在本公开中所述虚拟现实场景，包括用多维地址的虚拟空间结构定义真实世界实时场景在虚拟现实场景中的空间定位、构建空间结构。用多维地址虚拟空间结构规范建模构建虚拟现实场景；根据多维地址虚拟空间结构规范、多维地址编制规范、使用多维地址的虚拟空间结构定义真实世界实时场景和用多维地址虚拟空间结构规范建模构建的虚拟现实场景无缝的结合在一起；其中包括定义虚拟现实场景的描述文件以及真实世界实时场景的描述文件，包括对多个虚拟现实场景的描述和真实世界实时场景的描述，定义用户在计算机屏幕上所显示的各个虚拟现实场景和真实世界实时场景；包括用三维建模系统生成的虚拟现实场景，包括用多维地址虚拟空间结构规范建模构建虚拟现实场景；包括但不限于诸如用基于几何模型的描述语言，如VRML(虚拟现实建模语言)或用3DXML建模的虚拟现实场景；或用MAYA建模或用3ds max建模的虚拟现实场景等；

所述对虚拟场景和真实世界实时场景的描述主要包括各种数据文件在计算机上的存储路径和文件名、各个真实世界实时场景在虚拟现实场景中的位置和方向、用户通过控制与不同真实场景以及数据采集设备的顺序链接，实现在真实世界实时场景中的拟真漫游，还包括控制虚拟现实场景中可运动虚拟物体的交互方式、控制与真实世界实时场景的交互方式，包括通过诸如：键盘、鼠标、操纵杆、数据传感手套、数据衣、三维控制器、三维扫描仪、三维定位跟踪设备、眼视输入设备，控制虚拟现实场景中可运动虚拟物体的交互方式、控制与真实世界实时场景的交互，定义用户观看各个虚拟现实场景和/或真实世界实时的初始视角、视界、视域等；还包括构建对虚拟现实场景和真实世界实时场景结合的实时可视化编辑程序，包括构建图形化用户界面，用户通过图形界面下达命令，引起描述文件的修改，还支持用户在三维环境中进行任意路径、不同漫游方式的漫游及有立体感的显示：可视化的虚拟环境编辑和应用程序接口都能对描述文件进行读写；虚拟环境编辑采用视窗应用程序用户界面；包括：生成应用程序接口程序；

所述的将真实世界实时场景与虚拟现实场景结合交互，包括使虚拟现实的虚拟空间结构的空间结构的布局、运动路径与真实场景空间结构的布局、运动路径相对应；根据对应关系在真实场景中的关键位置安装数据采集设备，进行实时的数据采集；用户端可控制可切换连接到各个不同的真实场景以及数据采集设备，并接收所连接的真实场景以及数据采集设备产生的数据流；并使真实场景以及数据采集设备产生的数据流所生成的景象，与虚拟现实场景结合在一起；包括用空间定位装置监视真实世界实时场景中的固定物体、移动物体位置，并根据固定物体、移动物体位置数据，确定真实物体在虚拟场景中的实时定位；所述定位装置包括：信号发生装置；信号接受装置发出诸如远红外线、声波、微波、电磁波，以及相应的接收装置。所述使真实世界场景中的数据采集设备，可通过多维地址与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制，包括构建真实世界实时场景与虚拟现实场景的电子商务系统的实时的交互、控制，包括通过进行电子数据交换(EDI)系统实现的电子商务模型，包括基于XML的电子商务模型，包括但不限于ebXML、BizTaIK、RosettaNet、cXML、Xcbl、BPML、EAI、B2Bi、

CORBA、JCA、MOM、Web Serviceb等等电子商务标准系统的交互和控制。

上述所有实施例的描述中示出的是作为本发明的较佳实施例，本发明还可以有其他的实施例，即在不脱离本发明范围的情况下可进行修改，应当理解这里公开的是优选的实施例，上述的方法步骤中，可以存在除了这里所例示的以外还可以有许多变化，具体的应当理解到，可以改变执行某些步骤的顺序，某些步骤是可选的，或者可以按照与这里描述的不同的方式被执行，并且某些步骤可以被组合。应当理解各实施例只是示范性的不应当作为对我们发明范围的限制，而是应视为凡是落入权利要求范围和其等同物的范围和精神内的所有实施例都是我们的发明

Claims

1.一种将真实世界实时场景与虚拟现实场景结合交互的方法，其特征在于，用本地或远程资源的一个或多个真实场景数据采集设备在真实世界采集一个或多个真实世界场景的实时数据，并构建一个或多个真实世界实时场景，用本地或远程资源创建一个或多个虚拟现实场景，该虚拟现实场景可与一个或多个数据采集设备在真实世界采集的一个或多个真实世界的实时数据所构建的一个或多个真实世界实时场景的相结合；包括用多维地址标识资源；所述用多维地址标识资源包括：

-用多维地址标识虚拟现实场景，用该多维地址的空间结构部定义虚拟现实场景的空间结构以及在全局的多维地址虚拟空间结构中的定位；或

-用多维地址的空间结构部定义该虚拟现实场景在真实世界实时场景中的空间结构以及定位；

-用多维地址标识真实世界实时场景；用多维地址的空间结构部定义各个真实世界实时场景之间的空间结构和定位以及真实世界实时场景在虚拟现实中的定位和空间结构；

-使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制。

2.如权利要求1所述的一种将真实世界实时场景与虚拟现实场景结合交互的方法，其特征在于，所述：使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制；包括

-用结合引擎接收来自真实场景数据采集设备在真实世界采集的一个或多个真实世界场景的实时数据，并用该数据构建真实世界实时场景；

-用结合引擎接收来自虚拟现实场景系统的数据和命令；

-使结合引擎响应于提供图形输出的命令而构造真实世界实时场景与虚拟现实场景的合成场景的数据结构，通过输出装置呈现合成场景。

3.如权利要求2所述的一种将真实世界实时场景与虚拟现实场景结合交互的方法，其特征在于，所述：使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制；包括：

-使标识实现真实世界场景的多维地址和标识虚拟现实场景的多维地址为关联多维地址，用多维地址的相互关联定义真实世界实时场景与相应的虚拟现实场景的相互关联；或

-使标识实现真实世界场景的多维地址结合或黏合或融合标识虚拟现实场景的多维地址用多维地址的结合或黏合或融合定义真实世界实时场景与相应的虚拟现实场景的相互关联；包括

-使标识虚拟现实场景中与真实世界实时场景相结合或黏合或融合部分的多维地址是所述一个或多个真实世界实时场景的多维地址；或

-使标识虚拟现实场景中与真实世界实时场景相结合或黏合或融合部分的多维地址是其实世界中相应的数据采集设备的多维地址。

4.如权利要求3所述的一种将真实世界实时场景与虚拟现实场景结合交互的方法，其特征在于所述使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制；包括

-第一方请求建立与第二方真实场景端的连接；

-第二方真实场景端响应第一方的请求建立连接；

-第二方真实场景端，用真实场景的实时数据生成的真实世界实时场景，与第二方构建的虚拟现实场景通过结合引擎合成在一起；并将该合成影象的实时数据交付第二方；

-第二方将该合成影象的实时数据所构建的真实世界实时场景与虚拟现实场景共同呈现在显示装置上；还包括

-根据多维地址协议自动建立与第一方自动建立与第二方或第三方或第N方的多维地址的关联多维地址的连接。

5.如权利要求3所述的一种将真实世界实时场景与虚拟现实场景结合交互的方法，其特征在于所述使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制；包括

-第一方请求建立与第二方真实场景端的连接；

-第二方真实场景端响应第一方的请求建立连接；

-第二方真实场景端将真实场景的实时数据交付第一方；

-通过结合引擎使第一方显示装置上呈现出第二方交付的真实场景的实时数据生成的真实世界实时场景和第一方构建的虚拟现实场景的混合现实场景影象；还包括

6.如权利要求3所述的一种将真实世界实时场景与虚拟现实场景结合交互的方法，，其特征在于所述使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制；包括

-第三方建立的虚拟现实场景，该虚拟场景中包含有链接第二方真实世界的一个或多个真实世界实时场景；或相应的数据采集设备的多维地址；以及

-链接第N方真实世界实时场景或相应的数据采集设备的多维地址；

-第一方请求建立与第三方的连接；

-第三方响应第一方的请求建立连接；

-第三方将其建立的虚拟现实场景的实时数据以及该虚拟场景中包含有链接第二方真实世界的一个或多个真实世界实时场景或相应的数据采集设备的多维地址，以及链接第N方真实世界的一个或多个真实世界实时场景以及相应的数据采集设备的多维地址交付第一方；

-第一方根据第三方提供的第二方、第N方的多维地址，自动请求建立与第二方、第N方的连接；

-第二方、第N方响应第一方的请求建立连接；

-第二方以及第N方真实场景端将各自真实世界实时场景的实时数据交付第一方；

-第一方将真实场景的实时数据生成真实世界实时场景影象，根据多维地址虚拟空间结构规范与第三方构建的虚拟现实场景通过结合引擎合成在一起呈现在显示装置上；还包括

7.一种将真实世界实时场景与虚拟现实场景结合交互的装置，其特征在于，用于本地或远程资源的一个或多个真实场景数据采集设备在真实世界采集一个或多个真实世界场景的实时数据，并构建一个或多个真实世界实时场景的装置，用于本地或远程资源创建一个或多个虚拟现实场景的装置，用于该虚拟现实场景可与一个或多个数据采集设备在真实世界采集的一个或多个真实世界的实时数据所构建的一个或多个真实世界实时场景的相结合的装置；包括用于多维地址标识资源的装置；所述用于多维地址标识资源的装置包括：

-用于多维地址标识虚拟现实场景，用该多维地址的空间结构部定义虚拟现实场景的空间结构以及在全局的多维地址虚拟空间结构中的定位的装置；或

-用于多维地址的空间结构部定义该虚拟现实场景在真实世界实时场景中的空间结构以及定位的装置；

-用于多维地址标识真实世界实时场景，用多维地址的空间结构部定义各个真实世界实时场景之间的空间结构和定位以及真实世界实时场景在虚拟现实中的定位和空间结构的装置；

-用于使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制的装置。

8.一种将真实世界实时场景与虚拟现实场景结合交互的系统，其特征在于，该系统包括：

处理器：可执行用于使真实世界实时场景与虚拟现实场景结合交互的实用程序；

存储装置：与处理器相连，存储用于真实世界实时场景与虚拟现实场景结合交互的数据；

接口：用于真实世界实时场景与虚拟现实场景结合交互的系统连接于网络；包括用于多维地址标识资源的系统，

用于本地或远程资源的一个或多个真实场景数据采集设备在真实世界采集一个或多个真实世界场景的实时数据，并构建一个或多个真实世界实时场景的系统，用于本地或远程资源创建一个或多个虚拟现实场景的系统，用于该虚拟现实场景可与一个或多个数据采集设备在真实世界采集的一个或多个真实世界的实时数据所构建的一个或多个真实世界实时场景的相结合的系统；包括用于多维地址标识资源的系统；所述用于多维地址标识资源的系统包括：

-用于多维地址标识虚拟现实场景，用该多维地址的空间结构部定义虚拟现实场景的空间结构以及在全局的多维地址虚拟空间结构中的定位的系统；或

-用于多维地址的空间结构部定义该虚拟现实场景在真实世界实时场景中的空间结构以及定位的系统；

-用于多维地址标识真实世界实时场景，用多维地址的空间结构部定义各个真实世界实时场景之间的空间结构和定位以及真实世界实时场景在虚拟现实中的定位和空间结构的系统；

-用于使真实世界实时场景与相应的虚拟现实场景建立连接，实现真实世界场景的产生的实时数据，与虚拟现实的数据进行实时的交互、控制的系统。