CN111752384A - 计算机实施的方法、传输系统、程序产品和数据结构 - Google Patents
计算机实施的方法、传输系统、程序产品和数据结构 Download PDFInfo
- Publication number
- CN111752384A CN111752384A CN202010216906.2A CN202010216906A CN111752384A CN 111752384 A CN111752384 A CN 111752384A CN 202010216906 A CN202010216906 A CN 202010216906A CN 111752384 A CN111752384 A CN 111752384A
- Authority
- CN
- China
- Prior art keywords
- obj
- dod
- fid
- sod
- rsys
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000005540 biological transmission Effects 0.000 title claims abstract description 50
- 230000003068 static effect Effects 0.000 claims abstract description 147
- 230000003993 interaction Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000704 physical effect Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 4
- 102100021975 CREB-binding protein Human genes 0.000 claims 1
- 101000896987 Homo sapiens CREB-binding protein Proteins 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 239000011521 glass Substances 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/289—Object oriented databases
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及计算机实施的方法、传输系统、程序产品和数据结构。所述方法包括借助接收系统接收关于对象的静态对象数据组,对象在通过输入系统生成的第一VR环境中和在通过接收系统生成的第二VR环境中显示。借助发送系统确定关于对象的第一动态对象数据组,第一动态对象数据组是在第一VR环境中的对象的动态特性。将第一动态对象数据组从发送系统传输至接收系统。借助接收系统基于静态对象数据组和第一动态对象数据组实现确定第二VR环境的第一状态。基于将对象的描述划分成静态对象数据组和动态对象数据组耗费存储密的静态对象数据组单独地且尤其仅一次传输。在实时数据流中传输动态对象数据组并且也可在实时数据流中传输完整的VR环境。
Description
技术领域
基于VR(“虚拟现实(virtual reality)”的英文缩写,德文翻译是“virtuelle”)或AR(“增强现实(augmented reality)”的英文缩写,德文翻译是“verbesserte”)的应用广泛使用在许多技术领域中。
背景技术
在基于VR的应用中,通常借助于眼镜在通常情况下为使用者提供虚拟环境的显示,其中显示与使用者的头部的位置和/或取向相关。在基于AR的应用中,通常同样借助于眼镜为使用者提供虚拟环境的部分显示,其中,在所述显示中将虚拟对象渐显到使用者的真实环境中。
基于VR和AR的应用尤其应用在使用者的训练和指导中。例如,使用者借助于VR和AR可以熟悉方法或设备,而无需实际执行或使用该方法或该设备。这种训练应用的示例是医疗过程的训练或医疗设备的操作。
恰好对于没有经验的使用者有价值的是:有对于方法的正确过程或对于设备的正确操作的模板。因此,有利的是,在虚拟现实中,将有经验的使用者的操作要么与有经验的使用者的操作并行地要么作为录像显示给无经验的使用者。
如果有经验的使用者的操作的显示限制于有经验的使用者的视野(英文专业术语为“field of view”),则无经验的使用者在VR或AR中不能完全地感知环境,因为例如环顾四周是不可行的。有经验的使用者的操作的显示尤其与无经验的使用者的真正训练不同。
发明内容
因此,本发明的目的是提供在使用者之间传输VR环境的可行性。
所述目的通过一种用于确定对象在第二VR环境中的显示的方法、通过一种显示系统、通过一种计算机程序、通过一种计算机可读的存储介质以及通过一种数据结构实现。有利的改进方案在说明书中描述。
以下,不仅参照要求保护的设备而且参照要求保护的方法来描述根据本发明的对所述目的的解决方案。在此提及的特征、优点或替选的实施方式同样也可转用于其他要求保护的主题,反之亦然。换言之,实体性的权利要求(所述权利要求例如针对设备)也可以扩展有结合方法描述或要求保护的特征。在此,方法的相应的功能特征通过相应的实体性模块构成。
本发明涉及一种用于将状态从第一VR环境传输至第二VR环境的计算机实施的方法,所述方法包括:借助于接收系统接收关于对象的静态对象数据组,其中,在通过输入系统生成的第一VR环境中并且在通过接收系统生成的第二VR环境中能够显示所述对象。此外,所述方法还包括:借助于发送系统确定关于对象的第一动态对象数据组,其中,第一动态对象数据组涉及所述对象在第一VR环境中的动态特性;以及将第一动态对象数据组从发送系统传送至接收系统。此外,所述方法还包括:借助于接收系统基于静态对象数据组和第一动态对象数据组来确定第二VR环境的第一状态。可选地,所述方法还可以包括:借助于接收系统提供VR环境的第一状态,其中,提供尤其可以包括在第一状态中显示VR环境。
在此,尤其借助于接收系统的接口,接收静态对象数据组。此外,尤其借助于发送系统的计算单元,确定第一对象数据组。此外,尤其从发送系统的接口至接收系统的接口传送第一动态对象数据组。此外,尤其借助于接收系统的计算单元,确定第二VR环境的第一状态。尤其可以借助接收系统的输出单元进行可选的提供。
术语VR(“virtuelle ”或“virtual reality”的缩写)尤其描述由使用者感知的实时地计算机生成的、交互的虚拟环境的显示。在此,虚拟环境尤其模拟实际环境。使用者尤其置身于虚拟现实中,尤其对于使用者而言不再能够感知真正的现实(专业术语“沉浸”)。此外,对于使用者尤其能够与虚拟世界进行交互或改变虚拟世界。
术语“VR系统”尤其描述用于为使用者显示虚拟环境的系统。尤其是,发送系统和/或接收系统是VR系统。
术语“VR环境”尤其描述VR系统所显示的虚拟环境。VR环境尤其可以匹配于进行显示的VR系统,例如不同的VR系统可以以不同的细节程度或以不同的分辨率来显示VR环境。
对象尤其是可在VR环境中显示的单元。对象尤其可以通过一定量的另外的对象定义。VR环境尤其可以通过一定量的对象完全地定义。对象的示例是在VR环境中显示或可显示的物体、墙壁、房间、人或操作元件。对象的英文专业术语是“Asset”。
对象可以具有一定量的描述或确定对象的外观或行为的特性。此外,这种特性的示例是对象的3D模型、对象的纹理、对象在VR环境中的位置、对象的取向、对象的状态、对象对外部影响的反应。
对象的状态尤其是VR环境中的对象的特性的总和,尤其是VR环境中的对象的显示。
发明人已经认识到,基于将对象的描述分割为静态对象数据组和动态对象数据组,典型地耗费存储器的静态对象数据组必须单独传输并且尤其仅传输一次。
由于动态对象数据组典型地是耗费较少存储器的,所以可以在给定的带宽下更频繁地传输所述动态对象数据组。尤其可行的是,在数据流(英文专业术语为“Stream”)中、尤其在实时数据流中传输动态对象数据组,并且由此也可以在数据流中或在实时数据流中传输完整的VR环境。
根据本发明的另一方面,确定第二VR环境的第一状态包括:借助于接收系统、尤其借助于接收系统的计算单元,基于静态对象数据组和第一动态对象数据组来确定对象在第二VR环境中的第一显示。
发明人已经认识到,通过确定对象的第一显示,可以特别有效地确定VR环境的第一状态。
根据本发明的另一方面,所述方法还包括:借助于发送系统、尤其借助于发送系统的计算单元来确定对象在第一VR环境中的显示。
发明人已经认识到,通过在第一VR环境中和在第二VR环境中显示对象,不仅发送系统的使用者而且接收系统的使用者可以感知对象的显示。于是所述共同的显示尤其可以用于演示对象。
根据本发明的另一可行的方面,发送系统包括第一视频眼镜,和/或,第二发送系统包括第二视频眼镜。视频眼镜的英文专业术语是“head-mountable display(可头戴式显示器)”或“head-mounted display(头戴式显示器)”。
发明人已经认识到,视频眼镜特别好地适合用于显示VR环境。此外,视频眼镜通常无线地实施,因此视频眼镜的数据传输速率是受限制的。因此,所述方法尤其可以有利地在视频眼镜中使用,因为根据本发明的方法使要传输的数据最小化。
根据本发明的另一方面,所述方法还包括:借助于所述发送系统确定关于所述对象的第二动态对象数据组,其中,第一动态对象数据组涉及对象在第一时刻在第一VR环境中的动态特性,并且其中第二动态对象数据组涉及对象在第二时刻在第一VR环境中的动态特性。此外,所述方法还包括:将第二动态对象数据组从发送系统传送至接收系统,并且借助于接收系统基于静态对象数据组和第二动态对象数据组来确定第二VR环境的第二状态。可选地,所述方法也可以包括:借助于接收系统提供VR环境的第二状态,其中,提供尤其可以包括在第二状态中显示VR环境。
在此,尤其借助于发送系统的计算单元,确定第二动态对象数据组。尤其借助于发送系统的接口和借助于接收系统的接口,将第二动态对象数据组从发送系统传送至接收系统。
发明人已经认识到,通过传送第二动态对象数据组,可以更新第二VR环境的状态,而不重新传输耗费存储器的静态对象数据组。因此,尤其可以通过传送与完全描述对象的信息相比小的数据组来更新显示。
根据本发明的另一方面,确定第二VR环境的第二状态包括:借助于接收系统、尤其借助于接收系统的计算单元,基于静态对象数据组和第二动态对象数据组来确定对象在第二VR环境中的第二显示。
发明人已经认识到,通过确定对象的第二显示,可以特别有效地确定VR环境的第二状态。
根据本发明的另一方面,所述方法还包括:确定对象的动态特性的变化,其中,响应于确定对象的动态特性的变化,确定第二动态对象数据组。在此,确定所述变化尤其可以借助于发送系统的计算单元进行。
发明人已经认识到,通过响应于所确定的变化而确定第二动态对象数据组,只必须明显较少地求取和传输动态对象数据组。由此,与当例如在规律的时间间隔中确定和传送动态对象数据组时相比,对于实施所述方法需要发送系统的更少的计算容量和/或发送系统与接收系统之间的传输容量。
根据本发明的另一方面,在恒定的时间间隔中重复地执行确定。换言之,利用恒定的采样率重复地执行确定。恒定的采样率尤其是恒定的时间间隔的倒数值。采样率的英文专业术语是“Framerate”。
尤其,可以将恒定的时间间隔从接收系统传送给发送系统。
发明人已经认识到,通过在恒定的时间间隔中或利用恒定的采样率进行确定,可以使动态对象数据组的传输的数量匹配于发送系统、接收系统和/或发送系统与接收系统之间的数据连接的技术限制。
根据本发明的另一方面,对象的动态特性通过使用者与第一VR环境的交互能够改变,尤其通过发送系统的使用者与第一VR环境的交互,借助于发送系统或借助于发送系统的输入单元改变。对象的动态特性尤其是对象的如下特性:所述特性通过使用者与第一VR环境的交互能够改变,尤其通过发送系统的使用者与第一VR环境的交互借助于发送系统或借助于发送系统的输入单元能够改变。
发明人已经认识到,对象的通过使用者能够改变的特性是在VR环境中规律地和动态地能够改变的特性。因此,可以通过如下方式特别有效地传输VR环境:确定对象的通过使用者能够改变的特性作为动态特性并且传输其。
根据本发明的另一方面,对象的动态特性涉及对象的以下的特性中的至少一个特性:对象的位置和/或取向;对象的可见度;对象与另一对象的关联;对象的光参数。
对象的位置尤其可以通过坐标矢量说明,尤其通过三维坐标矢量说明。为此,可以使用笛卡尔坐标、极坐标或球坐标。在此,坐标系的原点可以在空间上相对于第一VR环境或第二VR环境固定,替选地,坐标系的原点也可以基于第一VR环境中的使用者位置。对象的取向同样可以通过三维方向矢量说明,或通过欧拉角的确定来说明。
对象的可见度尤其确定对象是否在VR环境中显示。在此,对象的可见度尤其可以借助于二进制值来说明。
第一对象可以与第二对象关联,使得可以从第二对象的动态特性中导出第一对象的动态特性。第一对象的位置和/或取向尤其可以通过第二对象的位置和/或取向给出。
对象的光参数尤其可以说明:对象是否主动地发出光,和/或对象在照射下如何表现。对象的光参数尤其可以包括:对象是否发出光,对象在哪个空间方向上和以什么强度发出光,和/或发出的光具有什么其他的特性(例如波长、颜色)。光参数也可以涉及对象是否反射光以及以什么强度反射光(例如镜面反射、漫反射)。
发明人已经认识到,一方面,通过与使用者的交互特别频繁地改变所提及的特性,并且尤其可以通过小的数据量描述所提及的特性。例如,对于说明位置或取向仅需要三个数字,对于说明对象的可见度仅需要一个二进制值,对于说明与另一对象的关联仅需要所述另一对象的标识符,并且对于光参数仅需要一个或两个数字(例如光强度和光颜色)。
根据本发明的另一方面,静态对象数据组涉及所述对象的至少一个静态特性,其中,对象的静态特性不能通过使用者与第一VR环境的交互改变,尤其不能通过发送系统的使用者与第一VR环境的交互借助于发送系统或借助于发送系统的输入单元改变。对象的静态特性尤其是对象的如下特性:所述特性不能通过使用者与第一VR环境的交互改变,尤其不能通过发送系统的使用者与第一VR环境的交互借助于发送系统或借助于发送系统的输入单元改变。
发明人已经认识到,对象的通过使用者不能改变的特性是在VR环境中不改变的特性。因此,可以通过如下方式特别有效地传输VR环境:确定对象的通过使用者不能改变的特性作为静态特性并且仅传输一次。
根据本发明的另一方面,静态特性涉及对象的以下特性中的至少一个特性:对象的空间模型;对象的一个或多个纹理;对象的恒定的物理特性。
对象的空间模型尤其是基于三维空间中的点的聚集显示对象,其中,所述点尤其可以通过三维坐标来表征,并且其中,所述点尤其可以通过几何对象如三角形、多边形、线或曲面来连接。空间模型尤其可以手动地、以算法方式或通过采样真实的对象来创建。
纹理尤其是可以显示在三维虚拟对象的表面上的二维图像。在此,二维图像尤其可以被变换(英文专业术语为“texture mapping(纹理映射)”,德文翻译为“Musterabbildung”)。在此,尤其会需要对所关联的二维图像的值进行插值。
对象的恒定的物理特性尤其是影响对象的运动的但同时不随时间改变的特性。对象的这种恒定的物理特性的示例是对象的质量(其中,质量确定对象的加速度作为对作用力的反应);对象的惯量张量,其描述对象对作用转矩的反应;或对象的弹性常数(压缩模量、弹性模量、剪切模量、泊松比、纵向模量、拉米常数),其确定对象的变形作为对作用力的反应。
发明人已经认识到,所述特性尤其通过使用者不能改变,并且同时仅能够通过大的数据量来描述。因此特别有利的是,将所述特性作为静态对象数据组传输。例如,空间模型通过与对象的表面或体积与对象的表面分辨率或体积分辨率的乘积成比例的一定数量的点来描述。纹理通过与对象的表面和纹理的表面分辨率成比例的一定数量的像素来描述。
根据本发明的另一方面,所述方法还包括:借助于发送系统接收使用者在第一VR环境中的虚拟的第一使用者位置;将所述虚拟的第一使用者位置从发送系统传送至接收系统;以及基于第一使用者位置确定使用者在第二VR环境中的虚拟的第二使用者位置,其中,确定对象的第一显示和/或第二显示还基于第二使用者位置。使用者位置尤其可以包括位置和/或取向。
发明人已经认识到,通过传输使用者在第一VR环境中的位置,也可以调整使用者在第二VR环境中的位置。即尤其可以从正确的视角显示第二VR环境。
根据本发明的另一方面,虚拟的第二使用者位置是在第二VR环境中与虚拟的第一使用者位置等效的使用者位置。发明人已经认识到,通过使用等效的使用者位置,可以特别精确地传输发送系统的使用者的显示。
根据本发明的另一方面,虚拟的第二使用者位置是在第二VR环境中相对于虚拟的第一使用者位置移动了恒定值的使用者位置。发明人已经认识到,通过移动使用者位置(例如肩膀上方的视角或从前方的观察)可以实现另外的有利的视角。
根据本发明的另一方面,确定第一显示和/或确定第二显示包括渲染对象。
渲染对象尤其是从原始数据中产生对象的图像。在此,原始数据尤其可以涉及对象的静态和动态特性。对于“渲染”的其他词是“图像合成”。
发明人已经认识到,通过从接收系统中渲染,在发送系统与接收系统之间必须传输更少的数据。此外,渲染的精确性由此可以匹配于接收系统的计算容量。
根据本发明的另一方面,所述方法还包括:借助于接收系统将接收系统的技术参数发送给服务器,其中,静态特性匹配于接收系统的技术参数。尤其借助于接收系统的接口,发送技术参数。
接收系统的技术参数尤其是描述接收系统的用于确定显示的能力的参数。技术参数的示例是(尤其接收系统的处理器或图形处理器的)计算容量或(尤其接收系统的存储单元、处理器的缓存或图形处理器的缓存的)存储容量。
发明人已经认识到,通过使静态对象参数匹配于技术参数,可以在不改变由发送系统发送的数据的情况下考虑接收系统的性能。由发送系统发送的数据尤其可以由具有不同的性能的不同的接收系统来处理。
根据本发明的另一方面,所述方法还包括:借助于发送系统确定对象的标识符;将对象的标识符从发送系统传送给接收系统;以及将对象的标识符发送给服务器,其中,响应于发送对象的标识符,实施静态对象数据组的接收。
发明人已经认识到,通过在接收静态对象数据组之前传送标识符,可以使接收系统知道必须使用哪些对象来显示第二VR环境。然后,对于所述所需的对象,可以将静态对象数据组提供给接收系统。由此,一方面不需要前瞻性地调用所有可用的静态对象数据组,此外,同样不需要在第二VR环境中显示时间进程期间在下游调用静态对象数据组。由此,一方面减小待传输的数据量,另一方面,防止在第二环境中显示时间进程时的时间延迟。
根据本发明的另一方面,所述方法还包括:将图像刷新率从接收系统发送给发送系统,其中,发送系统以图像刷新率将动态对象数据组传送给接收系统。
图像刷新率尤其是单个图像的由发送系统或由接收系统为了模仿时间连续的视频而显示的频率。对于“图像刷新率”的其他的词是“图像刷新频率”。发送系统尤其可以通过如下方式以给定的图像刷新率将动态对象数据组传送给接收系统:分别在一个时间间隔之后传送一个或多个新的动态对象数据组,其中,时间间隔是图像刷新率的倒数。
发明人已经认识到,通过将图像刷新率从接收系统传送给发送系统,尤其可以使发送系统知道接收系统的最大图像刷新率。由此,发送系统必要时可以将其图像刷新率降低至由接收系统预设的图像刷新率。由此,尤其可以减小待传输的数据量。如果所述方法用于流媒体(Streaming),则所述优点尤其有效。
根据本发明的另一方面,第一动态对象数据组和/或第二动态对象数据组包括时间信息,其中,确定第二VR环境的第一状态和/或第二状态基于关于不同的时间信息的动态对象数据组。
本发明还涉及一种用于将状态从第一VR环境传输至第二VR环境的传输系统,所述传输系统包括:
-发送系统,其构成用于确定关于对象的第一动态对象数据组,其中,对象在通过发送系统生成的第一VR环境中能够显示,其中,第一动态对象数据组涉及在第一VR环境中的对象的动态特性,
-接收系统,其构成用于接收关于对象的静态对象数据组,其中,对象在通过接收系统生成的第二VR环境中能够显示,
此外,所述接收系统还构成用于基于静态对象数据组和第一动态对象数据组确定第二VR环境的第一状态;
其中,传输系统还构成用于将所述第一动态对象数据组从发送系统传送至接收系统。
本发明还可以涉及一种发送系统,所述发送系统尤其使用在用于将状态从第一VR环境传输至第二VR环境的传输系统中,所述发送系统构成用于确定关于对象的第一动态对象数据组,其中,对象在通过发送系统生成的第一VR环境中能够显示,其中,第一动态对象数据组涉及对象在第一VR环境中的动态特性,还可选地,所述发送系统构成用于将关于对象的静态对象数据组发送给接收系统,其中,对象在通过接收系统生成的第二VR环境中能够显示,并且所述发送系统还构成用于将第一动态对象数据组发送给接收系统。
本发明也可以涉及一种接收系统,所述接收系统尤其使用在用于将状态从第一VR环境传输至第二VR环境的传输系统中,所述接收系统构成用于接收关于对象的静态对象数据组,其中,对象在通过接收系统生成的第二VR环境中能够显示,所述所述接收系统还构成用于从发送系统接收关于对象的第一动态对象数据组,其中,对象在通过发送系统生成的第一VR环境中能够显示,其中,第一动态对象数据组涉及对象在第一VR环境中的动态特性,所述接收系统还构成用于基于静态对象数据组和第一动态对象数据组来确定第二VR环境的第一状态。
这种传输系统、这种发送系统和这种接收系统尤其可以构成用于实施上述根据本发明的方法及其方面。传输系统构成用于通过如下方式实施所述方法及其方面:发送系统和接收系统构成用于实施相应的方法步骤。
本发明还涉及一种具有计算机程序的计算机程序产品以及一种计算机可读的介质。大部分按软件方式的实现具有如下优点:至今已经使用的传输系统也可以以简单方式通过软件更新来加装,以便以根据本发明的方式工作。除计算机程序外,这种计算机程序产品必要时可以包括附加的组成部分例如文档和/或附加的部件、以及硬件部件例如用于使用软件的硬件密钥(加密狗等)。
本发明还涉及一种计算机实施的数据结构,其应用于将状态从第一VR环境传输至第二VR环境的方法中或应用于显示系统中。在此,所述数据结构包括静态子数据结构和动态子数据结构,其中,静态子数据结构涉及关于对象的静态对象数据组,其中,所述动态子数据结构包括关于对象的动态对象数据组,并且其中,VR环境的状态基于静态对象数据组和动态对象数据组能够显示。
发明人已经认识到,通过所述数据结构实现用于传输状态的方法的已经列举的优点。
根据本发明的另一方面,静态子数据结构和动态子数据结构可彼此独立地传输。
发明人已经认识到,通过使用可彼此独立地传输的静态和动态子数据结构,可以通过如下方式将数据结构尤其用于实时传输:在实时传输开始之前传输静态子数据结构,并且在实时传输期间可以发送动态子数据结构。
根据本发明的另一方面,所述静态子数据结构包括对象列表,其中,对象列表的每个元素包括:对象的标识符,以及关于所述对象的至少一个静态对象数据组,和/或关于所述对象的静态对象数据组的至少一个参照。在此,关于对象的静态对象数据组包括对象的至少一个静态特性,其中,对象的静态特性不能通过使用者与VR环境的交互改变。
根据本发明的另一方面,所述动态子数据结构包括事件列表,其中,事件列表的每个元素包括:时间信息、对象的标识符、以及关于所述对象的至少一个动态对象数据组。关于对象的动态特性尤其可以通过使用者与VR环境的交互能够改变。
根据本发明的另一方面,对于包括事件列表的第一元素和事件列表的第二元素的每个对适用的是:如果第一元素的对象的标识符与第二元素的对象的标识符相同,并且如果没有事件列表的第三元素具有在第一元素的时间信息与第二元素的时间信息之间的时间信息以及第一元素的对象的标识符,则第一元素的动态对象数据组与第二元素的动态对象数据组不同。
本发明还涉及一种计算机实施的用于确定对象在第二VR环境中的状态的方法,所述方法包括:接收关于对象的静态对象数据组,其中,对象在借助于接收系统可生成的第二VR环境中能够显示。所述方法还包括:接收关于对象的第一动态对象数据组,其中,第一动态对象数据组涉及对象在第一VR环境中的动态特性。所述方法还包括:基于静态对象数据组和第一动态对象数据组来确定对象在第二VR环境中的第一状态。
所述的方法的各个步骤尤其借助于接收系统来实施。用于确定对象在第二VR环境中的状态的方法尤其是用于将对象的状态从第一VR环境传输至第二VR环境的方法的在接收系统上执行的部分。因此,用于确定对象的状态的方法尤其可以具有用于传输状态的方法的所有有利的构造方案和改进方案。
根据本发明的另一可行的方面,用于确定对象在第二VR环境中的状态的方法还包括:接收关于对象的第二动态对象数据组,其中,第一动态对象数据组涉及对象在第一时刻在第一VR环境中的动态特性,其中,第二动态对象数据组涉及对象在第二时刻在第一VR环境中的动态特性。此外,用于确定对象在第二VR环境中的状态的方法包括:基于静态对象数据组和第二动态对象数据组来确定第二VR环境的第二状态。
根据本发明的另一可行的方面,在用于确定对象在第二VR环境中的状态的方法中,对象的动态特性通过使用者与第一VR环境的交互能够改变。
根据本发明的另一可行的方面,在用于确定对象在第二VR环境中的状态的方法中,对象的动态特性涉及对象的以下特性中的至少一个特性:对象的位置和/或取向、对象的可见度、对象与另一对象的关联和/或对象的光参数。
根据本发明的另一可行的方面,在用于确定对象在第二VR环境中的状态的方法中,静态对象数据组涉及对象的至少一个静态特性,其中,对象的静态特性不能通过使用者与第一VR环境的交互改变。
根据本发明的另一可行的方面,在用于确定对象在第二VR环境中的状态的方法中,静态特性涉及对象的以下特性中的至少一个特性:对象的空间模型、对象的一个或多个纹理,和/或对象的恒定的物理特性。
根据本发明的另一可行的方面,用于确定对象在第二VR环境中的状态的方法还包括:接收使用者在第一VR环境中的虚拟的第一使用者位置,以及基于第一使用者位置确定使用者在第二VR环境中的虚拟的第二使用者位置,其中,确定第二VR环境的第一状态和/或第二状态还基于第二使用者位置。
根据本发明的另一可行的方面,在用于确定对象在第二VR环境中的状态的方法中,确定第二VR环境的第一状态和/或确定第二VR环境的第二状态包括渲染对象。
根据本发明的另一可行的方面,用于确定对象在第二VR环境中的状态的方法还包括:将接收系统的技术参数发送给服务器,其中,静态对象数据组匹配于接收系统的技术参数。
根据本发明的另一可行的方面,用于确定对象在第二VR环境中的状态的方法还包括:接收对象的标识符;以及将对象的标识符发送给服务器,其中,响应于发送对象的标识符,实施接收静态对象数据组。
附图说明
结合以下结合附图标记详细阐述的实施例的描述,本发明的上述特性、特征和优点以及实现它们的方式和方法变得更清楚和更明确地容易理解。本发明并不因所述描述而限于所述实施例。在不同的图中,相同的部件设有相同的附图标记。这些图通常不是合乎比例的。附图示出:
图1示出VR环境的不同状态,
图2示出包括静态子数据结构和多个动态子数据结构的数据结构,
图3示出用于将状态从第一VR环境传输至第二VR环境的方法的第一实施例的流程图,
图4示出用于将状态从第一VR环境传输至第二VR环境的方法的第二实施例的流程图,
图5示出用于将状态从第一VR环境传输至第二VR环境的方法的第三实施例的流程图,
图6示出用于将状态从第一VR环境传输至第二VR环境的方法的第四实施例的流程图,
图7示出所述方法的在图6中示出的实施例的数据流程图,
图8示出传输系统的方框图。
具体实施方式
图1示出VR环境的不同状态ST.1、...、ST.4。VR环境不仅可以是第一VR环境而且可以是第二VR环境。状态ST.1、...、ST.4也可以理解为VR环境的时间进程的单个图像(英文专业术语为“frame”或“video frame”)。
在所示出的实施例中,VR环境包括:作为第一对象OBJ.1的球、作为第二对象OBJ.2的灯以及作为第三对象OBJ.3的桌子。
在此,第一对象OBJ.1在VR环境的各个状态ST.1、...、ST.4之间运动,即球具有不同的位置和/或速度,并且因此在VR环境的各个状态ST.1、...、ST.4中通过不同的动态特性表征。
第二对象OBJ.2在VR环境的第一状态ST.1中和第二状态ST.2中不发出光,而第二对象OBJ.2在VR环境的第三状态ST.3中和第四状态ST.4中发出光。即灯具有不同的光参数,并且因此,在前两个状态ST.1、ST.2中与在后两个状态ST.3、ST.4中相比,通过不同的动态特性表征。
第三对象OBJ.3在VR环境的状态ST.1、...、ST.4之间不改变其动态特性。
图2示出数据结构DS,所述数据结构包括静态子数据结构SDS和多个动态子数据结构DDS.1、DDS.2、DDS.3。在此,静态子数据结构SDS包括静态对象数据组SOD(1)、SOD(2)、SOD(3),并且动态子数据结构DDS.1、DDS.2、DDS.3包括动态对象数据组DOD(1)(FID.1)、DOD(2)(FID.1)、DOD(3)(FID.1)、DOD(1)(FID.2)、DOD(2)(FID.3)、DOD(3)(FID.3)。数据结构DS基于在图1中示出的VR环境或其状态,但并不精确地再现VR环境或其状态。
在此,静态对象数据组SOD(1)、…、SOD(3)分别包括对象的标识符ID(1)、ID(2)、ID(3)和相应的对象OBJ.1、...、OBJ.3的一个或多个静态特性SP(1) 1、SP(1) 2、SP(2) 1、SP(2) 2、SP(3) 1。(在此使用如下约定:静态对象数据组SOD(i)涉及具有标识符ID(i)的对象OBJ.1、...、OBJ.3,并且包括标识符ID(i)以及一个或多个静态特性SP(i) j。)对象的标识符ID(1)、...、ID(3)尤其可以是与对象OBJ.1、...、OBJ.3关联的明确的数字或字符串。在此,静态特性SP(1) 1、...、SP(3) 1是相应的对象OBJ.1、...、OBJ.3的不能通过使用者与第一VR环境的交互改变的特性。例如,静态特性SP(1) 1涉及具有标识符ID(1)的对象OBJ.1的空间模型,静态特性SP(2) 2可以涉及具有标识符ID(2)的对象OBJ.2的一个或多个纹理,并且静态特性SP(3) 1可以涉及具有标识符ID(3)的对象OBJ.3的恒定的物理特性、例如对象OBJ.1、...、OBJ.3的质量。
在所述实施例中,动态子数据结构DDS.1、...、DDS.3分别描述一个帧,换言之,动态对象数据组DOD(1)(FID.1)、…、DOD(3)(FID.3)在帧中设置。在此,第一动态子数据结构DDS.1包括动态对象数据组DOD(1)(FID.1)、…、DOD(3)(FID.1),第二动态子数据结构DDS.2包括动态对象数据组DOD(1)(FID.2),并且第三动态子数据结构DDS.3包括动态对象数据组DOD(2)(FID.3)、DOD(3)(FID.3)。(在此使用如下约定:动态子数据结构DDS.k包括动态对象数据组DOD(i)(FID.k)。)
动态子数据结构DDS.1、...、DDS.3还包括帧的标识符FID.1、...、FID.3,所述动态子数据结构描述该帧。帧的标识符FID.1、...、FID.3尤其可以是整数或浮点数,所述浮点数描述相应帧的时间坐标。
各个动态对象数据组DOD(1)(FID.1)、…、DOD(3)(FID.3)分别包括对象OBJ.1、…、OBJ.3的标识符ID(1)、ID(2)、ID(3)以及一个或多个动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)、DP(2) 1(FID.1)、DP(2) 2(FID.1)、DP(3) 1(FID.1)、DP(1) 1(FID.2)、DP(2) 2(FID.3)、DP(3) 1(FID.3)。例如,动态对象数据组DOD(1)(FID.1)包括第一对象OBJ.1的标识符ID(1)以及两个动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)。通过两个动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)和第一对象OBJ.1的标识符ID(1)是相同的动态对象数据组DOD(1)(FID.1)的部分的方式,两个动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)是在具有标识符FID.1的帧中具有标识符ID(1) 1的第一对象OBJ.1的动态特性。(在此使用如下约定:动态特性DP(i) j(FID.k)是在具有标识符FID.k的帧中具有标识符ID(i)的对象OBJ.1、…、OBJ.3的第j个动态特性。)
在所述实施例中,对象OBJ.1、...、OBJ.3的动态特性DP(1) 1(FID.1)、…、DP(3) 1(FID.3)通过使用者与第一VR环境的交互能够改变。例如,动态特性DP(1) 1(FID.1)、…、DP(3) 1(FID.3)可以涉及或确定对象OBJ.1、...、OBJ.3的位置、对象的取向、对象OBJ.1、...、OBJ.3的可见度、对象OBJ.1、...、OBJ.3与另一对象OBJ.1、...、OBJ.3的关联和/或对象OBJ.1、...、OBJ.3的光参数。
在表A中,示出在图2中示出的数据结构A的实施例转换成与XML相似的伪码。在行A.1至行A.5中,示出静态子数据结构SDS,并且在行A.6至行A.19中,示出动态子数据结构DDS.1、...、DDS.3。在此,在行A.7至行A.11中示出第一动态子数据结构DDS.1,在行A.12至行A.14中示出第二动态子数据结构DDS.2,并且在行A.15至行A.18中示出第三动态子数据结构DDS.3。
在行A.2中定义第一静态对象数据组SOD(1)。第一静态对象数据组包括第一对象OBJ.1的标识符ID(1)(“id=1”)以及两个静态特性SP(1) 1、SP(2) 2,其中,两个静态特性SP(1) 1、SP(2) 2中的第一静态特性是第一对象OBJ.1的三维模型的文件名(“mod=ball.3d”),并且其中,两个静态特性SP(1) 1、SP(2) 2中的第二静态特性是第一对象OBJ.1的纹理的文件名(“texture=rubber_red.tx”)。
在行A.3中定义第二静态对象数据组SOD(2)。第二静态对象数据组包括第二对象OBJ.2的标识符ID(2)(“id=2”)以及两个静态特性SP(2) 1、SP(2) 2,其中,两个静态特性SP(2) 1、SP(2) 2中的第一静态特性是第二对象OBJ.2的三维模型的文件名(“mod=lamp.3d”),并且其中,两个静态特性SP(2) 1、SP(2) 2中的第二静态特性是第二对象OBJ.2的纹理的文件名(“texture=cloth_blue.tx”)。
在行A.4中定义第三静态对象数据组SOD(3)。第三静态对象数据组包括第三对象OBJ.3的标识符ID(3)(“id=3”)以及第三对象OBJ.3的静态特性SP(3) 1,其中,静态特性SP(3) 1是第三对象OBJ.3的三维模型的文件名(“mod=table.3d”)。
在所述实施例中,不仅三维模型而且纹理仅是对定义所述模型或所述纹理的数据组或数据组的文件名的参照。替选地,也可以直接作为静态特性SP(1)1、…、SP(3)1包含定义所述模型或所述纹理的数据组。
以下根据在行A.7至行A.11中包含的第一动态子数据结构DDS.1来阐述不同的动态子数据结构DDS.1、...、DDS.3。在行A.7中,第一动态子数据结构DDS.1包括第一帧(“id=0”)的标识符FID.1,并且借此描述VR环境的第一状态ST.1。所述描述通过三个动态对象数据组DOD(1)(FID.1)、…、DOD(3)(FID.1)实现。
三个动态对象数据组DOD(1)(FID.1)、…、DOD(3)(FID.1)中的第一动态对象数据组包括第一对象OBJ.1(“id=1”)的标识符ID(1),以及定义第一对象OBJ.1在第一帧中的位置的第一动态特性DP(1) 1(FID.1)(“pos=(0.0,0.0,0.0)”),以及定义第一对象OBJ.1在第一帧中的速度的第二动态特性DP(1) 2(FID.1)(“vel=(1.0,0.0,0.0)”)。
三个动态对象数据组DOD(1)(FID.1)、…、DOD(3)(FID.1)中的第二动态对象数据组包括第二对象OBJ.2(“id=2”)的标识符ID(2),以及定义第二对象OBJ.2在第一帧中的位置的第一动态特性DP(2) 1(FID.1)(“pos=(0.0,0.0,1.0)”),以及定义第二对象OBJ.2不发出光的第二动态特性DP(2) 2(FID.1)(“light=0”)。
三个动态对象数据组DOD(1)(FID.1)、…、DOD(3)(FID.1)中的第三动态对象数据组包括第三对象OBJ.3(“id=3”)的标识符ID(3),以及定义第三对象OBJ.3在第一帧中的位置的第一动态特性DP(3) 1(FID.1)(“pos=(0.0,0.0,-1.0)”)。
图3示出用于将状态ST.1、...、ST.4从第一VR环境传输至第二VR环境的方法的第一实施例的流程图。
第一实施例的一个步骤是借助于接收系统RSYS接收REC-SOD关于对象OBJ.1、...、OBJ.3的静态对象数据组SOD(1)、…、SOD(3),其中,对象OBJ.1、…、OBJ.3在通过发送系统SSYS生成的第一VR环境中以及在通过接收系统RSYS生成的第二VR环境中能够显示。在此,借助于接收系统RSYS的接口RSYS.IF接收REC-SOD静态对象数据组SOD(1)、...、SOD(3)。
在所述实施例中,静态对象数据组SOD(1)、…、SOD(3)涉及对象OBJ.1、…、OBJ.3的至少一个静态特性SP(1) 1、…、SP(3) 1,其中,对象OBJ.1、...、OBJ.3的静态特性SP(1) 1、…、SP(3) 1不能通过使用者与第一VR环境的交互改变。静态对象数据组SOD(1)、…、SOD(3)通过如下方式涉及对象OBJ.1、...、OBJ.3的静态特性SP(1) 1、…、SP(3) 1:静态对象数据组SOD(1)、…、SOD(3)包括对象OBJ.1、...、OBJ.3的静态特性SP(1) 1、…、SP(3) 1。在所述实施例中,静态对象数据组SOD(1)、…、SOD(3)还包括对象OBJ.1、...、OBJ.3的标识符ID(1)、…、ID(3),所述静态对象数据组涉及或包括所述对象的静态特性SP(1) 1、…、SP(3) 1。
在所述实施例中,对象OBJ.1、...、OBJ.3的静态特性SP(1) 1、…、SP(3) 1尤其是或包括对象OBJ.1、...、OBJ.3的空间模型,对象OBJ.1、...、OBJ.3的一个或多个纹理,或对象OBJ.1、...、OBJ.3的恒定的物理特性。
在第一实施例中,静态对象数据组SOD(1)、…、SOD(3)由发送系统SSYS传送或发送给接收系统RSYS。替选地,也可以由服务器SRV接收静态对象数据组SOD(1)、…、SOD(3)。
第一实施例的另一步骤是借助于发送系统SSYS确定DET-DOD-1关于对象OBJ.1、...、OBJ.3的第一动态对象数据组DOD(1)(FID.1),其中,第一动态对象数据组DOD(1)(FID.1)涉及对象OBJ.1、...、OBJ.3在第一VR环境中的动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)。在所述实施例中,根据第一动态对象数据组DOD(1)(FID.1)来阐述本发明,但是,所述方法也可以应用于另外的第一动态对象数据组DOD(2)(FID.1)、DOD(3)(FID.1)、DOD(1)(FID.2)、DOD(2)(FID.3)、DOD(3)(FID.3)。
如果第一动态对象数据组DOD(1)(FID.1)包括动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1),则第一动态对象数据组DOD(1)(FID.1)尤其涉及动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)。第一动态对象数据组DOD(1)(FID.1)尤其还包括对象OBJ.1、...、OBJ.3的标识符ID(1),所述第一动态对象数据组涉及或包括所述对象的动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)。
在所述实施例中,第一动态对象数据组DOD(1)(FID.1)包括多个动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)。替选地,第一动态对象数据组DOD(1)(FID.1)也可以包括恰好一个动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)。此外,在所示出的实施例中,第一动态对象数据组DOD(1)(FID.1)是动态子数据结构DDS.1的部分,并且除第一动态对象数据组DOD(1)(FID.1)之外,动态子数据结构DDS.1不包括具有与第一动态对象数据组DOD(1)(FID.1)相同的标识符ID(1)的其他第一动态对象数据组。替选地,并且尤其在第一动态对象数据组DOD(1)(FID.1)包括恰好一个动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)的情况下,包括相同标识符ID(1)的多个第一动态对象数据组也可以是动态子数据结构DDS.1的部分。
在所述实施例中,对象OBJ.1、...、OBJ.3的动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)通过使用者与第一VR环境的交互能够改变。在此,交互可以是与对象OBJ.1、...、OBJ.3的直接交互(例如对象OBJ.1、...、OBJ.3的运动),或与对象OBJ.1、…、OBJ.3的间接交互,其中,另一对象OBJ.1、…、OBJ.3与对象OBJ.1、…、OBJ.3交互,并且使用者直接或间接与另一对象OBJ.1、…、OBJ.3交互。在所述实施例中,对象OBJ.1、…、OBJ.3的动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)例如是对象OBJ.1、…、OBJ.3的位置和/或取向、对象OBJ.1、…、OBJ.3的可见度、对象与另一对象OBJ.1、…、OBJ.3的关联、和/或对象OBJ.1、…、OBJ.3的光参数。
所示出的实施例的另一步骤是将第一动态对象数据组DOD(1)(FID.1)从发送系统SSYS传送TRM-DOD-1至接收系统RSYS。在此,借助于发送系统SSYS的接口SSYS.IF和接收系统RSYS的接口RSYS.IF进行传送TRM-DOD-1。
所示出的第一实施例的最后步骤是借助于接收系统RSYS、尤其借助于接收系统RSYS的计算单元RSYS.CU和/或接收系统RSYS的输出单元RSYS.OU,基于静态对象数据组SOD(1)、…、SOD(3)和第一动态对象数据组DOD(1)(FID.1)来确定DET-STAT-1第二VR环境的第一状态ST.1、...、ST.4。在此,确定DET-STAT-1第二VR环境的第一状态ST.1、...、ST.4包括:基于静态对象数据组SOD(1)、…、SOD(3)和第一动态对象数据组DOD(1)(FID.1),尤其基于对象OBJ.1、…、OBJ.3.的在静态对象数据组SOD(1)、…、SOD(3)中包含的静态特性SP(1) 1、…、SP(3) 1和在第一动态对象数据组DOD(1)(FID.1)中包含的动态特性DP(1) 1(FID.1)、DP(1) 2(FID.1)来渲染对象OBJ.1、…、OBJ.3。
图4示出用于将状态ST.1、...、ST.4从第一VR环境传输至第二VR环境的方法的第二实施例的流程图。第二实施例包括第一实施例的所有步骤,并且尤其可以具有所述步骤的所有有利的构造方案和改进方案。
第二实施例包括:借助于发送系统SSYS确定DET-CHG对象OBJ.1、...、OBJ.3的动态特性DP(1) 1(FID.1)、…、DP(3) 1(FID.3)的变化作为附加的步骤。在所述实施例中,借助于发送系统SSYS,例如通过将物理特性仿真到相应的对象OBJ.1、...、OBJ.3来求取第一VR环境的所有对象OBJ.1、...、OBJ.3的位置。由此尤其可以简单地求取,对于哪些对象OBJ.1、...、OBJ.3,动态特性DP(1) 1(FID.1)、…、DP(3) 1(FID.3)变化(例如,由于与使用者交互,或通过力的作用)。替选地,发送系统SSYS也可以存储所有对象OBJ.1、...、OBJ.3在一时刻的动态特性DP(1) 1(FID.1)、…、DP(3) 1(FID.3),并且求取在较晚的时刻的动态特性DP(1) 1(FID.1)、…、DP(3) 1(FID.3),并且通过比较两个时刻的动态特性DP(1) 1(FID.1)、…、DP(3) 1(FID.3)确定动态特性DP(1) 1(FID.1)、…、DP(3) 1(FID.3)中的变化。
以下假定,具有标识符ID(1)的对象OBJ.1在第一帧FID.1中具有第一动态特性DP(1) 1(FID.1),并且在第二帧FID.2)中具有第二动态特性DP(1) 1(FID.2),其中,第一动态特性DP(1) 1(FID.1)与第二动态特性DP(1) 1(FID.2)不同,并且因此确定变化。
第二实施例还包括:借助于发送系统SSYS确定DET-DOD-2关于对象OBJ.1的第二动态对象数据组DOD(1)(FID.2),其中,第二动态对象数据组DOD(1)(FID.2)涉及对象OBJ.1在第一VR环境中的动态特性DP(1) 1(FID.2)。在此,响应于确定DET-CHG对象OBJ.1的动态特性DP(1) 1(FID.2)的变化,确定DET-DOD-2第二动态对象数据组DOD(1)(FID.2),并且第二动态对象数据组DOD(1)(FID.2)尤其包括对象OBJ.1的改变的动态特性DP(1) 1(FID.2)。
第二动态对象数据组DOD(1)(FID.2)尤其可以包括对于关于第一动态对象数据组DOD(1)(FID.1)的第一实施例描述的所有有利的构造方案和改进方案。
所示出的第二实施例的另一步骤是将第二动态对象数据组DOD(1)(FID.2)从发送系统SSYS传送TRM-DOD-2至接收系统RSYS。在此,借助于发送系统SSYS的接口SSYS.IF和接收系统RSYS的接口RSYS.IF进行传送TRM-DOD-2。
所示出的第二实施例的最终的步骤是借助于接收系统RSYS、尤其借助于接收系统RSYS的计算单元RSYS.CU和/或接收系统RSYS的输出单元RSYS.OU基于静态对象数据组SOD(1)、…、SOD(3)和第二动态对象数据组DOD(1)(FID.2)来确定DET-STAT-2第二VR环境的第二状态ST.1、...、ST.4。在此,确定DET-STAT-2第二VR环境的第二状态ST.1、...、ST.4包括:基于静态对象数据组SOD(1)、…、SOD(3)和第二动态对象数据组DOD(1)(FID.2)、尤其基于对象OBJ.1的在静态对象数据组SOD(1)、…、SOD(3)中包含的静态特性SP(1) 1、…、SP(3) 1和在第二动态对象数据组DOD(1)(FID.2)中包含的动态特性DP(1) 1(FID.2)来渲染对象OBJ.1、...、OBJ.3。
在所示出的第二实施例中,第二动态对象数据组DOD(1)(FID.2)仅包括对象OBJ.1的关于较早的状态ST.1、...、ST.4改变的动态特性DP(1) 1(FID.2)。替选地,第二动态对象数据组DOD(1)(FID.2)可以包括对象OBJ.1的关于较早的状态ST.1、...、ST.4不改变的另外的动态特性。
在确定DET-STAT-2第二VR环境的第二状态ST.1、...、ST.4的步骤之后,借助于发送系统SSYS和所有以下的步骤可以可选地重新地或迭代地实施确定DET-CHG对象OBJ.1、…、OBJ.3的动态特性DP(1) 1(FID.1)、…、DP(3) 1(FID.3)的变化的步骤,尤其直至已检查所有对象OBJ.1、...、OBJ.3的所有动态特性DP(1) 1(FID.1)、…、DP(3) 1(FID.3),或直至在第一VR环境中出现新的帧。
有利地,在确定DET-DOD-2动态对象数据组DOD(1)(FID.1)、…、DOD(3)(FID.3)的步骤中,在一个或多个动态对象数据组DOD(1)(FID.1)、…、DOD(3)(FID.3)中处理在帧内形成的动态特性DP(1) 1(FID.1)、…、DP(3) 1(FID.3)的所有变化,所述动态对象数据组在传输TRM-DOD-2的步骤中共同地从发送系统SSYS传输给接收系统RSYS。
图5示出用于将状态ST.1、...、ST.4从第一VR环境传输至第二VR环境的方法的第三实施例的流程图。第三实施例包括:第一实施例和第二实施例的多个或所有步骤,并且尤其可以具有所述步骤的所有有利的构造方案和改进方案。
第三实施例尤其包括:借助于发送系统SSYS、尤其借助于发送系统SSYS的计算单元SSYS.CU确定DET-UPOS-1使用者在第一VR环境中的虚拟的第一使用者位置。对于确定DET-UPOS-1虚拟的第一使用者位置,尤其可以使用发送系统SSYS的另外的传感器。通过传感器尤其可以将第一VR环境的使用者的真实运动转换为第一使用者在第一VR环境中的虚拟运动或虚拟位置。
第三实施例还包括:将虚拟的第一使用者位置从发送系统SSYS传送TRM-UPOS-1至接收系统RSYS,尤其利用发送系统SSYS的接口SSYS.IF和接收系统RSYS的接口RSYS.IF实现传送。虚拟的第一使用者位置尤其也可以作为对象OBJ.1、…、OBJ.3、尤其显示第一VR环境中或第二VR环境中的使用者的对象OBJ.1、…、OBJ.3的动态对象数据组DOD(1)(FID.1)、…、DOD(3)(FID.3)来传输。
第三实施例还包括:基于第一使用者位置来确定DET-UPOS-2使用者在第二VR环境中的虚拟的第二使用者位置。在所述实施例中,在此,使用者在第二VR环境中的虚拟的第二使用者位置对应于使用者在第一VR环境中的虚拟的第一使用者位置(英文专业术语为“first person view(第一人称视角)”)。替选地,使用者在第二VR环境中的虚拟的第二使用者位置也可以通过使用者在第一VR环境中的虚拟的第一使用者位置的恒定的错位引起,在此,第二VR环境的使用者尤其也可以将第一VR环境的使用者感知为对象OBJ.1、...、OBJ.3(英文专业术语为“third person view(第三人称视角)”)。
在第三实施例中,确定DET-STAT-1、DET-STAT-2第二VR环境的第一状态和/或第二状态ST.1、...、ST.4在此还基于第二使用者位置。第二VR环境的渲染尤其可以通过如下方式基于第二使用者位置:使用第二使用者位置作为渲染的起始点。
图6示出用于将状态ST.1、...、ST.4从第一VR环境传输至第二VR环境的方法的第四实施例的流程图。第三实施例包括第一实施例和第二实施例的多个或所有步骤,并且尤其可以具有所述步骤的所有有利的构造方案和改进方案。
第四实施例还包括:借助于接收系统RSYS、尤其借助于接收系统RSYS的接口RSYS.IF将接收系统RSYS的技术参数TP.1、TP.2发送SND-TP给服务器SRV;以及借助于服务器SRC、尤其借助于服务器SRV的接口SRV.IF接收REC-TP接收系统RSYS的技术参数TP.1、TP.2。在所述实施例中,技术参数TP.1、TP.2描述接收系统RSYS的显示能力,并且尤其包括:接收系统RSYS的计算单元RSYS.CU、尤其接收系统RSYS的CPU和/或GPU的计算能力(例如,能够通过CPU和/或GPU执行的浮点运算的数量);以及还包括接收系统RSYS的存储单元RSYS.MU、尤其接收系统RSYS的工作存储器的存储容量。
第四实施例还包括:借助于发送系统SSYS,确定DET-ID对象OBJ.1、...、OBJ.3、尤其第一VR环境中的对象OBJ.1、...、OBJ.3的标识符;将对象OBJ.1、...、OBJ.3的标识符从发送系统SSYS传送TRM-ID给接收系统RSYS;借助于接收系统RSYS将对象OBJ.1、...、OBJ.3的标识符发送SND-ID给服务器SRV;并且借助于服务器SRV接收REC-ID对象OBJ.1、...、OBJ.3的标识符。尤其借助于发送系统SSYS的计算单元SSYS.CU实施标识符的确定DET-ID。尤其借助于参与的单元SSYS、RSYS、SRV的接口SSYS.IF、RSYS.IF、SRV,传送TRM-ID标识符、发送SND-ID标识符以及接收REC-ID。
尤其在确定DET-ID标识符时,还可以确定第一VR环境中的一定量的或所有对象OBJ.1、...、OBJ.3的标识符。同样,在传送TRM-ID标识符时,还可以传送第一VR环境中的所述量的或所有对象OBJ.1、...、OBJ.3的标识符。尤其在发送SND-ID标识符时,还可以传送第一VR环境中的所述量的或所有对象OBJ.1、...、OBJ.3的标识符。尤其在接收REC-ID标识符时,还可以传送第一VR环境中的所述量的或所有对象OBJ.1、...、OBJ.3的标识符。
对象OBJ.1、...、OBJ.3的标识符尤其可以是静态子数据结构SDS的一部分,其中,静态子数据结构SDS尤其可以是根据本发明的数据结构DS的组成部分。
所示出的第四实施例还包括:借助于服务器SRV、尤其借助于服务器SRV的计算单元SRV.CU基于技术参数TP.1、TP.2和标识符来确定DET-SOD静态对象数据组SOD(1)、…、SOD(3)。在此,静态对象数据组SOD(1)、…、SOD(3)匹配于接收系统RSYS的技术参数TP.1、TP.2。在此,服务器SRV尤其可以针对每个标识符存储不同的静态对象数据组SOD(1)、…、SOD(3)(例如具有不同空间分辨率的空间模型或具有不同分辨率的纹理)和关联的技术最小参数,尤其存储在数据库中。在此,技术最小参数具有与所传送的技术参数TP.1、TP.2相同的结构,在所述实施例中,技术最小参数也同样详细说明计算能力和存储容量。
如果技术最小参数关联于静态对象数据组SOD(1)、…、SOD(3),则技术最小参数的计算能力表示在接收系统RSYS中对于基于静态对象数据组SOD(1)、…、SOD(3)显示相关的对象OBJ.1、...、OBJ.3所需的最小计算能力。此外,技术最小参数的存储容量表示在接收系统RSYS中对于基于静态对象数据组SOD(1)、…、SOD(3)显示相关的对象OBJ.1、...、OBJ.3所需的最小存储容量。技术最小参数尤其也可以包括所使用的图形引擎(德文翻译为“Graphik-Maschine”或“Graphikmodul”)。这种图形引擎的示例是“Unity”或“Unreal”。
在所述实施例中,然后在确定DET-SOD静态对象数据组SOD(1)、…、SOD(3)的步骤中,选择在服务器SRV中存储的静态对象数据组SOD(1)、…、SOD(3)中的一个静态对象数据组,使得接收到的技术参数TP.1、TP.2满足与存储在SRV服务器中的静态对象数据组SOD(1)、…、SOD(3)中的一个静态对象数据组关联的技术最小参数。为此,在所述实施例中,技术参数TP.1、TP.2中的计算容量和存储容量必须分别大于技术最小参数中的计算能力和存储容量。
当然也可以利用技术参数TP.1,TP.2或技术最小参数的其他任何结构执行技术参数TP.1、TP.2与技术最小参数的比较,并进而也执行确定DET-SOD静态对象数据组SOD(1)、…、SOD(3)。
尤其如果由服务器SRV接收多个对象OBJ.1、...、OBJ.3的多个标识符ID,则在确定静态对象数据组SOD(1)、…、SOD(3)时可以考虑与重要的静态对象数据组SOD(1)、…、SOD(3)关联的所有技术最小参数。例如,然后可以确定静态对象数据组SOD(1)、…、SOD(3),使得技术参数TP.1、TP.2满足相应的技术最小参数的总和。替代总和,也可以选择相应技术最小参数的其他功能(例如平均值)、尤其对于技术最小参数的不同的组成部分的不同的功能。
在所示出的实施例中,响应于发送SND-ID对象OBJ.1、…、OBJ.3的标识符ID,实施接收REC-SOD静态对象数据组SOD(1)、…、SOD(3)。换言之,接收系统RSYS首先将对象OBJ.1、...、OBJ.3的标识符ID发送给服务器SRV,并且随后,接收系统RSYS接收REC-SOD静态对象数据组SOD(1)、…、SOD(3)。如在所述实施例中示出的那样,在发送SND-ID对象OBJ.1、...、OBJ.3的标识符ID与接收REC-SOD静态对象数据组SOD(1)、…、SOD(3)之间,服务器SRV当然可以执行其他步骤。
图7示出所述方法的在图6中示出的实施例的数据流程图。在所述数据流程图中,发送系统SSYS、两个接收系统RSYS.1、RSYS.2和服务器SRV之间进行数据传输。所传输的数据在发送系统SSYS与接收系统RSYS.1、RSYS.2之间以从上向下传输的顺序描绘,并且在发送系统SSYS或接收系统RSYS.1、RSYS.2与服务器SRV之间以从左向右传输的顺序描绘。
在所述数据流程图中,接收系统RSYS.1、RSYS.2将相应的接收系统RSYS.1、RSYS.2的技术参数TP.1、TP.2发送SND-TP给服务器SRV。可选地,发送系统SSYS也将发送系统SSYS的技术参数TP.S发送给服务器SRV。此外,在所述数据流程图中,发送系统SSYS将一个或多个对象OBJ.1、...、OBJ.3的标识符ID传送TRM-ID给不同的接收系统RSYS.1、RSYS.2。所述接收系统将所述标识符ID发送SND-ID给服务器SRV。在所述实施例中,发送系统SSYS可选地也将一个或多个对象OBJ.1、...、OBJ.3的标识符ID发送给服务器SRV。
响应于接收REC-ID标识符ID,服务器SRV将匹配于相应的技术参数TP.1、TP.2、TP.S的静态对象数据组SOD.1、SOD.2、SOD.S发送SND-SOD给相应的接收系统RSYS.1、RSYS.2或给发送系统SSYS。接收系统RSYS.1、RSYS.2或发送系统SSYS使用静态对象数据组SOD.1、SOD.2、SOD.S以用于在相应的VR环境中显示对象OBJ.1、...、OBJ.3。
如果在接收系统RSYS.1、RSYS.2中存在相应的静态对象数据组SOD.1、SOD.2,则将动态对象数据组DOD.1、DOD.2从发送系统SSYS传送至接收系统RSYS.1、RSYS.2。然后,接收系统RSYS.1、RSYS.2(以及发送系统SSYS)可以基于相应的静态对象数据组SOD.1、SOD.2、SOD.S和相应的动态对象数据接DOD.1、DOD.2来显示相应的VR环境。
图8示出包括发送系统SSYS、接收系统RSYS和可选的服务器SRV的传输系统TSYS的方框图。发送系统SSYS包括:接口SSYS.IF、计算单元SSYS.CU、存储单元SSYS.MU、输入单元SSYS.IU以及输出单元SSYS.OU。接收系统RSYS包括:接口RSYS.IF、计算单元RSYS.CU、存储单元RSYS.MU、输入单元RSYS.IU以及输出单元RSYS.OU。服务器SRV包括:接口SRV.IF、计算单元SRV.CU以及存储单元SRV.MU。
发送系统SSYS和/或接收系统RSYS尤其可以是计算机,尤其是视频眼镜。视频眼镜的英文专业术语是“head-mountable display”或“head-mounted display”。服务器SRV尤其可以是计算机、微控制器或是集成电路。替选地,服务器SRV可以是计算机的真实的或虚拟的复合体(真实复合体的英文专业术语为“Cluster(集群)”,虚拟的复合体的英文专业术语为“Cloud(云)”)。
接口SSYS.IF、RSYS.IF、SRV.IF可以是硬件或软件接口(例如PCI总线、USB或火线)。接口SSYS.IF、RSYS.IF、SRV.IF尤其可以包括多个另外的接口或子接口。计算单元SSYS.CU、RSYS.CU、SRV.CU可以具有硬件元件或软件元件,例如,微处理器或所谓的FPGA(英文“Field Programmable Gate Array(现场可编程门阵列)”的缩写)。计算单元SSYS.CU、RSYS.CU、SRV.CU尤其可以包括多个另外的计算单元或子计算单元。存储单元SSYS.MU、RSYS.MU、SRV.MU可以实现为非永久性工作存储器(随机存取存储器,简称RAM)或永久性大容量存储器(硬盘、USB记忆棒、SD卡、固态磁盘)。存储单元SSYS.MU、RSYS.MU、SRV.MU尤其可以包括多个另外的存储单元或子存储单元。
输入单元SSYS.IO、RSYS.IO尤其可以是能够实现使用者与VR环境交互的单元。在此,输入单元SSYS.IO、RSYS.IO可以安置在使用者上,由使用者操作和/或观察使用者。使用者尤其可以借助于语音控制或手势控制与输入单元SSYS.IO、RSYS.IO交互。替选地或附加地,输入单元SSYS.IO、RSYS.IO还可以例如借助于光学摄像机来检测使用者的运动(英文专业术语为“motion tracking(运动跟踪)”)、尤其使用者的手或手指的运动(英文专业术语为“finger tracking(手指跟踪)”或“hand tracking(手跟踪)”),或也检测使用者的眼睛运动(英文专业术语是“eye tracking(眼部跟踪)”)。在此,光学摄像机可以固定在使用者自身上(英文专业术语为“inside-out tracking(内向外追踪)”),或从外部观察使用者(英文专业术语为“outside-in tracking(外向内追踪)”)。通过使用在使用者上的标记可以改进运动检测。除光学检测器外,替选地或附加地也可以使用声学检测器(例如超声)、电磁检测器(例如通流线圈)、惯性检测器(例如陀螺仪、加速度计或磁力计)或测角计。此外,输入单元SSYS.IO、RSYS.IO也可以包括物理的操作元件,例如鼠标、键盘或操纵杆。
输出单元SSYS.OU、RSYS.OU尤其可以是能够实现显示VR环境的单元。在此,输出单元SSYS.OU、RSYS.OU尤其可以构成视频眼镜的组成部分(英文专业术语为“head-mountabledisplay”)。对此已知的技术是“透视显示器(See-Through-Displays)”(德文翻译为“Durchschaubildschirme”,在此借助于分束器使现实和虚拟图像叠加)或,直接或经由投影能够由人眼感知的屏幕(“头戴式非投影显示器(head-mounted non-projectivedisplays)”或“头戴式投影显示器(head-mounted projective displays)”)。相对于视频眼镜替选地,输出单元也可以是投影系统的部分(例如“洞穴自动虚拟环境(CaveAutomatic Virtual Environmen)”,缩写为CAVE,德文翻译为“mitautomatisierter,virtueller Umwelt”)。相应的屏幕可以作为OLED屏幕(“有机发光二极管(organic light emitting diode)”的缩写,德文翻译为“organische Leuchtdiode”)、LCD屏幕(“液晶显示器(liquid cristall display)”的缩写,德文翻译为“Flüssigkristalldisplay”)或CLPL屏幕(“定制化低延迟液晶屏(customized lowpersistence liquid)”的缩写,德文翻译为“angepasste Flüssigkeit mit niedrigerPersistenz”)。
发送系统SSYS、接收系统RSYS以及服务器SRV经由网络NETW连接,尤其借助于相应的接口SSYS.IF、RSYS.IF、SRV.IF连接。网络NETW尤其可以是局域网(英文专业术语为“Local Area Network”,简称“LAN”)或是广域网(英文专业术语为“Wide Area Network”,简称“WAN”)。局域网的示例是内联网,广域网的示例是互联网。网络NETW尤其可以无线地实施,尤其实施为WLAN(“wireless LAN”,英文中常用简写“WiFi”)或实施为蓝牙连接。网络NETW也可以实施为所提及的示例的组合。
即使未明确表明,但是有意义的并且在本发明的意义下,可以将各个实施例、实施例的各个子方面或特征彼此组合或交换,而不脱离本发明的范畴。在没有明确提及可转用的情况下,本发明的参照实施例描述的优点也适用于其他实施例。
Claims (16)
1.一种用于将状态(ST.1,…,ST.4)从第一VR环境传输至第二VR环境的计算机实施的方法,所述方法包括:
-借助于接收系统(RSYS,RSYS.1,RSYS.2)接收(REC-SOD)关于对象(OBJ.1,…,OBJ.3)的静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2),
其中,在通过发送系统(SSYS)生成的第一VR环境中并且在通过所述接收系统(RSYS,RSYS.1,RSYS.2)生成的第二VR环境中能够显示所述对象(OBJ.1,…,OBJ.3),
-借助于发送系统(SSYS)确定(DET-DOD-1)关于所述对象(OBJ.1,…,OBJ.3)的第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2),
其中,所述第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)涉及所述对象(OBJ.1,…,OBJ.3)在所述第一VR环境中的动态特性(DP(1) 1(FID.1),…,DP(3) 1(FID.3)),
-将所述第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)从所述发送系统(SSYS)传送(TRM-DOD-1)至所述接收系统(RSYS,RSTS.1,RSYS.2),
-借助于所述接收系统(RSYS,RSYS.1,RSYS.2)基于所述静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2)和所述第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)来确定(DET-STAT-1)所述第二VR环境的第一状态(ST.1,…,ST.4)。
2.根据权利要求1所述的方法,所述方法还包括:
-借助于所述发送系统(SSYS)确定(DET-DOD-2)关于所述对象(OBJ.1,…,OBJ.3)的第二动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2),
其中,所述第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)涉及所述对象(OBJ.1,…,OBJ.3)在第一时刻在所述第一VR环境中的动态特性(DP(1) 1(FID.1),…,DP(3) 1(FID.3)),
其中,所述第二动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)涉及所述对象(OBJ.1,…,OBJ.3)在第二时刻在所述第一VR环境中的动态特性(DP(1) 1(FID.1),…,DP(3) 1(FID.3)),
-将所述第二动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)从所述发送系统(SSYS)传送(TRM-DOD-2)至所述接收系统(RSYS,RSYS.1,RSYS.2),
-借助于所述接收系统(RSYS,RSYS.1,RSYS.2)基于所述静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2)和所述第二动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)来确定(DET-STAT-2)所述第二VR环境的第二状态(ST.1,…,ST.4)。
3.根据权利要求2所述的方法,所述方法还包括:
-确定(DET-CHG)所述对象(OBJ.1,…,OBJ.3)的动态特性(DP(1) 1(FID.1),…,DP(3) 1(FID.3))的变化,其中,响应于对所述对象(OBJ.1、…、OBJ.3)的所述动态特性(DP(1) 1(FID.1)、…、DP(3) 1(FID.3))的变化的确定,来确定所述第二动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)。
4.根据上述权利要求中任一项所述的方法,其中,通过使用者与所述第一VR环境的交互能够改变所述对象(OBJ.1,…,OBJ.3)的动态特性(DP(1) 1(FID.1),…,DP(3) 1(FID.3))。
5.根据权利要求4所述的方法,其中,所述对象(OBJ.1,…,OBJ.3)的动态特性(DP(1) 1(FID.1),…,DP(3) 1(FID.3))涉及所述对象(OBJ.1,…,OBJ.3)的以下特性中的至少一个特性:
-所述对象(OBJ.1,…,OBJ.3)的位置和/或取向,
-所述对象(OBJ.1,…,OBJ.3)的可见度,
-所述对象与另一对象(OBJ.1,…,OBJ.3)的关联,
-所述对象(OBJ.1,…,OBJ.3)的光参数。
6.根据上述权利要求中任一项所述的方法,其中,所述静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2)涉及所述对象(OBJ.1,…,OBJ.3)的至少一个静态特性(SP(1) 1,…,SP(3) 1),其中,所述对象(OBJ.1,…,OBJ.3)的所述静态特性(SP(1) 1,…,SP(3) 1)不能通过使用者与所述第一VR环境的交互而改变。
7.根据权利要求6所述的方法,其中,所述静态特性(SP(1) 1,…,SP(3) 1)涉及所述对象(OBJ.1,…,OBJ.3)的以下特性中的至少一个特性:
-所述对象(OBJ.1,…,OBJ.3)的空间模型,
-所述对象(OBJ.1,…,OBJ.3)的一个或多个纹理,
-所述对象(OBJ.1,…,OBJ.3)的恒定的物理特性。
8.根据上述权利要求中任一项所述的方法,所述方法还包括:
-借助于所述发送系统(SSYS)确定(DET-UPOS-1)使用者在所述第一VR环境中的虚拟的第一使用者位置,
-将所述虚拟的第一使用者位置从所述发送系统(SSYS)传送(TRM-UPOS-1)至所述接收系统(RSYS,RSYS.1,RSYS.2),
-基于所述第一使用者位置确定(DET-UPOS-2)使用者在所述第二VR环境中的虚拟的第二使用者位置,
其中,确定所述第二VR环境的第一状态(ST.1,…,ST.4)和/或第二状态(ST.1,…,ST.4)还基于所述第二使用者位置。
9.根据上述权利要求中任一项所述的方法,其中,确定所述第一状态(ST.1,…,ST.4)和/或确定所述第二状态(ST.1,…,ST.4)包括:渲染所述对象(OBJ.1,…,OBJ.3)。
10.根据上述权利要求中任一项所述的方法,所述方法还包括:
-借助于所述接收系统(RSYS,RSYS.1,RSYS.2)将所述接收系统(RSYS,RSYS.1,RSYS.2)的技术参数(TP.1,TP.2)发送(SND-TP)至服务器(SRV),
其中,所述静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2)匹配于所述接收系统(RSYS,RSYS.1,RSYS.2)的技术参数(TP.1,TP.2)。
11.根据上述权利要求中任一项所述的方法,所述方法还包括:
-借助于所述发送系统(SSYS)确定(DET-ID)对象(OBJ.1,…,OBJ.3)的标识符,
-将所述对象(OBJ.1,…,OBJ.3)的标识符从所述发送系统(SSYS)传送(TRM-ID)给所述接收系统(RSYS,RSYS.1,RSYS.2),
-借助于所述接收系统(RSYS,RSYS.1,RSYS.2)将所述对象(OBJ.1,…,OBJ.3)的标识符发送(SND-ID)给服务器(SRV),
-其中,响应于发送所述对象(OBJ.1,…,OBJ.3)的标识符,接收所述静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2)。
12.一种用于将状态(ST.1,…,ST.4)从第一VR环境传输至第二VR环境的传输系统(TSYS),所述传输系统包括:
-发送系统(SSYS),其构成用于确定(DET-DOD-1)关于对象(OBJ.1,…,OBJ.3)的第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2),其中,在通过所述发送系统(SSYS)生成的第一VR环境中能够显示所述对象(OBJ.1,…,OBJ.3),其中,所述第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)涉及所述对象(OBJ.1,…,OBJ.3)在所述第一VR环境中的动态特性(DP(1) 1(FID.1),…,DP(3) 1(FID.3)),
-接收系统(RSYS,RSYS.1,RSYS.2),其构成用于接收(REC-SOD)关于所述对象(OBJ.1,…,OBJ.3)的静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2),其中,在通过所述接收系统(RSYS,RSYS.1,RSYS.2)生成的第二VR环境中能够显示所述对象(OBJ.1,…,OBJ.3),
所述接收系统还构成用于基于所述静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2)和所述第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)来确定(DET-STAT-1)所述第二VR环境的第一状态(ST.1,…,ST.4);
其中,所述传输系统(TSYS)还构成用于将所述第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)从所述发送系统(SSYS)传送(TRM-DOD-1)至所述接收系统(RSYS,RSYS.1,RSTS.2)。
13.一种计算机程序产品,所述计算机程序产品具有计算机程序,所述计算机程序能够直接加载到传输系统(TSYS)的存储器中,所述计算机程序具有程序部段,以便当由所述传输系统(TSYS)运行所述程序部段时,执行根据权利要求1至11中任一项所述的方法的所有步骤。
14.一种计算机可读的存储介质,在所述计算机可读的存储介质上,存储有由传输系统(TSYS)可读的并且可执行的程序部段,以便当由所述传输系统(TSYS)运行所述程序部段时,执行根据权利要求1至11中任一项所述的方法的所有步骤。
15.一种计算机实施的数据结构(DS),所述数据结构用于在根据权利要求1至11中任一项所述的方法中或在根据权利要求12所述的传输系统中应用,所述数据结构包括:静态子数据结构(SDS)和动态子数据结构(DDS.1,…,DDS.3),
其中,所述静态子数据结构(SDS)涉及关于对象(OBJ.1,…,OBJ.3)的静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2),
其中,所述动态子数据结构(DDS.1,…DDS.2)包括关于所述对象(OBJ.1,…,OBJ.3)的动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2),
并且其中,VR环境的状态(ST.1,…,ST.4)基于所述静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2)和所述动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)能够显示。
16.一种用于确定对象(OBJ.1,…,OBJ.3)在第二VR环境中的状态(ST.1,…,ST.4)的计算机实施的方法,所述方法包括:
-接收关于所述对象(OBJ.1,…,OBJ.3)的静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2),
其中,在借助于接收系统(RSYS,RSYS.1,RSYS.2)生成的第二VR环境中能够显示所述对象,
-接收关于所述对象(OBJ.1,…,OBJ.3)的第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2),
其中,所述第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)涉及所述对象(OBJ.1,…,OBJ.3)在第一VR环境中的动态特性DP(1) 1(FID.1),…,DP(3) 1(FID.3),
-基于所述静态对象数据组(SOD(1),…,SOD(3),SOD.1,SOD.2)和所述第一动态对象数据组(DOD(1)(FID.1),…,DOD(3)(FID.3),DOD.1,DOD.2)来确定所述对象(OBJ.1,…,OBJ.3)在所述第二VR环境中的第一状态(ST.1,…,ST.4)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19165281.7 | 2019-03-26 | ||
EP19165281.7A EP3716014B1 (de) | 2019-03-26 | 2019-03-26 | Übertragen eines zustands zwischen vr-umgebungen |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111752384A true CN111752384A (zh) | 2020-10-09 |
CN111752384B CN111752384B (zh) | 2024-07-12 |
Family
ID=66101802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010216906.2A Active CN111752384B (zh) | 2019-03-26 | 2020-03-25 | 计算机实施的方法、传输系统、程序产品和数据结构 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11087556B2 (zh) |
EP (1) | EP3716014B1 (zh) |
CN (1) | CN111752384B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12086221B2 (en) * | 2019-02-01 | 2024-09-10 | Sony Group Corporation | Multi-factor authentication for virtual reality |
CN112287949B (zh) * | 2020-11-02 | 2024-06-07 | 杭州灵伴科技有限公司 | 一种基于多个特征信息的ar信息显示方法及ar显示装置 |
US11801448B1 (en) | 2022-07-01 | 2023-10-31 | Datadna, Inc. | Transposing virtual content between computing environments |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107850936A (zh) * | 2015-01-28 | 2018-03-27 | Ccp公司 | 用于提供物理环境的虚拟显示的方法和系统 |
CN108027653A (zh) * | 2015-09-09 | 2018-05-11 | 微软技术许可有限责任公司 | 虚拟环境中的触觉交互 |
US20180268775A1 (en) * | 2017-03-15 | 2018-09-20 | Kuato Games (UK) Limited | Virtual reality system using an actor and director model |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6915301B2 (en) * | 1998-08-25 | 2005-07-05 | International Business Machines Corporation | Dynamic object properties |
KR100918392B1 (ko) * | 2006-12-05 | 2009-09-24 | 한국전자통신연구원 | 3d 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법 |
US8834168B2 (en) * | 2008-08-21 | 2014-09-16 | Lincoln Global, Inc. | System and method providing combined virtual reality arc welding and three-dimensional (3D) viewing |
US20170243403A1 (en) * | 2014-11-11 | 2017-08-24 | Bent Image Lab, Llc | Real-time shared augmented reality experience |
US20160133230A1 (en) * | 2014-11-11 | 2016-05-12 | Bent Image Lab, Llc | Real-time shared augmented reality experience |
DE102016105496A1 (de) * | 2015-03-26 | 2016-09-29 | Faro Technologies Inc. | System zur Prüfung von Objekten mittels erweiterter Realität |
WO2018200685A2 (en) * | 2017-04-27 | 2018-11-01 | Ecosense Lighting Inc. | Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations |
US11017601B2 (en) * | 2016-07-09 | 2021-05-25 | Doubleme, Inc. | Mixed-reality space map creation and mapping format compatibility-enhancing method for a three-dimensional mixed-reality space and experience construction sharing system |
US20190005716A1 (en) * | 2016-11-10 | 2019-01-03 | Janus Vr Inc. | Method and system for translating a legacy web page into a three-dimensional virtual reality (vr) immersive space |
US10068380B2 (en) * | 2016-11-17 | 2018-09-04 | Adobe Systems Incorporated | Methods and systems for generating virtual reality environments from electronic documents |
US10880086B2 (en) * | 2017-05-02 | 2020-12-29 | PracticalVR Inc. | Systems and methods for authenticating a user on an augmented, mixed and/or virtual reality platform to deploy experiences |
US10444759B2 (en) * | 2017-06-14 | 2019-10-15 | Zoox, Inc. | Voxel based ground plane estimation and object segmentation |
US10423844B2 (en) * | 2017-09-27 | 2019-09-24 | Toyota Jidosha Kabushiki Kaisha | Personalized augmented reality vehicular assistance for color blindness condition |
KR101985703B1 (ko) * | 2018-08-24 | 2019-06-04 | 주식회사 버넥트 | 증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템 |
CN109766006B (zh) * | 2019-01-02 | 2021-02-05 | 京东方科技集团股份有限公司 | 虚拟现实场景的显示方法、装置及设备 |
US11373383B2 (en) * | 2019-08-05 | 2022-06-28 | Brightline Interactive, LLC | Immersive ecosystem |
-
2019
- 2019-03-26 EP EP19165281.7A patent/EP3716014B1/de active Active
-
2020
- 2020-03-17 US US16/820,958 patent/US11087556B2/en active Active
- 2020-03-25 CN CN202010216906.2A patent/CN111752384B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107850936A (zh) * | 2015-01-28 | 2018-03-27 | Ccp公司 | 用于提供物理环境的虚拟显示的方法和系统 |
CN108027653A (zh) * | 2015-09-09 | 2018-05-11 | 微软技术许可有限责任公司 | 虚拟环境中的触觉交互 |
US20180268775A1 (en) * | 2017-03-15 | 2018-09-20 | Kuato Games (UK) Limited | Virtual reality system using an actor and director model |
Also Published As
Publication number | Publication date |
---|---|
US11087556B2 (en) | 2021-08-10 |
US20200312035A1 (en) | 2020-10-01 |
EP3716014A1 (de) | 2020-09-30 |
EP3716014B1 (de) | 2023-09-13 |
CN111752384B (zh) | 2024-07-12 |
EP3716014C0 (de) | 2023-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12106416B2 (en) | Artificial reality system architecture for concurrent application execution and collaborative 3D scene rendering | |
CN110603515B (zh) | 利用共享锚点显示的虚拟内容 | |
US9613463B2 (en) | Augmented reality extrapolation techniques | |
CN111752384B (zh) | 计算机实施的方法、传输系统、程序产品和数据结构 | |
US10726625B2 (en) | Method and system for improving the transmission and processing of data regarding a multi-user virtual environment | |
JP2022528432A (ja) | ハイブリッドレンダリング | |
AU2016210884A1 (en) | Method and system for providing virtual display of a physical environment | |
KR20170102585A (ko) | 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 | |
JP2020537200A (ja) | 画像に挿入される画像コンテンツについての影生成 | |
US20240085993A1 (en) | Body pose estimation using self-tracked controllers | |
CN110568923A (zh) | 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质 | |
JP2022550644A (ja) | パススルー視覚化 | |
EP4172862A1 (en) | Object recognition neural network for amodal center prediction | |
TWI694355B (zh) | 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體 | |
Zhang et al. | A directx-based dicom viewer for multi-user surgical planning in augmented reality | |
Wei et al. | Function-based visualization and haptic rendering in shared virtual spaces | |
McNamara et al. | Investigating low-cost virtual reality technologies in the context of an immersive maintenance training application | |
US11461960B2 (en) | Reflection rendering in computer generated environments | |
Roth et al. | Avatar Embodiment, Behavior Replication, and Kinematics in Virtual Reality. | |
US8531453B2 (en) | Augmenting virtual worlds simulation with enhanced assets | |
EP3526771B1 (en) | Held object stabilization in virtual reality | |
US10311621B2 (en) | Held object stabilization in virtual reality | |
Yang et al. | Research on interactive operation considered physical attributes by using force feedback device | |
Mahfoud et al. | Mixed-Reality Platform for Coordination and Situation Awareness in Smart Buildings | |
Rettig | Software Design for Virtual Reality Applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240903 Address after: German Phu F Haim Patentee after: Siemens Medical AG Country or region after: Germany Address before: Erlangen Patentee before: Siemens Healthineers AG Country or region before: Germany |