CN107430785B - 用于显示三维对象的方法和系统 - Google Patents
用于显示三维对象的方法和系统 Download PDFInfo
- Publication number
- CN107430785B CN107430785B CN201480084605.1A CN201480084605A CN107430785B CN 107430785 B CN107430785 B CN 107430785B CN 201480084605 A CN201480084605 A CN 201480084605A CN 107430785 B CN107430785 B CN 107430785B
- Authority
- CN
- China
- Prior art keywords
- marker
- optical sensor
- coordinates
- picture
- sensor array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 239000003550 marker Substances 0.000 claims abstract description 171
- 230000003287 optical effect Effects 0.000 claims abstract description 136
- 230000000694 effects Effects 0.000 claims abstract description 91
- 230000033001 locomotion Effects 0.000 claims abstract description 74
- 239000011521 glass Substances 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000003491 array Methods 0.000 claims abstract description 21
- 238000000926 separation method Methods 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 12
- 238000004020 luminiscence type Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 abstract description 7
- 238000009877 rendering Methods 0.000 description 28
- 230000007246 mechanism Effects 0.000 description 25
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000008447 perception Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 11
- 238000005286 illumination Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000016776 visual perception Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 210000001525 retina Anatomy 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000001934 delay Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013213 extrapolation Methods 0.000 description 4
- 230000008255 psychological mechanism Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 206010052143 Ocular discomfort Diseases 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 3
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 201000003152 motion sickness Diseases 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008288 physiological mechanism Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 241000254158 Lampyridae Species 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000000207 volumetry Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种用于使用同时提供至少双目视差和运动视差的效果的二维可视化构件来显示三维对象的系统，所述系统包括：至少一个显示器，所述至少一个显示器被配置来显示图像序列；至少一副眼镜，所述至少一副眼镜被配置来提供图像的立体分隔，所述眼镜包括至少两个光学快门和至少两个标记；至少两个光学传感器阵列；至少两个读取和处理装置，所述至少两个读取和处理装置被配置来从所述光学传感器阵列的区域读取数据并确定所述标记的2D坐标；至少一个标记坐标预测装置，所述至少一个标记坐标预测装置被配置来推断所述标记的坐标，以使得有效总体延迟不超过5ms；标记3D坐标计算装置；3D场景形成装置；以及至少一个图像输出装置。本发明还包括一种显示三维对象并为一名或多名观察者提供三维对象的真实表示的对应方法。
Description
技术领域
本发明涉及用于显示现实三维对象的多用户构件，且具体地，其涉及基于空间视觉感知的单目和双目机制的构件，所述单目和双目机制使用可视化构件以在屏幕表面上提供图像。
背景技术
用于显示三维对象的构件被用于科学、工业、教育、游戏目的等的各种虚拟现实系统中。当使用传统的可视化构件(即，用于在屏幕表面上而不是在一定体积的介质中形成图像的构件)时，例如基于基本平坦面板(如液晶显示器(LCD)、等离子面板、投影屏幕)的构件，使用利用尽可能多的空间视觉感知机制的方法是得当的。
视觉感知机制分为单目和双目机制，并且分为生理和心理机制。单目机制包括遮挡、已知对象尺寸的可辨认性、运动视差、线性透视、纹理梯度、阴影和调节。双目机制包括会聚和双目视网膜像差。生理机制包括可以通过数学和物理学(运动视差、调节、会聚和双目视网膜像差)的概念和公式手段来定义的生理机制，而心理机制包括基于人类感知经验(所有其他机制)的心理机制。一般而言，生理空间感知机制在空间可视化中占主导地位，而心理空间感知机制则是补充性的。
遮挡(也称为插入)是在一个对象阻碍另一个对象的视图的情况下确保深度感知的机制。
当观察者和在观察中的对象的相互位置改变时，运动视差是图像部分相对于彼此移位的效果，其中角速度与图像部分和观察者之间的距离差成比例。这种效果对于相对于观察者在静止环境中移动靠近观察者定位的对象而言是最明显的。
尺寸的可辨认性基于人类感知经验中对象大小的概念，其允许使用对象的可见大小的信息来理解对象相对于观察者究竟有多远。
线性透视是对象的可见尺寸和它们之间的距离根据与观察者的距离成比例地减小的效果；这种效果在二维图像中提供了一些景深印象。
当由于观察者与纹理表面之间的距离变化而使感知的纹理图案连同纹理成分的可见尺寸一起修改时，纹理梯度是光学效果。
阴影是根据对象与光源之间的距离的增加而减少对象的照明以及由图像的另一部分遮蔽图像的某些部分的效果。阴影是深度感知的重要标志，因为它允许观察者通过比较对象投射阴影的表面的形状、阴影本身的形状以及关于光源的信息来判断对象的形状和大小，而不直接观察对象本身。
调节是深度感知的机制，其中人类大脑使用一定程度的背景模糊(当眼睛光学系统聚焦在针对所述背景观察到的对象上时发生背景模糊)，以评估与对象的距离。观察者注意到的对象定位得越靠近，眼睛晶状体的曲率越大并且发生背景模糊。当观察者与对象之间的距离较小或很小时，通常可能通过调节来获得信息。
会聚是在观察位于观察者附近的对象时眼睛将其瞳孔聚集在一起的趋势。另一方面，以视力线趋于平行的方式观察远程对象。
双目视差是在两只眼睛中形成的图像之间的一些差异。这种效果也称为双目视差或体视。正是视网膜图像的双目视差主要促成了图像的3D体积的深刻印象。
在环境的视觉感知过程中，一个人同时使用上述提到的机制中的所有可用的体积感知机制；大脑将所有机制的数据减少成单个总体图片。这些机制的相互作用基于两个主要策略：涉及通过不同机制获得的信息的整合的加法性策略，以及基于主要使用由深度感知的一个先导机制提供的信息的选择性策略。加法性策略被更频繁地使用，并且在空间感知且特别是图像的深度方面具有更高的效率。作为选择性策略中的主要特征，最常使用遮挡、运动视差或双目视差。
当构建虚拟现实系统时，应利用尽可能多的3D空间感知机制，以确保这些机制提供的效果彼此肯定并增强，以便提供现实三维图像。在选择要使用的机制的同时，应优先考虑心理机制，因为它们中的每一个都可能在选择性策略中占主导地位，并且所有这些机制在加法性策略中都是非常有影响力的。正确选择用于虚拟现实系统中的空间感知机制有助于人类大脑将由未使用机制提供的信息视为不太可靠并将其筛选出来。在任何情况下，双目视差和运动视差都应同时用于确保虚拟现实系统中的三维图像的现实性(以下这种系统被称为MP3D或运动视差3D)。
有必要根据观察者位置的变化来修改屏幕上的图像，以便获得运动视差效果，即3D场景的每个帧都应被准确地投影在显示屏表面上，如从观察者的当前视点所观察到的。应考虑双目视差来提供运动视差效果，即应为观察者的每只眼睛提供根据观察者位置的变化对屏幕上的图像进行的修改。为了将图像的几何畸变降低到感知度阈值并且确保观察者的眼睛舒适度，观察者位置的确定的开始时刻与图像在屏幕上输出的时刻之间的时间间隔不应超过5ms。
由专利申请US2012200676(MICROSOFT)已知用于显示三维对象的系统，所述系统在水平和垂直两个平面中提供双目视差(立体提示)和运动视差(视差提示)的效果。通过借助于使用磁传感器或红外传感器的三角测量进行用户头部位置跟踪或者通过借助于光学系统(Kinect)进行用户眼睛位置跟踪来实施运动视差效果。使用二维显示器和快门眼镜或者使用自动立体显示器来实施双目视差效果。所述申请还提到了系统的多用户操作模式。
由专利申请US2013147931(SONY)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过使用用户脸部位置光学跟踪来实施运动视差效果，并且通过使用自动立体显示器来实施双目视差效果，其中将取决于移动的范围和速度以逐步(离散)的方式改变自动立体显示器参数。所述申请还提到了基于发光二极管(LED)的标记。所述申请没有提及系统的多用户操作模式。
由专利US7705876(MICROSOFT)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过使用从视网膜的红外(IR)照明的反射进行用户的眼睛瞳孔位置光学跟踪来实施运动视差效果，并且通过使用自动立体显示器来实施双目视差效果。所述专利没有提及系统的多用户操作模式。
由专利申请WO2005009052(PHILIPS)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过用户头部位置光学跟踪来实施运动视差效果，并且通过使用自动立体显示器来实施双目视差效果。所述申请没有提及系统的多用户操作模式。
由专利US8581966(深圳SUPER PERFECT OPTICS)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过用户头部位置光学跟踪来实施运动视差效果，并且通过以逐步(离散)的方式使用自动立体显示器来实施双目视差效果。专利中没有系统的多用户操作模式的指示。
由专利US8199186(MICROSOFT)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过使用基于如运动速度、加速度等参数的位置预测进行用户头部位置光学跟踪来实施运动视差效果，并且通过使用自动立体显示器来实施双目视差效果。公开了系统的校准。所述专利没有提及系统的多用户操作模式。所述专利声明性地提及用户头部位置预测的可能性，但是没有公开技术解决方案，这将允许假设这种预测能够在不具有延迟补偿的系统中提供对应于5ms内的总体延迟的现实三维图像，即这种预测能够提供在5ms内的总体延迟，并且预测误差不会招致三维图像的现实性的明显退化。
由专利US7692640(PHILIPS)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过使用磁传感器、超声波传感器或红外线传感器和标记或者使用摄像机进行用户头部位置跟踪来实施运动视差效果，并且通过使用偏光眼镜或自动立体显示器来实施双目视差效果。所述专利没有提及系统的多用户操作模式。
由专利申请US2012172119(BALLY GAMING等人)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过用户头部位置光学跟踪来实施运动视差效果，并且通过使用自动立体显示器来实施双目视差效果。所述专利没有提及系统的多用户操作模式。
由专利申请US2012019908(SAMSUNG)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过用户头部位置跟踪来实施运动视差效果，并且通过使用具有完全不同图像的时间分隔的自动立体显示器来实施双目视差效果。所述申请没有提及系统的多用户操作模式。
由专利US5872590(FUJITSU)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过使用两个相机或者使用磁传感器或超声波传感器进行用户眼睛位置跟踪来实施运动视差效果，并且通过使用自动立体显示器来实施双目视差效果。所述专利提及系统的多用户操作模式，然而表明在特定区域中提供立体效果，因此图像是这个区域之外的普通二维图像。
由专利US8537206(LG)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过使用用户脸部的光学辨认或者使用发光标记进行用户头部位置光学跟踪来实施运动视差效果，并且通过使用空间分隔(自动体视)、时间分隔(快门眼镜)或极化分隔(偏光眼镜)(包括系统的多用户操作模式)来实施双目视差效果。
由专利US8203599(SAMSUNG)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过使用从视网膜的IR照明的反射进行用户的瞳孔位置光学跟踪来实施运动视差效果，并且通过使用自动立体显示器来实施双目视差效果，其中所述显示器能够基于测量的用户眨眼速率来自动调整图像。所述专利没有提及系统的多用户操作模式。
由专利申请US2012038635(SONY)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过使用标记进行用户头部位置光学跟踪来实施运动视差效果，并且通过使用快门眼镜或自动立体显示器来实施双目视差效果。所述专利提及系统的多用户操作模式，然而还指示为彼此靠近定位的一组用户显示所述图像。
由专利申请US2012044330(PANASONIC)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过使用光学辨认进行用户头部位置光学跟踪来实施运动视差效果，并且通过使用自动立体显示器来实施双目视差效果。所述专利提及系统的多用户操作模式，然而借助于自动立体显示器来真正实施这种模式是非常可疑的。
由专利申请US2012062556(TOSHIBA)已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过使用光学辨认或使用加速度计或测距仪进行用户位置跟踪来实施运动视差效果，并且通过使用自动立体显示器来实施双目视差效果。所述申请没有提及系统的多用户操作模式。
由专利申请US2006139447(AGILENT)中已知用于显示三维对象的系统，所述系统提供双目视差和运动视差的效果。通过使用从视网膜的IR照明的反射进行用户的瞳孔位置光学跟踪来实施运动视差效果，并且通过使用自动立体显示器来实施双目视差效果。所述专利没有提及系统的多用户操作模式。
应当注意，在上述现有技术文献中自动立体显示器的使用或使用的可能性的指示使得全面实施运动视差效果的可能性是非常可疑的，如本领域众所周知的，自动立体显示器能够仅为有限数目的视点提供信息输出，并且这个数目当前受到自动立体显示器的光学参数、计算机的计算能力以及视频信号传输信道的带宽的限制。已知的自动立体系统的缺点是，当用户静态地位于自动立体显示器的一个操作区域中时，运动视差效果完全不存在，并且双目视差效果在用户移动并且操作区域改变时被破坏。鉴于这种技术的当前发展水平，在多用户系统中使用自动立体显示器也是非常可疑的，因为不可能确保不同用户同时使用相同的操作区域并为所有用户维持运动视差效果。
理论上，如果操作区域的数目趋于无穷大，那么可以在使用自动立体显示器时实施运动视差效果。然而，在这种系统的真正实施中，光学元件(显示器的子像素、镜头、棱镜、阵列等)的有限尺寸和显示数据传输信道的带宽给显示器分辨率及其操作区域的数目带来一些限制，因为在这种系统中，即使对于单个用户也有必要传输大量的过量信息，其中需要信息来显示在移动期间从用户可从中发现自己的所有那些地方可见的图像。
另外，上述文献中没有一个公开将提供在5ms内的总体延迟，或者将允许绕过这个条件并且仍然确保虚拟对象的高度现实性的技术解决方案。
此外，上述文献中没有一个公开将提供多用户操作模式的全面实施的技术方案，其中在显示器附近跟踪每个用户的位置，并且为每个用户显示具有可接受质量的三维图像。
从现有技术的上述例子可以清楚，使用二维可视化构件来现实地显示三维对象的问题目前远不是解决方案。同样清楚的是，三维场景的形成和对应图像在显示器上的表示物理上需要大约25ms，所以这个问题无法通过优化现有的软件算法和改进MP3D系统的现有的硬件来解决。
这个结论通过可商购获得的MP3D系统的特征而得到证实，如EON Ibench、Idesk、Icube(EON Reality股份有限公司，www.eonreality.com)和zSpace(zSpace股份有限公司，www.zspace.com)。根据发明人的估计，当观察者以约1m/s的速度移动时，这些系统中的三维对象图像的几何畸变引发观察者的不同的视觉不适。这个事实将这种系统的应用领域限制在用户相对静止的区域和/或位于与显示图像的表面相当远的地方，特别是用于教育、科学或工程目的的桌面或“环境”系统，但使得它们不适用于其中玩家高度移动的交互式虚拟现实游戏系统。还应注意的是，在具有不同配置的系统中视觉不适表现为各种方式，并且其尤其取决于用户视野中真实对象的可用性、哪些对象用作视觉感知机制的参考点。当这类对象可用时，用户更可能注意到虚拟对象相对于真实对象的几何畸变。具体地，在具有仅仅一个图像显示表面的系统中，与在完全沉浸式系统中相比，更容易感知这种不适。
因此，本发明的目的是通过使用在屏幕表面上形成图像的可视化构件并且利用图像的空间感知、双目视差和运动视差中的至少两个主要心理视觉机制来为一个或多个观察者提供三维对象的现实表示，以便提供不小于在具有5ms内的总体延迟的假设MP3D系统中的现实程度的现实程度，从而当观察者以0m/s至3m/s范围内的速度和0m/s2至10m/s2范围内的加速度移动时提供视图的高度几何正确性，并且使用用于控制虚拟对象的操纵器，其中基本上以与观察者眼睛的位置相同的方式来跟踪操纵器的取向和空间位置。
发明内容
本发明的目的是通过产生形成在显示装置表面上的图像的3D效果的方法来实现，所述方法同时提供至少双目视差和运动视差的效果，并且包括以下步骤：
-使用包括以下各项的系统
-至少一个显示装置；
-用于立体分隔图像的至少一副眼镜，所述眼镜包括至少两个光学快门和至少两个标记；
-至少两个光学传感器阵列；
-至少两个读取和处理装置；
-标记3D坐标计算装置；
-至少一个标记坐标预测装置；
-3D场景形成装置；
-至少一个图像输出装置，
-从光学传感器阵列获得图片、检测这些图片中的标记并确定标记的2D坐标；
-基于标记的2D坐标来确定标记的3D坐标；
-推断标记的坐标，使得有效总体延迟不超过5ms；
-考虑标记的3D坐标来执行3D场景的形成；
-在至少一个显示装置上输出3D场景图像，其中交替地输出旨在给观察者的每只眼睛的3D场景的图像。
在这种方法中，标记可以是发光标记。
这种方法还可以包括控制跟踪窗口的步骤，其中系统还可以包括至少一个跟踪窗口控制装置。
这种方法还可以包括校准用于跟踪观察者位置的构件的步骤，其中这些构件包括标记、光学传感器阵列、读取和处理装置以及标记3D坐标计算装置。
这种方法还可以包括检测干扰发射源并排除其对标记检测的影响的步骤。
这种方法还可以包括在从光学传感器阵列获取图片的步骤之前使光学传感器阵列彼此或者彼此和与标记同步的步骤。
这种方法还可以包括选择性地接通和切断标记的步骤，其中系统还可以包括至少一个无线电通信装置，并且系统的眼镜还可以包括至少一个无线电通信装置。
这种方法还可以包括当标记被切断时产生发光图的步骤，以便在检测标记的步骤之前自动检测干扰发射源并排除其对标记检测的影响。
这种方法还可以包括在确定标记的2D坐标的步骤之后识别标记的步骤，其中系统还可以包括标记识别装置。
这种方法还可以包括在确定标记的3D坐标的步骤之前推断标记的2D坐标的步骤。
这种方法还可以包括在确定标记的3D坐标的步骤之后推断标记的3D坐标的步骤。
在这种方法中，所使用的系统可以包括至少三个光学传感器阵列、至少三个读取和处理装置以及至少三个跟踪窗口控制装置。
在这种方法中，可以针对一名以上的观察者执行为观察者的每只眼睛显示图像。
在这种方法中，处理从光学传感器阵列获得的数据可以在读取帧完成之前开始。
在这种方法中，处理从光学传感器阵列获得的数据可以以分布的方式在读取和处理装置中执行。
在这种方法中，可以以子像素精度来执行确定标记的2D坐标。
在这种方法中，所使用的系统还可以包括至少一个无线电通信装置，并且眼镜还可以包括至少一个无线电通信装置和定向装置，并且当通过光学传感器阵列确定标记暂时不可能时，经由无线电通信装置从眼镜的定向装置获得的数据可以用于确定安置在眼镜上的标记的3D坐标。
在这种方法中，所使用的系统还可以包括至少一个无线电通信装置以及包括至少一个无线电通信装置和定向装置的至少一个操纵器，并且当通过光学传感器阵列确定标记暂时不可能时，经由无线电通信装置从操纵器的定向装置获得的数据可以用于确定安置在操纵器上的标记的3D坐标。
在这种方法中，所使用的系统还可以包括至少一个无线电通信装置，并且系统的眼镜还可以包括至少一个无线电通信装置和定向装置，并且经由无线电通信装置从眼镜的定向装置获得的数据可以用于确定跟踪窗口的大小和位置。
在这种方法中，所使用的系统还可以包括至少一个无线电通信装置以及包括至少一个无线电通信装置和定向装置的至少一个操纵器，并且经由无线电通信装置从操纵器的定向装置获得的数据可以用于确定跟踪窗口的大小和位置。
在这种方法中，检测标记并确定标记的2D坐标的步骤可以包括以下步骤：
-选择用于读取的光学传感器阵列的行；
-读取光学传感器阵列的选定行；
-检查选定行中的每个像素的信号强度是否超过阈值；
-如果像素信号强度超过阈值，那么检测标记图片轮廓，并且随后转到计算所述标记图片轮廓的大小的步骤；如果像素信号强度不超过阈值，那么返回到读取光学传感器阵列的选定行的步骤；
-计算标记图片轮廓的大小；
-检查标记图片轮廓的大小；
-如果标记图片轮廓的大小在预定限度内，那么转到计算标记图片轮廓的几何中心的步骤；如果标记图片轮廓的大小不在预定限度内，那么转到排除标记图片轮廓的步骤；
-计算标记图片轮廓的几何中心；
-计算标记图片轮廓的最大和最小半径；
-检查标记图片轮廓的最大和最小半径的比率；
-如果标记图片轮廓的最大和最小半径的比率在预定限度内，那么转到检查亮度均匀性的步骤，如果标记图片轮廓的最大和最小半径的比率不在预定限度内，那么转到排除标记图片轮廓的步骤；
-检查标记图片轮廓内的区域的亮度均匀性；
-如果标记图片轮廓内的区域的亮度均匀性在预定限度内，那么转到计算标记图片轮廓的加权中心的坐标的步骤，如果标记图片轮廓内的区域的亮度均匀性不在预定限度内，那么转到排除标记图片轮廓的步骤；
-排除标记图片轮廓而不予以进一步的考虑，并且转到对标记图片轮廓进行标记的步骤；
-计算标记图片轮廓的加权中心的坐标，针对对应步骤传递以下各项中的至少一项：标记图片轮廓的加权中心的坐标、标记图片轮廓的大小以及标记图片轮廓的最大和最小半径的比率，并且随后转到对标记图片轮廓进行标记的步骤；
-对标记图片轮廓进行标记，并且排除标记图像轮廓而不进一步分析从光学传感器阵列获得的图片。
在这种方法中，控制跟踪窗口的步骤可以包括以下步骤：
-检查所有标记是否存在于从光学传感器阵列获得的图片中；
-如果所有标记都存在于从光学传感器阵列获得的图片中，那么转到检查调整跟踪窗口参数的必要性的步骤；如果并非所有标记都存在于从光学传感器阵列获得的图片中，那么确定帧中缺少的标记可能位于的区域，随后确定跟踪窗口的大小和位置，并且针对对应步骤传递跟踪窗口的大小和位置；
-检查是否有必要调整跟踪窗口；
-如果有必要调整跟踪窗口，那么确定跟踪窗口的大小和位置，并且针对对应步骤传递跟踪窗口的大小和位置。
本发明的目的还通过用于产生形成在显示装置表面上的图像的容积度效果的系统来实现，所述系统同时提供至少双目视差和运动视差的效果，并且包括：
-至少一个显示装置，其被配置来显示图像序列；
-至少一副眼镜，其被配置来提供图像的立体分隔，所述眼镜包括以预定方式安置的至少两个光学快门和至少两个标记；
-至少两个光学传感器阵列，其被配置来获得标记的图片并以预定方式安置；
-至少两个读取和处理装置，其被配置来从光学传感器阵列读取数据并确定标记的2D坐标；
-标记3D坐标计算装置，其被配置来基于标记的2D坐标来计算标记的3D坐标；
-至少一个标记坐标预测装置，其被配置来推断标记的坐标，以使得有效总体延迟不超过5ms；
-3D场景形成装置，其被配置来考虑到标记的3D坐标来形成3D场景；
-至少一个图像输出装置，其被配置来将3D场景图像输出到至少一个显示装置。
在这种系统中，标记可以是发光标记。
这种系统还可以包括至少一个跟踪窗口控制装置，所述至少一个跟踪窗口控制装置被配置来取决于至少一个标记的图片的位置来确定用于从其读取数据的光学传感器阵列的区域，其中光学传感器阵列的区域的大小小于光学传感器阵列的整个框架的大小。
这种系统还可以被配置来校准包括标记、光学传感器阵列、读取和处理装置以及标记3D坐标计算装置的观察者跟踪构件。
这种系统还可以被配置来自动检测干扰发射源并排除其对标记检测的影响。
这种系统还可以包括同步装置，所述同步装置被配置来提供光学传感器阵列彼此或者彼此和与标记的同步。
这种系统还可以包括至少一个通信装置，其中眼镜还可以包括至少一个通信装置，并且系统可以被配置来选择性地接通和切断标记。
这种系统还可以包括标记识别装置，所述标记识别装置被配置来基于从光学传感器阵列获得的数据来确定标记是否属于某个装置。
在这种系统中，标记坐标预测装置可以被配置来推断标记的2D坐标；它还可以被配置来推断标记的3D坐标。
这种系统还可以包括至少三个光学传感器阵列、至少三个读取和处理装置以及至少三个跟踪窗口控制装置。
这种系统还可以被配置来为一名以上的观察者显示三维对象。
这种系统还可以被配置来在读取帧完成之前开始处理从光学传感器阵列获得的数据。
这种系统还可以被配置来以分布的方式在读取和处理装置中处理从光学传感器阵列获得的数据。
在这种系统中，读取和处理装置可以被配置来以子像素精度确定标记的2D坐标。
在这种系统中，眼镜可以包括至少一个无线电通信装置。
在这种系统中，眼镜可以包括至少一个定向装置，所述至少一个定向装置包括以下装置中的至少一个装置：加速度计、磁力仪、陀螺仪。
这种系统还可以包括至少一个无线电通信装置，并且可以被配置来当通过光学传感器阵列确定标记不可能时使用经由无线电通信装置从眼镜的定向装置获得的数据来确定标记的3D坐标。
这种系统还可以包括至少一个跟踪窗口控制装置，所述至少一个跟踪窗口控制装置被配置来确定用于从其读取数据的光学传感器阵列的区域，其中光学传感器阵列的区域的大小可以小于光学传感器阵列的整个框架的大小，并且系统可以被配置来使用经由无线电通信装置从眼镜的定向装置获得的数据来确定跟踪窗口的大小和位置。
这种系统还可以包括至少一个操纵器。操纵器可以包括至少一个标记。操纵器可以包括至少一个定向装置，所述至少一个定向装置包括以下装置中的至少一个装置：加速度计、磁力仪、陀螺仪。
这种系统还可以包括至少一个无线电通信装置，并且可以被配置来当通过光学传感器阵列确定标记不可能时使用经由无线电通信装置从操纵器的定向装置获得的数据来确定标记的3D坐标。
这种系统还可以包括至少一个无线电通信装置和至少一个跟踪窗口控制装置，所述至少一个跟踪窗口控制装置被配置来确定用于从其读取数据的光学传感器阵列的区域，并且其可以被配置来使用经由无线电通信装置从操纵器的定向装置获得的数据来确定跟踪窗口的大小和位置。
这种系统还可以包括至少一个无线电通信装置，其中操纵器还可以包括至少一个无线电通信装置，并且系统可以被配置来选择性地接通和切断标记。
这种系统还可以被配置来当标记切断时产生发光图，以便自动检测干扰发射源并排除其对标记检测的影响。
在这种系统中，标记可以被配置来发射IR光。
在这种系统中，标记和/或光学传感器阵列可以配备有窄带滤光器。
附图说明
图1A和图1B示出了现有技术的渲染方法，其中帧渲染时间超过在屏幕上显示帧的时间。
图2A示出了现有技术的渲染方法，其中帧渲染时间不超过在屏幕上显示帧的时间。
图2B示出了ALAP渲染方法，其中帧渲染时间不超过在屏幕上显示帧的时间。
图3示出了本发明的一个实施例中的LCMP3D系统的总体视图。
图4示出了本发明的一个实施例中的LCMP3D系统的功能图。
图5示出了本发明的一个实施例中的标记的3D坐标的计算方法。
图6示出了本发明的一个实施例中的智能相机的总体视图。
图7A示出了本发明的一个实施例中的眼镜的总体视图。
图7B示出了本发明的一个实施例中的标记的总体视图,其中外壳被部分地移除。
图8示出了本发明的另一个实施例中的LCMP3D系统的总体视图。
图9示出了本发明的又一个实施例中的LCMP3D系统的总体视图。
图10示出了本发明的另一个实施例中的眼镜的总体视图。
图11示出了本发明的又一个实施例中的LCMP3D系统的总体视图。
图12示出了显示三维对象的过程，所述过程在本发明的一个实施例中的LCMP3D系统中实施。
图13示出了找出标记并确定它们的2D坐标的过程，所述过程在本发明的一个实施例中的LCMP3D系统中实施。
图14示出了在本发明的一个实施例中的LCMP3D系统中控制智能相机的跟踪窗口的过程。
具体实施方式
MP3D系统的质量的基本标准与虚拟世界的感知的现实性有关，其取决于立体分隔的质量、渲染质量以及视角的几何正确性。
由于重影(一种在每只眼睛除了旨在给这个正确的眼睛的图像之外还感知到旨在给另一只眼睛的图像的现象)，立体分隔的质量会降低。当使用极化立体分隔时，重影可由如等离子屏幕中的残余磷发光或极化方向不完全重合的各种因素引起。目前，DLP(数字光处理)投影机和快门眼镜的组合提供了最佳质量的立体分隔。
通常，渲染质量并非是现代MP3D系统中的关键因素，然而更详细的渲染和使用特殊效果另外允许启用空间感知(如纹理梯度、阴影等)的心理机制，这有助于增加感知的现实性。
3D场景投影的几何正确性是MP3D系统最重要的质量指标。如果形成用于从第一位置观看的图像但是该图像却显示给位于第二位置中的观察者，那么观察者看到的是失真的对象，即观察者接收到关于对象形状和比例的错误信息。当位置误差(第一位置和第二位置之间的距离)为观察者和屏幕之间的距离的大约5％时(即对于大多数虚拟现实系统而言小于5mm)，这些失真变得明显。
视图的几何正确性受到以下两者的影响：跟踪观察者的位置的精确度；以及观察者位置的确定的开始时刻与图像在屏幕上输出的时刻之间的时间段。跟踪的精确度直接影响到虚拟对象的几何正确性，并且它由(a)整体几何误差(取决于跟踪构件的结构和几何形状)以及(b)由噪声引起的误差来定义。观察者位置的确定的开始时刻与图像在屏幕上输出的时刻之间的时间段(以下称为总体延迟)是MP3D系统中3D场景投影的几何不正确的主要原因。在总体延迟期间，移动的观察者可以行进一定距离，所述距离代表定位误差。如将进一步示出的，在常规MP3D系统中，这个延迟超过60ms。考虑到观察者的移动速度可能为约2m/s，在这种系统中定位误差变得相当大(大于100mm)。
在执行系统操作的以下步骤期间，总体延迟由若干延迟组成。
A.确定观察者位置
观察者位置可以通过各种方法来确定，最广泛使用的方法是使用光学系统来定位。另外，还有使用超声波传感器、磁传感器和射频传感器的定位系统，但由于其定位精度不足，这些系统并不常用。
最常用于光学定位的是安装在被跟踪对象上(例如，在用户的眼镜上)的标记。标记的使用不仅允许容易识别图像上的被跟踪对象，而且允许提供高精确度的坐标确定。除了MP3D系统之外，还将光学定位用于在摄影和游戏开发中所使用的运动捕捉技术，以便记录模仿或手势。
与3D摄影中所使用的系统相反，MP3D系统对数据的精确度和纯度要求更苛刻(它应是无噪声数据)，因为标记位置数据在接收后会立即使用，因此其无法通过进一步处理加以调整。
除了使用标记的光学定位系统之外，还存在没有标记的系统，其中通过处理从摄像机获得的面部图像来确定用户眼睛的位置。理论上，这种方法允许大大扩展使用MP3D系统，然而在实践中，现代的人脸跟踪系统不提供所需的定位精度，并且更重要地，它们对资源的要求非常高，这产生了对于虚拟现实系统而言是不可容忍地长的总体延迟(约80ms到120ms)。这妨碍了在MP3D系统中使用这种光学定位系统。
根据现代技术水平，基于由Point Gray(http://ptgrey.com/)生产的Firefly MV相机(配备有光学传感器Micron MT9V022)的基于假想标记的定位系统具有延迟分量的以下值：
-获取帧(曝光时间)花去16,6ms；
-从传感器读取数据并通过USB端口将帧发送到计算机中花去大约20ms；
-取决于计算机的计算能力和用于辨认被跟踪对象的算法，将帧记录到存储器中并处理计算机中的数据花去10ms至20ms。
因此，在这种系统中观察者位置的确定的总体延迟约为36,6ms至46,6ms。
B.生成三维场景
在MP3D系统中，图像是实时计算的，并且无法提前完全准备。图像生成技术与游戏开发中所使用的技术相似。然而，当在MP3D系统中生成三维场景时，使用非正交轴投影矩阵，因此用于生成三维场景的许多算法要么与这种类型的矩阵不兼容，要么需要大量改进。这主要对于屏幕空间中的渲染效果是有效的，如SSAO(屏幕空间环境遮挡)。
渲染过程的持续时间由3D场景的容量(即，它取决于多个几何元素、照明的复杂性、附加光学效果的存在和外观)以及GPU(图形处理单元)的性能来限定。通过提高GPU性能以及通过优化3D场景来解决如何将渲染持续时间限制为一个帧输出时间的问题。在估计具有120Hz的帧刷新率的MP3D系统中的总体延迟的上下文中，平均渲染持续时间可以假设为8.3ms。
另外，对于使用立体信道的时间分隔的系统而言，在帧的总准备时刻与帧输出到显示装置的开始时刻之间的0ms至8.3ms的一些附加等待时间是典型的。出现8.3ms的最大延迟，例如当在右眼帧的输出开始时左眼帧的渲染完成时，因此在左眼帧输出之前的等待时间等于右眼帧的输出时间。
因此，三维场景的形成时间可以估计成平均值为
8.3+(8.3/2)＝12.4(ms)。
C.在显示器上表示图像
选择显示装置(显示器或投影机)直接影响系统总体延迟的值，因为大多数现代显示器(与旧版CRT显示器相反)执行缓冲和附加处理图像以便改进其质量，并且这产生输出延迟，所述输出延迟有时可能相当长。这个参数可以被识别为显示装置的内部延迟。理论上，内部延迟的最小值取决于显示装置的类型，并且通常为8.3ms；然而，具有这个最小内部延迟的装置在现实生活中相当罕见。对于等离子面板，本发明人没有意识到这种装置具有小于30ms的内部延迟。在3D LCD显示器或DLP投影机中，可找到具有稍微超过8.3ms的最小内部延迟的一些装置。
立体MP3D系统中一个图像帧的输出时间在120Hz下为8.3ms；同时，取决于在显示装置中实施的技术，以不同的方式在屏幕上表示图像。具体地，如在LCD显示器中一样，在帧的输出的总时间期间，可以逐行地表示图像；可替代地，如在DLP投影机中一样，可以逐信道地表示图像；其他方面，如在等离子面板中一样，可以在输出时间段的一开始便针对整个帧来表示图像，并且图像进一步逐渐消失。
可将在帧的输出开始与在显示帧的整个时间期间由视网膜接收的光子总数的一半实际上被视网膜接收的时刻之间的时间定义为图像输出时间参数。在下文中，如果不另外明确指示的话，图像输出到屏幕上的时刻正好与此时刻对应。对于LCD显示器或DLP投影机，这个参数等于帧持续时间的一半，即4.15ms。在等离子面板的情况下，这个参数略小，约为帧持续时间的三分之一。
因此，最小图像输出时间实际上对应于：
8.3+(8.3/2)＝12.4(ms)
在具有较小内部延迟的显示器(LCD显示器和DLP投影机)中；以及
30+(8.3/3)＝32.8(ms)
在具有较大内部延迟的显示器(等离子面板)中。
因此，通常对于现代MP3D系统，观察者位置的确定的开始时刻与图像在屏幕上的输出时刻之间的总体延迟在具有较小内部延迟的显示器中大约为61.4ms至71.4ms，而在具有较大内部延迟的显示器中大约为81.8ms至91.8ms，并且这导致图像的相当大的几何畸变。这些畸变对虚拟现实的真实性的印象产生负面影响，并导致观察者有形的视觉不适。
应注意的是，MP3D系统的用户将总体延迟不是感知为移动期间图像变化的延迟，而是感知为场景对象的几何畸变，特别是对象的垂直元素看起来偏离垂直(即，倾斜)，而水平元素看起来具有错误的比例。
因此，观察者可能感觉到通过视觉感知信道获取的数据与从前庭系统获得的数据之间的不一致。这种不一致导致晕船症状(恶心、眩晕、头痛)的发作。这种现象称为虚拟现实晕动病或VR病。
此外，由观察者观察到的总体延迟对图像几何畸变的影响对于观察者的匀速运动和观察者的加速运动的情况而言是不同的。具体地，发明人已经通过实验发现，当观察者匀速移动时，特别是在匀速的直线运动中，人类感知系统相对无差别地接受图像几何畸变。在这种情况下，畸变存在，但其性质并没有改变。例如，立方体对象由观察者感知为平行六面体，但是只要观察者匀速移动，并且垂直定向的对象看起来倾斜但稳定，那么平行六面体的参数将不变。在加速运动过程中，尤其是在移动方向急剧变化时，畸变变得非常显著并且对于观察者非常不愉快，就像垂直定向的对象从一侧到另一侧振荡一样，这引发晕船。这另外表明使游戏MP3D系统中的总体延迟最小化的重要性，所述游戏MP3D系统的特征在于观察者的高运动活动性。
根据发明人的估计，总体延迟不应超过5ms，以便将图像几何畸变降低到感知度阈值并确保观察者的视觉舒适度。为若干观察者(多用户模式)实施MP3D系统对系统施加甚至更严格的约束。显然，通过对软件算法的微不足道的优化和现有MP3D系统的硬件改进来实现总体延迟的这个值是不可能的。
总体延迟的上述值对于不具有对观察者位置的预测的系统与具有对观察者位置的预测的系统(即对于使用观察者坐标的时间推断的系统)两者而言都是有效的。在后者中，有效总体延迟是观察者位置的确定的开始时刻与图像在屏幕上输出的时刻之间的时间段，同时适当考虑延迟补偿；并且这种虚拟现实系统的主要质量标准是观察者位置的预测的可靠性，所述可靠性在很大程度上取决于补偿之前的总体延迟值。
由于LCMP3D(滞后补偿MP3D)系统的实施，实现了本发明的目的。LCMP3D系统的其中一个关键性技术解决方案是在屏幕上预期输出图像的时刻预测观察者位置。这允许补偿物理存在的总体延迟，以确保LCMP3D系统中三维对象的表示的真实性不比没有补偿的假设MP3D系统的真实性差，其中总体延迟不超过5ms。应注意的是，在MP3D系统中使用总体延迟补偿的事实并不保证三维对象的表示的现实性，因为观察者位置的预测在其本质上是随机的并且因此构成另外的畸变体。例如，达到80-120ms的总体延迟的补偿(其对于基于观察者面部的光学辨认的跟踪系统而言是典型的)无法提供三维对象的表示的现实性，这是因为在这种长时间间隔内推断观察者坐标的精度较低。
开发了关于设计、技术和算法的一组原始解决方案，以提供LCMP3D系统的关键参数，这些解决方案有助于预测观察者位置并补偿总体延迟。这些解决方案的组合允许确保虚拟现实系统中空间图像感知的高度现实性。
清楚的是，在具有观察者位置的预测的系统中三维对象的表示的现实性直接取决于预测的精度。还已知的是，推断算法的结果对输入数据的数量和质量非常敏感。具体地，以下因素影响预测精度：
(a)数据年龄；当数据年龄增加时，预测精度以非线性方式急剧下降；
(b)样本的大小，基于其执行推断；随着样本大小的增加，预测精度提高，然而如果采样率是静态的，那么样本大小增加超过某个临界值由于样本的标题部分中的数据的过时而导致预测精度降低；
(c)数据噪度；当噪声水平增加时，预测精度下降；
(d)推断的范围；当推断范围变宽时，预测精度以非线性方式急剧下降。
发明人已经通过实验发现，在LCMP3D系统中，推断范围不应超过30ms以提供观察者位置推断的良好可靠性，并且不应超过50ms以便提供令人满意的推断可靠性。
由于推断范围以整体物理延迟为条件，所以可以通过其他三个参数来确保推断的高精度，这三个参数即：尽可能最小的输入数据年龄、最优的样本大小和输入数据的降低的噪声。
实施以下一组技术解决方案，以确保推断所需输入数据的数量和质量：
-使用有源受控标记；
-将“智能相机”用作跟踪相机；
-使用“跟踪窗口”；
-增加跟踪相机的数目；
-使用ALAP渲染；
-校准跟踪构件。
有源标记
无源标记用于大多数MP3D系统中。通常，无源标记是眼镜或操纵器的表面的覆盖有回复反射材料的区域。有时，可以以小球(直径约10mm)的形式来提供无源标记。当由设置成靠近跟踪相机镜头的光源来照明这种标记时，所述标记可见为图片中的亮点。这种方法的缺点是需要照明，这导致图片中出现耀斑。LCMP3D系统使用有源标记，它们本身是在红外范围(波长约850nm)中操作的光源。有源标记允许摆脱耀斑并提供远远大过无源标记的亮度，这有助于跟踪相机的曝光时间大大地减少，同时维持帧图片的高对比度。曝光时间的减少转而又允许当标记快速移动时减少图片中的标记“拖尾”效果，并且这对于LCMP3D系统的游戏实施例是特别重要的。LCMP3D系统中的曝光时间约为100μs，并且有源标记可见为黑色背景中的亮白点。这个事实使得可能在LCMP3D系统中采用特殊的处理算法，所述算法允许获得将标记定位在帧中的子像素精度(由于对标记图片边界中的像素亮度的分析)。这种算法使得几乎完全消除了光学噪声对输出数据质量的影响，以及实现了像素的约1/30的标记定位精度，这转而提供了跟踪构件的性能的提高(由于帧大小的减小)，并且提供了在跟踪相机中使用较便宜的图像传感器阵列的可能性。在LCMP3D系统中，跟踪相机帧大小为0.36百万像素(传感器具有752×480像素)。较小的帧大小确保在LCMP3D系统中读取帧的高速度，这允许针对减小推断算法的输入数据年龄并显著增加这些输入数据的“密度”。因此，使用有源标记使得能够增加观察者位置的预测精度。
受控标记
在LCMP3D系统中使用经由无线电信道控制的标记。使用无线电通信装置允许远程接通和切断每个个别标记或一组标记；这有助于识别标记，此对于初始化系统或在发生跟踪故障时尤为重要。然而，没有标记光发射导致在跟踪相机的对应帧中不存在标记图片。因此，在当可以恢复标记位置的数据(例如，当观察者匀速地直线移动时)时的那些时刻，应尽可能少地执行识别过程。此外，对有源标记的控制的可能性有助于大大节省眼镜或操纵器中的电池电量，因此可以增加其连续的操作时间，因为有源标记可以与跟踪相机的电子快门的动作同时被接通。标记和跟踪相机的同步提供了标记照明的脉冲功率的增加而不超过标记光源的可允许的平均功率，并且因此其提供跟踪相机的非常短的曝光时间同时维持帧图片的高对比度，因此促进了跟踪构件的性能的提高。
智能相机
将图片从跟踪相机传递到计算机花去相当长的时间，因此决定在相机中直接处理图片。在LCMP3D系统的测试样本中，使用配备有在操作系统μCLinux的控制下的嵌入式处理器Blackfin ADSP-BF537的相机LeanXcam(瑞士，苏黎世，Supercomputing Systems AG公司)。这种解决方案允许将处理来自计算机CPU的帧图片直接移入相机中，并且在若干相机之间分配计算负载，因此跟踪构件的平均性能达到每秒约350帧。下一步是开发针对LCMP3D系统优化的新型跟踪相机。新相机的最大性能超过每秒900帧，并且这些相机对于物理环境(温度波动、振动、冲击)强健得多。此外，所使用的技术解决方案允许(在需要时)在读取整个帧之前开始处理图片，这为提高跟踪构件性能提供了额外的可能性。
跟踪窗口
在高性能跟踪系统中，标记在帧N和帧N+1中的位置略有不同。这允许提前定义跟踪窗口(即帧的区域)，其应在下一帧中从跟踪相机的光学传感器阵列读取而不是读取整个帧。因此，可以显著地减少从光学传感器阵列读取数据的时间和其后续处理的时间。在LCMP3D系统中，通过集中式和分散式控制方法的组合来执行对帧中的跟踪窗口大小和位置的控制，例如，计算机通过定义每个相机应跟踪的哪些标记来提供“策略”控制，并且智能相机通过确定跟踪窗口的大小和位置来独立地提供“操作”控制。当标记被智能相机“丢失”时(例如，当标记被观察者的手或另一位观察者或某个物品隐藏时)，计算机传入此相机信息，从而允许其再次“捕捉”标记，因此可以恢复标记跟踪。
增加跟踪相机的数目
在LCMP3D系统的多用户实施中使用三个或更多个跟踪相机。与现有MP3D系统中的通常数目的相机(一个或两个)相比，这种解决方案在标记被意外隐藏而使相机看不到时允许大幅提高跟踪可靠性，并且允许提供滤波干扰光源(加热器、白炽灯、相机和摄影机的闪光灯和测距仪等)的有效算法。此外，它允许提高标记定位的精度。标记设置得越接近相机，帧中的在其图片中的像素越多，因此子像素定位算法更精确地工作。这允许定义用于定位从不同相机获取的数据的加权因子并且使用这些因子来确定观察者位置。具体地，从设置得更靠近标记的相机获取的数据更大程度地促成了最终结果。
ALAP渲染
在优化的MP3D系统中，渲染时间不应超过帧到屏幕的输出时间(例如，对于具有120Hz的帧刷新率的MP3D系统为8.3ms)。其他方面，当在输出期间精确地修改输出帧缓冲器时，出现了情况，因此导致显示部分地由一个帧组成且部分地由另一个帧组成的复合帧。图1A示出了在针对对应的眼睛输出先前帧期间在完成渲染左眼的帧L2、L3、L7、L8和右眼的帧R2、R3、R7、R8时的情况。因此，观察者观察到左眼的复合帧L1/L2、L2/L3、L6/L7、L7/L8和右眼的复合帧R1/R2、R2/R3、R6/R7、R7/R8，因此当观察者相对于对象移动时，可看到图像中的对象抖动的效果。此外，由于显示相对于显示的到期时刻具有不同滞后的帧，因此也出现了观察者相对于图像移动时的图像对象抖动效果。如从图1A可以看出，在左眼的帧L1、L4、L5、L6、L9中观察到滞后ΔtL1、ΔtL4、ΔtL5、ΔtL6、ΔtL9，并且在右眼的帧R4、R5、R9中观察到滞后ΔtR4、ΔtR5、ΔtR9。只有右眼的帧R1和R6被正确地表示。第一问题(帧不规则)可以通过垂直同步来解决，但是其使得第二问题(对象抖动)更糟。图1B示出了当复合帧被排除时的情况，但每个帧(右眼的帧R1和R6除外)中存在一些滞后，而左眼的帧L1和L6以及右眼的帧R1和R6被显示两次。
然而，即使单个帧的渲染时间显著小于帧的输出时间，当帧已经被渲染但是系统仍然没有准备好输出该帧时(例如，另一只眼睛的帧输出正在进行中)，仍出现了情况。因此，在帧的准备时刻与帧的输出开始时刻之间出现一些等待，而一些已经渲染的帧可以被完全跳过，这也促成了图像抖动。
图2A示出了当针对帧L1、L2、L3、L4增加等待时间并且将帧L5从表示序列中丢弃、之后针对帧L6、L7、L8、L9增加等待时间并且将帧L10从表示序列中丢弃等等时的情况。类似地，针对帧R5、R6、R7、R8增加等待时间，并且将帧R9从表示序列中丢弃。除了图像抖动之外，这还导致GPU的额外的计算负载，因为时间部分地被花费来渲染那些将不表示在屏幕上的帧。可以通过使用ALAP(尽可能晚地)渲染来消除所有这些缺点，ALAP是这样一种方法，即其中基于场景复杂度和GPU性能的参数来预测帧渲染持续时间，并且计算渲染的开始时刻以便确保刚好在将帧输出到显示装置之前将完全渲染该帧。
图2B示出了ALAP渲染，其中渲染每个帧(例如，R1)的开始时刻相对于渲染先前帧(例如，L1)的结束时刻被移位一定值(例如，ΔtL1R1)。这允许几乎完全避免了先前提到的由等待帧输出造成的额外滞后并且还消除了帧抖动。此外，使用ALAP渲染允许基于从相机获得的极其最新的数据来推断标记坐标，这有助于提高观察者位置的预测精度。
校准跟踪构件
LCMP3D系统中使用通过点云进行的校准。校准算法的初始数据是自未校准的跟踪构件获得的数据序列，即足以在相机的视野范围内移动操作(被接通)标记约30秒，并且整个校准过程花去约5分钟。此外，在LCMP3D系统的正常操作期间产生的数据通常颇足以执行跟踪构件的自诊断(执行自诊断是为了提供对跟踪精度和可靠性的控制)。
图3以用于三维演示的演示台的形式示出了本发明的实施例的总体视图。LCMP3D系统(10)包括支撑框架(16)、显示器(18)、四个智能跟踪相机(17)、计算机(19)、一对或多对眼镜(12)以及用于观察者的一个或多个操纵器(13)。观察者可以通过眼镜(12)看到在显示器(18)上的三维图像，同时当观察者在显示屏的表面上方的上半球中在桌子附近移动时，根据每个观察者的眼睛的位置正确地修改图像。
图4示出了图3的本发明的实施例中的LCMP3D系统的功能图。为了便于理解本发明，图4仅示出了专门针对LCMP3D系统(10)的这种精确实施的那些装置。显示器(18)、四个智能跟踪相机(17)和计算机(19)安装在支撑框架(16)中。此外，至少一副眼镜(12)被包括在LCMP3D系统(10)中。可以使用至少一个操纵器(13)来控制虚拟对象。应当注意，LCMP3D系统(10)还包括使系统运行所需的其他部件。具体地，眼镜、操纵器、计算机和智能相机在必要时包括电源、指示和控制构件、接口、数据传输线、支撑和封闭框架以及确保履行技术、人体工程学和美学要求的其他部件。
显示器(18)是具有1268mm屏幕(对角线)的所谓等离子面板，其以每秒120帧提供1280×720像素的图片大小、5000000:1的动态对比度和约30ms的内部延迟，例如，TH-50PF50E(Panasonic，http://www.panasonic.com/)。除了等离子面板之外，还可以使用提供相同或更好参数的其他类型的显示器。
应当注意，具有上述参数的显示器为一名观察者提供了良好的立体图像质量(对于观察者的每只眼睛而言，帧刷新率为60Hz且通断比为2)。增强型显示器和图像传递接口的商业可用性将允许增加LCMP3D系统(10)的用户数目，而系统的结构和操作原理没有实质性改进。具体地，使用具有240帧/秒的图像输出速率的HD(高清晰度)显示器将为两名观察者提供良好的立体图像质量，而对于三名观察者而言，每秒360帧将是很好的。
计算机(19)是具有传统结构的通用计算机，并且其尤其包括LCMP3D系统的一些专用软件。图4中所示的计算机(19)内的装置的功能是通过LCMP3D系统(10)的硬件(通用和定制两者)、通用软件(在适用时)和应用程序专用软件的组合来实施的。
无线电通信装置(191)旨在用于在一侧处的计算机(19)与另一侧处的眼镜(12)和操纵器(13)之间提供通信。在本发明的一个实施例中，无线电信道(14)在具有GFSK调制的2.4GHz的范围中操作，并提供约10m的稳定通信覆盖；它是基于无线电信道控制器nRF24L01和增强ShockBurst协议(Nordic Semiconductor，http://www.nordicsemi.com/)来实施的。无线电信道(14)也可以基于其他类似的技术解决方案来实施。
标记2D坐标预测装置(194)针对未来的某一时刻基于从跟踪相机获得的数据来预测每个跟踪相机的帧中的标记图片的位置，因此实施对总体延迟的补偿。应当注意，使用预测将随机性质赋予观察者位置的确定。
标记3D坐标计算装置(196)计算三维空间中标记的坐标。图5中说明了计算概念。基于使用关于参考点位置的数据获得的标记2D坐标并且基于每个相机的镜头功能和角度错位值来执行标记3D坐标计算。参考点是在跟踪相机中镜头的主光轴与光学传感器阵列的工作面的交叉点。镜头功能表示在跟踪相机中的光学传感器阵列的工作面上的点的位置对在通过光学传感器阵列的工作面的中心的光线与标记的暂定中心点之间的角度和到光学传感器阵列的工作面的法线的依赖性。通常，镜头功能是非线性的和不对称的，并且其取决于跟踪相机镜头的光学参数以及镜头相对于光学传感器阵列的调整。角度错位是复杂的参数，其包括相机镜头的主光轴的实际位置与相机设置中定义的轴位置的角度偏差以及相机光学传感器阵列相对于相机设置中定义的位置的旋转角度。
对于每个跟踪相机(在这种情况下为四个相机#1、#2、#3、#4)而言，基于标记2D坐标、镜头功能和角度错位值来确定到标记中心点的方向。在理想的系统中，对应于这些方向的所有光线应在标记中心点中交叉。在真实的系统中，即使考虑到校准，这些光线仍可能在标记中心点附近的空间区域中彼此足够靠近地通过而不相交。因此，将某一点A定义为交叉点，其中光线之间的均方根距离最小。
跟踪窗口控制装置(193)基于标记3D坐标来确定跟踪窗口的参数(帧内的大小和位置)(当需要时)、哪些参数被传输到智能相机(17)中的跟踪窗口控制装置(173)以在读取来自光学传感器阵列(171)的数据时供由信号读取和处理装置(172)使用。此外，标记3D坐标由3D场景形成装置(198)直接地或在由逻辑装置(197)处理之后被用作输入数据。在LCMP3D系统(10)的单用户实施中直接使用标记3D坐标是可能的，其中使用一副眼镜并且操纵器不包含标记。
对于LCMP3D系统(10)的多用户实施(其中使用若干对眼镜和可能的配备有标记的若干操纵器)而言，从标记3D坐标计算装置(196)获得的数据由标记识别装置(199)(其中确定标记是否属于某个装置(眼镜或操纵器))和逻辑装置(197)(其中观察游戏逻辑(即，游戏规则)和物理逻辑(即，自然规律))处理。此外，来自标记识别装置(199)的数据到达3D场景形成装置(198)。来自标记识别装置(199)的数据也可以被传递到计算机的无线电通信装置(191)，以用于提供对标记的控制(具体地，用于选择性地熄灭某些标记或者防止点亮标记，以便有助于在初始化期间或在发生跟踪故障时识别标记)。
图像输出装置(192)提供基于从3D场景形成装置(198)获得的信息来产生输出到显示器(18)的图像信号，所述信号构成观察者或多用户LCMP3D系统(10)中的若干观察者的左眼和右眼的图像序列。
同步装置(195)为计算机(19)、眼镜(12)、操纵器(13)和智能相机(17)提供世界时间，以及相机中的快门操作和照明标记的同步。
智能相机(17)旨在用于跟踪标记的位置。图6中示出了智能相机(17)的一个实施例子。智能相机(17)位于支撑框架(16)的上部中，并且相机的镜头(174)基本上定位在显示器(18)屏幕的平面中(在其角落附近)并且导引向上。智能相机(17)的光学传感器阵列(171)配备有镜头(174)并且安装在基座(175)上，所述基座具有用于固定到桌子的支撑框架(16)的两个凸缘(176)。智能相机(17)的这种凸缘安装提供确保LCMP3D系统对振动和冲击载荷的高耐力所必须的刚性结构。智能相机(17)还包括读取和处理装置(172)以及跟踪窗口控制装置(173)。此外，智能相机(17)可以配备有窄带滤光器，以减少干扰光源对跟踪构件的影响。跟踪窗口控制装置(173)还包含用于经由将智能相机(17)彼此连接并连接到计算机(19)的通信线路来传输信息的构件。
眼镜(12)旨在对观察者的左眼和右眼的立体图像进行时间分隔。图7示出了包括立体眼镜(120)和标记(121)的眼镜(12)的一个实施例子。立体眼镜(120)包含光学快门和用于光学快门的控制构件。立体眼镜(120)本身在本领域中是公知的，因此省略其详细描述。
在本发明的这个实施例中，基于立体眼镜(120)XPAND通用3D眼镜(X6D有限责任公司，http://www.xpand.me/)来实施眼镜(12)，其另外配备有两个标记(121)。在这种情况下，经由IR控制信号来控制立体眼镜(120)，即通过由IR光源(11)(参见图3)发射的IR信号来完成眼镜光学快门与显示器(18)的同步。可以基于具有类似设计和性能的受IR信道或无线电信道(例如，使用蓝牙)控制的其他立体眼镜来实施眼镜(12)，如3D视觉2无线眼镜(NVIDIA公司，http://www.nvidia.com/)。
标记(121)包括控制电路(125)、至少一个发射器(123)、至少一个电源(124)、至少一个无线电通信装置(122)、至少一个标记操作模式指示器(126)、至少一个标记操作控制按钮(127)和至少一个电连接器(128)。另外，标记(121)可以包括定向装置(129)。发射器(123)可以配备有窄带滤光器，以减少干扰光源对跟踪构件的影响。
眼镜和标记可以被制造成一体式装置，并且可以具有共享的控制信道(例如，无线电信道)、共享的电源和共享的充电连接器。在本发明的另一个实施例中，可以提供没有充电连接器的眼镜；在这种情况下，可以使用感应来对电源进行充电。可以提供没有任何控制按钮的眼镜，并且所述眼镜可以在不使用时进入待机或睡眠模式；在这种情况下，经由控制信道来传输标记灯和光学快门接通次序。此外，眼镜可以包含如声发射器、振动源和增强现实显示器的其他装置，这些装置以某种数字、文本或图形形式向用户提供附加信息。
控制电路(125)控制IR信号发射器(123)。每个标记由无线电通信装置(122)经由无线电信道(14)来控制。标记操作模式指示器(126)旨在指示标记和电源(124)充电水平的操作状态。关于电源(124)的充电水平的信息可以经由无线电信道传输到计算机，并且可以在控制面板上指示。标记接通和切断以及在必要时切换标记操作模式是由按钮(127)完成的。经由电连接器(128)对电源(124)执行充电；相同的连接器可以用于配置和诊断标记(121)。
操纵器(13)旨在对图像和/或游戏过程施加影响。操纵器(13)可以包括本领域中众所周知的一些控制构件(如按钮、键、操纵杆、轨迹球、触摸屏等)，因此省略其详细描述。在面向游戏的LCMP3D系统(10)中，操纵器(13)可以是表示由玩家握在手中的臂或工具的物品，；其他方面，它可以是待固定在玩家身体的某一部分上的令牌或项圈，或者从游戏故事和游戏视角来看合理的任何其他装置。
应当注意，图4示出了旨在充当目标指定构件(即，用于影响预定图像部分)的操纵器的功能图。这种操纵器(13)配备有包括发射器(133)的标记(132)，并且其允许系统(10)跟踪操纵器的位置及其在空间中的取向。如果将操纵器用于跟踪观察者身体或身体部分在空间中的位置和取向，那么这种操纵器可以包括一个标记(132)。如果将操纵器用于影响整个图像(例如，旋转、平移、放大、缩小等)，那么不需要在空间中跟踪位置和取向，因此标记(132)可以不存在。
定向装置(139)包括允许LCMP3D系统(10)不仅确定操纵器位置而且确定其在空间中的取向的装置。定向装置(139)可以包括以下装置中的至少一个：陀螺仪、加速度计、磁力仪。使用从这些构件获得的取向数据的组合允许更准确地确定操纵器(13)的取向。例如，对在约60秒的时间段内的加速度计数据取平均值允许相当精确地确定“向下”(即朝向地球质心)方向并补偿陀螺仪数据漂移。在LCMP3D系统(10)附近具有预定取向的人工磁环境中使用高速固态磁力仪还允许校准陀螺仪。此外，以组合的方式使用陀螺仪、加速度计和/或磁力仪允许在一个或多个标记(132)被隐藏而使跟踪相机看不到并且可靠的光学跟踪不可能时精确地推断空间中的操纵器位置。用于操纵器的定向装置(139)的上述概念对于眼镜的定向装置(129)基本上是有效的。
图8以旨在用于科学、工程、教育或娱乐目的的单用户桌面系统的形式示出了本发明的另一实施例的总体视图。LCMP3D系统(20)包括支撑框架(26)、投影机(24)、三个智能相机(27)、计算机(29)、眼镜(22)和用于观察者的一个或多个操纵器(23)以及用于使眼镜(22)的光学快门同步的IR信号源(21)。观察者可以通过眼镜(22)看到在位于桌面工作表面上的投影屏幕(28)上的三维图像，同时当观察者在屏幕的表面上方的上半球中在桌子附近移动时，根据观察者的眼睛的位置正确地修改图像。DLP投影机以每秒120帧、3000:1的动态对比度以及约8.5ms的平均响应时间来提供1280×720像素的图片尺寸，例如WD720U(Mitsubishi，http://www.mitsubishi.com/)可以用作投影机(24)。代替光学前投影系统，可以使用后光学投影系统，其中投影机(24)位于桌面工作表面下方，后投影屏幕(28)被集成到该桌面工作表面中。代替经由IR信道使眼镜的光学快门同步，可以使用经由无线电信道进行的同步。
在图8的LCMP3D系统(20)中使用三个智能相机(27)提供了跟踪观察者位置的高可靠性，然而，当仅仅使用两个智能相机(27)时，图8的LCMP3D系统(20)维持其操作完整性，因为通过任何物品隐藏眼镜(22)的标记而使智能相机(27)看不到在这种系统中是不太可能的。
图9以单用户或多用户楼层游戏系统的形式示出了本发明的又另一个实施例的总体视图。通常，LCMP3D系统(30)在结构上和功能上类似于图8的系统，但是其形状因子不同，即它包括更大的屏幕(38)，所述屏幕可以是安置在地板表面上或集成到地板或甲板中的前或后投影面板；其也可以是集成到地板或甲板中的等离子或LCD面板(或若干无缝定制的面板)。具体地，图9示出了使用来自投影机(34)的前投影的LCMP3D系统(30)。LCMP3D系统(30)与LCMP3D系统(20)的不同之处还在于跟踪相机(37)的数目(至少四个)和相机的部署(游戏区域的上方，例如在房间天花板上或者在桅杆、塔楼或位于房屋内或房屋外的任何其他支撑框架上)。另一个不同之处是使用具有不同设计的眼镜(32)(参见图10)，其中标记(321)被设置成当观察者移动时通过任何其他物品为其提供最小的遮蔽(隐藏)且因此提供观察者的移动的最大自由度，并且仍然确保可靠跟踪标记的位置。又一个不同之处是使用包括定向装置(如上述定向装置(139))的操纵器(33)。
图11以多用户楼层游戏系统的形式示出了本发明的又一个实施例的总体视图。通常，LCMP3D系统(40)在结构上和功能上类似于图9的系统，但是不同的是跟踪每个观察者(在这种情况下是玩家)的眼镜(42)和至少一个操纵器(43)的标记的位置允许相当准确地跟踪每个玩家的至少一个身体部分的空间位置和姿势的变化，以便对应地在屏幕(48)上提供呈改变其空间位置和姿势的相关游戏角色形式的重放。应注意的是，LCMP3D系统(40)中的总体延迟的补偿使得不存在显著的几何图像畸变，并且还确保了玩家的移动和相关游戏角色的同步。
上文中以具有安置在一个平面中的一个显示器或若干显示器的LCMP3D系统(10、20、30、40)的形式表示的本发明的实施例也可以以具有安置在不同平面中的一个显示器或若干显示器(例如呈CAVE(洞穴自动虚拟环境)房间等的形式)以及具有带有非平面显示器的一个显示器或若干显示器(例如，形成半球形屏幕以便提供IVR(沉浸式VR)系统的显示器)的LCMP3D系统(10、20、30、40)的形式来实施。
由图12中的流程图来说明一种在LCMP3D系统中显示三维对象的方法。
在步骤(50)中，执行接通和初始化跟踪相机。
在步骤(51)中，当所有标记被切断时，执行发光图的生成。这对于确定干扰不相关的IR光源和对于排除(或至少降低)它们对标记跟踪精度的影响是必要的。通过在相机接通时从跟踪相机获得的图片中减去在标记被切断时从跟踪相机获得的图片来完成对不相关的IR光源进行滤波。为了提高滤波的可靠性，在相对于工作曝光增加的曝光下执行发光图的生成。
在步骤(52)中，通过来自计算机的经由计算机的无线电通信装置传输的命令来执行接通标记。
在步骤(53)中，通过来自计算机的经由同步装置传输的指令来执行跟踪相机的同步。如果用户正移动并且跟踪相机异步地操作，那么它们在不同时刻并且对应地在不同位置捕获标记位置。因此，在步骤(55)中计算的标记2D坐标的可靠性恶化，这导致标记2D坐标的推断精度降低；此转而导致在步骤(58)中计算的标记3D坐标“模糊”，从而导致跟踪观察者位置的精度降低，因此使三维图像的现实性退化。为所有智能相机、眼镜、标记和计算机提供世界时间是维持同步的关键条件。
当NMP3D系统的操作同步时，预先发送用于读取帧和切换一个或多个对应标记的指令。这个指令可以由一个跟踪相机发送，所述跟踪相机是其他跟踪相机的主控相机；其他方面，这个指令可以由同步装置发送。
在步骤(54)中，执行跟踪构件的校准。校准产生关于参考点位置的数据、每个相机的镜头功能以及角度错位值。此外，参考点位置数据被传递到对应的智能相机，且每个相机的镜头功能和角度错位值被传递到计算机。
在步骤(55)中，执行检测从跟踪相机的光学传感器阵列获得的图片中的标记；此外，确定标记2D坐标，即计算它们在跟踪相机的对应帧的坐标网格中的位置。参考图13进一步详细讨论标记检测和2D坐标确定过程。
在步骤(56)中，执行对错误标记的消除。错误标记是不相关的IR光源，帧中的具有这些错误标记的图片与真实标记图片相似，因此它们在图14中所示的过程中并未被舍弃。为了消除错误标记，使用没有预定标记的帧的图片，通过来自标记识别装置的命令将标记切断一段时间。将其中不存在预定标记但存在干扰信号的这类特殊帧的图片用于排除(或至少降低)不相关的IR光源的效果，例如通过从正常的工作帧的图片中减去其图片。为了减少对资源的使用，优选地仅在跟踪窗口内读取这些特殊帧的图片。
在步骤(57)中，执行对跟踪窗口的控制。参考图14进一步详细讨论跟踪窗口控制过程。
在步骤(58)中，执行标记2D坐标的推断以便提供总体延迟的补偿。作为简化方法，标记2D坐标的推断是线性推断。作为更复杂的方法，可以使用非线性推断，例如立方推断、双三次推断、样条推断等。可以取决于观察者的预期移动方式和在LCMP3D系统的某种配置中的计算机工作负荷来自动地选择推断算法。推断算法对观察者的预期移动方式的依赖性由以下事实来确定：加速运动比匀速运动更不可预测。推断范围由LCMP3D系统的某种配置中的总体延值迟定义，并且其被选择成使得使用推断的LCMP3D系统中的有效总体延迟将不超过5ms。例如，在LCMP3D系统(10)的一个实施例中，非补偿性总体延迟约为50.6ms，包括用于跟踪构件操作的4ms、用于形成三维场景的8.3ms、用于在显示器上表示图像的38.3ms，因此这种系统中的推断范围约为45.6ms。
在步骤(59)中，执行对标记3D坐标的确定，即计算它们在三维空间中的位置。基于为每个跟踪相机确定的所推断出的标记2D坐标来计算标记3D坐标。使用校准结果(即，镜头功能和角度错位值)在计算机中执行该计算。
应当注意，在本发明的一个实施例中，可以使用标记3D坐标的推断而不是标记2D坐标的推断，即可以将标记的当前2D坐标传递到计算机，其中可以基于2D坐标来确定标记的3D坐标，因此可以进一步在标记3D坐标预测装置(图4中未示出)中推断3D坐标。在本发明的另一个实施例中，可以在智能相机中执行标记的2D坐标的推断(在这种情况下，相机包括图4中未示出的标记2D坐标预测装置)，并且可以在计算机中执行标记3D坐标的推断，其中可以将不同的算法和/或不同的推断范围用于标记的2D坐标和3D坐标的推断。在本发明的又一个实施例中，可以完全或部分地在智能相机中执行标记的3D坐标的推断。可以取决于观察者的预期移动方式和智能相机的处理器和/或在LCMP3D系统的某种配置中的计算机的工作负荷来自动地完成对推断模式(2D/3D)和推断算法(线性/非线性)的选择。
在步骤(60)中，执行标记的识别。在不使用配备有标记的操纵器的单用户模式中，标记的识别在LCMP3D系统(10)和(20)中不是强制性的。在其他情况下，需要识别标记。在LCMP3D系统(10)和(20)的单用户模式中，假设左侧标记始终位于观察者眼睛的左侧上，且右侧标记始终位于观察者眼睛的右侧上，即眼镜并未翻转。在多用户模式中的LCMP3D系统(10)和(20)中以及在LCMP3D系统(30)和(40)中，可发生眼镜翻转，这是由根据游戏故事来提供玩家的移动自由度的必然性和/或由可能出现的玩家兴奋状态所导致。在这些系统中，还可出现操纵器(包括配备有一个以上标记的操纵器)翻转。标记的识别由标记识别装置完成。具体地，将标记的发光暂停被用于标记的初始识别，所述发光暂停是在预定时刻提供的并持续预定时间(例如，标记可在其正常工作的一个时间间隔期间保持切断)，这允许确定已丢失并随后再次出现的标记。此外，通过跟踪帧内的标记移位来执行标记的识别。必要时，可以以与如上述所公开的标记的初始识别类似的方式来完成标记的反复识别。
在本发明的另一个实施例中，当每个装置可以包括两个以上标记时，可以通过将关于属于某一装置(眼镜或操纵器)的标记的相互空间位置的先前已知的信息与标记的所计算的3D坐标相对照来执行标记的识别。在这个实施例中，每个装置的特征在于标记的独特布置。例如，当通过跟踪帧内的标记移动来进行标记识别由于观察者的高运动活动而变得不可靠并且不期望频繁使用通过暂停标记发光来反复识别标记时，可以使用这个选项。
在步骤(61)中，执行3D场景的形成，即为每个观察者的每只眼睛生成图像。特殊软件(所谓的3D引擎)负责3D场景的形成，例如使用Unity 3D引擎(Unity Technologies，http://unity3d.com/)对于LCMP3D系统(10)和(20)是足够的，而将支持若干GPU(优选地利用开源代码)的定制3D引擎用在具有复合屏幕(所谓的多屏幕)的LCMP3D系统中是得当的，所述定制3D引擎可以内部设计或外包设计。
在步骤(62)中，执行将图像输出到显示器。当提供立体眼镜的同步时，以适当的次序输出每个观察者的每只眼睛的图像。
图13示出了检测标记并确定其2D坐标的过程。在每个智能相机中独立地执行这个过程，并且该过程产生关于每个标记的数据，即跟踪相机的帧中的标记轮廓的加权中心的坐标、轮廓大小以及标记图片亮度的积分参数、将哪个数据传递到计算机以供进一步处理。
应注意的是，曝光时间的选择是这个过程中的重要因素。当标记图片的最亮点在技术上对应于相机动态范围的上限时，曝光时间可以被认为是最优的。这允许获得标记轮廓中心的最准确的加权值。
还应注意的是，将曝光时间增加到超过最优值降低了相机性能，因为获取每个帧花去更多的时间。此外，由于“模糊”标记图片，所以确定移动标记的2D坐标的精度也可能降低。此外，在这种情况下，很可能会出现大量错误标记，因为当曝光时间增加时，不相关光源的图片的亮度也增加，因此几乎可以达到真正的标记的图片的亮度，该亮度由于饱和效果并未上升。
不足的曝光时间导致减小标记图片轮廓的半径，因此基于较少量的数据来计算标记轮廓的加权中心坐标，因此使计算精度退化。
关于这个过程要考虑的另一个因素是，在鱼眼型广角镜头中，标记图片的亮度对于与镜头光轴的小角度偏差而言要比对于大偏差而言高得多。因此，为了在读取帧期间确保图片的均匀亮度，有必要对每个像素使用亮度校正因子，所述因子取决于像素与参考点之间的距离。
在步骤(550)中，执行用于读取的光学传感器阵列的行的确定。为了确保跟踪构件的所需的操作速度，可以仅从光学传感器阵列读取一些行(例如，每两行或每三行)。这种“子采样”允许减少帧读取时间，并且其是取决于跟踪相机的曝光时间来执行的，而跟踪相机的曝光时间转而取决于一般照明水平。照度越高，通过子采样可舍弃的行越多，而基本上没有丢失标记的风险。
在步骤(551)中，执行读取光学传感器阵列的选定行，并且产生对应于该图片行中的像素亮度的一信号序列。
在步骤(552)中，顺序地分析选定行的每个像素的信号强度(即亮度)。如果像素的信号强度超过阈值，那么假设此像素属于标记图片轮廓，且过程转到步骤(553)。
在步骤(553)中，通过路径跟踪来执行检测标记图片轮廓，例如当从左到右读取行中的像素并且从上到下读取帧中的行时，从先前已验证的像素开始围绕轮廓的每个最后检测到的像素顺时针地完成路径跟踪。路径跟踪导致形成对应于标记图片边界的闭合轮廓。
在步骤(554)中，计算轮廓的大小(以像素为单位)。
在步骤(555)中，检查轮廓大小。如果轮廓大小是在由标记发射器大小以及跟踪相机与标记之间的最大和最小可能距离所限定的可接受限度内，那么过程转到步骤(556)。如果轮廓大小不在可接受的限度内，那么过程转到步骤(561)。
在步骤(556)中，计算轮廓的几何中心。
在步骤(557)中，计算轮廓的最大和最小半径(即轮廓的几何中心与其边界之间的距离)。通常，轮廓可以具有与圆形形状明显不同的形状，例如其可以是椭圆形。轮廓的最大和最小半径使得能够表征轮廓形状。
在步骤(558)中，检查轮廓的最大和最小半径的比率。应舍弃过分细长的轮廓以及具有非凸形平坦几何图形的形状的轮廓。如果轮廓的最大和最小半径的比率是在可接受的限度内，那么过程转到步骤(559)。如果这个比率不在可接受的限度内，那么过程转到步骤(561)。
在步骤(559)中，执行检验标志图片的亮度均匀性(即轮廓内的区域的亮度均匀性)。应舍弃其内部具有暗点的轮廓。如果轮廓内的区域的亮度均匀性是在可接受的限度内，那么过程转到步骤(560)。如果这个区域的亮度均匀性不在可接受的限度内，那么过程转到步骤(561)。
在步骤(560)中，计算轮廓的加权中心的坐标。考虑标记图片边界上的亮度梯度来确定轮廓的加权中心的坐标。例如，轮廓的加权中心可以被认为是在X和Y坐标上的标记图片亮度分布的数学期望点。轮廓的加权中心的所计算的坐标构成标记的2D坐标。可以以子像素精度(约像素的1/30)来确定这些坐标。此外，基于这个确切相机的参考点位置来调整标记图片轮廓的加权中心的坐标、标记图片轮廓大小以及(在一些实施例中)标记图片轮廓的最大和最小半径的比率，即这些参数被转换成相机的局部坐标，其中局部坐标系的零点是在参考点中。之后，以这个帧的假定标记的参数阵列的形式来保存标记图片轮廓的加权中心的坐标、标记图片轮廓大小以及标记图片轮廓的最大和最小半径的比率。在一些实施例中，上述参数中只有一些参数可以保存在假定标记的参数阵列中。之后，过程转到步骤(562)。
在步骤(561)中，忽略轮廓，即将所分析的轮廓认为是有缺陷的(不对应于标记)，并且竟其排除而不予以进一步考虑。此后，过程转到步骤(562)。
在步骤(562)中，执行对轮廓进行标记，即对所处理的轮廓进行标记以排除其和在其内部的区域而不予以进一步的帧分析，这允许另外减少每个帧的处理时间并且对应地增加跟踪构件的操作速度。
当读取帧结束时，将推定的标记的参数阵列的数据传递到计算机(19)中。在另一个实施例中，根据计算进度，可以在读取帧的过程期间立即传递推定的标记的参数阵列。
图14示出了在每个跟踪相机中执行的跟踪窗口控制过程。跟踪窗口控制包括周期性检查跟踪窗口的参数(大小和位置)以及在必要时调整这些参数。在系统初始化或在所有标记丢失时，将跟踪窗口大小设定成等于整个帧大小。
在步骤(601)中，执行检查从光学传感器阵列获得的图片中是否存在所有标记。应当注意，应存在于由不同跟踪相机拍摄的图片中的多组标记可以不同。如果从光学传感器阵列获得的图片包含所有标记，那么过程转到步骤(602)。如果从光学传感器阵列获得的图片不包含应存在于其中的所有标记，那么过程转到步骤(603)。
在步骤(602)中，如果有必要调整跟踪窗口参数，那么执行检查。例如，如果发现某个标记靠近跟踪窗口的边界，那么这个边界可以向外移位，而移位的值可以取决于标记与边界的接近度以及标记的光点大小。如果发现某个标记远离跟踪窗口的边界，那么这个边界可以向内移位，而移位的值也可以取决于标记与边界的接近度。如果在步骤(602)中确定有必要调整跟踪窗口参数，那么过程转到步骤(604)。如果确定没有必要调整跟踪窗口参数，那么图14的算法结束。
在步骤(604)中，计算跟踪窗口的新参数。在计算跟踪窗口的新参数时，至少考虑两个标准。第一标准构成所有跟踪相机的跟踪窗口的最小总平方的条件。第一标准直接影响跟踪构件的操作速度。第二标准是指在最小化所有跟踪相机的跟踪窗口的总平方时所考虑的一种边缘条件(即限制)，并且其构成所有相机的跟踪窗口的大致相等平方的条件。第二标准与当不同的相机在跟踪某些标记时可以具有不等的工作条件的情况有关，这些不等的工作条件直接影响跟踪那些标记的可靠性。
此外，第二标准表征了智能相机的计算负荷的不平衡。如果关于所有相机的跟踪窗口的平方差的限制相当不苛刻(这对于多用户LCMP3D系统而言可能是典型的)，那么智能相机的计算负载的不平衡可能是显著的。在这种情况下，智能相机可以在它们之间重新分配计算负荷，这些计算负荷与处理帧的图片、计算关于每个标记的数据和确定每个跟踪窗口的参数有关。这种可能性由所有智能相机(图4中未示出)之间的通信线、对应的数据交换协议和智能相机的嵌入式软件来提供。这种通信线和数据交换协议在本领域中是众所周知的，因此省略其详细描述。在步骤(604)完成之后，将跟踪窗口参数传递到对应过程，并且图14的算法结束。
在步骤(603)中，确定其中由某个跟踪相机拍摄的图片中所丢失的标记可能位于的区域。通过比较从这个跟踪相机和其他跟踪相机获得的当前数据(必要时，和以往数据)来执行对这个区域的确定。
步骤(605)基本上类似于步骤(604)。在步骤(605)完成之后，过程返回到步骤(601)。
应当注意，为了便于理解本发明，图12仅示出了上述方法中对于理解本发明而言是实质性的那些步骤；然而，所述方法可以包括其他步骤从而确保系统的操作。这类步骤的必要性对于本领域技术人员是清楚的，并且其实施对于本领域技术人员是已知的，因此省略其描述。
本发明的技术结果是通过使用在屏幕表面上形成图像的可视化构件并且通过利用图像的空间感知、双目视差和运动视差中的至少两个主要心理视觉机制来以观察者的在0m/s至3m/s的范围中的运动速度以及以观察者的在0m/s2至10m/s2的范围内的运动加速度来为一名或多名观察者提供三维对象的现实表示。由于为观察者提供5ms内的有效总体延迟而实现了技术结果，该有效总体延迟是通过预测观察者的位置(即通过标记的2D坐标或3D坐标的时间推断)来确保的。推断精度由用于推断的输入数据的参数定义，即数据的数量(样本量)、质量(精确度和纯度)以及现状(年龄)。通过实施以下一组相关技术解决方案来确保这些参数的所需值：使用有源控制标记、将“智能相机”用作跟踪相机以及使用“跟踪窗口”。跟踪相机数目的增加、ALAP渲染的实施和跟踪构件的校准也有助于提供这些参数的所需值。
本文提及的装置、构件、方法和其部分在参考数字指示符提及到它们时与本发明的一个或多个特定实施例有关，或者当不参考数字指示符提及到它们时，它们与本发明的所有可应用的实施例有关。
如果未另有明确说明，那么权利要求中所提及的装置构成组合的硬件/软件构件，其中一些装置的硬件可以是不同的，或者可以与其他装置的硬件部分地或完全地一致。如果未另有明确说明，那么某些装置的硬件可以位于其他装置或构件的不同部分中。
本文提供的方法描述中的步骤序列是说明性的，并且如果维持功能并获得结果，那么在本发明的一些实施例中该步骤序列可以是不同的。
如果本发明的部分和特征彼此不矛盾，那么这些部分和特征可以在本发明的不同实施例中加以组合。上文公开的本发明的实施例是作为说明而提供的，并且其不旨在限制如权利要求中所限定的本发明。在设计、配置和操作原理方面的所有和任何合理的修改、变更和等效替换都包括在本发明的范围内。
Claims (55)
1.一种产生形成在显示装置表面上的图像的3D效果的方法，所述方法同时提供至少双目视差和运动视差的效果，并且包括以下步骤：
-使用包括以下各项的系统：
至少一个显示装置；
用于立体分隔图像的至少一副眼镜，所述眼镜包括至少两个光学快门和至少两个标记；
至少两个光学传感器阵列；
至少两个读取和处理装置；
至少两个跟踪窗口控制装置，其被配置来确定用于从其读取数据的所述光学传感器阵列的区域的大小和位置，所述区域小于所述光学传感器阵列的整个框架；
标记3D坐标计算装置；
至少一个标记坐标预测装置；
3D场景形成装置；
至少一个图像输出装置，
-从所述至少两个光学传感器阵列获得图片、控制跟踪窗口、检测所述图片中的标记并确定标记的2D坐标；
-基于标记的2D坐标来确定标记的3D坐标；
-推断标记的坐标用来补偿从所述光学传感器获得所述图片的开始时刻与显示3D场景图像的时刻之间的至少一部分延迟，使得有效总体延迟不超过5ms；
-考虑所述标记的所述3D坐标来形成3D场景；
-在所述至少一个显示装置上输出所述3D场景的图像，其中交替地输出旨在给观察者的每只眼睛的所述3D场景的所述图像。
2.根据权利要求1所述的方法，其中所述标记是发光标记。
3.根据权利要求1所述的方法，其还包括校准用于跟踪观察者位置的构件的步骤，其中这些构件包括所述标记、所述光学传感器阵列、所述读取和处理装置以及所述标记3D坐标计算装置。
4.根据权利要求1所述的方法，其还包括检测干扰发射源并排除其对检测所述标记的影响的步骤。
5.根据权利要求1所述的方法，其还包括在从所述光学传感器阵列获取图片的所述步骤之前使所述光学传感器阵列彼此同步的步骤。
6.根据权利要求2所述的方法，其还包括在从所述光学传感器阵列获取图片的所述步骤之前使所述光学传感器阵列彼此并且与所述标记同步的步骤。
7.根据权利要求2所述的方法，其还包括选择性地接通和切断所述标记的步骤，其中所述系统还包括至少一个第一无线电通信装置，并且所述系统的所述眼镜还包括至少一个第二无线电通信装置。
8.根据权利要求7所述的方法，其还包括当所述标记被切断时产生发光图的步骤，以便在检测所述标记的所述步骤之前自动检测干扰发射源并排除其对检测所述标记的影响。
9.根据权利要求1或权利要求8所述的方法，其还包括在确定所述标记的所述2D坐标的所述步骤之后识别所述标记的步骤，其中所述系统还包括标记识别装置。
10.根据权利要求1所述的方法，其还包括在确定所述标记的所述3D坐标的所述步骤之前推断所述标记的所述2D坐标的步骤。
11.根据权利要求1所述的方法，其还包括在确定所述标记的所述3D坐标的所述步骤之后推断所述标记的所述3D坐标的步骤。
12.根据权利要求1所述的方法，其中所述系统包括至少三个光学传感器阵列、至少三个读取和处理装置以及至少三个跟踪窗口控制装置。
13.根据权利要求1所述的方法，其中针对一名以上的观察者执行为所述观察者的每只眼睛显示所述图像。
14.根据权利要求1所述的方法，其中处理从所述光学传感器阵列获得的数据在读取帧完成之前开始。
15.根据权利要求1所述的方法，其中处理从所述光学传感器阵列获得的数据以分布的方式在所述至少两个读取和处理装置中执行。
16.根据权利要求1所述的方法，其中以子像素精度来执行确定所述标记的2D坐标。
17.根据权利要求1所述的方法，其中所述系统还包括至少一个第一无线电通信装置，并且所述系统的所述眼镜还包括至少一个第二无线电通信装置和定向装置，并且其中当通过所述光学传感器阵列确定所述标记不可能时，将经由所述第一和第二无线电通信装置从所述眼镜的所述定向装置获得的数据用于确定安置在所述眼镜上的所述标记的3D坐标。
18.根据权利要求1所述的方法，其中所述系统还包括至少一个第一无线电通信装置以及包括至少一个第二无线电通信装置和定向装置的至少一个操纵器，并且其中当通过所述光学传感器阵列确定所述标记不可能时，将经由所述第一和第二无线电通信装置从所述操纵器的所述定向装置获得的数据用于确定安置在所述操纵器上的所述标记的3D坐标。
19.根据权利要求1所述的方法，其中所述系统还包括至少一个第一无线电通信装置，并且所述系统的所述眼镜还包括至少一个第二无线电通信装置和定向装置，并且其中将经由所述第一和第二无线电通信装置从所述眼镜的所述定向装置获得的数据用于确定所述跟踪窗口的大小和位置。
20.根据权利要求1所述的方法，其中所述系统还包括至少一个第一无线电通信装置以及包括至少一个第二无线电通信装置和定向装置的至少一个操纵器，并且其中将经由所述第一和第二无线电通信装置从所述操纵器的所述定向装置获得的数据用于确定所述跟踪窗口的大小和位置。
21.根据权利要求1所述的方法，其中检测所述标记并确定所述标记的2D坐标的所述步骤包括以下步骤：
-选择用于读取的所述光学传感器阵列的行；
-读取所述光学传感器阵列的选定行；
-检查所述选定行中的每个像素的信号强度是否超过阈值；
-如果所述像素信号强度超过所述阈值，那么检测标记图片轮廓，并且随后转到计算所述标记图片轮廓的大小的步骤；如果所述像素信号强度不超过所述阈值，那么返回到读取所述光学传感器阵列的选定行的所述步骤；
-计算所述标记图片轮廓的大小；
-检查所述标记图片轮廓的大小；
-如果所述标记图片轮廓的所述大小在预定限度内，那么转到计算所述标记图片轮廓的几何中心的步骤；如果所述标记图片轮廓的所述大小不在预定限度内，那么转到排除所述标记图片轮廓的步骤；
-计算所述标记图片轮廓的几何中心；
-计算所述标记图片轮廓的最大和最小半径；
-检查所述标记图片轮廓的所述最大和最小半径的比率；
-如果所述标记图片轮廓的所述最大和最小半径的所述比率在预定限度内，那么转到检查亮度均匀性的步骤，如果所述标记图片轮廓的所述最大和最小半径的所述比率不在预定限度内，那么转到排除所述标记图片轮廓的步骤；
-检查所述标记图片轮廓内的所述区域的亮度均匀性；
-如果所述标记图片轮廓内的所述区域的所述亮度均匀性在预定限度内，那么转到计算所述标记图片轮廓的加权中心的坐标的步骤，如果所述标记图片轮廓内的所述区域的所述亮度均匀性不在预定限度内，那么转到排除所述标记图片轮廓的步骤；
-排除所述标记图片轮廓而不予以进一步的考虑，并且转到对所述标记图片轮廓进行标记的步骤；
-计算所述标记图片轮廓的加权中心的坐标，针对对应步骤传递以下各项中的至少一项：所述标记图片轮廓的所述加权中心的所述坐标、所述标记图片轮廓的大小以及所述标记图片轮廓的所述最大和最小半径的所述比率，并且随后转到对所述标记图片轮廓进行标记的步骤；
-对标记图片轮廓进行标记，并且排除标记图像轮廓而不进一步分析从所述光学传感器阵列获得的所述图片。
22.根据权利要求1所述的方法，其中控制跟踪窗口的步骤包括以下步骤：
-检查所有标记是否存在于从所述光学传感器阵列获得的图片中；
-如果所有标记都存在于从所述光学传感器阵列获得的所述图片中，那么转到检查调整跟踪窗口参数的必要性的步骤；如果并非所有标记都存在于从所述光学传感器阵列获得的所述图片中，那么确定所述图片中缺少的所述标记可能位于的区域，随后确定所述跟踪窗口的大小和位置，并且针对对应步骤传递所述跟踪窗口的所述大小和所述位置；
-检查是否有必要调整跟踪窗口；
-如果有必要调整所述跟踪窗口，那么确定所述跟踪窗口的大小和位置，并且针对对应步骤传递所述跟踪窗口的所述大小和所述位置。
23.一种用于产生形成在显示装置表面上的图像的3D效果的系统，所述系统同时提供至少双目视差和运动视差的效果，并且包括：
-至少一个显示装置，其被配置来显示图像序列；
-至少一副眼镜，其被配置来提供图像的立体分隔，所述眼镜包括以预定方式安置的至少两个光学快门和至少两个标记；
-至少两个光学传感器阵列，其被配置来获得所述标记的图片并以预定方式安置；
-至少两个读取和处理装置，其被配置来从所述光学传感器阵列读取数据并确定标记的2D坐标；
-至少两个跟踪窗口控制装置，其被配置来确定用于从其读取数据的所述光学传感器阵列的区域的大小和位置，所述区域小于所述光学传感器阵列的整个框架；
-标记3D坐标计算装置，其被配置来基于标记的2D坐标来计算标记的3D坐标；
-至少一个标记坐标预测装置，其被配置来推断标记的坐标用来补偿从所述光学传感器获得所述图片的开始时刻与显示3D场景图像的时刻之间的至少一部分延迟，以使得有效总体延迟不超过5ms；
-3D场景形成装置，其被配置来考虑到所述标记的所述3D坐标来形成3D场景；
-至少一个图像输出装置，其被配置来将所述3D场景图像输出到所述至少一个显示装置。
24.根据权利要求23所述的系统，其中所述标记是发光标记。
25.根据权利要求23所述的系统，其还包括至少一个跟踪窗口控制装置，所述至少一个跟踪窗口控制装置被配置来取决于所述标记中的至少一个的图片的位置来确定用于从其读取数据的所述光学传感器阵列的区域，其中所述光学传感器阵列的所述区域的大小小于所述光学传感器阵列的整个框架的大小。
26.根据权利要求23所述的系统，其还被配置来校准包括所述标记、所述光学传感器阵列、所述读取和处理装置以及所述标记3D坐标计算装置的观察者跟踪构件。
27.根据权利要求23所述的系统，其还被配置来自动检测干扰发射源并排除其对检测所述标记的影响。
28.根据权利要求23所述的系统，其还包括同步装置，所述同步装置被配置来提供所述光学传感器阵列彼此的同步。
29.根据权利要求24所述的系统，其还包括同步装置，所述同步装置被配置来提供所述光学传感器阵列彼此和与所述标记的同步。
30.根据权利要求24所述的系统，其还包括至少一个第一通信装置，其中所述眼镜还包括至少一个第二通信装置，所述系统被配置来选择性地接通和切断所述标记。
31.根据权利要求23或权利要求30所述的系统，其还包括标记识别装置，所述标记识别装置被配置来基于从所述至少两个光学传感器阵列获得的数据来确定标记是否属于某个装置。
32.根据权利要求23所述的系统，其中所述标记坐标预测装置被配置来推断所述标记的所述2D坐标。
33.根据权利要求23所述的系统，其中所述标记坐标预测装置被配置来推断所述标记的所述3D坐标。
34.根据权利要求23所述的系统，其包括至少三个光学传感器阵列、至少三个读取和处理装置以及至少三个跟踪窗口控制装置。
35.根据权利要求23所述的系统，其还被配置来为一位以上的观察者显示三维对象。
36.根据权利要求23所述的系统，其还被配置来在读取帧完成之前开始处理从所述光学传感器阵列获得的数据。
37.根据权利要求23所述的系统，其还被配置来以分布的方式在所述至少两个读取和处理装置中处理从所述光学传感器阵列获得的数据。
38.根据权利要求23所述的系统，其中所述至少两个读取和处理装置被配置来以子像素精度确定所述标记的2D坐标。
39.根据权利要求23所述的系统，其中所述眼镜包括至少一个第二无线电通信装置。
40.根据权利要求39所述的系统，其中所述眼镜包括至少一个定向装置，所述至少一个定向装置包括以下装置中的至少一个：加速度计、磁力仪、陀螺仪。
41.根据权利要求40所述的系统，其还包括至少一个第一无线电通信装置，并且被配置来当通过所述光学传感器阵列确定所述标记不可能时使用经由所述第一和第二无线电通信装置从所述眼镜的所述定向装置获得的数据来确定所述标记的所述3D坐标。
42.根据权利要求40所述的系统，其还包括至少一个第一无线电通信装置，并且所述系统被配置来使用经由所述第一和第二无线电通信装置从所述眼镜的所述定向装置获得的数据来确定所述跟踪窗口的大小和位置。
43.根据权利要求23所述的系统，其还包括至少一个操纵器。
44.根据权利要求43所述的系统，其中所述操纵器包括至少一个标记。
45.根据权利要求24所述的系统，其还包括至少一个第一无线电通信装置和至少一个操纵器。
46.根据权利要求45所述的系统，其中所述操纵器包括至少一个标记。
47.根据权利要求46所述的系统，其中所述操纵器包括至少一个第二无线电通信装置。
48.根据权利要求47所述的系统，其还被配置来选择性地接通和切断所述标记。
49.根据权利要求47所述的系统，其中所述操纵器包括至少一个定向装置，所述至少一个定向装置包括以下装置中的至少一个：加速度计、磁力仪、陀螺仪。
50.根据权利要求49所述的系统，其还包括至少一个第一无线电通信装置，并且被配置来当通过所述光学传感器阵列确定所述标记不可能时使用从所述操纵器的所述定向装置获得的数据来确定所述标记的3D坐标。
51.根据权利要求49所述的系统，其还包括至少一个第一无线电通信装置和至少一个跟踪窗口控制装置，所述至少一个跟踪窗口控制装置被配置来确定用于从其读取数据的所述光学传感器阵列的区域，其中所述光学传感器阵列的所述区域的大小小于所述光学传感器阵列的整个框架的大小，并且所述系统被配置来使用从所述操纵器的所述定向装置获得的数据来确定所述跟踪窗口的大小和位置。
52.根据权利要求24所述的系统，其中所述标记被配置来发射IR光。
53.根据权利要求23、24、44、46中任一项所述的系统，其中所述光学传感器阵列配备有窄带滤光器。
54.根据权利要求23、24、44、46中任一项所述的系统，其中所述标记配备有窄带滤光器。
55.根据权利要求30或48所述的系统，其还被配置来当所述标记切断时产生发光图，以便自动检测干扰发射源并排除其对检测所述标记的影响。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2014/001019 WO2016108720A1 (ru) | 2014-12-31 | 2014-12-31 | Способ и устройство для отображения трехмерных объектов |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107430785A CN107430785A (zh) | 2017-12-01 |
| CN107430785B true CN107430785B (zh) | 2021-03-30 |
Family
ID=56284734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480084605.1A Expired - Fee Related CN107430785B (zh) | 2014-12-31 | 2014-12-31 | 用于显示三维对象的方法和系统 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10187635B2 (zh) |
| EP (1) | EP3242274B1 (zh) |
| CN (1) | CN107430785B (zh) |
| EA (1) | EA032105B1 (zh) |
| SG (1) | SG11201705370QA (zh) |
| WO (1) | WO2016108720A1 (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6799603B2 (ja) * | 2016-09-14 | 2020-12-16 | 株式会社スクウェア・エニックス | 映像表示システム及び映像表示方法、映像表示プログラム |
| WO2018196982A1 (en) * | 2017-04-27 | 2018-11-01 | Brainlab Ag | Removing ghost markers from a measured set of medical markers |
| EP3655927A4 (en) * | 2017-07-19 | 2021-04-28 | Euclideon Holographics Pty Ltd | IMPROVEMENT FOR MULTIPLE OBSERVERS FOR A VIRTUAL ENVIRONMENT |
| US10699165B2 (en) * | 2017-10-30 | 2020-06-30 | Palo Alto Research Center Incorporated | System and method using augmented reality for efficient collection of training data for machine learning |
| WO2019122950A1 (ru) | 2017-12-18 | 2019-06-27 | Общество С Ограниченной Ответственностью "Альт" | Способ и система для оптико-инерциального трекинга подвижного объекта |
| WO2019178635A1 (en) * | 2018-03-21 | 2019-09-26 | Euclideon Holographics Pty Ltd | Computer assisted virtual reality display system |
| CN108492663A (zh) * | 2018-05-08 | 2018-09-04 | 南京铁道职业技术学院 | 基于vr技术的动车组制动系统检修实训系统 |
| US11354815B2 (en) * | 2018-05-23 | 2022-06-07 | Samsung Electronics Co., Ltd. | Marker-based augmented reality system and method |
| JP7137743B2 (ja) * | 2018-12-26 | 2022-09-15 | 株式会社Ｊｖｃケンウッド | 映像表示システム、映像表示装置、及び映像表示方法 |
| US11443495B2 (en) | 2018-12-31 | 2022-09-13 | Palo Alto Research Center Incorporated | Alignment- and orientation-based task assistance in an AR environment |
| WO2021024804A1 (ja) * | 2019-08-05 | 2021-02-11 | ソニー株式会社 | 手術撮像システム、信号処理装置、及び、信号処理方法 |
| US11403883B2 (en) | 2020-02-28 | 2022-08-02 | Unity Technologies Sf | Strobing of active marker groups in performance capture |
| US11508081B2 (en) | 2020-02-28 | 2022-11-22 | Unity Technologies Sf | Sealed active marker for performance capture |
| CN111639017B (zh) * | 2020-05-29 | 2024-05-07 | 京东方科技集团股份有限公司 | 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统 |
| CN111814260B (zh) * | 2020-07-28 | 2024-01-30 | 招商局邮轮制造有限公司 | 邮轮在风浪中航行的运动舒适度评价方法 |
| US11308644B2 (en) | 2020-08-28 | 2022-04-19 | Weta Digital Limited | Multi-presence detection for performance capture |
| US20220132042A1 (en) * | 2020-10-26 | 2022-04-28 | Htc Corporation | Method for tracking movable object, tracking device, and method for controlling shooting parameters of camera |
| WO2023108222A1 (en) * | 2021-12-15 | 2023-06-22 | Axiom Holographics Pty Ltd | A three-dimensional image display system |
| US11917289B2 (en) | 2022-06-14 | 2024-02-27 | Xerox Corporation | System and method for interactive feedback in data collection for machine learning in computer vision tasks using augmented reality |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5446834A (en) * | 1992-04-28 | 1995-08-29 | Sun Microsystems, Inc. | Method and apparatus for high resolution virtual reality systems using head tracked display |
| US20100053310A1 (en) * | 2008-08-31 | 2010-03-04 | Maxson Brian D | Transforming 3d video content to match viewer position |
| EP1763731B1 (en) * | 2004-05-24 | 2010-10-20 | 3D for All Számítástechnikai Fejlesztö Kft. | System and method for operating in virtual 3d space |
| CN102469335A (zh) * | 2010-11-17 | 2012-05-23 | 索尼电脑娱乐公司 | 带有帧速率探测器的3d快门眼镜 |
| CN102611909A (zh) * | 2011-02-08 | 2012-07-25 | 微软公司 | 具有运动视差的三维显示 |
| CN103037233A (zh) * | 2011-08-09 | 2013-04-10 | 索尼电脑娱乐公司 | 基于眼镜取向的三维自动关闭 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU753931B2 (en) * | 1998-04-03 | 2002-10-31 | Image Guided Technologies, Inc. | Wireless optical instrument for position measurement and method of use therefor |
| US20010043266A1 (en) * | 2000-02-02 | 2001-11-22 | Kerry Robinson | Method and apparatus for viewing stereoscopic three- dimensional images |
| US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
| WO2003032143A2 (en) * | 2001-10-12 | 2003-04-17 | Hrl Laboratories, Llc | Vision-based pointer tracking method and apparatus |
| US8199186B2 (en) * | 2009-03-05 | 2012-06-12 | Microsoft Corporation | Three-dimensional (3D) imaging based on motionparallax |
| GB201001152D0 (en) * | 2010-01-25 | 2010-03-10 | Chawla Naveen | A right-angled-bracket self-adhesive calibration-less multi-camera tracking system for realitic human-computer 3D interaction |
| WO2012014462A1 (ja) * | 2010-07-29 | 2012-02-02 | パナソニック株式会社 | 無線通信装置 |
| US8704879B1 (en) * | 2010-08-31 | 2014-04-22 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing on conventional 2D display |
| JP5364666B2 (ja) * | 2010-09-13 | 2013-12-11 | 株式会社東芝 | 立体画像表示装置、方法およびプログラム |
| US9465226B2 (en) * | 2011-08-09 | 2016-10-11 | Sony Computer Entertainment Inc. | Automatic shutdown of 3D based on glasses orientation |
| RU118462U1 (ru) * | 2011-12-13 | 2012-07-20 | Общество с ограниченной ответственностью "Графика Вперед" | Сенсорная поверхность для интерактивной системы визуализации |
| TWI473432B (zh) | 2012-08-28 | 2015-02-11 | Novatek Microelectronics Corp | 多相位時脈除頻器 |
-
2014
- 2014-12-31 SG SG11201705370QA patent/SG11201705370QA/en unknown
- 2014-12-31 EP EP14909609.1A patent/EP3242274B1/en active Active
- 2014-12-31 EA EA201791295A patent/EA032105B1/ru not_active IP Right Cessation
- 2014-12-31 US US15/540,313 patent/US10187635B2/en active Active
- 2014-12-31 WO PCT/RU2014/001019 patent/WO2016108720A1/ru active Application Filing
- 2014-12-31 CN CN201480084605.1A patent/CN107430785B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5446834A (en) * | 1992-04-28 | 1995-08-29 | Sun Microsystems, Inc. | Method and apparatus for high resolution virtual reality systems using head tracked display |
| EP1763731B1 (en) * | 2004-05-24 | 2010-10-20 | 3D for All Számítástechnikai Fejlesztö Kft. | System and method for operating in virtual 3d space |
| US20100053310A1 (en) * | 2008-08-31 | 2010-03-04 | Maxson Brian D | Transforming 3d video content to match viewer position |
| CN102469335A (zh) * | 2010-11-17 | 2012-05-23 | 索尼电脑娱乐公司 | 带有帧速率探测器的3d快门眼镜 |
| CN102611909A (zh) * | 2011-02-08 | 2012-07-25 | 微软公司 | 具有运动视差的三维显示 |
| CN103037233A (zh) * | 2011-08-09 | 2013-04-10 | 索尼电脑娱乐公司 | 基于眼镜取向的三维自动关闭 |
Also Published As
| Publication number | Publication date |
|---|---|
| EA201791295A1 (ru) | 2017-10-31 |
| SG11201705370QA (en) | 2017-08-30 |
| WO2016108720A1 (ru) | 2016-07-07 |
| EP3242274A4 (en) | 2018-06-20 |
| US20170366805A1 (en) | 2017-12-21 |
| EA032105B1 (ru) | 2019-04-30 |
| US10187635B2 (en) | 2019-01-22 |
| EP3242274B1 (en) | 2020-04-15 |
| CN107430785A (zh) | 2017-12-01 |
| EP3242274A1 (en) | 2017-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107430785B (zh) | 用于显示三维对象的方法和系统 | |
| CN108292489B (zh) | 信息处理装置和图像生成方法 | |
| US11989842B2 (en) | Head-mounted display with pass-through imaging | |
| US10365711B2 (en) | Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display | |
| US9848184B2 (en) | Stereoscopic display system using light field type data | |
| AU2017314940A1 (en) | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods | |
| US10867164B2 (en) | Methods and apparatus for real-time interactive anamorphosis projection via face detection and tracking | |
| CN108885342B (zh) | 虚拟图像生成系统及其操作方法 | |
| WO2016204914A1 (en) | Complementary augmented reality | |
| CN105992965A (zh) | 响应于焦点移位的立体显示 | |
| US9467685B2 (en) | Enhancing the coupled zone of a stereoscopic display | |
| US9681122B2 (en) | Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort | |
| US11353955B1 (en) | Systems and methods for using scene understanding for calibrating eye tracking | |
| CN114945853A (zh) | 用于头戴式显示系统中的变形的补偿 | |
| WO2020003860A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN112805755B (zh) | 信息处理装置、信息处理方法和记录介质 | |
| CN109714588A (zh) | 多视点立体图像定位输出方法、装置、设备以及存储介质 | |
| US11176911B2 (en) | Information processing apparatus, information processing method, program, and head-mounted display | |
| US20230403386A1 (en) | Image display within a three-dimensional environment | |
| CN116941239A (zh) | 三维环境内的图像显示 | |
| WO2018165906A1 (zh) | 一种头戴式显示装置及其显示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210330 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |