CN102160385A - 用于将双目立体信息包含进代表性媒体的组合结构、机制和过程 - Google Patents
用于将双目立体信息包含进代表性媒体的组合结构、机制和过程 Download PDFInfo
- Publication number
- CN102160385A CN102160385A CN2009801353525A CN200980135352A CN102160385A CN 102160385 A CN102160385 A CN 102160385A CN 2009801353525 A CN2009801353525 A CN 2009801353525A CN 200980135352 A CN200980135352 A CN 200980135352A CN 102160385 A CN102160385 A CN 102160385A
- Authority
- CN
- China
- Prior art keywords
- data group
- district
- image
- monocular
- peripheral data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000008569 process Effects 0.000 title description 30
- 230000007246 mechanism Effects 0.000 title description 7
- 230000002093 peripheral effect Effects 0.000 claims abstract description 37
- 230000008447 perception Effects 0.000 claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 239000007787 solid Substances 0.000 claims description 22
- 210000001508 eye Anatomy 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000011521 glass Substances 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims 1
- 230000010287 polarization Effects 0.000 claims 1
- 238000006116 polymerization reaction Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 49
- 230000004438 eyesight Effects 0.000 description 45
- 230000008859 change Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 7
- 230000005043 peripheral vision Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000011514 reflex Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 206010053694 Saccadic eye movement Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008260 defense mechanism Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 210000002592 gangliocyte Anatomy 0.000 description 1
- 210000000320 geniculate body Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007433 nerve pathway Effects 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
描述了一种增强图像的感知的方法，包括以下步骤：a、选择用于增强的图片或图示；b、产生两个单目图像：i、单目图像一是左边视图；ii、单目图像二是右边视图；iii、单目图像一和单目图像二的观察点在水平距离上分开大约1厘米至1米；c、通过以下方式在外围区(区1)中创建外围单目扩展：i、将左边外围数据组和右边外围数据组对准，以便左边视图和右边视图的定影点相一致；ii、将该两个数据组的所有公共元素排除；d、通过以下方式创建中央双目区(区2)：i、将左边中央数据组选择作为主导中央数据组；ii、在所述主导中央数据组上覆盖并集成剩余的中央数据组；e、通过以下方式创建双目场(区3)：i、将左边外围数据组和右边外围数据组对准，以便左边视图和右边视图的定影点相一致；ii、仅包括该两个数据组的公共元素；以及f、重叠并集成区1、区2和区3。
Description
背景技术
本发明涉及一种用于对通过光学(照相机)和通过其他方式(深度图)获得的数据进行重构(reconfigure)以在面对实际的3D场景时生成复制那些出现在我们的视觉显示中的事物的信息的信息流和调制的方法。为了增强光学投影以及为了实现“所见的事物(as seen)”，世界的显示可被认为是根本不同的工作。复制“所见的事物”或者“体验的现实”包括创建全新形式的虚幻空间。这已经被称为与图像空间相对立的视觉空间(光学结构和中心透视)。
当以图像形式显示时，该新的媒体结构(视觉空间)为观看者提供了体验的现实的显示：我们将怎样遇到真实场景。视觉空间提供了主观观点的本质特征：我“怎样”遇到世界。这与提供模拟的3D虚拟现实或者提供照相机提供的场景的纯光学客观现实的投影明显不同，模拟的3D虚拟现实仅被设计成使我们相信存在着要被感觉的3D场景。
目前，致力于在后处理中“增强(enhance)”图片媒体，但是根据基本理解，这些工作中没有一种工作在视觉空间中被识别。这些处理中的一些处理尝试努力实现这一目的，但采用了不恰当的方法并且具有不同程度的成功。
根据视觉感知中涉及的处理，在不理解知觉结构和不配置媒体的情况下，不可能创建真正的(经验上准确的)沉浸式(immersive)代表性媒体和环境。这对于从2D图像到3D图像以及使用这些图像的所有工业而言都是完全正确的。
对于真正的沉浸式的代表性媒体而言，它必须包括促成视觉的体验显征的过程。
大脑从双眼接收关于世界的视觉信息。每只眼睛中的感受器都对光阵列(辐射亮度)中的光子进行响应。被转换成应当被认为是大量的未组织的信号的信号流，电磁脉冲从视网膜中的神经节细胞经过两个神经通路流到大脑的各个区域，以分割成提示组织(cue formation)和后续的连续传递(cascade)和评估/意识认知。该过程确定来自右阵列的信息分段从最初的入口点开始进入视觉系统。
视神经的通路容量为大约每秒10的8至9次幂比特。对感知的结构复杂度的估计通常低于100。许多阶的幅度间隙表明必须存在着底层结构，并且在任何时刻构成我们的感知的信息必须是高度选择性的。
根据视觉专家和生理学经验对视觉的实际现象(如呈现给我们的一样)的直观研究，有可能会意识到所涉及的底层结构。在这里将这些统称为“感知结构”。这些结构确定视觉与在来自机械设备(例如，照相机)的照片中意识到的光学装置的结构明显不同。通过使用这些唯一的生态结构，我们的思维选择并构成我们的通过使用分段信息而分割并构成的视觉显示，以最好地顺应我们的动作和意图，如A.Bartels和S.Zeki Royal于1998年在Royal Society的“The theory of multistage integration in the visual brain”中描述的那样。
提示的组织允许我们从大量未组织的混沌信息流来随着时间显现关于世界的视觉意识。将信息提升到“提示”状态与其说是“数据投影”，不如说是更是“诊断”过程。
在理解了底层处理(利用相关的数学定义)并将底层处理与直接从研究视觉经验做出的直觉评估相匹配(视觉专家和视觉科学家的工作)的情况下，有可能在代表性媒体中引用该高度专门的“感知结构”。该变换过程使得媒体更为沉浸式，并使我们能够实际地将场景描述为“所见的”经历。换言之，有可能重构通过光学设备(诸如，照相机)采集的代表性媒体，以与经验现实相匹配。这种新形式的虚幻空间在本文被称为视觉空间。变换过程形成了一系列专利和专利应用的主题。
为了获得来自视觉空间媒体的增加的沉浸式优点，不需佩戴熔融眼镜(fusing glasses)或者筛选(screen)专门屏幕上的信息。我们经历的作为视觉一部分的3D印象被包含在我们的视觉的实际显示中，对于视觉空间媒体而言也是如此——它们可被嵌入媒体中。如果媒体被正确地构建，作为我们视觉的正常显示中的经验，3D可在不需要另外辅助工具的情况下在2D屏幕上被复制。
发明内容
本发明提供了如何将双目立体信息嵌入单目视觉空间媒体(或者在照片结构中存在变化的情况下)中。该技术能够替换所有形式的熔融技术来作为优选的3D显示方法。在现有技术失灵或发生故障的区域(周边区域)中，它还能够与侧双目熔融技术一起工作。
转换图片媒体和深度图数据以形成单目视觉的工作表示的过程在专利GB2400259和临时申请“Method and Software for Transforming Images”(2007年8月2日提交的美国专利商标局临时申请号60/963,052)中公开。
本发明建立了一些过程，借助于这些过程，双目立体信息(来自第二照相机(与第一照相机的左或右稍微空间分离，但位于场景的相同区域上))能够被嵌入单目视觉空间媒体中，以创建模仿在视觉中可感知的的双目立体优点的许多主要特性的代表性媒体。
同样能够使用本申请中概括的具有规则的光学立体像对(照片画面等)的过程来以相同的形式嵌入双目立体信息。
还将参照附图来通过示例的方式进一步描述本发明，其中，附图是示出了本发明的效果的图示和照片。
具体实施方式
视场的分割/图像的分割：
假设我们的眼睛在我们的脸上分开小的距离，显然它们对世界的视图将不是彼此完全重叠。视场可如图1所示那样进行分割。
一般而言，这种布置有三个主要的优点。
1：视场的整个范围在极端(extremity)视觉、左边缘视觉和右边缘视觉中得到了增加。
2：视觉的中心区域(双目区域——BF)可以利用(以多种方式——下面的区2和区3)内在的双目立体能力。
3：在来自两个视场的信息能够用来“构建”空间的位置处(和或许其他位置处)，能够获得定位。
通过将这与思维在BF(双目信息可用的中央视觉以及边缘视觉中的区域)中部署该信息的方式一起进行理解，本发明显著地增强了单目视觉空间媒体的3D能力。
这种视场分割确定了3种区类型：
区1，外围范围(PE)：在视场的极端边沿，仅单目视觉可用。仅场景的独立单目视觉空间RH和LH视图可以被构建。
双目场(BF)包含2个独立的用于双目立体解释的显示系统。这些是：
区2，中央凹区，中央双目区(CBZ)：中央视觉中的状况揭露了以精密且无缝方式调制的信息组(如下所述)的空间隔离的变化，以便对所有看起来都是“恒定的”，除了最敏锐的主观评估。
区3，双目场(BF)：双目立体信息在其上都可用的整个区域。这是遭受包括嵌入式变更的最“可变”条件的区域以及来自一只眼睛(单视图)的信息被嵌入来自另一只眼睛(单视图)的信息中的视场区域。区2的动作层叠(cascade)到区3中(出现在区3的中央)。
这些区在图2中示出。
注意：
●一些双目立体嵌入技术可被用于或者适于在图片空间媒体(光媒体)中使用。
●所描述的一些结构和动态过程可以应用于从仅一个照相机获得的信息/媒体(初始为单目或非双目)。在这两种情况中，目的是描绘/编码/嵌入在图画的结构自身中的信息。
●我们知道，在外侧膝状体核中，来自任意一只眼睛的信息在被发送给V1以进行进一步的分割和提示成像(development)之前被彼此分层。根据直觉研究，视觉呈现的动态过程确保了在双目场(BF)中，嵌入的和/或调制的立体信息会在有助于来自其他眼睛的信息方面受到抑制。在视觉感知中，我们经常性地以不同的方式来对信息进行采样，以提取相关的提示。因此，视觉空间调制基于时间的成像系统中的信息，在基于时间的成像系统中，在任意一个时刻，不是所有的信息都包含在显示(图像)中。视觉提示随着时间而积累。(已经很好地理解到，照相机移动为2D移动图像媒体提供了强大的3D提示)。
外围范围(PE)：
参照图3和图4，具有从2个照相机(场景的2个视场)馈送的信息的代表性媒体可被配置成复制边远/外围区域中的该复合结构。每个独立的视图都可被构建成无序信息的3D场，该无序信息从被识别为固定点“F”的对象处开始。这种形式的单目3D提供了明显的方向性和邻近提示，如GB2400259中描述的那样。
双目场(区2和区3)：
参照图5到图8，双目场中的独立单目3D结构能够彼此互锁。在由来自一个视图的信息占主要地位的一个区域中，所建立的其他信息就会被抑制，反之亦然。
代表性的媒体可用于复制双目场(BF)中的这些调制和嵌入机制。该过程确定视觉现象中的视觉双目立体不是通过(该场景的两个图像的)融合(fusion)而是通过流动信息随着时间的整合(integration)、并置、调制和组合实现的。该模型的进一步的功能性使得媒体能够切换或调制该视场中RH和LH之间的显性影响(dominant influence)。一侧或另一侧(RH/LH)的优势可以被链接到视觉的“主眼(leading eye)”结构，并且还可以处理与视差处理相关的重要问题。这些影响之间的交替(通常由瞬目反射来遮掩(mask))可被设计成与视觉感知中经历的周期性相匹配或者被设计成与某个准则相匹配以便于观察者对变换的视觉空间代表性媒体的理解。其他成像技术(例如，用不同的信息组使帧交错)也可用于递送两个视场的印象。另一安排是一直使两种影响透明，并且信息组之间的透明程度可变。
图8示出了显示具有高的白色不确定性的区域的单目信息组的通常所描述的排列。
如图9所示，可使用简单的掩膜技术来将双目立体信息嵌入单个显示中。该掩膜示出了某个区域被移除的LH视图信息，可向所述区域引入RH视图信息。已经指出了透明区域以在信息组之间提供“合并”调制。
图10示出了用于将双目立体信息嵌入单个视觉空间显示中的简单掩膜技术的使用。该掩膜示出了某个区域被移除的LH视图信息，可向所述区域引入RH视图信息。还在左边指出了将要出现的被嵌入RH视图中的LH视图的区域。
掩膜系统被用于将双目立体信息插入模仿在视觉感知中表现的过程的显示中。外围视场中的这些专门区域(定影CBZ外面)在一定程度上可在位置方面针对形状和大小。这些区域包含辅助形式的注意信号(主要是包含定影的中央视觉)。这些区的处理是低级的且主要是无意识的动作。然而，它使我们能够检测、采样和定位随后被提升到意识状态的区域，从而将信号提供给主要形式的注意信号，以便移动到那个视觉区从而仔细地分析在那个位置处采集的动作(快速眼球运动(saccadic eye movement))。
图11是示出了将插入区功能分成4个区的图示，其中，每个视场侧有2个区。这些区域的下半区(下级视场)可被抑制，从而使得来自周围信息组的信息进入。这些安排已经如在视觉显示中出现的那样被以心理学方式绘出，然而可以做出改变以适应媒体。
这些区与驱动它们的功能性的机制一起被集成到代表性媒体中，以产生视觉空间媒体。
定影(中央双目区CBZ)区2：
参照图12和图13，采用这些功能和结构来在所选择的定影点中和周围向代表性媒体提供基本的操作和功能，以与视觉显示中表现的过程相匹配。定影区域的中央双目区(CBZ)是以定影点“F”(定影中保持的对象或对象的部分)为中心的球形区，并且包含高清晰信息。RH眼(通常是主眼)在这里是占主要地位的，但是它还具有复杂的调制功能以使得在该区中在一个时刻来自两只眼睛的信息能够无缝可见，从而在该区域中实现了高质量的双目立体认知。这些调制需要时间并需要考虑引起意识。
对视觉感知而言重要的是，该视觉区域与立即环绕该视觉区域的区域一起应尽可能地保持知觉恒定。由此，我们意思是变化是隐约的或者感知不到的。合并或调制的机制很普遍。该区之外的变化更可以是交替的(其看起来是更不复杂的并且通常由瞬目反射来遮掩)。
虽然效果是非常不同的，但是这种模仿在视觉感知中部署的方法的显示方法避免了对双目融合技术的需求。视觉空间系统依赖于各种单目视觉空间信息组之间的组合、并置、透明性和调制。
在具备其内在3D纹理(texture)场的情况下，这种在视觉中总是变化的调制功能将作为信息组的高清晰数据放入/层叠入外围信息组中。如指示的那样，中央凹区中的接近球形/环形的信息组旋转(swirl)并慢慢地变淡(dilute away)，仅被复原并使周期再次开始。在视觉中，复原通常在我们眨眼睛的时候出现(眨眼间可被用于“遮掩”变化过程)。在视觉空间媒体中，这些自然出现的视觉机制被应用并适于(作为算法)满足目的。例如，在一些情况中，重要的是确保设计平滑和透明的转换，以便不从显现的主题/内容递送中转移注意。由于变换，细微的调制将遮掩更多的媒体中出现的假象。
在专门的环境中，当我们花费时间来观看物体时，思想根据两种可能的并置场景来创建对信息的复杂组合调用。给能够提升整体空间和3D意识的信息添加这种增加的功能性。由于信息组之间出现的其他区别，该过程确保了诸如瓶子和花瓶之类的对称物体能够在我们的视觉显示中是非对称的。是这些出现在视觉中的所谓的变形(形状和线条等的不一致性)(以及关键视觉专家的工作)向我们显示了用于生成显示的底层感知结构的闪现(flash)。
如图16所示，这些独立的因素确定中央视觉能够被构造成包括4个不同信息组的调制，每个信息组具有有助于“整体”感测空间中物体的独立分段数据，该效应的结果如图17所示。
更复杂的形式似乎可绘制更简单的感知结构解决方案，如图18和图19所示。
注意，通过物体的中心以及其周围紧接的空间进行垂直拼接(splice)。以不连续的线显示了桌面。在画家(例如，塞尚，梵高等)的许多画作中，该“步骤”是明显的。
参照图20到图22，中央视觉信息区的区域可被抑制，从而允许外围视觉信息成为意识。这具有将出现在两个区域(中央和外围)中的信息相集成的效果。
生成视觉感知的非线性本质的拱形感知结构以及驱动该结构的机制/动态明显地促进了我们的加强的空间意识感知和信息处理中的普遍效率。为了使代表性媒体为观看者获得类似的影响和属性，需要进行分段并相应地进行充实(enrich)。我们及时在视觉上注视物体和所述物体占据的空间。
理解这些过程确定了在视觉的规律组合中不被使用的其他组合还可在代表性媒体中用于“特效”。
物体识别：
为了使单独物体的调制出现在视觉空间媒体中，需要提供能够定义“物体”的算法功能。在视觉感知中，我们不费力地执行这种表面上很简单的任务，所以不需对其进行思考。作为观察者，我们具有能够帮助物体定义过程的复杂记忆。在概念层，我们知道它是桌子上的花瓶(2个物体)而不是具有有趣的轮廓表面的桌子(1个物体)。
专门算法执行下面的功能。
在视场中，物体识别涉及的第一和最重要的方面是我们将区域分割成“空间”中的“物体”。这种分割出现在斑区(中央)视觉和外围视觉的差异处中。中央视觉的定影体之外的任何事物都不能基于物体地调制成单个形式。在外围视觉中，我们不是特别地“对物体有意识”。
调制过程的第二个方面是调制过程不局限于基于物体的分段。后视镜附着到车辆上，但是如果该镜是固定的，则基于物体的调制就能够发生。所以该过程不是真正地关于“物体识别”的，它更与可识别形式的基于定影的调制相关。
现在的任务是形式的识别。通过使用深度图对定影体的分割向我们提供了与形式相关的3D信息。该分割定义了边缘并隔离了形式。
例如通过表面纹理和亮度的突然变化来推断与形式相关的其他提示。例如，如果花瓶正位于羊皮地毯上，则该算法可区分纹理边界。
通过手动调节来纠错。后期制作和3D软件封装的编辑工具的便利性使得这些手动调节能够实现。在实时模拟中，标记或标签被编码到3D物体建模过程中。这些标签确保了计算机在同观看者从场景中选择虚拟物体进行细看时读取“物体”和定义边界。
在没有3D深度图信息的情况下，例如在照片记录的情况中，将需要应用更近似的描绘。
物体组合：
一旦与来自每只眼睛的物体相关的信息以及两个单目信息组中的每一个信息组已经被分割，则它被组装成视觉空间双目立体超级形式。每个信息的分割相对于观看者的有利位置(双目立体)或者通过过渡延伸(单目立体)都是不同的。将这些部分匹配在一起以形成与实际3D物体的形状相似的可靠整体形状是可能需求判断和技能的任务，然而，还必须存在着可被用于基本汇编算法的大量底层过程。在视觉感知中，该过程“自然是自动的”或者是无意识的。
例如，在花瓶的情况下，花瓶的最终印象由4个象限(quadrant)构成。首先，该形式如上所述那样被识别。然后，根据两个信息组来组成该形式的两个单目视图。然后，将左眼左上象限与右眼右上象限相匹配。然后，将左下左象限与右下右象限相匹配。该过程确保了双目立体信息被植入(seed into)单个显示中。这种信息源的碎片组合需要一些规则和过程来确保能保持物体的明显整体单一性。在被呈现为部分组的信息与所绘制的边缘之间的接合处的一些对准问题(alignment issue)之间存在着重叠。
调制、并置、交替：
区3中的视场的变化：
当我们通过视觉询访(interrogate)我们的周围时，我们不断地采样和重新采样视场的防御器官(armature)中的场景的多个方面。重要的是，该采样过程看起来是尽可能的无缝且感觉不到的。
区1，外围扩展(PE)：在视场的极端边沿，仅单目视觉可用。仅该场景的独立单目视觉空间RH和LH视图能够被构建。
双目视场(BF)包含2个独立的用于双目立体解释的显示系统。
区2。中央双目区(CBZ)：在中央视觉中，存在着以复杂且无缝方式调制的信息组的空间隔离的变化(如下所述)，以便除了对最敏锐的主观评估之外，对所有看起来都是“恒定的”。
区3。双目场(BF)：双目立体信息在其上可用的整个区域。这是遭受包括嵌入式变更的最“可变”条件的区域以及来自一只眼睛的信息(照相机视图)被嵌入来自另一只眼睛的信息(照相机视图)中的视场区域。区2的动作层叠到区3中。
这些区在图22到图29中示出。
在视觉显示中，其他变化是可能的(可以根据个人而改变)。例如，在某些情况中，可以不需要CBZ调制(看到很远的距离)，从而该过程可以被抑制。有可能设计在没有包含在视觉感知的全部项目中的代表性媒体中使用的其他项(为了增强效果)。
遮掩过渡过程：
在视觉中，许多并置过渡通过瞬目反射被遮掩。另外，人类的视觉系统已经发展了一种“改变失明(change blindness)”的形式的非常有用的防卫机制。在确定场景随着时间的小的甚至重要的变化方面，我们是非常弱的。只要在正被观察的主要事件中存在着连续性，我们就对在该关键事件或动作周围进行的变化存在着合理程度的“失明”。
然而，当信息组之间的这些各种过渡变化被输入代表性媒体中时，期望进行适应以确保它们对观看者而言不变得太明显，从而从观看者的体验中转移。例如，在与媒体中被编辑的变换同步时，观看者将不眨眼睛。
一种方法是在大量使用调制过程的情况下，在外围视觉中较少使用交替/嵌入过程。
一种交替过程是将在中央视觉和外围视觉中体验的显征(saliency)的衰退同步成为随着时间(接近10秒或更少)保持的定影。能够意识到，在视觉中，当中央视觉数据组由于一部分调制功能而衰减时，显征也从外围视觉中丢失。看起来在外围区域中提供单目3D的空间纹理也衰减了。当瞬目反射恢复并对条件重置时，该特征也被复原。
当在视觉媒体中被复制时，这些衰减事件的结合向导演/后期制作编辑者提供了引起和控制观看者中的瞬目反射的能力。这是一种在感知动态之间的感知相互作用形式，感知动态在观众的媒体提示感知响应中被复制。这样，媒体中的信息显示的改变被定时以与引起的眨眼相一致。这使得能够产生更加无缝的感知媒体。
Claims (23)
1.一种增强图像的感知的方法，该方法包括以下步骤：
a、选择用于增强的图片或图示；
b、产生两个单目图像：
i、单目图像一是左边视图；
ii、单目图像二是右边视图；
iii、单目图像一和单目图像二的观察点在水平距离上分开大约1厘米至1米；
c、通过以下方式在外围区(区1)中创建外围单目扩展：
i、将左边外围数据组和右边外围数据组对准，以便所述左边视图和所述右边视图的定影点相一致；
ii、将该两个数据组中的所有公共元素排除；
d、通过以下方式创建中央双目区(区2)：
i、将右边中央数据组选择作为主导中央数据组；
ii、在所述主导中央数据组上覆盖并集成剩余的中央数据组；
e、通过以下方式创建双目场(区3)：
i、将所述左边外围数据组和所述右边外围数据组对准，以便所述左边视图和所述右边视图的定影点相一致；
ii、仅包括该两个数据组中的公共元素；以及
f、重叠并集成所述区1、所述区2和所述区3。
2.根据权利要求1所述的方法，其中，单目图像一和单目图像二的观察点在水平距离上被分开大约人的眼睛之间的距离。
3.根据权利要求1所述的方法，该方法还包括通过创建两个数据组来增强所述右边视图和所述左边视图单目图像中的每一者的步骤：
i、所述中央数据组是在定影点周围选择的区域；以及
ii、所述外围数据组是根据离所述定影点的距离无序的整个区域。
4.根据权利要求3所述的方法，其中，通过使用在GB 02400259和/或“用于变换图像的方法与软件”中描述的技术来变换所述中央数据组中的图像。
5.根据权利要求3所述的方法，其中，通过使用在GB 02400259和/或“用于变换图像的方法与软件”中描述的技术来变换所述外围数据组中的图像。
6.根据权利要求1所述的方法，其中，区3中所述左边外围数据组和所述右边外围数据组的对准通过随时间改变来自该两个外围数据组的信息而被调制。
7.根据权利要求1所述的方法，其中，所述左边中央数据组被选择作为区2中的主导中央数据组。
8.根据权利要求1所述的方法，其中，多个定影点被选择。
9.根据权利要求1、7和8中任一项权利要求所述的方法，其中，在所述中央数据组中的主导程度随时间而改变。
10.根据权利要求1所述的方法，其中，所述左边中央数据组和所述右边中央数据组的对准通过随时间改变来自区2中该两个中央数据组的信息而被调制。
11.根据前述任一项权利要求所述的方法，其中，透明性或交错被用于重叠或集成区1、区2和/或区3。
12.根据权利要求1所述的方法，其中，通过将所述水平距离设置成小于1厘米或大于1米来引起特效/增强。
13.根据前述权利要求中任一项权利要求所述的方法，其中，区1、区2或区3中的任意一者或者两者被完全或部分排除。
14.根据权利要求1所述的方法，其中，透明性或交错被用于重叠或集成所述左边外围数据组和所述右边外围数据组。
15.根据权利要求1所述的方法，其中，透明性或交错被用于重叠或集成所述外围区和所述双目区。
16.一种用于增强立体图像的感知的方法，该方法包括以下步骤：
a、选择用于增强的图片或图示的立体对；
b、根据每个所述立体对来产生两个单目图像：
i、单目图像一是左边视图；
ii、单目图像二是右边视图；
c、通过创建两个数据组来增强所述右边视图和所述左边视图单目图像中的每一者：
i、中央数据组是在定影点周围选择的区域；
ii、外围数据组是根据离所述定影点的距离无序的整个区域；
d、通过以下方式在所述外围区(区1)中创建外围单目扩展：
i、将左边外围数据组和右边外围数据组对准，以便所述左边视图和所述右边视图的定影点相一致；
ii、将所述两个数据组的所有公共元素排除；
e、通过以下方式创建双目场(区3)：
i、将所述左边外围数据组和所述右边外围数据组对准，以便所述左边视图和所述右边视图的定影点相一致；
ii、仅包括该两个数据组中的公共元素；以及
f、通过以下方式来创建增强的图像：
i、在原始立体图像对上重叠和集成所述区1和所述区3；
ii、以及向观察者的每只眼睛传送右边中央数据组和左边中央数据组。
17.根据权利要求16所述的方法，其中，所述左边中央数据组和所述右边中央数据组通过包括下列项的方式来传送：
a、极化的立体眼镜；
b、采用棱镜“遮掩”眼镜的交叉聚合的查看；
c、液晶快照眼镜；
d、线性极化的眼镜；
e、圆形极化的眼镜；
f、补偿屈光度眼镜；
g、色码3D；
h、色度深度眼镜；
i、蛙色素光学屈光度眼镜；
j、随机点自动立体图；
k、棱镜&自遮掩串像眼镜；
l、覆盖有棱镜阵列的LCD显示器，该棱镜阵列将来自奇偶像素列的光分别转移到左眼和右眼。
18.根据权利要求16所述的方法，其中，通过在GB 02400259和/或“用于变换图像的方法与软件”中描述的技术来变换所述外围数据组中的图像。
19.根据权利要求16所述的方法，其中，区3中所述左边外围数据组和所述右边外围数据组的对准通过随时间改变来自该两个外围数据组的信息而被调制。
20.根据权利要求16至19中任一项权利要求所述的方法，其中，透明性或交错被用于重叠或集成区1、区2和/或区3。
21.根据权利要求16至20中任一项权利要求所述的方法，其中，区1和/或区3被完全或部分排除。
22.根据权利要求16所述的方法，其中，透明性或交错被用于重叠或集成所述左边外围数据组和所述右边外围数据组。
23.根据权利要求16所述的方法，其中，透明性或交错被用于重叠或集成所述外围区和所述双目区。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13572808P | 2008-07-23 | 2008-07-23 | |
| US61/135,728 | 2008-07-23 | ||
| PCT/GB2009/001787 WO2010010331A1 (en) | 2008-07-23 | 2009-07-17 | The compositional structure, mechanisms and processes for the inclusion of binocular stereo information into representational media |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102160385A true CN102160385A (zh) | 2011-08-17 |
Family
ID=41338676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009801353525A Pending CN102160385A (zh) | 2008-07-23 | 2009-07-17 | 用于将双目立体信息包含进代表性媒体的组合结构、机制和过程 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20110164052A1 (zh) |
| EP (1) | EP2308238A1 (zh) |
| JP (1) | JP2011529285A (zh) |
| CN (1) | CN102160385A (zh) |
| WO (1) | WO2010010331A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257161A (zh) * | 2018-01-16 | 2018-07-06 | 重庆邮电大学 | 基于多相机的车辆环境三维重构和运动估计系统及方法 |
| CN108592885A (zh) * | 2018-03-12 | 2018-09-28 | 佛山职业技术学院 | 一种单双目融合定位测距算法 |
| CN108648223A (zh) * | 2018-05-17 | 2018-10-12 | 苏州科技大学 | 基于中央眼的场景重构方法及重构系统 |
| CN109729760A (zh) * | 2016-12-04 | 2019-05-07 | 翁巨扬 | 即时180度3d成像和回放方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104444A1 (en) * | 2017-12-01 | 2019-06-06 | 1241620 Alberta Ltd. | Wearable training apparatus, a training system and a training method thereof |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0230704A1 (en) * | 1986-01-23 | 1987-08-05 | Donald J. Imsand | Three dimensional television system |
| US5510831A (en) * | 1994-02-10 | 1996-04-23 | Vision Iii Imaging, Inc. | Autostereoscopic imaging apparatus and method using suit scanning of parallax images |
| US6246382B1 (en) * | 1993-03-03 | 2001-06-12 | Francis J. Maguire, Jr. | Apparatus for presenting stereoscopic images |
| US20020191841A1 (en) * | 1997-09-02 | 2002-12-19 | Dynamic Digital Depth Research Pty Ltd | Image processing method and apparatus |
| CN1645943A (zh) * | 2004-01-23 | 2005-07-27 | 奥林巴斯株式会社 | 生成立体图像的电子照相机和图像生成装置 |
| CN1799070A (zh) * | 2003-03-29 | 2006-07-05 | 阿特里尔视象有限公司 | 图像处理 |
| WO2007133918A2 (en) * | 2006-05-12 | 2007-11-22 | Anthony Provitola | Enhancement of visual perception iii |
| CN101133360A (zh) * | 2005-01-11 | 2008-02-27 | 安东尼·普罗维特拉 | 视觉感知增强 |
-
2009
- 2009-07-17 WO PCT/GB2009/001787 patent/WO2010010331A1/en active Application Filing
- 2009-07-17 CN CN2009801353525A patent/CN102160385A/zh active Pending
- 2009-07-17 JP JP2011519229A patent/JP2011529285A/ja active Pending
- 2009-07-17 EP EP09784740A patent/EP2308238A1/en not_active Withdrawn
- 2009-07-17 US US13/054,966 patent/US20110164052A1/en not_active Abandoned
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0230704A1 (en) * | 1986-01-23 | 1987-08-05 | Donald J. Imsand | Three dimensional television system |
| US6246382B1 (en) * | 1993-03-03 | 2001-06-12 | Francis J. Maguire, Jr. | Apparatus for presenting stereoscopic images |
| US5510831A (en) * | 1994-02-10 | 1996-04-23 | Vision Iii Imaging, Inc. | Autostereoscopic imaging apparatus and method using suit scanning of parallax images |
| US20020191841A1 (en) * | 1997-09-02 | 2002-12-19 | Dynamic Digital Depth Research Pty Ltd | Image processing method and apparatus |
| CN1799070A (zh) * | 2003-03-29 | 2006-07-05 | 阿特里尔视象有限公司 | 图像处理 |
| CN1645943A (zh) * | 2004-01-23 | 2005-07-27 | 奥林巴斯株式会社 | 生成立体图像的电子照相机和图像生成装置 |
| CN101133360A (zh) * | 2005-01-11 | 2008-02-27 | 安东尼·普罗维特拉 | 视觉感知增强 |
| WO2007133918A2 (en) * | 2006-05-12 | 2007-11-22 | Anthony Provitola | Enhancement of visual perception iii |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109729760A (zh) * | 2016-12-04 | 2019-05-07 | 翁巨扬 | 即时180度3d成像和回放方法 |
| CN108257161A (zh) * | 2018-01-16 | 2018-07-06 | 重庆邮电大学 | 基于多相机的车辆环境三维重构和运动估计系统及方法 |
| CN108257161B (zh) * | 2018-01-16 | 2021-09-10 | 重庆邮电大学 | 基于多相机的车辆环境三维重构和运动估计系统及方法 |
| CN108592885A (zh) * | 2018-03-12 | 2018-09-28 | 佛山职业技术学院 | 一种单双目融合定位测距算法 |
| CN108648223A (zh) * | 2018-05-17 | 2018-10-12 | 苏州科技大学 | 基于中央眼的场景重构方法及重构系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20110164052A1 (en) | 2011-07-07 |
| EP2308238A1 (en) | 2011-04-13 |
| JP2011529285A (ja) | 2011-12-01 |
| WO2010010331A1 (en) | 2010-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8000521B2 (en) | Stereoscopic image generating method and apparatus | |
| CN103945208B (zh) | 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法 | |
| CN101523924B (zh) | 3d菜单显示 | |
| CN102123291B (zh) | 智能型裸眼立体显示系统及其控制方法 | |
| BRPI1005691B1 (pt) | método de combinação de dados de imagem tridimensional [3d] e dados gráficos auxiliares, portador de informações compreendendo dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de geração de 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de exibição em 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares | |
| CN105723705B (zh) | 用于自动立体多视图显示器的图像的生成 | |
| JP2012503420A (ja) | 複数の同時の視聴者のための立体表示 | |
| CN101964916A (zh) | 图像显示装置、方法、以及程序 | |
| CN102160385A (zh) | 用于将双目立体信息包含进代表性媒体的组合结构、机制和过程 | |
| TW201023619A (en) | Method and system for encoding a 3D image signal, encoded 3D image signal, method and system for decoding a 3D image signal | |
| CN102885606A (zh) | 基于双眼立体视知觉矫治训练系统 | |
| CN103563363A (zh) | 立体视觉图像的自动转换以便允许同时进行图像的立体视觉和平面视觉显示 | |
| CN110035274A (zh) | 基于光栅的三维显示方法 | |
| CN101924952A (zh) | Led显示屏的裸眼立体成像方法及系统 | |
| KR101593186B1 (ko) | 렌즈 어레이 및 그를 포함하는 3차원 표시 장치 | |
| CN103197429A (zh) | 一种基于光学4f系统的超大成像深度三维显示方法 | |
| CN103945205A (zh) | 兼容2d与多视点裸眼3d显示的视频处理装置及方法 | |
| CN104717514B (zh) | 多视点图像渲染系统及方法 | |
| CN109541812A (zh) | 一种体三维显示装置及其控制方法 | |
| CN102724539A (zh) | 一种3d显示方法及显示装置 | |
| Yasui et al. | Combining volumetric edge display and multiview display for expression of natural 3D images | |
| CN101159881A (zh) | 裸眼可视液晶光栅立体图像显示装置 | |
| KR102233116B1 (ko) | 입체 영상 디스플레이 장치와 이의 구동 방법 | |
| CN113081719B (zh) | 在随机元素分布背景模式下的立体视诱导方法和系统 | |
| Surman et al. | Towards the reality of 3D imaging and display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110817 |