CN1799070A

CN1799070A - 图像处理

Info

Publication number: CN1799070A
Application number: CNA2004800149468A
Authority: CN
Inventors: J·朱普
Original assignee: Atelier Vision Ltd
Current assignee: Atelier Vision Ltd
Priority date: 2003-03-29
Filing date: 2004-03-25
Publication date: 2006-07-05
Anticipated expiration: 2024-03-25
Also published as: GB0307307D0; ATE557371T1; US20090310858A1; GB0328839D0; US8131062B2; CN100382110C

Abstract

一种图像处理技术，包括步骤：(a)沿Y方向(垂直)以范围为 2－10％的因子伸展原始图像；选择一个固定点无序化图像并使无序化操作集中在固定点周围；和使图像旋转一个范围在3－9的角度，最好顺时针；(b)沿X方向(水平)以范围为2－10％的因子伸展原始画面的一个副本；选择选定固定点周围的一个图像区域；和(c)合并步骤(b)中形成的选定图像区域和步骤(a)中形成的图像。

Description

图像处理

本发明涉及一种图像处理或操作技术，尤其是一种可以用于增强我们对基本的2D图像和派生的虚拟现实(VR)环境中描述的3D深度和形状的正确评价的技术。以这种方式处理的图像可以有改善的可信度，因此本发明能够提高可信度阈值

当使用传统二维技术，例如通过在纸上印刷等或在电视、计算机监视器等装置上显示，或通过投影，来显示或描述三维场景时，虽然实际上大脑将显示的图像感知为有一定程度的三维图像，但是会出现对显示的图像中的深度和形状感知不是非常好的情况。这被认为是由于图像中缺少足够的单眼(monocular)深度提示来使大脑能够完全理解显示的图像。

在以下的描述中，在‘画面’(picture)和‘图像’(image)之间进行的区分。以下对画面和图像的定义已经由Jan Koenderink(视频科学家)作出，并且这里使用的术语应当按此解释。

画面：“一个实际的图像，一个有序的记录，例如一个视频信号、一幅照片、一个神经结构中的活动图案。画面的顺序完全是常规的并且仅就外部介质而存在。”

图像：“始终包含得比画面多，因为接收机的整个结构(终身的经验)都概括在其中。”

发明至少一定程度上涉及将画面变换为图像的技术的分隔。

发明的技术是从识别已经被称为‘图像空间’(从而将自己从传统的画面空间区分开来)的一种新形式的错觉空间的理论工作发展而来。图像空间承认周边视觉和中央视觉的个体特性和专门性，以及大脑机能通过在两者之间进行‘相对论性判断’‘创造’视觉感知的重要方面。该方法新颖性的关键是认识到这些新提示依赖至今不受赏识的单眼提示和单眼投射的组成。这些单眼提示将该达到表观3D深度的方法与依赖来源于双眼差异等的立体提示的其它技术区别开。通过正确表现和排列在单眼视觉中被大脑用来组成感知的图像(以视觉公知的投射)的两个投射，能够促使大脑复制深度和形状感觉，后者否则仅能通过直接观察从其得到图画信息的‘实际环境’来创建。

‘图像空间’能够绘画般地地以许多方式完成/引起。

1.通过将所需的提示充满传统的图画空间(立体投影或照片/胶片记录)。

2.通过使用模拟新的错觉空间的原理来产生新颖的虚拟现实(VR)环境。

发明的目的是提供一种系统，可以与现有技术结合使用，其中可以创建或修改图像来增强原始画面中的深度的感知。在每种情况中，图像空间依赖大脑能够从其推断出与我们的视觉感知有关的深度和形状的附加感知的刺激的结合。

按照发明的一个方面，提供一种图像处理技术，包括步骤：

(a)沿Y方向以范围为2-10％的因子伸展原始画面；

选择一个固定点无序化图像并使无序化操作集中在固定点周围；和

使图像旋转一个范围在3-9的角度；

(b)沿X方向以范围为2-10％的因子伸展原始画面的一个副本；

选择选定固定点周围的一个图像区域；和

(c)合并步骤(b)中形成的选定图像区域和步骤(a)中形成的图像。

在步骤(a)中，图像的旋转最好沿顺时针方向。少数人可能喜欢沿相反方向旋转的图像，对于用于产生由这些个体观看的图像的技术，可以沿逆时针方向进行旋转。

无序化操作最好是按照选定的自相似分形无序图案无序化。

由于步骤(a)提出的变换而形成的图像将在下文中称为类型1图像，而在步骤(b)提出的变换中产生的图像将称为类型2图像。

该技术因此可以用于：

i)通过变换已知画面环境模拟在我们实际世界的单眼投射中被大脑使用的两个基本投射的外表。

ii)复制这些被大脑使用的基本投射的典型组成/结构来形成感知到的视觉图像。

形成有效组成的关键是固定点的选择、固定区域(符合已知的中央视觉约束)的建立和在‘固定体积’、周边视觉和类型1图像和类型2图像之间分界的周围中盛行的条件的正确强迫接受。如在实时观察中一样，需要在媒体上建立固定点。固定点是要在其周围集中各种变换技术的点。人们认为，增强的3D深度和形状提示通过以下所述建立：

1.大脑，因为它在中央视觉周围的两组信息之间的分界之间进行相对论的判断。

2.周边视觉中的自相似无序信息的专业再现的可信表示，提供一种新形式的空间维数。

没有来自两个数据组的对齐(固定点)的中点，大脑将不可能进行所需的计算。固定区域建立了明显类似中央视觉的范围的固定点周围的区域。同样地，固定区域建立了要经历固定体积的特定条件的图像的范围。固定体积是固定区域内包含的影响的周边区域。投射到该影响区域的任何形状(对象)、形状的表面或一部分按照以上图像类型2的质量和数量特性被投射到大脑中。

接着，参考该包含在固定区域中的固定体积之外的对象的任何其它的视觉被按照以上图像类型1参考。

固定体积之外的中央视觉的区域按照‘周边视觉’的特性被参考。

有许多被大脑使用的典型的组成，它们以能够产生从其推断新提示的相对论判断的方式，利用两种图像类型的方位和并列。

以这种方式处理的图像被认为完全符合我们实时单眼观察(视觉图像)的投射，允许大脑正确理解更大范围的来自2D图像或虚拟现实环境的三维提示。单眼视觉的投射会看起来是由两个数据组编译而来，上述数据组允许大脑在编译视场时有一定程度的自由。已经注意到，这些潜在的组成已经被采用来满足由观众承担的特定任务的要求。例如阅读2D文学作品几乎不需要3D信息。该信息的顺序甚至可以提供娱乐给现有任务，在这种情形中，仅使用一个数据组，简化了被处理的视觉信息。专业组成在需要详细的空间分析时使用。其中一半的中央视觉被抑制的一个，允许多方面的类型1信息扩展到中央视觉中，直到固定点。该处理允许重要的大脑机能负责进行相对论的判断，因此增强了形状提示来播放保持固定的实际对象。该多方面的组成经常出现在画静止生活素材的视觉艺术家的作品中。

包含在周边视觉中的信息的特性和结构仍然大部分没有被视觉科学家解决。该发明使用自相似(分形)无序化(不是模糊)的品质来复制投射在中央视觉之外的信息(周边视觉)的顺序。该发明认识到在将固定点上集中的独立3D维数归结于周边视觉中的一个新颖步骤，即无序化的级别从固定点沿每个方向产生。因此，通过从作为目标的固定点沿垂直平面向后、向前和向外建立多层无序化，2D画面被变换来复制该信息的顺序。这在图像中建立了一种新型的空间维数。对于静止图像，可以看到该技术增强了图像中的深度感。但是，实际的优点应当在于它能够给感觉到的活动图像中的运动以精确的再现。一旦掌握，作为目标的固定点周围的运动现在将更接近我们从‘实际环境’观察到的运动的感觉。可以使用专业设备例如使用并入电影摄影机中的激光成像或LED照明技术来采集该3D信息，在变换处理中作为‘深度图’使用。

活动图像也将随着描述它们的动作的发展而需要改变作为目标的固定点。引起固定点变化的技术将被并入活动媒体中描述的动作，来引领观众经历眼球运动的过程。

处理技术可能需要在步骤(a)和(b)中形成的图像之间的边界周围细调的附加步骤。

处理技术的步骤(a)可以进一步包括步骤：以范围为+10-40％的因子改变类型1信息的对比度，和/或以范围为2-40％的因子降低图像的亮度。如果对比度以这种方式提高，则彩色饱和度最好降低到适应的级别(通常为了匹配对比度的级别的提高)。

在上文中定义的技术可以使用计算机在例如来自扫描仪或数字摄像机的图像数据上，或者在从包括计算机程序的其它源获得或创建的数字画面数据上执行。但是，应当认识到，该技术可以以其它方式来执行，并且发明不限于这里所述的特定配置或应用。

发明将通过示例参考相应附图来进一步描述，其中：

图1是图像处理技术使用之前的示例；

图2和3示出了图像处理技术的步骤；

图4和5示出了图1的示例的处理形式；

图6-10是示出处理效果的进一步的图；

图11是示出部分处理的图；和

图12是示出对该技术的修改的图。

发明首先将参考图1中示出的图像进行描述。如可以清楚看到的，图1是花瓶10、圆锥体12、球体14和正方体16的计算机产生的或虚拟现实的表示。因为示出的每个对象是三维对象，示例使用等距投射来提供深度提示，后者要由大脑在尝试使对象看起来呈其在三维空间中的形状的精确表示时进行解释。每个对象与所有其它对象隔离，并且没有提出指示对象的相对位置的中央透视提示。结果，大脑难以解释图像来确定例如对象的相对大小和它们在三维空间中的位置。在图像中，两个正方体被画成相同大小并且被感知为相同大小，虽然一个要比另一个远。

按照发明，图1的基本图像被处理来形成改善形状的图像。这通过获得图1的图像并在其上执行变换来实现，其中图像沿Y方向(垂直)以范围为2-10％最好约5％的因子伸展，被无序化，并顺时针旋转范围为3-9％最好为6％的角度。图2示出了图像伸展和旋转的效果，但是(为了清楚起见)没有无序化图像的影响。这些操作的顺序可以改变，但是如果顺序不是上述形式，使用的值/因子可能需要改变。

图像的另一个副本沿X方向(水平)以2-10％的因子伸展。最好被伸展以保证与先前变换中的图像之间有约5-20％的差。选择图像上的一个固定点，并且选择固定点周围的区域，图像的剩余部分被删除。该操作的结果在图3中示出，其中花瓶的中央已经被选择为固定点。

以这种方式产生的两个图像相互叠加。可以使用几种不同的技术叠加图像。图4示出了采用图2的图像并简单用图3的图像替换固定点周围的区域的效果。图5示出了可选择的叠加技术的结果，其中，两个图像覆盖着并且两个图像的部分可见，花瓶是熔融形状的形式。固定区域是花瓶；这包括图像类型1和2熔融的合并形式，其中初始看来是样子奇怪的结合。但是，当注视花瓶的中央时，两个本体被大脑合并为一个感知的对象。该感觉是更三维的花瓶。该增强3D感觉的能力现在扩展到图画中的所有其它对象。例如两个正方体的远的一个现在感觉比近的正方体大。

下面参考图6a、6b和6c，图6a以示意的形式示出了位于六个垂直伸展条22之间的瓶子20。图6a的示例按照发明的实施例修改或处理来形成图6b的图像。再次为了清楚起见，已经忽略了无序化操作。当通过固定在瓶子20的中央上观看图6b的图像时，与图6a的画面相比，可以看出图像中深度的改善程度，图6b的图像包含更大级别的深度提示，用于大脑解释图6a中所示示例。图6c是使用前述处理形成的图像，但是使用不同的较小部分的原始示例作为固定区域。

图7a、7b和7c类似图6a、6b和6c，但是示出了位于桌子26上的瓶子24。

该3D形状和深度的感觉在某些方面类似通过透视空间获得的感觉。但是现在认为，透视提示不是主要方法，通过它就能在中央视觉或经整个视场范围获得空间深度。而应当是，通过包括我们的视觉系统在两个不同数据组或图像类型之间进行相对论判断的处理，我们看到空间深度和形状。以上确定的配置刺激大脑在观察2D空间时与该处理搭合，提供给我们更接近于我们对实际环境的评价的提示。

新图像空间允许我们以与在我们对环境的实际视觉评价中感知的方式类似的方式创建深度。观看新的图像空间将更接近实时观看的实际动作。

下面参考图8-10，在图8中示出了实际环境的原始数字化照片。形成有效组成的关键是固定点和固定区域的选择和在‘固定体积’和周边视觉中盛行的条件的正确强迫接受。在目前的情况中，瓶子的中央已经被选择为固定点。图9示出了执行前述变换的效果，但是为了清楚起见，忽略了无序化的操作，而只简单用另一图像的相关部分替换了一个图像上的固定点周围的图像部分。建立在固定点周围的、固定区域内的项目被表示为具有一定相关质量和数量变换的图像类型2。在固定区域之外，所有对象和表面按照具有相关质量和数量变换的图像类型1被再现。如可以在图9中看到的，合并图像中的两个图像之间的边界18清晰可见。图10示出了修改的叠加技术的结果，其中去除或减少了图像之间的边界的影响，并且示出了固定体积的建立，其中不被固定体积的球面影响包含的所有表面和对象也按照图像类型1被再现。

例如；在瓶颈的周围，墙的石头，虽然在图9的固定区域的周围，但是离瓶子太远，而不能包括在固定体积中，因而按照图像类型1被参考。

例如；枝状大烛台的一个臂穿透固定体积，因而按照图像类型2被参考，同时剩余对象在该影响区域之外，因而按照图像类型1被再现。

通过比较图9和10与图8，显然，除前述的变换之外，已经沿Y方向伸展的图像也已经通过提高对比度的级别和降低彩色饱和度的级别被修改。而且图像的亮度已经降低。对比度已经提高了范围为10-40％最好约25％的量，并且亮度已经降低了范围为2-40％最好约10％的因子。彩色饱和度的降低是为了平衡以达到较高对比度的效果并且是大致成比例的。

相信使用上述技术处理的图像是由大脑投射的图像的改进或增强相似物。在数字化介质中使用该结构/装备，将能够输入已知存在于周边视觉和中央视觉之间的许多方面的差异。感知的视觉图像组成的清楚精确的表示允许2D再现的观察者从事附加的计算，该计算导致被描述的实际环境的更实际的感知。

变换图像的观察者将需要观看(注视)选择的固定点来感知/欣赏附加提示的全部影响。

在前文描述中，已经对无序化图像的步骤进行了参考。虽然可以使用许多无序化技术，但是优选的技术是使用例如图11中示出的类似向日葵的分形图案来渐进地无序化图像，随着与固定点距离的增加减少在处理的图像中可见的细节的数量。作为该提交物一部分而包括的新颖的方面是指独立于在画面信息(例如透视图)中使用的其它3D提示，将该图案使用和适用到3D空间维数中。

图12是示出其中无序化操作可以优选地执行的一种方式的示意图。图12的图像在它的固定点处包括花瓶30。三个平面垂直屏幕32成直线地位于花瓶30的一侧的前方。树枝34穿过前景，在所有其它对象的前面。在前述配置中，无序化操作已经实施，从而仅将很小级别的无序引入紧邻固定点周围的图像部分，无序化程度随着与固定点距离的增加按照图11的向日葵图案增加。在图12的配置中，虽然已经采用该总体方法，但是无序化操作已经修改，来识别示出的对象的边界或边缘，并将中断或跳变引入边缘或边界处的无序化程度中。对无序化程度的中断导致图像中更多的用于观看者大脑进行解释的空间深度提示。

相信使用前述技术处理的图像为固定点周围和经过周围区域的图像部分提供了改善或增强的深度感觉或投射。增强的深度感觉在观看者通过双眼观看图像和仅使用一只眼观看图像时都是很明显的。立体盲主体(stereo blind subject)感知这些变换图像包含的附加深度。相反，基于立体的装配的有组织的深度无法吸引立体盲。

虽然上文已经以计算机产生的画面或照片的形式，结合画面的处理描述了技术，但是应当认识到，这不是必须的，发明可以应用于更广泛的技术和显示技术，包括计算机或电视显示、投影图像、虚拟现实显示、动画和印刷介质。发明还可以在例如设计为结合显示器的(既可是静止也可是活动图像的)摄像机中找到应用，变换的图像可以在显示器上“实时”显示，从而参加图像采集的摄影师、导演或其他人能够看到在图像被采集前或采集结束前将怎样变换。为了适应上述情况，摄像机可以配备传感器以允许视场中的对象的深度在采集图像的同时被测量，这两个分量在图像的变换中相互结合并结合前述技术使用。此外，将需要输入视场中的固定点的位置。这可以放置在视场的中央或者使用适当的输入装置由导演、摄影师或其他人选择。

Claims

1.一种图像处理技术，包括步骤：

(a)沿Y方向(垂直)以范围为2-10％的因子伸展原始图像；

使图像旋转一个范围在3-9的角度；

(b)沿X方向(水平)以范围为2-10％的因子伸展原始图像的一个副本；

选择选定固定点周围的一个图像区域；和

2.如权利要求1所述的技术，进一步包括附加步骤：细调步骤(a)和(b)中形成的图像之间的边界。

3.如权利要求1或权利要求2所述的技术，其中处理技术的步骤(a)进一步包括步骤：以范围为10-40％的因子改变对比度，和/或以范围为10-40％的因子降低图像的彩色饱和度。

4.按照权利要求3的技术，进一步包括步骤：以范围为2-40％的因子降低亮度。

5.按照前述权利要求任意之一的技术，其中旋转采取顺时针方向。

6.按照前述权利要求任意之一的技术，其中步骤(a)的无序化操作包括按照自相似分形无序图案无序化图像。

7.按照前述权利要求任意之一的技术，进一步包括：在步骤(a)中，识别至少一个对象的至少一个边界或边缘并将中断引入所述边界或边缘处的无序化程度中。

8.一种计算机，编程为在来自扫描仪、数字摄像机的图像数据上或从其它源包括计算机程序获得或创建的数字图像数据上执行前述权利要求任意之一的技术。

9.一种基本上如前面参考相应附图描述的图像处理技术。