CN112789849B - 用于修改立体图像对的方法和装置 - Google Patents

Abstract

本发明提供了用于修改图像对(101)以用于改进的三维显示的方法，该方法包括：分析图像(523,524)以检测照射光(211,311,525,526,527,528)在图像(523,524)中的入射角，以及基于入射角和人脸的解剖细节，对每对图像(523,524)中的至少一个图像的至少一部分的亮度值进行修改。此外，本发明提供了相应的装置(100)。

Description

用于修改立体图像对的方法和装置

技术领域

本发明涉及用于修改图像对以用于改进的三维显示的方法。此外，本发明涉及相应的装置。

背景技术

尽管本发明适用于任何类型的三维显示，但将主要结合三维视频来对本发明进行描述。

现今，可以例如利用相应的3D头戴式装置(3D-headset)或3D眼镜将例如影院或计算机游戏中的电影的视频作为三维视频提供给用户。因此，视像可以表示也可以被人脑感知为三维图像的三维图像。例如，利用3D头戴式装置，人脑可以接收指示用户的身体正在移动的视觉信息(如三维视频中所示)。然而，用户的大脑将不会从身体的其他传感器接收到通常将指示身体是正坐着还是站着不动的对应信息。

所提供的视像与由其他传感器提供的信息之间的这种差异导致许多用户遭受诸如头痛、疲劳等症状。这样的症状可以由内容的非自然性引起，即，由用户经由屏幕看到的内容与用户的大脑期望的内容之间的差异引起。

通常，其他传感器提供给大脑的信息可能不会被直接影响，特别是在用户例如坐在椅子上的情况下。然而，可以对视像进行修改，以使可能引起的不利症状最小化。

因此，需要一种改进的三维电影显示。

发明内容

上述问题由独立权利要求的特征解决。应当理解，一个权利要求类别的独立权利要求可以类似于另一权利要求类别的从属权利要求而形成。

因此，提供了：

一种用于修改图像对以用于改进的三维显示的方法，该方法包括：分析图像以检测照射光在图像中的入射角，以及基于入射角和人脸的解剖细节，对每对图像中的至少一个图像的至少一部分的亮度值进行修改。

此外，提供了：

一种用于修改图像对以用于改进的三维显示的装置，该装置包括：图像分析器，其被配置成分析图像并且检测照射光在该图像中的入射角；以及图像处理器，其被配置成基于入射角和人脸的解剖细节，对每对图像中的至少一个图像的至少一部分的亮度值进行修改。

图像对被理解为包括同一场景的两个图像，每个图像被提供给观众的一只眼睛，以给出三维视像的幻像。

本发明基于以下发现：通常由立体摄像装置记录三维视像。然而，本发明另外认识到，摄像装置不考虑人脸的解剖结构，并且通常从前方将图像对提供给用户的眼睛。这对于例如计算机游戏中的计算机生成图像也是如此。

人眼对视图的亮度比例如颜色信息更敏感。因此，图像的亮度信息是图像信息的最重要的部分。

此外，对于人眼，由于人脸具有鼻子，例如由于鼻子为一只眼睛投射阴影而不为另一只眼睛投射阴影，因此每只眼睛接收到不同的亮度值。此外，如果例如真实生活场景中的光源自右侧，则右瞳孔将变窄并且与右眼相比左瞳孔将变宽。因此，右眼将接收较暗的图像，而左眼将接收较亮的图像。相反，如果真实生活场景中的光源自左侧，则左瞳孔将变窄并且与左眼相比右瞳孔将变宽。因此，左眼将接收较暗的图像，而右眼将接收较亮的图像。

人脑根据双眼记录的两幅单个图像来构建最终的3D图像。此外，人脑用于接收具有不同亮度分布的两个不同图像。然而，对于立体摄像装置来说情况并非如此，对于两个图像，该立体摄像装置从场景中接收到相同亮度。

因此，本发明提供了一种用于修改图像对以用于改进的三维显示的方法。该方法特别地考虑人脸的解剖细节，并且基于人脸的解剖细节,对每对图像中的至少一个图像的相应的图像的至少一部分中的亮度进行修改。

术语“人脸的解剖细节”可以指对人眼所接收的视像的亮度进行修改的人脸中的任何解剖细节，例如，人的鼻子和/或眼孔。因此，本发明试图模拟利用真实人脸呈现的照明条件。

如果例如光源自用户的脸的左侧，则在真实生活中鼻子将在右眼的图像上投射阴影，反之，如果光源自用户的脸的右侧，则在真实生活中鼻子将在左眼的图像上透射阴影。因此，为了正确地对图像的相应部分中的亮度值进行修改，该方法包括确定照射光在图像中的入射角。

然后，可以利用所得到的角度来决定需要如何修改亮度值，并且可以基于入射角和人脸的解剖细节来修改亮度值。

如以上已经指示的，在每种情况下，不一定需要对每对图像中的两个图像进行修改，也不一定需要修改整个图像。

与任何未经处理的图像对相比，所得到的图像对在被呈现给用户的眼睛时将更真实地类似于真实生活场景。特别是对于像在电影或游戏中的运动图像，将因此最小化对用户的不利影响。

本发明的其他的实施方式是其他的从属权利要求和以下参照附图描述的主题。

在实施方式中，分析可以包括对每对图像中的一个图像进行分析以及基于相应图像的亮度分布和/或亮度直方图来确定入射角。

图像中的对象的照明情况通过记录图像时从对象反射的光来确定。因此，通过确定亮度分布和/或直方图，可以确定单个对象如何反射光，并且因此确定光源自何处。

由于照明情况对于每对图像的两个图像是相同的，因此仅对每对图像中的一个图像(即左图像或右图像)进行分析以确定入射角就足够了。

在另一实施方式中，方法可以包括确定相应图像中的主光源，其中，针对该主光源的光确定入射角。

由于主光源将限定图像中的总体照明情况，因此仅使用来自主光源的光的入射角就足以在三维再现方面提高图像对的质量。

然而，应当理解，在另一实施方式中，如果在图像中检测到多个光源，则可以根据入射光的不同角度来对图像的不同部分进行修改。

确定主光源可以例如通过确定图像中不同光源的所有或多个入射角并且选择占主导的光源(即，在所有确定的角度中占主导的角度的光源)来执行。这可以例如通过确定所有提取的对象的入射角来执行(参见下文)。

在另一实施方式中，确定入射角可以包括提取相应图像中的对象以及确定所提取的对象的亮度分布。

提取对象可以例如包括检测图像的边缘以及基于检测到的边缘提取对象。然而，应当理解，也可以使用用于在相应图像中检测对象的任何其他适当的方法。

如上所述，场景中的每个对象从特定方向被照亮并且相应地反射光。因此，从右侧被照亮的对象在右侧的亮度值将高于左侧。相反，从左侧被照亮的对象在左侧的亮度值将高于右侧。如果从前方或后方照亮对象，则对象的亮度将大致均匀地分布在对象的表面上。如果从靠近用户头部或摄像装置的右侧照亮对象，则对象的亮度将例如从左到右升高。如果从靠近用户头部或摄像装置的左侧照亮对象，则对象的亮度将例如从右到左升高。

通过分析例如在对象上存在最大亮度梯度的位置的亮度的分布，可以近似入射光的角度。例如，入射角可以被提供为四个角度，如相对于图像中心的每一侧的0°、30°、60°和90°，0°指在对象的侧面的光源，并且90°指在对象的正前方或正后方的光源。

应当理解，更多或更少的角度是可能的，例如0°与360°之间的所有角度都是可能的。

在实施方式中，确定入射角可以包括针对所提取的对象的周围空间确定相应图像的亮度分布。

如果例如检测到的对象的表面上的亮度分布是大致均匀地分布的，则可以假定入射光源自对象的前方或后方。如果入射光源自前方，则由对象投射的阴影将根据几何布置被投射到对象的后方，即投射到图像的平面中。相反，如果入射光源自对象的后方，则由对象投射的阴影将根据几何布置被投射到对象的前方，即朝向用户或图像的平面之外。

例如，如果阴影被投射在对象的右侧并且在对象的下方至少一点点，则可以假定入射光源自对象的左后方。如果阴影被投射在对象的左侧并且在对象的下方至少一点点，则可以假定入射光源自对象的右后方。

因此，可以识别光源位于对象的前方还是对象的后方。

在另一实施方式中，修改亮度值可以包括仅在入射角指示入射光的光源的位置在图像中心的左侧或右侧的情况下修改亮度值。

如果在真实生活情况中光源在图像中的对象的后方中心或者在图像中的对象的前方中心(与光的高度无关)，对于相应场景双眼将接收大致相同的亮度分布。这样的角度将约为90°。因此，如果光源既不位于图像中心的右侧也不位于图像中心的左侧，则不需要修改图像。

然而，如果在真实生活情景中的光源在图像中心的左侧或右侧，则对于该场景双眼将接收到不同的亮度值和亮度分布。因此，如果入射角指示光源的这种位置，则相应地对至少一个图像的亮度进行修改。

如果确定光源在对象的右后方，即在对象和摄像装置或观众的头部的后方，则左眼的图像可以至少部分地变暗。在这种情况下，反射光从右到左传播并且从右侧到达用户的脸，即鼻子在左眼上投射阴影。

如果确定光源在对象的左后方，即在对象和摄像装置或观众的头部的后方，则右眼的图像可以至少部分地变暗。在这种情况下，反射光从左到右传播并且从左侧到达用户的脸，即鼻子在右眼上投射阴影。

如果确定光源在对象的右前方，即在对象与摄像装置或观众之间，则右眼的图像可以至少部分地变暗。对于这种情况，假定光源被定位在右侧但是在观众与对象之间。在这种情况下，观众的瞳孔作出反应。来自原始光源(例如太阳)的光使得右眼获得较暗的图像，因为右瞳孔比左瞳孔对光的反应更多。在这种情况下，在右眼处获得较暗图像的原因可能是原始光源不是反射光。

如果确定光源在对象的左前方，即在对象与摄像装置或观众之间，则左眼的图像可以至少部分地变暗。以上说明相应地适用于左眼。

在另一实施方式中，修改亮度值可以包括：在从图像的右上角开始划分图像的线的下方使左图像变暗，该线的角度由入射角限定；或者在从图像的左上角开始划分图像的线的下方使右图像变暗，该线的角度由入射角限定。

由于鼻子根据入射角在用户的脸的任一侧上投射阴影，所以阴影的大小取决于入射角。因此，在光源在鼻子的左侧或右侧时，即在光从右侧或从左侧照射对象时，阴影将最大，并且在光直接从前方或后方照射对象时，阴影将最小。

附图说明

为了更完整地理解本发明及其优点，现在参照以下结合附图进行的描述。下面使用在附图的示意图中具体说明的示例性实施方式来更详细地说明本发明，在附图中：

图1示出了根据本发明的方法的实施方式的流程图；

图2示出了根据本发明的装置的实施方式的框图；

图3示出了具有与本发明一起使用的场景的图像；

图4示出了具有与本发明一起使用的场景的另一图像；以及

图5示出了与本发明一起使用的人脸的部分。

在图中，除非另有说明，否则相似的附图标记表示相似的元素。

具体实施方式

为了清楚起见，在基于方法的图1的以下描述中将保留以下在图3至图5的描述中使用的附图标记。

图1示出了用于修改图像对101以用于改进的三维显示的方法的流程图。

该方法包括：分析S1图像523、524以检测照射光211、311、525、526、527、528在图像523、524中的入射角，以及基于入射角和人脸的解剖细节，对每对图像523、524中的至少一个图像的至少一部分的亮度值进行修改S2。

分析S1步骤可以例如包括：对每对图像523、524中的一个图像523、524进行分析，以及基于相应图像523、524的亮度分布和/或亮度直方图来确定入射角。

此外，该方法可以包括确定相应图像523、524中的主光源，其中，确定该主光源的光211、311、525、526、527、528的入射角。确定入射角可以包括提取相应图像523、524中的对象以及确定所提取的对象的亮度分布。另外，确定入射角可以包括针对所提取的对象的周围空间确定相应图像523、524的亮度分布。

修改S2亮度值可以包括仅在入射角指示入射光211、311、525、526、527、528的光源的位置在图像中心的左侧或右侧的情况下修改亮度值。此外，修改S2亮度值可以包括：在从图像523的右上角开始划分图像523的线下方使左图像523变暗，该线的角度由入射角限定；或者在从图像524的左上角开始划分图像524的线下方使右图像524变暗，该线的角度由入射角限定。

图2示出了装置100的框图。装置100包括图像分析器102，该图像分析器102接收图像对101并且耦接至图像处理器103。

图像分析器102分析图像并且检测照射光在图像中的入射角。然后将该信息与图像101一起提供给图像处理器103。图像处理器103基于入射角和人脸的解剖细节来对每对图像中的至少一个图像的至少一部分的亮度值进行修改，并且输出经修改的图像。

图像分析器102例如可以分析每对图像中的单个图像，并且基于相应图像的亮度分布和/或亮度直方图来确定入射角。此外，图像分析器102可以确定相应图像中的主光源，并且可以确定所确定的主光源的光的入射角。图像分析器102可以提取相应图像中的对象并且确定所提取的对象的亮度分布，以确定入射角。图像分析器102还可以针对所提取的对象的周围空间确定相应图像中的亮度分布，以确定入射角。

图像处理器103可以例如仅在入射角指示入射光的光源的位置在图像中心的左侧或右侧的情况下修改亮度值。

图像处理器103可以进行如下操作：在从图像的右上角开始划分图像的线下方使左图像变暗，该线的角度由入射角限定；或者在从图像的左上角开始划分图像的线下方使右图像变暗，该线的角度由入射角限定。

图3示出了具有显示出树210的场景的图像，其中入射光211来自右侧。可以看出，在树210的未被光211直接照射的左侧部分中形成了较暗的区域或阴影212。

在图3中，可以看出如何可以基于检测场景中的单个对象来确定光211的入射角。例如，可以利用适当的算法从场景中提取树210，并且然后可以对所提取的树210的亮度分布进行分析。

在树210的情况下，将确定树210的暗部分在树的左侧，并且因此光211的源一定在树的右侧。

应当理解，阴影212的范围可以被用作关于角度的量度。阴影212越大，光211的光源一定被定位在树的后方越远。如果阴影212例如覆盖树的约一半，则可以假定光211的源与树210成0°角。如果在树210上看不到阴影，则可以假定光211的源被定位成与树210成90°角。

图4示出了具有显示出树310的场景的另一图像。图4用于说明所检测到的对象的周围环境如何同样可以用于确定入射光311的源被定位的位置。在图4中，阴影不是指树310上的阴影，而是指由树310投射的阴影。

如果检测到对象(在这种情况下是树310)，则可以对场景或图像中的对象的周围环境进行分析以检测由相应对象投射的阴影312。然后可以使用阴影312的位置和尺寸来确定光311的源的位置。特别地可以确定该光源是平行于对象还是在对象的前方或后方。

如果阴影312相对于树310或相应对象被定向到场景或图像的下边缘，则可以假定光311的源在树310或相应对象后面。如果阴影312相对于树310或相应对象被定向到场景或图像的上边缘，则可以假定光311的源在树310或相应对象前方。如果阴影312相对于树310或相应对象被定向到侧面，则可以假定光311的源与树310或相应对象成直线。

图5示出了具有位于左眼521与右眼522之间的鼻子520的人脸的部分。在每只眼睛521、522的前方示出了相应的图像。此外，示出了入射光525、526、527、528。入射光525源自左侧并且与图像平面或用户的眼睛的平面相比具有相当小的角度，入射光525也源自左侧并且包括较大的角度。入射光527源自右侧并且包括与入射光527相同的角度，但来自另一方向。入射光528源自右侧并且包括与入射光525相同的角度，但来自另一方向。

可以看出，在图像523、524中，图像523、524的受鼻子520的阴影影响的部分如何根据入射光525、526、527、528的入射角而变化。

应当理解，限定将要变暗的部分的线的起点也可以设置在左图像523的右边缘或右图像524的左边缘的任何点上，或者设置在上边缘上。

线的起点可以例如取决于鼻子的尺寸。因此，该方法可以例如提供可以由用户选择的多个标准模型。例如，这样的标准模型可以指小鼻子、中等鼻子和大鼻子。

示例性地，在选择了小鼻子的情况下，如以上所指示的，线的起点可以在右边缘或左边缘上是低的。在选择了中等鼻子的情况下，线的起点可以在图像523、524的相应边缘的上半部中。在选择了大鼻子的情况下，线的起点可以在图像的相应上角中。

尽管本文中已说明和描述了特定实施方式，但本领域的普通技术人员将认识到，存在各种替选和/或等效实现方式。应当认识到，一个或多个示例性实施方式仅仅示例，而不旨在以任何方式限制范围、适用性或配置。确切来说，前述发明内容和具体实施方式将为本领域技术人员提供用于实现至少一个示例性实施方式的方便的路线图。应当理解，在不脱离所附权利要求及其法律上的等同物所阐述的范围的情况下，可以对示例性实施方式中描述的元件的功能和布置进行各种改变。一般而言，本申请旨在涵盖本文中所讨论的具体实施方式的任何修改或变化。

本发明提供了一种用于修改图像对101以用于改进的三维显示的方法，该方法包括分析图像523、524以检测照射光211、311、525、526、527、528在图像523、524中的入射角以及基于入射角和人脸的解剖细节来对每对图像523、524中的至少一个图像的至少一部分的亮度值进行修改。此外，本发明提供了相应的装置100。

附图标记列表

100 装置

101 图像对

102 图像分析器

103 图像处理器

104 经修改的图像

210、310 树

211、311 入射光

212、312 阴影

520 鼻子

521 左眼

522 右眼

523 左图像

524 右图像

525、526、527、528 入射光

S1、S2 方法步骤

Claims (10)

1.一种用于修改图像对以用于改进的三维显示的方法，所述方法包括：

分析(S1)图像(523,524)以检测照射光(211,311,525,526,527,528)在所述图像(523,524)中的入射角，以及

基于所述入射角和人脸的解剖细节，对每对的所述图像(523,524)中的至少一个图像的至少一部分的亮度值进行修改(S2)，其中所述人脸的解剖细节指人的鼻子，

其中，分析(S1)包括对每对图像(523,524)中的一个图像进行分析以及基于所述一个图像的亮度分布和/或亮度直方图来确定所述入射角，以及其中，确定所述入射角包括提取所述一个图像中的对象以及确定所提取的对象的亮度分布。

2.根据权利要求1所述的方法，包括确定所述一个图像中的主光源，其中，针对所述主光源的光确定所述入射角。

3.根据权利要求1所述的方法，其中，确定所述入射角包括针对所述所提取的对象的周围空间确定所述一个图像中的亮度分布。

4.根据权利要求1至3中任一项所述的方法，其中，修改(S2)所述亮度值包括仅在所述入射角指示所述照射光(211,311,525,526,527,528)的光源的位置在图像中心的左侧或右侧的情况下修改所述亮度值。

5.根据权利要求1至3中任一项所述的方法，其中，修改(S2)所述亮度值包括：在从左图像的右上角开始划分所述左图像的线下方使所述左图像变暗，所述线的角度由所述入射角限定；或者在从右图像的左上角开始划分所述右图像的线下方使所述右图像变暗，该线的角度由所述入射角限定。

6.一种用于修改图像对以用于改进的三维显示的装置(100)，所述装置(100)包括：

图像分析器(102)，被配置成分析图像(523,524)并且检测照射光(211,311,525,526,527,528)在所述图像(523,524)中的入射角，

图像处理器(103)，被配置成基于所述入射角和人脸的解剖细节来对每对的所述图像(523,524)中的至少一个图像的至少一部分的亮度值进行修改，其中所述人脸的解剖细节指人的鼻子，

其中，所述图像分析器(102)被配置成：对每对图像(523,524)中的一个图像进行分析并且基于所述一个图像的亮度分布和/或亮度直方图来确定所述入射角，其中，所述图像分析器(102)被配置成：提取所述一个图像中的对象，并且确定所提取的对象的亮度分布以确定所述入射角。

7.根据权利要求6所述的装置(100)，其中，所述图像分析器(102)被配置成：确定所述一个图像中的主光源，并且确定所述主光源的光的所述入射角。

8.根据权利要求6所述的装置(100)，其中，所述图像分析器(102)被配置成：针对所述所提取的对象的周围空间确定所述一个图像中的所述亮度分布，以确定所述入射角。

9.根据权利要求6至8中任一项所述的装置(100)，其中，所述图像处理器(103)被配置成仅在所述入射角指示所述照射光(211,311,525,526,527,528)的光源的位置在图像中心的左侧或右侧的情况下修改所述亮度值。

10.根据权利要求6至8中任一项所述的装置(100)，其中，所述图像处理器(103)被配置成：在从左图像的右上角开始划分所述左图像的线下方使所述左图像变暗，所述线的角度由所述入射角限定；或者在从右图像的左上角开始划分所述右图像的线下方使所述右图像变暗，该线的角度由所述入射角限定。