CN104412584A - 使3d内容适配于佩戴处方眼镜的观看者的方法 - Google Patents

Abstract

本发明涉及一种使3D内容适配于佩戴处方眼镜的观看者的方法和设备。所述方法包括以下步骤：提供关于观看者的处方眼镜的信息；对于给定的方向，根据所提供的信息，计算代表由眼镜产生的光学偏差的值；根据所计算出的值，估计深度调整值；以及根据所估计的深度调整值，修改所述3D内容的深度。

Description

使3D内容适配于佩戴处方眼镜的观看者的方法

技术领域

本发明涉及考虑到处方眼镜特征对视觉疲劳的影响，使3D内容适配于佩戴处方眼镜的观看者。

本发明的技术领域涉及3D电视和3D显示器中的3D内容。

背景技术

3D体验因人而异已得到广泛关注。更具体地，一部分体验差异来自于观看者所佩戴的用于矫正近视或远视的处方眼镜，例如，由于处方眼镜局部具有棱镜效应而改变了空间中的方向感知。眼镜镜片与晶状体组合，形成厚光学系统，改变了观看者视野，并因此引起了探索场景的视线偏移。

与佩戴隐形眼镜相比，观看者处于不同的感知状态，其中需要对用于探索同一场景的眼睛移动的幅度进行修改。

如今，在大多数情况下，不存在依赖于观看者所佩戴的处方眼镜对内容的调整。只是将为3D影院拍摄的内容以完全相同的画面复制在DVD/BD上。

很多科学项目对根据呈现几何学来修改内容的转换进行了研究，并在心理视觉或统计测试的基础上，对多种解决方案进行了比较。将从这些研究中得出平均解决方案(即，针对具有正视眼的观看者的解决方案)，例如，考虑眼间距离、观看者到屏幕之间的距离和3D电视尺寸等参数。潜在地，也考虑了诸如场景中最近或最远呈现物体之类的内容特征。

在所研究的内容转换中并未利用到观看者特征。

发明内容

为了减轻疲劳，可以提出对3D内容的适配。这种适配是观看内插方法。

本发明的方法的目标是：通过相对于平均观看者，更好地估计佩戴校正眼镜的观看者的潜在视觉疲劳，来提高佩戴眼镜的观看者的体验品质。改进的3D内容适配过程将考虑这些观看者的视觉矫正特征。

这些特征可以根据处方眼镜配方估计得到，并且这些特征是对于每个观看者特定的数据。可以将与每个观看者相关的数据作为个人参数存储在相应的3D电视的存储器或相关的设备中。可以通过自动或者交互的方式来识别观看者。

本发明的目的是避免对佩戴处方眼镜的观看者的3D强度做出不足衰减或过度衰减。这里，3D强度是与左-右图像差异相关的准则。实际上，3D强度与观看者所感知到的深度效果的强度相对应。因此，当向观看者呈现2D内容时，没有左右差异，意味着3D强度为空，而当观看3D内容时，场景看起来越深，则3D强度值越强。

对于一类观看者，3D强度适配的不足衰减由于过度的眼睛会聚或发散刺激将引起恼怒和疲劳。对于另一类观看者，3D强度适配的过度衰减将不当地减轻观看3D电影时的体验品质(过于扁平的场景)。

因此，本发明在于：一种使3D内容适配于佩戴处方眼镜的观看者的方法。本发明的方法包括以下步骤：提供关于观看者的处方眼镜的信息，估计与所提供的信息相对应的刺激幅度，根据所估计的刺激幅度，确定3D内容的3D强度变化，以及根据所预测的3D强度变化，修改3D内容的深度。

根据处方眼镜的特征来适配3D内容，一方面，将减少疲劳或恼怒的原因，另一方面，提高3D场景的感知品质。

根据本发明的一个方案，过度刺激或刺激不足的刺激幅度是由于眼镜所产生的光学偏差导致的，并用针对相对于眼镜光轴的给定眼睛光学主光线方向的角度或者百分比来计算光学偏差。

根据本发明的另一方案，对3D强度变化进行预测，以补偿所计算出的刺激幅度，或者利用变换矩阵来确定3D强度变化，以补偿所计算出的刺激幅度。

根据本发明的另一方案，所述处方眼镜用于矫正近视眼或者远视眼。本发明对于两眼屈光不等的人同样有用。

根据本发明的一个方案，关于观看者的处方眼镜的信息是根据用于确定观看者的眼睛矫正参数的面部分析模块的输出推导得到的。

因此，本发明不需要输入观看者的额外参数。由于处方眼镜的参数信息可以根据面部分析模块推导得到，观看者不必知道其所佩戴的处方眼镜的参数。

附图说明

通过以下参照附图对示例性实施例的详细描述，本发明的以上和其它方案将变得更加清楚，其中：

图1是示出了会聚眼镜镜片对观察点的感知方向的影响的示意图；

图2是用于解释本发明根据矫正眼镜数据来调整3D视频的方法的流程图。

具体实施方式

经典地，3D投影几何假设观看者用裸眼、并且3D场景结构向代表视网膜的平面上中心投影成像(针孔模型)。

然而，如将看到的那样，在视觉路径上插入处方眼镜将修改光线的路径，并使简单中心投影的假设无效。简单中心投影对于人类视觉不再是正确的模型。

本发明旨在考虑处方眼镜的光路修改所带来的影响，以便调整3D强度适配。期待所呈现的3D视频与观看者的自然3D感知之间更好的对应关系、更省力或者不那么疲劳地理解场景，并最终实现更好的满意度。

使用本发明的产品需要关于观看者的处方眼镜的信息作为输入。例如，这将经由用户界面询问或者由用户简档提供。也可以是面部分析软件的输出。

本发明的3D强度调整图像处理的幅度将基于作为处方眼镜信息提供的数据。

在本段中，以矫正+4D(屈光度)远视的眼镜为例，给出了关于矫正眼镜对视觉疲劳的影响的更多细节。可以使用不同矫正能力的眼镜或者矫正近视的眼镜作为类似示例。

图1是示出了会聚眼镜镜片对观察点的感知方向的影响的示意图。会聚眼镜镜片显然影响了观看者的眼睛所看到的图像的角度差异值。

实际上，图1代表与远视(或者远视眼)矫正相对应并改变眼睛的观察方向的示例。考虑头的位置固定，由此眼镜镜片光轴的方向固定，眼球将必须旋转比观察点的原始角方向θA大的角度θA′。假设矫正眼镜镜片的焦距眼球的半径r、和从眼球表面(角膜)到眼镜镜片光心(O)的距离e，可以按照以下方式从θA计算得到θA′。

考虑到A′是眼球的旋转中心并且A是其通过眼镜镜片的共轭点，因此：

${\stackrel{\‾}{\mathrm{OA}}}^{\′}=e+r---\left(1\right)$

$1/\stackrel{\‾}{\mathrm{OA}}=1/\stackrel{\‾}{{\mathrm{OA}}^{\′}}-1/\stackrel{\‾}{{\mathrm{OF}}^{\′}}=1/\stackrel{\‾}{{\mathrm{OA}}^{\′}}-1/f^{,}---\left(2\right)$

于是得到： ${\mathrm{\θA}}^{\′}=a\tan (\stackrel{\‾}{\mathrm{OA}}\·\tan \left(\mathrm{\θA}\right)/\stackrel{\‾}{{\mathrm{OA}}^{\′}})$

引入I作为眼镜镜片主平面和观察点方向之间的交点，将得出下式：

$\stackrel{\‾}{\mathrm{OI}}=\stackrel{\‾}{\mathrm{OA}}\·\tan \mathrm{\θA}$ 且 $\stackrel{\‾}{\mathrm{OI}}=\stackrel{\‾}{{\mathrm{OA}}^{\′}}\·\tan {\mathrm{\θA}}^{\′}.$

尽管这种推导是用近轴情况(高斯近似)作出的，它仍然代表了当佩戴矫正眼镜时视角所被修改的幅度的数量级。由于厚度、折射率和表面曲率半径，真正的眼镜将引入稍有不同的空间失真。

在与佩戴+4D眼镜的观看者相对应的相同计算条件下，表1示出了对于焦距的+4D矫正、典型的眼球半径r＝9mm、以及镜片到角膜的距离e＝14mm的情况下，观察点的角方向的变化。在该示例中， $\stackrel{\‾}{{\mathrm{OA}}^{\′}}=23\mathrm{mm}$ 且 $\stackrel{\‾}{\mathrm{OA}}=25.33\mathrm{mm}.$

表1：角度变化

可以从该表中估计，该远视观看者的动眼系统与不戴眼镜的观看者或者佩戴隐形眼镜的同一观看者相比，将受到更多的刺激，最后两列用角度(高达2.45度)和百分比(从8至10％)给出了过度刺激的幅度。

该过度刺激对于佩戴眼镜的远视者将潜在地过度影响双眼，引起眼球肌肉疲劳。

为了评价这种作用的显著性，表2给出了在典型3D观看配置中显示器上的点的最大角位置的示意。

表2

对于1m宽的电视，在3m处的观看者，点的最大角位置是9.5度。对于+4D矫正的观看者由表1给出的相应角度变化是大约9.9％。

对于10m宽的影院，在15m处的观看者，点的最大角度位置是18.4度。对于+4D矫正的观看者由表1给出的相应角度变化是大约9.2％。

因此，用角度或百分比为单位的所估计的过度刺激信息可以用于适配对3D视频信号进行处理的3D强度调整模块(参见图2)。

-第一模块将根据观看者所提供的数据，如上面那样用度或百分比来估计ΔθA。

-接着，由于心理视觉测试，可以创建对视觉疲劳的过度眼球肌肉刺激的模型，以预测补偿眼镜镜片效果所需的3D强度修改。根据ΔθA，创建用百分比dZ％表示的3D强度修改。备选地，为了相同的目的，可以建立变换矩阵。

-最后，3D强度调整处理将根据计算出的估计深度调整dZ％来修改3D视频内容。例如，本领域技术人员可以使用文献WO2012/156489中或者文献EP 2 547 109中或者D.Doyen等人发表在SMPTE(“Society of Motion Picture and TelevisionEngineers”)2011的会议记录中的文献“The Use of a DenseDisparity Map to Enhance Quality of Experience in Stereoscopic3D Content”中所描述的技术，以获得具有调整后的深度的3D内容。

对于近视(近视眼)的情况，动眼系统与当观看者佩戴隐形眼镜的情况相比将被不足刺激。在这种情况下，可以按照针对相同的疲劳估计、提供更大深度的方式驱动3D强度调整。这样做的过程与上述对于远视眼相同。

这种优化对单个观看者的情况是最佳的。

在多个观看者的情况下，可以执行所获得的3D强度调整的组合。

例如，组合可以是平均或者平方平均或者更复杂的公式，潜在地优先降低肌肉刺激。

表3示出了对于与e＝14mm、r＝9mm且的强远视到强近视相对应的、从+5D到-5D范围内变化的不同矫正级别，观察点与眼镜镜片光轴的角方向θA＝20°处的变化。与佩戴隐形眼镜的观看者相比，该20°观察点的方向变化(例如，参照矢形面)范围从需要更费力的+11.8％角度差到更省力的-9.6％角度差。

表3：矫正变化

本发明潜在的应用在于3D电视或3D显示器上的3D图像感知改进领域，使3D内容可视化产生更少的视觉疲劳和更高的品质。

图2是用于本发明根据矫正眼镜数据来调整3D视频的方法的流程图。

本方法的步骤1包括：获得观看者的矫正眼镜数据e、r和f’，e是角膜与眼镜镜片之间的距离，r是眼球半径，以及f’是矫正眼镜的焦距。观看者矫正眼镜的这些数据与关于观看者的处方眼镜的信息相对应。它们或者可以被明确地确定，或者只提供给执行这种方法的设备。第二步包括：估计动眼过度或不足的刺激效果。这种额外刺激(过度或不足)的估计是用与角度的变化相对应的百分比来进行的，所述角度由观看者的视轴方向到眼镜镜片光轴形成，其变化与由眼镜产生的偏差相对应，观看者由于该过度或不足刺激导致视觉疲劳。因此，第二步可以看作对于给定的方向，根据所提供的信息，计算代表由眼镜产生的光学偏差的值的步骤。

在步骤3中，由于估计了该过度或不足刺激，创建了与视觉疲劳相对应的所估计的额外刺激与要呈现的3D内容的3D强度之间的变换矩阵。步骤3可以看作根据(步骤2中)所计算出的值，估计深度调整值的步骤。最后，在步骤4中，与原始深度的百分比改变相对应地，将3D强度调整应用于原始3D视频内容，由此定义矫正后的3D视频内容来提高3D场景的感知品质，以减轻视觉疲劳。因此，步骤4可以看作根据所估计的深度调整值，修改所述3D内容的深度的步骤。

在本发明的另一实施例中，提出了一种使3D内容适配于佩戴处方眼镜的观看者的设备。这种设备的特征在于其包括：

-用于提供关于观看者的处方眼镜的信息的装置；

-用于对于给定的方向，根据所提供的信息，计算代表由眼镜产生的光学偏差的值的装置；

-用于根据所计算出的值，估计深度调整值的装置，以及

-用于根据所估计的深度调整值，修改所述3D内容的深度的装置。

在本发明的一个实施例中，这种用于适配3D内容的设备可以包括在3D电视机或者3D显示器中。如之前提及的，这种3D电视机或者3D显示器可以还包括存储单元，其能够存储与每个观看者相关的数据(尤其是关于用户的处方眼镜的信息)。

在备选实施例中，这种用于适配3D内容的设备可以包括存储单元(例如，RAM(“随机存取存储器”)块和/或ROM(“只读存储器”)块)以及计算单元(例如，CPU(“中央处理单元”)块)。开启电源后，计算单元能够执行存储在ROM块中的指令(或者存储在其他持久性存储单元中，例如EEPROM(“电可擦除可编程只读存储器”)块或者闪存块中)。实际上，从ROM或者外部存储器加载这些指令，然后由计算单元执行。

在备选实施例中，可以用可编程FPGA(“现场可编程门阵列”)组件或者ASIC(“专用集成电路”)组件以硬件方式来实现在先描述的适配3D内容的方法的一些或全部步骤。

在备选实施例中，可以在包括存储单元和处理单元的电子设备上执行在先描述的适配3D内容的方法的一些或全部步骤。

Claims (8)

1.一种使3D内容适配于佩戴处方眼镜的观看者的方法，其特征在于所述方法包括以下步骤：

-提供关于观看者的处方眼镜的信息；

-对于给定的方向，根据所提供的信息，计算代表由眼镜产生的光学偏差的值；

-根据所计算出的值，估计深度调整值；以及

-根据所估计的深度调整值，修改所述3D内容的深度。

2.根据权利要求1所述的使3D内容适配于观看者的方法，其特征在于：用相对于原始角度方向的角度或百分比来计算代表所述光学偏差的值。

3.根据权利要求1或2所述的使3D内容适配于观看者的方法，其特征在于：估计所述深度调整值，以补偿所计算出的代表所述光学偏差的值。

4.根据权利要求1至3中任一项所述的使3D内容适配于观看者的方法，其特征在于：利用变换矩阵来估计所述深度调整值，以补偿所计算出的代表光学偏差的值。

5.根据权利要求1至4中任一项所述的使3D内容适配于观看者的方法，其特征在于：所述处方眼镜用于矫正观看者的近视。

6.根据权利要求1至4中任一项所述的使3D内容适配于观看者的方法，其特征在于：所述处方眼镜用于矫正观看者的远视。

7.根据权利要求1所述的使3D内容适配于观看者的方法，其特征在于：关于所述观看者的处方眼镜的信息是根据用于观看者的面部分析软件的输出推导得到的。

8.一种使3D内容适配于佩戴处方眼镜的观看者的设备，

其特征在于所述设备包括：

-用于提供关于观看者的处方眼镜的信息的装置；

-用于对于给定的方向，根据所提供的信息，计算代表由眼镜产生的光学偏差的值的装置；

-用于根据所计算出的值，估计深度调整值的装置；以及

-用于根据所估计的深度调整值，修改所述3D内容的深度的装置。