CN107870715B - 用于提供增强现实图像的方法和装置以及记录介质 - Google Patents

Abstract

本发明提供了用于提供增强现实图像的方法和装置以及记录介质。所述装置包括：显示器，其配置成交替显示包括位于对象位置的对象的第一图像和包括遮罩的第二图像，所述遮罩用于阻挡入射到所述显示器上的光在所述对象位置处的透射；处理器，其配置成控制所述显示器交替显示所述第一图像和所述第二图像，并且确定时间周期，在所述时间周期期间显示所述第一图像或所述第二图像；以及偏振开关，其配置成基于所述时间周期交替地使入射到所述显示器上的光发生偏振。

Description

用于提供增强现实图像的方法和装置以及记录介质

相关申请的交叉引用

本申请要求于2016年9月27日在韩国知识产权局提交的韩国专利申请No.10-2016-0124240的优先权，通过引用将所述韩国专利申请的公开内容全文并入本文。

技术领域

符合示例性实施例的方法和设备涉及一种提供增强现实(AR)图像的方法、一种用于提供AR图像的装置以及一种存储有程序的记录介质，所述程序用于执行所述提供AR图像的方法。

背景技术

AR技术可以用于将虚拟对象或信息与现实环境合成。这样做允许用户在观看虚拟对象或信息时感觉其就像存在于现实环境中一样。AR技术可以应用于各种应用，包括军事、航空、医疗、视频游戏、娱乐、运动等。

随着人们对AR技术的兴趣的增加，各种用于实现AR的技术也正处于积极的开发当中。尤其是，为了提高在AR当中看到的虚拟对象或信息的沉浸度，人们正在积极地研究用于遮挡与在AR中看到的现实信息的虚拟图像部分相对应的区域的技术。

发明内容

一个或多个示例性实施例提供了用于提供增强现实(AR)图像的方法和装置以及存储用于执行所述方法的程序的记录介质，它们有选择地使特定方向上的偏振光透过显示器(所述偏振光是入射到所述装置上的外界光中的)，由此避免虚拟世界信息看起来添加了外界光的现象。

一个或多个示例性实施例提供了用于提供AR图像的方法和装置以及存储有用于执行所述方法的程序的记录介质，它们减少了用于在所述装置内阻挡外界光的遮罩(mask)的模糊现象。

其它的各个方面将部分地通过下文的描述加以阐述，部分地由所述描述变得显而易见，或者可以通过对所介绍的实施例的实践而得知。

根据一个示例性实施例的方面，提供了一种用于提供增强现实(AR)图像的装置，所述装置包括：显示器，其配置成交替显示包括位于对象位置的对象的第一图像和包括遮罩的第二图像，所述遮罩用于阻挡入射到所述显示器上的光在所述对象位置处的透射；处理器，其配置成控制所述显示器交替显示所述第一图像和所述第二图像，并且确定时间周期，在所述时间周期期间显示所述第一图像或所述第二图像；以及偏振开关，其配置成基于所述时间周期交替地使入射到所述显示器上的光发生偏振。

所述处理器还可以配置成使设置在所述显示器的一个方向上的所述偏振开关的开关周期与所述时间周期同步。

所述装置还可以包括第一偏振片，所述第一偏振片布置在所述显示器的第一表面上，并且配置成阻挡偏振方向在第一轴向上的光并透射偏振方向在第二轴向上的光，所述偏振开关还可以配置成：在显示所述第一图像时将入射到所述显示器上的光的偏振方向改为所述第一轴向，并且在显示所述第二图像时将所述偏振方向改为所述第二轴向。

所述处理器还可以配置成：基于所述显示器与所述装置的用户之间的距离、用户的瞳孔尺寸和所述装置的焦距，预测与所述第二图像的所述遮罩相对应的像素的模糊值；对所述第二图像执行预处理以补偿模糊效果；以及基于所预测的模糊值生成校正后的第二图像。

所述处理器还可以配置成：采用所预测的模糊值对所述第二图像执行去卷积；以及基于本身为原始图像的第二图像内包含的像素的值之间的差异，更新通过所述去卷积获得的第二图像的像素的值。

所述处理器还可以配置成采用所预测的模糊值对通过所述更新获得的第二图像执行去卷积，并且所述去卷积和所述更新可以被重复执行预定次数。

所述装置还可以包括配置成感测所述装置的用户的视线(eye-gaze)的传感器，并且所述处理器还可以配置成基于所感测到的视线确定所述第一图像的所述对象的位置。

根据另一示例性实施例的方面，提供了一种通过包括显示器的装置提供增强现实(AR)图像的方法，所述方法包括：获得包括位于对象位置的对象的第一图像和包括遮罩的第二图像，所述遮罩用于阻挡入射到所述显示器上的光在所述对象位置处的透射；确定时间周期；控制所述显示器交替显示所述第一图像和第二图像，其中在所述时间周期期间显示所述第一图像或所述第二图像；以及，基于所确定的时间周期交替地使入射到所述显示器上的光发生偏振。

所述方法还可以包括使设置在所述显示器的一个方向上的偏振开关的开关周期与所确定的所述时间周期同步。

交替地使入射到所述显示器上的光发生偏振可以包括：在显示所述第一图像时将入射到所述显示器上的光的偏振方向改为第一轴向；以及，在显示所述第二图像时将入射到所述显示器上的光的偏振方向改为第二轴向。在显示所述第一图像时，可以通过设置在所述显示器的一个表面上、阻挡偏振方向在所述第一轴向上的光并且透射偏振方向在所述第二轴向上的光的偏振片，阻挡入射到所述显示器上的光照射到所述显示器上；并且，在显示所述第二图像时，入射到所述显示器上的光可以透过所述偏振片照射到所述显示器上。

所述方法还可以包括：基于所述显示器与所述装置的用户之间的距离、用户的瞳孔尺寸和所述装置的焦距，预测与所述第二图像的所述遮罩对应的像素的模糊值；基于所预测的模糊值对所述第二图像执行预处理，以补偿所述第二图像的模糊效果；以及基于所预测的模糊值生成校正后的第二图像。

校正后的第二图像的生成可以包括：采用所预测的模糊值对所述第二图像执行去卷积；以及，基于本身为原始图像的第二图像中包含的像素的值之间的差异，更新通过所述去卷积获得的第二图像的像素的值。

校正的第二图像的生成可以包括：采用所预测的模糊值对通过更新获得的第二图像执行去卷积；以及，对所述去卷积和所述更新重复执行预定次数。

所述方法还可以包括：感测所述装置的用户的视线；以及基于所感测的视线确定所述第一图像的所述对象的位置。

根据又一示例性实施例的方面，提供了一种存储程序的非暂态计算机可读记录介质，当包括显示器的增强现实(AR)装置的处理器执行所述程序时，所述程序使所述AR装置执行一种AR方法，所述AR方法包括：获得包括位于对象位置的对象的第一图像和包括遮罩的第二图像，所述遮罩用于阻挡入射到所述显示器上的光在所述对象位置处的透射；确定时间周期；控制所述显示器交替显示所述第一图像和所述第二图像，其中在所述时间周期期间显示所述第一图像或所述第二图像；以及，基于所确定的时间周期，交替地使入射到所述显示器上的光发生偏振。

附图说明

通过下文结合附图对示例性实施例的描述，这些以及其它方面将变得显而易见并且更易于理解，其中：

图1是描述根据示例性实施例的用于提供增强现实(AR)图像的装置的示意图；

图2是通过根据示例性实施例的装置提供AR图像的方法的流程图；

图3A和3B是描述通过根据示例性实施例的装置改变偏振光的方向以提供AR图像的方法的示意图；

图4是描述由根据示例性实施例的装置通过时间分割提供AR图像的方法的示意图；

图5是通过根据示例性实施例的装置对包含遮罩的第二图像进行校正的方法的流程图；

图6是描述通过根据示例性实施例的装置对包含遮罩的第二图像进行校正的方法的示意图；

图7是通过根据另一示例性实施例的装置提供AR图像的方法的流程图；以及

图8和图9是根据示例性实施例的用于提供AR图像的装置的框图。

具体实施方式

现在将详细参考示例性实施例，在附图中示出了所述示例性实施例的具体例子，在附图中，始终以类似的附图标记表示类似的元素。就此而言，示例性实施例可以被进行各种修改、可以具有不同形式并且不应被视为局限于文中阐述的描述。如本文中所使用的，词语“和/或”包括相关列出项中的一项或更多项的任意以及全部组合。诸如“……中的至少一项”的表述放在元素清单之前时，旨在修饰整个元素清单，而不是修饰该清单中的单个元素。

将简要描述本文中使用的术语，并且将详细描述示例性实施例的各个方面。

考虑到示例性实施例的功能，已经将本公开中使用的术语选择为当前广泛使用的通用术语，但是可以根据本领域普通技术人员的意图、常规实践或者新技术的引入来对所述术语加以更改。而且，如果存在申请人任意选择的术语，那么将在本公开的对应描述部分中详细描述该术语的含义。因此，应当在本说明书的全部内容的基础上，而不是仅基于每一术语的简单名称，来定义所述术语。

在本公开的下文中，在描述一个事物包括(或者包含或具有)一些元素时，如果没有具体限制，那么应当理解其可以仅包括(或者包含或具有)这些元素，或者其可以包括(或者包含或具有)这些元素和其它元素。此外，在本说明书中描述的诸如“……单元”、“……设备”和“……模块”的术语中的每一个，表示用于执行至少一个功能或操作的元件，并且其可以通过硬件、软件或者硬件和软件的组合来实现。

在下文中，将参考附图详细描述示例性实施例。但是，示例性实施例可以通过很多不同的形式实施，而不应被视为局限于本文中阐述的示例性实施例。在附图中，为了清楚起见省略了公知的特征。此外，始终以相同的附图标记表示相同的元件。

图1是描述根据示例性实施例的用于提供增强现实(AR)图像40的装置100的示意图。

根据示例性实施例的装置100可以包括显示器130以及偏振开关140，显示器130包括上面附着第一偏振片110的表面和上面附着第二偏振片120的另一表面。但是，这只是一个示例性实施例，装置100还可以包括用于控制第一偏振片110、第二偏振片120、显示器130和偏振开关140的处理器。

第一偏振片110和第二偏振片120可以透射具有不同轴向的偏振光。例如，第一偏振片110可以透射X轴方向上的偏振光，第二偏振片120可以透射Y轴方向上的偏振光。

此外，显示器130可以显示至少一幅图像。例如，显示器130可以显示包括对象的第一图像20和包括遮罩的第二图像30，所述遮罩用于阻挡光透过与第一图像20的对象的位置相对应的位置。

根据示例性实施例的显示器130可以交替显示第一图像20和第二图像30，从而为装置100的用户提供AR图像40，在该AR图像40中现实世界场景10和对象看起来相互叠加。例如，如果对象是多个骰子，那么装置100可以提供AR图像40，在该AR图像40中这些骰子看起来叠加在用户正在观看的现实世界场景10上。这里，装置100可以通过采用遮罩阻挡与所述对象叠加的区域的光，从而使与所述对象叠加的区域的光不在现实世界场景10内传输。

为了使装置100为用户提供更加逼真的AR图像40，可以控制入射到装置100上的外界光，从而使现实世界的光不透过包含所述对象的第一图像20。在根据示例性实施例的装置100中，偏振开关140可以布置在显示器130的一个方向上，用于控制入射到其上的外界光。

偏振开关140可以调整偏振表面的角度，以改变入射到显示器130上的偏振光的方向。例如，在显示器130显示包括所述对象的第一图像20时，偏振开关140可以将入射到显示器130上的偏振光的方向确定为X轴方向，X轴方向与附着在显示器130上的第二偏振片120的Y轴方向垂直相交。X轴方向上的偏振光可以被第二偏振片120阻挡，因而X轴方向上的偏振光无法照射到显示器130上。相应地，装置100的用户可以看到未添加现实世界光的包括对象的第一图像20。

根据另一示例性实施例，在显示器130显示包括遮罩的第二图像30时，偏振开关140可以将入射到显示器130上的偏振光的方向确定为，与附着在显示器130上的第二偏振片120的Y轴方向相同的方向。Y轴方向上的偏振光可以透过第二偏振片120照射到显示器130上。这里，对于受到遮罩遮挡的区域，Y轴方向上的偏振光会被阻挡。随着Y轴方向上的偏振光照射到显示器130上，装置100的用户可以看到除了遮罩区域之外的现实世界场景。

在第二图像30显示在显示器130上时，焦点不匹配，并且出于这一原因，将出现看不清第二图像30的遮罩的模糊效果。根据示例性实施例的装置100可以预测表示第二图像30中的模糊效果发生的程度的模糊值，并且可以对第二图像30执行用于抵消所述模糊效果的预处理。显示器130可以交替地显示通过所述预处理校正过的第二图像30和所述第一图像20，由此为用户提供AR图像40。

根据示例性实施例的装置100可以实现为各种类型。例如，在本说明书中，装置100可以是智能眼镜、或者头戴显示器等。但是，这只是一个示例性实施例，装置100不限于此。

图2是通过根据示例性实施例的装置提供AR图像的方法的流程图。

在操作S210中，装置可以获得包括对象的第一图像和包括遮罩的第二图像，所述遮罩阻挡光透过与第一图像的对象的位置相对应的位置。

根据示例性实施例的装置可以获得包括对象的第一图像和包括所述遮罩的第二图像，从而提供其中所述对象和现实世界场景相互结合的AR图像。这里，包含在第二图像中的遮罩可以阻挡入射到所述遮罩的位置上的现实世界的光，以便在现实世界场景上不会看到与该对象重叠的区域。

为了增强用户在AR图像中的沉浸度，所述装置可以感测佩戴该装置的用户的视线，以确定第一图像中的对象的位置。例如，在用户的视线看向左上端时，所述装置可以将对象设置在第一图像的左上端区域内。但是，这只是一个示例性实施例，对象的位置并不仅仅基于用户的视线确定。

在操作S220中，所述装置可以确定显示器交替显示第一图像和第二图像的时间周期。

根据示例性实施例的装置可以通过时间分割提供AR图像。例如，可以在0.001秒的周期期间交替显示第一图像和第二图像。所述装置可以交替显示第一图像和第二图像，由此提供现实世界场景与对象看起来是组合了的效果。

在操作S230中，随着第一图像和第二图像被显示，所述装置可以基于所确定的时间周期改变入射到显示器上的偏振光的方向，所述偏振光是入射到该装置上的外界光中的。

在显示第一图像时，根据示例性实施例的装置可以确定入射到显示器上的偏振光的方向，以避免入射到所述装置上的外界光中的至少一些透过显示器。这里，假设具有一个轴向的偏振片和具有另一轴向的偏振片附着到显示器的侧表面上。

在入射到显示器上的偏振光的方向与附着到显示器上的偏振片的方向垂直相交时，照射到显示器上的偏振光可以被阻挡。例如，在显示第一图像时，所述装置可以将偏振光的方向改为所述的一个轴向，以通过具有所述另一轴向的偏振片阻挡偏振光照射到显示器上。在照射到显示器上的偏振光受到阻挡时，防止了现实世界外界光中的至少一些被添加到所述对象上。

根据另一示例性实施例，在显示第二图像时，所述装置可以将偏振光的方向改为所述另一轴向，从而使偏振光通过具有所述另一轴向的偏振片照射到显示器上。因此，用户可以因照射到显示器上的所述偏振光而感受到现实世界场景。这里，由于第二图像中包含遮罩，因而用户可以看到这样的图像：与所述遮罩对应的区域在现实世界场景中被遮挡。

由于第一图像和第二图像是交替显示的，因而所述装置的用户可以看到在现实世界场景中包含了所述对象的AR图像。

图3A和3B是描述通过根据示例性实施例的装置100改变偏振光的方向以提供AR图像的方法的示意图。

包含在图3A和图3B中的装置100中的第一偏振片110、第二偏振片120、显示器130和偏振开关140可以分别对应于参考图1在上文中描述的装置100的元件。

此外，装置100可以确定显示器130显示包括对象的第一图像20和包括遮罩的第二图像30的时间周期。装置100可以使改变偏振光的方向的偏振开关140的开关周期与所确定的时间周期同步。

参考图3A，当显示器130显示包括对象的第一图像20时，偏振开关140可以将偏振光的方向确定为，使具有与第二偏振片120的方向垂直相交的方向的偏振光入射到显示器130上。例如，在第二偏振片120的方向为Y轴方向时，偏振开关140可以将偏振光的方向确定为X轴方向。

因此，在具有X轴方向的偏振光入射到第二偏振片120上时，可以阻挡入射到显示器130上的偏振光。偏振开关140可以阻挡入射到显示器130上的偏振光，由此避免现实世界外界光中的至少一些被添加到第一图像20中包含的对象上。

参考图3B，当显示器130显示包括遮罩的第二图像30时，偏振开关140可以将偏振光的方向确定为，使得具有与第二偏振片120对应的方向的偏振光入射到显示器130上。例如，在第二偏振片120的方向为Y轴方向时，偏振开关140可以将偏振光的方向确定为X轴方向。

因此，在具有Y轴方向的偏振光入射到第二偏振片120上时，可以使所述的具有Y轴方向的偏振光照射到显示器130上。这里，所述的具有Y轴方向的偏振光在与显示器130显示的第二图像30中包含的遮罩对应的区域内可以被阻挡。

因此，由于所述的具有Y轴方向并且透过显示器130的偏振光的原因，装置100的用户可以感受到与所述对象对应的区域被遮蔽的现实世界场景。

图4是描述由根据示例性实施例的装置通过时间分割提供AR图像的方法的示意图。

参考图4，所述装置的用户可以透过装置中包含的透明显示器感受现实世界场景410。这里，所述显示器可以交替显示包含对象的第一图像(例如，422)和包含遮罩的第二图像(例如，424)，所述遮罩位于与第一图像(例如，422)的对象的位置对应的位置。例如，所述装置可以按照第一图像(例如，422)和第二图像(例如，424)的顺序重复显示多幅图像422、424、426和428。

所述装置可以根据时间分割交替显示第一图像(例如，422)和第二图像(例如，424)，由此为用户提供所述对象和有关现实世界的信息相互结合的AR图像430。

图5是通过根据示例性实施例的装置对包含遮罩的第二图像进行校正的方法的流程图。

在操作S510中，所述装置可以基于显示器与装置的用户之间的距离、用户的瞳孔尺寸和所述装置的焦距，预测第二图像的遮罩中包含的像素的模糊值。

在根据示例性实施例的装置显示第二图像时，第二图像中包含的遮罩不是在焦面上提供的，并且出于这一原因未形成准确相位，从而引起模糊效果。

所述装置可以通过采用点扩散函数(PSF)预测第二图像的遮罩内包含的每个像素的模糊值，所述点扩散函数使用诸如显示器与装置的用户之间的距离、用户的瞳孔尺寸和装置的焦距的参数。这里，可以通过对第二图像执行PSF和卷积，获得发生模糊现象的第二图像。

在操作S520中，所述装置可以采用所预测的模糊值对第二图像执行去卷积。例如，所述装置可以对第二图像执行PSF的去卷积。

在操作S530中，所述装置可以基于第二图像中包含的像素的值之间的差异，更新已执行去卷积的第二图像中包含的像素的值。

根据示例性实施例，在对第二图像执行去卷积时，像素值之间的差异减小。例如，在对第二图像的遮罩中包含的像素的值执行去卷积时，在理论上可能获得处于负数范围内的像素值。但是，由于不可能实现负数范围内的像素值，因而可以将负数范围内的像素值改为正数范围内的像素值。例如，所述装置可以将由于所述去卷积而具有小于-3到0的值的像素的像素值，改为0到255的像素值中的一个。

在所述装置执行去卷积从而将变为负数的像素值改为正像素值的过程中，第二图像的遮罩中包含的像素的值之间的差异可能减小。

根据示例性实施例的装置可以改变已执行去卷积的第二图像中包含的像素的值，从而使已执行去卷积的第二图像中包含的像素的值之间的差异，接近第二图像中包含的像素的值之间的差异。

在操作S540中，所述装置可以判断所执行的更新是否对应于第N次更新。

根据示例性实施例的所述装置可以重复执行如下过程：对第二图像执行去卷积并更新通过去卷积获得的图像。例如，可以对更新过的第二图像再次执行去卷积。重复次数可以在所述装置中预先设置。例如，在预先设置的重复次数为N时，所述装置可以判断第二图像的更新次数是否为“N”次。

在更新次数小于“N”次时，所述装置可以对更新过的第二图像执行去卷积。此外，在更新次数为“N”次时，所述装置可以显示更新过的第二图像。这里，可以按照预定时间周期交替显示更新过的第二图像和第一图像。

图6是描述通过根据示例性实施例的装置对包括遮罩的第二图像进行校正的方法的示意图。

参考图6，所述装置可以如上文参考图5所述对包含遮罩的第二图像610执行PSF和去卷积，由此获得已执行去卷积的第二图像620。这里，如图6中所示，在已执行去卷积的第二图像620中，遮罩中包含的像素的值之间的差异可能会减小。

所述装置可以通过采用本身为原始图像的第二图像610来改变像素的值，从而有效阻挡现实世界场景中与所述遮罩对应的区域的光。例如，所述装置可以更新已执行去卷积的第二图像620中包含的像素的值，从而使已执行去卷积的第二图像620中包含的像素的值之间的差异，对应于第二图像610的遮罩中包含的像素的值之间的差异。

此外，所述装置可以对通过所述更新获得的第二图像执行去卷积，从而重复地执行去卷积和更新操作。当在所述装置中将更新次数预先设置为“N”次时，所述装置可以执行“N”次去卷积和更新操作，由此生成校正后的第二图像630。

根据示例性实施例的装置可以按照预定时间周期交替显示包括对象的第一图像和校正后的第二图像630。

图7是通过根据另一示例性实施例的装置提供AR图像的方法的流程图。

在操作S710中，装置可以显示包括对象的第一图像和包括遮罩的第二图像，所述遮罩用于阻挡光透过与第一图像的对象的位置相对应的位置。

在操作S720中，所述装置可以基于显示器与装置的用户之间的距离、用户的瞳孔尺寸和装置的焦距，预测第二图像的遮罩中包含的像素的模糊值。

在操作S730中，所述装置可以基于所预测的模糊值对第二图像执行补偿第二图像的模糊效果的预处理，以生成校正后的第二图像。

根据示例性实施例的装置可以采用所预测的模糊值对第二图像执行去卷积，并且可以基于第二图像来更新通过所述去卷积获得的第二图像的像素的值，由此生成校正后的第二图像。这里，可以重复执行所述去卷积和更新操作。

在操作S740中，所述装置可以确定显示器交替显示第一图像和校正后的第二图像的时间周期。

在操作S750中，随着第一图像和校正后的第二图像的显示，所述装置可以基于所确定的时间周期改变入射到所述装置上的外界光中的入射到所述显示器上的偏振光的方向。

图8和图9是根据示例性实施例的用于提供AR图像的装置800的框图。

如图8所示，根据示例性实施例的装置800可以包括显示器810、处理器820以及偏振开关830。但是并不是所有的这些元件都是必要元件。除了所示的元件之外，装置800还可以包括另外的元件。或者，装置800可以包括比所示的几个元件更少的元件。

例如，如图9所示，根据示例性实施例的装置800除了包括显示器810、处理器820和偏振开关830之外，还可以包括感测单元840、声音输出单元850、用户输入单元860、通信单元870、音频/视频(A/V)输入单元880以及存储器890。

在下文中将按顺序描述这些元件。

显示器810可以显示包括对象的第一图像和包括遮罩的第二图像，所述遮罩用于阻挡光透过与第一图像的对象的位置相对应的位置。这里，假设具有一个轴向的偏振片和具有另一轴向的偏振片被附着到显示器810的侧表面上。

在显示器810包括触摸屏并且显示器810和触控板形成了层结构时，显示器810除了被用作输出装置之外还被用作输入装置。显示器810可以包括选自下述显示器中的至少一种：液晶显示器(LCD)、薄膜晶体管LCD、有机发光二极管显示器、柔性显示器、3D显示器和电泳显示器。此外，根据装置800的实施类型，装置800可以包括两个或更多显示器810。在这种情况下，可以通过采用铰链将所述两个或更多显示器810布置为彼此面对。

处理器820可以控制装置800的总体操作。例如，处理器820可以执行存储在存储器890内的程序，从而总体控制显示器810、处理器820、偏振开关830、感测单元840、声音输出单元850、用户输入单元860、通信单元870、A/V输入单元880和存储器890。

处理器820可以确定显示器810交替显示第一图像和第二图像的时间周期。

根据示例性实施例的处理器820可以使布置在显示器810的一个方向上用于改变偏振光方向的偏振开关830的开关周期，与所确定的显示器810交替显示第一图像和第二图像的时间周期同步。

根据示例性实施例的处理器820可以基于显示器810与装置800的用户之间的距离、用户的瞳孔尺寸以及装置800的焦距，预测第二图像的遮罩内包含的像素的模糊值。此外，处理器820可以基于所预测的模糊值对第二图像执行补偿第二图像的模糊效果的预处理，以生成校正后的第二图像。例如，处理器820可以采用所预测的模糊值对第二图像执行去卷积。处理器820可以基于第二图像中包含的像素的值之间的差异，更新通过去卷积获得的第二图像的像素的值。这里，可以对所述去卷积和更新操作进行预定次数的重复执行。

根据示例性实施例的处理器820可以根据感测单元840确定的用户的视线，确定第一图像的对象的位置。

偏振开关830可以基于所确定的时间周期改变入射到装置800上的外界光中的入射到显示器810上的偏振光的方向。例如，在显示第一图像时，偏振开关830可以将入射外界光中的入射到显示器810上的偏振光确定为具有一个轴向的第一偏振光，而在显示第二图像时，偏振开关830可以将入射外界光中的入射到显示器810上的偏振光确定为具有另一轴向的第二偏振光。这里，第一偏振光向显示器810的传输会受到具有所述另一轴向并且附着在显示器810的一个表面上的偏振片的阻挡，而第二偏振光可以穿过具有所述另一轴向的偏振片照射到显示器810上。

感测单元840可以感测装置800的状态、装置800的外围状态和佩戴装置800的用户的状态中的至少一项，并且可以将感测到的信息传送至处理器820。

根据示例性实施例的感测单元840可以追踪佩戴装置800的用户的视线。例如，感测单元840可以感测佩戴装置800的用户的头部区域的运动，从而追踪用户的视线。

感测单元840可以包括图像传感器841、运动传感器842、加速度传感器843、位置传感器844、眼球追踪传感器845、温度/湿度传感器846、磁传感器847、陀螺仪传感器848和麦克风849中的至少一种，但不限于此。本领域普通技术人员可以通过名称直观地推断出每一个所述传感器的功能，因而不再提供对其功能的详细说明。

声音输出单元850可以输出从通信单元870接收的或者存储在存储器890内的音频数据。此外，声音输出单元850可以输出与装置800执行的功能相关的声音信号(例如，呼叫信号接收音、消息接收音和警报音)。声音输出单元850可以包括扬声器和蜂鸣器。

用户输入单元860表示用户用来输入数据以控制装置800的机构。例如，用户输入单元860可以包括小键盘、薄膜开关(dome switch，又称锅仔片)、触控板(例如，触摸电容型、按压电阻型、红外感测型、表面超声传导型、积分张力测量(integration tensionmeasurement)型和压电效应型)、调节旋钮(jog wheel)和拨动开关(jog switch)，但不限于此。

用户输入单元860可以接收用户输入。而且，用户输入单元860可以与用户界面(UI)模块891协作，以接收用于选择在所述多个传感器中每个的感测区域上显示的项目中的至少一个的用户输入。但是，这只是一个示例性实施例，用户输入单元860接收的用户输入的种类不限于上文描述的例子。

此外，通信单元870可以包括一个或多个能够实现装置800与外部装置之间的通信的元件。例如，通信单元870可以包括短程无线通信单元871、移动通信单元872和广播接收单元873。

短程无线通信单元871可以包括蓝牙通信单元、蓝牙低能耗(BLE)通信单元、近场通信单元、WLAN(Wi-Fi)通信单元、ZigBee通信单元、红外数据协会(IrDA)通信单元、Wi-Fi直连(WFD)通信单元、超宽带(UWB)通信单元或者Ant+通信单元，但不限于此。

移动通信单元872经由移动通信网络向选自基站、外部终端和服务器中的至少一者发送无线信号或者从其接收无线信号。这里，无线信号可以包括各种类型的基于语音呼叫信号、视频呼叫信号或者文字/多媒体消息的发送或接收的数据。

广播接收单元873通过广播信道接收来自外部的广播信号和/或广播相关信息。广播信道可以包括卫星信道和地面信道。装置800可以不包括广播接收单元873，具体取决于所实施的例子。

A/V输入单元880接收音频信号或视频信号。A/V输入装置880可以通过处于视频呼叫模式或者摄影模式的图像传感器获得诸如静止图像或活动图像的画面帧，或者可以接收外部声音信号，从而将外部声音信号处理为电语音数据。

存储器890可以存储由处理器820处理和控制的程序并且可以存储输入/输出数据(例如，图像的像素值)。

存储器890可以包括选自如下类型的存储介质中的至少一种类型的存储介质：闪存类型、硬盘类型、微型多媒体卡型、卡型存储器(例如，SD存储器或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘。而且，装置800可以对网络存储器或者云服务器进行操作，从而在Internet上执行存储器890的存储功能。

存储在存储器1700内的多个程序可以依据其功能划分成多个模块，例如，划分成UI模块891和警报模块892。

UI模块891可以针对每一应用提供与装置800协同工作的专用UI和图形UI(GUI)。

警报模块892可以生成用于通知在装置800中发生的事件的信号。在装置800中发生的事件的例子可以包括键控信号的输入和/或类似事件。警报模块892可以通过显示器810输出视频信号类型的通知信号，并且可以通过声音输出单元850输出音频信号类型的通知信号。

根据示例性实施例的方法可以实施为计算机可读介质中的计算机可读代码。计算机可读记录介质可以包含程序指令、本地数据文件、本地数据结构或其组合。所述计算机可读记录介质可以是对于示例性实施例而言特定的，或者可以是计算机软件领域的普通技术人员公知的。所述计算机可读记录介质包括所有类型的、其中存储计算机可读数据的可记录介质。计算机可读记录介质的例子包括：诸如硬盘、软盘和磁带的磁介质，诸如CD-ROM和DVD的光学介质，诸如光软盘的磁光介质，以及诸如ROM、RAM和闪存的硬件存储器，它们被专门配置为存储和执行程序指令。此外，所述计算机可读记录介质可以用诸如光、导线或波导的传输介质的形式实现，来传输指定程序指令、本地数据结构等的信号。程序指令的例子包括由编译器生成的机器代码以及由计算机采用解释器执行的高级语言等等。

在附图所示的示例性实施例中使用了附图标记，并且采用特定术语解释示例性实施例；但是它们并非意在限制所述示例性实施例，而是可以代表本领域技术人员可以考虑到的所有部件。

示例性实施例可以用功能块和各种处理操作实施。可以采用各种执行特定功能的硬件和/或软件配置实现所述功能块。例如，所述示例性实施例采用能够在微处理器或其它控制装置的控制之下执行各种功能的集成电路配置，例如，存储器、处理、逻辑、查找表等。可以按照与采用软件程序设计或软件单元执行本公开的各个要素的方式相类似的方式，采用脚本语言或者程序设计语言，例如，C、C++、Java、汇编语言等，包括采用通过数据结构、过程、处理、例程或者其它程序设计配置的组合实施的各种算法，来实施所述示例性实施例。可以通过在一个或多个处理器中执行的算法实施各个功能方面。而且，示例性实施例可以采用转换技术建立电子环境、处理信号和/或处理数据。词语“机制”、“元件”、“机构”和“配置”可能被广泛使用，其不局限于机械的以及物理的构造。这样的词语可以具有与处理器等相关联的软件的一系列例程的含义。

本文中描述的具体执行只是例子，其不以任何方式限制本公开的范围。为了描述的简单起见，可能省略了常规电子配置、控制系统、软件以及系统的其它功能方面。此外，附图中描绘的元件之间的线连接或连接件，代表例如功能连接以及/或者物理或电路连接，在实际应用中，它们可以被替换或者以各种另外的功能连接、物理连接或电路连接实施。而且，所描述的元件未必是应用本公开所必需的元件，除非其被专门提及为“必要的”或“关键的”。

在本公开中，尤其是权利要求中，单数形式的冠词可能意在还包括复数形式。除非另行定义，否则本文中定义的范围意在按照单独适用的方式包含该范围内的值，并且在详细说明中可以将所述范围看作与构成该范围的各个值是相同的。最后，可以按照适当的顺序执行构成方法的操作，除非就顺序做出了明确描述或者做出了相反的描述。示例性实施例未必局限于说明书中给出的操作顺序。本文中采用的实例或者示例性用词(例如，等等)只是为了详细描述示例性实施例，而非意在限制本公开，除非由下述权利要求做出限定。而且，本领域普通技术人员将容易地认识到，在所附权利要求及其等效方案的范围内，可以根据设计条件和因素做出很多替换、组合以及修改。

应当理解，应当仅从描述的意义上而非出于限定的目的，来考虑本文中描述的示例性实施例。通常应当认为对每一示例性实施例中的各个特征或方面的描述，可用于其它示例性实施例中的其它类似特征或方面。

尽管已经参考附图描述了一个或多个实施例，但是本领域普通技术人员应当理解，在不背离下述权利要求界定的精神和范围的情况下可以对其做出各种形式和细节上的改变。

Claims (13)

1.一种用于提供增强现实图像的装置，所述装置包括：

显示器，其配置成交替显示包括位于对象位置的对象的第一图像和包括遮罩的第二图像，所述遮罩用于阻挡入射到所述显示器上的光在所述对象位置处的透射；

处理器，其配置成基于所述显示器与所述装置的用户之间的距离、用户的瞳孔大小和所述装置的焦距来预测所述包括遮罩的第二图像中的模糊效果的程度，对所述第二图像执行处理以补偿模糊效果，控制所述显示器交替显示所述第一图像和经过处理的第二图像，并且确定时间周期，在所述时间周期期间显示所述第一图像或经过处理的第二图像；以及

偏振开关，其配置成基于所述时间周期交替地使入射到所述显示器上的光发生偏振。

2.根据权利要求1所述的装置，其中，所述处理器还配置成使设置在所述显示器的一个方向上的所述偏振开关的开关周期与所述时间周期同步。

3.根据权利要求1所述的装置，还包括第一偏振片，所述第一偏振片布置在所述显示器的第一表面上，并且配置成阻挡偏振方向在第一轴向上的光并透射偏振方向在第二轴向上的光，

其中，所述偏振开关还配置成：在显示所述第一图像时将入射到所述显示器上的光的偏振方向改为所述第一轴向，并且在显示经过处理的第二图像时将所述偏振方向改为所述第二轴向。

4.根据权利要求1所述的装置，其中，所述处理器还配置成：

采用所预测的模糊效果的程度对所述第二图像执行去卷积，并基于本身为原始图像的第二图像中包含的像素的值之间的差异，更新通过所述去卷积获得的第二图像的像素的值。

5.根据权利要求4所述的装置，其中，所述处理器还配置成：采用所预测的模糊效果的程度对通过所述更新获得的第二图像执行去卷积，并且

对所述去卷积和所述更新重复执行预定次数。

6.根据权利要求1所述的装置，还包括配置成感测所述装置的用户的视线的传感器，

其中，所述处理器还配置成基于所感测的视线确定所述第一图像的所述对象的位置。

7.一种通过包括显示器的装置提供增强现实图像的方法，所述方法包括：

获得包括位于对象位置的对象的第一图像和包括遮罩的第二图像，所述遮罩用于阻挡入射到所述显示器上的光在所述对象位置处的透射；

基于所述显示器与所述装置的用户之间的距离、用户的瞳孔大小和所述装置的焦距来预测所述包括遮罩的第二图像中的模糊效果的程度；

对所述第二图像执行处理以补偿模糊效果；

确定显示所述第一图像或经过处理的第二图像的时间周期；

控制所述显示器交替显示所述第一图像和经过处理的第二图像；以及

基于所确定的时间周期交替地使入射到所述显示器上的光发生偏振。

8.根据权利要求7所述的方法，还包括：使设置在所述显示器的一个方向上的偏振开关的开关周期与所述所确定的时间周期同步。

9.根据权利要求7所述的方法，其中，交替地使入射到所述显示器上的光发生偏振包括：

在显示所述第一图像时将入射到所述显示器上的光的偏振方向改为第一轴向；以及

在显示经过处理的第二图像时将入射到所述显示器上的光的偏振方向改为第二轴向，

其中，在显示所述第一图像时，通过设置在所述显示器的一个表面上、阻挡偏振方向在所述第一轴向上的光并且透射偏振方向在所述第二轴向上的光的偏振片，阻挡入射到所述显示器上的光照射到所述显示器上；并且，在显示经过处理的第二图像时，入射到所述显示器上的光透过所述偏振片照射到所述显示器上。

10.根据权利要求7所述的方法，其中，对所述第二图像执行处理包括：

采用所预测的模糊效果的程度对所述第二图像执行去卷积；以及

基于本身为原始图像的第二图像中包含的像素的值之间的差异，更新通过所述去卷积获得的第二图像的像素的值。

11.根据权利要求10所述的方法，其中，对所述第二图像执行处理包括：采用所预测的模糊效果的程度对通过所述更新获得的第二图像执行去卷积，以及

对所述去卷积和所述更新重复执行预定次数。

12.根据权利要求7所述的方法，还包括：

感测所述装置的用户的视线；以及

基于所感测的视线确定所述第一图像的所述对象的位置。

13.一种存储有程序的非暂态计算机可读记录介质，所述程序在由包括显示器的增强现实装置的处理器执行时，使所述增强现实装置执行一种增强现实方法，所述增强现实方法包括：

获得包括位于对象位置的对象的第一图像和包括遮罩的第二图像，所述遮罩用于阻挡入射到显示器上的光在所述对象位置处的透射；

基于所述显示器与所述装置的用户之间的距离、用户的瞳孔大小和所述装置的焦距来预测所述包括遮罩的第二图像中的模糊效果的程度；

对所述第二图像执行处理以补偿模糊效果；

确定显示所述第一图像或经过处理的第二图像的时间周期；

控制所述显示器交替显示所述第一图像和经过处理的第二图像；以及

基于所确定的时间周期，交替地使入射到所述显示器上的光发生偏振。

Images