CN117676114A - 一种mr装置及消除mr装置图像闪烁的方法 - Google Patents

Abstract

本发明提供了一种MR装置及消除图像闪烁的方法。所述方法包括：响应于存在触发人眼感知的环境光闪烁，确定环境光闪烁的闪烁频率；根据MR装置的工作状态判断显示模块是否存在特定工作频率；响应于仅存在单一的闪烁频率，且存在大于闪烁频率的特定工作频率，始终保持摄像模块的目标拍摄频率不大于闪烁频率；基于摄像模块以目标拍摄频率获取的原始图像，生成对应特定工作频率的中间图像；以及控制显示模块以特定工作频率显示基于中间图像获得的目标图像。根据本发明所提供的MR装置及消除MR装置图像闪烁的方法，不仅能够解决由于环境光闪烁导致的画面闪烁问题，还能够解决拍摄设备与显示设备混频造成的图像闪烁问题，给用户良好的观赏体验。

Description

一种MR装置及消除MR装置图像闪烁的方法

技术领域

本发明涉及图像处理领域，尤其涉及一种MR装置及消除MR装置图像闪烁的方法。

背景技术

现有市场上的混合现实(MR，Mixed Reality)产品的GPU渲染刷新率，显示刷新率，摄像传感器刷新率与曝光时间的设定是依据多项用户体验指标和软硬件性能限制制定的，但是其中并未考虑环境光变化频率和所拍摄物体亮度变化频率的影响。所以在不同的环境光闪烁频率条件下，现有MR产品的显示、摄像、渲染参数不会得到妥善的设置以避免肉眼可见的闪烁。这是由于市场现有产品普遍还未提供高性能的混合现实或透视功能，并且显示和摄像刷新率普遍并未超过市电频率的倍频。所以环境光闪烁引发图像闪烁的问题并未得到足够重视。在下一代高性能混合现实产品中，随着对显示图像、用户体验要求的逐渐增强，这一问题必须得到妥善解决。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

为了解决环境光闪烁引发图像闪烁的问题，可以通过调整摄像模块的相关拍摄参数来匹配环境光闪烁，从而避免了环境光闪烁所引发的图像闪烁问题。然而，由于MR装置不仅仅包括摄像模块，还包括显示模块等。虽然改变摄像模块的相关拍摄参数能够在生成原始图像时克服画面闪烁的问题，但却因此引起了摄像模块与显示模块之间的工作频率不适配的问题，这最终仍然会体现在显示模块显示的目标图像仍然会有错位、跳帧等情况，仍然没有改善用户通过 MR装置的显示装置最终看到的图像存在闪烁的问题。

为了既解决现有技术中，在VR、AR或MR产品中，由于没有考虑环境光闪烁而引发的图像闪烁问题，同时解决为了解决环境光闪烁问题却引发的摄像、渲染、显示频率混频所造成的显示图像闪烁或不稳定的次生问题，本发明提供了一种MR装置及消除MR装置图像闪烁的方法。

本发明的一方面所提供的MR装置至少包括摄像模块和显示模块，本发明的另一方面所提供的消除MR装置图像闪烁的方法包括：响应于存在触发人眼感知的环境光闪烁，确定所述环境光闪烁的闪烁频率；根据所述MR装置的工作状态判断所述显示模块是否存在特定工作频率；响应于仅存在单一的闪烁频率，且存在大于所述闪烁频率的所述特定工作频率，始终保持所述摄像模块的目标拍摄频率不大于所述闪烁频率；基于所述摄像模块以所述目标拍摄频率获取的原始图像，生成对应所述特定工作频率的中间图像；以及控制所述显示模块以所述特定工作频率显示基于所述中间图像获得的目标图像。

在上述方法的一实施例中，可选的，基于所述摄像模块以所述目标拍摄频率获取的原始图像，生成对应所述特定工作频率的中间图像进一步包括：在对应于所述特定工作频率的目标时刻，基于所述目标时刻前后的两帧原始图像生成所述目标时刻的中间图像。

在上述方法的一实施例中，可选的，基于所述摄像模块以所述目标拍摄频率获取的原始图像，生成对应所述特定工作频率的中间图像进一步包括：在对应于所述特定工作频率的目标时刻，基于所述目标时刻之前的预定帧数的原始图像的变化规律，基于所述目标时间的前一帧原始图像预测所述目标时刻的中间图像。

在上述方法的一实施例中，可选的，基于所述摄像模块以所述目标拍摄频率获取的原始图像，生成对应所述特定工作频率的中间图像进一步包括：根据所述MR装置的定位传感器获取用户的视野移动数据；以及在对应于所述特定工作频率的目标时刻，基于所述视野移动数据对所述目标时间的前一帧原始图像进行平移、伸缩、扭曲处理中的至少一者，以生成所述目标时刻的中间图像。

在上述方法的一实施例中，可选的，始终保持所述摄像模块的目标拍摄频率不大于所述闪烁频率进一步包括：始终保持所述摄像模块的目标拍摄频率为所述闪烁频率。

在上述方法的一实施例中，可选的，始终保持所述摄像模块的目标拍摄频率不大于所述闪烁频率进一步包括：始终保持所述摄像模块的目标拍摄频率小于所述闪烁频率，且调整所述摄像模块的目标拍摄频率以使所述特定工作频率为所述目标拍摄频率的倍频。

在上述方法的一实施例中，可选的，响应于所述目标拍摄频率小于所述闪烁频率，调整所述摄像模块的曝光时间与所述环境光闪烁的闪烁周期匹配。

在上述方法的一实施例中，可选的，所述MR装置还包括渲染模块，所述方法还包括：判断所述渲染模块是否存在特定渲染频率；其中响应于所述渲染模块存在特定渲染频率，且所述特定渲染频率与所述特定工作频率不匹配，控制所述渲染模块以所述特定渲染频率生成渲染图像，基于所述特定渲染频率的渲染图像生成对应所述特定工作频率的中间渲染图像，所述目标图像还基于所述中间渲染图像获得；或者响应于所述渲染模块不存在特定渲染频率，控制所述渲染模块以所述特定工作频率生成渲染图像，所述目标图像还基于所述中间渲染图像获得。

在上述方法的一实施例中，可选的，根据所述MR装置的工作状态判断所述显示模块是否存在特定工作频率进一步包括：根据所述MR装置的工作模式、所述显示模块的显示内容判断所述显示模块是否存在特定工作频率；其中响应于所述MR装置处于节能模式，所述显示模块存在小于第一预设阈值的特定工作频率；响应于所述MR装置处于高性能模式，所述显示模块存在大于第二预设阈值的特定工作频率；响应于所述显示模块的显示内容包括特定频率的视频源，所述显示模块的闪烁频率为所述视频源的特定频率的倍频。

本发明的另一方面还提供了一种MR装置，所述MR装置至少包括摄像模块和显示模块，其中，所述MR装置还包括至少一个处理器；以及与所述至少一个处理器耦合的存储器，所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理器执行时，使得所述MR装置执行如上文任意一项实施例所描述的消除MR装置图像闪烁的方法。

本发明的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上文任意一项实施例所描述的消除MR装置图像闪烁的方法。

根据本发明所提供的MR装置及消除MR装置图像闪烁的方法，能够通过调整摄像模块的拍摄参数，并基于摄像模块的原始图像生成中间图像来解决环境光亮度变化和摄像、渲染、显示频率混频所造成的屏幕闪烁或不稳定的问题。本发明提供了摄像、显示设备采用任意刷新率的方案，一方面能够动态适应环境光变化，另一方面为提高显示设备的刷新率提供了可能，即为混合现实性能进一步提升发展奠定了基础。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的一方面所提供的MR装置的结构示意图。

图2示出了本发明的另一方面所提供的消除MR装置图像闪烁的方法的流程示意图。

图3示出了本发明中环境光闪烁周期、显示模块频率、摄像模块频率之间的关系。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

给出以下描述以使得本领域技术人员能够实施和使用本发明并将其结合到具体应用背景中。各种变型、以及在不同应用中的各种使用对于本领域技术人员将是容易显见的，并且本文定义的一般性原理可适用于较宽范围的实施例。由此，本发明并不限于本文中给出的实施例，而是应被授予与本文中公开的原理和新颖性特征相一致的最广义的范围。

在以下详细描述中，阐述了许多特定细节以提供对本发明的更透彻理解。然而，对于本领域技术人员显而易见的是，本发明的实践可不必局限于这些具体细节。换言之，公知的结构和器件以框图形式示出而没有详细显示，以避免模糊本发明。

请读者注意与本说明书同时提交的且对公众查阅本说明书开放的所有文件及文献，且所有这样的文件及文献的内容以参考方式并入本文。除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。

注意，在使用到的情况下，标志左、右、前、后、顶、底、正、反、顺时针和逆时针仅仅是出于方便的目的所使用的，而并不暗示任何具体的固定方向。事实上，它们被用于反映对象的各个部分之间的相对位置和/或方向。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

注意，在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。

为了解决MR产品中的环境光闪烁引起的图像闪烁问题，本发明提供了一种MR装置以及消除MR装置图像闪烁的方法。首先请结合图1来理解本发明一方面所提供的MR装置，并结合图1来理解本发明另一方面所提供的消除 MR装置图像闪烁的方法的应用场景。

如图1所示出的，本发明的一方面所提供的MR装置至少包括摄像模块 100和显示模块400。MR装置通过对摄像模块100拍摄的画面进行处理，从而在显示模块400中进行显示。

在如图1所示出的实施例中，摄像模块100包括摄像传感器110和ISP图像处理模块120。摄像传感器110的曝光时间和拍摄频率可调整，ISP图像处理模块120的处理频率与摄像传感器110的拍摄频率相匹配。上述关于摄像模块100的具体组成仅为示意性，不应不当地限制本发明的保护范围。

在如图1所示出的实施例中，显示模块400包括显示图像处理模块410 和显示屏幕420。显示图像处理模块410处理需要显示的目标图像的频率可调整，显示屏幕420的刷新率与显示图像处理模块410的处理帧率相匹配。

在一实施例中，MR装置通过渲染模块500和图像融合模块300对摄像模块100拍摄的原始图像进行处理。即通过图像融合模块300融合摄像模块100 输出的数字化现实图像和渲染模块500输出的虚拟数字图像，以完成对摄像模块100获取的图像的增强、渲染，并将混合后的目标图像输出显示。

环境光会受到电子发光设备的影响，例如人工照明和电子显示设备。电子设备普遍具有亮度的周期性调制。例如，在市电交流频率为50Hz情况下，LED灯和荧光灯具有100Hz高频亮度闪烁。虽然人眼无法看到90Hz以上的闪烁，但是当摄像设备的刷新率与环境光闪烁频率发生混频效果，会生产新的低频分量。例如以120Hz的摄像频率拍摄100Hz LED照明的环境，会看到20Hz的差频闪烁。现有产品和设计下，如果MR装置的显示刷新率高于100Hz，或者摄像机曝光时长的设定小于100ms，在没有补偿功能时则会产生差频闪烁现象。

请结合图2来进一步理解本发明的一方面所提供的消除MR装置图像闪烁的方法。如图2所示出的，本发明的一方面所提供的方法包括：

步骤S100：判断是否存在触发人眼感知的环境光闪烁，响应于存在，执行步骤S200：确定环境光闪烁的闪烁频率。

在步骤S300中判断显示模块是否存在特定工作频率，并在步骤S400中判断闪烁频率是否单一且特定工作频率是否大于闪烁频率。

响应于闪烁频率单一，且特定工作频率大于闪烁频率，执行步骤S500，始终保持摄像模块的拍摄目标拍摄频率不大于闪烁频率；步骤S600，基于摄像模块以目标拍摄频率获取的原始图像，生成对应特定工作频率的中间图像；以及步骤S700，控制显示模块以特定工作频率显示基于中间图像获得的目标图像。

在步骤S100中，触发人眼感知的环境光闪烁指的是在80-90Hz以下的光闪烁。虽然人眼是非常复杂的系统，个体差异非常大，但对于绝大多数人来说，可以察觉到80-90Hz以下的光闪烁，此时的人眼能够感知到明暗变化，闪烁频率在80-90Hz以下的也被称为可见频闪(visible flicker)，可见频闪是普通照明或显示无法接受的，也是在MR装置中希望消除的。

根据一实施例中，在步骤S100中，可以通过环境光感应传感器、或者摄像模块100感知并分析环境光全视野或局部的周期性变化。同时，在判断环境光的周期性变化是否会触发人眼感知时，通过判断环境光全视野或局部视野是否出现特定频率范围内的周期性变化并且变化幅度超过特定阈值，来综合确定环境光是否会引发人眼感知。

在本发明中，响应于存在触发人眼感知的环境光闪烁，首先需要确定该环境光闪烁的闪烁频率。本领域技术人员可以采用现有或将有的技术手段来确定环境光闪烁的闪烁频率，具体的环境光闪烁的闪烁频率的确定，不应不当地限制本发明的保护范围。

进一步的，当存在触发人眼感知的环境光闪烁时，需要进一步判断该触发人眼感知的环境光闪烁的闪烁频率是否是单一的，且是否是小于MR装置的显示模块的工作频率。

环境光闪烁的闪烁频率单一是指在步骤S200中仅确定了环境光闪烁存在唯一的闪烁频率，而非多个闪烁频率。显示模块的工作频率包括显示设备刷新率(显示设备每秒内显示的帧数，或者说是每一帧在屏幕上停留时长T的倒数 1/T)，以及显示信号处理帧率(显示图像处理电路每秒内完成处理的帧数，或者说是每一帧图像处理所需时长T的倒数1/T)。通常来说，显示设备刷新率和显示信号处理帧率保持相同。

在一实施例中，首先需要在步骤S300中，根据MR装置的工作状态判断显示模块是否存在特定工作频率。进一步的，在一实施例中，根据所述MR装置的工作模式、所述显示模块的显示内容判断所述显示模块是否存在特定工作频率。其中，响应于MR装置处于节能模式，显示模块存在小于第一预设阈值的特定工作频率。响应于MR装置处于高性能模式，显示模块存在大于第二预设阈值的特定工作频率。响应于显示模块的显示内容包括特定频率的视频源，显示模块的特定工作频率为视频源的特定频率的倍频。

如上文所描述的，用户在使用MR装置的过程中，最直观的感受就是视觉体验，因此，显示模块的工作状态将决定了用户体验。为此，若显示模块已经存在特定工作模式，即便存在将会引起的画面闪烁的环境光闪烁，仍然需要将显示模块维持在特定工作模式，即步骤S700中，始终控制显示模块以特定工作频率显示目标图像。

由于在步骤S400中判断出环境光闪烁频率单一且小于显示模块的特定工作频率，则意味着，环境光闪烁频率与特定工作频率之间不相等、两者存在频差，若摄像模块的拍摄频率是关联于特定工作频率的，则会由于拍摄频率与环境光闪烁频率之间存在频差而引发画面闪烁的问题。

根据本发明的一方面，通过执行步骤S500，使摄像模块的目标拍摄频率不大于闪烁频率，即是摄像模块的工作参数动态地跟随环境光闪烁频率变化，从而能够从源头上解决摄像模块获取的原始图像存在画面闪烁的问题。

但这又引发了另一个问题，即由于摄像模块100产生原始图像的拍摄频率与显示模块400显示图像的显示频率之间无法匹配，基于现有的MR装置，显示模块400最终显示的画面会由于拍摄频率与显示频率之间的不匹配导致画面错位、跳帧、不连贯等问题，亦会引起用户视觉上感觉显示画面“闪烁”。

为此，需要通过图像适配模块210执行步骤S600，基于摄像模块以目标拍摄频率获取的原始图像，生成对应特定工作频率的中间图像，而显示模块显示的目标图像基于中间图像获取。

请结合图3来理解环境光闪烁周期与显示模块、摄像模块的工作频率之间的关系，从而来理解，在步骤S600中如何能够基于摄像模块以目标拍摄频率获取的原始图像，生成对应特定工作频率的中间图像。结合图3，在步骤S600 中，需要根据摄像模块在A1、A2、A3、A4……时刻产生的原始图像，来获取对应于显示模块工作频率的B1、B2、B3、B4、B5……时刻的中间图像。

在一实施例中，步骤S600进一步包括：在对应于特定工作频率的目标时刻，基于目标时刻前后的两帧原始图像生成目标时刻的中间图像。

在上述的实施例中，通过帧间插值的方式来基于摄像模块以目标拍摄频率获取的原始图像，生成对应特定工作频率的中间图像。在该实施例中，需要根据A1、A2时刻的原始图像来生成B2时刻的中间图像。

在该实施例中，由于B2时刻前后的原始图像是确定的，因此，可以通过对A1、A2两帧图像之间的变化来确定B2时刻的中间图像。并且由于A1、A2两帧图像是确定的，根据该实施例所确定的B2时刻的中间图像的准确性较高。

可以理解的是，由于B2时刻的中间图像的确认需要A1、A2两个时刻的原始图像，而A2时刻晚于B2时刻，因此，基于该实施例，显示模块显示的目标图像整体上略延迟于摄像模块获取的原始图像。可以理解的是，即便是在现有技术中，由于摄像模块需要将图像输出至显示模块，并且这过程中还可能存在其他图像处理过程，显示模块在显示目标图像时必不可免的略延迟于摄像模块获取的原始图像，而为了基于A1、A2生成B2的延时并不会影响整体的延时情况，仍然能够控制在合理的延时范围内。

在另一实施例中，步骤S600进一步包括：在对应于特定工作频率的目标时刻，基于目标时刻之前的预定帧数的原始图像的变化规律，基于目标时间的前一帧原始图像预测目标时刻的中间图像。

举例而言，在该实施例中，为了得到B4时刻的中间图像，首先需要收集 A1、A2、A3(在该举例中预定帧数为3，该举例仅为示意性，不应不当地限制本发明的保护范围)图像的变化规律，根据上述的变化规律，基于A3时刻的原始图像，来预测得到B4时刻的中间图像。

在该实施例中，系基于历史的原始图像来获取得到目标时间的中间图像，不需要等到产生目标时间后的一帧图像，延时较小。并且，基于预定帧数的原始图像的变化规律，在场景不发生突变的情况下，同样能够获取得到较为准确的中间图像。

在另一实施例中，步骤S600进一步包括：根据MR装置的定位传感器获取用户的视野移动数据；以及在对应于特定工作频率的目标时刻，基于视野移动数据对目标时间的前一帧原始图像进行平移、伸缩、扭曲处理中的至少一者，以生成目标时刻的中间图像。

举例而言，在该实施例中，为了获取得到B3时刻的中间图像，首先需要 A2时刻的原始图像，并且还需要通过MR装置的定位传感器获取用户的视野移动数据。定位传感器可以包括眼动传感器和/或头部定位传感器。眼动传感器可以给出用户的凝视点的移动数据，头部定位传感器可以输出用户头部的三自由度信息，即X/Y/Z以及对应计算得出的偏航，俯仰和横滚信息，也可以定位输出用户头部的六自由度信息，包括(1)向前/向后，(2)向上/向下，(3)左/右， (4)偏航，(5)俯仰和(6)滚动，从而给出用户头部的移动数据。

可以通过眼动传感器的凝视点移动数据和/或头部定位传感器给出的用户头部的移动数据来综合获取用户的视野移动数据，从而能够基于A2时刻的原始图像，通过平移、伸缩、扭曲处理中的至少一者，来生成B3时刻的中间图像。

在该实施例中，系基于历史的原始图像来获取得到目标时间的中间图像，不需要等到产生目标时间后的一帧图像，延时较小。同时，由于考虑了用户的视野移动数据，在场景不发生突变的情况下，同样能够获取得到较为准确的中间图像，并且是反应用户移动的中间图像。

通过步骤S600，能够解决由于调整了摄像模块的工作参数跟随环境光闪烁，而无法匹配显示模块，产生显示图像跳帧、不连贯的问题。因此，本发明提供了摄像、显示设备采用任意刷新率(两者可以不匹配)的方案，一方面能够动态适应环境光变化，另一方面为进一步提高显示设备的刷新率提供了可能，即为混合现实性能进一步提升发展奠定了基础。

在一实施例中，在步骤S500中，始终保持摄像模块的目标拍摄频率不大于闪烁频率进一步包括：始终保持摄像模块的目标拍摄频率为闪烁频率。通过将目标拍摄频率与闪烁频率保持一致，由于没有频差，能够使得获取的原始图像不存在画面闪烁。

在另一实施例中，在步骤S500中，始终保持摄像模块的目标拍摄频率不大于闪烁频率进一步包括：始终保持摄像模块的目标拍摄频率小于闪烁频率，且调整摄像模块的目标拍摄频率以使闪烁频率为目标拍摄频率的倍频。由于闪烁频率是目标拍摄频率的倍频，同样能够使得获取的原始图像不存在画面闪烁。

在另一实施例中，在步骤S500中，始终保持摄像模块的目标拍摄频率不大于闪烁频率进一步包括：始终保持摄像模块的目标拍摄频率小于闪烁频率，且调整摄像模块的目标拍摄频率以使闪烁频率为目标拍摄频率的倍频。

进一步的，在该实施例中，需要调整摄像模块的曝光时间与环境光闪烁的闪烁周期匹配，从而能够使得获取的原始图像不存在画面闪烁。

至此，已经描述了多种使得摄像模块的工作参数跟随环境光闪烁以消除画面闪烁的具体实现方式，本领域技术人员可以根据摄像模块以及环境光闪烁的实际情况选择步骤S500的具体实现方式。

在本发明的另一方面，MR装置还包括渲染模块500，渲染模块500以渲染频率输出虚拟数字图像，图像融合模块300通过融合基于摄像模块100产生数字化现实图像和渲染模块500输出的虚拟数字图像，以完成对摄像模块100 获取的图像的增强、渲染，并将混合后的目标图像输出显示。

通常来说，渲染模块500的渲染频率与显示模块的特定工作频率保持一致。在此情况下，目标图像由图像适配模块210输出的中间图像和渲染图像融合后得到。

但在一些特殊的情况下，渲染频率可能存在与特定工作频率不一致的特定渲染频率，从而导致了在图像融合时，无法匹配。

为此，在另一实施例中，响应于所述渲染模块存在特定渲染频率，且所述特定渲染频率与所述特定工作频率不匹配，控制所述渲染模块以所述特定渲染频率生成渲染图像，通过图像适配模块220基于所述特定渲染频率的渲染图像生成对应所述特定工作频率的中间渲染图像，从而能够通过图像融合模块300 以特定工作频率融合图像适配模块210输出的中间图像和图像适配模块220输出的中间渲染图像，以得到目标图像。

图像适配模块220的具体实现方式可以参考图像适配模块210的具体实现方式，在此不再赘述。

至此，已经描述了本发明的一方面所提供的消除MR装置图像闪烁的方法的具体实现方法，具体而言，当MR装置各模块帧率最优值高于环境光闪烁频率且当环境光整个拍摄视野中只且只有一个达到闪烁阈值的闪烁频率，控制摄像与拍摄图像处理帧率保持≤环境光频率，渲染与显示帧率可以超过环境光频率。在显示摄像图像时，对摄像图像采用帧间插值或时间扭曲等技术得到所需显示时间点的图像。MR装置各模块帧率最优值高于环境光闪烁频率可能是由于设备渲染或拍摄场景有大量移动物体，需要提升各模块帧率以降低延时和显示动态拖影，或者可能由于设备为穿戴式头显，需要紧随头部移动实时更新显示内容以提升显示真实度，并降低用户由于延时和显示动态拖影等因素而产生的不适感和健康隐患。

根据本发明的一方面所提供的消除MR装置图像闪烁的方法，能够通过调整摄像模块的拍摄参数，并基于摄像模块的原始图像生成中间图像来解决环境光亮度变化和摄像、渲染、显示频率混频所造成的屏幕闪烁或不稳定的问题。本发明提供了摄像、显示设备采用任意刷新率的方案，一方面能够动态适应环境光变化，另一方面为提高显示设备的刷新率提供了可能，即为混合现实性能进一步提升发展奠定了基础。

本发明的另一方面还提供了一种MR装置，如图1所示出的，所述MR 装置至少包括摄像模块100和显示模块400，所述MR装置还包括至少一个处理器；以及与所述至少一个处理器耦合的存储器，所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理器执行时，使得所述MR装置执行如本发明中任意一项实施例所描述的消除MR装置图像闪烁的方法。需要注意的是，上述的至少一个处理器可以包括摄像模块100和显示模块400中的处理器。

本发明的另一方面还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如上文任意一项实施例所描述的消除MR装置图像闪烁的方法的步骤，具体请参考上文的描述，在此不再赘述。另外，可以理解的是，上述的计算机可读存储介质亦可以是系统形式，即包括有多个计算机可读存储子介质，以通过多个计算机可读存储介质共同实现上文所描述的消除MR装置图像闪烁的方法的步骤。

结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列 (FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM 存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM 或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供之前的描述是为了使本领域中的任何技术人员均能够实践本文中所描述的各种方面。但是应该理解，本发明的保护范围应当以所附权利要求书为准，而不应被限定于以上所解说实施例的具体结构和组件。本领域技术人员在本发明的精神和范围内，可以对各实施例进行各种变动和修改，这些变动和修改也落在本发明的保护范围之内。

Claims (11)

1.一种消除MR装置图像闪烁的方法，所述MR装置至少包括摄像模块和显示模块，其特征在于，所述方法包括：

响应于存在触发人眼感知的环境光闪烁，确定所述环境光闪烁的闪烁频率；

根据所述MR装置的工作状态判断所述显示模块是否存在特定工作频率；

响应于仅存在单一的闪烁频率，且存在大于所述闪烁频率的所述特定工作频率，始终保持所述摄像模块的目标拍摄频率不大于所述闪烁频率；

基于所述摄像模块以所述目标拍摄频率获取的原始图像，生成对应所述特定工作频率的中间图像；以及

控制所述显示模块以所述特定工作频率显示基于所述中间图像获得的目标图像。

2.如权利要求1所述的方法，其特征在于，基于所述摄像模块以所述目标拍摄频率获取的原始图像，生成对应所述特定工作频率的中间图像进一步包括：

在对应于所述特定工作频率的目标时刻，基于所述目标时刻前后的两帧原始图像生成所述目标时刻的中间图像。

3.如权利要求1所述的方法，其特征在于，基于所述摄像模块以所述目标拍摄频率获取的原始图像，生成对应所述特定工作频率的中间图像进一步包括：

在对应于所述特定工作频率的目标时刻，基于所述目标时刻之前的预定帧数的原始图像的变化规律，基于所述目标时间的前一帧原始图像预测所述目标时刻的中间图像。

4.如权利要求1所述的方法，其特征在于，基于所述摄像模块以所述目标拍摄频率获取的原始图像，生成对应所述特定工作频率的中间图像进一步包括：

根据所述MR装置的定位传感器获取用户的视野移动数据；以及

在对应于所述特定工作频率的目标时刻，基于所述视野移动数据对所述目标时间的前一帧原始图像进行平移、伸缩、扭曲处理中的至少一者，以生成所述目标时刻的中间图像。

5.如权利要求1-4中任意一项所述的方法，其特征在于，始终保持所述摄像模块的目标拍摄频率不大于所述闪烁频率进一步包括：

始终保持所述摄像模块的目标拍摄频率为所述闪烁频率。

6.如权利要求1-4中任意一项所述的方法，其特征在于，始终保持所述摄像模块的目标拍摄频率不大于所述闪烁频率进一步包括：

始终保持所述摄像模块的目标拍摄频率小于所述闪烁频率，且调整所述摄像模块的目标拍摄频率以使所述闪烁频率为所述目标拍摄频率的倍频。

7.如权利要求6所述的方法，其特征在于，响应于所述目标拍摄频率小于所述闪烁频率，调整所述摄像模块的曝光时间与所述环境光闪烁的闪烁周期匹配。

8.如权利要求1-4中任意一项所述的方法，其特征在于，所述MR装置还包括渲染模块，所述方法还包括：

判断所述渲染模块是否存在特定渲染频率；其中

响应于所述渲染模块存在特定渲染频率，且所述特定渲染频率与所述特定工作频率不匹配，控制所述渲染模块以所述特定渲染频率生成渲染图像，基于所述特定渲染频率的渲染图像生成对应所述特定工作频率的中间渲染图像，所述目标图像还基于所述中间渲染图像获得；或者

响应于所述渲染模块不存在特定渲染频率，控制所述渲染模块以所述特定工作频率生成渲染图像，所述目标图像还基于所述中间渲染图像获得。

9.如权利要求1-4中任意一项所述的方法，其特征在于，根据所述MR装置的工作状态判断所述显示模块是否存在特定工作频率进一步包括：

根据所述MR装置的工作模式、所述显示模块的显示内容判断所述显示模块是否存在特定工作频率；其中

响应于所述MR装置处于节能模式，所述显示模块存在小于第一预设阈值的特定工作频率；

响应于所述MR装置处于高性能模式，所述显示模块存在大于第二预设阈值的特定工作频率；

响应于所述显示模块的显示内容包括特定频率的视频源，所述显示模块的特定工作频率为所述视频源的特定频率的倍频。

10.一种MR装置，所述MR装置至少包括摄像模块和显示模块，其特征在于，所述MR装置还包括至少一个处理器；以及

与所述至少一个处理器耦合的存储器，所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理器执行时，使得所述MR装置执行如权利要求1-9中任一项所述的消除MR装置图像闪烁的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的消除MR装置图像闪烁的方法。