CN117676112A - 一种mr装置及消除mr装置图像闪烁的方法 - Google Patents

Abstract

本发明提供了一种MR装置及消除MR装置图像闪烁的方法。所述方法包括：响应于存在触发人眼感知的环境光闪烁，确定环境光闪烁的闪烁频率；根据MR装置的工作状态判断显示模块是否存在特定工作频率；响应于存在特定工作频率且特定工作频率与闪烁频率不匹配，始终控制显示模块以特定工作频率显示目标图像，并根据闪烁频率和特定工作频率至少动态调整摄像模块的目标拍摄频率；以及控制摄像模块以目标拍摄频率获取原始图像，目标图像至少基于原始图像获得。根据本发明所提供的MR装置及消除MR装置图像闪烁的方法，能够在存在环境光闪烁时，综合控制各个模块，以使用户通过MR装置最终看到显示图像时，不存在闪烁。

Description

一种MR装置及消除MR装置图像闪烁的方法

技术领域

本发明涉及图像处理领域，尤其涉及一种MR装置及消除MR装置图像闪烁的方法。

背景技术

现有市场上的混合现实(MR，Mixed Reality)产品的GPU渲染刷新率，显示刷新率，摄像传感器刷新率与曝光时间的设定是依据多项用户体验指标和软硬件性能限制制定的，但是其中并未考虑环境光变化频率和所拍摄物体亮度变化频率的影响。所以在不同的环境光闪烁频率条件下，现有MR产品的显示、摄像、渲染参数不会得到妥善的设置以避免肉眼可见的闪烁。这是由于市场现有产品普遍还未提供高性能的混合现实或透视功能，并且显示和摄像刷新率普遍并未超过市电频率的倍频。所以环境光闪烁引发图像闪烁的问题并未得到足够重视。在下一代高性能混合现实产品中，随着对显示图像、用户体验要求的逐渐增强，这一问题必须得到妥善解决。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

为了解决MR产品中的环境光闪烁引起的图像闪烁问题，本发明提供了一种MR装置以及消除MR装置图像闪烁的方法。

本发明的一方面所提供的MR装置至少包括摄像模块和显示模块，本发明的另一方面所提供的消除MR装置图像闪烁的方法包括：响应于存在触发人眼感知的环境光闪烁，确定所述环境光闪烁的闪烁频率；根据所述MR装置的工作状态判断所述显示模块是否存在特定工作频率；响应于存在所述特定工作频率且所述特定工作频率与所述闪烁频率不匹配，始终控制所述显示模块以所述特定工作频率显示目标图像，并根据所述闪烁频率和所述特定工作频率至少动态调整所述摄像模块的目标拍摄频率；以及控制所述摄像模块以所述目标拍摄频率获取原始图像，所述目标图像至少基于所述原始图像获得。

MR装置的显示模块的工作频率关联于用户最终的观赏体验，若MR装置的显示模块存在特定工作频率，在本发明中，通过控制显示模块始终工作在该特定工作频率，以保证用户的观赏体验，另一方面，为了消除环境光闪烁引起的显示画面闪烁问题，本发明至少先调整摄像模块的目标拍摄频率，以消除环境光闪烁引起的显示画面的闪烁。

在上述方法的一实施例中，可选的，根据所述闪烁频率和所述特定工作频率至少动态调整所述摄像模块的目标拍摄频率进一步包括：始终保持所述摄像模块的目标拍摄频率为所述特定工作频率；以及根据所述闪烁频率和所述特定工作频率动态调整所述摄像模块的曝光时间或对所述原始图像进行亮度补偿。

根据上述实施例，由于最终显示的目标图像的源头是摄像模块获取的原始图像，若保证摄像模块和显示模块处于同一工作频率，则不会引起画面的缺失和突变，在该实施例中，由于特定工作频率与闪烁频率不匹配，通过调整所述摄像模块的曝光时间或对所述原始图像进行亮度补偿来进一步消除由于环境光闪烁引起的画面闪烁问题。从而能够在保证画面连贯的情况下消除画面闪烁，提高用户观感。

在上述方法的一实施例中，可选的，根据所述闪烁频率和所述特定工作频率动态调整所述摄像模块的曝光时间或对所述原始图像进行亮度补偿进一步包括：响应于所述特定工作频率小于所述闪烁频率，调整所述摄像模块的曝光时间；或者响应于所述特定工作频率大于所述闪烁频率，和/或，响应于存在多个闪烁频率，对所述原始图像进行亮度补偿；其中所述目标图像基于亮度补偿后的原始图像获得。

在上述方法的一实施例中，可选的，调整所述摄像模块的曝光时间与所述环境光闪烁的闪烁周期匹配。

在上述方法的一实施例中，可选的，对所述原始图像进行亮度补偿进一步包括：对当前原始图像之前预设数量的多张历史原始图像，分别获取各所述历史原始图像的各个像素点亮度值或局部区域的区域平均亮度值；以及基于所述多张历史原始图像的像素点亮度值或区域平均亮度值对所述当前原始图像进行亮度补偿。

在上述方法的一实施例中，可选的，分别获取各所述历史原始图像的各个像素点亮度值或局部区域的区域平均亮度值进一步包括：获取各所述历史原始图像的各个像素点或局部区域基于各个色彩通道的像素点色度亮度值或区域平均色度亮度值；其中基于所述多张历史原始图像的像素点亮度值或区域平均亮度值对所述当前原始图像进行亮度补偿进一步包括：对于所述当前原始图像的各个色彩通道，基于所述多张所述历史原始图像对应的色彩通道的像素点色度亮度值或区域平均色度亮度值进行亮度补偿。

根据上述实施例，在对原始图像进行亮度补偿以消除环境光闪烁所引起的画面闪烁时，还进一步地调整色度亮度值，从而能够不仅考虑到画面亮度，还对亮度变化引起的色彩变化进行了补偿，使得最终呈现的连续画面之间的差异更小，以消除闪烁。

在上述方法的一实施例中，可选的，对所述原始图像进行亮度补偿还包括：基于所述多张历史原始图像的区域平均亮度值确定所述当前原始图像中的闪烁区域；其中基于所述多张历史原始图像的区域平均亮度值对所述当前原始图像进行亮度补偿进一步包括：对于所述当前原始图像的所述闪烁区域，基于多张所述历史原始图像的闪烁区域的多个所述区域平均亮度值进行亮度补偿。

根据上述实施例，响应于整个画面中仅存在部分区域是闪烁的，本实施例通过对局部区域进行亮度调整，能够有效地降低进行亮度补偿所需要的数据处理量，从而能够减低处理器的工作量，降低功耗。

在上述方法的一实施例中，可选的，根据所述闪烁频率和所述特定工作频率至少动态调整所述摄像模块的目标拍摄频率进一步包括：响应于仅存在单一且小于所述特定工作频率的闪烁频率，始终保持所述摄像模块的目标拍摄频率不大于所述闪烁频率；以及基于所述摄像模块以所述目标拍摄频率获取的原始图像，生成对应所述特定工作频率的中间图像；其中所述目标图像基于所述中间图像获得。

根据上述实施例，通过使摄像模块的目标拍摄频率不大于闪烁频率，能够消除目标拍摄频率与环境光闪烁频率之间的频差，从而在源头上消除了画面闪烁的问题，但由于摄像频率与显示频率之间不匹配，导致了用户最终看到的画面还是闪烁的、跳跃或缺失的，因此，在该实施例中，通过生成中间图像的方式，能够克服画面闪烁的问题的同时克服拍摄频率与最终显示频率不匹配的问题。

在上述方法的一实施例中，可选的，所述MR装置还包括渲染模块，所述方法还包括：判断所述渲染模块是否存在特定渲染频率；其中响应于所述渲染模块存在特定渲染频率，且所述特定渲染频率与所述特定工作频率不匹配，控制所述渲染模块以所述特定渲染频率生成渲染图像，基于所述特定渲染频率的渲染图像生成对应所述特定工作频率的中间渲染图像，所述目标图像还基于所述中间渲染图像获得；或者响应于所述渲染模块不存在特定渲染频率，控制所述渲染模块以所述特定工作频率生成渲染图像，所述目标图像还基于所述中间渲染图像获得。

进一步的，在本发明中，可以综合控制MR装置的各个模块的工作状态，以为用户提供观赏效果更优的MR装置。在该实施例中，同样通过生成中间图像的方式，能够在保证最终显示图像的渲染效果的情况下，克服渲染频率与显示频率、拍摄频率不匹配的问题。

在上述方法的一实施例中，可选的，响应于仅存在单一的闪烁频率且所述显示模块不存在特定工作频率，始终保持所述摄像模块的目标拍摄频率为所述闪烁频率，并控制所述显示模块以所述闪烁频率显示所述目标图像。

在上述方法的一实施例中，可选的，根据所述MR装置的工作状态判断所述显示模块是否存在特定工作频率进一步包括：根据所述MR装置的工作模式、所述显示模块的显示内容判断所述显示模块是否存在特定工作频率；其中响应于所述MR装置处于节能模式，所述显示模块存在小于第一预设阈值的特定工作频率；响应于所述MR装置处于高性能模式，所述显示模块存在大于第二预设阈值的特定工作频率；响应于所述显示模块的显示内容包括特定频率的视频源，所述显示模块的特定工作频率为所述视频源的特定频率的倍频。

本发明的另一方面还提供了一种MR装置，所述MR装置至少包括摄像模块和显示模块，其中，所述MR装置还包括至少一个处理器；以及与所述至少一个处理器耦合的存储器，所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理器执行时，使得所述MR装置执行如本发明中任意一项实施例所描述的消除MR装置图像闪烁的方法。

本发明的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明中任一项实施例所描述的消除MR装置图像闪烁的方法。

根据本发明所提供的MR装置以及消除MR装置图像闪烁的方法，在保证显示频率最优的情况下，综合MR装置的工作状态，至少调整摄像模块的拍摄频率来消除环境光闪烁引起的显示画面闪烁的问题，从而能够在保证MR装置性能的同时消除闪烁，给用户优秀的视觉观感。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的一方面所提供的MR装置的结构示意图。

图2示出了本发明的另一方面所提供的消除MR装置图像闪烁的方法的流程示意图。

图3示出了本发明所提供的方法中步骤S600的具体实现步骤的流程示意图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

给出以下描述以使得本领域技术人员能够实施和使用本发明并将其结合到具体应用背景中。各种变型、以及在不同应用中的各种使用对于本领域技术人员将是容易显见的，并且本文定义的一般性原理可适用于较宽范围的实施例。由此，本发明并不限于本文中给出的实施例，而是应被授予与本文中公开的原理和新颖性特征相一致的最广义的范围。

在以下详细描述中，阐述了许多特定细节以提供对本发明的更透彻理解。然而，对于本领域技术人员显而易见的是，本发明的实践可不必局限于这些具体细节。换言之，公知的结构和器件以框图形式示出而没有详细显示，以避免模糊本发明。

请读者注意与本说明书同时提交的且对公众查阅本说明书开放的所有文件及文献，且所有这样的文件及文献的内容以参考方式并入本文。除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。

注意，在使用到的情况下，标志左、右、前、后、顶、底、正、反、顺时针和逆时针仅仅是出于方便的目的所使用的，而并不暗示任何具体的固定方向。事实上，它们被用于反映对象的各个部分之间的相对位置和/或方向。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

注意，在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。

为了解决MR产品中的环境光闪烁引起的图像闪烁问题，本发明提供了一种MR装置以及消除MR装置图像闪烁的方法。首先请结合图1来理解本发明的一方面所提供的MR装置，并结合图1来理解本发明另一方面所提供的消除 MR装置图像闪烁的方法的应用场景。

如图1所示出的，本发明的一方面所提供的MR装置至少包括摄像模块 100和显示模块400。MR装置通过对摄像模块100拍摄的画面进行处理，从而在显示模块400中进行显示。

在如图1所示出的实施例中，摄像模块100包括摄像传感器110和ISP图像处理模块120。摄像传感器110的曝光时间和拍摄频率可调整，ISP图像处理模块120的处理频率与摄像传感器110的拍摄频率相匹配。上述关于摄像模块100的具体组成仅为示意性，不应不当地限制本发明的保护范围。

在如图1所示出的实施例中，显示模块400包括显示图像处理模块410 和显示屏幕420。显示图像处理模块410处理需要显示的目标图像的频率可调整，显示屏幕420的刷新率与显示图像处理模块410的处理帧率相匹配。

在一实施例中，MR装置通过渲染模块200和图像融合模块300对摄像模块100拍摄的原始图像进行处理。即通过图像融合模块300融合摄像模块100 输出的数字化现实图像和渲染模块200输出的虚拟数字图像，以完成对摄像模块100获取的图像的增强、渲染，并将混合后的目标图像输出显示。

环境光会受到电子发光设备的影响，例如人工照明和电子显示设备。电子设备普遍具有亮度的周期性调制。例如，在市电交流频率为50Hz情况下，LED灯和荧光灯具有100Hz高频亮度闪烁。虽然人眼无法看到90Hz以上的闪烁，但是当摄像设备的刷新率与环境光闪烁频率发生混频效果，会生产新的低频分量。例如以120Hz的摄像频率拍摄100Hz LED照明的环境，会看到20Hz的差频闪烁。现有产品和设计下，如果MR装置的显示刷新率高于100Hz，或者摄像机曝光时长的设定小于100ms，在没有补偿功能时则会产生差频闪烁现象。

由于MR装置内部存在有多种模块，为了使得用户最终通过显示模块400 观察到相关图像时是没有闪烁的，需要综合MR装置内部的多个模块来全面进行补偿、调整。

请结合图2来进一步理解本发明的一方面所提供的消除MR装置图像闪烁的方法。如图2所示出的，本发明的一方面所提供的方法包括：

步骤S100：判断是否存在触发人眼感知的环境光闪烁，响应于存在，执行步骤S200：确定环境光闪烁的闪烁频率。

在步骤S300中判断显示模块是否存在特定工作频率，并在步骤S400中判断特定工作频率与闪烁频率是否匹配。

响应于存在特定工作频率且特定工作频率与闪烁频率不匹配，执行步骤 S500，始终控制显示模块以特定工作频率显示目标图像，并执行步骤S600，根据闪烁频率和特定工作频率至少动态调整摄像模块的目标拍摄频率，并在步骤S700中控制摄像模块以目标拍摄频率获取原始图像。

根据步骤S500，能够保证MR装置最终的显示效果，从而保证用户的视觉感官，根据步骤S600，通过动态调整MR装置的各模块的工作状态，以通过最优的方式来克服环境光闪烁引起的画面闪烁问题。

在步骤S100中，触发人眼感知的环境光闪烁指的是在80-90Hz以下的光闪烁。虽然人眼是非常复杂的系统，个体差异非常大，但对于绝大多数人来说，可以察觉到80-90Hz以下的光闪烁，此时的人眼能够感知到明暗变化，闪烁频率在80-90Hz以下的也被称为可见频闪(visible flicker)，可见频闪是普通照明或显示无法接受的，也是在MR装置中希望消除的。

根据一实施例中，在步骤S100中，可以通过环境光感应传感器、或者摄像模块100感知并分析环境光全视野或局部的周期性变化。同时，在判断环境光的周期性变化是否会触发人眼感知时，通过判断环境光全视野或局部视野是否出现特定频率范围内的周期性变化并且变化幅度超过特定阈值，来综合确定环境光是否会引发人眼感知。

在本发明中，响应于存在触发人眼感知的环境光闪烁，首先需要确定该环境光闪烁的闪烁频率。本领域技术人员可以采用现有或将有的技术手段来确定环境光闪烁的闪烁频率，具体的环境光闪烁的闪烁频率的确定，不应不当地限制本发明的保护范围。

进一步的，当存在触发人眼感知的环境光闪烁时，需要进一步判断该触发人眼感知的环境光闪烁的闪烁频率是否与MR装置的显示模块的工作频率匹配。显示模块的工作频率包括显示设备刷新率(显示设备每秒内显示的帧数，或者说是每一帧在屏幕上停留时长T的倒数1/T)，以及显示信号处理帧率(显示图像处理电路每秒内完成处理的帧数，或者说是每一帧图像处理所需时长T 的倒数1/T)。通常来说，显示设备刷新率和显示信号处理帧率保持相同。

在一实施例中，首先需要在步骤S300中，根据MR装置的工作状态判断显示模块是否存在特定工作频率。进一步的，在一实施例中，根据所述MR装置的工作模式、所述显示模块的显示内容判断所述显示模块是否存在特定工作频率。其中，响应于MR装置处于节能模式，显示模块存在小于第一预设阈值的特定工作频率。响应于MR装置处于高性能模式，显示模块存在大于第二预设阈值的特定工作频率。响应于显示模块的显示内容包括特定频率的视频源，显示模块的特定工作频率为视频源的特定频率的倍频。

如上文所描述的，用户在使用MR装置的过程中，最直观的感受就是视觉体验，因此，显示模块的工作状态将决定了用户体验。为此，若显示模块已经存在特定工作模式，即便存在将会引起的画面闪烁的环境光闪烁，仍然需要将显示模块维持在特定工作模式，即步骤S500中，始终控制显示模块以特定工作频率显示目标图像。

由于环境光闪烁频率与显示模块的特定工作频率并不匹配，也就是说，在环境光闪烁频率与特定工作频率之间不相等、不存在倍频关系、两者存在频差的情况下，需要综合调整摄像模块等的工作状态，以克服环境光闪烁所引发的问题。

请进一步结合图3来理解本发明步骤S600中，根据闪烁频率和特定工作频率至少动态调整摄像模块的目标拍摄频率的具体实现方式。摄像模块的目标拍摄频率为摄像模块每秒内拍摄的帧数，或者说是拍摄每一帧时长T的倒数1/T。

在一实施例中，首先设定始终保持目标拍摄频率为特定工作频率，即执行步骤S610。在这种情况下，由于摄像模块和显示模块的工作频率保持一致，因此，在MR装置内部处理图像的频率是一致的，不会出现内部图像的错位。

在步骤S610的前提的，由于拍摄频率为特定工作频率，也就是说，拍摄频率和环境光闪烁频率之间不匹配，因此，需要进行额外的处理以消除环境光闪烁。

进一步的，执行步骤S611，判断特定工作频率是否小于闪烁频率。响应于特定工作频率小于闪烁频率，在一实施例中，执行步骤S612，调整摄像模块的曝光时间来消除环境光闪烁引起的画面闪烁。具体的，在一实施例中，调整摄像模块的曝光时间跟随并等于环境光闪烁周期。例如结合图1，通过调整摄像传感器110的曝光时间来消除画面闪烁。由于环境光闪烁周期关联于环境光闪烁频率，通过在步骤S200中实时地确定环境光闪烁频率，能够实时地确定环境光闪烁周期，因此，可以动态控制摄像模块的曝光时间，以使曝光时间与环境光闪烁周期相匹配，从而在摄像模块100即可消除原始图像的闪烁。

响应于在步骤S611中判断出特定工作频率大于闪烁频率，则需要执行步骤S630，对原始图像进行亮度补偿。进一步的，若在步骤S200中判断出环境光闪烁中存在多个闪烁频率，同样需要执行步骤S630，对原始图像进行亮度补偿。也就是说，响应于特定工作频率大于闪烁频率，和/或，响应于存在多个闪烁频率，对原始图像进行亮度补偿。

以图1所示出的实施例为例，通过在图像补偿模块600中对拍摄模块100 输出的原始图像进行亮度补偿以消除原始图像中存在的闪烁。具体的，对所述原始图像进行亮度补偿进一步包括：对当前原始图像之前预设数量的多张历史原始图像，分别获取各所述历史原始图像的各个像素点亮度值或局部区域的区域平均亮度值；以及基于所述多张历史原始图像的像素点亮度值或区域平均亮度值对所述当前原始图像进行亮度补偿。

需要注意的是，在本发明中，首先需要对每一张历史原始图像，确定其各个像素点的亮度值，或者每一张历史原始图像中的各个局部区域的区域平均亮度值，上述的区域平均亮度值是根据同一张历史原始图像的各个局部区域中的像素点的亮度值的平均值。在本发明中，并非将多张历史原始图像的整体亮度值做平均值处理来获取补偿后的亮度值。而是综合根据每一张历史原始图像的各个像素点亮度值或局部区域的区域平均亮度值的带阻滤波，从而降低或消除闪烁。

进一步的，分别获取各所述历史原始图像的各个像素点亮度值或局部区域的区域平均亮度值包括：获取各所述历史原始图像的各个像素点或局部区域基于各个色彩通道的像素点色度亮度值或区域平均色度亮度值(Rn、Gn、Bn)；其中基于所述多张历史原始图像的像素点亮度值或区域平均亮度值对所述当前原始图像进行亮度补偿进一步包括：对于所述当前原始图像的各个色彩通道，基于所述多张所述历史原始图像对应的色彩通道的像素点色度亮度值或区域平均色度亮度值进行亮度补偿。

环境光闪烁引起的画面闪烁不单单会造成亮度的变化，还体现在色彩上的区别，在本发明中，还进一步对色彩通道的亮度值进行补偿，从而能够更自然地消除画面闪烁的问题。

在另一方面，对所述原始图像进行亮度补偿还包括：基于所述多张历史原始图像的区域平均亮度值确定所述当前原始图像中的闪烁区域；其中基于所述多张历史原始图像的区域平均亮度值对所述当前原始图像进行亮度补偿进一步包括：对于所述当前原始图像的所述闪烁区域，基于多张所述历史原始图像的闪烁区域的多个所述区域平均亮度值进行亮度补偿。

在MR装置中，通过图像补偿模块600对每一帧图像进行亮度值的分析，并且进行亮度补偿的计算量非常大，需要消耗大量功率。为了在进行亮度补偿时能够有效地降低能耗，在本发明中，优选地提出闪烁区域的概念，也就是说，首先分析出图像中发生闪烁的局部区域为闪烁区域，在进行亮度补偿时，仅就该区域中的各个像素点进行补偿处理，从而能够大量地降低计算量，减少功耗。

在另一实施例中，步骤S600中，调整拍摄模块的目标拍摄频率关联于闪烁频率。在此情况下，由于拍摄模块100的拍摄频率和显示模块400的特定工作频率无法匹配，MR装置内部要处理的图像存在错位，为此，需要基于拍摄模块以关联于闪烁频率拍摄的图像序列调整为适配显示模块400的特定工作频率的图像序列。

具体的，如图3所示出的，首先需要在步骤S620判断，环境光闪烁中是否存在多个闪烁频率，并在仅存在单一的闪烁频率时在步骤S621中判断特定工作频率是否小于闪烁频率，若特定工作频率大于闪烁频率，此时说明显示模块400具有较高的显示需求，在本实施中，执行步骤S622，始终保持摄像模块的目标拍摄频率不大于闪烁频率，从而从源头上解决由于环境光闪烁引起的原始图像闪烁问题。

进一步的，始终保持摄像模块的目标拍摄频率不大于闪烁频率包括始终保持摄像模块的目标拍摄频率为闪烁频率，或者使闪烁频率为目标拍摄频率的倍频，从而使目标拍摄频率和闪烁频率匹配。

由于MR装置是完整的产品，仅仅改变摄像模块的目标拍摄频率，虽然能够在生成原始图像时克服画面闪烁的问题，但却因此引起了摄像模块与显示模块之间的工作频率不适配的问题，这最终仍然会体现在显示模块显示的目标图像仍然会有错位、跳帧等情况。

因此，本发明的一方面通过图像适配模块510将闪烁频率的原始图像序列转化为特定工作频率的中间图像。具体的，可以采用帧插值、时间扭曲或其他现有或将有的手段来说来实现摄像模块输出的图像频率与显示模块显示的图像频率不一致的问题。

例如，摄像模块产生的图像序列为A1、A2、A3……，而显示模块需要显示的图像序列为B1、B2、B3……。假设A1、B1的时间点是对齐的，由于摄像模块的频率小于显示模块的频率，A2的产生时间是晚于B2的，因此，B2 这一帧的图像就会有缺失。

为了弥补上述问题，在一优选的实施例中，可以通过帧插值的方式来实现上述的适配过程。具体而言，可以在获取到A1、A2后，综合A1、A2生成对应B2时间点的图像Ab2，基于Ab2完成图像融合后用以显示。

在另一实施例中，可以通过时间扭曲的方式来弥补上述问题，以实现适配过程。具体的，由于是MR装置，为了得到与B2点对应的原始图像，可以采用在B2时间点之前最接近的图像(如A1)，通过，对用户头部空间位置、运动方向、速度信息，对视野中的图像位置进行调整和移动，生成出新的时间点的图像。

通过生成新的图像来改变原始图像序列的频率，从而能够匹配显示模块的特定工作频率，以避免由于摄像模块拍摄频率的改变而引起的画面跳帧、不连贯的问题。

在本发明的另一方面，MR装置还包括渲染模块200，渲染模块200以渲染频率输出虚拟数字图像，图像融合模块300通过融合基于摄像模块100产生数字化现实图像和渲染模块200输出的虚拟数字图像，以完成对摄像模块100 获取的图像的增强、渲染，并将混合后的目标图像输出显示。

通常来说，渲染模块200的渲染频率与显示模块的特定工作频率保持一致。在此情况下，目标图像由原始图像(中间图像)和渲染图像融合后得到。

但在一些特殊的情况下，渲染频率可能存在与特定工作频率不一致的特定渲染频率，从而导致了在图像融合时，无法匹配。

为此，在另一实施例中，响应于所述渲染模块存在特定渲染频率，且所述特定渲染频率与所述特定工作频率不匹配，控制所述渲染模块以所述特定渲染频率生成渲染图像，通过图像适配模块520基于所述特定渲染频率的渲染图像生成对应所述特定工作频率的中间渲染图像，从而能够通过图像融合模块300 以特定工作频率融合原始图像(中间图像)和中间渲染图像，以得到目标图像。

图像适配模块520的具体实现方式可以参考图像适配模块510的具体实现方式，例如可以通过帧插值、时间扭曲或其他现有或将有的技术来实现调整渲染图像序列的频率，在此不再赘述。

在本发明的另一方面，响应于仅存在单一的闪烁频率且所述显示模块不存在特定工作频率，始终保持所述摄像模块的目标拍摄频率为所述闪烁频率，并控制所述显示模块以所述闪烁频率显示所述目标图像。从而能够以最为简单、低功耗的方式来解决画面闪烁的问题。

概括来说，当MR装置上的各模块帧率设定无特定要求，或帧率设定最优化范围与环境光闪烁频率一致时，控制摄像模块刷新率(拍摄频率)，显示帧率，图像渲染帧率跟随环境光变化频率动态调整。上述无特定要求可以包括： MR装置无需考虑降低帧率以节省能耗、MR装置的显示模块的显示内容不是固定帧率的视频源(如24Hz拍摄的电影)从而无需设定特定显示帧率、环境光整个拍摄视野中只且只有一个达到闪烁阈值的闪烁频率。

当MR装置最优帧率设定低于环境光闪烁频率且当环境光整个拍摄视野中只且只有一个达到闪烁阈值的闪烁频率，控制全帧或局部刷新率和帧率保持低于环境光变化频率，并调整摄像设备每帧全帧或局部曝光时间与环境光变化周期保持一致。上述MR装置最优帧率设定低于环境光闪烁频率可能是由于希望通过降低渲染、摄像、ISP图像处理、显示、显示图像处理各模块的工作频率以降低功耗；可能是由于显示内容中含有特定频率的视频源(如24Hz拍摄的电影)，从而需要显示帧率为视频源帧率的倍频，无法与环境光频率保持一致。

当环境光在整个拍摄视野中含有一个或多个达到闪烁阈值的闪烁频率，或当MR装置各模块帧率最优值高于环境光闪烁频率，同时当MR装置数字图像补偿所需的存储、计算硬件充裕，可以对显示图像局部像素平均值进行计算。即感知并分析摄像传感器或环境光传感器采集信息中的周期性亮度变化数据，以此为基础对各帧显示图像进行数字信号补偿，抵消图像中全局或局部在特定频率范围中的亮度变化幅度，减少闪烁。

MR装置各模块帧率最优值高于环境光闪烁频率可能是由于设备渲染或拍摄场景有大量移动物体，需要提升各模块帧率以降低延时和显示动态拖影，或者可能由于设备为穿戴式头显，需要紧随头部移动实时更新显示内容以提升显示真实度，并降低用户由于延时和显示动态拖影等因素而产生的不适感和健康隐患。

当MR装置各模块帧率最优值高于环境光闪烁频率且当环境光整个拍摄视野中只且只有一个达到闪烁阈值的闪烁频率，控制摄像与拍摄图像处理帧率保持≤环境光频率，渲染与显示帧率可以超过环境光频率。在显示摄像图像时，对摄像图像采用帧间插值或时间扭曲等技术得到所需显示时间点的图像。

为此，已经描述了本发明为了在MR装置中消除由于环境光闪烁而导致的画面闪烁的问题的具体实现方式。根据本发明所提供的MR装置以及消除MR 装置图像闪烁的方法，在保证显示频率最优的情况下，综合MR装置的工作状态，至少调整摄像模块的拍摄频率来消除环境光闪烁引起的显示画面闪烁的问题，从而能够在保证MR装置性能的同时消除闪烁，给用户优秀的视觉观感。

本发明的另一方面还提供了一种MR装置，如图1所示出的，所述MR 装置至少包括摄像模块100和显示模块400，所述MR装置还包括至少一个处理器；以及与所述至少一个处理器耦合的存储器，所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理器执行时，使得所述MR装置执行如本发明中任意一项实施例所描述的消除MR装置图像闪烁的方法。需要注意的是，上述的至少一个处理器可以包括摄像模块100和显示模块400中的处理器。

本发明的另一方面还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如上文任意一项实施例所描述的消除MR装置图像闪烁的方法的步骤，具体请参考上文的描述，在此不再赘述。另外，可以理解的是，上述的计算机可读存储介质亦可以是系统形式，即包括有多个计算机可读存储子介质，以通过多个计算机可读存储介质共同实现上文所描述的消除MR装置图像闪烁的方法的步骤。

结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM 存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM 或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供之前的描述是为了使本领域中的任何技术人员均能够实践本文中所描述的各种方面。但是应该理解，本发明的保护范围应当以所附权利要求书为准，而不应被限定于以上所解说实施例的具体结构和组件。本领域技术人员在本发明的精神和范围内，可以对各实施例进行各种变动和修改，这些变动和修改也落在本发明的保护范围之内。

Claims (13)

1.一种消除MR装置图像闪烁的方法，所述MR装置至少包括摄像模块和显示模块，其特征在于，所述方法包括：

响应于存在触发人眼感知的环境光闪烁，确定所述环境光闪烁的闪烁频率；

根据所述MR装置的工作状态判断所述显示模块是否存在特定工作频率；

响应于存在所述特定工作频率且所述特定工作频率与所述闪烁频率不匹配，始终控制所述显示模块以所述特定工作频率显示目标图像，并根据所述闪烁频率和所述特定工作频率至少动态调整所述摄像模块的目标拍摄频率；以及

控制所述摄像模块以所述目标拍摄频率获取原始图像，所述目标图像至少基于所述原始图像获得。

2.如权利要求1所述的方法，其特征在于，根据所述闪烁频率和所述特定工作频率至少动态调整所述摄像模块的目标拍摄频率进一步包括：

始终保持所述摄像模块的目标拍摄频率为所述特定工作频率；以及

根据所述闪烁频率和所述特定工作频率动态调整所述摄像模块的曝光时间或对所述原始图像进行亮度补偿。

3.如权利要求2所述的方法，其特征在于，根据所述闪烁频率和所述特定工作频率动态调整所述摄像模块的曝光时间或对所述原始图像进行亮度补偿进一步包括：

响应于所述特定工作频率小于所述闪烁频率，调整所述摄像模块的曝光时间；或者

响应于所述特定工作频率大于所述闪烁频率，和/或，响应于存在多个闪烁频率，对所述原始图像进行亮度补偿；其中

所述目标图像基于亮度补偿后的原始图像获得。

4.如权利要求3所述的方法，其特征在于，调整所述摄像模块的曝光时间与所述环境光闪烁的闪烁周期匹配。

5.如权利要求3所述的方法，其特征在于，对所述原始图像进行亮度补偿进一步包括：

对当前原始图像之前预设数量的多张历史原始图像，分别获取各所述历史原始图像的各个像素点亮度值或局部区域的区域平均亮度值；以及

基于所述多张历史原始图像的像素点亮度值或区域平均亮度值对所述当前原始图像进行亮度补偿。

6.如权利要求5所述的方法，其特征在于，分别获取各所述历史原始图像的各个像素点亮度值或局部区域的区域平均亮度值进一步包括：

获取各所述历史原始图像的各个像素点或局部区域基于各个色彩通道的像素点色度亮度值或区域平均色度亮度值；其中

基于所述多张历史原始图像的像素点亮度值或区域平均亮度值对所述当前原始图像进行亮度补偿进一步包括：

对于所述当前原始图像的各个色彩通道，基于所述多张所述历史原始图像对应的色彩通道的像素点色度亮度值或区域平均色度亮度值进行亮度补偿。

7.如权利要求5所述的方法，其特征在于，对所述原始图像进行亮度补偿还包括：

基于所述多张历史原始图像的区域平均亮度值确定所述当前原始图像中的闪烁区域；其中

基于所述多张历史原始图像的区域平均亮度值对所述当前原始图像进行亮度补偿进一步包括：

对于所述当前原始图像的所述闪烁区域，基于多张所述历史原始图像的闪烁区域的多个所述区域平均亮度值进行亮度补偿。

8.如权利要求1所述的方法，其特征在于，根据所述闪烁频率和所述特定工作频率至少动态调整所述摄像模块的目标拍摄频率进一步包括：

响应于仅存在单一且小于所述特定工作频率的闪烁频率，始终保持所述摄像模块的目标拍摄频率不大于所述闪烁频率；以及

基于所述摄像模块以所述目标拍摄频率获取的原始图像，生成对应所述特定工作频率的中间图像；其中

所述目标图像基于所述中间图像获得。

9.如权利要求1-8中任意一项所述的方法，其特征在于，所述MR装置还包括渲染模块，所述方法还包括：

判断所述渲染模块是否存在特定渲染频率；其中

响应于所述渲染模块存在特定渲染频率，且所述特定渲染频率与所述特定工作频率不匹配，控制所述渲染模块以所述特定渲染频率生成渲染图像，基于所述特定渲染频率的渲染图像生成对应所述特定工作频率的中间渲染图像，所述目标图像还基于所述中间渲染图像获得；或者

响应于所述渲染模块不存在特定渲染频率，控制所述渲染模块以所述特定工作频率生成渲染图像，所述目标图像还基于所述渲染图像获得。

10.如权利要求1-8中任意一项所述的方法，其特征在于，响应于仅存在单一的闪烁频率且所述显示模块不存在特定工作频率，始终保持所述摄像模块的目标拍摄频率为所述闪烁频率，并控制所述显示模块以所述闪烁频率显示所述目标图像。

11.如权利要求1-8中任意一项所述的方法，其特征在于，根据所述MR装置的工作状态判断所述显示模块是否存在特定工作频率进一步包括：

根据所述MR装置的工作模式、所述显示模块的显示内容判断所述显示模块是否存在特定工作频率；其中

响应于所述MR装置处于节能模式，所述显示模块存在小于第一预设阈值的特定工作频率；

响应于所述MR装置处于高性能模式，所述显示模块存在大于第二预设阈值的特定工作频率；

响应于所述显示模块的显示内容包括特定频率的视频源，所述显示模块的特定工作频率为所述视频源的特定频率的倍频。

12.一种MR装置，所述MR装置至少包括摄像模块和显示模块，其特征在于，所述MR装置还包括至少一个处理器；以及

与所述至少一个处理器耦合的存储器，所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理器执行时，使得所述MR装置执行如权利要求1-11中任一项所述的消除MR装置图像闪烁的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11中任一项所述的消除MR装置图像闪烁的方法。