CN110557626B

CN110557626B - 一种图像显示的方法及电子设备

Info

Publication number: CN110557626B
Application number: CN201910704631.4A
Authority: CN
Inventors: 梁天鹰; 赖武军
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2019-07-31
Filing date: 2019-07-31
Publication date: 2021-06-08
Anticipated expiration: 2039-07-31
Also published as: CN110557626A; WO2021018070A1

Abstract

本申请涉及终端技术领域，公开了一种图像显示的方法及电子设备，用以在不提高成本的基础上提高用户的观看体验。方法包括：电子设备在第一显示时间在显示屏上显示增强图像；增强图像为根据摄像头在第一采集时间采集的场景图像处理得到的图像；在第二显示时间在显示屏上显示第一插帧图像；第一插帧图像为根据运动传感器在第二采集时间采集的运动状态信息，以及所述第二显示时间与所述二采集时间的时差值，预测到所述运动传感器的位姿信息后，根据所述位姿信息，预测对应的投影矩阵；以及根据所述投影矩阵和所述增强图像预测得到的，所述第一采集时间与所述第二采集时间相同或相近。

Description

一种图像显示的方法及电子设备

技术领域

本申请实施例涉及终端技术领域，尤其涉及一种图像显示的方法及电子设备。

背景技术

近年来，随着科技的发展，混合现实(mixed reality，MR)技术的应用越来越广泛，MR是虚拟现实技术的进一步发展，MR技术通过在现实场景中添加虚拟场景信息，以增强用户体验的真实感。

基于人眼的构造，人眼可分辨的频率通常在120hz。当显示屏上视频刷新的帧率在90fps-120fps左右时，用户观看体验较佳。现有的MR头戴式显示设备的显示屏上视频刷新的帧率通常与MR头戴式显示设备的摄像头采集图像的采集帧率相同。而目前的MR头戴式显示设备上的摄像头的采集帧率一般为30fps，相比90fps低的太多。用户开始使用MR头戴式显示设备时，由于MR头戴式显示设备的显示屏上视频刷新的帧率远低于人眼可分辨的频率，导致用户人眼不能适应较低视频刷新的帧率(30fps)，出现眩晕的感觉，用户观看体验差。为了提高视频刷新帧率，可以在MR头戴式显示设备上安装高帧率的摄像头，这样不仅导致成本增加，并且高帧率的摄像头拍摄的图像的数量也增加，给MR头戴式显示设备中的软件处理增加了较大的负担。

发明内容

本申请实施例提供了一种图像显示的方法及电子设备，用以在不提高成本的基础上提高用户的观看体验。

第一方面，提供了一种图像显示的方法，所述方法包括：电子设备在第一显示时间在显示屏上显示增强图像；所述增强图像为所述电子设备根据摄像头在第一采集时间采集的场景图像处理得到的图像，所述第一显示时间晚于所述第一采集时间；所述电子设备在第二显示时间在所述显示屏上显示第一插帧图像；所述第二显示时间晚于所述第一显示时间；所述第一插帧图像为所述电子设备根据运动传感器在所述第二采集时间采集的运动状态信息，以及所述第二显示时间与所述二采集时间的时差值，预测到所述运动传感器的位姿信息后，根据所述位姿信息，预测对应的投影矩阵；以及根据所述投影矩阵和所述增强图像预测得到的，所述第一采集时间与所述第二采集时间相同或相近。

本申请中，通过根据摄像头采集的场景图像生成的增强图像来预测插帧图像，并在显示屏上显示插帧图像，在不提高摄像头的采集帧率的情况下，可以提高显示屏的显示帧率，实现在不提高电子设备成本的基础上提高用户的观看体验。

在一种可能的实现中，所述电子设备还可以在第三显示时间在所述显示屏上显示第二插帧图像；其中，所述第三显示时间晚于所述第二显示时间；所述第二插帧图像可以是所述电子设备根据运动传感器在所述第二采集时间采集的运动状态信息，以及所述第三显示时间与所述二采集时间的时差值，预测到所述运动传感器的位姿信息后，根据所述位姿信息，预测对应的投影矩阵；以及根据所述投影矩阵和所述增强图像预测得到的；或者所述第二插帧图像可以是所述电子设备根据运动传感器在所述第三采集时间采集的运动状态信息，以及所述第三显示时间与所述第三采集时间的时差值，预测到所述运动传感器的位姿信息后，根据所述位姿信息，预测对应的投影矩阵；以及根据所述投影矩阵和所述第一插帧图像预测得到的，所述第三采集时间与所述第二显示时间相同或相近。

在本申请中，电子设备可以在相邻的两帧增强图像之间插入多帧插帧图像显示，插帧图像可以是根据增强图像预测生成的，也可以是根据已经生成并显示的插帧图像预测生成的，可以在进一步不提高摄像头的采集帧率的情况下，提高显示屏的显示帧率。

在一种可能的实现中，所述运动状态信息包括速度和加速度；根据运动传感器在第二采集时间采集的运动状态信息，以及所述第二显示时间与所述第二采集时间的时差值，预测所述运动传感器的位姿信息，可以包括：根据公式：

预测所述运动传感器的相对位移，其中，

表示所述相对位移，x表示所述第二显示时间与所述第二采集时间的时间差，

表示速度，

表示加速度。

在一种可能的实现中，所述运动状态信息包括角速度和角加速度；根据运动传感器在第二采集时间采集的运动状态信息，以及所述第二显示时间与所述第二采集时间的时差值，预测所述运动传感器的位姿信息，可以包括：根据公式：

预测所述运动传感器的相对旋转角度，其中，

表示运动传感器的相对旋转角度，x表示所述第二显示时间与所述第二采集时间的时间差，

表示角速度，

表示角加速度。

在一种可能的实现中，可以根据公式：

来预测旋转矩阵，其中，R表示旋转矩阵，n表示运动传感器的旋转轴，T表示转置；再根据所述旋转矩阵，预测对应的投影矩阵。

在一种可能的实现中，还可以根据公式：S＝δ，预测第一插帧图像相对所述增强图像的位移，其中，S表示位移；再根据所述位移，预测对应的投影矩阵。

第二方面，本申请实施例提供的一种电子设备，包括：一个或多个处理器、存储器和摄像装置；其中，一个或多个计算机程序被存储在所述存储器中，当所述计算机程序被所述处理器执行时，使得所述电子设备能够通过摄像装置实现第一方面以及第一方面提供的任一可能实现的方法。

第三方面，本申请实施例提供的一种芯片，所述芯片与电子设备中的存储器耦合，所述芯片在运行时调用所述存储器中存储的计算机程序，以实现本申请实施例第一方面以及第一方面提供的任一可能实现的方法。

第四方面，本申请实施例提供的一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，当所述计算机程序在电子设备上运行时，使得电子设备执行第一方面以及第一方面任意一种可能的实现的方法。

第五方面，本申请实施例提供的一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行第一方面以及第一方面任意一种可能的实现的方法。

第六方面，本申请实施例提供了一种电子设备，包括处理器、存储器、摄像头、显示屏和运动传感器；其中所述摄像头用于采集场景图像；所述显示屏用于显示图像；所述运动传感器用于采集所述电子设备的运动状态信息；所述存储器中存储有计算机程序；所述处理器，用于调用所述计算机程序并执行，以使得所述电子设备执行第一方面以及第一方面任意一种可能的实现的方法。

附图说明

图1a为本申请实施例中提供的一种头戴式显示设备；

图1b为本申请实施例中提供的一种电子设备硬件结构图；

图2为本申请实施例中提供的一种图像显示的系统架构图；

图3为本申请实施例中提供的一种摄像头与显示屏的视场角产生的图像的示意图；

图4a为本申请实施例中提供的一种摄像头与显示屏的视场角产生的图像的示意图；

图4b为本申请实施例中提供的一种预测插帧图像的示意图；

图5为本申请实施例中提供的一种摄像头与显示屏的视场角产生的图像的示意图；

图6为本申请实施例中提供的一种三维空间中的运动状态示意图；

图7为本申请实施例中提供的一种图像显示的过程示意图；

图8为本申请实施例中提供的一种电子设备。

具体实施方式

由于现有的电子设备中显示屏显示的图像通常是根据摄像头采集的场景图像生成的增强图像，所以显示屏的显示帧率(视频刷新的帧率)通常与摄像头采集图像的采集帧率相同，而通常摄像头采集图像的采集帧率较低，因此会导致电子设备的显示帧率也较低，进而导致用户观看增强图像的体验较差。为了提高用户的观看体验，本申请实施例中提出了一种图像显示方法和电子设备，主旨思想为：电子设备可以预测插帧图像，将预测出的插帧图像插入相邻的两帧增强图像之间显示，这样就可以在摄像头的采集帧率不变的情况下，提高显示屏的显示帧率，进而提高用户的观看体验。图像显示方法和电子设备是基于同一技术构思的，由于方法和电子设备解决问题的原理相似，因此电子设备与方法的实施例可以相互参见，重复之处不再赘述。

本申请实施例可以应用于支持视频透视功能的电子设备。其中，电子设备又可以称之终端、终端设备、用户设备等。示例的，本申请实施例的电子设备可以为便携式电子设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴设备(如智能手表)、车载设备等。便携式电子设备的示例性实施例包括但不限于搭载

或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本申请其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是具有触敏表面(例如触控面板)的台式计算机、头戴式显示设备等。

接下来，对本申请实施例使用到的部分用语进行解释说明，以便于本领域技术人员理解。

1)、场景图像：摄像头采集的真实场景中的图像。

2)、增强图像：采用MR技术，在摄像头采集的图像上增加虚拟场景图像信息后得到的图像，也可以称为根据真实场景图像生成的图像。电子设备采用MR技术在真实场景图像中增加虚拟场景图像信息的过程可以是：电子设备的处理器对真实场景图像进行同步定位和映射(simultaneously localization and mapping，SLAM)处理和3D环境建模处理等，得到三维环境模型、摄像头的位姿等信息。处理器根据三维环境模型，确定虚拟场景图像信息，虚拟场景图像信息中包括待渲染的虚拟物体。再根据摄像头的位姿信息，在渲染坐标系的合适位置上渲染虚拟物体，则实现了在真实场景图像中增加虚拟场景图像信息，得到增强图像。对场景图像进行图像处理，生成增强图像的过程包括但不限于进行以下处理：去畸变、非共面行校准、缩放、降噪、白平衡、位姿计算、深度计算、SLAM、3D环境建模，生成虚拟物体、虚拟现实合成等。

3)、插帧图像：根据增强图像和投影矩阵，生成的图像；或者根据插帧图像和投影矩阵生成的图像。

如图1a所示，为本申请实施例可以适用的一种电子设备结构图，该电子设备为头戴式显示设备，示例的，可以为MR头戴式显示设备。其中包括头戴式显示设备主体11，摄像头12，显示屏13等。头戴式显示设备主体11中可以内藏控制处理器、存储器、运动传感器等器件。头戴式显示设备的摄像头12可以是如图1a所示的一个，当然也可以是多个。当用户正确佩戴头戴式显示设备时，一般情况下，摄像头12位于用户头部正前方。摄像头12相当于用户的眼睛，可以采集真实的场景图像。并将采集的场景图像交由处理器处理，处理器采用MR技术，在真实的场景图像中增加虚拟场景图像信息，得到增强图像。处理器再将处理得到的增强图像在显示屏13上进行显示或者播放，这样用户就可以看到添加了虚拟场景信息的图像，从而实现观看和体验了虚拟现实效果。显示屏13可以是如图1a所示的左右两个眼睛区域的显示屏，当然也可以将如图1a所示的左右两个眼睛区域的显示屏合成一块整体的显示屏。示例性地，如图1b所示，为本申请实施例可以应用的一种电子设备的硬件结构示意图，比如图1b所示的结构可以是图1a所示的头戴式显示设备内部的硬件结构图。具体的，如图1b所示，电子设备100可以包括处理器110、外部存储器接口120、内部存储器121、USB接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块151、无线通信模块152、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、按键190、马达191、指示器192、摄像头193、显示屏194、以及SIM卡接口160等。其中传感器模块180可以包括运动传感器181，运动传感器181可以是陀螺仪传感器1811、加速度传感器1812。在另一些实施例中，传感器模块180还包括环境光传感器、压力传感器、触摸传感器、气压传感器、磁传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、和骨传导传感器等中的一个或多个。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)、控制器、存储器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、和/或神经网络处理器(neural-network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

显示屏194用于显示图像，视频等，比如显示屏194可以是图1a中的显示屏13。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)、柔性发光二极管(flex light-emitting diode，FLED)、Miniled、MicroLed、Micro-oLed、量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

在本申请实施例中，显示屏194可以是一个一体的柔性显示屏，也可以采用两个刚性屏以及位于两个刚性屏之间的一个柔性屏组成的拼接的显示屏。

摄像头193(前置摄像头或者后置摄像头，或者一个摄像头既可作为前置摄像头，也可作为后置摄像头)用于捕获静态图像或视频，比如摄像头193可以是图1a中的摄像头12。通常，摄像头193可以包括感光元件比如镜头组和图像传感器，其中，镜头组包括多个透镜(凸透镜或凹透镜)，用于采集待拍摄物体反射的光信号，并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的原始图像。

内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、应用程序(比如相机等)等程序指令。存储数据区可存储电子设备100使用过程中所创建的数据(比如图像、视频)等。其中，处理器110通过运行存储在内部存储器121的程序指令，从而执行电子设备100的各种功能应用以及数据处理。例如，处理器110可以通过运行内部存储器121中的程序指令，执行本申请实施例的显示方法。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、通用闪存存储器(universal flash storage，UFS)等。

当然，本申请实施例提供的算法的代码还可以存储在外部存储器中。外部存储器接口120可以用于连接外部存储卡(例如，Micro SD卡)，实现扩展电子设备100的存储能力。这种情况下，处理器110可以通过外部存储器接口120运行存储在外部存储器中的算法的代码，从而执行电子设备100的各种功能应用以及数据处理。

运动传感器181可以用于测量角度速，角加速度，速度，加速度等，比如运动传感器181可以是图1a中的头戴式显示设备的主体11中的运动传感器。运动传感器181可以确定电子设备100的运动姿态、拍摄防抖、导航、体感游戏场景等。

陀螺仪传感器1811可以包括三个陀螺仪，可以检测电子设备100在各个方向上(一般为三轴)的角速度大小和角加速度大小。

加速度传感器1812可以包括三个加速度计，可检测电子设备100在各个方向上(一般为三轴)的速度大小和加速度大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100的姿态，应用于横竖屏切换、计步器等应用。

压力传感器可以用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器以设置于显示屏194。压力传感器的种类很多，如电阻式压力传感器、电感式压力传感器、电容式压力传感器等。

触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏194，由触摸传感器与显示屏194组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触控操作。触摸传感器可以将检测到的触控操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触控操作相关的视觉输出。在另一些实施例中，触摸传感器也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块151，无线通信模块152，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块151可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块151可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块151可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块151还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块151的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块151的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块151或其他功能模块设置在同一个器件中。

无线通信模块152可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块152可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块152经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块152还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

另外，电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

按键190可以包括开机键、音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键190输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。电子设备100可以利用马达191产生振动提示(比如开机振动提示)。电子设备100中的指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。电子设备100中的SIM卡接口160用于连接SIM卡。SIM卡可以通过插入SIM卡接口160，或从SIM卡接口160拔出，实现和电子设备100的接触和分离。

电子设备100可以通过GPU、显示屏194、以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

在另一些实施例中，处理器110还可以包括一个或多个接口。例如，接口可以为SIM卡接口160。又例如，接口还可以为USB接口130。再例如，接口还可以为集成电路(inter-integrated circuit，I2C)接口、集成电路内置音频(inter-integrated circuit sound，I2S)接口、脉冲编码调制(pulse code modulation，PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、通用输入输出(general-purposeinput/output，GPIO)接口等。可以理解的是，本申请实施例处理器110可以通过接口连接电子设备100的不同模块，从而使得电子设备100能够实现不同的功能。例如拍照、处理等。需要说明的是，本申请实施例对电子设备100中接口的连接方式不作限定。

其中，SIM卡接口160可以用于连接SIM卡。SIM卡可以通过插入SIM卡接口160，或从SIM卡接口160拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口160可以支持Nano SIM卡、Micro SIM卡、SIM卡等。同一个SIM卡接口160可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口160也可以兼容不同类型的SIM卡。SIM卡接口160也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100还可以采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。例如，当SIM卡接口160只能插入一张SIM卡时，则电子设备100可以通过SIM卡接口160中插入的SIM卡接入一个蜂窝网络。再例如，当SIM卡接口160能够插入两张SIM卡时，则电子设备100可以通过SIM卡接口160中插入的两张SIM卡分别接入一个蜂窝网络。

USB接口130是符合USB标准规范的接口。例如，USB接口130可以包括Mini USB接口、Micro USB接口、USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据，也可以用于连接耳机，通过耳机播放音频。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备100供电。

电源管理模块141用于连接电池142、充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110、内部存储器121、外部存储器、显示屏194、摄像头193、移动通信模块151和无线通信模块152等供电。电源管理模块141还可以用于监测电池容量、电池循环次数、电池健康状态(漏电、阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

下面以图1b所示的电子设备100的硬件结构为例，对本申请实施例进行详细说明。

应理解，本申请实施例涉及的多个，是指大于或等于两个。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。且在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。另外，在本申请实施例中，“示例的”一词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或实现方案不应被解释为比其它实施例或实现方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。

为了提高头戴式显示设备中显示屏193(图1a中的显示屏13)的显示帧率，本申请提出了头戴式显示设备可以预测一帧或多帧插帧图像，将预测出的一帧或多帧插帧图像插入相邻的两帧增强图像之间显示。具体的如图2所示系统架构图，目前，图像显示的方式为：摄像头193采集第m帧场景图像，经过图像处理后，生成第n帧增强图像，并在显示屏194上显示第n帧增强图像。摄像头193采集第m+1帧场景图像，经过图像处理后，生成第n+1帧增强图像，并在显示屏194上显示第n+1帧增强图像。在本申请的改进之处在于，头戴式显示设备在根据第m帧场景图像生成第n帧增强图像后，还可以根据运动传感器181采集的运动状态信息进行位姿预测，再根据预测出的位姿和根据第m帧场景图像生成的第n帧增强图像，进行图像重投影，预测插帧图像，并在显示屏194上将插帧图像显示在根据第m帧场景图像生成的第n帧增强图像和根据第m+1帧场景图像生成的第n+1帧增强图像之间。

另外，图2仅是给出了根据增强图像预测插帧图像的示例，在本申请中，也可以根据插帧图像预测插帧图像。例如，显示屏194连续显示5帧图像，第一帧和第五帧均为根据摄像头193采集的场景图像生成的增强图像，第二帧、第三帧和第四帧均为插帧图像。第二帧图像可以是根据第一帧增强图像预测的插帧图像。第三帧图像可以是根据第一帧增强图像预测的插帧图像，也可以是根据第二帧插帧图像预测的插帧图像。第四帧图像可以是根据第一帧增强图像预测的插帧图像，还可以是根据第二帧插帧图像预测的插帧图像，也可以是根据第三帧插帧图像预测的插帧图像。

本申请采用预测插帧图像的方式可以提高显示屏的显示帧率，这样即使不增加摄像头的采集帧率，显示屏视频刷新的帧率也会提高，因此使得在不增加成本的基础上，可以提高用户的观看体验。

如果要提高摄像头的采集帧率，则对摄像头采集的图像的处理频率也要相应增加，上述的这些处理过程会增加头戴式显示设备中软件处理的负担。而本申请实施例通过预测插帧图像的方法，则只需要对上述处理过程后的增强图像或已经显示的插帧图像进行重投影，无需再进行场景图像到增强图像的处理过程。而图像重投影的运算量相对于上述的场景图像到增强图像的处理过程的运算量低较多，因此还可以降低头戴式显示设备中软件的处理负担。

上述图2示意出在根据第m帧场景图像生成的第n帧增强图像和根据第m+1帧场景图像生成的第n+1帧增强图像之间插入一帧插帧图像的方式仅是一种示例。在实际应用中，也可以是在两帧增强图像之间插入两帧或多帧插帧图像等。具体插入几帧插帧图像，是根据头戴式显示设备中显示屏194的显示帧率和摄像头193的采集帧率来决定的。

头戴式显示设备中显示屏194的显示帧率可以是用户设置的，例如可以设置显示屏194的显示帧率为70fps、80fps等。例如，显示屏194的显示帧率为80fps，摄像头193的采集帧率为30fps，则需要将预测的80-30＝50帧的插帧图像插入根据摄像头193采集的30帧场景图像进行处理得到的30帧增强图像之间。再例如，显示屏194的显示帧率为75fps，摄像头193的采集帧率为35fps，则需要将预测的73-35＝40帧的插帧图像插入根据摄像头193采集的35帧场景图像进行处理得到的35帧增强图像之间。

需要说明的是，摄像头193的视场角与显示屏194的视场角可以是相同的，也可以是不同的。如图3所示，介绍了摄像头193的视场角与显示屏194的视场角的几种场景：

场景a：摄像头193的视场角与显示屏194的视场角相同，则根据摄像头193采集的场景图像生成的增强图像的尺寸与显示屏194的尺寸完全相同。

场景b：摄像头193的视场角大于显示屏194的视场角，则根据摄像头193采集的场景图像生成的增强图像的尺寸大于显示屏194的尺寸，根据场景图像生成的增强图像在显示屏194中不会被完整显示。

场景c：摄像头193的视场角小于显示屏194的视场角，则根据摄像头193采集的场景图像生成的增强图像的尺寸小于显示屏194的尺寸，根据场景图像生成的增强图像在显示屏194上可以完全显示，并且还会出现图像边框。

通常情况下，头戴式显示设备中的摄像头193(图1a中是摄像头12)的视场角大于显示屏194的视场角。如图4a所示，头戴式显示设备根据摄像头193在t1时间之前采集的第m帧场景图像生成的增强图像(实线框)中包括“足球”的一部分、“狗”、“树”。如果头戴式显示设备的显示屏194的视场角小于摄像头193的视场角，显示屏194不能完全显示生成的增强图像，这样在t1时间在显示屏上显示的增强图像(虚线框)中可能仅包括“狗”和“树”。

用户佩戴头戴式显示设备，用户的头部移动带动摄像头193移动，摄像头采集的第m+1帧场景图像相对第m帧场景图像可能也会发生些许变化。头戴式显示设备根据摄像头193在t2时间之前采集的第m+1帧场景图像生成的增强图像(实线框)中包括“狗”的一部分，“树”、“足球”。这样在图t2时间，在显示屏194上显示的增强图像(虚线框)中可能仅包括“足球”的一部分、“狗”的一部分和“树”。

结合图4a所示，介绍如图4b所示的视频插帧示意图，其中，图像a为图4a中的t1时间在显示屏194上显示的增强图像，图像d为图4a中的t2时间在显示屏194上显示的增强图像。图像b和c为根据图像a和图4a中图像a对应的根据摄像头193在t1时间之前采集的第m帧场景图像生成的增强图像预测的插帧图像，图像e为根据图像d和图4a中图像d对应的根据摄像头193在t2时间之前采集的第m+1帧场景图像生成的增强图像预测的插帧图像。预测插帧图像的过程后续会进行详细介绍。通过将预测的插帧图像b和插帧图像c插入增强图像a和增强图像d之间进行显示，可以提高显示屏194的显示帧率。

如图5所示，头戴式显示设备中的摄像头193(图1a中是摄像头12)的视场角与显示屏194的视场角相同，根据真实的场景图像生成的增强图像(包括足球、狗、树)可以在显示屏194上完整的显示，根据该增强图像预测的插帧图像中包括狗的一部分，足球和树，在显示屏上显示该插帧图像时，会出现图像边框。

在本申请中，头戴式显示设备的显示屏194显示连续的多帧时，显示屏194显示的第1帧图像，一定是根据摄像头193采集的场景图像生成的增强图像。接下来显示屏194上显示的第2帧图像，可能是根据场景图像生成增强图像，也可能是插帧图像。

假定头戴式显示设备已经生成了用于显示屏显示的第n帧图像，接下来以生成用于显示屏显示的第n+1帧图像为例，详细说明第n+1帧图像的生成过程。n为大于或等于1的整数。应该理解的是，头戴式显示设备生成第n+1帧图像，及第n+1帧图像后的任一帧图像的过程均与以下介绍的生成第n+1帧图像的过程相同。

头戴式显示设备在生成第n+1帧图像时，可以先确定第n+1帧图像是增强图像，还是插帧图像。具体过程如下：

例如，头戴式显示设备可以设置一个标志位，该标志位用于标记当前是否存在未被使用的场景图像，其中，被使用是指该场景图像已被用于生成增强图像。头戴式显示设备在生成第n+1帧图像之前，可以通过检测标志位，识别当前是否存在未被使用的场景图像。如果存在，则确定第n+1帧图像是增强图像，如果不存在，则确定第n+1帧图像为插帧图像。

再例如，可以根据显示屏194的显示帧率和摄像头193的显示帧率，确定是否存在未被使用的场景图像。比如，头戴式显示设备的显示屏194的显示帧率为90fps，头戴式显示设备的显示屏194每隔11.1ms更新显示一次图像。摄像头193的采集帧率为30fps，摄像头193每隔33.3ms采集一次场景图像。头戴式显示设备可以记录显示每帧图像的时间(可称为显示时间)，还可以记录摄像头193采集每帧场景图像的时间(可称为采集时间)。头戴式显示设备可以先确定第n+1帧图像的显示时间与最晚的(距离当前时间最近的)采集时间的时差是否小于设定阈值，该设定阈值例如可以是显示屏194显示相邻两个图像的时间间隔(例如11.1ms)。如果时差小于设定的阈值，则认为存在未被使用的场景图像，此时可以确定第n+1帧图像为增强图像。如果时差大于设定的阈值，则认为最近一次采集的场景图像已经被用于生成增强图像了，暂无可使用的场景图像，此时需要插帧，第n+1帧图像为插帧图像。

以下介绍头戴式显示设备预测插帧图像的过程，具体可以为：

首先需要说明的是，在本申请中，头戴式显示设备根据摄像头193采集的场景图像生成增强图像的耗时是较长的，可以把摄像头193采集场景图像的采集时间，与增强图像的显示时间区分开来，也就是场景图像的采集时间在前，显示根据场景图像得到的增强图像的显示时间在后。头戴式显示设备在根据增强图像预测插帧图像，或者根据插帧图像预测插帧图像的耗时是较短的，可以忽略不计，则可以将插帧图像的生成时间与插帧图像的显示时间看作是一个时间点。

理论上，头戴式显示设备可以根据待预测的插帧图像之前显示的任一帧图像来预测插帧图像，这里将用于预测插帧图像的图像称为参考图像，也就是参考图像可以是待预测的插帧图像之前显示的任一帧图像。

头戴式显示设备的处理器110根据运动传感器181在目标时间采集的运动状态信息，以及待预测的插帧图像的显示时间与所述目标时间的时差值，可以预测得到运动传感器181的位姿信息。目标时间与参考图像有关。参考图像可能是已经显示的增强图像，也可能是已经显示的插帧图像。

这里以头戴式显示设备选择增强图像为参考图像来预测插帧图像为例来说明，则目标时间可以是头戴式显示设备选择的增强图像对应真实的场景图像的采集时间。一般运动传感器181的采集帧率高于摄像头193的采集帧率，所以运动传感器181采集运动状态信息的时间(可称为采集时间)与摄像头193采集场景图像的时间一般不会重合。基于此情况，目标时间与头戴式显示设备选择的增强图像对应真实的场景图像的采集时间可能不同，头戴式显示设备可以选择与真实的场景图像的采集时间最接近的运动传感器的采集时间作为目标时间。

为了提高预测的准确性，示例的，头戴式显示设备可以选择最近一次显示的增强图像为参考图像来预测插帧图像。最近一次显示的增强图像可能是待预测的插帧图像的上一帧图像，也可能是待预测的插帧图像的上一帧的上一帧图像。

头戴式显示设备也可以选择最近一次显示的图像(也就是待预测的插帧图像的上一帧图像)为参考图像来预测第一插帧图像，所述最近一次显示的图像可能是增强图像，也可能是插帧图像。如果所述最近一次显示的图像为增强图像，所述目标时间与所述最近一次显示的增强图像对应的场景图像的采集时间相同或相近。

如果所述最近一次显示的图像为插帧图像，所述目标时间可以与最近一次显示的插帧图像的显示时间相同。一般运动传感器181的采集帧率与显示屏194的显示帧率不同，所以运动传感器181的采集时间与显示屏194的显示时间一般不会重合。基于此情况，所述目标时间与最近一次显示的插帧图像的显示时间可能不同，头戴式显示设备可以选择与最近一次显示的插帧图像的显示时间最接近的运动传感器的采集时间作为目标时间。

头戴式显示设备还可以选择上一帧的上一帧或者更早之前的显示图像作为参考图像来预测插帧图像，具体过程与上述描述的类似，重复之处不再进行赘述。

如图7所示，以一个具体的实施例详细介绍图像显示的过程。在该实施例中，显示屏194连续显示3帧图像，第一帧为增强图像，第二帧为插帧图像，第三帧为插帧图像。为了方便描述，以下将增强图像的显示时间定义为第一显示时间，将用于生成所述增强图像的场景图像的采集时间定义为第一采集时间，将第二帧插帧图像定义为第一插帧图像，第一插帧图像的显示时间定义为第二显示时间，将第三帧插帧图像定义为第二插帧图像，第二插帧图像的显示时间定义为第三显示时间。包括如下步骤：

步骤701：电子设备100(比如头戴式显示设备，以下均以电子设备说明)中的处理器110在第一显示时间在显示屏194上显示增强图像；所述增强图像为处理器根据摄像头193在第一采集时间采集的场景图像处理得到的图像，所述第一显示时间晚于所述第一采集时间；

步骤702：电子设备中的处理器110在第二显示时间在显示屏194上显示第一插帧图像；所述第二显示时间晚于所述第一显示时间；所述第一插帧图像为处理器根据运动传感器181在第二采集时间采集的运动状态信息，以及所述第二显示时间与所述二采集时间的时差值，预测到所述运动传感器的位姿信息后，根据所述位姿信息，预测对应的投影矩阵；以及根据所述投影矩阵和所述增强图像预测得到的，所述第一采集时间与所述第二采集时间相同或相近。

步骤703：电子设备中的处理器110在第三显示时间在显示屏194上显示第二插帧图像；所述第三显示时间晚于所述第二显示时间；所述第二插帧图像可以通过下述两种方式来得到：

方式一：所述第二插帧图像可以是处理器110根据运动传感器181在所述第二采集时间采集的运动状态信息，以及所述第三显示时间与所述二采集时间的时差值，预测到所述运动传感器181的位姿信息后，根据所述位姿信息，预测对应的投影矩阵；以及根据所述投影矩阵和所述增强图像预测得到的；

或者，

方式二：所述第二插帧图像还可以是处理器110根据运动传感器181在所述第三采集时间采集的运动状态信息，以及所述第三显示时间与所述三采集时间的时差值，预测到所述运动传感器181的位姿信息后，根据所述位姿信息，预测对应的投影矩阵；以及根据所述投影矩阵和所述第一插帧图像预测得到的，所述第三采集时间与所述第二显示时间相同或相近。

以下以将头戴式显示设备为例更为具体的说明预测插帧图像的过程：

头戴式显示设备中的处理器110根据预测的位姿信息，预测对应的旋转矩阵R和位移S，根据旋转矩阵R和位移S预测投影矩阵。关于投影矩阵的具体计算方式，在本申请中不做限定。例如，头戴式显示设备中的处理器110可根据旋转矩阵R、位移S以及摄像头采集的场景图像(或根据场景图像处理后的增强图像)的分辨率等参数，综合计算投影矩阵。

头戴式显示设备根据参考图像和预测的投影矩阵，预测插帧图像。在预测插帧图像时，还可以考虑其它因素，例如包括：显示屏的尺寸，已显示的参考图像的坐标信息等。

接下来介绍头戴式显示设备根据运动传感器181采集的运动状态信息，预测运动传感器的位姿信息的过程。如图6所示，提供了一种三维空间中的运动状态示意图，假定用户佩戴头戴式显示设备，以用户的头部左右方向为x轴，头部前后方向为y轴，头部上下方向为y轴，用户的头部发生移动时，运动传感器181采集的运动状态信息包括以下6种运动状态中的一种或多种：

围绕以用户头部前后方向(图中的前后，即y轴)为轴的旋转；

围绕以用户头部左右方向(图中的左右，即x轴)为轴的旋转；

围绕以用户头部上下方向(图中的上下，即z轴)为轴的旋转；

沿着用户头部前后方向(图中的前后，即y轴)的平移；

沿着用户头部左右方向(图中的左右，即x轴)的平移；

沿着用户头部上下方向(图中的前后，即z轴)的平移。

运动传感器181可以测量在世界坐标系下，每维(共三维)空间中的速度

角速度

加速度

和角加速度

在每维空间中，速度

角速度

加速度

和角加速度

是矢量，具有大小和方向，该方向是指在三维空间中针对每个维度对应的坐标轴的方向。结合图6，运动传感器采集的沿着坐标轴(x轴、y轴、z轴)的平移可以通过速度

和加速度

来表示。运动传感器采集的沿着坐标轴(x轴、y轴、z轴)的旋转可以通过角速度

和角加速度

来表示。具体的，可以是陀螺仪传感器1811检测三维空间中每个维度的角速度

和角加速度

加速度传感器1812检测三维空间中每个维度的速度

和加速度

一般地，运动传感器181中设置有旋转轴n，该旋转轴n可以与世界坐标系下的坐标轴重合，也可以不重合。运动传感器181在测量出三维空间中的速度

角速度

加速度

和角加速度

后，还可以计算运动传感器181最终输出的速度和加速度，围绕旋转轴n的角速度和角加速度，并将计算结果输出。对于头戴式显示设备中的处理器110来说，运动传感器181采集的运动状态信息为一个速度、一个加速度，以及围绕旋转轴n的一个角速度、和一个角加速度，而非在三维空间中的三个速度

角速度

加速度

和角加速度

当然也可以是运动传感器181输出三个维度的速度

角速度

加速度

和角加速度

头戴式显示设备的处理器110根据三个维度的速度

角速度

加速度

和角加速度

计算出一个速度、一个加速度，以及围绕旋转轴n的一个角速度、和一个角加速度。

头戴式显示设备可以根据最终的一个速度、一个加速度，以及围绕旋转轴n的一个角速度、和一个角加速度，预测位姿信息，位姿信息包括在世界坐标系下的位移、以及围绕旋转轴n旋转的角度等。

例如，在世界坐标系下，运动传感器181在第一时间处于第一位置，在第二时间处于第二位置。位姿信息包括：第二位置相对第一位置的相对位移和相对旋转角度，其中，第二时间晚于第一时间。

在本申请中，可以根据以下公式，计算运动传感器181的相对位移。示例的，公式可以符合：

其中，

表示相对位移，包括大小和方向，x表示第二时间与第一时间的时间差；

在本申请中，可以根据以下公式，计算运动传感器181的相对旋转角度。示例的，公式可以符合：

其中，n表示运动传感器的旋转轴，

表示运动传感器围绕旋转轴n的旋转的角度，即相对旋转角度，包括大小和方向，x表示第二时间与第一时间的时间差。

需要说明的是，前述已经介绍过头戴式显示设备在第二显示时间显示第一插帧图像，并根据运动传感器181在第二采集时间采集的运动状态信息，以及第二显示时间与第二采集时间的时差值，预测第一插帧图像对应的位姿信息。基于此，在预测第一插帧图像时，第一时间可以是上述描述的第二采集时间，第二时间可以是上述描述的第二显示时间。

前述已经介绍过头戴式显示设备在第三显示时间显示第二插帧图像，并根据运动传感器181在第二采集时间采集的运动状态信息，以及第三显示时间与第二采集时间的时差值，预测第二插帧图像对应的位姿信息。基于此，在预测第二插帧图像时，第一时间可以是上述描述的第二采集时间，第二时间可以是上述描述的第三显示时间。

前述还介绍过头戴式显示设备根据运动传感器181在第二采集时间采集的运动状态信息，以及第三显示时间与第三采集时间的时差值，预测第二插帧图像对应的位姿信息。基于此，在预测第二插帧图像时，第一时间可以是上述描述的第三采集时间，第二时间可以是上述描述的第三显示时间。

然后，头戴式显示设备中的处理器110可以根据上述预测的运动传感器181围绕旋转轴n旋转的相对旋转角度

(包括大小和方向)，预测旋转矩阵R，示例的，可以采用及罗德里格斯公式预测旋转矩阵R，公式可以符合：

其中，n表示旋转轴，

表示运动传感器181围绕旋转轴n旋转了θ角度，T表示转置，符号^是向量到反对称矩阵的转换符，表示从一个向量转换成反对称矩阵。

根据上述预测的运动传感器181的相对位移

(包括大小和方向)，预测待显示的插帧图像相对已显示的参考图像的位移S；例如可以是根据公式：S＝δ确定。

在预测出旋转矩阵R和位移S之后，就可以预测投影矩阵，然后根据投影矩阵预测待显示的插帧图像。

上述本申请提供的实施例中，从电子设备作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能，电子设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于计数方案的特定应用和设计约束条件。

如图8所示，本申请实施例提出了一种电子设备800，该电子设备800可以包括：一个或多个处理器801、一个或多个存储器802，其中一个或多个计算机程序803被存储在上述存储器802中并被配置为被该一个或多个处理器801执行，以实现本申请实施例提供的如图7所示的图像显示方法。上述各器件可以通过一个或多个通信总线804连接。

本申请实施例图8所示的电子设备可以是手机、ipad、笔记本电脑、智能电视、穿戴式设备(例如智能手表、智能头盔或智能手环等)等。当图8所示的电子设备是手机时，其结构可以参见图1b所示，比如，存储器803是内部存储器121。处理器801可以是处理器110。此外，电子设备还可以包括用于显示图像的显示屏，比如图1b中的显示屏194，和用于采集所述电子设备的运动状态信息运动传感器，比如图1b中的运动传感器181；更为具体的描述请参照图1b的详细介绍。

上述各个实施例中涉及处理器可以是通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的指令，结合其硬件完成上述方法的步骤。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内，因此本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种图像显示的方法，其特征在于，包括：

电子设备在第一显示时间在显示屏上显示增强图像；所述增强图像为所述电子设备根据摄像头在第一采集时间采集的场景图像采用混合现实MR技术处理得到的图像，所述第一显示时间晚于所述第一采集时间；

所述电子设备在第二显示时间在所述显示屏上显示第一插帧图像；所述第二显示时间晚于所述第一显示时间；所述第一插帧图像为所述电子设备根据运动传感器在第二采集时间采集的运动状态信息，以及所述第二显示时间与所述第二采集时间的时差值，预测到所述运动传感器的位姿信息后，根据所述位姿信息，预测对应的投影矩阵；以及根据所述投影矩阵和所述增强图像预测得到的，所述第一采集时间与所述第二采集时间相同或相近；

其中，还包括：

所述电子设备在第三显示时间在所述显示屏上显示第二插帧图像；其中，所述第三显示时间晚于所述第二显示时间；

所述第二插帧图像为所述电子设备根据运动传感器在所述第二采集时间采集的运动状态信息，以及所述第三显示时间与所述第二采集时间的时差值，预测到所述运动传感器的位姿信息后，根据所述位姿信息，预测对应的投影矩阵；以及根据所述投影矩阵和所述增强图像预测得到的；或者

所述第二插帧图像为所述电子设备根据运动传感器在第三采集时间采集的运动状态信息，以及所述第三显示时间与所述第三采集时间的时差值，预测到所述运动传感器的位姿信息后，根据所述位姿信息，预测对应的投影矩阵；以及根据所述投影矩阵和所述第一插帧图像预测得到的，所述第三采集时间与所述第二显示时间相同或相近；

其中，所述运动状态信息包括速度和加速度；

根据运动传感器在第二采集时间采集的运动状态信息，以及所述第二显示时间与所述第二采集时间的时差值，预测所述运动传感器的位姿信息，包括：

根据公式：