CN110969706A - 增强现实设备及其图像处理方法、系统以及存储介质 - Google Patents

Abstract

本申请公开了一种增强现实设备及其图像处理方法、系统以及存储介质，涉及扫描显示技术领域。该处理方法根据目标图像帧和所述目标图像帧之前的历史图像帧的位置信息预测第一位置信息；依据所述第一位置信息对所述目标图像帧进行异步时间扭曲，以得到中间图像帧；在显示所述目标图像帧之后，显示所述中间图像帧。本申请通过位置信息预测与异步时间扭曲技术地结合，虚拟出中间图象帧并显示，可以使得图像帧帧率得以提高，可以减少从获取并处理得到图像帧的这一过程的某个阶段的延迟，进而可以降低显示图象帧的延迟。

Description

增强现实设备及其图像处理方法、系统以及存储介质

技术领域

本申请涉及扫描显示技术领域，具体涉及一种增强现实设备及其图像处理方法、系统以及存储介质。

背景技术

增强现实(Augmented Reality，简称AR)，是在虚拟现实的基础上发展起来的新技术，也被称之为混合现实(Mixed Reality，简称MR)。是利用虚拟物体对真实场景进行现实增强的技术。增强现实是基于摄像头等采集器件采集到的真实物理环境，通过将文本、二维图像、三维图像模型等虚拟生成的信息标注在显示屏所显示的真实物理环境中的物体上，从而实现对用户身处的现实物理环境的注释、说明、或者增强、强调现实环境的某些效果。然而在处理的过程中，会因为真实物理环境的不同，而出现不同的处理时长，即增强现实(Augmented Reality，简称AR)系统存在延迟，比如你佩戴AR眼镜给一个人头上戴个帽子，你会发现该帽子会往返运动。

发明内容

本申请提供一种AR图像处理方法及其系统以及计算机可读存储介质；旨在降低延迟。

为了解决上述技术问题，采用的技术方案为：一种增强现实设备的图像处理方法，包括：

根据目标图像帧和所述目标图像帧之前的历史图像帧的位置信息预测第一位置信息；

依据所述第一位置信息对所述目标图像帧进行异步时间扭曲，以得到中间图像帧；

在显示所述目标图像帧之后，显示所述中间图像帧。

进一步的技术方案改进在于，所述根据目标图像帧和所述目标图像帧之前的历史图像帧的位置信息预测第一位置信息，包括：

将所述目标图像帧和所述目标图像帧之前的历史图像帧的位置信息进行曲线拟合，以得到目标拟合曲线；

在所述目标拟合曲线上测算位于所述目标图像帧的位置信息之后的所述第一位置信息。

进一步的技术方案改进在于，所述将所述目标图像帧和所述目标图像帧之前的历史图像帧的位置信息进行曲线拟合，以得到目标拟合曲线，包括：

确定所述目标图像帧和所述目标图像帧之前的历史图像帧的位置信息所对应的时间；

在坐标系内，基于时间坐标轴对所述目标图像帧和所述目标图像帧之前的历史图像帧的位置信息进行曲线拟合，以得到所述目标拟合曲线；

所述在所述目标拟合曲线上测算位于所述目标图像帧的位置信息之后的所述第一位置信息，包括：

确定位于第一时间后且与所述第一时间具有预设时间间隔的第二时间，所述第一时间为所述目标图像帧的位置信息所对应的时间；

在所述第一时间与所述第二时间之间选取第三时间，并在所述目标拟合曲线上测算对应于所述第三时间的位置信息，并标记为所述第一位置信息。

进一步的技术方案改进在于，所述目标图像帧包括左眼视角图像帧和右眼视角图像帧，所述中间图像帧包括左眼视角中间图像帧和右眼视角中间图像帧；

在所述根据目标图像帧和所述目标图像帧之前的历史图像帧的位置信息预测第一位置信息步骤之前，还包括：

获取所述左眼视角图像帧和所述右眼视角图像帧；

对所述左眼视角图像帧及所述右眼视角图像帧进行图像处理；

所述依据所述第一位置信息对所述目标图像帧进行异步时间扭曲，以得到中间图像帧，包括：

依据所述第一位置信息对处理后的所述左眼视角图像帧及所述右眼视角图像帧进行异步时间扭曲，以得到与所述左眼视角图像帧对应的所述左眼视角中间图像帧及与所述右眼视角图像帧对应的所述右眼视角中间图像帧；

所述显示所述中间图像帧，包括：

显示所述左眼视角中间图像帧和所述右眼视角中间图像帧。

进一步的技术方案改进在于，所述对所述左眼视角图像帧及所述右眼视角图像帧进行图像处理，包括：

对所述左眼视角图像帧及所述右眼视角图像帧进行图像渲染。

进一步的技术方案改进在于，所述依据所述第一位置信息对所述目标图像帧进行异步时间扭曲，以得到中间图像帧，包括：

依据所述目标图像帧的位置信息及所述第一位置信息确定所述目标图像帧上的每个像素的位置变化信息；

将所述目标图像上的每个像素按照所述位置变化信息进行扭曲，以生成第一图像帧；

依据所述增强现实设备的用户配置参数对所述第一图像帧进行图像调整，以及依据显示同步信息对所述第一图像帧进行图像同步处理，以得到所述中间图像帧。

进一步的技术方案改进在于，所述位置信息包括三轴姿态角和加速度；

根据目标图像帧和所述目标图像帧之前的历史图像帧的位置信息预测第一位置信息，包括：

获取所述目标图像帧以及与所述目标图像帧对应的时间，同时利用惯性测量单元检测所述增强现实设备的所述三轴姿态角，利用所述惯性测量单元检测所述增强现实设备的所述加速度；

获取所述目标图像帧之前的历史图像帧以及与所述目标图像帧之前的历史图像帧对应的时间，利用所述惯性测量单元检测所述增强现实设备的所述三轴姿态角，利用所述惯性测量单元检测所述增强现实设备的所述加速度；

在坐标系内，基于时间坐标轴，标记与所述目标图像帧对应的所述三轴姿态角及所述加速度，标记与所述目标图像帧之前的历史图像帧对应的所述三轴姿态角及所述加速度，并进行曲线拟合，以得到目标拟合曲线；

在所述目标拟合曲线上测算位于所述目标图像帧的位置信息之后的所述第一位置信息。

为了解决上述技术问题，采用的技术方案为：一种增强现实设备的图像处理系统，包括：

存储模块，用于存储目标图像帧和所述目标图像帧之前的历史图像帧的位置信息；

处理模块，用于根据所述目标图像帧和所述目标图像帧之前的历史图像帧的位置信息预测第一位置信息；用于依据所述第一位置信息对所述目标图像帧进行异步时间扭曲，以得到中间图像帧；用于在显示所述目标图像帧之后，显示所述中间图像帧。

为了解决上述技术问题，采用的技术方案为：一种增强现实设备，所述增强现实设备包括处理器以及与所述处理器连接的显示屏、摄像头、惯性测量单元和存储器；

其中，所述摄像头用于采集目标图像帧，所述惯性测量单元用于采集所述目标图像帧的位置信息，所述显示屏用于显示所述目标图像帧；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述所述的方法。

为了解决上述技术问题，采用的技术方案为：一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述的方法。

用本申请所述技术方案，具有的有益效果为：本申请通过位置信息预测与异步时间扭曲技术地结合，虚拟出中间图象帧并显示，可以使得图像帧帧率得以提高，可以减少从获取并处理得到图像帧的这一过程的某个阶段的延迟，进而可以降低显示图象帧的延迟。

附图说明

图1为本申请一实施例中的增强现实设备的框架图；

图2为本申请一实施例中的增强现实设备的图像处理方法流程图；

图3为本申请一实施例中的根据目标图像帧和目标图像帧之前的历史图像帧的位置信息预测第一位置信息的流程图；

图4为本申请一实施例中的增强现实设备的图像处理方法流程图；

图5为本申请一实施例中的增强现实设备的图像处理方法流程图；

图6为本申请一实施例中的增强现实设备的图像处理方法流程图；

图7为本申请一实施例中的增强现实设备的图像处理方法流程图；

图8为本申请一实施例中的增强现实设备的图形处理系统框架图；

图9为本申请一实施例中存储介质的结构示意图。

具体实施方式

本申请阐述了一种增强现实设备，请参阅图1，其揭露了本申请一实施例中的增强现实设备10的框架图，该增强现实设备10可包括处理器13以及与处理器13连接的摄像头11、惯性测量单元(Inertial Measurement Unit，简称IMU)12、存储器14和显示屏15。

其中，摄像头11用于摄取现实中的图像帧，该摄像头11可为通用摄像头，该摄像头11也可包括TOF(Time of flight，即飞行时间，简称TOF)摄像头、RGB摄像头和两个鱼眼摄像头。该TOF摄像头可包括光发射模块、感光接收模块和FPC。光发射模块和感光接收模块均连接于FPC。该TOF摄像头工作时，光发射模块用于发射经过调制的光束，该光束经目标物体反射后被感光接收模块接收，感光接收模块通过解调可以获得光束在空间中的飞行时间，进而计算出对应的目标物体的距离。因此，通过TOF摄像头，当用户佩戴增强现实设备10在例如房间的环境中走一圈，就可以把房间的形状和模型建模出来；也就是说，通过测量每个点到用户佩戴的增强现实设备10的距离就可以判断用户所在房间的形状和模型，从而构建出场景；该RGB摄像头可用于采集二维彩色图像、拍摄图像的色差等，与TOF摄像头相邻设置；两个鱼眼摄像头位于TOF摄像头和RGB摄像头两侧且对称设置。两个鱼眼摄像头主要可用于配合成像，比如分别摄取左眼视角图像帧和右眼视角图像帧。TOF摄像头、RGB摄像头和两个鱼眼摄像头这四个摄像头可进行相互补充；其中，鱼眼摄像头拍摄角度较大，可为广角摄像头，但是其分辨率可比较低。RGB摄像头的分辨率可比较高，但是其拍摄角度可比较小，通过结合RGB摄像头与鱼眼摄像头，可形成拍摄角度较大，又比较清晰的图像。

该惯性测量单元12是测量增强现实设备10三轴姿态角(或角速率)以及加速度的装置，即测量增强现实设备10的位置信息。一般的，一个惯性测量单元12可包括三个单轴的加速度计和三个单轴的陀螺，加速度计检测增强现实设备10在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量增强现实设备10在三维空间中的角速度和加速度，并以此解算出增强现实设备10的姿态。

该处理器13用于对摄像头11采集的目标图像帧进行预处理、渲染处理等图像处理，用于对惯性测量单元12检测到的位置信息进行处理，以及用于控制显示屏15显示图像帧；处理器13用于运行存储器14存储的程序数据，以实现增强现实设备10的运行。具体地，处理器13控制该增强现实设备10的操作，处理器13可以是CPU(Central Processing Unit，中央处理单元)也可以是GPU(Graphics Processing Unit，图形处理器)。处理器13可能是一种集成电路芯片，具有信号、图形的处理能力。处理器13还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器14可用于存储处理器13执行的程序数据，可用于存储处理器13在处理过程中的数据，可用于存储摄像头11摄取到的图像帧，也可用于存储惯性测量单元12检测到的位置信息；其中，该存储器14包括非易失性存储部分，用于存储上述程序数据。在另一实施例中，该存储器14可仅作为处理器13的内存而缓存该处理器13执行的程序数据，该程序数据实际存储于增强现实设备10之外的设备中，处理器13通过与外部设备连接，通过调用外部存储的程序数据，以执行相应处理。

对于增强现实设备10可以是硬件设备，如手机、电脑、玩具、可穿戴设备等，可穿戴设备也可以是增强现实眼镜。

下面介绍一种增强现实设备10的图像处理方法，该图像处理方法可用于上述增强现实设备10中，请参阅图2，其揭露了本申请一实施例中的增强现实设备10的图像处理方法流程图，该图像处理方法可包括：

步骤S21，根据目标图像帧和目标图像帧之前的历史图像帧的位置信息预测第一位置信息。

在本实施例中，佩戴增强现实设备10的用户在移动、转向过程中，会导致增强现实设备10位置信息的变换，那么增强现实设备10的摄像头11(比如上述所述的两个鱼眼摄像头)就会摄取到不同视角的图像帧，比如为用户左眼提供图像帧的鱼眼摄像头可以获得左眼视角图像帧，比如为用户右眼提供图像帧的鱼眼摄像头可以获得右眼视角图像帧，当然在这里是利用了双目立体视觉，即基于视差原理并利用成像设备比如两个鱼眼摄像头从不同的位置获取物体的两幅图像帧比如左眼视角图像帧和右眼视角图像帧；然后增强现实设备10对摄取到的图像帧，比如左眼视角图像帧、左眼视角图像帧进行预处理、渲染处理等图像处理，随后在显示屏15上进行图像帧，比如左眼视角图像帧、左眼视角图像帧的显示，使得用户观看时，大脑会根据左眼视角图像帧、左眼视角图像帧形成一个3D立体图；由此可以看出图像帧与摄取此图像帧的位置信息息息相关，两者之间可以形成一种映射关系，而且从摄像头11摄取的图像帧在进行预处理、渲染处理等图像处理过程中任一阶段的图像帧都可以与摄取此图像帧的位置信息形成映射关系。

在本实施例中，位置信息可以至少包括三轴姿态角和加速度，或者位置信息是由三轴姿态角和加速度间接得来的信息，或者位置信息是可以经过换算得到三轴姿态角和加速度的信息；通过三轴姿态角和加速度可以轻松获取增强现实设备10随用户移动、转向所形成的轨迹；对于位置信息可以通过惯性测量单元12来进行测定，当然也可以通过其他设备来测量，在此不做具体限定。

步骤S22，依据第一位置信息对目标图像帧进行异步时间扭曲，以得到中间图像帧。

在本实施例中，增强现实设备10所摄取到的图像帧(比如左眼视角图像帧、左眼视角图像帧)之间是时间间隔一致并连续的，那么与此图像帧形成映射关系的位置信息也会呈现有规律的变化，通过研究这种规律可以获知第一位置信息；对于第一位置信息比如上述提到的增强现实设备10随用户移动、转向所形成的轨迹；所以第一位置信息获取的过程可以为对位置信息进行曲线拟合，在曲线上测算位于目标图像帧的位置信息之后的第一位置信息，当然第一位置信息在此不做具体限定。

在本实施例中，采用了异步时间扭曲技术(Asynchronous Timewarp简称ATW)，ATW是一种生成中间图像帧的技术；在摄像头11摄取图像帧(比如左眼视角图像帧、左眼视角图像帧)，经过预处理、渲染处理等图像处理后在显示屏15上显示画面；但是由于图像处理过程依据图像质量不同而用时不一，如此不能保持显示屏15显示图像帧的帧率；ATW就可以在此过程中对一个实际图像帧进行调整以产生中间图像帧，保持帧率，降低延迟；当然ATW可以对预处理、渲染处理等图像处理过程中任一阶段的图像帧进行处理。

在本实施例中，根据第一位置信息、目标图像帧(比如目标图像帧的左眼视角图像帧、左眼视角图像帧)以及与历史图像帧形成映射关系的位置信息，利用ATW可以虚拟形成一个与第一位置信息形成映射关系的中间图像帧(比如与左眼视角图像帧对应的左眼视角中间图像帧及与右眼视角图像帧对应的右眼视角中间图像帧)。

步骤S23，在显示目标图像帧之后，显示中间图像帧。

在本实施例中，将与第一位置信息形成映射关系的中间图像帧(比如与左眼视角图像帧对应的左眼视角中间图像帧及与右眼视角图像帧对应的右眼视角中间图像帧)显示在增强现实设备10中，可以使得图像帧帧率得以提高，可以减少增强现实设备10从摄像头11摄取并处理得到图像帧的这一过程的某个阶段的延迟，比如目标图像帧为预处理后的，可以避免中间图像帧进行预处理的时间延迟；比如目标图像帧为渲染处理后，可以避免中间图象帧进行预处理、渲染处理等图像处理过程的延迟；进而可以降低增强现实设备10显示图象帧的延迟。

在一实施例中，请参阅附图3，其揭露了本申请一实施例中的根据目标图像帧和目标图像帧之前的历史图像帧的位置信息预测第一位置信息的流程图；在步骤S21中，其可以包括：

步骤S31，确定目标图像帧和目标图像帧之前的历史图像帧的位置信息所对应的时间。

步骤S32，在坐标系内，基于时间坐标轴对目标图像帧和目标图像帧之前的历史图像帧的位置信息进行曲线拟合，以得到目标拟合曲线。

步骤S33，确定位于第一时间后且与第一时间具有预设时间间隔的第二时间，第一时间为目标图像帧的位置信息所对应的时间。

步骤S34，在第一时间与第二时间之间选取第三时间，并在目标拟合曲线上测算对应于第三时间的位置信息，并标记为第一位置信息。

在上文已经阐述了增强现实设备10所摄取到的图像帧(比如左眼视角图像帧、左眼视角图像帧)之间是时间间隔一致并连续的，所以目标图像帧和目标图像帧之前的历史图像帧所形成的图像帧集合中，在时间维度上，相邻两个图像帧时间间隔也是可以一致的；所以基于时间可以将目标图像以及目标图像之前的历史图像帧进行整合，便于对位置信息进行曲线拟合以得到目标拟合曲线；在这里基于时间坐标轴，使得位置信息在坐标系内标记，而预设时间间隔在这里可以为上述图像帧集合中，在时间维度上相邻两个图像帧时间间隔；当然预设时间间隔可以根据增强现实设备10的不同而不同，也可以根据需要去设定，比如，为了提高预测精度而降低预设时间间隔，对于预设时间间隔，在此就不做具体限定；而第二时间是由第一时间和预设时间间隔之和获得，也就是说增强现实设备10会在第二时间获取目标图像后的下一图像帧；如此就确定了由第一位置对应的中间图像帧会在第二时间所对应的图像帧之前显示；当然也可以根据需要，在第一时间和第二时间确定多个第三时间，再由多个第三时间确定多个第一位置信息，进而确定多个中间图像帧，然后按照时间顺序进行显示即可，可见，其可以提高帧率，同时可以使得异步时间扭曲得以进行，避免了对中间图象帧进行大量图像处理；以降低延迟。

位于目标图像帧之后且与目标图像帧相邻的一图像帧的位置信息位于第一位置信息之后；通过在相邻两个图像帧之间添加一个中间图象帧，以提高帧率，进而减少延迟。

请参阅图4，其揭露了本申请一实施例中的增强现实设备10的图像处理方法流程图，在步骤S22中，为了使异步时间扭曲后的中间图像帧和目标图像帧之间同步，应该依据目标图像帧的位置信息、第一位置信息以及增强现实设备10的用户配置参数和显示同步信息对目标图像帧进行异步时间扭曲，比如利用增强现实设备10进行图像处理，此设备的用户配置参数和显示同步信息已知，那么通过参考此台设备的用户配置参数以及显示同步信息，在异步时间扭曲后生成的中间图像帧会更兼容此增强现实设备10，而且与目标图像帧形成连续帧，使得显示屏15显示的图像帧更加连贯，避免了图像抖动的问题；比如，步骤S22可包括：

步骤S41，依据目标图像帧的位置信息及第一位置信息确定目标图像帧上的每个像素的位置变化信息。

步骤S42，将目标图像上的每个像素按照位置变化信息进行扭曲，以生成第一图像帧。

步骤S43，依据增强现实设备的用户配置参数对第一图像帧进行图像调整，以及依据显示同步信息对第一图像帧进行图像同步处理，以得到中间图像帧。

在此实施例中，将目标图像帧分解为最小像素，将目标图像帧的变化转化为像素的改变，如此就可以通过对像素的扭曲来完成目标图像帧的异步时间扭曲，以便得到中间图像帧，随后根据相应增强显示设备的用户配置参数进行个性化处理，使得目标图像帧和中间图像帧连贯。

请参阅图5，其为本申请一实施例中的增强现实设备的图像处理方法流程图；其中，目标图像帧包括左眼视角图像帧和右眼视角图像帧，中间图像帧包括左眼视角中间图像帧和右眼视角中间图像帧；可见在步骤S21之前，该图像处理方法还包括：

步骤S51，获取左眼视角图像帧和右眼视角图像帧。

步骤S52，对左眼视角图像帧及右眼视角图像帧进行图像处理。

同时，在步骤S22中可包括：

步骤S53，依据第一位置信息对处理后的左眼视角图像帧及右眼视角图像帧进行异步时间扭曲，以得到与左眼视角图像帧对应的左眼视角中间图像帧及与右眼视角图像帧对应的右眼视角中间图像帧。

同时，在步骤S23中可包括：

步骤S54，显示左眼视角中间图像帧和右眼视角中间图像帧。

请参阅图6，其揭露了本申请一实施例中的增强现实设备10的图像处理方法流程图，在步骤S52中可包括：

对左眼视角图像帧及右眼视角图像帧进行图像渲染。

请参阅图7，其揭露了本申请一实施例中的增强现实设备10的图像处理方法流程图，该图像处理方法中对于步骤S21可包括：

步骤S71，获取目标图像帧以及与目标图像帧对应的时间，同时利用惯性测量单元检测增强现实设备的三轴姿态角，利用惯性测量单元检测增强现实设备的加速度。

步骤S72，获取目标图像帧之前的历史图像帧以及与目标图像帧之前的历史图像帧对应的时间，利用惯性测量单元检测增强现实设备的三轴姿态角，利用惯性测量单元检测增强现实设备的加速度。

步骤S73，在坐标系内，基于时间坐标轴，标记与目标图像帧对应的三轴姿态角及加速度，标记与目标图像帧之前的历史图像帧对应的三轴姿态角及加速度，并进行曲线拟合，以得到目标拟合曲线。

步骤S74，在目标拟合曲线上测算位于目标图像帧的位置信息之后的第一位置信息。

在此实施例中，预测得到了第一位置信息，通过第一位置信息与目标图像帧的位置信息，可以获得增强现实设备10的位移变化，经过几何透视变换确定目标图像帧上的物体在目标图像帧中像素的位移变化，根据目标图像帧中像素的位移变化对目标图像帧进行异步时间扭曲即可得到第一位置信息对应的图像帧。

另外，该图像处理方法中图像帧的摄取、初步处理、渲染整个过程可以与中间图像帧的第一位置预测、异步时间扭曲整个过程并行进行，进一步降低延迟。

接下来介绍一种增强现实设备10的图形处理系统，该图形处理系统可用于上述增强现实设备10中，该图形处理系统可采用上述增强现实设备10的图像处理方法；请参阅图8，其揭露了本申请一实施例中的增强现实设备10的图形处理系统80框架图，该图形处理系统80可包括：

存储模块81，用于存储目标图像帧和目标图像帧之前的历史图像帧的位置信息。

处理模块82，用于根据目标图像帧和目标图像帧之前的历史图像帧的位置信息预测第一位置信息；用于依据第一位置信息对目标图像帧进行异步时间扭曲，以得到中间图像帧；用于在显示目标图像帧之后，显示中间图像帧。

一实施例中，存储模块81可以为如图1所示的存储器14。

一实施例中，处理模块82可以为如图1所示的处理器13。

一实施例中，处理模块82用于将所述目标图像帧和所述目标图像帧之前的历史图像帧的位置信息进行曲线拟合，以得到目标拟合曲线；用于在所述目标拟合曲线上测算位于所述目标图像帧的位置信息之后的所述第一位置信息。

一实施例中，处理模块82用于确定目标图像帧和目标图像帧之前的历史图像帧的位置信息所对应的时间；用于在坐标系内，基于时间坐标轴对目标图像帧和目标图像帧之前的历史图像帧的位置信息进行曲线拟合，以得到目标拟合曲线；用于确定位于第一时间后且与第一时间具有预设时间间隔的第二时间，第一时间为目标图像帧的位置信息所对应的时间；用于在第一时间与第二时间之间选取第三时间，并在目标拟合曲线上测算对应于第三时间的位置信息，并标记为第一位置信息。

一实施例中，目标图像帧包括左眼视角图像帧和右眼视角图像帧，中间图像帧包括左眼视角中间图像帧和右眼视角中间图像帧；该图形处理系统80还包括：

摄取模块83，用于获取左眼视角图像帧和右眼视角图像帧。

其中，处理模块82用于对左眼视角图像帧及右眼视角图像帧进行图像处理；用于依据第一位置信息对处理后的左眼视角图像帧及右眼视角图像帧进行异步时间扭曲，以得到与左眼视角图像帧对应的左眼视角中间图像帧及与右眼视角图像帧对应的右眼视角中间图像帧；用于左眼视角中间图像帧和右眼视角中间图像帧的显示。

一实施例中，处理模块82用于对左眼视角图像帧及右眼视角图像帧进行图像渲染。

一实施例中，处理模块82用于依据目标图像帧的位置信息及第一位置信息确定目标图像帧上的每个像素的位置变化信息；用于将目标图像上的每个像素按照位置变化信息进行扭曲，以生成第一图像帧；用于依据增强现实设备的用户配置参数对第一图像帧进行图像调整，以及依据显示同步信息对第一图像帧进行图像同步处理，以得到中间图像帧。

下面介绍一种存储介质，请参阅图9，其揭露了本申请一实施例中存储介质91的结构示意图；其上存储有计算机程序92，该计算机程序92被处理器执行时实现上述所述的图像处理方法。

该存储介质91具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储计算机程序92的介质，或者也可以为存储有该计算机程序92的服务器，该服务器可将存储的计算机程序92发送给其他设备运行，或者也可以自运行该存储的计算机程序92。

在一实施例中，存储介质91还可以为如图1所示的存储器14。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

Claims (10)

1.一种增强现实设备的图像处理方法，其特征在于，包括：

根据目标图像帧和所述目标图像帧之前的历史图像帧的位置信息预测第一位置信息；

依据所述第一位置信息对所述目标图像帧进行异步时间扭曲，以得到中间图像帧；

在显示所述目标图像帧之后，显示所述中间图像帧。

2.根据权利要求1所述的方法，其特征在于，所述根据目标图像帧和所述目标图像帧之前的历史图像帧的位置信息预测第一位置信息，包括：

将所述目标图像帧和所述目标图像帧之前的历史图像帧的位置信息进行曲线拟合，以得到目标拟合曲线；

在所述目标拟合曲线上测算位于所述目标图像帧的位置信息之后的所述第一位置信息。

3.根据权利要求2所述的方法，其特征在于，

所述将所述目标图像帧和所述目标图像帧之前的历史图像帧的位置信息进行曲线拟合，以得到目标拟合曲线，包括：

确定所述目标图像帧和所述目标图像帧之前的历史图像帧的位置信息所对应的时间；

在坐标系内，基于时间坐标轴对所述目标图像帧和所述目标图像帧之前的历史图像帧的位置信息进行曲线拟合，以得到所述目标拟合曲线；

所述在所述目标拟合曲线上测算位于所述目标图像帧的位置信息之后的所述第一位置信息，包括：

确定位于第一时间后且与所述第一时间具有预设时间间隔的第二时间，所述第一时间为所述目标图像帧的位置信息所对应的时间；

在所述第一时间与所述第二时间之间选取第三时间，并在所述目标拟合曲线上测算对应于所述第三时间的位置信息，并标记为所述第一位置信息。

4.根据权利要求1所述的方法，其特征在于，所述目标图像帧包括左眼视角图像帧和右眼视角图像帧，所述中间图像帧包括左眼视角中间图像帧和右眼视角中间图像帧；

在所述根据目标图像帧和所述目标图像帧之前的历史图像帧的位置信息预测第一位置信息步骤之前，还包括：

获取所述左眼视角图像帧和所述右眼视角图像帧；

对所述左眼视角图像帧及所述右眼视角图像帧进行图像处理；

所述依据所述第一位置信息对所述目标图像帧进行异步时间扭曲，以得到中间图像帧，包括：

依据所述第一位置信息对处理后的所述左眼视角图像帧及所述右眼视角图像帧进行异步时间扭曲，以得到与所述左眼视角图像帧对应的所述左眼视角中间图像帧及与所述右眼视角图像帧对应的所述右眼视角中间图像帧；

所述显示所述中间图像帧，包括：

显示所述左眼视角中间图像帧和所述右眼视角中间图像帧。

5.根据权利要求4所述的方法，其特征在于，所述对所述左眼视角图像帧及所述右眼视角图像帧进行图像处理，包括：

对所述左眼视角图像帧及所述右眼视角图像帧进行图像渲染。

6.根据权利要求1所述的方法，其特征在于，所述依据所述第一位置信息对所述目标图像帧进行异步时间扭曲，以得到中间图像帧，包括：

依据所述目标图像帧的位置信息及所述第一位置信息确定所述目标图像帧上的每个像素的位置变化信息；

将所述目标图像上的每个像素按照所述位置变化信息进行扭曲，以生成第一图像帧；

依据所述增强现实设备的用户配置参数对所述第一图像帧进行图像调整，以及依据显示同步信息对所述第一图像帧进行图像同步处理，以得到所述中间图像帧。

7.根据权利要求1所述的方法，其特征在于，所述位置信息包括三轴姿态角和加速度；

根据目标图像帧和所述目标图像帧之前的历史图像帧的位置信息预测第一位置信息，包括：

获取所述目标图像帧以及与所述目标图像帧对应的时间，同时利用惯性测量单元检测所述增强现实设备的所述三轴姿态角，利用所述惯性测量单元检测所述增强现实设备的所述加速度；

获取所述目标图像帧之前的历史图像帧以及与所述目标图像帧之前的历史图像帧对应的时间，利用所述惯性测量单元检测所述增强现实设备的所述三轴姿态角，利用所述惯性测量单元检测所述增强现实设备的所述加速度；

在坐标系内，基于时间坐标轴，标记与所述目标图像帧对应的所述三轴姿态角及所述加速度，标记与所述目标图像帧之前的历史图像帧对应的所述三轴姿态角及所述加速度，并进行曲线拟合，以得到目标拟合曲线；

在所述目标拟合曲线上测算位于所述目标图像帧的位置信息之后的所述第一位置信息。

8.一种增强现实设备的图像处理系统，其特征在于，包括：

存储模块，用于存储目标图像帧和所述目标图像帧之前的历史图像帧的位置信息；

处理模块，用于根据所述目标图像帧和所述目标图像帧之前的历史图像帧的位置信息预测第一位置信息；用于依据所述第一位置信息对所述目标图像帧进行异步时间扭曲，以得到中间图像帧；用于在显示所述目标图像帧之后，显示所述中间图像帧。

9.一种增强现实设备，其特征在于，所述增强现实设备包括处理器以及与所述处理器连接的显示屏、摄像头、惯性测量单元和存储器；

其中，所述摄像头用于采集目标图像帧，所述惯性测量单元用于采集所述目标图像帧的位置信息，所述显示屏用于显示所述目标图像帧；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-7任一项所述的方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。

Images