CN113473105A - 图像同步方法、图像显示及处理设备、及图像同步系统 - Google Patents

Abstract

本公开涉及一种图像同步方法、图像显示及处理设备、及图像同步系统，涉及图像同步技术领域。图像显示设备具有对应左眼图像数据的第一传输通道和对应右眼图像数据的第二传输通道，图像处理设备用于生成目标图像的左眼图像数据和右眼图像数据并将二者发送给图像显示设备，其中左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号；图像显示设备根据两个传输通道中待渲染的图像帧的序列号进行左眼图像数据和右眼图像数据的同步渲染显示，使得左眼图像数据和右眼图像数据同步显示。

Description

图像同步方法、图像显示及处理设备、及图像同步系统

技术领域

本公开实施例涉及图像同步技术领域，更具体地，涉及一种图像同步方法、图像显示及处理设备、及图像同步系统。

背景技术

头戴式显示设备(Head Mounted Display，HMD)是一种可以穿戴在用户头部的显示设备，能够实现虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)和混合现实(Mixed Reality，MR)等不同效果。

目前，HMD可以进行双目渲染。即：HMD在同一时刻渲染对应于用户左眼的左眼图像和对应于用户右眼的右眼图像，左眼图像和右眼图像中的画面为同一时刻的画面。在此情况下，用户脑中能够形成一个具有景深和层次感的三维立体图像，对虚拟现实的体验更具真实感。

实际情况中，左眼图像和右眼图像难以保证完全同步显示同一时刻的画面，导致用户会产生眩晕感，给用户造成不适。

发明内容

本公开的一个目的是提供一种图像同步方法、图像显示及处理设备、及图像同步系统的新的技术方案。

根据本公开的第一方面，提供了一种图像同步方法，应用于图像显示设备，图像显示设备具有两个传输通道，分别为对应左眼图像数据的第一传输通道和对应右眼图像数据的第二传输通道，其中，左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，序列号反映对应图像帧的播放顺序，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号，该方法包括：分别获取两个传输通道中待渲染的图像帧的序列号；在两个传输通道中待渲染的图像帧的序列号不同的情况下，根据两个传输通道中待渲染的图像帧的序列号进行左眼图像数据和右眼图像数据的同步渲染显示。

可选地，两个传输通道中待渲染的图像帧包括：待渲染的第一图像帧和待渲染的第二图像帧，其中第一图像帧的序列号大于第二图像帧的序列号；根据两个传输通道中待渲染的图像帧的序列号进行左眼图像数据和右眼图像数据的同步渲染显示，包括：停止渲染，获取第一图像帧的序列号和第二图像帧的序列号的差值；根据差值对两个传输通道中待渲染的图像帧进行同步处理，使得两个传输通道中待渲染的图像帧的序列号相同；在两个传输通道中待渲染的图像帧的序列号相同的情况下，开始渲染。

可选地，根据差值对两个传输通道中待渲染的图像帧进行同步处理，包括：在差值小于或等于第一预设阈值的情况下，继续更新第二图像帧对应的传输通道中待渲染的图像帧。

可选地，根据差值对两个传输通道中待渲染的图像帧进行同步处理，包括：在差值大于第一预设阈值且小于或等于第二预设阈值的情况下，删除第一图像帧对应的传输通道中的至少一个第一目标图像帧；其中，第二预设阈值大于第一预设阈值，第一目标图像帧的序列号小于第一图像帧的序列号。

可选地，根据差值对两个传输通道中待渲染的图像帧进行同步处理，还包括：在差值大于第二预设阈值的情况下，将第一图像帧对应的传输通道中的至少一个第二目标图像帧插入等待队列；其中，第二目标图像帧的序列号小于第一图像帧的序列号。

可选地，第一预设阈值为1。

根据本公开的第二方面，提供了一种图像同步方法，应用于图像处理设备，该方法包括：获取目标图像的原始图像数据；其中，原始图像数据包括多个原始图像帧；根据原始图像数据，生成左眼图像数据和右眼图像数据，其中，左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号；将左眼图像数据和右眼图像数据发送给图像显示设备进行左眼图像数据和右眼图像数据的同步渲染显示。

根据本公开的第三方面，提供了一种图像显示设备，该图像显示设备具有两个传输通道，分别为对应左眼图像数据的第一传输通道和对应右眼图像数据的第二传输通道，其中，左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，序列号反映对应图像帧的播放顺序，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号；图像显示设备还包括存储器和处理器，存储器用于存储计算机程序；处理器用于执行计算机程序，以实现上述第一方面的方法。

根据本公开的第四方面，提供了一种图像处理设备，包括存储器和处理器，该存储器用于存储计算机程序；该处理器用于执行该计算机程序，以实现上述第二方面的方法。

根据本公开的第五方面，提供了一种图像同步系统，包括上述第三方面的图像显示设备和如上述第四方面的图像处理设备。

根据本公开的第六方面，还提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序在被处理器执行时实现根据本公开的第一方面或第二方面的方法。

本公开实施例的一个有益效果在于，图像显示设备具有对应左眼图像数据的第一传输通道和对应右眼图像数据的第二传输通道，其中左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号；图像显示设备能够根据两个传输通道中待渲染的图像帧的序列号进行左眼图像数据和右眼图像数据的同步渲染显示，使得左眼图像数据和右眼图像数据同步显示，从而解决现有技术中当采用两个传输通道对同一图像进行双目渲染时，由于左眼图像和右眼图像没有同步显示同一时刻的画面导致用户会产生眩晕感的问题，保证图像显示设备所显示的左眼图像和右眼图像具有同步性，从而有效避免用户会产生眩晕感这一情况的发生，消除由于左眼图像和右眼图像不是来自同一帧图像给用户造成的不适感。

通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例，并且连同其说明一起用于解释本说明书的原理。

图1为相关技术中PC和VR设备的图像数据处理示意图；

图2为本公开一些实施例提供的一种图像同步方法的方法流程图；

图3为本公开一些实施例提供的另一种图像同步方法的方法流程图；

图4为本公开一些实施例提供的再一种图像同步方法的方法流程图；

图5为本公开一些实施例提供的又一种图像同步方法的方法流程图；

图6为本公开一些实施例提供的一种图像同步装置的功能结构框图；

图7为本公开一些实施例提供的另一种图像同步装置的功能结构框图；

图8是根据本公开一些实施例的一种图像显示设备的硬件结构示意图；

图9是根据本公开一些实施例的一种图像处理设备的硬件结构示意图；

图10是根据本公开一些实施例的一种图像同步系统的示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

目前，VR设备可以进行双目渲染，以使得用户脑中能够形成一个具有景深和层次感的三维立体图像，使用户对虚拟现实的体验更具真实感。

如图1所示，VR设备通过有线或无线的方式连接个人计算机(Personal Computer，PC)端。在PC端，PC运行应用，播放应用画面，例如PC运行视频应用播放视频画面，又如PC端运行游戏应用播放游戏画面等。在此情况下，PC抓取应用画面，将同一帧应用画面处理为左眼对应的左眼画面和右眼对应的右眼画面，PC中具有左眼数据通道和右眼数据通道两个传输通道(如图1中PC的双通道)。两个传输通道中分别设置有编码器，用于对数据进行编码(如图1中的双通道编码)。

如图1所示，PC端中左眼画面对应的左眼画面数据通过左眼数据通道传输，在左眼画面数据被传输至左眼数据通道的编码器后，被该编码器进行编码，编码后的左眼画面数据继续在PC端的左眼数据通道中传输，最终发送给VR设备的左眼数据通道；同样地，PC端中右眼画面对应的右眼画面数据通过右眼数据通道传输，在右眼画面数据被传输至右眼数据通道的编码器后，被该编码器进行编码，编码后的右眼画面数据继续在PC端的右眼数据通道中传输，最终发送给VR设备的右眼数据通道。在此情况下，实现如图1中的双通道发送。

请继续参见图1，VR设备中也具有左眼数据通道和右眼数据通道两个传输通道(如图1中VR设备中的双通道)。与PC类似，VR设备的左眼数据通道和右眼数据通道中分别设置有解码器和渲染器。VR设备的左眼数据通道接收来自PC端的编码后的左眼画面数据，并通过左眼数据通道传输该数据，在编码后的左眼画面数据被传输至VR设备的左眼数据通道的解码器后，被该解码器进行解码，得到左眼画面数据，该左眼画面数据继续在VR设备的左眼数据通道中传输，在传输至VR设备的左眼数据通道的渲染器后，被渲染器渲染，显示在VR设备的显示屏中。VR设备的右眼数据通道接收来自PC端的编码后的右眼画面数据，VR设备中对编码后的右眼画面数据的处理方式与上述对编码后的左眼画面数据的处理方式类似，具体可以参加上述对左眼画面数据的处理过程，此处不再赘述。

对于穿戴VR设备的用户而言，用户的左眼看到VR设备显示屏所显示的左眼画面，用户的右眼看到VR设备显示屏所显示的右眼画面，实现如图1中VR设备中的双通道解码和双通道渲染，从而使得用户脑中能够形成一个具有景深和层次感的三维立体图像，使得用户对虚拟现实的体验更具真实感。

然而，实际情况中，无论是PC端中的两个传输通道，还是VR设备中的两个传输通道，两个传输通道数据被处理的过程是相互独立，互不干扰的。在此情况下，受到例如两个传输通道中编码或解码速度存在差异、网络传输抖动导致数据传输存在时延等因素的影响，两个传输通道中传输的数据可能不具有同步性，在此情况下，用户双眼观察到的左眼画面和右眼画面并不是来自同一帧图像，导致用户会产生眩晕感，给用户造成不适。

针对以上实施方式存在的技术问题，本公开提供一种图像同步方法、图像显示及处理设备、及图像同步系统，以保证用户左眼看到的图像和右眼看到的图像来自同一帧图像，从而有效避免用户会产生眩晕感这一情况的发生，消除由于左眼图像和右眼图像不是来自同一帧图像给用户造成的不适感。

下面，参照附图描述根据本发明的各个实施例和例子。

<方法实施例一>

图2是根据本公开一些实施例的图像同步方法的方法流程示意图，该实施例可以由图像显示设备实施。图像显示设备可以是例如HMD等VR设备。该图像显示设备具有例如图1所示两个传输通道，分别为对应左眼图像数据的第一传输通道和对应右眼图像数据的第二传输通道。

本公开实施中，上述左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，序列号反映对应图像帧的播放顺序，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号。

如图2所示，该图像同步方法可以包括如下步骤S210～S220：

步骤S210：分别获取两个传输通道中待渲染的图像帧的序列号。

每个传输通道中待渲染的图像帧即：每个传输通道中的渲染器即将要渲染的图像帧。

在每个传输通道中，渲染器渲染该传输通道的待渲染的图像帧之前，执行步骤S210。

步骤S220：在两个传输通道中待渲染的图像帧的序列号不同的情况下，根据两个传输通道中待渲染的图像帧的序列号进行左眼图像数据和右眼图像数据的同步渲染显示。

上述两个传输通道中待渲染的图像帧包括：待渲染的第一图像帧和待渲染的第二图像帧。其中第一图像帧的序列号大于第二图像帧的序列号。

在一些实施例中，待渲染的第一图像帧为第一传输通道中待渲染的图像帧，待渲染的第二图像帧为第二传输通道中待渲染的图像帧，在此情况下，右眼图像数据相较于左眼图像数据迟延。

在另一些实施例中，待渲染的第一图像帧为第二传输通道中待渲染的图像帧，待渲染的第二图像帧为第一传输通道中待渲染的图像帧，在此情况下，左眼图像数据相较于右眼图像数据迟延。

在两个传输通道中待渲染的图像帧的序列号不同的情况下，如图3所示，步骤S220中根据两个传输通道中待渲染的图像帧的序列号进行左眼图像数据和右眼图像数据的同步渲染显示的执行过程可以包括如下步骤S310～S330。

步骤S310：停止渲染，获取第一图像帧的序列号和第二图像帧的序列号的差值。

可以控制渲染器停止渲染，在此情况下两个传输通道中待渲染的图像帧不再继续更新。在此之后，获取第一图像帧的序列号和第二图像帧的序列号，对第一图像帧的序列号和第二图像帧的序列号求差，得到第一图像帧的序列号与第二图像帧的序列号的差值。

步骤S320：根据上述差值对两个传输通道中待渲染的图像帧进行同步处理，使得两个传输通道中待渲染的图像帧的序列号相同。

示例地，如图4所示，本步骤的执行过程可以包括如下步骤S410～S450。

步骤S410：确定上述差值是否小于或等于第一预设阈值。

若确定结果为是，即上述差值小于或等于第一预设阈值，则执行步骤S420；若确定结果为否，即上述差值大于第一预设阈值，则执行步骤S430。

第一预设阈值可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。在上述差值小于或等于第一预设阈值的情况下，第二图像帧对应的传输通道中的图像数据相较于第一图像帧对应的传输通道中的图像数据中的延迟较小。

在一些实施例中，第一预设阈值为1。在上述差值小于或等于第一预设阈值的情况下，第一图像帧对应的传输通道中不存在丢帧或乱序的情况；在上述差值大于第一预设阈值的情况下，第一图像帧对应的传输通道中存在丢帧或乱序的情况。

步骤S420：继续更新第二图像帧对应的传输通道中待渲染的图像帧。

在一些实施例中，在第一预设阈值为1的情况下，第一图像帧对应的传输通道中不存在丢帧或乱序的情况，继续更新第二图像帧对应的传输通道中待渲染的图像帧，直到两个传输通道中待渲染的图像帧的序列号相同，执行步骤S330。

在上述差值小于或等于第一预设阈值的情况下，由于第二图像帧对应的传输通道中的图像数据相较于第一图像帧对应的传输通道中的图像数据中的延迟较小，可以继续更新第二图像帧对应的传输通道中待渲染的图像帧，直到两个传输通道中待渲染的图像帧的序列号相同，执行步骤S330。

步骤S430：确定上述差值是否小于或等于第二预设阈值。

第二预设阈值大于第一预设阈值。在上述差值大于第一预设阈值且小于或等于第二预设阈值的情况下，将第一图像帧对应的传输通道中的至少一个第二目标图像帧插入等待队列会耗费时间会明显长于删除第一图像帧对应的传输通道中的至少一个第一目标图像帧所耗费的时间，导致用户体验感较差。第二预设阈值可以由本领域技术员根据实际情况进行设置，本公开实施例对此不作限定。在一些实施例中，第二预设阈值与第一预设阈值相差1。

若确定结果为是，即上述差值小于或等于第二预设阈值，则执行步骤S440；若确定结果为否，即上述差值大于第二预设阈值，则执行步骤S450。

步骤S440：删除第一图像帧对应的传输通道中的至少一个第一目标图像帧；其中，第一目标图像帧的序列号小于第一图像帧的序列号。

在上述差值大于第一预设阈值且小于或等于第二预设阈值的情况下，直接删除第一图像帧对应的传输通道中的至少一个第一目标图像帧，使得两个传输通道中待渲染的图像帧的序列号相同，然后执行步骤S330。

步骤S450：将第一图像帧对应的传输通道中的至少一个第二目标图像帧插入等待队列；其中，第二目标图像帧的序列号小于第一图像帧的序列号。

在上述差值大于第二预设阈值的情况下，将第一图像帧对应的传输通道中的至少一个第二目标图像帧插入等待队列，并继续更新第二图像帧对应的传输通道中待渲染的图像帧，直到两个传输通道中待渲染的图像帧的序列号相同，然后执行步骤S330。

通过步骤S410～S450，能够有效保证图像播放流畅性。

步骤S330：在两个传输通道中待渲染的图像帧的序列号相同的情况下，开始渲染。

在两个传输通道中待渲染的图像帧的序列号相同的情况下，开始渲染，使得两个传输通道中待渲染的图像帧的序列号进行左眼图像数据和右眼图像数据能够同步渲染显示。

要说明的是，若步骤S210中分别获取两个传输通道中待渲染的图像帧的序列号相同，则直接对两个传输通道中待渲染的图像帧进行渲染即可。

本公开实施例的一个有益效果在于，图像显示设备具有对应左眼图像数据的第一传输通道和对应右眼图像数据的第二传输通道，其中左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号；图像显示设备能够根据两个传输通道中待渲染的图像帧的序列号进行左眼图像数据和右眼图像数据的同步渲染显示，使得左眼图像数据和右眼图像数据同步显示，从而解决现有技术中当采用两个传输通道对同一图像进行双目渲染时，由于左眼图像和右眼图像没有同步显示同一时刻的画面导致用户会产生眩晕感的问题，保证图像显示设备所显示的左眼图像和右眼图像具有同步性，从而有效避免用户会产生眩晕感这一情况的发生，消除由于左眼图像和右眼图像不是来自同一帧图像给用户造成的不适感，并且能够保证图像播放流畅性。

<方法实施例二>

本公开还提供了关于图像同步方法的实施例。该实施例可以由图像处理设备实施。

如图5所示，本实施例的图像同步方法可以包括如下步骤S510～S530。

步骤S510：获取目标图像的原始图像数据；其中，原始图像数据包括多个原始图像帧。

原始图像数据例如上述介绍中提到的应用画面的图像数据。

步骤S520：根据原始图像数据，生成左眼图像数据和右眼图像数据，其中，左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号。

根据原始图像数据，生成用于用户左眼观看的左眼画面数据和用于用户右眼观看的右眼画面数据。

根据左眼画面数据中多个图像帧的播放顺序，为该左眼画面数据中多个图像帧中的每个图像帧添加对应的序列号，得到左眼图像数据；以及根据右眼画面数据中多个图像帧的播放顺序，为该右眼画面数据中多个图像帧中的每个图像帧添加对应的序列号，得到右眼图像数据。其中，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号。以便在接收上述左眼图像数据和右眼图像数据的图像显示设备中，图像显示设备可以对左眼图像数据和右眼图像数据进行同步渲染显示。

步骤S530：将左眼图像数据和右眼图像数据发送给图像显示设备进行左眼图像数据和右眼图像数据的同步渲染显示。

将左眼图像数据和右眼图像数据发送给图像显示设备，以便图像显示设备进行左眼图像数据和右眼图像数据的同步渲染显示。

图像显示设备的介绍、以及图像显示设备进行左眼图像数据和右眼图像数据的同步渲染显示的过程可以参见上述实施例中的对应描述，此处不再赘述。

由此可见，本公开实施例中，图像显示设备具有对应左眼图像数据的第一传输通道和对应右眼图像数据的第二传输通道，图像处理设备用于生成目标图像的左眼图像数据和右眼图像数据并将二者发送给图像显示设备，其中左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号；图像显示设备根据两个传输通道中待渲染的图像帧的序列号进行左眼图像数据和右眼图像数据的同步渲染显示，使得左眼图像数据和右眼图像数据同步显示。

下面通过一个具体示例对本公开实施例提供的图像同步方法进行详细说明。本示例中的图像显示设备为VR设备，图像显示设备为PC。

在PC一侧，根据原始图像数据，生成用于用户左眼观看的左眼画面数据和用于用户右眼观看的右眼画面数据。

左眼画面数据包括n(n为自然数，且n>1)个图像帧，该n个图像帧由前到后的播放顺序依次为左眼图像帧1、左眼图像帧2、左眼图像帧3……左眼图像帧n。在此情况下，为左眼图像帧1添加序列号1，为左眼图像帧2添加序列号2，为左眼图像帧3添加序列号3，……为左眼图像帧n添加序列号n。

类似地，右眼画面数据包括n个图像帧，该n个图像帧由前到后的播放顺序依次为右眼图像帧1、右眼图像帧2、右眼图像帧3……右眼图像帧n。在此情况下，为右眼图像帧1添加序列号1，为右眼图像帧2添加序列号2，为右眼图像帧3添加序列号3，……为右眼图像帧n添加序列号n。

对于第一传输通道中待渲染的左眼图像帧的序列号为frameIndex0和第二传输通道中待渲染的右眼图像帧的序列号为frameIndex1。

在frameIndex0＝frameIndex1的情况下，两个传输通道中待渲染的图像帧的序列号相同，不存在不同步的问题，则直接对两个传输通道中待渲染的图像帧进行渲染即可。

在frameIndex0≠frameIndex1的情况下，若frameIndex0和frameIndex1相差1，且frameIndex0<frameIndex1，例如frameIndex0＝100，frameIndex1＝101，左眼对应的第一传输通道中图像帧相较于右眼对应的第一传输通道中图像帧存在延迟，停止渲染，并继续更新第一传输通道中图像帧，直至frameIndex0＝frameIndex1，开始渲染。

在frameIndex0≠frameIndex1的情况下，若frameIndex0和frameIndex1相差大于1，且frameIndex0<frameIndex1，则执行如下过程。

若frameIndex0与frameIndex1相差2，即frameIndex0＝100，frameIndex1＝102，左眼对应的第一传输通道中图像帧相较于右眼对应的第一传输通道中图像帧存在延迟，停止渲染，删除第一传输通道中序列号为100和101的图像帧，直至frameIndex0＝102＝frameIndex1，开始渲染。

若frameIndex0与frameIndex1相差大于2，例如frameIndex0＝100，frameIndex1＝103，左眼对应的第一传输通道中图像帧相较于右眼对应的第一传输通道中图像帧存在延迟，停止渲染，将序列号为103的图像帧插入等待序列，并继续更新第二图像帧对应的传输通道中待渲染的图像帧，直至frameIndex0＝103＝frameIndex1，开始渲染。

在一些示例中，图像处理设备向图像显示设备发送图像数据基于用户数据报协议(User Datagram Protocol，英文简称UDP)。

<设备实施例>

图6是根据本公开一些实施例的图像同步装置的功能结构框图。图像同步装置应用于上述实施例中介绍的图像显示设备。该图像显示设备具有两个传输通道，分别为对应左眼图像数据的第一传输通道和对应右眼图像数据的第二传输通道，其中，左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，序列号反映对应图像帧的播放顺序，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号。

如图6所示，该图像同步装置60包括：

获取模块61，用于分别获取两个传输通道中待渲染的图像帧的序列号；

处理模块62，用于在两个传输通道中待渲染的图像帧的序列号不同的情况下，根据两个传输通道中待渲染的图像帧的序列号进行左眼图像数据和右眼图像数据的同步渲染显示。

图像显示设备例如可以是VR设备，例如HMD。

图7是根据本公开一些实施例的图像同步装置的功能结构框图。应用于图像处理设备，如图7所示，该图像同步装置70包括：

获取模块71，用于获取目标图像的原始图像数据；其中，原始图像数据包括多个原始图像帧。

处理模块72，用于根据原始图像数据，生成左眼图像数据和右眼图像数据，其中，左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号。

发送模块73，用于将左眼图像数据和右眼图像数据发送给图像显示设备进行左眼图像数据和右眼图像数据的同步渲染显示。

图像显处理设备例如可以是PC。

图8是根据本公开一些实施例的图像显示设备的硬件结构示意图。

如图8所示，图像显示设备800包括处理器810和存储器820，该存储器820用于存储可执行的计算机程序，该处理器810用于根据该计算机程序的控制，执行如以上述步骤S210～S220对应的方法。

图像显示设备800具有两个传输通道，分别为对应左眼图像数据的第一传输通道和对应右眼图像数据的第二传输通道，其中，所述左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，所述序列号反映对应图像帧的播放顺序，所述左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号。

图像显示设备800例如可以是VR设备，例如HMD。

图像同步装置60的各模块可以由本实施例中的处理器810执行存储器820存储的计算机程序实现，也可以通过其他电路结构实现，在此不做限定。

图9是根据本公开一些实施例的图像处理设备的硬件结构示意图。

如图9所示，图像处理设备900包括处理器910和存储器920，该存储器920用于存储可执行的计算机程序，该处理器910用于根据该计算机程序的控制，执行如以上述步骤S510～S530对应的方法。

图像处理设备900例如可以是PC。图像同步装置70的各模块可以由本实施例中的处理器910执行存储器920存储的计算机程序实现，也可以通过其他电路结构实现，在此不做限定。

<系统实施例>

图10是根据本公开一些实施例的图像显示系统的示意图。如图10所示，图像显示系统100包括图像显示设备800和图像处理设备900。

<计算机可读存储介质实施例>

本实施例提供了一种计算机可读存储介质，该存储介质中存储有可执行命令，该可执行命令被处理器执行时，执行本说明书任意方法实施例中描述的方法(例如上述步骤S210～S220对应的方法或者上述步骤S510～S530对应的方法)。

本说明书的一个实施例或者多个实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本说明书的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本说明书实施例操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本说明书的各个方面。

这里参照根据本说明书实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本说明书的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本说明书的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本说明书的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。

Claims (10)

1.一种图像同步方法，其特征在于，应用于图像显示设备，所述图像显示设备具有两个传输通道，分别为对应左眼图像数据的第一传输通道和对应右眼图像数据的第二传输通道，其中，所述左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，所述序列号反映对应图像帧的播放顺序，所述左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号，所述方法包括：

分别获取所述两个传输通道中待渲染的图像帧的序列号；

在所述两个传输通道中待渲染的图像帧的序列号不同的情况下，根据所述两个传输通道中待渲染的图像帧的序列号进行所述左眼图像数据和右眼图像数据的同步渲染显示。

2.根据权利要求1所述的方法，其特征在于，所述两个传输通道中待渲染的图像帧包括：待渲染的第一图像帧和待渲染的第二图像帧，其中所述第一图像帧的序列号大于所述第二图像帧的序列号；

所述根据所述两个传输通道中待渲染的图像帧的序列号进行所述左眼图像数据和右眼图像数据的同步渲染显示，包括：

停止渲染，获取所述第一图像帧的序列号和所述第二图像帧的序列号的差值；

根据所述差值对所述两个传输通道中待渲染的图像帧进行同步处理，使得所述两个传输通道中待渲染的图像帧的序列号相同；

在所述两个传输通道中待渲染的图像帧的序列号相同的情况下，开始渲染。

3.根据权利要求2所述的方法，其特征在于，所述根据所述差值对所述两个传输通道中待渲染的图像帧进行同步处理，包括：

在所述差值小于或等于第一预设阈值的情况下，继续更新所述第二图像帧对应的传输通道中待渲染的图像帧。

4.根据权利要求2所述的方法，其特征在于，所述根据所述差值对所述两个传输通道中待渲染的图像帧进行同步处理，包括：

在所述差值大于第一预设阈值且小于或等于第二预设阈值的情况下，删除所述第一图像帧对应的传输通道中的至少一个第一目标图像帧；

其中，所述第二预设阈值大于所述第一预设阈值，所述第一目标图像帧的序列号小于所述第一图像帧的序列号。

5.根据权利要求4所述的方法，其特征在于，所述根据所述差值对所述两个传输通道中待渲染的图像帧进行同步处理，还包括：

在所述差值大于第二预设阈值的情况下，将所述第一图像帧对应的传输通道中的至少一个第二目标图像帧插入等待队列，并继续更新所述第二图像帧对应的传输通道中待渲染的图像帧；

其中，所述第二目标图像帧的序列号小于所述第一图像帧的序列号。

6.根据权利要求3所述的方法，其特征在于，所述第一预设阈值为1。

7.一种图像同步方法，其特征在于，应用于图像处理设备，所述方法包括：

获取目标图像的原始图像数据；其中，所述原始图像数据包括多个原始图像帧；

根据所述原始图像数据，生成左眼图像数据和右眼图像数据，其中，所述左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，所述左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号；

将所述左眼图像数据和右眼图像数据发送给图像显示设备进行所述左眼图像数据和所述右眼图像数据的同步渲染显示。

8.一种图像显示设备，其特征在于，具有两个传输通道，分别为对应左眼图像数据的第一传输通道和对应右眼图像数据的第二传输通道，其中，所述左眼图像数据和右眼图像数据中的每一图像帧具有各自的序列号，所述序列号反映对应图像帧的播放顺序，所述左眼图像数据和右眼图像数据中对应同一原始图像帧的图像帧具有相同的序列号；

所述图像显示设备还包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据权利要求1-6中任意一项所述的方法。

9.一种图像处理设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据权利要求7所述的方法。

10.一种图像同步系统，其特征在于，包括如权利要求8所述的图像显示设备和如权利要求9所述的图像处理设备。

Images