CN115643393A - 一种针对双眼图像的播放方法和装置 - Google Patents

Abstract

本发明提供了一种针对双眼图像的播放方法和装置，方法包括：响应延时指令，提取延时信息；通过图像缓存技术，复制并存储第一虚拟摄像机的若干张第一帧图像；向第一显示屏和第二显示屏发送播放指令，以使第一显示屏播放所有第一帧图像并按照帧序播放后续帧，所述第二显示屏播放一张第一帧图像并按照帧序播放后续帧，实现用户的双眼接收图像不同步；延迟的帧数为第一帧图像的复制数量；第一显示屏和第二显示屏分别对应所述用户的双眼；第一虚拟摄像机与第一显示屏对应。相比于现有技术，通过图像缓存技术实现第一显示屏相对于第二显示屏的延迟播放，可以减少现有技术在图像分组到达时变化的时延的问题，提高双眼图像播放的流畅性和可控性。

Description

一种针对双眼图像的播放方法和装置

技术领域

本发明涉及多媒体处理领域，尤其涉及一种针对双眼图像的播放方法和装置。

背景技术

在弱视的矫正领域中，根据待矫正者双眼视力的不同，可以考虑让其弱视眼比优势眼提前接收信息，非同步的双眼视觉刺激可以调控大脑皮层双眼细胞的突触可塑性，使双眼细胞的视觉反应特性得到优化。

目前，控制用户双眼接收的信息不同步的方式主要是通过播放不同步的影片。例如，对于同一序列帧的视频，左眼观看的影片提前一定的帧数进行播放，而右眼则是正常播放，可以达到左眼和右眼的帧数不同步的目的。但是，这种通过延迟或提前帧数播放的方式会出现时延抖动，不容易控制。

发明内容

本发明提供了一种针对双眼图像的播放方法和装置，以解决如何减少在用户双眼接收信息不同步时出现的时延抖动的技术问题。

为了解决上述技术问题，本发明实施例提供了一种针对双眼图像的播放方法，包括：

响应延时指令，提取所述延时指令中的延时信息；

根据所述延时信息，通过图像缓存技术，复制并存储第一虚拟摄像机的若干张第一帧图像；其中，所述延时信息包括需要延时的帧数；所述需要延时的帧数为第一帧图像的复制数量；

向第一显示屏和第二显示屏发送播放指令，以使所述第一显示屏播放所有所述第一帧图像并按照帧序播放后续帧，所述第二显示屏播放一张第一帧图像并按照帧序播放后续帧，实现用户的双眼接收图像不同步；其中，延迟的帧数为所述第一帧图像的复制数量；所述第一显示屏和所述第二显示屏分别对应所述用户的双眼；所述第一虚拟摄像机与所述第一显示屏对应。

作为优选方案，所述播放方法应用于VR眼镜；所述VR眼镜包括所述第一显示屏和所述第二显示屏。

作为优选方案，所述播放方法还包括第二虚拟摄像机；所述第二虚拟摄像机对应第二显示屏。

作为优选方案，所述通过图像缓存技术，存储并复制第一虚拟摄像机的若干张第一帧图像，具体为：

通过队列先进先出原理构建缓存池；将所有所述第一帧图像通过所述缓存池的一端放进缓存池中；其中，所述缓存池与所述第一虚拟摄像机对应。

作为优选方案，在所述复制并存储第一虚拟摄像机的若干张第一帧图像之前，还包括：

获取用户信息；所述用户信息包括用户的双眼视力值；

根据所述双眼视力值确定用户的优势眼和弱视眼；

构建与所述优势眼对应的第一虚拟摄像机和所述弱视眼对应的第二虚拟摄像机。

相应的，本发明实施例还提供了一种针对双眼图像的播放装置，包括提取模块、缓存模块和播放模块；其中，

所述提取模块，用于响应延时指令，提取所述延时指令中的延时信息；

所述缓存模块，用于根据所述延时信息，通过图像缓存技术，复制并存储第一虚拟摄像机的若干张第一帧图像；其中，所述延时信息包括需要延时的帧数；所述需要延时的帧数为第一帧图像的复制数量；

所述播放模块，用于向第一显示屏和第二显示屏发送播放指令，以使所述第一显示屏播放所有所述第一帧图像并按照帧序播放后续帧，所述第二显示屏播放一张第一帧图像并按照帧序播放后续帧，实现用户的双眼接收图像不同步；其中，延迟的帧数为所述第一帧图像的复制数量；所述第一显示屏和所述第二显示屏分别对应所述用户的双眼；所述第一虚拟摄像机与所述第一显示屏对应。

作为优选方案，所述播放装置应用于VR眼镜；所述VR眼镜包括所述第一显示屏和所述第二显示屏。

作为优选方案，所述播放装置还包括第二虚拟摄像机；所述第二虚拟摄像机对应第二显示屏。

作为优选方案，所述缓存模块通过图像缓存技术，存储并复制第一虚拟摄像机的若干张第一帧图像，具体为：

所述缓存模块通过队列先进先出原理构建缓存池；将所有所述第一帧图像通过所述缓存池的一端放进缓存池中；其中，所述缓存池与所述第一虚拟摄像机对应。

作为优选方案，所述播放装置还包括虚拟摄像机构建模块，所述虚拟摄像机构建模块用于，在所述缓存模块复制并存储第一虚拟摄像机的若干张第一帧图像之前，

获取用户信息；所述用户信息包括用户的双眼视力值；

根据所述双眼视力值确定用户的优势眼和弱视眼；

构建与所述优势眼对应的第一虚拟摄像机和所述弱视眼对应的第二虚拟摄像机。

相比于现有技术，本发明实施例具有如下有益效果：

本发明实施例提供了一种针对双眼图像的播放方法和装置，所述播放方法包括：响应延时指令，提取所述延时指令中的延时信息；根据所述延时信息，通过图像缓存技术，复制并存储第一虚拟摄像机的若干张第一帧图像；其中，所述延时信息包括需要延时的帧数；所述需要延时的帧数为第一帧图像的复制数量；向第一显示屏和第二显示屏发送播放指令，以使所述第一显示屏播放所有所述第一帧图像并按照帧序播放后续帧，所述第二显示屏播放一张第一帧图像并按照帧序播放后续帧，实现用户的双眼接收图像不同步；其中，延迟的帧数为所述第一帧图像的复制数量；所述第一显示屏和所述第二显示屏分别对应所述用户的双眼；所述第一虚拟摄像机与所述第一显示屏对应。相比于现有技术，通过图像缓存技术实现第一显示屏相对于第二显示屏的延迟播放，可以减少现有技术在图像分组到达时（或者混传）变化的时延（时延抖动）的问题，提高双眼图像播放的流畅性和可控性。

附图说明

图1：为本发明针对双眼图像提供的播放方法的一种实施例的流程示意图。

图2：为本发明提供的第二虚拟摄像机播放的一种实施例的原理示意图。

图3：为本发明提供的第一虚拟摄像机播放的一种实施例的原理示意图。

图4：为本发明针对双眼图像提供的播放装置的一种实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一:

根据相关技术记载，目前控制用户双眼接收的信息不同步的方式主要是通过播放不同步的影片。例如，对用户的左眼播放第一影片，对右眼播放内容相同的第二影片，然后通过设置第一影片和第二影片的开始播放的时间，以制造播放不同步影片的差异。但是，在一些应用场景中，影像的数据包大小是无法预测的，在大数据包的传输过程中，图像可能分组到达，因此需要等待数据分组被发送完，在该情况下有极大的概率使时延发生变化，也就会产生了时延抖动的现象，且该现象在一些低速的链路中或者数据混传的时候尤为明显。

针对上述一个或多个技术问题，请参照图1至图3，图1为本发明实施例提供的一种针对双眼图像的播放方法，包括步骤S1至步骤S3；其中，

步骤S1，响应延时指令，提取所述延时指令中的延时信息。

在本实施例中，所述针对双眼图像的播放方法应用于VR眼镜。所述VR眼镜接收并响应用户输入的延时指令，提取所述延时指令中的延时信息并执行延时操作。同时，获取用户的信息，该用户信息包括用户的瞳距、双眼矫正视力值、姓名、生日以及其余的眼睛数据或个人数据等。通过所述双眼矫正视力值，确定所述用户的优势眼和弱视眼，从而在虚拟场景中构建与所述优势眼对应的第一虚拟摄像机和所述弱视眼对应的第二虚拟摄像机，所述第一虚拟摄像机和第二虚拟摄像机之间的间隔为所述用户的瞳距。

其中，所述第一虚拟摄像机用于模拟优势眼的观察到的画面。第二虚拟摄像机用于模拟弱视眼观察到的画面。本实施例利用虚拟现实（Virtual Reality，缩写VR）双目眼镜的便利，在VR两个屏幕上实现有延迟的内容刷新，以制造双眼接收信息快慢的差异。并且，根据双眼视力的不同，并基于所述延时信息执行延时操作，使弱视眼比优势眼提前接收到信息，通过非同步的双眼视觉刺激，以调控大脑皮层双眼细胞的突触可塑性，达到优化双眼细胞的视觉反应特性的目的。

步骤S2，根据所述延时信息，通过图像缓存技术，复制并存储第一虚拟摄像机的若干张第一帧图像；其中，所述延时信息包括需要延时的帧数；所述需要延时的帧数为第一帧图像的复制数量。

作为一种优选实施方式，所述VR眼镜包括第一显示屏和第二显示屏，其中第一显示屏对应所述第一虚拟摄像机和优势眼，第二显示屏对应所述第二虚拟摄像机和弱视眼。

对于第二虚拟摄像机，其正常观察到的图像可以参照图2，即图像经过渲染后按照帧序发送到第二显示屏进行正常的播放。

而对于第一虚拟摄像机，可以参照图3。延时信息包括第一虚拟摄像机需要延时的帧数m。在程序中，针对第一虚拟摄像机实例化一个队列queue，将复制的m张第一帧的图像放到队列中，可以标号为1，1（1），1（2），...，1(m)。其余的第二帧至第n帧图像可以标号依次为2，3，4，5，...，n。

然后通过队列先进先出原理构建缓存池；将所有所述第一帧图像1，1（1），1（2），...，1(m)通过所述缓存池的一端放进缓存池中，然后将后续渲染的第二帧至第n帧图像也依次放到缓存池中，然后从缓存池的另一端依次输出到第一显示屏。其中，所述缓存池与所述第一虚拟摄像机对应，对第二虚拟摄像机则不需要构建缓存池。

步骤S3，向第一显示屏和第二显示屏发送播放指令，以使所述第一显示屏播放所有所述第一帧图像并按照帧序播放后续帧，所述第二显示屏播放一张第一帧图像并按照帧序播放后续帧，实现用户的双眼接收图像不同步；其中，延迟的帧数为所述第一帧图像的复制数量；所述第一显示屏和所述第二显示屏分别对应所述用户的双眼；所述第一虚拟摄像机与所述第一显示屏对应。

作为一种优选实施方案，向第一显示屏和第二显示屏发送播放指令。此时第一显示屏播放的图像帧依次为1，1（1），1（2），...，1(m)，2，3，4，5，...，n，第二显示屏播放的图像帧则是1，2，3，4，5，...，n。

假设优势眼为左眼，此时第一虚拟摄像机可以记为leftCam，第二虚拟摄像机可以记为rightCam。对应leftCam的第一显示屏此时显示的内容会比没有缓存池的第二显示屏（对应rightCam）的内容更新会有m帧的延迟。内容延迟的时间可以通过t=FPS/1000*m计算得到，其中，FPS为帧率，t的单位为毫秒。第二显示屏观察到的则是正常的视频素材（第一显示屏和第二显示屏播放的视频素材内容和参数均相同，唯一的差异是播放的第一帧图像的数量），而第一显示屏的图像刷新到1（m）图像帧之后才开始发生变化，多出来的m张第一帧图像则造就了优势眼的延迟。通过设置延迟指令中的延迟信息，可以随时调整指定优势眼或基于用户信息判断的优势眼的图像更新延迟，且延迟时间可以控制，相对现有技术会具有更高的稳定性且可以有效减少时延抖动。

相应的，参照图4，本发明实施例还提供了一种针对双眼图像的播放装置，包括提取模块101、缓存模块102和播放模块103；其中，

所述提取模块101，用于响应延时指令，提取所述延时指令中的延时信息；

所述缓存模块102，用于根据所述延时信息，通过图像缓存技术，复制并存储第一虚拟摄像机的若干张第一帧图像；其中，所述延时信息包括需要延时的帧数；所述需要延时的帧数为第一帧图像的复制数量；

所述播放模块103，用于向第一显示屏和第二显示屏发送播放指令，以使所述第一显示屏播放所有所述第一帧图像并按照帧序播放后续帧，所述第二显示屏播放一张第一帧图像并按照帧序播放后续帧，实现用户的双眼接收图像不同步；其中，延迟的帧数为所述第一帧图像的复制数量；所述第一显示屏和所述第二显示屏分别对应所述用户的双眼；所述第一虚拟摄像机与所述第一显示屏对应。

作为一种优选实施方式，所述播放装置应用于VR眼镜；所述VR眼镜包括所述第一显示屏和所述第二显示屏。

作为一种优选实施方式，所述播放装置还包括第二虚拟摄像机；所述第二虚拟摄像机对应第二显示屏。

作为一种优选实施方式，所述缓存模块102通过图像缓存技术，存储并复制第一虚拟摄像机的若干张第一帧图像，具体为：

所述缓存模块102通过队列先进先出原理构建缓存池；将所有所述第一帧图像通过所述缓存池的一端放进缓存池中；其中，所述缓存池与所述第一虚拟摄像机对应。

作为一种优选实施方式，所述播放装置还包括虚拟摄像机构建模块，所述虚拟摄像机构建模块用于，在所述缓存模块102复制并存储第一虚拟摄像机的若干张第一帧图像之前，

获取用户信息；所述用户信息包括用户的双眼视力值；

根据所述双眼视力值确定用户的优势眼和弱视眼；

构建与所述优势眼对应的第一虚拟摄像机和所述弱视眼对应的第二虚拟摄像机。

相比于现有技术，本发明实施例具有如下有益效果：

本发明实施例提供了一种针对双眼图像的播放方法和装置，所述播放方法包括：响应延时指令，提取所述延时指令中的延时信息；根据所述延时信息，通过图像缓存技术，复制并存储第一虚拟摄像机的若干张第一帧图像；其中，所述延时信息包括需要延时的帧数；所述需要延时的帧数为第一帧图像的复制数量；向第一显示屏和第二显示屏发送播放指令，以使所述第一显示屏播放所有所述第一帧图像并按照帧序播放后续帧，所述第二显示屏播放一张第一帧图像并按照帧序播放后续帧，实现用户的双眼接收图像不同步；其中，延迟的帧数为所述第一帧图像的复制数量；所述第一显示屏和所述第二显示屏分别对应所述用户的双眼；所述第一虚拟摄像机与所述第一显示屏对应。相比于现有技术，通过图像缓存技术实现第一显示屏相对于第二显示屏的延迟播放，可以减少现有技术在图像分组到达时（或者混传）变化的时延（时延抖动）的问题，提高双眼图像播放的流畅性和可控性。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种针对双眼图像的播放方法，其特征在于，包括：

响应延时指令，提取所述延时指令中的延时信息；

根据所述延时信息，通过图像缓存技术，复制并存储第一虚拟摄像机的若干张第一帧图像；其中，所述延时信息包括需要延时的帧数；所述需要延时的帧数为第一帧图像的复制数量；

向第一显示屏和第二显示屏发送播放指令，以使所述第一显示屏播放所有所述第一帧图像并按照帧序播放后续帧，所述第二显示屏播放一张第一帧图像并按照帧序播放后续帧，实现用户的双眼接收图像不同步；其中，延迟的帧数为所述第一帧图像的复制数量；所述第一显示屏和所述第二显示屏分别对应所述用户的双眼；所述第一虚拟摄像机与所述第一显示屏对应。

2.如权利要求1所述的一种针对双眼图像的播放方法，其特征在于，应用于VR眼镜；所述VR眼镜包括所述第一显示屏和所述第二显示屏。

3.如权利要求2所述的一种针对双眼图像的播放方法，其特征在于，所述播放方法还包括第二虚拟摄像机；所述第二虚拟摄像机对应第二显示屏。

4.如权利要求3所述的一种针对双眼图像的播放方法，其特征在于，所述通过图像缓存技术，存储并复制第一虚拟摄像机的若干张第一帧图像，具体为：

通过队列先进先出原理构建缓存池；将所有所述第一帧图像通过所述缓存池的一端放进缓存池中；其中，所述缓存池与所述第一虚拟摄像机对应。

5.如权利要求4所述的一种针对双眼图像的播放方法，其特征在于，在所述复制并存储第一虚拟摄像机的若干张第一帧图像之前，还包括：

获取用户信息；所述用户信息包括用户的双眼视力值；

根据所述双眼视力值确定用户的优势眼和弱视眼；

构建与所述优势眼对应的第一虚拟摄像机和所述弱视眼对应的第二虚拟摄像机。

6.一种针对双眼图像的播放装置，其特征在于，包括提取模块、缓存模块和播放模块；其中，

所述提取模块，用于响应延时指令，提取所述延时指令中的延时信息；

所述缓存模块，用于根据所述延时信息，通过图像缓存技术，复制并存储第一虚拟摄像机的若干张第一帧图像；其中，所述延时信息包括需要延时的帧数；所述需要延时的帧数为第一帧图像的复制数量；

所述播放模块，用于向第一显示屏和第二显示屏发送播放指令，以使所述第一显示屏播放所有所述第一帧图像并按照帧序播放后续帧，所述第二显示屏播放一张第一帧图像并按照帧序播放后续帧，实现用户的双眼接收图像不同步；其中，延迟的帧数为所述第一帧图像的复制数量；所述第一显示屏和所述第二显示屏分别对应所述用户的双眼；所述第一虚拟摄像机与所述第一显示屏对应。

7.如权利要求6所述的一种针对双眼图像的播放装置，其特征在于，应用于VR眼镜；所述VR眼镜包括所述第一显示屏和所述第二显示屏。

8.如权利要求7所述的一种针对双眼图像的播放装置，其特征在于，所述播放装置还包括第二虚拟摄像机；所述第二虚拟摄像机对应第二显示屏。

9.如权利要求8所述的一种针对双眼图像的播放装置，其特征在于，所述缓存模块通过图像缓存技术，存储并复制第一虚拟摄像机的若干张第一帧图像，具体为：

所述缓存模块通过队列先进先出原理构建缓存池；将所有所述第一帧图像通过所述缓存池的一端放进缓存池中；其中，所述缓存池与所述第一虚拟摄像机对应。

10.如权利要求9所述的一种针对双眼图像的播放装置，其特征在于，所述播放装置还包括虚拟摄像机构建模块，所述虚拟摄像机构建模块用于，在所述缓存模块复制并存储第一虚拟摄像机的若干张第一帧图像之前，

获取用户信息；所述用户信息包括用户的双眼视力值；

根据所述双眼视力值确定用户的优势眼和弱视眼；

构建与所述优势眼对应的第一虚拟摄像机和所述弱视眼对应的第二虚拟摄像机。

Images