CN104539929A - 带有运动预测的立体图像编码方法和编码装置 - Google Patents

Abstract

本发明提供一种带有运动预测的立体图像编码方法，用于虚拟现实的头戴显示器，方法包括编码单元对现实世界划分并建立立体空间存储表格；对摄像头拍摄范围的图像实时编码并存储格子，同时随头部运动轨迹的变化，不断更新每个存储格子中的内容；获取头部运动轨迹曲线并分析下一个视觉窗口将要更新的小格位置；将要更新的小格位置从存储格子中取出所有数据，进行压缩编码并存在高速内存装置中；根据当前运动轨迹位置，将虚拟场景和真实世界输入应用处理器中的视觉数据整体融合显示。该方法解决了虚拟现实技术中图像延迟产生的眩晕问题。本发明还公开了编码装置，其结构紧凑、成本低廉、适用范围广、基于虚拟化技术防眩晕且具有高数据压缩能力。

Description

带有运动预测的立体图像编码方法和编码装置

技术领域

本发明属于数据处理设备领域，具体涉及一种带有运动预测的立体图像编码方法和编码装置，适用于虚拟现实的头戴显示器中。

背景技术

在虚拟现实技术中，为了高效地进行动态图像数据的传送和蓄积，使用压缩编码技术。现在主流的图像编码都是4k分辨率或者2k(1080p)的显示技术，在单通道的视频流的数据量可以达到未压缩的单帧图像的数据量要超过每帧30M字节；在头戴显示器的应用中，由于近瞳目镜放大了图像的细节，图像的刷新率最少需要60帧每秒，动态图像将超过1.8G字节每秒，超过了现在最快的几个通用的数据传输总线如Usb3.0的最大传输速率，在双通道的立体高清视频的传输就更成问题。

现在所有的高清视频传输都采用了H.264、H.265的编码，在数据传输的容量上进行了压缩，立体的60p高清图像可以做到30M字节每秒，可以解决传输速率上的问题，但在由于编码的时间一般都在技术标称50毫秒以上，加上传输与解码显示的其他过程实际的延迟达到100ms，使头戴显示器在实时性上产生了新问题——让视觉神经产生了严重的延迟感，导致人有眩晕感。实验中发现，人的视觉神经的极限感觉为80到100帧每秒，10ms以下的延迟是人类基本无法感知。针对上述技术问题，申请人研制出一种的图像编码方法及该编码装置，可进行运动预测，并将延迟时间降低在10ms以内，从而使人的感觉神经无法感 知；这样，现实世界进行立体数字化与虚拟化视觉混合后的图像融合表现为连续性的，避免产生眩晕感。

发明内容

针对现有技术存在的问题，本发明要解决的技术问题是提供一种基于虚拟化技术且具有高速压缩功能、带有运动预测的新型立体图像编码方法，该编码方法解决了虚拟现实技术中图像延迟产生的眩晕问题。本发明另一方面还提供运用该编码方法的编码装置，其结构紧凑、成本低廉、适用范围广、基于虚拟化技术防眩晕且具有高数据压缩能力。

为解决上述技术问题，本发明包括以下的技术方案：

一种带有运动预测的立体图像编码方法，用于虚拟现实的头戴显示器中，方法包括以下步骤，

步骤101编码单元对现实世界划分并建立立体空间存储表格；

步骤201对摄像头拍摄范围的图像实时编码并存储格子，同时随头部运动轨迹的变化，不断更新每个存储格子中的内容；

步骤301获取头部运动轨迹曲线并分析下一个视觉窗口将要更新的小格位置；

步骤401将要更新的小格位置从存储格子中取出所有数据，进行压缩编码并存在高速内存装置中；

步骤501根据当前运动轨迹位置，将虚拟场景和真实世界输入应用处理器中的视觉数据整体融合显示。

本发明的步骤201具体为：通过头戴显示器的高清摄像头代替人眼位置，实时拍摄大于人眼20°的视觉范围的图像；编码单元进行实时编 码，按预定空间的格子尺寸格式存储格子，并随着头部位置的不断变化进行每个存储格子内容的更新。

步骤301具体为：通过头部位置计算双眼视觉窗口位置，得到视觉窗口左上、右下两个格子的位置，同时编码单元从定位与运动传感装置中获取头部运动曲线，并分析下一个视觉窗口中将要更新的小格位置。

其中定位与运动传感装置包括电子陀螺仪和电子加速度传感器。

编码方法中的下一个视觉窗口为沿当前头部运动轨迹走向，下一个10毫秒将要到达的空间坐标轨迹所在的视觉窗口。

步骤401具体为：编码单元内的Dsp或多路编码芯片按小格的分辨率数据，根据头部运动轨迹顺序进行压缩编码，将根据动作预测到要更新的小格位置的数据取出，优先编码；随后按应用处理器的运动坐标规划，将每一个视频小格视频流数据存取于高速内存装置。

通常人的双眼在一个瞬间只能看到现实世界的一个小的部分，依靠头部的转动来实现环顾360°空间。本发明的编码方法中，利用目前的3轴陀螺仪技术计算出人头部的位置，利用3轴加速度传感器追踪人头部的运动，对人头部位置和运动的计算，根据运动惯性的原理，提前预测出头部的运动轨迹，即可以知道人的双眼下一个视觉窗口所在的位置。

由上述方法介绍可知，本发明编码方法的具体原理为：对现实空间进行格子化划分，根据采样原理，将每个格子的尺寸小于1/4个视场，对每个视场的数据进行预先的存储，在我们的视场在移动到位之前将数据准备好，在视场移动到位后马上就显示，就不会有延迟产生。以现在的显示技术，这个过程远小于1毫秒，这样人的视觉神经就没有感觉，整个现实世界进行立体数字化编码与虚拟化视觉混合后的图像就是连续的。

本发明还提供了一种带有运动预测的立体图像编码装置，装置包括从阵列摄像头中获取视频图像的多媒体接口单元、从定位与运动传感装置中获取空间坐标轨迹的传感器接口单元、以及连接所述多媒体接口单元和传感器接口单元的编码单元以及连接于编码单元的通讯单元；所述编码单元用于将编码对象的图像分割成多个处理块，参照传感器上传的运动轨迹预测下一个坐标轨迹并进行预测编码。

进一步地，编码单元包括预处理部、预测部和编码部；

其中预处理部用于接入多媒体接口单元，将摄像头阵列获取的视频图像按小格设定分辨率，进行分割组包；

预测部用于接入传感器接口单元，获取传感数据并进行预测下一个视觉窗口的空间坐标轨迹；

编码部与预处理部和预测部连接，其按照分辨率每格数据，根据需求顺序对图像进行编码，且将预测单元预测到的轨迹图像优先编码。

本发明的通讯单元上还设有串口或Usb接口，用于接入应用处理器和高速存储装置。

本发明的编码方法和装置优化了编码的应用空间，通过获取阵列摄像头的视频图像实现更多的视觉范围空间(fov)输数据源，便于这些视觉范围的画面还没进入人眼的视线范围内即可提前开始画面编码。此外，该编码模块增加了运动预测部，可以将计算出真实的下几帧(10-100毫秒)眼睛视线边缘的运动方向和位移(等效人体视觉窗口的更新方向和距离)，让编码单元在视线还没有移动到这个位置的时候就预先编码存储好这个位置的画面，当头部运动按预测动作后，应用处理器只需要到高速内存取出画面显示，该过程中没有编码和数据处理的延迟，可以在10毫秒以下完成到液晶屏的显示。

附图说明

上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。

图1为实施例的立体图像编码方法示意图；

图2为实施例的立体图像编码方法中摄像头阵列的示意图；

图3为实施例的立体图像编码装置结构示意图；

图4为实施例的头戴显示器的结构示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明实施方式再作进一步详细的说明。

实施例

图1为根据本发明实施方式的带有运动预测的立体图像编码方法的步骤示意图。

一种带有运动预测的立体图像编码方法，该方法用于执行虚拟现实技术的图像编码，包括以下步骤，

步骤101初始化系统各模块，编码单元对现实世界划分并建立立体空间存储表格；

步骤201对摄像头拍摄范围的图像实时编码并存储格子，同时随头部运动轨迹的变化，不断更新每个存储格子中的内容；

具体地，通过头戴显示器的高清摄像头代替人眼位置，实时拍摄大于人眼20°的视觉范围的图像；编码单元进行实时编码，按预定空间的格子尺寸格式存储在内存格子Mij中，并随着头部位置的不断变化进行每个存储格子Mij中的内容进行更新。

其中高清摄像头为多个，内部感光器件呈阵列组合，如图2所示；由于每个人的眼睛的有效视场角在水平160左右，垂直90°左右，每个摄像机在画面基本不发生失真的视场角在60-90°左右。本发明方法中，通过把多个摄像头的视觉范围角(视场fov)叠加起来，从而可以看到更大的范围，等效于将多个coms或者ccd的感光元件组成了阵列，提供了更多的视觉范围空间数据源，便于这些视觉范围的画面还没有进入人眼的视线范围内就可提前开始画面编码。

步骤301获取头部运动轨迹曲线并分析下一个视觉窗口将要更新的小格位置；

通过头部位置计算双眼视觉窗口位置，得到W(Mlt，Mrb)左上、右下两个格子的位置，同时编码单元从定位与运动传感装置中获取头部运动曲线，并分析下一个视觉窗口的将要更新的小格位置W(Nlt，Nrb)。

定位与运动传感装置包括电子陀螺仪和电子加速度机传感器，利用目前的3轴陀螺仪技术计算出人头部的位置，以及3轴加速度传感器追踪人头部的运动，对人头部位置和运动的计算。根据运动惯性的原理，可提前预测出头部的运动轨迹，就可以预测知道人双眼下一个视觉窗口的位置。

步骤401将要更新的小格位置W(Nlt，Nrb)从存储格子Mij中取出所有数据，进行压缩编码并存在高速内存装置中；

编码单元内的Dsp或多路编码芯片按小格的分辨率数据，根据头部运动轨迹顺序进行压缩编码，将根据动作预测到要更新的小格位置W(Nlt，Nrb)的数据取出，优先编码；随后按应用处理器的运动坐标规划，将每一个视频小格 视频流数据存取于高速内存装置。

步骤501根据当前运动轨迹位置，将虚拟场景和真实世界输入应用处理器的视觉数据整体进行融合显示。

图3所示，本发明的另一个实施例中给出了带有行动预测的立体图像编码装置1，该编码装置1包括从阵列摄像头中获取视频图像的多媒体接口单元10、从定位与运动传感装置中获取空间坐标轨迹的传感器接口单元20、连接所述多媒体接口单元10和传感器接口单元20的编码单元30、以及连接编码单元30的通讯单元40；所述编码单元30用于将编码对象的图像分割成多个处理块，参照传感器上传的运动轨迹预测下一个坐标轨迹并进行预测编码。通讯单元40上设有串口或Usb接口，用于接入应用处理器和高速存储装置。

编码单元30包括预处理部31、预测部32以及编码部11。预处理部31用于接入多媒体接口单元10，将摄像头阵列获取视频图像按小格设定分辨率，进行分割组包；例如摄像头为800万像素coms，3840*2160分辨率输出YUV数字信号、同步信号和时钟等至预处理部，对多个摄像头信号按小格设定的分辨率(如1080P)进行再次分割组包。预测部32用于接入传感器接口单元20，获取传感数据并进行预测下一个视觉窗口的空间坐标轨迹；编码部33与预处理部31和预测部32连接，其按照分辨率(如1080P)每格数据，根据需求顺序对图像进行编码，且将预测部32预测到的轨迹图像优先编码。

本发明再一个实施方法公开了一种运用上述立体图像编码装置1的头戴显示器，图4所示，包括立体图像编码装置1、立体摄像头2、头部定位与运动传感装置3、高速内存装置4、应用处理器5以及高清液晶屏6。

立体摄像头2对现实环境的图像声音进行识别并上传至立体图像编码装置1。头部定位与运动传感装置3包括电子陀螺仪和加速度计，用于获取头部运动的原始姿态信息，并上传至立体图像编码装置1。立体图像编码装置1用 于将特征点数据进行预先存储和预测头部运动轨迹，并不断修正电子陀螺仪及加速度计，保证头部误差神经无法感知。

应用处理器5分别与高速内存装置4和高清液晶屏6连接，用于完成所有的虚拟图像和特征点所显示的图像在同一的空间坐标系的融合，并将处理后的图像显示在高清液晶屏6中显示。本实施例的应用处理器5可以为通过有线或无线通信连接移动终端、智能电视、计算机或基于云计算的信息服务平台。

该头戴显示器可以先对现实环境进行一些特征点在空间定位，而这个定位是用光学图像在空间的定位，不会发生偏移，在头部的运动中，不断用运动中的特征点进行差值计算，推导出现在的头部位置，不断修正电子陀螺仪和电子加速度计，保证头部位置的误差神经无法感知；即该显示器呈现的现实环境的立体视频与虚拟场景视频流进行无延迟混合，有效克服眩晕感。

以上所述实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (9)

1.一种带有运动预测的立体图像编码方法，用于虚拟现实的头戴显示器中，所述方法包括以下步骤，

步骤101编码单元对现实世界划分并建立立体空间存储表格；

步骤201对摄像头拍摄范围的图像实时编码并存储格子，同时随头部运动轨迹的变化，不断更新每个存储格子中的内容；

步骤301获取头部运动轨迹曲线并分析下一个视觉窗口将要更新的小格位置；

步骤401将要更新的小格位置从存储格子中取出所有数据，进行压缩编码并存在高速内存装置中；

步骤501根据当前运动轨迹位置，将虚拟场景和真实世界输入应用处理器中的视觉数据整体融合显示。

2.如权利要求1所述的带有运动预测的立体图像编码方法，其特征在于，步骤201具体为：通过头戴显示器的高清摄像头代替人眼位置，实时拍摄大于人眼20°的视觉范围的图像；编码单元进行实时编码，按预定空间的格子尺寸格式存储格子中，并随着头部位置的不断变化进行每个存储格子内容的更新。

3.如权利要求1所述的带有运动预测的立体图像编码方法，其特征在于，步骤301具体为：通过头部位置计算双眼视觉窗口位置，得到视觉窗口左上、右下两个格子的位置，同时编码单元从定位与运动传感装置中获取头部运动曲线，并分析下一个视觉窗口中将要更新的小格位置。

4.如权利要求3所述的带有运动预测的立体图像编码方法，其特征在于，所述定位与运动传感装置包括电子陀螺仪和电子加速度传感器。

5.如权利要求3所述的带有运动预测的立体图像编码方法，其特征在于，所述下一个视觉窗口为沿当前头部运动轨迹的走向，下一个10毫秒将要到达的空间坐标轨迹所在的视觉窗口。

6.如权利要求1所述的带有运动预测的立体图像编码方法，其特征在于，步骤401具体为：编码单元内的Dsp或多路编码芯片按小格的分辨率数据，根据头部运动轨迹顺序进行压缩编码，将根据动作预测到要更新的小格位置的数据取出优先编码；随后按应用处理器的运动坐标规划，将每一个视频小格视频流数据存取于高速内存装置。

7.一种带有运动预测的立体图像编码装置，其特征在于，所述装置包括从阵列摄像头中获取视频图像的多媒体接口单元、从定位与运动传感装置中获取空间坐标轨迹的传感器接口单元、连接所述多媒体接口单元和传感器接口单元的编码单元以及连接于编码单元的通讯单元；所述编码单元用于将将编码对象的图像分割成多个处理块，参照传感器上传的运动轨迹预测下一个坐标轨迹并进行预测编码。

8.如权利要求7所述的带有运动预测的立体图像编码装置，其特征在于，所述编码单元包括，

预处理部，用于接入多媒体接口单元，将摄像头阵列获取视频图像按小格设定分辨率，进行分割组包；

预测部，用于接入传感器接口单元，获取传感数据并进行预测下一个视觉窗口的空间坐标轨迹；

编码部，与预处理部和预测部连接，其按照分辨率每格数据，根据需求顺序对图像进行编码，且将预测单元预测到的轨迹图像优先编码。

9.如权利要求7所述的带有运动预测的立体图像编码装置，其特征在于，所述通讯单元上设有串口或Usb接口，用于接入应用处理器和高速存储装置。