CN107071387A

CN107071387A - 一种同步传输imu数据和图像数据的方法及系统

Info

Publication number: CN107071387A
Application number: CN201710256917.1A
Authority: CN
Inventors: 艾韬; 黄仁芳
Original assignee: Shenzhen Visonertech Co Ltd
Current assignee: Shenzhen Visonertech Co Ltd
Priority date: 2017-04-19
Filing date: 2017-04-19
Publication date: 2017-08-18
Anticipated expiration: 2037-04-19
Also published as: CN107071387B

Abstract

本发明实施例公开了一种同步传输IMU数据和图像数据的方法及系统，用于解决目前的HMD设备与PC之间都是依靠USB2.0进行IMU数据的交互，与HMD的图像传输接口是相互独立的，无法实现IMU与图像数据的同步，从而导致的在应用领域上被过度束缚的技术问题。本发明实施例方法包括：将与视频图像同步的IMU数据插入到视频图像的边角位置，并将插入了IMU数据后的视频图像传输至视频图像处理终端，边角位置包括左上角边缘位置、右上角边缘位置、左下角边缘位置、右下角边缘位置。

Description

一种同步传输IMU数据和图像数据的方法及系统

技术领域

本发明涉及头戴式显示器领域，尤其涉及一种同步传输IMU数据和图像数据的方法及系统。

背景技术

头戴式显示器(HMD，Head mounted display)又称抬头显示器(HUD，Head updisplay)，是一种至少包含一个微型显示器件(像源系统)、相应的光学系统、以及支持结构(支持系统)的近眼显示装置。视透式HMD具有其特殊的人机交互特性，能够结合增强现实技术，广泛应用于科研、军事、工业、游戏、视频、教育、仿真等各个领域。

目前，IMU(惯性测量单元)已经成为头戴式设备的标配之一。然而目前的HMD设备与PC之间都是依靠USB2.0进行IMU数据的交互，与HMD的图像传输接口是相互独立的，无法实现IMU与图像数据的同步，从而导致的在应用领域上被过度束缚，如计算机视觉处理做精准SLAM建模时，必须要求每一幅图和IMU数据完全同步。

发明内容

本发明实施例提供了一种同步传输IMU数据和图像数据的方法及系统，解决了目前的HMD设备与PC之间都是依靠USB2.0进行IMU数据的交互，与HMD的图像传输接口是相互独立的，无法实现IMU与图像数据的同步，从而导致的在应用领域上被过度束缚的技术问题。

本发明实施例提供的一种同步传输IMU数据和图像数据的方法，包括：

将与视频图像同步的IMU数据插入到视频图像的边角位置，并将插入了IMU数据后的视频图像传输至视频图像处理终端，边角位置包括左上角边缘位置、右上角边缘位置、左下角边缘位置、右下角边缘位置。

优选地，将与视频图像同步的IMU数据插入到视频图像的边角位置，并将插入了IMU数据后的视频图像传输至视频图像处理终端之前包括：

对IMU数据在传输过程中造成的误差进行预计算并进行相应的特征前缀编码。

优选地，对IMU数据在传输过程中造成的误差进行预计算并进行相应的特征前缀编码具体包括：

对IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差进行预计算并根据预计算的误差结果进行相应的特征前缀编码。

优选地，对IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差进行预计算具体包括：

对IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差通过公式一至公式七进行预计算，公式一至公式七具体为：

I0＝(I+16)/1.164；

YUV＝(INT(I0),128,128)；

RGB＝(I～，I～，I～)；

B＝INT(1.164(Y-16)+2.018(U-128))；

G＝INT(1.164(Y-16)–0.813(V-128)–0.391(U-128))；

R＝INT(1.164(Y-16)+1.596(V-128))；

△I＝I-I～；

其中，I为IMU的原始数据，I0为I转换到YUV格式的数值，I～为I0由YUV格式转换到RGB格式的数值，△I为误差值。

优选地，将与视频图像同步的IMU数据插入到视频图像的边角位置，并将插入了IMU数据后的视频图像传输至视频图像处理终端之后包括：

视频图像处理终端根据IMU数据中进行特征前缀编码获得的特征前缀码对IMU数据进行还原。

本发明实施例提供的一种同步传输IMU数据和图像数据的系统，包括：

HMD、视频图像处理终端，HMD与视频图像处理终端连接；

HMD包括插入模块，用于将与视频图像同步的IMU数据插入到视频图像的边角位置，并将插入了IMU数据后的视频图像传输至视频图像处理终端，边角位置包括左上角边缘位置、右上角边缘位置、左下角边缘位置、右下角边缘位置。

优选地，HMD还包括：

预计算编码模块，用于对IMU数据在传输过程中造成的误差进行预计算并进行相应的特征前缀编码。

优选地，预计算编码模块具体包括：

预计算编码单元，用于对IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差进行预计算并根据预计算的误差结果进行相应的特征前缀编码。

优选地，预计算编码单元具体包括：

预计算子单元，用于对IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差通过公式一至公式七进行预计算，公式一至公式七具体为：

I0＝(I+16)/1.164；

YUV＝(INT(I0),128,128)；

RGB＝(I～，I～，I～)；

B＝INT(1.164(Y-16)+2.018(U-128))；

G＝INT(1.164(Y-16)–0.813(V-128)–0.391(U-128))；

R＝INT(1.164(Y-16)+1.596(V-128))；

△I＝I-I～；

优选地，视频图像处理终端包括：

还原模块，用于根据IMU数据中进行特征前缀编码获得的特征前缀码对IMU数据进行还原。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供了一种同步传输IMU数据和图像数据的方法及系统，包括：将与视频图像同步的IMU数据插入到视频图像的边角位置，并将插入了IMU数据后的视频图像传输至视频图像处理终端，边角位置包括左上角边缘位置、右上角边缘位置、左下角边缘位置、右下角边缘位置，本发明实施例中根据人眼透过目镜看到的视频显示是小于实际屏幕成像的尺寸，也即人眼是看不到视频的四个边角的原理，通过将与视频图像同步的IMU数据插入到视频图像的边角位置与图像一并进行传输且不会对人的视觉体验造成任何影响，不但缩减了HMD与PC的连线数量，还可以同步出每一帧图像对应的IMU数据，解决了目前的HMD设备与PC之间都是依靠USB2.0进行IMU数据的交互，与HMD的图像传输接口是相互独立的，无法实现IMU与图像数据的同步，从而导致的在应用领域上被过度束缚的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种同步传输IMU数据和图像数据的方法的一个实施例的流程示意图；

图2为本发明实施例提供的一种同步传输IMU数据和图像数据的方法的另一个实施例的流程示意图；

图3为本发明实施例提供的软硬件配合传输IMU数据的流程示意图；

图4为本发明实施例提供的视频图像中IMU数据的组织格式示意图；

图5为本发明实施例提供的一种同步传输IMU数据和图像数据的系统的结构示意图。

具体实施方式

本发明实施例提供了一种同步传输IMU数据和图像数据的方法及系统，用于解决目前的HMD设备与PC之间都是依靠USB2.0进行IMU数据的交互，与HMD的图像传输接口是相互独立的，无法实现IMU与图像数据的同步，从而导致的在应用领域上被过度束缚的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供的一种同步传输IMU数据和图像数据的方法的一个实施例包括：

101、将与视频图像同步的IMU数据插入到视频图像的边角位置，并将插入了IMU数据后的视频图像传输至视频图像处理终端，边角位置包括左上角边缘位置、右上角边缘位置、左下角边缘位置、右下角边缘位置。

由于对于基于视频透视的AR、MR设备来说，人眼透过目镜看到的视频显示是小于实际屏幕成像的尺寸，也即人眼是看不到视频的四个边角的。因此可以将IMU的数据插入到图像的最上或最下的位置与图像一并进行传输且不会对人的视觉体验造成任何影响。因此，将与视频图像同步的IMU数据插入到视频图像的边角位置(如左上角边缘位置、右上角边缘位置、左下角边缘位置、右下角边缘位置)，并将插入了IMU数据后的视频图像传输至视频图像处理终端，实现视频图像与IMU数据的同步传输。其中，视频图像处理终端可以为PC、平板电脑、笔记本电脑等智能设备终端。

本发明实施例提供了一种同步传输IMU数据和图像数据的方法，包括：将与视频图像同步的IMU数据插入到视频图像的边角位置，并将插入了IMU数据后的视频图像传输至视频图像处理终端，本发明实施例中根据人眼透过目镜看到的视频显示是小于实际屏幕成像的尺寸，也即人眼是看不到视频的四个边角的原理，通过将与视频图像同步的IMU数据插入到视频图像的边角位置与图像一并进行传输且不会对人的视觉体验造成任何影响，不但缩减了HMD与PC的连线数量，还可以同步出每一帧图像对应的IMU数据，解决了目前的HMD设备与PC之间都是依靠USB2.0进行IMU数据的交互，与HMD的图像传输接口是相互独立的，无法实现IMU与图像数据的同步，从而导致的在应用领域上被过度束缚的技术问题。

以上为对本发明实施例提供的一种同步传输IMU数据和图像数据的方法的一个实施例进行的详细描述，以下将对本发明实施例提供的一种同步传输IMU数据和图像数据的方法的另一个实施例进行详细的描述。

请参阅图2，本发明实施例提供的一种同步传输IMU数据和图像数据的方法的另一个实施例包括：

201、对IMU数据在传输过程中造成的误差进行预计算并进行相应的特征前缀编码；

由于对于基于视频透视的AR、MR设备来说，人眼透过目镜看到的视频显示是小于实际屏幕成像的尺寸，也即人眼是看不到视频的四个边角的。因此可以将IMU的数据插入到图像的最上或最下的位置与图像一并进行传输且不会对人的视觉体验造成任何影响。然而，由于视频是基于UVC协议传输的，会涉及到YUV到RGB的图像空间转换，而在转换的过程中会涉及到数据精度的损失，尤其是对于浮点型的数据，会造成失之毫厘，谬以千里的误差，因此不能简单地通过逆转换还原出IMU的发送的原始数据。因此，传输IMU数据之前，需要对IMU数据在传输过程中造成的误差进行预计算并进行相应的特征前缀编码，即对IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差进行预计算并根据预计算的误差结果进行相应的特征前缀编码。在PC应用领域，UVC中YUV与RGB的转换公式为：

设IMU发送的8bit原始数据为I，假设整个计算过程完全不涉及任何的精度损失，则先按I0＝(I+16)/1.164先计算出I0，然后按YUV＝(I0，128，128)插入图像，就可以在接收端精确还原出RGB＝(I，I，I)。

而在实际的运算和传输的过程中需要对计算结果进行取整处理，也即实际传输的数据为YUV＝(INT(I0)，128，128)。同样，PC接收端在进行YUV->RGB颜色空间转换后的过程中再次会对计算结果进行取整近似，因此最终得到的RGB＝(I～，I～，I～)。其中I～为I的近似值，其与I的偏差根据I值的不同而不尽相同，其偏差范围为△I＝I-I～＝0～2。经过预计算，可以准确得到每个I对应的I～及其偏差值。为确保无损传输，针对每个I，按其与I～的偏差值进行相应的特征前缀编码。接收端则根据特征前缀码在其接收的数据I～上加上与其对应的△I即可准确还原出原始的数据I。

202、将与视频图像同步的IMU数据插入到视频图像的边角位置，并将插入了IMU数据后的视频图像传输至视频图像处理终端，边角位置包括左上角边缘位置、右上角边缘位置、左下角边缘位置、右下角边缘位置；

然后，将与视频图像同步的IMU数据插入到视频图像的边角位置(如左上角边缘位置、右上角边缘位置、左下角边缘位置、右下角边缘位置)，并将插入了IMU数据后的视频图像传输至视频图像处理终端，实现视频图像与IMU数据的同步传输。其中，视频图像处理终端可以为PC、平板电脑、笔记本电脑等智能设备终端。

203、视频图像处理终端根据IMU数据中进行特征前缀编码获得的特征前缀码对IMU数据进行还原。

最后，由视频图像处理终端根据IMU数据中进行特征前缀编码获得的特征前缀码对IMU数据进行还原，实现对IMU数据的无损传输，即视频图像处理终端根据特征前缀码在其接收的数据I～上加上与其对应的△I即可准确还原出原始的数据I。

为了便于理解，以下将以一具体的例子详细说明同步传输IMU数据和图像数据的过程。

首先，按8bit数据遍历所有IMU可能发送的数据I，根据以下公式计算出RGB＝(I～,I～，I～)，并得到相应的偏差△I＝I-I～。

根据偏差值的不同选定相应个数的特征码。本例中△I偏差值为0～2，可设定偏差值为0的编码为0xF5，偏差为2的编码为0x6F，偏差为1的编码为0x00。需要说明的是，本例仅为说明方便选择以上三个特征码，实际特征码选择不受限制，可根据实际需要进行选择。经过YUV->RGB空间转换，PC端收到的3个特征码分别为0xFF，0x6E，0x00。

记Ic为特征前缀编码，则软硬件配合传输IMU数据的流程如图3所示，软件按照如图3所示的方式即可对IMU数据进行还原，即所有偶数字节(byte)的像素(pixel)为特征码，奇数字节的像素为IMU的伴随数据。由于每个像素对应的数据为RGB类型,而每个像素的分量R、G、B对应的数值是相等的，软件只需要固定取一个分量的数值即可。如图4所示，为视频图像中IMU数据的组织格式示意图。

在接收到IMU的数据后，软件需要对包数据进行对齐和解读。由于不同厂家、不同型号的IMU的包数据格式可能会有所差异，本例中以Uranus2姿态模块为例，其数据包格式如表1所示：

表1

由此，软件遍寻按byte递增IMU数据，匹配到0x5AA5即寻到帧头，接着从解析出的包数据中提取第30至第45byte数据(含帧头在内)，映射成32bit小端的float类型数据即可得到IMU的四元素数据。

本发明实施例提供了一种同步传输IMU数据和图像数据的方法，包括：对IMU数据在传输过程中造成的误差进行预计算并进行相应的特征前缀编码；将与视频图像同步的IMU数据插入到视频图像的边角位置，并将插入了IMU数据后的视频图像传输至视频图像处理终端，视频图像处理终端根据IMU数据中进行特征前缀编码获得的特征前缀码对IMU数据进行还原，本发明实施例中根据人眼透过目镜看到的视频显示是小于实际屏幕成像的尺寸，也即人眼是看不到视频的四个边角的原理，通过将与视频图像同步的IMU数据插入到视频图像的边角位置与图像一并进行传输且不会对人的视觉体验造成任何影响，不但缩减了HMD与PC的连线数量，还可以同步出每一帧图像对应的IMU数据，并且经过预计算后对IMU数据进行特征前缀编码，最后通过在视频图像处理终端相应的解码还原出每一帧对应的IMU数据和图像数据，实现无损还原IMU数据，解决了目前的HMD设备与PC之间都是依靠USB2.0进行IMU数据的交互，与HMD的图像传输接口是相互独立的，无法实现IMU与图像数据的同步，从而导致的在应用领域上被过度束缚的技术问题。

以上为对本发明实施例提供的一种同步传输IMU数据和图像数据的方法的另一个实施例的详细描述，以下将对本发明实施例提供的一种同步传输IMU数据和图像数据的系统进行详细的描述。

请参阅图5，本发明实施例提供的一种同步传输IMU数据和图像数据的系统包括：

HMD301、视频图像处理终端302，HMD301与视频图像处理终端302连接；

HMD301包括：预计算编码模块3011，用于对IMU数据在传输过程中造成的误差进行预计算并进行相应的特征前缀编码；预计算编码模块3011具体包括：

预计算编码单元30111，用于对IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差进行预计算并根据预计算的误差结果进行相应的特征前缀编码。预计算编码单元30111具体包括：

预计算子单元301111，用于对IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差通过公式一至公式七进行预计算，公式一至公式七具体为：

I0＝(I+16)/1.164；

YUV＝(INT(I0),128,128)；

RGB＝(I～，I～，I～)；

B＝INT(1.164(Y-16)+2.018(U-128))；

G＝INT(1.164(Y-16)–0.813(V-128)–0.391(U-128))；

R＝INT(1.164(Y-16)+1.596(V-128))；

△I＝I-I～；

插入模块3012，用于将与视频图像同步的IMU数据插入到视频图像的边角位置，并将插入了IMU数据后的视频图像传输至视频图像处理终端，边角位置包括左上角边缘位置、右上角边缘位置、左下角边缘位置、右下角边缘位置。

视频图像处理终端302包括：

还原模块3021，用于根据IMU数据中进行特征前缀编码获得的特征前缀码对IMU数据进行还原。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种同步传输IMU数据和图像数据的方法，其特征在于，包括：

将与视频图像同步的IMU数据插入到所述视频图像的边角位置，并将插入了所述IMU数据后的视频图像传输至视频图像处理终端，所述边角位置包括左上角边缘位置、右上角边缘位置、左下角边缘位置、右下角边缘位置。

2.根据权利要求1所述的同步传输IMU数据和图像数据的方法，其特征在于，所述将与视频图像同步的IMU数据插入到所述视频图像的边角位置，并将插入了所述IMU数据后的视频图像传输至视频图像处理终端之前包括：

对所述IMU数据在传输过程中造成的误差进行预计算并进行相应的特征前缀编码。

3.根据权利要求2所述的同步传输IMU数据和图像数据的方法，其特征在于，所述对所述IMU数据在传输过程中造成的误差进行预计算并进行相应的特征前缀编码具体包括：

对所述IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差进行预计算并根据预计算的误差结果进行相应的特征前缀编码。

4.根据权利要求3所述的同步传输IMU数据和图像数据的方法，其特征在于，所述对所述IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差进行预计算具体包括：

对所述IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差通过公式一至公式七进行预计算，所述公式一至所述公式七具体为：

I0＝(I+16)/1.164；

YUV＝(INT(I0),128,128)；

RGB＝(I～，I～，I～)；

B＝INT(1.164(Y-16)+2.018(U-128))；

G＝INT(1.164(Y-16)–0.813(V-128)–0.391(U-128))；

R＝INT(1.164(Y-16)+1.596(V-128))；

△I＝I-I～；

5.根据权利要求2所述的同步传输IMU数据和图像数据的方法，其特征在于，所述将与视频图像同步的IMU数据插入到所述视频图像的边角位置，并将插入了所述IMU数据后的视频图像传输至视频图像处理终端之后包括：

所述视频图像处理终端根据所述IMU数据中进行特征前缀编码获得的特征前缀码对所述IMU数据进行还原。

6.一种同步传输IMU数据和图像数据的系统，其特征在于，包括：

HMD、视频图像处理终端，所述HMD与所述视频图像处理终端连接；

所述HMD包括插入模块，用于将与视频图像同步的IMU数据插入到所述视频图像的边角位置，并将插入了所述IMU数据后的视频图像传输至视频图像处理终端，所述边角位置包括左上角边缘位置、右上角边缘位置、左下角边缘位置、右下角边缘位置。

7.根据权利要求6所述的同步传输IMU数据和图像数据的系统，其特征在于，所述HMD还包括：

预计算编码模块，用于对所述IMU数据在传输过程中造成的误差进行预计算并进行相应的特征前缀编码。

8.根据权利要求7所述的同步传输IMU数据和图像数据的系统，其特征在于，所述预计算编码模块具体包括：

预计算编码单元，用于对所述IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差进行预计算并根据预计算的误差结果进行相应的特征前缀编码。

9.根据权利要求8所述的同步传输IMU数据和图像数据的系统，其特征在于，所述预计算编码单元具体包括：

预计算子单元，用于对所述IMU数据在传输过程中由于转换为YUV格式及由YUV格式转换为RGB格式所造成的误差通过公式一至公式七进行预计算，所述公式一至所述公式七具体为：

I0＝(I+16)/1.164；

YUV＝(INT(I0),128,128)；

RGB＝(I～，I～，I～)；

B＝INT(1.164(Y-16)+2.018(U-128))；

G＝INT(1.164(Y-16)–0.813(V-128)–0.391(U-128))；

R＝INT(1.164(Y-16)+1.596(V-128))；

△I＝I-I～；

10.根据权利要求7所述的同步传输IMU数据和图像数据的系统，其特征在于，所述视频图像处理终端包括：

还原模块，用于根据所述IMU数据中进行特征前缀编码获得的特征前缀码对所述IMU数据进行还原。