CN103747236A

CN103747236A - 结合人眼跟踪的立体视频处理系统及方法

Info

Publication number: CN103747236A
Application number: CN201310746083.4A
Authority: CN
Inventors: 杨青; 李建军
Original assignee: AVIC Huadong Photoelectric Co Ltd
Current assignee: AVIC Huadong Photoelectric Co Ltd
Priority date: 2013-12-30
Filing date: 2013-12-30
Publication date: 2014-04-23

Abstract

本发明涉及一种结合人眼跟踪的立体视频处理系统及方法，包括摄像头：作为捕捉用户影像的硬件，并将图像传给人眼跟踪识别单元；人眼跟踪识别单元，采集摄像头的数据，计算人眼的3D坐标，并将参数传送给对应视区图像处理单元；图像处理单元：将视频文件提取单帧，划分成N张小图，采用立体图像融合算法，得到立体图像，并将立体图像传送给对应视区图像处理单元；对应视区图像处理单元：将人眼跟踪识别单元和图像处理单元传送过来的人眼3D坐标参数和立体图像进行对比，判断是否为3D坐标对应视区的立体图像；视频输出模块：将对应视区图像处理单元传送过来的正确的立体图像进行播放。根据人眼位置的不同，将立体视频投放到对应视区，消除图像串扰。

Description

结合人眼跟踪的立体视频处理系统及方法

技术领域

本发明属于显示技术领域，具体涉及一种结合人眼跟踪的立体视频处理系统。

背景技术

现有的多视点合成软件主要是基于多视点图片进行合成的，立体视频播放器较少。现有的一种常见的立体播放器可以对立体视频做处理，但是仅限于特定某视点的片源，例如WES TECHNOLOGIES公司的WES3DPlayer，可实现较好的立体视觉，但仅支持8视点的特殊格式的视频。

而且常见的立体播放器只是对片源进行播放，观看者需要在屏幕前移动位置以找到合适的视角。在寻找视角的过程中，由于视区的变换，观看者能看到明显的串扰。

另外一种常见的播放器通过两视点转多视点的方式扩大视角，将输入的两视点片源通过深度图重构生成虚拟多视点图像。观看者在屏幕前可以看到更大角度的立体视区。这种视频处理方式算法复杂，对计算准确性要求较高。

发明内容

为了克服现有技术的不足，本发明提供一种结合人眼跟踪的立体视频处理系统及方法，基于自由立体显示图像融合算法与人眼跟踪算法的立体视频处理系统，根据人眼位置的不同，将立体视频投放到对应视区，消除图像串扰。

本发明的技术方案是：一种结合人眼跟踪的立体视频处理系统，包括图像处理单元、人眼跟踪识别单元、对应视区图像处理单元、视频输出模块和摄像头；

摄像头：作为捕捉用户影像的硬件，并将图像传给人眼跟踪识别单元；

人眼跟踪识别单元：根据图像处理技术识别人眼区域，计算人眼的3D坐标，并将参数传送给对应视区图像处理单元；

图像处理单元：将视频文件提取单帧，划分成N张小图，采用立体图像融合算法，得到立体图像，并将立体图像传送给对应视区图像处理单元；

对应视区图像处理单元：将人眼跟踪识别单元和图像处理单元传送过来的人眼3D坐标参数和立体图像进行对比，判断是否为3D坐标对应视区的立体图像；

视频输出模块：将对应视区图像处理单元传送过来的正确的立体图像进行播放。

一种结合人眼跟踪的立体视频处理方法，包括如下步骤：

步骤一：开启摄像头，捕捉用户的影像，通过图像处理技术识别人眼区域，给定人眼一个3D坐标；

步骤二：将视频文件提取单帧，划分成N张小图，采用立体图像融合算法，得到新的立体图像；

步骤三：根据3D坐标来判断新的立体图像是否是对应视区的图像融合方式，如果是则执行步骤四，否则，将3D坐标和新的立体图像打包返回到步骤二；

步骤四：输出融合后的立体图像。

所述步骤一中：人眼3D坐标是由摄像机捕捉到的二维图像坐标和摄像机标定参数给定。

所述步骤二中：调用OpenCV的图像与视频处理函数提取原视频的分辨率与帧率；步骤四中：将新的立体图像使用OpenCV将其按原始视频分辨率大小进行显示，并按原有的帧率数值控制载入帧图像的间隔时间，将其调整为原始视频文件的帧率。

所述步骤二中：图像融合的原理为：选定一个子像素(k,l)，根据多视点子像素映射的通用计算公式得到该子像素所对应的RGB分量：

其中：N_tot表示视点数目，(k,l)表示像素点在坐标系中的位置，α表示光栅倾角，X表示片源个数，N表示像素对应某幅视点图像的序号；融合的原理是，将序号为N的视点图像中对应的子像素(k,l)坐标的RGB分量带入到合成图的子像素(k,l)的坐标处。通过循环带入，将得到各视点图像的子像素映射表后合成的图像。

本发明有如下积极效果：1.本发明可以将多视点拍摄的视频在自由立体显示器上播放。使用户不戴3D眼镜也能观看到3D立体视频。该软件播放立体视频能看到明显立体效果。2.由于加入了人眼跟踪技术，使用户不用主动寻找合适的3D视区，软件会自动根据用户人眼位置投放对应视区的立体画面。用户在屏幕前移动时，图像会随着用户眼部位置实时调整，用户不会察觉到观看内容的变化，始终看到的是最初看到的对应视点的内容，借此减轻了图像串扰。3.该装置算法处理速度快，能实时的对多视点图像进行融合，同时根据人眼的移动同步调整对应视区的图像，计算过程几乎无延时，播放流畅，可以与原视频的播放速度一致。

附图说明

图1为立体视频播放器结构图；

图2为立体视频处理流程图。

具体实施方式

下面对照附图，通过对实施例的描述，本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理、制造工艺及操作使用方法等，作进一步详细的说明，以帮助本领域技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

一种结合人眼跟踪的立体视频处理系统，包括图像处理单元、人眼跟踪识别单元、对应视区图像处理单元、视频输出模块和摄像头；摄像头：作为捕捉用户影像的硬件，并将图像传给人眼跟踪识别单元；人眼跟踪识别单元：根据图像处理技术识别人眼区域，计算人眼的3D坐标，并将参数传送给对应视区图像处理单元；图像处理单元：将视频文件提取单帧，划分成N张小图，采用立体图像融合算法，得到立体图像，并将立体图像传送给对应视区图像处理单元；对应视区图像处理单元：将人眼跟踪识别单元和图像处理单元传送过来的人眼3D坐标参数和立体图像进行对比，判断是否为3D坐标对应视区的立体图像；视频输出模块：将对应视区图像处理单元传送过来的正确的立体图像进行播放。

一种结合人眼跟踪的立体视频处理方法，具体流程为：首先调用OpenCV的图像与视频处理函数对视频进行分解，并提取原视频的分辨率与帧率，然后根据立体图像融合算法对图像进行融合处理，在得到新的立体图像之后使用OpenCV将其按原始视频的帧率和分辨率大小进行显示，融合与播放。

处理过程中使用立体图像融合算法。其原理是确定显示屏上给定的RGB子像素（x,y）应该取自哪个视点的RGB分量。设Ntot表示视点数目，(k,l)表示子像素点在坐标系中的位置，α表示光栅倾角，X表示片源个数，N表示像素对应某幅视点图像的序号，由多视点子像素映射的通用计算公式可知:

N = \frac{(k - 3 l \tan α) \mod X}{X} N_{tot}

选定一个子像素(k,l),其x,y轴坐标的值是已知的，而X,α,和N_tot的值是固定的，因此我们可以计算得到该子像素的RGB分量应该取自视点N所对应的RGB分量，以此类推，我们还可以进一步计算得到立体图像与各视点图像之间的子像素映射表。将合成后的图像存入新分配的图像结构空间中，并将所有新图像组成帧序列。得到新的立体图像之后使用OpenCV将其按原始视频分辨率大小进行显示。按原有的帧率数值控制载入帧图像的间隔时间，将其调整为原始视频文件的帧率。在此过程中，开启摄像头，实时捕捉用户的影像，通过图像处理技术实时识别人眼区域。根据画面中的人眼2D图像坐标和相机标定参数，计算人眼3D坐标。以计算出的三维坐标为基础，推算出对应的图像融合方式，并将该方式按照自定义的通信协议发送给电路。借以实现图像相对于人眼的实时调整。该方法可以实现自动侦测人眼位置并投放3D影像，以消除用户位置变化导致的串扰影响，增大3D视角。如果人眼坐标与立体融合图像是对应的视区，则进行播放，如果不在同一视区，则根据新的3D坐标重新融合图像。在此过程中，使用人眼跟踪算法定位观看者的眼部位置，根据人眼位置对融合后的显示图像进行调整，使其根据人眼位置投放对应视区的图像。使用户在屏幕前移动位置时，看到的始终是同一个视点投放的内容，以此来扩大立体视角，可给观众带来真实的立体感觉。在处理立体视频的过程中，实现了图像的实时解析与合成，同时结合了人眼跟踪算法。处理速度快，播放流畅，可以与原视频的播放速度一致。该系统的研发建立在对立体显示器光学原理的研究基础上，结合了对用户体验的优化，界面易于操作，合成过程速度快，视频画面精细准确，播放流畅。同时还实现了3D区域的实时缩放，分区3D显示，以及2D/3D兼容，可根据实际需要，选择3D区域的显示位置。基于OpenCV的多视点立体视频处理系统的架构，进行了多视点立体视频编解码的研究。将立体图像融合算法嵌入到视频的解析与播放过程中。同时在此过程中加入人眼跟踪算法，扩大了用户观看的视角，使用户在屏幕前能方便的观看到自由立体视频。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims

1.一种结合人眼跟踪的立体视频处理系统，其特征在于：包括图像处理单元、人眼跟踪识别单元、对应视区图像处理单元、视频输出模块和摄像头；

人眼跟踪识别单元：采集摄像头的数据，计算人眼的3D坐标，并将参数传送给对应视区图像处理单元；

2.根据权利要求1所述的一种结合人眼跟踪的立体视频处理方法，其特征在于：包括如下步骤：

步骤四：输出融合后的立体图像。

3.根据权利要求2所述结合人眼跟踪的立体视频处理方法，其特征在于：所述步骤一中：人眼3D坐标是由摄像机捕捉到的二维图像坐标和摄像机标定参数给定。

4.根据权利要求2所述结合人眼跟踪的立体视频处理方法，其特征在于：所述步骤二中：调用OpenCV的图像与视频处理函数提取原视频的分辨率与帧率；步骤四中：将新的立体图像使用OpenCV将其按原始视频分辨率大小进行显示，并按原有的帧率数值控制载入帧图像的间隔时间，将其调整为原始视频文件的帧率。

5.根据权利要求2所述结合人眼跟踪的立体视频处理方法，其特征在于：所述步骤二中：图像融合的原理为：选定一个子像素(k,l)，根据多视点子像素映射的通用计算公式得到该子像素所对应的RGB分量：

N = \frac{(k - 3 l \tan α) \mod X}{X} N_{tot}

其中：N_tot表示视点数目，(k,l)表示像素点在坐标系中的位置，α表示光栅倾角，X表示片源个数，N表示像素对应某幅视点图像的序号；将得到各视点图像的子像素坐标的RGB分量带入到合成图的子像素相应的坐标处，通过循环带入，得到合成图像。