CN101950550B - 基于观看者视角显示不同角度画面的显示装置 - Google Patents

Abstract

一种基于观看者视角显示不同角度画面的显示装置，包括显示屏，摄像头，计算机控制系统，所述计算机控制系统预先存储了同一场景在各个不同视角下拍摄的一系列图片或视频，其特征在于：控制系统启动摄像头，对显示屏前方观看者进行摄像，将观看者图像传送至计算机控制系统，计算机在摄像头所拍摄的观看者图像上采用运动分析和肤色分析结合的方法先快速的定位出人脸候选区域，再应用人眼检测算法检测出观看者的双眼位置，结合观看者至屏幕距离，根据公式

计算观看者与摄像头的视角，再有公式

得知，在显示屏非超大屏幕和观看者观看距离大于1米的条件下，观看者与显示屏的视角θ约等于观看者与摄像头的视角γ，在得到视角信息之后，系统向显示屏输出该视角对应下的图片或视频，在上述公式中，θ为观看者的视角，f为镜头的焦距（在f不知的情况下，可由

算出，N为图像对角线的像素数，

为摄像头的视场角），d为所采集的图像中目标点距离图像中心点的距离，

观看者与摄像头视角，θ观看者与显示屏视角，显示屏宽的一半，

观看者与显示屏的距离，

观看者与显示屏中心线的旋转角。装置能实现观看者方位的快速锁定，计算出观看者的视觉角度，进而根据该角度显示对应的不同视角画面，提供了一种新的视觉体验。

Description

基于观看者视角显示不同角度画面的显示装置

技术领域

一种基于观看者视角显示不同角度画面的显示装置，根据观看者的视角显示不同视角画面。

背景技术

传统的显示技术都是采用单一的显示方式，在观看时，当观看者的方位发生改变时，显示画面无法根据方位的变化而进行切换，视觉效果差。当移动到一定位置时，出现影像模糊，甚至无法观看到画面。

发明内容

本发明在目的是要提供一种基于观看者视角显示不同角度画面的显示装置，该装置能实现观看者方位的快速锁定，计算出观看者的视角，进而根据该视角显示对应的视角画面，从而有效改善了观看者的观看效果。

一种基于观看者视角显示不同角度画面的显示装置，包括显示屏，摄像头，计算机控制系统，所述计算机控制系统预先存储了同一场景在各个不同视角下拍摄的一系列图片或视频，其特征在于：控制系统启动摄像头，对显示屏前方观看者进行摄像，将观看者图像传送至计算机控制系统，计算机在摄像头所拍摄的观看者图像上采用运动分析和肤色分析结合的方法先快速定位出人脸候选区域，再应用人眼检测算法检测出观看者的双眼位置，结合观看者至屏幕距离，根据公式                                                计算观看者与摄像头的视角，再由公式得知，在显示屏不是长宽达到几米的超大屏幕和观看者观看距离大于1米的条件下，观看者与显示屏的视角θ约等于观看者与摄像头的视角γ，在得到视角信息之后，系统向显示屏输出该视角对应下的图片或视频，在上述公式中，θ为观看者与显示屏视角，f为镜头的焦距（在f不知的情况下，可由

算出，N为图像对角线的像素数，α为摄像头的视场角），d为所采集的图像中目标点距离图像中心点的距离，γ为观看者与摄像头视角，θ为观看者与显示屏视角，ι为显示屏宽的一半，

为观看者与显示屏的距离，β为观看者与显示屏中心线的旋转角。该装置使用方便，智能化程度高，使用面广，可广泛应用于TV，广告牌、展览窗、电子相框、3-D游戏、3-D电视、电子娱乐消费产品。

附图说明

图1是本发明的系统框图。

图2是本发明的系统流程图。

图3是静态场景拍摄方位。

图4是摄像头摄像原理图。

图5是人眼检测流程图。

图6是观看者视觉角度。

 图7观看者与摄像头角度分析图。

具体实施方式

参考图1、2，本发明的具体实施例分为以下四步来说明：

    第一步：场景图像拍摄与预先存储

系统采集了观看者的视觉角度后，要进一步根据视角选择该角度所对应的图片（视频）进行显示，因而需要预先将要显示不同视角下的图片（视频）进行拍摄存储，实际静态场景各个视角图的获取可采用照相机隔一定角度逐角度拍摄（保持在某一个垂直平面）。由于观看者的水平角度变化较大，而垂直角度变化较小，因此拍摄场景图片时，水平角度应多拍摄一些，垂直角度可以少拍摄一些，如图3所示。对于大场景（例如山水景观）拍摄角度间隔可以较大，且只需拍摄水平方向即可。而对于小场景拍摄角度间隔应较小，且要全方位。实际动态场景角度图的获取可以在各个方位角放置摄像机同时进行录影。实际动态场景的显示更适合大场景。对于大场景只需在水平位置隔一段距离放置一台摄像机，同时录影，获取场景各个角度的视频。对于小场景需要小型（微型）摄像机组成阵列来录影。考虑到图片（视频）切换的流畅，可以同时载入观看者视角相邻视角的若干张图片或若干段视频，切换时可考虑采用图像变形技术。对于动态场景，系统的硬件配置要求会较高。如果拍摄角度比较密集，获取的图片（视频）较多，这就要求较大的存储空间。由于获取的图片（视频）相似性较高，可考虑适当的图像压缩算法减少存储空间。由于是计算机内部生成的图像，虚拟静态（动态）场景的显示较简单，对于系统的硬件要求也不高。对于某个3-D游戏，观看者视角变化时，只需调整游戏虚拟视角的位置即可。

第二步：摄像头拍摄观看者图像

装置开始工作后，启动摄像头进行人物场景拍摄，普通摄像头的摄象原理简图如图4所示。首先假设已得到人的两眼中心位置，一般来说人离显示屏的距离远大于透镜的焦距，可以认为人的两眼中心位置投影在镜头的焦平面上，因此由图4得出：

                                （1）

式中：θ为观看者的视角，f为镜头的焦距（一般厂家会给出），d为所采集的图像中目标点距离图像中心点的距离。如果f没有给出，也可通过视场角来计算：

                           （2）

式中：N为图像对角线的像素数，α为摄像头的视场角。为了增加检测的精确度可以选用广角、短焦距的摄像头。

    第三步：快速检测人眼

摄像头采集场景图像送至计算机系统，系统通过运动分析与肤色分析法，检测人眼位置，再进行观看者视角的计算。人眼检测的最终目的是为了得到观看者的视角。检测出摄像头图像中人的眼睛后，得到两眼中点，在本系统中实时性要求较高，因此需要快速的定位人眼，计算出视角。本系统对实时性要求较高，只要求检测出人眼，可以通过基于运动分析和肤色分析的方法，综合处理后得到人脸候选区域，再对候选区域利用人眼特征检测出人眼，如图5所示。

运动分析利用帧差法来检测运动区域。帧差法基本原理是在图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。在提取出运动区域后对图像进行彩色偏移消除和高光区域校正，再利用肤色分析技术提取出人脸候选区域，肤色分析技术主要是利用YIQ空间人的肤色模型来识别人脸。

采用运动分析和肤色分析结合的方法可以快速的定位出人脸候选区域，减少人眼检测的计算量，提高检测速度。虽然人脸候选区域有可能包含非人脸（例如手、脖子），但是本系统只要求提取出人眼信息，对于非人脸区域也可采用人眼检测算法。

提取出人脸候选区域后利用人眼的灰度和几何特征进行人眼的识别。算法简述如下：   A、候选人脸图像裁减。对于宽大于高的区域，不做裁减；而对于高大于宽的区域，按宽将区域裁减为正方形，去掉正方形下面的部分。

B、Sobel卷积处理。采用Sobel边缘检测算子突出人脸中的水平边缘。

C、水平投影分析。通过大量分析，眼眉所在的区间有两个明显的特征：区间有一定    的宽度；包含水平投影值较大的行。

D、垂直投影分析。垂直投影具有很明显的两个峰值，这两个峰值对应的就是两只眼睛所处的位置。

E、结合水平投影和垂直投影标定人眼的位置，进而得到两眼中心位置。

   此算法对于一定角度偏转的人脸也可检测出人眼，但是肤色分析时对于不同的人种需要采用不同的肤色模型。

第四步：观看者视角计算

通过第三步定位人眼位置后，系统即可进行视角的计算。观看者视角是指显示屏前方观看者两眼的中点与显示屏中点两点连线与穿过显示屏中心点的垂线的夹角，如图6所示。本装置采用摄像头来检测人眼的位置，摄像头安装在显示屏某一边的正中，如图7所示。由几何关系可以得出γ与θ的关系式：

                （3）

式中：γ为观看者与摄像头视角，θ为观看者与显示屏视角，ι为显示屏宽的一半，

为观看者与显示屏的距离，β为观看者与显示屏中心线的旋转角。如果不是超大屏幕并且观看者处于正常观看距离，ι与的比值是很小的。例如32寸4：3的屏幕，人在3m处观看，

为0.08。当

是一个非常小的值时，式3的

可以近似为0，于是式3变为

，也就是γ=θ。

如果不是超大屏幕（长宽达到几米），并且观看者距离屏幕不是很近（1米以内），则观看者与摄像头的视角可以近似认为是与屏幕的视角相等。

    第五步：信息比对送显

第四步计算出观看者的视角角度，将角度值与预先存储的进行比对，选在该角度值对应的显示图片（视频），系统将该图片（视频）送至显示屏进行显示。

当观看者移动位置时，系统自动跟踪，并采集场景信号，通过以上步骤在重新选定显示内容。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于观看者视角显示不同角度画面的显示装置，包括显示屏，摄像头，计算机控制系统，所述计算机控制系统预先存储了同一场景在各个不同视角下拍摄的一系列图片或视频，其特征在于：计算机控制系统启动摄像头，对显示屏前方观看者进行摄像，将观看者图像传送至计算机控制系统，计算机控制系统在摄像头所拍摄的观看者图像上采用运动分析和肤色分析结合的方法先快速定位出人脸候选区域，再应用人眼检测算法检测出观看者的双眼位置，结合观看者至屏幕距离，根据公式                                                

计算观看者与显示屏的视角，再由公式

得知，在显示屏不是长宽达到几米的超大屏幕和观看者观看距离大于1米的条件下，观看者与显示屏的视角约等于观看者与摄像头的视角

，在得到视角信息之后，计算机控制系统向显示屏输出该视角对应下的图片或视频，在上述公式中， f为镜头的焦距，在f不知的情况下，可由

算出，N为图像对角线的像素数，

为摄像头的视场角，d为所采集的图像中目标点距离图像中心点的距离，

观看者与摄像头视角， 

显示屏宽的一半，

观看者与显示屏的距离，观看者与显示屏中心线的旋转角。

2.根据权利要求1所述的基于观看者视角显示不同角度画面的显示装置，其特征在于：该装置仅适用于单人观看情况。

3.根据权利要求1所述的运动分析方法，其特征在于：在所处理的图像上相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。

4.根据权利要求1所述的肤色分析方法，其特征在于：在所处理的图像上利用YIQ空间人的肤色模型来识别人脸。

Images