CN109309827B - 用于360°悬浮光场三维显示系统的多人实时跟踪装置和方法 - Google Patents

Abstract

本发明公开了一种用于360°悬浮光场三维显示系统的多人实时跟踪装置和方法，属于图像处理和计算机视觉技术领域，多人实时跟踪装置包括设置在散射屏的边缘处的一对全景相机和与全景相机通讯连接的处理器，全景相机的镜头竖直朝上设置；处理器包括传输单元和处理单元，传输单元用于实时传输全景相机拍摄的视频数据，处理单元将视频数据进行单帧处理得到单帧图像，并将单帧图像的有效区域展开为矩形图像，在矩形图像中进行人脸检测，同时对相同时刻的两个相机之间由单帧图片转换成的矩形图像进行人脸匹配，得到观测者相对显示中心的位置信息。整个装置的设置简单，轻便易携，植入性能好。可用于多种光场三维显示系统的人机交互模块。

Description

用于360°悬浮光场三维显示系统的多人实时跟踪装置和方法

技术领域

本发明涉及图像处理和计算机视觉技术领域，尤其涉及一种用于360°悬浮光场三维显示系统的全视差显示装置和方法，该装置和方法基于双全景相机实现多人实时的跟踪以及多人视点的拟合。

背景技术

显示技术正朝着高清晰、三维全景显示的方向发展。三维显示区别于传统二维显示就是通过各种方法给观看者带来视觉上的深度感知，使其自然或不自然地获得画面中的第三维度信息。

随着计算机科学和投影技术的发展，近年来三维显示发展迅速。真实的三维图像意味着观察者可以看到空间中的显示，环顾场景的四周有正确的视野以及遮挡关系。裸眼的三维显示成为研究的热门。通过重建三维场景的光场，可以实现具有正确遮挡关系的大范围高质量的三维彩色图像显示。它通过模拟真实物体的发光方式，重建了三维场景的光场分布，这样在显示系统周围的不同观察者可以看到正确的三维图像。但基于光场重构的三维显示技术，因为重构理想光场需要处理巨大的数据量，配备带宽巨大的数据处理系统，所以各研究团队通过水平光场显示的方法进行简化。如此一来，重构了物体的水平光场而忽略了垂直方向的光场变化，导致非预设轨迹位置的观测者将看到错误的显示。因此，追踪多个观察者的视点来进行正确的光场映射是十分有必要的。

由于整个悬浮场景是360度显示的，因此观测者身处显示系统周围的360度空间范围内。在这种情况下，对多个观测者进行追踪的首要工作是整个场景范围内图像的获取。对于目前的普通相机，视场角太小，无法满足360度的广角需要。如果使用一台这样的普通相机，无法同时检测到360度范围内的所有观测者。如果使用多台相机的拼接，需要解决多台相机的标定以及各个相机之间3D场景的重叠等多个问题，会使得系统和算法十分复杂，为多人视点位置的确定带来困难。因此使用单个视场角大的相机十分有必要，而要做到360度的大视场，需要用到全景镜头。

因此，在现有技术的基础上，通过全景相机，对多人进行实时跟踪，以便同时重构物体在水平光场和垂直方向的光场变化，防止非预设轨迹位置的观测者看到错误显示是本发明需要解决的问题。

发明内容

本发明的目的为提供一种用于360°悬浮光场三维显示系统的多人实时跟踪装置，该装置可实现对观测者的追踪与定位。

为了实现上述目的，本发明提供的用于360°悬浮光场三维显示系统的多人实时跟踪装置，其中，三维显示系统包括定向散射屏、驱动散射屏转动的致动器和将图像投射到散射屏上的高速投影仪，多人实时跟踪装置包括设置在散射屏的边缘处的一对全景相机和与全景相机通讯连接的处理器，全景相机的镜头竖直朝上设置；处理器包括传输单元和处理单元，传输单元用于实时传输全景相机拍摄的视频数据，处理单元将视频数据进行单帧处理得到单帧图像，并将单帧图像的有效区域展开为矩形图像，在矩形图像中进行人脸检测，同时对相同时刻的两个相机之间由单帧图片转换成的矩形图像进行人脸匹配，得到观测者相对显示中心的位置信息。

上述技术方案中，通过两个全景相机获取图像，由于图像中人脸的角度是各个方向的，这样的图像经过畸变矫正和坐标系映射，转换为人脸是正常角度的矩形图像，整个装置的设置简单，轻便易携，植入性能好。可用于多种光场三维显示系统的人机交互模块。

作为优选，一对全景相机关于定向散射屏的显示中心呈中心对称布置。

作为优选，定向散射屏设置在一支架上，致动器设于支架的底部，支架的边缘设有用于辅助照明的红外LED灯。

本发明的另一目的为提供一种用于360°悬浮光场三维显示系统的多人实时跟踪方法，该方法基于上述多人实时跟踪装置实现，包括以下步骤：

1)同时获取关于定向散射屏的显示中心呈中心对称布置的两个全景相机拍摄的视频数据，对视频数据进行单帧处理得到单帧图像；

2)提取第t帧图像中以O为圆形，以R为半径的圆形区域，作为第t帧图像的有效区域；

3)将有效区域展开为矩形图像，并在矩形图像中使用AdaBoost算法进行人脸检测，并进行存储；

4)5)为了使不同时刻加入的观测者也可以被检测并跟踪，以n为一个周期，在处理第t+n-1帧图像时采用帧间刷新机制，判断是否有新的观测者加入，若无，则继续跟踪，若有，则初始化人脸特征并跟踪；

5)对相同时刻的两个相机之间由单帧图片转换成的矩形图像进行人脸匹配，获得每个人脸相对于两个全景相机的位置信息；

6)根据位置信息计算人脸的空间位置信息，得到每个观测者相对于两个全景相机的空间位置；

7)通过相机坐标系到三维显示系统中心坐标系的转换得到观测者相对显示中心的位置信息。

作为优选，步骤2)中采用扫描线边界逼近法确定圆形区域的边界。

将环形图像展开至矩形图像相当于从极坐标系到笛卡尔坐标系的变换，X轴为θ，Y轴为

即构建环形图像和矩形图像之间的对应像素点的映射。如果从θ_p＝0°的地方展开，观测者的人脸区域与0°相交，人脸区域会一分为二从而无法检测。所以为了保证观测者在θ_p＝0°附近可以被检测到而不至于被分割成两部分，作为优选，步骤3)中将有效区域展开为矩形图像时，从θ_p＝0°的地方展开，并将θ_p＝0°附近的图像重复展开，重复展开宽度为上一帧图像中观测者人脸框的宽度最大值的1.1倍。

作为优选，步骤3)中进行人脸检测的方法包括：

3-1)以人脸作为正样本，选取人脸框周围10个像素范围内100个正样本；以背景区域作为负样本，选取300个与所述正样本同样大小的负样本；

3-2)提取正负样本的特征(降维后的Haar或者HOG特征)，在线训练分类器，优选分类器为朴素贝叶斯分类器，所述分类器采用“正样本特征向量的高维正态分布/负样本特征向量的高维正态分布”的模型，正样本服从N1～(μ1,σ1)，负样本服从N2～(μ2,σ2)的分布，其中μ和σ是基于动量的方式更新：

3-3)在第t帧时，分类器参考人脸在前一帧的位置，在当前帧同位置的周围，将不同尺度的候选框(如选用0.8，0.9，1.0，1.1，1.2五个不同的尺度)进行分类，选取分类器结果得分最高的一个作为当前帧的人脸位置，并更新分类器参数。

作为优选，步骤3)以OpenCV中特征向量的形式标注出位置后存储到vector中，其中，第一个相机人脸特征储存在vector1中，第二个相机的人脸特征储存在vector2中。

作为优选，步骤4)中对矩形图像进行人脸匹配的方法为将vector1中的每个特征向量与vector2中的所有特征向量进行KNN最近邻算法的计算，得到vector2中与其对应的人脸特征。

作为优选，步骤7)中n为30。帧间刷新机制以30帧为一个周期，前29帧总是对当前的人脸框进行追踪，第30帧对采集的画面进行重新的检测，如果有观测者加入，初始化人脸特征并跟踪，如果没有，继续跟踪。

作为优选，步骤6)中可通过三角形法计算人脸的空间位置信息。

通过上述方法实现了对观测者的追踪与定位后，在通过多人视点轨迹拟合方法进行光场重构，确保每个观测者均可以看到正确的三维显示且彼此不产生串扰，具体包括：

1)当没有观测者时，保持预设的水平视点轨迹不变；

2)当检测到有观测者时，重新拟合视点轨迹，新的视点轨迹需要达到以下三个要求：

①密闭平滑；

②检测到的视点位置应该被包含进去；

③未检测到视点位置的部分保持默认设置；

新的视点所在位置的人脸宽度范围，应保证视点轨迹高度不变，作为优选，人脸范围两侧的1/5宽度内的视点视为该人脸同一视点。为了保证不与相邻的画幅产生串扰而且轨迹平滑过渡，将曲线拟合成高斯函数。

与现有技术相比，本发明的有益效果为：

(1)采用双全景相机进行图像获取和视点交互，不仅可以获得显示系统周围360°的场景空间，而且可以精准地定位观测者的空间位置；

(2)可以进行多人地实时追踪，并且引入了多尺度的因素，使得人脸的空间定位更加准确；

(3)当有观测者加入的时候，也可以立即检测到并进行追踪，为观测者带来更好的交互体验。

附图说明

图1为本发明实施例的基于360°悬浮光场显示系统的整体结构示意图；

图2为本发明实施例的通过双全景相机采集获得的图像；

图3为本发明实施例的全景相机采集的环带图像转为矩形直角坐标系的示意图；

图4为本发明实施例的全景相机采集的环带图像转为矩形直角坐标系的实际图；

图5为本发明实施例进行帧间刷新机制的示意图；

图6为本发明实施例确定观测者空间位置的示意图；

图7为本发明实施例观测者相对于显示中心的坐标系变换示意图；

图8为本发明实施例水平方向上多视点轨迹拟合的示意图，其中，A和B为新的视点；

图9为本发明实施例竖直方向上多视点轨迹拟合的示意图，其中，A和B为新的视点；

图10为未加入追踪模块的扫描光场映射关系示意图；

图11本发明实施例加入追踪模块之后的扫描光场映射关系示意图。

图中各附图标记为：1、定向散射屏；2、致动器；3、高速投影机；4、全景相机；5、支架；6、红外LED灯。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。

实施例

参见图1，三维显示系统包括支架5、散射屏1、驱动散射屏1转动的致动器2和将图像投射到定向散射屏1上的高速投影机3，致动器2为伺动电机。定向散射屏1设置在一支架5上，致动器2设于支架5的底部，支架5的边缘设有用于辅助照明的红外LED灯6。反射式的定向散射屏与伺动电机连接，在水平面内高速旋转，高速投影机位于屏幕旋转中心正上方，投影机光轴与屏幕的旋转中心同轴以确保投影出来的图像没有畸变。该系统利用光场重建技术，将高速投影机每秒钟更新的18000幅图像实时渲染成3D的场景，供周围的观测者观看。

本实施例用于360°悬浮光场三维显示系统的多人实时跟踪装置包括设置在定向散射屏1的边缘处的一对关于定向散射屏1的显示中心呈中心对称布置的全景相机4以及与全景相机4通讯连接的处理器(图中未示出)，为了给系统引入垂直视差，检测到空间360°不同位置、不同高度的观测者，将全景相机4的镜头朝天放置，并分别放置于显示系统两端，关于显示中心呈中心对称布置。

全景相机4的全景环带镜头和CCD参数可以根据系统需要而定，本实施例中的全景相机的全景环带镜头的视场角为30°～90°，CCD为分辨率为1260*1080分辨率，但不应以此限制本发明的保护范围。

处理器包括传输单元和处理单元，传输单元用于定时传输全景相机4拍摄的视频数据，处理单元将视频数据进行单帧处理得到单帧图像，并将单帧图像的有效区域展开为矩形图像，在矩形图像中进行人脸检测，同时对相同时刻的两个相机之间由单帧图片转换成的矩形图像进行人脸匹配，得到观测者相对显示中心的位置信息。

参见图2至图11，设置有以上多人实时跟踪装置的360°悬浮光场显示系统的使用工作过程如下：

(1)保证显示系统周围的环境亮度较暗。

(2)调整好CCD的曝光时间并打开红外LED的辅助照明。

(3)启动双全景相机进行场景图像的采集。

(4)如图3所示，提取有效圆形区域并转换为矩形图像；因为是从θ_p＝0°的地方展开的，所以如果观测者的人脸区域与0°相交，人脸区域会一分为二从而无法检测。为了保证观测者在θ_p＝0°附近可以被检测到而不至于被分割成两部分，将θ_p＝0°附近的图像重复展开，重复展开宽度为上一帧观测者人脸框的宽度最大值的1.1倍。

(5)如图5所示，引入帧间刷新机制；每个刷新周期内，第一帧进行人脸检测，并判定是否有观测者加入；其余帧进行多人脸的追踪，并获得观测者人脸在矩形图像中的位置。

(6)如图6所示，利用三角形关系获得人脸的准确空间位置(r',h',θ')，两台相机的位置依据系统情况而定。

(7)做一次从以相机为原点的坐标系到以显示系统中心为原点的坐标系的变换，获得人脸相对于显示系统中心的空间位置(r,h,θ)。

(8)如图8和图9所示，根据多视点轨迹拟合规则，拟合出密闭平滑的视点轨迹曲线。

(9)为了重构空间点Q的水平光场，需要确定投影机在哪一时刻在屏幕的哪一个位置投影哪一个点，映射关系如图10所示，P为高速投影机，为了重建空间点Q，屏幕S点的光线信息与视点位置V有关。

(10)如图11所示，如果没有加入追踪模块，观察者将看到的是重建的点Q，而这种映射关系显然是不正确的，加入了追踪模板以后，拟合的视点轨迹如虚线部分所示，观察者看到的是重建的点Q’，符合正确的映射关系。

待完成以上所有处理和运算之后，相应位置的观测者可以看到正确的三维显示且相互之间不会产生串扰。对于下一帧视频，重复操作步骤(1)～步骤(10)。

基于双全景相机的人机交互装置、多人实时追踪及多视点轨迹拟合方法，并不局限于上述实施例和显示系统。可以适用于各种大角度的场景范围内的人机交互系统和三维显示系统的视点拟合。

虽然本实施例是通过示意和举例的方式对本发明进行进一步描述的，但应该认识到，本发明并不局限于上述实施方式和实施例，前文的描述只被认为是说明性的，而非限制性的，本领域技术人员可以做出多种变换或修改，只要没有离开所附权利要求中所确立的范围和精神实质，均视为在本发明的保护范围之内。

Claims (8)

1.一种用于360°悬浮光场三维显示系统的多人实时跟踪方法，基于多人实时跟踪装置实现，所述三维显示系统包括定向散射屏、驱动所述散射屏转动的致动器和将图像投射到所述散射屏上的高速投影仪，其特征在于：

所述多人实时跟踪装置包括设置在所述散射屏的边缘处用于对人脸的三维位置进行追踪的一对全景相机和与所述全景相机通讯连接的处理器，所述全景相机的镜头竖直朝上设置；

所述致动器驱动所述散射屏在水平面内高速旋转，高速投影机位于屏幕旋转中心正上方，投影机光轴与屏幕的旋转中心同轴以确保投影出来的图像没有畸变；

所述处理器包括传输单元和处理单元，所述传输单元用于实时传输所述全景相机拍摄的视频数据，所述处理单元将所述视频数据进行单帧处理得到单帧图像，并将所述单帧图像的有效区域展开为矩形图像，在矩形图像中进行人脸检测，同时对相同时刻的两个相机之间由单帧图像转换成的矩形图像进行人脸匹配，得到观测者相对显示中心的位置信息；

所述多人实时跟踪方法包括以下步骤：

1)同时获取关于定向散射屏的显示中心呈中心对称布置的两个全景相机拍摄的视频数据，对所述视频数据进行单帧处理得到单帧图像；

2)提取第t帧图像中以O为圆心，以R为半径的圆形区域，作为第t帧图像的有效区域；其中全景相机获得的每一帧图像为圆环形，O为圆环的中心，R为该中心到圆环外边缘的距离；

3)将有效区域展开为矩形图像，并在矩形图像中使用AdaBoost算法进行人脸检测，并进行存储；以O为原点，水平方向为X轴，将有效区域展开为矩形图像时，从X轴经过的半径展开，并将该半径附近的图像重复展开，重复展开宽度为上一帧图像中观测者人脸框的宽度最大值的1.1倍；

4)以n帧为一个周期，在处理第t+n-1帧图像时采用帧间刷新机制，判断是否有新的观测者加入，若无，则继续跟踪，若有，则初始化人脸特征并跟踪；

5)对相同时刻的两个相机之间由单帧图像转换成的矩形图像进行人脸匹配，获得每个人脸相对于两个全景相机的位置信息；

6)根据所述位置信息计算人脸的空间位置，得到每个观测者相对于两个全景相机的空间位置；

7)通过相机坐标系到三维显示系统中心坐标系的转换得到观测者相对显示中心的位置信息。

2.根据权利要求1所述的多人实时跟踪方法，其特征在于：所述的一对全景相机关于所述定向散射屏的显示中心呈中心对称布置。

3.根据权利要求1所述的多人实时跟踪方法，其特征在于：所述的定向散射屏设置在一支架上，所述的致动器设于所述支架的底部，所述支架的边缘设有用于辅助照明的红外LED灯。

4.根据权利要求1所述的多人实时跟踪方法，其特征在于，所述的步骤2)中采用扫描线边界逼近法确定所述圆形区域的边界。

5.根据权利要求1所述的多人实时跟踪方法，其特征在于，所述的步骤3)中进行人脸检测的方法包括：

3-1)以人脸作为正样本，在人脸框周围10个像素范围内选取100个正样本；以背景区域作为负样本，选取300个与所述正样本同样大小的负样本；

3-2)提取正负样本的特征，在线训练分类器，所述分类器采用“正样本特征向量的高维正态分布/负样本特征向量的高维正态分布”的模型，正样本服从N1～(μ₁ ,σ₁ )，负样本服从N2～(μ₂ ,σ₂ )的分布，其中μ_t和σ_t分别表示样本分布的均值和方差，是基于动量的方式更新：

其中，μ₁ ，σ₁ 为正样本符合的正态分布的均值和方差，μ₂ ，σ₂ 为负样本符合的正态分布的均值和方差；μ_i，σ_i分别表示第t-5帧～第t-1帧中第i帧所对应的正样本分布的均值和方差；

3-3)在第t帧时，分类器参考人脸在前一帧的位置，在当前帧同位置的周围，将不同尺度的候选框进行分类，选取分类器结果得分最高的一个作为当前帧的人脸位置，并更新分类器参数。

6.根据权利要求1所述的多人实时跟踪方法，其特征在于，所述的步骤3)以OpenCV中特征向量的形式标注出位置后存储到vector中，其中，第一个相机人脸特征储存在vector1中，第二个相机的人脸特征储存在vector2中。

7.根据权利要求6所述的多人实时跟踪方法，其特征在于，所述的步骤5)中对矩形图像进行人脸匹配的方法为将vector1中的每个特征向量与vector2中的所有特征向量进行KNN最近邻算法的计算，得到vector2中与其对应的人脸特征。

8.根据权利要求1所述的多人实时跟踪方法，其特征在于，所述的步骤4)中n为30。

Images