CN102801924A - 一种基于Kinect的电视节目主持互动系统 - Google Patents

Abstract

本发明公开了一种基于Kinect的电视节目主持互动系统，其特征是系统组成包括数字摄像机、Kinect设备、字幕机和同步显示设备；数字摄像机用于拍摄电视节目，Kinect设备用于获取电视节目中主持人的RGB图像和人体骨骼信息，字幕机用于将RGB图像与视频图像进行图像配准，并获得人体骨骼信息中的手部骨骼信息，产生语义响应命令和控制响应命令；主持人根据同步显示设备实时调整手部位置。本发明为电视主持提供新颖的非接触式的主持方式，使得主持人在空间上能够更加自由和灵活地控制节目播出过程，同时减少了人力及设备成本的投入。

Description

一种基于Kinect的电视节目主持互动系统

技术领域

本发明涉及电视节目系统，具体地说是一种基于Kinect的电视节目主持互动系统。

背景技术

电视节目的收视率体现着电视节目工作者的劳动成果，为了不断提高节目收视率，电视台工作人员不断地改进电视节目内容的新颖性和主持方式的创新性，从而引发了电视节目不断应用新技术的革新。

目前，就我国电视节目的主持方式所应用的技术而言，主要分为两种：传统技术和多点触摸技术。传统技术通常是先录制视频，再由专业人员对视频作大量后期处理工作，如添加文字、图片或虚拟物等；使节目视频内容更加生动活泼，达到可满足要求播出电视画面。这样的技术方式往往增加了大量后期的人力和劳动力，同时对专业技术水平也有较高要求。多点触摸技术是近几年新应用到电视节目当中的技术，主要是将主持内容显示在支持触摸屏的显示设备上，主持人通过触摸显示屏做出相应手势就可以直接控制节目内容的播出进度，使主持人能够更加灵活的控制整个主持过程，完成电视节目的录制，后期也不需对视频内容进行大量的处理工作了。但是这种主持技术需要配备大尺寸、高分辨率的触摸屏和显示设备，对设备的要求较高且成本较大。并且主持人只能通过触摸屏来实现对节目播出的控制进程，无法脱离触摸设备。主持人只有通过直接接触到触摸屏才能产生控制命令，一定程度上限制了主持人的主持风格和动作，从而影响了拍摄主持人正面的最佳镜头。

发明内容

本发明是为了克服现有技术存在的不足之处，提供一种基于Kinect的电视节目主持互动系统，利用三维手势识别技术增加了语义手势操作命令，从而为电视主持提供新颖的非接触式的主持方式，使得主持人在空间上能够更加自由和灵活地控制节目播出过程，同时减少了人力及设备成本的投入。

本发明为解决技术问题采用如下技术方案：

本发明一种基于Kinect的电视节目主持互动系统的组成包括：

一数字摄像机，用于拍摄电视节目并将所拍摄电视节目的视频图像通过视频输出线传输至字幕机；

一Kinect设备，将所述Kinect设备的RGB摄像头中心与所述数字摄像机的物镜中心处在同一条直线上，所述Kinect设备通过Kinect SDK系统开发工具包中相应API应用程序接口获得电视节目中主持人的RGB图像和人体骨骼信息，并将所述RGB图像和人体骨骼信息通过USB数据线传送至字幕机；

所述字幕机，用于接收所述视频图像、所述RGB图像和所述人体骨骼信息，并利用图像配准技术中的仿射变换将所述RGB图像与所述视频图像进行图像配准；所述字幕机通过调用Kinect SDK系统开发工具包中相应API应用程序接口获得所述人体骨骼信息中的手部骨骼信息，并利用三维手势识别技术分别获得语义手势和控制手势，从而分别产生语义响应命令和控制响应命令；所述字幕机利用增强现实技术将图文字幕信息叠加到所述视频图像中形成叠加视频；并对所述叠加视频进行手部标识得到参考叠加视频，将所述参考叠加视频发送到同步显示设备；

所述同步显示设备，用于实时显示所述参考叠加视频，主持人根据所述参考叠加视频实时调整手部位置。

本发明基于Kinect的电视节目主持互动系统的特点也在于：

所述Kinect设备2是从正面获取主持人的RGB图像和人体骨骼信息,且人体活动范围限制在所述Kinect设备2的水平视角范围小于57°、垂直视角范围小于43°和传感深度范围在1.2米到3.5米之间。

所述语义手势和所述控制手势的识别过程分别如下过程A和过程B进行：

过程A：所述字幕机3根据所述手部骨骼信息设定手部触发的深度阈值，当主持人7手部触发所述深度阈值后，所述字幕机3开始记录手部运动轨迹，并利用模板匹配方法找到所述手部运动轨迹所匹配的手势模板，若匹配成功，则执行与所述手势模板所对应的语义响应函数，从而获得所述语义手势并产生所述语义响应命令；若匹配失败，则主持人7重新触发所述深度阈值并进行所述语义手势的识别过程；

过程B：所述字幕机3根据所述手部骨骼信息设定手部触发的深度阈值与时间阈值，主持人7手部触发所述深度阈值与时间阈值，若触发成功，则执行手部动作所对应的控制响应函数，从而获得所述控制手势并产生所述控制响应命令；若触发失败，则主持人7重新触发所述深度阀值与时间阀值并进行所述控制手势的识别过程。

所述字幕机3可设置为计算机。

与已有技术相比，本发明有益效果体现在：

1、本发明利用三维手势识别技术，改进了普通多点触摸技术不支持语义手势的操作，可以针对不同的手势定义不同的语义，从而扩充了控制手势的响应功能，使得主持人能够更加灵活多变对电视节目进行操作。

2、本发明引入增强现实技术将图文字幕信息实时叠加到视频图像中形成叠加视频，使得电视节目更加的生动形象，增加了主持人用手势控制节目过程中的真实感。

3、本发明改变了现有的主持方式，利用Kinect设备提供一种新的非接触式主持方式，主持人利用自身的人体姿态控制节目的播出进程，最大程度发挥出主持人自由的主持风格和正面的镜头感，从而让观众产生了新的视觉体验。

4、本发明能有效提高节目制作的工作效率，避免了传统录制节目方式需要专业人员对所录制的视频进行大量的后期处理工作，省去了大量人力物力的投入。

5、本发明所使用的Kinect设备相比于大尺寸触摸屏设备而言，其设备成本较低，使用更加方便灵活。

附图说明：

图1为本发明系统结构示意图；

图2为本发明手势触发范围示意图；

图3为本发明人体骨骼示意图；

图中标号：1数字摄像机；2Kinect设备；3字幕机；4同步显示设备；5视频输出线；6USB数据线；7主持人；8图文或虚拟场景；9手部骨骼点；10手部运动轨迹。

具体实施方式

参见图1：本实施例中，一种基于Kinect的电视节目主持互动系统的组成包括：数字摄像机1、Kinect设备2、字幕机3和同步显示设备4，其中字幕机3可以用计算机替代；

数字摄像机1用于拍摄电视节目并将所拍摄电视节目的视频图像通过视频输出线5传输至字幕机3；

可以将Kinect设备2绑定在数字摄像机1上，使得Kinect设备2的RGB摄像头中心与数字摄像机的物镜中心处于同一直线上，并限制主持人的活动范围在Kinect设备2的水平视角范围小于57°、垂直视角范围小于43°和传感深度范围在1.2米到3.5米之间；如图1所示，本实施例是将Kinect设备2绑定在数字摄像机1的正上方，则Kinect设备2的RGB摄像头中心与数字摄像机的物镜中心处于同一垂直线上；如果将Kinect设备2绑定在数字摄像机1的左侧或右侧，则Kinect设备2的RGB摄像头中心与数字摄像机的物镜中心应处于同一水平线上；

Kinect设备2利用微软提供的Kinect SDK系统开发工具包中相应API应用程序接口从正面获取电视节目中主持人7的RGB图像和人体骨骼信息，并将所拍摄的RGB图像和人体骨骼信息通过USB数据线6传送至字幕机3；

字幕机3用于接收视频图像、RGB图像和人体骨骼信息，利用图像配准技术中的仿射变换将RGB图像与视频图像进行图像配准；图像配准是按如下过程寻找一个最佳映射关系f：

选取RGB图像作为待配准图像并由二维矩阵A表示，视频图像作为参考图像并由二维矩阵B表示；A(x,y)与B(x,y)分别表示二维矩阵A和二维矩阵B上的第x行第y列位置处的像素点；

将待配准图像的二维矩阵A利用式(1)进行f变换，即A'=Af，获得配准图像的二维矩阵A'：

$A^{\′}=\mathrm{Af}=A\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{c}_x& 0& 0\\ 0& c_y& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ t_x& t_y& 1\end{array}\right]---\left(1\right)$

式(1)中矩阵 $\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]$ 表示对待配准图像进行旋转变换，θ为待配准图像顺时针旋转角度；矩阵 $\left[\begin{array}{ccc}{c}_x& 0& 0\\ 0& c_y& 0\\ 0& 0& 1\end{array}\right]$ 表示对待配准图像进行缩放变换，c_x与c_y分别为图像横向和纵向缩放比例；矩阵 $\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ t_x& t_y& 1\end{array}\right]$ 表示对图像进行平移变换，t_x与t_y分别为待配准图像横向和纵向移动距离；

本实例根据Kinect设备2与数字摄像机1之间的具体位置来调整顺时针旋转角度θ、移动距离t_x与t_y，根据Kinect设备2产生的RGB图像的分辨率与数字摄像机1产生的视频图像的分辨率之间的关系来调整缩放比例c_x和c_y；

图像配准的结果是按如下方式进行验证：

1)利用公知的尺度不变特征转换SIFT算法分别提取配准图像关键点W_n与参考图像的关键点Y_m；

2)设定一个比例阈值T，尺寸不变特征转换SIFT算法推荐比例阈值范围为0.4~0.6，本实例中设定的比例阈值T=0.4；取配准图像中第一个关键点W₁，并遍历参考图像中所有关键点Y_m，找出与关键点W₁的欧式距离最近的前两个关键点Y_k1和Y_k2，如果最近的欧式距离除以次近的欧式距离小于比例阈值T，则关键点W₁为匹配点；

3)将配准图像中剩下的关键点W_n-1，依次按照步骤2的过程，找出参考图像中可作为匹配点的所有关键点，将所有匹配点个数用s表示；若匹配点个数s越接近配准图像中的关键点个数n，则匹配准确性越高；同时比例阈值T也影响匹配的准确性，比例阈值T越小，对关键点是否成为匹配点要求就越高，从而降低了匹配点个数；即不同比例阈值T对应着不同的匹配准确性。

4)记所有匹配点个数s占配准图像所有关键点个数n的比例值为η，η取值范围是0~1.0，η越大，对配准准确性要求越高，本实例取η值为0.98。通过不断调整矩阵变换的旋转、缩放和平移相应参数，最终达到η＝0.98下的配准准确性要求，从而完成图像配准的结果验证。

本实施例将RGB摄像头中心与数字摄像机的物镜中心保持在一条直线上，是为了便于找到最佳的映射关系f；由于Kinect设备产生的RGB图像的图像分辨率与数字摄像机产生的视频图像分辨率不同，因此需要对待配准图像进行裁剪或缩放等变换，同时由于Kinect设备的RGB摄像头与数字摄像机的物镜不在同一位置处，因此需要对待配准图像进行平移变换以匹配参考图像。

字幕机3通过调用Kinect SDK系统开发工具包中相应API应用程序接口获得人体骨骼信息中的手部骨骼信息，利用三维手势识别技术分别获得语义手势和控制手势，从而分别产生语义响应命令和控制响应命令；语义手势是为不同动作的手势而定义的相应含义，即用于定义主持人做某一个动作时所代表的含义，是将不同的手势解释为不同的指令，如开始、结束等指令；同时语义手势可以通过定义语义响应函数来改变控制响应函数的功能，如设置了一个代表拖拽功能的语义手势，在其匹配成功后，只要未有新的语义手势匹配，则控制手势触发成功后的功能就是对图文或虚拟场景按图3所示的手部运动轨迹进行拖动；若设置的是一个代表画线功能的语义手势，在其匹配成功后，只要未有新的语义手势匹配，则控制手势触发成功后的功能就是在视频图像中根据手部运动轨迹画线。

语义手势的识别过程如下：

如图3所示，在字幕机3中根据手部骨骼信息设定深度阈值，当主持人7手部触发深度阈值后，并且手部骨骼点9开始移动，字幕机3就开始记录手部运动轨迹10；手部骨骼点9离开深度阈值，则此次语义手势记录完成，利用模板匹配方法找到手部运动轨迹10所匹配的手势模板，若匹配成功，则执行与手势模板所对应的语义响应函数，从而获得语义手势并产生语义响应命令；若匹配失败，则主持人重新触发深度阈值并进行语义手势的识别过程；

控制手势的识别过程如下：

在字幕机3中设定深度阈值的基础上再设定时间阈值，当主持人7手部触发深度阈值后，若手部骨骼点9在时间阈值内并未移动，此次控制手势触发成功，开始执行手部动作所对应的控制响应函数，从而获得控制手势并产生控制响应命令；当手部骨骼点9离开深度阈值，则此次控制手势完成。为便于主持人了解触发是否成功，字幕机3会在主持人7的参考叠加视频中对主持人的手部进行标识，如在手部骨骼点9的位置处添加一个圆圈，为便于观察，可将圆圈颜色设置为醒目的红色；主持人7依据这个红圈找准节目录制过程中所要匹配的图文或虚拟场景8，然后触发控制手势，触发成功后同步显示设备4上的红圈就会消失；若控制手势触发失败，则主持人重新触发深度阈值和时间阈值并进行控制手势的识别过程。

参见图2，Kinect的传感深度为1.2~3.5米之间，1.2米位置如边界1所示，3.5米位置如边界2所示；在这两边界内设定主持人一个固定的活动区域，并在此活动区域内取一条如图2所示的分界线，此分界线与Kinect的距离为d（d>1.2米）。设边界1与分界线距离△=d-1.2，为便于主持人触发，将分界线距离△设定在0.2~0.5米之间，则分界线距离△为主持人手部触发区域，图2中分界线的位置可以根据主持人相对Kinect的距离进行调整；由此得到一个深度阈值(1.2,d)。同时根据实际情况设定一个时间范围，一般设置为1~2.5s，由此得到一个时间阈值(1,2.5)；时间阈值设置得越大，则主持人手在触发深度阈值状态下保持时间就越长。

如图3所示，Kinect SDK系统开发工具包中定义了骨骼空间坐标系，故字幕机3获得的人体骨骼信息即是人体骨骼点9在骨骼空间坐标系中的三维坐标值，其中K₀（x₀,y₀,z₀)到K_n（x_n,y_n z_n)中的所有点组成了一个手势运动轨迹10；而利用三维手势识别技术对手部骨骼信息识别的过程就是对手部骨骼点9在手部运动轨迹10中任意点K_i处三维坐标值（x_i,y_i,z_i)的所组成的一系列数据进行实时分析处理，从而完成对手势的识别。

字幕机3利用OpenCV开发包实现增强现实技术将图文字幕信息叠加到视频图像中形成叠加视频，并将参考叠加视频发送到同步显示设备4；第三方多媒体开发包OpenCV中与视频操作相关的API应用程序接口可以将图文字幕信息中包括的图文及虚拟场景8叠加到节目视频，从而字幕机3可以执行语义响应函数和控制响应函数所对应的语义响应命令和控制响应命令。

同步显示设备4用于实时显示参考叠加视频，主持人7通过参考叠加视频实时调整手部位置。

本实施例中电视节目主持互动系统的工作工程按如下过程进行：

(a)、数字摄像机1对整个电视节目进行录制，通过视频传输线5传到字幕机3；Kinect设备2捕获主持人7的骨骼信息，通过USB数据传输线6传到字幕机3；在字幕机3中只对骨骼信息中的手部骨骼信息进行分析处理。

(b)、在主持人7主持电视节目过程中，当需要往视频中添加图文或虚拟场景时，主持人7作出节目开始的语义手势并且匹配成功，则在同步显示设备7的屏幕上方区域调入可能添加到节目视频中的图文或虚拟场景8，这些信息只出现在参考叠加视频中，不出现在叠加视频中。而叠加视频是指后续播放给电视观众所看的节目视频；如图1所示，虚选框中的各种图形代表的是实际需要的图文和虚拟场景8。

(c)、不论主持人7进行的是拖拽或画线等操作，只要触发了控制手势，控制手势产生的控制命令就会调用第三方多媒体开发包OpenCV中的与视频操作相关的API应用程序接口，将相应的效果实时添加到视频图像中，这些效果会同时显示在叠加视频和参考叠加视频当中。

(d)、主持人7不要手势操作节目时，作出节目结束的语义手势并且匹配成功，则即使控制手部满足触发条件也不会触发，结束对节目视频内容的操作。

Claims (4)

1.一种基于Kinect的电视节目主持互动系统，其特征是所述系统组成包括：

一数字摄像机(1)，用于拍摄电视节目并将所拍摄电视节目的视频图像通过视频输出线(5)传输至字幕机(3)；

一Kinect设备(2)，将所述Kinect设备(2)的RGB摄像头中心与所述数字摄像机(1)的物镜中心处在同一条直线上，所述Kinect设备(2)通过Kinect SDK系统开发工具包中相应API应用程序接口获得电视节目中主持人(7)的RGB图像和人体骨骼信息，并将所述RGB图像和人体骨骼信息通过USB数据线(6)传送至字幕机(3)；

所述字幕机(3)，用于接收所述视频图像、所述RGB图像和所述人体骨骼信息，并利用图像配准技术中的仿射变换将所述RGB图像与所述视频图像进行图像配准；所述字幕机(3)通过调用Kinect SDK系统开发工具包中相应API应用程序接口获得所述人体骨骼信息中的手部骨骼信息，并利用三维手势识别技术分别获得语义手势和控制手势，从而分别产生语义响应命令和控制响应命令；所述字幕机(3)利用增强现实技术将图文字幕信息叠加到所述视频图像中形成叠加视频；并对所述叠加视频进行手部标识得到参考叠加视频，将所述参考叠加视频发送到同步显示设备(4)；

所述同步显示设备(4)，用于实时显示所述参考叠加视频，主持人(7)根据所述参考叠加视频实时调整手部位置。

2.根据权利要求1所述的基于Kinect的电视节目主持互动系统，其特征是所述Kinect设备(2)是从正面获取主持人的RGB图像和人体骨骼信息，且人体活动范围限制在所述Kinect设备(2)的水平视角范围小于57°、垂直视角范围小于43°和传感深度范围在1.2米到3.5米之间。

3.根据权利要求1所述的基于Kinect的电视节目主持互动系统，其特征是所述语义手势和所述控制手势的识别过程分别如下过程A和过程B进行：

过程A：所述字幕机(3)根据所述手部骨骼信息设定手部触发的深度阈值，当主持人(7)手部触发所述深度阈值后，所述字幕机(3)开始记录手部运动轨迹，并利用模板匹配方法找到所述手部运动轨迹所匹配的手势模板，若匹配成功，则执行与所述手势模板所对应的语义响应函数，从而获得所述语义手势并产生所述语义响应命令；若匹配失败，则主持人(7)重新触发所述深度阈值并进行所述语义手势的识别过程；

过程B：所述字幕机(3)根据所述手部骨骼信息设定手部触发的深度阈值与时间阈值，主持人(7)手部触发所述深度阈值与时间阈值，若触发成功，则执行手部动作所对应的控制响应函数，从而获得所述控制手势并产生所述控制响应命令；若触发失败，则主持人(7)重新触发所述深度阀值与时间阀值并进行所述控制手势的识别过程。

4.根据权利要求1所述的基于Kinect的电视节目主持互动系统，其特征是所述字幕机(3)可设置为计算机。

Images