CN102096469A

CN102096469A - 一种多功能手势互动系统

Info

Publication number: CN102096469A
Application number: CN2011100236468A
Authority: CN
Inventors: 薛亮; 朱丽娟; 李卿; 韩磊; 郭彦锋; 蔡良锋; 李军; 赵敏
Original assignee: China Key System and Integrated Circuit Co Ltd
Current assignee: China Key System and Integrated Circuit Co Ltd
Priority date: 2011-01-21
Filing date: 2011-01-21
Publication date: 2011-06-15
Anticipated expiration: 2031-01-21
Also published as: CN102096469B

Abstract

本发明公开了一种多功能手势互动系统，系统包括两个手势图像摄入装置、视频采集处理器、计算机、主显示大屏幕，一组现场图像摄入装置、多功能视频处理器、一组扩展显示大屏幕。其中多功能视频处理器对现场图像摄入装置的每一路图像进行采集恢复，对需要记录的图像内容进行视频压缩编码送回计算机存储，接收来自计算机的需要回放的压缩视频数据并解码，对采集恢复出的视频图像或解码后的图像进行编码，生成复合视频信号输出。其有益效果在于：本发明解决了原有系统功能单一问题，能够在一个系统中完成对多个屏幕显示内容的控制，使得同一时刻多个屏幕显示内容不同；同时，可以对多个现场场景实时显示和记录。

Description

一种多功能手势互动系统

技术领域

本发明涉及一种手势互动系统，尤其是涉及一种多功能手势互动系统。

背景技术

随着软硬件技术的迅猛发展以及人们对操作体验要求的不断提高，以计算机和大屏幕显示相结合的手势互动演示系统，被广泛地应用于互动教学、办公会议以及产品发布等场合。

现有的互动演示系统，通常分为主动接触式和被动接触式两种，主动接触式系统需要借助特殊的装置，如特制的红外笔或者红外发射装置和感应线圈装置；被动接触式系统，不需要特殊的装置，使用者可以用手指或其他物体来完成交互工作。

由于有很好的操作体验感，被动接触式已经逐渐成为互动演示系统的发展趋势，现有的被动接触式互动演示系统中利用摄像头探测技术典型的方案为：在操作区域上方放置多个摄像头覆盖操作区域，通过分析摄像头的图像内容，来定位手或物体直接在操作区域的位置，再加上手势识别模块，结合计算机和大屏幕显示完成大屏幕内容的操作与互动控制。

如图1所示，现有典型的手势互动演示系统包括两个手势图像摄入装置101、一个视频采集处理器102、一台计算机103、一个显示大屏幕104。两个手势图像摄入装置101的中心光轴相对向下安装在操作区域上方，视频采集处理器102主要负责采集两个手势图像摄入装置101的视频图像并检测，然后通过通信接口将指尖位置以及相关控制信息发送给计算机103，计算机的内容显示于显示大屏幕104，操作人员在操作区域内用手或其它物体操作就可以控制显示大屏幕104的内容。

该方案无需信号笔，用手或物体来完成，解决了操作体验感以及大屏显示的需求，但是，该方案只针对一个屏幕操作，同时只能有一个内容显示于多个屏幕，功能单一。由于在互动教学、办公会议以及产品发布等场合，需要具有更丰富的功能，如在多个大屏上同时显示不同的内容，且只需要一个手势互动控制平台，另外，通常大型活动需要实时地显示和记录现场视频内容等。如果利用现有方案，为了满足这样的需求，往往需要多个系统组合完成，这样成本和复杂度都会很高。

发明内容

本发明的目的是提供一种多功能手势互动系统，能够在一个系统中完成对多个屏幕显示内容的控制，使得同一时刻多个屏幕显示内容不同；同时，也可以对多个现场进行实时显示和记录。

为实现上述目的，本发明通过以下技术手段实现：

本发明解决其技术问题所采用的技术方案是：构造一种多功能手势互动演示系统，包括两个手势图像摄入装置、一个视频采集处理器、一台计算机、一个主显示大屏幕、一组现场图像摄入装置、一个多功能视频处理器、一组扩展显示大屏幕。两个手势图像摄入装置的中心光轴相对，向下安装在操作区域的正上方；视频采集处理器采集两个手势图像摄入装置的视频图像并检测，然后通过通信接口将指尖位置和手势识别结果发送给计算机；计算机的内容显示于主显示大屏幕，操作人员在操作区域范围内用手或其它物体操作就可以控制主显示大屏幕的内容；一组现场图像摄入装置摄入多个不同的场景；多功能视频处理器首先对现场图像摄入装置的每一路图像进行采集恢复，其次对需要记录的图像内容进行视频压缩编码送回计算机存储，同时接收来自计算机的需要回放的压缩视频数据并解码，最后对采集恢复出的视频图像或解码后的图像进行编码，生成复合视频信号（CVBS）输出；一组扩展显示大屏幕对应于多功能视频处理器输出的复合视频信号。总而言之，就是借助视频采集处理器输出的手势控制信号，通过计算机来控制多功能视频处理器，将不同的内容发送出去，实现了对多个扩展显示大屏幕内容的控制，同时也完成了多个现场视频的实时显示与记录。

所述两个手势图像摄入装置，完成手势操作区域内手势活动图像的摄入。

所述视频采集处理器，主要完成对手势图像摄入装置摄入图像的恢复、对恢复图像的预处理、指尖坐标检测、手势识别。

所述计算机，主要完成控制信号的转换、图像的编辑、压缩图像的收发与存储以及对多功能视频处理器的控制。

所述主显示大屏幕，主要完成手势互动显示系统主界面的显示。

所述一组现场图像摄入装置，由若干个摄像头组成，主要完成多个现场视频图像的摄入。

所述多功能视频处理器，包括视频图像恢复单元、视频图像预处理单元、压缩视频图像解码单元、视频图像压缩编码单元、复合视频信号编码生成单元。

所述一组扩展显示大屏幕，其扩展显示大屏幕的个数等于现场图像摄入装置的摄像头个数加上计算机发送的需要独立显示的视频或图像文件个数，一组扩展显示大屏幕用来显示摄像头采集的现场图像，同时负责回放计算机内的压缩图像内容的显示。

以下具体分析多功能视频处理器工作原理：

1、视频图像恢复单元

视频图像恢复单元接收来自一组现场图像摄入装置的模拟复合视频信号，进行模数转换，接着对复合视频信号亮色分离与U/V分离，其中U为蓝差分量、V为红差分量，将恢复出的视频图像数据输出到视频图像预处理单元。

2、视频图像预处理单元

对视频图像恢复单元输出的图像数据解交错，并对解交错后的图像进行降噪滤波，然后根据计算机发送过来的控制信息，将需要显示的图像数据发送给复合视频信号编码生成单元，将需要记录的图像数据发送给视频图像压缩编码单元。

3、压缩视频图像解码单元

计算机通过高性能外围组件互连标准（PCIe）接口，将要回放的压缩图像数据发送给压缩视频图像解码单元，解码单元对压缩数据解码，然后将解码后的数据发送给复合视频信号编码生成单元。

4、视频图像压缩编码单元

该单元的主要功能是对从视频图像预处理单元输入的需要记录的视频图像数据，进行H.264编码生成压缩数据码流，再将压缩数据通过高性能外围组件互连标准接口，发送给计算机存储。

5、复合视频信号编码生成单元

一方面，复合视频信号是模拟电视信号,可以通过同轴线实现远距离传输；另一方面，复合视频信号在显示设备中得到了普遍支持。复合视频信号编码生成单元，对来自视频图像预处理单元和压缩视频图像解码单元需要显示的图像数据加上行场同步信号以及色同步信号，并对色度信号进行平衡调幅调制，一起叠加生成复合视频信号，通过同轴线传输给投影仪、LCD或LED电视机，显示于大屏幕。

实施本发明的一种多功能手势互动系统，具有以下有益效果：与现有技术手势互动系统相比，本发明解决了原有系统功能单一问题，能够在一个系统中完成对多个屏幕显示内容的控制，使得同一时刻多个屏幕显示内容不同；同时，可以对多个现场场景实时显示和记录。一方面，丰富了手势互动系统的功能；另一方面，解决了原有多系统整合的高复杂度和高成本的问题。

附图说明

图1：现有手势互动系统结构示意图。

图2：本发明多功能手势互动系统结构示意图。

图3：本发明多功能视频处理器各模块连接示意图。

其中图1、图2和图3的符号说明如下：

101、手势图像摄入装置，102、视频采集处理器，103、计算机，104、显示大屏幕，201、手势图像摄入装置，202、视频采集处理器，203、计算机，204、主显示大屏幕，205、一组现场图像摄入装置，206、多功能视频处理器，207、一组扩展显示大屏幕，303、视频图像恢复单元，304、视频图像预处理单元，305、压缩视频图像解码单元，306、视频图像压缩编码单元，307、复合视频信号编码生成单元。

具体实施方式

如图2所示，是本发明的多功能手势互动系统结构示意图。本发明构造一种多功能手势互动演示系统，包括两个手势图像摄入装置201、一个视频采集处理器202、一台计算机203、一个主显示大屏幕204，一组现场图像摄入装置205、一个多功能视频处理器206、一组扩展显示大屏幕207。两个手势图像摄入装置201的中心光轴相对，向下安装在操作区域的正上方；视频采集处理器202采集两个手势图像摄入装置201的视频图像并检测，然后通过通信接口将指尖位置和手势识别结果发送给计算机203；计算机203的内容显示于主显示大屏幕204，操作人员在操作区域范围内用手或其它物体操作就可以控制主显示大屏幕的内容；一组现场图像摄入装置205摄入多个不同的场景；多功能视频处理器206，首先对现场图像摄入装置205的每一路图像进行采集恢复，其次对需要记录的图像内容进行视频压缩编码送回计算机203存储，同时接收来自计算机203的需要回放的压缩视频数据并解码，最后对采集恢复出的视频图像或解码后的图像进行编码，生成复合视频信号输出；一组扩展显示大屏幕207对应于多功能视频处理器206输出的复合视频信号。总而言之，就是借助视频采集处理器202输出的手势控制信号，通过计算机203来控制多功能视频处理器206，将不同的内容发送出去，实现了对多个扩展显示大屏幕207内容的控制，同时也完成了多个现场视频的实时显示与记录。

所述两个手势图像摄入装置201，完成手势操作区域内手势活动图像的摄入。

所述视频采集处理器202，主要完成对手势图像摄入装置201摄入图像的恢复、对恢复图像的预处理、指尖坐标检测、手势识别。

所述计算机203，主要完成控制信号的转换、图像的编辑、压缩图像的收发与存储以及对多功能视频处理器206的控制。

所述主显示大屏幕204，主要完成手势互动显示系统主界面的显示。

所述一组现场图像摄入装置205，由n个摄像头组成，n≥1，主要完成多个场景视频图像的摄入。

所述多功能视频处理器206，包括视频图像恢复单元303、视频图像预处理单元304、压缩视频图像解码单元305、视频图像压缩编码单元306、复合视频信号编码生成单元307。

所述一组扩展显示大屏幕207，其扩展显示大屏幕的个数m等于现场图像摄入装置205的摄像头个数n加上计算机203发送的需要独立显示的视频或图像文件个数，一组扩展显示大屏幕207用来显示摄像头采集的现场图像，同时负责回放计算机203内的压缩图像内容的显示。

如图3所示，是本发明的多功能视频处理器各模块连接示意图。以下具体分析多功能视频处理器206的工作的实现原理：

1、视频图像恢复单元303

视频图像恢复单元303对来自一组现场图像摄入装置205的模拟复合视频信，进行模数转换，接着对复合视频信号亮色分离与U/V分离，其中U为蓝差分量、V为红差分量，将恢复出的视频图像数据输出到视频图像预处理单元304。

2、视频图像预处理单元304

对视频图像恢复单元303输出的图像数据解交错，并对解交错后的图像进行降噪滤波，然后根据计算机203发送过来的控制信息，将需要显示的图像数据发送给复合视频信号编码生成单元307，将需要记录的图像数据发送给视频图像压缩编码单元306。

3、压缩视频图像解码单元305

计算机203通过高性能外围组件互连标准接口，将要回放的压缩图像数据发送给压缩视频图像解码单元305，解码单元305对压缩数据解码，然后将解码后的数据发送给复合视频信号编码生成单元307。

4、视频图像压缩编码单元306

该单元的主要功能是对从视频图像预处理单元304输入的需要记录的视频图像数据，进行H.264编码生成压缩数据码流，再将压缩数据通过高性能外围组件互连标准接口，发送给计算机203存储。

5、复合视频信号编码生成单元307

一方面，复合视频信号是模拟电视信号,可以通过同轴线实现远距离传输；另一方面，复合视频信号在显示设备中得到了普遍的支持。复合视频信号编码生成单元307，对来自视频图像预处理单元304和压缩视频图像解码单元305需要显示的图像数据加上行场同步信号以及色同步信号，并对色度信号进行平衡调幅调制，一起叠加生成复合视频信号，通过同轴线传输给投影仪、LCD或LED电视机，显示于大屏幕。

Claims

1.一种多功能手势互动演示系统，包括两个手势图像摄入装置201、一个视频采集处理器202、一台计算机203、一个主显示大屏幕204，两个手势图像摄入装置201的中心光轴相对，向下安装在操作区域的正上方，视频采集处理器202采集两个手势图像摄入装置201的视频图像并检测，然后通过通信接口将指尖位置和手势识别结果发送给计算机203，计算机203的内容显示于主显示大屏幕204，其特征在于：还包括一组现场图像摄入装置205、一个多功能视频处理器206、一组扩展显示大屏幕207，一组现场图像摄入装置205摄入多个不同的场景，多功能视频处理器206对现场图像摄入装置205的每一路图像进行采集恢复，对需要记录的图像内容进行视频压缩编码送回计算机203存储，接收来自计算机203的需要回放的压缩视频数据并解码，对采集恢复出的视频图像或解码后的图像进行编码，生成复合视频信号输出，一组扩展显示大屏幕207对应于多功能视频处理器206输出的复合视频信号。

2.如权利要求1所述的多功能手势互动演示系统，其特征在于所述一组扩展显示大屏幕207的个数等于现场图像摄入装置205的摄像头个数加上计算机203发送的需要独立显示的视频或图像文件个数。

3.如权利要求1所述的多功能手势互动演示系统，其特征在于所述多功能视频处理器206包括视频图像恢复单元303、视频图像预处理单元304、压缩视频图像解码单元305、视频图像压缩编码单元306、复合视频信号编码生成单元307。

4.如权利要求3所述的多功能手势互动演示系统，其特征在于所述的视频图像恢复单元303，接收来自一组现场图像摄入装置205的模拟复合视频信号，进行模数转换，接着对复合视频信号亮色分离与U/V分离，其中U为蓝差分量、V为红差分量，将恢复出的视频图像数据输出到视频图像预处理单元304。

5.如权利要求3所述的多功能手势互动演示系统，其特征在于所述的视频图像预处理单元304，对视频图像恢复单元303输出的图像数据解交错，并对解交错后的图像进行降噪滤波，然后根据计算机203发送过来的控制信息，将需要显示的图像数据发送给复合视频信号编码生成单元307，将需要记录的图像数据发送给视频图像压缩编码单元306。

6.如权利要求3所述的多功能手势互动演示系统，其特征在于压缩视频图像解码单元305，计算机203通过高性能外围组件互连标准接口，将要回放的压缩图像数据发送给压缩视频图像解码单元305，解码单元305对压缩数据解码，然后将解码后的数据发送给复合视频信号编码生成单元307。

7.如权利要求3所述的多功能手势互动演示系统，其特征在于视频图像压缩编码单元306，对从视频图像预处理单元304输入的需要记录的视频图像数据，进行H.264编码生成压缩数据码流，再将压缩数据通过高性能外围组件互连标准接口，发送给计算机203存储。

8.如权利要求3所述的多功能手势互动演示系统，其特征在于复合视频信号编码生成单元307，对来自视频图像预处理单元304和压缩视频图像解码单元305需要显示的图像数据加上行场同步信号以及色同步信号，并对色度信号进行平衡调幅调制，一起叠加生成复合视频信号，通过同轴线传输给投影仪、LCD或LED电视机，显示于大屏幕。