CN103559809B - 基于计算机的现场交互演示系统 - Google Patents

Abstract

本发明涉及触摸式现场交互沟通技术领域，尤其是一种基于计算机的现场交互演示系统。一种基于计算机的现场交互演示系统，其特征是，该系统包括：位置检测系统、动作解析系统和消息驱动系统。这种基于计算机的现场交互演示系统的产品重量轻、触摸范围宽、响应速度快、交互功能强、通用性好、安装灵活方便、可靠性高、可维护性强。

Description

基于计算机的现场交互演示系统

技术领域

本发明涉及触摸式现场交互沟通技术领域，尤其是一种基于计算机的现场交互演示系统。

背景技术

随着社会飞速发展，计算机及其相关产品已深入影响到我们工作、生活的方方面面，人们已经习惯利用计算机、移动设备进行交流沟通，在各行各业出现的种类繁多的产品，为人们的沟通提供便捷途径。

但沟通无极限，而目前很多的沟通方式各有优缺点。如交互的直观性，很多产品或软件与无法使沟通对象看到手与画面的同步操作，更多的是通过鼠标操作画面，仅能支持鼠标单击、弹起、移动、滚轮等单点操作，不支持多点触控操作，更不支持手势操作；目前在教育行业大量应用的交互式电子白板，大多是单点操作，其用户体验不好、重量大、价格高；多点触控多用于移动设备，如Android操作系统支持按下、弹起、移动、双击、长按、滑动等触摸屏事件，但其操作范围受限、现场性不足、共享程度低；微软于2010年发布体感周边外设Kinect，可以初步解决手势操作，但应用较受局限，误动作较多，在正式场合使用会对用户提出较高要求。

综上所述，针对现有技术的缺陷，特别需要一种成本低廉、操作范围宽、质量轻便、功能强大的适合于计算机现场交互式沟通系统，支持多点触控与手势操作，以驱动方式集成于操作系统中支持各个现有应用，以支持多层次多领域的交互式沟通需求。

发明内容

为了克服现有的技术问题，本发明提供了一种基于计算机的现场交互演示系统。

本发明解决其技术问题所采用的技术方案是：一种基于计算机的现场交互演示系统，其特征是，该系统包括：位置检测系统、动作解析系统和消息驱动系统。

根据本发明的另一个实施例，进一步包括，所述位置检测模块包括CPU模块、摄像头模块、支架和传输模块。

根据本发明的另一个实施例，进一步包括，所述传输模块可为无线模块、网络模块、电力猫模块、USB模块和视频采集模块方式，通过相应的有线/无线方式接入计算机。

根据本发明的另一个实施例，进一步包括，摄像头模块分布在运行所述动作解析系统、消息驱动系统的计算机的输出画面周围，其视场范围覆盖计算机输出画面，所述摄像头模块完成计算机输出画面及其附近空间的视频图像采集，所述的CPU模块将这些图像数据处理后通过所述的传输模块发送给计算机。

根据本发明的另一个实施例，进一步包括，所述摄像头模块的的数目至少为2个。

根据本发明的另一个实施例，进一步包括，所述的动作解析系统，基于位置检测系统发来的图像数据进行三维定位与对象识别，确定触摸点、触摸区域、敏感空间的手势，并据此确定用户的按下、弹起、移动、双击、长按、滑动等触摸动作，以及多点触控状态与各种手势。

根据本发明的另一个实施例，进一步包括，所述的消息驱动系统，将所述的动作解析系统的输出信息封装成标准的操作系统消息格式，发送到操作系统的消息队列中；所述的消息驱动系统，也可直接针对目标应用程序进行各种逻辑配置，以直接驱动这些应用程序以支持触控与手势操作。

根据本发明的另一个实施例，进一步包括，所述的计算机输出画面，可由投影仪投影到目标位置，也可由计算机直接输出到显示设备。

本发明的有益效果是，产品重量轻，本发明的实施例中，硬件部分所包含的摄像头模块、CPU模块、传输模块均小巧轻便，而支架与线缆可规范加工，使得系统结构简单，运输成本低廉；

触摸范围宽，只要是画面输出的地方，可通过支架伸缩或组合、线缆的选择配置一个合适的触摸范围；

响应速度快，本发明的实施例中采用区域图像组合方式，减小系统处理量，提高传输速度，提升用户体验；

交互功能强，本发明的实施例中基于图像识别取得按下、弹起、移动、双击、长按、滑动等操作，还可以取得非接触下的移动操作，完全支持手势等多点触控操作；

通用性好，本发明的实施例中，用户触控及手势操作被封装成为标准消息进行发布，通过操作系统消息机制的支持或可定制的逻辑配置，可支持各种演示交流应用软件的人机交互，具备良好通用性；

安装灵活方便，本发明的实施例中，多种成熟的数据传输方式，使得系统可根据用户实际情况灵活选择配置，同时，轻便的产品也极大方便用户安装实施；

可靠性高，可维护性强。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的框架示意图。

具体实施方式

如图1是本发明的结构示意图，一种基于计算机的现场交互演示系统，其特征是，该系统包括：位置检测系统、动作解析系统和消息驱动系统。

根据本发明的另一个实施例，进一步包括，所述位置检测模块包括CPU模块、摄像头模块、支架和传输模块。

根据本发明的另一个实施例，进一步包括，所述传输模块可为无线模块、网络模块、电力猫模块、USB模块和视频采集模块方式，通过相应的有线/无线方式接入计算机。

根据本发明的另一个实施例，进一步包括，摄像头模块分布在运行所述动作解析系统、消息驱动系统的计算机的输出画面周围，其视场范围覆盖计算机输出画面，所述摄像头模块完成计算机输出画面及其附近空间的视频图像采集，所述的CPU模块将这些图像数据处理后通过所述的传输模块发送给计算机。

根据本发明的另一个实施例，进一步包括，所述摄像头模块的的数目至少为2个。

根据本发明的另一个实施例，进一步包括，所述的动作解析系统，基于位置检测系统发来的图像数据进行三维定位与对象识别，确定触摸点、触摸区域、敏感空间的手势，并据此确定用户的按下、弹起、移动、双击、长按、滑动等触摸动作，以及多点触控状态与各种手势。

根据本发明的另一个实施例，进一步包括，所述的消息驱动系统，将所述的动作解析系统的输出信息封装成标准的操作系统消息格式，发送到操作系统的消息队列中；所述的消息驱动系统，也可直接针对目标应用程序进行各种逻辑配置，以直接驱动这些应用程序以支持触控与手势操作。

根据本发明的另一个实施例，进一步包括，所述的计算机输出画面，可由投影仪投影到目标位置，也可由计算机直接输出到显示设备。

本发明通过上述方案所具体功能如下：

硬件功能：摄像头视频直显，即所述的各摄像头模块的视频数据可以通过CPU模块直接传输到计算机中；

硬件功能：摄像头视频区域组合，即所述的CPU模块连接到多个摄像头模块，所述的CPU模块将这些摄像头模块的敏感区域组合为新的数据，传输给计算机，以满足处理时间与传输带宽的要求。

软件功能：摄像头区域选择，如图1所示，所述的动作解析系统会取得各摄像头的全部视频，并由用户选择与投影画面/显示画面邻近的区域作为后续判断的依据。该区域选择将折衷考虑，一方面能确保检测到用户触摸输入与手势敏感空间，另一方面也考虑到处理与传输速度。

软件功能：画面校准，即所述的基于计算机的现场交互演示系统，如果采用投影仪投射计算机的界面，则很有可能会产生画面失真。校准时，只需将校准画面(即画面中有已知坐标的校准点)显示到投影画面/显示画面中，用户通过触摸点击校准点，动作解析系统会取得触摸位置坐标，建立方程。通过多个已知坐标校准点的触摸即可完成方程组的建立，求解方程组解算出投影画出的各项参数，便于后续触摸的准确定位。

软件功能：安装校准，即所述的基于计算机的现场交互演示系统，其所述的各摄像头模块可能会有安装误差，需要进行位置校准。校准时，只需将标准图形物件置于投影画面/显示画面区域中，用户通过触摸点击标准图形物件的特征点，动作解析系统会取得触摸位置坐标，建立方程。通过多个已知校准点的触摸即可完成方程组的建立，求解方程组解算出所述摄像头的各项安装参数，便于后续触摸的准确定位。

软件功能：动作解析。所述的动作解析系统根据之前校准的各项参数，以及实时取得的经由CPU模块发来的图像数据，通过图像处理进行类别识别与三维定位，并基于视频或序列图像完成目标点与区域的连续轨迹判定，区分当前图像中多触点与手势，完成多触点与手势的检测、定位和跟踪，解析出用户的触摸点、触摸区域位置坐标，以及多点触控操作与标准手势信息，生成标准的鼠标操作信息、多点触控信息、触摸区域信息以及手势信息。再辅之以时间信息，可得到当前的按下、弹起、移动、双击、长按、滑动等触摸动作信息。

软件功能：发布消息。所述的动作解析系统解算出动作结果数据后，所述的消息驱动系统将会把这些位置与动作数据封装成操作系统所要求的标准消息，并发布到操作系统的消息队列中，供后续使用。

软件功能：配置应用。所述的消息驱动系统可以维护各应用程序的期望多点触控、手势操作响应逻辑或脚本，以便使用户可以用触摸或手势直接操作这些应用程序，达到更为广泛的应用。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都在要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于计算机的现场交互演示系统，其特征是，该基于计算机的现场交互演示系统包括：位置检测系统、动作解析系统和消息驱动系统；位置检测系统包括CPU模块、摄像头模块、支架和传输模块；所述传输模块为无线模块、网络模块、电力猫模块、USB模块和视频采集模块方式，通过相应的有线/无线方式接入计算机；摄像头模块分布在运行所述动作解析系统、消息驱动系统的计算机的输出画面周围，其视场范围覆盖计算机输出画面，所述摄像头模块完成计算机输出画面及其附近空间的视频图像采集，所述的CPU模块将图像数据处理后通过所述的传输模块发送给计算机；所述摄像头模块的数目至少为2个；所述的动作解析系统，基于位置检测系统发来的图像数据进行三维定位与对象识别，确定触摸点、触摸区域、敏感空间的手势，并据此确定用户的按下、弹起、移动、双击、长按、滑动触摸动作，以及多点触控状态与各种手势；所述的消息驱动系统，将所述的动作解析系统的输出信息封装成标准的操作系统消息格式，发送到操作系统的消息队列中；所述的消息驱动系统，也能够直接针对目标应用程序进行各种逻辑配置，以直接驱动这些应用程序以支持触控与手势操作；所述的计算机输出画面，能够由投影仪投影到目标位置，或由计算机直接输出到显示设备；该现场交互演示系统的硬件和软件功能如下：

硬件功能：摄像头视频直显，即各所述的摄像头模块的视频数据通过CPU模块直接传输到计算机中；摄像头视频区域组合，即所述的CPU模块连接到多个摄像头模块，所述的CPU模块将这些摄像头模块的敏感区域组合为新的数据，传输给计算机，以满足处理时间与传输带宽的要求；

软件功能：摄像头区域选择，所述的动作解析系统会取得各摄像头模块的全部视频，并由用户选择与投影画面/显示画面邻近的区域作为后续判断的依据；该投影画面/显示画面邻近的区域选择将折衷考虑，一方面能确保检测到用户触摸输入与手势敏感空间，另一方面也考虑到处理与传输速度；画面校准，即所述的基于计算机的现场交互演示系统，如果采用投影仪投射计算机的界面，则很有可能会产生画面失真；校准时，只需将校准画面显示到投影画面/显示画面中，用户通过触摸点击校准点，动作解析系统会取得触摸位置坐标，建立方程，通过多个已知坐标校准点的触摸即可完成方程组的建立，求解方程组解算出投影画出的各项参数，便于后续触摸的准确定位；安装校准，即所述的基于计算机的现场交互演示系统，其各所述的摄像头模块可能会有安装误差，需要进行位置校准；校准时，只需将标准图形物件置于投影画面/显示画面区域中，用户通过触摸点击标准图形物件的特征点，动作解析系统会取得触摸位置坐标，建立方程；通过多个已知校准点的触摸即可完成方程组的建立，求解方程组解算出所述摄像头模块的各项安装参数，便于后续触摸的准确定位；动作解析，所述的动作解析系统根据之前校准的各项参数，以及实时取得的经由CPU模块发来的图像数据，通过图像处理进行类别识别与三维定位，并基于视频或序列图像完成目标点与区域的连续轨迹判定，区分当前图像中多触点与手势，完成多触点与手势的检测、定位和跟踪，解析出用户的触摸点、触摸位置坐标，以及多点触控操作与标准手势信息，生成标准的鼠标操作信息、多点触控信息、触摸区域信息以及手势信息；再辅之以时间信息，得到当前的按下、弹起、移动、双击、长按、滑动触摸动作信息，发布消息；所述的动作解析系统解算出动作结果数据后，所述的消息驱动系统将会把这些位置坐标与动作结果数据封装成操作系统所要求的标准消息，并发布到操作系统的消息队列中，供后续使用，配置应用；所述的消息驱动系统维护各应用程序的期望多点触控、手势操作响应逻辑或脚本，以便使用户用触摸或手势直接操作这些应用程序，达到更为广泛的应用。