CN104778008A - 基于屏幕管控的虚拟书写系统 - Google Patents

Abstract

一种基于屏幕管控的虚拟书写系统，包括：屏幕管控模块，用于管理控制运行时的自身主窗口的状态，所述状态分别为白板状态、透明编辑状态、透明屏蔽状态和最小化状态；书写显示模块，包括鼠标轨迹跟踪子模块、鼠标状态识别子模块、手势跟踪子模块、运动轨迹描画子模块、画笔颜色宽度设置子模块和橡皮擦子模块；书写显示模块只在主窗口处于白板和透明编辑状态时才能起作用。本发明提供了一种低成本、适用性良好的基于屏幕管控的虚拟书写系统。

Description

基于屏幕管控的虚拟书写系统

技术领域

本发明涉及一种书写系统，尤其是一种书写、展示和记录系统。

背景技术

在消费类计算设备(例如计算机、笔记本、平板和智慧手机)上向受阅者展示应用程序的效果(例如多媒体应用、或文档显示等)越来越普遍，这个屏幕效果也可以通过投影仪、大屏幕数字电视机等外部辅助设备演示给大范围内的受阅者。从认知负荷理论的角度出发，演示者给受阅者实时地在应用程序的效果屏幕上编辑添加一些文本、或手绘的线条、图画等几何信息将对于受阅者的理解产生积极的作用，这是由认知心理学的适度冗余原则决定的。另外一个方面，从人类书写系统的演变来看，当前比较热门的所谓交互式电子白板系统，实际上是融合了专用计算机、投影机、和触摸屏的一种电子书写展示系统，其工作原理是用户在触摸屏上的手势轨迹被计算机检测、定位并校正后通过投影机再传回触摸屏(投影屏幕)的过程。这一类设备的售价高昂，并造成大量的已有设备如投影仪、大屏幕数字电视机等的闲置，推广部署也比较受到限制。实际上，在目前普遍应用的消费类计算设备上设计部署专门的软件系统、并辅助于传统的投影仪、数字电视机，搭建一套低成本的书写展示系统是完全可行的。

发明内容

为了克服已有电子书写展示系统的成本高、适用性较差的不足,本发明提供了一种低成本、适用性良好的基于屏幕管控的虚拟书写系统。

本发明解决其技术问题所采用的技术方案是：

一种基于屏幕管控的虚拟书写系统，所述虚拟书写系统包括：

屏幕管控模块，用于管理控制运行时的自身主窗口的状态，所述状态分别为白板状态、透明编辑状态、透明屏蔽状态和最小化状态；

其中，白板状态、透明编辑、和透明屏蔽时主窗口默认处于全屏最大化，白板状态指主窗口背景不透明；透明编辑状态指主窗口全透明，但软件处于焦点态，即主窗口背后的其他进程的窗口对于鼠标、键盘操作没有响应；透明屏蔽状态指主窗口全透明、且软件处于失焦态，主窗口背后的其他进程的窗口会响应鼠标、键盘的操作；最小化状态指主窗口最小化为任务栏的图标，软件处于后台运行状态；

当主窗口从白板、或透明编辑状态转换到透明屏蔽状态时，主窗口上的笔迹如果没有事先清除则一直处于显示状态；当处于最小化状态时，主窗口既使仍旧有未擦除的书写笔迹，也不会在屏幕上显示；从最小化转为最大化时，主窗口默认设置为透明编辑状态；

书写显示模块，包括鼠标轨迹跟踪子模块、鼠标状态识别子模块、手势跟踪子模块、运动轨迹描画子模块、画笔颜色宽度设置子模块、和橡皮擦子模块，鼠标轨迹跟踪模块为实时记录鼠标光标在显示屏屏幕的点位坐标数值；鼠标状态识别是判断鼠标左、右键是否处于按下状态；手势跟踪模块为实时记录触摸屏上手指或笔尖的位置坐标；运动轨迹描画是指当鼠标状态合乎书写的内置逻辑时实时连线描画鼠标运动轨迹，或又指在白板状态、或透明编辑状态时触摸屏上手指或笔尖移动的位置被实时连线描画出来；画笔颜色宽度设置模块指与用户交互，可令其选择画笔的颜色和线条宽度；橡皮擦表示用户对书写或描画的线条进行擦除；

书写显示模块只在主窗口处于白板和透明编辑状态时才能起作用。

进一步，所述虚拟书写系统还包括：屏幕记录模块，用户拷贝屏幕并自动储存为静态图片，或又指自动录制屏幕的连续变化储存为一段视频、且同时开启麦克风录制计算设备的环境音成为有声的屏幕内容演化电影。

所述屏幕记录模块中，用户拷贝屏幕为静态图像只需要一键操作。

所述鼠标状态合乎书写的内置逻辑是指当处于白板状态或透明编辑时，且又当鼠标左、右键被按下，则自动连线描画鼠标的运动轨迹。

本发明的有益效果主要表现在：低成本、适用性良好。

附图说明

图1是基于屏幕管控的虚拟书写系统的实现示意图。

图2是白板状态的书写截图。

图3是透明编辑状态的书写截图(使用标注解释一个英文文档的内容)。

图4是透明屏蔽状态的截图(可以拖动文档刷新内容)。

图5是透明编辑状态的视频录制截图(解释文档，视频画面中间有软件开发者的水印，左下角有绿色的数字显示录屏持续时间，单位是秒，周围红色方框表示处于录屏状态)。

图6是透明编辑状态的视频录制截图(在当前播放的视频画面上编辑，视频画面中间有软件开发者的水印，左下角有绿色的数字显示录屏持续时间，单位是秒)。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图6，一种基于屏幕管控的虚拟书写系统，包括屏幕管控模块、书写显示模块和屏幕记录模块。

屏幕管控模块，管理控制软件运行时的自身主窗口的状态，这些状态分别为白板状态、透明编辑状态、透明屏蔽状态、和最小化状态。其中白板状态、透明编辑、和透明屏蔽时主窗口默认处于全屏最大化。白板状态指主窗口背景不透明；透明编辑状态指主窗口全透明，但软件处于焦点态，即主窗口背后的其他进程的窗口对于鼠标、键盘操作没有响应；透明屏蔽状态指主窗口全透明、且软件处于失焦态，主窗口背后的其他进程的窗口会响应鼠标、键盘的操作；最小化状态指主窗口最小化为任务栏的图标，软件处于后台运行状态。当主窗口从白板、或透明编辑转换到透明屏蔽时，主窗口上的笔迹如果没有事先清除则一直处于显示状态。当处于最小化状态时，主窗口既使仍旧有未擦除的书写笔迹，也不会在屏幕上显示。从最小化转为最大化时，主窗口默认设置为透明编辑状态，这是用户使用的工效学决定的：一般用户在最小化时进行屏幕内容的布置(即常规的电脑操作)，待最大化后自然需要在屏幕上标注了，所以设计为透明编辑状态。

书写显示模块，包括鼠标轨迹跟踪子模块、鼠标状态识别子模块、手势跟踪子模块、运动轨迹描画子模块、画笔颜色宽度设置子模块、和橡皮擦子模块。鼠标轨迹跟踪模块为实时记录鼠标光标在显示屏屏幕的点位坐标数值；鼠标状态识别是判断鼠标左(右)键是否处于按下状态；手势跟踪模块为实时记录触摸屏上手指或笔尖的位置坐标；运动轨迹描画是指当鼠标状态合乎书写的内置逻辑时实时连线描画鼠标运动轨迹，或又指在白板状态、或透明编辑状态时触摸屏上手指或笔尖移动的位置被实时连线描画出来；画笔颜色宽度设置模块指与用户交互，可令其选择画笔的颜色和线条宽度；橡皮擦表示用户可以对书写或描画的线条进行擦除。以上鼠标状态合乎书写的内置逻辑是指当处于白板状态或透明编辑时，且又当鼠标左(右)键被按下，则自动连线描画鼠标的运动轨迹。

书写显示模块与常见的手写输入系统的主要差别在于：一、手写输入一般只是在该手写输入系统的自身窗口内进行，没有透明编辑机制，所以无法对屏幕背景进行标注；二、手写输入系统需要手写笔迹识别处理以便转成文字或字符，而这里直接是呈现图形化形态的字符，不需要手写字符识别；三、手写输入系统一般不需要有支持画笔颜色、线条宽度的设置更改机制，也没有笔迹擦除机制。

书写显示模块只在主窗口处于白板、和透明编辑状态时才能起作用。

屏幕记录模块是指用户可拷贝屏幕并自动储存为静态图片，或又指自动录制屏幕的连续变化储存为一段视频、且同时开启麦克风录制计算设备的环境音成为有声的屏幕内容演化电影。此处，用户拷贝屏幕为静态图象只需要一键操作，与Windows系统的截屏键PrtScn的差别是：一、截屏后的图像直接存为文件，而不需要像PrtScn按键按击后需要从黏贴板里提取；二、屏幕图像含有鼠标指针的形状，而PrtScn按键按击的截图没有鼠标指针形状。当记录模块是以视频形式记录时有暂停或恢复等控制机制，尤其是主窗口处于最小化时，如果屏幕录制没有暂停，那么录制功能一直处于工作中。

该展示系统除了书写的主窗口外，不含图形用户界面，可以在白板、透明编辑、或透明屏蔽之间自由切换，从而在不处于最小化状态时达到对计算设备屏幕的管理和控制的最优化。由于软件不含图形用户界面，以上操作控制可以由鼠标快捷菜单、或预设的热键来完成。

本实施例中，虚拟书写系统由计算设备、专用软件子系统、投影仪(或数字电视机)、以及书写笔鼠标等部件。其中专用软件子系统部署在计算设备上，计算设备是指桌面计算机、笔记本电脑、平板电脑、和智慧手机等开放式计算平台，开放的含义是指该计算平台能够设计部署第三方的软件，计算设备的软硬件基础架构是指其部署了windows、Linux或MacOS的X86、AMD或ARM/MIPS等商用芯片的系统；投影仪、电视机为任何品牌的外辅系统，当受阅者只需要观看计算设备的显示屏时它们并不是必要的；笔鼠标为形状类似书写笔的任何品牌的USB光电鼠标，可以为有线、或无线设备，当计算设备自带触摸屏(如平板、智慧手机)时，它也不是必要的。

计算设备与投影机或数字电视机的连接通过HDMI数据线完成。笔鼠标通过USB线缆与计算设备连接。

软件子系统实现屏幕管控、书写显示、和内容记录，计算设备、投影机、投影屏幕负责内容展示，笔鼠标提供书写功能。

软件子系统与一般的屏幕编辑软件，例如国外的Epic Pen、ZoomIT、Presentation等产品的差别在于：一、它们有自身的有形的图形用户界面，占用了屏幕的一定区域，造成对屏幕管控的干扰；二、本系统在易用性方面更为便捷，所有操作都有鼠标快捷菜单和热键两套机制支持，在一步或两步之内完成操作；三、这些产品只关注屏幕编辑的核心功能，却缺少白板状态，因而不能成为一块虚拟白板；四、这些产品没有很强的内容记录功能，只能提供静态的截屏，但截屏图象也没有记录鼠标指针。而本系统有较完备的记录功能，既能记录包含鼠标指针的截屏，也能录音录屏生成电影文档。

软件子系统与国外的录屏产品，例如CamTasio之类系统的差别在于录屏系统只专注于录音录屏等功能，没有对屏幕的实时编辑、控制和管理等作用。它在录制视频上的处理也是由后期制作来编辑实现的。

我们在Win8系统上实现了一个软件子系统的产品原型，该原型取名为“爱来酷-智慧板书系统”，参照图2～图6。

Claims (4)

1.一种基于屏幕管控的虚拟书写系统，其特征在于：所述虚拟书写系统包括：

屏幕管控模块，用于管理控制运行时的自身主窗口的状态，所述状态分别为白板状态、透明编辑状态、透明屏蔽状态和最小化状态；

其中，白板状态、透明编辑、和透明屏蔽时主窗口默认处于全屏最大化，白板状态指主窗口背景不透明；透明编辑状态指主窗口全透明，但软件处于焦点态，即主窗口背后的其他进程的窗口对于鼠标、键盘操作没有响应；透明屏蔽状态指主窗口全透明、且软件处于失焦态，主窗口背后的其他进程的窗口会响应鼠标、键盘的操作；最小化状态指主窗口最小化为任务栏的图标，软件处于后台运行状态；

当主窗口从白板、或透明编辑状态转换到透明屏蔽状态时，主窗口上的笔迹如果没有事先清除则一直处于显示状态；当处于最小化状态时，主窗口既使仍旧有未擦除的书写笔迹，也不会在屏幕上显示；从最小化转为最大化时，主窗口默认设置为透明编辑状态；

书写显示模块，包括鼠标轨迹跟踪子模块、鼠标状态识别子模块、手势跟踪子模块、运动轨迹描画子模块、画笔颜色宽度设置子模块、和橡皮擦子模块，鼠标轨迹跟踪模块为实时记录鼠标光标在显示屏屏幕的点位坐标数值；鼠标状态识别是判断鼠标左、右键是否处于按下状态；手势跟踪模块为实时记录触摸屏上手指或笔尖的位置坐标；运动轨迹描画是指当鼠标状态合乎书写的内置逻辑时实时连线描画鼠标运动轨迹，或又指在白板状态、或透明编辑状态时触摸屏上手指或笔尖移动的位置被实时连线描画出来；画笔颜色宽度设置模块指与用户交互，可令其选择画笔的颜色和线条宽度；橡皮擦表示用户对书写或描画的线条进行擦除；

书写显示模块只在主窗口处于白板和透明编辑状态时才能起作用。

2.如权利要求1所述的基于屏幕管控的虚拟书写系统，其特征在于：所述虚拟书写系统还包括：屏幕记录模块，用户拷贝屏幕并自动储存为静态图片，或又指自动录制屏幕的连续变化储存为一段视频、且同时开启麦克风录制计算设备的环境音成为有声的屏幕内容演化电影。

3.如权利要求2所述的基于屏幕管控的虚拟书写系统，其特征在于：所述屏幕记录模块中，用户拷贝屏幕为静态图像只需要一键操作。

4.如权利要求1～3之一所述的基于屏幕管控的虚拟书写系统，其特征在于：所述鼠标状态合乎书写的内置逻辑是指当处于白板状态或透明编辑时，且又当鼠标左、右键被按下，则自动连线描画鼠标的运动轨迹。