CN1314639A - 一种计算机屏幕随机标注方法 - Google Patents

Abstract

本发明属于计算机应用领域,包括:进行计算机屏幕随机标注的初始化;启动一个需要标注的应用程序或文档;在计算机屏幕上确定需要标注的区域;移动输入装置,同时记录移动轨迹;将轨迹按个性化特征在计算机屏幕上显现。本发明为用户提供了一种新的交互手段,适用于需要对计算机屏幕进行随机标注的场合,如产品介绍、软件演示、辅助教学、远程教育、网络用户交流和电子会议等。具有实现简单、操作方便、便于移动办公的特点。

Description

一种计算机屏幕随机标注方法

本发明属于计算机应用技术领域，更进一步涉及一种为其它计算机应用软件提供屏幕随机标注的方法。

目前，通过配置相应的外部设备(如触摸屏、手写板等)，无论是高端或是低端设备都可实现触控笔操作。这类触控笔的操作仅局限于专用的手写体识别和点触程序菜单，虽然方便了计算机使用者的操作，但对于计算机使用者之间的沟通与交流并没有提供任何帮助。

在笔式输入方面，人们发明了比较多的方法来实现手写文字的识别技术(专利号：CN98207402.6,“PDA手写笔及翻页键”；公开号：CN85107060，“写入和传送手写笔迹的点阵方法”)，而这些识别系统仅与文字编辑类软件互动。

美国MicroSoft公司的“画图”程序以及加拿大Egan公司的“TeamBoard交互式电子白板”提供了一种随机书写的方法。但是，“画图”程序是一个专用系统，无法为其它应用程序提供屏幕随机标注；“TeamBoard交互式电子白板”是一块大型的和特殊的电子设备，它通过专门的接口线路与计算机相连，然后将用户在电子白板上所写所画的内容发送到计算机中，并可现场进行修改、存贮或发送；而计算机上的所有软件也可在白板上操作、演示和标注。该方法借助专用外部设备完成书写后，传输到计算机屏幕上再现，使用的外部设备昂贵、复杂，操作不便，无法实现移动办公。

利用计算机进行技术讲座和产品演示、网络环境下用户之间的实时交流、以及远程教育系统中师生之间的问题讨论等，已经越来越多地融入到我们的日常生活和工作之中。目前我们所能够见到的计算机演示系统主要是基于预先制作好的电子文档或者应用程序，为了能够得到听众的关注，讲演者往往需要使用教鞭在投影屏幕前指出当前所讲述的内容，或者利用红色激光笔予以指示。但是这些均需要讲演者一会儿面对听众，一会儿面对投影屏幕，显得非常忙乱。

随着电化教室的普及，以及远程教学系统的发展，计算机及投影设备已经广泛用于教学领域，这些辅助教学环境均存在着与上述情况同样的问题。此外在远程教育系统中，为了让远端的学生看到主讲教师在课堂黑板上的内容，往往需要一个昂贵的电视摄像设备。由于教师面对强烈光照下的摄像环境，对其授课情绪会产生一定的影响；同时，教师需要来回走动，也会不断地影响摄像的角度和内容，从而影响到实际的教学效果。

Internet技术的发展和普及，使得人们逐步习惯于通过互联网进行信息交流，现有技术提供了基于文本、语音和视频的交互手段。在空间分隔的环境下，为了交互双方能够方便地进行交流，人们提出了电子白板技术，但是，电子白板只能够处理自己专有的信息，无法在其它应用程序中建立远程指针和书写信息，交互的效果受到极大地制约。

本发明的目的是为计算机使用者提供在计算机屏幕上随机标注的方法，利用现有的计算机通用设备(如键盘、鼠标、触摸屏手写板等)，直接在计算机屏幕上操作、演示和标注，实现了一种新的交互手段，支持单机或网络应用环境，具有实现简单、操作方便、便于移动办公的特点。

本发明提出的一种计算机屏幕随机标注方法，其特征在于包括以下步骤：

第一步，进行计算机屏幕随机标注的初始化：对于单机环境，加载钩子线程和显示线程，设置支持使用者个性化显示特征参数的缺省值，最后将计算机屏幕随机标注的主线程转入计算机的后台程序；对于网络环境，首先初始化网络服务器，建立监听用户请求的服务线程，然后初始化网络客户端的网络传输线程，客户端与服务器建立连接，连接完成后加载多媒体线程、面向操作系统的钩子线程和显示线程，设置支持使用者个性化显示特征参数的缺省值，最后将客户端的主线程转入计算机的后台程序；

第二步，启动计算机中一个需要标注的应用程序或者文档(如PowerPoint、Word、WPS、Excel、Photoshop、AutoCAD、Browser或者用户自己的应用程序)；

第三步，在计算机屏幕上确定需要标注的区域；

第四步，在标注区域内移动输入装置，同时记录移动轨迹；

第五步，将轨迹按个性化特征在计算机屏幕上显现；

第六步，结束计算机屏幕随机标注。

所说的输入装置可以采用计算机的通用输入装置，例如鼠标、键盘、触摸屏、手写板等。

所说的个性化特征是指标注信息轨迹的宽度、轨迹的颜色，以及消隐时间间隔。

上述方法中的第五步，还包括清除当前计算机屏幕的标注信息；还包括创建空白的白板。

本发明的技术特征是：

1．本发明只需要现有的计算机通用设备，帮助使用者实现计算机屏幕信息的随机标注；

2．支持本发明的应用系统在后台运行，它不影响其它应用程序(如MS Office、IBM Lotus、浏览器软件、图形图像处理软件，或用户定制应用程序)的正常运行，同时监控使用者的操作活动，在使用者需要时，支持使用者实现个性化的信息标注；

3．本发明可随时在计算机屏幕的任何位置标注所需要的文字、符号、曲线、图形信息，上述标注信息可根据使用者的个性化设置以不同颜色、粗细、消隐时间来表现；

4．本发明利用计算机通用设备直接在屏幕上标注，操作简单、直观；

5．本发明还可用于便携式计算机和PDA，适合于移动办公应用；

6．本发明既可用于单机系统，又可用于网络环境下的用户交流。

本发明的优点为：

1、随机标注功能，可以充分展示使用者个性化的风格，增强思想表述的可理解性；

2、在交互过程中，通过随机标注功能可即时表达用户的意见，还可通过改变标注轨迹的粗细和颜色，形象、生动地表达使用者的思想；

3、使用者可在计算机屏幕上即时画图、书写信息或者精确地做出各种标记，使接收方的注意力集中到当前焦点之上；

4、不再需要使用者一会儿面向投影屏幕来指示所讲述的位置，一会儿又要操作计算机。可以使用户直接在计算机屏幕上直接标识，这样就一直面对听众，根据听众的反应，及时调整讲述内容；

5、在远程教育系统中，本发明帮助师生之间更直观地进行问题讨论；

6、为计算机使用者之间和网络用户提供了一种新的交互手段，通过网络环境，组成移动办公系统；

7、使用者可以将随机的标注信息保存起来，用于下一次的信息交流再现或者通过打印机输出；

8、使用者可以在需要的时候，随时打开一个白板，通过书写的方式与他人进行直接交流。

本发明的应用载体在高端是运行于各类通用操作系统(如WINDOWS、UNIX、LINUX)的台式或便携式计算机，在低端是运行于各类嵌入式操作系统(如WINDOWS CE,PalmOS等)的PDA设备。它为计算机使用者提供了一种新的交互手段，适用于任何需要对计算机屏幕随机标注，进行信息沟通与交流的场合，例如产品信息介绍、计算机软件演示、计算机辅助教学、远程教育、网络用户实时交互和电子会议等。

附图简要说明：

图1为本发明在单机环境下的计算机屏幕随机标注的实施例流程图。

图2为本发明在网络环境下的服务器端的实施例流程图。

图3为本发明在网络环境下的客户端的实施例流程图。

实施例一为在单机环境下的计算机屏幕随机标注方法，其流程如图1所示，包括以下步骤：

第一步，单机环境下的计算机屏幕随机标注的初始化：

1)加载钩子线程所需要的动态连接库，使钩子线程处于等待状态；

2)初始化显示线程，使显示线程处于准备好的状态；

3)设置支持使用者的个性化信息显示特征的轨迹宽度、轨迹颜色、消隐时间间隔的缺省值；

4)向操作系统注册计算机屏幕随机标注的热键(以方便用户操作)：

Ctrl+F5：显示计算机屏幕随机标注功能用户主界面；

Ctrl+F6：打开/关闭一个空白的白板空间；

Ctrl+F7：启用计算机屏幕随机标注功能；

Ctrl+F8：暂停计算机屏幕随机标注功能；

Ctrl+F9：清除当前屏幕上的标注信息

5)隐藏计算机屏幕随机标注功能的用户主界面，将计算机屏幕随机标注变为一个处于准备好的后台程序，等待用户操作；

第二步，启动计算机中的PowerPoint程序，导入应用文档，开始使用PowerPoint程序；

第三步，在计算机屏幕上确定需要标注的区域；

第四步，在标注区域内移动触控笔，同时记录触控笔的移动轨迹，具体实现步骤为：

1)使用系统热键Ctrl+F5激活计算机屏幕随机标注功能的主界面，单击“开始”按钮，使钩子线程进入运行状态，在此主界面下，用户还可以设置个性化信息显示特征(轨迹宽度、消隐时间间隔和轨迹颜色)的参数值；或者使用系统热键Ctrl+F7，使钩子线程进入运行状态；

2)在标注区域内移动触控笔，钩子线程捕获用户的操作信息，将用户的操作信息发送给计算机屏幕随机标注功能的主线程，由主线程判断该信息是否为标注信息，如果是标注信息，则由主线程将该信息连同个性化信息显示特征的参数值发送给计算机屏幕随机标注的显示线程；如果不是标注信息，主线程则丢弃该信息；

第五步，显示线程接收到标注信息后，建立一个标注对象，并将标注对象加入到显示队列之中。显示线程定时检查显示队列中的各个标注对象的属性，如果该对象生存的时间已经超过了用户设定的消隐时间间隔，则从计算机屏幕上和显示队列中删除该对象；如果该对象生存的时间小于用户设定的消隐时间间隔，则在计算机屏幕上显现该对象；

第六步，如果用户希望结束计算机屏幕随机标注功能，则可以使用系统热键Ctrl+F5激活计算机屏幕随机标注的主界面，单击“退出系统”按钮，使计算机屏幕随机标注进入结束处理过程：

1)从操作系统卸载钩子线程，释放钩子线程所占用的系统资源；

2)终止显示线程，释放显示线程所占用的系统资源；

3)主线程释放所有本程序所占用的系统资源，终止主线程的运行，使计算机返回到PowerPoint的控制状态或操作系统状态。

本实施例的第五步中还包括以下的实施方法：

1)如果用户希望清除当前计算机屏幕的标注信息，则可以使用系统热键Ctrl+F9，由钩子线程向计算机屏幕随机标注主线程发送一个清除指令，主线程则向显示线程发送清除当前屏幕标注信息的指令，由显示线程将标注信息从计算机屏幕上消除，使计算机屏幕还原为标注前的状态；

2)如果用户需要使用空白的空间进行图文信息即兴交流，则可以使用系统热键Ctrl+F6，就会建立一个空白的白板供用户使用。用户再次使用系统热键Ctrl+F6，就可关闭白板，用户又回到使用白板之前的状态；

3)如果用户希望暂停计算机屏幕随机标注功能，则可以使用系统热键Ctrl+F8，使钩子线程转换到等待状态；

实施例二为在网络环境下的计算机屏幕随机标注方法，其流程如图2和图3所示，其中图2为服务器端流程图，图3为客户端流程图，具体包括以下步骤：

第一步，网络环境下的计算机屏幕随机标注的初始化，具体分为以下步骤：

1)启动网络远程教育服务器，该服务器系统首先从数据库中检索教室信息；然后为各个教室建立监听请求的服务线程，使各个监听线程处于等待请求的状态，等待客户端请求；

2)用户启动网络远程教育客户端，向服务器发出连接请求，同时将用户的账号信息发送给服务器；

3)服务器接收到连接请求后进行连接处理：根据数据库中的信息检查用户账号，如果为合法用户，则向客户端公布教室信息；否则，警告用户应该通过系统的注册功能进行合法登记；

4)客户端如果得到了服务器确认为合法用户后，显示教室信息，由用户选择教室。如果用户是授课教师，则客户端向操作系统注册如下的系统热键：

Ctrl+F5：显示远程教育客户端用户主界面；

Ctrl+F6：打开/关闭一个空白的白板空间；

Ctrl+F7：启用远程教育计算机屏幕随机标注功能；

Ctrl+F8：暂停远程教育计算机屏幕随机标注功能；

Ctrl+F9：清除当前屏幕上的标注信息；

Ctrl+F10：将授课端的计算机屏幕信息发送给本教室所有听课端计算机：

如果用户是学生，则客户端向操作系统注册如下的系统热键：

Ctrl+F5：显示远程教育客户端用户主界面；

Ctrl+F6：打开一个空白的白板空间；

Ctrl+F7：启用远程教育计算机屏幕随机标注功能；

Ctrl+F8：暂停远程教育计算机屏幕随机标注功能；

客户端如果得到了服务器确认为非法用户后，则进行结束处理；

5)客户端启动网络传输线程，与用户所选择的教室的服务线程建立连接；其次，根据客户端计算机硬件的具体配置，启动音频线程和视频线程，以便建立多媒体的授课环境；然后，加载钩子线程所需要的动态连接库，使钩子线程处于等待状态，并初始化显示线程，使显示线程处于准备好的状态；最后，设置支持使用者的个性化信息显示特征轨迹宽度、轨迹颜色、消隐时间间隔的缺省值，并隐藏用户主界面，将远程教育客户端转化为一个处于准备好的后台程序，等待用户操作；

第二步，启动一个AutoCAD程序，具体分为以下步骤：

1)教师启动客户端计算机中的AutoCAD程序，导入设计文档，使用AutoCAD开始授课，多媒体线程自动捕获教师的语音信息和视频信息，通过多媒体线程发送给本教室的所有学生的客户端，学生的客户端将多媒体信息进行回放；

2)教师使用系统热键Ctrl+F10激活授课端的屏幕捕获线程，捕获授课端计算机上的当前屏幕信息并压缩，将压缩后的信息发送给网络传输线程，由网络传输线程将这些信息发送给该教室的服务器线程，由该服务器线程再将这些信息分发给本教室的听课端；

3)听课端的网络传输线程将接收到的信息发送给客户端主线程，由主线程将屏幕信息进行解压缩，然后再发送给显示线程在本地显现，使学生看到授课内容；

第三步，用户(教师/学生)在本地计算机屏幕上确定需要标注的区域；

第四步，在标注区域内移动鼠标，同时记录鼠标的移动轨迹，具体实现步骤为：

1)用户(教师/学生)使用系统热键Ctrl+F5激活远程教育客户端用户主界面，单击“开始”按钮，使钩子线程进入运行状态，在此主界面下，用户还可以设置个性化信息显示特征(轨迹宽度、消隐时间间隔和轨迹颜色)的参数值；或者使用系统热键Ctrl+F7，使钩子线程进入运行状态；

2)在标注区域内移动鼠标，钩子线程捕获用户的操作信息，将用户的操作信息发送给客户端的主线程，由主线程判断该信息是否为标注信息，如果是标注信息，则由主线程将该信息连同个性化信息显示特征的参数值发送给客户端的显示线程；同时，主线程将该信息连同个性化信息显示特征的参数值发送给客户端的网络传输线程，网络传输线程将这些信息发送给该教室的服务器线程，由该服务器线程再将这些信息分发给本教室的其他客户端；如果不是标注信息，客户端的主线程则丢弃该信息；

3)客户端的网络传输线程将接收到的信息发送给客户端主线程，由主线程将这些标注信息再发送给显示线程。

第五步，显示线程接收到标注信息后，建立一个标注对象，并将标注对象加入到显示队列之中。显示线程定时检查显示队列中的各个标注对象的属性，如果该对象生存的时间已经超过了用户设定的消隐时间间隔，则从计算机屏幕上和显示队列中删除该对象；如果该对象生存的时间小于用户设定的消隐时间间隔，则在计算机屏幕上显现该对象，使各客户端同时看到标注信息，达到实时远程教学的目的。

第六步，结束处理，具体实现步骤为：

1)如果教师授课完毕，希望结束本次远程授课，则可以使用系统热键Ctrl+F5激活网络远程教育客户端的主界面，单击“退出系统”按钮，使网络远程教育客户端系统转入结束处理过程：首先，由网络将退出指令发送到各个学生端，使学生端也转入结束处理过程；其次，教师端主线程从操作系统卸载钩子线程，释放钩子线程所占用的系统资源，并终止显示线程，释放显示线程所占用的系统资源；然后教师端主线程向服务器发出退出请求，由服务器在数据库中登记本次授课的基本信息；最后，教师端主线程释放所有本程序所占用的系统资源，终止主线程的运行，使系统返回到AutoCAD的控制状态或者操作系统状态。

2)学生端的主线程接收到教师结束授课的指令后，首先释放钩子线程所占用的系统资源，并终止显示线程，释放显示线程所占用的系统资源；其次，向服务器发出退出教室的请求，由服务器在数据库中记录学生的听课信息；最后，学生端主线程释放所有本程序所占用的系统资源，终止主线程的运行，使系统返回操作系统状态；

3)如果学生希望自行退出远程教育系统，则可以使用系统热键Ctrl+F5激活网络远程教育客户端的主界面，单击“退出系统”按钮，使网络远程教育客户端系统转入结束处理过程：首先释放钩子线程所占用的系统资源，并终止显示线程，释放显示线程所占用的系统资源；其次，向服务器发出退出教室的请求，由服务器在数据库中记录学生的听课信息；最后，学生端主线程释放所有本程序所占用的系统资源，终止主线程的运行，使系统返回操作系统状态。

4)服务器端接收到到教师结束授课的指令后，首先向数据库中登记教学信息，然后释放服务线程所占用的系统资源。

本实施例的第五步中还包括以下的实施方法：

1)如果教师希望清除当前计算机屏幕的标注信息，则可以使用系统热键Ctrl+F9，由钩子线程向教师客户端主线程发送一个清除指令，主线程则通过网络传输线程向该教室的服务器线程发送一个清除屏幕的指令，并向本地的显示线程发送清除当前屏幕标注信息的指令，由显示线程将标注信息从计算机屏幕上消除；服务器线程将该指令发布到本教室的其他所有客户端，其他客户端的网络传输线程将接收到的清除屏幕指令发送给本地的客户端主线程，各个客户端主线程向本地的显示线程发送清除当前屏幕标注信息的指令，由显示线程将标注信息从计算机屏幕上消除。使所有客户端的计算机屏幕还原为标注前的状态；

2)如果用户(教师/学生)需要使用一个空白的空间进行远程讨论时，则可以使用系统热键Ctrl+F6，客户端首先通过网络传输线程向该教室的服务器线程发送一个打开白板的指令，然后，在客户端本地建立一个空白的白板供用户使用；服务器线程将该指令发布到本教室的其他所有客户端，其他客户端的网络传输线程将接收到的打开白板指令发送给本地的客户端主线程，各个客户端主线程在本地打开空白的白板空间；当用户在白板上创建标注信息时，该用户的本地白板线程将标注信息发送给网络传输线程，然后再由本地的显示线程在计算机屏幕上显现出来。由网络传输线程将标注信息发送给本教室的服务器线程，服务器线程将这些信息发布给本教室的其他客户端，其他客户端的网络传输线程接收这些标注信息之后，再发送客户端的主线程，主线程将这些信息发送给显示线程，由显示线程在本地显现远程的标注信息，达到实时交流的目的。白板使用完后，由教师单击“关闭白板”按钮，白板就会关闭，同样，由网络将关闭白板的指令发送到各个学生端，学生端的主线程关闭所打开的白板；

3)如果教师希望暂停计算机屏幕随机标注功能，则可以使用系统热键Ctrl+F8，教师端的主线程则将钩子线程转换到等待状态，同时，由网络将暂停指令发送到各个学生端，学生端的主线程将钩子线程转换到等待状态；

Claims (6)

1、一种计算机屏幕随机标注方法，其特征在于，对于单机环境，包括以下步骤：

1)进行计算机屏幕随机标注的初始化：加载钩子线程和显示线程，设置支持使用者个性化显示特征参数的缺省值，最后将计算机屏幕随机标注的主线程转入计算机的后台程序；

2)启动计算机中一个需要标注的应用程序或者文档；

3)在计算机屏幕上确定需要标注的区域；

4)在标注区域内移动输入装置，同时记录移动轨迹；

5)将轨迹按个性化特征在计算机屏幕上显现；

6)结束计算机屏幕随机标注。

2、一种计算机屏幕随机标注方法，其特征在于，对于网络环境，包括以下步骤：

1)首先初始化网络服务器，建立监听用户请求的服务线程，然后初始化网络客户端的网络传输线程，客户端与服务器建立连接，连接完成后加载多媒体线程、钩子线程和显示线程，设置支持使用者个性化显示特征参数的缺省值，最后将客户端的主线程转入计算机的后台程序；

2)启动计算机中一个需要标注的应用程序或者文档；

3)在计算机屏幕上确定需要标注的区域；

4)在标注区域内移动输入装置，同时记录移动轨迹；

5)将轨迹按个性化特征在计算机屏幕上显现；

6)结束计算机屏幕随机标注。

3、如权利要求1或2所述的计算机屏幕随机标注方法，其特征在于，所说的第1步中个性化特征是指标注信息轨迹的宽度、轨迹的颜色，以及消隐时间间隔。

4、如权利要求1或2所述的计算机屏幕随机标注方法，其特征在于，所说的第4步中的输入装置采用计算机的通用输入装置，例如鼠标、键盘、触摸屏、手写板之一种。

5、如权利要求1或2所述的计算机屏幕随机标注方法，其特征在于，所说的第5步中，还包括清除当前计算机屏幕的标注信息。

6、如权利要求1或2所述的计算机屏幕随机标注方法，其特征在于，所说的第5步中，还包括创建空白的白板。

Images