CN103209204A - 一种用于医学影像教学系统的计算机屏幕远程控制方法 - Google Patents

Abstract

本发明涉及一种用于医学影像教学系统的计算机屏幕远程控制方法，其屏幕广播系统由发送端和接收端两部分组成。发送端将要传送的屏幕图像，先进行网格化区域分割，再进行屏幕数据采集；通过校验算法筛选出数据内容发生变化的网格；采用多线程技术，使用UDP协议对筛选出的数据进行网络广播传输；接收端在被发送端激活之前，在指定端口侦听发送端发出的控制指令，对接收端计算机进行控制，以保证正确接收和显示屏幕广播的数据，当屏幕广播结束时，自动解锁，恢复计算机之前的状态。该屏幕广播技术有效解决了进行大数据量网络广播传输时占用大量系统资源和网络带宽问题，使教师在教师机上所做的全部操作都能实时地反映到学生机屏幕上。

Description

一种用于医学影像教学系统的计算机屏幕远程控制方法

技术领域：

本发明涉及一种基于Windows操作系统远程访问并控制计算机的方法，属于计算机技术领域。

背景技术：

屏幕广播是指在计算机局域网络环境下，将某一台计算机的屏幕显示内容实时传输和显示到其它计算机的屏幕上，使其它计算机的用户及时观看、了解其操作的情况。屏幕广播回放的实时效果主要跟帧率有关，帧率越高，表明越是流畅。通常帧率低于24帧/秒时，人眼就会感觉到有滞后现象。但是帧率越高，对系统资源以及网络带宽的消耗也越大。目前屏幕广播的实现方法主要有以下几种：

单帧编码方法。这种方法的工作原理是：发射端将采集到的屏幕图像，根据不同的性能要求，将其做颜色转换处理，以此降低图片的数据量，然后采用JPEG(JointPhotographics Expels Group，联合图像专家组制定的一种图像编码标准)等高效编码器进行压缩，最后将图像发送到接收端并进行显示。这种技术实现起来非常简单，而且每一帧图像都可以单独解码。不足之处在于，由于所采集的屏幕图像数据量往往比较大，目前绝大多数显示器支持的分辨率都很高(用户使用的分辨率多数为1024×768)，因此采用这种方法处理压缩图像对CPU的消耗和对网络带宽的占用都非常大。

采用视频编解码器进行编码压缩。目前，实时视频编解码器主要有H.263(由国际电联电信标准部制定的一种视频编码标准)，MPEG4(Moving Picture ExpelsGroup，运动图像专家组制定的一种视频编码标准)以及H.264(由视频联合工作组制定的一种视频编码标准)格式，H_264格式图像的压缩率最高，质量最好，但复杂度也最高，在应用上还属于起步阶段。MPEG4编码方式的编码效率相对较高，复杂度相对较低，而且编码后的图像质量也较好，应用最为广泛。然而，采用这种编码方式压缩的图像具有一定的失真度，对图像质量要求较高的屏幕演示(如CAD制图课程的演示教学)来说，其显示效果不能满足要求，例如：屏幕中的一条直线经过编解码处理后会变得模糊，而且此种编码方式对CPU消耗也很大，码率也比较高。

RFB(Remote Frame Buffer，远程帧缓冲)方法。这种方法主要应用于Windows系统，利用Windows的消息机制，采用HOOK技术将系统上产生变化或者处于活动状态的窗体截获，将截获得到的窗体特性转发给接收方，接收方得到这些参数后进行窗口重建。RFB技术优点很突出，其对CPU的占用相对于单帧编码方法及采用视频编解码器进行压缩的方法要低，码率也较低，适用于Inter-net。目前，远程控制软件主要采用这种技术，著名的软件有Net Meeting、PC Anywhere。然而，这种技术应用于演示教学或视频会议的缺点是，其采集到的每一个数据都与先前数据相关联，因此，在广播开始后进入系统的用户是无法看到当前的广播屏幕.

发明内容：

本发明的目的在于，在医学影像教学中利用屏幕广播技术，学生可以在自己的计算机屏幕上清楚地看到教师的每一步操作过程，教师可以对学生进行手把手的教学，让学生边学、边练，从而取得较好的教学效果。

要实时地将教师机屏幕上的图像信息传送到学生机的屏幕上，就需要在网络上用较短的时间传输大量的数据。为此，必须在保证传输质量的基础上，解决有限的网络带宽与大数据量传输之间的矛盾。

本发明是这样实现的：

该屏幕广播系统由发送端(教师计算机)和接收端(学生计算机)两部分组成。

所述发送端，将要传送的屏幕图像，先进行网格化区域分割，再进行屏幕数据采集；通过校验算法筛选出数据内容发生变化的网格；采用多线程技术，使用UDP协议对筛选出的数据进行网络广播传输；

所述接收端，在被发送端激活之前，处于后台静默监听的状态，在指定端口侦听发送端发出的控制指令；接收端在被激活后，需要对接收端计算机进行一系列的附加控制，以保证正确接收和显示屏幕广播的数据。

所述网格化区域分割有三个步骤：定义单元属性、在几何模型上定义网格属性、划分网格；

所述定义单元属性，是定义单元的形状、大小，单元大小在线段上定义，用线段数目或长度大小来划分，在线段建立后立刻声明，或整个实体模型完成后逐一声明；

所述在几何模型上定义网格属性，是单元大小在线段上定义采用Bottom-Up方式建立模型，采用线段建立后立刻声明；网格化过程也可以逐步进行，即实体模型对象完成到某个阶段就进行网格化，如所得结果满意，则继续建立其他对象并网格化；

所述划分网格，在几何模型上，根据各部位的特点，分别采用自由、映射、扫略等多种网格划分方式，以形成综合效果好的有限元模型；在计算精度、计算时间、建模工作量进行综合考虑；通常，为了提高计算精度和减少计算时间，应首先考虑对适合于扫略和映射网格划分的区域先划分六面体网格，这种网格既可以是线性的(无中节点)、也可以是二次的(有中节点)，如果无合适的区域，应尽量通过切分等多种布尔运算手段来创建合适的区域(尤其是对所关心的区域或部位)；其次，对实在无法再切分而必须用四面体自由网格划分的区域，采用带中节点的六面体单元进行自由分网(自动退化成适合于自由划分形式的单元)，此时，在该区域与已进行扫略或映射网格划分的区域的交界面上，会自动形成金字塔过渡单元(无中节点的六面体单元没有金字塔退化形式)。ANSYS中的这种金字塔过渡单元具有很大的灵活性：如果其邻接的六面体单元无中节点，则在金字塔单元四边形面的四条单元边上，自动取消中间节点，以保证网格的协调性；同时，应采用前面描述的TCHG命令来将退化形式的四面体单元自动转换成非退化的四面体单元，提高求解效率；如果对整个分析模型的计算精度要求不高、或对进行自由网格划分区域的计算精度要求不高，则可在自由网格划分区采用无中节点的六面体单元来分网(自动退化成无中节点的四面体单元)，此时，虽然在六面体单元划分区和四面体单元划分区之间无金字塔过渡单元，但如果六面体单元区的单元也无中节点，则由于都是线性单元，亦可保证单元的协调性。

所述屏幕数据采集的步骤是：首先拷贝屏幕位图，获取Windows使屏幕发生变化部分的相关指令，它与屏幕拷贝一起完整采集被控制端屏幕；

屏幕数据采集与处理按照以下步骤进行：

1)将发送端屏幕区域按网格进行等大小的分割并编码，分别采集每一网格区域的屏幕图像数据并进行保存；

2)将采集到的每一网格当前帧位图数据与先前保存的该网格的前一帧位图数据进行CRC算法的校验比较，筛选出图像数据发生变化的网格，同时将其替换前一帧数据进行保存；

3)对图像发生变化的网格图像位图数据进行JPEG格式的编码压缩，根据不同的画质要求，选择不同的压缩率，压缩率越高，所产生的数据量越小，但画面的失真率会越大；

4)将压缩过的有效网格屏幕图像数据连同网格在屏幕上的位置等信息进行发送。

所述的校验算法是：将当前帧图像分割成的全部图像块与前一帧图像对应位置的图像块进行比较，找出图像发生变化的图像块。

所述接收端在被激活后，需要对接收端计算机进行一系列的附加控制，是指：这些附加控制包括：强制前台全屏显示、对计算机键盘鼠标进行锁定、防止用户关闭接收端进程，除了观看屏幕演示外不能进行其它任何操作；当屏幕广播结束时，再自动解锁，恢复计算机之前的状态。

接收端在被发送端激活之前，处于后台静默监听的状态，仅仅在指定端口侦听发送端发出的控制指令。接收端在被激活后，需要对接收端计算机进行一系列的附加控制，以保证正确接收和显示屏幕广播的数据。这些附加控制主要包括：强制前台全屏显示、对计算机键盘鼠标进行锁定、防止用户关闭接收端进程，使学生除了观看屏幕演示外不能进行其它任何操作，保证教师的演示教学内容准确无误地发送到每一台学生计算机屏幕上。当屏幕广播结束时，再自动解锁，恢复计算机之前的状态，使学生可以继续进行操作。屏幕广播系统有发送端和接收端构成。

本发明之计算机屏幕远程控制方法：将某一台计算机的屏幕显示内容实时传输和显示到其它计算机的屏幕上，使其它计算机的用户能及时观看、了解其操作的情况。该屏幕广播技术有效解决了进行大数据量网络广播传输时，占用大量系统资源和网络带宽问题。其将屏幕广播技术应用到计算机实验室演示教学系统中，充分发挥了计算机实验室的资源优势，使教师在教师机上所做的全部操作都能实时地反映到学生机屏幕上；在上机实验教学中，教师可使用屏幕广播功能进行实时的演示教学，边讲解、边操作给学生看；当屏幕广播结束后，学生又可以及时地进行实践练习，提高了上机实验的教学效果。

附图说明

图1本实施例的系统应用示意图；

图2本实施例的屏幕数据采集流程。

具体实施方式：

下面结合附图叙述一个应用在医学影像教学系统中的实施例，对本发明做进一步说明。

图1显示了本实施例屏幕广播系统的总体结构图

在计算机实验室的演示教学系统中，屏幕广播是实现演示教学功能的主要功能模块。系统设计采用Client/Server模式，由发送端(教师计算机)和接收端(学生计算机)两部分组成，发送端将采集后的数据发送至交换机，交换机将数据转发至接收端。

(1)发送端

发送端除了进行屏幕图像、鼠标形状及坐标的数据采集和发送外，还负责实现对整个屏幕广播过程的控制。在开始进行屏幕广播时，发送端通过发送控制指令激活接收端系统，然后进行数据的采集和发送。在屏幕广播结束时，通过控制指令而通知接收端终止接收，恢复到屏幕广播前的状态。

发送端将要传送的屏幕图像，先进行网格化区域分割，再进行屏幕数据采集；通过校验算法筛选出数据内容发生变化的网格；采用多线程技术，使用UDP协议对筛选出的数据进行网络广播传输。

网格化区域分割有三个步骤：定义单元属性、在几何模型上定义网格属性、划分网格。

定义单元属性，是定义单元的形状、大小，单元大小在线段上定义，用线段数目或长度大小来划分，在线段建立后立刻声明，或整个实体模型完成后逐一声明；

在几何模型上定义网格属性，是单元大小在线段上定义采用Bottom-Up方式建立模型，采用线段建立后立刻声明；网格化过程也可以逐步进行，即实体模型对象完成到某个阶段就进行网格话，如所得结果满意，则继续建立其他对象并网格化；

划分网格，在几何模型上，根据各部位的特点，分别采用自由、映射、扫略等多种网格划分方式，以形成综合效果尽量好的有限元模型。在计算精度、计算时间、建模工作量等方面进行综合考虑。通常，为了提高计算精度和减少计算时间，应首先考虑对适合于扫略和映射网格划分的区域先划分六面体网格，这种网格既可以是线性的(无中节点)、也可以是二次的(有中节点)，如果无合适的区域，应尽量通过切分等多种布尔运算手段来创建合适的区域(尤其是对所关心的区域或部位)。其次，对实在无法再切分而必须用四面体自由网格划分的区域，采用带中节点的六面体单元进行自由分网(自动退化成适合于自由划分形式的单元)，此时，在该区域与已进行扫略或映射网格划分的区域的交界面上，会自动形成金字塔过渡单元(无中节点的六面体单元没有金字塔退化形式)。ANSYS中的这种金字塔过渡单元具有很大的灵活性：如果其邻接的六面体单元无中节点，则在金字塔单元四边形面的四条单元边上，自动取消中间节点，以保证网格的协调性。同时，应采用前面描述的TCHG命令来将退化形式的四面体单元自动转换成非退化的四面体单元，提高求解效率。如果对整个分析模型的计算精度要求不高、或对进行自由网格划分区域的计算精度要求不高，则可在自由网格划分区采用无中节点的六面体单元来分网(自动退化成无中节点的四面体单元)，此时，虽然在六面体单元划分区和四面体单元划分区之间无金字塔过渡单元，但如果六面体单元区的单元也无中节点，则由于都是线性单元，亦可保证单元的协调性

(2)接收端

接收端在被发送端激活之前，处于后台静默监听的状态，仅仅在指定端口侦听发送端发出的控制指令。接收端在被激活后，需要对接收端计算机进行一系列的附加控制，以保证正确接收和显示屏幕广播的数据。这些附加控制主要包括：强制前台全屏显示、对计算机键盘鼠标进行锁定、防止用户关闭接收端进程，使学生除了观看屏幕演示外不能进行其它任何操作，保证教师的演示教学内容准确无误地发送到每一台学生计算机屏幕上。当屏幕广播结束时，再自动解锁，恢复计算机之前的状态，使学生可以继续进行操作。屏幕广播系统有发送端和接收端构成。

图2显示了本实施例的屏幕数据采集流程

屏幕数据采集的目的是为了实现较高的数据传输效率，降低对网络带宽及系统资源的占用。

其步骤是：首先拷贝屏幕位图，获取Windows使屏幕发生变化部分的相关指令，它与屏幕拷贝一起完整采集被控制端屏幕。屏幕数据采集与处理按照以下步骤进行：

1)将发送端屏幕区域按网格进行等大小的分割并编码，分别采集每一网格区域的屏幕图像数据并进行保存；

2)将采集到的每一网格当前帧位图数据与先前保存的该网格的前一帧位图数据进行CRC算法的校验比较，筛选出图像数据发生变化的网格，同时将其替换前一帧数据进行保存；

3)对图像发生变化的网格图像位图数据进行JPEG格式的编码压缩，根据不同的画质要求，选择不同的压缩率，压缩率越高，所产生的数据量越小，但画面的失真率会越大；

4)将压缩过的有效网格屏幕图像数据连同网格在屏幕上的位置等信息进行发送。

在上述步骤中，发送端将所采集的第一帧图像的全部图像块发送给接收端，其中鼠标的坐标信息是进行单独捕获和单独传输的，不受屏幕网格数据是否发生变化所影响。在对数据进行发送之前，还可以对所发送数据附加机房号或频道等信息，用于实现多机房同步屏幕广播功能，由接收端按照不同频道信息进行有选择的数据接收和显示。由于对连续的视频图像的采样率低于24帧/秒时，人眼就会感觉到有滞后、停顿的现象，但是帧率越高对系统资源以及网络带宽的消耗也越大。对于计算机实验室的上机实验演示教学而言，由于所演示的主要内容为教师的操作过程，屏幕图像变化频率较低，选择10帧/秒的帧率进行图像采集就可以达到较好的屏幕广播效果。由于屏幕上的鼠标往往是移动变化最大的部分，因此，在进行屏幕图像采集时，可以采用较高的频率单独对鼠标的形状、坐标位置进行捕获和发送。

数据传输，经过对屏幕图像数据的采集和处理，就需要对筛选出的发生变化的网格数据通过网络进行广播传输到接收端。为了保证数据传输的实时性，在发送端采用多线程技术进行数据的并行高速传输。将每个网格区域对应于一个传输线程，随时将需要发送的数据发送到接收端。当在教师机上启动屏幕广播系统后，系统自动创建多个传输线程用来进行当前计算机屏幕数据的广播，当终止屏幕广播功能后传输线程自动终止，使系统资源可以得以重新利用。屏幕数据和鼠标数据采用不同的UDP端口分别进行传输。数据传输系统采用UDP(User Datagram Proto-col)协议进行实现。屏幕广播功能要求有很高的实时性，需要使用传输效率高的协议。UDP为无连接的用户数据报协议，只是把称作数据报的数据分组从一台主机发送到另一台主机，并不保证该数据报能到达另一端，但传输开销小，引起传输延迟小，另外由于局域网的带宽较大，数据传输的差错率较小，因此，选择采用UDP协议进行数据传输是合适的，而没有采用具有纠错能力的TCP协议。由于数据传输系统只传送图像发生变化的图像块数据，从而大大减少了在网络间传输的数据量，减少了对系统资源和网络带宽的占用，提高了数据传输效率。

数据还原显示，接收端同发送端一样按照同一规律对屏幕进行划分成若干网格区域，通过侦听UDP端口接收发送端发出的数据。在接收到数据后，先对数据进行解码并提取其中的网格位置及坐标等信息，再将解码后的屏幕块数据替换掉当前屏幕上相应网格的图像块，合成完整的屏幕图像。鼠标的形状、坐标等信息则采取单独的UDP端口侦听获取和单独的线程控制。

Claims (5)

1.一种用于医学影像教学系统的计算机屏幕远程控制方法，其特征在于：屏幕广播系统由发送端和接收端两部分组成；

所述发送端，将要传送的屏幕图像，先进行网格化区域分割，再进行屏幕数据采集；通过校验算法筛选出数据内容发生变化的网格；采用多线程技术，使用UDP协议对筛选出的数据进行网络广播传输；

所述接收端，在被发送端激活之前，处于后台静默监听的状态，在指定端口侦听发送端发出的控制指令；接收端在被激活后，需要对接收端计算机进行一系列的附加控制，以保证正确接收和显示屏幕广播的数据。

2.根据权利要求1所述用于医学影像教学系统的计算机屏幕远程控制方法，其特征在于：所述网格化区域分割有三个步骤：定义单元属性、在几何模型上定义网格属性、划分网格；

所述定义单元属性，是定义单元的形状、大小，单元大小在线段上定义，用线段数目或长度大小来划分，在线段建立后立刻声明，或整个实体模型完成后逐一声明；

所述在几何模型上定义网格属性，是单元大小在线段上定义采用Bottom-Up方式建立模型，采用线段建立后立刻声明；网格化过程也可以逐步进行，即实体模型对象完成到某个阶段就进行网格化，如所得结果满意，则继续建立其他对象并网格化；

所述划分网格，在几何模型上，根据各部位的特点，分别采用自由、映射、扫略等多种网格划分方式，以形成综合效果好的有限元模型；在计算精度、计算时间、建模工作量进行综合考虑；通常，为了提高计算精度和减少计算时间，应首先考虑对适合于扫略和映射网格划分的区域先划分六面体网格，这种网格既可以是线性的、也可以是二次的，如果无合适的区域，应尽量通过多种布尔运算手段来创建合适的区域；其次，对实在无法再切分而必须用四面体自由网格划分的区域，采用带中节点的六面体单元进行自由分网，此时，在该区域与已进行扫略或映射网格划分的区域的交界面上，会自动形成金字塔过渡单元；ANSYS中的这种金字塔过渡单元，如果其邻接的六面体单元无中节点，则在金字塔单元四边形面的四条单元边上，自动取消中间节点，以保证网格的协调性；同时，应采用前面描述的TCHG命令来将退化形式的四面体单元自动转换成非退化的四面体单元，提高求解效率；如果对整个分析模型的计算精度要求不高、或对进行自由网格划分区域的计算精度要求不高，则可在自由网格划分区采用无中节点的六面体单元来分网，此时，虽然在六面体单元划分区和四面体单元划分区之间无金字塔过渡单元，但如果六面体单元区的单元也无中节点，则由于都是线性单元，亦可保证单元的协调性。

3.根据权利要求1所述用于医学影像教学系统的计算机屏幕远程控制方法，其特征在于：所述屏幕数据采集的步骤是：首先拷贝屏幕位图，获取Windows使屏幕发生变化部分的相关指令，它与屏幕拷贝一起完整采集被控制端屏幕；

屏幕数据采集与处理按照以下步骤进行：

1)将发送端屏幕区域按网格进行等大小的分割并编码，分别采集每一网格区域的屏幕图像数据并进行保存；

2)将采集到的每一网格当前帧位图数据与先前保存的该网格的前一帧位图数据进行CRC算法的校验比较，筛选出图像数据发生变化的网格，同时将其替换前一帧数据进行保存；

3)对图像发生变化的网格图像位图数据进行JPEG格式的编码压缩，根据不同的画质要求，选择不同的压缩率，压缩率越高，所产生的数据量越小，但画面的失真率会越大；

4)将压缩过的有效网格屏幕图像数据连同网格在屏幕上的位置等信息进行发送。

4.根据权利要求1所述用于医学影像教学系统的计算机屏幕远程控制方法，其特征在于：所述的校验算法是：将当前帧图像分割成的全部图像块与前一帧图像对应位置的图像块进行比较，找出图像发生变化的图像块。

5.根据权利要求1所述用于医学影像教学系统的计算机屏幕远程控制方法，其特征在于，所述接收端在被激活后，需要对接收端计算机进行一系列的附加控制，这些附加控制包括：强制前台全屏显示、对计算机键盘鼠标进行锁定、防止用户关闭接收端进程，除了观看屏幕演示外不能进行其它任何操作；当屏幕广播结束时，再自动解锁，恢复计算机之前的状态。