CN102722375A - 基于x协议的景象记录与回放的实现方法 - Google Patents

基于x协议的景象记录与回放的实现方法 Download PDF

Info

Publication number
CN102722375A
CN102722375A CN201210186941XA CN201210186941A CN102722375A CN 102722375 A CN102722375 A CN 102722375A CN 201210186941X A CN201210186941X A CN 201210186941XA CN 201210186941 A CN201210186941 A CN 201210186941A CN 102722375 A CN102722375 A CN 102722375A
Authority
CN
China
Prior art keywords
graphics
graphics server
playback
data
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210186941XA
Other languages
English (en)
Inventor
杨波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Sichuan Chuanda Zhisheng Software Co Ltd
Wisesoft Co Ltd
Original Assignee
Sichuan University
Sichuan Chuanda Zhisheng Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University, Sichuan Chuanda Zhisheng Software Co Ltd filed Critical Sichuan University
Priority to CN201210186941XA priority Critical patent/CN102722375A/zh
Publication of CN102722375A publication Critical patent/CN102722375A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于X协议的景象记录与回放的实现方法。在图形服务器与图形应用程序之间设图形服务器代理程序,与图形服务器同时在Unix或Linux系统的X Window环境下运行,实现X WINDOW下正常的图形显示功能,同时图形服务器代理程序将接收到的X协议数据打上时标后存储到景象记录数据文件库中,根据图形服务器当前显示状态与接收到的X协议数据定时生成快照数据实现景象记录。在图形服务器与景象记录数据文件库间设景象回放程序,从景象记录数据文件库中获取快照数据和X协议数据包,经处理后发送到图形服务器实现景象的回放。图形服务器和所有图形应用程序均不做任何修改,记录与回放无失真,记录数据量小,可操作性强。

Description

基于X协议的景象记录与回放的实现方法
技术领域
本发明属于计算机应用技术领域,涉及图形图像处理,具体是基于X协议的景象记录与回放的实现方法。
背景技术
在空管自动化系统(ATC,Air Traffic Control)、舰船管理系统(CMS, Combat Management System)等实时、重大使命系统(Real-time,mission-critical system)中,操作席位的画面景象及人机操作(如键盘、鼠标等操作)的记录与回放是非常关键的功能,它能够用于管制指挥工作中的事故调查、分析,及后期训练、功能测试和验证中使用。由于上述系统一般显示分辨率很高,实时性要求高,如何完整记录如此高分辨率图形显示存在较大的技术难题。
现有的处理方法有两种:(1)硬件记录方法;(2)软件图像记录方法。硬件记录方法需采用专用硬件设备进行视频采集、编码、存储,存在对硬件设备性能要求高、价格贵的问题。如空管自动化系统常用的28英寸高分辨率显示器,在2048X2048,24位真彩色情况下,每帧数据量达12M字节,如其记录的帧率达到10帧/秒,数据量将达到960Mbps,则对硬件的带宽通道和实时处理能力要求非常高。采用软件方式记录图像的方法可以用帧间增量方式记录图像的变化,如中国专利CN200610022490.0,给出了一种《与硬件和操作系统平台无关的屏幕景象记录方法》可以记录图像的变化。但是这种方法需不断检测屏幕图像变化,对系统处理能力要求更高,存在记录帧率过低(小于2帧/秒)、记录画面存在花屏、CPU资源占用过多而影响系统正常使用等问题。
发明内容
本发明的目的是针对现有技术的不足,提出一种针对Unix/Linux操作系统下X WINDOW图形用户界面的客户/服务器模式特点,发明了一种通过记录X协议数据包的方式来实现记录显示景象的方法以及从记录的X协议数据中的任意时间段开始准确回放显示景象的方法,用以提高席位景象记录的准确度、景象回放的质量,并减少记录数据量,以满足管制指挥等工作中的事故调查、分析,及后期训练、功能测试和验证的使用要求。
本发明的目的是这样达到的:
景象记录是在Unix/Linux操作系统下,在图形服务器与图形应用程序之间设一个图形服务器代理程序,与图形服务器同时在Unix或Linux系统的X Window环境下运行,图形服务器代理程序作为所有图形应用程序的图形服务器,同时又作为图形服务器的一个图形应用程序;图形服务器代理程序把从图形应用程序接收到的请求命令透明转发到图形服务器,并把从图形服务器接收到的回复命令或错误命令或事件通知透明转发到图形应用程序,实现X WINDOW下正常的图形显示功能;与此同时,图形服务器代理程序将接收到的X协议数据打上时标经压缩处理后存储到景象记录数据文件库中,并不断分析和处理所有接收到的X协议数据,形成图形服务器的内部显示状态快照并按快照产生时间间隔保存到景象记录数据文件库中。
景象回放是在图形服务器与景象记录数据文件库间设一个景象回放程序,相对图形服务器来说,它是一个图形应用程序,相对景象回放程序来说,它是从景象记录数据文件库中获取快照数据和X协议数据包,经处理后发送到图形服务器实现景象的回放。景象回放程序根据选定的回放时间段,从记录的景象记录数据文件库中获取与回放开始时间最接近的快照数据,经分析处理后,将图形服务器的内部显示状态恢复到快照数据描述的状态,然后根据回放时标先后读取景象记录数据文件库中的请求命令数据,经处理变换后,发送到图形服务器实现景象的回放。
景象记录的具体步骤如下:
(1)图形服务器和图形服务器代理程序配置与启动:
a)在UNIX或Linux操作系统中,设置环境变量DISPLAY=:0.0,配置图形服务器代理程序运行在缺省图形服务器0上,即监听6000端口,配置图形服务器运行在图形服务器1上,即监听6001端口,
b)在X WINDOW图形系统启动时,图形服务器先运行,图形服务器代理程序在图形服务器运行后立即运行;
(2)图形应用程序通信链接建立:
a)图形应用程序启动时,将根据系统环境变量DISPLAY=:0.0的配置,首先向图形服务器代理程序发起建立链接请求,
b)图形服务器代理程序在接收到图形应用程序建立链接请求后,向图形服务器建立链接,并转发收到的数据给图形服务器,并等待图形服务器的应答,
c)图形服务器代理程序收到图形服务器的应答后,将应答数据转发给发起建立链接请求的图形应用程序,
d)记录建立链接请求对应的数据,对建立链接成功的情况,更新图形服务器代理程序内部的图形应用程序链接列表;
(3)X协议数据转发:
a)图形服务器代理程序持续接收所有X协议数据,如果是从图形应用程序来的数据,则将数据转发到图形服务器;如果是从图形服务器来的数据,则分析其数据,将其转发给对应的图形应用程序,
b)如果图形服务器代理程序收到链接关闭请求,将链接关闭请求从图形服务器代理程序内部的图形应用程序链接列表中删除;
(4)X协议数据记录:图形服务器代理程序将接收到的X协议数据中的请求命令打上记录时间标志后,顺序记录到景象记录数据文件库中;
(5)图形服务器快照生成与记录:
a)初始快照生成:在X WINDOW图形系统启动时,图形服务器运行后,图形服务器代理程序立即运行,并与图形服务器建立链接,获取图形服务器返回的初始状态信息,包括窗口系统的背景图、字节序定义、位图格式、屏幕信息、窗口信息、颜色模式和深度,生成初始快照并记录到景象记录数据文件库中,
b)快照生成与记录:图形服务器代理程序对接收到的X协议数据进行分析,提取对图形服务器状态生成和更新快照需分析处理的请求命令并更新当前快照数据,并按快照产生时间间隔获取当前窗口系统的背景图形成新的快照数据并记录到景象记录数据文件库中。
景象回放的具体步骤如下:
(1)回放准备:
a)启动回放用的图形服务器和景象回放程序,
b)根据使用者选定的数据文件及回放开始时间,景象回放程序从景象记录数据文件库中获取开始回放时间之前最近的快照数据,并将景象记录数据文件库中记录X协议的数据文件定位到开始回放时间的位置;
(2)快照恢复:
a)建立与回放用图形服务器的链接,
b)根据获取的快照数据,景象回放程序构造对应的X协议请求命令并发送到图形服务器,将图形服务器的状态恢复到快照对应的状态,
c)由于图形服务器中的图形资源具有全系统唯一的标识号且是动态分配的,景象回放程序内部维护与图形服务器一致的状态,并建立“记录数据图形资源标识号与回放图形资源标识号映射表”和“记录数据图形资源段基址与回放图形资源段基址映射表”;
(3)X协议数据解析与回放:
a)景象回放程序从开始回放时间开始,依次从景象记录数据文件库中读取X协议数据,
b)对读取的X协议数据,分析其命令格式,根据“记录数据图形资源标识号与回放图形资源标识号映射表” 和“记录数据图形资源段基址与回放图形资源段基址映射表”的映射关系,替换X协议数据中的图形资源标识号后,按X协议数据的记录时间标志对应的时间间隔发送给图形服务器,以实现景象的回放,
c)对创建图形资源类的请求命令,在发送给图形服务器后,在“记录数据图形资源标识号与回放图形资源标识号映射表”中增加相应映射关系数据,用于后续请求命令的处理,
d)对图形应用程序建立链接请求,在发送给图形服务器后,景象回放程序分析图形服务器对建立链接请求的应答,并更新“记录数据图形资源段基址与回放图形资源段基址映射表”中的图形资源段基址映射关系;
(4)回放控制:在回放过程中,支持开始、暂停、恢复、停止、倍速回放控制,其中,倍速回放时,对第(3)步X协议数据解析与回放的b)步中的时间间隔进行放大或缩小,以实现回放的倍速控制。
本发明具有以下有益效果:
(1)本方法与图形应用程序和图形服务器无关,图形服务器和所有图形应用程序均不做任何修改,就能实现X WINDOW环境下的景象记录与回放;
(2)本方法是一种无损的景象真实记录与回放,其它方法采用按帧率采样方式记录,存在因帧率低而失真的问题;
(3)本方法记录的数据量与屏幕大小及颜色深度等基本无关,仅与图形界面的复杂度和变化频率有关,其记录数据量比图像采集方法小很多;
(4)本方法可从任意时间段开始回放,包括快进、倍速、暂停等操作。
(5)本方法方便快捷,可操作性强,适用性广,具有广阔的推广价值。
附图说明
图1是 X WINDOW示意图。
图2是基于X协议的景象数据记录示意图。
图3是基于X协议的景象数据回放示意图。
图4是X协议数据文件格式示意图。
图5是X协议快照数据文件格式示意图。
具体实施方式
在空管自动化系统等的工作站席位一般采用Unix/Linux操作系统,用X WINDOW作为图形显示系统。X WINDOW图形显示系统采用客户-服务器模式(如图1所示),图形显示系统由独立运行的图形服务器(XSERVER)进程提供,客户端由图形应用程序(XClient)组成。图形应用程序利用X WINDOW图形显示系统提供的图形接口库(XLib)通过X协议(X Protocol)与图形服务器交互,实现图形界面的绘制与交互。
X Window下可运行多个图形服务器,不同图形服务器监听不同的通信协议(TCP/UNIX域套接字等)端口,如采用TCP通信协议,其监听端口为(6000+N),N为图形服务器编号,可以通过运行图形服务器进程的命令行参数或通过系统环境变量$DISPLAY指定,缺省编号为0。
X 协议主要由图形资源定义、命令格式定义以及通信链接建立等部分组成,其具体内容如参考文献Robert W. Scheifler. X WindowSystem Protocol (X Version 11, Release 6). Massachusetts Institute of Technology Laboratory for Computer Science.所示。
图形资源定义包括:WINDOW、PIXMAP、CURSOR、FONT、GCCONTEXT、COLORMAP、ATOM、VISUALID、KEYSYM等,它们均具有全系统唯一的标识号(Identifier),标识号由资源段基址(resource-id-base)和资源顺序号组成,相同图形应用程序创建的资源的标识号的图形资源段基址均相同,用以区分不同图形应用程序。
X 协议的命令格式定义包括4类:
a)Request:请求,由8 bit命令操作代码、16 bit的请求命令数据长度,以及此命令的参数组成。图形应用程序根据显示的需要发送给图形服务器,实现图形界面绘制、资源管理等功能;
b)Reply:回复,图形服务器对收到的Request的命令后处理正确的应答,根据不同的Request的处理结果,图形服务器可回复一条或多条Reply,也可以无Reply;
c)Error:错误,图形服务器对收到的Request的命令后处理出错的应答;
d)Event: 事件,当发生键盘、鼠标、图形重绘等情况时,图形服务器发送给对应图形应用程序的事件通知消息,以实现人机交互与图形及时刷新。
通信链接建立:当图形应用程序启动时,图形应用程序需先与图形服务器建立通信链接,然后发送建立图形绘制初始化命令,待认证通过后,图形服务器将给图形应用程序回复包括图形资源段基址、字节序定义、位图格式、屏幕大小、颜色模式和深度等图形服务器的配置信息,供图形应用程序在后续的图形绘制指令中使用。
 本发明基于X协议,采用与X协议相同的图形资源定义、命令格式定义以及通信链接建立实现景象记录与回放。系统中图形服务器和所有图形应用程序均不做任何修改,即可实现X WINDOW环境下的景象记录与回放,十分方便。
参见附图2。本发明的景象记录方案是设计一个图形服务器代理程序(XSERVER Proxy),并与图形服务器同时在Unix/Linux系统的X Window环境下运行,图形服务器代理程序作为所有图形应用程序的图形服务器,同时又作为图形服务器的一个图形应用程序。图形服务器代理程序把从图形应用程序接收到的请求(Request)透明转发到图形服务器,并把图形服务器接收到的回复/错误/事件(Reply/Error/Event)透明转发到图形应用程序,实现X WINDOW下正常的图形显示功能。与此同时,图形服务器代理程序将接收到的X协议数据打上时标经压缩处理后存储到景象记录数据文件库中,并不断分析和处理所有接收到的X协议数据,定期形成图形服务器的内部显示状态快照数据(Snapshot,包括图形服务器的内部状态,如窗口位置、大小、字体属性等状态信息)并按快照产生时间间隔将快照数据保存到景象记录数据文件库中。本方法的关键和难点是根据连续的X协议数据形成图形服务器的内部显示状态快照数据,用于回放时恢复图形服务器的当时的状态。
参见附图3。本发明的景象回放方案是设计一个景象回放程序(XReplay),相对图形服务器来说,它是一个图形应用程序,对景象回放程序来说,它是从景象记录数据文件库中获取快照数据和X协议数据包,经处理后发送到图形服务器实现记录的景象回放。景象回放程序根据选定的回放时间段,从景象记录数据文件库中获取与回放开始时间最接近的快照数据,经分析处理后,将图形服务器(XSERVER)的内部显示状态恢复到该快照数据描述的状态,然后根据回放时标先后读取景象记录数据文件库中的请求(Request)命令数据,经处理变换后,发送到图形服务器实现景象回放。本方法的关键是根据快照数据在图形服务器上恢复显示状态,以及对记录的X协议数据包中涉及资源标识号、时标等的变换处理。
实施X协议景象记录详细步骤如下:
1. 图形服务器和图形服务器代理程序配置与启动:
a)在UNIX或Linux操作系统中,设置环境变量DISPLAY=:0.0,配置图形服务器代理程序运行在缺省图形服务器0上,即监听6000端口,配置图形服务器运行在图形服务器1上,即监听6001端口,
b)在X WINDOW图形系统启动时,图形服务器先运行,图形服务器代理程序在图形服务器运行后立即运行;
2. 图形应用程序通信链接建立:
a)图形应用程序启动时,将根据系统环境变量DISPLAY=:0.0的配置,首先向图形服务器代理程序发起建立链接请求;
b)图形服务器代理程序在接收到图形应用程序建立链接请求后,向图形服务器建立链接,并转发收到的数据给图形服务器,并等待图形服务器的应答;
c)图形服务器代理程序收到图形服务器的应答后,将应答数据转发给发起建立链接请求的图形应用程序;
d)记录建立链接请求对应的数据,对建立链接成功的情况,更新图形服务器代理程序内部的图形应用程序链接列表。
3. X协议数据转发:
a)图形服务器代理程序持续接收所有X协议数据,如果是从图形应用程序来的数据,则将数据转发到图形服务器;如果是从图形服务器来的数据,则分析其数据,将其转发给对应的图形应用程序,
b)如果图形服务器代理程序收到链接关闭请求,将链接关闭请求从图形服务器代理程序内部的图形应用程序链接列表中删除;
4. X协议数据记录:图形服务器代理程序将接收到的X协议数据中的请求命令打上记录时间标志后,顺序记录到景象记录数据文件库中;
5. 图形服务器快照生成与记录:
a)初始快照生成:在X WINDOW图形系统启动时,图形服务器运行后,图形服务器代理程序立即运行,并与图形服务器建立链接,获取图形服务器返回的初始状态信息,包括窗口系统的背景图、字节序定义、位图格式、屏幕信息、窗口信息、颜色模式和深度,生成初始快照并记录到景象记录数据文件库中,
b)快照数据生成与记录:图形服务器代理程序对接收到的X协议数据进行分析,提取对图形服务器状态生成和更新快照需分析处理的请求命令并更新当前快照数据,并按快照产生时间间隔获取当前窗口系统的背景图形成新的快照数据并记录到景象记录数据文件库中。
快照产生时间间隔是定为15分钟,可以根据需要自行设定。
景象回放的具体步骤如下:
1.回放准备:
a)启动回放用的图形服务器和景象回放程序,
b)根据使用者选定的数据文件及回放开始时间,景象回放程序从景象记录数据文件库中获取开始回放时间之前最近的快照数据,并将景象记录数据文件库中记录X协议的数据文件定位到开始回放时间的位置;
2.快照恢复:
a)建立与回放用图形服务器的链接,
b)根据获取的快照数据,景象回放程序构造对应的X协议请求命令并发送到图形服务器,将图形服务器的状态恢复到快照对应的状态,
c)由于图形服务器中的图形资源具有全系统唯一的标识号且是动态分配的,景象回放程序内部维护与图形服务器一致的状态,并建立“记录数据图形资源标识号与回放图形资源标识号映射表”和“记录数据图形资源段基址与回放图形资源段基址映射表”;
3. X协议数据解析与回放:
a)景象回放程序从开始回放时间开始,依次从景象记录数据文件库中读取X协议数据,
b)对读取的X协议数据,分析其命令格式,根据“记录数据图形资源标识号与回放图形资源标识号映射表” 和“记录数据图形资源段基址与回放图形资源段基址映射表”的映射关系,替换X协议数据中的图形资源标识号后,按X协议数据的记录时间标志对应的时间间隔发送给图形服务器,以实现景象的回放,
c)对创建图形资源类的请求命令,在发送给图形服务器后,在“记录数据图形资源标识号与回放图形资源标识号映射表”中增加相应映射关系数据,用于后续请求命令的处理,
d)对图形应用程序建立链接请求(对应图形应用程序启动运行),在发送给图形服务器后,景象回放程序分析图形服务器对建立链接请求的应答,并更新“记录数据图形资源段基址与回放图形资源段基址映射表”中的图形资源段基址映射关系;
4. 回放控制:在回放过程中,支持开始、暂停、恢复、停止、倍速回放控制,其中,倍速回放时,对景象回放的具体步骤第(3)步X协议数据解析与回放的b)步中的时间间隔进行放大或缩小,以实现回放的倍速控制。
相关数据结构定义
(1)景象记录数据文件库中文件组成及文件格式:
参见附图4、图5。景象记录数据文件库中的数据文件由多个X协议数据文件和X协议快照数据文件组成。 X协议数据文件名按“主机名_年月日时分秒.xproto”命名,“年月日时分秒”为X协议数据文件的开始记录时间。X协议快照数据文件名按“主机名_年月日时分秒.snapshot”命名,一个文件存储一个快照数据,“年月日时分秒”为该快照数据生成的时间。图4为X协议数据文件格式示意图,图5为X协议快照数据文件格式示意图。
(2)快照数据格式主要数据项如表1 X协议快照数据项:
表1
Figure BDA0000174095201
Figure BDA0000174095202
(3)生成快照需处理X协议命令列表如表2
在本方法中,所有通信链接建立命令和X协议中的120个请求命令(Request)在记录与回放过程中均需处理,表2是生成快照需处理的X协议表,表2中的命令是生成和更新快照需分析处理的请求命令列表。
表2
Figure BDA0000174095204

Claims (5)

1.一种基于X协议的景象记录与回放的实现方法,其特征在于:
景象记录是在Unix/Linux操作系统下,在图形服务器与图形应用程序之间设一个图形服务器代理程序,与图形服务器同时在Unix或Linux系统的X Window环境下运行,图形服务器代理程序作为所有图形应用程序的图形服务器,同时又作为图形服务器的一个图形应用程序;图形服务器代理程序把从图形应用程序接收到的请求命令透明转发到图形服务器,并把从图形服务器接收到的回复命令或错误命令或事件通知透明转发到图形应用程序,实现X WINDOW下正常的图形显示功能;与此同时,图形服务器代理程序将接收到的X协议数据打上时标经压缩处理后存储到景象记录数据文件库中,并不断分析和处理所有接收到的X协议数据,形成图形服务器的内部显示状态快照并按快照产生时间间隔保存到景象记录数据文件库中;
景象回放是在图形服务器与景象记录数据文件库间设一个景象回放程序,相对图形服务器来说,它是一个图形应用程序,相对景象回放程序来说,它是从景象记录数据文件库中获取快照数据和X协议数据包,经处理后发送到图形服务器实现景象的回放;景象回放程序根据选定的回放时间段,从记录的景象记录数据文件库中获取与回放开始时间最接近的快照数据,经分析处理后,将图形服务器的内部显示状态恢复到快照数据描述的状态,然后根据回放时标先后读取景象记录数据文件库中的请求命令数据,经处理变换后,发送到图形服务器实现景象的回放。
2.如权利要求1所述的实现方法,其特征在于:景象记录的具体步骤如下:
(1)图形服务器和图形服务器代理程序配置与启动:
a)在UNIX或Linux操作系统中,设置环境变量DISPLAY=:0.0,配置图形服务器代理程序运行在缺省图形服务器0上,即监听6000端口,配置图形服务器运行在图形服务器1上,即监听6001端口,
b)在X WINDOW图形系统启动时,图形服务器先运行,图形服务器代理程序在图形服务器运行后立即运行;
(2)图形应用程序通信链接建立:
a)图形应用程序启动时,将根据系统环境变量DISPLAY=:0.0的配置,首先向图形服务器代理程序发起建立链接请求,
b)图形服务器代理程序在接收到图形应用程序建立链接请求后,向图形服务器建立链接,并转发收到的数据给图形服务器,并等待图形服务器的应答,
c)图形服务器代理程序收到图形服务器的应答后,将应答数据转发给发起建立链接请求的图形应用程序,
d)记录建立链接请求对应的数据,对建立链接成功的情况,更新图形服务器代理程序内部的图形应用程序链接列表;
(3)X协议数据转发:
a)图形服务器代理程序持续接收所有X协议数据,如果是从图形应用程序来的数据,则将数据转发到图形服务器;如果是从图形服务器来的数据,则分析其数据,将其转发给对应的图形应用程序,
b)如果图形服务器代理程序收到链接关闭请求,将链接关闭请求从图形服务器代理程序内部的图形应用程序链接列表中删除;
(4)X协议数据记录:图形服务器代理程序将接收到的X协议数据中的请求命令打上记录时间标志后,顺序记录到景象记录数据文件库中;
(5)图形服务器快照生成与记录:
a)初始快照生成:在X WINDOW图形系统启动时,图形服务器运行后,图形服务器代理程序立即运行,并与图形服务器建立链接,获取图形服务器返回的初始状态信息,包括窗口系统的背景图、字节序定义、位图格式、屏幕信息、窗口信息、颜色模式和深度,生成初始快照并记录到景象记录数据文件库中,
b)快照生成与记录:图形服务器代理程序对接收到的X协议数据进行分析,提取对图形服务器状态生成和更新快照需分析处理的请求命令并更新当前快照数据,并按快照产生时间间隔获取当前窗口系统的背景图形成新的快照数据并记录到景象记录数据文件库中。
3.如权利要求1所述的实现方法,其特征在于:景象回放的具体步骤如下:
(1)回放准备:
a)启动回放用的图形服务器和景象回放程序,
b)根据使用者选定的数据文件及回放开始时间,景象回放程序从景象记录数据文件库中获取开始回放时间之前最近的快照数据,并将景象记录数据文件库中记录X协议的数据文件定位到开始回放时间的位置;
(2)快照恢复:
a)建立与回放用图形服务器的链接,
b)根据获取的快照数据,景象回放程序构造对应的X协议请求命令并发送到图形服务器,将图形服务器的状态恢复到快照对应的状态,
c)由于图形服务器中的图形资源具有全系统唯一的标识号且是动态分配的,景象回放程序内部维护与图形服务器一致的状态,并建立“记录数据图形资源标识号与回放图形资源标识号映射表”和“记录数据图形资源段基址与回放图形资源段基址映射表”;
(3)X协议数据解析与回放:
a)景象回放程序从开始回放时间开始,依次从景象记录数据文件库中读取X协议数据,
b)对读取的X协议数据,分析其命令格式,根据“记录数据图形资源标识号与回放图形资源标识号映射表” 和“记录数据图形资源段基址与回放图形资源段基址映射表”的映射关系,替换X协议数据中的图形资源标识号后,按X协议数据的记录时间标志对应的时间间隔发送给图形服务器,以实现景象的回放,
c)对创建图形资源类的请求命令,在发送给图形服务器后,在“记录数据图形资源标识号与回放图形资源标识号映射表”中增加相应映射关系数据,用于后续请求命令的处理,
d)对图形应用程序建立链接请求,在发送给图形服务器后,景象回放程序分析图形服务器对建立链接请求的应答,并更新“记录数据图形资源段基址与回放图形资源段基址映射表”中的图形资源段基址映射关系;
(4)回放控制:在回放过程中,支持开始、暂停、恢复、停止、倍速回放控制,其中,倍速回放时,对第(3)步X协议数据解析与回放的b)步中的时间间隔进行放大或缩小,以实现回放的倍速控制。
4.如权利要求1所述的实现方法,其特征在于:景象记录数据文件库中的数据文件由多个X协议数据文件和X协议快照数据文件组成,X协议数据文件命名:“主机名_年月日时分秒.xproto”,“年月日时分秒”为X协议数据文件的开始记录时间,X协议快照数据文件命名:“主机名_年月日时分秒.snapshot”,一个文件存储一个快照数据,“年月日时分秒”为快照数据生成的时间。
5.如权利要求2所述的实现方法,其特征在于:所述快照产生时间间隔定为15分钟。
CN201210186941XA 2012-06-08 2012-06-08 基于x协议的景象记录与回放的实现方法 Pending CN102722375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210186941XA CN102722375A (zh) 2012-06-08 2012-06-08 基于x协议的景象记录与回放的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210186941XA CN102722375A (zh) 2012-06-08 2012-06-08 基于x协议的景象记录与回放的实现方法

Publications (1)

Publication Number Publication Date
CN102722375A true CN102722375A (zh) 2012-10-10

Family

ID=46948155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210186941XA Pending CN102722375A (zh) 2012-06-08 2012-06-08 基于x协议的景象记录与回放的实现方法

Country Status (1)

Country Link
CN (1) CN102722375A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997385A (zh) * 2014-05-23 2014-08-20 北京中和卓远科技有限公司 一种数据回放模拟方法及系统
CN104765843A (zh) * 2015-04-16 2015-07-08 国家电网公司 一种用于电力实时监控系统的图形界面控制方法
CN114390355A (zh) * 2021-12-10 2022-04-22 阿里巴巴(中国)有限公司 协议数据的回放方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050268112A1 (en) * 2004-05-28 2005-12-01 Microsoft Corporation Managing spyware and unwanted software through auto-start extensibility points
US20060294125A1 (en) * 2005-06-25 2006-12-28 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
CN101964798A (zh) * 2010-10-15 2011-02-02 德讯科技股份有限公司 基于远程桌面协议的多图形协议统一代理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050268112A1 (en) * 2004-05-28 2005-12-01 Microsoft Corporation Managing spyware and unwanted software through auto-start extensibility points
US20060294125A1 (en) * 2005-06-25 2006-12-28 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
CN101964798A (zh) * 2010-10-15 2011-02-02 德讯科技股份有限公司 基于远程桌面协议的多图形协议统一代理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周笑庭 等: "基于X窗口系统的操作回放模型研究", 《中国民航飞行学院学报》, vol. 14, no. 2, 31 May 2003 (2003-05-31) *
张五二 等: "记录回放在空管系统中的一种实现", 《中国民航飞行学院学报》, vol. 16, no. 3, 30 April 2005 (2005-04-30) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997385A (zh) * 2014-05-23 2014-08-20 北京中和卓远科技有限公司 一种数据回放模拟方法及系统
CN103997385B (zh) * 2014-05-23 2017-05-03 北京中和卓远科技有限公司 一种数据回放模拟方法及系统
CN104765843A (zh) * 2015-04-16 2015-07-08 国家电网公司 一种用于电力实时监控系统的图形界面控制方法
CN104765843B (zh) * 2015-04-16 2018-11-09 国家电网公司 一种用于电力实时监控系统的图形界面控制方法
CN114390355A (zh) * 2021-12-10 2022-04-22 阿里巴巴(中国)有限公司 协议数据的回放方法及电子设备

Similar Documents

Publication Publication Date Title
RU2439670C2 (ru) Система и способ для осуществления управления удаленными компьютерами
JP7101780B2 (ja) App遠隔制御方法及び関連するデバイス
WO2017063287A1 (zh) 一种网络教学录播方法及系统
CN110297550B (zh) 一种标注显示方法、装置、投屏设备、终端和存储介质
CN104823186B (zh) 经由网络连接的至少两个终端之间的远程呈现的方法
US20200117488A1 (en) Capturing and processing interactions with a user interface of a native application
CN101739450B (zh) 对视频中出现的信息进行检索的方法及系统
JP5476326B2 (ja) ウェブ操作記録・再現方法および装置
CN103391307A (zh) 离线数据的离线透传和显示方法、装置及系统
US10776570B2 (en) Supporting digital ink in markup language documents
CN106970720A (zh) 一种虚拟仿真器及单机多鼠标独立并行操控方法
CN102722375A (zh) 基于x协议的景象记录与回放的实现方法
CN105706038A (zh) 具有自动内容分类的两步内容选择
CN109298806A (zh) 一种基于对象识别的远程快速界面交互方法及装置
CN105723314A (zh) 两步内容选择
CN101334990B (zh) 信息显示设备和信息显示方法
US20210409809A1 (en) Data processing method and device, storage medium, electronic device
CN105302576B (zh) 一种基于app更新的用户指南生成方法及系统
CN114911402B (zh) 远程应用和本地系统间的拖拽交互方法及系统
CN113867580B (zh) 窗口内指针的显示控制方法及装置、设备、存储介质
US20180288131A1 (en) Method, Computer Program and System for Transmitting Data in Order to Produce an Interactive Image
JP2006018760A (ja) 画像共有システム及びプログラム
CN113835816A (zh) 一种虚拟机桌面显示方法、装置、设备及可读存储介质
CN103473226A (zh) 更新网页内容的方法和装置
CN105549920A (zh) 一种基于Flex的客户端大幅地图打印方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121010