CN102984233B - 用于在远程协助中进行数据传输的装置和方法 - Google Patents
用于在远程协助中进行数据传输的装置和方法 Download PDFInfo
- Publication number
- CN102984233B CN102984233B CN201210469855.XA CN201210469855A CN102984233B CN 102984233 B CN102984233 B CN 102984233B CN 201210469855 A CN201210469855 A CN 201210469855A CN 102984233 B CN102984233 B CN 102984233B
- Authority
- CN
- China
- Prior art keywords
- image
- main control
- control end
- target image
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012546 transfer Methods 0.000 title claims abstract description 23
- 230000008859 change Effects 0.000 claims abstract description 49
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 125000004122 cyclic group Chemical group 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了用于在远程协助中进行数据传输的装置和方法,其中,所述方法包括:在远程协助被控端获取当前时刻的第一目标图像,生成唯一性标识码,并保存对应关系;将唯一性标识码发送到远程协助主控端以便显示,并在主控端缓存对应关系;当在被控端获取到下一时刻的第二目标图像时,判断是否相同;如果相同,则将唯一性标识码发送到主控端;其中,生成唯一性标识码之前还包括:通过对图像变化频率的监控,判断当前时刻获取到的目标图像是否需要在主控端进行缓存,如果是,则触发执行生成唯一性标识码,并在被控端保存对应关系的操作。通过本发明,大大降低了对传输带宽的占用,有利于远程协助操作更加顺利流畅的进行。
Description
技术领域
本发明涉及远程协助技术领域,具体涉及用于在远程协助中进行数据传输的装置和方法。
背景技术
随着计算机技术的不断发展,电脑等计算机设备几乎成了人们生活中必备的工具。但是,对于很多用户而言,对电脑的了解仅限于应用层面,却不懂对电脑进行维护,一旦电脑出现故障,更加束手无策。为此,一些服务商为用户提供了远程协助服务,用户只要在自己的电脑上安装服务商提供的远程协助客户端,就可以与服务商的技师进行沟通,技师可以帮助普通电脑用户解决软件和系统问题,例如系统优化、系统补丁升级、驱动安装、恶意插件清理、病毒/木马查杀、系统基础设置、软件下载、软件安装、网络故障调试等等。
在实现过程中,用户可以通过远程协助客户端与技师建立一个会话(session),然后由技师接管对用户电脑的操作,此时,用户侧的远程协助客户端会将用户电脑的屏幕状态(例如桌面使用的壁纸、桌面上图标、当前打开了哪些窗口等等)截图后发送给技师,这样就可以在技师侧的电脑上显示出用户电脑的屏幕状态;技师在通过鼠标或键盘等执行远程协助操作时,技师侧的远程协助客户端会将具体的操作生成对应的指令,并通过网络将指令发送到用户侧的电脑,用户侧的电脑可以解析并执行相应的指令;在执行指令的过程中,用户侧电脑的屏幕状态又会发生变化(例如新打开了某窗口、或关闭了某窗口、或点击了开始菜单等等),因此,用户侧的远程协助客户端需要不断地将用户电脑的屏幕状态抓图后发送给技师,技师执行新的操作之后,又会将对应的指令发送给用户侧,以此循环往复。
可见,现有技术在实现远程协助的过程中,需要不断地将用户侧的屏幕状态以图像的方式发送给技师侧,这就会占用较大的传输带宽,在传输带宽有限的情况下,可能会使得技师侧的图像数据无法及时发送到技师侧,或者使得远程协助的过程显得不够流畅等问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的用于在远程协助中进行数据传输的装置和方法。
依据本发明的一个方面,提供了一种用于在远程协助中进行数据传输的装置,包括:
记录单元,适于在远程协助被控端获取当前时刻的第一目标图像,为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系;
第一发送单元,适于将所述第一目标图像及其对应的唯一性标识码发送到远程协助主控端,以便在所述主控端显示所述第一目标图像,并在所述主控端缓存所述第一目标图像与其唯一性标识码之间的对应关系;
比对单元,适于当在所述被控端获取到下一时刻的第二目标图像时,判断所述第二目标图像与所述第一目标图像是否相同;
第二发送单元,适于如果所述第二目标图像与所述第一目标图像相同,则将所述第一目标图像对应的唯一性标识码发送到所述主控端,以便所述主控端根据所述唯一性标识码在缓存的信息中查找到所述第一目标图像,并对所述第一目标图像进行显示;
判断单元,适于通过对被控端图像变化频率的监控,判断当前时刻获取到的目标图像是否需要在主控端进行缓存,如果是,则通知所述记录单元执行所述为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系的操作。
可选地,还包括:
校验码生成单元,适于在远程协助被控端获取到当前时刻的第一目标图像时,通过循环冗余校验计算的方式,为所述第一目标图像生成第一校验码;
所述记录单元具体适于:
在所述被控端保存所述第一校验码与所述唯一性识别码之间的对应关系;
所述比对单元具体适于:
通过循环冗余校验计算的方式,为所述第二目标图像生成第二校验码,将所述第二校验码与所述第一校验码进行异或运算,如果运算结果为零,则所述第二目标图像与所述第一目标图像相同。
可选地,所述判断单元包括:第一监控子单元,适于根据预设的图像变化频率阈值对被控端中图像的变化频率进行监控,当存在一个或多个图像的变化频率低于所述预设阈值时,确定当前时刻获取到的目标图像需要在主控端进行缓存,通知所述记录单元执行所述为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系的操作。
可选地,所述判断单元包括:
第二监控子单元,适于预设时间间隔,当存在一个或多个目标图像超过所述时间间隔没有发生变化时,确定当前时刻获取到的目标图像需要在主控端进行缓存,通知所述记录单元执行所述为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系的操作。
可选地,还包括:
内存信息获取单元,适于获取主控端用于缓存目标图像的内存空间的大小;
监控单元,适于对主控端已经累计缓存的图像大小进行监控;
释放单元,适于当主控端已经累计缓存的图像大小达到所述内存空间的大小时,选择待释放的目标图像,向所述主控端发送释放指令,并将所述待释放的目标图像的唯一性标识码发送到所述主控端,以便所述主控端释放该标识码对应的目标图像。
可选地,所述释放单元具体适于:
根据目标图像被缓存的时间,和/或目标图像被使用的次数,计算被缓存的各个目标图像的权重,将权重符合预置条件的目标图像确定为待释放的目标图像。
可选地,所述目标图像包括以下一种或几种的组合:
桌面背景、程序界面和/或图标元素。
根据本发明的另一方面,提供了一种用于在远程协助中进行数据传输的方法,包括:
在远程协助被控端获取当前时刻的第一目标图像,为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系;
将所述第一目标图像及其对应的唯一性标识码发送到远程协助主控端,以便在所述主控端显示所述第一目标图像,并在所述主控端缓存所述第一目标图像与其唯一性标识码之间的对应关系;
当在所述被控端获取到下一时刻的第二目标图像时,判断所述第二目标图像与所述第一目标图像是否相同;
如果所述第二目标图像与所述第一目标图像相同,则将所述第一目标图像对应的唯一性标识码发送到所述主控端,以便所述主控端根据所述唯一性标识码在缓存的信息中查找到所述第一目标图像,并对所述第一目标图像进行显示;
为所述第一目标图像生成唯一性标识码之前还包括:
通过对被控端图像变化频率的监控,判断当前时刻获取到的目标图像是否需要在主控端进行缓存,如果是,则触发执行所述为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系的操作。
可选地,在远程协助被控端获取到当前时刻的第一目标图像时,还包括:
通过循环冗余校验计算的方式,为所述第一目标图像生成第一校验码;
所述在所述被控端保存所述第一目标图像与所述唯一性识别码之间的对应关系包括:
在所述被控端保存所述第一校验码与所述唯一性识别码之间的对应关系;
所述将所述第二目标图像与所述第一目标图像进行比对包括:
通过循环冗余校验计算的方式,为所述第二目标图像生成第二校验码,将所述第二校验码与所述第一校验码进行异或运算,如果运算结果为零,则所述第二目标图像与所述第一目标图像相同。
可选地,所述通过对被控端图像变化频率的监控,判断当前时刻获取到的目标图像是否需要在主控端进行缓存,包括:根据预设的图像变化频率阈值对被控端中图像的变化频率进行监控,当存在一个或多个图像的变化频率低于所述预设阈值时,确定当前时刻获取到的目标图像需要在主控端进行缓存。
可选地,所述通过对被控端图像变化频率的监控,判断当前时刻获取到的目标图像是否需要在主控端进行缓存,包括:
预设时间间隔,当存在一个或多个目标图像超过所述时间间隔没有发生变化时,确定当前时刻获取到的目标图像需要在主控端进行缓存。
可选地,还包括:
获取主控端用于缓存目标图像的内存空间的大小;
对主控端已经累计缓存的图像大小进行监控;
当主控端已经累计缓存的图像大小达到所述内存空间的大小时,选择待释放的目标图像,向所述主控端发送释放指令,并将所述待释放的目标图像的唯一性标识码发送到所述主控端,以便所述主控端释放该标识码对应的目标图像。
可选地,所述选择待释放的目标图像包括:
根据目标图像被缓存的时间,和/或目标图像被使用的次数,计算被缓存的各个目标图像的权重,将权重符合预置条件的目标图像确定为待释放的目标图像。
可选地,所述目标图像包括以下一种或几种的组合:
桌面背景、程序界面和/或图标元素。
根据本发明的用于在远程协助中进行数据传输的装置和方法,可以在主控端对被控端的图像进行缓存,这样,当发现被控端的后续图像与之前缓存过的图像相同时,就可以仅将该缓存过的图像的唯一标识码发送到主控端,而不必再发送具体的图像数据,大大降低了对传输带宽的占用,有利于远程协助操作更加顺利流畅的进行。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的方法的流程图;
图2示出了桌面环境示意图;
图3示出了根据本发明第一实施例的装置的示意图;
图4示出了根据本发明第二实施例的装置的示意图;
图5示出了根据本发明第三实施例的装置的示意图;
图6示出了根据本发明第四实施例的装置的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为便于理解本发明,首先需要说明的是,在远程协助过程中,技师侧相当于是主控端,用户侧相当于是被控端,并且,主控端只是将键盘和鼠标的指令传送给远程的被控端计算机设备,同时被控端计算机设备的屏幕画面通过通信线路回传过来。也就是说,在主控端进行远程协助操作时,不论打开文件,还是上网浏览、下载等实质上都是在远程的被控端计算机中进行的,主控端计算机屏幕上显示的只是被控端计算机屏幕的映像。
其中,主控端程序是运行在帮助解决问题的计算机端,也可以运行在服务器,工作站等通过网络对外提供服务的设备上,主要功能是通过实现显示远程计算机的画面、操作键盘和鼠标的处理、事件的信息发送、画面的刷新等等达到控制远程计算机的目的。
具体可分为:
1)连接操作
可以通过中转端实现与被控端的连接。例如,当被控端连接到中转端后,主控端连接到中转端;然后选择要控制的被控端;输入密码进行双方验证;最终建立主控制与被控端之间的对应。
2)画面显示
建立本地桌面窗口,初始化相关画面信息,当远程被控端计算机的画面信息传送过来后进行显示。
3)事件处理
当对本地的显示桌面窗口进行各种操作(如鼠标操作、键盘输入)时,程序实现对事件消息的捕捉,并根据具体信息组合成信息包发送到远程被控端计算机。
4)更新画面
当本地程序接收到远程被控端计算机传送过来的消息是更新画面时,程序接收需要更新的画面信息内容,根据信息与本地的显示画面进行组合实现画面的部分区域更新操作。
被控端程序是运行在需要解决问题的计算机端,主要功能是通过实现本地画面信息的传送、远程消息事件的模拟处理、画面部分区域更新处理等等达到获取主控端协助目的。具体可分为:
1)连接操作
当需要协助时实现连接到主控端。具体实现时,仍然可以通过中转端进行中转,如,被控端可以首先连接到中转端,等待主控端连接到中转端;然后当主控端选择了此被控端后,要求主控端输入验证密码,最终建立主控制与被控端之间的对应。
2)消息处理
接收从远程主控端对显示桌面窗口进行各种操作(如鼠标操作、键盘输入)的消息,然后根据接收到的具体消息进行本地的模拟与触发。
3)更新区域
当被控端的画面发生的变化时,生成更新区域信息,组合成数据报文发送到主控端要求其进行相应的画面更新显示。
通过以上所述可见,在远程协助的过程中,为了在主控端展现被控端屏幕并跟踪其变化,需要从被控端传输大量的图像到主控端,例如,被控端一般可以在一定的周期下对屏幕进行截图,并将各个截图结果传输到主控端。但是,本发明人在实现本发明的过程中发现,在一些情况下,连续几个时刻获取到的图像可能都是相同,如果将这些图像全都传输到主控端,会造成有些图像其实是重复传输了多次,如果能够避免这种重复传输,则会大大降低对传输带宽的占用。
基于上述考虑,本发明实施例首先提供了一种用于在远程协助中进行数据传输的方法,参见图1,该方法可以包括以下步骤:
S101:在远程协助被控端获取当前时刻的第一目标图像,为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系;
在本发明实施例中,同样可以是按照一定的周期来抓取被控端屏幕的图像,但在抓取到一幅图像之后,并不是直接生成数据报文发送给主控端,而是首先为该图像生成一个唯一性的标识码(例如id等,为便于描述,下面均以id为例进行介绍),用于唯一标识该图像,同时,在被控端可以记录下当前图像的信息与该id之间的对应关系,为后续的处理做好准备。
其中,在被控端记录图像信息的目的是与后续新获取到的图像进行比对,判断是否相同,因此,在记录图像信息与id之间的对应关系时,可以直接用图像的内容数据作为图像信息。当然,图像的内容数据本身占用的空间会比较大,因此,在另一种实施例方式中,也可以对图像进行循环冗余校验(CyclicRedundancyCheck,CRC)计算,得到一个校验码,然后由该校验码作为该图像的信息,记录校验码与id之间的对应关系,这样,后续在进行图像的比对时,可以通过比对图像的校验码来进行。
其中,循环冗余校验CRC是数据通信领域中最常用的一种差错校验码,在进行CRC计算时,被处理的数据(在本发明实施例中对应的就是待记录的图像)可以看作一个二进制多项式t(x),例如,10110101可以看作是2^7+2^5+2^4+2^2+2^0,多项式乘除法运算过程与普通代数多项式的乘除法相同。多项式的加减法运算以2为模,与逻辑异或运算一致。采用CRC校验时,不同的图像采用同一个生成多项式g(x),并且g(x)的首位和最后一位的系数为1。生成CRC校验码的方法可以是:以g(x)去除t(x),得到的余数作为CRC校验码。
在需要记录某图像信息与id之间的对应关系时,就可以通过上述方式计算出该图像的CRC校验码,然后记录下CRC校验码与id之间的对应关系。后续当需要比对其他图像与该图像是否相同时,也可以利用相同的生成多项式计算出其他图像的CRC校验码,然后将两个CRC校验码进行异或运算,以计算的校正结果是否为0为据,判断两个图像是否相同。
需要说明的是,本发明实施例中所述的目标图像是为了体现被控端的桌面环境,参见图2,假设200为被控端的桌面,则桌面环境具体可以包括以下一种或几种的组合:桌面背景201、程序界面202和/或图标元素203。
S102:将所述第一目标图像及其对应的唯一性标识码发送到远程协助主控端,以便在所述主控端显示所述第一目标图像,并在所述主控端缓存所述第一目标图像与其唯一性标识码之间的对应关系;
在被控端保存目标图像信息与id之间的对应关系的同时,就可以将目标图像的内容数据以及id一起发送到主控端,这样,主控端就可以根据接收到的内容数据显示出该目标图像,同时,还可以将该图像的内容数据及其对应的id一起进行缓存,供后续使用。
S103:当在所述被控端获取到下一时刻的第二目标图像时,判断所述第二目标图像与所述第一目标图像是否相同;
由于被控端需要周期性地抓取图像,因此在下次抓取时刻就可以获取一幅新的图像,当然,在本发明实施例中,并不是直接将新抓取到的图像的内容数据发送到主控端,而是首先在被控端将新抓取到的图像与之前抓取到的图像进行比对,判断是否有与该新抓取到的图像相同的图像。其中,在比对两幅图像是否相同时,如步骤S101中所述,如果之前在记录对应关系时,记录的是图像的内容数据,则可以直接将两个图像的内容数据进行比对,如果之前记录对应关系时,记录的是图像的CRC校验码,则可以针对新的图像生成CRC校验码,然后通过异或运算的方式来判断两个图像是否相同。
需要说明的是,在将新抓取到的图像与之前抓取到的图像进行比对时,并不一定是将两个相邻抓取时刻的图像进行比对,例如,t1、t2、t3时刻分别获取到图像1、图像2、图像3,并且都在主控端进行了缓存,则在t4时刻获取到图像4时,可以首先将图像4与图像3进行比对,如果不相同,则还可以与图像2、图像1进行比对,等等。
S104:如果所述第二目标图像与所述第一目标图像相同,则将所述第一目标图像对应的唯一性标识码发送到所述主控端,以便所述主控端根据所述唯一性标识码在缓存的信息中查找到所述第一目标图像,并对所述第一目标图像进行显示。
如果新获取到的某图像与之前已经在主控端缓存过的一个图像相同,则可以只将已经缓存的这个图像的id发送给主控端,而不用再重复发送图像的内容数据,主控端可以根据该id号在缓存的图像中找到对应的图像,然后进行显示。当然,如果新获取到的图像与之前缓存过的图像均不相同,则可以为该新获取到的图像生成id,并将该新获取到的图像的内容数据以及id发送到主控端,在主控端显示该新获取到的图像的同时,还对该新获取到的图像进行缓存,以此类推。
可见,在本发明实施例中,对于远程协助过程中需要传输的图像数据,可以通过在主控端进行缓存的方式,避免相同图像的重复发送,因此,可以大大节省传输带宽,提高远程协助实现过程中的画面流畅度。
需要说明的是,在实际应用中,可能并不是获取到的每幅图像都需要在主控端进行缓存。例如,如果是正在播放视频、flash等,则图像的变化频率会比较高,与后续的图像重复的可能性会比较小,这样就没有必要进行缓存。因此,在本发明的可选实施例中,为了避免执行不必要的缓存操作,还可以进行缓存必要性的判断。具体实现时,可以预设一变化频率阈值,并监控被控端图像的变化频率,如果发现一个或多个图像的变化频率超过该阈值(例如发现连续3帧图像都发生变化),则下一帧图像可以不必在主控端进行缓存,只有当发现一个或多个图像的变化频率低于该阈值时,才对下一帧图像生成id,并在主控端对图像进行缓存,以供后续使用。例如,从开始进行远程协助的初始时刻起,被控端获取到的前三帧图像分别是图像1、图像2、图像3,由于之前还没有图像变化频率的判断依据,因此,都可以直接将这三帧图像发送到主控端,针对这三帧图像,可以要求主控端缓存,也可以不要求缓存;同时,判断这三帧图像是否发生变化,如果这连续三帧图像都发生变化,则证明现在图像的变化频率较高,后续图像与前面图像发生重复的概率较小,因此,当获取到第四帧图像时,就可以直接将其发送到主控端,并且不要求主控端缓存该帧图像;当然,如果发现前三帧图像都没有发生变化,则当获取到第四帧图像之后,则可以为其生成id号以及CRC验证码,记录下两者之间的对应关系,并将图像的内容数据以及id号发送到主控端进行缓存,以此类推。总之,在被控端,可以在发送图像的内容数据或者图像id的过程中,对图像的变化频率进行统计,然后决定下一帧图像是否需要在主控端进行缓存,这样可以在解决带宽占用过大问题的同时,避免进行不必要的图像缓存。
当然,也可以通过其他的方式来判断是否需要在主控端缓存当前图像,例如,在一种实现方式下,也可以预设一时间间隔,按照该时间间隔判断对应时刻抓取到的图像是否发生变化,如果存在一个或多个目标图像超过该时间间隔都没有发生变化,则确定当前时刻获取到的目标图像需要在主控端进行缓存,等等。
在主控端,由于需要对缓存一些图片,因此,可能会出现缓存的图片过多,导致空间不足或者处理速度变慢的情况,为了应对这种情况,在本发明实施例中,可以在被控端获取到主控端用于缓存图像的内存大小,然后对主控端缓存的图像的累计大小进行统计,如果将要达到可用内存大小,则可以选择可以释放的图像,然后向主控端发送释放指令,并携带需要释放的图像的id号,主控端按照释放指令释放掉指定的图像之后,就可以继续缓存新的图像。其中,具体实现时,可以在建立起远程协助连接之后,主控端主动将其用于缓存图像的内存的大小发送给被控端,被控端据此获知主控端的内存情况;或者,也可以在建立起远程协助连接之后,被控端通知主控端提供其可用于缓存图像的内存大小信息,再者,还可以是在缓存了一定数目的图像之后,主控端主动将其可用内存的情况发送给被控端,或者被控端通知主控端上报可用内存的相关信息,等等。主控端为了能够判断主控端已缓存的图像是否将达到可用内存大小,可以在获取到主控端可用于缓存图像的内存大小之后,计算出一个阈值(该阈值小于主控端可用于缓存图像的内存大小,具体的取值可以根据实际的需要来确定),每次要求主控端缓存一帧图像,都可以计算主控端已累计缓存的图像大小,然后与该阈值进行比较,如果超出该阈值,则可以选择图像要求主控端释放。
被控端在选择需要释放的目标图像时,可以有多种选择依据。例如,可以根据图像被缓存的先后顺序进行选择,如,将最早被缓存的图像确定为需要释放的图像等。或者,也可以根据各帧图像的“重要性”来进行选择,所谓的重要性的评判依据可以是图像被使用的次数。如前文所述,在被控端新获取到一帧图像之后,在判断是否与之前已经缓存的图像相同时,可能需要跟多帧图像进行比对,从中选择出与其相同的图像;因此,对于被缓存的某一帧图像而言,可能会与后续获取到的多帧图像都是相同的,这样,这帧图像就会被使用多次,同时证明这帧图像比较重要,后续被使用的概率也比较大。而其他被缓存过的图像,可能没有被用到过,或者使用的次数很少,则可以被确定为可以释放的图像。另外,在实际应用中,还可以综合考虑缓存的时间以及被使用的次数这两方面的因素,综合计算出被缓存的各帧图像的权重,进而确定出可以被释放的图像。例如,可以在被控端为各个被缓存的图像设置一个权重参数,初始状态为0,某帧图像被使用一次就会使权重增加一次,与此同时,权重也会按时间流逝来慢慢减少。如果某图像缓存的时间是最早的并且使用次数为0,则权重就会成为负数,因此,内存空间不够的时候就可能会被选择释放。
需要说明的是,以上所述都是在被控端对主控端的缓存情况进行监控,并在被控端选择待释放的图像,在实际应用中,也可以在主控端对自身的缓存请求进行监控,并同样由主控端选择待释放的图像,具体的方法与前文类似,这里不再详述等等。
与本发明实施例提供的用于在远程协助中进行数据传输的方法相对应,本发明实施例还提供了一种用于在远程协助中进行数据传输的装置,参见图3,该装置可以包括:
记录单元301,适于在远程协助被控端获取当前时刻的第一目标图像,为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系;
第一发送单元302,适于将所述第一目标图像及其对应的唯一性标识码发送到远程协助主控端,以便在所述主控端显示所述第一目标图像,并在所述主控端缓存所述第一目标图像与其唯一性标识码之间的对应关系;
比对单元303,适于当在所述被控端获取到下一时刻的第二目标图像时,判断所述第二目标图像与所述第一目标图像是否相同;
第二发送单元304,适于如果所述第二目标图像与所述第一目标图像相同,则将所述第一目标图像对应的唯一性标识码发送到所述主控端,以便所述主控端根据所述唯一性标识码在缓存的信息中查找到所述第一目标图像,并对所述第一目标图像进行显示。
需要说明的是,在实际应用中,上述用于在远程协助中进行数据传输的装置可以内置在远程协助被控端,如图3就属于这种情况。或者,上述用于在远程协助中进行数据传输的装置也可以独立于远程协助被控端、但是能够与被控端进行信息交互的应用程序,如图4所示,属于这种情况。图4与图3相比,除了与被控端之间的关系不同之外,其他均相同,因此不再详述,后文中也均以图3中的情况为例进行介绍。另外,图3中,第一发送单元302、第二发送单元304与主控端之间的虚线表示通过互联网的远程连接,以下各个图中相同。图4中,记录单元301、比对单元303与被控端之间的虚线表示不同的应用程序之间的连续。
其中,在被控端保存第一目标图像信息与唯一性识别码之间的对应关系时,可以为第一目标图像信息生成一校验码,保存该校验码与唯一性识别码之间的对应关系即可,参见图5,该装置还可以包括:
校验码生成单元305,适于在远程协助被控端获取到当前时刻的第一目标图像时,通过循环冗余校验计算的方式,为所述第一目标图像生成第一校验码;
所述记录单元301具体适于:
在所述被控端保存所述第一校验码与所述唯一性识别码之间的对应关系;
所述比对单元303具体适于:
通过循环冗余校验计算的方式,为所述第二目标图像生成第二校验码,将所述第二校验码与所述第一校验码进行异或运算,如果运算结果为零,则所述第二目标图像与所述第一目标图像相同。
在被控端图像变化较快的情况下,当前图像与后续图像相同的概率较小,这样的图像就没有必要在主控端进行缓存,因此,还可以同时监控被控端图像的变化频率,根据变化频率来确定是否需要将当前图像在主控端进行缓存,参见图6,该装置还可以包括:
判断单元306,适于通过对被控端图像变化频率的监控,判断当前时刻获取到的目标图像是否需要在主控端进行缓存,如果是,则通知所述记录单元执行所述为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系的操作。
具体实现时,所述判断单元306可以包括:第一监控子单元,适于根据预设的图像变化频率阈值对被控端中图像的变化频率进行监控,当存在一个或多个图像的变化频率低于所述预设阈值时,确定当前时刻获取到的目标图像需要在主控端进行缓存,通知所述记录单元执行所述为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系的操作。
或者,所述判断单元306也可以包括:
第二监控子单元,适于预设时间间隔,当存在一个或多个目标图像超过所述时间间隔没有发生变化时,确定当前时刻获取到的目标图像需要在主控端进行缓存,通知所述记录单元执行所述为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系的操作。
在具体实现时,该装置还可以包括:
内存信息获取单元,适于获取主控端用于缓存目标图像的内存空间的大小;
监控单元,适于对主控端已经累计缓存的图像大小进行监控;
释放单元,适于当主控端已经累计缓存的图像大小达到所述内存空间的大小时,选择待释放的目标图像,向所述主控端发送释放指令,并将所述待释放的目标图像的唯一性标识码发送到所述主控端,以便所述主控端释放该标识码对应的目标图像。
其中,所述释放单元具体适于:
根据目标图像被缓存的时间,和/或目标图像被使用的次数,计算被缓存的各个目标图像的权重,将权重符合预置条件的目标图像确定为待释放的目标图像。
所述目标图像包括以下一种或几种的组合:
桌面背景、程序界面和/或图标元素。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的用于在远程协助中进行数据传输的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本申请可以应用于计算机系统/服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
Claims (14)
1.一种用于在远程协助中进行数据传输的装置,包括:
记录单元,适于在远程协助被控端获取当前时刻的第一目标图像,为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系,所述唯一性标识码用于唯一标识所述第一目标图像;
第一发送单元,适于将所述第一目标图像及其对应的唯一性标识码发送到远程协助主控端,以便在所述主控端显示所述第一目标图像,并在所述主控端缓存所述第一目标图像与其唯一性标识码之间的对应关系;
比对单元,适于当在所述被控端获取到下一时刻的第二目标图像时,判断所述第二目标图像与所述第一目标图像是否相同,其中,所述第一目标图像和/或所述第二目标图像表征所述被控端的桌面环境;
第二发送单元,适于如果所述第二目标图像与所述第一目标图像相同,则将所述第一目标图像对应的唯一性标识码发送到所述主控端,以便所述主控端根据所述唯一性标识码在缓存的信息中查找到所述第一目标图像,并对所述第一目标图像进行显示;
判断单元,适于通过对被控端图像变化频率的监控,判断当前时刻获取到的目标图像是否需要在主控端进行缓存,如果是,则通知所述记录单元执行所述为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系的操作。
2.如权利要求1所述的装置,还包括:
校验码生成单元,适于在远程协助被控端获取到当前时刻的第一目标图像时,通过循环冗余校验计算的方式,为所述第一目标图像生成第一校验码;
所述记录单元具体适于:
在所述被控端保存所述第一校验码与所述唯一性识别码之间的对应关系;
所述比对单元具体适于:
通过循环冗余校验计算的方式,为所述第二目标图像生成第二校验码,将所述第二校验码与所述第一校验码进行异或运算,如果运算结果为零,则所述第二目标图像与所述第一目标图像相同。
3.如权利要求1或2所述的装置,所述判断单元包括:
第一监控子单元,适于根据预设的图像变化频率阈值对被控端中图像的变化频率进行监控,当存在一个或多个图像的变化频率低于所述预设阈值时,确定当前时刻获取到的目标图像需要在主控端进行缓存,通知所述记录单元执行所述为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系的操作。
4.如权利要求1或2所述的装置,所述判断单元包括:
第二监控子单元,适于预设时间间隔,当存在一个或多个目标图像超过所述时间间隔没有发生变化时,确定当前时刻获取到的目标图像需要在主控端进行缓存,通知所述记录单元执行所述为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系的操作。
5.如权利要求1所述的装置,还包括:
内存信息获取单元,适于获取主控端用于缓存目标图像的内存空间的大小;
监控单元,适于对主控端已经累计缓存的图像大小进行监控;
释放单元,适于当主控端已经累计缓存的图像大小达到所述内存空间的大小时,选择待释放的目标图像,向所述主控端发送释放指令,并将所述待释放的目标图像的唯一性标识码发送到所述主控端,以便所述主控端释放该标识码对应的目标图像。
6.如权利要求5所述的装置,所述释放单元具体适于:
根据目标图像被缓存的时间,和/或目标图像被使用的次数,计算被缓存的各个目标图像的权重,将权重符合预置条件的目标图像确定为待释放的目标图像。
7.如权利要求1、2、5、6中任一项所述的装置,所述目标图像包括以下一种或几种的组合:
桌面背景、程序界面和/或图标元素。
8.一种用于在远程协助中进行数据传输的方法,包括:
在远程协助被控端获取当前时刻的第一目标图像,为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系,所述唯一性标识码用于唯一标识所述第一目标图像;
将所述第一目标图像及其对应的唯一性标识码发送到远程协助主控端,以便在所述主控端显示所述第一目标图像,并在所述主控端缓存所述第一目标图像与其唯一性标识码之间的对应关系;
当在所述被控端获取到下一时刻的第二目标图像时,判断所述第二目标图像与所述第一目标图像是否相同,其中,所述第一目标图像和/或所述第二目标图像表征所述被控端的桌面环境;
如果所述第二目标图像与所述第一目标图像相同,则将所述第一目标图像对应的唯一性标识码发送到所述主控端,以便所述主控端根据所述唯一性标识码在缓存的信息中查找到所述第一目标图像,并对所述第一目标图像进行显示;
其中,为所述第一目标图像生成唯一性标识码之前还包括:
通过对被控端图像变化频率的监控,判断当前时刻获取到的目标图像是否需要在主控端进行缓存,如果是,则触发执行所述为所述第一目标图像生成唯一性标识码,并在所述被控端保存所述第一目标图像信息与所述唯一性识别码之间的对应关系的操作。
9.如权利要求8所述的方法,在远程协助被控端获取到当前时刻的第一目标图像时,还包括:
通过循环冗余校验计算的方式,为所述第一目标图像生成第一校验码;
所述在所述被控端保存所述第一目标图像与所述唯一性识别码之间的对应关系包括:
在所述被控端保存所述第一校验码与所述唯一性识别码之间的对应关系;
所述将所述第二目标图像与所述第一目标图像进行比对包括:
通过循环冗余校验计算的方式,为所述第二目标图像生成第二校验码,将所述第二校验码与所述第一校验码进行异或运算,如果运算结果为零,则所述第二目标图像与所述第一目标图像相同。
10.如权利要求8或9所述的方法,所述通过对被控端图像变化频率的监控,判断当前时刻获取到的目标图像是否需要在主控端进行缓存,包括:根据预设的图像变化频率阈值对被控端中图像的变化频率进行监控,当存在一个或多个图像的变化频率低于所述预设阈值时,确定当前时刻获取到的目标图像需要在主控端进行缓存。
11.如权利要求8或9所述的方法,所述通过对被控端图像变化频率的监控,判断当前时刻获取到的目标图像是否需要在主控端进行缓存,包括:
预设时间间隔,当存在一个或多个目标图像超过所述时间间隔没有发生变化时,确定当前时刻获取到的目标图像需要在主控端进行缓存。
12.如权利要求8所述的方法,还包括:
获取主控端用于缓存目标图像的内存空间的大小;
对主控端已经累计缓存的图像大小进行监控;
当主控端已经累计缓存的图像大小达到所述内存空间的大小时,选择待释放的目标图像,向所述主控端发送释放指令,并将所述待释放的目标图像的唯一性标识码发送到所述主控端,以便所述主控端释放该标识码对应的目标图像。
13.如权利要求12所述的方法,所述选择待释放的目标图像包括:
根据目标图像被缓存的时间,和/或目标图像被使用的次数,计算被缓存的各个目标图像的权重,将权重符合预置条件的目标图像确定为待释放的目标图像。
14.如权利要求8、9、12、13中任一项所述的方法,所述目标图像包括以下一种或几种的组合:
桌面背景、程序界面和/或图标元素。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210469855.XA CN102984233B (zh) | 2012-11-19 | 2012-11-19 | 用于在远程协助中进行数据传输的装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210469855.XA CN102984233B (zh) | 2012-11-19 | 2012-11-19 | 用于在远程协助中进行数据传输的装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102984233A CN102984233A (zh) | 2013-03-20 |
CN102984233B true CN102984233B (zh) | 2016-03-30 |
Family
ID=47857967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210469855.XA Expired - Fee Related CN102984233B (zh) | 2012-11-19 | 2012-11-19 | 用于在远程协助中进行数据传输的装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102984233B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104079950A (zh) * | 2014-07-04 | 2014-10-01 | 福建天晴数码有限公司 | 视频输出处理、视频接收处理的方法、装置和系统 |
CN104184805A (zh) * | 2014-08-13 | 2014-12-03 | Tcl通讯(宁波)有限公司 | 一种移动终端远程实时控制方法及系统 |
CN105991736B (zh) * | 2015-02-25 | 2019-03-19 | 华为技术有限公司 | 一种远程控制方法及设备 |
EP3343352B1 (en) * | 2015-09-18 | 2020-06-03 | Huawei Technologies Co., Ltd. | Method, apparatus and device for instructing operations on terminal device |
CN105491428A (zh) * | 2015-12-08 | 2016-04-13 | 深圳Tcl新技术有限公司 | 智能电视的控制方法及系统 |
CN108600769A (zh) * | 2018-04-16 | 2018-09-28 | 西安万像电子科技有限公司 | 图像传输方法、装置及系统 |
CN109313608B (zh) * | 2018-09-19 | 2023-05-02 | 深圳市汇顶科技股份有限公司 | 图像校验系数的读取方法、闪存控制器、系统及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101699822A (zh) * | 2009-08-06 | 2010-04-28 | 腾讯科技(深圳)有限公司 | 一种文件上传方法、装置和海量存储系统 |
CN102164168A (zh) * | 2011-02-21 | 2011-08-24 | 北京奇虎科技有限公司 | 一种拖动图像的传输显示方法和系统 |
CN102377814A (zh) * | 2010-08-25 | 2012-03-14 | 汎惪股份有限公司 | 针对嵌入式操作系统的远程协助服务方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE492122T1 (de) * | 2007-01-25 | 2011-01-15 | Research In Motion Ltd | Elektronisches handgerät und kamera mit blitzausgleich der bilder und dazugehöriges verfahren |
EP2219090B1 (en) * | 2007-12-06 | 2012-02-01 | ABB Research Ltd. | A robot service system and a method for providing remote service for a robot |
-
2012
- 2012-11-19 CN CN201210469855.XA patent/CN102984233B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101699822A (zh) * | 2009-08-06 | 2010-04-28 | 腾讯科技(深圳)有限公司 | 一种文件上传方法、装置和海量存储系统 |
CN102377814A (zh) * | 2010-08-25 | 2012-03-14 | 汎惪股份有限公司 | 针对嵌入式操作系统的远程协助服务方法 |
CN102164168A (zh) * | 2011-02-21 | 2011-08-24 | 北京奇虎科技有限公司 | 一种拖动图像的传输显示方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102984233A (zh) | 2013-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102984230B (zh) | 远程协助中的数据传输装置及方法 | |
CN102984233B (zh) | 用于在远程协助中进行数据传输的装置和方法 | |
US10027777B2 (en) | Web page pre-loading optimization | |
CN110516971B (zh) | 异常检测的方法、装置、介质和计算设备 | |
US20140067988A1 (en) | On-Demand Caching in a WAN Separated Distributed File System or Clustered File System Cache | |
US10452469B2 (en) | Server performance correction using remote server actions | |
US10361906B2 (en) | Alert remediation automation | |
JP7406010B2 (ja) | ベースライン監視方法、装置、読み取り可能な媒体、及び電子機器 | |
CN105099755A (zh) | 一种监控网站系统性能的方法、设备和系统 | |
US20160323362A1 (en) | Automatic task tracking | |
CN113595927A (zh) | 一种旁路模式下镜像流量的处理方法和装置 | |
CN108713192B (zh) | 用于计算机系统修复的自动排序的方法和系统 | |
AU2021360289B2 (en) | Remote system update and monitoring | |
CN107463527B (zh) | 设施管理装置 | |
CN112910742A (zh) | 链路状态检测方法及装置 | |
CN110930110B (zh) | 分布式流程监控方法、装置、存储介质及电子设备 | |
US8028204B2 (en) | Method and system for maintenance of a data-processing apparatus | |
CN110737450A (zh) | 一种动态应用安全增强方法、装置、设备和计算机介质 | |
CN117130719A (zh) | 数据源切换方法、装置、电子设备和计算机可读介质 | |
CN112148324B (zh) | 电子设备升级的方法、设备和计算机可读存储介质 | |
CN113821232B (zh) | 模型更新方法和装置 | |
CN113486968A (zh) | 摄像机生命周期的监控方法、装置、设备和介质 | |
CN110764932A (zh) | 数据处理方法、系统、介质和计算设备 | |
US12038821B2 (en) | Alert rule manipulation in sync of temporary configuration change | |
CN113094211B (zh) | 一种备份数据处理的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160330 Termination date: 20211119 |