CN104951188A - 可视信息交互的方法及控制系统 - Google Patents

Abstract

本发明涉及一种可视信息交互的方法及控制系统，包括用于对屏幕画面进行截屏；同时获取客户对屏幕操作相关请求信息的客户端；将获取的客户请求信息传送给辅助交互服务器；将接收到的数据包的信息进行解析；调用鼠标对无法通过键盘访问的目标控件依次进行点击；用于接收客户端传送的客户数据请求信息的辅助交互服务器，将接收的客户端传送的客户数据请求信息传送给辅助人员服务端，将接收到的数据包传输给客户端；辅助人员服务端，记录辅助人员的每次点击点的坐标、点击点的图层和点击点的颜色信息特征，将数据包传输给辅助交互服务器。可视信息交互的方法及控制系统，通过远程客服的方式，为视障人士提供远程快速精确点击对应电脑软件控件的方法。

Description

可视信息交互的方法及控制系统

技术领域

本发明涉及信息识别技术领域，具体的说，是涉及一种可视信息交互的方法及控制系统。

背景技术

视障人士可通过专用的读屏软件灵活便捷的操作计算机的各类应用，他们基本可与常人一样自由的进行浏览网页、收发邮件、上网购物、应用办公软件等。然而,他们操作计算机是不需要使用鼠标的，是完全通过键盘进行操作，这就需要被操作的软件或网站符合无障碍设计，符合读屏软件的操作规范。但许多网站和软件出于美观及应用安全等方面的考虑，使其部分控件无法通过键盘进行操作应用，不符合信息无障碍设计规范。比如网页中的无法通过键盘访问的按钮、应用软件中的部分控件及各类软件中无法通过键盘访问的按钮、复选框等。这就对视障人士顺利的应用计算机，平等的参与经济社会生活带来了不可逾越的巨大障碍。

发明内容

针对上述现有技术中的不足，本发明提供一种可视信息交互的方法及控制系统。

本发明所采取的技术方案是：

一种可视信息交互的方法，包括：

屏幕上一区域等待输入；

将所述区域的图像数据传送到辅助交互服务器；

所述辅助交互服务器根据响应规则将所述图像数据呈现给辅助人员；

所述辅助人员对所述图像数据还原呈现进行操作，记录坐标数据；

将所述坐标数据传送到辅助交互服务器；

所述辅助交互服务器将所述坐标数据传送回所述区域；

所述坐标数据响应所述区域的所述输入。

所述屏幕上一区域等待输入为网页或应用软件中出现无法通过键盘访问的目标控件。

所述区域的图像数据传送到辅助交互服务器为：对屏幕画面进行截屏、采集对屏幕操作相关请求信息；所述相关请求信息包括文字和音频请求信息；将全部请求信息传送给辅助交互服务器。

所述辅助交互服务器根据响应规则为：根据先进先出原则向空闲辅助人员服务端传送客户请求信息。

当某一辅助人员服务端处理客户请求超过设定的处理时间上限时，辅助交互服务器将该辅助人员服务端处理的请求信息传送给其他辅助人员服务端。

所述辅助人员对所述图像数据还原呈现进行操作为：

截屏图片、文字请求信息在屏幕上显示；音频设备再现客户端声音请求信息；辅助人员根据客户数据请求信息及截屏内容，依次点击并采集截屏图片相应坐标数据。

所述辅助交互服务器将所述操作的坐标数据传送回所述区域并响应所述区域的所述输入为：将接收到的坐标数据进行解析；根据解析后数据信息调用鼠标对无法通过键盘访问的目标控件依次进行点击。

当发出请求信息的客户端意外关闭时，辅助交互服务器将反复向发出请求信息的客户端发送操作的坐标数据；超过辅助交互服务器设定时间，客户端仍然未启动则停止发送。

已经发出请求信息的客户端将图像数据传送到辅助交互服务器后，所述辅助交互服务器未将所述操作的坐标数据传送回所述客户端；发出请求信息的客户端再次将图像数据传送到辅助交互服务器时，辅助交互服务器将向发出请求信息的客户端传送前次任务未完成信息；提示客户端取消前次任务；客户端取消前次操作请求后，辅助交互服务器处理本次请求信息。

一种可视信息交互系统，包括：

接收装置，用于在屏幕上一区域等待输入；

第一传送装置，用于将所述区域的图像数据传送到辅助交互服务器；

呈现装置，用于所述辅助交互服务器根据响应规则将所述图像数据呈现给辅助人员；

记录装置，用于所述辅助人员对所述图像数据还原呈现进行操作，记录坐标数据；

第二传送装置，用于将所述坐标数据传送到辅助交互服务器；

第三传送装置，用于所述辅助交互服务器将所述坐标数据传送回所述区域；

所述接收装置将所述坐标数据响应所述区域的所述输入。

本发明相对现有技术的有益效果：

本发明可视信息交互的方法及控制系统，通过远程客服的方式，为视障人士提供远程快速精确点击对应电脑软件控件的方法。

附图说明

图1是可视信息交互的方法的第一概括实施例流程图；

图2是可视信息交互的方法的第二具体实施例流程图；

图3是可视信息交互的方法应用在12306网站登录页面截屏图；

图4是可视信息交互的方法应用在360杀毒软件操作页面截屏图；

图5是可视信息交互的方法应用在远程控制的流程图。

具体实施方式

以下参照附图及实施例对本发明进行详细的说明：

附图1-5可知，一种可视信息交互的方法，概括实施例包括如下步骤：

开始于步骤S101；

步骤S102，屏幕上一区域等待输入；

步骤S103，将所述区域的图像数据传送到辅助交互服务器；

步骤S104，所述辅助交互服务器根据响应规则将所述图像数据呈现给辅助人员；

步骤S105，所述辅助人员对所述图像数据还原呈现进行操作，记录坐标数据；

步骤S106，将所述坐标数据传送到辅助交互服务器；

步骤S107，所述辅助交互服务器将所述坐标数据传送回所述区域；

步骤S108，所述坐标数据响应所述区域的所述输入。

一种可视信息交互的方法，具体实施例包括如下步骤：

开始于步骤S201；

步骤S202，客户使用视障人士专用读屏软件对网页或软件界面内容进行读取；

步骤S203，当网页或应用软件中出现无法通过键盘访问的目标控件时，启动客户端；

步骤S204，客户端对屏幕画面进行截屏；客户端采集客户对屏幕操作相关请求信息，包括文字和音频请求信息；

步骤S205，客户端判断采集客户数据请求是否完毕，采集完毕执行下一步操作，否则继续采集客户请求信息；

步骤S206，客户端将获取的客户全部请求信息打包传送给辅助交互服务器；

步骤S207，辅助交互服务器接收客户端传送的客户数据请求信息；辅助交互服务器将接收的客户端传送的客户数据请求信息进行存储并将该信息传送给辅助人员服务端；

步骤S208，辅助人员服务端接收客户数据请求信息；

步骤S209，辅助人员服务端将接收的客户数据请求信息进行还原，截屏图片、文字请求信息在屏幕上显示；音频设备再现客户端声音请求信息；辅助人员根据客户数据请求信息及截屏内容，依次点击截屏图片相应位置坐标；

步骤S210，辅助人员服务端采集辅助人员的鼠标每次点击点的坐标信息特征；

步骤S211，辅助人员服务端判断辅助人员的鼠标操作是否完毕，鼠标操作完毕执行下一步操作，否则继续采集辅助人员的鼠标操作；

步骤S212，辅助人员服务端将采集的信息特征形成数据包；

步骤S213，辅助人员服务端判断数据包形成是否完毕，数据包形成完毕执行下一步操作，否则将信息反馈给辅助交互服务器；

步骤S214，辅助人员服务端将数据包及对应客户信息传输给辅助交互服务器；

步骤S215，辅助交互服务器保存数据包并记录服务日志信息；

步骤S216，辅助交互服务器分析用户信息并将接收到的数据包传输给对应客户端；

步骤S217，客户端将接收到的数据包的信息逐条进行解析；客户端根据解析后的数据包信息调用鼠标对无法通过键盘访问的目标控件依次进行点击；

步骤S218，全部点击完毕后客户端通过语音和文字给出提示，客户根据提示进行下一步操作。

程序结束于步骤S219。

所述辅助交互服务器监控辅助人员服务端的忙闲状况，根据先进先出原则向空闲辅助人员服务端传送客户请求信息包；当某一辅助人员服务端处理客户请求超过设定的处理时间上限时，辅助交互服务器将该辅助人员服务端处理的请求信息传送给其他辅助人员服务端。

本发明可视信息交互的方法及控制系统，通过远程客服的方式，为视障人士提供远程快速精确点击对应电脑软件控件的方法。

本发明可视信息交互的控制系统，包含客户端、辅助交互服务器端和辅助人员服务端三个功能模块。

客户端是安装在视障人士及其他需要该应用的客户端电脑上的一个软件端，具有截图、上传截图、上传文字或语音请求、解析辅助人员服务端回传的数据信息及自动精确点击目标控件等功能。

辅助交互服务器端：安装于网络辅助交互服务器上的功能模块，是具有连接客户端与辅助人员服务端通信的功能，同时具备存储通信过程及与系统权限管理等方面的信息。

辅助人员服务端：是安装在辅助人员电脑中的软件端，具有接收客户端传递来的截图、文字、语音等求助信息，根据文字与语音的请求信息辅助人员使用鼠标对截图中的控件进行精确点击，每点击一次辅助人员服务端软件将自动分析搜集所点击处的坐标、图层、颜色等各类信息特征，并将这些信息特征形成数据包，全部点击完成后，最后点击完成按钮，系统将这些数据包通过辅助交互服务器端返回给对应的用户端。

当用户遇到无法通过键盘操作的网页控件或应用软件控件时，客户端将图像数据传送到辅助交互服务器后，客户离开发出请求信息的相应网页或应用软件页面，此时发出请求信息的客户端未关闭，辅助交互服务器将向发出请求信息的客户端发送操作的坐标数据，客户端将接收到的坐标数据进行解析；根据解析后数据信息调用鼠标对无法通过键盘访问的目标控件依次进行点击，此时由于用户已经退出相应网页或应用软件，此时鼠标的点击操作为无效操作。

可视信息交互的方法及控制系统，功能如下：

当用户遇到无法通过键盘操作的网页控件或应用软件控件时，可按下一组快捷键，客户端软件将当前屏幕进行截图，截图完成后弹出对话框，通过文字或语音提示“已做好全屏截图准备请求帮助，请输入请求信息或点击录音按钮录制请求信息”,完成后点击传送按钮，软件将截图、文字或语音信息通过辅助交互服务器端转发至辅助人员服务端软件。

辅助人员服务端软件接收到信息后通过声音或弹出窗口的方式提示辅助人员，辅助人员根据求助文字或语音，按用户的要求使用鼠标精确点击截图中的控件，每点击一次辅助人员服务端软件将自动搜集所点击处的各类特征信息并形成数据包，最后点击完成，数据包将通过辅助交互服务器迅速回传至客户端，

客户端根据这些数据进行解析，并根据这些数据自动调用鼠标对目标控件进行精确点击，点击完成后通过语音或文字的方式提醒用户点击完成可进行其他操作。

可视信息交互的方法，软件操作流程如下：(快捷键可以任意设置)

1、按快捷键(Ctrl+Shift+R键)启动客户端；

2、判断是否已启动软件

2.1、如果已启动播放音频提示软件已启动

2.2、如果未启动则启动软件，自动转到后台运行，同时播放音频提示客户端软件启动

3、需要客服帮助时按下请求快捷键(Ctrl+Shift+J键)；

4、进行全屏截图，同时弹出对话框提示用户输入或录制请求信息

4.1、当客户不输入任何内容直接按下回车键，仅将全屏截图与用户名发给辅助交互服务器端；

4.2、当客户输入文字后按回车，将文字、全屏截图与用户名发送给辅助交互服务器；

4.3、当客户录音完成后按回车，将录音文件、全屏截图与用户名发送给辅助交互服务器；

4.4、当客户输入文字同时也进行录音后按回车将文字、录音、全屏截图与用户名发给辅助交互服务器；

5、辅助交互服务器判断辅助人员服务端忙闲状态

5.1、辅助人员服务端全部处于忙碌状态则等待；

5.2、将客户请求数据与用户名转发给空闲辅助人员服务端；辅助人员服务端屏幕分为左侧画面和右侧画面，左侧画面显示客户屏幕，右侧画面为功能区，包括清除按钮和确认按钮，当辅助人员点击左侧屏幕出现误操作时，点击清除键清除相应内容，操作完毕点击确认键。

5.2.1、在设定的时间上线内返回结果则转发给客户端；

5.2.2、超出设置的时间上线未返回结果，则将任务转发至其他空闲辅助人员服务端；

6、辅助人员服务端接收到辅助交互服务器发来的数据信息

6.1、仅有全屏截图则不显示文字及语音请求信息，人工按默认点击验证处理；

6.2、有文字或录音请求信息则展现文字及播放按钮，人工根据请求信息进行点击操作；

7、辅助人员服务端按先后顺序采集鼠标所点击位置的信息形成数据；

7.1、某次点击错误则点击清除按钮，将清除最后一次点击所采集的数据；

7.2、点击全部清除按钮，则取消全部采集数据，可重新进行鼠标点击；

7.3、全部点击完成的同时数据采集完成，点击发送按钮；

8、所采集的数据包连同用户信息上传至辅助交互服务器

9、辅助交互服务器端判断用户信息并将数据包传给对应客户端；

9.1、客户端意外关闭则反复发送，一分钟后仍然未启动则停止发送，并保存日志；

9.2、发送成功者，则保存日志；

10、客户端解析数据；

11、根据所解析的数据调用鼠标依次精确点击对应控件；

12、点击完成后通过语音提示操作完成，请继续下一步操作。

如图3所示：本发明在视障人士登录12306购票网站操作过程如下：视障人士通过键盘操作读屏软件浏览网页和操作软件；通过键盘操可以在登录页面输入账号和密码，当网页中出现需要输入验证码时，视障人士无法根据验证码图片顶部的文字提示选择点击相应的图片时；视障人士启动本发明的客户端，客户端对页面截图，视障人将求助的文字和语音信息输入客户端；客户端将客户全部请求信息传送给辅助交互服务器；客户端将获取的客户全部请求信息打包传送给辅助交互服务器；辅助交互服务器接收客户端传送的客户数据请求信息；辅助交互服务器将接收的客户端传送的客户数据请求信息进行存储并将该信息传送给辅助人员服务端；辅助人员服务端将接收的客户数据请求信息进行还原，截屏图片、文字请求信息在屏幕上显示；音频设备再现客户端声音请求信息。

验证码图片顶部的文字提示：选择下图中的所有樱桃，点击相应的图片；在附图3中樱桃图片在图中：从上向下第二行，从左向右第二列位置。

辅助人员根据客户数据请求信息及截屏内容，点击附图3中从上向下第二行，从左向右第二列位置；辅助人员服务端记录辅助人员的每次点击点的坐标、点击点的图层和点击点的颜色信息特征，并将这些信息特征形成数据包；全部点击完成后，辅助人员服务端将数据包传输给辅助交互服务器；辅助交互服务器将接收到的数据包传输给客户端；辅助交互服务器保存对应客户端的客户数据请求信息；客户端对接收到的数据包的信息逐条进行解析；客户端根据解析后的数据包信息调用鼠标对附图3中樱桃图片所在位置：从上向下第二行，从左向右第二列位置进行点击；点击完毕后客户端通过语音和文字给出提示，客户根据提示进行下一步操作。

如图4所示：本发明在视障人士操作杀毒软件，操作过程如下：视障人士通过键盘操作软件，杀毒软件中的部分控件及各类软件中无法通过键盘访问的按钮、复选框时；视障人士启动本发明的客户端，客户端对屏幕截图，视障人将求助的文字和语音信息输入客户端；客户端将客户全部请求信息传送给辅助交互服务器；客户端将获取的客户全部请求信息打包传送给辅助交互服务器；辅助交互服务器接收客户端传送的客户数据请求信息；辅助交互服务器将接收的客户端传送的客户数据请求信息进行存储并将该信息传送给辅助人员服务端；辅助人员服务端将接收的客户数据请求信息进行还原，截屏图片、文字请求信息在屏幕上显示；音频设备再现客户端声音请求信息；辅助人员根据客户数据请求信息及截屏内容，使用鼠标依次点击截屏图片相应位置；辅助人员服务端记录辅助人员的每次点击点的坐标、点击点的图层和点击点的颜色信息特征，并将这些信息特征形成数据包；全部点击完成后，辅助人员服务端将数据包传输给辅助交互服务器；辅助交互服务器将接收到的数据包传输给客户端；辅助交互服务器保存对应客户端的客户数据请求信息；客户端对接收到的数据包的信息逐条进行解析；客户端根据解析后的数据包信息调用鼠标对无法通过键盘访问的按钮、复选框和目标控件依次进行点击；全部点击完毕后客户端通过语音和文字给出提示，客户根据提示进行下一步操作。

如图5所示：本发明也可实现对远程计算机的控制。客户端发出远程控制请求，远程控制请求传输给辅助交互服务器，辅助交互服务器将远程控制请求传送给辅助人员服务端，辅助人员服务端接收并同意客户端远程控制请求；

客户端软件截屏并将截屏数据传输给辅助交互服务器，辅助交互服务器将截屏数据传送给辅助人员服务端；

辅助人员服务端将接收的客户数据请求信息进行还原，截屏图片在屏幕上显示；辅助人员根据客户截屏内容，使用鼠标依次点击截屏图片相应位置；辅助人员服务端记录辅助人员的每次点击点的坐标信息特征，并将这些信息特征形成数据包；全部点击完成后，辅助人员服务端将数据包传输给辅助交互服务器；辅助交互服务器将接收的数据包传输给客户端；

客户端对接收到的数据包的信息逐条进行解析；客户端根据解析后的数据包信息调用鼠标对无法通过键盘访问的按钮、复选框和目标控件依次进行点击；

全部点击完毕后，电脑屏幕发生变化；

客户端自动监控当前电脑屏幕变化，当电脑屏幕变化时，自动截图并发往辅助人员服务端；反复交互，实现操作控制远程计算机的目的。

以上所述，仅是本发明的较佳实施例而已，并非对本发明的结构作任何形式上的限制。凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明的技术方案范围内。

Claims (10)

1.一种可视信息交互的方法，其特征在于，包括：

屏幕上一区域等待输入；

将所述区域的图像数据传送到辅助交互服务器；

所述辅助交互服务器根据响应规则将所述图像数据呈现给辅助人员；

所述辅助人员对所述图像数据还原呈现进行操作，记录坐标数据；

将所述坐标数据传送到辅助交互服务器；

所述辅助交互服务器将所述坐标数据传送回所述区域；

所述坐标数据响应所述区域的所述输入。

2.根据权利要求1所述可视信息交互的方法，其特征在于：所述屏幕上一区域等待输入为网页或应用软件中出现无法通过键盘访问的目标控件。

3.根据权利要求2所述可视信息交互的方法，其特征在于：所述区域的图像数据传送到辅助交互服务器为：对屏幕画面进行截屏、采集对屏幕操作相关请求信息；所述相关请求信息包括文字和音频请求信息；将全部请求信息传送给辅助交互服务器。

4.根据权利要求3所述可视信息交互的方法，其特征在于：所述辅助交互服务器根据响应规则为：根据先进先出原则向空闲辅助人员服务端传送客户请求信息。

5.根据权利要求4所述可视信息交互的方法，其特征在于：当某一辅助人员服务端处理客户请求超过设定的处理时间上限时，辅助交互服务器将该辅助人员服务端处理的请求信息传送给其他辅助人员服务端。

6.根据权利要求5所述可视信息交互的方法，其特征在于：所述辅助人员对所述图像数据还原呈现进行操作为：

截屏图片、文字请求信息在屏幕上显示；音频设备再现客户端声音请求信息；辅助人员根据客户数据请求信息及截屏内容，依次点击并采集截屏图片相应坐标数据。

7.根据权利要求6所述可视信息交互的方法，其特征在于：所述辅助交互服务器将所述操作的坐标数据传送回所述区域并响应所述区域的所述输入为：将接收到的坐标数据进行解析；根据解析后数据信息调用鼠标对无法通过键盘访问的目标控件依次进行点击。

8.根据权利要求7所述可视信息交互的方法，其特征在于：当发出请求信息的客户端意外关闭时，辅助交互服务器将反复向发出请求信息的客户端发送操作的坐标数据；超过辅助交互服务器设定时间，客户端仍然未启动则停止发送。

9.根据权利要求8所述可视信息交互的方法，其特征在于：

已经发出请求信息的客户端将图像数据传送到辅助交互服务器后，所述辅助交互服务器未将所述操作的坐标数据传送回所述客户端；发出请求信息的客户端再次将图像数据传送到辅助交互服务器时，辅助交互服务器将向发出请求信息的客户端传送前次任务未完成信息；提示客户端取消前次任务；客户端取消前次操作请求后，辅助交互服务器处理本次请求信息。

10.一种可视信息交互系统，其特征在于，包括：

接收装置，用于在屏幕上一区域等待输入；

第一传送装置，用于将所述区域的图像数据传送到辅助交互服务器；

呈现装置，用于所述辅助交互服务器根据响应规则将所述图像数据呈现给辅助人员；

记录装置，用于所述辅助人员对所述图像数据还原呈现进行操作，记录坐标数据；

第二传送装置，用于将所述坐标数据传送到辅助交互服务器；

第三传送装置，用于所述辅助交互服务器将所述坐标数据传送回所述区域；

所述接收装置将所述坐标数据响应所述区域的所述输入。