CN113391752A - 一种基于鼠标的可触控交互设备的交互技术 - Google Patents

一种基于鼠标的可触控交互设备的交互技术 Download PDF

Info

Publication number
CN113391752A
CN113391752A CN202110687555.8A CN202110687555A CN113391752A CN 113391752 A CN113391752 A CN 113391752A CN 202110687555 A CN202110687555 A CN 202110687555A CN 113391752 A CN113391752 A CN 113391752A
Authority
CN
China
Prior art keywords
mouse
error
user
aroundmouse
starts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110687555.8A
Other languages
English (en)
Other versions
CN113391752B (zh
Inventor
殷继彬
吴焕伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202110687555.8A priority Critical patent/CN113391752B/zh
Publication of CN113391752A publication Critical patent/CN113391752A/zh
Application granted granted Critical
Publication of CN113391752B publication Critical patent/CN113391752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Abstract

本发明公开了一种基于鼠标的可触控交互设备的交互技术,属于人机交互技术领域,该交互方法具体步骤如下:(1)用户启动AroundMouse并检测是否可以正常使用;(2)对鼠标活动进行实时检测并进行测试分析;(3)记录错误触发次数并开始构建错误优化器;(4)错误优化器开始对漏洞进行修复并进行仿真模拟;(5)实时记录错误修复次数并生成修复日志反馈给工作人员;(6)漏洞修复完成开始开始对鼠标活动进行分析判断;本发明能够根据用户的兴趣和需要随时切换窗口,鼠标移动次数少,减少了任务的时间,提高了交互速度,提高了交互的方便性,可自行修复操作过程中出现的系统漏洞,减少工作人员的工作量,提高工作人员的工作效率。

Description

一种基于鼠标的可触控交互设备的交互技术
技术领域
本发明涉及人机交互技术领域,尤其涉及一种基于鼠标的可触控交互设备的交互技术。
背景技术
鼠标交互是人们日常生活中最常用的交互方式之一,许多研究已经证明了基于鼠标的协同交互的可能性,比如增加鼠标的新传感能力,包括输入能力和输出能力,鼠标在大多数人的日常计算交互中显得尤为重要,这使得这个潜在的丰富的设计空间值得探索,用户必须将他们的鼠标光标从工作区转移到辅助窗口以与之交互,特别是当用户的显示器很大时,这个任务可能非常耗时,比如当出现菜单栏时,需要找到你想要点击的目标,然后把鼠标移动过去再点击确认,浏览网页时,用户打开某一链接跳转到新的窗口,如果内容不是用户感兴趣的就需要移动鼠标关闭新窗口而继续浏览原网页,这种传统的交互方式存在一些问题,例如需要鼠标在辅助窗口间来回移动、多窗口的遮挡问题等;因此,发明出一种基于鼠标的可触控交互设备的交互技术变得尤为重要;
经检索,中国专利号CN110502134A公开了一种触摸屏和无线鼠标技术相结合的人机交互方法,该发明虽然通可以同时实现无线鼠标操作以及触摸屏操作,但是无法根据用户的兴趣和需要随时切换窗口,鼠标移动次数多,增加了任务的时间,降低了交互速度;现有的基于鼠标的可触控交互设备的交互技术当出现数据漏洞时,无法自行修复,需要工作人员手动查找漏洞并修复,增加工作人员的工作量,降低工作人员的工作效率;为此,我们提出一种基于鼠标的可触控交互设备的交互技术。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷,而提出的一种基于鼠标的可触控交互设备的交互技术。
为了实现上述目的,本发明采用了如下技术方案:
一种基于鼠标的可触控交互设备的交互技术,该交互方法具体步骤如下:
(1)用户启动AroundMouse并检测是否可以正常使用:用户启动AroundMouse,并将其与计算机进行通信连接,AroundMouse开始实时检测计算机主屏幕的显示信息,并对其进行选择调用,其中,AroundMouse具体为一种辅助显示器,且该辅助显示屏允许用户通过触控进行操作;
(2)对鼠标活动进行实时检测并进行测试分析:AroundMouse调用并显示主屏幕的辅助窗口,并开始对鼠标活动进行实时监测,同时开始对鼠标的交互模式进行测试分析;
(3)记录错误触发次数并开始构建错误优化器:开始自行构建错误优化器,并对鼠标的交互模型错误触发次数以及触发类型进行实时记录,同时对其进行数据分析;
(4)错误优化器开始对漏洞进行修复并进行仿真模拟:错误优化器开始对漏洞位置进行数据定位,并对其进行判断分析,依据判断结果进行数据修复,修复完成,开始进行仿真模拟;
(5)实时记录错误修复次数并生成修复日志反馈给工作人员:后端服务器实时记录错误修复次数以及错误类型,并开始自动生成错误修复日志,并将其反馈给工作人员以及上传至云端数据库进行存储,同时工作人员可以通过外部输入设备对其进行检索查看,其中外部输入设备具体为键盘、电子笔或触控屏中的一种;
(6)漏洞修复完成开始开始对鼠标活动进行分析判断:漏洞修复完成,AroundMouse开始对鼠标活动进行分析判断,并执行相应交互模式,同时记录其运行状态,并生成运行周报上传至云端数据库供工作人员抽取查看,同时记录运行数据。
进一步地,步骤(1)中所述选择调用具体步骤如下:
步骤一:用户打开计算机主屏幕,并开始通过鼠标选择并打开目标文件或软件;
步骤二:目标文件或软件打开后,AroundMouse开始选择与目标相对应的显示信息,并将其以辅助窗口的形式进行显示。
进一步地,步骤(2)中所述测试分析具体步骤如下:
第一步:AroundMouse对主屏幕中的鼠标活动数据进行实时收集并分析;
第二步:判断鼠标与AroundMouse之间的各交互模型是否会出现错误触发,若出现错误触发,则标记为A。
进一步地,步骤(3)中所述数据分析具体步骤如下:
S1:错误优化器构建完成,对A进行数据解析处理,并将解析结果按照人为误触以及系统漏洞,同时将其分别标记a、b;
S2:错误优化器开始分别记录a、b各自触发的次数,并分别用x、y表示。
进一步地,步骤(4)中所述数据修复具体步骤如下:
SS1:错误优化器对a进行分析,并记录每次a发生时,鼠标是否超过规定操作范围,若超过,则反馈用户“无效操作范围,请重新选择”,若未超过,则反馈用户“错误操作,请重试”;
SS2:错误优化器对b进行漏洞定位,并对其漏洞类型进行判断,并针对相应的漏洞类型进行数据修复处理,并提示用户“数据维护”;
SS3:数据修复完成,开始进行仿真测试,测试无误差,则开始重新启动。
进一步地,步骤(5)中所述检索查看具体步骤如下:
P1:工作人员通过外部输入设备输入需要查找的初级时间段X;
P2:工作人员输入初级时间段X后再次输入次级时间段Y;
P3:工作人员输入完初级时间段X和次级时间段Y后,再次输入修复日志名称M,后端服务器开始从云端数据库中调用出工作人员所需修复日志并显示。
进一步地,步骤(6)中所述分析判断具体步骤如下:
PP1:修复完成,AroundMouse对鼠标活动按照小部件触控、小图标选择以及网页预览进行分类,并分别标记为Q、W、E;
PP2:若为Q,则将相关软件的小窗口小部件件部署到AroundMouse的辅助窗口上,用户可以通过触摸辅助窗口来实现部件的功能;
PP2:若为W,当用户鼠标移动到图标比较密集的区域时,此区域会放大显示在辅助窗口上,用户可通过触摸选择对应图标;
PP3:若为E,用户将鼠标悬停在其中一个链接上时,将此链接的细节移动到辅助窗口上,用户觉得感兴趣的话可以将其投射到大屏幕上,不感兴趣可以关闭。
相比于现有技术,本发明的有益效果在于:
1、该基于鼠标的可触控交互设备的交互技术,AroundMouse对鼠标活动进行实时监测,并依据鼠标活动执行不同交互模式,用户通过鼠标打开对应软件时,软件的小窗口小部件件部署到AroundMouse的辅助窗口上,用户可以通过触摸辅助窗口来实现部件的功能,当用户鼠标移动到图标比较密集的区域时,此区域会放大显示在辅助窗口上,用户可通过触摸选择对应图标,用户将鼠标悬停在其中一个链接上时,将此链接的细节移动到辅助窗口上,用户觉得感兴趣的话可以将其投射到大屏幕上,不感兴趣可以关闭,能够根据用户的兴趣和需要随时切换窗口,鼠标移动次数少,减少了任务的时间,提高了交互速度,提高了交互的方便性和效率产生影响;
2、该基于鼠标的可触控交互设备的交互技术出现交互模型错误触发的情况时,开始自行构建错误优化器,构建完成,错误优化器开始收集错误触发数据,并将其分为人为误触以及系统漏洞,同时记录人为误触以及系统漏洞的出现次数,对b进行漏洞定位,并对其漏洞类型进行判断,并针对系统漏洞相应的漏洞类型进行数据修复处理,并提示用户“数据维护”,数据修复完成,开始进行仿真测试,测试无误差,则开始重新启动,可自行修复操作过程中出现的系统漏洞,减少工作人员的工作量,提高工作人员的工作效率。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明提出的一种基于鼠标的可触控交互设备的交互技术的流程框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
参照图1,一种基于鼠标的可触控交互设备的交互技术,该交互方法具体步骤如下:
(1)用户启动AroundMouse并检测是否可以正常使用:用户启动AroundMouse,并将其与计算机进行通信连接,AroundMouse开始实时检测计算机主屏幕的显示信息,并对其进行选择调用,其中,AroundMouse具体为一种辅助显示器,且该辅助显示屏允许用户通过触控进行操作。
本实施例中公开了一种选择调用方法,其具体工作原理如下:用户打开计算机主屏幕,并开始通过鼠标选择并打开目标文件或软件,目标文件或软件打开后,AroundMouse开始选择与目标相对应的显示信息,并将其以辅助窗口的形式进行显示。
(2)对鼠标活动进行实时检测并进行测试分析:AroundMouse调用并显示主屏幕的辅助窗口,并开始对鼠标活动进行实时监测,同时开始对鼠标的交互模式进行测试分析。
具体的,AroundMouse的测试分析具体工作原理如下:AroundMouse对主屏幕中的鼠标活动数据进行实时收集并分析,判断鼠标与AroundMouse之间的各交互模型是否会出现错误触发,若出现错误触发,则标记为A。
(3)记录错误触发次数并开始构建错误优化器:开始自行构建错误优化器,并对鼠标的交互模型错误触发次数以及触发类型进行实时记录,同时对其进行数据分析。
本实施例中公开了一种数据分析方法,其具体工作原理如下:错误优化器构建完成,对A进行数据解析处理,并将解析结果按照人为误触以及系统漏洞,同时将其分别标记a、b,错误优化器开始分别记录a、b各自触发的次数,并分别用x、y表示。
(4)错误优化器开始对漏洞进行修复并进行仿真模拟:错误优化器开始对漏洞位置进行数据定位,并对其进行判断分析,依据判断结果进行数据修复,修复完成,开始进行仿真模拟。
具体的,该AroundMouse显示的辅助窗口分为大窗口和小窗口,同时将其根据目标的三种大小划分成若干组触控区域。
本实施例中提供了一种数据修复方法,其具体工作原理如下:错误优化器对a进行分析,并记录每次a发生时,鼠标是否超过规定触控区域,若超过,则反馈用户“无效触控区域,请重新选择”,若未超过,则反馈用户“错误操作,请重试”
(5)实时记录错误修复次数并生成修复日志反馈给工作人员:后端服务器实时记录错误修复次数以及错误类型,并开始自动生成错误修复日志,并将其反馈给工作人员以及上传至云端数据库进行存储,同时工作人员可以通过外部输入设备对其进行检索查看,其中外部输入设备具体为键盘、电子笔或触控屏中的一种。
具体的,工作人员检索查看具体工作原理如下:工作人员通过外部输入设备输入需要查找的初级时间段X、次级时间段Y以及修复日志名称M,后端服务器开始从云端数据库中调用出工作人员所需修复日志并显示。
(6)漏洞修复完成开始开始对鼠标活动进行分析判断:漏洞修复完成,AroundMouse开始对鼠标活动进行分析判断,并执行相应交互模式,同时记录其运行状态,并生成运行周报上传至云端数据库供工作人员抽取查看,同时记录运行数据。
本实施例中提供了一种分析判断方法,其具体分析判断工作原理如下:修复完成,AroundMouse对鼠标活动按照小部件触控、小图标选择以及网页预览进行分类,并分别标记为Q、W、E,若为Q,则将相关软件的小窗口小部件件部署到AroundMouse的辅助窗口上,用户可以通过触摸辅助窗口来实现部件的功能,若为W,当用户鼠标移动到图标比较密集的区域时,此区域会放大显示在辅助窗口上,用户可通过触摸选择对应图标,若为E,用户将鼠标悬停在其中一个链接上时,将此链接的细节移动到辅助窗口上,用户觉得感兴趣的话可以将其投射到大屏幕上,不感兴趣可以关闭。
具体的,该AroundMouse同时支持用户用手势来控制地图的放缩和上下左右移动,同时用户可通过AroundMouse进行文本输入、影音控制、查看游戏地图、查看网购商品详情以及显示重叠窗口背后的内容。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于鼠标的可触控交互设备的交互技术,其特征在于,该交互方法具体步骤如下:
(1)用户启动AroundMouse并检测是否可以正常使用:用户启动AroundMouse,并将其与计算机进行通信连接,AroundMouse开始实时检测计算机主屏幕的显示信息,并对其进行选择调用并以辅助窗口的进行显示,其中,AroundMouse具体为一种辅助显示器,且该辅助显示屏允许用户通过触控进行操作;
(2)对鼠标活动进行实时检测并进行测试分析:AroundMouse调用并显示主屏幕的辅助窗口,并开始对鼠标活动进行实时监测,同时开始对鼠标的交互模式进行测试分析;
(3)记录错误触发次数并开始构建错误优化器:开始自行构建错误优化器,并对鼠标的交互模型错误触发次数以及触发类型进行实时记录,同时对其进行数据分析;
(4)错误优化器开始对漏洞进行修复并进行仿真模拟:错误优化器开始对漏洞位置进行数据定位,并对其进行判断分析,依据判断结果进行数据修复,修复完成,开始进行仿真模拟;
(5)实时记录错误修复次数并生成修复日志反馈给工作人员:后端服务器实时记录错误修复次数以及错误类型,并开始自动生成错误修复日志,并将其反馈给工作人员以及上传至云端数据库进行存储,同时工作人员可以通过外部输入设备对其进行检索查看,其中外部输入设备具体为键盘、电子笔或触控屏中的一种;
(6)漏洞修复完成开始开始对鼠标活动进行分析判断:漏洞修复完成,AroundMouse开始对鼠标活动进行分析判断,并执行相应交互模式,同时记录其运行状态,并生成运行周报上传至云端数据库供工作人员抽取查看,同时记录运行数据。
2.根据权利要求1所述的一种基于鼠标的可触控交互设备的交互技术,其特征在于,步骤(1)中所述选择调用具体步骤如下:
步骤一:用户打开计算机主屏幕,并开始通过鼠标选择并打开目标文件或软件;
步骤二:目标文件或软件打开后,AroundMouse开始选择与目标相对应的显示信息,并将其以辅助窗口的形式进行显示。
3.根据权利要求1所述的一种基于鼠标的可触控交互设备的交互技术,其特征在于,步骤(2)中所述测试分析具体步骤如下:
第一步:AroundMouse对主屏幕中的鼠标活动数据进行实时收集并分析;
第二步:判断鼠标与AroundMouse之间的各交互模型是否会出现错误触发,若出现错误触发,则标记为A。
4.根据权利要求3所述的一种基于鼠标的可触控交互设备的交互技术,其特征在于,步骤(3)中所述数据分析具体步骤如下:
S1:错误优化器构建完成,对A进行数据解析处理,并将解析结果按照人为误触以及系统漏洞,同时将其分别标记a、b;
S2:错误优化器开始分别记录a、b各自触发的次数,并分别用x、y表示。
5.根据权利要求4所述的一种基于鼠标的可触控交互设备的交互技术,其特征在于,步骤(4)中所述数据修复具体步骤如下:
SS1:错误优化器对a进行分析,并记录每次a发生时,鼠标是否超过规定操作范围,若超过,则反馈用户“无效操作范围,请重新选择”,若未超过,则反馈用户“错误操作,请重试”;
SS2:错误优化器对b进行漏洞定位,并对其漏洞类型进行判断,并针对相应的漏洞类型进行数据修复处理,并提示用户“数据维护”;
SS3:数据修复完成,开始进行仿真测试,测试无误差,则开始重新启动。
6.根据权利要求1所述的一种基于鼠标的可触控交互设备的交互技术,其特征在于,步骤(5)中所述检索查看具体步骤如下:
P1:工作人员通过外部输入设备输入需要查找的初级时间段X;
P2:工作人员输入初级时间段X后再次输入次级时间段Y;
P3:工作人员输入完初级时间段X和次级时间段Y后,再次输入修复日志名称M,后端服务器开始从云端数据库中调用出工作人员所需修复日志并显示。
7.根据权利要求1所述的一种基于鼠标的可触控交互设备的交互技术,其特征在于,步骤(6)中所述分析判断具体步骤如下:
PP1:修复完成,AroundMouse对鼠标活动按照小部件触控、小图标选择以及网页预览进行分类,并分别标记为Q、W、E;
PP2:若为Q,则将相关软件的小窗口小部件件部署到AroundMouse的辅助窗口上,用户可以通过触摸辅助窗口来实现部件的功能;
PP2:若为W,当用户鼠标移动到图标比较密集的区域时,此区域会放大显示在辅助窗口上,用户可通过触摸选择对应图标;
PP3:若为E,用户将鼠标悬停在其中一个链接上时,将此链接的细节移动到辅助窗口上,用户觉得感兴趣的话可以将其投射到大屏幕上,不感兴趣可以关闭。
CN202110687555.8A 2021-06-21 2021-06-21 一种基于鼠标的可触控交互设备的交互方法 Active CN113391752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110687555.8A CN113391752B (zh) 2021-06-21 2021-06-21 一种基于鼠标的可触控交互设备的交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110687555.8A CN113391752B (zh) 2021-06-21 2021-06-21 一种基于鼠标的可触控交互设备的交互方法

Publications (2)

Publication Number Publication Date
CN113391752A true CN113391752A (zh) 2021-09-14
CN113391752B CN113391752B (zh) 2023-11-14

Family

ID=77623419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110687555.8A Active CN113391752B (zh) 2021-06-21 2021-06-21 一种基于鼠标的可触控交互设备的交互方法

Country Status (1)

Country Link
CN (1) CN113391752B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930399A (zh) * 2010-08-16 2010-12-29 于秀山 一种对软件测试进行记录的方法
CN102184138A (zh) * 2011-05-19 2011-09-14 广东威创视讯科技股份有限公司 一种软件错误自动重现和定位的方法及系统
CN109871172A (zh) * 2019-01-23 2019-06-11 广州杰赛科技股份有限公司 一种自动化测试中的鼠标点击方法、装置及可读存储介质
CN112528295A (zh) * 2020-12-22 2021-03-19 国家工业信息安全发展研究中心 工业控制系统的漏洞修复方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930399A (zh) * 2010-08-16 2010-12-29 于秀山 一种对软件测试进行记录的方法
CN102184138A (zh) * 2011-05-19 2011-09-14 广东威创视讯科技股份有限公司 一种软件错误自动重现和定位的方法及系统
CN109871172A (zh) * 2019-01-23 2019-06-11 广州杰赛科技股份有限公司 一种自动化测试中的鼠标点击方法、装置及可读存储介质
CN112528295A (zh) * 2020-12-22 2021-03-19 国家工业信息安全发展研究中心 工业控制系统的漏洞修复方法及装置

Also Published As

Publication number Publication date
CN113391752B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
US8776023B2 (en) Software testing
US11710064B2 (en) Machine learning analysis of user interface design
US9703462B2 (en) Display-independent recognition of graphical user interface control
US9274742B2 (en) Visual-symbolic control of remote devices having display-based user interfaces
US9058105B2 (en) Automated adjustment of input configuration
US8237665B2 (en) Interpreting ambiguous inputs on a touch-screen
CN105975144A (zh) 一种信息处理方法和装置
CN107666987A (zh) 机器人过程自动化
US20150339213A1 (en) Automated testing of an application system
US10963138B1 (en) Webpage testing tool
US20110047514A1 (en) Recording display-independent computerized guidance
CN102112944A (zh) 用于表面计算的用户定义的姿势集
US9405558B2 (en) Display-independent computerized guidance
CN108681508A (zh) 一种基于视觉识别的测试方法及终端
WO2015043352A1 (en) Method and apparatus for selecting test nodes on webpages
CN115964027B (zh) 基于人工智能的桌面嵌入式rpa流程配置系统及方法
Patil et al. Enhanced UI Automator Viewer with improved Android accessibility evaluation features
CN108009073A (zh) 由日志复现触控轨迹的方法、终端及计算机可读存储介质
CN106951258A (zh) 一种移动终端的操作方法及移动终端
US11822905B2 (en) Interactive service providing system, interactive service providing method, scenario generation and editing system, and scenario generation and editing method
JP2009134673A (ja) Gui画面操作シーケンス検証装置、方法、及び、プログラム
CN113391752B (zh) 一种基于鼠标的可触控交互设备的交互方法
CN106774985A (zh) 一种文字处理方法及移动终端
CN113885855A (zh) 一种基于输入跟随的rpa指令智能录制方法
CN101510141A (zh) 触摸屏信息显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant