CN109476014A - 用于接合动态定位的目标特征的触摸屏测试平台 - Google Patents

用于接合动态定位的目标特征的触摸屏测试平台 Download PDF

Info

Publication number
CN109476014A
CN109476014A CN201780043298.6A CN201780043298A CN109476014A CN 109476014 A CN109476014 A CN 109476014A CN 201780043298 A CN201780043298 A CN 201780043298A CN 109476014 A CN109476014 A CN 109476014A
Authority
CN
China
Prior art keywords
target signature
touch panel
panel device
touch screen
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780043298.6A
Other languages
English (en)
Other versions
CN109476014B (zh
Inventor
大卫·罗斯·詹金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
T Mobile USA Inc
Original Assignee
T Mobile USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/208,536 external-priority patent/US10120474B2/en
Application filed by T Mobile USA Inc filed Critical T Mobile USA Inc
Publication of CN109476014A publication Critical patent/CN109476014A/zh
Application granted granted Critical
Publication of CN109476014B publication Critical patent/CN109476014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2205—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
    • G06F11/2221—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested to test input/output devices or peripheral units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3041—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is an input/output interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40065—Approach, touch and then push object
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40602—Robot control test platform
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

触摸屏测试平台可在测试协议期间用于接合显示在支持触摸屏的设备上的动态定位的目标特征。所述平台可以记录触摸屏设备所显示的图像，然后分析图像以在参考坐标系内定位目标特征。平台可以从图像中识别出缺少目标特征，且通过使触摸屏设备滚动浏览命令菜单和/或切换虚拟屏幕来进行响应。一旦定位，平台可以指示机器人设备测试器通过使用被设计用于模拟用户指尖的导电探尖接触所识别位置处的触摸屏来选择目标特征。在运行测试之前，摄像机可以聚焦到偏离触摸屏设备的显示屏的点。

Description

用于接合动态定位的目标特征的触摸屏测试平台
相关申请的交叉引用
本专利申请基于并要求2016年7月12日提交的、序列号为15/208,536、题为“用于接合动态定位的目标特征的触摸屏测试平台(Touch Screen Testing Platform forEngaging a Dynamically Positioned Target Feature)”的美国专利申请的优先权，上述美国专利申请为2014年6月25日提交的、序列号为14/314,339、题为“具有用于向探尖提供导电性的组件的触摸屏测试平台(Touch Screen Testing Platform Having Componentsfor Providing Conductivity to a Tip)”、现美国专利号为9,652,077的美国专利申请的部分继续申请案，而上述美国专利为2010年12月9日提交的、序列号为12/964,427、题为“触摸屏测试平台(Touch Screen Testing Platform)”、现美国专利号为8,996,166的美国专利申请的部分继续申请案，在此通过引用将每一个的全部内容并入本文，如本文全部阐述一样。
技术领域
本公开总地涉及机器人实现的(robotically)测试触摸屏设备，更具体地涉及用于动态识别目标特征在触摸屏上的位置并在该位置与触摸屏接触以选择目标特征的测试系统。
背景技术
电子工业是一个充满活力的行业，在该行业中，新产品被不断发布和实现以供市场上的人们和企业使用。许多新产品包括触摸屏，其使用户能够通过触摸设备的屏幕而不是依赖于诸如按钮和方向控制垫的传统输入来向电子设备输入命令。
在产品(例如：设备、系统、软件和/或硬件)在市场中实现或可供消费之前，产品通常进行测试以确保产品在部署时是功能完善的和可运行的。测试可用于测量受测试的电子设备的操作的耐久性、电池性能、应用性能、屏幕灵敏度或其他可量化方面。
传统测试平台被配置为测试具有传统输入的电信设备，例如按钮，按钮在设备上具有固定位置。然而，有了支持触摸屏的设备，应用程序设计者可以将输入控件放置在显示屏内的任何位置，这可能需要用户交互来确定用于执行期望动作的输入控件的位置。此外，在某些情况下，输入控件的位置可能随时间而变化。因此，一些输入控件在每次它们被显示时其位置不能被假定为静态定位。
附图说明
参考附图阐述了具体实施方式。在附图中，参考标号的最左边的一个或更多数字标识首次出现参考标号的附图。在不同附图中使用相同的参考标号指示相似或相同的项目或特征。
图1是包括机器人设备测试器和控制器的说明性环境，用于识别在触摸屏设备上显示的目标特征的位置，并控制机器人设备测试器的移动，以选择性地在目标特征的位置处接合(engage)触摸屏。
图2描绘了触摸屏设备响应于从机器人设备测试器接收到的各种输入随时间显示的各种图像。
图3是用于在触摸屏设备上执行测试的说明性过程的流程图，所述过程包括在基于摄像机的馈送所识别的目标特征的位置处机器人实现的接合目标特征。
图4是用于在触摸屏设备上执行测试的说明性过程的流程图，所述过程包括确定目标特征是否具有已知/静态的位置或未知/动态的位置。
图5A-5C描绘了根据各种实现方式的处于摄像机校准过程的各种状态的平台。
图6是用于在测试协议期间或之前校准摄像机以使焦点从触摸屏设备偏移的说明性过程的流程图。
具体实施方式
触摸屏测试平台可以被用于执行对触摸屏设备的可重复的测试，诸如包括触摸屏显示器的电信设备。在测试场景期间，机器人设备测试器通过接合(engage)触摸屏设备的触摸屏来启动触摸屏设备的各种操作。测试场景中的操作可以包括但不限于发起语音呼叫、发送和接收数据(消息、视频、音乐等)，运行应用程序以及执行其他操作。通过运行诸如上述示例测试场景的场景，可以使用自动化过程在实验室环境中测试触摸屏设备以及包括相对较快的周期时间，使得测试相对便宜且可重复。可以分析测试结果以确定触摸屏设备的性能，其可以与阈值性能度量进行比较或用于其他目的。
在运行测试之前，可以对平台进行校准以确定由触摸屏限定的平坦表面并建立跨平坦表面的坐标系。然后控制器可被编程为使用坐标系在已知输入位置处与触摸屏交互。然而，在某些情况下，特定的输入位置可能是未知的，直到其由触摸屏设备实际显示为止。在这种情况下，控制器可以利用摄像机馈送来确定一个或更多个输入位置的存在/不存在，并且最终确定一个或更多个输入位置，例如，与设备命令相对应的目标特征的位置。例如，控制器可以使触摸屏设备显示命令菜单和/或导航菜单，其中各种特征的输入位置可以变化，然后在目标特征显示的任何地方选择性地接合目标特征。此外，控制器可以识别目标特征的不存在，并且响应于此，使机器人改变触摸屏设备显示的图像以找到目标特征，例如通过滚动浏览(scrolling through)导航菜单和/或命令菜单。
在各种情况下，摄像机可以故意聚焦在偏离由触摸屏限定的平坦表面的平面上。然后，摄像机可以记录由触摸屏显示的图像，同时摄像机的焦点偏离触摸屏，并且将该图像提供给控制器以识别目标特征在触摸屏上的位置。
应当理解的是，虽然本公开描述了若干示例及相关实施例，但本公开并不意图在其说明书中包括一切，也不是穷尽式的。因此，应当理解，可以合理地修改、重新布置或以其他方式改变本公开的主题，以实现类似的结果。
图1是说明性环境100，其包括机器人设备测试器(“机器人”)102和控制器104，用于识别显示在支持触摸屏的(touch screen enabled)电子设备(“触摸屏设备”)108上的目标特征106的位置，并控制机器人102的移动以选择性地接合目标特征106的位置处的触摸屏设备108。机器人102可以根据从控制器104接收的指令进行操作。例如，控制器104可以向机器人102发送命令。响应于这样的命令，然后机器人102可以执行移动以使可移动臂的探尖138接合触摸屏设备108的触摸屏显示器，从而启动要由触摸屏设备108执行的操作(例如，启动电话呼叫、与应用程序交互等)。
说明性环境还包括摄像机110，用于记录由触摸屏设备108显示的图像，并将图像(例如，作为视频馈送和/或单独的静止图像)发送到控制器104，以定位触摸屏设备108上的目标特征106，并且在目标特征位置变得已知之后，将命令发送到机器人102以选择目标特征106。因此，当特定目标特征是动态的，使得其可以在触摸屏设备108的各种位置和/或虚拟屏幕处/上显示时，控制器104可以例如通过分析来自摄像机110的图像来定位这样的目标特征，作为指示机器人102接合这些目标特征的先导(pre-curser)。当特定目标特征显示在静态位置时(例如，当显示时，总是显示在已知位置的特征)，控制器104可以指示机器人102接合在已知位置处的目标特征，而不用去搜索或以其他方式来定位目标特征。
如图所示，控制器104可以配备有一个或更多个处理器112和存储器114。存储器114可以包括应用程序、模块和/或数据。在一些实施例中，存储器114可以包括用于与机器人102和摄像机110交互的平台管理器116。平台管理器116可以包括校准模块118、测试协议模块120、特征定义模块122、特征定位器模块124和探尖致动模块126，以及使控制器102能够与机器人设备104交互，从而在触摸屏设备108上执行测试场景的其他可能模块。依次讨论每个模块。
校准模块118可以被用来校准机器人装置104的操作。在一些实施例中，在触摸屏设备108被牢固地安装到测试固定装置之后，控制器104可以识别并存储触摸屏显示器的各个位置，作为校准操作的一部分。例如，控制器104可以识别并存储定义触摸屏设备108的触摸屏显示部分的周边的信息。校准模块118可以识别触摸屏显示器的平坦表面，并且可以在平坦表面内创建参考坐标系，以使用户(例如，工程师、研究人员等)能够指定各个触摸屏输入的位置。例如，用户可指定由触摸屏设备108显示的代表QWERTY键盘的虚拟按钮的位置。
测试协议模块120可以生成并发送控制机器人102的移动的指令，机器人102通过与触摸屏设备108的交互来执行一个或更多个测试。测试协议模块120可以提供用于执行压力测试、重复测试、性能测试(例如，速度、电池寿命等)、屏幕灵敏度测试或其他类型的测试的指令。测试协议模块120可以存储高级指令，其缺少在由机器人102执行期间使用的至少一些信息。可以存储使机器人102选择特定目标特征(例如“暂停记录”目标特征106)的高级指令。在执行期间，这样的高级指令可以执行一个或更多个子指令以获得要在执行高级指令期间使用的任何信息。例如，被设计为接合所述“暂停记录”目标特征106的高级指令可以包括/调用子指令以确定目标特征106当前是否显示在触摸屏设备108上，如果是，则确定其当前显示位置。如果确定当前未显示目标特征106，则控制器104可以使机器人102向触摸屏设备106提供输入，该输入使得目标特征106变为被显示，例如，机器人102可以提供触摸屏上的“滑动“输入以在虚拟屏幕之间切换和/或打开命令菜单。
特征定义模块122可以存储与要在由测试协议模块120实现或生成的各种指令中指定为目标特征的各种特征的视觉特性相对应的信息。例如，对应于“暂停记录”目标特征106的视觉特性的信息可以描述具有叠加在对比圆形背景上的两个直立条的图案，例如图1中的条目136。这种视觉特性信息还可以包括以下的定义：目标特征的组成部分的颜色和/或颜色范围；目标特征的部分与其他部分的纵横比，例如直立条相对于圆的尺寸；目标特征相对于触摸屏的方位；和/或可用于描述目标特征的任何其他视觉特性。在一些实施例中，可以经由显示在监视器130上的用户界面(“UI”)128来访问特征定义模块122。UI 128可以使用户能够输入目标特征的定义特征。例如，用户可以使触摸屏设备108在摄像机110的视场132内显示目标特征106，摄像机110可以将在触摸屏设备108上显示的图像的记录发送到特征定义模块122以便在UI 128上显示。UI 128可以使用户能够在测试协议期间选择感兴趣的特征作为目标特征的潜在设计。例如，用户可以操纵框134以定义感兴趣特征的外围(perimeter)。叠加在触摸屏的图像上的框134的内容可以在提取的图像框136中被放大，在其中用户可以在将图像保存为用于存储在特征定义模块122中的目标特征之前进一步操纵图像。示例性操作可以包括但不限于移除与感兴趣的特征无关的图像部分(例如触摸屏设备106的背景和/或主题颜色)，或者定义目标特征的特性，例如，如果一停止符号被指定为目标特征，则用户可以指示该特征将永远显现为一些红色的阴影。根据各种实施例，UI 128还能使用户与平台管理器116的各种其他模块交互，包括但不限于本文描述的那些特定模块中的任何模块。
在运行测试协议期间，特征定位器模块124可扫描从摄像机110接收的图像以定位目标特征106并向测试协议模块120提供所确定的位置数据(例如目标特征在参考坐标系中的坐标)以补充高级指令。例如，测试协议模块120可以启动高级指令以暂停正在由触摸屏设备108执行的记录任务，并且可以调用特征定位器模块124来定位目标特征106以使其可以被接合。然后，特征定位器模块124可以访问由特征定义模块122所存储和/或生成的数据，以扫描图像，用于定义目标特征106的视觉特性。如果识别出视觉特性，则特征定位器模块124可以生成位置数据。特征定位器模块124还可以核查图像内的上下文信息以确认目标特征106未被错误识别。例如，在定位与目标特征106的视觉特性基本匹配的暂停符号时，特征定位器模块124可以扫描所识别的暂停符号的上下文环境以确保它位于短语“暂停记录”旁边并且它不在短语“暂停音乐”旁边或简单地叠加在串流媒体显示器上指示其选择将暂停视频而不是记录任务。特征定位器模块124还可以使用光学字符识别(OCR)将从摄像机110接收的图像转换为文本。在一些实施例中，特征定位器模块124还可以识别各种对象，诸如由触摸屏设备显示的虚拟按钮、链接或命令，并且可以使用机器人设备102与其交互。
探尖致动模块126可以选择并移动探尖138以接合触摸屏设备108的触摸屏显示器。探尖可以是合成垫(例如：橡胶处理过的、塑料的等)，其由机器人102可移动控制以根据来自测试协议模块120的指令接合触摸屏显示器。在一些实施例中，探尖致动模块126可从多个可用探尖中选择一探尖。在各种实施例中，探尖致动模块126通过移动同时接合触摸屏显示器的两个或更多个探尖来可控地执行在触摸屏设备108上的多点操作。
尽管图1仅示出一个控制器，控制器104的组件/模块或组件/模块的部分可以在单独的计算设备上实现，如专用于机器人102的单独计算设备和专用于运行测试协议的单独计算设备。因此，根据本公开发明，图1中所描述的各种组件可以全部或部分地在不同计算设备的任何组合中被实现。
图2描述示例性实现方式200，其中触摸屏设备108响应于从机器人102随时间接收的各种输入而显示各种图像。特别是图2描绘了触摸屏设备108响应于根据时间线202经由机器人移动探尖138提供给触摸屏的各种输入来改变显示的图像。时间线202从左侧开始，使得时间从左向右流逝。
在该示例性实现方式中，触摸屏设备108被描绘为显示“开始记录”目标特征106(1)，其可被选择以使记录应用程序生成与触摸屏设备108在测试协议期间接收到的输入或执行的动作相对应的数据日志。在T0，机器人102可以将探尖138移动为与触摸屏接触以启动生成数据日志。
在从T1到T2的时间间隔期间，平台可以执行测试协议的一部分，同时触摸屏设备108生成其日志。例如，测试协议可以包括确认触摸屏设备108能够接收消息和/或电话呼叫。在测试协议期间的某个时刻，可能希望接合另一个目标特征，例如“暂停记录”目标特征106(2)，但在目标特征106(2)在触摸屏上实际可见之前，可能无法确定该目标特征的位置。此外，在某些在实现方式中，可能需要一个或更多个输入以便使目标特征106(2)被显示。因此，在T2，机器人102可以将探尖138移动到与触摸屏接触以使得目标特征106(2)被显示，例如，可在触摸屏上滑动探尖138以使得显示命令菜单，如显示在图1的UI 128上的命令菜单以及显示在图2的各种显示部分中的命令菜单。
在从T3到T4的时间间隔期间，平台可识别目标特征106(2)的位置并使用该位置来补充高级指令，例如暂停记录任务的指令。例如，平台管理器116可以访问使用特征定义模块122所生成的视觉特性数据，并将该数据提供给特征定位器模块124，以在扫描从摄像机110接收的图像时使用。在确定目标特征106(2)的位置和/或坐标时，特征定位器模块可以将该信息提供给测试协议模块120，然后测试协议模块120可以将暂停记录任务的高级指令转换为机器人102可以理解的详细指令，例如G代码(或其他数字控制编程语言)，其指示机器人102将探尖138移动到与目标特征106(2)的当前位置处的触摸屏接触。然后，在T4，特定指令机器人的指令可以由控制器104发送给机器人102，从而使机器人102选择性地接合目标特征106(2)。
在从T4到T5的时间间隔期间，平台可以执行测试协议的附加部分，直到可能期望接合另一目标特征106(3)(例如“恢复记录”目标特征)的时间为止。在一些实现方式中，平台可以执行与其在T2所执行的类似的动作以使得目标特征106(3)被显示。然而，可以确定的是，尽管正在显示命令菜单，但是“恢复记录”目标特征106(3)当前未被显示。因此，在T5，平台可以通过使触摸屏设备108改变图像直到显示目标特征为止来响应此确定，例如通过从屏幕底部向上滑动探尖138以滚动浏览整个命令菜单，直到特征定位器模块124识别出“恢复记录”目标特征106(3)为止。例如，在从T5到T6的时间间隔期间，平台可以定位并选择目标特征106(3)。
图3是用于在触摸屏设备上执行测试的说明性过程的流程图300，其包括在基于摄像机馈送所识别的位置处机器人实现的接合目标特征。过程300被示为逻辑流程图中的框的集合，这些框表示可用硬件、软件或其组合实现的操作序列。框的集合在各个实体下被组织，这些实体可以执行框中所描述的各种操作。在软件的上下文中，框表示计算机可执行指令，该指令当由一个或更多个处理器执行时，执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被解释为限制，并且任何数量的所描述的框可以按任何顺序和/或并行地组合以实现所述过程。除了过程300之外，贯穿本公开描述的其他过程应相应地解释。
在302处，平台可确定对应于测试协议的指令以使机器人102用探尖138接合触摸屏。指令可以被设计为模拟用户与触摸屏设备108的交互，例如，探尖138可以模拟人类指尖的导电性质，并且指令可以使机器人102像用户移动其手指那样移动探尖(或多个探尖)以控制触摸屏设备108。
在304处，平台可以命令机器人102执行包括一个或更多个数控(NC)命令的第一指令，以通过机器人控制探尖138的移动，例如，定义机器人致动以实现探尖138的精确移动的G代码命令。在一些实施方式中，第一指令的执行致使触摸屏设备108显示包括至少一个目标特征106的图像。例如，如果目标特征106对应于通知和/或命令菜单，则第一指令可以提示触摸屏设备108打开通知和/或命令的菜单。或者，如果目标特征对应于可以出现在众多虚拟屏幕之一上的应用程序图标(例如，触摸屏设备操作系统可以在多个虚拟屏幕上组织应用程序图标，用户可以切换应用程序图标以定位感兴趣的图标)，然后第一指令可以提示触摸屏设备108切换到显示目标特征的虚拟屏幕。
在306处，平台可从摄像机110接收所记录的图像，图像包括由触摸屏设备108显示的内容。例如，触摸屏设备108可位于和/或被固定在摄像机110的视场内，摄像机110可发送实时图像馈送(例如视频馈送)到平台和/或许多静止图像。如本文所使用的，术语“记录”(例如，图像的记录)不限于在存储介质上存储任何特定持续时间的记录，而是包括摄像机110所捕获的图像的任何传输。
在308处，平台可扫描或以其他方式分析从摄像机110接收的图像以识别目标特征的位置，例如用于控制机器人的参考系内的坐标。在一些情况下，位置可以表示为目标特征的估计中心点，例如特征的质心。在一些情况下，位置可以表示为目标特征的几何外围，例如定义目标特征边界的正方形或圆形。在308处，识别目标特征的位置可基于图案识别算法，以使特征定位器模块124能够访问存储图案信息的数据文件，例如对应于图案的视觉特性信息，并使用该数据文件来扫描图像并将图案信息与图像的一个或更多个部分相匹配。例如，特征定位器模块124可以访问与“暂停记录”目标特征106(2)相对应的数据文件，并使用该文件来识别图像的任何部分，这些部分与图2中显示的“暂停记录”符号的视觉特性相似或以其他方式匹配。在一些实现方式中，在308处识别目标特征的位置可以利用机器学习技术通过识别图像各部分之间的图案和规律将对应于数据文件的图案与图像的各部分进行匹配。
在框308处识别目标特征的位置可包括识别与目标图像的位置相对应的摄像机图像的一个或更多个像素。例如，特征定位器模块124可以确定目标特征的质心本质上由图像中的已知位置处的特定像素显示。平台可进行校准，以便知道像素位置与对应的参考坐标位置之间的关系，因此，可以直接从像素位置数据确定参考坐标系位置，例如用于编程NC命令的坐标系。
在310处，平台可以使用所识别的位置来使机器人接合触摸屏上的目标特征，例如将探尖移动到在所识别的位置处与触摸屏接触。可以生成具体的NC命令并将其发送到机器人102以定义具体的探尖致动运动。例如，机器人102可以被校准以定义与触摸屏平行的x-y坐标系，而附加的z坐标垂直于触摸屏。因此，基于这样的坐标系，可以生成NC命令(例如，G代码命令)以定义要由机器人102执行的具体致动。
图4是用于在触摸屏设备106上执行测试的说明性过程的流程图，所述过程包括确定目标特征是否具有已知/静态位置或未知/动态位置。
在402，平台可以提示触摸屏设备显示命令菜单和/或虚拟屏幕。例如，平台可以使机器人102从触摸屏的顶部上下滑动以打开通知/命令菜单，例如，如图2中所示。或者，平台可以使机器人102在触摸屏上左右滑动以滚动浏览显示不同分组的特征和/或应用程序图标的各种虚拟屏幕。
在404，平台可以确定目标特征是否是静态的，以便使其显示在触摸屏设备上的固定位置。例如，如图2所示的“WiFi ON-Off”目标特征106(4)可以是静态的，以便每当命令菜单被显示时，“WiFi ON-off”按钮总是显示在触摸屏上的同一位置上。如果目标特征是静态的(例如，在提供打开命令菜单的指令之前有一可确定的输入位置)，则过程可以进行到406，其中目标特征可以在预定位置处被接合。例如，在测试协议包括打开或关闭触摸屏设备108的Wifi功能的场景中，平台可以从框402进行到框406，而无需分析任何图像来确定“WiFi ON-Off”目标特征106(4)的位置，因为该位置在其甚至显示之前就已经知道。
然而，如果目标特征是动态的(例如，在其实际显示在触摸屏上之前具有不可确定的输入位置)，则过程可以前进到框408，在框408处确定当前是否显示目标特征。例如，平台可以扫描所接收到的图像以定位目标特征。在确定当前显示目标特征时，如上所述，过程可以进行到框306。在确定当前未显示目标特征时，过程可以前进到框410，在框410处执行指令，指令使得触摸屏设备通过滚动浏览命令菜单和/或切换各种虚拟屏幕来改变所显示的图像，直到目标特征被显示及可定位为止。例如，在执行测试协议时，可以指示触摸屏设备106(通过来自机器人102的命令)下载应用程序。触摸屏设备108可以被配置为在网格中显示应用程序图标，网格被配置为显示多达预定数量的应用程序图标，例如，在4乘4网格配置中，特定虚拟屏幕可以显示多达16个应用程序图标。如果触摸屏设备108当前具有一具有15个或更少的应用程序图标的单个虚拟屏幕，则可以将新下载的应用程序的应用程序图标放置在现有的虚拟屏幕上，且控制器104可经由从摄像机110所接收到的图像来定位它。或者，如果现有的虚拟屏幕已经包括16个应用程序图标的完整网格，则可以将新下载的应用程序的应用程序图标放置在新创建的虚拟屏幕上。在这种情况下，控制器可以先在一个虚拟屏幕上搜索图标，如果它不位于该屏幕上，则控制器104可以使机器人102滚动到另一个新的虚拟屏幕。
图5A-5C描绘了摄像机校准过程的各种状态的平台，用于将摄像机110配置为具有相对于触摸屏的偏移焦点或平面。例如，在各种实现方式中，摄像机110可以刻意地相对于触摸屏设备失焦。具体地，摄像机110的实际焦点可以故意设置在正在显示图像的触摸屏的前面或后面。
参见图5A所示，包括焦点目标504的焦点夹具502可被放置在测试位置506。在一些实施例中，测试位置506可包括一个或更多个定位元件508，例如，如图5所示的锥形钉。定位元件可以被配置成配对焦点夹具502和/或设备固定装置510中的一个或两个，以将触摸屏设备108固定在测试位置。例如，图5A中描绘的焦点夹具502被显示为与相同的定位元件508互锁/配对，而定位元件508与设备固定装置510互锁如图5C所示。如图所示，焦点目标504距摄像机110的距离(参见图5A)小于从触摸屏设备108的触摸屏到摄像机的距离(参见图5C)。因此，一旦使得摄像机110的焦点落在焦点目标504上，例如使焦点目标504的摄像机110呈现的图像尽可能清晰(crisp)，然后用设备固定装置510转换焦点夹具502，摄像机110将刻意地与触摸屏设备108失焦焦点偏移距离512。
参见图5B，在一些实现方式中，焦点偏移距离512可以在不使用焦点夹具502的情况下实现，而是通过将焦点目标514放置在触摸屏设备108上方来实现，例如将具有附加于其的焦点目标的框直接置于触摸屏设备108的顶部。由图5B所示的实现方式实现的焦点偏移距离512由浅灰线表示，该浅灰线从屏幕上具有焦点目标514的图5B延伸至焦点目标514已从其中移除的图5C。
图6是用于在测试协议期间或之前校准摄像机以使其焦点偏离触摸屏设备的说明性过程600的流程图。过程600描述所采用的步骤以利用图5A到5C所描绘的结构，也可以使用其他结构来达到焦点偏移距离512。
在602处，可以将触摸屏设备放置在摄像机视场内的测试位置处。例如，如图5C中所描绘的，触摸屏设备108可以被固定到设备固定装置510，设备固定装置510可以经由定位元件508正确地位于测试位置处。
在604，可对焦或校准摄像机以实现与触摸屏设备108的焦点偏移距离512。焦点偏移距离512可以减少和/或消除在测试协议期间由摄像机记录的图像的失真，并因此可以提高特征定位器模块124识别和定位目标特征的坐标的能力。例如，图像中的失真(例如莫尔线)可能会妨碍图案识别。诸如莫尔线之类的图像失真可能对图案识别技术产生的负面影响可能超过摄像机略微失焦(即失焦焦点偏移距离512)的负面影响。在一些实现方式中，在604处引起焦点偏移距离发生在框602处将触摸屏设备放置在测试位置之前，并且可以包括在过程600的框606处将摄像机110聚焦到焦点夹具502的焦点目标504上。在一些实现方式中，使得在框602处将触摸屏设备放置在测试位置之后在604处发生焦点偏移距离，并且可以包括将焦点目标514放置在触摸屏设备108的顶部上，然后在过程600的框608处将摄像机110聚焦到焦点目标514上。
一旦实现焦点偏移距离512，就可以在框610处启动计算机实现的测试协议。例如，示例性计算机实现的测试协议可以包括本公开中针对图3和图4所描述的那些操作。
尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但应理解的是，所附权利要求书中定义的主题不一定限于所描述的具体的结构特征和/或方法动作。相反，具体的结构特征和/或方法动作被公开为实现权利要求的示例性形式。本公开和所附权利要求的范围不受这些示例性形式的限制。特别地，无论是由说明书明确提供还是由说明书隐含的许多变化，例如结构特征和/或方法动作的变化，无论是现在是本领域已知的还是随后开发的，都可以根据本公开由本领域技术人员之一实现。

Claims (20)

1.一种方法，包括：
确定多个指令以使机器人移动探尖，以选择性地接合触摸屏设备的触摸屏，从而向所述触摸屏设备提供对应于测试协议的输入，其中所述触摸屏位于摄像机的视场内，并且其中所述输入模拟用户与所述触摸屏设备的交互；
执行所述多个指令中的第一指令，以使所述机器人向所述触摸屏设备提供第一输入，所述第一输入使得所述触摸屏设备显示包括至少目标特征的图像；
从所述摄像机接收包括至少所述目标特征的所述图像的记录；
基于所述图像的所述记录，识别所述目标特征在所述摄像机的所述视场内的位置；以及
基于识别所述目标特征的所述位置，执行第二指令以使所述机器人移动所述探尖以选择性地接合所述目标特征的所述位置处的所述触摸屏，从而向所述触摸屏设备提供与所述目标特征相关联的第二输入。
2.根据权利要求1所述的方法，其中所述第一输入提示所述触摸屏设备显示包括所述目标特征的命令菜单，以及
其中所述目标特征的所述位置至少部分地取决于所述命令菜单的状态。
3.根据权利要求2所述的方法，其中所述触摸屏设备被配置为执行记录任务以在所述测试协议期间生成数据日志，并且其中所述第二输入使得所述触摸屏设备启动、暂停、恢复或终止所述记录任务。
4.根据权利要求2所述的方法，还包括：
基于所述图像的所述记录确定所述目标特征不存在于所述摄像机的所述视场内；以及
响应于确定所述目标特征不存在，执行第三指令以使所述机器人向所述触摸屏设备提供第三输入，所述第三输入使得所述触摸屏设备滚动浏览所述命令菜单从而使所述图像包括所述目标特征。
5.根据权利要求1所述的方法，还包括：
在执行所述第一指令之前，使用户终端的图形用户界面显示所述目标特征的图像；以及
在所述用户终端处接收用户输入，所述用户输入定义所述图形用户界面上的所述图像内的所述目标特征的一个或更多个边界，其中，识别所述目标特征在所述摄像机的所述视场内的所述位置是至少基于所述用户输入的。
6.根据权利要求1所述的方法，还包括：接收与所述目标特征的一个或更多个视觉特性相对应的数据文件，其中，识别所述目标特征在所述摄像机的所述视场内的所述位置是至少基于所述数据文件的。
7.根据权利要求1所述的方法，其中所述多个指令中的第一组指令对应于在向所述触摸屏设备提供所述第一组指令中的各个指令之前能够确定的静态输入位置，其中所述多个指令中的第二组指令对应于在向所述触摸屏设备提供所述第二组指令中的各个指令之前不能够确定的动态输入位置。
8.一种用于在测试协议期间接合动态定位的目标特征的系统，所述系统包括：
机器人，用于通过将探尖移动到与触摸屏设备的触摸屏接触来向所述触摸屏提供输入，其中所述触摸屏位于摄像机的视场内，所述摄像机被配置为记录由所述触摸屏设备呈现的图像；和
控制器，用于由所述机器人通过执行以下操作来控制所述探尖的移动：
为所述机器人提供第一指令，以使所述机器人向所述触摸屏设备提供第一输入；
从所述摄像机接收由所述触摸屏设备呈现的所述图像的记录；
扫描所述图像的所述记录以确定所述目标特征在与所述机器人相关联的参考坐标系内的参考坐标位置；以及
基于所述参考坐标位置，向所述机器人提供第二指令，以使所述机器人向所述触摸屏设备提供第二输入，所述第二输入用于模拟用户对所述目标特征的选择。
9.根据权利要求8所述的系统，所述操作还包括：
经由用户终端接收与对应于图形用户界面上的一个或更多个图像内的多个目标特征的边界相关联的用户输入；
基于与所述边界相关联的所述用户输入，生成与所述多个目标特征中的各个目标特征的视觉特性相对应的目标特征数据，其中，所述扫描包括访问与所述目标特征相关联的所述目标特征数据的部分。
10.根据权利要求8所述的系统，所述操作还包括：
基于所述扫描，确定所述目标特征不存在于所述摄像机的所述视场内；以及
响应于确定所述目标特征不存在，执行第三指令以使所述机器人向所述触摸屏设备提供第三输入，从而使所述图像包括所述目标特征。
11.根据权利要求10所述的系统，其中所述第三输入使得所述触摸屏设备从第一组应用程序图标滚动到第二组应用程序图标，所述第二组应用程序图标包括所述目标特征。
12.根据权利要求8所述的系统，其中所述第一输入包括敲击动作或滑动动作中的至少一个，所述敲击动作使所述探尖接合所述触摸屏上的单个位置，所述滑动动作拖曳所述探尖通过所述触摸屏的一部分。
13.根据权利要求12所述的系统，其中所述敲击动作或所述滑动动作中的至少一个使所述触摸屏设备显示所述目标特征。
14.根据权利要求8所述的系统，所述操作还包括：
基于所述扫描，确定与所述目标图像所位于的所述记录的至少一个像素相对应的像素位置数据；以及
基于所述像素位置数据确定所述参考坐标位置。
15.根据权利要求8所述的系统，其中扫描所述图像的所述记录以确定所述参考坐标位置包括：将预定图案的视觉特性与所述图像的所述记录的一部分相匹配。
16.一种方法，包括：
将触摸屏设备放置在摄像机的视场内并与机器人相邻的测试位置，所述机器人被配置为将探尖移动到与所述触摸屏设备的触摸屏相接触；
使所述摄像机的焦点位于所述触摸屏的前面或后面；以及
启动计算机实现的测试协议以测试所述触摸屏设备的一个或更多个功能，所述计算机实现的测试协议用于执行操作，所述操作包括：
当所述焦点位于所述触摸屏的前面或后面时，从所述摄像机接收由所述触摸屏显示的图像，所述图像至少包括目标特征；
基于所述图像识别所述目标特征在所述触摸屏上的位置；以及
通过将所述探尖移动到与所述位置处的所述触摸屏接触来使所述机器人选择所述目标特征。
17.根据权利要求16所述的方法，其中使所述摄像机的所述焦点位于所述触摸屏的前面或后面包括：
将焦点夹具放置在所述测试位置处，所述焦点夹具包括至少一个焦点目标；
将所述摄像机聚焦到所述至少一个焦点目标上；以及
在将所述触摸屏设备放置在所述测试位置之前，从所述测试位置移除所述焦点夹具。
18.根据权利要求17所述的方法，其中将所述触摸屏设备放置在所述测试位置处包括将所述触摸屏设备固定到设备固定装置，当所述触摸屏设备处于所述设备固定装置中时，所述触摸屏可以被使用。
19.根据权利要求18所述的方法，其中所述测试位置包括一个或更多个定位元件，所述一个或更多个定位元件通常被配置为与所述焦点夹具和所述设备固定装置中的每一个相配对。
20.根据权利要求16所述的方法，其中使所述摄像机的所述焦点位于所述触摸屏的前面或后面包括：
将焦点目标放置在所述触摸屏设备的上方；以及
将所述摄像机聚焦于所述焦点目标。
CN201780043298.6A 2016-07-12 2017-07-06 用于接合动态定位的目标特征的触摸屏测试平台 Active CN109476014B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/208,536 US10120474B2 (en) 2010-12-09 2016-07-12 Touch screen testing platform for engaging a dynamically positioned target feature
US15/208,536 2016-07-12
PCT/US2017/040983 WO2018022274A1 (en) 2016-07-12 2017-07-06 Touch screen testing platform for engaging a dynamically positioned target feature

Publications (2)

Publication Number Publication Date
CN109476014A true CN109476014A (zh) 2019-03-15
CN109476014B CN109476014B (zh) 2022-04-29

Family

ID=61017371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780043298.6A Active CN109476014B (zh) 2016-07-12 2017-07-06 用于接合动态定位的目标特征的触摸屏测试平台

Country Status (3)

Country Link
EP (1) EP3484670A4 (zh)
CN (1) CN109476014B (zh)
WO (1) WO2018022274A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405218A (zh) * 2020-03-26 2020-07-10 深圳市微测检测有限公司 触摸屏时延检测方法、系统、装置、设备和存储介质
CN111553357A (zh) * 2019-12-12 2020-08-18 电子科技大学中山学院 包含滑动图案标识的产品功能耐久性测试自学习方法
CN114754677A (zh) * 2022-04-14 2022-07-15 平方和(北京)科技有限公司 一种触摸屏和触控笔测试设备中自动精确定位的装置和方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111015667B (zh) * 2019-12-27 2021-09-28 达闼机器人有限公司 机械臂控制方法、机器人及计算机可读存储介质
CN115128387A (zh) * 2022-08-19 2022-09-30 北京东舟技术股份有限公司 机器人末端触屏测试系统、触屏测试系统及触屏测试方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1853876A (zh) * 2005-04-25 2006-11-01 Lg电子株式会社 能够指定移动区域的机器人系统
CN102436334A (zh) * 2011-10-27 2012-05-02 苏州瀚瑞微电子有限公司 电容触摸屏系统测试机
US20120146956A1 (en) * 2010-12-09 2012-06-14 T-Mobile Usa, Inc. Touch Screen Testing Platform
CN103168485A (zh) * 2010-07-02 2013-06-19 T移动美国公司 交换矩阵和测试平台
CN103379283A (zh) * 2012-04-27 2013-10-30 捷讯研究有限公司 具有动态触摸屏快门的照相设备
US20140111484A1 (en) * 2012-10-24 2014-04-24 Microsoft Corporation Input Testing Tool
US20140309775A1 (en) * 2010-12-09 2014-10-16 T-Mobile Usa, Inc. Touch Screen Testing Platform Having Components for Providing Conductivity to a Tip
US20150070304A1 (en) * 2012-04-16 2015-03-12 Vorbeck Materials Capacitive touch device brush stylus
US20150169183A1 (en) * 2013-12-18 2015-06-18 Samsung Electronics Co., Ltd. Method for controlling a composition of a home screen and electronic device thereof
TW201540447A (zh) * 2014-04-26 2015-11-01 Kiosklife Technology Corp 體感控制導覽機器人移動、追蹤、螢幕角度調整的方法
CN105093013A (zh) * 2015-07-23 2015-11-25 中国科学院上海光学精密机械研究所 触摸屏检测装置
CN105547120A (zh) * 2015-12-15 2016-05-04 中国矿业大学 一种基于电容触摸屏的平面机器人位置检测方法及系统
CN105549595A (zh) * 2016-02-03 2016-05-04 南京聚特机器人技术有限公司 基于智能移动终端的机器人控制系统及控制方法
CN105547071A (zh) * 2014-10-24 2016-05-04 发那科株式会社 检测对象物的位置的位置检测系统
US20160187876A1 (en) * 2014-12-05 2016-06-30 W2Bi, Inc. Smart box for automatic feature testing of smart phones and other devices

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761938B2 (en) * 2008-04-18 2014-06-24 David Jenkinson Robotic device tester
US20100095234A1 (en) * 2008-10-07 2010-04-15 Research In Motion Limited Multi-touch motion simulation using a non-touch screen computer input device
US9116611B2 (en) * 2011-12-29 2015-08-25 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
US9283672B1 (en) * 2014-12-11 2016-03-15 Apkudo, Llc Robotic testing device and method for more closely emulating human movements during robotic testing of mobile devices

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1853876A (zh) * 2005-04-25 2006-11-01 Lg电子株式会社 能够指定移动区域的机器人系统
CN103168485A (zh) * 2010-07-02 2013-06-19 T移动美国公司 交换矩阵和测试平台
US20140309775A1 (en) * 2010-12-09 2014-10-16 T-Mobile Usa, Inc. Touch Screen Testing Platform Having Components for Providing Conductivity to a Tip
US20120146956A1 (en) * 2010-12-09 2012-06-14 T-Mobile Usa, Inc. Touch Screen Testing Platform
CN102436334A (zh) * 2011-10-27 2012-05-02 苏州瀚瑞微电子有限公司 电容触摸屏系统测试机
US20150070304A1 (en) * 2012-04-16 2015-03-12 Vorbeck Materials Capacitive touch device brush stylus
CN103379283A (zh) * 2012-04-27 2013-10-30 捷讯研究有限公司 具有动态触摸屏快门的照相设备
US20140111484A1 (en) * 2012-10-24 2014-04-24 Microsoft Corporation Input Testing Tool
US20150169183A1 (en) * 2013-12-18 2015-06-18 Samsung Electronics Co., Ltd. Method for controlling a composition of a home screen and electronic device thereof
TW201540447A (zh) * 2014-04-26 2015-11-01 Kiosklife Technology Corp 體感控制導覽機器人移動、追蹤、螢幕角度調整的方法
CN105547071A (zh) * 2014-10-24 2016-05-04 发那科株式会社 检测对象物的位置的位置检测系统
US20160187876A1 (en) * 2014-12-05 2016-06-30 W2Bi, Inc. Smart box for automatic feature testing of smart phones and other devices
CN105093013A (zh) * 2015-07-23 2015-11-25 中国科学院上海光学精密机械研究所 触摸屏检测装置
CN105547120A (zh) * 2015-12-15 2016-05-04 中国矿业大学 一种基于电容触摸屏的平面机器人位置检测方法及系统
CN105549595A (zh) * 2016-02-03 2016-05-04 南京聚特机器人技术有限公司 基于智能移动终端的机器人控制系统及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DIGIMARIX: "《Touch and Sense Test with Mitsubishi Robots》", 31 December 2014 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553357A (zh) * 2019-12-12 2020-08-18 电子科技大学中山学院 包含滑动图案标识的产品功能耐久性测试自学习方法
CN111553357B (zh) * 2019-12-12 2020-11-24 电子科技大学中山学院 包含滑动图案标识的产品功能耐久性测试自学习方法
CN111405218A (zh) * 2020-03-26 2020-07-10 深圳市微测检测有限公司 触摸屏时延检测方法、系统、装置、设备和存储介质
CN114754677A (zh) * 2022-04-14 2022-07-15 平方和(北京)科技有限公司 一种触摸屏和触控笔测试设备中自动精确定位的装置和方法
CN114754677B (zh) * 2022-04-14 2022-10-14 平方和(北京)科技有限公司 一种触摸屏和触控笔测试设备中自动精确定位的装置和方法

Also Published As

Publication number Publication date
EP3484670A4 (en) 2020-08-12
CN109476014B (zh) 2022-04-29
WO2018022274A1 (en) 2018-02-01
EP3484670A1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
US11724402B2 (en) Touch screen testing platform for engaging a dynamically positioned target feature
CN109476014A (zh) 用于接合动态定位的目标特征的触摸屏测试平台
AU2010366331B2 (en) User interface, apparatus and method for gesture recognition
US8996166B2 (en) Touch screen testing platform
CN102904996B (zh) 一种手机触摸屏性能测试的方法及装置、系统
US20110157040A1 (en) Touchpanel device, and control method and program for the device
JP2011507123A (ja) パッシブマトリックス式多点接触タッチセンサのための走査特性変更式分析用電子回路
US20160350137A1 (en) Guide file creation program
CN102135853A (zh) 用于触控显示装置的信息处理方法
CN102246132A (zh) 为使用触摸屏设备的绘画提供预测模型的方法和装置
JP2009003867A (ja) 表示装置およびコンピュータ・プログラム
CN102279700A (zh) 显示控制设备、显示控制方法、显示控制程序及记录介质
CN101639758A (zh) 信息处理设备,方法和程序
CN108733303A (zh) 便携式终端的触摸输入方法和设备
JP2011081778A (ja) ディスプレイ非依存のコンピュータによるガイダンス方法および装置
CN112258161A (zh) 一种基于机器人的智能软件测试系统及测试方法
CN109906428A (zh) 在电容传感器上定位有源触控笔
CN108027704A (zh) 信息处理设备、信息处理方法及程序
CN105474164B (zh) 间接输入的歧义消除
KR101796009B1 (ko) 프로그램 자동 분석 시스템 및 이를 이용한 자동분석 방법
JP2005235202A (ja) 強調表示パニング・ウィンドウを有するｇｕｉを実現するプログラム
CN100362454C (zh) 基于交互的计算机接口方法及装置
Xue et al. Learning‐Replay Based Automated Robotic Testing for Mobile App
CN113721582A (zh) 座舱系统响应效率测试方法、设备、存储介质及装置
US20090273569A1 (en) Multiple touch input simulation using single input peripherals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant