CN112987997B - 一种用户界面菜单的寻路方法和计算机设备 - Google Patents

一种用户界面菜单的寻路方法和计算机设备 Download PDF

Info

Publication number
CN112987997B
CN112987997B CN201911309734.7A CN201911309734A CN112987997B CN 112987997 B CN112987997 B CN 112987997B CN 201911309734 A CN201911309734 A CN 201911309734A CN 112987997 B CN112987997 B CN 112987997B
Authority
CN
China
Prior art keywords
option
target
menu
candidate
cursor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911309734.7A
Other languages
English (en)
Other versions
CN112987997A (zh
Inventor
李军
林泽锋
路惠明
刘春梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN201911309734.7A priority Critical patent/CN112987997B/zh
Publication of CN112987997A publication Critical patent/CN112987997A/zh
Application granted granted Critical
Publication of CN112987997B publication Critical patent/CN112987997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种用户界面菜单的寻路方法和计算机设备，所述方法，包括：获取目标选项，根据所述目标选项确定显示的用户界面对应的菜单树；根据所述菜单树确定目标选项对应的移动路径；将光标移动到所述移动路径的第一选项，再根据所述移动路径将光标从第一选项移至所述目标选项。在本发明中，根据菜单树确定目标选项对应的移动路径，菜单树与显示的用户界面对应，当用户界面改变时，不需要修改底层代码，只需要更改用户界面对应的菜单树，因此本发明适用于多种风格的用户界面。

Description

一种用户界面菜单的寻路方法和计算机设备
技术领域
本发明涉及自动控制技术领域，尤其涉及一种用户界面菜单的寻路方法和计算机设备。
背景技术
目前的电视系统越来越复杂，人工测试工作量巨大，自动化测试系统尤为重要，现有的电视的自动测试方法，大多是利用安卓自动化框架操作点击控件实现，此方法直接通过底层代码找到目标点，局限性在于，若UI改变，需要修改底层代码，否则无法实现自动化操作，这样，在规模性的自动化测试中，对于不同的用户界面(User Interface,UI)，需要分别准备不同的代码，技术人员需要做的工作量太大。
因此，现有技术有待改进和发展。
发明内容
本发明要解决的技术问题是，提供一种用户界面菜单的寻路方法和计算机设备，以实现对于用户界面菜单的寻路不依赖某种机型的系统结构，而且在用户界面变化后，不需要修改脚本代码。
第一方面，本发明提供了一种用户界面菜单的寻路方法，所述方法包括：
获取目标选项，根据所述目标选项确定显示的用户界面对应的菜单树；
根据所述菜单树确定目标选项对应的移动路径；
将光标移动到所述移动路径的第一选项，再根据所述移动路径将光标从第一选项移至所述目标选项。
作为进一步的改进技术方案，根据各级菜单，获取目标菜单对应的各上级菜单，其中，所述目标菜单为所述目标选项对应的菜单；
按照各上级菜单的层级高低为各上级菜单分别对应的选项排序，并将目标选项排在各上级菜单分别对应的选项之后，以得到所述目标选项对应的移动路径。
作为进一步的改进技术方案，所述将光标移动到所述移动路径的第一选项，包括：
在主页面确定第一选项的位置信息；
获取所述第一选项的位置信息对应的红外键值；
根据所述第一选项的位置信息对应的红外键值将所述光标移动到第一选项。
作为进一步的改进技术方案，所述根据所述移动路径将光标从第一选项移至所述目标选项，包括：
将第一选项作为初始选项，并将所述初始选项的后一选项作为候选选项；
根据所述移动路径将光标从初始选项移动到候选选项；
若所述候选选项不为所述目标选项，则将所述候选选项作为初始选项，并将候选选项的后一项作为候选选项，并继续执行所述根据所述移动路径将光标从初始选项移动到候选选项的步骤，直至所述候选选项为所述目标选项。
作为进一步的改进技术方案，所述根据所述移动路径将光标从初始选项移动到候选选项之后，还包括：
在候选图片中确定所述候选选项对应的目标区域，其中，所述候选图片为光标移动至候选选项后显示的图片；
识别所述目标区域对应的文字信息，并根据预设的菜单树判断所述目标区域对应的文字信息是否与所述候选选项对应的文字信息一致；
若所述目标区域对应的文字信息与所述候选选项对应的文字信息一致，则确定光标移动至所述候选选项。
作为进一步的改进技术方案，所述根据预设的菜单树判断所述目标区域对应的文字信息是否与所述候选选项对应的文字信息一致之后，还包括：
若所述目标区域对应的文字信息与所述候选选项对应的文字信息不一致，则根据所述候选选项的位置信息将所述光标移动到所述候选选项的相邻选项，并将所述相邻选项作为所述候选选项；
继续执行所述在候选图片中确定目标区域的步骤，直至所述目标区域对应的文字信息与所述候选选项对应的文字信息一致。
作为进一步的改进技术方案，所述在候选图片中确定所述候选选项对应的目标区域，包括：
获取所述候选图片中每个像素点的RGB值；
针对每个像素点的RGB值，计算该RGB值与预设RGB值的差值的绝对值；
根据计算得到的所有绝对值确定所述候选图片对应的二值化图片；
根据预设规则在所述二值化图片中选取所述候选图片对应的目标区域，其中，所述预设规则为所述目标区域为所述二值化图片中的白色区域，且目标区域的区域大小等于预设阈值。
作为进一步的改进技术方案，所述根据所述移动路径移动光标到目标选项上之后，还包括：
进入所述目标选项对应目标菜单，并在所述目标菜单中获取所述目标选项的当前值；
判断所述当前值与预设的目标值是否相等；
若所述当前值与所述目标值不相等，则将所述当前值修改为所述目标值。
第二方面，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标选项，根据所述目标选项确定显示的用户界面对应的菜单树；
根据所述菜单树确定目标选项对应的移动路径；
将光标移动到所述移动路径的第一选项，再根据所述移动路径将光标从第一选项移至所述目标选项。
第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标选项，根据所述目标选项确定显示的用户界面对应的菜单树；
根据所述菜单树确定目标选项对应的移动路径；
将光标移动到所述移动路径的第一选项，再根据所述移动路径将光标从第一选项移至所述目标选项。
与现有技术相比，本发明实施例具有以下优点：
本发明实施方式提供的方法，包括：获取目标选项，根据所述目标选项确定显示的用户界面对应的菜单树；根据所述菜单树确定目标选项对应的移动路径；将光标移动到所述移动路径的第一选项，再根据所述移动路径将光标从第一选项移至所述目标选项。在本发明中，根据菜单树确定目标选项对应的移动路径，菜单树与显示的用户界面对应，当用户界面改变时，不需要修改底层代码，只需要更改用户界面对应的菜单树，因此本发明适用于多种风格的用户界面。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种用户界面菜单的寻路方法的流程图；
图2是本发明实施例中一种用户界面菜单的寻路方法的具体过程的流程图；
图3为本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
发明人经研究发现，现在的电视系统越来越复杂，人工测试工作量巨大，现有的电视的自动测试方法，大多是利用安卓自动化框架点击控件实现，此方法直接通过底层代码找到目标点，局限性在于，若用户界面改变，需要修改底层代码，否则无法实现自动化操作，这样，在规模性的自动化测试中，对于不同的用户界面，需要分别准备不同的代码，技术人员需要做的工作量太大。
为了解决上述问题，在本发明实施例中，根据目标选项确定显示的用户界面对应的菜单树，再根据菜单树确定将光标移动到目标选项对应的移动路径，进而根据移动路径将光标移动到目标选项。这样，当用户界面改变时，当用户界面改变时，不需要修改底层代码，只需要更改用户界面对应的菜单树，因此本发明适用于多种风格的用户界面。
本发明实施例提出的一种用户界面菜单的寻路方法，可以应用到安卓系统或Linux系统的电视中。
下面结合附图，详细说明本发明的各种非限制性实施方式。
参见图1，该方法可以包括步骤：
S1、获取目标选项，根据所述目标选项确定显示的用户界面对应的菜单树。
在本发明实施例中，所述目标选项可以是获取键入的信息得到的，也可以是识别接收的语音信息得到的，或者是接收的其他设备发送的目标选项；例如，获取输入的Contrast，则目标选项为Contrast。
在本发明实施例中，所述菜单树为预先设置的，用于测试电视机的测试系统中有多种用户界面(User Interface,UI)对应的菜单树；在获取到目标选项时，确定显示的用户界面的对应的菜单树。所述菜单树中包括UI中的各级菜单、各级菜单中的各选项、每个选项的值以及各级菜单、各选项和各选项的值分别通过光学字符识别(ORC)得到的字符信息，所述菜单树为excel或者json格式。
S2、根据所述菜单树确定目标选项对应的移动路径。
在本发明实施例中，菜单树包括UI中各级菜单，各级菜单中的各选项；移动路径由各选项组成，移动路径的最后一个选项为目标选项，例如，移动路径为：选项1-选项2-选项3-目标选项。根据所述菜单树确定目标选项对应的移动路径，首先，确定目标选项对应的目标菜单，再获取目标菜单的各上级菜单，各上级菜单中最高级的菜单为主页面，各上级菜单中，除了主页面外，每一级菜单均有对应的选项，例如，主页面中包括选项1，选项1对应的菜单为一级菜单，一级菜单中有选项2，选项2对应的菜单为二级菜单，二级菜单中有选项3，选项3对应的菜单为三级菜单中，三级菜单中有目标选项，则可以确定，移动路径为：选项1-选项2-选项3-目标选项。关于根据所述菜单树确定目标选项对应的移动路径的过程，会在后文详细介绍。
S3、将光标移动到所述移动路径的第一选项，再根据所述移动路径将光标从第一选项移至所述目标选项。
在本发明实施例中，移动路径的起点是第一选项，终点是目标选项，因此，得到移动路径后，首先将光标移动到第一选项，第一选项在主页中，将光标移动到所述移动路径的第一选项，即要在主页面中选中第一选项，使第一选项成为焦点，即光标停留的选项被选中，被选中的选项为焦点。计算机语言中所谓的焦点，就是关注的区域，当前光标被激活的位置，表示某个空间被选中，可以被操作。将光标移动到第一选项上的具体过程，会在后文详细介绍。
在本发明实施例中，根据所述移动路径将光标从第一选项移至所述目标选项。首先进入第一选项对应的一级菜单，在一级菜单中获取移动路径中排在第一选项后一位的第二选项，将光标移动到第二选项，再进入第二选项对应的二级菜单，如此，直至在某一级菜单中包括目标选项，并将光标移动到目标选项上，完成菜单寻路。根据所述移动路径将光标从第一选项移至所述目标选项的具体过程，会在后文详细介绍。
本发明实施方式提供的方法，包括：获取目标选项，根据所述目标选项确定显示的用户界面对应的菜单树；根据所述菜单树确定目标选项对应的移动路径；将光标移动到所述移动路径的第一选项，再根据所述移动路径将光标从第一选项移至所述目标选项。在本发明中，根据菜单树确定目标选项对应的移动路径，菜单树与显示的用户界面对应，当用户界面改变时，不需要修改底层代码，只需要更改用户界面对应的菜单树，因此本发明适用于多种风格的用户界面。
接下来，详细介绍根据所述菜单树确定目标选项对应的移动路径的内容，具体的，步骤S2包括：
S21、根据各级菜单，获取目标菜单对应的各上级菜单，其中，所述目标菜单为所述目标选项对应的菜单。
在本发明实施例中，所述菜单树包括各级菜单，每一级菜单均包括各选项，进入某一级菜单中的某一选项，可以进入该选项对应的菜单，该选项对应的菜单为某一级菜单的下一级菜单。目标选项对应的菜单为目标菜单，目标选项的对应的各上级菜单即目标菜单的各上级菜单。
例如，预设的菜单树中包括：
第一级菜单为setting，包括选项：picture、sound、channel、network和system，以及各选项分别对应的字符识别结果、各选项分别对应的移动路径和对应进入各选项分别对应的进入键值，第一级菜单：
Figure BDA0002324189520000081
第二级菜单为setting中的picture选项对应的菜单，同样第二级菜单包括多个选项，多个选项分别对应的字符识别结果，移动键值和进入键值，第二级菜单：
Figure BDA0002324189520000091
第三级菜单为picture选项对应的菜单中的advanced_settings选项对应的菜单，同样第三级菜单包括多个选项，多个选项分别对应的字符识别结果，移动键值和进入键值，第三级菜单：
Figure BDA0002324189520000092
第四级菜单为第三季菜单中contrast选项对应的菜单，在此例子中第四级菜单为最底层菜单，contrast选项对应的菜单中包括contrast选项的值，字符识别结果，移动键值和进入键值，第四级菜单：
Figure BDA0002324189520000093
例如，目标选项为Contrast，在菜单树中找到Contrast，Contrast对应的菜单为目标菜单，目标菜单为Contrast的value层，目标菜单对应的上级菜单包括：Advancedsettings菜单、Picture菜单和Setting菜单。
S22、按照各上级菜单的层级高低为各上级菜单分别对应的选项排序，并将目标选项排在各上级菜单分别对应的选项之后，以得到所述目标选项对应的移动路径。
在本发明实施例中，移动路径是从第一选项到目标选项的路径，目标菜单对应目标选项，一级菜单对应第一选项，光标进入第一选项，则UI显示一级菜单，在一级菜单中，进入第二选项，则UI显示二级菜单，一级菜单的等级高于二级菜单，目标菜单为最低层级菜单，因此，将一级菜单对应的第一选项排在第一位，将目标选项排在最后一位。
例如，在上例中，Contrast对应的上级菜单包括：Advanced settings菜单、Picture菜单和Setting菜单，各上级菜单的层级之间的高低顺序：Setting菜单的层级高于Picture菜单，Picture菜单的层级高于Advanced settings菜单，Advanced settings菜单、Picture菜单和Setting菜单对应的选项分别为：Setting、Picture和Advanced settings，对各选项进行排序，再将目标选项放到最后一位，得到光标的移动路径为：Setting-Picture-Advanced settings-Contrast。
接下来，详细介绍将光标移动到所述移动路径的第一选项的内容，具体的，步骤S3包括：
S31、在主页面确定第一选项的位置信息。
在本发明实施例中，所述主页面为启动电视后显示的页面，可设置电视启动完成后焦点在主页面的第一行或者第一列的选项上。第一选项的位置信息可以是第一选项在主页面中的行数或者列数，例如，第一选项为Setting，在主页面中，Setting在第三行，则位置信息可以是，Setting所在行数为第三行。
S32、获取所述第一选项的位置信息对应的红外键值。
在本发明实施例中，电视端将第一选项的位置信息，发送到红外发射装置，红外设备根据该位置信息发送红外键值，电视端再接收所述第一选项的位置信息对应的红外键值。例如，则位置信息是Setting所在行数为第三行，由于默认焦点在主页面的第一行，则获取的红外键值为两次向下(down)键值。
S33、根据所述第一选项的位置信息对应的红外键值将所述光标移动到第一选项。
在本发明实施例中，根据获取的位置信息对应的红外键值，光标移动到第一选项，例如，电视启动后，光标默认停留在主页面的第一行的选项上，根据第一选项的位置信息对应的红外键值(两次向下键值)，光标移动到主页面第三行的选项上，即将光标移动到第一选项Setting上。
接下来，详细介绍根据所述移动路径将光标从第一选项移至所述目标选项的内容。具体的，步骤S3包括：
S34、将第一选项作为初始选项，并将所述初始选项的后一选项作为候选选项。
在本发明实施例中，光标根据移动路径移动，每移动一次，是实现从一个选项到另一个选项，为了便于描述，首先将第一选项作为初始选项，将初始选项的后一选项作为候选选项。
S35、根据所述移动路径将光标从初始选项移动到候选选项。
在本发明实施例中，在第一次移动时，初始选项为第一选项，候选选项为第二选项，即步骤S35是从第一选项移动到第二选项。如何将光标从初始选项移动到候选选项的具体过程，在后文会详细介绍。
S36、若所述候选选项不为所述目标选项，则将所述候选选项作为初始选项，并将候选选项的后一项作为候选选项，并继续执行所述根据所述移动路径将光标从初始选项移动到候选选项的步骤，直至所述候选选项为所述目标选项。
在本发明实施例中，从移动路径中的某一选项移动到该选项的下一选项的方法相同，为了在光标根据移动路径执行完移动后停止继续执行，在每次将光标从初始选项移动到候选选项后，判断候选选项(此次移动后停留的选项)是否为目标选项；若所述选项不为目标选项，将此次移动后停留后的选项作为初始选项，并将移动路径中，此次移动后停留后的选项的后一选项作为新的候选选项，继续执行步骤S35，再次将光标从初始选项移动到候选选项，如此重复，直到某一次光标移动后停留的选项为目标选项，即光标根据移动路径执行完移动。
接下来，具体介绍根据所述移动路径将光标从初始选项移动到候选选项的详细内容。具体的，步骤S35包括：
S351、进入所述初始选项对应的初始菜单，并在所述初始菜单中获取候选选项对应的位置信息。
在本发明实施例中，通过菜单树进入初始选项对应的初始菜单，具体的，对于初始选项，根据菜单树确定初始选项对应的进入键值，获取红外发射装置发送的进入键值，根据所述进入键值进入初始菜单。例如，要进入初始选项Picture对应的初始菜单，获取初始选项对应的红外键值：进入right；ok，根据红外键值：进入，进入初始菜单。
S352、根据所述候选选项对应的位置信息移动光标到候选选项。
在本发明实施例中，所述位置信息可以是所述候选选项在初始菜单中的行数L，或者在所述候选选项在初始菜单中的列数，进入初始菜单后，根据菜单树确定候选选项所在位置，例如，在上例中，在初始菜单中获取候选选项，候选选项为Advanced settings，在初始菜单中，所述候选选项为第9行。
在本发明实施例中，进入初始菜单后，默认光标停留在初始菜单的第一行或者第一列的选项上，根据候选选项对应的位置信息确定候选选项对应的红外键值，候选选项对应的红外键值可以包括t个移动键值，t个移动键值对应光标从第一行移动到候选选项所在行需要移动的次数，t＝L-1。例如，候选选项为Advanced settings，在初始菜单中，所述候选选项为第9行，L＝9，可知t＝8，则候选选项对应的红外键值为move_key：down，8次，可以将光标移动至候选选项所在行。
例如，对于移动路径Setting-Picture-Advanced settings-Contrast，此移动路径中包括4个选项，要执行从Advanced settings选项移动到Contrast选项，则初始菜单为Advanced settings菜单时，获取Contrast在Advanced settings菜单中的行数，Contrast在Advanced settings菜单中的第二行，则Contrast选项对应的红外建值包括1个移动键值，根据Contrast选项对应的红外建值将光标移动到Contrast选项。
例如，对于移动路径：Setting-Picture-Advanced settings-Contrast，要执行从Setting选项移动到Picture选项中，在setting菜单中找到Picture选项，Picture选项位于setting菜单的第一行，则不移动光标。
在另一种实现方式，为了确定光标的每一次移动都能从初始选项移动到候选选项，在移动后，需要检查光标停留的位置是否为候选选项，具体的，步骤S352之后包括：
S353、在候选图片中确定所述候选选项对应的目标区域，其中，所述候选图片为光标移动至候选选项后显示的图片。
在本发明实施例中，将光标从初始选项移动到候选选项后，截取界面显示图片作为候选图片，在候选图片中确定目标区域，目标区域表示在候选图片中焦点所在区域。
具体的，步骤S353包括：
S3531、获取所述候选图片中每个像素点的RGB值。
在本发明实施例中，通过Opencv将候选图片转换为RGB值序列，再将RGB值序列由uint8字符类型转为int类型，以得到候选图片中每个像素点的RGB值。
S3532、针对每个像素点的RGB值，计算该RGB值与预设RGB值的差值的绝对值。
在本发明实施例中，预设的RGB值为预设的焦点图片的RGB值，所述焦点图片为预先设置的UI对应的焦点高亮光标图片，所述焦点图片为一个预设大小，预设颜色(预设RGB值)的图片。例如，UI的风格为白色和蓝色，选项在未被选中时显示白色，被选中时显示为蓝色(被选中即表示该选项可以被操作)，可以将焦点图片的预设颜色设置为蓝色，根据显示屏的大小和UI的配置，可以确定预设大小，例如，将预设大小设置为：5cm×7cm。
S3533、根据计算得到的所有绝对值确定所述候选图片对应的二值化图片。
在本发明实施例中，根据预设的色差阈值和计算得到的所有绝对值，得到二值化图片，具体的，将大于色差阈值的所有绝对值对应的像素点的RGB值置为255，小于色差阈值的所有绝对值对应的像素点的RGB值置为0，进而可以得到二值化图片，所述二值化图片为黑白图像，色差阈值可以设置为10。
S3534、根据预设规则在所述二值化图片中选取所述候选图片对应的目标区域，其中，所述预设规则为所述目标区域为所述二值化图片中的白色区域，且目标区域的区域大小等于预设阈值。
在本发明实施例中，二值化图片中的白色区域最接近焦点图片的区域，白色区域中各像素点的RGB值与焦点图片的RGB值的差值较小，利用勾勒边缘的方法可以得到若干白色区域。
由于截取的图像中可能存在背景图案与焦点图片相似，例如，焦点图片为蓝色，而候选图片可能有背景图案为蓝色，因此得到的二值化图片中可能出现多个白色区域，在此情况下，需要从多个白色区域中确定目标区域，具体的，筛选出多个白色区域中大小预设阈值的区域，所述预设阈值的大小为所述焦点图片的大小，即筛选出多个白色区域中大小与焦点图像相等的区域为目标区域。
S354、识别所述目标区域对应的文字信息，并根据预设的菜单树判断所述目标区域对应的文字信息是否与所述候选选项对应的文字信息一致。
在本发明实施例中，通过光学字符识别(Optical Character Recognition，ORC)得到目标区域对应的文字信息，同时获取菜单树中候选选项根据OCR文字识别得到的文字信息，例如，在移动路径：Setting-Picture-Advanced settings-Contrast中，第三选项为Advanced settings，在菜单树中，Advanced settings对应的字符识别结果为：advancedsettings；高级设置，判断目标区域对应的文字信息是否与所述候选选项对应的文字信息一致。
S355a、若所述目标区域对应的文字信息与所述候选选项对应的文字信息一致，则确定光标移动至所述候选选项。
在本发明实施例中，例如，在上例子中Advanced settings对应的字符识别结果为：advanced settings；若目标区域的文字信息为advanced settings或高级设置，则确定光标移动至所述候选选项。
例如，通过OCR文字识别得到目标区域对应的文字信息为：“contrast”，同时获取菜单树中目标选项对应的文字信息为：contrast或对比度，则所述光标已经移动到目标选项。
若所述目标区域对应的文字信息与所述目标选项对应的文字信息不一致，则通过移动键值控制所述光标向上移动或者向下移动，具体的，步骤S136之后还包括：
S355b、若所述目标区域对应的文字信息与所述候选选项对应的文字信息不一致，则根据所述候选选项的位置信息将所述光标移动到所述候选选项的相邻选项，并将所述相邻选项作为所述候选选项。
在本发明实施例中，当UI有更新，但是预先设置的菜单树没有相应更新，则预先设置的菜单树与实际显示的UI有区别，则可能出现目标区域对应的文字信息与所述候选选项对应的文字信息不一致的情况。根据所述候选选项的位置信息，获取移动键值，将光标移动到所述候选选项的相邻选项；所述移动键值包括up移动键值(移动到候选选项的上一选项为相邻选项)和down移动键值(移动到候选选项的下一选项为相邻选项)，在此目标区域对应的文字信息与所述候选选项对应的文字信息不一致的情况下，需要进行盲寻，即在当前菜单中，逐个寻找，直至找到候选选项，这样可以首先根据一个up移动键值，或者一个down移动键值移动光标。
若根据up移动键值移动光标，则光标一定到初始菜单中的候选选项的上一个选项，采用此选项代替候选选项。例如，根据移动路径得到的目标区域的文字信息为saturation，但是菜单树中候选选项对应文字信息(字符识别结果)为backlight，显然二者不一致，说明菜单树与目前UI显示不一致，此时只能盲寻。光标根据up移动键值向上移动一位，停留在候选选项的相邻选项上，并采用相邻选项代替候选选项。
S356、继续执行所述在候选图片中确定目标区域的步骤，直至所述目标区域对应的文字信息与所述候选选项对应的文字信息一致。
在本发明实施例中，此处的候选选项本质上是步骤S355b中的相邻选项，步骤S356中的候选图片为光标移动到相邻选项后截取的显示图片，步骤S356中的目标区域为光标移动到相邻选项后截取的显示图片中的目标区域。
例如，在上例中，根据移动路径得到的目标区域的文字信息为saturation，菜单树中候选选项的文字信息不一致，光标根据up移动键值向上移动一位，停留在候选选项的相邻选项上，再继续执行所述在候选图片中确定目标区域的步骤，得到目标区域对应的文字信息为backlight，菜单树中候选选项对应文字信息为backlight，则确定光标移动至所述候选选项。
若移动一次后，所述目标区域对应的文字信息与所述候选选项对应的文字信息不一致，则根据所述候选选项的位置信息将所述光标移动到所述候选选项的相邻选项，并将所述相邻选项作为所述候选选项，直至目标区域对应的文字信息与所述候选选项对应的文字信息一致。
进一步的，光标移动到目标选项后，还可以对目标选项的值进行修改，具体的，步骤S3之后还包括：
S4、进入所述目标选项对应目标菜单，并在所述目标菜单中获取所述目标选项的当前值。
在本发明实施例中，光标移动到所述目标选项后，根据红外进入键值，进入所述目标选项的目标菜单，所述目标菜单是目标选项对应的value层，即在所述目标菜单可以获取目标选项的当前值，具体的，进入目标菜单后，通过获取焦点的方法在所述目标菜单中获取设置值焦点区域，所述设置值焦点区域为所述目标选项的当前值对应的区域，通过ORC得到设置值焦点区域的文字信息，根据设置值焦点区域的文字信息得到当前值。
具体的，步骤S4包括：
S41、根据目标图片确定所述目标图片中的设置值焦点区域，其中，所述目标图片为截取的所述目标菜单对应的图片。
在本发明实施例中，进入目标菜单后，截取显示的图片为目标图片；由于目标菜单为修改目标选项的值的界面，因此默认进入目标菜单后，光标停留在目标选项的当前值上。例如，目标菜单为contrast选项对应的菜单，进入contrast菜单，显示为contrast选项的当前值，则contrast菜单中显示当前值的区域为设置值焦点区域。
在本发明实施例中，确定所述目标图片中的设置值焦点区域，与步骤S353中确定候选选项对应的目标区域的方法相同，首先获取目标图片中每个像素点的RGB值，计算目标图片中每个像素点的RGB值和预设RGB值的差值的绝对值，再根据计算得到的绝对值得到目标二值化图片，在目标二值化图片中得到符合预设规则的设置值焦点区域。
S42、对所述设置值焦点区域进行识别，以得到所述设置值焦点区域的文字信息，并将所述设置值焦点区域的文字信息作为当前值。
在本发明实施例中，通过ORC识别设置值焦点区域，得到当前值，例如，识别出contrast选项的当前值为50。
S43、判断所述当前值与预设的目标值是否相等。
在本发明实施例中，所述目标值是在步骤S1之前设置的，在步骤S1之前，确定目标选项，以及目标选项的目标值，例如，需要将contrast修改为60，则所述目标选项为contrast，目标值为60。为了避免重复操作，在修改之前，需要判断当前值是否为目标值，若当前值等于目标值，则直接退出进程。
S44、若所述当前值与所述目标值不相等，则将所述当前值修改为所述目标值。
在本发明实施例中，若所述当前值与预设的目标值不相等，则确定所述当前值与所述目标值之间的目标差值；根据所述目标差值将所述当前值修改为所述目标值。
具体的，将所述目标差值发送到红外发射装置，再接收红外发射装置发送的与所述目标差值对应的加减红外键值。所述加减红外键值包括加红外键值(right)和减红外键值(left)，若所述目标差值为当前值比目标值大第一数值，则接收红外发射装置发送的第一数值个减红外键值，若目标差值为当前值比目标值小第二数值，则接收红外发射装置发送的第二数值个加红外键值。例如，当前值为50，目标值为60，则目标差值为当前值比目标值小10，则接收红外发射装置发送的10个加红外键值，将当前值修改为60。
在本发明中，在UI界面中，根据移动路径将光标移动到目标选项、在目标菜单获取目标选项的当前值以及将当前值修改为目标值，不需要人工参与可以实现在用户界面中将光标移动到目标选项，且将当前值修改为目标值，整个过程完全模拟用户操作，以便于使用者更直观看到移动过程和修改过程。本发明提供的方法也不依赖特定的系统框架(安卓系统或Linux系统)；当UI界面的风格改变时，不需要改变实现本发明中的脚本，只需要改变计算移动路径中所用的菜单树，因此，本发明可以适用于多种UI风格。
参见图2，示出了本发明实施例中一种用户界面菜单的寻路方法的具体过程。
101、进程开始后，先输入设置Contrast为X，Contrast为目标选项，X目标值；
102、根据目标选项Contrast和菜单树计算光标的移动路径为：Setting-Picture-Advanced settings-Contrast；
103、根据移动路径，将光标移动到Contrast；
104、为了进一步确认光标是否移动到Contrast，截取光标移动后的显示图像，在该显示图像中确定目标区域；
105、通过OCR得到目标区域对应的文字信息；
106、目标区域对应的文字信息与菜单树中Contrast对应的文字信息一致，确定光标已经移动到Contrast；
107、根据进入键值：right；ok进入Contrast菜单；
108、在Contrast菜单中识别Contrast的当前值M；
109、判断当前值M和目标值X是否相等，若当前值M和目标值X相等，则结束进程，若当前值M和目标值X不相等，则进入110；
110、则确定M与X之间的目标差值，目标差值为M比X大5；
111、根据目标差值接收红外发射装置发送的红外键值为：5个减红外键值，将M修改为X，结束进程。
参见图3，示出了本发明实施例中一种计算机设备，该设备可以是终端，内部结构如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用户界面菜单的寻路方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
获取目标选项，根据所述目标选项确定显示的用户界面对应的菜单树；
根据所述菜单树确定目标选项对应的移动路径；
将光标移动到所述移动路径的第一选项，再根据所述移动路径将光标从第一选项移至所述目标选项。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
获取目标选项，根据所述目标选项确定显示的用户界面对应的菜单树；
根据所述菜单树确定目标选项对应的移动路径；
将光标移动到所述移动路径的第一选项，再根据所述移动路径将光标从第一选项移至所述目标选项。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种用户界面菜单的寻路方法，其特征在于，所述方法包括：
获取目标选项，根据所述目标选项确定显示的用户界面对应的菜单树；
根据所述菜单树确定目标选项对应的移动路径；
将光标移动到所述移动路径的第一选项，再根据所述移动路径将光标从第一选项移至所述目标选项；
所述菜单树包括各级菜单，所述根据所述菜单树确定目标选项对应的移动路径，包括：
根据各级菜单，获取目标菜单对应的各上级菜单，其中，所述目标菜单为所述目标选项对应的菜单；
按照各上级菜单的层级高低为各上级菜单分别对应的选项排序，并将目标选项排在各上级菜单分别对应的选项之后，以得到所述目标选项对应的移动路径；
所述移动路径为从所述第一选项到所述目标选项的路径，所述目标菜单对应所述目标选项，所述目标菜单中的一级菜单对应所述第一选项，光标进入所述第一选项，则用户界面显示所述一级菜单，在所述一级菜单中，进入第二选项，则用户界面显示二级菜单，所述一级菜单的等级高于所述二级菜单，所述目标菜单为最低层级菜单。
2.根据权利要求1所述的方法，其特征在于，所述将光标移动到所述移动路径的第一选项，包括：
在主页面确定第一选项的位置信息；
获取所述第一选项的位置信息对应的红外键值；
根据所述第一选项的位置信息对应的红外键值将所述光标移动到第一选项。
3.根据权利要求1所述的方法，其特征在于，所述根据所述移动路径将光标从第一选项移至所述目标选项，包括：
将第一选项作为初始选项，并将所述初始选项的后一选项作为候选选项；
根据所述移动路径将光标从初始选项移动到候选选项；
若所述候选选项不为所述目标选项，则将所述候选选项作为初始选项，并将候选选项的后一项作为候选选项，并继续执行所述根据所述移动路径将光标从初始选项移动到候选选项的步骤，直至所述候选选项为所述目标选项。
4.根据权利要求3所述的方法，其特征在于，所述根据所述移动路径将光标从初始选项移动到候选选项之后，还包括：
在候选图片中确定所述候选选项对应的目标区域，其中，所述候选图片为光标移动至候选选项后显示的图片；
识别所述目标区域对应的文字信息，并根据预设的菜单树判断所述目标区域对应的文字信息是否与所述候选选项对应的文字信息一致；
若所述目标区域对应的文字信息与所述候选选项对应的文字信息一致，则确定光标移动至所述候选选项。
5.根据权利要求4所述的方法，其特征在于，所述根据预设的菜单树判断所述目标区域对应的文字信息是否与所述候选选项对应的文字信息一致之后，还包括：
若所述目标区域对应的文字信息与所述候选选项对应的文字信息不一致，则根据所述候选选项的位置信息将所述光标移动到所述候选选项的相邻选项，并将所述相邻选项作为所述候选选项；
继续执行所述在候选图片中确定目标区域的步骤，直至所述目标区域对应的文字信息与所述候选选项对应的文字信息一致。
6.根据权利要求4所述的方法，其特征在于，所述在候选图片中确定所述候选选项对应的目标区域，包括：
获取所述候选图片中每个像素点的RGB值；
针对每个像素点的RGB值，计算该RGB值与预设RGB值的差值的绝对值；
根据计算得到的所有绝对值确定所述候选图片对应的二值化图片；
根据预设规则在所述二值化图片中选取所述候选图片对应的目标区域，其中，所述预设规则为所述目标区域为所述二值化图片中的白色区域，且目标区域的区域大小等于预设阈值。
7.根据权利要求1所述的方法，其特征在于，所述根据所述移动路径移动光标到目标选项上之后，还包括：
进入所述目标选项对应目标菜单，并在所述目标菜单中获取所述目标选项的当前值；
判断所述当前值与预设的目标值是否相等；
若所述当前值与所述目标值不相等，则将所述当前值修改为所述目标值。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201911309734.7A 2019-12-18 2019-12-18 一种用户界面菜单的寻路方法和计算机设备 Active CN112987997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911309734.7A CN112987997B (zh) 2019-12-18 2019-12-18 一种用户界面菜单的寻路方法和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911309734.7A CN112987997B (zh) 2019-12-18 2019-12-18 一种用户界面菜单的寻路方法和计算机设备

Publications (2)

Publication Number Publication Date
CN112987997A CN112987997A (zh) 2021-06-18
CN112987997B true CN112987997B (zh) 2023-05-26

Family

ID=76343923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911309734.7A Active CN112987997B (zh) 2019-12-18 2019-12-18 一种用户界面菜单的寻路方法和计算机设备

Country Status (1)

Country Link
CN (1) CN112987997B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827171A (zh) * 2010-04-23 2010-09-08 惠州Tcl移动通信有限公司 移动通信终端菜单选项直接访问的方法
CN102053826A (zh) * 2009-11-10 2011-05-11 北京普源精电科技有限公司 菜单分级显示方法
CN103188407A (zh) * 2011-12-31 2013-07-03 中国移动通信集团广东有限公司 交互式语音应答ivr的处理方法、终端、拨测服务器和系统
CN107786869A (zh) * 2017-12-11 2018-03-09 深圳Tcl数字技术有限公司 一种电视设备菜单路径生成方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658704B2 (en) * 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053826A (zh) * 2009-11-10 2011-05-11 北京普源精电科技有限公司 菜单分级显示方法
CN101827171A (zh) * 2010-04-23 2010-09-08 惠州Tcl移动通信有限公司 移动通信终端菜单选项直接访问的方法
CN103188407A (zh) * 2011-12-31 2013-07-03 中国移动通信集团广东有限公司 交互式语音应答ivr的处理方法、终端、拨测服务器和系统
CN107786869A (zh) * 2017-12-11 2018-03-09 深圳Tcl数字技术有限公司 一种电视设备菜单路径生成方法、装置及存储介质

Also Published As

Publication number Publication date
CN112987997A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
EP3220249B1 (en) Method, device and terminal for implementing regional screen capture
US9360992B2 (en) Three dimensional conditional formatting
US20120127198A1 (en) Selection of foreground characteristics based on background
US20180349107A1 (en) Preview Changes To Mobile Applications At Different Display Resolutions
CN109542376B (zh) 屏幕的显示调节方法、装置和介质
CN113645494B (zh) 一种屏幕融合方法、显示设备、终端设备及服务器
KR20130093672A (ko) 중첩 수기를 위한 방법, 장치 및 컴퓨터 프로그램 제품
JP2013191036A (ja) 領域指定方法及び領域指定装置
CN114003160B (zh) 数据可视化展示方法、装置、计算机设备和存储介质
CN108829486A (zh) 一种背景设置方法、装置、设备和存储介质
US20110037731A1 (en) Electronic device and operating method thereof
CN112987997B (zh) 一种用户界面菜单的寻路方法和计算机设备
US10114518B2 (en) Information processing system, information processing device, and screen display method
US20110145736A1 (en) Systems and Methods for Designing a Universal User Interface
CN109766530B (zh) 图表边框的生成方法、装置、存储介质和电子设备
CN110597593B (zh) 用户引导任务的处理方法、装置、计算机设备及存储介质
CN115688216A (zh) 一种图纸的自定义设计方法及装置
CN112035210B (zh) 用于输出颜色信息的方法、装置、设备和介质
CN112449227B (zh) 触屏应用兼容遥控器操作的交互方法、装置及智能电视
CN110533742B (zh) 一种图像填色方法、装置、设备及存储介质
US20130106701A1 (en) Information processing apparatus and method thereof
CN112148171A (zh) 一种界面切换方法、装置及电子设备
KR20160057845A (ko) 이미지 필터 처리를 위한 컴퓨터 구현 방법
JP7248279B2 (ja) コンピュータシステム、プログラム、及び方法
KR101196985B1 (ko) 휴대용 단말의 유저 인터페이스 화면 디스플레이 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant