CN113900576A - 交互方法、装置、电子设备以及存储介质 - Google Patents

交互方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN113900576A
CN113900576A CN202111294886.1A CN202111294886A CN113900576A CN 113900576 A CN113900576 A CN 113900576A CN 202111294886 A CN202111294886 A CN 202111294886A CN 113900576 A CN113900576 A CN 113900576A
Authority
CN
China
Prior art keywords
coordinate information
interaction
operable
interval
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111294886.1A
Other languages
English (en)
Inventor
陈明
张晓帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Douku Software Technology Co Ltd
Original Assignee
Hangzhou Douku Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Douku Software Technology Co Ltd filed Critical Hangzhou Douku Software Technology Co Ltd
Priority to CN202111294886.1A priority Critical patent/CN113900576A/zh
Publication of CN113900576A publication Critical patent/CN113900576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种交互方法、装置、电子设备以及存储介质。获取电子设备在显示目标界面时接收到的第一交互指令，目标界面显示有多个可操作控件，第一交互指令用于指示将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件，当第一交互指令对应的交互类型不满足电子设备所支持的交互类型时，将第一交互指令分解为多个第二交互指令，根据多个第二交互指令，将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件。本申请通过将电子设备不支持的交互指令分解为电子设备支持的交互指令的方式，完成电子设备对多模态交互的实现，以提升电子设备对多模态交互的适用性。

Description

交互方法、装置、电子设备以及存储介质
技术领域
本申请涉及电子设备技术领域，更具体地，涉及一种交互方法、装置、电子设备以及存储介质。
背景技术
随着科学技术的发展，电子设备的使用越来越广泛，功能越来越多，已经成为人们日常生活中的必备之一。但是，目前，电子设备所支持的交互方式有限，导致所能应用的交互场景有限，造成用户的使用体验不佳。
发明内容
鉴于上述问题，本申请提出了一种交互方法、装置、电子设备以及存储介质，以解决上述问题。
第一方面，本申请实施例提供了一种交互方法，应用于电子设备，所述方法包括：获取所述电子设备在显示目标界面时接收到的第一交互指令，其中，所述目标界面显示有多个可操作控件，所述第一交互指令用于指示将所述多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件；当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，将所述第一交互指令分解为多个第二交互指令，其中，所述第二交互指令对应的交互类型满足所述电子设备所支持的交互类型；根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
第二方面，本申请实施例提供了一种交互装置，应用于电子设备，所述装置包括：交互指令获取模块，用于获取所述电子设备在显示目标界面时接收到的第一交互指令，其中，所述目标界面显示有多个可操作控件，所述第一交互指令用于指示将所述多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件；交互指令分解模块，用于当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，将所述第一交互指令分解为多个第二交互指令，其中，所述第二交互指令对应的交互类型满足所述电子设备所支持的交互类型；控件切换模块，用于根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
本申请实施例提供的交互方法、装置、电子设备以及存储介质，获取电子设备在显示目标界面时接收到的第一交互指令，其中，目标界面显示有多个可操作控件，第一交互指令用于指示将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件，当第一交互指令对应的交互类型不满足电子设备所支持的交互类型时，将第一交互指令分解为多个第二交互指令，其中，第二交互指令对应的交互类型满足电子设备所支持的交互类型，根据多个第二交互指令，将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件，从而通过将电子设备不支持的交互指令分解为电子设备支持的交互指令的方式，完成电子设备对多模态交互的实现，以提升电子设备对多模态交互的适用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请一实施例提供的交互方法的流程示意图；
图2示出了本申请实施例提供的目标界面的示意图；
图3示出了多模态交互指令执行方式的示意图；
图4示出了标准交互指令的分析示意图；
图5示出了本申请实施例的目标界面的框图；
图6示出了本申请一实施例提供的交互方法的流程示意图；
图7示出了本申请的图6所示的交互方法的步骤S230的流程示意图；
图8示出了本申请一实施例提供的交互方法的流程示意图；
图9示出了本申请的图8所示的交互方法的步骤S330的一实施例的流程示意图；
图10示出了本申请的图8所示的交互方法的步骤S330的一实施例的流程示意图；
图11示出了本申请一实施例提供的交互方法的流程示意图；
图12示出了本申请一实施例提供的交互方法的流程示意图；
图13示出了本申请一实施例提供的交互方法的流程示意图；
图14示出了本申请一实施例提供的交互装置的模块框图；
图15示出了本申请实施例用于执行根据本申请实施例的交互方法的电子设备的框图；
图16示出了本申请实施例的用于保存或者携带实现根据本申请实施例的交互方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
随着电子设备(如智能家居设备)的发展及普及，万物互融逐渐成为电子设备行业的重要发展趋势。通过一个电子设备去控制另一个电子设备，或者通过多种交互方式灵活的与电子设备进行交互或控制的需求将越来越普遍。但是，目前电子设备如果需要增加一种新的交互方式，则需要通过修改该电子设备的系统底层代码，增加驱动及对应的响应逻辑代码。开发完成后需要通过系统升级的方式实现功能部署才能最终生效。且对于电子设备上安装的部分应用程序，其需要进行同步修改和升级才能实现对相应交互方式的支持。
例如，目前大部分的智能电视仅支持遥控器操作与控制。如果需要使用触屏对智能电视的应用程序及界面的交互与控制，则需要在智能电视的操作系统中增加触屏驱动以及触屏事件的响应逻辑，同时需要将相关应用程序升级至触屏版。同时实现上述两个条件，才能实现在智能电视上实现通过触屏方式对应用程序和界面的控制与交互。基于安卓Android平台的智能电视的部分应用程序自身就能够同时支持遥控器和触屏两种操作方式，这部分的应用程序无需升级即可支持新增的触屏交互。但是，其上也存在部分应用程序仅支持遥控器的按键操作，如果需要支持触屏操作方式，则需要在应用程序中增加对触屏事件的响应逻辑，对应用程序进行升级才能够支持新增的触屏交互方式。但是，大部分应用程序均由第三方开发维护，很难实现对应用程序的同步修改和升级。因此，新增的触屏交互方式对于电子设备及应用程序的操作与交互支持有限。
发明人经过研究发现，目前电子设备或系统对于交互方式的支持主要有两种：
第一种是依赖系统底层驱动的独立实现，以实现对交互指令的执行。不同模态的同类交互指令执行需要重新实现，无法复用。但是，这种方式需要修改系统底层代码，开发工作量大，开发周期较长；需要修改应用程序，增加相应事件的响应逻辑，推广困难；对存量设备和应用的支持有限。
第二种是将不同模态的交互指令映射到一个统一的交互指令集，由系统底层驱动提供对统一交互指令的独立实现。不同交互方式的同类交互指令，如点击，在统一交互指令集中对应同一个交互指令，从而能够实现对系统底层交互指令实现的复用。但是，这种方式但是需要事先定义好完整的统一交互指令集，其对系统的设计要求较高；若需增加新的指令，则面临的问题与第一种方式一致。
针对上述问题，发明人经过长期的研究发现，并提出了本申请实施例提供的交互方法、装置、电子设备以及存储介质，通过将电子设备不支持的交互指令分解为电子设备支持的交互指令的方式，完成电子设备对多模态交互的实现，以提升电子设备对多模态交互的适用性。其中，具体的交互方法在后续的实施例中进行详细的说明。
请参阅图1，图1示出了本申请一实施例提供的交互方法的流程示意图。该方法用于通过将电子设备不支持的交互指令分解为电子设备支持的交互指令的方式，完成电子设备对多模态交互的实现，以提升电子设备对多模态交互的适用性。在具体的实施例中，该交互方法应用于如图14所示的交互装置200以及配置有交互装置200的电子设备100(图15)。下面将以电子设备为例，说明本实施例的具体流程，在具体的实施例中，该电子设备可以为智能手机、智能电视、智能手表、台式电脑等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S110：获取所述电子设备在显示目标界面时接收到的第一交互指令，其中，所述目标界面显示有多个可操作控件，所述第一交互指令用于指示将所述多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件。
在一些实施方式中，电子设备可以显示目标界面，目标界面可以显示有多个可操作控件。例如，该电子设备可以为智能电视，目标界面可以为智能电视的首页，目标界面显示的多个可操作控件可以为首页的多个导航卡片，如“登录”卡片、“观看历史”卡片等。请参阅图2，图2示出了本申请实施例提供的目标界面的示意图。如图2所示，该目标界面可以为智能电视的首页，目标界面显示的多个可操作控件可以包括“登录”卡片、“观看历史”卡片、“专题收藏”卡片等。
在本申请一实施例中，电子设备在显示目标界面的过程中，可以监测是否接收到输入的交互指令。作为一种方式，电子设备显示目标界面的过程中可以实时监测是否接收到输入的交互指令，电子设备在显示目标界面的过程中可以按预设时间间隔监测是否接收到输入的交互指令，电子设备在显示目标界面的过程中可以按预设时间点监测是否接收到输入的交互指令，电子设备在显示目标界面的过程中可以按其他预设规则(如用户触发、环境触发等)监测是否接收到输入的交互指令，在此不做限定。
在一些实施方式中，电子设备在显示目标界面的过程中，若接收到用于指示将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件，则可以获取该第一交互指令。其中，多个可操作控件中作为待控制控件的可操作控件可以视作被选中的可操作控件，例如，被框选的可操作控件可以视作待控制控件，被点亮的可操作控件可以视作待控制控件，被光标标识的可操作控件可以视作待控制控件，焦点对应的可操作控件可以视作待控制控件等，在此不做限定。
步骤S120：当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，将所述第一交互指令分解为多个第二交互指令，其中，所述第二交互指令对应的交互类型满足所述电子设备所支持的交互类型。
请参阅图3，图3示出了多模态交互指令执行方式的示意图。如图3所示，电子设备的主要交互方式包括鼠标、键盘(遥控器)、触摸屏、语音、传感器手势、视觉手势等，即，电子设备接收到的第一交互指令可以通过鼠标、键盘(遥控器)、触摸屏、语音、传感器手势、视觉手势等输入。根据电子设备的系统对不同交互方式的交互指令的响应方式，可以将以上交互方式分成两类：一类是受限型交互方式，其交互依赖于焦点的逐步移动以切换和选中交互对象(即可操作控件)，将焦点切换至目标对象(即从第一可操作控件切换至第二可操作控件)，可能需要连续若干次的焦点移动操作，其典型代表为键盘(遥控器)交互。一类是自由型交互方式，其可以实现任意两个交互对象(即可操作控件)间焦点的直接切换，而不依赖焦点的逐步移动，从而可以实现任意交互对象的自由选择与交互，其典型代表为鼠标交互和触摸屏交互。
通过对不同交互方式的交互指令进行分析和分解，可以将不同模态的交互指令拆解为一个标准交互指令集，其主要包括点击、双击、按住、释放、长按、焦点切换、焦点移动、滑动(上下左右)、文本输入等。其中焦点切换是指任意两个可操作控件之间的焦点切换，而焦点移动是指将焦点移动到相邻的可操作控件。
请参阅图4，图4示出了标准交互指令的分析示意图。如图4所示，通过对标准交互指令集中的交互指令进行分析可以知道，点击、双击、按住、释放、长按、文本输入等指令为两类交互方式均具备的，而焦点切换、滑动等一般属于自由型交互方式所特有的交互指令，而焦点移动则一般属于受限型交互方式所特有的交互指令。
特别的，对于自由型交互方式，用户对于焦点切换不一定能够显性感知到。不同的交互方式其呈现出来的方式不一定相同。例如，在通过鼠标的交互中，用户是通过单击来实现焦点的切换，用户能明显的感知到焦点切换的过程。在通过触屏及语音等的交互中，这个过程则是隐式的，对用户来说是无感的。对于鼠标等交互方式，其具备一个可自由移动的光标，用来指示当前焦点所在位置，焦点切换则是从前一焦点位置直接将切换到光标所在位置。而对于语音等交互方式，其没有光标来指示当前焦点所在位置，因此需要先通过其他方式找到目标元素，然后进行焦点切换。但是无论是那种方式，电子设备的底层执行的逻辑皆是找到目标元素(第二可操作控件)->将焦点切换至目标元素->目标元素执行对应操作。
在一些实施方式中，该第一交互指令可以用于指示将作为待控制控件的可操作控件在多个可操作控件中不相邻的两个可操作控件之间切换，例如，如图2中，该第一交互指令可以用于指示将作为待控制控件的可操作控件从“登录”控件切换为“消息”控件。即，该第一交互指令可以认为是上述自由型交互方式对应的交互指令，例如，与上述滑动方式对应的交互指令，与上述焦点切换对应的交互指令。该第二交互指令可以用于指示将待控制控件的可操作控件中相邻的两个可操作控件之间切换，例如，如图2中，该第二交互指令可以用于指示将作为待控制控件的可操作控件从“登录”控件切换为“观看历史”控件。即，该第二交互指令可以认为是上述受限型交互方式对应的交互指令，例如，与上述焦点移动对应的交互指令。
作为一种方式，电子设备在获取到第一交互指令时，可以获取该第一交互指令对应的交互类型，并判断该第一交互指令对应的交互类型是否满足电子设备所支持的交互类型，其中，当第一交互指令对应的交互类型不满足电子设备所支持的交互类型时，则可以将第一交互指令分解为交互类型满足电子设备所支持的交互类型的多个第二交互指令。
在一些实施方式中，该电子设备存在其所支持的交互类型，例如，该电子设备可以为智能电视，该电子设备仅支持遥控器(键盘)操作，不支持通过触屏、鼠标等方式的操作，即，电子设备所支持的交互类型为受限型交互类型。例如，该第一交互指令对应的交互类型为自由型交互类型，第二交互指令对应的交互类型为受限型交互类型，此时，第一交互指令对应的交互类型(自由型交互类型)不满足电子设备所支持的交互类型(受限型交互类型)，第二交互指令对应的交互类型(受限型交互类型)满足电子设备所支持的交互类型(受限型交互类型)。又例如，该第一交互指令可以为焦点切换指令，第二交互指令可以为焦点移动指令，此时，第一交互指令对应的交互类型(自由型交互类型)不满足电子设备所支持的交互类型(受限型交互类型)，第二交互指令对应的交互类型(受限型交互类型)满足电子设备所支持的交互类型(受限型交互类型)。
步骤S130：根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
在一些实施方式中，电子设备在分解获得多个第二交互指令时，则可以根据该多个第二交互指令，将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件。例如，电子设备通过将焦点切换(第一交互指令)切换为焦点移动(第二交互指令)，然后通过焦点移动的方式，将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件，从而实现电子设备对自由型交互方式的支持。
请参阅图5，图5示出了本申请实施例的目标界面的示意图。如图5所示，假设第一交互指令指示将多个可操作控件(可操作控件1-可操作控件28)中作为待控制控件的可操作控件从第一可操作控件(可操作控件6)切换为第二可操作控件(可操作控件22)时，则可以将第一交互指令分解为多个第二交互指令，并根据多个第二交互指令，将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件(可操作控件6)切换为第二可操作控件(可操作控件22)。例如，将焦点依次经可操作控件6、可操作控件12、可操作控件13、可操作控件14、可操作控件15、可操作控件16、可操作控件17、可操作控件18、可操作控件19、可操作控件20、可操作控件21到达可操作控件22。
本申请一实施例提供的交互方法，获取电子设备在显示目标界面时接收到的第一交互指令，其中，目标界面显示有多个可操作控件，第一交互指令用于指示将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件，当第一交互指令对应的交互类型不满足电子设备所支持的交互类型时，将第一交互指令分解为多个第二交互指令，其中，第二交互指令对应的交互类型满足电子设备所支持的交互类型，根据多个第二交互指令，将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件，从而通过将电子设备不支持的交互指令分解为电子设备支持的交互指令的方式，完成电子设备对多模态交互的实现，以提升电子设备对多模态交互的适用性。
请参阅图6，图6示出了本申请一实施例提供的交互方法的流程示意图。该方法应用于上述电子设备，下面将针对图6所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S210：获取所述电子设备在显示目标界面时接收到的第一交互指令，其中，所述目标界面显示有多个可操作控件，所述第一交互指令用于指示将所述多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件。
其中，步骤S210的具体描述请参阅步骤S110，在此不再赘述。
步骤S220：当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，获取所述第一可操作控件的坐标信息作为第一坐标信息，并获取所述第二可操作控件的坐标信息作为第二坐标信息。
在一些实施方式中，当第一交互指令对应的交互类型不满足电子设备所支持的交互类型时，则可以获取第一可操作控件的坐标信息，并将第一可操作控件的坐标信息作为第一坐标信息，以及可以获取第二可操作控件的坐标信息，并将第二可操作控件的坐标信息作为第二坐标信息。其中，可以以电子设备的左上角为原点、以电子设备的横轴为x方向、以电子设备的纵轴为y方向建立坐标系。
作为一种方式，可以从电子设备的系统中获取该目标界面的层次结构(ViewTree)，并从该层次结构中获取该第一可操作控件的坐标信息作为第一坐标信息，并从该层次结构中获取该第二可操作控件的坐标信息作为第二坐标信息。例如，该第一可操作控件T1的坐标信息P1[x11，y11，x21，y21]，其中，该x11表示第一可操作控件T1的左上角横坐标，y11表示第一可操作控件T1的左上角纵坐标，x21表示第一可操作控件T1的右下角横坐标，y21表示第一可操作控件T1的右下角横坐标。该第二可操作控件T2的坐标信息P2[x12，y12，x22，y22]，其中，该x12表示第二可操作控件T2的左上角横坐标，y12表示第二可操作控件T2的左上角纵坐标，x22表示第二可操作控件T2的右下角横坐标，y22表示第二可操作控件T2的右下角纵坐标。
步骤S230：基于所述第一坐标信息和所述第二坐标信息，将所述第一交互指令分解为多个第二交互指令，其中，所述第二交互指令对应的交互类型满足所述电子设备所支持的交互类型。
在一些实施方式中，在获得第一可操作控件对应的第一坐标信息和第二可操作控件对应的第二坐标信息时，则可以基于该第一坐标信息和第二坐标信息，将第一交互信息分解为交互类型满足电子设备所支持的交互类型的多个第二交互指令。其中，在获得第一坐标信息和第二坐标信息后，可以知道，若期望将待控制控件从第一坐标信息对应的第一可操作控件切换为第二坐标信息对应的第二可操作控件，所需要的焦点移动方式，即所需要分解获得的多个第二交互指令(焦点移动)。
请参阅图7，图7示出了本申请的图6所示的交互方法的步骤S230的流程示意图。在本实施例中，该待控制控件对应有焦点，下面将针对图7所示的流程进行详细的阐述，所述交互方法可以包括以下步骤：
步骤S231：基于所述第一坐标信息和所述第二坐标信息，确定所述焦点在所述多个可操作控件上的移动路径。
在本实施例中，该待控制控件对应有焦点。作为一种方式，该焦点可以包括模拟光标、模拟提示框等。其中，该模拟光标和模拟提示框可以用于指示焦点所在的位置，可由应用和组件实现，不依赖于系统底层的驱动。其中该焦点可以显示，也可以不显示。
在一些实施方式中，在获得第一坐标信息和第二坐标信息后，则可以基于该第一坐标信息和第二坐标信息，确定该焦点在多个可操作控件上的移动路径。其中，在获得第一坐标信息和第二坐标信息后，可以知道，若期望将待控制控件从第一坐标信息对应的第一可操作控件切换为第二坐标信息对应的第二可操作控件，所需要的焦点移动方式以及焦点移动路径。
例如，在确定需要将焦点从可操作控件6移动到可操作控件22上时，则所确定的移动路径可以为可操作控件6-可操作控件12-可操作控件13-可操作控件14-可操作控件15-可操作控件16-可操作控件17-可操作控件18-可操作控件19-可操作控件20-可操作控件21-可操作控件22。相应地，焦点移动方式依次为下移-下移-右移-右移-右移-右移-右移-右移-右移-右移-右移。
步骤S232：基于所述移动路径，将所述第一交互指令分解为所述多个第二交互指令。
在一些实施方式中，在确定从第一可操作控件到第二可操作控件的移动路径时，则可以基于从第一可操作控件到第二可操作控件的移动路径，将第一交互指令分解为多个第二交互指令。
步骤S240：根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
其中，步骤S240的具体描述请参阅步骤S130，在此不再赘述。
本申请一实施例提供的交互方法，相较于图1所示的交互方法，本实施例还获取第一可操作控件的坐标信息和第二可操作控件的坐标信息，并基于第一可操作控件的坐标信息和第二可操作控件的坐标信息，将第一交互指令分解为多个第二交互指令，从而提升指令分解的准确性以及模态转换的成功率。
请参阅图8，图8示出了本申请一实施例提供的交互方法的流程示意图。该方法应用于上述电子设备，下面将针对图8所示的流程进行详细的阐述，在本实施例中，该待控制控件对应有焦点，该交互方法具体可以包括以下步骤：
步骤S310：获取所述电子设备在显示目标界面时接收到的第一交互指令，其中，所述目标界面显示有多个可操作控件，所述第一交互指令用于指示将所述多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件。
步骤S320：当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，将所述第一交互指令分解为多个第二交互指令，其中，所述第二交互指令对应的交互类型满足所述电子设备所支持的交互类型。
其中，步骤S310-步骤S320的具体描述请参阅步骤S110-步骤S120，在此不再赘述。
步骤S330：根据所述多个第二交互指令，控制所述焦点在所述多个可操作控件上移动。
在一些实施方式中，在分解获得多个第二交互指令后，则可以根据多个第二交互指令，控制焦点在多个可操作控件上移动。例如，在确定需要将焦点从可操作控件6移动到可操作控件22上时，则可以根据多个第二交互指令，控制焦点从可操作控件6下移至可操作控件12、从可操作控件12下移至可操作控件13、从可操作控件13右移至可操作控件14、从可操作控件14右移至可操作控件15、从可操作控件15右移至可操作控件16、从可操作控件16右移至可操作控件17、从可操作控件17右移至可操作控件18、从可操作控件18右移至可操作控件19、从可操作控件19下移至可操作控件20、从可操作控件20右移至可操作控件21、从可操作控件21右移至可操作控件22。
请参阅图9，图9示出了本申请的图8所示的交互方法的步骤S330的一实施例的流程示意图。下面将针对图9所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S331A：获取所述第一坐标信息的纵坐标区间，并获取所述第二坐标信息的纵坐标区间。
在一些实施方式中，电子设备在获取第一可操作控件对应的第一坐标信息后，则可以获取该第一坐标信息的纵坐标区间；电子设备在获取第二可操作控件对应的第二坐标信息后，则可以获取该第二坐标信息的纵坐标区间。
例如，假设第一坐标信息为P1[x11，y11，x21，y21]，则可以确定该第一坐标信息的纵坐标区间为y11-y21。假设第二坐标信息为P2[x12，y12，x22，y22]，则可以确定该第二坐标信息的纵坐标区间为y12-y22。
步骤S332A：当所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间存在重合的纵坐标区间时，获取所述第一坐标信息的横坐标区间，并获取所述第二坐标信息的横坐标区间。
在一些实施方式中，电子设备在获得第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间后，可以检测该第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间是否存在重合的纵坐标区间。作为一种方式，如果y11≤y12＜y21，则可以确定该第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间存在重合的纵坐标区间。或者，如果y12≤y11＜y22，则可以确定该第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间存在重合的纵坐标区间。
其中，当确定该第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间存在重合的纵坐标区间时，则可以获取第一坐标信息的横坐标区间，并获取该第二坐标信息的横坐标区间。例如，假设第一坐标信息为P1[x11，y11，x21，y21]，则可以确定该第一坐标信息的横坐标区间为x11-x21。假设第二坐标信息为P2[x12，y12，x22，y22]，则可以确定该第二坐标信息的横坐标区间为x12-x22。
步骤S333A：基于所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间，控制所述焦点沿横坐标方向在所述多个可操作控件上移动。
在一些实施方式中，在获得第一坐标信息的横坐标区间和第二坐标信息的横坐标区间后，则可以基于该第一坐标信息的横坐标区间和第二坐标信息的横坐标区间，控制焦点沿横坐标方向在多个可操作控件上移动，直到该焦点移动至第二坐标信息对应的第二可操作控件上。其中，在完成一次焦点的移动后，则可以从电子设备的系统中重新获取图形界面的可操作控件和层次结构，以避免图形界面发生变化带来的焦点移动错误。
作为一种方式，如果x21＜x12，即当焦点位于第二可操作控件的左边时，则可以控制焦点执行右移指令，即，控制焦点沿横坐标方向在多个可操作控件上向右移动。或者，如果x12＞x22，即当焦点位于第二可操作控件的右边时，则可以控制焦点执行左移指令，即，控制焦点沿横坐标方向在多个可操作控件上向左移动。
步骤S334A：当所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间不存在重合的纵坐标区间时，基于所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间，控制所述焦点沿纵坐标方向在所述多个可操作控件上移动。
在一些实施方式中，电子设备在获得第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间后，可以检测该第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间是否存在重合的纵坐标区间。作为一种方式，如果y21＜y12，则可以确定焦点(第一可操作控件)在第二可操作控件的上方，即，第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间不存在重合的纵坐标区间。或者，如果y11＞y22，则可以确定焦点(第一可操作控件)在第二可操作控件的下方，即，第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间不存在重合的纵坐标区间。
在本实施例中，在确定该第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间不存在重合的纵坐标区间时，则可以基于该第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间，控制焦点沿纵坐标方向在多个可操作控件上移动。其中，在完成一次焦点的移动后，则可以从电子设备的系统中重新获取图形界面的可操作控件和层次结构，以避免图形界面发生变化带来的焦点移动错误。
例如，如果y21＜y12，即焦点在第二可操作控件的上方时，则可以控制焦点执行下移指令，即，控制焦点沿纵坐标方向在多个可操作控件上向下移动。或者，如果y11＞y22，即焦点在第二可操作控件的下方时，则可以控制焦点执行上移指令，即，控制焦点沿纵坐标方向在多个可操作控件上向上移动。
步骤S335A：获取移动后的所述焦点对应的第三可操作控件的坐标信息作为第三坐标信息，并获取所述第三坐标信息的纵坐标区间。
在一些实施方式中，在每控制焦点沿纵坐标方向移动一次后，则可以获取移动后的焦点对应的第三可操作控件的坐标信息，将焦点对应的第三可操作控件的坐标信息作为第三坐标信息，并获取该第三坐标信息的纵坐标区间。
作为一种方式，可以从电子设备的系统中获取该目标界面的层次结构，并从该层次结构中获取该第三可操作控件的坐标信息作为第三坐标信息。例如，该第三可操作控件T3的坐标信息P3[x13，y13，x23，y23]，其中，该x13表示第三可操作控件T3的左上角横坐标，y13表示第三可操作控件T3的左上角纵坐标，x23表示第三可操作控件T3的右下角横坐标，y23表示第三可操作控件T3的右下角横坐标。基于此，可以获取该第三可操作控件对应的第三坐标信息的纵坐标区间为y13-y23。
步骤S336A：当所述第三坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间存在重合的纵坐标区间时，获取所述第三坐标信息的横坐标区间，并获取所述第二坐标信息的横坐标区间。
在一些实施方式中，电子设备在获得第三坐标信息的纵坐标区间后，可以检测该第三坐标信息的纵坐标区间和第二坐标信息的纵坐标区间是否存在重合的纵坐标区间。作为一种方式，如果y13≤y12＜y23，则可以确定该第三坐标信息的纵坐标区间和第二坐标信息的纵坐标区间存在重合的纵坐标区间。或者，如果y12≤y13＜y22，则可以确定该第三坐标信息的纵坐标区间和第二坐标信息的纵坐标区间存在重合的纵坐标区间。否则，可以确定该第三坐标信息的纵坐标区间和第二坐标信息的纵坐标区间不存在重合的纵坐标区间。
其中，当确定该第三坐标信息的纵坐标区间和第二坐标信息的纵坐标区间存在重合的纵坐标区间，表征该焦点已经移到与第二可操作控件处于同一行的可操作控件，即，该焦点不需要再沿纵坐标方向移动，因此，可以获取第三坐标信息的横坐标区间，并获取第二坐标信息的横坐标区间。例如，假设第三坐标信息为P3[x13，y13，x23，y23]，则可以确定该第三坐标信息的横坐标区间为x13-x23。假设第二坐标信息为P2[x12，y12，x22，y22]，则可以确定该第二坐标信息的横坐标区间为x12-x22。
步骤S337A：基于所述第三坐标信息的横坐标区间和所述第二坐标信息的横坐标区间，控制所述焦点沿横坐标方向在所述多个可操作控件上移动。
在一些实施方式中，在获得第三坐标信息的横坐标区间和第二坐标信息的横坐标区间后，则可以基于该第三坐标信息的横坐标区间和第二坐标信息的横坐标区间，控制焦点沿横坐标方向在多个可操作控件上移动，直到该焦点移动至第二坐标信息对应的第二可操作控件上。其中，在完成一次焦点的移动后，则可以从电子设备的系统中重新获取图形界面的可操作控件和层次结构，以避免图形界面发生变化带来的焦点移动错误。
作为一种方式，如果x23＜x12，即当焦点位于第二可操作控件的左边时，则可以控制焦点执行右移指令，即，控制焦点沿横坐标方向在多个可操作控件上向右移动。或者，如果x13＞x22，即当焦点位于第二可操作控件的右边时，则可以控制焦点执行左移指令，即，控制焦点沿横坐标方向在多个可操作控件上向左移动。
请参阅图10，图10示出了本申请的图8所示的交互方法的步骤S330的一实施例的流程示意图。下面将针对图10所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S331B：获取所述第一坐标信息的纵坐标区间，并获取所述第二坐标信息的纵坐标区间。
步骤S332B：当所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间存在重合的纵坐标区间时，获取所述第一坐标信息的横坐标区间，并获取所述第二坐标信息的横坐标区间。
步骤S333B：基于所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间，控制所述焦点沿横坐标方向在所述多个可操作控件上移动。
步骤S334B：当所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间不存在重合的纵坐标区间时，基于所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间，控制所述焦点沿纵坐标方向在所述多个可操作控件上移动。
其中，步骤S331B-步骤S334B的具体描述请参阅步骤S331A-步骤S334A，在此不再赘述。
步骤S335B：所述电子设备从显示所述目标界面更新为显示当前界面。
在本实施例中，电子设备在焦点移动的过程中，会对应更新所显示的界面。例如，电子设备从显示目标界面更新为显示当前界面。其中，目标界面与当前界面可能相同，也可能不相同，例如，当电子设备所显示的界面没有跳页时，则可以认为目标界面与当前界面相同；当电子设备所显示的界面跳页时，则可以认为目标界面与当前界面不同。
步骤S336B：当所述当前界面未显示有所述第二可操作控件时，从显示所述当前界面回退至显示所述目标界面，并将所述焦点回退至对应所述第一可操作控件。
在一些实施方式中，在获得电子设备的当前界面后，可以判断该电子设备的当前界面中是否显示有该第二可操作控件，即，可以检测在电子设备所显示的界面中是否存在该第二可操作控件。其中，当检测到当前界面未显示有该第二可操作控件时，可以标记该第一交互指令为无效指令或者标记该多个第二交互指令中触发跳转至当前界面的第二交互指令无效，此时，可以进行回退操作。作为一种方式，回退操作可以包括从显示当前界面回退至显示目标界面，并将焦点回退至对应第一可操作控件。作为另一种方式，回退操作可以包括从显示当前界面回退至显示上一界面，并将焦点回退至对应上一可操作控件。
步骤S337B：获取所述第一坐标信息的横坐标区间，并获取所述第二坐标信息的横坐标区间。
其中，上述步骤中，由于控制焦点沿纵坐标方向移动的过程中，导致第二可操作控件从电子设备所显示的界面中消失，因此，在本实施例中，可以切换为先控制焦点沿横坐标方向移动。
在一些实施方式中，可以获取第一坐标信息的横坐标区间，并获取该第二坐标信息的横坐标区间。例如，假设第一坐标信息为P1[x11，y11，x21，y21]，则可以确定该第一坐标信息的横坐标区间为x11-x21。假设第二坐标信息为P2[x12，y12，x22，y22]，则可以确定该第二坐标信息的横坐标区间为x12-x22。
步骤S338B：当所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间存在重合的横坐标区间时，获取所述第一坐标信息的纵坐标区间，并获取所述第二坐标信息的纵坐标区间。
在一些实施方式中，电子设备在获得第一坐标信息的横坐标区间和第二坐标信息的横坐标区间后，可以检测该第一坐标信息的横坐标区间和第二坐标信息的横坐标区间是否存在重合的横坐标区间。作为一种方式，如果想x11≤x12＜x21，则可以确定该第一坐标信息的横坐标区间和第二坐标信息的横坐标区间存在重合的横坐标区间。或者，如果x12≤x11＜x22，则可以确定该第一坐标信息的横坐标区间和第二坐标信息的横坐标区间存在重合的横坐标区间。
其中，当确定该第一坐标信息的横坐标区间和第二坐标信息的横坐标区间存在重合的横坐标区间时，则可以获取第一坐标信息的纵坐标区间，并获取该第二坐标信息的纵坐标区间。例如，假设第一坐标信息为P1[x11，y11，x21，y21]，则可以确定该第一坐标信息的纵坐标区间为y11-y21。假设第二坐标信息为P2[x12，y12，x22，y22]，则可以确定该第二坐标信息的纵坐标区间为y12-y22。
步骤S339B：基于所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间，控制所述焦点沿纵坐标方向在所述多个可操作控件上移动。
在一些实施方式中，在获得第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间后，则可以基于该第一坐标信息的纵坐标区间和第二坐标信息的纵坐标区间，控制焦点沿纵坐标方向在多个可操作控件上移动，直到该焦点移动至第二坐标信息对应的第二可操作控件上。其中，在完成一次焦点的移动后，则可以从电子设备的系统中重新获取图形界面的可操作控件和层次结构，以避免图形界面发生变化带来的焦点移动错误。
作为一种方式，如果y21＜y12，即当焦点位于第二可操作控件的上方时，则可以控制焦点执行下移指令，即，控制焦点沿纵坐标方向在多个可操作控件上向下移动。或者，如果y12＞y22，即当焦点位于第二可操作控件的下方时，则可以控制焦点执行上移指令，即，控制焦点沿纵坐标方向在多个可操作控件上向上移动。
步骤S3310B：当所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间不存在重合的横坐标区间时，基于所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间，控制所述焦点沿横坐标方向在所述多个可操作控件上移动。
在一些实施方式中，电子设备在获得第一坐标信息的横坐标区间和第二坐标信息的横坐标区间后，可以检测该第一坐标信息的横坐标区间和第二坐标信息的横坐标区间是否存在重合的横坐标区间。作为一种方式，如果x21＜x12，则可以确定焦点(第一可操作控件)在第二可操作控件的左边，即，第一坐标信息的横坐标区间和第二坐标信息的横坐标区间不存在重合的横坐标区间。或者，如果x11＞x22，则可以确定焦点(第一可操作控件)在第二可操作控件的右边，即，第一坐标信息的横坐标区间和第二坐标信息的横坐标区间不存在重合的横坐标区间。
在本实施例中，在确定该第一坐标信息的横坐标区间和第二坐标信息的横坐标区间不存在重合的横坐标区间时，则可以基于该第一坐标信息的横坐标区间和第二坐标信息的横坐标区间，控制焦点沿横坐标方向在多个可操作控件上移动。其中，在完成一次焦点的移动后，则可以从电子设备的系统中重新获取图形界面的可操作控件和层次结构，以避免图形界面发生变化带来的焦点移动错误。
例如，如果x21＜x12，即焦点在第二可操作控件的左边时，则可以控制焦点执行右移指令，即，控制焦点沿横坐标方向在多个可操作控件上向右移动。或者，如果x11＞x22，即焦点在第二可操作控件的右边时，则可以控制焦点执行左移指令，即，控制焦点沿横坐标方向在多个可操作控件上向左移动。
步骤S3311B：获取移动后的所述焦点对应的第四可操作控件的坐标信息作为第四坐标信息，并获取所述第四坐标信息的横坐标区间。
在一些实施方式中，在每控制焦点沿横坐标方向移动一次后，则可以获取移动后的焦点对应的第四可操作控件的坐标信息，将焦点对应的第四可操作控件的坐标信息作为第四坐标信息，并获取该第四坐标信息的横坐标区间。
作为一种方式，可以从电子设备的系统中获取该目标界面的层次结构，并从该层次结构中获取该第四可操作控件的坐标信息作为第四坐标信息。例如，该第四可操作控件T4的坐标信息P4[x14，y14，x24，y24]，其中，该x14表示第四可操作控件T4的左上角横坐标，y14表示第四可操作控件T4的左上角纵坐标，x24表示第四可操作控件T4的右下角横坐标，y24表示第四可操作控件T4的右下角横坐标。基于此，可以获取该第四可操作控件对应的第四坐标信息的横坐标区间为x14-x24。
步骤S3312B：当所述第四坐标信息的横坐标区间和所述第二坐标信息的横坐标区间存在重合的横坐标区间时，获取所述第四坐标信息的纵坐标区间，并获取所述第二坐标信息的纵坐标区间。
在一些实施方式中，电子设备在获得第四坐标信息的横坐标区间后，可以检测该第四坐标信息的横坐标区间和第二坐标信息的横坐标区间是否存在重合的横坐标区间。作为一种方式，如果x14≤x12＜x24，则可以确定该第四坐标信息的横坐标区间和第二坐标信息的横坐标区间存在重合的横坐标区间。或者，如果x12≤x14＜x22，则可以确定该第四坐标信息的横坐标区间和第二坐标信息的横坐标区间存在重合的纵坐标区间。否则，可以确定该第四坐标信息的横坐标区间和第二坐标信息的横坐标区间不存在重合的横坐标区间。
其中，当确定该第四坐标信息的横坐标区间和第二坐标信息的横坐标区间存在重合的横坐标区间，表征该焦点已经移到与第二可操作控件处于同一列的可操作控件，即，该焦点不需要再沿横坐标方向移动，因此，可以获取第四坐标信息的纵坐标区间，并获取第二坐标信息的纵坐标区间。例如，假设第四坐标信息为P4[x14，y14，x24，y24]，则可以确定该第四坐标信息的纵坐标区间为y14-y24。假设第二坐标信息为P2[x12，y12，x22，y22]，则可以确定该第二坐标信息的纵坐标区间为y12-y22。
步骤S3313B：基于所述第四坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间，控制所述焦点沿纵坐标方向在所述多个可操作控件上移动。
在一些实施方式中，在获得第四坐标信息的纵坐标区间和第二坐标信息的纵坐标区间后，则可以基于该第四坐标信息的纵坐标区间和第二坐标信息的纵坐标区间，控制焦点沿纵坐标方向在多个可操作控件上移动，直到该焦点移动至第二坐标信息对应的第二可操作控件上。其中，在完成一次焦点的移动后，则可以从电子设备的系统中重新获取图形界面的可操作控件和层次结构，以避免图形界面发生变化带来的焦点移动错误。
作为一种方式，如果y24＜y12，即当焦点位于第二可操作控件的上方时，则可以控制焦点执行下移指令，即，控制焦点沿纵坐标方向在多个可操作控件上向下移动。或者，如果y14＞y22，即当焦点位于第二可操作控件的下方时，则可以控制焦点执行上移指令，即，控制焦点沿纵坐标方向在多个可操作控件上向上移动。
步骤S340：当所述焦点从所述第一可操作控件移动到所述第二可操作控件上时，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
在一些实施方式中，在控制焦点在多个可操作控件上移动的过程中，可以检测该焦点是否从第一可操作控件移动到第二可操作控件上。其中，当检测到该焦点从第一可操作控件移动到第二可操作控件时，可以确定焦点所指示的位置即为第一交互指令所支持的位置，则可以将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件。
本申请一实施例提供的交互方法，相较于图1所示的交互方法，本实施例还将待控制控件与焦点对应，并根据多个第二交互指令，控制焦点在多个可操作控件上移动，当焦点从第一可操作控件移动到第二可操作控件上时，将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件，以标识待控制控件的变化，提升用户的使用体验。
请参阅图11，图11示出了本申请一实施例提供的交互方法的流程示意图。该方法应用于上述电子设备，在本实施例中，第一交互指令还用于指示对第二可操作控件进行控制，下面将针对图11所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S410：获取所述电子设备在显示目标界面时接收到的第一交互指令，其中，所述目标界面显示有多个可操作控件，所述第一交互指令用于指示将所述多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件。
步骤S420：当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，将所述第一交互指令分解为多个第二交互指令，其中，所述第二交互指令对应的交互类型满足所述电子设备所支持的交互类型。
步骤S430：根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
其中，步骤S410-步骤S430的具体描述请参阅步骤S110-步骤S130，在此不再赘述。
步骤S440：控制所述第二可操作控件执行与所述第一交互指令对应的操作。
在本实施例中，第一交互指令还用于指示对第二可操作控件进行控制。例如，该第一交互指令可以为“点击第二可操作控件”、“按压第二可操作控件”、“开启第二可操作控件”、“改变第二可操作控件的显示位置”、“”等，在此不做限定。
在一些实施方式中，在将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件后，则可以控制第二可操作控件执行与第一交互指令对应的操作。例如，若第一交互指令为“开启第二可操作控件”时，则可以在将焦点移动到第二可操作控件并将第二可操作控件确定为待控制控件后，则开启第二可操作控件。
本申请一实施例提供的交互方法，相较于图1所示的交互方法，本实施例还在将待控制控件从第一待控制控件切换为第二可操作控件后，控制第二可操作控件执行与第一交互指令对应的操作，从而实现多模态交互的实现和多模态指令的响应。
请参阅图12，图12示出了本申请一实施例提供的交互方法的流程示意图。该方法应用于上述电子设备，下面将针对图12所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S510：获取所述电子设备在显示目标界面时接收到的第一交互指令，其中，所述目标界面显示有多个可操作控件，所述第一交互指令用于指示将所述多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件。
其中，步骤S510的具体描述请参阅步骤S110，在此不再赘述。
步骤S520：获取所述第一交互指令对应的指令输入装置。
在一些实施方式中，电子设备可以获取第一交互指令对应的指令输入装置。例如，电子设备可以获取第一交互指令的来源，基于该第一交互指令的来源确定该第一交互指令对应的指令输入装置。例如，当第一交互指令对应的交互方式为滑动方式时，可以确定该第一交互指令对应的指令输入装置为“屏幕”。又例如，当第一交互指令对应的交互方式为光标切换方式时，可以确定该第一交互指令对应的指令输入装置为“鼠标”。
步骤S530：基于所述指令输入装置确定所述第一交互指令对应的交互类型。
在一些实施方式中，当确定该第一交互指令对应的指令输入装置后，则可以基于该指令输入装置，确定该第一交互指令对应的交互类型。例如，当该指令输入装置为鼠标时，则可以确定该第一交互指令对应的交互类型为自由型交互类型。又例如，当该指令输入装置为屏幕时，则可以确定该第一交互指令对应的交互类型可以为自由型交互类型，也可以为受限型交互类型。再例如，当该指令输入装置为遥控器时，则可以确定该第一交互指令对应的交互类型为受限型交互类型。
步骤S540：当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，将所述第一交互指令分解为多个第二交互指令，其中，所述第二交互指令对应的交互类型满足所述电子设备所支持的交互类型。
步骤S550：根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
其中，步骤S540-步骤S550的具体描述请参阅步骤S120-步骤S130，在此不再赘述。
本申请一实施例提供的交互方法，相较于图1所示的交互方法，本实施例还获取第一交互指令对应的指令输入装置，基于指令输入装置确定第一交互指令对应的交互类型，从而可以提升交互指令对应的交互类型的识别效率和准确率。
请参阅图13，图13示出了本申请一实施例提供的交互方法的流程示意图。该方法应用于上述电子设备，下面将针对图13所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S610：若所述电子设备在显示所述目标界面时检测到第一交互方式，基于预设映射关系获取所述第一交互方式对应的所述第一交互指令，其中，所述预设映射关系包括多个交互方式和多个交互指令的对应关系，所述目标界面显示有多个可操作控件，所述第一交互指令用于指示将所述多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件。
在本实施例中，可以将用户与电子设备的交互指令执行过程从设备的底层实现中剥离出来形成一个单独的模块，实现交互方式与电子设备或电子设备的系统的解耦。于本实施例中，可以将不同交互方式的交互指令进行了抽象，形成一系列标准的交互指令，并依据不同的平台提供不同的指令实现形式。对于不同的交互方式，可以需定义好各自交互指令与标准交互指令间的映射关系，即可实现不同交互方式的适配和接入。从而可以忽略平台的具体实现细节及适配问题，从而极大的方便多模态交互方式的开发，提升开发效率，节省开发时间。
其中，对于标准指令的执行可以有两种方式实现。一种是电子设备和电子设备的系统提供对标准指令的所有实现，指令执行仅需通过系统接口调用即可实现。一种是电子设备和电子设备的系统仅提供有限模态的交互指令，这种情形下，执行层需要将标准指令分解成电子设备支持的主要交互模态的交互指令，并调用相应交互指令的执行接口完成对标准指令的执行。
对于多模态交互方式的适配来说，电子设备可以将自身交互指令与标准交互指令进行映射和关联即可，无需关心平台和系统底层关于交互指令的具体实现方式。对于系统和平台来说，无需关心未来需要支持的交互方式。从而可以节省双发的开发时间、提升开发效率，同时也可以实现对存量设备和软件的多种模态交互方式的适配和支持。
在一些实施方式中，电子设备在显示目标界面的过程中可以检测输入的交互方式，其中，当检测到第一交互方式时，则可以基于包括多个交互方式和多个交互指令的对应关系的预设映射关系，获取该第一交互方式对应的第一交互指令。例如，若第一交互方式为“向左挥手”时，则基于预设映射关系确定其对应的第一交互指令为“焦点左移”；若第一交互方式为“向右挥手”时，则基于预设映射关系确定其对应的第一交互指令为“焦点右移”。
步骤S620：当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，将所述第一交互指令分解为多个第二交互指令，其中，所述第二交互指令对应的交互类型满足所述电子设备所支持的交互类型。
步骤S630：根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
其中，步骤S620-步骤S630的具体描述请参阅步骤S120-步骤S130，在此不再赘述。
本申请一实施例提供的交互方法，相较于图1所示的交互方法，本实施例还在显示目标界面时检测到第一交互方式时，基于包括多个交互方式和多个交互指令的对应关系的预设映射关系，获取第一交互方式对应的第一交互指令，从而提升所获取的交互指令的准确性和便捷性。
请参阅图14，图14示出了本申请一实施例提供的交互装置的模块框图。该交互装置200应用于上述电子设备，下面将针对图14所示的框图进行阐述，所述交互装置200包括：交互指令获取模块210、交互指令分解模块220以及控件切换模块230，其中：
交互指令获取模块210，用于获取所述电子设备在显示目标界面时接收到的第一交互指令，其中，所述目标界面显示有多个可操作控件，所述第一交互指令用于指示将所述多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件。
进一步地，所述交互指令获取模块210包括：交互指令获取子模块，其中：
交互指令获取子模块，用于若所述电子设备在显示所述目标界面时检测到第一交互方式，基于预设映射关系获取所述第一交互方式对应的所述第一交互指令，其中，所述预设映射关系包括多个交互方式和多个交互指令的对应关系。
交互指令分解模块220，用于当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，将所述第一交互指令分解为多个第二交互指令，其中，所述第二交互指令对应的交互类型满足所述电子设备所支持的交互类型。
进一步地，所述交互指令分解模块220包括：坐标信息获取子模块和交互指令分解子模块，其中：
坐标信息获取子模块，用于获取所述第一可操作控件的坐标信息作为第一坐标信息，并获取所述第二可操作控件的坐标信息作为第二坐标信息。
交互指令分解子模块，用于基于所述第一坐标信息和所述第二坐标信息，将所述第一交互指令分解为多个第二交互指令。
进一步地，所述待控制控件对应有焦点，所述交互指令分解子模块包括：移动路径确定单元和交互指令分解单元，其中：
移动路径确定单元，用于基于所述第一坐标信息和所述第二坐标信息，确定所述焦点在所述多个可操作控件上的移动路径。
交互指令分解单元，用于基于所述移动路径，将所述第一交互指令分解为所述多个第二交互指令。
控件切换模块230，用于根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
进一步地，所述待控制控件对应有焦点，所述控件切换模块230包括：
焦点移动子模块，用于根据所述多个第二交互指令，控制所述焦点在所述多个可操作控件上移动。
进一步地，所述焦点移动子模块包括：第一坐标区间获取单元、第二坐标区间获取单元、第一移动单元、第二移动单元、第三坐标区间获取单元、第四坐标区间获取单元以及第三移动单元，其中：
第一坐标区间获取单元，用于获取所述第一坐标信息的纵坐标区间，并获取所述第二坐标信息的纵坐标区间。
第二坐标区间获取单元，用于当所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间存在重合的纵坐标区间时，获取所述第一坐标信息的横坐标区间，并获取所述第二坐标信息的横坐标区间。
第一移动单元，用于基于所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间，控制所述焦点沿横坐标方向在所述多个可操作控件上移动。
第二移动单元，用于当所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间不存在重合的纵坐标区间时，基于所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间，控制所述焦点沿纵坐标方向在所述多个可操作控件上移动。
第三坐标区间获取单元，用于获取移动后的所述焦点对应的第三可操作控件的坐标信息作为第三坐标信息，并获取所述第三坐标信息的纵坐标区间。
第四坐标区间获取单元，用于当所述第三坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间存在重合的纵坐标区间时，获取所述第三坐标信息的横坐标区间，并获取所述第二坐标信息的横坐标区间。
第三移动单元，用于基于所述第三坐标信息的横坐标区间和所述第二坐标信息的横坐标区间，控制所述焦点沿横坐标方向在所述多个可操作控件上移动。
进一步地，所述焦点移动子模块包括：界面更新单元和回退单元，其中：
界面更新单元，用于所述电子设备从显示所述目标界面更新为显示当前界面。
回退单元，用于当所述当前界面未显示有所述第二可操作控件时，从显示所述当前界面回退至显示所述目标界面，并将所述焦点回退至对应所述第一可操作控件。
进一步地，所述焦点移动子模块包括：第五坐标区间获取单元、第六坐标区间获取单元、第四移动单元、第五移动单元、第七坐标区间获取单元、第八坐标区间获取单元、第六移动单元，其中：
第五坐标区间获取单元，用于获取所述第一坐标信息的横坐标区间，并获取所述第二坐标信息的横坐标区间。
第六坐标区间获取单元，用于当所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间存在重合的横坐标区间时，获取所述第一坐标信息的纵坐标区间，并获取所述第二坐标信息的纵坐标区间。
第四移动单元，用于基于所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间，控制所述焦点沿纵坐标方向在所述多个可操作控件上移动。
第五移动单元，用于当所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间不存在重合的横坐标区间时，基于所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间，控制所述焦点沿横坐标方向在所述多个可操作控件上移动。
第七坐标区间获取单元，用于获取移动后的所述焦点对应的第四可操作控件的坐标信息作为第四坐标信息，并获取所述第四坐标信息的横坐标区间。
第八坐标区间获取单元，用于当所述第四坐标信息的横坐标区间和所述第二坐标信息的横坐标区间存在重合的横坐标区间时，获取所述第四坐标信息的纵坐标区间，并获取所述第二坐标信息的纵坐标区间。
第六移动单元，用于基于所述第四坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间，控制所述焦点沿纵坐标方向在所述多个可操作控件上移动。
控件切换子模块，用于当所述焦点从所述第一可操作控件移动到所述第二可操作控件上时，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
进一步地，所述第一交互指令还用于指示对所述第二可操作控件进行控制，所述交互装置200还包括：操作控制模块，其中：
操作控制模块，用于控制所述第二可操作控件执行与所述第一交互指令对应的操作。
进一步地，所述交互装置200还包括：指令输入装置获取模块和交互类型确定模块，其中：
指令输入装置获取模块，用于获取所述第一交互指令对应的指令输入装置。
交互类型确定模块，用于基于所述指令输入装置确定所述第一交互指令对应的交互类型。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图15，其示出了本申请实施例提供的一种电子设备100的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责待显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参阅图16，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。
综上所述，本申请实施例提供的交互方法、装置、电子设备以及存储介质，获取电子设备在显示目标界面时接收到的第一交互指令，其中，目标界面显示有多个可操作控件，第一交互指令用于指示将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件，当第一交互指令对应的交互类型不满足电子设备所支持的交互类型时，将第一交互指令分解为多个第二交互指令，其中，第二交互指令对应的交互类型满足电子设备所支持的交互类型，根据多个第二交互指令，将多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件，从而通过将电子设备不支持的交互指令分解为电子设备支持的交互指令的方式，完成电子设备对多模态交互的实现，以提升电子设备对多模态交互的适用性。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (16)

1.一种交互方法，其特征在于，应用于电子设备，所述方法包括：
获取所述电子设备在显示目标界面时接收到的第一交互指令，其中，所述目标界面显示有多个可操作控件，所述第一交互指令用于指示将所述多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件；
当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，将所述第一交互指令分解为多个第二交互指令，其中，所述第二交互指令对应的交互类型满足所述电子设备所支持的交互类型；
根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
2.根据权利要求1所述的方法，其特征在于，所述第一交互指令用于指示将作为所述待控制控件的可操作控件在所述多个可操作控件中不相邻的两个可操作控件之间切换，所述第二交互指令用于指示将作为所述待控制控件的可操作控件在所述多个可操作控件中相邻的两个可操作控件之间切换。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一交互指令分解为多个第二交互指令，包括：
获取所述第一可操作控件的坐标信息作为第一坐标信息，并获取所述第二可操作控件的坐标信息作为第二坐标信息；
基于所述第一坐标信息和所述第二坐标信息，将所述第一交互指令分解为多个第二交互指令。
4.根据权利要求3所述的方法，其特征在于，所述待控制控件对应有焦点，所述基于所述第一坐标信息和所述第二坐标信息，将所述第一交互指令分解为多个第二交互指令，包括：
基于所述第一坐标信息和所述第二坐标信息，确定所述焦点在所述多个可操作控件上的移动路径；
基于所述移动路径，将所述第一交互指令分解为所述多个第二交互指令。
5.根据权利要求3所述的方法，其特征在于，所述待控制控件对应有焦点，所述根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件，包括：
根据所述多个第二交互指令，控制所述焦点在所述多个可操作控件上移动；
当所述焦点从所述第一可操作控件移动到所述第二可操作控件上时，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
6.根据权利要求5所述的方法，其特征在于，所述根据所述多个第二交互指令，控制所述焦点在所述多个可操作控件上移动，包括：
获取所述第一坐标信息的纵坐标区间，并获取所述第二坐标信息的纵坐标区间；
当所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间存在重合的纵坐标区间时，获取所述第一坐标信息的横坐标区间，并获取所述第二坐标信息的横坐标区间；
基于所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间，控制所述焦点沿横坐标方向在所述多个可操作控件上移动。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间不存在重合的纵坐标区间时，基于所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间，控制所述焦点沿纵坐标方向在所述多个可操作控件上移动；
获取移动后的所述焦点对应的第三可操作控件的坐标信息作为第三坐标信息，并获取所述第三坐标信息的纵坐标区间；
当所述第三坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间存在重合的纵坐标区间时，获取所述第三坐标信息的横坐标区间，并获取所述第二坐标信息的横坐标区间；
基于所述第三坐标信息的横坐标区间和所述第二坐标信息的横坐标区间，控制所述焦点沿横坐标方向在所述多个可操作控件上移动。
8.根据权利要求7所述的方法，其特征在于，在所述控制所述焦点沿纵坐标方向在所述多个可操作控件上移动之后，还包括：
所述电子设备从显示所述目标界面更新为显示当前界面；
当所述当前界面未显示有所述第二可操作控件时，从显示所述当前界面回退至显示所述目标界面，并将所述焦点回退至对应所述第一可操作控件。
9.根据权利要求8所述的方法，其特征在于，在所述从显示所述当前界面回退至显示所述目标界面，并将所述焦点回退至对应所述第一可操作控件之后，还包括：
获取所述第一坐标信息的横坐标区间，并获取所述第二坐标信息的横坐标区间；
当所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间存在重合的横坐标区间时，获取所述第一坐标信息的纵坐标区间，并获取所述第二坐标信息的纵坐标区间；
基于所述第一坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间，控制所述焦点沿纵坐标方向在所述多个可操作控件上移动。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
当所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间不存在重合的横坐标区间时，基于所述第一坐标信息的横坐标区间和所述第二坐标信息的横坐标区间，控制所述焦点沿横坐标方向在所述多个可操作控件上移动；
获取移动后的所述焦点对应的第四可操作控件的坐标信息作为第四坐标信息，并获取所述第四坐标信息的横坐标区间；
当所述第四坐标信息的横坐标区间和所述第二坐标信息的横坐标区间存在重合的横坐标区间时，获取所述第四坐标信息的纵坐标区间，并获取所述第二坐标信息的纵坐标区间；
基于所述第四坐标信息的纵坐标区间和所述第二坐标信息的纵坐标区间，控制所述焦点沿纵坐标方向在所述多个可操作控件上移动。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述第一交互指令还用于指示对所述第二可操作控件进行控制，在所述根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件之后，还包括：
控制所述第二可操作控件执行与所述第一交互指令对应的操作。
12.根据权利要求1-10任一项所述的方法，其特征在于，在所述当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，将所述第一交互指令分解为多个第二交互指令之前，还包括：
获取所述第一交互指令对应的指令输入装置；
基于所述指令输入装置确定所述第一交互指令对应的交互类型。
13.根据权利要求1-10任一项所述的方法，其特征在于，所述获取所述电子设备在显示目标界面时接收到的第一交互指令，包括：
若所述电子设备在显示所述目标界面时检测到第一交互方式，基于预设映射关系获取所述第一交互方式对应的所述第一交互指令，其中，所述预设映射关系包括多个交互方式和多个交互指令的对应关系。
14.一种交互装置，其特征在于，应用于电子设备，所述装置包括：
交互指令获取模块，用于获取所述电子设备在显示目标界面时接收到的第一交互指令，其中，所述目标界面显示有多个可操作控件，所述第一交互指令用于指示将所述多个可操作控件中作为待控制控件的可操作控件从第一可操作控件切换为第二可操作控件；
交互指令分解模块，用于当所述第一交互指令对应的交互类型不满足所述电子设备所支持的交互类型时，将所述第一交互指令分解为多个第二交互指令，其中，所述第二交互指令对应的交互类型满足所述电子设备所支持的交互类型；
控件切换模块，用于根据所述多个第二交互指令，将所述多个可操作控件中作为所述待控制控件的可操作控件从所述第一可操作控件切换为所述第二可操作控件。
15.一种电子设备，其特征在于，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-13任一项所述的方法。
16.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-13任一项所述的方法。
CN202111294886.1A 2021-11-03 2021-11-03 交互方法、装置、电子设备以及存储介质 Pending CN113900576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111294886.1A CN113900576A (zh) 2021-11-03 2021-11-03 交互方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111294886.1A CN113900576A (zh) 2021-11-03 2021-11-03 交互方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN113900576A true CN113900576A (zh) 2022-01-07

Family

ID=79028281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111294886.1A Pending CN113900576A (zh) 2021-11-03 2021-11-03 交互方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN113900576A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020143805A1 (en) * 2001-01-29 2002-10-03 Hayes Patrick H. Hand held device having a browser application
US20140191984A1 (en) * 2013-01-04 2014-07-10 Samsung Electronics Co., Ltd. Display system with concurrent mult-mode control mechanism and method of operation thereof
CN104636158A (zh) * 2013-11-14 2015-05-20 博雅网络游戏开发（深圳）有限公司 基于Android操作系统的鼠标指针控制方法和装置
CN108521595A (zh) * 2018-04-02 2018-09-11 海信集团有限公司 基于语音交互的选择推荐位方法、装置及智能电视
CN108540851A (zh) * 2018-04-02 2018-09-14 海信集团有限公司 基于语音交互的选择推荐位方法、装置及智能电视
CN111479079A (zh) * 2020-04-02 2020-07-31 深圳创维－Rgb电子有限公司 Ui列表操作方法、装置、智慧屏和可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020143805A1 (en) * 2001-01-29 2002-10-03 Hayes Patrick H. Hand held device having a browser application
US20140191984A1 (en) * 2013-01-04 2014-07-10 Samsung Electronics Co., Ltd. Display system with concurrent mult-mode control mechanism and method of operation thereof
CN104636158A (zh) * 2013-11-14 2015-05-20 博雅网络游戏开发（深圳）有限公司 基于Android操作系统的鼠标指针控制方法和装置
CN108521595A (zh) * 2018-04-02 2018-09-11 海信集团有限公司 基于语音交互的选择推荐位方法、装置及智能电视
CN108540851A (zh) * 2018-04-02 2018-09-14 海信集团有限公司 基于语音交互的选择推荐位方法、装置及智能电视
CN111479079A (zh) * 2020-04-02 2020-07-31 深圳创维－Rgb电子有限公司 Ui列表操作方法、装置、智慧屏和可读存储介质

Similar Documents

Publication Publication Date Title
CN108614722B (zh) 应用程序预加载方法、装置、存储介质及终端
CN109164964B (zh) 内容分享方法、装置、终端及存储介质
CN109246464B (zh) 用户界面显示方法、装置、终端及存储介质
CN104135684A (zh) 一种基于Firefox OS的界面显示方法及装置
CN111443863A (zh) 页面操控方法、装置、存储介质及终端
EP2908231A1 (en) Object suspension realizing method and device
CN110531870B (zh) Kvm坐席管理系统及鼠标定位方法
CN113810746B (zh) 一种显示设备及图片分享方法
CN113778217B (zh) 显示设备及显示设备控制方法
CN113141479B (zh) 一种显示设备及其按键复用方法
CN112764627B (zh) 一种升级包安装进度显示方法及显示设备
CN114157889B (zh) 一种显示设备及触控协助交互方法
CN111901646A (zh) 一种显示设备及触控菜单显示方法
CN112165641A (zh) 一种显示设备
CN114115673B (zh) 车载屏幕的控制方法
CN112087671A (zh) 一种输入法控件的操控提示信息的显示方法及显示设备
CN112799576B (zh) 一种虚拟鼠标移动的方法及显示设备
CN112073787B (zh) 显示设备及首页显示方法
CN113900576A (zh) 交互方法、装置、电子设备以及存储介质
CN112449227B (zh) 触屏应用兼容遥控器操作的交互方法、装置及智能电视
CN112926420B (zh) 一种显示设备和菜单文字识别方法
CN113076031B (zh) 显示设备、触摸定位方法及装置
CN112199560B (zh) 一种设置项的搜索方法及显示设备
CN112235621A (zh) 一种可视区域的显示方法及显示设备
CN113810747A (zh) 一种显示设备及信号源设置界面交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination