CN113900620A - 交互方法、装置、电子设备以及存储介质 - Google Patents

交互方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN113900620A
CN113900620A CN202111319935.2A CN202111319935A CN113900620A CN 113900620 A CN113900620 A CN 113900620A CN 202111319935 A CN202111319935 A CN 202111319935A CN 113900620 A CN113900620 A CN 113900620A
Authority
CN
China
Prior art keywords
interface control
control elements
interface
control element
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111319935.2A
Other languages
English (en)
Inventor
陈明
张晓帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Douku Software Technology Co Ltd
Original Assignee
Hangzhou Douku Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Douku Software Technology Co Ltd filed Critical Hangzhou Douku Software Technology Co Ltd
Priority to CN202111319935.2A priority Critical patent/CN113900620A/zh
Publication of CN113900620A publication Critical patent/CN113900620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Abstract

本申请公开了一种交互方法、装置、电子设备以及存储介质，涉及语音控制技术领域。该方法包括：显示图形界面，响应于输入的语音交互指令，从N1个界面控件元素中筛选出可交互的N2个界面控件元素，以及满足指定控件尺寸的N3个界面控件元素，从N2个界面控件元素中，筛选出位于N3个界面控件元素中的N4个界面控件元素，当N4个界面控件元素满足预设排列规则时，对N4个界面控件元素进行索引编号，获得N4个界面控件元素各自对应的目标索引编号，根据该目标索引编号从N4个界面控件元素中确定对应的界面控件元素，从而可以无需被控制应用对语音控制进行适配，就能实现用户通过语音控制对界面进行交互，节省语音识别的时长，并提升语音交互的准确率。

Description

交互方法、装置、电子设备以及存储介质
技术领域
本申请涉及语音控制技术领域，更具体地，涉及一种交互方法、装置、电子设备以及存储介质。
背景技术
随着科学技术的发展，用户通过语音控制电子设备的使用越来越广泛，功能越来越多，已经成为人们日常生活中的必备之一。目前，运用语音控制电子设备不够准确，会出现识别错误的情况，用户体验不佳。
发明内容
鉴于上述问题，本申请提出了一种交互方法、装置、电子设备以及存储介质，以解决上述问题。
第一方面，本申请实施例提供了一种交互方法，所述方法包括：显示图形界面，其中，所述图形界面包括N1个界面控件元素；响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数；从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数；当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号；基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
第二方面，本申请实施例提供了一种交互装置，所述装置包括：图形界面显示模块，用于显示图形界面，其中，所述图形界面包括N1个界面控件元素；第一界面控件元素筛选模块，用于响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数；第二界面控件元素筛选模块，用于从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数；索引编号模块，用于当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号；界面控件元素确定模块，用于基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
本申请实施例提供的交互方法、装置、电子设备以及存储介质，显示图形界面，其中，图形界面包括N1个界面控件元素，响应于输入的语音交互指令，从N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数，从N2个界面控件元素中，筛选出位于N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数，当N4个界面控件元素满足预设排列规则时，对N4个界面控件元素进行索引编号，获得N4个界面控件元素各自对应的目标索引编号，基于N4个界面控件元素各自对应的目标索引编号，从N4个界面控件元素中确定与语音交互指令对应的界面控件元素，从而可以无需被控制应用对语音控制进行适配，就能实现用户通过语音控制对界面进行交互，节省开发成本，节省语音识别的时长，并提升语音交互的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请实施例提供的交互方法的流程示意图；
图2示出了本申请实施例提供的第一个图形界面的示意图；
图3示出了本申请实施例提供的交互方法的流程示意图；
图4示出了本申请的图2所示的交互方法的步骤S230的流程示意图；
图5示出了本申请实施例提供的第二个图形界面的示意图；
图6示出了本申请实施例提供的交互方法的流程示意图；
图7示出了本申请的图6所示的交互方法的步骤S350的流程示意图；
图8示出了本申请的图7所示的交互方法的步骤S352的流程示意图；
图9示出了本申请实施例提供的交互方法的流程示意图；
图10示出了本申请的图9所示的交互方法的步骤S450的流程示意图；
图11示出了本申请的图9所示的交互方法的步骤S450的流程示意图；
图12示出了本申请实施例提供的交互方法的流程示意图；
图13示出了本申请实施例提供的交互方法的流程示意图；
图14示出了本申请实施例提供的交互方法的流程示意图；
图15示出了本申请实施例提供的交互方法的流程示意图；
图16示出了本申请实施例提供的交互装置的模块框图；
图17示出了本申请实施例用于执行根据本申请实施例的交互方法的电子设备的框图；
图18示出了本申请实施例的用于保存或者携带实现根据本申请实施例的交互方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
得益于近年来电子设备的快速发展，基于语音的人机交互方式越来越成熟，越来越普遍，也越来越为人们所接受和使用。随着语音交互逐渐渗透至人们生活中的方方面面，通过语音来操控图形用户界面(Graphical User Interface，GUI)的需求，也变得越来越强烈。
目前，语音操控图像界面(Voice and Graphical User Interface，VGUI)最主要的问题是应用适配的问题。因为绝大多数的应用在设计和开发的时候都没有考虑使用语音交互的问题。以电子设备为手机为例，目前手机端的应用其设计的主要交互方式是通过触屏交互。因此，基本上绝大多数应用都没有适配过语音交互。因此，当使用语音来与手机端的应用图形界面交互和控制时，会遇到较多的问题。如界面元素缺少文字描述、或者界面元素有文字描述但不便于用户直接通过对应文字描述(如文字描述太长，文字描述包含符号、图片等，文字描述看不清，存在多个元素文本相同或相似等)来指代等。这些情况下，用户无法直接通过文本描述来指代想要交互的控件。
发明人经过研究发现，针对这种情况下，可以采用的解决方案大概有以下几种：
第一、图标识别：通过模型对常用、无歧义的控件图标进行识别，从而得到描述文本(常用说法/称谓)。用户可以通过常识或常用说法/称谓等对图标控件进行描述，从而实现对目标控件的描述，达到交互的目的。但是，图标识别仅适用于常用且无歧义的控件图标，对于其他类型的图标以及非图标内容无法处理，适用范围有限。
第二、自然语言结合图像理解：通过模型实现对自然语言以及图像的理解，分析、识别出用户想要交互的控件及其所在位置，从而实现对目标控件的定位，达到交互的目的。但是，自然语言结合图像理解的方式未对用户的语音指令做明确限制，因此对自然语言理解要求较高，同时自然语言理解以及图像的理解需要较多的计算资源，且精度有限。因此，一般处理时延较大，使用成本较高，且准确度有限，无法适用所有情形。
第三、空间方位指代：如“下载按钮右边的按钮”，“点赞按钮下方的图标”等，通过其他可描述的控件与目标控件之间的空间方位关系来指代目标控件，从而实现对目标控件的描述，达到交互的目的。但是，空间方位指代的方式需要先找到一个可通过文本描述进行定位的控件来作为基准，然而许多情况下并不能找到这样的控件，因此其适用范围相对有限。
第四、数字编号指代：如“第一个按钮”等，通过对所有控件进行编号，然后通过编号来指代控件，从而实现对目标控件的描述，达到交互的目的；控件编号在视觉上不显示，因此需要用户自己计算控件的编号。但是，数字编号指代的方式，需要通过程序对控件进行编号，然后通过编号来指代控件。控件编号本身不会在界面中显示。然而在使用中，用户的编号方式与程序的编号方式不一定是一致的。且通常一个界面上可能存在几十个可交互对象，让用户对控件进行一一编号是十分困难的。
第五、叠加显示文本指令：在图形用户界面(GUI)上叠加显示每个可交互控件的文本描述，用户可以通过其对应的文本描述来指代相应控件，从而达到交互的目的。但是，叠加显示文本指令的方式，需要先生成文本指令；而生成文本指令则依赖于控件的文本描述，因此文本指令可能出现与文本描述相同的情形；并且叠加显示的内容过大则会遮盖住原有内容，内容过小则会导致用户看不清等情形；且通常一个界面上可能存在几十个可交互对象，最后会在界面上叠加上密密麻麻的提示内容，对用户的使用体验和感官体验影响极大。
第六、叠加显示数字编号：在图形用户界面(GUI)上叠加显示每个可交互控件的数字编号，用户可以通过其对应的数字编号来指代相应控件，从而达到交互的目的。但是，叠加显示数字编号的方式，实现简单，但是不利于用户记忆正确的交互指令。并且叠加显示的内容过大则会遮盖住原有内容，内容过小则会导致用户看不清等情形；且通常一个界面上可能存在几十个可交互对象，最后会在界面上叠加上密密麻麻的提示内容，对用户的使用体验和感官体验影响极大。
第七、叠加显示网络栅格及编号：在图形用户界面(GUI)上全屏叠加显示网络栅格，并对每个网格区域进行编号。用户可通过对控件所在网格对应的编号来指代控件，从而实现对目标控件的描述，达到交互的目的。但是，叠加显示网络栅格及编号的方式中，网格大小可能过大也可能过小；目标交互控件可能落在好几个网格中；同一个网格中也可能出现好几个交互对象。这些情形下就需要用户进行多次操作，才能最终确定交互目标。并且叠加显示的内容会遮盖住原有内容，对用户的使用体验和感官体验影响较大。
针对图形界面中的元素缺少文本描述或者文本描述不便于用户直接描述的情形下，上述的几种方式皆具有一定的局限性，无法适用全部情形。
针对上述问题，发明人经过长期的研究发现，并提出了本申请实施例提供的交互方法、装置、服务器以及存储介质，通过筛选图形界面中的界面控件元素，对筛选出符合条件的界面控件元素进行索引编号，从而可以无需被控制应用对语音控制进行适配，就能实现用户通过语音控制对界面进行交互，节省开发成本，节省语音识别的时长，并能够有效提升用户使用语音操控时的便捷性，方便用户描述，节省用户时间，提升用户体验以及语音交互的准确性。其中，具体的交互方法在后续的实施例中进行详细的说明。
请参阅图1，图1示出了本申请实施例提供的交互方法的流程示意图。在具体的实施例中，所述交互方法应用于如图16所示的交互装置200以及配置有交互装置200的电子设备100(图17)。下面将以电子设备为例，说明本实施例的具体流程。下面将针对图1所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S110：显示图形界面，其中，所述图形界面包括N1个界面控件元素。
在一些实施方式中，电子设备可以显示图形界面。作为一种方式，用户可以通过点击、触摸、滑动、语音输入等方式打开图形界面，具体打开方式在此不做限定。作为又一种方式，以电子设备为智能电视为例，电子设备还可以在满足预设条件时，显示图形界面，例如，在20点时，显示图形界面；在检测到用户的位置在家时，显示图形界面等，在此不做限定。
在本实施例中，显示的图形界面中可以包括N1个界面控件元素，界面控件元素的相关属性可以包括文本描述、交互属性(是否可点击、是否可输入文本、是否可滑动等)、控件位置等属性，在此不做限定。其中，界面控件元素的相关属性可以通过图形界面对应的系统中的层次结构树(View Tree)中获取。作为一种方式，该N1个界面控件元素中可以包括卡片和/或列表控件元素，即，该N1个界面控件元素中可以仅包括卡片和/或列表控件元素，也可以在包括卡片和/或列表控件元素的同时包括其他控件元素，例如图标控件元素、分类控件元素等。
请参阅图2，图2示出了本申请实施例提供的一个图形界面的示意图。其中，0、1、2....61、62、63、64均为界面控件元素，因此该图形界面有65个界面控件元素，即，在图2中，N1＝65。
在一些实施方式中，可以从系统中获取层次结构树(View Tree)，并从层次结构树中获取图形界面中的N1个界面控件元素。其中，系统可以包括但不限于Android系统、IOS系统以及HarmonyOS系统等。作为一种方式，可以直接通过系统底层代码，提供获取界面元素结构及信息的接口来实现图形界面元素的获取。作为另一种方式，还可以通过Android系统AccessibilityService相关接口来实现图形界面元素的获取。
步骤S120：响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数。
在本实施例中，电子设备可以通过拾音装置接收用户输入的语音交互指令，其中，该拾音装置例如可以包括话筒。
作为一种方式，电子设备响应用户输入的该语音交互指令，从显示的图形界面的N1个界面控件元素中筛选出可交互的N2个界面控件元素，从而从图形界面包括的所有界面控件元素中筛选出可以对用户的语音指令进行响应和交互的界面控件元素，以避免不可交互的界面控件元素的干扰。其中，可以通过在显示图形界面时对应的系统中的层次结构树(View Tree)中给出的属性信息对可交互的界面控件元素进行筛选。若该界面控件元素为可交互的，则该界面控件元素的交互属性值为真(true)；若该界面控件元素为不可交互的，则该界面控件元素的交互属性值为假(false)。
如图2所示的图形界面，N1个界面控件元素中包括[0、1、2.....64]，可以从中筛选出可交互的N2个界面控件元素为[2、3、4、5、12、13、14、15、16、17、19、20、21、22......59]。
作为一种方式，电子设备响应用户输入的该语音交互指令，从显示的图形界面的N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素。在本申请一实施例中，满足指定控件尺寸可以包括控件尺寸大于指定控件尺寸、控件尺寸小于指定控件尺寸、控件尺寸等于指定控件尺寸、控件尺寸在指定控件尺寸所指示的范围内等，在此不做限定。
其中，通过设定控件尺寸满足指定控件尺寸的条件，可以从图形界面包括的所有界面控件元素中筛选出卡片或者列表控件，从而避免其他元素(如图标、类型)的干扰。其中，一般来说，卡片或列表控件在屏幕中的占比是较大的，如果其在屏幕中的占比小于指定控件尺寸时，即屏幕主要元素不是卡片或列表控件，这种情形无法确定用户的描述指代的是卡片或者列表控件中的元素，因此可以通过指定控件尺寸来进行场景过滤。在一些实施方式中，可以通过在显示图形界面时对应的系统中的层次结构树(View Tree)中给出的属性信息对满足指定控件尺寸的界面控件元素进行筛选。
在一些实施方式中，指定控件尺寸可以根据N1个界面控件元素的控件尺寸进行改变，指定控件尺寸可以是根据语音交互指令进行改变，指定控件尺寸也可以是用户在电子设备中预先设置并存储的，具体的尺寸在此不做限定。作为一方式，电子设备可以获取N1个界面控件元素各自对应的控件尺寸，根据获取的N1个界面控件元素各自对应的控件尺寸对N1个界面控件元素进行筛选，筛选出大于指定控件尺寸的N3个界面控件元素。例如，假设指定控件尺寸为控件尺寸占电子设备的屏幕尺寸的60％，N1个界面控件元素中控件尺寸占电子设备的屏幕尺寸的60％以上的界面控件元素可以认为是满足指定控件尺寸的。
步骤S130：从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数。
在本实施例中，从N2个界面控件元素中，筛选出位于N3个界面控件元素中的N4个界面控件元素。从而可以实现所筛选出来的N4个界面控件元素均是可以进行交互的卡片或列表控件，即均是用户期望进行语音指令控制的对象。
以图2为例，假设N2个界面控件元素包括：界面控件元素2、界面控件元素3、界面控件元素4、界面控件元素5、界面控件元素11、界面控件元素18、界面控件元素25、界面控件元素34、界面控件元素41以及界面控件元素48；N3个界面控件元素包括：界面控件元素9。那么，可以知道，界面控件元素2、界面控件元素3、界面控件元素4、界面控件元素5、界面控件元素11、界面控件元素18、界面控件元素25、界面控件元素34、界面控件元素41以及界面控件元素48中位于界面控件元素9中的界面控件元素包括：界面控件元素11、界面控件元素18、界面控件元素15、界面控件元素34、界面控件元素41以及界面控件元素48。因此，最终所确定的N4个界面控件元素包括：界面控件元素11、界面控件元素18、界面控件元素25、界面控件元素34、界面控件元素41以及界面控件元素48。
步骤S140：当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号。
在本实施例中，对筛选出的N4个界面控件元素进行判断，以判断N4个界面控件元素是否满足预设排列规则。其中，当判断到N4个界面控件元素满足预设排列规则时，对N4个界面控件元素进行索引编号，获得N4个界面控件元素各自对应的目标索引编号；当N4个界面控件元素不满足预设排列规则时，不对N4个界面控件元素进行索引编号。
在一些实施方式中，假设N4个界面控件元素包括：界面控件元素11、界面控件元素18、界面控件元素15、界面控件元素34、界面控件元素41以及界面控件元素48。那么，对N4个界面控件元素进行索引编号包括对界面控件元素11、界面控件元素18、界面控件元素25、界面控件元素34、界面控件元素41以及界面控件元素48进行索引编号，6个界面控件元素各自对应的目标索引编号可以分别为1、2、3、4、5、6。
步骤S150：基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
其中，在获得N4个界面控件元素各自对应的目标索引编号后，表征可以通过该目标索引编号对N4个界面控件元素进行标识。此时，目标索引编号隐藏，即在图形界面中不显示。
在本实施例中，基于所述N4个界面控件元素各自对应的目标索引编号，从N4个界面控件元素中确定与语音交互指令对应的界面控件元素，例如，语音交互指令为“第1个”时，则打开图2中的索引编号为1的界面控件元素11；语音交互指令为“第3个”时，则打开图2，中的索引编号为3的界面控件元素25。
本申请一个实施例提供的交互方法，显示图形界面，其中，图形界面包括N1个界面控件元素，响应于输入的语音交互指令，从N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数，从N2个界面控件元素中，筛选出位于N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数，当N4个界面控件元素满足预设排列规则时，对N4个界面控件元素进行索引编号，获得N4个界面控件元素各自对应的目标索引编号，基于N4个界面控件元素各自对应的目标索引编号，从N4个界面控件元素中确定与语音交互指令对应的界面控件元素，从而可以无需被控制应用对语音控制进行适配，就能实现用户通过语音控制对界面进行交互，节省开发成本，节省语音识别的时长，并能够有效提升用户使用语音操控时的便捷性，方便用户描述，节省用户时间，提升用户体验以及提升语音交互的准确率。
请参阅图3，图3示出了本申请实施例提供的交互方法的流程示意图。下面将针对图3所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S210：显示图形界面，其中，所述图形界面包括N1个界面控件元素。
其中，步骤S210的具体描述请参阅步骤S110，在此不再赘述。
步骤S220：对所述语音交互指令进行解析，获得所述语音交互指令所包含的语音信息。
在一些实施方式中，电子设备可以接收用户输入的语音交互指令，并对语音交互指令进行解析。作为一种方式，当识别到用户输入的语音交互指令中包括电子设备对应的名称时，电子设备对语音交互指令进行解析，其中，电子设备对应的名称可以为系统中已预设好的；电子设备对应的名称还可以为用户在系统中自定义的名称，对应的具体名称在此不做限定。
在一些实施方式中，可以通过相关算法对语音交互指令进行分析，获得语音交互指令中包含的语音信息。
其中，相关算法可以包括基于动态时间规整(Dynamic Time Warping)的算法、基于参数模型的隐马尔可夫模型(HMM)算法、基于非参数模型的矢量量化(VQ)的方法、基于人工神经网络(ANN)的算法以及混合算法等算法，具体算法在此不做限定。
其中，语音交互指令中包含的语音信息可以包括数字、应用程式对应的名称、显示图形界面的界面控件元素的名称以及操作的描述性语言，在此不做限定。
步骤S230：基于所述语音信息，确定指定控件尺寸。
在本实施例中，根据获取的语音信息，确定指定控件尺寸。
作为一种方式，电子设备可以直接设置语音信息所对应的空间尺寸。
作为另一种方式，用户可以在电子设备中设置根据获取的语音信息不同对应的指定控件尺寸也不同，例如，用户设置语音信息包括数字，对应的指定控件尺寸为屏幕的60％，用户设置语音信息包括文本描述，对应的指定控件尺寸为屏幕的40％。
请参阅图4，图4示出了本申请的图3所示的交互方法的步骤S230的流程示意图。并请参阅图5，图5示出了本申请实施例提供的第二个图形界面的示意图。下面将针对图4所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S231：当所述语音信息同时包括文本描述和索引编号时，确定所述指定控件尺寸为第一控件尺寸，所述图形界面包括至少两个部分，所述至少两个部分中的每个部分包括关键词和多个界面控件元素，所述关键词与所述文本描述关联。
在本实施例中，当语音信息同时包括文本描述和索引编号时，确定指定控件尺寸为第一控件尺寸，图形界面包括至少两个部分，至少两个部分中的每个部分包括关键词和多个界面控件元素，关键词与文本描述关联。例如，如图5所示，当语音信息包括“番剧推荐”以及“第二排第二个”时，则确定指定控件尺寸为第一控件尺寸，从而可以通过设置较小的第一控件尺寸的方式，实现界面控件元素的分区索引，提升与语音交互的适配性。
其中，如图5所示，可以通过第一个界面控件元素描述“番剧推荐”找到交互的目标区域。其可以通过查找View Tree上的最近的公共父节点，或者通过界面控件元素之间的界面控件元素距离关系来实现。在确定交互的目标区域后，从结果集合中找到目标区域对应的规律界面控件元素集合及索引集合。然后通过第二个控件描述“第二排第二个”在索引集合中匹配到目标控件101。
步骤S232：当所述语音信息只包括索引编码时，确定所述指定控件尺寸为第二控件尺寸，其中，所述第二控件尺寸大于所述第一控件尺寸。
在本实施例中，当语音信息只包括索引编码时，确定指定控件尺寸为第二控件尺寸，其中，第二控件尺寸大于第一控件尺寸，可以理解的是，因为没有文本描述，则需要索引编号范围要较大，所以第二控件尺寸大于第一控件尺寸，可以避免索引编号缺失的情况，例如，如图4所示，当语音信息包括“第二排第二个”时，则确定指定控件尺寸为第二控件尺寸。
例如，若用户需要打开图5中的界面控件元素101，可以语音输入“国创推荐中的第一排第二个”语音交互指令，还可以直接输入“第三排第二个”语音交互指令，则可以打开图5中的界面控件元素101。
步骤S240：响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数。
步骤S250：从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数。
步骤S260：当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号。
步骤S270：基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
其中，步骤S240-步骤S270的具体描述请参阅步骤S120-步骤S150，在此不再赘述。
本申请一个实施例提供的交互方法，相较于图1所示的交互方法，本实施例还可以根据用户输入的语音信息不同，确定控件的尺寸不同，用户输入的语音信息包括文本描述和索引编号时筛选出的控件尺寸小于用户输入的语音信息只包括索引标号时筛选出的控件尺寸，从而实现用户通过语音控制对界面进行交互，并减少电子设备的实时计算和匹配，并解决同一图形界面中存在多个区域界面控件元素排列规律的情形下的交互。
请参阅图6，图6示出了本申请实施例提供的交互方法的流程示意图。下面将针对图6所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S310：显示图形界面，其中，所述图形界面包括N1个界面控件元素。
步骤S320：响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数。
步骤S330：从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数。
其中，步骤S310-步骤S330的具体描述请参阅步骤S110-步骤S130，在此不再赘述。
步骤S340：从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N5个界面控件元素。
在一些实施方式中，从N2个界面控件元素中，筛选出的位于N3个界面控件元素中的界面控件元素可能存在重合和覆盖的情况。因此，从N2个界面控件元素中，筛选出的位于N3个界面控件元素中的界面控件元素可能不全是用户期望进行交互和控制的界面控件元素，即，如果存在重合和覆盖的情况，则需要对筛选出的界面控件元素进行去重处理。
在本实施例中，可以从N2个界面控件元素中，筛选出位于N3个界面控件元素中的N5个界面控件元素。以图2为例，假设N2个界面控件元素包括：界面控件元素2、界面控件元素3、界面控件元素4、界面控件元素5、界面控件元素10、界面控件元素11、界面控件元素12、界面控件元素13、界面控件元素14、界面控件元素15、界面控件元素17、界面控件元素18、界面控件元素15、界面控件元素34、界面控件元素41以及界面控件元素48；N3个界面控件元素包括：界面控件元素9。那么，可以知道，位于界面控件元素9中的界面控件元素包括：界面控件元素10、界面控件元素11、界面控件元素12、界面控件元素13、界面控件元素14、界面控件元素15、界面控件元素17、界面控件元素18、界面控件元素15、界面控件元素34、界面控件元素41以及界面控件元素48。因此，最终所确定的N5个界面控件元素包括：界面控件元素10、界面控件元素11、界面控件元素12、界面控件元素13、界面控件元素14、界面控件元素15、界面控件元素17、界面控件元素18、界面控件元素25、界面控件元素34、界面控件元素41以及界面控件元素48。
步骤S350：当所述N5个界面控件元素中包括重叠的界面控件元素时，对所述重叠的界面控件元素进行去重，获得所述N4个界面控件元素。
在本实施例中，对N5个界面控件元素进行判断，当N5个界面控件元素中包括重叠的界面控件元素时，对重叠的界面控件元素进行去重，获得N4个界面控件元素；当N5个界面控件元素中不包括重叠的界面控件元素时，不对重叠的界面控件元素进行去重，此时N5＝N4。
在一些实施方式中，可以获取N5个界面控件元素中对应的各个界面控件元素对应的控件位置，根据对应的各个界面控件元素对应的控件位置，判断N5个界面控件元素中是否包括重叠的界面控件元素。
如上述示例可以知道，界面控件元素10与界面控件元素11、界面控件元素18以及界面控件元素25之间存在重叠区域，界面控件元素11与、界面控件元素12、界面控件元素13、界面控件元素14、界面控件元素15以及界面控件元素17之间存在重叠区域。因此，在上述示例下，可以确定该N5个界面控件元素中包括重叠的界面控件元素。
请参阅图7，图7示出了本申请的图6所示的交互方法的步骤S350的流程示意图。下面将针对图7所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S351：当所述N5个界面控件元素中包括重叠的界面控件元素时，获取重叠的界面控件元素之间的重叠区域比例作为第一比例。
在本实施例中，当N5个界面控件元素中包括重叠的界面控件元素时，获取重叠的界面控件元素之间的重叠区域比例作为第一比例。例如，获取界面控件元素10与界面控件元素11、界面控件元素18以及界面控件元素25之间的重叠区域比例，作为第一比例。
步骤S352：当所述第一比例大于或等于第一比例阈值时，从重叠的界面控件元素中删除控件尺寸最大的界面控件元素，获得所述N4个界面控件元素。
在本实施例中，电子设备可以预先设置并存储第一比例阈值，用于与第一比例进行比较。当第一比例大于或等于第一比例阈值时，从重叠的界面控件元素中删除控件尺寸最大的界面控件元素，获得N4个界面控件元素。可以理解的是，当第一比例较大(大于第一比例阈值)时，打开最大的界面控件元素重叠的界面控件元素等效于打开最大的界面控件元素，且此时，控件尺寸最大的界面控件元素基本已被完全覆盖，即用户几乎无法触控到该尺寸最大的控件元素，因此，可以删除控件尺寸最大的界面控件元素。其中，与控件尺寸最大的界面控件元素重叠的界面控件元素可以为多个，在此不做限定。例如，如上述示例，假设第一比例阈值为95％，当界面控件元素10与界面控件元素11、界面控件元素18以及界面控件元素25的尺寸的和的第一比例为98％时，第一比例大于第一比例阈值，则删除控件尺寸最大的界面控件元素10，获得界面控件元素11、界面控件元素18以及界面控件元素25，3个界面控件元素。
在一些实施方式中，第一比例可以通过公式：重叠区域比例＝重叠区域面积/(区域1面积+区域2面积-重叠区域面积)进行计算。
请参阅图8，图8示出了本申请的图7所示的交互方法的步骤S352的流程示意图。下面将针对图8所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S3521：当所述第一比例大于或等于第一比例阈值时，从所述重叠的界面控件元素中删除控件尺寸最大的界面控件元素，获得N6个界面控件元素。
在本实施例中，电子设备可以预先设置并存储第一比例阈值，用于与第一比例进行比较。当所述第一比例大于或等于第一比例阈值时，从重叠的界面控件元素中删除控件尺寸最大的界面控件元素，获得N6个界面控件元素。
步骤S3522：当所述N6个界面控件元素中包括重叠的界面控件元素时，获取重叠的界面控件元素之间的重叠区域比例作为第二比例。
在一些实施方式中，可以获取N6个界面控件元素中对应的各个界面控件元素对应的控件位置，根据对应的各个界面控件元素对应的控件位置，判断N6个界面控件元素中是否包括重叠的界面控件元素。
在一些实施方式中，第二比例可以通过公式：重叠区域比例＝重叠区域面积/(区域1面积+区域2面积-重叠区域面积)进行计算。
在本实施例中，对N6个界面控件元素中包括的界面控件元素进行判断，当N6个界面控件元素中包括重叠的界面控件元素时，获取重叠的界面控件元素之间的重叠区域比例作为第二比例。如上述示例，获取界面控件元素11与、界面控件元素12、界面控件元素13、界面控件元素14、界面控件元素15以及界面控件元素17之间额重叠区域的比例，作为第二比例。
步骤S3523：当所述第二比例小于第二比例阈值时，从重叠的界面控件元素中保留控件尺寸最大的界面控件元素，获得所述N4个界面控件元素，其中，所述第一比例阈值大于所述第二比例阈值。
在本实施例中，电子设备可以预先设置并存储第二比例阈值，用于与第二比例进行比较。当第二比例小于第二比例阈值时，从重叠的界面控件元素中保留控件尺寸最大的界面控件元素，获得所述N4个界面控件元素。其中，第一比例阈值大于第二比例阈值。可以理解的是，当第二比例较小(小于第二比例阈值)时，打开小的界面控件元素不能等效于打开大的界面控件元素，且此时，控件尺寸最大的界面控件元素没有被完全覆盖，即用户可以触控到该尺寸最大的控件元素，因此，可以保留控件尺寸最大的界面控件元素。其中，与控件尺寸最大的界面控件元素重叠的界面控件元素可以为多个，在此不做限定。例如，如上述示例，假设第二比例阈值为60％，当界面控件元素11与界面控件元素12、界面控件元素13、界面控件元素14以及界面控件元素15的尺寸的和的第二比例为50％时，第二比例小于第二比例阈值，则保留控件尺寸最大的界面控件元素11，获得1个界面控件元素。
步骤S360：当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号。
步骤S370：基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
其中，步骤S360-步骤S370的具体描述请参阅步骤S140-步骤S150，在此不再赘述。
本申请一个实施例提供的交互方法，相较于图1所示的交互方法，本实施例还可以根据重叠的界面控件元素之间的重叠区域比例对筛选界面控件元素的过程进行检查，避免出现获取信息错误以及界面控件元素缺失的情况，从而实现增加用户通过语音控制进行交互的准确性，并能节省用户时间，提升用户体验。
请参阅图9，图9示出了本申请实施例提供的交互方法的流程示意图。下面将针对图9所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S410：显示图形界面，其中，所述图形界面包括N1个界面控件元素。
步骤S420：响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数。
步骤S430：从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数。
其中，步骤S410-步骤S430的具体描述请参阅步骤S110-步骤S130，在此不再赘述。
步骤S440：当所述N4个界面控件元素组成多个满足所述预设排列规则的界面控件元素集合时，获得多个界面控件元素集合，其中，每个所述界面控件元素集合均包括至少两个界面控件元素。
在一些实施方式中，电子设备在获得N4个界面控件元素后，可以对N4界面控件元素进行组合，以获得多组界面控件元素组合，其中，每组界面控件元素可以包括至少两个界面控件元素。其中，在获得多组界面控件元素组合后，可以判断多组界面控件元素中的每组界面控件元素是否满足预设排列规则，其中，确定满足预设排列规则的某组界面控件元素可以认为是满足预设排列规则的界面控件元素集合，确定不满足预设排列规则的某组界面控件元素可以认为是不满足预设排列规则的界面控件元素集合。
在本实施例中，在通过上述方式，确定N4个界面控件元素组成多个满足预设排列规则的界面控件元素集合时，则可以获得该多个界面控件元素集合。
如上述示例，假设N4个界面控件元素界面控件元素11、界面控件元素18、界面控件元素25、界面控件元素34、界面控件元素41以及界面控件元素48时，则该N4个界面控件元素可以组成满足预设排列规则的界面控件元素集合可以包括：元素界面控件元素11、界面控件元素18以及界面控件元素25组成的界面控件元素集合；元素界面控件元素34、界面控件元素41以及界面控件元素48组成的界面控件元素集合；元素界面控件元素11、界面控件元素18、界面控件元素25、界面控件元素34、界面控件元素41以及界面控件元素48组成的界面控件元素集合。
其中，预设排列规则可以根据界面控件元素的坐标进行设置。
步骤S450：从所述多个界面控件元素集合中，筛选获得目标界面控件元素集合；
在本实施例中，在获得多个界面控件元素集合后，则可以对多个界面控件元素集合进行筛选，获得目标界面控件元素集合。其中，目标界面控件元素集合的数量可以为一个、也可以为多个，在此不做限定。
作为一种方式，例如可以从多个界面控件元素集合中，筛选出元素最多的界面控件元素集合作为目标界面控件元素集合，例如可以从多个界面控件元素集合中，筛选出控件尺寸最大的界面控件元素集合作为目标控件元素集合等，在此不做限定。
在一些实施方式中，电子设备可以获取语音交互指令，并可以对语音交互指令进行解析，获得语音交互指令所包含的语音信息，并基于该语音信息，从多个界面控件元素集合中，筛选获得目标界面控件元素集合。通过相关算法对语音交互指令进行解析，获得语音交互指令所包含的语音信息，根据该语音信息，从多个界面控件元素集合中，筛选获得目标界面控件元素集合。
在一些实施方式中，当语音信息同时包括文本描述和索引编号时，则可以保留多个尺寸控件较小的界面控件元素集合。如图5所示，当语音信息包括“番剧推荐”以及“第二排第二个”时，则可以保留两个界面控件元素集合作为目标界面控件元素集合。如上述示例，当语音信息包括文本描述和索引编号时，则可以保留元素界面控件元素11、界面控件元素18以及界面控件元素25组成的界面控件元素集合作为目标界面控件元素集合，并保留元素界面控件元素34、界面控件元素41以及界面控件元素48组成的界面控件元素集合作为目标界面控件元素集合。
在一些实施方式中，当语音信息仅包括索引编号时，则可以仅保留尺寸控件最大的界面控件元素集合。如上述示例，当语音信息仅包括索引编号时，则可以保留界面控件元素11、界面控件元素18、界面控件元素25、界面控件元素34、界面控件元素41以及界面控件元素48组成的界面控件元素集合作为目标界面控件元素集合。
在一些实施方式中，在获得多个界面控件元素集合后，可以判断该多个界面控件元素集合是否包括重叠的界面控件元素集合。例如，若多个界面控件元素集合中相互重叠的区域超过85％(重叠区域比例＝重叠区域面积/(区域1面积+区域2面积-重叠区域面积))时，可以认为存在重叠的界面控件元素集合。否则，可以认为不存在重叠的界面控件元素集合。
当确定该多个界面控件元素集合中包括重叠的界面控件元素集合时，则可以对重叠的界面控件元素集合进行去重，获得目标界面控件元素集合。例如，界面控件元素11、界面控件元素18以及界面控件元素25组成的界面控件元素集合，与界面控件元素10、界面控件元素11、界面控件元素18、界面控件元素25组成的界面控件元素集合包括重叠的界面控件元素集合。
当确定该多个界面元素集合中不包括重叠的界面控件元素集合时，则可以对多个界面控件元素集合进行筛选。例如，界面控件元素11、界面控件元素18以及界面控件元素25组成的界面控件元素集合，与界面控件元素34、界面控件元素41以及界面控件元素48组成的界面控件元素集合不包括重叠的界面控件元素集合。
请参阅图10，图10示出了本申请的图9所示的交互方法的步骤S450的流程示意图。下面将针对图10所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S451A：当所述重叠的界面控件元素集合均只包括单列的界面控件元素时，保留行数最小的界面控件元素集合作为所述目标界面控件元素集合。
在本实施例中，当重叠的界面控件元素集合均只包括单列的界面控件元素时，则保留行数最小的界面控件元素集合作为所述目标界面控件元素集合。
步骤S452A：当所述重叠的界面控件元素集合至少一个不包括单列的界面控件元素时，保留列数最大且界面控件元素最多的界面控件元素集合作为所述目标界面控件元素集合。
在本实施例中，当重叠的界面控件元素集合至少一个不包括单列的界面控件元素时，则保留列数最大且界面控件元素最多的界面控件元素集合作为所述目标界面控件元素集合。
请参阅图11，图11示出了本申请的图9所示的交互方法的步骤S450的流程示意图。下面将针对图11所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S451B：当所述多个界面控件元素集合中不包括重叠的界面控件元素集合，且所述多个界面空间元素集合包括多列的界面控件元素时，保留列数最大、界面控件元素最多以及控件尺寸最大的界面控件元素集合作为所述目标界面控件元素集合。
在本实施例中，当所述多个界面控件元素集合中不包括重叠的界面控件元素集合，且多个界面控件元素集合包括多列的界面控件元素时，保留列数最大、界面控件元素最多以及控件尺寸最大的界面控件元素集合作为目标界面控件元素集合。
步骤S452B：当所述界面控件元素集合中不包括重叠的界面控件元素集合，且所述多个界面空间元素集合只包括单列的界面控件元素时，保留行数最大以及控件尺寸最大的界面控件元素集合作为所述目标界面控件元素集合。
在本实施例中，当界面控件元素集合中不包括重叠的界面控件元素集合，且多个界面控件元素集合只包括单列的界面控件元素时，保留行数最大以及控件尺寸最大的界面控件元素集合作为目标界面控件元素集合。
步骤S460：对所述目标界面控件元素集合中的界面控件元素进行索引编号，获得所述目标界面控件元素集合中的界面控件元素各自对应的目标索引编码。
步骤S470：基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。.
其中，步骤S460-步骤S470的具体描述请参阅步骤S140-步骤S150，在此不再赘述。
本申请一个实施例提供的交互方法，相较于图1所示的交互方法，本实施例还可以根据筛选出的界面控件元素集合不同，保留的目标界面空间元素集合不同，因此实现根据用户输入的语音信息不同进行的筛选条件也不同，能够有效提升用户使用语音操控时的便捷性，方便用户描述，减少电子设备的计算时间。
请参阅图12，图12示出了本申请实施例提供的交互方法的流程示意图。下面将针对图12所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S510：显示图形界面，其中，所述图形界面包括N1个界面控件元素。
步骤S520：响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数。
步骤S530：从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数。
其中，步骤S510-步骤S530的具体描述请参阅步骤S110-步骤S130，在此不再赘述。
步骤S540：获取所述N4个界面控件元素各自的目标点的纵坐标。
在一些实施方式中，N4个界面控件元素各自的目标点可以包括每个界面控件元素的左上角、左下角、右上角、右下角等，在此不做限定。其中，N4个界面控件元素中的每个界面控件元素所设定的目标点一致，如均设置左上角为目标点。
其中，可以以电子设备的左上角为原点、以电子设备的横轴为x方向、以电子设备的纵轴为y方向建立坐标系。
作为一种方式，可以从电子设备的系统中获取该目标界面的层次结构(ViewTree)，并从该层次结构中获取该N4个界面控件元素各自的目标点的纵坐标。例如，该N4个界面控件元素中的某个界面控件元素T的坐标信息P[x1，y1，x2，y2]，其中，该x1表示界面控件元素T的左上角横坐标，y1表示界面控件元素T的左上角纵坐标，x2表示界面控件元素T的右下角横坐标，y2表示界面控件元素T的右下角纵坐标。那么，若以左上角为坐标点，则可以确定该目标点的纵坐标为y1。
步骤S550：基于所述N4个界面控件元素各自的目标点的纵坐标，将所述N4个界面控件元素划分至不同行，并获取位于同一行的界面控件元素。
在本实施例中，根据N4个界面控件元素各自的目标点的纵坐标，将N4个界面控件元素划分至不同行，并获取位于同一行的界面控件元素。
在一些实施方式中，将N4个界面控件元素划分到不同行可以为左上角纵坐标y1值不同；将N4个界面控件元素划分到同一行可以为左上角纵坐标y1值相同或者偏差在预设偏差范围内。
在一些实施方式中，根据相邻界面控件元素坐标判断相邻行是否重合，例如，相邻界面控件元素坐标位置分别为P1、P2，且P1[y1]<＝P2[y1]<P1[y2]或者P2[y1]<＝P1[y1]<P2[y2]，则相邻两列重合，并将相邻界面控件元素合并到同一行。
步骤S560：当所述同一行的界面控件元素之间的高度和宽度中的至少一项的偏差在预设偏差范围内时，确定所述同一行的界面控件元素满足预设排列规则。
在本实施例中，当所述同一行的界面控件元素之间的高度和宽度中的至少一项的偏差在预设偏差范围内时，确定同一行的界面控件元素满足预设排列规则，例如，预设偏差范围为4标准尺寸(dp)，当同一行的界面控件元素之间的高度偏差为1dp时，在预设偏差范围内，则确定同一行的界面控件元素满足预设排列规则。
在一些实施方式中，预设偏差范围可以为4标准尺寸(dp)左右，具体的预设偏差范围在此不做限定。其中，标准尺寸的计算公式可以为dp＝pixel/density，pixel表示为绝对像素点，density表示为单位尺寸像素点密度。
步骤S570：当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号。
步骤S580：基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
其中，步骤S570-步骤S580的具体描述请参阅步骤S140-步骤S150，在此不再赘述。
本申请一个实施例提供的交互方法，相较于图1所示的交互方法，本实施例还可以根据获取筛选出的界面控件元素的横坐标以及纵坐标，对筛出的界面控件元素进行索引编号，从而可以无需被控制应用对语音控制进行适配，就能实现用户通过语音控制对界面进行交互，节省开发成本，节省语音识别的时长，并能够有效提升用户使用语音操控时的便捷性，减少识别的错误，方便用户描述，节省用户时间，提升用户体验。
请参阅图13，图13示出了本申请实施例提供的交互方法的流程示意图。下面将针对图13所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S610：显示图形界面，其中，所述图形界面包括N1个界面控件元素。
步骤S620：响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数。
步骤S630：从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数。
其中，步骤S610-步骤S630的具体描述请参阅步骤S110-步骤S130，在此不再赘述。
步骤S640：获取所述N4个界面控件元素各自的目标点的横坐标。
在一些实施方式中，N4个界面控件元素各自的目标点可以包括每个界面控件元素的左上角、左下角、右上角、右下角等，在此不做限定。其中，N4个界面控件元素中的每个界面控件元素所设定的目标点一致，如均设置左上角为目标点。
其中，可以以电子设备的左上角为原点、以电子设备的横轴为x方向、以电子设备的纵轴为y方向建立坐标系。
作为一种方式，可以从电子设备的系统中获取该目标界面的层次结构(ViewTree)，并从该层次结构中获取该N4个界面控件元素各自的目标点的横坐标。例如，该N4个界面控件元素中的某个界面控件元素T的坐标信息P[x1，y1，x2，y2]，其中，该x1表示界面控件元素T的左上角横坐标，y1表示界面控件元素T的左上角纵坐标，x2表示界面控件元素T的右下角横坐标，y2表示界面控件元素T的右下角纵坐标。那么，若以左上角为坐标点，则可以确定该目标点的横坐标为x1。
步骤S650：基于所述N4个界面控件元素各自的目标点的横坐标，将所述N4个界面控件元素划分至不同列，并获取位于同一列的界面控件元素。
在本实施例中，根据N4个界面控件元素各自的目标点的横坐标，将N4个界面控件元素划分至不同列，并获取位于同一列的界面控件元素。
在一些实施方式中，将N4个界面控件元素划分到不同列可以为左上角横坐标x1值不同；将N4个界面控件元素划分到同一列可以为左上角纵坐标x1值相同或者偏差在预设偏差范围内。
在一些实施方式中，根据相邻界面控件元素坐标判断相邻列是否重合，例如，相邻界面控件元素坐标位置分别为P1、P2，且P1[x1]<＝P2[x1]<P1[x2]或者P2[x1]<＝P1[x1]<P2[x2]，则相邻两列重合，并将相邻界面控件元素合并到同一列。
步骤S660：当所述同一列的界面控件元素之间的宽度的偏差在预设偏差范围内时，确定所述同一列的界面控件元素满足预设排列规则。
在本实施例中，当所述同一列的界面控件元素之间的高度和宽度中的至少一项的偏差在预设偏差范围内时，确定同一列的界面控件元素满足预设排列规则，例如，预设偏差范围为4标准尺寸(dp)，当同一列的界面控件元素之间的高度偏差为1dp时，在预设偏差范围内，则确定同一列的界面控件元素满足预设排列规则。
在一些实施方式中，预设偏差范围可以为4标准尺寸(dp)左右，具体的预设偏差范围在此不做限定。其中，标准尺寸的计算公式可以为dp＝pixel/density，pixel表示为绝对像素点，density表示为单位尺寸像素点密度。
步骤S670：当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号。
步骤S680：基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
其中，步骤S670-步骤S680的具体描述请参阅步骤S140-步骤S150，在此不再赘述。
本申请一个实施例提供的交互方法，相较于图1所示的交互方法，本实施例还可以根据获取筛选出的界面控件元素的横坐标，对筛出的界面控件元素进行索引编号，从而可以无需被控制应用对语音控制进行适配，就能实现用户通过语音控制对界面进行交互，节省开发成本，节省语音识别的时长，并能够有效提升用户使用语音操控时的便捷性，减少识别的错误，方便用户描述，节省用户时间，提升用户体验。
请参阅图14，图14示出了本申请实施例提供的交互方法的流程示意图。下面将针对图14所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S710：显示图形界面，其中，所述图形界面包括N1个界面控件元素。
步骤S720：响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数。
步骤S730：从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数。
其中，步骤S710-步骤S730的具体描述请参阅步骤S110-步骤S130，在此不再赘述。
步骤S740：当所述N4个界面控件元素满足预设排列规则时，获取所述N4个界面控件元素各自的横坐标和纵坐标。
在本实施例中，对筛选出的N4个界面控件元素进行判断，当N4个界面控件元素满足预设排列规则时，获取N4个界面控件元素各自的横坐标和纵坐标；当N4个界面控件元素不满足预设排列规则时，不获取N4个界面控件元素各自的横坐标和纵坐标。
在一些实施方式中，N4个界面控件元素各自的目标点可以包括每个界面控件元素的左上角、左下角、右上角、右下角等，在此不做限定。其中，N4个界面控件元素中的每个界面控件元素所设定的目标点一致，如均设置左上角为目标点。
其中，可以以电子设备的左上角为原点、以电子设备的横轴为x方向、以电子设备的纵轴为y方向建立坐标系。
作为一种方式，可以从电子设备的系统中获取该目标界面的层次结构(ViewTree)，并从该层次结构中获取该N4个界面控件元素各自的目标点的纵坐标。例如，该N4个界面控件元素中的某个界面控件元素T的坐标信息P[x1，y1，x2，y2]，其中，该x1表示界面控件元素T的左上角横坐标，y1表示界面控件元素T的左上角纵坐标，x2表示界面控件元素T的右下角横坐标，y2表示界面控件元素T的右下角纵坐标。那么，若以左上角为坐标点，则可以确定该目标点的横坐标为x1，纵坐标为y1。
步骤S750：基于所述N4个界面控件元素各自的横坐标和纵坐标，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号。
在一些实施方式中，获取N4个界面控件元素各自的横坐标和纵坐标，并根据N4个界面控件元素各自的横坐标和纵坐标对N4个界面控件元素进行索引编号，其中，每一行应该为规律排列或者仅有一个界面控件元素，不同行之间按照界面控件元素坐标的左上角纵轴坐标从小到大排序；同一行的界面控件元素按照界面控件元素的左上角横轴坐标从小到大排序。对集合中界面控件元素按照从左至右、从上到下进行索引编号，编号内容可以为[index,index_row,index_col]，其中，index表示为界面控件元素在所有界面控件元素中为第几个界面控件元素，index_row表示为界面控件元素在第几行，index_col表示为界面控件元素在第几列。例如，界面控件元素11的编号为[1，1，1]、界面控件元素18的编号为[2，1，2]、界面控件元素25的编号为[3，1，3]、界面控件元素34的编号为[4，2，1]、界面控件元素41的编号为[5，2，2]、界面控件元素48的编号为[6，2，3]。
步骤S760：基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
其中，步骤S760的具体描述请参阅步骤S150，在此不再赘述。
本申请一个实施例提供的交互方法，相较于图1所示的交互方法，本实施例还可以根据同时获取筛选出的界面控件元素的横坐标以及纵坐标，对筛出的界面控件元素进行索引编号，从而可以无需被控制应用对语音控制进行适配，就能实现用户通过语音控制对界面进行交互，节省开发成本，节省语音识别的时长，并能够有效提升用户使用语音操控时的便捷性，减少识别的错误，方便用户描述，节省用户时间，提升用户体验。
请参阅图15，图15示出了本申请实施例提供的交互方法的流程示意图。下面将针对图15所示的流程进行详细的阐述，所述交互方法具体可以包括以下步骤：
步骤S810：显示图形界面，其中，所述图形界面包括N1个界面控件元素。
步骤S820：响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数。
步骤S830：从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数。
步骤S840：当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号。
步骤S850：基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
其中，步骤S810-步骤S850的具体描述请参阅步骤S110-步骤S150，在此不再赘述。
步骤S860：基于所述语音交互指令对所述语音交互指令对应的界面控件元素进行控制。
在本实施例中，可以根据用户输入的语音交互指令对该语音交互指令对应的界面控件元素进行控制，其中，控制操作可以包括点击、滑动、放大、缩小、打开、关闭以及移动光标等，在此不做限定。
作为一种方式，可以根据语音交互指令包括的索引编号突出显示该索引编号对应的界面控件元素，再输入操作指令对该界面控件元素进行控制，例如，语音交互指令为“第二排第二个”，先根据“第二排第二个”突出显示“第二排第二个”对应的界面控件元素后，输入语音交互指令“点击打开”，根据语音交互指令“点击打开”，打开“第二排第二个”对应的界面控件元素。其中，突出显示的方式可以包括放大界面控件元素、框出界面控件元素以及改变界面控件元素颜色等，在此不做限定。
作为另一种方式，直接输入对索引编号对应的界面控件元素进行控制的语音交互指令，例如，语音交互指令为“滑动第四个”，则控制“第四个”对应的界面控件元素滑动。
作为再一种方式，可以根据语音交互指令包括的索引编号和文编描述，突出显示该索引编号和文本描述对应的界面控件元素，再输入操作指令对该界面控件元素进行控制，例如，请参阅5，语音交互指令为“国创推荐中的第一排第二个”，突出显示界面控件元素101，再输入语音交互指令“打开”，则可以打开界面控件元素101。其中，突出显示的方式可以包括放大界面控件元素、框出界面控件元素以及改变界面控件元素颜色等，在此不做限定。
作为又一种方式，直接输入对索引编号和文本描述对应的界面控件元素进行控制的语音交互指令，例如，请参阅5，语音交互指令为“打开国创推荐中的第一排第二个”，则可以打开界面控件元素101。
本申请一个实施例提供的交互方法，相较于图1所示的交互方法，本实施例还可以通过不同的语音交互指令对确定的界面控件元素进行控制，从而可以无需被控制应用对语音控制进行适配，就能实现用户通过语音控制对界面进行交互，能够有效提升用户使用语音操控时的便捷性，减少识别的错误，方便用户描述，节省用户时间，提升用户体验。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
请参阅图16，图16示出了本申请实施例提供的交互装置的模块框图。该交互装置200应用于上述电子设备，下面将针对图16所示的框图进行阐述，所述交互装置200包括：图形界面显示模块210、第一界面控件元素筛选模块220、第二界面控件元素筛选模块230、索引编号模块240以及界面控件元素确定模块250，其中：
图形界面显示模块210，用于显示图形界面，其中，所述图形界面包括N1个界面控件元素。
进一步地，图形界面显示模块210包括：语音信息获取子模块以及控件尺寸确定子模块，其中：
语音信息获取子模块，用于对所述语音交互指令进行解析，获得所述语音交互指令所包含的语音信息。
控件尺寸确定子模块，用于基于所述语音信息，确定指定控件尺寸。
进一步地，控件尺寸确定子模块包括：第一控件尺寸确定单元以及第二控件尺寸确定单元，其中：
第一控件尺寸确定单元，用于当所述语音信息同时包括文本描述和索引编号时，确定所述指定控件尺寸为第一控件尺寸，所述图形界面包括至少两个部分，所述至少两个部分中的每个部分包括关键词和多个界面控件元素，所述关键词与所述文本描述关联。
第二控件尺寸确定单元，用于当所述语音信息只包括索引编码时，确定所述指定控件尺寸为第二控件尺寸，其中，所述第二控件尺寸大于所述第一控件尺寸。
第一界面控件元素筛选模块220，用于响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数。
进一步地，第一界面控件元素筛选模块220包括：N1个界面控制元素各自对应的控件获取子模块以及N3个界面控件元素筛选子模块，其中：
N1个界面控制元素各自对应的控件获取子模块，用于获取所述N1个界面控件元素各自对应的控件尺寸。
N3个界面控件元素筛选子模块，用于基于所述N1个界面控件元素各自对应的控件尺寸，从所述N1个界面控件元素中筛选出控件尺寸大于所述指定控件尺寸的N3个界面控件元素。
第二界面控件元素筛选模块230，用于从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数。
进一步地，交互装置200还包括：N5个界面控件元素筛选模块以及N4个界面控件元素获得模块，其中：
N5个界面控件元素筛选模块，用于从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N5个界面控件元素。
N4个界面控件元素获得模块，用于当所述N5个界面控件元素中包括重叠的界面控件元素时，对所述重叠的界面控件元素进行去重，获得所述N4个界面控件元素。
进一步地，N4个界面控件元素获得模块包括：第一比例获取子模块以及尺寸最大控件元素删除子模块，其中：
第一比例获取子模块，用于当所述N5个界面控件元素中包括重叠的界面控件元素时，获取重叠的界面控件元素之间的重叠区域比例作为第一比例。
尺寸最大控件元素删除子模块，用于当所述第一比例大于或等于第一比例阈值时，从重叠的界面控件元素中删除控件尺寸最大的界面控件元素，获得所述N4个界面控件元素。
进一步地，尺寸最大控件元素删除子模块包括：N6界面控件元素获得单元、第二比例获取单元以及尺寸最大控件元素保留单元，其中：
N6界面控件元素获得单元，用于从所述重叠的界面控件元素中删除控件尺寸最大的界面控件元素，获得N6个界面控件元素。
第二比例获取单元，用于当所述N6个界面控件元素中包括重叠的界面控件元素时，获取重叠的界面控件元素之间的重叠区域比例作为第二比例。
尺寸最大控件元素保留单元，用于当所述第二比例小于第二比例阈值时，从重叠的界面控件元素中保留控件尺寸最大的界面控件元素，获得所述N4个界面控件元素，其中，所述第一比例阈值大于所述第二比例阈值。
进一步地，交互装置200还包括：纵坐标获取模块、同一行界面控件元素获取模块以及第一预设排列规则满足确定模块，其中：
纵坐标获取模块，用于获取所述N4个界面控件元素各自的目标点的纵坐标。
同一行界面控件元素获取模块，用于基于所述N4个界面控件元素各自的目标点的纵坐标，将所述N4个界面控件元素划分至不同行，并获取位于同一行的界面控件元素。
第一预设排列规则满足确定模块，用于当所述同一行的界面控件元素之间的高度和宽度中的至少一项的偏差在预设偏差范围内时，确定所述同一行的界面控件元素满足预设排列规则。
进一步地，交互装置200还包括：横坐标获取模块、同一列界面控件元素获取模块以及第二预设排列规则满足确定模块，其中：
横坐标获取模块，用于获取所述N4个界面控件元素各自的目标点的横坐标。
同一列界面控件元素获取模块，用于基于所述N4个界面控件元素各自的目标点的横坐标，将所述N4个界面控件元素划分至不同列，并获取位于同一列的界面控件元素。
第二预设排列规则满足确定模块，用于当所述同一列的界面控件元素之间的宽度的偏差在预设偏差范围内时，确定所述同一列的界面控件元素满足预设排列规则。
索引编号模块240，用于当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号。
进一步地，索引编号模块240包括：界面控件元素集合获取子模块、目标界面控件元素集合筛选子模块以及目标索引编码获得子模块，其中：
界面控件元素集合获取子模块，用于当所述N4个界面控件元素组成多个满足所述预设排列规则的界面控件元素集合时，获得多个界面控件元素集合，其中，每个所述界面控件元素集合均包括至少两个界面控件元素。
目标界面控件元素集合筛选子模块，用于从所述多个界面控件元素集合中，筛选获得目标界面控件元素集合。
目标索引编码获得子模块，用于对所述目标界面控件元素集合中的界面控件元素进行索引编号，获得所述目标界面控件元素集合中的界面控件元素各自对应的目标索引编码。
进一步地，目标界面控件元素集合筛选子模块包括：重叠的界面控件元素集合去重单元，其中：
重叠的界面控件元素集合去重单元，用于当所述多个界面控件元素集合中包括重叠的界面控件元素集合时，对所述重叠的界面控件元素集合进行去重，获得所述目标界面控件元素集合。
进一步地，重叠的界面控件元素集合去重单元包括：第一界面控件元素集合保留子单元以及第二界面控件元素集合保留子单元，其中：
第一界面控件元素集合保留子单元，用于当所述重叠的界面控件元素集合均只包括单列的界面控件元素时，保留行数最小的界面控件元素集合作为所述目标界面控件元素集合。
第二界面控件元素集合保留子单元，用于当所述重叠的界面控件元素集合至少一个不包括单列的界面控件元素时，保留列数最大且界面控件元素最多的界面控件元素集合作为所述目标界面控件元素集合。
进一步地，目标界面控件元素集合筛选子模块还包括：第三界面控件元素集合保留单元以及第四界面控件元素集合保留单元，其中：
第三界面控件元素集合保留单元，用于当所述多个界面控件元素集合中不包括重叠的界面控件元素集合，且所述多个界面空间元素集合包括多列的界面控件元素时，保留列数最大、界面控件元素最多以及控件尺寸最大的界面控件元素集合作为所述目标界面控件元素集合。
第四界面控件元素集合保留单元，用于当所述界面控件元素集合中不包括重叠的界面控件元素集合，且所述多个界面空间元素集合只包括单列的界面控件元素时，保留行数最大以及控件尺寸最大的界面控件元素集合作为所述目标界面控件元素集合。
进一步地，目标界面控件元素集合筛选子模块还包括：语音交互指令解析单元以及筛选单元，其中：
语音交互指令解析单元，用于对所述语音交互指令进行解析，获得所述语音交互指令所包含的语音信息。
筛选单元，用于基于所述语音信息，从所述多个界面控件元素集合中，筛选获得目标界面控件元素集合。
进一步地，索引编号模块240还包括：坐标获取子模块以及编号子模块，其中：
坐标获取子模块，用于获取所述N4个界面控件元素各自的横坐标和纵坐标。
编号子模块，用于基于所述N4个界面控件元素各自的横坐标和纵坐标，对所述N4个界面控件元素进行索引编号。
界面控件元素确定模块250，用于基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
进一步地，所述交互装置200还包括：控制模块，其中：
控制模块，用于基于所述语音交互指令对所述语音交互指令对应的界面控件元素进行控制。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图17，其示出了本申请实施例提供的一种电子设备100的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责待显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
触摸屏130用于显示由用户输入的信息、提供给用户的信息以及所述电子设备100的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成，在一个实例中，该触摸屏130可以为液晶显示器(Liquid Crystal Display，LCD)，也可以为有机发光二极管(Organic Light-Emitting Diode，OLED)，在此不做限定。
请参阅图18，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。
综上所述，本申请实施例提供的交互方法、装置、电子设备以及存储介质，显示图形界面，其中，图形界面包括N1个界面控件元素，响应于输入的语音交互指令，从N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数，从N2个界面控件元素中，筛选出位于N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数，当N4个界面控件元素满足预设排列规则时，对N4个界面控件元素进行索引编号，获得N4个界面控件元素各自对应的目标索引编号，基于N4个界面控件元素各自对应的目标索引编号，从N4个界面控件元素中确定与语音交互指令对应的界面控件元素，从而可以无需被控制应用对语音控制进行适配，就能实现用户通过语音控制对界面进行交互，节省开发成本，节省语音识别的时长，并提升语音交互的准确率。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (19)

1.一种交互方法，其特征在于，所述方法包括：
显示图形界面，其中，所述图形界面包括N1个界面控件元素；
响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数；
从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数；
当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号；
基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
2.根据权利要求1所述的方法，其特征在于，在所述从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素之前，还包括：
对所述语音交互指令进行解析，获得所述语音交互指令所包含的语音信息；
基于所述语音信息，确定指定控件尺寸。
3.根据权利要求2所述的方法，其特征在于，所述基于所述语音信息，确定指定控件尺寸，包括：
当所述语音信息同时包括文本描述和索引编号时，确定所述指定控件尺寸为第一控件尺寸，所述图形界面包括至少两个部分，所述至少两个部分中的每个部分包括关键词和多个界面控件元素，所述关键词与所述文本描述关联；或者
当所述语音信息只包括索引编码时，确定所述指定控件尺寸为第二控件尺寸，其中，所述第二控件尺寸大于所述第一控件尺寸。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，包括：
获取所述N1个界面控件元素各自对应的控件尺寸；
基于所述N1个界面控件元素各自对应的控件尺寸，从所述N1个界面控件元素中筛选出控件尺寸大于所述指定控件尺寸的N3个界面控件元素。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素之后，还包括：
从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N5个界面控件元素；
当所述N5个界面控件元素中包括重叠的界面控件元素时，对所述重叠的界面控件元素进行去重，获得所述N4个界面控件元素。
6.根据权利要求5所述的方法，其特征在于，所述当所述N5个界面控件元素中包括重叠的界面控件元素时，对所述重叠的界面控件元素进行去重，获得所述N4个界面控件元素，包括：
当所述N5个界面控件元素中包括重叠的界面控件元素时，获取重叠的界面控件元素之间的重叠区域比例作为第一比例；
当所述第一比例大于或等于第一比例阈值时，从重叠的界面控件元素中删除控件尺寸最大的界面控件元素，获得所述N4个界面控件元素。
7.根据权利要求6所述的方法，其特征在于，所述从重叠的界面控件元素中删除控件尺寸最大的界面控件元素，获得所述N4个界面控件元素，包括：
从所述重叠的界面控件元素中删除控件尺寸最大的界面控件元素，获得N6个界面控件元素；
当所述N6个界面控件元素中包括重叠的界面控件元素时，获取重叠的界面控件元素之间的重叠区域比例作为第二比例；
当所述第二比例小于第二比例阈值时，从重叠的界面控件元素中保留控件尺寸最大的界面控件元素，获得所述N4个界面控件元素，其中，所述第一比例阈值大于所述第二比例阈值。
8.根据权利要求1所述的方法，其特征在于，所述当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号，包括：
当所述N4个界面控件元素组成多个满足所述预设排列规则的界面控件元素集合时，获得多个界面控件元素集合，其中，每个所述界面控件元素集合均包括至少两个界面控件元素；
从所述多个界面控件元素集合中，筛选获得目标界面控件元素集合；
对所述目标界面控件元素集合中的界面控件元素进行索引编号，获得所述目标界面控件元素集合中的界面控件元素各自对应的目标索引编码。
9.根据权利要求8所述的方法，其特征在于，所述从所述多个界面控件元素集合中，筛选获得目标界面控件元素集合，包括：
当所述多个界面控件元素集合中包括重叠的界面控件元素集合时，对所述重叠的界面控件元素集合进行去重，获得所述目标界面控件元素集合。
10.根据权利要求9所述的方法，其特征在于，所述对所述重叠的界面控件元素集合进行去重，获得所述目标界面控件元素集合，包括：
当所述重叠的界面控件元素集合均只包括单列的界面控件元素时，保留行数最小的界面控件元素集合作为所述目标界面控件元素集合；或
当所述重叠的界面控件元素集合至少一个不包括单列的界面控件元素时，保留列数最大且界面控件元素最多的界面控件元素集合作为所述目标界面控件元素集合。
11.根据权利要求8所述的方法，其特征在于，所述从所述多个界面控件元素集合中，筛选获得目标界面控件元素集合，包括：
当所述多个界面控件元素集合中不包括重叠的界面控件元素集合，且所述多个界面空间元素集合包括多列的界面控件元素时，保留列数最大、界面控件元素最多以及控件尺寸最大的界面控件元素集合作为所述目标界面控件元素集合；
当所述界面控件元素集合中不包括重叠的界面控件元素集合，且所述多个界面空间元素集合只包括单列的界面控件元素时，保留行数最大以及控件尺寸最大的界面控件元素集合作为所述目标界面控件元素集合。
12.根据权利要求8-11任一项所述的方法，其特征在于，所述从所述多个界面控件元素集合中，筛选获得目标界面控件元素集合，包括：
对所述语音交互指令进行解析，获得所述语音交互指令所包含的语音信息；
基于所述语音信息，从所述多个界面控件元素集合中，筛选获得目标界面控件元素集合。
13.根据权利要求1-3任一项所述的方法，其特征在于，在所述当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号之前，还包括：
获取所述N4个界面控件元素各自的目标点的纵坐标；
基于所述N4个界面控件元素各自的目标点的纵坐标，将所述N4个界面控件元素划分至不同行，并获取位于同一行的界面控件元素；
当所述同一行的界面控件元素之间的高度和宽度中的至少一项的偏差在预设偏差范围内时，确定所述同一行的界面控件元素满足预设排列规则。
14.根据权利要求1-3任一项所述的方法，其特征在于，在所述当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号之前，还包括：
获取所述N4个界面控件元素各自的目标点的横坐标；
基于所述N4个界面控件元素各自的目标点的横坐标，将所述N4个界面控件元素划分至不同列，并获取位于同一列的界面控件元素；
当所述同一列的界面控件元素之间的宽度的偏差在预设偏差范围内时，确定所述同一列的界面控件元素满足预设排列规则。
15.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述N4个界面控件元素进行索引编号，包括：
获取所述N4个界面控件元素各自的横坐标和纵坐标；
基于所述N4个界面控件元素各自的横坐标和纵坐标，对所述N4个界面控件元素进行索引编号。
16.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素之后，还包括：
基于所述语音交互指令对所述语音交互指令对应的界面控件元素进行控制。
17.一种交互装置，其特征在于，所述装置包括：
图形界面显示模块，用于显示图形界面，其中，所述图形界面包括N1个界面控件元素；
第一界面控件元素筛选模块，用于响应于输入的语音交互指令，从所述N1个界面控件元素中筛选出可交互的N2个界面控件元素，并从所述N1个界面控件元素中筛选出满足指定控件尺寸的N3个界面控件元素，其中，N1＞N2，N1＞N3，N2为大于1的整数，N3为大于0的整数；
第二界面控件元素筛选模块，用于从所述N2个界面控件元素中，筛选出位于所述N3个界面控件元素中的N4个界面控件元素，其中，N2≥N4，N4为大于1的整数；
索引编号模块，用于当所述N4个界面控件元素满足预设排列规则时，对所述N4个界面控件元素进行索引编号，获得所述N4个界面控件元素各自对应的目标索引编号；
界面控件元素确定模块，用于基于所述N4个界面控件元素各自对应的目标索引编号，从所述N4个界面控件元素中确定与所述语音交互指令对应的界面控件元素。
18.一种电子设备，其特征在于，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-16任一项所述的方法。
19.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-16任一项所述的方法。
CN202111319935.2A 2021-11-09 2021-11-09 交互方法、装置、电子设备以及存储介质 Pending CN113900620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111319935.2A CN113900620A (zh) 2021-11-09 2021-11-09 交互方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111319935.2A CN113900620A (zh) 2021-11-09 2021-11-09 交互方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN113900620A true CN113900620A (zh) 2022-01-07

Family

ID=79193709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111319935.2A Pending CN113900620A (zh) 2021-11-09 2021-11-09 交互方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN113900620A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854260A (zh) * 2009-03-30 2010-10-06 阿瓦雅公司 具有基于控件通信隐喻的模式中立通信的系统和方法
CN103034399A (zh) * 2011-12-09 2013-04-10 微软公司 调整用户界面元素
CN108364645A (zh) * 2018-02-08 2018-08-03 北京奇安信科技有限公司 一种基于语音指令实现页面交互的方法及装置
CN108829371A (zh) * 2018-06-19 2018-11-16 Oppo广东移动通信有限公司 界面控制方法、装置、存储介质及电子设备
CN110457105A (zh) * 2019-08-07 2019-11-15 腾讯科技（深圳）有限公司 界面操作方法、装置、设备及存储介质
CN111722826A (zh) * 2020-06-28 2020-09-29 广州小鹏车联网科技有限公司 语音交互信息的构造方法、车辆和存储介质
CN112102823A (zh) * 2020-07-21 2020-12-18 深圳市创维软件有限公司 一种智能终端的语音交互方法、智能终端及存储介质
CN112148408A (zh) * 2020-09-27 2020-12-29 深圳壹账通智能科技有限公司 基于图像处理的无障碍模式实现方法、设备及存储介质
CN112164401A (zh) * 2020-09-18 2021-01-01 广州小鹏汽车科技有限公司 语音交互方法、服务器和计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854260A (zh) * 2009-03-30 2010-10-06 阿瓦雅公司 具有基于控件通信隐喻的模式中立通信的系统和方法
CN103034399A (zh) * 2011-12-09 2013-04-10 微软公司 调整用户界面元素
US20130152001A1 (en) * 2011-12-09 2013-06-13 Microsoft Corporation Adjusting user interface elements
CN108364645A (zh) * 2018-02-08 2018-08-03 北京奇安信科技有限公司 一种基于语音指令实现页面交互的方法及装置
CN108829371A (zh) * 2018-06-19 2018-11-16 Oppo广东移动通信有限公司 界面控制方法、装置、存储介质及电子设备
CN110457105A (zh) * 2019-08-07 2019-11-15 腾讯科技（深圳）有限公司 界面操作方法、装置、设备及存储介质
CN111722826A (zh) * 2020-06-28 2020-09-29 广州小鹏车联网科技有限公司 语音交互信息的构造方法、车辆和存储介质
CN112102823A (zh) * 2020-07-21 2020-12-18 深圳市创维软件有限公司 一种智能终端的语音交互方法、智能终端及存储介质
CN112164401A (zh) * 2020-09-18 2021-01-01 广州小鹏汽车科技有限公司 语音交互方法、服务器和计算机可读存储介质
CN112148408A (zh) * 2020-09-27 2020-12-29 深圳壹账通智能科技有限公司 基于图像处理的无障碍模式实现方法、设备及存储介质

Similar Documents

Publication Publication Date Title
US11361526B2 (en) Content-aware selection
CN106484266B (zh) 一种文本处理方法及装置
KR101522919B1 (ko) 드로잉 제어 방법, 장치 및 이동 단말기
CN115238214A (zh) 展示方法、装置、计算机设备、存储介质及程序产品
EP3751448B1 (en) Text detecting method, reading assisting device and medium
CN112839261B (zh) 一种提升语音指令匹配度的方法及显示设备
KR20140089847A (ko) 전자 장치 및 그 제어 방법
CN112163577A (zh) 游戏画面中的文字识别方法、装置、电子设备和存储介质
CN114501107A (zh) 一种显示设备及涂色方法
WO2023087934A1 (zh) 一种语音控制方法、装置、设备以及计算机存储介质
CN112286614A (zh) 用户界面的显示方法和装置、电子设备及存储介质
CN108256071B (zh) 录屏文件的生成方法、装置、终端及存储介质
JP2023533281A (ja) デバイス制御方法及び装置、記憶媒体並びに電子デバイス
WO2019018062A1 (en) AUTOMATIC IMAGE ORGANIZATION IN IMAGE GRID LAYOUT
KR19980065342A (ko) 텔레비전 수상기의 화면명령 구성 및 인식방법
CN109165626A (zh) 电子白板的书写笔画处理方法、装置、设备和存储介质
CN113900620A (zh) 交互方法、装置、电子设备以及存储介质
CN112068947A (zh) 应用程序进入方法、装置、终端设备及计算机可读介质
CN113923295B (zh) 语音控制方法、装置、电子设备以及存储介质
CN112269520B (zh) 元素显示控制方法、装置、交互平板及存储介质
CN116521043B (zh) 一种图纸快速响应的方法、系统及计算机程序产品
CN111400631B (zh) 非对称式信息流阅读方法及装置、终端、存储介质
WO2023077886A1 (zh) 一种显示设备及其控制方法
WO2023016193A1 (zh) 设备控制方法、装置、电子设备以及存储介质
CN115700825A (zh) 白板的笔迹识别方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination