CN113110770A - 一种控制方法及装置 - Google Patents

Abstract

本申请实施例公开了一种控制方法及装置，其中，所述方法包括：至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容；至少根据所述目标内容生成对应的目标控件，以能够响应作用于所述目标控件的满足条件的操作对所述目标内容进行对应处理；其中，不同目标内容对应生成的目标控件不同。

Description

一种控制方法及装置

技术领域

本申请涉及计算机技术，尤其涉及一种控制方法及装置。

背景技术

相关技术中，用户使用电脑、手机、平板等电子设备进行某项操作时，往往需要对电子设备的其他输入元件进行操作，比如，用键盘打字时，需要使用鼠标重新定位光标位置；看视频时，需要用鼠标/手/笔把快进条点出来，进行快进操作，使用右键等弹出菜单设置视频几倍速度。上述操作往往会打断用户原本的注意力，使原来进行的活动变得不流畅，影响用户的体验。

发明内容

本申请实施例提供了一种控制方法及装置。

本申请实施例的技术方案是这样实现的：

一方面，本申请实施例提供的控制方法包括：

至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容；

至少根据所述目标内容生成对应的目标控件，以能够响应作用于所述目标控件的满足条件的操作对所述目标内容进行对应处理；

其中，不同目标内容对应生成的目标控件不同。

一方面，本申请实施例提供的控制装置包括：

确定单元，用于至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容；

生成单元，用于至少根据所述目标内容生成对应的目标控件，以能够响应作用于所述目标控件的满足条件的操作对所述目标内容进行对应处理；其中，不同目标内容对应生成的目标控件不同。

一方面，本申请实施例提供一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行上述的控制方法的步骤。

一方面，本申请实施例提供一种存储介质，所述存储介质上存储有控制程序，所述控制程序被处理器执行时实现上述的控制方法的步骤。

本申请实施例中，至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容；至少根据所述目标内容生成对应的目标控件，以能够响应作用于所述目标控件的满足条件的操作对所述目标内容进行对应处理；其中，不同目标内容对应生成的目标控件不同；如此，根据当前的目标内容生成对应的目标控件，使得能够基于目标控件针对当前的目标内容来进行对应的处理，不需要用户再通过复杂的操作控制设备来对当前内容进行处理，不需要影响当前目标内容的浏览的情况下，实施对目标内容的处理，提高用户的体验。

附图说明

图1为本申请实施例控制方法的一种可选的流程示意图；

图2为本申请实施例参考控件的一种可选的显示效果示意图；

图3为本申请实施例目标控件的一种可选的显示效果示意图；

图4为本申请实施例目标控件的一种可选的显示效果示意图；

图5为本申请实施例界面显示一种可选的效果示意图；

图6为本申请实施例控制方法的一种可选的流程示意图；

图7为本申请实施例一种可选的界面效果示意图；

图8为本申请实施例控制方法的一种可选的流程示意图；

图9为本申请实施例控制装置的一种可选的结构示意图；

图10为本申请实施例电子设备的一种可选的结构示意图。

具体实施方式

以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本申请，并不用于限定本申请。另外，以下所提供的实施例是用于实施本申请的部分实施例，而非提供实施本申请的全部实施例，在不冲突的情况下，本申请实施例记载的技术方案可以任意组合的方式实施。

在本申请的各种实施例中，至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容；至少根据所述目标内容生成对应的目标控件，以能够响应作用于所述目标控件的满足条件的操作对所述目标内容进行对应处理；其中，不同目标内容对应生成的目标控件不同。

本申请实施例提供一种控制方法，该方法应用于控制装置，控制装置中的各功能模块可以由电子设备(如终端设备)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。

电子设备可以是任何具有信息处理能力的设备，在一种实施例中，电子设备可以是智能终端，例如可以是笔记本等具有无线通信能力的电子设备、AR/VR设备、移动终端。在另一种实施例中，电子设备还可以是不便移动的具有计算功能的终端设备，比如台式计算机、桌面电脑、服务器等。

当然，本申请实施例不局限于提供为方法和硬件，还可有多种实现方式，例如提供为存储介质(存储有用于执行本申请实施例提供的控制方法的指令)。

图1为本申请实施例提供的一种控制方法的一种可选地的实现流程示意图，如图1所示，该控制方法包括：

S101、至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容。

电子设备检测目标用户在内容显示界面上的操作位置，并基于确定的操作位置确定目标内容。目标用户对为电子设备进行操作的当前用户。

本申请实施例中，目标用户对电子设备的操作可为接触式操作，也可为非接触式操作。其中，接触式操作为基于输入设备的操作，输入设备可包括：鼠标、键盘、触控板、触控笔、电子笔、触控屏等。非接触式操作可包括：语音操作、手势操作、视线操作等。

在一示例中，目标用户通过鼠标对显示界面内容进行操作，此时，电子设备根据鼠标的操作位置确定目标内容。

在一示例中，目标用户通过触控屏对显示界面内容进行操作，此时，电子设备根据触控屏的操作位置确定目标内容。

在一示例中，目标用户通过语音操作对显示界面内容进行操作，此时，电子设备根据语音操作的操作位置确定目标内容。此时，语音操作的位置可为目标用户的语音描述确定的位置，也可为目标用户当前语音阅读的位置。

在一示例中，目标用户通过视线操作对显示界面内容进行操作，此时，电子设备根据视线凝视的位置确定目标内容。

本申请实施例中，根据操作位置确定目标内容的方式包括以下之一或组合：

方式一、根据视线注视位置确定；

方式二、根据输入部件输入的输入数据确定。

在方式二中，电子设备根据眼球追踪技术确定目标用户作用于内容显示界面的视线关注位置，根据视线关注位置确定目标内容。

在方式二中，电子设备接收目标用户通过输入部件输入的输入数据，并根据输入数据确定目标用户的目标操作位置，根据目标操作位置确定目标内容。其中，输入设备包括：：鼠标、键盘、语音采集部件、触控板、触控屏等，输入数据包括：输入部件的标识移动、圈选、语音(包括语音描述或语音阅读等)。

本申请实施例中，对根据操作位置确定目标内容的方式不进行任何限定。

本申请实施中，还可根据多种方式的结合确定目标内容。在一示例中，通过目标用户的触控操作确定目标区域，根据目标用户的眼球作用于目标区域中的视线关注位置确定目标内容。

本申请实施例中，可当目标用户对内容显示界面的操作满足设定选中条件时，至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容。

在一示例中，当目标用户在一操作位置停留的时长达到时间阈值，则认为目标用户对内容显示界面的操作满足设定选中条件。

在一示例中，但目标用户的操作轨迹为指定轨迹，则认为目标用户对内容显示界面的操作满足设定选中条件。

本申请实施中，对选中条件的内容不进行任何限定，用户可根据实际需求进行设置。

本申请实施中，内容显示界面中可显示如图2所示的参考控件，该参考控件用于指示目标用户对内容显示界面的操作位置，其可对应功能项，也可不对应功能项。

当参考控件对应功能项的情况下，参考控件对应的功能项为不针对一应用程序或对象，而是针对系统的功能项，比如：返回桌面、关机、声音模式的切换等。

当目标用户对内容显示界面的操作满足设定选中条件时，参考控件的显示状态可发生变化，指示参考控件当前的位置为确定目标内容的操作位置。

在一示例中，目标用户对内容显示界面的操作满足设定选中条件之前，参考控件为图2所示的透明的气泡201，目标用户对内容显示界面的操作满足设定选中条件之后，参考控件的显示状态变化为图3所示的具有边界线的透明的气泡301。

需要说明的是，在图2和图3中，以气泡为参考控件的标识为例，在实际用，对参考控件的标识不进行任何限定。

在实际应用中，当参考控件的显示状态可发生变化后，参考控件的位置不随目标用户的操作位置的变化而变化。

本申请实施例中，确定的目标内容可包括第一目标对象和第二目标对象中的一种或两种的组合，其中，第一目标对象为文字、图像等自身无法触发功能事件仅能作为功能事件的控制对象的显示内容；第二目标对象为进度条、菜单栏等能够触发功能事件的控件。这里，根据目标内容的内容属性来判断目标内容包括哪类对象。

S102、至少根据所述目标内容生成对应的目标控件。

这里，确定目标控件，以能够响应作用于所述目标控件的满足条件的操作对所述目标内容进行对应处理。

在S101中确定目标内容后，确定目标内容确定至少一个功能项，并在确定的功能项与目标控件之间的关联关系，与生成该目标内容对应的目标控件，使得目标控件在接收到目标用户作用于目标控件的符合条件的操作时，电子设备响应于作用目标控件的符合条件的操作，能够触发该所关联的功能项对应的功能事件。这里，电子设备可触发目标控件关联功能项中一目标功能项对应的目标功能事件，基于目标功能事件对目标内容进行处理。

其中，不同目标内容对应生成的目标控件不同。这里，不同目标内容对应的功能项不同，使得不同目标控件关联的功能项不同。

在一示例中，目标内容为一段文字，该段文字对应的功能项包括：字体调大、字体调小、字号调大、字号调小、颜色调为黑、颜色调为红等。

在一示例中，目标内容为一段视频，该段文字对应的功能项包括：声音调大、声音调小、清晰度调高、清晰度调低等。

在一示例中，目标内容包括一段视频和进度条，目标内容对应的功能项包括：进度前进，进度后退等。

在根据目标内容生成目标控件的过程中，将目标内容对应的功能项和目标控件建立关联关系，使得目标控件能够触发目标内容对应的功能项所对应的功能事件。

本申请实施例中，在目标内容对应的功能项的数量大于目标控件能够触发的功能项的数量的情况下，从目标内容对应的功能项选取部分功能项，与目标控件建立关联关系，使得目标控件能够触发目标内容对应的部分功能项对应的功能事件。

这里，在建立目标控件与目标内容对应的功能项之间的关联关系时，可在目标内容对应的功能项与目标控件的不同的交互方式之间的关联关系。

在一示例中，目标内容对应的功能项包括：字体调大、字体调小、字号调大、字号调小、颜色调为黑、颜色调为红，则建立以下关联关系：字体调大和向左操作、字体调大和向右操作、字号和向上操作、字号调小和向下操作、颜色调为黑和单击、颜色调为红和和双击，使得目标控件能够触发的功能事件包括：进行字体的调大、进行字体的调小、进行字号的调大、进行字号的调小、将颜色调为黑、将颜色调为红。

在一示例中，目标控件关联的功能项包括：声音调大、声音调小、清晰度调高、清晰度调低等，则建立以下关联关系：声音调大和上看、声音调小和下看、清晰度调高和左看、清晰度调低和右看，使得目标控件能够触发的功能事件包括：进行声音的调大、进行声音的调小、进行清晰度的调高、进行清晰度的调低。

建立的关联关系中，交互方式指示能够触发所关联的功能项对应的功能事件的操作方式，其中，交互方式的类型根据目标用户的接触方式确定。

在实际应用中，当目标内容包括第一目标对象和第二目标对象的情况下，可对应第一目标对象生成一个目标控件，并对应第二目标对象生成一个目标控件，此时，可同时基于两个目标控件对对应的目标对象进行处理，也可基于优先级、用户选择操作等方式从两个目标控件中保留一个目标控件。

本申请实施例中，可根据目标内容的内容属性生成目标控件的生成方式包括以下之一或多个的组合：

生成方式一：目标内容补不包含控件，则根据内容可以被操作的方式生成目标控件，如上下左右移动、放大缩小、启动(app)、上一(首、页)、下一等等；

生成方式二、包含应用自身控件(应用自身的控制项)，读取应用的控件功能生成目标控件。

本申请实施中，目标控件可为状态变化后的参考控件。此时，在目标内容对应的功能项和状态变化后的参考控件之间建立关联关系，状态变化后的参考控件能够接收目标用户所作用的操作，并根据用户的操作对目标内容进行所触发的功能事件的处理。

本申请实施例提供的控制方法，可应用于以下场景：当平板word软件上的一个单词被用户选中，则根据该单词生成一个目标控件，且该目标控件关联的功能项所对应的功能事件为能够对该单词进行处理的功能事件，基于对目标控件的操作，对该单词进行处理。

本申请实施例提供的控制方法，至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容；至少根据所述目标内容生成对应的目标控件，以能够响应作用于所述目标控件的满足条件的操作对所述目标内容进行对应处理；其中，不同目标内容对应生成的目标控件不同；如此，根据当前的目标内容生成对应的目标控件，使得能够基于目标控件针对当前的目标内容来进行对应的处理，不需要用户再通过复杂的操作控制设备来对当前内容进行处理，不需要影响当前目标内容的浏览的情况下，实施对目标内容的处理，提高用户的体验。

在一实施例中，S101的实施包括以下两种实施方式之一：

实施方式一、根据所述目标用户在所述内容显示界面上的视线注视位置确定目标内容；

实施方式二、获得所述目标用户作用于输入部件的输入数据，将所述内容显示界面上与所述输入数据匹配的位置确定为目标操作位置，将所述目标操作位置处的内容确定为所述目标内容。

在实施方式一中，电子设备通过眼球跟踪技术追踪目标用户的眼球，并确定目标用户的眼球投射在内容显示界面上的视线注视位置，该视线注视位置为目标用户对内容显示界面的操作位置。此时，可认为目标用户对电子设备进行操作的操作方式为视线操作。

电子设备可将内容显示界面中视线注视位置上的内容确定为目标内容。在视线注视位置上不存在内容的情况下，可扩大搜索区域，将内容显示界面中，扩大后的搜索区域中的内容确定为目标内容。

在实施方式二中，电子设备对输入部件的输入进行检测，获得目标通过输入部件输入的输入数据。其中，输入部件包括：鼠标、键盘、语音采集部件、触控板、触控屏等能够向电子设备输入数据的部件，输入数据包括：输入部件的标识的移动数据、圈选数据、语音数据等通过输入部件输入电子设备的数据。这里，语音数据可包括：通过语音采集部件采集的目标用户的语音描述、通过语音采集部件采集的针对内容显示界面所显示的内容的语音阅读。

电子设备在获得目标用户通过输入部件输入的输入数据后，确定内容显示界面上与输入数据匹配的目标操作位置，并将目标操作位位置处的内容确定为目标内容。在一示例中，确定鼠标接收到的移动数据，将移动数据所确定的停留位置确定为目标操作位置，将鼠标的停留位置处的内容确定为目标内容。在一示例中，内容显示界面中显示的内容包括5张图片，电子设备在接收到语音描述“第3张照片”的情况下，则将所显示的5张图片中第3张照片所在的位置确定为目标操作位置，此时目标内容为第3张照片。在一示例中，内容显示界面显示的内容包括一段文本，电子设备接收到语音阅读“今天的天气真不错”，则将文本中文字“今天天气不错”所在的位置确定为目标操作位置，此时，目标内容为文字“今天的天气真不错”。

这里，在内容显示界面上设置有参考控件的情况下，参考控件随着目标用户的视线注视位置移动。

在一示例中，如图4所示，当目标用户的视线注视位置为位置401，则参考控件的位置如402所示，位于位置401，当目标用户的视线注视位置为位置403，则参考控件的位置如404，位于位置402。

在一实施例中，S101的实施包括：

111A、获取用户界面树；

所述用户界面树中包括所述内容显示界面中所显示的内容的显示位置。

这里，用户界面树中包括各个显示内容以及各个显示内容在当前内容显示界面中的位置坐标。

112A、根据所述用户界面树，确定位于第一搜索区域内的目标内容。

所述第一搜索区域根据所述操作位置和第一搜索距离确定。第一搜索距离为设定的距离值。

在目标内容包括多个第一目标对象的情况下，电子设备将第一搜索区域内距离操作位置最近的第一目标对象或多个第一目标对象作为目标内容。

在目标内容包括多个第二目标对象的情况下，电子设备将第一搜索区域内距离操作位置最近的第二目标对象或多个第二目标对象作为目标内容。

在一实施例中，S101的实施包括：

111B、获取所述内容显示界面的界面图像；

112B、对所述界面图像进行内容识别，确定所述显示图像中位于第二搜索区域内的目标内容。

所述第二搜索区域根据所述操作位置和第二搜索距离确定。

这里，电子设备具有截屏和图像识别的功能。电子设备对内容显示界面进行截屏，得到内容显示界面的界面图像，然后根据操作位置确定第二搜索区域，对第二搜索区域内的图像内容进行识别，得到目标内容。

在一实施例中，S102的实施包括：

S1021A、在所述目标内容包括无法触发功能事件的第一目标对象的情况下，确定所述第一目标对象支持的第一功能事件对应的第一功能项。

所述第一目标对象为所述第一功能事件的控制对象。

S1022A、根据所述第一功能项，生成所述目标控件，使得所述目标控件响应于满足条件的操作，触发所述第一功能事件。

这里，第一目标对象为文字、图像等仅能作为控制对象的显示内容，第一目标对象无法触发功能事件，而是功能事件的控制对象。

在目标内容包括第一目标对象的情况下，电子设备确定第一功能项。其中，电子设备中可根据第一目标对象所属的应用程序确定对应的第一功能项。

这里，电子设备中可获取第一目标对象所属的应用程序的第一功能项列表，从第一功能项列表中包括该第一目标对象支持的第一功能事件对应的第一功能项。

在一示例中，第一目标对象为文字，确定的第一功能项包括：字体调整、字号调整。

电子设备将确定的第一功能项和不同的交互方式建立关联关系，以生成目标控件，从而在作用于目标控件的操作的交互方式为一关联关系中的交互方式，则触发该交互方式关联的第一功能项所对应的第一功能事件。

在一实施例中，S102的实施包括：

S1021B、在所述目标内容包括第二目标对象的情况下，确定所述第二目标对象能够触发的第二功能事件对应的第二功能项；

S1022B、根据所述第二功能项生成所述目标控件，使得所述目标控件响应于满足条件的操作，触发所述第二功能事件。

这里，第二目标对象为进度条、菜单栏等触发第二功能事件的控件。

电子设备获取控件能触发的第二功能事件对应的第二功能项，并在第二功能项与目标控件之间建立关联关系。

在目标内容包括第二目标对象的情况下，电子设备确定第二功能事件。其中，电子设备中可根据第二目标对象所属的应用程序确定对应的第二功能事件。

这里，当第二目标对象为系统控件，电子设备利用系统应用程序接口(Application Programming Interface，API)获取该系统控件的第二功能项列表，并可从第二功能项列表中选取设定数量个第二功能项或全部第二功能项与目标控件建立关联关系。

这里，当第二目标对象为第三方应用程序的控件，电子设备调用第三方应用程序提供的功能项访问接口获取该控件的第二功能项列表，并可从获取的第二功能项列表中选取设定数量个第二功能项或全部第二功能项迁移至目标控件。

电子设备将确定的第二功能项功能事件和不同的交互方式建立关联关系，以生成目标控件，从而在作用于目标控件的操作的交互方式为一关联关系中的交互方式，则触发该交互方式关联的第二功能项对应的第二功能事件。

本申请实施例中，当目标内容包括第一目标对象和第二目标对象，则分别确定第一目标对象对应的第一功能项和第二目标对象对应的第二功能项，从所确定的第一功能项和第二功能项中确定关联目标项，建立关联目标项和目标控件之间的关联关系。这里，选取的关联功能项可仅包括第一功能项，也可仅包括第二功能项，还可包括第一功能项和第二功能项。

在一示例中，目标内容包括：第一目标对象对象1和第二目标对象对象2，且对象1对应的第一功能项包括：功能项11、功能项12、功能项13和功能性14，对象2对应的第二功能项包括：功能项21、功能项22、功能项23和功能性24，则从第一功能项和第二功能项中选取关联功能项。选取结果可包括以下情况之一：

情况一、关联功能项包括：功能项11、功能项12、功能项13和功能性14；

情况二、关联功能项包括：功能项21、功能项22、功能项23和功能性24；

情况三、关联功能项包括：功能项11、功能项12、功能项23和功能性24。

在实际应用中，第一目标对象可包括至少一个，第二目标对象可包括至少一个。在第一目标对象包括多个的情况下，第一目标对象可既包括系统程序的第一目标对象，也可包括第三方程序的第一目标对象。在第二目标对象包括多个的情况下，第二目标对象可既包括系统程序的第二目标对象，也可包括第三方程序的第二目标对象。

在一示例中，目标内容包括：一个第一目标对象(对象1)和两个第二目标对象(对象2和对象3)，其中，对象2属于系统程序，对象3属于第三方应用程序，且对象1支持的第一功能项包括：功能项11、功能项12、功能项13和功能性14，对象2对应的第二功能项包括：功能项21、功能项22、功能项23和功能性24，对象3对应的第二功能项包括：功能项31、功能项32、功能项33和功能性34，则从第一功能项和第二功能项中选取关联功能项。选取结果可包括以下情况之一：

情况一、关联功能项包括：功能项11、功能项22、功能项23和功能性14；

情况二、关联功能项包括：功能项21、功能项22、功能项33和功能性34；

情况三、关联功能项包括：功能项11、功能项22、功能项23和功能性31。

本申请实施例中，可根据各第一功能项和各第二功能项的功能项参数从所确定的第一功能项和第二功能项中确定关联目标项，其中，功能项参数包括：优先级、权项等级等。本申请实施例对从所确定的第一功能项和第二功能项中确定关联目标项的选取策略不进行任何限定。

在一实施例中，在S102之后，还包括：

在所述目标用户作用在所述目标控件的操作满足所述条件的情况下，确定所述操作的交互方式；根据所述交互方式从所述目标控件对应的功能项中，确定目标功能事件；其中，不同的所述功能项对应的交互方式不同；执行所述目标功能项对应的目标功能事件。

在内容显示界面显示目标控件的情况下，检测目标用户作用于目标控件的操作的操作参数，并根据操作参数判断检测到的操作是否满足条件。

这里，操作参数可包括：操作内容、停留时长、操作轨迹、交互方式等，条件为基于操作参数设置的规则。在一示例中，条件包括：作用于目标控件的操作的操作内容为指定内容。在一示例中，条件包括：作用于目标控件的停留时长大于停留时长阈值。在一示例中，条件包括：作用于目标控件的操作轨迹大为指定操作轨迹。在一示例中，条件包括：检测到的操作的交互方式与目标控件关联的功能项中一功能项对应的交互方式相同。

以条件包括作用于目标控件的操作的操作内容为指定内容为例，当电子设备接收到目标用户发送的语音“AA”时，则认为目标用户作用于目标控件的操作符合条件。

以条件包括：检测到的操作的交互方式与目标控件关联的功能项中一功能项对应的交互方式相同为例，目标控件关联的功能项包括：声音调大、声音调小、清晰度调高、清晰度调低，各功能项对应的交互方式分别包括：声音调大对应上看、声音调小对应下看、清晰度调高对应左看、清晰度调低对应右看，当检测到目标用户的眼球501投射在内容显示界面502上的视线注视位置如图5所示，从位置503移动到位置504，此时，作用于目标控件505的操作的交互方式为向上，则确定作用于目标控件的操作满足条件。

在实际应用中，可基于多个操作参数判断作用于目标控件的操作是否满足条件。

当确定作用于目标控件的操作满足条件，响应作用于目标控件的操作满足条件，判断目标用户对目标控件的操作的交互方式。这里，判断是否满足条件的作用于目标控件的操作，与确定交互方式的操作可为同一操作，也可为不同时间发生的不同操作。

在判断目标用户对目标控件的操作的交互方式后，根据确定的交互方式从目标控件对应的至少一个功能项中选取目标功能项。

在一示例中，目标控件关联的功能项包括：声音调大、声音调小、清晰度调高、清晰度调低，各功能项对应的交互方式分别包括：声音调大对应上看、声音调小对应下看、清晰度调高对应左看、清晰度调低对应右看，当检测到目标用户的视线投射在内容显示界面上的视线注视位置如图5所示，从位置503移动到位置502，此时，作用于目标控件505的操作的交互方式为上看，则确定的目标功能项为声音调大。

在一实施例中，执行所述目标功能项对应的目标功能事件，所述方法还包括：

确定所述目标用户作用于所述目标控件的作用时长或作用距离，根据所述作用时长或作用距离确定针对所述目标功能事件的控制参数；

对应的，执行所述目标功能项对应的目标功能事件，包括：

基于所述控制参数，执行所述目标功能项对应的目标功能事件。

这里，在确定目标用户作用于目标控件的操作的交互方式的同时，可检测该操作作用于目标空间的作用时长或作用距离，以根据作用时长或作用距离对应的控制参数对目标内容执行目标功能事件对应的处理。

本申请实施中，控制参数基于目标功能项不同而不同。比如：目标功能项为音量调整，则控制参数为音量大小。又比如，目标功能项为视频快进，则控制参数为快进时长。

在一示例中，目标功能项为音量调大，则根据作用于用户的操作的作用时长确定对应的调整量，并基于确定的调整量对音量进行调大。

在一实施例中，所述方法还包括：

输出待选功能项列表；所述待选功能项列表包括第三功能项，所述第三功能项为所述目标内容对应的功能项中未与所述目标控件建立关联关系的功能项；

根据所述目标用户在所述待选功能项列表上的操作位置，确定待更新功能项；

在所述待更新功能项与所述目标控件之间建立关联关系，使得所述目标控件能够触发所述待更新功能项对应的功能事件。

本申请实施中，在输出目标控件，且目标控件与目标内容对应的部分功能项建立关系的情况下，可接收目标用户的指示对目标控件关联的功能事件进行更新的切换操作，这里，切换操作可为接触式操作，也可为非接触式操作。

电子设备在接收到切换操作的情况下，获取目标内容对应的功能项中未与目标控件建立关联关系的第三功能事件，并将该第三功能项以功能项列表的方式输出。

这里，待选功能项列表还可输出已经与目标控件建立关联关系的功能项，此时，将第三功能项和已与目标控件建立关联关系的功能项进行区分输出，使得用户能够识别出第三功能项。其中，区分输出的方式可包括：勾选与未勾选、不同颜色显示等区分方式，本申请实施例对区分输出的方式不进行任何限定。

在输出待选功能项列表的情况下，电子设备检测目标用户对待选功能项列表中的第三功能项的操作，且将用户的输入操作选中的第三功能项作为待更新功能项，建立待更新功能项与目标控件之间的关联关系，使得所述目标控件能够触发待更新功能项对应的功能事件。

本申请实施例中，目标控件关联的功能项可从目标控件所支持的功能项中确定。在一示例中，目标控件所支持的功能项包括：功能项1、功能项2至功能项7，但与目标控件建立关联关系即目标控件关联的控件包括：功能项1、功能项2、功能项3和功能项4，则当目标控件接收目标控件所作用的操作时，能够触发功能项1、功能项2、功能项3和功能项4中任一功能项对应的功能事件，当需要对目标控件触发的功能事件进行修改时，可从目标控件所支持的功能项中确定需要触发的功能事件对应的功能项，将该功能项与目标控件建立关联关系，使得该功能项生效，从而使得目标控件能够触发该目标项对应的功能事件。

当目标控件的所关联的功能项的数量有限的情况下，在建立第一数量的新的关联关系的同时，可将第一数量的已有的关联关系删除。

在一示例中，与目标控件建立关联关系的功能项包括：功能项1和功能项2，电子设备输出待选功能项列表，且待选功能项列表中包括第三功能项：功能项3、功能项和功能项5，当功能项3被目标用户选中，则建立功能项3与目标控件之间的关联关系，并删除功能项1与目标控件之间的关联关系。

当目标控件的所关联的功能项的数量不限定的情况下，直接建立第一数量的新的关联关系。

在一示例中，与目标控件建立关联关系的功能项包括：功能项1和功能项2，电子设备输出待选功能项列表，且待选功能项列表中包括第三功能事件：功能项3、功能项4和功能项5，当功能项3被目标用户选中，则建立功能项3与目标控件之间的关联关系。

在实际应用中，所述待选功能项列表中包括至少一个目标内容对应的功能项。

在一示例中，待选功能项列表中仅包括目标控件当前所支持的目标内容对应的功能项。在一示例中，待选功能项列表中包括目标控件支持的所有目标内容对应的功能项，此时，以目标内容所属的应用程序对所有的目标内容进行分类。这里，支持功能事件列表中可包括三级菜单：第一级菜单：应用程序，第二级菜单：目标内容，第三级菜单：功能项。

这里，电子设备检测目标用户可对待选功能项列表中的功能项的选择，确定待更新功能项，并检测目标用户对待更新功能项进行的操作的交互方式，从而建立待更新功能项与检测到的交互方式的关联关系。

在一示例中，目标用户选中的选中功能项为音量调节，且检测到的交互方式为基于眼球追踪得到的上看，则建立音量调节中的音量调大或音量调小与上看之间的关联关系。

本申请实施例中，可根据待选功能项列表对当前目标控件支持的功能项所对应的交互方式或所有目标控件支持的功能项对应的交互方式进行修改，从而提高在用户与目标控件的控制之间提供编辑接口，使得用户根据自己的实际需求进行交互方式的设置。

下面，以视线跟踪场景为例，对本申请实施例提供的控制方法进行进一步描述。

在电子设备上装备眼球追踪装置，该眼球追踪装置能够识别电子设备的操作系统，且能遍历系统用户界面(User Interface，UI)树，或具有图像识别模型。利用眼球追踪技术，眼球追踪装置生成一个如图2所示的气泡透明状的控件，该控件可称为EyeController，其中，当用户的视线移到一个控件并凝视s秒变为选中状态，这个控件的位置表示用户视线关注的屏幕位置。

本申请实施例中，EyeController具有以下特性:

1、EyeController有个选中事件，选中后判断选中的是什么软件什么控件。

2、EyeController由于可以获取当前系统坐标(相当于光标的功能)，从而可以从系统UI树找到该控件及其父窗口；同样可以利用图像识别出控件类型及其父窗口，这样EyeController就可以知道选中的是什么软件什么控件。

3、EyeController有一个操作事件，这个操作事件有4个状态(左看、右看、上看、下看)，检测4个状态对应的功能项是否为空。

4、如果为空，针对系统控件，利用系统API获取该控件的功能项列表，默认选取前两个功能(对应值的增减)分别对应左看、右看、上看、下看4个状态。

5、如果为空，针对第三方控件，该第三方控件需要向EyeController提供功能项访问接口(功能是向EyeController发送该控件想要暴EyeControlle露的功能项列表)，使得EyeControlle获取该第三方控件的功能项列表，默认选取前两个功能(对应值的增减)分别对应左看、右看、上看、下看4个状态。

6、EyeController提供了编辑功能，可以让用户从控件的功能项列表中重新选择各个状态对应的功能项。

本申请实施提供的控制方法，如图6所示，包括：

S601、当用户对屏幕中的某处凝视，在用户的凝视位置除置EyeController变为选中状态。

其中，EyeController为选中状态中时，EyeController不会移动。

S602、判断凝视处控件类型。

利用系统UI树或者图像识别技术(两种方案，更倾向于第一种)判断凝视处控件类型。

S603、根据用户的视线扫描方向，从凝视处控件类型对应的多个功能项中确定目标功能项，并执行目标功能项对应的目标功能事件对应的处理。

这里，建立EyeController和多个功能项之间的关联关系。

用户可以上下左右看，左右对应功能1值的增减，上下对应功能值2的增减，功能和控件类型对应，如果眼球技术精准度高，能够做更方位更多功能，如增加左上左下右上右下方向，多操作2个功能。

S604、EyeController恢复常规状态。

此时，用户双眼紧闭解除EyeController与S603中控件类型对应的多个功能项之间的关联关系。

EyeController可以移动去选中其他控件。

在实际应用中，S605之后还可实施：

S605、对EyeController所控制的控件进行编辑。

当检测到用户多次快速眨眼，可以弹出控件菜单，该控件菜单如图7所示，展示EyeController能够控制的控件的待选功能项列表，待选功能项列表中，一级菜单为APP，二级菜单为控件，三级菜单为功能。针对前两级菜单EyeController漂浮到Item上即可选中Item。针对第三级菜单的Item，首先让EyeController进入凝视状态，凝视后如果用户上看，该功能对应上看功能的对应事件，下看，该功能对应下看功能的对应事件，以此类推。用户双眼紧闭EyeController恢复常规状态。再次多次快速眨眼关掉控件菜单。

在一示例中，如图7所示，当用户凝视播放器的功能项前进五秒后，向上看，则将前进对应的交互方式从右改为左。

本申请实施例提供的控制方法还可如图8所示，包括：

S801、接收参考控件的选中事件；

S802、识别位于操作位置的选中控件；

S803、生成选中控件对应的目标控件；

S804、检查的目标控件下四个状态是否为空；

如果是，执行S805，如果不是执行S807。

S805、根据选中控件的类型获取选中控件对应的功能项；

S806、将功能项与目标控件对应；

S807、检测目标用户的行为；

S808、根据目标用户的行为确定目标功能项。

此时，执行目标功能项对象的目标功能事件。

本申请实施例中提供的控制方法还可应用为以下场景：

当平板word软件上的一个单词被EyeController选中，则EyeController对应的功能项中，左右看对应光标的位置，上下看对应字体大小。

当电脑默认播放器的播放条被EyeController选中，则选中一个时间点，EyeController对应的功能项中，左右看对应快进倒退，上下看对应播放速度。

当手机的导航地图中的一个地点被EyeController选中，则EyeController对应的功能项中，左右看对应地图左右邻近点，上下看对应放大缩小。

本申请实施例提供的控制方法，具有以下特点：

1、定义了一种新型的控件EyeController，该控件使用新的交互方式操作对用户原来进行的活动干扰较小，不影响流畅度和用户体验。

2、在不同设备，系统，软件，控件上能通用。

3、可提供编程接口，让单个控件的功能变得更为丰富。

本申请实施例提供的控制方法，具有以下技术价值：

1、跨设备跨软件的功能更吸引更多软件商、硬件商投资。

2、提供编程接口，能产生大量的开源项目，使该控件的编程成为一种潮流。

3、新型的交互方式对于人机交互领域有一定的科研价值。

为实现本申请实施例的方法，本申请实施例提供一种控制装置，如图9所示，该控制装置900包括：

确定单元901，用于至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容；

生成单元902，用于至少根据所述目标内容生成对应的目标控件，以能够响应作用于所述目标控件的满足条件的操作对所述目标内容进行对应处理；其中，不同目标内容对应生成的目标控件不同。

在一实施例中，确定单元901，还用于：

根据所述目标用户在所述内容显示界面上的视线注视位置确定目标内容；或，

获得所述目标用户作用于输入部件的输入数据，将所述内容显示界面上与所述输入数据匹配的位置确定为目标操作位置，将所述目标操作位置处的内容确定为所述目标内容。

在一实施例中，确定单元901，还用于：

获取用户界面树，所述用户界面树中包括所述内容显示界面中所显示的内容的显示位置；

根据所述用户界面树，确定位于第一搜索区域内的目标内容；所述第一搜索区域根据所述操作位置和第一搜索距离确定。

在一实施例中，确定单元901，还用于：

获取所述内容显示界面的界面图像；

对所述界面图像进行内容识别，确定所述显示图像中位于第二搜索区域内的目标内容，所述第二搜索区域根据所述操作位置和第二搜索距离确定。

在一实施例中，生成单元902，还用于：

在所述目标内容包括无法触发功能事件的第一目标对象的情况下，确定所述第一目标对象支持的第一功能事件对应的第一功能项；所述第一目标对象为所述第一功能事件的控制对象；

根据所述第一功能项，生成所述目标控件，使得所述目标控件响应于满足条件的操作，触发所述第一功能事件。

在一实施例中，生成单元902，还用于：

在所述目标内容包括第二目标对象的情况下，确定所述第二目标对象能够触发的第二功能事件对应的第二功能项；所述第二目标对象能够触发所述第二功能事件；

根据所述第二功能项生成所述目标控件，使得所述目标控件响应于满足条件的操作，触发所述第二功能事件。

在一实施例中，控制装置900还包括：

方向确定单元，用于在所述目标用户作用在所述目标控件的操作满足所述条件的情况下，确定所述操作的交互方式；

指令确定单元，用于根据所述交互方式从所述目标控件关联的功能项中，确定目标功能项；其中，不同的所述功能项对应的交互方式不同；

执行单元，用于执行所述目标功能项对应的目标功能事件。

在一实施例中，控制装置900还包括：

参数确定单元，用于确定所述目标用户作用于所述目标控件的作用时长或作用距离；根据所述作用时长或作用距离确定针对所述目标功能事件的控制参数；

对应的，所述执行单元，用于基于所述控制参数，执行所述目标功能项对应的目标功能事件。

在一实施例中，控制装置900还包括：编辑单元，用于：

输出待选功能项列表；所述待选功能项列表包括第三功能项，所述第三功能项为所述目标内容对应的功能项中未与所述目标控件建立关联关系的功能项；

根据所述目标用户在所述待选功能项列表上的操作位置，确定待更新功能项；

在所述待更新功能项与所述目标控件之间建立关联关系，使得所述目标控件能够触发所述待更新功能项对应的功能事件。

需要说明的是，本申请实施例提供的电子设备包括所包括的各单元、以及各单元所包括的各模块，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Micro Processor Unit)、数字信号处理器(DSP，Digital Signal Processor)或现场可编程门阵列(FPGA，Field-Programmable Gate Array)等。

本申请实施例还提供一种电子设备，所述电子设备实现上述控制装置900执行的控制方法。

本申请实施例提供的电子设备，如图10所示，所述设备1000包括：一个处理器1001、至少一个通信总线1002、用户接口1003、至少一个外部通信接口1004和存储器1005。其中，通信总线1002配置为实现这些组件之间的连接通信。其中，用户接口1003可以包括音频输出接口，外部通信接口1004可以包括标准的有线接口和无线接口。本申请实施例中，用户接口1003包括至少两个音频输出接口。

其中，所述处理器1001，配置为执行存储器中存储的控制程序，以实现以下步骤：

至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容；

至少根据所述目标内容生成对应的目标控件，以能够响应作用于所述目标控件的满足条件的操作对所述目标内容进行对应处理；

其中，不同目标内容对应生成的目标控件不同。

相应地，本申请实施例再提供一种存储介质，即计算机可读存储介质，所述计算机可读存储介质上存储有控制程序，所述控制程序被处理器执行时实现上述的控制方法的步骤。

以上电子设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请电子设备和计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

本申请实施例中，如果以软件功能模块的形式实现上述的控制方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种控制方法，包括：

至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容；

至少根据所述目标内容生成对应的目标控件，以能够响应作用于所述目标控件的满足条件的操作对所述目标内容进行对应处理；

其中，不同目标内容对应生成的目标控件不同。

2.根据权利要求1所述的方法，所述至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容，包括：

根据所述目标用户在所述内容显示界面上的视线注视位置确定目标内容；或，

获得所述目标用户作用于输入部件的输入数据，将所述内容显示界面上与所述输入数据匹配的位置确定为目标操作位置，将所述目标操作位置处的内容确定为所述目标内容。

3.根据权利要求1所述的方法，所述至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容，包括：

获取用户界面树，所述用户界面树中包括所述内容显示界面中所显示的内容的显示位置；

根据所述用户界面树，确定位于第一搜索区域内的目标内容；所述第一搜索区域根据所述操作位置和第一搜索距离确定。

4.根据权利要求1所述的方法，所述至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容，包括：

获取所述内容显示界面的界面图像；

对所述界面图像进行内容识别，确定所述显示图像中位于第二搜索区域内的目标内容，所述第二搜索区域根据所述操作位置和第二搜索距离确定。

5.根据权利要求1所述的方法，所述至少根据所述目标内容生成对应的目标控件，包括：

在所述目标内容包括无法触发功能事件的第一目标对象的情况下，确定所述第一目标对象支持的第一功能事件对应的第一功能项；所述第一目标对象为所述第一功能事件的控制对象；

根据所述第一功能项，生成所述目标控件，使得所述目标控件响应于满足条件的操作，触发所述第一功能事件。

6.根据权利要求1所述的方法，所述至少根据所述目标内容生成对应的目标控件，包括：

在所述目标内容包括第二目标对象的情况下，确定所述第二目标对象能够触发的第二功能事件对应的第二功能项；所述第二目标对象能够触发所述第二功能事件；

根据所述第二功能项生成所述目标控件，使得所述目标控件响应于满足条件的操作，触发所述第二功能事件。

7.根据权利要求1至6任一项所述的方法，所述方法还包括：

在所述目标用户作用在所述目标控件的操作满足所述条件的情况下，确定所述操作的交互方式；

根据所述交互方式从所述目标控件关联的功能项中，确定目标功能项；其中，不同的所述功能项对应的交互方式不同；

执行所述目标功能项对应的目标功能事件。

8.根据权利要求7所述的方法，执行所述目标功能项对应的目标功能事件之前，所述方法还包括：

确定所述目标用户作用于所述目标控件的作用时长或作用距离；

根据所述作用时长或作用距离确定针对所述目标功能事件的控制参数；

对应的，执行所述目标功能项对应的目标功能事件，包括：

基于所述控制参数，执行所述目标功能项对应的目标功能事件。

9.根据权利要求1至6任一项所述的方法，所述方法还包括：

输出待选功能项列表；所述待选功能项列表包括第三功能项，所述第三功能项为所述目标内容对应的功能项中未与所述目标控件建立关联关系的功能项；

根据所述目标用户在所述待选功能项列表上的操作位置，确定待更新功能项；

在所述待更新功能项与所述目标控件之间建立关联关系，使得所述目标控件能够触发所述待更新功能项对应的功能事件。

10.一种控制装置，包括：

确定单元，用于至少根据目标用户在电子设备的内容显示界面上的操作位置确定目标内容；

生成单元，用于至少根据所述目标内容生成对应的目标控件，以能够响应作用于所述目标控件的满足条件的操作对所述目标内容进行对应处理；其中，不同目标内容对应生成的目标控件不同。

Images