CN113590001A - 一种ui控件生成、触发方法及终端 - Google Patents

一种ui控件生成、触发方法及终端 Download PDF

Info

Publication number
CN113590001A
CN113590001A CN202010367228.XA CN202010367228A CN113590001A CN 113590001 A CN113590001 A CN 113590001A CN 202010367228 A CN202010367228 A CN 202010367228A CN 113590001 A CN113590001 A CN 113590001A
Authority
CN
China
Prior art keywords
control
input
attribute
event
trigger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010367228.XA
Other languages
English (en)
Inventor
侯选哲
韩若斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010367228.XA priority Critical patent/CN113590001A/zh
Priority to PCT/CN2021/083952 priority patent/WO2021218535A1/zh
Priority to EP21797219.9A priority patent/EP4130960A4/en
Publication of CN113590001A publication Critical patent/CN113590001A/zh
Priority to US18/048,046 priority patent/US20230054717A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种UI控件生成、触发方法及终端。本发明实施例提供的技术方案中，检测到UI控件模板被拖拽操作拖拽至布局文件编辑器，并且拖拽操作被释放；接收开发者对UI控件模板的控件编辑器输入的编辑操作后，设置UI控件的属性，根据UI控件的属性生成UI控件；UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。本发明实施例能够使得开发者方便的开发出支持多种输入事件和多种呈现方式的GUI应用。

Description

一种UI控件生成、触发方法及终端
【技术领域】
本发明涉及计算机技术领域，尤其涉及一种UI控件生成、触发方法及终端。
【背景技术】
当前业界主流的应用程序是基于图形用户接口(Graphic User Interface，GUI)的应用，GUI应用的界面是由若干用户接口(User Interface，UI)控件构成。开发者在开发GUI应用时，首先将UI控件摆放好，然后为UI控件编写代码。GUI应用开发完成后，在用户使用GUI应用的过程中，当用户点击某个UI控件时，GUI应用会自动执行该UI控件对应的代码。UI控件一方面用于实现GUI应用的显示功能，例如：UI控件用于显示一个确认按钮；UI控件另外一方面作为用户输入的目标，例如：确认按钮用于接收用户的点击操作。
在GUI应用中，用户一般只能通过鼠标或者触屏触发UI控件，因此UI控件的输入事件单一，不支持语音或者手势的多种输入事件。另外，UI控件在触发前、触发中、触发后的呈现方式仅包括图形，例如：当用户按下鼠标左键点击确认按钮时，确认按钮的呈现方式为按压状态按钮的图形，当用户松开鼠标左键时，确认按钮的呈现方式为非按压状态按钮的图形。因此UI控件的呈现方式单一，不支持灯光或者声音的多种呈现方式。
为了使UI控件支持多种输入事件和多种呈现方式，开发者通过编写代码集成软件开发工具包(Software Development Kit，SDK)SDK，应用SDK提供的应用程序接口(Application Programming Interface，API)扩展GUI程序，使得UI控件支持多种输入事件和多种呈现方式。但是开发者在当前的应用程序框架下进行GUI应用开发时，受到开发技术难度大和成本高的约束，无法方便的开发出支持多种输入事件和多种呈现方式的GUI应用。
【发明内容】
有鉴于此，本发明实施例提供了一种UI控件生成、触发方法及终端，能够使得开发者方便的开发出支持多种输入事件和多种呈现方式的GUI应用。
第一方面，本发明实施例提供了一种UI控件生成方法，应用于第一终端，第一终端包括IDE和UI框架，IDE包括布局文件编辑器和控件编辑器，UI框架包括UI控件模板；该方法包括：
检测到UI控件模板被拖拽操作拖拽至布局文件编辑器，并且拖拽操作被释放；
接收开发者对UI控件模板的控件编辑器输入的编辑操作后，设置UI控件的属性，根据UI控件的属性生成UI控件；
UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。
本发明实施例提供的UI控件生成方法的技术方案中，第一终端接收开发者对UI控件模板的控件编辑器输入的编辑操作后设置UI控件的属性，根据UI控件的属性生成UI控件；UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。本发明实施例中，由于开发者不需要结合SDK就能够开发出支持多种输入事件和多种呈现方式的GUI应用，因此开发者不需要识别启动和停止与UI控件匹配的输入事件的检测的时机，也不需要开发者额外编写用于启动和停止与UI控件匹配的输入事件的检测的代码以及终端与SDK中API适配的适配代码，减小了开发者开发GUI应用的工作量，并降低了开发者的技术难度；开发者也不需要理解API含义及约束，并且了解各种输入方式的技术概念，降低了技术门槛。
在一种可能的实现方式中，控件编辑器包括触发属性编辑单元、呈现属性编辑单元和响应属性编辑单元；
接收开发者对UI控件模板的控件编辑器输入的编辑操作后，设置UI控件的属性，根据UI控件的属性生成UI控件，包括：
接收开发者对呈现属性编辑单元输入的编辑操作后，设置UI控件的呈现属性；
接收开发者对触发属性编辑单元输入的编辑操作后，设置UI控件的触发属性；
接收开发者对响应属性编辑单元输入的编辑操作后，设置UI控件的响应属性；
根据UI控件的呈现属性、触发属性和响应属性生成UI控件。
本发明实施例提供的UI控件生成方法的技术方案中，开发者只需要在控件编辑器中简单的设置UI控件的呈现属性、触发属性和响应属性，第一终端就能够根据开发者设置的UI控件的呈现属性、触发属性和响应属性生成UI控件。
在一种可能的实现方式中，UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
在一种可能的实现方式中，输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
本发明实施例提供的UI控件生成方法的技术方案中，GUI应用开发完毕后，能够使用新的输入事件触发GUI应用的UI控件，不需要GUI应用进行更新或者适配。
在一种可能的实现方式中，呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
本发明实施例提供的UI控件生成方法的技术方案中，GUI应用的UI控件支持多种呈现方式。
另一方面，本发明实施例提供了一种UI控件触发方法，应用于第二终端，第二终端包括目标应用、UI框架和系统服务，该方法包括：
检测到用户对目标应用的启动操作时，调用UI框架加载目标应用的第一界面，第一界面包括UI控件，并确定UI控件的触发属性对应的输入事件；
调用系统服务获取输入设备输入的输入事件，并对输入设备输入的输入事件进行识别；当识别出输入设备输入的输入事件与触发属性对应的输入事件相匹配时，生成与输入事件对应的触发请求；
根据触发请求携带的输入事件找到与输入事件对应的UI控件，触发UI控件；
UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；所述呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。
本发明实施例提供的UI控件触发方法的技术方案中，UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。因此，本发明实施例的目标应用中的UI控件支持多种输入事件和多种呈现方式。
在一种可能的实现方式中，确定UI控件的触发属性对应的输入事件之后，调用系统服务获取输入设备输入的输入事件，并对输入设备输入的输入事件进行识别之前，该方法还包括：
存储UI控件的触发属性对应的输入事件；
当识别出输入设备输入的输入事件与触发属性对应的输入事件相匹配时，生成与输入事件对应的触发请求之后，该方法还包括：
对触发请求携带的输入事件进行校验，在校验通过的情况下，根据触发请求携带的输入事件找到与输入事件对应的UI控件，触发UI控件。
本发明实施例提供的UI控件触发方法的技术方案中，存储UI控件的触发属性对应的输入事件，用于后续对触发请求携带的输入事件进行校验，在校验通过的情况下，根据触发请求携带的输入事件找到与输入事件对应的UI控件，触发UI控件。本发明实施例通过对触发请求携带的输入事件进行校验，防止第二终端出现对UI控件的误触发现象。
在一种可能的实现方式中，对触发请求携带的输入事件进行校验，包括：
将触发请求携带的输入事件与存储的UI控件的触发属性对应的输入事件进行对比；
校验通过为：触发请求携带的输入事件与存储的UI控件的触发属性对应的输入事件为相同的输入事件。
在一种可能的实现方式中，根据触发请求携带的输入事件找到与输入事件对应的UI控件，触发UI控件，具体包括：
根据触发请求携带的输入事件，以及预先设置的输入事件和UI控件的控件标识之间的对应关系，找到与输入事件对应的控件标识，并根据控件标识找到与控件标识对应的UI控件，触发UI控件。
本发明实施例提供的UI控件触发方法的技术方案中，通过预先设置UI控件的控件标识，以及输入事件和UI控件的控件标识之间的对应关系，使得第二终端能够根据触发请求携带的输入事件方便地找出与输入事件对应的UI控件，以便触发该UI控件。
在一种可能的实现方式中，检测到用户对目标应用的启动操作时，调用UI框架加载目标应用的第一界面，第一界面包括UI控件，并确定UI控件的触发属性对应的输入事件，具体包括：
检测到用户对目标应用的启动操作时，调用UI框架加载第一界面的页面布局文件、UI控件、UI控件的触发属性、UI控件的呈现属性和UI控件的响应属性；
确定UI控件的触发属性对应的输入事件。
本发明实施例提供的UI控件触发方法的技术方案中，第二终端通过确定第一界面的UI控件的触发属性对应的输入事件，以确定第二终端当前支持的输入事件，不需要开发者识别启动和停止与UI控件匹配的输入事件的检测的时机，第二终端能够根据UI控件的触发属性对应的输入事件自动识别启动和停止与UI控件匹配的输入事件的检测的时机。
在一种可能的实现方式中，根据触发请求找到与输入事件对应的UI控件，触发UI控件之后，还包括：
检测到用户在目标应用中的业务操作时，调用UI框架加载目标应用的第二界面，第二界面包括UI控件，并确定UI控件的触发属性对应的输入事件；并继续执行调用系统服务获取输入设备输入的输入事件，并对输入设备输入的输入事件进行识别的步骤。
在一种可能的实现方式中，UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
在一种可能的实现方式中，输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
本发明实施例的目标应用中的UI控件支持多种输入事件。
在一种可能的实现方式中，呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
本发明实施例的目标应用中的UI控件支持多种呈现方式。
在一种可能的实现方式中，系统服务的识别功能包括语音识别、肢体识别、意图识别、情感识别、系统环境监测和传统输入识别的识别功能。另一方面，本发明实施例提供了一种第一终端，包括显示器、处理器和存储器，第一终端还包括：IDE和UI框架，IDE包括布局文件编辑器和控件编辑器，UI框架包括UI控件模板；其中，存储器用于存储计算机程序，计算机程序包括程序指令，当处理器运行程序指令时，使第一终端执行以下步骤：
检测到UI控件模板被拖拽操作拖拽至布局文件编辑器，并且拖拽操作被释放；
接收开发者对UI控件模板的控件编辑器输入的编辑操作后，设置UI控件的属性，根据UI控件的属性生成UI控件；
UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。
本发明实施例提供的第一终端的技术方案中，第一终端接收开发者对UI控件模板的控件编辑器输入的编辑操作后设置UI控件的属性，根据UI控件的属性生成UI控件；UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。本发明实施例中，由于开发者不需要结合SDK就能够开发出支持多种输入事件和多种呈现方式的GUI应用，因此开发者不需要识别启动和停止与UI控件匹配的输入事件的检测的时机，也不需要开发者额外编写用于启动和停止与UI控件匹配的输入事件的检测的代码以及终端与SDK中API适配的适配代码，减小了开发者开发GUI应用的工作量，并降低了开发者的技术难度；开发者也不需要理解API含义及约束，并且了解各种输入方式的技术概念，降低了技术门槛。
在一种可能的实现方式中，控件编辑器包括触发属性编辑单元、呈现属性编辑单元和响应属性编辑单元；当处理器运行程序指令时，使第一终端执行以下步骤：
接收开发者对UI控件模板的控件编辑器输入的编辑操作后，设置UI控件的属性，根据UI控件的属性生成UI控件，包括：
接收开发者对呈现属性编辑单元输入的编辑操作后，设置UI控件的呈现属性；
接收开发者对触发属性编辑单元输入的编辑操作后，设置UI控件的触发属性；
接收开发者对响应属性编辑单元输入的编辑操作后，设置UI控件的响应属性；
根据UI控件的呈现属性、触发属性和响应属性生成UI控件。
本发明实施例提供的第一终端的技术方案中，开发者只需要在控件编辑器中简单的设置UI控件的呈现属性、触发属性和响应属性，第一终端就能够根据开发者设置的UI控件的呈现属性、触发属性和响应属性生成UI控件。
在一种可能的实现方式中，UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
在一种可能的实现方式中，输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
本发明实施例提供的第一终端的技术方案中，GUI应用开发完毕后，能够使用新的输入事件触发GUI应用的UI控件，不需要GUI应用进行更新或者适配。
在一种可能的实现方式中，呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
本发明实施例提供的第一终端的技术方案中，GUI应用的UI控件支持多种呈现方式。
另一方面，本发明实施例提供了一种第二终端，包括显示器、处理器和存储器，第二终端还包括：目标应用、UI框架和系统服务，其中，存储器用于存储计算机程序，计算机程序包括程序指令，当处理器运行程序指令时，使第二终端执行以下步骤：
检测到用户对目标应用的启动操作时，调用UI框架加载目标应用的第一界面，第一界面包括UI控件，并确定UI控件的触发属性对应的输入事件；
调用系统服务获取输入设备输入的输入事件，并对输入设备输入的输入事件进行识别；当识别出输入设备输入的输入事件与触发属性对应的输入事件相匹配时，生成与输入事件对应的触发请求；
根据触发请求携带的输入事件找到与输入事件对应的UI控件，触发UI控件；
UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。
本发明实施例提供的第二终端的技术方案中，UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。因此，本发明实施例的目标应用中的UI控件支持多种输入事件和多种呈现方式。
在一种可能的实现方式中，当处理器运行程序指令时，使第二终端执行以下步骤：
确定UI控件的触发属性对应的输入事件之后，调用系统服务获取输入设备输入的输入事件，并对输入设备输入的输入事件进行识别之前，该方法还包括：
存储UI控件的触发属性对应的输入事件；
当识别出输入设备输入的输入事件与触发属性对应的输入事件相匹配时，生成与输入事件对应的触发请求之后，该方法还包括：
对触发请求携带的输入事件进行校验，在校验通过的情况下，根据触发请求携带的输入事件找到与输入事件对应的UI控件，触发UI控件。
本发明实施例提供的第二终端的技术方案中，存储UI控件的触发属性对应的输入事件，用于后续对触发请求携带的输入事件进行校验，在校验通过的情况下，根据触发请求携带的输入事件找到与输入事件对应的UI控件，触发UI控件。本发明实施例通过对触发请求携带的输入事件进行校验，防止第二终端出现对UI控件的误触发现象。
在一种可能的实现方式中，当处理器运行程序指令时，使第二终端执行以下步骤：
对触发请求携带的输入事件进行校验，包括：
将触发请求携带的输入事件与存储的UI控件的触发属性对应的输入事件进行对比；
校验通过为：触发请求携带的输入事件与存储的UI控件的触发属性对应的输入事件为相同的输入事件。
在一种可能的实现方式中，当处理器运行程序指令时，使第二终端执行以下步骤：
根据触发请求携带的输入事件找到与输入事件对应的UI控件，触发UI控件，具体包括：
根据触发请求携带的输入事件，以及预先设置的输入事件和UI控件的控件标识之间的对应关系，找到与输入事件对应的控件标识，并根据控件标识找到与控件标识对应的UI控件，触发UI控件。
本发明实施例提供的第二终端的技术方案中，通过预先设置UI控件的控件标识，以及输入事件和UI控件的控件标识之间的对应关系，使得第二终端能够根据触发请求携带的输入事件方便地找出与输入事件对应的UI控件，以便触发该UI控件。
在一种可能的实现方式中，当处理器运行程序指令时，使第二终端执行以下步骤：
检测到用户对目标应用的启动操作时，调用UI框架加载目标应用的第一界面，第一界面包括UI控件，并确定UI控件的触发属性对应的输入事件，具体包括：
检测到用户对目标应用的启动操作时，调用UI框架加载第一界面的页面布局文件、UI控件、UI控件的触发属性、UI控件的呈现属性和UI控件的响应属性；
确定UI控件的触发属性对应的输入事件。
本发明实施例提供的第二终端的技术方案中，第二终端通过确定第一界面的UI控件的触发属性对应的输入事件，以确定第二终端当前支持的输入事件，不需要开发者识别启动和停止与UI控件匹配的输入事件的检测的时机，第二终端能够根据UI控件的触发属性对应的输入事件自动识别启动和停止与UI控件匹配的输入事件的检测的时机。
在一种可能的实现方式中，当处理器运行程序指令时，使第二终端执行以下步骤：
根据触发请求找到与输入事件对应的UI控件，触发UI控件之后，还包括：
检测到用户在目标应用中的业务操作时，调用UI框架加载目标应用的第二界面，第二界面包括UI控件，并确定UI控件的触发属性对应的输入事件；并继续执行调用系统服务获取输入设备输入的输入事件，并对输入设备输入的输入事件进行识别的步骤。
在一种可能的实现方式中，UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
在一种可能的实现方式中，输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
本发明实施例的目标应用中的UI控件支持多种输入事件。
在一种可能的实现方式中，呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
本发明实施例的目标应用中的UI控件支持多种呈现方式。
在一种可能的实现方式中，系统服务的识别功能包括语音识别、肢体识别、意图识别、情感识别、系统环境监测和传统输入识别的识别功能。
本发明实施例提供的UI控件生成、触发方法及终端的技术方案中，检测到UI控件模板被拖拽操作拖拽至布局文件编辑器，并且拖拽操作被释放；接收开发者对UI控件模板的控件编辑器输入的编辑操作后，设置UI控件的属性，根据UI控件的属性生成UI控件；UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。本发明实施例能够使得开发者方便的开发出支持多种输入事件和多种呈现方式的GUI应用。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为GUI应用的开发界面的一种示意图；
图2为GUI应用的开发界面的另一种示意图；
图3为本发明实施例提供的GUI应用的开发界面的示意图；
图4为本发明实施例提供的系统架构的结构示意图；
图5为本发明实施例提供的一种UI控件生成方法的流程图；
图6为图5中步骤104的具体流程图；
图7为图3中的开发界面的另一种示意图；
图8为图3中开发界面的又一种示意图；
图9为本发明实施例提供的一种UI控件触发方法的流程图；
图10为APP1的登录界面的示意图；
图11为图8中步骤202的具体流程图；
图12为第二终端加载第一界面的流程图；
图13为本发明实施例提供的一种第一终端的结构示意图；
图14为本发明实施例提供的一种第二终端的结构示意图；
图15为本发明实施例提供的一种电子设备的结构示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为GUI应用的开发界面的一种示意图，图2为GUI应用的开发界面的另一种示意图。
当开发者启动用于开发GUI应用的开发软件后，开发软件的开发界面被打开，如图1所示，开发界面包括UI控件模板集合和布局文件编辑器。UI控件模板集合包括按钮控件模板、列表控件模板和滑动条控件模板等UI控件模板。开发者选择需要的UI控件模板，比如按钮控件模板，将选择的UI控件模板拖拽至布局文件编辑器中的任一位置。然后，开发者可以通过双击或鼠标右键点击UI控件模板使得开发界面中弹出控件编辑器，如图2所示。控件编辑器包括点击处理函数和悬停处理函数等处理函数。点击处理函数用于编辑用户对按钮控件进行点击操作时GUI应用执行操作对应的代码；悬停处理函数用于编辑用户对按钮控件进行悬停操作时GUI应用执行操作对应的代码。其中，悬停操作包括用户通过移动鼠标使光标停留在按钮控件上。开发者根据需要选择处理函数编写对应的代码。具体地，开发者通过双击控件编辑器中的处理函数，比如点击处理函数，使得开发界面中弹出用于编写选择的处理函数对应的代码的编写代码界面；或者在开发界面之外弹出用于编写选择的处理函数对应的代码的编写代码界面，开发者在代码界面中编写选择的处理函数对应的代码。其中，处理函数对应的代码包括UI控件的业务逻辑代码和与UI控件的呈现方式对应的输出代码。其中，业务逻辑代码包括UI控件被触发时与终端执行的业务操作对应的代码。例如，“华为音乐”APP中的“登录”按钮控件关联的业务逻辑代码可以包括登录华为音乐服务器的代码，因此当“华为音乐”APP中的“登录”按钮控件被触发时，终端执行的业务操作包括登录华为音乐服务器。
开发者通过上述操作开发出的GUI应用，由于开发者只是编写了GUI应用中UI控件的处理函数对应的代码，且处理函数仅包括点击处理函数和悬停处理函数等传统的处理函数。因此用户在使用GUI应用时，一方面，GUI应用中的UI控件只支持用户通过鼠标、触摸屏或者键盘输入的传统输入事件的触发，不支持用户通过其它输入设备输入的语音、肢体、情感、唇语、手语或者肌电信号等现代输入事件的触发，同时一个UI控件不能同时多种输入事件的触发；另一方面，GUI应用中的UI控件的呈现方式在触发前、触发中、触发后仅包括图形。因此，通过上述方法开发出的GUI应用中的UI控件支持的输入事件和呈现方式单一，不支持多种输入事件和多种呈现方式。
用户在使用通过上述方法开发出的GUI应用过程中，当终端接收到用户对GUI应用的启动操作时，终端启动该GUI应用，并通过调用UI框架加载GUI应用界面的页面布局文件和UI控件打开GUI应用的界面。例如，终端的屏幕上显示GUI应用界面，当用户点击屏幕上显示按钮控件的位置时，终端的输入服务接收该点击事件并将该点击事件发送给UI框架，UI框架根据该点击事件的坐标信息找到该按钮控件并执行该按钮控件的处理函数对应的代码。
针对上述方法中GUI应用的UI控件支持的输入事件和呈现方式单一，不支持多种输入事件和多种呈现方式的技术问题，开发者可以结合SDK，SDK能够提供对语音和手势的识别能力。开发者通过编写代码集成SDK，应用SDK提供的API扩展GUI应用的程序，使得GUI应用的UI控件支持多种输入事件和多种呈现方式。
与上述方法相比，不同之处在于，由于结合了SDK，开发者在编写代码界面除了要编写UI控件的业务逻辑代码和与UI控件的呈现方式对应的输出代码，还要编写终端与SDK中API适配的适配代码，以及启动和停止SDK中API检测与UI控件匹配的输入事件的调用代码。例如：当UI控件可见时启动SDK中API检测与UI控件匹配的输入事件，当UI控件不可见时停止SDK中API检测与UI控件匹配的输入事件。
用户在使用通过上述结合SDK的方法开发出的GUI应用过程中，在一种可能的实现方式中，当终端接收到用户对GUI应用的启动操作时，终端启动该GUI应用并通过调用UI框架加载GUI应用界面的页面布局文件和UI控件打开GUI应用的界面。例如，终端的屏幕上显示GUI应用界面为登录界面，该登录界面包括“登录”按钮控件，此时终端可以检测自身处于非省电模式且终端开启了对该GUI应用的语音权限，因此终端上的SDK可以通过调用启动SDK中API检测语音“登录”的调用代码以启动检测语音“登录”。当SDK的API检测到用户说了“登录”后，SDK通过调用开发者编写的代码找到对应的“登录”按钮控件，然后SDK调用与“登录”按钮控件的呈现方式对应的输入代码以模拟点击“登录”按钮控件的效果，最后SDK调用“登录”按钮控件的业务逻辑代码执行登录的业务。此外，当终端的屏幕上显示GUI应用界面的UI控件的触发属性中不包括语音事件，或者终端处于省电模式，或者终端关闭了对该GUI应用的语音权限时，终端上的SDK可以不启动SDK中API检测语音事件的调用代码以启动检测语音事件。
上述结合SDK的方法虽然可以使得GUI应用的UI控件支持多种输入事件和多种呈现方式，但是存在如下技术问题：
开发者需要为GUI应用的所有UI控件编写用于启动和停止与UI控件匹配的输入事件的检测的代码以及终端与SDK中API适配的适配代码，工作量大；开发者需要识别启动和停止与UI控件匹配的输入事件的检测的时机，技术难度很高；SDK以代码方式使用，需要开发者理解API含义及约束，并且了解各种输入方式的技术概念，技术门槛较高；GUI应用开发完毕后，无法使用新的输入事件触发GUI应用的UI控件，比如开发者集成了语音的API，使UI控件支持语音的输入事件，即使后续SDK提供了唇语、手语的输入事件，唇语和手语的输入事件也无法触发GUI应用的UI控件；GUI应用的UI控件的呈现方式单一，不支持语音、震动和灯光等呈现方式。
图3为本发明实施例提供的GUI应用的一种开发界面的示意图。应用本发明实施例提供的IDE和UI框架开发GUI应用与上述两种方法的不同之处在于，开发者通过双击鼠标右键点击被拖拽至布局文件编辑器中的UI控件模板，使得开发界面中弹出控件编辑器，弹出的控件编辑器，如图3所示。控件编辑器包括呈现属性编辑单元、触发属性编辑单元和响应属性编辑单元。例如，被拖拽至布局文件编辑器中的UI控件模板包括按钮控件模板，开发者通过控件编辑器对该按钮控件模板进行编辑生成能够执行“登录”功能的按钮控件；具体地，如图3所示，开发者在呈现属性编辑单元中设置“登录”按钮控件的呈现方式包括文字“登录”和声音“请登录”，以使用户在打开GUI应用的登录界面时，能够看到显示“登录”文字的按钮控件的图形，同时能够听到“请登录”的声音提示；开发者在触发属性编辑单元中设置“登录”按钮控件的输入事件包括语音“登录”、语音“Login”和触屏动作“按压”，以使用户在GUI应用的登录界面通过麦克风输入“登录”或者“Login”的语音时能够触发该“登录”按钮控件，或者通过手指在触摸屏上按压显示“登录”文字的按钮控件的图形时能够触发该“登录”按钮控件；开发者在响应属性编辑单元中设置“登录”按钮控件被触发后的响应动作包括声音“叮”和执行业务逻辑代码，以使“登录”按钮控件被触发后，GUI应用执行“登录”按钮控件的业务逻辑代码并使用户听到“叮”的声音。
综上，开发者应用本发明实施例提供的IDE和UI框架能够方便的开发出支持多种输入事件和多种呈现方式的GUI应用的原因在于：开发者只需将UI控件模板拖拽至布局文件编辑器，在UI控件模板的控件编辑器中选择UI控件的属性进行编辑，并编写UI控件被触发时终端执行的业务逻辑代码即可；开发者不需要额外编写与UI控件的呈现方式对应的输出代码，也不需要编写用于启动和停止与UI控件匹配的输入事件的检测的代码以及终端与SDK中API适配的适配代码。因此，本发明实施例减小了开发者开发GUI应用的工作量，并降低了开发者的技术难度，使得开发者能够方便的开发出支持多种输入事件和多种呈现方式的GUI应用。
如图4所示，本发明实施例提供了一种系统架构100。在图4中，系统架构100包括集成开发环境(Integrated Development Environment，IDE)110、UI框架120、系统服务130和输入设备140。基于本发明实施例提供的系统架构100中的IDE110和UI框架120，开发者能够方便的开发出支持多种输入方式和多种呈现方式的GUI应用。当支持多种输入方式和多种呈现方式的GUI应用开发完成后，基于本发明实施例提供的系统架构100中的UI框架120、系统服务130和输入设备140，用户能够使用该GUI应用。
IDE110用于可视化地编辑GUI应用界面以及GUI应用界面中的UI控件，并生成GUI应用界面的页面布局文件。页面布局用于指代对页面上的数据的组织，页面布局文件是一个存储页面布局的文档文件，页面布局文件可以包含文本和图像数据，以及有关如何格式化该文本和图像数据的格式化信息。格式化信息可以包括页面大小、页边距、内容组织、对象填充、网格和模板等。本发明实施例中，UI控件可以包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
IDE110包括布局文件编辑器111和控件编辑器112。布局文件编辑器111用于可视化地编辑GUI应用界面并生成GUI应用界面的页面布局文件；控件编辑器112用于编辑UI控件的属性。具体地，控件编辑器112包括触发属性编辑单元、呈现属性编辑单元和响应属性编辑单元。其中，触发属性编辑单元用于编辑UI控件的触发属性；呈现属性编辑单元用于编辑UI控件的呈现属性；响应属性编辑单元用于编辑UI控件被触发后的响应动作。需要说明的是，UI控件的触发属性包括UI控件支持的多种输入事件；UI控件的呈现属性包括UI控件支持的多种呈现方式；UI控件的响应属性包括UI控件被触发后的多种响应动作。
UI框架120包括UI控件模板集合121、UI加载器122、输入事件集合123、多模触发属性订阅者124、多模行为触发器125、呈现组件集合126和响应动作集合127。
具体地，UI控件模板集合121用于向IDE提供UI控件模板，以使IDE根据UI控件模板创建UI控件。UI控件模板集合121包括滑动条控件模板、选择控件模板、按钮控件模板、列表控件模板和输入控件模板等UI控件模板。UI加载器122用于加载GUI应用界面的页面布局文件、UI控件、UI控件的触发属性、呈现属性和响应属性。
UI加载器122包括布局文件加载器、UI控件加载器、触发属性加载器、呈现属性加载器和响应属性加载器。其中，布局文件加载器用于加载GUI应用界面的页面布局文件；UI控件加载器用于加载GUI应用界面中的UI控件；触发属性加载器用于加载UI控件的触发属性；呈现属性加载器用于加载UI控件的呈现属性；响应属性加载器用于加载UI控件的响应属性。
输入事件集合123用于为IDE110的控件编辑器112中的触发属性编辑单元提供UI控件的触发属性。例如，输入事件集合123包括语音、图像和鼠标等输入事件，输入事件集合123就能够为触发属性编辑单元提供UI控件的触发属性，如语音事件、图像事件和鼠标事件等。
呈现组件集合126用于为IDE110的控件编辑器112中的呈现属性编辑单元提供UI控件的呈现属性。例如，呈现组件集合126包括文字、图形、声音、视频和灯光等呈现方式，呈现组件集合126就能够为呈现属性编辑单元提供UI控件的呈现属性，如文字、图形、声音、视频和灯光等呈现方式。
响应动作集合127用于为IDE110的控件编辑器112中的响应属性编辑单元提供UI控件的响应属性。例如，响应动作集合127包括声音、灯光和执行业务逻辑代码等响应动作，响应动作集合127就能够为响应属性编辑单元提供UI控件的响应属性，如声音、灯光和执行业务逻辑代码等响应动作。
多模触发属性订阅者124用于根据GUI应用界面中开发者设计的UI控件，识别UI控件与触发属性对应的输入事件，将识别出的与触发属性对应的输入事件发送至系统服务130。多模行为触发器125用于接收系统服务130上报的与输入事件对应的触发请求，并根据触发请求携带的输入事件触发与输入事件对应的UI控件。需要说明的是，开发者预先在UI框架中设置了UI控件的控件标识，并在UI控件的控件标识与UI控件触发属性的输入事件之间设置了对应关系，因此UI框架的多模行为触发器能够根据输入事件找到与输入事件对应的UI控件。
系统服务130包括识别激活131、识别上报132和事件分发133。
具体地，系统服务130中的事件分发133接收多模触发属性订阅者124发送的与触发属性对应的输入事件，一方面由事件分发133将多模触发属性订阅者124发送的与触发属性对应的输入事件进行存储，用于后续对输入事件进行校验；另一方面事件分发133将多模触发属性订阅者124发送的与触发属性对应的输入事件发送给识别激活131识别激活131可根据事件分发133发送的与触发属性对应的输入事件开启与输入事件匹配的输入设备。例如，“登录”按钮控件的输入事件包括语音“登录”，多模触发属性订阅者124将语音“登录”的输入事件发送至事件分发133进行存储，然后由事件分发133将输入事件发送至识别激活131，识别激活131启动麦克风以采集语音事件。识别上报132用于接收并识别输入设备140输入的输入事件，当识别出输入设备140输入的输入事件与多模触发属性订阅者124发送的输入事件相匹配时，将与该输入事件对应的触发请求发送至事件分发133，事件分发133对触发请求携带的输入事件进行校验，当事件分发133校验出触发请求携带的输入事件与多模触发属性订阅者124发送的与触发属性对应的输入事件相匹配时，事件分发133将该触发请求发送至多模行为触发器125；否则，事件分发133不将该触发请求发送至多模行为触发器125。例如，识别上报132接收麦克风输入的语音事件，并识别出语音“登录”后，识别上报132将与该语音“登录”对应的触发请求发送至事件分发133，事件分发133对触发请求携带的语音“登录”进行校验，当事件分发133校验出触发请求携带的语音“登录”与多模触发属性订阅者124发送的语音“登录”相匹配时，事件分发133将与该语音“登录”对应的触发请求发送至多模行为触发器125。
需要说明的是，事件分发133也可以设置在UI框架中，此时系统服务130中只需要设置识别激活131和识别上报132即可。例如，“登录”按钮控件的输入事件包括语音“登录”，多模触发属性订阅者124将语音“登录”的输入事件发送至UI框架的事件分发中；事件分发一方面将多模触发属性订阅者124发送的语音“登录”的输入事件进行存储；一方面将多模触发属性订阅者124发送的语音“登录”的输入事件发送至识别激活131，识别激活131根据事件分发发送的语音“登录”的输入事件启动麦克风以采集语音事件；识别上报132接收麦克风输入的语音事件，并识别出语音“登录”后，识别上报132将与该语音“登录”对应的触发请求发送至UI框架的事件分发，事件分发对触发请求携带的语音“登录”进行校验，当事件分发校验出触发请求携带的语音“登录”与多模触发属性订阅者124发送的语音“登录”相匹配时，事件分发将与该语音“登录”对应的触发请求发送至多模行为触发器125。
其中，系统服务130的识别功能用于识别输入设备140输入的输入事件，系统服务130的识别功能具体包括语音识别、肢体识别、意图识别、情感识别、系统环境监测和传统输入识别。其中，传统输入识别包括对鼠标事件、键盘事件和触摸屏事件的识别。
输入设备140，用于采集输入事件并将输入事件发送至系统服务130。输入设备140包括麦克风、摄像头、触摸屏、鼠标、键盘、传感器和远程输入设备中的至少一个，从而输入设备140采集的输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。例如，图像事件可包括肢体、情感、唇语或者手语；传感器事件可包括肌电信号。
例如，事件分发133向识别激活131发送的输入事件包括二维码，识别激活131就启动摄像头采集输入事件，当识别上报132识别出摄像头采集的输入事件与二维码匹配时，将与该二维码对应的触发请求发送至事件分发133，事件分发133对触发请求携带的二维码校验通过后，将该触发请求发送至多模行为触发器125。
本发明实施例提供的系统架构100，通过在UI框架增加多模触发属性订阅者124，使得系统服务130识别输入设备140发送的与多模触发属性订阅者124发送的输入事件匹配的输入事件，不需要开发者识别启动和停止与UI控件匹配的输入事件的检测的时机，例如：当检测到用户对GUI应用的启动操作时，终端调用UI框架的UI加载器加载GUI应用的界面，当UI框架的多模触发属性订阅者124确定GUI应用的界面中所有UI控件的触发属性对应的输入事件后，多模触发属性订阅者124向系统服务130的事件分发133发送与触发属性对应的输入事件；其中，与触发属性对应的输入事件包括语音“登录”；事件分发133一方面存储与触发属性对应的语音“登录”，用于后续对输入事件进行校验；一方面向识别激活131发送与触发属性对应的语音“登录”；识别激活131根据事件分发133发送的语音“登录”的输入事件开启麦克风，识别上报132接收麦克风输入的语音事件，识别语音事件是不是“登录”；当识别上报132识别到语音“登录”时，关闭麦克风，并将语音“登录”的触发请求发送至事件分发133，当事件分发133对触发请求携带的语音“登录”校验通过后，将该触发请求发送至多模行为触发器125；也不需要开发者额外编写用于启动和停止与UI控件匹配的输入事件的检测的代码以及终端与SDK中API适配的适配代码，减小了开发者开发GUI应用的工作量，并降低了开发者的技术难度；本发明实施例中，无需开发者结合SDK就能开发出使得UI控件支持多种输入事件和多种呈现方式的GUI应用，因此开发者不需要理解API含义及约束，并且了解各种输入方式的技术概念，降低了技术门槛；本发明实施例中，GUI应用开发完毕后，能够使用新的输入事件触发GUI应用的UI控件，不需要GUI应用进行更新或者适配；本发明实施例中，GUI应用的UI控件支持多种呈现方式。
综上所述，相比于上述相关技术一和相关技术二，本发明实施例提供的系统架构100能够使得开发者方便的开发出支持多种输入方式和多种呈现方式的GUI应用。
基于图4中系统架构100中的IDE100和UI框架120，本发明实施例提供一种UI控件生成方法。图5为本发明实施例提供的一种UI控件生成方法的流程图，该方法应用于第一终端，第一终端包括IDE100和UI框架120，IDE100包括布局文件编辑器111和控件编辑器112，UI框架120包括UI控件模板。例如，第一终端包括手机、电脑、平板或者可穿戴设备等。如图5所示，该方法包括：
步骤102、检测到UI控件模板被拖拽操作拖拽至布局文件编辑器，并且拖拽操作被释放。
可选地，UI控件模板包括滑动条控件模板、选择控件模板、按钮控件模板、列表控件模板和输入控件模板中的至少一个。
示例性的，如图3所示，开发者将UI控件模板集合中的“按钮”控件模板拖到布局文件编辑器中。
步骤104、接收开发者对UI控件模板的控件编辑器输入的编辑操作后，设置UI控件的属性，根据UI控件的属性生成UI控件。
可选地，UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
可选地，控件编辑器包括触发属性编辑单元、呈现属性编辑单元和响应属性编辑单元。
本发明实施例中，UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。
可选地，输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
可选地，图像事件包括肢体、情感、唇语或者手语中的至少一个。
可选地，传感器事件包括肌电信号。
可选地，呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
本发明实施例中，如图6所示，步骤104具体包括：
步骤1042、接收开发者对呈现属性编辑单元输入的编辑操作后，设置UI控件的呈现属性。
具体的，开发者可通过双击或单击鼠标右键点击图7中布局文件编辑器内的“按钮”控件模板，使得开发界面中弹出控件编辑器，如图7所示，控件编辑器包括呈现属性编辑单元、触发属性编辑单元和响应属性编辑单元。开发者在呈现属性编辑单元中的“请选择”下拉控件1中选择“文字”类型的呈现方式后，显示“请选择”下拉控件1的位置处变为显示文本“文字”，并且文本“文字”右侧出现一个“请输入”输入控件2，如图8所示，开发者可以在该“请输入”输入控件2中输入文字，例如开发者在“请输入”输入控件2中输入“登录”，显示“请输入”输入控件2的位置处变为显示文本“登录”；然后开发者可以通过点击在显示文本“呈现属性编辑单元”位置右侧的添加按钮3对“登录”按钮控件的呈现属性进行添加，此时呈现属性编辑单元又出现一个“请选择”下拉控件4，开发者在“请选择”下拉控件4中选择“声音”类型的呈现方式后，显示“请选择”下拉控件4的位置处变为显示文本“声音”，并且文本“声音”右侧出现一个“请输入”输入控件，开发者可以在该“请输入”输入控件中输入文字，例如开发者在“请输入”输入控件中输入“请登录”，显示“请输入”输入控件的位置处变为显示文本“请登录”。第一终端通过接收开发者上述对呈现属性编辑单元输入的编辑操作后，设置“登录”按钮控件的呈现属性，以使第一终端的IDE根据该编辑操作设置“登录”按钮控件的呈现属性包括文字“登录”和声音“请登录”的呈现方式。
步骤1044、接收开发者对触发属性编辑单元输入的编辑操作后，设置UI控件的触发属性。
具体的，如图7所示，开发者在触发属性编辑单元中的“请选择”下拉控件5中选择“语音”类型的输入事件后，显示“请选择”下拉控件5的位置处变为显示文本“语音”，并且文本“语音”右侧出现一个“请输入”输入控件，开发者可以在该“请输入”输入控件中输入文字，例如开发者在“请输入”输入控件中输入“登录”，显示“请输入”输入控件的位置处变为显示文本“登录”；然后开发者可以通过点击在显示文本“触发属性编辑单元”位置右侧的添加按钮6对“登录”按钮控件的触发属性进行添加，此时呈现属性编辑单元又出现一个“请选择”下拉控件，开发者在“请选择”下拉控件中选择“声音”类型的输入事件后，显示“请选择”下拉控件的位置处变为显示文本“声音”，并且文本“声音”右侧出现一个“请输入”输入控件，开发者可以在该“请输入”输入控件中输入文字，例如开发者在“请输入”输入控件中输入“Login”，显示“请输入”输入控件的位置处变为显示文本“Login”；然后开发者通过点击在显示文本“触发属性编辑单元”位置右侧的添加按钮6对“登录”按钮控件的触发属性再次进行添加，此时呈现属性编辑单元又出现一个“请选择”下拉控件，开发者在“请选择”下拉控件中选择“触屏动作”类型的输入事件后，显示“请选择”下拉控件的位置处变为显示文本“触屏动作”，并且文本“触屏动作”右侧出现一个“请输入”输入控件，开发者可以在该“请输入”输入控件中输入文字，例如开发者在“请输入”输入控件中输入“按压”，显示“请输入”输入控件的位置处变为显示文本“按压”。第一终端通过接收开发者上述对触发属性编辑单元输入的编辑操作后，设置“登录”按钮控件的触发属性，，以使第一终端的IDE根据该编辑操作设置“登录”按钮控件的触发属性包括语音“登录”、语音“Login”和触屏动作“按压”的输入事件。
步骤1046、接收开发者对响应属性编辑单元输入的编辑操作后，设置UI控件的响应属性。
具体的，如图7所示，响应属性编辑单元默认UI控件的响应动作包括执行业务逻辑代码，开发者可以通过点击显示“执行业务逻辑代码”位置处使得开发界面弹出编辑代码界面，开发者在编辑代码界面中编写UI控件的业务逻辑代码。另外，开发者可以通过点击在显示文本“响应属性编辑单元”位置右侧的添加按钮对“登录”按钮控件的响应属性进行添加，此时响应属性编辑单元出现一个“请选择”下拉控件，开发者在“请选择”下拉控件中选择“声音”类型的响应动作后，显示“请选择”下拉控件的位置处变为显示文本“声音”，并且文本“声音”右侧出现一个“请输入”输入控件，开发者可以在该“请输入”输入控件中输入文字，例如开发者在“请输入”输入控件中输入“叮”，显示“请输入”输入控件的位置处变为显示文本“叮”。第一终端通过接收开发者上述对响应属性编辑单元输入的编辑操作后，设置“登录”按钮控件的响应属性，，以使第一终端的IDE根据该编辑操作设置“登录”按钮控件的响应属性包括声音“叮”和执行业务逻辑代码的响应动作。
步骤1048、根据UI控件的呈现属性、触发属性和响应属性生成UI控件。
具体地，第一终端的IDE根据UI控件的呈现属性、触发属性和响应属性生成UI控件。如图3所示，IDE根据开发者对按钮控件模板的控件编辑器中编辑的呈现属性、触发属性和响应属性生成“登录”按钮控件。需要说明的是，开发者在控件编辑器中编辑完UI控件的呈现属性、触发属性和响应属性后，IDE已经自动保存了UI控件的呈现属性、触发属性和响应属性，当开发者点击控件编辑器中的“退出”按钮12时，IDE根据保存的UI控件的呈现属性、触发属性和响应属性生成UI控件。
本发明实施例中对步骤1022、步骤1024和步骤1046的执行顺序不做限定。
本发明实施例提供的UI控件生成方法的技术方案中，检测到UI控件模板被拖拽操作拖拽至布局文件编辑器，并且拖拽操作被释放；接收开发者对UI控件模板的控件编辑器输入的编辑操作后，设置UI控件的属性，根据UI控件的属性生成UI控件；UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。本发明实施例能够使得开发者方便的开发出支持多种输入事件和多种呈现方式的GUI应用。
基于图4中系统架构100中的UI框架120、系统服务130，本发明实施例提供一种UI控件触发方法。图9为本发明实施例提供的一种UI控件触发方法的流程图，应用于第二终端，第二终端包括目标应用、UI框架120、系统服务130。例如，第二终端包括手机、电脑、平板或者可穿戴设备等。如图9所示，该方法包括：
步骤202、检测到用户对目标应用的启动操作时，调用UI框架加载目标应用的第一界面，第一界面包括UI控件，并确定UI控件的触发属性对应的输入事件。
本发明实施例中，目标应用包括GUI应用。
本发明实施例中，第一界面一般包括目标应用的首页界面或者登陆界面。
可选地，UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
本发明实施例中，UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。
可选地，输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
可选地，图像事件包括肢体、情感、唇语或者手语中的至少一个。
可选地，传感器事件包括肌电信号。
可选地，呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
本发明实施例中，UI框架包括UI控件模板集合、UI加载器、输入事件集合、多模触发属性订阅者、多模行为触发器、呈现组件集合和响应动作集合。
具体地，第二终端检测到用户对目标应用的启动操作时，第二终端调用UI框架的UI加载器加载目标应用的第一界面，第一界面包括UI控件，第二终端调用UI框架的多模触发属性订阅者确定UI控件的触发属性对应的输入事件，并将确定的UI控件的触发属性对应的输入事件发送至系统服务。
例如，目标应用包括APP1，当第二终端检测到APP1被启动时，调用UI框架的UI加载器加载APP1的登录界面，如图10所示，登录界面包括“手机号”输入控件9、“密码”输入控件10和“登录”按钮控件11。其中，“手机号”输入控件9的触发属性对应的输入事件包括键盘输入手机号；“密码”输入控件10的触发属性对应的输入事件包括键盘输入密码；“登录”按钮控件11触发属性对应的输入事件包括语音“登录”、语音“Login”和触屏动作“按压”。第二终端调用UI框架的多模触发属性订阅者确定“手机号”输入控件9、“密码”输入控件10和“登录”按钮控件11的触发属性对应的输入事件，并将确定的“手机号”输入控件9、“密码”输入控件10和“登录”按钮控件11的触发属性对应的输入事件发送至系统服务。
本发明实施例中，如图11所示，步骤202具体包括：
步骤2022、检测到用户对目标应用的启动操作时，调用UI框架的UI加载器加载第一界面的页面布局文件、UI控件、UI控件的触发属性、UI控件的呈现属性和UI控件的响应属性。
可选地，UI加载器包括布局文件加载器、UI控件加载器、触发属性加载器、呈现属性加载器和响应属性加载器。
具体地，图12为第二终端加载第一界面的流程图，如图12所示，第二终端检测到用户对目标应用的启动操作时，调用布局文件加载器将第一界面的页面布局文件转为对应的程序指令；调用UI控件加载器将页面布局文件中的UI控件的描述信息转换为UI控件的程序指令；调用呈现属性加载器加载UI控件的呈现属性的数据并将呈现属性的数据转换为对应的呈现方式的程序指令，比如将“登录”按钮控件的呈现属性的文字“登录”转换为对显示文本“登录”的程序指令的调用；调用触发属性加载器加载UI控件的触发属性的数据并将触发属性的数据转换为对应的输入事件的程序指令，比如触发属性加载器将触发属性语音“登录”转换为语音识别对象，该语音识别对象用于激活系统服务对语音“登录”的识别；调用响应属性加载器加载UI控件的响应属性的数据并将响应属性的数据转换为对应的响应动作的程序指令。
步骤2024、确定UI控件的触发属性对应的输入事件。
本发明实施例中，第二终端调用UI框架的多模触发属性订阅者确定第一界面中所有UI控件的触发属性对应的输入事件，然后将确定的输入事件发送至系统服务，以激活系统服务对与多模触发属性订阅者发送的输入事件匹配的输入事件的识别。
例如，“登录”按钮控件的触发属性对应的输入事件包括语音“登录”、语音“Login”和触屏动作“按压”；多模触发属性订阅者根据“登录”按钮控件，识别“登录”按钮控件的与触发属性对应的输入事件包括语音“登录”、语音“Login”和触屏动作“按压”，将识别出的语音“登录”、语音“Login”和触屏动作“按压”的输入事件发送给系统服务。
本发明实施例中，第二终端在确定UI控件的触发属性对应的输入事件之后，第二终端还要调用系统服务存储UI控件的触发属性对应的输入事件。
可选地，系统服务包括识别激活、识别上报和事件分发。
具体地，事件分发接收并存储多模触发属性订阅者发送的与触发属性对应的输入事件，然后将与触发属性对应的输入事件发送至识别激活。
步骤204、调用系统服务获取输入设备输入的输入事件，并对输入设备输入的输入事件进行识别；当识别出输入设备输入的输入事件与触发属性对应的输入事件相匹配时，生成与输入事件对应的触发请求。
本发明实施例中，当第二终端识别出输入设备输入的输入事件与触发属性对应的输入事件相匹配时，生成与输入事件对应的触发请求之后，第二终端还要对输入设备输入的输入事件进行校验，在校验通过的情况下，根据触发请求携带的输入事件找到与输入事件对应的UI控件，触发UI控件。其中，对输入设备输入的输入事件进行校验，包括：将触发请求携带的输入事件与存储的UI控件的触发属性对应的输入事件进行对比；校验通过为：触发请求携带的输入事件与存储的UI控件的触发属性对应的输入事件为相同的输入事件。
具体地，识别激活根据事件分发发送的与触发属性对应的输入事件开启与输入事件对应的输入设备；识别上报接收并识别输入设备输入的输入事件，当识别上报识别出输入设备输入的输入事件与触发属性对应的输入事件相同时，将与该输入事件对应的触发请求发送至事件分发，事件分发对触发请求携带的输入事件进行校验，当事件分发对触发请求携带的输入事件校验通过时，将触发请求发送至多模行为触发器。
例如：识别激活根据事件分发发送的语音“登录”、语音“Login”和触屏动作“按压”的输入事件开启麦克风和触摸屏；识别上报接收麦克风输入的语音事件和触摸屏输入的触摸屏事件，识别语音事件是否包括“登录”或者“Login”，同时识别触摸屏事件是否包括对触摸屏上显示“登录”按钮控件的位置的“按压”操作；若识别上报识别出语音“登录”，将与语音“登录”对应的触发请求发送至事件分发，事件分发对触发请求携带的语音“登录”进行校验，当事件分发对触发请求携带的语音“登录”校验通过时，将触发请求发送至多模行为触发器。
例如，第二终端正在显示APP1的登录界面，用户在“手机号”输入控件和“密码”输入控件中输入手机号和密码后，麦克风检测到用户说了“登录”，麦克风将语音“登录”发送至系统服务，系统服务的识别上报接收该语音“登录”并识别出该语音“登录”的输入事件与多模触发属性订阅者发送的语音“登录”的输入事件相同，识别上报生成与该语音“登录”的输入事件对应的触发请求，并将触发请求发送至事件分发，事件分发对触发请求携带的语音“登录”进行校验，当触发请求携带的语音“登录”与事件分发中存储UI控件的触发属性对应的输入事件为相同的输入事件，则事件分发对触发请求携带的语音“登录”校验通过，将触发请求发送至多模行为触发器。
可选地，系统服务的识别功能包括语音识别、肢体识别、意图识别、情感识别、系统环境监测和传统输入识别的识别功能。例如，系统环境监测功能监测到当前环境的噪音比较大，表明系统服务对语音识别的准确率较低，此时可以降低系统服务中语音识别的优先级。其中，传统输入识别可包括键盘输入识别、鼠标输入识别和触摸屏输入识别等。步骤206、根据触发请求携带的输入事件找到与输入事件对应的UI控件，触发UI控件。
本发明实施例中，步骤206具体包括：根据所述触发请求携带的所述输入事件，以及预先设置的所述输入事件和所述UI控件的控件标识之间的对应关系，找到与所述输入事件对应的所述控件标识，并根据所述控件标识找到与所述控件标识对应的所述UI控件，触发所述UI控件。
本发明实施例中，多模行为触发器接收到与输入事件对应的触发请求后，根据触发请求携带的输入事件找到与该输入事件匹配的UI控件的控件标识，根据该控件标识找到与控件标识匹配的UI控件，触发该UI控件。需要说明的是，开发者预先在UI框架中设置了UI控件的控件标识，并在UI控件的控件标识与UI控件触发属性的输入事件之间设置了对应关系，因此UI框架的多模行为触发器能够根据输入事件找到与输入事件对应的UI控件。
需要说明的是，当输入设备包括鼠标或者触摸屏时，输入设备向系统服务发送的输入事件还包括位置信息，以使多模行为触发器根据位置信息找到与输入事件对应的UI控件。例如，触摸屏接收用户在触摸屏上显示“登录”按钮控件位置处的按压操作后，触摸屏先获取该按压操作的位置信息，再将该按压操作对应的触摸屏事件发送至系统服务，该触摸屏事件包括该按压操作的位置信息；系统服务的识别上报识别出触摸屏发送的触摸屏事件与多模触发属性订阅者发送的与触发属性对应的输入事件相匹配时，将该触摸屏事件的触发请求发送至事件分发，事件分发对触发请求中携带的触摸屏事件进行校验，当事件分发对触摸屏事件校验通过时，将该触摸屏事件的触发请求发送至多模行为触发器；由于触发请求携带的触摸屏事件包括位置信息，多模行为触发器根据该位置信息找到与该位置信息匹配的“登录”按钮控件的控件标识，再根据该控件标识找到与控件标识匹配的“登录”按钮控件，触发该“登录”按钮控件。
本发明实施例中，多模行为触发器触发UI控件后通知响应动作集合，响应动作集合根据UI控件的响应属性执行对应的响应动作。例如，“登录”按钮控件的响应属性包括声音“叮”和执行业务逻辑代码的响应动作，当“登录”按钮控件被多模行为触发器触发后，响应动作集合使得第二终端发出“叮”的声音同时执行业务逻辑代码。
进一步地，步骤206之后，该方法还包括：
步骤208、检测到用户在目标应用中的业务操作时，调用UI框架加载目标应用的第二界面，第二界面包括UI控件，并确定UI控件的触发属性对应的输入事件；并继续执行步骤204。
本发明实施例中，业务操作包括除启动操作之外的可以使目标应用发生界面跳转的其他操作。例如，业务操作包括登录操作、注册操作或者返回操作。需要说明的是，业务操作不包括退出操作，因为当第二终端检测到用户在目标应用中的退出操作时，第二终端就将目标应用关闭了。
本发明实施例中，第二界面和第一界面不同。需要说明的是，第二界面由用户在目标应用中的业务操作所决定。例如，若用户在注册界面通过点击“完成注册”按钮控件进行了完成注册的业务操作，由于“完成注册”按钮控件的业务逻辑代码中包括“完成注册”按钮控件被触发后会跳转到指定的界面，例如该指定的界面包括登录界面，此时第二界面就包括登录界面；若用户在登录界面通过点击“登录”按钮控件进行了登录的业务操作，由于“登录”按钮控件的业务逻辑代码中包括“登录”按钮控件被触发后会跳转到指定的界面，例如该指定的界面包括首页界面，此时第二界面就包括首页界面；若用户在登录界面通过键盘在“密码”输入控件中进行了输入密码的操作，由于“密码”输入控件的业务逻辑代码中不包括“密码”输入控件被触发后会跳转到指定的界面，则用户在输入密码的操作后，目标应用的界面不会发生跳转。
例如，当检测到用户在APP1的登录界面进行登录操作时，第二终端显示第二界面，第二界面包括APP1的首页界面。
具体地，第二终端调用UI框架的UI加载器加载目标应用的第二界面，第二界面包括UI控件，第二终端调用UI框架的多模触发属性订阅者确定第二界面中UI控件的触发属性对应的输入事件，并继续执行步骤204。
本发明实施例提供的UI控件触发方法的技术方案中，检测到用户对目标应用的启动操作时，调用UI框架加载目标应用的第一界面，第一界面包括UI控件，并确定UI控件的触发属性对应的多种输入事件；调用系统服务获取输入设备输入的输入事件，并对输入设备输入的输入事件进行识别；当识别出输入设备输入的输入事件与触发属性对应的输入事件相匹配时，生成与输入事件对应的触发请求；根据触发请求找到与输入事件对应的UI控件，触发UI控件；UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。本发明实施例的UI控件支持多种输入事件和多种呈现方式。
上文结合图5至图12，详细描述了本发明实施例提供的UI控件生成方法和UI控件触发方法，下面将结合图13至图15，详细描述本发明的装置实施例。应理解，本发明实施例中的电子设备可以执行前述本发明实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
图13是本发明实施例的第一终端200的示意性框图。应理解，第一终端200能够执行图5至图6的UI控件生成方法中的步骤，为了避免重复，此处不再详述。例如，第一终端包括手机、电脑、平板或者可穿戴设备等。如图13所示，第一终端200包括：第一检测单元201和处理单元202。
第一检测单元201，用于检测到UI控件模板被拖拽操作拖拽至布局文件编辑器，并且拖拽操作被释放；处理单元202，用于接收开发者对UI控件模板的控件编辑器输入的编辑操作后，设置UI控件的属性，根据UI控件的属性生成UI控件。
本发明实施例中，第一终端200包括：IDE和UI框架，IDE包括布局文件编辑器和控件编辑器，UI框架包括UI控件模板。
可选地，UI控件模板包括滑动条控件模板、选择控件模板、按钮控件模板、列表控件模板和输入控件模板中的至少一个。
可选地，UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
可选地，控件编辑器包括触发属性编辑单元、呈现属性编辑单元和响应属性编辑单元。
本发明实施例中，UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。
可选地，输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
可选地，图像事件包括肢体、情感、唇语或者手语中的至少一个。
可选地，传感器事件包括肌电信号。
可选地，呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
本发明实施例中，处理单元202具体包括：
第一设置子单元2021，用于接收开发者对呈现属性编辑单元输入的编辑操作后，设置UI控件的呈现属性。
第二设置子单元2022，用于接收开发者对触发属性编辑单元输入的编辑操作后，设置UI控件的触发属性。
第三设置子单元2023，用于接收开发者对响应属性编辑单元输入的编辑操作后，设置UI控件的响应属性。
生成子单元2024，用于根据UI控件的呈现属性、触发属性和响应属性生成UI控件。
本发明实施例提供的一种第一终端的技术方案中，检测到UI控件模板被拖拽操作拖拽至布局文件编辑器，并且拖拽操作被释放；接收开发者对UI控件模板的控件编辑器输入的编辑操作后，设置UI控件的属性，根据UI控件的属性生成UI控件；UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。本发明实施例能够使得开发者方便的开发出支持多种输入事件和多种呈现方式的GUI应用。
图14是本发明实施例的第二终端300的示意性框图。应理解，第二终端300能够执行图9至图12的UI控件触发方法中的步骤，为了避免重复，此处不再详述。例如，第二终端包括手机、电脑、平板或者可穿戴设备等。如图14所示，第二终端300包括：第二检测单元301、加载单元302、确定单元303、获取单元305、识别单元306和生成单元307、校验单元308。
第二检测单元301，用于检测到用户对目标应用的启动操作时；
加载单元302，用于调用UI框架加载目标应用的第一界面，第一界面包括UI控件；确定单元303，用于确定UI控件的触发属性对应的输入事件；
本发明实施例中，第二终端300还包括：存储单元304。
存储单元304，用于存储UI控件的触发属性对应的输入事件。
获取单元305，用于调用系统服务获取输入设备输入的输入事件；
识别单元306，用于对输入设备输入的输入事件进行识别；
生成单元307，用于当识别出输入设备输入的输入事件与触发属性对应的输入事件相匹配时，生成与输入事件对应的触发请求。
本发明实施例中，第二终端300还包括：校验单元308。
校验单元308，用于对触发请求携带的输入事件进行校验。
本发明实施例中，第二终端300包括目标应用、UI框架和系统服务。
本发明实施例中，目标应用包括GUI应用。
本发明实施例中，第一界面一般包括目标应用的首页界面或者登陆界面。
可选地，UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
本发明实施例中，UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。
可选地，输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
可选地，图像事件包括肢体、情感、唇语或者手语中的至少一个。
可选地，传感器事件包括肌电信号。
可选地，呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
本发明实施例中，加载单元302具体用于：检测到用户对目标应用的启动操作时，调用UI框架加载第一界面的页面布局文件、UI控件、UI控件的触发属性、UI控件的呈现属性和UI控件的响应属性。
可选地，系统服务的识别功能包括语音识别、肢体识别、意图识别、情感识别、系统环境监测和传统输入识别的识别功能。本发明实施例中，第二终端300还包括：触发单元309。
触发单元309，用于当校验单元308对触发请求携带的输入事件校验通过后，根据触发请求携带的输入事件找到与输入事件对应的UI控件，触发UI控件。
本发明实施例中，第二终端300还包括：第三检测单元310。
第三检测单元310，用于检测到用户在目标应用中的业务操作；加载单元302还用于调用UI框架加载目标应用的第二界面，第二界面包括UI控件；确定单元303还用于确定第二界面中UI控件的触发属性对应的输入事件；并继续执行存储UI控件的触发属性对应的输入事件，调用系统服务获取输入设备输入的输入事件，并对输入事件进行识别的操作。
本发明实施例中，业务操作包括除启动操作之外的其他操作。例如，业务操作包括登录操作、注册操作或者返回操作。
本发明实施例中，第二界面和第一界面不同。
本发明实施例提供的第二终端的技术方案中，检测到用户对目标应用的启动操作时，调用UI框架加载目标应用的第一界面，第一界面包括至少一个UI控件，并确定UI控件的触发属性对应的多种输入事件；调用系统服务获取输入设备输入的输入事件，并对输入设备输入的输入事件进行识别；当识别出输入设备输入的输入事件与触发属性对应的输入事件相匹配时，生成与输入事件对应的触发请求；根据触发请求找到与输入事件对应的UI控件，触发UI控件；UI控件的属性包括触发属性、呈现属性和响应属性；其中，触发属性包括UI控件支持的多种输入事件；呈现属性包括UI控件支持的多种呈现方式；响应属性包括UI控件被触发后的多种响应动作。本发明实施例的UI控件支持支多种输入事件和多种呈现方式。
应理解，上述第一终端200和第二终端300以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此，在本发明的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例提供一种电子设备，该电子设备可以是终端设备也可以是内置于所述终端设备的电路设备。该电子设备包括上述第一终端或第二终端，可以用于执行上述方法实施例中的功能/步骤。
如图15所示，电子设备900包括处理器910和收发器920。可选地，该电子设备900还可以包括存储器930。其中，处理器910、收发器920和存储器930之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器930用于存储计算机程序，该处理器910用于从该存储器930中调用并运行该计算机程序。
可选地，电子设备900还可以包括天线940，用于将收发器920输出的无线信号发送出去。
上述处理器910可以和存储器930可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时，该存储器930也可以集成在处理器910中，或者，独立于处理器910。
除此之外，为了使得电子设备900的功能更加完善，该电子设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个，所述音频电路还可以包括扬声器982、麦克风984等。其中，显示单元970可以包括显示屏。
可选地，上述电子设备900还可以包括电源950，用于给终端设备中的各种器件或电路提供电源。
应理解，图15所示的电子设备900能够实现图5至图12所示方法实施例的各个过程。电子设备900中的各个模块的操作和/或功能，分别为了实现上述方法实施例中的相应流程。具体可参见上述方法实施例中的描述，为避免重复，此处适当省略详细描述。
应理解，图15所示的电子设备900中的处理器910可以是片上系统(system on achip，SOC)，该处理器910中可以包括中央处理器(central processing unit，CPU)，还可以进一步包括其他类型的处理器，所述CPU可以叫主CPU。各部分处理器配合工作实现之前的方法流程，并且每部分处理器可以选择性执行一部分软件驱动程序。
总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器930中。
本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当该指令在终端设备上运行时，使得终端设备执行如上述图5至图6所示模UI控件生成方法和/或如上述图9至图12所示的UI控件触发方法中的各个步骤。
本发明实施例还提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机或任一至少一种处理器上运行时，使得计算机执行如上述图5至图6所示的UI控件生成方法和/或如上述图9至图12所示的UI控件触发方法中的各个步骤。
本发明实施例还提供一种芯片，包括处理器。该处理器用于读取并运行存储器中存储的计算机程序，以执行本发明提供的UI控件生成方法和/或UI控件触发方法执行的相应操作和/或流程。
可选地，该芯片还包括存储器，该存储器与该处理器通过电路或电线与存储器连接，处理器用于读取并执行该存储器中的计算机程序。进一步可选地，该芯片还包括通信接口，处理器与该通信接口连接。通信接口用于接收需要处理的数据和/或信息，处理器从该通信接口获取该数据和/或信息，并对该数据和/或信息进行处理。该通信接口可以是输入输出接口。
以上各实施例中，涉及的处理器910可以例如包括中央处理器(centralprocessing unit，CPU)、微处理器、微控制器或数字信号处理器，还可包括GPU、NPU和ISP，该处理器还可包括必要的硬件加速器或逻辑处理硬件电路，如特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器中。
存储器可以是只读存储器(read-only memory，ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory，RAM)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。

Claims (30)

1.一种UI控件生成方法，其特征在于，应用于第一终端，所述第一终端包括IDE和UI框架，IDE包括布局文件编辑器和控件编辑器，UI框架包括UI控件模板；所述方法包括：
检测到所述UI控件模板被拖拽操作拖拽至所述布局文件编辑器，并且所述拖拽操作被释放；
接收开发者对所述UI控件模板的所述控件编辑器输入的编辑操作后，设置所述UI控件的属性，根据所述UI控件的属性生成所述UI控件；所述UI控件的属性包括触发属性、呈现属性和响应属性，其中，所述触发属性包括所述UI控件支持的多种输入事件；所述呈现属性包括所述UI控件支持的多种呈现方式；所述响应属性包括所述UI控件被触发后的多种响应动作。
2.根据权利要求1所述的方法，其特征在于，所述控件编辑器包括触发属性编辑单元、呈现属性编辑单元和响应属性编辑单元；
所述接收开发者对所述UI控件模板的所述控件编辑器输入的编辑操作后，设置所述UI控件的属性，根据所述UI控件的属性生成所述UI控件，包括：
接收开发者对所述呈现属性编辑单元输入的编辑操作后，设置所述UI控件的所述呈现属性；
接收开发者对所述触发属性编辑单元输入的编辑操作后，设置所述UI控件的所述触发属性；
接收开发者对所述响应属性编辑单元输入的编辑操作后，设置所述UI控件的所述响应属性；
根据所述UI控件的所述呈现属性、所述触发属性和所述响应属性生成所述UI控件。
3.根据权利要求1所述的方法，其特征在于，所述UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
4.根据权利要求1所述的方法，其特征在于，所述输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
5.根据权利要求1所述的方法，其特征在于，所述呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
6.一种UI控件触发方法，其特征在于，应用于第二终端，所述第二终端包括目标应用、UI框架和系统服务，所述方法包括：
检测到用户对所述目标应用的启动操作时，调用所述UI框架加载所述目标应用的第一界面，所述第一界面包括UI控件，并确定所述UI控件的触发属性对应的输入事件；
调用所述系统服务获取输入设备输入的输入事件，并对所述输入设备输入的输入事件进行识别；当识别出所述输入设备输入的输入事件与所述触发属性对应的输入事件相匹配时，生成与所述输入事件对应的触发请求；
根据所述触发请求携带的所述输入事件找到与所述输入事件对应的所述UI控件，触发所述UI控件；
所述UI控件的属性包括所述触发属性、呈现属性和响应属性；其中，所述触发属性包括所述UI控件支持的多种所述输入事件；所述呈现属性包括所述UI控件支持的多种呈现方式；所述响应属性包括所述UI控件被触发后的多种响应动作。
7.根据权利要求6所述的方法，其特征在于，所述确定所述UI控件的触发属性对应的输入事件之后，所述调用所述系统服务获取输入设备输入的输入事件，并对所述输入设备输入的输入事件进行识别之前，所述方法还包括：
存储所述UI控件的触发属性对应的输入事件；
所述当识别出所述输入设备输入的输入事件与所述触发属性对应的输入事件相匹配时，生成与所述输入事件对应的触发请求之后，所述方法还包括：
对所述触发请求携带的输入事件进行校验，在校验通过的情况下，根据所述触发请求携带的所述输入事件找到与所述输入事件对应的所述UI控件，触发所述UI控件。
8.根据权利要求7所述的方法，其特征在于，所述对所述触发请求携带的输入事件进行校验，包括：
将所述触发请求携带的输入事件与所述存储的所述UI控件的触发属性对应的输入事件进行对比；
所述校验通过为：所述触发请求携带的输入事件与所述存储的所述UI控件的触发属性对应的输入事件为相同的输入事件。
9.根据权利要求6所述的方法，其特征在于，所述根据所述触发请求携带的所述输入事件找到与所述输入事件对应的所述UI控件，触发所述UI控件，具体包括：
根据所述触发请求携带的所述输入事件，以及预先设置的所述输入事件和所述UI控件的控件标识之间的对应关系，找到与所述输入事件对应的所述控件标识，并根据所述控件标识找到与所述控件标识对应的所述UI控件，触发所述UI控件。
10.根据权利要求6所述的方法，其特征在于，所述检测到用户对所述目标应用的启动操作时，调用所述UI框架加载所述目标应用的第一界面，所述第一界面包括UI控件，并确定所述UI控件的触发属性对应的输入事件，具体包括：
检测到所述用户对所述目标应用的所述启动操作时，调用所述UI框架加载所述第一界面的页面布局文件、所述UI控件、所述UI控件的所述触发属性、所述UI控件的所述呈现属性和所述UI控件的所述响应属性；
确定所述UI控件的所述触发属性对应的所述输入事件。
11.根据权利要求6所述的方法，其特征在于，所述根据所述触发请求找到与输入事件对应的所述UI控件，触发所述UI控件之后，还包括：
检测到所述用户在所述目标应用中的业务操作时，调用所述UI框架加载所述目标应用的第二界面，所述第二界面包括所述UI控件，并确定所述UI控件的所述触发属性对应的所述输入事件；并继续执行所述调用所述系统服务获取输入设备输入的输入事件，并对所述输入设备输入的输入事件进行识别的步骤。
12.根据权利要求6所述的方法，其特征在于，所述UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
13.根据权利要求6所述的方法，其特征在于，所述输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
14.根据权利要求6所述的方法，其特征在于，所述呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
15.根据权利要求6所述的方法，其特征在于，所述系统服务的识别功能包括语音识别、肢体识别、意图识别、情感识别、系统环境监测和传统输入识别的识别功能。
16.一种第一终端，其特征在于，包括显示器、处理器和存储器，所述第一终端还包括：IDE和UI框架，IDE包括布局文件编辑器和控件编辑器，UI框架包括UI控件模板；其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述第一终端执行以下步骤：
检测到所述UI控件模板被拖拽操作拖拽至所述布局文件编辑器，并且所述拖拽操作被释放；
接收开发者对所述UI控件模板的所述控件编辑器输入的编辑操作后，设置所述UI控件的属性，根据所述UI控件的属性生成所述UI控件；
所述UI控件的属性包括触发属性、呈现属性和响应属性；其中，所述触发属性包括所述UI控件支持的多种输入事件；所述呈现属性包括所述UI控件支持的多种呈现方式；所述响应属性包括所述UI控件被触发后的多种响应动作。
17.根据权利要求16所述的第一终端，其特征在于，所述控件编辑器包括触发属性编辑单元、呈现属性编辑单元和响应属性编辑单元；当所述处理器运行所述程序指令时，使所述第一终端执行以下步骤：
所述接收开发者对所述UI控件模板的所述控件编辑器输入的编辑操作后，设置所述UI控件的属性，根据所述UI控件的属性生成所述UI控件，包括：
接收开发者对所述呈现属性编辑单元输入的编辑操作后，设置所述UI控件的所述呈现属性；
接收开发者对所述触发属性编辑单元输入的编辑操作后，设置所述UI控件的所述触发属性；
接收开发者对所述响应属性编辑单元输入的编辑操作后，设置所述UI控件的所述响应属性；
根据所述UI控件的所述呈现属性、所述触发属性和所述响应属性生成所述UI控件。
18.根据权利要求16所述的第一终端，其特征在于，所述UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
19.根据权利要求16所述的第一终端，其特征在于，所述输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
20.根据权利要求14所述的第一终端，其特征在于，所述呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
21.一种第二终端，其特征在于，包括显示器、处理器和存储器，所述第二终端还包括：目标应用、UI框架和系统服务，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述第二终端执行以下步骤：
检测到用户对所述目标应用的启动操作时，调用所述UI框架加载所述目标应用的第一界面，所述第一界面包括UI控件，并确定所述UI控件的触发属性对应的输入事件；
调用所述系统服务获取输入设备输入的输入事件，并对所述输入设备输入的输入事件进行识别；当识别出所述输入设备输入的输入事件与所述触发属性对应的输入事件相匹配时，生成与所述输入事件对应的触发请求；
根据所述触发请求携带的所述输入事件找到与所述输入事件对应的所述UI控件，触发所述UI控件；
所述UI控件的属性包括所述触发属性、呈现属性和响应属性；其中，所述触发属性包括所述UI控件支持的多种所述输入事件；所述呈现属性包括所述UI控件支持的多种呈现方式；所述响应属性包括所述UI控件被触发后的多种响应动作。
22.根据权利要21所述的第二终端，其特征在于，当所述处理器运行所述程序指令时，使所述第二终端执行以下步骤：
所述确定所述UI控件的触发属性对应的输入事件之后，所述调用所述系统服务获取输入设备输入的输入事件，并对所述输入设备输入的输入事件进行识别之前，所述方法还包括：
存储所述UI控件的触发属性对应的输入事件；
所述当识别出所述输入设备输入的输入事件与所述触发属性对应的输入事件相匹配时，生成与所述输入事件对应的触发请求之后，所述方法还包括：
对所述触发请求携带的输入事件进行校验，在校验通过的情况下，根据所述触发请求携带的所述输入事件找到与所述输入事件对应的所述UI控件，触发所述UI控件。
23.根据权利要22所述的第二终端，其特征在于，当所述处理器运行所述程序指令时，使所述第二终端执行以下步骤：
所述对所述触发请求携带的输入事件进行校验，包括：
将所述触发请求携带的输入事件与所述存储的所述UI控件的触发属性对应的输入事件进行对比；
所述校验通过为：所述触发请求携带的输入事件与所述存储的所述UI控件的触发属性对应的输入事件为相同的输入事件。
24.根据权利要21所述的第二终端，其特征在于，当所述处理器运行所述程序指令时，使所述第二终端执行以下步骤：
所述根据所述触发请求携带的所述输入事件找到与所述输入事件对应的所述UI控件，触发所述UI控件，具体包括：
根据所述触发请求携带的所述输入事件，以及预先设置的所述输入事件和所述UI控件的控件标识之间的对应关系，找到与所述输入事件对应的所述控件标识，并根据所述控件标识找到与所述控件标识对应的所述UI控件，触发所述UI控件。
25.根据权利要求21所述的第二终端，其特征在于，当所述处理器运行所述程序指令时，使所述第二终端执行以下步骤：
所述检测到用户对所述目标应用的启动操作时，调用所述UI框架加载所述目标应用的第一界面，所述第一界面包括UI控件，并确定所述UI控件的触发属性对应的输入事件，具体包括：
检测到所述用户对所述目标应用的所述启动操作时，调用所述UI框架加载所述第一界面的页面布局文件、所述UI控件、所述UI控件的所述触发属性、所述UI控件的所述呈现属性和所述UI控件的所述响应属性；
确定所述UI控件的所述触发属性对应的所述输入事件。
26.根据权利要求21所述的第二终端，其特征在于，当所述处理器运行所述程序指令时，使所述第二终端执行以下步骤：
所述根据所述触发请求找到与输入事件对应的所述UI控件，触发所述UI控件之后，还包括：
检测到所述用户在所述目标应用中的业务操作时，调用所述UI框架加载所述目标应用的第二界面，所述第二界面包括所述UI控件，并确定所述UI控件的所述触发属性对应的所述输入事件；并继续执行所述调用所述系统服务获取输入设备输入的输入事件，并对所述输入设备输入的输入事件进行识别的步骤。
27.根据权利要求21所述的第二终端，其特征在于，所述UI控件包括滑动条控件、选择控件、按钮控件、列表控件和输入控件中的至少一个。
28.根据权利要求21所述的第二终端，其特征在于，所述输入事件包括语音事件、图像事件、触摸事件、鼠标事件、键盘事件、传感器事件和远程输入设备事件中的至少一个。
29.根据权利要求21所述的第二终端，其特征在于，所述呈现方式包括文字、图形、声音、视频和灯光中的至少一个。
30.根据权利要求21所述的第二终端，其特征在于，所述系统服务的识别功能包括语音识别、肢体识别、意图识别、情感识别、系统环境监测和传统输入识别的识别功能。
CN202010367228.XA 2020-04-30 2020-04-30 一种ui控件生成、触发方法及终端 Pending CN113590001A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010367228.XA CN113590001A (zh) 2020-04-30 2020-04-30 一种ui控件生成、触发方法及终端
PCT/CN2021/083952 WO2021218535A1 (zh) 2020-04-30 2021-03-30 一种ui控件生成、触发方法及终端
EP21797219.9A EP4130960A4 (en) 2020-04-30 2021-03-30 METHODS FOR GENERATING AND TRIGGERING USER INTERFACE AND TERMINAL COMMANDS
US18/048,046 US20230054717A1 (en) 2020-04-30 2022-10-20 Ui control generation and trigger methods, and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367228.XA CN113590001A (zh) 2020-04-30 2020-04-30 一种ui控件生成、触发方法及终端

Publications (1)

Publication Number Publication Date
CN113590001A true CN113590001A (zh) 2021-11-02

Family

ID=78237846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367228.XA Pending CN113590001A (zh) 2020-04-30 2020-04-30 一种ui控件生成、触发方法及终端

Country Status (4)

Country Link
US (1) US20230054717A1 (zh)
EP (1) EP4130960A4 (zh)
CN (1) CN113590001A (zh)
WO (1) WO2021218535A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431153A (zh) * 2023-06-15 2023-07-14 北京尽微致广信息技术有限公司 一种ui组件的筛选方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115951811B (zh) * 2023-03-10 2023-06-30 北京尽微致广信息技术有限公司 一种组件生成方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8850335B2 (en) * 2006-04-11 2014-09-30 Invensys Systems, Inc. Strategy editor supporting automatic designation of displayed line style based upon a connection data type
US8255875B2 (en) * 2008-09-30 2012-08-28 Rockwell Automation Technologies, Inc. Application builder for industrial automation
CN102270125A (zh) * 2010-06-04 2011-12-07 中兴通讯股份有限公司 Web应用的开发装置及其开发方法
CN106484393B (zh) * 2016-09-13 2019-12-27 厦门兆慧网络科技有限公司 一种可视化视图设计方法
CN107562706A (zh) * 2017-08-23 2018-01-09 深圳赛盒科技有限公司 自定义票据模板方法及系统
CN108345456A (zh) * 2018-03-07 2018-07-31 平安普惠企业管理有限公司 页面代码生成方法、装置、计算机设备和存储介质
CN108538291A (zh) * 2018-04-11 2018-09-14 百度在线网络技术（北京）有限公司 语音控制方法、终端设备、云端服务器及系统
CN111930370A (zh) * 2020-06-17 2020-11-13 石化盈科信息技术有限责任公司 可视化页面处理方法、装置、计算机设备和存储介质
CN112181576A (zh) * 2020-09-30 2021-01-05 汉海信息技术(上海)有限公司 表单处理方法、装置、终端及存储介质
CN112433799A (zh) * 2020-11-25 2021-03-02 平安普惠企业管理有限公司 页面生成方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431153A (zh) * 2023-06-15 2023-07-14 北京尽微致广信息技术有限公司 一种ui组件的筛选方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP4130960A1 (en) 2023-02-08
EP4130960A4 (en) 2023-10-11
WO2021218535A1 (zh) 2021-11-04
US20230054717A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
US11868680B2 (en) Electronic device and method for generating short cut of quick command
KR102607666B1 (ko) 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치
US11955124B2 (en) Electronic device for processing user speech and operating method therefor
EP3567584B1 (en) Electronic apparatus and method for operating same
KR102298947B1 (ko) 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
US20230054717A1 (en) Ui control generation and trigger methods, and terminal
KR102348758B1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
CN107066188B (zh) 一种发送截屏图片的方法及终端
CN105793921A (zh) 基于部分热词发起动作
EP3195115A1 (en) Code development tool with multi-context intelligent assistance
CN105045588A (zh) 一种切换输入法皮肤的方法和装置
KR20190113130A (ko) 사용자 음성 입력을 처리하는 장치
CN106228047B (zh) 一种应用程序图标处理方法及终端设备
CN114728204A (zh) 包括游戏应用/服务的应用/服务的声音数据的可视化扩展功能
US11163377B2 (en) Remote generation of executable code for a client application based on natural language commands captured at a client device
KR20180101926A (ko) 전자 장치 및 전자 장치의 어플리케이션 제어 방법
CN114205447B (zh) 电子设备的快捷设置方法、装置、存储介质及电子设备
CN108604331B (zh) 一种信息提醒方法以及移动设备
CN112817582B (zh) 代码处理方法、装置、计算机设备和存储介质
CN107066115A (zh) 一种补充语音消息的方法及终端
US20210074265A1 (en) Voice skill creation method, electronic device and medium
CN110570830B (zh) 设备调节方法、装置、存储介质及电子设备
US20140250251A1 (en) Automatically and transparently preserving testing state across sessions
WO2023103918A1 (zh) 语音控制方法、装置、电子设备及存储介质
US11244679B2 (en) Electronic device, and message data output method of electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination