CN112231025B - Ui组件显示的方法及电子设备 - Google Patents

Ui组件显示的方法及电子设备 Download PDF

Info

Publication number
CN112231025B
CN112231025B CN202010927052.9A CN202010927052A CN112231025B CN 112231025 B CN112231025 B CN 112231025B CN 202010927052 A CN202010927052 A CN 202010927052A CN 112231025 B CN112231025 B CN 112231025B
Authority
CN
China
Prior art keywords
component
information
interface
control
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010927052.9A
Other languages
English (en)
Other versions
CN112231025A (zh
Inventor
范振华
曹原
邵天雨
张进
林尤辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN202010927052.9A priority Critical patent/CN112231025B/zh
Publication of CN112231025A publication Critical patent/CN112231025A/zh
Application granted granted Critical
Publication of CN112231025B publication Critical patent/CN112231025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • G09G2340/145Solving problems related to the presentation of information to be displayed related to small screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Abstract

本申请提供了一种在目的设备上显示源设备的UI组件的方法、源设备和目的设备,该方法可以将源设备的第一应用的至少一个功能控件组合成UI组件,并将UI组件显示到其它目的设备;此外,在目的设备可以执行对该UI组件包括的任意一个功能控件的操作,将操作结果可以传回源设备进行执行,保证了源设备和目的设备操作的一致性,该方法可将用户界面和服务在多个终端设备之间自由传送,同时将第一应用的功能控件进行拆分组合,并在多个终端设备间进行传送,从而适应多种终端的屏幕尺寸,使用方便,提高了用户体验。

Description

UI组件显示的方法及电子设备
技术领域
本申请涉及电子技术领域,尤其涉及一种在目的设备上显示源设备的UI组件的方法及目的设备、源设备。
背景技术
随着智能终端设备的普及和通信技术的发展,智能终端设备的种类越来越多,而且多个智能终端之间可以进行互联,组成一个网络,使得一种设备上的能力和服务,能够在另一个设备上进行使用,成为越来越多的使用场景。例如将手机设备和车载设备进行互联。随着物联网的发展,万物互联将是未来的发展趋势。万物互联将实现手机、手表、平板电脑、智能电视、个人电脑、车载终端之间能够自由联网。
在用户的各种智能终端设备进行互联的情况下,一种智能终端设备使用另一种智能终端设备的能力和服务将会变成通用场景。例如,当智能终端设备A使用另一种智能终端设备B的能力时,要求设备A可以直接显示设备B的界面并能够进行操作。但在具体使用过程中,由于设备A和设备B的显示屏幕尺寸大小以及功能的差异,将设备A的界面直接显示在设备B上,又会面临着显示效果差的问题,而且这种直接显示可能导致在设备B上不能够执行设备A的操作。
发明内容
本申请提供一种UI组件显示的方法、源设备和目的设备,该方法能够将用户界面和服务在多个终端设备之间自由传送,同时将某应用的功能控件进行拆分组合,并在多个终端设备间进行传送,适应多种终端的屏幕尺寸,使用方便,提高了用户体验。
第一方面,提供了一种在目的设备上显示源设备的UI组件的方法,该方法包括:源设备确定第一UI组件,该第一UI组件包括该源设备的第一应用的至少一个功能控件;源设备获取该第一UI组件的配置信息,该第一UI组件的配置信息用于指示该第一UI组件在该目的设备上的显示方式;源设备向该目的设备发送该第一UI组件的配置信息,以使该目的设备根据该第一UI组件的配置信息显示该第一UI组件。
通过上述方案,首先从源设备到目的设备的UI组件显示过程,可以打破应用的固有界面的显示模式,将该应用的固有界面进行部分拆分,并在多个终端设备之间进行传送,该方法能够实现用户在一个界面中即可查看多个应用的功能,并同时支持用户对多个应用进行操作;用户可以将目的设备端操作界面的操作,将操作结果传回源设备进行执行,保证源设备和目的设备的操作的一致性。此外,拆分后的界面能够适应多种终端设备的显示屏幕的尺寸,做到更完美的显示,提高用户体验。
例如,家庭主妇在做家务或者煮饭,不便使用手机更换正在播放的音乐或者设置播放模式的时候,可以设置将手机音乐应用的部分功能控件显示到智能手表的输出设备上,用户可以通过在智能手表的输出设备上点击下一曲播放等控件更换播放的歌曲,或者点击暂停播放控件暂停音乐播放等,极大的方便了用户的使用。本申请对各种可能的使用场景不做限定。
结合第一方面,在第一方面的某些实现方式中,源设备确定第一UI组件,包括:源设备显示第一界面;在该第一界面上检测用户的第一操作;响应于该第一操作,源设备确定该第一UI组件。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第一界面包括该第一应用的至少一个功能控件,该第一操作为用户选定在该第一界面中显示的该第一UI组件的操作;或者该第一界面包括该第一应用的UI组件列表,该UI组件列表中的每一个UI组件包括该第一应用的至少一个功能控件,该第一操作为用户选择该UI组件列表中的该第一UI组件的操作。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第一UI组件的配置信息包括第一信息,该第一信息用于指示该至少一个功能控件中每一个功能控件在目的设备的显示信息,且该第一信息包括该至少一个功能控件中每一个功能控件在目的设备的位置坐标、显示宽度和显示高度的信息;以及源设备向目的设备发送该第一UI组件的配置信息,包括:源设备向目的设备发送该第一信息。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第一UI组件的配置信息还包括第二信息,该第二信息用于指示该至少一个功能控件中每一个功能控件的标识信息。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该方法还包括:源设备接收目的设备发送的第二操作的操作信息,该第二操作用于触发目的设备显示的该第一UI组件中的第一功能控件,且该第二操作的操作信息包括该第一功能控件的第二信息;源设备根据该第二操作的操作信息,确定该第一功能控件的标识;源设备根据该第一功能控件的标识,确定第一功能控件;源设备执行该第一功能控件对应的功能。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第二操作用于触发该第一UI组件中的第一功能控件在目的设备上显示为第一状态,以及源设备执行该第一功能控件对应的功能,包括:源设备的该第一应用根据该第二操作的操作信息和该第一功能控件,执行与该第一功能控件的第一状态对应的功能,且该第一功能控件显示为该第一状态。
综上所述,本申请提供的UI组件显示UI组件显示方法,该方法可以将源设备的原有应用的界面一部分进行拆分出不同的功能控件或者多个功能控件的组合,并将不同的功能控件或者多个功能控件的组合生成新的操作界面,该操作界面可以显示到其它目的设备。目的端设备对于执行对该操作界面上包括的任意一个功能控件的操作,并且操作结果可以传回源设备进行执行,保证了源设备和目的设备操作的一致性。该方法可将用户界面和服务在多个终端设备之间自由传送,打破了不同设备间的瓶颈;将原有应用的界面进行部分拆分,并在多个终端设备间进行传送,拆分后的界面能够更容易的适应多种终端的屏幕尺寸,做到更加完美的显示;目的设备端显示的新的操作界面可以包括同一应用的功能控件或者不同应用的功能控件,打破不同应用间的边界,使得用户在一个界面中即可查看多个应用的功能,并同时对多个应用进行操作,所有操作会被送回源设备的原有应用服务。对于用户来说,可以在源设备和目的设备同时控制应用服务,使用方便,提高了用户体验。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第一UI组件的配置信息还包括第三信息,该第三信息用于指示该至少一个功能控件中每一个功能控件的名称、功能的信息。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第一UI组件的配置信息还包括第四信息,该第四信息用于标识该第一UI组件中每一个功能控件是否支持显示到目的设备的信息,以及源设备确定第一UI组件,还包括:源设备根据该第四信息,确定第一UI组件中每一个功能控件支持显示到目的设备。
第二方面,提供了一种在目的设备上显示源设备的UI组件的方法,该方法包括:目的设备接收源设备发送的第一UI组件的配置信息,该第一UI组件的配置信息用于指示该第一UI组件在目的设备上的显示方式,该第一UI组件包括源设备的第一应用的至少一个功能控件;目的设备根据该第一UI组件的配置信息,显示该第一UI组件。
结合第二方面,在第二方面的某些实现方式中,该第一UI组件的配置信息包括第一信息,该第一信息包括该至少一个功能控件中每一个功能控件在目的设备的位置坐标、显示宽度和显示高度的信息;以及目的设备接收源设备发送的第一UI组件的配置信息,包括:目的设备接收源设备发送的该第一信息。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第一UI组件的配置信息还包括第二信息,该第二信息用于指示该至少一个功能控件中每一个功能控件的标识信息。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该方法还包括:目的设备检测用户的第二操作,该第二操作用于触发目的设备显示的该第一UI组件中的第一功能控件;目的设备根据该第二操作,确定该第一功能控件的标识;目的设备向源设备发送该第二操作的操作信息,该第二操作的操作信息包括该第一功能控件的标识。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第二操作用于触发该第一UI组件中的第一功能控件在目的设备上显示为第一状态,以及该第二操作的操作信息还用于指示源设备的该第一应用执行与该第一功能控件的第一状态对应的功能,且该第一功能控件在源设备显示为该第一状态。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第一UI组件的配置信息还包括第三信息,该第三信息用于指示该至少一个功能控件中每一个功能控件的名称、功能的信息。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第一UI组件的配置信息还包括第四信息,该第四信息用于标识该第一UI组件中每一个功能控件是否支持显示到目的设备的信息,以及目的设备根据该第一UI组件的配置信息,显示该第一UI组件,还包括:目的设备根据该第四信息,显示该第一UI组件中支持显示到目的设备的每一个功能控件。
第三方面,提供了一种电子设备,该电子设备包括:一个或多个处理器;一个或多个存储器;多个应用程序;以及一个或多个程序,其中该一个或多个程序被存储在该一个或多个存储器中,当该一个或者多个程序被该一个或多个处理器执行时,使得该电子设备执行以下步骤:确定第一UI组件,该第一UI组件包括该电子设备的第一应用的至少一个功能控件;获取该第一UI组件的配置信息,该第一UI组件的配置信息用于指示该第一UI组件在目的设备上的显示方式;向目的设备发送该第一UI组件的配置信息,以使目的设备根据该第一UI组件的配置信息显示该第一UI组件。
结合第三方面,在第一方面的某些实现方式中,当该指令被该一个或多个处理器执行时,使得该电子设备还执行以下步骤:显示第一界面;在该第一界面上检测用户的第一操作;响应于该第一操作,确定该第一UI组件。
结合第三方面和上述实现方式,在第一方面的某些实现方式中,该第一界面包括该第一应用的至少一个功能控件,该第一操作为用户选定在该第一界面中显示的该第一UI组件的操作;或者该第一界面包括该第一应用的UI组件列表,该UI组件列表中的每一个UI组件包括该第一应用的至少一个功能控件,该第一操作为用户选择该UI组件列表中的该第一UI组件的操作。
结合第三方面和上述实现方式,在第一方面的某些实现方式中,该第一UI组件的配置信息包括第一信息,该第一信息包括该至少一个功能控件中每一个功能控件在目的设备的位置坐标、显示宽度和显示高度的信息;以及当该指令被该一个或多个处理器执行时,使得该电子设备还执行以下步骤:向目的设备发送该第一信息。
结合第三方面和上述实现方式,在第一方面的某些实现方式中,该第一UI组件的配置信息还包括第二信息,该第二信息用于指示该至少一个功能控件中每一个功能控件的标识信息。
结合第三方面和上述实现方式,在第一方面的某些实现方式中,当该指令被该一个或多个处理器执行时,使得该电子设备还执行以下步骤:接收目的设备发送的第二操作的操作信息,该第二操作用于触发目的设备显示的该第一UI组件中的第一功能控件,且该第二操作的操作信息包括该第一功能控件的第二信息;根据该第二操作的操作信息,确定该第一功能控件的标识;根据该第一功能控件的标识,确定第一功能控件;执行该第一功能控件对应的功能。
结合第三方面和上述实现方式,在第一方面的某些实现方式中,该第二操作用于触发该第一UI组件中的第一功能控件在目的设备上显示为第一状态,以及当该指令被该一个或多个处理器执行时,使得该电子设备还执行以下步骤:该第一应用根据该第二操作的操作信息和该第一功能控件,执行与该第一功能控件的第一状态对应的功能,且该第一功能控件显示为该第一状态。
结合第三方面和上述实现方式,在第一方面的某些实现方式中,该第一UI组件的配置信息还包括第三信息,该第三信息用于指示该至少一个功能控件中每一个功能控件的名称、功能的信息。
结合第三方面和上述实现方式,在第一方面的某些实现方式中,该第一UI组件的配置信息还包括第四信息,该第四信息用于标识该第一UI组件中每一个功能控件是否支持显示到目的设备的信息,以及当该指令被该一个或多个处理器执行时,使得该电子设备还执行以下步骤:根据该第四信息,确定第一UI组件中每一个功能控件支持显示到目的设备。
第四方面,提供了一种电子设备,该电子设备包括:一个或多个处理器;一个或多个存储器;多个应用程序;以及一个或多个程序,其中该一个或多个程序被存储在该一个或多个存储器中,当该一个或者多个程序被该一个或多个处理器执行时,使得该电子设备执行以下步骤:接收源设备发送的第一UI组件的配置信息,该第一UI组件的配置信息用于指示该第一UI组件在该电子设备上的显示方式,该第一UI组件包括源设备的第一应用的至少一个功能控件;根据该第一UI组件的配置信息,显示该第一UI组件。
结合第四方面,在第一方面的某些实现方式中,该第一UI组件的配置信息包括第一信息,该第一信息包括该至少一个功能控件中每一个功能控件在该电子设备的位置坐标、显示宽度和显示高度的信息;以及当该一个或者多个程序被该一个或多个处理器执行时,使得该电子设备执行以下步骤:接收源设备发送的该第一信息。
结合第四方面和上述实现方式,在第一方面的某些实现方式中,该第一UI组件的配置信息还包括第二信息,该第二信息用于指示该至少一个功能控件中每一个功能控件的标识信息。
结合第四方面和上述实现方式,在第一方面的某些实现方式中,当该一个或者多个程序被该一个或多个处理器执行时,使得该电子设备执行以下步骤:检测用户的第二操作,该第二操作用于触发该电子设备显示的该第一UI组件中的第一功能控件;根据该第二操作,确定该第一功能控件的标识;向源设备发送该第二操作的操作信息,该第二操作的操作信息包括该第一功能控件的标识。
结合第四方面和上述实现方式,在第一方面的某些实现方式中,该第二操作用于触发该第一UI组件中的第一功能控件在该电子设备上显示为第一状态,以及该第二操作的操作信息还用于指示源设备的该第一应用执行与该第一功能控件的第一状态对应的功能,且该第一功能控件在源设备显示为该第一状态。
结合第四方面和上述实现方式,在第一方面的某些实现方式中,该第一UI组件的配置信息还包括第三信息,该第三信息用于指示该至少一个功能控件中每一个功能控件的名称、功能的信息。
结合第四方面和上述实现方式,在第一方面的某些实现方式中,该第一UI组件的配置信息还包括第四信息,该第四信息用于标识该第一UI组件中每一个功能控件是否支持显示到该电子设备的信息,以及当该一个或者多个程序被该一个或多个处理器执行时,使得该电子设备执行以下步骤:根据该第四信息,显示该第一UI组件中支持显示到该电子设备的每一个功能控件。
第五方面,本申请提供了一种装置,该装置包含在电子设备中,该装置具有实现上述方面及上述方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,接收模块或单元、发送模块或单元、显示模块或单元、检测模块或单元、处理模块或单元等。
第六方面,本申请提供了一种电子设备,包括:触摸显示屏,其中,触摸显示屏包括触敏表面和显示器;摄像头;一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序。其中,一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令。当指令被电子设备执行时,使得电子设备执行上述任一方面任一项可能的实现中的UI组件显示的方法。
第七方面,本申请提供了一种电子设备,包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行上述任一方面任一项可能的实现方式中UI组件显示的方法。
第八方面,本申请提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的实现方式中UI组件显示的方法。
第九方面,本申请提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的实现方式中UI组件显示的方法。
附图说明
图1为本申请实施例提供的一种电子设备的硬件结构示意图。
图2为本申请实施例提供的一种电子设备的软件结构示意图。
图3是本申请实施例提供的一例启动手机的UI组件显示功能的示意图。
图4是本申请实施例提供的另一例启动手机的UI组件显示功能的示意图。
图5是本申请实施例提供的一例UI组件显示的图形用户界面的示意图。
图6是本申请实施例提供的一例多个应用服务的多个功能控件的组合示意图。
图7是本申请实施例提供的一例目的设备的显示屏幕示意图。
图8是本申请实施例提供的一例在目的设备上显示源设备的UI组件的方法流程图。
图9是本申请实施例提供的一例目的设备的显示屏幕示意图。
图10是本申请实施例提供的源设备和目的设备之间进行UI组件显示的交互示意图。
图11是本申请实施例提供的一例UI组件显示方法的执行流程图。
图12是本申请实施例提供的一例联网方式示意图。
图13是本申请实施例提供的UI组件显示的方法的示意性流程图。
图14是本申请实施例提供的又一例UI组件显示的方法的示意性流程图。
图15是本申请实施例提供的一例电子设备的组成示意图。
图16是本申请实施例提供的又一例电子设备的组成示意图.
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例提供了一种UI组件显示的方法,可以应用于电子设备,也可是单独的应用程序,该应用程序可实现在多终端设备之间显示不同的界面组件。具体地,该方法可以将源设备的原有应用的界面一部分进行拆分出不同的功能控件或者多个功能控件的组合,并将不同的功能控件或者多个功能控件的组合生成新的操作界面,该操作界面可以显示到其它目的设备。目的端设备对于执行对该操作界面上包括的任意一个功能控件的操作,并且操作结果可以传回源设备进行执行,保证了源设备和目的设备操作的一致性。
本申请实施例提供的视频中实现单词或语句复读的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等电子设备上,本申请实施例对电子设备的具体类型不作任何限制。
示例性的,图1示出了电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A
的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否需要呈现状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话记录,浏览历史和书签,电话簿等。
视图系统包括可视组件,例如显示文字的组件,显示图片的组件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
为了便于理解,本申请以下实施例将以具有图1和图2所示结构的电子设备为例,结合附图和应用场景,对本申请实施例提供的界面组件显示的方法进行具体阐述。
如背景技术所介绍,要实现设备A可以使用设备B的能力和服务,首先,需要将设备B的界面直接显示在设备A上。屏幕投射就是将源设备的显示界面直接投射显示到目的设备的一种操作。目前市面上包含多种屏幕投射的方案,主要包括数字生活网络联盟(digitalliving network alliance,DLNA)和基于Wi-Fi direct无线直连技术的无线音视频传输技术MiraCast等。屏幕投射需要电视端和手机端应用同时遵循相应协议,从而将手机中的照片、音频、视频等文件投屏显示到电视端。
上述屏幕投射技术只能实现将源设备界面直接映射显示到目的设备,不考虑目的设备屏幕的尺寸和分辨率,显示界面不考虑目的设备的具体需要;此外,在屏幕投射过程中,一次只能显示单个应用界面,无法对多个界面功能进行组合显示,无法对界面部分组件进行拆分并单独显示,且大部分情况下,屏幕投射技术不支持从目的设备对源设备进行操作。
除上述的屏幕投射技术外,美国苹果公司发布的车载系统Carplay可以将用户的iOS设备、iOS使用体验与仪表盘系统无缝结合。Carplay可以通过汽车的控制面板来使用iPhone手机的绝大部分基础功能。其中的部分功能包括Siri语音助理工具,iTunes音乐播放,苹果地图以及短信服务。通过Carplay,驾车人可以双手不离开方向盘就接打电话,另外可以听到语音邮件的内容,用户可以轻松、安全地拨打电话、听音乐、收发信息、使用导航等。在iPhone手机和车载系统Carplay连接过程中,用户可以通过触摸车内的驾驶控制面板,来控制手机。
但是,Carplay使用范围有限,只限车载设备,只能支持特定的应用,应用范围有限。此外,汽车内的控制面板的显示也是完全复制显示手机当前应用界面,无法对手机应用界面部分组件进行拆分并单独显示。
本申请将提供一种UI组件显示UI组件显示方法,该方法可以实现将源设备的某个应用的部分功能或者界面的一部分功能控件独立成一个单独的操作界面,显示到目的设备;或者将多个应用的部分功能或者界面的多种功能控件进行组合,形成一个单独的操作界面,显示到目的设备。此外,通过本申请的UI组件显示方法,可以通过在目的设备上显示的该操作界面的操作,实现对源设备相应的应用的操作,将操作结果从目的设备传递到源设备,用户可以在各种不同的场景下执行对该操作界面所包括的应用的操作,方便用户使用。
在介绍本申请的UI组件显示方法之前,需要启动电子设备的该UI组件显示功能,本申请将以手机为源设备进行介绍。
在一种可能的实现方式中,可以如图3所示,启动手机的该UI组件显示功能。图3是本申请实施例提供的一例用于启动手机的UI组件显示功能的图形用户界面(graphicaluser interface,GUI)示意图,其中,图3中的(a)图示出了手机的解锁模式下,手机的屏幕显示系统显示了当前输出的界面内容301,该界面内容301为手机的主界面。该界面内容301显示了多款第三方应用程序(application,App),例如支付宝、任务卡商店、微博、相册、音乐、微信、卡包、设置、相机等。应理解,界面内容301还可以包括其他更多的应用程序,本申请对此不作限定。用户可以通过设置应用中的操作启动该UI组件显示功能。
示例性地,如图(a)所示,对该设置应用输入用户操作,该用户操作可以包括用户对手机显示的设置应用的图标的点击操作,如图3中(a)图所示的点击操作。响应于该用户的点击操作,进入设置应用的界面。
图3中的(b)图所示的界面302为本申请提供的一例设置应用界面的示意图。在该界面302上,可以包括多个菜单栏,每个菜单栏可以设置不同的功能。例如界面302包括无线和网络菜单栏、设备连接菜单栏、桌面与壁纸菜单栏、显示与亮度菜单栏、声音菜单栏以及更多设置菜单栏,每一个菜单栏的功能这里不再赘述。
用户可以执行如图(b)所示的点击设备连接菜单栏的操作,响应于该点击操作,手机进入图(c)所示的界面303。该界面303可以包括多个菜单栏,例如蓝牙菜单栏、近距离无线通信(near field communication,NFC)菜单栏、华为分享、手机投屏、USB设置菜单栏以及打印菜单栏等。用户执行如图(c)所示的点击手机投屏菜单栏的操作,响应于该点击操作,手机进入图(d)所示的界面304。该界面304可以包括多个功能区域,例如手机投屏模式和无线投屏设置区域。点击开启“无线投屏”控件(图中控件选择框为“ON”状态),可以搜索可用设备列表。可用设备列表中的设备是所有可以支持投屏的设备,例如本申请的智能手表设备或者车载终端等可以接收用户触摸操作的手机。
用户执行如图(d)所示的点击智能手表设备菜单栏,响应于该点击操作,手机进入图(e)所示的界面305。该界面305可以包括应用列表以及开启该应用的UI组件显示功能的开关控件,例如图(e)所示的音乐、华为视频、微信、支付宝、微博、高德地图、备忘录等不同的应用类型,用户可以点击每一个应用的UI组件显示功能的开关控件,选择是否开启该应用的UI组件显示功能。可选地,用户可以开启当前需要投屏显示到目的设备的应用(音乐、高德地图、备忘录),对于当前不需要开启或者聊天类的私密应用(微信、微博、支付宝和华为视频等),可以保持为关闭状态,手机可以显示为如图(f)所示的界面306。
设置完需要显示到目的设备的应用,用户可以进入已经开启该UI组件显示功能的应用中,图3中的(g)图是手机的主界面301,对该主界面301的音乐应用输入用户的点击操作。响应于该用户的点击操作,进入如(h)图示出的该音乐应用的显示界面308。对该显示界面308输入用户的点击操作,响应于该用户的点击操作,进入如(i)图所示该音乐播放界面309。
如(i)图所示,在该播放界面309上,可以包括多个功能区域,每个功能区域包括不同的功能控件,一个或多个功能控件形成用户接口(user interface,UI)组件,换言之,每一个UI组件是该应用界面的一个或多个功能控件或者自定义的一个功能控件的集合。在本申请实施例的描述中,将音乐应用的播放界面309包括的多个功能控件,如(i)图所示,功能控件可以包括歌名显示控件310、返回控件311、歌词显示控件312、下载控件313、分享控件314、音量调整控件315、歌曲详情控件316、循环设置控件317、上一曲选择控件318、播放控件319、下一曲选择控件320和收藏控件321。
在一种可能的实现方式中,用户可以在播放界面309上通过手势选择选择需要显示到目的设备的UI组件。如(k)图所示,在手机的音乐应用的播放界面上,用户可以根据目的设备的显示屏幕的尺寸大小和自己对界面上功能控件的使用需求,在界面还是那个选择需要显示到目的设备的功能控件,形成UI组件。例如,用户在音乐播放界面上选择虚线框示出的区域,可以理解为用户选定了上一曲选择控件、播放控件和下一曲选择控件。选择该虚线框示出的区域的操作可以是用户沿着该虚线框示出的区域的对角线的两个位置坐标的滑动操作,例如图中示出的从虚线框的左上角起始坐标位置1,滑动到该区域的右下角的坐标位置2处的滑动操作,或者从虚线框的右下角起始坐标位置2,滑动到该区域的左上的坐标位置1处的滑动操作,本申请对此不做限定。
当用户选定了需要显示打破目的设备的UI组件,该UI组件包括上一曲选择控件、播放控件和下一曲选择控件三个功能控件,响应于用户的选择操作,手机弹出开启投屏模式确认框,手机显示界面324的如图(m)所示。在弹出开启投屏模式确认框中,包括“是”和“否”的选择控件,用户点击“是”之后,便可以将选择的UI组件显示到智能手表的显示界面上,如图(n)所示。
上述介绍了的开启手机本申请UI组件显示的方法,先在手机的设置应用中,开启音乐应用的投屏功能,再进入音乐应用中选定需要显示到智能手表的UI组件包括的功能控件,确定将选定的UI组件显示到智能手表的显示界面上。
在另外一种可能的实现方式中,可以通过在应用内部识别用户的手势开启本申请的UI组件显示的功能。
示例性地,图4是本申请实施例提供的另一例用于启动手机的UI组件显示功能的示意图。其中,图4中的(a)图示出了手机的主界面401。对该主界面401包括的界面内容前述已经在图3中有相关介绍,为了简便,此处不再赘述。图4中的(b)图是用户执行(a)图所示的点击操作后显示的音乐应用的主界面402,(c)图是音乐应用的播放界面403,用户可以在音乐应用的主界面402或者音乐应用的播放界面403上执行第一操作,该第一操作可以用于触发手机启动UI组件显示功能。响应于用户的输入的第一操作,手机可以弹出开启投屏模式确认框404中,该投屏模式确认框404包括“是”和“否”的选择控件,用户点击“是”之后,手机可以进入(e)图所示的显示投屏设置界面405。
可选地,该第一操作可以是用户手指在界面上的滑动操作或者其他触摸操作,或者,该第一操作可以是用户指关节在界面上的滑动操作或者其他触摸操作。例如图(b)和(c)中示出的用户滑动一个封闭的圆形,或者不封闭的“C”形等其他可能的形状,本申请对用户的第一操作不做限定。
如图(e)所示,该投屏设置界面405可以是包括将UI组件显示到目的设备过程中的多个设置菜单。例如,目的设备设置菜单、投屏组件设置菜单、显示大小设置菜单、投屏类型设置菜单等。当用户执行图(e)所示的操作,点击目的设备设置菜单,进入图(f)所示的显示界面406,用户可以在显示界面406中包括的可用设备列表中选择至少一个目的设备。例如用户可以选择智能手表设备,也可以同时选择只能手表设备和车载显示设备等多个设备,本申请对UI组件显示过程中目的设备的数量不做限定。
此外,如图(g)所示,用户可以在投屏设置界面405点击投屏组件设置菜单,进入图(h)所示的投屏组件选择界面407。该投屏组件选择界面407可以包括多个组件类型,其中,投屏组件选择界面407示出的组件类型一至组件类型七可以是系统提前配置的不同UI组件,每种组件类型中包括不同数量不同种类的功能控件。例如,组件类型一可以包括音乐播放控件319和上一曲选择控件318。用户可以点击任一种组件类型,将该组件类型中包括的功能控件显示到目的设备的显示界面。
投屏组件选择界面407还可以包括自定义组件类型添加菜单,如图(h)所示,用户可以点击自定义组件类型添加菜单进入图(i)所示的UI组件选择界面408。在该UI组件选择界面408中,可以将音乐应用的所有有限个功能控件以小图标或者文字框等显示方式显示在列表中,用户可以点击每一个功能控件的小图标或者文字框,选中至少一个功能控件,并点击保存控件,将选中的功能控件保存为自定义组件类型一的UI组件,手机显示界面409可以如图所示。
应理解,界面409中的任意一种UI组件类型都可以接受用户的添加、修改、删除等操作。例如,用户本次新建自定义组件类型一,下一次设置时该自定义组件类型一可以存在于投屏组件列表中,用户可以通过长按进行删除或者修改,本申请对此不做限定。
如图(m)所示,用户可以在投屏设置界面405点击显示大小设置菜单,进入图(n)所示的目的设备显示大小设置界面410。该设置界面410可以包括目的设备的起始坐标设置、显示框的大小设置、高度设置等。当用户在目的设备设置界面406中选择了目的设备,例如用户选择了智能手表,就可以根据智能手表的输出界面的大小设置UI组件显示到智能手表的输出界面时的大小,并保存该设置。图(n)只示出了目的设备为智能手表时,手机设置显示大小的界面,当用户选择了多个目的设备时,可以包括更多的设置界面,本申请对此不做限定。
应理解,上述列举的各种设置菜单可以由用户在音乐应用中进行设置,也可以是用户在(d)图示出的确定开启投屏模式界面并选择了目的设备之后,将选择的UI组件显示到该目的设备,用户可以在目的设备端设置UI组件显示大小等,本申请对此不做限定。执行完上述操作,就可以将用户选择的UI组件显示到智能手表的显示界面。
在另一种可能的实现方式中,还可以通过其他第三方应用的方式启动电子设备的该UI组件显示功能。例如,华为开发的异端投屏的应用,可以通过该应用设置需要显示到目的设备的UI组件等,本申请对此不做限定。
图5是本申请实施例提供的一例UI组件显示的图形用户界面的示意图,本申请将以手机作为源设备,以手机的音乐应用为例,详细介绍本申请提供的UI组件显示的方法。其中,图5中的(a)图示出了手机音乐应用的播放界面309包括的多个功能控件划分为三个功能区域,例如图(a)中示出的功能区域501、功能区域502和功能区域503。如(c)图所示,功能区域501中的功能控件可以包括歌名显示控件504、返回控件505和歌词显示控件515所在的区域,功能区域502中的功能控件可以包括下载控件506、分享控件507、音量调整控件508和歌曲详情控件509所在的区域,功能区域503中的功能控件可以包括循环设置控件510、上一曲选择控件511、播放控件512、下一曲选择控件513和收藏控件514。
以手机为源设备,智能手表为目的设备,根据本申请提供的UI组件显示UI组件显示方法,可以将手机音乐应用的播放界面309的任意一个或多个功能控件,组合成一个单独的操作界面,显示在智能手表的输出设备(例如,显示屏)上;或者,将手机音乐应用的播放界面309的功能区域501、功能区域502和功能区域503中的任意一个功能区域的所有功能控件,组合成一个单独的操作界面,显示在智能手表的输出设备上。
示例性的,如图5中的(b)图所示,将手机音乐应用的播放界面309的功能区域503包括的功能控件显示到智能手表端,智能手表端的显示界面516可以包括功能区域503的所有功能控件。在本申请实施例的描述中,将显示到目的设备端的所有功能控件的组合称作“原子化组件”,例如将功能区域503显示到智能手表的显示屏幕,则功能区域503包括的所有功能控件的组合就是一例原子化组件,该原子化组件在智能手表的显示区域称为原子化组件显示区域。
可选地,该智能手表端的显示界面516上除了显示功能区域503包括的所有功能控件的组合之外,还可以包括手机音乐应用正在播放的歌名显示区域,即还包括歌名显示控件504。
在一种可能的实施方式中,在功能区域503的所有功能控件显示到目的设备过程中,电子设备可以根据目的设备的显示屏幕的尺寸大小、显示屏幕的形状,进行不同的组合排列。例如在本申请实施例中,智能手表的显示屏幕比源设备手机的显示屏幕小,而且智能手表的显示屏幕多呈现圆形。功能区域503的所有功能控件可以呈现如图5中的(b)图所示的显示界面516的排列方式,控件呈顺时针排列,或者如图5中的(c)图所示的显示界面517的排列方式,控件呈逆时针排列。其中(b)图和(c)图智能手表的显示屏幕上的虚线框内就是上述所介绍的原子化控件显示区域319。
应理解,除了图中示出的控件排列方式,还可以有不同的排列方式,或者可以根据用户的意愿对功能控件进行拖动,例如用户长按并拖动某一功能控件到目标区域等,本申请对功能控件在目的设备的显示屏幕上的排列方式、以及改变功能控件显示位置的方式不做限定。
还应理解,以上实施例以包括多个功能控件的功能区域503为例,介绍了从源设备到目的设备的显示过程,此外,手机音乐应用的播放界面309中个任意一个功能控件都可以单独显示到智能手表的显示屏幕,例如图5中的(d)所示的显示界面519,智能手表端的显示屏幕可以只显示歌词显示区域515,本申请对目的设备显示屏幕所显示的功能控件的数量和种类不做限定。
通过上述介绍的UI组件显示UI组件显示方法,可以实现将源设备的应用服务的部分功能独立成一个单独的操作界面,并将该操作UI组件显示到目的设备端,当用户不便使用源设备但是可以使用目的设备的场景中,使应用的操作或者控制更加便捷,从而提高用户体验。
在一种可能的实施方式中,源设备的多个应用服务的多个功能控件可以进行组合,形成一个集成多种功能控件的操作界面,并将该操作UI组件显示到目的设备端。
作为一种示例而非限定,图6是本申请实施例提供的一例多个应用服务的多个功能控件的组合示意图。以手机为源设备,车载终端的控制面板为目的设备。如图6所示,车载终端的控制面板601,对手机的音乐应用、备忘录应用、设置管理应用的部分功能控件组合显示在一个操作界面602中。应理解,该方法可以考虑目的设备的显示屏幕的大小和形状,例如,车载终端的控制面板一般比手机的显示屏幕大,
具体地,如图6所示,该操作界面602中可以包括手机的音乐应用的上一曲选择控件、播放控件、下一曲选择控件,备忘录应用记录的提醒事项以及备忘录添加控件,设置管理应用的数据网络控件、Wi-Fi控件、位置信息控件、蓝牙控件、个人热点以及亮度调节控件等。换言之,操作界面602中的功能控件可以来自于同一个应用,也可以来自不同的应用,并进行自由组合。应理解,本申请对该操作界面602中包括的应用种类、数量以及各应用中功能控件的类型和数量不做限定。
还应理解,该操作界面602中每一种应用的功能控件所在的位置区域可以根据用户的习惯进行调整,且该操作界面602的形状和大小也可以根据用户的调整进行变化。可选地,当用户未设置该操作界面形状和大小的情况下,系统可以默认该操作界面602的形状和大小按照用户上一次的设置进行显示,或者,根据目的设备的显示屏幕的形状和大小进行同比例缩放形成操作界面602。
例如,图5中将手机的音乐应用显示到智能手表时,操作界面可以类似该智能手表的显示界面呈现圆形,图6中将手机音乐应用显示到车载终端的控制面板时,操作界面中音乐应用的功能控件呈现的区域可以类似该车载终端的控制面板的显示界面呈现矩形,本申请对此不做限定。
以上图5和图6介绍的UI组件显示UI组件显示方法,以源设备到一个目的设备为例进行介绍,应理解,以上共享UI组件显示的方法可以应用于多个终端设备之间,例如将手机的多个应用的部分功能控件组合形成的原子化组件的操作界面同时显示到智能手表、车载终端的控制面板上,本申请对UI组件显示过程中终端设备的数量不做限定。
根据本申请实施例提供的UI组件显示的方法,可以打破应用的固有界面的显示模式,将该应用的固有界面进行部分拆分,并在多个终端设备之间进行传送,该方法能够实现用户在一个界面中即可查看多个应用的功能,并同时支持用户对多个应用进行操作。此外,拆分后的界面能够适应多种终端设备的显示屏幕的尺寸,做到更完美的显示,提高用户体验。
通过上述实施例的介绍,完成了从源设备到目的设备的UI组件显示,针对上述介绍的任意一种UI组件显示UI组件显示方法,在目的设备显示操作界面。根据本申请实施例提供的UI组件显示UI组件显示方法,用户可以在目的设备端对操作界面进行操作,该操作结果可以传递到源设备端,保证目的设备和源设备操作的一致性,从而通过目的设备的操作界面控制源设备的应用的执行过程。
图7是本申请实施例提供的一例操作共享示意图。图7中的(a)图示出了智能手表呈现的手机音乐应用的部分功能控件的操作界面701,当手机的音乐正在播放时,用户执行如图(a)中所示的操作,该操作可以包括用户对音乐应用的播放控件的点击操作。响应于该用户的点击操作,智能手表的操作界面701中音乐应用的播放控件呈现暂停状态,相应地手机音乐的播放界面702中也暂停播放。
当手机的音乐播放界面703中的播放控件呈现暂停播放状态时,用户执行如图(b)中所示的操作,该操作可以包括用户对音乐应用的播放控件的点击操作。响应于该用户的点击操作,手机的音乐应用的播放界面703中的播放控件转变为播放状态,相应地智能手表的操作界面701中音乐应用的播放控件也转变为播放状态。
应理解,以上以手机的音乐应用显示到智能手表端为例,说明了用户可以在手机端和智能手表端执行相应的操作,来控制音乐应用。同理,对于图6中多个应用的多个功能控件组合而成的操作界面602,用户可以通过在车载终端的控制面板上执行对该操作界面402中任意一个功能控件的操作,而可以将该操作结果传递到手机端,相应地控制手机的应用。
通过上述方案,首先从源设备到目的设备的UI组件显示过程,可以打破应用的固有界面的显示模式,将该应用的固有界面进行部分拆分,并在多个终端设备之间进行传送,该方法能够实现用户在一个界面中即可查看多个应用的功能,并同时支持用户对多个应用进行操作;用户可以将目的设备端操作界面的操作,将操作结果传回源设备进行执行,保证源设备和目的设备的操作的一致性。此外,拆分后的界面能够适应多种终端设备的显示屏幕的尺寸,做到更完美的显示,提高用户体验。例如,家庭主妇在做家务或者煮饭,不便使用手机更换正在播放的音乐或者设置播放模式的时候,可以设置将手机音乐应用的部分功能控件显示到智能手表的输出设备上,用户可以通过在智能手表的输出设备上点击下一曲播放等控件更换播放的歌曲,或者点击暂停播放控件暂停音乐播放等,极大的方便了用户的使用。本申请对各种可能的使用场景不做限定。
当目的设备的显示屏幕小于源设备的显示屏幕,可能目的设备的全部显示屏幕都用来显示功能控件组合。例如智能手表的显示屏幕显示了手机的音乐应用的功能区域503的所有功能控件时,智能手表的原显示界面和当前显示的手机的功能控件界面可能为不同的显示界面,即原子化组件所在的显示界面为目的设备单独的显示界面。如果用户需要切换到智能手表的原显示界面,则需要执行一定的切换操作。
图8是本申请实施例提供的一例界面切换示意图。在一种可能的实施方式中,目的设备的界面的切换可以通过用户滑动屏幕的方式。
示例性地,如图8中的(a)图所示,在智能手表的显示界面803上,包括用于切换显示界面的切换控件801。用户执行如图(a)中所示的操作,该操作可以包括用户对智能手表的显示界面803的滑动操作。响应于该用户的滑动操作,智能手表的显示界面803切换到智能手表的主界面804,该主界面可以是如图8中所示的用于显示时钟、日期的界面。
应理解,本申请实施例对图(a)中用户的滑动操作的方向不做限定,例如对显示界面803的左滑动或者右滑动都可以切换到智能手表的主界面804,本申请对此不做限定。
或者,如图8中的(b)图所示,在智能手表的显示界面805上,包括用于切换显示界面的悬浮控件802。用户执行如图(b)中所示的操作,该操作可以包括用户对智能手表的显示界面805的悬浮控件802的点击操作。响应于该用户的点击操作,智能手表的显示界面805切换到智能手表的主界面806,该主界面可以是如主界面806中所示的用于显示时钟、日期的界面。
应理解,图(b)中用户点击悬浮控件802操作可以实现智能手表的显示界面805和智能手表的主界面806的来回切换。例如当智能手表呈现显示界面805时,用户点击悬浮控件802可以切换到智能手表的主界面806,同理,当智能手表呈现主界面806时,用户点击悬浮控件802可以切换到智能手表的显示界面805。
还应理解,以上列举的该智能手表的主界面806还可以包括其他显示内容。此外,还可以有其他的界面切换方式,本申请对此不做限定。
通过上述介绍的UI组件显示UI组件显示方法,可以为用户提供很多便利。例如,对于手机播放音乐的场景,很多情况下,音乐播放后,用户手机可能不在用户身边。如用户跑步时、家庭主妇正在做饭打扫等不同场景。此时,用户无法便捷的通过手机音乐应用的功能控件来控制音乐播放、暂停、下一曲、收藏等操作。但是,如果可以通过智能手表进行操作来控制音乐的话,便可以为用户提供高很多的便利性,带来很好的用户体验。但由于智能手表的显示屏幕很小,是无法显示全部的音乐应用的界面的,而且音乐的常用操作就几种,智能手表上也无需显示完整的音乐界面。使用本申请提供的UI组件显示UI组件显示方法即可完美的解决该应用场景的问题,将音乐应用的部分功能控件显示到智能手表端,用户可以通过智能手表上的操作控制手机音乐的播放、暂停、下一曲、收藏等,做到服务随身,方便用户操作,提高用户体验。
在一种可能的实施方式中,根据目的设备的显示屏幕的大小,可以调节原子化组件显示区域的大小。
图9是本申请实施例提供的一例目的设备的显示屏幕示意图。以手机为源设备,车载终端的控制面板为目的设备,一般地,车载终端的控制面板的面积大于手机的显示屏面积。如图9中的(a)图所示,对于手机的音乐应用的原子化组件显示框901可以进行缩放,只占据车载终端的控制面板的部分区域。
可选地,车载终端的控制面板的其他区域可以同时显示车载系统的应用,例如图(a)中的车载导航界面902,或者,车载终端的控制面板的其他区域可以同时显示手机的其他界面,例如图(b)中的手机的主界面903或手机的其他应用的显示界面,本申请对此不做限定。
综上所述,结合附图介绍了本申请提供的UI组件显示UI组件显示方法,该方法可以将源设备的原有应用的界面一部分进行拆分出不同的功能控件或者多个功能控件的组合,并将不同的功能控件或者多个功能控件的组合生成新的操作界面,该操作界面可以显示到其它目的设备。目的端设备对于执行对该操作界面上包括的任意一个功能控件的操作,并且操作结果可以传回源设备进行执行,保证了源设备和目的设备操作的一致性。该方法可将用户界面和服务在多个终端设备之间自由传送,打破了不同设备间的瓶颈;将原有应用的界面进行部分拆分,并在多个终端设备间进行传送,拆分后的界面能够更容易的适应多种终端的屏幕尺寸,做到更加完美的显示;目的设备端显示的新的操作界面可以包括同一应用的功能控件或者不同应用的功能控件,打破不同应用间的边界,使得用户在一个界面中即可查看多个应用的功能,并同时对多个应用进行操作,所有操作会被送回源设备的原有应用服务。对于用户来说,可以在源设备和目的设备同时控制应用服务,使用方便,提高了用户体验。
上述结合图3至图9细描述了本申请的人机交互实施例,为了更好地理解本申请提供的UI组件显示的方法,下面介绍具体的实现过程。
从源设备和目的设备的角度,图10是本申请实施例提供的源设备和目的设备之间进行UI组件显示的交互示意图。包括以下内容:
S1001,源设备获取UI组件的配置信息。
例如,该UI组件的配置信息包括UI组件中每一个功能控件的配置信息。每一个功能控件的配置信息可以包括该功能控件的名称、功能、标识ID等信息。
可选地,每一个功能控件的配置信息还可以包括该功能控件在源设备的显示界面的位置信息,例如该功能控件的左上角起始点的坐标信息、该功能控件显示的宽度和高度等。
可选地,每一个功能控件的配置信息还包括用于标识该功能控件是否支持显示到目的设备的信息。
源设备获取每一个功能控件的上述信息,用于在UI组件生成过程中,提取该UI组件中每一个功能控件的上述信息,实现将UI组件显示到目的设备。
应理解,该S1001的过程可以在应用开发过程中,或者,当源设备安装该应用时,源设备获取该应用包括的有限个功能控件的配置信息,以及不同数量的功能控件的不同组合形成的多个UI组件的配置信息。本申请对此不做限定。
示例性地,当用户安装音乐应用时,源设备就可以获取该音乐应用的所有有限个功能控件的配置信息以及不同数量的功能控件的不同组合形成的多个UI组件的配置信息。或者,当用户执行图3中的(k)图示出的操作,选择了三个功能控件时,手机可以获取这三个功能控件的配置信息进行第一UI组件的注册。
S1002,源设备接收用户的第一操作,确定用户选择的第一UI组件,生成该第一UI组件的配置信息。
例如,前述图3中的(k)图示出的用户选择了部分功能控件形成第一UI组件,源设备就可以获取第一UI组件的配置信息,该第一操作为用户选定在所述第一界面中显示的所述第一UI组件的操作。
又例如,前述图4中的(h)图、(i)图和(k)图示出的用户从所述第一应用的多种UI组件列表中的选择了第一UI组件,该第一操作为用户选择所述UI组件列表中的所述第一UI组件的操作。
从S1001中可知,第一UI组件的配置信息可以是应用开发过程中已经生成的,源设备接收到用户选择操作后获取该第一组件的配置信息;或者,当用户选择了三个功能控件之后,源设备再分别提取该三个功能控件的配置信息,根据该三个功能控件的配置信息生成该第一UI组件的配置信息。S1003,源设备向目的设备发送该第一UI组件的配置信息。当用户确定启动本申请提供的UI组件显示功能,并确定了目的设备,如图3中介绍的选定了目的设备为智能手表时,源设备将获取的该第一UI组件的配置信息发送到目的设备。
S1004,目的设备获取该第一UI组件的配置信息,且记录第一UI组件的配置信息。
S1005,目的设备根据第一UI组件的配置信息提取该第一UI组件的显示信息。
S1006,根据该第一UI组件的显示信息显示第一UI组件。
目的设备根据第一UI组件的配置信息确定该第一UI组件的显示信息,例如显示的功能控件的种类和数量、显示尺寸、功能控件的排列、界面的大小等,再根据该显示信息将第一UI组件显示在目的设备的输出界面。以上过程就可以将图3中的(k)图示出的用户选择的音乐应用的三个功能控件形成的第一UI组件显示到智能手表的显示界面。
在将第一UI组件从源设备显示到目的设备的过程中,需要确定该第一UI组件的显示信息,例如第一UI组件显示的大小和位置。本申请中可以通过不同的方式,设置第一UI组件显示到目的设备的界面大小和位置。
方式一
在源设备端生成该第一UI组件的显示信息。
具体地,本申请提供一种软件开发工具包(software development kit,SDK),使得源应用在开发过程中,就可以提供一种设置接口,应用开发者可以通过该接口,生成第一UI组件的配置文件,该配置文件可以包括的内容和相关序列可以表示为:
Figure BDA0002668802320000231
对于以上配置文件的内容这里不再过多赘述。
在方式一中,以上的配置文件的内容可以作为配置信息,由源设备发送到目的设备,目的设备获取以上“dest”部分的内容就可以确定在目的设备的显示界面上,如何显示该第一UI组件。
方式二
在目的设备端确定该第一UI组件的显示信息。
具体地,源设备将第一UI组件的配置信息发送到目的设备,该配置信息中可以不包括上述“dest”部分,即目的设备可以获取该第一UI组件中功能控件在源设备的应用界面的显示情况。目的设备再根据自身的显示屏幕的大小,对该第一UI组件进行缩放,对第一UI组件的全部功能控件进行显示。
以上第一UI组件在显示到目的设备时,所有功能控件可以根据目的设备的显示屏幕的形状和大小进行排列,例如前述图5中的相关介绍,此处不再赘述。
S1007,目的设备检测用户的第二操作。
S1008,目的设备确定该第二操作的操作信息,该信息包括第二操作的事件类型和该第二操作作用的功能控件的ID。
S1009,目的设备向源设备发送该第二操作的操作信息。
S1010,源设备接收目的设备发送的该第二操作的操作信息,根据该第二操作的操作信息确定操作结果。
S1011,源设备执行操作结果。
以上S1007至S1010是第一UI组件显示在智能手表的显示界面后,可以在智能手表的显示界面接收用户的操作,并将操作结果发送到手机上,实现从智能手表的显示界面控制手机的音乐播放过程,从而实现手机和手表操作的同步,示例性的可以参照图7的过程。
在具体的实现过程中,本申请提供的UI组件显示UI组件显示的方法可以基于三个模块的协同配合来实现,具体包括UI组件注册管理模块、服务管理模块和UI组件显示模块模块。
1、UI组件注册管理模块
UI组件注册管理模块,位于源设备的应用程序内部,主要负责UI组件的注册、管理,以及远程调用的最终执行。
其中,UI组件的注册是指源设备确定用户选择的第一UI组件包括的每一个功能控件。具体地,源设备可以知道某应用的有限个功能控件的配置信息,例如每一个功能控件的名称、功能、在原显示界面的位置信息、显示尺寸、类别等信息。此外,每一个功能控件的配置信息还包括用于标识该功能控件是否支持显示到目的设备的信息。源设备可以根据用户选择的一个或多个功能控件,获取该一个或多个功能控件的配置信息,源设备记录用户选择的该一个或多个功能控件为第一UI组件。
UI组件的管理是指源设备接收用户选择的一个或多个功能控件之后,可以由UI组件注册管理模块获取该一个或多个功能控件的配置信息。例如用户选择了音乐应用的三个功能控件,UI组件注册管理模块可以调取该三个功能控件的配置信息。当该三个功能控件的组合已经被记录为第一UI组件,UI组件注册管理模块可以直接调取第一UI组件的配置信息。
UI组件的远程调用可以理解为,该第一UI组件显示到目的设备的显示界面之后,可以在目的设备对该第一UI组件中的任意一个功能控件进行操作。当目的设备将操作结果发送到源设备,由源设备的UI组件注册管理模块执行操作结果。
可选地,本申请提供一套SDK,使得源应用在开发时,就可以实现对UI组件进行注册和管理。
示例性地,源设备音乐应用的UI组件注册管理模块可以获取音乐应用中有限个功能控件的配置信息。对于用户选择的三个功能控件所生成的第一UI组件,可以通过软件开发工具包SDK生成该第一UI组件的配置信息,即获取用户选择的三个功能控件的配置信息,根据三个功能控件的配置信息生成该第一UI组件的配置信息,完成对该第一UI组件的注册过程。
具体地,用户选择了三个功能控件组成的第一UI组件,向源设备音乐应用的UI组件注册管理模块发起第一UI组件的注册请求,UI组件注册管理模块接收该第一UI组件的注册请求,提取音乐应用的三个功能控件的配置信息,生成第一UI组件的配置信息。该第一UI组件的配置信息可以包括该第一UI组件所包括的三个功能控件的名称、功能、在原显示界面的位置信息、显示尺寸、类别等信息。其中,在原显示界面的位置信息可以包括该功能控件的左上角起始点的坐标信息、该功能控件显示的宽度和高度等。此外,每一个功能控件的配置信息还包括用于标识该功能控件是否支持显示到目的设备的信息。
以上就完成了第一UI组件的注册过程。应用开发者在开发应用程序时,使用SDK设置应用中的哪些UI控件可进行投屏,例如,SDK提供了一种XML的配置文件,在该配置文件中设置可投屏的UI控件。当使用该SDK开发的应用安装到终端设备中时,终端设备的操作系统通过该配置文件,可方便地获取到该应用的可投屏的UI控件的信息。
同时该SDK会在应用程序内部注册一个广播接收器,用于监听服务管理模块发送各种广播命令,并调用模块内部的逻辑用于完成当用户需要对显示的UI组件包括的功能控件进行变更时,发送UI组件的更新消息;以及,用户需要从目的设备的输出界面上点击功能控件,并将点击该功能控件实现对该应用的操作结果发送到源设备,最终执行远程操作时。
应理解,配置了UI组件注册管理模块的源设备,可以实现将所有应用程序包括的有限个功能控件进行注册,且内部注册一个或多个UI组件,每一个UI组件包括该应用的一个或多个功能控件,或者每一个UI组件包括用户自定义的一个功能控件的集合。
还应理解,UI组件注册管理模块可以获取某应用的固有界面的部分功能控件的信息,当用户选定了部分功能控件形成第一UI组件,UI组件注册模块可以根据选定的功能控件的信息注册该第一UI组件的配置信息。对于每一个UI组件,UI组件注册管理模块可以配置该每一个UI组件的名称、功能、最小显示尺寸、最大显示尺寸、类别等信息。将每一个UI组件的以上信息统称为该UI组件的配置信息,换言之,一个UI组件的配置信息用于确定该UI组件包括的每一个功能控件的名称、功能、在原显示界面的位置信息、显示尺寸、类别等信息。
在UI组件显示到目的设备的过程中,可以由服务管理模块获取UI组件以及该UI组件的配置信息,从而提取该UI组件的显示信息,用于在目的设备的显示界面上进行显示。
当用户根据当前的使用需求,要变更目的设备显示的UI组件时,例如,用户在智能手表上显示了上一曲选择控件、播放控件和下一曲选择控件,用户需要将收藏控件也显示在智能手表上。在该过程中,首先UI组件注册管理模块获取将添加收藏控件显示的信息,并获取收藏控件的配置信息,将添加收藏控件显示的信息发送到服务管理模块,服务管理模块获取收藏控件的配置信息,形成新的UI组件的配置信息,并将新的UI组件的配置信息发送到目的设备,目的设备的UI组件显示模块获取新的UI组件的显示信息,显示新的UI组件,完成对目的设备的界面更新的过程。
当用户在目的设备对该UI组件进行操作时,UI组件注册管理模块可以接收服务管理模块发送的操作命令,并由源设备的各应用执行最终的操作。
2、服务管理模块
服务管理模块,负责查询管理所有应用程序中已注册的UI组件,更新UI组件的配置信息,并在源设备和目的设备进行同步显示。并且,将用户在目的设备的操作命令的信息传送回源设备并由源设备的应用执行最终的操作,保证源设备和目的设备操作的一致性。
应理解,服务管理模块位于中间层,起到连通UI组件显示模块与UI组件注册管理模块的作用。在实现过程中,服务管理模块可以位于云端服务器中,也可以位于源设备或目的设备中。本申请对此不做限定。
具体地,服务管理模块可以获取应用已注册的UI组件,获取内容可以包括UI组件的名称、功能、最小显示尺寸、最大显示尺寸、类别等配置信息。在获取配置信息的过程中,服务管理模块启动后,会发送全局广播,UI组件注册管理模块接收到该广播后,将已注册的UI组件及配置信息传送给服务管理模块。
此外,服务管理模块可以更新目的设备的显示界面。当源设备的UI组件发生变更时,源设备的组件注册管理模块将新的UI组件的配置信息发送到服务管理模块,服务管理模块将更新后的UI组件的配置信息发送到目的设备,目的设备根据获取的更新后的UI组件的配置信息显示新的UI组件界面。
服务管理模块还可以将目的设备端的用户操作信息传递给源设备,使源设备执行用户在目的设备上输入的操作指令。当用户在目的设备上对UI组件的功能控件进行操作时,操作信息由目的设备的组件显示模块发送到服务管理模块,服务管理模块将该操作信息传送回源设备端的UI组件注册管理模块,并由源设备的应用执行最终的操作。
应理解,服务管理模块内部有一个数据中心,可以记录一个或多个应用已注册的所有UI组件,及其UI组件的配置信息。
还应理解,每一个显示的UI组件,服务管理模块新建一个组件管理者子模块,管理该UI组件的更新、操作等行为。当目的设备端不再显示该UI组件时,服务管理模块暂停或休眠该管理者子模块,以节省系统资源。当UI组件显示模块移除某UI组件时,服务管理模块销毁该组件对应的管理者子模块。
3、UI组件显示模块
UI组件显示模块,存在于目的设备中。主要用于从服务管理模块获取UI组件的配置信息,并选择所需一个或多个UI组件,在自身显示模块中显示该选择的UI组件。此外,UI组件显示模块可以接收服务管理模块的更新命令,并更新UI组件的显示界面。并可以实现将用户的各种操作命令的信息,发送到服务管理模块。
UI组件显示模块,还用于在目的设备显示源设备的UI组件,可以通过服务管理模块获取所有符合当前设备屏幕尺寸要求的UI组件,并提供给用户选择。用户选择要显示的组件后,将用户所选择的UI组件进行显示,并监听接收服务管理模块提供的更新信息,实时的更新UI组件的显示信息。如果用户对该目的设备显示的UI组件进行操作,同时将操作命令发送到服务管理模块,并最终由服务管理模块传送到源设备的组件注册管理模块,并由源设备的应用执行最终的操作。
具体地,UI组件显示模块可以根据目的设备的屏幕尺寸,显示一个或多个UI组件。在具体显示过程中,UI组件显示模块可以获取UI组件的界面数据,这里界面数据可以包括扩展标记语言(extensible markup language,XML)、Javascript对象表示法(Javascriptobject notation,JSON)、领域特殊语言(domain-specific language,DSL)等多种形式,本申请对此不做限定。
UI组件显示模块模块中具备一个解释执行的界面生成子模块,使用该界面生成子模块,可以将界面数据直接还原成源设备的界面。目的设备在界面生成时候还可以根据目的设备屏幕尺寸对源设备界面进行一定的变化。如将从左到右的排序更改为从上到下,将从左到右的排序更改为顺时针或逆时针的圆形排布,例如前述图3和图5中从手机到智能手表的显示过程。同时UI组件显示模块根据当前目的设备的屏幕尺寸可以一次显示一个或多个UI组件,或者将UI组件进行组合同时显示在设备屏幕上,组合的UI组件可以是来自一个应用或多个不同应用的功能控件组合。
此外,所有UI组件在目的设备上显示后,可以保持其在源设备上的操作类型。应理解,该UI组件的一个功能控件在源设备上可以被执行点击和长按操作,其在目的端设备上也可以被执行点击和长按操作;如果该功能控件在源设备上不接受点击和长按操作,其在目的端设备上也无法接受点击和长按操作。
在UI组件的更新过程中,UI组件显示模块需要和服务管理模块保持连接,用于实时的接收UI组件的更新情况,一旦接收到服务管理模块发送的UI组件更新的信息,立即使用新的UI组件的信息更新当前UI组件的显示。
在UI组件的操作过程中,当用户在目的设备的某一UI组件上对某一功能控件进行操作,该操作包括但不限于点击、双击、长按、左右上下滑动等,这些操作信息将被传送到服务管理模块。服务管理模块接收到该操作信息后,将该操作信息传送回源设备的组件注册管理模块,并最终在源设备的应用执行最终的操作。执行后如果UI组件发生更新,这次更新也将按UI组件更新策略更新目的设备UI组件的显示。
以上是执行本申请实施例提供的UI组件显示在目的设备上显示源设备的UI组件过程的三个模块以及功能的介绍,图11是本申请实施例提供的一例UI组件显示在目的设备上显示源设备的UI组件的方法的执行流程图。如图11所示的执行流程,结合上述介绍的三个模块,该UI组件显示过程可以包括以下内容:
1101,UI组件注册管理模块接收源设备上的应用程序的第一UI组件的注册请求。
1102,UI组件注册管理模块根据该第一UI组件的注册请求,生成第一UI组件的配置信息。
例如,该第一UI组件的配置信息包括第一UI组件中每一个功能控件的配置信息。每一个功能控件的配置信息可以包括该功能控件的名称、功能、在原显示界面的位置信息、显示尺寸、类别等信息,其中,在原显示界面的位置信息可以包括该功能控件的左上角起始点的坐标信息、该功能控件显示的宽度和高度等。此外,每一个功能控件的配置信息还包括用于标识该功能控件是否支持显示到目的设备的信息。应理解,在图10的相关介绍中,第一UI组件的配置信息可能在应用开发过程就生成,换言之,步骤1101和1102在应用开发过程就已完成,生成第一UI组件的配置信息。或者,用户在应用运行界面中选择了多个功能控件时,向UI组件注册管理模块发起第一UI组件的注册请求,UI组件注册管理模块接收该第一UI组件的注册请求,提取该第一UI组件包括的多个功能控件的配置信息,生成第一UI组件的配置信息。本申请对此不做限定。
1103,UI组件注册管理模块向服务管理模块发送第一UI组件的配置信息。
1104,服务管理模块接收UI组件注册管理模块发送的第一UI组件的配置信息,获取第一UI组件的配置信息。
1105,服务管理模块提取第一UI组件的显示信息。
1106,服务管理模块向UI组件显示模块发送第一UI组件的显示信息。
1107,UI组件显示模块接收第一UI组件的显示信息,并显示该第一UI组件。
1108,UI组件注册管理模块获取第一UI组件的更新信息,将第一UI组件的更新信息发送到服务管理模块。
1109,服务管理模块获取第一UI组件的更新信息,确定更新后的第二UI组件的显示信息。
1110,服务管理模块向目的设备的UI组件显示模块发送更新后的第二UI组件显示信息。
1111,UI组件显示模块接收更新后的第二UI组件的显示信息。
1112,UI组件显示模块显示第二UI组件。
1113,UI组件显示模块接收用户操作命令的信息。
1114,UI组件显示模块向服务管理模块发送操作命令的信息。
1115,服务管理模块向源设备的UI组件注册管理模块发送操作命令的信息。
1116,源设备的应用执行最终的操作命令。
以上的步骤1101-1107中介绍了UI组件从源设备到目的设备的显示过程,步骤1108-1112中介绍了UI组件的更新过程,步骤1113-1116中介绍了UI组件的操作过程。
上述步骤1113-1116中的UI组件的操作过程,用户的目的设备对UI组件进行操作,目的设备接收用户操作命令的信息,将操作命令的信息发送给服务管理模块,服务管理模块再将该操作命令的信息发送到源应用的UI组件注册管理模块。
应理解,这里传递的操作命令信息可以包括用户操作的该功能控件的标识(identification,ID)信息和触摸事件的类型。在UI组件从源设备到目的设备的显示过程中,UI组件中的第一功能控件在源设备在显示界面中有一个第一ID信息,在目的设备的显示界面中也有一个第二ID信息,对于该第一功能控件,两个ID信息是唯一且一一对应的。用户在目的设备的UI组件中对该第一功能控件执行触摸操作,例如前述列举的点击、长按、滑动等,目的设备可以根据用户的触摸操作确定该触摸操作的类型,生成对该第一功能控件的触摸事件信息,并将该第一ID信息和该触摸事件信息传递到源设备的UI组件注册管理模块。确定第一ID信息对应的第二ID信息就确定出源设备上的第一功能控件,并将该触摸事件的结果响应于该第一功能控件上,从而保证了源设备和目的设备操作的一致性。
应理解,以上所有流程实现都建立在三个模块之间的连接,换言之,该UI组件显示UI组件显示方法基于源设备和目的设备之间建立的连接架构。本申请中,支持多种联网方式,图12是本申请实施例提供的联网方式示意图,包括但不限于以下列举的联网方式。
方式一
作为一种示例而非限定,如图12中的(a)图所示,UI组件注册管理模块1201位于源设备的源应用内部,服务管理模块1202也可以位于源设备。源设备与目的设备通过蓝牙建立连接,或者通过Wi-Fi热点进行连接,例如源设备接入目的设备的Wi-Fi热点,或者目的设备接入源设备的Wi-Fi热点,从而建立UI组件显示模块1203—服务管理模块1202—UI组件注册管理模块1201的连接,本申请对此不做限定。
方式二
作为一种示例而非限定,如图12中的(b)图所示,UI组件注册管理模块1201位于源设备的源应用内部,服务管理模块1202也可以位于源设备。源设备与目的设备连接同一个无线路由节点(access point,AP),如(b)图中示出的路由节点1210。从而建立UI组件显示模块1203—服务管理模块1202—UI组件注册管理模块1201的连接。
方式三
作为一种示例而非限定,如图12中的(c)图所示,UI组件注册管理模块1201位于源设备的源应用内部,服务管理模块1202也可以位于云端服务器1220。源设备与目的设备连接同一个云端服务器,如(b)图中示出的云端服务器1220。从而建立UI组件显示模块1203—服务管理模块1202—UI组件注册管理模块1201的连接。
或者,如图12中的(d)图所示,UI组件注册管理模块1201位于源设备的源应用内部,服务管理模块1202位于云端服务器1220。源设备连接同一个云端服务器,源设备与目的设备通过共享网络建立连接,从而建立UI组件显示模块1203—服务管理模块1202—UI组件注册管理模块1201的连接。共享网络的方式可以包括源设备与目的设备连接在一个AP,或者源设备与目的设备通过Wi-Fi热点进行连接等方式,本申请对此不做限定。
通过以上几种方式,源设备和目的设备建立了连接,保证了UI组件显示模块1203、服务管理模块1202和UI组件注册管理模块1201的连接,可以实现本申请提供的UI组件显示的方法。
上述步骤1001-1006中介绍了UI组件从源设备到目的设备的显示过程,在UI组件注册时,前述介绍了本申请提供一套软件开发工具包SDK,使得源应用在开发时能够方便的对每一种UI组件进行注册和管理。同时该SDK会在应用程序内部注册一个广播接收器,用于监听服务管理模块发送各种广播命令,并调用模块内部的逻辑用于完成UI组件更新的传送,远程操作的最终执行。
示例性地,以音乐应用的一个UI组件为例,应用开发者可以通过软件开发工具包SDK设置该UI组件的配置信息。首先,UI组件注册管理模块可以接收源设备上的应用程序的UI组件的注册请求,将音乐应用运行界面的该UI组件进行注册,生成配置信息。例如配置信息可以包括该UI组件所包括的所有功能控件所在的区域的位置信息,位置信息可以包括该区域的左上角起始点的坐标信息、该区域的宽度和高度等。
其次,确定该UI组件是否可以显示到目的设备的输出界面上,并将用于标记该UI组件是否支持显示到目的设备的信息配置于该UI组件的配置信息中。该配置信息可以包括该UI组件的显示信息以及操作信息,其中,显示信息用于指示目的设备的显示界面如何显示,操作信息用于指示该功能控件被触发时对应的操作指令。
应用开发者可以将该UI组件的配置信息通过软件开发工具包SDK进行注册,使得用户在使用该音乐应用时,可以直接选择该UI组件,将该UI组件显示到目的设备,方便用户操作。
在一种可能的实现方式中,还可以通过用户的手势选择确定需要显示到目的设备的UI组件。图3的(m)图是本申请实施例提供的一例用户手势选择的示意图,如图(m)所示,在手机的音乐应用的播放界面上,用户可以根据目的设备的显示屏幕的尺寸大小和自己对界面上功能控件的使用需求,在界面还是那个选择需要显示到目的设备的功能控件,形成UI组件。例如,用户在音乐播放界面上选择虚线框示出的区域,可以理解为用户选定了上一曲选择控件、播放控件和下一曲选择控件。选择该虚线框示出的区域的操作可以是用户沿着该虚线框示出的区域的对角线的两个位置坐标的滑动操作,例如图中示出的从虚线框的左上角起始坐标位置1,滑动到该区域的右下角的坐标位置2处的滑动操作,或者从虚线框的右下角起始坐标位置2,滑动到该区域的左上的坐标位置1处的滑动操作,本申请对此不做限定。
然后,UI组件注册管理模块1201对选定的功能控件进行注册形成UI组件,并确定UI组件的配置信息,例如该UI组件的名称、功能、最小显示尺寸、最大显示尺寸、功能、类别以及包括的功能控件等信息。
可选地,以上过程可以由UI组件注册管理模块1201确定后,显示在源设备端,用户可以进行更改或设置。例如用户可以根据目的设备的尺寸大小设置该UI组件显示到目的设备的界面的显示尺寸等。
当用户手势选择过程中,选择的区域包括了某一个功能控件的部分显示区域时,电子设备可以将该功能控件包括在生成的UI组件内,也可以将该功能控件排除在生成的UI组件内,或者根据该功能控件的选择部分的面积占该功能控件总面积的比例确定是否包括在UI组件内,本申请对此不做限定。
通过上述方案,在UI组件的注册过程中,用户可以参与到UI组件所包括的应用控件的选择过程,用户可以根据自己的使用频率确定该UI组件是否要包括某一个功能控件,或者用户可以在UI组件显示到目的设备之前,设置该UI组件的显示的尺寸大小,使用方便且显示界面更符合用户的意愿,提高了用户体验。
在一种可能的实现方式中,除了从源应用开发者角度和用户选择选择应用的功能控件的方式确定注册的UI组件之外,还可以从目的设备端设置,在目的设备端定义好显示UI组件的种类和大小。
例如,目的设备为智能手表时,可以在智能手表端设置好某应用的常用UI组件的显示信息。对音乐应用来说,用户最常用的就是上一曲选择控件、播放控件和下一曲选择控件,对这三个功能控件形成的UI组件,提前在智能手表端设置该组件的显示界面尺寸,功能控件的排布顺序,例如前述列举的逆时针排列顺序或者顺时针排列顺序等。在手机的音乐应用显示到智能手表时,可以默认显示该UI组件。
应理解,目的设备端可以设置多种UI组件,并不限于前述举例,用户可以在目的设备端从多种UI组件中该选择当前需要显示的UI组件,本申请对此不做限定。
以上介绍了本申请提供的在目的设备上显示源设备的UI组件的方法可能的实现过程,该方法可以将源设备的原有应用的界面一部分进行拆分出不同的功能控件或者多个功能控件的组合,并将不同的功能控件或者多个功能控件的组合生成新的操作界面,该操作界面可以显示到其它目的设备。目的端设备对于执行对该操作界面上包括的任意一个功能控件的操作,并且操作结果可以传回源设备进行执行,保证了源设备和目的设备操作的一致性。该方法可将用户界面和服务在多个终端设备之间自由传送,打破了不同设备间的瓶颈;将原有应用的界面进行部分拆分,并在多个终端设备间进行传送,拆分后的界面能够更容易的适应多种终端的屏幕尺寸,做到更加完美的显示;目的设备端显示的新的操作界面可以包括同一应用的功能控件或者不同应用的功能控件,打破不同应用间的边界,使得用户在一个界面中即可查看多个应用的功能,并同时对多个应用进行操作,所有操作会被送回源设备的原有应用服务。对于用户来说,可以在源设备和目的设备同时控制应用服务,使用方便,提高了用户体验。
结合上述实施例及相关附图,本申请实施例提供了一种在目的设备上显示源设备的UI组件的方法,该方法可以在如图1、图2所示的具有触摸屏和摄像头的电子设备(例如手机、平板电脑等)中实现。图13是本申请实施例提供的UI组件显示的方法的示意性流程图,该方法可以由源设备或配置于源设备的芯片执行。如图13所示,该方法可以包括以下步骤:
1301,源设备确定第一UI组件,该第一UI组件包括该源设备的第一应用的至少一个功能控件。
在一种可能的实现方式中,源设备显示第一界面,在该第一界面上检测用户的第一操作,响应于该第一操作,源设备确定该第一UI组件。
可选地,该第一界面包括该第一应用的至少一个功能控件,该第一操作为用户选定在该第一界面中显示的该第一UI组件的操作。
示例性的,如图3中的(k)图所示的操作,用户通过在音乐应用界面上选定一个区域,从而确定该区域中的功能控件组成第一UI组件。
或者,该第一界面包括该第一应用的UI组件列表,该UI组件列表中的每一个UI组件包括该第一应用的至少一个功能控件,该第一操作为用户选择该UI组件列表中的该第一UI组件的操作。
示例性的,如图4中的(g)图至(k)图所示的操作,用户通过在投屏组件列表界面上选定一种组件类型,从而确定确定该组件类型种包括的所有功能控件组成第一UI组件。
1302,源设备获取该第一UI组件的配置信息,该第一UI组件的配置信息用于指示该第一UI组件在该目的设备上的显示方式。
1303,源设备向该目的设备发送该第一UI组件的配置信息,以使该目的设备根据该第一UI组件的配置信息显示该第一UI组件。
可选地,该第一UI组件的配置信息包括第一信息,该第一信息用于指示该至少一个功能控件中每一个功能控件在目的设备的显示信息,且该第一信息包括该至少一个功能控件中每一个功能控件在目的设备的位置坐标、显示宽度和显示高度的信息。源设备可以向向目的设备发送该第一信息。
示例性的,如图4中的(m)图和(n)图所示,第一信息可以包括第一UI组件在智能手表显示界面上的起始坐标、长度、高度等信息,用户可以修改该列举的信息,从而修第一UI组件在智能手表的显示方式。
可选地,该第一UI组件的配置信息还包括第二信息,该第二信息用于指示该至少一个功能控件中每一个功能控件的标识ID的信息。
应理解,源设备可以知道第一应用的每一个功能控件的ID信息,当确定第一UI组件之后,将第一UI组件包括的每一个功能控件的ID信息发送目的设备。当用户在目的设备上对该第一UI组件中任意一个功能控件执行了操作,目的设备可以将该功能控件的ID信息和操作事件都发送给源设备,从而源设备可以根据该功能控件的ID信息和操作事件的信息,确定第一应用的第一功能控件,并执行该第一功能控件对应的功能。
示例性的,如图7中的(a)图所示,用户在智能手表侧点击音乐播放控件进入暂停播放状态,手机侧暂停播放音乐,且该控件显示为暂停播放状态。
或者,如图7中的(b)图所示,用户在手机侧点击音乐播放控件,智能手表侧的该控件也显示为播放状态。
可选地,该第一UI组件的配置信息还包括第三信息,该第三信息用于指示该至少一个功能控件中每一个功能控件的名称、功能的信息。
示例性的,如前述相关配置文件和相关序列的介绍中列举的各种信息,此处不再赘述。
可选地,该第一UI组件的配置信息还包括第四信息,该第四信息用于标识该第一UI组件中每一个功能控件是否支持显示到目的设备的信息,以及源设备根据该第四信息,确定第一UI组件中每一个功能控件支持显示到目的设备。
相应地,图14是本申请实施例提供的又一例UI组件显示的方法的示意性流程图,如图14所示,该方法可以由目的设备或配置于目的设备的芯片执行。具体包括以下步骤:
1401,目的设备接收源设备发送的第一UI组件的配置信息,该第一UI组件的配置信息用于指示该第一UI组件在目的设备上的显示方式,该第一UI组件包括源设备的第一应用的至少一个功能控件。
1402,目的设备根据该第一UI组件的配置信息,显示该第一UI组件。
可以理解的是,源设备和目的设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对源设备和目的设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图15示出了上述实施例中涉及的电子设备1500的一种可能的组成示意图,如图15所示,该电子设备1500可以为源设备时,包括:处理单元1501、获取单元1502和发送单元1503。
其中,处理单元1501可以用于支持电子设备1500执行上述步骤1301等,和/或用于本文所描述的技术的其他过程。
获取单元1502可以用于支持电子设备1500执行上述步骤1302等,和/或用于本文所描述的技术的其他过程。
发送单元1503可以用于支持电子设备1500执行上述步骤1303等,和/或用于本文所描述的技术的其他过程。
图16示出了上述实施例中涉及的电子设备1600的一种可能的组成示意图,如图16所示,该电子设备1600为目的设备时,可以包括:接收单元1601和处理单元1602。
其中,接收单元1601可以用于支持电子设备1600执行上述步骤1401等,和/或用于本文所描述的技术的其他过程。
处理单元1602可以用于支持电子设备1600执行上述步骤1402等,和/或用于本文所描述的技术的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例提供的电子设备,用于执行上述UI组件显示的方法,因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下,电子设备可以包括处理模块、存储模块和通信模块。其中,处理模块可以用于对电子设备的动作进行控制管理,例如,可以用于支持电子设备执行上述源设备和目的设备执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块,可以用于支持电子设备与其他设备的通信。
其中,处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。
在一个实施例中,当处理模块为处理器,存储模块为存储器时,本实施例所涉及的电子设备可以为具有图1所示结构的设备。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的UI组件显示的方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的UI组件显示的方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的UI组件显示的方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (21)

1.一种用户界面UI组件的方法,其特征在于,所述方法包括:
源设备显示第一界面,所述第一界面包括所述源设备的第一应用的UI组件列表,或者所述源设备的第一应用的第一功能控件和第二功能控件,所述UI组件列表包括所述第一应用的所述第一功能控件和所述第二功能控件;
响应于在所述第一界面上检测到用户选择所述第一功能控件的第一操作,所述源设备确定第一UI组件,所述第一UI组件包括所述第一功能控件;
所述源设备获取所述第一UI组件的配置信息,所述第一UI组件的配置信息用于指示所述第一UI组件在目的设备上的显示方式;
所述源设备向所述目的设备发送所述第一UI组件的配置信息,以使所述目的设备根据所述第一UI组件的配置信息显示所述第一UI组件而不显示所述第二功能控件。
2.根据权利要求1所述的方法,其特征在于,所述第一操作为用户选定在所述第一界面中显示的所述第一UI组件的操作;或者
所述第一操作为用户选择所述UI组件列表中的所述第一UI组件的操作。
3.根据权利要求1至2中任一项所述的方法,其特征在于,所述第一UI组件的配置信息包括第一信息,所述第一信息包括所述第一功能控件在所述目的设备的位置坐标、显示宽度和显示高度的信息;以及
所述源设备向所述目的设备发送所述第一UI组件的配置信息,包括:
所述源设备向所述目的设备发送所述第一信息。
4.根据权利要求1至2中任一项所述的方法,其特征在于,所述第一UI组件的配置信息还包括第二信息,所述第二信息用于指示所述第一功能控件的标识信息。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
所述源设备接收所述目的设备发送的第二操作的操作信息,所述第二操作用于触发目的设备显示的所述第一UI组件中的第一功能控件,且所述第二操作的操作信息包括所述第一功能控件的第二信息;
所述源设备根据所述第二操作的操作信息,确定所述第一功能控件的标识;
所述源设备根据所述第一功能控件的标识,确定第一功能控件;
所述源设备执行所述第一功能控件对应的功能。
6.根据权利要求5所述的方法,其特征在于,所述第二操作用于触发所述第一UI组件中的第一功能控件在所述目的设备上显示为第一状态,以及
所述源设备执行所述第一功能控件对应的功能,包括:
所述源设备的所述第一应用根据所述第二操作的操作信息和所述第一功能控件,执行与所述第一功能控件的第一状态对应的功能,且所述第一功能控件显示为所述第一状态。
7.根据权利要求1至2中任一项所述的方法,其特征在于,所述第一UI组件的配置信息还包括第三信息,所述第三信息用于指示所述第一功能控件的名称、功能的信息。
8.根据权利要求1至2中任一项所述的方法,其特征在于,所述第一UI组件的配置信息还包括第四信息,所述第四信息用于标识所述第一UI组件中每一个功能控件是否支持显示到所述目的设备的信息,以及
所述源设备确定第一UI组件,还包括:
所述源设备根据所述第四信息,确定第一UI组件中每一个功能控件支持显示到所述目的设备。
9.根据权利要求6所述的方法,其特征在于,所述源设备为手机,所述目的设备为智能手表,所述第一应用为音乐应用;所述第一功能控件为所述音乐应用的播放控件,所述第一状态为播放状态;所述第二操作为点击处于暂停播放状态的所述播放控件;
所述源设备的所述第一应用根据所述第二操作的操作信息和所述第一功能控件,执行与所述第一功能控件的第一状态对应的功能,且所述第一功能控件显示为所述第一状态,具体为:
所述手机的音乐应用根据所述第二操作的信息和所述播放控件,播放音乐,并所述手机上的音乐应用的播放控件显示为播放状态。
10.根据权利要求6所述的方法,其特征在于,所述源设备为手机,所述目的设备为智能手表,所述第一应用为音乐应用;所述第一功能控件为所述音乐应用的下一曲控件,上一曲控件,或收藏控件。
11.根据权利要求9或10所述的方法,其特征在于,还包括:
所述智能手表接收切换操作;
所述智能手表根据所述切换操作将显示所述第一功能控件的界面切换至所述智能手表的主界面。
12.根据权利要求1所述的方法,其特征在于,所述源设备为手机,所述目的设备为车载终端的控制面板;所述车载终端的控制面板同时显示所述第一UI组件和车载系统的应用,或者所述车载终端的控制面板同时显示所述第一UI组件和所述手机的其他应用界面。
13.一种在目的设备上显示源设备的UI组件的方法,其特征在于,所述方法包括:
所述目的设备接收所述源设备发送的第一UI组件的配置信息,所述第一UI组件的配置信息用于指示所述第一UI组件在所述目的设备上的显示方式,所述第一UI组件包括所述源设备的第一应用的第一功能控件,所述第一UI组件由所述源设备响应于在其显示的第一界面上检测到用户选择所述第一功能控件的第一操作确定;
所述目的设备根据所述第一UI组件的配置信息,显示所述第一UI组件而不显示所述第一界面的第二功能控件。
14.根据权利要求13所述的方法,其特征在于,所述第一UI组件的配置信息包括第一信息,所述第一信息包括所述第一功能控件在所述目的设备的位置坐标、显示宽度和显示高度的信息;以及
所述目的设备接收所述源设备发送的第一UI组件的配置信息,包括:
所述目的设备接收所述源设备发送的所述第一信息。
15.根据权利要求13或14所述的方法,其特征在于,所述第一UI组件的配置信息还包括第二信息,所述第二信息用于指示所述第一功能控件的标识信息。
16.根据权利要求15所述的方法,其特征在于,所述方法还包括:
所述目的设备检测用户的第二操作,所述第二操作用于触发目的设备显示的所述第一UI组件中的第一功能控件;
所述目的设备根据所述第二操作,确定所述第一功能控件的标识;
所述目的设备向所述源设备发送所述第二操作的操作信息,所述第二操作的操作信息包括所述第一功能控件的标识。
17.根据权利要求16所述的方法,其特征在于,所述第二操作用于触发所述第一UI组件中的第一功能控件在所述目的设备上显示为第一状态, 以及所述第二操作的操作信息还用于指示所述源设备的所述第一应用执行与所述第一功能控件的第一状态对应的功能,且所述第一功能控件在所述源设备显示为所述第一状态。
18.根据权利要求13至14中任一项所述的方法,其特征在于,所述第一UI组件的配置信息还包括第三信息,所述第三信息用于指示所述第一功能控件的名称、功能的信息。
19.根据权利要求13至14中任一项所述的方法,其特征在于,所述第一UI组件的配置信息还包括第四信息,所述第四信息用于标识所述第一UI组件中每一个功能控件是否支持显示到所述目的设备的信息,以及
所述目的设备根据所述第一UI组件的配置信息,显示所述第一UI组件,还包括:
所述目的设备根据所述第四信息,显示所述第一UI组件中支持显示到所述目的设备的每一个功能控件。
20.一种电子设备,其特征在于,包括:
处理器;
存储器,存储有指令代码;
当所述指令代码被所述处理器执行时,使得所述电子设备执行如权利要求1-12中任一项所述的方法。
21.一种电子设备,其特征在于,包括:
处理器;
存储器,存储有指令代码;
多个应用程序;
当所述指令代码被所述处理器执行时,使得所述电子设备执行如权利要求13-19中任一项所述的方法。
CN202010927052.9A 2019-03-06 2019-03-06 Ui组件显示的方法及电子设备 Active CN112231025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010927052.9A CN112231025B (zh) 2019-03-06 2019-03-06 Ui组件显示的方法及电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910169513.8A CN111666119B (zh) 2019-03-06 2019-03-06 Ui组件显示的方法及电子设备
CN202010927052.9A CN112231025B (zh) 2019-03-06 2019-03-06 Ui组件显示的方法及电子设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910169513.8A Division CN111666119B (zh) 2019-03-06 2019-03-06 Ui组件显示的方法及电子设备

Publications (2)

Publication Number Publication Date
CN112231025A CN112231025A (zh) 2021-01-15
CN112231025B true CN112231025B (zh) 2022-12-06

Family

ID=72337183

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910169513.8A Active CN111666119B (zh) 2019-03-06 2019-03-06 Ui组件显示的方法及电子设备
CN202010927052.9A Active CN112231025B (zh) 2019-03-06 2019-03-06 Ui组件显示的方法及电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910169513.8A Active CN111666119B (zh) 2019-03-06 2019-03-06 Ui组件显示的方法及电子设备

Country Status (5)

Country Link
US (1) US11385857B2 (zh)
EP (1) EP3907597A4 (zh)
JP (1) JP2022523989A (zh)
CN (2) CN111666119B (zh)
WO (1) WO2020177622A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269510B (zh) * 2020-10-29 2022-03-25 维沃移动通信(杭州)有限公司 信息处理方法、装置及电子设备
WO2022088088A1 (zh) * 2020-10-30 2022-05-05 京东方科技集团股份有限公司 一种终端的应用管理方法及系统
CN112331202B (zh) * 2020-11-04 2024-03-01 北京奇艺世纪科技有限公司 一种语音投屏方法及装置、电子设备和计算机可读存储介质
CN112286618A (zh) * 2020-11-16 2021-01-29 Oppo广东移动通信有限公司 设备协作方法、装置、系统、电子设备和存储介质
CN115145439A (zh) * 2020-11-16 2022-10-04 Oppo广东移动通信有限公司 桌面元数据的显示方法、访问方法及相关装置
CN114661258A (zh) * 2020-12-23 2022-06-24 华为技术有限公司 自适应显示方法、电子设备及存储介质
CN115145519A (zh) * 2021-03-31 2022-10-04 华为技术有限公司 一种显示方法、电子设备和系统
CN113093977A (zh) * 2021-04-12 2021-07-09 Tcl通讯(宁波)有限公司 移动终端手表的设置方法、装置、智能终端及存储介质
CN115390705A (zh) * 2021-05-25 2022-11-25 荣耀终端有限公司 通知方法、相关装置及系统
CN116661922A (zh) * 2021-12-25 2023-08-29 荣耀终端有限公司 一种终端使用的提示方法、终端及存储介质
CN116964553A (zh) * 2022-01-27 2023-10-27 京东方科技集团股份有限公司 投屏方法及装置、电子设备、计算机可读介质
CN116560536A (zh) * 2022-01-28 2023-08-08 华为技术有限公司 应用组件设置方法及相关设备
WO2023142940A1 (zh) * 2022-01-28 2023-08-03 华为技术有限公司 应用组件分享方法及相关设备
CN116560535A (zh) * 2022-01-28 2023-08-08 华为技术有限公司 应用组件管理方法及相关设备
CN117093068A (zh) * 2022-05-12 2023-11-21 华为技术有限公司 基于穿戴设备的振动反馈方法、系统、穿戴设备和电子设备
CN114915607B (zh) * 2022-07-18 2022-10-11 荣耀终端有限公司 一种通知消息的处理方法、电子设备及系统
CN116048708B (zh) * 2023-03-31 2024-02-23 成都齐之之知识产权运营有限公司 基于人工智能的软件窗口调整方法、系统、设备和介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8054294B2 (en) * 2006-03-31 2011-11-08 Sony Corporation Touch screen remote control system for use in controlling one or more devices
US9965035B2 (en) * 2008-05-13 2018-05-08 Apple Inc. Device, method, and graphical user interface for synchronizing two or more displays
KR101615624B1 (ko) * 2009-02-27 2016-04-26 삼성전자주식회사 원격 사용자 인터페이스 디바이스를 제어하는 장치 및 방법
GB201001728D0 (en) * 2010-02-03 2010-03-24 Skype Ltd Screen sharing
WO2011161966A1 (ja) * 2010-06-25 2011-12-29 パナソニック株式会社 制御装置およびスクリプト変換方法
US9104290B2 (en) * 2011-02-11 2015-08-11 Samsung Electronics Co., Ltd. Method for controlling screen of mobile terminal
KR20120100045A (ko) 2011-03-02 2012-09-12 삼성전자주식회사 사용자 단말 장치, 디스플레이 장치, 그 ui 제공 방법 및 제어 방법
CN102841790A (zh) 2012-07-02 2012-12-26 北京大学 面向异构终端的Web应用界面动态适配方法
CN103513978B (zh) 2012-07-02 2016-07-13 Tcl集团股份有限公司 一种根据应用的属性信息管理应用布局的方法及系统
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US20140181683A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd. Method and system for controlling external device
KR102084633B1 (ko) * 2013-09-17 2020-03-04 삼성전자주식회사 화면 미러링 방법 및 그에 따른 소스 기기
CN104699364B (zh) * 2013-12-10 2020-04-24 中兴通讯股份有限公司 应用的控制组件显示方法和系统
CN103729125A (zh) * 2013-12-30 2014-04-16 宇龙计算机通信科技(深圳)有限公司 一种数据共享操作方法及终端
KR102418119B1 (ko) * 2014-08-25 2022-07-07 삼성전자 주식회사 시계 화면 구성 방법 및 이를 구현한 웨어러블 전자장치
JP2016053773A (ja) * 2014-09-03 2016-04-14 コニカミノルタ株式会社 共有表示システム及び共有表示制御プログラム並びに共有表示制御方法
KR102269481B1 (ko) * 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
US20160182603A1 (en) * 2014-12-19 2016-06-23 Microsoft Technology Licensing, Llc Browser Display Casting Techniques
KR20170061489A (ko) 2015-11-26 2017-06-05 삼성전자주식회사 전자 기기 및 이의 운송 기기 제어 방법
CN105592351A (zh) * 2015-12-17 2016-05-18 惠州Tcl移动通信有限公司 基于移动终端实现播放内容同步的方法、系统及终端
US20170242648A1 (en) 2016-02-19 2017-08-24 RAPC Systems, Inc. Combined Function Control And Display And System For Displaying And Controlling Multiple Functions
KR102627518B1 (ko) * 2016-09-02 2024-01-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
CN108021310A (zh) 2016-10-28 2018-05-11 中国电信股份有限公司 手机页面构建方法和装置
CN108268197A (zh) * 2016-12-30 2018-07-10 乐视汽车(北京)有限公司 反向控制方法、移动设备、车载显示设备及系统
CN107071551B (zh) * 2017-04-26 2020-07-24 四川长虹电器股份有限公司 应用于智能电视系统中的多屏互动屏幕响应方法
CN107423062B (zh) 2017-07-12 2019-02-01 珠海格力电器股份有限公司 一种投影仪控制方法及其装置
CN108509237A (zh) * 2018-01-19 2018-09-07 广州视源电子科技股份有限公司 智能交互平板的操作方法、装置以及智能交互平板
CN108829320A (zh) * 2018-06-21 2018-11-16 Oppo广东移动通信有限公司 交互方法、装置、存储介质、移动终端及交互系统
CN109274828B (zh) * 2018-09-30 2021-01-15 华为技术有限公司 一种生成截图的方法、控制方法及电子设备
CN110377250B (zh) 2019-06-05 2021-07-16 华为技术有限公司 一种投屏场景下的触控方法及电子设备
CN110389736A (zh) 2019-06-05 2019-10-29 华为技术有限公司 一种投屏显示方法及电子设备

Also Published As

Publication number Publication date
WO2020177622A1 (zh) 2020-09-10
CN112231025A (zh) 2021-01-15
JP2022523989A (ja) 2022-04-27
US20220050656A1 (en) 2022-02-17
EP3907597A4 (en) 2022-03-23
EP3907597A1 (en) 2021-11-10
US11385857B2 (en) 2022-07-12
CN111666119B (zh) 2023-11-21
CN111666119A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN112231025B (zh) Ui组件显示的方法及电子设备
CN114467297B (zh) 一种应用于电子设备的视频通话的显示方法及相关装置
CN113794800B (zh) 一种语音控制方法及电子设备
CN110058777B (zh) 快捷功能启动的方法及电子设备
CN110138959B (zh) 显示人机交互指令的提示的方法及电子设备
CN114125130B (zh) 控制通信服务状态的方法、终端设备和可读存储介质
CN112543447A (zh) 基于通讯录的设备发现方法、音视频通信方法及电子设备
CN115129196A (zh) 一种应用图标的显示方法及终端
CN114089932A (zh) 多屏显示方法、装置、终端设备及存储介质
CN114115770A (zh) 显示控制的方法及相关装置
CN113641271A (zh) 应用窗口的管理方法、终端设备及计算机可读存储介质
CN113141483A (zh) 基于视频通话的共享屏幕方法及移动设备
CN112449101A (zh) 一种拍摄方法及电子设备
CN114064160A (zh) 应用图标布局方法及相关装置
CN114444000A (zh) 页面布局文件的生成方法、装置、电子设备以及可读存储介质
CN110286975B (zh) 一种前景元素的显示方法和电子设备
CN114995715B (zh) 悬浮球的控制方法和相关装置
CN113438366A (zh) 信息通知的交互方法、电子设备和存储介质
CN113380240B (zh) 语音交互方法和电子设备
CN113645595B (zh) 设备交互方法和装置
CN115706916A (zh) 一种基于位置信息的Wi-Fi连接方法及装置
CN114003241A (zh) 应用程序的界面适配显示方法、系统、电子设备和介质
CN114093368A (zh) 跨设备声纹注册方法、电子设备及存储介质
CN113950045A (zh) 签约数据的下载方法和电子设备
CN113867851A (zh) 电子设备操作引导信息录制方法、获取方法和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant