CN114489533A - 投屏方法、装置、电子设备及计算机可读存储介质 - Google Patents

投屏方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114489533A
CN114489533A CN202011271351.8A CN202011271351A CN114489533A CN 114489533 A CN114489533 A CN 114489533A CN 202011271351 A CN202011271351 A CN 202011271351A CN 114489533 A CN114489533 A CN 114489533A
Authority
CN
China
Prior art keywords
screen projection
screen
content
image
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011271351.8A
Other languages
English (en)
Inventor
张继平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011271351.8A priority Critical patent/CN114489533A/zh
Priority to PCT/CN2021/129765 priority patent/WO2022100610A1/zh
Publication of CN114489533A publication Critical patent/CN114489533A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

本申请适用于终端技术领域,提供了一种投屏方法、装置、电子设备及计算机可读存储介质。在本申请提供的投屏方法中,第一设备响应于内容选定操作,确定投屏内容,并对投屏内容进行处理,得到投屏图像。第一设备通过上述投屏方法进行投屏时,用户通过内容选定操作自行选定投屏内容,第一设备针对性地进行投屏,从而避免投屏图像中出现用户不想投屏的内容。

Description

投屏方法、装置、电子设备及计算机可读存储介质
技术领域
本申请属于终端技术领域,尤其涉及一种投屏方法、装置、电子设备及计算机可读存储介质。
背景技术
投屏是将一个电子设备的屏幕画面实时传递至另一个电子设备的屏幕进行显示的技术。
然而,在当前的投屏方案中,大多是将投屏端的电子设备的屏幕上当前显示的所有内容投屏到被投屏端的电子设备的屏幕上进行显示。
投屏方式单一,而且被投屏端可能出现用户不想投屏的内容。
发明内容
本申请实施例提供了一种投屏方法、装置、电子设备及计算机可读存储介质,可以解决当前的投屏方案投屏方式单一,且被投屏端有可能出现用户不想投屏的内容的问题。
第一方面,本申请实施例提供了一种投屏方法,包括:
第一设备将第一显示界面中被内容选定操作选中的对象确定为投屏内容,所述第一显示界面为所述第一设备当前屏幕显示的界面;
所述第一设备对所述投屏内容进行处理,得到投屏图像;
所述第一设备向第二设备发送所述投屏图像,所述投屏图像用于在所述第二设备的屏幕上显示。
需要说明的是,内容选定操作为用户对第一设备的操作。用户可以通过内容选定操作在第一设备当前屏幕显示的界面(即第一显示界面)中选择需要投屏的内容。
当第一设备检测到内容选定操作时,第一设备可以将第一显示界面中被内容选定操作选中的对象确定为投屏内容。
在确定了投屏内容之后,第一设备可以对投屏内容进行处理,得到投屏图像。
在得到投屏图像之后,第一设备可以根据预设的投屏协议对投屏图像进行编码,以编码数据的形式将投屏图像传递至第二设备。
第二设备接收到编码数据之后,可以对编码数据进行解码,得到投屏图像,将投屏图像显示在第二设备的屏幕上,完成本次的投屏操作。
内容选定操作的形式可以根据实际需求进行设置。例如,内容选定操作可以包括点击、拖动、长按等操作中的任意一种或多种的组合。
在第一方面的一种可能的实现方式中,所述投屏内容为文字和/或图像。
需要说明的是,上述投屏内容的形式根据实际需求进行设置。例如,在一些应用场景中,第一设备可以将投屏内容设置为文字,即用户可以选择文字进行投屏。在另一些应用场景中,第一设备可以将投屏内容设置为图像,即用户可以选择图像进行投屏。在另一些应用场景中,第一设备还可以将投屏内容设置为文字和图像。在另一些应用场景中,第一设备也可以将投屏内容设置为其他类型的对象。
在第一方面的一种可能的实现方式中,在所述第一设备将第一显示界面中被内容选定操作选中的对象确定为投屏内容之后,还包括:
所述第一设备检测是否已建立投屏连接;
若所述第一设备未建立投屏连接,则所述第一设备执行搜索操作,并显示第一列表,所述第一列表用于显示被搜索到的电子设备;
所述第一设备响应于对所述第一列表的选择操作,从所述被搜索到的电子设备中确定第二设备;
所述第一设备与所述第二设备建立投屏连接。
需要说明的是,第一设备在确定了投屏内容之后,可以检测是否已建立投屏连接。
如果第一设备未建立投屏连接,则第一设备可以执行搜索操作,搜索周围可被投屏的电子设备,并将搜索到的电子设备以第一列表的形式展示为用户。
用户在查看了第一列表之后,可以对第一列表执行选择操作,从第一列表中选择第二设备。
当第一设备检测到选择操作时,第一设备根据选择操作从被搜索到的电子设备中确定第二设备,并与第二设备建立投屏连接。
在第一方面的一种可能的实现方式中,所述第一设备对所述投屏内容进行处理,得到投屏图像,包括:
所述第一设备获取所述投屏内容所在的目标图层;
所述第一设备对所述目标图层进行合成,得到投屏图像。
需要说明的是,第一设备在生成投屏图像时,可以获取投屏内容所在目标图层。
由于同一图层中的数据属于同一应用程序,因此目标图层的内容可视为与投屏内容强关联的内容。
此时,第一设备可以对目标图层进行合成,得到投屏图像。投屏图像中仅包含投屏内容以及与投屏内容强关联的内容,没有其他图层干扰,提高了投屏的准确性。
在第一方面的一种可能的实现方式中,所述第一设备对所述投屏内容进行处理,得到投屏图像,包括:
所述第一设备获取所述第一显示界面的显示图像以及所述投屏内容的位置信息;
所述第一设备根据所述位置信息对所述显示图像进行截取操作,得到目标区域的截取图形数据,所述目标区域为所述投屏内容所在的区域;
所述第一设备对所述截取图形数据进行合成,得到投屏图像。
需要说明的是,第一设备在生成投屏图像时,也可以获取投屏内容的位置信息以及第一设备当前屏幕显示的界面的图像(即第一显示界面的显示图像)。
第一设备在获取到投屏内容的位置信息之后,可以根据位置信息确定目标区域(即投屏内容所在的区域)。
然后,第一设备可以截取显示图像中目标区域的图形数据,得到截取图形数据。
之后,第一设备可以对截取图形数据进行合成,得到投屏图像。
由于第一设备是根据投屏内容自动确定目标区域,不是用户手动选取目标区域,因此,通过上述方法进行投屏时,可以提高框选目标区域的准确性,避免目标区域中存在用户不想投屏的内容,从而提高投屏的准确性。
在第一方面的一种可能的实现方式中,所述第一设备对所述投屏内容进行处理,得到投屏图像,包括:
所述第一设备获取所述投屏内容所在的目标图层以及所述投屏内容的位置信息;
所述第一设备根据所述位置信息对所述目标图层进行截取操作,得到目标区域的区域图形数据,所述目标区域为所述投屏内容所在的区域;
所述第一设备对所述区域图形数据进行合成,得到投屏图像。
需要说明的是,第一设备在生成投屏图像时,也可以先获取投屏图像所在的目标图层以及投屏内容的位置信息。
然后,第一设备可以根据上述位置信息对目标图层进行截取操作,得到目标区域的区域图形数据。
上述目标图层可以是一个图层,或者,也可以是多个图层。相应的,上述区域图形数据可以是一个或多个。
上述对区域图形数据进行合成是指将一个或多个目标图层对应的区域图形数据合成为一张投屏图像。
通过上述方法生成投屏图像,可以确保投屏图像中仅存在被选中的投屏内容,且投屏内容不会被其他无关图层的内容遮挡,提高了投屏的准确性。
在第一方面的一种可能的实现方式中,所述第一设备对所述投屏内容进行处理,得到投屏图像,包括:
所述第一设备获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到第一内容;
所述第一设备对所述第一内容对应的图形数据进行渲染,得到投屏图像。
需要说明的是,第一设备在生成投屏图像时,可以先获取第二设备的投屏配置信息,根据投屏配置信息对投屏内容进行排版,得到第一内容。
之后,第一设备可以获取第一内容对应的图形数据,对第一内容对应的图形数据进行渲染和合成,得到投屏图像。
在第一方面的一种可能的实现方式中,所述第一设备获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到第一内容,包括:
所述第一设备获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到排版后的投屏内容;
所述第一设备将所述排版后的投屏内容设置为第一内容。
需要说明的是,第一设备在确定了投屏内容之后,可以仅对本次确定的投屏内容进行投屏。
此时,第一设备可以根据投屏配置信息对投屏内容进行排版,得到排版后的投屏内容。
然后,第一设备将排版后的投屏内容设置为第一内容,清除、覆盖或替换前一次生成的第一内容。
在第一方面的一种可能的实现方式中,所述第一设备获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到第一内容,包括:
所述第一设备获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到排版后的投屏内容;
所述第一设备对上一次生成的第一内容和所述排版后的投屏内容进行组合,得到新的第一内容。
需要说明的是,第一设备在确定了投屏内容之后,也可以将本次确定的投屏内容与上一次生成的第一内容合并投屏。
此时,第一设备可以根据投屏配置信息对投屏内容进行排版,得到排版后的投屏内容。
然后,第一设备对上一次生成的第一内容和排版后的投屏内容进行组合,得到新的第一内容。
组合的方式可以根据实际需求进行设置。例如,在一些应用场景中,可以将排版后的投屏内容续接在上一次生成的第一内容的末尾,得到新的第一内容。
在第一方面的一种可能的实现方式中,所述投屏配置信息包括所述第二设备的屏幕分辨率和/或所述第二设备的屏幕尺寸。
需要说明的是,上述投屏配置信息可以包括第二设备的屏幕分辨率、第二设备的屏幕尺寸、字体、颜色、字号等信息中的任意一种或多种的组合。
第二方面,本申请实施例提供了一种投屏装置,包括:
内容选定模块,用于将第一显示界面中被内容选定操作选中的对象确定为投屏内容,所述第一显示界面为第一设备当前屏幕显示的界面;
图像生成模块,用于对所述投屏内容进行处理,得到投屏图像;
图像发送模块,用于向第二设备发送所述投屏图像,所述投屏图像用于在所述第二设备的屏幕上显示。
在第二方面的一种可能的实现方式中,所述投屏内容为文字和/或图像。
在第二方面的一种可能的实现方式中,所述装置还包括:
连接检测模块,用于检测是否已建立投屏连接;
设备搜索模块,用于若所述第一设备未建立投屏连接,则执行搜索操作,并显示第一列表,所述第一列表用于显示被搜索到的电子设备;
设备选择模块,用于响应于对所述第一列表的选择操作,从所述被搜索到的电子设备中确定第二设备;
连接建立模块,用于与所述第二设备建立投屏连接。
在第二方面的一种可能的实现方式中,所述图像生成模块,包括:
目标图层子模块,用于获取所述投屏内容所在的目标图层;
图层合成子模块,用于对所述目标图层进行合成,得到投屏图像。
在第二方面的另一种可能的实现方式中,所述图像生成模块,包括:
位置获取子模块,用于获取所述第一显示界面的显示图像以及所述投屏内容的位置信息;
位置截取子模块,用于根据所述位置信息对所述显示图像进行截取操作,得到目标区域的截取图形数据,所述目标区域为所述投屏内容所在的区域;
截取合成子模块,用于对所述截取图形数据进行合成,得到投屏图像。
在第二方面的另一种可能的实现方式中,所述图像生成模块,包括:
目标获取子模块,用于获取所述投屏内容所在的目标图层以及所述投屏内容的位置信息;
区域截取子模块,用于根据所述位置信息对所述目标图层进行截取操作,得到目标区域的区域图形数据,所述目标区域为所述投屏内容所在的区域;
图像合成子模块,用于对所述区域图形数据进行合成,得到投屏图像。
在第二方面的另一种可能的实现方式中,所述图像生成模块,包括:
内容排版子模块,用于获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到第一内容;
图像渲染子模块,用于对所述第一内容对应的图形数据进行渲染,得到投屏图像。
在第二方面的一种可能的实现方式中,所述内容排版子模块,包括:
第一排版子模块,用于获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到排版后的投屏内容;
内容设置子模块,用于将所述排版后的投屏内容设置为第一内容。
在第二方面的另一种可能的实现方式中,所述内容排版子模块,包括:
第二排版子模块,用于获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到排版后的投屏内容;
内容合并子模块,用于对上一次生成的第一内容和所述排版后的投屏内容进行组合,得到新的第一内容。
在第二方面的一种可能的实现方式中,所述投屏配置信息包括所述第二设备的屏幕分辨率和/或所述第二设备的屏幕尺寸。
第三方面,提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,电子设备实现如上述方法的步骤。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,使得电子设备实现如上述方法的步骤。
第五方面,提供了一种芯片系统,所述芯片系统可以为单个芯片,或者多个芯片组成的芯片模组,所述芯片系统包括存储器和处理器,所述处理器执行所述存储器中存储的计算机程序,以实现如上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:
在本申请提供的投屏方法中,第一设备响应于用户的内容选定操作,确定投屏内容。之后,第一设备对投屏内容进行处理,得到投屏图像,并向第二设备发送投屏图像。
当第一设备通过上述投屏方法进行投屏时,第一设备不会将第一显示界面的全部内容投屏至第二设备,而是根据被选中的投屏内容针对性地进行投屏,投屏方式灵活,避免出现用户不想投屏的内容,具有较强的易用性和实用性。
附图说明
图1是本申请实施例提供的一种投屏系统的结构示意图;
图2是本申请实施例提供的一种应用场景的示意图;
图3是本申请实施例提供的另一种应用场景的示意图;
图4是本申请实施例提供的另一种应用场景的示意图;
图5是本申请实施例提供的另一种应用场景的示意图;
图6是本申请实施例提供的另一种应用场景的示意图;
图7是本申请实施例提供的另一种应用场景的示意图;
图8是本申请实施例提供的另一种应用场景的示意图;
图9是本申请实施例提供的另一种应用场景的示意图;
图10是本申请实施例提供的另一种应用场景的示意图;
图11是本申请实施例提供的另一种应用场景的示意图;
图12是本申请实施例提供的另一种应用场景的示意图;
图13是本申请实施例提供的另一种应用场景的示意图;
图14是本申请实施例提供的另一种应用场景的示意图;
图15是本申请实施例提供的另一种应用场景的示意图;
图16是本申请实施例提供的另一种应用场景的示意图;
图17是本申请实施例提供的另一种应用场景的示意图;
图18是本申请实施例提供的另一种应用场景的示意图;
图19是本申请实施例提供的另一种应用场景的示意图;
图20是本申请实施例提供的另一种应用场景的示意图;
图21是本申请实施例提供的另一种应用场景的示意图;
图22是本申请实施例提供的另一种应用场景的示意图;
图23是本申请实施例提供的另一种应用场景的示意图;
图24是本申请实施例提供的另一种应用场景的示意图;
图25是本申请实施例提供的另一种应用场景的示意图;
图26是本申请实施例提供的另一种应用场景的示意图;
图27是本申请实施例提供的另一种应用场景的示意图;
图28是本申请实施例提供的另一种应用场景的示意图;
图29是本申请实施例提供的另一种应用场景的示意图;
图30是本申请实施例提供的另一种应用场景的示意图;
图31是本申请实施例提供的另一种应用场景的示意图;
图32是本申请实施例提供的另一种应用场景的示意图;
图33是本申请实施例提供的另一种应用场景的示意图;
图34是本申请实施例提供的另一种应用场景的示意图;
图35是本申请实施例提供的一种投屏方法的流程示意图;
图36是本申请实施例提供的另一种应用场景的示意图;
图37是本申请实施例提供的另一种应用场景的示意图;
图38是本申请实施例提供的另一种应用场景的示意图;
图39是本申请实施例提供的另一种应用场景的示意图;
图40是本申请实施例提供的另一种应用场景的示意图;
图41是本申请实施例提供的另一种应用场景的示意图;
图42是本申请实施例提供的另一种应用场景的示意图;
图43是本申请实施例提供的另一种应用场景的示意图;
图44是本申请实施例提供的另一种投屏方法的流程示意图;
图45是本申请实施例提供的电子设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例提供的投屏方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等电子设备上,本申请实施例对电子设备的具体类型不作任何限制。
投屏是指将一个电子设备的屏幕画面实时传递至另一个电子设备的屏幕进行显示的技术。
当前存在一些较为成熟的投屏方案,例如,适用于苹果移动操作系统(iPhoneOperation System,iOS)和麦金塔(Macintosh,Mac)系统的隔空播放(AirPlay)技术、Wi-Fi联盟制定的Miracast协议、以及与Miracast协议同源的无线高清(WirelessDisplay,WiDi)技术等。
这些投屏方案可以将投屏端(发起投屏的电子设备,也可以称为源端,Source端)的完整的屏幕画面进行合成和编码,然后将编码后的图像发送至被投屏端(响应投屏的电子设备,也可以称为接收端,Sink端)。Sink端对编码后的图像进行解码,并以镜像的方式显示在屏幕上。
这些方案可以将Source端的完整的屏幕画面发送至Sink端的屏幕进行显示,但是,有的用户可能只想分享Source端的屏幕的部分内容,并不想将其他内容分享给Sink端。
因此,在现有的投屏方案中,存在投屏方式单一,而且被投屏端可能出现用户不想投屏的内容的问题。
有鉴于此,本申请实施例提供了一种投屏方法、装置、电子设备及计算机可读存储介质,可以使投屏区域准确地覆盖用户想要投屏的内容,解决了现有的投屏方案中,投屏方式单一,而且被投屏端可能出现用户不想投屏的内容的问题,具有较强的易用性和实用性。
首先,以图1所示的投屏系统为例,该投屏系统是本申请实施例提供的投屏方法适用的一种系统。
如图1所示,该投屏系统中包括至少一个第一设备101(图1中仅示出一个)和至少一个第二设备102(图1中仅示出一个)。
其中,第一设备101为发起投屏的电子设备,第二设备102为响应投屏的电子设备。
上述第一设备101和上述第二设备102均设置有无线通信模块。第一设备101可以通过本设备的无线通信模块以及预设的投屏协议与第二设备102的无线通信模块建立投屏连接103。
预设的投屏协议可以为AirPlay协议、Miracast协议、WiDi协议、数字生活网络联盟(DIGITAL LIVING NETWORK ALLIANCE,DLNA)协议等投屏协议中的任意一种。或者,预设的投屏协议也可以为厂商自定义的投屏协议。本申请实施例对投屏协议的具体类型不予限制。
当第一设备101与第二设备102建立了投屏连接103时,第一设备101可以响应于用户的操作,将用户想要分享的内容传递至第二设备102。
第二设备102接收到第一设备101传输的内容后,将上述内容显示在第二设备102的屏幕上,完成投屏操作。
以下,将根据图1所示的投屏系统并结合具体的应用场景,对本申请实施例提供的投屏方法进行详细描述。
1、确定投屏内容。
当用户希望将第一设备显示的内容分享给第二设备时,用户可以执行内容选定操作。此时,第一设备可以响应于用户的内容选定操作,确定投屏内容,并执行投屏操作。
上述内容选定操作的形式可以根据实际场景进行设置。例如,当第一设备设置有触控屏时,内容选定操作可以包括长按屏幕、点击屏幕、滑动屏幕等手势操作中的任意一种或多种的组合。当第一设备设置有鼠标、手写笔等辅助操作的配件设备时,内容选定操作可以包括点击配件设备、拖动配件设备等操作中的任意一种或多种的组合。
上述投屏内容可以包括文字、图片、网页控件等对象中的任意一种或多种的组合。
例如,请参阅图2,假设第一设备为手机。当用户想要分享手机当前显示界面中的文字时,用户可以对手机的屏幕进行操作,长按文字部分的内容。
此时,手机可以响应于用户的长按操作,显示内容选择框以及操作选项。内容选择框为图2中斜线填充区域。操作选项可以包括“复制”、“分享”、“全选”、“投屏”等选项。
如图3和图4所示,当用户拖动内容选择框时,手机可以响应于用户对内容选择框的拖动操作,向两侧扩展内容选择框的覆盖区域,框选相应的文字。
如图5所示,在用户完成对内容选择框的拖动操作之后,用户点击操作选项中的“投屏”选项。此时,手机可以响应于用户对操作选项中“投屏”选项的点击操作,将内容选择框当前框选的文字“测试文字测”确定为投屏内容。
又比如,请参阅图6、图7和图8,假设第一设备为台式电脑,该台式电脑配备有鼠标。
当用户想要分享台式电脑当前显示界面中的文字时,用户可以长按鼠标左键,并拖动鼠标。此时,台式电脑可以响应于用户对鼠标的点击和拖动操作,显示内容选择框,并调整内容选择框的覆盖区域(即图7和图8中斜线填充区域),框选相应的文字。
如图8所示,用户在选中相应的文字之后,可以在内容选择框的覆盖区域内点击鼠标的右键。此时,台式电脑响应于用户的点击操作,显示操作选项。操作选项可以包括“复制”、“分享”、“全选”、“投屏”等选项。
然后,用户控制鼠标,左键点击“投屏”选项。此时,台式电脑响应于用户对操作选项中“投屏”选项的点击操作,将内容选择框当前框选的文字“测试测试测”确定为投屏内容。
又比如,请参阅图9,假设第一设备为手机。当用户想要分享手机当前显示界面中的图像时,用户可以长按想要分享的图像。
此时,手机可以响应于用户的长按操作,显示操作选项。操作选项可以包括“下载图像”、“分享图像”、“投屏图像”等选项。
然后,如图10所示,用户在选中了需要投屏的图像之后,可以点击操作选项中的“投屏图像”选项。此时,手机可以响应于用户对操作选项中“投屏图像”选项的点击操作,将上述被选中的图像确定为投屏内容。
2、建立投屏连接。
在第一设备基于内容选定操作确定了投屏内容之后,第一设备可以检测本设备是否已经与第二设备建立投屏连接。
在一些实施例中,第一设备可能检测到本设备已经与第二设备建立了投屏连接。此时,第一设备可以跳过与第二设备建立投屏连接的操作。
在另一些实施例中,第一设备可能检测到本设备未与第二设备建立投屏连接。此时,第一设备可以执行搜索操作,查找周围可被投屏的电子设备,并展示被搜索到的电子设备的设备列表(即上述第一列表)。
当第一设备展示设备列表时,用户可以通过设备列表直观的查看到周围可被投屏的电子设备。然后,用户可以对上述设备列表执行选择操作,从设备列表展示的各个电子设备中选择第二设备。
当第一设备检测到用户的选择操作时,第一设备可以响应于上述选择操作,确定第二设备,并发送投屏请求至第二设备。
当第二设备接收到投屏请求时,第二设备可以根据预设的响应规则同意该投屏请求或拒绝该投屏请求;或者,第二设备也可以响应于用户对第二设备的操作,同意该投屏请求或拒绝该投屏请求。
如果第二设备同意上述投屏请求,则第一设备与第二设备建立投屏连接,第一设备创建虚拟显示窗口。虚拟显示窗口用于管理投屏图像。
如果第二设备拒绝上述投屏请求,则第一设备停止投屏操作,或者,第一设备也可以重新展示上述列表,以便用户重新选择第二设备。
预设的响应规则可以根据实际场景进行设置。例如,在一些实施例中,预设的响应规则可以设置为:拒绝黑名单中的电子设备发送的投屏请求,默认通过黑名单以外的电子设备发送的投屏请求。或者,在另一些实施例中,预设的响应规则也可以设置为其他条件。本申请实施例对预设的响应规则的具体条件不予限制。
例如,请参阅图10,假设第一设备为手机。手机响应于用户对当前显示界面中某张图像的长按操作,显示操作选项。操作选项可以包括“下载图像”、“分享图像”、“投屏图像”等选项。
用户想要将被选中的图像投屏至其他电子设备,点击了“投屏图像”的选项。然后,手机响应于用户对操作选项中“投屏图像”选项的点击操作,将上述被选中的图像确定为投屏内容。
之后,手机检测本设备是否已经与第二设备建立了投屏连接。
如图11所示,当手机检测到本设备未与第二设备建立投屏连接时,手机执行搜索操作,搜索周围可被投屏的电子设备,并显示搜索界面。
如图12所示,手机在完成搜索操作之后,生成设备列表,并将设备列表显示在手机屏幕当前的显示界面上。设备列表中包括被搜索到的电子设备的标识。
假设设备列表中包括“智能电视”、“笔记本电脑”和“平板电脑”这三个被搜索到的电子设备。用户查看了上述列表之后,点击了“智能电视”的选项,想要将上述投屏内容投屏至智能电视。
此时,如图13所示,手机响应于用户对“智能电视”选项的点击操作,发送投屏请求至智能电视。
智能电视在接收到投屏请求后,检测到发送投屏请求的手机不在黑名单中,则默认同意投屏请求,与手机建立投屏连接。
或者,智能电视也可以在智能电视的屏幕上显示提示框,在提示框中询问用户是否同意投屏。如果用户点击了提示框中“是”的选项,则智能电视同意上述投屏请求,与手机建立投屏连接。如果用户点击了提示框中“否”的选项,则智能电视拒绝上述投屏请求,返回错误信息至手机。
3、生成投屏图像。
在建立了投屏连接之后,第一设备可以根据投屏内容生成投屏图像,并通过上述投屏连接将投屏图像传递至第二设备进行显示。
在一些实施例中,第一设备可以通过预设的控件获取被选中的投屏内容。例如,当被选中的投屏内容为文字时,第一设备可以通过文字控件获取到被选中的文字;当被选中的投屏内容为图像时,第一设备可以通过图像控件获取到被选中的图像。
在获取到投屏内容之后,第一设备可以根据第二设备的投屏配置信息对上述投屏内容进行排版,得到第一内容。
上述投屏配置信息的内容可以根据实际需求进行设置。例如,在一些实施例中,上述投屏配置信息可以包括第二设备的屏幕分辨率、屏幕尺寸、字体、字号、颜色等信息中的一种或多种。
并且,上述投屏配置信息的获取时机也可以根据实际需求进行设置。例如,在一些实施例中,第一设备可以在与第二设备建立了投屏连接之后,立即获取第二设备的投屏配置信息;或者,在另一些实施例中,第一设备也可以在对投屏内容进行排版时,获取第二设备的投屏配置信息;或者,在另一些实施例中,第一设备也可以在其他时机获取第二设备的投屏配置信息。本申请实施例对第一设备获取第二设备的投屏配置信息的时机不予限制。
第一设备在生成第一内容之后,可以对第一内容对应的图形数据进行渲染和合成,得到投屏图像。
第一设备在得到投屏图像之后,可以根据预设的投屏协议对投屏图像进行编码,得到编码数据,并通过上述投屏连接将编码数据传递至第二设备。
第二设备接收到编码数据之后,根据预设的投屏协议对编码数据进行解码,得到投屏图像,将投屏图像显示在第二设备的屏幕上,完成本次投屏操作。
例如,假设第一设备为手机,第二设备为智能电视,手机的操作系统为安卓操作系统。如图14和图15所示,斜线填充部分为内容选择框,内容选择框内的文字和图像为被用户选中的投屏内容。
在用户点击了操作选项中的“投屏”选项之后,手机可以通过投屏服务创建虚拟显示窗口(display)和该虚拟显示窗口对应的活动管理(Activity)。
然后,投屏服务通过文字控件(TextView)将被选中的文字传递至Activity,通过图像控件(ImageView)将被选中的图像传递至Activity。
并且,Activity可以通过局域网(Local Area Network,LAN)服务获取第二设备的投屏配置信息。投屏配置信息可以包括第二设备的屏幕尺寸、第二设备的显示分辨率等信息。
如图16所示,Activity根据第二设备的投屏配置信息调整虚拟显示窗口的窗口尺寸,并根据第二设备的投屏配置信息对获取到投屏内容进行排版,调整文字和图像的位置、大小等,从而得到排版后的第一内容。
之后,Activity可以将第一内容的图形数据传递至图形处理器(GraphicsProcessing Unit,GPU)进行渲染,并将渲染后的图形数据传递至虚拟显示窗口。
虚拟显示窗口将渲染后的图形数据传递至窗口合成服务(SurfaceFlinger),窗口合成服务对渲染后的图形数据进行合成,得到投屏图像。
如图17所示,在得到投屏图像之后,投屏服务可以根据预设的投屏协议对投屏图像进行编码,得到编码数据,并将编码数据通过上述投屏连接传递至智能电视。
智能电视根据预设的投屏协议对编码数据进行解码,得到投屏图像,将投屏图像显示在智能电视的屏幕上,完成本次的投屏操作。
在另一些实施例中,第一设备可以获取投屏内容所在的目标图层。
例如,假设第一设备当前显示的界面由应用程序A对应的图层a、应用程序B对应的图层b和应用程序C对应的图层c合成得到,被选中的投屏内容为应用程序B和应用程序C的内容,则第一设备可以先获取图层b和图层c。
然后,第一设备可以对目标图层进行合成操作,得到投屏图像。
例如,假设第一设备为手机,第二设备为智能电视,手机的操作系统为安卓操作系统。
假设手机当前显示的界面为图18所示的内容。如图19所示,手机当前显示的界面由图层a、图层b和图层c合成得到。
如图20所示,手机可以响应于用户的操作,从手机当前显示的界面中确定投屏内容(即图20中斜线填充区域)。
在用户点击了操作选项中的“投屏”选项之后,手机可以通过投屏服务创建虚拟显示窗口(display)和该虚拟显示窗口对应的活动管理(Activity)。
然后,投屏服务可以将投屏内容对应的目标图层(即图层b)传递至Activity。
Activity将图层b传递至虚拟显示窗口。虚拟显示窗口将图层b传递至窗口合成服务(SurfaceFlinger),窗口合成服务对图层b进行合成,得到投屏图像。
如图21所示,在得到投屏图像之后,投屏服务可以根据预设的投屏协议对投屏图像进行编码,得到编码数据,并将编码数据通过上述投屏连接传递至智能电视。
智能电视根据预设的投屏协议对编码数据进行解码,得到投屏图像,将投屏图像显示在智能电视的屏幕上,完成本次的投屏操作。
由于同一图层的内容属于同一应用程序,可以认为同一图层的内容的关联性较强。因此,第一设备通过上述方法生成投屏图像时,投屏图像中仅包含投屏内容以及与投屏内容强关联的内容,没有无关图层的干扰,可以避免投屏内容被遮挡,提高了投屏的准确性。
在另一些实施例中,第一设备可以获取第一设备当前显示的界面的显示图像以及投屏内容的位置信息。
第一设备可以根据投屏内容的位置信息确定投屏内容所在的区域,即目标区域。
然后,第一设备可以对显示图像执行截取操作,截取显示图像的目标区域的图形数据,即截取图形数据。
然后,第一设备对上述截取图形数据进行合成,得到投屏图像。
例如,假设第一设备为手机,第二设备为智能电视,手机的操作系统为安卓操作系统,手机当前显示的界面为图18所示的内容。
如图20所示,手机可以响应于用户的操作,从手机当前显示的界面中确定投屏内容(即图20中斜线填充区域)。
在用户点击了操作选项中的“投屏”选项之后,手机可以通过投屏服务创建虚拟显示窗口(display)和该虚拟显示窗口对应的活动管理(Activity)。
然后,投屏服务可以将手机当前显示的界面的显示图像和投屏内容对应的位置信息传递至Activity。
如图22所示,Activity在获取到显示图像和投屏内容对应的位置信息之后,根据上述位置信息对显示图像进行截取操作,得到目标区域的截取图形数据。
之后Activity将截取图形数据传递至虚拟显示窗口。虚拟显示窗口将截取图形数据传递至窗口合成服务(SurfaceFlinger),窗口合成服务对区域图形数据进行合成,得到投屏图像。
在得到投屏图像之后,投屏服务可以根据预设的投屏协议对投屏图像进行编码,得到编码数据,并将编码数据通过上述投屏连接传递至智能电视。
智能电视根据预设的投屏协议对编码数据进行解码,得到投屏图像,将投屏图像显示在智能电视的屏幕上,完成本次的投屏操作。
第一设备通过上述方法生成投屏图像时,目标区域是根据投屏内容的位置信息自动确定的,不是用户手动框选的。因此,投屏图像只包含投屏内容所在区域的内容,不包含投屏内容所在区域以外的内容,从而避免将用户不想分享的内容投屏至第二设备。
在另一些实施例中,第一设备可以先获取被选中的投屏内容所在的目标图层。
例如,假设第一设备当前显示的界面由应用程序A对应的图层a、应用程序B对应的图层b和应用程序C对应的图层c合成得到,被选中的投屏内容为应用程序B的内容,则第一设备可以先获取图层b。
在获取到目标图层之后,第一设备可以获取被选中的投屏内容的位置信息,根据投屏内容的位置信息对目标图层进行截取操作,得到目标区域的区域图形数据。目标区域为投屏内容所在的区域。
在得到区域图形数据之后,第一设备可以对区域图形数据进行合成,得到投屏图像。
在得到投屏图像之后,第一设备可以根据预设的投屏协议对投屏图像进行编码,得到编码数据,并通过上述投屏连接将编码数据传递至第二设备。
第二设备接收到编码数据之后,根据预设的投屏协议对编码数据进行解码,得到投屏图像,将投屏图像显示在第二设备的屏幕上,完成本次投屏操作。
例如,假设第一设备为手机,第二设备为智能电视,手机的操作系统为安卓操作系统。
假设手机当前显示的界面为图18所示的内容。如图19所示,手机当前显示的界面由图层a、图层b和图层c合成得到。
如图20所示,手机可以响应于用户的操作,从手机当前显示的界面中确定投屏内容(即图20中斜线填充区域)。
在用户点击了操作选项中的“投屏”选项之后,手机可以通过投屏服务创建虚拟显示窗口(display)和该虚拟显示窗口对应的活动管理(Activity)。
然后,投屏服务可以将投屏内容对应的目标图层(即图层b)以及投屏内容对应的位置信息传递至Activity。
如图23所示,Activity在获取到图层b和投屏内容对应的位置信息之后,根据上述位置信息对图层b进行截取操作,得到目标区域的区域图形数据。
如图24所示,Activity将区域图形数据传递至虚拟显示窗口。虚拟显示窗口将区域图形数据传递至窗口合成服务(SurfaceFlinger),窗口合成服务对区域图形数据进行合成,得到投屏图像。
如图25所示,在得到投屏图像之后,投屏服务可以根据预设的投屏协议对投屏图像进行编码,得到编码数据,并将编码数据通过上述投屏连接传递至智能电视。
智能电视根据预设的投屏协议对编码数据进行解码,得到投屏图像,将投屏图像显示在智能电视的屏幕上,完成本次的投屏操作。
4、多次投屏。
在用户完成了投屏操作之后,如果还需要执行新的投屏操作,则用户可以重新执行内容选定操作,第一设备根据用户的内容选定操作确定新的投屏内容。
之后,第一设备可以参照第3节所描述的内容,根据新的投屏内容进行图像截取和合成操作,生成新的投屏图像。
或者,第一设备也可以根据新的投屏内容生成新的第一内容,并根据新的第一内容确定新的投屏图像。
在一些可能的实现方式中,当第一设备在生成新的第一内容时,第一设备可以替换、覆盖或清除前一次投屏操作生成的第一内容,仅对本次选中的投屏内容进行处理。
此时,第一设备可以根据第二设备的投屏配置信息,对本次选中的投屏内容进行排版,得到本次投屏操作对应的第一内容。
然后,第一设备对新的第一内容进行渲染和合成,得到新的投屏图像,并通过上述投屏连接将新的投屏图像传递至第二设备进行显示。
例如,请参阅图26,假设第一设备为手机。当用户想要再次投屏,并通过内容选定操作选中了新的投屏内容(即图26中斜线填充区域的文字和图像)时,手机可以显示操作选项。操作选项可以包括“复制”、“分享”、“全选”、“新建投屏”、“合并投屏”等选项。
当用户点击“新建投屏”的选项时,手机可以响应于用户的操作,清除前一次投屏操作生成的第一内容。
如图27和28所示,手机通过文字控件获取被选中的文字,通过图像控件获取被选中的图像,并根据第二设备的投屏配置信息对当前被选中文字和图像进行排版,得到本次投屏对应的第一内容。
之后,手机可以对新的第一内容的图形数据进行渲染,将渲染后的图形数据合成为新的投屏图像,并将新的投屏图像发送至对端的第二设备进行显示。
在另一些可能的实现方式中,当第一设备在生成新的第一内容时,第一设备也可以不清除前一次投屏的第一内容。
此时,第一设备可以根据第二设备的投屏配置信息,对前一次投屏操作的第一内容和本次选中的投屏内容进行排版,得到新的第一内容。
或者,由于前一次投屏操作的第一内容已根据第二设备的投屏配置信息进行排版,所以,第一设备也可以根据第二设备的投屏配置信息对本次选中的投屏内容进行排版,并将排版后的投屏内容与前一次投屏操作生成的第一内容进行组合,得到新的第一内容。
在得到新的第一内容之后,第一设备对新的第一内容进行渲染和合成,得到新的投屏图像,并通过上述投屏连接将新的投屏图像传递至第二设备进行显示。
例如,请参阅图29,假设第一设备为手机。当用户想要再次投屏,并通过内容选定操作选中了新的投屏内容(即图27中斜线填充区域的文字)时,手机可以显示操作选项。操作选项可以包括“复制”、“分享”、“全选”、“新建投屏”、“合并投屏”等选项。
当用户点击“合并投屏”的选项时,手机可以响应于用户的操作,不清除前一次投屏的第一内容。
如图30和图31所示,手机通过文字控件获取被选中的文字,并根据第二设备的投屏配置信息对本次被选中文字和图像进行排版,得到排版后的投屏内容。
如图32所示,手机可以将排版后的投屏内容与上一次的第一内容进行合并,将排版后的投屏内容置于上一次的第一内容的尾部,得到新的第一内容。
得到新的第一内容后,手机对新的第一内容的图形数据进行渲染,并将渲染后的图形数据合成为新的投屏图像。
5、结束投屏。
用户在完成投屏操作之后,可以对第一设备执行结束投屏操作。当第一设备检测到结束投屏操作时,第一设备断开与第二设备的投屏连接,结束投屏。
第二设备在检测到投屏连接断开时,可以取消显示投屏图像,或者,第二设备也可以继续显示投屏图像。
例如,请参阅图33,假设第一设备为手机,第二设备为智能电视。手机与智能电视之间建立有投屏连接。
当用户想要结束投屏时,可以下拉手机的操作栏。手机的操作栏中可能包括“无线网络”、“蓝牙”、“移动数据”、“静音”、“无线投屏”等操作选项。
然后,用户可以点击“无线投屏”的选项。如图34所示,当手机检测到用户对“无线投屏”的点击操作时,关闭投屏功能,停止投屏服务,断开与第二设备的投屏连接。
当智能电视检测到投屏连接断开时,智能电视可以继续显示最后一次接收到的投屏图像,或者,智能电视也可以取消显示最后一次接收到的投屏图像,显示待机界面。
或者,在另一些可能的实现方式中,用户也可以在第二设备执行结束投屏操作。当第二设备检测到结束投屏操作时,第二设备断开与第一设备的投屏连接。在断开投屏连接之后,第二设备可以取消显示投屏图像,或者,第二设备也可以继续显示投屏图像。
例如,假设第一设备为手机,第二设备为智能电视。手机与智能电视之间建立有投屏连接,智能电视配备有遥控器。
当用户想要结束投屏时,用户可以按压智能电视的遥控器上结束投屏的按钮,智能电视的遥控器发送结束投屏信号至智能电视。
智能电视接收到结束投屏信号时,断开与手机的投屏连接,显示待机界面。
当手机检测到投屏连接断开时,手机可以执行预设的提示操作,显示弹窗。该弹窗用于告知用户投屏连接已断开。或者,手机也可以执行重新执行搜索操作,并在搜索操作完成后,显示设备列表,以便用户根据设备列表选择新的第二设备。
在另一些可能的实现方式中,除了用户主动结束投屏操作以外,第一设备和/或第二设备也可以设置有结束投屏操作的判定规则。
当满足上述判定规则的条件时,第一设备或第二设备可以自动结束投屏操作,断开投屏连接。
上述判定规则可以根据实际需求进行设置。例如,在一些实施例中,上述判定规则可以与闲置时长相关。闲置时长为当前时间与触发时间的时间间隔,触发时间为最近一次第一设备发送投屏图像时间或最近一次第二设备接收到投屏图像的时间。当第一设备或第二设备检测到闲置时长大于或等于预设时长阈值时,第一设备或第二设备可以自动结束投屏操作,断开投屏连接。在另一些实施例中,上述判定规则可以与投屏次数有关。投屏次数为第一设备发送投屏图像的数量或第二设备接收投屏图像的数量。当第一设备或第二设备检测到投屏次数大于或等于预设次数阈值时,第一设备或第二设备可以自动结束投屏操作,断开投屏连接。
为了便于理解,以下将结合具体的应用场景对上述投屏方法进行详细描述:
请参阅图35和图36,假设第一设备为手机。在初始时刻,手机未与其他电子设备建立投屏连接。
在第一时刻,用户想要将手机中的部分文字投屏至智能电视。此时,用户可以长按手机的屏幕。
手机响应于用户的长按操作,显示内容选择框和操作选项。操作选项中包括“复制”、“分享”、“全选”、“投屏”这四个选项。
在手机显示了内容选择框之后,用户拖拉内容选择框两侧的调整光标,调节内容选择框的覆盖区域,使内容选择框覆盖“测试文字”这四个字。
然后,用户点击“投屏”选项。手机响应于用户的点击操作,将手机当前的显示界面(即第一显示界面)中被内容选定操作选中的内容确定为投屏内容。
并且,手机检测当前是否已经与其他电子设备建立投屏连接。
如图37所示,手机检测到当前未与其他电子设备建立投屏连接,则手机执行搜索操作,并显示第一列表。第一列表为手机搜索到的可被投屏的电子设备的设备列表。
假设第一列表中包括“智能电视”、“笔记本电脑”和“平板电脑”这三个被搜索到的电子设备。用户在查看了设备列表之后,可以执行选择操作,从第一列表中选择“智能电视”作为第二设备。
此时,手机可以响应于用户对第一列表的选择操作,从被扫描到的电子设备中确定第二设备,将智能电视设置为第二设备。
如图38所示,在确定了第二设备之后,手机向智能电视发送投屏请求。智能电视在接收到投屏请求后,检测到手机为可信任设备,则同意了该投屏请求,手机和智能电视建立投屏连接。
如图39所示,在建立投屏连接之后,手机通过投屏连接获取智能电视的投屏配置信息,并根据投屏配置信息对上述投屏内容进行排版,得到第一内容。
在得到第一内容之后,手机通过图形处理器对第一内容对应的图形数据进行渲染,并通过窗口合成器对渲染后的图形数据进行合成,得到投屏图像。
然后,手机根据预设投屏协议对投屏图像进行编码,得到编码数据,并向智能电视发送编码数据。
如图40所示,智能电视在接收到编码数据之后,根据预设投屏协议对编码数据进行解码,得到投屏图像,将投屏图像显示在本设备的屏幕上。
请参阅图41,假设用户在浏览新的显示界面的过程,想要将新的内容分享到智能电视。此时,用户可以重新执行内容选定操作,确定新的投屏内容(即图39中斜线填充区域选中的图像)。
手机可以响应于用户的内容选定操作,显示操作选项。手机提供的操作选项包括“复制”、“分享”、“全选”、“新建投屏”、“合并投屏”这五个选项。
当用户点击“合并投屏”选项时,手机将当前内容选择框选定的文字和图像作为新的投屏内容。并且,手机检测到已经与智能电视建立了投屏连接,所以手机跳过建立投屏连接的流程。
如图42所示,手机根据智能电视的投屏配置信息对新的投屏内容进行排版,并将排版后的投屏内容与上一次投屏操作的第一内容合并,将排版后的投屏内容续接在上一次投屏操作的第一内容的尾部,得到新的第一内容。
然后,手机通过图形处理器对新的第一内容的图形数据进行渲染,并通过窗口合成器对渲染后的图形数据进行合成,得到新的投屏图像。
如图43所示,手机根据预设投屏协议对新的投屏图像进行编码,得到新的编码数据,并向智能电视发送新的编码数据。
智能电视在接收到新的编码数据之后,根据预设投屏协议对新的编码数据进行解码,得到新的投屏图像,将新的投屏图像替换上一次接收到的投屏图像,将新的投屏图像显示在本设备的屏幕上。
综上,在本申请实施例提供的投屏方法中,用户可以通过内容选定操作自行选定投屏内容,第一设备响应于用户的内容选定操作,确定投屏内容,根据投屏内容生成投屏图像。第一设备生成的投屏图像仅包含被内容选定操作选中的内容,不包含其他未被选中的内容,用户可以针对性地进行投屏,从而避免投屏图像中出现用户不想投屏的内容。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
以下,将从第一设备的角度,对本申请实施例提供的另一投屏方法进行详细说明。请参阅图44,本实施例提供的投屏方法包括:
S4401、第一设备将第一显示界面中被内容选定操作选中的对象确定为投屏内容,第一显示界面为第一设备当前屏幕显示的界面;
S4402、第一设备对投屏内容进行处理,得到投屏图像;
S4403、第一设备向第二设备发送投屏图像,投屏图像用于在第二设备的屏幕上显示。
图45是本申请实施例提供的另一种电子设备的示意图。电子设备4500可以包括处理器4510,外部存储器接口4520,内部存储器4521,通用串行总线(universal serial bus,USB)接口4530,充电管理模块4540,电源管理模块4541,电池4542,天线1,天线2,移动通信模块4550,无线通信模块4560,音频模块4570,扬声器4570A,受话器4570B,麦克风4570C,耳机接口4570D,传感器模块4580,按键4590,马达4591,指示器4592,摄像头4593,显示屏4594,以及用户标识模块(subscriber identification module,SIM)卡接口4595等。其中传感器模块4580可以包括压力传感器4580A,陀螺仪传感器4580B,气压传感器4580C,磁传感器4580D,加速度传感器4580E,距离传感器4580F,接近光传感器4580G,指纹传感器4580H,温度传感器4580J,触摸传感器4580K,环境光传感器4580L,骨传导传感器4580M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备4500的具体限定。在本申请另一些实施例中,电子设备4500可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器4510可以包括一个或多个处理单元,例如:处理器4510可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器4510中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器4510中的存储器为高速缓冲存储器。该存储器可以保存处理器4510刚用过或循环使用的指令或数据。如果处理器4510需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器4510的等待时间,因而提高了系统的效率。
在一些实施例中,处理器4510可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器4510可以包含多组I2C总线。处理器4510可以通过不同的I2C总线接口分别耦合触摸传感器4580K,充电器,闪光灯,摄像头4593等。例如:处理器4510可以通过I2C接口耦合触摸传感器4580K,使处理器4510与触摸传感器4580K通过I2C总线接口通信,实现电子设备4500的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器4510可以包含多组I2S总线。处理器4510可以通过I2S总线与音频模块4570耦合,实现处理器4510与音频模块4570之间的通信。在一些实施例中,音频模块4570可以通过I2S接口向无线通信模块4560传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块4570与无线通信模块4560可以通过PCM总线接口耦合。在一些实施例中,音频模块4570也可以通过PCM接口向无线通信模块4560传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器4510与无线通信模块4560。例如:处理器4510通过UART接口与无线通信模块4560中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块4570可以通过UART接口向无线通信模块4560传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器4510与显示屏4594,摄像头4593等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(display serial interface,DSI)等。在一些实施例中,处理器4510和摄像头4593通过CSI接口通信,实现电子设备4500的拍摄功能。处理器4510和显示屏4594通过DSI接口通信,实现电子设备4500的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器4510与摄像头4593,显示屏4594,无线通信模块4560,音频模块4570,传感器模块4580等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口4530是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口4530可以用于连接充电器为电子设备4500充电,也可以用于电子设备4500与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备4500的结构限定。在本申请另一些实施例中,电子设备4500也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块4540用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块4540可以通过USB接口4530接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块4540可以通过电子设备4500的无线充电线圈接收无线充电输入。充电管理模块4540为电池4542充电的同时,还可以通过电源管理模块4541为电子设备供电。
电源管理模块4541用于连接电池4542,充电管理模块4540与处理器4510。电源管理模块4541接收电池4542和/或充电管理模块4540的输入,为处理器4510,内部存储器4521,显示屏4594,摄像头4593,和无线通信模块4560等供电。电源管理模块4541还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块4541也可以设置于处理器4510中。在另一些实施例中,电源管理模块4541和充电管理模块4540也可以设置于同一个器件中。
电子设备4500的无线通信功能可以通过天线1,天线2,移动通信模块4550,无线通信模块4560,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备4500中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块4550可以提供应用在电子设备4500上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块4550可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块4550可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块4550还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块4550的至少部分功能模块可以被设置于处理器4510中。在一些实施例中,移动通信模块4550的至少部分功能模块可以与处理器4510的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器4570A,受话器4570B等)输出声音信号,或通过显示屏4594显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器4510,与移动通信模块4550或其他功能模块设置在同一个器件中。
无线通信模块4560可以提供应用在电子设备4500上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块4560可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块4560经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器4510。无线通信模块4560还可以从处理器4510接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备4500的天线1和移动通信模块4550耦合,天线2和无线通信模块4560耦合,使得电子设备4500可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobilecommunications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband codedivision multiple access,WCDMA),时分码分多址(time-division code divisionmultiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou navigation satellite system,BDS),准天顶卫星系统(quasi-zenithsatellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备4500通过GPU,显示屏4594,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏4594和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器4510可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏4594用于显示图像,视频等。显示屏4594包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matri45organic light emitting diode的,AMOLED),柔性发光二极管(fle45 light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备4500可以包括1个或N个显示屏4594,N为大于1的正整数。
电子设备4500可以通过ISP,摄像头4593,视频编解码器,GPU,显示屏4594以及应用处理器等实现拍摄功能。
ISP用于处理摄像头4593反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头4593中。
摄像头4593用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-o45ide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备4500可以包括1个或N个摄像头4593,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备4500在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备4500可以支持一种或多种视频编解码器。这样,电子设备4500可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture e45perts group,MPEG)45,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备4500的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口4520可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备4500的存储能力。外部存储卡通过外部存储器接口4520与处理器4510通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器4521可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器4521可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备4500使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器4521可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器4510通过运行存储在内部存储器4521的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备4500的各种功能应用以及数据处理。
电子设备4500可以通过音频模块4570,扬声器4570A,受话器4570B,麦克风4570C,耳机接口4570D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块4570用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块4570还可以用于对音频信号编码和解码。在一些实施例中,音频模块4570可以设置于处理器4510中,或将音频模块4570的部分功能模块设置于处理器4510中。
扬声器4570A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备4500可以通过扬声器4570A收听音乐,或收听免提通话。
受话器4570B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备4500接听电话或语音信息时,可以通过将受话器4570B靠近人耳接听语音。
麦克风4570C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风4570C发声,将声音信号输入到麦克风4570C。电子设备4500可以设置至少一个麦克风4570C。在另一些实施例中,电子设备4500可以设置两个麦克风4570C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备4500还可以设置三个,四个或更多麦克风4570C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口4570D用于连接有线耳机。耳机接口4570D可以是USB接口4530,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器4580A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器4580A可以设置于显示屏4594。压力传感器4580A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器4580A,电极之间的电容改变。电子设备4500根据电容的变化确定压力的强度。当有触摸操作作用于显示屏4594,电子设备4500根据压力传感器4580A检测所述触摸操作强度。电子设备4500也可以根据压力传感器4580A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器4580B可以用于确定电子设备4500的运动姿态。在一些实施例中,可以通过陀螺仪传感器4580B确定电子设备4500围绕三个轴(即,45,y和z轴)的角速度。陀螺仪传感器4580B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器4580B检测电子设备4500抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备4500的抖动,实现防抖。陀螺仪传感器4580B还可以用于导航,体感游戏场景。
气压传感器4580C用于测量气压。在一些实施例中,电子设备4500通过气压传感器4580C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器4580D包括霍尔传感器。电子设备4500可以利用磁传感器4580D检测翻盖皮套的开合。在一些实施例中,当电子设备4500是翻盖机时,电子设备4500可以根据磁传感器4580D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器4580E可检测电子设备4500在各个方向上(一般为三轴)加速度的大小。当电子设备4500静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器4580F,用于测量距离。电子设备4500可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备4500可以利用距离传感器4580F测距以实现快速对焦。
接近光传感器4580G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备4500通过发光二极管向外发射红外光。电子设备4500使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备4500附近有物体。当检测到不充分的反射光时,电子设备4500可以确定电子设备4500附近没有物体。电子设备4500可以利用接近光传感器4580G检测用户手持电子设备4500贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器4580G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器4580L用于感知环境光亮度。电子设备4500可以根据感知的环境光亮度自适应调节显示屏4594亮度。环境光传感器4580L也可用于拍照时自动调节白平衡。环境光传感器4580L还可以与接近光传感器4580G配合,检测电子设备4500是否在口袋里,以防误触。
指纹传感器4580H用于采集指纹。电子设备4500可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器4580J用于检测温度。在一些实施例中,电子设备4500利用温度传感器4580J检测的温度,执行温度处理策略。例如,当温度传感器4580J上报的温度超过阈值,电子设备4500执行降低位于温度传感器4580J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备4500对电池4542加热,以避免低温导致电子设备4500异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备4500对电池4542的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器4580K,也称“触控器件”。触摸传感器4580K可以设置于显示屏4594,由触摸传感器4580K与显示屏4594组成触摸屏,也称“触控屏”。触摸传感器4580K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏4594提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器4580K也可以设置于电子设备4500的表面,与显示屏4594所处的位置不同。
骨传导传感器4580M可以获取振动信号。在一些实施例中,骨传导传感器4580M可以获取人体声部振动骨块的振动信号。骨传导传感器4580M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器4580M也可以设置于耳机中,结合成骨传导耳机。音频模块4570可以基于所述骨传导传感器4580M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器4580M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键4590包括开机键,音量键等。按键4590可以是机械按键。也可以是触摸式按键。电子设备4500可以接收按键输入,产生与电子设备4500的用户设置以及功能控制有关的键信号输入。
马达4591可以产生振动提示。马达4591可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏4594不同区域的触摸操作,马达4591也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器4592可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口4595用于连接SIM卡。SIM卡可以通过插入SIM卡接口4595,或从SIM卡接口4595拔出,实现和电子设备4500的接触和分离。电子设备4500可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口4595可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口4595可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口4595也可以兼容不同类型的SIM卡。SIM卡接口4595也可以兼容外部存储卡。电子设备4500通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备4500采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备4500中,不能和电子设备4500分离。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/电子设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/电子设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
最后应说明的是:以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (23)

1.一种投屏方法,其特征在于,包括:
第一设备将第一显示界面中被内容选定操作选中的对象确定为投屏内容,所述第一显示界面为所述第一设备当前屏幕显示的界面;
所述第一设备对所述投屏内容进行处理,得到投屏图像;
所述第一设备向第二设备发送所述投屏图像,所述投屏图像用于在所述第二设备的屏幕上显示。
2.根据权利要求1所述的投屏方法,其特征在于,所述投屏内容为文字和/或图像。
3.根据权利要求1所述的投屏方法,其特征在于,在所述第一设备将第一显示界面中被内容选定操作选中的对象确定为投屏内容之后,还包括:
所述第一设备检测是否已建立投屏连接;
若所述第一设备未建立投屏连接,则所述第一设备执行搜索操作,并显示第一列表,所述第一列表用于显示被搜索到的电子设备;
所述第一设备响应于对所述第一列表的选择操作,从所述被搜索到的电子设备中确定第二设备;
所述第一设备与所述第二设备建立投屏连接。
4.根据权利要求1所述的投屏方法,其特征在于,所述第一设备对所述投屏内容进行处理,得到投屏图像,包括:
所述第一设备获取所述投屏内容所在的目标图层;
所述第一设备对所述目标图层进行合成,得到投屏图像。
5.根据权利要求1所述的投屏方法,其特征在于,所述第一设备对所述投屏内容进行处理,得到投屏图像,包括:
所述第一设备获取所述第一显示界面的显示图像以及所述投屏内容的位置信息;
所述第一设备根据所述位置信息对所述显示图像进行截取操作,得到目标区域的截取图形数据,所述目标区域为所述投屏内容所在的区域;
所述第一设备对所述截取图形数据进行合成,得到投屏图像。
6.根据权利要求1所述的投屏方法,其特征在于,所述第一设备对所述投屏内容进行处理,得到投屏图像,包括:
所述第一设备获取所述投屏内容所在的目标图层以及所述投屏内容的位置信息;
所述第一设备根据所述位置信息对所述目标图层进行截取操作,得到目标区域的区域图形数据,所述目标区域为所述投屏内容所在的区域;
所述第一设备对所述区域图形数据进行合成,得到投屏图像。
7.根据权利要求1所述的投屏方法,其特征在于,所述第一设备对所述投屏内容进行处理,得到投屏图像,包括:
所述第一设备获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到第一内容;
所述第一设备对所述第一内容对应的图形数据进行渲染,得到投屏图像。
8.根据权利要求7所述的投屏方法,其特征在于,所述第一设备获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到第一内容,包括:
所述第一设备获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到排版后的投屏内容;
所述第一设备将所述排版后的投屏内容设置为第一内容。
9.根据权利要求7所述的投屏方法,其特征在于,所述第一设备获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到第一内容,包括:
所述第一设备获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到排版后的投屏内容;
所述第一设备对上一次生成的第一内容和所述排版后的投屏内容进行组合,得到新的第一内容。
10.根据权利要求7至9中任一项所述的投屏方法,其特征在于,所述投屏配置信息包括所述第二设备的屏幕分辨率和/或所述第二设备的屏幕尺寸。
11.一种投屏装置,其特征在于,包括:
内容选定模块,用于将第一显示界面中被内容选定操作选中的对象确定为投屏内容,所述第一显示界面为第一设备当前屏幕显示的界面;
图像生成模块,用于对所述投屏内容进行处理,得到投屏图像;
图像发送模块,用于向第二设备发送所述投屏图像,所述投屏图像用于在所述第二设备的屏幕上显示。
12.根据权利要求11所述的投屏装置,其特征在于,所述投屏内容为文字和/或图像。
13.根据权利要求11所述的投屏装置,其特征在于,所述装置还包括:
连接检测模块,用于检测是否已建立投屏连接;
设备搜索模块,用于若所述第一设备未建立投屏连接,则执行搜索操作,并显示第一列表,所述第一列表用于显示被搜索到的电子设备;
设备选择模块,用于响应于对所述第一列表的选择操作,从所述被搜索到的电子设备中确定第二设备;
连接建立模块,用于与所述第二设备建立投屏连接。
14.根据权利要求11所述的投屏装置,其特征在于,所述图像生成模块,包括:
目标图层子模块,用于获取所述投屏内容所在的目标图层;
图层合成子模块,用于对所述目标图层进行合成,得到投屏图像。
15.根据权利要求11所述的投屏装置,其特征在于,所述图像生成模块,包括:
位置获取子模块,用于获取所述第一显示界面的显示图像以及所述投屏内容的位置信息;
位置截取子模块,用于根据所述位置信息对所述显示图像进行截取操作,得到目标区域的截取图形数据,所述目标区域为所述投屏内容所在的区域;
截取合成子模块,用于对所述截取图形数据进行合成,得到投屏图像。
16.根据权利要求11所述的投屏装置,其特征在于,所述图像生成模块,包括:
目标获取子模块,用于获取所述投屏内容所在的目标图层以及所述投屏内容的位置信息;
区域截取子模块,用于根据所述位置信息对所述目标图层进行截取操作,得到目标区域的区域图形数据,所述目标区域为所述投屏内容所在的区域;
图像合成子模块,用于对所述区域图形数据进行合成,得到投屏图像。
17.根据权利要求11所述的投屏装置,其特征在于,所述图像生成模块,包括:
内容排版子模块,用于获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到第一内容;
图像渲染子模块,用于对所述第一内容对应的图形数据进行渲染,得到投屏图像。
18.根据权利要求17所述的投屏装置,其特征在于,所述内容排版子模块,包括:
第一排版子模块,用于获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到排版后的投屏内容;
内容设置子模块,用于将所述排版后的投屏内容设置为第一内容。
19.根据权利要求17所述的投屏装置,其特征在于,所述内容排版子模块,包括:
第二排版子模块,用于获取第二设备的投屏配置信息,根据所述投屏配置信息对所述投屏内容进行排版,得到排版后的投屏内容;
内容合并子模块,用于对上一次生成的第一内容和所述排版后的投屏内容进行组合,得到新的第一内容。
20.根据权利要求17至19中任一项所述的投屏装置,其特征在于,所述投屏配置信息包括所述第二设备的屏幕分辨率和/或所述第二设备的屏幕尺寸。
21.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的方法。
22.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的方法。
23.一种芯片系统,其特征在于,所述芯片系统包括存储器和处理器,所述处理器执行所述存储器中存储的计算机程序,以实现如权利要求1至10任一项所述的方法。
CN202011271351.8A 2020-11-13 2020-11-13 投屏方法、装置、电子设备及计算机可读存储介质 Pending CN114489533A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011271351.8A CN114489533A (zh) 2020-11-13 2020-11-13 投屏方法、装置、电子设备及计算机可读存储介质
PCT/CN2021/129765 WO2022100610A1 (zh) 2020-11-13 2021-11-10 投屏方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011271351.8A CN114489533A (zh) 2020-11-13 2020-11-13 投屏方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114489533A true CN114489533A (zh) 2022-05-13

Family

ID=81491289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011271351.8A Pending CN114489533A (zh) 2020-11-13 2020-11-13 投屏方法、装置、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN114489533A (zh)
WO (1) WO2022100610A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114911559A (zh) * 2022-05-16 2022-08-16 深圳市宝泽科技有限公司 一种基于无规则画面摆放策略的显示画面修正方法及装置
CN115543241A (zh) * 2022-08-31 2022-12-30 荣耀终端有限公司 用于投屏场景的设备扫描方法及装置
CN115576516A (zh) * 2022-12-12 2023-01-06 深圳开鸿数字产业发展有限公司 图像合成方法、图像合成系统、电子设备及存储介质
WO2024022307A1 (zh) * 2022-07-26 2024-02-01 华为技术有限公司 一种投屏方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117135396A (zh) * 2023-02-14 2023-11-28 荣耀终端有限公司 投屏方法及其相关设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5742301B2 (ja) * 2011-03-03 2015-07-01 株式会社ニコン 画像投影装置、デジタルカメラ及び光学機器
CN108958684A (zh) * 2018-06-22 2018-12-07 维沃移动通信有限公司 投屏方法及移动终端
CN109508162B (zh) * 2018-10-12 2021-08-13 福建星网视易信息系统有限公司 一种投屏显示方法、系统及存储介质
CN111580765B (zh) * 2020-04-27 2024-01-12 Oppo广东移动通信有限公司 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114911559A (zh) * 2022-05-16 2022-08-16 深圳市宝泽科技有限公司 一种基于无规则画面摆放策略的显示画面修正方法及装置
WO2024022307A1 (zh) * 2022-07-26 2024-02-01 华为技术有限公司 一种投屏方法及电子设备
CN115543241A (zh) * 2022-08-31 2022-12-30 荣耀终端有限公司 用于投屏场景的设备扫描方法及装置
CN115576516A (zh) * 2022-12-12 2023-01-06 深圳开鸿数字产业发展有限公司 图像合成方法、图像合成系统、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022100610A1 (zh) 2022-05-19

Similar Documents

Publication Publication Date Title
CN110072070B (zh) 一种多路录像方法及设备、介质
US11785329B2 (en) Camera switching method for terminal, and terminal
US11669242B2 (en) Screenshot method and electronic device
CN109766066B (zh) 一种消息处理的方法、相关装置及系统
CN113810601B (zh) 终端的图像处理方法、装置和终端设备
WO2022100610A1 (zh) 投屏方法、装置、电子设备及计算机可读存储介质
CN110248037B (zh) 一种身份证件扫描方法及装置
CN113810600A (zh) 终端的图像处理方法、装置和终端设备
CN114466107A (zh) 音效控制方法、装置、电子设备及计算机可读存储介质
CN110138999B (zh) 一种用于移动终端的证件扫描方法及装置
CN114500901A (zh) 双景录像方法、装置和电子设备
CN112272191B (zh) 数据转移方法及相关装置
CN112099741B (zh) 显示屏位置识别方法、电子设备及计算机可读存储介质
CN112532508B (zh) 一种视频通信方法及视频通信装置
CN114610193A (zh) 内容共享方法、电子设备及存储介质
CN114528581A (zh) 一种安全显示方法及电子设备
CN115412678A (zh) 曝光处理方法、装置及电子设备
CN111885768B (zh) 调节光源的方法、电子设备和系统
CN113852755A (zh) 拍摄方法、设备、计算机可读存储介质及程序产品
CN114827098A (zh) 合拍的方法、装置、电子设备和可读存储介质
CN116782023A (zh) 一种拍摄方法和电子设备
CN113867520A (zh) 设备控制方法、电子设备和计算机可读存储介质
CN114339429A (zh) 音视频播放控制方法、电子设备和存储介质
CN113391735A (zh) 显示形态的调整方法、装置、电子设备及存储介质
CN113542574A (zh) 变焦下的拍摄预览方法、终端、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination