CN110908627A - 投屏方法及第一电子设备 - Google Patents

Abstract

本发明实施例公开了一种投屏方法及第一电子设备。该投屏方法应用于第一电子设备，包括：在第一电子设备与第二电子设备建立投屏连接的情况下，确定与第一电子设备的界面内容相关联的各元素的优先级；依据各元素的优先级和第二电子设备屏幕的显示尺寸，在各元素中确定至少一个目标元素；将目标元素投射至第二电子设备屏幕。利用本发明实施例能够解决电子设备投屏过程中显示效果差的问题。

Description

投屏方法及第一电子设备

技术领域

本发明实施例涉及投屏领域，尤其涉及一种投屏方法、第一电子设备及介质。

背景技术

目前，随着折叠屏、柔性屏技术的日益成熟，屏幕的尺寸变得日益丰富。针对不同尺寸的大中小屏幕，应用软件分别设计了不同的用户界面(User Interface，UI)界面用来适配这些屏幕的尺寸，例如小屏上只展示精简的标题，大屏上则可以同时展示标题和具体内容等。

由于一个用户可能会拥有多个电子设备，用户可能需要将屏幕界面在不同的电子设备间切换，即进行投屏操作。例如将手机播放音乐的界面切换至手表，或者将手机播放视频的界面切换至电视。

而在进行投屏的过程中，目前通常采用的方式是直接将第一电子设备的显示内容全部照搬至第二电子设备的屏幕内。例如，在第二电子设备屏幕较小的情况下，直接将显示内容完全照搬，存在显示效果差的问题。

发明内容

本发明实施例提供一种投屏方法、第一电子设备及介质，以解决电子设备投屏过程中显示效果差的问题。

第一方面，本发明实施例提供了一种投屏方法，应用于第一电子设备，包括：

在所述第一电子设备与第二电子设备建立投屏连接的情况下，确定与所述第一电子设备的界面内容相关联的各元素的优先级；

依据所述各元素的优先级和第二电子设备屏幕的显示尺寸，在与所述第一电子设备的界面内容相关联的各元素中确定至少一个目标元素；

将所述目标元素投射至所述第二电子设备屏幕。

第二方面，本发明实施例提供了一种第一电子设备，包括：

顺序确定模块，用于在所述第一电子设备与第二电子设备建立投屏连接的情况下，确定与所述第一电子设备的界面内容相关联的各元素的优先级；

第一目标元素选择模块，用于依据所述各元素的优先级和第二电子设备屏幕的显示尺寸，在与所述第一电子设备的界面内容相关联的各元素中确定至少一个目标元素；

第一投射模块，用于将所述目标元素投射至所述第二电子设备屏幕。

第三方面，本发明实施例提供了一种第一电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如第一方面所述的投屏方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如第一方面所述的投屏方法的步骤。

在本发明实施例中，能够确定与第一电子设备的界面内容相关联的各元素的优先级，之后根据这些元素的优先级和第二电子设备屏幕的显示尺寸，选择其中至少一个元素作为目标元素投射至第二电子设备屏幕内。可见，本发明实施例并非将第一电子设备的显示界面直接照搬至第二电子设备屏幕内，而是能够根据第二电子设备屏幕的显示尺寸以及第一电子设备界面内元素的重要程度，自适应的选择需要投射至第二电子设备屏幕内的目标元素，从而使得在投屏后能够具有较好的显示效果，尽可能避免出现屏幕的显示效果过于空旷或者拥挤的情况，提高用户的使用体验。并且，本发明实施例并非仅能对单一软件使用，适用范围广，且不需要针对单一软件进行设计，容易进行维护。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明其中，相同或相似的附图标记表示相同或相似的特征。

图1为本发明实施例提供的一种投屏方法的流程示意图；

图2为本发明实施例提供的一种训练样本集构建方法的流程示意图；

图3为本发明实施例提供的一种投屏效果示意图；

图4为本发明实施例提供的另一种投屏方法的流程示意图；

图5为本发明实施例提供的一种第一电子设备的结构示意图；

图6为本发明实施例提供的另一种第一电子设备的结构示意图；

图7为本发明实施例提供的一种第一电子设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如背景技术部分，现有的图像保存方法存在不能进行UI适配或者仅能够针对特定软件的界面进行UI适配的缺陷，导致投屏过程中显示效果差、适用范围窄。为了解决该缺陷，本发明实施例提供了一种投屏方法，该方法根据第一电子设备界面内各元素的优先级和第二电子设备屏幕的显示尺寸，选择第一电子设备界面内的至少一个元素进行投射，使得在进行投屏过程中，能够根据不同的第二电子设备屏幕显示尺寸进行UI适配，提高投屏效果，并且本发明实施例不针对特定的软件，适用范围广。

为了解决上述技术问题，本发明实施例提供了一种投屏方法，下面结合附图对本发明实施例提供的投屏方法进行详细描述。请参见图1。该投屏方法应用于电子设备，包括：

S101、在第一电子设备与第二电子设备建立投屏连接的情况下，确定与第一电子设备的界面内容相关联的各元素的优先级；

投屏就是将与第一电子设备的界面内容相关的元素投射到第二电子设备屏幕内。这里的元素指的是显示界面内包含的组成部分或者说控件，例如在音乐应用程序的显示界面，元素可以为专辑封面、歌曲名、歌手、歌词、播放按钮、进度条等控件。由于不同的元素的重要程度不同，有些元素必不可少，必须进行投射，因此需要按照重要程度，为这些元素建立优先级。

S102、依据与第一电子设备的界面内容相关联的各元素的优先级和第二电子设备屏幕的显示尺寸，在第一电子设备的界面内各元素中确定至少一个目标元素；

显示尺寸指的是能够进行元素显示的屏幕区域的尺寸。显示尺寸可能等于也可能不等于屏幕尺寸。

S103、将目标元素投射至第二电子设备屏幕。

以上各个步骤的具体实现方式将在下文中进行详细描述。

在本发明实施例中，能够确定与第一电子设备的界面内容相关联的各元素的优先级，之后根据这些元素的优先级和第二电子设备屏幕的显示尺寸，选择其中至少一个元素作为目标元素投射至第二电子设备屏幕内。可见，本发明实施例并非将第一电子设备的显示界面直接照搬至第二电子设备屏幕内，而是能够根据第二电子设备屏幕的显示尺寸以及第一电子设备包含的元素的重要程度，自适应的选择需要投射至第二电子设备屏幕内的目标元素，从而使得在投屏后能够具有较好的显示效果，尽可能避免出现屏幕的显示效果过于空旷或者拥挤的情况，提高用户的使用体验。并且，本发明实施例并非仅能对单一软件使用，适用范围广，且不需要针对单一软件进行设计，容易进行维护。

此外，在本发明的一些实施例中，上述S101之前，还可以包括：

通过预先训练的机器学习模型识别与第一电子设备的界面内容相关联的元素。

其中，这里的预先训练的机器学习模型为：通过学习所构建的训练样本集中的录屏图像帧及其相关联的元素的特征之间的映射关系，得到的机器学习模型；训练样本集包括多个训练样本，每个训练样本包括录屏图像帧及其相关联的元素的特征。

进一步的，参见图2，图2示出了本发明实施例提供的一种训练样本集构建方法的流程示意图，具体的，构建训练样本的过程可以包括：

S201、通过应用程序写功能模拟对第一电子设备的界面的点击操作；

S202、在点击过程中，对第一电子设备的显示内容进行录屏，得到录屏图像帧；

由于在点击过程中会显示不同的显示界面，为了避免漏掉元素，本实施例通过录屏的方式进行显示界面的记录，由于录屏会生成一个小视频，因此能够尽可能包含点击过程中的全部显示界面。

S203、对录屏图像帧进行元素识别，得到录屏图像帧相关联的的元素；

S204、依据预先保存的元素和标识的对应关系，确定录屏图像帧相关联的元素的特征，该特征包括坐标和标识，录屏图像帧及其相关联的元素的特征作为训练样本。

由于坐标和标识是表征电子设备界面内的元素的主要特征，因此，为了能够确定第一电子设备内各元素的标识，需要在预先人工对电子设备的界面内可能出现的每个元素设置一个标识，该标识可以是标签或者元素的名称等，主要用于与其他元素进行区分。

其中，由于电子设备界面内的部分控件可能存在两种形式，例如开始/暂停按钮有两种形式，播放时期显示为两条竖条纹的暂停按钮，暂停播放时显示三角形的开始按钮。因此为了保证后续能够准确识别同一个控件在不同状态下的不同显示形式，需要打开录屏功能，在录屏中针对界面中存在的可操作元素，例如按钮、滑动菜单等，做规律操作，尽可能的丰富训练样本集，后续才能顺利识别出任意状态下的控件。

本发明实施例通过应用程序写功能模拟用户的点击操作，使得后续录屏得到的录屏图像帧内能够得到全部使用情况下的元素特征，并通过预先设置好的一些功能较为单一的识别模型，即能够将这些录屏图像帧中的元素进行识别，之后将这些自动识别得到的元素和其对应的录屏图像帧组成训练样本集。这种方式，不需要用户手动点击来进行样本的获取，也不需要用户对录屏中的元素进行人工识别，而是能够自动生成大量训练样本进行模型训练，训练效率高。并且，通过训练完成的机器学习模型，即能够在短时间内，例如100ms内，识别出与第一电子设备的界面内容相关联的元素，提高投屏效率。

具体的，上述对录屏图像帧进行元素识别的方式可以为：通过预先构建的针对单一应用程序的识别模型进行识别，这些识别模型仅能够识别与单一应用程序的显示内容相关联的元素，因此识别模型的构建简单，但是不具有普适性，仅是用于获取训练样本。后续依据训练样本集训练得到的机器学习模型则能够识别与任意应用程序的显示内容相关联的元素。在其他实施例中，也可以通过其他方式进行元素的识别，本发明对此不作限定。

并且，在本发明实施例中，对于一些数字和图案分开的元素，可以在识别后再对其进行智能组合，例如微博界面中的“转发”元素，其中包括“转发”图案信息以及“转发”次数的数字信息，识别时将图案和数字分别识别，但是最后投射时将二者结合生成“转发”元素整体投射。这种结合方式，可以通过对机器学习模型进行训练来实现。在训练机器学习模型的过程中，通过具有组合关系的大量样本进行训练，即使得训练完成后的机器学习模型在将单独的元素识别出来之后，还能够知道哪些元素之间具有组合关系并将其组合输出。即在本发明中，无论图层复杂度，每一个元素或者组合元素都能被单独精确取出，再进行重组和再投屏。

在本发明一种实施例中，上述机器学习模型可以为：轻量化移动端机器学习模块(light Tensorflow)。

在本发明一种实施例中，S203之前，还包括：对录屏图像帧进行文件压缩和灰度化处理操作。在本实施例中，对录屏图像帧进行了文件压缩和灰度化等预处理操作，减少了后续进行元素识别过程中需要采集的数据量。当然，在其他实施例中，还可以进行其他预处理操作，本发明对此不作限定。

在本发明一种实施例中，S204中的元素和标识对应表的构建方法可以为：首先通过安卓开发工具(Android Studio)的视图层次结构分析工具(Layout Inspector)遍历一个安卓界面的图层，该工具在运行时能够从集成设备电路(Integrated DeviceElectronics，IDE)中检查应用程序的视图层次结构。在遍历过程中，通过点击界面内的每个元素，可以识别出对应的元素类型和大小。之后用户可以在客户端类库(appium)中引入对应的界面和功能，依据前述Layout Inspector识别得到的各个元素的类型，手动为每一个元素设置标识，从而完成了元素和标识的对应关系的构建。其中，构建完成的元素和标识的对应关系可以通过表格的方式保存，即元素和标识对应表。即在本实施例提供的训练样本集的获取过程中，仅需要一次手动标记即可，后续可以通过单一化的模型进行元素识别和元素特征确认，从而极大的减少了收集训练样本过程中的人力和时间投入，并可以有效减少人工误差。

在本发明的一些实施例中，上述通过预先训练的机器学习模型识别与第一电子设备的界面内容相关联的包含的元素，具体可以包括：

通过预先训练的机器学习模型识别第一电子设备的界面内容中包含的第一元素和第一电子设备的界面内容中不包含的、与第一元素关联的第二元素；将第一元素和第二元素作为与第一电子设备的界面内容相关联的各元素。

即在本实施例中，除了将第一电子设备界面内直接包含的第一元素进行识别之外，还将第一电子设备界面未直接包含的、与第一元素关联的第二元素进行了识别。这里的直接包含指的是用户在第一电子设备界面内能够直接看到，而未直接包含指的是用户在第一电子设备界面内不能直接看到。两个元素关联指的是两个元素之间存在链接关系，通过点击一个元素能够对另一个元素进行显示。例如，第一电子设备为手机，手机界面内仅显示一个列表，如微信聊天列表；第二电子设备为电视，则电视界面内可以显示微信聊天列表之外的、但是与微信聊天列表关联的元素，例如与某个微信好友的聊天界面等，第二电子设备界面上可以形成左侧列表、右侧展开内容的格式，当然，本发明不限定在第二电子设备界面上的元素显示格式。此时，手机界面内的微信聊天列表即为第一元素，而聊天界面即为第二元素。这种方式扩展了第一电子设备内元素的范围，可以将第一电子设备中受限于屏幕尺寸无法显示的元素，也投射至第二电子设备屏幕内进行显示，使得在进行从小屏幕到大屏幕的投屏时，能够丰富大屏幕的显示内容，避免第二电子设备屏幕的显示界面过于空旷的问题，提高投屏效果。

基于上述实施例，在对机器学习模型进行训练的过程中，训练样本中与录屏图像帧相关联的元素可以为：录屏图像帧内包含的第一元素以及录屏图像帧内不包含的、与第一元素关联的第二元素。

在本发明的一些实施例中，可以采用以下几种方式来确定与第一电子设备的界面内容相关联的各元素的优先级。

在本发明的一种实施例中，S101可以包括：

获取与第一电子设备的界面内容相关联的各元素的使用频率；

依据与第一电子设备的界面内容相关联的各元素的使用频率，得到各元素的优先级。

由于对于用户来说，使用频率越高的元素通常越重要，例如音乐界面中的开始/暂停按钮、返回上一界面的返回按钮等。若不将这些使用频率高的元素投屏至第二电子设备，而将其他元素投屏的话，则很有可能给用户造成使用不便。基于此，本实施例依据使用频率从高到低的顺序来对元素进行排序，使用频率越高，则优先级越高，即越有可能作为目标元素进行投射。这种方式下得到的优先级能够尽可能满足不同用户的使用习惯和使用需求，提高用户的投屏体验。

在本发明的另一实施例中，S101中的各元素的优先级可以为用户自定义输入的优先级。

即在本实施例中，由用户手动设置各元素的优先级。这种方式使得最终得到的优先级能够完全符合用户的要求，进而使后续的投屏效果也能够尽量符合用户的使用习惯。

其中，每次进行投屏过程中，在识别与第一电子设备的界面内容相关联的各元素之后，还可以提示用户输入优先级，在与第一电子设备的界面内容相关联的各元素仅包含第一元素的情况下，此时S101的过程可以为：在第一电子设备的界面中标记各元素；显示输入元素顺序的提示；接收用户针对各元素的优先级的排序输入，得到各元素的优先级。进一步的，用户的排序输入可以是在显示界面内弹出的输入框内输入信息的操作，或者可以是顺序点击各元素的操作，此时点击顺序即为优先级；当然，还可以采用其他输入操作作为排序输入。

或者，在其他实施例中，用户自定义输入优先级的操作还可以在识别与第一电子设备的界面内容相关联的各元素之前，即用户预先对可能出现的各类元素进行了优先级的限定并保存，后续可以调用之前保存的优先级。

在本发明的另一种实施例中，S101还可以包括：通过预先训练的机器学习模型，得到与第一电子设备的界面内容相关联的各元素的优先级。

即在本实施例中，通过机器学习模型识别到元素后，还能够依据训练结果对识别到的元素进行优先级排序，使得机器学习模型的输出结果即为按照优先级排序的元素。这种方式不需要用户输入，也不需要每次获取元素的使用频率，简化了优先级的获取过程，提高了投屏效率。并且，为了实现上述实施例的目的，机器学习模型的训练样本需要为录屏图像帧及其相关联的、依据优先级进行排序的元素的特征。

在确定目标元素的过程中，由于第一电子设备屏幕和第二电子设备屏幕中的任一个的尺寸发生变化，应该投射至第二电子设备中的目标元素的数量就可能发生变化，例如手机屏幕投射至手表屏幕、手机屏幕投射至电视屏幕。

基于此，在本发明的一种实施例中，S102可以包括：

通过第一电子设备屏幕的显示尺寸、第二电子设备屏幕的显示尺寸以及第二电子设备屏幕上允许显示的元素数量之间的对应关系，确定投射到第二电子设备屏幕的元素数量N，N为正整数；根据元素数量N以及各元素的优先级确定至少一个目标元素。

在本实施例中，通过预先设置每组第一电子设备屏幕的显示尺寸、第二电子设备屏幕的显示尺寸与第二电子设备屏幕上允许显示的元素数量之间的对应关系，即可在后续直接将当前的第一电子设备屏幕和第二电子设备屏幕的显示尺寸代入该对应关系，从而确定第二电子设备屏幕上允许显示的元素数量即当前第二电子设备屏幕对应的目标元素的数量。这种方式后续还可根据实际的使用情况新增或者调整对应关系中的内容，方便灵活，易于调整。其中，这里的对应关系可以是表格的形式，第一电子设备屏幕的显示尺寸和第二电子设备屏幕的显示尺寸可以分别作为行标题和列标题，第二电子设备屏幕上允许显示的元素数量可以作为斜杠标题。

此外，由于不同的显示内容相关联的元素的大小和位置不同，因此，即使对于同一组第一电子设备屏幕和第二电子设备屏幕，不同应用程序界面内允许显示的元素数量也应该不同，例如，微信界面中允许显示的元素可以为1个，即微信好友列表或者对话显示内容；音乐界面中允许显示的元素可以为3个，即开始/暂停按钮、返回按钮和标题。

基于此，在本发明的另一种实施例中，S102还可以包括：

通过软件界面、第一电子设备屏幕的显示尺寸、第二电子设备屏幕的显示尺寸以及第二电子设备屏幕上允许显示的元素数量之间的对应关系，确定投射到第二电子设备屏幕的元素数量N，N为正整数；根据元素数量N以及各元素的优先级确定至少一个目标元素。

在本实施例中，在确定目标元素的数量时，除了考虑到第一电子设备屏幕的显示尺寸和第二电子设备屏幕的显示尺寸，还考虑到了软件界面之间的区别，进一步提高UI适配的效果，投屏后的视觉效果更好。

其中，上述根据元素数量N以及各元素的优先级确定至少一个目标元素，具体可以为将优先级最靠前的N个元素作为目标元素，或者，将优先级N+1之前的元素作为目标元素等。

其中，对于S102，在第二电子设备屏幕小于第一电子设备屏幕时，目标元素通常少于第一电子设备界面中的元素；例如在手机上显示音乐播放界面时，将这个音乐播放界面投射到小屏(例如手表)上时可以只显示上一首/下一首切换元素、专辑封面元素和作者元素等；在第二电子设备屏幕大于第一电子设备屏幕时，目标元素不少于第一电子设备界面中的元素，例如，将音乐播放界面投射到大屏(例如电视)时，可以在除了手机界面包含的控件外再显示歌词元素、评论元素和对应MV元素等。

进一步的，基于上述情况，由于较小的第二电子设备界面内仅显示了部分第一电子设备界面中的元素，因此若目标元素在第二电子设备屏幕内完全按照其在第一电子设备界面内相同的位置进行显示的话，可能会造成第二电子设备界面内存在一部分空旷区域，例如，如图3所示，图3中，第一电子设备(a)的音乐播放界面包括模块a(包括歌名元素和作者元素)、模块b(包括专辑元素或歌词元素)和模块c(包括播放条元素)。若将模块a和模块c投射至第二电子设备(b)，则第二电子设备界面内的中间区域就是空白的，会使得用户的观看效果不好。

为了解决上述问题，可以适当的调整两个模块之间的距离，以及两个模块的缩小或放大比例，例如在检测到第二电子设备界面存在较大的空白区域的话，可以将这两个模块按照预设比例进行放大，或者按照预设的间距来放置两个模块，从而提高用户的观看效果。

在本发明的一种实施例中，S103可以包括：

获取目标元素的尺寸；具体可以通过目标元素的坐标来获取目标元素的尺寸；

依据第一电子设备屏幕的显示尺寸与第二电子设备屏幕的显示尺寸之间的比例关系，对目标元素的尺寸进行缩小或放大；

在保持各个目标元素之间的相对位置关系不变的情况下，将缩小或放大后的目标元素投射至第二电子设备屏幕内。

在本实施例中，进行缩小或放大是由于第一电子设备屏幕和第二电子设备屏幕的显示尺寸不同，不进行缩小或放大的话，可能无法正常显示目标元素。此外，为了避免在第二电子设备界面上显示的目标元素位置发生偏移，在显示目标元素时，按照其在第一电子设备界面内的相对位置关系不变进行投射。此外，在获取目标元素的尺寸的同时，还可以在viewroot中获取目标元素在坐标处显示的内容，从而实现获取目标元素的目的。

本发明实施例还提供了另一种投屏方法，参见图4，图4示出了本发明实施例提供的另一种投屏方法的流程示意图。该方法应用于电子设备，包括：

S301、在第一电子设备与第二电子设备建立投屏连接的情况下，接收用户针对与第一电子设备的界面内容相关联的各元素的选择输入；

该步骤的具体实现方式将在下文中进行详细描述。

S302、响应于选择输入，将选择输入对应的至少一个元素作为目标元素；

S303、将目标元素投射至第二电子设备屏幕。

在本发明实施例中，能够根据用户的选择输入，选择其中第一电子设备界面内的至少一个待元素作为目标元素投射至第二电子设备屏幕内。可见，本发明实施例并非将第一电子设备的显示界面直接照搬至第二电子设备屏幕内，而是能够根据用户的输入，自适应的选择需要投射至第二电子设备屏幕内的元素，从而使得在投屏后能够具有较好的显示效果，尽可能避免出现屏幕的显示效果过于空旷或者拥挤的情况，提高用户的使用体验。并且，本发明实施例并非仅能对单一软件使用，适用范围广，且不需要针对单一软件进行设计，容易进行维护。

在本发明一些实施例中，S301还可以包括：在第一电子设备的界面内标记各元素；显示输入元素顺序的提示；接收用户针对各元素的选择输入。

这种方式能够使用户能够了解到当前能够进行投射的元素有哪些，从而方便用户进行元素选择。

在本发明一些实施例中，上述实施例中S301之前也可以包括：通过预先训练的机器学习模型识别与第一电子设备的界面内容相关联的元素的步骤。具体实现方式与前述方法实施例中给出的相同，为避免重复，这里不再赘述。

在本发明中，由于电子设备可能通过有线或无线的连接方式，匹配一个或多个第二电子设备屏幕，用户可以选择一对一投屏或者一对多投屏的方式，在选择投屏方式后，可根据前述实施例分别针对每个第二电子设备屏幕的显示尺寸来选择该第二电子设备屏幕对应的目标元素。

基于上述实施例提供的投屏方法实施例，相应地，本发明实施例还提供了一种第一电子设备，如图5所示，图5示出了本发明实施例提供的一种第一电子设备的结构示意图。该第一电子设备包括：

顺序确定模块401，用于在第一电子设备与第二电子设备建立投屏连接的情况下，确定与第一电子设备的界面内容相关联的各元素的优先级；

第一目标元素选择模块402，用于依据与第一电子设备的界面内容相关联的各元素的优先级和第二电子设备屏幕的显示尺寸，在与第一电子设备的界面内容相关联的各元素中确定至少一个目标元素；

第一投射模块403，用于将目标元素投射至第二电子设备屏幕。

在本发明实施例中，能够确定与第一电子设备的界面内容相关联的各元素的优先级，之后根据这些元素的优先级和第二电子设备屏幕的显示尺寸，选择其中至少一个元素作为目标元素投射至第二电子设备屏幕内。可见，本发明实施例并非将第一电子设备的显示界面直接照搬至第二电子设备屏幕内，而是能够根据第二电子设备屏幕的显示尺寸以及与第一电子设备的界面内容相关联的元素的重要程度，自适应的选择需要投射至第二电子设备屏幕内的目标元素，从而使得在投屏后能够具有较好的显示效果，尽可能避免出现屏幕的显示效果过于空旷或者拥挤的情况，提高用户的使用体验。并且，本发明实施例并非仅能对单一软件使用，适用范围广，且不需要针对单一软件进行设计，容易进行维护。

在本发明的一些实施例中，该第一电子设备还包括：

元素识别模块，用于通过预先训练的机器学习模型识别与第一电子设备的界面内容相关联的元素。

其中，这里的预先训练的机器学习模型为：通过学习所构建的训练样本集中的录屏图像帧及其相关联的元素的特征之间的映射关系，得到的机器学习模型；训练样本集包括多个训练样本，每个训练样本包括录屏图像帧及其相关联的元素的特征。

进一步的，该第一电子设备还包括训练样本生成模块，用于通过应用程序写功能模拟对第一电子设备的界面的点击操作；在点击过程中，对第一电子设备的显示内容进行录屏，得到录屏图像帧；对录屏图像帧进行元素识别，得到录屏图像帧相关联的元素；依据预先保存的元素和标识的对应关系，确定录屏图像帧相关联的元素的特征，该特征包括坐标和标识，录屏图像帧及其相关联的元素的特征作为训练样本。

本发明实施例通过应用程序写功能模拟用户的点击操作，使得后续录屏得到的录屏图像帧内能够得到全部使用情况下的元素特征，并通过预先设置好的一些功能较为单一的识别模型，即能够将这些录屏图像帧相关联的元素进行识别，之后将这些自动识别得到的元素和其对应的录屏图像帧组成训练样本集。这种方式，不需要用户手动点击来进行样本的获取，也不需要用户对录屏相关联的元素进行人工识别，而是能够自动生成大量训练样本进行模型训练，训练效率高。

在本发明一种实施例中，训练样本生成模块还用于：对录屏图像帧进行文件压缩和灰度化处理操作。在本实施例中，对录屏图像帧进行了文件压缩和灰度化等预处理操作，减小了后续进行元素识别过程中需要采集的数据量。当然，在其他实施例中，还可以进行其他预处理操作，本发明对此不作限定。

在本发明的一些实施例中，上述元素识别模块具体可以用于：

通过预先训练的机器学习模型识别与第一电子设备的界面内容包含的第一元素和与第一电子设备的界面内容不包含的、与第一元素关联的第二元素，将第一元素和第二元素作为与第一电子设备的界面内容相关联的各元素。

基于上述实施例，在对机器学习模型进行训练的过程中，训练样本中录屏图像帧相关联的元素可以为：录屏图像帧内包含的第一元素以及录屏图像帧内不包含的、与第一元素关联的第二元素。

即在本实施例中，除了将第一电子设备界面内直接包含的第一元素进行识别之外，还将第一电子设备界面未直接包含的、与第一元素关联的第二元素进行了识别。这种方式扩展了第一电子设备内元素的范围，可以将第一电子设备中受限于屏幕尺寸无法显示的元素，也投射至第二电子设备屏幕内进行显示，使得在进行从小屏幕到大屏幕的投屏时，能够丰富大屏幕的显示内容，避免第二电子设备屏幕的显示界面过于空旷的问题，提高投屏效果。

在本发明的一种实施例中，上述顺序确定模块401可以用于：获取与第一电子设备的界面内容相关联的各元素的使用频率；依据与第一电子设备的界面内容相关联的各元素的使用频率，得到各元素的优先级。

由于对于用户来说，使用频率越高的元素通常越重要，例如音乐界面中的开始/暂停按钮、返回上一界面的返回按钮等。若不将这些使用频率高的元素投屏至第二电子设备，而将其他元素投屏的话，则很有可能给用户造成使用不便。基于此，本实施例依据使用频率从高到低的顺序来对元素进行排序，使用频率越高，则优先级越高，即越有可能作为目标元素进行投射。这种方式下得到的优先级能够尽可能满足不同用户的使用习惯和使用需求，提高用户的投屏体验。

在本发明的另一实施例中，上述顺序确定模块401中各元素的优先级可以为用户自定义输入的优先级。

即在本实施例中，由用户手动设置各元素的优先级。这种方式使得最终得到的优先级能够完全符合用户的要求，进而使后续的投屏效果也能够尽量符合用户的使用习惯。

其中，顺序确定模块401具体可以用于：在第一电子设备的界面中标记各元素；显示输入元素顺序的提示；接收用户针对各元素的优先级的排序输入，得到各元素的优先级。

在本发明的另一种实施例中，顺序确定模块401还可以用于：通过预先训练的机器学习模型，得到第一电子设备的界面内各元素的优先级。

即在本实施例中，通过机器学习模型识别到元素后，还能够依据训练结果对识别到的元素进行优先级排序，使得机器学习模型的输出结果即为按照优先级排序的元素。这种方式不需要用户输入，也不需要每次获取元素的使用频率，简化了优先级的获取过程，提高了投屏效率。并且，为了实现上述实施例的目的，机器学习模型的训练样本需要为录屏图像帧及其相关联的、依据优先级进行排序的元素的特征。

在本发明的一种实施例中，第一目标元素选择模块402，可以用于：

通过第一电子设备屏幕的显示尺寸、第二电子设备屏幕的显示尺寸以及第二电子设备屏幕上允许显示的元素数量之间的对应关系，确定投射到第二电子设备屏幕的元素数量N，N为正整数；根据元素数量N以及各元素的优先级确定至少一个目标元素。

在本实施例中，通过预先设置每组第一电子设备屏幕的显示尺寸、第二电子设备屏幕的显示尺寸与第二电子设备屏幕上允许显示的元素数量之间的对应关系，即可在后续直接将当前的第一电子设备屏幕和第二电子设备屏幕的显示尺寸代入该对应关系，从而确定第二电子设备屏幕上允许显示的元素数量即当前第二电子设备屏幕对应的目标元素的数量。这种方式后续还可根据实际的使用情况新增或者调整对应关系中的内容，方便灵活，易于调整。

在本发明的另一种实施例中，第一目标元素选择模块402可以用于：

通过软件界面、第一电子设备屏幕的显示尺寸、第二电子设备屏幕的显示尺寸以及第二电子设备屏幕上允许显示的元素数量之间的对应关系，确定当前投屏过程中软件界面、第一电子设备屏幕和第二电子设备屏幕对应的元素数量N，N为正整数；根据元素数量N以及各元素的优先级确定至少一个目标元素。

在本实施例中，在确定目标元素的数量时，除了考虑到第一电子设备屏幕的显示尺寸和第二电子设备屏幕的显示尺寸，还考虑到了软件界面之间的区别，进一步提高UI适配的效果，投屏后的视觉效果更好。

在本发明的一种实施例中，第一投射模块403可以包括：

元素获取单元，用于获取目标元素的尺寸；

缩放单元，用于依据第一电子设备屏幕的显示尺寸与第二电子设备屏幕的显示尺寸之间的比例关系，对目标元素的尺寸进行缩小或放大；

投射单元，用于在保持各个目标元素之间的相对位置关系不变的情况下，将缩小或放大后的目标元素投射至第二电子设备屏幕内。

在本实施例中，通过坐标来获取目标元素的过程中，可以基于viewroot中取到第一电子设备屏幕内对应坐标处显示的内容，从而实现获取目标元素的目的。进行缩小或放大是由于第一电子设备屏幕和第二电子设备屏幕的显示尺寸不同，不进行缩小或放大的话，可能无法正常显示目标元素。此外，为了避免在第二电子设备屏幕上显示的目标元素位置发生偏移，在显示目标元素时，按照其在第一电子设备屏幕内的相对位置关系不变进行投射。

本发明实施例提供的第一电子设备能够实现图1的投屏方法实施例中实现的各个方法步骤，为避免重复，这里不再赘述。

基于上述实施例提供的另一种投屏方法实施例，相应地，本发明实施例还提供了另一种第一电子设备，如图6所示，图6示出了本发明实施例提供的另一种第一电子设备的结构示意图。该第一电子设备包括：

输入接收模块501，用于在第一电子设备与第二电子设备建立投屏连接的情况下，接收用户针对与第一电子设备的界面内容相关联的各元素的选择输入

第二目标元素选择模块502，用于响应于选择输入，将选择输入对应的至少一个元素作为目标元素；

第二投射模块503，用于将目标元素投射至第二电子设备屏幕。

在本发明实施例中，能够根据用户的选择输入，选择其中与第一电子设备的界面内容相关联的至少一个元素作为目标元素投射至第二电子设备屏幕内。可见，本发明实施例并非将第一电子设备的显示界面直接照搬至第二电子设备屏幕内，而是能够根据用户的输入，自适应的选择需要投射至第二电子设备屏幕内的元素，从而使得在投屏后能够具有较好的显示效果，尽可能避免出现屏幕的显示效果过于空旷或者拥挤的情况，提高用户的使用体验。并且，本发明实施例并非仅能对单一软件使用，适用范围广，且不需要针对单一软件进行设计，容易进行维护。

其中，输入接收模块501可以用于：在显示界面标记元素；显示输入元素顺序的提示；接收用户针对元素的选择输入。这种方式能够使用户能够了解到当前能够进行投射的元素有哪些，从而方便用户进行元素选择。

在本发明一些实施例中，上述实施例中也可以包括：元素识别模块。元素识别模块的具体实现方式与前述实施例中给出的相同，为避免重复，这里不再赘述。

本发明实施例提供的第一电子设备能够实现图4的投屏方法实施例中实现的各个方法步骤，为避免重复，这里不再赘述。

图7示出了本发明实施例提供的一种第一电子设备的硬件结构示意图。

该第一电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、处理器610、以及电源611等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器610，用于在第一电子设备与第二电子设备建立投屏连接的情况下，确定与第一电子设备的界面内容相关联的各元素的优先级；依据与第一电子设备的界面内容相关联的各元素的优先级和第二电子设备屏幕的显示尺寸，在与第一电子设备的界面内容相关联的各元素中确定至少一个目标元素；将目标元素投射至第二电子设备屏幕。

在本发明实施例中，能够确定与第一电子设备的界面内容相关联的各元素的优先级，之后根据这些元素的优先级和第二电子设备屏幕的显示尺寸，选择其中至少一个元素作为目标元素投射至第二电子设备屏幕内。可见，本发明实施例并非将第一电子设备的显示界面直接照搬至第二电子设备屏幕内，而是能够根据第二电子设备屏幕的显示尺寸以及第一电子设备界面内元素的重要程度，自适应的选择需要投射至第二电子设备屏幕内的目标元素，从而使得在投屏后能够具有较好的显示效果，尽可能避免出现屏幕的显示效果过于空旷或者拥挤的情况，提高用户的使用体验。并且，本发明实施例并非仅能对单一软件使用，适用范围广，且不需要针对单一软件进行设计，容易进行维护。

应理解的是，本发明实施例中，射频单元601可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器610处理；另外，将上行的数据发送给基站。通常，射频单元601包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元601还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块602为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元603可以将射频单元601或网络模块602接收的或者在存储器609中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元603还可以提供与第一电子设备600执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元603包括扬声器、蜂鸣器以及受话器等。

输入单元604用于接收音频或视频信号。输入单元604可以包括图形处理器(Graphics Processing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元606上。经图形处理器6041处理后的图像帧可以存储在存储器609(或其它存储介质)中或者经由射频单元601或网络模块602进行发送。麦克风6042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元601发送到移动通信基站的格式输出。

第一电子设备600还包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板6061的亮度，接近传感器可在第一电子设备600移动到耳边时，关闭显示面板6061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器605还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元606用于显示由用户输入的信息或提供给用户的信息。显示单元606可包括显示面板6061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板6061。

用户输入单元607可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元607包括触控面板6061以及其他输入设备6072。触控面板6061，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板6061上或在触控面板6061附近的操作)。触控面板6061可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器610，接收处理器610发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板6061。除了触控面板6061，用户输入单元607还可以包括其他输入设备6072。具体地，其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板6061可覆盖在显示面板6061上，当触控面板6061检测到在其上或附近的触摸操作后，传送给处理器610以确定触摸事件的类型，随后处理器610根据触摸事件的类型在显示面板6061上提供相应的视觉输出。虽然在图7中，触控面板6061与显示面板6061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板6061与显示面板6061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元608为外部装置与第一电子设备600连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元608可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到第一电子设备600内的一个或多个元件或者可以用于在第一电子设备600和外部装置之间传输数据。

存储器609可用于存储软件程序以及各种数据。存储器609可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器609可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器610是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器609内的软件程序和/或模块，以及调用存储在存储器609内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器610可包括一个或多个处理单元；优选的，处理器610可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。

第一电子设备600还可以包括给各个部件供电的电源611(比如电池)，优选的，电源611可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，第一电子设备600包括一些未示出的功能模块，在此不再赘述。

优选的，本发明实施例还提供一种电子设备，包括处理器610，存储器609，存储在存储器609上并可在所述处理器610上运行的计算机程序，该计算机程序被处理器610执行时实现上述投屏方法或机器学习模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述投屏方法或机器学习模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (11)

1.一种投屏方法，应用于第一电子设备，其特征在于，包括：

在所述第一电子设备与第二电子设备建立投屏连接的情况下，确定与所述第一电子设备的界面内容相关联的各元素的优先级；

依据所述各元素的优先级和第二电子设备屏幕的显示尺寸，在与所述第一电子设备的界面内容相关联的各元素中确定至少一个目标元素；

将所述目标元素投射至所述第二电子设备屏幕。

2.根据权利要求1所述的方法，其特征在于，所述确定与所述第一电子设备的界面内容相关联的各元素的优先级包括：

获取与所述第一电子设备的界面内容相关联的各元素的使用频率；

依据与所述第一电子设备的界面内容相关联的各元素的使用频率，得到所述各元素的优先级。

3.根据权利要求1所述的方法，其特征在于，所述在与所述第一电子设备的界面内容相关联的各元素中确定至少一个目标元素包括：

通过第一电子设备屏幕的显示尺寸、所述第二电子设备屏幕的显示尺寸以及所述第二电子设备屏幕上允许显示的元素数量之间的对应关系，确定投射到所述第二电子设备屏幕的元素数量N，N为正整数；

根据所述元素数量N以及所述各元素的优先级确定至少一个目标元素。

4.根据权利要求1所述的方法，其特征在于，所述将所述目标元素中投射至所述第二电子设备屏幕包括：

获取所述目标元素的尺寸；

依据第一电子设备屏幕的显示尺寸与所述第二电子设备屏幕的显示尺寸之间的比例关系，对所述目标元素的尺寸进行缩小或放大；

在保持各个所述目标元素之间的相对位置关系不变的情况下，将缩小或放大后的所述目标元素投射至所述第二电子设备屏幕内。

5.根据权利要求1所述的方法，其特征在于，所述确定与所述第一电子设备的界面内容相关联的各元素的优先级之前，还包括：

通过预先训练的机器学习模型识别所述第一电子设备的界面内容中包含的第一元素和所述第一电子设备的界面内容中不包含的、与所述第一元素关联的第二元素；

将所述第一元素和所述第二元素作为与所述第一电子设备的界面内容相关联的各元素。

6.一种第一电子设备，其特征在于，包括：

顺序确定模块，用于在所述第一电子设备与第二电子设备建立投屏连接的情况下，确定与所述第一电子设备的界面内容相关联的各元素的优先级；

第一目标元素选择模块，用于依据所述各元素的优先级和第二电子设备屏幕的显示尺寸，在与所述第一电子设备的界面内容相关联的各元素中确定至少一个目标元素；

第一投射模块，用于将所述目标元素投射至所述第二电子设备屏幕。

7.根据权利要求6所述的第一电子设备，其特征在于，所述顺序确定模块包括：

频率获取单元，用于在所述第一电子设备与第二电子设备建立投屏连接的情况下，获取与所述第一电子设备的界面内容相关联的各元素的使用频率；

优先级确定单元，用于依据与所述第一电子设备的界面内容相关联的各元素的使用频率，得到所述各元素的优先级。

8.根据权利要求6所述的第一电子设备，其特征在于，所述第一目标元素选择模块包括：

元素数量确认单元，用于通过第一电子设备屏幕的显示尺寸、所述第二电子设备屏幕的显示尺寸以及所述第二电子设备屏幕上允许显示的元素数量之间的对应关系，确定投射到所述第二电子设备屏幕的元素数量N，N为正整数；

目标元素确定单元，用于根据所述元素数量N以及所述各元素的优先级确定至少一个目标元素。

9.根据权利要求6所述的第一电子设备，其特征在于，所述第一投射模块包括：

元素获取单元，用于获取所述目标元素的尺寸；

缩放单元，用于依据第一电子设备屏幕的显示尺寸与所述第二电子设备屏幕的显示尺寸之间的比例关系，对所述目标元素的尺寸进行缩小或放大；

投射单元，用于在保持各个所述目标元素之间的相对位置关系不变的情况下，将缩小或放大后的所述目标元素投射至所述第二电子设备屏幕内。

10.根据权利要求6所述的第一电子设备，其特征在于，还包括：

元素识别模块，用于通过预先训练的机器学习模型识别所述第一电子设备的界面内容中包含的第一元素和所述第一电子设备的界面内容中不包含的、与所述第一元素关联的第二元素；将所述第一元素和所述第二元素作为与所述第一电子设备的界面内容相关联的各元素。

11.一种第一电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-5中任一项所述的投屏方法的步骤。

Images