CN112860367B - 设备界面可视化方法、智能终端及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种设备界面可视化方法、智能终端及计算机可读存储介质，所述方法包括：获取设备信息并显示；当检测到针对所述设备信息的确认信息时，根据所述确认信息，生成屏幕请求至目标设备，其中，所述目标设备为与所述确认信息对应的设备终端；当检测到所述目标设备针对所述屏幕请求发送的屏幕数据时，对当前的显示界面对应的显示数据和所述屏幕数据进行数据融合，生成融合数据；对所述融合数据进行渲染，生成目标界面并输出。本发明将无显示屏幕的设备终端进行操作界面的可视化，并使多个设备终端之间能够进行有效交互。

Description

设备界面可视化方法、智能终端及计算机可读存储介质

技术领域

本发明涉及物联网技术领域，尤其涉及一种设备界面可视化方法、智能终端及计算机可读存储介质。

背景技术

随着物联网技术的发展，智慧家庭、智能家居等概念逐渐成为现实。智慧家庭及智能家居环境中智能化的设备越来越多，品类也越来越丰富，除了常规的智能电视、智能冰箱、智能音箱，还增加了智能油烟机、智能跑步机、智能体脂称等。由于造型设计方案以及这些物联网设备终端的体型等因素，根据物联网终端是否带有屏幕服务可分为无屏终端和带屏终端，他们在不同的应用场景为用户提供服务。

当前物联网设备终端在使用过程中面临三个问题。

第一、无屏终端若功能较为复杂，常常需要用户在手机端安装对应的APP(Application，应用)进行管理，若家庭组网中包含大量的物联网设备终端，则用户的手机端需要安装很多的APP，而且每一个APP一般只提供单个设备的管理入口和业务入口，而不是基于用户场景下的服务，也不区分用户场景或者功能是否需要屏幕，以致于很多物联网设备终端虽然安装了屏幕但是并未有任何作用；

第二、虽然家庭组网中的每一个设备终端都能为用户提供一定的服务，理论上来说这些服务应当是可以相互交互使用的。但是实际上，只要基于统一的云端管理平台的物联网设备才能进行数据交流，而由于设备厂商众多，很少有用户家中只使用一个厂商的物联网终端，因此用户想要同时进行两个不同的智慧终端设备需要切换不同的APP，同时不同的服务切换不同的界面，也因为存在跨设备，数据传输及服务共享存在问题。

第三个问题，基于上面两个问题导致当前的物联网终端体验不好，交互不便。

发明内容

本发明的主要目的在于提供一种设备界面可视化方法、智能终端及计算机可读存储介质，旨在解决现有技术中多个物联网终端交互较差，操作不便的问题。

为实现上述目的，本发明提供一种设备界面可视化方法，所述设备界面可视化方法包括如下步骤：

获取设备信息并显示；

当检测到针对所述设备信息的确认信息时，根据所述确认信息，生成屏幕请求至目标设备，其中，所述目标设备为与所述确认信息对应的设备终端；

当检测到所述目标设备针对所述屏幕请求发送的屏幕数据时，对当前的显示界面对应的显示数据和所述屏幕数据进行数据融合，生成融合数据；

对所述融合数据进行渲染，生成目标界面并输出。

可选地，所述的设备界面可视化方法，其中，所述设备信息包括若干个设备终端的设备数据的设备列表。

可选地，所述的设备界面可视化方法，其中，所述对当前的显示界面对应的显示数据和所述屏幕数据进行数据融合，生成融合数据，具体包括：

当所述显示数据包括当前设备对应的显示数据时，确定与所述显示数据和所述屏幕数据进行数对应的融合参数，其中，所述当前设备为所述设备终端中的设备；

根据所述融合参数，对所述显示数据和所述屏幕数据进行数据融合，生成融合数据。

可选地，所述的设备界面可视化方法，其中，所述数据融合的方式包括覆盖融合、整合融合、多窗口融合和浮窗融合中的一种或多种。

可选地，所述的设备界面可视化方法，其中，所述当所述显示数据包括当前设备对应的显示数据时，确定与所述显示数据和所述屏幕数据进行数对应的融合参数，具体包括：

当所述显示数据包括当前设备对应的显示数据时，根据所述当前设备的设备类型、目标设备的设备类型和预设的组合参数表，确定与所述显示数据和所述屏幕数据进行数对应的融合参数，其中，所述组合参数表包括若干个设备组合和各个所述设备组合对应的融合参数，所述设备组合为各个所述设备类型之间的组合。

可选地，所述的设备界面可视化方法，其中，所述根据所述融合参数，对所述显示数据和所述屏幕数据进行数据融合，生成融合数据之后，还包括：

根据所述当前设备和所述目标设备，生成历史组合；

当确定所述历史组合中的任一设备终端为目标终端时，将所述设备历史组合中的所述目标终端以外的设备终端作为候选终端，生成所述候选终端对应的设备信息并显示。

可选地，所述的设备界面可视化方法，其中，所述设备界面可视化方法，还包括：

获取环境中的音频数据；

对所述音频数据进行音频识别，生成所述音频数据对应的文字数据；

根据所述文字数据，确定所述设备终端中与所述音频数据对应的切换终端，并将当前界面切换至所述切换终端对应的显示界面。

可选地，所述的设备界面可视化方法，其中，所述设备数据包括各个所述设备终端对应的屏幕属性，所述屏幕属性包括提供屏幕服务和不提供屏幕服务。

此外，为实现上述目的，本发明还提供一种智能终端，其中，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的设备界面可视化程序，所述设备界面可视化程序被所述处理器执行时实现如上所述的设备界面可视化方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有设备界面可视化程序，所述设备界面可视化程序被处理器执行时实现如上所述的设备界面可视化方法的步骤。

本发明提供一种设备界面可视化方法、智能终端和计算机可读存储介质，先获取待链接的设备终端的设备信息并显示，当用户确定显示的设备信息所对应的设备终端为目标设备时，向其发送确认信息。智能终端根据确定信息，向目标设备发送屏幕请求。目标设备接收到屏幕请求后，发送屏幕数据至智能终端，智能终端从而得到屏幕数据，再将屏幕数据与当前显示的显示界面对应的显示数据进行数据融合，再对融合后得到的融合数据进行渲染，从而生成目标界面最后输出。一方面为用户提供了其想要操控的目标设备所对应的操控界面，一方面能够兼容多个不同来源的设备终端之间的显示交互问题。

附图说明

图1是本发明设备界面可视化方法提供的较佳实施例的流程图；

图2是本发明设备界面可视化方法提供的较佳实施例中获取设备信息的示意图；

图3为本发明智能终端的较佳实施例的运行环境示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明较佳实施例所述的设备界面可视化方法，该设备界面可视化方法可通过智能终端执行，所述智能终端包括智能电视、智能手机等终端。具体执行该方法的可以是智能终端中的设备界面可视化程序，该程序可以是单个APP的形式，也可以是小程序的形式。如图1所述，所述设备界面可视化方法包括以下步骤：

步骤S100，获取设备信息并显示。

具体地，首先，智能终端需要与设备终端建立通讯连接。建立通讯协议的方式可以为基于蓝牙配对、二维码扫描、近场通信(Near Field Communication，NFC)等方式。本实施例将这些建立通讯连接的方式直接分为两种。

在本实施例的第一种实施方式中，如图3所示，用户利用智能终端是直接与设备终端建立通讯连接，例如打开设备终端的蓝牙开关以及智能终端的蓝牙开关，设备终端向外接发送信号帧，宣告自身的存在。在信号帧可包括设备终端的设备数据，设备数据是指与设备相关的数据，例如设备型号、设备名称、在线状态、是否具备屏幕服务等等数据。基于蓝牙方式，智能终端获取的设备信息即为设备终端发送的信号帧，根据设备信息，智能终端在显示界面上显示相关的讯息，在初次建立连接时，需要用户确认之后才能基于蓝牙协议建立完整的通讯连接，之后可以进行记忆存储，当设备终端开启蓝牙开关时，可自动建立通讯连接，获取设备终端的设备信息。

在本实施例的第二种实施方式中，预先设置一家庭组网，当设备终端开启时，加入该家庭组网，并向其发送家庭组网发送设备终端自身的相关的设备数据，设备数据包括设备型号、设备名称、在线状态、是否具备屏幕服务等等数据。家庭组网在接收到设备终端发送的设备信息后，将其进行保存，同时根据设备信息对预先存储的设备列表进行更新。设备列表是用于存储家庭组网内部的所有的设备终端的相关信息。至少包括当前家庭组网内所有的设备终端的设备名称以及是否在线。当用户打开智能终端并将智能终端加入家庭组网时，智能终端向家庭组网发送请求设备列表的列表请求。家庭组网接收到列表请求后，将设备列表发送至智能终端。本实施例中的设备信息即智能终端接收到的设备列表，将设备列表加载至显示界面。当用户看到设备列表时，可通过点击等形式确定其想要连接的设备终端，在智能终端上，在用户确定了想要连接的设备终端时，基于家庭组网，智能终端与所选定的设备终端，也就是目标设备建立通讯连接。

步骤S200，当检测到针对所述设备信息的确认信息时，根据所述确认信息，生成屏幕请求至目标设备。

具体地，用户通过查看设备信息，确定是否要控制设备信息中的设备终端或其对应的设备终端，从而确定设备终端中的目标设备。例如，在第一种实施方式中，设备信息显示之后的内容可以为“是否要控制设备A”，若用户点击“确认”，则生成了可被智能终端检测到的确认信息。在第二种实现方式中，显示的设备列表中包括“设备A”、“设备B”和“设备C”，用户在设备列表中选择自己想要操控的终端设备作为目标设备，从而生成了被智能终端检测到的确认信息。而确认信息的对象即用户想要操控的目标设备，也就是说，目标设备为与所述确认信息对应的设备终端。在检测到确认信息时，根据所述确认信息，智能终端生成屏幕请求发送至目标设备。

步骤S300，当检测到所述目标设备针对所述屏幕请求发送的屏幕数据时，对当前的显示界面对应的显示数据和所述屏幕数据进行数据融合，生成融合数据。

具体地，基于是否提供屏幕服务，设备终端可以分为无屏幕服务终端和屏幕服务终端。对于无屏幕服务终端，可以一开始在设备终端发送设备数据或云服务器发送设备列表的时候，设备数据中就包括是否提供屏幕服务这一参数。智能终端在显示设备信息时，将这一参数也一并显示出来，从而减少向无屏幕服务终端发送屏幕请求。此外，若用户点击了无屏幕服务终端时，智能终端基于该该设备终端为无屏幕服务终端，可直接显示“不提供屏幕服务”等字样，以表明该设备终端无法提供屏幕服务。

若设备终端是屏幕服务终端，设备终端在接收到智能终端发送的屏幕请求后，先将接收到的屏幕请求处理为物联网终端可以执行的信号，从而根据屏幕请求的内容，发送与屏幕请求对应的屏幕数据作为反馈发送回智能终端。屏幕数据是与屏幕请求相对应的数据。例如智能终端发送的屏幕请求为“访问控制权限”，设备终端为智能电视，则智能电视发送的终端数据根据屏幕请求发送的屏幕数据可包括与“视频播放控制界面”相关的数据、与“直播播放控制界面”相关的数据、与“应用管理界面”相关的数据、与“屏幕截图界面”相关的数据等等。

智能终端在得到屏幕数据后，将显示界面对应的显示数据与屏幕数据进行数据融合，生成融合数据。

所述数据融合的方式包括覆盖融合、整合融合、多窗口融合和浮窗融合中的一种或多种。

例如，当前的显示界面为智能终端中执行该方法的应用、小程序的默认界面，智能终端将默认界面对应的数据为显示数据，将其与屏幕数据进行数据融合，从而生成融合数据。此时的融合方式可以采用覆盖融合，即将屏幕数据中显示的内容覆盖显示数据中对应的内容。此外，若屏幕数据中包含设备终端发送的界面化的绘制参数，也可以将设备终端发送的绘制参数替换原有的绘制参数。

进一步地，若智能终端之前已经加载过另一个终端设备的界面，则当前显示数据包括当前设备对应的显示数据，当前设备就是指在绘制目标设备对应的屏幕数据之前已经建立了联系的另一设备终端。此时进行数据融合的过程为：

当所述显示数据包括当前设备对应的显示数据时，确定与所述显示数据和所述屏幕数据进行数对应的融合参数；

根据所述融合参数，对所述显示数据和所述屏幕数据进行数据融合，生成融合数据。

具体的，当所述显示数据包括当前设备对应的显示数据时，先确定与所述显示数据和所述屏幕数据进行数对应的融合参数。

在本实施例的第一种确定融合参数的方式为通过用户确定。即在进行数据融合之前，先在屏幕上弹出提示窗口，告知用户已经加载了另一个设备终端的操作界面，若需要加载目标设备的操作界面，需要进行数据融合，并提供融合参数的选择。例如显示选择覆覆盖融合、整合融合、多窗口融合和浮窗融合中的一种或多种作为融合方法，并且融合过程中的相关参数。以多窗口融合为例，每一个设备终端对应的操作界面为一个窗口，相关参数即可包括操作界面的大小、位置等。

再以浮动融合为例，若当前设备为智能电视，智能终端显示的内容为智能电视提供传屏服务所显示的电视节目，用户当前正在运动机上进行运动，想要观看自己的运动数据，目标设备为运动机。因此用户可选择的数据融合方式为浮动融合，运动机传输的屏幕数据中的运动数据作为浮动数据在电视节目上显示，在不调整显示窗口的大小的前提上，实现用户对运动数据的观看。而运动数据的显示位置、显示大小等参数即可作为融合参数。

在本实施例的第二种实施方式中，预先设定一个组合参数表，组合参数表包含若干个设备组合和各个所述设备组合对应的融合参数。设备组合是指各个所述设备类型之间的组合。设备组合中的设备类型的数量为两个或两个以上。

例如某一个设备组合的设备类型为显示设备和运动设备，以显示设备为智能电视，运动设备为运动机为例，由于智能电视在传屏服务过程中，也就是视频随移，屏幕的主要部分被节目所覆盖，若采用多窗口的融合方式，用户观看节目会受到影响；若采用覆盖融合会打断用户观看节目，因此采用浮动融合或整合融合作为该设备组合对应的融合参数中的融合方式。此外，其他的融合参数可以根据后续用户选择也可采用预先设置。

通过上述方式，多个设备终端的服务界面可以在同一个界面进行显示，实现跨平台的设备服务在同一个屏幕进行处理。

进一步地，在对显示数据和屏幕数据进行数据融合后，根据所述当前设备和所述目标设备，生成历史组合。也就是说对数据进行融合显示的当期设备和目标设备进行记忆。在后续运行过程中，当确定所述历史组合中的任一设备终端为目标终端时，将所述设备历史组合中的另一设备终端作为候选终端，生成所述候选终端对应的设备信息并显示。

例如当前设备为智能电视，目标设备为运动机，对这两者进行记忆后得到的历史组合为“智能电视-运动机”。若用户将界面关闭后，重新获取智能电视对应的屏幕数据时，智能终端根据历史组合，提示是否获取运动机对应的屏幕数据。

此外，由于组合的多样性，可能某一设备终端与多个其他设备终端进行组合，例如还历史组合包括“智能电视-运动机”、“智能电视-智能灶台”，可根据每一个历史组合的频率、历史组合出现的时间以及历史组合的类型等因素，确定候选终端。即当所述目标终端对应多个历史组合时，根据各个历史组合对应的组合参数，确定对应的目标组合，并将目标组合中目标终端以外的设备终端作为候选终端。最后生成候选终端对应的设备信息并显示。

值得注意的是，上述例子都是以当前设备为一个设备终端为例进行描述的，但是在实际应用中，当前设备还可以是两个或两个以上的设备，当前设备只是对之前已经获取屏幕数据的设备终端的统称。

步骤S400，对所述融合数据进行渲染，生成目标界面并输出。

具体地，得到融合数据后，根据融合数据中的绘制参数，对融合参数进行渲染，生成目标界面并输出，以将融合数据显示出来，实现目标设备的界面可视化。

此外，在本实施例中，智能终端还会获取环境中的音频数据，以实现通过语音进行服务切换或屏幕切换。先对所述音频数据进行音频识别，生成所述音频数据对应的文字数据。然后对文字数据进行解读，根据所述文字数据，确定所述设备终端中与所述音频数据对应的切换终端。例如文字数据为“我想看电视”，则确定设备终端中的智能电视为切换终端，智能终端自动切换至切换终端对应的显示界面，也就是智能电视对应的显示界面。此外，在切换至切换终端对应的显示界面时，显示界面可以是将切换终端对应的屏幕数据渲染后的显示界面，也可以是切换终端对应的屏幕数据与当前设备对应的显示数据进行数据融合后的融合数据渲染后的显示界面，还可以是先将当前设备、切换终端，以及切换终端对应的历史组合中其他的设备终端，三者对应的屏幕数据进行数据融合得到的融合数据，然后对融合数据进行渲染后得到的显示数据。

进一步地，如图3所述，基于上述设备界面可视化方法，本发明还相应提供了一种智能终端，所述智能终端包括处理器10、存储器20及显示器30。图3仅示出了智能终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器20在一些实施例中可以是所述智能终端的内部存储单元，例如智能终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能终端的外部存储设备，例如所述智能终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述智能终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能终端的应用软件及各类数据，例如所述安装智能终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有设备界面可视化程序40，该设备界面可视化程序40可被处理器10所执行，从而实现本申请中设备界面可视化方法。

所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述设备界面可视化方法等。

所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述智能终端的信息以及用于显示可视化的用户界面。所述智能终端的部件10-30通过系统总线相互通信。

在一实施例中，当处理器10执行所述存储器20中设备界面可视化程序40时实现以下步骤：

获取设备信息并显示；当检测到针对所述设备信息的确认信息时，根据所述确认信息，生成屏幕请求至目标设备，其中，所述目标设备为与所述确认信息对应的设备终端；当检测到所述目标设备针对所述屏幕请求发送的屏幕数据时，对当前的显示界面对应的显示数据和所述屏幕数据进行数据融合，生成融合数据；对所述融合数据进行渲染，生成目标界面并输出。本发明将无显示屏幕的设备终端进行操作界面的可视化，并使多个设备终端之间能够进行有效交互。

本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有设备界面可视化程序，所述设备界面可视化程序被处理器执行时实现如上所述的设备界面可视化方法的步骤。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种设备界面可视化方法，其特征在于，应用于智能终端，所述设备界面可视化方法包括：

获取设备信息并显示；

当检测到针对所述设备信息的确认信息时，根据所述确认信息，生成屏幕请求至目标设备，其中，所述目标设备为与所述确认信息对应的设备终端；

当检测到所述目标设备针对所述屏幕请求发送的屏幕数据时，对当前的显示界面对应的显示数据和所述屏幕数据进行数据融合，生成融合数据；

所述当前的显示界面对应的显示数据是由当前设备通过传屏服务显示到智能终端上的；所述对当前的显示界面对应的显示数据和所述屏幕数据进行数据融合，生成融合数据，具体包括：

当所述显示数据包括当前设备对应的显示数据时，确定与所述显示数据和所述屏幕数据进行数据对应的融合参数，其中，所述当前设备为所述设备终端中的设备；

根据所述融合参数，对所述显示数据和所述屏幕数据进行数据融合，生成融合数据；

所述根据所述融合参数，对所述显示数据和所述屏幕数据进行数据融合，生成融合数据之后，还包括：

根据所述当前设备和所述目标设备，生成设备历史组合；

当确定所述设备历史组合中的任一设备终端为目标终端时，将所述设备历史组合中的所述目标终端以外的设备终端作为候选终端，生成所述候选终端对应的设备信息并显示；

所述当所述显示数据包括当前设备对应的显示数据时，确定与所述显示数据和所述屏幕数据进行数据对应的融合参数，具体包括：

当所述显示数据包括当前设备对应的显示数据时，根据所述当前设备的设备类型、目标设备的设备类型和预设的组合参数表，确定与所述显示数据和所述屏幕数据进行数据对应的融合参数，其中，所述组合参数表包括若干个设备组合和各个所述设备组合对应的融合参数，所述设备组合为各个所述设备类型之间的组合；

所述设备组合中的设备类型的数量为两个或两个以上；

所述数据融合的方式包括覆盖融合、整合融合、多窗口融合和浮窗融合中的一种或多种；

对所述融合数据进行渲染，生成目标界面并输出。

2.根据权利要求1所述的设备界面可视化方法，其特征在于，所述设备信息包括若干个设备终端的设备数据的设备列表。

3.根据权利要求1或2所述的设备界面可视化方法，其特征在于，所述设备界面可视化方法，还包括：

获取环境中的音频数据；

对所述音频数据进行音频识别，生成所述音频数据对应的文字数据；

根据所述文字数据，确定所述设备终端中与所述音频数据对应的切换终端，并将当前界面切换至所述切换终端对应的显示界面。

4.根据权利要求2所述的设备界面可视化方法，其特征在于，所述设备数据包括各个所述设备终端对应的屏幕属性，所述屏幕属性包括提供屏幕服务和不提供屏幕服务。

5.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的设备界面可视化程序，所述设备界面可视化程序被所述处理器执行时实现如权利要求1-4任一项所述的设备界面可视化方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有设备界面可视化程序，所述设备界面可视化程序被处理器执行时实现如权利要求1-4任一项所述的设备界面可视化方法的步骤。