CN103605535A - 智能显示设备操作方法、系统及智能显示设备、移动设备 - Google Patents

Abstract

本发明适用于计算机应用领域，提供了一种智能显示设备操作方法、系统及智能显示设备、移动设备，所述方法包括：智能显示设备启动应用程序后，在显示应用程序用户界面的同时，抓取用户界面图形数据和图像数据并发送至相连的移动设备；移动设备接收图形数据和图像数据并解码显示；移动设备接收用户输入的感应操作并发送至智能显示设备；智能显示设备将接收到的感应操作转换为本地感应操作并响应。智能显示设备将无法实现的感应操作借助于能够实现感应操作的移动设备来获取，并由移动设备将获取的感应操作传回给智能显示设备响应，使得智能显示设备能够兼容应用程序市场的各种需要感应操作的应用程序，加强了智能显示设备的开放性和扩展性。

Description

智能显示设备操作方法、系统及智能显示设备、移动设备

技术领域

本发明属于计算机应用领域，尤其涉及一种智能显示设备操作方法、系统及智能显示设备、移动设备。

背景技术

随着技术的不断发展，智能显示设备的硬件及软件功能越来越强大，能够在智能显示设备上运行的应用程序也越来越多。纵观现今应用程序市场中感应类操作（指用户通过触摸感应、重力感应、声音感应、方向感应、陀螺仪感应等方式向设备输入操作指令，设备依据输入的操作指令做出相应响应的操作方式）的应用程序数量最多，几乎是占据了半壁江山，智能显示设备却由于自身输入方式的局限性，感应类的操作无法在智能显示设备上输入，因此无法支持这类应用程序的操作，使得智能显示设备的功能受到了极大的限制，若使用鼠标、键盘、遥控器等输入设备来操控感应类的操作又使得用户体验大大降低。

发明内容

本发明实施例的目的在于提供一种智能显示设备操作方法、系统及智能显示设备、移动设备，旨在解决现有的需要感应操作输入的应用程序无法在智能显示设备上操作的问题。

本发明实施例是这样实现的，一种智能显示设备操作方法，所述方法包括：

智能显示设备启动应用程序后，在显示应用程序用户界面的同时，抓取用户界面图形数据和图像数据并发送至相连接的移动设备；

所述移动设备接收图形数据和图像数据并解码显示；

所述移动设备接收用户输入的感应操作并发送至所述智能显示设备；

所述智能显示设备将所述接收到的感应操作转换为本地感应操作并响应。

本发明实施例的另一目的在于提供一种智能显示设备，所述智能显示设备包括：

显示抓取模块，用于启动应用程序后，在显示应用程序用户界面的同时，抓取用户界面图形数据和图像数据；

无线传输模块，用于发送所述用户界面图形数据和图像数据；

标准触控输入模块，用于将感应操作转换为本地感应操作并响应。

本发明实施例的另一目的在于提供一种移动设备，所述移动设备包括：

显示接收模块，用于接收图形数据和图像数据并解码显示；

操作回传模块，用于接收用户输入的感应操作并发送至智能显示设备。

本发明实施例的另一目的在于提供一种智能显示设备操作系统，所述系统包括上述智能显示设备及移动设备。

在本发明实施例中，智能显示设备将无法实现的感应操作借助于能够实现感应操作的移动设备来获取，并由移动设备将获取的感应操作传回给智能显示设备响应，使得智能显示设备能够兼容应用程序市场上需要感应操作的各种应用程序，由此智能显示设备能安装及应用各种需要感应操作的应用程序，也能使用户自行在网络下载各种需要感应操作的程序在智能显示设备上使用，增强了智能显示设备的操作方式，加强了智能显示设备的开放性和扩展性。此外，用户在智能显示设备上启动应用程序并传输到移动设备上进行感应操作的方式也充分利用了智能显示设备的大屏特点及移动设备的操作便利性，用户体验良好。

附图说明

图1是本发明实施例提供的智能显示设备操作方法的流程图；

图2是本发明实施例提供的智能显示设备操作系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

如图1所示为本发明第一实施例提供的一种智能显示设备操作方法的流程图，为了便于说明，仅示出了与本发明实施例相关的部分。

在本发明实施例中，图1中，移动设备为支持感应操作的移动设备，智能显示设备与移动设备之间通过Wi-Fi（一种无线网络通信方式）进行数据传输。

在步骤S11中，智能显示设备启动应用程序。

在本发明实施例中，智能显示设备包括但不限于智能电视等，应用程序为需要感应操作来操控的应用程序。

在本发明实施例中，感应操作是指用户通过触摸感应、重力感应、声音感应、方向感应、陀螺仪感应等方式向设备输入操作指令，设备依据输入的操作指令做出相应响应的操作方式。

在步骤S12中，智能显示设备在显示应用程序用户界面的同时，抓取用户界面图形数据和图像数据并发送至相连接的移动设备。

在本发明实施例中，智能显示设备启动应用程序后，智能显示设备的操作系统将运行智能显示设备芯片的图形及视频显示驱动，解析应用程序用户界面数据获得图形数据和图像数据。其中，图像数据是指用数值表示的各像素的灰度值的集合；图形数据是指图形对象的形式表示，图形对象指图元和图段。随后，将解析后得到的图形数据以RGB（一种颜色标准）格式写入framebuffer（帧缓冲区），将解析后得到的图像数据以RGB格式或YUV（一种电视系统采用的颜色编码方法，“Y”表示明亮度，“U”表示色度，“V”表示浓度）格式写入video层（视频层）内存。

此时，智能显示设备一方面将图形数据及图像数据从framebuffer和video层内存中输出显示。同时另一方面，按照预设的抓取帧率在framebuffer及video层内存中分别抓取图形数据和图像数据，具体为通过读取framebuffer按照预设的抓取帧率从framebuffer中抓取当前显示的图形数据，并通过读取video层内存按照预设的抓取帧率从video层内存中抓取当前显示的图像数据。将抓取到的图形数据及图像数据融合后压缩编码为指定视频格式（如可以按照H.264格式编码，H.264是一种高度压缩数字视频编解码器标准），并根据传输协议将压缩编码后的数据封装为TS流（是MPEG-2格式种类中的一种，MPEG-2（Moving Picture Exports Group）是一个关于运动图像压缩的国际标准）后发送至移动设备。

其中，预设的抓取帧率可由开发者自行设置，如每秒抓取30帧，或每秒抓取15帧等。为了便于移动设备的灵活使用，智能显示设备与移动设备通过Wi-Fi建立连接，也通过Wi-Fi进行数据传输，因此按照基于Wi-Fi的TCP/IP（Transmission Control Protocol/Internet Protocol，传输控制协议）协议将压缩编码后的数据封装为TS流，并将TS流分割为符合IP（Internet Protocol，网际协议）包大小的数据包后，再将数据包发送至移动设备。

在步骤S13中，移动设备接收图形数据和图像数据并解码显示。

在本发明实施例中，移动设备接收到智能显示设备发送过来的图形数据及图像数据TS流后，对其进行解码。由于智能显示设备与移动设备的屏幕显示分辨率有所不同，还需将已解码的图形数据和图像数据的分辨率变换为当前移动设备的分辨率后，将转变分辨率后的图形数据和图像数据传递给显示驱动输出显示。其中，移动设备端通常都具有scaler功能，能够对视频进行缩放，因此移动设备可通过自带的scaler工具将收到的图形数据及图像数据的分辨率变换为当前移动设备的分辨率。

在本发明实施例中，由于智能显示设备在显示的同时将图形数据和图像数据抓取传送到移动设备上显示，因此实现了智能显示设备和移动设备上界面的同步显示，用户体验良好。

在步骤S14中，移动设备接收用户输入的感应操作并发送至智能显示设备。

在本发明实施例中，移动设备将接收到的图形数据和图像数据解码显示后，用户将能够在移动设备上看到与智能显示设备上同样的应用程序用户界面，此时，用户便可以在移动设备上输入感应操作。其中，用户输入的感应操作包括但不限于：触控感应操作、重力感应操作、方向感应操作、陀螺仪感应操作、声音感应操作等。

在本发明实施例中，移动设备上预先安装有一操作回传应用程序（操作回传APP），用于接收用户输入的感应操作并传送给智能显示设备。用户在移动设备上输入感应操作会触发感应事件，感应事件中包括有用户输入的感应操作。于是，当用户在移动设备上输入感应操作时，操作回传应用程序便获取包括有用户输入的感应操作的感应事件，并将所获取的感应事件按照基于Wi-Fi的TCP/IP协议打包后发送给智能显示设备。

下面以触控感应操作为例来详细说明步骤S14的具体过程。

例如：此时显示的应用程序用户界面是一个触控游戏应用界面，则用户便可在移动设备上输入触控感应操作，此时用户输入的触控感应操作会触发移动设备的触控事件，触控事件包括用户输入的各种触控感应操作，如用户触控屏幕的触控坐标、用户触控的点数、用户触控的手势种类（点击、长按、拖动等）等。触发触控事件后，移动设备上的操作回传应用程序就将包括有触控感应操作的触控事件打包发送给智能显示设备。

在步骤S15中，智能显示设备将接收到的感应操作转换为本地感应操作并响应。

在本发明实施例中，智能显示设备中预置有一标准触控输入模块，当智能显示设备接收到移动设备传过来的包括有感应操作的感应事件后，将感应事件传递给标准触控输入模块，标准触控输入模块将接收到的感应事件转换为本地感应事件，相应的，接收到的感应事件中包括的感应操作也被转换为了本地感应操作，使得智能显示设备能够按照收到本地感应操作的方式来响应接收到的感应。

在本发明实施例中，智能显示设备将无法实现的感应操作借助于能够实现感应操作的移动设备来获取，并由移动设备将获取的感应操作传回给智能显示设备响应，使得智能显示设备能够兼容应用程序市场上需要感应操作的各种应用程序，由此智能显示设备能安装及应用各种需要感应操作的应用程序，也能使用户自行在网络下载各种需要感应操作的程序在智能显示设备上使用，增强了智能显示设备的操作方式，加强了智能显示设备的开放性和扩展性。此外，用户在智能显示设备上启动应用程序并传输到移动设备上进行感应操作的方式也充分利用了智能显示设备的大屏特点及移动设备的操作便利性，用户体验良好。

实施例二：

图2为本发明实施例提供的智能显示设备操作系统的结构图，为了便于说明，仅示出了与本发明实施例相关的部份。

在本发明实施例中，智能显示设备操作系统包括两个部分，一部分位于智能显示设备中，另一部分位于移动设备中。

其中，智能显示设备中包括有显示抓取模块21，与显示抓取模块21相连的无线传输模块22，及与显示设备无线传输模块22相连的标准触控输入模块23。

显示抓取模块21，用于启动应用程序后，在显示应用程序用户界面的同时，抓取用户界面图形数据和图像数据。

在本发明实施例中，显示抓取模块21包括两个子模块，分别为：

解析模块211，用于解析应用程序用户界面数据，并将解析获取的图形数据和图像数据分别写入framebuffer及video层内存。

抓取模块212，用于在将图形数据及图像数据输出显示的同时，按照预设的抓取帧率在framebuffer及video层内存中分别抓取图形数据和图像数据，并将抓取到的图形数据及图像数据封装编码。

其中，抓取模块212包括两个子模块，分别为：

数据抓取子模块2121，用于在显示模块将图形数据及图像数据输出显示的同时，按照预设的抓取帧率在framebuffer及video层内存中分别抓取图形数据和图像数据；

数据封装子模块2122，用于将抓取到的图形数据和图像数据融合压缩编码，再基于TCP/IP协议将压缩编码后的数据封装为TS流，并将TS流分割为符合IP包大小的数据包。

在本发明实施例中，预设的抓取帧率可由开发者自行设置，如每秒抓取30帧，或每秒抓取15帧等。

无线传输模块22，用于发送用户界面图形数据和图像数据至移动设备。

标准触控输入模块23，用于在移动设备解析显示图形数据及图像数据并获取到用户输入的感应操作后，将移动设备发来的感应操作转换为本地感应操作并响应。

在本发明实施例中，当智能显示设备接收到移动设备传过来的包括有感应操作的感应事件后，将感应事件传递给标准触控输入模块23，标准触控输入模块23将接收到的感应事件转换为本地感应事件，相应的接收到的感应事件中包括的感应操作也被转换为了本地感应操作，使得智能显示设备能够按照收到本地感应操作的方式来响应接收到的感应。

在本发明实施例中，用户输入的感应操作包括但不限于：触控感应操作、重力感应操作、方向感应操作、陀螺仪感应操作、声音感应操作等。

此外，移动设备包括有显示接收模块24，及与显示接收模块24相连的操作回传模块25。

显示接收模块24，用于接收智能显示设备发来的图形数据和图像数据并解码显示。

操作回传模块25，用于接收用户输入的感应操作并发送至智能显示设备。

在本发明实施例中，用户输入的感应操作包括但不限于：触控感应操作、重力感应操作、方向感应操作、陀螺仪感应操作、声音感应操作等。

在本发明实施例中，移动设备上预先安装有一操作回传应用程序，用于接收用户输入的感应操作并传送给智能显示设备。用户在移动设备上输入感应操作会触发感应事件，感应事件中包括有用户输入的感应操作。于是，当用户在移动设备上输入感应操作时，操作回传应用程序便获取包括有用户输入的感应操作的感应事件，并将所获取的感应事件按照基于Wi-Fi的TCP/IP协议打包后发送给智能显示设备。

在本发明实施例中，智能显示设备将无法实现的感应操作借助于能够实现感应操作的移动设备来获取，并由移动设备将获取的感应操作传回给智能显示设备响应，使得智能显示设备能够兼容应用程序市场上需要感应操作的各种应用程序，由此智能显示设备能安装及应用各种需要感应操作的应用程序，也能使用户自行在网络下载各种需要感应操作的程序在智能显示设备上使用，增强了智能显示设备的操作方式，加强了智能显示设备的开放性和扩展性。此外，用户在智能显示设备上启动应用程序并传输到移动设备上进行感应操作的方式也充分利用了智能显示设备的大屏特点及移动设备的操作便利性，用户体验良好。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种智能显示设备操作方法，其特征在于，所述方法包括：

智能显示设备启动应用程序后，在显示应用程序用户界面的同时，抓取用户界面图形数据和图像数据并发送至相连接的移动设备；

所述移动设备接收图形数据和图像数据并解码显示；

所述移动设备接收用户输入的感应操作并发送至所述智能显示设备；

所述智能显示设备将所述接收到的感应操作转换为本地感应操作并响应。

2.如权利要求1所述的方法，其特征在于，所述在显示应用程序用户界面的同时，抓取用户界面图形数据和图像数据并发送至相连接的移动设备包括：

所述智能显示设备解析应用程序用户界面数据，并将解析获取的图形数据和图像数据分别写入framebuffer及video层内存；

所述智能显示设备将所述图形数据及图像数据输出显示，同时按照预设的抓取帧率在framebuffer及video层内存中分别抓取图形数据和图像数据；

所述智能显示设备将抓取的图形数据和图像数据封装编码后发送至相连接的所述移动设备。

3.如权利要求2所述的方法，其特征在于，所述智能显示设备将抓取的图形数据和图像数据封装编码后发送至相连接的所述移动设备包括：

所述智能显示设备将抓取到的图形数据和图像数据融合压缩编码，再基于TCP/IP协议将压缩编码后的数据封装为TS流，并将TS流分割为符合IP包大小的数据包后发送至相连接的所述移动设备。

4.如权利要求1至3任一权利要求所述的方法，其特征在于，所述感应操作包括：

触控感应操作、重力感应操作、方向感应操作、陀螺仪感应操作、声音感应操作。

5.一种智能显示设备，其特征在于，所述智能显示设备包括：

显示抓取模块，用于启动应用程序后，在显示应用程序用户界面的同时，抓取用户界面图形数据和图像数据；

无线传输模块，用于发送所述用户界面图形数据和图像数据至移动设备；

标准触控输入模块，用于在移动设备解析显示图形数据及图像数据并获取到用户输入的感应操作后，将移动设备发来的感应操作转换为本地感应操作并响应。

6.如权利要求5所述的智能显示设备，其特征在于，所述显示抓取模块包括：

解析模块，用于解析应用程序用户界面数据，并将解析获取的图形数据和图像数据分别写入framebuffer及video层内存；

抓取模块，用于在将所述图形数据及图像数据输出显示的同时，按照预设的抓取帧率在所述framebuffer及video层内存中分别抓取图形数据和图像数据，并将抓取到的图形数据及图像数据封装编码。

7.如权利要求6所述的智能显示设备，其特征在于，所述抓取模块包括：

数据抓取子模块，用于在将所述图形数据及图像数据输出显示的同时，按照预设的抓取帧率在所述framebuffer及video层内存中分别抓取图形数据和图像数据；

数据封装子模块，用于将抓取到的图形数据和图像数据融合压缩编码，再基于TCP/IP协议将压缩编码后的数据封装为TS流，并将TS流分割为符合IP包大小的数据包。

8.如权利要求5至7任一权利要求所述的智能显示设备，其特征在于，所述感应操作包括：

触控感应操作、重力感应操作、方向感应操作、陀螺仪感应操作、声音感应操作。

9.一种移动设备，其特征在于，所述移动设备包括：

显示接收模块，用于接收智能显示设备发来的图形数据和图像数据并解码显示；

操作回传模块，用于接收用户输入的感应操作并发送至智能显示设备。

10.如权利要求9所述的移动设备，其特征在于，所述感应操作包括：

触控感应操作、重力感应操作、方向感应操作、陀螺仪感应操作、声音感应操作。

11.一种智能显示设备操作系统，其特征在于，所述系统包括权利要求5至8任一权利要求所述的智能显示设备及权利要求9或10所述的移动设备。

Images