CN109753315A - 一种智能设备交互式内容编辑实现方法及存储介质 - Google Patents

Abstract

本发明公开了一种智能设备交互式内容编辑实现方法及存储介质，包括以下步骤：获取第一设备的某个应用配置信息；启动第二设备的可视化编辑器，通过可视化编辑器显示接收到的配置信息，并对显示的配置信息进行修改；所述可视化编辑器和第一设备预先设有相同的配置协议，所述可视化编辑器基于配置协议可显示和修改配置信息；将修改的配置信息返回给第一设备。本发明通过在第二设备的编辑器上修改配置信息并传送给第一设备，操作简单且直观，避免了现有技术中的第一设备如果屏幕大或无法直接在屏幕上操作时在修改配置信息时操作麻烦的问题。

Description

一种智能设备交互式内容编辑实现方法及存储介质

技术领域

本发明涉及智能设备交互领域，具体涉及一种智能设备交互式内容编辑实现方法及存储介质。

背景技术

目前智能电视及机顶盒等，大多都不具触摸操作功能，如果需要进行较深度编辑的操作，比如像手机上一样进行选中、拖放、放大或缩小、输入、控件切换等较精确的操作，非常不方便；目前的解决方式为采用外接鼠标、或具有飞鼠功能的遥控器、手机模拟成鼠标等在屏幕上进行点击或指针或光标操作，需要不断移动和切换，整体上较为复杂且难操控。通常在不支持手柄或外设直接操作的游戏，常见的处理办法是通过映射方式进行游戏，例如将外设按键信号通过预设好的按键与触摸位置对应关系，在游戏界面对应的操作位置进行发送触摸指令，建立映射的对应关系。

而且，当在较大的屏幕上(例如电视)，即使带触摸功能或外接鼠标的大屏，在需要对映射对应关系进行修改时，通常采用以下方法：(1)在幕上选中一个控件或目标，先按下鼠标左键，将鼠标指针逐步移动到当前控件上，再点击左键或右键或长按进行操作；(2)若使用传统遥控器需要不断按或按住方向键一点点移动光标、或通过光标焦点跳转(通过上下左右键切换)来选中目标并通过子菜单操作模式；不管是采用哪种模式进行修改，由于画面太大或无法直接触摸的原因，操作起来非常麻烦，不够简洁直观，而且还需要外接鼠标或飞鼠等输入设备(即需要外设支持)，不利于多层级、或多切换、或多移动等带频繁交互操作的界面操作，效率较为低下。

发明内容

鉴于以上技术问题，本发明的目的在于提供一种智能设备交互式内容编辑实现方法及存储介质，解决现有技术中第一设备若屏幕较大或无法直接触摸时在修改配置信息时操作起来麻烦的问题。

本发明采用以下技术方案：

一种智能设备交互式内容编辑实现方法，包括以下步骤：

获取第一设备的某应用的配置信息；所述配置信息包括输入设备信号信息、约定的目标指令动作和UI控件参数与显示信息；

启动第二设备的可视化编辑器，通过可视化编辑器显示接收到的配置信息，并对显示的配置信息进行修改，得到修改的配置信息；所述可视化编辑器和第一设备预先设有相同的配置协议，所述可视化编辑器基于配置协议可显示和修改配置信息；

将修改的配置信息返回给第一设备，以第一设备存储修改后的配置信息，或根据修改后的配置信息更新第一设备上配置信息。

所述修改的配置信息包括：修改后全部的配置信息或变更的部分配置信息或配置信息的变更指令信息。

所述配置协议包含第一设备上可能发生的全部输入设备信号信息、约定的目标指令动作和UI控件参数与显示信息。

所述第二设备为移动终端，所述移动终端为智能触屏设备。

所述第二设备采用手机或平板电脑。

所述的智能设备交互式内容编辑实现方法，还包括以下步骤：

获取第一设备当前屏幕信息。

所述第一设备当前屏幕信息包括第一设备当前界面画面和/或屏幕大小和/或屏幕分辨率，所述第一设备当前屏幕信息可通过第一设备发送的屏幕信息获取或根据第一设备型号得到。

获取的第一设备的配置信息的格式为json格式或XML格式或TEXT格式或二进制格式。

返回给第一设备的修改的配置信息格式为json格式或XML格式或TEXT格式或二进制格式。

一种智能设备交互式内容编辑实现方法，包括以下步骤：

启动第一设备的某应用，向第二设备发送该应用的配置信息，以第二设备通过可视化编辑器对接收的配置信息进行修改；所述配置信息包括输入设备信号信息、约定的目标指令动作和UI控件参数与显示信息；获取第二设备发送的修改的配置信息，并存储修改的配置信息或根据修改的配置信息更新所述应用的配置信息。

所述的智能设备交互式内容编辑实现方法，还包括以下步骤：

当第一设备启动的应用具有图型显示配置功能时，实时获取第二设备发送的修改的配置信息，并根据修改的配置信息更新所述应用的配置信息，并将更新的配置信息在第一设备上实时显示。

一种计算机存储介质，所述计算机程序被处理器执行时，实现上述的智能设备交互式内容编辑实现方法。

相比现有技术，本发明的有益效果在于：

本发明通过第二设备获取第一设备的配置信息，在第二设备的编辑器上修改配置信息并传送给第一设备，操作简单且直观，避免了现有技术中的第一设备如果屏幕大或第一设备没有触屏功能时无法直接在屏幕上操作时在修改配置信息时操作麻烦的问题，同时，还可以在第一设备在应用开启时，例如游戏时，由第二设备来进行配置信息修改。

附图说明

图1为本发明一种智能设备交互式内容编辑实现方法的流程示意图；

图2为本发明一种智能设备交互式内容编辑实现方法实施例中对控件进行修改时的示意图；

图3为本发明一种智能设备交互式内容编辑实现方法的配置信息与目标指令动作之间的映射关系；

图4为本发明一种智能设备交互式内容编辑实现方法的次设备通过配置信息生成配置文件的方法。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例：

实施例：

请参考图1和图2所示，一种智能设备交互式内容编辑实现方法，在第二设备方面，如图1所示，包括以下步骤：

步骤S100：获取第一设备的某应用的配置信息；所述配置信息包括输入设备信号信息、约定的目标指令动作和UI控件参数与显示信息；在本申请中，第一设备某应用包括应用软件或游戏软件或第一设备内置的系统功能等应用，但不限于此。

步骤S200：启动第二设备的可视化编辑器，通过可视化编辑器显示接收到的配置信息，并对显示的配置信息进行修改，得到修改的配置信息；所述可视化编辑器和第一设备预先设有相同的配置协议，所述可视化编辑器基于配置协议可显示和修改配置信息；

步骤S300：将修改的配置信息返回给第一设备，以第一设备存储修改后的配置信息，或根据修改后的配置信息更新第一设备上配置信息。

具体的，所述修改的配置信息包括：修改后全部的配置信息或变更的部分配置信息或配置信息的变更指令信息。所述配置协议包含第一设备上可能发生的全部输入设备信号信息、约定的目标指令动作和UI控件参数与显示信息。

获取第一设备当前屏幕信息。

所述第一设备当前屏幕信息包括第一设备当前界面画面和/或屏幕大小和/或屏幕分辨率，所述第一设备当前屏幕信息可通过第一设备发送的屏幕信息获取或根据第一设备型号得到。

进一步的，获取的第一设备的配置信息的格式为json格式或XML格式或TEXT格式或二进制格式；返回给第一设备的修改的配置信息格式为json格式或XML格式或TEXT格式或二进制格式。

一种智能设备交互式内容编辑实现方法，在第一设备方面，包括以下步骤：

启动第一设备的某应用，向第二设备发送该应用的配置信息，以第二设备通过可视化编辑器对接收的配置信息进行修改；所述配置信息包括输入设备信号信息、约定的目标指令动作和UI控件参数与显示信息；获取第二设备发送的修改的配置信息，并存储修改的配置信息或根据修改的配置信息更新所述应用的配置信息。

所述的智能设备交互式内容编辑实现方法，还包括以下步骤：

当第一设备启动的应用具有图型显示配置功能时，实时获取第二设备发送的修改的配置信息，并根据修改的配置信息更新所述应用的配置信息，并将更新的配置信息在第一设备上实时显示。

所述第二设备为移动终端，所述移动终端为智能触屏设备。优选的，所述第二设备采用手机或平板电脑，现以第二设备为手机为例，对本申请的实施方式进行具体说明：

在本申请中，第一设备统称为主设备，第二设备统称为次设备，本发明的次设备可以为移动终端，所述移动终端为智能触屏设备，优选的，可选用手机，操作起来比主设备更为灵活，通过手机与主设备进行通信。

本发明的一种智能设备交互式内容编辑实现方法具体的包括以下步骤：

首先在主设备上启动应用，也可以是启动主设备的具有某功能的系统功能；此功能或应用需要用到配置信息(配置信息可以是文件或数据格式呈现)，通常包括输入设备信号信息、约定的目标指令动作、UI控件参数与显示信息。

具体的，输入设备信号可以是如下：

如输入设备(包括外设、设备内置的输入模块)产生的输入指令信号，

如：游戏手柄的按键、摇杆、陀螺仪的按键信号或指令信号；

如：键盘的按键事件。

如：或经操作系统转换后的标准输入事件，如安卓的hid事件、getevent、监听/dev/input/event*得到的事件。

约定的目标指令动作可包括如下：

如发送按键HID输入指令、往指定位置发送触摸指令(点击、划动等)，通常由调用系统提供输入接口API或输入设备输入驱动指令完成。

如：通过USB、蓝牙等描述成一个输入设备，发送标准HID、触屏事件。

如：通过injectInputEvent、sendevent、读写/dev/input/event*、onTouchEvent、Instrumentation、input keyevent/text/tap/swipe等方法发送触屏或按键事件。

UI控件参数与显示信息可包括如下：

描述编辑器内控件具体属性或扩展参数的信息；用于记录环境信息(如分辨率或屏幕比例、或设备型号、或游戏标记(游戏名称、ID等))、输入指令或输入标记、图形显示控件坐位、大小、对应目标指令或标记、附带参数(用于记得更多信息的扩展的其它参数)。

其中对应的指令标记，可以是约定的目标指令动作的代号标记，也可以是具体的指令动作及指令动作所需要的参数信息。

如：约定的是按下事件、弹起事件、动作轨迹、单击事件、连击事件等具体代号标记；

如：触摸指令对应的起始坐标、持续时间、结束坐标等参数信息。

具体的，约定的目标指令动作可包括控件所映射的动作目标位置、相关功能等，用于描述屏幕位置、坐标、大小、扩展参数、按键信息等内容例如：某控件所映射的功能信息是根据配置信息内描述的坐标位置xy和时间t，进行xy位置触摸动作，且触摸动作时长为t。配置里包含一个或多个与应用功能相关。

接着，次设备上启动对应应用或功能，这里是指次设备上启动可视化编辑器，以通过可视化编辑器能在图形界面进行相关控件的移动、缩放、参数设置、子窗口操作等。次设备是可以进行触摸操作的，比如手机具有触屏功能，这样才能更有效提高编辑效力。次设备具有与主设备通信的能力，比如通过局域网、互联网、NFC、蓝牙等与主设备传输信息或数据的能力。这样，次设备才可以接收器主设备发送的配置信息。

具体的，主设备与次设备建立长联接或按需联接，目的是使双方可进行数据交换和传输；其中一方为服务端，另一方为客户端。具体数据传送方式已有很多成熟方案，不具体描述，如通过TCP、UDP、SOCKET、HTTP、近场通信等。还可以通过局域网、互联网、NFC、蓝牙进行联接，联接时通过ID、IP等进行联接；

主设备与次设备建立联接可以以下方法实现：如双方在同一局域网或热点进行联接时，可以通过扫描探测、广播等方式发现对方ID或IP进行联接；通过互联网时，可以通过公网IP或互联网中转服务器通信，通过ID、IP进行联接；可以使用在其中一端显示二维码，另一端通过扫描二维码方式识别ID、IP或地址信息；必要时可以进行加密等安全方式进行鉴权认证和传输等加强安全通讯方式。

优选的，次设备除接收主设备发送的配置信息，还接收主设备发送的当前的屏幕信息，所述屏幕信息包括界面画面、屏幕大小和屏幕分辨率，界面画面可以是截图或视频流信息；目的是为了给次设备修改配置信息时，在可视化编辑器的编辑区进行修改时作为控件的映射功能中控制位置的调整参考。次设备取得屏幕信息，可通过主设备传送给次设备或由次设备向主设备主动获取的取得。

通过可视化编辑器显示接收到的配置信息，并对显示的配置信息进行修改，具体的，在次设备上设定编辑区域，假定编辑区域的宽和高分别为w3和h3，编辑区域的宽和高与主设备的宽w1和高h1(宽和高即屏幕大小)成正比，缩放比为p。将接收到的界面画面缩放至编辑区域大小，并置于编辑区域内，在修改某控件的配置信息时，将界面画面作为该控件的定位参考，其它控件应置于画面层之上，也按p比例进行缩放；

所述可视化编辑器预先设有配置协议，所述可视化编辑器基于配置协议可显示和修改配置信息；例如，通过可视化编辑器能在图形界面进行相关控件的移动、缩放、参数设置、子窗口操作。一般，次设备预先设有的配置协议包括主设备启动的应用或打开的系统功能中所有配置信息，可视化编辑器基于配置协议可显示和修改配置信息；

所述配置信息包括输入设备信号信息、约定的目标指令动作和UI控件参数与显示信息，配置信息与目标指令动作之间的映射关系可参照如图3所示，将多个控件按规则显示在编辑区域上；使用者在次设备上可在编辑区域内进行增改控件，如拖动到另一位置、缩放、设置扩展参数等。次设备可将已保存的UI控件参数与显示信息等配制信息还原成按控件或图形显示；也可以通过当前的控件在编辑器内的属性及所附带的参数信息保存成配制数据(或文件)，次设备通过配置信息生成配置文件的方法可参照图4所示，具体如下：

1.获取环境信息：如用于记录环境信息(如分辨率或屏幕比例、或设备型号、或游戏标记(游戏名称、ID等))；

2.枚举获取当前编辑器内的控件或编辑器内的控件数量(>＝0个)；这里需强调的是，第二设备获取的第一设备的某应用的配置信息的UI控件参数与显示信息中，控件个数可以为0，这样，通过第二设备在修改配制信息时添加控件。

3.获取每个对控件的属性信息，如显示控件坐位、大小、对应的输入指令或输入指令标记，对应目标指令或标记、附带参数(用于记得更多信息的扩展的其它参数)；

4.采用固定的排版格式或语法将环境信息与控件信息合并成数据格式(如文本、json、xml、按位存储、数组等)。

主设备获得修改后的配置信息后，根据修改后的配置信息对配置信息进行存储，存储方式可通过内置存储、网络存储或外接设备存储、临时寄存等方式，并根据需要当次生效配置信息或下次生效应用。

进一步的，若主设备的应用或功能包含图型显示配置功能，实时获取次设备发送的修改后的配置信息，可以在收到修改后的配置信息后，根据新的配置信息将控件实时展示出来，实现在次设备上修改调整的同时，主设备也可以看到修改后的配置信息，体验更佳。

在可视化编辑器进行修改主要是通过图形交互界面操作，例如，将对应的具有映射功能的按钮(指控件)移动到游戏界面上对应的按钮上，获取对应的按钮的参数或通过此按钮(此按钮即为要修改配置信息的控件)进行更多参数的设置，如点击按钮后打开子窗口进行更多的参数设置，以修改该控件映射的功能信息。具体的，例如，可通过点击按钮后打开其字窗口进行参数选择，增设该按钮的开启陀螺仪的映射功能。以主设备的游戏应用为例，可以是将控件拖放至游戏界面对应需要生效的地方，即游戏内场景界面中与控件具有对应关系的地方，也可以是与游戏内场景无关，但需要指定参数的地方，比如显示透明度、快捷键等。这样，通过修改对应控件的屏幕坐标、大小、位置、扩展参数等信息(即配置信息)后，将配置信息生成一个对应的配置文件或配置数据后传送给主设备。

具体的，获取的第一设备的配置信息的格式为json格式或XML格式或TEXT格式或二进制格式；返回给第一设备的修改的配置信息格式为json格式或XML格式或TEXT格式或二进制格式。本发明对第一设备和第二设备交互内容的格式不做限定，可以是其它有规则的编码格式，比如加密格式、二进制、16进制、按位存储格式、数组格式、带压缩的方式等，只要第二设备的可视化编辑器可以根据该格式文件解析成配置信息，并将修改的配置信息生成该格式文件即可；同样，第一设备的应用根据该格式文件能解析成配置信息，配置信息能生成该格式文件即可。

现在给出一json格式的配置信息为例子进行说明，具体描述了多个控件的坐标、触摸位置、大小、动作、及对应参数(其中一项或多项)的对应关系的数据，如下：

作为更佳的体验，通常根据主设备屏幕大小的宽高比例，以手机屏幕的宽或高其中一边作为编辑区域，即以其中一边的最大尺寸参考。如：当手机屏幕宽高为w2*h2时，当主设备的宽w1/高h1>1时，以手机屏幕最大高h2作为编辑区域高的大小，即编辑区域的高h3＝h2；当主设备的宽w1/高h1<1时，以手机屏幕最大宽w2作为编辑区域宽的大小，即编辑区域宽w3＝w2，可参考图2所示，图2上部分为控件在主设备上显示的画面，图2下部分为控件在次设备上显示时大小，这里，值得说明下的是，本发明的主设备上是不需要同时显示控件信息的，图2对次设备编辑区域的尺寸与主设备屏幕的尺寸进行了对比，说明本发明通过在次设备上显示并修改配置信息时，在操作上会比较简单且简洁直观。优选的，次设备获取主设备发送的其当前屏幕信息，所述屏幕信息包括界面画面、屏幕大小和屏幕分辨率，将主设备界面画面作为编辑区背景，根据界面画面进行配置信息的修改，可有利于在修改配置信息时得到满意的配置信息。

主设备接收次设备发送的修改后的配置信息，并根据修改后的配置信息更新配置信息，具体的，次设备修改配置信息，修改配置信息可以是修改全部的配置信息或变更部份配置信息。另外，修改的配置信息可以通过指令来指定修改的配置信息为主设备当次保存或指定保存。次设备将修改后的配置信息传送给主设备，当然，次设备也可直接将配置信息的变更指令发送给主设备；

主设备获取次设备发送的修改后的配置信息后，存储修改后的配置信息或根据修改后的配置信息更新配置信息，存储时不限存储介质，如本地空间、网络空间和周边可存储的介质都可，以使当次使用或下次使用时，映射坐标和参数的对应关系正确。

本发明还提供一种计算机存储介质，其上存储有计算机程序，本发明的方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在该计算机存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机存储介质不包括电载波信号和电信信号。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (12)

1.一种智能设备交互式内容编辑实现方法，其特征在于，包括以下步骤：

获取第一设备的某应用的配置信息；所述配置信息包括输入设备信号信息、约定的目标指令动作和UI控件参数与显示信息

启动第二设备的可视化编辑器，通过可视化编辑器显示接收到的配置信息，并对显示的配置信息进行修改，得到修改的配置信息；所述可视化编辑器和第一设备预先设有相同的配置协议，所述可视化编辑器基于配置协议可显示和修改配置信息；

将修改的配置信息返回给第一设备，以第一设备存储修改后的配置信息，或根据修改后的配置信息更新第一设备上配置信息。

2.根据权利要求1所述的智能设备交互式内容编辑实现方法，其特征在于，所述修改的配置信息包括：修改后全部的配置信息或变更的部分配置信息或配置信息的变更指令信息。

3.根据权利要求1所述的智能设备交互式内容编辑实现方法，其特征在于，所述配置协议包含第一设备上可能发生的全部输入设备信号信息、约定的目标指令动作和UI控件参数与显示信息。

4.根据权利要求1所述的智能设备交互式内容编辑实现方法，其特征在于，所述第二设备为移动终端，所述移动终端为智能触屏设备。

5.根据权利要求1所述的智能设备交互式内容编辑实现方法，其特征在于，所述第二设备采用手机或平板电脑。

6.根据权利要求1所述的智能设备交互式内容编辑实现方法，其特征在于，还包括以下步骤：

获取第一设备的当前屏幕信息。

7.根据权利要求6所述的智能设备交互式内容编辑实现方法，其特征在于，所述第一设备当前屏幕信息包括第一设备当前界面画面和/或屏幕大小和/或屏幕分辨率，所述第一设备当前屏幕信息可通过第一设备发送的屏幕信息获取或根据第一设备型号得到。

8.根据权利要求1至7任一项所述的智能设备交互式内容编辑实现方法，其特征在于，获取的第一设备的配置信息的格式为json格式或XML格式或TEXT格式或二进制格式。

9.根据权利要求1至7任一项所述的智能设备交互式内容编辑实现方法，其特征在于，返回给第一设备的修改的配置信息格式为json格式或XML格式或TEXT格式或二进制格式。

10.一种智能设备交互式内容编辑实现方法，其特征在于，包括以下步骤：

启动第一设备的某应用，向第二设备发送该应用的配置信息，以第二设备通过可视化编辑器对接收的配置信息进行修改；所述配置信息包括输入设备信号信息、约定的目标指令动作和UI控件参数与显示信息；获取第二设备发送的修改的配置信息，并存储修改的配置信息或根据修改的配置信息更新所述应用的配置信息。

11.根据权利要求10所述的智能设备交互式内容编辑实现方法，其特征在于，还包括以下步骤：

当第一设备启动的应用具有图型显示配置功能时，实时获取第二设备发送的修改的配置信息，并根据修改的配置信息更新所述应用的配置信息，并将更新的配置信息在第一设备上实时显示。

12.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-11任一项所述智能设备交互式内容编辑实现方法。