CN111190351A - 一种入网设备的控制方法及装置 - Google Patents

Abstract

本申请公开了一种入网设备的控制方法，应用于入网设备作为受控设备的控制，该方法包括，获取图片；识别获取的图片中受控设备相关信息；基于识别的受控设备相关信息，识别待控制的目标功能控制操作结果；根据识别的受控设备信息，生成目标功能操作指令；通过网络向受控设备发送所生成的指令。以图会意的控制方式解决了特定人群的入网设备的操控，操作简单，加快了受控设备的控制速度，具有趣味性；控制过程中的动画效果以及受控设备运行状态的动画效果，增加了操控的直观性，提升了用户体验。

Description

一种入网设备的控制方法及装置

技术领域

本发明涉及入网设备的控制操作领域，特别地，涉及一种入网设备的控制方法以及装置。

背景技术

目前入网设备控制领域，控制入口是影响用户体验的主要因素，例如，智能家居、智能设备的控制。智能控制家居控制方式很多，基本分为语音控制、设备终端控制和传感器触发控制(例如，重力触发、气味触发等)。

目前大多数控制入口都是在传感器或者控制器上做处理，缺乏趣味性，有些操作很繁琐和复杂。如常见手机终端控制，需要花较长寻找设备列表，然后进行控制。又比如语音控制，智能家居反而成为聋哑人的控制障碍。

发明内容

本发明提供了一种入网设备的控制方法，以简化用户的控制操作。

本发明提供的入网设备控制方法，应用于入网设备作为受控设备的控制，该方法包括，

获取图片；

识别获取的图片中受控设备相关信息；

基于识别的受控设备相关信息，识别待控制的目标功能控制操作结果；

根据识别的受控设备相关信息，生成与目标功能控制操作结果对应目标功能操作指令；

通过网络向受控设备发送所生成的指令。

其中，所述获取图片包括，

输出图形输入界面以接收绘图输入，

判断基于图形输入界面的输入是否完毕，如果输入完毕，则保存当前图形输入界面的输入为图片。

可选地，所述获取图片包括，通过摄像装置获取图片。

较佳地，所述识别获取的图片中受控设备相关信息包括，通过训练后的深度学习模型识别图片。

较佳地，所述受控设备相关信息包括受控设备类别、位置信息、目标功能信息之一或其组合；

所述识别获取的图片中受控设备相关信息包括，

提取图片中的图形数据，将提取的图形数据与预存的图形数据进行匹配，如果匹配不成功，推送图形以进行选择；

提取图片中的文字数据，将提取的文字数据与预存的文字数据进行匹配，如果识别不成功，则推送文字以进行选择。

较佳地，所述基于识别的受控设备相关信息，识别待控制的目标功能控制操作结果进一步包括，

对识别出的图片信息进行分析，如果识别出受控设备的类型、位置信息、目标功能信息至少之一时，则按照预先存储的入网设备配置信息匹配出受控设备的类型、位置信息；

按照所述配置信息匹配受控设备的属性功能，调用该受控设备的操控界面，将至少包括目标功能的受控设备属性功能呈现给用户。

较佳地，所述基于识别的受控设备相关信息，识别待控制的目标功能控制操作结果进一步包括，

响应于受控设备和目标功能的控制操作，在控制过程中，产生对应于功能控制过程的动画效果，并将动画效果输出显示。

较佳地，该方法进一步包括，将受控设备的当前运行状态以动画效果输出并显示。

较佳地，所述动画效果输出包括，基于获取的图片，改造图片中的图案线条以形成动画效果输出。

较佳地，所述输入图形界面还包括绘图控件，所述绘图输入为受控设备相关信息的图案和/或涂鸦输入。

较佳地，该方法还包括，预先配置并保存待控制的入网设备，将所述入网设备的类别、位置信息、属性功能之一或其组合作为配置信息保存。

本发明提供的一种入网设备的控制装置，该装置包括存储器和处理器，其中，

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序，实现权利要求1-11任一所述的入网设备控制方法。

本发明通过获取用户输入的绘图，识别并解析绘图待控制的受控设备以及目标功能，以图会意的控制方式解决了特定人群(例如聋哑人、老年人)的入网设备的操控，操作简单，加快了受控设备的控制速度，具有趣味性；控制过程中的动画效果以及受控设备运行状态的动画效果，增加了操控的直观性，提升了用户体验。

附图说明

图1为本发明实施例的入网设备控制的实现方法一种流程示意图。

图2为以控制电灯的开关操作为实施例的一种流程示意图。

图3为图3为电灯控制图案的一种示例图。

图4为以控制空调为实施例的一种流程示意图。

图5为空调控制图案的一种示例图。

图6为以控制窗帘为实施例的一种流程示意图。

图7为窗帘控制图案的一种示例图

图8为实现本申请实施例控制方法的一种系统示意图。

图9为实现本申请实施例控制方法的智能终端的一种示意图

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

本发明提供了一种入网设备控制方法，通过获取用户绘制的图片，识别出图片中的受控设备以及相关信息，根据识别的结果调用受控设备的控制界面，并将控制界面呈现给用户。

以下以智能终端作为控制装置为实施方式来说明。基于智能终端开发具有实施控制功能的应用程序(APP)，在该APP中，用户可自行管理和配置待控制的入网设备、以及入网设备的类别、数量、位置、功能等，例如，增加或删除入网设备，为区别同类设备而增加设备的位置信息、型号信息、特定标识等，并将上述配置信息进行保存。

参见图1所示，图1为本发明实施例的入网设备控制的实现方法一种流程示意图。图中，虚线框图部分为实现本发明的非必要步骤。

步骤101，提供图形输入界面以及绘图控件；

实施方式之一，智能终端为用户提供图形输入的画板界面，以供用户在画板界面绘制受控设备的图形。绘图控件可以包括颜色、画布背景、常用图形等。智能终端可以是智能手机、平板等。

步骤102，获取用户绘制的图片：

当用户在图形输入界面完成绘制并保存时，智能终端将所绘制的内容按照图片格式进行保存。

另一实施方式，通过摄像装置拍摄用户绘制的图来获得绘制的图片，这种情形下，用户不必在电子媒介上进行图形绘制，可以在非电子媒介上绘图，例如，纸张、玻璃、画布等任何媒介。

用户所绘制的图形可以是受控设备外形特征的简笔画，或者涂鸦，图形绘制不需要标准或精确，只要能够初略表达意欲操控的受控设备的直观特征或者雏形。

由于同一类型的受控设备通常会有多个的情况，例如，分布在不同位置的空调设备、电灯等，为了明确受控设备的物理位置，可在绘图的同时附加位置信息，例如，绘图的同时在画板上写上“客厅”的文字。

此外，由于受控设备具有多个可操控的功能，为达到快速操控的目的，还可在绘图的同时附加待操控的目标功能信息，例如，对于空调，可以写上控制的温度信息。

步骤103，对获取的图片进行识别，以识别出图片中的受控设备类别、位置、目标功能信息：对识别出的信息进行分析，以确定受控设备的类型、位置、目标功能信息；

在该步骤中，为提高图片识别的准确性，可以通过人工算法(AI)应用训练后的深度学习模型(例如CNN模型)来进行图片的识别；

还可以是，提取出图片中的信息，将提取的信息与预存的数据进行匹配，具体为：提取图片中的图形数据，将提取的图形数据与预存的图形数据进行匹配，如果匹配不成功，可推送建议匹配的图形以进行选择，从而避免了图形绘制不佳而导致的识别失败；提取图片中的文字数据，按照手写文字输入算法识别出文字信息，或者，将提取的文字数据与预存的文字数据进行匹配，如果识别不成功，可推送建议匹配的文字以进行选择。

步骤104，对识别出的信息进行分析，以确定受控设备的类型、位置信息、目标功能信息，具体包括，当识别出受控设备的类型、位置信息、目标功能信息至少之一时，按照预先存储的入网设备配置信息匹配出受控设备的类型、位置信息。然后，按照所述配置信息匹配受控设备的属性功能，调用该受控设备的操控界面，至少将受控设备的目标功能呈现给用户。

如果受控设备为单一功能设备，受控设备的功能单一，可以将其所有的属性功能呈现给用户，例如，只有开关控制的电灯，可以将其开启功能和关闭功能同时呈现给用户。

如果受控设备为多样功能的设备，则可以将目标功能、以及与目标功能相关的属性功能呈现给用户，例如，受控设备为空调设备，目标功能为温度25度，则可以将与温度有关联的风速、风力、制冷、加热、定时的功能呈现给用户。

此外，还可以将难以用绘图表达的、抽象的属性功能呈现给用户，例如，具有频率属性的计数(次)功能等。

步骤105，响应于用户对于受控设备和目标功能的控制操作，在控制过程中，产生对应于功能控制过程的动画效果，并将动画效果输出显示。

在该步骤中，可以基于用户绘图的基础上，改造绘图中的部分线条，或者叠加功能启效后的动画；

进一步地，根据受控设备的当前运行状态，将该运行状态以动画显示；

受控设备的运行状态动画显示图案可以预先存储于智能终端上，用户在管理和配置受控设备的相关信息时进行选择。

动画显示可以于图形输入界面上，也可以在当前的功能控制界面上显示。

上述动画显示以给以用户直观的操控体验，达到犹如身临其境的效果，增加操控的趣味性。

步骤106，识别控制操作的结果，生成目标功能操作的指令，向受控设备发送控制命令，等待执行反馈结果；进一步地，将执行后的运行状态以动画方式进行显示，以方便用户能够实时感知实际执行结果，增加趣味性。

本发明实施例通过智能终端，在日益发展的入网智能设备上，增加了绘图控制方式，满足了一些特殊人群(比如：聋哑人群)的操作要求，大大降低操作复杂度，为智能设备特别是智能家居设备的控制和普及，提供更有利的支持，增加了操作的趣味性。

以下以典型的智能家居设备的控制为实施例来说明。在以下实施例中，受控设备的相关信息已预先配置于一控制装置上，所述控制装置包括且不限于智能手机、平板电脑、用于智能家居设备控制的专用控制装置等。

实施例1：

参见图2所示，图2为以控制电灯的开关操作为实施例的一种流程示意图。

在控制装置的智能控制模式下，

步骤201，输出并呈现图形输入界面以及绘图控件；

当用户想要打开客厅中的电灯时，用户在输入界面上绘制电灯简易图案，该图案可以是逼真的图形，也可以是涂鸦，并书写受控电灯的位置信息。例如图3所示，图3为电灯控制图案示例图。

如果客厅中有多个电灯的情形，例如，壁灯、射灯等，则这些电灯在预先配置时可以以位置信息、电灯类型等特征信息进行标识。控制过程中，可以在输入界面上增加特征信息以进行区分。

步骤202，当检测到用户输入完3毕的确认操作时，保存当前输入为图片；否则返回步骤201，等待输入完毕；

步骤203，对所保存的图片进行识别，以识别出受控设备的类别、位置、目标功能。以图3为例，当识别出图片中的受控设备为电灯、位置为客厅、目标功能为开关时，控制装置搜索到对应的电灯，同时进行控制连接；

进一步地，可以将电灯当前的运行状态以动画的形式输出显示于控制装置，以图3为例，当前运行状态为照明状态时，基于用户绘图在电灯图案周边叠加闪烁的光线动画；当前运行状态为非照明状态时，基于用户绘图在电灯图案上填充暗色。

步骤204，对识别出的信息进行分析，如果识别出用户绘制的目标功能，例如，图3中所绘制的开关图案，则执行步骤206，响应用户的操作；如果未识别出用户的目标功能，例如，用户未绘制开关图案，则执行步骤207，按照所存储的客厅电灯配置信息匹配对应的目标功能，调用该电灯的操控界面，将开启和关闭的目标功能呈现给用户。

进一步地，如果该电灯还配置有定时功能、调光功能，则还可将定时和/或调光属性功能呈现给用户。

较佳地，可以根据当前的运行状态，将匹配的目标功能呈现给用户，例如，当前运行状态为照明状态时，则仅呈现关闭目标功能；当前运行状态为非照明状态时，则仅呈现开启目标功能。

步骤208，响应于用户对于电灯和目标功能的控制操作过程，在控制过程中，产生对应于功能控制过程的动画效果，并将动画效果输出显示。

例如，对于调光目标功能，可以以光强的百分比来显示。

如果电灯仅具有开启和关闭属性功能，则可显示开关开启、关闭的动画效果。

步骤209，识别控制操作的结果，例如，检测到点击开关的操作，则生成相应目标功能的控制命令发送给电灯，等待执行反馈结果；进一步地，将执行后的运行状态以动画方式进行显示，以方便用户能够实时感知实际执行结果，增加趣味性。

实施例2

参见图4所示，图4为以控制空调为实施例的一种流程示意图。

在控制装置的智能控制模式下，

步骤401，输出并呈现图形输入界面以及绘图控件；

当用户想要设置空调温度时，用户在输入界面上绘制空调设备简易图案，该图案可以是逼真的图形，也可以是涂鸦，并书写空调设备的位置信息和温度。例如图5所示，图5为空调控制图案示例图。

为了解决用户不会绘图的困难，较佳地，

步骤402，向用户推送参考难以绘制的参考图案以供用户选择，例如，空调、洗衣机、开关等；这些推送的参考图可以预先配置存储于控制。

步骤403，当检测到用户输入完毕的确认操作时，则执行步骤404，保存当前输入为图片；否则返回步骤401，等待输入完毕；

步骤405，对所保存的图片进行识别，以识别出受控设备的类别、位置、目标功能。以图5为例，当识别出图片中的受控设备为空调设备、位置为客厅时，控制装置搜索到对应的空调设备，同时进行控制连接；

进一步地，可以将空调设备当前的运行状态以动画的形式输出显示于控制装置。

步骤406，对识别出的信息进行分析，按照所存储的客厅空调配置信息匹配对应的目标功能，调用该空调的操控界面，至少将温度设置目标功能呈现给用户。

进一步地，可以将与温度有关联的风速、风力、制冷、加热、定时的功能呈现给用户。

步骤407，响应于用户对于空调和目标功能的控制操作过程，在控制过程中，产生对应于功能控制过程的动画效果，并将动画效果输出显示。

例如，根据选择的风力大小、制热、制冷等显示对应的动画。

步骤408，识别控制操作的结果，生成相应目标功能的控制命令发送给空调，等待执行反馈结果；进一步地，将执行后的运行状态以动画方式进行显示，以方便用户能够实时感知实际执行结果，增加趣味性。

实施例3

参见图6所示，图6为以控制窗帘为实施例的一种流程示意图。

在控制装置的智能控制模式下，

步骤601，输出并呈现图形输入界面以及绘图控件；

当用户想要打开客厅中的窗帘时，用户在输入界面上绘制窗帘简易图案，该图案可以是逼真的图形，也可以是涂鸦，并书写受控窗帘的位置信息。例如图7所示，图7为窗帘控制图案示例图。

进一步地，用户可根据窗帘开合的类型，绘制不同的图案，例如，左右开合的窗帘，可绘制包括多幅帘布的图案；上下开合的窗帘，可绘制一幅帘布的图案。

步骤602，当检测到用户输入完毕的确认操作时，则执行步骤603，保存当前输入为图片；否则返回步骤601，等待输入完毕；

步骤604，对所保存的图片进行识别，以识别出受控设备的类别、位置、目标功能。以图7为例，当识别出图片中的受控设备为窗帘、位置为客厅、目标功能为开关时，控制装置搜索到对应的窗帘，同时进行控制连接；

进一步地，可以将窗帘当前的运行状态以动画的形式输出显示于控制装置。

步骤605，对识别出的信息进行分析，如果识别出用户绘制的目标功能，例如，图7中所绘制的开关图案，则执行步骤606，响应用户的操作；如果未识别出用户的目标功能，例如，用户未绘制开关图案，则执行步骤607，按照所存储的客厅窗帘配置信息匹配对应的目标功能，调用该窗帘的操控界面，将开启和关闭的目标功能呈现给用户。

进一步地，如果该窗帘还配置有定时功能、窗帘开启程度的限位功能，则还可将定时和/或限位属性功能呈现给用户。

较佳地，可以根据当前的运行状态，将匹配的目标功能呈现给用户，例如，当前运行状态为开启状态时，则仅呈现关闭目标功能；当前运行状态为关闭状态时，则仅呈现开启目标功能，当前运行状态为限位状态，则同时呈现开启和关闭两目标功能。

步骤608，响应于用户对于窗帘和目标功能的控制操作过程，在控制过程中，产生对应于功能控制过程的动画效果，并将动画效果输出显示。

具体为，检测到图案中窗帘线条有变化，例如，线条被压缩或弯曲、移动，或者，检测到用户拖动图案上窗帘布线条，即，所述控制操作为拖动用户图案上的窗帘，则动画显示图案中的窗帘开合大小随操控的增减，以呈现限位目标功能的控制过程。

例如，对于限位目标功能，可以以窗帘开启的百分比来显示。

步骤609，识别控制操作的结果，例如，检测到点击开关的操作，则生成相应目标功能的控制命令发送给窗帘，等待执行反馈结果；进一步地，将执行后的运行状态以动画方式进行显示，以方便用户能够实时感知实际执行结果，增加趣味性。

以上3个以智能家居控制为实施例，通过绘图输入方式简化操作，加快设备控制速度，同时增加趣味性和游戏性。

参见图8所示，图8为实现本申请实施例控制方法的一种系统示意图。该系统包括，

图形输入装置，用于获取绘制的图片，并对图片进行识别；具体可以为手机、ipad等，也可以是通过摄像头获取绘制的图片；

控制装置，用于对识别的图片进行受控装置相关信息的解析，执行受控装置操作和查询受控装置相关信息；具体可以为网关、集中器，是主控制器；

受控设备，入网设备中接受控制装置控制的设备；具体可以为电灯、智能窗帘、空调、热水器、智能机器人等智能家居设备，也可以是智能工控设备，例如，智能仓库、智能测试系统等。

参见图9所示，图9为实现本申请实施例控制方法的智能终端的一种示意图。图中，智能终端作为主控制器，其中，图片获取装置不仅提供图形输入界面和绘图控件，还通过智能终端本体上的摄像头获取外部绘制的图片，存储器用于存储计算机程序，智能终端处理器执行所述存储器上所存放的程序，对来自图片获取装置的图片进行识别，并解析出受控设备的相关信息，根据目标控制操作结果生成相应的指令，并将指令通过网络发送至受控设备。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取图片；

识别获取的图片中受控设备相关信息；

基于识别的受控设备相关信息，识别待控制的目标功能控制操作结果；

根据识别的受控设备信息，生成目标功能操作指令；

通过网络向受控设备发送所生成的指令。

对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (13)

1.一种入网设备的控制方法，其特征在于，应用于入网设备作为受控设备的控制，该方法包括，

获取图片；

识别获取的图片中受控设备相关信息；

基于识别的受控设备相关信息，识别待控制的目标功能控制操作结果；

根据识别的受控设备相关信息，生成与目标功能控制操作结果对应目标功能操作指令；

通过网络向受控设备发送所生成的指令。

2.如权利要求1所述的方法，其特征在于，所述获取图片包括，

输出图形输入界面以接收绘图输入，

判断基于图形输入界面的输入是否完毕，如果输入完毕，则保存当前图形输入界面的输入为图片。

3.如权利要求1所述的方法，其特征在于，所述获取图片包括，通过摄像装置获取图片。

4.如权利要求1所述的方法，其特征在于，所述识别获取的图片中受控设备相关信息包括，通过训练后的深度学习模型识别图片。

5.如权利要求1所述的方法，其特征在于，所述受控设备相关信息包括受控设备类别、位置信息、目标功能信息之一或其组合；

所述识别获取的图片中受控设备相关信息包括，

提取图片中的图形数据，将提取的图形数据与预存的图形数据进行匹配，如果匹配不成功，推送图形以进行选择；

提取图片中的文字数据，将提取的文字数据与预存的文字数据进行匹配，如果识别不成功，则推送文字以进行选择。

6.如权利要求1所述的方法，其特征在于，所述基于识别的受控设备相关信息，识别待控制的目标功能控制操作结果进一步包括，

对识别出的图片信息进行分析，如果识别出受控设备的类型、位置信息、目标功能信息至少之一时，则按照预先存储的入网设备配置信息匹配出受控设备的类型、位置信息；

按照所述配置信息匹配受控设备的属性功能，调用该受控设备的操控界面，将至少包括目标功能的受控设备属性功能呈现给用户。

7.如权利要求1所述的方法，其特征在于，所述基于识别的受控设备相关信息，识别待控制的目标功能控制操作结果进一步包括，

响应于受控设备和目标功能的控制操作，在控制过程中，产生对应于功能控制过程的动画效果，并将动画效果输出显示。

8.如权利要求1所述的方法，其特征在于，该方法进一步包括，将受控设备的当前运行状态以动画效果输出并显示。

9.如权利要求7或8所述的方法，其特征在于，所述动画效果输出包括，基于获取的图片，改造图片中的图案线条以形成动画效果输出。

10.如权利要求2所述的方法，其特征在于，所述输入图形界面还包括绘图控件，所述绘图输入为受控设备相关信息的图案和/或涂鸦输入。

11.如权利要求1所述的方法，其特征在于，该方法还包括，预先配置并保存待控制的入网设备，将所述入网设备的类别、位置信息、属性功能之一或其组合作为配置信息保存。

12.一种入网设备的控制装置，其特征在于，该装置包括存储器和处理器，其中，

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序，实现权利要求1-11任一所述的入网设备控制方法。

13.一种存储介质，其特征在于，存储有实现权利要求1-11任一所述的入网设备控制方法的计算机程序。

Images