CN107038462B - 设备控制操作方法及系统 - Google Patents

设备控制操作方法及系统 Download PDF

Info

Publication number
CN107038462B
CN107038462B CN201710244067.3A CN201710244067A CN107038462B CN 107038462 B CN107038462 B CN 107038462B CN 201710244067 A CN201710244067 A CN 201710244067A CN 107038462 B CN107038462 B CN 107038462B
Authority
CN
China
Prior art keywords
equipment
image information
actual
training
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710244067.3A
Other languages
English (en)
Other versions
CN107038462A (zh
Inventor
刘琰
黄灼
黄锡雄
黄明
谷巍
王一乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gizwits Iot Technology Co ltd
Original Assignee
Gizwits Iot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gizwits Iot Technology Co ltd filed Critical Gizwits Iot Technology Co ltd
Priority to CN201710244067.3A priority Critical patent/CN107038462B/zh
Publication of CN107038462A publication Critical patent/CN107038462A/zh
Application granted granted Critical
Publication of CN107038462B publication Critical patent/CN107038462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开一种设备控制操作方法及系统，方法包括：终端设备将训练扫描的目标设备的设备标识、以及所对应的训练图像信息、所对应的训练传感器信息上传至服务器，服务器使用设备标识、训练图像信息、以及训练传感器信息建立机器学习模型；终端设备将实际图像信息、实际传感器信息上传至服务器并输入机器学习模型，得到机器学习模型返回的设备标识作为待操作设备标识；服务器向终端设备返回待操作设备标识所对应的目标设备的设备权限，终端设备使用设备权限对目标设备进行操作。本发明通过图像识别以及附加传感器进行数据融合，识别设备类型并进一步区分设备个体，使得能够很好地对设备进行区分，便于对设备进行控制操作。

Description

设备控制操作方法及系统
技术领域
本发明涉及设备控制相关技术领域，特别是一种设备控制操作方法及系统。
背景技术
目前基于移动终端的智能设备查看状态与控制方式主要是使用手机上程序进行的。在进行设备操作时，需要经过以下四个步骤：1)解锁手机，2)选择程序，3)选择对应的产品设备，4)查看状态或进行操控。在体验方面并非是最优化。
在已有的通过图像识别进行设备控制的系统中，通过图像识别的方式获取设备的类型，从而控制设备。
然而，现有技术的方法无法区别外观相同的设备。即使通过鉴权的方式，对有多台相同控制权限的用户而言，仍然无法通过图像识别的方式直接区分。
发明内容
基于此，有必要针对现有技术无法很好地区分外观相同的设备的技术问题，提供一种设备控制操作方法及系统。
本发明提供一种设备控制操作方法，包括：
建模步骤，终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息，终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述训练图像信息、所对应的所述训练传感器信息上传至服务器，服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
识别步骤，终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备将在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息，终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识；
操作步骤，服务器向所述终端设备返回所述待操作设备标识所对应的目标设备的设备权限，所述终端设备使用所述设备权限对目标设备进行操作。
进一步的，所述识别步骤，具体包括：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
更进一步的：
所述建模步骤，具体包括：终端设备将所有目标设备进行训练扫描得到的整体图像作为全局图像信息，终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息、终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述全局图像信息、所述训练图像信息、所对应的所述训练传感器信息上传至服务器；
服务器使用所述设备标识、所述全局图像信息和所述训练图像信息建立设备全局模型，所述全局模型建立关于所述全局图像信息、所述训练图像信息与所述设备类型之间的关联关系；
服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
所述识别步骤，具体包括：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器使用所述设备全局模型，对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
进一步的，所述传感器信息为所述设备终端在采集图像信息的同时，收集到的每一时刻的无线热点的服务集标识、每一时刻的无线热点的信号强度、每一时刻的磁场方向、每一时刻与地面倾斜的角度。
再进一步的，在所述终端设备的锁屏屏幕上设有采集入口，当所述采集入口被激活时所述终端设备进行训练扫描或实际扫描。
本发明提供一种设备控制操作系统，包括：
建模模块，用于：终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息，终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述训练图像信息、所对应的所述训练传感器信息上传至服务器，服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
识别模块，用于：终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备将在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息，终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识；
操作模块，用于：服务器向所述终端设备返回所述待操作设备标识所对应的目标设备的设备权限，所述终端设备使用所述设备权限对目标设备进行操作。
进一步的，所述识别模块，具体用于：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
更进一步的：
所述建模模块，具体用于：终端设备将所有目标设备进行训练扫描得到的整体图像作为全局图像信息，终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息、终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述全局图像信息、所述训练图像信息、所对应的所述训练传感器信息上传至服务器；
服务器使用所述设备标识、所述全局图像信息和所述训练图像信息建立设备全局模型，所述全局模型建立关于所述全局图像信息、所述训练图像信息与所述设备类型之间的关联关系；
服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
所述识别模块，具体用于：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器使用所述设备全局模型，对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
进一步的，所述传感器信息为所述设备终端在采集图像信息的同时，收集到的每一时刻的无线热点的服务集标识、每一时刻的无线热点的信号强度、每一时刻的磁场方向、每一时刻与地面倾斜的角度。
再进一步的，在所述终端设备的锁屏屏幕上设有采集入口，当所述采集入口被激活时所述终端设备进行训练扫描或实际扫描。
本发明通过图像识别以及附加传感器进行数据融合，识别设备类型并进一步区分设备个体，使得能够很好地对设备进行区分，便于对设备进行控制操作。
附图说明
图1为本发明一种设备控制操作方法的工作流程图；
图2为本发明最佳实施例中服务器进行设备识别的工作流程图；
图3为本发明一种设备控制操作系统的系统模块图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的说明。
如图1所示为本发明一种设备控制操作方法的工作流程图，包括：
步骤S101，终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息，终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述训练图像信息、所对应的所述训练传感器信息上传至服务器，服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
步骤S102，终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备将在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息，终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识；
步骤S103，服务器向所述终端设备返回所述待操作设备标识所对应的目标设备的设备权限，所述终端设备使用所述设备权限对目标设备进行操作。
具体来说，终端设备包括但不限于：手机、平板电脑、带摄像头功能的智能眼镜等，目标设备为已经接入网络的设备。用户与目标设备之间形成的是多对多的关系，即一个用户可以控制多台不同目标设备，多个用户可以控制同一个目标设备。
步骤S101中，在终端设备上运行训练扫描，然后终端设备将目标设备的设备标识、以及对应的训练图像信息、训练传感器信息上传至服务器以训练机器学习模型。机器学习模型可以将训练图像信息和训练传感器信息进行综合训练，也可以分别将训练图像信息和训练传感器信息训练为关于训练图像信息与设备标识的图像机器学习模型和关于训练传感器信息与设备标识的传感器机器学习模型。对于图像的机器学习可以采用如Faster-RCNN等方式训练图片，对于传感器的机器学习可以采用如支持向量机(Support VectorMachine，SVM)或梯度提升决策树(Gradient Boosting Decision Tree，GBDT)进行训练。
在步骤S102中，用户采用终端设备进行实际扫描，得到其希望控制的目标设备的实际图像信息以及相应的实际传感器信息，上传至服务器以输入机器学习模型。然后服务器通过机器学习模型得到相应的设备标识，通过设备标识获取相应的目标设备的设备权限。并在步骤S103中将设备权限返回给终端设备，由终端设备对目标设备进行操作。控制操作可以为通过互联网，短距离的端到端的通讯方式如WiFi、蓝牙等方式查看设备状态，或者通过终端设备，对目标设备实行控制。
本发明通过图像识别以及附加传感器进行数据融合，识别设备类型并进一步区分设备个体，使得能够很好地对设备进行区分，便于对设备进行控制操作。
在其中一个实施例中，所述步骤S102，具体包括：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
如图2所示为本发明最佳实施例中服务器进行设备识别的工作流程图，包括：
步骤S201，获取终端设备上传的扫描图像；
步骤S202，根据扫描图像识别设备类型，如果识别失败，返回步骤S201，否则记录识别出的设备类型，执行步骤S203；
步骤S203，获取用户授权设备列表，如果用户授权设备列表中关于识别出的设备类型的设备数量为0，则执行步骤S201，否则执行步骤S204；
步骤S204，获取终端设备上传的传感器信息；
步骤S204，通过机器学习模型识别设备个体，如果识别成功则执行步骤S206，否则执行步骤S204；
步骤S206,获取识别出的目标设备的设备权限；
步骤S207，向终端设备返回设备权限，由终端设备通过设备权限控制或查看目标设备。
由于机器学习模型的识别需要耗费较多资源和时间，本实施例在机器学习模型识别前增加图像识别操作和用户授权设备判断，从而避免不必要的资源浪费，提高工作效率。
在其中一个实施例中：
所述步骤201，具体包括：终端设备将所有目标设备进行训练扫描得到的整体图像作为全局图像信息，终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息、终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述全局图像信息、所述训练图像信息、所对应的所述训练传感器信息上传至服务器；
服务器使用所述设备标识、所述全局图像信息和所述训练图像信息建立设备全局模型，所述全局模型建立关于所述全局图像信息、所述训练图像信息与所述设备类型之间的关联关系；
服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
所述步骤S102，具体包括：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器使用所述设备全局模型，对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
具体来说，设备全局模型由集中采集的设备图像集与设备的个体图像集综合构造；而机器学习模型则作为每个设备的个体模型由设备个体的图像集与附加的传感器采集的数据构成。
本实施例对设备构建全局模型和个体模型，检索时先通过设备全局模型检索，从而能迅速查找到设备类型，然后通过个体模型进行综合检索，判断出用户希望控制的目标设备。
在其中一个实施例中，所述传感器信息为所述设备终端在采集图像信息的同时，收集到的每一时刻的无线热点的服务集标识、每一时刻的无线热点的信号强度、每一时刻的磁场方向、每一时刻与地面倾斜的角度。
具体来说，在步骤S101时，用户在设备的安放场景中，通过多维度的传感器进行数据采集。具体操作方式为，用户围绕设备在不同角度对设备进行数据采集，采集的数据包括但不限于摄像头，重力加速度，磁力计，GPS，WiFi等传感器采集到的数据。采集的传感器数据可以为，终端设备设备手持获取图像过程中，每一时刻的周围WiFi热点的SSID，对应的强度，周围的磁场方向，与地面倾斜的角度等数据。通过特征工程，对所采集的数据进行特征转换，并利用机器学习的常用算法，如SVM或GBDT对用户单个设备上述采集到的数据进行建模，从而能定位个体设备。
在其中一个实施例中，在所述终端设备的锁屏屏幕上设有采集入口，当所述采集入口被激活时所述终端设备进行训练扫描或实际扫描。
具体来说，采集入口提供了应用的直接的激活方式，如在移动设备的锁屏状态下的按钮入口，智能眼镜的快捷键，点击该入口直接进入到应用的扫描功能，进行设备扫描操作。
本实施例提供采集入口，便于快速进行设备扫描操作。
如图3所示为本发明一种设备控制操作系统的系统模块图，包括：
建模模块301，用于：终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息，终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述训练图像信息、所对应的所述训练传感器信息上传至服务器，服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
识别模块302，用于：终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备将在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息，终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识；
操作模块303，用于：服务器向所述终端设备返回所述待操作设备标识所对应的目标设备的设备权限，所述终端设备使用所述设备权限对目标设备进行操作。
在其中一个实施例中，所述识别模块，具体用于：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
在其中一个实施例中：
所述建模模块，具体用于：终端设备将所有目标设备进行训练扫描得到的整体图像作为全局图像信息，终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息、终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述全局图像信息、所述训练图像信息、所对应的所述训练传感器信息上传至服务器；
服务器使用所述设备标识、所述全局图像信息和所述训练图像信息建立设备全局模型，所述全局模型建立关于所述全局图像信息、所述训练图像信息与所述设备类型之间的关联关系；
服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
所述识别模块，具体用于：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器使用所述设备全局模型，对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
在其中一个实施例中，所述传感器信息为所述设备终端在采集图像信息的同时，收集到的每一时刻的无线热点的服务集标识、每一时刻的无线热点的信号强度、每一时刻的磁场方向、每一时刻与地面倾斜的角度。
在其中一个实施例中，在所述终端设备的锁屏屏幕上设有采集入口，当所述采集入口被激活时所述终端设备进行训练扫描或实际扫描。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种设备控制操作方法，其特征在于，包括：
建模步骤，终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息，终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述训练图像信息、所对应的所述训练传感器信息上传至服务器，服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
识别步骤，终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备将在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息，终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识；
操作步骤，服务器向所述终端设备返回所述待操作设备标识所对应的目标设备的设备权限，所述终端设备使用所述设备权限对目标设备进行操作。
2.根据权利要求1所述的设备控制操作方法，其特征在于，所述识别步骤，具体包括：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
3.根据权利要求2所述的设备控制操作方法，其特征在于：
所述建模步骤，具体包括：终端设备将所有目标设备进行训练扫描得到的整体图像作为全局图像信息，终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息、终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述全局图像信息、所述训练图像信息、所对应的所述训练传感器信息上传至服务器；
服务器使用所述设备标识、所述全局图像信息和所述训练图像信息建立设备全局模型，所述全局模型建立关于所述全局图像信息、所述训练图像信息与所述设备类型之间的关联关系；
服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
所述识别步骤，具体包括：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器使用所述设备全局模型，对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
4.根据权利要求1所述的设备控制操作方法，其特征在于，所述传感器信息为所述终端设备在采集图像信息的同时，收集到的每一时刻的无线热点的服务集标识、每一时刻的无线热点的信号强度、每一时刻的磁场方向、和/或每一时刻与地面倾斜的角度。
5.根据权利要求1～4任一项所述的设备控制操作方法，其特征在于，在所述终端设备的锁屏屏幕上设有采集入口，当所述采集入口被激活时所述终端设备进行训练扫描或实际扫描。
6.一种设备控制操作系统，其特征在于，包括：
建模模块，用于：终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息，终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述训练图像信息、所对应的所述训练传感器信息上传至服务器，服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
识别模块，用于：终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备将在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息，终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识；
操作模块，用于：服务器向所述终端设备返回所述待操作设备标识所对应的目标设备的设备权限，所述终端设备使用所述设备权限对目标设备进行操作。
7.根据权利要求6所述的设备控制操作系统，其特征在于，所述识别模块，具体用于：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
8.根据权利要求7所述的设备控制操作系统，其特征在于：
所述建模模块，具体用于：终端设备将所有目标设备进行训练扫描得到的整体图像作为全局图像信息，终端设备将每个目标设备进行训练扫描得到的图像信息作为训练图像信息、终端设备将每个目标设备进行训练扫描同时收集到的多个传感器信息作为训练传感器信息，终端设备将训练扫描的目标设备的设备标识、以及所对应的所述全局图像信息、所述训练图像信息、所对应的所述训练传感器信息上传至服务器；
服务器使用所述设备标识、所述全局图像信息和所述训练图像信息建立设备全局模型，所述全局模型建立关于所述全局图像信息、所述训练图像信息与所述设备类型之间的关联关系；
服务器使用所述设备标识、所述训练图像信息、以及训练传感器信息建立机器学习模型，所述机器学习模型建立关于所述训练图像信息、所述训练传感器信息与所述设备标识之间的关联关系；
所述识别模块，具体用于：
终端设备将进行实际扫描得到的图像信息作为实际图像信息，终端设备向服务器上传所述实际图像和用户验证信息；
服务器使用所述设备全局模型，对所述实际图像信息进行设备类型识别，将识别得到的设备类型作为待操作设备类型；
服务器根据所述用户验证信息获取用户授权设备列表，并获取用户授权设备列表中关于所述待操作设备类型的数量，如果数量小于或等于0，退出识别，否则，获取终端设备在进行实际扫描的同时收集到的多个传感器信息作为实际传感器信息；
终端设备将所述实际图像信息、实际传感器信息上传至服务器并输入所述机器学习模型，得到所述机器学习模型返回的与所述实际图像信息、所述实际传感器信息关联的设备标识作为待操作设备标识。
9.根据权利要求6所述的设备控制操作系统，其特征在于，所述传感器信息为所述终端设备在采集图像信息的同时，收集到的每一时刻的无线热点的服务集标识、每一时刻的无线热点的信号强度、每一时刻的磁场方向、和/或每一时刻与地面倾斜的角度。
10.根据权利要求6～9任一项所述的设备控制操作系统，其特征在于，在所述终端设备的锁屏屏幕上设有采集入口，当所述采集入口被激活时所述终端设备进行训练扫描或实际扫描。
CN201710244067.3A 2017-04-14 2017-04-14 设备控制操作方法及系统 Active CN107038462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710244067.3A CN107038462B (zh) 2017-04-14 2017-04-14 设备控制操作方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710244067.3A CN107038462B (zh) 2017-04-14 2017-04-14 设备控制操作方法及系统

Publications (2)

Publication Number Publication Date
CN107038462A CN107038462A (zh) 2017-08-11
CN107038462B true CN107038462B (zh) 2020-12-15

Family

ID=59534986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710244067.3A Active CN107038462B (zh) 2017-04-14 2017-04-14 设备控制操作方法及系统

Country Status (1)

Country Link
CN (1) CN107038462B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063726A (zh) * 2018-06-15 2018-12-21 阿里巴巴集团控股有限公司 可信设备的识别方法和装置
CN110717154A (zh) * 2018-07-11 2020-01-21 中国银联股份有限公司 运动轨迹的特征处理方法、设备以及计算机存储介质
CN109218145B (zh) * 2018-08-24 2021-10-08 英华达（上海）科技有限公司 Iot设备控制界面的显示方法、系统、设备及存储介质
CN111079654A (zh) * 2019-12-18 2020-04-28 济南大陆机电股份有限公司 一种基于图片识别的水文设备信息采集方法及系统
CN112799511A (zh) * 2021-01-28 2021-05-14 Oppo广东移动通信有限公司 图形码生成模型的训练方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205563124U (zh) * 2016-04-08 2016-09-07 深圳市京华信息技术有限公司 一种通过智能车载终端远程控制智能家居的系统
CN106325119A (zh) * 2015-07-02 2017-01-11 艾体威尔电子技术(北京)有限公司 一种人机交互控制设备的方法
EP3028514A4 (en) * 2013-07-30 2017-02-22 Samsung Electronics Co., Ltd. Method for deciding location of target device and electronic device thereof

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298871B2 (en) * 2002-06-07 2007-11-20 Koninklijke Philips Electronics N.V. System and method for adapting the ambience of a local environment according to the location and personal preferences of people in the local environment
KR100962529B1 (ko) * 2008-07-22 2010-06-14 한국전자통신연구원 객체 추적 방법
CN102982336B (zh) * 2011-09-02 2015-11-25 株式会社理光 识别模型生成方法和系统
US20150161452A1 (en) * 2013-12-11 2015-06-11 Echostar Technologies, Llc Home Monitoring and Control
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US9564130B2 (en) * 2014-12-03 2017-02-07 Samsung Electronics Co., Ltd. Wireless controller including indicator
JP2018516422A (ja) * 2015-05-28 2018-06-21 アイサイト モバイル テクノロジーズ エルティーディー． スマートホームのためのジェスチャ制御システム及び方法
CN105141913A (zh) * 2015-08-18 2015-12-09 华为技术有限公司 可视化远程控制可触控设备的方法、系统和相关设备
CN106254191A (zh) * 2016-09-14 2016-12-21 深圳众乐智府科技有限公司 一种智能家居设备辅助定位方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3028514A4 (en) * 2013-07-30 2017-02-22 Samsung Electronics Co., Ltd. Method for deciding location of target device and electronic device thereof
CN106325119A (zh) * 2015-07-02 2017-01-11 艾体威尔电子技术(北京)有限公司 一种人机交互控制设备的方法
CN205563124U (zh) * 2016-04-08 2016-09-07 深圳市京华信息技术有限公司 一种通过智能车载终端远程控制智能家居的系统

Also Published As

Publication number Publication date
CN107038462A (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
CN107038462B (zh) 设备控制操作方法及系统
US9690601B2 (en) Dynamic profile switching based on user identification
CN105488371B (zh) 一种脸部识别方法和装置
CN104574167B (zh) 一种租赁处理方法、相关装置及系统
US9531440B2 (en) Provisioning a wireless-capable device for a wireless network
US10915777B2 (en) Communication terminal, communication system, and image processing method
CN105934912B (zh) 验证系统和方法
CN107483715A (zh) 终端与设备通信的方法和系统、终端、存储介质
CN103248657B (zh) 网络发布设备信息方法及其设备信息分享方法
CN106973425A (zh) 一种连接无线接入点的方法与设备
CN105139470A (zh) 基于人脸识别的考勤方法、装置及系统
US10931836B2 (en) Communication system, image processing method, and recording medium
CN110399763B (zh) 人脸识别方法与系统
CN103999020A (zh) 用于姿势控制的方法，姿势服务器设备与传感器输入设备
CN103248874B (zh) 施工现场便携式无线数据采集传输系统前端设备
US11245707B2 (en) Communication terminal, communication system, communication control method, and recording medium
WO2018059127A1 (zh) 一种安全验证的方法及装置
US20230222843A1 (en) Method and device for registering biometric feature
CN104717127A (zh) 基于图像识别实现联系人触发的方法、终端及系统
CN104765997A (zh) 一种数据访问方法
CN114827553B (zh) 视频巡控方法、装置、设备及存储介质
CN105577624A (zh) 客户端交互方法与客户端以及服务器
CN115311694A (zh) 一种指纹解锁方法、装置、设备及存储介质
KR102223322B1 (ko) 휴대단말기를 이용한 hmi 인증시스템
CN105100629B (zh) 一种图片处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant