CN107682236A - 基于计算机图像识别的智能家居交互系统及方法 - Google Patents

基于计算机图像识别的智能家居交互系统及方法 Download PDF

Info

Publication number
CN107682236A
CN107682236A CN201710750738.3A CN201710750738A CN107682236A CN 107682236 A CN107682236 A CN 107682236A CN 201710750738 A CN201710750738 A CN 201710750738A CN 107682236 A CN107682236 A CN 107682236A
Authority
CN
China
Prior art keywords
image
linkage pattern
smart home
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710750738.3A
Other languages
English (en)
Other versions
CN107682236B (zh
Inventor
刘明岩
任骏驰
樊正峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Guangtian Intelligent Technology Co Ltd
Original Assignee
Shenzhen Guangtian Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Guangtian Intelligent Technology Co Ltd filed Critical Shenzhen Guangtian Intelligent Technology Co Ltd
Priority to CN201710750738.3A priority Critical patent/CN107682236B/zh
Publication of CN107682236A publication Critical patent/CN107682236A/zh
Application granted granted Critical
Publication of CN107682236B publication Critical patent/CN107682236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks

Abstract

本发明提供了一种基于计算机图像识别的智能家居交互系统及方法,其特征在于,该系统包括联动模式预设单元、图像采集单元、图像关联单元、实时交互单元、图像识别匹配单元、智能家居中控器或云服务器。用户通过联动模式预设单元设置联动模式,通过图像采集单元采集家电设备图像,并通过图像关联单元对其构建图像模型并与相应的联动模式相关联,当用户需要启动联动模式时,通过实时交互单元采集家电设备实时图像,通过计算机图像识别技术匹配识别,启动相应的联动模式并发送启动指令。为用户提供了一种操作方便、简单,且通过移动终端采集家电设备图像实现更灵活准确的智能家居交互系统及方法。

Description

基于计算机图像识别的智能家居交互系统及方法
【技术领域】
本发明涉及智慧生活、智能家居和物联网技术,特别是涉及一种基于计算机图像识别的智能家居交互系统及方法。
【背景技术】
随着移动互联网、物联网的发展,智能家居家电越来越多进入人们的生活,智能家居作为物联网行业的基础,自然需要更好的感知能力和应变能力,才能够让家里所有的家居家电按照用户需要随心所欲进行控制。现有技术中,物联传感器推出的基于环境感知技术的智能家居系统通过系统的自动推理联动,但推理联动受外界影响较大容易引起误判。目前,已有的通过扫描二维码的方式虽可实现对家电设备的控制,但二维码需要粘贴在墙上或其它部位,且体积较小,本身又不够直观,需要借助文字表示联动模式,用户使用时需要靠近二维码仔细分辨后扫描,无法在远距离随心所欲控制家电设备,十分不便。
【发明内容】
本发明旨在解决上述问题,而提供一种用户可根据自身需求通过移动终端62自主配置相应联动模式,操作方便、简单,且通过移动终端采集家电设备图像而实现更灵活准确的触发机制,因而可扩展智能家居家电联动触发方式的一种基于计算机图像识别的智能家居交互系统及方法。
为实现本发明的目的,本发明提供了一种基于计算机图像识别的智能家居交互系统,该系统包括:
联动模式预设单元,该联动模式预设单元设于移动终端上,其用于设置、存储家电联动模式,该家电联动模式通过联动规则对多个智能家居家电设备进行控制,所述联动模式预设单元将已完成设置的家电联动模式上传至智能家居中控器或云服务器;
图像采集单元,该图像采集单元设于移动终端上,用于采集各智能家居家电设备的图像信息,并将所采集的图像信息存储并上传至智能家居中控器或云服务器;
图像关联单元,该图像关联单元设于智能家居中控器或云服务器上,其根据图像采集单元采集的图像信息构建图像模型,所构建的图像模型与所述家电联动模式相关联,形成关联信息并存储;
实时交互单元,该实时交互单元设于移动终端上,其用于实时采集需要联动的智能家居家电设备的实时图像,并上传至智能家居中控器或云服务器上,由设于智能家居中控器或云服务器的图像识别匹配单元对该实时图像进行计算机图像识别;
图像识别匹配单元,该图像识别匹配单元设于智能家居中控器或云服务器上,其对实时交互单元上传的智能家居家电设备的实时图像与图像模型进行比对识别,并根据相匹配的实时图像启动与该图像模型所关联的家电联动模式;
所述智能家居中控器或云服务器分别与联动模式预设单元、图像采集单元、图像关联单元、实时交互单元、图像识别匹配单元相连接和通信,其根据所启动的家电联动模式控制相应的智能家居家电设备执行相应的联动规则。
所述联动模式预设单元包括第一操作界面、第一处理模块、第一存储模块及第一信息收发模块,所述第一操作界面、第一存储模块及第一信息收发模块分别与第一处理模块相连接,所述第一操作界面设于用户移动终端上,用户通过所述第一操作界面设置智能家居家电设备的联动模式,并为每种联动模式配置数个相应的智能家居家电设备及相应的联动规则,已经完成设置的联动模式存储于第一存储模块中,所述第一存储模块为设于移动终端上的存储设备,所述第一处理模块通过第一信息收发模块将存储于第一存储模块中的联动模式上传至智能家居中控器或云服务器。
所述图像采集单元为移动终端上的拍摄或摄像装置,其采集图像信息存储于移动终端的存储设备中。
所述图像关联单元包括图像建模模块、第二操作界面、第二处理模块、第二存储模块及第二信息收发模块,所述第二处理模块分别与图像建模模块、第二操作界面、第二存储模块及第二信息收发模块相连接,所述图像建模模块用于构建图像模型,所述图像模型存储于第二存储模块中,所述第二操作界面供用户操作,将所述联动模式预设单元中已经完成设置的联动模式与第二存储模块中已经完成图像建模的图像模型相关联,而形成关联信息并存储于第二存储模块中,所述第二处理模块将该关联信息通过第二信息收发模块发送至智能家居中控器或云服务器中。
所述实时交互单元包括第三操作界面、图像采集模块、第三存储模块、第三处理模块及第三信息收发模块,所述第三操作界面、图像采集模块、第三存储模块及第三信息收发模块分别与第三处理模块相连接,所述第三操作界面供用户操作,所述图像采集模块为移动终端上的拍照或摄像装置,所述第三存储模块为移动终端上的存储设备,用户通过所述第三操作模块启动图像采集模块实时采集需要联动的家电设备的实时图像,所述实时图像存储于该第三存储模块中,所述第三处理模块将该实时图像通过第三信息收发模块发送至智能家居中控器或移动终端上。
所述图像识别匹配单元设有第四处理模块、第四存储模块及第四信息收发模块,所述第四处理模块分别与第四存储模块及第四信息收发模块相连接,所述第四存储模块用于存储联动模式预设单元上传的联动模式、图像采集单元上传的图像信息、实时交互单元上传的实时图像,所述第四处理模块用于识别匹配图像,并通过第四信息收发模块向家电设备发送联动模式启动执行指令,所述第四处理模块还设有阈值调节单元,用户通过访问云服务器调节图像识别匹配度的阈值。
为实现上述目的,本发明还提供了实现如权利要求1所述的系统的方法,其特征在于,该法包括以下步骤:
A、用户通过设于移动终端上的联动模式预设单元设置、保存智能家居家电设备的家电联动模式,并为每种家电联动模式配置相应的多个智能家居家电设备及相应的联动规则,所述联动模式预设单元将设置完成的家电联动模式上传至智能家居中控器或云服务器上;
B、用户通过设于移动终端上的图像采集单元采集各智能家居家电设备63的图像信息,所述图像采集单元将所采集的图像信息存储并上传至智能家居中控器或云服务器上,设于智能家居中控器或云服务器上的所述图像关联单元对图像采集单元采集的图像信息构建图像模型,并存储;
C、用户通过设于智能家居中控器或云服务器上的图像关联单元将所述图像模型与家电联动模式预设单元设置的家电联动模式相关联,形成关联信息并存储;
D、用户需要触发智能家居设备的联动模式时,通过设于移动终端上的实时交互单元实时采集需要联动的智能家居家电设备的图像信息,并上传至智能家居中控器或云服务器上;
E、智能家居中控器或云服务器上的图像识别匹配单元根据图像关联单元存储的图像模型,对实时交互单元上传的智能家居家电设备63的实时图像进行比对识别,比对二者是否一致,如是,则根据关联信息启动该图像模型所关联的家电联动模式;如否,则返回步骤D;
F、智能家居中控器或云服务器根据所启动的家电联动模式控制相应的智能家居家电设备执行相应的联动规则。
步骤A中,用户可以对联动模式创建特有的名称、图标、颜色、主题,并为每种联动模式配置数个智能家居家电设备及相应的联动规则。
步骤B中,所述图像模型是基于图像的纹理信息、轮廓信息、颜色信息、阴影信息、光照信息中的一种或多种信息的组合对预设图像进行数字化建模所形成。
步骤d中,所述智能家居中控器或云服务器通过计算机图像识别技术,基于图像的纹理信息、轮廓信息、颜色信息、阴影信息、光照信息中的一种或多种信息的组合计算实时图像与图像模型的匹配度。
本发明的贡献在于,其有效解决了现有推理联动受外界影响较大容易引起误判等问题。本发明通过移动终端进行人机交互,采集智能家居家电设备的实时图像,通过该实时图像触发由用户自定义设置的多种智能家居家电联动模式,且用户可自主配置智能家居设备及相应联动的规则,通过采集一个家电设备的实时图像即可启动相应的联动模式,同时触发多个家电设备联动,实现灵活准确的触发机制,因而扩展了智能家居联动触发条件。且本发明的系统和方法设置和使用灵活简单,使用效率大大提高,且在不增加额外硬件成本的条件下,让用户体会到智能家居的舒适和便利。
【附图说明】
图1是本发明的系统结构框图。
图2是本发明的方法流程图。
【具体实施方式】
下列实施例是对本发明的进一步解释和补充,对本发明不构成任何限制。
参阅图1,本发明的基于计算机视觉识别的设备智能交互机制和系统包括联动模式预设单元10,图像采集单元20,图像关联单元30,实时交互单元40,图像识别匹配单元50、智能家居中控器或云服务器60。
如图1所示,联动模式预设单元10设于移动终端62上,具体的,其设于用户移动终端62的APP中,所述联动模式预设单元10用于设置、存储家电联动模式,该家电联动模式通过联动规则对多个智能家居家电设备63进行控制,一条家电联动模式可包含一个或多个家电设备的开关等控制方式。所述联动模式预设单元10将已完成设置的家电联动模式上传至智能家居中控器60或云服务器60。本实施例中,所述联动模式预设单元10包括第一操作界面11、第一处理模块12、第一存储模块13及第一信息收发模块14。所述第一操作界面11、第一存储模块13及第一信息收发模块14分别与第一处理模块12相连接,所述第一操作界面11设于用户移动终端62上,用户通过所述第一操作界面11根据其个人偏好、实际需求配置所需预设的家电联动模式,并为每种联动模式配置数个相应的智能家居家电设备63及相应的联动规则。例如,用户可通过第一操作界面11预设卧室窗帘打开作为一条家电联动模式。更进一步,用户可根据需要配置多个家电控制,如将“客厅窗帘关闭且客厅电视打开”作为一条家电联动模式。所述第一操作界面11将已经完成设置的联动模式存储于第一存储模块中,所述第一存储模块13为设于移动终端62上的存储设备,所述第一处理模块12通过第一信息收发模块14将存储于第一存储模块13中的联动模式上传至智能家居中控器或云服务器60。
如图1所示,所述图像采集单元20设于移动终端62上,具体的,其设于用户移动终端62的APP中,所述图像采集单元用于采集各智能家居家电设备63的图像信息,本实施例中,用户在移动终端62的APP中点选图像采集的命令而调用移动终端62的摄像装置或拍照装置采集家电设备的图像信息。例如,用户在联动模式预设单元中将“客厅窗帘关闭且客厅电视打开”作为一条家电联动,此时,用户需要分别采集客厅窗帘和客厅电视的图像信息,所述图像采集单元将所采集的图像信息存储于移动终端62的存储设备中,并上传至智能家居中控器或云服务器(60);
如图1所示,所述图像关联单元设于智能家居中控器或云服务器上60,其根据图像采集单元20采集的图像信息构建图像模型,所述图像模型是基于图像的纹理信息、轮廓信息、颜色信息、阴影信息、光照信息中的一种或多种信息的组合对预设图像进行数字化建模所形成。所构建的图像模型与所述家电联动模式相关联,形成关联信息并存储。本实施例中,所述图像关联单元30包括图像建模模块31、第二操作界面32、第二处理模块33、第二存储模块34及第二信息收发模块35,所述第二处理模块33分别与图像建模模块31、第二操作界面32、第二存储模块34及第二信息收发模块35相连接,所述图像建模模块31可通过公知的计算机图像识别技术构建图像模型,例如,用户在联动模式预设单元中将“客厅窗帘关闭且客厅电视打开”作为一条家电联动,并通过图像采集单元分别采集客厅窗帘和客厅电视的图像信息。此时,用户移动终端62的APP自动跳转至第二操作界面,用户在所述第二操作界面中选择客厅窗帘或客厅电视的图像信息构建图像模型,所述图像模型存储于第二存储模块34中。用户通过所述第二操作界面31将所述联动模式预设单元10中已经完成设置的联动模式与第二存储模块34中已经完成图像建模的图像模型相关联,而形成关联信息并存储于第二存储模块34中。例如,用户选择了对客厅窗帘创建图像模型,此时,用户将该图像模型与“客厅窗帘关闭且客厅电视打开”这一条家电联动模式相关联,而形成关联信息。用户也可以在构建图像模型时选择对客厅窗帘和客厅电视分别构建图像模型,那么此时,用户则将两个图像模型分别与“客厅窗帘关闭且客厅电视打开”这一条家电联动模式相关联,而形成关联信息。所述第二处理模块33将该关联信息通过第二信息收发模块35发送至智能家居中控器或云服务器中60。
如图1所示,所述实时交互单元40设于移动终端62上,具体的,其设于用户移动终端62的APP中,所述实时交互单元用于实时采集需要联动的智能家居家电设备63的实时图像,并上传至智能家居中控器或云服务器60上,由设于智能家居中控器或云服务器60的图像识别匹配单元50对该实时图像进行计算机图像识别。本实施例中,所述实时交互单元40包括第三操作界面41、第三存储模块42、第三处理模块43及第三信息收发模块44,所述第三操作界面41、第三存储模块42及第三信息收发模块44分别与第三处理模块43相连接,所述第三操作界面41供用户操作,用户通过所述第三操作界面41调用图像采集单元实时采集需要联动的智能家居家电设备63的实时图像。例如,当用户需要启动“客厅窗帘关闭且客厅电视打开”这一联动模式时,用户打开移动终端62APP上的第三操作界面,在第三操作界面中点选表示图像采集的命令,所述实时交互单元调用移动终端62上的拍照装置或摄像装置,如果用户在图像关联单元中只对客厅窗帘创建图像模型,并只将该图像模型与“客厅窗帘关闭且客厅电视打开”这一联动模式相关联,那么,用户此时只能采集客厅窗帘的实时图像;如果,用户在图像关联单元中分别对客厅窗帘和客厅电视创建图像模型,并分别将该图像模型与“客厅窗帘关闭且客厅电视打开”这一联动模式相关联,那么,用户只需采集客厅窗帘或客厅电视中任一实时图像。所述实时图像存储于该第三存储模块42中,所述第三处理模块43将该实时图像通过第三信息收发模块44发送至智能家居中控器或移动终端6260上。
如图1所示,图像识别匹配单元50,该图像识别匹配单元设于智能家居中控器或云服务器60上,其对实时交互单元上传的智能家居家电设备63的实时图像与图像模型进行比对识别,并根据相匹配的实时图像启动与该图像模型所关联的家电联动模式。本实施例中,所述图像识别匹配单元50设有第四处理模块51、第四存储模块52及第四信息收发模块53,所述第四处理模块51分别与第四存储模块52及第四信息收发模块53相连接,所述第四存储模块52用于存储联动模式预设单元10上传的联动模式、图像采集单元20上传的图像信息、实时交互单元40上传的实时图像,所述第四处理模块51用于识别匹配图像。当所述第四信息收发模块接收到实时交互单元上传的实时图像时,所述第四处理模块将该实时图像存储于第四存储模块,并通过计算机图像识别技术对该实时图像进行计算机图像识别,完成图像识别后将该实时图像与用户在图像关联单元中构建的图像模型逐一比对,具体的,所述第四处理单元基于图像的纹理信息、轮廓信息、颜色信息、阴影信息、光照信息中的一种或多种信息的组合计算实时图像与图像模型的匹配度,所述第四处理模块51还设有阈值调节单元,用户通过访问云服务器调节图像识别匹配度的阈值,当实时图像与图像模型的相似度大于该阈值时,所述第四处理模块启动该图像模型所关联的联动模式。例如用户通过实时交互单元上传客厅窗帘的实时图像时,第四处理模块启动“客厅窗帘关闭且客厅电视打开”这一联动模式,并通过第四信息收发模块53向家电设备发送联动模式启动执行指令。
如图1所示,所述智能家居中控器或云服务器60分别与联动模式预设单元10、图像采集单元20、图像关联单元30、实时交互单元40、图像识别匹配单元50相连接和通信,其根据所启动的家电联动模式11控制相应的智能家居家电设备63执行相应的联动规则。
参阅图1、2,本发明的一种实现如权利要求1所述的系统的方法包括如下步骤:
S10、用户通过设于移动终端62上的联动模式预设单元10设置、保存智能家居家电设备63的家电联动模式,并为每种家电联动模式配置相应的多个智能家居家电设备63及相应的联动规则,所述联动模式预设单元10将设置完成的家电联动模式上传至智能家居中控器或云服务器60上
该步骤中,用户可以对联动模式创建特有的名称、图标、颜色、主题,并为每种联动模式配置数个智能家居家电设备63及相应的联动规则。例如,用户创建一个命名为“观影模式”的联动模式,并将在该联动模式的名称旁设置一个电影胶卷的图标,用户根据自己观影时的喜好、习惯为“观影模式”配置客厅电灯、客厅窗户、客厅窗帘三个智能家居家电设备63,并为三个智能家居家电设备63设置“同时打开或关闭”的联动规则。用户设置完该联动模式后在移动终端62上保存,所述移动终端62自动将该联动模式上传至智能家居中控器或云服务器上。
S20、用户通过设于移动终端62上的图像采集单元(20)采集各智能家居家电设备63的图像信息,所述图像采集单元(20)将所采集的图像信息存储并上传至智能家居中控器或云服务器60上,设于智能家居中控器或云服务器60上的所述图像关联单元(30)对图像采集单元(20)采集的图像信息构建图像模型,并存储;
该步骤中,所述图像模型是基于图像的纹理信息、轮廓信息、颜色信息、阴影信息、光照信息中的一种或多种信息的组合对预设图像进行数字化建模所形成。用户在移动终端62的APP中点选图像采集的命令而调用移动终端62的摄像装置或拍照装置采集家电设备的图像信息,例如用户在联动模式预设单元中将“客厅窗帘关闭且客厅电视打开”作为一条家电联动,此时,用户需要分别采集客厅窗帘和客厅电视的图像信息,所述图像采集单元将所采集的图像信息存储于移动终端62的存储设备中,并上传至智能家居中控器或云服务器60。此时用户移动终端62的APP自动跳转至第二操作界面31,用户在所述第二操作界面31中选择客厅窗帘或客厅电视的图像信息构建图像模型,所述图像模型存储于第二存储模块34中。
S30、用户通过设于智能家居中控器或云服务器60上的图像关联单元30将所述图像模型与家电联动模式预设单元10设置的家电联动模式相关联,形成关联信息并存储;
该步骤中,用户通过图像关联单元30上的第二操作界面31将所述联动模式预设单元10中已经完成设置的联动模式与第二存储模块中已经完成图像建模的图像模型相关联,而形成关联信息并存储于第二存储模块34中。例如,用户选择了对客厅窗帘创建图像模型,此时,用户将该图像模型与“客厅窗帘关闭且客厅电视打开”这一条家电联动模式相关联,形成关联信息并存储。用户也可以在构建图像模型时选择对客厅窗帘和客厅电视分别构建图像模型,那么此时,用户则将两个图像模型分别与“客厅窗帘关闭且客厅电视打开”这一条家电联动模式相关联,形成关联信息并存储
S40、用户需要触发智能家居设备的联动模式时,通过设于移动终端62上的实时交互单元40实时采集需要联动的智能家居家电设备63的实时图像,并上传至智能家居中控器或云服务器60上;
该步骤中,用户通过实时交互单元上的第三操作界面41调用图像采集单元20实时采集需要联动的智能家居家电设备63的实时图像,例如,当用户需要启动“客厅窗帘关闭且客厅电视打开”这一联动模式时,用户打开移动终端62APP上的第三操作界面41,在第三操作界面41中点选表示图像采集的命令,所述实时交互单元调用移动终端62上的拍照装置或摄像装置,如果用户在图像关联单元中只对客厅窗帘创建图像模型,并只将该图像模型与“客厅窗帘关闭且客厅电视打开”这一联动模式相关联,那么,用户此时只能采集客厅窗帘的实时图像;如果,用户在图像关联单元中分别对客厅窗帘和客厅电视创建图像模型,并分别将该图像模型与“客厅窗帘关闭且客厅电视打开”这一联动模式相关联,那么,用户只需采集客厅窗帘或客厅电视中任一实时图像。所述实时图像存储于该第三存储模块42中,所述第三处理模块43将该实时图像通过第三信息收发模块44发送至智能家居中控器或移动终端6260上。
S50、智能家居中控器或云服务器60上的图像识别匹配单元50根据图像关联单元30存储的图像模型,对实时交互单元50上传的智能家居家电设备63的实时图像进行比对识别,比对二者是否一致,如是,则根据关联信息启动该图像模型所关联的家电联动模式;如否,则返回步骤S40;
该步骤中,当图像识别单元的第四信息收发模块53接收到实时交互单元上传的实时图像时,所述第四处理模块51将该实时图像存储于第四存储模块52,并通过计算机图像识别技术对该实时图像进行计算机图像识别,完成图像识别后将该实时图像与用户在图像关联单元中构建的图像模型逐一比对,具体的,所述第四处理模块基于图像的纹理信息、轮廓信息、颜色信息、阴影信息、光照信息中的一种或多种信息的组合计算实时图像与图像模型的匹配度,所述第四处理模块51还设有阈值调节单元,用户通过访问云服务器调节图像识别匹配度的阈值,当实时图像与图像模型的相似度大于该阈值时,所述第四处理模块51启动该图像模型所关联的联动模式。例如用户通过实时交互单元上传卧室窗户的实时图像时,第四处理模块51启动“客厅窗帘关闭且客厅电视打开”这一联动模式,并通过第四信息收发模块53向家电设备发送联动模式启动执行指令
S60、智能家居中控器或云服务器60根据所启动的家电联动模式控制相应的智能家居家电设备63执行相应的联动规则。
该步骤中,所述智能家居中控器或云服务器60通过计算机图像识别技术,基于图像的纹理信息、轮廓信息、颜色信息、阴影信息、光照信息中的一种或多种信息的组合计算实时图像与图像模型的匹配度。
籍此,本发明提供了一种用户可根据自身需求通过移动终端自主配置相应联动模式,操作方便、简单,且通过移动终端采集家电设备图像而实现更灵活准确的触发机制,因而可扩展智能家居家电联动触发方式的一种基于计算机图像识别的智能家居交互系统及方法。
尽管通过以上实施例对本发明进行了揭示,但本发明的保护范围并不局限于此,在不偏离本发明构思的条件下,对以上各构件所做的变形、替换等均将落入本发明的权利要求范围内。

Claims (10)

1.一种基于计算机图像识别的智能家居交互系统,其特征在于,该系统包括:
联动模式预设单元(10),该联动模式预设单元设于移动终端(62)上,其用于设置、存储家电联动模式,该家电联动模式通过联动规则对多个智能家居家电设备(63)进行控制,所述联动模式预设单元将已完成设置的家电联动模式上传至智能家居中控器或云服务器(60);
图像采集单元(20),该图像采集单元设于移动终端(62)上,用于采集各智能家居家电设备(63)的图像信息,并将所采集的图像信息存储并上传至智能家居中控器或云服务器(60);
图像关联单元(30),该图像关联单元设于智能家居中控器或云服务器上(60),其根据图像采集单元(20)采集的图像信息构建图像模型,所构建的图像模型与所述家电联动模式相关联,形成关联信息并存储;
实时交互单元(40),该实时交互单元设于移动终端(62)上,其用于实时采集需要联动的智能家居家电设备(63)的实时图像,并上传至智能家居中控器或云服务器(60)上,由设于智能家居中控器或云服务器(60)的图像识别匹配单元(50)对该实时图像进行计算机图像识别;
图像识别匹配单元(50),该图像识别匹配单元设于智能家居中控器或云服务器(60)上,其对实时交互单元上传的智能家居家电设备(63)的实时图像与图像模型进行比对识别,并根据相匹配的实时图像启动与该图像模型所关联的家电联动模式;
所述智能家居中控器或云服务器(60)分别与联动模式预设单元(10)、图像采集单元(20)、图像关联单元(30)、实时交互单元(40)、图像识别匹配单元(50)相连接和通信,其根据所启动的家电联动模式控制相应的智能家居家电设备(63)执行相应的联动规则。
2.如权利要求1所述的基于计算机图像识别的智能家居交互系统,其特征在于,所述联动模式预设单元(10)包括第一操作界面(11)、第一处理模块(12)、第一存储模块(13)及第一信息收发模块(14),所述第一操作界面(11)、第一存储模块(13)及第一信息收发模块(14)分别与第一处理模块(12)相连接,所述第一操作界面(11)设于用户移动终端(62)上,用户通过所述第一操作界面(11)设置智能家居家电设备(63)的联动模式,并为每种联动模式配置数个相应的智能家居家电设备(63)及相应的联动规则,已经完成设置的联动模式存储于第一存储模块(13)中,所述第一存储模块(13)为设于移动终端(62)上的存储设备,所述第一处理模块(12)通过第一信息收发模块(14)将存储于第一存储模块(13)中的联动模式上传至智能家居中控器或云服务器(60)。
3.如权利要求1所述的基于计算机图像识别的智能家居交互系统,其特征在于,所述图像采集单元(20)为移动终端(62)上的拍摄或摄像装置,其采集图像信息存储于移动终端(62)的存储设备中。
4.如权利要求1所述的基于计算机图像识别的智能家居交互系统,其特征在于,所述图像关联单元(30)包括图像建模模块(31)、第二操作界面(32)、第二处理模块(33)、第二存储模块(34)及第二信息收发模块(35),所述第二处理模块(33)分别与图像建模模块(31)、第二操作界面(32)、第二存储模块(34)及第二信息收发模块(35)相连接,所述图像建模模块(31)用于构建图像模型,所述图像模型存储于第二存储模块(34)中,所述第二操作界面(32)供用户操作,将所述联动模式预设单元(10)中已经完成设置的联动模式与第二存储模块(34)中已经完成图像建模的图像模型相关联,而形成关联信息并存储于第二存储模块(34)中,所述第二处理模块(33)将该关联信息通过第二信息收发模块(35)发送至智能家居中控器或云服务器中(60)。
5.如权利要求1所述的基于计算机图像识别的智能家居交互系统,其特征在于,所述实时交互单元(40)包括第三操作界面(41)、第三存储模块(42)、第三处理模块(43)及第三信息收发模块(44),所述第三操作界面(41)、第三存储模块(42)及第三信息收发模块(44)分别与第三处理模块(43)相连接,所述第三操作界面(41)供用户操作,用户通过所述第三操作界面(41)调用图像采集单元实时采集需要联动的智能家居家电设备(63)的实时图像,所述实时图像存储于该第三存储模块(42)中,所述第三处理模块(43)将该实时图像通过第三信息收发模块(44)发送至智能家居中控器或云服务器(60)上。
6.如权利要求1所述的基于计算机图像识别的智能家居交互系统,其特征在于,所述图像识别匹配单元(50)设有第四处理模块(51)、第四存储模块(52)及第四信息收发模块(53),所述第四处理模块(51)分别与第四存储模块(52)及第四信息收发模块(53)相连接,所述第四存储模块(52)用于存储联动模式预设单元(10)上传的联动模式、图像采集单元(20)上传的图像信息、实时交互单元(40)上传的实时图像,所述第四处理模块(51)用于识别匹配图像,并通过第四信息收发模块(53)向家电设备发送联动模式启动执行指令,所述第四处理模块(51)还设有阈值调节单元,用户通过访问云服务器调节图像识别匹配度的阈值。
7.一种实现如权利要求1所述的系统的方法,其特征在于,该法包括以下步骤:
A、用户通过设于移动终端(62)上的联动模式预设单元(10)设置、保存智能家居家电设备(63)的家电联动模式,并为每种家电联动模式配置相应的多个智能家居家电设备(63)及相应的联动规则,所述联动模式预设单元将设置完成的家电联动模式上传至智能家居中控器或云服务器(60)上;
B、用户通过设于移动终端(62)上的图像采集单元(20)采集各智能家居家电设备(63)的图像信息,所述图像采集单元(20)将所采集的图像信息存储并上传至智能家居中控器或云服务器(60)上,设于智能家居中控器或云服务器(60)上的所述图像关联单元(30)对图像采集单元(20)采集的图像信息构建图像模型,并存储;
C、用户通过设于智能家居中控器或云服务器(60)上的图像关联单元(30)将所述图像模型与家电联动模式预设单元(10)设置的家电联动模式相关联,形成关联信息并存储;
D、用户需要触发智能家居设备的联动模式时,通过设于移动终端(62)上的实时交互单元(40)实时采集需要联动的智能家居家电设备(63)的实时图像,并上传至智能家居中控器或云服务器(60)上;
E、智能家居中控器或云服务器(60)上的图像识别匹配单元(50)根据图像关联单元(30)存储的图像模型,对实时交互单元(50)上传的智能家居家电设备(63)的实时图像进行比对识别,比对二者是否一致,如是,则根据关联信息启动该图像模型所关联的家电联动模式;如否,则返回步骤D;
F、智能家居中控器或云服务器(60)根据所启动的家电联动模式控制相应的智能家居家电设备(63)执行相应的联动规则。
8.如权利要求7所述的基于计算机图像识别的智能家居交互方法,其特征在于,步骤A中,用户可以对联动模式(11)创建特有的名称、图标、颜色、主题,并为每种联动模式配置数个智能家居家电设备(63)及相应的联动规则。
9.如权利要求7所述的一种基于计算机图像识别的智能家居交互方法,其特征在于,步骤B中,所述图像模型是基于图像的纹理信息、轮廓信息、颜色信息、阴影信息、光照信息中的一种或多种信息的组合对预设图像进行数字化建模所形成。
10.如权利要求7所述的一种基于计算机图像识别的智能家居交互方法,其特征在于,步骤d中,所述智能家居中控器或云服务器(60)通过计算机图像识别技术,基于图像的纹理信息、轮廓信息、颜色信息、阴影信息、光照信息中的一种或多种信息的组合计算实时图像与图像模型的匹配度。
CN201710750738.3A 2017-08-28 2017-08-28 基于计算机图像识别的智能家居交互系统及方法 Active CN107682236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710750738.3A CN107682236B (zh) 2017-08-28 2017-08-28 基于计算机图像识别的智能家居交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710750738.3A CN107682236B (zh) 2017-08-28 2017-08-28 基于计算机图像识别的智能家居交互系统及方法

Publications (2)

Publication Number Publication Date
CN107682236A true CN107682236A (zh) 2018-02-09
CN107682236B CN107682236B (zh) 2021-07-06

Family

ID=61134538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710750738.3A Active CN107682236B (zh) 2017-08-28 2017-08-28 基于计算机图像识别的智能家居交互系统及方法

Country Status (1)

Country Link
CN (1) CN107682236B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131972A (zh) * 2016-06-30 2016-11-16 联想(北京)有限公司 一种控制方法及电子设备
CN109376646A (zh) * 2018-10-19 2019-02-22 佛山市联科发信息科技有限公司 一种图像识别的电器智能控制器
CN110109370A (zh) * 2019-06-05 2019-08-09 重庆邮电大学 基于gan算法和mr平台的智能家电控制系统
CN110324216A (zh) * 2019-05-23 2019-10-11 深圳绿米联创科技有限公司 自动化配置方法、装置、系统、服务器及存储介质
CN110688179A (zh) * 2019-08-30 2020-01-14 华为技术有限公司 一种显示方法及终端设备
RU2775168C1 (ru) * 2021-05-31 2022-06-28 Акционерное общество "Ньютон Ин" Система конфигурирования, мониторинга и управления объектами iot

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105301971A (zh) * 2015-10-27 2016-02-03 深圳创维-Rgb电子有限公司 一种基于图像识别控制智能设备的方法及其系统
CN105487506A (zh) * 2015-11-25 2016-04-13 倪宏伟 一种设备控制方法、系统及终端设备
CN105676656A (zh) * 2015-12-31 2016-06-15 联想(北京)有限公司 处理方法及电子设备
CN105933762A (zh) * 2016-05-18 2016-09-07 海信集团有限公司 一种智能家居的联动控制方法和装置
CN106155002A (zh) * 2015-04-17 2016-11-23 乐金电子研发中心(上海)有限公司 智能家居系统
CN106302057A (zh) * 2016-09-30 2017-01-04 北京小米移动软件有限公司 智能家居设备控制方法及装置
US20170103583A1 (en) * 2013-05-13 2017-04-13 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170103583A1 (en) * 2013-05-13 2017-04-13 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
CN106155002A (zh) * 2015-04-17 2016-11-23 乐金电子研发中心(上海)有限公司 智能家居系统
CN105301971A (zh) * 2015-10-27 2016-02-03 深圳创维-Rgb电子有限公司 一种基于图像识别控制智能设备的方法及其系统
CN105487506A (zh) * 2015-11-25 2016-04-13 倪宏伟 一种设备控制方法、系统及终端设备
CN105676656A (zh) * 2015-12-31 2016-06-15 联想(北京)有限公司 处理方法及电子设备
CN105933762A (zh) * 2016-05-18 2016-09-07 海信集团有限公司 一种智能家居的联动控制方法和装置
CN106302057A (zh) * 2016-09-30 2017-01-04 北京小米移动软件有限公司 智能家居设备控制方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131972A (zh) * 2016-06-30 2016-11-16 联想(北京)有限公司 一种控制方法及电子设备
CN106131972B (zh) * 2016-06-30 2019-12-24 联想(北京)有限公司 一种控制方法及电子设备
CN109376646A (zh) * 2018-10-19 2019-02-22 佛山市联科发信息科技有限公司 一种图像识别的电器智能控制器
CN110324216A (zh) * 2019-05-23 2019-10-11 深圳绿米联创科技有限公司 自动化配置方法、装置、系统、服务器及存储介质
CN110324216B (zh) * 2019-05-23 2021-10-26 深圳绿米联创科技有限公司 自动化配置方法、装置、系统、服务器及存储介质
CN110109370A (zh) * 2019-06-05 2019-08-09 重庆邮电大学 基于gan算法和mr平台的智能家电控制系统
CN110688179A (zh) * 2019-08-30 2020-01-14 华为技术有限公司 一种显示方法及终端设备
RU2775168C1 (ru) * 2021-05-31 2022-06-28 Акционерное общество "Ньютон Ин" Система конфигурирования, мониторинга и управления объектами iot

Also Published As

Publication number Publication date
CN107682236B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN107682236A (zh) 基于计算机图像识别的智能家居交互系统及方法
CN106642578B (zh) 空调器的控制方法及装置
CN104133386B (zh) 智能厨房主机、智能厨房主机的工作方法和控制方法
CN104092775B (zh) 智能家电自学习方法和系统
CN106155002B (zh) 智能家居系统
CN105357842B (zh) 主控智能灯
CN104360599B (zh) 基于led照明装置的智能家庭控制方法、设备及系统
CN108983625B (zh) 一种智能家居系统及服务生成方法
CN110824942B (zh) 烹饪设备及其控制方法、控制系统、计算机可读存储介质
CN106406119A (zh) 基于语音交互、云技术及集成智能家居监控的服务机器人
CN106054650A (zh) 一种新型智能家居系统及多手势控制方法
CN105373020B (zh) 智能易贴电气开关
CN106152408A (zh) 智能空调控制器、控制方法及空调器
CN109074819A (zh) 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
WO2019085597A1 (zh) 控制设备的方法、装置和系统
CN110196557B (zh) 设备控制方法、装置、移动终端及存储介质
CN104133387A (zh) 智能厨房主机、智能厨房主机的工作方法和控制方法
CN105520717A (zh) 具有判断人体状态的可穿戴设备
CN106993980A (zh) 扫地机器人及其控制方法
CN110448250B (zh) 一种餐具的存取方法及系统
CN108181837B (zh) 控制方法及控制装置
CN108427310A (zh) 智能家居控制方法、装置及计算机可读存储介质
CN105912632B (zh) 一种设备服务推荐方法和装置
CN110908340A (zh) 智能家居的控制方法及装置
CN109884911A (zh) 一种家电设备控制器及其控制方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant