CN108427298A - 基于图像识别的用户进出门智能家居控制系统 - Google Patents

Abstract

本发明提出一种基于图像识别的用户进出门智能家居控制系统，包括门测装置、智能监控装置以及智能家居，通过智能监控装置拍摄门口区域图像信息，在用户开关门过程中，根据图像信息变化识别进门或出门用户，进而根据进门或出门用户控制智能家居，相比通过手机APP的手动操作或语音控制，不需要用户动手操控，在用户进出家门过程中自动完成智能家居控制，用户体验更好。

Description

基于图像识别的用户进出门智能家居控制系统

技术领域

本发明涉及电子技术领域，尤其涉及一种基于进出门图像识别的智能家居控制系统。

背景技术

人们外出离家，经常忘记关掉已经打开的家电设施，不仅费电而且不安全，现在有一些通过手机控制家电开关的技术，但是，还是需要用户想起忘关电器，并通过手动远程控制，一旦忘记，形同虚设。此外，现在家庭安防设施通常是需要用户进行人工布防和撤防，容易遗忘，给使用带来麻烦。现在需要一种不需要用户参与、自动控制家电设施和安防设施的技术。

发明内容

本发明的目的是提供一种基于图像信息变化识别进出门用户的智能家居控制系统，当用户出门或进门，不需要用户动手控制，自动控制家中智能家居。

本发明提出的一种基于图像识别的用户进出门家电控制系统，包括门测装置、智能监控装置以及智能家居，智能监控装置拍摄门口区域图像信息，门测装置检测门的开关信号发送智能监控装置，其特征是在智能监控装置中建立用户图像信息与用户对应关系；所述智能监控装置根据开关门过程的用户图像信息变化，识别进门或出门用户，进而根据进门或出门用户控制智能家居。

本发明通过智能监控装置拍摄门口区域图像信息，在用户开关门过程中，根据图像信息变化识别进门或出门用户，进而根据进门或出门用户控制智能家居，相比通过手机APP的手动操作或语音控制，不需要用户动手操控，在用户进出家门过程中自动完成智能家居控制，用户体验更好。

结合以下实施例，分别描述本发明的技术方案。

附图说明

图1是本发明一实施例的系统结构框图。

图2是本发明另一实施例的系统结构框图。

图3是本发明一实施例的布置图。

图4是本发明另一实施例的布置图。

图5是一种智能家居开关控制方法流程图。

具体实施方式

在图1所示的系统结构框图中，包括门测装置、智能监控装置以及智能家居，其中，门测装置监测门的开关状态，通过有线或无线方式把检测信息发送智能监控装置；门测装置包括智能门锁、门磁、光电开关，或接触传感器等其它装置，比如RFID射频装置，在门或门框上设置RFID标签，在门框或门上设置RFID阅读器，当门关闭，两者贴近，RFID阅读器接收到RFID标签反馈信号，当门打开，两者远离，RFID阅读器接收不到RFID标签信号，通过RFID阅读器是否接收到RFID标签信号，判断门的开关状态。门测装置还可以是一个触点开关，当门关闭，触点接通（或断开），当门打开，触点断开（或接通），根据触点的接通断开，判断门的开关状态。

智能监控装置中设置智能摄像头、微处理器和智能家居控制器，根据开门信号触发智能摄像头拍摄门口区域人图像，通过图像分析，识别进出门用户，进而控制家电设施开关。所述家电控制器可以通过有线或无线方式发送开关信号到家电设施。

所述智能家居包括空调、电灯、空气净化器等家电设施。智能监控装置通过智能家居控制器以无线或有线方式控制家电设施的开关，比如通过无线遥控器，以无线遥控方式控制家电设施的开关；或控制电源开关，通过通断电方式控制家电设施的开关，或是直接向被控对象发送开关控制信号。

所述智能家居包括报警器、摄像头、门窗控制器等家庭安防设施，智能监控装置通过控制器无线方式发送控制信息，对所述安防设施进行布防或撤防，比如控制智能门锁上锁或解锁，控制智能摄像头打开或关闭。

所述无线方式包括Wi-Fi、蓝牙、红外线、超宽带、RFID、ZigBee等无线通信。

在图3所示的一种实施例布置图中，左图为门内面的正示图，右图为门的侧示图。门测装置1的一部分布置在门2上，另一部分布置在门框3上，以监测门2和门框3的开关状态，智能监控装置4设置在门框3上，朝向门内，拍摄门口区域，接收门测装置1发送的门的开关检测信号，控制智能家居5。

在图4所示的另一种实施例布置图中，左图为门内面的正示图，右图为门的侧示图。门测装置1的一部分布置在门2上，另一部分布置在门框3上，以监测门2和门框3的开关状态，智能监控装置4设置在屋内某处设定位置，朝向门外，拍摄门口区域，接收门测装置1发送的门的开关检测信号，控制智能家居5。

进一步，在门内侧设置人体检测装置，检测开门或关门时人体信号，通过有线或无线方式发送智能监控装置，智能监控装置根据门内人体检测信号拍摄分析门口区域图像信息，系统结构框图如图2所示。所述人体检测装置包括触摸感应器、人体红外感应器、光电感应器、超声波发射接收器、激光发射接收器、指纹识别仪、虹膜识别仪中任一种，当用户开门或关门时，检测开门或关门人信号。比如设置在内侧门把手上的触摸感应器，当用户开门或关门时，触摸感应器检测到用户触摸信号。

优选的，还可以在智能监控装置中设置人体检测装置，比如人体红外传感器，以检测门内人体信号，当人体检测装置检测到门内人体信号，触发监控装置拍摄识别门口区域图像信息。

当门打开时，人体检测装置检测到门内人体信号，智能监控装置判断用户欲从内出门，当门打开时未检测到门内人体信号，判断用户欲从外进门；当门关闭时检测到门内人体信号，智能监控装置判断用户已进门，当门关闭时未检测到门内人体信号，判断用户已出门。

智能监控装置根据人体检测装置检测的人体信号，拍摄门口区域图像信息，根据开关门过程的用户图像信息变化，识别进门或出门用户，进而根据进门或出门用户控制智能家居。

在智能监控装置中设置存储器，预置家庭成员图像信息，建立家庭成员与图像信息对应关系，通过图像比对分析识别家庭用户。系统可以通过外部设备比如智能手机，传入用户图像信息，或是系统通过用户单独进门或出门时采集的图像信息，系统自动分析处理用户图像信息，提取图像特征信息，建立用户与图像信息对应关系。用户图像信息可以包括正面、背面和侧面图像信息，以满足智能监控装置的不同安装位置，识别进门出门用户。

在图5所示的家电设施开关控制方法流程图中，在系统中预置用户图像特征信息与用户对应关系，根据开门检测信号触发智能监控装置拍摄门内用户图像，根据开关门过程的用户图像信息变化，识别进门或出门用户，进而控制智能家居，具体过程如下：

（1）建立家庭用户图像信息与用户对应关系；

（2）门测装置检测门的开关信号，发送智能监控装置；

（3）是否检测到开门信号，如果是，进入下一步，如果否，转入步骤（2）；

（4）智能监控装置拍摄门口区域图像信息，通过图像分析，识别门内用户；

（5）是否识别到门内用户，如果是，判断用户出门，进入下一步，如果否，判断用户进门，转入步骤（9）；

（6）通过图像信息识别出门用户；

（7）是否检测到关门信号，如果是，进入下一步，如果否，拍摄门口区域图像信息，转入步骤（6）；

（8）根据图像信息变化判断用户出门，根据出门用户控制智能家居，转入步骤（2）；

（9）拍摄门口区域图像信息，是否识别到门内用户，如果是，进入下一步，如果否，转入步骤（9）；

（10）通过图像分析识别进门用户；

（11）根据进门用户控制智能家居；

（12）是否检测到关门信号，如果是，转入步骤（2），如果否，拍摄门口区域图像信息，转入步骤（10）。

当门打开，智能监控装置根据开门检测信号触发拍摄门口区域图像信息，如果通过图像信息识别到门内有人，判断用户从内出门，智能监控装置根据开门时图像信息识别出门用户。智能监控装置可以拍摄开门到关门的过程图像信息，比如开门后每间隔0.5秒、或1秒等进行一次拍摄识别，直到关门。根据开门到关门时的期间过程信息，可以更准确全面地监视到所有出门用户，避免漏掉在开关门过程中间出门的用户。

当门打开，智能监控装置根据开门检测信号触发拍摄门口区域图像信息，如果通过图像信息识别到门内没有人，判断用户从外进门，智能监控装置进一步继续拍摄门口区域图像，直到关门后设定时段如3、5秒后停止拍摄，智能监控装置根据开门到关门的过程中图像信息变化识别进门用户。

所述智能监控装置可以根据拍摄方向与家门的相对关系，通过人脸信息、人体背部、人体侧面图像信息识别进门出门用户。

如果智能监控装置设置在门口朝向门内拍摄，如图3所示，智能监控装置设置在门口的墙壁或门框上，朝向门内，拍摄门口区域，当门打开时，拍摄到出门人的正面图像信息，通过人脸图像识别出门用户，在开门后到关门后的过程，拍摄到进门人的人体背部图像信息，通过人体图像几何特征，如身高、身宽、头发等简单信息区分家人，识别进门用户，或在关门时拍摄到进门人的正面图像信息，通过人脸图像识别进门用户。

如果智能监控装置设置在屋内朝向门外拍摄，如图4所示，智能监控装置设置在屋内某处选定位置，朝向门外，拍摄门口区域，当检测到开门信号时，拍摄到出门人的人体背部图像信息，通过人体图像几何特征识别出门用户，在开门后到关门后的过程，拍摄到进门人的正面、侧面信息，通过人脸图像、人体几何特征识别进门用户。

优选的，可以结合脸部信息、人体正面、侧面几何信息特征进行图像识别分析。

智能监控装置通过对比开关门过程的图像信息变化，通过变化信息识别进门出门用户，当门打开时，智能监控装置拍摄到开门人的图像信息，识别该用户欲出门，当门关闭时，智能监控装置未拍摄到所述用户图像信息，判断该用户已出门；或是当门打开时，智能监控装置未拍摄到开门人图像信息，判断有用户欲进门，在关门过程中，智能监控装置拍摄到所述开门人的图像信息，识别该用户已进门。再比如开门时智能监控装置拍摄到有2个人的图像信息，关门时智能监控装置没有或是只拍摄到1个人的图像信息，消失的是出门用户的图像信息。同样，也可以根据开关门过程中，增加的图像信息中识别进门用户，比如开门时智能监控装置没有或是只拍摄到1个人的图像信息，此后一个时段内，或在关门前智能监控装置拍摄到2个人的图像信息，增加的是进门用户。

所述智能监控装置可以通过图像分析识别进门或出门人数，统计已进门或已出门人数，根据最后一个进门用户或最后一个出门用户打开或关闭智能家居，或根据第一个进门用户或第一个出门用户打开或关闭智能家居。比如在最后一个家人离家后关闭空调，打开安防设施，在最后一个家人进门后控制智能门锁反锁，在第一个用户进门时打开空调，关闭安防设施，在第一个用户出门时遥控打开汽车空调。

此外，还可以在系统中建立用户图像信息与智能家居的对应列表，智能监控装置根据进门或出门用户打开或关闭列表中与该用户对应的智能家居。所述列表中可以建立用户与智能家居之间一对一的对应关系，这是个人专用智能家居；或建立用户与智能家居之间多对一的对应关系，这是家庭共用智能家居。比如在最后一个家人离家后，打开或关闭共用或个人专用智能家居，在第一个用户回家时，打开或关闭共用或个人专用智能家居。

进一步，所述系统中设置人体检测装置检测开门人信号，智能监控装置根据门内人体检测信号拍摄分析门口区域图像信息。在用户出门过程，智能监控装置接收到人体检测信号比开门信号要早，使拍摄的出门图像信息覆盖的时间提前一些，当用户进门，智能监控装置接收到人体检测信号比开门信号要晚，在用户进门后拍摄，可以避免在用户进门前和门内无人时的无用拍摄。

当用户进门时，可以首先根据开门信号打开屋内的照明设施，然后根据人体检测信号拍摄门口区域图像信息，识别进门用户。

通过门内侧人体检测信号与开关门信号结合可以判断用户进出门，当开门时检测到门内人体信号，关门时未检测到门内人体信号，可以判断用户已出门；当开门时未检测到门内人体信号，关门时检测到门内人体信号，可以判断用户已进门。

进一步，关门后，智能监控装置根据识别的出门用户，记录出门用户和出门时间，或根据识别的进门用户，记录进门用户和进门时间。

进一步，系统还包括联网单元，如WIFI模块，连接系统到网络服务器或智能手机等外围设备，系统与外围设备进行无线信息传递。

本发明是基于家门通常处于关闭状态，也就是说在用户进出时才开门，然后关闭。

Claims (10)

1.一种基于图像识别的用户进出门智能家居控制系统，包括门测装置、智能监控装置以及智能家居，智能监控装置拍摄门口区域图像信息，门测装置检测门的开关信号发送智能监控装置，其特征是：

在智能监控装置中建立用户图像信息与用户对应关系；

所述智能监控装置根据开关门过程中的用户图像信息变化，识别进门或出门用户；

智能监控装置根据进门或出门用户控制智能家居。

2.根据权利要求1所述系统，其特征是：所述图像信息变化是当门打开时，所述智能监控装置拍摄到开门人的图像信息，识别该用户欲出门，当门关闭时，所述智能监控装置未拍摄到该用户图像信息，判断该用户已出门。

3.根据权利要求1所述系统，其特征是：所述图像信息变化是当门打开时，所述智能监控装置未拍摄到开门人图像信息，判断有用户欲进门，在门关闭前，所述智能监控装置拍摄到所述进门用户的图像信息，识别该用户已进门。

4.根据权利要求1所述系统，其特征是：所述智能监控装置根据拍摄方向与家门的相对关系，通过人体正面或人体背部或人体侧面图像信息识别进门或出门用户。

5.根据权利要求1所述系统，其特征是：在门内侧或智能监控装置中设置人体检测装置，检测开门人体信号，智能监控装置根据人体检测信号拍摄门口区域。

6.根据权利要求1或2或3所述系统，其特征是：所述智能监控装置统计进门或出门人数。

7.根据权利要求6所述系统，其特征是：所述智能监控装置根据最后一个用户进门或最后一个用户出门打开或关闭智能家居，或根据第一个用户进门或第一个用户出门打开或关闭智能家居。

8.根据权利要求1或2或3所述系统，其特征是：所述系统中建立用户与智能家居的对应列表，智能监控装置根据进门或出门用户控制列表中与该用户对应的智能家居。

9.根据权利要求1或2或3所述系统，其特征是：所述系统根据出门用户信息，记录出门用户和出门时间，根据进门用户信息，记录进门用户和进门时间。

10.根据权利要求1所述系统，其特征是：所述系统通过外部设备输入用户图像信息，或是通过用户单独进门或出门时采集用户图像信息，建立用户信息与采集的图像信息关系。