CN107065586B - 交互式智能家庭服务系统及方法 - Google Patents

Abstract

本发明涉及一种交互式智能家庭服务系统及方法，所述系统包括：视频监控单元、语音单元、交互终端和分析服务器。通过对传统的智能家居系统进行改造，使其具备自动感知、自我学习的能力，从而提升设备智能化的交互体验。分析服务器通过根据视觉、听觉、通信数据，对用户场景、身份和行为进行智能分析、进行模式类别切换，主动探知不同情景下用户的需求，智能化地实现交互和服务，并通过分布式的语音交互系统整合不同智能设备的功能，从而实现信息的主动交互，降低结构连接的复杂程度。

Description

交互式智能家庭服务系统及方法

技术领域

本发明涉及智能视频分析和人机交互技术领域，更具体地，涉及一种交互式智能家庭服务系统及方法。

背景技术

随着物联网和无线通信技术的发展，智能家居领域得到了迅速发展。目前的智能家居设备主要包括摄像头和传感器等，通过将智能家居设备与云端相连，利用手机终端APP对所有智能设备进行控制，但这种“被动式”的交互方式较为繁琐，不够“智能”。未来的智能设备将超越传统的GUI交互界面，无需键盘或者触摸屏，能与人及环境进行主动感知和交互。用户不需要对设备主动输入任何指令，智能设备依旧可以随时交互。而且网络摄像头多与云端相连，通过第三方向用户推送视频数据，用户隐私得不到保障，家庭安全也容易受到外部网络的影响。此外，目前的智能家居设备品类繁多，不同品牌、不同功能的智能设备得不到有效整合，无法提供兼顾安全和服务功能的全套自动化解决方案。

发明内容

为了解决现有技术中的上述问题，即为了解决被动交互操作繁琐的技术问题，本发明提供了一种交互式智能家庭服务系统及方法。

一种交互式智能家庭服务系统对用户场景、身份和行为进行智能分析，主动探知不同情景下用户的需求，智能化地实现交互和服务，并通过分布式的语音交互系统整合不同智能设备的功能，从而实现信息的主动交互，降低结构连接的复杂程度。所述交互式智能家庭服务系统包括：

视频监控单元，用于实时自动获取门前或者室内的人员的面部图像、和/或室内物体的图像；

语音单元，用于采集室内人员的语音指令和/或发出语音提醒信息；

交互终端，与所述语音单元连接，用于推送语音提醒指令到所述语音单元中，使所述语音单元发出对应所述语音提醒指令的语音提醒信息；或者接收所述语音单元采集的语音指令，并将对应指令发送给分析服务器进行对应处理；

分析服务器，分别与所述视频监控单元和交互终端连接，用于进行语音交互和视觉感知交互；在进行视觉感知交互时，根据所述门前或者室内的人员的面部图像，进行人脸验证，自动切换模式类别；对室内人体和物体进行智能视频分析，自动生成不同应用场景下的语音提醒指令；在进行语音交互时，根据智能视频分析自动挖掘用户需求，生成相应的语音提醒指令，并通过所述交互终端推送到所述语音单元，或者根据所述交互终端推送的语音指令，进行人脸验证，自动切换模式类别，并生成对应的语音提醒指令；其中，所述模式类别包括安全模式和服务模式。

可选的，所述交互式智能家庭服务系统还包括：

传感器单元，所述传感器单元与所述分析服务器连接，用于实时检测与房屋相关的状态信息，并将所述状态信息发送至所述分析服务器，以辅助视频监控单元的智能视频分析，对用户需求进行精准分析。

可选的，传感器单元包括设置于房屋各门窗入口处的门磁传感器、设置于室内且用于检测室内人员的人体传感器、用于检测烟雾的烟雾传感器、用于检测室内气候环境的温湿度传感器以及与家庭内的物件绑定的寻物传感器中至少一项。

可选的，所述寻物传感器连接有语音报警器，用于当用户发出寻找指令以寻找指定物品时，所述语音单元通过交互终端将寻找指令发送至所述分析服务器，所述分析服务器与对应的寻物传感器通信，使与所述寻物传感器连接的语音报警器发出报警信号，以提醒用户。

可选的，所述交互式智能家庭服务系统还包括：

智能网关，所述传感器单元通过ZigBee协议接入所述智能网关；

路由器，所述智能网关和分析服务器全部连入所述路由器建立的无线局域网，所述分析服务器通过无线网分别与交互终端、视频监控单元和智能网关相连，所述分析服务器通过HTTP协议对所述传感器单元进行通信和控制。

可选的，所述分析服务器还用于当初次使用时，主动进行用户人脸注册，并设置用户的使用权限。

可选的，所述分析服务器还用于在自动对视频监控单元采集到的人脸进行身份认证时，确认所述门前或者室内的人员的身份，并根据所述人员的身份开启或关闭对应的使用权限。

可选的，所述服务模式包括定时提醒、访客提醒、智能寻物、喝水提醒及久坐提醒中至少一项；

所述安全模式包括身份认证、入侵提醒、财务守护、异常回放及自我诊断中至少一项。

可选的，所述交互式智能家庭服务系统还包括移动终端，用于通过移动终端对室内物体进行拍照和标签，将所拍照的物体图像样本传输到云端，自动更新所述分析服务器中存储的目标检测模型。

根据本发明的实施例，本发明公开了以下技术效果：

本发明交互式智能家庭服务系统通过视频监控单元实时自动获取门前或者室内的人员的面部图像、和/或室内物体的图像；通过分析服务器进行语音交互和视觉感知交互，根据所述图像进行人脸验证和智能视频分析，确定模式类别，并生成对应的语音提醒指令；将自动生成的语音提醒指令通过所述交互终端推送到所述语音单元，或者根据语音单元采集的用户语音指令，进行人脸验证，切换模式类别，并生成对应的语音提醒指令，从而实现信息的主动交互，降低结构连接的复杂程度。

为实现上述目的，本发明提供了如下方案：

一种交互式智能家庭服务方法，所述交互式智能家庭服务方法包括：

通过视频监控单元实时自动获取门前或者室内的人员的面部图像、和/或室内物体的图像；

通过语音单元采集室内人员的语音指令和/或发出语音提醒信息；

通过分析服务器进行语音交互和视觉感知交互，在进行视觉感知交互时，根据所述门前或者室内的人员的面部图像，进行人脸验证，自动切换模式类别；对室内人体和物体进行智能视频分析，自动生成不同应用场景下的语音提醒指令；

在进行语音交互时，根据智能视频分析自动挖掘用户需求，生成相应的语音提醒指令，并通过交互终端将所述语音提醒指令推送到语音单元中，使所述语音单元发出对应所述语音提醒指令的语音提醒信息；或者根据所述交互终端推送的语音指令，进行人脸验证，切换模式类别，并生成对应的语音提醒指令；其中，所述模式类别包括安全模式和服务模式。

可选的，所述服务模式包括定时提醒、访客提醒、智能寻物、喝水提醒及久坐提醒中至少一项；

所述安全模式包括身份认证、入侵提醒、财务守护、异常回放及自我诊断中至少一项。

根据本发明的实施例，本发明公开了以下技术效果：

本发明交互式智能家庭服务方法通过视频监控单元实时自动获取门前或者室内的人员的面部图像、和/或室内物体的图像；通过分析服务器进行语音交互和视觉感知交互，根据所述图像进行人脸验证和智能视频分析，确定模式类别，并生成对应的语音提醒指令；将自动生成的语音提醒指令通过所述交互终端推送到所述语音单元，或者根据语音单元采集的用户语音指令，进行人脸验证，切换模式类别，并生成对应的语音提醒指令，从而信息的主动交互，降低结构连接的复杂程度。

为实现上述目的，本发明提供了如下方案：

一种交互式智能家庭服务系统，所述交互式智能家庭服务系统采用主动式智能的人机交互技术，通过以语音交互为载体、人工智能算法为核心，能与人及环境进行主动的感知和交互，针对不同的情景应用提供智慧服务；通过各视频监控单元的实时分析实现对用户场景的理解和分析、对用户行为和需求的感知，并主动发送对应消息给语音终端与用户进行交互，而不需要额外的用户操作。

相对于现有技术，本发明交互式智能家庭服务系统与上述交互式智能家庭服务系统及交互式智能家庭服务方法的有益效果相同，在此不再赘述。

附图说明

图1是本发明交互式智能家庭服务系统的模块结构示意图；

图2是本发明交互式智能家庭服务系统的模式功能图；

图3为本发明交互式智能家庭服务系统中分析服务器多线程接收信息的实施例流程图；

图4为本发明交互式智能家庭服务系统中喝水提醒和休息提醒的流程图。

符号说明：

视频监控单元—1，分析服务器—2，语音单元—3，交互终端—4，传感器单元—5，智能网关—6，路由器—7。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明提供了一种交互式智能家庭服务系统及方法，采用一种“主动式智能”的人机交互技术，通过以语音交互为载体、人工智能算法为核心，能与人及环境进行主动的感知和交互，并针对不同的情景应用提供智能服务。

用户不需要对设备主动输入任何指令，智能设备依旧可以随时交互。与其他智能家居系统的“被动式交互”不同，本发明交互式智能家庭服务系统可以通过对用户场景、身份和行为进行智能分析，主动探知不同情景下用户的需求，智能化地实现交互和服务，而不需要额外的用户操作。

此外，本发明交互式智能家庭服务系统兼具家庭服务、安防监控等多重功能，且可以通过多重智能感知的交互方式进行切换。其中家庭服务功能包括但不限于：定时提醒、智能寻物、喝水提醒和久坐提醒等；安防监控功能包括但不限于：入侵提醒、身份认证、财物守护、自我诊断等。切换方式有语音交互和视觉感知交互两种，语音交互通过语音指令对多种模式进行切换，视觉感知交互是通过检测用户的出入行为自动进行切换，是一种主动式的场景功能。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明交互式智能家庭服务系统包括视频监控单元1、分析服务器2、语音单元3及交互终端4。

其中，所述视频监控单元1用于实时自动获取门前或者室内的人员的面部图像、和/或室内物体的图像；所述语音单元3用于采集室内人员的语音指令和/或发出语音提醒信息；所述交互终端4与所述语音单元3连接，用于推送语音提醒指令到所述语音单元3中，使所述语音单元3发出对应所述语音提醒指令的语音提醒信息；或者接收所述语音单元3采集的语音指令，并将对应指令发送给分析服务器2进行对应处理；所述分析服务器2分别与所述视频监控单元1和交互终端4连接，用于进行语音交互和视觉感知交互的切换；在进行视觉感知交互时，根据所述门前或者室内的人员的面部图像进行人脸验证，自动切换模式类别；对室内人体和物体进行智能视频分析，自动生成不同应用场景下的语音提醒指令；在进行语音交互时，根据智能视频分析自动挖掘用户需求，生成相应的语音提醒指令，并通过所述交互终端4推送到所述语音单元3，或者根据所述交互终端4推送的语音指令，进行人脸验证，自动切换模式类别，并生成对应的语音提醒指令；其中，所述模式类别包括安全模式和服务模式。

其中，所述视频监控单元1包括可视门铃和多组室内摄像头，其中，可视门铃安装在房屋大门的猫眼处，用于实现访客提醒。例如，在客厅和书房各安装一个1080p的无线网络摄像头，用于认证用户身份、行为检测。通过摄像头采集的视频流传输到分析服务器进行人脸比对、目标检测和目标跟踪算法，用视觉感知的交互方式自动进行服务模式或安全模式的提醒。

如图2所示，所述模式类别包括安全模式和服务模式，所述服务模式包括定时提醒、访客提醒、智能寻物、喝水提醒及久坐提醒中至少一项；所述安全模式包括身份认证、入侵提醒、财务守护、异常回放及自我诊断中至少一项。

其中，定时提醒是通过用户语音指令的方式进行记录和提醒。喝水提醒和久坐提醒是通过摄像头自动检测用户行为进行提醒。

访客提醒是通过可视门铃对访客的面部识别来通知用户访客身份。具体的，对访客进行人脸识别，提醒室内用户有客到访、来者是谁；当有访客按下门铃时，可视门铃向分析服务器2发送门铃消息和访客面部截图，所述分析服务器2发送语音提醒指令通过交互终端给各个房间内的语音单元3，提醒用户有客到访，并通过语音进行合成，确定人脸识别结果。

智能寻物是通过寻物传感器来对钥匙、钱包等小物所在位置发出提醒；身份认证是通过各房间摄像头对主人身份进行认证，开启或关闭隐私服务。

入侵提醒是当安全模式下，有人从门窗等进入室内时，身份认证失败，则进行入侵提醒，并进行录像；财物守护可以帮助用户看管区域内贵重物品，防止被移走。自我诊断是指当摄像头发生断电或者被遮挡等异常情况时，可以自动进行提醒和录像。

此外，本发明交互式智能家庭服务系统还包括移动终端，用于通过移动终端对室内物体进行拍照和标签，将所拍照的物体图像样本传输到云端，自动更新所述分析服务器中存储的检测模型，以识别新样本，满足家庭的个性化需求。用户可以用移动终端指导本发明交互式智能家庭服务系统认识重要的物品，帮助系统更好地检测该物品的状态。其中，所述移动终端可为手机、iPad等。

其中，所述检测模型是事先用深度学习网络对大规模图片进行训练得到的网络模型，可以从视频流中检测到室内物体和人体的区域和标签。

本发明采用基于深度学习的视频分析技术解析用户行为、验证用户身份安全、定制多场景多模式的家庭服务，并通过分布式的语音交互系统整合不同智能设备的功能与用户进行主动交互。

如图1所示，本发明交互式智能家庭服务系统还包括传感器单元5，所述传感器单元5与所述分析服务器2连接，用于实时检测与房屋相关的状态信息，并将所述状态信息发送至所述分析服务器2，以辅助视频监控单元1的智能视频分析，对用户需求进行精准分析。

其中，所述传感器单元5包括设置于房屋各门窗入口处的门磁传感器、设置于室内且用于检测室内人员的人体传感器、用于检测烟雾的烟雾传感器以及与家庭内的物件绑定的寻物传感器中至少一项，但并不以此为限。

其中，所述门磁传感器用于对各门窗入口处进行入侵检测，人体传感器的检测信息作为对房内有无人体进出判定的辅助参考，在主人不在家时实现全面覆盖的安防传感网络；并在主人抵家时，将异常情况进行回放。

优选的，所述寻物传感器连接有语音报警器，用于当用户发出寻找指令以寻找指定物品时，所述语音单元3通过交互终端4将寻找指令发送至所述分析服务器2，所述分析服务器2与对应的寻物传感器通信，使与所述寻物传感器连接的语音报警器发出报警信号，以提醒用户。在本实施例中，寻物传感器通过蓝牙与分析服务器2进行通信连接。

例如，寻物传感器可绑定在钥匙等易丢物品上，通过蓝牙与分析服务器2保持通信，当用户需要寻找物品时，通过语音单元3把查找信息发送给分析服务器2，所述分析服务器2通过蓝牙与寻物传感器通信，触发传感器的语音报警，从而实现室内智能寻物功能。

进一步地，本发明交互式智能家庭服务系统还包括智能网关6和路由器7；其中，所述传感器单元5通过ZigBee协议接入所述智能网关6；所述智能网关6和分析服务器2全部连入所述路由器7建立的无线局域网，所述分析服务器2通过无线网分别与交互终端4、视频监控单元1和智能网关6相连，所述分析服务器2通过HTTP协议对所述传感器单元5进行通信和控制。

其中，所述语音单元3包括离线语音模块和麦克风，通过在不同房间的交互终端4搭载的语音单元对用户语音指令进行采集，发送给分析服务器2进行处理。

此外，所述分析服务器2还用于当初次使用时，主动进行用户人脸注册，并设置用户的使用权限，用户可以开启其他家庭成员的身份注册。在自动对视频监控单元1采集到的人脸进行身份认证时，所述分析服务器2还用于确认所述门前或者室内的人员的身份，并根据所述人员的身份开启或关闭对应的使用权限。例如，当有人对语音终端下达指令时，各交互终端搭载的摄像头会自动开启人脸身份认证，分析服务器2对普通用户自动关闭部分服务，保障操作的私密性。

所述分析服务器2搭载深度学习计算芯片、语音识别模块和USB摄像头，是一种能完成系统初始化、用户注册、算法分析等功能的综合性中枢。所述分析服务器2采用多线程接收来自各个交互终端采集到的语音指令信息、视频监控单元1获取的视频图像及各传感器检测的与房屋相关的状态信息，并根据不同智能设备发送信息或指令的优先级进行排序和相应处理。

如图3所示，所述分析服务器2开启多个线程，分别用于接收语音信息和视频流数据。当本发明交互式智能家庭服务系统第一次开机使用时需通过采集人脸注册用户身份。完成注册以后，房屋各个房间的摄像头检测到人脸时，交互终端会自动开启人脸验证，如果识别结果是用户则以“主人”进行称呼，并开启私密提醒服务，比如访客提醒、喝水提醒、久坐提醒和智能寻物。如果识别结果不是用户或则切换到安全模式，屏蔽私人服务，开启财物守护和自我诊断等功能。除了用人脸验证自动进行模式切换，还可以通过在服务模式下用语言指令切换到安全模式，但安全模式下只有检测到用户时才会切换到服务模式，如喝水提醒和久坐提醒等。

如图4所示，所述喝水提醒具体包括以下步骤：

1)对每帧视频流进行目标检测，当检测到人脸和水杯时开始计时；

2)对检测到的水杯区域和人脸区域同时进行目标跟踪，如果跟踪失败，则再对该帧进行目标检测；

3)当水杯区域和人脸区域的重合比例大于比例阈值时，判定为一次喝水；

4)每次检测到喝水时，将喝水间隔的计时器重新清零，重新开始计时；

5)如果计时达到第一时间阈值且没有检测到用户喝水时，则发送信息给语音单元进行喝水提醒。

所述久坐提醒具体包括以下步骤：

1)对每帧视频流进行人体检测，当检测到人体时开始计时；

2)对检测到的人体区域进行目标跟踪，当该人体区域设定时间内的位移小于位移阈值时，判定用户开始保持久坐或者站立，开启久坐计时；

3)当人体区域的重心在纵向上偏移大于偏移阈值时，判定为一次起身活动；

4)每次检测到起身活动时，将久坐间隔的计时器重新清零，开始计时；

5)如果计时达到第二时间阈值且没有检测到用户起身活动，则给语音单元发送久坐提醒。

本发明交互式智能家庭服务系统采用主动式智能的人机交互技术，通过以语音交互为载体、人工智能算法为核心，能与人及环境进行主动的感知和交互，针对不同的应用情景提供智慧服务；通过各视频监控单元的实时分析实现对用户场景的理解和分析、对用户行为和需求的感知，并主动发送对应消息给语音终端与用户进行交互，而不需要额外的用户操作。

本发明交互式智能家庭服务系统具有以下优点：

1)数据私密性，全部智能设备连接在局域网，无需连接外网，不受第三方网络稳定性的影响；

2)操作安全性，开启高级服务需进行人脸身份认证，为不同权限的用户提供不同的服务内容；

3)服务智能化，通过摄像头和传感器的自动感知了解用户的生活习惯，为用户提供细心周到的智能家庭服务。

此外，本发明还提供一种交互式智能家庭服务方法，本发明交互式智能家庭服务方法包括：

通过视频监控单元实时自动获取门前或者室内的人员的面部图像和/或室内物体的图像；

通过语音单元采集室内人员的语音指令和/或发出语音提醒信息；

通过分析服务器进行语音交互和视觉感知交互，在进行视觉感知交互时，根据所述门前或者室内的人员的面部图像，进行人脸验证，自动切换模式类别；对室内人体和物体进行智能视频分析，自动生成不同应用场景下的语音提醒指令；

在进行语音交互时，根据智能视频分析自动挖掘用户需求，生成相应的语音提醒指令，并通过交互终端将所述语音提醒指令推送到语音单元中，使所述语音单元发出对应所述语音提醒指令的语音提醒信息；或者根据所述交互终端推送的语音指令，进行人脸验证，切换模式类别，并生成对应的语音提醒指令；其中，所述模式类别包括安全模式和服务模式。

其中，所述服务模式包括定时提醒、访客提醒、智能寻物、喝水提醒及久坐提醒中至少一项；所述安全模式包括身份认证、入侵提醒、财务守护、异常回放及自我诊断中至少一项。

上述交互式智能家庭服务系统实施例可以用于执行上述交互式智能家庭服务方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的交互式智能家庭服务方法的有关说明，可以参考前述交互式智能家庭服务系统实施例中的对应内容，在此不再赘述。

相对于现有技术，本发明交互式智能家庭服务方法与上述交互式智能家庭服务系统的有益效果相同，在此不再赘述。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种交互式智能家庭服务系统，其特征在于，所述交互式智能家庭服务系统包括：视频监控单元，用于实时自动获取门前或者室内的人员的面部图像、和/或室内物体的图像；语音单元，用于采集室内人员的语音指令和/或发出语音提醒信息；交互终端，与所述语音单元连接，用于推送语音提醒指令到所述语音单元中，使所述语音单元发出对应所述语音提醒指令的语音提醒信息；或者接收所述语音单元采集的语音指令，并将对应指令发送给分析服务器进行对应处理；分析服务器，分别与所述视频监控单元和交互终端连接，用于进行语音交互和视觉感知交互；在进行视觉感知交互时，根据所述门前或者室内的人员的面部图像，进行人脸验证，自动切换模式类别；对室内人体和物体进行智能视频分析，自动生成不同应用场景下的语音提醒指令；在进行语音交互时，根据智能视频分析自动挖掘用户需求，生成相应的语音提醒指令，并通过所述交互终端推送到所述语音单元，或者根据所述交互终端推送的语音指令，进行人脸验证，自动切换模式类别，并生成对应的语音提醒指令；其中，所述模式类别包括安全模式和服务模式；

所述服务模式包括定时提醒、访客提醒、智能寻物、喝水提醒及久坐提醒中至少一项；所述安全模式包括身份认证、入侵提醒、财务守护、异常回放及自我诊断中至少一项。

2.根据权利要求1所述的交互式智能家庭服务系统，其特征在于，所述交互式智能家庭服务系统还包括：传感器单元，所述传感器单元与所述分析服务器连接，用于实时检测与房屋相关的状态信息，并将所述状态信息发送至所述分析服务器，以辅助视频监控单元的智能视频分析，对用户需求进行精准分析。

3.根据权利要求2所述的交互式智能家庭服务系统，其特征在于，传感器单元包括设置于房屋各门窗入口处的门磁传感器、设置于室内且用于检测室内人员的人体传感器、用于检测烟雾的烟雾传感器、用于检测室内气候环境的温湿度传感器以及与家庭内的物件绑定的寻物传感器中至少一项。

4.根据权利要求3所述的交互式智能家庭服务系统，其特征在于，所述寻物传感器连接有语音报警器，用于当用户发出寻找指令以寻找指定物品时，所述语音单元通过交互终端将寻找指令发送至所述分析服务器，所述分析服务器与对应的寻物传感器通信，使与所述寻物传感器连接的语音报警器发出报警信号，以提醒用户。

5.根据权利要求2所述的交互式智能家庭服务系统，其特征在于，所述交互式智能家庭服务系统还包括：智能网关，所述传感器单元通过ZigBee协议接入所述智能网关；路由器，所述智能网关和分析服务器全部连入所述路由器建立的无线局域网，所述分析服务器通过无线网分别与交互终端、视频监控单元和智能网关相连，所述分析服务器通过HTTP协议对所述传感器单元进行通信和控制。

6.根据权利要求1所述的交互式智能家庭服务系统，其特征在于，所述分析服务器还用于当初次使用时，主动进行用户人脸注册，并设置用户的使用权限。

7.根据权利要求6所述的交互式智能家庭服务系统，其特征在于，所述分析服务器还用于在自动对视频监控单元采集到的人脸进行身份认证时，确认所述门前或者室内的人员的身份，并根据所述人员的身份开启或关闭对应的使用权限。

8.根据权利要求1-7中任一项所述的交互式智能家庭服务系统，其特征在于，所述交互式智能家庭服务系统还包括移动终端，用于通过移动终端对室内物体进行拍照和标签，将所拍照的物体图像样本传输到云端，自动更新所述分析服务器中存储的目标检测模型。

9.一种交互式智能家庭服务方法，其特征在于，所述交互式智能家庭服务方法包括：通过视频监控单元实时自动获取门前或者室内的人员的面部图像、和/或室内物体的图像；通过语音单元采集室内人员的语音指令和/或发出语音提醒信息；通过分析服务器进行语音交互和视觉感知交互，在进行视觉感知交互时，根据所述门前或者室内的人员的面部图像，进行人脸验证，自动切换模式类别；对室内人体和物体进行智能视频分析，自动生成不同应用场景下的语音提醒指令；在进行语音交互时，根据智能视频分析自动挖掘用户需求，生成相应的语音提醒指令，并通过交互终端将所述语音提醒指令推送到语音单元中，使所述语音单元发出对应所述语音提醒指令的语音提醒信息；或者根据所述交互终端推送的语音指令，进行人脸验证，切换模式类别，并生成对应的语音提醒指令；其中，所述模式类别包括安全模式和服务模式；

所述服务模式包括定时提醒、访客提醒、智能寻物、喝水提醒及久坐提醒中至少一项；所述安全模式包括身份认证、入侵提醒、财务守护、异常回放及自我诊断中至少一项。

Images