CN109074035A - 多功能的每房间自动化系统 - Google Patents

多功能的每房间自动化系统 Download PDF

Info

Publication number
CN109074035A
CN109074035A CN201780024578.2A CN201780024578A CN109074035A CN 109074035 A CN109074035 A CN 109074035A CN 201780024578 A CN201780024578 A CN 201780024578A CN 109074035 A CN109074035 A CN 109074035A
Authority
CN
China
Prior art keywords
sound
user
hub device
hub
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780024578.2A
Other languages
English (en)
Other versions
CN109074035B (zh
Inventor
J·B·菲利普斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109074035A publication Critical patent/CN109074035A/zh
Application granted granted Critical
Publication of CN109074035B publication Critical patent/CN109074035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/16Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G08B7/066Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources guiding along a path, e.g. evacuation path lighting strip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house

Abstract

示例涉及提供一组集线器设备,用于提供与结构相关联的区域的每房间监测。一组集线器设备监测用户通过监测区域的移动以生成用户交通数据。监测区域的动态地图基于用户交通数据而被生成。该组集线器设备检测在监测区域内发生的声音。检测到的声音被标识。一些检测到的声音被放大并且在监测区域内的扬声器上被重放。一些检测到的声音的通知被提供给用户设备,以向至少一个用户通知检测到的声音的发生。如果检测到的声音指示安全问题,则从用户的当前位置通向不同的可能更安全的位置的安全路线被生成并且被提供给用户以促进撤离。

Description

多功能的每房间自动化系统
背景技术
当前住宅自动化系统的安装通常涉及利用新的可控设备移除和替换预先存在的传统设备。这些转换的安装和设置可能是昂贵且耗时的。而且,这些系统具有局限性。例如,很多自动化解决方案解决了一项特定任务。为了协同工作,这些系统需要编程并且经常难以设置。其他自动化系统在云中运行,以使不同的设备协同工作。如果互联网连接断开,这可能会导致隐私问题以及系统故障。另外,其他系统可以依赖于在用户设备上实现的应用来控制不同的自动化系统,这可能在用户设备不可用或者应用可能不容易被定位时限制自动化系统的使用。
发明内容
本公开的示例提供了一种自动化系统,其包括与监测区域相关联的一组集线器设备。监测区域包括与结构相关联的一组房间。一组麦克风经由网络被通信地耦合到该组集线器设备中的一个或多个集线器设备。一组扬声器经由网络被通信地耦合到该组集线器设备中的一个或多个集线器设备。该组集线器设备内的集线器控制器与该组房间中的房间相关联。集线器控制器监测监测区域的一部分。集线器控制器包括存储声音分析引擎组件的存储器。声音分析引擎组件由处理器执行,以通过该组麦克风中的一个或多个麦克风在集线器控制器的睡眠模式期间被动地检测非口头声音。声音分析引擎在确定非口头声音超过睡眠模式阈值声级时记录非口头声音以生成记录的声音。记录的声音的通知被发送到一个或多个用户设备以向用户通知非口头声音的发生。
提供本“发明内容”是为了以简化的形式介绍一些概念,这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”不旨在标识所要求保护的主题内容的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题内容的范围。
附图说明
图1是示出集线器环境的示例性框图。
图2是示出监测区域的示例性框图。
图3是示出集线器设备的示例性框图。
图4是示出具有至少一个内部部分和至少一个外部部分的监测区域的示例性框图。
图5是示出监测结构的内部部分和外部部分的集线器设备的示例性框图。
图6是示出对照一组预先标识的声音来分析声音的集线器设备的示例性框图。
图7是示出预先标识的声音的数据库的示例性框图。
图8是示出执行用户通知动作的集线器设备的示例性框图。
图9是示出由集线器控制器对非口头声音的检测的示例性框图。
图10是示出用户交通数据的示例性框图。
图11是示出由一组集线器设备生成的地图的示例性框图。
图12是示出集线器设备监测监测区域的一部分的操作的示例性流程图。
图13是示出集线器设备标识声音的操作的示例性流程图。
图14是示出在休眠模式下检测声音的集线器设备的操作的示例性流程图。
图15是示出集线器设备基于一组预先标识的声音来标识声音的操作的示例性流程图。
图16是示出检测门铃声的集线器设备的操作的示例性流程图。
图17是示出为用户生成安全路线的集线器设备的操作的示例性流程图。
图18是示出基于步态来标识用户的集线器设备的操作的示例性流程图。
具体实施方式
参考附图,本公开的示例使得自动化系统能够用于管理一个或多个其他设备。在一些示例中,该系统包括一组集线器设备。如本文中所使用的,术语“组”是指一个或多个。因此,该组集线器设备包括一个或多个集线器设备。
在一些示例中,该组集线器设备包括集线器控制器和用于监测和执行与监测区域相关联的任务的至少一个其他集线器设备。监测可以包括每个房间的监测、每个楼层的监测、或每个区域的监测和设备自动化。
其他语音启用的自动化系统在它们将主动地获取数据或输出数据之前需要特定的激活命令。在没有该激活命令的情况下,当前系统处于睡眠状态或处于非主动状态。相比之下,由一些示例提供的一组集线器设备检测和标识在睡眠模式或半睡眠模式以及主动模式期间源自监测区域内的声音。如果在睡眠模式期间检测到的声音超过睡眠模式声级阈值,则该组集线器设备中的至少一个集线器设备从睡眠模式切换到主动模式。在其他示例中,如果检测到的声音高于阈值但是它是预期的声音,则声音被忽略并且集线器设备自动返回到睡眠模式而没有明确的用户激活。这提供了在分析可用音频数据以确定用户通知或其他动作在当前情况下是否合适之前,在没有特定用户激活命令的情况下对非口头声音的响应性的改进和安全性的改进。
在另一示例中,如果检测到的声音是未标识的声音或标识但非预期的声音,则集线器控制器向至少一个用户通知声音。该声音通知使得能够改进监测区域内的安全性,以及改进用户对警报和用户可能希望被通知的其他潜在情况的响应性。
其他示例还提供记录在监测区域的一部分中检测到的声音,放大声音,以及在由用户占据的监测区域的不同部分中的一个或多个扬声器上播放放大的声音。该特征使得用户能够听到声音或接收声音的通知,否则由于用户相对于声音的起源点的不同位置而导致用户将听不到或未注意到该声音。声音的这种通知或重放改进了用户的安全(safety)或安全(security)条件信息,并且提高了用户响应于监测区域内的变化条件的能力。
在其他示例中,该系统使得能够检测监测区域内的特定声音。一组集线器设备检测和标识预先存在的传统安全(safety)或安全(security)装备的警报,诸如烟雾检测器、一氧化碳检测器、防盗警报器、汽车警报器或门铃。该组集线器设备可以通过通过一个或多个扬声器放大警报或向相关联的移动用户设备发送通知来向用户警告警报。这使得用户能够在无需购买新的智能装备的情况下继续使用现有的传统安全(safety)和安全(security)装备。对于一些用户来说,通过利用集线器设备增强或集成现有设备来升级他们的住宅、企业或其他环境,可能更具成本效益并且负担更少。
在一些示例中,该组集线器设备通过将声音与预先标识的声音的本地数据库进行比较来标识在监测区域内检测到的声音类型。该特征使得能够降低网络带宽使用率并且提高数据传输安全性。
同样地,在其他示例中,系统在该组集线器设备中的每个集线器设备上部署相同的软件。集线器设备经由局域网(LAN)相互通信和共享数据。以这种方式,即使在正常操作期间因特网不可用,集线器设备也可以直接连接。该特征还使得能够减少网络带宽使用率并且提高数据传输的安全性。
在其他示例中,该组集线器设备监测移动通过监测区域的一个或多个部分的一个或多个用户的移动以生成用户交通数据。地图组件生成监测区域的地图。如果安全问题指示一个或多个用户应该离开其当前位置并且移动到另一不同位置,则该组集线器设备确定用于重新定位一个或多个用户的另一位置。该组集线器设备生成从一个或多个用户的当前位置到另一位置的安全路线,并且将安全路线发送给用户。安全路线可以是从监测区域内的第一位置通向监测区域内的第二不同位置的安全路径、从监测区域外部的位置通向监测区域内的位置的安全路径、或从监测区域内部的位置通向监测区域外部的位置的路径。
另一位置是基于检测到的发出的安全性的类型和另一位置距用户的当前位置的距离而被确定为可能更安全的位置。在该非限制性示例中,安全路线包括从用户的当前位置到不同位置的路径。
安全路线可以经由通过显示设备向用户显示的视觉地图以图形形式来提供。在一些示例中,安全路线可以经由集线器设备或一组集线器设备的一个或多个扬声器以音频格式被提供给用户以可听地引导用户远离检测到的安全问题。在其他示例中,该组集线器设备激活和去激活监测区域内的一组灯来为用户照亮安全路线。该地图特征为用户在疏散或其他重新定位情况期间提供改进的安全性(safety)和安全性(security)。通过基于用户的当前位置、用户的特性、该组集线器设备中的每个集线器设备的状态和监测区域的当前实时地图来为每个单独用户提供有效的定制路线,安全路线减少了在疏散期间的用户混淆,改进了用户的安全性,提高了疏散的速度,并且减少了到达最近安全位置的延迟。
用户简档提供用户的特性、用户偏好、用户的默认设置、以及可以被用于为该特定用户生成安全路线的其他信息。在该示例中,用户简档是由一个或多个用户全部或部分生成的用户配置的简档。
一个或多个集线器设备的状态也可以被用来生成安全路线。在一些示例中,每个集线器设备与该组集线器设备中的其他集线器设备通信。如果与一个集线器设备的通信丢失或状态数据指示集线器设备不再可操作,则该信息可以被用来确定安全区域或安全路线。例如,如果火灾警报被触发,温度传感器指示结构的二楼的温度较高,并且与二楼的集线器设备的通信丢失,该信息可以由机器学习用来确定二楼由于可能发生大火或火灾而无法再进入。
集线器设备的状态可以由另一集线器设备请求。例如,第一集线器设备可以发送来自第二集线器设备的状态更新请求。如果在阈值时间段(诸如五秒阈值时间)之后没有响应被接收到,则第二集线器设备被确定为不可操作。
在另一示例中,集线器设备的状态基于无法在阈值时间段从特定集线器设备接收到传感器数据或其他信息来推断。在该示例中,集线器设备被确定为不可操作而没有明确地从集线器设备请求状态更新。
在一些示例中,机器学习利用用户简档、用户的当前位置、地图、集线器设备的状态以及与当前环境条件相关联的其他信息来为特定用户生成定制的安全路线。例如,用户简档可以指示用户是坐轮椅的。在这种情况下,集线器设备创建包括坡道并且避免楼梯的安全路线。集线器设备还可以识别出在电力可能受损的情况下,电动升降椅可能不可用。
在另一示例中,集线器设备利用用户简档来确定用户是否在视觉上受损。在这种情况下,集线器设备生成以听觉格式输出的路线,以便用户可以监听路线指示。
在又一示例中,用户简档可以指示用户是耳聋或听力受损的。在该示例中,集线器设备生成以视觉格式输出的安全路线,诸如使用图形或其他视觉提示来引导用户离开。视觉提示包括但不限于灯、箭头、文本或其他视觉元素。
在其他示例中,该系统包括用于监测房间中的环境或监测区域的其他部分的多个传感器。多个集线器设备彼此通信,以基于指示用户是否存在于房间内的传感器数据、亮度、温度和其他传感器数据来调节一个或多个系统或设备。这使得用户能够更容易地使用系统并且提高了用户效率以及与所公开的系统的用户界面的交互。
在其他示例中,集线器设备经由网络与一个或多个其他集线器设备通信,以根据环境的占用者可能正在做什么以及他们当前位于所监测区域的内部的位置来调节环境的一个或多个系统。该特征还使得能够提高用户效率并且与所公开的系统的用户界面进行交互。
再次参考图1,示例性框图示出了集线器环境。在图1的示例中,集线器系统100可以包括集线器设备102和集线器控制器104,集线器控制器104可以是用于监测和多功能自动化操作的与监测区域(未被示出)相关联的一组一个或多个集线器设备。集线器系统100还可以提供与监测区域相关联的多个设备的自动管理或集成。该组集线器设备中的集线器设备(诸如集线器设备102和集线器控制器104)表示执行计算机可执行程序代码106(例如,作为应用108、操作系统功能或两者)以实现与集线器设备相关联的操作和功能的任何设备。计算机可执行程序代码106还可以被称为指令或计算机可执行指令。
在一些非限制性示例中,集线器设备在容器中被实现,该容器可以被放置在具有监测区域或监测区域的一部分(诸如房间)的可见性的任何类型的表面(诸如桌子、架子或壁炉架)上。集线器设备可以具有进出监测区域或监测区域的一部分的一个或多个进入或离开点的可见性。集线器设备包括通向电源的接口,诸如电源插座或电池。在一些示例中,壳体可以是可更换的,以允许集线器设备的美学定制,诸如以适合监测区域的装饰或视觉外观。在其他示例中,集线器设备是组合的机顶盒和集线器设备。
该组集线器设备被配置为自动控制、交互、集成或增强与监测区域相关联或在监测区域内实现的一个或多个其他设备。其他设备可以包括具有网络能力、无线能力或连接到无线能力的开关或其他设备的设备,使得集线器设备能够控制、管理或以其他方式与另一设备通信,诸如以打开或关闭其他设备,更改其他设备上的设置,调节音量,或者以其他方式与设备进行无线交互。
监测区域中的可控设备的非限制性示例可以包括扬声器、麦克风、灯、恒温器、电源插座开关、智能开关、传感器、自动锁定机构、音频装备、TV(TV)、视频装备、摄影装备、警报器、空调装置、中央供暖系统、热水器、散热器阀门控制器、自动浇水系统、音频流、电器、安全控制面板、门铃、蜂窝电话或固定电话、或者任何其他合适的具有网络能力的设备。
经由红外(IR)、Wi-Fi、AllJoyn、BLUETOOTH以及任何其他自动化协议,其他设备由一个或多个集线器设备自动控制或调节。AllJoyn是允许兼容设备和应用相互通信的系统。如这里所使用的兼容设备包括与网络或网络协议(诸如但不限于AllJoyn)兼容的设备。
可选地,集线器设备还可以被物理地连接到另一设备以控制该设备。例如,集线器设备可以被集成到或者物理地连接到灯开关、TV、扬声器或其他设备。在其他示例中,其他设备也可以由用户操纵位于另一设备上的一个或多个物理开关或按钮来控制。
在一些示例中,集线器设备控制另一设备将其关闭,将其打开,调暗灯光,改变可编程内容,发出警报,停止警报,接听电话,终止呼叫,激活对讲机,或者可控设备的任何其他功能。在一些示例中,其他设备的功能按以下方式来配置:
对于{设备“device”},当{房间|住宅“room|home”}在级别{级别“level”}检测到{存在|光|声音“presence|light|sound”}时,{动词“verb”(例如,开|关|播放|停止“on|off|play|stop”)}。
在其他示例中,该组集线器设备可选地从一组传感器(诸如相机、麦克风、IR传感器、光传感器、温度计、被动红外(PIR)传感器或任何其他类型的传感器)接收数据。该组集线器设备利用从该组传感器接收的传感器数据来标识用户,创建监测区域的地图,调节其他设备上的一个或多个设置、或者由该组集线器设备自动执行的其他动作。在一些示例中,来自该组传感器的一个或多个传感器可以被实现为集线器设备的一部分。
系统100可选地包括一个或多个用户设备。诸如用户设备110等用户设备可以包括用于向一个或多个集线器设备发送数据或从该组集线器设备中的一个或多个集线器设备接收数据的集线器应用。用户设备可以包括但不限于移动计算设备或任何其他便携式设备。在一些示例中,移动计算设备包括移动电话、膝上型电脑、平板电脑、计算板、上网本、游戏设备、全球定位系统(GPS)启用设备、可穿戴设备或便携式媒体播放器。
用户设备还可以包括较少便携式设备,诸如台式个人计算机、信息亭、桌面设备、工业控制设备、无线充电站、电动汽车充电站或合并到车辆中的计算设备。附加地,用户设备110可以表示一组处理单元或其他计算设备。
用户设备110可以具有至少一个处理器、存储区域和至少一个用户界面组件112。处理器执行用于从集线器设备接收信息的集线器应用,诸如通知、动态地图或动态安全路线。
在一些示例中,用户界面组件112包括用于向用户显示数据和从用户接收数据的图形卡。用户界面组件还可以包括用于操作图形卡的计算机可执行指令(例如,驱动程序)。此外,用户界面组件112可以包括用于操作显示器的显示器(例如,触摸屏显示器或自然用户界面)或计算机可执行指令(例如,驱动程序)。用户界面组件还可以包括以下中的一个或多个以向用户提供数据或从用户接收数据:扬声器、声卡、相机、麦克风、振动电机、一个或多个加速度计、BLUETOOTH品牌通信模块、全球定位系统(GPS)硬件和光感光传感器。例如,用户可以通过以特定方式移动计算设备来输入命令或操纵数据。
在其他示例中,在用户设备110上运行的集线器应用控制一个或多个设备,诸如与灯相关联的智能开关。在一些示例中,集线器应用可以通过以下方式来控制用户正在占用的任何房间的灯:经由位于房间内或房间附近的集线器设备检测房间中的用户存在,当检测到用户存在时打开灯并且当不再检测到用户存在时关闭灯。从集线器应用,用户可以选择要播放的音频或用户占据的房间的任何其他可控元件。其他示例中的集线器应用也控制监测区域内的一个或多个其他房间中的设备或其他可控元件。
集线器控制器104是用于管理该组集线器设备中的一个或多个其他集线器设备的该组集线器设备中的集线器设备。集线器控制器104执行主集线器设备对一个或多个其他从集线器设备的作用。集线器控制器104从该组集线器设备中的一个或多个其他集线器设备请求存在数据、声音数据和其他状态信息。在一些示例中,集线器控制器104利用从一个或多个其他从集线器设备收集的该数据来标识用户的当前位置,生成监测区域的地图,确定是否生成安全路线,生成通过监测区域的一部分的安全路线,向用户输出安全路线,标识检测到的声音的起源,响应于在监测区域内检测到声音而执行适当的动作,向用户输出声音的标识,将一个或多个集线器设备从睡眠模式唤醒到主动模式,或者基于用户的门来标识用户。
如本文中所使用的,主动模式可以是较高功率模式,而被动模式可以是低功率或睡眠模式。在该示例中,从被动模式切换到主动模式包括将集线器设备激活到更高功率状态。例如,主动模式可以是集线器设备主动地从一个或多个传感器设备收集或请求数据的模式,而被动模式可以是集线器设备仅被动地接收由一个或多个传感器向集线器设备发送的数据的模式。
集线器控制器104可选地利用来自一个或多个集线器设备的数据来控制监测区域内的一组网络设备114中的一个或多个其他设备。该组网络设备114包括一个或多个网络设备。网络设备是由集线器设备或用户设备上的集线器应用可控制的任何类型的设备。网络设备包括灯、门铃、恒温器、对讲机、相机、麦克风、扬声器、TV、显示设备、收音机、音频流、警报器或任何其他联网设备。
可以使得集线器控制器104能够自动打开或关闭或者以其他方式控制或管理该组设备114中的一个或多个网络设备。例如,集线器控制器104可以打开灯,关闭灯,接收来自门铃的信号,激活对讲机,打开TV,关闭TV,更改在TV或其他输出设备上播放的视频内容,基于用户位置更改在扬声器上播放的音频内容并且标识用户,打开警报器,通过扬声器放大声音,或者自动执行与监测区域内的一个或多个其他设备相关联的其他功能。
在一些示例中,该组网络设备114包括一个或多个无线灯。在其他示例中,该组网络设备114包括由连接到灯的一个或多个联网开关控制的一个或多个灯。
在另一示例中,联网设备可以包括可以经由AllJoyn上的功能调用与集线器设备通信的无线门铃。如果监测区域被占用,则集线器设备可选地播放定制门铃,或者经由在用户设备上运行的移动集线器应用通知监测区域外部的用户。
集线器控制器104包括至少一个处理器116和存储器118。存储器118可选地存储分析引擎120。处理器116执行分析引擎以监测监测区域的至少一部分。处理器116可以包括任何数量的处理单元,并且可以被编程以执行用于实现本公开的各方面的计算机可执行指令。指令可以由处理器或计算设备内的多个处理器执行,或者由计算设备外部的处理器执行。在一些示例中,处理器被编程以执行诸如图(例如,图12、图13、图14、图15、图16、图17或图18)所示的那些指令。
在一些示例中,处理器116表示用于执行本文中所描述的操作的模拟技术的实现。例如,操作可以由模拟计算设备或数字计算设备执行。
集线器控制器104设备还具有一个或多个计算机可读介质,诸如存储器118。存储器118包括与集线器控制器104设备相关联或可由集线器控制器104设备访问的任何数量的介质。存储器118可以在集线器控制器内部(如图1所示),在集线器控制器外部(未被示出),或两者(未被示出)。存储器可以包括只读存储器或被有线连接到模拟计算设备中的存储器。
除了其他数据之外,存储器118可选地存储一个或多个应用108。应用108在由处理器116执行时用于在计算设备上执行功能。示例性应用包括邮件应用程序、网络浏览器、日历应用程序、消息传递程序、基于位置的服务、搜索程序等。应用可以与对应的应用或服务(诸如经由诸如网络122等网络可访问的网络服务)通信。例如,应用可以表示与在云(诸如图6所示的云存储装置)中执行的服务器端服务相对应的下载的客户端应用。
存储器118还存储分析引擎120。分析引擎120由与一个或多个集线器设备相关联的一个或多个处理器执行,以检测监测区域内的声音。分析引擎标识声音并且确定要对声音采取的适当动作。如果声音未被标识,则分析引擎通知用户。在一些示例中,通过向与一个或多个用户相关联的一个或多个用户设备发送包括未标识的声音的通知来通知用户。在其他示例中,通过集线器设备放大声音并且经由监测区域内的一个或多个麦克风播放放大的声音来通知用户。
存储器118还存储一个或多个计算机可执行组件。示例性组件可以包括监测组件124、地图组件126、通知组件128或机器学习组件130。
监测组件124可以由处理器116执行以使得处理器监测对监测区域的声音、移动和其他环境变化,例如,诸如移动通过监测区域的至少一部分的至少一个用户的移动。监测组件124经由从一个或多个传感器接收或获取的数据来检测监测区域的环境中的变化。例如,一个或多个传感器可以被通信地耦合到集线器控制器104。例如,监测组件124可以基于移动通过监测区域的一个或多个用户的检测到的移动来生成监测数据,诸如用户交通数据。
地图组件126被执行以使得处理器基于由监测组件124生成的用户交通数据生成监测区域的至少一部分的地图132。在一些示例中,地图132是动态地图。动态地图是在集线器设备的操作期间实时生成的地图。该动态地图由一个或多个集线器设备更新以反映监测区域内的变化条件,诸如通过监测区域的安全路径、用户的位置、危险条件的位置、可访问的出口点的位置以及其他可能的变化信息。
地图提供与监测区域相关联的信息。地图可以包括与主结构的内部、主结构的外部以及二级分离结构(诸如花园棚或分离车库)相关联的信息。在一些示例中,地图132可以包括其他特征,诸如车道、围栏、大门、露台或监测区域内的其他特征。在一些示例中,地图提供一组一个或多个房间、通道、出口点、用户在监测区域内的位置,分离的结构或与监测区域相关联的其他信息的表示。
通知组件128由一个或多个处理器执行以生成检测到的环境变化的通知,诸如声音、温度变化、烟雾的存在、照明水平或移动。通知被发送到一个或多个用户设备以向一个或多个用户通知环境变化的发生。在检测到的声音的示例中,通知可以包括声音的记录、声音发生的时间、声音的标识(如果已知)、声音的起源(如果已知)、一个或多个集线器设备的状态、或者对该组集线器设备可用的与检测到的声音相关联的任何其他信息。
在一些示例中,分析引擎组件120被执行以使得至少一个处理器基于用户的日常、用户交通数据、地图、或由一个或多个存在传感器提供的用户存在数据来确定监测区域内的至少一个用户的当前位置。在一些示例中,存在传感器被实现为用于检测一个或多个用户的存在的PIR存在传感器。在其他示例中,存在传感器包括用于检测用户的存在的一个或多个相机。
机器学习组件130被执行以标识与该组集线器设备相关联的模式、用户习惯和其他使用数据,以便针对用户或监测区域定制集线器设备以及在检测、标识和随着时间的推移的其他能力时进行改进。在一些示例中,机器学习组件130可以基于来自一个或多个集线器设备的检测到的移动数据来标识通过监测区域的频繁行进路径,其可以被用来确定一个或多个用户通过监测区域的移动模式。在这些示例中的机器学习组件130帮助地图组件126生成地图132。在其他示例中,机器学习组件130基于用户日常数据、存在数据、地图、用户交通数据或可用于机器学习组件的其他数据来标识用户。
在一些示例中,集线器控制器104包括通信接口组件134。通信接口组件134包括网络接口卡或用于操作网络接口卡的计算机可执行指令(例如,驱动程序)。该组集线器设备、用户设备或其他设备之间的通信可以通过任何有线或无线连接使用任何协议或机制来发生。在一些示例中,通信接口134可利用短程通信技术操作,诸如通过使用近场通信(NFC)标签。
在其他示例中,集线器控制器104包括一组存在传感器136。该组存在传感器136包括用于检测存在传感器附近的用户的存在的一个或多个传感器。在一些示例中,存在传感器是PIR传感器。存在传感器可以被集成到集线器设备中,被连接到集线器设备,或者被通信地耦合到集线器设备。换言之,存在传感器可以被附接到集线器设备或者从集线器设备分离并且经由诸如网络122等网络来连接。
网络122可以是用于允许一个设备与另一设备通信的任何类型的网络。网络122可以被实现为局域网(LAN)或广域网(WAN),诸如因特网。LAN可以包括有线LAN或无线LAN。无线LAN可以使用以太网、Wi-Fi或任何其他类型的LAN来实现。在一些示例中,LAN利用BLUETOOTH通信协议、NFC技术或用于实现LAN的任何其他类型的技术。如本文中所使用的,LAN可以包括个人区域网(PAN)、校园区域网(CAN)或任何其他类型的本地化网络。
一旦集线器设备经由网络彼此连接,该集线器设备可以以指定的间隔(例如,诸如每五(5)分钟)定期互相ping通,以确保一组集线器设备中的每个集线器设备仍在工作和连接。如果集线器设备断开连接或表现为在其他集线器设备的上下文中示出似乎不正确的结果,则可以经由用户设备上的集线器应用通知用户。
在其他示例中,该系统包括一组麦克风138。该组麦克风138是一组一个或多个麦克风。该组麦克风中的麦克风可以被直接集成到集线器设备中或被物理地连接到集线器设备,如图1所示。在其他示例中,该组麦克风中的麦克风与集线器设备分离或分开。在这些示例中,麦克风可以是独立麦克风、阵列麦克风、或者被集成到可由该组集线器设备经由网络122访问的另一设备(诸如用户设备110)中的麦克风或任何其他类型的麦克风。
该非限制性示例中,集线器控制器104包括一组扬声器140。该组扬声器是一组一个或多个扬声器设备。该组扬声器140中的扬声器可以被包括在集线器设备内或者与集线器设备分离。换言之,扬声器可以是独立扬声器设备、被集成到经由网络被连接到该组集线器设备的另一设备中的扬声器、或任何其他类型的扬声器。
在一些示例中,集线器控制器104包括一组相机142。该组相机是一组一个或多个相机。相机可以被直接集成到集线器控制器104中,被物理地连接到集线器控制器104,或者经由网络被通信地耦合到集线器控制器,使得集线器控制器经由网络122传送和控制该组相机中的相机。
该组相机142可以记录音频或视频,或者执行图像捕获,或者音频、视频和图像捕获的任何组合。记录的音频、视频或图像捕获形成相机数据。在一些非限制性示例中,相机数据可以被存储在本地数据库或其他本地数据存储装置中。在其他示例中,相机数据全部或部分地被存储在云存储装置或其他远程数据存储设备上。
诸如集线器控制器104的集线器设备可以包括电源144。电源144可以包括电池、功率转换器、功率适配器或任何其他合适的电源。电池可以使得集线器设备能够在电源关闭或不可用时继续操作。电池还可以被用来在峰值电力时段期间为集线器设备供电,以提供更低成本的操作。例如,在存在电池的情况下,集线器设备可以在低价能量时段期间充电并且在高峰时段期间使电池耗尽以降低使用成本。
诸如集线器控制器的集线器设备可以包括一组物理控件(未被示出),诸如一个或多个物理按钮或开关。用户可以与物理控件交互以执行操作,诸如切换媒体频道,静音音量,调节音量,调节温度,将集线器设备切换到睡眠模式,以及经由物理控件执行其他功能。
在一些示例中,在配置阶段期间,集线器控制器104执行声音测试。在声音测试期间,集线器控制器监听由监测区域内的一个或多个源产生的各种声音。例如,集线器控制器104可以监听由监测区域中的烟雾警报器生成的烟雾警报声、或者由被安装在监测区域内的门铃生成的门铃声。当集线器控制器监听时,集线器控制器可以通过用户激活它们来学习这些声音。以这种方式,集线器控制器可以动态地创建预先标识的声音的本地数据库。这些预先标识的声音与用于监测区域的该组集线器设备中的所有集线器设备共享。
在其他示例中,集线器控制器104执行音频检查以通过其他声音监听语音命令。集线器控制器104要求与用于在房间中使用的设备配对。在一些示例中,这些设备包括灯开关、恒温器、音乐播放器、电话、TV、收音机、警报器和其他设备。在一些示例中,集线器设备使用用于现有的智能远程可控灯开关的诸如BLUETOOTH、Z波或光波射频等协议与诸如灯开关的一个或多个设备通信。集线器设备学习用于在该配置阶段仅经由IR可控制的任何装备的远程代码。
现在参考图2,示出监测区域的示例性框图被示出。监测区域200是由一个或多个集线器设备监测的区域。监测区域200包括一个或多个结构,诸如结构202。结构202包括一组房间204。该组房间204包括一个或多个房间,诸如房间206和房间208。尽管在该示例中仅两个房间被示出,但是该组房间可以包括任何数量的房间。例如,该组房间可以包括单个房间,也可以包括三个或更多个房间。
一组集线器设备被包括在监测区域200内。在该示例中,一个集线器设备被包括在每个房间中。然而,在其他示例中,集线器设备可以不被包括在结构202中的每个房间中。
在该示例中,集线器设备210被包括在房间206中,并且集线器设备212被包括在房间208内。集线器设备210监测监测区域200的包括房间206的部分。在其他示例中,集线器设备210也监测房间206的外部部分。
集线器设备210被通信地耦合到灯214。集线器设备210可以被启用以在用户进入房间时自动打开灯214并且当用户通过出口216离开房间206时关闭灯214。集线器设备210还可以根据由可以可选地被耦合到集线器设备210或在集线器设备210内被实现的光传感器检测到的亮度来操作光214,例如,当亮度阈值被达到时基于用户存在或其他预先配置的设置来打开或关闭灯。出口216可以是离开房间进入结构202的另一内部部分的出口或通向结构202外部的出口。在该示例中,出口216是通向走廊或结构202的其他内部部分的门。
在该示例中,集线器设备210分析检测到的声音以标识门打开的声音、进入或离开房间的脚步声、或指示进入或离开房间206的用户的存在的其他声音。在其他示例中,相关联的存在检测器可以被用来检测进入或离开房间206的用户。
在该示例中,房间206包括用于检测源自房间206内或房间206附近内的声音的一个或多个麦克风218。在该示例中,麦克风218位于集线器设备210的外部。集线器设备210经由与麦克风的网络连接与麦克风218通信。集线器设备210从麦克风218接收声音数据并且分析声音数据以检测源自房间206内部的声音和源自房间206外部的在一个或多个麦克风218的声音检测范围内的声音。
在该示例中,房间206还包括一个或多个扬声器220。在该说明性示例中,扬声器220位于集线器设备210外部。集线器设备210经由与扬声器的网络连接向一个或多个扬声器220发送记录的声音。集线器设备210利用扬声器220经由结构内的一个或多个房间中的一个或多个扬声器将记录的声音放大并且播放给一个或多个用户。在其他示例中,集线器设备210还在位于监测区域内的结构外部的一个或多个扬声器上播放记录的声音。
在该非限制性示例中,集线器设备212包括被集成在集线器设备212内的一个或多个麦克风222和一个或多个扬声器224。集线器设备212经由一个或多个麦克风222检测集线器设备212附近内的声音。在一些示例中,集线器设备212从一个或多个其他集线器设备请求声音检测数据。声音检测数据是与由集线器设备检测到的一个或多个声音相关联的数据。从一个或多个其他集线器设备接收的其他声音检测数据由集线器设备分析,以标识声音或确定声音的起源。在一个示例中,来自多个集线器设备的声音检测数据被分析,以对监测区域内的声音的起源点或源进行三角测量。
集线器设备212经由与房间208相关联的扬声器224或与房间206相关联的扬声器220播放一个或多个记录的声音。换言之,集线器设备在位于一个或多个房间内的扬声器上播放记录的声音。集线器设备可选地还在位于房间208外部的监测区域200内部的一个或多个扬声器上播放记录的声音。
在该示例中,房间208包括但不限于出口226。出口可以是从房间的出口,或者是从结构通向结构的外部236的出口。在该示例中,出口226是通向外部236之外的门。集线器设备分析检测到的声音以确定声音是否指示针对通知的问题,诸如在已知用户要离开时,出口226的门被打开,在试图强行进入结构202期间的门或玻璃被破坏或以其他方式损坏的声音。
房间可以可选地包括一个或多个灯228或一个或多个窗户,诸如窗户232。集线器设备212被启用以标识检测到的声音,诸如玻璃破碎的声音,以指示窗户232已经被破坏,并且执行一个或多个动作以警告用户所标识的声音或问题。
在一些示例中,房间208包括用于捕获视频或音频数据的一个或多个相机230。例如,相机可以被用来捕获用户步行或移动的视频以用于用户的标识,或者可以被用来响应于被标识为与记录动作相关联的问题的检测到的声音而捕获视频或音频以捕获潜在入侵或其他问题的证据。集线器设备可以执行对用户步行的视频数据或用户脚步的音频数据的分析,例如,以确定用户的步态,并且存储所标识的用户步态数据以用于稍后基于用户的步态进行用户标识。
在其他示例中,步态识别被用来跟踪监测区域周围的用户。当用户在房间之间行走时,他们的步态被评估以标识用户。步态包括用户的步长、脚步、用户头部在其行走时的移动、手臂在其行走时的移动等。步态识别能够与非常低质量的相机一起工作,并且即使用户没有面对相机也能够识别用户。在一些示例中,步态识别被用来标识用户。
在该示例中,集线器设备212利用一个或多个存在传感器234。存在传感器是用于检测房间208或监测区域200的其他部分内的用户的存在的传感器。在该示例中,一个或多个存在传感器234位于集线器设备212外部。在其他示例中,一个或多个存在传感器被集成在集线器设备内或被物理地连接到集线器设备。
在该示例中,监测区域200的外部236部分包括一个或多个二级结构,诸如车库238和分离结构240。分离结构240可以包括但不限于分离的车间、办公室、温室、游泳池房子、花园棚、仓库、工具棚、风暴掩体、谷仓或任何其他结构。
在该非限制性示例中,外部236还包括一组灯242。该组灯242包括被耦合到一个或多个集线器设备的一组一个或多个无线外部灯。响应于在监测区域200的外部236部分中检测到用户的声音或存在,集线器设备打开该组灯242。
外部可以包括附加的其他特征。例如而非限制,监测区域200的外部236可以包括门廊244、车道246、步行路径、围栏、门、喷泉、池塘、凉亭或其他未封闭或部分封闭的特征。
外部236可以由位于结构202内的一个或多个集线器设备或者位于结构外部的一个或多个集线器设备(诸如集线器设备248)监测。在该非限制性示例中,位于结构内或结构202外部的集线器设备经由LAN彼此通信。当一个集线器设备检测到声音时,集线器设备发送信号以经由LAN 250唤醒或激活一个或多个其他集线器设备。用于唤醒一个或多个其他集线器设备的信号是用于其他集线器设备从睡眠模式或半睡眠模式切换到主动模式的信号。
当分析检测到的声音时,集线器设备可以确定声音是否可以被标识以及声音是否是预期的。标识声音可以部分地由分析引擎(诸如图1中的分析引擎120)使用本地或远程数据源来尝试通过匹配、模式识别或任何合适的识别方案来标识声音来执行。确定声音是否是预期的可以部分地由分析引擎使用用户简档数据、监测区域简档数据或机器学习数据的任何组合来执行。例如,最初,集线器设备可以通过指示用于监测区域的一个或多个预期声音的简档设置或者与用于监测区域的时间段或日期范围相关联的一个或多个预期声音来确定声音是预期的。作为示例,监测区域简档数据可以指示家畜栖息在监测区域中并且与家畜相关联的标识的声音是预期的。作为另一示例,用户简档数据可以指示监测区域是周末住宅或度假屋,并且在给定时间与居住空间相关联的声音是预期的,但在其他时间是非预期的。例如,随着时间的推移,当集线器设备的机器学习组件收集诸如遥测数据等数据时,分析引擎可以使用机器学习数据来基于用户习惯、与监测区域相关联的学习到的模式或者任何其他学习到的数据来确定声音是否是预期的。附加地,分析引擎可以访问或获取将被视为非预期的标识声音的列表,而不管任何其他因素,例如,诸如玻璃破碎声音。
在确定声音是非预期声音时,一个或多个集线器设备执行非预期的声音动作。例如,如果集线器设备248检测声音并且将声音标识为在一组窗户中的窗户附近发生的玻璃破碎的声音,则集线器设备248执行警报触发动作。警报触发动作激活一组警报器254中的警报器以警告用户窗户破碎。在其他示例中,非预期的声音动作可以是通过经由一个或多个集线器设备的声音放大或通过诸如当确定用户不在监测区域中时被发送到用户的移动设备的通知之类的通知来警告用户。在其他示例中,警告可以包括触觉警告(诸如经由移动设备或可穿戴设备的振动)或者除了听觉警告之外的视觉警告。
该组警报器254是与监测区域200相关联的一组一个或多个警报器。在一些示例中,该组警报器包括一个或多个烟雾警报器、一氧化碳检测器、氡气检测器、防盗警报器、医疗警告警报或任何其他类型的警报器。
在其他示例中,监测区域200包括被通信地耦合到设备和传感器的一组集线器设备,诸如但不限于阵列麦克风、一组扬声器、一组光传感器、用于温度检测的温度计、存在传感器、IR发射器、设备控件或电池。阵列麦克风可以可选地被用来检测声音,并且在必要时,它选取的音频将被编码成数字格式。数字音频可以被流式传输到正确的连接。
在一个非限制性示例中,集线器设备212被放置在房间208中,其中存在传感器234能够扫描房间的全部或大部分。集线器设备212可以自己运行以仅监测一个房间,或者多个集线器设备每个可以被放置在多个不同的房间中以监测那些房间,以及一起工作以监测整个住宅。
在另一示例中,在初始化时,集线器设备210使用AllJoyn来查找网络上的该组集线器设备中的其他集线器设备。如果另一集线器设备被找到,则集线器设备210在本地复制配置并且存储关于其他集线器设备的信息。如果没有其他集线器设备被找到,则集线器设备210开始设置。在安装期间,用户可以在将接收关于监测区域的状态的通知的用户设备(诸如移动计算设备或可穿戴设备)上安装集线器应用。在该示例中,集线器设备210使用来自内置扬声器220的命令来引导用户完成配置。
集线器设备212可以请求步行或以其他方式在房间周围物理移动以配置存在传感器或验证存在传感器能够看到整个房间或房间的阈值部分。在该非限制性示例中,存在传感器被专有地使用。在另一示例中,当一个或多个设备中的每个检测到用户的存在时,集线器设备可以请求用户通过所有可用的出口/入口从一个房间步行到另一房间以生成地图数据。地图数据由地图组件利用以生成结构202的布局的地图或监测区域的外部部分的地图。该地图可以被用来预测用户的移动或在结构202周围跟踪用户。当用户走进房间时,存在传感器234被触发。当用户走出第一房间并且进入第二房间时,第二房间中的集线器设备的存在传感器被触发,以指示用户在第二房间中的存在。同时,第一房间中的存在传感器检测到用户没有在第一房间中。
在另一示例中,集线器设备210利用AllJoyn与集线器设备212通信。集线器设备之一充当集线器控制器的角色。如果集线器控制器出现故障或变得无法正常运行,则集线器控制器角色将经由故障转移机制移动到另一集线器设备。例如,下一集线器控制器可以经由选举机制、最常用的集线器设备的选择、或者经由由用户或管理员指定的预先选择的集线器设备作为下一集线器控制器来选择。该集线器控制器从多个传感器或多个集线器设备中的一个或多个其他集线器设备收集传感器数据。集线器控制器基于该数据确定结构202的布局的模式以生成监测区域的地图。地图与其他集线器设备共享。
在一些示例中,当用户走进未占用房间时,用户的存在由存在传感器234检测。存在传感器234检查系统是否“被锁定”。当监测区域未被占用时,或者当用户活动很少或没有时,诸如在夜间,系统被锁定。在一些示例中,当住宅未被占用时,系统锁定诸如防盗警报所设置的方式。在该非限制性示例中,如果系统未被锁定,则光传感器获取读数。如果未达到亮度阈值,则该组集线器设备打开一个或多个灯。在一些示例中,灯可以经由BLUETOOTH灯开关来打开。在其他示例中,集线器设备被内置于灯开关或灯具中。
在一些示例中,被包含在灯开关壳体内的集线器设备可以被装入替换当前灯开关的灯开关中。取决于结构内的布线,灯开关壳体被提供以向设备供电并且控制灯。在其他示例中,集线器设备可以被包含在天花板灯具内。用集线器设备代替天花板灯具允许集线器设备获取电力并且控制来自单个设备的光。天花板位置可以为整个房间提供更好的可视性以检测用户的存在。天花板位置还可以提供被包括在集线器设备内的烟雾检测器传感器。对于没有长期被占用的区域,诸如走廊,更小的便宜的智能房间设备可能是可用的,而不太重视音频,并且更重视控制灯。
在其他示例中,温度计获取立即读数。如果需要,基于由集线器设备检测到的用户存在,通过打开空调(AC),或者如果房间需要预热则打开中央供暖,系统开始任何加热/冷却活动。在一些示例中,恒温器由从一个或多个集线器设备可控制的简单Bluetooth/无线开关代替。在其他示例中,移动伴随应用利用从用户设备的位置检测到的监测区域外部的用户的位置来确定何时从监测极端温度变为主动地为一个或多个用户保持舒适温度。
在其他示例中,集线器设备确保在住宅或其他结构被占用时热水是可用的。以这种方式,当用户不在住宅时,集线器设备节省能量并且防止浪费的能量加热水。在一些示例中,该组集线器设备以规则的间隔获取温度读数。当温度达到极值并且存在风险(例如,管道有冻结/爆裂的危险)时,用户被通知。
在一个示例中,当房间被占用时,该房间中的集线器设备以规则的间隔监测温度以将温度保持在舒适的温度范围内。集线器设备基于其他所占用的房间的温度调节一个或多个房间的恒温器。如果语音控制被配置,则集线器设备监听口头命令。在其他示例中,如果集线器应用被配置在该房间中的用户设备上,则来自用户设备的命令默认控制房间温度、照明和其他设备。
在一些示例中,当用户走出房间以使其未被占用时,该房间中没有用户存在的事实被检测到,并且集线器设备可以相应地采取行动。例如,如果灯亮着,则关闭灯。该未占用的房间中的集线器设备通过AllJoyn向其他集线器设备通知其状态。通过扬声器或附接的音频装备播放的任何媒体可以继续播放,直到用户进入具有另一集线器设备的房间,在这里,在检测到用户存在时,媒体将切换到新占用的房间。在未占用的房间中播放的任何媒体都会停止,并且被用来播放它的任何音频装备都将被关闭。在一些示例中,从集线器设备到现有音频装备的线路输出将与IR发射器组合以控制音频装备(开、关、切换到线路输入、音量增大、音量减小)。在其他示例中,用户可以升级到兼容音频,诸如支持AllJoyn的设备,而不利用IR来控制设备。
在其他示例中,在房间中的非占用的设定的分钟时段之后,温度检查和监测被降低以将温度水平保持在较大的温度范围内以减少能量使用同时避免极端温度。未占用的房间中的集线器设备功率降低至睡眠状态。当用户存在或超过声级阈值的其他响亮声音被检测到时,集线器设备从睡眠状态唤醒到主动状态。如果其他项目仍然在运行,则用户可以将其他项目配置为关闭,例如,通过IR发射器使用IR射线在未占用房间中关闭TV。
集线器系统可以被配置,使得当没有活动被检测到并且运行集线器应用的用户设备位于监测区域外部时,向用户通知系统被“锁定”。在一些示例中,用户明确地将系统从用户设备锁定。在一些示例中,“半锁定”模式可能存在,诸如在晚上,其中在一定时间之后,并且在特定“区域”(例如,楼下)中没有检测到活动的情况下,位于该区域中的集线器设备进入“半锁定”模式。在其他示例中,半锁定模式由用户经由用户设备或其他集线器设备明确地激活或选择。在系统被锁定或半锁定的区域中的集线器设备继续监测睡眠模式中的存在和响亮的噪声。睡眠模式可以是较低功率状态。当用户的声音或存在被检测到时,集线器设备切换到主动模式。
在一些示例中,在主动模式期间,集线器设备监听语音命令,监听声音,定期检查温度和照明以及其他功能。当房间被占用时,主动模式被利用。在半睡眠或半锁定模式期间,当响亮的声音发生或用户的存在被检测到时,集线器设备唤醒。当与集线器设备相关联的房间未被占用但监测区域被一个或多个用户占用时,半睡眠模式被利用。在睡眠模式下,集线器设备监测超过睡眠模式阈值声级的声音。当监测区域未被占用并且系统被锁定时,睡眠模式被利用。在睡眠模式期间,集线器设备执行偶尔的温度检测和存在检测。在去激活模式期间,集线器设备被关闭。
图3是示出集线器设备的示例性框图。在该示例中,集线器设备300是一组集线器设备中的集线器设备。在一些示例中,集线器设备是集线器控制器。
集线器设备300在睡眠模式302或主动模式304下操作。睡眠模式302是非主动或待机模式。在一些示例中,当监测区域未被占用,与集线器设备相关联的房间未被占用时,在用户睡眠或非主动的时段期间,或者在没有检测到在集线器设备附近的用户的存在的情况下的阈值时间之后,集线器设备切换到睡眠模式302。
在检测到用户的存在时,在从另一集线器设备接收到唤醒信号时,或者在检测到周围环境的变化(诸如声音或移动)时,集线器设备300可以切换到主动模式304。作为示例,集线器设备300检测声音并且声音分析引擎306将检测到的声音记录在存储器330或其他数据存储设备中以创建记录的声音310。声音分析引擎306将检测到的声音发生的日期和时间312记录在日志314内。
在一个示例中,集线器设备300利用日志数据进行后续分析。在另一非限制性示例中,日志数据被提供给用户,以便用户查看检测到的声音和声音被检测到的时间。在又一示例中,集线器设备利用日志数据作为用于机器学习用户对给定检测时间的检测到的声音的响应的数据。
声音分析引擎306确定检测到的声音308是否超过阈值316。阈值可以是默认阈值或用户定义的阈值声级。阈值可以包括被应用于当集线器设备处于睡眠模式时由集线器设备检测到的声音的睡眠模式阈值318声级。阈值还可以包括或者是在集线器设备的主动模式期间声音被检测到时所用的主动模式阈值320声级。
如果声音在睡眠模式期间被检测到,则声音分析引擎306将声音与睡眠模式阈值318进行比较。如果声音在主动模式期间被检测到,则声音与主动模式阈值320进行比较。在该示例中,睡眠模式阈值318是比主动模式阈值320低的阈值。
如果声音低于阈值316,则声音分析引擎306忽略声音。如果声音等于或超过阈值并且声音源自监测区域内,则声音分析引擎分析声音以标识声音。如果声音源自监测区域外部,则声音分析引擎306忽略声音并且不采取进一步动作。在一些示例中,声音分析引擎返回睡眠模式。
在一些示例中,集线器设备包括主循环,主循环以指定的间隔(诸如当房间被占用时每五分钟以及当房间未占用时每三十分钟)从诸如麦克风和存在传感器等传感器读入。在该循环期间,一个或多个麦克风(诸如内置阵列麦克风)被用来监测当前声级。集线器设备使用平均级别作为背景声级。集线器设备建立激活阈值,例如高于背景声级约20-30db。当检测到响亮的噪声并且阈值通过时,集线器设备被激活。在激活时,集线器设备继续将声音记录到缓冲器,直到缓冲器已满。在一个示例中,缓冲器是三秒缓冲器。集线器设备还将声音检测的确切时间记录在日志314中。
如果可能的话,集线器设备分析声音以标识声音,并且确定是否将针对检测到的声音生成警报或通知。在一个非限制性示例中,集线器设备从缓冲器读取记录以进行处理。集线器设备确定哪个集线器设备首先检测到声音。例如,确定哪个集线器设备首先检测到声音可以由集线器系统用于不仅确定声音相对于监测区域的起源,还可以被用来确定一组集线器设备中的哪个集线器设备要被用于通知检测到的声音。声音的起源可以包括声音最初发生的时间或监测区域中声音发生的位置。集线器设备可选地确定声音是否仍在发生。如果声音是重复或循环的声音,则这可能指示声音是警报。
当声音分析指示循环声音(诸如警报)时,集线器设备分析声音以确定警报的特性,诸如但不限于频率、脉冲之间的间隙、脉冲期间的间隙、声音的重复长度等。这些特性与预先标识的声音的数据库中的已知警报声音相匹配以确定警报的类型。如果声音被标识为警报,则集线器设备可以保持主动模式,直到警报由授权用户取消。在警报被取消时,集线器设备可选地返回到睡眠模式。
如果声音不是循环或重复的声音,则集线器设备可以将声音与已知声音(诸如窗户破碎模式、门打开、窗户打开、物体落下、脚步等)进行比较。如果声音是未标识的声音322,则集线器设备300将未标识的声音322的通知发送给至少一个用户。未标识的声音是具有未知原因的声音或未确定类型的声音。在该示例中,通知可选地包括记录的声音、声音发生的时间312、以及如果起源已知的声音的起源。
如果声音分析引擎能够标识声音并且声音是预期的326,则声音分析引擎忽略声音并且不采取进一步动作。预期的声音是典型的、常规的或预期的声音。在一些示例中,预期的声音包括吠叫狗,其中狗已知驻留在监测区域内或附近,在用户通常从工作返回家中时打开门、在每天早上同一时间关闭闹钟的声音、茶壶鸣叫、微波炉嘟嘟声、或任何其他预期或常规的声音。当设备监测该区域并且检测与该区域或用户相关联的模式时,集线器设备可以经由机器学习过程随着时间动态地生成预期声音的数据库。
如果声音分析引擎确定声音是非预期328的标识的声音324,则声音分析引擎执行动作以向用户通知所标识和非预期的声音。非预期的声音可以包括窗户或玻璃门破碎的声音、当结构内部没有用户时窗户打开等。
如果集线器设备300确定检测到的声音的通知要被发送给用户,则集线器设备可以向用户设备发送非预期声音的通知或者放大声音并且在位于监测区域内的一个或多个扬声器上播放放大的声音或者两者兼而有之。如果集线器设备确定在监测区域内没有用户并且集线器设备处于锁定状态(其可以是安全激活状态,其中如果检测到非预期声音则触发警报),集线器设备激活警报,诸如安全警报、火灾警报或其他相关联的安全警报。在一些示例中,除了发送通知或播放放大的声音之外,警报还被触发。
图4是示出具有至少一个内部部分和至少一个外部部分的监测区域的示例性框图。在一些示例中,监测区域400包括一个或多个结构的一个或多个内部部分402以及一个或多个结构的一个或多个外部部分404。在该非限制性示例中,一个或多个集线器设备406监测结构的一个或多个内部部分402。一个或多个集线器设备408监测结构的一个或多个外部部分404。
图5是示出监测结构的内部部分和外部部分的集线器设备的示例性框图。在该示例中,单个集线器设备500监测结构502的外部部分和结构的内部部分504。
图6是示出对照一组预先标识的声音来分析声音的集线器设备的示例性框图。集线器设备600检测声音602。集线器设备600将检测到的声音602与被存储在本地数据库606中的一个或多个预先标识的声音604进行比较。本地数据库606是位于集线器设备本地的数据库。本地数据库可以被存储在集线器设备的存储器或数据存储装置中,或者被存储在连接到集线器设备600或者以其他方式可由集线器设备600访问的本地存储器存储设备中。
如果声音602匹配或对应于预先标识的声音,则集线器设备600确定声音是否是预期声音。如果声音是非预期的,则集线器设备600向用户通知所标识的声音的发生。
如果本地数据库606不包含匹配,则集线器设备600经由网络连接614连接到云存储装置。云存储装置606可选地包括一个或多个服务器608或一个或多个数据存储设备610。一个或多个云存储设备存储一组预先标识的声音612。集线器设备600将声音602与被存储在云上的预先标识的声音进行比较。如果找到匹配并且标识出声音,则集线器设备通知用户声音是否是非预期的。
在一些示例中,如果集线器设备未能基于被存储在云上的预先标识的声音来标识声音,则集线器设备经由网络连接614连接到因特网。集线器设备600利用因特网连接来获取被存储在从一个或多个因特网源可获取的一个或多个远程数据库618上的预先标识的声音616。在一些示例中,集线器设备600利用网络浏览器620来连接到一个或多个远程数据库618。
集线器设备600将声音602与经由因特网连接获取的预先标识的声音进行比较。如果声音仍然未被标识,则集线器设备600向一个或多个用户发送未标识声音的通知。
现在转到图7,示出预先标识的声音的数据库的示例性框图被示出。数据库700是用于存储预先标识的声音702的数据存储设备。预先标识的声音702可以包括任何类型的已知声音,诸如警报704、破碎声音706或宠物声音708。警报器可以包括烟雾警报器、火灾警报器、防盗警报器、汽车防盗器、一氧化碳警报器、开窗警报器、龙卷风警告警报器或任何其他类型的警报声。预先标识的破碎声音可以包括但不限于破碎玻璃、破碎窗户或任何其他类型的破碎声音。宠物声音708可以包括但不限于狗吠、猫喵喵叫、鸟啁啾、门口的狗抓挠或任何其他宠物声音。
在一些示例中,数据库700包括要由集线器设备执行的一组动作710。该组动作710可以包括但不限于未标识的声音动作712、标识的声音动作714或警报触发动作716。在一些示例中,未标识的声音动作712包括向用户发送通知。标识的声音动作可以包括放大声音并且在一个或多个扬声器上播放放大的声音。在其他示例中,标识的声音动作包括经由网络向用户设备发送通知。警报触发动作716可以包括在与监测区域相关联的一个或多个扬声器上播放警报或向用户设备发送通知。
集线器设备可以使用诸如阵列麦克风等麦克风来标识监测区域内的响亮连续声音。集线器设备可以向一个或多个相关联的集线器应用通知现有的未连接的防盗警报器正在发声。可选地,小型BLUETOOTH或无线开关附件可以被安装在一个或多个现有防盗警报设备上,以在集线器设备检测到在监测区域内的可能不想要的或未经授权的人的存在时触发警报。
图8是示出执行用户通知动作的集线器设备的示例性框图。集线器设备800记录声音并且分析记录的声音以确定它是标识的声音802还是未标识的声音804。集线器设备800可以放大声音并且在一组扬声器806上输出放大的声音808,向用户设备816发送检测到的声音的通知810,或者两者。在该示例中,通知可以包括记录的声音812和声音的标识814。通知810向用户818通知声音的发生。用户可以远离与集线器设备800相关联的监测区域或者在与集线器设备800相关联的监测区域内。
图9是示出由集线器控制器检测声音的示例性框图。麦克风900检测口头声音902或非口头声音904。口头声音可以指与人类口部相关的任何声音,包括口头和非口头声音。例如,口头声音可以指对应于口头人类语言的声音,诸如单词或短语或某种其他形式的语音。非口头声音可以指从人嘴发出或以其他方式与人嘴相关的但不对应于口语的声音,包括但不限于副语言。非口头声音可以是除了从人嘴发出或与人嘴相关的声音之外的任何声音。集线器控制器906从麦克风接收声音。麦克风可以被集成到集线器控制器中或物理地连接到集线器控制器。在这些示例中,集线器控制器906直接从麦克风900接收声音。
备选地,麦克风可以是与集线器控制器分开的设备。在这些示例中,集线器控制器经由LAN 910连接到麦克风。集线器控制器906记录声音并且向诸如集线器设备908等一个或多个其他集线器设备发送唤醒信号。集线器控制器908向一个或多个其他集线器设备(包括集线器设备908)发送声音。
集线器设备908从集线器控制器906接收记录的声音。集线器设备908放大声音并且在一个或多个扬声器(诸如扬声器912)上播放放大的声音914。放大的声音914在整个监测区域内是可听见的,以通知在声音的监测区域内的用户。
在一个示例中,窗户破碎的声音由未被占用的第一房间中的第一集线器设备检测到。第一集线器设备将窗户破碎声音的记录副本发送到与由用户占用的第二房间相关联的第二集线器设备908。第二集线器设备在第二房间中播放破碎窗户的放大的声音以向用户通知窗户破碎。第二房间的用户不能够听到初始的窗户破碎声音。第二集线器设备在第二房间中重放该声音使用户能够听到该声音并且知道破碎的窗户。在其他示例中,记录的声音副本可以经由通知被发送到移动设备或移动应用,以便警告不在监测区域中的用户。附加地,标识的声音可以被用来进一步标识可以用于解决声音的一个或多个资源,诸如可以解决问题的紧急人员或本地企业,例如,诸如用于标识的破碎玻璃的声音的窗户公司。
在另一非限制性示例中,如果位于未由用户占用的车库中的第一集线器设备检测到汽车警报器的声音,则第一集线器设备将记录的声音发送到位于用户住宅内部的第二集线器设备。第二集线器设备在由用户占用的房间中重放汽车警报器的声音,以向用户通知停放在车库中的汽车的潜在问题。
图10是示出用户交通数据的示例性框图。用户交通数据1000是与监测区域内的用户移动相关联的数据。用户交通数据1000由位于监测区域内的一组集线器设备收集并且被存储在存储器中,诸如图1中的存储器118。在该示例中,用户交通数据1000包括一组频繁使用的交通模式。用户交通模式是通过由用户使用的监测区域的路线或路径。在一个示例中,路径可以包括步行从车库到门进入房屋、通过走廊并且进入厨房。
在该示例中,该组频繁使用的交通模式包括两个用户交通模式:交通模式1004和交通模式1006。然而,在其他示例中,该组频繁使用的交通模式包括三个或更多个不同的交通模式。用户交通数据1000可以包括标识一个或多个用户的当前位置的当前位置数据1008。用户的当前位置可以基于来自相机的数据、来自存在传感器的存在数据、来自麦克风的语音数据或从一个或多个传感器接收的其他标识数据来确定。用户的当前位置也可以由集线器设备的机器学习组件基于监测区域的地图、用户交通模式、用户日常以及与用户相关联的其他信息(诸如用户时间表或日历数据)来预测。
用户日常数据1010是与用户的时间表、正常日常和典型动作相关联的数据。例如,集线器设备可以经由机器学习组件获知用户可以总是在大约上午7:30出发去工作并且在大约下午5:30下班回家。用户通常可以在大约下午7点在监测区域的餐厅吃晚餐并且在下午10点在主要生活区域观看新闻。机器学习组件利用该信息来确定用户最有可能在下午7:15位于餐厅,即使餐厅没有相机、存在传感器、麦克风或其他传感器设备。
图11是示出由一组集线器设备生成的地图的示例性框图。地图1100是由一组集线器设备中的一个或多个集线器设备生成的地图。地图包括监测区域的一个或多个部分的表示。
地图1100包括一组房间作为说明性示例。然而,例如,监测区域可以被细分为除了房间之外的部分,诸如在一组设备中的集线器设备的范围内的部分。在地图1100中所描绘的该组房间包括房间1102、大厅1104、房间1106、房间1110、房间1112和房间1114。地图包括来自一个或多个结构的一个或多个出口的表示,诸如出口1116、出口1118和出口1120。地图1100示出了通道1120、通道1122和通道1124。
地图1100示出了二层结构的第一层的示例性表示。地图包括通往二楼的楼梯1108。地图1100还包括外部特征和二级结构的表示,诸如露台1124、分离的车库1122和分离的仓库1126。
在示例性场景中,一组集线器设备通过检测和识别警报声或者由直接通过Bluetooth或Wi-Fi与用于监测区域的一个或多个集线器设备通信的连接的烟雾警报器来检测烟雾警报器何时被触发。利用在集线器设备上实现或被通信地耦合到一个或多个集线器设备的温度计,如果检测到烟雾并且房间之一示出50摄氏度或更高的温度,则集线器控制器确定火灾被认为将要靠近并且变得热到危险的程度。
集线器控制器可以通过比较多个房间中的温度来估计可能的火灾中心。更热的房间被确定为更接近火灾。这表明哪个房间是火灾的中心。其他集线器设备会被通知热量,特别是当着火的房间中的特定集线器设备可能将因火灾和烟雾损坏而变得不可操作时。如果热量在特定节点、房间或区域处被检测到,则该节点、房间或区域从通过该结构的潜在安全路线被动态地移除。新的安全模式被实时计算,这避免了移除的区域,以确定在当前情况下最安全的路径。
集线器设备确定安全路线是否应该被生成。该确定可以基于用户存在是否在监测区域中被检测到,或者基于例如机器学习来预测。集线器设备还可以基于监测环境的至少一部分的环境中的变化来确定是否要生成安全路线。例如,如果烟雾警报声音和温度变化指示监测区域的一部分发生火灾,则集线器设备确定监测区域中的一个或多个用户的安全路线应该被生成。
集线器设备还可以基于来自用户的请求为用户生成安全路线。用户请求可以从监测区域内的用户以及监测区域外部的用户来接收。例如,监测区域内部的用户可以请求离开监测区域的安全路线。在另一示例中,监测区域外部的紧急响应者可以请求通过监测区域到监测区域内部的用户位置的安全路线以帮助该用户。例如,这可能发生在老年人、儿童、不动的人、失去知觉的人、残疾人或在没有帮助的情况下不能够离开监测区域的其他单个用户的情况下。
一个或多个集线器设备可以基于诸如疏散事件等事件生成安全路线。在建议的监测区域的疏散的示例中,集线器设备生成从用户的当前位置到不同位置的安全路线。不同位置可以是比用户的当前位置潜在更安全的位置。在一些示例中,安全路线作为视觉或图形地图被输出给用户,其可以由用户设备显示。例如,安全路线可以包括从房间1102沿着通道1122进入大厅1104通过通道1120到房间1108并且通过出口1116离开结构的路径。这种安全路线使得大型建筑物中的用户能够找到离开结构的最快和最安全的路线,诸如在火灾时。在其他示例中,安全路线通向监测区域内部的结构内的安全房间或安全位置,诸如龙卷风或飓风,其中最安全的是移动到地下室、地窖或楼梯间而不是离开该结构。在又一示例中,安全路线从监测区域外部通向监测区域内部的房间或其他区域。
在一些示例中,安全路线被发送到用户的电话,或者可听路线方向通过设备扬声器被提供。在其他示例中,地图通过连接的监测警报系统被发送给紧急救援人员。在诸如宿舍、工厂、办公楼或其他商业环境等大型建筑物或建筑群中,该组集线器设备提供用于使用集线器设备或用户设备在紧急情况下引导员工离开的安全路线。
因此,在一些示例中,安全路线可以通过由集线器控制器沿着安全路线自动打开任何连接的灯来传送给一个或多个用户。在另一示例中,集线器控制器可以经由运行集线器应用的一个或多个集线器设备或用户设备发送听觉或口头指令或指示。指令可以向用户口头告知要避免的区域和检测到火灾的节点。集线器设备还可以可选地口头宣告安全路径和出口。
在商业环境中,集线器系统可以提供通向紧急出口的视觉指示器或方向,诸如通过操纵或以其他方式控制网络灯,或者经由可以可选地被包括在集线器设备中的发光二极管(LED)灯。例如,灯可以由一个或多个集线器设备操纵,以引导人们远离被阻挡的出口或者引导人们到达监测区域的出口的最快路线。
在检测到火灾的情况下,集线器设备可以自动地联系紧急服务并且为仍位于建筑物内的任何用户提供地图和位置数据。该信息允许紧急救援人员更好地准备并且了解紧急情况。
地图1100还可以由该组集线器设备用来同时跟踪监测区域中的多个人。该组集线器设备在配置期间创建地图,并且在地图被使用并且一个或多个人正由设备检测时实时动态地修改和构建地图。
图12是示出集线器设备监测监测区域的一部分的操作的示例性流程图。图12所示的过程可以由计算设备实现,诸如但不限于图1中的集线器设备102或集线器控制器104。
在操作1202处,该过程监测监测区域的一部分。该过程在操作1204处确定声音是否被检测到。如果否,则该过程返回到操作1202。当声音在操作1204处被检测到时,该过程在操作1206处确定声音是否低于阈值。如果否,则该过程在操作1208处确定声音是否可标识。如果声音是可标识的,则该过程在操作1210处确定标识的声音是否是预期的声音。如果声音不是预期的声音,则该过程在操作1212处确定用户是否存在于监测区域内。如果是,则该过程在操作1214处放大声音。在操作1216处,放大的声音被播放。此后该过程终止。
备选地,如果声音不是预期的声音,并且该过程在操作1212处确定用户存在于监测区域内,但声音未继续或重复,则通知可以被发送以代替放大过程。在其他示例中,在声音未被标识并且用户存在于监测区域内的情况下,该过程可以经由集线器设备重放声音以用于由用户标识声音。
返回操作1212,如果用户不存在监测区域内,则该过程在操作1218处向用户设备发送未标识的声音的通知。此后该过程终止。
返回操作1206,如果在操作1206处声音低于阈值声级,则该过程在操作1220处忽略声音,并且返回操作1202。
在图12的示例中,该过程确定用户是否存在于监测区域内。在其他示例中,该过程检查集线器控制器是否处于锁定状态。锁定状态指示用户不存在或不可用。
在其他示例中,该过程检查一个或多个其他集线器设备以确定用户是否存在于监测区域内的某处。换言之,该组集线器设备彼此通信以标识在监测区域的任何部分中用户存在被检测到或未被检测到。
在图12所示的该示例中,如果用户不在,则发送通知。然而,在其他示例中,该过程确定通知是否应该被发送。该过程确定通知是否应该向一个或多个用户设备发送。该确定基于一个或多个因素来进行,诸如一天中的时间、声音的类型、用户偏好、系统设置或其他因素。在其他示例中,集线器控制器确定是否随时间基于机器学习发送通知以用于标识用户不希望接收通知的声音。在一些示例中,该机器学习基于先前实例的记录,其中相同或类似的声音被检测到并且被标识为非预期的,通知被发送,并且用户忽略该通知或指示用户不想接收此种类型的声音的通知。下一次集线器设备的机器学习组件检测到该声音时,即使是非预期的,它也不会生成通知,因为它已经知道用户对发生的特定声音不感兴趣。
尽管图12所示的操作被描述为由集线器设备执行,但是本公开的各方面考虑了由其他实体对操作的执行。例如,云服务可以与集线器设备相关联地执行一个或多个操作。
图13是示出集线器设备标识声音的操作的示例性流程图。图13所示的过程可以由计算设备实现,诸如但不限于图1中的集线器设备102或集线器控制器104。
在操作1302处,该过程将声音与一组预先标识的声音进行比较。在1304处,该过程确定声音是否被标识。如果声音未被标识,则在操作1306处未标识声音的通知被发送给用户。例如,这可以为用户提供机会以经由被包括在所发送的通知中的由集线器设备提供的未标识的声音的捕获记录来标识声音,使得集线器设备响应于通知而接收声音的标识并且存储该标识以供将来比较。
返回到操作1304,如果声音被标识,则该过程在操作1308处确定声音是否是预期的。如果声音是预期的声音,则此后该过程终止。
返回到操作1308,如果声音不是预期的声音,则该过程在操作1310处向用户发送通知,其中此后该过程终止。在一些示例中,通知可以是经由网络被发送到用户设备或与远离集线器设备和监测区域的用户相关联的其他设备的通知。在其他示例中,通知可以是当在监测区域中用户存在被检测到时,经由与监测区域相关联的一个或多个其他集线器设备或一个或多个扬声器的声音的放大。在其他示例中,除了与监测区域相关联的用户之外,通知还可以被发送给另一指定用户,诸如指定的紧急联系人或紧急救援人员。
尽管图13所示的操作被描述为由集线器设备执行,但是本公开的各方面考虑了由其他实体对操作的执行。例如,云服务可以与集线器设备相关联地执行一个或多个操作。
图14是示出在休眠模式下检测声音的集线器设备的操作的示例性流程图。图14所示的过程可以由计算设备实现,诸如但不限于图1中的集线器设备102或集线器控制器104。
在操作1402处,该过程检测非口头声音。非口头声音的示例可以包括动物声音,诸如吠叫狗、两个物体聚集在一起的声音、钟声、铃声、警告以及由事物或物体产生或由事物或物体间接引起的其他可听声音。该过程在操作1404处确定集线器设备是否处于睡眠模式。如果是,则过程在操作1406处切换到主动模式。该过程在操作1408处确定非口头声音是否超过阈值。如果否,则该过程在操作1410处忽略声音并且在操作1412处返回到睡眠模式。此后该过程终止。
现在返回操作1408,如果非口头声音超过阈值,则该过程在操作1414处记录声音。该过程在操作1416处向至少一个用户设备发送通知。在一些示例中,用户设备可以是另一集线器设备。在其他示例中,用户设备可以是能够从源自集线器设备接收通知的可穿戴设备或移动电话。
尽管图14所示的操作被描述为由集线器设备执行,但是本公开的各方面考虑了由其他实体对操作的执行。例如,云服务可以与集线器设备相关联地执行一个或多个操作。
图15是示出集线器设备基于一组预先标识的声音标识声音的操作的示例性流程图。图15所示的过程可以由计算设备实现,诸如但不限于图1中的集线器设备102或集线器控制器104。
在操作1502处,该过程将声音与本地数据库中的预先标识的声音进行比较。该过程在操作1504处确定声音是否被标识。如果声音被标识,则该过程在操作1516处输出声音标识分析的结果。此后该过程终止。
如果在操作1504声音未被标识,则该过程在操作1506处连接到云存储装置。在操作1508处,声音与云存储装置上的预先标识的声音进行比较。如果在操作1510处声音被标识,该过程在操作1516处输出声音标识分析的结果。此后该过程终止。
如果在操作1510处声音未被标识,则该过程在操作1512处连接到因特网。该过程在操作1514处经由因特网连接将声音与一个或多个远程数据库上的预先标识的声音进行比较。该过程在操作1516处输出声音标识分析的结果。此后该过程终止。
在图15所示的示例中,该过程输出声音标识分析的结果。在该非限制性示例中,输出的结果包括声音是否被标识或声音是否仍然未被标识的指示。
例如,如果声音被标识,则该过程可以将声音标识结果输出到集线器设备的声音分析引擎,以确定由于声音标识或未能通过声音标识分析来标识声音而执行的动作。
在另一示例中,输出声音标识分析的结果包括:当声音标识指示安全(safety)或安全(security)问题(诸如玻璃破碎声音、门破碎声音、警报或被标识为指示需要采取进一步行动的潜在问题的其他声音)时,向集线器设备发送所标识的声音的通知。
在又一非限制性示例中,输出声音标识分析的结果包括根据由集线器设备分析引擎和动作数据库确定的动作向一个或多个集线器设备或用户设备发送标识的声音结果或未标识的声音结果。
在另一非限制性示例中,如果声音未被标识,则该过程向一个或多个集线器设备或向用户设备输出未标识的声音的出现。
在另一示例中,如果声音未被标识,则输出声音标识分析的结果可以包括向用户发送声音的记录以供用户标识。
尽管图15所示的操作被描述为由集线器设备执行,但是本公开的各方面考虑了由其他实体对操作的执行。例如,云服务可以与集线器设备相关联地执行一个或多个操作。
图16是示出检测门铃声的集线器设备的操作的示例性流程图。图16所示的过程可以由计算设备实现,诸如但不限于图1中的集线器设备102或集线器控制器104。
该过程在操作1602处检测声音。例如,声音可以由与监测区域相关联的集线器设备检测。在操作1604处,声音被标识为门铃。在操作1606处,通知被发送给至少一个用户设备。在一些示例中,用户设备可以是与监测区域相关联的另一集线器设备。在其他示例中,用户设备可以是移动设备或与用户相关联的其他个人设备。该过程在操作1508处确定是否放大声音。如果是,则该过程在操作1610处放大声音。在操作1612处,放大的声音经由一组扬声器来播放。在操作1615处,声音发生的日期和时间被记录。此后该过程终止。
返回到操作1608,如果声音未被放大,则在操作1614处声音发生的日期和时间被记录。此后该过程终止。
在图16所示的示例中,该过程确定是否放大声音。在一个非限制性示例中,该过程基于用户是存在于监测区域内的某处以监听放大的声音还是不存在于监测区域来确定是否放大声音。例如,如果声音是门铃,则如果用户不存在监测区域中并且不能够听到在监测区域内的放大的声音,则可以确定不需要放大声音。在另一示例中,如果声音是由破碎的窗户或门引发的安全警报,则该过程可以放大声音,即使用户不在监测区域中作为对可能不想要的人试图获取对监测区域的一部分的未授权访问的威慑。
在另一示例中,该过程确定是否放大声音包括确定用户是否存在于监测区域中但不移动或以其他方式响应于声音。在该示例中,该过程可以确定声音应该被放大和重放以增加用户将听到或响应于声音的可能性。
在又一示例中,该过程基于用户简档(基于用户配置或机器学习)是否指示被标识为门铃的声音在用户被检测为存在于监测区域内的情况下被放大来确定是否放大声音。
尽管图16所示的操作被描述为由集线器设备执行,但是本公开的各方面考虑了由其他实体对操作的执行。例如,云服务可以与集线器设备相关联地执行一个或多个操作。
图17是示出为用户生成安全路线的集线器设备的操作的示例性流程图。图17所示的过程可以由计算设备实现,诸如但不限于图1中的集线器设备102或集线器控制器104。
在操作1702处,该过程监测移动通过监测区域的用户的移动以生成用户交通数据。在操作1704处,监测区域的至少一部分的地图基于用户交通数据来生成。在操作1706处,用户的当前位置基于存在传感器数据来标识。该过程在操作1708处确定是否需要安全路线。如果否,则该过程终止。
如果在操作1708处需要用户的安全路线,则该过程在操作1710处基于用户的当前位置和地图生成通过监测区域的安全路径。此后该过程终止。
尽管图17所示的操作被描述为由集线器设备执行,但是本公开的各方面考虑了由其他实体对操作的执行。例如,云服务可以与集线器设备相关联地执行一个或多个操作。
图18是示出基于步态标识用户的集线器设备的操作的示例性流程图。图18所示的过程可以由计算设备实现,诸如但不限于图1中的集线器设备102或集线器控制器104。
该过程在操作1802处确定移动是否被检测到。如果否,则过程返回到操作1802。如果移动被检测到,则该过程在操作1804处切换到主动模式。该过程在操作1806处确定移动是否由人类做出。该确定可以使用被通信地耦合到集线器设备或者以其他方式与集线器设备通信的一个或多个传感器(诸如相机或其他存在传感器)来进行。如果否,则在操作1808处该移动被忽略。此后该过程终止。
如果在操作1806处移动由人类做出,则该过程在操作1810处通过一个或多个相机记录移动。在操作1812处,该过程将移动的记录存储在诸如本地数据库等数据存储装置中。在操作1814处,该过程分析记录以获取步态数据。在操作1816处,该过程将步态与数据库相匹配。如果在操作1818处基于用户的步态未标识出人类,则该过程在操作1820处向用户发送记录用于标识。此后该过程终止。
如果该过程在1818处基于步态标识出人类,则该过程在操作1822处向用户设备发送通知以向用户通知标识。此后该过程终止。
尽管图18所示的操作被描述为由集线器设备执行,但是本公开的各方面考虑了由其他实体对操作的执行。例如,云服务可以与集线器设备相关联地执行一个或多个操作。
附加示例
在一些示例中,一种体现计算机可执行组件的计算机存储介质被提供。这些组件包括:被执行以使得至少一个处理器监测移动通过监测区域的至少一部分的至少一个用户的移动以生成用户交通数据的监测组件,该用户交通数据包括用户日常数据、一组频繁使用的交通模式以及与至少一个用户相关联的当前位置数据;被执行以使得至少一个处理器基于用户交通数据生成监测区域的至少一部分的动态地图的地图组件,该地图包括一组房间的位置和一组出口的位置;以及被执行以使得至少一个处理器基于用户的日常、用户交通数据和地图来确定至少一个用户在监测区域内的当前位置的分析组件。
在示例场景中,一种集线器设备监测与结构相关联的监测区域的至少一部分。集线器设备经由与集线器设备相关联的至少一个麦克风来检测声音。在确定声音的声级低于阈值声级时,集线器设备忽略声音。在确定声音的声级达到阈值声级时,集线器设备分析声音以确定声音是否是标识的声音。在确定声音是预期的标识的声音时,集线器设备忽略标识的声音。在确定声音是非预期的标识的声音时,集线器设备放大标识的声音以生成放大的声音并且经由监测区域内的至少一个扬声器播放放大的声音。在未能标识出声音时,集线器设备向与至少一个用户相关联的用户设备发送未标识的声音的发生的通知。
一些当前的音频设备提供能够进行免提音乐或免提电话交谈的扬声器。然而,这些系统限于单个房间或单个位置,除非用户将扬声器物理地携带到另一位置。相比之下,在一些示例中,该组集线器设备提供当用户在监测区域周围移动时跟随用户的流式音频或视频的多房间免提路由选择。当监听音频流的用户离开第一房间并且移动到第二房间时,用户的新位置被检测并且音频流的回放从第一房间中的扬声器切换到第二房间中的扬声器。音频流可以包括音乐、有声读物、电话、Skype电话或任何其他类型的流式音频。音频路由选择被自动执行,无需任何用户与系统的交互。这使得能够改善用户的便利性,在监听区域内获取更大的用户移动性,同时监听流式音频或观看流式视频,以及简化用户与系统的交互。音频和视频流式特征的该多房间免提路由选择也更节能,因为能量通过关闭未被占用的房间中的音频或视频播放器来节省。
在其他示例中,该组集线器设备提供关注于用户占用的房间的自动温度控制。该组集线器设备监测监测区域中的每个房间的温度和占用情况。该组集线器设备打开加热/冷却系统以将其能量集中在当前占用的房间,并且使这些房间保持在舒适的温度。该特征更节能,并且为用户降低了加热和冷却的成本。
此外,一些当前可用的自动化系统包括依赖于下载天气数据的智能恒温器。这些当前的恒温器仅监测其被安装的位置的温度,而不考虑房屋的特定区域是否被占用或频繁使用。相比之下,在一些示例中,每房间自动化系统包括监测每个房间中的温度的一组集线器设备。例如,该组集线器设备在主动地被加热或冷却时收集从多个房间取得的数据。当房间没有被占用时,温度被监测以防止诸如在寒冷天气中的管道爆裂等情况。这使得每个房间的房间温度管理能够基于房间是否被占用来进行以降低加热和空调成本,提高能量效率,并且为每个房间居住者定制室温以提高用户舒适度。
在其他示例中,如果加热不能够升高温度并且存在管道爆裂的风险,则该组集线器设备向与用户相关联的一个或多个用户设备发送一个或多个通知。这些示例中的加热和空调系统恒温器被替换为由一个或多个集线器设备基于来自房间的温度数据而激活的简单的遥控开关。该特征使得传统设备能够简单升级到自动化系统,并且通过基于给定房间当前是否被占用或可能在不久的将来由用户占用来降低加热和冷却的成本以提高能量效率。
在其他示例中,通过在系统内集成多个不同的设备并且基于结构的占用者的存在或不存在来控制它们,每个房间的一组集线器设备使自动化更可行。这节省了电力,降低了能源成本,提供了更舒适的温度水平和照明,允许向居住者警告有关监测区域内的极端温度的任何问题,向用户通知警报,向用户通知监测区域内可能不受欢迎的人员的存在,并且当用户在监测区域内移动时,在整个监测区域内提供跟随用户的流式音频和视频的多房间路由选择。
在多个房间的温度被监测的情况下,在一些示例中,数据被收集并且上载到服务并且评估效率以比较房间之间的散热。可选地,关于绝缘或防风雨建议的报告被提供给用户。该报告提供的数据有助于用户标识能量效率的潜在问题、集中加热不平衡或导致未占用房间的更多热量的区域、以及其他需要改进的区域。
在其他示例中,该组集线器设备利用被监测的每个房间的温度特性、占用时间、房间占用的潜在时间、外部温度和其他数据来进行预测以最佳地使用能量以保持舒适水平和能量使用。在非限制性示例中,该组集线器设备随时间记录结构外部的外部温度和结构内的针对两个或更多个房间的内部温度,其中信息指示在记录温度读数时加热或空调是打开还是关闭。该温度数据被分析以确定加热和空调的总效率。该组集线器设备可以可选地为用户生成建议利用关于恒温器设置、绝缘、防风雨和其他校正措施来提高能量效率。
在一个示例中,如果第一房间没有像第二房间那样快地预热并且第一房间中的热量稍微快速消散,则该组集线器设备向用户提供关于房间的这些温度特性的警告/通知。该信息还可选地由该组集线器设备利用以确定用于加热或冷却房间的最佳时间等。
其他当前可用的自动化系统控制多个协议上的不同设备,但是它们依赖于用于用户设备的应用,这些应用使得难以找到正确的要控制的设备。相比之下,在一些示例中,该每房间自动化系统为与结构相关联的一组房间中的每个房间提供至少一个集线器设备。这允许其他设备的命令和控制是针对特定房间的,诸如,例如按下用户设备集线器应用上的灯按钮以打开灯,通过语音激活命令“灯”或者通过步行进入房间以激活灯,而无需指定哪个房间进行灯光控制。这提供了系统的改进的用户控制、对于多个不同用户的易用性、以及易于查找或标识正确的要控制的设备。在该示例中,要控制的设备是要被打开、关闭或以其他方式调节的其他设备,诸如照明设备、音频设备、视频设备、电话或任何其他可控设备。
在其他示例中,该组集线器设备使用声音检测和识别将现有系统集成在监测区域中。在这些示例中,该系统组合了多房间音频流、集线器控制器、传感器、扬声器、免提电话设备和麦克风,以基于监测区域的一部分当前是被占用还是未被占用来监测和控制监测区域的一部分的环境,诸如住宅的房间。这减少了与转换为自动化系统相关的费用。该特征为用户提供了易用性、用户友好的系统配置以及改进的安全性。
在一些示例中,该组集线器设备提供在监测区域内的住宅、结构或其他区域周围跟随用户的多房间免提电话通信。该组集线器设备实现了用于将呼叫从一个房间中的集线器设备路由发送到另一房间中的另一集线器设备的多房间功能。电话呼叫通常是私人事务,当用户从房间移动到另一房间时,电话呼叫跟随用户。在该示例中,集线器设备使用多房间免提方案来流式传输移动电话交谈。
当前音乐流式传输器频繁使用升级的音频装备,使很多现有的放大器冗余。因此,这些音乐流式传输器通常很昂贵。相比之下,每房间自动化系统可以包括被插入到设备中以使传统设备成为联网设备的支持网络的附件。例如,附件可以被插入传统音乐流设备中以使该设备与该组集线器设备或集线器应用兼容。在其他示例中,当用户使用固定电话在整个监测区域中移动时,附件被插入到固定电话中以提供跟随用户的多房间免提电话通信路由选择。这提供了更大的便利性和用户移动性,同时利用音乐流式传输器,拨打电话,以及以其他方式在监测区域内流式传输音频或视频。
当用户移动通过监测区域时,该组集线器设备可以将音频流从一个房间路由发送到另一房间。音频流可以包括流式音乐、有声读物或任何其他类型的流式音频。在其他示例中,该组集线器设备提供Skype呼叫或因特网协议语音(VOIP)服务的多房间免提路由选择。集线器设备可以从内置扬声器或通过线路输出声音以通过其他音频装备来放大。如果监测区域中同时存在多个用户,则一个或多个用户可能希望同时监听不同的事物。集线器应用的每个用户可以被分配唯一的媒体信道,在该媒体信道上,他们指派要播放的输入。该输入可以是但不限于用于特定音乐服务的播放列表、有声读物、媒体共享上的mp3文件的播放列表、互联网无线电台、来自从其连接到的智能房间设备流式传输的移动设备的Bluetooth音频连接、被插入到现有音频装备/TV的可能的模数转换器附件、或来自智能房间设备上的潜在线路输入的流、或者电话交谈。
在这些示例中,用户经由其用户设备选择他们的优选输入,以用于经由与用户共同定位的房间中的集线器设备在其分配的频道上播放。在其他实施例中,用户选择用于经由集线器设备上的开关在其频道上播放的输入。
该组集线器设备可以在集线器设备的正常操作期间以及在初始配置/设置阶段期间通过要求用户在配置期间在监测区域周围移动来监测用户移动。例如,该组集线器设备生成监测区域的地图并且知道哪些房间通向哪些其他房间。地图还可以指示从结构或区域的出口点或者进入点和外出点。当该组集线器设备监测用户移动时,集线器控制器基于机器学习随时间确定对移动通过监测区域的用户的很可能的或有可能的目的地。例如,当在第二房间变为被占用时第一房间变为未被占用并且第一房间和第二房间在相邻路径上时,该组集线器设备确定用户正在从第一房间移动到第二房间。
在一个示例中,用户选择用于播放音频媒体的输入。所选择的输入被流式传输到用户的分配的频道并且经由被用户占用的房间中的扬声器来播放。当用户从房间移动到另一房间(这可以由一个或多个集线器设备经由存在传感器或其他传感器检测到)时,用户的频道被推送到与用户当前占用的房间相关联的集线器设备。如果集线器设备切换错误的频道或不正确的音频以用于在扬声器上播放,则用户可以经由语音命令、用户设备集线器应用或经由集线器设备上的按钮手动切换频道。以这种方式,用户的优选音频内容易于经由其分配的媒体频道查找和访问。
其他示例中的频道概念包括视频/视频媒体内容。例如,这些示例中的集线器设备包括具有高清晰度多媒体接口(HDMI)插座的头戴式设备,以便以音频在监测区域周围跟随用户的相同的方式提供视频。因此,进入具有被连接到屏幕的头戴式集线器设备的房间的用户将示出他们在另一房间中观看的相同视频。
例如,当用户离开正在播放视频内容的房间时,用于该房间的集线器设备暂停内容直到用户返回到房间。集线器设备从该位置恢复视频内容的播放。如果用户进入第二房间,则与第二房间相关联的第二集线器设备利用与用户相关联的相同频道从内容在第一房间中被暂停的点恢复播放视频。
换言之,当用户离开第一房间时,集线器设备通过诸如AllJoyn等任何兼容协议发送命令以向一个或多个其他集线器设备通知用户已经离开第一房间。集线器设备将用户之前在观看的流或频道以及视频被暂停的位置保存到该用户的简档中。集线器设备关闭之前在播放视频的TV或其他设备或者关闭现在未被占用的房间的灯光。
当用户进入具有能够播放视频的另一设备设置的第二房间时,与第二房间相关联的第二集线器设备标识用户并且切换到主动模式。第二集线器设备利用从用户的简档取回的流或频道发送命令,并且在视频被暂停的点处恢复播放视频,以允许用户继续观看。
另外,与TV通信允许由位于监测区域外部的一个或多个相机记录的视频流在由用户观看的TV上显示,例如,如果有人接近或在门外。一个或多个相机可以是外部安全相机、互联网协议(IP)相机、在智能门铃内实现的相机、或任何其他合适的图像捕获设备。
在该示例中,该组集线器设备可以可选地自动打开与由访问者占据的门或其他区域相关联的外部灯,以使访问者对记录访问者的相机更加可见。在该示例中,集线器设备可以确定与相机相关联的亮度是否低于阈值亮度。如果亮度低于阈值,则相机附近的一个或多个灯被自动打开以增加照明水平并且改进视频记录。
在一些示例中,门铃可以被实现,作为标准的一键式门铃、具有基本对讲功能的门铃、或者作为具有对讲机的相机。如果集线器设备利用BLUETOOTH与门铃通信,则处理来自门铃的通知和视频的集线器设备可以位于门附近。在其他示例中,与门铃相关联的集线器设备可以位于前门开向的房间中,诸如走廊或入口通道。对于对讲机和视频应用,从门铃接收的音频或视频流通过Bluetooth或通过诸如AllJoyn等协议经由Wi-Fi信号被流式传输到集线器设备。
在一些示例中,当按下或以其他方式激活门铃时,门铃发送信号。该信号由集线器设备接收,在一些示例中,它通过扬声器播放响铃声并且向在移动设备上具有相关联的应用的人或向连接的可穿戴设备发送通知。
在一些示例中,集线器设备通过到数字助理的连接经由门铃或对讲机接口自动地与门处的访问者对话。“是谁呀”的问题可以通过与门铃或对讲机相关联的扬声器从数字助理被播放给访问者。集线器设备可以使用扬声器识别基于来自由麦克风捕获的访问者的口头响应或者通过集线器设备的其他音频捕获来标识访问者。
在该示例中,集线器设备将访问者的语音与呼叫者的内部存储装置相匹配,或者将声音片段发送到网络服务以使语音与先前呼叫者的可能更大的存储装置相匹配。集线器设备为未识别的呼叫者保存声音片段。保存的声音片段可以被分析以供用户稍后确认或标识。
在另一示例中,在接收到门铃已经被按下的通知时,集线器设备向一个或多个其他集线器设备或一个或多个用户设备发送信号以播放通知声音。因特网协议语音(VOIP)呼叫被设置为可以由用户设备之一应答。在用户设备上,用户具有忽略呼叫者、与呼叫者通话或请求访问者的身份的选项。当在智能房间设备的可听范围内时,相同的选项可以被用作语音命令。
在一些示例中,忽略选项不会导致进一步的动作。若在用户设备上应答,则与呼叫者通话的选项连接VOIP呼叫,或者与呼叫者通话的选项允许从一个或多个扬声器和麦克风到门铃中的扬声器和麦克风的对讲机连接。请求身份选项使得集线器设备要求访问者标识自己。在应用的情况下,用户设备应用打开并且让用户知道何时收到答复。如果识别出访问者在门处给出的语音/名称组合,则用户可以看到访问者的身份,然后用户决定与访问者交谈、忽略访问者或者应答门。
在其他示例中,门铃包括相机和对讲机。当检测到移动时,相机打开并且将输出流式传输到与门铃相关联的集线器设备。集线器设备可选地响应于检测到移动而打开外部灯。
当访问者向门铃移动时,集线器设备尝试将访问者的面部、语音或步态与在其本地存储装置中高速缓存的那些相匹配。在其他示例中,集线器设备通过向该服务发送图像来对照被存储在在线服务中的那些来检查面部、语音或步态。换言之,集线器设备可以通过使用访问者面部的面部识别分析、访问者的语音的语音识别分析或访问者的步态的分析来标识门处的访问者。如果被识别,当按下门铃时,访问者的身份随着门铃的通知被发送给用户。通知经由一个或多个其他集线器设备或一个或多个用户设备被发送。如果访问者未被识别,则图像、语音或步态数据被存储以供稍后标识或分析,诸如由用户或在线服务。
在一些示例中,给用户设备的通知包括由相机捕获的访问者的图像。VOIP呼叫被设置为可能由用户设备之一应答。在移动设备上,用户具有忽略呼叫者、与呼叫者通话、或者如果数字助理尚未询问,则请求访问者的身份的选项。当在智能房间设备的可听范围内时,相同的选项可以被用作语音命令。如果房间中有TV并且其被连接到有能力的设备,则用户可以可选地选择TV上的应答选项以在TV或其他视频屏幕上显示门相机视频以用于标识访问者。在该示例中,TV上的应答选项将视频图像从相机流式传输到运行集线器设备集线器应用的兼容的智能TV或智能机顶盒。
在其他示例中,用户还可以选择询问身份(ID)选项。询问ID选项提示集线器控制器要求访问者拿起他们的ID卡用于相机。这允许视觉确认并且可以检查其真实性。视频源捕获ID的图像,该图像可选地被上载到具有组织的数据库及其ID卡布局的网络服务。如果匹配,则该图像可以与该组织的数据库进一步共享以检查ID是否为真实。
在未标识出呼叫者的情况下,图像和任何其他标识数据被上载到云存储库。用户通过他们的移动设备app或通过在线门户网站得到通知,并且他们能够访问所有未标识的呼叫者并且在其需要时标识他们。
在一个示例中,如果用户选择与呼叫通话,则呼叫被置于用户分配的频道上。如果用户在房间之间移动,则呼叫跟随用户。
例如,第一用户被分配第一媒体频道。第二用户被分配第二媒体频道。第三用户被分配第三媒体频道。厨房区域中的第一用户在第一频道上播放Skype电话。第二用户在卧室中在第二频道上听音乐。第三用户在另一房间中在第三频道上听有声读物。当第一用户从厨房走行进入起居室时,第一频道上的Skype呼叫从厨房中的集线器设备被切换到起居室中的集线器设备。
在其他示例中,集线器设备可以基于从一个或多个其他集线器设备接收的数据和地图来预测用户离开或正朝向哪个房间。如果媒体正在前一房间中播放,则相同的媒体频道将被流式传输到用户刚进入的新房间中。集线器设备通过AllJoyn与前一房间中的一个或多个集线器设备进行通信,以让它知道它现在播放用户的媒体频道。如果前一房间未被占用,则该房间中的一个或多个集线器设备将关闭音频。
如果在第一用户从厨房移动到起居室时第三用户已经在起居室中,则起居室中的集线器设备不会将媒体频道从第三频道改变为第一频道,除非由一个用户手动切换。当住宅中的人穿过房间彼此交叉时,该组集线器设备试图标识哪个用户移动到哪个房间并且将他们的频道移动到正确的房间。
备选地或者除了本文中所描述的其他示例之外,示例包括以下的任何组合:
-向监测监测区域的第二部分的第二集线器设备发送记录的声音,放大记录的声音以生成放大的声音,并且经由该组麦克风中的至少一个麦克风播放放大的声音;
-将非口头声音与多个标识的声音进行比较以标识非口头声音;
-在确定非口头声音是以规则间隔重新发生的重复声音时将非口头声音标识为警报,并且在确定警报源自监测区域内时执行警报触发动作;
-基于监测区域的地图生成安全路线,并且向监测区域内的至少一个用户输出安全路线,该安全路线包括通过监测区域的至少一部分从至少一个用户的当前位置通向不同位置的路径;
-基于用户交通数据和至少一个用户的日常生成监测区域的地图,该地图包括该组房间的位置、该组房间中的至少一个房间的至少一个出口的位置以及通过监测区域的一组常用交通模式;
-基于从该组集线器设备接收的数据来监测监测区域内的至少一个用户的存在以及移动通过监测区域的至少一个用户的移动以生成用户交通数据;
-激活监测区域中的多个集线器设备中的至少一个集线器设备,从至少一个集线器设备请求事件数据,分析来自至少一个集线器设备的事件数据以标识警报的起源,并且向至少一个用户发送通知,该通知包括警报的类型的标识、警报的发生时间和警报的起源;
-在检测声音时进入主动模式,分析从监测区域内的多个集线器设备获取的数据以确定声音的起源,在确定声音的起源在监测区域外部时忽略声音,并且返回到睡眠模式;
-在确定声音是在锁定模式期间玻璃破碎的声音时,将声音标识为非预期的标识的声音;
-基于从与监测区域相关联的多个集线器设备接收的数据监测监测区域内的至少一个用户的存在,并且在确定声音是指示提示从监测区域的至少一部分疏散至少一个用户的安全危险的标识的声音时,向监测区域内的至少一个用户输出安全路线,该安全路线指示通过监测区域的至少一部分从至少一个用户的当前位置通向不同位置的安全路径;
-基于从一组存在传感器中的至少一个存在传感器接收的存在数据来确定至少一个用户的当前位置,并且向与用户相关联的用户设备发送示出安全路线的地图;
-自动打开对应于安全路线的一组灯以为用户照亮安全路径,并自动关闭与监测区域的至少一部分相关联的与安全路径不相关联的一组灯;
-访问预先标识的声音的云数据库,并且将声音与预先标识的声音进行比较以确定声音的标识;
-经由因特网连接访问一组预先标识的声音,并且将声音与预先标识的声音进行比较以确定声音的标识;
-监测至少一个用户移动通过监测区域的至少一部分的移动以生成用户交通数据,该用户交通数据包括用户日常数据、一组频繁使用的交通模式以及与至少一个用户相关联的当前位置数据;
-基于用户交通数据生成监测区域的至少一部分的动态地图,该地图包括一组房间的位置和一组出口的位置;
-基于用户的日常、用户交通数据和地图来确定至少一个用户在监测区域内的当前位置;
-基于用户的步态标识用户;
-基于地图和至少一个用户的当前位置来生成标识从至少一个用户的当前位置通过监测区域的至少一部分到不同位置的安全路线的安全路线;以及
-经由用户设备向至少一个用户输出安全路线。
图1中的各种元件的至少一部分功能可以由图1中的其他元件或者图1中未被示出的实体(例如,处理器、网络服务、服务器、应用程序、计算设备等)来执行。
在一些示例中,图12、图13、图14、图15、图16、图17和图18所示的操作可以被实现为在计算机可读介质上、在被编程或设计为执行操作的硬件中或两者编码的软件指令。例如,本公开的各方面可以被实现为片上系统或包括多个互连的导电元件的其他电路。
虽然本公开的各方面已经根据各种示例及其相关操作进行了描述,但是本领域技术人员将理解,来自任何数量的不同示例的操作的组合也在本公开的各方面的范围内。
在一些示例中,本文中所使用的术语“Wi-Fi”是指使用高频无线电信号进行数据传输的无线局域网。在一些示例中,如本文中所使用的术语“BLUETOOTH”是指使用短波长无线电传输在短距离上交换数据的无线技术标准。在一些示例中,如本文中所使用的术语“蜂窝”是指使用短距离无线电台的无线通信系统,这些无线电台当被连接在一起时使得能够在广阔的地理区域上传输数据。在一些示例中,如本文中所使用的术语“NFC”是指用于通过短距离数据交换的短程高频无线通信技术。
虽然没有个人可标识信息由本公开的各方面跟踪,但是示例已经参考从用户监测或收集的数据进行了描述。在一些示例中,通知可以被提供给数据集合的用户(例如,经由对话框或偏好设置),并且用户被给予给出或拒绝对监测或收集的同意的机会。同意可以采取选择加入同意或选择退出同意的形式。
示例性操作环境
示例性计算机可读介质包括闪存驱动器、数字通用盘(DVD)、压缩盘(CD)、软盘和磁带盒。作为示例而非限制,计算机可读介质包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块等信息的任何方法或技术实现的易失性和非易失性的可移动和不可移动介质。计算机存储介质是有形的并且与通信介质互斥。计算机存储介质以硬件实现,并且不包括载波和传播信号。出于本公开的目的,计算机存储介质不是信号本身。示例性计算机存储介质包括硬盘、闪存驱动器和其他固态存储器。相比之下,通信介质通常以诸如载波或其他传输机制等调制数据信号来实施计算机可读指令、数据结构、程序模块等,并且包括任何信息传递介质。
尽管结合示例性计算系统环境进行了描述,但是本公开的示例能够利用很多其他通用或专用计算系统环境、配置或设备来实现。
可以适用于本公开的各方面的众所周知的计算系统、环境或配置的示例包括但不限于移动计算设备、个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、游戏控制台、基于微处理器的系统、机顶盒、可编程消费者电子产品、移动电话、可穿戴或附件形式的移动计算或通信设备(例如,手表、眼镜、耳机或耳麦)、网络PC、小型计算机、大型计算机、包括任何上述系统或设备的分布式计算环境等。这样的系统或设备可以以任何方式接受来自用户的输入,包括从诸如键盘或指示设备等输入设备,经由手势输入、接近输入(诸如通过悬停),或经由语音输入。
本公开的示例可以在由一个或多个计算机或其他设备以软件、固件、硬件或其组合执行的计算机可执行指令(诸如程序模块)的一般上下文中进行描述。计算机可执行指令可以被组织成一个或多个计算机可执行组件或模块。通常,程序模块包括但不限于执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和数据结构。本公开的各方面可以利用任何数量和组织的这种组件或模块来实现。例如,本公开的各方面不限于特定的计算机可执行指令或者附图中所示和本文中所描述的特定的组件或模块。本公开的其他示例可以包括具有比本文中所示出和描述的更多或更少功能的不同计算机可执行指令或组件。
在涉及通用计算机的示例中,当被配置为执行本文中所描述的指令时,本公开的各方面将通用计算机转换为专用计算设备。
本文中所示出和描述的示例以及本文中未被具体描述但在本公开的各方面的范围内的示例构成用于多功能、每房间自动化系统的示例性装置。例如,图1、图2、图3、图4、图5、图6、图7、图8和图9所示的元件诸如在被编码为执行图12、图13、图14、图15、图16、图17和图18所示的操作时,构成用于监测监测区域的示例性装置、用于检测声音的示例性装置、用于确定声级是否低于阈值的示例性装置、用于标识声音的示例性装置、用于放大和播放放大的声音的示例性装置、以及用于向一个或多个用户设备发送通知的示例性装置。
在另一示例中,图1、图2、、图3、图4、图5、图6、图7、图8和图9所示的元件诸如在被编码为执行图12、图13、图14、图15、图16、图17和图18所示的操作时构成用于监测监测区域中的一个或多个用户的移动的示例性装置、用于生成监测区域的地图的示例性装置、用于确定用户在监测区域内的位置的示例性装置、以及用于基于地图和用户在监测区域内的当前位置为用户生成安全路线的示例性装置。
除非另有说明,否则本文中所示出和描述的本公开的示例中的操作的执行(execution)或执行(performance)的顺序不是必需的。也就是说,除非另有说明,否则操作可以以任何顺序来执行,并且本公开的示例可以包括比本文中所公开的操作更多或更少的操作。例如,预期在另一操作之前、同时或之后执行(execution)或执行(performance)特定操作在本公开的各方面的范围内。
当介绍本公开的各方面或其示例的元素时,冠词“一个(a)”、“一个(an)”、“该(the)”和“所述(said)”旨在表示存在一个或多个元素。术语“包括(comprising)”、“包括(including)”和“具有(having)”旨在是包括性的,并且表示可能存在除了所列元素之外的其他元素。术语“示例性”旨在表示“示例”。短语“以下中的一个或多个:A、B和C”表示“A中的至少一个或B中的至少一个或C中的至少一个。”
已经详细描述了本公开的各方面,显然,在不脱离所附权利要求中所限定的本公开的各方面的范围的情况下,修改和变化是可能的。由于在不脱离本公开的各方面的范围的情况下可以对上述结构、产品和方法进行各种改变,所以意图在于,被包含在以上描述中并且在附图中所示出的所有内容应该被解释为说明性的而不是限制性意义的。

Claims (15)

1.一种系统,包括:
与监测区域相关联的一组集线器设备,所述监测区域包括与结构相关联的一组房间;
在所述一组集线器设备内的集线器控制器,所述集线器控制器与所述一组房间中的第一房间相关联,所述集线器控制器监测所述监测区域的一部分,所述集线器控制器包括存储器,所述存储器存储声音分析引擎;以及
处理器,其被编程为执行所述声音分析引擎以在所述集线器控制器的睡眠模式期间经由被通信地耦合到所述一组集线器设备的一组麦克风中的至少一个麦克风被动地检测非口头声音,在确定所述非口头声音超过睡眠模式阈值声级时记录所述非口头声音以生成记录的声音,并且向至少一个用户设备发送所述记录的声音的通知以向与所述用户设备相关联的至少一个用户通知所述非口头声音的发生。
2.根据权利要求1所述的系统,其中所述集线器控制器是监测所述监测区域的第一部分的所述一组集线器设备中的第一集线器设备,并且其中所述处理器还执行所述声音分析引擎以向与所述监测区域的第二部分相关联的所述一组集线器设备中的第二集线器设备发送所述记录的声音,其中所述第二集线器设备放大所述记录的声音以生成放大的声音并且经由被通信地耦合到所述一组集线器设备的一组扬声器中的至少一个扬声器播放所述放大的声音。
3.根据权利要求1所述的系统,其中所述处理器还执行所述声音分析引擎以将所述非口头声音与多个标识的声音进行比较以标识所述非口头声音。
4.根据权利要求1所述的系统,其中所述处理器还执行所述声音分析引擎以在确定所述非口头声音是以规则间隔重新发生的重复声音时将所述非口头声音标识为警报,并且在确定所述警报源于所述监测区域内时执行警报触发动作。
5.根据权利要求4所述的系统,其中执行所述警报触发动作还包括执行所述声音分析引擎以基于所述监测区域的地图生成安全路线,并且向所述监测区域内的至少一个用户输出所述安全路线,所述安全路线包括通过所述监测区域的至少一部分从至少一个用户的当前位置通向不同位置的路径。
6.根据权利要求1所述的系统,其中所述集线器控制器还包括:
机器学习组件,其中所述处理器执行所述机器学习组件以基于用户交通数据和所述至少一个用户的日常生成所述监测区域的地图,所述地图包括所述一组房间的位置和从所述一组房间中的至少一个房间的至少一个出口的位置的表示。
7.根据权利要求1所述的系统,其中所述集线器控制器还包括:
监测组件,并且其中所述处理器还执行所述监测组件以监测所述监测区域的环境以检测所述监测区域的所述环境中的变化。
8.一种方法,包括:
通过集线器控制器监测与结构相关联的监测区域的至少一部分;
经由与所述集线器控制器相关联的至少一个麦克风检测声音;
在确定所述声音的声级低于阈值声级时,忽略所述声音;
在确定所述声音的所述声级达到阈值声级时,分析所述声音以确定所述声音是否是标识的声音;
在确定所述声音是预期的所述标识的声音时,忽略所述标识的声音;
在确定所述声音是非预期的所述标识的声音时,放大所述标识的声音以生成放大的声音,经由所述监测区域内的至少一个扬声器播放所述放大的声音,并且向用户设备发送所述标识的声音的通知;以及在确定所述声音是未标识的声音时,放大所述未标识的声音以生成放大的未标识的声音,经由所述监测区域内的至少一个扬声器播放所述放大的未标识的声音,并且向用户设备发送所述未标识的声音的通知。
9.根据权利要求8所述的方法,其中非预期的所述标识的声音是警报,并且其中所述方法还包括:
激活所述监测区域中的多个集线器设备中的至少一个集线器设备;
从所述至少一个集线器设备请求声音检测数据;
分析来自所述至少一个集线器设备的所述声音检测数据以标识所述警报的起源;以及
向至少一个用户发送通知,所述通知包括警报的类型的标识、所述警报的发生时间和所述警报的起源。
10.根据权利要求8所述的方法,其中当所述声音被检测到时,所述集线器控制器处于睡眠模式中,并且所述方法还包括:
在检测到所述声音时进入主动模式;
分析从所述监测区域内的至少一个集线器设备获取的声音检测数据以确定所述声音的起源;以及
在确定所述声音的起源是在所述监测区域之外时,忽略所述声音并且返回到所述睡眠模式。
11.根据权利要求8所述的方法,还包括:
在确定所述声音是在锁定模式期间的玻璃破碎声音时,将所述声音标识为非预期的标识的声音。
12.根据权利要求8所述的方法,还包括:
基于从与所述监测区域相关联的至少一个集线器设备接收的存在数据来监测所述监测区域内的至少一个用户的存在;以及
在确定所述声音的是指示与所述至少一个用户从所述监测区域的至少一部分的潜在疏散相关联的安全问题的标识的声音时,向所述监测区域内的所述至少一个用户输出安全路线,所述安全路线指示通过所述监测区域的至少一部分从所述至少一个用户的当前位置通向不同位置的安全路径。
13.根据权利要求12所述的方法,还包括:
从一组存在传感器接收存在数据,其中所述至少一个用户的所述当前位置是基于从所述一组存在传感器中的至少一个存在传感器接收的所述存在数据而被确定,并且其中输出示出从所述当前位置到所述不同位置的所述安全路线的所述安全路线包括向与所述用户相关联的用户设备发送示出所述安全路线的地图。
14.根据权利要求12所述的方法,其中向所述用户输出所述安全路线还包括:
自动打开与所述安全路线相对应的第一组灯来为所述用户照亮安全路径,其中与所述监测区域的至少一部分相关联的、与所述安全路径不相关联的第二组灯通过所述集线器控制器被自动关闭。
15.一种或多种体现计算机可执行组件的计算机存储介质,所述组件包括:
监测组件,其被执行以使得至少一个处理器监测移动通过监测区域的至少一部分的至少一个用户的移动以生成用户交通数据,所述用户交通数据包括用户日常数据、一组频繁使用的交通模式以及与所述至少一个用户相关联的当前位置数据;
地图组件,其被执行以使得至少一个处理器基于所述用户交通数据生成所述监测区域的至少一部分的动态地图,所述地图包括一组房间的位置和一组出口的位置;以及
分析组件,其被执行以使得至少一个处理器基于所述用户的日常、所述用户交通数据或所述地图确定所述至少一个用户在所述监测区域内的当前位置。
CN201780024578.2A 2016-04-22 2017-04-17 一种住宅自动化系统及管理方法 Active CN109074035B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/136,703 US9940801B2 (en) 2016-04-22 2016-04-22 Multi-function per-room automation system
US15/136,703 2016-04-22
PCT/US2017/027839 WO2017184470A2 (en) 2016-04-22 2017-04-17 Multi-function per-room automation system

Publications (2)

Publication Number Publication Date
CN109074035A true CN109074035A (zh) 2018-12-21
CN109074035B CN109074035B (zh) 2022-03-29

Family

ID=59297342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780024578.2A Active CN109074035B (zh) 2016-04-22 2017-04-17 一种住宅自动化系统及管理方法

Country Status (4)

Country Link
US (2) US9940801B2 (zh)
EP (1) EP3446182A2 (zh)
CN (1) CN109074035B (zh)
WO (1) WO2017184470A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111487888A (zh) * 2020-05-06 2020-08-04 重庆市全城建筑设计有限公司 一种居家集成控制系统
CN112562695A (zh) * 2020-11-26 2021-03-26 珠海格力电器股份有限公司 声纹识别方法、装置、计算机设备和存储介质
CN114445998A (zh) * 2022-04-11 2022-05-06 广州联客信息科技有限公司 一种基于ai的火灾报警监测方法及系统

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124836A (ko) * 2016-05-03 2017-11-13 엘지전자 주식회사 전자 장치 및 그 제어 방법
CN109074329A (zh) * 2016-05-12 2018-12-21 索尼公司 信息处理设备、信息处理方法和程序
US10389987B2 (en) * 2016-06-12 2019-08-20 Apple Inc. Integrated accessory control user interface
US10852018B1 (en) * 2016-06-21 2020-12-01 GoldCore Design Systems, LLC System and method for energy use control in an environmental control system
US11089608B2 (en) 2016-09-01 2021-08-10 Ikabit, Inc. System and method for wireless communication
US10846647B2 (en) * 2017-02-07 2020-11-24 Hall Labs Llc Apparatus for notifying a parcel is delivered
US10121494B1 (en) * 2017-03-30 2018-11-06 Amazon Technologies, Inc. User presence detection
US11502869B2 (en) 2017-05-09 2022-11-15 Vivint, Inc. Smart doorbell
US20180331845A1 (en) * 2017-05-09 2018-11-15 Vivint, Inc. Adjusting devices upon detecting occupant is asleep
US10553100B2 (en) * 2017-06-17 2020-02-04 Ikabit, Inc. Remote audio monitor system
US10969775B2 (en) 2017-06-23 2021-04-06 Johnson Controls Technology Company Predictive diagnostics system with fault detector for preventative maintenance of connected equipment
US10996735B2 (en) * 2017-07-13 2021-05-04 Hygge Power Inc. Power management system
US10878690B2 (en) * 2017-11-02 2020-12-29 Honeywell International Inc. Unified status and alarm management for operations, monitoring, and maintenance of legacy and modern control systems from common user interface
US20190139565A1 (en) * 2017-11-08 2019-05-09 Honeywell International Inc. Intelligent sound classification and alerting
GB2568506A (en) * 2017-11-17 2019-05-22 Redgear Solutions Ltd System and methods for monitoring environment of user household
US10777057B1 (en) * 2017-11-30 2020-09-15 Amazon Technologies, Inc. Premises security system with audio simulating occupancy
WO2019117736A1 (en) * 2017-12-15 2019-06-20 Motorola Solutions, Inc Device, system and method for crowd control
US10170135B1 (en) * 2017-12-29 2019-01-01 Intel Corporation Audio gait detection and identification
WO2019206253A1 (en) * 2018-04-27 2019-10-31 Shanghai Truthvision Information Technology Co., Ltd. Smart door system
GB2574602B (en) * 2018-06-11 2021-07-28 Arm Ip Ltd Methods and apparatus for indicating evacuation routes
US10635057B2 (en) * 2018-08-24 2020-04-28 Sensormatic Electronics, LLC System and method for detecting room occupancy with beamforming microphone arrays
US11360445B2 (en) 2018-08-24 2022-06-14 Johnson Controls Tyco IP Holdings LLP System and method for controlling building management systems for scheduled events
US11587555B1 (en) * 2018-09-26 2023-02-21 Verily Life Sciences Llc Recognizing hazard events based on sounds of in-home activities
US10650627B1 (en) 2018-11-08 2020-05-12 International Business Machines Corporation Cognitive vetting system for unsolicited residential visitors
US11263552B2 (en) * 2018-11-12 2022-03-01 International Business Machines Corporation Preparing computing devices in anticipation of predicted user arrival
WO2020115791A1 (ja) * 2018-12-03 2020-06-11 三菱電機株式会社 設備機器制御装置、設備機器制御方法および学習方法
US11100925B2 (en) * 2018-12-06 2021-08-24 Comcast Cable Communications, Llc Voice command trigger words
US11968323B2 (en) 2018-12-21 2024-04-23 Comcast Cable Communications, Llc Device control based on signature
US10553085B1 (en) 2019-01-25 2020-02-04 Lghorizon, Llc Home emergency guidance and advisement system
US11425810B1 (en) * 2019-03-20 2022-08-23 Neopod LLC Smart lighting control system
US11546657B1 (en) * 2019-05-22 2023-01-03 Sector Media Group Incorporated Method and system for roles based selection and control of video content
US11282352B2 (en) 2019-07-12 2022-03-22 Carrier Corporation Security system with distributed audio and video sources
US11589204B2 (en) * 2019-11-26 2023-02-21 Alarm.Com Incorporated Smart speakerphone emergency monitoring
US11189265B2 (en) * 2020-01-21 2021-11-30 Ria Sinha Systems and methods for assisting the hearing-impaired using machine learning for ambient sound analysis and alerts
US11809151B1 (en) 2020-03-27 2023-11-07 Amazon Technologies, Inc. Activity-based device recommendations
DE102020112575A1 (de) 2020-05-08 2021-11-11 Your Home Guides GmbH Vorrichtung und Verfahren zur Erkennung von akustischen Ereignissen, insbesondere akustischen Informations- und/oder Warnsignalen
US11043095B1 (en) 2020-06-16 2021-06-22 Lghorizon, Llc Predictive building emergency guidance and advisement system
US11476665B2 (en) 2020-08-18 2022-10-18 Hygge Power Inc. Mitigation of power outages
WO2022098370A1 (en) * 2020-11-09 2022-05-12 Funai Electric Co., Ltd. Dynamically optimized environmental control system (ecs)
US11756531B1 (en) * 2020-12-18 2023-09-12 Vivint, Inc. Techniques for audio detection at a control system
US11961377B2 (en) * 2021-02-19 2024-04-16 Johnson Controls Tyco IP Holdings LLP Security / automation system control panel with acoustic signature detection
US20220269388A1 (en) 2021-02-19 2022-08-25 Johnson Controls Tyco IP Holdings LLP Security / automation system control panel graphical user interface
US11583770B2 (en) 2021-03-01 2023-02-21 Lghorizon, Llc Systems and methods for machine learning-based emergency egress and advisement
US20220321662A1 (en) * 2021-03-30 2022-10-06 International Business Machines Corporation Smart device response to event detection
US11601514B2 (en) 2021-06-06 2023-03-07 Apple Inc. Microlocations using tagged data
US11626002B2 (en) 2021-07-15 2023-04-11 Lghorizon, Llc Building security and emergency detection and advisement system
US20230353525A1 (en) * 2022-04-27 2023-11-02 Salesforce, Inc. Notification timing in a group-based communication system
WO2023235594A1 (en) * 2022-06-03 2023-12-07 Apple Inc. User interfaces for managing a time-based event

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4227052A (en) * 1978-05-18 1980-10-07 Kahn Leonard R Method and means for reducing false alarm rates in security systems
US4346374A (en) * 1981-01-05 1982-08-24 Groff James W Classroom noise alarm
US4520503A (en) * 1983-10-14 1985-05-28 University Of New Mexico Tone discrimination circuit
US4592366A (en) * 1984-04-16 1986-06-03 Matsushita Electric Works, Ltd. Automated blood pressure monitoring instrument
US6236313B1 (en) * 1997-10-28 2001-05-22 Pittway Corp. Glass breakage detector
US7680283B2 (en) * 2005-02-07 2010-03-16 Honeywell International Inc. Method and system for detecting a predetermined sound event such as the sound of breaking glass
US8237577B2 (en) * 2010-02-09 2012-08-07 Innovalarm Corporation Supplemental alert generation device
US9020622B2 (en) * 2010-06-17 2015-04-28 Evo Inc. Audio monitoring system and method of use
US20120085831A1 (en) 2010-10-07 2012-04-12 Energy Eye, Inc. Systems and methods for controlling the temperature of a room based on occupancy
US8995670B2 (en) * 2011-04-29 2015-03-31 Dell Products L.P. Systems and methods for local and remote recording, monitoring, control and/or analysis of sounds generated in information handling system environments
US9115908B2 (en) 2011-07-27 2015-08-25 Honeywell International Inc. Systems and methods for managing a programmable thermostat
US9245514B2 (en) 2011-07-28 2016-01-26 Aliphcom Speaker with multiple independent audio streams
CN103041521B (zh) * 2011-10-14 2015-07-15 英华达(上海)科技有限公司 环境安全监测与逃生导引系统及警示逃生方法
WO2013100933A1 (en) 2011-12-28 2013-07-04 Intel Corporation Multi-stream-multipoint-jack audio streaming
US9046414B2 (en) 2012-09-21 2015-06-02 Google Inc. Selectable lens button for a hazard detector and method therefor
US9208676B2 (en) 2013-03-14 2015-12-08 Google Inc. Devices, methods, and associated information processing for security in a smart-sensored home
US20140270235A1 (en) 2013-03-13 2014-09-18 Leviton Manufacturing Co., Inc. Universal in-wall multi-room wireless audio and multi-room wireless communication system
US9449490B2 (en) * 2013-04-23 2016-09-20 S.H.I.E.L.D., Llc Automated security system for structures
US20140347181A1 (en) * 2013-05-21 2014-11-27 Michael Edward Smith Luna Sensor-enabled media device
US20150015401A1 (en) 2013-07-15 2015-01-15 Oneevent Technologies, Inc. Owner controlled evacuation system
US9495860B2 (en) 2013-12-11 2016-11-15 Echostar Technologies L.L.C. False alarm identification
US9349269B2 (en) * 2014-01-06 2016-05-24 Tyco Fire & Security Gmbh Glass breakage detection system and method of configuration thereof
US9560445B2 (en) 2014-01-18 2017-01-31 Microsoft Technology Licensing, Llc Enhanced spatial impression for home audio
US8917186B1 (en) 2014-03-04 2014-12-23 State Farm Mutual Automobile Insurance Company Audio monitoring and sound identification process for remote alarms
US9386140B2 (en) * 2014-04-10 2016-07-05 Twin Harbor Labs, LLC Methods and apparatus notifying a user of the operating condition of a remotely located household appliance
US9286790B2 (en) * 2014-05-23 2016-03-15 Emergency Alert Solutions Group, Llc Lockdown apparatus for initiation of lockdown procedures at a facility during an emergency
US9538959B2 (en) * 2014-08-03 2017-01-10 Morpheus, Llc System and method for human monitoring
US10102738B2 (en) * 2014-09-30 2018-10-16 Henry's Products Llc Portable security device
US10026304B2 (en) * 2014-10-20 2018-07-17 Leeo, Inc. Calibrating an environmental monitoring device
US9729989B2 (en) * 2015-03-27 2017-08-08 Echostar Technologies L.L.C. Home automation sound detection and positioning
US10012766B2 (en) * 2015-04-10 2018-07-03 Google Llc Monitoring external vibration sources for data collection
US10083532B2 (en) * 2015-04-13 2018-09-25 International Business Machines Corporation Sychronized display of street view map and video stream
US9805739B2 (en) * 2015-05-15 2017-10-31 Google Inc. Sound event detection
US9860723B2 (en) * 2015-06-25 2018-01-02 Honeywell International Inc. Method of notification of fire evacuation plan in floating crowd premises
CN105403251A (zh) * 2015-12-07 2016-03-16 小米科技有限责任公司 室内环境预警的方法及装置
WO2018157251A1 (en) * 2017-03-01 2018-09-07 Soltare Inc. Systems and methods for detection of a target sound
US10380852B2 (en) * 2017-05-12 2019-08-13 Google Llc Systems, methods, and devices for activity monitoring via a home assistant
US11347218B2 (en) * 2017-11-21 2022-05-31 Shawn Wang Portable universal autonomous driving system
US20190130337A1 (en) * 2018-12-21 2019-05-02 Intel Corporation Disturbance event detection in a shared environment

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111487888A (zh) * 2020-05-06 2020-08-04 重庆市全城建筑设计有限公司 一种居家集成控制系统
CN112562695A (zh) * 2020-11-26 2021-03-26 珠海格力电器股份有限公司 声纹识别方法、装置、计算机设备和存储介质
CN112562695B (zh) * 2020-11-26 2023-09-29 珠海格力电器股份有限公司 声纹识别方法、装置、计算机设备和存储介质
CN114445998A (zh) * 2022-04-11 2022-05-06 广州联客信息科技有限公司 一种基于ai的火灾报警监测方法及系统
CN114445998B (zh) * 2022-04-11 2022-06-07 广州联客信息科技有限公司 一种基于ai的火灾报警监测方法及系统

Also Published As

Publication number Publication date
WO2017184470A2 (en) 2017-10-26
CN109074035B (zh) 2022-03-29
US20180204432A1 (en) 2018-07-19
US10540873B2 (en) 2020-01-21
WO2017184470A3 (en) 2017-12-21
US20170309142A1 (en) 2017-10-26
EP3446182A2 (en) 2019-02-27
US9940801B2 (en) 2018-04-10

Similar Documents

Publication Publication Date Title
CN109074035A (zh) 多功能的每房间自动化系统
US11710387B2 (en) Systems and methods of detecting and responding to a visitor to a smart home environment
US11830333B2 (en) Systems, methods, and devices for activity monitoring via a home assistant
US11356643B2 (en) Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10044519B2 (en) Doorbell communication systems and methods
US9179108B1 (en) Doorbell chime systems and methods
US9179107B1 (en) Doorbell chime systems and methods
US9160987B1 (en) Doorbell chime systems and methods
KR102038559B1 (ko) 스마트 감지 홈의 보안
US11893795B2 (en) Interacting with visitors of a connected home environment
US20210083896A1 (en) Doorbell communication systems and methods
JP2020529771A (ja) ドアベル通信システム及び方法
US11184589B2 (en) Doorbell communication systems and methods
US20220086402A1 (en) Doorbell communication systems and methods
US20230245663A1 (en) Audio recording obfuscation
US20220368557A1 (en) Doorbell communication systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant