CN108700645B - 用于随智能设备利用雷达的系统、方法和设备 - Google Patents

用于随智能设备利用雷达的系统、方法和设备 Download PDF

Info

Publication number
CN108700645B
CN108700645B CN201780011645.7A CN201780011645A CN108700645B CN 108700645 B CN108700645 B CN 108700645B CN 201780011645 A CN201780011645 A CN 201780011645A CN 108700645 B CN108700645 B CN 108700645B
Authority
CN
China
Prior art keywords
implementations
radar
data
devices
smart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780011645.7A
Other languages
English (en)
Other versions
CN108700645A (zh
Inventor
布赖恩·西尔弗斯坦
埃里克·马沙尔科夫斯基
埃登·谢里
安德鲁·戈登森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108700645A publication Critical patent/CN108700645A/zh
Application granted granted Critical
Publication of CN108700645B publication Critical patent/CN108700645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/886Radar or analogous systems specially adapted for specific applications for alarm systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/75Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems using transponders powered from received waves, e.g. using passive transponders, or using passive reflectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/76Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted
    • G01S13/765Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted with exchange of information between interrogator and responder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/76Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted
    • G01S13/767Responders; Transponders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827Portable transceivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house

Abstract

这里描述的各种实现包括用于在智能设备中利用雷达的方法、设备和系统。在一个方面,一种电子设备包括:(1)电路板;(2)包围电路板的壳体;(3)通信模块,其耦合到电路板、包括一个或多个天线、并被配置用于与远程设备通信;(4)耦合到电路板的雷达模块,被配置用于为家庭环境生成雷达数据,并且包括:(a)低功率雷达发射器;以及(b)雷达接收器;(5)安装在电路板之一上的一个或多个处理器,处理器被配置成:(a)管控通信模块和雷达模块的操作;(b)确定在家庭环境中的检测到的对象的位置和/或移动;并且(c)检测与检测到的对象有关的异常;以及,(6)耦合到处理器、通信模块和雷达模块的电源。

Description

用于随智能设备利用雷达的系统、方法和设备
技术领域
本发明一般涉及计算机技术,包括但不限于用于随智能设备利用雷达通信的方法和系统。
背景技术
智能家庭环境中的设备包括用于实现与其他系统、设备和/或服务器的通信的大量电路组件和接口。一些智能设备在紧凑区域内包括多个无线电,用于相对于其他设备和跨网络接收和传送在各种波长上的信号。例如,一些智能设备经由雷达收集信息和/或进行通信。
发明内容
因此,需要用于管理雷达使用和通信的方法、装置和系统。在所附权利要求的范围内的系统、方法和设备的各种实现方式各自具有若干方面,其中没有一个单独方面单独负责本文描述的属性。在不限制所附权利要求的范围的情况下,在考虑本公开之后,并且特别是在考虑题为“具体实施方式”的部分之后,将理解如何使用各种实现的方面来管理智能设备的雷达。在一个方面,电子标签包括:第一电路,所述第一电路被配置为以第一频率与一个或多个其他设备通信;以及第二电路,所述第二电路被配置为经由雷达与一个或多个其他设备通信。
在一些实现中,位置信标(有时也称为位置标签)用于向雷达子系统提交唯一签名。在一些实现中,通过在与雷达系统相同的频带上发送唯一签名来对签名进行编码。
雷达系统检测对象的存在、方向、距离和/或速度。雷达相对于诸如无源红外(PIR)运动传感器的其他检测系统呈现优势。雷达系统可以检测各种速度,并且从而可以区分运动中的不同对象。例如,雷达系统可以区分家中的宠物和人。此外,雷达系统可以检测对象是朝向雷达系统移动还是远离(或切向)。雷达系统能够检测微小的人体运动,例如心跳。而且,与传统的热检测系统相比,在雷达系统中逃避检测更加困难。例如,重的冬季涂层可能足以逃避在一些热检测系统中的检测。
关于PIR传感器,通常雷达系统可以检测比PIR传感器更远的对象。此外,雷达系统不需要透镜,并且具有比PIR传感器更宽的视野。雷达系统通常对热量的敏感性低于PIR传感器。例如,PIR传感器可以因为加热、通过阳光或周围组件的操作来触发误报。
雷达系统还能够穿透墙壁和其他对象。因此,雷达系统可以监视住宅中的多个房间并检测住宅中各种对象后面的移动。因此,雷达系统能够在房间之间和通过对象进行通信。雷达系统还能够检测和解释特定手势。
与传统的相机系统不同,雷达系统在不考虑房间或住宅中的可见光水平的情况下操作。此外,雷达系统可以被配置为通过调整占空比和/或以设定的间隔发出短暂脉冲来消耗更少的功率。
雷达系统可以是一维的(ID)或多维的。一维雷达由1个发射器和1个接收器组成。多维雷达包括多个发射器和/或多个接收器(例如,3个发射器和4个接收器)。
雷达系统可用于多种目的,包括接近度检测、占用确定,人的计数、位置确定、单人呼吸监测,运动事件分类、多人呼吸监测、单人识别和多人识别。出于某些目的,例如接近和/或单人呼吸监测,ID雷达系统可以与多维雷达系统一样有效(或几乎同样有效)。因为其他目的,例如位置确定和多人呼吸监测,多维雷达系统提供显著更高的精度和/或准确度。在一些实现中,多个ID雷达系统联网在一起以提供与单个多维雷达系统一样好或更好的精度和准确度。
提供一种电子设备,例如家用电子设备,包括:通信模块,包括一个或多个天线,并且被配置用于与一个或多个远程设备通信;雷达模块,被配置用于为诸如家庭环境的环境生成雷达数据;以及一个或多个处理器,配置成通过分析雷达数据来确定家中对象的位置和/或移动。在示例中,可以确定与检测到的对象的位置和/或移动相关联的异常。这些异常可以包括确定对象以不寻常的方式移动或者包括不应该存在于环境或环境的一部分中的对象。异常可包括意外速度、意外加速度和意外位置中的一个或多个。可以通过与存储的数据进行比较来确定这些因子是否是意外的,存储的数据例如是在家中找到的对象的历史数据、平均数据或中值数据。在示例中,雷达模块可以包括一个或多个低功率雷达发射器,其中,术语“低”我们是指适合在家中使用的功率,其细节在以下详细描述中阐述。雷达模块可另外包括一个或多个雷达接收器。电子设备还可以包括:一个或多个电路板;包围一个或多个电路板的壳体;通信模块可以耦合到一个或多个电路板;雷达模块可以耦合到一个或多个电路板;并且一个或多个处理器可以安装到一个或多个电路板。一个或多个处理器可以被配置为:管控通信模块和雷达模块的操作,和/或至少部分地基于检测到的对象的所确定的位置和/或移动来检测与检测到的对象相关联的异常。电子设备还可以包括耦合到一个或多个处理器、通信模块和雷达模块的电源。
雷达模块可以布置成具有穿过壳体的视野,例如穿过壳体的前表面的视野。
电子设备可以是智能家用电子设备,例如从由以下各项组成的组中选择的:智能恒温器;智能相机;集线器(hub)设备;智能危险检测器;智能灌溉设备;智能媒体播放设备;智能入口接口设备;智能家电;以及,智能安全设备。术语“智能”我们是指可以例如无线、有线和直接、间接或通过互联网与其他设备通信的设备。
到与检测到的对象相关联的异常的检测可以包括确定检测到的对象具有以下中的一个或多个:意外速度、意外加速度和意外位置。可以通过基于家庭环境的历史数据与家庭环境中的对象的预期位置和移动信息进行比较来确定意外速度、意外加速度和意外位置。
以下详细描述中阐述的其他方面可以被添加或与以上示例组合。
附图说明
为了更好地理解各种所描述的实现,应结合以下附图参考下面的具体实施方式,在附图中,相同的附图标记在所有图中指代对应的部分。
图1是根据一些实现的示例智能家庭环境。
图2是示出根据一些实现的包括智能家庭网络的示例网络架构的框图。
图3示出了根据一些实现的可扩展设备和服务平台的网络级视图,图1的智能家庭环境与该平台集成。
图4示出了根据一些实现的、参考处理引擎以及智能家庭环境的设备的图3的可扩展设备和服务平台的抽象功能视图。
图5是根据一些实现的代表性操作环境,其中服务器系统与通信地耦合到本地智能设备的客户端设备和集线器设备交互。
图6是示出根据一些实现的代表性集线器设备的框图。
图7A是示出根据一些实现的代表性服务器系统的框图。
图7B示出了一些实现所使用的各种数据结构。
图8是示出根据一些实现的与用户账户相关联的代表性客户端设备的框图。
图9A是示出根据一些实现的代表性智能设备的框图。
图9B是示出根据一些实现的代表性电子标签的框图。
图10是示出根据一些实现的代表性智能家庭提供商服务器系统的框图。
图11A示出了根据一些实现的用于视频分析和分类的代表性系统架构。
图11B示出了根据一些实现的用于视频分析和分类的代表性处理流水线。
图12A示出了根据一些实现的用于经由雷达信号进行通信的环境和系统。
图12B示出了根据一些实现的用于利用雷达标签的代表性系统和过程。
图12C示出了根据一些实现的用于利用雷达标签的代表性系统和过程。
图12D是根据一些实现的雷达数据的预测图。
图13A示出了根据一些实现的用于利用来自多个雷达设备的数据的环境和系统。
图13B示出了根据一些实现的用于利用来自多个配备雷达的设备的雷达数据的代表性系统和过程。
图14A-14C是示出根据一些实现的代表性雷达系统的框图。
图14D是示出根据一些实现的代表性雷达控制模块的框图。
图14E是说明根据一些实现的代表性应用处理器的框图。
图15A-15M示出了根据一些实现的相机设备118的各种组装视图。
图16A-16C示出了根据一些实现的恒温器的各种组件视图。
图17A-17D示出了根据一些实现的危险检测器的各种组件视图。
图18示出了根据一些实现的利用旁路共存技术的智能设备的通信模块的框图。
图19A-19B示出了根据一些实现的用于在智能家庭环境中具有多个无线电的智能设备的共存方案。
图20A示出了根据一些实现的代表性雷达设备的组件视图。
图20B示出了根据一些实现的利用代表性雷达设备的家庭环境。
在附图的若干视图中,相同的附图标记指代对应的部件。
具体实施方式
现在将详细参考实现,其示例在附图中示出。在以下详细描述中,阐述了许多具体细节以便提供对各种所述实现的透彻理解。然而,对于本领域普通技术人员来说显而易见的是,可以在没有这些具体细节的情况下实践各种所描述的实现。在其他情况下,没有详细描述众所周知的方法、过程、组件、电路和网络,以免不必要地模糊实现的各方面。
图1是根据一些实现的示例智能家庭环境100。智能家庭环境100包括具有各种集成设备的结构150(例如,房屋、办公楼、车库或移动房屋)。应当理解,设备也可以集成到智能家庭环境100中,该智能家庭环境100不包括整个结构150,例如公寓、公寓中的一套私人住房或办公空间。此外,智能家庭环境100可以控制和/或耦合到实际结构150之外的设备。实际上,智能家庭环境100中的若干设备不需要物理地在结构150内。例如,控制池加热器114或灌溉系统116的设备可位于结构150的外部。
所描绘的结构150包括多个房间152,其通过墙壁154至少部分地彼此分开。墙壁154可包括内壁或外壁。每个房间还可以包括地板156和天花板158。设备可以安装在、附接到或集成于和/或被支撑于墙壁154、地板156或天花板158。在一些实现中,电子标签贴在墙壁154、地板156、天花板158、窗户或门上。
在一些实现中,智能家庭环境100的集成设备包括在智能家庭网络(例如,图2中的202)中和/或与中央服务器或云计算系统彼此无缝整合的智能的、多感测的、网络连接的设备,以提供各种有用的智能家庭功能。智能家庭环境100可以包括:一个或多个智能的、多感测的、网络连接的恒温器102(下文中称为“智能恒温器102(smart thermostats 102)”);一个或多个智能的、网络连接的、多感测的危险检测单元104(以下称为“智能危险检测器104(smart hazard detectors 104)”);一个或多个智能的、多感测的、网络连接的入口通道接口设备106和120(例如,“智能门铃106(smart doorbells 106)”和“智能门锁120(smartdoor locks 120)”):以及一个或多个更智能的、多感测的、网络连接的警报系统122(以下称为“智能警报系统122(smart alarm systems 122)”)。
在一些实现中,一个或多个智能恒温器102检测外界气候特征(例如,温度和/或湿度)并相应地控制HVAC系统103。例如,相应的智能恒温器102包括外界温度传感器。
一个或多个智能危险检测器104可包括指向相应热源(例如,炉子、烤箱、其他家电、壁炉等)的热辐射传感器。例如,厨房153中的智能危险检测器104包括指向炉子/烤箱112的热辐射传感器。热辐射传感器可以确定其所指向的相应热源(或其一部分)的温度,并且可以提供相应的黑体辐射数据作为输出。
智能门铃106和/或智能门锁120可以检测人员接近或离开位置(例如,外门),控制门铃/门锁功能(例如,从便携式电子设备166-1接收用户输入以用于致动智能门锁120的螺栓),通过音频或视觉装置宣布人的接近或离开和/或控制安全系统上的设置(例如,当占用者去和来时激活或停用安全系统)。
智能警报系统122可以检测紧邻附近的个体的存在(例如,使用内置IR传感器),发出警报(例如,通过内置扬声器或通过向一个或多个外部扬声器发送命令),并向智能家庭网络100内/外的实体或用户发送通知。在一些实现中,智能警报系统122还包括:一个或多个输入设备或传感器(例如,小键盘、生物识别扫描仪、NFC收发器、麦克风),用于验证用户的身份;以及,一个或多个输出设备(例如,显示器、扬声器)。在一些实现中,智能警报系统122还可以被设置为“待命(armed)”模式,使得触发条件或事件的检测导致警报被发声,除非执行撤防动作。
在一些实现中,智能家庭环境100包括一个或多个智能的、多感测的、网络连接的墙壁开关108(下文中称为“智能墙壁开关108(smart wall switches 108)”)以及一个或多个智能的、多感测的、网络连接的墙壁插头接口110(以下称为“智能墙壁插头110(smartwall plugs 110)”)。智能墙壁开关108可以检测外界照明条件,检测房间占用状态,并控制一个或多个灯的功率和/或调光状态。在一些情况下,智能墙壁开关108还可以控制诸如吊扇的风扇的功率状态或速度。智能墙壁插头110可以检测房间或壳体的占用,并控制对一个或多个墙壁插头的供电(例如,使得如果没有人在家,则不向插头供电)。
在一些实现中,图1的智能家庭环境100包括多个智能的、多感测的、网络连接的家电112(下文中称为“智能家电112(smart appliances112)”),例如冰箱、炉子、烤箱、电视、洗衣机、烘干机、灯、立体声系统、对讲系统、车库门开启器、落地扇、吊扇、墙壁空调、游泳池加热器、灌溉系统、安全系统、空间加热器、窗户交流单元和电动管道通风口等等。在一些实现中,当插入时,家电可以例如通过指示它是什么类型的家电而向智能家庭网络宣告自己,并且它可以自动地与智能家庭的控件集成。可以通过有线或无线通信协议来促进家电到智能家庭的这种通信。智能家庭还可以包括各种非通信的传统家电140,例如旧的传统洗衣机/干衣机和冰箱等,其可以由智能墙壁插头110控制。智能家庭环境100还可以包括多种部分地进行通信的传统家电142,例如红外(“IR”)控制的壁式空调或其他IR控制的设备,其可以由智能危险检测器104或智能墙壁开关108提供的IR信号控制。
在一些实现中,智能家庭环境100包括一个或多个网络连接的相机118,其被配置为在智能家庭环境100中提供视频监控和安全性。相机118可用于确定结构150以及/或者在结构150中的特定房间152的占用,并且因此可以用作占用传感器。例如,可以处理由相机118捕获的视频以识别在结构150中的占用者的存在(例如,在特定房间152中)。可以基于例如其外观(例如,身高、面部)和/或运动(例如,他们的步行/步态)来识别特定个体。相机118可选地包括一个或多个传感器(例如,IR传感器、雷达系统、运动检测器)、输入设备(例如,用于捕获音频的麦克风)和输出设备(例如,用于输出音频的扬声器)。
智能家庭环境100可以附加地或替代地包括一个或多个其他占用传感器(例如,智能门铃106、智能门锁120、触摸屏、IR传感器、麦克风、外界光传感器、运动检测器、智能夜灯170等)。在一些实现中,智能家庭环境100包括射频识别(RFID)读取器(例如,在每个房间152或其一部分中),其基于位于或嵌入在占用者中的RFID标签来确定占用。例如,RFID读取器可以集成到智能危险检测器104中。
智能家庭环境100还可以包括与物理家庭之外但在家庭的邻近地理范围内的设备的通信。例如,智能家庭环境100可以包括池加热器监视器114,其将当前池温度传送到智能家庭环境100内的其他设备和/或接收用于控制池温度的命令。类似地,智能家庭环境100可以包括灌溉监控器116,其传达关于智能家庭环境100内的灌溉系统的信息和/或接收用于控制这种灌溉系统的控制信息。
在一些实现中,智能家庭环境100包括一个或多个电子标签,其被配置为经由雷达与一个或多个智能设备通信。在一些实现中,电子标签被附加到诸如窗户、门或墙壁的对象上,并被配置成为对象传递雷达签名。在一些实现中,电子标签被附加到诸如宠物的实体,并且被配置为为该实体传递雷达签名。在一些实现中,电子标签被配置为经由多个波长和/或协议进行通信。例如,特定的电子标签被配置为通过RFID以及通过雷达进行通信。在一些实现中,诸如先前讨论的任何智能设备的智能设备包括雷达模块,用于通过发出从对象反射回源头的高频电磁波的脉冲来检测对象的存在、方向、距离和/或速度。在一些实现中,智能设备还包括与雷达模块不同的通信模块,用于与其他智能设备和/或电子标签通信(例如,通过RFID、Wi-Fi和蓝牙等)。
凭借网络连接,图1的一个或多个智能家庭设备可以进一步允许用户与设备交互,即使用户不接近设备。例如,用户可以使用计算机(例如,台式计算机、膝上型计算机或平板计算机)或其他便携式电子设备166(例如,诸如智能电话的移动电话)与设备通信。网页或应用可以被配置为从用户接收通信,并基于通信而控制设备和/或向用户呈现关于设备的操作的信息。例如,用户可以查看设备(例如,炉子)的当前设定点温度,并使用计算机对其进行调整。用户可能在该远程通信期间处于该结构中或结构外部。
如上所述,用户可以使用网络连接的计算机或便携式电子设备166来控制智能家庭环境100中的智能设备。在一些示例中,一些或所有占用者(例如,住在家中的个体)可以向智能家庭环境100注册他们的设备166。这样的注册可以在中央服务器处进行,以将占用者和/或设备认证为与家庭相关联,并且允许占用者使用该设备来控制家中的智能设备。占用者可以例如当占用者在工作或度假时使用他们的注册设备166来远程控制家庭的智能设备。当占用者实际位于家中时,例如当占用者坐在家中的沙发上时,占用者还可以使用他们的注册设备来控制智能设备。应当理解,取代或补充注册设备166,智能家庭环境100可以推断出哪些个体居住在家中并且因此是居住者以及哪些设备166与这些个体相关联。这样,智能家庭环境可以“学习(learn)”谁是占用者,并且允许与这些个体相关联的设备166来控制家庭的智能设备。
在一些实现中,除了包含处理和感测能力之外,设备102、104、106、108、110、112、114、116、118、120和/或122(统称为“智能设备(the smart devices)”)能够与其他智能设备、中央服务器或云计算系统和/或网络连接的其他设备进行数据通信和信息共享。可以使用各种定制或标准无线协议(例如,IEEE 802.15.4、Wi-Fi、ZigBee、6L0WPAN、线程、Z-Wave、蓝牙智能、ISA100.11a、WirelessHART、MiWi等等)的任何一种和/或多种定制或标准有线协议(例如,以太网、HomePlug等)的任何一种或任何其他合适的通信协议(包括截至本文件申请日尚未开发的通信协议)来执行数据通信。
在一些实现中,智能设备经由雷达进行通信。在一些实现中,智能设备经由雷达与一个或多个电子标签通信。在一些实现中,智能设备使用多个通信信道(例如,RFID和雷达)彼此通信和/或与电子标签通信。在一些实现中,智能设备经由一个或多个射频频带(例如,3-10GHz、24-24.5GHz、57-64GHz和/或77-81GHz)进行通信。
在一些实现中,智能设备用作无线或有线中继器。在一些实现中,智能设备中的第一个经由无线路由器与第二个智能设备通信。智能设备还可以经由到诸如互联网162的网络的连接(例如,网络接口160)彼此通信。通过互联网162,智能设备可以与智能家庭提供商服务器系统164通信(这里也称为中央服务器系统和/或云计算系统)。智能家庭提供商服务器系统164可以与关联于智能设备的制造商、支持实体或服务提供商相关联。在一些实现中,用户能够使用智能设备本身联系客户支持,而不是需要使用其他通信手段,例如电话或连接互联网的计算机。在一些实现中,将软件更新自动地从智能家庭提供商服务器系统164发送到智能设备(例如,当可用时、当购买时或以例行间隔)。
在一些实现中,网络接口160包括传统网络设备(例如,路由器),并且图1的智能家庭环境100包括直接或者经由网络接口160通信地耦合到网络162的集线器设备180。集线器设备180还通信地耦合到上述智能的、多感测的、网络连接的设备(例如,智能家庭环境100的智能设备)中的一个或多个。这些智能设备中的每个可选地使用至少在智能家庭环境100中可用的一个或多个无线电通信网络(例如,ZigBee、Z-Wave、Insteon、蓝牙、Wi-Fi和其他无线电通信网络)与集线器设备180通信。在一些实现中,可以通过在智能电话、家用控制器、膝上型计算机、平板计算机、游戏机或类似的电子设备上运行的应用(有时称为智能家庭应用)来控制集线器设备180和耦合到集线器设备/与集线器设备耦合的设备和/或其交互。在一些实现中,这种控制器应用的用户可以查看集线器设备或耦合的智能设备的状态,配置集线器设备以与新引入到家庭网络的智能设备互操作,调试新的智能设备,以及调整或查看连接的智能设备的设置等。在一些实现中,集线器设备扩展了低性能智能设备的能力以匹配相同类型的高性能智能设备的能力,集成了多种不同设备类型的功能——甚至跨越不同的通信协议,并且被配置为流线化新设备的添加和集线器设备的调试。在一些实现中,集线器设备180还包括本地存储设备,用于存储与智能家庭环境100的智能设备相关或由其输出的数据。在一些实现中,数据包括以下中的一个或多个:由相机设备输出的视频数据、智能设备输出的元数据、智能设备的设置信息和智能设备的使用日志等。
在一些实现中,智能家庭环境100包括本地存储设备,用于存储与智能家庭环境100的智能设备相关或由智能家庭环境100的智能设备输出的数据。在一些实现中,数据包括以下中的一个或多个:通过相机设备(例如,相机118)输出的视频数据、智能设备输出的元数据、智能设备的设置信息和智能设备的使用日志等。在一些实现中,本地存储设备经由智能家庭网络(例如,智能家庭网络202,图2)通信地耦合到一个或多个智能设备。在一些实现中,本地存储设备经由有线和/或无线通信网络选择性地耦合到一个或多个智能设备。在一些实现中,本地存储设备用于在外部网络条件差时存储视频数据。例如,当相机118的编码比特率超过外部网络(例如,网络162)的可用带宽时,使用本地存储设备。在一些实现中,本地存储设备在将视频数据传送到服务器系统(例如,服务器系统508,图5)之前临时存储来自一个或多个相机(例如,相机118)的视频数据。在一些实现中,本地存储设备是相机设备的组件。在一些实现中,每个相机设备包括本地存储器。在一些实现中,本地存储设备执行下面相对于服务器系统508(图7A)描述的一些或全部数据处理。在一些实现中,本地存储设备存储下面相对于服务器系统508描述的一些或全部数据,诸如数据存储数据库7160、账户数据库7162、设备信息数据库7164和事件信息数据库7166。在一些实现中,本地存储设备执行这里相对于服务器系统508描述的一些或所有操作。
应当理解,“智能家庭环境(smart home environments)”可以指用于家庭的智能环境,例如单户住宅,但是本教导的范围不限于此。本教导也可以应用于但不限于双工、联排别墅、多单元公寓建筑、酒店、零售商店、办公楼、工业建筑或其他结构,更一般地,任何生活空间或工作空间。
还应当理解,虽然术语用户、顾客、安装者、房主、占用者、客人、房客、房东和修理人员等可以用于指代在在本文描述的一些特定情况的场境中作为的一个或多个人,但是这些指代并不相对于执行这种作为的一个或多个人限制本教导的范围。因此,例如,在单户住宅的情况下,用户、顾客、购买者、安装者、订户和房主这些术语通常可以指代同一个人,因为家庭的负责人通常是作出购买决定、购买单元并且安装和配置单元的人,并且也是单元的用户之一。然而,在诸如房东-租户环境的其他场景中,客户可能是相对于购买单元的房东,安装者可以是本地公寓主管,第一用户可以是租户,第二用户可以再次相对于远程控制功能的房东。重要的是,虽然执行作为的人的身份可能与由一个或多个实现提供的特定优势密切相关,但是这样的身份不应该在随后的描述中解释为必然将本教导的范围限制于具有那些特定身份的那些特定的人。
图2是示出根据一些实现的包括智能家庭网络202的示例网络架构200的框图。在一些实现中,智能家庭环境100中的智能设备204(例如,设备102、104、106、108、110、112、114、116、118、120和/或122)与集线器设备180组合以在智能家庭网络202中创建网状网络。在一些实现中,智能家庭网络202中的一个或多个智能设备204作为智能家庭控制器操作。附加和/或替代地,集线器设备180作为智能家庭控制器操作。在一些实现中,智能家庭控制器具有比其他智能设备更多的计算能力。在一些实现中,智能家庭控制器处理输入(例如,来自智能设备204、电子设备166和/或智能家庭提供商服务器系统164)并且发送命令(例如,发送到智能家庭网络202中的智能设备204)以控制智能家庭环境100的操作。在一些实现中,智能家庭网络202中(例如,在网状网络中)的一些智能设备204是“发言人(spokesman)”节点(例如,204-1),而其他智能家庭网络是“低动力的(low-powered)”节点(例如,204-9)。智能家庭环境100中的一些智能设备是电池供电的,而其他智能设备例如通过连接到智能家庭环境的墙壁154后面的布线(例如,到120V线电压线)而具有常规且可靠的电源。具有常规且可靠的电源的智能设备被称为“发言人”节点。这些节点通常被配备使用无线协议来促进与智能家庭环境100中的各种其他设备以及与智能家庭提供商服务器系统164的双向通信的能力。在一些实现中,一个或多个“发言人”节点作为智能家庭控制器运行。另一方面,电池供电的设备是“低功率”节点。这些节点往往比发言人节点小,并且通常仅使用需要非常小功率的无线协议进行通信,该协议例如是Zigbee、6LoWPAN、雷达等。
在一些实现中,一些低功率节点不能进行双向通信。这些低功率节点发送消息,但它们无法“监听(listen)”。因此,智能家庭环境100中的其他设备(例如,发言人节点)不能向这些低功率节点发送信息。在一些实现中,一些低功率节点仅能够进行有限的双向通信。例如,其他设备仅能够在特定时间段内与低功率节点通信。
如所描述的,在一些实现中,智能设备用作低功率和发言人节点以在智能家庭环境100中创建网状网络。在一些实现中,智能家庭环境中的各个低功率节点定期发出关于它们在感测什么的消息,并且在智能家庭环境中的其他低功率节点除了发出它们自己的消息之外也转发消息,从而使消息在智能家庭网络202中从节点向节点(即,设备向设备)传播。在一些实现中,智能家庭网络202中的能够使用相对高功率的通信协议(例如,IEEE802.11)进行通信的发言人节点能够切换到相对低功率的通信协议,例如IEEE 802.15.4,用于接收这些消息,将消息转换为其他通信协议,并将转换的消息发送到其他发言人节点和/或智能家庭提供商服务器系统164(使用例如相对高功率的通信协议)。因此,使用低功率通信协议的低功率节点能够在整个智能家庭网络202上以及通过互联网162相对于智能家庭提供商服务器系统164发送和/或接收消息。在一些实现中,网状网络使智能家庭提供商服务器系统164能够定期从家中的大多数或所有智能设备接收数据,基于数据做出推断,促进智能家庭网络202内外的设备之间的状态同步,以及向一个或多个智能设备发送命令以在智能家庭环境中执行任务。
如所描述的,发言人节点和一些低功率节点能够“收听(listening)”。因此,用户、其他设备和/或智能家庭提供商服务器系统164可以将控制命令传送到低动力的节点。例如,用户可以使用电子设备166(例如,智能电话)通过互联网向智能家庭提供商服务器系统164发送命令,智能家庭提供商服务器系统164然后将命令中继到智能家庭网络202中的一个或多个发言人节点。发言人节点可以使用低功率协议将命令传送到整个智能家庭网络202中的低功率节点以及未直接从智能家庭提供商服务器系统164接收命令的其他发言人节点。
在一些实现中,作为智能设备204的示例的智能夜灯170(图1)是低功率节点。除了容纳光源之外,智能夜灯170还容纳:占用传感器,例如超声波或无源IR传感器;以及外界光传感器,例如测量房间中的光的光电阻器或单像素传感器。在一些实现中,智能夜灯170被配置为当其外界光传感器检测到房间黑暗时以及当其占用传感器检测到有人在房间中时激活光源。在其他实现中,智能夜灯170被简单地配置为当其外界光传感器检测到房间黑暗时激活光源。此外,在一些实现中,智能夜灯170包括低功率无线通信芯片(例如,ZigBee芯片),其定期发出关于房间的占用和房间中的光量的消息,包括与占用传感器检测房间中人的存在一致的瞬时消息。如上所述,这些消息可以在智能家庭网络202内从节点到节点(即,从智能设备到智能设备)以及通过互联网162无线地(例如,使用网状网络)发送到智能家庭提供商服务器系统164。
低功率节点的其他示例包括智能危险检测器104的电池操作版本。这些智能危险检测器104通常位于不能获得恒定和可靠功率的区域中,并且可包括任何数量和类型的传感器,例如烟/火/热传感器(例如,热辐射传感器)、一氧化碳/二氧化碳传感器、占用/运动传感器、外界光传感器、外界温度传感器和湿度传感器等。此外,智能危险检测器104可选地例如通过使用如上所述的网状网络将对应于每个相应传感器的消息发送到其他设备和/或智能家庭提供商服务器系统164。
发言人节点的示例包括智能门铃106、智能恒温器102、智能墙壁开关108和智能墙壁插头110。这些设备通常位于可靠电源附近并连接到可靠电源,并且因此可能包括更多耗电组件,例如,能够以各种协议进行双向通信的一个或多个通信芯片。
在一些实现中,智能家庭环境包括电子标签206,例如电子标签206-1和电子标签206-2。在一些实现中,电子标签206是智能家庭网络202中的低功率节点。在一些实现中,电子标签206不连接到外部电源。在一些实现中,电子标签206是电池供电的。在一些实现中,电子标签(例如,电子标签206-1)能够收集用于操作标签的能量,例如,收集由电子标签接收的热、振动、电磁和/或太阳能。
在一些实现中,电子标签206能够在第一通信信道(例如,RFID信道)上“监听”,但不能发送消息。在一些实现中,电子标签206是无源雷达设备。无源雷达设备包括没有专用发射器的雷达设备。
无源雷达设备包括角反射器设备和印刷雷达设备。角反射器设备通常用于从对象产生强雷达回波,其否则将仅具有非常低的有效雷达横截面(RCS)。角反射器包括两个或更多个导电表面,其交叉安装(例如,精确地以90度的角度)。进入的电磁波通过多次反射在它们来自的方向上准确地反向散射。因此,即使是具有小RCS的小对象也会产生强烈的回声。
在一些实现中,印刷雷达反射器包括简单铝纤维,其在待跟踪的对象(例如,一张纸)内形成半波谐振器。雷达反射纤维的直径与纸纤维的直径大致相同(通常为6.5mm长,直径为1.5μm)。随机定向的雷达反射光纤提供独特的反向散射图案,其可以被读取并存储在数据库中以供将来识别。也可以设计有序图案,使得各个谐振器耦合或去耦,无论哪个可能产生最佳的反向散射图案。当用雷达照射时,反向散射场相互作用以产生独特的干涉图案,其使得能够识别一个标记对象并将其与其他标记对象区分开。
在一些实现中,电子标签206是能够独立于任何接收波传送射频音调或脉冲的有源雷达设备。在各种实现中,电子标签206能够反射、放大和/或调制所接收的无线电波。有源雷达设备包括单个晶体管设备、基于MEMS的设备和机械门控(快门)设备。
在一些实现中,电子标签206被配置为响应于经由通信信道(例如,RFID信道)从智能设备(例如,图2中的智能设备204-6)接收的启用命令经由雷达进行通信。在一些实现中,电子标签206被配置为以特定间隔(例如,由智能设备预设的间隔)经由雷达进行通信。例如,电子标签206-1和206-2由设备204-6配置,使得在任何给定时间只有一个标签通过雷达进行传输。在一些实现中,电子标签206被配置为响应于检测到环境的变化(例如,电子标签所附着的对象的运动)经由雷达进行通信。例如,在一些实现中,电子标签206包括以下中的一个或多个:湿度传感器;温度传感器;加速度计;陀螺仪;以及/或者,光学传感器。在该示例中,标签被配置为响应于由一个或多个传感器检测到的变化经由雷达进行通信。
在一些实现中,智能家庭环境100包括服务机器人168(图1),其被配置为以自主方式执行各种家庭任务中的任何任务。
如上面参考图1所解释的,在一些实现中,图1的智能家庭环境100包括集线器设备180,其直接或经由网络接口160通信地耦合到一个或多个网络162。集线器设备180还使用至少在智能家庭环境100中可用的无线电通信网络通信地耦合到一个或多个智能设备。无线电通信网络使用的通信协议包括但不限于ZigBee、Z–Wave、Insteon、EuOcean、Thread、OSIAN和Bluetooth Low Energy等。在一些实现中,集线器设备180不仅转换从每个智能设备接收的数据以满足网络接口160或一个或多个网络162的数据格式要求,而且还转换从网络接口160或网络162接收的信息,以满足与目标智能设备相关联的相应通信协议的数据格式要求。在一些实现中,除了数据格式转换之外,集线器设备180还初步处理从智能设备接收的数据或从网络接口160或一个或多个网络162接收的信息。例如,集线器设备180可以集成来自多个传感器/连接设备(包括相同和/或不同类型的传感器/设备)的输入,对这些输入执行更高级别的处理(例如,评估整体环境并协调不同的传感器/设备之间的操作)和/或基于输入集合和编程处理向不同设备提供指令。还应注意,在一些实现中,网络接口160和集线器设备180被集成到一个网络设备。这里描述的功能代表智能设备、在代表性的一个或多个电子设备(例如智能电话)上运行的一个或多个控制应用、一个或多个集线器设备180和通过互联网或其他广域网耦合到一个或多个集线器设备的服务器的特定实现。该功能和相关操作的全部或一部分可以由所描述系统的任何元件执行,例如,可以在不同系统实现中、全部或部分地在服务器、一个或多个连接的智能设备和/或控制应用上或其不同组合执行本文描述为由集线器设备的实现执行的全部或部分功能。
图3示出了根据一些实现的可扩展设备和服务平台的网络级视图,图1的智能家庭环境与该平台集成。可扩展设备和服务平台300包括智能家庭提供商服务器系统164。参考图1描述的每个智能的网络连接的设备(例如,102、104、106、108、110、112、114、116和118,在图2-4中简单地标识为“设备”)可以与智能家庭提供商服务器系统164通信。例如,可以直接(例如,使用到无线载波的3G/4G连接)或通过网络接口160(例如,路由器、交换机、网关、集线器设备或智能的专用全家控制器节点)或通过其任何组合建立到互联网162的连接。
在一些实现中,设备和服务平台300与智能家庭环境100的智能设备通信并从其收集数据。此外,在一些实现中,设备和服务平台300与世界各地的多个智能家庭环境通信并从其收集数据。例如,智能家庭提供商服务器系统164从一个或多个智能家庭环境100的设备收集家庭数据302,其中,设备可以例行地传送家庭数据或者可以在特定实例中(例如,当设备查询家庭数据302时)传送家庭数据。示例性的收集的家庭数据302包括但不限于功耗数据、黑体辐射数据、占用数据、HVAC设置和使用数据、一氧化碳水平数据、二氧化碳水平数据、挥发性有机化合物水平数据、睡眠时间表数据、烹饪时间表数据、内外温度湿度数据、电视收视率数据、内外噪声水平数据、压力数据、视频数据等。
在一些实现中,智能家庭提供商服务器系统164向智能家庭和/或第三方提供一个或多个服务304。示例服务304包括但不限于软件更新、客户支持、传感器数据收集/记录、远程访问、远程或分布式控制和/或使用建议(例如,基于收集的家庭数据302)以提高性能,降低公用事业成本,提高安全性等。在一些实现中,与服务304相关联的数据存储在智能家庭提供商服务器系统164处,并且智能家庭提供商服务器系统164在适当的时间(例如,以规则的间隔、在收到用户的请求时等)检索和传送数据。
在一些实现中,可扩展设备和服务平台300包括处理引擎306,其可以集中在单个服务器上或分布在若干不同的计算实体中而没有限制。在一些实现中,处理引擎306包括引擎,其被配置为从智能家庭环境100的设备(例如,经由互联网162和/或网络接口160)接收数据,索引数据,分析数据和/或根据分析或作为分析的一部分生成统计数据。在一些实现中,分析的数据被存储为导出的家庭数据308。
此后,分析或统计的结果可以被传送回所述设备,该设备向其他设备,向对于设备的用户提供网页的服务器,或者向其他非智能设备实体提供用于导出结果的家庭数据。在一些实现中,使用统计、与使用其他设备相关的使用统计、使用模式和/或总结传感器读数的统计数据由处理引擎306生成并传送。可以经由互联网162提供结果或统计数据。以这种方式,处理引擎306可以被配置和编程为从归属数据302导出各种有用信息。单个服务器可以包括一个或多个处理引擎。
导出的归属数据308可以以不同的粒度用于各种有用的目的,范围从基于每个家庭、每个邻域或每个区域的设备的显式编程控制(例如,电力公用事业的需求-响应计划)到在每个家庭的基础上可能有助的推理抽象的产生(例如,可以推断房主已经离开度假,并且因此可以提高安全检测设备的灵敏度),到可用于政府或慈善目的的统计数据和相关的推理抽象的产生。例如,处理引擎306可以生成关于跨设备群的设备使用的统计数据,并将统计数据发送给设备用户、服务提供商或其他实体(例如,已请求统计的实体和/或已为统计提供货币补偿的实体)。
在一些实现中,为了鼓励创新和研究以及增加用户可用的产品和服务,设备和服务平台300将一系列应用编程接口(API)310暴露给第三方,例如慈善机构314、政府实体316(例如,食品和药品管理局或环境保护局)、学术机构318(例如,大学研究人员)、企业320(例如,向相关设备提供设备保证或服务、基于家庭数据定向广告)、公用事业公司324和其他第三方。API 310耦合到第三方系统并允许第三方系统与智能家庭提供商服务器系统164通信,第三方系统包括服务304、处理引擎306、归属数据302和导出的归属数据308。在一些实现中,API 310允许由第三方执行的应用发起由智能家庭提供商服务器系统164执行的特定数据处理任务,以及接收对家庭数据302和导出的家庭数据308的动态更新。
例如,第三方可以开发与智能家庭提供商服务器系统164集成的程序和/或应用(例如,web应用或移动应用),以向用户提供服务和信息。例如,这样的程序和应用可以被设计为帮助用户减少能量消耗,抢先服务故障设备,准备高服务需求,跟踪过去的服务性能等,和/或执行其他有益的功能或任务。
图4示出了根据一些实现的、参考处理引擎306以及智能家庭环境的设备的、图3的可扩展设备和服务平台300的抽象功能视图400。即使位于智能家庭环境中的设备将具有各种不同的个体能力和限制,但是设备可以被认为是共享共同特征,因为每个设备是数据消费者402(DC)、数据源404(DS)、服务消费者406(SC)和服务源408(SS)。有利地,除了提供设备使用的控制信息以实现其本地和直接目标之外,可扩展设备和服务平台300还可以被配置为使用由这些设备生成的大量数据。除了针对其直接功能增强或优化设备本身的实际操作之外,可扩展设备和服务平台300可以被引导以各种自动化的、可扩展的、灵活的和/或可伸缩的方式“重新利用(repurpose)”该数据,以实现各种有用目标。可以基于例如使用模式、设备效率和/或用户输入(例如,请求特定功能)来预定义或自适应地识别这些目标。
图4示出了包括多个处理范例410的处理引擎306。在一些实现中,处理引擎306包括监视和管理主要或辅助设备功能的管理服务范例410a。设备功能可以包括:确保被给定用户输入的设备的正确操作,估计入侵者处于或正在试图处于住宅(例如,并且响应于其中如此的实例),检测耦合到所述设备的装置的故障(例如,已烧坏的灯泡),实施或否则响应于能量需求响应事件,提供热源警报,和/或警告用户当前或预测的未来事件或特征。在一些实现中,处理引擎306包括广告/通信范例410b,其基于设备使用来估计用户感兴趣的特征(例如,人口统计信息)、期望和/或产品。然后可以提供服务、促销、产品或升级或将其自动提供给用户。在一些实现中,处理引擎306包括社交范例410c,其使用来自社交网络的信息,向社交网络提供信息(例如,基于设备使用)和/或处理与用户和/或与社交网络平台的设备交互相关联的数据。例如,可以更新在社交网络上向其可信联系人报告的用户状态,以基于光检测、安全系统停用或设备使用检测器来指示用户何时回家。作为另一示例,用户可能能够与其他用户共享设备使用统计。在又一个示例中,用户可以共享导致低功率账单的HVAC设置,并且其他用户可以将HVAC设置下载到他们的智能恒温器102以减少他们的电费。
在一些实现中,处理引擎306包括挑战/规则/合规/奖励范例410d,其向用户通知挑战、竞赛、规则、合规性规则和/或奖励和/或使用操作数据来确定是否已经满足挑战,已遵守规则或法规和/或已获得奖励。挑战、规则和/或法规可能涉及节约能源、安全生活(例如,减少热源警报的发生)(例如,减少对于毒素或致癌物的暴露)、节约资金和/或设备使用期限、改善健康等。例如,一个挑战可能涉及参与者将他们的恒温器调低一度达到持续一周。成功完成挑战的那些参与者将获得奖励,例如优惠券、虚拟货币、状态等。关于合规性,一个示例涉及租赁财产所有者制定规则,不允许租户访问某些所有者的房间。具有占用传感器的房间中的设备可以在访问房间时向所有者发送更新。
在一些实现中,处理引擎306集成或否则使用来自外部源的外部信息412以改进一个或多个处理范例的功能。外部信息412可以用于解释从设备接收的数据,确定设备附近的环境的特征(例如,在设备被包含在其中的结构之外),确定用户可用的服务或产品,识别社交网络或社交网络信息,确定设备附近的实体(例如,诸如紧急响应团队、警察或医院的公共服务实体)的联系信息,并且识别统计或环境条件、趋势或其他与家庭或社区相关的信息,等等。
图5示出了代表性操作环境500,其中,服务器系统508为一个或多个智能设备(例如,一个或多个相机118)提供数据处理。在一些实现中,服务器系统508监视并促进对于摄像机118拍摄的视频流中的运动事件的查看。在一些实现中,服务器系统508监视并促进由一个或多个配备雷达的智能设备检测到的雷达事件的查看。如图5所示,在一些实现中,服务器系统508从位于各种物理位置(例如,在家庭、餐馆、商店、街道、停车场和/或图1的智能家庭环境100中)的视频源522(包括相机118)接收视频数据。每个视频源522可以绑定到一个或多个审阅者账户,并且服务器系统508将视频源522的视频监视数据提供给与审阅者账户相关联的客户端设备504。例如,便携式电子设备166是客户端设备504的示例。
在一些实现中,智能家庭提供商服务器系统164或其组件用作服务器系统508。在一些实现中,服务器系统508包括专用视频处理服务器,其独立于由服务器系统508提供的其他服务而向视频源和客户端设备504提供视频处理服务。在一些实现中,服务器系统508包括专用雷达处理服务器,其为各种配备雷达的设备和客户端设备504提供雷达处理服务。
在一些实现中,视频源522中的每个包括一个或多个摄像机118,其捕获视频并基本上实时地将捕获的视频发送到服务器系统508。在一些实现中,视频源522中的每个可选地包括控制器设备(未示出),其用作一个或多个相机118与服务器系统508之间的中介。控制器设备从一个或多个相机118接收视频数据,可选地,对视频数据执行一些初步处理,并基本上实时地代表一个或多个相机118将视频数据发送到服务器系统508。在一些实现中,每个相机具有其自己的机载处理能力,以在将处理后的视频数据(连同通过初步处理获得的元数据)发送到控制器设备和/或服务器系统508之前对捕获的视频数据执行一些初步处理。在一些实现中,捕获的视频在被上载到服务器系统508之前存储在本地存储器(未示出)中。
如图5所示,根据一些实现,每个客户端设备504包括客户端模块502。客户端模块502通过一个或多个网络162与在服务器系统508上执行的服务器端模块506通信。客户端模块502提供用于事件监视和审查处理的客户端功能以及与服务器端模块506的通信。服务器端模块506对于其中每个驻留在相应客户端设备504上的任意数量的客户端模块502提供用于事件监视和审查处理的服务器端功能。服务器端模块506还为任意数量的视频源522提供用于视频处理和相机控制的服务器端功能,所述任意数量的视频源522包括任何数量的控制设备和相机118。
在一些实现中,服务器侧模块506包括一个或多个处理器512、视频存储数据库514、设备和账户数据库516、到一个或多个客户端设备518的I/O接口以及到一个或多个视频源520的I/O接口。到一个或多个客户端设备518的I/O接口促进服务器端模块506的面向客户端的输入和输出处理。数据库516存储用于向视频处理服务器注册的审阅者账户的多个简档,其中,相应的用户简档包括:相应审阅者账户的账户凭证;以及,链接到相应审阅者账户的一个或多个视频源。到一个或多个视频源520的I/O接口促进与一个或多个视频源522(例如,一个或多个相机118和相关控制器设备的组)的通信。视频存储数据库514存储:从视频源522接收的原始视频数据;以及,各种类型的元数据,例如运动事件、事件类别、事件类别模型、事件过滤器和事件掩码,用在用于每个审阅者账户的的事件监视和审查的数据处理中。
代表性客户端设备504的示例包括但不限于手持式计算机、可穿戴计算设备、个人数字助理(PDA)、平板计算机、膝上型计算机、台式计算机、蜂窝电话、智能手机、增强型通用分组无线电服务(EGPRS)移动电话、媒体播放器、导航设备、游戏机、电视、遥控器、销售点(POS)终端、车载计算机、电子书阅读器或这些数据处理设备或其他数据处理设备中的任何两个或更多个的组合。
一个或多个网络162的示例包括局域网(LAN)和诸如互联网的广域网(WAN)。可选地,使用任何已知的网络协议来实现一个或多个网络162,该网络协议包括各种有线或无线协议,诸如以太网、通用串行总线(USB)、FIREWIRE、长期演进(LTE)、全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi、互联网协议语音(VoIP)、Wi-MAX或任何其他合适的通信协议。
在一些实现中,在一个或多个独立数据处理装置或分布式计算机网络上实现服务器系统508。在一些实现中,服务器系统508还使用第三方服务提供商(例如,第三方云服务提供商)的各种虚拟设备和/或服务来提供服务器系统508的底层计算资源和/或基础设施资源。在一些实现中,服务器系统508包括但不限于手持式计算机、平板计算机、膝上型计算机、台式计算机或这些数据处理设备或其他数据处理设备中的任何两个或更多个的组合。
图1中所示的服务器-客户端环境500包括客户端部分(例如,客户端模块502)和服务器端部分(例如,服务器端模块506)。操作环境500的客户端和服务器部分之间的功能划分可以在不同的实现中变化。类似地,视频源522和服务器系统508之间的功能划分可以在不同的实现中变化。例如,在一些实现中,客户端模块502是瘦客户端,其仅提供面向用户的输入和输出处理功能,并且将所有其他数据处理功能委托给后端服务器(例如,服务器系统508)。类似地,在一些实现中,视频源522中的相应一个是简单视频捕获设备,其连续捕获视频数据并将视频数据流式传输到服务器系统508,而不对视频数据进行局部初步处理或对于视频数据进行有限的局部初步处理。尽管从服务器系统508的角度描述了本技术的许多方面,但是客户端设备504和/或视频源522执行的相应动作对于本领域技术人员而言在无需任何创造性的努力的情况下将是显而易见的。类似地,可以从客户端设备或视频源的角度描述本技术的一些方面,并且由视频服务器执行的相应动作对于本领域技术人员而言在无需任何创造性的努力的情况下将是显而易见的。此外,本技术的一些方面可以由服务器系统508、客户端设备504和视频源522协作地执行。
应当理解,涉及服务器系统508、视频源522和视频相机118的操作环境500仅仅是示例。操作环境500的许多方面通常适用于其他操作环境,其中,服务器系统提供数据处理以监视和促进对由其他类型的电子设备(例如,智能恒温器102、智能危险检测器104、智能门铃106、智能墙壁插头110和家电112等)捕获的数据的审查。
电子设备、客户端设备或服务器系统使用一个或多个通信网络162彼此通信。在示例智能家庭环境中,两个或更多个设备(例如,网络接口设备160、集线器设备180和客户端设备504-m)彼此非常接近地定位,使得它们可以经由有线连接、WLAN或蓝牙个人区域网络(PAN)通信地耦合在相同的子网162A中。可选地基于传统蓝牙技术或蓝牙低功耗(BLE)技术建立蓝牙PAN。该智能家庭环境还包括一个或多个其他无线电通信网络162B,视频源522-n的至少一些电子设备通过其与集线器设备180交换数据。或者,在某些情况下,视频源522-n的一些电子设备直接经由耦合设备160、180和504-m的相同子网162A与网络接口设备160通信。在一些实现中(例如,在网络162C中),客户端设备504-m和视频源522-n的电子设备都在不穿过网络接口设备160或集线器设备180的情况下经由一个或多个网络162直接通信。
在一些实现中,在正常操作期间,网络接口设备160和集线器设备180彼此通信以形成网络网关,通过该网络网关与视频源522-n的电子设备交换数据。如上所述,网络接口设备160和集线器设备180可选地经由子网162A彼此通信。
图6是示出根据一些实现的代表性集线器设备180的框图。在一些实现中,集线器设备180包括一个或多个处理单元(例如,CPU、ASIC、FPGA、微处理器等)602、一个或多个通信接口604、存储器606、无线电640和用于互连这些组件(有时称为芯片组)的一条或多条通信总线608。在一些实现中,集线器设备180包括一个或多个输入设备610,诸如用于接收输入的一个或多个按钮。在一些实现中,集线器设备180包括一个或多个输出设备612,诸如一个或多个指示灯、声卡、扬声器、用于显示文本信息和错误代码的小显示器等。此外,在一些实现中,集线器设备180使用麦克风和语音辨识或相机和手势辨识来补充或替换键盘。在一些实现中,集线器设备180包括位置检测设备614,例如GPS(全球定位卫星)或其他地理位置接收器,用于确定集线器设备180的位置。
集线器装置180可选地包括一个或多个内置传感器(未示出),包括例如一个或多个热辐射传感器、外界温度传感器、湿度传感器、IR传感器、雷达、占用传感器(例如,使用RFID传感器)、外界光传感器、运动检测器、加速度计和/或陀螺仪。
无线电640启用和/或连接到智能家庭环境中的一个或多个无线电通信网络,并允许集线器设备与智能设备204通信。在一些实现中,无线电640能够使用下述部分的任何一种进行数据通信:各种定制或标准无线协议(例如,IEEE 802.15.4、Wi-Fi、ZigBee、6L0WPAN、线程、Z-Wave、蓝牙智能、ISA100.11a、WirelessHART、MiWi等);定制或标准有线协议(例如,以太网、HomePlug等);和/或,任何其他合适的通信协议,包括截至本文的申请日尚未开发的通信协议。在一些实现中,无线电640包括多个不同的物理无线电,每个物理无线电实现不同的通信协议。例如,在一些实现中,无线电640包括Wi-Fi无线电、蓝牙无线电和IEEE 802.15.4无线电,所有这些都以2.4GHz工作。在一些实现中,无线电640包括一个或多个雷达收发器。在一些实现中,组合了一些无线电。例如,在一些实现中,蓝牙无线电和Wi-Fi无线电被并入耦合到单个天线的单个芯片中。在其他实现中,蓝牙无线电和IEEE802.15.4无线电被并入耦合到单个天线的单个芯片中。这些无线电的任何组合可以在智能家庭环境中采用的任何智能设备中实现。
在一些实现中,集线器设备180包括雷达子系统。在一些实现中,雷达子系统使用无线电波(有时也称为雷达信号)来确定对象的范围、角度、位置或速度。在一些实现中,雷达子系统发射从其路径中的对象反射的无线电波(或微波)。雷达子系统还接收并处理反射波以确定对象的属性。在一些实现中,雷达子系统包括存储器606中的一个或多个通信模块(例如,无线电通信模块620)、一个或多个无线电640和/或一个或多个通信接口604。
通信接口604包括例如硬件,其能够将一个或多个无线电640与集线器设备180对接,以便使得能够使用各种定制或标准无线协议(例如,IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、线程、Z-Wave、蓝牙智能、ISA100.11a、WirelessHART、MiWi等)中的任何一种来实现数据通信)的任何一种和/或各种定制或标准有线协议(例如,以太网,HomePlug等)的任何一种或任何其他合适的通信协议(包括截至本文件申请日尚未开发的通信协议)来进行数据通信。在一些实现中,通信接口604包括用于传送和接收由无线电640管控的信号的一个或多个天线。
存储器606包括高速随机存取存储器,例如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备;并且可选地包括非易失性存储器,例如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器606或者存储器606内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实现中,存储器606或存储器606的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集:
·操作逻辑616,包括用于处理各种基本系统服务和用于执行硬件相关任务的过程;
·集线器设备通信模块618,用于连接到经由一个或多个通信接口604(有线或无线)连接到一个或多个网络162的其他网络设备(例如,网络接口160,例如提供互联网连接的路由器、联网存储设备、网络路由设备、服务器系统508等)并与之通信;
·无线电通信模块620,用于经由一个或多个无线电通信设备(例如,无线电640)将集线器设备180连接到其他设备(例如,控制器设备、智能家庭环境100中的智能设备204、客户端设备504和/或电子标签);
·用户界面模块622,用于提供和显示用户界面,其中,可以配置和/或查看一个或多个设备(例如,智能家庭环境100中的智能设备204)的设置、捕获的数据和/或其他数据;以及
·集线器设备数据库624,包括但不限于:
o传感器信息6240,用于存储和管理由集线器设备180的一个或多个传感器和/或一个或多个其他设备(例如,智能家庭环境100中的智能设备204)接收、检测和/或传送的数据;
o设备设置6242,用于存储一个或多个设备(例如,智能家庭环境100中的耦合智能设备204)的操作设置,例如设备标识、定时设置、雷达设置、操作模式和/或偏好设置;以及
o通信协议信息6244,用于存储和管理一个或多个协议(例如,标准无线协议,例如ZigBee、Z-Wave等;和/或,定制或标准有线协议,例如以太网)的协议信息。
以上标识的元件(例如,存储在集线器设备180的存储器206中的模块)中的每个可以存储在前面提到的存储器设备的一个或多个中(例如,智能家庭环境100中的任何智能设备的存储器,图1),并且对应于用于执行上述功能的一组指令。以上识别的模块或程序(即,指令集)不需要实现为单独的软件程序、过程或模块,并且因此这些模块的各种子集可以在各种实现中组合或否则重新布置。在一些实现中,存储器606可选地存储上面标识的模块和数据结构的子集。此外,存储器606可选地存储上面未描述的附加模块和数据结构。
图7A是示出根据一些实现的服务器系统508的框图。服务器系统508通常包括一个或多个处理单元(CPU)702、一个或多个网络接口704(例如,包括到一个或多个客户端设备的I/O接口和到一个或多个电子设备的I/O接口)、存储器706和用于互连这些组件(有时称为芯片组)的一条或多条通信总线708。存储器706包括高速随机存取存储器,例如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备;并且可选地包括非易失性存储器,例如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器706可选地包括远离一个或多个处理单元702的一个或多个存储设备。存储器706或者存储器706内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实现中,存储器706或存储器706的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集:
·操作系统710,包括用于处理各种基本系统服务和用于执行硬件相关任务的过程;
·网络通信模块712,用于经由一个或多个网络接口704(有线或无线)将服务器系统508连接到其他系统和设备(例如,客户端设备、电子设备和连接到一个或多个网络162的系统,图1-5);
·服务器端模块714,其提供用于设备控制、数据处理和数据查看的服务器端功能,包括但不限于:
o数据接收模块7140,用于接收来自电子设备的数据(例如,来自相机118的视频数据和/或来自配备雷达的设备的雷达信息),并准备接收的数据以便进一步处理和在数据存储数据库7160中存储;
o集线器和设备控制模块7142,用于生成和发送服务器发起的控制命令以修改电子设备(例如,智能家庭环境100的设备)的操作模式和/或接收(例如,从客户端设备504)和转发用户启动的控制命令以修改电子设备的操作模式;
o数据处理模块7144,用于处理由电子设备提供的数据和/或准备处理后的数据并将其发送到用于审查的设备(例如,客户端设备504以供用户查看),包括但不限于:
■雷达处理模块7145,用于处理由配备雷达的设备提供的雷达数据,例如分类雷达事件和识别雷达检测到的实体;
■视频处理模块7146,处理由一个或多个相机提供的视频数据,例如分类运动事件和识别运动实体;以及
■用户接口子模块7150,用于与用户通信(例如,发送警报、时间线事件等,并接收用户编辑和区域定义等);
以及
·服务器数据库716,包括但不限于:
o数据存储数据库7160,用于存储与每个用户账户的每个电子设备(例如,每个相机)相关联的数据以及数据处理模型、处理的数据结果和与数据相关联的其他相关的元数据(例如,数据结果的名称、电子设备的位置、创建时间、持续时间、电子设备的设置等),其中(可选地),安全地存储与集线器设备180或智能设备相关联的数据和/或处理的全部或部分;
o账户数据库7162,用于存储用户账户的账户信息,包括用户账户信息,例如用户简档7163、链接的集线器设备和电子设备的信息和设置(例如,集线器设备标识)、集线器设备特定的秘密、相关的用户和硬件特性(例如,服务层、设备模型、存储容量、处理能力等)、用户接口设置、数据查看偏好等,其中,关联的电子设备的信息包括但不限于一个或多个设备标识符(例如,MAC地址和UUID)、设备特定的秘密和显示的标题;
o设备信息数据库7164,用于独立于与对应的集线器设备是否已与任何用户账户相关联而存储诸如设备简档7165之类的与一个或多个设备有关的设备信息,所述设备简档7165例如是设备标识符和集线器设备特定秘密;
o事件信息数据库7166,用于存储诸如事件记录7168之类的事件信息,例如事件日志信息和事件类别等;
o标签信息数据库7170,用于存储一个或多个电子标签的标签信息,例如标签标识符、标签信号定时和标签位置信息等;
o雷达信息数据库7172,用于存储一个或多个智能设备的雷达信息,例如雷达波段和/或模式信息、历史雷达数据和雷达目标建模信息等;以及
o设备定时信息7174,用于存储一个或多个智能设备的定时信息,例如,用于同步各种智能设备的定时同步信息。
以上标识的元件中的每个可以存储在先前提到的存储器设备中的一个或多个中,并且对应于用于执行上述功能的一组指令。上述标识的模块或程序(即,指令集)不需要实现为单独的软件程序、过程或模块,并且因此这些模块的各种子集可以在各种实现中组合或否则重新排列。在一些实现中,存储器706可选地存储上面标识的模块和数据结构的子集。此外,存储器706可选地存储上面未描述的附加模块和数据结构。
图7B示出了一些实现所使用的各种数据结构,包括事件记录7168-i、用户简档7163-i和设备简档7165-i。事件记录7168-i对应于运动事件i和运动事件i的数据。在一些情况下,运动事件i的数据包括运动开始(有时也称为提示点)数据71681、事件片段数据71682、原始视频数据71683、运动结束数据71684、事件特征数据71685、场景特征数据71686、相关联的用户信息71687和相关联的设备信息71688。在一些情况下,事件记录7168-i仅包括上述数据的子集。在一些情况下,事件记录7168-i包括未示出的附加事件数据,诸如关于事件/运动掩码的数据。
运动开始数据71681包括诸如时间戳的日期和时间信息,并且可选地包括附加信息,诸如关于当前运动量和/或运动开始位置的信息。类似地,运动结束数据71684包括诸如时间戳的日期和时间信息,并且可选地包括附加信息,诸如关于当前运动量和/或运动结束位置的信息。
事件片段71682包括关于运动事件i的片段的信息。在一些情况下,事件片段与原始视频数据71683分开存储。在一些情况下,以比原始视频数据更低的显示分辨率存储事件片段。例如,以480p或780p可选地存储事件片段,并且以1080i或1080p存储原始视频数据。以较低的显示分辨率存储事件片段使得系统能够花费更少的时间和资源来检索和处理事件片段。在一些情况下,事件片段不是单独存储的,并且片段信息包括对原始视频数据71683的引用以及用于再现事件片段的日期和时间信息。
事件特征数据71685包括关于事件特征的信息,诸如事件分类/类别、对象掩码、运动掩码、识别/辨识/跟踪的运动对象(有时也称为斑点)、关于运动对象的特征的信息(例如,对象颜色、对象尺寸、速度、尺寸变化等)和关于感兴趣区域中的活动的信息等。场景特征数据71686包括关于其中发生事件的场景的信息,例如深度图信息、关于窗口、电视、风扇、天花板/地板等的位置的信息、关于场景是在室内还是室外的信息和关于感兴趣区域的信息等。
关联用户信息71687包括关于与事件相关联的用户的信息,该用户例如是在事件中识别的用户和接收事件通知的用户等。在一些情况下,关联用户信息71687包括对于用户的用户简档7163的链接、指针或引用。关联设备信息71688包括关于事件中涉及的一个或多个设备(例如,记录该事件的相机118)的信息。在一些情况下,关联设备信息71688包括对设备的设备简档7165的链接、指针或引用。
用户简档7163-i对应于与智能家庭网络(例如,智能家庭网络202)相关联的用户i,诸如集线器设备204的用户、由集线器设备204识别的用户和从集线器设备204或从服务器系统508接收通知的用户等。在一些情况下,用户简档7163-i包括用户偏好71631、用户设置71632、关联设备信息71633和关联事件信息71634。在一些情况下,用户简档7163-i仅包括上述数据的子集。在一些情况下,用户简档7163-i包括未示出的附加用户信息,诸如关于与用户i相关联的其他用户的信息。
用户偏好71631包括由用户输入的显式用户偏好以及由系统(例如,服务器系统508和/或客户端设备504)确定的隐式和/或推断的用户偏好。在一些情况下,推断的用户偏好基于历史用户活动和/或其他用户的历史活动。用户设置71632包括关于用户i设置的设置的信息,该设置例如是通知设置和设备设置等。在一些情况下,用户设置71632包括与用户i相关联的设备的设备设置。
关联设备信息71633包括关于与用户i相关联的设备的信息,该设备例如是用户的智能家庭环境100内的设备和/或客户端设备504。在一些情况下,关联设备信息71633包括到对应设备简档7165的链接、指针或引用。关联事件信息71634包括关于与用户i相关联的事件的信息,该事件例如是其中用户i被识别的事件、用户i被通知的事件和对应于用户i的智能家庭环境100的事件等。在一些情况下,关联事件信息71634包括到对应事件记录7168的链接、指针或引用。
设备简档7165-i对应于与智能家庭网络(例如,智能家庭网络202)相关联的设备,例如集线器设备204、相机118和客户端设备504等。在一些情况下,设备简档7165-i包括设备设置71651、关联设备信息71652、关联用户信息71653、关联事件信息71654和环境数据71655。在一些情况下,设备简档7165-i仅包括上面数据的子集。在一些情况下,设备简档7165-i包括未示出的附加设备信息,诸如关于设备当前是否活动的信息。
设备设置71651包括关于设备i的当前设置的信息,诸如定位信息和操作模式信息等。在一些情况下,设备设置71651是用户特定的,并且由设备i的相应用户设置。关联设备信息71652包括关于与设备i相关联的其他设备的信息,该其他设备例如是链接到设备i的其他设备和/或与设备i在同一智能家庭网络中的其他设备。在一些情况下,关联设备信息71652包括到对应于关联设备的相应设备简档7165的链接、指针或引用。
关联用户信息71653包括关于与设备相关联的用户的信息,该用户例如是从设备接收通知的用户、向设备注册的用户和与设备的智能家庭网络相关联的用户等。在一些情况下,关联用户信息71653包括到对应于关联用户的用户简档7163的链接、指针或引用。
关联事件信息71654包括关于与设备i相关联的事件的信息,该事件例如是涉及设备i的历史事件。在一些情况下,关联事件信息71654包括到对应于关联事件的事件记录7168的链接、指针或引用。
环境数据71655包括关于设备i的环境的信息,诸如关于设备是在室外还是在室内的信息、关于环境的光水平的信息、关于在环境中预期的活动量的信息(例如,关于该设备是否处于私人住宅对繁忙的商业物业中的信息)和关于环境对象的信息(例如,相机的深度映射信息)等。
图8是示出根据一些实现的与用户账户相关联的代表性客户端设备504的框图。客户端设备504通常包括一个或多个处理单元(CPU)802、一个或多个网络接口804、存储器806以及用于互连这些组件(有时称为芯片组)的一条或多条通信总线808。可选地,客户端设备还包括用户接口810和一个或多个内置传感器890(例如,加速计和陀螺仪)。用户接口810包括使得能够呈现媒体内容的一个或多个输出设备812,包括一个或多个扬声器和/或一个或多个视觉显示器。用户接口810还包括一个或多个输入设备814,包括促进用户输入的用户接口组件,例如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势捕捉相机或其他输入按钮或控件。此外,一些客户端设备使用麦克风和语音辨识或相机和手势辨识来补充或替换键盘。在一些实现中,客户端设备包括用于捕获图像的一个或多个相机、扫描仪或光传感器单元(未示出)。可选地,客户端设备包括位置检测设备816,例如GPS(全球定位卫星)或其他地理位置接收器,用于确定客户端设备的位置。
存储器806包括高速随机存取存储器,例如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备;并且可选地包括非易失性存储器,例如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器806可选地包括远离一个或多个处理单元802的一个或多个存储设备。存储器806或者存储器806内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实现中,存储器806或存储器806的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集:
·操作系统818,包括用于处理各种基本系统服务和用于执行硬件相关任务的过程;
·网络通信模块820,用于经由一个或多个网络接口804(有线或无线)将客户端设备504连接到其他系统和设备(例如,客户端设备、电子设备和连接到一个或多个网络162(图1-5)的系统);
·输入处理模块822,用于检测来自一个或多个输入设备814之一的一个或多个用户输入或交互,并解释检测到的输入或交互;
·用于由客户端设备执行的一个或多个应用824(例如,游戏、社交网络应用、智能家庭应用和/或其他基于web或非基于web的应用),用于控制设备(例如,向集线器设备和/或其他客户端或电子设备发送命令、配置设置等)以及用于查看由设备捕获的数据(例如,设备状态和设置、捕获的数据或关于集线器设备或其他连接的设备的其他信息);
·用户界面模块622,用于提供和显示用户界面,其中,可以配置和/或查看一个或多个设备(例如,智能家庭环境100中的智能设备204)的设置、捕获的数据和/或其他数据;
·客户端模块828,其提供用于设备控制、数据处理和数据查看的客户端功能,包括但不限于:
o集线器设备和设备控制模块8280,用于根据用户输入生成用于修改集线器设备或电子设备的操作模式的控制命令;以及
o数据查看模块8282,用于提供用于查看由服务器系统508处理的数据的用户界面;以及
·客户数据830,存储与用户账户和电子设备相关联的数据,包括但不限于:
o账户数据8300,存储有关与用户账户相关联的客户端设备和电子设备(例如,视频源522的)上加载的用户账户的信息,其中,这样的信息包括缓存的登录凭证、集线器设备标识符(例如,MAC地址以及UUID)、电子设备标识符(例如,MAC地址和UUID)、用户接口设置、显示首选项、认证令牌和标签、密码密钥等;以及
o本地数据存储数据库8302,用于选择性地存储与电子设备(例如,诸如相机11 8的视频源522的)相关联的原始数据或处理数据。
以上标识的元件中的每个可以存储在先前提到的存储器设备中的一个或多个中,并且对应于用于执行上述功能的一组指令。以上识别的模块或程序(即,指令集)不需要实现为单独的软件程序、过程、模块或数据结构,并且因此这些模块的各种子集可以在各种实现中组合或否则重新布置。在一些实现中,存储器806可选地存储上面标识的模块和数据结构的子集。此外,存储器806可选地存储上面未描述的附加模块和数据结构。
在一些实现中,客户端设备504包括用于在智能家庭环境中注册智能设备和/或电子标签的一个或多个图形用户界面和/或一个或多个模块。在一些实现中,客户端设备504包括用于与智能家庭环境交互的应用,诸如智能家庭应用。在一些实现中,智能家庭应用包括用于以下中的一个或多个的一个或多个用户界面:注册一个或多个智能设备、注册一个或多个电子标签、调整一个或多个智能设备的操作和查看来自一个或多个智能设备的数据等。在一些实现中,智能家庭应用包括用户界面模块826和客户端侧模块828。
图9A是示出根据一些实现的代表性智能设备204的框图。在一些实现中,智能设备204(例如,智能家庭环境100(图1和图2)的任何设备,诸如相机118、智能危险检测器104、智能恒温器102、集线器设备180等)包括一个或多个处理单元(例如,CPU、ASIC、FPGA和微处理器等)902、存储器906、包括一个或多个无线电940和一个或多个无线电950的通信模块942、通信接口904和用于互连这些组件(有时称为芯片组)的一条或多条通信总线908。在一些实现中,用户接口910包括使得能够呈现媒体内容的一个或多个输出设备912,包括一个或多个扬声器和/或一个或多个视觉显示器。在一些实现中,用户接口910还包括一个或多个输入设备914,包括促进用户输入的用户接口组件,例如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势捕捉相机或其他输入按钮或控件。此外,一些智能设备204使用麦克风和语音辨识或相机和手势辨识来补充或替换键盘。在一些实现中,智能设备204包括一个或多个图像/视频捕获设备918(例如,相机、摄像机、扫描仪、光传感器单元)。可选地,客户端设备包括位置检测设备916,例如GPS(全球定位卫星)或其他地理位置接收器,用于确定智能设备204的位置。
内置传感器990包括例如一个或多个热辐射传感器、外界温度传感器、湿度传感器、IR传感器、占用传感器(例如,使用RFID传感器)、外界光传感器、运动检测器、加速度计和/或陀螺仪。
所述无线电940和无线电950启动在智能家庭环境中的一个或多个无线电通信网络,并允许智能设备204与其他设备通信。在一些实现中,所述无线电940能够使用下述部分的任何一种来进行数据通信:各种定制或标准无线协议(例如,IEEE 802.15.4、Wi-Fi、ZigBee、6L0WPAN、线程、Z-Wave、蓝牙智能、ISA100.11a、WirelessHART、MiWi等);定制或标准有线协议(例如,以太网、HomePlug等);和/或任何其他合适的通信协议,包括截至本文的申请日尚未开发的通信协议。在一些实现中,无线电940和/或无线电950用于雷达通信。
通信接口904包括例如硬件,其能够将一个或多个无线电940和950与智能设备204对接,以便使得能够使用下述部分来进行数据通信:各种定制或标准无线协议(例如,IEEE802.15.4、Wi-Fi、ZigBee、6LoWPAN、线程、Z-Wave、蓝牙智能、ISA100.11a、WirelessHART、MiWi等)中的任何一种;和/或,各种定制或标准有线协议(例如,以太网、HomePlug等)的任何一种;或任何其他合适的通信协议,包括截至本文件申请日尚未开发的通信协议。在一些实现中,每个无线电940和无线电950具有相应的通信接口904,用于促进和管理相应无线电的数据通信,而在其他实现中,通过单个通信接口904管理多个无线电940和/或950。
在一些实现中,无线电940和/或无线电950被配置为在智能家庭环境中传送和接收相同或不同类型的信号。例如,无线电940可以包括被配置为在智能家庭环境内的其他设备(例如,智能设备)之间传输数据的收发器(例如,用于在智能设备之间单向/双向地传输数据的IEEE 802.15.4通信协议)。在设备之间传输的信号可选地包括例如指向关键危险信息的信号(例如,指示检测到烟雾的ping)或设备状态信息(例如,指示低电池量的ping)。相反,在一些实现中,一个或多个无线电950可以包括被配置为跨数据网络传输高带宽数据的收发器(例如,用于将视频流上载到智能家庭提供商服务器系统164的IEEE 802.11Wi-Fi)。在一些实现中,无线电940和/或无线电950包括被配置用于与设备进行近距离通信的收发器(例如,用于设备供应的蓝牙通信协议)。在一些实现中,无线电940和/或无线电950包括被配置为传送低功率信号的收发器(例如,未连接到持久电源的智能危险检测器104)。在一些实现中,无线电940和/或无线电950被配置为在智能家庭环境中传送多种类型的信号(例如,除了将接收到的信标路由到其他附近的智能设备之外,Wi-Fi无线电950还将视频流数据上载到智能家庭提供商服务器系统164)。在一些实现中,相应设备的无线电940和/或无线电950包括用于直接且可通信地将相应设备桥接到其他设备的收发器。例如,直接通过蓝牙配对设备,而不是通过使用Wi-Fi通过路由器进行通信。在一些实现中,无线电940和/或无线电950被配置为转换通过第一无线电940接收的信号,并进一步使用第一无线电940和/或无线电950重新传送经转换的信号(例如,专有消息格式通过蓝牙被接收并进被转换,其中,使用Wi-Fi将转换的消息重新传送到其他设备)。
在一些实现中,无线电940和/或无线电950包括被配置为经由RFID传输数据的收发器(例如,用于识别电子标签和/或其他设备)。在一些实现中,无线电940和/或无线电950包括被配置用于雷达操作(例如,用于确定距离和速度等)的收发器。在一些实现中,无线电940和/或无线电950被配置用于经由一个或多个射频频带(例如,3-10GHz、24-24.5GHz、57-64GHz和/或77-81GHz)进行雷达操作。
通信模块942包括各种组件,用于使相应的智能设备204能够接收和传送信号,该各种组件包括一个或多个放大器、振荡器、天线、滤波器、开关、存储器、固件和/或任何其他支持电路或电路组件。在一些实现中,一个或多个无线电940和一个或多个无线电950是通信模块942的集成组件(例如,片上系统(SOC))。在一些实现中,一个或多个无线电940和一个或多个无线电950具有相应的电路组件。或者,一个或多个无线电940和一个或多个无线电950共享一个或多个电路组件。
在一些实现中,通信模块942包括具有一个发射器和一个接收器的ID雷达子系统。在一些实现中,通信模块842包括多维雷达子系统。例如,在一些实现中,通信模块842包括两个雷达发射器和四个雷达接收器。
存储器906包括高速随机存取存储器,例如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备;并且可选地包括非易失性存储器,例如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器906或者存储器906内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实现中,存储器906或存储器906的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集:
·操作逻辑920,包括用于处理各种基本系统服务和用于执行硬件相关任务的过程;
·设备通信模块922,用于连接到通过一个或多个通信接口904(有线或无线)与一个或多个网络162连接的其他网络设备(例如,网络接口160,例如提供互联网连接的路由器、联网存储设备、网络路由设备、服务器系统508等)并与之通信;
·无线电通信模块924,用于结合通信模块942利用无线电通信将智能设备204连接到其他设备(例如,控制器设备、智能家庭环境100中的智能设备204、客户端设备504);
·输入处理模块926,用于检测来自一个或多个输入设备914的一个或多个用户输入或交互,并解释检测到的输入或交互;
·用户界面模块928,用于提供和显示用户界面,其中,一个或多个设备(例如,智能设备204和/或智能家庭环境100中的其他设备)的设置、捕获数据和/或其他数据可以被配置和/或查看;
·用于由智能设备930执行的一个或多个应用930(例如,游戏、社交网络应用、智能家庭应用和/或其他基于web或非基于web的应用),用于控制设备(例如,执行命令、发送命令和/或配置智能设备204和/或其他客户端/电子设备的设置)以及用于查看由设备捕获的数据(例如,设备状态和设置、捕获的数据或关于智能设备204和/或其他客户/电子设备的其他信息);
·设备侧模块932,其提供用于设备控制,数据处理和数据查看的设备侧功能,包括但不限于:
o命令接收模块9320,用于接收、转发和/或执行用于操作智能设备204的指令和控制命令(例如,来自客户端设备504、来自智能家庭提供商服务器系统164、来自在用户接口910上检测到的用户输入等);以及
o数据处理模块9322,用于处理由一个或多个输入(例如,输入设备914、图像/视频捕获设备918、位置检测设备916)、传感器(例如,内置传感器990)、接口(例如,通信接口904、无线电940)和/或智能设备204的其他组件捕获或接收的数据,并且用于准备和发送处理的数据到用于查看的设备(例如,客户端设备504以供用户查看),该用于查看的设备包括但是不限于:
■雷达处理模块9324,用于处理由智能设备204捕获或接收的雷达数据,例如分类雷达事件、辨识雷达实体和/或将雷达数据与来自其他传感器的数据(例如,视频数据)聚合;
·存储与设备(例如,智能设备204)相关联的数据的设备数据934,包括但不限于:
o存储与加载在智能设备204上的用户账户有关的信息的账户数据9340,其中,这样的信息包括缓存的登录凭证、智能设备标识符(例如,MAC地址和UUID)、用户接口设置、显示首选项、认证令牌和标签、密码钥匙等;以及
o本地数据存储数据库9342,用于选择性地存储与智能设备204相关联的原始或处理数据(例如,捕获的视频镜头和/或雷达数据);
·旁路模块936,用于检测无线电940和/或无线电950是否经由耦合到无线电940和/或无线电950的相应天线传送信号并相应地通过旁路线或放大器将无线电940和/或无线电950耦合到它们各自的天线;
·传输访问模块938,用于准许或拒绝对一个或多个无线电940和/或无线电950的传输访问(例如,基于检测到的控制信号和传输请求);以及
·雷达模块944,用于发送、接收和/或操纵雷达信号(例如,结合通信模块942和/或通信接口904)。
以上标识的元件中的每个可以存储在先前提到的存储器设备中的一个或多个中,并且对应于用于执行上述功能的一组指令。例如,在一些实现中,一个或多个无线电940和无线电950包括用于存储存储器906的一个或多个程序/可执行模块的相应存储器和固件。以上标识的模块或程序(即,指令集)不需要被实现为单独的软件程序、过程或模块,并且因此可以在各种实现中组合或否则重新布置这些模块的各种子集。在一些实现中,存储器906可选地存储上面标识的模块和数据结构的子集。此外,存储器906可选地存储上面未描述的附加模块和数据结构,例如视频处理模块。
图9B是说明根据一些实现的代表性电子标签206的框图。图9B示出了包括通信电路903、雷达电路913、控制器911、能量存储电路923和一条或多条通信线路901的电子标签206。在一些实现中,电子标签206包括一个或多个附加传感器925,例如,湿度传感器、加速度计、陀螺仪、温度传感器和光学传感器等。在一些实现中,控制器911是通信电路903的组件。通信电路903包括用于接收诸如RFID信号的信号的接收器905。在一些实现中,通信电路903包括用于传送诸如RFID信号的信号的发射器(未示出)。在一些实现中,通信电路903包括解码器907,用于解码和/或解密经由接收器905接收的信号。在一些实现中,解码器907是控制器911的组件。在一些实现中,控制器911解码和/或解密经由接收器905接收的信号。在一些实现中,通信电路903包括用于编码输出传输的编码器(未示出)。
雷达电路913包括:用于接收雷达信号的接收器915;用于传送雷达信号的发射器917;用于管理雷达电路913的各种组件的控制器919,该各种组件例如是接收器915和/或发射器917;以及,信号子系统921。在一些实现中,控制器919是控制器911的组件。在一些实现中,信号子系统921包括用于放大、调制和/或生成雷达信号的组件。在一些实现中,雷达电路913包括无源雷达电路,而在其他实现中,雷达电路913包括有源雷达电路。在一些实现中,能量存储电路923包括能量存储设备,例如电容器或电池。在一些实现中,能量存储电路923包括将电子标签206耦合到外部电源(例如,电池或插座)的电路。在一些实现中,能量存储电路923包括电力管理集成电路(IC)。在一些实现中,能量存储电路923包括用于从经由电子标签的天线(例如,接收器905)接收的信号获取能量的电路。在一些实现中,能量存储电路923包括用于收集由电子标签接收的热、振动、电磁和/或太阳能的电路。
在一些实现中,控制器911被配置为:(1)经由一个或多个天线从另一设备接收命令;(2)确定该命令是否旨在用于电子标签(例如,基于电子设备的唯一ID);(3)根据确定该命令旨在用于电子标签,按照该命令操作;并且(4)根据确定该命令未旨在用于电子标签,忽略该命令。
在一些实现中,电子标签206经配置以使得可调载波音调范围被设定为1兆赫兹(MHz)。在一些实现中,电子标签206经配置以使得可调调制范围被设定为100千赫兹(kHz)。在一些实现中,电子标签206消耗少于10毫瓦(mW)的功率,例如5mW的功率消耗。
在一些实现中,电子标签206经配置以经由无线电获取能量。在一些实现中,电子标签206经配置以经由半波偶极天线获取能量。
图10是示出根据一些实现的智能家庭提供商服务器系统164的框图。智能家庭提供商服务器系统164通常包括一个或多个处理单元(CPU)1002、一个或多个网络接口1004(例如,包括到一个或多个客户端设备的I/O接口以及到一个或多个电子设备的I/O接口)、存储器1006和用于互连这些组件(有时称为芯片组)的一条或多条通信总线1008。存储器1006包括高速随机存取存储器,例如DRAM、SRAM、DDR RAM或其他随机存取固态存储设备;并且可选地包括非易失性存储器,例如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器1006可选地包括远离一个或多个处理单元1002的一个或多个存储设备。存储器1006或者存储器1006内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实现中,存储器1006或存储器1006的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集:
·操作系统1010,包括用于处理各种基本系统服务和用于执行硬件相关任务的过程;
·网络通信模块1012,用于经由一个或多个网络接口1004(有线或无线)将智能家庭提供商服务器系统164连接到其他系统和设备(例如,客户端设备、电子设备和连接到一个或多个网络162的系统,图1-5);
·服务器端模块1014,其提供用于设备控制、数据处理和数据查看的服务器端功能,包括但不限于:
o数据接收模块10140,用于接收来自电子设备的数据(例如,来自相机118的视频数据,图1),并准备接收的数据以便进一步处理和在数据存储数据库10160中存储;
o设备控制模块10142,用于生成和发送服务器发起的控制命令,以修改电子设备(例如,智能家庭环境100的设备)的操作模式和/或接收(例如,从客户端设备504)并转发用户发起的控制命令以修改电子设备的操作模式;
o数据处理模块10144,用于处理由电子设备提供的数据,和/或准备处理后的数据并将处理后的数据发送到用于查看的设备(例如,客户端设备504以供用户查看);以及
·服务器数据库1016,包括但不限于:
o数据存储数据库10160,用于存储与每个用户账户的每个电子设备(例如,每个相机)相关联的数据以及数据处理模型、处理的数据结果和与数据相关联的其他相关元数据(例如,数据结果的名称、电子设备的位置、创建时间、持续时间、电子设备的设置等,其中,(可选地)安全地存储与电子设备相关联的全部或部分数据和/或处理;以及
o账户数据库10162,用于存储用户账户的账户信息,包括用户账户信息、链接的集线器设备和电子设备的信息和设置(例如,集线器设备标识)、集线器设备特定的秘密、相关的用户和硬件特征(例如,服务层、设备模型、存储容量、处理能力等)、用户接口设置、数据查看偏好等,其中,关联电子设备的信息包括但不限于一个或多个设备标识符(例如,MAC地址和UUID)、设备特定的秘密和显示的标题。
以上标识的元件中的每个可以存储在前面提到的存储器设备的一个或多个中,并且对应于用于执行上述功能的一组指令。上述标识的模块或程序(即,指令集)不需要实现为单独的软件程序、过程或模块,并且因此这些模块的各种子集可以在各种实现中组合或否则重新排列。在一些实现中,存储器1006可选地存储上面标识的模块和数据结构的子集。此外,存储器1006可选地存储上面未描述的附加模块和数据结构,例如雷达数据处理模块。
此外,在一些实现中,本文描述的任何设备和系统(例如,集线器设备180,服务器系统508,客户端设备504,智能设备204,智能家庭提供商服务器系统164)的功能可以彼此互换,并且可以被任何其他设备或系统执行,其中,这些功能的对应子模块可以附加地和/或替代地位于任何设备和系统内并由任何设备和系统执行。在图6-10中示出和相对于其描述的设备和系统仅仅是说明性的,并且用于实现本文描述的功能的模块的不同配置在各种实现中是可能的。
如关于图6-10所描述的,智能家庭环境中的设备和标签(例如,图2中的智能设备204,诸如图1的智能家庭环境100的相机118、智能恒温器102、智能危险检测器104等))包括许多电路组件和接口,用于实现与其他系统、设备和/或服务器的通信。例如,在一些实现中,智能设备包括通信模块(例如,通信模块942,图9A),其包括用于跨网络相对于其他设备接收和传送信号的一个或多个无线电940和/或无线电950(有时通常称为“收发器(transceivers)”或“收发器设备(transceiver devices)”)。在一些实现中,一个或多个无线电940和无线电950是单个集成电路的组件(例如,片上系统(SOC))。给定智能设备的典型物理紧凑性,通信模块942的组件和设备的其他组件通常彼此紧密物理接近地并置。例如,典型的智能设备可以包含多个无线电天线、存储器设备、传感器、芯片和其他电子组件。然而,由于它们在智能设备内的紧密物理间隔,并且与与导电材料(例如,金属壳体、相机架、电线等)紧密接触的部件组合,因此诸如天线之类的设备部件通常是与彼此的传输隔离不好。另外,因为这些设备有时在操作中共享相同或接近的频带(例如,IEEE 802.11(即,Wi-Fi)和共享2.4GHz频带的802.15.4),所以由一个组件传送的信号倾向于干扰其他组件所传送和/或收到的信号。最终,通信模块942的组件通常实现差的信噪比(SNR)、失真、降低的模拟信号质量和增加的误码率(BER)。
此外,这些设备的不良隔离对设备组件的最大输入功率具有额外的影响,因为由一个收发器传送的信号的传输功率意外地增加了由其他附近收发器同时接收的信号的预期传输。因此,当超过其输入功率阈值时,敏感设备组件通常会有损坏的风险。
系统架构和处理流水线
图11A示出了代表性系统架构1100,并且图11B示出了对应的数据处理流水线1116。在一些实现中,服务器系统508包括用于事件处理器7146、事件分类器1107、雷达处理器7145、雷达分类器1108和面向用户的前端7150的功能模块。事件处理器7146获得运动事件候选(例如,通过处理视频流或通过从视频源522接收运动开始信息)。事件分类器7148将运动事件候选分类为不同的事件类别。雷达处理器7145从一个或多个雷达源1101获得雷达信息1106(包括原始和/或预处理的雷达数据),并处理雷达信息1106以获得雷达事件候选(例如,以识别运动实体和/或静止对象)。在一些实现中,雷达处理器7145从雷达源1101接收雷达源信息1105,诸如设备ID和设备位置信息等。雷达分类器1108将雷达事件候选分类为不同的雷达事件类别。在一些实现中,雷达分类器1108基于雷达事件候选执行机器学习(例如,以更新雷达事件类别)。在一些实现中,雷达分类器1108基于一个或多个雷达事件候选的分类和/或关于分类的反馈(例如,来自用户)来调整一个或多个雷达事件类别。在一些实现中,雷达分类器1108基于一个或多个运动事件候选和/或运动事件类别来学习。在一些实现中,服务器系统508包括一个或多个附加模块,以基于视频信息和雷达信息(例如,通过聚合视频信息和雷达信息)对事件候选进行分类。
面向用户的前端7150生成事件警报,并且促进查看者通过客户端设备504上的评论界面查看运动事件。面向客户端的前端还接收关于事件类别的用户编辑、用户对警报的偏好以及事件过滤器和感兴趣区域的区域定义。事件分类器可选地基于面向用户的前端接收的用户编辑来修改事件分类模型和结果。服务器系统508还包括视频和雷达源数据数据库1109、分类模型数据库1110(例如,用于雷达事件和视频事件的分类模型)以及事件数据和事件掩码数据库1111。在一些实现中,这些数据库每个是服务器数据库716的一部分。在一些实现中,不同的数据库用于雷达相关信息(例如,雷达源数据和雷达分类模型)和视频相关信息(例如,视频源数据和视频分类模型)。
服务器系统508从视频源522接收视频流1104,并且可选地接收诸如运动开始信息的运动事件候选信息1102和诸如用于相机118的设备设置(例如,用于相机118的设备配置文件7165)的视频源信息1103。在一些实现中,事件处理器子模块7146与视频源522通信。服务器系统将运动事件1105和运动事件时间线信息1107的警报发送到客户端设备504。在一些实现中,服务器系统508可选地接收来自客户端设备504的用户信息,例如对事件类别1109和区域定义1111的编辑。
服务器系统508接收雷达源1101(例如,配备雷达的智能设备)的雷达信息1106并且可选地接收雷达源信息1105,例如雷达源1101的设备设置。在一些实现中,雷达处理器7145与雷达源1101通信。在一些实现中,服务器系统508将雷达事件和/或雷达事件时间线信息的警报发送到客户端设备。在一些实现中,服务器系统508可选地从客户端设备504接收用户信息,诸如对雷达事件类别和/或雷达区域定义的编辑。
数据处理流水线1116实时处理从视频源522(例如,包括相机118和可选控制器设备)接收的实况视频馈送,以识别和分类实况视频馈送中的运动事件,并向与绑定到视频源522的评论者账户相关联的客户端设备504发送实时事件警报和刷新的事件时间线。数据处理流水线1116还处理来自视频源522的存储的视频馈送以在必要时重新评估和/或重新分类运动事件,例如当获得关于运动事件的新信息时和/或当获得关于运动事件类别的新信息(例如,从用户获得新的活动区域)时。
在视频源522处捕获视频数据之后(1117),处理视频数据以确定在视频流中是否存在任何潜在的运动事件候选。在视频数据中检测到的潜在运动事件候选有时也被称为提示点。因此,运动事件候选的初始检测被称为运动开始检测和/或提示点检测。运动开始检测(1118)触发对与运动事件候选对应的视频段(有时也称为“视频片段(video slice)”或“片段(slice)”)执行更彻底的事件识别过程。在一些实现中,最初在视频源522处理视频数据。因此,在一些实现中,视频源将运动事件候选信息(例如,运动开始信息)发送到服务器系统508。在一些实现中,在服务器系统508处理视频数据以进行运动开始检测。在一些实现中,视频流存储在服务器系统508上(例如,在视频和雷达源数据数据库1109中)。在一些实现中,视频流存储在与服务器系统508不同的服务器上。在一些实现中,在检测到提示点之后,从存储器(例如,从视频和雷达源数据数据库1109)检索视频流的相关部分。
在一些实现中,更彻底的事件识别过程包括将视频流片段(1119)成多个片段,然后在每个片段内对运动事件候选进行分类(1120)。在一些实现中,对运动事件候选进行分类包括背景因子的聚合、运动实体检测标识、每个运动实体的运动向量生成、运动实体特征和场景特征,以生成运动事件候选的运动特征(11206)。在一些实现中,更彻底的事件识别过程还包括:对每个片段进行分类(11207),基于片段的分类生成或更新运动事件日志(11208),基于片段的分类来生成对运动事件的警报(11209),对完整运动事件进行分类(1123),基于完整运动事件更新运动事件日志(1124),以及基于完整运动事件生成对于运动事件的警报(1125)。在一些实现中,分类基于运动事件候选在特定感兴趣区域内的确定。在一些实现中,分类基于确定运动事件候选涉及一个或多个特定感兴趣区域。
事件分析和分类过程可以由视频源522和服务器系统508协同执行,并且任务的划分可以在不同的实现中、针对不同的设备能力配置和/或针对不同的网络和服务器负载情况而变化。在服务器系统508对运动事件候选进行分类之后,可以将事件检测和分类的结果发送给与视频源522相关联的评论者。
在一些实现中,服务器系统508还确定每个运动事件候选的事件掩码,并缓存事件掩码,以便稍后在基于一个或多个所选择的感兴趣区域的事件检索中使用。
在一些实现中,服务器系统508存储原始或压缩视频数据(例如,在视频和雷达源数据数据库1109中)、事件分类模型(例如,在分类模型数据库1110中)以及视频源522的每个的事件掩码和其他事件元数据(例如,在事件数据和事件掩码数据库1111中)。在一些实现中,以诸如480p、780p、1080i1080p之类的一个或多个显示分辨率存储视频数据。
以上是用于视频监视中的事件处理的系统架构1100和数据处理流水线1116的概述。下面提供了处理流水线和处理技术的更多细节。
如图11A所示,系统架构1100包括视频源522。视频源522经由一个或多个网络(例如,网络162)将实况或存储的视频馈送传送到远程服务器系统508。在一些实现中,当视频数据由相机118捕获时,视频数据的传输是连续的。在一些实现中,视频数据的传输与视频数据的内容无关,并且视频数据是从视频源522上载到服务器系统508用于存储,而不管是否在视频数据中捕获了任何运动事件。在一些实现中,视频数据可以默认存储在视频源522的本地存储设备处,并且仅将与视频流中检测到的运动事件候选对应的视频部分上载到服务器系统508(例如,实时)。
在一些实现中,视频源522动态地确定视频流将以什么显示分辨率上载到服务器系统508。在一些实现中,视频源522动态地确定要向服务器系统508上载视频流的哪些部分。例如,在一些实现中,取决于当前服务器负载和网络条件,视频源522可选地在不包含任何运动事件候选的视频流的其他部分之前对与新检测到的运动事件候选对应的视频部分的上载进行优先化;或者,视频源522以比视频流的所述其他部分更高的显示分辨率上载对应于新检测到的运动事件候选的视频部分。此上载优先化有助于确保检测到重要的运动事件并将其实时向审查者警报,即使当网络条件和服务器负载低于最佳值时。在一些实现中,视频源522实现两个并行上载连接,一个用于上载由相机118捕获的连续视频流,并且另一个用于上载与检测到的运动事件候选对应的视频部分。在任何给定时间,视频源522确定是否需要临时暂停连续视频流的上载以确保为与新检测到的运动事件候选对应的视频片段的上载提供足够的带宽。
在一些实现中,针对云存储上载的视频流与为运动事件处理上载的视频片段相比具有更低的质量(例如,更低的分辨率、更低的帧速率、更高的压缩率等)。
如图11A所示,视频源522包括相机118和可选的控制器设备。在一些实现中,相机118包括足够的机载处理能力以执行所有必要的本地视频处理任务(例如,针对运动事件候选的提示点检测、视频上载优先化、网络连接管理等),并且相机118与服务器通信系统508在没有任何控制器设备充当中介的情况下直接通信。在一些实现中,相机118捕获视频数据并将视频数据发送到控制器设备以进行必要的本地视频处理任务。控制器设备可选地执行多个相机的本地处理任务。例如,在一个智能家庭环境中可能存在多个相机(例如,智能家庭环境100,图1),并且单个控制器设备从每个相机接收视频数据,并处理视频数据以检测在来自每个相机的视频流中的运动事件候选。在使用剩余带宽将视频流从每个相机传送到服务器系统508之前,控制器设备负责将足够的输出网络带宽分配给将来自每个相机的包含运动事件候选的视频片段传送到服务器系统508。在一些实现中,连续视频流被发送并存储在一个服务器设施中,而包含运动事件候选的视频片段被发送到不同的服务器设施并在其处理。
在由相机118捕获视频数据之后,视频数据被可选地在视频源522处实时地本地处理,以确定视频数据中是否存在保证执行更彻底的事件识别过程的任何提示点。因此,在一些实现中,视频源522将运动事件候选信息1102(例如,提示点检测)发送到服务器系统508。在一些实现中,视频源522将附加元数据(例如,帧之间的运动量)发送到服务器系统508。
提示点检测是第一层运动事件识别,其通常旨在略微过度包含,使得真实运动事件是所有识别的提示点的子集。在一些实现中,提示点检测基于视频流的每个帧中的运动像素的数量。在一些实现中,可以使用识别帧中的运动像素的任何方法。例如,可选地使用高斯混合模型来确定视频流的每个帧中的运动像素的数量。在一些实现中,当当前图像帧中的运动像素的总数超过预定阈值时,检测提示点。在一些实现中,当处理每个新帧时,针对预定数量的连续帧计算总运动像素计数的运行总和,并且当运行总和超过预定阈值时检测提示点。在一些实现中,获得总运动像素计数随时间的曲线图。在一些实现中,当预定长度(例如,30秒)的当前帧序列的总运动像素计数的曲线图满足预定触发标准(例如,曲线图下的总像素计数>阈值运动像素计数)时,检测提示点。在一些实现中,提示点检测计算基于运动发生在场景中的何处。例如,对于在预设的感兴趣区域中或附近发生的运动需要较低的阈值。在一些实现中,对于在已被表示为可能包含较不重要的运动事件的预设区域(例如,禁用通知的感兴趣区域)中或附近发生的运动需要较高的阈值。在一些实现中,针对在禁用通知的感兴趣区域内发生的运动抑制提示点。
在一些实现中,提示点检测基于一个或多个附加输入,例如到相关联的麦克风的音频输入。例如,提示点可以至少部分地基于破碎玻璃和/或人类语音的声音。
在一些实现中,提示点的开始是总运动像素计数满足预定阈值(例如,50个运动像素)的时间。在一些实现中,对应于提示点的运动事件候选的开始是提示点的开始。在一些实现中,运动事件候选的开始是在提示点开始之前的预定提前时间(例如,5秒)。在一些实现中,运动事件候选的开始用于处理对应于运动事件候选的视频部分以用于更彻底的事件识别过程。
在一些实现中,基于性能反馈随时间调整用于检测提示点的阈值。例如,如果检测到太多误报,则可选地增加运动像素计数的阈值。如果错过太多运动事件,则运动像素计数的阈值可选地减小。在一些实现中,用于检测提示点的阈值基于检测到运动的场景中位置。在一些实现中,阈值基于是否在特定感兴趣区域内检测到运动。在一些实现中,阈值由用户(例如,客户端设备504的用户,图5)设置和/或调整。例如,通过调整用户界面内的对应运动灵敏度滑块来调整阈值。
在一些实现中,提示点检测发生在视频源522处,并且在直播视频流中检测到提示点紧后,视频源522立即向服务器系统508发送事件警报以触发后续事件处理。在一些实现中,视频源522包括具有非常有限的机载处理能力且没有控制器设备的摄像机,并且由服务器系统508对于从相机传送到服务器系统508的连续视频流执行本文描述的提示点检测。
在一些实现中,视频源522将附加视频源信息1103发送到服务器系统508。该附加视频源信息1103可以包括关于相机状态的信息(例如,IR模式、AE模式、DTPZ设置等)和/或关于视频源522所处环境的信息(例如,室内、室外、夜间、白天等)。在一些实现中,服务器系统508使用视频源信息1103来执行提示点检测和/或对视频流1104内的运动事件候选进行分类。
在一些实现中,在提示点检测之后,将检测到的提示点之后的视频部分划分为多个片段。在一些实现中,片段继续直到获得运动结束信息(有时也称为“运动结束信号(end-of-motion signal)”)。在一些实现中,片段在服务器系统508内发生(例如,由事件处理器模块7146)。
如图11B所示,在一些实现中,捕获视频流(1117)且获得对应于运动事件候选的运动开始信息(1118)。在获得运动开始信息之后,如上所述对视频流进行片段(1119)。接下来,处理和分类每个片段(1120)。如下面将更详细讨论的,该处理包括获得关于场景中的背景的信息(例如,背景因子)(11201),识别运动实体(11202),以及获得运动矢量(11203)。在一些实现中,处理还包括识别每个运动实体的附加特征(运动实体特征),诸如运动实体内的特定颜色的量和/或运动实体的高宽比(11204)。在一些实现中,运动特征包括关于运动实体内涉及什么(如果有的话)感兴趣区域的信息。在一些实现中,处理还包括识别场景的附加特征,诸如场景内的特定颜色的比率、对应于场景的音频信息和/或场景内的总运动量(11205)。在一些实现中,场景特征包括关于场景内的感兴趣区域的信息。接下来,聚合背景因子、运动实体、运动向量以及任何另外的运动实体和/或场景特征以生成结果运动特征(11206)。对得到的运动特征进行分类,并将向运动事件候选分配类别(11207)。在一些实现中,为运动事件候选生成日志条目(11208),并且将所分配的类别存储在其中。在一些实现中,生成警报并将其发送到客户端设备504(11209)。一旦获得运动结束信息,就处理并分类最终片段(1121)。在一些实现中,在对所有片段进行分类之后,处理多片段特征(1122)。这些多段特征可选地包括通过比较来自包括事件的各个片段的运动事件类别、事件掩码和运动实体特征等而生成的特征。例如,组合各个片段的运动事件掩码以在所有片段上形成单个运动事件掩码。在一些实现中,在处理多片段特征之后,基于多片段特征来分配事件类别(1123)。在一些实现中,基于多片段特征和分配给各个片段的类别来分配事件类别。在一些实现中,更新对应于运动事件候选的事件日志(1124)。在一些实现中,基于事件类别生成警报(1125)。
在一些实现中,在视频流中检测到运动事件候选之后,对应于运动事件候选的视频部分或视频部分内的特定片段用于识别视频片段中的运动实体的运动轨迹。运动轨迹的识别可选地在视频源522本地执行或在服务器系统508远程执行。在一些实现中,运动轨迹信息包括在从视频源522发送到服务器系统508的运动事件候选信息1102中。在一些实现中,基于与运动事件候选对应的视频片段的运动轨迹的识别由事件处理器模块在服务器系统508处执行。在一些实现中,事件处理器模块接收针对在视频流中检测到的提示点的警报,并从云存储(例如,视频和雷达源数据数据库1109,图11A)或从视频源522检索与提示点相对应的视频部分。在一些实现中,用于识别运动轨迹的视频部分可以具有比为云存储上载的视频更高的质量,并且与从视频源522上载的连续视频馈送分开地从视频源522中检索视频部分。
在一些实现中,在事件处理器模块获得对应于运动事件候选的视频部分之后,事件处理器模块7146获得背景因子,并执行运动实体检测识别、每一运动实体的运动向量生成以及特征识别。一旦事件处理器模块7146完成这些任务,则事件分类器模块7148就聚合所有信息并生成运动事件候选的分类。在一些实现中,可选地执行误报抑制以在提交运动事件候选以进行事件分类之前拒绝一些运动事件候选。在一些实现中,确定运动事件候选是否为误报包括确定运动事件候选是否发生在特定区域中。在一些实现中,确定运动事件候选是否为误报包括分析运动事件候选的重要性分数。运动事件候选的重要性分数可选地与对应提示点的重要性分数相同,或者包含对应提示点的重要性分数。运动事件候选的重要性分数可选地基于与运动事件候选、背景特征、运动矢量、场景特征、实体特征、运动特征和运动轨迹等有关的感兴趣区域。
在一些实现中,视频源522具有足够的处理能力以执行并确实执行背景估计、运动实体识别、运动向量生成和/或特征识别。
在一些实现中,表示运动事件候选的运动向量是由在视频部分中所描绘的场景中的运动实体(有时也称为“运动对象(motion object)”)的起始坐标和结束坐标定义的简单二维线性向量,并且运动事件分类基于运动矢量。在一些实现中,针对每个片段独立地生成用于运动事件候选的运动向量。在一些实现中,单个运动矢量用于所有片段,并且在处理每个片段时修改运动矢量。使用简单的二维线性运动矢量进行事件分类的优点是事件数据非常紧凑,并且快得通过网络来计算和传输。当网络带宽和/或服务器负载受到约束时,简化代表性运动矢量并将运动矢量生成从视频服务器系统508的事件处理器模块卸载到视频源522可以帮助实现实时事件分类和并行地为许多视频源的警报的生成。
在一些实现中,在确定对应于运动事件候选的视频片段中的运动轨迹之后,确定运动轨迹的轨道长度。在一些实现中,针对每个片段独立地确定轨道长度。在一些实现中,在处理每个后续片段时修改轨道长度。在一些实现中,具有小于预定阈值(例如,8帧)的轨道长度的“短轨道(short tracks)”被抑制,因为它们可能是由于微不足道的运动,例如在风中的叶子移动、在池塘中的水闪烁等。在一些实现中,在方向上大致相反的短轨道对被抑制为“噪声轨道(noisy tracks)”。在一些实现中,在轨道抑制之后,如果视频片段没有剩余运动轨迹,则确定提示点为误报,并且没有运动事件候选被发送到事件分类器以进行事件分类。在一些实现中,在轨迹抑制之后,如果没有剩余运动轨迹,则将运动事件候选归类为非事件。如果在执行误报抑制之后剩余至少一个运动轨迹,则为每个剩余运动轨迹生成运动矢量。换句话说,可以在特定视频片段内识别多个运动实体。在提示点检测之后和在运动矢量生成之前发生的误报抑制是第二层误报抑制,其基于运动轨迹的特征来消除误报。
在一些实现中,雷达信息1106独立于视频流1104被处理。在一些实现中,在服务器系统508的第一服务器上处理视频流1104,并且在服务器系统508的第二服务器上处理雷达信息1106。在一些实现中,在雷达源1101处理经由无线电接收器接收的雷达信息。在一些实现中,雷达信息1106包括来自无线电接收器的原始雷达信息和/或诸如雷达提示点信息的处理过的雷达信息。在一些实现中,类似于视频处理,雷达处理包括提示点检测。雷达提示点可选地基于检测到的总运动、检测到的运动速度、运动的角度或位置或其组合。在一些实现中,在不执行提示点检测的情况下处理雷达数据。雷达数据对应于输出无线电传输和一个或多个对应的接收无线电传输。
在一些实现中,雷达处理器7145的雷达处理识别移动对象的位置和速度。在一些实现中,雷达分类器1108获得位置和速度数据,并基于位置和速度数据分配雷达事件类别。在一些实现中,雷达分类器1108获得并利用附加信息来对事件进行分类,例如关于移动对象的尺寸的信息、关于移动对象的加速度的信息、来自一个或多个雷达标签的信息以及从其他来源接收的背景信息(例如,一个或多个检测到的对象的识别信息)。在一些实现中,雷达处理器7145和/或雷达分类器1108从多个雷达源接收雷达信息并处理该信息以分配雷达事件类别。例如,服务器系统508从特定房间内的多个雷达源(例如,ID雷达源)接收雷达数据,并聚合雷达数据以对在特定房间中发生的事件进行分类。在一些实现中,服务器系统508接收并处理来自一个或多个配备雷达的智能设备和来自一个或多个雷达标签的雷达数据,以对雷达事件进行分类。
在一些实现中,基于由雷达分类器1108分配的雷达类别和由运动事件分类器1107分配的运动事件类别来分配(例如,通过复合分类器)复合事件类别。例如,运动事件类别表示具有有源手电筒和滑雪面罩的人正在房间内移动,并且雷达类别表示特定的人John正朝着房间的后部行走。在该示例中,复合事件类别指示John在戴着滑雪面罩并且携带有源手电筒的同时朝向房间的后部行走。在一些实现中,所分配的雷达类别被用作对于处理流水线1116的输入。例如,获得所分配的雷达类别并用于对运动事件片段进行分类(11207)和/或用于对整个运动事件进行分类(1123)。在一些实现中,所分配的运动事件类别用于对雷达事件进行分类。
雷达标签操作
图12A示出了根据一些实现的用于经由雷达信号进行通信的环境和系统。图12A示出了通过信号1206与住宅内的电子标签1202通信的控制设备1200。在一些实现中,控制设备1200是智能设备,诸如相机、恒温器、危险检测器和集线器设备等。在一些实现中,控制设备1200包括根据图1-9中公开的任何实现的智能设备204(例如,图9A)(例如,设备102、104、106、108、110、112、114、116、118、120和/或122,图1,例如相机118、智能危险检测器104、智能恒温器102等)。在一些实现中,电子标签1202包含电子标签206(图9B)。在一些实现中,信号1206包含RFID信号。在一些实现中,信号1206包括以相同频率传送的信号,而在其他实现中,信号1206的至少一个子集以不同的频率(例如,频带内的不同频率)传送。在一些实现中,信号1206每个包括设备标识信息。例如,每个电子标签1202接收信号1206-1并分析所包括的设备标识信息以确定信号1206-1是否旨在用于特定标签。因此,根据一些实现,信号1206-1包括用于电子标签1202-1的设备标识,信号1206-2包括用于电子标签1202-2的设备标识,信号1206-3包括用于标签1202-3的设备标识,并且信号1206-4包括标签1202-4的设备标识。控制设备1200还传送和接收雷达信号。在一些实现中,雷达信号用于确定信号范围内的多个对象的距离、速度、加速度、位置和/或移动方向。电子标签1202通过雷达信号与控制设备1200通信。在一些实现中,电子标签1202响应于启用信号(例如,信号1206-1)经由雷达信号进行通信。在一些实现中,经由雷达信号进行通信包括反射、修改和/或放大所接收的雷达信号。在一些实现中,经由雷达信号进行通信包括在电子标签处生成雷达信号,而与由标签接收的任何雷达信号无关。如图12A所示,电子标签1202被可选地配置成固定到诸如墙壁和天花板之类的无生命对象、诸如门和窗户之类的移动对象和/或诸如人和宠物之类的移动实体。
图12B示出了根据一些实现的用于利用雷达标签的代表性系统和过程。在第一时间,用于电子标签1202-1和1202-2的雷达电路被禁用,如1208和1209所示。在一些实现中,禁用雷达电路包括将雷达电路与电源断开。在一些实现中,禁用雷达电路包括防止雷达电路发射无线电信号。
在第二时间,控制设备1200(例如,智能设备204)经由边带(例如,Wi-Fi)传送第一启用信号1210。电子标签1202-1接收第一启用信号1210。在一些实现中,电子标签1202-1确定第一启用信号1210旨在用于电子标签1202-1。在一些实现中,确定第一启用信号1210旨在用于电子标签1202-1包括将信号1210内的设备标识与电子标签1202-1的表示标识进行比较。响应于接收到第一启用信号1210,或者响应于确定信号1210旨在用于电子标签1202-1,电子标签1202-1启用(1212)其雷达电路。
在一些实现中,电子标签1202-2接收第一启用信号1210且确定第一启用信号不是旨在用于电子标签1202-2。
在第三时间,控制设备1200使用其雷达电路传送无线电信号1214。电子标签1202-1接收无线电信号1214。在一些实现中,电子标签1202-1修改接收的无线电信号1214。在一些实现中,修改无线电信号1214包括放大无线电信号1214和/或调制无线电信号1214。在一些实现中,电子标签1202-1传送修改的无线电信号1216。在一些实现中,电子标签1202-1响应于接收无线电信号1214而传送无线电脉冲或音调。在发送无线电信号1216之后,电子标签1202-1禁用(1217)其雷达电路。
控制设备1200从电子标签1202-1接收信号1216。在一些实现中,控制设备1200处理接收的信号1216以确定电子标签1202-1的位置和/或运动。在一些实现中,控制设备1200将关于无线电信号1214和1216的信息发送到另一设备(例如,服务器系统508的设备)以进行处理。
在第四时间,控制设备1200经由边带传送第二启用信号1218。电子标签1202-2接收第二启用信号1218。在一些实现中,电子标签1202-2确定第二启用信号1218旨在用于电子标签1202-2。响应于接收到第二启用信号1218,或者响应于确定信号1218旨在用于电子标签1202-2,电子标签1202-2启用(1220)其雷达电路。
在第五时间,控制设备1200使用其雷达电路传送无线电信号1222。电子标签1202-2接收无线电信号1222。在一些实现中,电子标签1202-2修改接收的无线电信号1222。在一些实现中,电子标签1202-2传送修改的无线电信号1224。在一些实现中,电子标签1202-2响应于接收无线电信号1222而传送无线电脉冲或音调信号1224。在发送无线电信号1224之后,电子标签1202-2禁用(1225)其雷达电路。
控制设备1200从电子标签1202-2接收信号1224。在一些实现中,控制设备1200处理接收的信号1224以确定电子标签1202-2的位置和/或运动。在一些实现中,控制设备1200将关于无线电信号1222和1224的信息发送到另一设备(例如,服务器系统508的设备)以进行处理。
图12C示出了根据一些实现的用于利用雷达标签的代表性系统和过程。控制设备1200获得(1232)电子标签1202-1的标识。在一些实现中,通过客户端设备504上的应用(诸如智能家庭应用)获得标识。在一些实现中,客户端设备504扫描电子标签1202-1的条形码或QR码并传送扫描的信息到控制设备1200。
控制设备1200发送(1234)具有识别信息的请求以启用电子标签1202-1。在一些实现中,通过第一通信信道(例如,RFID)发送请求。在一些实现中,控制设备1200在发送之前加密(1236)请求。
电子标签1202-1接收(1238)对启用电子标签1202-1的请求。电子标签确定(1240)启用请求旨在用于电子标签1202-1。在一些实现中,在确定启用请求是否旨在用于电子标签1202-1之前,电子标签1202-1解密(1242)启用请求。在一些实现中,确定启用请求旨在用于电子标签1202-1包括将请求中的标识信息与存储在电子标签1202-1中的设备标识进行比较。
根据确定启用请求旨在用于电子标签1202-1,电子标签1202-1启用(1244)其雷达电路。在一些实现中,启用雷达电路包括向雷达电路的一个或多个部件供电。在一些实现中,启用雷达电路包括配置雷达电路以响应于所接收的无线电信号(例如,具有特定频率或在特定频率范围内的接收的无线电信号)。
控制设备1200传送(1246)无线电信号。在一些实现中,控制设备1200利用雷达电路来传送无线电信号。
电子标签1202-1接收(1248)无线电信号。在一些实现中,经由电子标签1202-1的雷达电路接收无线电信号。在一些实现中,电子标签1202-2修改(1250)接收的无线电信号。在一些实现中,修改所接收的无线电信号包括放大和/或调制所接收的无线电信号。电子标签1202-1传送(1252)对应于由控制设备1200传送的无线电信号的无线电信号。在一些实现中,传送的信号包括修改的信号。在一些实现中,传送的信号包括由电子标签1202-1生成的无线电音调和/或脉冲。
控制设备1200接收(1254)由电子标签1202-1传送的无线电信号。在一些实现中,控制设备1200处理所接收的无线电信号以确定电子标签1202-1的位置和运动。在一些实现中,控制设备1200将关于从电子标签1202-1接收的、其传送的无线电信号的信息传送到第二设备或服务器系统(例如,服务器系统508)以进行处理。
在一些实现中,控制设备1200获得关于每个电子标签1202所附着的对象的信息(例如,在注册过程期间)。例如,控制设备1200获得:电子标签1202-1附着在墙壁上的信息;电子标签1202-2附着到窗口的信息;以及,电子标签1202-3附着到门的信息。在一些实现中,控制设备1200在处理所接收的雷达信号时利用对象信息。例如,控制设备1200忽略与电子标签1202-1所附着的墙壁之外的对象有关的雷达信息。
在一些实现中,控制设备1200经配置以在特定时间(或以特定时间间隔)启用每一电子标签1202以减少电子标签通信之间的干扰。例如,控制设备1200被配置使得在给定时间仅一个电子标签通过雷达进行通信。在一些实现中,控制设备1200发送启用信号以实现特定电子标签的雷达通信。在一些实现中,控制设备1200发送禁用信号以禁用特定电子标签的雷达通信。
在一些实现中,电子标签1202中的每个经配置以设定间隔经由雷达进行通信。在一些实现中,间隔由控制设备1200设置,使得在给定时间仅一个电子标签1202正在通信。在一些实现中,间隔至少部分地基于电子标签所附着的对象。例如,根据一些实现,附着到墙壁上的电子标签每天通信一次,而附着到窗户上的电子标签每分钟通信一次。
在一些实现中,电子标签1202响应于在电子标签的传感器处接收的刺激而经由雷达进行通信。例如,电子标签1202-3响应于检测到其所附着到的门的移动(例如,通过加速度计)经由雷达进行通信。在一些实现中,电子标签1202检测其所附着到的对象的移动,并且作为响应,向控制设备1200发送通知(例如,经由边带)。在一些实现中,控制设备1200接收通知,并且作为响应,传送用于雷达分析的无线电信号。
在一些实现中,控制设备1200结合其他雷达信号使用来自电子标签1202的雷达通信,以提高雷达系统的准确度和精度。例如,控制设备1200检测在特定时间范围内标签1202-3所附着的门的轻微移动。在该示例中,在同一时间帧期间,标签1202-3传送信号,并且控制设备1200利用检测到的门的移动和来自标签1202-3的信号来映射门的移动(例如,比仅仅基于检测到的门移动的映射具有更高的精度/准确度)。
在一些实现中,将电子标签(例如,电子标签1202-3)附着(例如,临时地)到对象,并且将注册信号发送到控制设备1200。在一些实现中,通过诸如客户端设备504之类的移动设备上的应用(例如,智能家庭应用)发送注册信号。在一些实现中,注册信号包括关于电子标签所附着的对象的信息(例如,将对象识别为门、窗户或墙壁)。在一些实现中,控制设备1200通过下述方式来完成注册过程:处理从电子标签接收的注册信息和雷达信息,以对电子标签所附着的对象进行分类和/或确定对象相对于控制设备1200的位置。在一些实现中,分类和/或位置信息用于未来的雷达处理。在一些实现中,在完成注册过程之后,电子标签不用于对象的未来雷达处理。在一些实现中,在完成注册过程之后,电子标签用于注册一个或多个附加对象。
在一些实现中,用于附着到对象并且为对象赋予雷达签名的电子标签(例如,电子标签1202-1)包括被配置为以第一频率与一个或多个其他设备通信的第一电路(例如,通信电路903,图9B)。在一些实现中,第一电路包括:(a)被配置为以第一频率通信的一个或多个天线(例如,接收器905);以及(b)耦合到一个或多个天线并且被配置为管控一个或多个天线的第一控制器(例如,控制器911)。在一些实现中,电子标签包括第二电路,其被配置为经由雷达与一个或多个其他设备通信(例如,雷达电路913)。在一些实现中,第二电路包括:(a)被配置为经由雷达通信的一个或多个第二天线(例如,接收器915和/或发射器917);(b)耦合到一个或多个第二天线和第一控制器并且被配置为与第一控制器通信并管控一个或多个第二天线的第二控制器(例如,控制器919)。
在一些实现中,第一控制器还被配置为:(1)经由一个或多个天线从另一设备接收命令;(2)确定该命令是否旨在用于电子标签(例如,基于电子设备的唯一ID);(3)根据确定该命令旨在用于电子标签,按照该命令操作;并且(4)根据确定该命令不旨在用于电子标签,忽略该命令。
在一些实现中,该命令包括启用雷达通信的命令,并且其中,根据该命令操作的第一控制器包括第一控制器将启用命令传送到第二控制器。在一些实现中,该命令包括接收者标识,并且其中,第一控制器确定该命令是否旨在用于电子标签包括将接收者标识与电子标签的标识进行比较。在一些实现中,命令被加密,并且其中,第一控制器还被配置为解密命令。
在一些实现中,第一电路进一步包含经解码器,其经配置以解码经由一个或多个天线接收的信号。在一些实现中,解码器还被配置为解密命令。在一些实现中,解码器进一步经配置以确定所述命令是否旨在用于电子设备。在一些实现中,解码器是第一控制器的组件。在一些实现中,第二控制器还被配置为加密经由一个或多个第二天线发送的信息。
在一些实现中,电子标签包括能量存储电路,该能量存储电路耦合到第一电路和第二电路并且被配置为向第一电路和第二电路提供电力。
在一些实现中,能量存储电路包括以下中的至少一个:(i)一个或多个电容器;(ii)一个或多个电池;(iii)被配置为从经由电子标签的天线(例如,一个或多个天线中的一个、一个或多个第二天线中的一个或专用于收获的第三天线)接收的信号中获取能量的电路;以及(iv)配置成收集由电子标签接收的热、振动、电磁和/或太阳能的电路。
在一些实现中,第二控制器还被配置为经由一个或多个第二天线选择性地启用雷达通信,包括以下中的至少一个:(i)反射所接收的无线电波(例如,在给定波长下);(ii)放大收到的无线电波;(iii)调制接收的无线电波;并且(iv)产生无线电波。在一些实现中,第二控制器经配置以响应于从第一控制器接收启用命令而启用雷达通信。
在一些实现中,第二电路进一步包括调制器,其经配置以调制经由一个或多个第二天线接收的无线电波。在一些实现中,第二电路进一步包括信号发生器,其经配置以产生特定频率的无线电波。
在一些实现中,电子标签还包括耦合到第一控制器的一个或多个附加传感器,所述一个或多个附加传感器包括以下中的至少一个:湿度传感器;温度传感器;加速度计;陀螺仪;以及,光学传感器。
在一些实现中,第一电路经配置以经由一个或多个天线发射标签信息(例如,标签状态信息,例如电池寿命、传感器读数等)。在一些实现中,第二电路经配置以经由一个或多个第二天线发射标签信息(例如,标签状态信息,例如电池寿命、传感器读数等)。
在一些实现中,电子标签包括无源标签,例如角反射器或印刷雷达标签。在一些实现中,无源标签调制输入的无线电信号。经调制的输入信号被反射回传送设备(例如,控制设备1200)。在一些实现中,对信号进行调制,使得当雷达系统分析反射信号时,标签看起来以特定速度移动。
图12D是根据一些实现的雷达数据的预测图。图12D示出了基于接收的雷达数据检测的各种对象的速度。在图12D中,大多数检测到的对象是静止的或速度很小。以高速检测两个对象,对象1260和对象1262。检测到的对象1260在距离d1被检测,其具有大的负速度,表示它正在远离雷达设备移动。在距离d2处检测检测到的对象1262,其具有大的正速度,表示它正朝向雷达装置移动。
根据一些实现,检测到的对象1260和1262表示无源雷达标签。无源雷达标签被配置为调制输入的无线电波,使得即使在标签本身静止时它们也看起来以高速移动。由调制引起的雷达标签的视速度有时被称为幻像速度。每个雷达标签可选地配置成使得其调制产生不同的幻像速度。在一些实现中,雷达设备基于每个速度的值确定对象1260和1262的速度是幻像速度。例如,安装在智能家庭环境中的配备雷达的设备检测速度为每小时30英里的对象。由于智能家庭中的对象通常不会以如此高的速度移动,因此配备雷达的设备确定速度是幻像速度并且对象是雷达标签。在一些实现中,配备雷达的设备基于对象的恒定位置确定对象1260和1262的速度是幻像速度。例如,配备雷达的设备执行第一次扫描并以明显高的速度在距离d1处检测对象1260。配备雷达的设备稍后执行第二次扫描并再次在距离d1处检测对象1260。因为对象1260在两次扫描中处于相同的距离,所以速度被确定为幻像速度。在一些实现中,配备雷达的设备存储雷达标签信息的列表,其具有每个标签的预期距离和/或预期的幻像速度(例如,在雷达标签的注册过程期间获得的)。在一些实现中,配备雷达的设备将雷达标签信息列表与检测到的结果进行比较以识别任何检测到的标签。
在一些实现中,雷达标签被附着到诸如门或窗的对象上。在某些情况下,设备所附着的对象在雷达扫描期间处于运动状态。在这些情况下,检测到的雷达标签的速度包括由于无线电信号的调制引起的幻像速度和雷达标签所附着的对象的实际速度。在一些实现中,配备雷达的设备识别实际速度分量并将其与雷达标签所附着的对象相关联。例如,雷达标签贴在门上,并且配备雷达的设备确定雷达标签每秒移动1英寸。在该示例中,配备雷达的设备将每秒1英寸的移动与门相关联,并且可选地向智能家庭环境的用户警告已经检测到门的移动。在一些实现中,配备雷达的设备基于雷达标签的检测距离(例如,在一段时间内检测到的距离)来识别实际速度分量。在一些实现中,配备雷达的设备基于雷达标签的预期幻像速度识别实际速度分量。
在一些实现中,雷达标签被配置为使得其可选地选择性地调制输入的无线电波以呈现多个不同的幻像速度中的一个。例如,特定的雷达标签可以被配置为:在第一状态下运行,其中,它呈现出每小时10英里的幻像速度;在第二个状态下运行,其中,其呈现幻像速度为每小时15英里;或者,在第三状态下运行,其中,其呈现幻像速度为每小时20英里。在一些实现中,雷达标签的操作状态由控制设备(例如,控制设备1200)管控。在一些实现中,在注册过程期间配置雷达标签的操作状态。
在一些实现中,在具有一个或多个处理器和存储器(例如,控制设备1200)的计算系统处执行方法。该方法包括:(1)通过第一发射器发送请求以启用远程雷达设备(例如,电子标签1202-1);以及(2)响应该请求,通过雷达接收器接收来自雷达设备的无线电通信。
在一些实现中,该方法还包括:(1)获得远程雷达设备的标识;(2)加密识别;其中,发送请求包括发送加密的标识。
在一些实现中,该方法还包括:在从雷达设备接收到无线电通信之后,经由第一发射器发送请求以启用第二远程雷达设备。
在一些实现中,该方法还包括:在从雷达设备接收到无线电通信之后,经由第一发射器发送请求以禁用雷达设备的无线电通信(例如,以防止干扰第二雷达设备的通信)。
在一些实现中,该方法还包括:(1)在发送请求之前,接收远程雷达设备的注册请求;并且(2)响应于接收到注册请求,确定远程雷达设备的位置。
在一些实现中,确定远程雷达设备的位置包括基于所接收的无线电通信来确定远程雷达设备的位置。
在一些实现中,经由应用(例如,移动设备上的应用)接收注册请求。
在一些实现中,注册请求包括关于远程雷达设备所附着的对象的信息(例如,附接到门、窗户或墙壁等)。
在一些实现中,计算系统包括智能设备(例如,智能设备204)。
在一些实现中,智能设备包括以下之一:恒温器;相机;集线器设备;危险检测器;灌溉装置;媒体播放设备;入口接口设备;家电;或者,安全设备。
在一些实现中,无线电通信包括以下中的至少一个:(i)由计算设备传送的无线电信号的反射;(ii)由计算设备传送的无线电信号的调制;以及(iii)在远程雷达设备处产生的无线电信号(例如,音调或脉冲)。
在一些实现中,无线电通信包括关于远程雷达设备的操作的信息(例如,传感器读出信息)。
在一些实现中,该方法还包括经由第一接收器接收来自雷达设备的通信(例如,状态信息)。
在一些实现中,在电子设备(例如,电子标签1202-1)处执行的方法包括:(1)经由第一接收器从远程设备(例如,控制设备1200)接收启用请求;(2)确定启用请求是否旨在用于电子设备;(3)根据确定启用请求不旨在用于电子设备,不考虑启用请求;并且(4)根据确定启用请求旨在用于电子设备,通过雷达与远程设备通信。
在一些实现中,启用请求被加密,并且该方法还包括解密启用请求。
在一些实现中,确定启用请求是否旨在用于电子设备包括将电子设备的标识与启用请求中的标识进行比较。
在一些实现中,启用请求包括用于经由雷达与远程设备通信的定时信息,并且该方法还包括根据接收的定时信息经由雷达与远程设备通信(例如,每分钟、每个小时或者每天发送脉冲)。
在一些实现中,该方法还包括加密要经由远程设备发送的信息,其中,经由雷达与远程设备通信包括传送加密信息。
在一些实现中,该方法还包括:(1)存储经由电子设备的一个或多个天线接收的能量;并且(2)利用存储的能量通过雷达与远程设备通信。
在一些实现中,经由雷达与远程设备通信包括以下中的至少一个:反射所接收的无线电波;放大收到的无线电波;调制接收的无线电波;并产生无线电波。
多个配备雷达的设备的同步
图13A示出了根据一些实现的用于利用来自多个雷达设备的数据的环境和系统。图13A示出了经由信号1304与第二配备雷达的设备1302(例如,智能危险检测器104)通信的第一配备雷达的设备1300(例如,相机118)。在一些实现中,信号1304包括利用诸如Wi-Fi的精确定时协议的无线信号。例如,根据一些实现,设备1300和设备1302利用IEEE 1588精确时间协议(PTP)进行通信。在一些实现中,信号1304使第一设备1300和第二设备1302能够在时间上精确地同步(例如,在彼此的微秒或纳秒内同步)。
图13A进一步示出了:第一配备雷达的设备1300,其经由无线电信号1306-1利用雷达;以及,第二配备雷达的设备1302,其经由无线电信号1306-2利用雷达。在一些实现中,第一设备1300和第二设备1302之间的同步用于组合来自第一设备1300的雷达数据和来自第二设备1302的雷达数据。组合雷达数据允许在确定对象位置和运动上的更准确度和精度。例如,根据一些实现,第一设备1300和第二设备1302每个包括一维雷达系统。在该示例中,在准确度和/或精度方面,组合在每个设备处收集的雷达数据以产生等于或优于位于任一设备处的单个多维雷达系统的结果。因此,多个配备雷达的设备的同步使得系统能够在每个设备处利用较低维雷达系统(例如,ID雷达系统)的同时产生准确和精确的结果。与高维雷达系统(例如,二维雷达系统)相比,一维雷达系统通常需要较小的物理覆盖区(例如,较小的天线),消耗较少的操作功率,并且在设备处需要较少的处理能力。
在一些实现中,在设备之间组合雷达数据包括分析由第一设备接收的、与由第二设备传送的无线电信号相对应的无线电信号。例如,第二设备发出简短的无线电传输(有时也称为线性调频脉冲(chirp)),并且第一设备接收与发射的无线电传输相对应的无线电信号(例如,在无线电信号被各种对象/实体反弹或反射之后)。在一些实现中,在设备之间组合雷达数据包括:分析由第一设备接收的、与第一设备传送的无线电信号对应的第一无线电信号,以及分析由第二设备接收的、与由第二设备传送的无线电信号对应的第二无线电信号。例如,在第一时间,第一设备发出简短的无线电传输并接收对应的无线电信号;然后,在第二时间,第二设备发出其自己的简短无线电传输(例如,利用相同或基本相同的无线电频率)并接收对应的无线电信号。在该示例中,组合并分析来自两个设备的雷达信息。
在一些实现中,多个配备雷达的设备的同步使得能够进行多维雷达处理。例如,由第一设备(例如,利用第一发射器)传送的无线电信号由多个接收器接收,包括第一设备处的接收器和第二设备处的接收器。使用在不同位置处的多个接收器使系统能够以更高的准确度和精度确定对象的位置。例如,可以基于跨多个接收器接收的散射图案来确定在发射器和对象之间的角度。
在一些实现中,一种系统包括多个同步的配备雷达的设备(例如,设备1300和设备1302)。该系统确定哪个设备应该传送无线电信号。在一些实现中,该系统基于预设的时间表确定哪个设备应该传送。在一些实现中,该系统基于特定感兴趣对象确定哪个设备应该传送。例如,该系统确定第一设备(例如,设备1302)应该传送,因为它是与感兴趣对象最接近的配备雷达的设备。在另一示例中,该系统确定第二设备(例如,设备1300)应该传送,因为它具有对象的清晰视野。在一些实现中,该系统包括集线器设备(例如,集线器设备180),并且集线器设备管控多个设备的雷达操作(例如,确定哪个设备应该在给定时间传送)。在一些实现中,该系统包括服务器(例如,服务器系统508的服务器),并且服务器管控多个设备的雷达操作(例如,确定哪个设备应该在给定时间传送)。在一些实现中,多个同步设备包括被指定为主设备的一个设备。在一些实现中,主设备管控多个设备的雷达操作。在一些实现中,来自多个设备的雷达数据的处理和分析发生在主设备处。
在一些实现中,经由无线信号确定同步设备之间的距离。例如,利用信号1304确定设备1300和设备1302之间的距离。在一些实现中,基于无线信号的传播时间确定同步设备之间的距离。
在一些实现中,在第一模式中,系统在多个同步的配备雷达的设备之间循环,其中,每个设备依次传送。例如,第一设备在时间0传送,第二设备在时间5传送,并且第三设备在时间10传送。在一些实现中,系统分析来自每个传送的所接收无线电信号并确定传输是否包括感兴趣的对象。例如,系统基于对象的位置或运动(诸如对象的位置、速度、移动方向和/或加速度)来确定检测到的对象是感兴趣对象。在该示例中,系统可选地确定:(1)对象的位置在感兴趣的区域内或满足一个或多个其他预定标准(例如,在发射设备的20、10或5英尺内);(2)对象的速度满足一个或多个预定标准(例如,超过预定阈值,例如每秒1米、每秒1英尺或每秒1英寸);(3)对象的移动方向满足一个或多个预定标准(例如,在感兴趣区域的方向上或在发射设备的方向上);或(4)对象的加速度满足一个或多个预定标准(例如,超过预定阈值)。在一些实现中,根据确定检测到的对象是感兴趣对象,系统切换到第二模式。在一些实现中,在第二模式中,系统基于多个设备的相对位置和视野确定多个设备中的第一设备应该传送。例如,系统确定第一设备最接近感兴趣对象和/或具有感兴趣对象的清晰视野。在一些实现中,第一设备传送由多个设备的至少一个子集接收的无线电信号。在一些实现中,分析所接收的信号以确定对象的位置和运动,在一些情况下具有比感兴趣对象最初被检测到和/或确定为感兴趣对象时更高的精度和/或准确度。在一些实现中,系统利用多输入和多输出(MIMO)方法(例如,在发射天线处的相移)来增加分辨率。
图13B示出了根据一些实现的用于利用来自多个配备雷达的设备的雷达数据的代表性系统和过程。在第一时间,配备雷达的设备1300利用信号1304与配备雷达的设备1302同步。在一些实现中,配备雷达的设备1300利用与信号1304结合的IEEE 1588精确时间协议与配备雷达的设备1302同步。
在第二时间,设备1300传送(1314)无线电信号1306-1。在一些实现中,设备1300利用雷达电路来传送无线电信号1306-1。设备1300接收(1318)与传送的无线电信号1306-1相对应的无线电信号。例如,设备1300接收无线电信号,该无线电信号包括来自传送的无线电信号的无线电波,该传送的无线电信号从各种对象反弹并返回到设备1300。设备1300生成(1320)用于接收的无线电信号的第一无线电信息。在一些实现中,设备1300分析在传送的无线电信号1306-1与接收的无线电信号之间的关系,以确定各种检测到的对象的位置和/或移动。在一些实现中,设备1300生成所接收的无线电信号的定时和相位信息。
设备1302接收(1316)传送的无线电信号1306-1。在一些实现中,设备1302经由其雷达电路接收传送的无线电信号1306-1。设备1302生成并传送(1322)用于接收的无线电信号的第二无线电信息。在一些实现中,所生成的第二无线电信息包括所接收的无线电信号的定时和/或相位信息。在一些实现中,所生成的第二无线电信息包括关于各种检测到的对象的位置和/或移动的信息。在一些实现中,设备1302经由诸如Wi-Fi或蓝牙的无线通信信道传送第二无线电信息。
设备1300接收(1324)所传送的第二无线电信息。在一些实现中,设备1300经由诸如Wi-Fi或蓝牙的无线通信信道接收所传送的第二无线电信息。设备1300处理(1326)第一和第二无线电信息以确定信号范围内的各种对象的位置和运动。例如,设备1300将第一和第二无线电信息与传送的无线电信号1306-1进行比较,以检测对象并确定它们的位置和运动。
配备雷达的智能设备
图14A-14C示出了根据一些实现的雷达系统的框图。在一些实现中,图14A-14C中所示的雷达系统是智能设备204的组件。例如,根据一些实现,图9A中所示的智能设备204的组件(诸如通信模块942、雷达模块944以及/或雷达处理模块9324)包括图14A-14C所示的雷达系统之一。
图14A示出了根据一些实现的一维雷达系统的框图。图14A中的一维雷达系统包括雷达控制模块1400、无线电发射器1402和无线电接收器1404。在一些实现中,一维雷达系统被配置使得发射器1402和接收器1404是在单个平面上分开已知的距离。在一些实现中,发射器1402包括天线,例如冲压金属板天线、粘合剂天线(例如,贴纸或带状天线)、印刷电路板表面上的迹线天线(有时也称为PCB天线或板天线)、芯片天线或陶瓷天线。在一些实现中,接收器1404包括天线,诸如冲压金属板天线、粘合剂天线、迹线天线、芯片天线或陶瓷天线。
图14B和14C示出了多维雷达系统的框图。图14B示出了具有雷达控制模块1410、无线电发射器1412与无线电接收器1414和1416的多维雷达系统。在一些实现中,无线电发射器1412与无线电接收器1414和1416每个包括配置用于一个或多个射频频带的天线。例如,发射器1412发射无线电信号,例如音调或脉冲(例如,77GHz音调)。接收器1414和1416接收对应于发射的无线电信号的无线电波。控制模块1410将接收的无线电波的定时和相位与发射的无线电信号进行比较,以确定各种检测到的对象的位置和/或运动。分析在接收器1414处接收的无线电波与在接收器1416处接收的无线电波之间的差异,以便以更高的准确度和/或精度确定检测到的对象的位置/运动。
图14C示出了具有雷达控制模块1420、无线电发射器1422、1424和1426以及无线电接收器1428、1430、1432和1434的多维雷达系统。在一些实现中,无线电发射器1422、1424和1426以及无线电接收器1428、1430、1432和1434都在垂直于感兴趣的维度的同一平面上。在一些实现中,无线电发射器1422、1424和1426以及无线电接收器1428、1430、1432和1434每个包括被配置用于一个或多个射频频带的天线。例如,首先发射器1422发射无线电信号。接收器1428、1430、1432和1434接收对应于发射的无线电信号的无线电波。控制模块1420将接收的无线电波的定时和相位与发射的无线电信号进行比较,以确定各种检测到的对象的位置和/或运动。分析在各个接收器处接收的无线电波之间的差异,以便以更高的准确度和/或精度确定检测到的对象的位置/运动。接下来,发射器1424发射无线电信号并重复该过程。然后,发射器1426发射无线电信号,并再次重复该过程。利用彼此具有已知距离的多个发射器和多个接收器允许更准确和精确的结果。利用多个接收器还可以使得能够跟踪同时移动的多个对象。例如,准确跟踪N个对象通常需要至少N+1个接收器。
在一些实现中,本文描述的雷达系统使用连续波雷达。在一些实现中,雷达系统利用未调制的连续波雷达来基于多普勒效应检测移动对象。在一些实现中,雷达系统利用频率调制的连续波雷达(FMCW)(例如,锯齿或正弦频率调制)以确定物距和运动。例如,根据一些实现,在诸如3-10GHz、24-24.5GHz、57-64GHz和/或77-81GHz的频带上调制频率。在一些实现中,雷达系统利用FMCW并基于从对象反射的雷达信号中的相移或相移速率来确定各种对象的速度。在一些实现中,雷达系统使用相移调制连续波雷达(PMCW)。在一些实现中,雷达系统利用PMCW通过生成伪随机相移序列来检测对象位置和运动。
在一些实现中,由于雷达发射器被部署在智能家庭环境(例如,如图1中所示的智能家庭环境100)内或附近,因此本文描述的雷达系统采用相对低功率的雷达发射器,其中,不需要远程雷达检测。例如,根据一些实现,雷达发射器在空闲或周期性扫描模式下消耗小于1瓦的功率。在一些实现中,雷达发射器包括低功率雷达发射器,其被配置为消耗小于阈值量的功率(例如,小于1W、100mW或10mW)。在一些实现中,雷达发射器的操作基于作为整体的智能家庭环境100的或智能家庭环境100内的房间的特征尺寸(例如,面积、体积、宽度、深度、高度等)被限制在有限范围内——甚至与雷达发射器的自然范围相比。在一些实现中,通过使用如本文所述的雷达标签(例如,如参考图12A-12D所讨论的雷达标签1202)来约束雷达发射器范围。在一些实现中,雷达发射器范围受到由服务器系统508或电子标签206执行的雷达信号处理操作的约束,所述雷达信号处理操作具有拒绝来自与发射器的距离大于预定距离的对象的信号返回的效果。在一些实现中,雷达发射器的操作被约束为识别静止或缓慢移动的对象,因为这样的发射器通常用于智能家庭环境中以识别相对缓慢移动的人(成人和儿童)和宠物。在一些实现中,本文描述的雷达系统用于检测智能家庭环境100内的对象、人和/或动物的异常。例如,在一些实现中由雷达系统可检测的异常包括在智能家庭环境内的人的异常行为,例如摔倒、呼吸不规律、在烟雾警报器激活后的家中的个体、未被辨识的个体(例如,入侵者)或存在于家庭禁区内(例如靠近车库或游泳池的入口)的儿童。
各种类型的内部天线可选地用于本文公开的各种设备。内部天线有时被称为嵌入式天线。如这里所使用的,内部天线包括位于设备壳体内的任何天线。内部天线通常不在金属壳体内实现,因为金属壳体会降低效率。内部天线耦合到通信控制模块(例如,控制模块1400、1410或1420)。通信控制模块有时被称为通信电路、无线电模块或无线电。在一些实现中,通信控制模块包括通信芯片。在一些实现中,内部天线经由一个或多个受控阻抗结构耦合到通信控制模块,一个或多个受控阻抗结构例如是同轴电缆、受控阻抗电路板迹线(例如,微带或带状线)、弹簧加载的弹簧针或弹簧指和具有受控阻抗线的柔性电路等。在一些实现中,内部天线经由一个或多个滤波器、放大器和/或开关耦合到通信控制模块。电缆和走线会引起损耗,并且应该仔细考虑。例如,电缆和走线为噪声进入接收器系统创造了机会。
内部天线通常易受对于其他设备组件(包括其他内部天线)的干扰的影响。在某些情况下,主要噪声源是数字电路,例如一个或多个处理器和存储器。例如,在某些情况下,处理器时钟、高速存储器、显示器和图形处理器是噪声的最高来源,并产生最宽的频率范围。在一些实现中,用安装板的屏蔽罩屏蔽数字电子设备。在一些实现中,将一个或多个天线定位成尽可能远离最大噪声源。在一些实现中,一个或多个天线互连被路由得远离最大噪声源。在一些实现中,非屏蔽天线互连(例如,弹簧指或弹簧针)定位成限制对于最大噪声源的暴露。
金属板天线有时也称为冲压金属天线。在一些实现中,金属板天线安装在电路板上且耦合到通信模块。在一些实现中,金属板天线垂直于电路板的平面安装。在一些实现中,金属板天线平行于电路板平面安装。在一些实现中,金属板天线包括倒F型天线。在一些实现中,金属板天线包括贴片天线。在一些实现中,贴片天线是印刷贴片天线。在一些实现中,贴片天线印刷在多层电路板的表面上。在一些实现中,贴片天线包括定向天线,其具有远离装置的地平面定向的辐射主瓣。
局部地平面的尺寸和形状以及地平面与天线元件的相对紧密的间距均对天线设计产生影响。金属板天线最佳地放置在地平面的边缘上(例如电路板的边缘)或平坦地平面表面的顶部上。因此,金属板天线最好不被地平面和/或其他导电表面包围。
板天线有时也称为印刷电路板(PCB)天线或PCB迹线天线。在一些实现中,板天线安装在电路板上且耦合到通信模块。板天线通常受电路板基板特性(例如介电常数和损耗因数)的影响。在一些实现中,板天线包括单端天线。在一些实现中,板天线包括差分天线。在一些实现中,板天线包括八木天线。在一些实现中,板天线包括F天线。在一些实现中,板天线包括倒F天线。在一些实现中,板天线层压在电路板表面上。在一些实现中,板天线占据电路板上的一个或多个层。
芯片天线通常安装在印刷电路板上。在一些实现中,芯片天线像标准电路组件一样放置在电路板上,尽管这些天线通常在效率方面受到影响。芯片天线通常受电路板基板特性(例如介电常数和损耗因数)的影响。电路板的基板材料减小了天线的谐振长度,从而减少了可用带宽。电路板基板还引入了损耗机制并降低了天线的效率。在天线的可用板空间有限的一些情况下,芯片天线是最佳天线类型。在一些实现中,芯片天线包括陶瓷芯片天线。在一些实现中,芯片天线包括F天线。在一些实现中,芯片天线包括倒F天线。在一些实现中,芯片天线包括单极天线。
在一些实现中,粘合剂天线安装到盖子(有时也称为壳体或外壳)。在一些实现中,粘合剂天线包括带状天线。在一些实现中,粘合剂天线包括贴纸天线。在一些实现中,粘合剂天线包括导电涂料天线。在一些实现中,粘合剂天线包括线天线。
为了优化性能并降低噪声,通常定位雷达系统(例如,雷达天线和电路),使得雷达系统不受其他部件的阻碍。例如,在具有多个电路板的设备中,雷达系统通常在雷达系统要监视的方向上定位在最靠近盖子的电路板上。产生电磁场的金属壳体和其他类似材料通常不位于雷达系统的前面,因为它们可能引入噪声和/或减小检测范围。在一些实现中,雷达系统定位在智能设备内,以便最小化离开/进入设备的、所传送的无线电波的阻抗不匹配。在一些实现中,雷达系统定位在智能设备内,以通过将天线定位成彼此远离(例如,通过将天线放置在电路板的相对端上)来最小化对其他通信系统的干扰。在一些实现中,雷达系统平行于面向特定感兴趣区域(或感兴趣的维度)的设备盖子定位,以便优化感兴趣区域中(或感兴趣的维度的)的分辨率。
在诸如配备雷达的智能设备204的、具有Wi-Fi和雷达系统的设备中,通过配置设备使得雷达频率不是Wi-Fi频率的谐波或反之亦然,可选地最小化Wi-Fi和雷达信号之间的干扰。
在诸如配备雷达的恒温器102的、具有雷达系统和温度传感器的设备中,可选地通过下述方式来最小化在温度传感器和雷达系统之间的干扰:配置设备使得温度传感器不与雷达同时运行,或紧接着雷达操作运行。在一些情况下,雷达系统的操作产生足够的热量以使智能家庭环境的温度传感器读数不准确。在一些实现中,配置雷达系统的工作循环,使得雷达在温度传感器执行温度读数之前不立即发射无线电波。
图14D是示出根据一些实现的雷达控制模块1450的框图。雷达控制模块1450耦合到多个天线1448,用于经由接收器线1452和传送线1454传送和接收无线电波。在一些实现中,雷达控制模块1450包括耦合到天线1448的模拟前端1452。
在一些实现中,模拟前端1452耦合到多个模数转换器(ADC)1454,用于将从天线接收的模拟信号转换为数字信号。在一些实现中,多个ADC 1454包括用于计算所接收信号的虚部的第一多个ADC和用于计算所接收信号的实部的第二多个ADC。
在一些实现中,模拟前端1452耦合到传输模块1456。在一些实现中,传输模块1456经配置以产生各种无线电信号以供天线1448传送。在一些实现中,传输模块1456被配置为对来自模拟前端的接收信号进行采样,以用于生成无线电信号以供将来传输。在一些实现中,传输模块1456包括数模转换器(DAC)1457和功率放大器1459。在一些实现中,传输模块1456包括信号混合器和/或振荡器。在一些实现中,传输模块1456经配置以构建可编程雷达信号以供天线1448传送。
在一些实现中,ADC 1454耦合到控制器1458以用于处理数字信号。在一些实现中,控制器1458对数字信号执行数字信号处理(DSP),例如快速傅里叶变换(FFT)。在一些实现中,控制器1458包括多核处理器,诸如由ARM Limited生产的处理器。
在一些实现中,雷达控制模块1450包括储存器1462。在一些实现中,存储器用于存储来自控制器1458和/或传输模块1456的数据。在一些实现中,存储器用于存储从应用处理器1464接收到的数据。在一些实现中,存储器包括多个寄存器。在一些实现中,存储器包括易失性和/或非易失性存储器。
在一些实现中,雷达控制模块1450包括耦合到ADC 1454的数据合并器1460。在一些实现中,数据合并器1460经配置以聚合由个别ADC输出的数据以供进一步处理。
在一些实现中,雷达控制模块1450包括用于向雷达控制模块1450的各种组件提供电力的电力子模块(未示出)。
在一些实现中,雷达控制模块1450耦合到应用处理器1464且输出来自数据合并器1460和/或控制器1458的数据以供应用处理器1464进一步处理。在一些实现中,控制模块1400、控制模块1410和/或控制模块1420包括雷达控制模块1450。
图14E是示出根据一些实现的应用处理器1464的框图。图14E示出了耦合到雷达控制模块1450、视频源1466、储存器1468和一个或多个分类器1480的应用处理器1464。在一些实现中,应用处理器1464是诸如智能设备204的配备雷达的设备的组件。在一些实现中,应用处理器1464是诸如服务器系统508的服务器系统的组件。在一些实现中,应用处理器1464包括事件处理器7146和雷达处理器7145。在一些实现中,一个或多个分类器1480包括事件分类器1107和/或雷达分类器1108。在一些实现中,视频源1466包括视频源1101。在一些实现中,雷达控制模块1450是雷达源1101的组件。
在一些实现中,应用处理器1464包括用于处理从视频源1466接收的图像的图像信号处理器(ISP)1472。在一些实现中,处理图像包括确定像素颜色、调整曝光、调整焦距、校正镜片瑕疵和降低噪音等。
在一些实现中,应用处理器1464包括用于处理从雷达控制模块1450和/或图像处理器1472接收的数据的信号处理模块1470。在一些实现中,信号处理模块1470执行数据的变换,例如快速傅里叶变换,以促进聚合和分析数据。
在一些实现中,应用处理器1464包括用于分析雷达数据和/或图像数据的多个控制器1474。在一些实现中,控制器1474识别雷达数据和/或图像数据中的感兴趣对象。在一些实现中,控制器1474通过分析所识别的对象、分配给所识别的对象的类别和/或所识别的对象的集群来执行机器学习。
在一些实现中,一个或多个分类器1480对由控制器1474识别的感兴趣对象进行分类。在一些实现中,一个或多个分类器1480对涉及由控制器1474识别的一个或多个感兴趣对象的雷达和/或运动事件进行分类。
在一些实现中,应用处理器1464耦合到储存器1468。在一些实现中,存储器1464包括易失性存储器和/或非易失性存储器。在一些实现中,存储器1464包括DDR存储器。在一些实现中,存储器1464存储由ISP 1472、控制器1474和/或一个或多个分类器1480输出的数据。例如,存储器1464存储由控制器1474识别的感兴趣对象。在一些实现中,存储器1464包括视频和雷达源数据数据库1109、分类模块数据库1110和/或事件数据和事件掩码数据库1111。
图15A-15M示出了根据一些实现的相机设备118的各种组装视图。特别地,这些实现示出了作为用于实现改进的共存的组件布局策略的一部分的组件的放置。自始至终更详细地描述了相机118(例如,其中,相机是智能设备204,图9A)的组件和各种实现。
具体地,图15A和15B示出了组装的相机设备118的透视图。相机设备118实时捕获多媒体数据(图像、视频和音频数据),并通过远程服务器将原始或处理的多媒体数据传送给其用户。捕获的原始多媒体数据可选地在相机设备118中本地处理或在远程服务器(例如,服务器系统508)内远程处理。在一些实现中,相机设备118是配备雷达的并且包括雷达系统,例如图14A-14C的雷达系统之一。在一些实现中,配备雷达的相机设备118捕获雷达数据并将原始或处理的雷达数据传送到远程服务器系统(例如,服务器系统508)以进行分析和/或存储。图15A示出了相机设备118,其具有对应于Wi-Fi通信频带的一个或多个无线电1597以及对应于15.4通信频带的一个或多个无线电1599。在一些实现中,相机设备118包括用于实现雷达的无线电、电路和/或模块。在一些实现中,相机设备118包括用于实现RFID通信的无线电、电路和/或模块。
图15C示出了相机设备118的视图,其中,从相机设备118组件移除盖子1502。图15C示出了Wi-Fi天线1595和附接到盖子1502内部的15.4天线1593。图15C还示出了盖子内侧的正面上的区域1501。在一些实现中,诸如图14A-14C的雷达系统之一的雷达系统至少部分地定位于(例如,雷达天线定位于)区域1401内。图15D和15E进一步示出了相机设备118和一个或多个天线(例如,1504-1和1504-2)相对于相机设备118组件的盖子1502定位的位置的视图。如图15D所示,电缆(例如,RF同轴电缆)将天线1504-2(例如,15.4天线)连接到相机设备118的主电路板(在图15H和15I中更详细地示出)。尽管未示出,但在一些实现中,天线1504-1(例如,Wi-Fi天线)也使用类似的电缆连接到主电路板。在一些实现中,相机118包括一个或多个附加天线,用于经由其他波长和/或协议(例如,RFID或雷达)进行通信。例如,一个或多个雷达天线固定到盖子1502和/或固定到靠近盖子1502的电路板上。
天线(例如,天线1504和雷达天线)在相机设备118组件内的放置使得来自导电和发射组件的干扰最小化。天线的放置至少部分地基于所使用的天线的类型。在一些实现中,天线可选地集成到贴纸或胶带中或通过贴纸或胶带固定(或者使用非导电粘合剂固定)。通过选择相机组件的封闭壳体(例如,盖子1502)的材料为较少(或非)导电的材料,例如塑料,这些天线可选地沿着封闭壳体的内部粘合地固定,从而减少了否则经历的干扰的影响。在一些实现中,一些或所有天线是冲压金属板天线。这些天线可选地构造为三维金属板天线,其安装在对应收发器位置附近的电路板上。一个例子是平面倒F天线(PIFA)冲压金属天线。在一些实现中,一些或所有天线是集成到印刷电路板(PCB)中/上的迹线天线。在一些实现中,迹线层压在PCB的表面上。在一些实现中,迹线占据多层板的若干层。在一些实现中,一些或所有天线是芯片天线,其是可选地由陶瓷制成的无源表面安装天线组件。在一些实现中,一些或所有天线在相机组件的封闭壳体外部。
图15F是根据一些实现的相机设备118的分解图。相机设备118的该视图示出了相机镜头1508、多个LED 1506和一个或多个天线1504。在一些实现中,相机设备118包括雷达系统(例如,图14A-14C的雷达系统),其至少部分地定位在电路板1507上,例如在区域1503内。例如,定位使得一个或多个天线位于电路板1507上的LED 1506上方或下方(例如,在区域1503中)的雷达系统。在一些实现中,相机设备118包括至少部分地定位在电路板1509上的雷达系统。例如,定位使得一个或多个天线位于电路板1509的外围附近(例如,在区域1511中)以便使得视野不被电路板1507阻碍的雷达系统。在一些实现中,相机设备118包括至少部分地安装在盖子1502处的雷达系统。例如,安装使得一个或多个或多个天线位于盖子1502的面向前的部分上(例如,在区域1501中)的雷达系统。
根据常规监视器模式,相机设备118被配置为在由可见光源(例如,太阳或灯泡)照明的智能家庭环境中提供视频监视和安全性。在一些实现中,相机设备118包括替代操作模式,诸如夜视模式和深度成像模式。每个替代操作模式与相应的照明条件相关联。例如,在夜视模式中,相机设备118被配置为在没有或存在有限的可见光照明可用时在夜间捕获在智能家庭环境中的活动。在深度成像模式中,相机设备118被配置为在智能家庭环境中为对应的视野创建深度图或图像。深度图随后可以在常规监视器模式中使用,以准确识别智能家庭环境中的对象。在一些实现中,基于在选择性地照射视野的一部分时捕获的一个或多个图像来创建深度图像。因此,在一些实现中,相机设备118被配置为包括LED照明系统,并且将其用作内部光源,以根据与相机设备118的每个替代操作模式相关联的相应照明条件在智能家庭环境中提供照明。在一些实现中,相机设备118被配置为在智能家庭环境中提供雷达监视。在一些实现中,相机设备118被配置为提供雷达监视,而不管相机设备的基于照明的操作模式。
具体地,在一些实现中,多个LED 1506包括红外LED 1506。红外LED 1506封闭在相机设备118的深色红外透明塑料盖1502内,并且因此从相机设备118外部看不见。鉴于塑料盖子1502允许红外光穿过它,所以相机设备118可以依靠红外LED 1506在夜间提供照明。在夜视模式中,多个LED被通电以在夜间用红外光照亮视野。相机设备118包括捕获视野的红外图像或视频剪辑的红外图像传感器。在深度成像模式中,多个LED 1506被分组为多个LED组,并且每个LED组被选择性地加电以照亮与相机设备118所在的场所相关联的视野的相应部分。将与这些LED组相关联捕获的图像组合以生成在场地处的整个视野的深度图。
或者,在一些实现中,所述多个LED 1506是红外和可见光LED的混合,包括至少一个红外LED和至少一个可见光LED。在夜视模式中,多个LED中的至少一个红外LED被通电以用红外光照亮视野。
在一些实现中,多个LED 1506设置在相机设备118的内部组件结构上,并且被配置为围绕相机设备118的相机镜头1508。在一些实现中,如图15F的插图所示,每个LED可选地相对于穿过相机镜头1508的中心340的光轴倾斜某个角度。这里,光轴垂直于相机镜头1508中心的镜头表面。在一些实现中,每个LED以在20-40度的范围内的角度倾斜远离相机的光轴。在该示例中,多个LED 1506包括八个LED,这些LED被以四对LED分组。四对LED对称地布置在围绕相机镜头1508的四个象限内。在一些实现中,机械或电子组件314放置在两个LED对之间或LED对内的两个LED之间。注意,相机镜头1508可以被具有与上述示例不同的物理布置的多个LED围绕(例如,相机镜头1508被围绕相机镜头1508的三层均匀分布的一百个LED围绕)。
在一些实现中,根据相机设备118的形状因子将天线(例如,天线1504和/或雷达天线)附接在相机盖1502的内壁上。每个天线以相对于其他天线的相应的优选取向定位在相应的优选位置,以抑制或减少来自其他天线的存在和干扰的影响。在一些情况下,接收元件和基座组件由金属材料制成,并且每个天线以相对于接收元件和基座组件的相应的优选取向定位在相应的优选位置,以抑制或减小来自它们的存在的影响。为了呈现优选的位置和取向,每个天线被标记有相应的对准标记,该对准标记被配置成引导相应天线组件到相机盖子1502的内壁上。
在一些实现中,所述一个或多个天线包括至少第一天线和第二天线。第一天线被配置为通过无线局域网(WLAN)无线传输由相机设备118捕获的数据,并且第二天线被配置为经由第一无线电网络传送与WLAN相关联的配置数据,以便调试相机设备118进入WLAN。在一些实现中,相机设备118还包括第三天线,以允许相机设备118经由与第一无线电网络不同的第二无线电网络与本地集线器设备(例如,图1中所示的集线器设备180)通信。在一些实现中,相机设备118还包括第三天线,以允许相机设备118执行雷达操作。在一些实现中,WLAN以及第一和第二无线电网络与定制或标准无线协议(例如,IEEE 802.15.4、Wi-Fi、ZigBee、6L0WPAN、线程、Z-Wave、蓝牙智能、ISA100.1la、WirelessHART、MiWi等)相关联。在特定示例中,第一、第二和第三天线被配置为分别根据IEEE 802.11、IEEE 802.15.4和ZigBee规范无线地传送它们各自的数据。在另一示例中,第一、第二和第三天线被配置为分别经由IEEE 802.11、RFID和雷达无线地传送它们各自的数据。
在一些实现中,天线电耦合到在不同频带上操作的单独无线发射器电路,且同时在不同频带发射无线信号。在一些实现中,天线电耦合到双工滤波器或控制其到单个无线接收器电路的连接的开关。
图15G-15M示出了相机设备118的附加视图。具体地,图15G示出了相机设备118的分解视图。图15H和15I分别示出了相机设备118的主电路板的俯视图和仰视图。图15J和15K分别示出了相机设备118的传感器板的俯视图和仰视图。图15L和15M分别示出了相机设备118的IR LED电路板的俯视图和仰视图。
在一些实现中,相机设备118包括前盖1573、后盖1591、传感器组件1571、传感器板1585、LED板1507、主板1509、扬声器1581、麦克风1577和附件螺丝1565。在一些实现中,主板1509包括用于将主板耦合到传感器板1585的板对板连接器1589、存储器1555(例如,NAND存储器)以及用于图像处理、运动检测和压缩等的处理器1557(例如,Amberella A5S CPU)。在一些实现中,传感器板1585包括散热器1553。在一些实现中,LED控制器1567耦合到(例如,安装在)LED板1507上。在一些实现中,后盖1591包括多个脊1559,用于降低热的触感。在一些实现中,后盖1591包括金属盖。
在一些实现中,相机组件包括封闭的壳体,该壳体具有后表面1591、前表面1573和周界(例如,相机118,图15A-15M)。在一些实现中,相机组件还包括透镜模块1571,透镜模块1571位于壳体内并且被配置为经由前表面(例如,透镜1508,图15F)接收光。在一些实现中,使用无线局域网在相机组件和服务器之间交换由透镜模块捕获的视频数据。
在一些实现中,相机组件还包括位于壳体内并且被配置为通过多个不同通信协议(例如,包括多个收发器的相机设备118的主电路板1509)进行无线通信的通信电路。在一些实现中,通信电路包括:第一电路1579,配置用于通过第一通信协议(例如,Wi-Fi收发器)进行通信;以及第二电路1587,配置用于通过第二通信协议(例如,802.15.4收发器)进行通信,其中,第一电路和第二电路是不同的。在一些实现中,通信电路是被配置用于通过第一和第二通信协议(例如,无线电950,其包括用于蓝牙LE的无线电950-1和用于Wi-Fi的无线电950-2)进行通信的集成电路。在一些实现中,通信电路被配置为通过至少三种不同的通信协议(例如,Wi-Fi、802.15.4和蓝牙LE)进行无线通信。在一些实现中,第二天线还被配置用于通过第三通信协议进行通信。在一些实现中,通信电路还被配置为在检测激活的优先级控制信号的同时,提供用于通过第一通信协议进行通信的传输访问,同时拒绝用于通过第二通信协议进行通信的传输访问。在一些实现中,通信电路包括经配置以通过第一通信协议(例如,RFID)进行通信的第一电路和经配置以经由雷达进行通信的第二电路。在一些实现中,通信电路至少部分地位于多个电路板(例如,主板1509和LED板1507)上。
在一些实现中,相机组件还包括:布置在外围的内表面上的第一位置处的第一天线(例如,天线1504-1),第一天线被配置用于通过第一通信协议(例如,Wi-Fi)进行通信;以及布置在外围的内表面上的第二位置处的第二天线(例如,天线1504-2),第二位置与第一位置不同,第二天线被配置用于通过通信协议的第二个(例如,802.15.4)进行通信。在一些实现中,通过粘合材料,第一天线布置在周界的内表面上的第一位置处,和/或,第二天线布置在周界的内表面上的第二位置处(例如,图15E)。在一些实现中,第一天线具有第一取向,并且第二天线具有第二取向,使得来自每个其他天线的存在和干扰的影响被抑制(例如,定向天线1504-1和1504-2以及相对于彼此和相机组件内的其他组件的角度)。在一些实现中,第一天线和第二天线用相应的对准标记被标记,该对准标记被配置为将相应天线的组件引导到相机盖的内壁上。
在一些实现中,第一天线和第二天线经配置以在相同频率(例如,2.4GHz)下操作。在一些实现中,第一天线和第二天线经配置以在不同频率(例如,2.4GHz和5GHz)下操作。在一些实现中,第一天线被配置为通过第一通信协议向其他智能家庭设备传送和从其接收包括警报、控制信号和状态信息中的一个或多个的信号(例如,来自使用802.15.4的危险检测器104的紧急警报或由任何智能设备204传送/接收的任何信号)。此外,第二天线被配置为通过第二通信协议传送和接收用于配置智能家庭设备的信号(例如,用于供应和设置相机118的蓝牙LE),以及通过与通过智能家庭设备捕获的视频相对应的第三通信协议传送和接收数据(例如,用于流传输视频数据的Wi-Fi)。在一些实现中,第三天线经配置以发射和接收无线电信号以用于雷达。
在一些实现中,第一天线或第二天线被配置为根据IEEE 802.11规范在无线局域网中发射和接收无线信号。在一些实现中,第一天线或第二天线被配置为根据IEEE802.15.4标准在无线个域网中发射和接收无线信号。在一些实现中,第一天线或第二天线经配置以根据蓝牙低能量标准发射和接收无线信号。在一些实现中,第一天线或第二天线经配置以发射和接收用于雷达的无线信号。在一些实现中,第一天线和第二天线电耦合到双工器,所述双工器控制它们与单个无线接收器电路的连接。
在一些实现中,相机组件还包括环形臂,该环形臂被配置成在封闭壳体插入环形臂中的切口开口内时固定封闭壳体。在一些实现中,环形臂由金属材料制成,并且第一天线的第一位置和第二天线的第二位置使得来自金属环形臂的存在的影响被抑制(例如,放置在距离环形臂和封闭壳体接触的位置最远的位置)。
在一些实现中,相机设备118包括雷达系统,例如图14A-14C的雷达系统之一,其位于主板1509的顶部。例如,在一些实现中,雷达系统位于主板顶侧的下部区域(例如,位于传感器板连接器下方)。在一些实现中,雷达系统位于主板的顶侧的上部区域中(例如,在区域1511中或在区域1513中)。在一些实现中,雷达系统位于若干区域中。例如,控制模块(例如,控制模块1420)位于第一区域(例如,区域1511)中,并且发射器和/或接收器位于第二区域(例如,区域1513)中。
在一些实现中,相机设备118包括雷达系统,例如图14A-14C的雷达系统之一,其位于传感器板的顶部。例如,在一些实现中,雷达系统位于传感器板的顶侧的上部区域中(例如,在图像传感器上方)。作为另一个例子,雷达系统至少部分地位于传感器板顶部的区域1515和/或区域1517中。
在一些实现中,相机设备118包括雷达系统,例如图14A-14C的雷达系统之一,其位于LED板1507的顶部。例如,在一些实现中,雷达系统位于LED板顶侧的左侧(例如,LED的左侧)的区域中。
在一些实现中,相机设备118包括位于连接到主板1509、LED板1507和/或传感器板的电路板(例如,柔性电路板)上的雷达系统。
在一些实现中,雷达系统被定位成使得控制模块(例如,控制模块1400)位于相机设备118的第一组件上,并且天线(例如,发射器1402和/或接收器1404)位于相机设备118的第二组件上。在一些实现中,雷达系统被定位使得控制模块(例如,控制模块1400)位于第一电路板上(例如,在主板1509上的区域1511内),并且天线位于第二电路板上(例如,在LED板1507上的区域1504中)。在一些实现中,一个或多个天线位于柔性电路板上,或安装到相机设备118的盖子1502(例如,在区域1501内)。
图15H示出了根据一些实现的主板1509的俯视图。在一些实现中,主板1509包括天线连接器1583(例如,Wi-Fi或雷达天线连接器)、通信模块1579(例如,将与天线连接器1583相结合地操作)、传感器板连接器1589、PMIC 1551、通信模块1587(例如,15.4或雷达通信模块)以及天线连接器1549(例如,15.4或雷达天线连接器)。在一些实现中,主板1509包括安装在区域1511或区域1513中的雷达模块。在一些实现中,主板1509包括安装在区域1511或区域1513中的雷达天线。
图15I示出了根据一些实现的主板1509的仰视图。在一些实现中,主板1509包括处理器1557、存储器1555、扬声器空间1547、重置按钮1545、麦克风连接器1543、USB连接器1541和天线连接器1563(例如,雷达或15.4天线连接器)。
图15J展示根据一些实现的传感器板1585的俯视图。在一些实现中,传感器板1585包括RGB状态LED 1539、电感器1535、升压器1533、集成电路(IC)1531和图像传感器1537。在一些实现中,传感器板1585还包括安装在区域1515或区域1517中的雷达模块。在一些实现中,传感器板1585还包括安装在区域1515或区域1517中的雷达天线。
图15L示出了根据一些实现的LED板1507的俯视图。在一些实现中,LED板1507包括电流吸收运算放大器(OpAmp)1529。在一些实现中,LED板1507还包括安装在区域1503中的雷达模块。在一些实现中,传感器板1585还包括安装在区域1503的雷达天线。
图15M示出了根据一些实现的LED板1507的仰视图。在一些实现中,LED板1507包括深度模式控制器集成电路1527。
图16A-16C示出了智能恒温器(例如,智能恒温器102,图1)的各种视图,智能恒温器可选地用作如前所述的智能家庭环境100的一部分。
具体地,图16A示出了智能恒温器102相对于两个部件(头单元1600-A和后板1600-B)的分解透视图。头单元1600-A包括头单元电路板1650(关于图16B进一步详细描述),并且背板1600-B包括背板电路板1660(关于图16C进一步详细描述)。在下面说明的各种电气和机械部件的进一步技术和/或功能描述可以在一个或多个共同转让的并入的申请中找到,例如美国序列号13/199,108。在所示的附图中,“z”方向是从墙壁向外,“y”方向是相对于步行用户的从头到脚的方向,并且“x”方向是用户的从左到右的方向。
图16B示出了用于智能恒温器的头单元电路板1650以及存储器1606(例如,DDRSDRAM)和存储器1608(例如,大规模NAND存储器)的正视图,头单元电路板1650包括头单元微处理器1602(诸如德州仪器AM3703芯片)和相关联的振荡器1604。对于无线通信能力(例如,Wi-Fi),提供(例如,在射频(RF)屏蔽1610的单独隔室中)无线通信模块1612,例如Murata无线解决方案LBWA19XSLZ模块,其基于德州仪器WL1270芯片组,该芯片组支持802.11b/g/n WLAN标准。对于无线通信模块1612,支持包括振荡器1616的电路1614。根据一些实现,对于ZigBee能力,提供(例如,在单独屏蔽的RF隔室中)ZigBee模块1618,例如来自德州仪器的C2530F256模块。对于ZigBee模块1618,提供了包括振荡器1622和低噪声放大器1624的支持电路1620。根据一些实现,智能恒温器还包括显示器背光电压转换电路1626、压电驱动电路1628和/或电源管理电路1630(本地电源轨等)。在一些实现中,设置在电路板1632(例如,柔性电路板)(其通过柔性电路连接器1634附接到头单元电路板的背面)上的是接近和外界光传感器(PROX/ALS),例如Silicon Labs SI1142接近/外界光传感器,其带有I2C接口。在一些实现中,智能恒温器包括以下中的一个或多个:电池充电-监督-断开电路1636和弹簧/RF天线1638。在一些实现中,智能恒温器还包括以下中的一个或多个:温度传感器1644(在+z方向上垂直于电路板上升,该电路板包含两个与电路板不同距离的独立温度传感元件)和PIR运动传感器1646。在一些实现中,PIR运动传感器1646(和相关电路)由诸如图14A-14C的雷达系统之一的雷达系统代替。在一些实现中,除了PIR运动传感器1646之外,智能恒温器还包括雷达系统。在一些实现中,雷达系统至少部分地位于头单元电路板1650上。例如,根据一些实现,雷达系统位于头单元电路板1650的顶侧的底部区域中(例如,紧邻或替换PIR运动传感器1646)。在一些实现中,雷达系统至少部分地位于耦合到头单元电路板1650的柔性电路板上(例如,补充或替换PROX/ALS电路)。
在一些实现中,即使PROX/ALS和温度传感器1644和PIR运动传感器1646物理地位于头单元电路板1650上,所有这些传感器也由它们电连接到的背板电路板上的低功率背板微控制器轮询和控制。在一些实现中,头单元电路板包括:蓝牙模块1648;以及包括一个或多个振荡器、放大器和/或任何其他支持电路的附加电路(未示出)。在一些实现中,头单元电路板包括一个或多个集成电路,其包括无线电和收发器的组合。例如,在一些实现中,无线通信模块1612和蓝牙模块1648包括单个芯片,其中,无线通信模块1612和蓝牙模块1648使用单个天线1638传送和接收信号。关于图9A更详细地描述了收发器的各种实现(例如,无线电940和无线电950)。
图16C示出了背板电路板1660的后视图,背板电路板1660包括背板处理器/微控制器1662,例如包括机载存储器1664的德州仪器MSP430F片上系统微控制器。背板电路板1660还包括:电源电路1666,其可选地包括电源窃取电路;以及用于在各个HVAC功能之间切换的开关电路1668。在一些实现中,对于每个HVAC功能,开关电路1668包括隔离变压器1670和背靠背FET封装1672。在开关电路中使用FET允许“有功功率窃取(active power stealing)”,即,在HVAC“ON”循环期间,通过简单地将来自HVAC继家电电路的电力转移到储存电容器非常小的间隔(例如100微秒)来获取电力。这个时间足够小,不会使HVAC继家电跳闸到“关断”状态,但足以为储能电容器充电。使用FET可以实现这种快速切换时间(100微秒),这通常使用继家电(持续接通数十毫秒)很难实现。此外,这种继家电通常很容易使得进行这种快速开关变差,并且还可能产生可听见的噪声。相反,根据一些实现,FET工作时没有或者实质上没有可听见的噪声。在一些实现中,背板电路板1660还包括组合的温度/湿度传感器模块1274,例如Sensirion SHT21模块。在一些实现中,背板微控制器1662执行以下中的一个或多个:各种传感器的轮询;在安装时检测机械电线插入;提醒头单元有关电流与设定点温度条件并相应地启动开关;以及,其他功能,例如在安装时在插入的导线上寻找适当的信号。
根据共同转让的美国序列号13/269,501、共同转让的美国序列号13/275,307以及共同转让的合并申请中的其他申请的教导,智能恒温器102(图1)表示先进的、多传感、微处理器控制的智能或“学习”恒温器,其提供处理能力、直观和视觉上令人愉悦的用户界面、网络连接和节能功能(包括目前描述的自动离开/自动到达算法)的丰富的组合,同时不需要来自HVAC系统的所谓“C线(C-wire)”或来自家用墙壁插头的线路电源。在某些情况下,这种高级功能可能需要比“电力窃取(power-stealing)”选项可以安全地提供者更大的瞬时功率消耗(即,从一个或多个HVAC呼叫中继器提取更少量的电力)。举例来说,在某些情况下,头单元微处理器1602在唤醒和处理时抽取250mW的量级,并且LCD模块(未示出)在激活时抽取250mW的量级。此外,Wi-Fi模块1612在激活时抽取250mW,并且需要在一致的基础上激活,例如在常见情况下以一致的2%占空比。然而,为了避免错误地切断大量商业上使用的HVAC系统的HVAC继家电,电力窃取电路通常限于提供大约100mW-200mW的量级的容量的电力,这不足以供应许多常见情况需要的电力。
在一些实现中,智能恒温器102至少通过使用可再充电电池(或等效地具有车载电力的存储介质)来解决这些问题,所述可再充电电池将在硬件功率使用小于电力窃取可以安全地提供者的时间间隔期间再充电,并且在硬件电力使用大于电力窃取可以安全地提供者的时间间隔期间放电以提供所需的额外电力。为了以电池意识的方式(其促进可再充电电池的减少的电力使用和延长的使用寿命)操作,恒温器1800具有(i)相对强大且相对功率密集的第一处理器(例如,德州仪器AM3703微处理器),其能够快速执行更复杂的功能,例如驱动视觉上令人愉悦的用户界面显示器和执行各种数学学习计算,以及(ii)功能相对较低且功耗较低的第二处理器(例如,德州仪器MSP430)微控制器),用于执行不太密集的任务,包括驱动和控制占用传感器。在一些实现中,为了节省电力,第一处理器在延长的时间段内保持在“休眠(sleep)”状态,并且仅在需要其能力的情况下被“唤醒(woken up)”,而第二处理器或多或少连续地保持在接通状态(尽管优选地减慢或禁用某些内部时钟达到短暂的周期性间隔以节省电力)以执行其相对低功率的任务。第一和第二处理器被相互配置,使得第二处理器可以在某些事件发生时“唤醒”第一处理器,这可以称为“唤醒”设施。在一些实现中,作为要实现的不同功能和/或节能目标的一部分,可以打开和关闭这些唤醒设施。例如,可以提供“唤醒PROX”设施,通过它,当通过有源接近传感器(PROX,例如由Silicon Labs SI1142接近带有I2C接口的外界光传感器/提供)检测用户的手接近恒温器拨盘时,第二处理器“唤醒”第一个处理器,以便它可以为接近的用户提供视觉显示,并准备好在他们的手触摸拨号盘时更快地做出响应。作为另一个例子,可以提供“唤醒PIR”设施,通过它,当借助于无源红外(PIR)运动传感器(例如,由PerkinElmer DigiPyro PYD 1998双元素高温检测器提供)检测恒温器的一般附近某处的运动时,第二处理器将唤醒第一处理器。值得注意的是,唤醒PIR不与自动到达同义,因为需要感应PIR活动的N个连续的桶来调用自动到达,而只有一个足够的运动事件就可以触发唤醒PIR的唤醒。
在一些实现中,智能恒温器102利用雷达系统(例如,图14A-14C中的雷达系统之一)来检测接近的用户和/或手触摸,并基于雷达系统检测唤醒第一处理器。
在一些实现中,智能恒温器102包括雷达系统,例如图14A-14C的雷达系统之一,其位于头单元1600-A的顶部。例如,在一些实现中,雷达系统至少部分地位于头单元盖的内侧上的区域1601内。在一些实现中,雷达系统位于头单元的盖子的上部区域中。
在一些实现中,智能恒温器102包括雷达系统,例如图14A-14C的雷达系统之一,其位于头单元电路板1650的顶部。例如,在一些实现中,雷达系统替换在头单元电路板1650底部的PIR传感器1646。作为另一个例子,雷达系统至少部分地位于PIR传感器1646的旁边(例如,其左侧或右侧)。
在一些实现中,智能恒温器102包括至少部分地位于电路板(例如,柔性电路板)上的雷达系统,该电路板例如是柔性电路板1632,其连接到头单元电路板1650或者背板电路板1660。
在一些实现中,雷达系统被定位成使得控制模块(例如,控制模块1400)位于智能恒温器102的第一组件上,并且天线(例如,发射器1402和/或接收器1404)位于智能恒温器102的第二部件上。在一些实现中,雷达系统被定位成使得控制模块(例如,控制模块1400)位于第一电路板上(例如,在背板电路1660板上的区域1677中)并且天线位于第二电路板上(例如,代替头单元电路板1650上的PIR 1646)。在一些实现中,一个或多个天线位于柔性电路板(例如,柔性电路板1632)上,或安装到智能恒温器102的盖子(例如,在区域1601内)。
图17A-17D示出了智能危险检测器(例如,智能危险检测器104,图1)的各种视图,该检测器可以用作智能家庭环境100的一部分,如前所述。根据一些实现,这些附图还示出了盖板1728的多个孔或开口,其形成视觉上令人愉悦的设计,其可由其中安装智能危险检测器104的房间的居住者观看。
具体地,图17A示出了智能危险检测器104的组装视图。图17A示出了处于组装配置的安装板1724、前壳1726和盖板1728,其中,各种其他组件包含在智能危险检测器104的内部空间内。根据一些实现,透镜按钮1732被示出为附接到智能危险检测器104,以便相对于盖板1728居中定位。如简要描述的,可选地使用光环1742来在透镜按钮1732周围和后面提供光晕外观。组装的智能危险检测器104提供紧凑但多功能的设备。
图17B示出了智能危险检测器104的分解透视图。如图17B所示,智能危险检测器104包括安装板1724,安装板1724附接到结构的墙壁或天花板以向其固定智能危险检测器104。智能危险检测器104还包括安装到安装板1724的后板1730和与后板1730耦合或否则固定到后板1730的前壳1726,以限定具有内部区域的壳体,智能危险检测器104的部件被包含在该内部区域内。在一些实现中,电路板1700与背板1730耦合或附接到背板1730。各种组件可选地安装在电路板1700上。例如,根据一些实现,烟室1734与电路板1700耦合或安装在电路板1700上,并被配置成检测烟雾的存在。在一些实现中,烟室1734相对于电路板1700居中安装,使得空气从电路板1700上方的位置和电路板1700下方的位置流入烟室1734。在一些实现中,扬声器1736和/或警报设备安装在电路板1700上,以当通过烟室1734检测到烟雾存在时,可听见地向占用者警告潜在的火灾危险。其他部件(例如,运动传感器、一氧化碳传感器和微处理器等)可选地安装在电路板1700上,如在此所述。在一些实现中,智能危险检测器104包括雷达系统或模块,例如图14A-14C的雷达系统之一,用于传送和接收雷达信号。在一些实现中,智能危险检测器104包括用于与其他智能设备和/或电子标签(例如,经由RFID或Wi-Fi)通信的通信模块。
在一些实现中,智能危险检测器104包括至少部分地安装在电路板1700上的雷达系统。例如,一个或多个雷达天线位于电路板1700上。在一些实现中,智能危险检测器104包括至少部分地安装在前壳1726上的雷达系统。例如,一个或多个雷达天线位于前壳1726上或附接到前壳1726。在一些实现中,智能危险检测器104包括至少部分地安装在盖板1728上的雷达系统。例如,一个或多个雷达天线位于盖板1728上或附接到盖板1728。
在一些实现中,保护板1738附接到电路板1700或否则与电路板1700耦合,以向智能危险检测器104的内部组件提供视觉上令人愉悦的外观和/或将气流漏斗传输或引导到烟室1734。例如,当用户例如通过后板1730中的通风孔观察智能危险检测器104的内部组件时,保护板1738提供相对光滑表面的外观,并且否则隐藏电路的组件或电路。保护板1738可选地用于从后板1730的通风口朝向烟室1734引导空气流,以便促进空气流入和流出烟室1734。
在一些实现中,智能危险检测器104包括电池组1740,其被配置为向智能危险检测器104的各种组件提供电力。例如,当智能危险检测器104未与诸如家庭或结构的120V电源的外部电源耦合时提供电力。在一些实现中,盖板1728与前壳1726耦合,以向智能危险检测器104提供视觉上令人愉悦的外观和/或用于其他功能目的。在一些实现中,盖板1728包括多个孔或开口,其允许与电路板1700耦合的一个或多个传感器观察或透过盖板1728的表面,以便感测智能危险检测器104外部的对象。在一些实现中,盖板1728的多个开口被布置成当由家或结构的占用者观察时提供视觉上令人愉悦的外观。在一些实现中,盖板1728的多个开口根据诸如斐波那契或其他序列的重复图案布置。
在一些实现中,镜头按钮1732与盖板1728耦合或安装到盖板1728。镜头按钮1732可选地允许一个或多个传感器通过镜头按钮1732观察以用于各种目的。例如,在一些实现中,无源IR传感器(未示出)定位在镜头按钮1732后面并且被配置为通过镜头按钮1332观察以检测家庭或结构内的占用者或居住者的存在。在一些实现中,雷达系统定位在镜头按钮1732后面并且被配置为通过镜头按钮1332观察以检测家庭或结构内的占用者或居住者的存在。在一些实现中,镜头按钮1732还用作按钮,该按钮可由用户操作以向智能危险检测器104输入各种命令,以例如关断响应于错误或否则无害状况而触发的警报。在一些实现中,光环1742位于透镜按钮1732的后方远侧,并且被配置为接收例如来自LED的光,并且将光分散在环1742内以提供期望的视觉外观,例如镜头按钮后面的光晕。在一些实现中,位于光环1742后面的远侧定位的是柔性电路板1744,其包括一个或多个电子部件,例如无源IR传感器、LED和雷达电路等。柔性电路板1744(有时也称为柔性环1744)可以与电路板1700电耦合,以在智能危险检测器104的操作期间与安装在电路板(未示出)上的一个或多个微处理器通信和/或从其接收指令。
图17C和17D示出了智能危险检测器(例如,智能危险检测器104,图1)的电路板1700的前透视图和后透视图。电路板1700包括具有前侧或表面和后侧或表面的主体1702。如本文所述,各种电气组件安装在电路板1700上。在一些实现中,这些组件安装在电路板1700的前表面上,在电路板1700的与前表面相对的后表面上,或者在电路板1700的两个表面上。例如,根据一些实现,一个或多个微处理器和/或其他处理器相关组件被安装在面向保护板的电路板1700的后表面上,同时一个或多个功能组件(例如,警报设备、CO检测器、扬声器、运动传感器、Wi-Fi设备、Zigbee设备、蓝牙设备、RFID设备和雷达设备等)安装在面向其中定位了智能危险检测器104的家庭或结构的房间的电路板1700的前表面上。在一些实现中,其他部件相对于电路板1700居中安装,使得相对的表面定位在电路板1700的相对侧上,如本文所述。在一些实现中,电路板1700包括一个或多个集成电路,每个集成电路包括无线电和收发器的组合。例如,在一些实现中,智能危险检测器104的Wi-Fi设备和蓝牙设备包括单个芯片,其中,Wi-Fi设备和蓝牙设备使用单个天线传送和接收信号。关于图9A更详细地描述了收发器(例如,无线电940、无线电950)的各种实现。
如图17C所示,在一些实现中,电路板1700的前表面包括CO检测器1704,其配置成检测一氧化碳气体的存在并且如果确定一氧化碳气体水平太高(例如,超过预定阈值)则触发警报设备1706。可选地包括具有有意刺耳或尖锐声音的压电蜂鸣器的警报设备1706可选地安装在电路板1700的前表面上,以便面对智能危险检测器104所处的房间的占用者以警报潜在危险的占有者。在一些实现中,警报设备1706被配置为产生一个或多个声音和/或信号以向占用者警告潜在的危险。在一些实现中,电路板1700的前表面包括区域1708,扬声器(未示出)定位在区域1708中。在一些实现中,扬声器被配置为向房间的占用者提供可听警告和/或消息。例如,扬声器被配置为向占用者警告潜在的危险并指示占用者离开房间。在一些实现中,扬声器向占用者提供特定指令,诸如在离开房间和/或家庭或结构时使用的退出路线。在一些实现中,将其他消息传达给占用者,以例如向占用者警告电池电量低,房间内CO水平相对较高,智能危险检测器104需要定期清洁,和/或向占用者警告与危险检测器104或其组件有关的任何其他异常或问题。
在一些实现中,电路板1700包括安装在其前表面上的一个或多个运动传感器。运动传感器可选地用于确定智能危险检测器104的房间或周围区域内的个体的存在。在一些实现中,电路板1700包括雷达系统或其组件,其安装在前表面上以确定房间或周界地区的人的存在。在一些实现中,该信息用于改变智能危险检测器104和/或如前所述在公共网络中连接的一个或多个其他设备的功能。例如,根据一些实现,该信息被中继到智能恒温器以向恒温器通知家庭或结构的居住者存在,使得智能恒温器可根据一个或多个学习或编程的设置来调节家庭或结构。在一些实现中,智能危险检测器104将该信息用于一个或多个目的,例如如本文所述使报警设备静音(例如,响应于静音手势)或出于各种其他原因。
在一些实现中,第一超声传感器1720和第二超声传感器1722安装在电路板1700的前表面上。两个超声传感器1720和1722可选地轴向偏移以指向略微不同的方向。在该取向中,每个超声波传感器可选地用于基于智能危险检测器104相对于房间和/或占用者的取向来检测个体的运动。在一些实现中,检测个体的运动用于如本文所述使警报设备静音或用于任何其他原因。在一些实现中,第一超声传感器1720的轴相对于智能危险检测器104基本向外定向,而第二超声传感器1722的轴以相对于第一超声传感器1720的轴的某个角度定向。在一些实现中,第一超声波传感器1720被配置为当智能危险检测器104安装在家庭或结构的天花板上时感测个体的运动。因为第一超声传感器1720相对于智能危险检测器104基本向外定向,所以第一超声传感器1720基本上向下直视智能危险检测器104下方的个体。在一些实现中,第二超声传感器1722被配置为当智能危险检测器104安装在家庭或结构的墙壁上时感测个体的运动。因为第二超声波传感器1722以相对于第一超声波传感器1720和智能危险检测器104的一定角度定向,所以当智能危险检测器104安装在家或结构中的墙壁上时,第二超声波传感器基本上向下直视地板,而不是象第一超声波传感器1720那样直接向外看。在一些实现中,两个超声波传感器的角度偏移约为30°。
在一些实现中,两个超声传感器1720和1722由单个超声传感器代替,该超声传感器被配置为在智能危险检测器104内旋转,使得单个超声传感器能够类似于第一超声传感器向外直视,并且能够类似于第二超声波传感器1722向下看。在一些实现中,单个超声波传感器经由铰链耦合到电路板1700,该铰链允许超声波传感器基于智能危险检测器104的取向而旋转。例如,当智能危险检测器104安装在家庭或结构的天花板上时,重力使超声波传感器定向,以便向下直视;而当智能危险检测器104耦合到家庭或结构的墙壁时,重力使超声波传感器通过铰链旋转并相对于智能危险检测器104向下看向地板。在一些实现中,电动机与单个超声波传感器耦合,以便基于智能危险检测器104的取向旋转超声波传感器。以这种方式,超声波传感器指向可能检测个体在智能危险检测器104周围的房间或空间内的运动的方向,无论智能危险检测器的取向如何。在一些实现中,单个超声波传感器具有宽视野,其能够适应智能危险检测器104的两个安装位置。
如图17C和17D所示,电路板1700的主体1710还包括基本上居中定位的孔1712,烟室通过该孔插入,以便相对于电路板1700将烟室居中安装。孔1712可选地包括一对凹口1714,通过该凹口插入导线以将烟室与电路板1700电耦合。如前所述,烟室通过孔1712的居中安装允许烟雾和空气从电路板1700的前侧和电路板1700的后侧进入烟室。
现在描述电路板1700上的电子组件的各个方面,其中许多其上的位置对于参考本文的描述和图17C和17D的技术人员来说是显而易见的。在一些实现中,包括在电路板1700上的是以下中的一个或多个:系统处理器、相对高功率的无线通信电路和天线、相对低功率的无线通信电路和天线、非易失性存储器、音频扬声器、一个或多个更多接口传感器、安全处理器、安全传感器、报警设备1706、电源和供电电路。这些组件可使用最小化功耗的电路拓扑和功率预算方法提供故障安全检测功能和用户界面功能。根据一些实现,分叉或混合处理器电路拓扑用于处理智能危险检测器104的各种特征,其中,安全处理器是相对小的、相对薄的处理器,其专用于在传统的烟雾/CO警报器上提供的核心安全传感器管控和核心警报功能,并且其中,系统处理器是相对较大的、相对较高功率的处理器,其专用于更高级的功能,例如云通信、用户界面功能、占用和其他高级环境跟踪功能,更一般地说,任何其他不被视为“核心(core)”或“常规(conventional)”安全感测和警报任务的任务。
举例来说,安全处理器可选地是飞思卡尔KL15微控制器,而系统处理器可选地是飞思卡尔K60微控制器。优选地,安全处理器被编程和配置成使得无论系统处理器的状态如何,它都能够操作和执行其核心安全相关的任务。因此,例如,即使系统处理器不可用或者否则不能执行任何功能,安全处理器继续执行其核心安全相关任务,使得智能危险检测器104满足对于向智能危险检测器104提供的烟雾、CO和/或其他安全相关监测所需的所有工业和/或政府安全标准(假设有足够的电力可供安全处理器操作)。另一方面,系统处理器执行覆盖在安全处理器的功能上的“可选(optional)”和/或“高级(advanced)”功能,其中,“可选”或“高级”指的是对于符合工业和/或政府安全标准不特定要求的任务。因此,尽管系统处理器被设计成以可以改善智能危险检测器104的整体性能、特征集和/或功能的方式与安全处理器互操作,但是不需要其操作以便智能危险检测器104满足核心安全相关的行业和/或政府安全标准。通常作为比安全处理器更大且更有能力的处理器,系统处理器当系统处理器和安全处理器两者都处于活动状态时通常比安全处理器消耗更多的功率。
类似地,当两个处理器都不活动时,系统处理器通常仍将比安全处理器消耗更多的功率。在一些实现中,系统处理器可操作以管控用户界面特征和监视界面传感器(诸如占用传感器、音频传感器、相机等,其与核心安全感测不直接相关)。例如,根据一些实现,系统处理器在高功率和低功率无线通信电路上引导无线数据流量,访问非易失性存储器,与安全处理器通信,并使音频从扬声器发出。作为另一示例,根据一些实现,系统处理器监视界面传感器以确定是否需要采取任何动作(例如,响应于用户检测到的用于使得警报静音的动作来关断响亮警报)。在一些实现中,安全处理器可操作以处理智能危险检测器104的核心安全相关任务。在一些实现中,安全处理器轮询安全传感器(例如,烟雾、CO)并且当一个或多个安全传感器指示检测到危险事件时启动警报设备1706。在一些实现中,安全处理器独立于系统处理器操作并且无论系统处理器的状态如何都激活警报设备1706。例如,如果系统处理器正在执行活动功能(例如,执行Wi-Fi更新)或由于功率限制而关断,则安全处理器仍然在检测到危险事件时激活警报设备1706。
在一些实现中,在安全处理器上运行的软件是永久固定的,并且在智能危险检测器104离开工厂之后禁止通过软件或固件更新来更新。与系统处理器相比,安全处理器通常是功耗较低的处理器。
在一些实现中,相对高功率的无线通信电路包括例如能够根据任何802.11协议进行通信的Wi-Fi模块。举例来说,可选地使用Broadcom BCM43362 Wi-Fi模块来实现相对高功率的无线通信电路。在一些实现中,相对低功率的无线通信电路包括能够根据IEEE802.15.4协议进行通信的低功率无线个人区域网络(6LoWPAN)模块或ZigBee模块。例如,在一些实现中,使用Ember EM357 6L0WPAN模块来实现相对低功率的无线通信电路。在一些实现中,非易失性存储器是任何合适的永久存储器存储,例如NAND闪存、硬盘驱动器、NOR、ROM或相变存储器。在一些实现中,非易失性存储器存储使用扬声器1736回放的音频剪辑。音频剪辑可选地包括一种或多种语言的安装指令和/或警告。在一些实现中,界面传感器包括由系统处理器监视的传感器,而安全传感器包括由安全处理器监视的传感器。传感器可选地安装到印刷电路板、柔性印刷电路板、系统的壳体或它们的组合。
在一些实现中,界面传感器包括以下中的一个或多个:外界光传感器(ALS)(例如,可以使用分立光电二极管实现的)、无源红外(PIR)运动传感器(例如,可以使用ExcelitasPYQ1348模块实现的)、雷达系统(例如,图14A-14C的雷达系统)以及一个或多个超声波传感器(例如,可以使用一个或多个Manorshi MS-P1640H12TR模块实现的)。在一些实现中,安全传感器包括以下中的一个或多个:烟雾检测室1734(包括例如Excelitas IR模块)、CO检测模块1704(包括例如Figaro TGS5342传感器)与温度和湿度传感器(包括例如SensirionSHT20模块)。电源提供电力以启用智能危险检测器的操作,并且可选地包括任何合适的能量源。这里讨论的实现包括AC线供电、电池供电、AC线供电和备用电池的组合和/或外部供应的DC电源(例如,USB供应的电源)。使用AC线电源、具有备用电池的AC线电源或外部提供的DC电源的实现可选地受到与仅电池实现不同的节能限制。
优选地,仅电池供电的实现被配置为管理其有限能量供应的消耗,使得智能危险检测器104操作最小时间段,例如至少七年、八年、九年或十年。线路供电的实施不受限制。采用备份电池供电的线路的实现可选地采用节能方法来延长备用电池的寿命。在仅电池的实现中,电源可选地包括一个或多个电池。电池可选地由不同的组合物(例如,碱性或锂二硫化铁)构成,并且可选地使用不同的最终用户配置(例如,永久的、用户可更换的或非用户可更换的)。在一些实现中,六个Li-FeS2电池排列成两个的三个堆叠。这种布置可以为智能危险检测器104产生大约27000mWh的总可用功率。
在一些实现中,智能危险检测器104利用雷达系统(例如图14A-14C中的雷达系统之一)来检测接近的用户和/或手触摸。
在一些实现中,智能危险检测器104包括安装在盖板1728上的雷达系统,例如图14A-14C的雷达系统之一。例如,在一些实现中,雷达系统至少部分地位于在盖板1728内侧的区域1701内。在一些实现中,雷达系统位于盖板1728的上部区域中。
在一些实现中,智能危险检测器104包括安装在前壳1726上的雷达系统。例如,在一些实现中,雷达系统位于前壳1726的上部区域中。
在一些实现中,智能危险检测器104包括位于电路板1700顶部的雷达系统。例如,在一些实现中,雷达系统至少部分地位于电路板1700的顶部的区域1708中。在一些实现中,智能危险检测器104包括位于电路板1700的底部上的雷达系统。例如,在一些实现中,雷达系统至少部分地位于电路板1700底部的区域1709中。
在一些实现中,智能危险检测器104包括至少部分地位于连接到电路板1700的电路板(例如,柔性电路板)上的雷达系统。
在一些实现中,雷达系统被定位成使得控制模块(例如,控制模块1400)位于智能危险检测器104的第一组件上,并且天线(例如,发射器1402和/或接收器1404)位于智能危险检测器104的第二组件上。在一些实现中,雷达系统被定位成使得控制模块(例如,控制模块1400)位于电路板1700上的第一区域中(例如,在区域1709中),并且天线位于第二区域中(例如,在区域1708中)。在一些实现中,一个或多个天线位于柔性电路板上,或者安装到智能危险检测器104的盖子(例如,在区域1701内)。
在一些实现中,雷达系统(例如,如图14A-14E中所描述的)被用在智能池或热水浴池中以确定游泳池或热水浴池是否被占用。在一些实现中,智能池或热水浴池利用占用确定来调整智能池或热水浴池的操作。在一些实现中,智能池或热水浴池利用占用确定来调节水温。在一些实现中,占用确定用于生成警报(例如,如果在池中检测到儿童)。在一些实现中,智能池或热水浴池利用占用确定来调整照明水平。
在一些实现中,在智能灯中利用雷达系统(例如,如图14A-14E中所描述的)来确定一个或多个人是否在附近。在一些实现中,智能灯利用存在确定来调整智能灯的操作。在一些实现中,智能灯利用存在确定来调整光的发光度。在一些实现中,智能灯利用存在确定来启用或禁用光(例如,如果检测到人,则打开灯)。
在一些实现中,在智能灌溉系统中利用雷达系统(例如,如图14A-14E中所描述的)来确定一个或多个人是否在附近。在一些实现中,智能灌溉系统利用存在确定来调整灌溉系统的操作(例如,暂时停止灌溉或暂时重新引导灌溉)。
在一些实现中,雷达系统(例如,如图14A到14E中所描述)用于智能相机中以检测和/或跟踪对象。在一些实现中,检测和跟踪与来自图像传感器的视觉数据聚合以增强对象检测和跟踪。在一些实现中,利用检测和跟踪来检测异常并将图像传感器的焦点引导到检测到的异常。在一些实现中,在图像检测和/或跟踪受限的条件下利用检测和跟踪,例如低光条件或来自图像传感器的检测到的对象的阻挡(例如,由于烟雾或其他对象)。
在一些实现中,在智能恒温器中利用雷达系统(例如,如图14A-14E中所描述的)来确定一个或多个人是否在附近和/或辨识特定个体。在一些实现中,智能恒温器利用存在确定来调节HVAC系统的操作(例如,以升高或降低目标温度)。在一些实现中,利用对特定个体的辨识来个性化HVAC设置。
在一些实现中,雷达系统(例如,如图14A-14E中所描述的)被用在智能危险检测器中以确定一个或多个人是否在附近和/或辨识特定个体。在一些实现中,智能危险检测器利用存在确定来生成警报。例如,存在检测用于向紧急响应者通知在燃烧的建筑物中存在某人(例如,被辨识的个体)。
在一些实现中,雷达系统(例如,如图14A-14E中所描述的)被用在智能进入设备(例如,智能门铃或智能门锁)中以确定一个或多个人是否在附近和/或辨识特定的个体。在一些实现中,智能进入设备利用存在确定来生成警报。例如,存在检测用于通知房主在入口通道中检测到人。在一些实现中,利用对特定个体的辨识来锁定和/或解锁门、院门或窗户。在一些实现中,利用对特定个体的辨识来设置智能家庭配置(例如,设置为所识别的个人的个性化配置)。在一些实现中,利用对特定个体的辨识来验证个体的身份(例如,结合来自其他传感器的数据和/或从个体接收的其他信息,例如,密码)。
在一些实现中,雷达系统(例如,如图14A到14E中所描述的)用于智能雷达成像设备中以对检测到的对象进行分类。在一些实现中,来自雷达系统的分类、位置和/或运动信息被智能雷达成像设备用于识别和向用户显示(例如,在耦合到智能雷达捕获设备的显示屏上)检测到什么类型对象和在何处。例如,智能雷达成像设备被引导到家庭外(例如,在前院处)并向用户显示具有检测到的对象的位置(和类型)的图片,检测到的对象例如是汽车、行人和宠物等。
图18示出了根据一些实现的利用旁路电路的智能设备的通信模块942的框图。图18示出了根据图1-9中公开的任何实现的智能设备204(例如,图9A)的通信模块942(例如,设备102、104、106、108、110、112、114,116、118、120和/或122,图1,例如相机118、智能危险检测器104、智能恒温器102等。
在一些实现中,通信模块942包括一个或多个无线电940、一个或多个无线电950、前端模块1800和天线1802。在一些实现中,一个或多个无线电940和无线电950可通信地连接,并且每个都具有各自的天线1802,通过这些天线传送和接收相应的信号。作为示例,相机118的通信模块942包括用于传送视频数据的第一收发器(例如,Wi-Fi、一个或多个无线电950),并且另外包括用于从智能家庭环境中的其他智能设备(例如,Zigbee,无线电940)传送和接收分组的第二收发器。可选地,组合的收发器被配置用于根据多种通信协议(例如,配置用于Wi-Fi和蓝牙LE的无线电950)来传送和接收数据。在一些实现中,无线电950用于雷达通信,并且一个或多个无线电940用于无线通信,例如Wi-Fi或蓝牙。关于图9A更详细地描述通信模块942的组件(例如,无线电940、无线电950)。
通信模块942的前端模块1800包括用于操纵(例如,放大)由无线电940接收和传送的信号的各种电路元件。具体地,前端模块1800包括开关1804,用于通过选择性地使用放大器(例如,放大器1806-1和低噪声放大器1806-2)或旁路线1808耦合无线电940和天线1802。前端模块1800是否通过低噪声放大器1806-2或旁路线1808耦合无线电940和天线1802取决于无线电950是否活动并使用第二天线1802-2传送信号。虽然未示出,但是前端模块1800的其他实现可以包括附加电路元件,包括一个或多个附加开关、放大器、晶体管和/或有源或无源元件的任何组合。可以在前端模块1400中使用电路元件的组合,例如,以修改通信模块942的灵敏度和通过无线电940传送和/或接收的信号。
如前所述,差的信号隔离通常是由天线1802的紧密物理放置引起的。特别地,在附近的传送链中的传送天线(例如,用于Wi-Fi传送的天线1802-2)的信号功率超过接收链(例如,由无线电940和天线1802-1形成的802.15.4接收链)中的组件的最大输入功率的情况下,设备组件存在损坏的风险。
用于启用和增强收发器设备(例如,无线电940,无线电950)的共存的一些方法包括在前端模块1800中使用旁路线1808。具体地,通过当无线电950(例如,Wi-Fi)“接通(on)”时使用开关1804自动且选择性地启用旁路线1808,并且通过天线1802-2(例如,无线电950通过“接通”并且在传送的连接1810向天线模块1400传送信号到前端模块1400)传送信号,通过天线1802-1接收的传输不通过低噪声放大器1806-2,而是相反通过旁路线1808到达无线电940。因此,可以增加由前端模块1800可以容忍的有效最大输入功率(例如,当旁路线路1808用于耦合一个或多个无线电940和天线1802-1时,前端模块1800具有更大的输入功率阈值),如由旁路线1808而不是低噪声放大器1806-2的特性确定的。当无线电950“关断(off)”时,开关1804操作以将无线电940和天线1802-1与接收器路径中的低噪声放大器1806-2耦合。因此,关于接收器链灵敏度,当低噪声放大器1806-2用于耦合无线电940和天线1802-1时,前端模块1800具有更高的接收器灵敏度。给定基于无线电950的活动的低噪声放大器1806-2的选择性操作,避免了损坏低噪声放大器1806-2的风险,同时仍通过使用低噪声放大器1806-2实现改善的灵敏度。因此,前端模块1800被配置为当无线电950处于活动状态并且使用天线1802-2传送信号时,经由旁路线1808将天线1802-1耦合到无线电940,使得经由天线1802-1接收到的信号在被传递到无线电940之前不被放大器1806-2放大。前端模块1800还被配置为当无线电950不使用天线1802-2传送信号时通过放大器1806-2将天线1802-1耦合到无线电940,使得经由天线1802-1接收的信号在被传递到无线电940之前由放大器1806-2放大。
图19A-19B示出了根据一些实现的用于智能家庭环境100中具有多个无线电的智能设备的共存方案。
如图19A所示,智能设备204(例如,相机118)向附近的其他设备(例如,智能危险检测器104、相机118、智能恒温器102或电子标签206)和/或电子标签传送数据并从其接收数据。同时,数据(例如,由相机118记录的实况视频流)通过网络传送到远程服务器系统和从远程服务器系统传送(例如,智能家庭提供商服务器系统164,通过网络接口160通过网络162)。在一些实现中,智能家庭环境100中的各种设备也可通信地连接,并且因此可以彼此传送/接收数据。图19A中示出和描述的特定智能设备仅仅是示例,并且其他实现包括智能设备的各种组合(未示出)。
在一些实现中,相机118(或产生高带宽输出数据的任何智能设备204)需要将不同分辨率(例如,180p、780p和1080p)的一个或多个视频流传送到服务器系统164以进行额外处理、存储和/或与授权用户共享。在一些情况下,如同视频流是实时高清(例如,780p或1080p)视频流时,这要求相机118通过网络接口160维持到服务器系统164的低延迟、高带宽连接达到相当长的一段时间(例如,从几分钟到几小时)。这在一些实现中由相机118实现,该相机118采用由网络162提供的Wi-Fi连接以连接到服务器系统164以传送视频流。同时,相机118需要响应于来自其他智能设备204的高优先级警报,因此可以在本地处理这些警报(例如,用于改变相机118中的系统状态,传输到集线器设备180以考虑到其他系统警报和状态信息进行集成处理,中继到其他智能家庭设备204,或者传送到客户端设备504,客户端设备504被配置为发出针对授权用户的警报)和/或将其传送到服务器系统164。在一些实现中,这些警报被其他智能设备204(例如,智能危险检测器304)中的无线电通过蓝牙或IEEE802.11.15.4信号发出,并且由相机118(或任何可比较的智能设备204)中的相应无线电接收。与长持续时间和高带宽的流式视频相比,这些警报通常具有短持续时间和低带宽。在一些实现中,需要通过相机118(或任何可比较的智能设备204)中的对应蓝牙或IEEE802.11.15.4无线电将这些警报重新传送到其他智能设备204,该对应蓝牙或IEEE802.11.15.4无线电以与Wi-Fi无线电相同的频率(例如,2.4GHz)操作。这要求相机118优先使用无线电和天线,使得从其他智能设备204接收的高优先级传输(例如,烟雾或CO警报)以最小延迟传输,同时在正常操作期间(例如,当没有来自其他智能设备204的传入警报时),通过Wi-Fi无线电高效地启用视频流。可以以多种其他方式使用具有多个无线电(例如,Wi-Fi、蓝牙和802.11.15.4)的设备。在一些实现中,例如,设备的一个或多个无线电可以用于安全设备供应(例如,通过蓝牙)。另外,如上所述,一个或多个无线电可选地用于低功率通信(例如,在未连接到持久电源的设备中)。此外,一个或多个无线电可选地用于雷达操作。
其中利用多个无线电的上述任何操作需要本文所述的共存策略,其管理多个无线电(例如,2个或更多个)的使用。在一些实现中,共存策略使得多个无线电能够使用彼此隔离差的天线在没有干扰的情况下以相同的一个或多个频率传输信号,否则这些信号将干扰(例如,作为彼此谐波的频率)。在一些实现中,共存策略在不会彼此干扰的情况下使得多个无线电能够汲取功率,产生热量和/或产生电磁场。
在不同的实现中,智能设备204是任何类型的家庭自动化设备,其采用多个无线电用于各种目的,包括与本文描述的目的类似的目的。例如,多个无线电包括以下的两个或更多个:用于将数据流式传输到云服务或用本地网络传输的Wi-Fi无线电;用于配置目的的蓝牙无线电;IEEE 802.11.15.4无线电,用于与在智能家庭环境中的智能设备中的其他家庭自动化设备进行通信;用于监视各种对象的位置/移动的雷达无线电;或者与那些目的以一种或多种方式不同的目的(例如但不限于,用于与其他智能家庭自动化设备交换数据、警报和/或控制命令和/或监视其他智能家庭自动化设备的通信状态的Wi-Fi无线电;用于与其他智能家庭自动化设备交换数据、警报和/或控制命令和/或监视其他智能家庭自动化设备的通信状态的蓝牙无线电;用于从一个智能家庭自动化设备向另一个传送远程控制命令和占用者存在信息的IEEE 802.11.15.4无线电;以及,RFID无线电,用于启动与智能家庭环境中的其他智能设备和/或电子标签的通信)。例如,智能设备204可以是:智能/连接的家电,例如冰箱、洗衣机、烘干机或洗碗机;家庭娱乐设备,例如电视、数字视频记录器、音频/视频接收器、连接扬声器或媒体投影仪;家庭联网设备,例如网络路由器、交换机或网络附加存储器;家庭安全/访问设备,例如连接门锁、车库门控制器或带集成安全摄像头或危险检测器的门铃;室内和/或室外家庭照明设备;景观灌溉设备和控制器;自动化家庭窗帘和/或天窗;以及,加热和冷却系统。
每个家庭自动化设备204基于其类型和目的具有特定特征(例如,最终用户特征、操作特征和/或网络/协作特征),并且包括可以被控制和/或自动化以进一步实现家庭自动化环境和/或相应自动化设备的目的/用途的电子和机电组件。例如,具有丰富连接特征集的特定智能冰箱(即,通过到其他智能家庭设备和/或到在终端用户设备——例如智能手机、平板计算机、笔记本计算机或台式机——上运行的应用的各种网络连接可控制的功能)可选地具有压缩机、制冰机、内部和外部照明、冷冻部分、冰箱部分、外部显示面板、处理器、录音机/麦克风、摄像机、存储器、接近传感器和三种不同的无线电,所有这些都支持一个或更多的设备间通信和/或数据流。给定如上所述配置的冰箱,在一些实现中,冷冻机和冰箱部分的温度、制冰机操作等可选地通过Wi-Fi、蓝牙或IEEE 802.11.15.4连接被控制,冰箱性能数据和记录和/或实况的音频和视频可选地通过Wi-Fi连接被发送,并且可选地使用IEEE 802.11.15.4连接与其他家庭自动化设备交换状态和存在消息和警报。作为另一示例,给定具有Wi-Fi、蓝牙和IEEE 802.11.15.4无线电的景观灌溉控制器,控制器可选地使用IEEE 802.11.15.4连接将与灌溉程序一致的灌溉命令(例如,ON和OFF)传送到室外喷洒器,获得天气信息(例如,通过Wi-Fi连接来自互联网和/或本地智能家庭自动化设备——例如,室外湿度检测器——的温度和预测降水量),并使用蓝牙或Wi-Fi连接接受来自运行对应灌溉应用的智能电话的操作和配置命令。在这些示例实现和其他类似实现中,多个无线电及其各自的天线根据本文描述的天线放置原理定位,并且多个无线电被配置为使用这里描述的共存原理和信号共存(即,通过其相关联的天线协作地传送和接收)。
如图19A中所示,通信模块942的一些实现包括一个或多个无线电940、一个或多个无线电950、天线1802、可选的前端模块1800(如图18中所描述)以及一条或多条控制线1900,所述一条或多条控制线1900在一个或多个无线电940和一个或多个无线电950之间传输信号(例如,控制线1900-1上的RADIO PRI、控制线1900-2上的RADIO REQ以及控制线1900-3上的WI-FI GRANT)。关于图9A更详细地描述了通信模块942的各种组件。
在一些实现中,控制线1900用于在一个或多个无线电940和一个或多个无线电950之间传输控制信号,以根据共存方案管理收发器设备的操作。特别地,如下面更详细地描述的,作为用于指示和确定由一个或多个无线电940和一个或多个无线电950传送的信号的优先级的手段传送控制信号。确定具有较低优先级的收发器当较高优先级收发器完成传送/接收数据时,通过暂停传输一段持续时间来顺从于较高优先级的收发器,从而减少或完全避免由于收发器设备同时操作而导致的不良隔离的负面影响。作为示例,当RADIO_PRI(即,请求传输优先级)和RADIO_REQ(例如,请求传输)控制线1900-1和1900-2由无线电940断言时,无线电950通过当无线电940传送/接收数据时暂停其自身的传输来顺从于无线电940的传输请求。参考图19A中的示例,当RADIO_PRI和RADIO_REQ控制线1900-1和1900-2被断言时,智能设备204的无线电950(例如,相机118的Wi-Fi收发器)暂时中止将记录的视频上载到智能家庭提供商服务器系统164,同时允许无线电940(例如,802.15.4)通过激活(或“断言(asserting)”)WI-FI_GRANT控制信号将从智能危险检测器104接收的关键分组传送到智能恒温器102。作为另一示例,当RADIO_PRI和RADIO_REQ控制线1900-1和1900-2被断言时,智能设备的无线电950暂时中止数据传输,同时允许无线电940操作(例如,执行雷达操作)。结果,避免了收发器设备之间的干扰和传输冲突,同时降低了损坏硬件组件的风险(例如,通过超过设备输入功率阈值)和/或未能传输关键数据(例如,来自智能危险检测器104的紧急ping)。
在一些实现中,收发器之一用作“主(master)”设备,其接收传输请求并且减少在其自身和请求收发器之间的传输。在所示的示例中,无线电950(例如,Wi-Fi收发器)是主设备,如控制线1900的方向所指示的(即,相对于无线电950,WI-FI GRANT是输出,并且RADIO_PRI和RADIO_REQ是输入)。
无线电940和/或无线电950可选地以如下模式操作:站模式(即,收发器充当连接到诸如路由器的接入点的客户端)、接入点(AP)模式(即,收发器充当接入点,其他设备可以通过其连接和访问其他连接的设备)和/或自组织模式(例如,其中网络连接的设备具有相同状态并且可以与范围内的任何其他网络设备相关联的模式)。此外,无线电940和/或无线电950可选地以各种功率模式(例如,全功率模式、省电模式)操作。在给定的示例中,当无线电950处于省电模式时,WI-FI_GRANT控制信号保持激活。
尽管该示例示出了三条控制线的使用,但是其他实现可以包括用于确定传送设备的请求优先级的附加控制线和控制信号。附加控制线和控制信号可以例如用在包括组合设备(例如,组合蓝牙和802.15.4芯片)中的两个或更多个无线电940或无线电950的实现中,使得多个收发器设备可以与主设备分开仲裁。
或者,在一些实现中,将两个或多个无线电940或无线电950集成为组合设备(例如,组合的蓝牙和Wi-Fi 802.11芯片),并且实现单独的仲裁方案使得两个无线电940或无线电950在与通信模块942的另一个收发器进行仲裁之前在内部进行仲裁。图19B示出了在单个设备中组合的收发器(例如,在单个设备中组合的蓝牙和Wi-Fi收发器,分别由无线电950-1和950-2示出)之间的内部仲裁方案的示例。例如,使用开关1804-3,无线电950-1和950-2在彼此之间确定(例如,基于无线电950-1和/或950-2的固件中的指令和逻辑)哪个收发器将控制天线1802-2。因此,图19A的示例共存方案独立于与在无线电940或无线电950之间实现的任何内部共存方案(例如,涉及802.15.4或雷达和Wi-Fi的共存方案独立于涉及Wi-Fi和蓝牙的内部共存方案)或与其同时操作。
虽然在描述图18和19A-19B时通常相对于802.15.4和Wi-Fi进行参考,但是其他实现可选地包括其他传输协议的任何组合,如先前关于图9A所描述的。
在一些情况下,配备雷达的设备的两个或更多个网络彼此接近地操作,使得来自一个网络的信号可由另一个网络检测到。在这种情况下,一个网络的操作可以将噪声引入另一个网络。例如,在特定网络内,配备雷达的设备被配置为使得在任何给定时间仅一个设备正在传送雷达信号。在该示例中,不受特定网络管控的第二网络可以同时传送。同时或重叠的传送导致一个或两个网络的不精确和/或不准确的结果。
在一些实现中,特定网络可配置为在多个不同频率下操作。特定网络执行扫描以确定信号范围内的其他网络是否在多个不同频率中的一个或多个处操作。然后,特定网络选择多个不同频率的特定频率,以便最小化对于其他网络的干扰。在一些实现中,特定网络利用将相移的伪随机序列结合到传输中的雷达方案(例如,使用PMCW方案),以便将网络的传输与其他网络的传输区分开。在一些实现中,特定网络调整其传输的一个或多个参数,以便最小化对于其他网络的干扰。例如,特定网络调整雷达传输周期以最小化与其他网络的同时或重叠传输。在另一示例中,特定网络调整雷达传输带宽和/或开始/结束频率以最小化与来自其他网络的传输相同频率的雷达传输。
在一些实现中,特定网络利用退避协议来建立或断言传输优先级。例如,特定网络经由诸如Wi-Fi的无线信道与一个或多个其他网络通信,以建立雷达优先级或定时方案。在另一示例中,特定网络经由雷达系统与一个或多个其他网络通信以建立雷达优先级或定时方案。
图20A示出了根据一些实现的雷达设备2000的组件视图。雷达设备2000包括多个天线2002(例如,天线2002-1和2002-2)。雷达设备2000还包括一个或多个处理器2004、存储器2008、I/O接口2010、通信组件2006和雷达组件2012。在一些实现中,雷达设备2000包括智能设备(例如,智能设备204,图9A)。在一些实现中,天线2002经配置以用于雷达(例如,使用3-10GHz、24-24.5GHz、57-64GHz和/或77-81GHz频带)。在一些实现中,天线2002被配置为用于超声雷达。在一些实现中,沿着雷达设备2000的周界以设定间隔布置天线2002。在一些实现中,沿着雷达设备2000的周界以不规则间隔布置天线2002。在一些实现中,天线2002被安排使得每个天线面向不同的方向。在一些实现中,天线2002被布置在雷达设备2000内,以便接收来自沿着雷达设备的周界的基本上任何位置的无线电波。在一些实现中,每个天线2002被配置为在相同的频率或频带传送和/或接收,而在其他实现中,天线2002被配置为以多个不同的频率传送和/或接收。
雷达组件2012耦合到天线2002并促进雷达操作。在一些实现中,雷达组件2012包括或被配置为以与无线电通信模块924、雷达处理模块9324和/或雷达模块944类似的方式操作。在一些实现中,雷达组件2012包括通信模块942和/或通信接口904或者被配置成以与通信模块942和/或通信接口904类似的方式操作。在一些实现中,雷达组件2012被配置为管控天线2002的操作。在一些实现中,配置雷达组件2012以控制天线2002的发射。例如,雷达组件2012确定哪个天线应该在给定时间传送和/或确定天线应该以什么频率传送。在一些实现中,雷达组件2012使用一种或多种雷达技术对接收的无线电波执行分析,以确定检测到的对象的定位/移动。在一些实现中,雷达组件执行初步分析以生成初始雷达数据,并且将初始雷达数据发送到服务器系统(例如,服务器系统508)以进行进一步处理、分析和/或分类。例如,雷达组件2012分析所接收的无线电波以检测一个或多个感兴趣的对象。在该示例中,雷达设备2000将对应于无线电波的雷达数据发送到服务器系统,并且服务器系统对雷达数据执行附加分析。例如,服务器系统对感兴趣的对象进行分类(例如,确定感兴趣的对象对应于人)和/或基于感兴趣的对象分类和事件(例如,确定感兴趣的对象对应于在后院打球的两个人)。作为另一示例,服务器系统确定每个感兴趣对象是否在特定周界内,并且忽略其确定的在特定周界之外的感兴趣对象。
在一些实现中,通信组件2006被配置为促进在雷达设备2000与一个或多个远程设备之间的无线和/或有线通信。在一些实现中,通信组件2006能够使用下述部分的的任何一种进行数据通信:各种定制或标准无线协议(例如,IEEE 802.15.4、Wi-Fi、ZigBee、6L0WPAN、线程、Z-Wave、蓝牙智能、ISA100.11a、WirelessHART、MiWi等);定制或标准有线协议(例如,以太网,HomePlug等);和/或,任何其他合适的通信协议,包括截至本文件申请日尚未开发的通信协议。在一些实现中,天线2002中的一个或多个被配置用于与远程设备进行无线通信(例如,结合通信组件2006)。在一些实现中,一个或多个附加天线(未示出)与通信组件2006相结合地操作以促进无线通信。在一些实现中,雷达设备2000被配置为经由一个或多个天线2002同时传送雷达信号,并使用通信组件2006与远程设备通信。在一些实现中,I/O接口2010包括一个或多个端口(例如,USB端口)、一个或多个显示器(例如,LED显示器)、一个或多个麦克风、一个或多个扬声器和/或一个或多个其他人机接口元件(例如,按钮和滑块等)。
在一些实现中,雷达设备2000被配置为经由雷达监视其环境。根据一些实现,雷达设备2000经由第一天线2002发射一个或多个雷达波,并且经由一组天线2002接收一个或多个反射雷达波。例如,雷达设备2000使用天线2002-1传送雷达信号,并使用天线2002-1和相邻天线2002接收对应的反射雷达信号。在一些实现中,雷达设备2000使用一种或多种雷达技术处理雷达信号以确定对象/实体在雷达设备的环境中的定位/移动。在一些实现中,每个天线2002依次发射雷达波。以这种方式,根据一些实现,雷达设备2000监测沿其周界的每个方向上的活动。在一些实现中,雷达设备2000经由多个天线2002同时传送雷达波。例如,雷达设备2000经由天线2002-1和天线2002-2同时传送。
作为示例,在第一时间,天线2002-1和天线2002-2都传送无线电信号。在第一时间窗期间,天线2002-1和相邻天线接收与在第一时间由天线2002-1传送的无线电信号相对应的反射无线电信号。同样在第一时间窗期间,天线2002-2和相邻天线接收对应于由天线2002-2在第一时间传送的无线电信号的反射无线电信号。随后,在第二时间,天线2002-1右侧的天线和天线2002-2右侧的天线同时发射无线电信号。根据一些实现,该过程在每个天线2002依次传送时继续。
在一些实现中,雷达设备2000利用连续波(CW)雷达、步进连续波(步进CW)雷达、相位调制连续波(PMCW)和调频连续波(FMCW)雷达中的一个或多个。在一些实现中,利用所发射的雷达信号(例如,无线电波)与所接收的反射雷达信号之间的相位差来确定所检测的对象的定位和/或移动。在一些实现中,在第一天线2002和第二天线2002处接收的反射雷达信号之间的定时差用于确定检测到的对象的定位/移动。在一些实现中,天线2002的相对定位用于确定检测到的对象的定位/移动。
在一些实现中,雷达设备2000被配置为确定每个检测到的对象是否包括预期对象。对于该示例,雷达设备2000确定新对象是否存在于特定区域内。在一些实现中,雷达设备2000识别检测到的对象或获得检测到的对象的标识,并确定检测到的对象是否包括预期对象。例如,雷达设备2000将检测到的对象识别为包括汽车,并且确定汽车预期在该位置(例如,在车道内)。在一些实现中,雷达设备2000还被配置为根据确定特定检测到的对象不包括预期对象来生成警报。例如,雷达设备2000检测在家庭环境的后院内的人并确定人不预期在后院内。因此,在该示例中,雷达设备2000生成关于检测到的人的警报。在一些实现中,雷达设备2000被配置为根据确定特定检测到的对象不包括预期对象来执行一个或多个附加扫描。例如,雷达设备通过天线2002-1发射雷达波,并基于雷达波确定存在意外对象。根据该确定,雷达设备经由天线2002-1(或与天线2002-1相邻的天线之一)传送一个或多个附加雷达波,以确认意外对象的存在和/或确定关于意外对象的附加信息。在一些实现中,雷达设备2000被配置为确定每个检测到的对象是否具有预期速度,并且如果检测到的对象具有意外速度则生成警报。
在一些实现中,雷达设备2000利用占用数据和/或来自其他设备(例如,家庭环境内的其他智能设备)的数据来确定对象是否包括预期对象。在一些实现中,雷达设备2000利用机器学习来确定对象是否包括预期对象。例如,雷达设备2000监视家庭环境内的活动以确定预期的对象和/或运动。
图20B示出了根据一些实现的利用雷达设备2000的家庭环境2050。根据一些实现,雷达设备2000确定家庭、办公室或类似结构的周界。在一些实现中,家庭周界包括院子或室外区域的外周界。
在一些实现中,雷达设备2000通过获得家庭的地图或布局来确定家庭的周界。例如,雷达设备200从第二电子设备获得布局图(例如,使用深度映射生成)。在一些实现中,雷达设备2000利用设置或映射模式来确定家庭的周界。例如,雷达设备2000的用户将设备设置为映射模式,然后在雷达设备2000通过雷达跟踪用户的路径的同时行走在家的周界。在一些实现中,雷达设备2000的用户携带雷达标签,并且雷达设备2000与雷达标签相结合地工作以跟踪用户并映射家的周界。在一些实现中,雷达设备2000的用户携带电子设备(例如,智能电话),并且雷达设备2000与用户的设备相结合地工作以跟踪用户并映射家的周界。例如,用户的设备经由一个或多个无线网络(例如,使用蓝牙低功耗(BLE)和/或Wi-Fi)将定位数据(例如,GPS数据)传送到雷达设备2000。在一些实现中,用户的设备将诸如速度和/或加速度的移动数据传送到雷达设备2000,并且雷达设备利用移动数据结合雷达数据来跟踪用户的移动。特别是在嘈杂的环境中,结合雷达标签或用户设备操作雷达设备2000使雷达设备2000能够更准确和/或精确地跟踪用户的移动并绘制出家庭周界。
在一些实现中,雷达设备2000存储家庭的一个或多个映射(例如,在存储器2008内)。在一些实现中,雷达设备2000从服务器系统(例如,服务器系统508)获得一个或多个映射。在一些实现中,雷达设备2000利用与周界2052对应的周界映射来确定检测到的对象是在家中还是在家外。在一些实现中,雷达设备2000将雷达数据发送到服务器系统,并且服务器系统利用周界映射来确定检测到的对象是否在周界内。在一些实现中,服务器系统经配置以忽略在周界(例如,周界2054)外部检测到的对象/运动。在一些实现中,雷达设备2000被配置为忽略在周界2052外部检测到的对象/运动。在一些实现中,映射包括第一周界2052(例如,对应于结构的内周界)和第二周界2054(例如,对应于结构和周围平台的外周界)。在一些实现中,雷达设备2000被配置为利用第一雷达配置(例如,利用第一射频频带)监视第一周界2052内的对象/运动,并利用第二雷达配置(例如,利用第二射频频带)监视第一周界2052与第二周界2054之间的对象/运动。在一些实现中,雷达设备2000被配置为忽略在家庭环境之外(例如,在周界2054之外)检测到的对象/运动。
在一些实现中,映射包括关于诸如门和窗等的入口点的位置的信息。在一些实现中,雷达设备2000监视入口点以确定对象是进入还是离开家庭环境。在一些实现中,雷达设备2000响应于在入口点之一处或在入口点之一附近处检测到意外对象并且朝向入口点之一移动而生成通知或警报。在一些实现中,映射包括关于家内部的信息,例如内墙、门口和家具等的位置。在一些实现中,雷达设备2000利用家庭内部信息来确定在特定位置或在家庭的特定房间内检测到的对象或移动是否异常或意外。在一些实现中,雷达设备2000利用家庭内部信息来调整由于雷达设备2000和检测到的对象之间的墙壁或对象引起的被检测对象的雷达特征的衰减。
在一些实现中,映射包括用于家庭环境内的一个或多个房间或区域的标签。例如,图20B中所示的雷达设备2000可选地存储用于卧室、厨房、起居室等的标签。在一些实现中,雷达设备2000利用标签来向用户通知检测到的对象位于何处。
在一些实现中,雷达设备2000被配置为监视一个或多个家庭周界内的对象/运动,并根据检测到异常对象或运动产生警报或通知。在一些实现中,警报或通知被传送到用户设备(例如,用户的电话)。在一些实现中,警报/通知包括对象和/或运动的描述。例如,雷达设备2000检测在家庭环境2050内(例如,在后院内)移动的意外对象,并将对象识别为人类行走。在该示例中,雷达设备可以发送警报,其指出“检测到一个人在你的后院行走(Aperson was detected walking in your backyard.)”。在一些实现中,雷达设备2000检测到的对象的一个或多个雷达特征来识别对象。例如,雷达设备2000基于人的尺寸、呼吸模式、心跳和/或步态将对象识别为人。在一些实现中,雷达设备2000基于每个动物和/或人的尺寸和/或步态来区分不同类型的动物和人。
在一些实现中,家庭环境中的雷达设备包括存储器、一个或多个处理器以及耦合到存储器和一个或多个处理器的多个天线。在一些实现中,雷达设备被配置为:(1)经由多个天线中的至少一个发射一个或多个射频信号;(2)接收与发射的信号对应的一个或多个射频信号;(3)利用一种或多种雷达技术以根据接收到的信号确定一个或多个检测到的对象的定位/运动;(4)获得关于一个或多个检测到的对象是否包括意外对象或具有意外运动的对象的确定;以及,(5)根据获得至少一个检测到的对象包括意外对象或具有意外运动的确定来产生警报。在一些实现中,雷达设备利用一种或多种雷达技术和关于家庭环境和/或家庭环境的占用者的信息来识别检测到的对象中的至少一个。在一些实现中,雷达设备被配置为具有360度的视野。在一些实现中,雷达设备被配置为沿其周界(例如,在360度周围环境中)监视活动。
条款1:一种电子设备,包括:(1)一个或多个电路板;(2)包围所述一个或多个电路板的壳体;(3)通信模块,所述通信模块耦合到所述一个或多个电路板,所述通信模块包括一个或多个天线,并被配置用于与一个或多个远程设备通信;(4)耦合到所述一个或多个电路板的雷达模块,所述雷达模块被配置用于为家庭环境生成雷达数据,并且包括:(a)一个或多个低功率雷达发射器;及(b)一个或多个雷达接收器;(5)安装到一个或多个电路板之一的处理器,所述处理器配置成:(a)管控通信模块和雷达模块的操作;(b)通过分析雷达数据确定家庭环境中检测到的对象的位置和/或移动;以及(c)至少部分地基于所确定的检测到的对象的位置和/或移动来检测与检测到的对象相关联的异常;以及(6)电源,所述电源耦合到处理器、通信模块和雷达模块。
条款2:根据条款1所述的电子设备,其中,雷达模块被定位成具有壳体的前表面的视野。
条款3:根据条款1-2中的任一项所述的电子设备,其中,所述雷达模块被配置为以小于所述雷达模块的全部检测范围的约束检测范围进行操作。
条款4:条款1-3中任一项的电子设备,其中,通信模块被配置为与一个或多个远程设备无线通信。
条款5:根据条款1-4中的任一项所述的电子设备,其中,所述一个或多个低功率雷达发射器和所述一个或多个雷达接收器被安装在所述一个或多个电路板中的一个电路板上。
条款6:根据条款1-5中任一项所述的电子设备,其中,所述电子设备包括智能家庭设备,所述智能家庭设备选自由下述部分构成的组:(1)智能恒温器;(2)智能相机;(3)集线器设备;(4)智能危险检测器;(5)智能灌溉设备;(6)智能媒体播放设备;(7)智能入口接口设备;(8)智能家电;以及(9)智能安全设备。
条款7:一种相机设备,包括:(1)用于捕获场景的图像的光学传感器;(2)用于从场景中的对象生成雷达数据的雷达模块,所述雷达模块包括:(a)一个或多个雷达发射器;以及(b)一个或多个雷达接收器;以及(3)用于与一个或多个远程设备通信的通信模块,所述通信模块包括被配置为利用特定通信协议进行通信的一个或多个天线。
条款8:根据条款7所述的相机设备,还包括用于提供照明的多个LED。
条款9:根据条款7-8中任一项所述的相机设备,还包括耦合到光学传感器、雷达模块和通信模块的处理器,所述处理器被配置用于管控光学传感器、雷达模块和通信模块的操作。
条款10:根据条款9所述的相机设备,其中,处理器被配置为启用雷达模块和通信模块的操作,以避免雷达与通信模块的相应无线电传输之间的无线电干扰。
条款11:根据条款9-10中任一项所述的相机设备,其中,处理器被配置为基于雷达数据确定场景中的占用。
条款12:根据条款9-11中任一项所述的相机设备,其中,处理器被配置为基于在雷达数据中编码的生物特性来辨识场景中的个体。
条款13:根据条款9-12中任一项所述的相机设备,其中,处理器被配置为保存场景中的个体的生物数据以用于后续识别。
条款14:根据条款9-13中任一项所述的相机设备,其中,处理器被配置为以多种雷达处理模式操作,所述多种雷达处理模式包括多维、单维和成对雷达模式。
条款15:根据条款9-14中任一项所述的相机设备,其中,处理器被配置为基于基本上同时的相机数据和雷达数据来执行数据融合和集成处理。
条款16:根据条款15所述的相机设备,其中,相机设备被配置为将雷达数据和相机数据传送到融合服务器以进行事件分析和/或表征。
条款17:根据条款7-16中任一项所述的相机设备,其中,所述特定通信协议包括无线通信协议;并且其中,通信模块还包括一个或多个第二天线,所述一个或多个第二天线被配置为利用与特定通信协议不同的第二通信协议进行通信。
条款18:根据条款7-17中的任一项所述的相机设备,其中,所述雷达响应于所述场景中的不能被所述光学传感器检测到的对象的运动。
条款19:根据条款7-18中任一项所述的相机设备,其中,所述一个或多个雷达发射器被配置为发射无线电线性调频脉冲;并且其中,所述一个或多个雷达接收器被配置为接收与所述无线电线性调频脉冲相对应的雷达波。
条款20:一种恒温器设备,包括:(1)一个或多个温度传感器;(2)用户界面,所述用户界面被配置为使用户能够调整期望的温度设置;(3)用于生成雷达数据的雷达模块,所述雷达模块包括:(a)一个或多个雷达发射器;以及(b)一个或多个雷达接收器;以及(4)通信模块,所述通信模块用于与包括加热、通风和空调(HVAC)设备的一个或多个远程设备通信,所述通信模块包括被配置为利用特定通信协议进行通信的一个或多个天线。
条款21:根据条款20所述的恒温器设备,还包括能量存储设备,所述能量存储设备被配置成选择性地向所述一个或多个温度传感器、用户界面、雷达模块和通信模块提供电力。
条款22:根据条款20-21中任一项所述的恒温器设备,还包括处理器,所述处理器耦合到所述一个或多个温度传感器、所述用户界面、所述雷达模块和所述通信模块,并且被配置用于管控所述一个或多个温度传感器、所述用户界面、所述雷达模块和所述通信模块的操作。
条款23:根据条款22所述的恒温器设备,其中,所述处理器经配置以基于在所述雷达数据中编码的生物特性来辨识个体。
条款24:根据条款23所述的恒温器设备,其中,所述处理器经配置以基于所辨识的个体调整一个或多个温度设置。
条款25:根据条款22-24中任一项所述的恒温器设备,其中,处理器被配置为保存在雷达数据中编码的个体的生物数据以用于后续识别。
条款26:根据条款22-25中任一项所述的恒温器设备,其中,所述处理器经配置以启用所述雷达模块和所述通信模块的操作,以避免所述雷达与所述通信模块的相应无线电传输之间的无线电干扰。
条款27:根据条款20-26中任一项所述的恒温器设备,其中,所述特定通信协议包括无线通信协议;并且其中,通信模块还包括一个或多个第二天线,所述一个或多个第二天线被配置为利用与特定通信协议不同的第二通信协议进行通信。
条款28:根据条款20-27中任一项所述的恒温器设备,其中,恒温器设备位于特定房间中,并且其中,恒温器设备配置成基于雷达数据确定特定房间的占用。
条款29:根据条款28所述的恒温器设备,还包括处理器,所述处理器被配置为基于占用确定来调整一个或多个温度设置。
条款30:根据条款28-29中任一项所述的恒温器设备,其中,确定占用包括基于雷达数据确定运动中的对象是否是人。
条款31:根据条款20-30中任一项所述的恒温器设备,其中,所述一个或多个雷达发射器被配置为发射无线电线性调频脉冲;并且其中,所述一个或多个雷达接收器被配置为接收与所述无线电线性调频脉冲相对应的雷达波。
条款32:一种危险检测设备,包括:(1)一个或多个烟雾检测器;(2)警报模块,所述警报模块被配置为向用户警告检测到的危险;(3)用于生成雷达数据的雷达模块,所述雷达模块包括:(a)一个或多个雷达发射器;及(b)一个或多个雷达接收器;以及(4)用于与一个或多个远程设备通信的通信模块,所述通信模块包括被配置为利用特定通信协议进行通信的一个或多个天线。
条款33:根据条款32所述的危险检测设备,还包括能量存储设备,所述能量存储设备配置成选择性地向警报模块、雷达模块和通信模块提供电力。
条款34:根据条款32-33中任一条款所述的危险检测设备,还包括耦合到一个或多个烟雾检测器、雷达模块和通信模块的处理器,并且所述处理器被配置用于管控一个或多个烟雾检测器、雷达模块和通信模块的操作。
条款35:根据条款34所述的危险检测设备,其中,处理器被配置为基于雷达数据确定特定空间中的占用。
条款36:根据条款34-35中任一条款所述的危险检测设备,其中,处理器被配置为基于在雷达数据中编码的生物特性来辨识个体。
条款37:根据条款34-36中任一条款所述的危险检测设备,其中,处理器被配置为保存在雷达数据中编码的个体的生物数据以用于随后的识别。
条款38:根据条款34-37中任一条款所述的危险检测设备,其中,处理器被配置为启用雷达模块和通信模块的操作,以避免雷达和通信模块的相应无线电传输之间的无线电干扰。
条款39:根据条款32-38中任一条款所述的危险检测设备,其中,所述特定通信协议包括无线通信协议;并且其中,通信模块还包括一个或多个第二天线,所述一个或多个第二天线被配置为利用与特定通信协议不同的第二通信协议进行通信。
条款40:根据条款32-39中任一项所述的危险检测设备,还包括一个或多个一氧化碳检测器。
条款41:根据条款32-40中任一项所述的危险检测设备,还包括用户界面,所述用户界面被配置为使用户能够禁用正在进行的警报。
条款42:根据条款32-341中任一项所述的危险检测设备,其中,响应于检测到危险条件,危险设备基于雷达数据确定个体是否在受危险条件影响的区域中。
条款43:根据条款32-42中任一条款所述的危险检测设备,其中,所述一个或多个雷达发射器被配置为发射无线电线性调频脉冲;并且其中,所述一个或多个雷达接收器被配置为接收与所述无线电线性调频脉冲相对应的雷达波。
对于上面讨论的系统收集关于用户的信息的情况,可以向用户提供选择加入/退出可以收集个人信息(例如,关于用户的偏好或智能设备的使用的信息)的程序或特征的机会。另外,在一些实现中,某些数据可以在其被存储或使用之前以一种或多种方式匿名化,从而移除个人可识别信息。例如,用户的身份可以被匿名化,使得不能为用户确定个人可识别信息或个人可识别信息与用户相关联,并且使得用户偏好或用户交互被概括(例如,基于用户人口统计被概括)而不是与特定用户相关联。
尽管各种附图中的一些以特定顺序示出了多个逻辑阶段,但是可以重新排序不依赖于顺序的阶段,并且可以组合或分解其他阶段。虽然具体提到了一些重新排序或其他分组,但是其他对于本领域普通技术人员来说是显而易见的,因此这里给出的排序和分组不是替代的详尽列表。此外,应该认识到,这些阶段可以用硬件、固件、软件或其任何组合来实现。
还应理解,尽管在某些情况下,术语第一、第二等在本文中用于描述各种元件,但这些元件不应受这些术语的限制。这些术语仅用于区分一个元素与另一个元素。例如,第一类型的信号可以被称为第二类型的信号,并且类似地,第二类型的信号可以被称为第一类型的信号,而不偏离各种所描述的实现的范围。第一类信号和第二类信号都是信号类型,但它们不是相同类型的信号。
在本文中的各种所描述的实现的描述中使用的术语仅出于描述特定实现的目的而非旨在进行限制。如在各种描述的实现和所附权利要求的描述中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文另有明确说明。还应理解,本文所用的术语“和/或”是指并包含一个或多个相关所列项目的任何和所有可能的组合。将进一步理解,当在本说明书中使用时,术语“包括”和/或“包含”指定所述特征、整数、步骤、操作、元素和/或组件的存在,但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。
如本文所使用的,术语“如果”取决于上下文被选用地解释为表示“何时”或“在”或“响应于确定”或“响应于检测到”或“根据确定”。类似地,短语“如果确定”或“如果检测到[陈述的条件或事件]”取决于上下文可选地被解释为表示“在确定”或“响应于确定”或“在检测到时[所述条件或事件]”或“响应于检测到[所述条件或事件]”或“根据确定检测到[所述条件或事件]”。
出于解释的目的,已经参考具体实现描述了前述描述。然而,上面的说明性讨论并非旨在穷举或将权利要求的范围限制为所公开的精确形式。鉴于上述教导,许多修改和变化都是可能的。选择实现以便最好地解释权利要求及其实际应用之下的原理,从而使得本领域的其他技术人员能够最好地使用具有适合于预期的特定用途的各种修改的实现。

Claims (21)

1.一种电子设备,包括:
一个或多个电路板;
包围所述一个或多个电路板的壳体;
通信模块,所述通信模块耦合到所述一个或多个电路板,所述通信模块包括一个或多个天线并且被配置用于与一个或多个远程设备通信;
雷达模块,所述雷达模块耦合到所述一个或多个电路板,所述雷达模块被配置用于为家庭环境生成雷达数据,并且包括:
一个或多个低功率雷达发射器;以及
一个或多个雷达接收器;
一个或多个处理器,所述一个或多个处理器安装到所述一个或多个电路板之一,所述一个或多个处理器被配置成:
管控所述通信模块和所述雷达模块的操作;
通过分析所述雷达数据来确定在所述家庭环境中的检测到的对象的位置和/或移动;以及
至少部分地基于所检测到的对象的所确定的位置和/或移动与包括在所述家庭环境中在不同时间点先前检测到的对象的位置和/或移动的存储的数据之间的比较,确定所检测到的对象在所述家庭环境中是意外的;以及
电源,所述电源耦合到所述一个或多个处理器、所述通信模块和所述雷达模块。
2.根据权利要求1所述的电子设备,其中,所述雷达模块被定位成具有穿过所述壳体的前表面的视野。
3.根据权利要求1所述的电子设备,其中,所述一个或多个低功率雷达发射器被配置为发射无线电线性调频脉冲;
其中,所述一个或多个雷达接收器被配置为接收与所述无线电线性调频脉冲相对应的雷达波;以及
其中,分析所述雷达数据包括分析所接收的雷达波。
4.根据权利要求1所述的电子设备,其中,所述雷达模块被配置为以小于所述雷达模块的全部检测范围的受约束的检测范围进行操作。
5.根据权利要求4所述的电子设备,其中,所述受约束的检测范围与所述家庭环境的周界相对应。
6.根据权利要求1所述的电子设备,其中,所述通信模块被配置为与一个或多个远程设备无线通信。
7.根据权利要求1所述的电子设备,其中,所述一个或多个低功率雷达发射器和所述一个或多个雷达接收器被安装在所述一个或多个电路板中的一个电路板上。
8.根据权利要求1所述的电子设备,其中,所述一个或多个处理器还被配置为响应于检测到异常而生成通知。
9.根据权利要求8所述的电子设备,其中,生成通知包括向所述家庭环境的占用者的个人设备发送警报。
10.根据权利要求1所述的电子设备,其中,所述一个或多个处理器还被配置为至少部分地基于所述雷达数据来确定所述家庭环境的至少一部分的占用。
11.根据权利要求1所述的电子设备,其中,所述一个或多个处理器还被配置为至少部分地基于所述雷达数据来辨识所述家庭环境的占用者。
12.根据权利要求1所述的电子设备,其中,所述通信模块还被配置为从一个或多个远程设备接收雷达数据;以及
其中,所述一个或多个处理器还被配置为基于所生成的雷达数据和所接收的雷达数据来检测所述家庭环境中的异常。
13.根据权利要求1所述的电子设备,其中,所述电子设备包括一个或多个环境传感器,所述一个或多个环境传感器被配置为生成用于所述家庭环境的环境数据;以及
其中,所述一个或多个处理器还被配置为基于所生成的雷达数据和所生成的环境数据来检测所述家庭环境中的异常。
14.根据权利要求13所述的电子设备,其中,所述一个或多个环境传感器包括以下中的一个或多个:
外界光传感器;
湿度传感器;
温度传感器;
运动传感器;
光学传感器;
音频传感器;以及
烟雾检测器。
15.根据权利要求1所述的电子设备,其中,所述电子设备还被配置为跟踪所述家庭环境内的一个或多个电子标签的位置和/或移动。
16.根据权利要求15所述的电子设备,其中,所述电子设备还被配置为基于所述一个或多个电子标签的所述位置和/或移动来调整在智能家庭控制器处的一个或多个智能家庭设置。
17.根据权利要求15所述的电子设备,其中,所述电子设备还被配置为基于所述一个或多个电子标签的所述位置和/或移动来生成通知。
18.根据权利要求1所述的电子设备,其中,检测与所检测到的对象相关联的异常包括:确定所检测到的对象具有以下中的一个或多个:意外速度、意外加速度和意外位置。
19.根据权利要求18所述的电子设备,其中,所述电子设备还被配置为获得所述家庭环境的对象的预期位置和移动信息,其中,所述预期位置和移动信息是基于所述家庭环境的历史数据。
20.根据权利要求1所述的电子设备,其中,所述电子设备包括智能家庭设备,所述智能家庭设备选自由下述部分组成的组:
智能恒温器;
智能相机;
集线器设备;
智能危险检测器;
智能灌溉设备;
智能媒体播放设备;
智能入口接口设备;
智能家电;以及
智能安全设备。
21.根据权利要求1所述的电子设备,其中,所述电子设备存储家庭内部信息,并且确定所检测到的对象在所述家庭环境中是意外的包括:通过利用所述家庭内部信息来在特定位置确定所检测到的对象的移动是以意外方式进行的和/或所检测到的对象在所述家庭环境中是意外的。
CN201780011645.7A 2016-05-13 2017-05-10 用于随智能设备利用雷达的系统、方法和设备 Active CN108700645B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201662336515P 2016-05-13 2016-05-13
US62/336,515 2016-05-13
US201662438397P 2016-12-22 2016-12-22
US62/438,397 2016-12-22
US201762442343P 2017-01-04 2017-01-04
US62/442,343 2017-01-04
US201762455449P 2017-02-06 2017-02-06
US62/455,449 2017-02-06
US15/590,976 US10613213B2 (en) 2016-05-13 2017-05-09 Systems, methods, and devices for utilizing radar with smart devices
US15/590,976 2017-05-09
PCT/US2017/031977 WO2017196991A1 (en) 2016-05-13 2017-05-10 Systems, methods, and devices for utilizing radar with smart devices

Publications (2)

Publication Number Publication Date
CN108700645A CN108700645A (zh) 2018-10-23
CN108700645B true CN108700645B (zh) 2024-04-05

Family

ID=58745429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780011645.7A Active CN108700645B (zh) 2016-05-13 2017-05-10 用于随智能设备利用雷达的系统、方法和设备

Country Status (6)

Country Link
US (2) US10613213B2 (zh)
EP (1) EP3455644A1 (zh)
JP (3) JP6847968B2 (zh)
KR (1) KR102177157B1 (zh)
CN (1) CN108700645B (zh)
WO (1) WO2017196991A1 (zh)

Families Citing this family (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544485B2 (en) 2015-05-27 2017-01-10 Google Inc. Multi-mode LED illumination system
US9454820B1 (en) 2015-06-12 2016-09-27 Google Inc. Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
US20170221296A1 (en) 2016-02-02 2017-08-03 6d bytes inc. Automated preparation and dispensation of food and beverage products
US10046228B2 (en) * 2016-05-02 2018-08-14 Bao Tran Smart device
US10022613B2 (en) * 2016-05-02 2018-07-17 Bao Tran Smart device
US10022614B1 (en) * 2016-05-02 2018-07-17 Bao Tran Smart device
US10687184B2 (en) 2016-05-13 2020-06-16 Google Llc Systems, methods, and devices for utilizing radar-based touch interfaces
US10852418B2 (en) * 2016-08-24 2020-12-01 Magna Electronics Inc. Vehicle sensor with integrated radar and image sensors
US10460582B2 (en) * 2016-10-04 2019-10-29 Avigilon Corporation Presence detection and uses thereof
WO2018064764A1 (en) * 2016-10-04 2018-04-12 Avigilon Corporation Presence detection and uses thereof
US11087610B2 (en) * 2016-10-04 2021-08-10 Avigilon Corporation Presence detection and uses thereof
EP3321710B1 (en) * 2016-11-09 2020-03-25 NXP USA, Inc. Apparatus and associated method
US10360771B2 (en) * 2016-12-14 2019-07-23 International Business Machines Corporation Alert processing
TWM543519U (zh) * 2017-02-08 2017-06-11 G-Light Technologies Co Ltd 多功能智能型家庭燈控及保安遙控訊號接收器
EP3589973A1 (en) * 2017-03-01 2020-01-08 University Court of The University of St Andrews Classification method and device
US11918330B2 (en) 2017-03-08 2024-03-05 Praesidium, Inc. Home occupant detection and monitoring system
US10989806B2 (en) * 2017-03-08 2021-04-27 Praesidium, Inc. Home occupant detection and monitoring system
GB201707294D0 (en) * 2017-05-08 2017-06-21 Rajab Khalid Nodens
US10772052B2 (en) * 2017-06-16 2020-09-08 Qualcomm Incorporated Controlling coexistent radio systems in a wireless device
US10969775B2 (en) * 2017-06-23 2021-04-06 Johnson Controls Technology Company Predictive diagnostics system with fault detector for preventative maintenance of connected equipment
US10499360B2 (en) * 2017-06-27 2019-12-03 Geoffrey E Korrub Passive wireless electronics detection system
US10165439B1 (en) * 2017-06-27 2018-12-25 Geoffrey E Korrub Passive wireless electronics detection system
WO2019014112A1 (en) * 2017-07-10 2019-01-17 Carrier Corporation DANGER DETECTOR WITH OPTICAL STATUS INDICATOR
WO2019022717A1 (en) * 2017-07-25 2019-01-31 Hewlett-Packard Development Company, L.P. DETERMINING THE PRESENCE OF A USER BASED ON A DISTANCE DETECTED
US10712438B2 (en) * 2017-08-15 2020-07-14 Honeywell International Inc. Radar using personal phone, tablet, PC for display and interaction
US11381784B1 (en) * 2017-08-28 2022-07-05 Amazon Technologies, Inc. Monitoring and locating tracked objects using audio/video recording and communication devices
CA3075858A1 (en) * 2017-09-13 2019-03-21 4Morr Enterprises IP, LLC A system and method for effecting smoke detector data transmission from a smoke detector
US10349260B2 (en) * 2017-09-29 2019-07-09 Plasma Computing Group, Inc. System and method for a dynamic connectivity update system
CN107807360A (zh) * 2017-09-30 2018-03-16 英华达(上海)科技有限公司 具有距离检测功能的电子装置及其距离检测方法
WO2019145879A1 (en) * 2018-01-26 2019-08-01 Sonitor Technologies As Location-based functionality using acoustic location determination techniques
BE1026002B1 (nl) * 2018-02-12 2019-09-09 Niko Nv Elektrische of elektronische apparaatmodule die tenminste één radar sensor omvat
US11860268B2 (en) 2018-03-02 2024-01-02 Signify Holding B.V. Systems and methods using multiple modalities for occupancy sensing
CN108053161B (zh) * 2018-03-06 2022-05-03 海南金海浆纸业有限公司 一种浆包溯源方法及其系统
JP7151131B2 (ja) * 2018-03-30 2022-10-12 ブラザー工業株式会社 通信装置と通信装置のためのコンピュータプログラム
US10825313B2 (en) * 2018-03-30 2020-11-03 Carrier Corporation Hazard detector with optical status indicator
US10661972B2 (en) 2018-04-04 2020-05-26 6D Bytes, Inc. Granule dispenser
US11142412B2 (en) 2018-04-04 2021-10-12 6d bytes inc. Dispenser
US10267912B1 (en) 2018-05-16 2019-04-23 Cisco Technology, Inc. Audio based motion detection in shared spaces using statistical prediction
CN108508434A (zh) * 2018-05-24 2018-09-07 西安百益康物联网科技有限公司 一体式无线检测器
CN108490437A (zh) * 2018-05-24 2018-09-04 西安百益康物联网科技有限公司 分体式无线检测器
JP2019207164A (ja) * 2018-05-29 2019-12-05 ダイキン工業株式会社 検出装置および空調システム
JP7041351B2 (ja) * 2018-05-30 2022-03-24 ダイキン工業株式会社 検出装置、見守りシステムおよび空調システム
EP4155782B1 (en) * 2018-06-05 2024-04-03 Google LLC Systems and methods of ultrasonic sensing in smart devices
CN108594219A (zh) * 2018-06-11 2018-09-28 安徽中天保安服务集团有限公司 一种基于雷达检测用于特殊群体独居监控系统
CN109873951B (zh) * 2018-06-20 2021-07-13 成都市喜爱科技有限公司 一种视频拍摄及播放的方法、装置、设备及介质
EP3821271A2 (en) * 2018-07-13 2021-05-19 Carrier Corporation System and method for presence detection using an fmcw radar
PL3599522T3 (pl) * 2018-07-25 2023-05-08 Ebs Sp. Z O.O. System monitorowania nieruchomości
DE102018118150A1 (de) * 2018-07-26 2020-01-30 S.M.S Smart Microwave Sensors Gmbh System zum Steuern einer Verkehrsführung an einer Kreuzung
EP3605031B1 (de) * 2018-08-02 2021-04-07 VEGA Grieshaber KG Radarsensor zur füllstand- oder grenzstandmessung
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US11102616B2 (en) * 2018-08-31 2021-08-24 Carrier Corporation Method of tracking objects using thermostat
US11040441B2 (en) * 2018-09-20 2021-06-22 Sony Group Corporation Situation-aware robot
US11045828B2 (en) 2018-10-19 2021-06-29 Abstract Engineering, Inc. System and method for controlling and monitoring bathroom water flow
US20200122175A1 (en) * 2018-10-19 2020-04-23 Greg Floyd System for monitoring a shower stream
US11255076B2 (en) 2018-10-19 2022-02-22 Abstract Engineering, Inc. System and method for controlling and monitoring bathroom water flow
US10788880B2 (en) * 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
CN109634129B (zh) * 2018-11-02 2022-07-01 深圳慧安康科技有限公司 主动关怀的实现方法、系统及装置
US10761611B2 (en) * 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
US11074794B2 (en) * 2018-11-30 2021-07-27 Ademco Inc. Systems and methods for activating and deactivating controlled devices in a secured area
CN109620177A (zh) * 2018-12-14 2019-04-16 昆明天博科技有限公司 一种非接触式生物体信息探测报警装置及方法
GB201821197D0 (en) * 2018-12-24 2019-02-06 Native Design Ltd Framework for handling sensor data in a smart home system
CN109743604A (zh) * 2018-12-26 2019-05-10 天长市志铖电子科技有限公司 一种电视机搜索遥控器的方法
US11653848B2 (en) * 2019-01-29 2023-05-23 Welch Allyn, Inc. Vital sign detection and measurement
US11627248B2 (en) * 2019-02-03 2023-04-11 Chengdu Sioeye Technology Co., Ltd. Shooting method for shooting device, and electronic equipment
US11333739B2 (en) 2019-02-26 2022-05-17 Magna Electronics Inc. Vehicular radar system with automatic sensor alignment
WO2020180286A1 (en) 2019-03-01 2020-09-10 Google Llc Dynamically adapting assistant responses
RU2712108C1 (ru) * 2019-03-07 2020-01-24 Акционерное общество "Федеральный научно-производственный центр "Производственное объединение "Старт" им. М.В. Проценко" (АО "ФНПЦ ПО "Старт" им. М.В. Проценко") Мобильная система тревожной сигнализации
JP7440211B2 (ja) * 2019-03-08 2024-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報出力方法、情報出力装置及びプログラム
CA3120478A1 (en) * 2019-03-12 2020-09-17 Whelen Engineering Company, Inc. Volume scaling and synchronization of tones
DE112020001399T5 (de) * 2019-03-22 2022-01-05 Commscope Technologies Llc Verteiltes antennensystem und c-ran-system unter verwendung intelligenter umgebungsdetektion
US20200341133A1 (en) * 2019-04-01 2020-10-29 Richwave Technology Corp. Methods, circuits, and apparatus for motion detection, doppler shift detection, and positioning by self-envelope modulation
CN110109401A (zh) * 2019-05-16 2019-08-09 华立科技股份有限公司 降低电能表抄表电池功耗的方法和装置
CN110749880A (zh) * 2019-06-19 2020-02-04 广东互动电子网络媒体有限公司 一种室内灯体主动式定位方法及雷达灯基站
WO2020252743A1 (zh) * 2019-06-20 2020-12-24 华为技术有限公司 一种雷达系统
US20220365207A1 (en) * 2019-07-02 2022-11-17 Magna Closures Inc. Radar system and assembly
US20210027652A1 (en) * 2019-07-26 2021-01-28 Krystian Sands Stretching facility and method for stretching, strengthening, and balancing muscles
CN110426725B (zh) * 2019-07-29 2021-05-04 阎祯祺 一种精确定位室内用户移动终端的方法
JP7383925B2 (ja) * 2019-08-01 2023-11-21 株式会社ソシオネクスト 動作検出システムおよび動作検出装置
US11709252B2 (en) * 2019-08-21 2023-07-25 Arm Limited Topological model generation
CN110515040A (zh) * 2019-08-23 2019-11-29 睿清电子技术(南京)有限公司 一种雷达收发模拟集成系统及其应用
KR102313429B1 (ko) * 2019-09-23 2021-10-15 (유)린캔패스트 스마트 하우스 개폐모터
WO2021077157A1 (en) * 2019-10-21 2021-04-29 Summit Innovations Holdings Pty Ltd Sensor and associated system and method for detecting a vehicle
CN112825568B (zh) * 2019-11-20 2022-08-26 华为技术有限公司 对目标物进行定位的方法及装置
TWI803716B (zh) 2019-11-27 2023-06-01 廣達電腦股份有限公司 掃描裝置及透過特定運動軌跡而自動觸發掃描裝置之方法
KR20210078245A (ko) * 2019-12-18 2021-06-28 삼성전자주식회사 무선 통신을 이용하여 출입을 제어하는 전자 장치 및 그 방법
CN111208508A (zh) * 2019-12-25 2020-05-29 珠海格力电器股份有限公司 运动量测量方法、装置及电子设备
US20210199793A1 (en) * 2019-12-27 2021-07-01 Continental Automotive Systems, Inc. Method for bluetooth low energy rf ranging sequence
FR3105834B1 (fr) * 2019-12-31 2022-02-11 Xtreamwave Dispositif de protection de transaction sans contact contre l’attaque de l’homme du milieu
CN113138557B (zh) 2020-01-17 2023-11-28 北京小米移动软件有限公司 家居设备控制方法、装置以及存储介质
US20210231775A1 (en) * 2020-01-27 2021-07-29 Plato Systems, Inc. System and method for smart device control using radar
US20210231801A1 (en) * 2020-01-28 2021-07-29 ProTek Technologies, Inc. Monitoring device for use with an alert management process
US11359969B2 (en) 2020-01-31 2022-06-14 Objectvideo Labs, Llc Temperature regulation based on thermal imaging
US11964247B2 (en) 2020-03-06 2024-04-23 6d bytes inc. Automated blender system
US11810595B2 (en) 2020-04-16 2023-11-07 At&T Intellectual Property I, L.P. Identification of life events for virtual reality data and content collection
US11217029B2 (en) * 2020-04-16 2022-01-04 At&T Intellectual Property I, L.P. Facilitation of augmented reality-based space assessment
WO2021232368A1 (zh) * 2020-05-21 2021-11-25 Oppo广东移动通信有限公司 无线通信方法、装置、设备及存储介质
US20210378110A1 (en) * 2020-06-01 2021-12-02 The Toro Company Irrigation Controller
US11609008B2 (en) 2020-06-26 2023-03-21 Hamilton Sundstrand Corporation Detection and automatic response to biological hazards in critical infrastructure
KR102510499B1 (ko) * 2020-06-30 2023-03-14 주식회사 대림 클라우드 플랫폼 기반의 공동주택의 스마트홈 시스템
CN111865735B (zh) * 2020-07-10 2022-08-09 广州博冠智能科技有限公司 一种智能家居系统及控制方法
CN111769886B (zh) * 2020-07-29 2021-06-18 中国电子科技集团公司第十四研究所 雷达状态数据通用采集设备及方法
US11475668B2 (en) 2020-10-09 2022-10-18 Bank Of America Corporation System and method for automatic video categorization
US20220113394A1 (en) * 2020-10-13 2022-04-14 Google Llc Smart-Device-Based Radar System Performing Location Tagging
CN112433204B (zh) * 2020-11-10 2022-05-31 山东鼎目机器人科技有限公司 一种带有独立止停机构的道路检测雷达车
US11960708B2 (en) 2020-12-01 2024-04-16 Enphase Energy, Inc. Method and apparatus for geotagging components of an energy production and consumption system
CN112654112B (zh) * 2020-12-04 2023-04-11 广州震雄装饰工程有限公司 可在物联网显示的led控制系统
FI129587B (en) * 2021-01-15 2022-05-13 Maricare Oy Sensors and monitoring systems
CN112859636A (zh) * 2021-02-03 2021-05-28 深圳绿米联创科技有限公司 智能家居控制方法、装置、家居控制设备及可读存储介质
US11503433B2 (en) * 2021-02-24 2022-11-15 Building Robotics, Inc. System and method for managing sensors
CN115113196A (zh) 2021-03-17 2022-09-27 纬创资通股份有限公司 生理信息及表征信息检测与识别方法及其监测雷达
TWI768772B (zh) * 2021-03-17 2022-06-21 緯創資通股份有限公司 調頻連續波雷達系統及其身份與資訊偵測方法
CN115398562B (zh) * 2021-03-22 2024-03-01 Oppo广东移动通信有限公司 智能控制方法、零信任控制设备、网关及系统
CN113391264B (zh) * 2021-06-08 2023-01-20 上海闻泰信息技术有限公司 控制方法、存储介质、受控设备、终端设备、定位设备
CN113391311B (zh) * 2021-06-21 2022-08-09 电子科技大学 一种分布式雷达广义孔径合成方法
CN113484856B (zh) * 2021-06-23 2024-02-02 佛山市顺德区美的饮水机制造有限公司 用于家电设备的控制方法、处理器、控制装置及家电设备
CN116033331A (zh) * 2021-10-25 2023-04-28 华为技术有限公司 一种基于人体感知的自动控制方法、第一电子设备及系统
CN116033330A (zh) * 2021-10-25 2023-04-28 华为技术有限公司 一种基于人体感知的自动控制方法、第一电子设备及系统
US20230125376A1 (en) * 2021-10-27 2023-04-27 Norma Inc. Selection Method of dangerous Bluetooth Device based on connection with Bluetooth Device
US20230160998A1 (en) * 2021-11-24 2023-05-25 Gm Cruise Holdings Llc Modular radar element wireless synchronization
CN114513378B (zh) * 2021-12-31 2023-12-01 绿碳智能建筑(杭州)有限公司 一种基于切片式的本地场景联动网关实现方法及装置
US20230288536A1 (en) * 2022-03-14 2023-09-14 Plume Design, Inc. Radar-based movement sensors arranged in a domestic setting
CN116973861A (zh) * 2022-04-22 2023-10-31 青岛海尔空调电子有限公司 人体特征的检测控制方法、系统和存储介质
US20230359766A1 (en) * 2022-05-04 2023-11-09 Western Digital Technologies, Inc. Data Storage Device and Method for Token Generation and Parameter Anonymization
US20240027572A1 (en) * 2022-07-19 2024-01-25 Samsung Electronics Co., Ltd. Method and apparatus to enable radar mode for wi-fi devices
FI20225746A1 (fi) * 2022-08-24 2024-02-25 Marielectronics Oy Anturijärjestely ja -järjestelmä henkilöiden valvontaan

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4684949A (en) * 1983-01-17 1987-08-04 The United States Of America As Represented By The Secretary Of Transportation VHF/radar transponder collision avoidance aid
JP2000338231A (ja) * 1999-05-31 2000-12-08 Mitsubishi Electric Corp 侵入者検知装置
JP2005017112A (ja) * 2003-06-26 2005-01-20 Fujitsu Ltd アクティブターゲット検出システムおよび方法
CN101002399A (zh) * 2004-07-30 2007-07-18 摩托罗拉公司 便携电子设备及其操作方法
WO2008085200A2 (en) * 2006-09-05 2008-07-17 The Regents Of The University Of California Method of remote powering and detecting multiple uwb passive tags in an rfid system
CN101401008A (zh) * 2006-01-30 2009-04-01 劳伦斯利弗莫尔国家安全有限责任公司 超宽带雷达传感器及网络
CN201717989U (zh) * 2009-10-14 2011-01-19 深圳辉锐天眼科技有限公司 酒店智能监控系统一体机
CN102301256A (zh) * 2009-02-10 2011-12-28 西门子公司 用于测定rfid应答器的距离、速度和/或运动方向的方法与系统
CN102684961A (zh) * 2012-04-10 2012-09-19 中国科学院计算机网络信息中心 家电设备信息处理方法、设备和系统
CN103024665A (zh) * 2012-11-22 2013-04-03 无锡中星微电子有限公司 一种电子标签和基于电子标签的通信方法
CN103091672A (zh) * 2011-11-02 2013-05-08 株式会社电装 具有不同工作模式的雷达装置
WO2015174879A1 (en) * 2014-05-14 2015-11-19 Novelic D.O.O. Mm-wave radar vital signs detection apparatus and method of operation
CN105342571A (zh) * 2015-12-09 2016-02-24 许昌学院 一种智能终端供电一体的健康测量评估系统及其评估方法
WO2016053645A1 (en) * 2014-10-02 2016-04-07 Google Inc. Non-line-of-sight radar-based gesture recognition

Family Cites Families (204)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2101637A (en) 1935-08-23 1937-12-07 Davis George Howlett Multiple action thermostat
CH491449A (de) 1969-05-19 1970-05-31 Cerberus Ag Rauchdetektoranordnung mit mindestens einer Rauchmesskammer
US3991357A (en) 1974-04-30 1976-11-09 The Stolle Corporation Storage battery monitoring and recharging control system with automatic control of prime mover driving charging generator
US3948441A (en) 1974-08-13 1976-04-06 Robertshaw Controls Company Time variable thermostat
US4121110A (en) 1976-11-04 1978-10-17 Solomon Elias E Optically biased smoke detector
US4177923A (en) 1977-05-25 1979-12-11 Emerson Electric Co. Battery operated thermostat timer with battery charging circuits
US4157506A (en) 1977-12-01 1979-06-05 Combustion Engineering, Inc. Flame detector
US4225860A (en) 1979-01-15 1980-09-30 Pittway Corporation Sensitivity controlled dual input fire detector
US4249696A (en) 1979-05-11 1981-02-10 Emerson Electric Co. Charging circuit for battery in thermostat with battery operated timer
US4308991A (en) 1980-07-07 1982-01-05 Emerson Electric Co. Programmable electronic thermostat
US4319234A (en) 1980-07-29 1982-03-09 Rice Royal K Smoke detector with dual sensors
US4460125A (en) 1981-05-14 1984-07-17 Robertshaw Controls Company Wall thermostat and the like
US4528459A (en) 1983-06-10 1985-07-09 Rockwell International Corporation Battery backup power switch
US4695246A (en) 1984-08-30 1987-09-22 Lennox Industries, Inc. Ignition control system for a gas appliance
KR870000628A (ko) 1985-06-03 1987-02-19 알프레드 엔. 펠드만 아날로그 및 디지탈 겸용 온도 조절기
US4845474A (en) 1986-08-01 1989-07-04 Pioneer Manufacturing, Inc. Smoke and fire detector
US4955806A (en) 1987-09-10 1990-09-11 Hamilton Standard Controls, Inc. Integrated furnace control having ignition switch diagnostics
US4842510A (en) 1987-09-10 1989-06-27 Hamilton Standard Controls, Inc. Integrated furnace control having ignition and pressure switch diagnostics
US4872828A (en) 1987-09-10 1989-10-10 Hamilton Standard Controls, Inc. Integrated furnace control and control self test
US5175439A (en) 1987-12-21 1992-12-29 Robert Bosch Gmbh Power supply circuit for motor vehicles
JPH01306706A (ja) 1988-06-04 1989-12-11 Paloma Ind Ltd パルス燃焼器のデイスク式振動弁
US4898229A (en) 1988-09-22 1990-02-06 Emerson Electric Co. Thermostat with integral means for detecting out-of-phase connection of a two-transformer power source
US4948044A (en) 1989-08-21 1990-08-14 Harper-Wyman Company Electronic digital thermostat having an improved power supply
US5255179A (en) 1990-07-23 1993-10-19 Zekan Boze N Switched mode power supply for single-phase boost commercial AC users in the range of 1 kw to 10 kw
US5260669A (en) 1990-09-12 1993-11-09 Lectro Products, Inc. Circuit for generating first and second in-phase alternating signals
US5107918A (en) 1991-03-01 1992-04-28 Lennox Industries Inc. Electronic thermostat
US5127464A (en) 1991-03-14 1992-07-07 Emerson Electric Co. Thermostat providing electrical isolation therein between connected heating and cooling transformers
AU647894B2 (en) 1991-03-27 1994-03-31 Honeywell Inc. System powered power supply using dual transformer HVAC systems
US5158477A (en) 1991-11-15 1992-10-27 The United States Of America As Represented By The Secretary Of The Army Battery connector and method
US5544036A (en) 1992-03-25 1996-08-06 Brown, Jr.; Robert J. Energy management and home automation system
US5277363A (en) 1992-09-22 1994-01-11 Robertshaw Controls Company Electrical system for controlling the operation of a heat exchanger unit, thermostat therefor and methods of making the same
US5347982A (en) 1992-12-21 1994-09-20 Canadian Heating Products Inc. Flame monitor safeguard system
US5251813A (en) 1993-03-25 1993-10-12 Emerson Electric Co. Indication of low battery voltage condition by altering of temperature setpoint
US5422808A (en) 1993-04-20 1995-06-06 Anthony T. Catanese, Jr. Method and apparatus for fail-safe control of at least one electro-mechanical or electro-hydraulic component
CA2124053C (en) 1993-05-24 1999-03-30 Henry Petrie Mcnair Remote temperature control system
US6213404B1 (en) 1993-07-08 2001-04-10 Dushane Steve Remote temperature sensing transmitting and programmable thermostat system
US5452762A (en) 1993-07-13 1995-09-26 Zillner, Jr.; Anthony H. Environmental control system using poled diodes to allow additional controlled devices in existing four wire system
US5381950A (en) 1993-10-20 1995-01-17 American Standard Inc. Zone sensor or thermostat with forced air
US5611484A (en) 1993-12-17 1997-03-18 Honeywell Inc. Thermostat with selectable temperature sensor inputs
US5635896A (en) 1993-12-27 1997-06-03 Honeywell Inc. Locally powered control system having a remote sensing unit with a two wire connection
US5462225A (en) 1994-02-04 1995-10-31 Scientific-Atlanta, Inc. Apparatus and method for controlling distribution of electrical energy to a space conditioning load
US5646349A (en) 1994-02-18 1997-07-08 Plan B Enterprises, Inc. Floating mass accelerometer
US5456407A (en) 1994-03-25 1995-10-10 Electric Power Research Institute, Inc. Two terminal line voltage thermostat
US5719557A (en) 1994-05-19 1998-02-17 Digital Security Controls Ltd. Photoelectric smoke detector
US5506569A (en) 1994-05-31 1996-04-09 Texas Instruments Incorporated Self-diagnostic flame rectification sensing circuit and method therefor
US5460327A (en) 1994-07-01 1995-10-24 Carrier Corporation Extended clock thermostat
US5467921A (en) 1994-09-23 1995-11-21 Carrier Corporation Thermostat having short circuit protection
GB2294828B (en) 1994-11-07 1998-10-28 Appliance Components Ltd Improvements in or relating to heating/cooling systems
US6356038B2 (en) 1994-12-14 2002-03-12 Richard A. Bishel Microcomputer-controlled AC power switch controller and DC power supply method and apparatus
US5570837A (en) 1995-10-18 1996-11-05 Emerson Electric Co. Programmable digital thermostat with means for enabling temporary connection of a battery thereto
US5589824A (en) 1995-11-09 1996-12-31 Lynch Adam Q Multi-sensor detection system
JP2000504132A (ja) 1996-01-29 2000-04-04 エンゲルハード センサー テクノロジーズ インコーポレイテッド 火災検知基準のダイナミックな調整方法
US5736795A (en) 1996-04-22 1998-04-07 Honeywell Inc. Solid state AC switch with self-synchronizing means for stealing operating power
JPH09298780A (ja) 1996-05-07 1997-11-18 Yamatake Honeywell Co Ltd ワイヤレス受信装置
US5655709A (en) 1996-05-29 1997-08-12 Texas Instruments Incorporated Electrical control system for relay operation responsive to thermostat input having improved efficiency
US5697552A (en) 1996-05-30 1997-12-16 Mchugh; Thomas K. Setpoint limiting for thermostat, with tamper resistant temperature comparison
US5918474A (en) 1996-07-30 1999-07-06 Whirlpool Corporation Fan motor on/off control system for a refrigeration appliance
US6046683A (en) * 1996-12-31 2000-04-04 Lucent Technologies Inc. Modulated backscatter location system
US5808294A (en) 1997-01-14 1998-09-15 Kenco Automatic Feeders Electronic controller for scheduling device activation by sensing daylight
US5903139A (en) 1997-01-27 1999-05-11 Honeywell Inc. Power stealing solid state switch for supplying operating power to an electronic control device
US6008750A (en) * 1997-02-11 1999-12-28 Decatur Electronics, Inc. Microwave transceiver utilizing a microstrip antenna
US6114967A (en) 1997-04-01 2000-09-05 Yousif; Marvin J. Quake-alerter w/radio-advisory and modular options
AU8256398A (en) 1997-06-13 1998-12-30 Itron Inc. Telemetry antenna system
US6060719A (en) 1997-06-24 2000-05-09 Gas Research Institute Fail safe gas furnace optical flame sensor using a transconductance amplifier and low photodiode current
US6072784A (en) 1997-07-25 2000-06-06 At&T Corp. CDMA mobile station wireless transmission power management with adaptive scheduling priorities based on battery power level
US6426703B1 (en) 1997-08-07 2002-07-30 Brk Brands, Inc. Carbon monoxide and smoke detection apparatus
US6275160B1 (en) 1998-04-13 2001-08-14 Pittway Corporation Multi-mode waterflow detector with electronic timer
US6336593B1 (en) 1998-05-15 2002-01-08 Varma Trafag Limited Multipoint digital temperature controller
US6798341B1 (en) 1998-05-18 2004-09-28 Leviton Manufacturing Co., Inc. Network based multiple sensor and control device with temperature sensing and control
US6089310A (en) 1998-07-15 2000-07-18 Emerson Electric Co. Thermostat with load activation detection feature
US6084522A (en) 1999-03-29 2000-07-04 Pittway Corp. Temperature sensing wireless smoke detector
US6084518A (en) 1999-06-21 2000-07-04 Johnson Controls Technology Company Balanced charge flame characterization system and method
US6222719B1 (en) 1999-07-15 2001-04-24 Andrew S. Kadah Ignition boost and rectification flame detection circuit
JP2001156676A (ja) * 1999-10-04 2001-06-08 Xerox Corp 空間ローカリゼーションシステム、並びにマイクロ波応答タグの識別及び追跡システム
US6377182B1 (en) 1999-11-16 2002-04-23 Brk Brands, Inc. Smoke detector with sensor having improved mounting configuration
US6315211B1 (en) 1999-12-03 2001-11-13 Emerson Electric Co. Hardwired or battery powered digital thermostat
US6509838B1 (en) 2000-02-08 2003-01-21 Peter P. Payne Constant current flame ionization circuit
US6332327B1 (en) 2000-03-14 2001-12-25 Hussmann Corporation Distributed intelligence control for commercial refrigeration
US6382264B1 (en) 2000-06-21 2002-05-07 Reveo, Inc. Recyclable fuel distribution, storage, delivery and supply system
DE10044534A1 (de) 2000-09-05 2002-03-14 Leon Rottwinkel System zur Bildwiedergabe
US6513723B1 (en) 2000-09-28 2003-02-04 Emerson Electric Co. Method and apparatus for automatically transmitting temperature information to a thermostat
US6424056B1 (en) 2000-11-30 2002-07-23 Telefonaktiebolaget (Lme) Keyless entry system for a vehicle
US6566768B2 (en) 2000-12-14 2003-05-20 Venstar Inc. Two line switch and power sharing for programmable means
US6778091B2 (en) 2001-01-09 2004-08-17 Qualey, Iii James R. Smoke chamber
KR100537582B1 (ko) 2001-02-24 2005-12-20 인터내셔널 비지네스 머신즈 코포레이션 신규의 초병렬 수퍼컴퓨터
US6969959B2 (en) 2001-07-06 2005-11-29 Lutron Electronics Co., Inc. Electronic control systems and methods
US6923640B2 (en) 2001-09-28 2005-08-02 General Electric Company Flame burner ignition system
US6622925B2 (en) 2001-10-05 2003-09-23 Enernet Corporation Apparatus and method for wireless control
US6657418B2 (en) 2001-11-13 2003-12-02 Honeywell International Inc. Parasitic power supply system for supplying operating power to a control device
US6743010B2 (en) 2002-02-19 2004-06-01 Gas Electronics, Inc. Relighter control system
US6619055B1 (en) 2002-03-20 2003-09-16 Honeywell International Inc. Security system with wireless thermostat and method of operation thereof
US7471062B2 (en) 2002-06-12 2008-12-30 Koninklijke Philips Electronics N.V. Wireless battery charging
US6794771B2 (en) 2002-06-20 2004-09-21 Ranco Incorporated Of Delaware Fault-tolerant multi-point flame sense circuit
US6956463B2 (en) 2002-10-02 2005-10-18 Carrier Corporation Method and apparatus for providing both power and communication over two wires between multiple low voltage AC devices
US20040209209A1 (en) 2002-11-04 2004-10-21 Chodacki Thomas A. System, apparatus and method for controlling ignition including re-ignition of gas and gas fired appliances using same
US7200467B2 (en) 2002-11-08 2007-04-03 Usa Technologies, Inc. Method and apparatus for power management control of a cooling system in a consumer accessible appliance
US7026727B2 (en) 2002-12-20 2006-04-11 Honeywell International Inc. Power supply with multiple transformer current sharing
US7511614B2 (en) 2003-02-03 2009-03-31 Ingrid, Inc. Portable telephone in a security network
US7532114B2 (en) 2003-02-03 2009-05-12 Ingrid, Inc. Fixed part-portable part communications network for a security network
US7333829B2 (en) 2003-03-24 2008-02-19 Quorum Systems Multi-mode wireless bridge system and method using a single-radio transceiver
US6886754B2 (en) 2003-06-03 2005-05-03 Tim Simon, Inc. Thermostat operable from various power sources
US20050270151A1 (en) 2003-08-22 2005-12-08 Honeywell International, Inc. RF interconnected HVAC system and security system
EP1706963A4 (en) 2003-11-02 2011-06-15 Yossy Sela MOBILE PHONE GATEWAY DEVICE, COMMUNICATION SYSTEM AND GATEWAY OPERATING SYSTEM
US7775452B2 (en) 2004-01-07 2010-08-17 Carrier Corporation Serial communicating HVAC system
US20050195757A1 (en) 2004-03-02 2005-09-08 Kidder Kenneth B. Wireless association approach and arrangement therefor
US7190974B2 (en) 2004-03-26 2007-03-13 Broadcom Corporation Shared antenna control
US20050215284A1 (en) 2004-03-26 2005-09-29 Broadcom Corporation Collaborative coexistence with dynamic prioritization of wireless devices
US20050212708A1 (en) 2004-03-26 2005-09-29 Broadcom Corporation Antenna configuration for wireless communication device
US7142107B2 (en) 2004-05-27 2006-11-28 Lawrence Kates Wireless sensor unit
US7030805B2 (en) * 2004-07-23 2006-04-18 Sandia Corporation Methods and system suppressing clutter in a gain-block, radar-responsive tag system
KR100641233B1 (ko) 2004-07-28 2006-11-02 엘지전자 주식회사 피티티 서비스의 발언권 처리방법
US7379791B2 (en) 2004-08-03 2008-05-27 Uscl Corporation Integrated metrology systems and information and control apparatus for interaction with integrated metrology systems
US7755220B2 (en) 2004-08-11 2010-07-13 Carrier Corporation Power stealing for a thermostat using a TRIAC with FET control
US7537171B2 (en) 2004-11-17 2009-05-26 Emerson Electric Co. Thermostat control system providing power saving transmissions
US7174239B2 (en) 2004-11-19 2007-02-06 Emerson Electric Co. Retrieving diagnostic information from an HVAC component
CA2693514C (en) 2004-12-14 2013-10-15 Comverge Inc. Hvac communication system
US7856000B2 (en) 2004-12-21 2010-12-21 Intel Corporation Apparatus and method capable of improved coexistence of multiple wireless communication techniques
US8689572B2 (en) 2004-12-22 2014-04-08 Emerson Electric Co. Climate control system including responsive controllers
US7802618B2 (en) 2005-01-19 2010-09-28 Tim Simon, Inc. Thermostat operation method and apparatus
US7274975B2 (en) 2005-06-06 2007-09-25 Gridpoint, Inc. Optimized energy management system
JP4880925B2 (ja) 2005-06-30 2012-02-22 セコム株式会社 設定装置
JP2007019575A (ja) * 2005-07-05 2007-01-25 Sony Corp 端末管理装置、端末管理システム、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム
US7673809B2 (en) 2005-08-30 2010-03-09 Honeywell International Inc. Thermostat relay control
US20070115951A1 (en) 2005-11-22 2007-05-24 Jeyhan Karaoguz System and method providing location based wireless resource identification
US7738433B2 (en) 2005-09-27 2010-06-15 Sony Ericsson Mobile Communications Ab Method, apparatus, and computer program products for adapting a transmission setting
US7640761B2 (en) 2005-11-02 2010-01-05 Trane International Inc. System and method for controlling indoor air flow for heating, ventilating and air conditioning equipment
US20070101737A1 (en) 2005-11-09 2007-05-10 Masao Akei Refrigeration system including thermoelectric heat recovery and actuation
US7476988B2 (en) 2005-11-23 2009-01-13 Honeywell International Inc. Power stealing control devices
US7648077B2 (en) 2005-12-13 2010-01-19 Emerson Electric Co. HVAC communication system
US20070228183A1 (en) 2006-03-28 2007-10-04 Kennedy Kimberly A Thermostat
US20070241203A1 (en) 2006-04-14 2007-10-18 Ranco Inc. Of Delaware Management of a thermostat's power consumption
US7916066B1 (en) * 2006-04-27 2011-03-29 Josef Osterweil Method and apparatus for a body position monitor and fall detector using radar
US7567200B1 (en) * 2006-04-27 2009-07-28 Josef Osterweil Method and apparatus for body position monitor and fall detect ion using radar
US8091375B2 (en) 2006-05-10 2012-01-10 Trane International Inc. Humidity control for air conditioning system
EP3616611B1 (en) * 2006-06-01 2020-12-30 ResMed Sensor Technologies Limited Apparatus, system, and method for monitoring physiological signs
US7592923B2 (en) 2006-06-07 2009-09-22 L.I.F.E. Support Technologies, Llc Smoke detection and laser escape indication system utilizing a control master with base and satellite stations
US7580775B2 (en) 2006-07-11 2009-08-25 Regen Energy Inc. Method and apparatus for implementing enablement state decision for energy consuming load based on demand and duty cycle of load
US7411497B2 (en) * 2006-08-15 2008-08-12 Lawrence Kates System and method for intruder detection
US20080054084A1 (en) 2006-08-29 2008-03-06 American Standard International Inc. Two-wire power and communication link for a thermostat
US7571865B2 (en) 2006-10-31 2009-08-11 Tonerhead, Inc. Wireless temperature control system
US7841542B1 (en) 2006-11-07 2010-11-30 Howard Rosen System for supplying communications and power to a thermostat over a two-wire system
US8001400B2 (en) 2006-12-01 2011-08-16 Apple Inc. Power consumption management for functional preservation in a battery-powered electronic device
US7748640B2 (en) 2006-12-18 2010-07-06 Carrier Corporation Stackable thermostat
WO2008085151A2 (en) 2006-12-29 2008-07-17 Carrier Corporation Universal thermostat expansion port
US8220721B2 (en) 2007-03-01 2012-07-17 Flohr Daniel P Wireless interface circuits for wired thermostats and electrical service demand management
US20080219377A1 (en) 2007-03-06 2008-09-11 Sige Semiconductor Inc. Transmitter crosstalk cancellation in multi-standard wireless transceivers
CA2629264C (en) 2007-04-19 2014-11-18 4170083 Canada Inc. System and method of sorting elongated wood boards for preparing rows
US7994928B2 (en) 2007-05-25 2011-08-09 Robert Charles Richmond Multifunction smoke alarm unit
US20090099697A1 (en) 2007-06-11 2009-04-16 Eair, Llc Power Supply Switch for Dual Powered Thermostat, Power Supply for Dual Powered Thermostat, and Dual Powered Thermostat
WO2009061292A1 (en) 2007-11-06 2009-05-14 Carrier Corporation Heat pump with heat recovery
US7900849B2 (en) 2007-11-30 2011-03-08 Honeywell International Inc. HVAC remote control unit and methods of operation
US8387892B2 (en) 2007-11-30 2013-03-05 Honeywell International Inc. Remote control for use in zoned and non-zoned HVAC systems
US8255090B2 (en) 2008-02-01 2012-08-28 Energyhub System and method for home energy monitor and control
KR101529734B1 (ko) 2008-03-31 2015-06-17 노미 보사이 가부시키가이샤 전기 기기 및 연기 감지기
US8111677B2 (en) 2008-04-24 2012-02-07 Conexant Systems, Inc. Systems and methods of combined bluetooth and WLAN signaling
US8830062B2 (en) * 2008-06-05 2014-09-09 Micron Technology, Inc. Systems and methods to use radar in RFID systems
US7579945B1 (en) 2008-06-20 2009-08-25 International Business Machines Corporation System and method for dynamically and efficently directing evacuation of a building during an emergency condition
US7992794B2 (en) 2008-07-10 2011-08-09 Honeywell International Inc. Backup control for HVAC system
US20100053456A1 (en) 2008-08-28 2010-03-04 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Mobile Multimedia Terminal Antenna Systems and Methods for Use Thereof
WO2010031018A1 (en) 2008-09-15 2010-03-18 General Electric Company Energy management of dishwasher appliance
US7930070B2 (en) 2008-09-25 2011-04-19 Kingston Consulting, Inc. System, method, and module capable of curtailing energy production within congestive grid operating environments
TWI484716B (zh) 2008-10-03 2015-05-11 Access Business Group Int Llc 減少電力系統中之電力消耗的方法及裝置
US7952512B1 (en) * 2008-10-14 2011-05-31 Sprint Communications Company L.P. Mobile device enabled radar tags
JP5634266B2 (ja) 2008-10-17 2014-12-03 パナソニック株式会社 動線作成システム、動線作成装置及び動線作成方法
US8527096B2 (en) 2008-10-24 2013-09-03 Lennox Industries Inc. Programmable controller and a user interface for same
US8452906B2 (en) 2008-10-27 2013-05-28 Lennox Industries, Inc. Communication protocol system and method for a distributed-architecture heating, ventilation and air conditioning network
US8248252B2 (en) 2008-11-21 2012-08-21 Schechter Tech, Llc Remote monitoring system
GB0901504D0 (en) 2009-01-29 2009-03-11 Cambridge Silicon Radio Ltd Radio Apparatus
US8393550B2 (en) 2009-01-30 2013-03-12 Tim Simon, Inc. Thermostat assembly with removable communication module and method
US8016205B2 (en) 2009-02-12 2011-09-13 Emerson Electric Co. Thermostat with replaceable carbon monoxide sensor module
US8994536B2 (en) 2009-02-25 2015-03-31 Xanthia Global Limited Wireless physiology monitor
US8754775B2 (en) 2009-03-20 2014-06-17 Nest Labs, Inc. Use of optical reflectance proximity detector for nuisance mitigation in smoke alarms
US8098166B2 (en) 2009-04-23 2012-01-17 Honeywell International Inc. Variable air speed aspirating smoke detector
US8232884B2 (en) 2009-04-24 2012-07-31 Gentex Corporation Carbon monoxide and smoke detectors having distinct alarm indications and a test button that indicates improper operation
US9148889B2 (en) 2009-06-01 2015-09-29 Qualcomm Incorporated Control of multiple radios using a database of interference-related information
US8415829B2 (en) 2009-06-02 2013-04-09 Vdc Manufacturing Inc. Transportable modular multi-appliance device
TWM369545U (en) 2009-07-28 2009-11-21 Lin-Song Weng A circuit for extracting power from a battery and an electronic apparatus comprising the circuit.
KR20110018788A (ko) 2009-08-18 2011-02-24 삼성전자주식회사 복수의 저잡음 증폭기를 가지는 동시대기 단말 및 그의 무선 통신부 운용 방법
JP2011099683A (ja) 2009-11-04 2011-05-19 Hitachi Automotive Systems Ltd 物体検出装置
US8830660B2 (en) 2009-12-21 2014-09-09 Whirlpool Corporation Mechanical power service communicating device and system
US20110166937A1 (en) * 2010-01-05 2011-07-07 Searete Llc Media output with micro-impulse radar feedback of physiological response
US8193775B2 (en) 2010-03-31 2012-06-05 Kookmin University Industry Academy Cooperation Foundation Hysteresis switch and electricity charging module using the same
US20110253796A1 (en) 2010-04-14 2011-10-20 Posa John G Zone-based hvac system
GB201006683D0 (en) 2010-04-21 2010-06-09 Fireangel Ltd Smoke alarm
US20120017611A1 (en) 2010-07-20 2012-01-26 Coffel James A Load management aware fan control
US9104211B2 (en) 2010-11-19 2015-08-11 Google Inc. Temperature controller with model-based time to target calculation and display
US8195313B1 (en) 2010-11-19 2012-06-05 Nest Labs, Inc. Thermostat user interface
WO2013058820A1 (en) 2011-10-21 2013-04-25 Nest Labs, Inc. User-friendly, network connected learning thermostat and related systems and methods
US8944338B2 (en) 2011-02-24 2015-02-03 Google Inc. Thermostat with self-configuring connections to facilitate do-it-yourself installation
US8740793B2 (en) * 2011-08-29 2014-06-03 General Electric Company Radar based systems and methods for monitoring a subject
JP5377689B2 (ja) * 2011-09-21 2013-12-25 斎藤 光正 定在波レーダー内蔵型led照明器具
US9167228B2 (en) 2012-01-03 2015-10-20 Lawrence Maxwell Monari Instrumented sports paraphernalia system
US8959555B2 (en) 2012-07-03 2015-02-17 Lawrence Maxwell Monari Instrumented sports paraphernalia system
US8717487B2 (en) 2012-08-10 2014-05-06 Digitaloptics Corporation Camera module with compact sponge absorbing design
US9046414B2 (en) * 2012-09-21 2015-06-02 Google Inc. Selectable lens button for a hazard detector and method therefor
US9520252B2 (en) 2012-09-21 2016-12-13 Google Inc. Adaptable hazard detector mounting plate
CN103033683B (zh) * 2012-12-14 2015-07-08 南京三宝科技股份有限公司 基于Chirp信号的无源RFID电子标签谐振频率检测系统及方法
US20140279122A1 (en) 2013-03-13 2014-09-18 Aliphcom Cloud-based media device configuration and ecosystem setup
TWI486611B (zh) * 2013-04-18 2015-06-01 Wistron Neweb Corp 車用雷達系統之雷達裝置
US9922580B2 (en) 2013-04-30 2018-03-20 Google Llc Apparatus and method for the virtual demonstration of a smart phone controlled smart home using a website
US9743047B2 (en) 2013-05-27 2017-08-22 Center For Integrated Smart Sensors Foundation Network camera using hierarchical event detection and data determination
JP5990761B2 (ja) 2013-10-03 2016-09-14 トヨタ自動車株式会社 レーダ装置
CN104076357A (zh) * 2014-07-07 2014-10-01 武汉拓宝电子系统有限公司 一种用于室内活动目标检测的雷达装置及方法
US10634778B2 (en) 2014-10-21 2020-04-28 Texas Instruments Incorporated Camera assisted tracking of objects in a radar system

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4684949A (en) * 1983-01-17 1987-08-04 The United States Of America As Represented By The Secretary Of Transportation VHF/radar transponder collision avoidance aid
JP2000338231A (ja) * 1999-05-31 2000-12-08 Mitsubishi Electric Corp 侵入者検知装置
JP2005017112A (ja) * 2003-06-26 2005-01-20 Fujitsu Ltd アクティブターゲット検出システムおよび方法
CN101002399A (zh) * 2004-07-30 2007-07-18 摩托罗拉公司 便携电子设备及其操作方法
CN101401008A (zh) * 2006-01-30 2009-04-01 劳伦斯利弗莫尔国家安全有限责任公司 超宽带雷达传感器及网络
WO2008085200A2 (en) * 2006-09-05 2008-07-17 The Regents Of The University Of California Method of remote powering and detecting multiple uwb passive tags in an rfid system
CN102301256A (zh) * 2009-02-10 2011-12-28 西门子公司 用于测定rfid应答器的距离、速度和/或运动方向的方法与系统
CN201717989U (zh) * 2009-10-14 2011-01-19 深圳辉锐天眼科技有限公司 酒店智能监控系统一体机
CN103091672A (zh) * 2011-11-02 2013-05-08 株式会社电装 具有不同工作模式的雷达装置
CN102684961A (zh) * 2012-04-10 2012-09-19 中国科学院计算机网络信息中心 家电设备信息处理方法、设备和系统
CN103024665A (zh) * 2012-11-22 2013-04-03 无锡中星微电子有限公司 一种电子标签和基于电子标签的通信方法
WO2015174879A1 (en) * 2014-05-14 2015-11-19 Novelic D.O.O. Mm-wave radar vital signs detection apparatus and method of operation
WO2016053645A1 (en) * 2014-10-02 2016-04-07 Google Inc. Non-line-of-sight radar-based gesture recognition
CN105342571A (zh) * 2015-12-09 2016-02-24 许昌学院 一种智能终端供电一体的健康测量评估系统及其评估方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Experimental UWB sensing & communication system;D.L. Sostanovsky et al.;IEEE Aerospace and Electronic Systems Magazine;第21卷(第2期);全文 *
Wireless radar devices for smart human-computer interaction;Yiran Li et al.;《2014 IEEE 57th International Midwest Symposium on Circuits and Systems (MWSCAS)》;20140925;全文 *
基于CSS 技术的室内定位通信系统的研究与实现;张骁耀等;《微机与应用》;20120725;第31卷(第13期);全文 *

Also Published As

Publication number Publication date
JP2021099361A (ja) 2021-07-01
CN108700645A (zh) 2018-10-23
JP2023085292A (ja) 2023-06-20
JP2019515246A (ja) 2019-06-06
US20170328997A1 (en) 2017-11-16
JP6847968B2 (ja) 2021-03-24
KR102177157B1 (ko) 2020-11-10
WO2017196991A1 (en) 2017-11-16
US10613213B2 (en) 2020-04-07
JP7244557B2 (ja) 2023-03-22
EP3455644A1 (en) 2019-03-20
US20200233079A1 (en) 2020-07-23
KR20180105174A (ko) 2018-09-27
JP7451798B2 (ja) 2024-03-18

Similar Documents

Publication Publication Date Title
CN108700645B (zh) 用于随智能设备利用雷达的系统、方法和设备
US11516630B2 (en) Techniques for adjusting operation of an electronic device
US10812762B2 (en) Systems, methods, and devices for managing coexistence of multiple transceiver devices by optimizing component layout
US9923589B2 (en) Systems, methods, and devices for managing coexistence of multiple transceiver devices using bypass circuitry
US10972685B2 (en) Video camera assembly having an IR reflector
US9679454B2 (en) Systems, methods, and devices for managing coexistence of multiple transceiver devices using control signals
US9396633B1 (en) Systems, methods, and devices for managing coexistence of multiple transceiver devices by optimizing component layout
US11089187B2 (en) Camera assembly with concave-shaped front face
WO2016205214A9 (en) Systems, methods, and devices for managing coexistence of multiple transceiver devices by optimizing component layout

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant