CN112640427A - 用于配置热成像系统的用户界面 - Google Patents

Abstract

一种热成像系统，所述热成像系统包括至少一个热成像设备、服务器和至少一个移动设备。所述热成像设备捕获环境的热图像。所述服务器将计算机视觉技术应用于所述热图像，检测预先确定的类型的事件，并且生成从所述热图像中检测到的预先确定的类型的事件的通知。所述移动设备运行移动应用，所述移动应用被配置为接收所述通知，呈现用户界面，在所述用户界面中接收所述通知的用户注释，并且将所述注释传输至所述服务器。根据所述注释，所述服务器调整在所述计算机视觉技术的应用和所述通知的所述生成中使用的参数。

Description

用于配置热成像系统的用户界面

相关申请

本申请要求于2018年7月23日提交的且标题为“User Interfaces to Configurea Thermal Imaging System”的美国专利申请序列号16/042,045的提交日的权益，该专利申请的全部公开内容据此以引用方式并入本文。

本申请涉及2017年5月26日提交的美国专利申请序列号15/607,345和都在2017年10月30日提交的美国专利申请序列号15/797,693和15/797,999，这些专利申请的全部公开内容据此以引用方式并入本文。

技术领域

本文所公开的至少一些实施方案总体涉及一种热成像系统，并且更具体地涉及但不限于用于配置热成像系统以检测预先确定的类型的事件的用户界面。

背景技术

热成像可用于人类检测，因为与典型室内环境的温度相比，高的人体温度具有高对比度。低分辨率的热成像可用于在典型的房间区域内可靠地检测人类。与使用人眼可见的光的常规视频监测相比，低分辨率热成像的优势不仅包括良好的人类-背景对比度，而且还不侵犯隐私。当热成像的分辨率低至使得几个像素用于表示人时，此人的热图像显示为斑点(blob)，而不存在关于此人的细微特征。因此，热图像不能用于特定地标识个人。此类技术可用于监测老年人和患者，以响应于某些情况诸如跌倒提供护理，而不侵犯隐私。

例如，标题为“Apparatus and Method for Electromagnetic RadiationSensing”的美国专利申请公开号2015/0377711公开了一种用于基于红外(IR)辐射的热成像的装置。此类装置可用于人类检测、火灾检测、气体检测、温度测量、环境监测、能量节省、行为分析、监督、信息收集以及用于人机界面。此类装置和/或其他类似的装置可用于本申请中公开的发明的实施方案中。美国专利申请公开号2015/0377711的全部公开内容据此以引用方式并入本文。

附图说明

在附图的图中通过示例而非限制的方式示出了实施方案，在附图中，相似的附图标记指示相似的元件。

图1示出了根据一个实施方案的热成像系统。

图2-图21示出了根据一个实施方案配置热成像系统的一组用户界面。

图22-图24示出了根据一个实施方案的用于标识热成像系统所使用的平面图中的位置特征的过程。

图25-图28示出了根据一个实施方案的用于标识用于热成像系统中的事件检测的一组参数的过程。

图29-图35示出了根据一个实施方案的用户界面和用于标识热成像系统所使用的平面图中的位置区的过程。

图36示出了根据一个实施方案的在用于监测的位置处设置热成像设备的方法。

图37示出了根据一个实施方案的建立用于监测位置的布景模型的方法。

图38示出了根据一个实施方案的证实用于监测位置的事件检测模型和参数的方法。

图39示出了根据一个实施方案的基于用户对所检测到的事件的通知的反馈来配置热成像系统的方法。

图40示出了根据一个实施方案的至少包括热成像系统的一部分的数据处理系统。

具体实施方式

以下描述和附图是说明性的，并且不应被解释为是限制性的。描述了许多具体细节以提供透彻的理解。然而，在某些情况下，未描述众所周知的或常规的细节以避免使描述模糊。在本公开中对一个实施方案或一实施方案的引用不一定是对相同实施方案的引用；并且此类引用意指至少一个。

2017年5月26日提交的美国专利申请序列号15/607,345和都在2017年10月30日提交的美国专利申请序列号15/797,693和15/797,999公开了用于确定正在使用热成像设备监测的位置的平面图或布局的技术。此类位置的示例是老人或患者的房间。此类技术可在本申请中讨论的热成像系统中使用。这些申请的全部公开内容据此以引用方式并入本文。

一般来讲，位置的平面图或布局可用于配置热成像系统检测和/或解释来自热图像的事件的能力。此类信息可以用作环境的模型，并且可用于理解由热成像设备监测的布景的环境和地理学特征以及因素。环境模型可以与所监测位置的热图像一起使用，以对事件进行分类并且控制通知递送。典型的房间环境背景的热图像缺少确定环境模型的细节，并且可能看起来难以区分的一致。平面图增强了热图像，以有利于事件检测和分类。本文所讨论的用户界面允许使用根据用户界面中呈现的指令生成的用户反馈和/或热输入，以确定和/或改善平面图和/或热成像系统在检测和/或解释事件时使用的其他图像处理参数。

图1示出了根据一个实施方案的热成像系统。

图1的热成像系统包括服务器(115)和通过热成像的方式监测环境(107)的热成像设备(101)。热成像设备(101)通常安装在环境(107)诸如房间中的固定位置。

图1的热成像系统(TIS)还包括用户(103)的移动设备(105)以提供图形用户界面来配置图1的热成像系统，以呈现在环境(107)中检测到的事件的通知，和/或接收用户对通知的反馈。

热成像设备(101)和移动设备(105)可经由计算机通信网络(113)连接到服务器(115)。服务器(115)处理由热成像设备(101)捕获的热图像，并且基于该热图像提供服务。

例如，热成像设备(101)可经由无线接入点(111)和计算机网络(113)(例如，局域网和/或互联网)将热图像传送至服务器(115)。移动设备(105)诸如智能电话、平板计算机、膝上型计算机或个人媒体播放器具有安装在其中的移动应用，以与热成像设备(101)和/或服务器(115)通信以进行热成像系统的校准、设置和/或应用使用。

在一些情况下，热成像设备(101)经由无线连接或有线连接将热图像传送至移动设备(105)，该移动设备用作为主机设备，用于进一步将热图像传送至服务器(115)以进行进一步处理。主机设备诸如移动设备(105)或环境(107)中或附近的另一设备可以在将处理结果提供给服务器(115)以用于进一步处理和/或用于事件检测/分类之前对热图像进行预处理。

服务器(115)和/或热成像设备(101)可将热图像提供给移动设备(105)，以显示和/或验证事件检测/分类。

服务器(115)可以维护用户账户(121)，该用户账户以特定于用户(103)的环境(107)的方式有利于访问控制并且定制热成像处理。

例如，用户账户(121)可具有安装在环境(107)中的热成像设备(101)的设备标识符(123)。此外，用户账户(121)可具有环境(107)的2D或3D平面图(125)。平面图(125)标识指定环境内的区域的属性的位置特征。服务器(115)可使用位置属性来对在环境(107)中检测到的事件进行分类。

例如，图像处理器(129)可使用平面图(125)来检测事件，诸如人跌倒在地板上、人在床上、人在检测区域之外、人坐着、危险热点、存在多个人、人正在移动、人在预定义区域中、吸烟检测、火灾检测、人靠近危险热点、漏水、人与其他人的互动、人与其他对象的互动、对象检测的异常热量图案等等。

例如，图像处理器(129)可标识热图像中具有与背景热图像不同的温度分布的斑点(例如，一组像素)，并且将该斑点分类为人或热点的热图像。当检测到人的热图像时，图像处理器(129)可对人的姿势进行进一步分类(例如，站立、躺卧、就坐、行走)。鉴于环境的平面图(125)中的位置特征以及鉴于人的姿势和/或人的热图像的形状，服务器(115)可以进一步根据人的热图像来解释/推断人的活动。可基于热图像相对于2D或3D平面图(125)的视线投影来确定人在环境(107)内相对于环境的位置特征(例如，路径、活动区域、床、椅子、门、窗)的位置。人在热图像中的位置可用于解释和/或分类与此人相关联的事件。

本文所讨论的本公开的一方面包括在移动设备(105)上提供的用户界面。用户界面有利于对热成像系统的特定特征集的人为验证和认证，其中该特征集被配置为检测特定于环境(107)的预先确定的类型的事件。用户界面被编程为自动引导用户(103)和热成像系统之间的交互，以测试和证实一类事件的检测。人为验证和认证改善了热成像系统的配置并且提高了事件分类和/或通知的准确性。

此外，用户界面可向用户提供反馈或指令，并且引导用户执行进一步的配置操作以改善和/或证实从特征集生成的结果的准确性。

使用移动设备(105)中提供的用户界面，没有技术技能的人可以与热成像系统进行交互以在环境中产生热状态，从而使热成像系统分析该热状态并且生成关于该热状态的通知。此人然后可以进一步使用移动设备(105)来证实在通知中被标识的状态的真实性。用户界面引导用户进行简单且具有逻辑性的过程，同时系统自动注释此类干预并且将其存储在存储器中以改善其图像处理参数(127)，以用于处理来自由用户账户(121)中的设备标识符(123)表示的热成像设备(101)的热图像。服务器(115)可使用改善的图像处理参数来在处理由热成像设备(101)生成的后续热图像时生成改善的结果。

使用热成像系统的服务，用户界面可用于成像参数(127)的持续改进。当服务器(115)生成在环境中检测到的事件的通知时，移动设备(105)上的用户界面可呈现该通知并且接收对该通知的准确性进行评级的用户反馈。用户反馈可用于调整成像参数，以改善用户账户(121)中的进一步的事件分类和通知并且减少错误警报。

例如，在热成像设备(101)使用红外感测像素的阵列捕获环境(107)的热图像之后，服务器(115)(或移动设备(105)或另一主机设备或热成像设备(101))可使用计算机视觉技术来分析热图像的内容。一般来讲，可使用本领域中已知的任何计算机视觉技术来从热图像中提取热对象的内容。热对象的温度通常与环境的热背景不同。热对象的示例可包括人、宠物、火炉、电视机等。例如，简单的阈值分割可用于从热背景中提取某些温度高于或低于阈值的对象。

人的温度通常高于背景。因此，可应用分割来从背景提取人的热图像。可执行针对斑点取向、斑点形状、斑点邻近像素的斑点分析，以提取关于人的形状、姿势和/或活动的信息。例如，斑点比例可提供对人的姿势的了解。

一些对象可具有类似人体的温度，但通常是静态的。因此，可以对斑点移动和斑点形状变化(空间斑点变化)执行时间分析，以滤除静态“热点”，诸如电视机、PC监测器、家用电器。

例如，可以训练人工神经网络以对从由热成像设备(101)捕获的热图像提取的热斑点进行分类。

图1的热成像系统可具有消息传递能力。消息触发器(109)可以被编程为响应于从来自热成像设备(101)的热图像中标识/检测/分类的预先确定的类型的事件来发送通知。例如，可使用短消息服务(SMS)、电子邮件、推送通知、应用编程接口(API)等将由检测到预先确定的类型的事件诸如人的跌倒所触发的通知发送至账户(121)的用户。在某些情况下，通知可以触发声音、警报器、光等形式的物理警报。

例如，响应于检测到与危险热点或火灾威胁警报相对应的热事件，警报通知可被传输至在用户账户(121)中标识的地址和/或设备。例如，危险热点或火灾威胁警报的事件可被编程为通过标识温度高于阈值(例如，200摄氏度)的热斑点来触发。

可以在服务器(115)的图像处理器(129)中或者在主机设备诸如移动设备(105)中或者在热成像设备(101)中实现检测技术。

当人类进入热成像设备(101)的视场内的环境(107)时，使用图像处理器(129)，服务器(115)可以在由热成像设备(101)捕获的热图像中检测到人类(103)。例如，环境(107)可以是为老年人和/或患者提供服务的房间。

服务器(115)可使用关于所检测到的人类(103)的空间和时间信息来提供人类活动数据。此类数据可包括人休息、人活动、人在视线之外或人跌倒。

例如，为了执行人类跌倒检测，可基于人类的典型温度范围来提取表示人类(103)的热图像的斑点。服务器(115)可分析斑点的取向和/或形状以确定人类(103)是否被认为是站立的。例如，当人类斑点的高宽比高于阈值时，人类(103)可被认为是站立的。例如，当斑点的水平延伸程度比斑点的高度大一个因子时，根据平面图(125)，如果人类斑点位于具有高于使人躺下的阈值概率的区域内，则服务器(115)可将人类的动作/活动分类为躺卧。此类区域的示例包括可供人休息的床、人可能在上面躺下或跌倒的活动区域、走廊等。服务器(115)可进一步使用人类斑点的形状的时间变化来对人类(103)的动作/活动进行分类。

例如，确定表示人类(103)的人类斑点躺在活动区域或走廊上可使服务器(115)确定已经检测到人跌倒的事件。服务器(115)可被配置为如果确定人类处于跌倒定位的时间段长于阈值，则触发警报和/或通知。例如，可将通知传输至护士的平板计算机以提示护士采取行动。该通知可标识环境(107)(例如，特定房间)，使得护士可以在需要时提供帮助。

当热成像设备(101)具有低分辨率时，热监测为非侵入式的，并且保护环境(107)的占有者的隐私。然而，低分辨率监测可降低活动和/或对象检测的准确性。当热成像具有较少的像素时，图像处理器(129)具有较少的可用细节和信息。例如，人的头部可显示为单个像素，因此不可能检测到任何面部细节，因此很难精确地检测活动或特征模式。然而，与此同时，此类低分辨率成像为人类标识提供的细节不充分，且因此改善了隐私性。仅在能够以一定程度的概率检测或辨识人类的情况下人类检测才是可能的。

例如，用于跌倒检测的标准可包括人类热斑点的水平取向。然而，人的水平定位可被解释为跌倒，但也可以被解释为人躺在床上或沙发上。有限的分辨率对准确性造成限制，但出于隐私原因是理想的。

当热成像设备(101)具有低分辨率时，移动设备(105)可被配置为使用用户界面来获得信息，以提高热成像系统检测与人类相关的事件的准确性。

图2-图21示出了根据一个实施方案的用于配置热成像系统的用户界面的示例。下面结合图36-图40的方法讨论用户界面。

图36示出了在环境(107)中设置图1的热成像系统的热成像设备(101)的方法。

在框131处，服务器(115)创建或注册用户账户(121)。例如，热成像系统的安装者或用户可使用账户(121)与热成像系统进行交互，诸如注册热成像设备(101)的设备标识符(123)，运行移动设备(105)上的移动应用以访问经由热成像设备提供的服务，并且任选地使用移动应用提供信息以生成由热成像设备(101)监测的环境(107)的平面图(125)和/或提供图像处理参数(127)以配置和提高在用户账户(121)中处理热图像时的事件检测准确性。

在框133处，服务器(115)存储设备标识符(123)以将热成像设备(101)链接到用户账户(121)。例如，在物理上获得热成像设备(101)并且例如将其拆箱之后，用户(103)可使用移动应用将热成像设备(101)链接到用户账户(121)。例如，移动设备(105)可以是具有相机和互联网连接的智能电话；并且在智能电话中运行的移动应用可使用其相机捕获或扫描具有热成像设备(101)的设备标识符(123)的条形码，以使服务器(115)将热成像设备(101)链接到用户账户(121)。可替代地，移动设备(105)可经由电缆和/或连接器(例如，使用通用串行总线(USB)电缆)物理地连接到热成像设备(101)，以将热成像设备(101)链接到用户账户(121)；以及用于在热成像设备(101)和用户账户(121)之间建立链接的通信可经由移动设备(105)/热成像设备(101)与服务器(115)之间的无线和/或有线通信连接来进行。通过由移动设备(105)提供的用户界面，热成像设备(101)被配置为与服务器(115)进行通信，而无需来自移动设备(105)的进一步帮助。因此，在配置热成像设备(101)和服务器(115)之间的通信连接之后，可将移动设备(105)与热成像设备(101)在物理上断开连接。可经由无线连接或有线连接来执行热成像设备(101)的进一步配置。例如，如图2所示的用户界面可提示用户捕获热成像设备(101)的识别码，以将热成像设备(101)链接到用户账户(121)。可替代地，用户(103)可使用服务器(115)的网站，以通过输入热成像设备(101)的序列号来将热成像设备(101)链接到用户账户(121)。

在框135处，服务器(115)存储数据以将热成像设备(101)链接到位置，诸如待由热成像设备(101)监测的环境(107)的地址和/或房间号或标识该地址处热成像设备(101)的被监测区域的特定位置的描述。例如，如图3所示的用户界面可提示用户标识位置。

可以随时指定和/或修改热成像设备(101)与位置之间的关联。然而，使用例如如图2所示的用户界面来引导用户完成过程可使安装过程非常用户友好且简单。

可分配一个以上的热成像设备来监测相同的位置。例如，起居室可能很大，且可能需要许多热成像设备(例如，四个)。例如，可在房间的每个角落安装有热成像设备。

在框137处，热成像系统可指示用户对热成像设备(101)通电，配置从热成像设备(101)到服务器(115)的数据传输，并且安装热成像设备(101)。例如，数据传输可被配置为经由连接到互联网的无线局域网(例如，WiFi)或者经由到服务器的有线连接(例如，以太网)来执行。例如，可通过简单地移除预先安装在热成像设备(101)上的胶带的衬里并且将热成像设备(101)附接到环境中的一个或多个表面上来执行热成像设备(101)的安装。例如，可使用于2017年5月26日提交的美国专利申请序列号15/607,345中公开的安装和校准技术。该专利申请的全部公开内容据此以引用方式并入本文。对于用于监测环境(107)的热成像设备(例如，101)，可以重复安装137。任选地，可在框135和/或框133的一个或多个操作之前处理框137处的操作。例如，可以在将热成像设备链接到用户账户(133)和/或将热成像设备链接到位置之前执行热成像设备的通电。一般来讲，可按照任意顺序执行对热成像设备(101)通电、配置其数据传输、将其链接到用户账户并且将其链接到位置的操作。

任选地，在框139处，可基于布景和/或房间对热成像设备(例如，101)进行分组。设备的分组可在框141处的系统初始化之前完成，使得用户(103)可在连续步骤中节省时间。

在框141处，热成像系统对新安装的热成像设备(例如，101)执行初始化。因此，服务器(115)被建立并且被读取以进行配置。如图4所示的用户界面可用于通知用户(103)初始化成功，并且引导用户(103)完成配置过程。

在框143处，配置过程可以任选地包括对具有预定义事件检测服务的特征的选择。

在框145处，配置过程可以任选地包括校准和验证操作，以测试和微调事件检测的所选择的特征。

在一些情况下，可以预先选择某些特征；并且为用户(103)提供用户界面，以基于用户的需要从一系列特征中进行选择和/或调整选择。特征选择(143)可以在验证(145)后完成；然而，一旦知道了特征，验证可能更有效。

例如，在如图4所示的用户界面确认成功初始化之后，如图5所示的用户界面引导用户(103)从列表中选择特征。一些特征可以被包括在某个订阅计划中，而其他特征可以是附加服务，针对这些附加服务可以向用户(103)单独收费。一些特征可能是免费的，而一些特征可能需要付费才能获得，并且附带条款和条件。

物理装置可包括任何类型的热成像设备(例如，101)，而对热成像设备(例如，101)的分辨率、取向或定位没有任何限制。任选地，热成像设备(例如，101)可包括除用于热成像的图像传感器之外的其他传感器。

由于房间中的热平衡，许多房间物品可具有类似的温度和发射率，从而在环境(107)的热图像中显示出低对比度或者无对比度。类似的温度使这些物品在热频带中与房间背景几乎没有区别。因此，在没有有关房间的布局和对象的足够信息的情况下，环境的热图像可能看起来是一致的。因此，热图像不能用于确定标识环境(107)中的位置特征的平面图(125)。位置特征提供了环境(107)中的区域的部分的属性，其可用于解释环境中的人类活动并且有利于事件检测。

于2017年5月26日提交的美国专利申请序列号15/607,345公开了一些技术以获得布景的地理信息以确定平面图(125)并且计算用于确定在热图像中标识的对象/主体(subject)的尺寸的参考。

图37示出了根据一个实施方案的建立用于监测位置的布景模型的方法。

在框151处，如图6和图7所示，在移动设备(105)中运行的移动应用引导用户捕获参考照片。

图6和图7示出了用户界面，以使用在移动设备(105)中运行的移动应用来引导用户捕获环境(107)的照片以生成平面图(125)。用户由用户界面上方的一组指令引导来拍摄环境(107)的一张或多张参考照片。

例如，指令可要求用户将与用户(103)和用户账户(121)相关联的相机(例如，移动设备(105)诸如智能电话的相机)定向成与热成像设备(101)在相同的方向上，并且从此类取向拍摄参考照片。例如，如果热成像设备(101)被安装在房间的边缘或拐角处，则指示用户站在拐角处或边缘附近以与热成像设备(101)的查看取向基本上一致的取向拍照。

例如，如图6所示，在移动设备(105)上提供的用户界面可指示用户将相机(例如，移动设备(105)的相机)指向特定区域。此类区域的示例是房间的墙壁。服务器(115)或运行在移动设备(105)中的移动应用可执行计算机视觉分析，以检测区域诸如墙壁的边界线。例如，如图7所示的用户界面中的实时视图提供了覆盖在相机的实时视图上的布局指示(301)和布局注释(例如，左侧墙壁)，以使用户更容易找到此类特定区域。如果环境中不存在特定区域，则用户界面可指示用户捕获下一个区域的参考照片(例如，右侧墙壁，在看不到左侧墙壁的情况下)。

例如，用户界面可指示用户(103)从与热成像设备(101)的取向类似的取向拍摄环境的全景照片。通过将相机从该区域的一个部分平移到另一部分，可获得全景照片。此外，用户界面可指示用户将相机指向感兴趣的区域，诸如床、或电视机或门。

在框153处，移动设备(105)将参考照片传输至服务器(115)。

在框155处，服务器(115)和/或在移动设备(105)中运行的移动应用可分析参考照片中的特征、内容、区域和地理。

在框157处，服务器(115)和/或移动应用可以从参考照片中提取特征、内容、区域和地理，以建立布景模型，诸如平面图(125)。

在框159处，服务器(115)将布景模型与热成像模块(101)相关联地存储。

例如，可以对参考照片进行分析以标识位置特征(例如，预定义类型的区域)，诸如床、窗、门、灯、电器、家具等。此类特征通常在人眼可见的光带中和由移动设备(105)的相机捕获的照片中可见且可标识。在一些照明条件下，与其他特征相比，可以更容易地标识明亮且高强度的位置特征。位置特征可被外推到3D空间模型中以生成平面图(125)，该平面图用可用于事件检测、标识和/或分类的属性来注释环境的不同部分。

在一些情况下，由移动应用提供的用户界面可包括增强现实(AR)标尺和测量工具。因此，可以自动地或借助于用户(103)提供的输入从视觉照片中提取一些几何特征。

可替代地，用户可具有选项来配置具有特征的空白或预设3D模型空间，并且使用移动应用来构建环境(107)的3D模型。

由于用户的摄影位置与实际模块放置之间的距离和取向未知，使用移动应用的用户界面生成的视觉参考的准确性可受到限制。此外，计算机视觉和增强现实(AR)工具可对其检测准确性有限制。然而，视觉参考可提供环境(107)的平面图(125)中的位置特征的有价值的第一近似。可以重复该过程以提高使用视觉参考建立的模型的准确性。因此，热成像设备(101)不需要用于捕获人眼可见的光中的图像的视觉相机。在热成像设备(101)中包括相机可引起隐私问题。使用外来工具(例如，在环境(107)的正常操作/监测期间不是热成像设备(101)的一部分的移动设备(105))执行视觉参考设定。视觉参考设定的执行限于安装/配置过程。因此，可以减少或消除隐私问题。视觉参考设定不需要用户(103)的大量努力。它被设计成用户友好且仅花费较短的时间，并且由于使用已经可用的移动设备(105)的相机而具有成本效益。无需其他相机来执行视觉参考设定任务。如果房间的布局随时间的推移而变化(例如，移动床或家具或热成像设备(101))，则可以重复视觉参考设定。在这种布局改变的情况下，在移动设备(105)上提供的用户界面可提示用户重新捕获视觉参考，诸如当系统中的图像处理与先前已经配置的参考不相关时。

例如，服务器(115)和/或图像处理器(129)可被配置为：引导用户(103)捕获参考照片(例如，如图6和图7所示)，使用视觉图像处理技术和工具(诸如AR测量工具)分析照片以标识位置特征并且构建平面图(125)(有或没有照片的持久存储)，提取位置特征、内容、区域和地理并且生成环境的3D模型，并且将该模型存储为平面图(125)，带有与热成像设备(101)的标识符(123)相关联的位置信息。

服务器(115)可使用平面图(125)对事件进行分类。例如，响应于确定人类(103)处于水平定位，当在热图像中检测到的人类(103)位于床区域中时，服务器(115)可将事件分类为“人在床上”，并且当所检测到的人类(103)位于走廊或活动区域中时，将事件分类为“人跌倒”。

在一些情况下，多个房间的平面图(例如，125)可能看起来类似。例如，老年人护理机构对于许多房间可具有相同的平面图。因此，一个房间的平面图(125)可通过简单地参考或复制平面图(125)而用于其他房间。在一些情况下，可呈现预先构建的平面图的库以供选择，以作为构建环境(107)的平面图(125)的开始。在热成像系统(TIS)的初始化过程中，平面图设置可是任选的。

图38示出了根据一个实施方案的证实用于监测位置的事件检测模型和参数的方法。

在建立参考和校准参数之后，服务器(115)可操作为基于来自热成像设备(101)的热图像对事件进行分类。31的方法可用于测试和/或证实热成像系统的检测特征。验证可以任选地进行，或者作为校准和配置过程的一部分进行。

计算机视觉技术的普遍问题是无法提供或保证100％的准确性。一些小的未知因素诸如部分遮挡、布景变化或意外特征可破坏计算机视觉并且提供错误的结果。

为了克服此类缺点，在移动设备(105)中运行的移动应用可提供用户界面，以有利于由热成像系统检测到的某些事件的人为验证/证实。证实可用于验证系统是否可以检测到应当由系统检测的事件，被报告为由系统检测到的事件是否确实存在于环境(107)中(例如，误报)，和/或由系统检测到的事件是否被正确分类。用户界面允许用户(103)向热成像系统提供反馈以注释其检测结果，从而提高系统的准确性。这种提高热成像系统准确性的方法可能非常有价值。随时间的推移和许多反馈环路，系统可以完善并且提供高度准确的结果。

在框161处，图38的方法发起验证过程。

在框163处，移动应用指示用户输入位置的定位。可使用平面图(125)来标识此类位置。一般来讲，执行平面图确定的操作是任选的。例如，为了执行“在床上检测”，在“在床上检测”服务之前，可能获得或可能不会获得全景照片以用于平面图确定。

在框165处，热成像系统处理热图像以检测与用户处于位置处的定位一致的事件(165)。

在框167处，移动应用确定热成像系统是否已经检测到该事件。

在框169处，当热成像系统能够检测到事件时，移动应用基于对移动应用的用户输入来提供对检测的确认。

在框169处，当热成像系统无法检测到与用户处于位置处的定位一致的事件(165)时，移动应用向用户提供指令以进一步配置系统。

例如，图8示出了开始验证过程的用户界面。每个检测特征可以被逐一验证，或者它可以被跳过或在以后的某个时间点进行验证。例如，对于在床上检测中的特征，主体被指示为躺卧在床上，如图9所示。主体可以是用户(103)或其他人。

如果热成像系统能够检测到人在床上的事件，图9所示的用户界面使用“检测到在床上”的消息来报告检测，并且允许用户通过选择图10中的“验证”按钮来提供确认。可以(例如，经由配色方案、字体和/或动画)突出显示“检测到在床上”的消息。例如，可基于检测到热图像中温度在人类的体温范围内的斑点，并且基于确定该斑点处于水平取向，并且任选地，该斑点在由平面图(125)标识的床区域中来进行检测。

任选地或组合地，可播放声音信号或通知以指示成功的检测。如果检测准确且真实，则用户界面提示用户提供反馈，诸如单击图10所示的“验证”按钮。

一旦在热成像系统中接收到人为验证，服务器(115)就可以将从热图像中提取的人类斑点的定位和/或其他特性存储为与经验证的检测特征(例如，人在床上)相关联的图像处理参数(127)。因此，当后续检测与图像处理参数匹配时，提高了准确检测的可能性。

图22示出了具有带注释的床区域(305)中的人类主体的斑点(303)的低分辨率热图像的示例。通过默认背景减法可以突出显示主体。背景在图22的图像中显示为黑色，而由斑点(303)表示的主体具有灰度并且与背景形成对比。可基于主体的斑点大小、形状和取向来确定其定位。在该示例中，主体的取向是水平的；并且热成像系统确定主体正在床上并且躺卧。根据表示人类主体的斑点(303)的取向和大小，服务器(115)可估计床区域(305)的外周，该外周可用于增强平面图(125)和/或可被存储为图像处理参数(127)的一部分。

在一些情况下，检测结果消息(例如“检测到在床上”)可能不准确或不真实。例如，主体靠近床，或者坐在靠近床的沙发上；并且作为响应，热成像系统可能错误地得出主体在床上的结论，并且因此提供检测结果的错误指示。在这种情况下，图10所示的用户界面允许用户选择“床未被占居”以提供反馈来校正热成像系统。该反馈可重写与人在床上检测相关联的参数。例如，服务器(115)可在平面图(125)中将由人类斑点占据的区域标记为“非床”，使得当在该区域中再次检测到人类斑点时，服务器(115)不将人类存在于该区域中分类为人在床上。

在其他情况下，如经由图11的用户界面所指示，当主体在床上，但热成像系统无法确定该热图像示出的是人在床上时，可在一段时间之后呈现图12的用户界面，以指示系统未能检测到事件。当用户选择“我在床上，但未显示警报指示”按钮时，可呈现如图13所示的用户界面，以提示用户指定人类主体当前在床上还是没有人类主体当前在床上。服务器(115)可使用用户在图13的用户界面中做出的选择来调整平面图(125)和/或图像处理参数(127)以改善检测计算。

例如，如果用户通过点击按钮“主体在床上”来确认主体在床上，则可使用人类斑点形状、人类斑点类型、人类斑点取向和位置的参数来调整计算机视觉计算以得出表示人类的斑点处于水平定位的结论，和/或可以调整平面图以示出斑点的位置是床区域。因此，斑点的这种特定形状、位置、取向、大小和温度曲线应当被关联起来，以便对人在床上进行确切标识。

由于热成像设备(101)的取向以及可能的成像畸变，示出躺着的主体的斑点的比例可类似于示出站立的主体的斑点的比例。如上所示，使用图11-图13的用户界面进行的验证过程允许热成像系统微调检测参数以生成准确的结果。

例如，当用户选择图13中的按钮“主体在床上”时，服务器(115)可调整或定制大小、形状、比率阈值，以用于对由斑点(303)占据的区域和对热图像设备(101)进行取向分类，以允许系统得出人类主体正在躺卧的结论，从而有利于确定人在床上。

图22-图24示出了人类主体在床上处于不同定位。移动应用可指示用户在床上采取不同的定位，以向热成像系统提供参数，所述参数可用于提高热成像系统检测人在床上处于不同定位的能力。

一组用户界面可引导用户通过使用覆盖各种场景的验证事件来完善热成像系统的检测能力，如图14-图16所示。

图14-图16中的用户界面指示用户(103)一次或多次改变定位以证实/完善人在床上的检测。用户可按照图22-图24所示的方式改变在床上的定位。从被用户(103)标识为示出人在床上的图22-图24所示的图像中，服务器(115)收集床外周和表示人在床上的斑点特性的不同的估计集合。因此，服务器不仅可以将相关联的定位标记为“在床上”/躺卧，而且可通过组合根据主体在床上的不同躺卧定位估计的床外周，更精确地完善床外周的位置。不需要主体具有训练热成像系统的技术技能或技术知识。通过简单地要求主体改变在床上的定位，热成像系统可以获得一组输入来完善用于事件检测和/或分类的参数。因此，用户界面非常用户友好，并且在改善热成像系统的性能方面是有效的。

在人为验证时，用户界面可指示主体离开床并且重新验证将主体(他或她自己)放回床上，如图17所示。利用修改/定制的平面图(125)和改善的图像处理参数(127)，在重新验证过程期间，热成像系统可以正确地检测事件，并且示出检测结果消息“检测到在床上”，如图9所示。

如果使用默认设置获得的检测结果存在较大偏差(例如，人类在躺卧在床上时被标识为站立的)，或者如果第二验证运行不成功(例如，即使用户明确确认人类主体实际上在床上，也没有检测到在床上)，则图14-图16所示的完善过程特别有用。完善过程使热成像系统能够获得更高的准确性。

图18-图19示出了一组用户界面，该组用户界面用于指示用户(103)执行一系列活动以生成热输入以完善热成像系统的事件检测能力。

图18的用户界面指示用户在床周围行走。由于在床周围行走的一系列活动，热图像系统捕获一组热图像，如图25-图28所示。由于热图像示出人在床周围行走，因此服务器(115)可根据在热图像中捕获的用户的移动斑点来推断床的外周。

一般来讲，系统可指示用户将他或她自己放置在某些位置特征附近，以注释该位置特征，诸如床、或沙发、或桌子、或家具等等。

在床的情况下，可指示用户在床周围行走，以允许热成像系统估计床的外周。此外，用户在床周围行走的斑点表示用户处于站立/竖直定位。比较用户处于站立/竖直定位的斑点的特性和用户处于躺卧/水平定位的斑点的特性允许服务器(115)导出/完善参数以对斑点取向进行分类(例如，站立/竖直，或躺卧/水平)。

例如，从用户在床周围行走的热图像中，服务器(115)可以标记并且存储斑点的位置并且标识斑点的遮挡。遮挡可以与用户的经遮挡部分的视线和热成像设备(101)之间的床的部分相关联。此外，针对用户靠近或围绕床行走时获得的每一帧，斑点参数可被存储为图像处理参数(127)；并且所述参数可作为确定人是靠近床或在床旁边站立还是躺在床上的参考。

例如，图18的用户界面可示出消息“检测中……”，直到用户(103)结束在床周围行走为止。服务器(115)自动地跟随人类在热图像中的人类斑点旁边绘制外周/地理位置标记。在人第一次转身时，服务器(115)可确定初始线应在人的左侧还是右侧。当人沿床的外周行走时，服务器(115)标记位置。一旦用户(103)结束围绕外周行走或部分地围绕外周行走(例如，如果床靠墙壁，则只能沿床的一侧、两侧或三侧行走)，服务器(115)可检测到行走完成，并且提供图19的用户界面所示的确认消息。任选地，当用户(103)在床周围行走时，移动应用可示出如图25-图28所示的热图像。

在一些情况下，如果床只有一侧可供行走，则用户可通过选择链接“结束行走”来停止该过程。服务器(115)可通过关闭或估计过程(例如，闭合多段线)自动闭合部分外周。

一般来讲，热处理图像的检测特征的验证流程可包括：发起验证过程，检查验证是否成功；如果验证成功，则对参数(例如，正确的默认参数)进行注释并且向用户提供验证/确认消息；并且如果验证不成功，则提示人类交互，其中人类用户(103)可以手动注释事件/特征，或者提供热输入以提高特征的准确性。验证流程可以重复进行，直到验证成功为止。

例如，可以指示用户走出房间以进行“房间外检测”。在这种情况下，人类斑点从由成像设备(101)的热图像捕获的布景中消失。如果检测到人在房间内，而实际上人在房间外，则这可能是由于默认图像处理参数使服务器(115)错误地将静态热点标识为人类斑点。例如，坐在沙发上或床上而造成的人类热量残留(“热量阴影”)可导致热成像系统错误地得出人在沙发上或在床上的结论。在这种情况下，在移动设备(103)上提供的用户界面可指示用户(103)确认他或她在房间(例如，环境(107))之外并且房间中没有人。用户确认允许服务器(115)将房间中的热斑点标记为“非人类”或“静态”，以更好地区分人类和静态热斑点。此外，在“热量阴影”的情况下，服务器(115)可存储与人类斑点“分开”的热量斑点的位置，并且标记人体热量可以传递到对象的区的这些位置，并且将这些热能标记(heatsignature)表示为非人类的，即使它们在有限的时间量内可具有人的形状、大小、取向和热能标记。此外，如果服务器(115)仍检测到未定义状态，诸如在用户确认房间中没有人时服务器(115)将“非人类热点”标识为人类，则服务器(115)可以进一步指示用户，如上述第二完善过程中那样，使用户走到入口/出口门，并且可能走进房间/布景，直到由热成像设备(101)检测到用户，然后服务器(115)才可以将某个位置和场景标记为入口/出口。

例如，可以指示用户躺在地板上以验证“跌倒检测”特征。此类特征对于老年护理可能非常有用。移动设备(105)上的用户界面可指示人躺在地板上的检测状态，并且如果指示未检测到，则将指示用户通过交互进行验证。跌倒检测可能比在床上检测或房间外检测更为复杂，因为a)在热成像设备(101)的视场内有大量可能发生跌倒的定位和位置，b)跌倒可被房间中的对象部分地或完全遮挡，从而使跌倒难以被检测到，以及c)跌倒可发生在热成像设备(101)的视线和视场之外的区域中，因此无法被检测到。因此，跌倒检测可能更难达到由热成像系统提供的其他检测特征的相同水平的准确性。另一方面，指示用户模拟所有可能的跌倒场景、定位和位置将对用户不友好。因此，热成像系统可在其操作开始时使用其默认设置，即使未标识出结果(元状态，例如跌倒与站立之间的未知状态)，其也可以提供误报并且指示跌倒。误报为跌倒检测的警报或通知，其中由热成像系统标识跌倒，但实际上可能不是跌倒。

例如，可使用图29所示的用户界面来指示用户前往特定区域或感兴趣的区。图30所示的用户界面包含“批准”按钮，一旦用户处于特定区域或感兴趣的区中，该按钮便可以由用户激活。当“批准”按钮被激活时，热成像设备(101)在环境(107)的热图像(313)内标识用户的图像(307)的斑点(例如，如图33所示，并且由热成像设备(101)捕获)并且使用用户的图像(307)生成区的估计的大小和位置。例如，图31所示的用户界面开始标识区(例如，床、活动区域、走廊、就餐区域)的大小、位置和/或形状的过程。如图34所示，用户的图像(307)的边界(309)可以用作区的边界的初始估计。可以在如图35所示的用户界面中呈现估计以允许用户调整估计。例如，用户可以使用手指(311)触摸并且选择示出环境(107)的热图像(313)的触摸屏上的估计边界，从而使热成像系统调整估计边界的位置和大小。例如，可以将估计边界(309)在图像(313)上方拖动以调整其位置。例如，可以缩放估计边界(309)以增大或减小其大小。在一些情况下，手指(311)可在呈现在触摸屏上的用户的图像(307)周围绘制形状(309)以指定区的边界。可替代地或组合地，通过在图31的用户界面被移位时在区中四处移动，用户可使用他/她的图像(307)作为画笔工具在环境(107)的热图像中绘制该区；并且使用画笔工具在图像(313)中绘制的区域标识该区的形状和位置。图33的用户界面具有“批准”按钮，该按钮可被激活来确认用户接受与环境(107)的热图像(313)一起呈现的区的边界(309)的位置、形状和/或大小。

不仅可以基于从由热成像设备(101)捕获的环境(107)的热图像(313)中提取的用户的热图像(307)，也可以基于其他对象的热图像来生成用于标识位置特征的用户注释。图1的热成像系统可标识和/或提取温度与环境(107)的背景温度不同的热和/或冷的对象。此类对象的示例包括调制解调器、计算机、电视机(TV)、冰箱、火炉和电器。热成像设备(101)可标识环境(107)的热图像(313)内的对象的热图像的斑点，并且请求用户对对象进行注释或分类。例如，用户界面可突出显示从环境(107)的热图像中提取的热图像斑点，并且呈现允许用户选择对象的表征/标识的下拉菜单。当热图像斑点与一种类型的对象(例如，调制解调器)的预先确定的、独特的热能标记匹配时，图1的热成像系统可在有或没有用户确认的情况下自动地对对象进行注释。一些对象为冷点或热点，诸如窗、门、水槽、以及具有与环境(107)的整体背景温度不同的发射率或温度的对象。

阳光照射可在环境(107)中产生热点。该热点可被解释为人类，因为它可能移动得非常缓慢，并且在低分辨率热图像中可具有类似于人类的形状。任选地，用户可以注释由阳光照射产生的该热点。可替代地或组合地，图1的热成像系统可使用环境(107)的地理区域的天气数据来确定热点是否是阳光照射的结果。例如，可计算太阳热点相对于房间的取向和热成像设备(101)的位置的行进路径，以确定在计算出的路径与热点的观察位置/路径之间是否存在匹配。匹配程度可用于确定热点是否是阳光照射的结果。在设置期间，移动设备(105)中的指南针传感器可用于标识布景相对于北方的方向的相对取向，从而有利于标识由阳光照射生成的热点。

天气数据可用于确定空调(AC)或加热器是否可能正在在环境(107)中运行，并且因此在环境(107)的热图像(313)中被看到。例如，如果在外部空气温度处于通常导致使用加热器的范围内时在图1的热成像系统中检测到加热器，则可以确定存在正在运行中的加热器很平常。相反，如果外部空气温度较高(例如，华氏100度)，并且加热器正在房间内运行以使房间中的背景温度升高，则图1的热成像系统可向用户(103)和/或用户账户(121)中指定的其他接收者发送通知或警报。天气数据可用于确定环境(107)的背景温度是否在适合正常生活的标准范围内。当环境(107)的背景温度超出范围时，可生成警报或通知。

热成像设备(101)可以任选地包括其他传感器，诸如飞行时间传感器、传声器、激光雷达等。例如，热成像设备(101)中的传声器和扬声器可用于促进人类管理员(或计算机管理员)与环境(107)中的人之间的通信，以解决错误警报和/或生成用户注释。例如，当环境(107)被监测用于老年人/患者护理时，可以分析由热成像设备(101)捕获的热图像以检测可能的异常情况/紧急情况，诸如跌倒。可以将情况通知给护士，以发起通信和/或从患者/住院患者获得反馈。使用到热成像设备(101)的通信链接，护士可操作在移动设备中运行的移动应用，以检查并且使用语音与人进行互动，询问他们是否还好？如果此人回答：“我很好”，则情况可被注释和/或用于调整类似的后续检测的后续响应。在一些情况下，计算机化的护理人员可通过文本转语音的合成器发起类似的语音通信。可使用语音识别技术自动分析人(患者/住院患者)的语音响应，以确定响应。在一些情况下，可在服务器(115)中实现人工智能系统，以处理来自环境中的人的语音响应和/或制定响应，诸如取消错误警报、对错误警报进行注释、呼叫护士和/或其他注册人寻求帮助等等。当护士不必在每次存在跌倒检测警报时跑到房间时，可以节省宝贵的时间。在一些情况下，可使用连接到服务器(115)的独立设备来实现语音接口。例如，独立设备可以是移动设备(105)、智能扬声器、智能电视机、智能家庭集线器/控制器等，其接收来自环境(107)中的人的语音输入并且向此人提供语音响应。

移动设备(105)可提供允许用户(103)注释跌倒检测通知的用户界面。例如，如果服务器(115)标识跌倒并且生成通知，但是用户(103)确定实际上没有跌倒，则该通知为误报；并且移动设备(105)的用户界面允许用户(103)提供将该通知评级为误报的反馈，这使服务器(115)对事件(和/或引起错误通知的热斑点的参数)进行注释。

图39示出了根据一个实施方案的基于对检测到的事件的通知的用户反馈来配置图1的热成像系统的方法。

在框181处，热成像系统通过处理由安装用于监测环境(107)的热成像设备(101)捕获的热图像来检测事件。

在框183处，热成像系统的服务器(115)通过到移动设备(105)的通知将事件传送给用户(103)。图20所示的用户界面呈现通知，并且允许用户(103)提供关于通知的准确性和/或事件的检测的反馈。

例如，当服务器(115)提取具有无法被分类为已知的非跌倒定位诸如站立的形状、位置、大小的人类斑点时，服务器(115)可将事件分类为“人跌倒”，并且向注册在用户账户(121)中的移动设备(105)生成“检测到跌倒”的通知消息。

可替代地或组合地，通知可被发送至另一设备(例如，警报器、扬声器等)或另一配置用户。

移动设备(103)中的移动应用可提供如图20所示的用户界面，以接收关于通知的准确性反馈的用户输入。可替代地或组合地，服务器(115)的网站可用于提供用户界面以接收用户反馈。

在框185处，服务器(115)接收来自用户(103)的关于由通知报告的事件的确认的输入。

在框187处，服务器(115)确定输入是确认事件的发生，还是将通知标识为误报。

在框189处，如果用户输入确认通知所报告的事件的发生，则服务器(115)存储注释检测有效的数据；随后，在框191处，当从后续的热图像中重新检测到事件时，服务器(115)可将通知传输至用户(103)。

在框193处，如果用户输入将通知标识为误报，则服务器(115)存储注释检测无效的数据；然后，在框195处，当从随后的热图像中重新检测到事件时，服务器(115)可以制止对用户(103)的通知。

例如，图20的用户界面具有可被选择为确认通知的按钮“静音”，以及可被选择为向服务器(115)指示警报/通知为“误报”的按钮“这不是真的跌倒”。

例如，响应于用户选择按钮“这不是真的跌倒”，可将与触发通知的人类斑点相关联的形状、特征、位置和/或其他参数标识为与跌倒不相关联，使得将来对具有相同或类似的形状、特征、位置和/或其他参数的人类斑点的检测可被归类为“不是跌倒”。

例如，响应于用户选择按钮“静音”而未选择按钮“这不是真的跌倒”，服务器(115)可将与触发通知的人类斑点相关联的形状、特征、位置和/或其他参数注释为与“真的跌倒”相关联。

带注释的参数可提高服务器(115)对来自成像设备(101)的热图像中检测到的事件分类的准确性。

服务器(115)可通过处理与带注释的事件通知相关联的参数来提高其事件分类的准确性。

例如，如果某种形状的斑点被标记为“真的跌倒”，则其参数的微小像差/变化/偏差也可以被标记以供将来也参考为跌倒。

在一些情况下，服务器(115)可检测处于跌倒定位的人类斑点并且随后确定该人类斑点开始移动(例如，走出门)。这种情况一般不对应于导致紧急情况的老人或患者的跌倒。因此，服务器(115)可调整其通知策略，使得如果将来出现此类人类斑点姿势，则服务器(115)可延迟通知/警报的传输，并且等待人类斑点的下一个动作来确定跌倒是否为紧急情况。

还可以通过考虑布景的某些位置和区域来改善跌倒检测。例如，与在房间的中间位置相比，在床边跌倒的可能性更大。因此，对床的检测可有助于标识在床附近的跌倒。

在一些实现方式中，当人类斑点被对象部分地遮挡时，服务器(115)默认情况下不能将确定状态分配给由斑点表示的人类。在这种情况下，服务器(115)可将人类斑点标识为处于元状态或未知状态。为了实现保守的通知策略，服务器(115)可发送跌倒指示，这允许用户使用图20所示的用户界面来对检测进行注释。用户反馈帮助服务器(115)对由斑点表示的人的状态进行分类并且改善平面图127(例如，遮挡完善或造成遮挡的新对象)。

在一些实现方式中，当人类斑点可被分类为处于多种状态时。为了实现保守的通知策略，服务器(115)可发送例如跌倒指示，这允许用户使用图20所示的用户界面来对检测进行注释。用户反馈帮助服务器(115)对由斑点表示的人类状态进行分类。此外，热成像系统可将通知发送至用户，以帮助改善未知状态。

在一些实现方式中，当在主体被部分遮挡的情况下标识出误报时，用户界面提供添加关于遮挡的信息的选项。例如，图21所示的用户界面可提供以下消息：“并非是真的跌倒(误报)，感谢您的反馈。位置布局已改变(例如，床已移动至新位置)？”。用户可使用图21中的按钮“是”和按钮“否”来指示布局是否已改变。

在一些情况下，来自服务器(115)的消息可以指出：“发出警报是因为主体被(部分)遮挡。您能提供有关遮挡对象的信息吗？”。用户界面然后被配置为允许用户(103)对“是”或“否”做出二元选择。

如果用户指示已在环境中进行位置布局，则可例如呈现下拉列表，该下拉列表具有典型的物品诸如沙发、床、柜子、椅子、桌子等，以标识布局变化中涉及的物品；并且如果在默认列表中未找到物品，则用户(103)具有选项来针对该布局手动命名该物品。用户界面可接收有关位置和大小的信息(例如，床左侧的2米高、约1米宽的柜子)。此类信息可被存储在平面图(125)中，并且用于事件检测计算/分类(例如，遮挡处理)。此外，用户可经由语音命令将信息输入到移动设备(105)，并且在移动设备(105)中运行的移动应用可使用言语识别来获得和提取相关信息。例如，用户可以说“床已经从先前的定位移动了2米，并且在床的左侧添加了新的抽屉”；并且作为响应，移动应用提取信息并且在参数(127)中对其进行注释。

一般来讲，以上讨论的反馈机制可与热成像系统的任何检测/通知特征一起使用。例如，热成像系统可实现危险热点检测特征。当热成像系统检测到热点时，服务器(115)可生成“检测到危险热点”的通知/警报。在移动设备(105)中实现的用户界面可接收关于所检测到的热点是“良好”还是“不良”的用户反馈。“良好”热点对象可在环境中的日常生活中发生，诸如火炉、热板、微波炉等。“热点”对象的温度可超出对人的安全温度范围(例如，高于50摄氏度的温度可导致灼伤)。“不良”热点可以是实际威胁，且需要用户采取措施对其进行消除。

如果用户(103)将热点分类为“良好”，则具有其完全相同或类似的参数(形状、大小、位置、温度曲线)的热点的再次出现可被分类为非危险；且因此，服务器(115)可响应于再次出现而制止“检测到危险热点”的通知/警报。

如果用户(103)将热点分类为“不良”，则热点的再次出现和/或类似出现可以被分类为危险，并且因此可以触发“检测到危险热点”的通知/警报。

在一种情况下，环境(107)中的床已经被移动，这可以在容纳患者和/或老年人的设施中发生。先前已经验证的、在不同定位躺在床上的住院患者可触发跌倒检测警报。然后，用户(103)(例如，护士)可以(例如，使用图20和图21的用户界面)提供反馈以标识误报，并且提供信息以调整平面图(125)，从而防止进一步的误报通知。

对特征和事件的人为注释可以被存储在服务器(115)中。服务器(115)可应用复杂的计算技术来改善其检测和/或分类能力。例如，人为注释标识期望的分类结果；并且因此，可以将监督式机器学习技术应用于训练人工神经网络(ANN)以执行事件分类。例如，可以汇总来自不同用户账户的注释以针对一组用户账户的事件分类训练通用ANN模型。通用ANN模型可以用作用户账户(121)的默认模型；并且特定用户账户(121)中的注释可用于进一步训练ANN模型，以生成针对环境(107)的定制ANN模型。可使用经过更多训练、更准确的ANN模型在服务器上实现更多新的固件更新。

本公开包括以上讨论的方法、被配置为执行方法的计算装置以及存储指令的计算机存储介质，当所述指令在计算装置上执行时，使计算装置执行所述方法。

在图1中，移动设备(105)、服务器(115)和热成像设备(101)中的每一者可以至少部分地以具有更多或更少部件的一个或多个数据处理系统的形式来实现。

图40示出了根据一个实施方案的至少包括热成像系统的一部分的数据处理系统。

图40示出了可用于实现本发明申请的实施方案的一些部件的数据处理系统。虽然图40示出了计算机系统的各种部件，但并不旨在表示互连所述部件的任何特定架构或方式。还可以使用具有比图40所示的部件更少或更多的部件的其他系统。

在图40中，数据处理系统(200)包括互连件(201)(例如，总线和系统核心逻辑)，该互连件互连一个或多个微处理器(203)和存储器(211)。在图40的示例中，微处理器(203)耦接到高速缓冲存储器(209)。

在图40中，互连件(201)将一个或多个微处理器(203)和存储器(211)互连在一起并且还经由一个或多个I/O控制器(207)将它们互连到一个或多个输入/输出(I/O)设备(205)。I/O设备(205)可包括显示设备和/或外围设备，诸如鼠标、键盘、调制解调器、网络接口、打印机、扫描仪、摄像机和本领域中已知的其他设备。当数据处理系统为服务器系统时，I/O设备(205)中的一些诸如打印机、扫描仪、鼠标和/或键盘是任选的。

在图40中，存储器(211)存储热成像系统(TIS)应用(213)。例如，TIS应用(213)可以是在移动设备(105)中实现的移动应用。例如，TIS应用(213)可以是实现服务器(115)的图像处理器(129)的一组指令。在一些情况下，TIS应用的功能至少部分地经由逻辑电路实现，诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)。

互连件(201)包括通过各种桥接件、控制器和/或适配器彼此连接的一根或多根总线。例如，I/O控制器(207)包括用于控制USB(通用串行总线)外围设备的USB适配器和/或用于控制IEEE-1394外围设备的IEEE-1394总线适配器。

存储器(211)包括以下一项或多项：ROM(只读存储器)、易失性RAM(随机存取存储器)和非易失性存储器诸如硬盘驱动器、闪存存储器等等。

易失性RAM通常被实现为动态RAM(DRAM)，该动态RAM持续地需要功率以便刷新或维护存储器中的数据。非易失性存储器通常是磁性硬盘驱动器、磁性光学驱动器、光学驱动器(例如，DVD RAM)或即使在系统断电后仍维护数据的其他类型的存储器系统。非易失性存储器也可以是随机存取存储器。

非易失性存储器可以是直接耦接到数据处理系统中的其余部件的本地设备。还可以使用远离系统的非易失性存储器，诸如通过网络接口诸如调制解调器或以太网接口耦接到数据处理系统的网络存储设备。

在本说明书中，一些功能和操作被描述为由软件代码执行或由软件代码引起以简化描述。然而，此类表达也用于指定功能是通过由处理器诸如微处理器执行代码/指令而实现的。

可替代地或组合地，可使用具有或不具有软件指令的专用电路诸如使用专用集成电路(ASIC)或现场可编程门阵列(FPGA)来实现在此描述的功能和操作。可使用没有软件指令的硬连线电路或结合软件指令的硬连线电路来实现实施方案。因此，这些技术既不限于硬件电路和软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定源。

虽然一个实施方案可在功能齐全的计算机和计算机系统中实现，但是各种实施方案能够被分布为各种形式的计算产品，并且能够被应用，而与用于实际影响分布的机器或计算机可读介质的特定类型无关。

所公开的至少一些方面可以至少部分地体现在软件中。即，所述技术可在计算机系统或其他数据处理系统中响应于其处理器诸如微处理器执行包含在存储器诸如ROM、易失性RAM、非易失性存储器、高速缓存或远程存储设备中的指令序列而执行。

被执行以实现实施方案的例程可被实现为操作系统或特定应用、部件、程序、对象、模块或被称为“计算机程序”的指令序列的一部分。计算机程序通常包括在不同时间在计算机的各种存储器和存储设备中设定的一个或多个指令，并且当由计算机中的一个或多个处理器读取并执行时，该一个或多个指令使计算机执行实行涉及各个方面的元素所需的操作。

机器可读介质可用于存储软件和数据，当由数据处理系统执行该软件和数据时，该软件和数据使该系统执行各种方法。可执行软件和数据可被存储在各种位置，包括例如ROM、易失性RAM、非易失性存储器和/或高速缓存。该软件和/或数据的一部分可被存储在这些存储设备中的任何一个存储设备中。此外，可以从集中式服务器或对等网络获得数据和指令。数据和指令的不同部分可在不同时间且在不同通信会话中或者在相同的通信会话中从不同的集中式服务器和/或对等网络获得。可以在执行应用之前整体获得数据和指令。可替代地，可动态地、时间刚刚好地、在需要以供执行时获得数据和指令的部分。因此，不需要数据和指令在特定的时间实例整体上在机器可读介质上。

计算机可读介质的示例包括但不限于可记录和不可记录类型的介质，诸如易失性和非易失性存储器设备、只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器设备、软盘和其他可移动磁盘、磁盘存储介质、光学存储介质(例如，光盘只读存储器(CD ROM)、数字多功能盘(DVD)等)等等。计算机可读介质可存储指令。

所述指令还可以体现在用于电、光、声或其他形式的传播信号(诸如，载波、红外信号、数字信号等)的数字和模拟通信链路中。然而，传播信号(诸如，载波、红外信号、数字信号等)不是有形的机器可读介质，并且不被配置为存储指令。

一般来讲，机器可读介质包括以机器(例如，计算机、网络设备、个人数字助理、制造工具、带有一组一个或多个处理器的任何设备等)可访问的形式提供(即，存储和/或传输)信息的任何机制。

在各种实施方案中，可以将硬连线电路与软件指令结合使用以实现技术。因此，所述技术既不限于硬件电路和软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定源。

说明书和附图是说明性的，并且不应解释为是限制性的。本公开说明了使本领域的技术人员能够制造和使用所述技术的发明特征。如本文所述，各种特征应当遵照与隐私、安全性、许可、同意、授权等相关的所有当前和将来的规则、法律和法规来使用。描述了许多具体细节以提供透彻的理解。然而，在某些情况下，未描述众所周知的或常规的细节以避免使描述模糊。在本公开中对一个实施方案或一实施方案的引用不一定是对相同实施方案的引用；并且此类引用意指至少一个。

本文中标题的使用仅出于便于参考的目的提供，并且不应该以任何限制本公开或所附权利要求的方式来解释。

提及“一个实施方案”或“一实施方案”是指结合该实施方案描述的特定特征、结构或特性包括在本公开的至少一个实施方案中。在说明书中的各种位置出现的短语“在一个实施方案中”不一定全部是指相同的实施方案，并且不一定全部是指与其他实施方案互斥的单独或替代的实施方案。此外，描述了可以由一个实施方案而不是其他实施方案展现的各种特征。类似地，描述了可能是针对一个实施方案但不针对其他实施方案的要求的各种要求。除非通过明确的描述和/或明显的不兼容性排除在外，否则在此还包括本说明书中描述的各种特征的任何组合。例如，以上结合“在一个实施方案中”或“在一些实施方案中”描述的特征可以全部任选地包括在一个实现方式中，以下情况除外，即，如从描述中明显的，某些特征对其他特征的依赖性可限制从实现方式中排除所选择的特征的选项，并且如从描述中明显的，某些特征与其他特征的不兼容性可限制在实现方式中一起包括所选择的特征的选项。

在前述说明书中，已经参照本公开的特定示例性实施方案描述了本公开。将明显的是，在不脱离所附权利要求所阐述的更广泛的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性意义而不是限制性意义的。

Claims (20)

1.一种热成像系统，其包括：

服务器，所述服务器远离环境定位，所述服务器被配置为将计算机视觉技术应用于由安装在所述环境中的至少一个热成像设备捕获的热图像，通过将所述计算视觉技术应用于所述热图像来检测预先确定的类型的事件，以及生成从所述热图像中检测到的所述事件的通知；以及

移动设备，所述移动设备运行移动应用，所述移动应用被配置为至少用于接收所述通知、呈现用户界面、在所述用户界面中接收所述通知的用户注释、将所述注释传输至所述服务器，其中所述服务器根据所述注释来调整在所述计算机视觉技术的应用以及所述通知的生成中使用的参数。

2.如权利要求1所述的热成像系统，其中所述服务器被配置为基于所述注释使用监督式机器学习技术来训练人工神经网络以执行事件分类。

3.一种热成像系统中的方法，所述方法包括：

将计算机视觉技术应用于由环境中的热成像设备捕获的所述环境的热图像；

通过所述将所述计算视觉技术应用于所述热图像来检测预先确定的类型的事件；

生成从所述热图像中检测到的所述事件的通知；

接收用户对所述通知的注释；以及

根据所述注释，调整在所述计算机视觉技术的应用和所述通知的生成中使用的参数。

4.如权利要求3所述的方法，其还包括：

基于所述注释使用监督式机器学习技术来训练人工神经网络以执行事件分类。

5.如权利要求3所述的方法，其中所述参数包括在所述环境的平面图中标识的位置特征。

6.如权利要求3所述的方法，其中所述参数包括从所述热图像提取的斑点的特性，其中所述斑点表示所述环境中的人类、热点或冷点。

7.如权利要求3所述的方法，其还包括：

呈现用户界面元素，所述用户界面元素能够被选择来指示结合所述用户界面元素呈现的通知在标识所述预先确定的类型的事件时准确。

8.如权利要求3所述的方法，其还包括：

呈现用户界面元素，所述用户界面元素能够被选择来指示结合所述用户界面元素呈现的通知在标识所述预先确定的类型的事件时为误报。

9.如权利要求8所述的方法，其中所述预先确定的类型为以下项中的一者：

所述环境中人跌倒；

所述环境中人在床上；

所述环境中检测到的危险热点；

人在区域中；

人在所述区域之外；

人就坐；

存在火；

吸烟；

人正在移动；

人靠近危险；

漏水；

人之间的互动；以及

异常的热量图案。

10.如权利要求3所述的方法，其还包括：

呈现增强现实标尺和测量工具以确定所述环境的平面图。

11.如权利要求3所述的方法，其还包括：

引导用户捕获所述环境的一张或多张视觉照片；以及

在所述照片上应用计算机视觉技术来确定所述环境的平面图。

12.如权利要求3所述的方法，其还包括：

引导人类主体执行一系列动作；以及

基于所述人类主体执行所述动作的热图像来确定所述平面图中的位置特征。

13.如权利要求12所述的方法，其中所述动作包括改变在所述环境中躺在床上的定位。

14.如权利要求12所述的方法，其中所述动作包括：在所述指令中标识的位置特征周围行走；触摸对象；进入和离开所述环境；移动至所标识的区；或在所述区周围移动。

15.如权利要求3所述的方法，其还包括：

指示用户生成所述预先确定的类型的事件。

16.如权利要求15所述的方法，其还包括：

响应于检测到所述事件，呈现能够被选择来验证所述事件的检测和通知成功的用户界面元素。

17.如权利要求15所述的方法，其还包括：

响应于未在预先确定的时间段内检测到所述事件，呈现能够被选择来确认所述事件的检测和通知失败的用户界面元素以及能够被选择来标识所述事件是否按照指示实际发生的用户界面元素。

18.如权利要求1所述的方法，其还包括以下项中的至少一者：

呈现用户界面用于设备链接/关联、设备标识、特征选择、应用使用、账户设置、用户对所述环境中的特征的注释、结合所述通知的所述环境的所述热图像的呈现；

基于所述环境的所述热图像向与所述移动设备分开的设备或报警器发送通知，其中所述通知包括所述环境的标识，所述标识在多个被监测的环境中唯一地标识所述环境，并且所述通知至少部分地基于非用户输入参数生成，所述非用户输入参数包括一天中的时间、一年中的时间、所述环境在地球上的取向以及天气数据；

基于所述注释配置阻止或取消阻止通知；

提示所述移动设备的用户协助确定或分类事件；

使用多个热成像设备来监测所述环境；以及

基于预先确定的选项初始化所述环境的平面图，并且基于所述注释来完善所述平面图。

19.一种非暂时计算机存储介质，所述非暂时计算机存储介质存储指令，所述指令在由移动设备执行时使所述移动设备执行一种方法，所述方法包括：

接收关于在由环境中配置的热成像设备捕获的热图像上使用计算机视觉技术标识的预先确定的类型的事件的通知；

接收用户对所述通知的注释；以及

传输所述注释以根据所述注释调整在所述计算机视觉技术的应用和所述通知的生成中使用的参数。

20.如权利要求19所述的非暂时计算机存储介质，其中响应于注释指示检测所述预先确定的类型的事件中的不准确性，所述方法还被配置为所述移动设备的用户在所述环境中生成热输入；其中根据所述热输入来调整所述参数以提高检测所述预先确定的类型的所述事件的准确性。

Images