JP2023126261A - サーマルイメージングシステムを構成するためのユーザーインタフェース - Google Patents

Abstract

【課題】サーマルイメージングシステムに関し、所定のタイプのイベントを検出する。【解決手段】システムは、視野内の景色の熱画像を取り込むための操作が可能である、少なくとも１つのサーマルイメージングデバイスと、サーマルイメージングデバイスからの熱画像を受け取り、熱画像にコンピュータビジョン技術を適用して熱画像に取り込まれたイベントを検出し、検出されたイベントに基づいて通知を生成するように構成されたサーバと、を備える。サーバは、景色内にあるモバイルデバイスにインストールされたモバイルアプリケーションを通じて、モバイルデバイスのユーザーが景色についての入力を生成するように誘導するように構成され、サーバは、さらに、入力に基づき、サーマルイメージングデバイスによって取り込まれた熱画像からのイベントの検出に使用されるパラメータを調整するように構成されている。【選択図】図１

Description

関連出願
本願は、２０１８年７月２３日に出願され、「User Interfaces to Configure a Thermal Imaging System」と題する米国特許出願第１６／０４２，０４５号明細書の出願日の利益を主張し、該出願の開示全体は、参照により本明細書に援用される。

本願は、２０１７年５月２６日に出願された米国特許出願第１５／６０７，３４５号明細書、ならびにともに２０１７年１０月３０日に出願された米国特許出願第１５／７９７，６９３号明細書及び第１５／７９７，９９９号明細書に関係し、該出願の開示全体は、参照により本明細書に援用される。

本明細書に開示する少なくともいくつかの実施形態は、一般的にサーマルイメージングシステムに関し、より詳細には、所定のタイプのイベントを検出するためにサーマルイメージングシステムを構成するためのユーザーインタフェースに関するが、これに限定されるものではない。

サーマルイメージングは、典型的な屋内環境の温度に比較される上昇した人間の体温の高いコントラストにより、人物検出に使用できる。低解像度のサーマルイメージングは、典型的な部屋領域内で確実に人物を検出するために使用できる。人間の目に可視の光を使用する従来のビデオ監視と比較した低解像度のサーマルイメージングの優位点には、人間－背景の良好なコントラストだけではなく、プライバシーへの不侵入も含まれる。サーマルイメージングの解像度が、人物を表現するために少数のピクセルが使用されるように低い場合、人物の熱画像は、人物の周りの細かい特徴がないブロブとして表示される。したがって、熱画像は個人を明確に識別するために使用することができない。そのような技術は、プライバシーに踏み込まずに、高齢者及び患者を監視して、転倒などの特定の状況に応えて介護を提供するために使用できる。

例えば、「Apparatus and Method for Electromagnetic Radiation Sensing」と題する特許文献１は、赤外線（ＩＲ）放射に基づいたサーマルイメージングのための装置を開示する。そのような装置は、人物検出、火災検知、ガス検知、温度測定、環境モニタリング、エネルギー節約、行動分析、監視、情報収集のために、及びヒューマンマシンインタフェースのために使用できる。そのような装置及び／または他の類似する装置は、本願に開示する発明の実施形態で使用できる。特許文献１の開示全体は、参照により本明細書に援用される。

米国特許出願公開第２０１５／０３７７７１１号明細書

本明細書に開示する少なくともいくつかの実施形態は、一般的にサーマルイメージングシステムに関し、より詳細には、所定のタイプのイベントを検出するためにサーマルイメージングシステムを構成するためのユーザーインタフェースに関する。

実施形態は、類似した参照が類似した要素を示す添付図面の図において制限としてではなく、例として示される。

一実施形態に係るサーマルイメージングシステムを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースのセットを示す図である。 一実施形態に従ってサーマルイメージングシステムによって使用される見取り図の中の場所の特徴を識別するためのプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムによって使用される見取り図の中の場所の特徴を識別するためのプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムによって使用される見取り図の中の場所の特徴を識別するためのプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムでのイベント検出のためのパラメータのセットを識別するためのプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムでのイベント検出のためのパラメータのセットを識別するためのプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムでのイベント検出のためのパラメータのセットを識別するためのプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムでのイベント検出のためのパラメータのセットを識別するためのプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムによって使用される見取り図の中の場所ゾーンを識別するためのユーザーインタフェース及びプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムによって使用される見取り図の中の場所ゾーンを識別するためのユーザーインタフェース及びプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムによって使用される見取り図の中の場所ゾーンを識別するためのユーザーインタフェース及びプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムによって使用される見取り図の中の場所ゾーンを識別するためのユーザーインタフェース及びプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムによって使用される見取り図の中の場所ゾーンを識別するためのユーザーインタフェース及びプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムによって使用される見取り図の中の場所ゾーンを識別するためのユーザーインタフェース及びプロセスを示す図である。 一実施形態に従ってサーマルイメージングシステムによって使用される見取り図の中の場所ゾーンを識別するためのユーザーインタフェース及びプロセスを示す図である。 一実施形態に係る監視のための場所でサーマルイメージングデバイスをセットアップするための方法を示す図である。 一実施形態に従って場所を監視するための景色モデルを確立するための方法を示す図である。 一実施形態に従って場所を監視するためのイベント検出モデル及びパラメータを確証するための方法を示す図である。 一実施形態に従って検出したイベントの通知に対するユーザーフィードバックに基づいてサーマルイメージングシステムを構成するための方法を示す図である。 一実施形態に係るサーマルイメージングシステムの少なくとも一部分を含むデータ処理システムを示す図である。

以下の説明及び図面は例示であり、限定的と解釈されるべきではない。完全な理解を提供するために、多数の具体的な詳細が説明される。しかしながら、特定の例では、説明を分かりにくくすることを回避するために、周知のまたは従来の詳細は説明されない。本開示の一実施形態（one embodiment）または一実施形態（an embodiment）に対する参照は、必ずしも同じ実施形態に対する参照ではなく、そのような参照は少なくとも１つを意味する。

２０１７年５月２６日に出願された米国特許出願第１５／６０７，３４５号、ならびにともに２０１７年１０月３０日に出願された米国特許出願第１５／７９７，６９３号及び１５／７９７，９９９号は、サーマルイメージングデバイスを使用し、監視されている場所の見取り図またはレイアウトを決定するための技術を開示する。そのような場所の例は、高齢者または患者用の部屋である。そのような技術は、本願で説明するサーマルイメージングシステムで使用できる。これらの出願の開示全体は、参照により本明細書に援用される。

一般的に、場所の見取り図またはレイアウトは熱画像からイベントを検出及び／または解釈する上でのサーマルイメージングシステムの機能を構成するために使用できる。そのような情報は、環境のモデルとして、及びサーマルイメージングデバイスによって監視される景色の地理的特徴及び要因を理解するために使用できる。環境モデルは、イベントを分類し、通知の配信を制御するために、監視場所の熱画像とともに使用できる。典型的な部屋環境背景の熱画像は、環境モデルの決定のための詳細を欠き、見分けがつかないほどに一様に見える場合がある。見取り図は、イベントの検出及び分類を容易にするために熱画像を拡大させる。本明細書で説明するユーザーインタフェースによって、イベントを検出及び／または解釈する際にサーマルイメージングシステムが使用する見取り図及び／または他の画像処理パラメータの決定及び／または改善の、ユーザーインタフェースに提示される命令に従って生成されたユーザーフィードバック及び／または熱入力の使用が可能になる。

図１は、一実施形態に係るサーマルイメージングシステムを示す。

図１のサーマルイメージングシステムは、サーバ（１１５）と、サーマルイメージングによって環境（１０７）を監視するサーマルイメージングデバイス（１０１）とを含む。
サーマルイメージングデバイス（１０１）は、通常、部屋などの環境（１０７）の固定された場所に取り付けられる。

図１のサーマルイメージングシステム（ＴＩＳ）は、ユーザー（１０３）のモバイルデバイス（１０５）をさらに含み、環境（１０７）で検出したイベントの通知を提示する、及び／または通知に対するユーザーフィードバックを受け取るように、図１のサーマルイメージングシステムを構成するためのグラフィックユーザーインタフェースを提供する。

サーマルイメージングデバイス（１０１）及びモバイルデバイス（１０５）は、コンピュータ通信ネットワーク（１１３）を介してサーバ（１１５）に接続できる。サーバ（１１５）は、サーマルイメージングデバイス（１０１）によって取り込まれた熱画像を処理し、熱画像に基づいてサービスを提供する。

例えば、サーマルイメージングデバイス（１０１）は、無線アクセスポイント（１１１）及びコンピュータネットワーク（１１３）（例えば、ローカルエリアネットワーク及び／またはインターネット）を介してサーバ（１１５）に熱画像を通信することができる。
スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、またはパーソナルメディアプレーヤなどのモバイルデバイス（１０５）は、サーマルイメージングシステムの較正、セットアップ、及び／またはアプリケーション使用のために、サーマルイメージングデバイス（１０１）及び／またはサーバ（１１５）と通信するために、その中にモバイルアプリケーションがインストールされている。

いくつかの例では、サーマルイメージングデバイス（１０１）は、無線接続または有線接続を介して熱画像をモバイルデバイス（１０５）に通信し、モバイルデバイス（１０５）はホストデバイスとして機能して、追加の処理のために熱画像をサーバ（１１５）にさらに通信する。環境（１０７）の中または近くのモバイルデバイス（１０５）または別のデバイスなどのホストデバイスは、追加の処理のために及び／またはイベントの検出／分類のためにサーバ（１１５）に処理結果を提供する前に熱画像を前処理できる。

サーバ（１１５）及び／またはサーマルイメージングデバイス（１０１）は、イベントの検出／分類の表示及び／または検証のためにモバイルデバイス（１０５）に熱画像を提供できる。

サーバ（１１５）は、アクセス制御を容易にし、ユーザー（１０３）の環境（１０７）に特有の方法でサーマルイメージング処理をカスタマイズするユーザーアカウント（１２１）を維持できる。

例えば、ユーザーアカウント（１２１）は、環境（１０７）に取り付けられたサーマルイメージングデバイス（１０１）のデバイス識別子（１２３）を有する場合がある。さらに、ユーザーアカウント（１２１）は、環境（１０７）の２次元または３次元の見取り図（１２５）を有する場合がある。見取り図（１２５）は、環境内の領域の属性を指定する場所の特徴を識別する。場所の属性は、環境（１０７）で検出したイベントを分類するためにサーバ（１１５）によって使用され得る。

例えば、画像処理プロセッサ（１２９）は、床での人物の転倒、ベッド内の人物、検出領域外の人物、座っている人物、危険なホットスポット、複数の人の存在、移動する人物、所定の領域内の人物、喫煙検知、火災検知、危険なホットスポットに近い人間、水漏れ、他の人間と人間の対話、他の物体との人間の相互作用、物体検出の普通ではない熱パターンなどのイベントを検出するために見取り図（１２５）を使用できる。

例えば、画像処理プロセッサ（１２９）は、背景の熱画像とは異なる温度分布を有する熱画像の中のブロブ（例えば、ピクセルのセット）を識別し、人物またはホットスポットの熱画像としてブロブを分類することができる。人物の熱画像が検出されると、画像処理プロセッサ（１２９）は、人物の姿勢（例えば、立っている、横になっている、座っている、歩いている）をさらに分類できる。サーバ（１１５）は、環境の見取り図（１２５）の中の場所の特徴を考慮して、ならびに人物の姿勢及び／または人物の熱画像の形状を考慮して、人物の熱画像から人物の活動をさらに解釈／推論することができる。環境の場所の特徴（例えば、通路、活動領域、ベッド、椅子、ドア、窓）に対する環境（１０７）内の人物の場所は、２次元または３次元の見取り図（１２５）への熱画像の視線の投影に基づいて決定できる。熱画像内の人物の場所は、人物と関連するイベントを解釈及び／または分類するために使用できる。

本明細書に説明する本開示の一態様は、モバイルデバイス（１０５）上に提供されるユーザーインタフェースを含む。ユーザーインタフェースは、サーマルイメージングシステムの特定の特徴セットの人間の検証及び認証を容易にし、特徴セットは、環境（１０７）に特有の所定のタイプのイベントを検出するように構成されている。ユーザーインタフェースは、イベントのクラスの検出を試験し、確証するために、ユーザー（１０３）とサーマルイメージングシステムとの間の対話を自動的に誘導するようにプログラムされる。人間の検証及び認証によって、サーマルイメージングシステムの構成は改善され、イベントの分類及び／または通知の精度は向上する。

さらに、ユーザーインタフェースは、ユーザーにフィードバックまたは命令を与え、追加の構成動作を実行して、特徴セットから生成された結果の精度を高める及び／または確証するように、ユーザーを誘導することができる。

モバイルデバイス（１０５）に設けられたユーザーインタフェースを使用し、技術的熟練のない人物も、環境の熱状態を生成するためにサーマルイメージングシステムと対話することができ、サーマルイメージングシステムに熱状態を分析させ、熱状態について通知を生成させることができる。人は、次いでさらにモバイルデバイス（１０５）を使用して、通知で識別されているとして状態の真正性を確証することができる。ユーザーインタフェースは、簡略かつ論理的なプロセスを通してユーザーを誘導する。一方、システムは、そのような介入に自動的に注釈を付け、それをメモリに記憶して、ユーザーアカウント（１２１）のデバイス識別子（１２３）によって表されるサーマルイメージングデバイス（１０１）からの熱画像を処理するための画像処理パラメータ（１２７）を改善する。改善された画像処理パラメータは、サーマルイメージングデバイス（１０１）が生成した後続の熱画像を処理する際に改善した結果を生成するために、サーバ（１１５）が使用できる。

ユーザーインタフェースは、サーマルイメージングシステムのサービスを使用し、イメージングパラメータ（１２７）の継続的な改善のために使用できる。サーバ（１１５）が環境で検出したイベントの通知を生成するとき、モバイルデバイス（１０５）上のユーザーインタフェースは、通知を提示し、通知の精度を評価するユーザーフィードバックを受け取ることができる。ユーザーフィードバックを使用して、イメージングパラメータを調整し、ユーザーアカウント（１２１）での追加のイベントの分類及び通知を改善し、偽アラームを減少させることができる。

例えば、サーマルイメージングデバイス（１０１）が、赤外線検知ピクセルのアレイを使用し、環境（１０７）の熱画像を取り込んだ後、サーバ（１１５）（またはモバイルデバイス（１０５）または別のホストデバイス、またはサーマルイメージングデバイス（１０１））は、熱画像のコンテンツを分析するためにコンピュータビジョン技術を使用できる。一般的に、熱画像から熱オブジェクトのコンテンツを抽出するために、分野で既知の任意のコンピュータビジョン技術を使用することができる。熱オブジェクトは、一般に環境の熱背景とは異なる温度を有する。熱オブジェクトの例は、人、ペット、ストーブ、テレビなどを含む場合がある。例えば、熱背景から閾値の上または下の特定の温度の物体を抽出するためには簡略な閾値セグメンテーションを使用できる。

人間は、通常、背景よりも高い体温を有する。したがって、セグメンテーションは、背景から人間の熱画像を抽出するために適用できる。ブロブの向き、ブロブの形状、ブロブ隣接ピクセルに関するブロブ分析は、人間の形状、姿勢、及び／または活動についての情報を抽出するために実行できる。例えば、ブロブの割合は人間の姿勢を知る上での手掛かりになり得る。

一部の物体は人間のような温度を有する場合があるが、通常、静的である。したがって、ブロブの移動及びブロブの形状変化（空間的なブロブの変化）の時間分析は、ＴＶ、ＰＣモニタ、家電などの静的な「ホットスポット」を除外するために実行できる。

例えば、人工ニューラルネットワークは、サーマルイメージングデバイス（１０１）によって取り込まれた熱画像から抽出された熱ブロブを分類するように訓練できる。

図１のサーマルイメージングシステムは、メッセージング機能を有する場合がある。メッセージトリガ（１０９）は、サーマルイメージングデバイス（１０１）からの熱画像から識別／検出／分類された所定のタイプのイベントに応えて通知を送信するようにプログラムできる。例えば、人物の転倒などの所定のタイプのイベントの検出によってトリガされた通知は、ショートメッセージサービス（ＳＭＳ）、ｅメール、プッシュ通知、アプリケーションプログラミングインタフェース（ＡＰＩ）などを使用し、アカウント（１２１）のユーザーに送信できる。いくつかの例では、通知は、音、サイレン、光などの形の物理的なアラームをトリガできる。

例えば、危険なホットスポットまたは火災脅威のアラームに相当する熱イベントの検出に応えて、ユーザーアカウント（１２１）で識別されたアドレス及び／またはデバイスにアラーム通知を送信できる。例えば、危険なホットスポットまたは火災脅威のアラームのイベントは、閾値（例えば、摂氏２００度）を超えた温度を有する熱ブロブの識別によってトリガされるようにプログラムすることができる。

検出技術は、サーバ（１１５）の画像処理プロセッサ（１２９）で、またはモバイルデバイス（１０５）などのホストデバイスで、またはサーマルイメージングデバイス（１０１）で実装できる。

サーバ（１１５）は、画像処理プロセッサ（１２９）を使用し、人間がサーマルイメージングデバイス（１０１）の視界内の環境（１０７）に進入すると、サーマルイメージングデバイス（１０１）によって取り込まれる熱画像の中の人間（１０３）を検出できる。
例えば、環境（１０７）は、高齢者及び／または患者向けのサービスを伴う部屋である場合がある。

サーバ（１１５）は、検出した人間（１０３）についての空間的な及び時間的な情報を使用して、人間の活動データを提供できる。そのようなデータは、休んでいる人間、活発な人間、見えない人間、または転倒する人間を含む場合がある。

例えば、人間の転倒の検出を実行するために、人間（１０３）を表す熱画像のブロブを人間の典型的な温度範囲に基づいて抽出できる。サーバ（１１５）は、人間（１０３）が立っていると見なされるかどうかを判断するためにブロブの向き及び／または形状を分析できる。例えば、人間のブロブの高さ対幅のアスペクト比が閾値よりも高い場合、人間（１０３）は立っていると見なすことができる。例えば、ブロブの水平拡張が係数分、ブロブの高さよりも大きいとき、サーバ（１１５）は、人間のブロブが横たわっている人間を有する閾値可能性よりも高い可能性を有する領域内にある場合、見取り図（１２５）に従って、人間の動き／行動を横になっていると分類することができる。そのような領域の例は、人が休んでいる場合があるベッド、人が横たわるまたは転倒する場合がある活動領域、廊下などを含む。サーバ（１１５）は、人間（１０３）の動き／活動を分類するために人間のブロブの形状の時間的変化をさらに使用できる。

例えば、人間のブロブが、活動領域または廊下で横になっている人間（１０３）を表すという判断によって、サーバ（１１５）は、人間転倒のイベントが検出されたと判断できる。サーバ（１１５）は、人間が、閾値よりも長い期間転倒位置にいると判断される場合、アラーム及び／または通知をトリガするように構成できる。例えば、通知は、看護師に処置を講じるように促すために看護師のタブレットコンピュータに送信できる。通知は、看護師が、必要な場合、支援を提供し得るように環境（１０７）（例えば、特定の部屋）を識別できる。

サーマルイメージングデバイス（１０１）が低い解像度を有する場合、熱監視は非侵入型であり、環境（１０７）の占有者のプライバシーを保護する。しかしながら、低解像度監視によって活動及び／または物体の検出の精度が下がる場合がある。サーマルイメージングがほとんどピクセルを有さないとき、画像処理プロセッサ（１２９）が機能するために有する詳細及び情報はより少ない。例えば、人間の頭部が単一のピクセルとして表示され、いかなる顔の詳細を検出することも不可能にし、したがって活動または特徴のパターンを正確に検出することを困難にする場合がある。しかしながら、同時に、そのような低解像度イメージングは人間の識別に十分な情報を提供しないため、プライバシーを改善する。人間が一定の確率で検出または認識できる場合、単に人物検出は可能である。

例えば、転倒検出の基準は、人間の熱いブロブの水平向きを含む場合がある。しかしながら、人間の水平位置は、転倒として解釈できるであろうが、ベッド内に、またはソファの上に横たわっている人物でもあるであろう。限られた解像度は、精度に対して制限を有するが、プライバシーの理由からは望ましい。

サーマルイメージングデバイス（１０１）が低解像度を有すると、モバイルデバイス（１０５）はユーザーインタフェースを使用して情報を取得し、人間に関係するイベントを検出する上でのサーマルイメージングシステムの精度を高めるように構成できる。

図２～図２１は、一実施形態に従ってサーマルイメージングシステムを構成するためのユーザーインタフェースの例を示す。ユーザーインタフェースは、図３６～図４０の方法に関連して以下に説明される。

図３６は、環境（１０７）で図１のサーマルイメージングシステムのサーマルイメージングデバイス（１０１）をセットアップするための方法を示す。

ブロック１３１で、サーバ（１１５）は、ユーザーアカウント（１２１）を作成または登録する。例えば、サーマルイメージングシステムの設置者またはユーザーは、ユーザーアカウント（１２１）を使用して、サーマルイメージングデバイス（１０１）のデバイス識別子（１２３）を登録する、モバイルデバイス（１０５）上でモバイルアプリケーションを実行してサーマルイメージングデバイスを介して提供されるサービスにアクセスするなど、サーマルイメージングシステムと対話することができる。そして、任意選択で、モバイルアプリケーションを使用して、サーマルイメージングデバイス（１０１）によって監視された環境（１０７）の見取り図（１２５）を生成するための情報を提供する、及び／またはユーザーアカウント（１２１）の熱画像を処理する上でのイベント検出精度を構成し、改善するための画像処理パラメータ（１２７）を提供する。

ブロック１３３で、サーバ（１１５）は、サーマルイメージングデバイス（１０１）をユーザーアカウント（１２１）にリンクするためにデバイス識別子（１２３）を記憶する。例えば、サーマルイメージングデバイス（１０１）が物理的に入手され、例えば箱から出された後、ユーザー（１０３）はモバイルアプリケーションを使用してサーマルイメージングデバイス（１０１）をユーザーアカウント（１２１）にリンクできる。例えば、モバイルデバイス（１０５）は、カメラとインターネット接続とを有するスマートフォンである場合があり、スマートフォンで実行中のモバイルアプリケーションはそのカメラを使用して、サーマルイメージングデバイス（１０１）のデバイス識別子（１２３）を有するバーコードを取り込むまたは走査して、サーバ（１１５）にサーマルイメージングデバイス（１０１）をユーザーアカウント（１２１）にリンクさせることができる。代わりに、モバイルデバイス（１０５）は、サーマルイメージングデバイス（１０１）をユーザーアカウント（１２１）にリンクするために、（例えば、ユニバーサルシリアルバス（ＵＳＢ）ケーブルを使用し）ケーブル及び／またはコネクタを介してサーマルイメージングデバイス（１０１）に物理的に接続することができ、サーマルイメージングデバイス（１０１）とユーザーアカウント（１２１）との間でリンクを確立するための通信は、モバイルデバイス（１０５）／サーマルイメージングデバイス（１０１）とサーバ（１１５）との間で無線及び／または有線接続を介して行うことができる。モバイルデバイス（１０５）によって提供されるユーザーインタフェースを介して、サーマルイメージングデバイス（１０１）は、モバイルデバイス（１０５）から追加の支援なしにサーバ（１１５）と通信するように構成される。このようにして、サーマルイメージングデバイス（１０１）とサーバ（１１５）との間の通信接続の構成後、モバイルデバイス（１０５）は、サーマルイメージングデバイス（１０１）から物理的に切断できる。サーマルイメージングデバイス（１０１）の追加の構成は、無線接続または有線接続を介して実行できる。例えば、図２に示すようなユーザーインタフェースは、ユーザーに、サーマルイメージングデバイス（１０１）の識別コードを取り込んで、サーマルイメージングデバイス（１０１）をユーザーアカウント（１２１）にリンクするように促すことができる。代わりに、ユーザー（１０３）は、サーマルイメージングデバイス（１０１）のシリアルナンバーを入力することによってサーマルイメージングデバイス（１０１）をユーザーアカウント（１２１）にリンクするために、サーバ（１１５）のウェブサイトを使用できる。

ブロック１３５で、サーバ（１１５）は、サーマルイメージングデバイス（１０１）によって監視される環境（１０７）の住所及び／またはその住所でのサーマルイメージングデバイス（１０１）の監視領域の特定の場所を識別する部屋番号または説明など、サーマルイメージングデバイス（１０１）を場所にリンクするためのデータを記憶する。例えば、図３に示すユーザーインタフェースは、ユーザーに場所を識別するように促すことができる。

サーマルイメージングデバイス（１０１）と場所との間の関連付けは、いつでも指定及び／または修正することができる。しかしながら、例えば図２に示すようなユーザーインタフェースを使用してプロセスを通じてユーザーを誘導すると、設置手順を非常にユーザーフレンドリかつ簡略にすることができる。

同じ場所を監視するために、２つ以上のサーマルイメージングデバイスを割り当てることができる。例えば、リビングルームは広い場合があり、いくつかのサーマルイメージングデバイス（例えば、４つ）が必要とされる場合がある。例えば、部屋のそれぞれの隅には、そこにサーマルイメージングデバイスを設置してもよい。

ブロック１３７で、サーマルイメージングシステムは、ユーザーにサーマルイメージングデバイス（１０１）の電源を投入し、サーマルイメージングデバイス（１０１）からサーバ（１１５）へのデータ送信を構成し、サーマルイメージングデバイス（１０１）を設置するように命令できる。例えば、データ送信は、インターネットに接続される無線ローカルエリアネットワーク（例えば、ＷｉＦｉ）を介して、またはサーバへの有線接続（例えば、イーサネット）を介して実行されるように構成できる。例えば、サーマルイメージングデバイス（１０１）の設置は、単にサーマルイメージングデバイス（１０１）に事前に設置された接着テープの裏当てを取り除き、環境の１つ以上の表面にサーマルイメージングデバイス（１０１）を取り付けることによって実行できる。例えば、２０１７年５月２６日に出願された、米国特許出願第１５／６０７，３４５号明細書に開示された設置及び較正の技術を使用できる。特許出願の開示の全体は、参照によって本明細書に援用される。設置１３７は、環境（１０７）を監視するために使用されるサーマルイメージングデバイス（例えば、１０１）に対して繰り返すことができる。任意選択で、ブロック１３７での操作は、ブロック１３５及び／またはブロック１３３の操作（複数可）の前に処理できる。例えば、サーマルイメージングデバイスの電源投入は、サーマルイメージングデバイスのユーザーアカウント（１２１）へのリンク及び／またはサーマルイメージングデバイスの場所へのリンクの前に実行できる。一般的に、サーマルイメージングデバイス（１０１）を電源投入する操作、そのデータ送信を構成する操作、サーマルイメージングデバイスをユーザーアカウントにリンクする操作、及びサーマルイメージングデバイスを場所にリンクする操作は、任意の順序で実行できる。

任意選択で、ブロック１３９で、サーマルイメージングデバイス（例えば、１０１）は、景色及び／または部屋に基づいてグループ化できる。デバイスのグループ化は、ユーザー（１０３）が連続ステップで時間を節約できるように、ブロック１４１でのシステム初期化の前に行うことができる。

ブロック１４１で、サーマルイメージングシステムは、新規に設置したサーマルイメージングデバイス（例えば、１０１）の初期化を実行する。このようにして、サーバ（１１５）はセットアップされ、構成のために読み込まれる。図４に示すユーザーインタフェースは、初期化の成功をユーザー（１０３）に知らせ、構成プロセスを通してユーザー（１０３）を誘導するために使用できる。

ブロック１４３で、構成プロセスは、任意選択で、所定のイベント検出サービスを有する特徴の選択を含む場合がある。

ブロック１４５で、構成プロセスは、任意選択で、イベント検出の選択した特徴を試験し、微調整するための較正操作及び検証操作を含む場合がある。

いくつかの例では、特定の特徴は事前に選択することができ、ユーザー（１０３）は、ユーザーのニーズに基づいて一連の特徴から選ぶ、及び／または選択を調整するためのユーザーインタフェースを提供される。特徴選択（１４３）は、検証（１４５）後に行うことができる。ただし、検証は、特徴が既知であるとより効果的である場合がある。

例えば、図４に示すユーザーインタフェースは、初期化の成功を認めた後、図５に示すユーザーインタフェースがリストから特徴を選択するようにユーザー（１０３）を誘導指導する。いくつかの特徴は特定の予約申し込み計画に含められる場合がある。一方、他の特徴はアドオンサービスである場合があり、それに対してユーザー（１０３）は別途請求される場合がある。いくつかの特徴は無料である場合がある。一方、いくつかの特徴は有料で提供され、それらに付属した取引条件を有する場合がある。

物理的な設置は、サーマルイメージングデバイス（例えば、１０１）の解像度、向き、または位置に対するいかなる制限もなく、任意のタイプのサーマルイメージングデバイス（例えば、１０１）を含む場合がある。任意選択で、サーマルイメージングデバイス（例えば、１０１）は、サーマルイメージング用の画像センサに加えて他のセンサを含む場合がある。

室内の熱平衡のため、多くの部屋の品目は、類似した温度及び放射率を有し、環境（１０７）の熱画像で低いコントラストでまたはコントラストなく表示される場合がある。類似した温度によって、品目は、部屋の背景から熱バンドで実質的に区別がつかなくなる。
したがって、環境の熱画像は、部屋のレイアウト及び物体についての十分な情報なしには一様に見える場合がある。したがって、熱画像は、環境（１０７）の場所の特徴を識別する見取り図（１２５）を決定するために使用することはできない。場所の特徴は、環境での人間の活動を解釈し、イベント検出を容易にするために使用できる環境（１０７）の領域の部分の属性を提供する。

２０１７年５月２６日に出願された米国特許出願第１５／６０７，３４５号明細書は、景色の地理的情報を取得して見取り図（１２５）を決定し、熱画像の中で識別された物体／被写体の次元の決定のための基準を計算するためのいくつかの技術を開示する。

図３７は、一実施形態に従って場所を監視するための景色モデルを確立するための方法を示す。

ブロック１５１で、モバイルデバイス（１０５）で実行中のモバイルアプリケーションは、図６及び図７に示すように参考写真を取り込む際にユーザーを誘導する。

図６及び図７は、見取り図（１２５）の生成のために環境（１０７）の写真を取り込むようにユーザーを誘導するためにモバイルデバイス（１０５）で実行中のモバイルアプリケーションを使用するためのユーザーインタフェースを示す。ユーザーは、ユーザーインタフェースを介して、環境（１０７）の１つ以上の参考写真を撮影するように命令のセットによって誘導される。

例えば、命令は、ユーザーに、ユーザー（１０３）及びユーザーアカウント（１２１）と関連付けられたカメラ（例えば、スマートフォンなどのモバイルデバイス（１０５）のカメラ）をサーマルイメージングデバイス（１０１）と同じ方向に向け、そのような向きから参考写真を撮影するように依頼することができる。例えば、サーマルイメージングデバイス（１０１）が部屋の端または隅に取り付けられる場合、ユーザーは、隅にまたは端の近くに立って、サーマルイメージングデバイス（１０１）の見る向きと実質的に一致する向きで写真を撮影するように命令される。

例えば、モバイルデバイス（１０５）上に提供されるユーザーインタフェースは、ユーザーに、図６に示すように、（例えば、モバイルデバイス（１０５）の）カメラを特定の領域の方に向けるように命令できる。そのような領域の例は、部屋の壁である。サーバ（１１５）またはモバイルデバイス（１０５）で実行中のモバイルアプリケーションは、壁などの領域の境界線を検出するためにコンピュータビジョン分析を実行できる。例えば、図７に示すようなユーザーインタフェースのライブビューは、ユーザーがそのような特定の領域をより容易に見つけるためにカメラのライブビューに重ね合わされるレイアウト表示（３０１）及びレイアウト注釈（例えば、左壁）を提供する。特定の領域が環境にない場合、ユーザーインタフェースは、ユーザーに、次の領域（例えば、左壁が見えない場合、右壁）の参考写真を取り込むように命令できる。

例えば、ユーザーインタフェースは、ユーザー（１０３）に、サーマルイメージングデバイス（１０１）の向きに類似した向きから環境のパノラマ写真を撮影するように命令できる。パノラマ写真は、領域のある部分から別の部分にカメラをパンすることによって取得できる。さらに、ユーザーインタフェースは、ユーザーに、ベッドまたはＴＶまたはドアなど、関心のある領域にカメラを向けるように命令できる。

ブロック１５３で、モバイルデバイス（１０５）は参考写真をサーバ（１１５）に送信する。

ブロック１５５で、サーバ（１１５）及び／またはモバイルデバイス（１０５）で実行中のモバイルアプリケーションは、参考写真の特徴、コンテンツ、領域、及び地形を分析できる。

ブロック１５７で、サーバ（１１５）及び／またはモバイルアプリケーションは、参考写真から特徴、コンテンツ、領域、及び地形を抽出して、見取り図（１２５）などの景色モデルを確立できる。

ブロック１５９で、サーバ（１１５）は、サーマルイメージングモジュール（１０１）と関連して景色モデルを記憶する。

例えば、参考写真は、ベッド、窓、ドア、ライト、電化製品、家具など、場所の特徴（例えば、所定のタイプの領域）を識別するために分析できる。そのような特徴は、通常、目に見え、人間の目に可視の光バンドで、及びモバイルデバイス（１０５）のカメラによって取り込まれた写真の中で識別可能である。いくつかの照明状態では、明るく、高い彩度の場所の特徴は、他の特徴よりもより容易に識別できる。場所の特徴は、イベントの検出、識別、及び／または分類に使用できる属性を有する環境の異なる部分に注釈を付ける見取り図（１２５）を生成するために３次元空間モデルに外挿できる。

いくつかの例では、モバイルアプリケーションによって提供されるユーザーインタフェースは、拡張現実（ＡＲ）定規及び測定ツールを含む場合がある。このようにして、いくつかの幾何学的な特徴は、自動的に、またはユーザー（１０３）によって提供される入力を用いて、のどちらかで視覚的な写真から抽出できる。

代わりに、ユーザーは、空白または特徴を有する事前に設定された３次元モデル空間を構成し、モバイルアプリケーションを使用し、環境（１０７）の３次元モデルを構築するオプションを有する場合がある。

モバイルアプリケーションのユーザーインタフェースを使用し、生成された視覚的な基準は、ユーザーによる写真撮影の場所と実際のモジュールの配置との間の距離及び向きが未知であるため、精度が制限される場合がある。さらに、コンピュータビジョン及び拡張現実（ＡＲ）ツールは、その検出精度に対して限界を有する場合がある。しかしながら、視覚的な基準は、環境（１０７）の見取り図（１２５）の場所の特徴の貴重な最初の近似を提供することができる。プロセスは、視覚的な基準を使用し、構築されたモデルの精度を高めるために繰り返すことができる。したがって、サーマルイメージングデバイス（１０１）は、人間の目に可視の光の中で画像を取り込むための視覚カメラを必要としない。
サーマルイメージングデバイス（１０１）にカメラを含めることによって、プライバシーに対する懸念が高まる場合がある。視覚参照は、性質の異なるツール（例えば、環境（１０７）の通常の操作／監視の間サーマルイメージングデバイス（１０１）の一部ではないモバイルデバイス（１０５））を使用し、実行される。視覚参照の実行は、設置／構成プロセスに制限される。したがって、プライバシーに対する懸念を低減または排除することができる。視覚参照は、ユーザー（１０３）からの多くの努力を必要としない。視覚参照はユーザーフレンドリとなり、少ししか時間をとらないように設計されており、モバイルデバイス（１０５）のカメラが使用されるので費用効果が高く、これはすでに利用可能である。視覚参照のタスクを実行するために追加のカメラは必要とされない。部屋のレイアウトが時間と共に変化したとしても（例えば、ベッドまたは家具、またはサーマルイメージングデバイス（１０１）を移動する）、視覚参照は繰り返すことができる。レイアウト変更のそのような例では、モバイルデバイス（１０５）上に提供されるユーザーインタフェースは、システムの画像処理が従前に構成された基準と相互に関連しないときなどに、ユーザーに、視覚基準を再度取り込むように促す場合がある。

例えば、サーバ（１１５）及び／または画像処理プロセッサ（１２９）は、（例えば、図６及び図７に示すように）参考写真を取り込み、場所の特徴を識別し、視覚的な画像処理技術及びＡＲ測定ツールなどのツールを使用し（写真の永続記憶を用いてまたは用いずに）見取り図（１２５）を構築するために写真を解析し、場所の特徴、コンテンツ、領域、及び地形を抽出し、環境の３次元モデルを生成し、サーマルイメージングデバイス（１０１）の識別子（１２３）と関連する場所情報を有する見取り図（１２５）としてモデルを記憶するようにユーザー（１０３）を誘導するように構成できる。

サーバ（１１５）は、イベントを分類するために見取り図（１２５）を使用できる。例えば、人間（１０３）が水平位置にいる旨の判断に応えて、サーバ（１１５）は、熱画像の中で検出された人間（１０３）がベッドの領域に位置するとき、「ベッド内の人間」としてイベントを分類し、検出された人物（１０３）が廊下または活動領域に位置するとき、「人間転倒」としてイベントを分類することができる。

いくつかの例では、複数の部屋の見取り図（例えば、１２５）は同様に見える場合がある。例えば、高齢者介護施設は、多くの部屋に同じ見取り図を有する場合がある。したがって、見取り図（１２５）を参照またはコピーするだけで、ある部屋の見取り図（１２５）を他の部屋のために使用することができる。いくつかの例では、事前に構築された見取り図は、環境（１０７）のための見取り図（１２５）を構築するための開始点としての選択のために提示できる。見取り図設定は、サーマルイメージングシステム（ＴＩＳ）の初期化プロセスでは任意選択である場合がある。

図３８は、一実施形態に従って場所を監視するためのイベント検出モデル及びパラメータを確証するための方法を示す。

参照パラメータ及び較正パラメータを確立した後、サーバ（１１５）は、サーマルイメージングデバイス（１０１）からの熱画像に基づいてインベントを分類する際に使用可能である。３１の方法は、サーマルイメージングシステムの検出機能を試験及び／または確証するために使用できる。検証は、任意選択で、または較正及び構成プロセスの一部として行うことができる。

コンピュータビジョン技術の一般的な問題は、１００％の精度を提供または保証することができない点である。部分的な隠蔽、景色の変化、または予期せぬ特徴などのいくつかの小さい未知の要因によって、コンピュータビジョンが混乱し、偽の結果が提供される場合がある。

このような欠点を克服するために、モバイルデバイス（１０５）で実行中のモバイルアプリケーションは、サーマルイメージングシステムによって検出される特定のイベントの人間の検証／確証を容易にするためのユーザーインタフェースを提供できる。確証は、システムが、システムによって検出されるべきであるイベントを検出できるかどうか、システムによって検出されたと報告されたイベントが環境（１０７）の中に実際に存在するかどうか（例えば、誤検出）、及び／またはシステムによって検出されたイベントが正しく分類されるかどうかを検証するために使用できる。ユーザーインタフェースによって、ユーザー（１０３）が、サーマルイメージングシステムの検出結果に注釈を付けるためのフィードバックをサーマルイメージングシステムに提供することを可能にし、その結果、システムの精度を高めることができる。サーマルイメージングシステムの精度を高めるためのそのような方法は、非常に貴重である場合がある。経時的に及びいくつかのフィードバックループを介して、システムは改良し、きわめて正確な結果を提供することができる。

ブロック１６１で、図３８の方法は検証プロセスを開始する。

ブロック１６３で、モバイルアプリケーションは、ユーザーにある場所での位置を入力するように命令する。そのような場所は、見取り図（１２５）を使用し、識別できる。一般的に、見取り図決定のために操作を実行することは任意選択である。例えば、「ベッド内検出」を実行するために、パノラマ写真が、「ベッド内検出」のサービスの前に見取り図決定のために取得される場合もあれば、取得されない場合もある。

ブロック１６５で、サーマルイメージングシステムは、熱画像を処理して、ユーザーが場所（１６５）の位置にいることと一致するイベントを検出する。

ブロック１６７で、モバイルアプリケーションは、サーマルイメージングシステムがイベントを検出したかどうかを判断する。

ブロック１６９で、モバイルアプリケーションは、サーマルイメージングシステムがイベントを検出できるとき、モバイルアプリケーションに対するユーザー入力に基づいて検出の確認を提供する。

ブロック１６９で、サーマルイメージングシステムが、ユーザーが場所（１６５）の位置にいることと一致するイベントを検出できないとき、モバイルアプリケーションは、ユーザーに、システムをさらに構成する命令を与える。

例えば、図８は、検証プロセスを開始するためのユーザーインタフェースを示す。各検出特徴は１つずつ検証される場合もあれば、スキップする場合も、または後の時点で検証される場合もある。例えば、ベッド内の特徴検出の場合、図９に示すように、被写体はベッドに横になっているように命令される。被写体は、ユーザー（１０３）または他の誰かである場合がある。

サーマルイメージングシステムがベッド内の人間のイベントを検出できる場合、図９に示すユーザーインタフェースは、メッセージ「ベッド内検出」を使用し、検出を報告し、ユーザーが、図１０の「検証」ボタンを選択することによって確認を提供できるようにする。メッセージ「ベッド内検出」は、（例えば、カラースキーム、フォント、及び／または動画によって）強調表示できる。例えば、検出は、人間の体温の範囲内の温度を有する熱画像のブロブを検出することに基づいて、及びブロブが水平向きにある旨、及び任意選択でブロブが見取り図（１２５）によって識別されたベッド領域内にある旨の判断に基づいて実行できる。

任意選択でまたは組み合わせて、検出の成功を示すために音響信号または通知を再生できる。検出が正確かつ真である場合、ユーザーインタフェースは、ユーザーに、図１０に示す「検証」ボタンをクリックするなど、フィードバックを提供するように促す。

人間の検証がサーマルイメージングシステムで受け取られると、サーバ（１１５）は、検証した検出特徴（例えば、ベッド内の人間）と関連する画像処理パラメータ（１２７）として熱画像から抽出された人間のブロブの位置及び／または他の特性を記憶できる。したがって、後続の検出が画像処理パラメータと一致すると、正確な検出の可能性は改善される。

図２２は、注釈が付けられたベッド領域（３０５）の中の人間の被写体のブロブ（３０３）を有する低解像度熱画像の例を示す。被写体は、デフォルトの背景減算によって強調表示される場合がある。背景は、図２２の画像では黒く見え、一方、ブロブ（３０３）によって表される被写体は、背景に対してグレイスケール及びコントラストを有する。被写体の位置は、そのブロブのサイズ、形状、及び向きに基づいて決定できる。この例では、被写体の向きは水平であり、サーマルイメージングシステムは、被写体がベッド内におり、横になっていると判断する。人間の被写体を表すブロブ（３０３）の向き及びサイズから、サーバ（１１５）は、ベッド領域（３０５）の周囲を推定でき、これは、見取り図（１２５）を拡大させるために使用でき、及び／または画像処理パラメータ（１２７）の一部として記憶できる。

いくつかの例では、検出結果メッセージ（例えば、「ベッド内検出」）は、正確または真ではない場合がある。例えば、被写体がベッドに近づく、またはベッドに近いソファに座った場合、それに応じて、サーマルイメージングシステムは、被写体がベッド内にいると誤って結論付け、このようにして検出結果の偽表示を提供する場合がある。そのような状況では、図１０に示すユーザーインタフェースによって、ユーザーは、「ベッド非占有」を選択して、サーマルイメージングシステムを補正するためのフィードバックを提供できる。フィードバックは、ベッド内の人間の検出と関連するパラメータを上書きする場合がある。例えば、サーバ（１１５）は、見取り図（１２５）の中で、人間のブロブによって占有された領域を「ベッドではない」としてマークすることができ、そのため、人間のブロブが領域で再び検出されると、サーバ（１１５）は領域内の人間の存在をベッド内の人間として分類しない。

他の例では、図１１のユーザーインタフェースを介して命令されるように、被写体がベッド内にいるが、サーマルイメージングシステムが、熱画像がベッド内の人間を示していると判断することができないとき、図１２のユーザーインタフェースは、一定期間後に提示されてシステムがイベントを検出できなかったことを示すことができる。ユーザーがボタン「ベッド内にいますが、アラーム表示は表示されませんでした」を選択すると、図１３に示すユーザーインタフェースが提示されて、ユーザーに、人間の被写体は現在ベッド内にいるのか、それとも人間の被写体は現在ベッド内にいないのかを指定するように促すことができる。サーバ（１１５）は、図１３のユーザーインタフェースでユーザーによってなされた選択を、見取り図（１２５）及び／または画像処理パラメータ（１２７）を調整して検出計算を改善するために使用することができる。

例えば、ユーザーが、ボタン「ベッド内の被写体」をクリックすることによって被写体がベッド内にいると確認する場合、人間のブロブの形状、人間のブロブのタイプ、人間のブロブの向き、及び場所のパラメータは、コンピュータビジョンの計算を調整して、水平位置にいる人間を表すブロブ、及び／または見取り図が、ブロブの場所がベッド領域であることを示すために調整できる旨の結論に到達できる。したがって、ブロブのこの特定の形状、場所、向き、サイズ、及び温度プロファイルは、ベッド内の人間の確実な識別のために関連付けられるものとする。

サーマルイメージングデバイス（１０１）の向き及びおそらく撮像歪みのため、横になっている被写体を示すブロブは、立っている被写体を示すブロブに類似した割合を有する場合がある。図１１～図１３のユーザーインタフェースを使用する、上記に示す検証プロセスによって、サーマルイメージングシステムは、検出パラメータを微調整して正確な結果を生成することができる。

例えば、ユーザーが図１３のボタン「ベッド内の被写体」を選択すると、サーバ（１１５）は、ブロブ（３０３）によって占有された領域のためとサーマルイメージングデバイス（１０１）の向き分類のためのサイズ、形状、比率の閾値を調整またはカスタマイズすることができ、システムが、人間の被写体が横になっている旨の結論に達することを可能にし、したがってベッド内の人間の決定を容易にすることを可能にすることができる。

図２２～図２４は、異なる位置にあるベッド上の人間の被写体を示す。モバイルアプリケーションは、サーマルイメージングシステムに、異なる位置を用いてベッド内の人間を検出する際にサーマルイメージングシステムの機能を改善するために使用できるパラメータを提供するために、ユーザーに、ベッドで異なる位置をとるように命令することができる。

ユーザーインタフェースのセットは、図１４～図１６に示すように、さまざまな状況を対象にする検証イベントを使用することによってサーマルイメージングシステムの検出機能を改良するようにユーザーを誘導することができる。

図１４～図１６のユーザーインタフェースは、ベッド内の人間の検出の確証／改良のために、ユーザー（１０３）に一回または複数回、位置を変更するように命令する。ユーザーは、図２２～図２４に示されるようにベッド内で位置を変更できる。ベッド内の人間を示すとしてユーザー（１０３）によって識別される図２２～図２４に示す画像から、サーバ（１１５）は、ベッドの周囲、及びベッド内の人間を表すブロブ特性の推定値の異なるセットを収集する。このようにして、サーバは、関連する位置を「ベッド内／横になっている」としてマーキングできるだけではなく、ベッド内の被写体の異なる横になる位置から推定されたベッド周囲を結合することから、より正確にベッド周囲の場所を精緻化できる。被写体は、サーマルイメージングシステムを訓練するための技術的熟練または技術的知識を有することを要求されない。単に被写体にベッド内の位置を変更するように依頼するだけで、サーマルイメージングシステムは、イベントの検出及び／または分類のためのパラメータを改良するための入力のセットを取得できる。したがって、ユーザーインタフェースは、サーマルイメージングシステムの性能を改善する上で非常にユーザーフレンドリかつ効果的である。

人間の検証時、ユーザーインタフェースは、図１７に示すように、ベッドを出るように、及び、ベッドに被写体、すなわち人間を戻すことを検証し直すように、被写体に命令できる。修正された／カスタマイズされた見取り図（１２５）及び改善された画像処理パラメータ（１２７）により、サーマルイメージングシステムは、再検証プロセス中に、図９に示すように、イベントを正しく検出し、検出結果メッセージ「ベッド内検出」を示すことができる。

図１４～図１６に示す改良プロセスは、デフォルト設定値を使用し、なされた検出結果に大きなオフセットがある場合（例えば、ベッド内で横になっているが、立っていると識別された人間）、または第２の検証実行が成功しない（例えば、ユーザーが、人間の被写体が実際にはベッド内にいることを明示的に確認しても、ベッド内が検出されない）場合に特に役立つ。改良プロセスによって、サーマルイメージングシステムは、より高い精度を獲得できる。

図１８～図１９は、ユーザー（１０３）に、一連の活動を実行して熱入力を生成し、サーマルイメージングシステムのイベント検出機能を改良するように命令するためのユーザーインタフェースのセットを示す。

図１８のユーザーインタフェースは、ユーザーにベッドの周りを歩くように命令する。
ベッドの周りを歩く一連の活動の結果として、サーマルイメージングシステムは、図２５～図２８に示すような熱画像のセットを取り込む。熱画像は、ベッドの周りを歩く人間を示すので、サーバ（１１５）は、熱画像の中に取り込まれたユーザーの移動するブロブからベッドの周囲を推測できる。

一般的には、システムは、ユーザーに、自分自身を特定の場所の特徴の近傍に位置決めして、ベッド、またはソファまたはテーブル、または家具などの場所の特徴に注釈を付けるように命令できる。

ベッドの場合、ユーザーは、サーマルイメージングシステムがベッドの周囲を推定できるようにするために、ベッドの周りを歩くように命令される場合がある。さらに、ベッドの周りを歩くユーザーのブロブは、立っている／垂直の位置のユーザーを表す。立っている／垂直位置のユーザーのブロブの特性と、横になっている／水平位置のユーザーのブロブの特性とを比較すると、サーバ（１１５）は、ブロブの向き（例えば、立っている／垂直、または横になっている／水平）を分類するためにパラメータを導出／改良できるようになる。

例えば、ベッドの周りを歩き回っているユーザーの熱画像から、サーバ（１１５）は、ブロブの場所をマーキングし、記憶し、ブロブの隠蔽を識別することができる。隠蔽は、ユーザーの隠蔽部分の視線とサーマルイメージングデバイス（１０１）との間のベッドの部分と関連付けられる場合がある。さらに、ベッドの近くまたは周りを歩いているユーザーについて取得されたフレームごとに、ブロブパラメータを画像処理パラメータ（１２７）として記憶することができ、パラメータは、人間がベッドの近くにまたは隣に立っているのか、それともベッド内で横になっているのかの判断する際に参照される場合がある。

例えば、図１８のユーザーインタフェースは、ユーザー（１０３）がベッドの周りを歩くのを終了するまで、メッセージ「・・・を検出中」を示す場合がある。自動的に、サーバ（１１５）は、人間をたどって、熱画像の中の人間のブロブの隣に周囲／地理的場所マーカーを描画する。人間の最初の動きで、サーバ（１１５）は、始線を人間の左側とすべきか、それとも右側とすべきかを判断できる。人間がベッドの周囲を歩くと、サーバ（１１５）は場所をマーキングする。いったんユーザー（１０３）が周縁の周りを歩くまたは周縁の周りを部分的に歩く（例えば、ベッドが壁に接している場合、ベッドの１つの辺だけ、２つの辺、または３つの辺に沿って歩くことができる）のを終了すると、サーバ（１１５）は、歩行の完了を検出し、図１９のユーザーインタフェースに示す承認メッセージを提供することができる。任意選択で、モバイルアプリケーションは、ユーザー（１０３）がベッドの周りを歩いている間、図２５～図２８に示すような熱画像を示すことができる。

いくつかの例では、ベッドに沿って歩く辺が１つしかない場合、ユーザーは、リンク「歩行を終了」を選択することによってプロセスを停止できる。部分的な周縁は、閉鎖または推定手順（例えば、ポリラインを閉じる）を通してサーバ（１１５）によって自動的に閉じることができる。

一般的に、熱処理画像の検出特徴の検証の流れは、検証プロセスを開始することと、検証が成功したかどうかを確認することと、検証が成功した場合、パラメータに（例えば、デフォルトパラメータを正しいとして）注釈を付け、検証／確認メッセージをユーザーに提供することと、検証が成功しなかった場合、人間のユーザー（１０３）が手作業でイベント／特徴に注釈を付ける人間の対話を促すこと、または特徴の精度を改良するために熱入力を提供することとを含む場合がある。検証の流れは、検証が成功するまで繰り返すことができる。

例えば、ユーザーは、「室外検出」のために部屋から歩いて出るように命令される場合がある。そのようなイベントでは、人間のブロブは、サーマルイメージングデバイス（１０１）の熱画像によって取り込まれた景色の中から消える。現実には人間が部屋の外部にいるが、人間が部屋の内部で検出される場合、それは、デフォルトの画像処理パラメータがサーバ（１１５）に、静的なホットスポットを人間のブロブとして誤って識別させた結果としてあり得る場合がある。例えば、カウチまたはベッドに座っていることからの人間の熱の残留物（「熱の陰影」）によって、サーマルイメージングシステムは、人間がカウチまたはベッドの上にいると間違って結論付ける場合がある。そのような状況では、モバイルデバイス（１０３）に提供されるユーザーインタフェースは、ユーザー（１０３）に、自分が部屋（例えば、環境（１０７））の外におり、室内には誰もいないことを確認するように命令できる。ユーザーの確認によって、サーバ（１１５）は、室内の熱いブロブを「人間以外」または「静的」とマーキングして人間と静的な熱いブロブとをよりうまく区別できるようにする。さらに、「熱の陰影」の場合、サーバ（１１５）は、人間のブロブから「分離する」熱ブロブの場所を記憶し、身体の熱が物体に移される場合があるゾーンのこれらの場所をマーキングし、これらのヒートシグネチャを、たとえそれらが限られた時間量の間、人間の形状、サイズ、向き、及びヒートシグネチャを有する場合があったとしても、人間以外として示すことができる。さらに、ユーザーが室内に誰もいないことを確認しながらも、サーバ（１１５）によって「人間以外のホットスポット」が人間として識別されるなど、サーバ（１１５）によって検出された未定義の状態が依然としてある場合には、サーバ（１１５）は、上述の第２の改良手順のように、ユーザーがサーマルイメージングデバイス（１０１）によって検出され、次いでサーバ（１１５）が特定の場所及び状況を入口／または出口とマーキングできるまで、ユーザーが入口／出口ドアまで歩き、おそらく部屋／景色の中に歩いて入るために、さらにユーザーに指示することができる。

例えば、ユーザーは、「転倒検出」特徴を検証するために床の上に横になるように命令される場合がある。そのような特徴は、高齢者の介護には非常に役立つ場合がある。モバイルデバイス（１０５）上のユーザーインタフェースは、床の上に横になっている人物に関する検出ステータスを示すことができ、検出が示されない場合、次いでユーザーは、対話を通して検証するように命令されるであろう。転倒検出は、ベッド内検出または室外検出よりもより複雑である場合がある。すなわち、ａ）サーマルイメージングデバイス（１０１）の視界内で転倒が発生する場合がある膨大な量の位置及び場所がある、ｂ）転倒が室内の物体によって部分的にまたは完全に隠蔽され、転倒の検出を困難にする場合がある、及びｃ）転倒が、サーマルイメージングデバイス（１０１）の視線及び視野がない領域で発生するため、検出不可能である場合、である。したがって、転倒検出は、サーマルイメージングシステムによって提供される他の検出機能の同じレベルの精度を達成するにはより困難である場合がある。他方、ユーザーに、考えられるすべての転倒の状況、位置、及び場所をシミュレーションするように命令することは、ユーザーフレンドリではないであろう。したがって、結果が識別されない場合（メタステート、例えば転倒と直立との間の未知の状態）にも、サーマルイメージングシステムは、その操作の開始のためにそのデフォルト設定値を使用してよく、これによって誤検出を提供し、転倒を示すことができる。誤検出は、転倒検出のアラームまたは通知であり、転倒は、サーマルイメージングシステムによって識別されるが、実際には、転倒ではなかった可能性がある。

例えば、ユーザーは、図２９に示すユーザーインタフェースを使用し、関心のある特定の領域またはゾーンに移動するように命令される場合がある。図３０に示すユーザーインタフェースは、ユーザーが関心のある特定の領域またはゾーンに入ると、ユーザーがアクティブにできる「承認」ボタンを含む。「承認」ボタンがアクティブにされると、サーマルイメージングデバイス（１０１）は、（例えば、図３３に示され、サーマルイメージングデバイス（１０１）によって取り込まれた）環境（１０７）の熱画像（３１３）内のユーザーの画像（３０７）のブロブを識別し、ユーザーの画像（３０７）を使用してゾーンの推定されたサイズ及び場所を生成する。例えば、図３１に示すユーザーインタフェースは、ゾーン（例えば、ベッド、活動領域、廊下、食事エリア）のサイズ、場所、及び／または形状を識別するプロセスを開始する。図３４に示すようなユーザーの画像（３０７）の境界（３０９）は、ゾーンの境界の初期推定値として使用できる。推定は、ユーザーが推定を調整できるようにするために、図３５に示すようにユーザーインタフェースに提示できる。例えば、ユーザーは指（３１１）を使用して、環境（１０７）の熱画像（３１３）を示すタッチスクリーン上で推定された境界にタッチし、選択し、サーマルイメージングシステムに推定された境界の場所及びサイズを調整させる。例えば、推定された境界（３０９）は、その場所を調整するために画像（３１３）の上をドラッグされる場合がある。例えば、推定された境界（３０９）は、そのサイズを拡大または縮小するためにスケールを変更される場合がある。いくつかの例では、指（３１１）は、タッチスクリーンに提示されたユーザーの画像（３０７）の周りに形状（３０９）を描画して、ゾーンの境界を指定し得る。代わりに、または組み合わせて、ユーザーは、図３１のユーザーインタフェースが移される間にゾーンの中で動き回ることによって、環境（１０７）の熱画像の中でゾーンを描くためのペイントブラシツールとして自分の画像（３０７）を使用し得、ペイントブラシツールを使用し、描かれた画像（３１３）の中の領域は、ゾーンの形状及び場所を識別する。図３３のユーザーインタフェースは、環境（１０７）の熱画像（３１３）で提示されるようにゾーンの境界（３０９）の場所、形状、及び／またはサイズに対するユーザーの承諾を確認するためにアクティブにできる「承認」ボタンを有する。

場所の特徴を識別するためのユーザー注釈は、サーマルイメージングデバイス（１０１）によって取り込まれた環境（１０７）の熱画像（３１３）から抽出されたユーザーの熱画像（３０７）だけではなく、他の物体の熱画像にも基づいて生成できる。図１のサーマルイメージングシステムは、環境（１０７）の背景温度とは異なる温度を有する熱い及び／または冷たい物体を識別及び／または抽出できる。そのような物体の例は、モデム、コンピュータ、テレビ（ＴＶ）、冷蔵庫、ストーブ、及び電化製品を含む。サーマルイメージングデバイス（１０１）は、環境（１０７）の熱画像（３１３）内の物体の熱画像のブロブを識別することができ、ユーザーに物体に注釈を付けるまたは分類するように要求する。例えば、ユーザーインタフェースは、環境（１０７）の熱画像から抽出した熱画像ブロブを強調表示し、ユーザーが物体の特徴付け／識別を選択できるようにするプルダウンメニューを提示してよい。熱画像ブロブが、物体（例えば、モデム）のタイプの所定の異なるヒートシグネチャに一致すると、図１のサーマルイメージングシステムは、ユーザーの確認をもってまたはユーザーの確認なしに自動的に物体に注釈を付けることができる。
いくつかの物体は、環境（１０７）の全体的な背景温度とは異なる放射率または温度の窓、ドア、シンク、及び物体などのコールドスポットまたはホットスポットである。

日光照射によって環境（１０７）にホットスポットが生じる場合がある。このホットスポットは、それが非常にゆっくりと移動する場合があり、低解像度熱画像で人間のような形状を有する可能性があるため、人間として解釈されるであろう。任意選択で、日光照射により生じるこのホットスポットは、ユーザーによって注釈を付けられる場合がある。代わりにまたは組み合わせて、図１のサーマルイメージングシステムは、環境（１０７）の地理的地域の気象データを使用して、ホットスポットが日光照射の結果であるかどうかを判断できる。例えば、部屋の向き及びサーマルイメージングデバイス（１０１）の場所に比べた太陽のホットスポットの移動経路は、計算した経路とホットスポットの観察された場所／経路との一致があるかどうかを判断するために計算できる。一致の程度は、ホットスポットが日光照射の結果であるかどうかを判断するために使用できる。セットアップ中のモバイルデバイス（１０５）のコンパスセンサは、北の方向に対する景色の相対的な向きを識別し、このようにして日光照射により生成されたホットスポットの識別を容易にするために使用できる。

気象データは、空調装置（ＡＣ）または加熱器が環境（１０７）でおそらく操作され、したがって環境（１０７）の熱画像（３１３）の中で見られているかどうかを判断するために使用できる。例えば、外気温が、通常加熱器の使用につながる範囲内にある間に加熱器が図１のサーマルイメージングシステムで検出される場合、運転中の加熱器の存在は何ら異常ではないと判断できる。それに対して、外気温が暑く（例えば、摂氏１００度）、加熱器が室内で運転中であり、室内の背景温度を上昇させる場合、図１のサーマルイメージングシステムは、ユーザー（１０３）及び／またはユーザーアカウント（１２１）に指定された他の受取人に通知または警告を送信する場合がある。気象データは、環境（１０７）の背景温度が、正常な生活に適した標準的な範囲内にあるかどうかを判断する上で役立つ場合がある。警告または通知は、環境（１０７）の背景温度が範囲外になると生成される場合がある。

サーマルイメージングデバイス（１０１）は、任意選択で、飛行時間型センサ、マイク、ライダーなどの他のセンサを含む場合がある。例えば、サーマルイメージングデバイス（１０１）のマイク及びスピーカは、偽アラームを解決する及び／またはユーザー注釈を生成する際に人間の管理者（またはコンピュータ化された管理者）と、環境（１０７）の中の人物との間の連絡を容易にするために使用できる。例えば、環境（１０７）が高齢者／患者の介護のために監視されるとき、サーマルイメージングデバイス（１０１）によって取り込まれた熱画像は、転倒など、考えられる異常な状況／緊急事態を検出するために分析できる。看護師は、通信を開始する、及び／または患者／居住者からフィードバックを入手するために状況を通知される場合がある。サーマルイメージングデバイス（１０１）への通信リンクを使用し、看護師は、モバイルデバイスで実行中のモバイルアプリケーションを操作して、音声を使用し、人物をチェックし、関与し、彼らが大丈夫であるかどうかを彼らに尋ねることができる。人物が「私は大丈夫です」と返答すると、類似した後続の検出のために後続の応答を調整するために、状況に注釈を付ける、及び／または状況を使用することができる。いくつかの例では、コンピュータ制御アテンダントが、音声変換シンセサイザを通して類似した音声通信を開始できる。人物（患者／居住者）からの音声応答は、応答を判断するために音声認識技術を使用し、自動的に分析できる。いくつかの例では、環境において人物からの音声応答を処理する、及び／または偽アラームを取り消す、偽アラームに注釈を付ける、支援のために看護師及び／または別の登録された人物を呼ぶなどの応答を策定するために、人工知能システムをサーバ（１１５）に実装できる。看護師が、転倒検出アラームが出るたびに部屋まで走って行く必要がないと、貴重な時間を節約することができる。いくつかの例では、音声インタフェースを、サーバ（１１５）に接続された別個のデバイスを使用し、実装できる。例えば、別個のデバイスは、環境（１０７）の中の人物から音声入力を受け取り、人物に音声応答を提供するモバイルデバイス（１０５）、スマートスピーカ、スマートテレビ、スマートホームハブ／コントローラなどである場合がある。

モバイルデバイス（１０５）は、ユーザー（１０３）が転倒検出通知に注釈を付けることを可能にするユーザーインタフェースを提供できる。例えば、サーバ（１１５）が転倒を識別し、通知を生成し、ユーザー（１０３）が実際には転倒がないと判断する場合、通知は誤検出であり、モバイルデバイス（１０５）のユーザーインタフェースは、ユーザー（１０３）が、通知を誤検出として評価するフィードバックを提供できるようにし、これによってサーバ（１１５）は、イベント（及び／または偽通知を生じさせる熱ブロブのパラメータ）に注釈を付ける。

図３９は、一実施形態に従って検出したイベントの通知に対するユーザーフィードバックに基づいて図１のサーマルイメージングシステムを構成するための方法を示す。

ブロック１８１で、サーマルイメージングシステムは、環境（１０７）を監視するために取り付けられたサーマルイメージングデバイス（１０１）によって取り込まれた熱画像を処理してイベントを検出する。

ブロック１８３で、サーマルイメージングシステムのサーバ（１１５）は、モバイルデバイス（１０５）への通知を通してユーザー（１０３）にイベントを伝達する。図２０に示すユーザーインタフェースは、通知を提示し、ユーザー（１０３）が、イベントの通知及び／または検出の精度についてフィードバックを提供できるようにする。

例えば、サーバ（１１５）が、立っているなど、既知の非転倒位置として分類できない形状、場所、サイズを有する人間のブロブを抽出すると、サーバ（１１５）はイベントを「人間転倒」として分類し、ユーザーアカウント（１２１）に登録されたモバイルデバイス（１０５）に対し「転倒検出」通知メッセージを生成することができる。

代わりにまたは組み合わせて、通知は、別のデバイス（例えば、サイレン、スピーカなど）へまたは別の構成されたユーザーへ送信できる。

モバイルデバイス（１０５）のモバイルアプリケーションは、通知に対する精度フィードバックに関するユーザー入力を受け取るために、図２０に示すユーザーインタフェースを提供できる。代わりにまたは組み合わせて、サーバ（１１５）のウェブサイトは、ユーザーフィードバックを受け取るためのユーザーインタフェースを提供するために使用できる。

ブロック１８５で、サーバ（１１５）は、通知によって報告されたイベントの確認に関してユーザー（１０３）から入力を受け取る。

ブロック１８７で、サーバ（１１５）は、入力が、イベントの発生を確認するのか、それとも通知を誤検出として識別するのかを判断する。

ブロック１８９で、ユーザー入力が、通知によって報告されたようにイベントの発生を確認する場合、サーバ（１１５）は検出の有効性に注釈を付けるデータを記憶し、その後、ブロック１９１で、サーバ（１１５）は、イベントが後続の熱画像から再検出されると、ユーザー（１０３）に通知を送信できる。

ブロック１９３で、ユーザー入力が、通知を誤検出として識別する場合、サーバ（１１５）は検出の無効性に注釈を付けるデータを記憶し、その後、ブロック１９５で、サーバ（１１５）は、イベントが後続の熱画像から再検出されると、ユーザー（１０３）に対する通知を抑制できる。

例えば、図２０のユーザーインタフェースは、通知を認めるために選択できるボタン「ミュート」、及びサーバ（１１５）に、警報／通知が「誤検出」であることを示すために選択できるボタン「これは本当の転倒ではありませんでした」を有する。

例えば、ユーザーが「これは本当の転倒ではありませんでした」を選択したのに応えて、通知をトリガする人間のブロブと関連する形状、特徴、場所、及び／または他のパラメータは、転倒と関連しないとして識別される場合があり、そのため同じまたは類似した形状、特徴、場所、及び／または他のパラメータを有する人間のブロブの将来の検出は、「転倒ではない」と分類される場合がある。

例えば、ユーザーが、ボタン「これは本当の転倒ではありませんでした」を選択せずにボタン「ミュート」を選択したことに応えて、サーバ（１１５）は、通知をトリガする人間のブロブと関連する形状、特徴、場所、及び／または他のパラメータに「本当の転倒」と関連するとして注釈を付けることができる。

注釈を付けられたパラメータは、サーマルイメージングデバイス（１０１）から熱画像で検出されたイベントを分類する上でサーバ（１１５）の精度を高めることができる。

サーバ（１１５）は、注釈が付けられたイベント通知と関連するパラメータを進捗させることによってイベント分類の精度を高めることができる。

例えば、特定の形状のブロブが「本物の転倒」としてマーキングされる場合、そのパラメータのわずかな異常／変形／偏差も将来の参照のために転倒としてマーキングすることができる。

いくつかの例では、サーバ（１１５）は転倒位置の人間のブロブを検出し、その後、人間のブロブが移動を開始する（例えば、ドアから歩いて出ていく）と判断する。そのような状況は、一般的に、緊急事態につながる高齢者または患者の転倒には相当しない。したがって、サーバ（１１５）は、そのような人間のブロブの姿勢が将来発生した場合、サーバ（１１５）が通知／アラームの送信を遅らせ、転倒が緊急事態であるかどうかを判断するため人間のブロブの次の動きを待機することができるように通知方針を調整できる。

また、転倒検出は、景色の特定の場所及び領域を考慮に入れることによって改善することもできる。例えば、ベッドの隣での転倒は部屋の中央においてよりもより可能性が高い場合がある。したがって、ベッドの検出は、ベッドの近傍での転倒を識別するために役立つ場合がある。

いくつかの実施態様では、人間のブロブが物体によって部分的に隠蔽されるようになると、サーバ（１１５）は、ブロブで表されている人間に確定的な状態をデフォルトで割り当てることができない。そのような状況では、サーバ（１１５）は、人間のブロブをメタ状態または未知の状態にあるとして識別できる。控えめな通知方針を実装するためには、サーバ（１１５）は、ユーザーが、図２０に示すユーザーインタフェースを使用し、検出に注釈を付けることを可能にする転倒表示を送信できる。ユーザーフィードバックは、サーバ（１１５）がブロブによって表される人間の状態を分類すること、及び見取り図１２５（例えば、隠蔽の改良または隠蔽を生じさせる新しい物体）を改善することを支援する。

いくつかの実施態様では、人間のブロブは複数の状態にあると分類することができる。
控えめな通知方針を実装するためには、サーバ（１１５）は、例えば転倒表示を送信でき、これにより、ユーザーは、図２０に示すユーザーインタフェースを使用し、検出に注釈を付けることが可能となる。ユーザーフィードバックは、サーバ（１１５）がブロブによって表される人間の状態を分類するのを支援する。さらに、サーマルイメージングシステムは、未知の状態を改善するのに役立てるためにユーザーに通知を送信できる。

いくつかの実施態様では、被写体が部分的に隠蔽される誤検出が識別されると、ユーザーインタフェースは、隠蔽についての情報を加えるオプションを提供する。図２１に示すユーザーインタフェースは、例えば、メッセージ「本物の転倒ではありません（誤検出）。フィードバックをありがとうございます。場所のレイアウトは変化しましたか（例えば、ベッドが新しい場所に移動された）？」を提供できる。図２１のボタン「はい」及びボタン「いいえ」は、レイアウトが変更されているかどうかを示すために、ユーザーにより、使用することができる。

いくつかの例では、サーバ（１１５）からのメッセージは、「被写体は（部分的に）隠蔽されていたため、警告が出されます。隠蔽の対象についての情報を提供してくれますか。」と述べる場合がある。ユーザーインタフェースは、次いで、ユーザー（１０３）が「はい」または「いいえ」のどちらかの１つを選ぶことができるように構成される。

ユーザーが場所のレイアウトが環境においてなされたことを示す場合、例えばドロップダウンリストが、レイアウト変更に関与する品目を識別するためにソファ、ベッド、キャビネット、椅子、テーブルなどの典型的な品目とともに提示される場合があり、ユーザー（１０３）は、品目がデフォルトリストで見つけられない場合、レイアウトのために品目を手作業で指定するオプションを有する。ユーザーインタフェースは、場所及びサイズについての情報（例えば、ベッドの左の、幅約１メートル、高さ２メートルのキャビネット）を受け取ることができる。そのような情報は、見取り図（１２５）に記憶され、イベント検出計算／分類（例えば、隠蔽処理）で使用することができる。さらに、ユーザーは、音声コマンドを介してモバイルデバイス（１０５）に情報を入力し得、モバイルデバイス（１０５）で実行中のモバイルアプリケーションは、関連する情報を取得及び抽出するために音声認識を使用できる。ユーザーは、例えば、「ベッドは前の位置から２メートル動かされ、新しい引き出しがベッドの左に加えられました」と言い、それに応えて、モバイルアプリケーションは情報を抽出し、パラメータ（１２７）の中でそれに注釈を付ける。

一般的に、上述のフィードバック機構は、サーマルイメージングシステムの任意の検出／通知機能と共に使用できる。例えば、サーマルイメージングシステムは、危険なホットスポット検出機能を実装できる。ホットスポットがサーマルイメージングシステムによって検出されると、サーバ（１１５）は、「危険なホットスポット検出」通知／アラームを生成できる。モバイルデバイス（１０５）に実装されたユーザーインタフェースは、検出したホットスポットが「良い」のか、それとも「悪い」のかに関してユーザーフィードバックを受け取ることができる。ストーブ、ホットプレート、電子レンジなどの「良い」ホットスポット物体は、環境における日々の生活で発生する場合がある。「ホットスポット」物体の温度は、人間の安全温度範囲を超える場合がある（例えば、摂氏５０度を超える温度は火傷を引き起こす場合がある）。「悪い」ホットスポットは、実在の「脅威」である場合があり、それを排除するためにはユーザーの行動が必要とされるであろう。

ユーザー（１０３）がホットスポットを「良い」と分類すると、その全く同じまたは類似したパラメータ（形状、サイズ、場所、温度プロファイル）を有するホットスポットの再発は、非危険と分類される場合があり、したがってサーバ（１１５）は再発に応えて「危険なホットスポット検出」通知／アラームを抑制できる。

ユーザー（１０３）がホットスポットを「悪い」と分類すると、ホットスポットの再発及び／または類似した発生は、危険として分類され、したがって「危険なホットスポット検出」通知／アラームをトリガする場合がある。

ある場合では、環境（１０７）の中のベッドが移動され、これは、患者及び／または高齢者を受け入れる施設で発生する場合がある。以前に検証された異なる位置にあるベッドで横になっている居住者が、転倒検出アラームをトリガする場合があるであろう。ユーザー（１０３）（例えば、看護師）は、次いで誤検出を識別するために（例えば、図２０及び図２１のユーザーインタフェースを使用し）フィードバックを提供し、見取り図（１２５）を調整し、このようにしてさらなる誤検出通知を防ぐための情報を提供するであろう。

特徴及びイベントに関する人間の注釈は、サーバ（１１５）に記憶できる。サーバ（１１５）は高度な計算技術を適用して、その検出機能及び／または分類機能を改善できる。
例えば、人間の注釈は所望の分類結果を識別し、したがって教師付き機械学習技術は、イベント分類を実行するように人工ニューラルネットワーク（ＡＮＮ）を訓練するために適用できる。例えば、異なるユーザーアカウントからの注釈は、ユーザーアカウントのセットのためにイベント分類のための一般的なＡＮＮモデルを訓練するために統合できる。一般的なＡＮＮモデルは、ユーザーアカウント（１２１）のためのデフォルトモデルとして使用することができ、特定のユーザーアカウント（１２１）の注釈は、環境（１０７）のためにカスタイズされたＡＮＮモデルを生成するようにさらにＡＮＮモデルを訓練するために使用できる。さらに、サーバに関する新しいファームウェア更新は、より訓練され、より正確なＡＮＮモデルで実装できる。

本開示は、上述した方法と、方法を実行するように構成されたコンピューティング装置と、コンピューティング装置での実行時に、コンピューティング装置に方法を実行させる命令を記憶するコンピュータ記憶媒体とを含む。

図１で、モバイルデバイス（１０５）、サーバ（１１５）、及びサーマルイメージングデバイス（１０１）のそれぞれは、少なくとも部分的に、より多くのまたはより少ない構成要素を有する１つ以上のデータ処理システムの形で実装できる。

図４０は、一実施形態に係るサーマルイメージングシステムの少なくとも一部分を含むデータ処理システムを示す。

図４０は、本願の実施形態のいくつかの構成要素を実装するために使用できるデータ処理システムを示す。図４０はコンピュータシステムの多様な構成要素を示すが、任意の特定のアーキテクチャまたは構成要素を相互接続する方法を表すことは意図されていない。
また、図４０に示す構成要素よりも少ないまたは多い構成要素を有する他のシステムを使用することもできる。

図４０では、データ処理システム（２００）は、マイクロプロセッサ（複数可）（２０３）及びメモリ（２１１）を相互接続する相互接続（２０１）（例えば、バス及びシステムコアロジック）を含む。マイクロプロセッサ（２０３）は、図４０の例ではキャッシュメモリ（２０９）に結合される。

図４０で、相互接続（２０１）は、マイクロプロセッサ（複数可）（２０３）及びメモリ（２１１）を互いに相互接続し、入出力（Ｉ／Ｏ）コントローラ（複数可）（２０７）を介してそれらをＩ／Ｏデバイス（複数可）（２０５）に相互接続する。Ｉ／Ｏデバイス（２０５）は、ディスプレイデバイス及び／または周辺機器（マウス、キーボード、モデム、ネットワークインタフェース、プリンタ、スキャナ、ビデオカメラ、及び当該技術で既知の他のデバイスなど）を含んでよい。データ処理システムがサーバシステムであるとき、プリンタ、スキャナ、マウス、及び／またはキーボードなどのＩ／Ｏデバイス（２０５）のいくつかは、任意選択である。

図４０で、メモリ（２１１）は、サーマルイメージングシステム（ＴＩＳ）アプリケーション（２１３）を記憶する。例えば、ＴＩＳアプリケーション（２１３）は、モバイルデバイス（１０５）に実装されたモバイルアプリケーションである場合がある。例えば、ＴＩＳアプリケーション（２１３）は、サーバ（１１５）の画像処理プロセッサ（１２９）を実装する命令のセットである場合がある。いくつかの例では、ＴＩＳアプリケーションの機能は、少なくとも部分的に特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）など論理回路を介して実装される。

相互接続（２０１）は、多様なブリッジ、コントローラ、及び／またはアダプタを通して互いに接続された１つ以上のバスを含む。例えば、Ｉ／Ｏコントローラ（２０７）は、ＵＳＢ周辺機器を制御するためのＵＳＢ（ユニバーサルシリアルバス）アダプタ、及び／またはＩＥＥＥ－１３９４周辺機器を制御するためのＩＥＥＥ－１３９４バスアダプタを含む。

メモリ（２１１）は、ＲＯＭ（読み取り専用メモリ）、揮発性ＲＡＭ（ランダムアクセスメモリ）、及びハードドライブ、フラッシュメモリなど不揮発性メモリのうちの１つ以上を含む。

揮発性ＲＡＭは、通常、メモリ内のデータをリフレッシュする、または維持するために継続的に電力を必要とするダイナミックＲＡＭ（ＤＲＡＭ）として実装される。不揮発性メモリは、通常、システムから電力が取り除かれた後もデータを維持する磁気ハードドライブ、磁気光ドライブ、光ドライブ（例えば、ＤＶＤ ＲＡＭ）、または他のタイプのメモリシステムである。また、不揮発性メモリは、ランダムアクセスメモリであってもよい。

不揮発性メモリは、データ処理システムの中の構成要素の残りに直接的に結合されたローカルデバイスである場合がある。また、モデムまたはイーサネットインタフェースなどネットワークインタフェースを通してデータ処理システムに結合されたネットワークストレージデバイスなど、システムから離れている不揮発性メモリも使用できる。

本明細書では、いくつかの機能及び操作は、説明を簡略化にするためにソフトウェアコードによって実行される、またはソフトウェアコードによって引き起こされるものとして説明される。しかしながら、そのような表現は、機能が、マイクロプロセッサなどのプロセッサによるコード／命令の実行から生じることを指定するためにも使用される。

代わりにまたは組み合わせて、ここで説明するような機能及び操作は、ソフトウェア命令を用いてまたは用いずに、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、特殊目的回路を使用し、実装できる。実施態様は、ソフトウェア命令なしで配線接続された回路を使用し、またはソフトウェア命令と組み合わせて実装できる。したがって、技術は、ハードウェア回路及び／またはソフトウェアのいずれかの特定の組み合わせにも、データ処理システムによって実行される命令のいずれの特定のソースにも限定されない。

一実施形態は、完全に機能するコンピュータ及びコンピュータシステムで実装できるが、多様な実施形態は、様々な形式のコンピューティング製品として流通させることができ、実際に流通を達成するために使用される特定のタイプの機械またはコンピュータ可読媒体に関わりなく、適用することができる。

開示される少なくともいくつかの態様は、少なくとも部分的にソフトウェアの中で具現できる。つまり、技術は、コンピュータシステムまたは他のデータ処理システムにおいて、マイクロプロセッサなどのそのプロセッサがＲＯＭ、揮発性ＲＡＭ、不揮発性メモリ、キャッシュ、またはリモートストレージデバイスなどのメモリに含まれる命令のシーケンスを実行することに応えて実施され得る。

実施形態を実装するために実行されたルーチンは、オペレーティングシステムまたは特定のアプリケーション、構成要素、プログラム、オブジェクト、モジュール、または「コンピュータプログラム」と呼ばれる命令のシーケンスの一部として実装され得る。コンピュータプログラムは、典型的には、コンピュータ内の様々なメモリおよび記憶装置に様々なタイミングで設定され、コンピュータ内の１つ以上のプロセッサによって読み込まれ、実行されると、コンピュータに、多様な態様を含む要素を実行するために必要な操作を実行させる１つ以上の命令を含む。

機械可読媒体は、データ処理システムによって実行されると、システムに多様な方法を実行させるソフトウェア及びデータを記憶するために使用できる。実行可能なソフトウェア及びデータは、例えばＲＯＭ、揮発性ＲＡＭ、不揮発性メモリ、及び／またはキャッシュを含む多様な場所に記憶され得る。このソフトウェア及び／またはデータの部分は、これらのストレージデバイスのいずれか１つに記憶されてよい。さらに、データ及び命令は、集中型サーバまたはピアツーピアネットワークから取得できる。データ及び命令の異なる部分は、異なるときに、及び異なる通信セッションで、または同じ通信セッションで異なる集中型サーバ及び／またはピアツーピアネットワークから取得できる。データ及び命令は、アプリケーションの実行前に、全体として取得できる。代わりに、データ及び命令の部分は、実行のために必要とされるときに、ジャストインタイムで動的に取得できる。
したがって、データ及び命令が、特定の時間のインスタンスに全体として機械可読媒体上にあることは必要とされない。

コンピュータ可読媒体の例は、とりわけ揮発性及び不揮発性メモリデバイス、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリデバイス、フロッピーディスク及び他のリムーバブルディスク、磁気ディスク記憶媒体、光学式記憶媒体（例えば、読み取り専用コンパクトディスク（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）など）の記録可能タイプ及び記録不可タイプの媒体を含むが、これに限定されるものではない。コンピュータ可読媒体は、命令を記憶してよい。

また、命令は、搬送波、赤外線信号、デジタル信号など、電気的、光学的、音響的、または他の形式の伝搬信号のためのデジタル通信リンク及びアナログ通信リンクで具現され得る。しかしながら、搬送波、赤外線信号、デジタル信号などの伝搬信号は、有形の機械可読媒体ではなく、命令を記憶するように構成されていない。

一般的に、機械可読媒体は、機械（例えば、コンピュータ、ネットワークデバイス、パーソナルデジタルアシスタント、製造ツール、１つ以上のプロセッサのセットを有する任意のデバイスなど）によってアクセス可能な形式で情報を提供する（つまり、記憶及び／または送信する）任意の機構を含む。

多様な実施形態では、配線接続された回路は、技術を実装するためにソフトウェア命令と組み合わせて使用され得る。したがって、技術は、ハードウェア回路及び／またはソフトウェアのいずれかの特定の組み合わせにも、データ処理システムによって実行される命令のいずれの特定のソースにも限定されない。

説明及び図面は例示であり、限定的と解釈されるべきではない。本開示は、当業者が技術を作り、使用することを可能にするために本発明の特徴を例示する。本明細書に説明するような多様な特徴は、プライバシー、セキュリティ、許可、承諾、権限付与他に関係するすべての現在の及び将来の規則及び法令に準拠して使用されるべきである。完全な理解を提供するために、多数の具体的な詳細が説明される。しかしながら、特定の例では、説明を分かりにくくすることを回避するために周知のまたは従来の詳細は説明されていない。本開示の一実施基体（one embodiment）または一実施形態（an embodiment）に対する参照は、必ずしも同じ実施形態に対する参照ではなく、そのような参照は少なくとも１つを意味する。

本明細書の見出しの使用は単に参照を容易にするために提供されているにすぎず、本開示または以下の特許請求の範囲を限定すると決して解釈されないものとする。

「一実施形態（one embodiment）」または「一実施形態（an embodiment）」への参照は、その実施形態に関連して説明される特定の機能、構造、または特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。明細書中の多様な場所における句「一実施形態では」の表示は、必ずしもすべて、同じ実施形態を参照しているわけではなく、必ずしもすべて、他の実施形態の互いに相いれない別個のまたは代替の実施形態を参照しているわけではない。さらに、他によってではなく、一実施形態によって示され得る多様な特徴が説明される。同様に、他の実施形態ではないが、一実施形態の要件であってよい多様な要件が説明される。明示的な説明及び／または見かけの非交換性によって除外されない限り、本説明に説明される多様な特徴のいかなる組み合わせもここに含まれる。説明から明らかであるように、他の特徴に対する特定の特徴の依存性が、選択された特徴を実施態様から除外するオプションを制限し得、説明から明らかであるように、他の特徴との特定の特徴の非交換性が、実施態様に選択された特徴をともに含めるオプションを制限し得る場合を除き、例えば、「一実施形態では」または「いくつかの実施形態では」と関連して上述した特徴は、すべて任意選択で一実施態様に含めることができる。

上述の明細書では、本開示は、その特定の例示的な実施形態に関して説明されてきた。
以下の特許請求の範囲に記載される本開示のより広範の趣旨及び範囲から逸脱することなく、様々な修正が本明細書に加えられ得ることは明らかである。したがって、明細書及び図面は、制限的な意味ではなくて例示的な意味で考慮される。

Claims (20)

1. 視野内の景色の熱画像を取り込むための操作が可能である、少なくとも１つのサーマルイメージングデバイスと、
   前記サーマルイメージングデバイスからの前記熱画像を受け取り、前記熱画像に前記コンピュータビジョン技術を適用して前記熱画像に取り込まれたイベントを検出し、検出された前記イベントに基づいて通知を生成するように構成されたサーバと、を備え、
   前記サーバは、前記景色内にあるモバイルデバイスにインストールされたモバイルアプリケーションを通じて、前記モバイルデバイスのユーザーが前記景色についての入力を生成するように誘導するように構成され、
   前記サーバは、さらに、前記入力に基づき、前記サーマルイメージングデバイスによって取り込まれた前記熱画像からのイベントの検出に使用されるパラメータを調整するように構成されている、システム。
2. 前記入力は、前記景色内の環境で前記モバイルデバイスにより取り込まれた少なくとも１つの視覚的な写真を含み、
   前記サーバは、前記少なくとも１つの視覚的な写真から前記環境の幾何学的な特徴を含むパラメータを決定するように構成されている、請求項１に記載のシステム。
3. 前記幾何学的な特徴は、前記環境の見取り図を含む、請求項２に記載のシステム。
4. 前記サーバは、前記サーマルイメージングデバイスにより取り込まれた熱画像からの最初のイベントを検出し、前記モバイルアプリケーション経由で前記ユーザーに提示するため、前記モバイルデバイスへ前記最初のイベントの最初の通知を提供することによって前記ユーザーが前記入力を提供するように誘導し、前記ユーザーから前記最初の通知の注釈を受け取るように構成されている、請求項１に記載のデバイス。
5. 前記通知を生成するための前記コンピュータビジョン技術の適用は、前記入力に基づいて調整された前記パラメータを使用するように構成されている、請求項４に記載のシステム。
6. 前記サーバは、前記注釈に基づいて教師付き機械学習技術を使用し、人工ニューラルネットワークを訓練するように構成される、請求項５に記載のシステム。
7. カメラと、
   リモートサーバと通信するモバイルアプリケーションで構成され、前記リモートサーバが、サーマルイメージングデバイスによって取り込まれた景色の熱画像を受け取り、前記熱画像で取り込まれたイベントを検出するため前記熱画像にコンピュータビジョン技術を適用し、検出された前記イベントの通知を生成するように構成された、グラフィックユーザーインターフェイスと、を備え、
   前記グラフィックユーザーインターフェイスは、前記モバイルデバイスが前記景色にある間に、前記モバイルデバイスのユーザーが前記景色についての入力を生成するように誘導するように構成され、
   前記リモートサーバは、さらに、前記入力に基づいて、前記サーマルイメージングデバイスによって取り込まれた前記熱画像からのイベントの検出に使用されるパラメータを調整するように構成されている、モバイルデバイス。
8. 前記入力は、前記モバイルデバイスが前記景色内の環境にある間に前記カメラにより取り込まれた少なくとも１つの視覚的な写真を含み、
   前記リモートサーバは、前記少なくとも１つの視覚的な写真から前記景色内の前記環境の幾何学的な特徴を含むパラメータを決定するように構成されている、請求項７に記載のモバイルデバイス。
9. 前記幾何学的な特徴は、前記環境の見取り図を含み、前記リモートサーバは前記見取り図に関連する前記イベントを検出するように構成されている請求項８に記載のモバイルデバイス。
10. 前記グラフィックユーザーインターフェイスは、前記リモートサーバに応答して前記入力を提供するように前記ユーザーを誘導するように構成され、
    前記リモートサーバは、サーマルイメージングデバイスにより取り込まれた前記熱画像から最初のイベントを検出し、前記モバイルアプリケーション経由で前記ユーザーに提示するため、前記モバイルデバイスへ前記最初のイベントの最初の通知を提供するものであり、
    前記入力は最初の通知についての前記ユーザーからの注釈を含む、請求項７に記載のモバイルデバイス。
11. 前記通知を生成するための前記コンピュータビジョン技術の適用は、前記入力に基づいて調整された前記パラメータを使用するように構成されている、請求項１０に記載のモバイルデバイス。
12. 前記パラメータは、前記熱画像から抽出されたブロブの特性を含み、
    前記ブロブは、前記景色の中の人間、ホットスポット、またはコールドスポットを表す、請求項７に記載のモバイルデバイス。
13. 前記入力は、前記景色内でベッドに横たわっている前記ユーザーを含み、前記サーマルイメージングデバイスにベッドに横たわっている人間の熱画像を撮影させる、請求項７に記載のモバイルデバイス。
14. 前記入力は、前記グラフィックユーザーインターフェイスで識別された場所の特徴の周りを歩くこと、物体に触れること、前記景色に進入及び退出すること、識別されたゾーンに移動すること、または前記ゾーンを動き回ることを含む、請求項７に記載のモバイルデバイス。
15. モバイルデバイスによる実行時に、前記モバイルデバイスにグラフィックユーザーインターフェイスを提示させる命令を記録する、非一過性コンピュータ記憶媒体であり、
    前記グラフィックインターフェイスは、リモートサーバによって制御されて、前記モバイルデバイスがサーマルイメージングデバイスの視野の景色内にあるときに前記モバイルデバイスのユーザーが前記景色についての入力を生成するよう誘導するように構成されており、
    前記リモートサーバは、前記熱画像により取り込まれた前記景色の熱画像を受け取り、前記熱画像に前記コンピュータビジョン技術を適用して取り込まれたイベントを検出し、検出された前記イベントの通知を生成するように構成され、
    前記リモートサーバは、さらに、前記入力に基づいて、前記サーマルイメージングデバイスによって取り込まれた前記熱画像からのイベントの検出に使用されるパラメータを調整するように構成されている、非一過性コンピュータ記憶媒体。
16. 前記入力は、前記モバイルデバイスが前記景色内にあるとき、前記モバイルデバイスのカメラにより取り込まれた少なくとも１つの視覚的な写真を含み、
    前記サーバは、前記少なくとも１つの視覚的な写真から前記景色の幾何学的な特徴を含むパラメータを決定するように構成されている、請求項１５に記載の非一過性コンピュータ記憶媒体。
17. 前記幾何学的な特徴は、前記景色内の前記環境の見取り図を含み、前記リモートサーバは前記見取り図に関連する前記イベントを検出するように構成されている、請求項１６に記載の非一過性コンピュータ記憶媒体。
18. 前記グラフィックユーザーインターフェイスは、前記リモートサーバに応答して前記入力を提供するように前記ユーザーを誘導するように構成され、
    前記リモートサーバは、サーマルイメージングデバイスにより取り込まれた前記熱画像から最初のイベントを検出し、前記グラフィックユーザーインターフェイス経由で前記ユーザーに提示するため、前記モバイルデバイスへ前記最初のイベントの最初の通知を提供するものであり、
    前記入力は最初の通知についてのユーザーからの注釈を含む、請求項１５に記載の非一過性コンピュータ記憶媒体。
19. 前記通知を生成するための前記コンピュータビジョン技術の適用は、前記入力に基づいて調整された前記パラメータを使用するように構成されている、請求項１８に記載の非一過性コンピュータ記憶媒体。
20. 前記パラメータは、前記熱画像から抽出されたブロブの特性を含み、
    前記ブロブは、前記景色の中の人間、ホットスポット、またはコールドスポットを表す、請求項１５に記載の非一過性コンピュータ記憶媒体。

Images