JP2021077102A - 推定システム - Google Patents

Abstract

【課題】現実空間における清潔または汚れの度合いをより簡単な手法により推定すること。【解決手段】一実施形態に係る推定システムは少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、カメラによって撮影された現実空間を示す画像データを取得し、画像データを解析することで、現実空間における人の行動を特定し、人の行動に基づいて、清掃が必要であると推定される注目領域を現実空間から識別し、注目領域を示す結果データを出力する。【選択図】図１

Description

本開示の一側面は推定システムに関する。

現実空間における清潔または汚れの度合いを推定する仕組みが知られている。例えば、特許文献１には、リアルタイムロケーティングシステム（ＲＴＬＳ）を用いて衛生状態を監視および管理するシステムが記載されている。このシステムは、無線タグと、関連付けられたアクセスポイントとの間のタグ距離に基づいて該無線タグのロケーションを繰り返し測定することによって該無線タグの移動を追跡し、該無線タグの移動に基づいて或る領域の清潔度レベルを判断する。

特開２０１２−５１９３４３号公報

特許文献１に記載のシステムでは、ユーザにとっては特殊な機器である無線タグが必要なので、システムの利便性が高いとはいえない。そこで、現実空間における清潔または汚れの度合いをより簡単な手法により推定することが望まれている。

本開示の一側面に係る推定システムは少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、カメラによって撮影された現実空間を示す画像データを取得し、画像データを解析することで、現実空間における人の行動を特定し、人の行動に基づいて、清掃が必要であると推定される注目領域を現実空間から識別し、注目領域を示す結果データを出力する。

このような側面においては、一般に広く流通しているカメラにより得られた画像データが解析されることで人の行動が特定され、その行動に基づいて、清掃が必要であると推定される注目領域が識別および出力される。したがって、現実空間における清潔または汚れの度合いをより簡単な手法により推定することができる。

本開示の一側面によれば、現実空間における清潔または汚れの度合いをより簡単な手法により推定することができる。

実施形態に係る推定システムの構成の一例を示す図である。 実施形態に係る推定システムの動作の一例を示すフローチャートである。 画像データの一例を示す図である。 結果データの一例を示す図である。 実施形態に係る推定システムで用いられるコンピュータのハードウェア構成の一例を示す図である。

以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。

実施形態に係る推定システム１は、現実空間における清潔または汚れの度合いを推定するコンピュータシステムである。現実空間とは、実在する世界での３次元空間のことをいう。現実空間は屋内の空間でもよいし屋外の空間でもよい。清潔または汚れの度合いは、整理、整頓、または清掃がどのくらい行き届いているか（または行き届いていないか）を表す指標であるといえる。

本実施形態では、推定システム１は、現実空間を示す画像データを解析することで、掃除が必要であると推定される領域を注目領域として識別し、その注目領域を示す結果データを出力する。画像データとは、人が視覚を通して何らかの情報を認識することができる像を示す電子データのことをいう。画像データはカメラによって現実空間を撮影することで生成される。画像は動画像（映像）でもよいし静止画（写真）でもよい。画像データは音声を含んでもよい。掃除が必要であると推定される領域、すなわち注目領域とは、清潔を保つために整理、整頓、または掃除を行うことが望ましいと推定される領域（場所）のことをいう。例えば、推定システム１は、物が散らかっていたり、ごみが落ちていたり、汚れが付いていたり、カビが生えていたりする領域（場所）を注目領域として識別し得る。結果データとは、識別された注目領域を示す電子データである。

推定システム１は結果データをユーザまたはオペレータに提供する。ユーザとは、注目領域に関する情報を最終的に入手する人のことをいう。オペレータとは、注目領域に関する情報をユーザに伝える人のことをいう。一例では、推定システム１は結果データをユーザに直接に提供してもよく、この場合には、ユーザはコンピュータによって可視化された結果データを確認することで、掃除が必要な場所を知ることができる。別の例では、推定システム１は結果データをオペレータに提供してもよく、この場合には、オペレータは可視化された結果データを確認して、掃除が必要な場所をユーザに助言することができる。

図１は推定システム１の構成の一例を示す図である。推定システム１は、現実空間における清潔または汚れの度合いを推定するコンピュータであるサーバ１０を備える。サーバ１０は通信ネットワークを介して１以上のユーザ端末２０と接続することができる。さらに、サーバ１０は通信ネットワークを介してデータベース３０および１以上のオペレータ端末４０と接続することもできる。通信ネットワークの構成は限定されず、任意の方針で設計されてよい。例えば、通信ネットワークは移動体通信網、インターネット、イントラネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）のうちの少なくとも一つを含んで構成されてもよい。図１ではユーザ端末２０およびオペレータ端末４０の個数がいずれも１であるが、推定システム１に接続するユーザ端末２０およびオペレータ端末４０の個数は限定されない。サーバ１０は任意の数のユーザ端末２０およびオペレータ端末４０のそれぞれとの間で処理を実行することができる。

一例では、サーバ１０は機能要素として取得部１１、解析部１２、格納部１３、および結果提供部１４を備える。取得部１１は現実空間を示す画像データをユーザ端末２０から受信して該画像データをデータベース３０に格納する機能要素である。解析部１２はその画像データを解析することで注目領域を識別する機能要素である。格納部１３はその注目領域を示す結果データをデータベース３０に格納する機能要素である。結果提供部１４はユーザ端末２０またはオペレータ端末４０からの要求に応答して結果データをデータベース３０から読み出し、その結果データをその端末に提供する機能要素である。

サーバ１０は少なくとも一つのコンピュータを用いて構成される。複数のコンピュータが用いられる場合には、これらのコンピュータが通信ネットワークを介して相互に接続することで、論理的に一つのサーバ１０が構築される。

ユーザ端末２０はユーザによって操作されるコンピュータである。オペレータ端末４０はオペレータによって操作されるコンピュータである。ユーザ端末２０およびオペレータ端末４０はいずれも、固定端末でもよいし携帯端末でもよい。ユーザ端末２０およびオペレータ端末４０の例として、携帯電話機、スマートフォン、タブレット端末、ウェアラブル端末、またはパーソナルコンピュータが挙げられるが、端末の種類はこれらに限定されない。当然ながら、ユーザ端末２０およびオペレータ端末４０の間で端末の種類が異なってもよい。

データベース３０は、推定システム１で用いられるデータを格納する装置（記憶部）である。データベース３０は推定システム１の一構成要素でもよいし、推定システム１とは異なるコンピュータシステム内に構築されてもよい。一例では、データベース３０は、リクエストＩＤ、ユーザＩＤ、画像データ、空間データ、および結果データの組合せを示すレコードを格納する。リクエストＩＤとは、清潔または汚れの度合いの推定に関する個々の要求を一意に特定する識別子である。ユーザＩＤとは、ユーザを一意に特定する識別子である。空間データとは、画像データに映った現実空間の構成を示す電子データである。現実空間の構成とは、現実空間を形成する有体物の配置と、現実空間に存在する有体物の配置とのうちの少なくとも一方を用いて表現され得る空間の様子のことをいう。一例では、空間データは、現実空間を構成する１以上の領域のそれぞれについての位置を示す位置情報を含む。例えば、現実空間が住居の内部であれば、空間データは、居間、寝室、洗面所、玄関、浴室、ベランダなどの位置を示す位置情報を含む。空間データは、現実空間の写真データもしくは図面データ、現実空間を写した動画像データ、または現実空間を表現するコンピュータグラフィックもしくはアニメーションを含んでもよく、例えば、建物の間取図を示す図面データを含んでもよい。

データベース３０内の構造、すなわち、レコードの構造は任意に設計されてよい。データベース３０は複数のデータベースに分散されたかたちで構築されてもよい。

図２を参照しながら、推定システム１（より具体的にはサーバ１０）の動作について説明する。図２は推定システム１の動作の一例を処理フローＳ１として示すフローチャートである。

ステップＳ１１では、取得部１１が現実空間を示す画像データを取得する。この画像データはカメラによって現実空間を撮影することで得られる電子データである。

一例では、ユーザ端末２０はカメラと推定システム１にアクセスするためのアプリケーションプログラムとを備える。ユーザはそのアプリケーションプログラムを起動してカメラを操作することで、所望の場所を撮影する。ユーザ端末２０はカメラによって生成される画像データを一時的または永続的にユーザ端末２０内のメモリに記憶する。図３は画像データの一例を示す図であり、より具体的には、洗面所、クローゼットなどを映した画像データ５０を示す。画像データ５０は動画像の１フレームであってもよいし、写真（静止画）であってもよい。ユーザが画像データをサーバ１０に送信するための操作を行うと、ユーザ端末２０はそのユーザ操作に応答して、メモリ内の画像データとユーザＩＤとを含むデータ信号である登録要求をサーバ１０に送信する。

ユーザ端末２０がアイトラッキング機能を備える場合には、ユーザ端末２０はその機能を用いてユーザの視線（注視点）の動きを測定し、その動きを示す視線データを含む画像データとユーザＩＤとを含む登録要求を生成および送信してもよい。

ユーザ端末２０は、ユーザＩＤおよび画像データに加えて、空間データをさらに含む登録要求を生成および送信してもよい。登録要求が画像データおよび空間データを含む場合には、画像データは、撮影された領域と空間データで示される位置情報との対応関係を示す対応情報をさらに含んでもよい。この対応情報により、撮影がどこで行われたかを特定することが可能になる。対応情報はアプリケーションプログラムによって自動的に生成されてもよいし、アプリケーションプログラムを介したユーザ操作に基づいて生成されてもよい。

取得部１１は、ユーザ端末２０から登録要求を受信すると、新規のリクエストＩＤを生成し、登録要求で示されるデータをそのリクエストＩＤに関連付けることでレコードを生成する。そして、取得部１１はそのレコードをデータベース３０に格納する。このレコードは空間データを含んでもよいし含まなくてもよい。この段階ではそのレコードは結果データを含まない。取得部１１はそのリクエストＩＤを含むデータ信号を登録要求に対する応答信号としてユーザ端末２０に送信する。ユーザ端末２０はそのリクエストＩＤをメモリ内に記憶する。

ステップＳ１２では、解析部１２が、取得された画像データを解析することで、現実空間における人の行動を特定する。「現実空間における人」とは、行動が画像データに記録された人のことをいい、これはユーザでもよいし、ユーザとは異なる人でもよい。「現実空間における人」は、画像に映っている人でもよいし、映っていない人（例えば、声だけが画像データに記録されている人）でもよい。特定される行動の種類は限定されず、人の五感によって認識することが可能であれば何でもよい。特定される行動は、人の視覚または聴覚によって認識することが可能な身体の動きでもよく、例えば、視線の向き、顔の向き、指の動き、手の動き、および発声（例えば発話）のうちの少なくとも一つでもよい。

解析部１２は、リクエストＩＤを含むデータ信号である解析要求に応答して解析を開始してもよい。この場合には、ユーザ端末２０は、アプリケーションプログラムを介したユーザ操作に基づいて、リクエストＩＤを含む解析要求をサーバ１０に送信する。解析部１２はそのリクエストＩＤに対応する画像データをデータベース３０から読み出す。あるいは、解析部１２は画像データがデータベース３０に格納されたことに応答して自動的に解析を開始してもよい。この場合には、解析部１２は取得部１１から入力されるリクエストＩＤに対応する画像データをデータベース３０から読み出す。

画像データから人の行動を特定する具体的な手法は限定されない。例えば、解析部１２は画像データに対してパターン認識を実行することで、あるいは、機械学習などの人工知能技術を画像データに対して実行することで、その画像データから人の動きを特定してもよい。機械学習が用いられる場合には、画像データを入力ベクトルとして受け付け、人の行動を示す出力ベクトルを出力する学習済みモデルが用いられる。学習済みモデルは、例えば教師データを用いた学習処理によって予め生成されて解析部１２に組み込まれる。あるいは、解析部１２は画像データに対して音声認識を実行することでその画像データから発声（例えば発話）を特定してもよい。

ステップＳ１３では、解析部１２が、特定された行動に基づいて注目領域を識別する。注目領域を識別する具体的な手法は限定されない。例えば、指または手の動きを特定した場合には、解析部１２は人が指または手で指した領域を注目領域として識別してもよい。視線の向きまたは顔の向きを特定した場合には、解析部１２は所与の時間（例えば、１秒、３秒など）以上連続して視線または顔が向いた領域（すなわち、人が所与の時間以上見た領域）を注目領域として識別してもよい。あるいは、解析部１２は所与の回数以上視線または顔が向いた領域を注目領域として識別してもよい。発声を特定した場合には、解析部１２はその発声が「汚い」「掃除」「整理」などの所与の語句を含む場合に、その発声の時点で映っている領域を注目領域として識別してもよい。解析部１２はこれらの様々な手法のうちの任意の２種類以上を用いて注目領域を識別してもよい。

解析部１２は識別した１以上の注目領域のそれぞれにおける汚れ度を推定してもよい。汚れ度とは、汚れまたは散らかりの度合いのことをいう。本開示では、汚れまたは散らかり具合が酷いほど、汚れ度が高いものとする。例えば、水垢または黒カビが発生している浴室は、これらのような汚れが無い浴室よりも汚れ度が高い。別の例として、本または雑誌が散らかっている部屋は、これらのような書物が本棚にしまわれている部屋よりも汚れ度が高い。汚れ度の推定方法は限定されない。例えば、解析部１２は画像データに対してパターン認識を実行することで、あるいは、機械学習などの人工知能技術を画像データに対して実行することで、その画像データから汚れ度を推定してもよい。機械学習が用いられる場合には、画像データを入力ベクトルとして受け付け、汚れ度を示す出力ベクトルを出力する学習済みモデルが用いられる。この学習済みモデルも、例えば教師データを用いた学習処理によって予め生成されて解析部１２に組み込まれる。

ステップＳ１４では、解析部１２が、注目領域を示す結果データを生成する。結果データのデータ構造は限定されない。例えば、結果データは個々の注目領域の位置を示してもよい。あるいは、結果データは個々の注目領域について位置と汚れ度との組合せを示してもよい。

一例では、解析部１２は空間データで表される画像、すなわち、現実空間の構成を示す画像（本開示ではその画像を「空間画像」ともいう）に注目領域の表示を重畳することで結果データを生成してもよい。図４は結果データの一例を示す図である。この例では、解析部１２は１以上の注目領域６２の表示が重畳された間取図６１を結果データ６０として生成する。画像データが対応情報を含む場合には、解析部１２は撮影された領域と空間データで示される位置情報との対応関係に基づいて、個々の注目領域の表示を空間画像に重畳してもよい。この個々の注目領域６２における数値（１０，６０、８０，１００など）は汚れ度を示す。結果データ６０では個々の注目領域６２を示す円の色の濃さを汚れ度に応じて変えているが、このような色の設定は省略されてよい。汚れ度の表示は必須ではないので、解析部１２は汚れ度を表示することなく個々の注目領域を示す結果データを生成してもよい。上述したように空間データの表現方法は限定されず、これに対応して、空間画像の表現方法も限定されない。例えば、空間画像は、写真、動画像、コンピュータグラフィック、アニメーションなどの任意の手法によって表現される任意の形式の２次元画像または３次元画像でもよい。

解析部１２は空間画像を用いることなく結果データを生成してもよい。例えば、解析部１２は１以上の注目領域のリストを結果データとして生成してもよい。このリストは個々の注目領域の汚れ度を示してもよい。

ステップＳ１５では、格納部１３が結果データを出力する。具体的には、格納部１３はデータベース３０にアクセスし、リクエストＩＤに対応するレコードにその結果データを追加することで結果データをデータベース３０に格納する。格納部１３は、ユーザに結果データを確認させるために結果データをユーザ端末２０に送信し、結果データについてのユーザの承認を示す応答信号をユーザ端末２０から受信した後に、結果データをデータベース３０に格納してもよい。

ユーザは、データベース３０に格納された結果データを任意のタイミングで閲覧することができる。一例では、ユーザはユーザ端末２０上のアプリケーションプログラムを操作して結果データを要求することができる。ユーザ端末２０はその操作に応答して、選択されたリクエストＩＤを含むデータ信号である閲覧要求をサーバ１０に送信する。サーバ１０では結果提供部１４がその閲覧要求のリクエストＩＤに対応する結果データをデータベース３０から読み出し、その結果データをユーザ端末２０に送信する。この送信も結果データの出力の一例である。ユーザ端末２０はその結果データを表示し、これによりユーザはどこを掃除する必要があるかを知ることができる。

オペレータも、オペレータ端末４０を用いて結果データを閲覧することができる。オペレータ端末４０への結果データの提供は、ユーザ端末２０の場合と同様に実行される。すなわち、オペレータ端末４０はリクエストＩＤを含む閲覧要求をサーバ１０に送信し、結果提供部１４がそのリクエストＩＤに対応する結果データをデータベース３０から読み出し、その結果データをオペレータ端末４０に送信する。オペレータ端末４０はその結果データを表示し、これによりオペレータは、どこを掃除する必要があるかをユーザに伝えることができる。

推定システムの構成は上記実施形態に限定されない。上記実施形態では推定システム１がデータベース３０にアクセスするが、データベース３０は必須の構成要素ではない。例えば、推定システムは画像データをデータベースに格納することなくその画像データに基づいて結果データを生成し、その結果データをユーザ端末またはオペレータ端末に送信してもよい。推定システムの機能はユーザ端末またはオペレータ端末に搭載されてもよい。

上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、出力部（transmitting unit）または送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

例えば、本開示の一実施の形態における推定システム１またはサーバ１０は、本開示の処理を行うコンピュータとして機能してもよい。図５は、推定システム１またはサーバ１０として機能するコンピュータ１００のハードウェア構成の一例を示す図である。コンピュータ１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含んでもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。サーバ１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

サーバ１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、サーバ１０の各機能要素は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカ、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、コンピュータ１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

以上説明したように、本開示の一側面に係る推定システムは少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、カメラによって撮影された現実空間を示す画像データを取得し、画像データを解析することで、現実空間における人の行動を特定し、人の行動に基づいて、清掃が必要であると推定される注目領域を現実空間から識別し、注目領域を示す結果データを出力する。

このような側面においては、一般に広く流通しているカメラにより得られた画像データが解析されることで人の行動が特定され、その行動に基づいて、清掃が必要であると推定される注目領域が識別および出力される。したがって、現実空間における清潔または汚れの度合いをより簡単な手法により推定することができる。

他の側面に係る推定システムでは、人の行動が、視線の向き、顔の向き、指の動き、手の動き、および発声のうちの少なくとも一つであってもよい。人が汚れに注目したときに顕れやすいこれらの行動を特定することで、注目領域を精度良く識別することが可能になる。

他の側面に係る推定システムでは、人の行動が視線の向きまたは顔の向きであってもよい。少なくとも一つのプロセッサは、所与の時間以上連続して視線または顔が向いた領域を注目領域として識別してもよい。人が汚れに注目するときには、その汚れの箇所をある程度の間見続けることがある。このような傾向を特定することで、注目領域を精度良く識別することが可能になる。

他の側面に係る推定システムでは、人の行動が視線の向きまたは顔の向きであってもよい。少なくとも一つのプロセッサは、所与の回数以上視線または顔が向いた領域を注目領域として識別してもよい。人が汚れに注目するときには、その汚れの箇所を何度か見返すことがある。このような傾向を特定することで、注目領域を精度良く識別することが可能になる。

他の側面に係る推定システムでは、人の行動が指の動きまたは手の動きであってもよい。少なくとも一つのプロセッサは、人が指または手で指した領域を注目領域として識別してもよい。人が汚れに注目するときには、その汚れの箇所を指すことがある。このような傾向を特定することで、注目領域を精度良く識別することが可能になる。

他の側面に係る推定システムでは、人の行動が発声であってもよい。少なくとも一つのプロセッサは、発声が所与の語句を含む場合に、該発声の時点で映っている領域を注目領域として識別してもよい。人が汚れに注目するときには、「汚い」などの特定の言葉を発することがある。このような傾向を特定することで、注目領域を精度良く識別することが可能になる。

他の側面に係る推定システムでは、少なくとも一つのプロセッサが、現実空間の構成を示す画像に注目領域の表示を重畳することで結果データを生成してもよい。このような結果データにより、清掃が必要であると推定される箇所をわかりやすく示すことができる。

他の側面に係る推定システムでは、少なくとも一つのプロセッサが、画像データを解析することで注目領域の汚れ度を推定し、汚れ度をさらに示す結果データを出力してもよい。このような結果データにより、注目領域での汚れの程度も示すことができる。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Downlink Control Information）、ＵＣＩ（Uplink Control Information））、上位レイヤシグナリング（例えば、ＲＲＣ（Radio Resource Control）シグナリング、ＭＡＣ（Medium Access Control）シグナリング、報知情報（ＭＩＢ（Master Information Block）、ＳＩＢ（System Information Block）））、その他の信号又はこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（RRC Connection Setup）メッセージ、ＲＲＣ接続再構成（RRC Connection Reconfiguration）メッセージなどであってもよい。

本開示において説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ（4th generation mobile communication system）、５Ｇ（5th generation mobile communication system）、ＦＲＡ（Future Radio Access）、ＮＲ（new Radio）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ−Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

本開示において基地局によって行われるとした特定動作は、場合によってはその上位ノード（upper node）によって行われることもある。基地局を有する１つ又は複数のネットワークノード（network nodes）からなるネットワークにおいて、端末との通信のために行われる様々な動作は、基地局及び基地局以外の他のネットワークノード（例えば、ＭＭＥ又はＳ−ＧＷなどが考えられるが、これらに限られない）の少なくとも１つによって行われ得ることは明らかである。上記において基地局以外の他のネットワークノードが１つである場合を例示したが、複数の他のネットワークノードの組み合わせ（例えば、ＭＭＥ及びＳ−ＧＷ）であってもよい。

情報等は、上位レイヤ（又は下位レイヤ）から下位レイヤ（又は上位レイヤ）へ出力され得る。複数のネットワークノードを介して入出力されてもよい。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及びシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Component Carrier）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。

本開示においては、「基地局（ＢＳ：Base Station）」、「無線基地局」、「固定局（fixed station）」、「ＮｏｄｅＢ」、「ｅＮｏｄｅＢ（ｅＮＢ）」、「ｇＮｏｄｅＢ（ｇＮＢ）」、「アクセスポイント（access point）」、「送信ポイント（transmission point）」、「受信ポイント（reception point）、「送受信ポイント（transmission/reception point）」、「セル」、「セクタ」、「セルグループ」、「キャリア」、「コンポーネントキャリア」などの用語は、互換的に使用され得る。基地局は、マクロセル、スモールセル、フェムトセル、ピコセルなどの用語で呼ばれる場合もある。

基地局は、１つ又は複数（例えば、３つ）のセルを収容することができる。基地局が複数のセルを収容する場合、基地局のカバレッジエリア全体は複数のより小さいエリアに区分でき、各々のより小さいエリアは、基地局サブシステム（例えば、屋内用の小型基地局（ＲＲＨ：Ｒｅｍｏｔｅ Ｒａｄｉｏ Ｈｅａｄ）によって通信サービスを提供することもできる。「セル」又は「セクタ」という用語は、このカバレッジにおいて通信サービスを行う基地局及び基地局サブシステムの少なくとも一方のカバレッジエリアの一部又は全体を指す。

本開示においては、「移動局（ＭＳ：Mobile Station）」、「ユーザ端末（user terminal）」、「ユーザ装置（ＵＥ：User Equipment）」、「端末」などの用語は、互換的に使用され得る。

移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。

基地局及び移動局の少なくとも一方は、送信装置、受信装置、通信装置などと呼ばれてもよい。なお、基地局及び移動局の少なくとも一方は、移動体に搭載されたデバイス、移動体自体などであってもよい。当該移動体は、乗り物（例えば、車、飛行機など）であってもよいし、無人で動く移動体（例えば、ドローン、自動運転車など）であってもよいし、ロボット（有人型又は無人型）であってもよい。なお、基地局及び移動局の少なくとも一方は、必ずしも通信動作時に移動しない装置も含む。例えば、基地局及び移動局の少なくとも一方は、センサなどのＩｏＴ（Internet of Things）機器であってもよい。

また、本開示における基地局は、ユーザ端末で読み替えてもよい。例えば、基地局及びユーザ端末間の通信を、複数のユーザ端末間の通信（例えば、Ｄ２Ｄ（Device-to-Device）、Ｖ２Ｘ（Vehicle-to-Everything）などと呼ばれてもよい）に置き換えた構成について、本開示の各態様／実施形態を適用してもよい。この場合、基地局が有する機能をユーザ端末が有する構成としてもよい。また、「上り」及び「下り」などの文言は、端末間通信に対応する文言（例えば、「サイド（side）」）で読み替えられてもよい。例えば、上りチャネル、下りチャネルなどは、サイドチャネルで読み替えられてもよい。

同様に、本開示におけるユーザ端末は、基地局で読み替えてもよい。この場合、ユーザ端末が有する機能を基地局が有する構成としてもよい。

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１…推定システム、１０…サーバ、１１…取得部、１２…解析部、１３…格納部、１４…提供部、２０…ユーザ端末、３０…データベース、４０…オペレータ端末、５０…画像データ、６０…結果データ、６２…注目領域。

Claims (8)

1. 少なくとも一つのプロセッサを備え、
   前記少なくとも一つのプロセッサが、
   カメラによって撮影された現実空間を示す画像データを取得し、
   前記画像データを解析することで、前記現実空間における人の行動を特定し、
   前記人の行動に基づいて、清掃が必要であると推定される注目領域を前記現実空間から識別し、
   前記注目領域を示す結果データを出力する、
   推定システム。
2. 前記人の行動が、視線の向き、顔の向き、指の動き、手の動き、および発声のうちの少なくとも一つである、
   請求項１に記載の推定システム。
3. 前記人の行動が前記視線の向きまたは前記顔の向きであり、
   前記少なくとも一つのプロセッサが、所与の時間以上連続して前記視線または前記顔が向いた領域を前記注目領域として識別する、
   請求項２に記載の推定システム。
4. 前記人の行動が前記視線の向きまたは前記顔の向きであり、
   前記少なくとも一つのプロセッサが、所与の回数以上前記視線または前記顔が向いた領域を前記注目領域として識別する、
   請求項２または３に記載の推定システム。
5. 前記人の行動が前記指の動きまたは前記手の動きであり、
   前記少なくとも一つのプロセッサが、前記人が前記指または前記手で指した領域を前記注目領域として識別する、
   請求項２〜４のいずれか一項に記載の推定システム。
6. 前記人の行動が前記発声であり、
   前記少なくとも一つのプロセッサが、前記発声が所与の語句を含む場合に、該発声の時点で映っている領域を前記注目領域として識別する、
   請求項２〜５のいずれか一項に記載の推定システム。
7. 前記少なくとも一つのプロセッサが、前記現実空間の構成を示す画像に前記注目領域の表示を重畳することで前記結果データを生成する、
   請求項１〜６のいずれか一項に記載の推定システム。
8. 前記少なくとも一つのプロセッサが、
   前記画像データを解析することで前記注目領域の汚れ度を推定し、
   前記汚れ度をさらに示す前記結果データを出力する、
   請求項１〜７のいずれか一項に記載の推定システム。

Images