JP2020008981A - 支援装置及びプログラム - Google Patents

Abstract

【課題】同種の対象が複数存在しうる状況においても、特定の対象が撮影されなくなったこと、又はその可能性があることを簡素な処理によって検知することのできる支援装置を提供する。【解決手段】対象者の向き及び位置と連動して撮影を行うように構成されている撮影部11と、前記撮影部11で撮影した画像において予め所定対象が特定された後に、前記対象者及び／又は当該対象者の周辺環境から取得される情報に基づき、当該対象者の向き及び／又は位置に一定の変化があったか否かを判定する変化判定部14と、前記変化判定部14にて変化があったと判定された場合に、前記撮影部11で撮影している画像において前記所定対象が撮影されていない旨の通知又は撮影されていない可能性がある旨の通知を行う通知部15と、を備える【選択図】図３

Description

本発明は、同種の対象が複数存在しうる状況においても、特定の対象が撮影されなくなったこと、又はその可能性があることを簡素な処理によって検知することのできる支援装置及びプログラムに関する。

映像の伝送を介して遠隔での作業支援等を可能とする従来技術として、特許文献１や特許文献２に開示されるものがある。

特許文献１は現場に存在する作業者に対して遠隔地に存在する支援者による遠隔支援を実現するシステムにおいて、作業者の側で取得される音声及び映像を支援者の側に伝送してその視聴を可能とすることにより、支援者に作業現場の様子を伝えると共に、支援者の側から作業者の側へと作業指示に関する音声等を伝送するものである。

特許文献２では同様のシステムにおいてマーカを利用することにより、作業者の側のカメラで撮影されたマーカの位置や姿勢から、目的とする物体の位置や姿勢を推測し、AR（拡張現実）技術を利用して支援者による書き込み指示表示を当該推測した位置や姿勢と連動させてディスプレイ上に描画することで、作業支援を実現している。

特許第3736331号 特許第6230113号

「現場作業員の逸脱動作や設備不具合の予兆を検出する画像解析システムを開発」、[online]、[平成30年3月8日検索]、インターネット＜http://www.hitachi.co.jp/New/cnews/month/2016/07/0713.html＞ 「屋内位置情報における推定技術の開発と新しいサービスの展開について」、[online]、[平成30年3月26日検索]、インターネット＜https://www.intec.co.jp/company/itj/itj13/contents/itj13_44-51.pdf＞ Bao, L., & Intille, S. S. (2004, April). Activity recognition from user-annotated acceleration data. In International Conference on Pervasive Computing (pp. 1-17). Springer, Berlin, Heidelberg. 木佐省吾, & 堀内匡. (2016). ウェアラブルセンサを用いた頭部動作認識システムの構築. 知能と情報, 28(6), 986-991. Shahmohammadi, F., Hosseini, A., King, C. E., & Sarrafzadeh, M. (2017, July). Smartwatch Based Activity Recognition Using Active Learning. In Connected Health: Applications, Systems and Engineering Technologies (CHASE), 2017 IEEE/ACM International Conference on (pp. 321-329). IEEE. Cao, Zhe, et al. "Realtime multi-person 2d pose estimation using part affinity fields." CVPR2017(2017).

以上のような従来技術においては、遠隔地で現場の映像を見ながら支援者が作業支援等をスムーズに実現するための前提として、作業者の側のカメラで撮影した現場の映像において正しく、作業支援等の対象となる本来の物体が撮影され続けていることが必要である。しかしながら、従来技術においては、現場の作業者も遠隔の支援者も気付くことなく、このような前提が成立しなくなってしまう場合、すなわち、いつの間にか本来の物体とは別のものが映像に撮影されてしまっている場合があった。この場合、本来の物体とは別の物体を対象として支援者が指示等を行うと、間違った作業が行われる等の様々な不都合が生じうることとなる。

当該前提が成立しなくなる状況は具体的には、映像撮影の対象となる現場が、狭い領域において複数の同種類の設備が互いに積み重なる等して集中して存在している現場であり、支援者によって作業などの支援対象とされる物体が、当該複数の同種類の設備のうちの１つである場合である。

当該状況の具体例となる現場として例えば、図１にその模式例を示すように、サーバルーム内においてサーバラック等に多数の同種のサーバ筐体が配置されている現場において、当該サーバ筐体のうちの１つが作業等の対象である場合を挙げることができる。図１ではすなわち、このような現場における風景FVとして、４つの互いに同一形状・同一サイズのサーバラックの棚領域R1,R2,R3,R4内にそれぞれ4台のサーバ筐体が縦並びで同一形状・同一サイズのものとして配置されている。例えば左上の棚領域R1では上から順に4台のサーバ筐体C11,C12,C13,C14が配置され、左下の棚領域R2では上から順に4台のサーバ筐体C21,C22,C23,C24が配置され、右上の棚領域R3では上から順に4台のサーバ筐体C31,C32,C33,C34が配置され、右下の棚領域R4では上から順に4台のサーバ筐体C41,C42,C43,C44が配置され、各筐体は正面から見ることで矩形状の領域となっている。図１では一部のみを切り取った風景FVとして4つの棚領域のみが示されているが、不図示のこの外部にもさらに同様に棚領域が縦横に配置され同様のサーバ筐体が規則的に配置されている。

図１のような現場の映像を撮影している場合、ある時刻t10では映像内には本来の正しい作業対象物としての左上の棚R1における上から3番目のサーバ筐体C13が撮影されているが、その後の時刻t11においては映像の撮影場所が例えば下方向にずれることにより、左下の棚R2における上から3番目のサーバ筐体C23（あるいは棚R3,R4における筐体C33,C43等）を撮影するものとなっており、模様等が同一のために本来のサーバ筐体C13が撮影されていない（すなわち、筐体C13は映像の外部領域にフレームアウトしている）ことを映像上から自動判別することもできず、現場の作業者や遠隔の支援者も同様に、本来のサーバ筐体C13が撮影されていないことに気づかない、ということが起こりうる。

なおここで、当該起こりうる作業等の環境として次を挙げることができる。例えば、現場映像を作業者の頭部に装着され作業者の向いている方向を写すカメラで取得している場合、作業者の向いている方向は作業者の動作と共に容易に変化することにより、いつの間にか別の対象物が撮影されてしまっていることが起こりうる。当該現場の作業等が緊急を要する場合等、作業者及び支援者の両方が慌てている等の心理的要因より、別の対象物が撮影されてしまっていることに気づかないことが起こりうる。さらに、遠隔地の支援者は仮に作業等に関しては詳しいとしても、現場から伝送される映像しか見ることができないため、いつの間にか映像に別の対象物が撮影されてしまっていることに気づかないことが起こりうる。

なお、本出願人による特許文献２の手法によれば、同種設備の各々に対して一意なマーカを予め付与しておくことにより、図１のような状況に対して一定の解決が可能となる。しかしながら、当該手法においても個別のマーカ付与の手間が増えることの他にも、次のような撮影制約上の困難としての問題が発生することがあった。

すなわち、マーカ画像を対象設備の近傍に貼りつけてマーカ画像と一緒に撮影することにより、対象設備を一意に認識できる場合がある。しかし、その際、マーカと対象設備は、作業端末のカメラの画角内に存在し、かつマーカは認識に十分な大きさでなくてはならない。通常、マーカを貼る場所は、作業の邪魔にならないように、作業対象の箇所から少し離れたところに貼る場合が多い。従って、カメラの画角が狭ければ狭い程、画角内に、作業の対象箇所とマーカを、認識に十分な大きさで撮影することが難しくなる、という問題点があった。

以上のような従来技術の課題に鑑み、本発明は、同種の対象が複数存在しうる状況においても、特定の対象が撮影されなくなったこと、又はその可能性があることを簡素な処理によって検知することのできる支援装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は支援装置であって、対象者の向き及び位置と連動して撮影を行うように構成されている撮影部と、前記撮影部で撮影した画像において予め所定対象が特定された後に、前記対象者及び／又は当該対象者の周辺環境から取得される情報に基づき、当該対象者の向き及び／又は位置に一定の変化があったか否かを判定する変化判定部と、前記変化判定部にて変化があったと判定された場合に、前記撮影部で撮影している画像において前記所定対象が撮影されていない旨の通知又は撮影されていない可能性がある旨の通知を行う通知部と、を備えることを特徴とする。また、コンピュータを前記支援装置として機能させるプログラムであることを特徴とする。

本発明によれば、前記対象者及び／又は当該対象者の周辺環境から取得される情報を利用した簡素な処理によって、前記所定対象が撮影されていない旨の通知又は撮影されていない可能性がある旨の通知を行うことができる。

従来技術にてスムーズな作業支援等を実現するための前提が成立しなくなる状況の模式例を示す図である。 一実施形態に係る支援システムの構成図である。 一実施形態に係る支援システムの機能ブロック図である。 その各実施形態を説明するための、変化判定部の機能ブロック図である。 一実施形態に係る支援システムの動作のフローチャートである。 判定部による閾値判定の具体例を説明するための、撮影部による撮影状態及び画角範囲に関する模式図である。

図２は、一実施形態に係る支援システムの構成図である。支援システム100は、支援装置1、遠隔装置2及び設備装置3を備える。ここで、支援装置1及び設備装置3は現場Fに存在しており、遠隔装置2は遠隔地Rに存在している。現場Fには作業支援等の対象となる対象者Tが存在すると共に、図１で説明した例えばサーバ筐体といったような複数の同種類の対象OBが配置され、そのうちの少なくとも１つが対象者Tによって作業などを実施すべき対象として予め設定されている。また、遠隔地Rには支援者SPが存在する。なお、現場Fと遠隔地Rとの間の距離の多寡は任意でよい。

ここで、支援システム100により対象者Tの現場Fにおける作業等の支援を行う際の、支援装置1、遠隔装置2及び設備装置3の概略的な構成や動作は以下の通りである。

支援装置1は、対象者Tが保持するないし身に着ける等により対象者Tと共に移動するように構成されている1つ以上の装置である。支援装置1は遠隔装置2へ現場Fの映像や音声等を送信し、遠隔装置2において当該映像等を表示等することより、遠隔地Rにいる支援者SPは現場Fの状況を対象者Tと共に把握することが可能となる。

遠隔装置2は上記のように支援装置1から送信された映像等を支援者SPに対して表示等することに加えてさらに、支援者SPの作業者Tへ向けた会話音声を含む遠隔地Rの音声や、支援者SPのマニュアル入力に基づく内容としての支援情報、及び／又は、作業者Tの作業等の内容に応じて予め設定されている内容としての支援情報を、支援装置1の側へと送信する。支援装置1の側においては当該送信された音声や支援情報等を対象者Tに提示することにより、対象者Tの作業等を支援することが可能となる。

設備装置3は現場Fに配置される１つ以上のセンサ類の装置であり、現場Fの各種の環境情報を取得して支援装置1へと送信するように構成されている。設備装置3は図示するように例えば、現場Fに設置されて現場Fの撮影を行うことで映像としての環境情報を取得するカメラC（監視カメラなど）等を含んで構成されてよく、その他にも現場Fの温度や照度等を環境情報として取得する各種のセンサを含んで構成されてよい。

なお、支援装置1、遠隔装置2及び設備装置3の間における上記の各種の情報の送受に関しては、任意の既存手法の有線又は無線による通信技術を用いてよく、情報送受に際して任意の既存手法の符号化処理及び復号処理を施すようにしてもよい。例えば映像伝送においては動画圧縮規格のH.265等に即した符号化及び復号を利用するようにしてよい。

支援システム100では以上のような概略構成及び動作によって支援装置1を介して対象者Tの作業等の支援を行うことが可能である。本発明においては特に、当該支援の際に支援装置1において対象者Tの目前の風景として撮影され遠隔装置2を介して支援者SPにも共有されている映像において、図１で説明したような特定の対象がいつの間にかフレームアウトして別の同種の対象が写ってしまっている事態が発生したことを、主として支援装置1において取得される対象者Tの動きの情報に基づいて判定し、当該判定された場合に当該事態が発生している旨の通知又は発生している可能性がある旨の通知を、対象者T及び／又は支援者SPへと伝えるようにすることができる。

図３は、一実施形態に係る当該通知を伴った支援を行うことが可能な支援システム100の機能ブロック図である。図示する通り、支援システム100において支援装置1はさらに撮影部11、認識部12、特定部13、変化判定部14、通知部15及び表示部16を備え、遠隔装置2は遠隔表示部21及び支援入力部22を備える。なお、図３では各部間での情報の授受の流れが矢印で描かれているが、当該一連の矢印は各実施形態における情報授受のうち主要なものを列挙したものであり、実施形態によっては矢印で表現されるうちの一部の情報の授受が省略される場合もあり、また、当該矢印で表現されない情報の授受が存在する場合もある。また、図３に示される各部や各装置のうちの一部が省略される実施形態も可能である。以下、図３の各部の動作を説明する。

撮影部11は、支援装置1を有する対象者Tの位置及び向きと連動して現場Fの撮影を行うように構成されており、ハードウェアとしてはカメラによって構成することができる。撮影部11で撮影して得られた映像はリアルタイムで認識部12及び遠隔表示部21へと出力されると共に、実施形態によってはさらに表示部16へも出力される。撮影部11を実現するハードウェアとしてのカメラは、対象者Tの頭部や胴体の前面側の所定位置に装着等されることにより、対象者Tの位置及び向きと連動して、対象者Tの目前にある景色を映像として取得するように構成しておくことができる。

認識部12は、撮影部11から得られる映像の各時刻のフレーム画像に対して、対象者Tが作業等を行う所定対象（サーバ筐体など）の認識を試み、認識結果を実施形態に応じて特定部13、変化判定部14、表示部16及び遠隔装置2の全部又は一部へと出力する。ここで、認識部12におけるフレーム画像からの所定対象の認識処理に関しては、任意の既存手法の認識処理を用いてよく、例えばSIFT特徴量等の局所特徴量に基づく手法を用いてもよいし、テンプレートマッチング等の手法を用いてもよい。ここで、当該認識処理においては認識される対象としての所定対象に関するリファレンス情報（リファレンスの局所特徴量やテンプレート画像など）を予め記憶しておき、フレーム画像から抽出される情報と当該リファレンス情報との一致判定に基づき、フレーム画像に所定対象が撮影されているか否かを判定するようにすればよい。

特定部13は、認識部12における認識結果に基づいて自動で、あるいは、遠隔装置2を利用する支援者SPのマニュアル判断の入力を支援入力部22を介して受信したことに基づいて、撮影部11で撮影した映像に対象者Tの作業等の対象となる所定対象（サーバ筐体等）が写っていると特定されたか否かの区別を取得する。特定部13では、これらの取得情報に基づいて、最終的に、映像中の所定対象の特定に成功したかを判断し、映像において所定対象が写っていると当該最終判断された時点（以下、時刻t0とする）において、その旨の通知を変化判定部14へと出力する。なお、その動作の一例を後述する図５のフローチャートを参照して説明するように、特定部13は後段側の変化判定部14及び通知部15が動作を開始するためのトリガ（図５でS12からS20へと至るトリガ）を、当該特定成功の判断を得た時刻t0において与える役割を果たすものである。

変化判定部14では、上記のように特定部13で所定対象が映像に写っている旨が特定された時刻t0以降の各時刻tにおいて、対象者Tの位置及び／又は向きX(t)に関して、時刻t0における対象者Tの位置及び／又は向きX(t0)を基準として一定の変化が発生したか否かを閾値判定によって判定し、一定の変化が発生したと判定された時刻t1（t1＞t0）において、当該一定の変化が発生したと判定された旨を通知部15へと出力する。変化判定部14による当該判定の詳細に関する各実施形態に関しては図４や図５を参照して後述するが、支援装置1及び／又は設備装置3において取得される対象者Tに関する情報及び／又は対象者Tの周辺環境（現場Fの環境）に関する情報に基づいて、当該判定を行うことができる。変化判定部14では、当該判定を行う期間を、認識部12による所定対象（サーバ筐体等）の認識結果において認識が成功している間に限定するようにしてもよい。当該限定する一実施形態に関しては図５を参照して後述する。

図４は、変化判定部14の各実施形態を説明するための、変化判定部14の機能ブロック図である。変化判定部14は、位置方向変化推測部141、姿勢変化推測部142、頭部動作推測部143、行動推測部144及び判定部145を備える。

位置方向変化推測部141は特定部13から上記通知を受けた時刻t0以降における対象者Tの位置及び／又は方向の変化を推測して、当該推測した位置方向変化を判定部145へ出力する。姿勢変化推測部142は特定部13から上記通知を受けた時刻t0以降における対象者Tの姿勢の変化を推測して、当該推測した姿勢変化を判定部145へ出力する。頭部動作推測部143は特定部13から上記通知を受けた時刻t0以降における対象者Tの頭部動作を推測して、当該推測した頭部動作を判定部145へ出力する。行動推測部144は特定部13から上記通知を受けた時刻t0以降における対象者Tの行動を推測して、当該推測した行動を判定部145へ出力する。

判定部145は、以上の各部141〜144から得た各情報、すなわち、位置方向変化推測部141から得た位置方向変化と、姿勢変化推測部142から得た姿勢変化と、頭部動作推測部143から得た頭部動作と、行動推測部144から得た行動と、の全部又は一部に基づいて、変化判定部14における最終的な処理として、上記の一定変化が発生したか否かを判定するものである。なお、図４の各部141〜144の詳細に関しては図５を参照して後述する。

変化判定部14において時刻t（現時刻）に上記の一定変化があったと判定された場合は、特定部13において時刻t0（過去時刻）に予め特定された所定対象（サーバ筐体等）が当該現時刻tにおいては撮影部11で撮影したフレーム画像においてはフレームアウトしており、所定対象に類似する別対象が撮影されてしまっている可能性が高いこととなる。そこで、通知部15では時刻tにおいて変化判定部14から当該一定変化があった旨の判定通知を受けた際に、対象者T及び／又は支援者SPへ向けて警告に相当する通知を行う。当該警告はすなわち、過去時刻t0において特定された所定対象が現時刻tにおいてはもはや撮影部11でのフレーム画像に撮影されていない旨、又は、撮影されていない可能性が高い旨を表すものである。

通知部15では具体例には当該警告のメッセージの音声出力処理あるいはテキスト等による表示出力処理を支援装置1及び／又は遠隔装置2において実施させるようにすることで、対象者T及び／又は支援者SPへ向けて当該通知を行うことができる。図３では、通知部15から次に説明する表示部16へと当該通知を出力することで、対象者Tに対してテキスト等による表示によって当該通知を行うことを可能とする場合が例として示されている。同様に、図３ではその情報授受の矢印表示は省略されているが、通知部15から当該通知を遠隔装置2へと送信したうえで、遠隔装置2において当該通知を支援者SPへと出力することも可能である。

表示部16は、ハードウェアとしてはディスプレイによって構成することができ、対象者Tに対して各種の情報の表示を行う。例えば、通知部15から現時刻tにおいて上記の警告通知が得られた場合に、その表示を行う。表示部16はまた、現場Fに存在する対象者Tに対する作業等の支援に関する情報の表示を行うことができる。例えば、撮影部11から得られる映像に対して、認識部12での認識結果に基づいた所定対象の位置を基準とした所定位置に、遠隔装置2の支援入力部22で入力される支援者SPの書き込み情報をAR技術を用いて重畳させて表示することで、前掲の特許文献２の手法に即した作業補助の表示を行うことができる。表示部16ではその他にも、任意の既存のAR技術に即した表示を行うようにしてよい。

なお、表示部16はヘッドマウントディスプレイ等のシースルー型ディスプレイとして構成することも可能であり、この場合はAR技術で重畳を行う際に、撮影部11で撮影したフレーム画像を必ずしも利用することなく、当該シースルー型ディスプレイを介して対象者Tに見えている実写の風景に対して各種情報の重畳を行うようにしてもよい。

遠隔装置2の側において、遠隔表示部21では撮影部11から送信された現場Fの映像を支援者SPに対して表示する。支援入力部22では支援者における判断や手書き入力その他の支援情報の入力を受け取り、当該支援情報を各実施形態に応じて特定部13及び／又は表示部16へと送信する。なお、図３ではその情報授受の流れの矢印は省略しているが、支援装置1及び遠隔装置2の間では音声が共有されてもよい。すなわち、撮影部11で撮影される映像と同期して現場Fで取得された音声が遠隔装置2へと送信されることで、遠隔表示部21での表示と同期して当該音声が出力されてもよい。同様にして逆に、遠隔装置2の側で取得された支援者SPの指示等の音声を支援装置1の側に送信して、対象者Tへと出力されるようにしてもよい。こうして、支援システム100においては遠隔装置2において現場Fの映像を支援者SPに対してリアルタイムで表示すると共に、双方向の音声の送受信によって支援装置1を用いる対象者Tと遠隔装置2を用いる支援者SPとの間でリアルタイムで通話を行うことで、支援者SPによる対象者Tの支援が可能となる。

設備装置3は既に説明した通り、ハードウェアとしてはカメラその他のセンサ類で構成することができ、変化判定部14での各実施形態に応じた環境情報を取得して当該環境情報を変化判定部14へと出力するものである。

図５は、一実施形態に係る支援システム100の動作のフローチャートである。以下、図５の各ステップを説明しながら、併せて図３及び図４で説明した変化判定部14等の詳細に関しても説明する。

ステップS10では、撮影部11が現場Fの撮影を行うことで現時刻tのフレーム画像を取得してからステップS11へと進む。ステップS11では、各実施形態によって現時刻tのフレーム画像に所定対象（サーバ筐体等）が撮影されているか否かの特定を試みてから、ステップS12へと進む。ステップS12では、直前のステップS11における特定が成功したか否かを特定部13において判定し、成功していればステップS20へと進み、失敗していればステップS13へと進む。ステップS13では現時刻tを次の時刻t+1へと更新したうえでステップS10へと戻り、当該次の時刻t+1が最新の現時刻tであるものとして、上記のステップS10以降の処理が継続される。

ここで、ステップS11における特定処理及びステップS12における判定処理は、例えば以下の(11a),(11b),(11c)の３つの実施形態のいずれかによって実施すればよい。

(11a) ステップS11の特定処理は、撮影部11で得た現時刻tのフレーム画像を遠隔装置2側に送信して遠隔表示部21に表示し、支援者SPが当該表示された現時刻tのフレーム画像を見てマニュアル判断によって、所定対象（サーバ筐体等）が撮影されているか否かを判断し、肯定判断であった場合は支援者SPが支援入力部22を介して肯定判断の旨を入力し、特定部13へと送信させるようにする。そして、ステップS12の判定処理は、特定部13において当該肯定判断の旨の受信があったか否かによって判定させるようにする。

(11b) ステップS11の特定処理は、撮影部11で得た現時刻tのフレーム画像を認識部12において画像認識することで、所定対象（サーバ筐体等）が撮影されているか否かを自動判断させるようにする。ここで、認識部12の説明で前述したように所定対象に関する局所特徴量やテンプレート画像によって画像認識すればよい。そして、ステップS12の判定処理は、当該自動判断に成功した場合に特定が成功したものと判定させるようにする。

(11c) 上記(11b)と同様に認識部12による画像認識で自動で特定及び判定させるようにするが、所定対象（サーバ筐体等）それ自体に関する局所特徴量やテンプレート画像ではなく、所定対象の近辺に予め貼り付ける等して設置しておくマーカを対象として画像認識を行い、当該マーカの特定に成功した場合に、対応する所定対象の特定に成功したものと判定する。

なお、上記(11b)及び(11c)の実施形態は組み合わせてもよい。すなわち、所定対象（サーバ筐体等）それ自体の画像認識と、近辺に予め設置されたマーカと、の両方の画像認識に成功した場合に、特定に成功したものと判定してもよい。また、上記(11b)及び／又は(11c)と、(11a)と、の実施形態を組み合わせてもよい。すなわち、画像認識に成功し、且つ、支援者SPの判断も得られた際に、特定に成功したものと判定してもよい。

ステップS20では、現時刻tを次の時刻t+1へと更新してステップS21へと進む。（こうしてステップS21では当該更新された次の時刻を現時刻tとして処理が行われることとなる。）ステップS21では、撮影部11が現場Fの撮影を行うことで現時刻tのフレーム画像を取得してからステップS22へと進む。ステップS22では、ステップS21で得られた現時刻tのフレーム画像に対して認識部12が所定対象（サーバ筐体等）の認識を試みてからステップS23へと進む。ステップS23では、ステップS22における認識処理が成功したか否かによって場合分けを行い、成功していればステップS30へと進み、失敗していればステップS20へと戻る。

なお、ステップS22における認識部12による認識処理は、前述した(11b)の場合と同様に、所定対象（サーバ筐体等）それ自体に対する局所特徴量やテンプレート画像を用いて行うようにすればよい。

ステップS30では、変化判定部14が、自身（支援装置1自身）において継続取得している対象者Tに関する情報、及び／又は、設備装置3において継続取得されている対象者Tの周辺環境に関する情報を参照してから、ステップS31へと進む。ステップS31では、ステップS30で当該参照した情報を解析することにより、現時刻tにおける対象者Tの位置及び／又は向きX(t)が、特定部13で所定対象（サーバ筐体等）が映像に写っている旨が特定された時刻t0の位置及び／又は向きX(t0)を基準として一定変化が発生したか否かを変化判定部14が判定することに基づき、現時刻tにおける撮影部11で撮影したフレーム画像における対象が、特定された時刻t0において写っていた対象と同一であるか否かを判定してから、ステップS32へと進む。ステップS32ではステップS31での判定結果によって場合分けが行われ、肯定判定（同一である判定）の場合にはステップS33へと進み、否定判定（同一ではない判定）の場合にはステップS40へと進む。

具体例にステップS31では、現時刻tの位置及び／又は向きX(t)に一定変化が発生したと判定される場合には、特定された時刻t0において写っていた対象とは別対象が現時刻tのフレーム画像に写っているものとして、同一ではないと否定判定を得ることで、次のステップS32からステップS40へと進むようにする。逆に、ステップS31にて現時刻tの位置及び／又は向きX(t)に一定変化が発生していないと判定される場合には、特定された時刻t0において写っていた対象と同一の対象が現時刻tのフレーム画像にも写っているものとして肯定判定を得ることで、次のステップS32からステップS33へと進むようにする。

なお、ステップS31で現時刻tの位置及び／又は向きX(t)における一定変化の発生有無を判定するための基準となる特定部13にて特定された時刻t0とは、図５のフローにおいては、ステップS12にて肯定判定を得た直近の過去時刻である。また、ステップS30において参照する情報とは、当該特定された時刻t0から現時刻tまでに継続的に取得されている情報である。当該情報を継続的に取得する処理については図５のフロー内では個別のステップとしては明示されていないが、ステップS12で肯定判定を得た時刻t0以降において当該情報の継続取得を行っておくものとする。

ステップS33では、支援装置1を介して対象者Tへの支援を実施してから、ステップS20へと戻る。当該支援には例えば、表示部16に関して前述したように、表示部16において前掲の特許文献２の手法等によるAR技術での表示を行うようにすればよい。ステップS40では、通知部15によって対象者T及び／又は支援者SPに対して前述の警告に相当する通知を行ってから、ステップS10へと戻る。

以上、図５のフローの各ステップを説明した。以下、当該説明したうちのステップS30及びS31における変化判定部14の処理の各実施形態を説明する。既に図４を参照して説明したように、変化判定部14に備わる各部141〜144による各実施形態が可能であり、その詳細はそれぞれ以下の＜１＞〜＜４＞の通りである。

＜１＞ 位置方向変化推測部141により、各種センサ類で継続取得された情報を用いて、特定された時刻t0を基準とした現時刻tの対象者Tの位置及び／又は方向の変化を推測することができる。具体的には、以下の(141a),(141b),(141c),(141d)の各実施形態が可能である。

(141a) 現場Fの全体を撮影可能なカメラを用意しておくことで、対象者Tの様子を当該カメラにて撮影し、撮影画像から時刻t0,t1間での対象者Tの位置及び方向の変化を取得する。ここで、当該取得する手法は例えば前掲の非特許文献１の手法を用いればよい。また、当該用意しておくカメラは、図２のカメラCのように設備装置3に備わるものとして用意しておけばよい。

(141b) 超音波ビーコン、RTF、コーナーソナーなどを設備装置3に備わるものとして現場Fに設置して、対象者Tが携帯する端末（すなわち、支援装置1）とWifi（登録商標）や超音波などを使って通信して対象者Tの位置を取得すると共に、加速度センサ、ジャイロセンサ、地磁気センサなどを利用して作業者の位置の変化および方向を推測する。具体的には例えば、現場Fは屋内として構成したうえで、前掲の非特許文献２のハイブリッド位置推定の手法を利用すればよい。

(141c) 温度、湿度、照度、気圧、粉塵、騒音、匂い、紫外線量、ＧＰＳ（全地球測位システム）といった環境センサを、対象者Tが身に付けたり、作業等の現場Fに設置したりすることにより、すなわち、支援装置1及び／又は設備装置3に備わるものとして当該環境センサを設けておくことにより、作業中の環境に関するデータをリアルタイムで取得すると共に、予め現場F内で区分けして定義された各領域での当該データの標準値を支援装置1内のデータベースに登録しておくことで、当該登録値と取得値との照合によって、対象者Tの居場所や方向を推測できる。ここで、環境データだけでは位置を厳密に推測することはできないが、例えば、温度を計測することにより溶接や塗装の作業現場への、湿度を計測することにより粉末食品製造ラインの作業現場への、照度を計測することにより精密機械や電子部品の製造現場への、対象者Tの入退室等を検知できる場合がある。すなわち、現場F内で予め区切って設定しておく領域単位での対象者Tの位置及び／又は向きの検知が可能となる場合がある。例えば、現場Fの個別具体的な実状に応じて、温度が高温と判定されれば作業室外、温度が低温と判定されれば作業室内、といった位置検知が可能である。

さらに、環境データに基づいて当該検知をした場合には、それぞれの作業現場等の領域に設置しておく前述の(141a)及び／又は(141b)の設備を利用して、当該作業現場等の内部における作業者の位置や方向を推測するようにしてもよい。すなわち、(141a)及び／又は(141b)の実施形態と、当該(141c)の実施形態と、を組み合わせることも可能である。

(141d) 心拍、心脈、脳波などを取得するバイオロジカルセンサを対象者Tが身につけることにより、すなわち、当該バイオロジカルセンサを例えばウェアラブル端末として構成された支援装置1に備わるものとして設けておくことにより、作業等の活動中の対象者Tのバイオロジカルデータとしてリラックス度やストレス度をリアルタイムに取得し、それらの変化から作業内容の変化や、作業現場への入退室を検知することが可能な場合がある。（例えば、想定している個別具体的な作業等の活動内容が激しめの運動を伴うものである場合であれば、心拍の高低で作業中かそうでないかを区別できる。）この場合、前述の(141c)で事前登録のデータベースを用いるのと同様に、作業内容及び／又は作業位置（領域単位で定義される位置でもよい）に応じたバイオロジカルデータの標準値を予め支援装置1内のデータベースに登録しておき、当該登録値と実際の取得値とを照合することで作業内容及び／又は作業位置を検知すればよい。

さらに、バイオロジカルデータに基づいて当該検知をした場合には、それぞれの作業現場等の領域に設置しておく前述の(141a)及び／又は(141b)の設備を利用して、当該作業現場等の内部における作業者の位置や方向を推測するようにしてもよい。すなわち、(141a)及び／又は(141b)の実施形態と、当該(141d)の実施形態と、を組み合わせることも可能である。

＜２＞ 姿勢変化推測部142により、各種センサ類で継続取得された情報を用いて、特定された時刻t0を基準とした現時刻tの対象者Tの姿勢の変化を推測することができる。ここで、過去時刻t0と現時刻tとのそれぞれにおける姿勢推定に関しては、以下の(142a)の画像解析に基づく推定又は(142b)のセンサデータに基づく推定を用いるようにすればよい。

(142a) 立位、座位、中腰、しゃがんだ姿勢、臥位といった対象者Tの姿勢を、作業等の現場Fに設置したカメラで得られる対象者Tの全身が写った画像を解析することにより、骨格を推測して取得することができる。ここで、当該設置するカメラは(141a)の場合と同様に、図２のカメラCのように設備装置3に備わるものとして用意しておけばよい。また、画像の解析により骨格（スケルトンデータ）を推測する手法としては、前掲の非特許文献６等の任意の既存手法を用いてよい。

(142b) 加速度センサ、ジャイロセンサ、地磁気センサなどを体の各部につけてデータを取得し、当該データを所定アルゴリズムで解析することにより、歩く、走る、座る、かがむ、しゃがむ、寝そべる、といった対象者Tのジェスチャや姿勢を推測することができる。ここで、当該各センサは、例えばウェアラブル端末として構成された支援装置1に備わるものとして設けておけばよい。また、当該データを解析することによるジェスチャや姿勢の推測には例えば、前掲の非特許文献４における行動認識手法等の、任意の既存手法を用いればよい。

＜３＞ 頭部動作推測部143により、各種センサ類で継続取得された情報を用いて、特定された時刻t0から現時刻tまでの対象者Tの頭部動作を推測し、当該頭部の位置及び／又は向きの時刻t0,t間での変化を推測することができる。

具体的には例えば、前掲の非特許文献５等の既存手法を用いて頭部動作推測部143を実現することができる。すなわち、支援装置1を例えばスマートグラス等の、頭部に装着されるウェアラブル端末を含めて構成しておき、当該スマートグラス等に付属の加速度センサ、ジャイロセンサ、地磁気センサ等を使って対象者Tの頭の動き（位置及び／又は方向の変化）を計測することができる。当該計測された頭の動きは、対象者Tの視線の位置や方向の変化に対応するものとなる。

＜４＞ 行動推測部144により、各種センサ類で継続取得された情報を用いて、特定された時刻t0から現時刻tまでの対象者Tの行動を推測することができる。

ここで、行動推測に関しては具体的には例えば、前掲の非特許文献５等の既存手法を用いて、手の動作（作業内容）として推測することができる。すなわち、支援装置1を例えばスマートウォッチ等の対象者Tの利き手に装着するウェアラブル端末を含めて構成しておき、当該スマートウォッチ等に付属の加速度センサ、ジャイロセンサ、地磁気センサ等を使って、スマートウォッチ等を装着した腕や手首や指の動き、および手を使った操作の内容（例：手を振る、上げる、下げる、スイッチを押す、ネジを回す...）を推測することができる。

以上、＜１＞〜＜４＞と分けて、各部141〜144によるステップS30及びS31における変化判定部14の各実施形態を説明した。なお、いずれの実施形態においても、ステップS31での判定は取得した各種の変化等に関する情報に対して予め設定しておく閾値判定により、判定部145において一定変化があったか否かを判定すればよい。各部141〜144のうち複数を組み合わせる実施形態の場合も同様に、判定部145において当該複数の変化等に関する情報により所定の計算式等により変化量の総合スコア等を求め、当該総合スコア等に対する閾値判定によって一定変化があったか否かを判定すればよい。例えば、環境の変化や体勢の崩れにより作業者が視線を宙に浮かせてしまい、認識部12が作業者の視界の中の間違った設備に対して間違って認識をしてしまった場合であっても、最終的には、本来の認識対象ではないと、正しい判断を下すことができる。

各部141〜144の一部又は全部を組み合わせたうえで、判定部145において最終的な判定を行う一実施形態として例えば次が可能である。S30で対象者の位置、対象者の姿勢又は作業内容、対象者の頭部の動作又は視線の方向、などを取得することにより、S31及びS32で作業者が対象の設備（S11及びS12で特定された所定対象）を見ることができない、と判断した場合、S40に進むようにしてよい。そのためには予め支援装置1内のデータベース（不図示）に、ルールベースによる判断を可能とする情報として、個々の設備に関して、それぞれを対象とする場合の、[1]設備を見ることができる位置（もしくは見ることができない位置）、[2]作業者が[1]の位置にいる場合に対象設備を見ることが可能な姿勢又は作業内容（もしくは見ることができない姿勢又は作業内容）、[3]作業者が[1]の位置にいて[2]の姿勢を取っているときに対象設備をみることができる頭部の動作又は視線方向（もしくは見ることができない頭部の動作又は視線方向）を登録しておき、S31及びS32で使用するのもよい。すなわち、[1]位置、[2]姿勢又は作業内容、[3]頭部動作又は視線方向に基づいた予め設定されたルールによって見ることができるか否かを判定し、ステップS11及びS12で特定された所定対象との同一性の判断（ステップS31,S32）を、当該見ることができるか否かによって判断する（見ることができれば同一であり、でなければ同一でないと判断する）ようにしてよい。なお、上記の登録内容が身長など作業者の体形によって変わる場合は、作業者の体形に応じてデータを登録する。また、上記の[1]〜[3]によるルールベース判断の他にも、各部141〜144の全部又は一部から得られる情報を用いて判定部145において所定のルールベース判断を行うようにしてもよい。

次に、図６を参照して判定部145による閾値判定の具体例を示す。ここでは、各部141〜144の全部又は一部による推測によって、対象者Tの見えている景色を撮影するカメラとしての撮影部11は常に所定対象（サーバ筐体等）の配置される平面PL1に対して正面の向きに概ね保たれており、当該平面との距離dも概ね一定値を保ったままで、平面PL1から距離dだけ離れた平面上において撮影部11が並進移動のみしている場合における、当該並進移動量に関する閾値判定を例として示すこととする。

なお、撮影部11における当該並進移動量は、各部141〜144のうち、空間的な位置を推測することが可能なものにより推測して取得することができる。また、撮影部11が常に正面を向いていることは、特定部13における特定を正面の状態において行った後に、各部141〜144のうち、空間的な方向の推測が可能なものにより、当該方向が概ね変化しないものとして推測することができる。

図６では、[1]に示すように、平面PL2は水平面としての地面であり、所定対象（サーバ筐体等）はサーバラックの面などの鉛直な平面PL1上に、水平方向の幅W及び鉛直方向の高さHを有するものとして示されており、上記したように撮影部11は当該平面PL1に対して距離d（[1]では不図示）だけ離れて常に平面PL1を正面の向きで撮影し、平面PL1と平行に並進移動のみするものとする。

さらに、図６にて[2]に示すように、撮影部11を構成するカメラの水平方向の画角をθ_wとすると、当該カメラから距離dだけ離れた位置（すなわち、[1]の平面PL1上の位置）において当該カメラが撮影可能な水平方向の最大距離範囲（画角内の最大距離）は、図示する通りの高さd、頂角θ_wの二等辺三角形における底辺の長さとして以下の通りである。
距離dで撮影可能な水平方向の最大距離範囲=2d×tan(θ_w/2) …(eq-1)

図６では示されていないが全く同様に、（[2]の2箇所のθ_wをθ_hへと置き換えることで、）撮影部11を構成するカメラの垂直方向の画角をθ_hとすると、当該カメラから距離dだけ離れた位置（すなわち、[1]の平面PL1上の位置）において当該カメラが撮影可能な垂直方向の最大距離範囲（画角内の最大距離）は以下の通りである。
距離dで撮影可能な垂直方向の最大距離範囲=2d×tan(θ_h/2) …(eq-2)

ここで、撮影部11の平面PL1と平行な平面上での、特定された時刻t0と現時刻t間における並進移動量として推定される、水平方向の対象者Tの視線の先の位置の変化をα_w,垂直方向の変化をα_hとすると、以上の式(eq-1),(eq-2)を前提として、カメラの画角と撮影されている所定対象（サーバ筐体等）の大きさとの関係に基づく当該並進移動量(α_w,α_h)に対する閾値判定を行うことができる。

カメラの画角内に、特定された所定対象（サーバ筐体等）と同一仕様で幅W高さHとなる対象を、水平方向、および垂直方向にそれぞれｎ個以上(n+1)個未満を配置できる場合(nは1，2，3、...）、
(1/n)×d×tan(θ_w/2) ≧(W/2)> 1/(n+1)×d×tan(θ_w/2) …(eq-3)
(1/n) ×d×tan(θ_h/2) ≧(H/2)> 1/(n+1) ×d×tan(θ_h/2) …(eq-4)
である。なおここでは、カメラの当該画角範囲内にその全体が撮影されている水平方向n個、垂直方向n個の合計n×n個（1個以上）の複数のサーバ筐体等（互いに隙間なく配置されているもの）をセットとして、当該セット全体を図５のステップS12にて特定された所定対象とする場合を考えている。

従って、推定された時刻t0,t間の並進移動量(α_w,α_h)に対して、
α_w≧1/（n+1)×2d×tan(θ_w/2) または α_h≧1/（n+1)×2d×tan(θ_h/2) …(eq-5)
のとき、カメラが写している対象物は、図５のステップS12で特定された旨を判定された対象物とは別の対象物である旨の推測ができる。なぜならば、当該条件(eq-5)を満たす場合にはn×n個の全体のうち少なくとも、画像の端の部分に位置しているものがフレームアウトしていると判定できるからである。（例えば、n=1の場合であれば当該条件(eq-5)は画角範囲の1/2以上の動きがあることに相当し、従って合計1個の対象物も1/2以上の長さの割合でフレームアウトすることとなる。また例えばn=2の場合であれば当該条件(eq-5)は画角範囲の1/3以上の動きがあることに相当し、合計2×2=4個の対象物の各々のサイズは画角範囲の1/2のサイズなので、画角範囲の1/3の動きがあれば画像の端にある対象物は1/3÷1/2=2/3の長さの割合でフレームアウトすることとなる。）
従って、水平方向の閾値を1/（n+1)×2d×tan(θ_w/2)とし、垂直方向の閾値を1/（n+1)×2d×tan(θ_h/2)とすることで、式(eq-5)が成立する場合に、図５のステップS32における否定判定（特定された所定対象と同一の対象はもはやフレーム画像には写っていない旨の判定）を得るようにすればよい。

以上、図６のもとでの式(eq-1)〜(eq5)によって、判定部145での閾値判定の例を説明した。なお、幅W、高さH、水平方向の画角θ_w、垂直方向の画角θ_hは、その値を予め所定値として与えておくことで、閾値判定を行うことができる。距離dに関しては、撮影部11の取得する画像に対応する深度を取得可能なセンサを支援装置1に備わるものとして設けておくことで、その場で取得するようにしてもよいし、個別具体的な作業内容等に応じて距離dが予め定まっている場合はその値を所定値として与えておくようにしてもよい。

当該閾値判定の例においては距離dが概ね一定であり特定された所定対象（サーバ筐体等）と平行な平面上において並進移動のみを伴う等の前提を設けたが、より一般には、当該前提を設けず、次のように判定してもよい。すなわち、各部141〜144により（対象者Tの位置及び／又は向きの変化と一致するものとして）推定される撮影部11の3次元空間内での位置及び／又は向きの変化によって、撮影部11の撮影範囲（当該位置及び／又は向きと連動する、四角錐で表される画角範囲内）から、時刻t0に特定された所定対象が現時刻tにおいてフレームアウトするか否かを判断するようにすればよい。（なお、前述した[1]位置、[2]姿勢又は作業内容、[3]頭部動作又は視線方向などによるルールベースの判定も、対象設備（所定対象）に対して予め与えられている位置情報等を考慮したうえでのこのようなフレームアウト判定の一例に該当するものである。）

なおこの場合、時刻t0で所定対象を特定した際に、その3次元空間内での位置姿勢も推定しておく必要があるが、当該位置姿勢はAR技術やCG（コンピュータグラフィックス）技術の分野において既知の平面射影変換行列の形で推定することができる。この場合、特定部13及び認識部12では、前述の(11c)の実施形態においてマーカとして例えば正方マーカを利用し、当該正方マーカの4頂点の座標に基づいて当該平面射影変換行列を計算することができる。すなわち、正方マーカを正面所定距離等の所定配置で撮影した際の当該4頂点の座標と、撮影部11で撮影された画像フレームにおける当該4頂点の座標と、を互いに変換する関係として、当該平面射影変換行列を計算することができる。また、(11b)の実施形態においても同様に、局所特徴量の特徴点座標（4点以上）に基づいて当該平面射影変換行列を計算することができる。

以上、本発明によれば、限られたエリアに複数の同一仕様の設備等が密集して配置されている作業等の現場Fにおいて、画像認識技術だけでは同一仕様設備間の違いを認識できない場合（例えば、同一仕様の別の設備を作業対象の設備だと間違って認識してしまった場合）であっても、従って、映像上においても人手では違いを認識できない又は認識が困難な場合であっても、対象者Tやその周辺の状況の変化を示すセンサデータを取得することにより、作業等の対象者Tによる活動に関連した対象が目的の設備等であるか否かを推測することができる。この際、対象者Tが身に付けたウェアラブル端末（を含めて構成可能な支援装置1）や、作業等の現場Fに設置した端末（を含めて構成可能な設備装置3）に内蔵のセンサやカメラを利用することにより、対象者Tに負担をかけずに対象者Tの状況を正確に、また、一般的に市販等されており汎用的に利用可能な装置類を用いて安価に、そしてさらに、速やかに、取得することができる。以下、本発明の変形例等に関する補足説明を行う。

（１）以上の説明では支援システム100により支援者SPが対象者Tの作業支援（例えば、サーバのメンテナンス作業等）を行う場合を例としたが、当該作業は任意のものでよい。さらに、作業という用途に限らず、その他の任意の対象者Tの活動に関する用途についても、支援者SPによる対象者Tへの遠隔での支援や助言を同様の構成の支援システム100によって行うことが可能である。

（２）通知部15においては、図５のステップS40において所定対象（サーバ筐体等）が撮影されていない又はその可能性がある旨の通知を行う際に、併せて当該所定対象への誘導指示を出力するようにしてもよい。当該誘導指示は、ステップS30,S31,S32において変化判定部14が判定処理を行う際に用いた、特定された時刻t0と現時刻tとの間において各部141〜144により推定された対象者Tの向き及び／又は位置の変化に基づいて、当該推定された変化の逆向きへと誘導することで、撮影部11が再度、時刻t0で特定されたのと同一対象を撮影している状態となることを促すものとして生成するようにすればよい。

ここで、誘導指示は、表示情報又は音声として生成してよい。例えば、表示部16を介して作業補助等のために利用したのと同様に、AR技術によって現時刻tの撮影部11が撮影した画像フレームに対して矢印表示として生成してもよい。例えば、図６の例で並進移動量(α_w,α_h)を推定したのであれば、この逆向きである(-α_w,-α_h)の向きの矢印を画像等の上に重畳するようにしてよい。同様に、位置及び／又は向きの変化を3次元空間内において推定したのであれば、対応する矢印等の重畳表示を行うようにしてよい。また、同様の内容をテキストメッセージとして表示してもよいし、音声で通知するようにしてもよい。

（３）図５のフローの動作において、S23からS20へ戻ることになる場合の意義は次の通りである。すなわち、当該戻ることを継続している場合の典型例として次の2通りが想定される。（３−１）ふと対象物の下を見て画像からフレームアウトした等によってそもそも所定対象が写っておらず、且つ、所定対象と同一仕様の別対象も写っていない。従って、画像認識は失敗するが、警告通知を行う必要がない。（３−２）対象者Tが素早く動いたり、揺れたりしていることにより、画像にブレ等が発生しており、所定対象を画像認識することができない状態にある。従って、画像認識に失敗し、且つ、そもそも警告通知を行うのに適した画像状態でもない。これら（３−１）及び（３−２）のいずれの場合であっても、再度認識に成功するようになった時点（S23からS20へ戻るのではなく、肯定判定でS30へ進むようになった時点）において、通知を行うか否かを判定（S32）することで、本発明の支援装置1は適切に動作することができる。

（４）支援装置1、遠隔装置2及び設備装置3のそれぞれは一般的な構成のコンピュータとして実現可能である。すなわち、CPU（中央演算装置）、当該CPUにワークエリアを提供する主記憶装置、ハードディスクやSSDその他で構成可能な補助記憶装置、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース、ネットワークに接続して通信を行うための通信インタフェース、表示を行うディスプレイ、カメラ及びこれらを接続するバスを備えるような、一般的なコンピュータによって各装置を構成することができる。（一部の構成が省略されてもよい。）さらに、図３に示す各装置の各部の処理はそれぞれ、当該処理を実行させるプログラムを読み込んで実行するCPUによって実現することができるが、任意の一部の処理を別途の専用回路等（GPUを含む）において実現するようにしてもよい。支援装置1に関しては詳細を説明してきたセンサ類を備えるものとして、１つ以上のウェアラブル端末（スマートグラス、ヘッドマウントディスプレイ、心拍その他を計測可能なリストバンド等）をさらに備えて構成され、無線などで当該ウェアラブル端末のデータを集計して送信する構成となっていてもよい。

100…支援システム、1…支援装置、2…遠隔装置、3…設備装置、11…撮影部、12…認識部、13…特定部、14…変化判定部、15…通知部、16…表示部、21…遠隔表示部、22…支援入力部

Claims (11)

1. 対象者の向き及び位置と連動して撮影を行うように構成されている撮影部と、
   前記撮影部で撮影した画像において予め所定対象が特定された後に、前記対象者及び／又は当該対象者の周辺環境から取得される情報に基づき、当該対象者の向き及び／又は位置に一定の変化があったか否かを判定する変化判定部と、
   前記変化判定部にて変化があったと判定された場合に、前記撮影部で撮影している画像において前記所定対象が撮影されていない旨の通知又は撮影されていない可能性がある旨の通知を行う通知部と、を備えることを特徴とする支援装置。
2. 前記変化判定部では、前記取得される情報において、前記対象者に装着される加速度センサ、ジャイロセンサ及び地磁気センサのうちの少なくともいずれかから取得される情報が含まれており、当該含まれる情報に基づいて、前記対象者の向き及び／又は位置に関する情報として当該対象者のジェスチャ及び／又は姿勢を推定することを特徴とする請求項１に記載の支援装置。
3. 前記変化判定部では、前記取得される情報において、前記対象者に装着されたバイオロジカルセンサから取得されるバイオロジカルデータが含まれており、当該バイオロジカルデータを所与のデータベースと照合することによって前記対象者の向き及び／又は位置に関する情報として、当該対象者の活動内容及び／又は位置を推定することを特徴とする請求項１または２に記載の支援装置。
4. 前記変化判定部では、前記取得される情報において、前記対象者の存在する現場に配置された、または、当該対象者に装着された環境センサから取得される環境情報が含まれており、当該環境情報を所与のデータベースと照合することによって前記対象者の向き及び／又は位置に関する情報を推定することを特徴とする請求項１ないし３のいずれかに記載の支援装置。
5. 前記変化判定部では、前記取得される情報において、前記対象者の存在する現場に配置されたカメラによって撮影される当該対象者が撮影された現場画像が含まれており、当該現場画像を解析することによって、当該対象者の向き及び／又は位置に関する情報として当該対象者の姿勢を推定することを特徴とする請求項１ないし４のいずれかに記載の支援装置。
6. 前記変化判定部では、前記取得される情報に基づいて、前記対象者の向き及び／又は位置の変化と連動する前記撮影部が撮影する範囲の変化を推定することで、前記予め特定された所定対象が当該撮影する範囲からフレームアウトしたか否かを判定し、当該フレームアウトしたものと判定された場合に、前記一定の変化があったものとして判定することを特徴とする請求項１ないし５のいずれかに記載の支援装置。
7. 前記撮影部で撮影した画像において前記所定対象の認識を試みる認識部をさらに備え、
   前記変化判定部では、前記撮影部で撮影した画像において予め前記所定対象が特定された後において、前記認識部によって前記所定対象の認識に成功している間に、前記対象者の向き及び／又は位置に一定の変化があったか否かを判定することを特徴とする請求項１ないし６に記載の支援装置。
8. 前記通知部はさらに、前記変化判定部にて変化があったと判定された場合に、前記変化判定部にて判定された前記対象者の向き及び／又は位置の変化に基づいて、前記撮影部における撮影状態を、前記所定対象を撮影している状態へと誘導するための誘導指示を出力することを特徴とする請求項１ないし７のいずれかに記載の支援装置。
9. 前記撮影部で撮影した画像を、前記対象者を支援する支援者が利用する装置へ向けて送信する機能をさらに備えることを特徴とする請求項１ないし８のいずれかに記載の支援装置。
10. 前記支援者が利用する装置から送信される、前記支援者によって入力された前記対象者に対する支援情報及び／又は音声を受信し、当該支援情報及び／又は音声を前記対象者に提示する機能をさらに備えることを特徴とする請求項１ないし９のいずれかに記載の支援装置。
11. コンピュータを請求項１ないし１０のいずれかに記載の支援装置として機能させることを特徴とするプログラム。

Images