JP2018036847A - 情報処理システム - Google Patents
情報処理システム Download PDFInfo
- Publication number
- JP2018036847A JP2018036847A JP2016169377A JP2016169377A JP2018036847A JP 2018036847 A JP2018036847 A JP 2018036847A JP 2016169377 A JP2016169377 A JP 2016169377A JP 2016169377 A JP2016169377 A JP 2016169377A JP 2018036847 A JP2018036847 A JP 2018036847A
- Authority
- JP
- Japan
- Prior art keywords
- display device
- information
- display
- information processing
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】 本発明は、死角となっている領域のうち、状況に応じて任意に指定される注目領域の情報を、前記利用者に提供可能とすることを目的とする。
【解決手段】 上記課題を解決するため、本発明に係る情報処理システムは、任意の位置姿勢で配置される表示装置2と、前記表示装置と通信可能なサーバ装置7を有し、前記表示装置2の位置姿勢を表す情報を取得し、少なくとも取得された前記表示装置2の位置姿勢を表す情報に基づいて、所定の空間のうち、前記表示装置による表示出力が行われる表示面に向かう利用者または前記表示装置2に備えられた撮像装置105にとって死角に相当する領域の一部である注目領域を特定し、前記所定の空間に設置された1以上の撮像装置が撮像する映像のうち、前記注目領域を撮像範囲に含む映像を選択し、前記選択された映像によって、前記表示面に、前記注目領域の状況を表す情報を表示させる。
【選択図】 図3
【解決手段】 上記課題を解決するため、本発明に係る情報処理システムは、任意の位置姿勢で配置される表示装置2と、前記表示装置と通信可能なサーバ装置7を有し、前記表示装置2の位置姿勢を表す情報を取得し、少なくとも取得された前記表示装置2の位置姿勢を表す情報に基づいて、所定の空間のうち、前記表示装置による表示出力が行われる表示面に向かう利用者または前記表示装置2に備えられた撮像装置105にとって死角に相当する領域の一部である注目領域を特定し、前記所定の空間に設置された1以上の撮像装置が撮像する映像のうち、前記注目領域を撮像範囲に含む映像を選択し、前記選択された映像によって、前記表示面に、前記注目領域の状況を表す情報を表示させる。
【選択図】 図3
Description
本発明は、利用者に、直接目視することが困難な領域の状態に関する情報を提供するシステムに関する。
屋内、屋外を問わず、現実世界には様々な物体が存在し、ある位置に存在する人物にとって、それらの物体が遮蔽物となる場合がある。その人物にとって、遮蔽物によって隠される領域、例えば、壁で遮られた部屋の中やビルの向こう側等は死角となり、目視で状況確認をすることが困難となる。特許文献1では、運転中に周囲の自動車などの遮蔽物によって利用者の視界が遮られ、道路標識や建物など利用者が着目する場所が見難くなる問題を解消するため、利用者に拡張された視界を提供する。その方法として、利用者の周囲のリアルタイム映像の中で、予め定められた着目する場所が遮蔽されている場合、該着目する場所を撮像した画像を、リアルタイム映像の対応部分に重畳させた状態で、車のガラスやヘッドマウントディスプレイ上に表示する。
特許文献1では、予め着目する場所を決められない場合ついては言及されていない。
本発明は、死角となっている領域のうち、状況に応じて任意に指定される注目領域の情報を、前記利用者に提供可能とすることを目的とする。
本発明は、死角となっている領域のうち、状況に応じて任意に指定される注目領域の情報を、前記利用者に提供可能とすることを目的とする。
上記課題を解決するため、本発明に係る情報処理システムは、任意の位置姿勢で配置される表示装置と、前記表示装置と通信可能なサーバ装置を有し、前記表示装置の位置姿勢を表す情報を取得する取得手段と、取得された前記表示装置の位置姿勢を表す情報に基づいて、所定の空間のうち、前記表示装置による表示出力が行われる表示面に向かう利用者または前記表示装置に備えられた撮像部にとって死角に相当する領域の一部である注目領域を特定する特定手段と、前記所定の空間に設置された1以上の撮像装置によって撮像される映像のうち、前記注目領域を撮像範囲に含む映像を選択する選択手段と、前記選択された映像によって、前記表示面に、前記注目領域の状況を表す情報を表示させる表示制御手段と、を備える。
本発明によれば、死角となっている領域のうち、状況に応じて任意に指定される注目領域の情報を、前記利用者に提供可能とすることができる。
以下、図面を参照して,本発明の好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず,本発明はこれに限定されるものではない。
<システム構成の説明>
図1は、本実施形態に係る情報処理システムの使用環境の一例を示す図である。本実施形態では、利用者1が携帯する表示装置2と、ネットワーク8を介して通信可能なサーバ装置7を備える情報処理システムを説明する。また、本実施形態のサーバ装置7は、ネットワーク8を介し1以上の撮像装置と接続される。撮像装置の一例として、図1では複数のネットワークカメラ6が設置されている。
図1は、本実施形態に係る情報処理システムの使用環境の一例を示す図である。本実施形態では、利用者1が携帯する表示装置2と、ネットワーク8を介して通信可能なサーバ装置7を備える情報処理システムを説明する。また、本実施形態のサーバ装置7は、ネットワーク8を介し1以上の撮像装置と接続される。撮像装置の一例として、図1では複数のネットワークカメラ6が設置されている。
図1では、表示装置2は、携帯可能なサイズの情報処理装置であり、例えば屋内など暗い場所を巡回警備する利用者1によって利用される場面を想定する。また第1実施形態では、表示装置2が、屋内など暗い場所を巡回警備する利用者1が、普段から使用する頻度の高いデバイスである懐中電灯(トーチ)としての機能を備えていてもよい。図1において、3は撮像装置であり、4は出力装置として機能するプロジェクタである。撮像装置3は、プロジェクタ4と同一の方向を向くように設置されている。従って、撮像装置3は、プロジェクタ4からの投影光が照射される面の状態を撮像可能となる。本実施形態では、プロジェクタ4が表示出力を行う。図1において5は、プロジェクタ4によって壁に投影された投影画像である。本実施形態では、プロジェクタ4は、サーバ装置7あるいはネットワークカメラ6から表示装置2に通知される各種情報を、利用者1に提示するために画像や文字情報を含む投影画像5として出力する。そして、表示装置2が出力する情報には、ネットワークカメラ6によって撮像された過去あるいは現在の映像、あるいは該映像を解析することで得られた情報を表す文字情報等が含まれる。例えば、利用者1には直接目視できないドア10の内側の室内(不図示)等にもネットワークカメラ6が設置されているとする。室内の状況が所定の条件を満たす場合、投影画像5に、室内に設置されたネットワークカメラ6によって撮像された映像等を含ませることで、情報処理システムは、利用者1が直接目視できない室内の情報を、利用者1に提供する。例えば、所定の条件は、ネットワークカメラ6に撮像された映像に基づいて、所定のイベントが検出されたことである。イベントの例としては、ネットワークカメラ6が撮像する範囲に常設されているはずの物体が撮像範囲から消失したことを示す持ち去り検知イベント等や、撮像範囲に存在しないはずの物体が存在することを示す置き去り検知イベントがある。例えば、ネットワークカメラ6の撮像範囲に存在する消火器11が、ある時刻から撮像されなくなったとき、該ネットワークカメラ6の撮像する映像に基づく持ち去り検知イベントが発行される。
ネットワーク8は、LAN(Local Area Network)である。ただしLANに限らず、多様なネットワークの集合体のインターネット、WAN(Wide Area Network)、それらの複合、Bluetooth(登録商標)やWiFi、赤外線通信を利用したものであってもよい。表示装置2と、サーバ装置7は無線基地局9を介して通信可能である。また、サーバ装置7とネットワークカメラ6、及びネットワークカメラ6同士は、不図示のLANケーブル及びターミナル等を介して有線接続されるとする。ただし、ネットワークカメラ6も無線基地局9を介して通信する構成としても構わない。またこれらの通信は常時接続していても断続的に接続していても良い。なお、図1中には2つのネットワークカメラ6の設置例を示すが、システム全体の中には利用者1から目視できない位置、例えばドア10の内側の室内(不図示)等にもネットワークカメラ6が設置されている場合がある。本実施形態の情報処理システムでは、ネットワークカメラ6は2台以上あれば良く、台数は、それらを使用して監視される区域の広さや複雑さ、設置方法や設置場所等を勘案して決められればよく特に限定されない。図1において、ネットワークカメラ6は据え置き型を設置する例を示すが、設置されるカメラは可動であってもよく、また、パン、チルトやズームイン、ズームアウトを自在に行えることは言うまでもない。これらのカメラは自身の内蔵CPUもしくは後述するサーバ装置7内に、位置情報を含むカメラの設定情報を記録する機能を有しており、それらの設定情報はサーバ装置7が映像を選択する際に利用される。ネットワークカメラ6が撮影した映像は、各ネットワークカメラ6か、あるいはそれを管理するカメラサーバが保持することもできるし、サーバ装置7が保持することもできる。ネットワークカメラ6自身か、それを管理するカメラサーバが保持する場合、常時サーバ装置7に映像を送信する場合に比べ通信負荷を下げることができる。一方、ネットワークカメラ6自身に映像を保持せず、常時サーバ装置7に送信しサーバ装置7内で映像を保管することもできる。また、サーバ装置7としての機能を、ネットワークカメラ6内に内蔵することも可能である。上記のように、映像を保管する場所はネットワークカメラ6やサーバ装置7のハードウェアスペック、通信の機能や状況に応じて適宜選択することができ、特に限定されない。
なお、図1に示す本実施形態では、表示装置2は、携帯可能な小型端末である場合を例示する。ただし、情報処理システムが好適に利用可能な使用環境はこれに限らない。例えば、表示装置2は、据え置きされるディスプレイ装置であっても良い。その場合には、ディスプレイの背後、あるいは背後に存在する壁よりさらに向こうに存在する部屋や屋外等の領域の状況をディスプレイに表示することによって、利用者1にとって死角となる領域の情報が利用者1に提供する。
<ハードウェア構成>
図2(a)は、表示装置2として機能する情報処理装置のハードウェア構成である。CPU(Central Processing Unit)101は、各種処理のための演算や論理判断などを行い、システムバス115に接続された各構成要素を制御する。この表示装置2には、プログラムメモリとデータメモリを含むメモリが搭載されている。ROM(Read-Only Memory)102は、プログラムメモリであって、後述する各種処理手順を含むCPUによる制御のためのプログラムを格納する。RAM(Random Access Memory)103は、データメモリであり、CPU101の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。尚、表示装置2に接続された外部記憶装置などからRAM103にプログラムをロードすることで、プログラムメモリを実現しても構わない。HDD104は、本実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア(記録媒体)と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。また、外部記憶装置は、ネットワークで接続された他の情報処理装置であってもよい。
図2(a)は、表示装置2として機能する情報処理装置のハードウェア構成である。CPU(Central Processing Unit)101は、各種処理のための演算や論理判断などを行い、システムバス115に接続された各構成要素を制御する。この表示装置2には、プログラムメモリとデータメモリを含むメモリが搭載されている。ROM(Read-Only Memory)102は、プログラムメモリであって、後述する各種処理手順を含むCPUによる制御のためのプログラムを格納する。RAM(Random Access Memory)103は、データメモリであり、CPU101の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。尚、表示装置2に接続された外部記憶装置などからRAM103にプログラムをロードすることで、プログラムメモリを実現しても構わない。HDD104は、本実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア(記録媒体)と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。また、外部記憶装置は、ネットワークで接続された他の情報処理装置であってもよい。
出力装置105は、表示出力を行うデバイスである。本実施形態では、表示装置2が備える出力装置109は、プロジェクタ4である。入力装置106は、例えば物理ボタンなどを介して表示装置2へ入力される利用者の操作情報を取り込むためのデバイスである。MEMS107は、地磁気センサ、加速度センサ、ジャイロセンサ等を搭載している。表示装置2では、これらのセンサを単体であるいは組み合わせて利用し、表示装置2に関する地磁気データ、加速度データ、角速度データ、傾きデータ等を取得することができる。
撮像装置108は、画像や映像を取得するためのデバイスである。撮像装置108は図1における撮像装置3に相当する。本実施形態では、MEMS107と撮像装置108から得られる情報を解析して、表示装置2の位置姿勢を特定したり、死角とみなす領域を特定したりする処理を行う。例えば、利用者の視線が何かに奪われた際に、表示装置2の撮像部撮像装置105が利用者の視線とは別の方向を撮像しているということがありうる。利用者の視線方向を特定する方法としては、例えば、ネットワークカメラ6が利用者を撮影している場合に利用者の向いている方向を算出するという方法がある。そして、表示装置2の位置姿勢と比較することでこの撮像装置105が利用者の死角方向を撮影しているかを判別可能である。別の方法として、表示装置2に全方位カメラを搭載して利用者の視線方向を取得して判別することもできる。本実施形態では図1に示すように、表示装置2に備えられる撮像装置3はプロジェクタ4による投影光が照射される面を撮像可能なように設置される。本実施形態では、表示を行う面によって遮蔽されている領域についての情報を利用者に提供することを目的とするため、ユーザの視線方向と撮像装置105の撮像方向に矛盾がある場合は、撮像装置105の撮像方向を基準に、処理対象となる死角が特定される。一方、ユーザの視線方向と撮像装置105の撮像方向が一致または類似する間は、利用者自身が、表示出力が行われる表示面の方に向かっている状態とみなされるので、いずれを基準としても構わない。利用者が表示面の方に向かう状態とは、表示面と利用者が正対している場合を含み、利用者から表示出力される内容の全体を把握できるようであれば、多少の角度があってもよい。また、表示装置が備える撮像装置108を、本情報処理システムを構成する撮像装置の一部として考えることもできる。例えば、表示装置2によって撮像された情報をサーバ装置7に提供することによって、サーバ装置7においてイベントを検知することができる。
GPS受信部109は、GPS(Global Positioning System)衛星から発信されているGPS信号を受信する。通信インタフェース(I/F)110は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。本実施形態では一例として、無線LAN(Local Area Network)を介して通信相手とのデータの送受信を可能とする。他の通信機器との間では、直接の通信以外に、中継装置を介した間接的な通信も可能である。
図2(b)がサーバ装置7のハードウェア構成である。CPU121は、CPU(Central Processing Unit)であり、各種処理のための演算や論理判断などを行い、システムバス128に接続された各構成要素を制御する。このサーバ装置7には、プログラムメモリとデータメモリを含むメモリが搭載されている。ROM(Read-Only Memory)122は、プログラムメモリであって、後述する各種処理手順を含むCPUによる制御のためのプログラムを格納する。RAM(Random Access Memory)123は、データメモリであり、CPU121の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。尚、サーバ装置7に接続された外部記憶装置などからRAM123にプログラムをロードすることで、プログラムメモリを実現しても構わない。HDD124は、本実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア(記録媒体)と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク(FD)、CD−ROM、DVD、USBメモリ、MO、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置などであってもよい。
出力装置126は、表示出力を行うデバイスであり、表示画面を備えるもデバイスである。ただし、本実施形態の場合、出力装置126は省略されても構わない。あるいは、出力装置126はサーバ装置7と有線あるいは無線で接続された外部デバイスでも構わない。入力装置125は、例えばキーボードやマウス等の入力デバイスを介して、サーバ装置7に入力される利用者の操作情報を取り込むためのデバイスである。通信インタフェース(I/F)127は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。本実施形態では一例として、無線LANを介して通信相手とのデータの送受信を可能とする。他の通信機器との間では、直接の通信以外に、中継装置を介した間接的な通信も可能である。
<機能構成>
図3(a)は表示装置2として機能する情報処理装置の機能構成を表すブロック図である。実施形態1において、表示装置2は、携帯可能な小型装置である。表示装置2は、受付部201、位置姿勢取得部202、通信部203、表示制御部204を有する。これらの各機能部は、CPU101が、ROM102に格納されたプログラムをRAM103に展開し、後述する処理を実行することで実現されている。また例えば、CPU101を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。以下、各要素について説明する。位置姿勢取得部202は、表示装置2が利用者の移動に伴って、その存在位置が変更された場合に、その位置を検出する。検出する方法としてはGPS受信部109によって受信されたGPS信号を利用する。なお表示装置2に高度計等を備え、その出力値を利用してもよい。また、後述するサーバ装置7に利用者情報を登録しておき、前述のネットワークカメラ6が利用者を撮影、検知したことを利用して利用者の位置を検出することもできる。ネットワークカメラ6及びサーバ装置7が利用者を検知する方法としては、公知の人物認証技術等が利用できる。これらの方法は、本システムを実施する上で必要な精度を満たすことができれば、いずれか1つを利用してもよいし、両方を利用して位置を特定してもよくその手法は特に限定されない。また、位置姿勢取得部202は、MEMS107に含まれる各種センサからの出力、及び撮像装置108が撮像する画像に基づいて、表示装置2の向きや角度を検出することができる。あるいは、ネットワークカメラ6によって表示装置2が撮影される場合、該当映像情報を利用して後述するサーバ装置7が表示装置2の姿勢を算出することもできる。表示装置2の位置姿勢を検出するタイミングは、表示装置2の利用者あるいは表示装置2自身の移動速度等をもとに決められればよく特に限定されない。
図3(a)は表示装置2として機能する情報処理装置の機能構成を表すブロック図である。実施形態1において、表示装置2は、携帯可能な小型装置である。表示装置2は、受付部201、位置姿勢取得部202、通信部203、表示制御部204を有する。これらの各機能部は、CPU101が、ROM102に格納されたプログラムをRAM103に展開し、後述する処理を実行することで実現されている。また例えば、CPU101を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。以下、各要素について説明する。位置姿勢取得部202は、表示装置2が利用者の移動に伴って、その存在位置が変更された場合に、その位置を検出する。検出する方法としてはGPS受信部109によって受信されたGPS信号を利用する。なお表示装置2に高度計等を備え、その出力値を利用してもよい。また、後述するサーバ装置7に利用者情報を登録しておき、前述のネットワークカメラ6が利用者を撮影、検知したことを利用して利用者の位置を検出することもできる。ネットワークカメラ6及びサーバ装置7が利用者を検知する方法としては、公知の人物認証技術等が利用できる。これらの方法は、本システムを実施する上で必要な精度を満たすことができれば、いずれか1つを利用してもよいし、両方を利用して位置を特定してもよくその手法は特に限定されない。また、位置姿勢取得部202は、MEMS107に含まれる各種センサからの出力、及び撮像装置108が撮像する画像に基づいて、表示装置2の向きや角度を検出することができる。あるいは、ネットワークカメラ6によって表示装置2が撮影される場合、該当映像情報を利用して後述するサーバ装置7が表示装置2の姿勢を算出することもできる。表示装置2の位置姿勢を検出するタイミングは、表示装置2の利用者あるいは表示装置2自身の移動速度等をもとに決められればよく特に限定されない。
表示制御部204は、出力装置105に表示させる画像を生成し、出力する。本実施形態において、出力装置105は表示装置2と一体化したプロジェクタ4である。従って、表示制御部204は、プロジェクタ4を制御することにより、投影光が照射される物理面を表示面とする表示出力を行う。本実施形態の場合、表示される画像には、少なくとも、サーバ装置7から供給される死角領域の状況を表す画像が含まれる。その他、表示装置2の機能を操作するためのユーザインタフェース画面などが表示されてもよい。また表示装置2は、据え付けのディスプレイや壁面等をディスプレイとするプロジェクタの両方あるいは一方を含むこともできる。さらに、本実施形態では、表示装置2を懐中電灯として利用することができる。表示制御部204は出力装置105であるプロジェクタ4の、光源としての出力の大きさを懐中電灯としての用途と、プロジェクタとしての用途によって制御する。ただし、表示装置2を懐中電灯として利用する場合の光源は、プロジェクタ4と異なるように構成することもできる。その場合は、別途、機能部として光源切り替え部を備えもよい。このような機能により、表示装置2を懐中電灯として利用している間に、後述するサーバ装置から表示する映像が表示装置2に送られてきた場合、速やかに懐中電灯としての機能を終了し、映像を投影するように自動で切り替えられることができる。従って利用者は、速やかに確認すべき情報がある状況で、わずらわしい操作を行うことなく情報を確認することができる。また、利用者が映像の確認を終了した場合に、懐中電灯として光照射するように切り替えることも可能である。この場合の切り替えに関しては、利用者が映像確認終了後にスイッチにて切り替えることも可能であるし、一定時間経過後に自動で切り替えるように設定することもできる。
通信部203は、通信I/F110及びネットワーク8を介して、後述するサーバ装置7の通信部205との間でデータの送受信を行う。本実施形態の場合、少なくとも位置姿勢取得部202によって検出された表示装置2の位置姿勢を表す情報を、サーバに送信する。また、サーバ装置7から送信された、表示に関わる情報を受信する。
以上が本実施形態における表示装置2の機能構成である。なお、表示装置2は、検出した位置姿勢の結果に基づき、利用者が予め定められた空間(以下、監視区域ともいう)内のどの程度の範囲を自らが確認するかを設定できる確認範囲設定部を有することができる。この機能部を有することで、例えば、携帯型の表示装置2が向けられている方角に対し、表示装置2の現在位置を起点として任意の上下左右の角度や距離を、自らの確認範囲として設定してすることができる。こうすることで、例えば、監視区域内を複数人で見回り、利用者毎に管轄が決まっているなどの場合、他の利用者の管轄領域の映像を対象外とするなどの設定が可能となるため作業分担が円滑になる効果を得られる。
なお、上述した表示装置2の機能部のうち、位置姿勢取得202及び表示制御部202はサーバ装置7の機能部として、通信を介して入力装置106やMEMS7の情報を取得し、あるいは出力装置108と連携するように構成してもよい。
図3(b)はサーバ装置7として機能する情報処理装置の機能構成を表すブロック図である。サーバ装置7は、通信部205、死角検出部206、イベント取得部207、特定部208、選択部209を含んでなる。これらの各機能部は、CPU101が、ROM102に格納されたプログラムをRAM103に展開し、後述する処理を実行することで実現されている。また例えば、CPU101を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。以下、各要素について説明する。
例えば、サーバ装置7はクラウド上、サーバ上あるいは、ネットワークカメラ6内、表示装置2内などに配置することが可能であり、また、サーバ装置7が有する各機能部が同一の場所にあっても、異なる場所にあっても良い。各機能部が同一の場所にある場合、サーバ装置7が行う処理中の情報伝送距離を短くすることができ実行速度の向上が期待できる。一方、撮影機器内に配置した場合、デバイス、ハードウェア資源が限定されるため、サーバ装置7の処理速度がハードウェア資源により限定されてしまう場合がありうる。その場合は、サーバ上やクラウド等、比較的潤沢にハードウェア資源がある場所にサーバ装置7を配置することにより実行速度の向上を期待することができる。
通信部203は、通信I/F127及びネットワーク8を介して、表示装置2の通信部204及びネットワークカメラ6等の撮像装置との間でデータの送受信を行う。本実施形態の場合、少なくとも位置姿勢取得部202によって検出された表示装置2の位置姿勢を表す情報を受信する。また、ネットワークカメラ6のシステムによって検出されたイベント情報を受信する。また、表示装置2に対して表示に関わる情報を送信する。
サーバ装置は通信部205を介して受信した情報を管理する情報管理部をもっていても良い。情報管理部は、通信部205が受信した情報を管理するための機能部であり、これにより受信した情報を特定し検索及び比較がし易いという効果がある。情報管理部は、例えばネットワークカメラ6の撮影機器を特定するための情報や撮影機器の位置を示す情報、撮影時刻、設定情報及び撮影映像等を管理する。また、表示装置2の位置姿勢や設定情報等を管理する。前記情報管理部が管理する情報は、ネットワークカメラ6のシステムが検出するイベントの発生場所特定や表示装置2の位置特定、死角領域の検出、表示領域選択等を行う上で必要となる情報であれば特に限定されない。管理される情報の保管期間は任意に設定することもできるし、一定時間経過後に自動で消去されるようにすることもできる。
死角検出部206は、利用者が直接には目視確認できない、あるいは表示装置2に搭載される撮像装置105で撮影できない領域を死角領域として検出する。利用者が目視確認できないとは、例えば、壁の向こう側や開放されていない部屋の中、遮蔽物によって遮られる領域等が考えられる。本実施形態では、夜間の見回り等で表示装置2を懐中電灯として使用する際に、懐中電灯の光が届かない領域も通常利用者が視認することは困難であるため、死角領域とみなす。そして監視区域内のフロアマップや遮蔽物マップがある場合、利用者及び表示装置2の位置情報がわかれば、どの領域が死角領域となるかを算出することができる。ここでフロアマップ、遮蔽物マップとは、監視区域内の物体または遮蔽物の配置や大きさを表す配置情報を含むデータを意味する。また、表示装置2の光照射の範囲、例えば、光照射できる距離や角度、照明の減衰度等を計算して通常利用者が視認できる距離や角度を算出し、それ以上離れた領域を死角領域として検出することもできる。これらの方法は単独で用いることもできるし、組み合わせることもできる。また予め監視区域内でも利用者が監視をする対象領域を予め選択する等の設定をすることもできる。
イベント取得部207は、本願発明の利用者が検知したい出来事や変化を表す情報取得する。ここでいうイベントとは、例えば、会社やビル等での人の居残りや、侵入者の存在、物体の置き去り、持ち去り等と考えることができ、利用する状況に応じて適宜決められればよく特に限定されない。所定のイベントを検知する機能は、ネットワークカメラ6に搭載されている場合が多い。この場合、イベント取得部207は、通信部205を介してその情報を取得する。また、サーバ装置7においてイベント検知を行ってもよい。その場合は、上述した死角検出部206が死角領域として検出した領域について、死角領域内、あるいは死角領域を撮像可能な位置に設置されたネットワークカメラ6で撮影された映像を解析する。例えば、持ち去りを検出する場合、予め決められた時間毎に、特定のカメラ6の映像について、フレーム間の差分を解析する。その結果、時刻t1時に存在した物体が、時刻t2時に存在しないことが検知された場合、物体の持ち去りを検出することになる。または、監視区域内に存在する動産にマーカー(例えば拡張現実マーカー)を付与しておき、前記マーカーの移動や消失をネットワークカメラ6が検出することで、該当動産の移動や持ち去りの発生をイベントとして検知することもできる。これらイベントの検知方法は上記記載の方法には公知の技術が使用可能である。
特定部208は、表示装置2の利用者が確認、注目すべき領域(以下、注目領域という)を特定する機能部である。本実施形態の特定部208は、少なくとも位置姿勢取得部202から得られた情報に基づいて、表示面に向かう利用者または撮像装置105にとって死角に相当する領域の一部である注目領域を特定する。これにより、利用者が表示装置2を透視したい遮蔽物の方へ向けることで、能動的に遮蔽物の向こう側を確認するという動作が可能になる。また、上述した切り替え機能により、透視せずに遮蔽物自体を確認したい場合には懐中電灯として光照射し、遮蔽物の向こう側を確認したい場合には特定部208が特定した注目領域の状況を表す情報を表示させることができる。この場合、表示装置2が向けられた遮蔽物の向こう側にはイベントは何も発生していない場合もありうるが、利用者が見回りを行う際に何もないことを確認したいという要求にもこたえることができる。
さらに、イベント取得部207によって取得されたイベントに関する情報を利用すれば、より優先的に確認、注目すべき領域を効率よく特定することができる。その場合は、イベント取得部207が取得したイベントが発生した位置に関する情報と、表示装置2の位置姿勢に基づいて、特定部208が注目領域を特定する。なお、イベントは同時あるいは一定期間内に複数のイベントが発生する場合も生じうる。複数イベントが発生した場合に、全てのイベント発生領域を注目領域として特定しても良いし、その中からより優先的に注目すべき領域を選択することもできる。このような場合のため、特定部208は注目領域の優先度評価部を備えても良い。利用者の状況によっては、発生するイベントにも確認したい順位や重要度があることが想定されるため、優先度評価部を有することは利用者がイベント確認の効率化をはかれる。優先度評価部が優先と評価する順番は利用者が任意に決められ、特に限定されない。例えば、表示装置2に最も近いネットワークカメラ6が撮像する範囲を、最優先の注目領域として特定する。これは例えば見回り監視のときに本システムを利用する場合、最近傍で何かイベントがあることを確認できればすぐにかけつけることができる。また、これを初期設定として、イベントの発生頻度や過去の監視行為の履歴を基に、動的に優先度が変化するようにしてもよい。
特定部208は、イベント取得部207と表示装置2の位置姿勢取得部202の検出結果の両方を利用して注目領域を特定してもよい。その場合、まず、位置姿勢情報に基づいて、監視行為を行う対象としたいある程度の範囲を候補として検出し、その範囲内でイベントが生じた場合に、さらに注目領域を絞りこむということができる。これはイベントがない場合には領域選択がされないため、利用者が不要な情報を確認する手番を省略でき、利用効率があげられるという効果がある。また、ネットワークカメラ6の撮影方向や撮影範囲、画角と表示装置2の位置姿勢が示す、表示出力方向、範囲との重なりや一致度を評価して注目領域を特定することもできる。
選択部209は、本情報処理システムを構成する1以上の撮像装置が撮像している映像のうち、特定部208に特定された注目領域を撮像範囲に含む映像を選択する。例えば、特定された特定された注目領域を撮像範囲に含むネットワークカメラ6を選択し、そのリアルタイムの撮像映像を選択する。あるいは、リアルタイム映像のうち、さらに、注目領域に相当する部分をトリミングあるいはズームした映像を選択したり、記録された過去映像のうち、イベントが発生した時刻の映像を選択したりする。いずれの選択方式とするかは、利用者による事前の設定などによって決定されればよい。選択部209によって選択された映像を表す情報が、表示装置2に送信され、注目領域の情報を表す情報の一部として表示される内容に反映される。特定部208の特定結果が単一の領域であって、かつ、その領域の映像が単一のネットワークカメラ6によって撮影された場合、その映像の情報をそのまま表示すればよい。一方、注目領域は単一であるが、複数のネットワークカメラ6によって撮像されている場合、それらの2つの映像を並列して表示するように選択することもできる。
なお本実施形態の場合、表示装置2の表示制御部204は、サーバ装置7から、プロジェクタ4で表示される投影画像の形式に加工された画像の情報が供給された場合、それをさらに加工することなく表示出力する。ただし、表示装置2の処理能力等に合わせて、ネットワークカメラ6の映像を受信し、加工を表示制御部204が行うように構成してもよい。その場合、サーバ装置7は、選択部209によって選択された画像を加工する、画像加工部をさらに備える。1つの注目領域を複数のネットワークカメラ6が撮像する場合、画像加工部がそれらの映像を合成した上で、表示装置2に送信してもよい。例えば、表示装置2の向きと適合する方向の画像を合成画像から推定作成してその画像を表示画像として選択する。複数のネットワークカメラ6によって同一領域が撮影されたかどうかを判別するには、ネットワークカメラ6の位置や設定の情報を利用したり該当映像の一致度を評価したり、該当映像の監視区域内の座標を算出する等の手法を用いて判別することができる。
さらに、特定部208が複数の領域を選択した場合、選択部209はそれらの中から一つの映像を表示するよう選択することもできるし、全ての映像を並列して表示させるよう選択することもできる。選択部209も特定部208と同様に映像評価部を有することもでき、それを用いて利用者が確認したいイベントが映っている画像を優先的に選択することができる。優先的に選択するとは、例えば、その映像だけを表示させるように選択する場合や、他の映像に比較して表示するサイズを大きくするように加工すること、映像の枠をハイライトして表示するよう加工すること等が考えられるが、特にこれに限定されない。また、選択部209は、画像加工部の機能を用い、予めフロアマップが有る場合には、選択した画像をフロアマップ上に重畳、並列して画像を表示するよう合成することや、方位を合成して表示させるよう加工することもできる。
ここで、本実施形態の使用環境の一例を表す図4を参照し、選択部209が、特定部208に特定された注目領域と、システムを構成する各撮像装置の撮影範囲の重なりを評価する方法を説明する。図4は警備員302が表示装置301を携帯し、1フロアの高さが(Zh1−Zh0)で表されるビルのフロアを巡回警備している状況を表す。天井の高さ方向の座標がZh1であり、床の座標がZh0であることを示す。ビルの中はその位置に応じて座標が与えられており、図4の中では左上のビルの端に相当する地点A(0,0,Zh1)を示している。部屋303には、ネットワークカメラ6である撮影装置300がフロアの天井のうち地点B(Xa,Yb,Zh1)に設置されている。この部屋303の大きさ及び位置を表す座標は予めわかっているため、撮影装置300の撮像方向を中心線304で表すとすると、中心先304の端は部屋303の壁面との交点にあたる地点D(Xc,Yd,Zh0)と求めることができる。これらの情報から、撮影装置300の撮影方向を表す中心線上の平面座標のうち、鉛直方向の空間座標を取得することができる。
警備員302が所持する表示装置301では、位置姿勢取得部202の結果から表示装置301の位置である地点C(Xe,Yf,Zh)と、撮像装置105が向けられた方角がわかる。また予め設定される監視対象距離Lの長さから、監視対象範囲の端点に相当する地点E(Xg,Yj,Zh2)を導くことができる。監視対象距離Lは、撮像装置105あるいは懐中電灯の投影光を使った監視が可能な距離であり、特に定めがなければ、巡回対象ビルの端座標を使用することもできる。上述のような計算を行うことで、撮影装置300が撮影する中心線304と、表示装置301の向きベクトルが空間座標で交わるかどうかを計算することができる。なお図4の例では予めビル内の座標が把握されているものとして部屋全体が監視されているものとして記載したが、撮影装置に3次元距離センサを備えることで、部屋内の障害物までの距離を算出し、そこまでの範囲を実際の撮影範囲として設定することもできる。あるいは、事前に撮影装置の撮影対象範囲を実際の撮影範囲よりも小さく設定することで限定することもできる。これらは、本願発明の使用用途に応じて適宜使用、選定されればよい。撮影画角の一致度に関しても同様に座標を計算することで算出が可能である。例えば、ネットワークカメラ6の撮影画角のベクトル(ネットワークカメラ6のレンズとネットワークカメラ6が撮影する映像端の座標を結ぶ直線ベクトル)を数点とり、撮影空間の向きを計算する。同様に表示装置2の向きから算出される表示装置2の監視対象領域の監視対象空間の向きを計算し、それらを比較することで算出することが可能である。これらの撮影範囲の重なりや画角の一致度が高い領域を注目領域として選択することができる。
<処理フロー>
本実施形態において、情報処理システムの各要素が実行する処理の流れを図5のシーケンス図で説明する。なお、本処理フローは、利用者が例えば警備員であって、表示装置2を携帯して、所定の空間を巡回警備する場合を想定して説明するが、それに限定されない。
本実施形態において、情報処理システムの各要素が実行する処理の流れを図5のシーケンス図で説明する。なお、本処理フローは、利用者が例えば警備員であって、表示装置2を携帯して、所定の空間を巡回警備する場合を想定して説明するが、それに限定されない。
まず、利用者が監視区域内を移動すると、一定のタイミング毎に利用者に携帯される表示装置2の位置姿勢取得部202が、表示装置2の位置姿勢を表す情報を検出する(ステップS101)。続いて、通信部203を介して検出された表示装置の位置姿勢を表す情報をサーバ装置7の通信部205に送信する(ステップS102)。サーバ装置7では、通信部205により、送信された位置姿勢情報を受信する(ステップS103)。そして受信した情報に基づき、死角検出部206が、死角領域を計算する(ステップS104)。ステップS104の詳細は後述する。本実施形態の情報処理システムの中で撮像装置として機能するネットワークカメラシステムは、常時撮像を行っており(ステップS105)、撮像した映像を解析しイベントを検出する(ステップS106)。そして、イベント情報をサーバ装置7に通知する(ステップS107)。例えば、撮像範囲の中で動産が置き去りにされたことをイベントとして検知する。イベント検知の結果を受け、サーバ装置7において特定部208は、注目領域を特定する(ステップS108)。そして、選択部209が特定された注目領域が撮像された映像を選択する(ステップS109)。なお、置き去りイベントが発生した時刻を含む録画映像や、その時刻の静止画を選択しても良い。選択された映像を表す情報は、通信部205を介して表示装置2に送られる(ステップS111)。表示装置2では、受信した映像情報を反映し、注目領域の状況を表す情報を表示する(ステップS112)。
次に、図6(a)のフローチャートを参照し、ステップS104において死角検出部206が実行する処理の流れを説明する。死角検出部206は、まず、サーバ装置7が受信した表示装置2の位置姿勢を表す情報を評価する(ステップS201)。表示装置2の設定情報から、死角に関する距離情報を評価する(ステップS202)。ここで評価される距離情報は、例えば、初期設定として10m以上離れた距離は死角とする等、予め設定される。その後、フロアマップの有無(ステップS203)を評価し、フロアマップが有る場合、フロアマップ、距離情報を基に死角領域を検出する(ステップS204)。例えばフロアマップと表示装置2の現在位置及び方向を解析し、距離情報から設定される死角領域よりも手前に遮蔽物がある場合、遮蔽物によって生じる死角領域を優先し、死角範囲がより手前から存在するという評価結果を採用する。一方、フロアマップがない場合、距離情報を基に死角領域を検出する(ステップS205)。あるいは、3次元距離センサを利用して遮蔽物の有無を検出した上で死角領域を検出してもよい。フロアマップがない場合はフロアマップがある場合に比べて死角領域検出の精度は劣ることが想定されるが、その場合、距離情報の設定を変更することで洩れを減少させることもできる。例えば、廊下の幅の約半分の長さを距離設定とすれば廊下に面した部屋の中を死角として設定できる等の利用が考えられる。なお、死角に関する距離情報が設定されていない場合、ステップS202は省略されてもよい。この場合、フロアマップ、あるいは3次元距離センサ等を利用した遮蔽物の有無の検出は必須である。また、死角に関する距離情報の評価と、フロアマップ等による遮蔽物有無の検出の処理順序は問わない。
続いて、図6(b)のフローチャートを参照して、ステップS108で特定部208が実行する処理の流れを説明する。まず、ステップS102で送信された表示装置2の位置姿勢情報を取得(ステップS301)する。取得した位置姿勢情報に基づき、表示装置2が向いている方向を特定し、また、ステップS107でイベント取得部207が取得したイベント検出結果を参照して、その方向にイベントが発生しているかを判定する(ステップS302)。ステップS302でイベント有りと判断される場合、イベントの発生位置等を含むイベント関連情報を取得し(ステップS303)、表示装置2の位置姿勢情報とイベントの発生位置の関係を評価する(ステップS304)。評価によって、選択部209による映像選択、フロアマップとの合成及び画像加工を行うのに必要な情報を取得することができる。続いて注目領域の優先度を評価し(ステップS305)、注目領域を選択する(ステップS306)。優先度の評価軸としては、例えば、本願発明の利用者が重要として指定するイベントにランクをつけ、そのランキングを用いて評価する方法が考えられる。あるいは、注目領域の候補となる複数の領域と、表示装置2の位置との距離関係で優先度を評価することもできる。このステップは省略されても本実施形態は実施可能であるが、このステップを経ることで、利用者の実情に合わせて注目領域の選定基準や優先順位をカスタマイズすることが可能になるという効果を得ることができる。一方、ステップS302でイベントがないと判定された場合は、イベントに関する処理を省略してステップS306に進み、位置姿勢情報に基づいて注目領域を特定する。また、変形例として、イベントが無い場合は注目領域を特定せずに処理を終了すれば、表示装置2は懐中電灯としての利用が継続され、利用者の目視による確認作業を支援する光照射を継続することが可能である。
続いて、図7のフローチャートを参照して、ステップS109において選択部209が実行する処理の流れを説明する。まず、ステップS108の結果を受け、特定された注目領域の数をカウント(ステップS401)する。そのカウントの数に応じて画像を表示する表示フォーマットを決定する(ステップS402)。本実施形態では、表示フォーマットが決定されることで、表示レイアウトを設定する。さらに、表示フォーマットを決定するのと並行し、各注目領域に対応する映像の数がカウントされる。注目領域に対応する映像とは、注目領域を撮像範囲に含む映像である。カウントされる映像の数は、例えば、注目領域を画角に含む撮像装置の数でよい。注目領域に対応する映像が、一つである場合は、当該映像を、表示装置2によって表示させる映像として決定(ステップS404)する。そして、設定した表示レイアウト及び表示フォーマットに適合するように加工する等し、表示装置2に表示させるために、選択した映像を反映した表示画像を生成する(ステップS406)。注目領域に対応する映像が1つではない場合、優先順位の高い映像を選ぶ等、予め定めた規則に沿って複数の画像を処理する(ステップS405)。そして、表示させる映像を決定(ステップS404)し、選択した映像を反映した表示画像を生成する(ステップS406)。そして、決定された画像は表示装置2に情報送信部46によって送信(ステップS407)される。なお、本フローでは表示フォーマットを先に指定するフローを記載したが、この表示画像決定ステップ(ステップS404)の後に表示フォーマットを設定することもできるし、予め決められた表示フォーマットを修正することもでき、処理の順番は問わない。
<具体例>
図8及び図9に本実施形態が好適に実施される具体的な状況の概念図を示す。
図8及び図9に本実施形態が好適に実施される具体的な状況の概念図を示す。
<具体例1:人物居残り検知の表示>
図8(a)及び図8(b)に示す具体例1を説明する。本実施形態では、図8(a)に示す所定の空間(監視領域400)を警備員404が見回りをする場合を考える。監視領域400内には監視カメラ401〜403が設置されている。監視カメラ401は部屋406の内部を監視する映像を撮像し、同様に監視カメラ403は部屋407内部を、監視カメラ402は通路を監視する映像を撮像している。監視カメラ403の撮像範囲408は、部屋407内に居残る人物409が写り込んでおり、例えばこれが深夜帯など予め定義された時間であった場合、人物の居残りがイベントとして検出される。警備員404からは、部屋452内部は部屋の壁に遮られて確認することができない。つまり、人物422の位置は死角領域となっている。警備員404は、携帯型プロジェクタ405を携帯し、部屋406の壁面外側にプロジェクタを向けている。携帯型プロジェクタ405の画角は、線410と線411によって挟まれる範囲で表現される。このとき、携帯型プロジェクタ405の画角に、監視カメラ403で監視する領域が含まれている。そして、監視カメラ403のイベント検知結果のうちイベント発生位置と、携帯型プロジェクタ405の画角範囲を比較した結果、重なりが検出される。従って、本実施形態によれば、人物居残りイベントが検知された場所(部屋407の内部)が、特定部208により注目領域として特定され、撮像装置403の撮像している映像が、選択部209により選択される。なお、方位401は監視領域400内の方角の定義を示す。
図8(a)及び図8(b)に示す具体例1を説明する。本実施形態では、図8(a)に示す所定の空間(監視領域400)を警備員404が見回りをする場合を考える。監視領域400内には監視カメラ401〜403が設置されている。監視カメラ401は部屋406の内部を監視する映像を撮像し、同様に監視カメラ403は部屋407内部を、監視カメラ402は通路を監視する映像を撮像している。監視カメラ403の撮像範囲408は、部屋407内に居残る人物409が写り込んでおり、例えばこれが深夜帯など予め定義された時間であった場合、人物の居残りがイベントとして検出される。警備員404からは、部屋452内部は部屋の壁に遮られて確認することができない。つまり、人物422の位置は死角領域となっている。警備員404は、携帯型プロジェクタ405を携帯し、部屋406の壁面外側にプロジェクタを向けている。携帯型プロジェクタ405の画角は、線410と線411によって挟まれる範囲で表現される。このとき、携帯型プロジェクタ405の画角に、監視カメラ403で監視する領域が含まれている。そして、監視カメラ403のイベント検知結果のうちイベント発生位置と、携帯型プロジェクタ405の画角範囲を比較した結果、重なりが検出される。従って、本実施形態によれば、人物居残りイベントが検知された場所(部屋407の内部)が、特定部208により注目領域として特定され、撮像装置403の撮像している映像が、選択部209により選択される。なお、方位401は監視領域400内の方角の定義を示す。
図8(b)は図8(a)の状況において、警備員404から見た投影面412の一例を表す。警備員404がが、表示装置に備えられたプロジェクタの投影光を、部屋405の外側の壁に照射することで投影面412が現れる。投影面412は、監視カメラ403によって撮像された撮像範囲408の映像を反映した画像413を投影しており、人物409が映し出されていることが確認できる。また、投影面右上には方位の情報を含むフロアマップ414が表示されている。フロアマップ内には表示装置405の位置(警備員404の位置に相当)を示す表示装置マーク415と、イベント検知場所を示すイベントマーク416が表示されている。これにより、利用者である警備員404は、自身の位置とイベント発生の位置関係を瞬時に判断することができる。このように監視カメラによるイベント検知と、携帯型のプロジェクタである表示装置の位置姿勢検知結果をもとに、死角領域で発生したイベントを確認し、警備員はイベント発生現場に急行することができる。
<具体例2:複数イベント発生時の優先表示>
次に、図9(a)及び図9(b)で示す具体例2を説明する。図9(a)において、図8(a)に示したのと重複する内容には同じ番号を付与し、詳細な説明は省略する。具体例2では、監視領域400を警備員404が見回りをする状況において、複数の人物居残りイベントが発生する場合を考える。このとき、図8(a)の場合と同様、監視領域400のうち部屋407には人物409が存在し、撮像装置403によって人物居残りイベントが検出されている。さらに、図9(a)では、部屋406の内部のうち、監視カメラ401による撮像範囲500に、人物501及び人物502が写り込んでおり、このため、部屋401により人物居残りイベントが検出される。部屋406及び部屋407は、ともに警備員404から直接目視することはできず、両イベントは死角領域で発生していることが確認される。警備員404は見回りの途中、部屋401の横に来た際に、部屋内で異常が発生していないかの確認をするため、表示装置404を、部屋406の壁面外側に向ける。携帯型プロジェクタ405の画角(線410と線411に挟まれる領域)内に、先の死角領域で検出された人物居残りイベントが発生した位置が両方とも含まれる。両イベントともに人物居残り検知のため優先度は同じであるが、具体例2では、居残り人物が2名であって、1名よりも多く、また警備員404の最近傍である監視カメラ401検出したイベントの発生位置、注目領域として特定される。
次に、図9(a)及び図9(b)で示す具体例2を説明する。図9(a)において、図8(a)に示したのと重複する内容には同じ番号を付与し、詳細な説明は省略する。具体例2では、監視領域400を警備員404が見回りをする状況において、複数の人物居残りイベントが発生する場合を考える。このとき、図8(a)の場合と同様、監視領域400のうち部屋407には人物409が存在し、撮像装置403によって人物居残りイベントが検出されている。さらに、図9(a)では、部屋406の内部のうち、監視カメラ401による撮像範囲500に、人物501及び人物502が写り込んでおり、このため、部屋401により人物居残りイベントが検出される。部屋406及び部屋407は、ともに警備員404から直接目視することはできず、両イベントは死角領域で発生していることが確認される。警備員404は見回りの途中、部屋401の横に来た際に、部屋内で異常が発生していないかの確認をするため、表示装置404を、部屋406の壁面外側に向ける。携帯型プロジェクタ405の画角(線410と線411に挟まれる領域)内に、先の死角領域で検出された人物居残りイベントが発生した位置が両方とも含まれる。両イベントともに人物居残り検知のため優先度は同じであるが、具体例2では、居残り人物が2名であって、1名よりも多く、また警備員404の最近傍である監視カメラ401検出したイベントの発生位置、注目領域として特定される。
図9(b)は、図9(a)の状況における投影面412を、警備員404から見た映像を表現している。監視カメラ401によって撮像された撮像範囲500の映像503が投影面412に投影されている。映像503には、人物501と人物502が居残りをしている状況が確認できる。複数のイベントが発生した場合に、警備員404にとってより注目すべき対象を予め定義しておくことで、このように実際に複数のイベントが発生した場合に、速やかに状況を確認し、優先すべき現場に急行することができる。なお、今回は一つの画像を選択して投影する状況を説明したが、フロアマップに二つの人物居残りイベントの画像を表示することも可能であり、監視員の希望や状況に応じて任意で表示形式は変更することができる。
本発明は,以上の実施の形態に限定されることなく、種々の変更が可能であり,それらも本発明の範囲内に包含されることは言うまでもない。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (14)
- 任意の位置姿勢で配置される表示装置と、前記表示装置と通信可能なサーバ装置を有する情報処理システムであって、
前記表示装置の位置姿勢を表す情報を取得する取得手段と、
取得された前記表示装置の位置姿勢を表す情報に基づいて、所定の空間のうち、前記表示装置による表示出力が行われる表示面に向かう利用者または前記表示装置に備えられた撮像部にとって死角に相当する領域の一部である注目領域を特定する特定手段と、
前記所定の空間に設置された1以上の撮像装置によって撮像される映像のうち、前記注目領域を撮像範囲に含む映像を選択する選択手段と、
前記選択された映像によって、前記表示面に、前記注目領域の状況を表す情報を表示させる表示制御手段と、
を備えることを特徴とする情報処理システム。 - 前記1以上の撮像装置が撮像する映像の少なくとも一部と当該一部の映像を撮像した撮像装置の位置とに基づいて検出されるイベント情報を取得するイベント取得手段を更に備え、
前記特定手段は、取得された前記イベント情報と、前記表示装置の位置姿勢を表す情報とに基づいて、前記注目領域を特定することを特徴とする請求項1に記載の情報処理システム。 - 前記イベント情報には、少なくとも前記イベントが発生した前記所定の空間における位置情報が含まれることを特徴とする請求項2に記載の情報処理システム。
- 前記所定の空間における物体の配置情報と、前記表示装置の位置姿勢を表す情報に基づいて、前記死角に相当する領域を検出する死角検出手段を更に備え、
前記特定手段は、検出された前記死角に相当する領域から前記注目領域を特定することを特徴とする請求項1に記載の情報処理システム。 - 前記死角検出手段は、前記所定の空間に存在する物体と前記利用者または前記表示装置との位置関係に基づいて、前記所定の空間のうち前記物体によって遮蔽されているとみなされる領域を、前記死角に相当する領域として検出することを特徴とする請求項4に記載の情報処理システム。
- 前記死角検出手段は、前記所定の空間のうち、前記利用者または前記表示装置から所定の距離より離れた範囲を、前記死角に相当する領域として検出することを特徴とする請求項4に記載の情報処理システム。
- 前記選択手段は、前記特定手段によって複数の注目領域が特定された場合、前記利用者または前記表示装置からの距離に基づいて優先して選択する撮像装置を決定することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理システム。
- 前記選択手段は、前記特定手段によって複数の注目領域が特定された場合、前記利用者または前記表示装置からの距離がより近い注目領域を撮像範囲に含む撮像装置を優先して選択することを特徴とする請求項7に記載の情報処理システム。
- 前記表示装置は、携帯可能な端末であって、1以上のセンサを備え、
前記取得手段は、前記1以上のセンサによって検知された情報に基づいて、前記表示装置の位置姿勢を表す情報を取得することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理システム。 - さらに小型のプロジェクタを備え、
前記プロジェクタによって照射される投影光を受ける任意の面を前記表示面として利用可能であることを特徴とする請求項9に記載の情報処理システム。 - 任意の位置姿勢で配置される表示装置と、前記表示装置と通信可能なサーバ装置を含む情報処理システムが実行する方法であって、
取得手段により、前記表示装置の位置姿勢を表す情報を取得する取得工程と、
特定手段により、取得された前記表示装置の位置姿勢を表す情報に基づいて、所定の空間のうち、前記表示装置による表示出力が行われる表示面に向かう利用者または前記表示装置に備えられた撮像部にとって死角に相当する領域の一部である注目領域を特定する特定工程と、
選択手段により、
前記所定の空間に設置された1以上の撮像装置によって撮像される映像のうち、前記注目領域を撮像範囲に含む映像を選択する選択工程と、
表示制御手段により、前記選択された撮像装置に撮像される映像によって、前記表示面に、前記注目領域の状況を表す情報を表示させる表示制御工程と、
を備える方法。 - 任意の位置姿勢で配置される表示装置と通信可能な情報処理装置であって、
前記表示装置の位置姿勢を表す情報を取得する取得手段と、
取得された前記表示装置の位置姿勢を表す情報に基づいて、所定の空間のうち、前記表示装置による表示出力が行われる表示面に向かう利用者または前記表示装置に備えられた撮像部にとって死角に相当する領域の一部である注目領域を特定する特定手段と、
前記所定の空間に設置された1以上の撮像装置によって撮像される映像のうち、前記注目領域を撮像範囲に含む映像を選択する選択手段と、
前記選択された映像によって、前記表示面に、前記注目領域の状況を表す情報を前記表示装置に送信する送信手段と、
を備えることを特徴とする情報処理装置。 - コンピュータに読み込ませ実行させることで、前記コンピュータを請求項12に記載された情報処理装置として動作させるためのプログラム。
- 請求項13に記載されたプログラムを記憶したコンピュータが読み取り可能なプログラムの記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016169377A JP2018036847A (ja) | 2016-08-31 | 2016-08-31 | 情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016169377A JP2018036847A (ja) | 2016-08-31 | 2016-08-31 | 情報処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018036847A true JP2018036847A (ja) | 2018-03-08 |
Family
ID=61567548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016169377A Pending JP2018036847A (ja) | 2016-08-31 | 2016-08-31 | 情報処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018036847A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021010070A (ja) * | 2019-06-28 | 2021-01-28 | セコム株式会社 | カメラ配置評価装置、カメラ配置評価方法、及びコンピュータプログラム |
-
2016
- 2016-08-31 JP JP2016169377A patent/JP2018036847A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021010070A (ja) * | 2019-06-28 | 2021-01-28 | セコム株式会社 | カメラ配置評価装置、カメラ配置評価方法、及びコンピュータプログラム |
JP7291013B2 (ja) | 2019-06-28 | 2023-06-14 | セコム株式会社 | カメラ配置評価装置、カメラ配置評価方法、及びコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102366293B1 (ko) | 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법 | |
US10854013B2 (en) | Systems and methods for presenting building information | |
US10878637B2 (en) | Directional and x-ray view techniques for navigation using a mobile device | |
KR102289745B1 (ko) | 실시간 현장 작업 모니터링 방법 및 시스템 | |
TWI659398B (zh) | 利用方向感應之侵入偵測技術 | |
EP2932708B1 (en) | Mobile augmented reality for managing enclosed areas | |
JP6062039B2 (ja) | 画像処理システムおよび画像処理用プログラム | |
KR20140014117A (ko) | 정보 처리 장치, 통지 방법, 및 프로그램 | |
KR20190030746A (ko) | 증강된/가상의 현실 환경에서의 가상 캐릭터들의 배치를 위한 시스템 및 방법 | |
US10896513B2 (en) | Method and apparatus for surveillance using location-tracking imaging devices | |
KR20170107341A (ko) | 이동로봇 및 그 이동로봇의 제어 방법 | |
JPWO2020174634A1 (ja) | デジタルアキュレート・セキュリティシステム、方法及びプログラム | |
JP2013242728A (ja) | 画像監視装置 | |
JP6032283B2 (ja) | 監視カメラ管理装置、監視カメラ管理方法およびプログラム | |
JP2018036847A (ja) | 情報処理システム | |
US10819883B2 (en) | Wearable scanning device for generating floorplan | |
JP2018056908A (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN114600067A (zh) | 具有成像仪的控制装置的监督设置 | |
JP7176868B2 (ja) | 監視装置 | |
JP6842968B2 (ja) | 監視システム | |
US20230130815A1 (en) | Image processing apparatus, image processing method, and program | |
JP7373304B2 (ja) | 火災監視装置 | |
JP2018012407A (ja) | 鉄道の支障範囲可視化システムおよび管理サーバ | |
JP2017182673A (ja) | 情報処理システム | |
JP2024081209A (ja) | 画像表示装置及び画像表示方法 |