JP2020182246A - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】人の身体に装着されたカメラの視野のずれを把握できる技術を提供する。【解決手段】情報処理装置２０００は、判定部２０２０及び報知部２０４０を有する。判定部２０２０は、第１撮像画像４０、第２撮像画像５０及び関係情報第１カメラの視野と第２カメラの視野とが満たすべき関係を示す情報を用いて、第２カメラの視野が正しいか否かを判定する。報知部２０４０は、第２カメラの視野が正しくない場合に、第２カメラの視野が正しくないことを報知する。第１カメラは人に装着されたヘッドマウントディスプレイに設けられている。第２カメラはヘッドマウントディスプレイ以外に設けられたカメラである。【選択図】図２

Description

本発明は、情報処理装置、制御方法、及びプログラムに関する。

人の肩などに装着されるウェアラブルカメラが利用されている。例えば、警備員が、ウェアラブルカメラを装着した状態で警備を行う。これにより、警備員による現場での警備を実施しつつ、ウェアラブルカメラの映像をリモートでモニタリングしたり、その映像を解析したりすることができる。

ウェアラブルカメラの利用を容易にするための技術が開発されている。例えば特許文献１は、眼鏡型のヘッドマウントディスプレイの位置合わせを容易にする発明を開示している。特許文献１のヘッドマウントディスプレイは、ユーザの両側頭部を適当な力で押圧する固定部と、前頭部から頭頂部へ延びたアームとによって、ユーザの頭に固定される。眼鏡のレンズ部分に当たるディスプレイは、回転機構部によって上記アームと接続されている。ユーザは、この回転機構部を利用し、固定部及びアームがユーザの頭部に固定されたままの状態でディスプレイを跳ね上げたり降ろしたりすることができる。

特許文献１のヘッドマウントディスプレイには、３つのカメラが設けられている。まずディスプレイの両脇に１つずつカメラが設けられている。また、アームの頭頂部に１つのカメラが設けられている。

ここで前述したように、ディスプレイが可動式であるため、ディスプレイを動かすことにより、ディスプレイに設けられたカメラの視野が変動してしまう。一方で、頭頂部に設けられたカメラの位置は固定であるため、このカメラの視野は固定である。そこで特許文献１のヘッドマウントディスプレイは、位置が固定されている頭頂部のカメラによって生成される画像と、ディスプレイ部分に設けられたカメラによって生成される画像とを比較することで、ディスプレイの位置が所定の位置にあるか否かを判定する。

特開２００１−２１１４０３号公報

警備員等は、ヘッドマウントディスプレイを装着すると共に、肩や胸などに別途カメラを装着することがある。例えばヘッドマウントディスプレイに設けられたカメラは、広い範囲を見渡した様子を撮像するために利用され、肩などに装着したカメラは、人の顔などをアップで撮像するために利用される。

ここで、この肩などに装着したカメラの視野が正しくないと、画像のモニタリングや解析に支障をきたす。特許文献１の技術は、ヘッドマウントディスプレイ上に位置合わせの基準となるカメラと位置合わせの対象となるカメラの双方が設けられていることを前提としている。そのため特許文献１の技術では、上述した肩などに装着されたカメラの視野が正しいか否かを判定することは難しい。

本発明は、上記課題に鑑みてなされたものである。本発明の目的は、人の身体に装着されたカメラの視野のずれを把握できる技術を提供することである。

本発明の情報処理装置は、１）人に装着されている第１のカメラによって生成された第１の撮像画像と、前記人に装着されている第２のカメラによって生成された第２の撮像画像と、前記第１のカメラの視野と前記第２のカメラの視野とが満たすべき所定の関係を定めた関係情報とに基づいて、前記第２のカメラの視野が正しいか否かを判定する判定手段と、２）前記第２のカメラの視野が正しくないと判定された場合に、前記第２のカメラの視野が正しくないことを報知する報知手段と、を有する。前記第１のカメラは前記人に装着されたヘッドマウントディスプレイに設けられている。前記第２のカメラは前記ヘッドマウントディスプレイ以外に設けられたカメラである。

本発明の制御方法はコンピュータによって実行される制御方法である。当該制御方法は、１）人に装着されている第１のカメラによって生成された第１の撮像画像と、前記人に装着されている第２のカメラによって生成された第２の撮像画像と、前記第１のカメラの視野と前記第２のカメラの視野とが満たすべき所定の関係を定めた関係情報とに基づいて、前記第２のカメラの視野が正しいか否かを判定する判定ステップと、２）前記第２のカメラの視野が正しくないと判定された場合に、前記第２のカメラの視野が正しくないことを報知する報知ステップと、を有する。前記第１のカメラは前記人に装着されたヘッドマウントディスプレイに設けられている。前記第２のカメラは前記ヘッドマウントディスプレイ以外に設けられたカメラである。

本発明のプログラムは、コンピュータに本発明の制御方法の各ステップを実行させることにより、そのコンピュータを本発明の情報処理装置として動作させる。

本発明によれば、人の身体に装着されたカメラの視野のずれを把握できる技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１に係る情報処理装置の動作を概念的に例示する図である。 実施形態１に係る情報処理装置を例示するブロック図である。 情報処理装置を実現する計算機の構成を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 関係情報を概念的に例示する第１の図である。 関係情報を概念的に例示する第２の図である。 人の頭部が写ると想定される部分を所定範囲として定めたケースを例示する図である。 ケース２の判定方法を概念的に例示する図である。 ケース３の判定方法を概念的に例示する図である。 ディスプレイ装置に表示される報知情報を例示する図である。 実施形態２の情報処理装置を例示するブロック図である。 実施形態２の情報処理装置によって実行される処理の流れを例示するフローチャートである。 ディスプレイ装置に表示されるガイドを例示する図である。 所定領域や所定範囲がガイドの一部としてディスプレイ装置に表示される様子を例示する図である。 第１カメラがヘッドマウントディスプレイ上以外の場所に設けられるケースを例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、ハードウェア構成図を除く各ブロック図において、各ブロックはハードウエア単位の構成ではなく、機能単位の構成を表している。

［実施形態１］
図１は、実施形態１に係る情報処理装置２０００の動作を概念的に例示する図である。ユーザ３０は、ヘッドマウントディスプレイ１０を装着している。ユーザ３０は、例えばイベント会場などを警備する警備員である。ヘッドマウントディスプレイ１０には、第１カメラ１２及びディスプレイ装置１４が備えられている。第１カメラ１２は周囲を撮像するカメラである。ディスプレイ装置１４は任意の画像を表示するディスプレイ装置である。ヘッドマウントディスプレイ１０がディスプレイ装置１４に任意の画像を表示することにより、ユーザ３０は、任意の画像が周囲の景色に重畳された様子を見ることができる。例えばヘッドマウントディスプレイ１０は、第１カメラ１２によって生成される撮像画像に基づいて周囲の景色を認識し、その周囲の景色に合わせて augmented reality（AR）画像をディスプレイ装置１４に表示する。

ユーザ３０はさらに、第２カメラ２０を装着している。第２カメラ２０は、周囲を撮像するカメラであり、ヘッドマウントディスプレイ１０以外の任意の場所に装着されている。例えば第２カメラ２０は、ユーザ３０の周囲を監視するための監視映像を生成する監視カメラである。

情報処理装置２０００は、第２カメラ２０の視野が正しいか否かを判定する。情報処理装置２０００はこの判定に、第１カメラ１２によって生成される第１撮像画像４０と、第２カメラ２０によって生成される第２撮像画像５０とを用いる。ここで、ユーザ３０は第１カメラ１２と第２カメラ２０という２つのカメラを身に付けている。そのため、予めキャリブレーションなどを行うことで、第１カメラ１２の視野と第２カメラ２０の視野とが満たすべき関係が定まる。情報処理装置２０００は、第１撮像画像４０と第２撮像画像５０とを比較することにより、第１カメラ１２の視野と第２カメラ２０の視野とが満たすべき関係が満たされているか否かを判定する。情報処理装置２０００は、この関係が満たされていない場合に、第２カメラ２０の視野が正しくないと判定する。

そして情報処理装置２０００は、第２カメラ２０の視野が正しくない場合に、第２カメラ２０の視野が正しくないことを報知する。この報知の方法は、ユーザ３０が知覚できる任意の方法でよい。

上記機能を実現するために、情報処理装置２０００は、判定部２０２０及び報知部２０４０を有する。図２は、実施形態１に係る情報処理装置２０００を例示するブロック図である。判定部２０２０は、第１撮像画像４０、第２撮像画像５０及び関係情報を用いて、第２カメラ２０の視野が正しいか否かを判定する。関係情報は、第１カメラ１２の視野と第２カメラ２０の視野とが満たすべき関係を示す情報である。報知部２０４０は、第２カメラ２０の視野が正しくない場合に、第２カメラ２０の視野が正しくないことを報知する。

＜作用・効果＞
本実施形態の情報処理装置２０００によれば、ヘッドマウントディスプレイ１０に設けられている第１カメラ１２によって生成された第１撮像画像４０と、ユーザ３０に装着されておりなおかつヘッドマウントディスプレイ１０以外の部分に設けられている第２カメラ２０によって生成された第２撮像画像５０と、第１カメラ１２の視野と第２カメラ２０の視野とが満たすべき関係を定めた関係情報に基づいて、第２カメラ２０の視野が正しいか否かが判定される。そして、第２カメラ２０の視野が正しくない場合にはその旨が報知される。

この構成によれば、ヘッドマウントディスプレイ１０以外の部分に設けられている第２カメラ２０についてその視野が正しいか否かを判定できる。よって、ヘッドマウントディスプレイ１０以外の部分に設けられている第２カメラ２０の視野がずれていることをユーザ３０が把握できるため、第２カメラ２０の視野を容易に正すことができる。

以下、本実施形態の情報処理装置２０００をさらに詳細に説明する。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、Personal Computer（PC）、サーバ装置、又は携帯端末など、種々の計算機である。例えば計算機１０００は、ヘッドマウントディスプレイ１０として実装される。その他にも例えば、計算機１０００は、第２カメラ２０として実装されてもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。ストレージ１０８０は、RAM や ROM などのメモリであってもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば計算機１０００がヘッドマウントディスプレイ１０として実装される場合、入出力インタフェース１１００には第１カメラ１２やディスプレイ装置１４が接続される。

ネットワークインタフェース１１２０は、計算機１０００をネットワークと接続するためのインタフェースである。例えば計算機１０００がヘッドマウントディスプレイ１０として実装される場合、ネットワークインタフェース１１２０には第２カメラ２０が接続される。計算機１０００は、第２カメラ２０によって生成された第２撮像画像５０を、ネットワークを介して取得する。

ストレージ１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。

計算機１０００のハードウエア構成は図３に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。また例えば、第２カメラ２０は、ネットワークインタフェース１１２０を介してではなく、入出力インタフェース１１００を介して計算機１０００に接続されてもよい。

＜＜第１カメラ１２について＞＞
第１カメラ１２は、ヘッドマウントディスプレイ１０の任意の位置に設けられるカメラである。第１カメラ１２は、ヘッドマウントディスプレイ１０の周囲を撮像できる任意のカメラでよい。第１カメラ１２は、繰り返し撮像を行い、各撮像結果を表す第１撮像画像４０を生成する。

＜＜第２カメラ２０について＞＞
第２カメラ２０は、ユーザ３０の任意の位置（例えば肩や胸など）に固定されるカメラである。第２カメラ２０は、第２カメラ２０の周囲を撮像できる任意のカメラでよい。例えば第２カメラ２０は、監視用のビデオカメラである。第２カメラ２０は、繰り返し撮像を行い、各撮像結果を表す第２撮像画像５０を生成する。

前述したように、計算機１０００は第２カメラ２０で実現されてもよい。この場合、第２カメラ２０は、自身で生成する第２撮像画像５０と、第１カメラ１２によって生成される第１撮像画像４０とを比較することにより、第１カメラ１２の視野と第２カメラ２０の視野とが満たすべき関係が満たされているか否かを判定する（判定部２０２０）。この関係が満たされていない場合、第２カメラ２０は、自身の視野が正しくないことを報知する（報知部２０４０）。

このように情報処理装置２０００の機能を持たせる第２カメラ２０には、例えば、インテリジェントカメラ、ネットワークカメラ又は、IP（Internet Protocol）カメラなどと呼ばれるカメラを利用することができる。

＜処理の流れ＞
図４は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。判定部２０２０は第１撮像画像４０及び第２撮像画像５０を取得する（Ｓ１０２）。判定部２０２０は関係情報を取得する（Ｓ１０４）。判定部２０２０は、第１撮像画像４０、第２撮像画像５０及び関係情報を用いて、第２カメラ２０の視野が正しいか否かを判定する（Ｓ１０６）。第２カメラ２０の視野が正しい場合（Ｓ１０６：ＹＥＳ）、図４の処理は終了する。一方、第２カメラ２０の視野が正しくない場合（Ｓ１０６：ＮＯ）、図４の処理はＳ１０８に進む。Ｓ１０８において、報知部２０４０は報知を行う（Ｓ１１０）。

＜第１撮像画像４０の取得方法＞
情報処理装置２０００は第１撮像画像４０を取得する（Ｓ１０２）。情報処理装置２０００が第１撮像画像４０を取得する方法は様々である。例えば情報処理装置２０００は、第１カメラ１２から第１撮像画像４０を取得する。この場合、情報処理装置２０００と第１カメラ１２とは通信可能に接続されている。

また、第１カメラ１２が外部の記憶装置に撮像画像を記憶する場合、情報処理装置２０００は、この記憶装置から第１撮像画像４０を取得する。この場合、情報処理装置２０００は、この記憶装置と通信可能に接続されている。

情報処理装置２０００が第１撮像画像４０を取得するタイミングは様々である。例えば情報処理装置２０００は、第１撮像画像４０が生成されたタイミングで、その生成された第１撮像画像４０を取得する。また例えば、情報処理装置２０００は、定期的に第１撮像画像４０を取得してもよい。後者の場合、情報処理装置２０００は、複数の第１撮像画像４０をまとめて取得してもよい。

＜第２撮像画像５０の取得方法＞
情報処理装置２０００が第２撮像画像５０を取得する方法や第２撮像画像５０を取得するタイミングは、情報処理装置２０００が第１撮像画像４０を取得する方法や第１撮像画像４０を取得するタイミングと同様である。

なお、情報処理装置２０００が第２カメラ２０で実現される場合、情報処理装置２０００は、情報処理装置２０００自身によって生成された第２撮像画像５０を取得する。この場合、第２撮像画像５０は、例えば情報処理装置２０００の内部にあるメモリ１０６０やストレージ１０８０（図３参照）に記憶されている。

＜関係情報の詳細＞
関係情報は、第１カメラ１２の視野と第２カメラ２０の視野とが満たすべき関係を示す。以下、関係情報を具体的に例示する。

＜＜関係情報１＞＞
例えば第１カメラ１２の視野と第２カメラ２０の視野とが満たすべき関係は、「第２カメラ２０の視野が、第１カメラ１２の視野の所定範囲を含む」という関係である。この場合、関係情報は、上記所定範囲を特定する情報を含む。

図５は、関係情報を概念的に例示する第１の図である。図５において、視野９０は第１カメラ１２の視野を表す。所定範囲１００は、第２カメラ２０の視野が含むべき、第１カメラ１２の視野内の範囲を表す。例えば関係情報は、所定範囲１００を、「左上端の座標、幅及び高さ」で特定する。図５において、所定範囲１００の左上端の座標、幅及び高さはそれぞれ、(x1, y1)、w1、及び h1 である。ここで図５の座標系において、原点は視野９０の左上端であり、X 方向は右方向であり、なおかつ Y 方向は下方向である。また所定範囲１００の幅と高さはいずれも、視野９０の幅と高さを１とする相対的な長さで表されている。

なお、図５の関係情報は便宜上、所定範囲１００の大きさを相対値で表している。しかし関係情報に示される値は、相対値に限定されない。例えば関係情報は、所定範囲１００の大きさを画素数で表すようにしてもよい。また、X 方向やY 方向も図５で示したものに限定されず、同等の記述が可能な任意の座標系を用いることができる。ただし、以降の説明では、図５と同じ座標系を用いる。

関係情報が示す所定範囲１００は、予め固定で設定されていてもよいし、動的に設定されてもよい。後者の場合、所定範囲１００の設定は手動で行われてもよいし、任意の計算機（例えば情報処理装置２０００）によって行われてもよい。

例えば上記計算機は、ユーザ３０の顔の向きに応じて所定範囲１００の位置を変更する。ユーザ３０の顔の向きが変わると、第１撮像画像４０に映る景色が変わる。通常、所定範囲１００は、第１撮像画像４０上の所定位置に対して固定的に設定されるよりも、第１撮像画像４０に写る風景の特定領域（例えば人が頻繁に通過する領域）に対して固定的に設定される方が望ましい。そこで上記計算機は、ユーザ３０の顔の向きの変化に応じて所定範囲１００の位置を設定する。

例えば上記計算機は、複数の第１撮像画像４０（第１カメラ１２によって生成される動画を構成する各フレーム）の間でマッチングを行うことで、第１撮像画像４０に写っている景色全体がどのように動いたかを検知する。そして上記計算機は、この動きを打ち消す方向に所定範囲１００の位置をずらす。例えば、第１撮像画像４０に写っている景色全体が (dx, dy) だけ動いたことが検知された場合、上記計算機は、所定範囲１００の四隅の位置を現状の位置から (-dx, -dy) ずらす。

ここで、フレーム間でマッチングを行う方法としては、単純にオプティカルフローを求める方式や特徴点を抽出して特徴点間でマッチングをとる方式など、様々な方式を用いることができる。

＜＜関係情報２＞＞
また例えば、第１カメラ１２の視野と第２カメラ２０の視野とが満たすべき関係は、「第２カメラ２０の視野が、第１カメラ１２の視野の垂直方向又は水平方向について、第１カメラ１２の視野の所定範囲を含む」という関係である。この場合、関係情報は、上記所定範囲を特定する情報を含む。

図６は、関係情報を概念的に例示する第２の図である。視野１２０は、第２カメラ２０の視野を表す。所定範囲１１０は、第１カメラ１２の視野９０の垂直方向について、第２カメラ２０の視野１２０が含むべき範囲を示している。垂直方向について視野１２０が満たすべき条件は、視野１２０の上端の Y 座標が y1 以下であり、なおかつ視野１２０の下端の Y 座標が y2 以上であることである。なお、水平方向について視野１２０が満たすべき条件は、視野１２０が第１カメラ１２の視野９０に含まることである。言い換えれば、視野１２０の水平方向の位置は、視野９０に含まれる任意の位置でよい。

図６において、第２カメラ２０の視野１２０が４通り例示されている。視野１２０−１、視野１２０−２及び視野１２０−３はいずれも、上述の条件を満たしている。よって、第２カメラ２０の視野が視野１２０−１から視野１２０−３のいずれかである場合、判定部２０２０は、第２カメラ２０の視野が正しいと判定する。一方で、視野１２０−４は、垂直方向に関する条件を満たしていない。よって、第２カメラ２０の視野が視野１２０−４である場合、判定部２０２０は、第２カメラ２０の視野が正しくないと判定する。

例えば第１カメラ１２が人を全体的に撮影するために用いられる一方で、第２カメラ２０が人の所定部位（例えば頭部）を大きく撮影するために用いられるとする。この場合、第２カメラ２０の視野１２０は、第１カメラ１２の視野９０のうち、その所定部位が写ると想定される範囲を含む必要がある。そこで例えば、図６に示す関係情報は、第１カメラ１２の視野９０において人の頭部が写ると想定される範囲を、所定範囲１１０として示す。

図７は、人の頭部が写ると想定される部分を所定範囲１１０として定めたケースを例示する図である。図７において、第１カメラ１２の視野９０には、複数の人１３０が道１４０を歩いている様子が写っている。人１３０の頭部はいずれも、所定範囲１１０に含まれている。そのため、第２カメラ２０の視野１２０が垂直方向について所定範囲１１０を含んでいれば、第２撮像画像５０に人の頭部が写ることとなる。

なお、図６を用いた関係情報の例は、第２カメラ２０の視野１２０の垂直方向についての条件を示しているが、関係情報は同様の方法で、第２カメラ２０の視野１２０の水平方向についての条件を示すものでもよい。

また前述したように、第２カメラ２０で人の所定部位を大きく写すことを目的とする場合、関係情報は、「第１カメラ１２の所定範囲１１０に人が写っている場合に、第２カメラ２０の視野１２０に人の所定部位が写る」という条件を示す情報であってもよい。

関係情報が示す所定範囲１１０を設定する方法は様々である。ユーザ３０が立つ位置が固定されている場合、例えばユーザ３０が所定の位置に立った状態で第１カメラ１２によって生成された第１撮像画像４０を予め取得し、その第１撮像画像４０を利用することで、所定範囲１１０を設定することができる。この設定は手動で行われてもよいし、任意の計算機（例えば情報処理装置２０００）によって行われてもよい。

所定範囲１１０の設定が計算機によって行われる場合、例えばこの計算機は、第１撮像画像４０に写っている人の頭部を検出する。あるいはこの計算機は、頭部を直接検出する代わりに上半身を検出し、上半身の上方を頭部とみなしてもよい。そしてこの計算機は、検出した頭部の Y 軸方向の位置に基づいて、所定範囲１１０を設定する。

例えば所定範囲１１０の高さ（図６における y2-y1）が予め定められているとする。このとき、上記計算機は、検出した頭部の Y 軸方向の位置が中心であり、なおかつ高さが上記所定の高さである範囲を、所定範囲１１０として設定する。また例えば、頭部と一緒に持ち物や服などの情報も取得したい場合、上記計算機は、検出した頭部の Y 軸方向の位置が中心よりやや上方（y1 に近い値）となるように所定範囲１１０を設定してもよい。この場合、例えば上記計算機は、y1 と y2の間を 1:α（αは1より大きな値）に内分する点が頭部の中心となるように、所定範囲１１０を設定する。

また例えば、第１撮像画像４０から人の頭部が複数検出されたとする。この場合、例えば上記計算機は、Y 軸方向の位置が最も小さい頭部の位置（以下、Ymin）を所定範囲１１０の上端とし、Y 軸方向の位置が最も大きい頭部の位置（以下、Ymax）を所定範囲１１０の下端とする。あるいは上記計算機は、所定幅Δの余裕を持たせて、Ymin-Δ から Ymax+Δ までを所定範囲１１０としてもよい。所定幅Δを示す情報は、予め上記計算機に設定されていてもよいし、上記計算機からアクセス可能な記憶装置に記憶されていてもよい。

ユーザ３０が移動する場合、第１カメラ１２の視野９０内において人の頭が写ると想定される範囲（所定範囲１１０）が変化することがある。この場合、所定範囲１１０を示す関係情報は、任意の計算機（例えば情報処理装置２０００）によって動的に更新されてもよい。例えばこの計算機は、定期的に第１撮像画像４０を取得し、その第１撮像画像４０から検出される人の頭部の位置に基づいて、前述したように所定範囲１１０を設定する。

このように動的に関係情報を更新することにより、ユーザ３０の移動に応じて適切な関係情報を利用できる。よって、情報処理装置２０００は、ユーザ３０が移動したりする場合であっても、第２カメラ２０の視野が意図した視野となっているかを適切に判定できる。

なお、関係情報は判定部２０２０に設定される情報であってもよいし、判定部２０２０からアクセス可能な記憶装置に記憶される情報であってもよい。

＜判定部２０２０の詳細＞
判定部２０２０は、第１撮像画像４０、第２撮像画像５０及び関係情報を用いて、第２カメラ２０の視野が正しいか否かを判定する（Ｓ１０６）。ここで、第１撮像画像４０に写っている景色は、第１カメラ１２の視野に含まれる景色を表す。一方、第２撮像画像５０に写っている景色は、第２カメラ２０の視野に含まれる景色を表す。そこで判定部２０２０は、第１撮像画像４０によって表される第１カメラ１２の視野、第２撮像画像５０によって表される第２カメラ２０の視野、及び関係情報を用いて、第２カメラ２０の視野が正しいか否かを判定する。

第２カメラ２０の視野が正しいか否かを判定する具体的な方法は、関係情報がどのような種類の情報を示すかに依存する。以下、第２カメラ２０の視野が正しいか否かを判定する具体的な方法を例示する。

＜＜ケース１＞＞
関係情報が、前述した関係情報１のように、「第２カメラ２０の視野が、第１カメラ１２の視野の所定範囲を含む」という関係を示しているとする。この場合、関係情報は、図５で例示した所定範囲１００を特定する情報を含む。

判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている景色が第２カメラ２０に写っている景色に含まれるかを判定する。第１撮像画像４０の所定範囲１００に写っている景色が第２カメラ２０に写っている景色に含まれる場合、判定部２０２０は、第２カメラ２０の視野が正しいと判定する。一方、第１撮像画像４０の所定範囲１００に写っている景色が第２カメラ２０に写っている景色に含まれない場合、第２カメラ２０の視野が正しくないと判定する。

第１撮像画像４０の所定範囲１００に写っている景色が第２カメラ２０に写っている景色に含まれるか否かを判定する方法は様々である。例えば判定部２０２０は、第１撮像画像４０内の所定範囲１００の特徴量と、第２撮像画像５０の特徴量とをそれぞれ算出する。ここで、画像の特徴量は、例えば画像に含まれる特徴的な色、模様、又は形状などを表すデータである。さらに判定部２０２０は、これらの特徴量の一致度合いを算出する。例えば判定部２０２０は、第１撮像画像４０と第２撮像画像５０のそれぞれについて特徴点を求め、特徴点近傍の特徴量を抽出し、特徴点間でマッチングを行うことにより、これらの画像の特徴量の一致度合いを算出できる。

上述したマッチングを行う際、第１撮像画像４０と第２撮像画像５０との間で倍率の比がわかっていれば、判定部２０２０は、この倍率の比率を示す情報を用いてマッチングの高速化を図ることができる。例えばある物体の長さが、第１撮像画像４０では L1 画素となり、第２撮像画像５０では L2 画素となることがわかっているとする。この場合、判定部２０２０は、第２撮像画像を L1/L2 倍して第１撮像画像とマッチングを行う。このように倍率の比を考慮したマッチングを行うことにより、倍率の比がわからない場合に比べ、マッチングを高速化できる。

特徴量の一致度合いが所定値以上である場合、判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている景色が第２撮像画像５０に写っている景色に含まれると判定する。この場合、判定部２０２０は、第２カメラ２０の視野が正しいと判定する。一方、特徴量の一致度合いが所定値未満である場合、判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている景色が第２撮像画像５０に写っている景色に含まれないと判定する。この場合、判定部２０２０は、第２カメラ２０の視野が正しくないと判定する。あるいは判定部２０２０は、所定範囲１００の外部の領域において、特徴量の一致度度合いが所定値以上となる領域が存在する場合について、同様の判定を行ってもよい。

また例えば、判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている人の数と、第２撮像画像５０に写っている人の数との一致度合いによって、第１撮像画像４０の所定範囲１００に写っている景色が第２撮像画像５０に写っている景色に含まれるか否かを判定する。具体的にはまず判定部２０２０は、第１撮像画像４０の所定範囲１００について人物検出処理を行うことにより、所定範囲１００に写っている人の数を割り出す。同様に判定部２０２０は、第２撮像画像５０について人物検出処理を行うことにより、第２撮像画像５０に写っている人の数を割り出す。そして判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている人の数と第２撮像画像５０に写っている人の数との一致度合いを算出する。例えばこの一致度合いは、第１撮像画像４０の所定範囲１００に写っている人の数を、第２撮像画像５０に写っている人の数で除算した値である。

この一致度合いが所定値以上の場合、判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている景色が第２撮像画像５０に写っている景色に含まれると判定する。この場合、判定部２０２０は、第２カメラ２０の視野が正しいと判定する。一方、この一致度合いが所定値未満である場合、判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている景色が第２撮像画像５０に写っている景色に含まれないと判定する。この場合、判定部２０２０は、第２カメラ２０の視野が正しくないと判定する。例えば、第２カメラ２０の視野が正しい場合に、第１撮像画像４０に写っている景色と第２撮像画像５０に写っている景色とが一致するようにしたいときは、上記所定値を１に設定する。

なお、第１撮像画像４０と第２撮像画像５０に対する人物検出処理は必ずしも同じ処理である必要はなく、解像度などに応じた適切な人物検出処理を行うように判定部２０２０を構成することができる。例えば判定部２０２０は、解像度などに応じ、人物全体を検出する方法や上半身のみを検出する方法といった様々な方式を用いることができる。

ここで前述したように、第２カメラ２０は、人の所定部位（頭部など）を大きく写すために用いられることがある。この場合、判定部２０２０は、第２撮像画像５０に写っている人の数を算出する際、第２撮像画像５０について人の所定部位を検出する処理を行い、検出された所定部位の数を第２撮像画像５０に写っている人の数としてもよい。例えば所定部位が頭部である場合、判定部２０２０は頭部検出処理や顔検出処理を行う。

これにより、判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている人の数と、第２撮像画像５０に写っている人の所定部位の数との一致度合いが所定値未満である場合に、第２カメラ２０の視野が正しくないと判定する。こうすることで、第２カメラ２０の視野が、人の所定部位を正しく撮影できる視野になっていない場合に、ユーザ３０がそのことを把握できるようになる。

なお、人のどの部位を所定部位とするかを示す情報は、判定部２０２０に予め設定されていてもよいし、判定部２０２０からアクセス可能な記憶装置に記憶されていてもよい。

なお、第２撮像画像５０に人の所定部位が写っているか否かを判定する方法は、第２撮像画像５０についてその所定部位の検出処理を行う方法に限定されない。例えば判定部２０２０は、第２撮像画像５０について所定部位以外の部位を検出する処理を行い、その結果に基づいて、第２撮像画像５０に所定部位が写っているか否かを判定してもよい。

例えば所定部位が頭部であるとする。この場合、第２撮像画像５０に人の足下が写っている場合、第２撮像画像５０に人の頭部が写っている確率が小さい。そこで判定部２０２０は、第２撮像画像５０について人の足を検出する処理を行う。人の足が検出された場合、判定部２０２０は、所定部位である頭部が第２撮像画像５０に写っていないと判定する。一方、人の足が検出されなかった場合、判定部２０２０は、所定部位である頭部が第２撮像画像５０に写っていると判定する。

また判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている種々のオブジェクトと第２カメラ２０に写っている種々のオブジェクトとの一致度合いに基づいて、第２カメラ２０の視野が正しいか否かを判定してもよい。オブジェクトは、人を含んでもよいし含まなくてもよい。例えばオブジェクトは、道路標識、ロードコーン、車のタイヤ、又は家や車の窓枠などである。どのようなものをオブジェクトとして扱うかを表す情報は、判定部２０２０に予め設定されていてもよいし、判定部２０２０からアクセス可能な記憶装置に記憶されていてもよい。

具体的には、判定部２０２０は、第１撮像画像４０の所定範囲１００と第２カメラ２０全体のそれぞれに対してオブジェクト検出処理を行うことにより、オブジェクトを検出する。そして判定部２０２０は、第１撮像画像４０の所定範囲１００に写っているオブジェクトと、第２カメラ２０に写っているオブジェクトとの一致度合いを算出する。例えばこの一致度合いは、第１撮像画像４０の所定範囲１００に写っているオブジェクトのうち、どの程度の割合のオブジェクトが第２カメラ２０にも写っているかを表す値である。

上記一致度合いが所定値以上である場合、判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている景色が第２撮像画像５０に写っている景色に含まれると判定する。この場合、判定部２０２０は、第２カメラ２０の視野が正しいと判定する。一方、上記一致度合いが所定値未満である場合、判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている景色が第２撮像画像５０に写っている景色に含まれないと判定する。この場合、判定部２０２０は、第２カメラ２０の視野が正しくないと判定する。

あるいは判定部２０２０は、検出されたオブジェクト間の位置関係も合わせて用いてもよい。例えば、第１撮像画像４０では所定範囲１００の下側で検出されるロードコーンが第２撮像画像５０では上側で検出された場合や、第１撮像画像４０では所定範囲１００の上側で検出される標識が第２撮像画像５０では下側で検出された場合、判定部２０２０は、第２カメラ２０の視野が正しくないと判定する。

あるいは判定部２０２０は、第１撮像画像４０については所定範囲１００の外側の領域に存在するオブジェクトも検出しておき、所定範囲１００の外側の領域に存在するオブジェクトが第２撮像画像５０に写っているか否かを判定してもよい。所定範囲１００の外側の領域に存在するオブジェクトが第２撮像画像５０に写っている場合、判定部２０２０は、第２カメラ２０の視野が正しくないと判定する。

なお、第１撮像画像４０の所定範囲１００に写っている景色が第２撮像画像５０に写っている景色に含まれるか否かを判定部２０２０が判定するタイミングは様々である。例えば判定部２０２０は、第１撮像画像４０及び第２撮像画像５０を取得する度にこの判定を行う。また例えば、判定部２０２０は、定期的にこの判定を行う。また例えば、判定部２０２０は、第１撮像画像４０の所定範囲１００に人が写っているか否かを判定し、所定範囲１００に人が写っている場合に、第１撮像画像４０の所定範囲１００に写っている景色が第２撮像画像５０に写っている景色に含まれるか否かの判定を行ってもよい。なお、第１撮像画像４０の所定範囲１００に人が写っているか否かの判定は、第１撮像画像４０を取得する度に行われてもよいし、定期的に行われてもよい。

あるいは判定部２０２０は、第１撮像画像４０の所定範囲１００に写っている景色が第２撮像画像５０に写っている景色に含まれるか否かを一度判定した後は、判定処理を簡略化してもよい。例えば判定部２０２０は、一度上記判定をした後は、第１撮像画像４０に写っている景色の変動の大きさを検出し、この変動が大きい場合に再度上記判定を行うようにしてもよい。

判定部２０２０が第１撮像画像４０に写っている景色の変動が大きいか否かを判定する方法は様々である。例えば判定部２０２０は、第１撮像画像４０全体の動きを表すオプティカルフローを利用してこの判定を行う。具体的にはまず、判定部２０２０は上記オプティカルフローを算出する。そして判定部２０２０は、このオプティカルフローの平均値が閾値を超える場合に、第１撮像画像４０に写っている景色の変動が大きいと判定する。

また例えば、判定部２０２０は、複数の第１撮像画像４０それぞれについて低解像度画像を生成し、この低解像度画像を利用して判定を行ってもよい。具体的には、判定部２０２０は、上記低解像度画像間で差分を計算し、差分が一定値以上になる場合に、第１撮像画像４０に写っている景色の変動が大きいと判定する。

また例えば、判定部２０２０は、複数の第１撮像画像４０それぞれの背景領域を抽出し、背景領域間の差分が大きい場合に、第１撮像画像４０に写っている景色の変動が大きいと判定してもよい。ここで、第１撮像画像４０の背景領域は、前景領域となる人が映り込みにくい領域である。画像から背景領域を抽出する手法には、既知の技術が利用できる。

また例えば、判定部２０２０は、複数の第１撮像画像４０から成る動画（第１カメラ１２によって生成される動画）に圧縮処理を施し、圧縮後の動画のデータサイズに基づいて、第１撮像画像４０に写っている景色の変動が大きいか否かを判定してもよい。一般に、動画を圧縮する場合、フレーム間の差分が大きいほど、圧縮後の動画のデータサイズが大きくなる。そこで例えば、判定部２０２０は、第１カメラ１２によって生成される動画を所定時間ごとの部分動画に区切り、各部分動画に対して圧縮処理を施す。次に判定部２０２０は、部分動画間でデータサイズを比較する。そして判定部２０２０は、部分動画間のデータサイズの変動が大きい場合に、第１撮像画像４０に写っている景色の変動が大きいと判定する。なお、動画の圧縮処理には、既知の種々の圧縮手法を利用することができる。

なお判定部２０２０は、1回の判定のみで第２カメラ２０の視野が正しくないと判定するのではなく、複数回判定を行い、それらの結果を統合して最終的に判定するように構成されていてもよい。例えばユーザ３０が一時的に顔向きを変えて別の場所を見た場合など、第１撮像画像４０に写る景色だけが大きく変化し、第２撮像画像５０に写る景色はあまり変化しない場合がある。ユーザ３０が一時的に顔の向きを変えただけであれば、ユーザ３０はまた同じ方向を向くようになるため、第１撮像画像４０の景色はいずれ元に戻る。このような場合、第２カメラ２０の視野は正しいとみなしてもよいと考えられる。そこで判定部２０２０は、上述のように複数回の判定を行い、得られた結果を統合する。これにより、ユーザ３０が一時的に顔の向きを変えた場合などにおいて、第２カメラ２０の視野が正しくないと即座に判定されるのを防ぐことができる。

なお判定部２０２０は、上述した種々の判定方法を組み合わせて判定するように構成されていてもよい。

＜ケース２＞
関係情報が、前述した関係情報２のように、「第２カメラ２０の視野が、第１カメラ１２の視野の垂直方向又は水平方向について、第１カメラ１２の視野の所定範囲を含む」という関係を示しているとする。この場合、関係情報は、図６で例示した所定範囲１１０を特定する情報を示す。図６を用いて示した例の場合、第２カメラ２０の視野は、垂直方向について所定範囲１１０を含んでいれば正しい視野である。

そこで、例えば判定部２０２０は、所定範囲１１０内に、第２撮像画像５０に写っている景色と同じ景色を示す領域があるか否かを判定する。図８を用いて、この比較方法の例を説明する。図８は、ケース２の判定方法を概念的に例示する図である。まず判定部２０２０は、第１撮像画像４０から比較領域１を抽出する。比較領域１は、１）第２撮像画像５０と同じ大きさか又は第２撮像画像５０よりも所定割合小さい大きさであり、２）左端の位置が第１撮像画像４０の左端と同じ位置であり、なおかつ３）垂直方向の中心位置が、所定範囲１１０の垂直方向の中心位置と同じ位置である。

判定部２０２０は、第１撮像画像４０の比較領域１に写っている景色と、第２撮像画像５０に写っている景色とを比較する。第１撮像画像４０の比較領域１に写っている景色が第２撮像画像５０に写っている景色に含まれる場合、判定部２０２０は、第２撮像画像５０の視野が正しいと判定する。一方、第１撮像画像４０の比較領域１に写っている景色が第２撮像画像５０に含まれない場合、判定部２０２０は、第１撮像画像４０から次の比較対象である比較領域２を抽出する。比較領域２は、比較領域１を右方向へ s だけずらした領域である。s は予め定められたスライド幅である。そして判定部２０２０は、比較領域２について比較領域１と同様の比較処理を行う。

判定部２０２０は、第２撮像画像５０に含まれる景色が写っている比較領域が見つかるか、又は比較領域が第１撮像画像４０の右端に達するまで、比較領域を s ずつ右にずらしながら上述の比較処理を繰り返す。比較領域が第１撮像画像４０の右端に達しても、第２撮像画像５０に含まれる景色が写っている比較領域が見つからない場合、判定部２０２０は、第２カメラ２０の視野が正しくないと判定する。

ここで、第１撮像画像４０の比較領域に写っている景色が第２撮像画像５０に写っている景色に含まれるか否かを判定する方法には、ケース１において説明した、第１撮像画像４０の所定範囲１００に写っている景色が第２撮像画像５０に写っている景色に含まれるか否かを判定する種々の方法のいずれかを利用できる。

なお判定部２０２０は、過去に（例えば前回）行った判定の結果を利用して、第２撮像画像５０と比較する比較領域の初期位置（図８では左端）とその順序（図８では左から順）を決定してもよい。例えば判定部２０２０は、前回の判定処理で特定された比較領域の位置を記憶しておき、その位置を比較領域の初期位置とする。そして判定部２０２０は、その初期位置を中心として左右に s ずつずらした各比較領域について、順に第２撮像画像５０との比較を行っていく。前回一致した比較領域又はその付近の比較領域に写っている景色は、再度第２撮像画像５０に一致する蓋然性が高いと考えられる。そこで上述のように、前回の判定結果を利用して比較領域の初期位置及び比較順序を定めることにより、判定部２０２０が行う処理を高速化できる。

また、前回の判定処理が行われた時からの第１撮像画像４０及び第２撮像画像５０の全体の動きがわかっている場合、判定部２０２０は、これらの動きを補償した上で同様の判定処理を行ってもよい。例えば前回の判定処理において第２撮像画像５０に写っている景色と同じ景色が写っている比較領域は、第１撮像画像４０の左端から x1 の位置にあったとする。そして、今回の判定処理の対象となる第１撮像画像４０は、前回の判定処理の対象であった第１撮像画像４０と比較して左に d 動いているとする。この場合、判定部２０２０は、今回の比較領域の初期位置を x1-d に設定する。

なお、スライド幅ｓ を示す情報は、判定部２０２０に予め設定されていてもよいし、判定部２０２０からアクセス可能な記憶装置に記憶されていてもよい。

なお、判定部２０２０が比較領域と第２撮像画像５０との比較処理を行うタイミングは様々である。例えば判定部２０２０は、第１撮像画像４０及び第２撮像画像５０を取得する度にこの判定を行う。また例えば、判定部２０２０は、定期的にこの判定を行う。また例えば、判定部２０２０は、第１撮像画像４０の所定範囲１１０に人が写っているか否かを判定し、所定範囲１１０に人が写っている場合に、上記比較処理を行ってもよい。なお、第１撮像画像４０の所定範囲１１０に人が写っているか否かの判定は、第１撮像画像４０を取得する度に行われてもよいし、定期的に行われてもよい。あるいは、ケース１のところで述べたように、画面全体の動きを検知して判定を行うように構成されていてもよい。

例えば図７で示した道１４０を警備しているような場合、第２カメラ２０の視野は人の頭部を写すことができればよいため、第２カメラ２０の視野が当初の視野から水平方向に変化しても、その変化は警備に支障を与えない。また、警備員は左右を見渡しながら警備を行うことがあるため、水平方向についての第２カメラ２０の視野の変化は許容されることが好ましい。

ケース２の判定方法によれば、第２カメラ２０の視野が当初の位置から水平方向に変化していても、垂直方向にさえ変化していなければ、第２カメラ２０の視野は正しいと判定される。よって、警備などに支障を与えない範囲で第２カメラ２０の視野の変化を許容できるため、第２カメラ２０の利便性が向上する。

＜＜ケース３＞＞
関係情報が、「第１カメラ１２の視野の所定範囲に人が写っている場合に、第２カメラ２０の視野に人の所定部位が写る」という条件を示しているとする。この場合、関係情報は、図６で例示した所定範囲１１０を特定する情報を含む。判定部２０２０は、第１撮像画像４０の所定範囲１１０に人が写っており、なおかつ第２撮像画像５０に人の所定部位が写っていない場合に、第２カメラ２０の視野が正しくないと判定する。

まず判定部２０２０は、第１撮像画像４０の所定範囲１１０についてオブジェクト解析処理を行うことで、所定範囲１１０に人が写っているか否かを判定する。所定範囲１１０に人が写っている場合、さらに判定部２０２０は、第２撮像画像５０について人の所定部位の検出を行う。第２撮像画像５０に人の所定部位が写っている場合、判定部２０２０は、第２カメラ２０の視野が正しいと判定する。一方、第２撮像画像５０に人の所定部位が写っていない場合、判定部２０２０は、第２カメラ２０の視野が正しくないと判定する。

図９は、ケース３の判定方法を概念的に例示する図である。この例において、人の所定部位は頭部である。図９（ａ）は第１撮像画像４０を表している。図９（ａ）において、所定範囲１１０に人が写っている。そこでこの第１撮像画像４０を取得した判定部２０２０は、第２撮像画像５０に人の頭部が写っているか否かを判定する。図９（ｂ）では、第２撮像画像５０に人の頭部が写っている。そのため、この第２撮像画像５０を取得した判定部２０２０は、第２カメラ２０の視野が正しいと判定する。一方、図９（ｃ）では、第２撮像画像５０に人の頭部が写っていない。そのため、この第２撮像画像５０を取得した判定部２０２０は、第２カメラ２０の視野が正しくないと判定する。

なお前述したように、第２撮像画像５０に人の所定部位が写っているか否かの判定は、第２撮像画像５０に所定部位以外の部位が写っているか否かを判定した結果に基づいて行われてもよい。あるいは判定部２０２０は、背景にあるオブジェクトを認識して判定するように構成されていてもよい。例えばロードコーンや車のタイヤなどが（特に第２撮像画像５０内の上方の領域で）検出された場合、第２撮像画像５０に人の頭部が写っている蓋然性は低い。そのため、例えば、所定部位が頭部であり、なおかつ第２撮像画像５０にロードコーンなどの所定のオブジェクトが写っている場合、判定部２０２０は、第２カメラ２０の視野が正しくないと判定してもよい。

また、判定部２０２０がケース３で説明した処理を行うタイミングは様々である。例えば判定部２０２０は、第１撮像画像４０及び第２撮像画像５０を取得する度にこの処理を行う。また例えば判定部２０２０は、定期的にこの処理を行う。また、判定部２０２０は、上述の種々の判定方法を組み合わせて判定するように構成されていてもよい。

このケース３の判定方法によれば、ケース２の判定方法と同様に、警備などに支障を与えない範囲で第２カメラ２０の視野の変化を許容できるため、第２カメラ２０の利便性が向上する。

＜報知部２０４０の詳細＞
報知部２０４０は、第２カメラ２０の視野が正しくないことをユーザ３０に報知する（Ｓ１１０）。ここで、ユーザ３０に報知される情報を、報知情報と呼ぶ。報知情報は、テキスト、画像、又は音声などの任意のフォーマットのデータである。報知部２０４０は、報知情報をディスプレイに表示したり、報知情報を音声で出力したりする。これにより、ユーザ３０は第２カメラ２０の視野が正しくないことを把握できる。

例えば報知部２０４０は、第２カメラ２０の視野が正しくないことを示す報知情報を、ヘッドマウントディスプレイ１０のディスプレイ装置１４に表示する。図１０は、ディスプレイ装置１４に表示される報知情報を例示する図である。図１０において、ディスプレイ装置１４上に報知情報１５０が表示されている。ヘッドマウントディスプレイ１０を装着しているユーザ３０は、この報知情報１５０を見ることで、第２カメラ２０の視野が正しくないことを認識することができる。

［実施形態２］
図１１は、実施形態２の情報処理装置２０００を例示するブロック図である。下記で説明する点を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。

実施形態２の情報処理装置２０００はガイド出力部２０６０を有する。ガイド出力部２０６０は、第２カメラ２０の視野を修正するために利用できるガイドを出力する。

＜処理の流れ＞
図１２は、実施形態２の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。実施形態２の情報処理装置２０００は、図４におけるＳ１０２からＳ１０８の処理を実行した後、Ｓ２０２を実行する。図をシンプルにするため、図４に示したステップの一部は図１２において省略されている。

Ｓ２０２において、ガイド出力部２０６０は第２カメラ２０の視野を修正して正しくするためのガイドを出力する。

＜ガイド出力部２０６０の詳細＞
ガイド出力部２０６０が出力するガイドは、第２カメラ２０の視野を正しくするために利用できる任意の情報である。このガイドは、テキスト、画像、又は音声などの任意のフォーマットのデータである。ガイド出力部２０６０は、ガイドをディスプレイに表示したり、ガイドを音声で出力したりする。ユーザ３０は、このガイドに従って第２カメラ２０の位置や画角を調整することにより、第２カメラ２０の視野を修正することができる。

例えばガイド出力部２０６０は、第２カメラ２０の視野を修正するためのガイドを、ヘッドマウントディスプレイ１０のディスプレイ装置１４に表示する。図１３は、ディスプレイ装置１４に表示されるガイドを例示する図である。

＜＜ガイドの例１＞＞
図１３（ａ）のガイド１６０−１は、第２カメラ２０を向けるべき方向を示す。ガイド１６０−１を見たユーザ３０は、ガイド１６０−１が表示されなくなるまで、第２カメラ２０の取り付け位置をずらすか、又は第２カメラ２０の画角を変更することにより、第２カメラ２０の視野を修正する。こうすることでユーザ３０は、第２カメラ２０の視野を正しい視野に修正することができる。

第２カメラ２０を向けるべき方向を算出する方法について説明する。関係情報が図５のように、第２カメラ２０の視野に一致すべき第１カメラ１２の視野内の所定範囲１１０を示すとする。この場合、例えばガイド出力部２０６０は、第２撮像画像５０に写っている景色と一致する第１撮像画像４０内の領域の中心を始点とし、なおかつ所定範囲１００の中心を終点とする方向を算出する。そしてガイド出力部２０６０は、この方向を表す矢印の画像を、ディスプレイ装置１４上の任意の位置に表示する。

また関係情報が図６のように、第２カメラ２０の視野に関する垂直方向の条件を表す所定範囲１１０を示すとする。この場合、ガイド出力部２０６０は、第２撮像画像５０に写っている景色と一致する第１撮像画像４０内の領域が所定範囲１１０よりも下に位置するときには、第２カメラ２０を向けるべき方向を上方向とする。一方、ガイド出力部２０６０は、第２撮像画像５０に写っている景色と一致する第１撮像画像４０内の領域が所定範囲１１０よりも上に位置するときには、第２カメラ２０を向けるべき方向を下方向とする。

また、第２カメラ２０の視野を向けるべき方向は、ジャイロセンサなど、傾きを検出するセンサによって計測された値に基づいて算出してもよい。この場合、情報処理装置２０００は、センサを用いて第２カメラ２０の傾きを定期的に計測し、その結果を記憶装置に記憶しておく。そしてガイド出力部２０６０は、第２カメラ２０の視野が正しいとき（例えば第２カメラ２０の使用を開始したとき）から現在までに計測された各時点における第２カメラ２０の傾きを用いて、視野が正しいときの第２カメラ２０の傾きと現在の第２カメラ２０の傾きとの違いを算出する。そしてガイド出力部２０６０は、現在の第２カメラ２０の傾きを視野が正しいときの第２カメラ２０の傾きに戻す方向を、第２カメラ２０の視野を向けるべき方向とする。なお、前述したセンサは第２カメラ２０に設けられる。

あるいは、情報処理装置２０００は、第２カメラ２０で撮影された画像を時系列で解析し、カメラの傾きの方向を求めてもよい。例えば情報処理装置２０００は、第２カメラ２０によって生成される動画のフレーム間でオプティカルフローを求め、フレーム全体がどちらに動いたかを把握する。そして情報処理装置２０００は、フレーム全体の動きを元に戻す方向を、第２カメラ２０の視野を向けるべき方向とする。

＜＜ガイドの例２＞＞
図１３（ｂ）においてディスプレイ装置１４に表示されるガイド１６０−２は、現在第２カメラ２０の視野に写っている景色（第２撮像画像５０）である。ユーザ３０は、このガイド１６０−２を見ることにより、現在第２カメラ２０の視野にどのような景色が写っているかを知ることができる。

例えば前述したように、第２カメラ２０が人の頭部を大きく写すために用いられているとする。一方で図１３（ａ）において、ディスプレイ装置１４に表示されているガイド１６０−２には、人の足下が写っている。このことから、第２カメラ２０の視野はより上方を向く必要があることが分かる。そこでユーザ３０は、１６０−２に人の頭部が表示されるまで、第２カメラ２０の取り付け位置を上方にずらしたり、第２カメラ２０の画角を上に傾けたりする。これにより、ユーザ３０は、第２カメラ２０の視野を正しい視野に修正することができる。

＜＜ガイドの例３＞＞
図１３（ｃ）のガイド１６０−３は、現在の第２カメラ２０の視野を表す枠線である。ガイド１６０−２を見たユーザ３０は、現在の第２カメラ２０の視野が、ディスプレイ装置１４上のガイド１６０−２に囲まれた領域に相当することを把握できる。そこでユーザ３０は、ガイド１６０−２が第２カメラ２０の視野の正しい視野を表すようになるまで、第２カメラ２０の取り付け位置をずらしたり、第２カメラ２０の画角を変えたりする。これにより、ユーザ３０は、第２カメラ２０の視野を正しい視野に修正することができる。

なおガイド出力部２０６０が出力するガイドは、枠線に限定されない。例えばガイド出力部２０６０は、枠線で囲う代わりに、該当の領域に色を付けるようにしてもよい。また例えば、ガイド出力部２０６０は、単にガイドを表示するだけでなく、ガイドを点滅させるなどすることで、ユーザの注意を喚起するような構成になっていてもよい。

ガイド出力部２０６０は、第１撮像画像４０と第２撮像画像５０とを比較することで、第２撮像画像５０に写っている景色が、第１撮像画像４０に含まれるどの領域の景色と一致するかを割り出す。そしてガイド出力部２０６０は、この割り出した領域（以下、一致領域）に相当するディスプレイ装置１４上の領域を、第２カメラ２０の視野を表す領域（ガイド１６０−３で表すべき領域）とする。

ここで、第２カメラ２０の視野を表す領域をディスプレイ装置１４上に表示する具体的な方法は、ヘッドマウントディスプレイ１０が透過型のヘッドマウントディスプレイと非透過型のヘッドマウントディスプレイのどちらであるかによって異なる。透過型のヘッドマウントディスプレイとは、ディスプレイ装置が透明又は半透明であるヘッドマウントディスプレイである。透過型のヘッドマウントディスプレイを利用するユーザは、ディスプレイ装置を透過して見える実際の景色と、ディスプレイ装置に表示される AR 画像などとを同時に見ることで、AR 画像などが実際の景色に重畳された様子を見ることができる。

一方、非透過型のヘッドマウントディスプレイとは、ディスプレイ装置が非透明であるヘッドマウントディスプレイである。非透過型のヘッドマウントディスプレイ１０は、周囲の景色を第１カメラ１２で撮影して第１撮像画像４０を生成し、第１撮像画像４０をディスプレイ装置１４に表示する。ユーザ３０は、ディスプレイ装置１４に表示される第１撮像画像４０を見ることで、周囲の景色を見ることができる。また非透過型のヘッドマウントディスプレイ１０は、AR 画像などを第１撮像画像４０に重畳してディスプレイ装置１４に表示する。これによりユーザ３０は、AR 画像などが実際の景色に重畳された様子を見ることができる。

ヘッドマウントディスプレイ１０が透過型のヘッドマウントディスプレイであるとする。この場合、ガイド出力部２０６０は、第１撮像画像４０上の位置とディスプレイ装置１４上の位置との対応関係を用いて、第１撮像画像４０上の一致領域をディスプレイ装置１４上の領域へ変換する。そしてガイド出力部２０６０は、この変換されたディスプレイ装置１４上の領域を示す表示（枠線など）をディスプレイ装置１４に表示する。

ここで、第１撮像画像４０上の位置とディスプレイ装置１４上の位置との対応関係は、第１カメラ１２の視野とディスプレイ装置１４との関係に基づいて予め定まる。具体的には、この対応関係は、第１カメラ１２の視野を表すパラメタ（ディスプレイ装置１４との相対位置や画角）を用いて予め定まる。この対応関係を示す情報は、ガイド出力部２０６０に予め設定されていてもよいし、ガイド出力部２０６０からアクセス可能な記憶領域に記憶されていてもよい。

ヘッドマウントディスプレイ１０が非透過型のヘッドマウントディスプレイである場合、ガイド出力部２０６０は、ディスプレイ装置１４に表示する第１撮像画像４０に、上述の一致領域を表す枠線の画像などを重畳する。これにより、第２カメラ２０の視野に相当する領域が、ディスプレイ装置１４上に表される。

なおガイド出力部２０６０は、ガイドの一部として、関係情報に示される所定範囲１００や所定範囲１１０をディスプレイ装置１４に表示してもよい。図１４は、所定範囲１００や所定範囲１１０がガイドの一部としてディスプレイ装置１４に表示される様子を例示する図である。図１４（ａ）では、ガイド１６０−３及び所定範囲１００がガイドとしてディスプレイ装置１４に表示されている。ユーザは、所定範囲１００がガイド１６０−３の中に含まれるように第２カメラ２０の視野を修正することで、第２カメラ２０の視野を正しくすることができる。

一方、図１４（ｂ）では、ガイド１６０−３及び所定範囲１１０がガイドとしてディスプレイ装置１４に表示されている。ユーザは、垂直方向について所定範囲１１０がガイド１６０−３に含まれるように第２カメラ２０の視野を修正することで、第２カメラ２０の視野を正しくすることができる。

なお本実施形態において、ガイド出力部２０６０によって出力されるガイドは、報知部２０４０によって出力される報知情報を兼ねていてもよい。例えば図１３（ａ）においてディスプレイ装置１４に表示される矢印の画像は、第２カメラ２０の視野を正しい視野へ修正するためのガイドとしての役割を持つと同時に、第２カメラ２０の視野が正しくないことをユーザ３０へ報知する報知情報としての役割も持つことができる。このような場合、情報処理装置２０００は、ガイドとは別に報知情報を出力する必要がない。この場合、情報処理装置２０００は、報知部２０４０を有さなくてもよい。

＜ハードウエア構成例＞
実施形態２の情報処理装置２０００のハードウエア構成は、実施形態１の情報処理装置２０００と同様に、例えば図３によって表される。実施形態２のストレージ１０８０には、上述した実施形態２の各機能を実現するプログラムが含まれる。

＜作用・効果＞
本実施形態によれば、第２カメラ２０の視野が正しくないことが報知されるだけでなく、第２カメラ２０の視野を正しくするためのガイドが出力される。このガイドを用いることにより、ユーザ３０は第２カメラ２０の視野を容易に修正することができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

例えば、第１カメラ１２は、必ずしもヘッドマウントディスプレイ１０上に設けられなくてもよい。図１５は、第１カメラ１２がヘッドマウントディスプレイ１０上以外の場所に設けられるケースを例示する図である。図１５において、第１カメラ１２は、ユーザ３０の左耳付近に固定されている。また第１カメラ１２は、ユーザ３０が装着している帽子や通常の眼鏡などに固定されていてもよい。

なお、第１撮像画像４０に写る景色がユーザ３０の視野に写る景色に近いものとなるように、第１カメラ１２はユーザ３０の頭部（首より上）に固定されていることが好ましい。ただし、第１カメラ１２が設けられる位置はユーザ３０の頭部に限定されない。

第１カメラ１２をヘッドマウントディスプレイ１０上に設けない場合、ユーザ３０はヘッドマウントディスプレイ１０を装着しなくてもよい。ユーザ３０がヘッドマウントディスプレイ１０を装着しない場合、例えば報知部２０４０によって生成される報知情報やガイド出力部２０６０によって生成されるガイドは、音声で出力される。また例えば、報知情報やガイドは、ユーザ３０が所持する携帯端末に対してテキスト情報や画像として送信されてもよい。ユーザ３０は、携帯端末のディスプレイ装置に表示されるテキスト情報や画像を見ることで、第２カメラ２０の視野が正しくないことを把握したり、第２カメラ２０の視野を正しくするためのガイドを見たりすることができる。

また、ユーザ３０は、ヘッドマウントディスプレイ１０の代わりに、ディスプレイ装置を備えたコンタクトレンズを装着してもよい。この場合、情報処理装置２０００は、このコンタクトレンズに備えられたディスプレイ装置を、ヘッドマウントディスプレイ１０のディスプレイ装置１４と同様に扱うことができる。またこの場合、第１カメラ１２はこのコンタクトレンズに埋め込まれてもよい。

以下、参考形態の例を付記する。
１． 人に装着されている第１のカメラによって生成された第１の撮像画像と、前記人に装着されている第２のカメラによって生成された第２の撮像画像と、前記第１のカメラの視野と前記第２のカメラの視野とが満たすべき所定の関係を定めた関係情報とに基づいて、前記第２のカメラの視野が正しいか否かを判定する判定手段と、
前記第２のカメラの視野が正しくないと判定された場合に、前記第２のカメラの視野が正しくないことを報知する報知手段と、を有し、
前記第１のカメラは前記人に装着されたヘッドマウントディスプレイに設けられており、
前記第２のカメラは前記ヘッドマウントディスプレイ以外に設けられたカメラである、
情報処理装置。
２． 前記関係情報は、前記第１のカメラの視野の所定範囲が前記第２のカメラの視野に含まれるという関係を示し、
前記判定手段は、
前記第１の撮像画像、前記第２の撮像画像、及び前記関係情報を用いて、前記第１のカメラの視野の前記所定範囲が前記第２のカメラの視野に含まれるか否かを判定し、
前記第１のカメラの視野の前記所定範囲が前記第２のカメラの視野に含まれない場合に、前記第２のカメラの視野が正しくないと判定する、１．に記載の情報処理装置。
３． 前記第１のカメラの視野の前記所定範囲は、前記第１のカメラの視野の垂直方向の範囲又は水平方向の範囲を示す、２．に記載の情報処理装置。
４． 前記関係情報は、前記第１のカメラの視野の所定範囲に人が写っている場合に、前記第２のカメラの視野に人の所定部位が写っているという関係を示し、
前記判定手段は、
前記第１の撮像画像及び前記関係情報を用いて、前記第１のカメラの視野の前記所定範囲に人が写っているか否かを判定し、
前記第１のカメラの視野の前記所定範囲に人が写っている場合、前記第２の撮像画像及び前記関係情報を用いて、前記第２のカメラの視野に人の前記所定部位が写っているか否かを判定し、
前記第２のカメラの視野に人の前記所定部位が写っていない場合に、前記第２のカメラの視野が正しくないと判定する、１．に記載の情報処理装置。
５． 前記第２のカメラの視野が正しくないと判定された場合に、前記第２のカメラの視野を修正するためのガイドを出力するガイド出力手段を有する、１．乃至４．いずれか一つに記載の情報処理装置。
６． 前記ガイドは、前記第２のカメラの視野を向けるべき方向を示す、５．に記載の情報処理装置。
７． 前記ガイドは、前記第２の撮像画像を示す、５．に記載の情報処理装置。
８． 前記ガイドは、前記第１のカメラの視野に重畳して前記第２のカメラの現在の視野を示す、５．に記載の情報処理装置。
９． 前記ガイド出力手段は前記ヘッドマウントディスプレイに設けられたディスプレイ装置に前記ガイドを表示する、５．乃至８．いずれか一つに記載の情報処理装置。
１０． コンピュータによって実行される制御方法であって、
人に装着されている第１のカメラによって生成された第１の撮像画像と、前記人に装着されている第２のカメラによって生成された第２の撮像画像と、前記第１のカメラの視野と前記第２のカメラの視野とが満たすべき所定の関係を定めた関係情報とに基づいて、前記第２のカメラの視野が正しいか否かを判定する判定ステップと、
前記第２のカメラの視野が正しくないと判定された場合に、前記第２のカメラの視野が正しくないことを報知する報知ステップと、を有し、
前記第１のカメラは前記人に装着されたヘッドマウントディスプレイに設けられており、
前記第２のカメラは前記ヘッドマウントディスプレイ以外に設けられたカメラである、
制御方法。
１１． 前記関係情報は、前記第１のカメラの視野の所定範囲が前記第２のカメラの視野に含まれるという関係を示し、
前記判定ステップは、
前記第１の撮像画像、前記第２の撮像画像、及び前記関係情報を用いて、前記第１のカメラの視野の前記所定範囲が前記第２のカメラの視野に含まれるか否かを判定し、
前記第１のカメラの視野の前記所定範囲が前記第２のカメラの視野に含まれない場合に、前記第２のカメラの視野が正しくないと判定する、１０．に記載の制御方法。
１２． 前記第１のカメラの視野の前記所定範囲は、前記第１のカメラの視野の垂直方向の範囲又は水平方向の範囲を示す、１１．に記載の制御方法。
１３． 前記関係情報は、前記第１のカメラの視野の所定範囲に人が写っている場合に、前記第２のカメラの視野に人の所定部位が写っているという関係を示し、
前記判定ステップは、
前記第１の撮像画像及び前記関係情報を用いて、前記第１のカメラの視野の前記所定範囲に人が写っているか否かを判定し、
前記第１のカメラの視野の前記所定範囲に人が写っている場合、前記第２の撮像画像及び前記関係情報を用いて、前記第２のカメラの視野に人の前記所定部位が写っているか否かを判定し、
前記第２のカメラの視野に人の前記所定部位が写っていない場合に、前記第２のカメラの視野が正しくないと判定する、１０．に記載の制御方法。
１４． 前記第２のカメラの視野が正しくないと判定された場合に、前記第２のカメラの視野を修正するためのガイドを出力するガイド出力ステップを有する、１０．乃至１３．いずれか一つに記載の制御方法。
１５． 前記ガイドは、前記第２のカメラの視野を向けるべき方向を示す、１４．に記載の制御方法。
１６． 前記ガイドは、前記第２の撮像画像を示す、１４．に記載の制御方法。
１７． 前記ガイドは、前記第１のカメラの視野に重畳して前記第２のカメラの現在の視野を示す、１４．に記載の制御方法。
１８． 前記ガイド出力ステップは前記ヘッドマウントディスプレイに設けられたディスプレイ装置に前記ガイドを表示する、１４．乃至１７．いずれか一つに記載の制御方法。
１９． １０．乃至１８．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
２０． ヘッドマウントディスプレイであって、
撮像を行って第１の撮像画像を生成する第１のカメラと、
前記第１の撮像画像と、当該ヘッドマウントディスプレイを装着している人に装着されている第２のカメラによって生成された第２の撮像画像と、前記第１のカメラの視野と前記第２のカメラの視野とが満たすべき所定の関係を定めた関係情報とに基づいて、前記第２のカメラの視野が正しいか否かを判定する判定手段と、
前記第２のカメラの視野が正しくないと判定された場合に、前記第２のカメラの視野が正しくないことを報知する報知手段と、を有し、
前記第２のカメラは当該ヘッドマウントディスプレイ以外に設けられたカメラである、ヘッドマウントディスプレイ。
２１． 人に装着されるウェアラブルカメラであって、
前記人に装着されているヘッドマウントディスプレイに設けられているカメラによって生成された第１の撮像画像と、当該ウェアラブルカメラによって生成された第２の撮像画像と、前記ヘッドマウントディスプレイに設けられているカメラの視野と当該ウェアラブルカメラの視野とが満たすべき所定の関係を定めた関係情報とに基づいて、当該ウェアラブルカメラの視野が正しいか否かを判定する判定手段と、
当該ウェアラブルカメラの視野が正しくないと判定された場合に、当該ウェアラブルカメラの視野が正しくないことを報知する報知手段と、を有し、
当該ウェアラブルカメラは前記ヘッドマウントディスプレイ以外に設けられる、ウェアラブルカメラ。

この出願は、２０１５年１２月２８日に出願された日本出願特願２０１５−２５５９２４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (1)

1. 人に装着されている第１のカメラによって生成された第１の撮像画像と、前記人に装着されている第２のカメラによって生成された第２の撮像画像と、前記第１のカメラの視野と前記第２のカメラの視野とが満たすべき所定の関係を定めた関係情報とに基づいて、前記第２のカメラの視野が正しいか否かを判定する判定手段と、
   前記第２のカメラの視野が正しくないと判定された場合に、前記第２のカメラの視野が正しくないことを報知する報知手段と、を有し、
   前記第１のカメラは前記人に装着されたヘッドマウントディスプレイに設けられており、
   前記第２のカメラは前記ヘッドマウントディスプレイ以外に設けられたカメラである、
   情報処理装置。

Images