JP2011158956A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】過去の映像を用いてユーザ操作を支援するための補助的情報を提示する。
【解決手段】情報処理装置１００は、任意の位置および向きを示すポインタを含む所定空間内の大域映像を取得する大域映像取得部１０４と、前記大域映像から前記所定空間内の位置情報を取得する位置情報取得部１０８と、前記所定空間内で撮像された映像データと、前記映像データの撮像された位置および向きの情報を含む映像情報とを関連付けて記憶している記憶部と、前記ポインタの示す位置および向きに対応する前記映像データを、前記大域映像に重畳して表示画面に表示する映像表示部１０１と、を備える。
【選択図】図１

Description

本発明は、情報処理装置および情報処理方法に関し、特に、撮像装置により撮像された映像を大域映像に重畳して表示する情報処理装置および情報処理方法に関する。

最近では、カメラやマイクなどが技術の進歩によって安価になり利用しやすくなったことに伴い、複数のカメラやマイクをオフィス空間内に配置し、オフィス内でのコミュニケーション支援や監視などに用いたりすることがある。例えば、実空間の映像に補助的情報を重畳することにより、ユーザが所望の映像を得るための操作支援をする技術が開示されている（例えば、特許文献１）。特許文献１によれば、移動機能を有する撮像装置を操作するシステムにおいて、撮像装置の空間内での移動操作を容易にすることが可能となる。

特願２００９−１６５７１３号

また、上記技術では、撮像装置の空間内での移動操作を容易にするための補助情報が提示されている。しかし、実際にその場所に撮像装置を移動させた際に取得できる映像情報については、ユーザによる想像や記憶などで補わなければならず、ユーザ操作を支援するための補助が不十分であるという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、過去の映像を用いてユーザ操作を支援するための補助的情報を提示することが可能な、新規かつ改良された情報処理装置および情報処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、任意の位置および向きを示すポインタを含む所定空間内の大域映像を取得する大域映像取得部と、前記大域映像から前記所定空間内の位置情報を取得する位置情報取得部と、前記所定空間内で撮像された映像データと、前記映像データの撮像された位置および向きの情報を含む映像情報とを関連付けて記憶している記憶部と、前記ポインタの示す位置および向きに対応する前記映像データを、前記大域映像に重畳して表示画面に表示する映像表示部と、を備えることを特徴とする情報処理装置が提供される。

また、前記映像表示部は、前記位置情報取得部により取得された前記位置情報を用いて前記所定空間内の大域映像を仮想的に矩形に分割し、前記ポインタの示す位置および向きに対応する前記映像データを、前記映像データの撮像された位置に対応する前記大域映像の矩形位置に重畳して表示してもよい。

また、前記映像情報には、映像データが撮像された日時の情報が含まれ、前記映像表示部は、前記映像データの日時に応じて前記大域映像に重畳する映像データを選択してもよい。

また、前記映像表示部は、前記映像データの日時に応じて前記映像データを加工して表示してもよい。

また、撮像装置により撮像された映像を取得する映像取得部を備え、前記映像取得部は、前記ポインタの示す位置および向きの映像を取得してもよい。

また、前記撮像装置の位置および向きを制御する制御部と、ユーザ操作に応じて前記映像表示部により表示された前記映像データを選択する選択部と、を備え、前記制御部は、前記選択部により選択された前記映像データに関連付けられた映像情報に基づいて前記撮像装置の位置および向きを変更させてもよい。

また、前記制御部は、ユーザ操作に応じて前記撮像装置の位置および向きを変更させてもよい。

また、前記大域映像には前記撮像装置の位置および向きを示す映像が含まれており、前記制御部は、前記大域映像上の前記撮像装置の映像に対するユーザの接触操作に応じて、前記撮像装置の位置および向きを変更させてもよい。

また、前記映像表示部は、前記所定空間内の大域映像を仮想的矩形に分割し、前記仮想的矩形を前記大域映像に重畳して表示してもよい。

また、前記撮像装置は移動可能な移動体に備えられ、前記制御部は、前記移動体の位置および向きを変更させてもよい。

また、前記選択部により前記映像表示部に表示された前記映像データが選択された場合に、前記制御部は、前記映像データに関連付けられた映像情報に基づいて前記移動体の位置および向きを変更させてもよい。

また、前記移動体を任意の位置に移動させて前記撮像装置を用いて撮像させる移動体操作部を備え、前記移動体操作部は、前記撮像装置を用いて撮像した映像データと、前記移動体の位置および向きを含む移動体情報とを関連付けて前記記憶部に記憶してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、所定空間内の大域映像に前記所定空間内の任意の位置および向きで撮像された映像データを重畳する映像表示方法であって、任意の位置および向きを示すポインタを含む前記所定空間内の大域映像を取得するステップと、前記大域映像から前記所定空間内の位置情報を取得するステップと、前記ポインタの示す位置および向きに対応する前記映像データを、前記所定空間内で撮像された映像データと、前記映像データの撮像された位置および向きの情報を含む映像情報とを関連付けて記憶している記憶部から取得するステップと、前記記憶部から取得した前記映像データを前記大域映像に重畳して表示画面に表示するステップと、を含むことを特徴とする、映像表示方法が提供される。

以上説明したように本発明によれば、過去の映像を用いてユーザ操作を支援するための補助的情報を提示することができる。

本発明の第１の実施形態にかかる情報処理装置の機能構成を示すブロック図である。 同実施形態にかかる情報処理システムの実現イメージについて説明する説明図である。 同実施形態にかかるユーザが利用する端末のイメージ図である。 同実施形態にかかる操作用映像表示部に表示される大域映像の一例である。 同実施形態にかかる操作用映像表示部および映像表示部に表示される映像の一例である。 同実施形態にかかる情報処理装置の動作の詳細を示したフローチャートである。 同実施形態にかかる領域の分割について説明する説明図である。 同実施形態にかかるロボットの姿勢について説明する説明図である。 同実施形態にかかる過去映像の枠の強調について説明する説明図である。 同実施形態にかかる映像操作とロボットの移動を説明する説明図である。 同実施形態にかかる映像操作とロボットの移動を説明する説明図である。 本発明の第２の実施形態にかかる情報処理装置の機能構成を示すブロック図である。 同実施形態にかかる情報処理装置の動作の詳細を示したフローチャートである。 本発明の第３の実施形態にかかる情報処理装置の機能構成を示すブロック図である。 同実施形態にかかる映像データの加工を説明する説明図である。 同実施形態にかかる情報処理装置の動作の詳細を示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（１）本実施形態の目的
（２）第１の実施形態
（２−１）情報処理装置の機能構成
（２−２）情報処理装置の動作の詳細
（３）第２の実施形態
（３−１）情報処理装置の機能構成
（３−２）情報処理装置の動作の詳細
（４）第３の実施形態
（４−１）情報処理装置の機能構成
（４−２）情報処理装置の動作の詳細

（１）本実施形態の目的
まず、本実施形態の目的について説明する。最近では、カメラやマイクなどが技術の進歩によって安価になり利用しやすくなったことに伴い、複数のカメラやマイクをオフィス空間内に配置し、オフィス内でのコミュニケーション支援や監視などに用いたりすることがある。例えば、実空間の映像に補助的情報を重畳することにより、ユーザが所望の映像を得るための操作支援をする技術が開示されている。当該技術によれば、移動機能を有する撮像装置を操作するシステムにおいて、撮像装置の空間内での移動操作を容易にすることが可能となる。

また、上記技術では、撮像装置の空間内での移動操作を容易にするための補助情報が提示されている。しかし、実際にその場所に撮像装置を移動させた際に取得できる映像情報については、ユーザによる想像や記憶などで補わなければならず、ユーザ操作を支援するための補助が不十分であるという問題があった。そこで、上記のような事情を一着眼点として、本発明の情報処理装置が創作されるに至った。本実施形態にかかる情報処理装置によれば、過去の映像を用いてユーザ操作を支援するための補助的情報を提示することが可能となる。

（２）第１の実施形態
以上、本発明の実施形態の目的について説明した。次に、図１を参照して、本実施形態にかかる情報処理装置１００の機能構成について説明する。なお、情報処理装置１００の機能構成を説明するに際し、適宜、図２〜９を参照する。情報処理装置１００としては、例えば、パーソナルコンピュータ等のコンピュータ装置（ノート型、デスクトップ型を問わない。）を例示できるが、かかる例に限定されず、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などで構成してもよい。

（２−１）情報処理装置の機能構成
図１の機能構成を説明する前に、情報処理装置１００のハードウェア構成の一例について説明する。情報処理装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、入力装置と、出力装置と、ストレージ装置（ＨＤＤ）などを備える。

ＣＰＵは、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００の動作全般を制御する。また、ＣＰＵは、マイクロプロセッサであってもよい。ＲＯＭは、ＣＰＵが使用するプログラムや演算パラメータ等を記憶する。ＲＡＭは、ＣＰＵの実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。

入力装置は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵに出力する入力制御回路などから構成されている。

出力装置は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。

ストレージ装置は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置は、ハードディスクを駆動し、ＣＰＵが実行するプログラムや各種データを格納する。

以上、情報処理装置１００のハードウェア構成について説明した。次に、図１を参照して、情報処理装置１００の機能構成について説明する。図１に示したように、情報処理装置１００は、映像表示部１０１、映像操作入力部１０２、操作用映像表示部１０３、大域映像取得部１０４、ロボット搭載映像取得部１０６、制御部１０７、ロボット位置情報取得部１０８、過去映像データベース１０９、入力指令変換部１１０などを備える。

ここで、図２および図３を参照して、情報処理装置１００を用いて実現される情報処理システムの実現イメージについて説明する。図２および図３は、情報処理システムの実現イメージについて説明する説明図である。図２に示したように、例えば、情報処理システムは、会議室の会議卓１５などの空間に配置される。そして、会議卓１５上に映像取得機能を有するロボット１０が配置されている。また、会議卓の上方に大域的な映像を取得する天井俯瞰型のカメラ２０が配置されている。

カメラ２０は、会議室の全体映像を撮像することが可能であり、高所に配置されている。カメラ２０により全体映像を撮像することにより、会議室内でのロボット１０の位置を把握することが可能となる。

また、図３は、情報処理システムを利用するユーザが利用する端末１５０のイメージ図である。端末１５０は、例えばディスプレイ１５１を備え、ディスプレイ１５１により映像が提示される。ユーザが端末１５０に備わる操作部を操作することにより、ディスプレイ１５１の表示が変化する。例えば、ユーザは、タッチパネルなどにより構成される操作部を操作することにより、図２に示した会議室内の対象物の周囲の映像を、ディスプレイ１５１を介して提示させることが可能となる。具体的には、ユーザの操作によりロボット１０やロボット搭載映像取得部１０６が動作し、結果として映像表示部１０１により提示される映像が変化する。

図１に戻り、情報処理装置１００の機能構成の説明を続ける。映像表示部１０１は、上記ディスプレイ１５１により構成され、ロボット搭載映像取得部１０６からの映像情報を提示する機能を有する。

映像操作入力部１０２は、ユーザが操作用映像表示部１０３に対する操作を行うための機能を提供する。映像操作入力部１０２を介して入力されたユーザ入力に応じて、操作用映像表示部１０３の表示が変更される。また、ユーザにより選択された操作用映像表示部１０３に表示された過去映像データベース１０９内の映像ＩＤを取得する機能を有する。また、映像操作入力部１０２は、ユーザにより入力された映像操作入力を、入力指令変換部１１０に提供する。映像操作入力部１０２は、本発明の選択部の一例である。

操作用映像表示部１０３は、後述する大域映像取得部１０４から取得される大域映像を表示する機能を有する。図２に示したカメラ２０により取得された映像情報が大域映像として表示される。また、操作用映像表示部１０３は、大域映像を表示するとともに、ロボット１０を操作するための補助的情報を大域映像に重畳して表示する機能を有する。

また、操作用映像表示部１０３は、過去映像データベース１０９に記憶されている過去に撮像された映像を、大域映像内の所定の位置に表示する機能を有する。過去映像データベース１０９には、過去に撮像された映像と所定空間内での位置とが対応付けて記憶されている。したがって、操作用映像表示部１０３は、大域映像内の対応する位置に過去映像データベース１０９に記憶されている映像を配置して表示する。

大域映像内の撮影対象となる対象物の位置や、対象物の要素の一部の実際の空間における存在位置や大きさなどを示す位置情報を取得する方法には以下の方法を例示できる。例えば、撮影される映像内に現れる実際の空間に一つまたは複数の２次元バーコードを配しておく方法が挙げられる。空間に２次元バーコードを配した場合には、２次元バーコードを含む空間を撮影し、撮影された画面内の２次元バーコードの位置を基準とし、基準からの距離をもとに平面状の座標を表す。

また、撮影された映像内のマーカをもとに位置や方向、対象物パターンを取得する方法を例示できる。この場合、マーカの枠によって画面内の位置や方向を検出でき、マーカ内のパターンによって対象物の種類を検出することが可能となる。対象物の種類とは、上記した対象物ＩＤなどである。マーカによる位置、方向、対象物のパターンの取得方法については、非特許文献２や特許文献２に開示されているため、詳細な説明は省略する。
（非特許文献１）
Kato,
H. Billinghurst, M. (1999) Marker Tracking and HMD Calibration for a
video-based Augmented Reality Conferencing System, In Proceedings of the 2nd
International Workshop on Augumented Reality (IWAR 99). October, San Francisco, USA.
（特許文献２）
特開２０００−３２２６０２号公報

ここで、図４および図５を参照して、映像表示部１０１および操作用映像表示部１０３に表示される映像の一例について説明する。図４は、操作用映像表示部１０３に表示される大域映像４０１である。大域映像４０１には、撮像対象４１やロボット１０などが俯瞰的に表示される。これにより、例えば、会議室の会議卓上のどの位置に撮像対象４１やロボット１０が位置しているのかを把握することができる。

また、図５に示したように、ディスプレイ１５１には、操作用映像表示部１０３により表示される大域映像と、後述するロボット搭載映像取得部１０６によって取得された映像が、映像表示部１０１により表示されている。大域映像には、ロボット１０の操作を行うための補助的情報が重畳されている。大域映像に重畳される補助的情報とは、上記したように、過去映像データベース１０９に記憶されている過去に撮像された映像である。

大域映像取得部１０４は、図２に示した天井俯瞰型のカメラ２０により撮像された所定の空間内の全体映像である大域映像を取得する機能を有する。大域映像取得部１０４は、取得した大域映像を操作用映像表示部１０３に提供する。

ロボット搭載映像取得部１０６は、ロボット１０に搭載されている撮像装置により撮像された映像を取得する機能を有する。ロボット１０に搭載されている撮像装置は、例えば、パンチルト可能なカメラであり、ロボットが存在する位置から撮像する。また、ロボット搭載映像取得部１０６は、取得した映像を過去映像データベース１０９に提供する。ロボット搭載映像取得部１０６は、本発明の映像取得部の一例である。

制御部１０７は、入力指令変換部１１０から提供された操作信号を受信して、ロボット１０の動作を制御する機能を有する。

ロボット１０は、ユーザの操作に基づいて空間内を動作する機能を有する。ロボット１０に備えられた撮像装置により撮像された映像がロボット搭載映像取得部１０６に提供される。また、制御部１０７によりロボット１０の動作が制御される。

ロボット位置情報取得部１０８は、ロボット１０が空間内で存在する位置の情報を取得する機能を有する。また、ロボット１０の姿勢情報も取得する。ロボット位置情報取得部１０８は、本発明の位置情報取得部の一例である。ロボット位置情報取得部１０８によるロボットの位置情報や姿勢情報の取得処理については後で詳細に説明する。

過去映像データベース１０９はロボット位置情報取得部１０８により取得されたロボット１０の位置および姿勢の情報とロボット搭載映像取得部１０６により取得された映像情報とを関連付けて記憶している。また、過去映像データベース１０９に、位置情報、姿勢情報、映像情報の他に、映像ＩＤおよび撮影日時を関連付けて記憶するようにしてもよい。映像ＩＤとは、各映像を識別するための識別情報である。過去映像データベース１０９は、本発明の記憶部の一例である。

また、位置情報とは、上記したように、ロボット位置情報取得部１０８により取得される映像データが撮影された際のロボットの位置を示す情報である。また、姿勢情報は、位置情報と同様に、ロボット位置情報取得部１０８から取得される映像データが撮影された際のロボットの姿勢を示す情報である。映像データは、ロボット搭載映像取得部１０６から取得された映像が、符号化や圧縮など通常の画像処理で行われる処理がされた後のデータであり、ファイルとして保存されているデータである。撮影日時は、映像データが撮影された時刻を示す情報である。

入力指令変換部１１０は、操作用映像表示部１０３に対するユーザの映像に対する操作を取得し、当該操作をロボット１０への操作指令に変換する機能を有する。入力指令変換部１１０は、変換した操作指令を制御部１０７に提供する。

（２−２）情報処理装置の動作の詳細
以上、情報処理装置１００の機能構成について説明した。次に、図６を参照して、情報処理装置１００における動作の詳細について説明する。なお、情報処理装置１００の動作の詳細を説明するに際して、適宜、図７〜図１０を参照する。図６は、情報処理装置１００の動作の詳細を示したフローチャートである。

図６に示したように、まず、大域映像取得部１０４から取得された大域映像からロボット１０が動作する空間の位置情報を取得する（Ｓ１０２）。ステップＳ１０２において取得されるロボット１０が動作する空間の位置情報は、画像処理によって映像自体から取得することができる。例えば、空間内の机にロボットが配置されている場合、机の輪郭線から位置情報を取得することができる。具体的には、ロボットが移動する机の輪郭線から、机上面の空間に対して、２次元空間での座標系を設定する。そして、設定した座標系においてロボットが移動する位置や、観察されるべき要素が配置された位置を取得する。

また、上記した非特許文献２に示されるように、空間内に配置された２次元バーコードなど位置、角度を画像情報から取得可能な要素を撮影することにより、大域映像内での位置情報を取得するようにしてもよい。また、位置情報は、画像処理によらず、ロボット１０が動作する机近辺に配置されたセンサの情報を、大域映像内での位置情報として変換するようにしてもよい。また、上記した位置情報取得処理により、ロボットが移動可能な範囲と移動不可能な範囲の境界の情報を取得するようにしてもよい。

次に、ロボット１０が移動することができる空間領域の大きさを計算し、該空間領域を各要素が一定の大きさになるように分割する（Ｓ１０４）。ステップＳ１０４において、ロボット１０が移動可能な空間領域を画像処理により算出してもよいし、予め机の大きさなどの情報を取得するようにしてもよい。

ここで、図７を参照して、ステップＳ１０４における領域の分割について説明する。図７は、領域の分割について説明する説明図である。図７に示したように、ロボット１０が移動可能な空間領域は、２次元座標（０，０）、（ｘｍ，０）、（０，ｙｍ）、（ｘｍ，ｙｍ）で表される点を結んで作られる矩形として表現されるとする。分割される最小領域の大きさは、縦ｘｒ，横ｙｒの矩形であるとすると、縦および横の矩形の数は以下の式で表される。

（」は小数点以下切捨てを表す）・・・（数式１）

上記数式１でｘ_ｎおよびｙ_ｎを定めた場合に、原点（０，０）からｘ軸方向にｘ_ｎ個、ｙ軸方向にｙ_ｎ個の最小領域の大きさの矩形を２次元に配置するように空間を分割する。この場合、空間がｘ_ｎ×ｙ_ｎ個に分割されることとなる。最小領域の形状や数、配置の方法については、上記と同様に空間を複数の領域に分割することが可能であれば、他の方法を用いて領域を分割するようにしてもよい。

次に、ロボット位置情報取得部１０８は、ロボットの位置情報および姿勢情報を取得する（Ｓ１０６）。ロボットの位置情報も、図７に示した座標系で表されるものとして以下説明する。ロボットの位置情報と空間座標との対応付けが可能であれば、図７に示した座標系以外の形式で位置情報を表してもよい。

本実施形態では、ロボットの重心からロボットが動作する平面へ垂直方向に直線を降ろし、平面と交差した位置をロボットの配置位置とする。図７では、ロボットの配置位置を（Ｒｘ，Ｒｙ）とする。また、ロボットの姿勢は、図８に示したように、ロボット１０の正面を表すものとする。なお、上記ロボット１０の正面とは、例えば、ロボット１０の進行方向からロボット１０が見える表面の全部又は一部、もしくは、ロボット１０に備わるカメラのレンズが向けられている方向からロボット１０が見える表面の全部又は一部である。

図８に示したように、空間領域にｘ軸とｙ軸に直行するｚ軸を配置して空間座標を表す。ロボット１０の姿勢は、原点から伸びる長さｌのｘ，ｙ，ｚの３次元ベクトルの座標で表される。例えば、ロボット１０が、ｘ，ｙ平面に平行にｙ座標が増加する方向に正対している場合、座標は（０，１，０）と表すことができる。座標（０，１，０）の状態から、ｘ，ｙ平面上で４５度時計回りに姿勢を回転させた場合は、（sqrt(2)/2,sqrt(2)/2,0）となる。以下では、ロボット搭載映像取得部１０６により取得されたロボット１０の姿勢を、（ｄｘ，ｄｙ，ｄｚ）として表す。

次に、分割された要素のうち、処理を行う領域（分割された要素）が残っているか否かを判定する（S１０８）。ステップＳ１０８において、処理を行う領域が残っていると判定された場合には、ステップＳ１１０以降の処理を実行する。ステップＳ１０８において、分割された要素が残っていないと判定された場合には、ステップＳ１１８以降の処理を実行する。

ステップＳ１０８において、分割された要素が残っていると判定された場合には、ステップＳ１０４において分割された領域に対応付けられている位置情報を取得する（Ｓ１１０）。ステップＳ１１０では、分割された要素を取得し、該要素に定められているキー座標を取得する。ここで、位置座標は空間領域と同様の座標系により表されているものとする。分割された領域と位置座標を対応付ける方法はいくつか考えられるが、以下では、領域内の重心位置を対応付ける場合について説明する。

図７に示したように、図７の破線で囲まれた領域について説明する。該領域の重心位置は、（xr/2,yr/2）の座標で表される。同様に、他の分割された領域についても、重心位置座標を設定することができる。この領域に対応付けられた座標を以下、キー座標と称し、（kx,ky）と表す。したがって、ステップＳ１１０では、分割された要素を取得して、取得した要素に対応付けられたキー座標を取得する。

そして、ステップＳ１１０において取得したキー座標を用いて過去映像データベース１０９を検索して、過去映像データの取得を試みる（Ｓ１１２）。また、ステップＳ１０６において姿勢情報を取得している場合には、ステップＳ１１２において、キー座標と姿勢情報とを用いて過去映像データを検索してもよい。以下では、位置情報および姿勢情報を、空間内の位置情報と関連付けて表現する。具体的には、位置情報は（d_px,d_py）の２次元座標で表され、姿勢情報（d_dx,d_dy,d_dz）は３次元座標で表現される場合を例として説明する。

キー座標とデータベース内の位置情報のユークリッド距離を以下の数式により算出する。
（数２）
Distance
p=sqrt((d_px-kx)^2+(d_py-ky)^2)・・・（数式２）
また、ロボットの現在の姿勢情報とデータベース内の姿勢情報の距離を以下の数式により算出する。
（数３）
Distance
d=sqrt((d_dx-dx)^2+(d_dy-dy)^2+(d_dz-dz)^2)・・・（数式３）
そして、数式２および数式３の平均データが最小となるものを、もっとも条件に適するデータとして採用する。

距離の計算方法としては、ユークリッド距離以外に、マンハッタン距離など他の距離水準を用いてもよい。また、位置情報の距離、姿勢情報の距離を同じ重みで平均するのではなく、それぞれの重みを変更して加重平均を求めるようにしてもよい。

通常のデータベースの検索処理と同様に、距離が一定値以下とならない場合はデータがみつからなかったものとする。ステップＳ１１２において距離が一定以下となる映像データを取得できたか否かを判定する（Ｓ１１４）。ステップＳ１１４において、最小データの距離を所定の閾値と比較し、所定の閾値より距離が小さい映像データを取得した場合には、映像データが取得できなかったとしてステップＳ１０８の処理に戻る。ステップＳ１１４において、映像データが取得できた場合には、大域映像内の該当位置に、ステップＳ１１０で取得した過去の映像データを重畳して表示する（Ｓ１１６）。

図５の大域映像が、ステップＳ１１６において、大域映像内に過去の映像データを重畳した表示イメージである。過去の映像データの表示方法は、例えば、分割された領域内の４つの頂点で構成された矩形内に映像データが収まるように、射影変換やその他の変形処理を実行するようにしてもよい。また、大域映像内で領域を示す平面上の矩形に映像が垂直に表示される構成としてもよい。

ステップＳ１１６を実行した後、再度ステップＳ１０８以降の処理を繰り返すことにより、すべての分割された領域に対して、過去映像データベース１０９に記憶されている映像データの検索処理を実行する。ステップＳ１０８において、分割された要素が残っていないと判定された時点で、操作用映像表示部１０３により、表示画面に表示された大域映像に過去映像データベースから取得された１または２以上の映像が重畳して表示される。なお、上記映像を大域映像に重畳する際、ロボットから所定距離離れた（例えば５〜６個分の分割領域離れた場合等）映像については、過去映像データベースに記録されていても、大域映像に重畳しなくてもよい。また、上記映像を大域映像に重畳する際、ロボットから所定距離離れた（例えば、２〜３個分の分割領域離れた場合等）映像について大域映像に重畳してもよい。

そして、ユーザが操作用映像表示部１０３により表示された操作用映像を操作する（Ｓ１１８）。ステップＳ１１８において、ユーザにより操作用映像が操作されることにより、ロボット１０が実際に動作することとなる。ステップＳ１１８における操作は、例えば、タッチパネルディスプレイに対する接触動作や、マウスによるポインティング操作などが考えられる。

以下では、操作方法として、一般的なタッチディスプレイにタッチした場合を例として説明する。ステップＳ１１８において、ユーザが大域映像内に重畳された過去の映像データの一つをタッチして選択する。このとき、映像操作入力部１０２は、ユーザによりタッチされた領域に表示されている映像のＩＤを取得する。また、映像ＩＤから映像が配置されている空間内の位置情報を取得する。

ここで取得される位置情報は、分割された領域にキー座標の位置情報でもよい。また、過去映像データが撮影された位置の情報をそのまま利用してもよい。以下では、キー座標の位置情報を利用する場合について説明する。

ステップＳ１１８においてユーザが映像に対して操作を実行した後、入力指令変換部１１０は、ステップＳ１０６において取得したロボットの位置情報と、ユーザがタッチした映像の位置情報とを用いて、ロボットへの動作指令を作成する（Ｓ１２０）。ステップＳ１２０における動作指令の作成方法は、単純にロボットの現在位置と映像の位置情報の差から直線を構成し、その直線上を移動する運動指令を生成するようにしてもよい。なお、ロボットへの動作指令の作成方法については、既存の技術を利用することができるため、詳細な説明は省略する。

ステップＳ１２０において生成したロボットの動作命令を、制御部１０７に送信する（Ｓ１２２）。制御部１０７は、ステップＳ１２２において送信された動作命令をもとに、ロボットを動作させる（Ｓ１２４）。ステップＳ１２４においてロボットを動作させた後、ロボット搭載映像取得部１０６が映像を取得する（Ｓ１２６）。そして、移動後のロボット１０の位置情報および姿勢情報をもとに、ステップＳ１２６において取得した映像を用いて過去映像データベース１０９を更新する（Ｓ１２８）。そして、映像表示部１０１は、ステップＳ６１３において取得した映像を表示する（Ｓ１３０）。

ステップＳ１１８において、ユーザがディスプレイにタッチすると、ロボットが動作するための指令が発生する構成を例として説明した。また、カーソルをマウスで操作して、カーソルを重畳された過去映像の上に配置すると、過去映像が拡大したり、過去映像の枠が強調されたりするなどの画像処理が行われるようにしてもよい。過去映像の拡大や枠の強調などの画像処理が行われた後、再度過去映像をクリックするとロボットの移動指令が生成されるようにしてもよい。これにより、よりインタラクティブなロボット操作を実現することができる。

ここで、図９を参照して、過去映像の枠の強調について説明する。図９は、過去映像の枠の強調について説明する説明図である。図９に示したように、ディスプレイの表示例５０１には、大域映像に複数の過去映像が重畳されている。ユーザにより、複数の過去映像のうちの一つが選択されると、表示例５０２に示したように、過去映像の枠が強調される。

また、ディスプレイをタッチするだけでなく、過去映像をタッチした後に、ドラッグ操作を行って、ロボットの姿勢を変更させるようにしてもよい。例えば、図１０Ａに示したように、表示例５１０に表示された過去映像の一つを選択して、右下方にドラッグすることにより、ロボットの姿勢を変更するようにしてもよい。この場合、ユーザのドラッグ動作による移動距離によって、姿勢変更量を比例して変化させる。

また、過去映像の枠に表示されるズーム用の枠を選択して、ドラッグ動作を行うことにより、過去映像を拡大、縮小するようにしてもよい。また、過去映像の拡大をロボットの前進動作と対応付けたり、過去映像の縮小をロボットの後退動作に対応付けたりするようにしてもよい。例えば、図１０Ｂに示したように、過去映像を拡大することによりロボットを前進させる。この場合、過去映像の拡大率に比例して、ロボットの前進距離を変化させるようにしてもよい。同様に、過去映像を縮小することによりロボットを後退させる場合には、過去映像の縮小率に比例して、ロボットの後退距離を変化させる。

以上、情報処理装置１００の動作の詳細について説明した。本実施形態にかかる情報処理装置１００によれば、ユーザが撮像装置を搭載したロボットを移動させる前に、移動した場所でどのような映像を取得することができるのかを予測することができる。また、所望の映像を得るまでのロボットに対する操作ミスを減らすことが可能となる。さらに、大域映像に重畳された過去映像に対する操作がロボットの動作指令に変換されるため、ユーザがロボットの動作を意識することなく所望の映像を取得することが可能となる。

（３）第２の実施形態
以上、第１の実施形態について説明した。次に、本発明にかかる第２の実施形態について説明する。第１実施形態では、過去映像データベース１０９を用いて、ユーザが過去にロボットを動作させた時点で撮影した映像を大域映像内に配置することで、ユーザの操作を補助していた。しかし、過去映像データベース１０９に過去映像の登録が少ない場合には、ユーザの操作を補助するには不十分である場合があった。そこで、本実施形態では、システムの動作時に、ロボットを自動的に空間内に移動させて、一定量の過去映像データを自動的に取得するようにした。

（３−１）情報処理装置の機能構成
図１１を参照して、本実施形態にかかる情報処理装置２００の機能構成について説明する。以下では、第１実施形態と異なる構成について特に詳細に説明し、第１実施形態と同様の構成については詳細な説明は省略する。図１１に示したように、本実施形態にかかる情報処理装置２００は、自動操作部１１０１を備える点で第１実施形態と異なる構成となっている。自動操作部１１０１は、大域映像取得部１０４およびロボット位置情報取得部１０８とからロボットの位置情報とロボットが動作する空間内の情報を取得する。そしてロボットを自動的に移動させたり、姿勢を変更させたりして、所定の位置での映像データを過去映像として過去映像データベース１０９に登録させる機能を有する。

（３−２）情報処理装置の動作の詳細
以上、本実施形態にかかる情報処理装置２００の機能構成について説明した。次に図１２を参照して、情報処理装置２００における動作の詳細について説明する。図１２は、情報処理装置２００における動作の詳細を示すフローチャートである。本実施形態にかかる動作についても、第１実施形態と異なる処理について詳細に説明し、第１実施形態と同様の処理については詳細な説明は省略する。

ステップＳ２０２からステップＳ２０８までの処理は、第１実施形態のステップＳ１０２からステップＳ１０８までの処理と同様であるため、詳細な説明は省略する。ステップＳ２０８において、分割された要素が残っていると判定された場合にはステップＳ２１０以降の処理を実行する。ステップＳ２０８において、分割された要素が残っていないと判定された場合には、処理を終了する。

ステップＳ２０８において、分割された要素が残っていると判定された場合には、ステップＳ２０４において分割された領域に対応付けられているキー座標を取得する（Ｓ２１０）。そして、ステップＳ２１０において取得したキー座標を用いてロボットの動作命令を生成する（Ｓ２１２）。ステップＳ２１２において、キー座標を用いてロボット１０の動作命令を生成することにより、キー座標をロボット１０の移動目標とすることができる。

ステップＳ２１２において生成された動作命令をロボット１０に送信する（Ｓ２１４）。そして、ロボット１０が動作命令に基づいて指定された位置に移動する（Ｓ２１６）。そして、ロボット１０の姿勢の候補をすべて実行したか否かを判定する（Ｓ２１８）。ステップＳ２１８において、変更する姿勢の候補とは、例えば、方向ベクトル（０，１，０）で表されるロボットの正面から、時計回りに９０度ずつ、一周するまで回転させた場合に得られる姿勢が挙げられる。例えば、方向ベクトルは、（１,０,０）、（０,−１,０）、（−１,０,０）などとなり、ロボットが取り得る姿勢を離散的に有限個設定してもよい。本実施形態では、９０度単位で３６０度回転させる場合を例示して説明しているが、かかる例に限定されず、求められる姿勢の粒度の大きさによって、角度の単位や動作の範囲などを変更するようにしてもよい。

ステップＳ２１８において、姿勢の候補をすべて実行していない場合には、ステップＳ２２０以降の処理を実行し、姿勢の候補をすべて実行した場合にはステップＳ２０８の処理に戻る。ステップＳ２２０において、未だ選択されていない姿勢の候補を一つ選択し、ロボット１０に送信する（Ｓ２２０）。そして、ロボット１０はステップＳ２２０において送信された姿勢に変更する動作を実行する（Ｓ２２２）。そして、ロボット１０に搭載された撮像装置により撮像された映像を取得する（Ｓ２２４）。さらに、移動後のロボット１０の位置情報および姿勢情報をもとに、ステップＳ２２４において取得した映像を用いて過去映像データベース１０９を更新する（Ｓ２２６）。

以上、情報処理装置１００の動作の詳細について説明した。本実施形態にかかる情報処理装置１００によれば、ロボット１０が自動的に空間内を移動して映像を取得し、映像データを過去映像として過去映像データベース１０９に追加する。これにより、ユーザの操作がなくとも、ユーザの操作を補助するのに十分な補助情報を取得することが可能となる。

（４）第３の実施形態
以上、第２の実施形態について説明した。次に、本発明にかかる第３の実施形態について説明する。第１実施形態では、大域映像に重畳された過去映像データについて、いつ撮影されたものかが直感的に分かりづらかった。例えば、位置や姿勢が同じであっても、撮影された内容が変化している場合がある。この場合、ユーザが意図した操作を行っているにもかかわらず、周囲の環境が変化しているために、ユーザの意図した映像を取得することができないという問題があった。そこで、本実施形態では、過去映像データベース１０９から取得した映像データを大域映像に重畳する場合に、過去映像データがどれくらい前に撮影されたかを直感的にユーザに提示する。

（４−１）情報処理装置の機能構成
図１３を参照して、本実施形態にかかる情報処理装置３００の機能構成について説明する。以下では、第１実施形態と異なる構成について特に詳細に説明し、第１実施形態と同様の構成については詳細な説明は省略する。図１３に示したように、本実施形態にかかる情報処理装置３００は、映像加工部１３０１を備える点で第１実施形態と異なる構成となっている。映像加工部１３０１は、過去映像データベース１０９に記憶されている映像データを、映像データの撮影時刻のデータに基づいて加工する。

例えば、図１４に示したように、映像データをセピア色にするなどして、撮影時間の古さに応じて段階的に退色加工を施すようにしてもよい。加工の方法については、退色加工に限定されず、色の明度を変更して、古い映像データほど明度を暗くしてもよい。また、一定以上古い映像データには画像上に字幕を挿入して、映像データが古いことを明示的に示してもよい。

（４−２）情報処理装置の動作の詳細
以上、本実施形態にかかる情報処理装置３００の機能構成について説明した。次に、図１５を参照して、情報処理装置３００における動作の詳細について説明する。図１５は、情報処理装置３００における動作の詳細を示すフローチャートである。本実施形態にかかる動作についても、第１実施形態と異なる処理について詳細に説明し、第１実施形態と同様の処理については詳細な説明は省略する。

ステップＳ３０２からステップＳ３１４までの処理は、第１実施形態のステップＳ１０２からステップＳ１１４までの処理と同様であるため、詳細な説明は省略する。ステップＳ３１４において、距離が一定以下となる映像データが取得できたと判定された場合には、映像データの撮影時刻と現在時刻の差を計算する（Ｓ３１６）。そして、ステップＳ３１６において算出された撮影時刻と現在時刻との差が所定の閾値より大きいか否かを判定する（Ｓ３１８）。

ステップＳ３１８において、差が所定の閾値より大きいと判定された場合には、算出された差の大きさをパラメータとして、映像データに加工を施す（Ｓ３２０）。ステップＳ３２０において、例えば、画像をセピア調にする退色加工を施す場合には、画素をＲＧＢにより表現して、各画像の明度を下げて白黒画像とする。さらに、オリジナルの画素をＣＭＹＫ系に変換したものでのＹとＭに相当する画素に適切な重みをつけて、白黒画素に加えることにより退色変化を実現することができる。また、経過時間に比例するように、ＹとＭの重みを調整することにより、時刻の差が大きくなると退色の度合いが大きくなるようにパラメータを変更することができる。

また、画像の明度を暗くする加工を施す場合には、時刻の差が大きくなると画像の輝度を全体的に小さくするような加工を加えることにより、時刻の差が大きくなると画像が暗くなるようにパラメータを変更することができる。

さらに、連続的に画像処理のパラメータを変更させるだけでなく、時刻の差が一定値より大きい場合には、画像データ上に字幕データを追加してもよい。例えば、画像データに「データ古すぎます！」などの文字データを重畳して、明示的にデータが古いことを表現するように画像データを加工してもよい。

ステップＳ３２２以降の処理は、第１実施形態のステップＳ１１６以降の処理と同様のため、詳細な説明は省略する。以上、情報処理装置３００の動作の詳細について説明した。本実施形態にかかる情報処理装置３００によれば、ユーザが表示されている過去映像データについて、古いデータか新しいデータかを直感的に理解できる。このため、古いデータを選択した場合には、環境が変化している可能性があることを前もって予測できるため、過去の映像データと現在の映像データとが大きく異なった場合でも、驚きや意外感を最小限にすることができる。また、過去に得た映像が古い領域はロボットが最近動作をしていない領域であるということを、空間全体の傾向として把握することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ディスプレイのタッチパネルで対象物を選択することとしたが、かかる例に限定されず、キー操作によって注目するべき対象物が順に変化する構成としてもよい。具体的には、ユーザがキーを押下するたびに、画面内の注目されている対象物と補助情報の表示が変化する。

また、上記実施形態では、大域映像として俯瞰映像を用いて説明したが、かかる例に限定されず、大域的映像を得ることができる魚眼レンズを用いて撮影した画像や、全方位画像などを用いてもよい。また、上記実施形態では、ロボット１０が２次元平面内で移動することとしたが、かかる例に限定されず、３次元空間内で移動させるようにしてもよい。

例えば、本明細書の情報処理装置１００、２００、３００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、情報処理装置１００、２００、３００の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。

また、情報処理装置１００、２００、３００などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１００、２００、３００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１００、２００、３００ 情報処理装置
１０１ 映像表示部
１０２ 映像操作入力部
１０３ 操作用映像表示部
１０４ 大域映像取得部
１０６ ロボット搭載映像取得部
１０７ 制御部
１０８ ロボット位置情報取得部
１０９ 過去映像データベース
１１０ 入力指令変換部
１１０１ 自動操作部
１３０１ 映像加工部
１０ ロボット

Claims (15)

1. 所定空間内の大域映像を取得する大域映像取得部と、
   前記所定空間内の位置情報を取得する位置情報取得部と、
   前記所定空間内で撮像された映像データと、前記映像データの撮像された位置および向きの情報を含む映像情報とを関連付けて記憶している記憶部と、
   前記大域映像内に存在し任意の位置および向きを示すポインタの示す位置および向きに対応する前記映像データを、前記大域映像に重畳して表示画面に表示する映像表示部と、
   を備えることを特徴とする、情報処理装置。
2. 前記映像表示部は、
   前記位置情報取得部により取得された前記位置情報を用いて前記所定空間内の大域映像を、所定領域を単位とする複数の単位映像領域に仮想的に分割し、前記ポインタの示す位置および向きに対応する前記映像データを、前記映像データの撮像された位置に対応する前記大域映像の単位映像領域位置に重畳して表示することを特徴とする、請求項１に記載の情報処理装置。
3. 前記単位映像領域は、矩形からなる領域であることを特徴とする、請求項２に記載の情報処理装置。
4. 前記映像情報には、映像データが撮像された日時の情報が含まれ、
   前記映像表示部は、前記映像データの日時に応じて前記大域映像に重畳する映像データを選択することを特徴とする、請求項２に記載の情報処理装置。
5. 前記映像表示部は、前記映像データの日時に応じて前記映像データを加工して表示することを特徴とする、請求項２に記載の情報処理装置。
6. 撮像装置により撮像された映像を取得する映像取得部を備え、
   前記映像取得部は、前記ポインタの示す位置および向きの映像を取得することを特徴とする、請求項１に記載の情報処理装置。
7. 前記撮像装置の位置および向きを制御する制御部と、
   ユーザ操作に応じて前記映像表示部により表示された前記映像データを選択する選択部と、
   を備え、
   前記制御部は、前記選択部により選択された前記映像データに関連付けられた映像情報に基づいて前記撮像装置の位置および向きを変更させる、請求項６に記載の情報処理装置。
8. 前記制御部は、ユーザ操作に応じて前記撮像装置の位置および向きを変更させることを特徴とする、請求項７に記載の情報処理装置。
9. 前記大域映像には前記撮像装置の位置および向きを示す映像が含まれており、
   前記制御部は、前記大域映像上の前記撮像装置の映像に対するユーザの接触操作に応じて、前記撮像装置の位置および向きを変更させることを特徴とする、請求項８に記載の情報処理装置。
10. 前記映像表示部は、前記所定空間内の大域映像を、所定領域を単位とする複数の単位映像領域に仮想的に分割し、前記単位映像領域を示す映像を前記大域映像に重畳して表示することを特徴とする、請求項１に記載の情報処理装置。
11. 前記単位映像領域は、矩形からなる領域であることを特徴とする、請求項１０に記載の情報処理装置。
12. 前記撮像装置は移動可能な移動体に備えられ、
    前記制御部は、前記移動体の位置および向きを変更させることを特徴とする、請求項６に記載の情報処理装置。
13. 前記選択部により前記映像表示部に表示された前記映像データが選択された場合に、前記制御部は、前記映像データに関連付けられた映像情報に基づいて前記移動体の位置および向きを変更させることを特徴とする、請求項１２に記載の情報処理装置。
14. 前記移動体を任意の位置に移動させて前記撮像装置を用いて撮像させる移動体操作部を備え、
    前記移動体操作部は、前記撮像装置を用いて撮像した映像データと、前記移動体の位置および向きを含む移動体情報とを関連付けて前記記憶部に記憶することを特徴とする、請求項１２に記載の情報処理装置。
15. 所定空間内の大域映像に前記所定空間内の任意の位置および向きで撮像された映像データを重畳する映像表示方法であって、
    任意の位置および向きを示すポインタを含む前記所定空間内の大域映像を取得するステップと、
    前記大域映像から前記所定空間内の位置情報を取得するステップと、
    前記ポインタの示す位置および向きに対応する前記映像データを、前記所定空間内で撮像された映像データと、前記映像データの撮像された位置および向きの情報を含む映像情報とを関連付けて記憶している記憶部から取得するステップと、
    前記記憶部から取得した前記映像データを前記大域映像に重畳して表示画面に表示するステップと、
    を含むことを特徴とする、映像表示方法。
    

Images