JP2020071614A - 情報処理装置、その制御方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】 従来は、外部機器を撮影した映像にＡＲを利用して重畳表示されるＧＵＩにより、外部機器の遠隔操作の操作性を向上させる技術は確立されていなかった。【解決手段】 本発明は、上記課題を鑑みてなされたものであり、撮像装置を用いて実空間を撮影した入力映像を取得する取得部２０１と、前記入力映像に映る所定の機器に対する指示の入力を受け付けるためのユーザインタフェース部品を、前記入力映像のうち前記所定の機器が映る部分に重畳させた出力映像を生成する生成部２０４と、生成された前記出力映像を表示装置に表示させる表示制御部２０５とを備え、前記生成部２０４は、自装置と前記所定の機器との位置関係が所定の基準を満たさない場合、前記入力映像のうち前記所定の機器が映る部分を加工した上で前記ユーザインタフェース部品を重畳した出力映像を生成する。【選択図】 図２

Description

本発明は、実空間を撮影した映像に仮想情報を重畳して表示させるＡＲ（拡張現実）技術に関する。

撮像部を備えたタブレットやスマートフォンなどのデバイスを、周辺の実空間に存在する対象物にかざした時（撮像部を向けた時）に、撮影された映像を、対象物に関連づけられた仮想情報を重畳した状態で表示するＡＲ（拡張現実）技術が知られている。特許文献１では、位置情報と対応する仮想情報を記憶しているサーバから、自装置の位置と自装置に備わる撮像部の向きによって決まる撮像エリア内の位置情報に対応する付加情報を取得し、撮像部が撮影する周囲の画像に取得した付加情報を合成して表示する。

また、自装置または他装置を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するユーザインタフェース部品が、撮像部が撮影する画像に重畳した状態で表示されることがある。特許文献２では、操作者がジェスチャによって触れたり操作したりするＧＵＩが、撮像部によって撮影される操作者自身が映る映像に重畳して表示される。その際、映像中から人物を検出し、人物の映る領域を抽出して、表示画面のサイズに合わせて拡大表示する。

特開２０１５−０８９０２１号公報 特許第５６５９５１０号公報

ＡＲを用いれば、操作者が携帯するタブレットやスマートフォンの撮像部が撮像する映像に重ねて、映像に映る外部機器に関連する仮想情報として、外部機器を遠隔操作するためのＧＵＩを表示することができる。しかしながら、ＡＲの従来技術では、撮像手段が撮像する画像に重畳される仮想情報は、対象物の関連が分かりやすいように、画像中の対象物の位置及びサイズに合わせた形態で表現されることが多い。つまり、自装置から離れた位置に存在する対象物に関連付いた仮想情報は小さく表示されるので、ＡＲの仮想情報にＧＵＩの要素をただ加えるだけでは、操作性の良いインタフェースとはならない。また、特許文献２によれば、映像のうち検出された対象物が映る領域だけを拡大して表示することができるが、固定された撮像部ではなく操作者が携帯するタブレットやスマートフォンで撮影している映像は、拡大すると手振れの影響で不安定になりやすい。このように、従来技術では、外部機器を撮影した映像にＡＲを利用して重畳表示されるＧＵＩにより、外部機器の遠隔操作の操作性を向上させる技術は確立されていなかった。

上記の目的を達成するために、本発明に係る情報処理装置は、撮像装置を用いて実空間を撮影した入力映像を取得する取得手段と、前記入力映像に映る所定の機器に対する指示の入力を受け付けるためのユーザインタフェース部品を、前記入力映像のうち前記所定の機器が映る部分に重畳させた出力映像を生成する生成手段と、生成された前記出力映像を表示装置に表示させる表示制御手段とを備え、前記生成手段は、自装置と前記所定の機器の位置関係が所定の基準を満たさない場合、前記入力映像のうち前記所定の機器が映る部分を加工した上で前記ユーザインタフェース部品を重畳した出力映像を生成する。

本発明によれば、外部機器を撮影した映像にＡＲを利用して重畳表示されるＧＵＩにより、外部機器の遠隔操作の操作性が向上する。

情報処理装置の使用例を示す図 情報処理装置２００の機能およびハードウェアの構成の一例を表すブロック図 情報処理装置２００が保持する対象物の関連情報の一例を示すテーブル 撮像した映像の一例を示す図 情報処理装置２００が生成する映像の一例を示す図 情報処理装置２００が実行する処理を説明するフローチャート 情報処理装置２００が撮像した映像表示装置と生成した映像の一例を示す図

以下、本発明に係る実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態に記載する構成は代表例であり、本発明の範囲はそれらの具体的構成に必ずしも限定されない。

＜第１の実施形態＞
第１の実施形態では、タブレットやスマートフォンなどの表示デバイスを周辺の対象物にかざした時に、対象物の情報を閲覧または対象物を操作するためのＧＵＩを重畳表示するシステムの例を説明する。従来から、タブレットやスマートフォンなどにインストールされたアプリケーションにより、外部機器を遠隔操作するＧＵＩを提供する事例は多い。しかしながら、表示されたＧＵＩが、どの外部機器を操作するためのものかを直感的に理解するのは難しい。そこでＡＲ技術により、現実世界の対象物の映像にＧＵＩを構成する要素を重畳して見せることで、従来に比べ、現実世界の対象物の情報にアクセスしたり、対象物を直接操作したりといった作業がより直観的になることが期待される。

図１に、施設の保守に使用する監視カメラの操作に、表示デバイスによる監視カメラの遠隔操作が採用される場合を想定した実空間の模式図を示す。室内において、監視カメラによる保守業務を担当する操作者１０１が、天井に設置された監視カメラ１０２、１０３を操作して、撮像範囲や撮影状態を確認する。操作者が手に持った表示デバイス１０４を用いて保守業務を行う場合、監視カメラが遠くにあるために、監視カメラが小さく映り、また映像自体が手ぶれにより動く。第１の実施形態では、このような状況であっても操作性を低下させないために、表示デバイスの撮像部で撮影した映像中の対象物の状態に基づき、映像を加工した上でＧＵＩを重畳表示する。

図２（ａ）は、本実施形態に係る情報処理装置２００の一例である表示デバイスの機能ブロック図である。同図において、２０１は取得部、２０２は検出部、２０３は判定部、２０４は生成部、２０５は表示制御部、２０６は指示部であるである。これらの各機能部は、ＣＰＵ３０１等から構成され、ＲＯＭ３０３に記憶されたプログラムやデータをＲＡＭ３０２に読み出して表示制御などの処理を実行する。これらのハードウェアの構成は図２（ｂ）に示す。また例えば、ＣＰＵ３０１を用いたソフトウェア処理の代替として各機能部をハードウェアで構成する場合、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

取得部２０１は、情報処理装置２００に備えられた撮像装置３０５から出力される入力映像を取得し、必要に応じて複合等の処理を行い、他の機能部に入力する。検出部２０２は、所定の対象物（遠隔操作の対象として予め登録された外部機器）を、入力映像から検出する。判定部２０３は、入力映像中の対象物が映る部分の状態が、ユーザインタフェース部品を重畳し、操作者による操作を受け付けるのに適した状態であるか判定する。本実施形態では、少なくとも情報処理装置２００と対象物の位置関係が所定の基準を満たすか否かに基づいて、入力映像のうち対象物が映る部分が、対応するＧＵＩを重畳するに適した状態かどうかが判定される。所定の基準が満たされない場合とは、情報処理装置２００と対象物が離れているために、入力画像中での対象物のサイズが小さすぎる場合を含む。また本実施形態では、さらに、入力画像中での対象物が手振れなどの影響により対象物が頻繁に大きく動く場合にも、ユーザインタフェース部品を重畳し、操作者による操作を受け付けるのに適した状態ではないとみなす。

生成部２０４は、判定部２０３で判定された内容に基づき、入力映像を加工して、出力映像を生成する。例えば、入力映像のうち対象物が映る部分のサイズが小さすぎれば、その部分を局所的に拡大する。入力映像のうち対象物が映る部分が、手振れなどの影響により対象物が頻繁に大きく動いていれば、局所的に平滑化処理を加え、動きを抑制する、といった加工が可能である。表示制御部は生成部２０４で生成された映像を表示装置３０７に表示させる。出力映像では、入力映像のうち対象物が映る部分に、対象物（外部機器）に対する指示の入力を受け付けるためのユーザインタフェース部品が重畳される。指示部２０６は、表示されたユーザインタフェース部品を操作することにより操作者が入力した対象物に対する指示を、ネットワーク・インタフェース３０８を介して対象物に送信する。

図２（ｂ）は、本実施形態に係る情報処理装置の一例である表示デバイスのハードウェア構成を示す構成図である。３０１はＣＰＵ、３０２はＲＡＭ、３０３はＲＯＭ、３０４は記憶装置、３０５は撮像装置、３０６は入力装置、３０７は表示装置、３０９はネットワーク・インタフェース、３１０はシステムバスである。記憶装置３０４は、ハードディスクドライブや各種インタフェースによって接続された外部記憶装置などであり、実施形態の操作認識処理にかかるプログラムや各種データを記憶する。撮像装置３０５は、自装置の周辺の実空間をリアルタイムに撮影し、所定フォーマットの映像データとして出力するＲＧＢカメラである。入力装置３０６はデバイスの位置や向きを検出するためのＧＰＵやＩＭＵセンサ、地磁気センサである。表示装置３０７は映像を表示するためのディスプレイである。ネットワーク・インタフェース３０８はネットワーク３０９を介して外部の機器との間でデータ等の授受を行う。システムバス３１０は、本装置の各要素を接続し、各要素間における信号の授受を行う。

次に、図３を参照して、本実施形態において、情報処理装置２００が保持する対象物の関連情報の一例について説明する。図３のテーブル４００には対象物の識別子４０１、名前４０２、適正表示サイズ４０３、位置４０４、特徴量４０５、パン４０６、チルト４０７、ＧＵＩ４０８の各値が格納されている。識別子４０１には対象物を一意に特定するための識別子が格納されている。名前４０２には対象物の名前が格納されている。適正表示サイズ４０３には、対象物にＧＵＩを重畳して表示する時の対象物の適正なサイズが、幅と高さの組で格納されている。単位はピクセルで表現されている。位置４０４には対象物の位置情報が３次元空間の座標値で格納されている。特徴量４０５には対象物を認識、トラッキングするための画像特徴量が格納されている。ここには予め監視カメラの画像から抽出したＳＩＦＴの画像特徴量が格納されているが、対象物をトラッキングできるものであれば、どのような特徴量であってよい。パン４０６、チルト４０７は監視カメラのパン、チルトの角度が格納されている。ＧＵＩ４０８には対象物に重畳表示するＧＵＩのデータが格納されている。ＧＵＩのデータはＧＵＩ部品の組み合わせと文字データ等により表されるが、対象物の情報を閲覧、操作できるものであればどのようなデータであってもよい。対象物の関連情報４００は装置内で持っていてもよいし、ネットワーク・インタフェース３０８を介して外部の機器や対象物から定期的に受信してもよい。

次に、撮像装置３０５によって撮影される映像の一例について図４を用いて説明する。図４（ａ）は、図１で操作者１０１が、本実施形態に係る情報処理装置２００の一例である表示デバイス１０４を用いて撮像した映像を表している。図４（ｂ）は図４（ａ）の微小時間後に撮像された次のフレームの映像を表している。図１と同じ番号を付記したものは図１と同じものを表している。図中の５０１、５０２は、それぞれ対象物（監視カメラ）１０２、１０３の領域を表している。

次に、生成部２０４が生成した映像の一例について図５を用いて説明する。図５（ａ）、図５（ｂ）はそれぞれ図４（ａ）、図４（ｂ）の映像に対し、映像の加工、ＧＵＩの重畳表示を行った状態を表している。図中の６０１、６０８はそれぞれ対象物の部分領域５０２、５０１を切り出して拡大表示した映像を表している。６０２、６０５は対象物に重畳したＧＵＩを表している。ＧＵＩは監視カメラで撮像した映像と、監視カメラのパン、チルトを変更するためのスライダー（６０３、６０４、６０６、６０７）で構成されている。スライダーを操作することで、監視カメラの撮像範囲を変更することができる。

図６は、本実施形態において情報処理装置２００において実行される処理の一例を示すフローチャートである。本フローチャートは、ネットワークカメラの遠隔操作用のアプリケーションが起動されたのに応じて開始される。そしてステップＳ７０１以下の処理は、微小時間時間毎に、撮像装置３０５から映像データが１フレームずつ入力されるのに応じて繰り返し実行される。ここで映像が得られる微小時間は、撮像装置３０５が撮影する映像のフレームレートに一致させてもよい。ＣＰＵ３０１は、ステップＳ７０１において、撮像装置３０５から１フレーム分の映像を取得し、ステップＳ７０２に移行する。ここでは図４（ａ）に示す映像が取得されることとする。ステップＳ７０２において、表示デバイスの画面に表示可能な対象物を抽出して、ステップＳ７０３に移行する。具体的には、表示デバイスの入力装置３０６のセンサ群から取得した位置情報と向きと、対象物の関連情報の一つである位置４０４を比較して、表示デバイスが撮像している範囲の対象物情報を抽出する。ここではテーブル４００の対象物のうち識別子がＩＤ＿００１、ＩＤ＿００２のものが抽出されたものとする。また、識別子ＩＤ＿００１、ＩＤ＿００２はそれぞれ監視カメラ１０２、１０３に対応することとする。ステップＳ７０３において、抽出した対象物を一つずつ処理する。

まずステップＳ７０４では、対象物を認識、トラッキングするための画像特徴量を対象物の関連情報の中から取得し、ステップＳ７０５に移行する。ここではまずＩＤ＿００１の監視カメラが選択されるため、Ｖ１というベクタデータで表現された画像特徴量が取得される。画像特徴量は、関連情報に予め格納しておいた監視カメラの画像から抽出した特徴量を使用してもよいし、関連情報には画像を格納しておき、必要な時に画像特徴量を抽出して使用してもよい。また、画像特徴量が必要になったタイミングで、監視カメラの画像を、ネットワーク・インタフェース３０８を介してネットワーク３０９上のデータを検索した結果に基づきダウンロードし、画像特徴量を抽出してもよい。ステップＳ７０５では、取得した位置情報と画像特徴量を基に撮像した映像上の対象物の位置を検出して、ステップＳ７０６に移行する。

ＣＰＵ３０１は、取得した映像（図４（ａ））から対象物の位置を検出する。具体的には、表示デバイスの位置と向いている方向、対象物の位置を基に探索範囲を絞り、画像特徴量により対象物の位置を特定する。ここではＩＤ＿００１の監視カメラは５０１の領域にあり、この範囲が検出されたとする。ステップＳ７０６では、対象物が映像上に存在するかどうかを判定し、存在すればステップＳ７０７に移行し、存在しなければ次の対象物の処理を実行する。ＩＤ＿００１の監視カメラは映像上に存在するためステップＳ７０７に移行する。ステップＳ７０７において、対象物を切り出した部分画像を生成し、ステップＳ７０８に移行する。図４（ａ）のＩＤ＿００１の監視カメラは領域５０１に存在するため、この領域を切り出した部分画像（以下、切り出し画像）を生成する。ステップＳ７０８では、対象物のサイズがＧＵＩを重畳するのに適したサイズであるかどうかを判定し、適したサイズである場合はステップＳ７０９に移行し、適したサイズでない場合はステップＳ７１０に移行する。対象物がＧＵＩを重畳するのに適したサイズかどうかは、対象物の切り出し画像が、対象物の適正表示サイズ４０３と比較して所定の閾値の範囲内かどうかで判定する。ＩＤ＿００１の監視カメラの切り出し画像のサイズを５１ｘ７０、閾値を２ピクセルとした時、領域のサイズは閾値の範囲内であることから、ＩＤ＿００１の領域は重畳に表示に適したサイズと判定される。

ステップＳ７０９では、対象物の画面上の移動速度が所定の閾値内かどうかを判定し、範囲内である場合はステップＳ７１１に移行し、そうでない場合はステップＳ７１２に移行する。図４（ａ）の映像は表示デバイスが撮像した最初のフレームであるため、ＩＤ＿００１の監視カメラの切り出し画像の移動距離は０ピクセルとする。閾値を２ピクセルとした時、移動距離は閾値の範囲内にあると判定される。ステップＳ７１１では、対象物の切り出し画像の表示位置を元々の対象物の中心位置に設定して、ステップＳ７１３に移行する。ステップＳ７１３では、対象物の切り出し画像を前ステップで設定された位置に表示して、ステップＳ７１４に移行する。ＩＤ＿００１の監視カメラの切り出し画像は特に修正されていないため、元々あった領域５０１の位置に表示する。ステップＳ７１４では、ＧＵＩを対象物に合わせて重畳表示し、処理していない対象物が残っていればステップＳ７０３、なければステップＳ７１５に移行する。表示制御部２０５は、ＩＤ＿００１の監視カメラのＧＵＩであるＮＣ１を取得し、図５（ａ）に示すように、ＧＵＩ６０２を重畳表示する。

続いて、残りの対象物ＩＤ＿００２について、ステップＳ７０３に戻り、処理を行う。ステップＳ７０４ではＩＤ＿００２の対象物の特徴量Ｖ１を取得し、次のステップに移行する。ステップＳ７０５では撮像した映像から対象物ＩＤ＿００２の位置を特定する。ここでは５０２をＩＤ＿００２の監視カメラの領域とする。ステップＳ７０６において、映像中にＩＤ＿００２の監視カメラは存在するため次のステップに移る。ステップＳ７０７では、ＩＤ＿００２の部分領域５０２を切り出した画像を生成する。ステップＳ７０８において、ＩＤ＿００２の監視カメラの切り出し画像を２６ｘ３８とした時、領域のサイズが閾値の範囲外であることから、ＧＵＩを重畳表示するのに適したサイズでないと判定され、ステップＳ７１０に移行する。ステップ７１０では、対象物の切り出し画像をＧＵＩの操作に適したサイズに拡大または縮小し、ステップＳ７０９に移行する。ＩＤ＿００２の監視カメラの切り出し画像のサイズが２６ｘ３８、適正表示サイズが５０ｘ７０である。そのため、平均二乗誤差を用いて適正表示サイズに近いサイズになるように拡大率を算出すると、拡大率が１．８８となり、切り出し画像の表示サイズは４８．９ｘ７１．４となる。ここでは切り出し画像のアスペクト比を保った状態で画像の拡大を行ったが、異なる拡大方法を用いてもよい。ステップＳ７０９において、ＩＤ＿００２の監視カメラは移動していないため、ステップＳ７１１に移行する。

ステップＳ７１１において、対象物の切り出し画像の表示位置を元々の大宝物の中心位置に決定し、ステップＳ７１３において、ＣＰＵ３０１は、表示装置３０７に図５（ａ）の６０１に示すように映像に重畳して切り出し画像を表示させる。ステップＳ７１４において、ＩＤ＿００２の監視カメラのＧＵＩであるＮＣ１を取得し、図５（ａ）に示すように、ＧＵＩ６０５を重畳表示する。ここで全ての対象物の処理が終了したため、ステップＳ７１５に移行する。ステップＳ７１５では、生成した映像を表示装置３０７であるディスプレイに転送し、ステップＳ７０１に戻る。ここでは図４（ａ）の映像が生成され、ディスプレイを通して操作者に提示される。

続いて、ステップＳ７０１において、図４（ａ）の微小時間後に撮像した図４（ｂ）の映像（フレーム）が取得され、処理が繰り返される。なお、図４（ａ）と図４（ｂ）の間で操作者の手が動くことでデバイスが左方向に移動し、画像としては３ピクセル右方向にシフトしている状態とする。図４（ａ）の例と処理が同じ部分については以後説明を省略する。ステップＳ７０３の繰り返し処理ではＩＤ＿００１とＩＤ＿００２の監視カメラについて順次処理を行う。ステップ７０９において、ＩＤ＿００１の監視カメラの領域５０１が３ピクセル右方向に移動しており、閾値の２ピクセルを超えているため、ステップＳ７１２に移行する。ステップＳ７１２では対象物の切り出し画像の表示位置を平滑化処理によって決定し、ステップＳ７１３に移行する。表示位置の平滑化処理をする際、対象物の前回の位置を記憶しておいて、その値を基に移動平均を用いて表示位置を決定する。表示位置の平滑化をする方法であれば、カルマンフィルタなどの別の方法を用いてもよい。

ステップＳ７１３では前ステップで設定された位置に対象物の切り出し画像を表示するため、図５（ｂ）の６０８の位置に表示される。切り出し画像を重畳する際、検出時の対象物の領域部分にぼかしを入れて隠してもよい。重畳画像を拡大・縮小・移動した際に、裏に隠される対象物の映像が見えてしまう場合に、それが見えづらくなる方法であればどのような方法であってもよい。続いて、ステップＳ７０３から、ＩＤ＿００２の監視カメラを処理する流れを説明する。ステップＳ７０９において、ＩＤ＿００２の監視カメラの映像中の部分領域５０２もＩＤ＿００１の監視カメラ同様３ピクセル右方向に移動しており、閾値を超えているため、ステップＳ７１２に移行する。ステップＳ７１２ではＩＤ＿００２の監視カメラの切り出し画像の表示位置を平滑化処理によって決定する。ステップＳ７１３では、前ステップで設定された位置に対象物の切り出し画像を表示するので、図５（ｂ）の６０１の位置に表示される。

以上のように、表示デバイスの撮像部が撮影した映像中の対象物の状態に基づき、対象物の領域を切り出し、拡大・縮小と位置の平滑化を行った上でＧＵＩを重畳表示している。このようにすることで、対象物が遠くや近くにある場合や、手ぶれにより対象物が画面上で微動している場合においても、対象物が見やすく操作しやすい状態でＧＵＩを重畳表示することができる。

＜第１の実施形態の変形例１＞
第１の実施形態では、表示デバイスを監視カメラの保守業務に利用したケースについて説明したが、これは第１の実施形態を実現する態様の一例にすぎない。ここで変形例として、時計の時刻合わせに利用するケースについて説明する。図７（ａ）は、撮像装置３０５によって撮像された映像の一例であって図７（ａ）、表示デバイス１０４を用いて時計８０１を撮像した映像を表している。図７（ａ）において８０２は、映像のうち時計８０１を含む領域（ここでは外接領域）を表している。

次に、表示制御部２０５が生成した映像の一例について図７（ｂ）を用いて説明する。図７（ｂ）は図７（ａ）の映像に対し、映像の加工、ＧＵＩの重畳表示を行った状態を表している。図７（ｂ）において９０１は対象物の領域８０２を切り出して拡大表示した映像を表している。９０２は対象物に重畳したＧＵＩを表している。ＧＵＩは時計の現在時刻のデジタル表示と、時計の時針と分針を変更するためのコントロール部品（９０３、９０４）で構成されている。コントロール部品を時計回りあるいは反時計回りに回転させるように操作することで、操作者は、現在時刻を変更することができる。

以上のように、表示デバイスの撮像部が撮影した映像中の対象物の状態に基づき、対象物の領域を切り出し、拡大・縮小と位置の平滑化を行った上でＧＵＩを重畳表示している。このようにすることで、対象物が遠くや近くにある場合や、手ぶれにより対象物が画面上で微動している場合においても、対象物が見やすく操作しやすい状態でＧＵＩを重畳表示することができる。

＜その他の実施形態＞
第１の実施形態によって遠隔操作される対象物（外部機器）は、監視カメラや時計に限られず、様々な機器に適用することができる。例えば、ネットワークに接続されたエアコンや暖房器具、テレビ、冷蔵庫、加湿器、扇風機、プロジェクタ、カメラ、電子黒板がある。これらの対象物の情報の閲覧、操作を、第１の実施形態の情報処理装置２００に相当する表示デバイスの画面に表示されたＧＵＩを通して行うことができる。いずれの機器が対象となる場合でも、表示デバイスは、撮像部が撮影した映像中の対象物の状態に基づき、対象物の領域を切り出し、拡大・縮小と位置の平滑化を行った上でＧＵＩを重畳表示する。このようにすることで、対象物が遠くや近くにある場合や、手ぶれにより対象物が画面上で微動している場合においても、対象物が見やすく操作しやすい状態でＧＵＩを重畳表示することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００ 情報処理装置
２０１ 取得部
２０２ 検出部
２０３ 判定部
２０４ 生成部
２０５ 表示制御部
２０６ 指示部

Claims (12)

1. 撮像装置を用いて実空間を撮影した入力映像を取得する取得手段と、
   前記入力映像に映る所定の機器に対する指示の入力を受け付けるためのユーザインタフェース部品を、前記入力映像のうち前記所定の機器が映る部分に重畳させた出力映像を生成する生成手段と、
   生成された前記出力映像を表示装置に表示させる表示制御手段とを備え、
   前記生成手段は、自装置と前記所定の機器の位置関係が所定の基準を満たさない場合、前記入力映像のうち前記所定の機器が映る部分を加工した上で前記ユーザインタフェース部品を重畳した出力映像を生成することを特徴とする情報処理装置。
2. 前記自装置と前記所定の機器の位置関係は、前記入力映像中での前記所定の機器のサイズに基づいて判定され、前記生成手段は、前記入力映像中での前記所定の機器が映る部分のサイズが所定のサイズに満たない場合、前記入力映像のうち前記所定の機器が映る部分を局所的に拡大する加工を加えることを特徴とする請求項１に記載の情報処理装置。
3. さらに前記生成手段は、前記入力映像中での前記所定の機器が映る部分の移動速度が所定の速度より速い場合、前記入力映像のうち前記所定の機器が映る部分の位置の動きを平滑化する加工を加えることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記入力映像から前記所定の機器を検出する検出手段を更に備え、
   前記検出手段は、前記情報処理装置の位置情報と向き、前記入力映像から検出した前記所定の機器の位置情報を基に前記所定の機器を一意に識別することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記生成手段は、前記入力映像から前記所定の機器が映る部分領域を切り出して局所的な加工を加え、前記入力映像のうち前記所定の機器が映る位置に重畳させ、さらに、前記加工された部分領域における前記所定の機器に前記ユーザインタフェース部品を重畳させて前記出力映像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 撮像装置を用いて実空間を撮影した入力映像を取得する取得手段と、
   前記入力映像に映る所定の機器に対する指示の入力を受け付けるためのユーザインタフェース部品を、前記入力映像のうち前記所定の機器が映る部分に重畳させた出力映像を生成する生成手段と、
   生成された前記出力映像を表示装置に表示させる表示制御手段とを有し、
   前記生成手段は、前記入力映像中での前記所定の機器のサイズが所定の基準を満たす場合、前記入力映像のうち前記所定の機器が映る部分を拡大した上で前記ユーザインタフェース部品を重畳した出力映像を生成することを特徴とする情報処理装置。
7. 撮像装置を用いて実空間を撮影した入力映像を取得する取得手段と、
   前記入力映像に映る所定の機器に対する指示の入力を受け付けるためのユーザインタフェース部品を、前記入力映像のうち前記所定の機器が映る部分に重畳させた出力映像を生成する生成手段と、
   生成された前記出力映像を表示装置に表示させる表示制御手段とを有し、
   前記生成手段は、前記入力映像のうち前記所定の機器が映る部分で生じる前記所定の機器の動きが所定の基準を満たす場合、前記入力映像のうち前記所定の機器が映る部分の位置の動きを平滑化した上で前記ユーザインタフェース部品を重畳した出力映像を生成することを特徴とする情報処理装置。
8. 取得手段により、撮像装置を用いて実空間を撮影した入力映像を取得する取得工程と、
   生成手段により、前記入力映像に映る所定の機器に対する指示の入力を受け付けるためのユーザインタフェース部品を、前記入力映像のうち前記所定の機器が映る部分に重畳させた出力映像を生成する生成工程と、
   表示制御手段により、生成された前記出力映像を表示装置に表示させる表示制御工程とを有し、
   前記生成工程では、自装置と前記所定の機器の位置関係が所定の基準を満たさない場合、前記入力映像のうち前記所定の機器が映る部分を加工した上で前記ユーザインタフェース部品を重畳した出力映像を生成することを特徴とする情報処理装置の制御方法。
9. 取得手段により、撮像装置を用いて実空間を撮影した入力映像を取得する取得工程と、
   生成手段により、前記入力映像に映る所定の機器に対する指示の入力を受け付けるためのユーザインタフェース部品を、前記入力映像のうち前記所定の機器が映る部分に重畳させた出力映像を生成する生成工程と、
   表示制御手段により、生成された前記出力映像を表示装置に表示させる表示制御工程とを有し、
   前記生成工程では、前記入力映像中での前記所定の機器のサイズが所定の基準を満たす場合、前記入力映像のうち前記所定の機器が映る部分を拡大した上で前記ユーザインタフェース部品を重畳した出力映像を生成することを特徴とする情報処理装置の制御方法。
10. 取得手段により、撮像装置を用いて実空間を撮影した入力映像を取得する取得工程と、
    生成手段により、前記入力映像に映る所定の機器に対する指示の入力を受け付けるためのユーザインタフェース部品を、前記入力映像のうち前記所定の機器が映る部分に重畳させた出力映像を生成する生成工程と、
    表示制御手段により、生成された前記出力映像を表示装置に表示させる表示制御工程とを有し、
    前記生成工程では、前記入力映像のうち前記所定の機器が映る部分で生じる前記所定の機器の動きが所定の基準を満たす場合、前記入力映像のうち前記所定の機器が映る部分の位置の動きを平滑化した上で前記ユーザインタフェース部品を重畳した出力映像を生成することを特徴とする情報処理装置の制御方法。
11. コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至７のいずれか１項に記載の情報処理装置として機能させるプログラム。
12. 請求項１１に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images