JP2016053788A - 情報端末装置、情報処理方法、システムおよびプログラム - Google Patents

Abstract

【課題】現実の空間に配置されているようにオブジェクト画像の形状を変化させる。
【解決手段】情報端末装置は、被写体を撮像して撮像画像を生成する撮像部と、撮像部の初期姿勢を設定する初期設定部と、撮像部の初期姿勢からの姿勢変化を表す姿勢情報を検出する姿勢検出部と、姿勢情報に応じて、仮想の３次元空間であるオブジェクト座標に配置された予め設定された仮想オブジェクトの姿勢を補正する姿勢補正部と、仮想オブジェクトを撮像画像の表示画面を表す２次元座標であるデバイス座標に射影するための変換関数に基づき、姿勢が補正された仮想オブジェクトをデバイス座標に射影したオブジェクト画像を生成する射影部と、撮像画像にオブジェクト画像を合成した合成画像を生成する合成部と、合成画像を表示する表示部と、撮像画像を記録する画像記録部と、姿勢情報を撮像画像に同期させて記録する姿勢記録部とを備える。
【選択図】図４

Description

本発明は、情報端末装置、情報処理方法、システムおよびプログラムに関する。

カメラにより撮像された撮像画像上に、仮想的なオブジェクト画像を重ねて表示する拡張現実感（ＡＲ）と呼ばれる技術が知られている。従来のＡＲ技術では、撮像画像上の特徴点またはマーカー等を検出し、検出した特徴点またはマーカーの形状等に応じてオブジェクト画像の形状または位置を変更する。このため、従来のＡＲ技術では、カメラの姿勢が変化すると、オブジェクト画像の形状または位置も現実の空間に配置されているように変化する。

ところで、また、従来のＡＲ技術では、撮像画像に重畳したオブジェクト画像を時系列で記録し、再生時において、記録時に重畳されたオブジェクト画像をそのまま再生することができた。しかし、従来のＡＲ技術では、記録時に重畳されたオブジェクト画像を、他のオブジェクト画像に置き換えたり、オブジェクト画像の形状または位置等を設定し直したりすることはできなかった。

本発明は、上記に鑑みてなされたものであって、再生時において、記録時に表示したオブジェクト画像に代えて他のオブジェクト画像を表示したり、オブジェクト画像の形状または位置等を設定し直したりしても、現実の空間に配置されているようにオブジェクト画像の形状を変化させることができる情報端末装置、情報処理方法、システムおよびプログラムを提供する。

上述した課題を解決し、目的を達成するために、本発明に係る情報端末装置は、被写体を撮像して撮像画像を生成する撮像部と、前記撮像部の初期姿勢を設定する初期設定部と、前記撮像部の前記初期姿勢からの姿勢変化を表す姿勢情報を検出する姿勢検出部と、前記姿勢情報に応じて、仮想の３次元空間であるオブジェクト座標に配置された予め設定された仮想オブジェクトの姿勢を補正する姿勢補正部と、前記仮想オブジェクトを前記撮像画像の表示画面を表す２次元座標であるデバイス座標に射影するための変換関数に基づき、姿勢が補正された前記仮想オブジェクトを前記デバイス座標に射影したオブジェクト画像を生成する射影部と、前記撮像画像に前記オブジェクト画像を合成した合成画像を生成する合成部と、前記合成画像を表示する表示部と、前記撮像画像を記録する画像記録部と、前記姿勢情報を前記撮像画像に同期させて記録する姿勢記録部と、を備える。

本発明は、上記に鑑みてなされたものであって、再生時において、記録時に表示したオブジェクト画像に代えて他のオブジェクト画像を表示したり、オブジェクト画像の形状または位置等を設定し直したりしても、現実の空間に配置されているようにオブジェクト画像の形状を変化させることができるという効果を奏する。

図１は、実施形態に係る情報端末装置１０の表面から見た外観図である。 図２は、実施形態に係る情報端末装置１０の裏面から見た外観図である。 図３は、実施形態に係る情報端末装置１０の処理の概要を示す図である。 図４は、実施形態に係る情報端末装置１０の構成を示す図である。 図５は、射影を説明するための図である。 図６は、初期設定を説明するための図である。 図７は、撮像画像とオブジェクト画像との合成を説明するための図である。 図８は、撮像部３１の姿勢に応じた、仮想オブジェクト１０１の姿勢の補正を説明するための図である。 図９は、情報端末装置１０の姿勢の変化に応じて、オブジェクト画像２１の形状が変化する様子について示す図である。 図１０は、オブジェクト画像２１に対する操作を説明するための図である。 図１１は、デバイス座標上の平行移動量を、オブジェクト座標上の平行移動量に変換する処理を説明するための図である。 図１２は、変換関数の補正を説明するための図である。 図１３は、記録時における情報端末装置１０の処理フローを示す図である。 図１４は、記録終了時に保存されるデータの一例を示す図である。 図１５は、再生時における情報端末装置１０の処理フローを示す図である。 図１６は、実施形態に係る情報端末装置１０のハードウェア構成を示す図である。

以下、実施形態である情報端末装置１０について説明する。

図１は、実施形態に係る情報端末装置１０の表面から見た外観図である。図２は、実施形態に係る情報端末装置１０の裏面から見た外観図である。

情報端末装置１０は、例えば、いわゆるタブレット型の装置であって、薄板状の外観を有する。情報端末装置１０は、図１に示すように、薄板の表面側にタッチパネルディスプレイ１１を備える。また、情報端末装置１０は、図２に示すように、裏面側にカメラ部１２を備える。

情報端末装置１０は、表示機能、入力機能および撮像機能を有し、ユーザにより携帯可能な装置であれば、タブレット型の装置に限らず他の装置であってもよい。情報端末装置１０は、一例として、記録装置一体型の撮像装置であってもよいし、携帯電話機であってもよいし、ゲーム機であってもよいし、小型のコンピュータであってもよい。

図３は、実施形態に係る情報端末装置１０の処理の概要を示す図である。情報端末装置１０は、撮像した画像を記録および表示をしている場合、または、撮像した画像を表示のみしている場合（スルー画像を表示している場合）において、オブジェクト画像２１を撮像画像に重畳して表示する。オブジェクト画像２１は、仮想的な３次元空間に配置された仮想オブジェクトを２次元空間に射影することにより生成される。

ここで、情報端末装置１０は、オブジェクト画像２１の形状を、情報端末装置１０の姿勢の変化に応じて、あたかも現実の空間に配置されている物体を撮像しているように変化させる。例えば、図３に示すように、情報端末装置１０は、長方形の用紙が壁２０に貼り付けているように、情報端末装置１０の姿勢の変化に応じてオブジェクト画像２１の形状を変化させる。

図４は、実施形態に係る情報端末装置１０の構成を示す図である。情報端末装置１０は、撮像部３１と、画像格納部３２と、画像記録部３３と、画像再生部３４と、画像選択部３５と、姿勢検出部４１と、姿勢格納部４２と、姿勢記録部４３と、姿勢読出部４４と、姿勢選択部４５と、オブジェクト格納部４６と、姿勢補正部４７と、初期設定部５１と、関数格納部５２と、操作入力部６１と、操作格納部６２と、操作記録部６３と、操作読出部６４と、操作選択部６５と、関数補正部６６と、射影部７１と、合成部７２と、表示部７３とを備える。

撮像部３１は、カメラ部１２を含み、被写体を撮像して撮像画像を生成する。画像格納部３２は、撮像画像を格納する。画像記録部３３は、撮像部３１により生成された撮像画像を画像格納部３２に記録する。画像再生部３４は、画像格納部３２に格納された撮像画像を再生する。

画像選択部３５は、記録時またはスルー画像表示時において、撮像部３１によって生成された現在の撮像画像を合成部７２に与える。画像選択部３５は、再生時において、画像再生部３４が再生した撮像画像を合成部７２に与える。

姿勢検出部４１は、撮像部３１の初期姿勢からの姿勢変化を表す姿勢情報を検出する。より具体的には、姿勢検出部４１は、撮像部３１の初期姿勢の撮影方向（光軸の方向）からの向きの変化を検出する。

姿勢格納部４２は、姿勢情報を格納する。姿勢記録部４３は、姿勢検出部４１により検出された姿勢情報を、画像記録部３３により記録される撮像画像に同期させて姿勢格納部４２に記録する。本例においては、姿勢記録部４３は、撮像開始時刻からの経過時間とともに姿勢情報を記録する。

姿勢読出部４４は、姿勢格納部４２に格納された姿勢情報を、画像再生部３４により再生される撮像画像と同期させて読み出す。本例においては、姿勢読出部４４は、画像再生部３４により再生される撮像画像の経過時間に対応する姿勢情報を読み出す。

姿勢選択部４５は、記録時またはスルー画像表示時において、姿勢検出部４１によって検出された現在の姿勢情報を姿勢補正部４７に与える。姿勢選択部４５は、再生時において、姿勢読出部４４が読み出した姿勢情報を姿勢補正部４７に与える。

オブジェクト格納部４６は、仮想の３次元空間であるオブジェクト座標に配置された、予め設定された形状の３次元の仮想オブジェクトを表す３次元データを格納する。仮想オブジェクトは、オブジェクト座標における、予め設定された位置に、予め設定された姿勢（基準姿勢）で配置されている。オブジェクト座標は、表面に写真、図または文字等が描かれていてもよい。また、オブジェクト格納部４６は、複数の仮想オブジェクトを記憶しており、ユーザ等により選択された１つの仮想オブジェクトを出力してもよい。

本例においては、オブジェクト格納部４６は、表面に写真、図または文字等が描かれた用紙状（長方形の平面状）の仮想オブジェクトを記憶する。

姿勢補正部４７は、与えられた姿勢情報に応じて仮想オブジェクトの姿勢を補正する。より具体的には、姿勢補正部４７は、撮像部３１の姿勢の変化（撮像部３１の撮影方向の向きの変化）とは逆に動かすように、仮想オブジェクトの姿勢を基準姿勢から補正する。

なお、姿勢補正部４７は、記録時またはスルー画像表示時においては、姿勢検出部４１によって検出された現在の姿勢情報に応じて仮想オブジェクトの姿勢を補正する。姿勢補正部４７は、再生時においては、姿勢読出部４４が読み出した姿勢情報に応じて仮想オブジェクトの姿勢を補正する。姿勢補正部４７は、姿勢を補正した後の仮想オブジェクトを射影部７１に与える。

初期設定部５１は、ユーザの設定操作に応じて、撮像部３１の初期姿勢を設定する。初期設定部５１は、初期設定時において、ユーザに対して、デバイス座標上に基準の形状および基準の大きさのオブジェクト画像を表示させる。そして、初期設定部５１は、基準の形状および基準の大きさのオブジェクト画像を表示させて、撮像部３１の姿勢（撮影方向）をユーザに決定させる。初期設定部５１は、ユーザが決定した撮像部３１の姿勢を、初期姿勢として設定する。姿勢検出部４１は、このときに決定された初期姿勢からの変化量を姿勢情報として出力する。

関数格納部５２は、仮想オブジェクトをデバイス座標に射影するための変換関数を格納する。デバイス座標は、撮像画像の表示画面を表す２次元座標である。変換関数は、基準姿勢の仮想オブジェクトから、撮像部３１が初期姿勢のときに表示される基準のデバイス画像を生成する関数である。関数格納部５２は、オブジェクト格納部４６が複数の仮想オブジェクトを格納している場合には、それぞれの仮想オブジェクトに対応して複数の変換関数を格納する。そして、この場合、関数格納部５２は、初期設定時において、初期設定部５１により対応する１つの変換関数が選択される。

操作入力部６１は、ユーザによるオブジェクト画像に対するデバイス座標での操作情報を入力する。本例においては、操作入力部６１は、オブジェクト画像のデバイス座標での平行移動量、回転量および拡大縮小率を操作情報として入力する。操作入力部６１は、一例として、タッチパネルディスプレイ１１に表示されたオブジェクト画像に対する操作（平行移動、回転および拡大縮小）を検出して、デバイス座標での平行移動量、回転量および拡大縮小率を入力する。

操作格納部６２は、操作情報を格納する。操作記録部６３は、操作入力部６１により入力された操作情報を、画像記録部３３により記録される撮像画像に同期させて操作格納部６２に記録する。本例においては、操作記録部６３は、撮像開始時刻からの経過時間とともに操作情報を記録する。

操作読出部６４は、操作格納部６２に格納された操作情報を、画像再生部３４により再生される撮像画像と同期させて読み出す。本例においては、操作読出部６４は、画像再生部３４により再生される撮像画像の経過時間に対応する操作情報を読み出す。

操作選択部６５は、記録時またはスルー画像表示時において、操作入力部６１によって入力された現在の操作情報を関数補正部６６に与える。また、操作選択部６５は、再生時において、ユーザの操作に基づき、記録時の操作を反映するモードと記録時の操作を反映しないモードとを選択する。操作選択部６５は、再生時において、記録時の操作を反映するモード（操作反映モード）の場合、操作読出部６４が読み出した操作情報を関数補正部６６に与える。操作選択部６５は、再生時において、記録時の操作を反映しないモード（操作非反映モード）の場合、操作入力部６１によって入力された現在の操作情報を関数補正部６６に与える。

関数補正部６６は、操作情報に応じた移動量分、仮想オブジェクトがオブジェクト座標上で移動するように、変換関数を補正する。

例えば、関数補正部６６は、デバイス座標での平行移動量を、変換関数の逆関数によりオブジェクト座標での平行移動量に変換する。そして、関数補正部６６は、変換したオブジェクト座標での平行移動量分、仮想オブジェクトを平行移動させるように変換関数を補正する。

また、関数補正部６６は、デバイス座標での回転量分、オブジェクト座標において仮想オブジェクトを回転させるように変換関数を補正する。また、関数補正部６６は、デバイス座標での拡大縮小率分、オブジェクト座標において仮想オブジェクトを拡大縮小させるように変換関数を補正する。

なお、関数補正部６６は、記録時またはスルー画像表示時においては、操作入力部６１によって入力された現在の操作情報に応じて変換関数を補正する。また、関数補正部６６は、再生時において、操作反映モードの場合、操作読出部６４によって読み出された操作情報に応じて変換関数を補正する。関数補正部６６は、再生時において、操作非反映モードの場合、操作入力部６１によって入力された現在の操作情報に応じて変換関数を補正する。関数補正部６６は、補正した変換関数を射影部７１に与える。

射影部７１は、関数補正部６６により補正された変換関数に基づき、姿勢補正部４７により姿勢が補正された仮想オブジェクトをデバイス座標に射影したオブジェクト画像を生成する。射影部７１は、生成したオブジェクト画像を合成部７２に与える。

合成部７２は、与えられた撮像画像に、オブジェクト画像を合成した合成画像を生成する。なお、合成部７２は、記録時またはスルー画像表示時において、撮像部３１によって生成された現在の撮像画像にオブジェクト画像を合成する。また、合成部７２は、再生時において、画像再生部３４が再生した撮像画像にオブジェクト画像を合成する。合成部７２は、合成画像を表示部７３に与える。

表示部７３は、例えば、タッチパネルディスプレイ１１を含み、与えられた合成画像を表示する。

図５は、射影を説明するための図である。３次元空間であるオブジェクト座標に配置された仮想オブジェクト１０１を、２次元空間であるデバイス座標に射影する場合、情報端末装置１０は、図５に示すように、オブジェクト座標上のある一点から仮想オブジェクト１０１を見た場合の２次元の像を取得すればよい。このような像を取得するための関数が変換関数であり、一般に、行列で表される。本例においては、３次元の仮想オブジェクト１０１が長方形の平面状のオブジェクトである。従って、デバイス座標には、矩形のオブジェクト画像が射影される。

図６は、初期設定を説明するための図である。情報端末装置１０は、撮像の開始に先立って、初期姿勢を設定する。

本例においては、初期設定部５１は、初期設定時において、デバイス座標上に、予め定められた形状および大きさの基準オブジェクト画像１０２を予め定められた位置に配置して、ユーザに基準オブジェクト画像１０２を表示させるときの情報端末装置１０の姿勢を設定させる。

本例においては、３次元の仮想オブジェクトが長方形の平面状のオブジェクトであり、基準オブジェクト画像１０２は、長方形である。ユーザは、情報端末装置１０の姿勢が、このような基準オブジェクト画像１０２が例えば壁上に張られているように見えるときに決定ボタン等を押す。

そして、初期設定部５１は、ユーザにより決定ボタン等が押されたときの、姿勢を初期姿勢として設定する。これにより、初期設定部５１は、基準オブジェクト画像１０２が壁に貼り付けられているように初期姿勢を設定することができる。

なお、変換関数は、基準オブジェクト画像１０２のデバイス座標上での位置および形状と、基準姿勢の仮想オブジェクトのオブジェクト座標上での位置および形状とに基づき、所定のアルゴリズムにより算出される。本例においては、変換関数は、基準オブジェクト画像１０２の４点の頂点のデバイス座標での位置と、基準姿勢の仮想オブジェクトの４点の頂点のオブジェクト座標での位置とに基づき、所定のアルゴリズムで算出される。このような変換関数は、予め登録されている。

なお、本例においては、オブジェクト座標からデバイス座標への射影のための変換関数は、行列Ｈで表される。行列Ｈは、行列Ｐと、行列Ｍとの積で表される。行列Ｐは、射影行列であり、行列Ｍは、仮想オブジェクトの位置および傾きを表す行列である。また、変換関数の逆関数は、行列Ｇで表される。行列Ｇは、行列Ｈの逆行列である。

このように情報端末装置１０は、撮像の開始に先立って初期姿勢を設定するので、初期姿勢におけるオブジェクト画像の形状を基準とし、初期姿勢からの姿勢変化量に基づきオブジェクト画像の形状を変化させることができる。本例の場合においては、情報端末装置１０は、長方形の基準オブジェクト画像１０２を現実の壁、床、板等の表面上に貼り付いているように設定することにより、仮想オブジェクトの形状を現実の壁、床、板等に貼り付いているように変化させることができる。

図７は、撮像画像とオブジェクト画像との合成を説明するための図である。合成部７２は、撮像画像とオブジェクト画像とを合成して、合成画像を生成する。

合成部７２は、一例として、撮像画像の上に、オブジェクト画像を重ねて合成画像を生成する。すなわち、合成部７２は、撮像画像を背景、オブジェクト画像を前景として合成画像を生成する。これにより、本例の場合においては、情報端末装置１０は、仮想オブジェクトが壁等の表面上に貼り付いているような合成画像を生成することができる。

図８は、撮像部３１の姿勢に応じた、仮想オブジェクト１０１の姿勢の補正を説明するための図である。姿勢補正部４７は、与えられた姿勢情報に応じて、情報端末装置１０の撮像部３１の姿勢の変化とは逆に動かすように、仮想オブジェクト１０１の姿勢を補正する。

具体的には、実空間座標における情報端末装置１０の撮像部３１の、初期設定時における初期姿勢からの変化量（姿勢変換量）をＡ＝（α，β，γ）とした場合、姿勢補正部４７は、仮想オブジェクト１０１の姿勢を、姿勢変換量Ａに逆符号を乗じた姿勢補正量Ｂ＝（−α，−β，−γ）分、基準姿勢から回転補正する。

本例においては、姿勢検出部４１が、姿勢情報として、互いに直交するｘ軸、ｙ軸およびｚ軸のそれぞれを中心とした、初期姿勢からの回転角の変化量（ロール角の変化量α、ピッチ角の変化量βおよびヨー角の変化量γ）を検出する。そして、姿勢補正部４７は、オブジェクト座標において、仮想オブジェクト１０１のロール角、ピッチ角およびヨー角のそれぞれを、予め設定されている基準姿勢から、姿勢情報とは逆符号の回転角分（−α，−β，−γ）、回転させる。これにより、姿勢補正部４７は、仮想オブジェクト１０１の姿勢を情報端末装置１０の撮像部３１の姿勢の変化とは逆に動かすように補正することができる。

図９は、情報端末装置１０の姿勢の変化に応じて、オブジェクト画像２１の形状が変化する様子について示す図である。姿勢補正部４７が仮想オブジェクトの姿勢を補正した結果、情報端末装置１０は、撮影方向が変化した場合であっても、静止している物体を異なる方向から撮像したように、矩形のオブジェクト画像２１の形状を変化させることができる。

例えば、図９に示すように、情報端末装置１０は、仮想オブジェクトが用紙のような長方形の面状の物体であり、撮影方向を例えばＡ，Ｂ，Ｃのように変化させた場合には、用紙が壁２０に貼り付いているように、オブジェクト画像２１の形状を変化させることができる。

図１０は、オブジェクト画像２１に対する操作を説明するための図である。操作入力部６１は、タッチパネルディスプレイ１１に表示されたオブジェクト画像２１に対する操作（平行移動操作、回転操作および拡大縮小操作）を検出して、デバイス座標での平行移動量、回転量および拡大縮小率を入力することができる。

また、操作入力部６１は、記録時またはスルー画像表示時において、これらの操作を入力することができる。また、操作入力部６１は、記録時における一時停止中にもこれらの操作を入力することができる。

また、操作入力部６１は、再生時において、記録時の操作を反映しないモード（操作非反映モード）の場合に、操作情報を入力することができる。さらに、操作入力部６１は、再生時において、記録時の操作を反映する操作反映モードの場合に、再生の一時停止をすれば、これらの操作を入力することができる。

図１１は、デバイス座標上の平行移動量を、オブジェクト座標上の平行移動量に変換する処理を説明するための図である。図１２は、変換関数の補正を説明するための図である。

平行移動操作、回転操作または拡大縮小操作がされた場合、関数補正部６６は、操作情報に応じて、変換関数を補正する。

例えば、平行移動操作をした場合には、次のように変換関数を補正する。まず、図１１に示すように、関数補正部６６は、現在の変換関数の逆関数を表す行列Ｇを取得する。行列Ｇは、行列Ｈの逆関数である。関数補正部６６は、変換関数の逆関数を表す行列Ｇにより、ユーザにより入力されたデバイス座標での平行移動量を表す行列Ｘを、オブジェクト座標での平行移動量を表す行列Ｔに変換する。具体的には、関数補正部６６は、行列Ｇに行列Ｘを乗じて、行列Ｔを算出する。

続いて、関数補正部６６は、行列Ｔにより仮想オブジェクト１０１を平行移動させるように、変換関数を表す行列Ｈを補正する。具体的には、関数補正部６６は、仮想オブジェクト１０１の位置および傾きを表す行列Ｍに、平行移動量を表す行列Ｔを乗じて、行列Ｍ´を生成する。そして、関数補正部６６は、行列Ｐに行列Ｍ´を乗じて、新たな行列Ｈ´を生成する。

また、回転操作をした場合には、関数補正部６６は、デバイス座標での回転量分、オブジェクト座標において仮想オブジェクト１０１を回転させるように変換関数を補正する。具体的には、関数補正部６６は、仮想オブジェクト１０１の位置および傾きを表す行列Ｍを、デバイス座標での回転量分、回転補正して、新たな行列Ｍ´を生成する。そして、関数補正部６６は、行列Ｐに行列Ｍ´を乗じて、新たな行列Ｈ´を生成する。

また、拡大縮小操作をした場合には、関数補正部６６は、デバイス座標での拡大縮小率分、オブジェクト座標において仮想オブジェクト１０１をデバイス座標で拡大縮小させるように変換関数を補正する。具体的には、関数補正部６６は、仮想オブジェクト１０１の位置および傾きを表す行列Ｍを、デバイス座標での拡大縮小率分、拡大縮小補正をして、新たな行列Ｍ´を生成する。そして、関数補正部６６は、行列Ｐに行列Ｍ´を乗じて、新たな行列Ｈ´を生成する。

そして、射影部７１は、新たな行列Ｈ´により仮想オブジェクト１０１をデバイス座標に射影してオブジェクト画像２１を生成する。

以後、関数補正部６６は、ユーザにより操作がされる毎に、直前の変換関数を表す行列Ｈを操作情報に基づき補正する。これにより、関数補正部６６は、動画像の記録中または再生中等にユーザが操作をする毎に、変換関数を補正することができる。

図１３は、記録時における情報端末装置１０の処理フローを示す図である。情報端末装置１０は、動画像の記録時にステップＳ１１から処理を開始する。

まず、ステップＳ１１において、情報端末装置１０は、仮想オブジェクトの選択を受け付ける。情報端末装置１０は、一例として、複数の仮想オブジェクトをユーザに提示して、何れか１つの仮想オブジェクトの選択を受け付けてもよい。

続いて、ステップＳ１２において、情報端末装置１０は、選択された仮想オブジェクトに対応する変換関数を取得するとともに、初期姿勢を設定する。続いて、ステップＳ１３において、情報端末装置１０は、ユーザによる記録開始指示を受け付けて、動画像の記録を開始する。続いて、ステップＳ１４において、情報端末装置１０は、記録開始時刻を記録する。

動画像の記録を開始すると、情報端末装置１０は、一定時間毎（例えば１フレーム時間毎）にステップＳ１５からステップＳ２４の処理を実行する。

ステップＳ１５において、情報端末装置１０は、記録開始時刻からの経過時間ｔを取得する。続いて、ステップＳ１６において、情報端末装置１０は、操作情報を入力する。続いて、ステップＳ１７において、情報端末装置１０は、入力した操作情報に基づき変換関数を補正する。なお、情報端末装置１０は、操作情報が入力されていなければ、変換関数を補正しない。

続いて、ステップＳ１８において、情報端末装置１０は、姿勢情報を検出する。続いて、ステップＳ１９において、情報端末装置１０は、検出した姿勢情報に基づき、仮想の３次元空間であるオブジェクト座標に配置された仮想オブジェクトの姿勢を補正する。

続いて、ステップＳ２０において、情報端末装置１０は、オブジェクト座標に配置された仮想オブジェクトを、変換関数を用いて、撮像画像が配置される２次元空間であるデバイス座標に射影して、オブジェクト画像を生成する。

続いて、ステップＳ２１において、情報端末装置１０は、撮像画像とオブジェクト画像とを合成して合成画像を生成する。続いて、ステップＳ２２において、情報端末装置１０は、合成画像を表示する。

続いて、ステップＳ２３において、情報端末装置１０は、ステップＳ１６で入力した操作情報およびステップＳ１８で検出した姿勢情報を、経過時間ｔに対応付けて記録する。続いて、ステップＳ２４において、記録が終了されたか否かを判断する。終了していない場合（ステップＳ２４のＮｏ）、情報端末装置１０は、経過時間ｔを例えば１フレーム分増加させて、処理をステップＳ１５に戻す。情報端末装置１０は、処理がステップＳ１５に戻されると、１フレーム分進んだ経過時間ｔに対してステップＳ１５以降の処理を繰り返す。

記録が終了した場合（ステップＳ２４のＹｅｓ）、情報端末装置１０は、処理をステップＳ２５に進める。ステップＳ２５において、情報端末装置１０は、動画像データ、仮想オブジェクト、経過時間ｔ毎の姿勢情報、および、経過時間ｔ毎の操作情報をファイル化して保存する。そして、情報端末装置１０は、ステップＳ２５を終了すると、本フローを終了する。

図１４は、記録終了時に保存されるデータの一例を示す図である。情報端末装置１０は、記録終了時において、図１４に示すようなデータをファイル化して保存する。

具体的には、情報端末装置１０は、動画像データのファイル名および仮想オブジェクトのファイル名を保存する。

また、情報端末装置１０は、経過時間ｔ毎に、ロール角α、ピッチ角βおよびヨー角γの変化量で表される姿勢情報を保存する。また、情報端末装置１０は、経過時間ｔ毎に、平行移動量（ｘ，ｙ，ｚ）、回転量ｒおよび拡大縮小率ｓを含む操作情報を保存する。

図１５は、再生時における情報端末装置１０の処理フローを示す図である。情報端末装置１０は、動画像の再生時にステップＳ４１から処理を開始する。

まず、ステップＳ４１において、情報端末装置１０は、記録されたファイルを読み出す。続いて、ステップＳ４２において、情報端末装置１０は、仮想オブジェクトを選択する。この場合において、情報端末装置１０は、記録時にファイルに保存された仮想オブジェクトを選択してもよいし、他の仮想オブジェクトを選択してもよい。

続いて、ステップＳ４３において、情報端末装置１０は、選択した仮想オブジェクトに対応する変換関数を取得する。続いて、ステップＳ４４において、情報端末装置１０は、ユーザの選択に従って、記録時の操作を反映するモード（操作反映モード）、または、記録時の操作を反映しないモード（操作非反映モード）の何れかを設定する。

続いて、ステップＳ４５において、情報端末装置１０は、ユーザによる再生開始指示を受け付けて、ファイルに保存された動画像の再生を開始する。

動画像の再生を開始すると、情報端末装置１０は、一定時間毎（例えば１フレーム時間毎）にステップＳ４６からステップＳ５６の処理を実行する。

ステップＳ４６において、情報端末装置１０は、動画像の記録開始時刻からの経過時間ｔを取得する。続いて、ステップＳ４７において、情報端末装置１０は、操作モードを判断する。情報端末装置１０は、操作反映モードである場合（ステップＳ４７のＹｅｓ）、ステップＳ４８において、ファイルから経過時間ｔの操作情報を読み出す。情報端末装置１０は、操作非反映モードである場合（ステップＳ４７のＮｏ）、ステップＳ４９において、現在の操作情報を入力する。なお、情報端末装置１０は、操作反映モードである場合であっても、一時停止動作中であれば、現在の操作情報を入力してもよい。

ステップＳ４８またはステップＳ４９の処理を終了すると、ステップＳ５０において、情報端末装置１０は、操作情報に基づき変換関数を補正する。

続いて、ステップＳ５１において、情報端末装置１０は、ファイルから経過時間ｔの姿勢情報を読み出す。続いて、ステップＳ５２において、情報端末装置１０は、読み出した姿勢情報に基づき、仮想の３次元空間であるオブジェクト座標に配置された仮想オブジェクトの姿勢を補正する。

続いて、ステップＳ５３において、情報端末装置１０は、オブジェクト座標に配置された仮想オブジェクトを、変換関数を用いて、撮像画像が配置される２次元空間であるデバイス座標に射影して、オブジェクト画像を生成する。

続いて、ステップＳ５４において、情報端末装置１０は、再生された撮像画像とオブジェクト画像とを合成して合成画像を生成する。続いて、ステップＳ５５において、情報端末装置１０は、合成画像を表示する。

続いて、ステップＳ５６において、情報端末装置１０は、再生が終了されたか否かを判断する。終了していない場合（ステップＳ５６のＮｏ）、情報端末装置１０は、経過時間ｔを例えば１フレーム分増加させて、処理をステップＳ４６に戻す。情報端末装置１０は、処理がステップＳ４６に戻されると、１フレーム分進んだ経過時間ｔに対してステップＳ４６以降の処理を繰り返す。

再生が終了した場合（ステップＳ５６のＹｅｓ）、情報端末装置１０は、本フローを終了する。

以上のように本実施形態に係る情報端末装置１０は、撮像部３１の姿勢に応じて仮想オブジェクトの姿勢を補正する。これにより、情報端末装置１０によれば、撮像部３１の姿勢が変化しても、仮想オブジェクトが現実の空間に配置されているように、仮想オブジェクトを射影して得られたオブジェクト画像の形状を変化させることができる。

また、情報端末装置１０は、姿勢情報を撮像画像に同期させて記録する。これにより、情報端末装置１０によれば、再生時においても、仮想オブジェクトが現実の空間に配置されているように形状を変化させることができる。この場合、情報端末装置１０は、射影後の２次元のオブジェクト画像ではなく、姿勢情報を撮像画像に同期させて記録するので、元となる仮想オブジェクトを他の仮想オブジェクトに変更しても、変更後の仮想オブジェクトを、現実の空間に配置されているように形状を変化させることができる。

また、情報端末装置１０は、仮想オブジェクトの配置を操作する操作情報を撮像画像と同期させて記録しておき、再生時において、記録時における操作情報を反映させるか否かを選択できる。そして、情報端末装置１０は、記録時における操作情報を反映しない場合には、現在の操作（再生時に入力する操作）により仮想オブジェクトを記録時と異なる位置に配置させることができる。

また、情報端末装置１０は、姿勢情報を撮像画像と同期させて記録しているので、再生時において、仮想オブジェクトの表示位置を記録時と異なる位置に配置しても、現実の空間に配置されているように仮想オブジェクトの形状を変更することができる。

（ハードウェア構成）
図１６は、情報端末装置１０のハードウェア構成を示す図である。

本実施形態に係る情報端末装置１０は、例えば図１６に示すようなハードウェア構成により実現される。情報端末装置１０は、ＣＰＵ（Central Processing Unit）２０１と、ＲＡＭ（Random Access Memory）２０２と、ＲＯＭ（Read Only Memory）２０３と、記憶装置２０４と、タッチパネルディスプレイ１１と、カメラ部１２と、ネットワークＩ／Ｆ部２０７と、加速度センサ２１１と、ジャイロセンサ２１２と、磁気センサ２１３と、ＧＰＳ（Global Positioning System）センサ２１４とを備える。そして、これらの各部は、バスにより接続される。

ＣＰＵ２０１は、プログラムに従って演算処理および制御処理等を実行するプロセッサである。ＣＰＵ２０１は、ＲＡＭ２０２の所定領域を作業領域として、ＲＯＭ２０３および記憶装置２０４等に記憶されたプログラムとの協働により各種処理を実行する。

ＲＡＭ２０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリである。ＲＡＭ２０２は、ＣＰＵ２０１の作業領域として機能する。ＲＯＭ２０３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。

記憶装置２０４は、フラッシュメモリ等の半導体による記憶媒体、または、磁気的若しくは光学的に記録可能な記憶媒体等にデータを書き込みおよび読み出しをする装置である。記憶装置２０４は、ＣＰＵ２０１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。

タッチパネルディスプレイ１１は、ＣＰＵ２０１の制御に応じて、ディスプレイに情報を表示し、ディスプレイに対して操作された情報を入力するデバイスである。カメラ部１２は、被写体を撮像して動画像信号を生成するデバイスである。ネットワークＩ／Ｆ部２０７は、ＣＰＵ２０１からの制御に応じて外部の機器とネットワークを介して通信する。

加速度センサ２１１は、情報端末装置１０の加速度および加速度の方向を検出する。ジャイロセンサ２１２は、情報端末装置１０の姿勢を検出する。磁気センサ２１３は、情報端末装置１０が向いている方位を検出する。ＧＰＳセンサ２１４は、情報端末装置１０の位置（緯度、経度および高度）を検出する。

本実施形態に係る情報端末装置１０で実行されるプログラムは、撮像モジュール、画像格納モジュール、画像記録モジュール、画像再生モジュール、画像選択モジュール、姿勢検出モジュール、姿勢格納モジュール、姿勢記録モジュール、姿勢読出モジュール、姿勢選択モジュール、オブジェクト格納モジュール、姿勢補正モジュール、初期設定モジュール、関数格納モジュール、操作入力モジュール、操作格納モジュール、操作記録モジュール、操作読出モジュール、操作選択モジュール、関数補正モジュール、射影モジュール、合成モジュールおよび表示モジュールを含むモジュール構成となっている。このプログラムは、ＣＰＵ２０１（プロセッサ）によりＲＡＭ２０２上に展開して実行されることにより、情報端末装置１０を撮像部３１、画像格納部３２、画像記録部３３、画像再生部３４、画像選択部３５、姿勢検出部４１、姿勢格納部４２、姿勢記録部４３、姿勢読出部４４、姿勢選択部４５、オブジェクト格納部４６、姿勢補正部４７、初期設定部５１、関数格納部５２、操作入力部６１、操作格納部６２、操作記録部６３、操作読出部６４、操作選択部６５、関数補正部６６、射影部７１、合成部７２および表示部７３として機能させる。

なお、情報端末装置１０は、このような構成に限らず、これらの構成要素の少なくとも一部をハードウェア回路（例えば半導体集積回路）により実現した構成であってもよい。例えば、撮像部３１は、カメラ部１２と撮像モジュールとにより実現された構成であってよい。また、姿勢検出部４１は、加速度センサ２１１、ジャイロセンサ２１２、磁気センサ２１３およびＧＰＳ（Global Positioning System）センサ２１４の少なくとも１つ、姿勢検出モジュールにより実現された構成であってよい。

また、本実施形態に係る情報端末装置１０で実行されるプログラムは、コンピュータにインストール可能な形式または実行可能な形式のファイルで、ＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態に係る情報端末装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の情報端末装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、情報端末装置１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

また、本実施形態に係る情報端末装置１０と同様の構成が、端末装置と、端末装置とネットワークを介して接続可能な情報処理装置とを備えるシステムにより実現されてもよい。この場合、端末装置と情報処理装置とはネットワークを介してデータをやり取りをしながら処理を実行する。そして、端末装置および情報処理装置を備えるシステムは、例えば、端末装置が、撮像部３１、姿勢検出部４１、操作入力部６１および表示部７３として機能する。そして、情報処理装置が、画像格納部３２、画像記録部３３、画像再生部３４、画像選択部３５、姿勢格納部４２、姿勢記録部４３、姿勢読出部４４、姿勢選択部４５、オブジェクト格納部４６、姿勢補正部４７、初期設定部５１、関数格納部５２、操作格納部６２、操作記録部６３、操作読出部６４、操作選択部６５、関数補正部６６、射影部７１および合成部７２として機能する。なお、情報処理装置の一部の機能を端末装置が実行してもよい。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。

１０ 情報端末装置
１１ タッチパネルディスプレイ
１２ カメラ部
２０ 壁
２１ オブジェクト画像
３１ 撮像部
３２ 画像格納部
３３ 画像記録部
３４ 画像再生部
３５ 画像選択部
４１ 姿勢検出部
４２ 姿勢格納部
４３ 姿勢記録部
４４ 姿勢読出部
４５ 姿勢選択部
４６ オブジェクト格納部
４７ 姿勢補正部
５１ 初期設定部
５２ 関数格納部
６１ 操作入力部
６２ 操作格納部
６３ 操作記録部
６４ 操作読出部
６５ 操作選択部
６６ 関数補正部
７１ 射影部
７２ 合成部
７３ 表示部
１０１ 仮想オブジェクト
１０２ 基準オブジェクト画像
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ 記憶装置
２０７ ネットワークＩ／Ｆ部
２１１ 加速度センサ
２１２ ジャイロセンサ
２１３ 磁気センサ
２１４ ＧＰＳセンサ

特開２００５−２６７０３３号公報

Claims (14)

1. 被写体を撮像して撮像画像を生成する撮像部と、
   前記撮像部の初期姿勢を設定する初期設定部と、
   前記撮像部の前記初期姿勢からの姿勢変化を表す姿勢情報を検出する姿勢検出部と、
   前記姿勢情報に応じて、仮想の３次元空間であるオブジェクト座標に配置された予め設定された仮想オブジェクトの姿勢を補正する姿勢補正部と、
   前記仮想オブジェクトを前記撮像画像の表示画面を表す２次元座標であるデバイス座標に射影するための変換関数に基づき、姿勢が補正された前記仮想オブジェクトを前記デバイス座標に射影したオブジェクト画像を生成する射影部と、
   前記撮像画像に前記オブジェクト画像を合成した合成画像を生成する合成部と、
   前記合成画像を表示する表示部と、
   前記撮像画像を記録する画像記録部と、
   前記姿勢情報を前記撮像画像に同期させて記録する姿勢記録部と、
   を備える情報端末装置。
2. 前記変換関数は、基準姿勢の前記仮想オブジェクトから、前記撮像部が前記初期姿勢のときに表示される基準のデバイス画像を生成する関数であり、
   前記姿勢補正部は、前記撮像部の姿勢の変化とは逆に動かすように、前記仮想オブジェクトの姿勢を前記基準姿勢から補正する
   請求項１に記載の情報端末装置。
3. 前記姿勢情報は、ロール角、ピッチ角およびヨー角の前記初期姿勢からの変化量で表され、
   前記姿勢補正部は、前記仮想オブジェクトのロール角、ピッチ角およびヨー角を、前記姿勢情報とは逆符号の回転角分、前記基準姿勢から回転させる
   請求項２に記載の情報端末装置。
4. 記録された前記撮像画像を再生する画像再生部と、
   記録された前記姿勢情報を前記撮像画像に同期させて読み出す姿勢読出部と、
   をさらに備え、
   再生時において、前記姿勢補正部は、前記姿勢読出部によって読み出された前記姿勢情報に応じて前記仮想オブジェクトの姿勢を補正し、
   前記合成部は、再生時において、前記画像再生部により再生された前記撮像画像に、前記オブジェクト画像を合成した前記合成画像を生成する
   請求項１から３の何れか１項に記載の情報端末装置。
5. ユーザによる前記オブジェクト画像に対する前記デバイス座標での操作情報を入力する操作入力部と、
   前記操作情報を前記撮像画像に同期させて記録する操作記録部と、
   前記操作情報に応じた移動量分、前記仮想オブジェクトがオブジェクト座標上で移動するように、前記変換関数を補正する関数補正部と、
   をさらに備え、
   前記射影部は、前記関数補正部により補正された前記変換関数に基づき、前記オブジェクト画像を生成する
   請求項４に記載の情報端末装置。
6. 記録された前記操作情報を前記撮像画像に同期させて読み出す操作読出部をさらに備え、
   前記関数補正部は、再生時において、前記操作読出部によって読み出された前記操作情報に応じて前記変換関数を補正する
   請求項５に記載の情報端末装置。
7. 前記操作入力部は、再生時において、ユーザの操作に基づき、記録時の操作を反映するモードと記録時の操作を反映しないモードとを選択し、
   前記関数補正部は、記録時の操作を反映するモードの場合、前記操作読出部によって読み出された前記操作情報に応じて前記変換関数を補正し、
   前記関数補正部は、記録時の操作を反映しないモードの場合、前記操作入力部によって入力された現在の前記操作情報に応じて前記変換関数を補正する
   請求項６に記載の情報端末装置。
8. 前記操作入力部は、前記オブジェクト画像の前記デバイス座標での平行移動量を前記操作情報として入力し、
   前記関数補正部は、前記デバイス座標での平行移動量を、前記変換関数の逆関数により前記オブジェクト座標での平行移動量に変換し、変換した前記オブジェクト座標での平行移動量分、前記仮想オブジェクトを平行移動させるように前記変換関数を補正する
   請求項５から７の何れか１項に記載の情報端末装置。
9. 前記操作入力部は、前記オブジェクト画像の前記デバイス座標での回転量を前記操作情報として入力し、
   前記関数補正部は、前記デバイス座標での回転量分、前記オブジェクト座標において前記仮想オブジェクトを回転させるように前記変換関数を補正する
   請求項５から８の何れか１項に記載の情報端末装置。
10. 前記操作入力部は、前記オブジェクト画像の前記デバイス座標での拡大縮小率を前記操作情報として入力し、
    前記関数補正部は、前記デバイス座標での拡大縮小率分、前記オブジェクト座標において前記仮想オブジェクトを拡大縮小させるように前記変換関数を補正する
    請求項５から９の何れか１項に記載の情報端末装置。
11. 前記仮想オブジェクトは、長方形の平面状のオブジェクトであり、
    前記オブジェクト画像は、矩形である
    請求項１から１０の何れか１項に記載の情報端末装置。
12. 撮像部により被写体を撮像して撮像画像を生成し、
    前記撮像部の初期姿勢を設定し、
    前記撮像部の前記初期姿勢からの姿勢変化を表す姿勢情報を検出し、
    前記姿勢情報に応じて、仮想の３次元空間であるオブジェクト座標に配置された予め設定された仮想オブジェクトの姿勢を補正し、
    前記仮想オブジェクトを前記撮像画像の表示画面を表す２次元座標であるデバイス座標に射影するための変換関数に基づき、姿勢が補正された前記仮想オブジェクトを前記デバイス座標に射影したオブジェクト画像を生成し、
    前記撮像画像に前記オブジェクト画像を合成した合成画像を生成し、
    前記合成画像を表示し、
    前記撮像画像を記録し、
    前記姿勢情報を前記撮像画像に同期させて記録する
    情報処理方法。
13. 端末装置と、前記端末装置とネットワークを介して接続可能な情報処理装置とを備えるシステムであって、
    被写体を撮像して撮像画像を生成する撮像部と、
    前記撮像部の初期姿勢を設定する初期設定部と、
    前記撮像部の前記初期姿勢からの姿勢変化を表す姿勢情報を検出する姿勢検出部と、
    前記姿勢情報に応じて、仮想の３次元空間であるオブジェクト座標に配置された予め設定された仮想オブジェクトの姿勢を補正する姿勢補正部と、
    前記仮想オブジェクトを前記撮像画像の表示画面を表す２次元座標であるデバイス座標に射影するための変換関数に基づき、姿勢が補正された前記仮想オブジェクトを前記デバイス座標に射影したオブジェクト画像を生成する射影部と、
    前記撮像画像に前記オブジェクト画像を合成した合成画像を生成する合成部と、
    前記合成画像を表示する表示部と、
    前記撮像画像を記録する画像記録部と、
    前記姿勢情報を前記撮像画像に同期させて記録する姿勢記録部と、
    を備えるシステム。
14. コンピュータを情報端末装置として機能させるためのプログラムであって、
    前記情報端末装置を、
    被写体を撮像して撮像画像を生成する撮像部の初期姿勢を設定する初期設定部と、
    前記撮像部の前記初期姿勢からの姿勢変化を表す姿勢情報を検出する姿勢検出部と、
    前記姿勢情報に応じて、仮想の３次元空間であるオブジェクト座標に配置された予め設定された仮想オブジェクトの姿勢を補正する姿勢補正部と、
    前記仮想オブジェクトを前記撮像画像の表示画面を表す２次元座標であるデバイス座標に射影するための変換関数に基づき、姿勢が補正された前記仮想オブジェクトを前記デバイス座標に射影したオブジェクト画像を生成する射影部と、
    前記撮像画像に前記オブジェクト画像を合成した合成画像を生成する合成部と、
    前記撮像画像を記録する画像記録部と、
    前記姿勢情報を前記撮像画像に同期させて記録する姿勢記録部と、
    として機能させるプログラム。

Images