JP2020173861A

JP2020173861A - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP2020173861A
Application number: JP2020123244A
Authority: JP
Inventors: 久義降籏; Hisayoshi Furihata
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-07-17
Filing date: 2020-07-17
Publication date: 2020-10-22
Anticipated expiration: 2036-01-29
Also published as: JP7030906B2

Abstract

【課題】視点を示す情報に基づく画像を出力する場合に、出力される画像の見やすさを向上させる。【解決手段】画像処理装置１００は、仮想的な視点に応じた仮想視点画像であって複数の方向からの撮像により得られる複数の撮像画像に基づく仮想視点画像の生成に係る、仮想的な視点における姿勢を指定するために用いられる機器の姿勢に基づく姿勢情報を取得する。そして画像処理装置１００は、取得された姿勢情報に基づいて、所定の回転方向における機器の姿勢に応じて生じる仮想視点画像の傾きが抑制されるように仮想的な視点における姿勢を決定する。【選択図】図１

Description

本発明は、視点を示す情報に基づいて画像を生成する技術に関する。

従来、視点を示す情報に基づいて画像を生成する技術が知られている。例えば、複数の方向から撮像された複数の撮像画像を合成することで、空間中に仮想的に配置されるカメラ（以下、仮想カメラ）による撮像画像を生成する、自由視点画像の技術がある。ユーザーは仮想カメラの位置及び姿勢を任意に指定可能であり、指定された仮想カメラの位置及び姿勢は自由視点画像における視点を示す情報となる。すなわち、仮想カメラによる撮像画像は任意の視点からの見えを表す画像となる。

視点を示す情報の取得方法として、ユーザーにより物理的に操作される機器の位置及び姿勢を算出する方法がある。算出された機器の位置及び姿勢は、例えば上記の仮想カメラの位置及び姿勢のような、視点を示す情報として用いることができる。特許文献１では、ユーザーにより操作される携帯端末が、２次元マーカーを含む領域を撮像し、マーカーに対する携帯端末の相対位置及び相対姿勢を撮像画像に基づいて算出する技術が開示されている。

特開２０１３−６１８７０号公報

しかしながら、視点を示す情報に基づく画像を出力する場合に、出力される画像の見やすさが低下する場合がある。例えば、特許文献１に記載の技術により算出される携帯端末の位置及び姿勢に基づいて視点を特定し、特定された視点からの見えを表す画像を生成して出力する場合を考える。この場合に、ユーザーが所望の視点を指定するために携帯端末を物理的に操作してその位置と姿勢を制御しようとしても、例えば手ぶれ等が発生することにより、意図どおりに正確に操作することは難しい。そのため、出力される画像に意図しない傾きが生じてしまうことがあると考えられる。

本発明は上記課題に鑑みてなされたものであり、視点を示す情報に基づく画像を出力する場合に、出力される画像の見やすさを向上させるための技術を提供することを目的とする。

上記課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を備える。即ち、仮想的な視点に応じた仮想視点画像であって複数の方向からの撮像により得られる複数の撮像画像に基づく仮想視点画像の生成に係る、前記仮想的な視点における姿勢を指定するために用いられる機器の姿勢に基づく姿勢情報を取得する取得手段と、前記取得手段により取得された姿勢情報に基づいて前記仮想的な視点における姿勢を決定する決定手段であって、所定の回転方向における前記機器の姿勢に応じて生じる前記仮想視点画像の傾きが抑制されるように前記仮想的な視点における姿勢を決定する決定手段と、を有する。

本発明によれば、視点を示す情報に基づく画像を出力する場合に、出力される画像の見やすさを向上させることができる。

実施形態に係る画像処理システムの構成を示すブロック図である。実施形態に係る画像処理装置１００のハードウェア構成を示すブロック図である。画像処理装置１００の動作を説明するためのフローチャートである。視点情報の取得方法を説明するための図である。視点情報の変換方法を説明するための図である。

以下、図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る本発明を限定するものではなく、また、以下の実施形態で説明する特徴の組み合わせの全てが本発明に必須のものとは限らない。

［システム構成］
図１は、本実施形態に係る画像処理システムの構成を示すブロック図である。図１に示すように、画像処理システムは相互に通信可能な画像処理装置１００及び撮像装置２００を備える。なお、本実施形態では画像処理装置１００と撮像装置２００が別々のデバイスとして構成されている場合を中心に説明するが、画像処理装置１００と撮像装置２００が一体となって構成されていてもよい。

撮像装置２００は、撮像画像に基づいて視点情報を取得し、画像処理装置１００に送信する。本実施形態における視点情報は、画像処理装置１００によって生成される画像の視点を示す情報であり、例えば自由視点画像における視点の位置、視線の方向、視線を軸とする回転角などを示す情報である。画像処理装置１００は、撮像装置２００から受信した視点情報に基づく画像を出力する。なお、本実施形態における撮像装置２００は、取得した視点情報を画像処理装置１００に逐次送信する。ただしこれに限らず、撮像装置２００は、一定期間にわたって取得した視点情報を記憶しておき、それらの視点情報をまとめて画像処理装置１００に送信してもよい。画像処理装置１００が出力する画像は動画であってもよいし、静止画であってもよい。また、撮像装置２００から送信される視点情報に視点の位置に関する情報及び視線の方向に関する情報の少なくとも何れかが含まれず、画像処理装置１００が予め設定された値をそれらの情報として代用するモードを有していてもよい。画像処理装置１００の具体例はパーソナルコンピュータやスマートデバイスなどであり、撮像装置２００の具体例はスマートデバイスやデジタルカメラなどである。

画像処理装置１００は、送受信部１０１、方向特定部１０２、視点変換部１０３及び画像出力部１０４を備える。送受信部１０１は、撮像装置２００から送信された視点情報を受信する。方向特定部１０２は、視点情報の基準となる座標系における基準方向を特定する。視点変換部１０３は、送受信部１０１が受信した視点情報を、方向特定部１０２が特定した基準方向に基づいて変換する。そして画像出力部１０４は、視点変換部１０３が変換した視点情報に基づく画像を生成して出力する。画像の出力先については限定しないが、画像出力部１０４は例えば液晶ディスプレイやプロジェクタ等の表示装置に画像を出力する。

方向特定部１０２が特定する基準方向は、画像出力部１０４が画像を生成する際に基準とする方向である。例えば、画像出力部１０４は自由視点画像の技術を用いて、視点情報の基準となる座標系に基づく仮想空間に、基準方向とオブジェクトに定められた鉛直下方向（重力方向）とが一致するようにオブジェクトを配置する。そして画像出力部１０４は、視点情報により特定される視点からそのオブジェクトを見た見えを表す画像を生成する。視点変換部１０３が視点情報を変換することにより、画像出力部１０４により生成される画像は、傾きが補正された画像、例えば画像の下方向（図５の例では画像４１０のｙ方向）と画像内における重力方向とが一致した画像となる。

なお本実施形態では、画像出力部１０４が、複数の方向から撮像された複数の撮像画像に基づく３Ｄモデルを上記のオブジェクトとして、画像を生成する場合を中心に説明する。ただしこれに限らず、上記のオブジェクトは、例えば撮像画像を用いずにＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）によって生成されたモデルであってもよい。

撮像装置２００は、撮像部２０１、視点取得部２０２及び送受信部２０３を備える。撮像部２０１は画像を撮像し、視点取得部２０２は、撮像部２０１が撮像した画像に基づいて視点情報を取得する。送受信部２０３は、視点取得部２０２が取得した視点情報を画像処理装置１００に送信する。

次に、図２を用いて画像処理装置１００のハードウェア構成について説明する。画像処理装置１００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、補助記憶装置３０４、操作部３０５、Ｉ／Ｆ（インターフェース）３０６及びバス３０７を備える。

ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３に格納されているコンピュータプログラムやデータを用いて画像処理装置１００全体の制御を行う。即ち、ＣＰＵ３０１は、図１に示した画像処理装置１００の各構成要素として機能する。ＲＯＭ３０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ３０３は、補助記憶装置３０４から供給されるプログラムやデータ、及びＩ／Ｆ３０６を介して外部から取得されたデータなどを一時的に記憶する。補助記憶装置３０４は、例えばハードディスクドライブ装置等で構成され、静止画や動画などのコンテンツデータを記憶する。

操作部３０５は、例えばキーボードやマウス等で構成され、ユーザーによる操作を受けて各種の指示をＣＰＵ３０１に入力する。Ｉ／Ｆ３０６には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置等の他の機器を接続することができ、画像処理装置１００はＩ／Ｆ３０６を介して様々な情報を取得したり送出したりすることができる。バス３０７は、上述の各部を繋いで情報を伝達する。

なお、本実施形態では操作部３０５が画像処理装置１００の内部に存在するが、操作部３０５が画像処理装置１００の外部に別の装置として存在していてもよい。この場合、ＣＰＵ３０１が、操作部３０５を制御する操作制御部として動作する。なお、画像処理装置１００はＣＰＵ３０１を用いたソフトウェア処理の代替としてハードウェアによる処理を行ってもよく、この場合には画像処理装置１００は図１の各構成要素に対応する演算部や回路を備える。

［画像処理装置１００の処理フロー］
次に、画像処理装置１００の処理フローについて説明する。図３は、画像処理装置１００の動作を説明するためのフローチャートである。図３の処理は、画像処理装置１００と撮像装置２００との間で通信を行うための接続が確立されたタイミングで開始される。ただし、図３の処理の開始タイミングは上記タイミングに限定されない。図３の処理は、ＣＰＵ３０１がＲＯＭ３０２に格納されたプログラムをＲＡＭ３０３に展開して実行することで実現される。

Ｓ４０１では、画像処理装置１００の送受信部１０１が、撮像装置２００から送信された視点情報を受信して取得する。ここで、撮像装置２００が画像処理装置１００に送信するための視点情報を取得する方法の一例を、図４を用いて説明する。撮像装置２００は視点を指定するためにユーザーにより操作され、撮像部２０１は設置された２次元マーカー２２０を撮像する。視点取得部２０２は、その撮像画像に基づいて、２次元マーカー２２０を基準とした座標系２３０における撮像装置２００の位置及び姿勢を算出する。そして送受信部２０３は、視点取得部２０２による算出結果に基づく撮像装置２００の位置情報及び姿勢情報を視点情報として画像処理装置１００に送信する。画像処理装置１００の送受信部１０１は、撮像装置２００の送受信部２０３が送信した位置情報及び姿勢情報を取得する。撮像装置２００の位置情報は視点の位置を示す情報であり、撮像装置２００の姿勢情報は視線の方向、及び視線を軸とする回転角を示す情報である。視線を軸とする回転角は、視界がどの程度回転しているか（傾いているか）を表すものである。２次元マーカー２２０を利用した撮像装置２００の位置及び姿勢の算出には、公知の技術を用いることができる。

Ｓ４０２では、方向特定部１０２が、視点情報の基準となる座標系における基準方向を特定する。図４の例では、座標系２３０が視点情報の基準となる座標系である。この場合に方向特定部１０２は、例えば座標系２３０のＺ軸方向、すなわち２次元マーカー２２０に垂直な方向を基準方向として特定する。本実施形態では、方向特定部１０２により特定される基準方向が２次元マーカー２２０の面に対してどの方向であるかが、画像処理装置１００に予め設定されているものとする。なお、方向特定部１０２は例えば、撮像装置２００から画像処理装置１００に送信された情報などに基づいて基準方向を特定してもよい。

なお、本実施形態では撮像装置２００が画像処理装置１００に視点情報を送信する場合を中心に説明するが、これに限らない。例えば、撮像装置２００の送受信部２０３は、撮像部２０１がマーカーを撮像した撮像画像を画像処理装置１００に送信してもよい。この場合、方向特定部１０２が、送受信部１０１が受信した撮像画像に基づいて視点情報を算出し、さらに基準方向を特定する。

Ｓ４０３では、視点変換部１０３が、方向特定部１０２が特定した基準方向に基づいて、送受信部１０１が取得した視点情報を変換する。視点情報の変換方法については後述する。

Ｓ４０４では、画像出力部１０４が、視点変換部１０３により変換された視点情報に基づく画像を生成し出力する。ここで、画像処理装置１００が自由視点画像の技術を用いて、仮想空間中に配置される仮想カメラによる撮像画像を出力する場合について、具体的に説明する。仮想カメラの位置及び姿勢は視点情報に基づいて定まり、被写体となるオブジェクトの仮想空間内における向きは基準方向に基づいて定まる。すなわち、仮想カメラによる撮像画像は、仮想空間内に基準方向に基づいて配置されるオブジェクトを視点情報により特定される視点から見た見えを表す特定視点画像となる。まず画像出力部１０４は、複数の方向から撮像された複数の撮像画像を、撮像装置２００とは異なる外部の装置から取得する。そして画像出力部１０４は、外部の装置から取得した撮像画像と、送受信部１０１が取得して視点変換部１０３が変換した視点情報とに基づいて、特定視点画像を生成する。視点変換部１０３による変換処理は、送受信部１０１が取得した視点情報に含まれる特定視点画像の傾きに関する情報を補正するための処理である。視点変換部１０３が変換処理を行うことによって、画像出力部１０４は視点情報に基づく傾きが補正された特定視点画像を生成することができる。最後に画像出力部１０４は、生成した特定視点画像を出力する。

なお、画像出力部１０４は、複数の方向から撮像された複数の撮像画像を取得する代わりに、複数の撮像画像から生成された３Ｄモデルのデータを取得し、そのモデルと視点情報と基づいて特定視点画像を生成してもよい。また、画像出力部１０４は、撮像画像を用いずにＣＧによって生成されたモデルと視点情報とに基づいて特定視点画像を生成してもよい。

以上で画像処理装置１００の処理フローについての説明を終わる。次に、視点変換部１０３による視点情報の変換について、図５を用いて説明する。画像４１０は、画像処理装置に１００により生成される、仮想カメラによる撮像画像（特定視点画像）の例である。

視点変換部１０３は、方向特定部１０２が特定した基準方向４２０が画像４１０において目標方向４３０に近づくように、送受信部１０１が取得した視点情報を変換する。目標方向４３０は特定視点画像の所定方向であり、図５の例では下方向（ｙ方向）である。本実施形態において目標方向４３０は画像処理装置１００に予め設定されているものとするが、これに限らず、例えばユーザーが指定する方向であってもよい。変換後の視点情報に基づく特定視点画像は、画像出力部１０４により出力される画像となる。なお、本実施形態において基準方向４２０と目標方向４３０とが近づくとは、基準方向４２０に対応するベクトルと目標方向４３０に対応するベクトルとが成す角の大きさが小さくなることである。これは、基準方向４２０と目標方向４３０とが一致することも含む。

本実施形態を適用する状況の具体例として、撮像装置２００により２次元マーカー２２０が撮像された撮像画像から座標系２３０を基準とする視点情報が取得され、基準方向４２０が座標系２３０におけるＺ軸方向である場合を考える。画像処理装置１００は自由視点画像の技術を用いて、基準方向４２０が特定視点画像の画像内における重力方向となるように、複数の方向から撮像された複数の撮像画像を合成して画像４１０を生成する。

ここで、水平に設置された表示装置に出力された画像４１０をユーザーが見ることを考えると、ユーザーにとっての見やすさの観点から、表示装置の下方向と画像４１０内における重力方向とが一致していることが望ましい。そこで本実施形態では、目標方向４３０を特定視点画像の下方向とする。そして視点変換部１０３は、視点情報に基づく傾きを補正するための処理として、特定視点画像の画像内における重力方向に対応する基準方向４２０と目標方向４３０とが近づくように視点情報を変換する。視点情報に基づく傾きは、基準方向４２０と目標方向４３０とのずれによる特定視点画像の傾きであり、例えば撮像装置２００による撮像画像内における２次元マーカー２２０の傾きに基づいて定まる。

次に、画像４１０内における基準方向４２０を目標方向４３０に一致させる場合の、視点変換部１０３による視点情報の変換方法の例を具体的に説明する。Ｓ４０１において送受信部１０１が取得した視点情報は、行列Ｐを用いて表現される。行列Ｐは３行４列の行列であり、３行３列の回転行列Ｒと３行１列の並進ベクトルＴで構成される。Ｓ４０２において方向特定部１０２が特定した基準方向４２０は、３次元の単位ベクトルＡを用いて表現される。

まず、変換前の視点情報に基づく特定視点画像である画像４１０内における基準方向４２０に対応する角度αを計算する。画像４１０内における方向は、画像４１０の右方向を０（ゼロ）［ｒａｄ］として時計回りを正とする−π〜π［ｒａｄ］の範囲の角度で表される。角度αに対応する２次元ベクトルの画像４１０における左右方向の成分をＡｘ、上下方向の成分をＡｙとすると、角度αは式（１）及び式（２）によって計算される。

式（１）では、視点情報の基準となる座標系における基準方向４２０を表す単位ベクトルＡが、回転行列Ｒを掛けることで、視点情報から特定される視点（仮想カメラ）を基準とする座標系におけるベクトルに変換される。視点情報の基準となる座標系は、例えば２次元マーカー２２０を基準とする座標系２３０である。式（１）において、ｓはスケールファクタである。式（２）では、式（１）によって求まるＡｘとＡｙから、角度αが計算される。

次に、基準方向４２０と目標方向４３０との間のずれをなくすための視点情報の変換に係る変換行列を計算する。画像４１０内における目標方向４３０に対応する角度を角度βとする。また、目標方向４３０に対応する角度βと基準方向４２０に対応する角度αとの差を角度γ＝（β−α）で表わす。角度γの差を補正するための視点情報の変換は、視点情報から特定される視線の方向（特定される視点を基準とする座標系におけるｚ軸方向）を軸とした回転を表す３行３列の回転行列Ｒ’によって、式（３）のように表わされる。

最後に、送受信部１０１が取得した視点情報を表す行列Ｐを式（４）のように回転行列Ｒ’によって変換し、変換後の視点情報を表す行列Ｐ’を計算する。

以上のように、視点変換部１０３は、送受信部１０１が取得した視点情報に対して、回転行列Ｒ’によって表される、視線を軸とする回転角に関する変換を行う。この変換により、視点情報に基づく画像４１０の傾きが補正される。その結果、行列Ｐ’によって表される変換後の視点情報に基づく特定視点画像において、基準方向４２０と目標方向４３０とが一致する。

以上説明したように、本実施形態における画像処理装置１００は、視点を示す視点情報を取得し、取得した視点情報に基づいて特定視点画像を生成し出力する。この特定視点画像の生成にあたって画像処理装置１００は、視点情報に基づく傾きを補正するための処理を行う。これにより画像処理装置１００は、視点を示す情報に基づく画像を出力する場合に、出力される画像の見やすさを向上させることができる。

［傾き補正の程度の調整］
上記において、画像処理装置１００が出力画像内における基準方向を目標方向に一致させる場合の例を説明したが、画像処理装置１００は出力画像において基準方向と目標方向とが近づくような制御を行えばよい。例えば、視点変換部１０３は送受信部１０１が取得した視点情報から視線の方向を特定する。そして視点変換部１０３は、視線の方向と方向特定部１０２が特定した基準方向との関係に応じた程度で傾きを補正するための処理を行って特定視点画像を生成してもよい。このような制御により、出力画像内における基準方向と目標方向とを常に一致させる場合よりも、出力画像がユーザーにとってより見やすい画像となる場合がある。

ここで、画像処理装置１００が自由視点画像の技術を用いて、方向特定部１０２が特定した基準方向が特定視点画像の画像内における重力方向となるように、特定視点画像を生成する場合を考える。また、目標方向は特定視点画像の下方向とする。

基準方向と視線の方向との関係が垂直に近い場合、出力される特定視点画像の傾きが変化すると、ユーザーにとっては画像内の重力が働く向きが変化したように見えてしまい、ユーザーが感じる違和感が大きい。そのため画像処理装置１００は、特定視点画像において基準方向と目標方向とができるだけ近づくように制御を行うことで、出力画像をユーザーにとって見やすい画像とすることができる。

一方、基準方向と視線の方向との関係が平行に近い場合、特定視点画像は仮想カメラがオブジェクトを真上又は真下に近い角度から撮像した画像となるため、出力される特定視点画像の傾きが変化してもユーザーが感じる違和感は少ない。また、この場合に基準方向と目標方向とを常に一致させるような制御が行われると、仮想カメラの位置や姿勢が少し変化しただけで画像が大きく変化することがあり、結果としてユーザーにとって出力画像が見づらくなる。

以上のことを考慮して、画像処理装置１００は、基準方向と視線の方向とが平行に近い場合には、視点情報に基づく傾きを補正する程度を小さくしてもよい。以下、この場合の視点情報の変換方法の例を具体的に説明する。

視点変換部１０３は、送受信部１０１が取得した視点情報から、視線の方向、及び視線を軸とする回転角を特定する。基準方向に対応する３次元の単位ベクトルと視線の方向に対応する３次元の単位ベクトルとが成す角の大きさをθとする。視点変換部１０３により特定される回転角は視界の傾きを表すものであり、基準方向と目標方向とのずれを表す上述の角度γは、視点変換部１０３が特定した回転角に基づいて定まる。

まず、基準方向と視線の方向との関係における垂直度合いを表す係数ｋが式（５）のように計算される。係数ｋは、基準方向と視線の方向とが平行の場合に０、垂直の場合に１となる係数となる。そして、視点変換部１０３による視点情報の変換を表す回転行列Ｒ’が式（６）に基づいて計算される。

変換後の視点情報を表す行列Ｐ’は、式（６）で計算された回転行列Ｒ’を式（４）に適用することによって計算される。なお、視点情報の変換の程度を調整するための係数ｋは式（５）で定められるものに限らない。例えば式（７）に示すように、基準方向と視線の方向とがなす角の大きさに比例するように係数ｋが定められても良い。

式（７）において、係数ａは例えば、基準方向と視線の方向とが垂直の場合にｋ＝１、平行の場合にｋ＝０となるような係数ａ＝２／πである。

また係数ｋは、式（５）や式（７）で定まるものの他にも例えば、θの値が所定の範囲内である場合はｋ＝１となり、θの値が所定の範囲外である場合には０≦ｋ＜１となるような係数であってもよい。即ち、視点変換部１０３は、θが所定の範囲内である場合に、θが所定の範囲外である場合よりも、視線を軸とする回転角に基づく特定視点画像の傾きをより大きく補正してもよい。

以上のように、視点変換部１０３は、基準方向と視線の方向との関係に応じて、特定視点画像の傾き補正の程度を調整する。これにより画像処理装置１００は、基準方向に対する視線の方向が変化しても、ユーザーにとって違和感の少ない画像を出力することができる。以上で、傾き補正の程度の調整に関する説明を終わる。

なお、本実施形態では、視点変換部１０３が送受信部１０１により取得された視点情報に対して視線を軸とする回転角に関する変換を行い、画像出力部１０４が変換後の視点情報に基づく画像を生成して出力する場合を中心に説明した。しかしこれに限らず、視点変換部１０３は視点情報を変換する処理を行わず、代わりに画像出力部１０４が画像を回転する処理を行ってもよい。具体的には、画像出力部１０４は、送受信部１０１が取得した視点情報を用いて、複数の方向から撮像された複数の撮像画像を合成し、傾きが補正されていない第１の特定視点画像を生成する。そして画像出力部１０４は、第１の特定視点画像を回転させる処理を行って、傾きが第１の特定視点画像よりも補正された第２の特定視点画像を生成し出力する。第１の特定視点画像をどの程度回転させるかは視点情報及び基準方向に基づいて決定される。例えば画像出力部１０４は、目標方向と基準方向とのずれを表す上述の角度γだけ画像を回転させてもよい。なお画像出力部１０４は、第１の特定視点画像を回転させる処理を行って第２の特定視点画像を生成するにあたって、画像の形状が適切になるように、回転に加え画像を変形させる処理を行ってもよい。

また、方向特定部１０２が特定する基準方向は上記で説明したものに限定されない。例えば、撮像装置２００が重力センサを備えており、重力センサの計測結果を視点情報と共に画像処理装置１００に送信する。そして方向特定部１０２は、撮像装置２００から受信した重力センサの計測結果と視点情報とに基づいて、視点情報の基準となる座標系における、計測結果が示す重力の方向を、基準方向として特定してもよい。この場合、撮像装置２００の水平からの傾きに基づいて、特定視点画像の傾きが定まる。また、基準方向はユーザーにより指定される任意の方向でもよい。さらに、視点情報に基づく傾きを補正するための処理は、特定視点画像の下方向（ｙ方向）と特定視点画像の画像内における重力方向とを近づける処理には限定されない。例えば、出力画像内のオブジェクトに固有の方向を、出力画像の所定の方向に近づける処理であってもよい。オブジェクトに固有の方向とは、人型のオブジェクトが立つ面に対する垂直方向など、オブジェクトの向きや形状に基づいて定まる方向である。

また本実施形態では、画像処理装置１００が、ユーザーにより操作される機器の位置情報及び姿勢情報を、視点の位置、視線の方向、及び視線を軸とする回転角を示す視点情報として取得する場合を中心に説明した。具体的には、ユーザーにより操作される撮像装置２００が、撮像画像から算出した撮像装置２００の位置及び姿勢を画像処理装置１００に視点情報として送信し、画像処理装置１００がその視点情報を受信して取得する。この方法によれば、ユーザーは機器を物理的に操作することで、直観的に視点を指定することができる。

なお、ユーザーにより操作される機器は撮像装置２００に限らず、ユーザーは６自由度のセンサ（例えばＧＰＳセンサと角度センサ）を備えた装置を操作し、画像処理装置１００はセンサの計測結果を視点情報として取得しても良い。また、ユーザーは固定されたカメラの撮像範囲内においてマーカーを有する物体を操作し、画像処理装置１００は固定カメラによる撮像画像に基づいて算出されたマーカーの位置と姿勢を視点情報として取得しても良い。また、ユーザーはロボットを操作し、画像処理装置１００はそのロボットの各関節の角度を視点情報として取得してもよい。さらに、画像処理装置１００は、ユーザーによる機器の操作に基づく視点情報に限らず、ユーザーによる数値の指定やその他の方法によって生成された視点情報を取得してもよい。

視点情報がいずれの方法で取得された場合であっても、画像処理装置１００は、その視点情報に基づく傾きを補正するための処理を行って特定視点画像を生成する。これにより、出力される特定視点画像の傾きが小さくなり、出力画像のユーザーにとっての見やすさが向上する。特に、ユーザーが機器を物理的に操作してその位置及び姿勢に基づいて視点を指定する場合、機器を意図通りに正確に操作するのは困難であると考えられる。そのような場合でも、本実施形態の技術を用いれば、出力画像の傾きを適切に制御することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１００画像処理装置
１０１送受信部
１０２方向特定部
１０３視点変換部
１０４画像出力部

Claims

仮想的な視点に応じた仮想視点画像であって複数の方向からの撮像により得られる複数の撮像画像に基づく仮想視点画像の生成に係る、前記仮想的な視点における姿勢を指定するために用いられる機器の姿勢に基づく姿勢情報を取得する取得手段と、
前記取得手段により取得された姿勢情報に基づいて前記仮想的な視点における姿勢を決定する決定手段であって、所定の回転方向における前記機器の姿勢に応じて生じる前記仮想視点画像の傾きが抑制されるように前記仮想的な視点における姿勢を決定する決定手段と、を有することを特徴とする情報処理装置。
前記所定の回転方向における前記機器の姿勢に応じて生じる前記仮想視点画像の傾きは、前記仮想視点画像における、前記複数の撮像装置により撮像される空間の基準方向の傾きであることを特徴とする請求項１に記載の情報処理装置。
前記所定の回転方向における前記機器の姿勢に応じて生じる前記仮想視点画像の傾きは、前記仮想視点画像の下方向と前記仮想視点画像における前記空間の基準方向としての重力方向とのずれに応じた傾きであることを特徴とする請求項２に記載の情報処理装置。
前記決定手段は、前記所定の回転方向における前記機器の姿勢に応じて生じる前記仮想視点画像の傾きの抑制の程度を、前記空間の基準方向と前記取得手段により取得された姿勢情報に基づいて決定される前記仮想的な視点における視線方向との関係に基づいて決めることを特徴とする請求項２又は３に記載の情報処理装置。
前記決定手段は、前記空間の基準方向と前記取得手段により取得された姿勢情報に基づいて決定される前記仮想的な視点における視線方向とが成す角の大きさが所定の範囲内である場合に、前記成す角の大きさが前記所定の範囲外である場合よりも、前記視線方向を軸とする回転に応じた前記仮想視点画像の傾きがより強く抑制されるように、前記仮想視点な視点における姿勢を決定することを特徴とする請求項２乃至４の何れか１項に記載の情報処理装置。
前記所定の回転方向における前記機器の姿勢に応じて生じる前記仮想視点画像の傾きは、前記取得手段により取得された姿勢情報に基づいて決定される前記仮想的な視点における視線方向を軸とする回転に応じた前記仮想視点画像の傾きであることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
前記決定手段により決定された前記仮想的な視点における姿勢に応じた前記仮想視点画像を生成する生成手段を有することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
前記決定手段は、前記取得手段により取得された姿勢情報に含まれる前記所定の回転方向に関する情報を変更する変換処理を行い、当該変換処理が行われた姿勢情報に基づいて前記仮想的な視点における姿勢を決定することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
前記生成手段は、前記取得手段により取得された姿勢情報が示す姿勢を前記仮想的な視点における姿勢として用いることで生成された仮想視点画像を回転させる処理を行うことで、前記決定手段により決定された前記仮想的な視点における姿勢に応じた前記仮想視点画像を生成することを特徴とする請求項７に記載の情報処理装置。
前記決定手段は、前記取得手段により取得された姿勢情報に基づいて、前記仮想的な視点における姿勢として、前記仮想的な視点における視線方向と前記視線方向を軸とする回転角とを決定することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
前記取得手段は、前記機器の姿勢に基づく姿勢情報として、前記機器が有する角度センサにより得られる情報を取得することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
前記取得手段は、前記機器の姿勢に基づく姿勢情報として、前記機器によりマーカーを撮像することで特定された前記マーカーに対する前記機器の姿勢を示す情報を取得することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
前記取得手段は、前記機器により前記マーカーを撮像することで特定された前記マーカーに対する前記機器の位置を示す位置情報を取得し、
前記決定手段は、前記取得手段により取得された位置情報に基づいて前記仮想的な視点の位置を決定することを特徴とする請求項１２に記載の情報処理装置。
仮想的な視点に応じた仮想視点画像であって複数の方向からの撮像により得られる複数の撮像画像に基づく仮想視点画像の生成に係る、前記仮想的な視点における姿勢を指定するために用いられる機器の姿勢に基づく姿勢情報を取得する取得工程と、
前記取得工程において取得された姿勢情報に基づいて前記仮想的な視点における姿勢を決定する決定工程であって、所定の回転方向における前記機器の姿勢に応じて生じる前記仮想視点画像の傾きが抑制されるように前記仮想的な視点における姿勢を決定する決定工程と、を有することを特徴とする情報処理方法。
前記所定の回転方向における前記機器の姿勢に応じて生じる前記仮想視点画像の傾きは、前記仮想視点画像の下方向と前記仮想視点画像における前記複数の撮像装置により撮像される空間の重力方向とのずれに応じた傾きであることを特徴とする請求項１４に記載の情報処理方法。
前記所定の回転方向における前記機器の姿勢に応じて生じる前記仮想視点画像の傾きは、前記取得工程において取得された姿勢情報に基づいて決定される前記仮想的な視点における視線方向を軸とする回転に応じた前記仮想視点画像の傾きであることを特徴とする請求項１４又は１５に記載の情報処理方法。
コンピュータを、請求項１乃至１３の何れか１項に記載の情報処理装置の各手段として動作させるためのプログラム。