JP2010283529A - 表示制御装置、表示装置の制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】表示されている撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解しやすく表示できる技術を実現する。
【解決手段】表示制御装置は、撮影された画像を表示する表示手段と、前記画像が撮影された方向を示す撮影方向情報を取得する取得手段と、前記撮影方向情報に応じて前記表示手段で画像を表示するための座標系を変形する変形手段と、前記変形された座標系に応じて画像の形状を変更する変更手段と、前記形状が変更された画像を前記表示手段の前記変形された座標系に表示するように制御する制御手段と、を有する。
【選択図】図３

Description

本発明は、撮影された画像を表示する表示制御技術に関するものである。

撮影画像は、表示装置の画面等のように固定された枠内に表示されることが一般的である。例えば、ビデオカメラで撮影された動画像をテレビジョン装置の画面に表示する場合には、表示画面の枠全体に表示することが一般的である。また、例えば、パーソナルコンピュータ（ＰＣ）のモニタに動画像を表示する場合には、画面の枠全体に表示する他、ウィンドウと呼ばれる固定表示枠を設け、この枠内に表示している。

上記表示制御技術に関連して、特許文献１には、撮影画像の画像信号と撮影方向への動きに応じた動き情報とを生成し、撮影画像よりも広画角の表示領域内で、動き情報に応じて画像が移動するように表示することで、臨場感を高める技術が記載されている。また、特許文献２には、撮影時に被写体に対するカメラの傾きや調整されたズーム値等の情報を取得し、カメラの傾きに応じて画像を回転させたり、ズーム値に基づき画像を拡大又は縮小して表示する技術が記載されている。

特開２００３−３２３１７０号公報 特開２０００−１５６８１４号公報

上記従来の技術では、表示された撮影画像を見ているユーザは、画像撮影時に当該画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを、表示された撮影画像の被写体から推測する以外なく、ユーザが直感的に理解することは難しかった。また、上記特許文献１では、撮影方向への動きに応じて画面内で撮影画像が移動するように表示されるが、表示される画像は撮影時と同じ形の枠内に表示される。このため、ユーザが当該枠内の画像を見続ける限りは、依然として撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解することは難しく、表示された撮影画像の被写体から推測せざるを得ない。

本発明は、上記課題に鑑みてなされ、表示されている撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解しやすく表示できる技術を実現する。

上記課題を解決するために、本発明の表示制御装置は、撮影された画像を表示する表示手段と、前記画像が撮影された方向を示す撮影方向情報を取得する取得手段と、前記撮影方向情報に応じて前記表示手段で画像を表示するための座標系を変形する変形手段と、前記変形された座標系に応じて画像の形状を変更する変更手段と、前記形状が変更された画像を前記表示手段の前記変形された座標系に表示するように制御する制御手段と、を有する。

本発明によれば、表示されている撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解しやすく表示できる。

本発明に係る実施形態の表示制御装置の構成を示すブロック図である。 実施形態１による表示座標系の変形方法を説明する図である。 変形された表示座標系に表示された画像を例示する図である。 本実施形態による画像表示処理を示すフローチャートである。 実施形態２により決定された表示位置に表示された画像を例示する図である。 実施形態２による表示位置の決定処理を示すフローチャートである。 実施形態２による表示位置の決定処理を説明する図である。 実施形態２による表示位置の決定処理を説明する図である。 実施形態４による音声出力処理を説明する図である。 本実施形態の表示制御方法を適用して、放送局のスタジオのコントロールルームのモニタに画像を表示している様子を示す図である。

以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［装置構成］先ず、図１を参照して、本発明の表示制御装置をパーソナルコンピュータ（ＰＣ）により実現した実施形態について説明する。図１に示すように、ＰＣ１００は内部バス１１１で接続されたＣＰＵ１０１、ハードディスクドライブ（ＨＤＤ）１０２、メモリ１０３、ディスプレイ１０４、入力部１０５、記録媒体ドライブ１０６、ネットワークインターフェイス（Ｉ／Ｆ）１０７を備える。ＣＰＵ１０１は、ＰＣ１００全体の動作を制御する演算処理装置であり、入力部１０５等を介してユーザからの指示を受け付け、後述する各種プログラムを実行し、ディスプレイ１０４の表示制御を行う。ＨＤＤ１０２は、画像データや、ＣＰＵ１０１の動作処理手順（例えば、ＰＣの起動処理や基本入出力処理、後述する各種プログラム）を記憶している。メモリ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ディスプレイ１０４は、本実施形態によるＧＵＩ（グラフィックユーザインターフェース）を表示するための表示部であり、この画面に後述する画像や表示アイテムが表示される。入力部１０５は、ユーザからの指示を受け付けるためのキーボードやポインティングデバイスとしてのマウス等である。

ユーザは、入力部１０５を操作することで表示制御プログラムの実行が可能である。記録媒体ドライブ１０６は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フラッシュメモリ等からなる外部記録媒体１０８に格納されているデータの読み出しや、外部記録媒体１０８へデータの書き込みを行う。Ｉ／Ｆ１０７は通信回線１０９を介してネットワーク１１０と接続される。ＣＰＵ１０１がＩ／Ｆ１０７を介してネットワーク１１０上に存在するプログラムを実行することも可能であり、ネットワーク１１０上に存在するプログラムによって本発明を実現することも可能である。

また、ＰＣ１００の内部バス１１１には撮像装置としてのデジタルビデオカメラ等のカメラ部１１２が接続されており、撮像部１１３と方位角センサ１１４が内蔵されている。ＰＣ１００は、ＣＰＵ１０１がソフトウェアによる演算処理によって実現する方向取得手段によって、方位角センサ１１４が検知・生成したカメラ部１１２の撮影方向情報を取得する。同様にＣＰＵ１０１がソフトウェアによる演算処理によって実現する表示座標系変形手段が、上記取得した撮影方向情報に基づき表示座標系を変形する。更に、ＣＰＵ１０１がソフトウェアによる演算処理によって実現する表示制御手段は、撮像部１１３で撮影された画像を、上記変形された表示座標系に表示するように制御する。ディスプレイ１０４は、上記表示制御手段によって画像を表示する。

なお、方位角センサ１１４とは、例えば、加速度計測、地磁気計測、ジャイロ計測等により、基準となる方向に対する向き（方向）を検知するものであるが、一般的には重力方向を基準としたときの向き（方向）を出力する。また、向き（方向）は、Ｒｏｌｌ（ロール）、Ｐｉｔｃｈ（ピッチ）、Ｙａｗ（ヨー）と呼ばれる３種類の値で示される。ここで、ピッチは重力ベクトル回りの回転角であり、ロールは水平面上の基線ベクトル（例えば、真北を向くベクトル）回りの回転角、ヨーは水平面上で前記基線ベクトルと直行するベクトル（例えば真東を向くベクトル）回りの回転角である。

［実施形態１］次に、図２乃至図４を参照して、カメラ部１１２で撮影した画像を、方位角センサ１１４により検知した撮影方向に応じて表示座標系を変形し、ディスプレイ１０４に表示する場合について説明する。本実施形態では、表示座標系において対向する辺の長さの割合を変更している。

図２では、重力方向に対して９０°をなす方向（水平方向）を基準となる方向（矢印２００）とし、これに対して撮影方向が上方（矢印２１０）、下方（矢印２２０）、右方（矢印２３０）、左方（矢印２４０）の場合の変形された表示座標系を例示している。２０１は撮影方向が基準の方向（矢印２００）と一致するときの表示座標系を例示している。この表示座標系２００から、例えば、撮影方向が基準の方向２００に対して上方を向いた場合、表示座標系を２１１のように変形する。この場合、辺２０２と辺２０３が対向する辺となり、表示座標系２０１から表示座標系２１１への変形は、辺２０２と辺２０３の長さの割合を、辺２１２と辺２１３の長さの割合へ変更することにより行う。このように、辺２１２よりも辺２１３が長くなるように表示座標系を変形することにより、基準の方向２００に対して上方を向いた状態で撮影された画像であることを直感的に理解することができる。

また、撮影方向が基準の方向２００に対して下方を向いた場合、表示座標系を２２１のように変形する。表示座標系２０１から表示座標系２２１への変形は、辺２０２と辺２０３の長さの割合を、辺２２２と辺２２３の長さの割合へ変更することにより行う。このように、辺２２３よりも辺２２２が長くなるように表示座標系を変形することにより、基準の方向に対して下方を向いた状態で撮影された画像であることを直感的に理解することができる。

更に、撮影方向が基準の方向に対して右方を向いた場合、表示座標系を２３１のように変形する。この場合、辺２０４と辺２０５が対向する辺となり、表示座標系２０１から表示座標系２３１への変形は、辺２０４と辺２０５の長さの割合を、辺２３２と辺２３３の長さの割合へ変更することにより行う。このように、辺２３２よりも辺２３３が長くなるように表示座標系を変形することにより、基準の方向に対して右方を向いた状態で撮影された画像であることを直感的に理解することができる。

また、撮影方向が基準の方向に対して左方を向いた場合、表示座標系を２４１のように変形する。表示座標系２０１から表示座標系２４１への変形は、辺２０４と辺２０５の長さの割合を、辺２４２と辺２４３の長さの割合へ変更することにより行う。このように、辺２４３よりも辺２４２が長くなるように表示座標系を変形することにより、基準の方向に対して左方を向いた状態で撮影された画像であることを直感的に理解することができる。

なお、対向する辺の長さの割合を、基準の方向と撮影方向とのなす角の大きさに応じて連続的に変化させることで、撮影方向をより詳細に表現することができる。例えば、基準の方向２００に対して、撮影方向が上方又は下方を向いた場合、図２に示すように重力方向に対して撮影方向をθとすると、例えば、辺２０２に対する辺２０３の長さの割合をｋ・ｔａｎ（θ／２）とする。ここでｋは定数である。また、θはいわゆる仰角、すなわち、重力ベクトルに対するロール又はヨー成分であり、重力方向を向いたときθ＝０°、水平方向を向いたときθ＝９０°となる。本実施形態において、θ＝０°（重力方向を向いた状態）〜θ＝１８０°（真上を向いた状態）における、定数ｋを１としたときの辺２０２に対する辺２０３の長さの割合（辺の比／ｋ）は次表のようになる。

上記表によれば、基準の方向（ここでは、θ＝９０°）から１３５°，１８０°と、基準の方向と撮影方向のなす角が大きくなるに従い、辺の比も大きくなっている。辺２０２に対して辺２０３が相対的に長くなるので、基準の方向から上方を向いた状態で撮影されたと理解でき、辺２０３の長さからどれだけ上方を向いていたかを察することができる。一方、基準の方向から４５°、０°と、基準の方向と撮影方向のなす角が小さくなるに従い、辺の比は小さくなっている。辺２０３に対して辺２０２が相対的に長くなるので、基準の方向から下方を向いた状態で撮影されたと理解でき、辺２０２と辺２０３の長さの割合からどれだけ下方を向いていたかを察することができる。

なお、上記式及び表は、本発明の一態様を説明しているのに過ぎず、本発明はこれらに限定されるものではない。

＜画像の表示例＞次に、図３を参照して、デジタルカメラとしてのカメラ部１１２で撮影された画像を、撮影方向に応じて表示座標系における対向する辺の長さの割合が変更された矩形に合わせて変形し、ディスプレイ１０４に表示する例について説明する。

図３では、重力方向に対して９０°をなす方向（水平方向）を基準の方向（矢印３００）とし、これに対して撮影方向が上方（矢印３１０）、下方（矢印３２０）、右方（矢印３３０）、左方（矢印３４０）である場合、画像を表示座標系における対向する辺の長さの割合が変更された矩形に合わせて変形した表示座標系に表示した例を示している。

図３において、３０１は撮影方向が基準の方向（水平方向）と一致するときにディスプレイ１０４に表示する画像である。撮影方向が、例えば、基準の方向（水平方向）に対して上方を向いたとき、表示される画像は３１１のようになる。すなわち、基準の方向（水平方向）に対して撮影方向がφ°であったとき、表示座標系の互いに水平に対向する辺の割合が、ｋ・ｔａｎ（（φ＋９０）／２）となるように変化する。ここで、ｋは定数である。また基準の方向（水平方向）が重力方向に対して直角（９０°）をなすため、重力方向に対する仰角をθ°としたとき、θ＝φ＋９０となる。画像３１１は画像上方の辺が下方の辺より長くなっており、基準の方向に対して、上方を向いた状態で撮影された画像であることを直感的に理解することができる。また、角度に応じて対向する辺の長さの割合を連続的に変化させるため、撮影方向をより詳細に表現することができる。

また、基準の方向３００に対して撮影方向が右方であったとき（矢印３３０）、表示される画像は３３１のようになる。すなわち、基準の方向に対して、重力方向を軸としたときの右向きの回転角がρ°であったとき、表示座標系の互いに垂直に対向する辺の割合が、ｋ・ｔａｎ（（ρ＋９０）／２）となるように変化する。画像３３１は画像右方の辺が左方の辺よりも長くなっており、基準の方向に対して、右方を向いた状態で撮影された画像であることを直感的に理解することができる。

同様に、撮影方向が基準の方向３００に対して下方、左方を向いたとき、表示される画像はそれぞれ、３２１，３４１のようになり、対向する辺の比から、どちらの方向を向いた状態で撮影された画像であるかを直感的に理解することができる。

＜画像表示処理＞次に、図４を参照して、本実施形態において、撮影方向が基準の方向と異なるときに、その撮影方向のずれに応じて変形した画像を、所定時間の経過後、変形する前の状態に戻すまでの処理について説明する。なお、図４に示すフローチャートの各処理は、ＣＰＵ１０１が、ＨＤＤ１０２等に格納されたプログラムをメモリ１０３に展開して実行することにより実現される。また、以下では、撮像部１１３で撮像された画像をリアルタイムで表示するものとする。すなわち、画像は、表示すべき画像の形状を変形するタイミングに関わらず所定のフレームレートで更新され、動画像として表示される。

図４において、ステップＳＳ４０１では、ＣＰＵ１０１は、方位角センサ１１４が検知した基準の方向に対する撮影方向情報を取得する。ステップＳ４０２では、ＣＰＵ１０１は、図２で述べたように、ステップＳ４０１で取得した撮影方向情報に応じて表示座標系における対向する辺の長さの割合を変更することにより表示座標系を変形する処理を行う。

ステップＳ４０３では、ＣＰＵ１０１は、ステップＳ４０２で変形された表示座標系に表示すべき画像の形状を算出する。ステップＳ４０４では、ＣＰＵ１０１は、撮像部１１３から撮影画像データを取得し、図３で述べたように、撮影画像データをステップＳ４０３で算出された形状に変形してディスプレイ１０４に表示する。これにより、画像の撮影方向に応じて図３に示したような変形された画像が表示される。ステップＳ４０５では、不図示のタイマーによる計時を開始する。

ステップＳ４０６では、ＣＰＵ１０１は、方位角センサ１１４が検知した、基準の方向に対する撮影方向情報を取得し、撮影方向が所定量以上変化したか否かを判定する。所定量以上変化したならば、ステップＳ４１１でタイマーの計時を停止してリセットし、ステップＳ４０２に戻る。一方、所定量以上変化していないならば、ステップＳ４０７に進み、ステップＳ４０５で開始したタイマーの計時が所定時間に達するまでステップＳ４０６での判定を繰り返し行う。

タイマーの計時が所定時間に達したならば、ステップＳ４０８へ進み、ＣＰＵ１０１は、ステップＳ４０４で変形した画像を元の変形のない画像（撮像部１１３により撮影された画像の形状）に戻し、ディスプレイ１０４に表示する。ステップＳ４０９では、ステップＳ４０８で表示されている画像の撮影方向を新たに、基準の方向とする。ここで、ステップＳ４０８へ進む条件は、撮像画像を変形して表示した後、撮影方向が所定量以上変化しないまま所定時間が経過した場合、すなわち、撮像方向が固定されたとみなせる場合である。このように撮像方向が固定されたとみなせる場合には、ステップＳ４０８、Ｓ４０９での処理を実行することにより、撮影者により固定された撮影方向を、新たな基準の方向として上述した画像表示処理を行う。これにより、ユーザは、これ以降に表示される画像について、撮影者により固定された撮影方向から、撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解できる。ステップＳ４１０では、ユーザが入力部１０５を操作して表示処理の終了指示が入力されたか否かを判定し、終了でなければステップＳ４０１に戻る一方、終了ならば本処理を終了する。

なお、図４では撮像部１１３で撮像される画像を表示したが、撮像部１１３で撮像されＨＤＤ１０２や外部記録媒体１０８に記録された画像を再生する際に、上述した処理を行うことも可能である。この場合、例えば動画像と、当該動画像の属性情報として関連付けられた撮像方向情報とを、ＨＤＤ１０２から読み出して図４の処理に従い表示することで、図３と同様な画像を再生することが可能である。

更に、動画像だけでなく、静止画像であっても図３のような表示が可能であることはいうまでもない。また、２つ以上の画像に対してそれぞれ処理を行い、１つの表示画面に同時に表示してもよい。

［実施形態２］次に、図５を参照して、撮影方向に応じて変形された画像の表示位置を、撮影方向に応じて決定する処理について説明する。

図５において、基準の方向（矢印５００）に対して撮影方向が上方（矢印５１０）、下方（矢印５２０）、右方（矢印５３０）、左方（矢印５４０）であるとき、ディスプレイ１０４における、画像の撮影方向に対応する表示位置に、撮影方向に応じて変形された画像が表示されている。図５において、５０１は撮影方向が基準の方向５００と一致するときにディスプレイ１０４に表示される画像である。５０１では、撮影された画像をディスプレイ１０４の表示領域の一部、特に、中央部に表示することで、当該画像が基準の方向に向いた状態で撮影されたことを表現している。撮影方向（５１０）が、例えば、基準の方向（５００）に対して上方を向いたとき、表示される画像は５１１のようになる。すなわち、基準の方向５００に対して撮影方向が上方にφ°のとき、表示座標系の水平方向に対向する辺の割合が、ｋ・ｔａｎ（（φ＋９０）／２）に変化し（ｋは定数）、かつ画像の表示位置が基準位置５０１よりｄ・ｓｉｎφだけ移動する（ｄは定数）。５１１では、撮影方向に応じて表示座標系を変形することで上方の辺が下方の辺よりも長くなっており、基準の方向に対して上方を向いた状態で撮影された画像であることを直感的に理解することができる。また、基準位置に対してｄ・ｓｉｎθだけ画像の表示位置が上方に移動することで、上を向いた状態で撮影した画像であることも直感的に理解することができる。

同様に、撮影方向が基準の方向５００に対して下方（５２０）、右方（５３０）、左方（５４０）を向いたとき、表示される画像はそれぞれ、５２１，５３１，５４１のようになる。それぞれでは、対向する辺のうち、一方の辺が他方の辺よりも長くなるように表示座標系を変形しているので、基準の方向に対してどちらの方向を向いた状態で撮影したかを直感的に理解することができる。また、基準の方向から撮影時に向いていた方向へ画像の表示領域を移動するため、撮影時にどちらの方向を向いたいたかも直感的に理解することができる。

＜表示位置の決定処理＞次に、図６を参照して、本実施形態の撮影画像の表示位置を決定する処理について説明する。なお、図６に示すフローチャートの各処理は、ＣＰＵ１０１が、ＨＤＤ１０２等に格納されたプログラムをメモリ１０３に展開して実行することにより実現される。また、以下では、図４と同様に撮像部１１３で撮像された画像をリアルタイムで表示するものとする。

図６において、ステップＳ６０１では、ＣＰＵ１０１は、仮想的な３次元空間を設定し、当該空間に、撮像部１１３により撮影された画像の領域に相似し所定の大きさを持つ仮想の平面オブジェクトを作成する。次に、ステップＳ６０２では、ＣＰＵ１０１は、方位角センサ１１４により基準の方向に対する撮影方向を検知し、撮影方向情報をＲｏｌｌ，Ｐｉｔｃｈ，Ｙａｗとして取得する。ステップＳ６０３では、ＣＰＵ１０１は、平面オブジェクトに撮像部１１３により撮影された画像をマッピングする。次に、ステップＳ６０４では、ＣＰＵ１０１は、３次元空間における位置を、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗに基づいて決定する。そして、ステップＳ６０５では、ＣＰＵ１０１は、３次元空間内の平面オブジェクトを所定の方法（例えば、透視投影法）により座標変換して２次元スクリーン上に投影する。ステップＳ６０６では、ＣＰＵ１０１は、ディスプレイ１０４に、２次元スクリーンを表示する。

なお、上記ステップＳ６０６に続き、図４のＳ４０６〜Ｓ４０９の処理を実行し、撮影方向が固定されたときに、その固定された撮影方向を、新たな基準の方向とする処理を行ってもよい。また、図６の処理は周期的に繰り返され、撮像方向の変化に追従して表示される画像の位置と形状が動的に変化するものとする。

また、図４の処理と同様に、ＨＤＤ１０２から読み出した画像を再生する処理にも適用可能である。更に、静止画像でも撮影方向に合わせて図５のように表示することが可能であることはいうまでもない。また、２つ以上の入力画像に対してそれぞれ図６の処理を行い、１つの表示画面に２つの画像を同時に表示してもよい。

次に、図７及び図８を参照して、図６の平面オブジェクトを用いた画像の表示位置の決定方法について説明する。図７では、仮想的な３次元空間に平面オブジェクト７１０を作成し、その３次元空間内における位置を、方位角センサ１１４により得られたＲｏｌｌ，Ｐｉｔｃｈ，Ｙａｗの各情報に応じて７１０Ａに変更する様子を示している。図７において、９１０は平面オブジェクトであり、撮影方向が基準の方向に一致するとき（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗがそれぞれ０であるとき）、ＸＹ平面に平行に、原点からＺ軸方向に所定の距離ｄだけ離れて位置している。Ｒｏｌｌは水平面上の基線ベクトル（例えば、真北を向くベクトル）回りの回転角であり、ここではＸ軸の回りの回転角である。Ｐｉｔｃｈは重力ベクトル回りの回転角であり、ここではＹ軸回りの回転角である。Ｙａｗは水平面上で上記基線ベクトルと直交するベクトル（例えば、真東を向くベクトル）回りの回転角であり、ここではＺ軸回りの回転角である。撮影方向が、例えば、基準の方向に対して上方を向いたとき、Ｒｏｌｌの値が０から増加し、平面オブジェクトは９１０Ａの位置に移動する。

図８では、３次元空間内の平面オブジェクトを透視投影法により２次元スクリーン上に投影している様子を示している。図８において、Ｅは透視投影の視点である。また、２次元スクリーンはＸＹ平面上に位置している。２次元スクリーン上への投影は、視点Ｅから平面オブジェクトへと視線を伸ばし、当該視線と２次元スクリーンとの交点を求めることにより行われる。

［実施形態３］上記実施形態１，２は、撮像方向に応じて画像を表示する例であったが、撮影方向だけでなく、撮影した際のズーム値などの画角情報によって画像の表示を行ってもよい。この場合、画角情報に応じて画像の大きさを変更し、撮影方向に応じて画像を変形してディスプレイ１０４に表示すればよい。例えば、図４のステップＳ４０１において、撮影方向とともに、撮影に用いられたカメラ部１１２のレンズ諸元、及び撮影時のズームサイズから画角情報を取得する。そして、ステップＳ４０２、Ｓ４０３では、撮影方向に応じた表示座標系の変形に加え、画角情報に応じて画像の大きさを算出する。ここでは、ズーム倍率が高ければ遠くの被写体を撮影しているとみなせるため、表示すべき画像の大きさを小さくする。反対に、ズーム倍率が低ければ近くの被写体を撮影しているとみなせるため、表示すべき画像の大きさを大きくする。このようにすることで、撮影された被写体が、撮影者から近いのか遠いのかを直感的に把握することができる。

［実施形態４］次に、図９を参照して、カメラ部１１２に複数の方向からの音声情報を取得するマイクロホンを付加し、画像の変形に加えて、複数の方向からの音声の配分の割合を撮影方向に応じて変更し、スピーカから出力する例について説明する。図９では、基準の方向（矢印９００）に対して撮影方向が右方（矢印９１０）又は左方（矢印９２０）であるとき、音声の配分の割合を変更している様子を示している。図９において、９０１は撮影方向が基準の方向と一致するときの、左右のスピーカから出力される音量を表す。撮影方向が、例えば、基準の方向に対して右方を向いたとき、スピーカから出力される音量は９１１のように、右スピーカから出力する音量が増大する一方、左スピーカから出力する音量は減少する。これにより、撮影者が動いた方向を画像と共に、左右の音量の変化により、格別の臨場感が得られる。

［実施形態５］次に、図１０を参照して、２つ以上のカメラ部１１２で撮影された画像を、それぞれの撮影方向に応じて変形し、１つのディスプレイ１０４において、それぞれの画像の撮影方向に応じた表示位置に表示する例について説明する。図１０は、本実施形態の表示制御方法を適用して、放送局のスタジオのコントロールルームのモニタに画像を表示している様子を示している。図１０において、放送局のスタジオでは、一般に３〜５台のテレビカメラを同時に使用し、それぞれのカメラが異なるアングルで撮影した画像を、演出意図に応じて選択や切換を行って番組コンテンツの制作を行っている。このようなモニタリングシステムに本発明の表示制御を適用することで、画像の選択や切換を行うユーザ（スイッチャ−）は、テレビカメラの位置を把握しながら最適なアングルからの画像を選択でき、番組コンテンツ制作に好適である。

以上説明した各実施形態によれば、表示されている撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解しやすく表示できる。特に、画像を変形してから所定時間経過後、元の画像に戻すことで、画像を撮影方向に応じて変形する前後の動きが際立ち、ユーザにとってより理解しやすくなる。

また、本発明は、上記実施形態と同等の処理を、コンピュータプログラムでも実現できる。この場合、図１をはじめとする構成要素の各々は関数、もしくはＣＰＵが実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。

Claims (16)

1. 撮影された画像を表示する表示手段と、
   前記画像が撮影された方向を示す撮影方向情報を取得する取得手段と、
   前記撮影方向情報に応じて前記表示手段で画像を表示するための座標系を変形する変形手段と、
   前記変形された座標系に応じて画像の形状を変更する変更手段と、
   前記形状が変更された画像を前記表示手段の前記変形された座標系に表示するように制御する制御手段と、を有することを特徴とする表示制御装置。
2. 前記変形手段は、前記撮影方向情報に応じて前記座標系における対向する辺の長さの割合を変更することを特徴とする請求項１に記載の表示制御装置。
3. 前記変更手段は、前記座標系における対向する辺の長さの割合が変更された矩形に合わせて、前記撮影された画像の形状を変更することを特徴とする請求項２に記載の表示制御装置。
4. 前記撮影方向情報に応じて前記表示手段の表示領域における画像の表示位置を決定する決定手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
5. 前記制御手段は、前記撮影方向が変化せずに所定時間が経過した場合、前記変形する前の座標系に、前記形状を変更する前の画像を表示し、
   当該画像の撮影方向を基準の方向として設定することを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
6. 前記画像を撮影した時の画角情報を取得する手段と、
   前記画角情報に応じて撮影された画像の大きさを変更する手段と、を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の表示制御装置。
7. 前記決定手段は、
   仮想的な３次元空間を設定し、平面オブジェクトを作成する手段と、
   前記撮影方向情報に応じて前記平面オブジェクトに前記撮影された画像をマッピングする手段と、
   前記撮影方向情報に応じて前記平面オブジェクトの位置を決定する手段と、
   前記平面オブジェクトを２次元スクリーン上に投影する手段と、を有し、
   前記制御手段は、前記２次元スクリーンを前記表示手段に表示することを特徴とする請求項４に記載の表示制御装置。
8. 画像を撮影した時の音声情報を取得する手段と、
   前記撮影方向情報に応じて前記取得した音声の配分の割合を変更する手段と、
   前記音声を変更された割合で出力する手段と、を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の表示制御装置。
9. 前記制御手段は、前記撮影方向が異なる複数の撮影画像を前記表示手段の１つの表示領域に表示することを特徴とする請求項４に記載の表示制御装置。
10. 前記撮影方向情報は、前記画像を撮影した撮像装置により検知されることを特徴とする請求項１乃至９のいずれか１項に記載の表示制御装置。
11. 前記撮影方向情報は、前記撮影方向が基準の方向と直交する２つの軸方向へ移動した量であることを特徴とする請求項１０に記載の表示制御装置。
12. 前記撮影方向情報は、互いに直交する３つの軸回りの回転角であることを特徴とする請求項１０に記載の表示制御装置。
13. 前記撮影される画像は、前記撮像装置により撮影された動画像又は静止画像であることを特徴とする請求項１０乃至１２のいずれか１項に記載の表示制御装置。
14. 撮影された画像を表示する表示装置の制御方法であって、
    前記画像が撮影された方向を示す撮影方向情報を取得する取得工程と、
    前記撮影方向情報に応じて画像を表示するための座標系を変形する変形工程と、
    前記変形された座標系に応じて画像の形状を変更する変更工程と、
    前記形状が変更された画像を前記変形された座標系に表示するように制御する制御工程と、を有することを特徴とする制御方法。
15. 請求項１４に記載の制御方法をコンピュータに実行させるためのプログラム。
16. 請求項１５に記載のプログラムを格納したコンピュータにより読み取り可能な記憶媒体。

Images