JP2010283529A - 表示制御装置、表示装置の制御方法、プログラム、記憶媒体 - Google Patents

表示制御装置、表示装置の制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP2010283529A
JP2010283529A JP2009134300A JP2009134300A JP2010283529A JP 2010283529 A JP2010283529 A JP 2010283529A JP 2009134300 A JP2009134300 A JP 2009134300A JP 2009134300 A JP2009134300 A JP 2009134300A JP 2010283529 A JP2010283529 A JP 2010283529A
Authority
JP
Japan
Prior art keywords
image
display
coordinate system
shooting direction
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009134300A
Other languages
English (en)
Other versions
JP2010283529A5 (ja
JP5253300B2 (ja
Inventor
Hiroyuki Fukushima
宏之 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009134300A priority Critical patent/JP5253300B2/ja
Priority to US12/771,347 priority patent/US8264589B2/en
Publication of JP2010283529A publication Critical patent/JP2010283529A/ja
Publication of JP2010283529A5 publication Critical patent/JP2010283529A5/ja
Application granted granted Critical
Publication of JP5253300B2 publication Critical patent/JP5253300B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

【課題】表示されている撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解しやすく表示できる技術を実現する。
【解決手段】表示制御装置は、撮影された画像を表示する表示手段と、前記画像が撮影された方向を示す撮影方向情報を取得する取得手段と、前記撮影方向情報に応じて前記表示手段で画像を表示するための座標系を変形する変形手段と、前記変形された座標系に応じて画像の形状を変更する変更手段と、前記形状が変更された画像を前記表示手段の前記変形された座標系に表示するように制御する制御手段と、を有する。
【選択図】図3

Description

本発明は、撮影された画像を表示する表示制御技術に関するものである。
撮影画像は、表示装置の画面等のように固定された枠内に表示されることが一般的である。例えば、ビデオカメラで撮影された動画像をテレビジョン装置の画面に表示する場合には、表示画面の枠全体に表示することが一般的である。また、例えば、パーソナルコンピュータ(PC)のモニタに動画像を表示する場合には、画面の枠全体に表示する他、ウィンドウと呼ばれる固定表示枠を設け、この枠内に表示している。
上記表示制御技術に関連して、特許文献1には、撮影画像の画像信号と撮影方向への動きに応じた動き情報とを生成し、撮影画像よりも広画角の表示領域内で、動き情報に応じて画像が移動するように表示することで、臨場感を高める技術が記載されている。また、特許文献2には、撮影時に被写体に対するカメラの傾きや調整されたズーム値等の情報を取得し、カメラの傾きに応じて画像を回転させたり、ズーム値に基づき画像を拡大又は縮小して表示する技術が記載されている。
特開2003−323170号公報 特開2000−156814号公報
上記従来の技術では、表示された撮影画像を見ているユーザは、画像撮影時に当該画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを、表示された撮影画像の被写体から推測する以外なく、ユーザが直感的に理解することは難しかった。また、上記特許文献1では、撮影方向への動きに応じて画面内で撮影画像が移動するように表示されるが、表示される画像は撮影時と同じ形の枠内に表示される。このため、ユーザが当該枠内の画像を見続ける限りは、依然として撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解することは難しく、表示された撮影画像の被写体から推測せざるを得ない。
本発明は、上記課題に鑑みてなされ、表示されている撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解しやすく表示できる技術を実現する。
上記課題を解決するために、本発明の表示制御装置は、撮影された画像を表示する表示手段と、前記画像が撮影された方向を示す撮影方向情報を取得する取得手段と、前記撮影方向情報に応じて前記表示手段で画像を表示するための座標系を変形する変形手段と、前記変形された座標系に応じて画像の形状を変更する変更手段と、前記形状が変更された画像を前記表示手段の前記変形された座標系に表示するように制御する制御手段と、を有する。
本発明によれば、表示されている撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解しやすく表示できる。
本発明に係る実施形態の表示制御装置の構成を示すブロック図である。 実施形態1による表示座標系の変形方法を説明する図である。 変形された表示座標系に表示された画像を例示する図である。 本実施形態による画像表示処理を示すフローチャートである。 実施形態2により決定された表示位置に表示された画像を例示する図である。 実施形態2による表示位置の決定処理を示すフローチャートである。 実施形態2による表示位置の決定処理を説明する図である。 実施形態2による表示位置の決定処理を説明する図である。 実施形態4による音声出力処理を説明する図である。 本実施形態の表示制御方法を適用して、放送局のスタジオのコントロールルームのモニタに画像を表示している様子を示す図である。
以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
[装置構成]先ず、図1を参照して、本発明の表示制御装置をパーソナルコンピュータ(PC)により実現した実施形態について説明する。図1に示すように、PC100は内部バス111で接続されたCPU101、ハードディスクドライブ(HDD)102、メモリ103、ディスプレイ104、入力部105、記録媒体ドライブ106、ネットワークインターフェイス(I/F)107を備える。CPU101は、PC100全体の動作を制御する演算処理装置であり、入力部105等を介してユーザからの指示を受け付け、後述する各種プログラムを実行し、ディスプレイ104の表示制御を行う。HDD102は、画像データや、CPU101の動作処理手順(例えば、PCの起動処理や基本入出力処理、後述する各種プログラム)を記憶している。メモリ103は、CPU101のワークエリアとして使用される。ディスプレイ104は、本実施形態によるGUI(グラフィックユーザインターフェース)を表示するための表示部であり、この画面に後述する画像や表示アイテムが表示される。入力部105は、ユーザからの指示を受け付けるためのキーボードやポインティングデバイスとしてのマウス等である。
ユーザは、入力部105を操作することで表示制御プログラムの実行が可能である。記録媒体ドライブ106は、CD−ROMやDVD−ROM、フラッシュメモリ等からなる外部記録媒体108に格納されているデータの読み出しや、外部記録媒体108へデータの書き込みを行う。I/F107は通信回線109を介してネットワーク110と接続される。CPU101がI/F107を介してネットワーク110上に存在するプログラムを実行することも可能であり、ネットワーク110上に存在するプログラムによって本発明を実現することも可能である。
また、PC100の内部バス111には撮像装置としてのデジタルビデオカメラ等のカメラ部112が接続されており、撮像部113と方位角センサ114が内蔵されている。PC100は、CPU101がソフトウェアによる演算処理によって実現する方向取得手段によって、方位角センサ114が検知・生成したカメラ部112の撮影方向情報を取得する。同様にCPU101がソフトウェアによる演算処理によって実現する表示座標系変形手段が、上記取得した撮影方向情報に基づき表示座標系を変形する。更に、CPU101がソフトウェアによる演算処理によって実現する表示制御手段は、撮像部113で撮影された画像を、上記変形された表示座標系に表示するように制御する。ディスプレイ104は、上記表示制御手段によって画像を表示する。
なお、方位角センサ114とは、例えば、加速度計測、地磁気計測、ジャイロ計測等により、基準となる方向に対する向き(方向)を検知するものであるが、一般的には重力方向を基準としたときの向き(方向)を出力する。また、向き(方向)は、Roll(ロール)、Pitch(ピッチ)、Yaw(ヨー)と呼ばれる3種類の値で示される。ここで、ピッチは重力ベクトル回りの回転角であり、ロールは水平面上の基線ベクトル(例えば、真北を向くベクトル)回りの回転角、ヨーは水平面上で前記基線ベクトルと直行するベクトル(例えば真東を向くベクトル)回りの回転角である。
[実施形態1]次に、図2乃至図4を参照して、カメラ部112で撮影した画像を、方位角センサ114により検知した撮影方向に応じて表示座標系を変形し、ディスプレイ104に表示する場合について説明する。本実施形態では、表示座標系において対向する辺の長さの割合を変更している。
図2では、重力方向に対して90°をなす方向(水平方向)を基準となる方向(矢印200)とし、これに対して撮影方向が上方(矢印210)、下方(矢印220)、右方(矢印230)、左方(矢印240)の場合の変形された表示座標系を例示している。201は撮影方向が基準の方向(矢印200)と一致するときの表示座標系を例示している。この表示座標系200から、例えば、撮影方向が基準の方向200に対して上方を向いた場合、表示座標系を211のように変形する。この場合、辺202と辺203が対向する辺となり、表示座標系201から表示座標系211への変形は、辺202と辺203の長さの割合を、辺212と辺213の長さの割合へ変更することにより行う。このように、辺212よりも辺213が長くなるように表示座標系を変形することにより、基準の方向200に対して上方を向いた状態で撮影された画像であることを直感的に理解することができる。
また、撮影方向が基準の方向200に対して下方を向いた場合、表示座標系を221のように変形する。表示座標系201から表示座標系221への変形は、辺202と辺203の長さの割合を、辺222と辺223の長さの割合へ変更することにより行う。このように、辺223よりも辺222が長くなるように表示座標系を変形することにより、基準の方向に対して下方を向いた状態で撮影された画像であることを直感的に理解することができる。
更に、撮影方向が基準の方向に対して右方を向いた場合、表示座標系を231のように変形する。この場合、辺204と辺205が対向する辺となり、表示座標系201から表示座標系231への変形は、辺204と辺205の長さの割合を、辺232と辺233の長さの割合へ変更することにより行う。このように、辺232よりも辺233が長くなるように表示座標系を変形することにより、基準の方向に対して右方を向いた状態で撮影された画像であることを直感的に理解することができる。
また、撮影方向が基準の方向に対して左方を向いた場合、表示座標系を241のように変形する。表示座標系201から表示座標系241への変形は、辺204と辺205の長さの割合を、辺242と辺243の長さの割合へ変更することにより行う。このように、辺243よりも辺242が長くなるように表示座標系を変形することにより、基準の方向に対して左方を向いた状態で撮影された画像であることを直感的に理解することができる。
なお、対向する辺の長さの割合を、基準の方向と撮影方向とのなす角の大きさに応じて連続的に変化させることで、撮影方向をより詳細に表現することができる。例えば、基準の方向200に対して、撮影方向が上方又は下方を向いた場合、図2に示すように重力方向に対して撮影方向をθとすると、例えば、辺202に対する辺203の長さの割合をk・tan(θ/2)とする。ここでkは定数である。また、θはいわゆる仰角、すなわち、重力ベクトルに対するロール又はヨー成分であり、重力方向を向いたときθ=0°、水平方向を向いたときθ=90°となる。本実施形態において、θ=0°(重力方向を向いた状態)〜θ=180°(真上を向いた状態)における、定数kを1としたときの辺202に対する辺203の長さの割合(辺の比/k)は次表のようになる。
Figure 2010283529
上記表によれば、基準の方向(ここでは、θ=90°)から135°,180°と、基準の方向と撮影方向のなす角が大きくなるに従い、辺の比も大きくなっている。辺202に対して辺203が相対的に長くなるので、基準の方向から上方を向いた状態で撮影されたと理解でき、辺203の長さからどれだけ上方を向いていたかを察することができる。一方、基準の方向から45°、0°と、基準の方向と撮影方向のなす角が小さくなるに従い、辺の比は小さくなっている。辺203に対して辺202が相対的に長くなるので、基準の方向から下方を向いた状態で撮影されたと理解でき、辺202と辺203の長さの割合からどれだけ下方を向いていたかを察することができる。
なお、上記式及び表は、本発明の一態様を説明しているのに過ぎず、本発明はこれらに限定されるものではない。
<画像の表示例>次に、図3を参照して、デジタルカメラとしてのカメラ部112で撮影された画像を、撮影方向に応じて表示座標系における対向する辺の長さの割合が変更された矩形に合わせて変形し、ディスプレイ104に表示する例について説明する。
図3では、重力方向に対して90°をなす方向(水平方向)を基準の方向(矢印300)とし、これに対して撮影方向が上方(矢印310)、下方(矢印320)、右方(矢印330)、左方(矢印340)である場合、画像を表示座標系における対向する辺の長さの割合が変更された矩形に合わせて変形した表示座標系に表示した例を示している。
図3において、301は撮影方向が基準の方向(水平方向)と一致するときにディスプレイ104に表示する画像である。撮影方向が、例えば、基準の方向(水平方向)に対して上方を向いたとき、表示される画像は311のようになる。すなわち、基準の方向(水平方向)に対して撮影方向がφ°であったとき、表示座標系の互いに水平に対向する辺の割合が、k・tan((φ+90)/2)となるように変化する。ここで、kは定数である。また基準の方向(水平方向)が重力方向に対して直角(90°)をなすため、重力方向に対する仰角をθ°としたとき、θ=φ+90となる。画像311は画像上方の辺が下方の辺より長くなっており、基準の方向に対して、上方を向いた状態で撮影された画像であることを直感的に理解することができる。また、角度に応じて対向する辺の長さの割合を連続的に変化させるため、撮影方向をより詳細に表現することができる。
また、基準の方向300に対して撮影方向が右方であったとき(矢印330)、表示される画像は331のようになる。すなわち、基準の方向に対して、重力方向を軸としたときの右向きの回転角がρ°であったとき、表示座標系の互いに垂直に対向する辺の割合が、k・tan((ρ+90)/2)となるように変化する。画像331は画像右方の辺が左方の辺よりも長くなっており、基準の方向に対して、右方を向いた状態で撮影された画像であることを直感的に理解することができる。
同様に、撮影方向が基準の方向300に対して下方、左方を向いたとき、表示される画像はそれぞれ、321,341のようになり、対向する辺の比から、どちらの方向を向いた状態で撮影された画像であるかを直感的に理解することができる。
<画像表示処理>次に、図4を参照して、本実施形態において、撮影方向が基準の方向と異なるときに、その撮影方向のずれに応じて変形した画像を、所定時間の経過後、変形する前の状態に戻すまでの処理について説明する。なお、図4に示すフローチャートの各処理は、CPU101が、HDD102等に格納されたプログラムをメモリ103に展開して実行することにより実現される。また、以下では、撮像部113で撮像された画像をリアルタイムで表示するものとする。すなわち、画像は、表示すべき画像の形状を変形するタイミングに関わらず所定のフレームレートで更新され、動画像として表示される。
図4において、ステップSS401では、CPU101は、方位角センサ114が検知した基準の方向に対する撮影方向情報を取得する。ステップS402では、CPU101は、図2で述べたように、ステップS401で取得した撮影方向情報に応じて表示座標系における対向する辺の長さの割合を変更することにより表示座標系を変形する処理を行う。
ステップS403では、CPU101は、ステップS402で変形された表示座標系に表示すべき画像の形状を算出する。ステップS404では、CPU101は、撮像部113から撮影画像データを取得し、図3で述べたように、撮影画像データをステップS403で算出された形状に変形してディスプレイ104に表示する。これにより、画像の撮影方向に応じて図3に示したような変形された画像が表示される。ステップS405では、不図示のタイマーによる計時を開始する。
ステップS406では、CPU101は、方位角センサ114が検知した、基準の方向に対する撮影方向情報を取得し、撮影方向が所定量以上変化したか否かを判定する。所定量以上変化したならば、ステップS411でタイマーの計時を停止してリセットし、ステップS402に戻る。一方、所定量以上変化していないならば、ステップS407に進み、ステップS405で開始したタイマーの計時が所定時間に達するまでステップS406での判定を繰り返し行う。
タイマーの計時が所定時間に達したならば、ステップS408へ進み、CPU101は、ステップS404で変形した画像を元の変形のない画像(撮像部113により撮影された画像の形状)に戻し、ディスプレイ104に表示する。ステップS409では、ステップS408で表示されている画像の撮影方向を新たに、基準の方向とする。ここで、ステップS408へ進む条件は、撮像画像を変形して表示した後、撮影方向が所定量以上変化しないまま所定時間が経過した場合、すなわち、撮像方向が固定されたとみなせる場合である。このように撮像方向が固定されたとみなせる場合には、ステップS408、S409での処理を実行することにより、撮影者により固定された撮影方向を、新たな基準の方向として上述した画像表示処理を行う。これにより、ユーザは、これ以降に表示される画像について、撮影者により固定された撮影方向から、撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解できる。ステップS410では、ユーザが入力部105を操作して表示処理の終了指示が入力されたか否かを判定し、終了でなければステップS401に戻る一方、終了ならば本処理を終了する。
なお、図4では撮像部113で撮像される画像を表示したが、撮像部113で撮像されHDD102や外部記録媒体108に記録された画像を再生する際に、上述した処理を行うことも可能である。この場合、例えば動画像と、当該動画像の属性情報として関連付けられた撮像方向情報とを、HDD102から読み出して図4の処理に従い表示することで、図3と同様な画像を再生することが可能である。
更に、動画像だけでなく、静止画像であっても図3のような表示が可能であることはいうまでもない。また、2つ以上の画像に対してそれぞれ処理を行い、1つの表示画面に同時に表示してもよい。
[実施形態2]次に、図5を参照して、撮影方向に応じて変形された画像の表示位置を、撮影方向に応じて決定する処理について説明する。
図5において、基準の方向(矢印500)に対して撮影方向が上方(矢印510)、下方(矢印520)、右方(矢印530)、左方(矢印540)であるとき、ディスプレイ104における、画像の撮影方向に対応する表示位置に、撮影方向に応じて変形された画像が表示されている。図5において、501は撮影方向が基準の方向500と一致するときにディスプレイ104に表示される画像である。501では、撮影された画像をディスプレイ104の表示領域の一部、特に、中央部に表示することで、当該画像が基準の方向に向いた状態で撮影されたことを表現している。撮影方向(510)が、例えば、基準の方向(500)に対して上方を向いたとき、表示される画像は511のようになる。すなわち、基準の方向500に対して撮影方向が上方にφ°のとき、表示座標系の水平方向に対向する辺の割合が、k・tan((φ+90)/2)に変化し(kは定数)、かつ画像の表示位置が基準位置501よりd・sinφだけ移動する(dは定数)。511では、撮影方向に応じて表示座標系を変形することで上方の辺が下方の辺よりも長くなっており、基準の方向に対して上方を向いた状態で撮影された画像であることを直感的に理解することができる。また、基準位置に対してd・sinθだけ画像の表示位置が上方に移動することで、上を向いた状態で撮影した画像であることも直感的に理解することができる。
同様に、撮影方向が基準の方向500に対して下方(520)、右方(530)、左方(540)を向いたとき、表示される画像はそれぞれ、521,531,541のようになる。それぞれでは、対向する辺のうち、一方の辺が他方の辺よりも長くなるように表示座標系を変形しているので、基準の方向に対してどちらの方向を向いた状態で撮影したかを直感的に理解することができる。また、基準の方向から撮影時に向いていた方向へ画像の表示領域を移動するため、撮影時にどちらの方向を向いたいたかも直感的に理解することができる。
<表示位置の決定処理>次に、図6を参照して、本実施形態の撮影画像の表示位置を決定する処理について説明する。なお、図6に示すフローチャートの各処理は、CPU101が、HDD102等に格納されたプログラムをメモリ103に展開して実行することにより実現される。また、以下では、図4と同様に撮像部113で撮像された画像をリアルタイムで表示するものとする。
図6において、ステップS601では、CPU101は、仮想的な3次元空間を設定し、当該空間に、撮像部113により撮影された画像の領域に相似し所定の大きさを持つ仮想の平面オブジェクトを作成する。次に、ステップS602では、CPU101は、方位角センサ114により基準の方向に対する撮影方向を検知し、撮影方向情報をRoll,Pitch,Yawとして取得する。ステップS603では、CPU101は、平面オブジェクトに撮像部113により撮影された画像をマッピングする。次に、ステップS604では、CPU101は、3次元空間における位置を、Roll、Pitch、Yawに基づいて決定する。そして、ステップS605では、CPU101は、3次元空間内の平面オブジェクトを所定の方法(例えば、透視投影法)により座標変換して2次元スクリーン上に投影する。ステップS606では、CPU101は、ディスプレイ104に、2次元スクリーンを表示する。
なお、上記ステップS606に続き、図4のS406〜S409の処理を実行し、撮影方向が固定されたときに、その固定された撮影方向を、新たな基準の方向とする処理を行ってもよい。また、図6の処理は周期的に繰り返され、撮像方向の変化に追従して表示される画像の位置と形状が動的に変化するものとする。
また、図4の処理と同様に、HDD102から読み出した画像を再生する処理にも適用可能である。更に、静止画像でも撮影方向に合わせて図5のように表示することが可能であることはいうまでもない。また、2つ以上の入力画像に対してそれぞれ図6の処理を行い、1つの表示画面に2つの画像を同時に表示してもよい。
次に、図7及び図8を参照して、図6の平面オブジェクトを用いた画像の表示位置の決定方法について説明する。図7では、仮想的な3次元空間に平面オブジェクト710を作成し、その3次元空間内における位置を、方位角センサ114により得られたRoll,Pitch,Yawの各情報に応じて710Aに変更する様子を示している。図7において、910は平面オブジェクトであり、撮影方向が基準の方向に一致するとき(Roll,Pitch,Yawがそれぞれ0であるとき)、XY平面に平行に、原点からZ軸方向に所定の距離dだけ離れて位置している。Rollは水平面上の基線ベクトル(例えば、真北を向くベクトル)回りの回転角であり、ここではX軸の回りの回転角である。Pitchは重力ベクトル回りの回転角であり、ここではY軸回りの回転角である。Yawは水平面上で上記基線ベクトルと直交するベクトル(例えば、真東を向くベクトル)回りの回転角であり、ここではZ軸回りの回転角である。撮影方向が、例えば、基準の方向に対して上方を向いたとき、Rollの値が0から増加し、平面オブジェクトは910Aの位置に移動する。
図8では、3次元空間内の平面オブジェクトを透視投影法により2次元スクリーン上に投影している様子を示している。図8において、Eは透視投影の視点である。また、2次元スクリーンはXY平面上に位置している。2次元スクリーン上への投影は、視点Eから平面オブジェクトへと視線を伸ばし、当該視線と2次元スクリーンとの交点を求めることにより行われる。
[実施形態3]上記実施形態1,2は、撮像方向に応じて画像を表示する例であったが、撮影方向だけでなく、撮影した際のズーム値などの画角情報によって画像の表示を行ってもよい。この場合、画角情報に応じて画像の大きさを変更し、撮影方向に応じて画像を変形してディスプレイ104に表示すればよい。例えば、図4のステップS401において、撮影方向とともに、撮影に用いられたカメラ部112のレンズ諸元、及び撮影時のズームサイズから画角情報を取得する。そして、ステップS402、S403では、撮影方向に応じた表示座標系の変形に加え、画角情報に応じて画像の大きさを算出する。ここでは、ズーム倍率が高ければ遠くの被写体を撮影しているとみなせるため、表示すべき画像の大きさを小さくする。反対に、ズーム倍率が低ければ近くの被写体を撮影しているとみなせるため、表示すべき画像の大きさを大きくする。このようにすることで、撮影された被写体が、撮影者から近いのか遠いのかを直感的に把握することができる。
[実施形態4]次に、図9を参照して、カメラ部112に複数の方向からの音声情報を取得するマイクロホンを付加し、画像の変形に加えて、複数の方向からの音声の配分の割合を撮影方向に応じて変更し、スピーカから出力する例について説明する。図9では、基準の方向(矢印900)に対して撮影方向が右方(矢印910)又は左方(矢印920)であるとき、音声の配分の割合を変更している様子を示している。図9において、901は撮影方向が基準の方向と一致するときの、左右のスピーカから出力される音量を表す。撮影方向が、例えば、基準の方向に対して右方を向いたとき、スピーカから出力される音量は911のように、右スピーカから出力する音量が増大する一方、左スピーカから出力する音量は減少する。これにより、撮影者が動いた方向を画像と共に、左右の音量の変化により、格別の臨場感が得られる。
[実施形態5]次に、図10を参照して、2つ以上のカメラ部112で撮影された画像を、それぞれの撮影方向に応じて変形し、1つのディスプレイ104において、それぞれの画像の撮影方向に応じた表示位置に表示する例について説明する。図10は、本実施形態の表示制御方法を適用して、放送局のスタジオのコントロールルームのモニタに画像を表示している様子を示している。図10において、放送局のスタジオでは、一般に3〜5台のテレビカメラを同時に使用し、それぞれのカメラが異なるアングルで撮影した画像を、演出意図に応じて選択や切換を行って番組コンテンツの制作を行っている。このようなモニタリングシステムに本発明の表示制御を適用することで、画像の選択や切換を行うユーザ(スイッチャ−)は、テレビカメラの位置を把握しながら最適なアングルからの画像を選択でき、番組コンテンツ制作に好適である。
以上説明した各実施形態によれば、表示されている撮影画像がどのような方向から、或いは撮影者がどのように動いて撮影されたかを直感的に理解しやすく表示できる。特に、画像を変形してから所定時間経過後、元の画像に戻すことで、画像を撮影方向に応じて変形する前後の動きが際立ち、ユーザにとってより理解しやすくなる。
また、本発明は、上記実施形態と同等の処理を、コンピュータプログラムでも実現できる。この場合、図1をはじめとする構成要素の各々は関数、もしくはCPUが実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、CD−ROM等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読取り装置(CD−ROMドライブ等)にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。

Claims (16)

  1. 撮影された画像を表示する表示手段と、
    前記画像が撮影された方向を示す撮影方向情報を取得する取得手段と、
    前記撮影方向情報に応じて前記表示手段で画像を表示するための座標系を変形する変形手段と、
    前記変形された座標系に応じて画像の形状を変更する変更手段と、
    前記形状が変更された画像を前記表示手段の前記変形された座標系に表示するように制御する制御手段と、を有することを特徴とする表示制御装置。
  2. 前記変形手段は、前記撮影方向情報に応じて前記座標系における対向する辺の長さの割合を変更することを特徴とする請求項1に記載の表示制御装置。
  3. 前記変更手段は、前記座標系における対向する辺の長さの割合が変更された矩形に合わせて、前記撮影された画像の形状を変更することを特徴とする請求項2に記載の表示制御装置。
  4. 前記撮影方向情報に応じて前記表示手段の表示領域における画像の表示位置を決定する決定手段を更に有することを特徴とする請求項1乃至3のいずれか1項に記載の表示制御装置。
  5. 前記制御手段は、前記撮影方向が変化せずに所定時間が経過した場合、前記変形する前の座標系に、前記形状を変更する前の画像を表示し、
    当該画像の撮影方向を基準の方向として設定することを特徴とする請求項1乃至4のいずれか1項に記載の表示制御装置。
  6. 前記画像を撮影した時の画角情報を取得する手段と、
    前記画角情報に応じて撮影された画像の大きさを変更する手段と、を更に有することを特徴とする請求項1乃至5のいずれか1項に記載の表示制御装置。
  7. 前記決定手段は、
    仮想的な3次元空間を設定し、平面オブジェクトを作成する手段と、
    前記撮影方向情報に応じて前記平面オブジェクトに前記撮影された画像をマッピングする手段と、
    前記撮影方向情報に応じて前記平面オブジェクトの位置を決定する手段と、
    前記平面オブジェクトを2次元スクリーン上に投影する手段と、を有し、
    前記制御手段は、前記2次元スクリーンを前記表示手段に表示することを特徴とする請求項4に記載の表示制御装置。
  8. 画像を撮影した時の音声情報を取得する手段と、
    前記撮影方向情報に応じて前記取得した音声の配分の割合を変更する手段と、
    前記音声を変更された割合で出力する手段と、を更に有することを特徴とする請求項1乃至7のいずれか1項に記載の表示制御装置。
  9. 前記制御手段は、前記撮影方向が異なる複数の撮影画像を前記表示手段の1つの表示領域に表示することを特徴とする請求項4に記載の表示制御装置。
  10. 前記撮影方向情報は、前記画像を撮影した撮像装置により検知されることを特徴とする請求項1乃至9のいずれか1項に記載の表示制御装置。
  11. 前記撮影方向情報は、前記撮影方向が基準の方向と直交する2つの軸方向へ移動した量であることを特徴とする請求項10に記載の表示制御装置。
  12. 前記撮影方向情報は、互いに直交する3つの軸回りの回転角であることを特徴とする請求項10に記載の表示制御装置。
  13. 前記撮影される画像は、前記撮像装置により撮影された動画像又は静止画像であることを特徴とする請求項10乃至12のいずれか1項に記載の表示制御装置。
  14. 撮影された画像を表示する表示装置の制御方法であって、
    前記画像が撮影された方向を示す撮影方向情報を取得する取得工程と、
    前記撮影方向情報に応じて画像を表示するための座標系を変形する変形工程と、
    前記変形された座標系に応じて画像の形状を変更する変更工程と、
    前記形状が変更された画像を前記変形された座標系に表示するように制御する制御工程と、を有することを特徴とする制御方法。
  15. 請求項14に記載の制御方法をコンピュータに実行させるためのプログラム。
  16. 請求項15に記載のプログラムを格納したコンピュータにより読み取り可能な記憶媒体。
JP2009134300A 2009-06-03 2009-06-03 表示制御装置、表示装置の制御方法、プログラム、記憶媒体 Expired - Fee Related JP5253300B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009134300A JP5253300B2 (ja) 2009-06-03 2009-06-03 表示制御装置、表示装置の制御方法、プログラム、記憶媒体
US12/771,347 US8264589B2 (en) 2009-06-03 2010-04-30 Display control apparatus, method of controlling display apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009134300A JP5253300B2 (ja) 2009-06-03 2009-06-03 表示制御装置、表示装置の制御方法、プログラム、記憶媒体

Publications (3)

Publication Number Publication Date
JP2010283529A true JP2010283529A (ja) 2010-12-16
JP2010283529A5 JP2010283529A5 (ja) 2012-07-05
JP5253300B2 JP5253300B2 (ja) 2013-07-31

Family

ID=43300487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009134300A Expired - Fee Related JP5253300B2 (ja) 2009-06-03 2009-06-03 表示制御装置、表示装置の制御方法、プログラム、記憶媒体

Country Status (2)

Country Link
US (1) US8264589B2 (ja)
JP (1) JP5253300B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013072980A1 (ja) * 2011-11-14 2013-05-23 キヤノン株式会社 撮像装置、制御装置、制御方法、及びプログラム
WO2013072981A1 (ja) * 2011-11-14 2013-05-23 キヤノン株式会社 撮像装置、制御装置、制御方法、及びプログラム
JP2013235220A (ja) * 2012-05-11 2013-11-21 Toyota Motor Corp 画像表示装置、その表示方法、及び表示プログラム
JP2016119695A (ja) * 2016-02-02 2016-06-30 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP2017130954A (ja) * 2017-03-02 2017-07-27 キヤノン株式会社 制御装置、撮像装置、制御方法、及びプログラム
JP2017200211A (ja) * 2017-06-15 2017-11-02 キヤノン株式会社 制御装置、撮像装置、制御方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9667948B2 (en) 2013-10-28 2017-05-30 Ray Wang Method and system for providing three-dimensional (3D) display of two-dimensional (2D) information
US11526044B2 (en) * 2020-03-27 2022-12-13 Manufacturing Resources International, Inc. Display unit with orientation based operation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH024373U (ja) * 1988-06-20 1990-01-11
JP2000156814A (ja) * 1998-11-19 2000-06-06 Casio Comput Co Ltd 画像撮影装置および画像出力装置並びにそれらのプログラム 記録媒体
JP2000165831A (ja) * 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
JP2001069495A (ja) * 1999-08-31 2001-03-16 Matsushita Electric Ind Co Ltd 監視カメラ装置及び監視カメラの表示方法
JP2003323170A (ja) * 2002-05-02 2003-11-14 Sony Corp 画像表示システムと画像処理装置及び画像表示方法
JP2005026859A (ja) * 2003-06-30 2005-01-27 Casio Comput Co Ltd 撮像装置、この撮像装置に用いられる撮影画像処理方法及びプログラム
JP2006020237A (ja) * 2004-07-05 2006-01-19 Sony Ericsson Mobilecommunications Japan Inc 画像処理プログラム、遠隔操作プログラム、画像処理装置及び遠隔操作装置
JP2006168699A (ja) * 2004-11-22 2006-06-29 Nagano Kogaku Kenkyusho:Kk 車両の監視画像の表示方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963365B2 (en) * 2001-02-28 2005-11-08 Hewlett-Packard Development Company, L.P. System and method for removal of digital image vertical distortion
KR100965947B1 (ko) 2002-04-25 2010-06-24 소니 주식회사 화상 처리 장치와 화상 처리 방법 및 화상 처리 프로그램 기록 매체

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH024373U (ja) * 1988-06-20 1990-01-11
JP2000156814A (ja) * 1998-11-19 2000-06-06 Casio Comput Co Ltd 画像撮影装置および画像出力装置並びにそれらのプログラム 記録媒体
JP2000165831A (ja) * 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
JP2001069495A (ja) * 1999-08-31 2001-03-16 Matsushita Electric Ind Co Ltd 監視カメラ装置及び監視カメラの表示方法
JP2003323170A (ja) * 2002-05-02 2003-11-14 Sony Corp 画像表示システムと画像処理装置及び画像表示方法
JP2005026859A (ja) * 2003-06-30 2005-01-27 Casio Comput Co Ltd 撮像装置、この撮像装置に用いられる撮影画像処理方法及びプログラム
JP2006020237A (ja) * 2004-07-05 2006-01-19 Sony Ericsson Mobilecommunications Japan Inc 画像処理プログラム、遠隔操作プログラム、画像処理装置及び遠隔操作装置
JP2006168699A (ja) * 2004-11-22 2006-06-29 Nagano Kogaku Kenkyusho:Kk 車両の監視画像の表示方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013072980A1 (ja) * 2011-11-14 2013-05-23 キヤノン株式会社 撮像装置、制御装置、制御方法、及びプログラム
WO2013072981A1 (ja) * 2011-11-14 2013-05-23 キヤノン株式会社 撮像装置、制御装置、制御方法、及びプログラム
US8982224B2 (en) 2011-11-14 2015-03-17 Canon Kabushiki Kaisha Image pickup apparatus, control apparatus, and control method for distributing captured images to a terminal via a network
JPWO2013072981A1 (ja) * 2011-11-14 2015-04-02 キヤノン株式会社 撮像装置、制御装置、制御方法、及びプログラム
US9635221B2 (en) 2011-11-14 2017-04-25 Canon Kabushiki Kaisha Image capturing apparatus, control apparatus, and control method for distributing captured images to a terminal via a network
US9912856B2 (en) 2011-11-14 2018-03-06 Canon Kabushiki Kaisha Image capturing apparatus, control apparatus, and control method for distributing captured images to a terminal via a network
JP2013235220A (ja) * 2012-05-11 2013-11-21 Toyota Motor Corp 画像表示装置、その表示方法、及び表示プログラム
JP2016119695A (ja) * 2016-02-02 2016-06-30 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP2017130954A (ja) * 2017-03-02 2017-07-27 キヤノン株式会社 制御装置、撮像装置、制御方法、及びプログラム
JP2017200211A (ja) * 2017-06-15 2017-11-02 キヤノン株式会社 制御装置、撮像装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
US20100309361A1 (en) 2010-12-09
US8264589B2 (en) 2012-09-11
JP5253300B2 (ja) 2013-07-31

Similar Documents

Publication Publication Date Title
JP5253300B2 (ja) 表示制御装置、表示装置の制御方法、プログラム、記憶媒体
EP3677021B1 (en) Image capturing apparatus, image display system, and operation method
JP6167703B2 (ja) 表示制御装置、プログラム及び記録媒体
CN106803884B (zh) 图像处理装置
JP5659305B2 (ja) 画像生成装置および画像生成方法
JP5659304B2 (ja) 画像生成装置および画像生成方法
JP5865388B2 (ja) 画像生成装置および画像生成方法
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
JP2013114498A (ja) 電子機器及び三次元モデル生成支援方法
JP5743016B2 (ja) 画像を生成する装置および方法
JP7378243B2 (ja) 画像生成装置、画像表示装置および画像処理方法
JP2018033107A (ja) 動画の配信装置及び配信方法
WO2018135052A1 (ja) 画像生成装置、及び画像表示制御装置
JP6394682B2 (ja) 方法および画像処理装置
WO2022041013A1 (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP6443505B2 (ja) プログラム、表示制御装置及び表示制御方法
JP7128695B2 (ja) 撮影操作データ収集装置、及びプログラム
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
WO2015156128A1 (ja) 表示制御装置、表示制御方法、及び、プログラム
JP5200141B2 (ja) 映像提示システム、映像提示方法、プログラム及び記録媒体
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
JP5854019B2 (ja) 端末装置、及びプログラム
JP2009064014A (ja) ディスプレイ装置
JP2009258862A (ja) 映像表示装置及び映像表示方法
JP2023122130A (ja) 映像処理装置およびその制御方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130416

R151 Written notification of patent or utility model registration

Ref document number: 5253300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees