JP2014126907A - 表示制御装置、表示制御システム、表示制御方法及びプログラム - Google Patents
表示制御装置、表示制御システム、表示制御方法及びプログラム Download PDFInfo
- Publication number
- JP2014126907A JP2014126907A JP2012280942A JP2012280942A JP2014126907A JP 2014126907 A JP2014126907 A JP 2014126907A JP 2012280942 A JP2012280942 A JP 2012280942A JP 2012280942 A JP2012280942 A JP 2012280942A JP 2014126907 A JP2014126907 A JP 2014126907A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- imaging
- image
- unit
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】被写体を見る視点を移動させながら動画像を表示部108に表示させる表示制御装置であって、被写体が第1の視点で撮像された動画像の画像データに対応する動画像が表示部108に表示されているときに、特定される複数の撮像装置1、…の配置状態に基づいて、複数の撮像装置のうちの第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得する第2画像取得部と、ユーザによる所定操作に基づいて被写体を見る視点が変更された場合に、変更後の視点で撮像された取得済みの動画像の画像データに対応する動画像を変更前の視点に対応する動画像に代えて表示部に表示させる第2制御部と、を備えている。
【選択図】図2
Description
また、このカメラシステムでは、全方位映像を撮像可能となるように複数のカメラを外側に向けて配置して、カメラがない視点からの映像を含めてシームレスに視点を切り換えていく技術も開示されている。
被写体の周囲に配置された複数の撮像装置により略等しいタイミングで撮像された動画像の画像データを用いて、被写体を見る視点を移動させながら動画像を表示手段に表示させる表示制御装置であって、
前記複数の撮像装置の配置状態を特定する配置状態特定手段と、
被写体が第1の視点で撮像された動画像の画像データに対応する動画像が前記表示手段に表示されているときに、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得する取得手段と、
ユーザによる所定操作に基づいて、被写体を見る視点の変更指示を入力する操作手段と、
前記操作手段により被写体を見る視点が変更された場合に、変更後の視点で撮像された前記取得手段により取得済みの動画像の画像データに対応する動画像を変更前の視点に対応する動画像に代えて前記表示手段に表示させる表示制御手段と、
を備えることを特徴としている。
本発明に係る表示制御装置と前記複数の撮像装置とを備える表示制御システムであって、
前記表示制御装置は、
前記変更指示として、隣合う撮像装置により挟まれた位置からの仮想的な仮想視点に変更する指示が入力されると、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置の中で、入力された前記変更指示に係る仮想視点に対応する位置を挟んで配置された二つの撮像装置を特定する特定手段と、
前記特定手段により特定された前記二つの撮像装置のうち、少なくとも一方の撮像装置に対して、当該二つの撮像装置により撮像された動画像の画像データに基づいて補間画像を生成する生成指示を所定の通信回線を介して送信させる第1送信制御手段と、を更に備え、
前記二つの撮像装置のうち、少なくとも一方の撮像装置は、
前記第1送信制御手段から送信された前記生成指示の入力に基づいて、前記二つの撮像装置のうちの他方の撮像装置により撮像された動画像の画像データを取得して、当該動画像の画像データと前記一方の撮像装置により撮像された動画像の画像データに基づいて補間画像の画像データを生成する生成手段と、
前記生成手段により生成された補間画像の画像データを所定の通信回線を介して前記表示制御装置に対して送信させる第2送信制御手段と、を備えることを特徴としている。
異なる位置に配置された複数の撮像装置により逐次撮像される画像データを用いて、被写体を見る視点を移動させた複数の画像を連続的に表示手段に表示させる表示制御装置であって、
前記複数の撮像装置の配置状態を特定する配置状態特定手段と、
被写体が第1の視点で撮像された画像データが前記表示手段に表示されているときに、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、この特定された撮像装置により撮像された画像データを取得する取得手段と、
ユーザによる所定操作に基づいて、被写体を見る視点の変更指示を入力する操作手段と、
前記操作手段により被写体を見る視点が変更された場合に、変更後の視点で撮像された前記取得手段により取得済みの画像データに対応する画像を変更前の視点に対応する画像データに対応する画像に代えて前記表示手段に表示させる表示制御手段と、
を備えることを特徴としている。
被写体の周囲に配置された複数の撮像装置により略等しいタイミングで撮像された動画像の画像データを用いて、被写体を見る視点を移動させながら動画像を表示手段に表示させる表示制御装置を用いた表示制御方法であって、
前記複数の撮像装置の配置状態を特定する処理と、
被写体が第1の視点で撮像された動画像の画像データに対応する動画像が前記表示手段に表示されているときに、特定される前記複数の撮像装置の配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得する処理と、
ユーザによる所定操作に基づいて被写体を見る視点が変更された場合に、変更後の視点で撮像された取得済みの動画像の画像データに対応する動画像を変更前の視点に対応する動画像に代えて前記表示手段に表示させる処理と、
を含むことを特徴としている。
被写体の周囲に配置された複数の撮像装置により略等しいタイミングで撮像された動画像の画像データを用いて、被写体を見る視点を移動させながら動画像を表示手段に表示させる表示制御装置のコンピュータを、
前記複数の撮像装置の配置状態を特定する配置状態特定手段、
被写体が第1の視点で撮像された動画像の画像データに対応する動画像が前記表示手段に表示されているときに、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得する取得手段、
前記操作手段により被写体を見る視点が変更された場合に、変更後の視点で撮像された前記取得手段により取得済みの動画像の画像データに対応する動画像を変更前の視点に対応する動画像に代えて前記表示手段に表示させる表示制御手段、
として機能させることを特徴としている。
図1に示すように、本実施形態の表示制御システム100は、被写体(特定の被写体)Sの周囲に配置され、無線通信回線を介して互いに情報通信可能に接続された複数の撮像装置1、…を備え、これらの撮像装置1、…が撮像動作を連携して行うことで所定の動作(例えば、ゴルフのスイング等)を行う被写体Sを略等しいタイミングで撮像する。
また、複数の撮像装置1、…は、例えば、隣合う撮像装置1どうしが被写体Sの位置を基準として略等しい角度(略等しい間隔)を有する位置関係や、被写体Sの位置を基準として略等しい距離を有する位置関係となるように配置されるのが好ましいが、当該被写体Sの位置を基準とする所定の位置関係は必ずしも正確である必要はない。
また、複数の撮像装置1、…の各々は、例えば、三脚に固定された状態となっているが、必ずしも所定位置に固定されている必要はなく、所謂、手持ちで撮像するようにしても良い。
以下に、撮像装置1について、図2及び図3を参照して説明する。
また、中央制御部101、メモリ102、撮像部103、画像データ処理部104、テーブル記憶部105、配置制御部106、視点制御部107、表示部108、記録媒体制御部109及び無線処理部111は、バスライン112を介して接続されている。
RAMは、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、撮像装置1で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
具体的には、撮像制御部103cは、電子撮像部103bの撮像領域を構成する水平方向の各走査ライン毎に所定時間ずつタイミングをずらしながら露光してフレーム画像の画像信号を生成させる。即ち、例えば、ローリングシャッタ方式のCMOS(電子撮像部103b)の場合、電子撮像部103bの垂直方向の一端(例えば、上端)から他端(例えば、下端)にかけて水平方向の各走査ライン毎に信号の読み出し(露光)を行うため、水平方向の各走査ライン毎に所定時間ずつ露光タイミングのずれたライン画像が生成される。例えば、電子撮像部103bの水平方向の隣合う走査ラインどうしは、水平方向の走査周期[ms]ずつ露光タイミングがずれた状態となる。なお、水平方向の走査周期は、水平走査周波数の逆数で表される。
即ち、例えば、所定の動作を行う被写体Sを所定の距離を空けて撮像する場合、フレーム画像内で当該被写体Sの各部(例えば、腕や足等)の位置が変化する。そこで、範囲特定部103c1は、フレーム画像内で顔検出処理や動体(動く被写体)を解析する処理を行って、当該動く被写体に対応する動きのある領域、つまり、被写体Sの各部がはみ出さずに収まる被写体範囲を特定する。
即ち、倍率調整部103c2は、撮像される被写体Sの大きさを他の撮像装置1と揃えるように撮像部103のズーム倍率を調整する。また、倍率調整部103c2は、画像データ処理部104の撮像関連情報特定部104eにより特定された当該撮像装置1の存する撮像位置、撮像方向及び画角の関係に係る撮像関連情報に基づいて、撮像部103のズーム倍率を調整する。具体的には、倍率調整部103c2は、範囲特定部103c1により特定された被写体範囲が電子撮像部103bの撮像領域からはみ出さないように撮像部103の光学ズームや電子ズーム等のズーム倍率を調整する。また、倍率調整部103c2は、被写体範囲の寸法、特に、被写体Sの顔の寸法や身長等が他の撮像装置1と略等しくなるように撮像部103のズーム倍率を調整しても良い。
例えば、マスタとなる撮像装置1Aの倍率調整部103c2は、スレーブとなる他の撮像装置1の範囲特定部103c1により特定された被写体範囲の情報を所定の無線通信回線等を介して取得し、当該マスタとなる撮像装置1Aの範囲特定部103c1により特定された被写体範囲を含む全ての被写体範囲の中で寸法が最も小さい被写体範囲を特定する。そして、倍率調整部103c2は、全ての撮像装置1の範囲特定部103c1により特定された各被写体範囲の寸法を最も小さい被写体範囲に揃えるように撮像部103のズーム倍率を調整するための制御情報を各撮像装置1の識別情報と対応付けて生成する。そして、全ての撮像装置1の倍率調整部103c2は、生成された制御情報に基づいて撮像部103のズーム倍率を調整することで、各撮像装置1により生成されるフレーム画像内から動きのある被写体Sの各部をはみ出させないようにする。
即ち、例えば、連携撮像のマスタとなる撮像装置1Aが外部光源(例えば、フラッシュ等)を所定時間発光させて消した(明滅させた)場合、連携撮像のスレーブとなった撮像装置1Bにあっては、当該外部光源の明滅タイミングに対して複数の水平方向の各走査ラインの露光タイミングは、上記した通り、水平方向の走査周期[ms]ずつ時間差が生じる。これにより、複数の水平方向の走査ラインに対応するライン画像の各々は、各走査ラインの露光タイミングと外部光源の明滅タイミングとの相対的な時間差の変化に対応して異なるタイミングで明るさ(例えば、輝度値)が変化する。従って、各走査ラインの露光タイミングと外部光源の明滅タイミングとの相対的な時間差の変化に対するライン画像毎の明るさ変化は、各走査ラインの露光条件(例えば、走査周期や走査周波数等)及び外部光源の明滅条件(例えば、フラッシュの発光時間や光量(ガイドナンバー)等)と関係付けられていると考えられる。
そこで、時間差特定部103c3は、電子撮像部103bの水平方向の各走査ラインの露光条件及び外部光源の明滅条件に基づいて、画像データ処理部104の明るさ変化検出部104a(後述)により検出されたライン画像毎の明るさ変化に対する各走査ラインの露光タイミングと外部光源の明滅タイミングとの相対的な時間差を特定する。具体的には、時間差特定部103c3は、明るさ変化検出部104aにより検出された一のフレーム画像を構成する複数のライン画像の明るさ変化に対応させて、各走査ラインの露光タイミングと外部光源の明滅タイミングとの相対的な時間差をそれぞれ特定する。
例えば、連携撮像のスレーブとなった撮像装置1Bは、マスタとなった撮像装置1Aの明るさ変化検出部104aにより特定されたトリガーラインL1のフレーム画像内の垂直方向の位置に係るライン位置情報を所定の無線通信回線を介して取得した後、時間差特定部103c3は、明るさ変化検出部104aにより特定されたズレライン画像L2及びトリガーラインL1のフレーム画像内の垂直方向の位置に基づいて、ズレライン画像L2とトリガーラインL1との間の垂直方向の画素数を算出する。そして、時間差特定部103c3は、当該画素数に電子撮像部103bの水平方向の走査周期[ms]を乗算して、ズレライン画像L2に対応する走査ラインの露光タイミングとトリガーラインL1に対応する外部光源の明滅タイミングとの相対的な時間差を特定する。
即ち、連携撮像のスレーブとなった撮像装置1Bのタイミング調整部103c4は、明るさ変化検出部104aの検出結果に応じて、所定のタイミングで明滅する外部光源の明滅タイミングに対する相対的な電子撮像部103bの撮像タイミングのズレを電子撮像部103bの水平方向の走査周期[ms]単位で調整する。具体的には、タイミング調整部103c4は、時間差特定部103c3により特定されたズレライン画像L2に対応する走査ラインの露光タイミングとトリガーラインL1に対応する外部光源の明滅タイミングとの相対的な時間差だけ電子撮像部103bの撮像タイミングをずらすことで、外部光源の明滅タイミングに対する相対的な電子撮像部103bの撮像タイミングのズレを調整する。
また、連携撮像のスレーブとなった撮像装置1Bのタイミング調整部103c4は、当該撮像制御部103cの制御下にて逐次生成されるフレーム画像毎に、外部光源の明滅タイミングに対する相対的な電子撮像部103bの撮像タイミングのズレを調整する。具体的には、タイミング調整部103c4は、外部光源が電子撮像部103bにより一定の周期で撮像されることで生成されるフレーム画像毎に、時間差特定部103c3により特定される相対的な時間差がなくなるように、電子撮像部103bの撮像タイミング及び撮像の周期のうちの少なくとも一方を調整する。
つまり、連携撮像のスレーブとなった撮像装置1Bのタイミング調整部103c4は、時間差特定部103c3により特定された相対的な時間差がなくなるように、電子撮像部103bの水平方向の走査ラインの露光(信号の読み出し)の開始ライン位置及び開始タイミングを制御する。これにより、連携撮像のスレーブとなった撮像装置1Bの撮像制御部103cは、連携撮像のマスタとなった撮像装置1AにおけるトリガーラインL1の露光タイミング(外部光源の明滅タイミング)に合わせて、電子撮像部103bの水平方向の所定の走査ラインを露光させる。
つまり、連携撮像のスレーブとなる複数の撮像装置1B、…のタイミング調整部103c4が、連携撮像のマスタとなる撮像装置1Aの撮像タイミングに合わせるように、電子撮像部103bの撮像タイミングのズレを調整するのではなく、連携撮像のマスタとなる撮像装置1Aも含めて全ての撮像装置1のタイミング調整部103c4が、各々の時間差特定部103c3により特定される相対的な時間差をなくすように電子撮像部103bの撮像タイミング及び撮像の周期のうちの少なくとも一方を調整するようにしても良い。
即ち、画像データ処理部104は、電子撮像部103bから転送されたフレーム画像のアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。そして、画像データ処理部104は、生成された所定の解像度の画像データをメモリ102に出力する。
また、画像を再生表示する場合には、画像データ処理部104は、記録媒体制御部109により記録媒体Cから読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式に従って復号して、表示制御部108bに出力する。このとき、画像データ処理部104は、読み出された画像データを、例えば、表示パネル108aの表示解像度等に基づいて所定サイズ(例えば、VGAやQVGAサイズ)に縮小して表示制御部108bに出力しても良い。
即ち、上記した通り、外部光源の明滅タイミングに対して複数の水平方向の各走査ラインの露光タイミングは、水平方向の走査周期[ms]ずつ時間差が生じる。
そこで、明るさ変化検出部104aは、複数の水平方向の各走査ライン毎の露光タイミングと外部光源を明滅させた明滅タイミングとの相対的な時間差に応じて変化するライン画像毎の輝度値の変化から明るさ変化を検出する。具体的には、明るさ変化検出部104aは、外部光源の明滅タイミングに対して相対的な時間差が異なる複数回の走査ラインの露光により得られた複数のライン画像の明るさ変化を検出する。また、明るさ変化検出部104aは、外部光源の明滅タイミングに対して相対的な時間差が異なる複数回の走査ラインの露光として、一のフレーム画像を構成する複数の異なる走査ラインの露光により得られた複数のライン画像の明るさ変化を検出する。
例えば、連携撮像のマスタとなる撮像装置1Aの明るさ変化検出部104aは、所定のフレームレートで逐次生成される各フレーム画像の画像データに基づいて、フレーム画像毎に画像全体の輝度値を算出して、時間軸に沿って前後のフレーム画像どうしの輝度値どうしを比較する。そして、明るさ変化検出部104aは、フレーム画像全体の輝度値が一つ前のフレーム画像に対して所定値以上増加したフレーム画像をトリガーフレームとして特定する。続けて、明るさ変化検出部104aは、トリガーフレームとして特定されたフレーム画像の各ライン画像毎の輝度値を一つ前のフレーム画像の対応するライン画像の輝度値と比較して、所定値以上増加したライン画像をトリガーラインL1として特定する(図9(b)参照)。
また、連携撮像のスレーブとなった撮像装置1Bの明るさ変化検出部104aは、所定のフレームレートで逐次生成される複数のフレーム画像の中で、フレーム画像全体の輝度値が一つ前のフレーム画像に対して所定値以上増加したフレーム画像を特定する。そして、明るさ変化検出部104aは、特定されたフレーム画像の各ライン画像毎の輝度値を一つ前のフレーム画像の対応するライン画像の輝度値と比較して、所定値以上増加したライン画像をズレライン画像L2として特定する(図9(a)及び図9(c)参照)。
即ち、第1画像取得部104bは、連携撮像のマスタとなる撮像装置1A及びスレーブとなる複数の撮像装置1B、…の各々の撮像部103により撮像され画像データ処理部104により生成された動画像の画像データを所定のタイミングでそれぞれ取得する。
具体的には、連携撮像のマスタとなる撮像装置1Aにあっては、第1画像取得部104bは、当該画像データ処理部104により生成された動画像の画像データを取得する。また、第1画像取得部104bは、連携撮像のスレーブとなった撮像装置1Bから所定の無線通信回線を介して送信され無線処理部111により受信された動画像の画像データを取得する。
なお、第1画像取得部104bは、撮像部103による被写体Sの撮像と並行して、即ち、画像データ処理部104により動画像を構成するフレーム画像の画像データが逐次生成される毎に当該フレーム画像を取得しても良いし、撮像部103による被写体Sの撮像の完了後に、画像データ処理部104により生成された動画像の画像データを一括して取得しても良い。
即ち、モデル特定部104cは、第1画像取得部104bにより取得された動画像の画像データに基づいて、第1関連付テーブルT1を参照して、複数のモデルデータMの中から被写体Sの種類に対応する被写体モデルのモデルデータMを特定する。具体的には、例えば、モデル特定部104cは、第1画像取得部104bにより取得された動画像の画像データに基づいて、被写体Sの動体解析を行って当該被写体Sの動作に係るスポーツの種類(例えば、ゴルフ等)を特定する。そして、モデル特定部104cは、第1関連付テーブルT1に記憶されているモデルデータMの中で、特定されたスポーツの種類に対応する被写体モデルのモデルデータMを特定する。このとき、モデル特定部104cは、被写体Sの姿勢を特定して、複数のモデルデータMの中で、特定された被写体Sの姿勢に対応する被写体モデルのモデルデータMを特定しても良い。
なお、表示部108に表示された複数の種類のスポーツの中で、ユーザによる操作入力部110の所定操作に基づいて何れか一の種類のスポーツが選択されると、モデル特定部104cは、第1関連付テーブルT1に記憶されているモデルデータMの中で、選択されたスポーツの種類に対応する被写体モデルのモデルデータMを特定するようにしても良い。
即ち、画像データ処理部104は、第1関連付テーブルT1に記憶されている複数のモデルデータM、…の中から特定の被写体の三次元の形状を示すモデルデータMを選択して取得する。例えば、画像データ処理部104は、モデル特定部104cにより特定されたモデルデータMを取得する。そして、仮想画像生成部104dは、取得されたモデルデータMと、第2画像取得部104fにより取得された隣合う二つの撮像装置1、1により撮像された動画像の画像データに基づいて、隣合う撮像装置1、1により挟まれた位置からの仮想的な仮想視点で被写体Sを仮想二次元画像の画像データを生成する。
具体的には、仮想画像生成部104dは、例えば、予め被写体Sを中心として所定の角度(例えば、90°等)で挟む位置に対応する二つの視点で見た姿勢の被写体モデルに対応する二つのモデルデータMを特定しておき、これらの各々について、各関節の位置を被写体Sの各関節位置に対応させるように修正することで、被写体Sの各関節の三次元空間における位置座標を特定する。例えば、ゴルフや野球の右投げのピッチングの場合には、被写体Sを正面から見た視点と当該被写体Sを右側方から見た視点とに対応するモデルデータMが特定され、野球の左投げのピッチングの場合には、被写体Sを正面から見た視点と当該被写体Sを左側方から見た視点とに対応するモデルデータMが特定される。
そして、仮想画像生成部104dは、特定された被写体Sの各関節の三次元空間における位置座標に基づいて、関節どうしを結ぶ骨に相当する長さを修正することで、被写体骨格モデルのデータを生成する。その後、仮想画像生成部104dは、当該被写体骨格モデルを仮想視点に対応する角度に回転させたものを二次元画像の画像データとして生成する。
また、仮想画像生成部104dは、隣合う二つの撮像装置1、1により撮像されたそれぞれの動画像の画像データに基づいて、モデルデータMに基づいて生成される仮想視点から見た二次元画像の所定領域に対応する色及びテクスチャのうちの少なくとも一方をマッピングして被写体Sを仮想視点で見た仮想二次元画像の画像データを生成する。
なお、仮想画像生成部104dは、骨格部分のみを表す仮想二次元画像のみを表示パネル108aに表示させても良いし(図14(a)参照)、当該仮想二次元画像の骨格部分を所定の配色で色分けして表示パネル108aに表示させても良い(図14(b)参照)。
即ち、撮像関連情報特定部104eは、複数の撮像装置1、…の存する撮像位置、撮像方向及び画角の関係に係る撮像関連情報を特定する。ここで、撮像装置1の存する撮像位置は、被写体Sの位置を基準とする相対的な位置を含み、被写体Sとの間の距離に相当する。また、撮像方向は、撮像部103のレンズ部103aの光軸方向と略等しい方向を含む。また、画角は、レンズ部103aの焦点距離や電子ズーム倍率等に応じて変化するものである。
また、撮像関連情報特定部104eは、撮像関連情報として、複数の撮像装置1、…の撮像タイミングの関係を含む情報を特定しても良い。複数の撮像装置1、…の撮像タイミングの関係は、複数の撮像装置1、…の各々の撮像タイミングの相対的な時間差等により規定されている。
ここで、被写体Sを見る第1の視点とは、例えば、ユーザによる操作入力部110の所定操作に基づいて指定された視点であっても良いし、デフォルトとして設定されている所定の撮像装置1(例えば、マスタとなる撮像装置1A)の視点であっても良い。
即ち、画像データ処理部104は、複数の撮像装置1、…の各々の配置と被写体Sを見る視点とが関連付けられた第2関連付テーブルT2を参照することで、複数の撮像装置1、…の配置状態を特定する。そして、第2画像取得部104fは、被写体Sが第1の視点で撮像された動画像が表示制御部108bにより表示パネル108aに表示されているときに、複数の撮像装置1、…の配置状態に基づいて、複数の撮像装置1、…のうちの第1の視点に対応する撮像装置1の周囲に配置された撮像装置1を特定し、特定された撮像装置1により撮像された動画像の画像データを取得する。つまり、第1の視点で撮像された動画像の画像データに対応する動画像の再生表示中に、第2画像取得部104fは、所定の無線通信回線を介して撮像装置1の周囲に配置された撮像装置1から動画像の画像データを取得してバッファしておく。
また、例えば、ユーザによる操作入力部110の所定操作に基づいて被写体Sを見る視点の変更指示が逐次入力されて、表示制御部108bにより変更指示に係る視点で撮像された動画像の画像データに対応する動画像を表示パネル108aに表示させる毎に、第2画像取得部104fは、複数の撮像装置1、…の配置状態に基づいて、変更後の視点に対応する撮像装置1の周囲に配置された撮像装置1を特定して、特定された撮像装置1により撮像された動画像の画像データを逐次取得する。つまり、第2画像取得部104fは、被写体Sを見る視点の変更指示に対応する撮像装置1から動画像の画像データを逐次取得して再生表示する際にも、第2画像取得部104fは、所定の無線通信回線を介して変更指示に係る視点と対応付けられた配置の撮像装置1の周囲に配置された撮像装置1から動画像の画像データを逐次取得してバッファしておく。
即ち、連携撮像のスレーブとなる複数の撮像装置1B、…は、その機種がマスタとなる撮像装置1Aと異なっていたり無線通信環境の状態によっては、マスタとなる撮像装置1Aの撮像タイミングとずれてしまい、撮像タイミングを同期させた連携撮像を行うことができない場合がある。
そこで、補間画像生成部104gは、外部光源が撮像部103により一定の周期で連続して撮像されることで生成された前後二つのフレーム画像の画像データを取得し、撮像制御部103cの時間差特定部103c3によりフレーム画像毎に特定された各走査ラインの露光タイミングと外部光源の明滅タイミングとの相対的な時間差に基づいて、当該前後二つのフレーム画像間にて外部光源の明滅タイミングに対応するタイミングの補間フレーム画像の画像データを生成する。
なお、補間フレーム画像の生成の具体的な手法としては、例えば、特開2012−080204号公報に開示されている動き補償予測を利用した手法や、前後二つのフレーム画像どうしのブレンディングを利用した手法等があげられる。具体的には、動き補償予測を利用した手法の場合、基準となるフレーム画像から補間フレーム画像までの時間差に基づいて、当該補間フレーム画像の補間タイミングに合わせるように基準となるフレーム画像の動きベクトルの大きさを補正する。例えば、前後二つのフレーム画像間の時間の1/3の時間の補間フレーム画像が欲しい場合、基準となるフレーム画像の各マクロブロックの動きベクトルを1/3にする。また、前後二つのフレーム画像どうしのブレンディングを利用した手法の場合、前後二つのフレーム画像どうしで差分をとり、差分が所定値以上の領域について、前後二つのフレーム画像から補間フレーム画像までの時間差の比率に応じて当該前後二つのフレーム画像どうしのブレンディングの比率を調整する。
モデルデータMは、被写体モデルの種類に応じて複数設けられ、被写体モデルの種類に応じて当該被写体モデルが所定の姿勢をなすデータを含む。具体的には、被写体モデルは、ヒトの骨格の代表的な部分、例えば、頭、肩、腕、脊椎、脚等が模式的に線で表されている。また、モデルデータMは、スポーツの種類に応じて被写体モデルが当該スポーツ特有の姿勢をなすモデルデータMを含む。例えば、被写体モデルの姿勢としては、所定のスポーツのフォームチェックに用いられる基本的な姿勢(例えば、ゴルフの場合には、アドレス、テイクバックのトップ、インパクト、フィニッシュ等の各種の姿勢、野球のピッチングの場合には、ワインドアップ、リフトアップ、ステップ、テイクバック、リリース、フォロースルー等の各種の姿勢等)を含んでいる。この被写体モデルの姿勢は、後述するように、仮想二次元画像の作成の際に関節位置が分かり易いような姿勢が好ましい。
また、被写体モデルを見る視点としては、被写体Sを取り囲むような複数の視点、例えば、正面から見る視点、右側方(左側方)から見る視点、斜め側方から見る視点等があげられる。つまり、被写体モデルのモデルデータMは、被写体モデルを見る複数の視点に応じて記憶されている。
複数の撮像装置1、…は、被写体Sを取り囲むように配置されているので、被写体Sに対する各撮像装置1の相対的な位置(配置)に応じて被写体Sを見る視点が必然的に異なることとなる。複数の撮像装置1、…の配置は、これら撮像装置1の並び順を示す情報を含んでいても良い。
即ち、被写体Sの周囲に任意に配置された複数の撮像装置1、…の中で、何れか一の撮像装置1を連携撮像のマスタとする場合、当該マスタとなる撮像装置1Aは、複数の撮像装置1、…のうち、当該撮像装置1の並び方向の一端(例えば、図5における右端等)に配置された撮像装置1から一端と反対側となる他端(例えば、図5における左端等)に配置された撮像装置1までを撮像して複数の画像を生成する(図5参照)。具体的には、ユーザは、マスタとなる撮像装置1Aを三脚から外して被写体Sと略同じ位置に持って行き、複数の撮像装置1、…の一端から他端までを画角内に収めるようにスライドさせながら連続して撮像して複数の画像を生成する。そして、当該マスタとなる撮像装置1Aは、連続して撮像された複数の画像を合成してパノラマ画像を生成し、画像取得部106aは、生成されたパノラマ画像を取得する。
次に、マスタとなる撮像装置1Aは、例えば、隣合う画像どうしの重なり部分(検索範囲)の領域の左端を基準として、基準から右方に等しい距離の位置にある当該隣合う画像の各々のラインどうしの類似度をSSD(Sum of Squared Differences)等を用いて算出する。
そして、マスタとなる撮像装置1Aは、類似度が最も高かった(即ち、SSDが最小であった)隣合う画像の各々のラインの端どうしを張り合わせるように当該隣合う画像の一部分の画像データどうしを合成する。
マスタとなる撮像装置1Aは、上記の各処理を全ての画像どうしについて繰り返していくことで、複数の画像を合成したパノラマ画像を生成する。
即ち、位置関係特定部106bは、被写体Sの位置を基準とする複数の撮像装置1、…の相対的な位置関係を特定する。具体的には、位置関係特定部106bは、画像取得部106aにより取得された画像、即ち、複数の撮像装置1、…のうち、連携撮像のマスタとなる何れか一の撮像装置1によりスレーブとなる他の複数の撮像装置1、…が撮像されたパノラマ画像に基づいて、複数の撮像装置1、…の相対的な位置関係を特定する。例えば、マスタとなる撮像装置1Aの位置関係特定部106bは、パノラマ画像内で撮像装置1や三脚等の所定の被写体Sを認識する処理を行って、スレーブとなる複数の撮像装置1B、…の位置やマスタとなる撮像装置1Aの位置に相当する三脚の位置を特定する。そして、位置関係特定部106bは、隣合う撮像装置1どうし(マスタとなる撮像装置1Aについては、当該撮像装置1が取付け固定される三脚と隣合う撮像装置1と)の被写体Sの位置を基準とする角度を複数の撮像装置1、…の相対的な位置関係として特定する。また、位置関係特定部106bは、パノラマ画像内での各撮像装置1や三脚等の寸法(画素数)を算出して、これら各撮像装置1や三脚の位置までの被写体Sの位置からの距離を複数の撮像装置1、…の相対的な位置関係として特定する。
また、位置関係特定部106bは、画像取得部106aにより各撮像装置1から動画像の画像データを取得する際に、複数の撮像装置1、…のうちの何れの撮像装置1から取得した画像データであるかを識別するための識別情報と、各撮像装置1の配置されている位置または順番を示す情報とを関連付けることで、複数の撮像装置1、…の相対的な位置関係を特定しても良い。
上記の識別情報は、各々の撮像装置1とマスタとなった撮像装置1Aとの間で各種データ(制御情報や画像データ)の送受信を行う場合などに、送信元と送信先を示す情報として送受信されるデータとともに送信され、当該データがどの撮像装置1の間で送受信されるものかを互いに認識するために使用されるものである。
即ち、ズレ量特定部106cは、位置関係特定部106bにより特定された複数の撮像装置1、…の相対的な位置関係に基づいて、当該複数の撮像装置1、…の配置の第1の視点から第2の視点までの視点の移動速度が一定の速度となるような所定の位置関係に対する各撮像装置1の配置のズレ量を特定する。例えば、マスタとなる撮像装置1Aのズレ量特定部106cは、隣合う撮像装置1どうしが被写体Sの位置を基準として略等しい角度に配置される基準状態に対しての、位置関係特定部106bにより特定された複数の撮像装置1、…の配置のズレ量(例えば、ズレている角度や間隔等)を算出する。そして、ズレ量特定部106cは、算出されたズレ量を修正するための修正情報を撮像装置1の識別情報と対応付けて生成する。
即ち、視点移動方法指定部107aは、表示制御部108bの第1制御部108b2の制御下にて表示される動画像の時間進行を一時停止させた後に被写体Sを見る視点の移動を行う第1移動方法と、動画像の時間進行を一時停止させることなく被写体Sを見る視点の移動を行う第2移動方法のうち、何れか一の方法を指定する。具体的には、ユーザによる操作入力部110の所定操作に基づいて、第1移動方法及び第2移動方法のうちの何れか一の方法が選択されると、視点移動方法指定部107aは、選択された一の方法を被写体Sを見る視点の移動方法として指定する。
なお、視点移動方法指定部107aは、第1移動方法及び第2移動方法のうち、予めデフォルトとして設定されている一の方法(例えば、第1移動方法等)を視点の移動方法として指定しても良い。
即ち、視点判定部107bは、ユーザによる操作入力部110の所定操作に基づいて入力された視点の移動指示に係る第2の視点の位置が複数の撮像装置1、…の各々の存する位置と異なるか否かを判定する。具体的には、例えば、ユーザによる操作入力部110の所定操作に基づいて視点の移動指示が入力されると、視点判定部107bは、第2関連付テーブルT2を参照して、入力された視点の移動指示に係る第2の視点の位置が複数の撮像装置1、…の各々の存する位置と異なるか否かを判定する。
即ち、視点移動制御部107cは、位置関係特定部106bにより特定された被写体Sの位置を基準とする複数の撮像装置1、…の相対的な位置関係に基づいて、表示制御部108bの第2制御部108b3の制御下にて第2の視点に対応する動画像を表示させる際の第1の視点から第2の視点までの視点の移動速度が略一定の速度となるように、つまり、滑らかな視点移動を行うように制御する。
具体的には、視点移動制御部107cは、撮像関連情報特定部104eにより特定された、複数の撮像装置1、…の存する撮像位置、撮像方向及び画角の関係に係る撮像関連情報に基づいて、第1の視点から第2の視点までの視点の移動速度が略一定の速度となるように、撮像部103の光学ズーム倍率や電子ズーム倍率等のズーム倍率を調整する倍率調整部103c2の動作を制御する。
また、視点移動制御部107cは、撮像関連情報特定部104eにより特定された撮像関連情報の複数の撮像装置1、…の撮像タイミングの関係に基づいて、表示される動画像の時間進行を一時停止させることなく視点を移動させる際の視点の移動速度が略一定の速度となるように、電子撮像部103bの撮像タイミングを制御するタイミング調整部103c4の動作を制御する。
また、連携撮像のマスタとなる撮像装置1Aにあっては、視点移動制御部107cは、被写体Sの撮像後に、第2の視点に対応するスレーブとなった撮像装置1Bにより撮像され、第1画像取得部104bにより取得された動画像の画像データのうち、撮像タイミングが当該マスタとなる撮像装置1Aの撮像タイミングに対してズレているフレーム画像を特定する。そして、視点移動制御部107cは、特定されたフレーム画像の前後のフレーム画像を用いてマスタとなる撮像装置1Aの撮像タイミングに対応する補間フレーム画像の画像データを補間画像生成部104gに生成させる。
そして、視点移動制御部107cは、補間画像生成部104gにより生成された補間フレーム画像を第2制御部108b3により表示パネル108aに表示させる。
一方、視点の移動方法として、動画像の時間進行を一時停止させることなく被写体Sを見る視点の移動を行う第2移動方法が指定された状態で、視点移動制御部107cは、第2制御部108b3により第2の視点に対応する動画像を表示させる際に、表示される第1の視点及び第2の視点に対応する動画像の時間進行を一時停止させることなく、第1の視点から第2の視点まで視点を移動させるように表示制御部108bを制御する。
そして、視点移動制御部107cは、補間画像生成部104gにより生成された補間フレーム画像を第2制御部108b3により表示パネル108aに表示させる。
表示パネル108aは、表示領域内に画像を表示する。また、表示パネル108aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
即ち、案内表示制御部108b1は、位置関係特定部106bにより特定された複数の撮像装置1、…の相対的な位置関係に基づいて、複数の撮像装置1、…の配置を第1の視点から第2の視点までの視点の移動速度が一定の速度となるような所定の位置関係を有する配置とするための案内表示を表示パネル108aに表示させる制御を行う。具体的には、案内表示制御部108b1は、複数の撮像装置1、…のうち、隣合う撮像装置1どうしが被写体Sの位置を基準として略等しい角度となるように当該複数の撮像装置1、…の配置を修正するための案内表示を表示パネル108aに表示させる。
例えば、スレーブとなった撮像装置1Bにあっては、マスタとなった撮像装置1Aから所定の無線通信回線を介して送信された修正情報を無線処理部111により受信して、案内表示制御部108b1は、受信された修正情報、即ち、マスタとなった撮像装置1Aのズレ量特定部106cにより特定された各撮像装置1の配置のズレ量に係る修正情報に基づいて、当該ズレを補正するための案内表示(例えば、「右に50cm移動させて下さい。」等)を表示パネル108aに表示させる制御を行う。
即ち、第1制御部108b2は、画像データ処理部104の第1画像取得部104bにより取得された動画像の画像データに基づいて、被写体Sを第1の視点で見た動画像を表示パネル108aに表示させる。具体的には、第1制御部108b2は、第1画像取得部104bにより取得された複数の撮像装置1、…に対応する動画像の画像データの中で、被写体Sを第1の視点で見た動画像の画像データを特定して、当該画像データに基づいて動画像を表示パネル108aに表示させる。
即ち、第2制御部108b3は、第2画像取得部104fにより取得された動画像の画像データの中で、ユーザによる操作入力部110の所定操作に基づいて入力された変更指示に係る第2の視点で撮像された動画像の画像データを特定して、当該動画像の画像データに対応する動画像を表示パネル108aに表示させる。つまり、第2制御部108b3は、ユーザによる操作入力部110の所定操作に基づいて被写体を見る視点を何れかの撮像装置1に対応する位置に変更する変更指示が入力された場合に、変更後の視点で撮像された第2画像取得部104fにより取得済みの動画像の画像データに対応する動画像を変更前の視点に対応する動画像に代えて表示パネル108aに表示させる。
具体的には、視点の移動方法として、動画像の時間進行を一時停止させた後に被写体Sを見る視点の移動を行う第1移動方法が指定された状態で、第2制御部108b3は、逐次入力される変更指示に基づいて被写体Sを見る視点が逐次変化する場合に、ユーザによる操作入力部110の所定操作や変更指示の入力が所定時間継続して行われなかった場合等に、被写体Sを見る視点が確定したと判定する。そして、第2制御部108b3は、確定された視点で撮像された動画像の画像データに対応する動画像の表示パネル108aによる再生表示を再開させる。
一方、視点の移動方法として、動画像の時間進行を一時停止させることなく被写体Sを見る視点の移動を行う第2移動方法が指定された状態で、第2制御部108b3は、表示パネル108aにより被写体Sを第1の視点で見た動画像を再生表示中に、ユーザによる操作入力部110の所定操作に基づいて変更指示が入力されると、第2画像取得部104fにより取得され、メモリ102に一時的に記憶されている第1の視点に対応する撮像装置1の周囲に配置された撮像装置1により撮像された動画像の画像データの中で、入力された変更後の視点で撮像された動画像の画像データを特定する。そして、第2制御部108b3は、特定された動画像の画像データに対応する動画像を視点の変更前に継続的に再生表示されていた動画像に代えて表示パネル108aに継続的に再生表示させる。
即ち、第2制御部108b3は、ユーザによる操作入力部110の所定操作に基づいて被写体を見る視点が隣合う撮像装置1、1により挟まれた位置からの仮想的な仮想視点に変更する変更指示が入力された場合に、この仮想視点に対応して仮想画像生成部104dにより生成された仮想二次元画像の画像データに基づいて、被写体Sを仮想視点で見た動画像を表示パネル108aに表示させる。具体的には、視点の移動方法として、動画像の時間進行を一時停止させた後に被写体Sを見る視点の移動を行う第1移動方法が指定された状態で、第2制御部108b3は、仮想二次元画像の画像データに基づいて、被写体Sを仮想視点で見た動画像を表示パネル108aに表示させる。例えば、第2制御部108b3は、第1制御部108b2により表示される動画像内の被写体Sが予めスポーツの種類毎に規定された特定の姿勢(例えば、ゴルフの場合には、テイクバックのトップ等)となった場合に、当該動画像の時間進行を一時停止させた後、被写体Sを仮想視点で見た動画像を表示パネル108aに表示させるようにしても良い。
即ち、記録媒体制御部109は、画像データ処理部104の符号化部(図示略)により所定の圧縮形式(例えば、モーションJPEG形式、MPEG形式等)で符号化された記録用のフレーム画像からなる動画像の画像データを記録媒体Cの所定の記録領域に記録させる。
なお、記録媒体Cは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。
具体的には、操作入力部110は、例えば、装置本体の電源のON/OFFに係る電源ボタン、被写体Sの撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン(何れも図示略)等の操作部を備えている。また、操作入力部110は、ユーザによる操作部の各ボタンの所定操作に応じて所定の操作信号を中央制御部101に出力する。例えば、操作入力部110は、ユーザによる操作部の所定操作に応じて、被写体Sを見る第1の視点を指定する操作信号や、被写体Sを見る視点を第1の視点から第2の視点(仮想視点を含む)に変更する操作信号等を中央制御部101に出力する。
そして、中央制御部101のCPUは、操作入力部110から出力された所定の操作信号が入力されると、当該所定の操作信号に従って撮像装置1の各部を制御する。
即ち、無線処理部111は、所定の通信回線を介して通信する通信手段を構成している。具体的には、無線処理部111は、例えば、外部のアクセスポイント(固定基地局)を経由せずに直接他の撮像装置1の無線処理部111との間で無線通信回線を構築するPeer to Peer(アドホックモード)で動作する。例えば、無線処理部111は、無線LANモジュール等から構成され、無線通信可能範囲内に存する他の撮像装置1の無線処理部111との間で無線LAN(Local Area Network)等の所定の無線通信回線を介して信号の送受信を行う。
このとき、無線処理部111は、例えば、当該無線通信回線の通信方式、暗号化情報、チャンネル、IPアドレス等の各種情報を他の撮像装置11の無線処理部111に送信する。
即ち、マスタとなる撮像装置1Aの第1送信制御部111aは、ズレ量特定部106cにより特定された各撮像装置1の配置のズレ量に係る修正情報を対応する撮像装置1に所定の無線通信回線を介して送信する。
即ち、マスタとなる撮像装置1Aの第1送信制御部111aは、撮像関連情報特定部104eにより特定された撮像関連情報の複数の撮像装置1、…の撮像タイミングの関係に基づいて、各撮像装置1の撮像タイミングを一致させるための制御情報を対応する撮像装置1に所定の通信回線を介して送信する。
また、無線処理部111は、例えば、記録媒体Cに内蔵された構成であっても良いし、当該装置本体に所定のインタフェース(例えば、USB(Universal Serial Bus)等)を介して接続された構成であっても良い。
また、無線通信回線は、無線LAN(Local Area Network)に限られるものではなく、例えば、ブルートゥース(Bluetooth:登録商標)、WAN(Wide Area Network)等の様々な回線形態を適用しても良い。
次に、表示制御システム100による配置処理について、図4及び図5を参照して説明する。
なお、複数(例えば、7つ等)の撮像装置1、…は、被写体Sの位置(実際に被写体Sが存在しているか否かは問わない)を中心とし、被写体Sから見て右側方から左前方にかけて当該被写体Sを取り囲むように任意の位置に配置されているものとする。また、各撮像装置1は、予め高さを揃えた三脚に固定されているものとする。また、複数の撮像装置1、…どうしは、所定の無線通信回線を介して情報通信可能に接続されているものとする。
続けて、配置制御部106のズレ量特定部106cは、位置関係特定部106bにより特定された複数の撮像装置1、…の相対的な位置関係に基づいて、隣合う撮像装置1どうしが被写体Sの位置を基準として略等しい角度に配置される基準状態に対する複数の撮像装置1、…の配置のズレ量(例えば、ズレている角度や間隔等)を算出して特定する(ステップS5)。そして、ズレ量特定部106cは、特定された各撮像装置1の配置のズレ量について所定の基準範囲以内に収まっているか否かを判定する(ステップS6)。
ここで、ズレ量が所定の基準範囲以内に収まっていないと判定(ステップS6;NO)された配置の撮像装置1について、ズレ量特定部106cは、ズレ量を修正するための修正情報を当該撮像装置1の識別情報と対応付けて生成する(ステップS7)。
これにより、ユーザは、案内表示に従って撮像装置1やマスタの三脚の配置を修正する。
このようにして、複数の撮像装置1、…の並び順が決定され、各撮像装置1は自己の配置された位置を認識する。また、マスタとなった撮像装置1Aは、全ての撮像装置1の識別情報と配置された位置との関係を関連付けて認識する。
これにより、配置処理を終了する。
複数の撮像装置1、…は、例えば、「このカメラは左から1番目のカメラです」といった案内表示を表示パネル108aに表示する(図6参照)。この状態で、被写体Sから見て最も左に配置される撮像装置1の操作入力部110がユーザにより所定の登録操作されることで、当該撮像装置1が被写体Sから見て最も左に配置されている1番目の撮像装置1として登録される。そして、この1番目の撮像装置1の識別情報と、1番目(最も左)を示す情報とが関連付けられて、1番目の撮像装置1からマスタとなった撮像装置1Aへと送信される。
その後、一つ前に登録された撮像装置1の隣りに配置される撮像装置1の操作入力部110がユーザにより所定操作されることで、「このカメラは左から2番目のカメラです」といった内容の表示に変更される。その後、操作入力部110がユーザにより所定の登録操作されることで、当該撮像装置1が被写体Sから見て左から二つに配置されている2番目の撮像装置1として登録される。そして、この2番目の撮像装置1の識別情報と、2番目(左から二つ目)を示す情報とが関連付けられて、2番目の撮像装置1からマスタとなった撮像装置1Aへと送信される。この識別情報は、各々の撮像装置1とマスタとなった撮像装置1Aとの間で各種データ(制御情報や画像データ)の送受信を行う場合などに、送信元と送信先を示す情報として送受信されるデータとともに送信され、当該データがどの撮像装置の間で送受信されるものかを互いに認識するために使用されるものである。
上記の処理が全ての撮像装置1で繰り返し実行されることで、全ての撮像装置1の並び順を決定し、各々の撮像装置1が自己の配置された位置を認識するとともに、マスタとなった撮像装置1Aが全ての撮像装置1の識別情報と配置された位置との関係を関連付けて認識するようにしても良い。その後、各撮像装置1を決定された並び順どおりに三脚に据え付けて仮配置を完了する。
仮配置後に、上記実施形態の配置処理におけるステップS3以降の各処理が行われることで、複数の撮像装置1、…の配置を決定する。
例えば、複数の撮像装置1、…のうち、ユーザにより選択された何れか一の撮像装置1をマスタとして設定した後、マスタとなった撮像装置1Aは、検索された周囲の撮像装置1の個数分のアイコンを所定の配置態様(例えば、半円状等)で配置して表示パネル108aに表示する。
そして、マスタとなった撮像装置1Aは、被写体Sから見て最も左に配置された撮像装置1に対応するアイコンを強調表示しながら、例えば、「左端の撮像装置1のシャッタを押してください」といった案内表示を表示パネル108aに表示する。ここで、複数の撮像装置1、…のうち、実際にシャッタが操作された撮像装置1が被写体Sから見て最も左に配置されている1番目の撮像装置1として登録される。その後、マスタとなった撮像装置1Aは、登録された撮像装置1に対応するアイコンの色を変えて登録済みであることを表示パネル108aに表示する。
上記の処理が全ての撮像装置1で繰り返し実行されることで、全ての撮像装置1の並び順を決定するようにしても良い。これにより、マスタとなった撮像装置1Aは、全ての撮像装置1の識別情報と配置された位置との関係を関連付けて認識する。また、マスタとなった撮像装置1Aは、複数の撮像装置1、…の並び順を示す情報を各撮像装置1の識別情報と対応付けて送信することで、各々の撮像装置1が自己の配置された位置を認識する。
複数の撮像装置1、…をその表示パネル108aが一方向側から全て見えるような状態に配置した後、例えば、左端の撮像装置1をマスタとし、マスタとなった撮像装置1Aは、当該撮像装置1の周囲の撮像装置1を検索して各撮像装置1の識別情報と対応付けて記憶する。その後、スレーブとなった撮像装置1Bは、他の撮像装置1と異なる特有の模様を表示パネル108aに表示する。
マスタとなった撮像装置1Aは、スレーブとなった撮像装置1Bの表示パネル108aに表示されている特有の模様を撮像して、撮像された画像を認識することで当該模様の並びを特定することで、スレーブとなった撮像装置1Bの並びを認識するようにしても良い。そして、マスタとなった撮像装置1Aは、自己を1番目とする並び順に相当する番号(例えば、一つ隣りの撮像装置1は2番目の撮像装置1等)を対応する撮像装置1に送信する。
このようにして、複数の撮像装置1、…の並び順が決定され、各撮像装置1は自己の配置された位置を認識する。また、マスタとなった撮像装置1Aは、全ての撮像装置1の識別情報と配置された位置との関係を関連付けて認識する。
なお、複数の撮像装置1、…のうち、並びの端に存する撮像装置1以外の撮像装置1をマスタとしても良く、この場合には、当該マスタとなった撮像装置1Aが存する位置は空白となるため、これにより、自己の撮像装置1の位置を認識するようにしても良い。
複数の撮像装置1、…を撮像部103で前の撮像装置1の表示パネル108aを撮像できるように略一列に配置する。そして、先頭の撮像装置1は、ユーザによりシャッタが操作されると、自己が一番目であることを示す案内表示を表示パネル108aに表示する。2番目の撮像装置1は、一番目の撮像装置1の案内表示を撮像して、自己が二番目であること認識して、その旨を示す案内表示各々を表示パネル108aに表示する。
上記の処理が最後の撮像装置1まで繰り返し実行された後、先頭の撮像装置1のシャッタがユーザにより再度操作されることで、並び順を決定する処理を終了する。
また、複数の撮像装置1、…は、当該処理が終了したことを示す案内表示を表示パネル108aに順次表示したり、先頭の撮像装置1が、所定の無線通信回線を介して当該処理が終了したことを示す情報を送信することで、各撮像装置1に当該処理の終了を認識させる。
このようにして、複数の撮像装置1、…の並び順が決定され、各撮像装置1は自己の配置された位置を認識する。また、各撮像装置1は、自己を識別するための識別情報を何れか一(例えば、先頭)の撮像装置1に送信することで、当該撮像装置1はマスタとして、全ての撮像装置1の識別情報と配置された位置との関係を関連付けて認識する。
複数の撮像装置1、…が所定の位置に配置された後、各撮像装置1は、他の撮像装置1と異なる特有の模様を表示パネル108aに表示する。複数の撮像装置1、…のうち、何れか一の撮像装置1をマスタとし、マスタとなった撮像装置1Aは、これらの特有の模様を撮像装置1の並びに従って順次撮像していき、撮像した順序で並び順を認識する。そして、マスタとなった撮像装置1Aが、所定の無線通信回線を介して複数の撮像装置1、…の並び順を示す情報を送信することで、各撮像装置1に並び順を認識させる。
このようにして、複数の撮像装置1、…の並び順が決定され、各撮像装置1は自己の配置された位置を認識する。また、マスタとなった撮像装置1Aは、全ての撮像装置1の識別情報と配置された位置との関係を関連付けて認識する。
複数の撮像装置1、…を所定の配置態様(例えば、半円状等)で配置した後、一端の撮像装置1の向きを他の撮像装置1全体が画角に入るような向きにする。そして、一端の撮像装置1は、所定の無線通信回線を介して他の撮像装置1に対して順次フラッシュの発光を要求する。一端の撮像装置1は、所定の順序でフラッシュを発光する他の撮像装置1を撮像して他の撮像装置1の位置を認識することで、各撮像装置1の並び順を認識する。
これにより、一端の撮像装置1はマスタとして、全ての撮像装置1の識別情報と配置された位置との関係を関連付けて認識する。また、マスタとなった撮像装置1Aは、複数の撮像装置1、…の並び順を示す情報を各撮像装置1の識別情報と対応付けて送信することで、各々の撮像装置1が自己の配置された位置を認識する。
被写体Sの周囲に配置された複数の撮像装置1、…のうち、一端の撮像装置1の撮像部103に所定の姿勢(例えば、Vサイン等)をとった被写体S(特に、顔等)を正対させる。そして、被写体Sが所定の姿勢を維持した状態で、複数の撮像装置1、…のうちの一端と反対となる他端の撮像装置1側まで体の向きを変えていく。各撮像装置1は、被写体Sが向きを変え始めてから当該撮像装置1に正対するまでの時間を計時していく。複数の撮像装置1、…の位置に応じて計時される時間が異なるため、当該時間に応じて一端からの撮像装置1の並び順が特定される。
このようにして、複数の撮像装置1、…の並び順が決定され、各撮像装置1は自己の配置された位置を認識する。また、各撮像装置1は、自己を識別するための識別情報を何れか一(例えば、一端)の撮像装置1に送信することで、当該撮像装置1はマスタとして、全ての撮像装置1の識別情報と配置された位置との関係を関連付けて認識する。
三脚に固定された複数の撮像装置1、…を被写体Sを中心として仮配置した後、並びの略中央の撮像装置1をマスタとして選択し、マスタとなった撮像装置1Aは、当該撮像装置1の周囲の撮像装置1を検索して各撮像装置1の識別情報と対応付けて記憶する。その後、マスタとなった撮像装置1Aを三脚から取り外して、被写体Sの位置まで移動させた後、一端の撮像装置1からマスタの三脚までを画角内に入れた後、所定の無線通信回線を介して他の撮像装置1に対して順次フラッシュの発光を要求する。マスタとなった撮像装置1Aは、所定の順序でフラッシュを発光する他の撮像装置1を撮像して他の撮像装置1の位置を認識することで、各撮像装置1の並び順を認識する。また、マスタとなった撮像装置1Aは、フラッシュの位置から複数の撮像装置1、…の位置を特定して、これら複数の撮像装置1、…を略等しい間隔で配置するための配置の修正情報を生成し、所定の無線通信回線を介して配置の修正が必要な撮像装置1に対して修正情報を送信する。修正情報を受信した撮像装置1は、例えば、「撮像装置1を右に移動してください」といった案内表示を表示パネル108aに表示する。
マスタとなった撮像装置1Aは、自己の表示パネル108aに複数の撮像装置1、…が略等しい間隔に配置された状態を半透過の状態で表示する。そして、マスタとなった撮像装置1Aは、配置が修正された撮像装置1の位置を認識して、誤差が所定範囲に入ったら、「OK」を表示するとともに、各撮像装置1にも送信する。
また、マスタとなった撮像装置1Aは、マスタの三脚から反対側の撮像装置1についても上記と略同様の処理を行う。
このようにして、複数の撮像装置1、…の並び順が決定され、各撮像装置1は自己の配置された位置を認識する。また、マスタとなった撮像装置1Aは、全ての撮像装置1の識別情報と配置された位置との関係を関連付けて認識する。
次に、表示制御システム100による撮像同期処理について、図7〜図9を参照して説明する。
ここで、撮像同期処理は、配置処理の後に行われる処理である。複数(例えば、7つ等)の撮像装置1は、被写体Sの位置を中心とし、被写体Sから見て右側方から左前方にかけて当該被写体Sを取り囲むように所定の位置に配置されているものとする。また、各撮像装置1は、予め高さを揃えた三脚に固定されているものとする。また、複数の撮像装置1、…どうしは、所定の無線通信回線を介して情報通信可能に接続されているものとする。
また、無線処理部111は、ユーザによる操作入力部110のシャッタボタンの所定操作をトリガーとして、同期信号をスレーブとなった他の撮像装置1に対して所定の無線通信回線を介して送信する(ステップS23;図8参照)。
スレーブとなった他の撮像装置1にあっては、マスタとなった撮像装置1Aから送信された同期信号が無線処理部111により受信されると、撮像部103による被写体Sの撮像を開始する(ステップS24)。被写体Sの撮像の具体的な処理内容は、上記したステップS12における処理と略同様であり、詳細な説明は省略する。
具体的には、マスタとなった撮像装置1Aの無線処理部111は、明るさ変化検出部104aにより特定されたトリガーラインL1のフレーム画像内の垂直方向の位置に係るライン位置情報を所定の無線通信回線を介してスレーブとなった他の撮像装置1に対して送信する。その後、スレーブとなった各撮像装置1Bにあっては、無線処理部111は、マスタとなった撮像装置1Aから送信されたライン位置情報を受信する。そして、時間差特定部103c3は、明るさ変化検出部104aにより特定されたズレライン画像L2及びトリガーラインL1のフレーム画像内の垂直方向の位置に基づいて、ズレライン画像L2とトリガーラインL1との間の垂直方向の画素数を算出し、算出された画素数に電子撮像部103bの水平方向の走査周期[ms]を乗算して、ズレライン画像L2に対応する走査ラインの露光タイミングとトリガーラインL1に対応する外部光源の明滅タイミングとの相対的な時間差を特定する。
これにより、複数の撮像装置1、…の撮像部103の撮像タイミングが同期した状態となる。
次に、表示制御システム100による骨格モデル生成処理について、図10及び図11を参照して説明する。
なお、複数の撮像装置1、…の各記録媒体Cには、予め被写体Sが所定の動作(例えば、ゴルフのスイング等)を行った際に撮像された動画像の画像データが記録されているものとする。また、複数の撮像装置1、…どうしは、所定の無線通信回線を介して情報通信可能に接続されているものとする。
次に、第1関連付テーブルT1に規定されている複数のスポーツの中で、ユーザによる操作入力部110の所定操作に基づいて何れか一の種類のスポーツ(例えば、ゴルフ等)が選択されると、モデル特定部104cは、第1関連付テーブルT1に記憶されているモデルデータMの中で、選択されたスポーツの種類に対応する被写体モデルのモデルデータMを特定する(ステップS42)。
次に、表示制御部108bは、モデル特定部104cにより特定された被写体モデルのモデルデータMのうち、被写体モデルを正面から見た視点に対応するモデルデータMを第1関連付テーブルT1から取得して、一時停止状態の所定の基本的な姿勢の被写体Sに重畳させて表示させる(ステップS44;図11(a)参照)。
このとき、表示制御部108bは、所定の基本的な姿勢の被写体Sの頭及び足先の位置と略一致させるように被写体モデルのモデルデータMの縮尺を調整しても良い。
ここで、関節位置の修正の完了が指示されていないと判定されると(ステップS46;NO)、仮想画像生成部104dは、処理をステップS45に戻し、関節位置の修正を受け付ける。
一方、関節位置の修正の完了が指示されたと判定されると(ステップS46;YES)、第2画像取得部104fは、被写体Sの右側面の撮像装置1により撮像された同時刻のフレーム画像の画像データを取得する(ステップS47)。具体的には、第2画像取得部104fは、第2関連付テーブルT2を参照して、被写体Sの右側面の撮像装置1を特定し、当該撮像装置1により一時停止状態の所定の基本的な姿勢の被写体Sと略同時刻の撮像タイミングで撮像されたフレーム画像の画像データを所定の無線通信回線を介して取得する。
次に、ユーザによる操作入力部110の所定操作に基づいて関節の位置の修正モードが指定されると、仮想画像生成部104dは、ユーザによる操作入力部110の所定操作に基づいて、被写体モデルのモデルデータMの各関節の位置を被写体Sの各関節位置に対応させるように修正する(ステップS49)。
ここで、関節位置の修正の完了が指示されていないと判定されると(ステップS50;NO)、仮想画像生成部104dは、処理をステップS49に戻し、関節位置の修正を受け付ける。
一方、関節位置の修正の完了が指示されたと判定されると(ステップS50;YES)、仮想画像生成部104dは、被写体Sを正面から見た視点に対応する当該被写体Sの各関節位置及び被写体Sを右側面から見た視点に対応する当該被写体Sの各関節位置に基づいて、被写体Sの各関節の三次元空間における位置座標を特定する(ステップS51)。
そして、仮想画像生成部104dは、特定された被写体Sの各関節の三次元空間における位置座標に基づいて、関節どうしを結ぶ骨に相当する長さを修正して、被写体骨格モデルのデータを生成する(ステップS52)。
ここで、被写体骨格モデルの形状にズレがあった場合には、仮想画像生成部104dは、ユーザによる操作入力部110の所定操作に基づいて骨の長さの微調整を行う。
次に、表示制御システム100による自由視点再生処理について、図12〜図15を参照して説明する。
なお、複数の撮像装置1、…の各記録媒体Cには、予め被写体Sが所定の動作(例えば、ゴルフのスイング等)を行った際に撮像された動画像の画像データが記録されているものとする。また、複数の撮像装置1、…どうしは、所定の無線通信回線を介して情報通信可能に接続されているものとする。
ここで、第1移動方法は、再生表示される動画像の時間進行を一時停止させた後に被写体Sを見る視点の移動を行う方法であり、第2移動方法は、再生表示される動画像の時間進行を一時停止させることなく被写体Sを見る視点の移動を行う方法である。
続けて、第1移動方法及び第2移動方法のうち、視点移動方法指定部107aにより指定された視点の移動方法に応じて処理を分岐させる(ステップS64)。
図13に示す第1移動方法では、先ず、動画像の再生表示中に、ユーザが他の視点から見てみたいシーンに来たところで、ユーザによる操作入力部110の所定操作に基づいて再生表示を一時停止させる指示が入力されると(ステップS71)、第1の視点に対応する撮像装置1の無線処理部111は、一時停止した時点を指示する信号を所定の無線通信回線を介して他の撮像装置1に送信する(ステップS72)。
その後、被写体Sを見る視点の変更後の視点(第2の視点)が確定されると(ステップS75)、第2制御部108b3は、確定された視点に対応する撮像装置1により撮像された動画像の画像データに対応する動画像の表示パネル108aによる再生表示を再開させる(ステップS76)。具体的には、第1の視点に対応する撮像装置1の無線処理部111は、一時停止した時点以降のフレーム画像の画像データの送信指示を所定の無線通信回線を介して第2の視点に対応する撮像装置1に送信する。そして、第2の視点に対応する撮像装置1にあっては、第1の撮像装置1から送信された送信指示が無線処理部111により受信されると、画像データ処理部104は、記録媒体Cに記録されている動画像の中で、一時停止した時点以降に対応するフレーム画像を特定して、無線処理部111は、画像データ処理部104により特定されたフレーム画像の画像データを所定の無線通信回線を介して第1の視点に対応する撮像装置1に送信する。そして、第1の視点に対応する撮像装置1にあっては、第2制御部108b3は、無線処理部111により受信されたフレーム画像の画像データに基づいて、一時停止した時点以降に対応するフレーム画像を表示パネル108aに再生表示させる。
そして、動画像の再生表示を終了する指示が入力されていないと判定されると(ステップS77;NO)、中央制御部101のCPUは、処理をステップS71に戻し、それ以降の各処理の実行を制御する。
図15に示す第2移動方法では、先ず、動画像の再生表示中に、画像データ処理部104の第2画像取得部104fは、第2関連付テーブルT2を参照して、複数の撮像装置1、…のうちの当該第1の視点に対応する撮像装置1の両隣りに配置された二つの撮像装置1、1を特定し、当該撮像装置1により撮像された動画像を構成するフレーム画像の画像データを取得する(ステップS81)。具体的には、無線処理部111は、第2画像取得部104fにより特定され二つの撮像装置1、1に対してフレーム画像の送信指示を所定の無線通信回線を介して送信する。二つの撮像装置1の各々にあっては、第1の視点に対応する撮像装置1から送信されたフレーム画像の送信指示が無線処理部111により受信されると、画像データ処理部104は、記録媒体Cに記録されている動画像の中で、再生時刻から所定枚数分のフレーム画像を特定して、無線処理部111は、画像データ処理部104により特定された所定枚数分のフレーム画像の画像データを所定の無線通信回線を介して第1の視点に対応する撮像装置1に送信する。そして、第1の視点に対応する撮像装置1の第2画像取得部104fは、二つの撮像装置1の各々から送信されたフレーム画像の画像データを取得して、メモリ102に一時的に記憶させる。
なお、図15にあっては、再生中の動画像の画像データを黒で塗り潰した矢印で表し、一時的に記憶した動画像の画像データを破線付きの矢印で表している。また、白抜きの矢印は、一時的に記憶した動画像の画像データが再生されることを模式的に表している。
次に、第2画像取得部104fは、第2関連付テーブルT2を参照して、複数の撮像装置1、…のうちの第2の視点に対応する撮像装置1の両隣りに配置された二つの撮像装置1を特定し、当該撮像装置1により撮像された動画像を構成するフレーム画像の画像データを取得する(ステップS83)。ここでのフレーム画像の画像データの具体的な取得方法は、上記したステップS81における処理と略同様であり、その詳細な説明は省略する。
また、複数の撮像装置1、…の各々は、自由視点再生処理の前に、予め他の撮像装置1により撮像された各視点に対応する動画像の画像データを取得しておくようにしても良く、これにより、全ての撮像装置1により撮像された動画像の画像データの取得に時間が要するものの、視点の切り替え自体をより高速に行うことができる。
そして、被写体を見る視点の確定後に、当該視点で撮像された動画像の画像データに対応する動画像の表示部108による再生表示を再開させるので、被写体を見る視点の変更の操作中に動画像が再生されてしまうことを防止して、視点の確定後には変更の操作の際に一時停止した時点から再生表示することができる。
上記実施形態にあっては、仮想視点に対応する補間画像の生成を第1の視点に対応する撮像装置1により行うようにしたが、仮想視点に対応する位置を挟む二つの撮像装置1、1のうち、少なくとも一方の撮像装置1により分担して行っても良い。
即ち、第1の視点に対応する撮像装置1にあっては、無線処理部111は、二つの撮像装置1、1のうち、少なくとも一方の撮像装置1に対して、当該二つの撮像装置1、1により撮像された動画像の画像データに基づいて補間画像を生成する生成指示を所定の無線通信回線を介して送信する。隣合う二つの撮像装置1、1のうち、少なくとも一方の撮像装置1にあっては、補間画像生成部104gは、第1の視点に対応する撮像装置1から送信された生成指示の入力に基づいて、当該隣合う二つの撮像装置1、1のうちの他方の撮像装置1により撮像された動画像の画像データを取得して、当該動画像の画像データと一方の撮像装置1により撮像された動画像の画像データに基づいて補間画像の画像データを生成する。その後、無線処理部111は、補間画像生成部104gにより生成された補間画像の画像データを所定の無線通信回線を介して第1の撮像装置1に対して送信する。
これにより、第1の視点に対応する撮像装置1の処理に係る負担を軽減することができ、処理の高速化や省電力化を図ることができる。
また、本発明は、動画像を表示する場合だけでなく、静止画像を表示させる場合にも適用可能である。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、及び表示制御処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部101のCPUを、複数の撮像装置1、…のうち、何れか一の第1撮像装置1により被写体が第1の視点で撮像された動画像の画像データに対応する動画像を表示手段に表示する際に、関連付け手段を参照して、複数の撮像装置1、…のうちの第1撮像装置1の周囲に配置された撮像装置1を特定して、当該撮像装置1により撮像された動画像の画像データを取得する手段として機能させるようにしても良い。また、表示制御処理ルーチンにより中央制御部101のCPUを、取得された動画像の画像データの中で、ユーザによる所定操作に基づいて入力された被写体を見る視点の変更指示に係る視点で撮像された動画像の画像データを特定して、当該動画像の画像データに対応する動画像を表示手段に表示させる手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
被写体の周囲に配置された複数の撮像装置により略等しいタイミングで撮像された動画像の画像データを用いて、被写体を見る視点を移動させながら動画像を表示手段に表示させる表示制御装置であって、
前記複数の撮像装置の配置状態を特定する配置状態特定手段と、
被写体が第1の視点で撮像された動画像の画像データに対応する動画像が前記表示手段に表示されているときに、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得する取得手段と、
ユーザによる所定操作に基づいて、被写体を見る視点の変更指示を入力する操作手段と、
前記操作手段により被写体を見る視点が変更された場合に、変更後の視点で撮像された前記取得手段により取得済みの動画像の画像データに対応する動画像を変更前の視点に対応する動画像に代えて前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする表示制御装置。
<請求項2>
前記取得手段は、更に、前記操作手段により被写体を見る視点が変更される毎に、前記配置状態特定手段により特定される配置状態に基づいて、変更後の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを逐次取得することを特徴とする請求項1に記載の表示制御装置。
<請求項3>
前記取得手段は、更に、前記表示手段による被写体を第1の視点で見た動画像の再生表示が一時停止された際に、前記配置状態特定手段により特定される配置状態に基づいて、前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得することを特徴とする請求項1又は2に記載の表示制御装置。
<請求項4>
前記取得手段は、更に、前記表示手段による被写体を第1の視点で見た動画像の再生表示が一時停止された状態で、前記変更指示が入力される毎に、前記配置状態特定手段により特定される配置状態に基づいて、変更後の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを逐次取得することを特徴とする請求項3に記載の表示制御装置。
<請求項5>
前記表示制御手段は、更に、
前記変更指示に基づいて被写体を見る視点の確定後に、当該視点で撮像された動画像の画像データに対応する動画像の前記表示手段による再生表示を再開させることを特徴とする請求項3又は4に記載の表示制御装置。
<請求項6>
前記表示手段により被写体を第1の視点で見た動画像を再生表示中に、前記取得手段により取得された前記第1の視点に対応する撮像装置の周囲に配置された撮像装置により撮像された動画像の画像データを一時的に記憶する一時記憶手段を更に備え、
前記表示制御手段は、
前記変更指示の入力後に、前記一時記憶手段に記憶されている動画像の画像データの中で、変更後の視点で撮像された動画像の画像データを特定して、特定された動画像の画像データに対応する動画像を、視点の変更前に継続的に再生表示されていた動画像に代えて前記表示手段に継続的に再生表示させることを特徴とする請求項1〜5の何れか一項に記載の表示制御装置。
<請求項7>
前記表示制御手段は、更に、
前記変更指示として、隣合う撮像装置により挟まれた位置からの仮想的な仮想視点に変更する指示が入力されると、前記取得手段により取得された動画像の画像データの中で、入力された前記変更指示に係る仮想視点に対応する位置を挟んで配置された二つの撮像装置により撮像された動画像の画像データを特定し、当該動画像の画像データに基づいて補間画像を前記表示手段に表示させることを特徴とする請求項1〜6の何れか一項に記載の表示制御装置。
<請求項8>
前記表示手段は、前記複数の撮像装置のうちの何れか一の第1撮像装置に設けられており、
前記取得手段は、前記第1撮像装置により被写体が第1の視点で撮像された動画像の画像データに対応する動画像が前記表示手段に表示されているときに、前記配置状態特定手段により特定される配置状態に基づいて、前記第1撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得することを特徴とする請求項1〜7のいずれかに記載の表示制御装置。
<請求項9>
請求項1〜6の何れか一項に記載の表示制御装置と前記複数の撮像装置とを備える表示制御システムであって、
前記表示制御装置は、
前記変更指示として、隣合う撮像装置により挟まれた位置からの仮想的な仮想視点に変更する指示が入力されると、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置の中で、入力された前記変更指示に係る仮想視点に対応する位置を挟んで配置された二つの撮像装置を特定する特定手段と、
前記特定手段により特定された前記二つの撮像装置のうち、少なくとも一方の撮像装置に対して、当該二つの撮像装置により撮像された動画像の画像データに基づいて補間画像を生成する生成指示を所定の通信回線を介して送信させる第1送信制御手段と、を更に備え、
前記二つの撮像装置のうち、少なくとも一方の撮像装置は、
前記第1送信制御手段から送信された前記生成指示の入力に基づいて、前記二つの撮像装置のうちの他方の撮像装置により撮像された動画像の画像データを取得して、当該動画像の画像データと前記一方の撮像装置により撮像された動画像の画像データに基づいて補間画像の画像データを生成する生成手段と、
前記生成手段により生成された補間画像の画像データを所定の通信回線を介して前記表示制御装置に対して送信させる第2送信制御手段と、を備えることを特徴とする表示制御システム。
<請求項10>
異なる位置に配置された複数の撮像装置により逐次撮像される画像データを用いて、被写体を見る視点を移動させた複数の画像を連続的に表示手段に表示させる表示制御装置であって、
前記複数の撮像装置の配置状態を特定する配置状態特定手段と、
被写体が第1の視点で撮像された画像データが前記表示手段に表示されているときに、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された画像データを取得する取得手段と、
ユーザによる所定操作に基づいて、被写体を見る視点の変更指示を入力する操作手段と、
前記操作手段により被写体を見る視点が変更された場合に、変更後の視点で撮像された前記取得手段により取得済みの画像データに対応する画像を変更前の視点に対応する画像データに対応する画像に代えて前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする表示制御装置。
<請求項11>
被写体の周囲に配置された複数の撮像装置により略等しいタイミングで撮像された動画像の画像データを用いて、被写体を見る視点を移動させながら動画像を表示手段に表示させる表示制御装置を用いた表示制御方法であって、
前記複数の撮像装置の配置状態を特定する処理と、
被写体が第1の視点で撮像された動画像の画像データに対応する動画像が前記表示手段に表示されているときに、特定される前記複数の撮像装置の配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得する処理と、
ユーザによる所定操作に基づいて被写体を見る視点が変更された場合に、変更後の視点で撮像された取得済みの動画像の画像データに対応する動画像を変更前の視点に対応する動画像に代えて前記表示手段に表示させる処理と、
を含むことを特徴とする表示制御方法。
<請求項12>
被写体の周囲に配置された複数の撮像装置により略等しいタイミングで撮像された動画像の画像データを用いて、被写体を見る視点を移動させながら動画像を表示手段に表示させる表示制御装置のコンピュータを、
前記複数の撮像装置の配置状態を特定する配置状態特定手段、
被写体が第1の視点で撮像された動画像の画像データに対応する動画像が前記表示手段に表示されているときに、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得する取得手段、
前記操作手段により被写体を見る視点が変更された場合に、変更後の視点で撮像された前記取得手段により取得済みの動画像の画像データに対応する動画像を変更前の視点に対応する動画像に代えて前記表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
1 撮像装置
101 中央制御部
102 メモリ
104 画像データ処理部
104f 第2画像取得部
104g 補間画像生成部
105 テーブル記憶部
T2 第2関連付テーブル
108 表示部
108b 表示制御部
108b3 第2制御部
110 操作入力部
111 無線処理部
Claims (12)
- 被写体の周囲に配置された複数の撮像装置により略等しいタイミングで撮像された動画像の画像データを用いて、被写体を見る視点を移動させながら動画像を表示手段に表示させる表示制御装置であって、
前記複数の撮像装置の配置状態を特定する配置状態特定手段と、
被写体が第1の視点で撮像された動画像の画像データに対応する動画像が前記表示手段に表示されているときに、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得する取得手段と、
ユーザによる所定操作に基づいて、被写体を見る視点の変更指示を入力する操作手段と、
前記操作手段により被写体を見る視点の変更指示が入力された場合に、変更後の視点で撮像された前記取得手段により取得済みの動画像の画像データに対応する動画像を変更前の視点に対応する動画像に代えて前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする表示制御装置。 - 前記取得手段は、更に、前記操作手段により被写体を見る視点が変更される毎に、前記配置状態特定手段により特定される配置状態に基づいて、変更後の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを逐次取得することを特徴とする請求項1に記載の表示制御装置。
- 前記取得手段は、更に、前記表示手段による被写体を第1の視点で見た動画像の再生表示が一時停止された際に、前記配置状態特定手段により特定される配置状態に基づいて、前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得することを特徴とする請求項1又は2に記載の表示制御装置。
- 前記取得手段は、更に、前記表示手段による被写体を第1の視点で見た動画像の再生表示が一時停止された状態で、前記変更指示が入力される毎に、前記配置状態特定手段により特定される配置状態に基づいて、変更後の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを逐次取得することを特徴とする請求項3に記載の表示制御装置。
- 前記表示制御手段は、更に、
前記変更指示に基づいて被写体を見る視点の確定後に、当該視点で撮像された動画像の画像データに対応する動画像の前記表示手段による再生表示を再開させることを特徴とする請求項3又は4に記載の表示制御装置。 - 前記表示手段により被写体を第1の視点で見た動画像を再生表示中に、前記取得手段により取得された前記第1の視点に対応する撮像装置の周囲に配置された撮像装置により撮像された動画像の画像データを一時的に記憶する一時記憶手段を更に備え、
前記表示制御手段は、
前記変更指示の入力後に、前記一時記憶手段に記憶されている動画像の画像データの中で、変更後の視点で撮像された動画像の画像データを特定して、特定された動画像の画像データに対応する動画像を、視点の変更前に継続的に再生表示されていた動画像に代えて前記表示手段に継続的に再生表示させることを特徴とする請求項1〜5の何れか一項に記載の表示制御装置。 - 前記表示制御手段は、更に、
前記変更指示として、隣合う撮像装置により挟まれた位置からの仮想的な仮想視点に変更する指示が入力されると、前記取得手段により取得された動画像の画像データの中で、入力された前記変更指示に係る仮想視点に対応する位置を挟んで配置された二つの撮像装置により撮像された動画像の画像データを特定し、当該動画像の画像データに基づいて補間画像を前記表示手段に表示させることを特徴とする請求項1〜6の何れか一項に記載の表示制御装置。 - 前記表示手段は、前記複数の撮像装置のうちの何れか一の第1撮像装置に設けられており、
前記取得手段は、前記第1撮像装置により被写体が第1の視点で撮像された動画像の画像データに対応する動画像が前記表示手段に表示されているときに、前記配置状態特定手段により特定される配置状態に基づいて、前記第1撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得することを特徴とする請求項1〜7のいずれかに記載の表示制御装置。 - 請求項1〜6の何れか一項に記載の表示制御装置と前記複数の撮像装置とを備える表示制御システムであって、
前記表示制御装置は、
前記変更指示として、隣合う撮像装置により挟まれた位置からの仮想的な仮想視点に変更する指示が入力されると、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置の中で、入力された前記変更指示に係る仮想視点に対応する位置を挟んで配置された二つの撮像装置を特定する特定手段と、
前記特定手段により特定された前記二つの撮像装置のうち、少なくとも一方の撮像装置に対して、当該二つの撮像装置により撮像された動画像の画像データに基づいて補間画像を生成する生成指示を所定の通信回線を介して送信させる第1送信制御手段と、を更に備え、
前記二つの撮像装置のうち、少なくとも一方の撮像装置は、
前記第1送信制御手段から送信された前記生成指示の入力に基づいて、前記二つの撮像装置のうちの他方の撮像装置により撮像された動画像の画像データを取得して、当該動画像の画像データと前記一方の撮像装置により撮像された動画像の画像データに基づいて補間画像の画像データを生成する生成手段と、
前記生成手段により生成された補間画像の画像データを所定の通信回線を介して前記表示制御装置に対して送信させる第2送信制御手段と、を備えることを特徴とする表示制御システム。 - 異なる位置に配置された複数の撮像装置により逐次撮像される画像データを用いて、被写体を見る視点を移動させた複数の画像を連続的に表示手段に表示させる表示制御装置であって、
前記複数の撮像装置の配置状態を特定する配置状態特定手段と、
被写体が第1の視点で撮像された画像データが前記表示手段に表示されているときに、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された画像データを取得する取得手段と、
ユーザによる所定操作に基づいて、被写体を見る視点の変更指示を入力する操作手段と、
前記操作手段により被写体を見る視点が変更された場合に、変更後の視点で撮像された前記取得手段により取得済みの画像データに対応する画像を変更前の視点に対応する画像データに対応する画像に代えて前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする表示制御装置。 - 被写体の周囲に配置された複数の撮像装置により略等しいタイミングで撮像された動画像の画像データを用いて、被写体を見る視点を移動させながら動画像を表示手段に表示させる表示制御装置を用いた表示制御方法であって、
前記複数の撮像装置の配置状態を特定する処理と、
被写体が第1の視点で撮像された動画像の画像データに対応する動画像が前記表示手段に表示されているときに、特定される前記複数の撮像装置の配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得する処理と、
ユーザによる所定操作に基づいて被写体を見る視点が変更された場合に、変更後の視点で撮像された取得済みの動画像の画像データに対応する動画像を変更前の視点に対応する動画像に代えて前記表示手段に表示させる処理と、
を含むことを特徴とする表示制御方法。 - 被写体の周囲に配置された複数の撮像装置により略等しいタイミングで撮像された動画像の画像データを用いて、被写体を見る視点を移動させながら動画像を表示手段に表示させる表示制御装置のコンピュータを、
前記複数の撮像装置の配置状態を特定する配置状態特定手段、
被写体が第1の視点で撮像された動画像の画像データに対応する動画像が前記表示手段に表示されているときに、前記配置状態特定手段により特定される配置状態に基づいて、前記複数の撮像装置のうちの前記第1の視点に対応する撮像装置の周囲に配置された撮像装置を特定して、特定された撮像装置により撮像された動画像の画像データを取得する取得手段、
前記操作手段により被写体を見る視点が変更された場合に、変更後の視点で撮像された前記取得手段により取得済みの動画像の画像データに対応する動画像を変更前の視点に対応する動画像に代えて前記表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012280942A JP5942844B2 (ja) | 2012-12-25 | 2012-12-25 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012280942A JP5942844B2 (ja) | 2012-12-25 | 2012-12-25 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014126907A true JP2014126907A (ja) | 2014-07-07 |
JP5942844B2 JP5942844B2 (ja) | 2016-06-29 |
Family
ID=51406379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012280942A Expired - Fee Related JP5942844B2 (ja) | 2012-12-25 | 2012-12-25 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5942844B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020534592A (ja) * | 2017-09-19 | 2020-11-26 | キヤノン株式会社 | 仮想カメラを制御するシステム及び方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003143505A (ja) * | 2001-11-06 | 2003-05-16 | Sony Corp | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム |
JP2007221722A (ja) * | 2006-02-20 | 2007-08-30 | Canon Inc | 画像処理装置及びその制御方法 |
JP2009284268A (ja) * | 2008-05-22 | 2009-12-03 | Mitsubishi Electric Corp | マルチキャスト放送システムおよび受信機 |
JP2011129062A (ja) * | 2009-12-21 | 2011-06-30 | Canon Inc | 表示制御装置および表示制御方法 |
-
2012
- 2012-12-25 JP JP2012280942A patent/JP5942844B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003143505A (ja) * | 2001-11-06 | 2003-05-16 | Sony Corp | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム |
JP2007221722A (ja) * | 2006-02-20 | 2007-08-30 | Canon Inc | 画像処理装置及びその制御方法 |
JP2009284268A (ja) * | 2008-05-22 | 2009-12-03 | Mitsubishi Electric Corp | マルチキャスト放送システムおよび受信機 |
JP2011129062A (ja) * | 2009-12-21 | 2011-06-30 | Canon Inc | 表示制御装置および表示制御方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020534592A (ja) * | 2017-09-19 | 2020-11-26 | キヤノン株式会社 | 仮想カメラを制御するシステム及び方法 |
JP7348895B2 (ja) | 2017-09-19 | 2023-09-21 | キヤノン株式会社 | 仮想カメラを制御するシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5942844B2 (ja) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5874626B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
JP5892060B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
JP5163676B2 (ja) | 撮像装置、撮像方法及びプログラム | |
EP2590396B1 (en) | Information processing system and information processing method | |
KR101062502B1 (ko) | 패닝화상을 촬상하기 위한 패닝모드를 구비한 촬상장치 | |
US8629897B2 (en) | Image processing device, image processing method, and program | |
US8638372B2 (en) | Image capture unit with changeable image capture direction | |
US9264651B2 (en) | Moving image reproducing apparatus capable of adjusting display position of indicator for motion analysis based on displacement information of frames, and moving image reproducing method and recording medium for same | |
US9367746B2 (en) | Image processing apparatus for specifying an image relating to a predetermined moment from among a plurality of images | |
US20110096143A1 (en) | Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium | |
JP5927856B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2012213041A (ja) | 撮像装置、画像合成方法、及びプログラム | |
JP2013183306A (ja) | 撮像装置、撮像方法、及びプログラム | |
JP2014183897A (ja) | 画像判定装置、画像判定システム、画像特定システム、送信端末、受信端末、画像判定方法、画像特定方法及びプログラム | |
JP5896102B2 (ja) | 撮像装置、撮像制御方法、及びプログラム | |
JP5790858B2 (ja) | 画像合成装置、画像合成方法、及びプログラム | |
JP2011101165A (ja) | 連動撮影システム | |
JP5942844B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
JP6693071B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
JP5267279B2 (ja) | 画像合成装置及びプログラム | |
US9621873B2 (en) | Apparatus including function to generate stereoscopic image, and method and storage medium for the same | |
JP5703771B2 (ja) | 撮像補助装置、撮像補助方法及びプログラム | |
KR20140074808A (ko) | 촬상 장치 | |
JP6674630B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20170111592A1 (en) | Composite image creating apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5942844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |