JP2023159708A - 撮像システムの制御装置および制御方法 - Google Patents

Abstract

【課題】複数の撮像装置を用いたインカメラＶＦＸ映像の撮影をより容易にすることが可能な撮像システムの制御装置および制御方法を提供すること。
【解決手段】表示装置に表示された画像を背景にした撮像を行う撮像システムの制御装置であって、個々の撮像装置に対して、タイミングが異なる撮像期間を割り当てる割り当て手段と、個々の撮像装置が割り当てられた撮像期間に撮像を行うように個々の撮像装置を制御する撮像制御手段と、撮像期間それぞれにおいて、当該撮像期間が割り当てられた撮像装置の位置姿勢に応じた画像を表示装置に表示させる表示制御手段と、を有することを特徴とする制御装置。
【選択図】図６

Description

本発明は、撮像システムの制御装置および制御方法に関する。

実写映像にコンピュータグラフィクス（ＣＧ）を合成することにより、非現実的なシーンの映像を生成するＶＦＸ(Visual Effects)技術が注目されている。また、ＣＧを表示する表示装置やスクリーンを背景にして被写体を撮像することで、合成処理なしにＶＦＸ映像を取得する方法（インカメラＶＦＸ）が知られている。

違和感のないＶＦＸを実現するには、ＣＧをレンダリングする際の仮想カメラの位置姿勢と、実写映像を撮像するカメラの位置姿勢とを合わせる必要がある。したがって、カメラの位置姿勢を検出し、検出した位置姿勢に応じてＣＧも変化させる必要がある。特許文献１には、ユーザが装着するヘッドマウントディスプレイに表示させる画像をユーザの位置姿勢に応じて変化させる技術が開示されている。

特開２０１４－５２５０４９号公報

複数のカメラで同一シーンのＶＦＸ映像を撮影する場合、１台のカメラの位置姿勢に応じて背景の画像を変化させると、他のカメラの位置姿勢と背景とが整合しなくなるという問題がある。そのため、従来は１台のカメラによる撮影が完了するまで他のカメラによる撮影を行うことができなかったり、位置姿勢と背景とが整合しないカメラの映像についてはポストプロダクション工程で改めて背景を合成し直す必要があったりした。

本発明はその一態様において、このような従来技術の課題を少なくとも軽減し、複数の撮像装置を用いたインカメラＶＦＸ映像の撮影をより容易にすることが可能な撮像システムの制御装置および制御方法を提供する。

上述の目的は、表示装置に表示された画像を背景にした撮像を行う撮像システムの制御装置であって、個々の撮像装置に対して、タイミングが異なる撮像期間を割り当てる割り当て手段と、個々の撮像装置が割り当てられた撮像期間に撮像を行うように個々の撮像装置を制御する撮像制御手段と、撮像期間それぞれにおいて、当該撮像期間が割り当てられた撮像装置の位置姿勢に応じた画像を表示装置に表示させる表示制御手段と、を有することを特徴とする制御装置によって達成される。

本発明によれば、複数の撮像装置を用いたインカメラＶＦＸ映像の撮影をより容易にすることが可能な撮像システムの制御装置および制御方法を提供することができる。

実施形態に係る撮像装置の機能構成例を示すブロック図 実施形態に係る撮像システムの構成例を示す模式図 実施形態に係る撮像システムの制御装置の機能構成例を示すブロック図 実施形態に係る制御装置の動作に関するフローチャート 実施形態に係る撮像システムの動作に関するシーケンス図 第１実施形態における露光パターンおよび表示パターンの例を示す図 実施形態において表示される背景画像の例を示す模式図 第２の実施形態における露光パターンおよび表示パターンの例を示す図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

●＜第１実施形態＞
（撮像装置１００の構成例）
図１は、第１実施形態に係る撮像装置１００の機能構成例を示すブロック図である。撮像レンズ１０３（結像光学系）は、可動レンズを含む複数のレンズを有する。可動レンズは少なくともフォーカスレンズを含み、場合によりさらにズームレンズおよびシフトレンズの１つ以上を含む。撮像レンズ１０３は、被写体光学像を撮像面に形成する。

絞り１０１は開口量が可変であり、入射光量を調整する。絞り１０１の開口量は後述するシステム制御部５０が制御する。ＮＤ(Nutral Density)１０４は必要に応じて光路に挿入される減光フィルタである。

撮像部２２は撮像素子を有する。撮像素子は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像素子は複数の画素が２次元配列された画素アレイと、各画素から信号を読み出すための周辺回路とを有する。各画素は光電変換によって入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、撮像面に形成された被写体光学蔵を表す画素信号群（アナログ画像信号）が得られる。

Ａ／Ｄ変換器２３は、撮像部２２から読み出されたアナログ画像信号をＡ／Ｄ変換し、デジタル画像信号（画像データ）を出力する。なお、撮像部２２がＡ／Ｄ変換機能を有する場合にはＡ／Ｄ変換器２３は不要である。

画像処理部２４は、Ａ／Ｄ変換器２３やメモリ制御部１５が出力する画像データに対して予め定められた画像処理を適用し、用途に応じた信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部２４は例えば特定の機能を実現するように設計されたＡＳＩＣ(Application Specific Integrated Circuit)のような専用のハードウェア回路であってよい。あるいは画像処理部２４はＤＳＰ(Digital Signal Processor)やＧＰＵ(Graphics Processing Unit)のようなプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。画像処理部２４は、取得もしくは生成した情報やデータを、用途に応じてシステム制御部５０やメモリ制御部１５などに出力する。

画像処理部２４が適用する画像処理には、例えば、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれうる。
前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれうる。
色補間処理は、撮像素子にカラーフィルタが設けられている場合に行われ、画像データを構成する個々の画素データに含まれていない色成分の値を補間する処理である。色補完処理はデモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、撮像レンズ１０３の光学収差に起因する画像劣化の補正（画像回復）、撮像レンズ１０３の周辺減光の影響の補正、色補正などの処理が含まれうる。
検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれうる。
データ加工処理には、領域の切り出し（トリミング）、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれうる。表示用画像データや記録用画像データの生成もデータ加工処理に含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれうる。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれうる。
なお、これらは画像処理部２４が適用可能な処理の例示であり、画像処理部２４が適用する処理を限定するものではない。

ジャイロ４０は撮像装置１００の動きを表す信号を出力する動きセンサである。ジャイロ４０は、例えば撮像レンズ１０３の光軸に平行な軸と、重力方向に平行な軸と、これら２つの軸と直交する軸との３軸周りの角速度を検出する３軸の角速度センサである。なお、各軸方向の加速度を検出するセンサを併用してもよい。

後述するシステム制御部５０は、ジャイロ４０の出力から撮像装置１００の動きを検出する。システム制御部５０は、撮像レンズ１０３が有するシフトレンズの位置や、画像処理部２４が撮像画像をトリミングする位置を、検出した動きに応じて制御することにより、像ぶれ補正機能を実現する。

システム制御部５０は例えばプログラムを実行可能なプロセッサ（ＣＰＵ、ＭＰＵ、マイクロプロセッサなど）である。システム制御部５０は、不揮発性メモリ５６に記憶されたプログラムをシステムメモリ５２に読み込んで実行することにより、撮像装置１００の各部の動作を制御し、撮像装置１００の機能を実現する。なお、撮像レンズ１０３が交換式の場合、システム制御部５０は撮像レンズ１０３が有するコントローラと通信し、撮像レンズ１０３の動作を制御する。

システム制御部５０は、撮影および記録に関する動作も制御する。具体的には、画像処理部２４が生成する評価値に基づく自動露出制御（ＡＥ）および自動焦点検出（ＡＦ）動作、撮像部２２による撮像動作、画像処理部２４の動作、記録用画像データの記録媒体１５０への記録動作などをシステム制御部５０は制御する。

不揮発性メモリ５６は電気的に書き換え可能であり、システム制御部５０が実行するプログラム、撮像装置１００の各種の設定値、ＧＵＩデータなどを記憶する。システムメモリ５２は、システム制御部５０が、実行するプログラムを読み込んだり、プログラムの実行中に変数などを一時的に記憶したりするために用いる。

Ａ／Ｄ変換器２３が出力する画像データは、直接、あるいは画像処理部２４を経由してメモリ制御部１５に供給される。メモリ制御部１５は、メモリ３２に対するアクセスを管理する。メモリ制御部１５は、Ａ／Ｄ変換器２３または画像処理部２４から供給される画像データをメモリ３２に格納する。また、メモリ制御部１５は、メモリ３２のビデオメモリ領域に格納された表示用画像データをＤ／Ａ変換器１３に供給する。Ｄ／Ａ変換器１３は表示用画像データに基づいて表示部２８に適したアナログビデオ信号を生成する。

メモリ３２はデータのバッファメモリ、画像処理部２４の作業用メモリ、ビデオメモリなどとして用いられる。

表示部２８は例えば液晶ディスプレイまたは有機ＥＬディスプレイである。撮像部２２による動画撮影と、得られた動画の表示部２８における表示とを継続して実行することにより、表示部２８を電子ビューファインダ（ＥＶＦ）として機能させることができる。表示部２８をＥＶＦとして機能させるために表示する動画をライブビュー画像と呼ぶ。なお、表示部２８はタッチディスプレイであってもよい。

システムタイマ５３は基準クロックを出力するクロック発生器と、内蔵時計とを有する。システムタイマ５３は、撮像装置１００の各機能ブロックに基準クロックに基づいて生成したクロック信号を供給する。また、システムタイマ５３は、内蔵時計を用いて現在日時の情報を供給したり、特定の長さの時間を計測したりする。

なお、本実施形態ではシステムタイマ５３が生成するクロック信号を、制御信号Ｉ／Ｆ１９を通じて外部装置（例えば外部制御装置１８０および／または外部撮像装置２００）に供給することができる。この場合、クロック信号は撮像装置１００の動作に外部装置の動作を同期させるための信号（外部クロック）として用いられうる。

一方、制御信号Ｉ／Ｆ１９を通じて外部装置（例えば外部制御装置１８０および／または外部撮像装置２００）からクロック信号（外部クロック）の供給を受けることもできる。この場合、システム制御部５０は、外部クロックに基づいてクロック信号を生成するようにシステムタイマ５３を制御する。これにより、撮像装置１００の動作を、外部クロックを供給する装置（あるいは同じ外部クロックの供給を受ける他の装置）の動作と同期させることができる。

制御信号Ｉ／Ｆ１９は外部制御装置１８０および外部撮像装置２００と、それぞれ通信可能である。また、システム制御部５０は、制御信号Ｉ／Ｆ１９を通じて外部装置から供給される制御信号に応じて、撮像装置１００の動作を制御することができる。

例えば、システム制御部５０は、外部装置から供給される制御信号に応じて、撮像部２２の動作や画像処理部２４の動作を制御することができる。また、システム制御部５０は、外部装置から供給される制御信号による要求に応じて、撮像装置１００に関する情報を要求元の外部装置に送信することもできる。さらに、システム制御部５０は、撮像装置１００の動作（例えば撮影）のタイミングに関する情報を制御信号Ｉ／Ｆ１９を通じて外部制御装置１８０および外部撮像装置２００に出力することができる。

撮像装置１００の動作周期の情報を制御信号Ｉ／Ｆ１９を通して外部撮像装置２００に通知することで、撮像装置１００の動作周期と外部撮像装置２００の動作周期とを一致させることができる。また、逆に外部撮像装置２００からの動作周期の情報を制御信号Ｉ／Ｆ１９を介して受け取り、システム制御部５０で撮像装置１００の動作タイミングを制御することで、撮像装置１００の動作周期を撮像装置２００の動作周期に一致させることもできる。

モード切替スイッチ６０、録画スイッチ６１、操作部７０はユーザが撮像装置１００（システム制御部５０）に指示を入力するための操作部材（スイッチ、ボタン、ダイヤル、レバー、タッチパネルなど）の例である。

モード切替スイッチ６０は、撮像装置１００の動作モードを切り替える（選択する）スイッチである。代表的な動作モードには動画記録モード、静止画記録モード、再生モードがあるが、これらに限定されない。なお、動作モードは階層化されていてもよい。例えば、動画記録モードには、オート撮影モード、オートシーン判定モード、マニュアルモード、シーンモード、プログラムＡＥモード、カスタムモードなどの２つ以上が含まれうる。さらに、シーンモードには、対象とするシーンに応じた複数のモード（夜景モード、星空モード、ポートレートモード、スポーツモードなど）が含まれうる。

モード切替スイッチ６０は全ての動作モードを選択可能であってもよいし、特定の階層の動作モードだけを選択可能であってもよい。後者の場合、他の階層の動作モードについては別の操作部材を用いて選択するように構成する。

録画スイッチ６１が操作されるごとに、撮像装置１００は撮影待機状態と撮影状態とを切り替える。なお、ここでの撮影とは記録を目的とした撮影である。記録を目的としない撮影（例えばライブビュー表示用の撮影）は撮影待機状態でも実施されうる。

操作部７０はモード切替スイッチ６０および録画スイッチ６１以外の操作部材の総称である。操作部７０を構成する操作部材は、割り当てられた機能に応じた名称を有する。方向キー、メニューボタン、決定ボタンなどが代表例である。なお、同一の入力部材に割り当てられる機能は可変であってよい。また、入力部材はタッチディスプレイを用いたソフトウェアボタンもしくはキーであってもよい。また、操作部７０は、音声入力や視線入力など、非接触な入力方法に対応した入力部材を有してもよい。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などを有する。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、検出結果およびシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、撮像装置１００の各部へ適切な電圧を供給する。

電源部３０は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉイオン電池などの二次電池、ＡＣアダプターなどのいずれかであってよい。

撮像で得られた記録用の動画データ（音声データを含む）や静止画データは、記録媒体１５０に記録される。記録媒体１５０は例えば半導体メモリカードや、外付けの記録装置（ＨＤＤ、ＳＳＤなど）である。

映像信号Ｉ／Ｆ１８は、記録媒体１５０および表示制御装置１６０とのインターフェースである。映像信号Ｉ／Ｆ１８は、接続される機器や記録媒体１５０が準拠する仕様に応じたハードウェアを有する。本実施形態において撮像装置１００は、表示用の画像データに基づく映像信号Ｉ／Ｆ１８を通じて外部（表示制御装置１６０）に出力することができる。

表示制御装置１６０は、映像信号Ｉ／Ｆ１８を通じて撮像装置１００から出力される映像信号に対し、不図示の表示装置に応じた階調特性（ガンマカーブ）を適用し、表示装置に出力する。

（撮像システム）
図２は本実施形態に係るインカメラＶＦＸ映像の撮像システム１０００の例を示す模式図である。なお、図２において、装置の縮尺は統一されていない。また、以下の説明では、外部制御装置１８０を制御装置１８０、外部撮像装置２００を撮像装置２００という。

撮像システム１０００は、複数の撮像装置（ここでは撮像装置１００、２００）と、撮像システムの制御装置である制御装置１８０と、表示装置４００とを有する。ここでは説明及び理解を容易にするため、撮像装置２００は撮像装置１００と同様に、図１に示した機能構成を有するものとする。なお、制御装置１８０によって動作を制御可能であれば、撮像システムに含まれる撮像装置の機能構成は異なっていてもよい。また、撮像システム１０００は撮像装置を３台以上有してもよい。

表示装置４００は、撮像装置１００および２００が撮影するシーンの背景となる画像を表示する。表示装置４００は例えば垂直および水平方向に配置された多数のＬＥＤパネルを有し、ＬＥＤウォールと呼ばれることもある。本明細書では説明および理解を容易にするため、表示装置４００が１枚のＬＥＤパネルを有し、制御装置１８０が表示装置４００の表示を直接制御するものとする。なお、実際には、制御装置１８０がレンダリングしたＣＧ画像を表示装置４００が有する多数のＬＥＤパネルに分割して表示するための表示制御装置を別途用いることができる。

撮像システム１０００において制御装置１８０は、接続された個々の撮像装置の撮像タイミングに合わせて、撮像する撮像装置の位置姿勢に応じたＣＧを表示装置４００に表示させる。あるいは、制御装置１８０は、接続された撮像装置の１つの位置姿勢に応じたＣＧを表示装置４００に表示している期間に、その１つの撮像装置が撮像を実施するように、表示装置４００および個々の撮像装置の動作のタイミングを制御する。

例えば１フレームの期間を個々の撮像装置の撮像期間に分割した場合、１フレーム期間内に、全ての撮像装置が自身の位置姿勢に応じたＣＧを背景とした撮像を実行することが可能になる。複数の撮像装置が所定のフレームレートで自身の位置姿勢に応じたＣＧを背景とした撮像画像を取得できることから、複数の撮像装置が並行してインカメラＶＦＸ映像を撮像することと実質的に等しい。このようにして、制御装置１８０は、複数の撮像装置が並行してインカメラＶＦＸ映像を撮像することを可能にする。

なお、制御装置１８０は撮像装置の位置姿勢に応じたＣＧ画像をレンダリングする際、位置姿勢の情報と撮像装置から取得した画角（撮像レンズの焦点距離）の情報とに基づいて、表示装置４００の画面のうち、実際に撮像される範囲を特定することができる。例えば、制御装置１８０は、撮像範囲内（インナーフラスタム）よりも撮像範囲外（アウターフラスタム）の画質を下げてＣＧをレンダリングすることで、レンダリングの処理負荷を軽減させてもよい。

図２において、位置姿勢検出装置２０１および２０２はそれぞれ撮像装置１００および２００に取り付けられ、撮像装置１００および２００の位置姿勢情報を制御装置１８０に出力する。このような位置姿勢検出装置は、カメラトラッキングシステムとして公知であるため、その詳細についての説明は省略する。例えば、絶対位置が既知である複数のマーカを撮像した画像を用いたり、絶対位置が既知の複数の発信器から受信した信号を用いることで、撮像装置の位置姿勢を検出することができる。

図３は、制御装置１８０の機能構成例を示すブロック図である。制御装置１８０は例えばコンピュータ機器を用いて実現することができる。
制御部１８１は例えばＣＰＵであり、ＲＯＭ１８７に記憶されているプログラム（表示制御アプリケーションプログラム）をＲＡＭ１８８に読み込んで実行することにより、表示制御装置１８０の機能を実現する。

画像処理回路１８２は例えばＧＰＵを搭載したグラフィックボードである。画像処理回路１８２はＣＧのレンダリングなどの画像処理を、制御部１８１よりも高速に実行可能である。

第１Ｉ／Ｆ１８３、第２Ｉ／Ｆ１８４、第３Ｉ／Ｆ１８５、第４Ｉ／Ｆ１８６は外部機器を接続する通信インタフェースである。本実施形態では第１Ｉ／Ｆ１８３に撮像装置１００が、第２Ｉ／Ｆ１８４に表示装置４００が、第３Ｉ／Ｆ１８５に撮像装置２００が、第４Ｉ／Ｆ１８６に位置姿勢検出装置２０１および２０２が接続されるものとする。本実施形態において、第１Ｉ／Ｆ１８３～第３Ｉ／Ｆ１８５は映像信号、同期信号、制御信号が伝送可能である。なお、より多くの機器の接続を可能にするため、より多くの通信インタフェースを有してもよい。

なお、便宜上、表示制御装置１８０と撮像装置１００、２００および表示装置４００のそれぞれとが１つのＩ／Ｆを通じて接続されるように図示しているが、通信する信号に応じて異なる複数のＩ／Ｆを通じて接続されてもよい。表示制御装置１８０と表示装置４００、撮像装置２００との接続についても同様である。

制御部１８１は、第１Ｉ／Ｆ１８３～第３Ｉ／Ｆ１８５を通じた通信により、撮像装置１００、表示装置４００、撮像装置２００について、情報や信号を取得したり、動作を制御したりする。なお、表示制御装置１８０は、外部装置との通信インタフェースを４つ以上有してもよい。

また、制御部１８１は、第４Ｉ／Ｆ１８６を通じた通信により、位置姿勢検出装置２０１および２０２から撮像装置１００および２００の位置姿勢情報を継続的に取得する。なお、撮像装置１００および２００のうち、位置および撮影方向が固定ならび既知である撮像装置については、位置姿勢検出装置から位置姿勢情報を取得する必要はない。

ＲＯＭ１８７は制御部１８１が実行するプログラム（ファームウェア、ＯＳ、アプリケーションプログラムなど）、メニュー画面などのＧＵＩ画像データ、表示制御装置１８０の設定値などを格納する。

ＲＡＭ１８８は制御部１８１のメインメモリとして用いられるほか、画像処理回路１２５の作業用メモリ、表示部１９０のビデオメモリとしても用いられる。

記憶部１８９はハードディスクやＳＳＤなどの大容量記憶装置である。記憶部１８９は、表示装置４００に表示するＣＧをレンダリングするために必要なデータ（３次元モデルなど）や、ＣＧをレンダリングするアプリケーションを格納する。なお、ＯＳやアプリケーションについてはＲＯＭ１８７ではなく記憶部１８９に格納してもよい。

表示部１９０は例えば液晶ディスプレイ装置である。表示部１９０はタッチディスプレイであってもよい。表示部１９０は撮像制御アプリケーションの画面などを表示する。また、表示部１９０は、撮像装置１００および２００が映像信号Ｉ／Ｆ１８から出力する映像信号を表示してもよい。また、表示部１９０は外部表示装置であってもよい。

操作部１９１はキーボード、マウス、タッチパッドなど、ユーザが操作可能な複数の入力デバイスを有する。表示部１９０がタッチディスプレイの場合、タッチパネルは操作部１９１を構成する。

クロック生成回路１９２は、撮像装置１００、表示装置４００、撮像装置２００の動作を同期させるための同期信号（クロック）を生成する。なお、クロックは外部装置（撮像装置１００および２００を含む）から取得してもよい。

（撮像システムの動作）
図４は、本実施形態における制御装置１８０の動作に関するフローチャートである。また、図５は、図４に示す制御装置１８０の動作と、それに基づく撮像装置１００、２００、および表示装置４００の動作に関するシーケンス図である。

ここでは制御装置１８０（制御部１８１）が撮像制御アプリケーションを実行することにより、撮像装置１００、撮像装置２００、表示装置４００の動作を制御するものとする。しかし、制御装置１８０が行うものとして説明する制御を、対象の装置自身が、もしくは（制御装置１８０を除く）他の装置が実施してもよい。

なお、以下の動作を開始する前に、各装置の設定や、装置間の接続など、必要な前処理は完了しているものとする。具体的には、制御装置１８０において撮像制御アプリケーションが稼働しており、制御装置１８０が撮像装置１００、２００および表示装置４００の動作を制御するために必要な情報を各装置から取得済みであるものとする。また、撮像装置１００、２００および表示装置４００は、制御装置１８０によって動作が制御可能な動作モードに設定されているものとする。

なお、以下の説明において、撮像装置１００または２００を主体とする動作はそれぞれのシステム制御部５０が、制御装置１８０を主体とする動作は制御部１８１がそれぞれ実施する。

Ｓ３０１で制御装置１８０は、撮像装置１００および撮像装置２００に動作タイミング制御に関する指示を出力する（図５、５０１および５０２）。ここでは制御装置１８０が、複数の撮像装置のうち、撮像装置１００をマスター装置に割り当てる指示を出力したものとする。マスター装置以外の撮像装置は、マスター装置に同期した動作を実施する。

撮像装置１００は、自身がマスター装置に指定されたことに基づいて、システムタイマ５３から外部クロック信号を撮像装置２００に供給する。また、撮像装置１００は、自身の動作タイミングに関する情報を撮像装置２００に供給する（５０３）。

撮像装置２００は、撮像装置１００から動作タイミングに関する情報を受信すると、自身の動作を撮像装置１００から供給される外部クロック信号に従って制御するように動作タイミング制御動作を実行する（５０４）。そして、撮像装置２００は、自身の動作タイミングに関する情報を制御装置１８０に出力する。また、撮像装置１００も、自身の動作タイミングに関する情報を制御装置１８０に出力する（５０６）。

制御装置１８０は撮像装置１００および撮像装置２００それぞれから、動作タイミングに関する情報を受信すると、動作タイミングが同期しているかチェックする（５０７）。ここでは同期に成功していると判定されたものとする。

次に、Ｓ３０２で制御装置１８０は、撮像装置１００および撮像装置２００に対し、それぞれの撮像期間（露光期間）の指示を出力する（５０８，５０９）。ここで、制御装置１８０は、個々の撮像装置が異なるタイミングで撮像を行うように撮像期間を割り当てる。制御装置１８０は、例えば図６に示すように互いに重複しない撮像期間を個々の撮像装置に対して割り当てることができる。

撮像期間はフレームレートに応じた周期で繰り返し割り当てられる。制御装置１８０は、割り当てた撮像期間のタイミングに関する情報を（露光パターン）を、個々の撮像装置に通知する。露光パターンにより、個々の撮像装置が時分割的に撮像を実施することが可能になる。

図６に示す例では、全ての撮像装置の撮像期間がフレームレートに応じた１フレーム期間内に収まるように露光パターンが設計されている。そして、１フレーム期間の前半に撮像期間を有する露光パターン１が撮像装置１００に、１フレーム期間の後半に撮像期間を有する露光パターン２が撮像装置２００に、それぞれ割り当てられるものとする。なお、撮像期間の長さは撮像装置によって異なってもよい。また、１フレーム期間内にどの撮像装置も撮像しない期間が存在してもよい。

Ｓ３０３で制御装置１８０は、個々の撮像装置の撮像期間に表示装置４００に表示するためのＣＧ（背景画像）をレンダリングする（５１２）。制御装置１８０は、位置姿勢検出装置２０１および２０２から得られる撮像装置１００および２００の位置姿勢情報と、撮像装置１００および２００の画角に関する情報とを用いて、背景画像をレンダリングする。

例えば、図７（ａ）の平面図で示すような配置で建物を背景にしたインカメラＶＦＸ映像を撮像する場合を考える。この場合、制御装置１８０は、撮像装置１００用に図７（ａ）に示す背景画像を、撮像装置２００用に図７（ｃ）に示す背景画像を、それぞれレンダリングする。

撮像装置１００は、指示された露光パターン１の露光期間に電荷蓄積を行うよう、撮像部２２の動作を制御する（５１０）。撮像装置１００は、画像処理部２４によって記録用の動画データを生成し、記録媒体１５０への記録を実行する。さらに、撮像装置１００は、ライブビュー表示用の映像信号を、映像信号Ｉ／Ｆ１８を通じて制御装置１８０に出力する。

同様に、撮像装置２００は、指示された露光パターン２の露光期間に電荷蓄積を行うよう、撮像部２２の動作を制御する（５１１）。撮像装置１００は、画像処理部２４によって記録用の動画データを生成し、記録媒体１５０への記録を実行する。さらに、撮像装置２００は、ライブビュー表示用の映像信号を、映像信号Ｉ／Ｆ１８を通じて制御装置１８０に出力する。

Ｓ３０４で制御装置１８０は、生成した背景画像を表示装置４００に表示させる。背景画像の表示も撮像と同様にフレームレートに応じた周期で繰り返し実行する必要がある。そのため、制御装置１８０は、個々の撮像装置に対応した周期的な背景画像の表示タイミング（表示パターン）を決定する。図６の例では、制御装置１８０は、撮像装置１００については表示パターン１を、撮像装置２００については表示パターン２を決定する。

そして、制御装置１８０は、表示パターン１に応じた示すタイミング（５１４）で撮像装置１００用の背景画像を表示し、表示パターン２に応じたタイミング（５１５）で撮像装置２００用の背景画像を表示するよう、表示装置４００に指示する（５１３）。

なお、制御装置１８０は、図６に示すような露光パターンと表示パターンとのタイミングを実現するため、背景画像のレンダリングを行う期間を、図５とは変更してもよい。例えば、制御装置１８０は、撮像装置１００の撮像期間に撮像装置２００用の背景画像をレンダリングし、撮像装置２００の撮像期間に撮像装置１００用の背景画像をレンダリングすることができる。

なお、制御装置１８０は露光パターンを撮像装置に通知する際、個々の撮像装置の撮像期間の開始タイミングを特定することができる。また、制御装置１８０は、例えば表示装置４００から取得した情報に基づいて、表示指示から表示までの時間差について把握することができる。そのため、個々の撮像装置の撮像期間の開始タイミングに合わせて表示装置４００が表示する背景画像が切り替わるようなタイミングで表示指示を行うことにより、図６に示すような、撮像期間の切り替わりと同期した背景画像の切り替えを実現することができる。

このように、本実施形態では、異なるタイミングで撮像するように個々の撮像装置に撮像期間を割り当てるとともに、個々の撮像期間において、当該撮像期間が割り当てられた撮像装置の位置姿勢に応じた背景画像が表示されるように表示装置を制御する。そのため、複数の撮像装置を用いて同一シーンのインカメラＶＦＸ映像で実質的に並行して撮像することが可能になる。

●＜第２の実施形態＞
第１の実施形態では、全ての撮像装置の撮像期間が１フレーム期間に収まるように露光パターンを設計した。したがって、個々の撮像装置に割り当てられる撮像期間の長さは、最大でも１フレーム期間／撮像装置の総数となる。例えば、２４フレーム／秒、シャッタ開角度が１７２．８度での撮像では、１フレームあたりの露光時間は１／５０秒となる。この場合、（１／２４）／（１／５０）＝２．０８であるため、撮像装置が２台であれば個々の撮像装置に必要な露光時間が確保できる。しかし、撮像装置が３台以上となると、露出不足になるか、撮像装置に割り当てる撮像期間に重複が生じることになる。

本実施形態は、撮像期間が重複する場合でも、個々の撮像装置が適切な背景画像で撮影することを可能にする。本実施形態は制御装置１８０が決定する露光パターンおよび表示パターン以外は基本的に第１実施形態と同様である。したがって、以下では、図４のフローチャートを用い、本実施形態の制御装置１８０の動作についてのみ説明する。

なお、以下では、制御装置１８０に３台の撮像装置（撮像装置Ａ、撮像装置Ｂ、撮像装置Ｃとする）が接続されている場合について説明する。この場合、制御装置１８０は図３に示した例よりも多くの通信インタフェースを有する。また、撮像装置が４台以上接続される場合にも同じ考え方を適用することができる。

本実施形態において制御装置１８０は、３台の撮像装置Ａ，Ｂ，Ｃについて、フレームレートとシャッタ開角度から求まる長さ（上述の例では１／５０秒）を有し、開始タイミングの異なる撮像期間を割り当てる。具体的には、制御装置１８０は、撮像装置の台数をｎとすれば、開始タイミングが１フレーム期間Ｆの１／ｎ（＝Ｆ／ｎ）ずつずれるように個々の撮像装置に撮像期間を割り当てる。なお、撮像期間の長さは撮像装置によって異なってもよい。

したがって、撮像装置は、図４のＳ３０１において、個々の撮像装置Ａ，Ｂ，Ｃに対し、Ｆ／３ずつずれた動作タイミングを指示する。そして、制御装置１８０は各撮像装置の動作タイミングの情報を取得し、指示したタイミングで動作しているか否かを確認する。ここでは、指示したタイミングで動作していることが確認できたものとする。

次に、Ｓ３０２で制御装置１８０は、個々の撮像装置Ａ，Ｂ，Ｃに対し、例えば図８に示すような露光パターンを決定し、通知する。ここでは、撮像装置Ａに露光パターン１を、撮像装置Ｂに露光パターン２を、撮像装置Ｃに露光パターン３を決定したものとする。

Ｓ３０３で制御装置１８０は第１の実施形態と同様に、各撮像装置に適した背景画像を生成する。

Ｓ３０４で制御装置１８０は、生成した背景画像を表示装置４００で表示させる。この際、制御装置１８０は、対象の撮像装置の撮像期間に含まれ、他の撮像装置の撮像期間に含まれない期間に、対象の撮像装置用の背景画像が表示されるように、表示装置４００での表示を制御する。

図８に示す例では、露光パターン１が割り当てられる撮像装置Ａについては表示パターン１に従って撮像装置Ａ用の背景画像が表示装置４００に表示されるよう、制御装置１８０は表示タイミングを制御する。制御装置１８０は、撮像装置ＢおよびＣについても同様に、表示パターン２および３に従って背景画像の表示タイミングを制御する。

撮像装置が重複しない期間に背景画像を表示させることにより、同一の背景画像を複数の撮像装置が撮像することを回避しつつ、個々の撮像装置が位置姿勢に応じた適切な背景画像で撮像することを可能とする。また、個々の撮像装置が背景画像を撮像する期間は１フレーム期間に収まるため、本実施形態においても個々の撮像装置が実質的に並行して同一シーンについてのインカメラＶＦＸ映像を撮像できる。

なお、ここでは撮像期間の長さをフレームレートとシャッタ開角度とに基づく長さとすることで、例えばフリッカを抑制可能なシャッタ速度での撮像を可能としている。しかしながら、撮像期間の一部にしか背景画像が表示されないため、前景の被写体の露出量に対して背景画像の露出量が減少する。例えば、撮像期間の長さがＦ／２の場合、背景画像の表示期間はＦ／６であり、背景画像の露出量は前景被写体の露出量の１／３になる。

そのため、背景画像の露出量が前景の被写体と同様になるよう、背景画像の明るさを補正することができる。例えば背景画像の露出量が前景被写体の露出量の１／３になる場合、Ｓ３０３で生成する背景画像の明るさ、あるいは表示装置４００の基準表示輝度を３倍に補正することで、前景と背景画像の露出量の差を無くすことができる。

また、背景画像が動画の場合、前景の被写体と背景画像の露光時間が異なることから画像のぶれ方が異なり、違和感を与える場合がある。その場合には、Ｓ３０３で背景画像をレンダリングする際に、露光時間の差による像ぶれの差が軽減するようにレンダリングすることで、違和感を軽減することができる。

なお、シャッタ速度（撮像期間の長さ）を変更できる場合には、第１実施形態と同様に、重複しない撮像期間を個々の撮像装置に割り当ててもよい。この場合、露出不足分を補うように撮影感度を上げればよい。あるいは、露出アンダーの画像に対してポストプロダクション時に露出不足分を補正するようにしてもよい。これらの場合、３台以上の撮像装置を用いる場合も第１実施形態と同様にして露光パターンおよび表示パターンを決定することができる。

（その他の実施形態）
上述の実施形態では、制御装置１８０が決定した露光パターンを個々の撮像装置に通知し、個々の撮像装置のシステム制御部が、通知された露光パターンに従ったタイミングで撮像を行うように撮像装置の動作を制御するものであった。

しかし、制御装置１８０が決定した全ての露光パターンを特定の１つの撮像装置（マスタ装置）に通知し、マスタ装置のシステム制御部が、他の撮像装置の動作タイミングを、対応する露光パターンに応じて制御してもよい。例えばマスタ装置のシステム制御部は、他の撮像装置の露光パターンに応じたタイミングで制御信号Ｉ／Ｆ１９から他の撮像装置に指示を与えることにより、露光パターンに応じた動作タイミングで撮像動作を実行するように制御してもよい。この場合、システムタイマから他の撮像装置に外部クロック信号を供給することで、他の撮像装置の動作タイミングを自装置と共通のクロック信号に同期させる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の撮像システムの制御装置、制御方法、撮像装置およびプログラムを含む。
（項目１）
表示装置に表示された画像を背景にした撮像を行う撮像システムの制御装置であって、
個々の撮像装置に対して、タイミングが異なる撮像期間を割り当てる割り当て手段と、
前記個々の撮像装置が割り当てられた撮像期間に撮像を行うように前記個々の撮像装置を制御する撮像制御手段と、
前記撮像期間それぞれにおいて、当該撮像期間が割り当てられた撮像装置の位置姿勢に応じた画像を前記表示装置に表示させる表示制御手段と、
を有することを特徴とする制御装置。
（項目２）
前記割り当て手段は、前記個々の撮像装置に割り当てた撮像期間が１フレーム期間に収まるように前記撮像期間を割り当てることを特徴とする項目１に記載の制御装置。
（項目３）
前記割り当て手段は、撮像期間が互いに重複しないように前記個々の撮像装置に撮像期間を割り当ることを特徴とする項目２に記載の制御装置。
（項目４）
前記割り当て手段は、撮像期間が部分的に重複するように前記個々の撮像装置に撮像期間を割り当ることを特徴とする項目２に記載の制御装置。
（項目５）
前記表示制御手段は、前記撮像期間にそれぞれにおいて、他の撮像期間と重複しない期間に、前記画像を前記表示装置に表示させることを特徴とする項目４に記載の制御装置。
（項目６）
前記画像と前景の被写体との露出量の差を補正する補正手段をさらに有することを特徴とする項目４または５に記載の制御装置。
（項目７）
前記補正手段は、前記画像の明るさを補正することにより、前記露出量の差を補正することを特徴とする項目６に記載の制御装置。
（項目８）
前記補正手段は、前記表示装置の表示輝度を補正することにより、前記露出量の差を補正することを特徴とする項目６に記載の制御装置。
（項目９）
表示装置に表示された画像を背景にした撮像を行う撮像システムが実行する制御方法であって、
個々の撮像装置に対して、タイミングが異なる撮像期間を割り当てることと、
前記個々の撮像装置が割り当てられた撮像期間に撮像を行うように前記個々の撮像装置を制御することと、
前記撮像期間それぞれにおいて、当該撮像期間が割り当てられた撮像装置の位置姿勢に応じた画像を前記表示装置に表示させることと、
を有することを特徴とする制御方法。
（項目１０）
外部装置から、自装置および他の撮像装置についての撮像タイミングに関する情報を取得する取得手段と、
前記情報に基づいて、前記他の撮像装置の撮像タイミングを制御する制御手段と、
を有することを特徴とする撮像装置。
（項目１１）
さらに、前記他の撮像装置に外部クロック信号を供給する供給手段を有することを特徴とする項目１０に記載の撮像装置。
（項目１２）
コンピュータを、項目１から８のいずれか１項に記載の制御装置が有する各種手段として機能させるためのプログラム。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

５０…システム制御部、１００、２００…撮像装置、１８０…外部制御装置、４００…表示装置

Claims (12)

1. 表示装置に表示された画像を背景にした撮像を行う撮像システムの制御装置であって、
   個々の撮像装置に対して、タイミングが異なる撮像期間を割り当てる割り当て手段と、
   前記個々の撮像装置が割り当てられた撮像期間に撮像を行うように前記個々の撮像装置を制御する撮像制御手段と、
   前記撮像期間それぞれにおいて、当該撮像期間が割り当てられた撮像装置の位置姿勢に応じた画像を前記表示装置に表示させる表示制御手段と、
   を有することを特徴とする制御装置。
2. 前記割り当て手段は、前記個々の撮像装置に割り当てた撮像期間が１フレーム期間に収まるように前記撮像期間を割り当てることを特徴とする請求項１に記載の制御装置。
3. 前記割り当て手段は、撮像期間が互いに重複しないように前記個々の撮像装置に撮像期間を割り当ることを特徴とする請求項２に記載の制御装置。
4. 前記割り当て手段は、撮像期間が部分的に重複するように前記個々の撮像装置に撮像期間を割り当ることを特徴とする請求項２に記載の制御装置。
5. 前記表示制御手段は、前記撮像期間にそれぞれにおいて、他の撮像期間と重複しない期間に、前記画像を前記表示装置に表示させることを特徴とする請求項４に記載の制御装置。
6. 前記画像と前景の被写体との露出量の差を補正する補正手段をさらに有することを特徴とする請求項４に記載の制御装置。
7. 前記補正手段は、前記画像の明るさを補正することにより、前記露出量の差を補正することを特徴とする請求項６に記載の制御装置。
8. 前記補正手段は、前記表示装置の表示輝度を補正することにより、前記露出量の差を補正することを特徴とする請求項６に記載の制御装置。
9. 表示装置に表示された画像を背景にした撮像を行う撮像システムが実行する制御方法であって、
   個々の撮像装置に対して、タイミングが異なる撮像期間を割り当てることと、
   前記個々の撮像装置が割り当てられた撮像期間に撮像を行うように前記個々の撮像装置を制御することと、
   前記撮像期間それぞれにおいて、当該撮像期間が割り当てられた撮像装置の位置姿勢に応じた画像を前記表示装置に表示させることと、
   を有することを特徴とする制御方法。
10. 外部装置から、自装置および他の撮像装置についての撮像タイミングに関する情報を取得する取得手段と、
    前記情報に基づいて、前記他の撮像装置の撮像タイミングを制御する制御手段と、
    を有することを特徴とする撮像装置。
11. さらに、前記他の撮像装置に外部クロック信号を供給する供給手段を有することを特徴とする請求項１０に記載の撮像装置。
12. コンピュータを、請求項１から８のいずれか１項に記載の制御装置が有する各種手段として機能させるためのプログラム。

Images