JP2023118468A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】簡便な方法でインカメラＶＦＸを実現する撮像装置およびその制御方法を提供すること。【解決手段】撮像装置は、（１）撮像装置の位置姿勢を検出するための画像のデータを外部に出力し、（２）撮像装置の位置姿勢を検出するための画像を表示している外部の表示装置を撮像し、（３）撮像により得られた画像データに基づいて検出された撮像装置の位置姿勢に応じて生成された画像を表示している表示装置を背景とした撮像を行う。【選択図】図５

Description

本発明は撮像装置およびその制御方法に関し、特には撮像装置の位置姿勢を推定する技術に関する。

実写映像にコンピュータグラフィクス（ＣＧ）を合成することにより、非現実的なシーンの映像を生成するＶＦＸ(Visual Effects)技術が注目されている。また、ＣＧを表示する表示装置やスクリーンを背景にして被写体を撮像することで、合成処理なしにＶＦＸ映像を取得する方法（インカメラＶＦＸ）が知られている。

違和感のないＶＦＸを実現するには、ＣＧをレンダリングする際の仮想カメラの位置姿勢と、実写映像を撮像するカメラの位置姿勢とを合わせる必要がある。したがって、カメラの位置姿勢を検出し、検出した位置姿勢に応じてＣＧも変化させる必要がある。

従来、カメラの位置姿勢は、カメラとは別の装置を用いて検出していた。例えば、カメラに装着した装置で、既知の位置に配置された複数のマーカを撮像したり、既知の位置に配置された複数の発信器からの信号を受信したりすることにより、カメラの位置姿勢を検出するカメラトラッキングシステムが知られている（特許文献１）。

特許第３６３１１５１号公報

カメラトラッキングシステムは、既知の位置にマーカや発信器を配置したり、カメラに装置を装着したりする必要があり、設置の手間やコストがかかる。

本発明はこのような従来技術の課題に鑑みてなされたものである。本発明はその一態様において、簡便な方法でインカメラＶＦＸを実現する撮像装置およびその制御方法を提供する。

上述の目的は、撮像装置であって、撮像装置の動作を制御する制御手段を有し、制御手段は、（１）撮像装置の位置姿勢を検出するための画像のデータを外部に出力し、（２）撮像装置の位置姿勢を検出するための画像を表示している外部の表示装置を撮像し、（３）撮像により得られた画像データに基づいて検出された撮像装置の位置姿勢に応じて生成された画像を表示している表示装置を背景とした撮像を行う、ように撮像装置を制御することを特徴とする、撮像装置によって達成される。

本発明によれば、簡便な方法でインカメラＶＦＸを実現する撮像装置およびその制御方法を提供することができる。

実施形態に係る撮像装置１００の機能構成例を示す表すブロック図 実施形態に係る撮像システムの模式図 実施形態に係る表示制御装置３００の機能構成例を示す表すブロック図 第１実施形態における撮像システムの動作に関するフローチャート 第１実施形態における撮像システムの動作に関するタイミングチャート 実施形態におけるパターンデータおよび位置検出用撮像結果の例を示す図 実施形態における背景画像および映像用撮像結果の例を示す図 撮像装置１００の移動を示す模式図 実施形態におけるパターンデータおよび移動後の撮像装置１００で得られる位置検出用撮像結果の例を示す図 撮像装置の移動に伴う背景画像および映像用撮像結果の変化を示す図 第２実施形態における撮像システムの動作に関するフローチャート 第２実施形態における撮像システムの動作に関するタイミングチャート

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明を撮像装置（デジタルビデオカメラ）で実施する場合に関して説明する。しかし、本発明に撮像機能は必須でなく、画像データを処理可能な任意の電子機器で実施可能である。このような電子機器には、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローンなどが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

図１は、本発明の実施可能な撮像装置１００の機能構成例を含む、撮像システムの構成例を示すブロック図である。撮像システム１は、撮像装置１００と、表示制御装置３００と、表示装置４００とを有する。

撮像装置１００は、後述するように、撮像した画像から自身の位置姿勢を検出する機能を有する。撮像装置１００は、検出した位置姿勢の情報を表示制御装置３００に出力する。

表示制御装置３００は、撮像装置１００から得られる撮像装置１００の位置姿勢の情報に基づいてＣＧをレンダリングする。表示制御装置３００は、得られたＣＧを表示装置４００に適した映像信号に変換したのち、表示装置４００に出力する。表示制御装置３００は撮像装置１００および表示装置４００と通信可能なインタフェースを有し、ＣＧをレンダリングしたり映像信号に変換したりするソフトウェアが稼働するコンピュータ機器であってよい。

表示装置４００は、表示制御装置３００から供給される映像信号に基づく表示をおこなう。表示装置４００は液晶ディスプレイ（ＬＣＤ）のようなフラットパネルディスプレイであってもよいし、プロジェクタとスクリーンの組み合わせであってもよい。また、複数のディスプレイもしくはプロジェクタが用いられてもよい。

本実施形態においては、撮像装置１００および表示装置４００の動作を同期させるため、撮像装置１００および表示装置４００は、同期信号（例えばGenLock信号）の入出力に対応しているものとする。

撮像装置１００の構成について説明する。レンズユニット１０２は、被写体の光学像を形成する光学系である。レンズユニット１０２は可動レンズと固定レンズとを含む複数のレンズから構成される。可動レンズには少なくともフォーカスレンズを含み、ズームレンズおよびシフトレンズの１つ以上を含みうる。

ジャイロ４０は撮像装置１００の動きを表す信号を出力する動きセンサである。ジャイロ４０は、例えばレンズユニット１０２の光軸に平行な軸と、重力方向に平行な軸と、これら２つの軸と直交する軸との３軸周りの角速度を検出する３軸の角速度センサである。なお、各軸方向の加速度を検出するセンサを併用してもよい。

後述するシステム制御部５０は、ジャイロ４０の出力から撮像装置１００の動きを検出する。システム制御部５０は、レンズユニット１０２が有するシフトレンズの位置や画像処理部２４が撮像画像をトリミングする位置を、検出した動きに応じて制御することにより、像ぶれ補正機能を実現する。

絞り１０１はシステム制御部５０の制御によって開口量を調節可能である。レンズユニット１０２を通過した光は、絞り１０１の開口部と、必要に応じて光路に挿入されるＮＤ(Neutral Density)フィルタ１０２とを通過して撮像部２２の撮像面に被写体光学像を形成する。

撮像部２２は撮像素子と、撮像素子から読み出された信号のゲインを調整したり、ノイズを低減したりする周辺回路を有する。撮像素子は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像素子は複数の画素が２次元配列された画素アレイと、画素から信号を読み出すための周辺回路とを有する。各画素は光電変換によって入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、撮像面に形成された被写体像を表す画素信号群（アナログ画像信号）が得られる。

Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換する。なお、Ａ／Ｄ変換機能を有する撮像素子や、フォトンカウンティングタイプの撮像素子を用いる場合、Ａ／Ｄ変換器２３は不要である。

画像処理部２４は、Ａ／Ｄ変換器２３が出力する画像データに対して予め定められた画像処理を適用し、用途に応じた信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部２４は例えば特定の機能を実現するように設計されたＡＳＩＣ(Application Specific Integrated Circuit)のような専用のハードウェア回路であってよい。あるいは画像処理部２４はＤＳＰ(Digital Signal Processor)やＧＰＵ(Graphics Processing Unit)のようなプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

画像処理部２４が適用する画像処理には、例えば、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれうる。
前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれうる。
色補間処理は、撮像素子にカラーフィルタが設けられている場合に行われ、画像データを構成する個々の画素データに含まれていない色成分の値を補間する処理である。色補完処理はデモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、撮像光学系１０１の光学収差に起因する画像劣化の補正（画像回復）、撮像光学系１０１の周辺減光の影響の補正、色補正などの処理が含まれうる。
検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれうる。
データ加工処理には、トリミング、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれうる。表示用画像データや記録用画像データの生成もデータ加工処理に含まれる。また、ジャイロ４０によって検出された撮像装置１００の動きに応じてトリミングする領域を移動させることにより、電子式像ブレ補正機能が実現される。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれうる。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれうる。
なお、これらは画像処理部２４が適用可能な処理の例示であり、画像処理部２４が適用する処理を限定するものではない。

Ａ／Ｄ変換器２３が出力する画像データはメモリ３２に格納される場合もある。メモリ３２は、例えば画像データのバッファや、画像処理部２４の作業用メモリとして用いられる。また、メモリ３２の一部は、表示部２８のビデオメモリとして用いられる。

Ｄ／Ａ変換器１３は、メモリ３２のビデオメモリ領域に格納されている表示用の画像データを表示部２８の表示に適したアナログ画像信号に変換して表示部２８に供給する。表示部２８は例えばＬＣＤを有し、Ｄ／Ａ変換器１３から供給されるアナログ画像信号に応じた表示を行う。

システム制御部５０は、撮像装置１００が撮像スタンバイ状態の場合、撮像部２２による動画撮像、画像処理部２４による表示用画像データの生成およびメモリ３２への格納、Ｄ／Ａ変換器１３によるアナログ画像信号の生成を継続的に実施させる。これにより、表示部２８を電子ビューファインダ（ＥＶＦ）として機能させることができる。

不揮発性メモリ５６ は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭである。不揮発性メモリ５６は、システム制御部５０が実行するプログラム、定数、撮像装置１００の設定値、ＧＵＩ(Graphical User Interface)データなどが記憶される。

システム制御部５０は例えばＣＰＵ（ＭＰＵ、マイクロプロセッサとも呼ばれる）である。システム制御部５０は、不揮発性メモリ５６に記憶されたプログラムをシステムメモリ５３に読み込んで実行することにより、撮像装置１００の各部の動作を制御し、撮像装置１００の機能を実現する。

システムメモリ５３はＲＡＭであり、不揮発性メモリ５６から読み出したプログラムを格納したり、システム制御部５０がプログラムを実行するために必要な定数、変数などを一時的に保存したりするために用いられる。なお、システムメモリ５３とメモリ３２は１つのメモリ空間を共有してもよい。

システムタイマ５６はシステム制御部５０、撮像部２２、メモリ３２、システムメモリ５３などに動作用クロック信号を供給する。また、システムタイマ５６は時計機能を有し、日時情報を提供する。さらに、システムタイマ５６は所定時間を計測するタイマ機能を提供する。

操作部７０は、ユーザが撮像装置１００に各種の指示を入力するために設けられた入力デバイス（ボタン、スイッチ、ダイヤルなど）の総称である。モード切替スイッチ６０および録画スイッチ６１も操作部７０を構成する。操作部７０を構成する入力デバイスは、割り当てられた機能に応じた名称を有する。なお、同一の入力デバイスに割り当てられる機能は可変であってよい。

例えば、操作部７０には、メニューボタン、方向キー、決定キーなどが含まれる。メニューボタンが操作されるとシステム制御部５０はメニュー画面を表示部２８に表示させる。また、システム制御部５０は、メニュー画面が表示されている状態で方向キーが操作されると選択項目を変更したり、表示内容を変化させたりする。また、決定キーが操作されると、システム制御部５０はその時点で選択されている項目に応じて設定を変更したり、動作を実行したりする。

モード切替スイッチ６０が操作されると、システム制御部５０は、撮像装置１００の動作モードを、モード切り替えスイッチ６０の操作に応じて、記録モード、再生モード、インカメラＶＦＸモードなどの複数の動作モードのいずれかに切り替える。

録画スイッチ６１は動画記録の開始と待機状態とを切り替える。システム制御部５０は、撮像スタンバイ状態で録画スイッチ６１の操作を検出すると動画記録動作を開始する。

なお、表示部２８がタッチディスプレイの場合、表示部２８に表示するＧＵＩ画像を用いたソフトウェアキーもまた操作部７０を構成する。

電源制御部８０は、例えば電池である電源部３０から供給される電力に基づいて、撮像装置１００の各部に、動作に必要な電力を供給する。

媒体Ｉ／Ｆ１８は、メモリカードなど記録媒体２００にシステム制御部５０がアクセスするためのインタフェースである。

外部Ｉ／Ｆ１９は、外部機器に信号を出力したり、外部機器と通信したりするためのインタフェースである。外部Ｉ／Ｆ１９には、例えば、ＳＤＩ、ＨＤＭＩ（登録商標）、ＵＳＢなどの規格に準拠したインタフェースおよびコネクタが設けられている。また、外部Ｉ／Ｆ１９は、タイムコードやゲンロック(GenLock)信号など、外部機器を撮像装置１００と同期させるための信号を出力することができる。

また、システム制御部５０は、外部Ｉ／Ｆ１９を通じて外部装置から入力される信号またはコマンドに基づいて、撮像装置１００の動作を制御することができる。システム制御部５０は、外部Ｉ／Ｆ１９に外部機器が接続されると、予め定められた通信を外部機器と行い、外部機器の種類を認識したり、相互に制御可能な動作の範囲を確認したりする。また、システム制御部５０は、外部Ｉ／Ｆ１９に接続された表示制御装置３００を通じて、表示制御装置３００に接続されている表示装置４００の情報を取得する。

パターンデータ生成部３３は、撮像装置１００の位置姿勢を検出するために表示装置４００に表示させるためのパターンデータを生成し、外部Ｉ／Ｆ１９に供給する。パターンデータは表示する画像の全体を表すデータであっても、一部（例えば繰り返し単位）を表すデータであってもよい。後者の場合、表示制御装置３００が画像全体を表すデータに加工してから表示装置４００に表示させる。

位置姿勢検出部３４は、パターンデータ生成部３３が生成したパターンデータに基づく画像が表示された表示装置４００を撮像した画像に基づいて、表示装置４００との相対的な撮像装置１００の位置姿勢を検出する。

表示制御装置３００は、撮像装置１００および表示装置４００を接続するためのインタフェースを備える汎用コンピュータ機器であり、表示制御アプリケーションを稼働させることにより、以下に説明する動作を実行する。

図２は、撮像システム１における撮像装置１００、表示装置４００および被写体５００との位置関係を模式的に示した図である。図２は、撮像装置１００と表示装置４００とが正対した状態を俯瞰したものであり、撮像対象の被写体５００は表示装置４００と撮像装置１００との間に位置する。また、点線は撮像装置１００の水平方向の撮像範囲（画角）を表している。

図３は、表示制御装置３００の機能構成例を示すブロック図である。表示制御装置３００は例えばコンピュータ機器を用いて実現することができる。
制御部３０１は例えばＣＰＵであり、ＲＯＭ３０５に記憶されているプログラム（表示制御アプリケーションプログラム）をＲＡＭ３０６に読み込んで実行することにより、表示制御装置３００の機能を実現する。

画像処理回路３０２は例えばＧＰＵを搭載したグラフィックボードである。画像処理回路３０２はＣＧのレンダリングなど、画像処理を高速に実行可能である。

第１Ｉ／Ｆ３０３および第２Ｉ／Ｆ３０４は外部機器を接続する通信インタフェースであり、本実施形態では第１Ｉ／Ｆ３０３に撮像装置１００が、第２Ｉ／Ｆ３０４に表示装置４００が接続されるものとする。本実施形態において、第１Ｉ／Ｆ３０３および第２Ｉ／Ｆ３０４は映像信号、同期信号、制御信号が伝送可能である。なお、便宜上、表示制御装置３００と撮像装置３００とが１つのＩ／Ｆを通じて接続されるように図示しているが、通信する信号に応じて異なるＩ／Ｆを通じて接続されてもよい。表示制御装置３００と表示装置４００との接続についても同様である。

制御部３０１は、第１Ｉ／Ｆ３０３および第２Ｉ／Ｆ３０４を通じた通信により、撮像装置１００および表示装置４００の情報を取得したり、撮像装置１００および表示装置４００の動作を制御したりする。なお、表示制御装置３００は、外部装置との通信インタフェースを３つ以上有してもよい。

ＲＯＭ３０５は制御部３０１が実行するプログラム（ファームウェア、ＯＳ、アプリケーションプログラムなど）、メニュー画面などのＧＵＩ画像データ、表示制御装置３００の設定値などを格納する。

ＲＡＭ３０６は制御部３０１のメインメモリとして用いられるほか、画像処理回路１２５の作業用メモリ、表示部３０８のビデオメモリとしても用いられる。

記憶部３０７はハードディスクやＳＳＤなどの大容量記憶装置である。表示装置４００に表示するＣＧをレンダリングするために必要なデータも記憶部３０７に格納されている。

表示部３０８は例えば液晶ディスプレイ装置である。表示部３０８はタッチディスプレイであってもよい。表示部３０８は表示制御アプリケーションの画面などを表示する。

操作部３０９はキーボード、マウス、タッチパッドなど、ユーザが操作可能な複数の入力デバイスを有する。表示部３０８がタッチディスプレイの場合、タッチパネルは操作部３０９を構成する。

クロック生成回路３１０は、撮像装置１００および表示装置４００の動作を同期させるための同期信号を生成する。なお、外部装置から同期信号を取得してもよい。

図４は、撮像システム１全体の動作に関するフローチャートである。また、図５は、図４のフローチャートに関する各装置の動作タイミングを示したタイミングチャートである。以下、図４および図５を用いて撮像システム１の動作を説明する。なお、以下の動作を開始する前に、動作に必要な設置や接続が完了しているものとする。

具体的には、表示制御装置３００において表示制御アプリケーションが稼働しており、表示制御装置３００が撮像装置１００および表示装置４００の動作を制御するために必要な情報を撮像装置１００および表示装置４００から取得済みであるものとする。例えば、撮像指示を与えてから撮像が実施されるまでの遅延量、表示指示を与えてから表示が実施されるまでの遅延量などを、表示制御装置３００が把握済みであるものとする。

なお、以下の説明において、撮像装置１００を主体とする動作はシステム制御部５０が、表示制御装置３００を主体とする動作は制御部３０１がそれぞれ実施する。

Ｓ３０１で表示制御装置３００から撮像装置１００および表示装置４００に対しインカメラＶＦＸモードへのモード変更指示を行う（図５、時刻ｔ１）。インカメラＶＦＸモードは、撮像装置１００の位置姿勢の検出に関する表示制御および撮像制御と、検出した位置姿勢に応じたＣＧの表示制御および撮像制御とが行われる動作モードである。

撮像装置１００は、インカメラＶＦＸモードにおいて、位置姿勢検出用のフレーム撮像と、記録用のフレーム撮像とを含んだ動画撮像を実施する。撮像装置１００は、表示制御装置３００による指示に従い、表示制御装置３００から供給される基準クロック信号に同期したタイミングで各フレームの撮像を実行する。

また、表示制御装置３００は撮像装置１００と表示装置４００の動作を同期させるために、基準クロック信号（ＧｅｎＬｏｃｋ信号）を、クロック生成回路３１０から撮像装置１００および表示装置４００に供給する。また、表示制御装置３００は、ＧｅｎＬｏｃｋ信号に対する同期の完了を撮像装置１００および表示装置４００から受信することにより、撮像装置１００および表示装置４００の同期を確認する。また、表示制御装置３００は、撮像装置１００と表示装置４００に対して、ＧｅｎＬｏｃｋ信号に基づく動作周期を通知する。

その後、撮像装置１００から映像信号を受信すると、表示制御装置３００は映像信号に基づく画像を表示装置４００に出力するとともに、撮像装置１００に位置姿勢検出用のパターンデータの生成を指示する。

Ｓ３０２で撮像装置１００のパターンデータ生成部３３は、表示制御装置３００からの指示に応じて位置姿勢検出用のパターンデータを生成する。パターンデータは、パターンデータに基づく画像を表示した表示画面の撮像画像から、撮像装置１００が表示画面のどの部分を撮像しているかを特定できるような特徴を有する画像データである。

図６（ａ）にパターンデータが表す画像の例を示す。図６（ａ）は、表示装置４００の全体にパターンデータを表示した状態を示している。パターンデータは撮像装置１００のパターンデータ生成部３３が、表示装置４００の情報（例えば表示画面の解像度（水平方向および垂直方向の画素数））に基づいて生成する。

例えば、撮像装置１００は、表示装置４００の表示画面を複数のブロックに分割し、個々のブロックに固有の情報を表示するようなパターンデータを生成する。パターンデータを表示した表示装置４００の表示画面の一部を撮像した画像に含まれるブロックの固有情報から、表示画面のうち、撮像装置１００がどの範囲を撮像したのかを特定できる。

図６（ａ）に示す例では、各ブロックの固有情報として、ブロックの水平方向および垂直方向の位置を表す文字”（ｘ，ｙ）”（１≦ｘ≦２２、１≦ｙ≦１０の整数）を表示するパターンデータの例を示している。したがって、表示画面の一部を撮像した画像に含まれる文字”（ｘ，ｙ）”を例えば画像処理部２４によって識別することにより、表示画面のどの部分が撮像されているかを特定することができる。なお、各ブロックに表示される固有情報は、撮像装置１００が特定可能であれば文字に限らず、図形や色などを用いたものであってもよい。

一方、表示装置４００の表示画面の複数点の３次元位置の情報（例えば、表示画面の４頂点の少なくとも３つの３次元位置）は、表示制御装置３００から撮像装置１００に提供される。撮像装置１００は、表示制御装置３００から提供される表示画面の３次元位置の情報に基づいて、パターンデータを表示した画面の撮像画像の３次元位置を特定することができる。

Ｓ３０３で撮像装置１００は、Ｓ３０２で生成したパターンデータを外部Ｉ／Ｆ１９を通じて表示制御装置３００に出力する。表示制御装置３００は、第１Ｉ／Ｆ３０３を通じて受信したパターンデータをＲＡＭ３０６に格納する。そして、画像処理回路３０２は、パターンデータに基づいて表示装置４００に出力する画像データを生成する。なお、前フレームの撮像範囲にだけパターンデータが表示されるようにパターンデータを生成してもよい。

表示制御装置３００は、画像処理回路３０２が生成した画像データを、出力指示とともに第２Ｉ／Ｆ３０４を通じて表示装置に出力する。また、表示制御装置３００は、撮像装置１００に対して撮像指示を出力する。

Ｓ３０４で撮像装置１００および表示装置４００は、それぞれ撮像処理と表示処理の実行タイミング（ここでは時刻ｔ３）になるまで待機する。実行タイミングは同期処理の際に表示制御装置３００から通知されている周期と、ＧｅｎＬｏｃｋ信号とによって決定される。

実行タイミングになると、Ｓ３０５で、表示装置４００は画像データに基づく表示、撮像装置１００は撮像を実行する。ここでは、表示装置４００が図６（ａ）に示す画像を表示し、撮像装置１００は図６（ｂ）の枠で示す範囲を撮像するものとする。撮像画像には、パターンデータに基づく画像に加え、表示装置４００と撮像装置１００との間に存在する人物が写る。撮像装置１００では予め定められた露出条件で、レンズユニット１０２を表示画面に合焦させて撮像し、画像処理回路１２５によって撮像画像データを生成する。撮像画像データはメモリ３２に格納される。撮像時の露光時間（シャッタスピード）は、表示装置４００の表示フレームレートや電源周波数などに起因するフリッカが撮像画像に生じないように定める。

Ｓ３０６で撮像装置１００の位置姿勢検出部３４は、撮像画像データと表示装置４００の表示画面の３次元位置情報とから、撮像装置１００の位置（空間座標）および姿勢を検出する。まず、位置姿勢検出部３４は、撮像画像データに基づいて、撮像装置１００が表示画面のどの部分を撮像したか（撮像範囲）を特定する。

その後、位置姿勢検出部３４は、撮像画像内の６点（座標）以上についての３次元位置を用いて、撮像装置１００の位置姿勢を検出する。画像内の点に対応する３次元位置は、表示制御装置３００から与えられる表示画面の３次元位置に関する情報から求めることができる。例えば位置姿勢検出部３４は、撮像画像に写っている、パターンデータに基づく画像に含まれる６点以上についての３次元位置を、表示画面の頂点の３次元位置の情報に基づいて特定するか、表示制御装置３００から取得する。３次元位置は例えばブロックの中心（重心）や、ブロックを仕切る格子の交点の３次元位置であってよい。

例えば撮像画像内の６点（座標）の３次元位置が特定できれば、Ｐ６Ｐ（Ｐｅｒｓｐｅｃｔｉｖｅ－６－Ｐｏｉｎｔ）問題を解く公知の方法によって撮像装置１００の位置姿勢を検出することができる。位置姿勢検出部３４は検出した撮像装置１００の３次元位置と、姿勢（例えば、重力方向に対する直交座標系の各軸の回転角）とを位置姿勢情報としてメモリ３２に格納する。

Ｓ３０７で撮像装置１００はＩ／Ｆ１８を通じて表示制御装置３００に位置姿勢情報を出力する。

Ｓ３０８で表示制御装置３００は、第１Ｉ／Ｆ３０３を通じて受信した位置姿勢情報をＲＡＭ３０６に格納する。そして、画像処理回路３０２は、位置姿勢情報に基づく視点位置および視線方向を用い、記憶部３０７に予め格納されているモデルデータをレンダリングしてＣＧデータを生成する。これにより、仮想空間に撮像装置１００を配置したときに表示装置４００の表示画面の位置に観察される映像に相当するＣＧデータ（映像用画像データ）が得られる。つまり、撮像装置１００の位置姿勢に応じた、違和感のない画像を表すＣＧデータが生成される。図７（ａ）は、現在の撮像装置１００の位置姿勢に応じてレンダリングされたＣＧデータが表す画像の例を示す。この画像は背景として用いられるため、背景画像と呼ぶ。

Ｓ３０９で表示制御装置３００は、第２Ｉ／Ｆ３０４を通じて背景画像データと出力指示を表示装置４００に出力する。また、表示制御装置３００は第１Ｉ／Ｆ３０３を通じて撮像装置１００に対して撮像指示を出力する。

Ｓ３１０で撮像装置１００および表示装置４００は、それぞれ撮像処理と表示処理の実行タイミング（ここでは時刻ｔ４）になるまで待機する。

実行タイミングになると、Ｓ３１１で、表示装置４００は画像データに基づく表示、撮像装置１００は撮像を実行する。ここでは、表示装置４００が図７（ａ）に示す画像を表示し、撮像装置１００は図６（ｂ）の枠で示す範囲を撮像するものとする。撮像画像には、背景画像データに基づく画像に加え、表示装置４００と撮像装置１００との間に存在する人物が写る。これにより、図７（ｂ）の枠内に示す画像が撮像される。

Ｓ３１２で撮像装置１００は撮像したインカメラＦＸ画像を記録媒体２００に保存する。
Ｓ３１３で終了条件が満たされていなければ、Ｓ３０２から繰り返し実行することで次フレームの処理が継続される。終了条件は例えば撮像装置１００が再生モードに切りかわったこと、撮像装置１００の電源がオフされたことなど、予め定められた任意の条件であってよい。

次フレームの処理において、撮像装置１００が図８に点線で示す位置から実線で示す位置に移動したものとする。Ｓ３０５で表示装置４００パターンデータに基づく画像を表示している状態を図９（ａ）に示す。ここでは撮像装置１００の移動にかかわらずＳ３０２で生成されるパターンデータは変更されないものとしているが、表示装置４００の表示画面と撮像装置１００との相対的な位置関係に応じてパターンデータを変更してもよい。また、図９（ｂ）は、Ｓ３０５において撮像装置１００で得られる撮像画像（枠内）と表示画面の状態とを模式的に示している。

Ｓ３０６で撮像装置１００の位置姿勢検出部３４は、上述したようにして撮像装置１００の位置姿勢を検出する。
Ｓ３０７で撮像装置１００から表示制御装置３００に位置姿勢情報を出力する。
Ｓ３０８で表示制御装置３００は位置姿勢情報に基づく背景画像のＣＧデータを生成する。撮像装置１００の撮像方向が変化したことで、背景画像は図１０（ａ）に示すように変化する。また、その後Ｓ３１１（図５の時刻ｔ７）では、図１０（ｂ）の枠内に示す撮像画像が得られる。

なお、上述した例では１フレームごとにパターンデータの表示および撮像装置の位置姿勢の検出を実行したが、位置姿勢の検出は複数フレームに１回実行するようにしてもよい。この場合、位置姿勢の検出を実行しないフレームでは、直近に検出した位置姿勢に基づくＣＧを繰り返し表示する。

また、ジャイロ４０で検出した撮像装置１００の動きの大きさに応じた頻度で位置姿勢の検出を実行してもよい。撮像装置１００が静止している場合または動きの大きさが閾値未満の場合には、動きが閾値以上の場合よりも位置姿勢の検出頻度を下げることができる。

このように、本実施形態によれば、撮像装置の位置姿勢を検出するためのパターン画像を背景に表示した状態で得られる撮像画像から撮像装置の位置姿勢を検出し、検出した位置姿勢に基づいて生成したＣＧを背景に表示するようにした。そのため、撮像装置の位置姿勢を検出するための外部装置を用いることなく、撮像装置の位置姿勢に応じたＣＧを背景にしたＶＦＸ映像を撮像装置で直接取得することが可能になる。

●＜第２実施形態＞
次に、本発明の第２実施形態について説明する。本実施形態は、撮像装置１００の位置姿勢の検出を表示制御装置３００が行う。したがって、撮像装置１００はパターンデータに基づく画像が表示されている状態で得られた撮像画像のデータを表示制御装置３００に出力する。表示制御装置３００は第１実施形態における位置姿勢検出部３４と同様にして撮像装置１００の位置姿勢を検出する。撮像装置１００の位置姿勢に基づくＣＧの生成や、表示および撮像のタイミング制御については第１実施形態の表示制御装置３００と同様である。

図１１は図４と同様の、撮像システム１全体の動作に関するフローチャートである。また、図１２は図５と同様の、図１１のフローチャートに関する各装置の動作タイミングを示したタイミングチャートである。以下、図１１および図１２に関して本実施形態を説明する。撮像システム１の構成は第１実施形態と同様であってよいため、説明は省略する。

Ｓ３０１～Ｓ３０５は第１実施形態と同様であるため、説明を省略する。Ｓ１００６で撮像装置１００は、Ｓ３０５で撮像した画像データを外部１／Ｆ１９を通じて表示制御装置３００に送信する（図１２、１２０１）。本実施形態では、撮像装置１００の位置姿勢検出部３４は用いない。

Ｓ１００７で表示制御装置３００は第１Ｉ／Ｆ３０４を通じて撮像装置１００から受信した、パターンデータを表示した画面を撮像した画像データをＲＡＭ３０６に格納する。そして、表示制御装置３００（制御部３０１）は、第１実施形態における位置姿勢検出部３４と同様にして撮像装置１００の位置姿勢を検出し、位置姿勢情報をＲＡＭ３０６に格納する（図１２、１２０２）。

Ｓ３０８で表示制御装置３００は、撮像装置１００から位置姿勢情報を受信することなく、Ｓ１００７で求めた位置姿勢情報を用いて背景画像（ＣＧ）を生成する（図１２、１２０３）。以降の処理は第１実施形態と同様であるため説明を省略する。

本実施形態では、撮像装置１００の位置姿勢を表示制御装置３００で検出する。そのため、第１実施形態と同様の効果に加え、撮像装置１００の処理負荷軽減ならびに位置姿勢検出の高速化が可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、３００…表示制御装置、４００…表示装置、２２…撮像部、５０…システム制御部、３４…位置姿勢検出部

Claims (11)

1. 撮像装置であって、
   前記撮像装置の動作を制御する制御手段を有し、
   前記制御手段は、
   （１）前記撮像装置の位置姿勢を検出するための画像のデータを外部に出力し、
   （２）前記撮像装置の位置姿勢を検出するための画像を表示している外部の表示装置を撮像し、
   （３）前記撮像により得られた画像データに基づいて検出された前記撮像装置の位置姿勢に応じて生成された画像を表示している前記表示装置を背景とした撮像を行う、
   ように前記撮像装置を制御することを特徴とする、撮像装置。
2. 前記表示装置とは異なる外部装置の制御に従って前記撮像を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段はさらに、
   前記撮像装置の位置姿勢を検出するための画像を表示している外部の表示装置を撮像して得られた画像データと、前記表示装置の複数の位置の３次元位置とに基づいて、前記撮像装置の位置姿勢を検出し、
   前記検出した位置姿勢の情報を、前記外部装置に出力する、
   ように前記撮像装置を制御することを特徴とする請求項２に記載の撮像装置。
4. 前記３次元位置が前記外部装置から供給されることを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段はさらに、
   前記撮像装置の位置姿勢を検出するための画像を表示している外部の表示装置を撮像して得られた画像データを、前記外部装置で前記撮像装置の位置姿勢を検出するために出力するように前記撮像装置を制御することを特徴とする請求項２に記載の撮像装置。
6. 前記撮像装置は前記表示装置の表示画面の一部を撮像し、
   前記位置姿勢を検出するための画像が、前記表示装置を撮像して取得した画像データから、前記撮像装置が前記表示画面のどの部分を撮像したかを特定することを可能とする画像であることを特徴とする、請求項１から５のいずれか１項に記載の撮像装置。
7. 前記撮像装置の位置姿勢に応じて生成された画像が、前記撮像装置から観察した仮想空間を表すコンピュータグラフィクス（ＣＧ）であることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記（１）から（３）の動作を繰り返し実行するように前記撮像装置を制御することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、前記（１）および（２）の動作の頻度を、前記撮像装置の動きの大きさが閾値未満の場合に閾値以上の場合よりも低減することを特徴とする請求項８に記載の撮像装置。
10. 撮像装置が実行する制御方法であって、
    （１）前記撮像装置の位置姿勢を検出するための画像のデータを外部に出力することと、
    （２）前記撮像装置の位置姿勢を検出するための画像を表示している外部の表示装置を撮像することと、
    （３）前記撮像により得られた画像データに基づいて検出された前記撮像装置の位置姿勢に応じて生成された画像を表示している前記表示装置を背景とした撮像を行うことと、
    を有することを特徴とする、撮像装置の制御方法。
11. 撮像装置が有するコンピュータを、請求項１から９のいずれか１項に記載の撮像装置の前記制御手段として機能させるためのプログラム。

Images