JP2011239379A - 撮像システム、撮像装置及び撮像方法 - Google Patents

Abstract

【課題】３Ｄ画像を生成するための高品質なステレオペア画像を撮像すること。
【解決手段】本発明においては、第１画像及び第２画像を含むステレオペア画像を撮像する撮像システムが提供される。当該システムは、前記ステレオペア画像の前記第１画像を撮像することが可能な第１カメラと、前記ステレオペア画像の前記第２画像を撮像することが可能な第２カメラと、前記第１カメラが前記第２カメラと通信可能なように、前記第１カメラと前記第２カメラとを接続する通信リンクとを具備し、前記第１カメラは、前記第２画像の撮像に関する前記第２カメラの機能を制御するために、第２カメラ制御データを、前記通信リンクを介して前記第２カメラに送信することが可能である。
【選択図】図２

Description

本発明は、撮像システム、撮像装置及び撮像方法に関する。

近年、映画館でスクリーン放映される映画として、いわゆる３次元（３Ｄ）フォーマットで製作されるものが多くなっている。このような形式は、例えば３Ｄメガネ等の適切な視聴デバイスを使用する視聴者（ユーザ）に、立体的に映画を視聴することを可能とする。また３Ｄ形式で画像を再生することが可能な３Ｄテレビもますます普及してきている。すなわち、当該３Ｄテレビにより従来のホームビデオと同様な方法で３Ｄ画像を再生することが可能となり、そのために消費者は、自分独自の３Ｄ画像を撮像できることを望む可能性がある。またプロのビデオカメラマンや映画制作者等の他のユーザも、３Ｄ画像の作成にますます興味を持つようになってきている。

画像が３Ｄとなるような錯覚を作り出すためには、わずかに異なる２つの画像（典型的にはステレオペア画像と呼ばれる）がともに視聴されることとなる。すなわち２つの画像のうち１つがユーザの左目で視聴され、もう１つがユーザの右目で視聴される。１つのシーンについてのわずかに異なる２つの表示に対応する２つの画像が提供される（例えば、ペアとなる画像のそれぞれがユーザの左目及び右目のそれぞれにより視聴される）。そうすると２つの画像が適切な方法で視聴されたときに、ユーザの脳は、２つのペアとなる画像が１つの３D画像であるというようにユーザをだます。

米国特許第６８６４９１１号明細書 米国特許出願公開第２００２／１１８９５８号明細書 欧州特許第１９６９４２３号明細書 米国特許第７１０２６８６号明細書 中国特許出願公開第１０１４０４７２５号明細書 国際公開第２００８／０７５６３５号

適切な方法でともに視聴されたときに３Ｄ画像となるようなステレオペア画像を生成するためには、典型的には、ステレオペアカメラにより１つのシーンにおける２つの画像が撮像される。ステレオペアカメラとなる各々のカメラは、典型的には大人の目の平均離間距離により近似された距離だけ離されている。しかしながら、２つのカメラ間の差異により、２つの画像間において、水平方向における所望の画像間オフセット（ずれ）以外の差異が発生してしまう可能性がある。例えば、第１画像（左画像）を撮像するための第１カメラが、第２画像（右画像）を撮像するための第２カメラとは異なる色感度を持っている可能性がある。またステレオペア画像の撮像に用いられる２つのカメラ間の差異により、ステレオペア画像が再生されるときに、３Ｄ視聴効果が損なわれる可能性がある。あるいは視聴者に頭痛及び／又は吐き気を引き起こす可能性がある。さらに画像処理操作による視差及び／又は深度の算出に、撮像された２つの画像が用いられる場合、ステレオペアカメラ間の信号特性の相違によりその結果が悪化する可能性がある。

本発明は、上記したような問題の緩和若しくは軽減を目的とする。

本発明の第１の態様においては、第１画像及び第２画像を含むステレオペア画像を撮像する撮像システムが提供される。当該システムは、前記ステレオペア画像の前記第１画像を撮像することが可能な第１カメラと、前記ステレオペア画像の前記第２画像を撮像することが可能な第２カメラと、前記第１カメラが前記第２カメラと通信可能なように、前記第１カメラと前記第２カメラとを接続する通信リンクとを具備し、前記第１カメラは、前記第２画像の撮像に関する前記第２カメラの機能を制御するために、第２カメラ制御データを、前記通信リンクを介して前記第２カメラに送信することが可能である。

本発明の第２の態様では、第１画像及び第２画像を含むステレオペア画像を撮像する撮像装置が提供される。当該装置は、前記ステレオペア画像の前記第１画像を撮像することが可能な撮像素子と、前記ステレオペア画像の前記第２画像を、通信リンクを介して第２カメラから受け取ることが可能な通信インタフェースと、前記第２画像の撮像に関する前記第２カメラの制御機能に関連する第２カメラ制御データを生成することが可能なコントローラとを具備し、前記撮像装置は、前記第２画像の撮像に関する前記第２カメラの機能を制御するために、前記第２カメラ制御データを、前記通信リンクを介して前記第２カメラに送信することが可能である。

本発明の第３の態様では、第１画像及び第２画像を含むステレオペア画像の前記第１画像を撮像する撮像装置が提供される。当該装置は、前記ステレオペア画像の前記第１画像を撮像することが可能な撮像素子と、前記ステレオペア画像の前記第１画像を、通信リンクを介して、前記第２画像に関連する第２カメラに送信することが可能な通信インタフェースとを具備し、前記通信インタフェースは、前記第１画像の撮像に関する前記撮像装置の制御機能に関連するカメラ制御データを、前記通信リンクを介して前記第２カメラから受け取ることが可能であり、前記撮像装置は、前記第２カメラから受け取った前記カメラ制御データをもとに前記第１画像を撮像することが可能である。

本発明の第４の態様では、第１画像及び第２画像を含むステレオペア画像を撮像する撮像方法であって、当該方法は、第１カメラが第２カメラと通信可能なように、前記第１カメラと前記第２カメラとを通信リンクを介して接続することと、前記第１カメラにより前記ステレオペア画像の前記第１画像を撮像することと、前記第２カメラにより前記ステレオペア画像の前記第２画像を撮像することと、前記第２画像の撮像に関する前記第２カメラの機能を制御するために、第２カメラ制御データを、前記通信リンクを介して前記第１カメラから前記第２カメラに送信することとを含む。

有利なことに、第１カメラを、スレーブカメラとして機能する第２カメラを制御するマスタカメラとして機能させることができる。従って、適正な第２カメラ制御データの生成によるステレオペア画像の撮像により、カメラ間の任意の差異を補正することができる。このことはステレオペア画像の撮像の質を向上させる。さらに、このようなシステムは、消費者が高価な制御ユニットまたは他のデバイスを必要とせずに、３Ｄ画像を撮像することを可能とする。

本発明の上記及び他の目的、特徴並びに利点は、添付の図面に関連して読まれる例示的な実施形態の以下の詳細な説明から明らかになるであろう。

本発明の実施形態に係るビデオカメラの模式図である。 本発明の実施形態に係るステレオペアビデオカメラの第１構成を示す模式図である。 本発明の実施形態に係るステレオペアビデオカメラの第２構成を示す模式図である。 本発明の実施形態に係るステレオペアビデオカメラの第３構成を示す模式図である。 本発明の実施形態に係るステレオペアビデオカメラの第４構成を示す模式図である。 本発明の実施形態に係る、ズーム制御のためのステレオペアビデオカメラの構成を示す模式図である。 本発明の実施形態に係るステレオペアビデオカメラの第１カメラにより撮像された第１画像と、ステレオペアビデオカメラの第２カメラにより撮像された第２画像との視差を表現する模式図である。 本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第１配置を示す模式図である。 本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第２配置を示す模式図である。 本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第３配置を示す模式図である。 本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第４配置を示す模式図である。 本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第５配置を示す模式図である。 本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第６配置を示す模式図である。 本発明の実施形態に係る、ステレオペアカメラ間のタイミング信号を同期させるための、ステレオペアビデオカメラの配置を示す模式図である。 本発明の実施形態に係る音声取得用のステレオペアビデオカメラの配置を示す模式図である。 本発明の実施形態に係る撮像方法を示すフローチャートである。 民生用ビデオカメラの概略図である。 本発明の実施形態に係る民生用ビデオカメラによるステレオペアビデオカメラの模式図である。 本発明の実施形態に係るステレオペアビデオカメラの第５構成を示す模式図である。

本記載では、撮像システム、撮像装置、及び撮像方法が開示される。以下の説明では、本発明の実施形態の完全な理解を提供するために、いくつかの具体的な詳細が記載される。しかしながら、これらの具体的な詳細が、本発明を実施するために必ずしも使用される必要はないということが、当業者にとって明らかであろう。また、当業者に知られている具体的な詳細（例えば周知の材料や方法等）は、実施形態の説明を明確にするために省略される場合がある。

図１は、本発明の実施形態に係るビデオカメラの模式図である。特に、図１に示すビデオカメラ１０は、例えば公知の一般的なビデオカメラと類似の構成を有してもよい。ビデオカメラ１０は、プロセッサ１２と、メモリ１４と、音声入力部１６と、撮像部１８と、ディスプレイ２０と、ユーザインタフェース（ユーザＩ／Ｆ）２２と、通信インタフェース（通信Ｉ／Ｆ）２４と、記憶媒体２６と、出力インタフェース（出力Ｉ／Ｆ）２８とを有する。

ビデオカメラ１０はさらに、データバス３０を含む。データバス３０は、データが出力Ｉ／Ｆ２８と通信Ｉ／Ｆ２４との間で送受信されるように、出力Ｉ／Ｆ２８と通信Ｉ／Ｆ２４とを接続する。またプロセッサ１２は、データバス３０との間でデータの送受信が可能となるように、データバス３０に接続される。記憶媒体２６は、データバス３０との間でデータの送受信が可能となるように、データバス３０に接続される。

記憶媒体２６は、ビデオカメラ１０により取得されたオーディオ／ビデオ（Ａ／Ｖ）データ等のメディアデータを記憶することが可能である。また記憶媒体２６は、メディアデータに関連するメタデータを記憶することが可能である。しかしながら、記憶媒体２６は、必要に応じて、任意の適当な形式のデータを記憶することが可能であることを理解されたい。

実施形態において、記憶媒体２６は、再書き込み可能なＤＶＤ（ＲＷ−ＤＶＤ）等のリムーバブル記憶媒体である。しかしながら、例えばＤＶＤ、ブルーレイディスク、フラッシュメモリ等の、任意の適当なリムーバブル記憶媒体等が用いられてもよい。また他の実施形態において、記憶媒体２６として、ハーディスクドライブやソリッドステートドライブ（例えばフラッシュメモリ）が用いられてもよく、また他の適当な記憶媒体が任意に用いられてもよい。

メモリ１４は、プロセッサ１２と双方向で通信可能である。実施形態において、メモリ１４は、プロセッサ１２がビデオカメラの機能を実行するためのコードを記憶する。さらにいくつかの実施形態においては、メモリ１４は、オーディオビジュアルデータや、他の適当な形式のデータを記憶することが可能である。実施形態において、メモリ１４は、例えば一般的に知られているビデオカメラの機能を提供するために、任意の適当な方法でプロセッサ１２と協働可能である。

音声入力部１６は、ビデオカメラ１０による音声の取得を可能とする。実施形態では、音声入力部１６は、音声取得のためのマイクロフォンを有する。しかしながらいくつかの実施形態では、音声入力部１６は、外部コンデンサマイク等の外部デバイスがビデオカメラ１０に接続可能となるための音声入力端子を含む。音声入力部１６は、プロセッサ１２と通信可能である。これにより音声入力部１６からの音声データがプロセッサ１２により処理可能となる。

撮像部１８は、ビデオ画像のシーケンスが生成されるように、１以上の画像を撮像することが可能である。撮像部１８は、プロセッサ１２と双方向で通信可能である。例えば、プロセッサ１２で生成された撮像制御データをもとに、撮像部１８により画像が撮像されるということが可能である。画像データは、プロセッサ１２により処理されてもよいし、記憶媒体２６に格納されてもよい。しかしながら、他の適当な撮像方法やビデオ画像のシーケンスを撮像する方法が採用可能であることを理解されたい。

実施形態では、撮像部１８は、イメージセンサ３２とレンズ制御部３４とを含む。本実施形態では、イメージセンサ３２は、撮像された画像に対応する画像データを生成するためのＣＣＤ（Charge Coupled Device）を有する。しかしながら、他の適当なイメージセンサ（例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等）が用いられてもよい。

レンズ制御部３４は、ビデオカメラ１０のカメラレンズの物理的なパラメータを制御することが可能である。例えばレンズ制御部３４は、プロセッサ１２からの適切な制御信号に応答して、絞りやカメラレンズのズーム等を制御することが可能である。しかしながら、他の適当なレンズ制御方法が任意に用いられてもよいことを理解されたい。

ディスプレイ２０は、操作者に撮像画像を表示させるだけではなく、プロセッサ１２により生成された表示制御信号をもとに、ビデオカメラ１０のその他の機能を表示させることを可能とする。実施形態において、ディスプレイ２０として、例えば民生用ビデオカメラに典型的に見られる従来型の液晶カメラのファインダが用いられてもよい。しかしながら、操作者や視聴者の視聴のために、ディスプレイ２０が任意の適当な取り付け方法によりビデオカメラ１０へ取り付け可能であることを理解されたい。いくつかの実施形態では、ディスプレイ２０は、ビデオカメラ１０のユーザＩ／Ｆとして機能する技術で知られている、静電容量式タッチアレイ等のタッチパネルを含む。

ユーザＩ／Ｆ２２は、例えば通常の民生用ビデオカメラで典型的に見られるユーザＩ／Ｆと同様な方法により、操作者がビデオカメラ１０の機能を制御することを可能としてもよい。いくつかの実施形態では、ユーザＩ／Ｆ２２は、ビデオカメラ１０を制御するための上記したタッチスクリーン機能を提供するために、ディスプレイ２０と協働可能であってもよい。

通信Ｉ／Ｆ２４は、他のビデオカメラと、通信リンクを介してデータを送受信することが可能である。いくつかの実施形態では、通信Ｉ／Ｆ２４は、ＰＣ（Personal Computer）等の、１つまたは複数の他のデバイスと通信可能である。例えば通信Ｉ／Ｆ２４は、オーディオ及びビジュアルのコンテンツをアップロードするためにＰＣと通信するｉ．ＬＩＮＫポートを含むことができる。しかしながら、通信Ｉ／Ｆ２４は、任意の適当な方法により、１つまたは複数の他のデバイスとの通信を許可してもよいことを理解されたい。通信Ｉ／Ｆ２４の機能は、後に詳細に説明する。

出力Ｉ／Ｆ２８は、他のデバイスでの使用のために、メディアデータ、メタデータ、その他のデータ等を出力可能である。例えば出力Ｉ／Ｆ２８は、オーディオ／ビデオミキシング機能による監視のために、Ａ／Ｖストリームを出力可能である。しかしながら、出力Ｉ／Ｆ２８を介した任意の適当なデータの出力が可能であることを理解されたい。

ステレオペア画像を撮像するための、ステレオペアビデオカメラの使用について、図２〜図１６を参照して説明する。

上述したように、画像が３Ｄとなるような錯覚を作り出すためには、わずかに異なる２つの画像（例えば、ステレオペア画像の第１画像及び第２画像）がともに視聴されることとなる。すなわち２つの画像のうち１つがユーザの左目で視聴され、もう１つがユーザの右目で視聴される。１つのシーンについてのわずかに異なる２つの表示に対応する２つの画像が提供される（例えば、ペアとなる画像のそれぞれがユーザの左目及び右目のそれぞれにより視聴される）。そうすると２つの画像が適切な方法で視聴されたときに、ユーザの脳は、２つのペアとなる画像が１つの３D画像であるというようにユーザをだます。画像内のオブジェクトは、当該オブジェクトに対応する左側画像と当該オブジェクトに対応する右側画像とのオフセット量に依存した、ディスプレイからの見かけの深度で表示される。

それぞれの目で視聴されることを目的とした画像が、それぞれの目で確実に視聴されるための技術として、多くの技術が知られている。いくつかの技術によれば、ステレオペア画像のそれぞれの画像を互いに分離して再生することが可能である。例えば、左側画像が右側画像の隣に表示され、ステレオスコープ等の適当なビューアが画像の視聴のために用いられる。この画像表示方法は、３Ｄ画像の初期の形態で使用されていた。

また、左目で視聴されることを目的とした左側画像に関連する光は、時計回りの方向に円偏光することが可能とし、右目で視聴されることを目的とした右側画像に関連する光は、反時計回りの方向に円偏光することが可能とする。そして左側画像と右側画像とは互いに重ねられている。それぞれのレンズの偏光が、視聴されるべき所望の画像に対応するような適切なメガネを装着することで、それぞれの目に応じた正しい画像がユーザに視聴される。他の多くの画像表示システム及び画像視聴システムとして、例えば直線偏光、カラーフィルタ（例えば赤／シアンのアナグリフ）、クロマデプス（chromadepth）、又はアナクロム（anachrome）等が知られている。これらのシステムでは、ユーザは適切なメガネを着用する必要がある。

他の技術では、右側画像と左側画像とが交互に表示される。例えばユーザにより持続的に視聴されるフレームレート（典型的には毎秒２４フレーム）よりも速い各画像のフレームレートに対応するレートで、左側画像及び右側画像が交互に表示される。言い換えれば、交互に並ぶ左側（Ｌ）画像と右側（Ｒ）画像（例えばＬＲＬＲＬＲＬＲＬＲ）を含むフレームのシーケンスは、毎秒６０フレーム（すなわち各画像においては毎秒３０フレーム）のフレームレートで表示可能である。そしてユーザは、適切な目により適切な画像が視聴されるように、対応する左側画像又は右側画像を交互にブロックする適切な３Ｄメガネを使用することで、画像を視聴することができる。この技術では、３Ｄメガネにより、表示画像に同期させて右側レンズ及び左側レンズが交互に覆い隠される。これにより左目で左側画像のみが視聴可能となり、右目で右側画像のみが視聴可能となる。左側画像及び右側画像を交互に視聴するための３Ｄメガネは、典型的にはシャッターメガネと呼ばれる。なぜなら、３Ｄメガネのレンズが、左側画像及び右側画像を交互に空白状態にする、あるいは遮光状態とするシャッターとして機能するからである。

ここで「ともに視聴される」という意味は、ユーザが３Ｄ効果を認識可能なように、左側画像及び右側画像が同時に、交互に、あるいは他の任意の適当な方法で、視聴可能であることを意味すると理解されるべきである。言い換えると、３Ｄ表示とは、左側画像及び右側画像を含むステレオペア画像を含むものと考えることが可能である。

上述したように、適切な方法でともに視聴されたときに３Ｄ画像となるようなステレオペア画像を生成するためには、典型的には、ステレオペアカメラにより１つのシーンにおける２つの画像が撮像される。ステレオペアカメラとなる各々のカメラは、典型的には大人の目の平均離間距離により近似された距離だけ離されている。しかしながら、２つのカメラ間の差異により、２つの画像間において、水平方向における所望の画像間オフセット（ずれ）以外の差異が発生してしまう可能性がある。例えば、第１画像（左画像）を撮像するための第１カメラが、第２画像（右画像）を撮像するための第２カメラとは異なる色感度を持っている可能性がある。それゆえ、ステレオペア画像が再生されるときに、３Ｄ視聴効果が損なわれる可能性がある。あるいは視聴者に頭痛及び／又は吐き気を引き起こす可能性がある。

この問題に対処するため、２つのカメラの差異を等しくしようとする外部装置により、２つのカメラが制御される場合がある。しかしながらこの場合、コストがかかるだけでなく、ユーザによる操作が難しいものとなってしまう。さらに言えば、満足な３Ｄ画像を撮像するために別のデバイスを購入しなければならず、消費者にとって望ましくない。

従って実施形態では、第１カメラが、第２画像の撮像に関する第２カメラの機能を制御するために、第２カメラ制御データを、前記通信リンクを介して前記第２カメラに送信することが可能である。これにより、別の制御ユニットを用いることなく、第１カメラにより第２カメラの動作を制御することが可能となる。

図２は、本発明の実施形態に係るステレオペアビデオカメラの第１構成を示す模式図である。第１構成では、撮像システムは、マスタカメラとして機能する第１カメラ１００と、スレーブカメラとして機能する第２カメラ２００とを含む。実施形態では、第１カメラ１００及び第２カメラ２００はそれぞれ、上記したビデオカメラ１０と類似した構成及び機能を有する。

第１カメラ１００は、通信リンクを介して第２のカメラ２００と双方向で通信可能である。第１構成では、矢印１０５に示すように、第１カメラは通信リンクを介して、第２カメラ制御データを第２カメラ２００に送信することが可能である。実施形態では、第２カメラ制御データは、例えばズーム、絞り、又はカラーバランス等のカメラパラメータについての同期に関連したメタデータを含む。第２カメラ制御データに応答して、第２カメラ２００は、第２カメラ制御データをもとに第２画像の撮像を制御することが可能である。

例えば、第１カメラ１００のプロセッサは、第２カメラ２００のズームを制御するために、第２カメラ制御データを生成することが可能である。これにより第２カメラ２００のレンズ制御部により、第２カメラのズームが第１カメラのズームと同期するように制御される。

第１構成では、矢印１１０に示すように、第１カメラ１００は出力インタフェースを介して、第１画像に関連するオーディオ／ビデオ（Ａ／Ｖ）データを出力することが可能である。また矢印２０５に示すように、第２カメラ２００は出力インタフェースを介して、第２画像に関連するＡ／Ｖデータを出力することが可能である。

実施形態では、第１カメラ１００は、第２カメラ制御データの生成のみならず、第１カメラ１００の制御機能に関連する第１カメラ制御データを生成することが可能である。従って第１カメラ１００は、第１カメラ制御データに応答するとともに、第２カメラ制御データを使用することにより第２カメラ２００を同時に制御することが可能である。

いくつかの実施形態では、破線の矢印２１０に示すように、第２カメラ２００は、第２カメラ状態データを、通信リンクを介して第１カメラ１００に送信することが可能である。第２カメラ状態データは、第２カメラ２００の制御機能の状態を示している。この結果、第１カメラ１００は、第２カメラ状態データをもとに、例えばズーム操作を制御するためのフィードバックループを第２カメラ制御データとして生成することが可能である。実施形態においてより一般的に、第１カメラ１００のプロセッサは、第２カメラ２００から受け取った第２カメラ状態データをもとに、第２カメラ制御データを生成することが可能である。

また、いくつかの実施形態では、破線の矢印１１５に示すように、第１カメラ１００は出力インタフェースを介して同期監視データを出力することが可能である。同期監視データは、第２カメラ状態データと関連したデータであり、また画像の編集時に使用可能なデータである。

実施形態では、通信リンクは例えばＦｉｒｅｗｉｒｅ又はＵＳＢ２等の有線リンクである。その他、任意の適当な有線リンクが使用可能である。しかしながら他の実施形態では、通信リンクとして、無線通信プロトコルを用いることで通信が行われる無線リンクが使用される。いくつかの実施形態では、通信リンクは、例えばＩＰ（Internet Protocol）やＥｔｈｅｒｎｅｔ(登録商標)等の標準のプロトコルを用いることでデータ転送を可能とする。他の実施形態では、操作されるカメラに固有で使用される専用の通信プロトコルが用いられる。しかしながら、任意の他の適当な通信プロトコルを用いた他の適当な通信リンクが任意に用いられることを理解されたい。

図３は、本発明の実施形態に係るステレオペアビデオカメラの第２構成を示す模式図である。第２構成は、図２を参照して説明した第１構成に似ている。しかしながら第２構成では、矢印２１５に示すように、第２カメラ２００はＡ／Ｖデータを、通信リンクを介して第１カメラ１００に送信することが可能である。このことは有利なことに、第１カメラ１００が第２カメラ２００のＡ／Ｖ信号を監視することを可能とする。従って、例えば音声レベルやズーム設定等について第２カメラ２００のものと一致するように、第１カメラ１００が自身の設定を調整することが可能となる。これにより、第１画像及び第２画像がともに視聴されたときの全体的な３Ｄ効果を向上させるために、第１画像及び第２画像の整合性を向上させることができる。

さらに、いくつかの実施形態では、第１カメラが第２カメラ制御データを生成することで、第２カメラ２００が第１カメラ１００のパラメータと類似又は同等のパラメータを持つように自身の出力を操作することが可能となってもよい。言い換えれば、第２カメラ制御データが、第２カメラ２００を制御するためのフィードバック調整信号として機能することが可能である。

第２構成では、第１カメラ１００は、カメラアングル設定データを出力することが可能である（破線の矢印１２０参照）。カメラアングル設定データは、第２カメラ２００から受け取ったＡ／Ｖデータを用いることで、第１カメラ１００により生成可能である。例えば、カメラアングル設定データは、第２画像に対する第１画像の水平及び垂直方向の変位に関連する差分データを含む。別の例として、カメラアングル設定データは、操作者が第１画像を第２画像の上に重ねて表示させることを可能とする。これにより操作者は、２つのカメラ間における所望のアングルや配置を実現するために、第２カメラ２００及び／又は第１カメラ１００を物理的に操作することができる。

いくつのかの実施形態では、各カメラは、カメラの方向を検出可能な水平検出器を有する。いくつかの実施形態において、水平検出器は、例えば既知の技術やディスプレイへの出力水平データを用いることで、カメラが水平であるかどうか（例えばイメージセンサの横軸が水平線に平行であるかどうか等）を検出することが可能である。言い換えると、水平検出器は、カメラの傾きを検出することが可能である。

操作者は、ディスプレイに表示される出力水平データを比較可能である。そして２つのカメラ間における所望のアングルや配置を実現するために、第１カメラ１００及び／又は第２カメラ２００を物理的に操作することができる。しかしながら、他の任意の適当な技術が用いられてもよいことが理解されよう。

図４は、本発明の実施形態によるステレオペアビデオカメラの第３構成を示す模式図である。第３構成は、上述した第１構成及び第２構成に似ている。しかしながら第３構成では、図４の矢印２２０に示すように、第２カメラ２００はパラメータ化されたメディアメタデータを、通信リンクを介して、第２カメラ２００から第１カメラ１００へ送信可能である。

実施形態では、パラメータ化されたメディアメタデータは、例えば第２画像や第２カメラ２００で取得された音声データ等の、第２カメラ２００で取得されたメディアデータに関するものである。メディアメタデータは、帯域幅を減少させるために、及び／又は第１カメラ１００の信号処理の負荷を軽減するために、パラメータ化される。

例えば、パラメータ化されたメディアメタデータは、第２カメラ２００により生成されたキーポイント記述子を含むことが可能である。キーポイント記述子は、例えば第２カメラ２００により撮像された第２画像及び／又はビデオ画像のシーケンスに対する画像解析により生成される。実施形態では、第２カメラ２００は、キーポイント記述子を生成するために、第２カメラ２００により撮像されたビデオ画像のシーケンスに対して、ＳＩＦＴ（Scale Invariant Feature Transform）解析及び／又はＳＵＲＦ（Speeded Up Robust Features）解析を実行可能である。これについては後に詳述する。

また本実施形態では、パラメータ化されたメディアメタデータは、第２カメラ２００により生成されたオーディオ周波数応答データを含むことができる。オーディオ周波数応答データは、例えば第２カメラ２００により取得された音声に対して既知のフーリエ解析技術が実行されることで生成される。しかしながら、パラメータ化されたメディアデータやメディアメタデータを生成する他の適切な方法が任意に用いられてもよい。

図５は、本発明の実施形態によるステレオペアビデオカメラの第４構成を示す模式図である。第４構成は、上述した第２構成に似ている。しかしながら第４構成では、第２カメラは、取得したＡ／Ｖストリームを出力する代わりに、矢印２１５に示すように、Ａ／Ｖストリームを、通信リンクを介して第１カメラ１００に送信することが可能である。

第１カメラ１００は、左側画像を表す第１Ａ／Ｖストリーム（矢印１１０参照）と、右側画像を表す第２Ａ／Ｖストリーム（矢印１２５参照）とを出力することが可能である。いくつかの実施形態では、第１カメラ１００は、第２Ａ／Ｖストリーム１２５を生成するために、第２カメラ２００から受け取ったＡ／Ｖストリームに対して画像処理操作を実行することができる。

例えば、第１カメラ１００は、通信リンクを介して第２カメラ２００からガンマ補正データを含むカメラ状態データを受け取る（破線の矢印２１０参照）。そして第１カメラ１００は、受け取ったカメラ状態データに応答して、第２Ａ／Ｖストリーム１２５を生成するために、第２カメラ２００から受け取ったＡ／Ｖストリームに対してガンマ補正処理を実行することが可能である。

第２カメラ２００から受け取ったＡ／Ｖストリームに基づいて、第２Ａ／Ｖストリーム１２５を生成することにより、本発明の実施形態では、第１Ａ／Ｖストリーム１１０及び第２Ａ／Ｖストリーム１２５を編集するために使用されるダウンストリーム編集部の処理負荷を軽減することができる。さらに、このことは編集プロセスを簡素化することができる。なぜなら、第２Ａ／Ｖストリーム１２５の特徴（例えばカラーバランスや音声レベル等）がより密接に第１Ａ／Ｖストリーム１１０のものと一致するように、第１カメラ１００により第２Ａ／Ｖストリーム１２５を生成可能であるからである。さらに第２構成及び第４構成では、第２カメラ２００から受け取ったＡ／Ｖストリームが、第１カメラ１００の記憶媒体に記録されることを可能とする。

いくつかの実施形態では、第１カメラ１００からのＡ／Ｖストリーム及び第２カメラ２００からのＡ／Ｖストリームは、単一のファイル又は単一のストリームとして保存可能である。しかしながら他の実施形態では、第１カメラ１００からのＡ／Ｖストリーム及び第２カメラ２００からのＡ／Ｖストリームは、別のファイル又は別のストリームとして保存可能である。しかしながら、上記の各ストリームは、任意の他の適当な形式で保存されてもよいことを理解されたい。

ここで、本発明の実施形態に係るズームコントロールを、図６を参照して説明する。

図６は、本発明の実施形態に係る、ズーム制御のためのステレオペアビデオカメラの構成を示す模式図である。特に図６は、第１カメラ１００及び第２カメラ２００の模式図を示している。第１カメラ１００は、制御スイッチ３００と、ズームサーボモータ制御部３０５と、比較／調整部３１０と、ズームモータ３１５と、同期状態監視部３２０とを有する。制御スイッチ３００、ズームサーボモータ制御部３０５、及び比較／調整部３１０の機能は、ビデオカメラ１００の撮像部と協働するプロセッサにより実行可能となる。ビデオカメラ１００のプロセッサは、同期状態監視部３２０として動作可能である。

第２カメラ２００は、制御スイッチ３２５と、ズームサーボモータ制御部３３０と、比較／調整部３３５と、ズームモータ３４０とを有し、これらは第１カメラ１００の対応する要素と類似の機能を有している。しかしながら、第２カメラ２００では、ズームモータ３４０が第１カメラ１００の制御下で動作可能なように、制御スイッチ３２５、ズームサーボモータ制御部３３０、及び比較／調整部３３５は動作停止となっている。ズームモータ３４０は、矢印３４５に示すように、第２カメラ２００が、第２カメラ２００のズームモータ状態データを、通信リンクを介して第１カメラ１００へ送信することを可能とする。ズームモータ状態データは、ズームモータ３４０の現在のズーム設定を示している。また第１カメラ１００は、ズームモータ３４０の動作を制御するために、通信リンクを介して、ズームモータ３４０にズームモータ制御データを送信することが可能である（矢印３５０参照）。

第１カメラ１００のユーザＩ／Ｆを介した適当なユーザの入力に応答して、制御スイッチ３００は、ズーム操作を実行することできる。例えば操作者の指示に従って、視野を狭くしてオブジェクトを拡大表示させることができる。ズームサーボモータ制御部３０５は、ズーム操作が実行されるための適切な制御信号を生成する。ズームサーボモータ制御部３０５は、ズームモータ３１５とズームモータ３４０とを制御するために、比較／調整部３１０と通信する。

ズーム操作が開始されると、比較／調整部３１０は、ズームモータ状態データをもとにズームモータ３４０の現在のズーム設定を検出する。比較／調整部３１０は、上記した設定がズームモータ３１５のズーム設定と一致するかどうかを検出することが可能である。そしてズームサーボモータ制御部３０５は、ズームモータ３１５のズーム設定とズームモータ３４０のズーム設定とが実質的に一致するように、ズームモータ３１５及び／又はズームモータ３４０を制御するための適切な制御信号を生成することが可能である。

さらなるズーム操作において、ズームサーボモータ制御部３０５は、ズームモータ３１５とズームモータ３４０とが同期して動作するように、適切な制御信号を生成することが可能である。言い換えれば、第１カメラ１００が、第２カメラ２００のズーム操作を制御可能となる。

実施形態では、同期状態監視部３２０は、ズームモータ３１５及びズームモータ３４０の同期の程度を示す状態監視データを生成することが可能である。状態監視データは、編集者がズーム操作の同期について判断できるように、第１及び第２カメラ１００及び２００により生成されたＡ／Ｖデータに関連付けることができる。このことは、編集者がステレオペアビデオ画像のシーケンスが十分な３Ｄ効果を提供するかどうかを判断することを可能とする。このことは、例えば最初のズームモータの同期時や画像の撮像時等の、ある程度の遅延が生じる場合に特に有効である。

いくつかの実施形態では、比較／調整部３１０は、例えば既知の技術を使って通信リンクの遅延の程度を検出することが可能である。またズームモータ３１５及びズームモータ３４０の同期を維持するために、通信リンクの遅延を補償する制御信号を生成することが可能である。

なお図６は、ズーム操作時におけるズームモータの同期についての一例を示す図である。しかしながら、上記した技術は、例えば絞り調整や焦点距離の調整等の他の操作に、より一般的に適用可能であることを理解されたい。さらに、１以上の複数のカメラをカメラ１００に同期させることも可能である。

ここで、本発明の実施形態として、第１画像及び第２画像の視差が検出される実施形態を、図７を参照して説明する。いくつかの実施形態では、第１カメラ１００は、第１画像の第１画像特徴と、第２画像の第２画像特徴との間の変位を検出することが可能である。これについては後に詳述する。

図７は、本発明の実施形態に係るステレオペアビデオカメラの第１カメラにより撮像された第１画像と、ステレオペアビデオカメラの第２カメラにより撮像された第２画像との視差を表現する模式図である。

特に図７は、人４００Ｌ、バン（トラック）４０５Ｌ、及び木４１０Ｌに対応する画像特徴を含む左側画像（左から右にかけて下向きに傾斜する陰影斜線を参照）を示している。また図７は、人４００Ｒ、バン４０５Ｒ、及び木４１０Ｒに対応する画像特徴を含む右側画像（左から右にかけて上向きに傾斜する陰影斜線を参照）を示している。言い換えれば、左側画像（第１画像）及び右側画像（第２画像）は、同じシーンにおけるステレオペア画像に対応する。

本実施形態では、第１カメラ１００及び／又は第２カメラ２００は、画像特徴における識別特徴を示すキーポイントを検出するために、左側画像及び右側画像に対してＳＩＦＴ解析又はＳＵＲＦ解析を実行することが可能である。しかしながら、キーポイントの検出方法として、任意の他の適当な方法が用いられてもよい。

例えば、左側画像のキーポイント４１５Ｌと右側画像のキーポイント４１５Ｒとは、それぞれ人の足の端部に対応しており識別可能である。しかしながら、任意の数のキーポイントが検出可能であることを理解されたい（例えば手の端部等）。左側画像のキーポイントと右側画像のキーポイントとを比較することにより、第１カメラ１００は、第１画像（左側画像）と第２画像（右側画像）との相対的な変位を検出することが可能である。例として、キーポイント４１５Ｌとキーポイント４１５Ｒとを参照することにより、第１カメラ１００のプロセッサは、水平方向の変位（水平変位）ｘと、垂直方向の変位（垂直変位）ｙとを検出することが可能となる。

実施形態では、検出された水平変位は、水平変位を示す水平変位データを生成するために用いられる。また、検出された垂直変位は、垂直変位を示す垂直変位データを生成するために用いられる。このことは有利なことに、例えば垂直変位の削減等のさらなる画像処理ステップを実行可能とする。この結果、垂直変位を削減することにより、視聴者にとっての３Ｄ体験の質を向上させることができる。

いくつかの実施形態では、第１カメラ１００は、第１画像が第２画像と区別可能なように、第１画像と第２画像とを合成させることができる。例えば第１カメラ１００は、アナグリフ表示用画像の生成と同様な方法により、第１画像にブルーフィルタを適用し、第２画像にレッドフィルタを適用することが可能である。第１カメラ１００は、合成された画像を第１カメラ１００のディスプレイに表示させることが可能である（及び／又は、必要に応じて第２カメラ２００のディスプレイに表示させることも可能である）。従ってユーザは、第１画像と第２画像とを視覚的に比較することができるので、２つの画像の任意の視差（例えば垂直変位及び水平変位等）を認識することができる。それに応じてユーザは、例えば所望の水平変位及び垂直変位を実現させるために、カメラの位置を物理的に調整することができる。例えばＳＵＲＦやＳＩＦＴ等の技術は計算コストが高いので、物理的な位置調整は、処理リソースの削減に有利である。さらに、第１画像と第２画像との視差を検出する他の技術として、例えばエッジ検出技術等の他の技術が用いられてもよい。その他、任意の適当な技術が使用可能であることを理解されたい。

ここで、本発明の実施形態として、第１画像及び第２画像の視差（変位）が検出された実施形態を、図８から図１３を参照して説明する。

図８は、本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第１配置を示す模式図である。

特に図８では、第１カメラ１００と第２カメラ２００とを模式的に示している。第１配置では、第１カメラ１００は、図１を参照して説明した撮像部１８と類似の機能を有する撮像部５００を有する。さらに第１カメラ１００は、第１カメラ１００のプロセッサにより実行される視差検出部５０５と、第１カメラ１００のプロセッサにより実行される画像変換部５１０と、記憶媒体５１５（上記した記憶媒体２６と類似）とを有する。図の理解を簡単にするために、図８では、第１カメラ１００の他の要素は省略されている。

第１配置では、第２カメラ２００は、図１を参照して説明した撮像部１８と類似の機能を有する撮像部５２０と、記憶媒体５２５（上記した記憶媒体２６と類似）とを有する。図の理解を簡単にするために、図８では、第２カメラ２００の他の要素は省略されている。

第１配置では、撮像部５００は第１画像を撮像し、第１画像に関連するデータを視差検出部５０５と、画像変換部５１０とに送信する。第２カメラ２００の撮像部５２０は、第２画像を撮像し、第２画像に関連するデータを第１カメラ１００の視差検出部５０５に、通信リンクを介して送信する（矢印５３０参照）。第２カメラ２００は、第２カメラ２００の出力Ｉ／Ｆを介して、第２画像をビデオ出力信号５３５として出力することが可能である。また、第２カメラ２００は、第２画像を記憶媒体５２５へ記憶させることが可能である。

視差検出部５０５は、第１画像と第２画像との視差を検出し、視差相違信号を画像変換部５１０に出力する。画像変換部５１０は、第１画像に画像変換を施し、第１カメラ１００の出力Ｉ／Ｆを介して、ビデオ出力信号５４０を出力する。また実施形態では、第１カメラ１００は、ビデオ出力信号５４０を記憶媒体５１５へ記憶させることが可能である。

実施形態では、視差検出部５０５は、第１画像と第２画像との差分を検出することが可能である。例えば視差検出部５０５は垂直変位を検出することが可能であり、画像変換部５１０により垂直変位がゼロに削減されることを可能にする。他の例として、視差検出部５０５は、第１画像の平均輝度レベルと、第２画像の平均輝度レベルと、当該２つの平均輝度レベルの差分とを検出することが可能である。これにより画像変換部５１０は、第１画像及び第２画像が互いに同じ平均輝度レベルを有するように、第１画像の平均輝度レベルを調整することが可能となる。しかしながら他の任意の適当な画像視差が、必要に応じて検出されまた調整されてよいことを理解されたい。

図９は、本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第２配置を示す模式図である。第２配置は、第１配置に似ている。しかしながら第２配置では、第２カメラ２００は、画像変換部５４５を有する。

第２配置では、破線の矢印５５０に示すように、視差検出部５０５は視差データ（上記視差相違信号を含む）を、通信リンクを介して画像変換部５４５に送信する。画像変換部５４５は、画像変換部５１０と類似した方法で、第２画像に画像変換を施すことが可能である。従ってビデオ出力信号５３５は、第１画像の画像属性により密接に一致した、調整された画像を含むことが可能となる。

図１０は、本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第３配置を示す模式図である。第３配置は、第２配置に似ている。しかしながら第３配置では、第１カメラ１００は、第１画像の第１画像特徴の識別特徴を示す１以上のキーポイントの第１セットを検出することが可能なキーポイント検出部５５５を有する。また第２カメラ２００は、第２画像の第２画像特徴の識別特徴を示す１以上のキーポイントの第２セットを検出することが可能なキーポイント検出部５６０を有する。なお第２画像特徴は、第１画像の第１画像特徴に対応するものである。

実施形態では、キーポイント検出部５５５及びキーポイント検出部５６０は、それぞれのプロセッサ上で実行されるＳＩＦＴ技術又はＳＵＲＦ技術を用いることでキーポイントを検出することが可能である。しかしながら、他の適当なキーポイント検出方法が任意に用いられてよいことを理解されたい。

キーポイント検出部５６０は、キーポイントの第２セットに関連したキーポイントデータを、通信リンクを介して、視差検出部５０５に送信することが可能である（矢印５６５参照）。またキーポイント検出部５５５は、キーポイントの第１セットに関連したキーポイントデータを、視差検出部５０５に送信することが可能である。

視差検出部５０５は、上記したキーポイントデータにより示されるキーポイントの第１セットとキーポイントの第２セットとの比較に基づいて、第１画像特徴及び第２画像特徴の相対変位を検出することが可能である。

実施形態では、キーポイントデータは、第２画像内における画像特徴の位置を示す位置データと、当該画像特徴に関連付けられた特徴ベクトルとを含む。しかしながら、キーポイントデータは、必要に応じて任意の適当なデータを含むことが可能である。いくつかの実施形態では、第２カメラ２００から第１カメラ１００に、Ａ／Ｖデータが送信されない。Ａ／Ｖデータを含まないキーポイントデータを送信することで、通信リンクに求められる帯域幅を減少させることができる。

画像変換部５１０は、ビデオ出力データ５４０を生成するために、視差検出部５０５により生成された視差データをもとに、第１画像に対して画像変換処理を実行することが可能である。ビデオ出力データ５４０は、記憶媒体５１５に記憶させることが可能である。

またいくつかの実施形態では、画像変換部５４５は、ビデオ出力データ５３５を生成するために、視差検出部５０５から受け取った視差データをもとに、第２画像に対して画像変換処理を実行することが可能である。いくつかの実施形態では、ビデオ出力データ５３５は、記憶媒体５２５に記憶させることが可能である。

図１１は、本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第４配置を示す模式図である。

第４配置は、第１配置に似ている。しかしながら第４配置では、記憶媒体５１５及び記憶媒体５２５が使用されない。また第４配置では、第１カメラ１００は、２つ目の画像変換部５７０を含む。

第４配置では、撮像部５２０は、第２画像に関連した画像データを、視差検出部５０５と画像変換部５７０とに、通信リンクを介して送信可能である。また、視差検出部５０５は、視差データを画像変換部５７０に送信可能である。

画像変換部５１０は、ビデオ出力信号５４０を生成するために、視差データをもとに、第１画像に対して適切な画像変換を施すことが可能である。また画像変換部５７０は、ビデオ出力信号５７５を生成するために、視差検出部５０５により生成された視差データをもとに、第２カメラ２００から受け取った第２画像に対して適切な画像変換を施すことが可能である。ビデオ出力信号５７５は右側画像を表し、ビデオ出力信号５４０は左側画像を表す。

いくつかの実施形態では、カメラ２００は、未処理の（不変の）第２画像に対応するカメラスルービデオ出力信号５８０を出力可能である。これにより、第２画像をモニタリングすることが可能となり、またビデオ出力信号５４０及びビデオ出力信号５７５と比較することが可能となる。

いくつかの実施形態では、ビデオ出力信号５４０及びビデオ出力信号５７５は、単一のファイル又は単一のストリームとして保存可能である。しかしながら他の実施形態では、ビデオ出力信号５４０及びビデオ出力信号５７５は、別のファイル又は別のストリームとして保存可能である。しかしながら、上記したビデオ出力信号は、任意の他の適当な方法で保存されてもよいことを理解されたい。さらにいくつかの実施形態では、第１カメラ１００は、例えばアナグリフ表示や他の任意の適当な技術等により、右側画像と左側画像とが互いに区別可能なように、ビデオ出力信号５４０とビデオ出力信号５７５とを合成して表示させてもよい。

図１２は、本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第５配置を示す模式図である。第５配置は、第４配置に似ている。しかしながら第５配置では、記憶媒体５１５を、ビデオ出力信号５４０とビデオ出力信号５７５とを記憶するために用いることが可能である。またいくつかの実施形態では、記憶媒体５２５を、カメラスルービデオ出力信号５８０を記憶するために用いることが可能である。いくつかの実施形態では、上述したように、ビデオ出力信号５４０及びビデオ出力信号５７５は、単一のファイル又は単一のストリームとして、あるいは別のファイル又は別のストリームとして保存可能である。

図１３は、本発明の実施形態に係る第１画像と第２画像との視差を検出するためのステレオペアビデオカメラの第６配置を示す模式図である。第６配置は、第１配置に似ている。しかしながら第６配置では、矢印５３０に示すように、第２カメラ２００はビデオ出力信号５３５を、通信リンクを介して第１カメラ１００に出力することが可能である。第１カメラ１００は、ビデオ出力信号５３５を、いかなる画像変換も施されないまま、直接的に記憶媒体５１５に記録させることが可能である。

実施形態では、第１カメラ１００は、第２カメラ２００が、タイミング参照データをもとに第２カメラ２００のシステムクロックを第１カメラ１００のシステムクロックに同期させることを可能とする。タイミング参照データは、通信リンクを介して第１カメラ１００から第２カメラ２００に送信される。これについては図１４を参照して詳述する。

図１４は、本発明の実施形態に係る、ステレオペアカメラ間のタイミング信号を同期させるための、ステレオペアビデオカメラの配置を示す模式図である。特に図１４では、第１カメラ１００と第２カメラ２００とを模式的に示している。図１４に示す実施形態では、第１カメラ１００は、入力取得部６０２と、信号プロセッサ６００と、記憶媒体５１５と、システムクロック６０５とを有する。入力取得部６０２は、上記した撮像部５００と類似の機能を有しており、また例えば既知の技術等を用いることで音声データを取得することが可能である。

入力取得部６０２、信号プロセッサ６００及び記憶媒体５１５は、システムクロック６０５からタイミング参照データを受け取ることが可能である。これにより、例えば記憶媒体５１５への読み書き動作等のデータ処理動作のタイミングが、入力取得部６０２、信号プロセッサ６００及び記憶媒体５１５の間で同期可能となる。入力取得部６０２は、画像データを信号プロセッサ６００に送信することが可能である。信号プロセッサ６００は、処理された画像データを、その保存のために記憶媒体５１５へ送信することが可能である。図１４では、図を明瞭にするために、第１カメラ１００の他の要素は省略されている。

第２カメラ２００は、システムクロック６１０と、入力取得部６０４と、信号プロセッサ６１５と、記憶媒体５２５とを有する。入力取得部６０４は、上記した撮像部５２０と類似の機能を有しており、また例えば既知の技術等を用いることで音声データを取得することが可能である。入力取得部６０４、信号プロセッサ６１５及び記憶媒体５２５は、システムクロック６１０からタイミング参照データを受け取ることが可能である。これにより、例えば記憶媒体５２５への読み書き動作等のデータ処理動作のタイミングが、入力取得部６０４、信号プロセッサ６１５及び記憶媒体５２５の間で同期可能となる。入力取得部６０４は、画像データを信号プロセッサ６１５に送信することが可能である。信号プロセッサ６１５は、処理された画像データを、その保存のために記憶媒体５２５へ送信することが可能である。図１４では、図を明瞭にするために、第２カメラ２００の他の要素は省略されている。

実施形態では、第１カメラ１００は、システムクロック６０５により生成されたタイミング参照データを、通信リンクを介して第２カメラ２００に送信可能である（矢印６２０参照）。第２カメラ２００のシステムクロック６１０は、システムクロック６０５により生成されたタイミング参照データをもとに、自己のタイミング参照データをシステムクロック６０５により生成されたタイミング参照データに同期させることが可能である。従って第１カメラ１００及び第２カメラ２００のそれぞれのシステムクロックが同期可能となる。従って、第１画像及び第２画像が実質的に同時にそれぞれ撮像されるように、例えばフレームレートのタイミング等の撮像動作を同期させることが可能となる。なお、タイミング参照データの同期化は、マスタカメラとして機能する第１カメラ１００を含む３以上のカメラにも適用できることを理解されたい。また任意のカメラがマスタカメラとして機能してもよい。

またいくつかの実施形態では、例えばフレームレートタイミング及びシステムクロックの同期化について説明した上記の方法と類似の方法により、第１カメラ１００及び第２カメラ２００間にて音声タイミングデータを同期させることが可能である。

いくつかの実施形態では、第１カメラ１００は、同期データを生成することが可能であり、また当該同期データを、通信リンクを介して第２カメラ２００に送信することが可能である。同期データは、第２カメラ２００が、第２カメラ２００が有する機能を第１カメラ１００のものと同期させることを可能とする。

例えば同期データは、ズーム（焦点距離）、カメラアングル、カメラの方向、スキャンのタイミング（及び／又はフレームレート）、レンズの絞り、又はシャッター速度等のカメラのパラメータに関連してもよい。また他の任意の適当なパラメータに関連してもよい。

他の例として、同期データは、例えばゲイン、露出、ガンマ、ホワイトバランス、色温度、音声レベル、音声均等化等の、撮像画像の信号品質に関連してもよい。また同期データは必要に応じて、他の任意の適当な信号品質に関連してもよい。

さらなる例として、同期データは、例えば記録開始、一時停止、スタンバイ、タイムコードのメタデータ、エラー通知のメタデータ（例えば低バッテリや記憶媒体のフル等）等のカメラの操作に関連してもよい。また同期データは、他の任意の適当なカメラの操作に関連してもよいことが理解されよう。また同期データは、第１カメラ１００により生成されたメディアストリームと、第２カメラ２００により生成された対応するメディアストリームとの関連付けが可能なように、ファイル名の同期データを含むことが可能である。例えばＡ／Ｖコンテンツが単一のファイル又はストリームで保存されている実施形態では、Ａ／Ｖコンテンツの編集中又は監視中において同期データを効果的に用いることが可能である。

さらに言えば、１つ又は複数のカメラをマスタカメラに同期させるために、任意の数の又は全ての同期データの例を必要に応じて組み合わせることが可能であることを理解されたい。組み合わされた同期データは、適切な通信リンクを介してマスタカメラ（例えば第１カメラ１００）から他のカメラに送信される。

実施形態では、第２カメラ２００は、通信リンクを介して、音声データを第１カメラ１００に送信することが可能である。これについては図１５を参照して詳述する。

図１５は、本発明の実施形態に係る音声取得用のステレオペアビデオカメラの配置を示す模式図である。特に図１５では、第１カメラ１００と第２カメラ２００とを模式的に示している。図１５に示す実施形態では、第１カメラ１００は、マイクロフォン７００と、音声モニタ７０５と、音声プロセッサ７１０と、記憶媒体５１５とを有する。図１５では、図を明瞭にするために、第１カメラ１００の他の要素は省略されている。

マイクロフォン７００は、音声信号を音声モニタ７０５と音声プロセッサ７１０とに送信することが可能である。音声モニタ７０５は、音声モニタ信号を音声プロセッサ７１０に送信することが可能である。音声プロセッサ７１０は、音声モニタ信号に基づいて、音声信号に音声処理を施すことが可能であり、また第１音声出力ストリーム７１５を生成することが可能である。実施形態では、第１カメラ１００は、第１音声出力ストリーム７１５を記憶媒体５１５に記憶させることが可能であり、及び／又は出力Ｉ／Ｆを介して第１音声出力ストリーム７１５を出力することが可能である。

第２カメラ２００は、マイクロフォン７２０と、音声プロセッサ７２５と、記憶媒体５２５とを有する。図１５では、図を明瞭にするために、第２カメラ２００の他の要素は省略されている。

マイクロフォン７２０は、通信リンクを介して音声信号を、第１カメラ１００の音声モニタ７０５に送信することが可能である（矢印７３０参照）。またマイクロフォン７２０は、音声信号を音声プロセッサ７２５に送信することが可能である。実施形態では、音声プロセッサ７２５は、第２音声出力ストリーム７３５を生成するために、マイクロフォン７２０により生成された音声信号に音声処理を施すことが可能である。実施形態では、第２カメラ２００は、第２音声出力ストリーム７３５を記憶媒体５２５に記憶させることが可能であり、及び／又は出力Ｉ／Ｆを介して第２音声出力ストリーム７３５を出力することが可能である。

音声モニタ７０５は、マイクロフォン７００及びマイクロフォン７２０からの音声信号を監視することが可能であり、またそれに応じて音声モニタ信号を生成することが可能である。例えば音声モニタ７０５は、マイクロフォン７２０からの音声信号及びマイクロフォン７００からの音声信号のピーク音量レベルを監視することが可能である。音声プロセッサ７１０は、マイクロフォン７２０からの音声信号のピーク音量レベルと等しくなるように、マイクロフォン７００からの音声信号のピーク音量レベルを調整することが可能である。しかしながら、音声プロセッサ７１０により、任意の他の適当な音声処理が実行可能であることを理解されたい。

いくつかの実施形態では、破線の矢印７４０に示すように、音声モニタ７０５は通信リンクを介して、音声モニタ信号を第２カメラ２００の音声プロセッサ７２５に送信することが可能である。音声プロセッサ７２５は、音声モニタ７０５から受け取った音声モニタ信号をもとに、マイクロフォン７２０からの音声信号に音声処理を施すことが可能である。例えば音声プロセッサ７２５は、マイクロフォン７００からの音声信号のピーク音量レベルと等しくなるように、マイクロフォン７２０からの音声信号のピーク音量レベルを調整することにより、第２出力音声信号７３５を生成することが可能である。しかしながら、音声プロセッサ７２５により、任意の他の適当な音声処理が実行可能であることを理解されたい。

本実施形態に係る撮像方法について図１６を参照して説明する。図１６は、本発明の実施形態に係る撮像方法を示すフローチャートである。

ステップ１００にて、第１カメラ１００が第２カメラ２００と通信可能なように、第１カメラ１００と第２カメラ２００とが通信リンクを介して接続される。通信リンクが有線である実施形態では、カメラの接続は、各カメラのそれぞれのプロセッサが、使用される通信プロトコルを確立するという形態となる可能性がある。通信リンクが無線である実施形態では、カメラの接続は、各カメラのそれぞれのプロセッサが、例えば適切なハンドシェイクプロトコルを介して無線リンクを確立するという形態となる可能性がある。しかしながら、通信リンクを介して第１カメラ１００と第２カメラ２００とを接続する他の適当な方法が任意に用いられてもよい。

ステップ１０５にて、第１カメラ１００を用いることで、ステレオペア画像の第１画像が撮像される。そしてステップ１１０にて、第２カメラ２００を用いることで、ステレオペア画像の第２画像が撮像される。実施形態では、第１画像及び第２画像の撮像は実質的に同時に行われる。これにより撮像された画像内の重要な動きが、両方の画像で正確に撮像される。言い換えれば、ステレオペア画像が実質的に同じ瞬間の同じシーンの画像に対応するように、第１画像及び第２画像が撮像されることが好ましい。

ステップ１１５において、第１カメラ１００は、第２画像の撮像に関する第２カメラ２００の機能を制御するために、第２カメラ制御データを、通信リンクを介して第１カメラ１００から第２カメラ２００に送信する。例えば、第１カメラ１００は、第１カメラ１００の記録開始と同期するように、第２カメラ２００に記録を開始させることが可能である。しかしながら第１カメラ１００により、第２カメラ２００の、他の任意の適当な制御機能が制御可能であることを理解されたい。

いくつかの実施形態では、破線の矢印８００に示すように、ステップ１０５とステップ１１５とをループさせることが可能である。従って、第１カメラ１００により撮像された左側画像（例えば第１画像）のビデオシーケンスに対応する左側メディアストリームと、第２カメラ２００により撮像された右側画像（例えば第２画像）のビデオシーケンスに対応する右側メディアストリームとが生成される可能性がある。

図１７は、民生用ビデオカメラの概略図である。図１７に示すように民生用ビデオカメラ９００は、カメラ９００の右側に設けられたユーザコントロール９０５を有する。また民生用ビデオカメラ９００は、カメラ９００により撮像された画像をモニタリングするための、カメラ９００の左側に設けられた画像モニタディスプレイ９１０を有する。典型的には、画像モニタディスプレイ９１０は、移動可能なようにヒンジで固定される。これにより、不使用時にはカメラにぴったりとくっつくようにディスプレイ９１０を動かすことができる。そして画像のモニタリングに使用されるときには、ディスプレイ９１０を開くように動かして飛び出させることができる。しかしながら、仮に２つの民生用ビデオカメラがステレオペアカメラとして配置されるとする。この場合、いくつかの状況では、満足のいく３Ｄ画像を撮像するために求められるレンズ間の距離により、ペアのうち第１カメラのモニタディスプレイが使用できなくなる場合がある。なぜなら、ペアのうちの第２カメラが邪魔となってしまい、第１カメラのモニタディスプレイをオープン位置（使用時の位置）に動かすことを妨げる可能性があるからである。このことは図１８に示されている。

図１８は、本発明の実施形態に係る民生用ビデオカメラによるステレオペアビデオカメラの模式図である。特に図１８では、ステレオペアカメラの第１カメラ１００と第２カメラ２００とが模式的に示されている。図１８に示す実施形態では、第１カメラ１００は第１画像モニタディスプレイ９１０を有し、第２カメラ２００は第２画像モニタディスプレイ９１５を有する。第１カメラ１００は第２カメラ１００の横に、２つのカメラのレンズ間距離が、典型的なユーザの目の平均離間距離に対応するように配置されている。第１カメラ１００及び第２カメラ２００は、図１〜図１６を参照して説明したものと類似の機能をそれぞれ有する。

しかしながら図１８に示すように、第１カメラ１００の画像モニタディスプレイ９１０は使用不可である。なぜなら第２カメラ２００が第１カメラ１００に近すぎて、第１画像モニタディスプレイ９１０に表示された画像をユーザが視聴できる位置に、第１画像モニタディスプレイ９１０を動かすことができないからである。ここで本実施形態では、第１カメラ１００は、通信リンクを介して第１画像を第２カメラ２００に送信することが可能である。また第２画像は、第１画像及び第２画像の少なくとも１つを第２画像モニタディスプレイ９１５に表示させることが可能である。このことは例えばユーザが第１カメラ１００及び／又は第２カメラ２００により撮像された画像をモニタリングすることを可能とする。また例えばユーザが第１画像と第２画像との視差を判断することを可能とする。これについては図１９を参照して詳述する。

図１９は、本発明の実施形態に係るステレオペアビデオカメラの第５構成を示す模式図である。

図１９は、上述した第１〜第４構成に似ている。しかしながら第５構成では、矢印９２０に示すように、第１カメラ１００は通信リンクを介して、第１画像を第２カメラ２００に送信することが可能である。実施形態では、第２カメラ２００は、第１画像及び／又は第２画像を、第２カメラ２００の画像モニタディスプレイに表示させることが可能である。いくつかの実施形態では、第２カメラ２００は、図７〜図１３を参照して説明したものと類似の方法にて、カメラアングル設定データを生成することが可能である（破線の矢印９２５参照）。

例えば第２カメラ２００は、合成されたアナクロム画像（anachrome image）を生成するために、第１画像にレッドフィルタを適用し、第２画像にブルーフィルタを適用することが可能である。第２カメラ２００は、合成されたアナクロム画像を画像モニタディスプレイに表示させることが可能である。これよりユーザは、画像間の任意の視差（例えば垂直変位及び／又は水平変位等）を認識することが可能となり、それに応じてカメラを調整することが可能となる。しかしながら第２カメラ２００は、第１画像及び／又は第２画像（第１画像及び第２画像の少なくとも１つ）を、任意の適当な方法により表示することが可能であることを理解されたい。言い換えれば、図１８及び図１９において説明した実施形態では、第１カメラ１００は、第２カメラ２００の操作を制御することができる。一方、第２カメラ２００は、ユーザが第１画像及び／又は第２画像をモニタリングすることが可能なように、第１画像及び第２画像の少なくとも１つを表示させることが可能である。

図２〜図１９を参照して説明した第１カメラ１００及び第２カメラ２００の要素が、例えば図１を参照して説明したカメラ１０のようなビデオカメラに適宜実装されてもよいことを理解されたい。例えば当該要素やカメラ１０の機能的な特徴が必要に応じて適切に適応されることで、当該要素がビデオカメラに実装される。さらに上記した技術が、必要に応じて任意の適切な方法により組み合わされてもよい。

２つのカメラを用いたステレオペア画像の撮像を例として説明したが、上記した技術は任意の数のカメラに対して、より一般的に適用可能である。例えばマスタカメラは、上記した技術を必要に応じて用いることで、別のコントロールユニットを要することなく、任意の適当な数のスレーブカメラを制御することが可能である。複数のカメラの場合には、いくつかの実施形態では、マスタカメラは、制御するカメラを選択することが可能である。及び／または、当該選択されたカメラの特定の機能を選択することが可能である。さらに、
必要に応じて第２カメラが第１カメラとして機能することが可能であり、また第１カメラが第２カメラとして機能することが可能であることを理解されたい。さらにいえば、上記した機能が２つのカメラに適宜割り振られてもよい。

上記で定められた様々な方法は、例えばビデオカメラ等の既存の撮像デバイスを適宜適応させることにより実行されてもよい。例えばプロセッサを含むコンピュータプログラム製品を使用することで、上記の方法を実行可能な命令が、例えばフロッピー(登録商標)ディスク、光ディスク、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等のデータキャリアや、これらの任意の組み合わせ、あるいはこれらと他の記憶媒体との任意の組み合わせからなるデータキャリア等に格納されてもよい。また上記の方法を実行可能な命令が、例えばＥｔｈｅｒｎｅｔ（登録商標）、無線ネットワーク、インターネット等のネットワークや、これらの任意の組み合わせ、あるいはこれらと他のネットワークとの任意の組み合わせからなるネットワーク等を介して送信されてもよい。また上記の様々な方法が、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアや、既存の均等なデバイスを適合する際に用いられる他の構成可能もしくは特別設計の回路等のハードウェアにより実現されてもよい。

結論として、様々な実施形態がここに記載されているが、これらは単なる一例として提供されているにすぎない。そして、これらの実施形態に対する多くのバリエーションと様々な変更が当業者にとって明らかであろう。またそのようなバリエーション等が、添付の特許請求の範囲とその均等物により定義された本発明の範囲内に含まれることが明らかであろう。

添付の図面を参照して本発明の例示的な実施形態を説明してきたが、本発明は厳格な上記実施形態に限定されず、添付の特許請求の範囲に規定される発明の範囲および精神から逸脱しない範囲で、当業者は種々の変更および変形形態をなすことができることを理解されたい。

１８、５００、５２０…撮像部
１００…第１カメラ
２００…第２カメラ
５０５…視差検出部

Claims (17)

1. 第１画像及び第２画像を含むステレオペア画像を撮像する撮像システムであって、
   前記ステレオペア画像の前記第１画像を撮像することが可能な第１カメラと、
   前記ステレオペア画像の前記第２画像を撮像することが可能な第２カメラと、
   前記第１カメラが前記第２カメラと通信可能なように、前記第１カメラと前記第２カメラとを接続する通信リンクと
   を具備し、
   前記第１カメラは、前記第２画像の撮像に関する前記第２カメラの機能を制御するために、第２カメラ制御データを、前記通信リンクを介して前記第２カメラに送信することが可能であり、また前記第１カメラは、前記第１画像の第１画像特徴と、これに対応する前記第２画像の第２画像特徴との変位を検出することが可能な視差検出部を含む
   撮像システム。
2. 請求項１に記載の撮像システムであって、
   前記第１カメラは、前記第１画像の撮像に関する前記第１カメラの制御機能に関連する第１カメラ制御データを生成可能であり、また前記第２カメラ制御データを生成可能であるコントローラを有する
   撮像システム。
3. 請求項２に記載の撮像システムであって、
   前記第２カメラは、前記第２カメラの制御機能の状態を示す第２カメラ状態データを、前記通信リンクを介して前記第１カメラに送信することが可能である
   撮像システム。
4. 請求項３に記載の撮像システムであって、
   前記コントローラは、前記第２カメラから受け取った前記第２カメラ状態データをもとに、前記第２カメラ制御データを生成することが可能である
   撮像システム。
5. 請求項３又は４に記載の撮像システムであって、
   前記コントローラは、前記第２カメラから受け取った前記第２カメラ状態データをもとに、前記第１カメラ制御データを生成することが可能である
   撮像システム。
6. 請求項１に記載の撮像システムであって、
   前記第１カメラは、前記第１画像の前記第１画像特徴の識別特徴を示す１以上のキーポイントの第１セットを検出することが可能な第１キーポイント検出部を有し、
   前記第２カメラは、前記第２画像の前記第２画像特徴の識別特徴を示す１以上のキーポイントの第２セットを検出することが可能な第２キーポイント検出部を有し、
   前記第２カメラは、前記キーポイントの前記第２セットに関するキーポイントデータを、前記通信リンクを介して前記第１カメラに送信することが可能であり、
   前記視差検出部は、前記キーポイントの前記第１セットと前記キーポイントデータにより示される前記キーポイントの前記第２セットとの比較をもとに、前記第１画像特徴と前記第２画像特徴との変位を検出することが可能である
   撮像システム。
7. 請求項１に記載の撮像システムであって、
   前記第２カメラは、前記第２画像に関する画像データを、前記通信リンクを介して前記第１カメラに送信することが可能であり、
   前記第１カメラは、前記第２カメラから受け取った前記画像データをもとに、前記第１画像及び前記第２画像を記憶することが可能な記憶素子を有する
   撮像システム。
8. 請求項１に記載の撮像システムであって、
   前記第１画像は、前記第１カメラにより撮像されたビデオ画像の第１シーケンスからの画像であり、
   前記第２画像は、前記第２カメラにより撮像されたビデオ画像の第２シーケンスからの画像である
   撮像システム。
9. 請求項８に記載の撮像システムであって、
   前記ビデオ画像の前記第１シーケンスは、前記ビデオ画像の前記第１シーケンスを表す第１データストリームに関連付けられ、
   前記ビデオ画像の前記第２シーケンスは、前記ビデオ画像の前記第２シーケンスを表す第２データストリームに関連付けられる
   撮像システム。
10. 請求項１に記載の撮像システムであって、
    前記第１画像は、前記第１カメラにより取得された第１音声データに関連付けられ、
    前記第２画像は、前記第２カメラにより取得された第２音声データに関連付けられる
    撮像システム。
11. 請求項１に記載の撮像システムであって、
    前記第１カメラは、前記第１画像を、前記通信リンクを介して前記第２カメラに送信することが可能であり、
    前記第２カメラは、前記第１画像及び前記第２画像のうち少なくとも１つを表示することが可能なディスプレイを有する
    撮像システム。
12. 第１画像及び第２画像を含むステレオペア画像を撮像する撮像装置であって、
    前記ステレオペア画像の前記第１画像を撮像することが可能な撮像素子と、
    前記ステレオペア画像の前記第２画像を、通信リンクを介して第２カメラから受け取ることが可能な通信インタフェースと、
    前記第２画像の撮像に関する前記第２カメラの制御機能に関連する第２カメラ制御データを生成することが可能なコントローラと
    を具備し、
    前記撮像装置は、前記第２画像の撮像に関する前記第２カメラの機能を制御するために、前記第２カメラ制御データを、前記通信リンクを介して前記第２カメラに送信することが可能であり、また前記第１画像の第１画像特徴と、これに対応する前記第２画像の第２画像特徴との変位を検出することが可能である
    撮像装置。
13. 第１画像及び第２画像を含むステレオペア画像の前記第１画像を撮像する撮像装置であって、
    前記ステレオペア画像の前記第１画像を撮像することが可能な撮像素子と、
    前記ステレオペア画像の前記第１画像を、通信リンクを介して、前記第２画像に関連する第２カメラに送信することが可能な通信インタフェースと
    を具備し、
    前記通信インタフェースは、前記第１画像の撮像に関する前記撮像装置の制御機能に関連するカメラ制御データを、前記通信リンクを介して前記第２カメラから受け取ることが可能であり、
    前記撮像装置は、前記第２カメラから受け取った前記カメラ制御データをもとに前記第１画像を撮像することが可能である
    撮像装置。
14. 請求項１３に記載の撮像装置であって、さらに、
    前記第１画像の前記第１画像特徴の識別特徴を示す１以上のキーポイントのセットを検出することが可能なキーポイント検出部を有し、
    前記通信インタフェースは、前記キーポイントのセットに関連するキーポイントデータを、前記通信リンクを介して前記第２カメラに送信することが可能である
    撮像装置。
15. 第１画像及び第２画像を含むステレオペア画像を撮像する撮像方法であって、
    第１カメラが第２カメラと通信可能なように、前記第１カメラと前記第２カメラとを通信リンクを介して接続し、
    前記第１カメラにより前記ステレオペア画像の前記第１画像を撮像し、
    前記第２カメラにより前記ステレオペア画像の前記第２画像を撮像し、
    前記第２画像の撮像に関する前記第２カメラの機能を制御するために、第２カメラ制御データを、前記通信リンクを介して前記第１カメラから前記第２カメラに送信し、
    前記第１画像の第１画像特徴と、これに対応する前記第２画像の第２画像特徴との変位を検出する
    撮像方法。
16. コンピュータに、請求項１５に記載の撮像方法を実行させるプログラム。
17. 請求項１６に記載のプログラムが記憶された記憶媒体。

Images