JP2011139296A - 映像信号処理装置及び映像信号処理方法 - Google Patents

Abstract

【課題】２台のカメラが撮像した映像に生じた光軸ズレを補正する場合に、カメラ自体を動かすことなく補正する。
【解決手段】第１及び第２のカメラが、標準映像信号及び拡大領域映像信号を伝送する所定の伝送フォーマットにより、標準映像信号を伝送すると共に、伝送フォーマットの垂直帰線区間と水平帰線区間に拡大領域映像信号を重畳する場合に、映像を表示する表示部に標準映像信号及び拡大領域映像信号を出力する。標準映像信号によって表示部に表示される映像より、第１及び第２のカメラが撮像した映像の光軸ズレを調整する操作信号を出力する。操作信号に基づいて光軸ズレを調整する場合に、拡大領域映像信号の範囲内で、光軸ズレに合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から移動分に相当する標準映像信号を抽出し、抽出された標準映像信号を出力する。
【選択図】図３

Description

本発明は、例えば、２台のカメラが撮像した映像から立体（３Ｄ）映像を生成する場合に適用して好適な映像信号処理装置及び映像信号処理方法に関する。

従来、２台のカメラが撮像した映像を合わせ込むことによって立体映像を得る３Ｄカメラシステムが用いられていた。この３Ｄカメラシステムは、メカニカルな微調整機能を有する台（Ｒｉｇ）に２台のカメラを設置し、各カメラの光軸に合わせて各カメラが撮像した映像を合わせ込む方式を用いるものである。また、後処理として、撮影済みの素材から、光軸のズレを補正した映像を切り出して、元の映像信号フォーマットに拡大する方式がある。

図１５は、従来の３Ｄカメラシステム１００の構成例を示す。
３Ｄカメラシステム１００は、２台のカメラ１０１ａ，１０１ｂと、カメラ１０１ａ，１０１ｂの動作を制御するカメラ制御装置１０２ａ，１０２ｂと、２枚の映像から３Ｄ映像を演算する３Ｄ映像演算装置１０３と、カメラ１０１ａ，１０１ｂ毎に動作を制御するコントロールパネル１０４ａ，１０４ｂと、を備える。各カメラ制御装置１０２ａ，１０２ｂにはリファレンス信号が直接入力し、各カメラ１０１ａ，１０１ｂは、撮像した映像をカメラ制御装置１０２ａ，１０２ｂと、３Ｄ映像演算装置１０３を介して外部の機器に直接出力する。

特許文献１には、視差の付いた２個以上の映像に生じた映像間の位置ズレや回転ズレを調整して立体映像を得る技術が開示されている。

特開２００２−７７９４７号公報

ところで、上述した光軸を合わせ込む方式、又は元の映像信号フォーマットに拡大する方式のいずれの方式を用いても、３Ｄカメラシステムを構成するためにコストと手間が掛かってしまう。また、映像の一部を切り出して拡大すると、カメラが撮像した時点におけるオリジナルな高解像度の映像を有効に活用できず、低解像度な映像しか得られない。しかし、これらの方式によって映像の光軸ズレを補正しなければ、３Ｄ映像の品質が低下してしまう。また、光軸ズレを補正するために２台のカメラについて、それぞれ向きや高さを変えても、ズームの変化によって再び光軸ズレが発生しやすく、映像を合わせ込むための手間は低減されない。

本発明はこのような状況に鑑みて成されたものであり、２台のカメラが撮像した映像に生じた光軸ズレを補正して、映像を合わせ込む作業を容易に行えるようにすることを目的とする。

本発明は、標準映像信号を出力する有効映像領域と、有効映像領域より水平及び垂直方向に広い拡大領域を含み、有効映像領域から標準映像信号を出力し、拡大領域から拡大領域映像信号を出力する撮像素子を有する第１及び第２のカメラが、標準映像信号及び拡大領域映像信号を伝送する所定の伝送フォーマットにより、標準映像信号を伝送すると共に、伝送フォーマットの垂直帰線区間と水平帰線区間に拡大領域映像信号を重畳して伝送する場合に、映像を表示する表示部に標準映像信号及び拡大領域映像信号を出力する。
次に、標準映像信号によって表示部に表示される映像より、第１及び第２のカメラが撮像した映像の光軸ズレを調整する操作信号を出力する。
そして、操作信号に基づいて光軸ズレを調整する場合に、拡大領域映像信号の範囲内で、光軸ズレに合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から移動分に相当する標準映像信号を抽出し、抽出された標準映像信号を出力するものである。

このようにしたことで、カメラが撮像した映像の解像度を低下させることなく、２枚の映像の光軸合わせを行うことが可能となった。

本発明によれば、カメラが映像信号を有効映像領域と拡大領域に取り込んで伝送し、受け取った映像信号を用いて、光軸ズレの合わせ込みを行うことができる。このとき、有効映像領域における光軸ズレを拡大領域まで広げて合わせ込みを行える。このため、映像の調整に際し、カメラの調整をメカニカルに行う必要がなくなる。また、撮像面での映像領域を移動させることによって、映像の調整を行うため、レンズの光軸の位置を２台のカメラで合わせることが容易となり、映像の拡大を行わないため、補正前後の映像の解像度を同等とすることが可能となる。

本発明の第１の実施の形態におけるカメラシステムの外部構成例を示すブロック図である。 本発明の第１の実施の形態における２台のカメラを設置する設置台の例を示す構成図である。 本発明の第１の実施の形態におけるカメラシステムの内部構成例を示すブロック図である。 本発明の第１の実施の形態におけるビデオプロセッサの内部構成例を示すブロック図である。 本発明の第１の実施の形態における１９２０サンプル×１０８０ラインの映像信号を伝送する画素フォーマットの例を示す説明図である。 本発明の第１の実施の形態におけるデジタル信号の伝送フォーマットの例を示す説明図である。 本発明の第１の実施の形態における映像領域を拡大して伝送するデジタル信号の伝送フォーマットの例を示す説明図である。 本発明の第１の実施の形態における画素補間の例を示す説明図である。 本発明の第１の実施の形態における光軸ずれの有無によって表示される映像の例を示す説明図である。 本発明の第１の実施の形態におけるビューファインダ部に表示される映像の表示例を示す説明図である。 本発明の第１の実施の形態におけるビューファインダ部に表示される映像の表示例を示す説明図である。 本発明の第２の実施の形態におけるカメラシステムの外部構成例を示すブロック図である。 本発明の第２の実施の形態におけるカメラシステムの内部構成例を示すブロック図である。 本発明の第３の実施の形態におけるカメラシステムの内部構成例を示すブロック図である。 従来のカメラシステムの外部構成例を示すブロック図である。

以下、発明を実施するための最良の形態（以下実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（映像の光軸ズレ補正：カメラアダプタ装置とカメラヘッドが連動して、映像領域を拡大して撮像した映像を用いて、光軸のずれを補正する例）
２．第２の実施の形態（映像の光軸ズレ補正：カメラ制御装置又は３Ｄ映像演算装置が映像領域を拡大して撮像した映像を用いて、光軸のずれを補正する例）
３．変形例

＜１．第１の実施の形態＞
［３Ｄカメラシステムの構成例］

以下、本発明の第１の実施の形態について、図１〜図１１を参照して説明する。本実施の形態では、２台のカメラヘッド１ａ，１ｂに撮像動作を指示し、カメラヘッド１ａ，１ｂが撮像した映像を外部の装置に出力するカメラアダプタ装置２を備えた３Ｄカメラシステム１０に適用した例について説明する。

図１は、３Ｄカメラシステム１０の構成例を示す。
３Ｄカメラシステム１０は、カメラヘッド１ａ，１ｂと、カメラアダプタ装置（ＣＡＢ：Camera Adaptor Box）２と、を備える。カメラアダプタ装置２は、ビューファインダ信号によってカメラヘッド１ａ，１ｂから受け取った映像を表示するビューファインダ部６を備える。

カメラアダプタ装置２と不図示の外部機器は、カメラケーブル５によって接続される。そして、カメラアダプタ装置２は、カメラヘッド１ａ，１ｂから入力する映像をまとめて不図示の外部機器に伝送する。カメラケーブル５には、大容量の光デジタル信号を伝送可能な広帯域デジタル光伝送路が用いられており、本例では、従来の１．５Ｇｂｐｓデータレートに対して、３．７Ｇｂｐｓのデータレートの光伝送を想定している。ただし、映像データを圧縮し、狭帯域（従来通り）で伝送する事も可能である。

カメラアダプタ装置２は、必要に応じて、カメラヘッド１ａ，１ｂから入力する映像を反転させたり、出力信号を同相に合わせる為の遅延を加えたりする処理を施す。そして、カメラアダプタ装置２は、技術者が操作するコントロールパネル７によって、動作が制御される。

図２は、カメラヘッド１ａ，１ｂが設置される設置台（ＲＩＧ）８の構成例を示す。
図２Ａは、設置台８を横方向から視認した場合におけるカメラヘッド１ａ，１ｂの構成例を示す。
基本的には、カメラヘッド１ａ，１ｂのズームを１倍とし、レンズの間隔を人間の眼に合わせてカメラヘッド１ａ，１ｂを配置したときに撮像した映像から得られる立体映像は自然に見えることが知られている。しかし、カメラヘッド１ａ，１ｂの筐体は大きいため、そのまま横方向に並べると人間より広い視差で被写体を撮像してしまい、立体映像に違和感が生じてしまう。このため、設置台８は、ハーフミラー９を備える。そして、被写体の像光がハーフミラー９を透過して直接入力する位置にカメラヘッド１ａを配置し、被写体の像光がハーフミラー９に反射して入力する位置にカメラヘッド１ｂを配置する。これにより、カメラヘッド１ａ，１ｂが備えるレンズの光軸が垂直に交わるように、カメラヘッド１ａ，１ｂが設置される。

図２Ｂは、図２Ａの矢印方向から視認した場合におけるハーフミラー９の見え方の例を示す。
カメラヘッド１ａ，１ｂは、人間の視差から求まる幅で横方向にずらして設置台８に設置される。このため、ハーフミラー９に透過して写るカメラヘッド１ａのレンズと、ハーフミラー９に反射して写るカメラヘッド１ｂのレンズは、横方向にずれていることが示される。このように、設置台８にハーフミラー９を設けることによって、人間の視差に合わせてカメラヘッド１ａ，１ｂを設置することができ、得られる立体映像に違和感が生じなくなる。

図３は、３Ｄカメラシステム１０の内部構成例を示す。
カメラヘッド１ａは、映像信号を出力するセンサ部１１を備える。センサ部１１は、ＣＣＤ（Charge Coupled Devices）イメージャ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子により構成される。この撮像素子は、標準映像信号を出力する有効映像領域と、有効映像領域より水平及び垂直方向に広い拡大領域を含み、有効映像領域から標準映像信号を出力し、拡大領域から拡大領域映像信号を出力する。

また、カメラヘッド１ａは、センサ部１１が出力する映像信号に所定の処理を加えて、カメラアダプタ装置２に処理後の映像信号を出力するカメラビデオプロセッサ１２と、伝送領域を拡大して映像信号を拡大領域に重畳するビデオプロセッサ１３と、を備える。ビデオプロセッサ１３は、入力する映像信号の水平及び垂直方向にフィルタを掛ける水平垂直フィルタ１５を備える。また、カメラヘッド１ａは、ビデオプロセッサ１３から出力されるパラレル映像信号をシリアル映像信号に変換して、このシリアル映像信号を出力するシリアライザ１４を備える。カメラヘッド１ａとカメラアダプタ装置２との間に伝送される映像信号は、ＳＤＩ伝送フォーマットに基づいて、有効映像領域と拡大領域に重畳される。
なお、カメラヘッド１ｂは、カメラヘッド１ａと同様の構成としてあるため、対応する処理ブロックには同一符号を付し、詳細な説明を省略する。

カメラヘッド１ａ，１ｂは、被写体を撮像する際にカメラヘッド１ａ，１ｂに設定される撮像条件情報を、後述するステータスインタフェース部２４を介してビデオプロセッサ２２に送る撮像条件情報出力部１６を備える。撮影条件情報には、レンズステータス、設置台８の傾き等の情報が含まれており、ビデオプロセッサ２２から、カメラヘッド１ａ，１ｂが備えるビデオプロセッサ１３にも送られる。

カメラアダプタ装置２は、カメラヘッド１ａ，１ｂから入力するシリアル映像信号をパラレル映像信号に変換する２個のデシリアル２１と、デシリアル２１から入力するカメラヘッド１ａ，１ｂのパラレル映像信号に基づいて、映像の光軸合せを行うビデオプロセッサ２２と、光軸合わせが行われた映像信号をシリアル映像信号に変換して出力するシリアライザ２３と、を備える。また、撮像条件情報出力部１６から撮像条件情報を受け取るステータスインタフェース部２４を備えており、水平垂直フィルタ２５（又は、水平垂直フィルタ１５）は、ステータスインタフェース部２４を介して入力した撮像条件情報に基づいて、標準映像信号を抽出する。

次に、各部の動作を説明する。
カメラヘッド１ａ，１ｂは、標準映像信号及び拡大領域映像信号を伝送する所定の伝送フォーマットにより、カメラアダプタ装置２に標準映像信号を伝送すると共に、伝送フォーマットの垂直帰線区間と水平帰線区間に拡大領域映像信号を重畳して伝送する。この標準映像信号と拡大領域映像信号の伝送フォーマットに対する重畳処理は、カメラビデオプロセッサ１２によって行われる。そして、ビデオプロセッサ１３、又はビデオプロセッサ２２がビューファインダ部６に標準映像信号及び拡大領域映像信号を出力する映像出力部として機能する。

そして、水平垂直フィルタ１５，２５は、コントロールパネル７から受け取った操作信号に基づいて２枚の映像の光軸ズレを調整する。このとき、水平垂直フィルタ１５，２５は、拡大領域映像信号の範囲内で、光軸ズレに合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から所望の範囲の標準映像信号を抽出し、抽出された標準映像信号を出力する映像信号抽出部として機能する。そして、水平垂直フィルタ１５，２５は、有効映像領域に対して垂直方向、水平方向又は回転方向に含まれる拡大領域映像信号を切り出して標準映像信号を抽出する機能を有する。

ここで、カメラヘッド１ａ，１ｂが備えるビデオプロセッサ１３の水平垂直フィルタ１５が光軸ズレの調整を行う場合、ビデオプロセッサ２２が備える水平垂直フィルタ２５はバイパスされる。一方、ビデオプロセッサ２２が備える水平垂直フィルタ２５が光軸ズレの調整を行う場合、カメラヘッド１ａ，１ｂが備えるビデオプロセッサ１３の水平垂直フィルタ１５はバイパスされる。このように、水平垂直フィルタ１５，２５は、一方がフィルタリング動作を行うと、他方が処理をバイパスする関係にある。また、水平垂直フィルタ１５，２５は、映像信号を水平垂直方向にフィルタリングすることによって、画素単位以下でサンプル位相を変換するオフセット機能を有する。

カメラヘッド１ａ，１ｂが出力する映像信号は、ビデオプロセッサ１３、シリアライザ１４を介して、シリアル映像信号に変換され、カメラアダプタ装置２に出力される。ここで、ビデオプロセッサ１３が備える水平垂直フィルタ１５は、入力したパラレル映像信号に水平垂直フィルタを掛けて、任意の位相とした映像信号を、シリアライザ１４を介してシリアル映像信号に変換して出力する。

カメラアダプタ装置２は、カメラヘッド１ａ，１ｂから受け取ったシリアル映像信号を、デシリアル２１を介してパラレル映像信号に変換する。ビデオプロセッサ２２は、パラレル映像信号をビューファインダ部６に出力し、ビューファインダ部６は、カメラヘッド１ａ，１ｂが撮像した映像を表示する。技術者は、ビューファインダ部６に表示された映像を見ながらコントロールパネル７を操作して、映像の光軸合わせを行う。このとき、コントロールパネル７は、カメラヘッド１ａ，１ｂが出力する標準映像信号によってビューファインダ部６に表示される映像より、カメラヘッド１ａ，１ｂが撮像した映像の光軸ズレを調整する操作信号を出力する。

また、ビデオプロセッサ２２には、カメラヘッド１ａ，１ｂからステータスインタフェース部２４を介して撮像条件情報が入力されるため、技術者は、どのような条件でカメラヘッド１ａ，１ｂが被写体を撮像しているのかを知ることができる。そして、ビデオプロセッサ２２は、光軸合わせを行った映像を、シリアライザ２３を介してシリアル映像信号に変換し、外部機器に出力する。なお、光軸合わせを行っている最中は、ビューファインダ部６が表示する映像の傾き、水平位置等が適宜変化する。また、ビューファインダ部６には、後述するように各種の映像（差分映像等）を表示されるため、技術者は、２枚の映像の光軸合わせを容易に行うことができる。

上述したとおり、コントロールパネル７が光軸合わせを行う指示は、ビデオプロセッサ２２を介して、カメラヘッド１ａ，１ｂが備えるビデオプロセッサ１３に直接行うことも可能である。この場合、ビデオプロセッサ１３が備える水平垂直フィルタ１５によって、カメラビデオプロセッサ１２から入力する映像信号の位相が変化する。そして、位相が変化した映像信号がカメラアダプタ装置２に入力し、ビューファインダ部６は、カメラヘッド１ａ，１ｂが光軸合わせを行った映像を表示する。

このように、カメラヘッド１ａ，１ｂとカメラアダプタ装置２は、水平垂直フィルタ１５，２５をそれぞれ備えるため、センサ部１１から受け取る映像信号の解像度を維持したまま、センサ部１１で定められる有効映像領域が広い映像データを再構築できる。そして、ビデオプロセッサ１３，２２は、映像中心をずらして信号フォーマットの有効映像領域を切り出すことによって、２枚の映像の光軸ずれを補正することが可能となる。

また、図２に示したように、設置台８の構成が映像反転を必要とするＲｉｇ方式である場合、カメラヘッド１ａ，１ｂの撮像タイミングと映像出力タイミングの双方を一致させる必要がある。このため、カメラアダプタ装置２は、映像反転機能と共に、映像遅延機能も有する。ただし、映像反転機能と共に、映像遅延機能については、カメラヘッド１ａ，１ｂ又はカメラアダプタ装置２のいずれが有していても構わない。

また、カメラヘッド１ａ，１ｂは、センサ部１１がＣ−ＭＯＳセンサの様な、線走査撮像（ＣＣＤイメージャは像面走査方式）の場合、映像が上下反転時に、走査する上下方向の順番を変更する機能を搭載する。このため、カメラアダプタ装置２は、ローリングシャッター効果による映像歪みの方向を合わせることが出来る。

このとき、ビデオプロセッサ２２はカメラヘッド１ａ，１ｂのうち、いずれか一方のカメラから受け取った映像を他方のカメラから受け取った映像に合わせて垂直方向に反転させて、映像を出力する。そして、ビデオプロセッサ２２は、他方のカメラに対して、撮像タイミングを１画面分遅延させて、撮像タイミング信号を出力する。

図４は、水平垂直フィルタ１５，２５の内部構成例を示す。
図４Ａは、水平フィルタ係数ａ、垂直フィルタ係数Ａとした場合における水平垂直フィルタ１５，２５の動作例を示す。
水平垂直フィルタ１５，２５は、それぞれ、水平垂直フィルタ１５，２５を備える。ここで、水平垂直フィルタ１５，２５は、それぞれ、水平フィルタ２６、メモリ２７及び垂直フィルタ２８によって構成される。

水平フィルタ２６には、水平フィルタ係数ａが入力され、入力した映像信号に対して、水平方向のフィルタリングがなされて、メモリ２７に書き込まれる。そして、垂直フィルタ２８には、垂直フィルタ係数Ａが入力され、メモリ２７から読み出された映像信号に対して、垂直方向のフィルタリングがなされて出力される。

ここで、水平垂直フィルタ１５，２５は、入力された映像信号のサンプル位相を変更することが可能である。これは、アナログ映像的に考えた場合、フィルタ処理で、群遅延を与える場合に相当する。そして、水平垂直フィルタ１５，２５が行う処理は、クロック単位以下の位相変化を与えるフィルタ処理となる。

具体的には、水平垂直フィルタ１５，２５は、何倍かのオーバーサンプリングをして、そこから必要なサンプル位相に相当するデータだけを抜き出す。このため、サンプル位相の位置を１ドット以下で調整することが可能である。
実際には、水平垂直フィルタ１５，２５は、オーバーサンプリング処理を行わず、直接、サンプル位相からずれたサンプル位相のドット位置をフィルタ計算で算出する。

ここで、従来のカメラアダプタ装置が行っていた映像信号の切り出し処理について説明する。
従来のカメラアダプタ装置は、フィルタの係数を変えることにより、受け取った映像信号に任意の位相を与える。ただし、従来のカメラアダプタ装置は、カメラヘッドから規定の有効映像領域が出力する映像信号しか受け取っていない。このため、ビデオプロセッサ１３，２２は、有効映像領域の範囲内で光軸ズレの補正を行っていた。

この映像領域を切り出すために、例えば、以下の方法が用いられる。
・映像を拡大して切り出す。
・隅の映像をぼかす。
・映像が無い方に合わせて、切り出す。

ここで、本例のカメラヘッド１ａ，１ｂが備えるビデオプロセッサ１３又はカメラアダプタ装置２が備えるビデオプロセッサ２２を用いると、有効映像領域の調整範囲を柔軟に設定できる。ただし、センサ部１１とカメラビデオプロセッサ１２が映像信号を入れる有効映像領域と拡大領域に、標準映像信号と拡大領域映像信号を重畳して出力するに際し、ビデオプロセッサ１３，２２は、映像の拡大と切り出さずに光軸を合わせている。このため、拡大領域以上の補正を行うと、映像の隅が切れてしまう。この場合は、例えば、隅の映像をぼかすことで、視認性に影響が生じさせない処理を行う。

図４Ｂは、水平フィルタ係数ｚ、垂直フィルタ係数Ｚとした場合における水平垂直フィルタ１５，２５の動作例を示す。
図４Ｂに示す水平垂直フィルタ１５，２５は、各フィルタ係数が異なること以外は、図４Ａに示す水平垂直フィルタ１５，２５の構成と同様である。

水平フィルタ２６には、水平フィルタ係数ｚが入力され、入力した映像信号に対して、水平方向のフィルタリングがなされて、メモリ２７に書き込まれる。そして、垂直フィルタ２８には、垂直フィルタ係数Ｚが入力され、メモリ２７から読み出された映像信号に対して、垂直方向のフィルタリングがなされて出力される。

図５は、１９２０サンプル×１０８０ラインの映像信号を規定する画素フォーマットの例を示す。
センサ部１１とカメラビデオプロセッサ１２が出力する映像信号の画素フォーマットは、従来の１９２０サンプル×１０８０ラインの映像信号が含まれる領域を有効映像領域とし、この有効映像領域より数サンプル分拡大した領域を拡大領域と設定している。本例では、拡大領域を、２２００サンプル×１１００ラインとしている。つまり、拡大領域は、水平方向には、有効映像領域の左右に２０サンプルずつ拡大し、垂直方向には、有効映像領域の上下に１０ラインずつ拡大した領域となる。

図６は、映像信号を伝送するための伝送フォーマットの例を示す。
この伝送フォーマットでは、有効映像領域における１９２０サンプル×１０８０ラインの映像信号を伝送するための領域が設けられている。そして、有効映像領域の周囲には、拡大領域における映像信号を伝送するための領域が設けられている。

図７は、デジタル信号の伝送フォーマットの例を示す。
デジタル信号の伝送フォーマットには、例えば、ＳＤＩフォーマットが用いられる。この伝送フォーマットでは、１９２０サンプル×１０８０ラインの映像信号を伝送するための領域と、この領域の左右に設けられた、タイミングリファレンスコード（ＳＡＶ，ＥＡＶ等）、オーディオデータ、ＡＵＸデータを伝送する領域が設けられている。カメラヘッド１ａ，１ｂがデジタル映像信号を出力する際には、Ｖブランキング区間にブランキングを掛けない。一方、Ｈブランキング区間のデータは、タイミングリファレンスコード（ＳＡＶ，ＥＡＶ等）やオーディオデータをつぶさないように、補助データ領域に重畳して伝送する。本例では、拡大領域と拡大領域の差分に相当する映像信号を、図中のグレーで塗りつぶされる補助データ領域に重畳して伝送している。

図８は、光軸ズレの例を示す。
図８Ａは、カメラヘッド１ａ，１ｂが被写体５１〜５３を撮像する様子の例を示す。
設置台８を無視して配置したカメラヘッド１ａ，１ｂには、視差が与えられており、互いの光軸も異なることが示される。ここで、被写体５１〜５３には、所定のマーク及び図形が記されており、カメラヘッド１ａ，１ｂに対して、設置される距離が異なる。

図８Ｂは、光軸ズレがある場合における映像の表示例を示す。
カメラヘッド１ａ，１ｂは、水平方向だけでなく、垂直方向にもずれている。このため、合成映像は、２つの映像が互いに水平方向と垂直方向にずれており、３Ｄ映像として非常に見えづらくなってしまう。

図８Ｃは、光軸ズレがない場合における映像の表示例を示す。
カメラヘッド１ａが撮像した右チャンネル映像と、カメラヘッド１ｂが撮像した左チャンネル映像は、カメラヘッド１ａ，１ｂの視差が異なるため、水平方向にわずかにずれる。そして、右チャンネル映像と左チャンネル映像を合成すると、光軸が交わる被写体５２に描かれたマークのズレがなくなり、手前側の被写体５１に描かれたマークのずれが、遠方側の被写体５３に描かれたマークのずれより大きくなることが分かる。この場合、３Ｄ映像として適した映像を出力することができる。この光軸ズレの補正は、技術者が合成映像を見ながら、例えば、固定した右チャンネルの映像に合わせて左チャンネルの映像を動かすことによって行われる。

図９は、ビデオプロセッサ１３，２２が備える水平フィルタ２６が映像の光軸ズレを補正するフィルタリング処理の例を示す。
水平フィルタ２６は、センサ部１１の撮像画素の配置に合わせて等間隔に入力した映像信号に水平方向のフィルタリング処理を行って、各画素における映像信号の位相を変える。このフィルタリング処理によって、水平方向に配置された画素が出力する映像信号が、位相の異なる画素位置の映像信号に変換される。このため、技術者は、映像が移動する垂直方向及び水平方向における距離を単位画素未満の長さとする、微細な映像調整を行うことができる。

図１０と図１１は、ビューファインダ部６に表示される映像の例を示す。
カメラアダプタ装置２は、ビューファインダ信号として、カメラヘッド１ａの出力映像，カメラヘッド１ｂの出力映像，カメラヘッド１ａ，１ｂの出力映像のミックス映像，カメラヘッド１ａ，１ｂの出力映像の差分映像等を選択して、ビューファインダ部６に表示させることができる。

そして、技術者は、ビューファインダ部６に表示されたメニューインタフェースを操作して行うか、カメラアダプタ装置２に取り付けられたロータリースイッチで選択するか、又は、プッシュスイッチに割り振って選択するか、プッシュスイッチで順次送りにするかを、選択することによって、ビューファインダ部６に表示させる映像を選択することができる。また、不図示のカメラ制御装置（後述する図１３参照）等から受け取る要求に応じて、ビューファインダ部６に表示する映像をリターン信号と切り替えて出力することが出来る。さらに、ビューファインダ部６が立体映像を表示可能であれば、左右チャンネルから出力される２チャンネル分の映像を表示させることもでき、このための選択メニューを加えることもできる。

図１０Ａは、カメラヘッド１ａが出力する右チャンネルの映像の例を示す。
図１０Ｂは、カメラヘッド１ｂが出力する左チャンネルの映像の例を示す。
カメラヘッド１ａ，１ｂは、ユーザの視差に合わせて設置台８に配置されるため、右チャンネルの映像と左チャンネルの映像には、左右にずれが生じていることが示される。

図１０Ｃは、カメラヘッド１ａ，１ｂが出力する映像を混合して表示されるミックス映像の例を示す。
ミックス映像は、カメラヘッド１ｂ（左チャンネル）の輝度信号，色差信号（Lch_Y、Lch_CB、Lch_CR）と、カメラヘッド１ａ（右チャンネル）の輝度信号，色差信号（Lch_Y、Rch_CB、Rch_CR）を足すことによって、求められる。このミックス映像には、色がついている。

図１１Ａは、差分映像の例を示す。
差分映像は、カメラヘッド１ｂが出力する映像信号からカメラヘッド１ａが出力する映像信号を減じて得られるグレーの映像である。図１１Ａには、ビデオチャートを撮像した場合における差分映像が表示されている。このとき、ビューファインダ部６は、カメラヘッド１ａが撮像した映像の輝度信号又は色差信号に対するカメラヘッド１ｂが撮像した映像の輝度信号又は色差信号の差分に基づいて、差分映像を表示する。

差分映像は、カメラヘッド１ｂ（左チャンネル）の輝度信号（Lch_Video）からカメラヘッド１ａ（右チャンネル）の輝度信号（Rch_Video）を減じることによって、求められる。なお、カメラヘッド１ａ（右チャンネル）の輝度信号からカメラヘッド１ｂ（左チャンネル）の輝度信号を引くことによって求めてもよい。その後、“２”又は適当な数字で差分値を割り、オフセットとして、適当な値の映像レベル（50%_Video_Level）を足す。

上記の内容を式で表すと以下のようになる。
（Lch_Video-Rch_Video）/2＋50%_Video_Level
この結果、輝度のみに注目した差分映像をビューファインダ部６に表示させることができる。

同様に、色差データに基づいて差分データを作成することも可能である。このとき、差分は、カメラヘッド１ｂ（左チャンネル）の色差信号（Lch_CB、Lch_CR）からカメラヘッド１ａ（右チャンネル）の色差信号（Rch_CB、Rch_CR）を減じて求められる。
（Lch_CB-Rch_CB）/2、又は（Lch_CR-Rch_CB）/2
ただし、色差データの場合、０点が中間点であるため、オフセット値を加算する必要はない。また、強調表示するためには、“２”で割らずに、適当な数で掛けて増感しても良い。以上より、差分映像として輝度のみを表示する白黒モードと、色差データを加えたカラーモードをビューファインダ部６に表示させることが可能となる。

カメラヘッド１ａ，１ｂのズームや向きが正しく配置されている場合、映像にズレが生じないため、差分映像には輪郭が表示されない理想的な状態となる。しかし、カメラヘッド１ａ，１ｂの配置が異なっていると、２枚の映像にズレが生じてしまい、図１１Ａの左側に示したように、被写体の輪郭が強調されて表示される。このため、設置台８に設置されたカメラヘッド１ａ，１ｂのズームや向きを正しく設定する際に有効な情報となる。

図１１Ｂは、アナグリフ映像の例を示す。
アナグリフ映像は、従来立体映像を見るために用いられてきた映像である。例えば、左眼に赤いセロファンを貼り、右目に青いセロファンを貼った専用のメガネをユーザが掛けることによって、立体映像を確認することができる。

図１１Ｃは、分割映像の例を示す。
ここでは、カメラヘッド１ａが出力する映像の右半分と、カメラヘッド１ｂが出力する映像の左半分を分割し、分割された映像を真ん中でつないで表示する。これにより、技術者は、カメラヘッド１ａ，１ｂの設置位置の歪み等を把握し、カメラヘッド１ａ，１ｂの水平方向の歪みを合わせることが容易となる。なお、図示しないが、カメラヘッド１ａが出力する映像の上半分と、カメラヘッド１ｂが出力する映像の下半分を分割し、分割された映像を真ん中でつないで表示してもよい。この場合、カメラヘッド１ａ，１ｂの垂直方向の歪みを合わせることが容易となる。

以上説明した第１の実施の形態に係る３Ｄカメラシステム１０によれば、２台のカメラによる３Ｄ撮像において、撮像素子の有効映像領域が、信号フォーマットよりも広くしたセンサ部１１を使い、全画素分のカメラ信号処理を行うカメラヘッド１ａ，１ｂを用いる。このとき、ビデオプロセッサ１３，２２は、有効映像領域と拡大領域を含む撮像素子より、それぞれ標準映像信号と拡大領域映像信号を出力するカメラヘッド１ａ，１ｂから各映像信号を受け取る。このとき、拡大領域映像信号は、伝送フォーマットの垂直帰線区間と水平帰線区間に拡大領域映像信号を重畳して伝送される。そして、ビデオプロセッサ１３，２２は、ビューファインダ部６に標準映像信号と拡大領域映像信号を出力し、映像を表示させる。このとき、技術者は、ビューファインダ部６に表示された映像を見ながらコントロールパネル７を操作して光軸ズレの合わせ込みをカメラヘッド１ａ，１ｂ又はカメラアダプタ装置２に指示を行う。この指示に基づいて、ビデオプロセッサ１３，２２が備える水平垂直フィルタ１５，２５は、拡大領域映像信号の範囲内で、光軸ズレに合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から移動分に相当する標準映像信号を抽出し、抽出された標準映像信号を出力することによって、映像の合わせ込みを行わせる。

このため、有効映像領域と拡大領域を切り替えることによって、カメラヘッド１ａ，１ｂに生じたレンズの光軸の誤差分を補正することが可能となる。このように、技術者は、カメラヘッド１ａ，１ｂが設置される設置台８の高さや、カメラヘッド１ａ，１ｂの向き等を調整しなくても、ビューファインダ部６に表示された映像を見ながら光軸ズレを補正できる。これにより、拡大領域に格納した映像信号を用いて、光軸のズレを補正した領域を切り出す機能を有するため、コストと手間を削減することが可能となる。

また、ビデオプロセッサ２２は、カメラヘッド１ａ，１ｂが備える不図示のレンズのズーム等のステータス情報が含まれる撮像条件情報をエンベデッドする。そして、ビデオプロセッサ２２は、撮像条件情報に応じた映像出力を行うため、撮像条件情報に合わせて（例えば、レンズの状態）、２枚の映像のレジセンター補正を行うことが出来る。

また、コントロールパネル７による映像の合わせ込みの指示は、ビューファインダ部６に表示された有効映像領域に対して垂直方向、水平方向又は回転方向とすることができる。このとき、水平垂直フィルタ１５，２５は、指示された方向に含まれる拡大領域映像信号を切り出して標準映像信号として抽出する。このため、技術者は、拡大領域の範囲内における任意の距離で映像の合わせ込みを行うことができ、レジセンター補正の自由度が向上するという効果がある。

また、水平垂直フィルタ１５，２５は、有効映像領域の垂直方向及び水平方向にフィルタリング処理を行い、標準映像信号の垂直方向及び水平方向における移動の距離は、撮像素子における単位画素未満の長さとすることができる。このため、レジセンター補正の精度が高まり、ユーザにとって違和感の生じない品質を高めた３Ｄ映像を得ることができる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態に係る３Ｄカメラシステム４０に適用した例について、図１２と図１３を参照して説明する。
以下の説明において、既に第１の実施の形態で説明した部分には同一符号を付し、詳細な説明を省略する。

３Ｄカメラシステム４０は、カメラヘッド１ａ，１ｂと、カメラアダプタ装置２と、２枚の映像の光軸合せを行うカメラ制御装置（ＣＣＵ：Camera Control Unit）３及び３Ｄ映像演算装置４と、を備える。カメラアダプタ装置２には、カメラケーブル５を介してカメラ制御装置３が接続され、カメラ制御装置３には、３Ｄ映像演算装置４が接続される。

カメラアダプタ装置２とカメラ制御装置３の間は、広帯域（従来の帯域の２倍以上）の通信インタフェースとしてカメラケーブル５が用いられ、カメラヘッド１ａ，１ｂが出力する映像を、標準映像信号と拡大領域映像信号を含めて同時に伝送できる。また、カメラ制御装置３は、例えば、３Ｇ−ＨＤＩに対応した通信インタフェースを備え、この通信インタフェースを介して映像信号を３Ｄ映像演算装置４に高速転送できる。カメラ制御装置３は、操作部３５から入力する制御信号をカメラアダプタ装置２に出力してカメラヘッド１ａ，１ｂの動作を制御したり、カメラアダプタ装置２から受け取る映像信号を不図示の表示装置に出力したりする。同様に、３Ｄ映像演算装置４は、技術者が操作する操作部４６によって、動作が制御される。この動作として、例えば、上述したような２枚の映像の光軸ズレを補正するレジセンター補正処理がある。

そして、カメラヘッド１ａ，１ｂとカメラ制御装置３の間にカメラアダプタ装置２を設置しているため、カメラアダプタ装置２からは、カメラアダプタ装置２に対して１台のカメラの動作を制御しているように見える。

カメラ制御装置３又は３Ｄ映像演算装置４に接続される不図示のモニタ部は、カメラアダプタ装置２から受け取った２枚の映像を表示する。このため、技術者は、モニタ部を見ながら映像を確認することができ、操作部３５，４６を用いた操作によって、モニタ部に表示された映像を見ながら映像の合わせ込みを行う。

図１３は、３Ｄ映像を撮像する場合におけるアプリケーションを想定したブロック図を示す。
３Ｄカメラシステム４０において、カメラ制御装置３と３Ｄ映像演算装置４が標準映像信号と拡大領域映像信号を用いて光軸ズレ合せを行うための本発明に係る拡大伝送方式に対応する。このとき、カメラアダプタ装置２は、カメラヘッド１ａ，１ｂに対して、撮像動作の指示を行う一方で、標準映像信号及び拡大領域映像信号を通過させ、後続のカメラ制御装置３に出力する。

カメラ制御装置３は、カメラアダプタ装置２から入力するシリアル映像信号をパラレル映像信号に変換するデシリアル３１と、デシリアル３１から入力するパラレル映像信号に対して所定の処理を施すビデオプロセッサ３２と、処理後のパラレル映像信号をシリアル映像信号に変換して出力するシリアライザ３３を備える。カメラ制御装置３と３Ｄ映像演算装置４との間は、ＳＤＩ伝送フォーマットに基づいて、拡大領域に映像信号を重畳して伝送される。また、カメラ制御装置３は、ビデオプロセッサ３２に接続される操作部３５を備える。操作部３５は、標準映像信号によって表示部に表示される映像より、カメラヘッド１ａ，１ｂが撮像した映像の光軸ズレを調整する操作信号を出力する。技術者は、操作部３５を操作して、不図示のモニタ部に表示された映像の合わせ込みを行うことができる。

３Ｄ映像演算装置４は、カメラ制御装置３から入力するシリアル映像信号をパラレル映像信号に変換するデシリアル４１と、カメラ制御装置３からシリアル映像信号と合わせて入力されるレンズステータスに基づいて所定の演算処理を行うＣＰＵ４２と、を備える。また、３Ｄ映像演算装置４は、映像の合わせ込みを行うビデオプロセッサ４３と、合わせ込んだ映像のパラレル映像信号をシリアル映像信号に変換して出力するシリアライザ４５と、を備える。シリアライザ４５は、ＳＤＩ伝送フォーマットに基づいて、標準領域にシリアル映像信号を重畳して出力する。また、３Ｄ映像演算装置４は、ビデオプロセッサ４３に接続される操作部４６を備える。技術者は、操作部４６を操作して、不図示のモニタ部に表示された映像の合わせ込みを行うことができる。

ここで、カメラ制御装置３が備えるビデオプロセッサ３２の水平垂直フィルタ３４が光軸ズレの調整を行う場合、ビデオプロセッサ４３が備える水平垂直フィルタ４４はバイパスされる。一方、ビデオプロセッサ４３が備える水平垂直フィルタ４４が光軸ズレの調整を行う場合、カメラ制御装置３が備えるビデオプロセッサ３２の水平垂直フィルタ３４はバイパスされ、標準映像信号及び拡大領域映像信号がカメラ制御装置３を通過する。このように、水平垂直フィルタ３４，４４は、一方がフィルタリング動作を行うと、他方が処理をバイパスする関係にある。水平垂直フィルタ３４，４４が行うフィルタリング動作の例については、上述した第１の実施の形態に係る水平垂直フィルタ１５，２５が行う処理と同様である。即ち、水平垂直フィルタ３４，４４は、それぞれ操作信号に基づいて光軸ズレを調整する場合に、拡大領域映像信号の範囲内で、光軸ズレに合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から移動分に相当する標準映像信号を抽出し、抽出された標準映像信号を出力する映像信号抽出部として機能する。

以上説明した第２の実施の形態に係る３Ｄカメラシステム４０によれば、複数台のカメラヘッド１ａ，１ｂを用いてシステム運用を行う場合、あるいは、カメラと、コントロールパネルや映像信号を受け取る機器との間を長距離延長したい場合には、カメラ制御装置３と３Ｄ映像演算装置４を備えたシステム構成とすることができる。ここで、カメラ制御装置３と３Ｄ映像演算装置４は、カメラヘッド１ａ，１ｂから伝送フォーマットの拡大領域に重畳されて受け取る標準映像信号と拡大領域映像信号を用いて、操作部３５，４６の指示によって、２枚の映像の光軸ズレを補正し、映像を合わせ込む。このため、カメラ側（カメラヘッド１ａ，１ｂとカメラアダプタ装置２）への配線を減らし、ライブシステムカメラなどの複数台のカメラの連携撮影での運用をより柔軟に行うことができる。これは、３Ｄカメラでも従来の２Ｄ撮影と同様のシステムカメラ構成を可能にする。

また、カメラヘッド１ａ，１ｂ、カメラアダプタ装置２、カメラ制御装置３及び３Ｄ映像演算装置４は、信号線によって互いに接続される。各部を接続するに際し、例えば、同軸ケーブル、トライアックスケーブル、光ファイバケーブル、無線通信等の様々な通信媒体、通信方式が用いられる。このため、柔軟性に富んだシステム運用を行うことができる。

＜３．変形例＞

上述したように、レジセンター補正処理は、各装置が備えるビデオプロセッサによって実現される。ここで、カメラ制御装置３と３Ｄ映像演算装置４の間に、ＡＵＸ領域ごと記録できる記録装置を配置しても良い。

図１４は、カメラ制御装置３と３Ｄ映像演算装置４の間に大容量の記録装置５５を備える３Ｄカメラシステム５０の構成例を示す。
記録装置５５は、カメラ制御装置３を通過する拡大領域を含む標準映像信号及び拡大領域映像信号をそのまま記録するものであり、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）が用いられる。そして、３Ｄ映像演算装置４は、記録装置５５から標準映像信号及び拡大領域映像信号を読み出して、モニタ部に標準映像信号及び拡大領域映像信号を出力する。このように、３Ｄ映像演算装置４は、記録装置５５から拡大領域を含む映像信号を読み出すことができる。これにより、３Ｄ映像演算装置４は、記録装置５５から読み出した映像信号を用いて、レジ補正の後処理を行うことができる。この場合、レジ補正の処理を、カメラヘッド１ａ，１ｂが被写体を撮像するタイミングに合わせなくてもよく、リアルタイム性が求められない被写体を撮像し、編集する場合に適している。

また、カメラヘッド１ａ，１ｂを単体で用いてもよい。この場合、広い映像領域が伝送できる３Ｄカメラシステムとして活用できる。このとき、拡大領域映像信号を、レンズの光軸ズレ補正，画素数変換時におけるフィルタリング処理の糊代等に用いても良い。

また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。

また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。

また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。

１ａ，１ｂ…カメラヘッド、２…カメラアダプタ装置、３…カメラ制御装置、４…３Ｄ映像演算装置、５…カメラケーブル、６…ビューファインダ部、７…コントロールパネル、８…設置台、９…ハーフミラー、１０…３Ｄカメラシステム、１１…センサ部、１２…カメラビデオプロセッサ、１３…ビデオプロセッサ、１４…シリアライザ、１５…水平垂直フィルタ、１６…撮像条件情報出力部、２１…デシリアル、２２…ビデオプロセッサ、２３…シリアライザ、２４…ステータスインタフェース部、２５…水平垂直フィルタ、２６…水平フィルタ、２７…メモリ、２８…垂直フィルタ、３１…デシリアル、３２…ビデオプロセッサ、３３…シリアライザ、３４…水平垂直フィルタ、３５…操作部、４０…３Ｄカメラシステム、４１…デシリアル、４２…ＣＰＵ、４３…ビデオプロセッサ、４４…水平垂直フィルタ、４５…シリアライザ、４６…操作部、５０…３Ｄカメラシステム、５５…記録装置

Claims (5)

1. 標準映像信号を出力する有効映像領域と、前記有効映像領域より水平及び垂直方向に広い拡大領域を含み、前記有効映像領域から標準映像信号を出力し、前記拡大領域から拡大領域映像信号を出力する撮像素子を有する第１及び第２のカメラが、前記標準映像信号及び前記拡大領域映像信号を伝送する所定の伝送フォーマットにより、前記標準映像信号を伝送すると共に、前記伝送フォーマットの垂直帰線区間と水平帰線区間に前記拡大領域映像信号を重畳して伝送する場合に、映像を表示する表示部に前記標準映像信号及び前記拡大領域映像信号を出力する映像出力部と、
   前記標準映像信号によって前記表示部に表示される映像より、前記第１及び第２のカメラが撮像した映像の光軸ズレを調整する操作信号を出力する操作部と、
   前記操作信号に基づいて前記光軸ズレを調整する場合に、前記拡大領域映像信号の範囲内で、前記光軸ズレに合わせて前記標準映像信号の領域を移動し、この移動分の範囲内に含まれる前記拡大領域映像信号から移動分に相当する前記標準映像信号を抽出し、前記抽出された標準映像信号を出力する映像信号抽出部と、を備える
   映像信号処理装置。
2. 前記第１及び第２のカメラは、被写体を撮像する際に前記第１及び第２のカメラに設定される撮像条件情報を前記映像信号抽出部に送り、
   前記映像信号抽出部は、前記撮像条件情報に基づいて、前記第１及び第２のカメラの光軸のズレに合わせて前記標準映像信号を抽出する
   請求項１記載の映像信号処理装置。
3. 前記映像信号抽出部は、前記有効映像領域に対して垂直方向、水平方向又は回転方向に含まれる前記拡大領域映像信号を切り出して前記標準映像信号を抽出する
   請求項１又は２記載の映像信号処理装置。
4. 前記映像信号抽出部は、前記有効映像領域の垂直方向及び水平方向にフィルタ処理を行い、前記標準映像信号の垂直方向及び水平方向における移動の距離は、前記撮像素子における単位画素未満の長さとする
   請求項１〜３のいずれか１項に記載の映像信号処理装置。
5. 標準映像信号を出力する有効映像領域と、前記有効映像領域より水平及び垂直方向に広い拡大領域を含み、前記有効映像領域から標準映像信号を出力し、前記拡大領域から拡大領域映像信号を出力する撮像素子を有する第１及び第２のカメラが、前記標準映像信号及び前記拡大領域映像信号を伝送する所定の伝送フォーマットにより、前記標準映像信号を伝送すると共に、前記伝送フォーマットの垂直帰線区間と水平帰線区間に前記拡大領域映像信号を重畳して伝送する場合に、映像を表示する表示部に前記標準映像信号及び前記拡大領域映像信号を出力するステップと、
   前記標準映像信号によって前記表示部に表示される映像より、前記第１及び第２のカメラが撮像した映像の光軸ズレを調整する操作信号を出力するステップと、
   前記操作信号に基づいて前記光軸ズレを調整する場合に、前記拡大領域映像信号の範囲内で、前記光軸ズレに合わせて前記標準映像信号の領域を移動し、この移動分の範囲内に含まれる前記拡大領域映像信号から移動分に相当する前記標準映像信号を抽出し、前記抽出された標準映像信号を出力するステップと、を含む
   映像信号処理方法。