JP2012050043A - 信号処理装置、信号処理方法、表示装置及びプログラム - Google Patents

Abstract

【課題】左右画像の位相調整を容易に行うために、左画像及び右画像が単独で表示部に２Ｄ表示される部分を３Ｄ表示される部分とは異なる画像に置き換えて表示する。
【解決手段】信号処理装置１０は、人間の両目の間隔に合わせて配置され、同一の被写体を撮像する２台のカメラから入力する左画像信号及び右画像信号の位相を合わせる位相合せ部４を備える。また、操作部９によって指定された位相の変位量に基づいて、水平方向における左画像信号及び／又は右画像信号の位相を変える位相調整部６を備える。位相調整部６は、左画像信号及び右画像信号によって表示部に表示される左画像及び右画像の両方又はいずれかの画像を、水平方向に所定の距離で移動させて、左画像及び右画像の視差を変えた左画像信号及び右画像信号を出力する。読出し部７は、２Ｄ表示される部分を３Ｄ表示される部分とは異なる画像に置き換えた左画像信号及び／又は右画像信号を出力する。
【選択図】図８

Description

本発明は、例えば、視差を有して配される２台のカメラが同一の被写体を撮像して出力する画像の視差を変える場合に適用して好適な信号処理装置、信号処理方法、表示装置及びプログラムに関する。

従来、ユーザの左右の眼の視差に合わせて設置される２台のカメラが撮像した同一の被写体の画像を用いて、ユーザが立体視することができる３Ｄ画像を生成する技術がある。２台のカメラが撮像した画像は、ユーザの左右の眼に合わせて左画像と右画像（以下、左画像と右画像を「左右画像」とも総称する。）と呼ばれる。ここで、左右画像の色合いや輝度、撮像位置等の設定パラメータが２台のカメラで合っていなければ、３Ｄ画像として正しく表示できない。このため、カメラを操作するユーザは、左右又は上下に並べた２台のモニタ等に左右画像をそれぞれ映し出し、左右画像を比較しながら、設定パラメータを合わせていた。

また、従来、３Ｄ画像を生成し、奥行きの付け方を変更するためには、左右画像が対称となる被写体の位置をずらす修正が必要であった。そして、ユーザは、修正を加えた被写体を撮像した画像を３Ｄモニタに表示して、奥行きの付け方が意図したものであるかどうかを確認していた。

特許文献１には、左右画像を隣り合わせて表示する立体視装置であって、画像を水平移動して立体視位置を設定する技術が開示されている。

特開２００２−１２５２４５号公報

ところで、３Ｄ画像を撮影する際には、３Ｄモニタで視差をシミュレーションした後、左右画像を撮像する２台のカメラが設置されるリグを調整することによって、カメラのメカ的な視差を調整している。ここで、水平方向で互いに反対向きに等距離を移動させた左右画像を表示する機能を３Ｄモニタに持たせることを想定する。このとき、ユーザは、変更対象となる被写体のみ注目するため、３Ｄモニタで被写体を立体視した上で修正効果を確認してから、実際のデータを修正する作業にとりかかっていた。このため、被写体が動くと、その都度リグを調整して、カメラの位置調整を行わなければならず、撮影時間が長くなる要因となっていた。

また、３Ｄ画像を編集する際に、左画像と右画像を重ねて３Ｄモニタに表示する。このとき、左右画像の位置、つまり位相をずらしたい場合がある。位相をずらすと、左右画像のズレ分だけ重なりがない部分、又は、左右画像の重なりが少ない部分が生じる。しかし、ユーザが編集時に画面を確認する場合に、画面上の重なり具合に差があると非常に見にくい場合が多い。例えば、左右画像をずらした分だけ、左画像と右画像が重ならない部分、つまりユーザが３Ｄとして見えない部分が発生してしまう。この場合、同じ画面内に３Ｄ画像と２Ｄ画像が混在するため、ユーザにとっては非常に見づらくなってしまう。

本発明はこのような状況に鑑みて成されたものであり、左右画像の視差調整を容易に行うことを目的とする。

本発明は、人間の両目の間隔に合わせて配置され、同一の被写体を撮像する２台のカメラから入力し、左画像メモリに記憶される左画像信号及び右画像メモリに記憶される右画像信号の位相を合わせる。
次に、操作部によって指定された位相の変位量に基づいて、水平方向における左画像信号及び／又は右画像信号の位相を変える。
次に、左画像信号及び右画像信号によって表示部に表示される左画像及び右画像の両方又はいずれかの画像を、水平方向に所定の距離で移動させて、左画像及び右画像の視差を変えた左画像信号及び右画像信号を出力する。
そして、視差が変えられた左画像及び右画像が重複して３Ｄ表示される部分と左画像及び右画像が単独で表示部に２Ｄ表示される部分のうち、２Ｄ表示される部分を３Ｄ表示される部分とは異なる画像に置き換えた左画像信号及び／又は右画像信号を出力する。

このようにしたことで、表示部に表示される左画像及び右画像の両方又はいずれかの画像を、所定の距離で移動させる場合に、左画像及び右画像の２Ｄ表示される部分を３Ｄ表示される部分とは異ならせて表示することが可能となった。

本発明によれば、左画像信号及び右画像信号によって表示部に表示される左画像及び右画像の両方又はいずれかの画像を、水平方向に所定の距離で移動させて、左画像及び右画像の視差を変えた左画像信号及び右画像信号を出力する。このため、２Ｄ表示される部分に相当する画像の重ならない部分が表示されなくなり、３Ｄ表示される部分だけを認識しやすくなることによって、ユーザは３Ｄ画像を観測しやすくなる。また、画像が重なる部分に相当する３Ｄ表示される部分の範囲は小さくなるが、ユーザが観測しようとする部分は左右画像が重なる部分であるため、実用上有益である。このため、ユーザは、視差が変更された左画像及び右画像が表示される表示部を見ながら、操作部を操作して、視差を変更したことによる画像の立体視における変化を容易に確認することができる。

本発明の一実施の形態における２台のカメラが人間の両目の間隔に合わせて配置される例を示す構成図である。 本発明の一実施の形態における信号処理装置の内部構成例を示すブロック図である。 本発明の一実施の形態における信号処理装置の内部構成例を示すブロック図である。 本発明の一実施の形態における信号処理装置の各部の処理タイミングの例を示すタイミングチャートである。 本発明の一実施の形態における読出し部の内部構成例を示すブロック図である。 本発明の一実施の形態におけるタイミング生成部の内部構成例を示すブロック図である。 本発明の一実施の形態における左右画像の位相の変位量を示す説明図である。 本発明の一実施の形態における３Ｄ表示される部分と、２Ｄ表示される部分の表示を異ならせる例を示す説明図である。 本発明の一実施の形態における左画像信号により２Ｄ表示される部分の表示をマスクする手順の例を示す説明図である。 本発明の一実施の形態における左右画像信号により２Ｄ表示される部分の表示をマスクする手順の例を示す説明図である。 本発明の一実施の形態における左画像信号が反転入力する例を示す説明図である。 本発明の一実施の形態における左右画像信号により２Ｄ表示される部分の表示をマスクする手順の例を示す説明図である。 本発明の一実施の形態における画像データ書込み処理の例を示すフローチャートである。 本発明の一実施の形態における画像データ読出し処理の例を示すフローチャートである。 本発明の一実施の形態における書込みアドレスカウンタの処理の例を示すフローチャートである。 本発明の一実施の形態におけるアドレスサンプリング処理の例を示すフローチャートである。 本発明の一実施の形態における第１のアドレス出力処理の例を示すフローチャートである。 本発明の一実施の形態における比較処理の例を示すフローチャートである。 本発明の一実施の形態における第２のアドレス出力処理の例を示すフローチャートである。 本発明の一実施の形態における読出しアドレスカウンタの処理の例を示すフローチャートである。 本発明の一実施の形態における左右画像信号の読出しを遅らせる制御の例を示すフローチャートである。 本発明の一実施の形態における左右画像の位相差を変更した場合の表示例を示す説明図である。

以下、発明を実施するための最良の形態（以下実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（左右画像信号の出力制御：左右画像の位相を調整する例）

＜１．第１の実施の形態＞
［左右画像の位相を調整する例］

以下、本発明の一実施の形態について、添付図面を参照して説明する。本実施の形態では、左右画像の位相を変えて出力する信号処理装置１０及び信号処理装置１０が使用する信号処理方法に適用した例について説明する。なお、以下の説明では、信号処理装置１０と、３次元画像を表示可能な３次元モニタとしての表示部８を分離した形態に適用した例としているが、信号処理装置１０と表示部８を組み合わせた表示装置に本発明を適用してもよい。

図１は、２台のカメラ１Ｌ，１Ｒが人間の両目の間隔に合わせて配置される例を示す。
図１Ａは、２台のカメラ１Ｌ，１Ｒの配置例を示す。
図１Ｂは、被写体２ａ〜２ｃの見え方の違いの例を示す。

左画像信号を出力するカメラ１Ｌ（左カメラ）と、右画像信号を出力するカメラ１Ｒ（右カメラ）は、人間の両目の間隔に合わせて隣り合わせて配置され、同一の被写体を撮像する。表示部８（後述する図２参照）には、左画像信号が入力すると左画像を表示し、右画像信号が入力すると右画像を表示する。視差は、カメラ１Ｌ，１Ｒの焦点方向の交点を基準面とした場合に、基準面の交点とカメラ１Ｌ，１Ｒとの距離から求めることができる。

ここで、被写体２ｂは、基準面に位置するため、表示部８に表示される画像をユーザが見ても立体視することはできない。しかし、被写体２ａは、基準面に対してカメラ１Ｌ，１Ｒより奥に位置し、奥行き効果により、ユーザは、表示部８に表示される被写体２ａが基準面より奥にあるように見える。一方、被写体２ｃは、基準面に対してカメラ１Ｌ，１Ｒより手前に位置し、飛び出し効果により、ユーザは、表示部８に表示される被写体２ｃが基準面より手間にあるように見える。

２台のカメラの焦点の交点で作る面を基準面として、そこよりも被写体が手前にあると”飛び出し”効果を得て、奥側にあると”奥行き”効果を得ることが出来る。このとき２台のカメラの焦点のズレを”視差”といい、３Ｄ撮影時における重要な値となる。被写体の位置がどこまで来ると３Ｄ画像として破綻するかは、製作者が最も気にする点である。このため、位置関係を含めたカメラ１Ｌ，１Ｒのセッティングに一番時間が掛かっている。

図２は、信号処理装置１０の内部構成例を示す。
信号処理装置１０は、カメラ１Ｌから入力した左画像（左画像信号）を左画像メモリ５Ｌに書込み、カメラ１Ｒから入力した右画像（右画像信号）を右画像メモリ５Ｒに書き込む書込み部３を備える。また、書込み部３から入力した左右画像の書込みタイミングに基づいて、人間の両目の間隔に合わせて配置され、同一の被写体を撮像する２台のカメラ（カメラ１Ｌ，１Ｒ）から入力する左画像信号及び右画像信号の位相を合わせる位相合せ部４を備える。

また、操作部９によって指定された変位量に基づいて、水平方向における左画像信号及び／又は右画像信号の位相を変える位相調整部６を備える。位相調整部６は、左画像信号及び右画像信号によって表示部８に表示される左画像及び右画像の両方又はいずれかの画像を、水平方向に所定の距離で移動させて、左画像及び右画像の視差を変えた左画像信号及び右画像信号を出力する。また、左画像メモリ５Ｌから左画像を読出し、右画像メモリ５Ｒから右画像を読出して、読出した左右画像を表示部８に出力する読出し部７を備える。

本例の左画像メモリ５Ｌと右画像メモリ５Ｒには、デュアルポートＲＡＭ（Random Access Memory）が用いられる。そして、操作部９には、例えば、ロータリースイッチが用いられ、ユーザの入力操作によって、左右画像のうち、移動させる画像を選択したり、移動量を設定したりすることができる。このとき、左画像又は右画像のみ移動させたり、左右画像を同時に移動させたりすることも可能である。

次に、各部の動作を説明する。
カメラ１Ｌ，１Ｒからは、信号処理装置１０に左右画像が入力する。書込み部３は、入力した左右画像を、それぞれ左画像メモリ５Ｌ、右画像メモリ５Ｒに書き込む。合わせて、書込み部３は、信号処理装置１０に入力した左右画像の入力タイミングを位相合せ部４に出力する。

位相合せ部４は、書込み部３から受け取った入力タイミングによって求めた、書込み部３が左画像メモリ５Ｌに左画像を書き込む左画像書込みアドレスを左画像メモリ５Ｌに出力する。同様に、位相合せ部４は、書込み部３が右画像メモリ５Ｒに右画像を書き込む右画像書込みアドレスを右画像メモリ５Ｒに出力する。合わせて、位相合せ部４は、読出し部７が左画像メモリ５Ｌから左画像を読出し、右画像メモリから右画像を読出すために用いる読出し開始アドレスと、後述する等価タイミングを位相調整部６に出力する。

位相調整部６は、位相合せ部４から受け取った読出し開始アドレスに対して、操作部９から操作入力された遅延量を加算したりする。そして、位相調整部６は、読出し部７が左画像メモリ５Ｌから左画像を読出す左画像読出しアドレスと、右画像メモリ５Ｒから右画像を読出す右画像読出しアドレスを求め、これらの左画像読出しアドレスと右画像読出しアドレスを読出し部７に出力する。

読出し部７は、位相調整部６から受け取った左画像読出しアドレスと右画像読出しアドレスに基づいて、左画像メモリ５Ｌから左画像を読出し、右画像メモリ５Ｒから右画像を読出して、表示部８に出力する。このとき、読出し部７は、視差が変えられた左画像及び右画像が重複して表示部に３Ｄ表示される部分と、左画像及び右画像が単独で表示部に２Ｄ表示される部分を認識する。そして、読出し部７は、２Ｄ表示される部分を３Ｄ表示される部分とは異なる画像に置き換えた左画像信号及び／又は右画像信号を出力する。

ここで、カメラ１Ｌ，１Ｒの不図示の撮像素子から左右画像信号が順に読み出された場合に、この左右画像信号が順に信号処理装置１０に入力することを「通常入力」と呼び、この順に表示部８に左右画像信号を出力することを「通常出力」と呼ぶ。一方、カメラ１Ｌ，１Ｒの前方に鏡等が設置されることにより、不図示の撮像素子から順に読み出される左右画像信号による画像が鏡面対称となる場合に、この左右画像信号が順に信号処理装置１０に入力することを「反転入力」と呼ぶ。また、この左右画像信号を反転して通常出力のように出力することを「反転出力」と呼ぶ。

本例の読出し部７は、入力する左画像信号又は右画像信号の位相の進み又は遅れによって表示部の画面に左画像信号又は右画像信号が含まれない部分を他の画像信号に置き換えて出力する。また、カメラ１Ｌ，１Ｒに入力する被写体の像光が互いに反転する場合に、反転入力した左画像信号又は右画像信号の出力を反転した上で、反転された左画像信号又は右画像信号が含まれない部分を他の画像信号に置き換えて出力する機能も有する。そして、表示部８は、左画像メモリ５Ｌから読出された左画像信号及び右画像メモリ５Ｒから読出された右画像信号に基づいて、被写体を３次元表示する３次元モニタである。

図３は、信号処理装置１０の更に詳細な内部構成例を示す。
信号処理装置１０は、左画像信号と右画像信号の位相を調整するため、左画像信号と右画像信号はそれぞれ個別に処理を行う。

図２に示したように、信号処理装置１０は、左画像を保存する左画像メモリ５Ｌを備える。左画像メモリ５Ｌには、左画像信号によって定まる左画像データ（I_LEFT_DATA）と、左画像メモリ５Ｌへの書込みアドレスを指定する左画像書込みアドレス（WR_ADRS_LEFT）が入力される。そして、左画像メモリ５Ｌには、読出し部７が読出す左画像の読出しアドレス（RE_ADRS_LEFT）が入力され、読出し部７によって位相が調整された左画像データ（O_LEFT_DATA）が読出される。

位相合せ部４は、書込み部３が左画像メモリ５Ｌに書き込む左画像信号の書込みアドレスをカウントする左画像書込みアドレスカウンタ１１Ｌを備える。また、位相合せ部４は、書込み部３が右画像メモリ５Ｒに書き込む右画像信号の書込みアドレスをカウントする右画像書込みアドレスカウンタ１１Ｒを備える。左画像書込みアドレスカウンタ１１Ｌは、左画像メモリ５Ｌに書き込む左画像データのアドレスをカウントし、所定の値（例えば、１０ビット（１０２３））を超えると、０にリセットし、再びカウントする処理を繰り返す。この処理は、右画像書込みアドレスカウンタ１１Ｒにおいても同様に行われる。

また、位相合せ部４は、書込みアドレスに基づいて、読出し部７が左画像メモリ５Ｌから左画像信号を読出すための左画像読出し開始アドレスを求める左画像アドレスサンプル部１２Ｌを備える。また、位相合せ部４は、読出し部７が右画像メモリ５Ｒから右画像信号を読出すための右画像読出し開始アドレスを求める右画像アドレスサンプル部１２Ｒを備える。

また、位相合せ部４は、左画像信号の位相の可変量に基づいて決められた固定遅延量及び左画像読出し開始アドレスを加算した左画像加算アドレスを出力する第１の加算部１３Ｌを備える。また、右画像信号の位相の可変量に基づいて決められた固定遅延量及び右画像読出し開始アドレスを加算した右画像加算アドレスを出力する第１の加算部１３Ｒを備える。第１の加算部１３Ｌには、固定遅延量が入力すると共に、左画像アドレスサンプル部１２Ｌから左画像読出し開始アドレス（RE_START_LEFT）が入力する。第１の加算部１３Ｌは、加算した左画像加算アドレス（ADD_ADRS_LEFT）を出力する。この処理は、第１の加算部１３Ｒにおいても同様に行われる。

また、位相合せ部４は、左画像書込みアドレス及び左画像加算アドレスを比較し、左画像書込みアドレスにおける左画像加算アドレスの位置を、左画像信号及び右画像信号の位相が一致する等価タイミングとして出力する比較部１４Ｌを備える。また、位相合せ部４は、右画像書込みアドレス及び右画像加算アドレスを比較し、右画像書込みアドレスにおける右画像加算アドレスの位置を、左画像信号及び右画像信号の位相が一致する等価タイミングとして出力する比較部１４Ｒを備える。比較部１４Ｌは、左画像書込みアドレスカウンタ１１Ｌから入力する左画像書込みアドレス（WR_ADRS_LEFT）と、第１の加算部１３Ｌから入力する左画像加算アドレス（ADD_ADRS_LEFT）を比較する。そして、比較部１４Ｌは、比較結果を出力する。この比較結果を左画像読出しアドレスカウンタ１７Ｌに入力することで、左右画像の位相を合わせることができる。この処理は、比較部１４Ｒにおいても同様に行われる。

左画像アドレスサンプル部１２Ｌには、不図示のタイミングジェネレータから左画像書込みアドレスをサンプリングするためのタイミング信号（I_LEFT_TIMING）が入力される。また、左画像アドレスサンプル部１２Ｌには、左画像書込みアドレスカウンタ１１Ｌから左画像書込みアドレスが入力する。そして、左画像アドレスサンプル部１２Ｌは、サンプルした左画像書込みアドレスに基づいて、位相調整部６に左画像信号の始めの位置を指示する左画像読出し開始アドレス（RE_START_LEFT）を出力する。

位相調整部６は、操作部９の入力操作に基づいて、左画像メモリ５Ｌから読出す左画像信号及び右画像メモリ５Ｒから読出す右画像信号の読出し遅延量を制御する遅延量制御部１５を備える。遅延量制御部１５には、例えば、ＣＰＵ（Central Processing Unit）が用いられる。操作部９は、例えば、ボリュームコントローラからなり、遅延量制御部１５は、ユーザが操作したボリュームコントローラの指示に従って、左画像又は右画像の遅延量を決定する。

また、位相調整部６は、左画像読出し遅延量及び左画像読出し開始アドレスを加算して、左画像メモリ５Ｌから読出す左画像信号の読出し位置を制御する左画像制御アドレスを出力する第２の加算部１６Ｌを備える。また、位相調整部６は、右画像読出し遅延量及び右画像読出し開始アドレスを加算して、右画像メモリ５Ｒから読出す右画像信号の読出し位置を制御する右画像制御アドレスを出力する第２の加算部１６Ｒを備える。

第２の加算部１６Ｌには、遅延量制御部１５から左画像読出し遅延量（RE_LEFT_DELAY）が入力し、左画像アドレスサンプル部１２Ｌから左画像読出し開始アドレス（RE_START_LEFT）が入力する。そして、第２の加算部１６Ｌは、基準アドレスとして用いる左画像読出し開始アドレス（RE_START_LEFT）に、ユーザ操作によって指示された位相変化量として用いる左画像読出し遅延量（RE_LEFT_DELAY）を加算する。そして、この加算した左画像制御アドレス（LEFT ADRS_CONTROL）を出力する。ここで、位相変化量が固定遅延量と等しい場合、左画像の位相は変化しないため、表示部８に表示された左画像は移動しない。この処理は、第２の加算部１６Ｒにおいても同様に行われる。

なお、位相調整部６は、等価タイミング及び左画像制御アドレスに基づいて、読出し部７が左画像メモリ５Ｌから読出す左画像信号の左画像読出しアドレスをカウントする左画像読出しアドレスカウンタ１７Ｌを備える。また、位相調整部６は、等価タイミング及び右画像制御アドレスに基づいて、読出し部７が右画像メモリ５Ｒから読出す右画像信号の右画像読出しアドレスをカウントする右画像読出しアドレスカウンタ１７Ｒを備える。

左画像読出しアドレスカウンタ１７Ｌには、第２の加算部１６Ｌから左画像制御アドレス（LEFT ADRS_CONTROL）が入力し、比較部１４Ｌから比較結果が入力する。そして、左画像読出しアドレスカウンタ１７Ｌは、比較結果に基づいて、読出しを遅らせた遅延量に相当する左画像読出しアドレスを左画像メモリ５Ｌと読出し部７に出力する。これにより、読出し部７は、左画像メモリ５Ｌから所定の遅延量で左画像データ（O_LEFT_DATA）を読出す。この処理は、右画像読出しアドレスカウンタ１７Ｒにおいても同様に行われる。

図４は、各処理部の動作タイミングの例を示す。

図４Ａ〜図４Ｆは、左画像メモリ５Ｌから左画像信号を書込み又は読出す処理のタイミングの例を示す。
図４Ａは、左画像信号の構成例を示す。
左画像信号（I_LEFT_DATA）は、表示部８の画面に表示される期間を示すアクティブ期間（ＡＣＴＩＶＥ）と、画面に表示されない期間を示すブランキング期間（ＢＬＫ）によって構成される。この左画像信号が左画像データとして左画像メモリ５Ｌに書き込まれる。

図４Ｂは、左画像信号の水平ブランキング期間のタイミングを示す。
このタイミングは、図４Ａに示す水平ブランキング期間（ＨＤ）の開始によって定まる。水平ブランキング期間が開始されると、“Ｈ”が立ち上がり、水平ブランキング期間が終了すると“Ｌ”に立ち下がる。

図４Ｃは、左画像信号の立ち上がりエッジタイミング信号の例を示す。
左画像信号の立ち上がりエッジタイミング信号（I_LEFT_TIMING）は、左画像信号の水平ブランキング期間が開始した瞬間に“Ｈ”が立ち上がる。ただし、この“Ｈ”の値は、水平ブランキング期間の開始時のみ立ち上がり、すぐに“Ｌ”に立ち下がる。

図４Ｄは、左画像信号の書込みアドレスを示す。
左画像メモリ５Ｌに左画像信号が書き込まれると、１水平画素毎に書込みアドレスがカウントされる。そして、左画像信号の書込みアドレス（WR_ADRS_LEFT）は、”０”から“１０２３”までカウントアップすると、再び”０”にリセットされてカウントアップする処理を繰り返す。

図４Ｅは、左画像信号の読出し開始アドレスを示す。
書込み部３が左画像メモリ５Ｌに左画像（左画像信号）を書き込む動作に合わせて、左画像書込みアドレスカウンタ１１Ｌが左画像書込みアドレス（WR_ADRS_LEFT）をカウントする。ここで、左画像アドレスサンプル部１２Ｌは、図４Ｃに示した立ち上がりエッジタイミング信号が“Ｈ”となったタイミングにおける、図４Ｄに示した書込みアドレスを左画像読出し開始アドレス（本例では、“５８５”）として取込む。

図４Ｆは、左画像信号の読出しアドレスに固定遅延量を加算した例を示す。
第１の加算部１３Ｌは、図４Ｅに示した左画像読出し開始アドレスに固定遅延量（本例では、“５１２”）を加算する。この結果、左画像読出し開始アドレスは、５８５＋５１２＝１０９７となるが、アドレスは“１０２３までしかカウントできないため、１０９７−１０２３＝７４の値が固定遅延量を加算した左画像読出し開始アドレスとして求まる。

ここで、固定遅延量は、左画像メモリ５Ｌと右画像メモリ５Ｒのメモリサイズによって求まる値である。本例では、固定遅延量を“５１２”としているため、左右画像の１水平ラインが１０２４ピクセルである場合に、半画面である５１２ピクセルまで左右画像をずらすことが可能となる。このため、固定遅延量には、左右画像信号の位相のずれを吸収するだけの変位量と、ユーザが操作部９を用いて位相を変える際の可変量を合わせた値が予め決められる。例えば、可変量を“１０００”とした場合には、固定遅延量は少なくとも“１０００”より大きな値であることが必要となる。

図４Ｇ〜図４Ｋは、右画像メモリ５Ｒから右画像信号を書込み又は読出す処理のタイミングの例を示す。
図４Ｇは、右画像データの構成例を示す。
右画像信号（I_RIGHT_DATA）は、表示部８の画面に表示される期間を示すアクティブ期間（ＡＣＴＩＶＥ）と、画面に表示されない期間を示すブランキング期間（ＢＬＫ）によって構成される。なお、右画像信号と左画像信号は、各カメラ１Ｌ，１Ｒと信号処理装置１０との接続線の長さが、わずかに異なるため、信号処理装置１０に入力するタイミングもわずかに異なる場合がある。このため、信号処理装置１０は、入力した左右画像の位相を合わせる必要がある。

図４Ｈは、右画像信号の水平ブランキング期間のタイミングを示す。
このタイミングは、図４Ｇに示す水平ブランキング期間（ＨＤ）の開始によって定まる。水平ブランキング期間が開始されると、”Ｈ”が立ち上がり、水平ブランキング期間が終了すると”Ｌ”に立ち下がる。

図４Ｉは、右画像信号の立ち上がりエッジタイミング信号の例を示す。
右画像信号の立ち上がりエッジタイミング信号（I_RIGHT_TIMING）は、右画像信号の水平ブランキング期間が開始した瞬間に”Ｈ”が立ち上がり、すぐに”Ｌ”に立ち下がる。

図４Ｊは、右画像信号の書込みアドレスを示す。
右画像メモリ５Ｒに右画像信号が書き込まれると、１水平画素毎に書込みアドレスがカウントされる。そして、右画像信号の書込みアドレス（WR_ADRS_RIGHT）は、”０”から“１０２３”までカウントアップすると、再び”０”にリセットされてカウントアップする処理を繰り返す。

図４Ｋは、右画像信号の読出し開始アドレスを示す。
書込み部３が右画像メモリ５Ｒに右画像（右画像信号）を書き込む動作に合わせて、右画像書込みアドレスカウンタ１１Ｒが右画像書込みアドレス（WR_ADRS_RIGHT）をカウントする。ここで、右画像アドレスサンプル部１２Ｒは、図４Ｉに示した立ち上がりエッジタイミング信号が“Ｈ”となったタイミングにおける、図４Ｊに示した書込みアドレスを右画像読出し開始アドレス（本例では、“４３８”）として取込む。

図４Ｌ〜図４Ｕは、左右画像の位相を調整する処理の例を示す。
図４Ｌは、左画像書込みアドレスと加算後の左画像書込みアドレスが等しくなる等価タイミングを示す。
ここでは、図４Ｄの左画像書込みアドレス（WR_ADRS_LEFT）と、固定遅延量“５１２”を加算した図４Ｆの左画像加算アドレス（ADD_ADRS_LEFT）が等しくなるときに“Ｈ”に立ち上がる等価タイミング（EQ_TIM1）を示している。

図４Ｍは、左画像制御アドレスの例を示す。
左画像制御アドレス（LEFT_ADRS_CONTROL）は、図４Ｅに示す左画像読出し開始アドレス（RE_START_LEFT）を、図４Ｌに示す等価タイミング（EQ_TIM1）に合わせた例を示す。

図４Ｎは、右画像制御アドレスの例を示す。
右画像制御アドレス（RIGHT_ADRS_CONTROL）は、図４Ｋに示す右画像読出し開始アドレス（RE_START_RIGHT）を、図４Ｌに示す等価タイミング（EQ_TIM1）に合わせた例を示す。
なお、図４Ｍに示す左画像制御アドレス（LEFT_ADRS_CONTROL）と、図４Ｎに示す右画像制御アドレス（RIGHT_ADRS_CONTROL）は、共に遅延量制御部１５によって設定される位相の変化量が“０”である。

図４Ｏは、左画像読出しアドレスのアドレス値の例を示す。
図４Ｍに示したように、左画像制御アドレス（LEFT_ADRS_CONTROL）は読出しカウンタを“５８５”から開始する。そして、左画像読出しアドレスカウンタ１７Ｌは、読出しカウンタを“１”ずつカウントアップする。

図４Ｐは、左画像信号の構成例を示す。
左画像信号（O_LEFT_DATA）のブランキング期間の開始位置は、図４Ｌの等価タイミングで示される位置であることが示される。

図４Ｑは、右画像読出しアドレスのアドレス値の例を示す。
図４Ｍに示したように、右画像制御アドレス（RIGHT_ADRS_CONTROL）は読出しカウンタを“４３８”から開始する。そして、右画像読出しアドレスカウンタ１７Ｒは、読出しカウンタを“１”ずつカウントアップする。

図４Ｒは、右画像信号の構成例を示す。
右画像信号（O_RIGHT_DATA）のブランキング期間の開始位置は、図４Ｌの等価タイミングで示される位置であることが示される。
図４Ｐと図４Ｒより、左右画像信号の位相が一致し、ズレが生じていないことが示される。

次に、ユーザが操作部９を操作して左画像信号の位相を変えた場合について説明する。ここでは、位相の変化量が“＋１５０”で設定された例を示す。

図４Ｓは、左画像制御アドレスの例を示す。
左画像制御アドレス（LEFT_ADRS_CONTROL）は、図４Ｅに示す左画像読出し開始アドレス（RE_START_LEFT）を、図４Ｌに示す等価タイミングの位置に合わせた例を示す。本例では、位相の変化量が“＋１５０”に設定されたため、左画像アドレスは、５８５＋１５０＝７３５となる。

図４Ｔは、左画像読出しアドレスのアドレス値の例を示す。
図４Ｓに示したように、左画像制御アドレス（LEFT_ADRS_CONTROL）は読出しカウンタを“７３５”から開始する。そして、読出しカウンタを“１”ずつカウントアップする。

図４Ｕは、左画像信号の構成例を示す。
読出しタイミングが変わったことにより、図４Ｌに示す等価タイミングに対して、左画像信号（O_LEFT_DATA）の出力タイミングが遅れることが示される。

図４Ｖは、マスクタイミングの例を示す。
このマスクタイミングは、読出し部７におけるマスク処理にて画像信号の出力をマスクする場合に用いられる。本例のマスクタイミング（I_HD）は、図４Ｂに示した左画像水平タイミング（LEFT_HD）に対して遅れることが示される。以下の説明では、２Ｄ表示される部分を３Ｄ表示される部分とは異なる画像に置き換えて表示部８に表示することを、「マスク」とも呼ぶ。

図５は、読出し部７の内部構成例を示す。
読出し部７は、表示部８に左画像信号を出力するかマスク信号を出力するかを選択する選択部２１Ｌと、表示部８に右画像信号を出力するかマスク信号を出力するかを選択する選択部２１Ｒを備える。また、読出し部７は、所定のタイミングに基づいて、２Ｄ表示される部分を他の画像に置き換える指示を出力するタイミング生成部２２Ｌ，２２Ｒを備える。タイミング生成部２２Ｌは、左画像信号に基づいて左右画像信号のマスクタイミングを生成し、タイミング生成部２２Ｒは、右画像信号に基づいて左右画像信号のマスクタイミングを生成する。また、選択部２１Ｌ，２１Ｒは、タイミング生成部２２Ｌ，２２Ｒの指示に基づいて、位相調整部６から入力した左画像信号若しくは右画像信号、又は他の画像信号に置き換えるマスク信号を選択して出力する。

また、読出し部７は、タイミング生成部２２Ｌ，２２Ｒから入力するマスクタイミングの論理和をとって、選択部２１Ｌに対して左画像信号の出力タイミングを指示する論理和演算部２３Ｌを備える。また、読出し部７は、タイミング生成部２２Ｌ，２２Ｒから入力するマスクタイミングの論理和をとって、選択部２１Ｒに対して右画像信号の出力タイミングを指示する論理和演算部２３Ｒを備える。

読出し部７において、選択部２１Ｌには、左画像信号とマスク信号が入力し、選択部２１Ｒには、右画像信号とマスク信号が入力する。ここで、選択部２１Ｌ，２１Ｒに入力するマスク信号は共に同じ信号である。選択部２１Ｌ，２１Ｒは、“Ｌ”を選択すると、左右画像信号を出力し、表示部８に左右画像を表示させる。一方、“Ｈ”を選択すると、マスク信号を出力し、左右画像の該当箇所をマスクする。このマスク信号によって、例えば、黒、白、灰等の２Ｄ表示される部分を塗りつぶす色を設定できる。

タイミング生成部２２Ｌ，２２Ｒは、それぞれ入力した左右画像のマスクタイミングに基づいて、左画像をマスクするか、右画像をマスクするかのマスクタイミングを出力する。論理和演算部２３Ｌ，２３Ｒは、タイミング生成部２２Ｌ，２２Ｒから入力するマスクタイミングの論理和をとり、この結果を選択部２１Ｌ，２１Ｒに出力する。これにより、左右画像信号は、マスクされるタイミングが制御される。

図６は、タイミング生成部２２Ｌ，２２Ｒの内部構成例を示す。
タイミング生成部２２Ｌ，２２Ｒは、被写体の像光に応じて読出し部７に通常出力される左画像信号又は右画像信号をマスクするための第１のマスクタイミングを記憶する第１の記憶部２６を備える。また、反転した被写体の像光に応じて反転出力される、左画像信号及び／又は右画像信号をマスクするための第２のマスクタイミングを記憶する第２の記憶部２７を備える。第１の記憶部２６と第２の記憶部２７には、例えば、デュアルポートＲＡＭが用いられる。

また、タイミング生成部２２Ｌ，２２Ｒは、入力した遅延量に基づいて第１の記憶部２６と第２の記憶部２７に左右画像信号のマスクタイミングの書込みアドレスと読出しアドレスを供給するアドレス制御部２５を備える。アドレス制御部２５は、入力する左画像信号及び／又は右画像信号の通常出力又は反転出力に応じて選択される第１の記憶部２６に、第１のマスクタイミングの書込みアドレス及び読出しアドレスを供給する。一方、第２の記憶部２７に第２のマスクタイミングの書込みアドレス及び読出しアドレスを供給する。また、タイミング生成部２２Ｌ，２２Ｒは、左画像をマスクするか、右画像をマスクするかのマスクタイミングを選択する選択部２８を備える。そして、タイミング生成部２２Ｌ，２２Ｒからは、通常出力又は反転出力に応じて選択される第１の記憶部２６又は第２の記憶部２７から第１又は第２のマスクタイミングが読み出される。

また、アドレス制御部２５は、通常出力を基準とした場合における左画像信号及び／又は右画像信号の位相の変化量に応じて、第１の記憶部２６又は第２の記憶部２７に供給する書込みアドレス及び読出しアドレスを変える。ここで、カメラ１Ｌ，１Ｒから通常入力される左画像信号及び右画像信号のマスクタイミングは、第１の記憶部２６に書き込まれる。一方、カメラ１Ｌ，１Ｒから反転入力される左画像信号及び右画像信号のマスクタイミングは、第２の記憶部２７に書き込まれる。第１の記憶部２６と第２の記憶部２７には、共に図４Ｖに示すマスク用ドライブ信号（I_hd）が入力される。そして、アドレス制御部２５から書込みアドレスと読出しアドレスが第１の記憶部２６と第２の記憶部２７に入力される。

第１の記憶部２６と第２の記憶部２７からは、それぞれ左画像信号及び右画像信号をマスクするためのマスクタイミングが読み出される。このマスクタイミングは２種類存在し、自画像信号をマスクすることを示すマスクタイミング（my_mask）と、他画像信号をマスクすることを示すマスクタイミング（u_mask）として出力される。例えば、アドレス制御部２５が、第１の記憶部２６と第２の記憶部２７にそれぞれ書込みアドレスを“100”として書き込んだ場合、読出しアドレスには、この“100”を“+50”した“150”を書き込む。

第１の記憶部２６と第２の記憶部２７にそれぞれ“1”として書き込まれたマスク用ドライブ信号（I_hd）のアドレス値に対して、入力した遅延量に基づく遅延補正を行う。ここで、遅延量が“+10”である場合、第１の記憶部２６から読み出されるマスクタイミングの遅延量も“+10”である。一方、第２の記憶部２６から読み出されるマスクタイミングの遅延量は、“-10”である。

通常入力の場合、自画像信号と他画像信号のマスクする位置は同じである。このため、第１の記憶部２６から読み出されたマスクタイミングは、例えば、右画像に対する左画像をマスクすることを示すマスクタイミング（u_mask）として出力される。同様に、選択部２８が“Ｌ”を選択するため、右画像に自身をマスクすることを示すマスクタイミング（my_mask）として出力される。

反転入力の場合、自画像信号と他画像信号のマスクする位置は異なる。そして、選択部２８に“Ｈ”となった固定値（i_filp）が入力し、選択部２８は、“Ｈ”に切り替わる。このため、第２の記憶部２７から読み出されるマスクタイミングは、例えば、反転出力する右画像信号をマスクすることを示すマスクタイミング（my_mask）が出力される。また、第１の記憶部２６から読み出されたマスクタイミングは、例えば、右画像に対する左画像をマスクすることを示すマスクタイミング（u_mask）として出力される。

図７は、表示部８に表示された左右画像の位相を調整する例を示す。
表示部８には、左画像３１、右画像３３に加えて、左画像３１と右画像３３を重畳した重畳画像３２が表示される。ユーザは、操作部９として用いられるボリュームコントローラを“＋”又は“−”方向に動かして左右画像の位相を調整する。

図７Ａ〜図７Ｅは、左画像３１、右画像３３を水平方向に移動させた場合の見え方の例を示す。
ここで、図中の「第１及び第２の元の位置」とは、左右画像信号の位相を合わせた状態における左右画像の両端の位置を示す。そして、位相調整部６は、操作部９によって指定された位相の変位量又はカメラから入力するメタデータを計算した値を表示部８に表示する制御を行う。「ズーム」とは、カメラのパラメータの一例であり、どのパラメータを可変すれば現在の基準面になるかを示している。本例では、左右画像の移動量が１０ピクセルである場合に、カメラ１Ｌ，１Ｒのズーム設定を現在の設定値に対して“＋３”したときの見え方と同じになることを示す情報が表示部８に表示される。また、パラメータを「距離」として、移動量である１０ピクセルが基準面を手前、または奥側にＸ「ｍ」動くことをユーザーに通知してもよい。

図７Ａは、左画像３１の表示例を示す。
図７Ｂは、右画像３３の表示例を示す。
図７Ｃは、基準面における重畳画像３２のうち、左画像３１だけ移動した際の表示例を示す。
図７Ｄは、基準面における重畳画像３２のうち、右画像３３だけ移動した際の表示例を示す。
図７Ｅは、基準面における重畳画像３２のうち、左画像３１と右画像３３を共に移動した際の表示例を示す。
なお、図７Ｃ〜図７Ｅは、左画像３１と右画像３３の位相が互いに合った状態としている。

図７Ｆ〜図７Ｈは、基準面以外の場所における左画像３１と右画像２を左に移動させた場合の見え方の例を示す。
図７Ｆは、左画像３１を左に移動した際の表示例を示す。
このとき、第１の元の位置より左側には、左画像３１が見える。そして、第２の元の位置の左側には、移動した左画像３１に相当する範囲の右画像３３が見える。

図７Ｇは、右画像３３を左に移動した際の表示例を示す。
このとき、第１の元の位置より左側には、右画像３３が見える。そして、第２の元の位置の左側には、移動した右画像３３に相当する範囲の左画像３１が見える。
図７Ｈは、左画像３１を左に移動し、右画像３３を右に移動した際の表示例を示す。
左画像３１と右画像３３の移動方向は互いに逆であるが、移動量は等しい。このとき、奥行き効果を得ることができ、移動した左画像３１と右画像３３の距離を視差としている。

図７Ｉ〜図７Ｋは、基準面以外の場所における左画像３１と右画像２を右に移動させた場合の見え方の例を示す。
図７Ｉは、左画像３１を右に移動した際の表示例を示す。
このとき、第２の元の位置より右側には、左画像３１が見える。そして、第１の元の位置の右側には、移動した左画像３１に相当する範囲の右画像３３が見える。

図７Ｊは、右画像３３を右に移動した際の表示例を示す。
このとき、第２の元の位置より右側には、右画像３３が見える。そして、第１の元の位置の右側には、移動した右画像３３に相当する範囲の左画像３１が見える。
図７Ｋは、左画像３１を右に移動し、右画像３３を右に移動した際の表示例を示す。
左画像３１と右画像３３の移動方向は互いに逆であるが、移動量は等しい。このとき、飛び出し効果を得ることができ、移動した左画像３１と右画像３３の距離を視差としている。

図８は、３Ｄ表示される部分と、２Ｄ表示される部分の表示を異ならせる例を示す。
図８Ａは、３Ｄ画像を生成する手順を示す。
２台のカメラ１Ｌ，１Ｒから入力する左右画像信号に基づいて左画像３１と右画像３３が表示部８に出力される。表示部８は、左画像３１と右画像３３を１ライン毎、又は１フレーム毎に切り替えて表示するため、重畳画像３２が表示される。

図８Ｂは、図７に示した操作によって左右画像の位相を変えた例を示す。
ここでは、左画像３１を左方向に移動し、右画像３３を右方向に移動したことによって、左画像３１と右画像３３が単独で２Ｄ表示される部分と、左画像３１と右画像３３が重複して３Ｄ表示される部分が存在する。

図８Ｃ〜図８Ｅは、２Ｄ表示される部分を３Ｄ表示される部分とは異なる画像に置き換えて表示部８に表示する例を示す。

図８Ｃは、２Ｄ表示される部分を消して表示した例を示す。
この場合、画像を確認するユーザは、３Ｄ表示される部分がどこであるかを明確に知ることができるため、視認性が高まる。

図８Ｄは、表示部８のベゼルの色（白）に合わせて２Ｄ表示される部分を白色で表示した例を示す。
図８Ｅは、表示部８のベゼルの色（灰）に合わせて２Ｄ表示される部分を灰色で表示した例を示す。
このように、表示部８のベゼルの色（黒、白、灰等）に合わせて２Ｄ表示される部分に表示される画像は、３次元モニタのベゼルの色と同じ色の画像とする。これにより、２Ｄ表示される部分の色が３Ｄ表示される部分の視認性に影響を与えることがない。

図９は、左画像信号により２Ｄ表示される部分の表示をマスクする手順の例を示す。
基本的な手順として、読出し部７は、３Ｄ表示するために重ね合わせる左右画像信号に対してそれぞれマスクタイミングを指示するマスク信号を作り、全てのマスク信号を用いて以下のマスク処理を行う。そして、入力する左右画像信号に対してマスク信号のレベルが“Ｈ”である場合に、黒色などの固定色を表示させるマスク信号を表示部８に出力する。

図９Ａは、入力する左画像信号と表示部８の表示領域の位相が合っている例を示す。
入力する左画像信号と表示部８の画面上に表示される左画像信号の位相が合っており、マスクタイミングは、表示領域の全域にわたって“Ｌ”であるため、画面上に表示される左画像信号にマスクはされない。

図９Ｂは、入力する左画像信号の位相が進んでいる例を示す。
表示部８の表示領域に対して、入力する左画像信号の位相が進んでいるため、実際に表示部８に表示される左画像は、左側に移動する。このとき、表示領域の右端には有効な左画像信号が含まれない部分が存在するため、マスクタイミングが“Ｈ”となって黒色でマスクされる。

図９Ｃは、入力する左画像信号の位相が遅れている例を示す。
表示部８の表示領域に対して、入力する左画像信号の位相が遅れているため、実際に表示部８に表示される左画像は、右側に移動する。このとき、表示領域の左端には有効な左画像信号が含まれない部分が存在するため、マスクタイミングが“Ｈ”となって黒色でマスクされる。

図１０は、左右画像信号により２Ｄ表示される部分の表示をマスクする手順の例を示す。
３Ｄ表示を行うため左右画像信号を処理する場合には、一方の画像信号のマスク位置を他方の画像信号にも適用する必要がある。このため、左右画像信号に用いられるマスク信号の論理和をとることによって、マスクタイミングを生成する。

図１０Ａは、入力する左画像信号の位相が進み、右画像信号の位相が通常である例を示す。
表示部８の表示領域に対して、入力する左画像信号の位相が進んでいるため、実際に表示部８に表示される左画像は、左側に移動する。このとき、表示領域の右端には有効な左画像信号が含まれない部分が存在するため、左画像信号のマスクタイミングが“Ｈ”となって黒色でマスクされる。一方、右画像信号の位相は通常であるが、マスクタイミングに合わせてマスクされると、表示部８に表示される画像は、左右画像が共に右端が黒色でマスクされる。

図１０Ｂは、入力する左画像信号の位相が遅れ、右画像信号の位相が通常である例を示す。
表示部８の表示領域に対して、入力する左画像信号の位相が遅れているため、実際に表示部８に表示される左画像は、右側に移動する。このとき、表示領域の左端には有効な左画像信号が含まれない部分が存在するため、左画像信号のマスクタイミングが“Ｈ”となって黒色でマスクされる。一方、右画像信号の位相は通常であるが、マスクタイミングに合わせてマスクされると、表示部８に表示される画像は、左右画像が共に左端が黒色でマスクされる。

図１０Ｃは、入力する左画像信号の位相が進み、右画像信号の位相が遅れる例を示す。
表示部８の表示領域に対して、入力する左画像信号の位相が進んでいるため、実際に表示部８に表示される左画像は、左側に移動する。一方、入力する右画像信号の位相が遅れているため、実際に表示部８に表示される右画像は、右側に移動する。このとき、表示領域の右端には有効な左画像信号が含まれない部分が存在し、左端には有効な右画像信号が含まれない部分が存在するため、それぞれの有効な画像信号が含まれない部分でマスクタイミングが“Ｈ”となって黒色でマスクされる。これにより、表示部８に表示される画像は、左右画像の左右端が共に黒色でマスクされる。

図１１は、左画像信号が反転入力する例を示す。
３Ｄ画像を編集する場合、カメラ１Ｌ，１Ｒのセッティングによっては、信号処理装置１０に画像の左右が反転した画像信号が入力する場合がある。例えば、カメラ１Ｌの前に反射鏡等が備えられると、通常の向きで撮影された画像に対して反転した画像の画像信号が信号処理装置１０に入力する。このため、マスクタイミングを画像信号の反転入力に対応させた処理を行う必要がある。

図１１Ａは、反転入力する左画像信号と表示部８の表示領域の位相が合っている例を示す。
入力する左画像信号と表示部８の画面上に表示される左画像信号の位相が合っており、マスクタイミングは、表示領域の全域にわたって“Ｌ”であるため、画面上に表示される左画像信号にマスクはされない。

図１１Ｂは、入力する左画像信号の位相が進んでいる例を示す。
表示部８の表示領域に対して、入力する左画像信号の位相が進んでいるため、実際に表示部８に表示される左画像は、左側に移動する。このとき、入力する左画像信号の左橋には、有効な左画像信号が含まれず、この左画像信号を反転した結果、表示領域の右端には有効な左画像信号が含まれない部分が存在するため、マスクタイミングが“Ｈ”となって黒色でマスクされる。

図１１Ｃは、入力する左画像信号の位相が遅れている例を示す。
表示部８の表示領域に対して、入力する左画像信号の位相が遅れているため、実際に表示部８に表示される左画像は、右側に移動する。このとき、入力する左画像信号の右橋には、有効な左画像信号が含まれず、この左画像信号を反転した結果、表示領域の左端には有効な左画像信号が含まれない部分が存在するため、マスクタイミングが“Ｈ”となって黒色でマスクされる。

図１２は、左右画像信号により２Ｄ表示される部分の表示をマスクする手順の例を示す。
一方の画像信号が反転して信号処理装置１０に入力すると、上述した方法でマスクをかけても正しく画像を表示することができない。この場合、一方の画像信号に対するマスクタイミングと他方の画像信号に対するマスクタイミングが異なる。

図１２Ａは、反転入力する左画像信号の位相が進み、右画像信号の位相が通常である場合において、正しくない画面表示をする例を示す。
表示部８の表示領域に対して、反転入力する左画像信号の位相が進んでいるため、左画像信号のマスクタイミングも右側に移動する。一方、通常入力する右画像信号に位相の遅れ等は生じていないため、右画像信号のマスクタイミングは移動しない。この場合、左右画像信号のマスクタイミングの論理和がとられると、このマスクタイミングも右側に従って右画像信号の左端を誤ってマスクしてしまう。しかし、マスクすべき部分は、右画像信号が存在しない表示部８に表示される画像の右端部分である。

図１２Ｂは、反転入力する左画像信号の位相が進み、右画像信号の位相が通常である場合において、正しい画面表示をする例を示す。
反転入力する左画像信号と、左画像信号のマスクタイミングは図１２Ａに示したものと同じである。ここで、左画像信号のマスクタイミングを反転させた上で、このマスクタイミングを右画像信号のマスクタイミングとして渡す。そして、左画像信号のマスクタイミングの論理和と右画像信号のマスクタイミングの論理和を求めると、表示部８に表示される左右画像は共に、マスクするべき部分である右端が黒色でマスクされる。

次に、各部の処理例を説明する。
図１３は、画像データの書込み処理の例を示す。
始めに、書込み部３は、信号処理装置１０に電源がオンされたか否かを判断する（ステップＳ１）。電源がオンされていなければ、電源の入力を待つ。

電源がオンされていれば、書込み部３は、クロックの立上がりエッジであるか否かを判断する（ステップＳ２）。以下の説明において、クロックとは画像信号を処理するために使用するクロックを意味しており、例として立ち上がりエッジで動作する回路を前提にしている。

クロックの立上がりエッジであれば、書込み部３は、以下の処理を行う（ステップＳ３）。すなわち、左画像メモリ５Ｌに左画像データ(I_LEFT_DATA)を左画像の書込み番地（WR_ADRS_LEFT）に保存する。一方、右画像メモリ５Ｒに右画像データ(I_RIGHT_DATA)を右画像の書込み番地（WR_ADRS_RIGHT）に保存する。

図１４は、画像データの読出し処理の例を示す。
始めに、読出し部７は、信号処理装置１０に電源がオンされたか否かを判断する（ステップＳ１１）。電源がオンされていなければ、電源の入力を待つ。

電源がオンされていれば、読出し部７は、クロックの立上がりエッジであるか否かを判断する（ステップＳ１２）。クロックの立上がりエッジでない場合、クロックの立上がりエッジまで待つ。

クロックの立上がりエッジであれば、読出し部７は、以下の処理を行う（ステップＳ１３）。すなわち、左画像メモリ５Ｌから読出し番地（RE_ADRS_LEFT）における左画像データ(I_LEFT_DATA)を読出す。一方、右画像メモリ５Ｒから右画像の読出し番地（RE_ADRS_RIGHT）における右画像データ(I_RIGHT_DATA)を読出す。

図１５は、書込みアドレスカウンタ（左画像書込みアドレスカウンタ１１Ｌと右画像書込みアドレスカウンタ１１Ｒの総称）が行うアドレスカウント処理の例を示す。

始めに、書込みアドレスカウンタは、信号処理装置１０に電源がオンされたか否かを判断する（ステップＳ２１）。電源がオンされていなければ、電源の入力を待つ。

電源がオンされていれば、書込みアドレスカウンタは、クロックの立上がりエッジであるか否かを判断する（ステップＳ２２）。クロックの立上がりエッジでない場合、クロックの立上がりエッジまで待つ。

クロックの立上がりエッジであれば、書込みアドレスカウンタは、以下の処理を行う（ステップＳ２３）。すなわち、左画像書込みアドレスカウンタ１１Ｌは、左画像書込みアドレス（WR_ADRS_LEFT）をカウントアップし、このアドレス値を左画像メモリ５Ｌに出力する。一方、右画像書込みアドレスカウンタ１１Ｒは、右画像書込みアドレス（WR_ADRS_RIGHT）をカウントアップし、このアドレス値を右画像メモリ５Ｒに出力する。

図１６は、アドレスサンプル部（左画像アドレスサンプル部１２Ｌと右画像アドレスサンプル部１２Ｒの総称）が行うアドレスサンプリング処理の例を示す。

始めに、アドレスサンプル部は、信号処理装置１０に電源がオンされたか否かを判断する（ステップＳ３１）。電源がオンされていなければ、電源の入力を待つ。

電源がオンされていれば、アドレスサンプル部は、タイミング（I_LEFT_TIMING又はI_RIGHT_TIMING）が“１”に等しいか否かを判断する（ステップＳ３２）。タイミングが“１”に等しくない場合、アドレスサンプル部は、タイミングが“１”に等しくなるまで待つ。

タイミングが“１”に等しければ、アドレスサンプル部は、クロックの立上がりエッジであるか否かを判断する（ステップＳ３３）。クロックの立上がりエッジでない場合、クロックの立上がりエッジまで待つ。

クロックの立上がりエッジであれば、アドレスサンプル部は、以下の処理を行う（ステップＳ３４）。すなわち、左画像アドレスサンプル部１２Ｌは、左画像書込みアドレス（WR_ADRS_LEFT）のアドレス値を、左画像読出し開始アドレス（RE_START_LEFT）として第２の加算部１６Ｌ，１７Ｌに出力する。一方、右画像アドレスサンプル部１２Ｒは、右画像書込みアドレス（WR_ADRS_RIGHT）のアドレス値を、右画像読出し開始アドレス（RE_START_RIGHT）として第２の加算部１６Ｒと第１の加算部１３Ｒに出力する。

図１７は、第１の加算部（第１の加算部１３Ｌ，１７Ｒを総称する。）が行う第２のアドレス出力処理の例を示す。

始めに、第１の加算部は、信号処理装置１０に電源がオンされたか否かを判断する（ステップＳ４１）。電源がオンされていなければ、電源の入力を待つ。

電源がオンされていれば、第１の加算部は、以下の処理を行う（ステップＳ４２）。すなわち、第１の加算部１３Ｌは、左画像アドレスサンプル部１２Ｌから受け取った左画像読出し開始アドレス（RE_START_LEFT）と、固定遅延量（本例では、“５１２”）を加算する。そして、この加算値を、左画像加算アドレス（ADD_ADRS_LEFT）として左画像読出しアドレスカウンタ１７Ｌに出力する。

一方、第１の加算部１３Ｒは、右画像アドレスサンプル部１２Ｒから受け取った右画像読出し開始アドレス（RE_START_RIGHT）と、固定遅延量を加算する。そして、この加算値を、右画像加算アドレス（ADD_ADRS_RIGHT）として右画像読出しアドレスカウンタ１７Ｒに出力する。

図１８は、比較部（比較部１４Ｌ，１８Ｒを総称する。）が行うアドレス比較処理の例を示す。

始めに、比較部は、信号処理装置１０に電源がオンされたか否かを判断する（ステップＳ５１）。電源がオンされていなければ、電源の入力を待つ。

電源がオンされていれば、比較部は、クロックの立上がりエッジであるか否かを判断する（ステップＳ５２）。クロックの立上がりエッジでない場合、クロックの立上がりエッジまで待つ。

クロックの立上がりエッジであれば、比較部は、以下の処理を行う（ステップＳ５３）。すなわち、比較部１４Ｌは、左画像書込みアドレスカウンタ１１Ｌから入力する左画像書込みアドレス（WR_ADRS_LEFT）と、第１の加算部１３Ｌから入力する左画像加算アドレス（ADD_ADRS_LEFT）を比較する。そして、これらのアドレスが等しければ、比較部は、等価タイミング（EQ_TIM）＝１であると判断し、等しくなければ等価タイミング（EQ_TIM）≠１であると判断する。

一方、比較部１４Ｒは、右画像書込みアドレスカウンタ１１Ｒから入力する右画像書込みアドレス（WR_ADRS_RIGHT）と、第１の加算部１３Ｒから入力する右画像加算アドレス（ADD_ADRS_RIGHT）を比較する。そして、これらのアドレスが等しければ、比較部は、等価タイミング（EQ_TIM）＝１であると判断し、等しくなければ等価タイミング（EQ_TIM）≠１であると判断する。

図１９は、第２の加算部（第２の加算部１６Ｌ，１６Ｒを総称する。）が行う第１のアドレス出力処理の例を示す。

始めに、第２の加算部は、信号処理装置１０に電源がオンされたか否かを判断する（ステップＳ６１）。電源がオンされていなければ、電源の入力を待つ。

電源がオンされていれば、第２の加算部は、以下の処理を行う（ステップＳ６２）。すなわち、第２の加算部１６Ｌは、左画像アドレスサンプル部１２Ｌから受け取った左画像読出し開始アドレス（RE_START_LEFT）と、遅延量制御部１５から受け取った左画像読出し遅延量（RE_LEFT_DELAY）を加算する。そして、この加算値を、左画像制御アドレス値（LEFT_ADRS_CONTROL）として左画像読出しアドレスカウンタ１７Ｌに出力する。

一方、第２の加算部１６Ｒは、右画像アドレスサンプル部１２Ｒから受け取った右画像読出し開始アドレス（RE_START_RIGHT）と、遅延量制御部１５から受け取った右画像読出し遅延量（RE_RIGHT_DELAY）を加算する。そして、この加算値を、右画像制御アドレス値（RIGHT_ADRS_CONTROL）として右画像読出しアドレスカウンタ１７Ｒに出力する。

図２０は、読出しアドレスカウンタ（左画像読出しアドレスカウンタ１７Ｌ，右画像読出しアドレスカウンタ１７Ｒを総称する。）が行う読出しアドレスカウントの例を示す。

始めに、読出しアドレスカウンタは、信号処理装置１０に電源がオンされたか否かを判断する（ステップＳ７１）。電源がオンされていなければ、電源の入力を待つ。

電源がオンされていれば、読出しアドレスカウンタは、クロックの立上がりエッジであるか否かを判断する（ステップＳ７２）。クロックの立上がりエッジでない場合、クロックの立上がりエッジまで待つ。

クロックの立上がりエッジであれば、読出しアドレスカウンタは、等価タイミング（EQ_TIM）＝１であるか否か判断する（ステップＳＳ７３）。等価タイミング（EQ_TIM）＝１である場合、読出しアドレスカウンタは、以下の処理を行う（ステップＳ７４）。すなわち、左画像読出しアドレスカウンタ１７Ｌは、左画像制御アドレス（LEFT ADRS_CONTROL）の値を、左画像読出しアドレス（RE_ADRS_LEFT）として出力する。一方、右画像読出しアドレスカウンタ１７Ｒは、右画像制御アドレス（RIGHT ADRS_CONTROL）の値を、右画像読出しアドレス（RE_ADRS_RIGHT）として出力する。

ステップＳ７３の処理において、等価タイミング（EQ_TIM）≠１である場合、読出しアドレスカウンタは、以下の処理を行う（ステップＳ７５）。すなわち、左画像読出しアドレスカウンタ１７Ｌは、左画像読出しアドレス（RE_ADRS_LEFT）をカウントアップして出力する。一方、右画像読出しアドレスカウンタ１７Ｒは、右画像読出しアドレス（RE_ADRS_RIGHT）をカウントアップして出力する。

図２１は、遅延量制御部１５が行う左右画像信号の読出しを遅らせる制御の例を示す。

始めに、遅延量制御部１５は、信号処理装置１０に電源がオンされたか否かを判断する（ステップＳ８１）。電源がオンされていなければ、電源の入力を待つ。

電源がオンされていれば、遅延量制御部１５は、ユーザが操作部９を用いて、左画像と右画像を水平移動させる操作があったか否かを判別する（ステップＳ８２）。水平移動させる操作がなければ、操作の入力を待つ。

水平移動させる操作があれば、遅延量制御部１５は、ユーザが設定した水平移動操作に応じて、左画像読出し遅延量（RE_LEFT_DELAY）又は右画像読出し遅延量（RE_RIGHT_DELAY）を設定する。そして、設定した読出し遅延量を第２の加算部１６Ｌ，１６Ｒに出力する（ステップＳ８３）。

図２２に、左画像と右画像を水平移動させた場合の表示例を示す。
図２２Ａは修正前の３Ｄモニタ表示を示している。
図２２Ａを２Ｄモニタで表示させたならば、図２２Ｄの様に映る。四角形と円形の２つの被写体が映っていて、３Ｄモニタ表示では左画像３１と右画像３３が映り、両者には視差４１がある。

図２２Ｂは、図２２Ａの四角形で示した被写体のみ、奥行き効果によって遠くに見せようとした場合の結果の３Ｄモニタ表示を示している。このように、視差を広げる修正を加えれば、３Ｄモニタを見るユーザは被写体が画面の奥にあるように感じることができる。ここで問題になるのは、どれくらい視差を広げれば、意図していた奥行き感を出せるか、ということを知るか、ということである。

図２２Ｅに従来の方法を示す。
従来は、遠くにみせたい被写体のデータを修正して図２２Ｅのような表示にしてそれを確認するという作業を行っていた。いちいちデータの修正を行い、その都度確認することになるため、確認作業に時間がかかっていた。

図２２Ｃに、本例での方法を示す。
本例の機能を使い、全ての被写体の視差を広げてしまい、図２２Ｆに示したように、修正を加えたい四角形の被写体のみに着目し、円形の被写体は無視して奥行き効果を確認する。そして、視差量が決まった後に、被写体のデータを修正する。このようにして、ユーザは簡単な操作で実際に奥行き効果を感じた上で適切に被写体のデータを修正できるため、視差を修正する処理を早く終えることができる。

以上説明した本実施の形態に係る信号処理装置１０によれば、２台のカメラ１Ｌ，１Ｒから入力する左右画像信号の位相を制御することにより、表示部８に表示した左右画像に視差を作って３Ｄ効果のシミュレーションを行うことが出来る。このため、ユーザは、操作部９を操作して、視差の変更による画像の変化を容易に確認することができる。このとき、どれほどの視差距離の変更を行えば、意図した効果が出せるか、ということを簡易的に実現できるため、コンテンツ制作時の撮影時間を大幅に短くすることが可能となるという効果がある。

また、表示部８の画面中で、３Ｄ表示される部分と２Ｄ表示される部分を異なる画像で表示することができる。例えば、２Ｄ表示される部分を黒色で表示することによって、左画像又は右画像が３Ｄ表示される部分に混ざらなくなり、ユーザは、３Ｄ表示される部分の確認をしやすくなる。また、表示部８のベゼルの色（黒、白、灰等）に合わせて２Ｄ表示される部分を変えることにより、ユーザが確認しようとする画像のみを際だたせることができる。

また、カメラ１Ｌ，１Ｒに入力する被写体の像光が互いに反転しない場合には、位相の進み又は遅れに応じて生成したマスクタイミングに基づいて左右画像信号のマスクを行う。このため、入力する画像信号の位相の進み又は遅れによらず、表示部８の表示領域に画像信号が含まれない部分をマスクすることができる。

また、カメラ１Ｌ，１Ｒに入力する被写体の像光が互いに反転する場合には、反転入力する画像信号のマスクタイミングを反転して通常入力する画像信号のマスクタイミングとした上で、左右画像信号のマスクタイミングの論理和を求める。そして、このマスクタイミングに基づいて左右画像信号のマスクするべき部分を決定するため、マスク部分を正しく設定して表示部８に３Ｄ画像を表示することができる。

また、画面表示がモニタでの視差値を加えたものである場合、「シミュレーション状態」であることを示す画面表示を行う。表示している画像データに視差メタデータがある場合、それを表示し、加えてシミュレーションで与えた視差値も画面表示する。このため、左右画像の移動量に対する視差の変化を容易に認識しやすくなり、視差を適切に付けることができるという効果がある。

また、ある視差で撮影された左右画像を、後処理としての視差調整を行うための、試験的に簡単な処理で表せて変更後の効果を確認できる。このとき、左右どちらかの画像は不動としてもう片方を水平移動させる場合と、両者を共に水平方向反対向きに移動させてもよい。また、調整という意味合いではなく、ある特定の被写体に対して積極的に撮影時よりも視差を付けたり、減らしたりすることが可能である。

また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、信号処理装置１０に供給してもよい。また、信号処理装置１０が記録媒体に格納されたプログラムコードを読出し実行することによっても、機能が実現されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、信号処理装置１０が読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、信号処理装置１０上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。

また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。

１，１Ｒ…カメラ、２…右画像、２ａ〜２ｃ…被写体、３…書込み部、４…位相合せ部、５Ｌ…左画像メモリ、５Ｒ…右画像メモリ、６…位相調整部、７…読出し部、８…表示部、９…操作部、１０…信号処理装置、１１Ｌ…左画像書込みアドレスカウンタ、１１Ｒ…右画像書込みアドレスカウンタ、１２Ｌ…左画像アドレスサンプル部、１２Ｒ…右画像アドレスサンプル部、１３Ｌ，１３Ｒ…第１の加算部、１４Ｌ，１４Ｒ…比較部、１５…遅延量制御部、１６Ｌ，１６Ｒ…第２の加算部、１７Ｌ…左画像読出しアドレスカウンタ、１７Ｒ…右画像読出しアドレスカウンタ、２１Ｌ，２１Ｒ…選択部、２２Ｌ，２２Ｒ…タイミング生成部、２３Ｌ，２３Ｒ…論理和演算部、２５…アドレス制御部、２６…第１の記憶部、２７…第２の記憶部、２８…選択部

Claims (11)

1. 人間の両目の間隔に合わせて配置され、同一の被写体を撮像する２台のカメラから入力し、左画像メモリに記憶される左画像信号及び右画像メモリに記憶される右画像信号の位相を合わせる位相合せ部と、
   操作部によって指定された位相の変位量に基づいて、水平方向における前記左画像信号及び／又は右画像信号の位相を変えることにより、前記左画像信号及び右画像信号によって表示部に表示される左画像及び右画像の両方又はいずれかの画像を、水平方向に所定の距離で移動させて、前記左画像及び右画像の視差を変えた前記左画像信号及び右画像信号を出力する位相調整部と、
   視差が変えられた前記左画像及び右画像が重複して表示部に３Ｄ表示される部分と、前記左画像及び右画像が単独で表示部に２Ｄ表示される部分のうち、前記２Ｄ表示される部分を前記３Ｄ表示される部分とは異なる画像に置き換えた前記左画像信号及び／又は右画像信号を出力する読出し部と、を備える
   信号処理装置。
2. 前記読出し部は、入力する前記左画像信号又は右画像信号の位相の進み又は遅れによって前記表示部の画面に前記左画像信号又は右画像信号が前記表示部の表示領域に含まれない部分を他の画像信号に置き換えて出力する
   請求項１記載の信号処理装置。
3. 前記読出し部は、前記２台のカメラに入力する前記被写体の像光が互いに反転する場合に、反転入力した前記左画像信号又は右画像信号の出力を反転した上で、反転された前記左画像信号又は右画像信号が前記表示部の表示領域に含まれない部分を他の画像信号に置き換えて出力する
   請求項２記載の信号処理装置。
4. 前記読出し部は、
   所定のタイミングに基づいて、前記２Ｄ表示される部分を他の画像に置き換える指示を出力するタイミング生成部と、
   前記指示に基づいて、前記位相調整部から入力した前記左画像信号若しくは右画像信号、又は前記他の画像信号に置き換えるマスク信号を選択して出力する選択部と、を備える
   請求項３記載の信号処理装置。
5. 前記タイミング生成部は、
   前記被写体の像光に応じて通常入力される前記左画像信号又は右画像信号をマスクするための第１のマスクタイミングを記憶する第１の記憶部と、
   反転した前記被写体の像光に応じて反転入力される、前記左画像信号及び／又は右画像信号をマスクするための第２のマスクタイミングを記憶する第２の記憶部と、
   入力する前記左画像信号及び／又は右画像信号の通常出力又は反転出力に応じて選択される前記第１の記憶部に、前記第１のマスクタイミングの書込みアドレス及び読出しアドレスを供給し、前記第２の記憶部に前記第２のマスクタイミングの書込みアドレス及び読出しアドレスを供給するアドレス制御部と、を備え、
   前記通常出力又は反転出力に応じて選択される前記第１又は第２の記憶部から前記第１又は第２のマスクタイミングが読み出される
   請求項４記載の信号処理装置。
6. 前記アドレス制御部は、前記通常出力を基準とした場合における前記左画像信号及び／又は右画像信号の位相の変化量に応じて、前記第１又は第２の記憶部に供給する書込みアドレス及び読出しアドレスを変える
   請求項５記載の信号処理装置。
7. 前記位相調整部は、前記操作部によって指定された位相の変位量又は前記カメラから入力するメタデータを前記表示部に表示する制御を行う
   請求項６記載の信号処理装置。
8. 前記表示部は、前記左画像メモリから読出された前記左画像信号及び前記右画像メモリから読出された前記右画像信号に基づいて、前記被写体を３次元表示する３次元モニタであって、前記２Ｄ表示される部分に表示される画像は、前記３次元モニタのベゼルの色と同じ色の画像とする
   請求項１〜７のいずれか１項に記載の信号処理装置。
9. 人間の両目の間隔に合わせて配置され、同一の被写体を撮像する２台のカメラから入力し、左画像メモリに記憶される左画像信号及び右画像メモリに記憶される右画像信号の位相を合わせるステップと、
   操作部によって指定された位相の変位量に基づいて、水平方向における前記左画像信号及び／又は右画像信号の位相を変えることにより、前記左画像信号及び右画像信号によって表示部に表示される左画像及び右画像の両方又はいずれかの画像を、水平方向に所定の距離で移動させて、前記左画像及び右画像の視差を変えた前記左画像信号及び右画像信号を出力するステップと、
   視差が変えられた前記左画像及び右画像が重複して表示部に３Ｄ表示される部分と、前記左画像及び右画像が単独で表示部に２Ｄ表示される部分のうち、前記２Ｄ表示される部分を前記３Ｄ表示される部分とは異なる画像に置き換えた前記左画像信号及び／又は右画像信号を出力するステップと、を含む
   信号処理方法。
10. 人間の両目の間隔に合わせて配置され、同一の被写体を撮像する２台のカメラから入力し、左画像メモリに記憶される左画像信号及び右画像メモリに記憶される右画像信号の位相を合わせる位相合せ部と、
    前記左画像信号及び右画像信号によって左画像及び右画像を表示する表示部と、
    操作部によって指定された位相の変位量に基づいて、水平方向における前記左画像信号及び／又は右画像信号の位相を変えることにより、前記左画像及び右画像の両方又はいずれかの画像を、水平方向に所定の距離で移動させて、前記左画像及び右画像の視差を変えた前記左画像信号及び右画像信号を出力する位相調整部と、
    視差が変えられた前記左画像及び右画像が重複して表示部に３Ｄ表示される部分と、前記左画像及び右画像が単独で表示部に２Ｄ表示される部分のうち、前記２Ｄ表示される部分を前記３Ｄ表示される部分とは異なる画像に置き換えた前記左画像信号及び／又は右画像信号を出力する読出し部と、を備える
    表示装置。
11. 人間の両目の間隔に合わせて配置され、同一の被写体を撮像する２台のカメラから入力し、左画像メモリに記憶される左画像信号及び右画像メモリに記憶される右画像信号の位相を合わせる手順、
    操作部によって指定された位相の変位量に基づいて、水平方向における前記左画像信号及び／又は右画像信号の位相を変えることにより、前記左画像信号及び右画像信号によって表示部に表示される左画像及び右画像の両方又はいずれかの画像を、水平方向に所定の距離で移動させて、前記左画像及び右画像の視差を変えた前記左画像信号及び右画像信号を出力する手順と、
    視差が変えられた前記左画像及び右画像が重複して表示部に３Ｄ表示される部分と、前記左画像及び右画像が単独で表示部に２Ｄ表示される部分のうち、前記２Ｄ表示される部分を前記３Ｄ表示される部分とは異なる画像に置き換えた前記左画像信号及び／又は右画像信号を出力する手順を
    コンピュータに実行させるためのプログラム。

Images