JP2011244199A - 撮像装置、撮像方法、およびプログラム - Google Patents

Abstract

【課題】撮像画像信号からノイズを除去する。
【解決手段】異なる位置に設けられた複数のレンズで被写体を撮像する撮像装置であって、複数のレンズのそれぞれを介して被写体の画像を撮像して複数の撮像画像信号を生成する撮像部と、複数の撮像画像信号からノイズを除去した複数の実空間画像信号を生成するノイズ除去部とを備え、ノイズ除去部は、複数の撮像画像信号を空間周波数領域の信号に変換して、複数の空間周波数信号を生成する空間周波数信号生成部と、予め定められた空間周波数における複数の空間周波数信号の差を示す差分値を算出する差分算出部と、差分値に基づいて複数の空間周波数信号を補正した複数の補正信号を生成する補正信号生成部と、複数の補正信号を実空間領域の信号に変換して、複数の実空間画像信号を生成する実空間画像信号生成部とを有する撮像装置を提供する。
【選択図】図１

Description

本発明は、撮像装置、撮像方法、およびプログラムに関する。

撮像画像信号データを時間軸方向に一定時間間隔でシフトして順次取り込んだ複数の画像信号データを用いて自己相関値を算出し、当該自己相関値に基づいて、撮像画像信号データに含まれるランダムノイズ成分を検出する方法が特許文献１に記載されている。
特許文献１ 特開２００８−８５７５３号公報

複数のレンズを介して取得した複数の撮像画像信号間に存在する視差を補正する場合に、撮像画像信号にノイズが含まれていると視差の補正処理の精度が低下するので、ノイズを除去する必要がある。撮像画像信号データを時間軸方向にシフトして自己相関値を算出することにより、複数の画像信号データ間での相関が小さい画素をノイズ成分が含まれている画素であると判定することはできる。

しかしながら、定常的に発生しているノイズを含む画素は複数の画像信号データ間での相関が大きいので、当該画素はノイズ成分を含む画素であると判定されない。従って、当該方法により検出することができるノイズはランダムノイズに限られ、定常的に発生しているノイズを検出することができなかった。

上記課題を解決するために、本発明の第１の態様においては、異なる位置に設けられた複数のレンズで被写体を撮像する撮像装置であって、複数のレンズのそれぞれを介して被写体の画像を撮像して複数の撮像画像信号を生成する撮像部と、複数の撮像画像信号からノイズを除去した複数の実空間画像信号を生成するノイズ除去部とを備え、ノイズ除去部は、複数の撮像画像信号を空間周波数領域の信号に変換して、複数の空間周波数信号を生成する空間周波数信号生成部と、予め定められた空間周波数における複数の空間周波数信号の差を示す差分値を算出する差分算出部と、差分値に基づいて複数の空間周波数信号を補正した複数の補正信号を生成する補正信号生成部と、複数の補正信号を実空間領域の信号に変換して、複数の実空間画像信号を生成する実空間画像信号生成部とを有する撮像装置を提供する。

例えば、補正信号生成部は、それぞれの空間周波数ごとに、差分値を予め定められた閾値と比較し、差分値が閾値以上である場合に、複数の空間周波数における空間周波数信号のうち強度が大きな空間周波数信号から差分値を減算して複数の補正信号のうちの一つを生成し、差分値が閾値未満である場合に、複数の空間周波数信号を複数の補正信号とする。

撮像装置は、複数の実空間画像信号に基づいて視差を算出する視差算出部をさらに備えてもよい。視差算出部は、一例として、複数の実空間画像信号から、視差を算出する基準とする基準画像を選択する画像選択部と、複数の実空間画像信号のうち基準画像以外の画像を複数の異なる画素数だけシフトして、シフトしたそれぞれの画素数に対応する複数のシフト画像を生成するシフト画像生成部と、基準画像と複数のシフト画像との相関性を示す値を算出する相関算出部と、複数のシフト画像のうち、相関性を示す値が最小になるシフト画像においてシフトされた画素数に基づいて、基準画像以外の画像の視差を決定する視差決定部とを有する。撮像装置は、視差算出部で算出した視差に基づいて複数の実空間画像信号を補正した複数の視差補正信号を生成する視差補正部と、複数の視差補正信号を合成する画像合成部とをさらに備えてもよい。

また、撮像装置は、複数の撮像画像信号に共通する画像を含む共通画像領域を検出する共通画像領域検出部をさらに備え、空間周波数信号生成部は、複数の撮像画像信号のそれぞれにおける共通画像領域の画像を複数の空間周波数信号に変換してもよい。撮像装置は、複数のレンズと、焦点を合わせた被写体との距離を測定する距離測定部をさらに備え、距離測定部は、測定した距離を示す距離情報をノイズ除去部に入力し、ノイズ除去部は、距離情報が予め定めた値未満である場合に、複数の撮像画像信号を複数の空間周波数信号に変換してノイズを除去し、距離情報が予め定めた値以上である場合に、複数の撮像画像信号を複数の空間周波数信号に変換することなくノイズを除去してもよい。差分算出部は、距離情報が閾値未満である場合に、複数のレンズのうち隣接する複数のレンズに対応する空間周波数信号間の差分値を算出してもよい。

また、撮像装置は、３個以上のレンズを備え、差分算出部は、複数の空間周波数のそれぞれにおける複数の空間周波数信号のうち、複数の空間周波数信号の信号強度の平均値以上の信号強度を有する空間周波数信号の平均値と、複数の空間周波数信号の信号強度の平均値未満の信号強度を有する空間周波数信号の平均値との差分に基づいて差分値を算出してもよい。一例として、撮像装置は、第１のレンズ、第２のレンズ、および第３のレンズを備え、撮像部は、第１のレンズが出力する光が含む赤色の光を透過する赤色フィルタと、第２のレンズが出力する光が含む緑色の光を透過する緑色フィルタと、第３のレンズが出力する光が含む青色の光を透過する青色フィルタとを有し、ノイズ除去部は、赤色フィルタが透過した撮像画像信号からノイズを除去した赤色実空間画像信号、緑色フィルタが透過した撮像画像信号からノイズを除去した緑色実空間画像信号、および、青色フィルタが透過した撮像画像信号からノイズを除去した青色実空間画像信号を生成し、視差補正部は、視差算出部が算出した視差に基づいて、視差補正赤色信号、視差補正緑色信号、および視差補正青色信号を生成し、画像合成部は、視差補正赤色信号、視差補正緑色信号、および視差補正青色信号を合成し、混色信号を生成してもよい。

本発明の第２の態様においては、異なる位置に設けられた複数のレンズで被写体を撮像する撮像方法であって、複数のレンズのそれぞれを介して被写体の画像を撮像して複数の撮像画像信号を生成する段階と、複数の撮像画像信号からノイズを除去した複数の実空間画像信号を生成する段階と、複数の実空間画像信号に基づいて視差を算出する段階とを備え、複数の実空間画像信号を生成する段階においては、複数の撮像画像信号を空間周波数領域の信号に変換して複数の空間周波数信号を生成し、予め定められた空間周波数における複数の空間周波数信号のそれぞれの差を示す差分値を算出し、差分値に基づいて複数の空間周波数信号を補正した複数の補正信号を生成し、複数の補正信号を実空間領域の信号に変換して、複数の実空間画像信号を生成する撮像方法を提供する。

本発明の第３の態様においては、異なる位置に設けられた複数のレンズで被写体を撮像した複数の画像に含まれるノイズをコンピュータに除去させるプログラムであって、コンピュータにより実行されると、コンピュータに、複数のレンズのそれぞれを介して被写体の画像を撮像して生成された複数の撮像画像信号を空間周波数領域の信号に変換させて、複数の空間周波数信号を生成させ、予め定められた空間周波数における複数の空間周波数信号のそれぞれの差を示す差分値を算出させ、差分値に基づいて複数の空間周波数信号を補正した複数の補正信号を生成させ、複数の補正信号を実空間領域の信号に変換して、複数の実空間画像信号を生成させ、複数の実空間画像信号に基づいて視差を算出させるプログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る撮像装置１００の構成を示す。 第１のレンズ１１０を介して生成された第１の撮像画像信号の一例を示す。 第２のレンズ１１２を介して生成された第２の撮像画像信号の一例を示す。 第１の空間周波数信号を示す。 第２の空間周波数信号を示す。 第１の空間周波数信号と第２の空間周波数信号との差分信号を示す。 図４に示した差分値のうち、差分値が閾値ＴＨより大きい空間周波数信号のみを抽出した例を示す。 視差算出部１６０の構成の一例を示す。 基準画像、および基準画像から抽出した画像領域の画像ｉ_ａを示す。 シフト画像、およびシフト画像から抽出した画像領域における画像ｉ_ｂを示す。 図７Ｂに示した画像ｉ_ｂにおけるシフト量と絶対値差分総和との関係の一例を示す。 他の実施態様に係る撮像装置１００の構成を示す。 他の実施態様に係る撮像装置１００の構成を示す。 他の実施態様に係る撮像装置１００の構成を示す。 他の実施態様に係る撮像装置１００の構成を示す。 他の実施態様に係る撮像装置１００の構成を示す。 他の実施形態に係る撮像装置１００を構成するコンピュータ１９００のハードウェア構成の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る撮像装置１００の構成を示す。撮像装置１００は、第１のレンズ１１０、第２のレンズ１１２、撮像部１２０、およびノイズ除去部１４０を備える。ノイズ除去部１４０は、空間周波数信号生成部１４２、差分算出部１４４、補正信号生成部１４６、および実空間画像信号生成部１４８を有する。撮像装置１００は、視差算出部１６０を備えてもよい。

撮像装置１００は、異なる位置に設けられた複数のレンズで被写体を撮像する。具体的には、撮像部１２０は、第１のレンズ１１０および第２のレンズ１１２を介して被写体画像を受けて、複数の撮像画像信号を生成する。撮像部１２０は、生成した複数の撮像画像信号をノイズ除去部１４０に入力する。

ノイズ除去部１４０は、入力された複数の撮像画像信号からノイズを除去した複数の実空間画像信号を生成する。視差算出部１６０は、ノイズが除去された複数の実空間画像信号間の視差を算出する。

図２Ａは、第１のレンズ１１０を介して生成された第１の撮像画像信号の一例を示す。図２Ｂは、第２のレンズ１１２を介して生成された第２の撮像画像信号の一例を示す。図２Ａと図２Ｂとを比較すると、三角形の物体ａの画面における位置に差が生じている。三角形の物体ａは後方の楕円形の物体ｂよりも撮像装置１００の近傍に位置している。その結果、第１の撮像画像信号と、第２の撮像画像信号との間で視差が生じている。

図２Ｂに示す画像は、被写体である物体ａおよび物体ｂの画像のほかに、ノイズに起因する画像を含む。第１の撮像画像信号と第２の撮像画像信号との間の視差を補正する場合には、それぞれの撮像画像信号の対応する位置における画素情報を比較する。ところが、第２の撮像画像信号にノイズが含まれていると、当該画素における比較結果には、視差以外の情報が含まれる。その結果、視差の補正精度が低下する。

そこで、ノイズ除去部１４０は、以下の構成により第２の撮像画像信号に含まれているノイズを除去する。空間周波数信号生成部１４２は、複数の撮像画像信号を空間周波数領域の信号に変換して、複数の空間周波数信号を生成する。例えば、空間周波数信号生成部１４２は、第１の撮像画像信号および第２の撮像画像信号のそれぞれをフーリエ変換することにより、第１の空間周波数信号および第２の空間周波数信号を生成する。

具体的には、水平方向の座標をx、垂直方向の座標をy、水平方向の空間周波数をu、垂直方向の空間周波数をv、第１の撮像画像信号をi₁(x,y)、第２の撮像画像信号をi₂(x,y)とする場合に、第１の空間周波数信号I₁(u,v)および第２の空間周波数信号I₂(u,v)は、

により算出することができる。

差分算出部１４４は、予め定められた空間周波数における複数の空間周波数信号の差を示す差分値を算出する。具体的には、差分算出部１４４は、それぞれの空間周波数uおよびvにおける当該差分値を、

により算出する。差分算出部１４４は、空間周波数ごとに算出した差分値を示す複数の差分信号を出力してもよい。また、差分算出部１４４は、ノイズを除去すべき周波数に応じて、差分値を算出する周波数を決定してもよい。

図３Ａは、第１の空間周波数信号の一例を示す。図３Ｂは、第２の空間周波数信号の一例を示す。図３Ａおよび図３Ｂにおける横軸は空間周波数を示し、縦軸はそれぞれの空間周波数における空間周波数信号の信号強度を示す。信号強度は、測定可能な最大信号強度を１にするべく正規化した値を示している。図３Ｂには、ｆ２１、ｆ２２、およびｆ２３の空間周波数において、図３Ａに存在しない信号が示されている。ｆ２１、ｆ２２、およびｆ２３の空間周波数における信号は、ノイズの信号成分である。

図４は、第１の空間周波数信号と第２の空間周波数信号との差分信号を示す。ｆ２１、ｆ２２、およびｆ２３の空間周波数における信号がノイズ成分として抽出されている。

補正信号生成部１４６は、差分算出部１４４が算出した差分値に基づいて、複数の空間周波数信号を補正した複数の補正信号を生成する。例えば、補正信号生成部１４６は、差分値を算出した空間周波数において、第１の空間周波数信号および第２の空間周波数信号のうち、信号強度が大きい信号から差分値を減算する。例えば、第１の空間周波数信号の強度が第２の空間周波数信号の強度よりも大きい場合には、第１の空間周波数信号から差分値を減算することにより、第１の補正信号を生成する。この場合に、補正信号生成部１４６は、第２の空間周波数信号を第２の補正信号としてもよい。

具体的には、ｆ２１、ｆ２２、およびｆ２３において、図３Ｂに示した第２の空間周波数信号の信号強度は、図３Ａに示した第１の空間周波数信号の信号強度よりも大きい。そこで、補正信号生成部１４６は、ｆ２１、ｆ２２、およびｆ２３のそれぞれの空間周波数ごとに、第２の空間周波数信号から図４に示した差分信号を減ずることにより、第２の空間周波数信号が含むノイズ成分を除去する。

補正信号生成部１４６は、第１の空間周波数信号を第１の補正信号として実空間画像信号生成部１４８に入力する。具体的には、補正信号生成部１４６は、第１の補正信号を、

により生成する。

また、補正信号生成部１４６は、第２の空間周波数信号からノイズ成分を除去した信号を第２の補正信号として実空間画像信号生成部１４８に入力する。具体的には、補正信号生成部１４６は、第２の補正信号を、

により生成する。

実空間画像信号生成部１４８は、補正信号生成部１４６から第１の補正信号および第２の補正信号を取得し、第１の補正信号および第２の補正信号のそれぞれを実空間領域の信号に変換して、複数の実空間画像信号を生成する。例えば、実空間画像信号生成部１４８は、第１の補正信号および第２の補正信号を逆フーリエ変換することによって、第１の実空間画像信号および第２の実空間画像信号を生成する。具体的には、実空間画像信号生成部１４８は、第１の実空間画像信号および第２の実空間画像信号を、以下の演算式により算出することができる。

以上のように、撮像装置１００は、視差が含まれている複数の撮像画像信号からノイズを除去することができる。視差算出部１６０は、ノイズが除去された複数の撮像画像信号を用いて視差を算出することができるので、算出される視差の精度が高まる。

なお、第１の撮像画像信号と第２の撮像画像信号との間に視差がある場合には、ノイズが含まれていない場合であっても、それぞれを空間周波数領域に変換した第１の空間周波数信号および第２の空間周波数信号が同一であるとは限らない。しかし、視差により生じる第１の空間周波数信号と第２の空間周波数信号との差は、ノイズに起因する第１の空間周波数信号と第２の空間周波数信号との差よりも小さいと考えられる。従って、補正信号生成部１４６は、第１の空間周波数信号と第２の空間周波数信号との間の差分値が予め定められた範囲内であれば、その差分はノイズに起因するものではなく、視差に起因すると判断してもよい。

そこで、補正信号生成部１４６は、それぞれの空間周波数ごとに、差分値を予め定められた閾値と比較し、差分値が閾値以上である場合に、複数の空間周波数における空間周波数信号のうち値が大きな空間周波数信号から差分値を減算して補正信号を生成してもよい。また、補正信号生成部１４６は、差分値が閾値未満である場合に、複数の空間周波数信号を補正信号としてもよい。

例えば、補正信号生成部１４６は、閾値を０．３として、差分値が０．３未満である場合には、第１の空間周波数信号および第２の空間周波数信号を補正することなく、それぞれ第１の補正信号および第２の補正信号とする。この場合には、第１の補正信号および第２の補正信号は、以下の通りになる。

これに対して、補正信号生成部１４６は、差分値が０．３以上である場合には、第１の補正信号および第２の補正信号を以下の通りに算出する。

図５は、第１の空間周波数信号と第２空間周波数信号との間に、視差に起因する差がある場合の、それぞれの空間周波数における差分値を示す。ｆ２１、ｆ２２、およびｆ２３以外の空間周波数における差分値は閾値ＴＨよりも小さい。従って、補正信号生成部１４６は、ｆ２１、ｆ２２、およびｆ２３における差分値のみを実空間画像信号生成部１４８に入力する。その結果、実空間画像信号生成部１４８は、視差の影響を受けることなく、ｆ２１、ｆ２２、およびｆ２３において発生しているノイズ成分のみを除去して、実空間画像信号を生成することができる。

図６は、視差算出部１６０の構成の一例を示す。視差算出部１６０は、画像選択部１６２、シフト画像生成部１６４、相関値算出部１６６、および視差決定部１６８を有する。画像選択部１６２は、複数の実空間画像信号から、視差を算出する基準とする基準画像を選択する。画像選択部１６２は、第１の実空間画像信号および第２の実空間画像信号のいずれか一つの画像を選択してよい。画像選択部１６２は、選択した基準画像を相関値算出部１６６に入力する。画像選択部１６２は基準画像として選択しなかった実空間画像信号をシフト画像生成部１６４に入力する。本例においては、画像選択部１６２は、第１の実空間画像信号を基準画像として相関値算出部１６６に入力し、第２の実空間画像信号をシフト画像生成部１６４に入力する。

シフト画像生成部１６４は、複数の実空間画像信号のうち基準画像以外の画像を複数の異なる画素数だけシフトして、シフトしたそれぞれの画素数に対応する複数のシフト画像を生成する。本例において、シフト画像生成部１６４は、画像選択部１６２から取得した第２の実空間画像信号を順次シフトする。シフト画像生成部１６４は、水平方向、垂直方向のいずれの方向にも任意の画素数ずつ第２の実空間画像信号を順次シフトしてよい。例えば、シフト画像生成部１６４は、水平方向に１画素ずつα画素分シフトさせ、垂直方向に１画素ずつβ画素分シフトさせる。この場合には、シフト画像生成部１６４はα×β個のシフトされた実空間画像信号を生成する。

相関値算出部１６６は、画像選択部１６２から取得した基準画像と、シフト画像生成部１６４から取得した複数のシフト画像との相関性を示す値を算出する。相関値算出部１６６は、シフト画像生成部１６４から複数のシフト画像を取得した場合には、それぞれのシフト画像に対して、相関性を示す値を算出する。

相関値算出部１６６は、基準画像およびシフト画像から、それぞれ対応する座標における一部の画像領域を抽出した上で、抽出した画像領域における画像間の絶対値差分総和（ＳＡＤ：Sum of Absolute Differences）を、相関性を示す値としてもよい。具体的には、相関値算出部１６６は、

により相関性を示す値を算出してよい。

図７Ａは、基準画像、および基準画像から抽出した画像領域の画像ｉ_ａを示す。図７Ｂは、シフト画像、およびシフト画像から抽出した画像領域における画像ｉ_ｂを示す。画像ｉ_ａと画像ｉ_ｂとを比較すると、視差の影響により、それぞれの画像は異なっている。

図７Ｂにおけるｉ_ｂ−１、ｉ_ｂ−２、ｉ_ｂ−３、ｉ_ｂ−４は、水平方向にそれぞれｎ（ｎは１、２、３、４）画素分だけ第２の実空間画像信号をシフトして生成したシフト画像において、画像ｉ_ｂと同一の画像領域を抽出した画像である。画素ｉ_ａに最も近い画像は、ｎ＝３の場合の画素ｉ_ｂ−３である。

図８は、図７Ｂに示した画像ｉ_ｂにおけるシフト量と絶対値差分総和との関係の一例を示す。シフト量は、第２の実空間画像信号を水平方向にシフトした画素数を示す。図８においては、シフト量が３の場合に、絶対値差分総和の値が最小である。

相関値算出部１６６は、算出した相関性を示す値を視差決定部１６８に入力する。視差決定部１６８は、複数のシフト画像のうち、相関性を示す値が最小になるシフト画像においてシフトされた画素数に基づいて、基準画像以外の画像の視差を決定する。図８に示す例においては、シフト量が３画素である場合に相関性を示す値が最小になっている。そこで、視差決定部１６８は、例えば、第１の実空間画像信号と第２の実空間画像信号との間に３画素分の視差が含まれていると決定する。なお、図７Ａ、図７Ｂ、および図８の説明においては、水平方向の視差がある場合について説明したが、垂直方向の視差がある場合についても同様にして視差を算出することができる。

図９は、他の実施態様に係る撮像装置１００の構成を示す。図９における撮像装置１００は、図１に示した撮像装置１００に対して、視差補正部１７０および画像合成部１８０をさらに備える。視差補正部１７０は、ノイズ除去部１４０から第１の実空間画像信号および第２の実空間画像信号を取得する。また、視差補正部１７０は、視差算出部１６０から視差を示す視差情報を取得する。視差補正部１７０は、視差算出部１６０で算出した視差に基づいて複数の実空間画像信号を補正した複数の視差補正信号を生成する。

例えば、視差補正部１７０は、複数の実空間画像信号のうち、視差算出部１６０が基準画像としなかった画像を、視差に相当する画像だけシフトさせることにより、視差補正信号を生成する。具体的には、視差が水平方向にα画素分、垂直方向にβ画素分である場合に、視差補正部１７０は、

を演算することにより視差補正信号を算出することができる。

例えば、視差算出部１６０が視差を水平方向に３画素分であると算出した場合には、視差補正部１７０は、視差補正をしない第１の実空間画像信号を第１の視差補正信号として出力する。視差補正部１７０は、第２の実空間画像信号を３画素分だけシフトして第２の視差補正信号を生成し、出力する。

画像合成部１８０は、第１の視差補正信号および第２の視差補正信号を合成する。第１の撮像画像信号および第２の撮像画像信号が、同一の被写体の異なる特徴を含む場合には、第１の視差補正信号および第２の視差補正信号を合成することにより、画像合成部１８０は、それぞれの特徴を含む単一の合成画像を生成することができる。

図１０は、他の実施態様に係る撮像装置１００の構成を示す。図１０に示す撮像装置１００は、図１に示した撮像装置１００に対して共通画像領域検出部１９０をさらに備える。共通画像領域検出部１９０は、複数の撮像画像信号に共通する画像を含む共通画像領域を検出する。例えば、共通画像領域検出部１９０は、第１の撮像画像信号および第２の撮像画像信号に共通して含まれている被写体が含まれる領域を共通画像領域としてよい。共通画像領域検出部１９０は、第１の撮像画像信号および第２の撮像画像信号に共通して含まれている被写体の輪郭を抽出し、抽出した輪郭を含む画像領域を共通画像領域としてもよい。共通画像領域検出部１９０は、第１の撮像画像信号から抽出した第１の共通画像および第２の撮像画像信号から抽出した第２の共通画像を空間周波数信号生成部１４２に入力する。

空間周波数信号生成部１４２は、複数の撮像画像信号のそれぞれにおける共通画像領域の画像を複数の空間周波数信号に変換する。空間周波数信号生成部１４２が第１の共通画像および第２の共通画像を、それぞれ第１の空間周波数信号および第２の空間周波数信号に変換することにより、ノイズ除去部１４０は、第１の撮像画像信号および第２の撮像画像信号のいずれか一方にのみ含まれている被写体の画像をノイズとして誤認することを防ぐことができる。

図１１は、他の実施態様に係る撮像装置１００の構成を示す。図１１に示す撮像装置１００は、図９に示した撮像装置１００に対して距離測定部２００をさらに備える。距離測定部２００は、第１のレンズ１１０および第２のレンズ１１２と、焦点を合わせた被写体との距離を測定する。例えば、距離測定部２００は赤外線を被写体に照射し、被写体から反射光を検出するまでの時間と光速との関係から、被写体までの距離を測定する。

距離測定部２００は、測定した距離を示す距離情報をノイズ除去部１４０に入力する。被写体までの距離が大きい場合には、被写体までの距離が小さい場合に比べて視差が小さい。従って、被写体までの距離が予め定めた大きさ以上の場合には、第１の撮像画像信号および第２の撮像画像信号を実空間領域で比較して差分を算出することにより、ノイズ成分を抽出することができる。

そこで、ノイズ除去部１４０は、距離情報が予め定めた値未満である場合に、第１のレンズ１１０および第２のレンズ１１２で撮像した第１の撮像画像信号および第２の撮像画像信号を第１の空間周波数信号および第２の空間周波数信号に変換した上で、ノイズを除去する。ノイズ除去部１４０は、距離情報が予め定めた値以上である場合には、第１の撮像画像信号および第２の撮像画像信号を第１の空間周波数信号および第２の空間周波数信号に変換しないで、実空間信号で差分比較をすることによってノイズを除去する。以上の処理により、距離が予め定めた量以上である場合に、ノイズ除去部１４０はフーリエ変換することなくノイズを除去することができるので、ノイズ除去に要する時間を短縮することができる。

図１２は、他の実施態様に係る撮像装置１００の構成を示す。図１２に示す撮像装置１００は、図１に示した撮像装置１００に対して、第３のレンズ１１４および距離測定部２００をさらに備える。撮像装置１００は、さらに多くのレンズを備えてもよい。距離測定部２００は、被写体までの距離を測定し、測定した距離を示す距離情報を空間周波数信号生成部１４２に入力する。

第１のレンズ１１０、第２のレンズ１１２、および第３のレンズ１１４は、この順番に配置されている。撮像部１２０は、第１のレンズ１１０を介して第１の撮像画像信号を生成する。撮像部１２０は、第２のレンズ１１２を介して第２の撮像画像信号を生成する。撮像部１２０は、第３のレンズ１１４を介して第３の撮像画像信号を生成する。

第１のレンズ１１０と第３のレンズ１１４との間の距離は、第１のレンズ１１０と第２のレンズ１１２との間の距離、および、第２のレンズ１１２と第３のレンズ１１４との間の距離よりも大きい。従って、第１のレンズ１１０と第３のレンズ１１４との間の視差は、第１のレンズ１１０と第２のレンズ１１２との間の視差、および、第２のレンズ１１２と第３のレンズ１１４との間の視差よりも大きい。

複数の画像間に含まれている視差が小さいほど、複数の画像に基づいて生成した複数の空間周波数信号を比較することによるノイズの検出精度が向上する。そこで、空間周波数信号生成部１４２は、距離に応じて、複数の撮像画像信号から少なくとも２以上の撮像画像信号を選択して複数の空間周波数信号に変換する。

例えば、空間周波数信号生成部１４２は、距離測定部２００から取得した距離情報が閾値以上である場合には、第１の撮像画像信号、第２の撮像画像信号、および第３の撮像画像信号のうち、任意の２つ以上の撮像画像信号をフーリエ変換して、空間周波数信号を生成する。空間周波数信号生成部１４２は、第１の撮像画像信号、第２の撮像画像信号、および第３の撮像画像信号の全てをフーリエ変換して、第１の空間周波数信号、第２の空間周波数信号、および第３の空間周波数信号を生成してもよい。

差分算出部１４４は、空間周波数信号生成部１４２が生成した第１の空間周波数信号、第２の空間周波数信号、および第３の空間周波数信号を受けて、それぞれの空間周波数信号間の差分値を算出する。差分算出部１４４は、最も離れた位置に配置されている第１のレンズ１１０および第３のレンズ１１４に対応する第１の空間周波数信号と第３の空間周波数信号との差分値も算出する。差分算出部１４４が差分値を算出する空間周波数信号の組み合わせが多いほど、ノイズ成分を検出する精度が向上する。

差分算出部１４４は、距離測定部２００から取得した距離情報が閾値未満である場合には、隣接するレンズに対応する空間周波数信号間の差分値を算出する。具体的には、第１の空間周波数信号と第２の空間周波数信号との間の差分値、および第２の空間周波数信号と第３の空間周波数信号間の差分値を算出する。

撮像装置１００が３個以上のレンズを有する場合に、差分算出部１４４は、複数の空間周波数のそれぞれにおける複数の空間周波数信号のうち、複数の空間周波数信号の信号強度の平均値以上の信号強度を有する空間周波数信号の平均値と、複数の空間周波数信号の信号強度の平均値未満の信号強度を有する空間周波数信号の平均値との差分に基づいて差分値を算出してもよい。例えば、差分算出部１４４は、第１の空間周波数信号、第２の空間周波数信号、および第３の空間周波数信号を空間周波数信号生成部１４２から受けた場合に、第１の空間周波数信号、第２の空間周波数信号、および第３の空間周波数信号の平均値を算出する。第１の空間周波数信号および第２の空間周波数信号が当該平均値以上である場合には、差分算出部１４４は、第１の空間周波数信号および第２の空間周波数信号と第３の空間周波数信号との差分を差分値としてよい。

補正信号生成部１４６は、差分算出部１４４が算出した差分値を取得する。補正信号生成部１４６は、複数の空間周波数信号の信号強度の平均値以上の信号強度を有する空間周波数信号のそれぞれから差分値を減算することにより、複数の補正信号を生成してもよい。補正信号生成部１４６は、複数の空間周波数信号の信号強度の平均値未満の信号強度を有する空間周波数信号のそれぞれを、そのまま補正信号としてもよい。

図１３は、他の実施態様に係る撮像装置１００の構成を示す。図１３に示す撮像装置１００は、図９に示した撮像装置１００に対して、第３のレンズ１１４およびメモリ１５０をさらに備える。また、図１３における撮像部１２０は、撮像素子１２２、フィルタ１２４、フィルタ１２６、およびフィルタ１２８を有する。

フィルタ１２４、フィルタ１２６、およびフィルタ１２８は、透過する光の周波数帯域を選択することができるカラーフィルタである。フィルタ１２４、フィルタ１２６、およびフィルタ１２８は、全周波数帯域の信号を透過させる白色透過フィルタとして機能する。フィルタ１２４は、第１のレンズ１１０を介して得られる撮像画像から赤色成分を抽出した赤色信号を撮像素子１２２に入力する赤色透過フィルタとしても機能する。フィルタ１２６は、第２のレンズ１１２介して得られる撮像画像から緑色成分を抽出した緑色信号を撮像素子１２２に入力する緑色透過フィルタとしても機能する。フィルタ１２８は、第３のレンズ１１４介して得られる撮像画像から青色成分を抽出した青色信号を撮像素子１２２に入力する青色透過フィルタとしても機能する。

撮像素子１２２は、光を電気信号に変換する撮像素子である。例えば、撮像素子１２２はＣＣＤである。撮像素子１２２は、フィルタ１２４、フィルタ１２６、およびフィルタ１２８を介して複数の撮像画像信号を生成する。撮像素子１２２は、複数の撮像画像信号をノイズ除去部１４０に入力する。

フィルタ１２４、フィルタ１２６、およびフィルタ１２８は、ノイズを除去するモードにおいては白色透過フィルタとして機能する。ノイズ除去部１４０は、図１２に関連して説明した方法により、ノイズ成分を検出する。ノイズ除去部１４０は、検出したノイズ成分の周波数および信号強度をメモリ１５０に格納する。また、ノイズ除去部１４０は、ノイズ成分を除去した空間周波数信号を逆フーリエ変換して、複数の実空間画像信号を生成し、視差算出部１６０に入力する。視差算出部１６０は、入力された複数の実空間画像信号に基づいて視差を算出し、メモリ１５０に格納する。

フィルタ１２４、フィルタ１２６、およびフィルタ１２８は、画像を生成するモードにおいては、それぞれ赤色透過フィルタ、緑色透過フィルタ、青色透過フィルタとして機能する。撮像素子１２２は、フィルタ１２４、フィルタ１２６、およびフィルタ１２８から取得する赤色信号、緑色信号、青色信号に基づいて、赤色撮像画像信号、緑色撮像画像信号、および青色撮像画像信号を生成して、ノイズ除去部１４０に入力する。

ノイズ除去部１４０は、入力された赤色撮像画像信号、緑色撮像画像信号、および青色撮像画像信号をフーリエ変換して、対応する空間周波数信号を生成する。ノイズ除去部１４０は、メモリに格納されたノイズ成分の周波数および信号強度を読み出して、それぞれの空間周波数信号から、ノイズ成分を除去する。ノイズ除去部１４０は、ノイズ成分を除去した空間周波数信号を逆フーリエ変換して、赤色実空間画像信号、緑色実空間画像信号、および青色実空間画像信号を生成する。

視差補正部１７０は、視差算出部１６０を介して、ノイズ除去部１４０が生成した赤色実空間画像信号、緑色実空間画像信号、および青色実空間画像信号を取得する。視差補正部１７０は、視差算出部１６０がメモリ１５０に格納した視差情報を読み出して、当該視差情報に基づいて赤色実空間画像信号、緑色実空間画像信号、および青色実空間画像信号を補正して、視差補正赤色信号、視差補正緑色信号、および視差補正青色信号を生成する。画像合成部１８０は、視差補正部１７０が生成した視差補正赤色信号、視差補正緑色信号、および視差補正青色信号を合成して、全周波数帯域の信号を含む混色信号を生成する。以上の手順により、撮像装置１００は、視差およびノイズを低減した良好な画像を生成することができる。

図１４は、他の実施形態に係る撮像装置１００を構成するコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を撮像装置１００として機能させるプログラムは、コンピュータ１９００に、複数のレンズのそれぞれを介して被写体の画像を撮像して生成された複数の撮像画像信号を空間周波数領域の信号に変換させて、複数の空間周波数信号を生成させ、予め定められた空間周波数における複数の空間周波数信号のそれぞれの差を示す差分値を算出させ、差分値に基づいて複数の空間周波数信号を補正した複数の補正信号を生成させ、複数の補正信号を実空間領域の信号に変換して、複数の実空間画像を生成させ、複数の実空間画像に基づいて視差を算出させる。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である空間周波数信号生成部１４２、差分算出部１４４、補正信号生成部１４６、実空間画像信号生成部１４８、および視差算出部１６０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の撮像装置１００が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。

このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像装置、１１０ レンズ、１１２ レンズ、１１４ レンズ、１２０ 撮像部、１２２ 撮像素子、１２４ フィルタ、１２６ フィルタ、１２８ フィルタ、１４０ ノイズ除去部、１４２ 空間周波数信号生成部、１４４ 差分算出部、１４６ 補正信号生成部、１４８ 実空間画像信号生成部、１５０ メモリ、１６０ 視差算出部、１６２ 画像選択部、１６４ シフト画像生成部、１６６ 相関値算出部、１６８ 視差決定部、１７０ 視差補正部、１８０ 画像合成部、１９０ 共通画像領域検出部、２００ 距離測定部、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ

Claims (12)

1. 異なる位置に設けられた複数のレンズで被写体を撮像する撮像装置であって、
   前記複数のレンズのそれぞれを介して前記被写体の画像を撮像して複数の撮像画像信号を生成する撮像部と、
   前記複数の撮像画像信号からノイズを除去して複数の実空間画像信号を生成するノイズ除去部と
   を備え、
   前記ノイズ除去部は、
   前記複数の撮像画像信号のそれぞれを空間周波数領域の信号に変換して、複数の空間周波数信号を生成する空間周波数信号生成部と、
   予め定められた空間周波数における前記複数の空間周波数信号の差を示す差分値を算出する差分算出部と、
   前記差分値に基づいて前記複数の空間周波数信号を補正した複数の補正信号を生成する補正信号生成部と、
   前記複数の補正信号を実空間領域の信号に変換して、複数の実空間画像信号を生成する実空間画像信号生成部と
   を有する撮像装置。
2. 前記補正信号生成部は、それぞれの空間周波数ごとに、前記差分値を予め定められた閾値と比較し、
   前記差分値が前記閾値以上である場合に、前記複数の空間周波数における空間周波数信号のうち強度が大きな前記空間周波数信号から前記差分値を減算して前記複数の補正信号のうちの一つを生成し、
   前記差分値が前記閾値未満である場合に、前記複数の空間周波数信号を前記複数の補正信号とする
   請求項１に記載の撮像装置。
3. 前記複数の実空間画像信号間の視差を算出する視差算出部をさらに備え、
   前記視差算出部は、
   前記複数の実空間画像信号から、視差を算出する基準とする基準画像を選択する画像選択部と、
   前記複数の実空間画像信号のうち前記基準画像以外の画像を複数の異なる画素数だけシフトして、シフトしたそれぞれの画素数に対応する複数のシフト画像を生成するシフト画像生成部と、
   前記基準画像と前記複数のシフト画像との相関性を示す値を算出する相関算出部と、
   前記複数のシフト画像のうち、前記相関性を示す値が最小になるシフト画像においてシフトされた画素数に基づいて、前記基準画像以外の画像の視差を決定する視差決定部と
   を有する請求項１または２に記載の撮像装置。
4. 前記視差算出部で算出した視差に基づいて前記複数の実空間画像信号を補正した複数の視差補正信号を生成する視差補正部と、
   前記複数の視差補正信号を合成する画像合成部と
   をさらに備える請求項３に記載の撮像装置。
5. 前記複数の撮像画像信号に共通する画像を含む共通画像領域を検出する共通画像領域検出部をさらに備え、
   前記空間周波数信号生成部は、前記複数の撮像画像信号のそれぞれにおける前記共通画像領域の画像を前記複数の空間周波数信号に変換する請求項１から４のいずれか一項に記載の撮像装置。
6. 前記複数のレンズと、焦点を合わせた前記被写体との距離を測定する距離測定部をさらに備え、
   前記距離測定部は、測定した距離を示す距離情報を前記ノイズ除去部に入力し、
   前記ノイズ除去部は、
   前記距離情報が予め定めた値未満である場合に、前記複数の撮像画像信号を前記複数の空間周波数信号に変換してノイズを除去し、
   前記距離情報が予め定めた値以上である場合に、前記複数の撮像画像信号を前記複数の空間周波数信号に変換することなくノイズを除去する
   請求項１から５のいずれか一項に記載の撮像装置。
7. ３個以上のレンズを備え、
   前記ノイズ除去部は、前記複数の撮像画像信号から前記距離情報に応じて選択した少なくとも２以上の前記複数の撮像画像信号に基づいて、前記複数の撮像画像信号からノイズを除去する請求項６に記載の撮像装置。
8. 前記差分算出部は、距離情報が閾値未満である場合に、前記複数のレンズのうち隣接する複数のレンズに対応する空間周波数信号間の差分値を算出する請求項７に記載の撮像装置。
9. ３個以上のレンズを備え、
   前記差分算出部は、前記複数の空間周波数のそれぞれにおける前記複数の空間周波数信号のうち、前記複数の空間周波数信号の信号強度の平均値以上の信号強度を有する空間周波数信号の平均値と、前記複数の空間周波数信号の信号強度の平均値未満の信号強度を有する空間周波数信号の平均値との差分に基づいて前記差分値を算出する請求項１から８のいずれか一項に記載の撮像装置。
10. 第１のレンズ、第２のレンズ、および第３のレンズを備え、
    前記撮像部は、
    前記第１のレンズが出力する光が含む赤色の光を透過する赤色フィルタと、
    前記第２のレンズが出力する光が含む緑色の光を透過する緑色フィルタと、
    前記第３のレンズが出力する光が含む青色の光を透過する青色フィルタと
    を有し、
    前記ノイズ除去部は、前記赤色フィルタが透過した撮像画像信号からノイズを除去した赤色実空間画像信号、前記緑色フィルタが透過した撮像画像信号からノイズを除去した緑色実空間画像信号、および、前記青色フィルタが透過した撮像画像信号からノイズを除去した青色実空間画像信号を生成し、
    前記視差補正部は、前記視差算出部が算出した視差に基づいて、視差補正赤色信号、視差補正緑色信号、および視差補正青色信号を生成し、
    前記画像合成部は、前記視差補正赤色信号、前記視差補正緑色信号、および前記視差補正青色信号を合成し、混色信号を生成する
    請求項４に記載の撮像装置。
11. 異なる位置に設けられた複数のレンズで被写体を撮像する撮像方法であって、
    前記複数のレンズのそれぞれを介して前記被写体の画像を撮像して複数の撮像画像信号を生成する段階と、
    前記複数の撮像画像信号からノイズを除去した複数の実空間画像信号を生成する段階と、
    を備え、
    前記複数の実空間画像信号を生成する段階においては、
    前記複数の撮像画像信号を空間周波数領域の信号に変換して複数の空間周波数信号を生成し、
    予め定められた空間周波数における前記複数の空間周波数信号のそれぞれの差を示す差分値を算出し、
    前記差分値に基づいて前記複数の空間周波数信号を補正した複数の補正信号を生成し、
    前記複数の補正信号を実空間領域の信号に変換して、複数の実空間画像信号を生成する
    撮像方法。
12. 異なる位置に設けられた複数のレンズで被写体を撮像した複数の画像に含まれるノイズをコンピュータに除去させるプログラムであって、前記コンピュータにより実行されると、
    前記コンピュータに、前記複数のレンズのそれぞれを介して前記被写体の画像を撮像して生成された複数の撮像画像信号を空間周波数領域の信号に変換させて、複数の空間周波数信号を生成させ、
    予め定められた空間周波数における前記複数の空間周波数信号のそれぞれの差を示す差分値を算出させ、
    前記差分値に基づいて前記複数の空間周波数信号を補正した複数の補正信号を生成させ、
    前記複数の補正信号を実空間領域の信号に変換して、複数の実空間画像信号を生成させるプログラム。

Images