JP2011070134A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】構成の複雑化、コスト増を招くことなく、遠／近の何れにあるかを容易かつ精度良く判別でき、ひいては距離推定の時間を短縮できることが可能な撮像装置および画像処理方法を提供する。
【解決手段】非点隔差を発生させる撮像光学系１１と、撮像光学系１１によって結像された撮像画像を電気信号に変換する固体撮像素子１２を有し、画像処理部１３は、画像のボケ量（ＰＳＦの広がり）を検出する機能を含み、画像データに対して撮像光学系の焦点位置から前後それぞれに同量の任意のディフォーカス量に応じた点広がり関数から得られたボケ復元フィルタを用いてフィルタリング処理を施した画像のボケ量を比較することで、画像のピントが焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う。
【選択図】図１

Description

本発明は、車載カメラ、デジタルスチルカメラや携帯端末用小型カメラ等の民生機器、監視カメラや画像検査装置等の産業機器等を含めた電子画像機器システムの単眼測距システムに適用可能な撮像装置および画像処理方法に関するものである。

従来の測距方法として、ＤＦＤ（Depth−From−Defocus）という手法が知られている。
これは２次元画像から奥行き情報を得る方法で、ボケの大きさから結像位置とのズレ量を画像処理で求める。

また、特許文献１には、複数種類の距離に対応した複数のボケ復元フィルタを用意してオートフォーカスをアシストする技術が開示されている。

特開２００８−０３３０６０号公報

しかしながら、上記ＤＦＤの技術では、２つの欠点がある。
第１に、上記技術ではピント位置に対して、前後のボケが同一となった場合、近側なのか遠側なのか区別することができない。
第２に、上記技術では画角の広い車載カメラのような光学系だと被写界深度が深く、距離が変わっても点像強度分布（ＰＳＦ）の差が小さく判別することができない。

また、特許文献１に開示された技術では、機械的なオートフォーカス機構との併用であるため、レンズを駆動させる機構が必要であり、構成の複雑化を招き、また、その分のコストが必要となる、また、駆動部分を要するということは耐衝撃性、耐久性の面からも不利益となる。

本発明は、構成の複雑化、コスト増を招くことなく、遠／近の何れにあるかを容易かつ精度良く判別でき、ひいては距離推定の時間を短縮できることが可能な撮像装置および画像処理方法を提供することにある。

本発明の第１の観点の撮像装置は、非点隔差を発生させる撮像光学系と、前記撮像光学系によって結像された撮像画像を電気信号に変換する光電変換部と、前記光電変換部によって得られた画像データに画像処理を施す画像処理部と、前記撮像光学系の焦点位置を中心に前後のディフォーカス量に応じた点広がり関数（ＰＳＦ）から得られたボケ復元フィルタ群と、前記ボケ復元フィルタ群で前記画像データをフィルタリング処理するフィルタ処理部と、を有し、前記画像処理部は、画像のボケ量（ＰＳＦの広がり）を検出する機能を含み、前記画像データに対して前記撮像光学系の焦点位置から前後それぞれに同量の任意のディフォーカス量に応じた点広がり関数から得られたボケ復元フィルタを用いてフィルタリング処理を施した画像のボケ量を比較することで、画像のピントが前記焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う。

好適には、前記非点隔差によって発生する前記画像のボケ（ＰＳＦ）の形状は前記撮像光学系の焦点位置の前後で何れか一方がサジタル成分が強く、他方がメリジオナル成分が強い。

好適には、前記撮像光学系は、回転非対称な光学特性を発現する光学面または光学素子部を含み、当該光学素子により非点隔差を発生させる。

好適には、前記撮像光学系は、絞りを有し、当該絞りは前記非点隔差を発生させる光学面または光学素子に隣接して配置される。

好適には、前記光学素子は絞りの機能を兼ね備える。

好適には、前記非点隔差を発生させる撮像光学系は、前記光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとし、θをアジマス角としたとき、位相が下記式で表される。
ｚ＝α×（√（ｘ^２＋ｙ^２））^β×ＣＯＳ（２θ）
ただし、αとβは任意の係数とする。

好適には、前記画像処理部は、前記ボケ量の検出を、コントラストまたは所定周波数の振幅相関値によって行う。

好適には、前記画像処理部は、前記ボケ量の検出を、画像内の所定領域に対して行う。

本発明の第２の観点の画像処理方法は、非点隔差を発生させる撮像光学系によって結像された撮像画像の画像データを得る画像データ取得ステップと、前記得られた画像データに画像処理を施す画像処理ステップと、を有し、前記撮像光学系の焦点位置を中心に前後のディフォーカス量に応じた点広がり関数（ＰＳＦ）からボケ復元フィルタ群を得るフィルタ取得ステップと、取得したボケ復元フィルタを用いてフィルタリング処理を施すフィルタリングステップと、フィルタリングを施した画像のボケ量を検出する検出ステップと、検出したボケ量を比較する比較ステップと、上記比較ステップの比較結果により画像のピントが前記焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う推定ステップとを有する。

本発明によれば、構成の複雑化、コスト増を招くことなく、遠／近の何れにあるかを容易かつ精度良く判別でき、ひいては距離推定の時間を短縮できることができる。

本発明の実施形態に係る撮像装置の構成例を示す図である。 本実施形態に係る非点収差発生特殊光学素子を含む撮像光学系（レンズユニット）の基本構成を示す図である。 軸方向を説明するための図である。 撮像光学系の位相の方程式によって表現される面を立体描画した図である。 撮像光学系の位相の方程式の各項について説明するための図である。 通常光学系の中心ディフォーカスＭＴＦを示す図である。 本実施形態に係る撮像光学系のディフォーカスＭＴＦを示す図である。 通常光学系の非点収差カーブと、本実施形態に係る非点収差発生特殊光学素子を用いた光学系の非点収差カーブを示す図である。 本実施形態に係る非点収差発生特殊光学素子を用いた光学系のスポット形状と、通常光学系のスポット形状を示す図である。 通常光学系の距離に応じたＭＴＦの変化を示す図であって、ピント位置のＭＴＦを示す図である。 通常光学系の距離に応じたＭＴＦの変化を示す図であって、近側のＭＴＦを示す図である。 通常光学系の距離に応じたＭＴＦの変化を示す図であって、遠側のＭＴＦを示す図である。 本実施形態に係る非点収差発生特殊光学素子を有する撮像光学系の距離に応じたＭＴＦの変化であって、ピント位置のＭＴＦを示す図である。 本実施形態に係る非点収差発生特殊光学素子を有する撮像光学系の距離に応じたＭＴＦの変化であって、近側のＭＴＦを示す図である。 本実施形態に係る非点収差発生特殊光学素子を有する撮像光学系の距離に応じたＭＴＦの変化であって、遠側のＭＴＦを示す図である。 被写体距離と距離対応フィルタの関係を示す図である。 本実施形態に係る画像処理部の処理例を説明するためのフローチャートである。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明の実施形態に係る撮像装置の構成例を示す図である。

本撮像装置１０は、撮像光学系１１、固体撮像素子１２、画像処理部１３、およびボケ復元フィルタ群１４を有する。

撮像装置１０は、被写体距離推定機能を有し、被写体距離の測定を目的とした特殊面を持つ光学素子を用いることにより、物体距離に応じたＰＳＦの変化から、物体距離の推定を行う機能を有する。
撮像装置１０において、撮像光学系１１に含まれる被写体距離の測定を目的とした非点隔差（本実施形態では収差）を発生させる特殊面形状の光学素子を有する。特殊面が絞りの効果を有する、もしくは絞りに隣接していて、回転非対称な自由曲面を用いることによって近側から遠側までのＰＳＦの変化を制御する。

このように、本撮像装置１０は、距離におけるＰＳＦの変化を制御する。
具体的には、一般的には、アウトフォーカスしていくとＰＳＦが円形に自然にボケていくのに対し、非点隔差を発生させる特殊面を使用した光学系では、アウトフォーカスしていくと、たとえば近側でサジタル成分が強くなり、遠側でメリジオナル成分が強くなる。 よって、特殊面を通った光学系は従来と異なったボケを形成しＰＳＦの変化に応じた被写体距離の推定を容易にすることができる。

本撮像装置１０は、画像のボケ量（ＰＳＦの広がり）を検出する機能を含み、画像データに対して撮像光学系１１の焦点位置から前後それぞれに同量の任意のディフォーカス量に応じた点広がり関数から得られたボケ復元フィルタを用いてフィルタリング処理を施す機能を有する。
撮像装置１０は、フィルタリング処理した複数の画像のボケ量を比較することで、画像のピントが焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う機能を有している。

撮像光学系１１は、上述したように非点収差発生特殊光学素子１１１を含んで構成されている。

図２は、本実施形態に係る非点収差発生特殊光学素子を含む撮像光学系（レンズユニット）の基本構成を示す図である。
撮像光学系１１は、被写体物体ＯＢＪを撮影した像を固体撮像素子１２に供給する。
また、撮像光学系１１は、物体側から順に、第１レンズ１１１、非点収差発生特殊光学素子１１２、第２レンズ１１３、第３レンズ１１４、第４レンズ１１５が配置されている。
本実施形態の撮像光学系１１は、第３レンズ１１４と第４レンズ１１５が接合されている。すなわち、本実施形態の撮像光学系１１のレンズユニットは、接合レンズを含んで構成されている。

非点収差発生特殊光学素子１１２は、特殊面が絞りの効果を有する、もしくは絞りに隣接していて、回転非対称な自由曲面を用いることによって近側から遠側までのＰＳＦの変化を制御する。

この非点隔差（収差）を発生させる撮像光学系は、図２および図３に示すように、光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとし、θをアジマス角としたとき、位相が下記式で表される。
ｚ＝α×（√（ｘ^２＋ｙ^２））^β×ＣＯＳ（２θ）
ただし、αとβは任意の係数とする。

図３は、軸方向を示すものであり、上記方程式は図３の軸のとおりとなる。
図４は、方程式によって表現される面を立体描画した図である。なお、この例では、係数αは０．０１、βは２．０で描写している。

上記式の構成としては、図５に示すように３つの項に分かれる。
まず、非点隔差発生項には、変数が存在しない。非点隔差発生項、言い換えれば余弦項が非点隔差を発生する項となっていて、その他２つの項が実際に非点隔差を制御する項となる。
１つ目の制御項［α］が、測距範囲を決める項で、非点隔差の大小を決める。大きければ、被写体距離に応じて、ＰＳＦの変化が敏感になり、より細かい測距が可能となる。反面大きすぎると、ＰＳＦの形状が異型となり、全体の画像処理にかかる負荷が大きくなる。
次の周波数制御項［β］については、どの周波数のＰＳＦをコントロールするかを決める。値が小さい程、低周波から効果を発生させることができて、値が大きくなればなるほど高周波成分に効果が顕著に現れる。

この撮像光学系１１は、回転非対称な光学特性を発現し、非点収差発生特殊光学素子１１２により非点収差（隔差）を発生させる。

また、非点隔差によって発生する画像のボケ（ＰＳＦ）の形状は撮像光学系１１の焦点位置の前後で何れか一方がサジタル成分が強く、他方がメリジオナル成分が強い。

図６は、通常光学系の中心ディフォーカスＭＴＦを示す図である。
図７は、本実施形態に係る撮像光学系のディフォーカスＭＴＦを示す図である。
図６および図７において、実線がサジタル特性を、破線がメリジオナル特性を示している。

図６（Ａ）および（Ｂ）の通常光学系の中心ＭＴＦは、特徴として、本来サジタルとメリジオナルが揃っている。
図７（Ａ）および（Ｂ）の非点収差発生特殊光学素子１１２を用いた撮像光学系１１の中心ＭＴＦは、特徴としては、サジタルとメリジオナルを分離することができる。
非点隔差が発生すると図７の（Ａ）と（Ｂ）に示すとおりこの非点収差発生特殊光学素子１１２を用いると中心から周辺まで一様に非点隔差を発生させることができる。
ＰＳＦの形状を円形から変えることで、アウトフォーカスしたときの遠近の方向の違いによりサジタル成分、もしくはメリジオナル成分を強くすることによって、距離に対してＰＳＦの感度が強くなる。
さらに、広角になると被写界深度が深く、被写体距離に対してＰＳＦの変化が小さくなるが、この非点収差発生特殊素子を用いると被写体距離に対してＰＳＦの変化が大きくなり被写体距離が推定しやすくなる。

図８（Ａ）および（Ｂ）は、通常光学系の非点収差カーブと、本実施形態に係る非点収差発生特殊光学素子を用いた光学系の非点収差カーブを示す図である。
大きな違いは、一般的には中心はサジタルとメリジオナルが揃っていて周辺にいくにしたがって広がっていく。
周辺だけならＰＳＦの形状で距離を推定することは可能であるが、中心から非点隔差を発生させるには、非点収差発生特殊光学素子が適している。

図９（Ａ）および（Ｂ）は、本実施形態に係る非点収差発生特殊光学素子を用いた光学系のスポット形状と、通常光学系のスポット形状を示す図である。
通常光学系では、スポット形状の距離変化は円形を維持しながらアウトフォーカスするにしたがって大きくなるだけだが、非点収差発生特殊光学素子１１２を用いるとプラス側とマイナス側で形状が異なる。

図１０から図１２は、通常光学系の距離に応じたＭＴＦの変化を示す図である。
図１３から図１５は、本実施形態に係る非点収差発生特殊光学素子を有する撮像光学系の距離に応じたＭＴＦの変化を示す図である。
図１０および図１３は物体距離１２０ｍｍ（ピント位置）のＭＴＦを、図１１および図１４は物体距離１００ｍｍ［近側］のＭＴＦを、図１２および図１５は物体距離１４５ｍｍ［遠側］のＭＴＦを示を示している。

ＭＴＦに関しても、通常光学系ではサジタルとメリジオナルが揃っていて、本実施形態に係る撮像光学系１１では、サジタルとメリジオナルを分離することができる。

このように、本実施形態においては、機械的なオートフォーカス機構を用いない代わりに、回転非対称な光学特性を有して非点隔差を発生させる撮像光学系１１によって、焦点位置の前後でＰＳＦ形状の広がりをサジタル／メリジオナル方向に異ならせることで、まず遠／近の何れにあるかを容易かつ精度良く判別でき、ひいては距離推定の時間を短縮できる。

非点収差発生特殊光学素子１１２を含む光学系１１を介した被写体ＯＢＪからの光が、固体撮像素子１２の撮像面上に結像される。
なお、固体撮像素子１２で撮像される被写体分散像は、非点収差発生特殊光学素子１１２により固体撮像素子１２の像面上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。
固体撮像素子１２は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどの固体撮像素子により形成され、光学系１１を通った被写体ＯＢＪの光学像を受けて画像信号に変換する。
固体撮像素子１２は、図示しないＡ／Ｄ変換部を含み、固体撮像素子１２で得られたアナログ信号をデジタル信号に変換し、デジタル画像信号Ｓ１２を画像処理部１３に出力する。

画像処理部１３は、前段のＡ／Ｄ変換部からくる撮像画像のデジタル信号を入力し、エッジ強調等の画像処理を施し、撮像光学系１１の収差により低下したコントラストを向上させボケた画像を復元し、後段に出力する処理部１３１を有する。
また、画像処理部１３は、物体距離に応じたＰＳＦの変化から、物体距離の推定を行う被写体距離推定装置１３２を有する。

処理部１３１は、画像のボケ量（ＰＳＦの広がり）を検出する機能を含み、画像データに対して撮像光学系１１の焦点位置から前後それぞれに同量の任意のディフォーカス量に応じた点広がり関数から得られたボケ復元フィルタを用いてフィルタリング処理を施す機能を有する。
被写体距離推定装置１３２は、フィルタリング処理した複数の画像のボケ量を比較することで、画像のピントが焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う機能を有している。

画像処理部１３は、ボケ量の検出を、コントラストまたは所定周波数の振幅相関値によって行う。
画像処理部１３は、ボケ量の検出を、画像内の所定領域に対して行う。

図１６は、被写体距離と距離対応フィルタの関係を示す図である。
ボケ復元フィルタ群１４は、被写体距離Ｄに応じた距離対応フィルタｆを含む。
図１６において、符号Ｎは至近（近側）を、Ｆは遠側を示している
距離対応フィルタもピント位置のフィルタをｆ_０として、近側にｆ_Ｎ１、〜ｆ_Ｎｎ、ｆ_Ｎｎ＋１を有し、遠側にｆ_Ｆ１、〜ｆ_Ｆｎ、ｆ_Ｆｎ＋１を有する。

図１７は、本実施形態に係る画像処理部の処理例を説明するためのフローチャートである。

この場合、まず被写体を撮像し（ＳＴ１）、画像処理部１３の処理部１３１は撮像光学系１１の焦点位置から前後それぞれに同量の任意のデフォーカス量に応じた距離対応フィルタｆ_Ｎｎとｆ_Ｆｎによるフィルタリングを行う（ＳＴ２）。
処理部１３１は、フィルタリングの結果のＰＳＦ（コントラスト）の比較を行う（ＳＴ３）。
距離対応フィルタｆ_Ｎｎによるフィルタリング結果のＰＳＦ_Ｎｎが、距離対応フィルタｆ_Ｆｎによるフィルタリング結果のＰＳＦ_Ｆｎより小さい場合、ＰＳＦが最小となる距離対応フィルタｆ_Ｎｎをサーチする（ＳＴ４）。
そのフィルタが距離Ｄ＝Ｎｎに相当するフィルタとして選択し、フィルタｆ_Ｎｎによるフィルタリングを行う（ＳＴ５、ＳＴ６）。
距離対応フィルタｆ_Ｎｎによるフィルタリング結果のＰＳＦ_Ｎｎが、距離対応フィルタｆ_Ｆｎによるフィルタリング結果のＰＳＦ_Ｆｎと等しい場合、そのフィルタが距離Ｄ＝Ｄ_０に相当するフィルタとして選択し、フィルタｆ_０によるフィルタリングを行う（ＳＴ７、ＳＴ８）。
距離対応フィルタｆ_Ｎｎによるフィルタリング結果のＰＳＦ_Ｎｎが、距離対応フィルタｆ_Ｆｎによるフィルタリング結果のＰＳＦ_Ｆｎより大きい場合、ＰＳＦが最小となる距離対応フィルタｆ_Ｆｎをサーチする（ＳＴ９）。
そのフィルタが距離Ｄ＝Ｆｎに相当するフィルタとして選択し、フィルタｆ_Ｆｎによるフィルタリングを行う（ＳＴ１０、ＳＴ１１）。

以上説明したように、本実施形態によれば、非点隔差を発生させる撮像光学系１１と、撮像光学系１１によって結像された撮像画像を電気信号に変換する固体撮像素子１２と、固体撮像素子によって得られた画像データに画像処理を施す画像処理部１３と、を有する。
撮像装置１０は、撮像光学系の焦点位置を中心に前後のディフォーカス量に応じた点広がり関数（ＰＳＦ）から得られたボケ復元フィルタ群と、ボケ復元フィルタ群で前記画像データをフィルタリング処理するフィルタ処理部１３１を有する。
そして、画像処理部１３は、画像のボケ量（ＰＳＦの広がり）を検出する機能を含み、画像データに対して撮像光学系の焦点位置から前後それぞれに同量の任意のディフォーカス量に応じた点広がり関数から得られたボケ復元フィルタを用いてフィルタリング処理を施した画像のボケ量を比較することで、画像のピントが焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う。
したがって、本実施形態によれば、以下の効果を得ることができる。

機械的なオートフォーカス機構を用いない代わりに、回転非対称な光学特性を有して非点隔差を発生させる撮像光学系１１によって、焦点位置の前後でＰＳＦ形状の広がりをサジタル／メリジオナル方向に異ならせることで、まず遠／近の何れにあるかを容易かつ精度良く判別でき、ひいては距離推定の時間を短縮できる。

そして、本実施形態に係る撮像置１０は、車載カメラ、デジタルスチルカメラや携帯端末用小型カメラ等の民生機器、監視カメラや画像検査装置等の産業機器等を含めた電子画像機器システムの単眼測距システムに適用可能である。

１０・・・撮像装置、１１・・・撮像光学系、１４・・・ボケ復元フィルタ、１１１・・・第１レンズ、１１２・・・非点収差発生特殊光学素子、１１３・・・第２レンズ、１１４・・・第３レンズ、１１５・・・第４レンズ、１２・・・固体撮像素子、１３・・・画像処理部、１３１・・・処理部、１３２・・・被写体距離推定装置。

Claims (9)

1. 非点隔差を発生させる撮像光学系と、
   前記撮像光学系によって結像された撮像画像を電気信号に変換する光電変換部と、
   前記光電変換部によって得られた画像データに画像処理を施す画像処理部と、
   前記撮像光学系の焦点位置を中心に前後のディフォーカス量に応じた点広がり関数（ＰＳＦ）から得られたボケ復元フィルタ群と、
   前記ボケ復元フィルタ群で前記画像データをフィルタリング処理するフィルタ処理部と、を有し、
   前記画像処理部は、
   画像のボケ量（ＰＳＦの広がり）を検出する機能を含み、
   前記画像データに対して前記撮像光学系の焦点位置から前後それぞれに同量の任意のディフォーカス量に応じた点広がり関数から得られたボケ復元フィルタを用いてフィルタリング処理を施した画像のボケ量を比較することで、画像のピントが前記焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う
   撮像装置。
2. 前記非点隔差によって発生する前記画像のボケ（ＰＳＦ）の形状は前記撮像光学系の焦点位置の前後で何れか一方がサジタル成分が強く、他方がメリジオナル成分が強い
   請求項１に記載の撮像装置。
3. 前記撮像光学系は、
   回転非対称な光学特性を発現する光学面または光学素子部を含み、当該光学素子により非点隔差を発生させる
   請求項１または２に記載の撮像装置。
4. 前記撮像光学系は、
   絞りを有し、当該絞りは前記非点隔差を発生させる光学面または光学素子に隣接して配置される
   請求項１から３のいずれか一に記載の撮像装置。
5. 前記光学素子は絞りの機能を兼ね備える
   請求項３に記載の撮像装置。
6. 前記非点隔差を発生させる撮像光学系は、
   前記光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとし、θをアジマス角としたとき、位相が下記式で表される
   請求項１から５のいずれか一に記載の撮像装置。
   ｚ＝α×（√（ｘ^２＋ｙ^２））^β×ＣＯＳ（２θ）
   ただし、αとβは任意の係数とする。
7. 前記画像処理部は、
   前記ボケ量の検出を、コントラストまたは所定周波数の振幅相関値によって行う
   請求項１から請求項６のいずれか一に記載の撮像装置。
8. 前記画像処理部は、
   前記ボケ量の検出を、画像内の所定領域に対して行う
   請求項１から請求項７のいずれか一に記載の撮像装置。
   
9. 非点隔差を発生させる撮像光学系によって結像された撮像画像の画像データを得る画像データ取得ステップと、
   前記得られた画像データに画像処理を施す画像処理ステップと、を有し、
   前記撮像光学系の焦点位置を中心に前後のディフォーカス量に応じた点広がり関数（ＰＳＦ）からボケ復元フィルタ群を得るフィルタ取得ステップと、
   取得したボケ復元フィルタを用いてフィルタリング処理を施すフィルタリングステップと、
   フィルタリングを施した画像のボケ量を検出する検出ステップと、
   検出したボケ量を比較する比較ステップと、
   上記比較ステップの比較結果により画像のピントが前記焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う推定ステップと
   を有する画像処理方法。

Images