JP2012010095A - 撮像装置、画像処理方法 - Google Patents

Abstract

【課題】３次元画像を再現するための視差画像を撮像する場合に、撮像光学系の特性に応じて、照度低下を適切に補正することができる撮像装置及び画像処理方法を提供する。
【解決手段】本発明に係る撮像装置は、光軸間に所定の間隔（ステレオベース）を開けて並列に配置された一対のレンズ系を備え、撮像素子上の一対の撮像領域１０Ｒ及び１０Ｌ上に、視差のある一対の光学像を同時に並べて形成する。撮像素子の画素領域９内には複数のマイクロレンズが設けられ、周辺部のマイクロレンズは、対応する画素の中心から画素領域９の中心方向へとずらして配置されている。画像処理回路は、立体撮像光学系の光線出射角と、各マイクロレンズの最適入射角とのミスマッチに起因してハッチングを付した領域に生じる照度低下を、画像処理により補正する。
【選択図】図２

Description

本発明は、３次元画像を再現するための一対の画像を撮像する撮像装置及びこれによって撮像された画像を処理するための画像処理方法に関する。

近年、３次元画像を表示可能な表示装置が脚光を浴びている。３次元画像の再現方法としては、原理の異なるいくつかの手法が知られているが、左右の目に視差のある画像を提示することによって、立体画像を知覚させる手法が現在主流である。この手法で３次元画像を再現するために用いる画像は、左右の視差（パララックス）のある一対の光学像を同時に形成可能な光学系を用いて撮像される。

特許文献１の図２には、単一の光学系と複数のミラーとを組み合わせて、１つの撮像素子上にステレオ画像を形成できる撮像装置が記載されている。この撮像装置を用いて撮影したステレオ画像からは、視差情報や奥行き情報を求めるために用いる対応点が抽出される。ただし、ステレオ画像光学系を用いた場合でも、通常の光学系を用いた場合と同様に周辺光量低下が発生し、対応点抽出処理に影響する。そこで、特許文献１では、撮影したステレオ画像から対応点を精度良く抽出できるように、対応点探索処理の前に、予め周辺光量低下を補正することが記載されている。

特開２００５−２１６１９１号公報

現在、デジタルカメラが広く普及しているが、レンズ交換式デジタルカメラシステムは、高画質の画像を撮像でき、撮影意図を反映しやすい点で人気を集めている。レンズ交換式カメラシステムの中には、高精細画質で動画を撮影できる機種もあり、レンズ交換式カメラシステムの用途は、従来のように静止画を撮影するにとどまらず、動画撮影にまで広がっている。

そこで、レンズ交換式カメラシステムの静止画及び動画撮影機能を利用して、３次元画像を再現するための視差画像を撮像したいというニーズがある。そのためには、視差画像を撮像可能な光学系を備えた交換レンズ装置があれば良く、例えば、特許文献１に記載のステレオ撮影光学系を利用することが考えられる。ただし、特許文献１の光学系の構成では、レンズ系の他に複数のミラーを必要とするため、交換レンズ装置が大型化しやすく、あまり好ましくない。

ミラーで左右の光学像を分割する他には、所定の間隔（ステレオベース）を開けて並列に配置した一対のレンズ系を用いる手法がある。この場合、ミラーがないことにより交換レンズ装置をコンパクトに構成できるという利点がある。しかしながら、既存のレンズ交換式カメラシステムのカメラ本体は、単一のレンズ系の使用を前提として設計されており、並列配置のレンズ系の出射角と、撮像素子の最適入射角とのミスマッチにより、撮像素子の周辺部以外の部分でも受光量の低下が発生する。この点を以下に説明する。

図３は、レンズ系からの光線出射角と、マイクロレンズアレイの配置とを示す図である。より詳細には、図３（ａ）は、通常のレンズ系（単一のレンズ系）９１の光線出射角と、撮像素子９０の受光面との関係を示す図であり、図３（ｂ）は、並列配置のレンズ系９１ａ及び９１ｂの光線出射角と、撮像素子９０の受光面との関係を示す図である。図３（ｃ）は、図３（ａ）のＡ〜Ｃ部分の拡大図であり、図３（ｄ）は、図３（ｂ）のＡ〜Ｅ部分の拡大図である。図３（ｃ）及び（ｄ）の白抜き矢印は、受光面に対する光の入射方向を示す。

一般に、デジタルカメラに用いられる撮像素子には、受光効率を向上させるために、マイクロレンズアレイが設けられている。また、図３（ｃ）及び（ｄ）に示すように、画素領域の周辺部のマイクロレンズ９３は、対応する画素９４の中心から画素領域の中心方向へとずらして配置され、マイクロレンズ９３の中心と、これに対応する画素９４の中心との距離は、画素領域の中心から周辺部に向かうにつれて大きくなるように設定される。

このようなマイクロレンズの配置を採用することによって、図３（ａ）及び（ｃ）に示すように、通常のレンズ系９０の使用時には、各画素位置において、レンズ系９０から出射される光線の出射角度と、マイクロレンズ９３に対する最適入射角度とを近づけることができ、周辺部における受光光量の低下を抑制することができる。

一方、上述した並列配置のレンズ系９２ａ及び９２ｂを使用した場合、図３（ｂ）及び（ｄ）に示すように、撮像領域の中央部分に入射する光線は、撮像面の法線に対して斜め方向から入射する。したがって、画素領域の中央部分で照度不足が生じる。

それ故に、本発明は、３次元画像を再現するための視差画像を撮像する場合に、撮像光学系の特性に応じて、照度低下を適切に補正することができる撮像装置及び画像処理方法を提供することを目的とする。

本発明は、３次元画像を再現するための一対の画像を撮像する撮像装置に関するものである。本発明の撮像装置は、画素領域内に複数のマイクロレンズを有し、画素領域の周辺部のマイクロレンズが対応する画素の中心から画素領域の中心方向へとずらして配置される１つの撮像素子と、画素領域上の一対の撮像領域のそれぞれに被写体の光学像を形成する一対のレンズ系と、画像処理回路とを備える。画像処理回路は、一対の撮像領域のうち、少なくとも、画素領域の中心に最も近い点を含む一部の領域の照度低下を補正する。

また、本発明は、画素領域内に複数のマイクロレンズを有し、画素領域の周辺部のマイクロレンズが対応する画素の中心から画素領域の中心方向へとずらして配置される１つの撮像素子と、画素領域上の一対の撮像領域のそれぞれに被写体の光学像を形成する一対のレンズ系とを有する撮像装置で撮像された画像を処理する画像処理方法であって、一対の撮像領域のうち、少なくとも、画素領域の中心に最も近い点を含む一部の領域の照度低下を補正する。

本発明によれば、並列に配置される一対のレンズ系を用いて視差画像を撮像する場合でも、照度低下を適切に補正することができる撮像装置及び画像処理方法を実現できる。

本発明に係る撮像装置の概略構成を示すブロック図 立体撮像光学系の使用時に撮像素子上で照度低下が生じる領域を示す模式図 レンズ系からの光線出射角と、マイクロレンズアレイの配置とを示す図

図１は、本発明に係る撮像装置の概略構成を示すブロック図である。

撮像装置１は、立体撮像光学系２と、立体撮像光学系２によって結像される光学像を電気信号に変換する撮像素子３と、撮像素子３から出力された画像に種々の画像処理を施す画像処理回路４と、撮像装置１の各部の動作を制御するためのマイクロコンピュータ５と、撮影画像を記録する画像記録部６と、液晶モニタ等の表示部７と、操作ボタンやスイッチ等の操作部８とを備える。

撮像素子３は、画素領域内に複数のマイクロレンズを備えている。画素領域の周辺部のマイクロレンズは、対応する画素の中心から画素領域の中心方向へとずらして配置され、マイクロレンズの中心と対応する画素の中心との距離は、画素領域の中心から周辺部に向かうにつれて大きくなるように設定されている（図３（ｄ）参照）。以下では、便宜上、このようなマイクロレンズの配置を「シュリンク」という。

立体撮像光学系２は、光軸間に所定の間隔（ステレオベース）を開けて並列に配置された一対のレンズ系を備え、撮像素子４上の一対の撮像領域上に、視差のある一対の光学像を同時に並べて形成する。

尚、レンズ一体型のデジタルカメラのように、図１に示した全構成が一体化されていても良いし、レンズ交換式デジタルカメラシステムのように、立体撮像光学系２と他の部分（カメラ本体）とが別体であっても良い。

図２は、立体撮像光学系の使用時に撮像素子上で照度低下が生じる領域を示す模式図である。図２においては、照度低下量の分布も模式的に示している。図２は、撮像素子の正面から見た図である。

図２において、最も外側の矩形状の枠は、撮像素子の撮像面上の画素領域９を表す。画素領域９内に示された枠は、視差のある一対の画像を撮像するために利用される撮像領域１０Ｒ及び１０Ｌを表す。また、画素領域内でハッチングを付した領域は、照度低下が生じる範囲を表し、等高線状の曲線によって区切られた領域は、照度低下量がほぼ同程度である範囲を表す。中央線上の黒丸は、画素領域９の中心点を表し、点Ｃ_R及びＣ_Lは、撮像領域１０Ｒ及び１０Ｌの中心を表す。更に、図中の一点鎖線は、画素領域９を左右に二分する中央線を表し、破線は、撮像領域１０Ｒ及び１０Ｌの中心Ｃ_R及びＣ_Lと、画素領域９の中心とを結ぶ線分を表す。

上述したように、並列配置のレンズ系を備える立体撮像光学系と、マイクロレンズをシュリンクさせて配置した撮像素子を組み合わせた場合、立体撮像光学系の光線出射角と、各マイクロレンズの最適入射角とのミスマッチにより、画素領域内のハッチングを付した部分で照度不足が生じる。照度低下量は、マイクロレンズの最適入射角と、立体撮像光学系の光線出射角とのずれの大きさに依存する。したがって、照度低下は、幅狭の右上がりのハッチングを付した領域で最も顕著に生じ、中心Ｃ_R及びＣ_Lに向かうにつれて照度低下量が減少する。

そこで、本願発明に係る撮像装置は、立体撮像光学系の使用時に特有の照度低下量の分布に対応して、画像処理により照度低下を補正する。具体的には、画像処理回路は、撮像領域１０Ｒ及び１０Ｌのうち、少なくとも、画素領域に最も近い点（撮像領域１０Ｒ及び１０Ｌを示す枠の短辺と破線との交点）を含む領域１２ａ及び１２ｂの画素から得られた画素値に所定の演算を施して照度低下を補う。画素領域９の中心に近い領域１２ａ及び１２ｂは、通常の（単一の）レンズ系の使用時には照度低下を生じない領域であるが、図２に示すように、立体撮像光学系の使用時には、照度低下量が相対的に大きい領域である。

画像処理回路による照度補正量は、次の通りである。

まず、照度補正量は、補正対象の画素位置が、撮像領域１０Ｒの中心Ｃ_Rから撮像領域１０Ｒの周辺部に向かうにつれて段階的に大きくなるように調整される。撮像領域１０Ｌについても同様に、中心Ｃ_Lから撮像領域１０Ｌの周辺部に向かうにつれて、照度補正量が段階的に大きくなる。すなわち、照度補正量は、右下がりのハッチングを付した領域、右上がりのハッチング（幅広）を付した領域、右上がりのハッチング（幅狭）を付した領域の順に大きい。

次に、撮像領域１０Ｒの中心Ｃ_Rと画素領域９の中心とを結ぶ線分（破線）上で見ると、画素領域９の中心側の画素に対する照度補正量は、撮像領域１０Ｒの中心Ｃ_R側の画素に対する照度補正量より大きい。左側の撮像領域１０Ｌでも同様に、撮像領域１０Ｌの中心Ｃ_Lと画素領域９の中心とを結ぶ線分（破線）上において、画素領域９の中心側の画素に対する照度補正量は、撮像領域１０Ｌの中心Ｃ_L側の画素に対する照度補正量より大きい。

更に、右側の撮像領域１０Ｒの四隅で見ると、画素領域９の中心に近い隅部１３ｂ及び１３ｃに対する照度補正量が、画素領域９のコーナー１１ａ及び１１ｄに近い撮像領域１０Ｒの隅部１３ａ及び１３ｄに対する照度補正量に比べて大きい。左側の撮像領域１０Ｌにおいても同様に、画素領域９の中心に近い隅部１４ｂ及び１４ｃに対する照度補正量が、画素領域９のコーナー１１ｂ及び１１ｃに近い撮像領域１０Ｒの隅部１４ａ及び１４ｄに対する照度補正量に比べて大きい。

また、撮像領域１０Ｒ内において、画像処理回路による照度低下補正の対象となる領域（ハッチングを付した全領域）は、撮像領域１０Ｒの中心Ｃ_Rに対して非対称となる。同様に、撮像領域１０Ｌ内において、画像処理回路による照度低下補正の対象となる画素は、撮像領域１０Ｌの中心Ｃ_Lに対して非対称となる。

更に、画素領域９の全体において、画像処理回路による照度低下補正の対象となる領域（ハッチングを付した全領域）は、画素領域９の中央線（一点鎖線）に対して線対称となる。

本発明の画像処理方法によれば、一対のレンズ系を用いて画素領域上に２つの光学像を同時に形成する場合でも、マイクロレンズ配置と光線入射角との相性が特に悪化する画素領域９の中心部分や、中央線に沿った部分で顕著に生じる照度低下を適切に補正できる。本発明は、レンズ交換式デジタルカメラシステムのカメラ本体のように、３次元画像の撮像専用ではなく、様々な交換レンズ装置の使用が想定されるシステムへの適用が特に有効である。レンズ交換式カメラシステムに本発明の画像処理方法を適用する場合、カメラ本体に内蔵するマイクロコンピュータが交換レンズ装置の種類を認識し、認識結果に応じて画像処理回路で行う画像処理を切り替えれば良い。

本発明に係る照度低下補正は、撮像素子から出力される画像から左右の画像を切り出す前に行っても良いし、撮像素子から出力される画像から左右の画像の切り出しを行い、その後に、切り出した左右の画像に対して行っても良い。

また、本発明に係る照度低下の補正方法は、専用のハードウェアで行っても良いし、汎用のマイクロコンピュータ等を用いたソフトウェア処理で行っても良い。また、本発明に係る照度低下の補正方法は、撮像装置内で行うだけでなく、外部の演算装置で行うことも可能である。例えば、撮像装置では撮影画像をＲＡＷデータで記録しておき、その後、パーソナルコンピュータ等の外部の装置に撮影したＲＡＷデータを取り込み、現像処理を行う際に、図２のハッチングを付した領域に含まれる画素の画素値に対してソフトウェア処理で照度不足を補っても良い。外部の演算装置で照度低下を補正する場合でも、左右の画像の切り出し前及び切り出し後のいずれの段階で補正を行っても良い。

尚、図２では、照度低下量の分布を３段階に区分けして模式的に示したが、必ずしもこのような区分けに基づいて照度補正を行う必要はなく、画素位置毎に最適な照度補正量を設定すれば良い。

本発明は、撮像装置で３次元画像を再現するための視差画像を撮像する撮像装置に利用できる。

１ 撮像装置
２ 立体撮像光学系
３ 撮像素子
４ 画像処理回路
９ 画素領域
１０ 撮像領域
１１ コーナー
１２ 領域
１３、１４ 隅部

Claims (6)

1. ３次元画像を再現するための一対の画像を撮像する撮像装置であって、
   画素領域内に複数のマイクロレンズを有し、前記画素領域の周辺部のマイクロレンズが対応する画素の中心から前記画素領域の中心方向へとずらして配置される１つの撮像素子と、
   前記画素領域上の一対の撮像領域のそれぞれに被写体の光学像を形成する一対のレンズ系と、
   画像処理回路とを備え、
   前記画像処理回路は、前記一対の撮像領域のうち、少なくとも、前記画素領域の中心に最も近い点を含む一部の領域の照度低下を補正する、撮像装置。
2. 前記画像処理回路による照度補正量は、前記撮像領域の中心と画素領域の中心とを結ぶ線分上において、前記撮像領域の中心より、前記画素領域の中心側で大きい、請求項１に記載の撮像装置。
3. 各前記撮像領域内において、前記画像処理回路によって照度低下が補正される領域は、前記撮像領域の中心に対して点対称ではない、請求項１に記載の撮像装置。
4. 前記画像処理回路による照度補正量は、前記画素領域のコーナーに近い前記撮像領域の隅部より、前記画素領域の中心に近い前記撮像領域の隅部で大きい、請求項１に記載の撮像装置。
5. 前記画像処理回路によって照度低下が補正される領域は、前記画素領域を前記レンズ系の並列方向に二分する中央線に対して線対称である、請求項１に記載の撮像装置。
6. 画素領域内に複数のマイクロレンズを有し、前記画素領域の周辺部のマイクロレンズが対応する画素の中心から前記画素領域の中心方向へとずらして配置される１つの撮像素子と、前記画素領域上の一対の撮像領域のそれぞれに被写体の光学像を形成する一対のレンズ系とを有する撮像装置で撮像された画像を処理する画像処理方法であって、
   前記一対の撮像領域のうち、少なくとも、前記画素領域の中心に最も近い点を含む一部の領域の照度低下を補正する、画像処理方法。

Images