JP2016102733A - レンズ及び撮影装置 - Google Patents

Abstract

【課題】撮影された画像から距離情報を高精度に取得することを課題とする。【解決手段】レンズは、開口部にフィルタを備える。フィルタは、第１のフィルタ領域と、第２のフィルタ領域とを有する。第１のフィルタ領域は、イメージセンサで受光される光の色のうち、第１の組み合わせの複数色を透過する。第２のフィルタ領域は、イメージセンサで受光される光の色のうち、第１の組み合わせとは異なる第２の組み合わせの複数色を透過する。第１のフィルタ領域及び第２のフィルタ領域を含む開口部の全面は、共通する色を表す共通色を通過させる。【選択図】図２

Description

本発明の実施形態は、レンズ及び撮影装置に関する。

従来、撮影された画像から距離情報を取得する技術が知られている。かかる技術では、例えば、レンズを有する撮影装置において、レンズ光学系の絞り位置に、赤色（R：Red）、緑色（G：Green）、青色（B：Blue）のフィルタを配置し、それぞれの色のフィルタを通過した光をＲＧＢセンサで獲得することで、奥行きに応じてずれた画像を撮影できる。これにより、撮影された１枚の画像からシーンの奥行きを算出することができる。

特開２００９−２７６２９４号公報

しかしながら、各フィルタを通過した光を、各フィルタの色に対応する同色のセンサで受光させる場合には、異なる色のフィルタを通過する光は吸収されてしまうため、センサで受光する光量が低下する可能性がある。センサで受光する光量が低下すると、撮影された画像は暗く、ノイズが多いものとなるため、奥行きを一意に算出することが困難となる。この結果、従来技術は、撮影された画像から距離情報を高精度に取得することができない。

本発明が解決しようとする課題は、撮影された画像から距離情報を高精度に取得することができるレンズ及び撮影装置を提供することである。

実施の形態のレンズは、開口部にフィルタを備える。フィルタは、第１のフィルタ領域と、第２のフィルタ領域とを有する。第１のフィルタ領域は、イメージセンサで受光される光の色のうち、第１の組み合わせの複数色を透過する。第２のフィルタ領域は、イメージセンサで受光される光の色のうち、第１の組み合わせとは異なる第２の組み合わせの複数色を透過する。第１のフィルタ領域及び第２のフィルタ領域を含む開口部の全面は、共通する色を表す共通色を通過させる。

第１の実施形態に係る撮影装置のハードウェア構成を示すブロック図。 第１の実施形態に係る撮影装置の機能構成を示すブロック図。 第１の実施形態に係るフィルタ領域を説明する図。 第１の実施形態に係る撮影画像の変化を説明する図。 第１の実施形態に係る撮影装置による処理の流れを示すフローチャート。 第２の実施形態に係る撮影装置の機能構成を示すブロック図。 第２の実施形態に係るフィルタ領域を説明する図。 第２の実施形態に係るフィルタ領域を説明する図。 第２の実施形態に係る撮影装置による処理の流れを示すフローチャート。 第３の実施形態に係る撮影装置の機能構成を示すブロック図。 第３の実施形態に係るフィルタ領域を説明する図。 第３の実施形態に係るフィルタ領域を説明する図。 第３の実施形態に係るフィルタ領域を説明する図。 第３の実施形態に係るフィルタ領域を説明する図。 第３の実施形態に係る撮影装置による処理の流れを示すフローチャート。

（第１の実施形態）
図１は、第１の実施形態に係る撮影装置のハードウェア構成例を示すブロック図である。図１に示すように、撮影装置１００は、レンズ１０と、センサ２０と、ＣＰＵ（Central Processing Unit）３０と、ＨＤＤ（Hard Disk Drive）４０と、メモリカードスロット５０と、ディスプレイ６０とを有する。これらのハードウェアは、バスにより接続される。また、撮影装置１００は、撮影対象となる任意の被写体を含む画像を撮影し、被写体までの奥行き情報に応じて画像処理を施した表示画像を生成及び表示する。

レンズ１０は、撮影によって被写体で反射した光を入射し、入射した光を透過するフィルタ（カラーフィルタ）を開口部に備える。例えば、レンズ１０は、入射した光の集光の際に、フィルタの色に応じて、特定の波長帯の光を透過する。フィルタを通過した光は、センサ２０に到達する。センサ２０は、レンズ１０の開口部を通過した光を受光するイメージセンサである。例えば、センサ２０は、ＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等である。一つの様態として、センサ２０は、赤色の光を受光するセンサ（Ｒセンサ）と、緑色の光を受光するセンサ（Ｇセンサ）と、青色の光を受光するセンサ（Ｂセンサ）とを有し、それぞれのセンサで対応する波長帯の光を受光して、撮影画像（Ｒ画像、Ｇ画像、Ｂ画像）を生成する。

ＣＰＵ３０は、撮影装置１００の動作を統括的に制御する。具体的には、ＣＰＵ３０は、ＨＤＤ４０等に記憶されたプログラムを実行し、撮影装置１００全体の動作を制御する。例えば、ＣＰＵ３０は、センサ２０によって生成された撮影画像から、被写体までの奥行き情報を算出し、算出した奥行き情報に応じた距離画像を生成する。そして、ＣＰＵ３０は、撮影画像と距離画像とから、ユーザに提示するための表示画像を生成する。

ＨＤＤ４０は、書き換え可能な不揮発性の記憶デバイスである。例えば、ＨＤＤ４０は、撮影装置１００の制御に関するプログラムや各種データ等を記憶する。メモリカードスロット５０は、可搬記憶媒体のインタフェースである。例えば、メモリカードスロット５０には、ＳＤメモリカードやＳＤＨＣメモリカード等の可搬記憶媒体が挿入可能である。ディスプレイ６０は、各種情報や画像（表示画像等）を表示する。例えば、ディスプレイ６０は、液晶ディスプレイやタッチパネル等である。

図２は、第１の実施形態に係る撮影装置１００の機能構成例を示すブロック図である。図２に示すように、撮影装置１００は、開口部にフィルタ１１０を備えるレンズ１０と、センサ１２０と、画像処理部１３０とを有する。これらのうち、フィルタ１１０は、第１のフィルタ領域１１１と、第２のフィルタ領域１１２とを有する。センサ１２０は、第１のセンサ１２１と、第２のセンサ１２２と、第３のセンサ１２３とを有する。画像処理部１３０は、入力部１３１と、奥行き算出部１３２と、画像生成部１３３とを有する。なお、画像処理部１３０については、これらの一部又は全てがソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。なお、以下では、センサ１２０がＲＧＢセンサを有する場合を例に挙げて説明するが、センサの波長帯はこれらに限られるものではない。

フィルタ１１０は、カラーフィルタであり、特定の波長帯の光を透過する。例えば、フィルタ１１０は、互いに重ならない複数の領域により全領域が構成される。第１の実施形態において、複数の領域は、第１のフィルタ領域１１１と、第２のフィルタ領域１１２とである。すなわち、フィルタ１１０は、第１のフィルタ領域１１１と、第２のフィルタ領域１１２とによって全領域が構成される。このような各フィルタ領域を含む開口部の全面は、共通する色を表す共通色を通過させる。但し、各フィルタ領域は、異なる光透過性を有する。また、光量をより多くするために、フィルタ１１０の面は、センサ１２０の撮像面と平行に設置されることが好ましい。

第１のフィルタ領域１１１は、センサ１２０で受光される光の色のうち、第１の組み合わせの複数色を透過する。第１の組み合わせは、任意の組み合わせである。例えば、第１のフィルタ領域１１１は、赤色の光と、緑色の光とを透過するフィルタ領域「イエロー（Y：Yellow）フィルタ」である。第２のフィルタ領域１１２は、センサ１２０で受光される光の色のうち、第１の組み合わせとは異なる第２の組み合わせの複数色を透過する。例えば、第２のフィルタ領域１１２は、緑色の光と、青色の光とを透過するフィルタ領域「シアン（C：Cyan）フィルタ」である。つまり、上記の例において、共通色は、緑色である。ＲＧＢセンサによっては、ＲＧＢそれぞれを均等に配置するのではなく、緑色の光を受光するセンサが赤色の光を受光するセンサや青色の光を受光するセンサよりも多く配置されたものも存在する。このようなＲＧＢセンサの場合には、共通色を緑色とすることでＲＧＢセンサが受光する光量を増やすことができる。

なお、第１のフィルタ領域１１１と、第２のフィルタ領域１１２との組み合わせは、上記だけではない。例えば、第１のフィルタ領域１１１が、赤色の光と、緑色の光とを透過するフィルタ領域「Ｙフィルタ」であり、第２のフィルタ領域１１２が、赤色の光と、青色の光とを透過するフィルタ領域「マゼンタ（M：Magenta）フィルタ」であっても良い。この例において、共通色は、赤色である。これらの他にも、第１のフィルタ領域１１１が、赤色の光と、青色の光とを透過するフィルタ領域「Ｍフィルタ」であり、第２のフィルタ領域１１２が、緑色の光と、青色の光とを透過するフィルタ領域「Ｃフィルタ」であっても良い。この例において、共通色は、青色である。本実施形態では、第１のフィルタ領域１１１を「Ｙフィルタ」とし、第２のフィルタ領域１１２を「Ｃフィルタ」とする場合を例に挙げて説明する。一般に、Ｙ、Ｃ、Ｍの補色フィルタは、Ｒ、Ｇ、Ｂの原色フィルタと比較して、同一波長帯の透過率であっても、より多くの光を透過することが知られている。

図３は、第１の実施形態に係るフィルタ領域の例を説明する図である。図３に示すように、レンズ１０のフィルタ１１０は、「Ｙフィルタ」である第１のフィルタ領域１１１（縦線で表わされた領域）と、「Ｃフィルタ」である第２のフィルタ領域１１２（横線で表わされた領域）とを有する。上述したように、フィルタ１１０は、互いに重ならない複数の領域により全領域が構成される。レンズ１０の開口部において、第１のフィルタ領域１１１と、第２のフィルタ領域とは、レンズ１０の光学中心を中心に、回転させたときに一致するように配置されていることが好ましい。なお、各フィルタ領域でレンズ１０の開口部全面を構成しない場合、第１のフィルタ領域１１１と、第２のフィルタ領域１１２とは、上述した配置に加え、レンズ１０の光学中心から均等に離れた位置に配置されていることが好ましい。

図２の説明に戻り、センサ１２０は、レンズ１０の開口部を通過した光を受光するイメージセンサである。第１のセンサ１２１は、赤色の光を受光し、撮影画像（Ｒ画像）を生成する。第２のセンサ１２２は、緑色の光を受光し、撮影画像（Ｇ画像）を生成する。第３のセンサ１２３は、青色の光を受光し、撮影画像（Ｂ画像）を生成する。生成された撮影画像（Ｒ画像、Ｇ画像、Ｂ画像）は、画像処理部１３０に対して出力される。例えば、第１のフィルタ領域１１１が「Ｙフィルタ」、第２のフィルタ領域１１２が「Ｃフィルタ」の場合、第１のセンサ１２１では第１のフィルタ領域１１１を透過した光から赤色の光を受光し、第２のセンサ１２２では第１のフィルタ領域１１１及び第２のフィルタ領域１１２を透過した光から緑色の光を受光し、第３のセンサ１２３は第２のフィルタ領域１１２を透過した光から青色の光を受光する。

上記のように、第２のセンサ１２２は、第１のフィルタ領域１１１と第２のフィルタ領域１１２との双方で透過した緑色の光を受光する。すなわち、緑色の光は、フィルタ１１０全体では光吸収の影響が少ない。このため、撮影画像のうちＧ画像は、より明るく、ノイズの少ない画像と成り得る。また、複数のフィルタ領域で緑色の光が透過されるため、Ｇ画像は、フィルタ１１０を設置したことによる影響が少ない画像と言える。このため、生成されるＧ画像は、フィルタ１１０を設置しないときの理想的な画像（「リファレンス画像」と呼ぶ）に近い画像となる。なお、撮影画像のうちＲ画像とＢ画像とは、第１のフィルタ領域１１１と第２のフィルタ領域１１２とのうち、何れか一方のフィルタを透過した光が受光されることで生成された画像であるため、リファレンス画像やＧ画像等と比較して変化する。

図４は、第１の実施形態に係る撮影画像の変化の例を説明する図である。図４において、フィルタ領域の配置は、図３に例示したものと同一である。また、図４では、焦点距離よりも近い位置に被写体が存在する場合を上段に、焦点距離よりも遠い位置に被写体が存在する場合を中段に、焦点距離に被写体が存在する場合を下段に示す。

図４上段に示すように、Ｒ画像（右上がり斜線で表わされた円柱）は、焦点の合った物体よりも近くに位置する被写体の場合、リファレンス画像やＧ画像等と比較して第１の方向（例えば右側）にずれる（位相のずれが発生する）。また、図４中段に示すように、Ｒ画像は、焦点の合った物体よりも遠くに位置する被写体の場合、リファレンス画像やＧ画像等と比較して第１の方向とは反対の第２の方向（例えば左側）にずれる。一方、図４上段に示すように、Ｂ画像（右下がり斜線で表わされた円柱）は、焦点の合った物体よりも近くに位置する被写体の場合、リファレンス画像やＧ画像等と比較して第２の方向（例えば左側）にずれる。また、図４中段に示すように、Ｂ画像は、焦点の合った物体よりも遠くに位置する被写体の場合、リファレンス画像やＧ画像等と比較して第１の方向（例えば右側）にずれる。すなわち、撮影画像であるＲＧＢ画像に写るシーンでは、フォーカス距離に存在する被写体を基準に、その奥行きに合わせて画像の位置が左右にずれた画像が観測される。また、位相のずれは、焦点距離を境にして、近いものと遠いものとで反転する。位相がずれた領域は、ぼけた画像となる。このような撮影画像の特性を利用して、以下で説明するように、シーンの奥行きを算出していく。

画像処理部１３０は、撮影画像であるＲＧＢ画像から、被写体までの奥行き情報を算出し、算出した奥行き情報に応じた距離画像を生成する。距離画像は、二次元画像に空間の奥行き情報が付加された画像である。また、画像処理部１３０は、撮影画像であるＲ画像、Ｇ画像、Ｂ画像と、生成した距離画像とから、ユーザに提示するための表示画像を生成する。入力部１３１は、撮影画像を入力する。例えば、入力部１３１は、センサ１２０から撮影画像（Ｒ画像、Ｇ画像、Ｂ画像）を受け付けて、奥行き算出部１３２と、画像生成部１３３とに入力する。

奥行き算出部１３２は、撮影画像から、被写体までの奥行き情報を算出し、算出した奥行き情報に応じた距離画像を生成する。より具体的には、奥行き算出部１３２は、入力部１３１によって入力された撮影画像（Ｒ画像、Ｇ画像、Ｂ画像）のうち、Ｇ画像を基準として、各画像の色ずれ量を求め、各画素位置の物体の距離を算出することで距離画像を生成する。なお、基準とする画像は、共通色に対応する色の画像となる。上述したように、Ｒ画像、Ｇ画像及びＢ画像の各画素は、撮影された各物体の奥行きに合わせて画像の位置が第１の方向又は第２の方向（例えば左右）にずれている。また、Ｇ画像は、リファレンス画像と比較して色ずれの少ない画像である。これらから、奥行き算出部１３２は、Ｇ画像を基準として、各画像の色ずれ量を求める。

例えば、距離算出の対象となるＧ画像の画素をＹ_Ｇ（ｘ，ｙ）とし、Ｙ_Ｇ（ｘ，ｙ）に対応するＲ画像の画素をＹ_Ｒ（ｘ，ｙ）、Ｙ_Ｇ（ｘ，ｙ）に対応するＢ画像の画素をＹ_Ｂ（ｘ，ｙ）とする。また、奥行きに応じたずれ量をｄとする。これらから、Ｒ画像の画素Ｙ_Ｒ（ｘ，ｙ）は、Ｙ_Ｒ（ｘ−ｄ，ｙ）と表すことができる。同様に、Ｂ画像の画素Ｙ_Ｂ（ｘ，ｙ）は、Ｙ_Ｂ（ｘ＋ｄ，ｙ）と表すことができる。ずれ量ｄは、被写体が焦点距離に存在する場合に０となり、被写体が焦点距離と比較して遠くに存在する場合は正の値をとり、被写体が焦点距離と比較して近くに存在する場合は負の値をとる。また、ずれ量ｄの大きさ｜ｄ｜は、被写体の距離と焦点距離との差の大きさに応じて単純増加する特性を有する。このため、ずれ量ｄから各画素に写る物体までの距離は、一意に算出することができる。例えば、被写体距離は、焦点距離、ずれ量、レンズの開口の大きさ、レンズのＦ値等から決定される。これらの情報は、予め測定しておけば良い。

ずれ量ｄを求めるためのマッチング方法は、既存の手法を用いれば良い。例えば、画像の輝度差分によるマッチング方法や、自然画像の色成分が局食的には線形な関係を持つ特性を有することを利用した、色分布によるマッチング方法等を用いれば良い。色分布によるマッチング方法は、画素（ｘ，ｙ）周辺の局所領域の画素値の色分布の線形特性により、ずれ量ｄを算出する方法である。画像にずれ量ｄが生じていると仮定し、Ｙ_Ｇ（ｘ，ｙ）、Ｙ_Ｒ（ｘ−ｄ，ｙ）、Ｙ_Ｂ（ｘ＋ｄ，ｙ）を中心とする局所境域で画像を仮想的に定義し、定義した画像の色分布の分散から指標Ｌを算出する（数１参照）。

Ｌ（ｘ，ｙ；ｄ）＝λ_０λ_１λ_２／σ_Ｒ ^２σ_Ｇ ^２σ_Ｂ ^２ ・・・（数１）

上記の（数１）におけるλ_０、λ_１、λ_２は、画像の色分布の主成分軸に沿った分散（画像の供分散行列の固有値）である。また、σ_Ｒ ^２、σ_Ｇ ^２、σ_Ｂ ^２は、色分布のＲ、Ｇ、Ｂ軸に沿った分散である。一般に、画像の色ずれが大きくなると、Ｌが大きくなることが知られている。そのため、Ｌ（ｘ，ｙ；ｄ）が最小となるｄを求めることで、座標（ｘ，ｙ）の奥行きを算出することができる。

画像生成部１３３は、撮影画像と距離画像とから、表示画像を生成する。例えば、表示画像は、距離画像を表示画像としても良いし、ＲＧＢ画像を表示画像としても良い。また、表示画像は、ＲＧＢ画像から距離に応じて画素のずれ量ｄに従い、Ｒ画像とＢ画像とのずれを修正した、色ずれの補正画像としても良い。また、表示画像は、色ずれの補正画像から、さらに、距離に応じて焦点ぼけを除去した画像としても良い。また、表示画像は、色ずれの補正画像から、さらに、距離に応じて焦点ぼけを付加した画像としても良い。なお、レンズ１０にフォーカス機構が存在する場合には、奥行き情報をレンズ１０のフォーカス機構に出力し、フォーカス速度の向上のために使用しても良い。

次に、図５を用いて、第１の実施形態に係る撮影装置１００による処理の流れを説明する。図５は、第１の実施形態に係る撮影装置１００による処理の流れの例を示すフローチャートである。

図５に示すように、第１のフィルタ領域１１１（Ｙフィルタ）は、赤色の光と、緑色の光とを透過する（ステップＳ１０１）。第２のフィルタ領域１１２（Ｃフィルタ）は、緑色の光と、青色の光とを透過する（ステップＳ１０２）。第１のセンサ１２１は、赤色の光を受光し、撮影画像の一つであるＲ画像を生成する（ステップＳ１０３）。第２のセンサ１２２は、緑色の光を受光し、撮影画像の一つであるＧ画像を生成する（ステップＳ１０４）。

第３のセンサ１２３は、青色の光を受光し、撮影画像の一つであるＢ画像を生成する（ステップＳ１０５）。第１のセンサ１２１によって生成されたＲ画像、第２のセンサ１２２によって生成されたＧ画像、第３のセンサ１２３によって生成されたＢ画像は、入力部１３１に対して出力され、入力部１３１は、Ｒ画像、Ｇ画像及びＢ画像を、奥行き算出部１３２と画像生成部１３３とに入力する。

奥行き算出部１３２は、入力部１３１によって入力されたＲ画像、Ｇ画像、Ｂ画像のうち、Ｇ画像を基準として、各画像の色ずれ量を求め、各画素位置の物体の距離を算出することにより、距離画像を生成する（ステップＳ１０６）。画像生成部１３３は、入力部１３１によって入力されたＲ画像、Ｇ画像、Ｂ画像と、奥行き算出部１３２によって生成された距離画像とから、ユーザに提示するための表示画像を生成する（ステップＳ１０７）。

本実施形態によれば、異なる光透過性を有し、共通色の光を透過する２種類のフィルタ領域を配置したレンズ１０を介して被写体を撮影するので、明るくノイズの少ない画像を獲得でき、共通色に対応する画像を基準に距離画像を生成するので、距離情報を高精度に取得できる。

（第２の実施形態）
図６は、第２の実施形態に係る撮影装置の機能構成例を示すブロック図である。なお、第２の実施形態では、第１の実施形態と同様の構成については同一の符号を付し、その詳細な説明を省略する場合がある。第２の実施形態では、以下に示すフィルタ２１０（第３のフィルタ領域２１３）以外の機能及び構成、処理については第１の実施形態と同様である。

図６に示すように、撮影装置２００は、開口部にフィルタ２１０を備えるレンズ１０と、センサ１２０と、画像処理部１３０とを有する。これらのうち、フィルタ２１０は、第１のフィルタ領域１１１と、第２のフィルタ領域１１２と、第３のフィルタ領域２１３とを有する。センサ１２０は、第１のセンサ１２１と、第２のセンサ１２２と、第３のセンサ１２３とを有する。画像処理部１３０は、入力部１３１と、奥行き算出部１３２と、画像生成部１３３とを有する。なお、画像処理部１３０については、これらの一部又は全てがソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。

フィルタ２１０は、カラーフィルタであり、特定の波長帯の光を透過する。例えば、フィルタ２１０は、互いに重ならない複数の領域により全領域が構成される。第２の実施形態において、複数の領域は、第１のフィルタ領域１１１と、第２のフィルタ領域１１２と、第３のフィルタ領域２１３とである。すなわち、フィルタ２１０は、第１のフィルタ領域１１１と、第２のフィルタ領域１１２と、第３のフィルタ領域２１３とによって全領域が構成される。このような各フィルタ領域を含む開口部の全面は、共通する色を表す共通色を通過させる。但し、各フィルタ領域は、異なる光透過性を有する。また、光量をより多くするために、フィルタ２１０の面は、センサ１２０の撮像面と平行に設置されることが好ましい。なお、第２の実施形態では、第１の実施形態と同様に、第１のフィルタ領域１１１が「Ｙフィルタ」、第２のフィルタ領域１１２が「Ｃフィルタ」である場合を例に挙げる。つまり、共通色が緑色である場合を例に挙げる。

第３のフィルタ領域２１３は、センサ１２０で受光される光の色のうち、共通色を透過する。例えば、第３のフィルタ領域２１３は、第１のフィルタ領域１１１及び第２のフィルタ領域１１２によって透過される光の共通色である緑色の光を透過するフィルタ領域「Ｇフィルタ」である。換言すると、第３のフィルタ領域２１３は、共通色以外の光（例えば、共通色が緑色の場合、赤色の光と青色の光）を遮蔽する。なお、上記では、共通色を緑色として、第３のフィルタ領域２１３がＧフィルタである場合を例に挙げているが、共通色が他の色（例えば、赤色又は青色）であれば、第３のフィルタ領域２１３は他の色に対応するフィルタとなる。

図７Ａ及び図７Ｂは、第２の実施形態に係るフィルタ領域の例を説明する図である。図７Ａ及び図７Ｂに示すように、レンズ１０のフィルタ２１０は、「Ｙフィルタ」である第１のフィルタ領域１１１（縦線で表わされた領域）と、「Ｃフィルタ」である第２のフィルタ領域１１２（横線で表わされた領域）と、「Ｇフィルタ」である第３のフィルタ領域２１３（網掛けで表わされた領域）とを有する。上述したように、フィルタ２１０は、互いに重ならない複数の領域により全領域が構成される。また、第１のフィルタ領域１１１と、第２のフィルタ領域１１２とを、レンズ１０の光学中心から各フィルタ領域の重心点を結ぶ直線の垂線であって、レンズ１０の光学中心を通る垂線を軸に、対称形となるように配置することが好ましい。第１のフィルタ領域１１１や第２のフィルタ領域１１２の形状は、図７Ａや図７Ｂに示す円形や楕円形でなくても良い。

各フィルタ領域の位置や形状、大きさについては任意のもので良いが、第１のフィルタ領域１１１と第２のフィルタ領域１１２の形状によって、センサ１２０によって生成されるＲ画像とＢ画像とのぼけ方を制御することができる。具体的には、各フィルタ領域の形状を変化させることで、センサ１２０でのぼけ関数である点広がり関数、又はＰＳＦ（Point Spread Function）を任意に制御できるため、センサ１２０によって生成されるＲ画像とＢ画像とのぼけ方を制御することができる。図７Ａや図７Ｂでは、Ｒ画像とＢ画像とのぼけ関数を一致させた例を示している。画像のぼけ方が対称になるように制御すれば、表示画像を構成する際の不自然さを抑制することができる。また、Ｒ画像とＢ画像とのぼけ方が同一になるようにすることで、Ｒ画像とＢ画像との間のマッチングが容易になり、デプス推定精度を向上させることができる。なお、Ｒ画像及びＢ画像のずれ方については、第１の実施形態と同様である。

センサ１２０の処理は第１の実施形態と同様であるが、第２のセンサ１２２は、各フィルタ領域を透過した緑色の光を受光し、撮影画像（Ｇ画像）を生成する。すなわち、第２のセンサ１２２は、距離画像生成の基準となるＧ画像を、第１のフィルタ領域１１１、第２のフィルタ領域１１２及び第３のフィルタ領域２１３の３つのフィルタ領域によって透過された緑色の光を受光して生成するので、理想とするリファレンス画像により近いＧ画像を生成することができる。

次に、図８を用いて、第２の実施形態に係る撮影装置２００による処理の流れを説明する。図８は、第２の実施形態に係る撮影装置２００による処理の流れの例を示すフローチャートである。

図８に示すように、第１のフィルタ領域１１１（Ｙフィルタ）は、赤色の光と、緑色の光とを透過する（ステップＳ２０１）。第２のフィルタ領域１１２（Ｃフィルタ）は、緑色の光と、青色の光とを透過する（ステップＳ２０２）。第３のフィルタ領域２１３（Ｇフィルタ）は、緑色の光を透過する（ステップＳ２０３）。第１のセンサ１２１は、赤色の光を受光し、撮影画像の一つであるＲ画像を生成する（ステップＳ２０４）。第２のセンサ１２２は、緑色の光を受光し、撮影画像の一つであるＧ画像を生成する（ステップＳ２０５）。

第３のセンサ１２３は、青色の光を受光し、撮影画像の一つであるＢ画像を生成する（ステップＳ２０６）。第１のセンサ１２１によって生成されたＲ画像、第２のセンサ１２２によって生成されたＧ画像、第３のセンサ１２３によって生成されたＢ画像は、入力部１３１に対して出力され、入力部１３１は、Ｒ画像、Ｇ画像及びＢ画像を、奥行き算出部１３２と画像生成部１３３とに入力する。

奥行き算出部１３２は、入力部１３１によって入力されたＲ画像、Ｇ画像、Ｂ画像のうち、Ｇ画像を基準として、各画像の色ずれ量を求め、各画素位置の物体の距離を算出することにより、距離画像を生成する（ステップＳ２０７）。画像生成部１３３は、入力部１３１によって入力されたＲ画像、Ｇ画像、Ｂ画像と、奥行き算出部１３２によって生成された距離画像とから、ユーザに提示するための表示画像を生成する（ステップＳ２０８）。

本実施形態によれば、異なる光透過性を有し、共通色の光を透過する２種類のフィルタ領域に加えて、獲得する画像のぼけ関数を制御可能な共通色の光を透過する１種類のフィルタ領域を配置したレンズ１０を介して被写体を撮影するので、距離情報を高精度に求めることができるとともに、ユーザに提示するための表示画像の不自然さを抑制することができる。

（第３の実施形態）
図９は、第３の実施形態に係る撮影装置の機能構成例を示すブロック図である。なお、第３の実施形態では、第１の実施形態と同様の構成については同一の符号を付し、その詳細な説明を省略する場合がある。第３の実施形態では、以下に示すフィルタ３１０（第４のフィルタ領域３１４）以外の機能及び構成、処理については第１の実施形態と同様である。

図９に示すように、撮影装置３００は、開口部にフィルタ３１０を備えるレンズ１０と、センサ１２０と、画像処理部１３０とを有する。これらのうち、フィルタ３１０は、第１のフィルタ領域１１１と、第２のフィルタ領域１１２と、第４のフィルタ領域３１４とを有する。センサ１２０は、第１のセンサ１２１と、第２のセンサ１２２と、第３のセンサ１２３とを有する。画像処理部１３０は、入力部１３１と、奥行き算出部１３２と、画像生成部１３３とを有する。なお、画像処理部１３０については、これらの一部又は全てがソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。

フィルタ３１０は、カラーフィルタであり、特定の波長帯の光を透過する。例えば、フィルタ３１０は、互いに重ならない複数の領域により全領域が構成される。第３の実施形態において、複数の領域は、第１のフィルタ領域１１１と、第２のフィルタ領域１１２と、第４のフィルタ領域３１４とである。すなわち、フィルタ３１０は、第１のフィルタ領域１１１と、第２のフィルタ領域１１２と、第４のフィルタ領域３１４とによって全領域が構成される。このような各フィルタ領域を含む開口部の全面は、共通する色を表す共通色を通過させる。但し、各フィルタ領域は、異なる光透過性を有する。また、光量をより多くするために、フィルタ３１０の面は、センサ１２０の撮像面と平行に設置されることが好ましい。なお、第３の実施形態では、第１の実施形態と同様に、第１のフィルタ領域１１１が「Ｙフィルタ」、第２のフィルタ領域１１２が「Ｃフィルタ」である場合を例に挙げる。つまり、共通色は緑色である場合を例に挙げる。

第４のフィルタ領域３１４は、センサ１２０で受光される光の色の全色を透過する。例えば、第４のフィルタ領域３１４は、フィルタ３１０に入射される光の全色を透過するフィルタ領域「透明フィルタ」である。透明フィルタである第４のフィルタ領域３１４は、第１のフィルタ領域１１１及び第２のフィルタ領域１１２によって透過される光の共通色である緑色の光も透過する。また、第４のフィルタ領域３１４を透過した光は、センサ１２０が有する全てのイメージセンサによって受光される。なお、第４のフィルタ領域３１４の位置に、フィルタを設けない構成としても良い。

具体的には、第１のセンサ１２１は、第１のフィルタ領域１１１及び第４のフィルタ領域３１４を透過した光のうち、赤色の光を受光し、撮影画像（Ｒ画像）を生成する。第２のセンサ１２２は、第１のフィルタ領域１１１、第２のフィルタ領域１１２及び第４のフィルタ領域３１４を透過した光のうち、緑色の光を受光し、撮影画像（Ｇ画像）を生成する。第３のセンサ１２３は、第２のフィルタ領域１１２及び第４のフィルタ領域３１４を透過した光のうち、青色の光を受光し、撮影画像（Ｂ画像）を生成する。すなわち、Ｒ画像、Ｇ画像、Ｂ画像それぞれを生成する各イメージセンサは、透明フィルタである第４のフィルタ領域３１４を透過した光を受光するため、より多くの光量を受光することができる。この結果、撮影装置３００は、より明るく、ノイズのより少ない表示画像を生成することが可能となる。

図１０Ａ、図１０Ｂ、図１０Ｃ及び図１０Ｄは、第３の実施形態に係るフィルタ領域の例を説明する図である。図１０Ａ〜図１０Ｄに示すように、レンズ１０のフィルタ３１０は、「Ｙフィルタ」である第１のフィルタ領域１１１（縦線で表わされた領域）と、「Ｃフィルタ」である第２のフィルタ領域１１２（横線で表わされた領域）と、「透明フィルタ」である第４のフィルタ領域３１４（白色で表わされた領域）とを有する。上述したように、フィルタ３１０は、互いに重ならない複数の領域により全領域が構成される。また、各フィルタ領域の位置や形状、大きさについては任意のもので良いが、例えば、第４のフィルタ領域３１４は、各フィルタ領域の重心点を結ぶ直線を、垂直に２等分する直線を軸に、対称形になるように配置されることが好ましい。第４のフィルタ領域３１４は、図１０Ａや図１０Ｂに示す楕円形ではなく、図１０Ｃに示す形であっても良い。また、第４のフィルタ領域３１４は、図１０Ｄに示すように、さらに複数の領域に分かれていても良い。なお、Ｒ画像及びＢ画像のずれ方については、第１の実施形態と同様である。

次に、図１１を用いて、第３の実施形態に係る撮影装置３００による処理の流れを説明する。図１１は、第３の実施形態に係る撮影装置３００による処理の流れの例を示すフローチャートである。

図１１に示すように、第１のフィルタ領域１１１（Ｙフィルタ）は、赤色の光と、緑色の光とを透過する（ステップＳ３０１）。第２のフィルタ領域１１２（Ｃフィルタ）は、緑色の光と、青色の光とを透過する（ステップＳ３０２）。第４のフィルタ領域３１４（透明フィルタ）は、全色の光を透過する（ステップＳ３０３）。第１のセンサ１２１は、赤色の光を受光し、撮影画像の一つであるＲ画像を生成する（ステップＳ３０４）。第２のセンサ１２２は、緑色の光を受光し、撮影画像の一つであるＧ画像を生成する（ステップＳ３０５）。

第３のセンサ１２３は、青色の光を受光し、撮影画像の一つであるＢ画像を生成する（ステップＳ３０６）。第１のセンサ１２１によって生成されたＲ画像、第２のセンサ１２２によって生成されたＧ画像、第３のセンサ１２３によって生成されたＢ画像は、入力部１３１に対して出力され、入力部１３１は、Ｒ画像、Ｇ画像及びＢ画像を、奥行き算出部１３２と画像生成部１３３とに入力する。

奥行き算出部１３２は、入力部１３１によって入力されたＲ画像、Ｇ画像、Ｂ画像のうち、Ｇ画像を基準として、各画像の色ずれ量を求め、各画素位置の物体の距離を算出することにより、距離画像を生成する（ステップＳ３０７）。画像生成部１３３は、入力部１３１によって入力されたＲ画像、Ｇ画像、Ｂ画像と、奥行き算出部１３２によって生成された距離画像とから、ユーザに提示するための表示画像を生成する（ステップＳ３０８）。

本実施形態によれば、異なる光透過性を有し、共通色の光を透過する２種類のフィルタ領域に加えて、全色の光を透過する１種類のフィルタ領域を配置したレンズ１０を介して被写体を撮影するので、より明るくよりノイズの少ない画像を獲得できるとともに、距離情報を高精度に取得できる。

（第４の実施形態）
さて、これまで本発明に係るレンズ及び撮影装置の実施形態について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）フィルタ領域の数や種類、（２）構成、（３）プログラム、について異なる実施形態を説明する。

（１）フィルタ領域の数や種類
第１の実施形態では、共通色の光を透過し、異なる光透過性を有する２種類のフィルタ領域（第１のフィルタ領域１１１、第２のフィルタ領域１１２）によって構成されたフィルタ１１０を有するレンズ１０を説明した。第２の実施形態では、共通色の光を透過し、異なる光透過性を有する２種類のフィルタ領域（第１のフィルタ領域１１１、第２のフィルタ領域１１２）と、共通色の光を透過する１種類のフィルタ領域（第３のフィルタ領域２１３）とによって構成されたフィルタ２１０を有するレンズ１０を説明した。第３の実施形態では、共通色の光を透過し、異なる光透過性を有する２種類のフィルタ領域（第１のフィルタ領域１１１、第２のフィルタ領域１１２）と、全色の光を透過する１種類のフィルタ領域（第４のフィルタ領域３１４）とによって構成されたフィルタ３１０を有するレンズ１０を説明した。本実施形態において、フィルタ領域の数や種類は、上述してきた例に限られるものではない。

具体的には、フィルタには、第１のフィルタ領域１１１と、第２のフィルタ領域１１２とに加えて、任意数・種類のフィルタ領域が配置されても良い。例えば、フィルタには、第１のフィルタ領域１１１と、第２のフィルタ領域１１２とに加えて、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、Ｙフィルタ、Ｃフィルタ、Ｍフィルタ及び透明フィルタのうち、任意数・種類のフィルタが新たなフィルタ領域として使用されても良い。このとき、上記実施形態と同様に、各フィルタ領域は、共通色の光を透過するものとする。

また、上記実施形態では、レンズ１０の開口部の全面に、複数のフィルタ領域を配置する場合を例に挙げたが、レンズ１０の開口部の全面にフィルタ領域を配置しなくても良い。例えば、レンズ１０の開口部は、フィルタ領域と、フィルタを設けない領域とにより全面が構成されても良い。このとき、レンズ１０の開口部の全面は、共通色を通過させることに変わりはない。

（２）構成
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメータ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。

（３）プログラム
また、上記実施形態に係る画像処理部１３０は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることで実現することが可能である。実行されるプログラムは、上述してきた各機能を含むモジュール構成となっている。また、実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ＲＯＭ等に予め組み込んで提供しても良い。

また、上述してきた実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ レンズ
１００ 撮影装置
１１０ フィルタ
１１１ 第１のフィルタ領域
１１２ 第２のフィルタ領域
１２０ センサ
１２１ 第１のセンサ
１２２ 第２のセンサ
１２３ 第３のセンサ
１３０ 画像処理部
１３１ 入力部
１３２ 奥行き算出部
１３３ 画像生成部

Claims (9)

1. 開口部にフィルタを備えたレンズであって、
   前記フィルタは、
   イメージセンサで受光される光の色のうち、第１の組み合わせの複数色を透過する第１のフィルタ領域と、
   前記イメージセンサで受光される光の色のうち、前記第１の組み合わせとは異なる第２の組み合わせの複数色を透過する第２のフィルタ領域と、を有し、
   前記第１のフィルタ領域及び前記第２のフィルタ領域を含む前記開口部の全面は、共通する色を表す共通色を通過させる
   レンズ。
2. 前記フィルタは、前記イメージセンサで受光される光の色のうち、前記共通色を透過する第３のフィルタ領域をさらに有し、
   前記第３のフィルタ領域をさらに含む前記開口部の全面は、前記共通色を通過させる請求項１に記載のレンズ。
3. 前記フィルタは、前記イメージセンサで受光される光の色のうち、全色を透過する第４のフィルタ領域をさらに有し、
   前記第４のフィルタ領域をさらに含む前記開口部の全面は、前記共通色を通過させる請求項１又は２に記載のレンズ。
4. 前記イメージセンサは、赤色、緑色及び青色の光を受光し、
   前記第１のフィルタ領域は、赤色、緑色及び青色のうち、２種類の色を透過し、
   前記第２のフィルタ領域は、赤色、緑色及び青色のうち、前記第１のフィルタ領域によって透過される組み合わせとは異なる２種類の色を透過する請求項１〜３の何れか一つに記載のレンズ。
5. 前記第１のフィルタ領域と、前記第２のフィルタ領域との組み合わせは、赤色及び緑色の光を透過するイエローフィルタと、緑色及び青色の光を透過するシアンフィルタとの組み合わせ、シアンフィルタと、赤色及び青色の光を透過するマゼンタフィルタとの組み合わせ、又は、マゼンタフィルタと、イエローフィルタとの組み合わせである請求項４に記載のレンズ。
6. 前記第３のフィルタ領域は、赤色の光を透過するレッドフィルタ、緑色の光を透過するグリーンフィルタ、及び、青色の光を透過するブルーフィルタの何れかである請求項２に記載のレンズ。
7. 赤色の光を透過するレッドフィルタ、緑色の光を透過するグリーンフィルタ、青色の光を透過するブルーフィルタ、赤色及び緑色の光を透過するイエローフィルタ、緑色及び青色の光を透過するシアンフィルタ、赤色及び青色の光を透過するマゼンタフィルタ、及び、全色の光を透過する透明フィルタのうち、任意数のフィルタを新たなフィルタ領域として有し、
   前記新たなフィルタ領域をさらに含む前記開口部の全面は、前記共通色を通過させる請求項１に記載のレンズ。
8. 前記フィルタは、互いに重ならない複数のフィルタ領域により全領域が構成される請求項１〜７の何れか一つに記載のレンズ。
9. 請求項１〜８の何れか一つに記載のレンズと、
   前記レンズの開口部を通過した光を受光するイメージセンサと、
   前記イメージセンサで得られた撮像画像から、被写体までの奥行き情報を算出し、算出した奥行き情報に応じた距離画像を生成する奥行き算出部と、
   前記撮影画像と、前記距離画像とから、表示画像を生成する画像生成部と
   を有する撮影装置。

Images