JP2010079298A - カメラ及び撮像システム - Google Patents

Abstract

【課題】カメラの被写界深度を高めるための新規のシステムを提供する。
【解決手段】カメラは、１つ以上の第１の色に対する第１の被写界深度と、第１の被写界深度よりも小さな、１つ以上の第２の色に対する第２の被写界深度とを有する撮像システムを備えている。この撮像システムは、上記１つ以上の第１の色のための第１の開口と、上記１つ以上の第２の色のための、第１の開口よりも大きい、第２の開口を有する絞りを備えていてもよい。上記第１の開口は、外側の不透明なリング（１）により規定され、上記第２の開口は、内部の有色リング（２）によって規定されてもよい。上記内部リング（２）は、上記１つ以上の第１の色を遮断し、上記１つ以上の第２の色を透過させる。上記１つ以上の第１の色より形成される画像は、より鮮鋭であり、この鮮鋭さは、画像処理によって、別の画像に移すことができる。
【選択図】図１

Description

本発明は、カメラ及び撮像システムに関する。

数年前、携帯電話に搭載されたカメラは、小型で、その解像度は低かった。小型のカメラは、非常に大きな被写界深度を有することができる（これは、一度に、広範囲の距離の焦点を合わせることができるということを意味する）。被写界深度が非常に大きいので、固定焦点レンズを用ることが可能であった。そして、この固定焦点レンズは、所望される全ての距離に焦点を十分に合わせることができた。

現在、カメラ付き電話の性能を高めるために、カメラは、より大型化し、より解像度が高くなっている。カメラの設計を拡大してカメラを大型化するほど、その被写界深度は小さくなる。被写界深度が小さくなるため、固定焦点レンズは、十分に広い範囲の距離に焦点を合わせることができない。代わりに、機械的に可動なレンズが用いられている。このレンズは、物体がどの程度離れているかによって位置を変更するので、物体に焦点を合わせることができる。

可動式レンズのシステムには異なるタイプがある。「手動焦点」システムは、使用者によって、手動で調整することができる。それに対し、「自動焦点」システムは、電子システムで、自動的に移動させることができる。手動システムでは、通常、使用者からの入力が必要である。それに対して、自動焦点システムは、高価であり、システムが焦点を合わせる時に遅延が生じる。どちらのタイプのシステムも、同時に、全ての距離に焦点をあわせることはできない。

物体に焦点を合わせるためにレンズの移動を必要としないカメラシステムが要望されている。これは、従来技術によってある程度は実現されている。

そのようなシステムの１つが、ＣＡＴＨＥＹ，Ｗ．およびＤＯＷＳＫＩ，Ｒ、１９９５年、「Ａ ｎｅｗ ｐａｒａｄｉｇｍ ｆｏｒ ｉｍａｇｉｎｇ ｓｙｓｔｅｍｓ」、Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ 第４１号、１８５９．１８６６頁の論文に記載されている。この論文には、有用な集束特性を有するレンズシステムの設計について記載されている。標準的なレンズシステムには、鮮鋭な焦点があり、この焦点距離を外れると、画像は急速によりぼけたものになってしまう。この論文に記載されているレンズシステムには、鮮鋭な焦点はない。代わりに、広範囲の焦点距離において、一様に画像がぼけてしまう。レンズによる画像のぼけは、既知の量であるので、画像処理を用いることによって、この範囲の焦点距離における（標準的な逆重畳、または、鮮鋭化技術を用いて）画像のぼけを除くことが可能である。

このシステムが効果的な場合もあるが、画像処理によって、鮮鋭な焦点レンズにより達成される質のレベルまで、画像を修復することは困難な場合がある。画像が、良質というより、むしろ、常に中程度の質となってしまう可能性がある。

国際公開第２００６／０９５１１０号には、ＤｘＯ社による別のカメラシステムが記載されている。この公報には、巨大な軸上色収差を持つカメラシステムが記載されている。赤色の光は、遠くの物体に焦点を合わせやすく、緑色の光は中距離の物体に焦点を合わせやすく、青色の光は近くの物体に焦点を合わせやすい。また、ＤｘＯでは、画像処理を用いて、どの色チャネルが最も鮮鋭かを決定し、続いて、最も鮮鋭な色チャネルの鮮鋭度を、焦点外の他の色チャネルに移す。しかし、物体の距離にかかわらず、画像には常に処理を必要とする。この処理は遅い場合があり、結果、通常より質の低い画像となってしまう場合がある。

別の公知の方法では、被写界深度を高めるためにレンズの開口を抑えている。この方法により、被写界深度は増加するが、この方法は同時にシステムの光感受性を低下させてしまう。

発明の第一の側面によれば、少なくとも１つの光学的放射の第１の周波数に対する第１の被写界深度と、第１の被写界深度よりも小さな、少なくとも１つの光学的放射の第２の周波数に対する第２の被写界深度とを有する撮像システムを備えるカメラを提供する。

上記少なくとも１つの第１の周波数が、少なくとも１つの第１の色を含んでいてもよい。また、上記少なくとも１つの第１の色が、少なくとも１つの第１の原色を含んでいてもよい。

上記少なくとも１つの第１の周波数が、少なくとも１つの第１の不可視周波数を含んでいてもよい。

上記少なくとも１つの第１の周波数が、少なくとも１つの第１の周波数帯を含んでいてもよい。

上記少なくとも１つの第２の周波数が、少なくとも１つの第２の色を含んでいてもよい。上記少なくとも１つの第２の色が、少なくとも１つの第２の原色を含んでいてもよい。

上記少なくとも１つの第２の周波数が、少なくとも１つの第２の周波数帯を含んでいてもよい。

上記撮像システムが、上記少なくとも１つの光学的放射の第１の周波数に対する第１の被写界深度を与えるための波面符号化素子を有していてもよい。

上記撮像システムが、上記少なくとも１つの光学的放射の第１の周波数に対する第１の被写界深度を与えるための符号化開口を有していてもよい。

上記撮像システムが、上記少なくとも１つの光学的放射の第１の周波数に対する第１の被写界深度を与えるための有色開口を有していてもよい。

上記撮像システムが、符号化開口と有色開口との組み合わせを備えていてもよい。

上記有色開口が、上記少なくとも１つの光学的放射の第１の周波数のための第１の開口と、第１の開口よりも大きく、上記少なくとも１つの光学的放射の第２の周波数のための第２の開口とを有する絞りを備えていてもよい。上記絞りが、第２の開口を規定する外部絞りと、第１の開口を規定する内部絞りとを備えていてもよい。上記内部絞りが、上記少なくとも１つの第１の周波数を実質的に遮断し、少なくとも１つの第２の周波数を透過させるための光学フィルタを備えていてもよい。

上記内部絞りが、上記少なくとも１つの第１の周波数を減衰させ、第１の周波数は、入射光の明るさの増加関数であってもよい。

上記内部絞りが、光反応染料を含んでいてもよい。

上記内部絞りと外部絞りのうちの少なくとも１つが、アポダイズされていてもよい。

上記第１の開口の面積が、上記第２の開口の面積の実質的に半分であってもよい。

上記撮像システムが、上記少なくとも１つの光学的放射の第１の周波数に対する第１の被写界深度を与えるためのアポダイズされた有色開口を有していてもよい。

上記カメラは、上記少なくとも１つの第１の周波数に対して感応するセンサ素子の少なくとも１つの第１の配列と、上記少なくとも１つの第２の周波数に対して感応するセンサ素子の少なくとも１つの第２の配列とを備えていてもよい。

上記カメラは、第２の被写界深度よりも大きい被写界深度を有する色画像を提供するために、第１及び第２の周波数の画像を処理するための画像処理装置を備えていてもよい。

上記処理装置は、上記少なくとも１つの第１の周波数の上記画像または各画像の鮮鋭さを、上記少なくとも１つの第２の周波数の上記画像または各画像に移すように構成されていてもよい。

上記処理装置は、上記少なくとも１つの第２の周波数の上記画像、又は、各画像から、輝度画像を形成して、上記少なくとも１つの第１の周波数の上記画像、又は、各画像の鮮鋭さを上記輝度画像に移すように構成されていてもよい。

上記処理装置は、上記少なくとも１つの第１の周波数の上記画像、又は、各画像から、輝度画像を形成するように構成されていてもよい。

上記処理装置は、上記少なくとも１つの第１の周波数での上記画像、又は、各画像のぼけを修正するように構成されていてもよい。

上記処理装置は、上記画像における物体距離を判定して、前景物体の画像データのみを処理するように構成されていてもよい。

本発明の第２の側面によれば、第１の開口を規定する内部部分と、第１の開口よりも大きい第２の開口を規定する外部部分とを有する絞りを備え、上記内部部分が、入射光の明るさに反応する物質で形成され、第１の明るさに応じて入射光を減衰させる第１の減衰と、第１の明るさよりも明るい第２の明るさに応じて第１減衰よりも大きく減衰させる第２の減衰とを有する撮像システムを提供する。

本発明の第３の側面によれば、これは、本発明の第２の側面による撮像システムを備えるカメラを提供する。

本発明の第４の側面によれば、センサ、及び、上記センサに画像を形成するための撮像システムを備え、上記センサが、光学的放射の第１の周波数帯に対して感度をもつ検出素子の第１の組と、上記第１の放射数帯とは異なる光学的放射の第２の周波数帯に対して感度をもつ検出素子の第２の組とを有し、上記撮像システムは開口を備え、上記開口は、少なくとも上記第１の周波数帯の光学的放射を透過させ、上記第２の周波数帯の光学的放射を実質的に遮断するように構成された第１の領域と、少なくとも上記第２の周波数帯の光学的放射を透過させるように構成された第２の領域とを有するカメラを提供する。

上記第２の領域が、上記第１の周波数帯の光学的放射を実質的に遮断するように構成されていてもよい。

上記第１、及び、第２の周波数帯のうちの少なくとも１つが、可視光周波数帯にあってもよい。

上記第１、及び、第２の周波数帯が、重複していなくてもよい。

上記開口が、上記第１、及び、第２の領域と異なる周波数透過域を有する第３の領域を備えていてもよい。

上記第３の領域は、少なくとも第１、及び、第２の周波数帯の光学的放射を透過させるように構成されていてもよい。

上記第３の領域は、第３の周波数帯の光学的放射を透過させ、上記第１、及び、第２の周波数帯の光学的放射を実質的に遮断するように構成され、上記第１、及び、第２の領域が、上記第３の周波数帯の光学的放射を透過させるように構成されていてもよい。

上記カメラは上記検出素子の第１及び第２の組により検出される像の少なくとも一部の間にあるディスパリティーを測定するように構成されている画像処理装置を備えていてもよい。上記画像処理装置が、上記ディスパリティーから、上記カメラからの物体の距離を測定するように構成されていてもよい。上記画像処理装置が、上記物体の距離に基づいて、画像のぼけ修正を行うように構成されていてもよい。

上記カメラは、携帯情報端末、又は、携帯電話を備えていても良い。

この明細書において用いられる「光学的放射」という用語は、レンズ、プリズム、鏡、及びホログラムのような光学的部品によって、反射、及び／又は、屈折、及び／又は、回折のような光学的処理が容易で、可視光、赤外線及び紫外線を含む電磁波を意味するものと定義する。

このようにして、可動式レンズシステムを必要とすることなく、大きな被写界深度を得られるカメラを提供することが可能となる。手動焦点システム、又は、自動焦点システムを配置する必要がないので、焦点合わせに起因する遅延が避けられるとともに、機械的な焦点合わせにと関連する移動部品が不要となる。このようなカメラは、より高い解像度を提供するために、より大きなサイズの携帯電話（または、「セル方式の携帯電話」）に適している。

本発明の前述、及び、他の目的、特徴、および優れた点は、添付図面を参照した、以下に示す発明の詳細な記載によって容易に分かるであろう。

本発明の実施形態に係るカメラの撮像システムの絞りを形成する部分の正面図である。 本発明の実施形態に係るカメラの一部の断面図である。 本発明の実施形態に係るカメラにおいて用いられる光学システムを示す図である。 図３ａの光学システムを含むカメラの断面図である。 図３ｂに示すタイプのカメラにおいて用いることができる別の光学システムを示す図である。 図３ｂに示すタイプのカメラにおいて用いることができる別の光学システムを示す図である。 図３ｂに示すタイプのカメラにおいて用いることができる別の光学システムを示す図である。 図３ｂに示すタイプのカメラにおいて用いることができる別の光学システムを示す図である。 本発明の実施形態に係るカメラを示す図である。 図５に示すカメラのイメージセンサを示す図である。

上記のように、カメラシステムの開口を減らすと、被写界深度は増加する。上記された実施の形態において、カメラの開口は、１つの色（または、できれば、全部ではないが、より多く）のチャネルに対して縮小されている。これは、１つの色チャネルが高い被写界深度を有しており、画像処理を用いて、このチャネルからの鮮鋭さを、他の色チャネルへ移す、ということを意味している。この方法により、カメラシステムは、広範囲の焦点距離の、高い解像度を持つ鮮鋭な画像を形成できる。さらに、色チャネルのうちの１つの開口の大きさを減らしただけなので、カメラの感度にはあまり影響がない。例えば、１つの色チャネルにのみおける光の度合いを下げることにより、システムの光入力の合計は１０％しか下がらないであろう。

そのようなシステムは、絞りを有する「有色開口（ｃｈｒｏｍａｔｉｃ ａｐｅｒｔｕｒｅ）」を用いる。その例を図１に示す。標準的な開口は、黒色、または、不透明なリングを備えており、リングは、例えば、プラスチックの材料で形成され、色の光はリングの中央を通過することができる。新規な開口は、外部開口を形成する不透明な開口リング１を備え、開口リング１は、より小さいカラー開口リング、すなわち、有色開口リング２を有し、開口リング２は、内部に、開口領域３を定める内部絞りを形成する。本例では、開口は、青色チャネルについて減じられており、小さいほうのカラーリング２は、黄色のフィルタで形成されている。黄色のフィルタは、赤色と緑色の光を、ほとんど、または、全く減衰させることなく透過させるが、青色の光をほぼ完全に遮断する。よって、赤色の光は、黒色のリング１によって遮断されるが、黄色のフィルタ２を透過する。赤色の光に対しては、開口は黒色のリング１が、効果的に規定する。緑色の光に対しても、同様のことがいえる。青色の光は、黒色のリング１、及び、黄色のフィルタリング２によって遮断される。青色の光に対する開口は、黄色のフィルタ２によって規定される。青色の光は、赤色及び緑色の光より小さな開口３しか「見え」ない。

「鮮鋭な」色チャネルのための、より小さな（第１の）開口の大きさは、妥協の結果である。もし開口が大きければ、より多くの光が透過できる。これにより、光感受性は高まり、光が回折しにくくなる（回折は、画像をぼけさせる）が、被写界深度が縮小される。もし開口が小さければ、より少ない光しか透過しない。これにより、光感受性が低くなり、光が回折しやすくなって、画像がぼけやすくなるが、被写界深度は拡大される。一般的な用途において、「理にかなった」妥協の結果により、開口は、他の色チャネルに対する（第２の）開口の大きさの約３分の２に縮小することができる。この結果、光のスループットは、およそ５０％削減されるが、被写界深度は大幅に増加する。他の設計値は、様々な要素間で最適化するように選択できる。例えば、第１の開口の面積は、第２の開口の面積の実質半分とすることができる。

鮮鋭な色チャネルは他のチャネルよりも暗くなるので、これに対して、露光時間を増やすこと、増幅率を増やすこと、及び画像処理を用いて明るさを高めて光の強度を増すことのいずれかを鮮鋭なチャネルに対して行い、補正することが適切である。また、例えば、青色チャネルの光感受性が下げられている場合、通常よりも多くの青色の光を含むカメラフラッシュの使用などにより、より高レベルの青色の光で画像を照らしてもよい。

青色の光はあまり回折されないため、青色チャネルを、鮮鋭チャネルとして用いることができる。また、目は、青い光に対しては感度が最も低いため、青色チャネルにおける情報の損失は、最も影響が少ない。あるいは、緑色チャネルを、鮮鋭チャネルとして用いることもできる。なぜなら、緑色は画像における最も多くの輝度情報を提供し、鮮鋭な輝度チャネルが、良い画質のために重要であるためである。また、赤色チャネルを、鮮鋭チャネルとして用いることもできる。チャネルのあらゆる組み合わせを、例えば、赤色と青色といった、複数の鮮鋭チャネルとして用いることができる。いずれの場合においても、１つ、又は、複数の鮮鋭チャネルの色の光のみを実質的に遮断する有色開口を備えれば十分である。

これは、センサによって検出されるどんな色の組み合わせに対しても、一般化できる。例えば、もし、センサが２つの異なる緑色を検出するのであれば、その２つの緑色のうちの１つを、有色開口におけるフィルタの選択に応じて、鮮鋭チャネルとしてもよい。該有色開口は、各チャネルが異なる開口に見えるように、多色のものであってもよい。

開口で回折によってできるぼけは、ある程度、開口の透過プロファイルにより、制御される。もし、開口が、透過から不透過に急に変化すれば、１つの回折パターンが形成される。一方で、その変化が緩やかである（アポダイズされている）ならば、より滑らかな回折パターンが形成される。形成される回折パターンを制御するために、開口をアポダイズすることが望ましいであろう。これは、特に、ソフトウェアを用いて、鮮鋭チャネルにおける回折ぼけを除く場合に有用である。なぜなら、アポダイズすると、回折ぼけを物体距離に対してより一定にできるからである。

図２は、標準的なカメラシステム５の、単一のレンズ形成部の前に設けられる追加構成要素４を示している。高品質のカメラレンズは、一般的に多くの入念に設計されたレンズの構成要素を有しているため、当該図は、単純化された図である。最適な効果を得るために、高品質のカメラレンズシステムに（有色開口といった）追加構成要素を組み込む必要がある。これは、当業者によって可能である。

いったん有色開口を用いて１つの色チャネルが鮮鋭にされると、画像処理により他のチャネルも鮮鋭化されることができる。このために適切な様々な技術を以下に記載する。

そのような画像処理方法の１つに、以下のように、データから鮮鋭な輝度チャネルを形成することを試みる手法がある。

人間の視覚体系は、色度（色）よりも輝度（明るさ）における鮮鋭さを感知するのにずっと優れている。色度チャネルは、感知される鮮鋭さにおいて目に見える劣化を伴わずに、かなりぼける可能性がある。よって、画像の鮮鋭化は、既存の３つのチャネルデータから１つの鮮鋭な輝度チャネルを構築することにより、実現される。ＪＰＥＧ変換において、輝度（Ｙ）チャネルは、赤色、緑色、及び青色チャネルの混色であり、２９．９％が赤色、５８．７％が緑色、１１．４％が青色である。

青色が鮮鋭チャネルとして用いられる場合、輝度における青色の量を増やすことにより鮮鋭さが高めることができるであろう。青色チャネルが、単に輝度に移されただけの場合、その結果得られる画像は、そのままで青色チャネルとほぼ同等に鮮鋭にみえる。ところが、上記の混色において青色が多すぎる場合、出力は、著しく異なり、不自然に見える。青色の量の増加が少ないほど、容認できる程度の小さな変化が外見に生じるが、鮮鋭さを改善することができる。

輝度計算における青色の比率は低い（１１．４％）ので、青色チャネルから自然に見える画像を得ることは難しい。画像処理の代替手法においては、緑色チャネルが、輝度の５８．７％を占める鮮鋭チャネルとして用いられる。

この場合、画像処理をしなくとも、画像は十分に鮮鋭であると考えられる。鮮鋭チャネルは、有色開口によって、単に、緑色チャネルに設定され、緑色チャネルからの鮮鋭さが、当然画像を支配する。

鮮鋭さを高めるための別の画像処理の方法では、強さを変更できる何らかのぼけ修正操作が存在すると仮定している。通常の使用（鮮鋭色チャネルからの情報はない）において、この強さは、所望の鮮鋭さと所望しないノイズの増大との間での妥協の結果とならざるを得ないであろう。

この方法において、高域フィルタをかけられた鮮鋭チャネルは、鮮鋭ではない色チャネルにおけるぼけと同量分ぼけてしまう。その結果、フィルタをかけられた画像は、縁部やその他の細部の高周波成分の位置を示す。そして、このエッジマップは、画像中のぼけ修正の強さを変えるために用いられる。これにより、鮮鋭チャネルにおける縁部や細部などの高周波成分を含む領域は、鮮鋭な縁部のない領域に比べ、より大幅に鮮鋭化することができる。

鮮鋭さを向上させるために、アルゴリズムで、色副画素の相対的な位置を計算してもよい。そうでない場合には、個々の色チャネルを半画素分補正してもよい。フィルタを適用する場合、鮮鋭化が正しい位置で行われるように、この補正値を計算しなければならない。

国際公開第２００６／０９５１１０号にＤｘＯが開示した方法のいずれかを用いて、鮮鋭さを、「鮮鋭」チャネルから別のチャネルへコピーしてもよい。この国際公開の内容は本願明細書に引用するものとする。

最大限の効果を得るために、上記画像処理方法を任意に組み合わせてもよい。

１つのチャネルから別のチャネルへ鮮鋭さを移す場合、レンズの軸上色収差及び横色収差を矯正する必要がある。これらの収差により、異なる色チャネルが、互いに少し異なるように倍率をかけられてしまう場合がある。これにより、鮮鋭化アルゴリズムの効果が低減されてしまう場合がある。これらの収差を矯正する方法は、周知の技術である。

鮮鋭チャネルのぼけを除くことは有益であろう。例えば、鮮鋭チャネルは、少し回折ぼけしやすい。このわずかなぼけを、鮮鋭さが別のチャネルに移される前に、画像処理により低減することができる。これは、レンズシステムにおいて回折から発生する既知のぼけを用いて、鮮鋭チャネル画像を逆重畳することによって実現できる。

鮮鋭さを、鮮鋭チャネルから他のチャネルへ移すことが、常に最良であろう。あるいは、鮮鋭チャネルの鮮鋭さが他のチャネルより鮮鋭な場合に限って、鮮鋭チャネルの鮮鋭さを移すことも可能である。さらに別の方法として、「鮮鋭でない」チャネルが十分にぼけている場合、鮮鋭チャネルの鮮鋭さを参照することなく、鮮鋭チャネルを移しても良い。

チャネルの鮮鋭さを評価する場合に、アルゴリズムは、中央領域、または、画像中の１つ以上の領域のみを考慮にいれればよい。または、そのアルゴリズムは、画像全体、又は、画像中の表面のみを考慮にいれてもよい。あるいは、鮮鋭さの評価を画像中の各領域について行ってもよい。

処理段階では、「非鮮鋭」チャネルの中の１つにおけるぼけの量を計測し、状況に応じて鮮鋭チャネルにおけるぼけの量と比較することにより、景色における物体の距離を見積もってもよい。当該見積もりは、チャネルのうちの少なくとも１つのチャネルのぼけを修正するための適切なパラメータを選択するために、用いることができる。そのようなパラメータは、逆重畳のためのカーネルの選択、鮮鋭化アルゴリズムの形や機能強度の選択、又は、他の方法の選択を含んでよい。

可能であれば本明細書に記載されたその他のいずれかの処理に加えて、上記チャネルのいずれかのぼけ修正をするために、標準的な鮮鋭化方法、または、ぼけ修正方法を用いても良い。標準的な方法には、ぼけマスク、ハードライトアルゴリズム、条件付最適化手法、または、画像処理の当業者に周知のその他の手法を用いた鮮鋭化が含まれてもよい。

画像の少なくとも一部における「非鮮鋭」チャネルのぼけを修正するために用いることができるカーネルを算出するために、「非鮮鋭」チャネルを鮮鋭チャネルと組み合わせてよい。まずチャネルのうちの少なくとも１つを状況に応じてフィルタにかけて、「非鮮鋭」チャネルを鮮鋭チャネルと（逆もまた同様）逆重畳することにより、上記のカーネルを見積もってもよい。

鮮鋭チャネルのノイズ除去をするために、より多くの光を含み、よって、潜在的により高い信号対ノイズの比を持つ、「非鮮鋭」チャネルにおける情報を用いることが好ましい。

さらに、上述のように、画像の各部からカメラへの距離を測定することにより、前景と背景とを識別できる。これは、（例えば）背景を除去して異なる背景に置き換えた、加工肖像写真に有用であろう。

この手法は、フルカラーのデータではなく、１つ以上の鮮鋭チャネルからのデータを用いて、バーコードを読んだり、文字や名詞を読み取るために用いることができる。本出願においては、可能であれば、非鮮鋭チャネルは、ノイズ除去に用いることができる。

このようなシステムは、フォーカス遅延（ｆｏｃｕｓ ｄｅｌａｙ）がなく、レンズを動かすために必要となる高価な構造が不要である点において、標準的な自動焦点レンズより有利である。さらに、自動焦点システムでは、景色における１つの主な物体にしか焦点を合わせられないのに対し、上記のシステムでは、広い被写界深度に同時に焦点を合わせることが可能である。

さらに、このようなシステムはまた、波面符号化システムのような他の拡張された被写界深度のシステムに対しても利点がある。上述のように、物体とカメラとの距離に関わらず、既知のシステムは、画像を鮮鋭化するための画像処理を必要とする。一般的に、鮮鋭画像を形成するために画像処理を使用することは、最初から高性能な光学系を使用することに比べ、効果的ではない。画像処理が必要とならないように、全３色のチャネルの焦点を中距離および遠距離にあわせてもよい。このようにして、肖像画や風景画を含む非常に一般的な写真撮影法において、優れた結果が得られる。画像処理は、近距離の画像を鮮鋭化するためだけに必要とされる。これらの近距離の画像の質は若干落ちている場合があるが、大抵あまり重要ではない。

さらに、近距離にある白黒のバーコードを読み取る場合、データが鮮鋭チャネルから直接読み取られるため、画像処理は不要となるであろう。別のシステムでは、バーコードが読み取られる前に、画像を記録し処理する必要があるだろう。これは、不要な遅延の原因となりうる。

このタイプのカメラは、携帯情報端末や携帯電話等を構成することができ、または、これらに搭載することができる。

（実施の形態１）
図１は、実施の形態１の図である。この実施の形態では、青色チャネルのためにレンズの開口をより小さくするために有色開口が用いられ、その結果、青色チャネルにおける被写界深度が増加する。これにより、青色チャネルの鮮鋭さは、画像処理によって、青色チャネルから他のチャネルへ移される。青色チャネルの増幅率は増加し、青色チャネルにおける光入力の減少分が補償される。

このように、カメラは、少なくとも１つの第１周波数帯（青色）のような、少なくとも１つの光学的放射の第１の周波数に対する第１の被写界深度と、少なくとも１つの第２周波数帯（赤色と緑色）のような、少なくとも１つの光学的放射の第２の周波数に対する第２のより小さな被写界深度を持つ撮像システムを有している。

（実施の形態２）
図２は実施の形態２の図である。カメラシステムは、１つの色チャネルにのみ作用する追加の回折構成素子４を含む。この回折構成素子は、波符号化素子として機能し、先行技術にて周知の波符号化効果が得られるように設計されている。すなわち、構成素子４は、画像が記録された後に、画像処理によってぼけが除去できるように、広範囲の距離に渡る物体の均一なぼけを生成する。回折構成素子４は、色フィルタ材から作られる振幅マスクで作られることによって、１つの色チャネルのみに作用するように形成することができる。例えば、黄色フィルタが用いられる場合、回折構成素子は、赤色や緑色の光に対して実質的に不可視である一方で、青色の光には効果がある。

このように、カメラのレンズは、赤色及び緑色チャネルに対して標準的なレンズとして機能する。これにより、青色チャネルのみが画像処理を受けるので、中距離及び遠距離では優れた画像の質が得られる。近距離については、青色チャネルは画像処理によってぼけが修正され、被写界深度が良好でない赤色や緑色チャネルよりも鮮鋭となる。その結果、青色チャネルの鮮鋭さは、赤色及び緑色チャネルに移される。

（実施の形態３）
Ｌｅｖｉｎ他著、「符号化開口を有する従来カメラの画像及び深度（Ｉｍａｇｅ ａｎｄ Ｄｅｐｔｈ ｆｒｏｍ ａ Ｃｏｎｖｅｎｔｉｏｎａｌ Ｃａｍｅｒａ ｗｉｔｈ ａ Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ）」，ＡＣＭ ＳＩＧＧＲＡＰＨ ２００７ ｐａｐｅｒｓ， ａｒｔｉｃｌｅ Ｎｏ． ７０， ２００７に開示された技術において、「符号化開口」が開示されている。この「符号化開口」は、１つの特定の高い被写界深度の色チャネルを有するという概念に対応している。この論文は、特別なパターンを有する開口である符号化開口の利用について開示している。このパターンは、深度に依存して、画像の特定の周波数成分を遮断する。画像のどの周波数成分が画像から抜けているかを検出することにより、物体の距離が判断できる。よって、カメラレンズからのぼけの度合いを判断して、画像処理により解消することができる。符号化開口は、上記論文で述べられているように黒色及び透明な構成部品で形成される必要はないが、本実施の形態においては、符号化領域は、有色染料で作ることができる。これにより、ぼけ修正を１つの色チャネルに実施することが可能となり、いったんこの鮮鋭な色チャネルが形成されると、その鮮鋭さを他のチャネルに移すことができる。このように、画像からの特定周波数成分を遮断する影響を受けるのは、１つの色チャネルのみである。例えば、鮮鋭な青色チャネルを形成する場合、符号化開口領域は、青色チャネルのみに影響するように、黄色のフィルタで形成される。

（実施の形態４）
本発明の別の実施の形態において、有色開口は、赤外光または紫外光といった不可視光のチャネルの開口を縮小する。よって、不可視チャネルは、大きな被写界深度を有する。不可視チャネルは、センサにおける追加画素により検出され、鮮鋭さは不可視チャネルから他の色チャネルへ移される。

（実施の形態５）
別の実施の形態において、カメラは光反応染料を有する開口を有している。例えば、開口の一部が、この染料で形成されることにより、明るい照明状態においては、染料が濃くなる。これにより、開口は縮小され、被写界深度は拡大する。このような条件における光のロスは、その景色からの光量が多いので、センサにとって問題とはならない。低い光のレベルが問題を起こす可能性がある暗い状態において、その染料は透明となる。これにより、カメラの開口は拡大され、カメラの光感受性が高められる。この技術は、標準的な黒色と透明な開口に適用できる。または、この技術は、青色チャネルにおける被写界深度を向上させるために、有色開口の場合に適用できる。その場合、黄色のフィルタを、照明状態によって、黄色から透明に変化する染料で構成してもよい。これにより、内部絞りが、少なくとも１つの光学的放射の第１の周波数を減衰させる。光学的放射は、入射光の明るさの増加関数である。内部絞り（すなわち、絞りの内部部分）は、入射光の明るさに反応する物質で形成してもよい。これにより、内部部分が、第１の明るさに反応して入射光を減衰させる第１の減衰と、第１の明るさよりも明るい第２の明るさに反応して第１減衰よりも大きく減衰させる第２の減衰とを有する。

（実施の形態６）
別の実施の形態において、波面符号化システム（又は別の高被写界深度レンズ設計）が有色開口と組み合わせられる。このようにして、鮮鋭な像を作り出すために、２つの色チャネルに、波面符号化技術が用いられる。一方、第３の色チャネルでは、波面符号化と縮小された開口とが用いられる。２つの技術の組み合わせにより、第３のチャネルを、非常に鮮鋭にさせることが可能となり、その結果、より高い画質が得られる。あるいは、上記組み合わせにより、処理部分をより効率的にすることができる。その結果、より安価で速い処理工程が実現する。

（実施の形態７）
別の実施の形態において、カメラのレンズは、各色チャネルが、景色において異なる深度範囲に焦点を合わせるように、高い軸上色収差を有する。これは、ＤｘＯに用いられた技術に似ている。さらに、色チャネルのうちの１つが、ずれた収束範囲を有すると共に、拡張された被写界深度を有することができるように、有色開口が適用される。

１つのチャネルが高い被写界深度のために縮小された開口を有し、別の色チャネルが画像のぼけ修正を簡単に行うための符号化開口を有するように、符号化開口と有色開口との組み合わせが用いられる。

実際に、有色開口、符号化開口、軸方向の色収差レンズ設計（ａｘｉａｌ ｃｈｒｏｍａｔｉｃａｌｌｙ ａｂｅｒｒａｔｅｄ ｌｅｎｓ ｄｅｓｉｇｎ）、及び、波面符号化設計のどの組み合わせも、互いに連動するように用いることができる。１つの高品質の画像を作り出すために、ソフトウェアを用いて、各設計の長所を組み合わせてもよい。

図３ａ及び図３ｂは、センサ１０と撮像システム１１とを備える、別のタイプのカメラを示す。この撮像システム１１は、１つの凸レンズとして示されているが、センサ１０に画像を形成するために適切であればどのようなタイプのものでもよい。センサ１０は、適切であればどのようなタイプのものであってもよいが、一般的には、画素化された電荷結合素子センサを備える。また、センサ１０は、通常、可視光周波数帯の互いに異なる光学的放射の周波数帯に対する感度をもつ３つ以上の検出素子を備えている。これらの検出素子は、互いに交互に配置される、異なる組の素子の配列に配置される。そのようなセンサの典型的な例においては、赤色、緑色、及び青色の光に対して感度が高く、「チャネル」と呼ばれる３つの組の検出素子がある。図３ｂにおける１２及び１３は、それぞれ赤色及び青色チャネルにおける点の結像を示している。

撮像システムは、図３ａに示される開口を有する。この実施の形態において、開口は２つの半円副開口、すなわち、「領域」１４及び１５に分割される。第１及び第２の検出素子の組、又は、チャネルが、第１及び第２の周波数帯に反応する場合、開口の第１の領域１４は、少なくとも、第１の周波数帯にある光学的放射を透過させて、第２の周波数帯にある光学的放射を遮断するように構成されている。この実施の形態においては、領域１４は、緑色及び青色の光を透過させるが、赤色の光を遮断する。

第２の領域１５は、少なくとも第２の周波数帯にある光学的放射を透過させるように構成されている。図３ａの例では、第２の領域１５は、第１の周波数帯にある光学的放射を遮断する。その結果、領域１５は赤色及び緑色の光を通すが、青色の光を遮断する。第１及び第２の周波数帯（この場合、赤色及び青色の光）は、重複していない。

本実施の形態において用いられる別の開口の例が、図４ａから図４ｄに示される。図４ａにおいては、第１の領域（黄色透過領域）１４は、赤色と緑色の光（黄色の光）を透過するが、青色の光を遮断する。一方、第２の領域（透明な領域）１５は、透明であり、全ての可視光スペクトルを透過させる。図４ｂの開口においては、第１の領域（黄色透過領域）１４及び第２の領域（シアン透過領域）１５は、円形又は楕円形であり、第３の領域（緑色透過領域）１６に囲まれている。第１の領域１４は、赤色と緑色の光（黄色の光）を透過させるが、青色の光を遮断する。第２の領域１５は、青色と緑色の光（シアン光）を透過させるが、赤色の光を遮断する。そして、第３の領域１６は、緑色の光を透過させるが、赤色と青色の光を遮断する。このように、第３の領域は、第３の周波数帯にある光学的放射を透過させ、第１と第２の周波数領域にある光学的放射を実質遮断する。一方、第１及び第２の領域は、第３の周波数領域にある光学的放射を透過させるように構成されている。

図４ｃは、別のタイプの開口を示している。この開口は、透明な円形の第３の領域（透明領域）１６が開口の真ん中に配されており、赤色、緑色、及び、青色の光を透過させる点で、図３ａに示された開口とは異なっている。

図４ｄに示される開口は、環状の部分、または、領域として形成された第１の青色遮断領域１４を備える。第２の領域（透明領域）１５は、円形の開口の残部を構成しており、透明である。すなわち、第２の領域１５は、赤色、緑色、及び青色の光を透過させる。

図３ｂに示される光線経路１７、１８、及び１９は、撮像システムの光軸上の被写体からのものである。そして、光線経路１７、１８、及び１９は、被写体からの光線が実質的に互いに平行にそして、上記光軸に平行に入射するように、「無限遠」に位置している。センサ１０の手前の点２０での光線経路１７、１８、及び１９の交点によって示されるように、被写体の結像は焦点から外れている。「赤色チャネル」１２における被写体の結像は、「青色チャネル」１３における同じ被写体の結像に対して、位置がずれている。相対的ズレの量は、「ディスパリティー（ｄｉｓｐａｒｉｔｙ）」と呼ばれ、カメラから被写体への距離に依存している。例えば、被写体がカメラに遠い場合に比べて、被写体がカメラに近い場合は、赤色チャネルと青色チャネルとのずれがより大きいといえる。被写体がレンズの焦点が合っている面の前にあるか後ろにあるかによって、ずれの方向が決まる。一般的に、ある景色において異なる被写体は、レンズからの距離が異なる。したがって、ディスパリティーは、画像において、空間的に変化する。

ディスパリティーは、適切な画像処理技術のどれを用いても、計測することができる。この画像処理技術の多くは、当該分野において、周知である。適切な画像処理技術の一例は、相互相関である。この技術を、取り込まれた画像の領域に用いることで、赤色チャネルと青色チャネルにおける被写体画像のディスパリティーは、赤色と青色チャネルの画像を合わせるのに必要とされる画像移動を見積もることによって、検出することができる。

別のディスパリティーを決定するために用いられる方法は、位相相関である。さらに別の適切な技術においては、各画像における、縁や角といった画像の特徴を見つけて、ディスパリティーを算出するために、標準的な画像処理方法を用いて、これらの画像の特徴を一致させる。その結果、各被写体のカメラからの距離が求められる。カメラからの被写体の距離が既知である場合、適切に画像のぼけを修正するために、さらに画像処理技術を施してもよい。例えば、既知の特定の物体距離でのカメラのレンズによって生じたぼけの量及び空間分布は、カメラの設計者によってモデル化、又は、測定できる。画像の各領域に対してディスパリティーを求めることができ、それゆえ、物体距離を求めることができるので、画像の各領域のぼけを見積もることができる。さらに、逆重畳として知られる標準的な技術を、各領域において見積もられたぼけを変換するために用いてもよい。

別の処理技術においては、赤色と青色チャネル間のディスパリティーが全くなくなるまで、カメラの設計に基づくぼけ修正カーネルの選択をくまなく検索し、適用することにより、画像のぼけを修正することができる。ディスパリティーの無い状態が達成されると、ぼけ修正が、上手く達成されたことになる。

ディスパリティー（すなわち、カメラからの被写体の距離）の知識を別の目的にも用いてもよい。例えば、そのような知識を、景色の深度マップを作成するのに用いることができ、この深度マップは、３次元（３Ｄ）画像化、又は、３Ｄ検出のような用途に用いることができる。

図５は、センサ１０、撮像システム１１、および上記の構成のいずれかを備えるカメラを示している。センサ１０は、電荷結合素子（ＣＣＤ）であり、撮像システム１１は、有色開口を持つレンズとして示されている。センサ１０は、画像処理ユニット（処理装置）２１に接続されている。この処理装置２１は、１つ以上の画像２２を形成するために、センサ１０の出力を処理する。

図６は、センサ１０の正面図を示す。図６において、ＣＣＤ画素は、特定の色の光への感受性を有する画素を示す、濃淡の各タイプの配列として構成される。例えば、２５の画素は、緑色の光に感受性を有し、２６の画素は赤色の光に感受性を有し、２７の画素は青色の光に感受性を有している。これにより、各原色のような、各光学的放射の周波数に感度があるセンサ素子の第１、第２、及び第３の配列として、画素を構成できる。

上記処理装置２１は、上述の処理のいずれか、または、全てを行うことができる。よって、処理装置２１は、異なる周波数、又は、色の画像を処理して、図１の構成における有色開口リング２によって通される光に対して開口リング１によって与えられる被写界深度より大きな被写界深度を有する色の画像を提供する。例えば、処理装置は、（有色開口リング２によって遮断される）上記の少なくとも第１の周波数の上記画像、又は、各画像の鮮鋭さを、（有色開口リング２によって通される）少なくとも１つの第２の周波数の上記画像、又は、各画像に移すように構成しても良い。あるいは、上記処理装置２１は、上記少なくとも１つの第２の周波数の上記画像、又は、各画像から、輝度信号を生成して、その輝度画像に上記少なくとも１つの第１の周波数の上記画像、又は、各画像の鮮鋭さを移すように構成してもよい。

別の方法としては、上記処理装置２１は、少なくとも１つの第１の周波数の上記画像、又は、各画像から、輝度画像を形成するように構成される。

上記処理装置は、上記少なくとも１つの第１の周波数の上記画像、又は、各画像のぼけを修正するように構成しても良い。あるいは、上記処理装置を、画像における各物体距離を判定して、前景画像データのみを処理するように構成しても良い。あるいは、又は、追加で、上記処理装置２１は、図３ａから図４ｄに示される実施の形態において記載したように、ディスパリティー決定、距離決定、及び／または、ぼけ修正を行ってもよい。

尚、発明の詳細な説明の項においてなした具体的な実施態様、または実施例は、あくまでも、本発明の技術的内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求の範囲内で、いろいろと変更して実施することができるものである。

Claims (41)

1. 少なくとも１つの光学的放射の第１の周波数に対する第１の被写界深度と、第１の被写界深度よりも小さな、少なくとも１つの光学的放射の第２の周波数に対する第２の被写界深度とを有する撮像システムを備えることを特徴とするカメラ。
2. 上記少なくとも１つの第１の周波数が、少なくとも１つの第１の色を含むことを特徴とする請求項１に記載のカメラ。
3. 上記少なくとも１つの第１の色が、少なくとも１つの第１の原色を含むことを特徴とする請求項２に記載のカメラ。
4. 上記少なくとも１つの第１の周波数が、少なくとも１つの第１の不可視周波数を含むことを特徴とする請求項１に記載のカメラ。
5. 上記少なくとも１つの第１の周波数が、少なくとも１つの第１の周波数帯を含むことを特徴とする請求項１に記載のカメラ。
6. 上記少なくとも１つの第２の周波数が、少なくとも１つの第２の色を含むことを特徴とする請求項１に記載のカメラ。
7. 上記少なくとも１つの第２の色が、少なくとも１つの第２の原色を含むことを特徴とする請求項６に記載のカメラ。
8. 上記少なくとも１つの第２の周波数が、少なくとも１つの第２の周波数帯を含むことを特徴とする請求項１に記載のカメラ。
9. 上記撮像システムが、上記少なくとも１つの光学的放射の第１の周波数に対する第１の被写界深度を与えるための波面符号化素子を有することを特徴とする請求項１に記載のカメラ。
10. 上記撮像システムが、上記少なくとも１つの光学的放射の第１の周波数に対する第１の被写界深度を与えるための符号化開口を有することを特徴とする請求項１に記載のカメラ。
11. 上記符号化開口が、有色染料で形成されていることを特徴とする請求項１０に記載のカメラ。
12. 上記撮像システムが、上記少なくとも１つの光学的放射の第１の周波数に対する第１の被写界深度を与えるための有色開口を有することを特徴とする請求項１に記載のカメラ。
13. 上記撮像システムが、符号化開口と有色開口との組み合わせを備えることを特徴とする請求項１に記載のカメラ。
14. 上記有色開口が、上記少なくとも１つの光学的放射の第１の周波数のための第１の開口と、第１の開口よりも大きく、上記少なくとも１つの光学的放射の第２の周波数のための第２の開口とを有する絞りを備えていることを特徴とする請求項１２または１３に記載のカメラ。
15. 上記絞りが、第２の開口を規定する外部絞りと、第１の開口を規定する内部絞りとを備えることを特徴とする請求項１４に記載のカメラ。
16. 上記内部絞りが、上記少なくとも１つの第１の周波数を実質的に遮断し、上記少なくとも１つの第２の周波数を透過させる光学フィルタを備えることを特徴とする請求項１５に記載のカメラ。
17. 上記内部絞りが、上記少なくとも１つの第１の周波数を減衰させ、第１の周波数は、入射光の明るさの増加関数であることを特徴とする請求項１５に記載のカメラ。
18. 上記内部絞りが、光反応染料を含むことを特徴とする請求項１５に記載のカメラ。
19. 上記内部絞りと外部絞りのうちの少なくとも１つが、アポダイズされていることを特徴とする請求項１５に記載のカメラ。
20. 上記第１の開口の面積が、上記第２の開口の面積の実質的に半分であることを特徴とする請求項１４に記載のカメラ。
21. 上記撮像システムが、上記少なくとも１つの光学的放射の第１の周波数に対する第１の被写界深度を与えるためのアポダイズされた有色開口を有することを特徴とする請求項１に記載のカメラ。
22. 上記少なくとも１つの第１の周波数に対して感応するセンサ素子の少なくとも１つの第１の配列と、
    上記少なくとも１つの第２の周波数に対して感応するセンサ素子の少なくとも１つの第２の配列とを備えることを特徴とする請求項１に記載のカメラ。
23. 第２の被写界深度よりも大きい被写界深度を有する色画像を提供するために、第１及び第２の周波数の画像を処理するための画像処理装置を備えることを特徴とする請求項１に記載のカメラ。
24. 上記処理装置は、上記少なくとも１つの第１の周波数の上記画像または各画像の鮮鋭さを、上記少なくとも１つの第２の周波数の上記画像または各画像に移すように構成されていることを特徴とする請求項２３に記載のカメラ。
25. 上記処理装置は、上記少なくとも１つの第２の周波数の上記画像、又は、各画像から、輝度画像を形成して、上記少なくとも１つの第１の周波数の上記画像、又は、各画像の鮮鋭さを上記輝度画像に移すように構成されていることを特徴とする請求の請求項２３に記載のカメラ。
26. 上記処理装置は、上記少なくとも１つの第１の周波数の上記画像、又は、各画像から、輝度画像を形成するように構成されていることを特徴とする請求項２３に記載のカメラ。
27. 上記処理装置は、上記少なくとも１つの第１の周波数の上記画像、又は、各画像のぼけを修正するように構成されていることを特徴とする請求項２３に記載のカメラ。
28. 上記処理装置は、上記画像における物体距離を判定して、前景物体の画像データのみを処理するように構成されていることを特徴とする請求項２３に記載のカメラ。
29. 第１の開口を規定する内部部分と、第１の開口よりも大きい第２の開口を規定する外部部分とを有する絞りを備え、
    上記内部部分が、入射光の明るさに反応する物質で形成され、第１の明るさに応じて入射光を減衰させる第１の減衰と、第１の明るさよりも明るい第２の明るさに応じて第１減衰よりも大きく減衰させる第２の減衰とを有することを特徴とする撮像システム。
30. 請求項２９に記載の撮像システムを備えるカメラ。
31. センサ、及び、上記センサに画像を形成するための撮像システムを備え、
    上記センサが、光学的放射の第１の周波数帯に対して感度をもつ検出素子の第１の組と、上記第１の周波数帯とは異なる光学的放射の第２の周波数帯に対して感度をもつ検出素子の第２の組とを有し、
    上記撮像システムは開口を備え、
    上記開口は、少なくとも上記第１の周波数帯の光学的放射を透過させ、上記第２の周波数帯の光学的放射を実質的に遮断するように構成された第１の領域と、少なくとも上記第２の周波数帯の光学的放射を透過させるように構成された第２の領域とを有することを特徴とするカメラ。
32. 上記第２の領域が、上記第１の周波数帯の光学的放射を実質的に遮断するように構成されることを特徴とする請求項３１に記載のカメラ。
33. 上記第１、及び、第２の周波数帯のうちの少なくとも１つが、可視光周波数帯にあることを特徴とする請求項３１に記載のカメラ。
34. 上記第１、及び、第２の周波数帯が、重複していないことを特徴とする請求項３１に記載のカメラ。
35. 上記開口が、上記第１、及び、第２の領域と異なる周波数透過域を有する第３の領域を備えることを特徴とする請求項３１に記載のカメラ。
36. 上記第３の領域は、少なくとも第１、及び、第２の周波数帯の光学的放射を透過させるように構成されることを特徴とする請求項３５に記載のカメラ。
37. 上記第３の領域は、第３の周波数帯の光学的放射を透過させ、上記第１、及び、第２の周波数帯の光学的放射を実質的に遮断するように構成され、
    上記第１、及び、第２の領域が、上記第３の周波数帯の光学的放射を透過させるように構成されることを特徴とする請求項３５に記載のカメラ。
38. 上記検出素子の第１及び第２の組により検出される像の少なくとも一部の間にあるディスパリティーを測定するように構成されている画像処理装置を備えることを特徴とする請求項３１に記載のカメラ。
39. 上記画像処理装置が、上記ディスパリティーから、上記カメラからの物体の距離を測定するように構成されていることを特徴とする請求項３８に記載のカメラ。
40. 上記画像処理装置が、上記物体の距離に基づいて、画像のぼけ修正を行うように構成されていることを特徴とする請求項３９に記載のカメラ。
41. 携帯情報端末、又は、携帯電話を備える請求項１、３０または３１に記載のカメラ。

Images