JP2014507856A - レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法 - Google Patents

Abstract

【課題】レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
【解決手段】撮像部（１００）のレンズ部（１２０）は、縦の色収差を特徴とする。撮像されたシーンから、イメージセンサ（１４０）は、異なるスペクトル内容の色補正されていない第１の画像を取得する。明度処理部（２０２）は、レンズ部（１２０）の撮像特性の情報に基づいて第１の画像から広域輝度鮮明度情報を算出する。色度処理部（２０１）は、第１の画像に基づいて色度情報を算出する。同期部（２８０）は、例えば、拡張された被写界深度を有する出力画像を提供するために、算出された色度情報及び輝度情報を合成する。撮像部（１００）は、例えば、カメラシステム又はデジタル顕微鏡又はデジタル望遠鏡において提供され得る。
【選択図】図１Ａ

Description

本発明は、撮像後のデジタル画像処理技術の分野に係るものである。一実施形態は、縦の色収差を伴う色補正されないレンズ部と、撮像後のデジタル画像処理のための処理部を含むイメージングシステムに関する。さらなる実施形態は、縦の色収差を伴う色補正されないレンズ部を含むイメージングシステムの操作方法に関する。

Ｆ．Ｇｕｉｃｈａｒｄ ｅｔ ａｌ．，”Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ−ｏｆ−Ｆｉｅｌｄ ｕｓｉｎｇ Ｓｈａｒｐｎｅｓｓ Ｔｒａｎｓｐｏｒｔ ａｃｒｏｓｓ Ｃｏｌｏｕｒ Ｃｈａｎｎｅｌｓ”，ＳＰＩＥ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅｉｎｇ，２００９，は、物体距離に対して少なくともＲＧＢ画像の１つの色平面が焦点の当たっているシーンの情報を含む拡張された被写界深度の画像を得る方法について述べている。Ｏｌｉｖｅｒ Ｃｏｓｓａｉｒｔ ｅｔ ａｌ．，”Ｓｐｅｃｔｒａｌ Ｆｏｃａｌ Ｓｗｅｅｐ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ ｆｒｏｍ Ｃｈｒｏｍａｔｉｃ Ａｂｅｒｒａｔｉｏｎｓ”，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ（ＩＣＣＰ），Ｍａｒｃｈ ２０１０，は、拡張された被写界深度の画像を復元するために、大きい縦の色収差レンズで得られる２値画像（ｂｉｎａｒｙ ｉｍａｇｅ）から畳み込みを解くスペクトルフォーカルスイープ（ｆｏｃａｌ ｓｗｅｅｐ）カメラを提供する。Ｓｈｅｎ， Ｃ．Ｈ． ａｎｄ Ｃｈｅｎ，ＨＨ，”Ｒｏｂｕｓｔ ｆｏｃｕｓ ｍｅａｓｕｒｅ ｆｏｒ ｌｏｗ−ｃｏｎｔｒａｓｔ ｉｍａｇｅｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ（ＩＣＣＥ），２００６，は、焦点と鮮明度の情報を評価するために、離散コサイン変換エネルギー測定を用いることを提案している。

Ｍａｎｕ Ｐａｒｍａｒ ａｎｄ Ｂｒｉａｎ Ｗａｎｄｅｌｌ，”Ｉｎｔｅｒｌｅａｖｅｄ Ｉｍａｇｉｎｇ：Ａｎ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ Ｄｅｓｉｇｎ Ｉｎｓｐｉｒｅｄ ｂｙ Ｒｏｄ−Ｃｏｎ Ｖｉｓｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ，２００９，は、グレースケール画像を得るための高感度の白黒ピクセルセットとカラー画像を得るための低感度の３色ピクセルセットによるイメージング構造を提案している。明度が低い条件の下では、出力画像の空間情報は主にグレースケール画像から導出されるが、高感度ピクセルが飽和させられている明所視の条件下では、出力画像はカラー画像からのみ導出される。透明視の条件下では、出力画像はカラー、グレースケール両方から導出される。ここで、各ピクセル値は距離関数及び相似関数を用いることによって隣接ピクセル値を考慮して更新される。相似関数は、各カラー及びグレースケール両方の情報を提供する。ここで、グレースケール情報の重みは、その時点で距離及び相似が評価された隣接ピクセル周辺の画像パッチにおける飽和ピクセルの割合で決定される。

Ｓ．Ｃｈｕｎｇ ｅｔ ａｌ．，”Ｒｅｍｏｖｉｎｇ Ｃｈｒｏｍａｔｉｃ Ａｂｅｒｒａｔｉｏｎ ｂｙ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｅｄｉｎｇ”；Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ；Ｖｏｌ．４９（６）；Ｊｕｎｅ ２０１０；は、色差信号の幅境界の評価に対して色収差を示さないエッジにおける色の振舞いを解析することによって色収差を除去することを提案している。幅境界条件を妨げるピクセル値は、色収差を引き起こすカラーフリンジと認識され、許容値に置き換えられる。

本願発明の目的は、少ない計算量でより良い画像を得るために改良されたイメージングシステムを提供することにある。

上記目的は、独立項の内容で達成される。さらなる実施形態は従属項で個別に定義される。発明の詳細と効果は、後述する添付の図面と関連した実施形態の説明により明らかにされる。多様な実施形態の特徴は互いに排除されずに組合せられ得る。

図１Ａは、本願発明の一実施形態による撮像処理部、及び縦の色収差を伴う色補正されないレンズ部を含むイメージングシステムのブロック図である。 図１Ｂは、図１Ａの撮像処理部のブロック図である。 図２は、また別の実施形態によるイメージングシステムの撮像部の断面図である。 図３Ａは、一実施形態によるＲＧＢ画像の補間に関する輝度処理部の詳細のブロック図である。 図３Ｂは、一実施形態によるＲＧＢＩＲ画像の補間に関する輝度処理部の詳細のブロック図である。 図３Ｃは、本願発明のさらにまた別の実施形態によるデコンボリューション（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）に関する輝度処理部の詳細のブロック図である。 図４Ａは、本願発明の効果を表すために分光感度を表している図である。 図４Ｂは、本願発明の効果を表すために標準的な輝度に対するＰＳＦの深度分散（ｄｅｐｔｈ ｖａｒｉａｎｃｅ）を表している図である。 図４Ｃは、本願発明の効果を表すために広域輝度に対するＰＳＦの深度分散を表している図である。 図４Ｄは、基礎発明の効果を表すために色補正されるレンズ集合体の点拡がり関数を示している図である。 図４Ｅは、基礎発明の効果を表すために色補正されないレンズ集合体の点拡がり関数を示している図である。 図４Ｆは、本願発明の効果を表すためにＩＲセンサの分光感度を含む分光感度を表している図である。 図５Ａは、一実施形態による深度マップの生成にかかる色度処理部の詳細のブロック図である。 図５Ｂは、ＩＲセンサについての一実施形態による深度マップの生成に係る色度処理部の詳細のブロック図である。 図５Ｃは、さらに別の実施形態による同期部の詳細のブロック図である。 図６Ａは、一実施形態によるＲＧＢＷ画像から出力画像を導出するプロセスを表している図である。 図６Ｂは、一実施形態によるＲＧＢＩＲ画像から出力画像を導出するプロセスを表している図である。 図６Ｃは、一実施形態によるＲＧＢ画像から出力画像を導出するプロセスを表している図である。 図６Ｄは、一実施形態によるＲＧＢＩＲ画像から出力画像を導出するプロセスを表している図である。 図７は、発明のまた別の実施形態によるイメージングシステムを操作する方法に係る単純化されたフローチャートである。

本稿の読解を簡単化するための決め事として、可視及び赤外線のスペクトルのいずれの部分幅も「色」と呼ぶ。この呼び方が人間の視力の見地から正しくないとしても、特にＩＲを色と呼ぶ。例えば、ＩＲのスペクトル幅における放射線のみを伝達させるフィルタも「カラーフィルタ」と呼ばれる。

図１は、撮像部１００を含むイメージングシステム４００を示す。イメージングシステム４００は、携帯又は固定カメラシステムの一部であり、例えば、監視カメラシステム、診断又は外科手術用カメラ、生産工程管理システムに備えられたカメラ、デジタル顕微鏡、デジタル望遠鏡、一般消費者向け又はプロ仕様の静止カメラ又はビデオカメラ、その他遠隔操作又はゲームアプリケーションで動きや姿勢を検出するカメラであり得る。他の実施形態によれば、イメージングシステムは、例えば、携帯電話、ＰＤＡ、音楽プレイヤーのようなカメラシステムを含む手持ちデバイスに組み込まれる。

撮像部１００は、開口部１１０を含み、開口部１１０の開口部を通過する放射線がレンズ部１２０とイメージセンサ部１４０の付随物を通過するよう配置される。開口部１１０はレンズ部１２０の内部に配置され、特にレンズ部１２０の瞳面の位置に配置され得る。

レンズ部１２０は、１枚のレンズ、マイクロレンズの配列、又は複数のレンズを含むレンズの集合であり得る。レンズ部１２０は、縦の色収差を特徴としており、撮像部１００は、色補正された画像を生成するための縦（軸上）の色収差を相殺する要素を含まない。例えば、レンズ部１２０は、屈折率が波長の関数として焦点距離の変化する入射光線の波長の関数であるガラス又はプラスチックのような分散性の高い素材で形成された合成レンズである。例えば、レンズ部１２０は、第１の焦点面Ｆ_ＩＲの赤外線、焦点面Ｆ_Ｒの赤の可視光線、焦点面Ｆ_Ｇの緑の光線、焦点面Ｆ_Ｂの青の光線を撮像する。

ある実施形態によれば、レンズ部１２０は、レンズ部１２０が球面収差又は場依存収差（ｆｉｅｌｄ ｄｅｐｅｎｄｅｎｔ ａｂｅｒｒａｔｉｏｎ）を示さない、又はほとんど無視できる程度に示すように、球面収差又は場依存収差を相殺する相殺要素を含み得る。

イメージセンサ部１４０は、複数のピクセルセンサを含み、各ピクセルセンサは光信号（ｐｈｏｔｏ ｓｉｇｎａｌ）を入射光から電気信号に変換するフォトセンサを備える。イメージセンサ部１４０は、１つのイメージセンサ部１４０の全てのピクセルセンサのピクセル値をデジタル形式で含む画像信号を出力し得る。

撮像部１００は、グレースケール画像及び赤外線画像を提供し得る。他の実施形態によれば、カラーフィルタ部１３０は、レンズ部１２０とイメージセンサ部１４０との間に配置され得る。カラーフィルタ部１３０は、複数のカラーフィルタ部を備え、各カラーフィルタ部は、例えば、青、赤、緑、白、赤外線のようなフィルタ色を持つ。各カラーフィルタ部は、１つの単一ピクセルセンサに配置され得、各ピクセルセンサは特定色の画像情報を受け取る。イメージセンサ部１４０は、２つ、３つ、４つ、又はそれ以上の異なる部分画像を出力し、各部分画像は入射光の特定の周波数帯に関する画像情報を含む。部分画像の１つは、撮像されたシーンの赤外線部分を表し得る。

イメージセンサ部１４０は、撮像されたシーンから異なるスペクトル内容（ｓｐｅｃｔｒａｌ ｃｏｎｔｅｎｔ）又は分光組成である複数の色補正されていない第１の画像、例えば、「赤」のフィルタ色を使用した「赤」の画像、「青」のフィルタ色を使用した「青」の画像、「緑」のフィルタ色を使用した「緑」の画像を取得する。第１の画像の１つは、少なくとも赤外部分を構成する又は含み得、各画像信号を出力する。異なるスペクトル内容の画像の画像は、重複したスペクトル内容の画像を含み得る。例えば、イメージセンサ部１４０は、フィルタ色が可視スペクトル全体に対してほぼ透明である「白」の広域カラーフィルタ部に配置される広域の精度の高いピクセルセンサを含み得る。以下では、異なるスペクトル内容の第１の画像は、色平面又は画像とし、可視スペクトル全体に及ぶ情報を含むグレースケール画像を含み得、赤外線のような可視領域の外側のスペクトル内容を指し得る。

画像処理部２００は、輝度情報と色情報の両方を含む色平面を受け取り、修正出力画像信号を計算する。修正出力画像信号は、例えば、第１の画像と比べて被写界深度を浅く又は深くした画像、又はリフォーカスされた画像、又は３Ｄ効果を特徴づけた画像であり得ることを表す。

修正画像は、例えば、色付けされた画像を表すデジタル値の集合として、イメージングシステム４００の不揮発性メモリ３１０に格納され得る。不揮発性メモリ３１０は、カメラシステムのメモリーカードであり得る。代わりに、又はさらに、修正画像は、イメージングシステム４００のディスプレイデバイスに表示され得、または有線又は無線通信チャネルを介してイメージングシステム４００に接続された別のシステムへ出力され得、または修正出力画像に含まれる情報のさらなる処理のため、処理システム又はアプリケーションに供給され得る。

図１Ｂは、画像処理部２００の詳細を示す。明度（ｉｎｔｅｎｓｉｔｙ）処理部２０２は、輝度情報から、例えばＰＳＦ（点拡がり関数（ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ））のようなレンズ部１２０の撮像特性であるレンズのパラメータに基づいて広域輝度鮮明度情報（ｓｈａｒｐ ｉｎｔｅｎｓｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）を計算し得る。広域輝度は、明度画像に対応する。色度処理部２０１は、色情報に基づいてレンズ部１２０の使用により生じる色収差を補正することによって色度情報を計算し得る。同期部２８０は、輝度情報から得られた結果物である鮮明度情報と、色情報から導出され補正された色度情報と、に基づいて修正出力画像を同期する。

ある実施形態によれば、明度処理部２０２は、撮像部１００の出力信号、例えば色平面、に基づいて広域輝度情報を計算する輝度前処理部２５０を含む。デコンボリューション部２６０は、広域輝度情報に基づいて広域輝度鮮明度情報（ｓｈａｒｐ ｉｎｔｅｎｓｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）を計算するため、レンズ部１２０の情報を利用する。

図１Ａのイメージセンサ部１４０は、特に「白」の色平面又はグレースケール画像、例えば、４×４又は２×４のＲＧＢＷモザイクパターンのようなＲＧＢＷモザイクパターンを使った画像、を供給し得る。その際、少なくとも昼光条件（Ｄａｙｌｉｇｈｔ Ｃｏｎｄｉｔｉｏｎ）の下では、「白」の色平面は、直接的に、デコンボリューション部２６０へ供給される広域輝度情報を表し、明度処理部２０２は、「白」の色平面に基づいて鮮明度（Ｓｈａｒｐ Ｉｎｔｅｎｓｉｔｙ）情報を計算する。

イメージセンサ部１４０が「白」の色平面を出力しない場合には、輝度前処理部２５０は、色平面に基づいてグレースケール画像を計算し、算出されたグレースケール画像を広域輝度情報としてデコンボリューション部２６０へ供給する

明度処理部２０２が鮮明度情報を計算している間、色度処理部２０１は、ＩＲ平面を含み得る色情報を計算する。レンズ部１２０の色収差により、色ごとに焦点距離が異なる。ここで、レンズ部に使われる典型的な分散性のある素材に対して、波長の短い光線は波長の長い光線より浅い深さの焦点に集まる。色度処理部２０１は、各色平面の焦点を測定すること、及び得られた焦点測定を互いに比較することによって、粗い深度を生成し得る。この情報に基づいて、ＩＲ平面を含み得る色平面の色収差は、色収差から生じる色ボケの影響を除去するために補正される。

色度処理部２０１は、ＩＲ平面を含み得る色平面の前処理を行う色度前処理部２１０、色及びＩＲ平面のピクセル値に対する深度値を結集した深度マップを生成する深度推定部２２０を含み得る。補正部２３０は、主に色補正されないレンズ部１２０の利用によって生じる色収差を補正する。例えば、補正部２３０は、色差信号の幅境界を評価することによって色収差を示さないエッジの色の振舞いを解析し、色収差によって生じるカラーフリンジとして幅境界を妨げるピクセル値を識別して、これらのピクセル値を許容値に置き換える。またもう一つの実施形態によれば、補正部２０３は、例えば深度マップに基づいて色平面における鮮明度情報を交換し得る。

図１の画像処理部２００のすべての要素は、例えば集積回路として、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、ＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）のようなハードウェアのみか、例えばコンピュータプログラム又はマイクロコントローラメモリに実装され得るソフトウェアのみか、またはハードウェア及びソフトウェアの要素の組合せによって具現化され得る。

図２は、撮像部１００の断面図を示す。撮像部１００は、開口部１１０を含み得、露出している間、シーン又は物体の画像である可視光線又は／及び赤外線は、開口部１１０の開口１１５、レンズ部１２０、イメージセンサ部１４０の付随物を通過する。イメージセンサ部１４０は複数のピクセルセンサ１４５を備える。各ピクセルセンサ１４５は、光信号を入射光から電気信号へ変換するフォトセンサを含む。ピクセルセンサ１４５は、半導体基板に形成され得る。ピクセルセンサ１４５は、１平面又は異なる平面に配置され得る。撮像部１００は、レンズ部１２０とイメージセンサ部１４０の間、又は開口部１１０とレンズ部１２０の間にカラーフィルタ部１３０を備える。

例えば、イメージセンサ部１４０は、半導体基板の基板表面に対し隣接して形成される表面フォトダイオードの数ミクロン下の基板部分に形成される深いフォトダイオードを備え、垂直に取り付けられるフォトダイオード構造を有する。可視光線は半導体基板の表面部で吸収され、赤外線は半導体基板へより深く突き抜ける。その結果、深いフォトダイオードのみが赤外線を受光する。もう一つの例では、イメージセンサ部１４０は、フォトダイオードが配列で配置された構成のフォトダイオードを統合した側部を有し得る。

カラーフィルタ部１３０は、イメージセンサ部１４０と密接して配置され得、複数のカラーフィルタ区分１３５を含み得、各カラーフィルタ区分１３５は、例えば、緑、赤、青、マゼンタ、黄、白、又はＩＲ（赤外線）のようなフィルタ色を有する。各カラーフィルタ区分１３５は１つのピクセルセンサ１４５に配置され、各ピクセルセンサ１４５は、画像の色差情報を受け取る。例えば、２×２行列で形成されるカラーフィルタ区分１３５は、ベイヤーモザイクパターンを形成するように配置され得、「緑」のフィルタ色のカラーフィルタ区分１３５が、２×２行列のある一方の対角線に配置され、１つの「赤」のフィルタ色のカラーフィルタ区分１３５及び１つの「青」のフィルタ色のカラーフィルタ区分１３５が、もう一方の２×２行列の対角線に配置される。ベイヤーモザイクパターンでは、「緑」のフィルタ色のサンプリングレートは、緑色が人間の目に対して最も多くの輝度情報を伝えることを考慮して、「赤」及び「青」のフィルタ色の２倍となっている。

もう一つの実施形態によれば、カラーフィルタ区分１３５は、４つ目のフィルタ色である「エメラルド」を伴うＲＧＢＥモザイクパターン、又は１つのシアン、２つの黄、１つのマゼンタのカラーフィルタ区分１３５からなるＣＹＹＭモザイクパターン、又は１つのシアン、１つの黄、１つの緑、１つのマゼンタのカラーフィルタ区分１３５からなるＣＹＧＭモザイクパターン、を形成するために、カラーフィルタ部１３０の中に連続して配置される２×２の行列群に配置され得る。もう一つの実施形態によれば、カラーフィルタ部１３０は、異なる三つのフィルタ色である３つのカラーフィルタ部のモザイク行列群、及びカラーフィルタ能力を持たず、可視スペクトル内の全ての色に対して透過的な１つの透明フィルタ部を含む。透過フィルタ部及びカラーフィルタ区分１３５は、例えば、４×４又は２×４のＲＧＢＷモザイクパターンのようなＲＧＢＷモザイクパターンを形成するように配置され得る。

カラーフィルタ区分１３５のフィルタ幅は、可視スペクトルの一部に制限されない。ある実施形態によれば、カラーフィルタ１３０は、少なくとも１つの赤外線に対し透過的なタイプであるカラーフィルタ部を含む。例えば、カラーフィルタ１３０は、各２×２の行列群が１つの赤、１つの緑、１つの青、１つの赤外部のカラーフィルタ区分１３５を含み、行列群は、規則的にモザイクパターンを形成するように配置されるＲＧＢＩＲフィルタである。４つの色である、Ｒ、Ｇ、Ｂ、ＩＲは、２×２の行列群の中にいずれの並べ方によっても配置される。

赤外線は、カラーフィルタ区分１３５の間にある赤外線透過部１３３を通ってカラーフィルタ部１３０を通過し得る。ある実施形態によれば、カラーフィルタ１３０は、少なくとも１つの赤外線に対し透過的なタイプのカラーフィルタ部を含む。例えば、カラーフィルタ１３０は、各２×２の行列群が１つの赤、１つの緑、１つの青、そして１つの赤外部のカラーフィルタ区分１３５を含み、行列群は、モザイクパターンを形成するように規則的に配置されるＲＧＢＩＲフィルタである。別の実施形態によれば、カラーフィルタ部１３０は、カラーフィルタ区分１３５が赤外線の周波数帯の部分に対し透過的であり得るため、深いフォトダイオードに配置された部分を含まない。

色収差の影響で、青、緑、赤、赤外部の各カラー画像は、近くから遠くまで相異なる距離に焦点が集まり、各４つの画像平面の鮮明度の測定又は比較によって、４つの深度マップの層が計算され得る。

各レンズ部１２０は、複数の区分を有するマイクロレンズの配列として実現され得る。レンズ部１２０の各レンズ区分は、１つのピクセルセンサ１４５及び１つのカラーフィルタ区分１３５に対して配置され得る。

他の実施形態によれば、レンズ部１２０は、物体空間の物体をセンサ平面に撮像するように構成される複数のレンズを備えるように実現され得る。色収差の影響により、青、緑、赤、赤外部の各カラー画像は、異なる距離で別の焦点平面に焦点を集め得る。２又はそれ以上のセンサ平面を持つイメージセンサ部に係る実施形態においては、赤外線に対する第１の焦点平面と可視光線に対し割当てられる第２の焦点平面との間の距離は、通常は第１のセンサ平面と第２のセンサ平面との間の距離と一致しない。結果として、この場合、第１の画像及び第２の画像のうちの少なくとも１つは、赤外線の画像及び可視光線の画像の両方が同時に取得される時、大幅に焦点から外れる。

図３Ａは、ＲＧＢベイヤーモザイクのカラーフィルタを利用するイメージセンサ部１４０からカラーフィルタされた第１の画像、例えば、赤、緑、青の色平面を受け取る輝度前処理部２５０の一実施形態を示す。他の実施形態によれば、イメージセンサ部１４０は、シアン、黄、マゼンタ、緑の色平面を供給するＣＹＧＭセンサであるか、シアン、黄、マゼンタの色平面を供給するＣＹＹＭセンサであり得る。

輝度前処理部２５０は、受け取った各色平面に対し、各ピクセルは各々別のフィルタ色を割り当てられために有効なピクセル値を持っていない各色平面のピクセル値を補間する補間部２５２を含み得る。補間は、失われたピクセル値を同じ色平面の隣接するピクセル、及び／又は、対応する別の色平面のピクセルの値から推定することによって行われ得る。撮像部１００が１つのカラーチャネルのみを出力する実施形態は、１つ、又は２つ、又は全てのカラーチャネルに対し個別に重みづけ部２５６を提供する。各重みづけ部２５６は、色平面のピクセル値に色平面に割り当てられる特定の値を乗じる。重畳部２５４は、図１Ｂのデコンボリューション部２６０に供給するグレースケール画像を得るために、補間され、重みづけられた色平面を合成し得る。ＲＧＢセンサに係るある実施形態によれば、算出された広域輝度は、等しく重みづけられた赤、緑、青のカラーイメージをまとめることによって得られ得る。

各重みづけ部２５６は、構築されずに、重み「１」で色平面を重みづけるための有線接続であり得る。また別の実施形態は、設定可能な重みづけ部２５６と、照明条件の関数、又はユーザの入力に対する反応、で重みづけ部２５６の重みを設定する重みづけ制御部２５８とを提供する。少なくとも重みの１つは、「０」の値であり得る。ある実施形態によれば、明度画像は、白や赤外部分を含むセンサ平面における入手可能な全てのスペクトル成分の加重平均である。

ある実施形態によれば、イメージングシステムは、算出された広域輝度を得るための重みを選択するために、シーンに光を当てる光源のタイプについての情報を利用する。例えば、少なくとも１つの特定のタイプの光源に対して、適切な色の重みについての情報が重みづけ制御部２５８に格納され得る。ここで、色の感度に各重みを乗じることによって得られた色成分の合計を乗じられた光源のパワースペクトル密度が、ある深度不変量のＰＳＦを達成するために、スペクトルの可視領域にわたって広範囲で均一であるように、色の重みは予め定義される。重みづけ制御部２５８は、光を当てている撮像されたシーンの光源を日光又は、例えば、白熱灯、蛍光灯、ＬＥＤ灯などの人工光に分類するために適合させられ得る。他の実施形態によれば、重みづけ制御部２５８は、光源のタイプを指示しているユーザの命令を処理し得る。

また別の実施形態によれば、撮像部１００は、複数層のイメージセンサからなり、ピクセルセンサ層が透明な基盤上に積み上げられ、各ピクセルセンサの層は赤、緑、青の光線が半導体を通過して異なる深さに達する事実を利用することによって、入射光線の別のスペクトル幅に対して敏感である。前述のような場合は、イメージセンサは完全な色平面が提供され、例えば、積層されたピクセルセンサが利用されて、補間部２５２は省略され得る。

図３Ｂは、カラーフィルタされた第１の画像群、例えば、ＲＧＢＩＲベイヤーモザイクカラーフィルタを用いるイメージセンサ部１４０からの、赤、緑、青、赤外部の色平面、を受け取る輝度前処理部２５０の実施例を示す。他の実施形態によれば、イメージセンサ部１４０は、シアン、黄、マゼンタ、緑、赤外部、の色平面を供給するＣＹＧＭＩＲセンサ、又はシアン、黄、マゼンタ、赤外部、の色平面を供給するＣＹＹＭＩＲセンサであり得る。

算出された広域輝度は、少なくとも昼光条件の場合、同じ重みの赤、緑、青、赤外部のカラーイメージを足し合わせることによって得られ得る。

図３Ｃは、デコンボリューション部２６０の実施形態を示す。デコンボリューション部２６０は、例えば、グレースケール画像のような広域輝度情報を受け取り、レンズ部１２０の撮像特性の情報を使って鮮明度情報を復元する。ある実施形態によれば、デコンボリューション部２６０は、図１のレンズ部１２０の撮像特性のようなＰＳＦを使ってグレースケール画像をデコンボリューションする。点拡がり関数は、メモリ部２６２に格納され得る。副デコンボリューション部２６４は、デコンボリューションを実行し、鮮明度情報を表すグレースケール画像を出力する。

図３Ｃのデコンボリューション部２６０のある実施形態によれば、メモリ部２６２は、インフォーカス（ｉｎ−ｆｏｃｕｓ）のＰＳＦを格納し得る。他の実施形態によれば、メモリ２６２部は、複数の異なる被写界深度の幅に対する点拡がり関数を格納し得、それらのうちの１つがユーザ要求に対応する反応として選択され得る。例えば、ＰＳＦの深度不変性（ｄｅｐｔｈ ｉｎｖａｒｉａｎｃｅ）の大きさがそれほど大きくない場合には、「接写」、「肖像」、「風景」のようなユーザ選択可能なシーンモードに対応するインフォーカスのＰＳＦ及び１つ、２つ、３つ以上のＰＳＦが提供され得る。

結果として生じる鮮明度情報は、ほぼ、広域のスペクトルを有するような物体の大きい被写界深度に対しての深度不変量（ｄｅｐｔｈ ｉｎｖａｒｉａｎｔ）である。これは現実世界の物体の多くに対して当てはまる。

図４Ａから４Ｅは、デコンボリューションのプロセスの詳細と効果を示す。図４Ａの上半分は、ＲＧＢイメージセンサの分光感度の第１の図を示す。曲線４２２は「赤」のカラーフィルタが配置されたピクセルの分光感度であり、曲線４２４は「緑」のカラーフィルタが配置されたピクセルの分光感度であり、「青」のカラーフィルタが配置されたピクセルの分光感度である。全ての線図において、分光感度は、波長の関数としてプロットされる。

図４Ａの下半分は、左側で「標準的な」輝度４２８の分光感度を表す第２の図を示し、広域輝度４２９の分光感度を表す第３の図を示している。通常、輝度は、ＲＧＢからＹＵＶへの変換によってＲＧＢ色平面から取得され、ＹＵＶ空間では、Ｙはグレースケール画像または輝度を表し、ＵＶは２つのカラーチャネル又は色度の微分を表し、輝度はＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅｌ’Ｅｃｌａｉｒａｇｅ）１９３１標準によって定義された比視感度にほぼ相当する方法で定義される。標準的な輝度Ｙは、ＷＲ＝０．２９９で赤の信号を、ＷＢ＝０．１１４で青の信号を、ＷＧ＝０．５８７で緑の信号を重みづけ、３つの重みづけ操作の結果を合計することによって得られる。第２の図に示された標準的な輝度の分光感度の曲線４２８は、第１の図の分光感度の曲線４２２、４２４、４２６にこれらの重みづけを適用した結果である。

対して、実施形態によって算出された広域輝度４２９は、主にパンクロマチック（ｐａｎｃｈｒｏｍａｔｉｃ）センサ素子によって取得された白のイメージ、又は昼光条件でモノクローム（ｍｏｏｎｏｃｈｒｏｍｅ）センサを通じて取得されたグレースケールのイメージに相当し、取得されたイメージは広域特性を有する。カラーチャネルのみ出力するイメージセンサについては、算出された広域輝度は、ＨＳＩ色空間において定義される明度に類似して算出され得る。ＲＧＢセンサについてのある実施形態によれば、算出された広域輝度は、昼光条件において等しい重みで赤、緑、青のカラーイメージを合計することによって得られる。

昼光以外の照明条件において、カラーチャネル、例えば、赤、緑、青のチャネル、又は、赤、緑、青、ＩＲチャネルの重みは、イメージングシステムにおいて利用可能な計算リソースを用いて、最終的な分光感度の反応がＰＳＦの深度不変量を確保するために可視スペクトルの中で可能な限り広域で平坦であるが、少なくともＣＩＥ１９３１標準によって定義された比視感度よりも平坦であるように、選択され得る。例えば、算出された広域輝度４２９は、少なくとも１００ｎｍ又は２００ｎｍの波長の幅を通してほぼ平坦であり、平坦な幅における感度は１０％又は２０％よりも大きく変化しない。また別の実施形態によれば、最終的な分光感度の反応の振幅は、可視スペクトルの半数以上で、５０％よりも大きく変化しない。

広域輝度は、ベイヤーセンサ、ＲＧＢセンサ、ＲＧＢＩＲセンサ、又はＣＹＧＭ、ＣＹＧＭＩＲ、ＣＹＹＭ、ＣＹＹＭＩＲセンサ、のカラーチャネルをデモザイクし、対応するピクセル値を等しい重みで合計することによって、又はＩＲチャネルを含み得る積層又は複数層のＲＧＢセンサ又はＲＧＢＩＲセンサのカラーチャネルを合計することによって、適切な白のチャネルから直接的に得られ得る。他の照明条件下においては、重みは、取得されたシーン画像を照らす光源、例えば、白熱灯、蛍光灯、ＬＥＤ灯、のパワースペクトル密度を考慮して選択され、結果として得られる点拡がり関数は等しい重みを用いて得られる深度分散（ｄｅｐｔｈ ｖａｒｉａｎｔ）よりも小さい。

図４Ｂの下半分は、図４Ｂの上半分における標準的な輝度の分光感度の曲線４２８に対して現実のレンズで評価された一次元のＰＳＦである４０２、４０４、４０６の一群を示す。対して、図４Ｃは、図４Ｃの上半分における広域輝度の分光感度の曲線４２９に対して現実のレンズで評価された一次元のＰＳＦである４１２、４１４、４１６の一群を示す。各々のＰＳＦは、点光源と配置されたレンズの平面との一定の距離の点光源に対する各レンズの配置の反応を表している。ＰＳＦは１０ｃｍから無限距離にプロットされる。

図４Ｂ及び４Ｃは、標準輝度と比較して広域輝度はより大きな深度不変量のＰＳＦをもたらすことを示す。より具体的に言うと、標準輝度の場合、近い距離のＰＳＦはより大きく変化する。図４Ｂ及び４Ｃは、昼光条件についてのものである。他の照明条件下では、広域輝度は各色に対して適した重みを選択することによって得られ得る。ある実施形態によれば、白熱灯では、青が緑より重みを持ち、緑は赤よりも重みを持ち、重みは、結果として得られる輝度が上述の「広域輝度」の特性を有するように選択される。

図４Ｄは、標準的なレンズ配置に対する一次元のＰＳＦである４２２、４２４、４２６の一群を図示すのに対し、図４Ｅは色補正されないレンズ配置に対する一次元のＰＳＦである４３２、４３４、４３６の一群に係るものである。各々のＰＳＦは、点光源とレンズが配置されるレンズ平面との間の一定の距離に対する点光源に対してのレンズ配置の反応を示す。両方の図のＰＳＦを比較すると、色補正されないレンズ配置に対するＰＳＦは、色補正されるレンズ配置のそれらより著しく低い値に離れている。ボケが深度不変量のほとんど広範囲にわたっているために、色収差を伴うレンズの配置はボケをもたらすが、演繹的な既知のボケフィルタ（ｂｌｕｒ ｋｅｒｎｅｌ）を伴う単純なデコンボリューションプロセスは鮮明度情報を復元するのに十分である。ある実施形態によれば、インフォーカスの位置に対応するＰＳＦがデコンボリューションのために選択される。前述のインフォーカスの位置は釣り合いの取れた位置であって、前述のＰＳＦは近く又は遠くのデフォーカス位置の両方において色補正されないレンズに対し類似して及びゆっくりとのみ変化するため、前述のインフォーカスのＰＳＦは最適な結果をもたらす。

結果として生じる鮮明度情報は、ほぼ、広域のスペクトルを有するような物体の大きい被写界深度に対しての深度不変量である。これは現実世界の物体の多くに対して当てはまる。

図４Ｆの上半分は、ＲＧＢＩＲイメージセンサの分光感度である第１の図を示す。曲線４２１は、ＩＲ分光感度フィルタが配置されたピクセルの分光感度である。曲線４２２は、「赤」のフィルタ色が配置されたピクセルの分光感度である。曲線４２４は、「緑」のフィルタ色が配置されたピクセルの分光感度である。曲線４２６は、「青」のフィルタ色が配置されたピクセルの分光感度である。全ての線図において、分光感度は波長の関数でプロットされる。

図４Ｆの下半分は、左側に赤、緑、青の色平面に基づく「標準的な」輝度４２８の分光感度を描いている第２の図を示し、赤外部を含む全ての色平面から結果として得られる広域輝度４３０の分光感度を描いている第３の図を示す。第２の図に示される標準的な輝度の分光感度の曲線４２８は、第１の図の分光感度の曲線４２２、４２４、４２６に対し重みを適用したことによって得られる。

対して、前述の実施形態で算出される広域輝度４３０は、パンクロマチックセンサ素子によって取得された白の画像、又は取得される画像が広域特性を有する昼光条件においてモノクロームセンサを通して取得されるグレースケール画像と概ね一致する。ただ１つのカラーチャネルを出力するイメージセンサについては、算出された広域輝度は、ＨＳＩ色空間において定義されているような明度に類似して算出され得る。ＲＧＢＩＲセンサについてのある実施形態によれば、算出された広域輝度は、昼光条件の場合で等しい重みの赤、緑、青の色画像を合計することによって得られる。

昼光の他の照明条件では、例えば、赤、緑、青、赤外部のチャネルである、カラーチャネルの重みは、イメージングシステムの利用可能な計算リソースを用いて、最終的な分光感度の反応がＰＳＦの深度不変量を確保するために可視スペクトルの内で可能な限り広域で平坦であるが、少なくともＣＩＥ１９３１標準によって定義された比視感度（Ｐｈｏｔｏｐｉｃ Ｌｕｍｉｎｏｓｉｔｙ Ｆｕｎｃｔｉｏｎ）よりも平坦であるように、選択され得る。例えば、算出された広域輝度４２９は、少なくとも１００ｎｍ又は２００ｎｍの波長幅にわたってほぼ平坦である。ここで、前述の平坦幅において感度は１０％又は２０％より大きく変化しない。また別の実施形態によれば、最終的な分光感度の反応の振幅は、可視スペクトルの半分にわたって５０％より大きく変化しない。

図５Ａは、図１Ｂの色度処理部２０１の構成要素としての深度マップ推定部２２０に係るものである。第１の色補正されていない部分画像又は色平面は、次の処理に向けて、少なくとも２つ又は全ての色平面を保持するストレージ部２２２に供給され得る。

ある実施形態によれば、深度マップ部２２４は、例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を使って、ストレージ部２２２に一時的に格納される色平面の全てについて関係する鮮明度情報を比較する。例えば、関係する色平面間の鮮明度は、色平面における特定の位置の隣接する各ピクセルにおいて、正規化された特定の場所の勾配及び平均勾配の差の合計を計算することによって測定され得る。最も鮮明な色平面の部分領域又は撮像されたシーンのピクセルを推定することによって、深度マップ部２２４は、各ピクセル又はピクセルの集合に距離情報を割り当てる深度マップを生成し得る。ある実施形態によれば、Ｈａｄａｍａｒｄ変換は、鮮明度測定に用いられる。Ｈａｄａｍａｒｄ変換の結果は、ＤＣＴのものに近いが、Ｈａｄａｍａｒｄ変換の実行には加算及び減算しか要求されないため、計算量は少ない。代わりに、又はさらに、他の知られた鮮明度測定が用いられ得る。

また別の実施形態によれば、勾配は、対数の定義域が深度推定を照明条件におけるわずかな変化又は異なる色における明度勾配のわずかな変化から独立させるため、正規化のステップが省かれ得る対数の定義域において算出される。

深度マップは、図１Ｂの補正部２３０に供給され得る。補正部２３０は、色平面における色収差を補正する。例えば、補正部２３０は、色収差を示さないエッジにおける色の振舞いに基づいて色差に対する幅境界を評価し、幅境界を妨げるピクセルを識別して、これらのピクセルを許容値のピクセル値に置き換える。また別の実施形態によれば、補正部２３０は、補正された色画像を提供するために深度マップに含まれる情報を用い得る。例えば、補正部２３０は、各画像領域に対して最も鮮明な色平面の高周波数をコピーすることによって他の色平面への鮮明度の移送を実行する。例えば、ある色平面の各ボケた部分領域に対し、最も鮮明な色平面のハイパスフィルタされたものが各部分領域に加算され得る。

図５Ｂは、ＩＲ平面を保持する追加のストレージ部２２２を伴う深度マップ推定部２２０を示す。

図５Ｃは、拡張された被写界深度の修正出力画像を得るために、鮮明度情報を図１Ｂの補正部２３０によって出力される補正された色画像に移す（ｔｒａｎｓｆｅｒ）同期部２８０に係るものである。ある実施形態によれば、同期部２８０は、例えば色度情報処理中に、得られた深度マップに基づいて補正された画像に鮮明度情報を移す。例えば、最も鮮明なスペクトル成分からの鮮明度情報は、補正されていないスペクトル成分へ転写される。また別の実施形態によれば、同期部２８０は、深度マップ、及び画像合成に係るユーザの要求を表すユーザ情報に基づいて鮮明度情報を移す。ユーザ要求は、撮像後の焦点距離の選択、又は合焦範囲の選択の実行に関するものであり得る。

ＲＧＢＷ又はＲＧＢＷＩＲに係る実施形態によれば、同期部２８０はインターリーブ撮像手法、例えば、薄明視の照明条件に対する出力画像が色経路によって得られる色画像、及び輝度経路から得られるグレースケール画像の両方から導出される手法、によって修正出力画像を得ることができ得る。各色平面に対して、各ピクセル値は、距離関数及び相似関数を用いて隣接するピクセル値に基づいて更新される。ここで、相似関数は各色画像とグレースケール画像の両方の情報を使って、グレースケール画像からの情報に対する重みを決定する。例えば、重みは、距離及び相似がその時点で評価された隣接ピクセル周辺の画像パッチにおける飽和ピクセルの一部によって、決定され得る。

標準的な手法以外においては、色画像と合成されるグレースケール画像は、色補正されないレンズ部の撮像特性を考慮するプロセス、例えば、撮像部から得られるグレースケール画像にレンズ部のＰＳＦでデコンボリューションすることによって得られる。

ＲＧＢ又はＲＧＢＩＲイメージセンサに係るまた別の実施形態によれば、同期部２８０は、類似のインターリーブ撮像手法によって出力画像を得る。ここで、相似関数で用いられるグレースケール画像は、ＲＧＢ信号をＨＳＩ（Ｈｕｅ−Ｓａｔｕｒａｔｉｏｎ−Ｉｎｔｅｎｓｉｔｙ）空間に変換することによって得られる光線の明度をデコンボリューションすることによって得られ得る。光線の明度信号、又は内在するＲＧＢ画像は、ＰＳＦがより大きな深度不変量である広域輝度信号と一致するように、前処理され得る。

図６Ａは、Ｒ、Ｇ、Ｂ、Ｗ平面を出力するＲＧＢＷ画像センサに基づく実施形態に係るものである（６０２）。輝度経路において、Ｗ平面は、直接的に広域輝度信号を与える、又は広域輝度信号に相当させるために前処理され得る（６５０）。Ｗ平面は、レンズ部のＰＳＦを使ってデコンボリューションされる（６６０）。元のＲ、Ｇ、Ｂ平面は、色経路に提供される（６１０）。Ｒ、Ｇ、Ｂ平面の色収差は（６３０）で相殺される。深度マップは、元のＲ、Ｇ、Ｂ平面から導出され（６２０）、Ｒ、Ｇ、Ｂ平面の色収差を相殺、又は補正するのに利用され得る。デコンボリューションされたＷ平面は、補正されたＲ、Ｇ、Ｂの各平面でインターリーブされる（６８０）。修正されたＲＧＢ平面、又は同等の情報を備える修正色画像が出力される（６９０）。

図６Ｂは、Ｒ、Ｇ、Ｂ、ＩＲ、Ｗ平面を出力するＲＧＢＷＩＲ画像センサに基づく実施形態に係るものである（６０２）。輝度経路において、Ｗ平面は直接的に広域輝度信号を与える、又は広域輝度信号に相当させるために前処理され得る（６５０）。Ｗ平面は、レンズ部のＰＳＦを使ってデコンボリューションされる（６６０）。元のＲ、Ｇ、Ｂ、ＩＲ平面は、色経路に提供される（６１０）。Ｒ、Ｇ、Ｂ、ＩＲ平面の色収差は（６３０）で相殺される。深度マップは、元のＲ、Ｇ、Ｂ、ＩＲ平面から導出され（６２０）、Ｒ、Ｇ、Ｂ、ＩＲ平面の色収差を相殺、又は補正するのに利用され得る。デコンボリューションされたＷ平面は、補正されたＲ、Ｇ、Ｂ、ＩＲの各平面でインターリーブされる（６８０）。修正されたＲ、Ｇ、Ｂ、ＩＲ平面、又は同等の情報を備える修正色画像が出力される（６９０）。

図６Ｃは、Ｒ、Ｇ、Ｂ平面を出力するＲＧＢ画像センサに基づく実施形態に係るものである（６０２）。Ｒ、Ｇ、Ｂ平面は、例えば、ＨＳＩ空間に変換される（６５０）などの前処理が行われ得る。ここで、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｌｉｇｈｔ Ｉｎｔｅｎｓｉｔｙ）が得られる（６５２）。明度はレンズのＰＳＦを使ってデコンボリューションされる（６６０）。元のＲ、Ｇ、Ｂ平面は、色経路に提供される（６１４）、又は逆ＨＳＩ変換を使ってＨＳＩ値から再計算され得る（６１０）。Ｒ、Ｇ、Ｂ平面の色収差は、（６３０）で相殺される。深度マップは、元のＲ、Ｇ、Ｂ平面から算出され（６２０）、Ｒ、Ｇ、Ｂ平面の色収差を相殺、又は補正するのに利用され得る。デコンボリューションされた明度は、補正されたＲ、Ｇ、Ｂの各平面でインターリーブされる（６８０）。修正されたＲＧＢ平面、又は同等の情報を備える修正色画像が出力される（６９０）。

図６Ｄは、Ｒ、Ｇ、Ｂ、ＩＲ平面を出力するＲＧＢＩＲ画像センサに基づく実施形態に係るものである（６０２）。Ｒ、Ｇ、Ｂ平面は、例えば、ＨＳＩ空間に変換される（６５０）などの前処理が行われ得る。ここで、色相、彩度、明度が得られる（６５２）。明度はレンズのＰＳＦを使ってデコンボリューションされる（６６０）。元のＲ、Ｇ、Ｂ、ＩＲ平面は、色経路に提供される（６１４）。Ｒ、Ｇ、Ｂ、ＩＲ平面の色収差は、（６３０）で相殺される。深度マップは、元のＲ、Ｇ、Ｂ、ＩＲ平面から算出され（６２０）、Ｒ、Ｇ、Ｂ、ＩＲ平面の色収差を相殺、又は補正するのに利用され得る。デコンボリューションされた明度は、補正されたＲ、Ｇ、Ｂ、ＩＲの各平面でインターリーブされる（６８０）。修正されたＲ、Ｇ、Ｂ、ＩＲ平面、又は同等の情報を備える修正色画像が出力される（６９０）。

図７は、イメージングシステムの操作方法に係るものである。この方法は、縦の色収差を特徴とするレンズ部を使って撮像された画像の少なくとも２つの色補正されていない第１の画像を取得することを提供する。ここで、第１の画像は異なるスペクトル成分を有し、例えば、異なる色平面を表す。第１の画像から広域輝度鮮明度情報（７０４）、及び色度情報（７０６）が算出される。算出された色度情報、又は広域輝度鮮明度情報は、出力画像を提供するために合成される（７０８）。

広域輝度情報の算出は、色補正されていない第１の画像の少なくとも１つから導出されるグレースケール画像をレンズ部の点拡がり関数でデコンボリューションすることを含み得る。色度情報の算出は、色補正されないレンズ部を用いる結果生じる色収差の影響を相殺することを含み得る。色度情報及び広域輝度鮮明度情報の算出は、色度情報及び広域輝度鮮明度情報の両方に基づく相似関数を使ったインターリーブの過程に基づいて行われ得る。

色平面の間の鮮明度の移送を用いる手法の精度が、高い値に対する深度推定の質にのみ依存する場合、本願の手法は、被写界深度の拡張又は他の効果が単純なデコンボリューションを行うことによって取得され得る広域輝度チャネルとして知られたＰＳＦを利用する。本願の手法は、カラーチャネルにおける色収差の補正も提供する。ここで、残存する小さな人工色は、人間の目は輝度収差に対してよりも色信号収差に対して感度が低いという事実により、画像の質を低下させない。

一方で、スペクトルフォーカルスイープについての手法では、色平面に含まれる色情報を失い、最終的な画像で人工的な色ボケが現れる。本願の手法は、少ない計算量で、十分なより良い結果をもたらし、第１段階で広域輝度鮮明度情報及び色度情報を分離し互いに独立して処理し、第２段階でそれらを合成することによって、知覚的にこれまでの手法よりも意義のある現実世界のシーンの描写が得られる。

Claims (16)

1. 縦の色収差を伴うレンズ部（１２０）と、撮像されたシーンから異なるスペクトル内容の色補正されていない第１の画像を生成するイメージセンサ部（１４０）と、を有する撮像部（１００）と、
   広域輝度鮮明度情報を前記第１の画像と前記レンズ部（１２０）の撮像特性の情報とに基づいて計算する明度処理部（２０２）と、
   前記第１の画像に基づいて色度情報を計算する色度処理部（２０１）と、
   前記色度情報と前記広域輝度鮮明度情報を合成する同期部（２８０）と、
   を備えるイメージングシステム。
2. 前記イメージセンサ部（１４０）は、グレースケール画像を出力し、
   前記明度処理部（２０２）は、前記グレースケール画像に基づいて前記広域輝度鮮明度情報を計算する、
   請求項１に記載のイメージングシステム。
3. 前記撮像部（１００）は、少なくとも２つのカラーフィルタされた第１の画像を供給し、
   前記明度処理部（２０２）は、前記少なくとも２つのカラーフィルタされた第１の画像からグレースケール画像又は明度関数を生成する輝度前処理部（２５０）を備え、
   前記明度処理部（２０２）は、生成された前記グレースケール画像に基づいて広域輝度鮮明度情報を計算する、
   請求項１に記載のイメージングシステム。
4. 前記明度処理部（２０２）は、
   各々が前記第１の画像の１つに選択可能な重みを適用する制御可能な重みづけ部（２５６）と、
   ユーザの入力又は第１の画像の評価に応じて、前記重みづけ部（２５６）のために重みを選択する重みづけ制御部（２５８）と、を備え、
   請求項２または３に記載のイメージングシステム。
5. 前記明度処理部（２０２）は、前記レンズ部（１２０）のＰＳＦでグレースケール画像をデコンボリューションすることによって前記広域輝度鮮明度情報を算出するデコンボリューション部（２６０）を備える、
   請求項２〜４のいずれか１項に記載のイメージングシステム。
6. 前記色度処理部（２０１）は、
   前記第１の画像から深度マップを生成する深度マップ推定部（２２０）を備える、
   請求項１〜５のいずれか１項に記載のイメージングシステム。
7. 前記色度処理部（２０１）は、
   前記第１の画像から補正された画像を提供するために、前記第１の画像の色収差を補正する補正部（２３０）をさらに備える、
   請求項６に記載のイメージングシステム。
8. 前記同期部（２８０）は、鮮明度情報を前記広域輝度鮮明度情報から前記補正された画像に移す、
   請求項１〜７のいずれか１項に記載のイメージングシステム。
9. 前記同期部（２８０）は、鮮明度情報を前記広域輝度鮮明度情報から前記補正された画像に前記深度マップに基づいて移す、
   請求項７に記載のイメージングシステム。
10. 前記同期部（２８０）は、前記色度処理部（２０１）から取得される補正された画像及び、前記明度処理部（２０２）から取得されるグレースケール画像をインターリーブし、各前記補正された画像に対し、ピクセル値は距離関数及び相似関数を用いて隣接するピクセル値に基づいて更新され、前記相似関数は各前記補正された画像及び前記グレースケール画像の両方からの情報を使って、前記グレースケール画像からの情報のための重みを決定する、
    請求項１〜６のいずれか１項に記載のイメージングシステム。
11. 前記同期部（２８０）は、さらにユーザ要求に基づいて鮮明度情報を転写し、
    前記ユーザ要求は、３Ｄ効果、焦点距離の選択、合焦範囲の選択の実行を含むグループから選択される１つ又はそれ以上の項目に関わる、
    請求項９に記載のイメージングシステム。
12. 前記イメージングシステムは、カメラシステム、デジタル望遠鏡、又はデジタル顕微鏡に提供される、
    請求項１〜１１のいずれか１項に記載のイメージングシステム。
13. 縦の色収差を特徴とするレンズ部（１２０）を用いて撮像されたシーンの少なくとも２つの色補正されていない第１の画像を取得し、前記第１の画像は異なる分光組成を持つこと、
    前記レンズ部（１２０）の撮像特性の情報に基づいて前記第１の画像から広域輝度鮮明度情報を算出すること、
    補正された画像を得るために前記第１の画像から色度情報を算出すること、
    同期部（２８０）を用いて出力画像を提供するために前記色度情報及び前記広域輝度鮮明度情報を合成すること、
    を含むイメージングシステムの操作方法。
14. 前記広域輝度鮮明度情報を算出することは、
    デコンボリューション部（２６０）及び前記レンズ部（１２０）の点拡がり関数を用いて前記第１の画像のうちの少なくとも１つから導出されるグレースケール画像をデコンボリューションすること、
    を含む請求項１３に記載のイメージングシステムの操作方法。
15. 前記広域輝度鮮明度情報を算出することは、
    前記第１の画像に重みをつけること、
    前記重みは、点拡がり関数の結果が昼光以外の照明条件下で等しい重みを用いることによって得られるものよりもより少ない深度分散であるように照明条件に対応して選択されること、
    を含む請求項１３又は１４に記載のイメージングシステムの操作方法。
16. 前記色度情報及び輝度情報を合成することは、
    前記色度情報を表す前記補正された画像及び前記広域輝度鮮明度情報を表すグレースケール画像をインターリーブすること、を含み、
    各補正された画像に対して、距離関数及び相似関数を用いて隣接ピクセル値に基づいてピクセル値は更新され、
    前記相似関数は各補正された画像及びグレースケール画像の両方の情報を用い、前記グレースケール画像からの情報に対して重みを決定する、
    請求項１３〜１５のいずれか１項に記載のイメージングシステムの操作方法。

Images