JP2011130241A - 撮像装置 - Google Patents

Abstract

【課題】被写体までの距離に依らず合焦状態のカラー画像を取得する撮像装置において、単板カラー撮像素子を用いてカラー画像を取得する際の演算コストを低減する。
【解決手段】被写体からの光を結像させるレンズ光学系12と、ベイヤー配列のカラーフィルタを有して、結像された被写体像を撮像する単板カラー撮像素子13と、該素子13の出力データに、光学系12のボケ特性の逆特性を持つ画像復元フィルタ16に通すフィルタリング処理を行ってから同時化処理を行う画像処理部15,16,18とを備えた撮像装置において、画像処理部15,16,18を、R,G,Bのチャンネル毎にゼロ要素を除いてデータを集めることにより、R,Bチャンネルについてはデータ量が各々1/4、Gチャンネルについてはデータ量が1/2とされた縮小データ配列を作成し、それらの縮小データ配列をなすデータに対して各々、画像復元フィルタ16を用いてフィルタリング処理を行う。
【選択図】図１

Description

本発明は撮像装置、特に詳細には、被写体までの距離に依らず合焦状態のカラー画像を取得可能にした撮像装置に関するものである。

従来、位相板を挿入する等によって光軸方向の空間周波数特性が安定化されたレンズ光学系を用いるとともに、撮像手段から得られた画像信号に画像復元処理、つまりレンズ光学系のボケ特性の逆特性を持つ復元フィルタに通す処理を施すことにより、被写体までの距離に依らず合焦状態のカラー画像を取得可能にした撮像装置が提案されている。例えば特許文献１、２には、その種の撮像装置の例が示されている。

ところで、上述のような撮像装置においても通常の撮像装置におけるのと同様、撮像手段としてＣＣＤ等からなる撮像素子が用いられることが多い。またその場合、特にカラー画像を撮像するために、画素毎のR（赤）、G（緑）、B（青）フィルタが２次元マトリクス状に配置されてなるカラーフィルタが光電変換部の上に配設されてなる単板カラー撮像素子が用いられることも多い。

上述した特許文献１および２には、そのような単板カラー撮像素子を用いる際に、上記画像復元処理をどのようにして行うかについて、詳しい提案がなされている。

まず特許文献１では、画像復元処理を基本的にR,G,B各チャンネル別に行なうことが提案されている。なお、ここでは特にベイヤー配列のカラーフィルタが用いられており、そのためＧに関しては、Gr、Gbチャンネルの感度補正を施して合成した合成Gチャンネルに対して復元処理がなされている。そして復元処理では、R,Bチャンネルでは3/4の要素がゼロ、Gチャンネルでは千鳥配置で2/4の要素がゼロとなるような復元フィルタを畳み込むようにしている。

他方、特許文献２では、R,Gr,Gb,Bの４チャンネルのデータ毎に復元フィルタを作成し、それらを用いて各チャンネルで独自に復元処理を行うことが提案されている。

特表２００９−５１６２５６号公報 特開２００９−０８９０８２号公報

上述の特許文献１に記載された方法では、復元フィルタの値がゼロの要素についても計算処理（分岐演算）をしているため、計算コストが高いという問題が認められる。また、復元フィルタのデータ保持のための記憶容量も、値がゼロではない要素が占める記憶容量に対して、R,Bチャンネル用では4倍、Gチャンネル用では2倍以上を必要とするため、この方法はあまり経済的ではない。

他方、特許文献２に記載された方法では、非常に演算コストの高い「畳み込み演算処理」を全ての画素に対して施すことになるので、ここでも計算コストが高いという問題が認められる。またGチャンネルは最終画像の解像感に大きな影響を与えることが知られているが、この特許文献２に記載された方法では、GrチャンネルとGbチャンネルとを別々に扱って画像復元処理を行っているため、復元された画像において高周波成分が失われがちであるという問題もある。

本発明は上記の事情に鑑みてなされたものであり、前述したようにして被写体までの距離に依らず合焦状態のカラー画像を取得可能にした撮像装置において、単板カラー撮像素子を用いてカラー画像を取得するに当たり、演算コスト（計算時間・メモリ量）を十分に低減可能とし、さらに復元された画像において高周波成分が失われることを防止することを目的とする。

本発明による撮像装置は、
被写体からの光を結像させるレンズ光学系と、
ベイヤー配列のカラーフィルタを有して、前記レンズ光学系によって結像された被写体像を撮像する単板カラー撮像素子と、
このカラー撮像素子から出力されたデータに対して、前記レンズ光学系のボケ特性の逆特性を持つ画像復元フィルタに通すフィルタリング処理を行ってから同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を求める処理）を行う画像処理部とを備えた撮像装置において、
前記画像処理部が、
R,G,Bのチャンネル毎にゼロ要素を除いてデータを集めることにより、R,Bチャンネルについてはデータ量が各々1/4、Gチャンネルについてはデータ量が1/2とされたチャンネル毎の縮小データ配列を作成し、
それらのR,G,Bチャンネル毎の縮小データ配列をなすデータに対して各々、画像復元フィルタを用いてフィルタリング処理を行うように構成されていることを特徴とするものである。

なお上記画像処理部は、Gチャンネルに関して、
ゼロ要素を除いてデータを集めると共に、データ配列を45度回転して再配置することにより前記縮小データ配列を作成し、
この縮小データ配列をなすデータに対して、同様にデータ配列を45度回転した画像復元フィルタを用いて前記フィルタリング処理を行い、
このフィルタリング処理によって得られたデータを−45度回転させて、データ配列の方位を元に戻すように構成されていることが望ましい。

あるいは、上記画像処理部はGチャンネルに関しては、ゼロ要素を除いてデータを横方向または縦方向に集めることにより前記縮小データ配列を作成するように構成されてもよい。

また本発明の撮像装置において、Gチャンネルのデータに対して用いられる画像復元フィルタの各要素には、GrセルとGbセルとの間の感度差を補正する補正ゲインが重畳されていることが望ましい。

本発明の撮像装置においては、上述した通り画像処理部が、R,G,Bのチャンネル毎にゼロ要素を除いてデータを集めることにより、R,Bチャンネルについてはデータ量が各々1/4、Gチャンネルについてはデータ量が1/2とされたチャンネル毎の縮小データ配列を作成し、それらのR,G,Bチャンネル毎の縮小データ配列をなすデータに対して各々、画像復元フィルタを用いてフィルタリング処理を行うように構成されているので、画像復元フィルタのゼロ要素を不必要に計算過程に入れることを無くして、計算コストを軽減可能となり、さらには計算プログラムや回路の構成を単純化することもできる。

また本発明の撮像装置においては、Gr,Gbを合成したGチャンネルに関して画像復元処理を行うようにしているので、GrチャンネルとGbチャンネルとを別々に扱う場合のように復元画像において高周波成分が失われることを防止して、より高精細な最終画像を獲得できるようになる。

本発明の一実施形態による撮像装置の概略構成を示すブロック図 上記撮像装置における画像処理の流れを示すフローチャート 上記撮像装置において撮像されたベイヤー配列画像を示す概略図 上記撮像装置におけるR,G,Bチャンネル毎の縮小データ配列を説明する図 上記縮小データ配列と画像復元フィルタとを説明する図 上記撮像装置において最終的に得られる画像を説明する図 本発明の別の実施形態における縮小データ配列と画像復元フィルタとを説明する図 上記別の実施形態における画像復元フィルタと、画像復元処理後のデータ配置を説明する図 本発明における画像復元フィルタと、画像復元処理後のデータ配置のさらに別の例を説明する図

以下、図面を参照して本発明の実施形態を詳細に説明する。

図１は、本発明の一実施形態によるカラー画像撮像装置の基本構成を示すブロック図である。図示の通りこの撮像装置は、例えばレンズ１０および位相板１１から構成されて、被写体からの光を結像させるレンズ光学系１２と、このレンズ光学系１２によって結像された被写体像を撮像する例えばＣＣＤからなるカラー撮像素子１３と、このカラー撮像素子１３のアナログ出力をデジタル化するＡ／Ｄ変換器１４と、このＡ／Ｄ変換器１４が出力したカラー画像データに対して、画像のボケを低減させる画像復元処理を施す画像復元処理部１５と、この画像復元処理を行うためのデコンボリューションフィルタ１６と、画像復元処理部１５に接続された作業用のメモリ１７と、画像復元処理部１５が出力したデータに対して後述の補間処理を行う補間処理部１８と、この補間処理部１８に接続された作業用のメモリ１９と、補間処理部１８から送られたR,G,B画像データに基づいて画像を出力する画像出力部２０とを備えている。

なお本実施形態においては、上記要素１５〜１９は公知のコンピュータシステムから構成されたものであって、それらによって本発明における画像処理部が構成されている。また画像出力部２０としては、記録媒体に画像を記録する記録装置や、あるいはＣＲＴや液晶表示パネル等を用いて画像表示する手段を適用することができる。

以下、画像復元処理部１５および補間処理部１８においてなされる処理について、その流れを示す図２も参照して詳しく説明する。画像復元処理部１５は処理を開始するとまず、Ａ／Ｄ変換器１４が出力したデジタルカラー画像データを、R,G,Bチャンネル毎の３つの画像に分ける（図２のステップＳ１：以下、同様）。

ここで、カラー撮像素子１３はベイヤー配列のカラーフィルタを有する単板カラー撮像素子である。そこで、該カラー撮像素子１３が出力した後にＡ／Ｄ変換器１４でデジタル化された画像データが担持する画像は、上記カラーフィルタに対応して、図３に示すようにR,G（詳しくはRと交互に並んで１行を構成するGrおよび、Bと交互に並んで１行を構成するGb）並びにBの各画素が配列した、いわゆるベイヤー配列画像となっている。

ここで本例では図３に示す通り、上記ベイヤー配列画像の横方向データ数をW、縦方向データ数をHとして示す。また図３には点像拡がりを破線円Ａで示してあるが、以下、この点像拡がりの直径をφと表す。なお図３に示した例は、φが５セル分の長さである場合のものである。

次に画像復元処理部１５は、R,G,Bそれぞれの画像の隙間を詰めて、つまりゼロ要素は除いてデータ配列サイズを縮小する（ステップＳ２）。このデータ配列サイズの縮小について、図４を用いて説明する。ベイヤー配列画像を示す図３から明らかな通り、RおよびBチャンネルについて画像の隙間を詰めれば、データ配列数は縦方向がH/2で横方向がW/2となるので、それらについての縮小データ配列は各々図４の（１）、（４）に示すものとなる。つまりRおよびBチャンネルについての縮小データ配列において、データ数は原画像のそれの1/4となる。

一方Gチャンネルに関しては、図４の（２）に示す配列状態となっているので、画像の隙間を詰めた後にそのデータ配列を45度回転させる。それにより、同図（３）に示す縮小データ配列が得られる。この縮小データ配列におけるデータ数は、一方向に関してはH/√2で、それと直交する方向に関してはW/√2となる。つまりGチャンネルについての縮小データ配列において、データ数は原画像のそれの1/2となる。

次に画像復元処理部１５は、上述のようにしてR,G,B各チャンネル毎に得られた縮小データ配列をなすデータに対して、各配列サイズに対応したフィルタサイズを有するデコンボリューションフィルタ１６を用いて、画像復元するフィルタリング処理をかける（ステップＳ３）。このデコンボリューションフィルタ１６は、レンズ光学系１２のボケ特性つまり点像拡がり関数の逆特性を持つものである。そのような特性のデコンボリューションフィルタ１６を用いてフィルタリング処理すると、ボケが解消された合焦状態のカラー画像を担持する画像データが得られるようになる。なおこの種の画像復元フィルタとしては、先に説明した特許文献１，２等にも詳細が示されており、本発明においてもそのように従来公知のものを適宜用いることができる。

図５の（１）、（２）、（３）にはそれぞれ、R,G,B各チャンネル毎に定められたフィルタサイズ（各図の左側）と、デコンボリューションフィルタ１６の拡がり径（各図の右側）を示す。なおデコンボリューションフィルタ１６の拡がり径は、R,G,Bの各チャンネル毎にそれぞれ、φ/2、φ/√2、φ/2となる。

次に画像復元処理部１５は、上記フィルタリング処理にかけられた後のデータを、ベイヤー配列に戻す処理を行う（ステップＳ４）。なお、特にGチャンネルに関しては、フィルタリング処理にかけられた後のデータを−45度回転させる処理にかけて、データ配列の方位を元に戻してから、ベイヤー配列に戻す処理が行われる。

こうしてベイヤー配列に戻されたデータを、図６の（１）に示す。ベイヤー配列に戻されたデータは次に図１の補間処理部１８に送られ、補間処理部１８はこのベイヤー配列データに補間処理を施す（ステップＳ５）。この処理は一般に同時化処理と称されるもので、カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色情報を計算する処理である。これにより、図６の（２）に示すように、R,G,B各色毎の情報を示す３色画像信号が得られる。

以上説明した通り本実施形態においては、画像復元処理部１５が、R,G,Bのチャンネル毎にゼロ要素を除いてデータを集めることにより、R,Bチャンネルについてはデータ量が各々1/4、Gチャンネルについてはデータ量が1/2とされたチャンネル毎の縮小データ配列を作成し、それらのR,G,Bチャンネル毎の縮小データ配列をなすデータに対して各々、デコンボリューションフィルタ１６を用いてフィルタリング処理を行うように構成されているので、ゼロ要素を不必要に計算過程に入れることを無くして、計算コストを軽減可能となり、さらには計算プログラムや回路の構成も単純化できる。

また本実施形態においては、Gr,Gbを合成したGチャンネルに関して画像復元処理を行うようにしているので、GrチャンネルとGbチャンネルとを別々に扱う場合のように復元画像において高周波成分が失われることを防止して、より高精細な最終画像を獲得できるようになる。

さらに本実施形態においては、Gチャンネルのデータを回転して再配置するようにしたので、計算プログラムや回路の構成をさらに単純化することができ、実装コストならびに演算コストをいっそう節約できる。

次に図７を参照して、本発明の別の実施形態について説明する。本実施形態において、同図の（１）、（３）に各々示すR,Bチャンネルについての縮小データ配列は、図５に示した例と同じものとされるが、Gチャンネルについての縮小データ配列は図５のものとは違う配列とされる。すなわち本例ではGチャンネルに関して、図７の（２）に示す通りゼロ要素は除いて横方向に（図では左詰めとなる）データを集めることにより、縮小データ配列を得ている。この場合、データ配列数は縦方向がHで横方向がW/2となるので、データ数は原画像のそれの1/2となる。

なお図７の（１）、（２）、（３）にはそれぞれ、R,G,B各チャンネル毎のデコンボリューションフィルタの拡がり径を、各図の右側に併せて示す。この場合のデコンボリューションフィルタの拡がり径は、R,Bチャンネルではそれぞれφ/2となるが、Gチャンネルでは拡がりが楕円形となり、その長径、短径は各々φ、φ/2となる。

ここで、上記のようにGr,Gbを合成したGチャンネルに対して実施したいデコンボリューション処理は、元々のベイヤー配置の状態で考えると図８の（１）に示すようなものとなる。しかし、先に図７に示したように、縦サイズはそのままで横方向にだけ1/2に詰めてサイズ縮小データに再配列を施すと、そのままではデコンボリューションフィルタの対応要素の位置がずれてしまう。この問題は以下に説明するように、簡単に解決することができる。すなわち、デコンボリューションフィルタの要素配列も再配置を行なって図８の（２）、（３）に各々示すようにGｒセルが中心のフィルタとGbセルが中心のフィルタとを得、さらに、畳み込み処理の中心要素がGrの場合とGbの場合とでそれらのフィルタを切り替え、フィルタリング処理後のデータ配置においては、使用したフィルタに応じて図８の（４）に示すようにデータ配置してやればよい。なお同図の（２）、（３）は、各々同図（１）の太い実線領域、太い破線領域に対応している。

次に図９を参照して、本発明のさらに別の実施形態について説明する。本実施形態においては、同図の（１）に示すようにゼロ要素を除いて左詰めして、Gチャンネルに関する縮小データ配列を作成する。そしてこの縮小データ配列をなすデータに対して、同図中の太い実線、太い破線が示すサイズのデコンボリューションフィルタを用いて画像復元処理を行う。つまり本例では、Gr,Gbを合成したGチャンネルに関する画像復元処理において、GrデータとGbデータとの左右方向の位置差を吸収するために、Gr行とGb行とが1要素分だけずれるようにデコンボリューションフィルタの要素を配置する。

それらのデコンボリューションフィルタを分かりやすく同図の（２）、（３）に示す。前者はGｒセルが中心に位置するものであり、後者はGbセルが中心に位置するものである。また、それらの図において、黒で塗りつぶされているのがゼロ要素である。

なお、畳み込み演算おける中心画素データが、GrであるかGbであるかによって、Gr行Gb行のずらし方向は逆になる。このため、中心画素データがGrである場合と、Gbである場合のために上述のような２種類のデコンボリューションフィルタを用意しておき、畳み込み演算処理においては上記２つの場合に応じてそれら２種類のフィルタを選択使用する。そして、これらのデコンボリューションフィルタにより画像復元処理して得られたデータを、同図（４）に示すように配置すればよい。

なお、一例として図８の（２）、（３）に示したような画像復元フィルタの各要素に、GrセルとGbセルとでそれぞれ固有の値とされた補正ゲインを重畳しておき、その画像復元フィルタを用いると、GrセルとGbセルとの間の感度差が自動的に補正されるように構成することができる。そのようにすれば、この感度差の補正のためにまた別途処理を行う必要が無くなるから、画像処理の高速化の点で好ましい。

１０ レンズ
１１ 位相板
１２ レンズ光学系
１３ カラー撮像素子
１４ Ａ／Ｄ変換器
１５ 画像復元処理部
１６ デコンボリューションフィルタ
１８ 補間処理部
２０ 画像出力部

Claims (4)

1. 被写体からの光を結像させるレンズ光学系と、
   ベイヤー配列のカラーフィルタを有して、前記レンズ光学系によって結像された被写体像を撮像する単板カラー撮像素子と、
   このカラー撮像素子から出力されたデータに対して、前記レンズ光学系のボケ特性の逆特性を持つ画像復元フィルタに通すフィルタリング処理を行ってから同時化処理を行う画像処理部とを備えた撮像装置において、
   前記画像処理部が、
   R,G,Bのチャンネル毎にゼロ要素を除いてデータを集めることにより、R,Bチャンネルについてはデータ量が各々1/4、Gチャンネルについてはデータ量が1/2とされたチャンネル毎の縮小データ配列を作成し、
   それらのR,G,Bチャンネル毎の縮小データ配列をなすデータに対して各々、画像復元フィルタを用いてフィルタリング処理を行うように構成されていることを特徴とする撮像装置。
2. 前記画像処理部がGチャンネルに関しては、
   ゼロ要素を除いてデータを集めると共に、データ配列を45度回転して再配置することにより前記縮小データ配列を作成し、
   この縮小データ配列をなすデータに対して、同様にデータ配列を45度回転した画像復元フィルタを用いて前記フィルタリング処理を行い、
   このフィルタリング処理によって得られたデータを−45度回転させて、データ配列の方位を元に戻すように構成されていることを特徴とする請求項１記載の撮像装置。
3. 前記画像処理部がGチャンネルに関しては、ゼロ要素を除いてデータを横方向または縦方向に集めることにより前記縮小データ配列を作成するように構成されていることを特徴とする請求項１記載の撮像装置。
4. 前記Gチャンネルのデータに対して用いられる画像復元フィルタの各要素に、GrセルとGbセルとの間の感度差を補正する補正ゲインが重畳されていることを特徴とする請求項１から３いずれか１項記載の撮像装置。

Images