JP2011077889A - 画像処理装置 - Google Patents

Abstract

【課題】記憶容量が制約される記憶手段を用いた場合であっても倍率色収差補正を支障なく実施できる画像処理装置を提供する。
【解決手段】対物光学系４を用いて撮像され、Ａ／Ｄ変換された画像データはメモリ８に一時格納された後、収差補正部１０内の制約された記憶容量のバッファ２１を経て倍率色収差補正を行う倍率色収差補正部に入力される。その時、収差量算出部２２は、バッファ２１のＲ，Ｂの画像データの各画素の倍率色収差の収差量の絶対値を算出し、領域決定部２３はバッファ２１により１回で補正可能な最大収差量の閾値ＴＨと比較する。比較結果により、閾値ＴＨを超える収差量の画像データに対しては、バッファ２１を用いて複数回の倍率色収差補正を行う。
【選択図】図１

Description

本発明は、例えば、デジタルカメラ、動画カメラなど、デジタル変換された画像を表示、入出力する装置や処理に適応可能な画像処理装置に関する。

デジタルカメラ等の撮像装置においては、被写体の光学像を撮像素子に結像する光学系のために、色によって結像される像の倍率が異なり、像の大きさが色により異なる収差、いわゆる倍率色収差が発生する。
倍率色収差を補正する倍率色収差補正について図１３を参照して説明する。前記のように色によって像の倍率が異なることから、図１３よりG（緑）画素の位置を基準画素と考え、収差の影響がない場合に本来基準画素の位置に存在するはずのR(赤)画素又はB(青)画素が、収差の影響を受けて基準画素の位置からずれた位置をそれぞれ計算する。

そのずれた位置の周辺画素としてのR画素、B画素から補間により当該R画素、B画素の画素値を求める。この求めたR画素、B画素の画素値を基準画素の位置におけるR画素、B画素の画素値として用いる。
倍率色収差を補正する従来技術としては、例えば特開２００６−２０２７５号公報のように撮像素子で撮影された画像に対して直接適用する方法や、特開２００７−１３３５９２号公報のように、撮像素子で撮影された画像から各画素においてすべての色情報を持つカラー画像を生成する補間処理（いわゆるデモザイキング）等の画像処理を施した後で適用する方法等が提案されている。

倍率色収差補正においては、補正後の画素位置Pを求め、求められた画素位置Ｐに対応する補正前の画素位置P'を収差情報から計算し、補正前の画素位置の周囲の画素から補正前の画素位置の画素値を推定して補正後の画素位置の画素値とすることで、収差補正を行う。
一方、デジタルカメラ内のASICなどのハードウェアなどで画像処理を行う場合、各画素を処理する際に、処理に必用な、各画素の周辺の領域の画素値をあらかじめ外部のRAMからASIC内の記憶容量が制約される記憶手段としてのバッファに転送して処理する方式をとることが一般的である。
そのため、ハードウェアで画素位置Pにおける倍率色収差補正を行う場合、画素位置Pに対応する補正前の画素位置P'の周囲の画素の画素値がバッファ内にないと、補正が出来ない。つまり、補正できる倍率色収差の量が、バッファの記憶容量により制約されてしまうという課題がある。

この課題を解決する方法は特開２００５−４５５１４号公報で提案されている。この特開２００５−４５５１４号公報においては、画素位置Pに対応する補正前の画素位置P'の周囲の画素の画素値がバッファ内にないと、それをエラーと判定し、エラーの判定結果を出力する。このエラーの判定結果が出力された際は、収差量を計算し、レジスタの記録内容を再設定して画像処理を再実行する方法が記載されている。しかしこの方法では処理を再度行うため効率が悪くなる。
このため、記憶容量が制約される記憶手段としてのバッファを用いた場合にも倍率色収差補正を支障なく実施できる画像処理装置が望まれる。
本発明は、上述した点に鑑みてなされたもので、記憶容量が制約される記憶手段を用いた場合であっても倍率色収差補正を支障なく実施できる画像処理装置を提供することを目的とする。

請求項１の発明に係る画像処理装置は、
対物光学系を用いて撮像された第１のカラー画像を記憶する記憶手段と、
前記記憶手段を用いて、前記第１のカラー画像の少なくとも１つの画素の前記対物光学系に起因する倍率色収差の補正を複数回に分けて行うことにより第２のカラー画像を生成する収差補正手段と、
前記第２のカラー画像中の画素の欠落する色成分を周囲の画素の画素値に基づいて補間する補間手段と、
を備えることを特徴とする。

（作用）
収差補正手段は、記憶手段を用いて、前記対物光学系に起因する倍率色収差量の補正としての倍率色収差補正を複数回行う。
また、補間手段は、前記カラー画像中の画素の欠落する色成分を周囲の画素の画素値に基づいて補間する。
（効果）
記憶容量が制約された記憶手段を用いた場合にも、その記憶容量に制約されることなく、倍率色収差補正を行うことができる。そして、画質の良い画像を生成できる。

請求項２の発明に係る画像処理装置は、請求項１において、
前記収差補正手段は、倍率色収差量が所定の閾値以下に収まる画素位置においては、該倍率色収差を一度に補正し、該倍率色収差量が前記所定の閾値を上回る画素位置においては、該倍率色収差を複数回に分けて補正することを特徴とする。
（作用）
請求項１の作用の他に、前記収差補正手段は、倍率色収差量が所定の閾値以下に収まる画素位置においては、該倍率色収差量を補正する倍率色収差補正を一度に補正する。 また、前記収差補正手段は、倍率色収差量が所定の閾値を上回る画素位置においては、倍率色収差補正を複数回に分けて補正する。
（効果）
倍率色収差量が所定の閾値以下に収まる画素位置においては、倍率色収差量が一度で補正が済む。従って、高速の処理ができる。また、請求項１の場合と同様に記憶手段の記憶容量の制約があっても、収差補正可能量に制約されることなく、任意の収差量の場合にも、倍率色収差補正ができる。

請求項３の発明に係る画像処理装置は、請求項１において、
前記収差補正手段は、前記倍率色収差を前記記憶手段に記憶された画像全体で同一の割合でかつ所定の閾値以下の収差量ずつ補正することを特徴とする。
（作用）
請求項１の作用の他に、前記収差補正手段は、複数回の倍率色収差補正を施す際、前記記憶手段に記憶された画像全体で同一の割合でかつ所定の閾値以下の収差量ずつ補正する。
（効果）
複数回の倍率色収差補正を施す際、各回で補正する収差量を所定の閾値以下に保つことができる。また、補正の収差量の大きさに起因する影響を低減できる。また、記憶容量の制約があっても、収差補正可能量に制約されることなく、任意の収差量の場合にも、倍率色収差補正ができる。
また、複数回の倍率色収差補正を施す際、記憶手段に記憶された画像全体で同一の割合で倍率色収差補正するため、補正量の大きさが異なる画像領域に対して調和した補正ができ、画質の良い画像が得られる。

請求項４の発明に係る画像処理装置は、
対物光学系を用いて撮像された第１のカラー画像を記憶する記憶手段と、
前記記憶手段を用いて、前記対物光学系に起因する倍率色収差の少なくとも一部を補正して第２のカラー画像を生成する第１の収差補正手段と、
前記第２のカラー画像中の画素の欠落する色成分を周囲の画素の画素値に基づいて補間して第３のカラー画像を生成する補間手段と、
前記第３のカラー画像の倍率色収差と歪曲収差を補正する第２の収差補正手段と、を備えることを特徴とする。

（作用）
第１の収差補正手段は、補間手段の処理を実施する前に、対物光学系に起因する倍率色収差量の補正を行う。第２の収差補正手段は、前記補間手段の処理を実施した後に倍率色収差補正と歪曲収差補正を行う。
（効果）
第１の収差補正手段により倍率色収差の補正が残った場合にも、第２の収差補正手段により、倍率色収差補正と歪曲収差補正とを行うことができる。
また、第１の収差補正手段により、補間手段の処理前に倍率色収差の補正を行うことにより、画質の良い画像を生成できる。また、記憶手段の記憶容量の制約があっても、収差補正可能量に制約されることなく、任意の収差量の場合にも、倍率色収差補正ができる。

請求項５の発明に係る画像処理装置は、請求項４において、
前記第１の収差補正手段は、前記倍率色収差量が所定の閾値以下に収まる画素位置においては該倍率色収差を一度に補正し、前記倍率色収差量が前記所定の閾値を上回る画素位置においては前記所定の閾値に等しい倍率色収差を補正し、
前記第２の収差補正手段は、前記第１の収差補正手段が補正した倍率色収差量に応じて残存する倍率色収差を補正することを特徴とする。
（作用）
請求項４の作用の他に、前記第１の収差補正手段は、倍率色収差量が所定の閾値以下に収まる画素位置においては該倍率色収差量を一度に補正する。
また、前記第１の収差補正手段は、倍率色収差量が所定の閾値を上回る画素位置においては所定の閾値に等しい倍率色収差を補正する。
また、前記第２の収差補正手段は、前記第１の収差補正手段が補正した倍率色収差量に応じて残存する倍率色収差を補正する。

（効果）
第１の収差補正手段は、倍率色収差量が所定の閾値を上回る画素位置においては所定の閾値で補正するため、倍率色収差量の大きさを抑制して倍率収差補正を行うことができる。
また、第１の収差補正手段により、補間手段の処理前に倍率色収差補正を行うことにより、画質の良い画像を生成できる。

請求項６の発明に係る画像処理装置は、請求項４において、
前記第１の収差補正手段は、前記倍率色収差を前記記憶手段に記憶された画像全体で同一の割合でかつ所定の閾値以下の収差量ずつ補正することを特徴とする。

（作用）
請求項４の作用の他に、第１の収差補正手段は、対物光学系に起因する倍率色収差を記憶手段に記憶された画像全体で同一の割合でかつ所定の閾値以下の収差量ずつ補正する。
（効果）
請求項４の効果の他に、第１の収差補正手段は、収差量を所定の閾値以下に保つので、補正の収差量の大きさに起因する影響を低減できる。
また、第１の収差補正手段は、記憶手段に記憶された画像全体で同一の割合で倍率色収差補正するため、補正量の大きさが異なる画像領域に対して調和した補正ができ、画質の良い画像が得られる。

本発明によれば、記憶容量が制約される記憶手段を用いた場合であっても倍率色収差補正を支障なく実施できる。

本発明の第１の実施形態の画像処理装置を備えた撮像装置の構成を示すブロック図。 カラーモザイクフィルタおけるベイヤ配列を示す図。 第１の実施形態の画像処理の手順を示すフローチャート。 図３における倍率色収差の補正の手順を示すフローチャート。 収差算出部における実際の像高から補正すべき像高を算出する動作の説明図。 像高比の説明図。 倍率色収差補正を行うための像高比を算出するための説明図。 図７で算出した像高比に対応する座標を求め、周辺画素から補間して理想的な像高に位置する座標の画素を求める説明図。 本発明の第２の実施形態の画像処理装置を備えた撮像装置の構成を示すブロック図。 本発明の第３の実施形態の画像処理装置を備えた撮像装置の構成を示すブロック図。 第３の実施形態の画像処理の手順を示すフローチャート。 本発明の第４の実施形態の画像処理装置を備えた撮像装置の構成を示すブロック図。 Ｇ（緑）の画素の位置を基準画素とし、Ｒ（赤）とＢ（青）の画素の倍率色収差の補正を行う説明図。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１は第１の実施形態を備えた撮像装置１の構成を示すブロック図である。
図１に示すようにこの撮像装置１は、被写体をカラー撮像する撮像部２と、撮像部２により撮像された画像データに対して、倍率色収差補正を含む各種の画像処理を行う第１の実施形態の画像処理装置３とを有する。
撮像部２は、被写体の光学像を結ぶ対物光学系４と、対物光学系４の結像位置に配置される撮像素子としての例えば電荷結合素子（ＣＣＤと略記）５と、このＣＣＤ５により光電変換された撮像信号に対する信号処理を行う撮像信号処理部６と、Ａ／Ｄ変換するＡ／Ｄ変換部７を有する。
この撮像信号処理部６により信号処理され、さらにＡ／Ｄ変換及び色分離された後、ホワイトバランス等の処理が行われた例えばベイヤ配列の画像データは、画像処理装置３を構成するメモリ８に格納される。

ＣＣＤ５の撮像面には、カラーモザイクフィルタ５ａが取り付けられており、カラーモザイクフィルタ５ａは、ＣＣＤ５の撮像面に結像される光学像を、ＣＣＤ５の画素単位で光学的にＲ，Ｇ，Ｂに色分離する。
従って、ＣＣＤ５により光電変換された撮像信号のカラー画像は、図２に示すようにカラーモザイクフィルタ５ａのベイヤ配列に対応したものとなる。なお、図２ではＲ，Ｇ，Ｂにより、カラー画像におけるＲ，Ｇ，Ｂの画素を示している。
撮像信号処理部６は、ＣＣＤ５から出力される撮像信号に対して、相関二重サンプリング(Correlated Double Sampling、以下ＣＤＳと略記)によるＣＤＳ処理を行い、リセットノイズ等を除去した信号成分、つまり画像信号成分を抽出した後、アナログゲインの調整等を行う。

アナログゲインの調整等が行われた画像信号は、Ａ／Ｄ変換部７でデジタル信号に変換された後、図示しないホワイトバランス等の処理が施された後、ベイヤ配列のデジタルの画像データが色成分の画像データとしてメモリ８に一時的に格納される。
このメモリ８の画像データは、メモリ転送部９を経て倍率色収差の補正を行う収差補正手段を備えた収差補正部１０に入力される。
収差補正部１０は、Ｇの色成分の画像データの各画素を基準として、補正対象となる例えばＲ，Ｂの色成分の画像データに対して、画像データを一時的に記憶する記憶容量（格納容量）が制約された記憶手段としてのバッファ２１を用いて、任意の収差量の倍率色収差補正を行えるようにするために、複数回の倍率色収差の補正を行う。
収差補正部１０は、対物光学系４を用いて撮像されたカラー画像を第１のカラー画像とした場合、第１のカラー画像を記憶するバッファ２１を用いて該第１のカラー画像の少なくとも１つの画素の前記対物光学系４に起因する倍率色収差の補正を複数回に分けて行うことにより、第２のカラー画像を生成する。また、後述する補間部１２は、第２のカラー画像中の画素の欠落する色成分を周囲の画素の画素値に基づいて補間して第３のカラー画像を生成する処理を行う。

上記収差補正部１０により倍率色収差が補正されたＲ，Ｂの画像データと共に、Ｇの画像データは、他画像処理部１１に入力される。この他画像処理部１１は、倍率色収差の補正がされたＲ，Ｂの画像データとＧの画像データに対して、欠落している画素を、同色の周辺画素の画素値で補間（いわゆるデモザイキング）する補間手段としての補間部１２を含む。
なお、本実施形態は、欠落している画素を補間する前に倍率色収差補正を行うようにしているので、欠落している画素を補間した後に倍率色収差補正を行う場合よりも、画質の良いカラー画像を生成できる。
上記の他画像処理部１１により欠落している画素の補間と共に、エッジ強調処理等の画像処理された画像データは、画像圧縮部１３に入力され、この画像圧縮部１３は画像データに対する圧縮処理を行う。この画像圧縮部１３により圧縮処理された画像データは、記録メディア１４に入力され、記録される。

また、この画像処理装置３は、撮像装置１の各部の制御を行うシステム制御部１５と、このシステム制御部１５が制御を行う制御プログラムが格納された制御プログラム格納手段としての例えばフラッシュメモリ１６とを有する。
このフラッシュメモリ１６には、画像処理装置３による画像処理を行う画像処理方法のプログラムも格納されている。なお、図１等においては、収差補正部１０における倍率色収差の補正の制御は、収差補正部１０内に設けた制御部２６が行う構成で示しているが、システム制御部１５が行うようにしても良い。
上記収差補正部１０は、メモリ８から収差補正対象となるＲ，Ｂの画像データとＧの画像データが、制御部２６の制御下でメモリ転送部９を介して入力されるバッファ２１と、倍率色収差の収差量を算出する収差量算出部２２とを有する。
この収差量算出部２２は、収差補正部１０の動作を制御する制御部２６からの制御信号により、Ｒ，Ｇ，Ｂの画像データを構成する各画素における実際の像高比ｒ′及び理想的な像高比ｒを算出する。像高比ｒとは図６のように画像の中心から座標(ｘ_u、ｙ_u)までの距離Ｒ′を画像の中心からもっとも離れた座標(x_max、y_max)までの距離Ｒで正規化したものである。図６の場合には像高比ｒは、ｒ＝Ｒ′／Ｒとなる。

このとき、画像の中心から各座標までの距離を像高（図６においては、Ｒ，あるいはＲ′）という。なお、後述するように、例えばＧの画像データの場合を基準とするため、実際にはＲ，Ｂの画像データを構成する各画素における実際の像高比ｒ′及び理想的な像高比ｒを算出する。算出方法は実際の像高比ｒ′を理想的な像高比ｒの多項式を用いて表した以下の式１を用いる。
ｒ′＝ａ×ｒ^７＋ｂ×ｒ^５＋ｃ×ｒ^３＋ｄ×ｒ （１）
ここで、多項式の係数a、b、c、dは実際の光学特性から導出された係数である。

また、後述するように、収差量算出部２２は、１回目を除く複数回目の倍率収差の補正を行う場合には、実際の像高比ｒ′の代わりにその回の１回前の倍率収差の補正がされた像高比（簡単化のため、同じｒ′とする）を用いる。
この多項式により算出された実際の像高比r´をＲとＢの各画素の座標に対してかけることで、実際の像高Ｄ′を求める。さらに理想的な像高Ｄと実際の像高Ｄ´から倍率色収差の収差量の絶対値｜Ｄ−Ｄ′｜を算出して、領域決定部２３に出力する。
上記バッファ２１は、補正対象の画像データの全てに対する倍率色収差の補正を１回で行うことができる記憶容量よりは小さい制約された記憶容量を有する可能性がある。従って、一度（１回）で、全ての画像データに対する倍率色収差の補正を行うことが困難である場合がある。

バッファ２１の記憶容量に対応して、収差補正部１０には、バッファ２１で一度に補正可能な最大の収差量の値を所定の閾値ＴＨとして入力する閾値入力部２４が設けてある。この閾値入力部２４からの閾値ＴＨは、領域決定部２３に入力される。

この領域決定部２３は、収差量算出部２２から入力される収差量の絶対値｜Ｄ-Ｄ’|と、閾値ＴＨとを比較する。そして、この領域決定部２３は、その比較結果の情報としてのＦＬＡＧを倍率色収差補正部２５に出力する。
具体的には、領域決定部２３は、｜Ｄ-Ｄ’|>ＴＨか否かの比較結果をＦＬＡＧ情報とし、｜Ｄ-Ｄ’|>ＴＨの場合には、ＦＬＡＧ=１とし、それ以外の場合（｜Ｄ-Ｄ’|≦<ＴＨ）には、ＦＬＡＧ＝０とする。
このようにして領域決定部２３は、バッファ２１に格納された収差補正対象の画像データに対して、ＦＬＡＧ＝０に対応する領域（第１の領域という）と、ＦＬＡＧ＝１に対応する領域（第２の領域という）とを区分けする決定をする。

倍率色収差補正部２５には、領域決定部２３からのＦＬＡＧの値と共に、バッファ２１から画像データにおける補正対象の画素及びその周辺の画素が入力される。
この倍率色収差補正部２５は、ＦＬＡＧ＝０に対応する第１の領域が画像データ中に存在する場合には、該第１の領域の画素について、１回の倍率色収差の補正で、最終的に補正したい収差量を補正する。つまり、収差量補正手段を構成する倍率色収差補正部２５は、収差量が所定の閾値ＴＨ以下に収まる画素位置の画素に対しては、閾値ＴＨ以下の前記収差量の補正を１度だけ施して、最終的に補正したい収差量を補正する。
そして、この倍率色収差補正部２５は、１回の倍率色収差の補正で補正した第１の領域の画像データを、他画像処理部１１に出力する。
一方、倍率色収差補正部２５は、ＦＬＡＧ＝１に対応する第２の領域が画像データ中に存在する場合には、以下に説明するように複数回補正処理を行って最終的に補正したい収差量を補正する。
そして、この倍率色収差補正部２５は、複数回の倍率色収差の補正処理で最終的に補正したい収差量を補正した第２の領域の画像データを、他画像処理部１１に出力する。

上記のように他画像処理部１１における補間部１２は、収差補正部１０により倍率色収差が補正されたＲ，Ｂの画像データとＧの画像データにおける欠落画素に対する補間処理を、欠落画素と同色の周囲画素の画素値を用いて補間する。
他画像処理部１１による処理された画像データは、画像圧縮部１３を経て記録メディア１４に記録される。
このような構成における撮像装置１による動作を図３のフローチャートを参照して説明する。
最初のステップＳ１において撮像部２は、対物光学系４とＣＣＤ５とを用いて被写体を撮像する。そして、撮像信号処理部６は、ＣＣＤ５により光電変換された撮像信号からベイヤ配列に対応したデジタルのＲ，Ｇ，Ｂの画像データを生成する。

ステップＳ２に示すようにデジタルのＲ，Ｇ，Ｂの画像データは、画像処理装置３を構成するメモリ８に一時格納される。
ステップＳ３に示すようにメモリ８に一時格納されたＲ，Ｇ，Ｂの画像データは、収差補正部１０に入力される。収差補正部１０は、バッファ２１を用いてＲ，Ｂの倍率色収差補正を、補正する収差量が閾値ＴＨを上回る領域の画素に対しては複数回の処理で行う。なお、このステップＳ３は、図４にて詳細に説明する。
倍率色収差が補正されたＲ，Ｂの画像データと、Ｇの画像データは、他画像処理部１１に出力される。
ステップＳ４に示すように他画像処理部１１の補間部１２は、倍率色収差補正がされたＲ，Ｂの画像データと、Ｇの画像データにおける欠落している画素に対して、その周辺の同色の画素の画素値を用いて補間する補間処理を行う。

そして、この他画像処理部１１は、倍率色収差補正がされ、かつ欠落の無いＲ，Ｇ，Ｂの画像データを画像圧縮部１３に出力する。
ステップＳ５に示すように画像圧縮部１３は、入力される画像データを圧縮し、記録メディア１４に出力し、記録メディア１４は圧縮された画像データを記録する。
次に収差補正部１０により上記ステップＳ３の倍率色収差補正の動作を図４のフローチャートを参照して説明する。なお、収差補正部１０による倍率色収差補正の動作は、制御部２６により制御される。
また、収差補正部１０は以下に説明するように複数回の倍率色収差補正を行う。

メモリ８に一時格納されたＲ，Ｇ，Ｂの画像データは、図４のステップＳ１１に示すように収差補正部１０を構成するバッファ２１に格納される。
また、ステップＳ１２に示すように収差量算出部２２は、制御部２６からの制御信号により、バッファ２１に格納されたＲ，Ｂの画像データを構成する各画素における実際の像高比ｒ′及び理想的な像高比ｒを算出する。

なお、理想的な像高比ｒとして、例えばＧの画素のものを採用する。この場合には、Ｇの画像データに対しては、倍率色収差補正は行われない。
この収差量算出部２２は、さらにステップＳ１３に示すように倍率色収差の収差量の絶対値｜Ｄ-Ｄ’｜を算出して、領域決定部２３に出力する。
図５は、収差量算出部２２における実際の像高比ｒ′から理想的な像高比ｒを算出する動作の説明図を示す。

図５に示すように対物光学系４により、ＣＣＤ５の撮像面に、白色光の下での光学像を結像した場合には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長に対する対物光学系４の屈折率が異なるため、結像位置が異なる。
図５において、Ｒ、Ｇ、Ｂの波長の光に対する対物光学系４による屈折後の光の進路をそれぞれ点線、実線、２点鎖線で示し、それぞれの結像位置をＰ′_Ｒ，Ｐ′_Ｇ，Ｐ′_Ｂにより示している。なお、ＣＣＤ５の撮像面での結像位置は、画像データが格納されるメモリ８又はバッファ２１での画素位置に相当するため、以下では画素位置を用いる。また、Ｒ、Ｇ、Ｂの波長の光に対する各画素位置Ｐ′_Ｒ，Ｐ′_Ｇ，Ｐ′_Ｂを、光軸Ｏからの動径方向に沿った像高として表すと、それぞれＤ′_Ｒ、Ｄ′_Ｇ、Ｄ′_Ｂとなる。

この図５に示すようにＲ、Ｇ、Ｂの光の波長（色）が異なると、実際の画素位置Ｐ′_Ｒ，Ｐ′_Ｇ，Ｐ′_Ｂは、光軸Ｏからの像高Ｄ′_Ｒ、Ｄ′_Ｇ、Ｄ′_Ｂに応じて異なるため、収差補正部１０により理想的な像高ｒとなるように倍率色収差補正を行う。
ここではＧの光の波長の各画素位置Ｐ′_Ｇの像高Ｄ′_Ｇを理想的な像高Ｄとする。

収差量算出部２２は、その理想的な像高Ｄのデータを参照して、ステップＳ１２のように実際の像高Ｄ′_Ｒ、Ｄ′_Ｂから補正によって得られる理想的な像高Ｄ_Ｒ、Ｄ_Ｂを算出する。
そして、収差量算出部２２は、図４におけるステップＳ１３の倍率色収差の収差量の絶対値｜Ｄ-Ｄ’｜を算出する。

一方、ステップＳ１４に示すように閾値入力部２４は、バッファ２１に一度で格納される補正対象となる画像データに対して、補正可能となる最大の収差量を所定の閾値ＴＨとして設定し、その閾値ＴＨを領域決定部２３に出力する。

上述したようにバッファ２１は、倍率色収差の補正対象となる画像データの全ての収差量を一度で補正可能とする記憶容量よりは小さい可能性がある。このため、領域決定部２３は、ステップＳ１５に示すようにバッファ２１に格納されたＲ，Ｂの画像データに対して、｜Ｄ-Ｄ’|≦ＴＨの（一度で倍率色収差補正ができる）ＦＬＡＧ＝０に対応する第１の領域と、｜Ｄ-Ｄ’|>ＴＨの（一度では倍率色収差補正ができない）ＦＬＡＧ＝１に対応する第２の領域とを区分けする。
換言すると、領域決定部２３は、バッファ２１に格納されたＲ，Ｂの画像データを、閾値ＴＨを用いて、一度で倍率色収差補正が可能な第１の領域と、一度を超える複数回で倍率色収差補正を行う第２の領域とに区分けする。

そして、領域決定部２３は、このＦＬＡＧを倍率色収差補正部２５に出力する。
ステップＳ１６に示すＦＬＡＧ＝０の第１領域か否かの判定に応じて、ＦＬＡＧ＝０の第１の領域の場合にはステップＳ１７に示すように倍率色収差補正部２５は、その第１の領域の各画素に対しては、１回で最終的に望まれる倍率色収差補正を行う。この補正がされた画像データは、（図４の処理が完了し）他画像処理部１１に出力され、図３のステップＳ４の処理が行われる。
これに対してＦＬＡＧ＝１となる第２の領域のＲ，Ｂの画像データの各画素に対しては、ステップＳ１８に示すように倍率色収差補正部２５は、バッファ２１内に格納されている、第２の領域の周辺となる第１の領域の画素を用いて、上記閾値ＴＨ又は閾値ＴＨ以内の収差量で第１回目の倍率色収差補正を行う。倍率色収差補正を行うにはまず、すでに式１で説明している多項式を用いる。この多項式は一回の計算で実際の像高比を求めるものである。そこで、補正回数に応じた像高比を算出する必要がある。以下に、具体的な像高比の導出方法を記す。なお、この実施例では補正回数が2回の場合の具体例を示すが、補正回数はこれに限らない。

まず、図７の矢印で示すように実際の像高比r’と理想的な像高比ｒとの差が２分の１となる像高比r”を求める。次に図８のように求めた像高比r”を用いて理想的な像高と実際の像高の差の２分の１の像高に位置する座標を求める。求められた座標の周辺画素から値を補間して理想的な像高に位置する座標の画素に値を格納する。続けて、もう一度像高比r”から理想的な像高と実際の像高の差の２分の１の像高に位置する座標を求める。求められた座標の周辺画素から値を補間して理想的な像高に位置する座標の画素に値を上書きする。これにより理想的な像高へ補正することができる。

そして、ステップＳ１９に示すように補正された第２の領域の画像データはメモリ８に出力され、メモリ８に１回目の補正済みの画像データとして格納される。
この場合、撮像部２からメモリ８に格納されていた（以前の）第２の領域に対応する画像データは、１回目の補正済みの画像データにより収差量が低減されたものに補正、つまり上書きされる。
ステップＳ１９の後、ステップＳ１１の処理に戻る。そして、収差補正部１０は、２回目の収差補正の処理を行う。具体的には、メモリ８に格納された１回目の補正済みの画像データは、バッファ２１に画像データとして格納され、バッファ２１は、その画像データを倍率色収差補正部２５に出力する。

一方、ステップＳ１２に示すように収差量算出部２２は、１回目の補正による像高（Ｄ′とする）と理想的な像高Ｄを算出する。つまり、１回目に倍率色収差補正部２５による１回目の倍率色収差補正により得られた像高Ｄ′と理想的な像高Ｄを算出する。そして、ステップＳ１３以降の処理を１回目と同様に行う。
このように処理することにより、１回目では閾値ＴＨより大きい収差量を有していた第２の領域が、２回目ではより小さい収差量の領域となる。
そして、収差量が低減された以前の第２の領域に対して、ステップＳ１６の処理により、ＦＬＡＧ＝０の第１の領域と第２の領域とに区分けされる。ここで得られた第１の領域の画像データの各画素に対しては、ステップＳ１７により、１回で倍率色収差の補正が行われる（実際には２回の倍率色収差の補正となる）。

一方、ステップＳ１６において第１の領域に該当しない領域、つまり第２の領域と判定された場合には、ステップＳ１８により２回目の倍率色収差の補正が行われ、ステップＳ１９に示すように画像データが再びメモリ８に格納される。
その後、ステップＳ１１に戻り、３回目の倍率色収差の補正が行われる。なお、３回目の処理は、２回目と同じ処理となる。
このようにしてＴＨ以下の収差量の倍率色収差の補正を複数回行うことにより、ＦＬＡＧ＝１の第２の領域が無くなると、図４の倍率色収差補正の処理が終了する。

このようにして、収差量が大きい領域の画像データに対しても、記憶容量が制約されたバッファ２１を用いて複数回の倍率色収差の補正を行うことにより、最終的に望まれる理想的な像高に補正することができる。
本実施形態によれば、記憶容量が制約された記憶手段としてのバッファ２１を用いた場合にも、任意の収差量の場合に対して、倍率色収差の補正を支障なく実施ができる。
また、本実施形態は、倍率色収差の補正後に、欠落した色成分の画素を補間するようにしているので、画質の良いカラー画像を生成できる。

（第２の実施の形態）
図９は本発明の第２の実施形態の画像処理装置３Ｂを備えた撮像装置１Ｂのブロック図を示す。第１の実施形態においては、閾値入力部２４はバッファ２１内で補正できる最大の収差量の値を閾値ＴＨとして設定し、この閾値ＴＨとの比較により１回で倍率色収差の補正を行う収差量を決定していた。
つまり、バッファ２１内で補正できる最大の収差量の値としての閾値ＴＨの値により１回で倍率色収差補正を行う第１の領域と、２回以上の複数回で倍率色収差補正を行う第２の領域とに区分けしていた。
これに対して、本実施形態では、収差補正部１０Ｂは、各画素の倍率色収差の収差量の絶対値｜Ｄ-Ｄ’｜に応じて、その画素の倍率色収差量の一定の割合をバッファ２１を用いて補正する。

ここで、上記一定の割合の倍率色収差量は、バッファ２１内で補正できる最大の収差量である閾値ＴＨよりも小さく設定する。この一定の割合の倍率色収差の補正量は収差補正部１０Ｂ中の収差補正量決定部２７で決定される。
この収差補正量決定部２７は収差量算出部２２、閾値入力部２４、倍率色収差補正部２５に接続されている。そして、収差補正量決定部２７は、バッファ２１を用いて一度に処理される全ての画素について、収差量算出部２２から入力される収差量の絶対値｜Ｄ-Ｄ’|と、閾値ＴＨとを比較し、倍率色収差補正部２５で補正する倍率色収差の量を決定する。そして、この収差補正量決定部２７は、倍率色収差補正部２５で補正する倍率色収差の量を倍率色収差補正部２５に出力する。

なお、この場合上記一定の割合は、画素ごとに補正が必要とされる倍率色収差量が異なる場合にも一度の補正で対象とする全ての画素で同一としてもよい。そして収差補正部１０Ｂから出力された画像を再度収差補正部１０Ｂに入力して残存する倍率色収差を補正する。この残存する倍率色収差を同様に収差補正部１０Ｂを繰り返し用いて所定の割合ずつ複数回に分けて補正するようにしても良い。

このように、本実施形態においては、補正対象となるＲ，Ｂの全ての画像データに対して複数回（複数段階）で倍率色収差補正を行う。その他の構成は、第１の実施形態と同様である。
本実施形態においては、Ｒ，Ｂのいずれの画像データの場合にも、少なくとも２回の倍率色収差補正を行うと共に、各回で補正を行う収差量（補正量）の大きさを、バッファ２１内で補正できる最大の収差量である閾値ＴＨよりも低くなるようにしている。これにより、画像中の複数領域ごとに倍率色収差を補正する回数が異なることによる当該複数の領域間の不整合が発生することを抑制することができる。その他、第１の実施形態と同様の効果を有する。
（第３の実施形態）
図１０は本発明の第３の実施形態の画像処理装置３Ｃを備えた撮像装置１Ｃの構成を示す。
本実施形態の画像処理装置３Ｃは、図１の画像処理装置３において、他画像処理部１１と画像圧縮部１３との間に倍率色収差と歪曲収差とを同時に補正する倍率色・歪曲収差補正部３１を設けた構成である。
なお、この倍率色・歪曲収差補正部３１は、例えばその内部に上記バッファ２１の記憶容量よりも大きな記憶容量のバッファ３２を備えている。

また、本実施形態における収差補正部１０Ｃは、第１の実施形態の収差補正部１０に相当する。また、２回目以降の倍率色収差の補正のうち少なくとも１回は、上記倍率色・歪曲収差補正部３１により行う。また、本実施形態においては、例えばシステム制御部１５は、領域決定部２３によるＦＬＡＧの情報により、他画像処理部１１から出力される画像データを、倍率色・歪曲収差補正部３１に出力するか、画像圧縮部１３に出力するかの制御を行う。
つまり、他画像処理部１１により画像処理された画像データにおいて、領域決定部２３でＦＬＡＧ＝０とされた領域と、ＦＬＡＧ＝１とされた領域の確認が行われ（後述する図８のステップＳ３５参照）、その確認結果に応じて、ＦＬＡＧ＝０に対応する領域の画像データは、（倍率色・歪曲収差補正部３１を経由することなく）画像圧縮部１３に、ＦＬＡＧ＝１に対応する画像データは、収差量算出部２２において算出された収差量のデータと共に倍率色・歪曲収差補正部３１にそれぞれ出力される。

倍率色・歪曲収差補正部３１は、ＦＬＡＧ＝１に対応するＲ，Ｂの画像データに対して、収差補正部１０Ｃが実施した１回の倍率色収差補正により補正された収差量に応じて理想的な収差量での補正ができるように収差補正特性を適切に決定する。そして、倍率色・歪曲収差補正部３１は、その収差補正特性で、倍率色収差と歪曲収差との補正を行う。
なお、倍率色・歪曲収差補正部３１により画像処理された画像データは、画像圧縮部１３に出力される。その他の構成は、第１の実施形態と同様である。
次に本実施形態の動作を図１１のフローチャートを参照して説明する。
図３のステップＳ１と同様に、図１１のステップＳ３１に示すように撮像部２により撮像が行われる。そして図３のステップＳ２と同様に図１１のステップＳ３２によりＲ，Ｇ，Ｂの画像データがメモリ８に格納される。

次のステップＳ３３において、メモリ８に格納されたＲ，Ｂの画像データに対して、第１の収差補正手段を構成する収差補正部１０Ｃは、倍率色収差補正部２５を用いて第１の倍率色収差補正を行う。
この場合の第１の倍率色収差補正は、第１の実施形態における１回目の倍率色収差補正と同様である。
具体的には、収差補正部１０Ｃは、図４のステップＳ１１からステップＳ１９の処理を行う。また、このステップＳ１９により補正されてメモリ８に格納されたＲ，Ｂの画像データはＧの画像データと共に、他画像処理部１１に出力される。
そして、図１１のステップＳ３４に示すように他画像処理部１１の補間部１２は、Ｒ，Ｇ，Ｂの画像データにおける欠落する色成分の画素に対する補間の処理を行う。この他に他画像処理部１１は、エッジ強調などの画像処理を行う。

この他画像処理部１１から出力されるＲ，Ｂの画像データは、ステップＳ３５に示すようにＦＬＡＧ＝０に対応するものであるか否かの判定が行われる。
ＦＬＡＧ＝１に対応するＲ，Ｂの画像データは、倍率色・歪曲収差補正部３１に入力される。そして、ステップＳ３６に示すように倍率色・歪曲収差補正部３１は、入力されたＲ，Ｂの画像データに対して、第２の倍率色収差補正と歪曲収差補正とを同時に行う。
この倍率色・歪曲収差補正部３１のバッファ３２の記憶容量は、第１の収差補正手段としての収差補正部１０Ｃによる第１の倍率色収差補正に用いられるバッファ２１の記憶容量よりも大きくすることができ、この場合補正可能な収差量が制約されない。
従って、補正される収差量を殆ど無制限することが可能となり、上記第２の倍率色収差補正により、第１の倍率色収差補正で残った収差量を１回で補正することができる。

この第２の倍率色収差補正は、第１の倍率色収差補正の特性に応じた収差補正特性で、第１の倍率色収差補正で残った収差量を１回で補正することになる。従って、本実施形態においては、倍率色収差の収差量が大きい場合にも、２回の倍率色収差補正の処理により、その収差量を補正することが可能である。
第２の倍率色収差補正と歪曲収差補正が施されたＲ，Ｂの画像データは、画像圧縮部１３に出力される。
ステップＳ３７に示すように画像圧縮部１３は、入力されるＲ，Ｇ，Ｂのカラーの画像データを圧縮して、記録メディア１４に出力し、圧縮された画像データは記録メディア１４に記録される。
一方、ステップＳ３５においてＦＬＡＧ＝０に対応すると判定されたＲ，Ｂの画像データとＧの画像データは、画像圧縮部１３に出力される。そして、ステップＳ３７に示すように画像圧縮部１３は、カラーの画像データを圧縮して、記録メディア１４に出力し、圧縮された画像データは記録メディア１４に記録される。

本実施形態によれば、記憶容量が制約された記憶手段としてのバッファ２１を用いた場合にも、収差補正可能量に制約されることなく、任意の収差量の場合にも、倍率色収差補正ができる。
また、第１の収差補正手段を構成する収差補正部１０Ｃにより倍率色収差補正が施された後の画像データに対しては、第２の収差補正手段を構成する倍率色・歪曲収差補正部３１により、第１の倍率色収差補正で残った収差量を１回で補正できる。
従って、本実施形態によれば、倍率色収差量が大きい場合にも、２回の倍率色収差補正の処理により、必要とされる倍率色収差を行うことができ、高速の倍率色収差補正が可能となる。
また、収差補正部１０Ｃにより倍率色収差補正が施された後の画像データに対して、欠落する色成分の画素の補間を行うようにしているので、画質の良いカラー画像を生成できる。

（第４の実施の形態）
図１２は本発明の第４の実施形態の画像処理装置３Ｄを備えた撮像装置１Ｄの構成を示す。
第３の実施形態は、第１の実施形態に対して倍率色・歪曲収差補正部３１を適用した構成にしていた。これに対して、本実施形態は、例えば、第２の実施形態に対して倍率色・歪曲収差補正部３１を適用した構成に近い構成にしている。
なお、この倍率色・歪曲収差補正部３１は、例えばその内部に上記バッファ２１の記憶容量よりも大きな記憶容量のバッファ３２を備えている。
また、本実施形態における収差補正部１０Ｄは、第２の実施形態の収差補正部１０Ｂによる１回目の倍率色収差補正を行う第１の収差補正手段を構成する。

この収差補正部１０Ｄは、Ｒ，Ｂの画像データに対して収差量の絶対値｜Ｄ-Ｄ’｜に応じて、その画素において補正が必要とされる収差量よりも小さく且つ一定の割合で、バッファ２１を用いて、倍率色収差補正を１回のみ行う。この一定の割合の倍率色収差の補正量は収差補正部１０Ｄ中の収差補正量決定部２７で決定される。この収差補正量決定部２７は収差量算出部２２、閾値入力部２４、倍率色収差補正部２５に接続されている。そして、収差補正量決定部２７は、バッファ２１を用いて一度に処理される全ての画素について、収差量算出部２２から入力される収差量の絶対値｜Ｄ-Ｄ’|と、閾値ＴＨとを比較し、倍率色収差補正部２５で補正する倍率色収差の量を決定する。そして、この収差補正量決定部２７は、倍率色収差補正部２５で補正する倍率色収差の量を倍率色収差補正部２５に出力する。
なお、この場合、補正する割合は、画素ごとに補正が必要とされる収差量が異なる場合にも同じ割合で補正を行う。

そして、倍率色収差の補正が完了していない残りの収差量を、第２の収差補正手段としての倍率色・歪曲収差補正部３１でその補正の処理を行い、倍率色・歪曲収差補正部３１は例えば１回で補正を完了する。
この場合、倍率色・歪曲収差補正部３１は、補正対象のＲ，Ｂの画像データに対して、収差補正部１０Ｄが実施した１回の倍率色収差補正により補正された収差量に応じて理想的な収差量での補正ができるように収差補正特性を適切に決定する。そして、倍率色・歪曲収差補正部３１は、その収差補正特性で、倍率色収差と歪曲収差との補正を行う。
このように収差補正部１０Ｄは、２回目の倍率色収差の補正を行わない。２回目の倍率色収差補正は、第２の収差補正手段を構成する上記倍率色・歪曲収差補正部３１により行う。

倍率色・歪曲収差補正部３１は、第１の収差量補正手段としての収差補正部１０Ｄが実施した１回の倍率色収差補正により補正されなかった残りの倍率色収差と共に、歪曲収差の補正を行う。
倍率色・歪曲収差補正部３１により倍率色収差と歪曲収差の補正の画像処理された画像データは、画像圧縮部１３に出力される。その他の構成は、第２の実施形態と同様である。
第３の実施形態においては、バッファ２１による１回での収差補正可能な最大の収差量に相当する閾値ＴＨ以内に収まる収差量のＲ，Ｂの画像データに対しては第１の収差補正手段を構成する収差補正部１０Ｃにおいて１回、閾値ＴＨ以内に収まる収差量を補正していた。

また、第３の実施形態においては、閾値ＴＨを上回る収差量のＲ，Ｂの画像データに対しては第１の収差補正手段を構成する収差補正部１０Ｃにおいて、閾値ＴＨ以内の所定の収差量を補正して、他画像処理部１１に出力していた。
これに対して本実施形態においては、収差補正部１０Ｄは、Ｒ，Ｂの画像データに対して収差量の絶対値｜Ｄ-Ｄ’｜に応じて、第２の実施形態の場合と同様により小さい倍率色収差の収差量を補正する。
このように本実施形態は、第３の実施形態における第１の収差補正手段による倍率色収差補正を行う収差量を、より小さい収差量に抑制する。

従って、本実施形態によれば、第２の実施形態と同様に倍率色収差補正を行う際の補正量の大きさによる画質の変化をより軽減できる。また、本実施形態によれば、２回で倍率色収差補正を行うことができる。その他、収差補正部１０Ｄとして記憶容量が制約された記憶手段としてのバッファ２１を用いることができる。
なお、上述した実施形態においては、Ｇの画素位置を理想的な画素位置として、他の画素としてのＲ，Ｂの画素の倍率色収差補正を行う例で説明したが、Ｒ又はＢの画素位置を理想的な画素位置として、他の画素の倍率色収差の補正を行うようにしても良い。
また、上述した実施形態を部分的に組み合わせる等して他の実施形態を構成しても良い。

１…撮像装置、２…撮像部、３…画像処理装置、４…対物光学系、５…ＣＣＤ、６…撮像信号処理部、８…メモリ、１０…収差補正部、１１…他画像処理部、１２…補間部、１３…画像圧縮部、２１…バッファ、２２…収差量算出部、２３…領域決定部、２４…閾値入力部、２５…倍率色収差補正部、２７…収差補正量決定部、３１…倍率色・歪曲収差補正部

特開２００６−２０２７５号公報 特開２００７−１３３５９２号公報 特開２００５−４５５１４号公報

Claims (6)

1. 対物光学系を用いて撮像された第１のカラー画像を記憶する記憶手段と、
   前記記憶手段を用いて、前記第１のカラー画像の少なくとも１つの画素の前記対物光学系に起因する倍率色収差の補正を複数回に分けて行うことにより第２のカラー画像を生成する収差補正手段と、
   前記第２のカラー画像中の画素の欠落する色成分を周囲の画素の画素値に基づいて補間する補間手段と、
   を備えることを特徴とする画像処理装置。
2. 前記収差補正手段は、倍率色収差量が所定の閾値以下に収まる画素位置においては、該倍率色収差を一度に補正し、該倍率色収差量が前記所定の閾値を上回る画素位置においては、該倍率色収差を複数回に分けて補正することを特徴とする請求項１記載の画像処理装置。
3. 前記収差補正手段は、前記倍率色収差を前記記憶手段に記憶された画像全体で同一の割合でかつ所定の閾値以下の収差量ずつ補正することを特徴とする請求項１記載の画像処理装置。
4. 対物光学系を用いて撮像された第１のカラー画像を記憶する記憶手段と、
   前記記憶手段を用いて、前記対物光学系に起因する倍率色収差の少なくとも一部を補正して第２のカラー画像を生成する第１の収差補正手段と、
   前記第２のカラー画像中の画素の欠落する色成分を周囲の画素の画素値に基づいて補間して第３のカラー画像を生成する補間手段と、
   前記第３のカラー画像の倍率色収差と歪曲収差を補正する第２の収差補正手段と、を備えることを特徴とする画像処理装置。
5. 前記第１の収差補正手段は、前記倍率色収差量が所定の閾値以下に収まる画素位置においては該倍率色収差を一度に補正し、前記倍率色収差量が前記所定の閾値を上回る画素位置においては前記所定の閾値に等しい倍率色収差を補正し、
   前記第２の収差補正手段は、前記第１の収差補正手段が補正した倍率色収差
   量に応じて残存する倍率色収差を補正することを特徴とする請求項４記載の画像処理装置。
6. 前記第１の収差補正手段は、前記倍率色収差を前記記憶手段に記憶された画像全体で同一の割合でかつ所定の閾値以下の収差量ずつ補正することを特徴とする請求項４記載の画像処理装置。

Images