JP2007129303A - 画像処理装置 - Google Patents

Abstract

【課題】大きな歪曲収差を持つ光学系で撮影された画像の場合にも、誤差なくイメージセンサの欠陥補正を行うことができる画像処理装置を提供する。
【解決手段】中央部を拡大しその周辺部を圧縮する歪曲収差特性を持つ光学系を用い、歪曲収差補正画像処理装置で歪曲収差を行う。画面が歪曲収差特性の特性値により領域分割され、各領域毎に、補正係数が設定される。領域補正係数選択回路３４の補正係数テーブルには、歪曲収差特性の特性値の大きさに応じて分割した領域に対応する補正係数が格納される。領域識別信号に従い、補正係数テーブルからその領域に対応する補正係数が出力される。補正値算出回路３５で欠陥画素の補正を行う際に、領域補正係数選択回路３４の補正係数テーブルから補正値が与えられ、この補正値に基づいて、補正が行われる。
【選択図】図５

Description

本発明は、画像処理装置に関し、特に、イメージセンサに存在する画素欠陥に起因する画像信号を補正する画像処理装置に関する。

ビデオカメラやデジタルカメラなどの画像入力装置に於いて、撮影する被写体までの距離や画角に占める大きさに合わせて、拡大縮小を自由に行うズーム機能が広く利用されている。これらのズーム機能は通常内部のレンズを機械的に動かすことにより実現されている光学ズームと、イメージセンサから出力される画像の一部を利用し、画素間に新たな画素を補間することで補間画像を生成して拡大する電子ズームに大別される。電子ズームは光学ズームと比較して駆動部分がなく小型かつ安価に実現できるが、画質的に劣るという問題点がある。

こういった課題に対して、特許文献１では、入力画像の周辺部を圧縮する機能を持つ固定焦点距離画像入力光学系と、これを受光する主として均一な画素密度の受光素子とを備え、この圧縮による歪みを含んだ該受光素子の受光画像を補正変換する機能を備えることにより、高画質なズーム画像を実現することを特徴とする電子ズーム画像入力方式を提案している。この方式を採用することにより広角画像も望遠画像も周辺部の画質劣化は避けられないものの中央部は劣化が少ない画像を得ることが期待できる。
特開平１０−２３３９５０号公報

ところで、ビデオカメラやデジタルカメラなどのイメージセンサとしては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ)イメージセンサやＣＣＤ(Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ)イメージセンサが用いられる。このようなイメージセンサでは、製造工程上のごみの混入或いは製造後の放射線（宇宙線）照射の影響などにより、いくつかの画素では、特異的に大きな暗電流、画素部からの信号読み出し不良、特異的な画素感度不足等の原因により、欠陥画素が発生する。従来では、このような欠陥画素が生じた場合には、その周辺の画素により欠陥画素を線形補間して、欠陥画素の補正が行われている。

ところが、特許文献１に示すような歪曲収差を有する光学系を用いた場合には、歪曲収差の特性により、イメージセンサの各画素の受け持ち範囲が均一でなくなるため、単純な線形補間では、正しい補正値を得られない。

本発明は、以上の課題に鑑み、大きな歪曲収差を持つ光学系で撮影された画像の場合にも、誤差なくイメージセンサの欠陥補正を行うことができる画像処理装置を提供することを目的とする。

請求項１の発明に係る画像処理装置は、中央部を拡大しその周辺部を圧縮する歪曲収差特性を持つ光学系と、この光学系を介して受光した光学像を画像信号に変換して出力するイメージセンサと、歪曲収差特性に応じた、イメージセンサの欠陥画素の画像信号を補正するために用いる周辺画素の位置に係る補正係数を出力する補正係数出力回路と、周辺画素の画像信号と補正係数とに基づき、欠陥画素の画像信号に係る補正値を算出する補正値算出回路とを備えることを特徴とする。

請求項２の発明に係る画像処理装置では、補正係数出力回路は、欠陥画素を検出する欠陥画素検出回路と、検出された欠陥画素に係る周辺画素の位置を出力する周辺画素位置出力回路と、周辺画素の位置に基づき、周辺画素が、補正係数の大きさに従って分割して設定された複数の画像領域のうちの、何れの画像領域に属するかを示す領域識別信号を出力する領域識別回路と、画像領域を単位として設定された補正係数のうち、領域識別信号に対応する補正係数を出力する領域補正係数選択回路と有することを特徴とする。

請求項３の発明に係る画像処理装置では、ある画像領域を更に複数に再分割して設定される再分割領域における補正係数を、領域補正係数選択回路が出力する補正係数に基づいて算出する補正係数再算出回路と、領域補正係数選択回路からの補正係数、或いは、補正係数再算出回路からの補正係数の何れか一方を、周辺画素の位置に基づいて選択する補正係数選択回路とを更に有することを特徴とする。

請求項４の発明に係る画像処理装置では、補正値算出回路を第１の補正値算出回路とし、補正係数を用いることなく、周辺画素の画素値に基づいて補正値を算出する第２の補正値算出回路と、第１の補正値算出回路からの補正値、或いは、第２の補正値算出回路からの補正値の何れか一方を、周辺画素の位置に基づいて選択する補正値選択回路とを更に有することを特徴とする。

請求項５の発明に係る画像処理装置では、第２の補正値算出回路は、欠陥画素の周辺画素から、所定の複数画素を選択する画素選択回路と、複数画素に係る画像信号の平均を算出し補正値として出力する平均欠陥画素補正回路とを有することを特徴とする。

請求項６の発明に係る画像処理装置では、第２の補正値算出回路は、欠陥画素の周辺画素から、所定の画素を選択する画素選択回路と、選択された周辺画素に係る画像信号を補正値として出力する置換欠陥画素補正回路とを有することを特徴とする。

請求項７の発明に係る画像処理装置は、中央部を拡大しその周辺部を圧縮する歪曲収差特性を持つ光学系と、この光学系を介して受光した光学像を画像信号に変換して出力するイメージセンサと、欠陥画素を検出する欠陥画素検出回路と、検出された欠陥画素に係る複数の周辺画素の位置を出力する周辺画素位置出力回路と、欠陥画素及び周辺画素の位置における、歪曲収差特性に係る特性値を出力する特性値出力回路と、特性値を比較し、欠陥画素の特性値との差が最も小さい周辺画素を選択する画素選択回路と、欠陥画素に係る画像信号を、画素選択回路により選択された周辺画素の画像信号と置き換えて補正する補正値算出回路とを有することを特徴とする。

請求項１の発明によれば、中央部を拡大しその周辺部を圧縮する歪曲収差特性を持つ光学系と、この光学系を介して受光した光学像を画像信号に変換して出力するイメージセンサと、歪曲収差特性に応じた、イメージセンサの欠陥画素の画像信号を補正するために用いる周辺画素の位置に係る補正係数を出力する補正係数出力回路と、周辺画素の画像信号と補正係数とに基づき、欠陥画素の画像信号に係る補正値を算出する補正値算出回路とを備えるようにしている。欠陥画素に係る周辺画素の画像信号と、周辺画素に係る補正係数とに基づき、欠陥画素の画像信号に係る補正値が演算されるので、歪曲収差の影響を考慮した精度の高い欠陥画素補正を行うことができ、高画質化することが可能となる。

請求項２の発明に係る画像処理装置によれば、補正係数出力回路は、欠陥画素を検出する欠陥画素検出回路と、検出された欠陥画素に係る周辺画素の位置を出力する周辺画素位置出力回路と、周辺画素の位置に基づき、周辺画素が、補正係数の大きさに従って分割して設定された複数の画像領域のうちの、何れの画像領域に属するかを示す領域識別信号を出力する領域識別回路と、画像領域を単位として設定された補正係数のうち、領域識別信号に対応する補正係数を出力する領域補正係数選択回路と有するようにしている。画像領域単位で補正係数を出力するようにすることで、画素毎に補正係数を求める構成を省くことが可能となるので、画像処理装置自体の構成を簡単化可能となる。例えば、補正係数を予めＳＤＲＡＭ等の記憶装置に格納しておき、呼び出すようにする構成においては、記憶装置の記憶容量を抑えることが可能である。

請求項３の発明に係る画像処理装置によれば、ある画像領域を更に複数に再分割して設定される再分割領域における補正係数を、領域補正係数選択回路が出力する補正係数に基づいて算出する補正係数再算出回路と、領域補正係数選択回路からの補正係数、或いは、補正係数再算出回路からの補正係数の何れか一方を、周辺画素の位置に基づいて選択する補正係数選択回路とを更に有するようにしている。再分割領域における補正係数を、領域補正係数選択回路が出力する前記補正係数に基づいて算出するようにすることで、歪曲収差が大きい周辺部において、領域を細分化し、精度の高い補正を行う場合であっても、その細分化された領域に係る補正係数を、回路規模を大きくすることなく、得ることが可能となる。

請求項４の発明に係る画像処理装置によれば、補正値算出回路を第１の補正値算出回路とし、補正係数を用いることなく、周辺画素の画素値に基づいて補正値を算出する第２の補正値算出回路と、第１の補正値算出回路からの補正値、或いは、第２の補正値算出回路からの補正値の何れか一方を、周辺画素の位置に基づいて選択する補正値選択回路とを更に有するようにしている。補正係数を用いることなく、周辺画素の画像信号に基づいて補正値を算出する第２の補正値算出回路と、異なる手法で算出された補正値を選択する補正値選択回路とを有することにより、歪曲収差が小さい領域、例えば、画像の中心部分においては第２の補正値算出回路を用いるようにすることで、処理時間を抑えることが可能となる。

請求項５の発明に係る画像処理装置によれば、第２の補正値算出回路は、欠陥画素の周辺画素から、所定の複数画素を選択する画素選択回路と、複数画素に係る画像信号の平均を算出し補正値として出力する平均欠陥画素補正回路とを有するようにしている。所定の複数画素、例えば、欠陥画素と同色の周辺画素に係る画像信号から平均により補正画素値を求め、欠陥画素補正を行うようにすることで、処理時間を抑えることが可能となる。

請求項６の発明に係る画像処理装置によれば、第２の補正値算出回路は、欠陥画素の周辺画素から、所定の画素を選択する画素選択回路と、選択された周辺画素に係る画像信号を補正値として出力する置換欠陥画素補正回路とを有するようにしている。所定の画素、例えば、欠陥画素と同色の後行或いは先行する画素を選択し、この画素の画素値でもって欠陥画素の画像信号とするので、処理時間を抑えることが可能となる。

請求項７の発明に係る画像処理装置によれば、中央部を拡大しその周辺部を圧縮する歪曲収差特性を持つ光学系と、この光学系を介して受光した光学像を画像信号に変換して出力するイメージセンサと、欠陥画素を検出する欠陥画素検出回路と、検出された欠陥画素に係る複数の周辺画素の位置を出力する周辺画素位置出力回路と、欠陥画素及び周辺画素の位置における、歪曲収差特性に係る特性値を出力する特性値出力回路と、特性値を比較し、欠陥画素の特性値との差が最も小さい周辺画素を選択する画素選択回路と、欠陥画素に係る画像信号を、画素選択回路により選択された周辺画素の画像信号と置き換えて補正する補正値算出回路とを有するようにしている。欠陥画素の歪曲収差特性に係る特性値との差が最も小さい周辺画素に係る画像信号で、欠陥画素に係る画像信号を置き換えて補正を行うので、比較的簡単な回路で構成することが可能となる。

以下、本発明の実施の形態について図面を参照しながら説明する。
（第１の実施形態）
図１は、本発明が適用される画像撮影装置の全体構成を示すものである。図１において、１は光学系である。光学系１としては、中央部を拡大し周辺部を圧縮するような歪曲収差を持つものが用いられる。すなわち、光学系１としては、通常の光学系と、図２で示すようなカマボコ形のシリンドリカルレンズ１１及び１２を縦横に組み合わせてなる歪曲収差を持つ光学系とが用いられる。

光学系１からの光学像はイメージセンサ２の受光面に結像される。イメージセンサ２としては、ＣＣＤ(Charge Coupled Device)イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ)イメージセンサが用いられる。イメージセンサ２の前面には、例えばＲＧＢの各色のフィルタがベイヤー配列で配設されている。

イメージセンサ２で、光学系１からの光学像が光電変換される。光学系１として上述の歪曲収差を持つ光学系を用いた場合、図３（Ａ）に示すような被写体像は、イメージセンサ２上では、図３（Ｂ）に示すような歪曲を生じた画像信号となる。このように、歪曲収差を持つ光学系では、周辺部が圧縮され、同じ画角の電子ズーム画像を得る場合に、画像データの面積が大きくなる。

イメージセンサ２の出力信号は、歪曲収差補正画像処理装置３に送られる。歪曲収差補正画像処理装置３は、図４に示すように、欠陥画素補正回路２１と、画像補正回路２２と、ＲＧＢ同時化回路２３と、歪曲収差補正回路２４と、拡大縮小回路２５と、ＹＣ変換回路２６と、圧縮回路２７とから構成される。

図４において、イメージセンサ２からの画像信号は、欠陥画素補正回路２１に供給される。欠陥画素補正回路２１で、イメージセンサ２の欠陥画素の補正が行われる。後に詳述するように、本発明の第１実施形態では、歪曲収差を生じさせる光学系１を考慮して、欠陥補正が行われる。

欠陥画素補正回路２１の出力信号が画像補正回路２２に供給される。画像補正回路２２で、ホワイトバランス補正、シェーディング補正等の画像補正処理が行われる。

画像補正回路２２の出力信号がＲＧＢ同時化回路２３に供給される。ＲＧＢ同時化回路２３は、ＲＧＢベイヤー配列の画像信号の色データの補間処理を行い、ＲＧＢの各色信号を同時化する。

ＲＧＢ同時化回路２３の出力信号が歪曲収差補正回路２４に供給される。歪曲収差補正回路２４により、光学系１による歪曲収差の補正が行われる。

歪曲収差補正回路２４の出力信号が拡大縮小回路２５に供給される。拡大縮小回路２５で、任意のサイズに画像が拡大、縮小される。

拡大縮小回路２５の出力信号がＹＣ変換回路２６に供給される。ＹＣ変換回路２６は、ＲＧＢ信号から、輝度・色差信号Ｙ、Ｃｒ、Ｃｂへの変換を行う。

ＹＣ変換回路２６の出力信号が圧縮回路２７に供給される。圧縮回路２７は、画像信号をＪＰＥＧ(Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ)方式等に圧縮符号化する。

図１において、歪曲収差補正画像処理装置３からの画像信号は、画像記録装置５に送られ、画像記録装置５に記憶される。また、撮影画像に基づく画像信号は画像表示装置４に送られ、画像表示装置４にモニタ画像が表示される。

制御装置６は、光学系１やイメージセンサ２、歪曲収差補正画像処理装置３、画像表示装置４の制御を行っている。操作部７は、カメラを操作するためのボタンやスイッチ類、情報表示部などからなる。

図５は、本発明の第１実施形態の欠陥画素補正回路２１の構成を示すものである。この欠陥画素補正回路２１は、欠陥画素検出回路３１と、周辺画素位置出力回路３２と、領域識別回路３３と、領域補正係数選択回路３４と、補正値算出回路３５と、遅延回路３６と、選択回路３７とから構成される。

図５において、入力画像信号は、選択回路３７及び、補正値算出回路３５に供給されるとともに、その入力画像信号の位置情報が欠陥画素検出回路３１に供給されている。また、欠陥画素検出回路３１には、イメージセンサ２における出荷前試験や後発欠陥画素検出の自動欠陥画素検出などで検出された欠陥画素の位置情報が記録されている。欠陥画素検出回路３１は、入力画像信号が欠陥画素に係るものであることを検出すると、欠陥画素の位置に対応するアドレスを周辺画素位置出力回路３２に送る。

周辺画素位置出力回路３２は、欠陥画素の画像信号を補正するために用いる周辺画素の位置を、欠陥画素の位置に対応付けて記憶している。欠陥画素の位置に対応するアドレスが欠陥画素検出回路３１から周辺画素位置出力回路３２に送られると、周辺画素位置出力回路３２から、欠陥画素の画像信号を補正するために用いる周辺画素の位置が出力される。

周辺画素位置出力回路３２の出力信号が領域識別回路３３に供給される。領域識別回路３３で、周辺画素の位置が属する領域が判断され、これに基づいて、領域識別信号が出力される。この領域識別信号が領域補正係数選択回路３４に送られる。

後に説明するように、本発明の第１実施形態では、画面が歪曲収差特性の特性値により領域分割され、各領域毎に、補正係数が設定される。領域補正係数選択回路３４には補正係数テーブルが設けられ、補正係数テーブルには、歪曲収差特性の特性値の大きさに応じて分割した領域に対応する補正係数が格納されている。領域補正係数選択回路３４からは、領域識別回路３３からの領域識別信号に従い、補正係数テーブルからその領域に対応する補正係数が出力される。領域補正係数選択回路３４の補正係数テーブルからは、その領域に対応する補正係数が読み出される。この補正係数が補正値算出回路３５に送られる。

補正値算出回路３５は、入力画像信号と、領域補正係数選択回路３４からの補正係数により、補正値を算出する。この補正値が選択回路３７に送られる。

欠陥画素の位置では、欠陥画素検出回路３１から選択信号が出力される。この選択信号が遅延回路３６を介して選択回路３７に供給される。なお、遅延回路３６は、補正値算出処理の処理時間に対応する遅延合わせのために設けられる。欠陥画素が発生していないときには、選択回路３７からは、入力画像信号がそのまま出力される。欠陥画素が発生しているときには、選択回路３７からは、補正値算出回路３５で欠陥補正された補正値が出力される。

このように、本発明の第１実施形態の欠陥画素補正回路２１では、画面が歪曲収差特性の特性値により領域分割される。そして、領域補正係数選択回路３４には補正係数テーブルが設けられ、補正係数テーブルには、歪曲収差特性の特性値の大きさに応じて分割した領域に対応する補正係数が格納される。領域識別回路３３で、周辺画素の位置が属する領域が判断され、これに基づいて、領域補正係数選択回路３４の補正係数テーブルから、その領域に対応する補正係数が読み出される。この補正係数を用いて、補正値算出回路３５で歪曲収差に応じて欠陥補正の補正値が求められる。これにより、歪曲収差を持つ光学系１を用いた場合にも、精度の高い欠陥画素補正が可能となる。

次に、本発明の第１実施形態の欠陥補正について詳述する。本発明の第１実施形態では、ベイヤー配列のイメージセンサ２が用いられる。このようなベイヤー配列のイメージセンサ２では、図６に示すような画像が得られる。

今、図６において、座標（ｃ，２）の画素が欠陥画素であったとする。座標（ｃ，２）の画素はＲ色の画素であるから、この欠陥画素は、その周辺のＲ色の画素のデータから補間する。例えば水平方向の周辺２画素のデータから補間する場合、座標（ｃ，２）画素の補間値ｉＰｃ２は、座標（ａ，２）の画素値Ｐａ２と、座標（ｅ，２）の画素値Ｐｅ２とから、線形補間により、以下のように求められる。
ｉＰｃ２＝（Ｐａ２＋Ｐｅ２）／２ …（１）

前述したように、本発明の第１実施形態では、光学系１として歪曲収差を有するものが用いられている。歪曲収差がない場合には、イメージセンサ２の各画素の受け持ち範囲は図７（Ａ）に示すように全て等しくなるが、歪曲収差を有する光学系１を用いた場合には、図７（Ｂ）に示すように、イメージセンサ２の各画素の受け持ち範囲は異なってくる。

図７（Ａ）に示すように、光学系の歪曲収差がなく、イメージセンサ２の各画素の受け持ち範囲が等しい場合には、上述の（１）式による線形補間により、欠陥画素の補正が行える。ところが、図７（Ｂ）に示すように、光学系の歪曲収差があり、イメージセンサ２の各画素の受け持ち範囲が異なる場合には、上述の（１）式による線形補間では、正しい補正値を得られない。

図８は、そのことを示すものである。図８（Ａ）は、光学系の歪曲収差がなく、イメージセンサ２の各画素の受け持ち範囲Ｌ０、Ｌ１が等しい場合である。この場合、座標（ａ，２）の画素値Ｐａ２と、座標（ｅ，２）の画素値Ｐｅ２とから、（１）式に基づいて、座標（ｃ，２）画素の補間画素値ｉＰｃ２を求めると、求められた補間画素値ｉＰｃ２は、本来の画素値ｒＰｃ２と略等しくなる。

これに対して、図８（Ｂ）は、歪曲収差を有する光学系１を用い、各画素の受け持ち範囲Ｌ２、Ｌ３が異なる場合である。この場合、座標（ａ，２）の画素値Ｐａ２と、座標（ｅ，２）の画素値Ｐｅ２とから、（１）式に基づいて座標（ｃ，２）画素の補間画素値ｉＰｃ２を求めると、求められた補間画素値ｉＰｃ２と、本来の画素値ｒＰｃ２との間に誤差ｅが生じてくる。

そこで、本発明の第１実施形態では、図８（Ｃ）に示すように、画面を歪曲収差特性の特性値により補正係数を設定し、この補正係数を乗じて誤差が生じないようにしている。

つまり、本発明の第１の実施形態では、補正係数をｎ１（０）、ｎ１（１）とすると、座標（ｃ，２）画素の補間画素値ｉＰｃ２を、座標（ａ，２）の画素値Ｐａ２と、座標（ｅ，２）の画素値Ｐｅ２とから、
ｉＰｃ２＝（ｎ１（０）×Ｐａ２＋ｎ１（１）×Ｐｅ２）／２ …（２）
として求めるようにしている。

ここで、座標（ａ，２）の画素の歪曲収差の特性値をＫａ、座標（ｅ，２）の歪曲収差の特性値をＫｅとすると、補正係数ｎ１（０）は、
ｎ１（０）＝Ｋｅ／（Ｋａ＋Ｋｅ） …（３）
として求めることができる。

また、補正係数ｎ１（１）は、
ｎ１（１）＝Ｋａ／（Ｋａ＋Ｋｅ） …（４）
として求めることができる。

なお、歪曲収差の特性値は、歪曲収差の度合いを示すものであり、歪曲収差の特性値は、画面の周辺部では大きくなる。歪曲収差の特性値は、上述の各画素の受け持ち範囲と対応し、歪曲収差の特性値が大きくなる程、受け持ち範囲が大きくなる。

以上のように、歪曲収差を有する光学系１を用いた場合には、歪曲収差特性の特性値により補正係数を設定し、この補正係数を乗じることで、誤差のない欠陥補正を行うことができる。

本発明の第１実施形態では、画面が歪曲収差特性の特性値により領域分割される。図９は、歪曲収差特性に応じて画面を複数の領域に分割したものである。歪曲収差特性に応じて領域を分割する方法としては、分割する各領域の歪曲収差特性の特性値の閾値が決められ、その閾値の範囲にあてはまる特性値の範囲毎に分割が行われる。補正係数（ｎ１（０），ｎ１（１））は、図１０に示すように、光学中心の縦軸に対して線対称の関係となる。

図５における領域補正係数選択回路３４には、図１１に示すように、このようにして作成された補正係数テーブル４１が設けられる。そして、図１１に示すように、補正係数テーブル４１は、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)等のメモリ４２に格納される。

図５における補正値算出回路３５は、図１２に示すように、乗算器４３、４４と、加算器４５と、割算器４６とを含んでいる。

例えば、図６に示した座標（ｃ，２）の画素が欠陥画素の場合には、補正係数テーブル４１から、補正係数ｎ１（０）及びｎ１（１）が出力される。また、乗算器４３には、座標（ａ，２）の画素値Ｐａ２が供給され、乗算器４４には、座標（ｅ，２）の画素値Ｐｅ２が供給される。

乗算器４３で、画素値Ｐａ２と補正係数ｎ１（０）とが乗算され、乗算器４４で、画素値Ｐｅ２と補正係数ｎ１（１）とが乗算される。乗算器４３の出力（ｎ１（０）×Ｐａ２）と乗算器４４の出力（ｎ１（１）×Ｐｅ２）とが加算器４５で加算される。加算器４５の出力（ｎ１（０）×Ｐａ２＋ｎ１（１）×Ｐｅ２）は割算器４６に供給され、割算器４６からは、補間画素値ｉＰｃ２
ｉＰｃ２＝（ｎ１（０）×Ｐａ２＋ｎ１（１）×Ｐｅ２）／２
が出力される。なお、割算器４６は１／２の割り算なので、ビットシフトで実現できる。

以上説明したように、本発明の第１実施形態の欠陥画素補正回路２１では、歪曲収差特性の特性値により画面を領域分割し、補正係数テーブル４１には、歪曲収差特性の特性値の大きさに応じて分割した領域に対応する補正係数を格納し、周辺画素の位置がどの領域の属するかを判断し、これに基づいて、補正係数テーブル４１からその領域に対応する補正係数を読み出し、この補正係数を乗算して欠陥補正の補正値を求めるようにしている。これにより、歪曲収差を持つ光学系１を用いた場合にも、精度の高い欠陥画素補正が可能となる。

（第２の実施の形態）
図１３は、本発明の第２実施形態の欠陥画素補正回路２１の構成を示すものである。なお、画像撮影装置の全体構成については、第１の実施の形態と同様であり、第１の実施形態と同様な部分については、同一の符号を付し、その説明を省略する。

この第２実施形態では、図５に示した第１の実施形態の欠陥画素補正回路２１において、更に、補正係数再算出回路５１と、補正係数選択回路５２とが設けられている。補正係数再算出回路５１は、歪曲収差特性による特性値に応じて、再算出補正係数を外挿で算出する。補正係数選択回路５２は、周辺画素位置出力回路３２から出力された周辺画素の位置により、領域補正係数選択回路３４からの領域補正係数または補正係数再算出回路５１で各々求められた再算出補正係数のうちどちらか一方を選択して出力する。

本発明の第２実施形態による欠陥補正について更に説明する。本発明の第２の実施形態では、図１４（Ａ）に示すように、画面が歪曲収差特性の特性値により、領域Ａ１、Ａ２、Ａ３、…に分割される。各領域Ａ１、Ａ２、Ａ３、…毎の補正係数が、前述の第１の実施形態と同様に、領域補正係数選択回路３４の補正係数テーブルに蓄積される。そして、各領域Ａ１、Ａ２、Ａ３、…が更に複数の領域に分割される。図１４（Ｂ）では、領域Ａ３が例えば３つの再分割領域Ｍ０、Ｍ１、Ｍ２に再分割される。他の領域についても、同様に再分割される。

このように、各領域を３つの領域Ｍ０、Ｍ１、Ｍ２に再分割した場合、再分割領域Ｍ０、Ｍ１，Ｍ２の補正係数は、以下のようにして求められる。

先ず、その領域の補正係数がｎＭであった場合、再分割領域Ｍ０、Ｍ１、Ｍ２のうち中央の再分割領域Ｍ１の補正係数ｎＭ＿１については、その領域の補正係数ｎＭと等しいとして、
ｎＭ＿１＝ｎＭ …（５）
とする。

再分割領域Ｍ０の補正係数ｎＭ＿０は、その領域の補正係数（ｎＭ）と、再分割領域毎の歪曲収差の特性値（Ｍ０＿ｄ，Ｍ１＿ｄ，Ｍ２＿ｄ）とから、以下のように算出する。
ｎＭ＿０＝ｎＭ×（Ｍ０＿ｄ／Ｍ１＿ｄ） …（６）

再分割領域Ｍ２の補正係数ｎＭ＿２は、その領域の補正係数（ｎＭ）と、再分割領域毎の歪曲収差の特性値（Ｍ０＿ｄ，Ｍ１＿ｄ，Ｍ２＿ｄ）とから、以下のように算出する。
ｎＭ＿２＝ｎＭ×（Ｍ２＿ｄ／Ｍ１＿ｄ） …（７）

図１３に示す本発明の第２の実施形態の欠陥画素補正回路２１の構成において、欠陥画素検出回路３１で欠陥画素が検出されると、欠陥画素検出回路３１から周辺画素位置出力回路３２に、欠陥画素の位置に対応するアドレスが送られ、周辺画素位置出力回路３２から、欠陥画素の画像信号を補正するために用いる周辺画素の位置が出力され、これが領域識別回路３３に送られる。

領域識別回路３３で、周辺画素の属する位置の領域が判断され、これに基づいて、領域識別回路３３から領域識別信号が出力される。この領域識別信号が領域補正係数選択回路３４に送られ、領域補正係数選択回路３４の補正係数テーブルからは、その領域に対応する補正係数が読み出される。この各領域毎の補正係数は、補正係数選択回路５２に送られると共に、補正係数再算出回路５１に送られる。

補正係数再算出回路５１は、上述した周辺画素位置出力回路３２の出力に基づいて、各領域を複数の再分割領域に再分割し、再分割領域のそれぞれの補正係数を算出する。算出された再分割領域の補正係数が補正係数選択回路５２に送られる。

補正係数選択回路５２により、周辺画素位置出力回路３２から出力される周辺画素の位置に基づき、領域補正係数選択回路３４からの補正係数と、補正係数再算出回路５１からの再算出補正係数のうちの何れか一方が選択され、選択された補正係数が補正値算出回路３５に供給される。

補正値算出回路３５により、第１実施形態と同様に、欠陥画素の複数の周辺同色画素と補正係数とから補正値が算出されて出力される。

以上説明したように、本発明の第２の実施形態では、各領域を更に複数の再分割領域に分けて、再分割領域では、歪曲収差特性の特性値により、補正係数を外挿で算出するようにしている。

歪曲収差特性の特性値の変化が小さい領域、ここでは、中央部の領域に対しては第１の実施の形態と同じ方法で補正係数の算出方法で対応できる。周辺部においては、歪曲収差特性の特性値の変化が大きいので、補正係数を領域補正係数選択回路３４うちの補正係数テーブルに格納する方法では、歪曲収差特性の特性値の変化が大きい領域に対し、精度の高い補正係数を格納すると、補正係数を格納するデータ量が増大することにより、補正係数テーブルが巨大化してしまう。

本発明の第２の実施形態では、この補正係数テーブルを大きくせず、かつ精度の高い補正係数の算出のため、歪曲収差特性の特性値が大きい領域に対しては、補正係数テーブルに格納された補正係数に割り当てられている領域を細かく再分割し、その再分割した領域毎の補正係数の算出を行う。このことにより歪曲収差を持つ光学系においても、現行のイメージセンサを用い精度の高い欠陥画素補正が可能となる。

勿論、画面の中央部と周辺部とを区別せずに、全画面の領域を更に複数に再分割するようにしても良い。

（第３の実施の形態）
図１５は、本発明の第３実施形態の欠陥画素補正回路２１の構成を示すものである。なお、画像撮影装置の全体構成については、第１及び第２の実施の形態と同様であり、第１及び第２の実施形態と同様な部分については、同一の符号を付し、その説明を省略する。

この第３実施形態では、図５に示した第１の実施形態の欠陥画素補正回路における補正値算出回路３５を、画像信号と補正係数から演算により欠陥画素補正値を求める第１の補正値算出回路６１と、歪曲収差特性を考慮しない補正を行う第２の補正値算出回路６２とから構成するようにしている。そして、補正値選択回路６３により、周辺画素位置出力回路３２から出力される周辺画素の位置に基づき、第１の補正値算出回路６１からの補正値と第２の補正値算出回路６２からの補正値とのどちらか一方を選択して補正値として出力するようにしている。

この第３実施形態の欠陥画素補正回路２１について、更に説明する。図１６に示すように、本発明の第３の実施形態では、画面を周辺部分の第１の領域Ｂ１と、中央の第２の領域Ｂ２とに大別する。図１６における第１の補正値算出回路６１は、第１の領域Ｂ１に対する歪曲収差特性を考慮した補正値算出を行うものである。第２の補正値算出回路６２は、第２の領域Ｂ２に対する、歪曲収差特性を考慮しない補正値算出を行うものである。

補正値選択回路６３は、周辺画素位置出力回路３２から出力される周辺画素の位置に従い、第１の算出補正値と第２の算出補正値のどちらか一方を選択して補正値として出力する。

より詳しくは、第１の補正値算出回路６１は、例えば、欠陥画素の複数の周辺同色画素と補正係数とに基づき、補正値を演算して出力する。補正値算出方法は第１の実施の形態と同じである。

一方、第２の補正値算出回路６２は、例えば、欠陥画素の周辺同色画素から、簡易的な方法で補正値を算出して出力する。

第２の補正値算出回路６２は、図１７又は図１８に示すように構成される。図１７に示す第２の補正値算出回路６２は、第１画素選択回路７１と平均欠陥画素補正回路７２とから構成される。第１画素選択回路７１は、図１９に示すように、欠陥画素の周辺の同色画素の画素を選択する。そして、平均欠陥画素補正回路７２は、これらの欠陥画素の周辺の同色画素の平均値から、欠陥画素の補正値を求める。

一方、図１８に示す第２の補正値算出回路６２は、第２画素選択回路８１と置換欠陥画素補正回路８２とから構成される。第２画素選択回路は、図２０（Ａ）又は図２０（Ｂ）に示すように、前置置換や後置置換を行うための置換画素の選択を行う。置換欠陥画素補正回路８２は、第２画素選択回路８１で選択された画素と欠陥画素の画素を置換し補正値として出力する。

中央部分では各画素が受け持つ範囲がほぼ等しいので、歪曲収差による影響を考慮しないで、図１７や図１８に示したような、簡易的な従来のやり方でも精度の高い欠陥画素の補正が可能である。

図１５において、補正値選択回路６３により、周辺画素位置出力回路３２から出力される周辺画素の位置が第１の領域Ｂ１に属していた場合は、補正値として第１算出補正値が選択され、一方、周辺画素位置出力回路３２から出力される周辺画素の位置が第２の領域Ｂ２に属していた場合は、補正値として第２算出補正値が選択されて出力される。

以上のように、本実施の形態では、歪曲収差が小さい領域（第２の領域Ｂ２）に対しては簡易的な補正値算出を行い、歪曲収差が大きい領域（第１の領域Ｂ１）に対しては、歪曲収差特性の特性値に応じた補正係数により補正値算出を行う。歪曲収差の小さい領域である画像の中心部分における欠陥画素補正を簡易化することで、処理時間を短縮し、画像の中心部分を用いる電子ズームにおける画像処理の処理時間短縮を図ることが可能となる。

（第４の実施の形態）
図２１は、本発明の第４の実施の形態を示すものである。なお、画像撮影装置の全体構成については、第１〜第３の実施の形態と同様であり、第１〜第３の実施形態と同様な部分については、同一の符号を付し、その説明を省略する。

本発明の第４実施形態では、図２１に示すように、欠陥画素及びその周辺画素の位置における、歪曲収差特性に係る特性値を出力する特性値出力回路９１と、この特性値に基づき、置換画素たる周辺画素を選択する画素選択回路９２とを有している。

次に、本発明の第４の実施形態における各構成要素について説明する。画素選択回路９２により、図２２に示すように、欠陥画素と周辺同色画素との歪曲収差の特性値が比較され、欠陥画素の歪曲収差の特性値との差が一番小さい周辺同色画素を選択するための信号が出力される。

補正値算出回路３５は、画素選択回路９２からの出力に基づき、画像信号の置換を行う。選択回路３７は、遅延回路３６を介して送られる選択信号に基づき、画像信号が欠陥画素に係るものの時には補正値算出回路３５からの画像信号を選択、それ以外の時には補正前の画像信号を選択し出力する。このように、欠陥画素の歪曲収差の特性値との差が一番小さい画素と置換することで、誤差量を少なく抑えた置換補正が可能となる。

大きな歪曲収差を持つ光学系で撮影された画像に対する欠陥画素補正を行う場合、この歪曲収差を考慮した欠陥画素補正を行うことで、歪曲収差を考慮しない場合に比べ、精度の高い欠陥画素補正を行うことができ、欠陥画素補正を演算により行う場合に比べ、回路を簡略化することが可能となる。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

本発明は、歪曲収差を有する光学系を用いた場合のイメージセンサの欠陥補正に用いることができる。

本発明が適用される画像撮影装置の一例のブロック図である。 歪曲収差を有する光学系の説明に用いる斜視図である。 歪曲収差を有する光学系の説明図である。 本発明が適用される画像撮影装置における歪曲収差補正画像処理装置の一例のブロック図である。 本発明の第１実施形態の欠陥画素補正回路のブロック図である。 欠陥画素補正の説明図である。 歪曲収差を有していない光学系の欠陥画素と歪曲収差を有する光学系との欠陥画素の説明図である。 本発明の第１実施形態の欠陥画素補正の説明図である。 本発明の第１実施形態における領域分割の説明図である。 本発明の第１実施形態における領域内の補正係数の説明図である。 本発明の第１実施形態における補正係数テーブルの説明図である。 本発明の第１実施形態における補正値算出の説明図である。 本発明の第２実施形態の欠陥画素補正回路のブロック図である。 本発明の第２実施形態における領域分割および再分割領域の説明図である。 本発明の第３実施形態の欠陥画素補正回路のブロック図である。 本発明の第３実施形態における領域分割の説明図である。 本発明の第３実施形態における第２の補正値算出回路の一例のブロック図である。 本発明の第３実施形態における第２の補正値算出回路の他の例のブロック図である。 本発明の第３実施形態における第２の補正値算出回路の補正値の算出の説明図である。 本発明の第３実施形態における第２の補正値算出回路の補正値の算出の説明図である。 本発明の第４実施形態の欠陥画素補正回路のブロック図である。 本発明の第４実施形態の欠陥画素補正の説明図である。

符号の説明

１：光学系
２：イメージセンサ
３：歪曲収差補正画像処理装置
５：画像記録装置
６：制御装置
７：操作部
１１，１２：シリンドリカルレンズ
２１：欠陥画素補正回路
２２：画像補正回路
２３：ＲＧＢ同時化回路
２４：歪曲収差補正回路
２５：拡大縮小回路
２６：ＹＣ変換回路
２７：圧縮回路
３１：欠陥画素検出回路
３２：周辺画素位置出力回路
３３：領域識別回路
３４：領域補正係数選択回路
３５：補正値算出回路
３６：遅延回路
３７：選択回路
４１：補正係数テーブル
４２：メモリ

Claims (7)

1. 中央部を拡大しその周辺部を圧縮する歪曲収差特性を持つ光学系と、
   この光学系を介して受光した光学像を画像信号に変換して出力するイメージセンサと、
   前記歪曲収差特性に応じた、前記イメージセンサの欠陥画素の画像信号を補正するために用いる周辺画素の位置に係る補正係数を出力する補正係数出力回路と、
   前記周辺画素の画像信号と前記補正係数とに基づき、前記欠陥画素の画像信号に係る補正値を算出する補正値算出回路と
   を備えることを特徴とする画像処理装置。
2. 前記補正係数出力回路は、
   欠陥画素を検出する欠陥画素検出回路と、
   検出された欠陥画素に係る前記周辺画素の位置を出力する周辺画素位置出力回路と、
   前記周辺画素の位置に基づき、前記周辺画素が、前記補正係数の大きさに従って分割して設定された複数の画像領域のうちの、何れの画像領域に属するかを示す領域識別信号を出力する領域識別回路と、
   前記画像領域を単位として設定された前記補正係数のうち、前記領域識別信号に対応する前記補正係数を出力する領域補正係数選択回路と
   有することを特徴とする請求項１に記載の画像処理装置。
3. ある画像領域を更に複数に再分割して設定される再分割領域における前記補正係数を、前記領域補正係数選択回路が出力する前記補正係数に基づいて算出する補正係数再算出回路と、
   前記領域補正係数選択回路からの前記補正係数、或いは、前記補正係数再算出回路からの前記補正係数の何れか一方を、前記周辺画素の位置に基づいて選択する補正係数選択回路と
   を更に有することを特徴とする請求項２に記載の画像処理装置。
4. 前記補正値算出回路を第１の補正値算出回路とし、前記補正係数を用いることなく、前記周辺画素の画素値に基づいて前記補正値を算出する第２の補正値算出回路と、
   前記第１の補正値算出回路からの前記補正値、或いは、前記第２の補正値算出回路からの前記補正値の何れか一方を、前記周辺画素の位置に基づいて選択する補正値選択回路と
   を更に有することを特徴とする請求項２に記載の画像処理装置。
5. 前記第２の補正値算出回路は、
   前記欠陥画素の周辺画素から、所定の複数画素を選択する画素選択回路と、
   前記複数画素に係る画像信号の平均を算出し前記補正値として出力する平均欠陥画素補正回路と
   を有することを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の補正値算出回路は、
   前記欠陥画素の周辺画素から、所定の画素を選択する画素選択回路と、
   前記選択された周辺画素に係る画像信号を前記補正値として出力する置換欠陥画素補正回路と
   を有することを特徴とする請求項４に記載の画像処理装置。
7. 中央部を拡大しその周辺部を圧縮する歪曲収差特性を持つ光学系と、
   この光学系を介して受光した光学像を画像信号に変換して出力するイメージセンサと、
   欠陥画素を検出する欠陥画素検出回路と、
   検出された欠陥画素に係る複数の周辺画素の位置を出力する周辺画素位置出力回路と、
   前記欠陥画素及び前記周辺画素の位置における、前記歪曲収差特性に係る特性値を出力する特性値出力回路と、
   前記特性値を比較し、前記欠陥画素の特性値との差が最も小さい前記周辺画素を選択する画素選択回路と、
   前記欠陥画素に係る画像信号を、前記画素選択回路により選択された前記周辺画素の画像信号と置き換えて補正する補正値算出回路と
   を有することを特徴とする画像処理装置。
   
   

Images