JP2010026994A - 画像処理方法、画像処理装置及び画像処理システム - Google Patents

Abstract

【課題】温度変動が生じた場合でも画像に関する歪み補正を高精度に行うことができ温度変動に対しロバスト性のよい画像処理方法、画像処理装置及び画像処理システムを提供する。
【解決手段】この画像処理方法は、レンズ光学系を介して被写体画像がイメージセンサに結像し画像情報を得て、画像情報について画像処理部１３で画像処理を行うものであって、イメージセンサからの画像情報について歪み補正パラメータを用いて歪み補正による画像処理を行う際に、レンズ光学系とイメージセンサと画像処理部との内の少なくともいずれかの近傍において温度センサ１５により検知した検知温度情報のフィードバック先を歪み補正パラメータとし、歪み補正パラメータは、検知温度情報及びイメージセンサ内の座標位置に基づいて決定される。
【選択図】図２

Description

本発明は、イメージセンサからの画像情報について画像処理を行う画像処理方法、画像処理装置及び画像処理システムに関する。

画像処理システムはカメラシステムやスキャナシステムで用いられるが、従来、その入力画像処理システムには開ループ制御系が採用されている（例えば、特許文献１の図１参照）。開ループ制御系は、カメラシステムの場合、図９のように、被写体データが撮影・画像処理システムに入力し、出力系から出力するが、理論上、入力された値に対して出力する値は、例えば出力が「０」となる値を入力した時、出力は「０」となる。しかし、実際のシステムの場合、伝送線における電圧低下、システムの周囲環境変化などのノイズ等の影響により、出力の値は「０」以外の値となってしまう。従来は、これを検査工程などで人の手によって調整することで大まかなズレは補正されていた。だが、特にカメラシステムといった使用環境温度が急激かつ動的に変化する処理システムにおいてはこの手法では補正はできない。

また、図１０のような複眼カメラシステムの場合、基準カメラ５１と参照カメラ５２とにより同一のパラメータ値を持つものを撮影した場合、基準画像と参照画像とでパラメータ値が微小でも異なってしまうと同一のものと認識しないため、画像処理装置５３において、同一の点を探索できず、マッチング処理を行うことができなくなってしまう。従来は、これを防ぐため、パラメータ値にある程度の許容範囲を持たせていたが、この手法においては別のパラメータ値の似た点を同一と認識してしまう、いわゆるオクルージョンなどの現象を招く原因となっていた。

特許文献２は複数カメラを搭載した画像生成装置において温度センサ、温度補正テーブルを設置することで、気温上昇・下降にともなって微妙に変化するレンズ歪みを補正し、レンズを常に最適に保つことを開示する（図３，図６等）。

特許文献３は、カメラシステムにおいて、温度変動が生じると、レンズの屈折率が変化するため焦点距離が変化することを補正するために、光学レンズに光学レンズ温度モニタを付加し、予め温度補正メモリに光学レンズの温度に対する補正換算用のデータをメモリしておき、検知した光学レンズの温度により温度補正メモリから補正値を読み出し、ゲイン補正により温度変動による焦点距離変化を補償することを開示する。
特開平０９−１８６８１２号公報 国際公開公報ＷＯ００／０７３７３ 特開平０８−７５３９６号公報

特許文献３は、温度変動に起因する屈折率変化による焦点距離変化を補正するものであるが、温度変動が生じた場合、熱膨張によるレンズやイメージセンサの寸法変化の影響も無視できない。また、特許文献２は、温度変動に起因するレンズ歪みを補正する際に、同一の補正値を全画素に適用し、一律に歪みを補正しているため、精度のよい歪み補正はできなかった。

本発明は、上述のような従来技術の問題に鑑み、温度変動が生じた場合でも画像に関する歪み補正を高精度に行うことができ温度変動に対しロバスト性のよい画像処理方法、画像処理装置及び画像処理システムを提供することを目的とする。

上記目的を達成するために、本実施形態による画像処理方法は、レンズ光学系を介して被写体画像がイメージセンサに結像し画像情報を得て、前記画像情報について画像処理部で画像処理を行う画像処理方法であって、前記イメージセンサからの画像情報について歪み補正パラメータを用いて歪み補正による画像処理を行う際に、前記レンズ光学系と前記イメージセンサと前記画像処理部との内の少なくともいずれかの近傍において温度センサにより検知した検知温度情報のフィードバック先を前記歪み補正パラメータとし、前記歪み補正パラメータは、前記検知温度情報及び前記イメージセンサ内の座標位置に基づいて決定されることを特徴とする。

この画像処理方法によれば、温度センサによる検知温度情報のフィードバック先を画像の歪み補正パラメータとし、歪み補正パラメータを、検知温度情報及びイメージセンサ内の座標位置に基づいて決定することで、温度変動が生じた場合でも画像に関する歪み補正を高精度に行うことができるとともに、温度変動に対し画像の安定性を確保でき、高ロバスト性化を達成できる。

上記画像処理方法において前記検知温度情報をフィードフォワードし、そのフィードフォワード先を前記歪み補正パラメータとするようにしてもよい。

また、前記歪み補正パラメータの決定の際に移動平均化処理された値を用いることが好ましい。例えば、温度変化によるフィードバックまたはフィードフォワード処理時における温度パラメータを移動平均処理されたものを用いることで、精度のよい温度補正が可能となる。

本実施形態による画像処理装置は、レンズ光学系を介して被写体画像がイメージセンサに結像して画像情報を得て、前記画像情報について画像処理を行う画像処理部と、前記レンズ光学系と前記イメージセンサと前記画像処理部との内の少なくともいずれかの近傍温度を検知する温度センサと、を備え、前記画像処理部は前記イメージセンサからの画像情報について歪み補正パラメータによる歪み補正を行う歪み補正処理部を有し、前記温度センサによる検知温度情報を前記歪み補正処理部にフィードバックするように構成し、前記歪み補正パラメータが前記検知温度情報及び前記イメージセンサ内の座標位置に基づいて決定されることを特徴とする。

この画像処理装置によれば、温度センサによる検知温度情報を歪み補正処理部にフィードバックし、歪み補正処理部における歪み補正パラメータを、検知温度情報及びイメージセンサ内の座標位置に基づいて決定することで、温度変動が生じた場合でも画像に関する歪み補正を高精度に行うことができるとともに、温度変動に対し画像の安定性を確保でき、高ロバスト性化を達成できる。

上記画像処理装置において前記検知温度情報をフィードフォワードするように構成してもよい。

前記歪み補正パラメータの決定の際に移動平均化処理された値を用いることが好ましい。例えば、温度変化によるフィードバックまたはフィードフォワード処理時における温度パラメータを移動平均処理されたものを用いることで、精度のよい温度補正が可能となる。

本実施形態による画像処理システムは、前記レンズ光学系と、前記イメージセンサと、上述の画像処理方法または上述の画像処理装置により前記イメージセンサからの画像情報について画像処理を行う画像処理部と、前記画像処理後の画像情報を出力する出力部と、を備える。

この画像処理システムによれば、温度変動が生じた場合でも画像に関する歪み補正を高精度に行うことができ、温度変動に対し画像の安定性を確保でき、高ロバスト性化を達成できるので、温度変動の有無に関わらず安定した出力画像を得ることができる。

本発明によれば、温度変動が生じた場合でも画像に関する歪み補正を高精度に行うことができ温度変動に対しロバスト性のよい画像処理方法、画像処理装置及び画像処理システムを提供することができる。

以下、本発明を実施するための最良の形態について図面を用いて説明する。図１は本実施形態による画像処理システムを概略的に示すブロック図である。図２は図１の画像処理部を説明するためのブロック図である。

図１に示すように、画像処理システム１０は、レンズ光学系１１と、レンズ光学系１１を介して被写体画像が撮像面に結像するＣＣＤやＣＭＯＳ等の撮像素子からなるイメージセンサ１２と、イメージセンサ１２からの画像信号について各種の画像処理を行う画像処理部１３と、画像処理後の画像信号を出力画像情報として外部に出力する出力部１４と、レンズ光学系１１とイメージセンサ１２と画像処理部１３とを含むシステム内の環境温度を検知する温度センサ１５と、を備える。温度センサ１５で検知した検知温度信号は画像処理部１３に入力する。

図２のように、画像処理部１３は、イメージセンサ１２からの画像信号が入力する入力部２３と、フィードバックゲイン処理部２１と、温度解析処理部２２と、歪み補正処理部２４と、シェーディング補正部２５と、色分離補間部２６と、マスキング部２７と、γ補正部２８と、色空間変換部２９と、ブライトネス・コントラスト調整部３０と、色相・彩度調整部３１と、を備える。

歪み補正処理部２４は、レンズ光学系１１を介して得られた画像の光学的な歪みであるDistortion（歪曲）を補正するが、このとき、温度変動に起因する画像の歪みを併せて補正する。なお、レンズ光学系１１が魚眼レンズ系や広角レンズ系である場合、Distortion（歪曲）が大きく発生し、歪み補正が特に必要であるが、かかる歪み補正は、魚眼レンズ系や広角レンズ系の場合にのみ行われるのではなく、広角ではない通常のレンズ系についても行われる。

画像処理部１３では、入力部２３から入力したイメージセンサ１２からの画像信号について各部２４〜３１で各種の画像処理が行われ、その画像処理後の画像信号が出力するが、その出力信号がフィードバックゲイン処理部（以下、単に「ゲイン処理部」ともいう。）２１と、温度解析処理部２２にフィードバックされ、閉ループ制御系が構成されている。

温度解析処理部２２は、温度センサ１５からの検知温度信号に基づいて解析された温度パラメータを歪み補正処理部２４に出力し、歪み補正処理部２４で温度パラメータに基づいて歪み補正を行い、また、ゲイン処理部２１に出力し、ゲイン処理部２１で温度パラメータに基づいて信号のゲインを調整するようになっている。

図１，図２のような画像処理システム１０における環境温度の変動に対するフィードバック制御について図３，図４を参照して説明する。

図３は従来の画像処理システムにおける一般的な画像処理の制御系を示すブロック図（ａ）及び図３（ａ）にフィードバック制御を加えた画像処理の制御系を示すブロック図である。図４は図３（ａ）の制御系の信号伝達線図（ａ）及び図３（ｂ）の制御系の信号伝達線図（ｂ）である。

本実施形態の画像処理システムにおける画像処理部１３は、上述のように、フィードバック制御を使用し、画像処理制御システムを閉ループ制御系としている。画像処理システムの場合、例えば、一般的には図３（ａ）のような画像処理制御系が考えられるが、図３（ａ）にフィードバックゲイン処理を行うようにフィードバック制御を加えた場合には図３（ｂ）のような画像処理制御系となる。

図３（ａ）、（ｂ）の各部２４〜３１の制御要素（図の破線内の部分）の伝達関数をＧ（ｓ）とし、フィードバックゲインをＨ（ｓ）とした場合、入力をＵ（ｓ）とし、出力をＹ（ｓ）とすると、信号伝達線図は、図３（ａ）の場合には図４（ａ）のようになり、図３（ｂ）の場合には図４（ｂ）のようになる。これらについて伝達関数を求めると、図４（ａ）の開ループ制御系の場合は次の式１（数１）、図４（ｂ）の閉ループ制御系の場合は次の式２（数２）のような伝達関数となる。

閉ループ制御系では、次の式３（数３）が成立するから、この式３（数３）から次の式４（数４）を得ることができる。

ここで、システムの一巡伝達関数のゲインが次の式５（数５）を満たすものであれば、式４（数４）から次の式６（数６）を得ることができる。

上記式６（数６）から、フィードバックによる閉ループ制御系によれば、外乱によるパラメータ変動があっても偏差を精度よく０にすることができることが分かる。

画像処理システムにおけるフィードバックのパラメータは、輝度値、原色色データ（Ｒ、Ｇ、Ｂ）、撮像素子の色フィルタが補色フィルタの場合には、演算された原色色データ（Ｒ、Ｇ、Ｂ）などが考えられるが、これにより、例えばカメラシステムを動的に周囲温度が変化する環境下で使用する場合、画像処理部の電子回路基板の伝送線部が熱膨張により変化した時に伝送線部の電気抵抗値が変化するので、出力画像信号も変化してしまい、出力画像に変色が起きてしまう。これに対し、図３（ｂ）のような閉ループ制御系を画像処理制御系に加えることで温度変化分を抑えることが可能となり、変色を抑えることができる。

カメラシステムのような光学系の画像処理システムの場合、対策を図りたい環境パラメータによってフィードバック法が異なってくる。それは、各パラメータは動的に異なるが、発生する確率や時間が際立って特徴的であるため、個々のものに適したフィードバック系を作成しなければ補償しきれない場合が多いからである。

次に、温度特性補償のためのフィードバック制御について説明する。温度変化は時間に関しては長い単位で起こると想定することができる。すなわち、例えばカメラシステムが温度変化の激しい自動車搭載やモバイル製品に適用されても、外部環境の大きな変化には数秒〜数時間をかけて緩やかに変化する場合が多い。時間に対して一定の線形性が認められる場合も多く、後述の図８のようなフィードフォワード処理による温度特性補償にも向いている。したがって、フィードバックゲイン係数の決定は関数によって行われるものとすることが好ましい。また、温度による変化は熱膨張により様々な部分に影響するが、特に光学系と電気配線系には大きな影響を与える。

従来技術は、例えば特許文献３のように、温度特性補償のためのフィードバックは温度変動によるレンズの屈折率変化による焦点距離の変動を補償するものである。しかし、温度変動があった場合、実際には屈折率変化だけでなく、熱膨張によるレンズ及びイメージセンサの寸法変化の影響も大きく、盃み補正処理工程におけるパラメータは動的に変化させる方が精度上、望ましい。したがって、フィードバック先となるのは歪み補正処理のパラメータをスイッチングする点とシステムによる定常偏差を減らす点の２箇所ヘフィードバックすることが好ましい。すなわち、本実施形態の画像処理部１３では、図２のように、温度解析処理部２２とゲイン処理部２１とを介して２箇所にフィードバックしている。

次に、本実施形態における温度特性補正について図５，図６，図７を参照して説明する。

図５は図１のイメージセンサの位置に対するDistortion（歪曲）値の例を示す図であり、実線が低温（３０℃）で、破線が高温（６０℃）の場合である。図６は図５のDistortion（歪曲）値の分布曲線から得た、イメージセンサの位置に対する温度による歪曲値の変化量を示す図である。図５の歪曲値及び図６の歪曲値の変化量は相対値である。

図５から、イメージセンサの１つの画像内において温度の影響は均一ではなく、対応する画素がイメージセンサ中央（０）から離れているほど影響が強く出ることが分かる。温度変化によるDistortion（歪曲）値の変化量は、イメージセンサの位置に対し均一ではなく、例えば、イメージセンサ中央（０）から近い領域Ａ、遠い領域Ｃ、中間領域Ｂで比べても異なっており、図６のような温度による歪曲値の変化量となる。

従来技術では特許文献２のように同一の補正値を全画素に適用している場合が多いが、かかる手法では精度のよい温度特性補償ができない。

本実施形態では、イメージセンサの１つの画像内においてもイメージセンサ中央からの距離（位置）に対応して温度による歪み補正値を変化させる。その変化量は、図６のように、歪曲値の微分値で近似できるので、これに対応するパラメータを用いる。

なお、従来技術では、歪み補正処理においては、歪曲特性はレンズ中央からの距離をパラメータとして３次式で近似しているが精度がよくなく、実際の歪曲特性は５次式または６次式で近似することで精度よく表現することができる。

また、温度パラメータは、移動平均計算により決定することが好ましい。上述の通り、温度パラメータは応答時間のスケールが大きく、変動に傾向がある場合が多い。そこで、温度パラメータにはセンシング時間を長くとっても影響が少ない。そのうえ、取得されたデータを移動平均化する処理を行う。すると、温度のパラメータのフィードバック及びフィードフォワードの対応する差分方程式ｙ［ｎ］は、ディジタル処理の場合、低域通過フィルタ処理工程を経ることとなるので、次の式７（数７）のようになり、伝達関数Ｈ（ｚ）は次の式８（数８）のように表すことができる。

これによって求められた値を、図２のようにフィードバックすることで定常偏差を抑えることができ周囲環境変動に対して精度良く補正でき、また、後述の図８のようにフィードフォワードすることで、周囲環境変動に対して精度良く補正できる。

上述のような温度パラメータの移動平均化処理は、図２の温度解析処理部２２で温度センサ１５から入力した検知温度信号に基づいて行われる。

図１，図２の画像処理システム１０の動作について図７をさらに参照して説明する。図７は、図２の歪み補正処理部２４で温度変化量に対して歪み補正をする場合に参照される、イメージセンサの中央からの位置（画素の位置）と温度変化量とから決まる歪み補正値（％）を記述したＬＵＴ（ルックアップテーブル）の例を示す図である。なお、図７のイメージセンサ位置（μｍ）、温度変化量（℃）、歪み補正値（％）は単なる例示であり、実際の値とは異なる。

図７のＬＵＴは、図２の歪み補正処理部２４の具体例であるが、イメージセンサの中央からの位置（画素の位置）と温度変化量（温度パラメータ）とから歪み補正値（歪み補正パラメータ）が決まるようになっている。図７のＬＵＴを作成する際に、歪み補正値（％）は、例えば、図６のイメージセンサの中央からの位置に対応した歪曲値の変化量から求めることができる。また、図７のＬＵＴにおいてイメージセンサの中央からの位置は、画像処理対象の画素位置から決まる。

図１，図２の画像処理システム１０において、レンズ光学系１１を介して被写体画像がイメージセンサ１２の撮像面に結像し、イメージセンサ１２から入力部２２に入力した画像信号について画像処理部１３で各種の画像処理を行い、その出力信号がゲイン処理部２１と温度解析処理部２２とに入力する。温度解析処理部２２では温度センサ１５から入力した検知温度信号から例えば、上述のように移動平均計算により所定時間間隔における温度変化量を求め、かかる温度変化量に基づいてゲイン処理部２１で信号のゲインを調整し、また、歪み補正処理部２４では、図７のＬＵＴのように温度変化量と、イメージセンサの中央からの位置（画素位置）とに対応した歪み（歪曲）補正値で歪み補正がなされる。信号のゲイン値と歪み補正値とがフィードバックされ、温度変化量に対応したゲイン調整及び歪み補正が行われる。これにより、温度変動が生じた場合でも画像に関する歪み補正を高精度に行うことができ、温度変動に対し画像の安定性を確保でき、高ロバスト性化を達成できる。

上述のような画像処理が一画像の全画素に対し行われてから、画像処理後の出力画像が画像処理システム１０の出力部１４から出力するが、出力画像は、周囲環境変動に対して高精度に対応したものとなり、温度変動の有無に関わらず安定したものとなる。

以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図２ではフィードバック制御の例を説明したが、本発明はこれに限定されず、開ループ制御系によるフィードフォワード制御により温度特性補償を行うようにしてもよい。すなわち、図８は、フィードフォワード制御による温度特性補償を行うようにした画像処理部１３Ａのブロック図であるが、図８のように、画像処理部１３Ａは、温度解析処理部２２からの温度パラメータによりフィードフォワードゲイン処理部２１Ａ及び歪み補正処理部２４にフィードフォワードすることで、周囲環境変動に対して精度良く補正できる。

また、本実施形態の画像処理システムは、単数または複数のカメラを搭載したカメラシステム（例えば、図１０のような複眼カメラシステム）や画像を読み取るスキャナシステムに適用して好ましいものであるが、本発明はこれらに限定されず、他の光学系画像処理システムに適用できることはもちろんである。

また、図２，図８の画像処理部１３，１３Ａは、ＣＰＵ（中央演算処理装置）によるソフトウエア的処理により実行可能に構成できるが、集積素子からハードウエア的処理によっても実行可能に構成できる。

本実施形態による画像処理システムを概略的に示すブロック図である。 図１の画像処理部を説明するためのブロック図である。 従来の画像処理システムにおける一般的な画像処理の制御系を示すブロック図（ａ）及び図３（ａ）にフィードバック制御を加えた画像処理の制御系を示すブロック図である。 図３（ａ）の制御系の信号伝達線図（ａ）及び図３（ｂ）の制御系の信号伝達線図（ｂ）である。 図５は図１のイメージセンサの位置に対するDistortion（歪曲）値の例を示す図であり、実線が低温（３０℃）で、破線が高温（６０℃）の場合である。 図５のDistortion（歪曲）値の分布曲線から得た、イメージセンサの位置に対する温度による歪曲値の変化量を示す図である。 図２の歪み補正処理部２４で温度変化に対して歪み補正をする場合に参照される、イメージセンサの中央からの位置（画素の位置）と温度変化量とから決まる歪み補正値（％）を記述したＬＵＴ（ルックアップテーブル）の例を示す図である。 本実施形態においてフィードフォワード制御による温度特性補償を行うようにした画像処理部１３Ａを説明するためのブロック図である。 従来のカメラシステムにおける開ループ制御系及びその問題点を説明するためのフローチャートである。 複眼カメラシステムを概略的に示す図である。

符号の説明

１０ 画像処理システム
１１ レンズ光学系
１２ イメージセンサ
１３，１３Ａ 画像処理部
１４ 出力部
１５ 温度センサ
２１ フィードバックゲイン処理部
２１Ａ フィードフォワードゲイン処理部
２２ 温度解析処理部
２４ 歪み補正処理部

Claims (7)

1. レンズ光学系を介して被写体画像がイメージセンサに結像し画像情報を得て、前記画像情報について画像処理部で画像処理を行う画像処理方法であって、
   前記イメージセンサからの画像情報について歪み補正パラメータを用いて歪み補正による画像処理を行う際に、前記レンズ光学系と前記イメージセンサと前記画像処理部との内の少なくともいずれかの近傍において温度センサにより検知した検知温度情報をフィードバックし、そのフィードバック先を前記歪み補正パラメータとし、
   前記歪み補正パラメータは、前記検知温度情報及び前記イメージセンサ内の座標位置に基づいて決定されることを特徴とする画像処理方法。
2. 前記検知温度情報をフィードフォワードし、そのフィードフォワード先を前記歪み補正パラメータとする請求項１に記載の画像処理方法。
3. 前記歪み補正パラメータの決定の際に移動平均化処理された値を用いる請求項１または２に記載の画像処理方法。
4. レンズ光学系を介して被写体画像がイメージセンサに結像して画像情報を得て、前記画像情報について画像処理を行う画像処理部と、前記レンズ光学系と前記イメージセンサと前記画像処理部との内の少なくともいずれかの近傍温度を検知する温度センサと、を備え、
   前記画像処理部は前記イメージセンサからの画像情報について歪み補正パラメータによる歪み補正を行う歪み補正処理部を有し、
   前記温度センサによる検知温度情報を前記歪み補正処理部にフィードバックするように構成し、
   前記歪み補正パラメータが前記検知温度情報及び前記イメージセンサ内の座標位置に基づいて決定されることを特徴とする画像処理装置。
5. 前記検知温度情報をフィードフォワードするように構成した請求項４に記載の画像処理装置。
6. 前記歪み補正パラメータの決定の際に移動平均化処理された値を用いる請求項４または５に記載の画像処理装置。
7. 前記レンズ光学系と、前記イメージセンサと、請求項１，２または３に記載の画像処理方法または請求項４，５または６に記載の画像処理装置により、前記イメージセンサからの画像情報について画像処理を行う画像処理部と、前記画像処理後の画像情報を出力する出力部と、を備える画像処理システム。

Images