JP2009177703A - 画像処理方法、画像処理装置及び画像撮像装置 - Google Patents

Abstract

【課題】最小の回路規模で歪曲補正を行うことで、画像処理装置やそれを実装したし車載カメラ等の画像撮像装置の低コスト化を実現する。
【解決手段】歪曲収差を含む画像データについて、

ｘ，ｙ：画面中心を原点とした座標変換先の座標
Ｘ，Ｙ：画面中心を原点とした座標変換元の座標
ａ，ｂ：座標変換係数
の式を用いて座標変換して歪曲収差を補正する。すなわち、変換式を簡単化し、しかも、ｘ方向だけの座標変換で、歪曲収差の大きい魚眼画像を人間が見易い画像に修正する。
【選択図】図１０

Description

本発明は広画角で歪曲収差が大きい光学系を用いて撮像された画像を処理する画像処理方法及び画像処理装置、並びにそれを備えた画像撮像装置に関する。

近年、車のバックモニタなどの用途に向け、広角の撮像装置の需要が増大している。しかしながら、広角になるほど倍率色収差や歪曲収差が大きくなり、収差が小さい光学系を設計するのが困難で、画像処理と組み合わせて性能を向上させる必要がある。

倍率色収差や歪曲収差がある光学系を用いた撮像装置において、収差補正する従来技術としては、例えば特許文献１に記載のように、ＣＣＤやＣＭＯＳセンサといった撮像素子より得られたＲ（赤）、Ｇ（緑）、Ｂ（青）信号を後段で、ＲＧＢ各色成分毎に独立に座標変換して倍率色収差と歪曲収差を同時に補正する方法、あるいは、倍率色収差は無視し、ＲＧＢ各色成分一緒に座標変換して歪曲収差のみを補正する方法が知られている。また、座標変換式には、例えば非特許文献１に記載のように、複雑な多項式等を使用するのが一般的である。

特開２００６−３４５０５４号公報 畑中他「車載画像処理装置の開発」，2003年3月，SEI テクニカルレビュー，第162号，90〜93頁 http://www.sei.co.jp/tr/pdf/automotve/sei10357.pdf

倍率色収差はＲＧＢ各成分毎に異なるが、歪曲収差はＲＧＢ各色成分で一様である。また、歪曲収差は倍率色収差に比べてはるかに大きい。このため、倍率色収差と歪曲収差とは別に補正するのが好ましい。

しかしながら、従来、歪曲収差補正はｘおよびｙ方向に座標変換を実施し、しかも、座標変換式には複雑な多項式等を使用するのが一般的で、このため回路規模が大きくなり、コスト低減には限界があった。特に魚眼光学系を用いて得られた歪曲収差の大きい魚眼画像を人間が見易い画像に修正するためには複雑な多項式が必要であり回路規模の増大を招いていた。なお、魚眼光学系とは像高をｙ、焦点距離をｆ、半画角をθとしたとき、通常のレンズに於ける投影方式であるｙ＝ｆｔａｎθ以外の例えば、立体射影ｙ＝２ｆｔａｎ（θ／２）や、等距離射影ｙ＝ｆθや、等立体角射影ｙ＝２fｓｉｎ（θ／２）や、正射影ｙ＝ｆｓｉｎθなどの投影方式を行う光学系である。

本発明の目的は、歪曲収差を含む画像データについて、簡単な回路、小さな回路で、かつ、補正性能を劣化させることなく、人間が十分に見易い画像に歪曲収差補正を行う画像処理方法及び画像処理装置を提供することにある。

また、本発明の目的は、簡単な回路、小さな回路で歪曲収差補正を行う画像処理装置を実装することで、低コストの画像撮像装置を提供することにある。

本発明では、座標変換式を簡単化し、しかも、ｘ方向だけの座標変換で歪曲収差補正を行う。すなわち、本発明は、魚眼光学系などから得られた歪曲収差を含む画像データについて、

ｘ，ｙ：画面中心を原点とした座標変換先の座標
Ｘ，Ｙ：画面中心を原点とした座標変換元の座標
ａ，ｂ：座標変換係数
の式を用いて座標変換して歪曲収差を補正することを特徴する。

なお、式（１）においてｘとｙを以下の式で示すｘ’とｙ’に置き換えてもよい。
ｘ’＝ｋ＋（ｘｓｉｚｅ―ｋ）／ｘｓｉｚｅ＊ｘ （ｘ＞０のとき）
ｙ’＝−ｋ＋（ｘｓｉｚｅ―ｋ）／ｘｓｉｚｅ＊ｘ （ｘ＜＝０のとき）
ｘｓｉｚｅ：画像の横方向のピクセル数／２
ｋ：拡大係数（０＜＝ｋ＜＝ｘｓｉｚｅ）

式（１）によりｘ方向だけの座標変換でも、歪曲収差の大きい魚眼画像を人間が見易い画像に修正できることが確かめられた。本発明の画像処理方法及び装置によれば、最小の回路規模で、性能を劣化させることなく歪曲収差補正を行うことが可能となる。また、本発明の画像撮像装置によれば、更なる低コスト化が可能となる。さらに、式（１）におけるｘとｙを上記ｘ’とｙ’に置き換えることで、魚眼画像より左右部分のみ切り出し、拡大表示することもできる。

以下、本発明の一実施の形態について図面を用いて説明する。実施形態は、広画角で倍率色収差と歪曲収差が大きい光学系を用いて被写体を撮像する画像撮像装置とし、画像処理系は倍率色収差及び歪曲収差も補正する構成とするが、本発明の特徴は歪曲収差補正にあり、画像は少なくとも広画角で歪曲収差が大きい光学系を用いて撮像された画像であればよい。また、画像の色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。

図１は本発明を適用した画像撮像装置における画像処理系の一実施形態の機能ブロック図を示す。画像撮像装置は、他に操作部、画像記憶部、画像表示部などを備えているが、図１では省略してある。本画像撮像装置は、例えば、車載カメラとして使用されるが、用途はこれに限らない。

図１において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。

撮像素子１１０は、魚眼光学系などの広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画素データ）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画素データが、制御部１００から与えられる座標データ（ｘ，ｙ）に基づいて順次出力される。なお、制御部１００では、撮像素子１１０に与える座標データ（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。座標データ（ｘ，ｙ）は撮像素子１１０の内部で生成し、順次、後段に与えることでもよい。

Ａ／Ｄ変換器１２０は、撮像素子１１０から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画素データをデジタル信号に変換してベイヤー補完部１３０に送出する。本実施例では、デジタル信号は、ＲＧＢそれぞれ８ビットで構成されるとする。一般にＡ／Ｄ変換器１２０の前段にはＡＧＣ回路が設けられるが、ここでは省略する。

ベイヤー補完部１３０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画素データを入力して、ＲＧＢ各色独立に、全座標位置の画素データを線形補完によって生成し、倍率色収差補完部１４０に送出する。

図２にベイヤー配列のカラーフィルタを示す。ここで、Ｇ₀は次式により求める。

Ｇ₀＝（Ｇ₂＋Ｇ₄＋Ｇ₆＋Ｇ₈）／４ （２）
また、Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀は次式により求める。

Ｒ₂＝（Ｒ₁＋Ｒ₃）／２ （３）
Ｒ₄＝（Ｒ₃＋Ｒ₅）／２ （４）
Ｒ₆＝（Ｒ₅＋Ｒ₇）／２ （５）
Ｒ₈＝（Ｒ₁＋Ｒ₇）／２ （６）
Ｒ₀＝（Ｒ₁＋Ｒ₃＋Ｒ₅＋Ｒ₇）／４ （７）
Ｂ₂，Ｂ₄，Ｂ₆，Ｂ₈，Ｂ₀は上記Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀の場合と同じであるので省略する。

なお、本実施例ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特にこのように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要である。

倍率色収差補正部１４０は、ベイヤー補完されたＲ，Ｇ，Ｂ画素データを入力して、所定の式によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画素データを出力する。この倍率色収差補正部１４０については、歪曲収差補正部１６０とともに後で詳述するが、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。

ＭＴＦ補正部１５０は、倍率色収差補正されたＲＧＢ画素データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画素データを出力する。

図３にＭＴＦ補正部１５０の概略構成を示す。変換部１５２は次式によりＲＧＢ画素データをＹＣｂＣｒ画素データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （８）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （９）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （10）

ＦＩＲフィルタ（５×５フィルタ）１５４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図４にＦＩＲフィルタの係数の一例を示す。なお、Ｙ信号についてフィルタリングを行っているため、ＭＴＦ補正は色倍率補正の後に行われる必要がある。しかしながら、歪曲収差補正後にＭＴＦ補正を行う場合には、後述するように歪曲収差補正では座標変換の変換距離が大きく演算誤差が発生しやすい。その誤差がＭＴＦ補正により増幅され、画質に悪影響を及ぼす事を避けるため、本実施例のようにＭＴＦ補正は倍率色収差補正の後段、歪曲収差補正の前段に設置することが望ましい。

逆変換部１５６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画素データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （11）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （12）
Ｂ＝Ｙ＋１.７７２Ｃｂ （13）

歪曲収差補正部１６０は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画素データを入力して、所定の式によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画素データを出力する。本発明では、この歪曲収差補正部１６０での座標変換に小規模な回路、メモリは最大でも１ラインのバッファメモリを使用することが可能である。先に述べたように、この歪曲収差補正部１６０については後で詳述する。

ガンマ補正部１７０は、歪曲収差補正部１６０から出力されるＲＧＢ画素データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画素データを出力する。

以上が図１に示した実施形態の全体的動作あるが、以下では本実施形態の主要構成である倍率色収差補正部１４０と歪曲収差補正部１６０について詳述する。

はじめに、倍率色収差補正と歪曲収差補正の原理を説明する。図５に模式的に示すように、倍率色収差と歪曲収差のある光学系を用いて撮影を行った場合、画面右上の１で示す位置（ピクセル）の画素データは、この本来の位置から歪曲収差によりずれ、さらに倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれをし、撮像素子で実際に撮像される位置は、ＲＧＢそれぞれ２（Ｒ），３（Ｇ），４（Ｂ）の位置となる。倍率色収差と歪曲収差の補正は、この２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分画素データを本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで可能である。ここで、２、３、４の位置が座標変換元の座標、１の位置が座標変換先の座標となる。

光学系の設計データより、歪曲収差の大きさ、倍率色収差の大きさが分かるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。

図６は倍率色収差と歪曲収差を補正する一般的な方法を模式的に示したものである。すなわち、通常は２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分の画素データをそれぞれ本来の位置である１の位置（ピクセル）にコピーする。すなわち、座標変換することで、倍率色収差と歪曲収差を同時に補正していた。しかしながら、この方法では、ＲＧＢ各色成分毎に容量が大で、かつ、低レイテンシのメモリまたは多ポートのメモリが必要となる。例えば、図６の場合だと、ＲＧＢそれぞれに、座標変換用として高速の６ラインのメモリが必要となる。

図７は倍率色収差と歪曲収差とを独立に補正する方法を模式的に示したものである。倍率色収差は各色成分で異なるが、ずれは小さい。一方、歪曲収差は、ずれは大きいが、各色成分とも同じである。これに着目し、まず、ＲＧＢ各色成分の画素データをそれぞれ座標変換して（実施例では、ＲＢの色成分を座標変換して、Ｇ成分の位置にコピーする）、倍率色収差を補正し、その後、この倍率色収差補正されたＲＧＢ画素データをまとめて座標変換することで、歪曲収差を補正する。これにより、座標変換用のメモリを倍率色収差補正に必要なＲＧＢ対応の少容量・高速（低レンテンシまたは多ポート）なメモリと、歪曲収差補正に必要なＲＧＢ共通の大容量・低速（高レンテンシまたは単一ポート）なメモリに分けることができ、全体としてコスト低減が可能となる。

図７の（ａ）は倍率色収差補正を模式的に示したもので、２（Ｒ），４（Ｂ）の位置（ピクセル）のＲＢ色成分の画素データについて座標変換を行って、Ｇ成分の３（Ｇ）の位置（ピクセル）にコピーする。この操作により、倍率色収差が補正される。図７の（ｂ）は歪曲収差補正を模式的に示したもので、倍率色収差補正済みの３の位置（ピクセル）のＲＧＢ各色成分の画素データに対してまとめて座標変換を行い、本来の位置である１の位置（ピクセル）にコピーする。この操作により歪曲収差が補正される。

図７の例では、倍率色収差補正用の高速メモリは、各ＲＧＢ対応の３ラインのメモリで十分である。他に歪曲収差補正用に５ラインのメモリが必要となるが、ＲＧＢ共通の低速メモリでよく、図６の場合に比較して、全体しては低コスト化が可能となる。また、簡単な回路、小さな回路で倍率色収差、歪曲収差の補正を行うことで、全体として更なる低コスト化が可能となる。

後述するように、本発明は、特に歪曲収差補正のための座標変換式を簡単化して、簡単な回路、小さな回路で歪曲収差補正を行うようにし、また、ｘ方向だけの座標変換として、メモリは最大でも１ライン分とすることで、全体として極限に近いコスト低減を実現するものである。なお、実施形態では倍率色収差補正のための座標変換式も簡単化して、最小の回路規模で倍率色収差補正を行うようにしているが、倍率色収差補正については、その限りではない（場合によっては省略することも可能である）。

ここで歪曲収差とは、目的の射影方式に対するレンズの歪みという意味であり、例えば目的の射影方式がカメラ上方から見下ろした画像が得られる射影方式であったり、ある一部分を拡大して表示される射影方式である場合も含む。

図８に倍率色収差補正部１４０の一実施形態の構成図を示す。ここでは、倍率色収差補正用の座標変換式（色倍率補正式）に次式を使用する。

ここで、ｘ，ｙは画面中心を原点とした場合の座標変換先の座標（本来の座標）、Ｘ，Ｙは座標変換元の座標、ａ，ｂは座標変換係数である。ｘ及びｙ方向の画素移動量（補正量）Δｘ，Δｙは、Δｘ＝ａｘ，Δｙ＝ｂｙで表わされる。色倍率補正式を複雑な多項式等に代えて、式（１４）のように簡単化しても、多項式等を使用した場合と同様の補正効果の得られることが確かめられた。

図８において、１４２は倍率色収差補正用座標変換メモリ（ラインバッファ）で、１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）はそれぞれＲＧＢ各色成分に対応する。１４４は上記式（１３）の座標変換式に従いＲＧＢそれぞれについて倍率色収差補正の変換座標を計算する倍率色収差補正座標変換演算部であり、１４６は座標変換式に使用される係数ａ，ｂを保持する座標変換係数テーブルである。

倍率色収差補正処理には、ラインバッファとして、小容量であるがＲＧＢ３ポートのメモリまたは低レイテンシのメモリが必要である。ここでは、倍率色収差の最大ずれ量がＹ方向に２０ラインと想定して、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、それぞれ２０ライン分のＳＲＡＭで構成されるとする。Ｘ方向のサイズは解像度で決まり、例えば解像度ＶＧＡ（６４０×４８０）とすると、Ｘ方向のサイズは６４０ドットである。色深度はＲＧＢ８ビットであり、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）とも、書込み読出しは８ビット単位で行われる。

このように、倍率色収差補正用座標変換メモリ（ラインバッファ）１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、小容量であるため、当該画像撮像装置の画像処理チップ内に用意された３ポートのＳＲＡＭを用いて、それぞれ２０ライン分のメモリ領域を確保する構成とすることが望ましい。なお、ＳＲＡＭのように低レイテンシのメモリの場合１ポートのメモリをタイムシェアリングにより３ポートのメモリとして使用することも可能である。

倍率色収差と歪曲収差を受けた撮像画像の各ＲＧＢ画素データが、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）に、それぞれ座標データ（ｘ，ｙ）に従って先頭ラインから順次書込まれる。そして、各々２０ラインの画素データが書き込まれると、先頭ラインの画素データから順次捨てられ、代って後続ラインの画素データが新しく書き込まれていく。こうして、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）には、それぞれ倍率色収差補正座標変換で必要とする最大２０ライン分のＲＧＢ画素データが順次格納される。

ここで、座標データ（ｘ，ｙ）は１フレーム分の撮像画像の読出し位置を示している。一方、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は２０ラインのラインバッファで、書込みラインがサイクリックに変化するため、座標データ（ｘ，ｙ）をそのまま座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の書込みアドレスに使用することができない。このため、座標データ（ｘ，ｙ）の値を、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の実アドレスに変換する必要があるが、図８ではそのための構成は省略してある。これは、後述の読出し動作における変換後の座標データ（Ｘ，Ｙ）と座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の読出しアドレスとの関係でも同様である。

倍率色収差補正座標変換算出部１４４は、座標変換先である座標データ（ｘ，ｙ）を入力として、式（１４）の座標変換式に従い、ＲＧＢそれぞれについて倍率色収差補正の変換座標を計算し、ＲＧＢそれぞれの座標変換元である座標データ（Ｘ，Ｙ）を出力する。図７（ａ）に示したように、本実施形態では、ＲＢの色成分を座標変換してＧ成分の位置にコピーする。このため、倍率色収差補正座標変換演算部１４４では、Ｇ成分については、入力された座標データ（ｘ，ｙ）をそのまま座標データ（Ｘ，Ｙ）として出力し、ＲＢ色成分について、式（１４）の座標変換式を用いてそれぞれ入力された座標データ（ｘ，ｙ）を座標データ（Ｘ，Ｙ）に変換し、この座標データ（Ｘ，Ｙ）を出力する。これを座標データ（ｘ，ｙ）ごとに繰り返す。

座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、先の書込み動作と平行して（実際には所定時間遅れて）、倍率色収差補正座標演算部１４４から出力される座標データ（Ｘ，Ｙ）に基づいて（実際には、座標データ（Ｘ，Ｙ）をアドレス変換した値）、それぞれＲＧＢ画素データを順次読み出していく。この場合、座標変換メモリ１４２（Ｇ）からは、書込み時と同じ位置のＧ成分画素データが読み出される。一方、座標変換メモリ１４２（Ｒ），１４２（Ｂ）からは、それぞれ書き込み時とは所定の位置ずれた位置（Δｘ，Δｙ）、すなわち、倍率色収差分ずれた位置のＲＢ色成分画素データが読み出される。

以上の処理により、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）からは、倍率色収差補正されたＲＧＢ画素データが出力されることになる。

図９に倍率色収差補正座標変換演算部１４４の二、三の具体的実施例を示す。図９（ａ）は、Ｇの色成分は座標変換を行われず、入力された座標データ（ｘ，ｙ）をそのまま、Ｇ用座標データ（Ｘ，Ｙ）として出力し、ＲとＢの色成分についてのみ、それぞれ座標変換演算部１４４１、１４４２により、入力された座標データ（ｘ，ｙ）を式（１４）を用いて変換して、Ｒ用座標データ（Ｘ，Ｙ）、Ｂ用座標データ（Ｘ，Ｙ）を出力する実施例である。座標変換演算部は、式（１４）自体が極めて簡単であるため、その回路規模を縮小でき、また、ＲとＢ色成分のみでよいため、回路規模が更に少なくてすむ。

図９（ｂ），（ｃ）は、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれることに着目するものである（図５）。ここで、図９（ｂ）は、座標変換演算部１４４３により、座標データ（ｘ，ｙ）について補正量（Δｘ，Δｙ）を求め、減算部１４４４で補正量分だけ座標データ（ｘ，ｙ）から減算した値をＢ用座標データ（Ｘ，Ｙ）とし、一方、加算部１４４５で補正量分だけ座標データ（ｘ，ｙ）に加算した値をＲ用座標データ（Ｘ，Ｙ）とする実施例である。図９（ａ）と同様に、Ｇ用座標データ（Ｘ，Ｙ）には座標データ（ｘ，ｙ）をそのまま出力する。

図９（ｃ）は、対称位置のずれを考慮し、さらにゲイン回路１４４６によりＲ用の補正量を調整するようにしたものである。なお、ゲイン回路はＢ側に設けることでもよい。図９（ｂ），（ｃ）の実施例によれば、座標変換演算部は一つで済み、回路規模を更に小さくできる。

なお、図９（ａ）の座標変換演算部１４４１、１４４２のかわりにＲとＢの各色成分毎に入力座標データ（ｘ，ｙ）と出力座標データ（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先である座標データ（ｘ，ｙ）に対する座標変換元の座標データ（Ｘ，Ｙ）を直接得るようにしてもよい。同様に図９（ｂ），（ｃ）の座標変換演算部１４４３のかわりに入力座標データ（ｘ，ｙ）と補正量の対応を記憶したＬＵＴを用意し、該ＬＵＴを用いて、座標データ（ｘ，ｙ）に対応する補正量を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、倍率色収差補正は、基本的にメモリチップのみで実現可能となる。

次に、図１０に歪曲収差補正部１６０の一実施形態の構成図を示す。本発明では、歪曲収差補正用の座標変換式（歪み補正式）に次式を使用する。

ここで、ｘ，ｙは画面中心を原点とした場合の座標変換先の座標（本来の座標）、Ｘ，Ｙは座標変換元の座標、ａ，ｂは座標変換係数である。ｘ方向の画素移動量（補正量）Δｘは、Δｘ＝（ａ＋ｂｙ²）ｘで表わされる。式（１５）のように、三角関数や高次の多項式を使用しない簡単な変換式で、しかも、ｘ方向だけの座標変換でも、歪曲収差の大きい画像を人間が見易い画像に修正することができる。特に従来大規模な回路が必要であった、魚眼光学系を用いて得られた歪曲収差の大きい魚眼画像に対しても、小規模な回路を用いて人間が見易い画像に修正することができる。さらにｘ方向のみの画素移動となるため、歪曲収差補正用には過去の画像データを記憶するメモリを最大でも１ラインのみ持てば良く、必要メモリ量を大幅に削減できる。もちろん、メモリ量は多く持つ分には問題ない。

さらに、式（１５）のｘとｙを以下の式におけるｘ’とｙに置き換えることで魚眼画像より左右部分のみ切り出し、拡大表示することもできる。
ｘ’＝ｋ＋（ｘｓｉｚｅ―ｋ）／ｘｓｉｚｅ＊ｘ （ｘ＞０のとき）
ｙ’＝−ｋ＋（ｘｓｉｚｅ―ｋ）／ｘｓｉｚｅ＊ｘ （ｘ＜＝０のとき）
ここで、ｘｓｉｚｅは画像の横方向のピクセル数／２、ｋは拡大係数（０＜＝ｋ＜＝ｘｓｉｚｅ）である。ｋが大きいほど左右部分の拡大率が大きくなる。

この左右部分拡大表示方法を用いると、例えば車両前面に設置したカメラの画像から、Ｔ字路や十字路において左右の確認がしやすい画像を作成することができる。左右部分拡大表示方法を用いるかどうかはスイッチにより使用者に選択させたり、例えば車両のスピードが一定以下になったときに切り替えたり、シフトチェンジがバックに入ったときに切り替えると良い。

図１０において、１６１はＲＧＢ３つの画素データを一つに合成するＲＧＢ合成部、１４２はＲＧＢ画素データに共通の歪曲収差補正用座標変換メモリ、１６３は合成されたＲＧＢ画素データを元の各色成分に分離するＲＧＢ分離部、１６４は合成されたＲＧＢ画素データに対して、式（１５）の座標変換式に従い歪曲収差補正の変換座標を計算する歪曲収差補正座標変換演算部、１６５は座標変換式に使用される係数ａ，ｂを保持する座標変換係数テーブルである。

ＲＧＢ合成部１６１は、順次、倍率色収差補正済みの各ＲＧＢ画素データ（各８ビット）を入力し、一つの画素データ（２４ビット）に合成して出力する。この合成されたＲＧＢ画素データが、座標変換メモリ１６２に、それぞれ座標データ（ｘ，ｙ）に従って先頭ラインから順次書き込まれる。

一方、歪曲収差補正座標変換演算部１６４は、座標データ（ｘ，ｙ）を入力として、式（１５）の座標変換式に従いＲＧＢ共通の歪曲収差補正の変換座標を計算し、変換後の座標データ（Ｘ，Ｙ）を出力する。具体的には、式（１５）によりｘ方向の変換座標を計算し、ｙ方向はそのままとして、変換後の座標データ（Ｘ，Ｙ）を出力する。式（１５）の計算に使用される座標変換係数は、あらかじめ座標変換係数テーブル１６５に保持される。歪曲収差補正用の座標変換式に式（１５）を使用することで、演算部１６４の回路規模を小さくできる。

座標変換メモリ１６２は、先のＲＧＢ合成画素データ（２４ビット）の書込み動作と平行して（正確には所定時間遅れて）、歪曲収差補正座標変換部１６４から出力される座標データ（Ｘ，Ｙ）に基づいて、ＲＧＢ合成画素データを順次読み出していく。ＲＧＢ分離部１６３は、座標変換メモリ１６２から読み出されたＲＧＢ合成画素データ（２４ビット）を元のＲＧＢ各色成分の画素データ（８ビット）に分離する。式（１５）を用いることにより、ｘ方向のみの画素移動となるため、座標変換メモリ１６２は最大でも１ライン分のみ持てばよく、必要メモリ量を大幅に削減できる。もちろん、メモリ量は多く持つ分には問題ない。

以上の処理により、ＲＧＢ分離部１６３からは、倍率色収差及び歪曲収差の補正された各ＲＧＢ画素データが出力されることになる。すなわち、各ＲＧＢ画素データが本来の位置（ｘ，ｙ）にコピーされる。

歪曲収差補正処理でも、入力座標データ（ｘ，ｙ）と出力座標データ（Ｘ，Ｙ）（実際にはＸのみ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標データ（ｘ，ｙ）に対する変換後の座標データ（Ｘ，Ｙ）を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、歪曲収差補正も基本的にメモリチップのみで実現可能となる。

本発明による画像撮像装置の一実施形態の全体ブロック図。 ベイヤー配列カラーフィルタを示す図。 ＭＴＦ補正部の概略構成図。 ＦＩＲフィルターの一例を示す図。 倍率色収差及び歪曲収差の説明図。 通常の倍率色収差及び歪曲収差補正の説明図。 本発明による倍率色収差及び歪曲収差補正の説明図。 倍率色収差補正部の一実施形態を示す構成図。 倍率色収差補正座標変換演算部の各実施例の構成図。 歪曲収差補正部の一実施形態を示す構成図。

符号の説明

１１０ 撮像素子
１２０ Ａ／Ｄ変換器
１３０ ベイヤー補完部
１４０ 倍率色収差補正部
１５０ ＭＴＦ補正部
１６０ 歪曲収差補正部
１７０ ガンマ補正部
１４２（Ｒ），１４２（Ｇ），１４２（Ｂ） 座標変換メモリ（ＳＲＡＭ）
１４４ 倍率色収差補正座標変換演算部
１４６ 座標変換係数テーブル
１６１ ＲＧＢ合成部
１６２ 座標変換メモリ（ＤＲＡＭ）
１６３ ＲＧＢ分離部
１６４ 歪曲収差補正座標変換演算部
１６５ 座標変換係数テーブル

Claims (6)

1. 歪曲収差を含む画像データを処理する画像処理方法であって、
   前記歪曲収差を含む画像データについて、
   

   

   ｘ，ｙ：画面中心を原点とした座標変換先の座標
   Ｘ，Ｙ：画面中心を原点とした座標変換元の座標
   ａ，ｂ：座標変換係数
   の式を用いて座標変換して歪曲収差を補正することを特徴する画像処理方法。
2. 前記［数１］においてｘとｙを以下の式で示すｘ’とｙ’、
   ｘ’＝ｋ＋（ｘｓｉｚｅ―ｋ）／ｘｓｉｚｅ＊ｘ （ｘ＞０のとき）
   ｙ’＝−ｋ＋（ｘｓｉｚｅ―ｋ）／ｘｓｉｚｅ＊ｘ （ｘ＜＝０のとき）
   ｘｓｉｚｅ：画像の横方向のピクセル数／２
   ｋ：拡大係数（０＜＝ｋ＜＝ｘｓｉｚｅ）
   に置き換えたことを特徴とする請求項１記載の画像処理方法。
3. 歪曲収差を含む画像データを処理する画像撮像装置であって、
   前記歪曲収差を含む画像データについて、
   

   

   ｘ，ｙ：画面中心を原点とした座標変換先の座標
   Ｘ，Ｙ：画面中心を原点とした座標変換元の座標
   ａ，ｂ：座標変換係数
   の式を用いて座標変換して歪曲収差を補正する歪曲収差補正手段を有することを特徴する画像処理装置。
4. 前記［数２］においてｘとｙを以下の式で示すｘ’とｙ’、
   ｘ’＝ｋ＋（ｘｓｉｚｅ―ｋ）／ｘｓｉｚｅ＊ｘ （ｘ＞０のとき）
   ｙ’＝−ｋ＋（ｘｓｉｚｅ―ｋ）／ｘｓｉｚｅ＊ｘ （ｘ＜＝０のとき）
   ｘｓｉｚｅ：画像の横方向のピクセル数／２
   ｋ：拡大係数（０＜＝ｋ＜＝ｘｓｉｚｅ）
   に置き換えたことを特徴とする請求項３記載の画像処理装置。
5. 歪曲収差が大きい光学系を通して画像を撮像し、歪曲収差を含む画像データを出力する
   撮像素子と、
   前記画像データについて、歪曲収差を補正する歪曲収差補正手段を備えた請求項３又は４に記載の画像処理装置と、
   を有することを特徴とする画像撮像装置。
6. 前記歪曲収差が大きい光学系は魚眼光学系であることを特徴とする請求項５記載の画像撮像装置。

Images