JP2013187630A - 画像処理装置及び方法、並びに撮像装置 - Google Patents

Abstract

【課題】参照パラメータテーブル容量の削減による外部メモリアクセス回数の低減により処理速度を向上させる。
【解決手段】フレーム単位で入力される複数の画素データからなる画像データに対して所定の画像処理を実行する画像処理装置において、参照パラメータテーブルメモリに格納された、上記画像処理に用いる画素データの位置情報又は格納アドレスを含む参照パラメータを用いて、上記画像処理を実行するために必要な画素データを参照画像メモリから読み出して上記画像処理を実行する画像処理手段を備え、上記画像処理手段は、上記フレームの領域に応じて、上記参照する参照パラメータを削減するように予め選択して上記参照パラメータテーブルメモリに格納し、上記予め選択された参照パラメータを用いて上記画像処理を実行する。
【選択図】図２

Description

本発明は、例えば車載カメラなどのカメラシステムに用いられる画像処理装置及び方法、並びに撮像装置に関する。

従来から、魚眼レンズのような広角レンズを用いた車載カメラなどのカメラシステムにおいては、撮像された歪みを持つ画像を信号処理により補正する画像処理装置を用いることが提案されている（例えば、特許文献１参照）。一般に画像処理装置では、撮像素子を含むセンサユニットから、レンズにより集光した光情報を光電変換して得られたアナログ信号をデジタル信号に変換したＲＧＢやＹＵＶなどの形式の画像データを入力し、該画像データをＳＲＡＭやＤＲＡＭなどのメモリに格納し、該メモリの所定のアドレスをアクセスして画像データを読出すことにより、歪みを持った原画像について補正及び自由な変形を行っている。

従来、このような画像処理装置において、メモリに格納されたデータの読出しに際し、必要なアドレスにアクセスするための方法として、例えば特許文献１に記載されているように、水平方向に伸縮させるための水平補正パラメータや垂直方向に伸縮させるための垂直補正パラメータの情報を、信号処理部外部の補正パラメータエンコーダ部などのブロックに予め格納しておき、必要に応じてそれらの情報を信号処理部内部に読み込むことにより、必要なアドレス値を計算することによって歪みを持った原画像の補正を実現させている。

上記の従来技術に係る画像処理回路において、広角レンズから取り込まれた映像データに対して、歪補正処理などの画像変形を行うが、出力画像データに対し、出力画素毎に参照パラメータテーブルを記憶装置に設定し、ＳＲＡＭ及び外部メモリに格納された参照画像に対し、順次処理して行く手法は既に知られている（例えば、特許文献２参照）。

しかしながら、従来技術に係る画像処理回路では、フレームサイズが大きくなればそれだけ、参照画像及び参照パラメータを格納しておく内部メモリが大きくなり、外部メモリに参照画像及び参照パラメータを配置している場合だと読み出しアクセス回数を要することで処理速度の劣化を引き起こす要因となる問題があった。

特許文献２には、メモリ転送速度向上の目的で、入力画像データに応じて画素を間引きして読み出し、また出力画像の領域を設定する領域設定部という回路を配置し画像データに応じて扱うデータ量を少なくしメモリ転送のデータ量を減らすことにより処理速度の向上となることが開示されている。しかし、確かにメモリ転送速度を向上するためにデータ量を削減できるが、処理速度を向上させることはできないという問題点があった。

本発明の目的は以上の問題点を解決し、参照パラメータテーブル容量の削減による外部メモリアクセス回数の低減により処理速度を向上させることができる画像処理装置及び方法、並びにそれを備えた撮像装置を提供することにある。

第１の発明に係る画像処理装置は、フレーム単位で入力される複数の画素データからなる画像データに対して所定の画像処理を実行する画像処理装置において、
参照パラメータテーブルメモリに格納された、上記画像処理に用いる画素データの位置情報又は格納アドレスを含む参照パラメータを用いて、上記画像処理を実行するために必要な画素データを参照画像メモリから読み出して上記画像処理を実行する画像処理手段を備え、
上記画像処理手段は、上記フレームの領域に応じて、上記参照する参照パラメータを削減するように予め選択して上記参照パラメータテーブルメモリに格納し、上記予め選択された参照パラメータを用いて上記画像処理を実行することを特徴とする。

また、第２の発明に係る画像処理方法は、フレーム単位で入力される複数の画素データからなる画像データに対して所定の画像処理を実行する画像処理装置により実行される画像処理方法において、
参照パラメータテーブルメモリに格納された、上記画像処理に用いる画素データの位置情報又は格納アドレスを含む参照パラメータを用いて、上記画像処理を実行するために必要な画素データを参照画像メモリから読み出して上記画像処理を実行する画像処理ステップを含み、
上記画像処理ステップは、上記フレームの領域に応じて、上記参照する参照パラメータを削減するように予め選択して上記参照パラメータテーブルメモリに格納し、上記予め選択された参照パラメータを用いて上記画像処理を実行することを特徴とする。

さらに、第３の発明に係る撮像装置は、上記画像処理装置を備えたことを特徴とする。

従って、本発明によれば、フレームの領域に応じて、参照パラメータを、予め選択して参照パラメータテーブルメモリに格納することにより、参照パラメータを削減して当該歪み補正処理の速度を向上させることができる。

本発明の一実施形態に係る撮像装置の構成を示すブロック図である。 図１の歪み補正部３の構成を示すブロック図である。 図１の撮像装置により撮像画面で歪みが発生することを説明するための平面図である。 図２の参照パラメータテーブルメモリ３２の一例を示す図である。 図２の歪み補正部３で実行される歪み補正処理の一例を示す図であって、（ａ）は処理前画像データを示す図であり、（ｂ）は処理後画像データを示す図である。 図１の歪み補正部３の変形例である歪み補正部３ａの構成を示すブロック図である。 図６の歪み補正部３ａの歪み補正処理を説明するための図であって、（ａ）は処理前画像データを示す図であり、（ｂ）は処理後画像データを示す図である。

以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

図１は本発明の一実施形態に係る撮像装置の構成を示すブロック図である。図１の撮像装置は、
（ａ）被写体の光学像を結像する撮像レンズ１と、
（ｂ）読み出し制御部２２の制御により、撮像レンズ１により結像された光学像を光電変換素子２１により画像データに変換して出力する撮像デバイス２と、
（ｃ）撮像デバイス２からの画像データ（複数の画素データからなる）に対して、撮像レンズ１により発生する歪みを補正する歪み補正処理を含む画像処理を行って、処理後の画像データを出力する歪み補正部３と、
（ｄ）歪み補正部３からの画像データを画像メモリ５に格納した後、所定の画像処理を実行して処理後の画像データを液晶ディスプレイ６に出力して表示する画像信号処理部４と、
（ｅ）画像データを格納する画像メモリ５と、
（ｆ）画像データの画像を表示する液晶ディスプレイ６と
を備えて構成される。

図２は図１の歪み補正部３の構成を示すブロック図である。図２の歪み補正部３は、
（ａ）歪み補正部３全体の動作を制御する制御部３０と、
（ｂ）歪み補正のためのすべての参照パラメータ（歪み補正のために用いる１画素当たり例えば４個の画素データの各画素アドレス又はその位置情報をいい、詳細後述する。）を予め格納する外部メモリ３１と、
（ｃ）歪み補正時に用いる参照パラメータのテーブルを格納する参照パラメータテーブルメモリ３２と、
（ｄ）歪み補正時に用いる参照画像データ（複数の画素データ）を格納する参照画像メモリ３３と、
（ｅ）光電変換素子２１からの画像データを受信して内部のバッファメモリに一時的に格納した後、参照画像メモリ３３から参照パラメータテーブルメモリ３２で指定されるアドレスの複数の画素データを読み出して歪み補正のためのフィルタ処理を実行し、処理後の画像データを画像信号処理部４に出力するフィルタ処理部４０と
を備えて構成される。

図３は図１の撮像装置により撮像画面で歪みが発生することを説明するための平面図である。図３から明らかなように、撮像レンズ１の光学特性のために、画面のフレームの中心部（領域Ａ１）からフレームコーナー部（領域Ａ４）に向かって矢印が示す方向に歪率が大きくなることを示している。これらの歪みの撮像レンズ１の光学特性が予め把握でき、フレームデータの中心部から端部へ向けて徐々に歪率が大きくなる。以上の歪みを補正するためのデータ（例えば、複数画素データから１つの画素データを線形結合することにより、歪み補正するためのフィルタ処理のための４つの画素データのアドレス（参照画像メモリ３３のアドレスをいう。）を予め画像メモリ３１に格納しておき、必要に応じて制御部３０は読み出して、参照パラメータテーブルメモリ３２に書き込む。

図４は図２の参照パラメータテーブルメモリ３２の一例を示す図である。図４から明らかなように、参照パラメータテーブルは、歪み補正処理後の１つの画素データ毎に、歪み補正処理後の１つの画素データを生成するために、４つの画素アドレスを格納する。処理後の画素データＱ１１のために、画素Ｐ２２のアドレスＡＰ２２と、画素Ｐ２５のアドレスＡＰ２５と、画素Ｐ４３のアドレスＡＰ４３と、画素Ｐ４６のアドレスＡＰ４６とが格納される。

図５は図２の歪み補正部３で実行される歪み補正処理の一例を示す図であって、図５（ａ）は処理前画像データを示す図であり、図５（ｂ）は処理後画像データを示す図である。図５から明らかなように、例えば１０×１０画素の処理前の画像データから、例えば３×３画素の処理後の画像データを生成することを示している。そして、処理後の画素データＱ１１を生成するために、画素Ｐ２２と、画素Ｐ２５と、画素Ｐ４３と、画素Ｐ４６とを用いて例えば線形結合して歪み補正処理後の画素データＱ１１を生成する。また、処理後の画素データＱ１２を生成するために、画素Ｐ３４と、画素Ｐ３７と、画素Ｐ５５と、画素Ｐ５８とを用いて例えば線形結合して歪み補正処理後の画素データＱ１２を生成する。以下同様である。

図５の処理例は、処理後の各画素データを生成するためにすべての参照パラメータ（処理に用いる画素データのアドレス）を用いているが、本発明に係る実施形態では、フレームの領域に応じて、参照パラメータを、以下に示すように予め選択して参照パラメータテーブルメモリ３２に格納することにより、参照パラメータを削減して当該歪み補正処理の速度を向上させる。

実施例１：
（１）フレームの中心部（例えば領域Ａ１，Ａ２）において、処理前の３×３画素の画像データに係る９個の参照パラメータに基づいて処理後の３×３画素の画像データを生成する。すなわち、参照パラメータを予め選択しない。
（２）フレームの中間部（例えば領域Ａ３）において、処理前の３×３画素の画像データに係る９個の参照パラメータのうち４つの参照パラメータを予め選択し、選択した参照パラメータに基づいて処理後の３×３画素の画像データを生成する。すなわち、参照パラメータを予め選択する。
（３）フレームの周辺部（例えば領域Ａ４）において、処理前の３×３画素の画像データに係る９個の参照パラメータのうち１つの参照パラメータを選択し、選択した参照パラメータに基づいて処理後の３×３画素の画像データを生成する。すなわち、参照パラメータを予め選択する。

以上説明したように、本実施形態によれば、フレームの領域に応じて、参照パラメータを、予め選択して参照パラメータテーブルメモリ３２に格納することにより、参照パラメータを削減して当該歪み補正処理の速度を向上させることができる。

次いで、本発明の変形例に係る参照パラメータの補間処理について以下に説明する。

図６は図１の歪み補正部３の変形例である歪み補正部３ａの構成を示すブロック図であり、図７は図６の歪み補正部３ａの歪み補正処理を説明するための図であって、図７（ａ）は処理前画像データを示す図であり、図７（ｂ）は処理後画像データを示す図である。

図６の歪み補正部３ａは、図２の歪み補正部３に比較して、パラメータ補間処理部３４をさらに備えたことを特徴とする。具体的には、図７に示すように、処理後の画素データＱ１１を作成するために、Ｑ１１用参照パラメータを用いるが、次の処理後の画素データＱ１２を作成するために、Ｑ１２用参照パラメータを用いず、Ｑ１１用参照パラメータを用いることで、画素データＱ１２を画素データＱ１１で補間する。以上のように、参照パラメータテーブルメモリ２３へのアクセス数を削減して当該歪み補正処理の速度を向上させる。

実施例２：
（１）フレームの中心部（例えば領域Ａ１，Ａ２）において、処理前の３×３画素の画像データに係る９個の参照パラメータに基づいて、処理後の９×９画素の画像データを生成する。すなわち、上記補間処理を行わない。
（２）フレームの周辺部（例えば領域Ａ３，Ａ４）において、処理前の３×３画素の画像データに係る９個の参照パラメータのうち４つの参照パラメータに基づいて、上記補間処理を行って処理後の３×３画素の画像データを生成する。すなわち、上記補間処理を行う。

実施例３：
（１）フレームの中心部（例えば領域Ａ１，Ａ２）において、処理前の５×５画素の画像データに係る２５個の参照パラメータに基づいて、処理後の５×５画素の画像データを生成する。すなわち、上記補間処理を行わない。
（２）フレームの中間部（例えば領域Ａ３）において、処理前の５×５画素の画像データに係る２５個の参照パラメータのうち９つの参照パラメータに基づいて、上記補間処理を行って処理後の３×３画素の画像データを生成する。すなわち、上記補間処理を行う。
（３）フレームの周辺部（例えば領域Ａ４）において、処理前の５×５画素の画像データに係る２５個の参照パラメータのうち４つの参照パラメータに基づいて、上記補間処理を行って処理後の３×３画素の画像データを生成する。すなわち、上記補間処理を行う。

以上説明したように、本変形例によれば、フレームの領域に応じて、すべての参照パラメータから減少させた参照パラメータに基づいて画素データの補間処理を行うことにより、参照する参照パラメータを削減し、参照パラメータテーブルメモリ２３へのアクセスを大幅に削減して当該歪み補正処理の速度を向上させることができる。

以上詳述したように、本発明によれば、フレームの領域に応じて、参照パラメータを、予め選択して参照パラメータテーブルメモリに格納することにより、参照パラメータを削減して当該歪み補正処理の速度を向上させることができる。

１…撮像レンズ、
２…撮像デバイス、
３…歪み補正部、
４…画像信号処理部、
５…画像メモリ、
６…液晶ディスプレイ、
２１…光電変換素子、
２２…読み出し制御部、
３０…制御部、
３１…外部メモリ、
３２…参照パラメータテーブルメモリ、
３３…参照画像メモリ、
３４…パラメータ補間処理部、
４０…フィルタ処理部。

特開２００８−０９２６０２号公報 特許第４４４５８７０号公報

Claims (7)

1. フレーム単位で入力される複数の画素データからなる画像データに対して所定の画像処理を実行する画像処理装置において、
   参照パラメータテーブルメモリに格納された、上記画像処理に用いる画素データの位置情報又は格納アドレスを含む参照パラメータを用いて、上記画像処理を実行するために必要な画素データを参照画像メモリから読み出して上記画像処理を実行する画像処理手段を備え、
   上記画像処理手段は、上記フレームの領域に応じて、上記参照する参照パラメータを削減するように予め選択して上記参照パラメータテーブルメモリに格納し、上記予め選択された参照パラメータを用いて上記画像処理を実行することを特徴とする画像処理装置。
2. 上記画像処理手段は、上記フレームの領域に応じて、上記参照パラメータから減少させた参照パラメータに基づいて画素データの補間処理を行うことにより、上記参照する参照パラメータを削減し、上記参照パラメータテーブルメモリへのアクセスを削減することを特徴とする請求項１記載の画像処理装置。
3. 上記画像処理は歪み補正処理であることを特徴とする請求項１又は２記載の画像処理装置。
4. フレーム単位で入力される複数の画素データからなる画像データに対して所定の画像処理を実行する画像処理装置により実行される画像処理方法において、
   参照パラメータテーブルメモリに格納された、上記画像処理に用いる画素データの位置情報又は格納アドレスを含む参照パラメータを用いて、上記画像処理を実行するために必要な画素データを参照画像メモリから読み出して上記画像処理を実行する画像処理ステップを含み、
   上記画像処理ステップは、上記フレームの領域に応じて、上記参照する参照パラメータを削減するように予め選択して上記参照パラメータテーブルメモリに格納し、上記予め選択された参照パラメータを用いて上記画像処理を実行することを特徴とする画像処理方法。
5. 上記画像処理ステップは、上記フレームの領域に応じて、上記参照パラメータから減少させた参照パラメータに基づいて画素データの補間処理を行うことにより、上記参照する参照パラメータを削減し、上記参照パラメータテーブルメモリへのアクセスを削減することを特徴とする請求項４記載の画像処理方法。
6. 上記画像処理は歪み補正処理であることを特徴とする請求項４又は５記載の画像処理方法。
7. 請求項１乃至３のうちのいずれか１つに記載の画像処理装置を備えたことを特徴とする撮像装置。

Images