JP2015099959A - 画像処理装置及び方法、並びに電子機器 - Google Patents

Abstract

【課題】画像変換処理においてフレーム遅延をできるだけ小さくすることができる画像処理装置を提供する。
【解決手段】出力画像データを複数の出力画像エリアに分割し、各出力画像エリアを形成するために必要な入力画像データの一部を参照画像データとして読み出して画像メモリに書き込み、出力画像エリア単位で画像変形処理を行う画像変形回路において、各出力画像エリアに対応した参照画像データを画像メモリから読み出すための制御情報から、参照画像データの入力画像データ全体における参照画像の副走査方向画素数を算出し、算出された参照画像の副走査方向画素数を、入力画像データを画像メモリに対して書き込み済みのライト済み副走査方向画素数と比較し、参照画像の副走査方向画素数がライト済み副走査方向画素数よりも大きいと判断されたとき、画像メモリへの参照画像のリード要求信号をネゲートするためのペンディング信号をアクティブにする。
【選択図】図５

Description

本発明は、入力画像データに対して所定の画像変形処理を施して出力画像データを出力する画像処理装置及び方法、並びに当該画像処理装置を備えた電子機器に関する。

１枚のレンズで画角の広い映像を取得できるため、テレビ会議システム、監視カメラ等の映像機器において、魚眼レンズ等の広角レンズがよく用いられている。広角のレンズでは、レンズの歪曲収差特性のため、その周辺部にいくほど歪曲率が大きく、画像の歪みが著しい。そのままでは画像の視認性が悪いため、多くの場合で、入力画像に対して、歪みを補正するための画像処理を施す。この画像処理の実現手段の１つとして、出力１画素ごとに対応する、入力画像の座標値とサブピクセル値を変形パラメータとして入力し、指定した入力画素に対してバイリニア補間、バイキュービック補間等の補間演算処理を行って、出力画素を生成していく方法が一般に用いられている。

特許文献１及び２では、魚眼レンズを通して得られた入力画像に対する画像補正処理の高速化と、魚眼レンズを使った監視システム等において動体検知を行うときに、歪み率の大きい部分と歪み率の少ない部分でマッチングの重み係数を変えることが開示されている。これにより、精度よく動体検知を行う。

また、特許文献３では、魚眼レンズで取り込んだ画像のような、方向によって変倍率の異なる広画角画像データのＪＰＥＣ圧縮による符号化を行うことが開示されている。ここで、変倍により失われがちな特定の方向の高周波成分の情報を優先的に保存した圧縮符号データを得られるため、それを伸長することにより全体的に解像度（画質）のバランスの良い画像の再生が可能である。

しかし、レンズを通して得られた入力画像を一旦格納しておくフレームメモリには、ＤＤＲ ＳＤＲＡＭ（Double Data Rate Synchronous Dynamic Random Access Memory）を用いることが多い。しかし、出力画素に対応する入力画素をＤＤＲ ＳＤＲＡＭから読み出していく処理を、出力１画素ごとに順に実行しようとすると、特に任意の画像変形では、ＤＤＲ ＳＤＲＡＭに対してのランダムアクセスとなり、膨大な処理時間を必要とするという問題があった。

他方、テレビ会議等での映像機器では、映像と音声との同期ずれを極力なくすため、画像入力から、画像出力までのフレーム遅延をできるだけ短くすることが求められる。上記歪み補正のための画像処理において、このフレーム遅延の低減に対処しようとすると、画像入力の開始から、画像処理の開始、補正後画像の映像表示装置への出力処理の開始のタイミングを、単純に絵が壊れないように時間で調整していく方法が考えられる。もしくは、入力画像のフレームメモリへのライト完了済みライン数、画像処理回路による補正完了ライン数がある一定の値になったところでそれぞれの処理を開始していくという方法が考えられる。しかし、上述した歪曲収差のために、それぞれの出力画像エリアで必要とする参照画像サイズが大きく異なるため、フレーム遅延の低減量を最適化（最小化）できないという問題があった。

上記の特許文献１〜３においても、画像変形処理においてフレーム遅延を低減させる手法についての開示も示唆もなかった。

本発明の目的は以上の問題点を解決し、画像変換処理においてフレーム遅延をできるだけ小さくすることができる画像処理装置を提供することにある。

本発明の第１の態様に係る画像変形回路は、画像メモリに記憶した入力画像データに対して所定の画像変形処理を行って出力画像データを形成する画像変形回路であって、
上記出力画像データを複数の出力画像エリアに分割し、上記各出力画像エリアを形成するために必要な入力画像データの一部を参照画像データとして読み出して画像メモリに書き込み、出力画像エリア単位で画像変形処理を行う画像変形回路において、
上記各出力画像エリアに対応した参照画像データを画像メモリから読み出すための制御情報から、参照画像データの入力画像データ全体における参照画像の副走査方向画素数を算出する算出回路と、
上記算出回路により算出された参照画像の副走査方向画素数を、上記入力画像データを上記画像メモリに対して書き込み済みのライト済み副走査方向画素数と比較する第１の比較回路と、
上記比較回路により上記参照画像の副走査方向画素数が上記ライト済み副走査方向画素数よりも大きいと判断されたとき、上記画像メモリへの参照画像のリード要求信号をネゲートするためのペンディング信号をアクティブにする論理回路とを備えたことを特徴とすることを特徴とする。

本発明の第２の態様に係る画像変形方法は、画像メモリに記憶した入力画像データに対して所定の画像変形処理を行って出力画像データを形成する画像変形回路のための画像変形方法であって、
上記画像変形回路は、上記出力画像データを複数の出力画像エリアに分割し、上記各出力画像エリアを形成するために必要な入力画像データの一部を参照画像データとして読み出して画像メモリに書き込み、出力画像エリア単位で画像変形処理を行い、
上記画像変形方法は、
上記各出力画像エリアに対応した参照画像データを画像メモリから読み出すための制御情報から、参照画像データの入力画像データ全体における参照画像の副走査方向画素数を算出するステップと、
上記算出された参照画像の副走査方向画素数を、上記入力画像データを上記画像メモリに対して書き込み済みのライト済み副走査方向画素数と比較するステップと、
上記参照画像の副走査方向画素数が上記ライト済み副走査方向画素数よりも大きいと判断されたとき、上記画像メモリへの参照画像のリード要求信号をネゲートするためのペンディング信号をアクティブにするステップとを含むことを特徴とする。

本発明に第３の態様に係る電子機器は、上記画像変形回路を備えたことを特徴とする。

本発明によれば、上記参照画像の副走査方向画素数が上記ライト済み副走査方向画素数よりも大きいと判断されたとき、上記画像メモリへの参照画像のリード要求信号をネゲートするためのペンディング信号をアクティブにする。従って、画像変換処理においてフレーム遅延をできるだけ小さくすることができる。

本発明の実施形態１に係る、画像変形回路１０を備えた画像処理装置の構成を示すブロック図である。 図１の画像変形回路１０の構成を示すブロック図である。 図２の画像変形回路１０において用いる変形パラメータの一例を示す図である。 図２の画像変形回路１０の動作を示すシーケンス図である。 図２のシーケンサ回路１２の一部の構成を示すブロック図である。 本発明の実施形態２に係る画像変形回路１０のシーケンサ回路１２Ａの一部の構成を示すブロック図である。 本発明の実施形態３に係る画像変形回路１０の動作を示す図である。 本発明の実施形態４に係る画像変形回路１０のシーケンサ回路１２Ｂの一部の構成を示すブロック図である。

以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

実施形態１．
図１は本発明の実施形態１に係る、画像変形回路１０を備えた画像処理装置の構成を示すブロック図である。実施形態１に係る画像処理装置は、上述の問題点を解決するために、出力画像を複数のエリア（以下、出力画像エリアという。）に分割し、それぞれの出力画像エリアで必要とする入力画像の一部の領域の画像（以下、参照画像という。）を切り出す。そして、参照画像のデータを、高速にリード／ライトが可能なＳＲＡＭに一旦取り込んだ後、補正演算により出力画素を生成することを特徴とする。

図１において、実施形態１に係る画像処理装置は、センサインターフェース回路１と、画像信号プロセッサ（以下、ＩＳＰという。）２と、ライトダイレクトメモリアクセスコントローラ（以下、ライトＤＭＡＣという。）３と、インターコネクト回路４とを備える。また、画像処理装置はさらに、ＤＤＲ ＳＤＲＡＭであるフレームメモリ５と、リードダイレクトメモリアクセスコントローラ（以下、リードＤＭＡＣという。）と、画像変形回路１０とを備える。

センサインターフェース回路１は、例えばカメラなどのＣＣＤセンサからの入力画像データを受信して所定の形式の入力画像データであるＲＡＷデータに変換してＩＳＰ２に出力する。ＩＳＰ２は入力されるＲＡＷデータに対して所定の画像処理（ＩＳＰ処理）を行った後、処理後の画像データを、ライトＤＭＡＣ３及びインターコネクト回路４を介してフレームメモリ５に出力する。当該ＩＳＰ処理は、レンズなどの光学系の補正処理、イメージセンサのばらつきなどのから発生する傷補正などの画素単位での処理を主として含む。

ライトＤＭＡＣ３はＩＳＰ２による画像処理後の画像データをフレームメモリ５に一時的に書き込むための回路である。インターコネクト回路４はフレームメモリ５に接続される各回路間の調停回路として動作し、フレームメモリ５と、画像変形回路１０と、リードＤＭＡＣ６とが接続される。画像変形回路１０は、インターコネクト回路４からの変形パラメータ及び参照画像データに基づいて、参照画像データに対して例えば歪み補正処理などの任意の画像変形処理を行って、処理後の画像データを、インターコネクト回路４を介してフレームメモリ５に出力する。リードＤＭＡＣ６は、画像変形処理後の画像データを、インターコネクト回路４を介してフレームメモリ５から読み出し、各種映像表示装置に出力する。

以上のように構成された画像処理装置では、ＩＳＰ処理後の画像データと、任意変形処理後の画像データと、任意の画像変形処理のための変形パラメータを、フレームメモリ５に格納して処理するように構成されている。ＩＳＰ処理後の画像データは、ＣＣＤセンサからの入力画像データに応じて毎フレーム更新される。また、画像変形処理後の画像データは、画像変形処理の結果である画像データに応じて毎フレーム更新される。ここで、任意の画像変換処理のための変形パラメータは必要に応じて更新する。なお、毎フレーム同じ変形処理を施す場合は更新の必要はない。

図２は図１の画像変形回路１０の構成を示すブロック図である。図２において、画像変形回路１０は、補正演算回路１１と、ＳＲＡＭ回路２１Ａ，２１Ｂ，２２Ａ，２２Ｂ，２３Ａ，２３Ｂと、シーケンサ回路１２と、インターフェース回路１３と、設定レジスタ回路１４と、レジスタ制御回路１５とを備えて構成される。

インターフェース回路１３は、インターコネクト回路４を介してフレームメモリ５に接続され、変形パラメータ、参照画像データ及び補正後画像データについて、フレームメモリ５と情報のやり取りを行う。具体的には、インターフェース回路１３は、フレームメモリ５から、変形パラメータ及び参照画像データを入力する一方、画像変形処理後の画像データをフレームメモリ５に出力する。レジスタ制御回路１５はＣＰＵ７からの制御信号に基づいて、補正演算回路１１及びシーケンサ回路１２のための設定レジスタ回路１４に対するリード・ライト制御を行う。シーケンサ回路１２は、当該画像変形回路１０の全体の動作を制御する。なお、画像変形回路１０には、外部回路からクロック信号、リセット信号及び動作制御信号が供給される。補正演算回路１１は、変形パラメータ及び参照画像データをＳＲＡＭ回路２１Ａ，２１Ｂ，２２Ａ，２２Ｂから読み出して出力画素を生成してＳＲＡＭ回路２３Ａ，２３Ｂに出力する。

本実施形態では、画像変形回路１０が内蔵するＳＲＡＭ回路２１Ａ，２１Ｂ，２２Ａ，２２Ｂ，２３Ａ，２３Ｂにおいて、画像データのＡ面とＢ面に対応するＳＲＡＭ回路を設けている。すなわち、以下の通りである。なお、これらＳＲＡＭ回路２１Ａ，２１Ｂ，２２Ａ，２２Ｂ，２３Ａ，２３Ｂはシーケンサ回路１２と補正演算回路１１との間に設けられる。
（１）ＳＲＡＭ回路２１Ａは、Ａ面の画像データの変形パラメータを格納するＳＲＡＭ回路（図面において、ＲＡＭＰＩＸ、Ａ面）である。
（２）ＳＲＡＭ回路２１Ｂは、Ｂ面の画像データの変形パラメータを格納するＳＲＡＭ回路（図面において、ＲＡＭＰＩＸ、Ｂ面）である。
（３）ＳＲＡＭ回路２２Ａは、Ａ面の参照画像データを格納するＳＲＡＭ回路（図面において、ＲＡＭＲＥＦ、Ａ面）である。
（４）ＳＲＡＭ回路２２Ｂは、Ｂ面の参照画像データを格納するＳＲＡＭ回路（図面において、ＲＡＭＲＥＦ、Ｂ面）である。
（５）ＳＲＡＭ回路２３Ａは、Ａ面の補正演算後の画像データを一時的に待避して格納するＳＲＡＭ回路（図面において、ＲＡＭＲＥＶ、Ａ面）である。
（６）ＳＲＡＭ回路２３Ｂは、Ｂ面の補正演算後の画像データを一時的に待避して格納するＳＲＡＭ回路（図面において、ＲＡＭＲＥＶ、Ｂ面）である。

図４は図２の画像変形回路１０の動作を示すシーケンス図である。図４に示すように、Ａ面の画像データについて（ｎ＋１）エリア目の出力画像エリア（ｎ＝１，２，３，…）の変形パラメータと参照画像データのフレームメモリ５へのリードアクセスを行っているときに、Ｂ面の画像データについて補正演算処理を行う。ここで、先にＤＤＲ ＳＤＲＡＭリードアクセスを行ったｎエリア目の出力画像エリア（ｎ＝１，２，３，…）の補正演算処理を行う。具体的には、Ｂ面の補正後の画像データのライト、Ｂ面の変形パラメータのリード及びＢ面の参照画像データのリードを行っているときに、Ａ面の補正演算を行う。一方、Ａ面の補正後の画像データのライト、Ａ面の変形パラメータのリード及びＡ面の参照画像データのリードを行っているときに、Ｂ面の補正演算を行う。以上の処理動作は、フレームメモリ５へのアクセスを間断なく行わせることで、処理性能の向上を図るためである。

図３は図２の画像変形回路１０において用いる変形パラメータの一例を示す図である。図３に示すように、変形パラメータは、入力画像データから参照画像データを切り出すための参照画像切り出しデータと、出力画像データの１画素を生成するための参照画像の座標値及びサブピクセル値を指定する参照画素指定データからなる。ここで、参照画像切り出しデータと、参照画素指定データ（群）は、出力画像エリアの１エリア単位で用意し、処理する出力画像エリアの順番に応じて記憶回路に配置する等の処理を行う。本実施形態では、パラメータを配置する記憶回路として、入出力画像データを格納するフレームメモリ５を共通して用いる。ここで、入力画像データと、補正後画像データと、変形パラメータは、それぞれアドレスオフセットを付けて、フレームメモリ５に配置する。

また、参照画像切り出しデータは、参照画像データの先頭ＤＤＲ ＳＤＲＡＭアドレスと、参照画像データの主走査画素数、副走査画素数から構成される。ここで、参照画素指定データにおける座標値は、参照画像データを格納するＳＲＡＭ回路（ＲＡＭＲＥＦ）２２Ａ，２２Ｂのアドレス値（参照画素指定アドレス）で表現する。参照画素指定データは、さらに参照画素を詳細に指定するためのサブピクセル値（Ｘサブピクセル、Ｙサブピクセル）と、本明細書では詳細説明を省略するが、補正演算後のデータに対して乗算するためのブレンド係数から構成される。

本実施形態では、参照画素指定データは、通常は出力１画素ずつに対して与えている。本発明はこれに限らず、出力１６画素に対して１つの参照画素指定データを与え、画像変形回路１０内部で出力１画素ずつに対応するように線形補間により復元してもよい。

図５は図２のシーケンサ回路１２の一部の構成を示すブロック図である。図５の回路は、フレームメモリ５への参照画像リード要求信号Ｓｒｒの発生回路である。当該発生回路は、レジスタ４１〜４４（格納回路）と、必要副走査方向画素数算出回路３１と、比較回路３２と、アンドゲート３３とを備えて構成される。

必要副走査方向画素数算出回路３１は、
（１）レジスタ４２に格納され、参照画像切り出しデータから得られる各出力画像エリアに対応する参照画像データの先頭ＤＤＲ ＳＤＲＡＭアドレスＡｔｒと、
（２）レジスタ４３に格納され、参照画像切り出しデータから得られる各出力画像エリアに対応する参照画像データの副走査方向画素数Ｎｓｒと、
（３）レジスタ４４に格納され、レジスタ設定等により得られる入力画像データの主走査方向画素数Ｎｍｉと
から、各出力画像エリアに対応する参照画像の入力画像データ全体において必要な副走査方向画素数（必要副走査方向画素数）Ｎｓｃを算出する。具体的には、必要副走査方向画素数算出回路３１は次式（１）を用いて算出する。

［数１］
Ｎｓｃ＝（Ａｔｒ／Ｎｍｉ）＋Ｎｓｒ （１）

また、フレームメモリ５への入力画像データのライト済み副走査方向画素数ＮｓｗはライトＤＭＡＣ３からインターコネクト回路４を介して入力データレジスタ４１に格納された後、比較回路３２に出力される。比較回路３２は、算出された必要副走査方向画素数Ｎｓｃを、ライト済み副走査方向画素数Ｎｓｗと比較し、Ｎｓｃ＞Ｎｓｗであれば、フレームメモリ５への参照画像データのリード要求コマンド信号をネゲートするためのペンディング信号Ｓｐｅｎをアクティブにする。ペンディング信号Ｓｐｅｎは、アンドゲート３３の反転入力端子に入力される。アンドゲート３３の別の入力端子には参照画像リード要求信号Ｓｒｒｍが入力され、アンドゲート３３の出力端子から参照画像リード要求信号Ｓｒｒがフレームメモリ５に出力される。これにより、比較回路３２における比較結果を画像変形回路１０のシーケンス制御に利用することを特徴とする。ここで、ライト済み副走査方向画素数Ｎｓｗがカウントアップされ、Ｎｓｃ＞Ｎｓｗの状態が解消するまで画像変形処理を一時停止する。

このような構成にすることで、画像変形回路１０の前段のライトＤＭＡＣ３の処理開始と、画像変形回路１０の処理開始を同時にすることができる。また、途中の出力画像エリアで必要とする参照画像データのフレームメモリ５へのライトが行われていなければ、画像変形回路１０の処理を一時停止させているので、画像変形処理の破綻なくフレーム遅延をできるだけ小さくすることが可能となる。

実施形態２．
図６は本発明の実施形態２に係る画像変形回路１０のシーケンサ回路１２Ａの一部の構成を示すブロック図である。実施形態２に係るシーケンサ回路１２Ａは、実施形態１に係るシーケンサ回路１２に比較して、レジスタ４５と、比較回路３４と、アンドゲート３５とをさらに備えたことを特徴とする。

図６において、レジスタ４５は、レジスタ設定等により得られる入力画像データ（全体）の副走査方向画素数Ｎｓｉを格納した後、比較回路３４に出力する。比較回路３４は、レジスタ４１からのライト済み副走査方向画素数Ｎｓｗを、入力画像データの副走査方向画素数Ｎｓｉと比較し、Ｎｓｗ≧Ｎｓｉであれば、アンドゲート３５により図５のペンディング信号Ｓｐｅｎを非アクティブにすることを特徴とする。ここで、比較回路３４からの出力信号はアンドゲート３５の反転入力端子に入力され、比較回路３２からの出力信号はアンドゲート３５の別の入力端子に入力される。アンドゲート３５はペンディング信号Ｓｐｅｎを生成してアンドゲート３３の反転入力端子に出力する。

このような構成にすることで、必要副走査方向画素数算出回路３１により算出される必要副走査方向画素数Ｎｓｃが、入力画像データ全体の副走査方向画素数Ｎｓｉをオーバーするような場合においても、画像変形回路の破綻なくフレーム遅延をできるだけ小さくすることが可能となる。

実施形態３．
図７は本発明の実施形態３に係る画像変形回路１０の動作を示す図である。実施形態３に係る画像変形回路１０は、実施形態１又は２に係る画像変形回路１０の構成に加えて、補正後画像データをフレームメモリ５にライトするときの、各出力画像エリアのライト先の先頭ＤＤＲ ＳＤＲＡＭアドレスＡｔｗを、次式（２）により決定することを特徴としている。

［数２］
Ａｔｗ＝（補正後画像データ全体のオフセットアドレス）
＋（出力画像エリアの主走査画素数）×（現エリア数−１）
＋（出力画像エリアの画素数）×（現エリア数／出力画像データにおける主走査方向のエリア数） （２）

このような構成にすることで、各出力画像エリアのライト先の先頭ＤＤＲ ＳＤＲＡＭアドレスＡｔｗを、出力画像エリアの情報に基づいて式（２）を用いて計算するので、必要副走査方向画素数Ｎｓｃの値が小さい出力画像エリアから順次に処理していくことができる。

図７は、実施形態３の構成で、必要副走査方向画素数の値が小さい出力画像エリアから順に処理していく動作を示す。ここで、図中の番号は、出力画像エリアの処理の順番を示している。

このような構成にすることで、必要副走査方向画素数の値が小さい出力画像エリアから順次に処理していくことができるので、実施形態１又は２に比べて、さらにフレーム遅延を小さくすることが可能となる。

実施形態４．
図８は本発明の実施形態４に係る画像変形回路１０のシーケンサ回路１２Ｂの一部の構成を示すブロック図である。図８に示すように、実施形態４のシーケンサ回路１２Ｂは、図６の実施形態２ニ係るシーケンサ回路１２Ａに比較して、以下のことが異なる。
（１）１つの入力データレジスタ４１に代えて、２つの入力データレジスタ４１Ａ，４１Ｂを備えた。
（２）入力データレジスタ４１Ａ，４１Ｂの後段であって、比較回路３２，３４の前段に、選択回路３６を備えた。

図８において、入力データレジスタ４１Ａ，４１Ｂはそれぞれ、ライト済み副走査方向画素数Ｎｓｗ１，Ｎｓｗ２を格納した後、選択回路３６に出力する。選択回路３６は、ライト済み副走査方向画素数Ｎｓｗ１，Ｎｓｗ２のうち小さい値を選択してライト済み副走査方向画素数Ｎｓｗとして比較回路３２，３４に出力する。

このような構成にすることで、例えば２つのカメラから入力するステレオ画像に対して画像変形処理を行うような場合でも、進捗の遅い方のカメラに付随するライトＤＭＡＣ３に合わせて、画像変形回路１０の制御を行うことができる。従って、画像変換処理の破綻なくフレーム遅延をできるだけ小さくすることが可能となる。

以上の実施形態４において、２つのライト済み副走査方向画素数Ｎｓｗ１，Ｎｓｗ２を格納した後、選択回路３６により小さい値を有する副走査方向画素数を選択している。本発明はこれに限らず、複数のライト済み副走査方向画素数を格納した後、選択回路３６により小さい値を有する副走査方向画素数を選択してもよい。

以上の実施形態においては、フレームメモリ５を用いているが、本発明はこれに限らず、所定の画像メモリであってもよい。

以上の実施形態においては、アンドゲート３３、３５を備えているが、本発明はこれに限らず、上記参照画像リード要求信号を生成するための所定の論理回路を備えてもよい。

以上の本実施形態については、例えばデジタルカメラ、テレビ会議システム、監視カメラなどの、魚眼レンズ等の広画角のレンズを使用した各種映像機器などの電子機器に広く適用することができる。当該電子機器において、画像入力から画像出力までのフレーム遅延を低減させることができる。

実施形態のまとめ．
本発明の第１の態様に係る画像変形回路は、画像メモリに記憶した入力画像データに対して所定の画像変形処理を行って出力画像データを形成する画像変形回路である。当該画像変形回路は、上記出力画像データを複数の出力画像エリアに分割し、上記各出力画像エリアを形成するために必要な入力画像データの一部を参照画像データとして読み出して画像メモリに書き込み、出力画像エリア単位で画像変形処理を行う。当該画像変形回路は、算出回路と、第１の比較回路と、論理回路とを備える。上記算出回路は、上記各出力画像エリアに対応した参照画像データを画像メモリから読み出すための制御情報から、参照画像データの入力画像データ全体における参照画像の副走査方向画素数を算出する。上記第１の比較回路は、上記算出回路により算出された参照画像の副走査方向画素数を、上記入力画像データを上記画像メモリに対して書き込み済みのライト済み副走査方向画素数と比較する。上記論理回路は、上記比較回路により上記参照画像の副走査方向画素数が上記ライト済み副走査方向画素数よりも大きいと判断されたとき、上記画像メモリへの参照画像のリード要求信号をネゲートするためのペンディング信号をアクティブにする。

本発明の第２の態様に係る画像変形回路は、第１の態様の画像変形回路において、入力画像データ全体の副走査方向画素数を、上記ライト済み副走査方向画素数と比較する第２の比較回路をさらに備える。上記論理回路は、上記第２の比較回路により上記ライト済み副走査方向画素数が、上記入力画像データ全体の副走査方向画素数以上であると判断されたとき、上記ペンディング信号を非アクティブにする。

本発明の第３の態様に係る画像変形回路は、第１又は２の態様の画像変形回路において、上記画像変形処理後の画像データを上記画像メモリに書き込むときの、上記各出力画像エリアの書き込み先の先頭アドレスを次式により決定する。
各出力画像エリアのライト先の先頭アドレス
＝（補正後画像データ全体のオフセットアドレス）
＋（出力画像エリアの主走査画素数）×（現エリア数−１）
＋（出力画像エリアの画素数）×（現エリア数／出力画像データにおける主走査方向のエリア数）
そして、上記決定された各出力画像エリアの書き込み先の先頭アドレスを用いて上記画像変形処理後の画像データを上記画像メモリに書き込む。

本発明の第４の態様に係る画像変形回路は、第１〜第３のうちのいずれか１つの態様の画像変形回路において、格納回路と、選択回路とをさらに備える。上記格納回路は、上記入力画像データを画像メモリに書き込み済みのライト済み副走査方向画素数を複数格納する。上記選択回路は、上記格納された複数のライト済み副走査方向画素数のうちの最小値を選択して上記ライト済み副走査方向画素数として、上記選択回路に出力する。

本発明の第５の態様に係る画像変形方法は、画像メモリに記憶した入力画像データに対して所定の画像変形処理を行って出力画像データを形成する画像変形回路のための画像変形方法である。上記画像変形回路は、上記出力画像データを複数の出力画像エリアに分割し、上記各出力画像エリアを形成するために必要な入力画像データの一部を参照画像データとして読み出して画像メモリに書き込み、出力画像エリア単位で画像変形処理を行う。上記画像変形方法は、以下のステップを含む。上記各出力画像エリアに対応した参照画像データを画像メモリから読み出すための制御情報から、参照画像データの入力画像データ全体における参照画像の副走査方向画素数を算出する。上記算出された参照画像の副走査方向画素数を、上記入力画像データを上記画像メモリに対して書き込み済みのライト済み副走査方向画素数と比較する。上記参照画像の副走査方向画素数が上記ライト済み副走査方向画素数よりも大きいと判断されたとき、上記画像メモリへの参照画像のリード要求信号をネゲートするためのペンディング信号をアクティブにする。

本発明の第６の態様に係る画像変形方法は、第５の態様に係る画像変形方法において、入力画像データ全体の副走査方向画素数を、上記ライト済み副走査方向画素数と比較するステップを含む。また、当該画像変形方法は、上記ライト済み副走査方向画素数が、上記入力画像データ全体の副走査方向画素数以上であると判断されたとき、上記ペンディング信号を非アクティブにするステップとをさらに含む。

本発明の第７の態様に係る画像変形方法は、第５又は第６の態様に係る画像変形方法において、上記画像変形処理後の画像データを上記画像メモリに書き込むときの、上記各出力画像エリアの書き込み先の先頭アドレスを次式により決定する。
各出力画像エリアのライト先の先頭アドレス
＝（補正後画像データ全体のオフセットアドレス）
＋（出力画像エリアの主走査画素数）×（現エリア数−１）
＋（出力画像エリアの画素数）×（現エリア数／出力画像データにおける主走査方向のエリア数）
そして、上記決定された各出力画像エリアの書き込み先の先頭アドレスを用いて上記画像変形処理後の画像データを上記画像メモリに書き込む。

本発明の第８の態様に係る画像変形方法は、第５〜第７のうちのいずれか１つの態様に係る画像変形方法において、上記入力画像データを画像メモリに書き込み済みのライト済み副走査方向画素数を複数格納するステップを含む。また、当該画像変形方法は、上記格納された複数のライト済み副走査方向画素数のうちの最小値を選択して上記ライト済み副走査方向画素数として、上記選択回路に出力するステップとをさらに含む。

本発明の第９の態様に係る電子機器は、第１〜第４の態様に係る画像変形回路を備える。

上記第１及び第５の態様によれば、画像変形回路の前段のライトＤＭＡＣの処理開始と、画像変形回路の処理開始を同時にすることができる。また、画像変形回路で必要とする参照画像データの画像メモリへのライトが行われていなければ、任意画像変形回路の処理を一時停止させているので、画像変換処理の破綻なくフレーム遅延をできるだけ小さくすることが可能となる。

上記第２及び第６の態様によれば、上記第１及び第５の態様において、副走査方向画素数の算出結果が、入力画像データ全体の副走査方向画素数をオーバーするような場合においても、画像変換処理の破綻なくフレーム遅延をできるだけ小さくすることが可能となる。

上記第３及び第７の態様によれば、上記第１、第２、第５及び第６の態様において、上記副走査方向画素数の値が小さい出力画像エリアから順に処理していくことができるので、上記第１、第２、第５及び第６の態様に比べて、さらにフレーム遅延を低減させることが可能となる。

上記第４及び第８の態様によれば、ステレオ画像のような、複数のカメラから取り込む入力画像に対して画像変形処理を行うような場合でも、進捗の遅い方のカメラに付随するライトＤＭＡＣに合わせて画像変形回路の制御を行うことができる。従って、画像変換処理の破綻なくフレーム遅延をできるだけ小さくすることが可能となる。

１…センサインターフェース回路、
２…画像信号プロセッサ（ＩＳＰ）、
３…ライトダイレクトメモリアクセスコントローラ（ライトＤＭＡＣ）
４…インターコネクト回路、
５…フレームメモリ、
６…リードダイレクトメモリアクセスコントローラ（リードＤＭＡＣ）
７…ＣＰＵ、
１０…画像変形回路、
１１…補正演算回路、
１２，１２Ａ，１２Ｂ…シーケンサ回路
１３…インターフェース回路、
１４…設定レジスタ回路、
１５…レジスタ制御回路、
２１Ａ，２１Ｂ，２２Ａ，２２Ｂ，２３Ａ．２３Ｂ…ＳＲＡＭ回路、
３１…必要副走査方向画素数算出回路、
３２…比較回路、
３３…アンドゲート、
３４…比較回路、
３５…アンドゲート、
３６…選択回路、
４１，４１Ａ，４１Ｂ，４２〜４５…レジスタ。

特許第４２４３７６７号公報 特許第４２６８２０６号公報 特許第４０９７１３０号公報

Claims (9)

1. 画像メモリに記憶した入力画像データに対して所定の画像変形処理を行って出力画像データを形成する画像変形回路であって、
   上記出力画像データを複数の出力画像エリアに分割し、上記各出力画像エリアを形成するために必要な入力画像データの一部を参照画像データとして読み出して画像メモリに書き込み、出力画像エリア単位で画像変形処理を行う画像変形回路において、
   上記各出力画像エリアに対応した参照画像データを画像メモリから読み出すための制御情報から、参照画像データの入力画像データ全体における参照画像の副走査方向画素数を算出する算出回路と、
   上記算出回路により算出された参照画像の副走査方向画素数を、上記入力画像データを上記画像メモリに対して書き込み済みのライト済み副走査方向画素数と比較する第１の比較回路と、
   上記比較回路により上記参照画像の副走査方向画素数が上記ライト済み副走査方向画素数よりも大きいと判断されたとき、上記画像メモリへの参照画像のリード要求信号をネゲートするためのペンディング信号をアクティブにする論理回路とを備えたことを特徴とすることを特徴とする画像変形回路。
2. 入力画像データ全体の副走査方向画素数を、上記ライト済み副走査方向画素数と比較する第２の比較回路をさらに備え、
   上記論理回路は、上記第２の比較回路により上記ライト済み副走査方向画素数が、上記入力画像データ全体の副走査方向画素数以上であると判断されたとき、上記ペンディング信号を非アクティブにすることを特徴とする請求項１記載の画像変形回路。
3. 上記画像変形処理後の画像データを上記画像メモリに書き込むときの、上記各出力画像エリアの書き込み先の先頭アドレスを次式により決定し、
   各出力画像エリアのライト先の先頭アドレス
   ＝（補正後画像データ全体のオフセットアドレス）
   ＋（出力画像エリアの主走査画素数）×（現エリア数−１）
   ＋（出力画像エリアの画素数）×（現エリア数／出力画像データにおける主走査方向のエリア数）
   上記決定された各出力画像エリアの書き込み先の先頭アドレスを用いて上記画像変形処理後の画像データを上記画像メモリに書き込むことを特徴とする請求項１又は２記載の画像変形回路。
4. 上記入力画像データを画像メモリに書き込み済みのライト済み副走査方向画素数を複数格納する格納回路と、
   上記格納された複数のライト済み副走査方向画素数のうちの最小値を選択して上記ライト済み副走査方向画素数として、上記選択回路に出力する選択回路とをさらに備えたことを特徴とする請求項１〜３のうちのいずれか１つに記載の画像変形回路。
5. 画像メモリに記憶した入力画像データに対して所定の画像変形処理を行って出力画像データを形成する画像変形回路のための画像変形方法であって、
   上記画像変形回路は、上記出力画像データを複数の出力画像エリアに分割し、上記各出力画像エリアを形成するために必要な入力画像データの一部を参照画像データとして読み出して画像メモリに書き込み、出力画像エリア単位で画像変形処理を行い、
   上記画像変形方法は、
   上記各出力画像エリアに対応した参照画像データを画像メモリから読み出すための制御情報から、参照画像データの入力画像データ全体における参照画像の副走査方向画素数を算出するステップと、
   上記算出された参照画像の副走査方向画素数を、上記入力画像データを上記画像メモリに対して書き込み済みのライト済み副走査方向画素数と比較するステップと、
   上記参照画像の副走査方向画素数が上記ライト済み副走査方向画素数よりも大きいと判断されたとき、上記画像メモリへの参照画像のリード要求信号をネゲートするためのペンディング信号をアクティブにするステップとを含むことを特徴とする画像変形方法。
6. 入力画像データ全体の副走査方向画素数を、上記ライト済み副走査方向画素数と比較するステップと、
   上記ライト済み副走査方向画素数が、上記入力画像データ全体の副走査方向画素数以上であると判断されたとき、上記ペンディング信号を非アクティブにするステップとをさらに含むことを特徴とする請求項５記載の画像変形方法。
7. 上記画像変形処理後の画像データを上記画像メモリに書き込むときの、上記各出力画像エリアの書き込み先の先頭アドレスを次式により決定し、
   各出力画像エリアのライト先の先頭アドレス
   ＝（補正後画像データ全体のオフセットアドレス）
   ＋（出力画像エリアの主走査画素数）×（現エリア数−１）
   ＋（出力画像エリアの画素数）×（現エリア数／出力画像データにおける主走査方向のエリア数）
   上記決定された各出力画像エリアの書き込み先の先頭アドレスを用いて上記画像変形処理後の画像データを上記画像メモリに書き込むステップをさらに含むことを特徴とする請求項５又は６記載の画像変形方法。
8. 上記入力画像データを画像メモリに書き込み済みのライト済み副走査方向画素数を複数格納するステップと、
   上記格納された複数のライト済み副走査方向画素数のうちの最小値を選択して上記ライト済み副走査方向画素数として、上記選択回路に出力するステップとをさらに含むことを特徴とする請求項５〜７のうちのいずれか１つに記載の画像変形方法。
9. 請求項１〜４のうちのいずれか１つに記載の画像変形回路を備えたことを特徴とする電子機器。

Images