JP2005011268A

JP2005011268A - 画像処理装置

Info

Publication number: JP2005011268A
Application number: JP2003177290A
Authority: JP
Inventors: Hideaki Furukawa; 英明古川; Masaki Higure; 正樹日暮; Akira Ueno; 晃上野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-06-20
Filing date: 2003-06-20
Publication date: 2005-01-13

Abstract

【課題】拡大縮小処理と歪補正処理とを行い得る回路規模が小さく低消費電力な画像処理装置を提供する。
【解決手段】拡大縮小処理後の画素位置に対応する補間位置を生成する補間位置生成部２１と、該補間位置を歪補正処理した後の画素位置に対応する補間処理前の補間座標データを生成する歪補正座標変換部２２と、歪補正処理を行わない場合には補間位置生成部２１の出力を選択し歪補正処理を行う場合には歪補正座標変換部２２の出力を選択するセレクタ２３と、を有してなる補間座標生成部２０と、光学系を介して撮像された画像データを順次格納する内部メモリ部２５と、補間座標データに基づいて内部メモリ部２５への画像データの読み書きを制御するメモリ制御部２４と、内部メモリ部２５から読み出された画像データを補間演算する補間演算部２６と、を有してなる歪補正処理部７を備えた画像処理装置。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、より詳しくは、光学系を介して撮像された電子的な画像データを処理する画像処理装置に関する。
【０００２】
【従来の技術】
デジタルカメラ等の電子的撮像装置においては、光学系により結像された被写体像を、ＣＣＤ等の撮像素子により光電変換して撮像データを取得し、この撮像データに種々の画像処理を施した後に、ＪＰＥＧ等の圧縮方式で圧縮してメモリカード等の記録媒体に記録するのが一般的であり、該デジタルカメラ等の電子的撮像装置は、画像処理装置を兼ねたものとなっている。
【０００３】
図１１は画像処理装置における一般的な画像処理の手順を示す図である。
【０００４】
ＣＣＤ等の撮像素子は、光学系により結像された光学的な被写体像を光電変換して電気的な撮像信号を生成する。この撮像信号は、画素欠陥の補正やＡ／Ｄ変換などのプリプロセス処理が行われた後に、フレームメモリに記憶される。
【０００５】
次に、フレームメモリに記憶された画像データが、読み出されて、第１のイメージプロセス、第２のイメージプロセス、…、第Ｎのイメージプロセス等により、単板信号から３板信号への変換処理や、ローパスフィルタ処理、エッジ強調処理、拡大縮小処理などの各種の画像処理が行われる。
【０００６】
画像処理後の画像信号は、さらにＪＰＥＧなどの圧縮方式により圧縮されて、画像ファイルとしてメモリカードへ記録される。
【０００７】
図１２は、上記図１１に示したような一般的な画像処理を行うための従来の画像処理装置の構成を示すブロック図である。
【０００８】
この画像処理装置は、ＣＣＤ９１と、プリプロセス部９２と、フレームメモリ９４と、第１イメージプロセス部９５ａ，第２イメージプロセス部９５ｂ，…，第Ｎイメージプロセス部９５ｎと、ＪＰＥＧ処理部９６と、メモリカード等９７と、上記ＣＣＤ９１を除く上記各回路と後述するＣＰＵ９３とが接続されているバス９８と、上述した各回路を含むこの画像処理装置を統括的に制御するＣＰＵ９３と、を有して構成されている。
【０００９】
この図１２に示したような構成の画像処理装置により、上記図１１に示したような処理を行う場合には、具体的には次のような手順になる。
【００１０】
まず、プリプロセス部９２からの画像データをバス９８を介してフレームメモリ９４に一旦記憶させる。
【００１１】
次に、該フレームメモリ９４から画像データを読み出して、バス９８を介して第１イメージプロセス部９５ａに入力し、第１の画像処理を行って、処理後の画像データをフレームメモリ９４上に書き込む。
【００１２】
同様にして、該フレームメモリ９４から第１の画像処理後の画像データを読み出して、バス９８を介して第２イメージプロセス部９５ｂに入力し、第２の画像処理を行って、処理後の画像データをフレームメモリ９４上に書き込む、という処理を行い、同様の処理を各イメージプロセス部毎に繰り返して行う。
【００１３】
このように、画像処理を行う際には、画像データが何度もバス９８を流れることになるが、画像データは一般的にデータサイズが大きいために、バス９８には大きな負荷がかかることになる。このようなバス９８に対する大きな負荷は、連写機能を使用しているときなどに、より顕著である。
【００１４】
こうした観点から、複数のイメージプロセス部をパイプライン処理可能なように接続して、フレームメモリからの画像をパイプライン処理することにより、バスの負荷を減らすようにした技術が、例えば特開２０００−３１１２４１号公報に記載されていて、バスの負荷を減らしながら、メモリ容量を増やすことなく拡大縮小処理を含む画像処理をリアルタイムで行うことができるようになっている。
【００１５】
さらに、特開２０００−３１２３２７号公報には、フレームメモリに記憶されている画像をブロック単位で所定方向（列方向）に読み出すことで、パイプライン処理を行う際のバッファ量を減らす技術も記載されていて、低消費電力、省メモリの画像処理装置を構成することができるようになっている。
【００１６】
ところで、デジタルカメラや銀塩カメラを含むカメラの光学系においては、大小の差こそあれ、歪曲収差を生じるのが一般的である。この歪曲収差は、例えば、格子状の被写体を撮影すると、樽型、糸巻き型などとして観測される（本発明の実施形態に係る図３（Ａ）、図３（Ｂ）、図３（Ｃ）参照）。また、現在発売されているカメラは、光学ズームを行い得る機種が多いが、こうしたズーム可能な光学系は、ワイド端からテレ端にかけてのズームレンジ内で焦点距離を変更すると、歪曲収差の状態が変化することが多い。
【００１７】
このような現象に対し、画像処理の一部として歪補正を行う技術が、従来より開発されており、その一例として、例えば特開平６−１８１５３０号公報に記載されたものが挙げられる。該公報に記載されたような通常の画像処理では、フレームメモリから例えばライン単位でデータを読み出すようになっている。
【００１８】
また、画像処理の一部として歪補正を行う他の技術として、例えば特開平１０−２２４６９５号公報には、各イメージプロセス部がフレームメモリにランダムにアクセスするようにした技術が記載されている。この技術によれば、イメージプロセス部内にバッファを設ける必要がなくなるために、該イメージプロセス部の回路規模を小さくすることができる利点がある。
【００１９】
【特許文献１】
特開２０００−３１１２４１号公報
【００２０】
【特許文献２】
特開２０００−３１２３２７号公報
【００２１】
【特許文献３】
特開平６−１８１５３０号公報
【００２２】
【特許文献４】
特開平１０−２２４６９５号公報
【００２３】
【発明が解決しようとする課題】
上記特開平６−１８１５３０号公報に記載されたものでは、画像処理としての歪補正を、補正後の画像の１ライン分について行うためには、図１３に示すような、補正前の画像データを、歪補正に必要な複数ライン分だけ、画像全体の横方向の幅に渡って読み出す必要がある。この図１３は、従来において歪補正処理を行うために必要なメモリ量を説明するための図である。これら複数ライン分の画像データは、イメージプロセス部の内部に設けられたバッファに一旦蓄積されてから処理されるために、１ライン分の補正画像を得るには、バッファとして比較的大きな容量が必要になり、回路規模が大きくなって製造コストが増すとともに消費電力も増加してしまう。さらに、イメージプロセス部内のバッファメモリ容量によって、処理可能な画像サイズが制限されてしまうことになる。
【００２４】
また、上記特開平１０−２２４６９５号公報に記載されたものでは、ＳＤＲＡＭ等で構成されたフレームメモリにランダムにアクセスしようとすると、バースト転送ができないために、その度毎にアドレスの転送が必要となって、結局バスの負荷が増大し、消費電力も増加してしまう。さらに、ランダムにアクセスするため、ＳＤＲＡＭから高速に読み出せるバースト転送に比べて、データの転送時間が全体の処理時間を増大させる要因となる。
【００２５】
ところで、画像処理装置に、上述したような歪補正処理を行うための処理ブロックと、拡大縮小処理を行うための処理ブロックと、の両方を設けることにより、拡大縮小処理と歪補正処理との両方を行うことが可能となる。しかし、これらの処理は画素毎の補間演算を伴うものであって、処理回路も大規模になるために、単純に両方の処理回路を設ける構成では、回路構成が大きくなって消費電力が上がるとともに製造コストも増すことになってしまう。
【００２６】
本発明は上記事情に鑑みてなされたものであり、拡大縮小処理と歪補正処理とを行い得る回路規模が小さく低消費電力な画像処理装置を提供することを目的としている。
【００２７】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による画像処理装置は、光学系を介して撮像することにより得られた電子的な画像データに歪補正処理および拡大縮小処理を含む画像処理を行い得る画像処理装置であって、歪補正処理と拡大縮小処理とを含み得る画像処理に係る補間処理を行った後の画素位置に対応する補間処理前の座標データである補間座標データを生成するための補間座標生成部と、上記画像データの少なくとも一部を格納するためのメモリ部と、上記補間座標データに基づいて上記画像データの一部を上記メモリ部に書き込む制御と該メモリ部から読み出す制御とを行うメモリ制御部と、上記メモリ制御部の制御により上記メモリ部から読み出された画像データを補間演算することにより補間処理を行った後の画素位置における画像データを生成する補間演算部と、を有してなる歪補正処理部を具備したものである。
【００２８】
また、第２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記補間座標生成部が、歪補正処理を含まず拡大縮小処理を含み得る画像処理に係る補間処理を行った後の画素位置に対応する補間処理前の座標データである補間位置を生成する補間位置生成部と、上記補間位置生成部により生成された補間位置を用いて歪補正処理を含み得る画像処理に係る補間処理を行った後の画素位置に対応する補間処理前の座標データである補間座標データを生成する歪補正座標変換部と、歪補正処理を行わない場合には上記補間位置生成部の出力を選択し歪補正処理を行う場合には上記歪補正座標変換部の出力を選択して上記メモリ制御部へ出力するセレクタと、を有して構成されたものである。
【００２９】
さらに、第３の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記歪補正座標変換部が、上記光学系の歪曲収差による座標の変化を示す係数である歪補正係数を算出する歪補正係数算出回路と、上記歪補正係数算出回路により算出された歪補正係数を用いて上記補間位置生成部により生成された補間位置を補正することにより上記補間座標データを生成する補間位置補正回路と、を有して構成されたものである。
【００３０】
第４の発明による画像処理装置は、上記第２または第３の発明による画像処理装置において、上記歪補正処理部が、クロックを供給されることにより動作を行うものであって、該歪補正処理部における上記歪補正座標変換部は、該歪補正処理部における該歪補正座標変換部以外の部分に供給されるクロックとは異なるクロックが供給され得るように構成されている。
【００３１】
第５の発明による画像処理装置は、上記第２から第４の発明による画像処理装置において、上記歪補正処理部が、クロックを供給されることにより動作を行うものであって、上記補間位置生成部、または該補間位置生成部および上記歪補正座標変換部は、補間位置の生成、または補間位置の生成および補間座標データの生成を、毎クロックではない隔クロックに行い得るように構成されたものである。
【００３２】
第６の発明による画像処理装置は、上記第２から第５の発明による画像処理装置において、上記歪補正座標変換部が、基本的な数式に基づく場合よりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標データを生成するように構成されたものである。
【００３３】
第７の発明による画像処理装置は、上記第３の発明による画像処理装置において、上記歪補正係数算出回路が、上記歪補正係数を、歪補正後の画像内の注目画素に対応する位置と歪中心位置との間の距離に基づいて算出するものであって、該算出における演算処理の少なくとも一部を浮動小数演算により行うように構成されている。
【００３４】
第８の発明による画像処理装置は、上記第７の発明による画像処理装置において、上記歪補正係数算出回路が、上記距離の２乗値と上記歪補正係数との対応関係を記憶するルックアップテーブルを有して構成されており、該距離の２乗値を上記浮動小数演算により求めて、求めた距離の２乗値に基づき該ルックアップテーブルを参照することにより上記歪補正係数を求めるものである。
【００３５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図１０は本発明の一実施形態を示したものであり、図１は画像処理装置の構成を示すブロック図である。
【００３６】
この画像処理装置は、光学系により結像された光学的な被写体像を光電変換して電気的な撮像信号を生成する撮像素子たるＣＣＤ１と、このＣＣＤ１から出力される撮像信号に画素欠陥の補正やＡ／Ｄ変換などのプリプロセス処理を行うプリプロセス部２と、このプリプロセス部２により処理された後のフレーム画像を記憶するフレームメモリ４と、このフレームメモリ４に記憶された画像データを後述するバス１１を介して所定ブロック毎に読み出し所定の画像処理を施す画像処理部たるイメージプロセス部６と、このイメージプロセス部６による処理後の画像データに歪補正処理や拡大縮小処理を行うための画像処理部たる歪補正処理部７と、この歪補正処理部７から出力される画像データをＪＰＥＧ等の圧縮方式で圧縮する画像処理部たるＪＰＥＧ処理部９と、このＪＰＥＧ処理部９により圧縮された画像データを後述するバス１１を介して一旦フレームメモリ４に書き込み、この書き込まれた画像データをバス１１を介して読み出して入力し画像ファイルとして記憶する不揮発性の記憶手段たるメモリカード等１０と、上記ＣＣＤ１を除く上記各回路と後述するＣＰＵ３とが接続されているバス１１と、上述した各回路を含むこの画像処理装置を統括的に制御する制御手段たるＣＰＵ３と、を有して構成されている。
【００３７】
ここに、上記イメージプロセス部６、歪補正処理部７、ＪＰＥＧ処理部９は、バス１１を介することなく、該バス１１とは異なる情報伝達経路によりパイプライン処理可能なように接続されていて、画像データを、２次元的な画素配列における所定のブロック単位で転送して処理するようになっている。これにより、データ量の大きい画像データが、各プロセス毎にバス１１を何度も転送されることがなくなるために、バス１１の負荷を大幅に軽減することが可能であるとともに、処理をブロック単位で行うことにより画像処理部の内部バッファ（後述する図２に示す内部メモリ部２５または図６に示す２ポートＳＲＡＭ２５ａ）の容量を小さくすることが可能となっている。
【００３８】
また、この図１に示す例においては、画像処理を行うイメージプロセス部６を１つのみ設けているが、複数の画像処理に対応した複数のイメージプロセス部を、上記パイプライン処理の経路上に配置するようにしても構わないことは勿論である。ここに画像処理の例としては、上述と同様に、単板信号から３板信号への変換処理や、ローパスフィルタ処理、エッジ強調処理、拡大縮小処理などが挙げられる。このときの配置は、上記歪補正処理部７よりも前段側であっても構わないし、後段側であっても構わない。
【００３９】
次に、図２は、上記歪補正処理部７の構成を示すブロック図である。
【００４０】
この歪補正処理部７は、前段の処理ブロックから画像データを所定ブロック単位で受け取って、歪補正を行った後に、後段の処理ブロックへ出力するものであり、上記図１に示したような構成例においては、前段の処理ブロックがイメージプロセス部６に対応し、後段の処理ブロックがＪＰＥＧ処理部９に対応している。
【００４１】
この歪補正処理部７には、制御レジスタ７ａが付随して設けられており、ＣＰＵ３からの該歪補正処理部７に対する設定値や各種データなどが設定され、同時に処理結果のステータスなどを該ＣＰＵ３から読むことができるようになっている。
【００４２】
該歪補正処理部７の処理の概要は、図４や図５にも示すように、おおよそ、次のようになっている。図４は歪補正を含む補間処理の概要を説明するための図、図５は１６点補間による処理を説明するための図である。
【００４３】
まず、図４（Ｂ）に示すような歪補正処理後の画像の座標系（Ｘ，Ｙ）を予め準備しておく。この座標系（Ｘ，Ｙ）における画像データは、歪補正処理を開始する前は、当然にしてまだ何も求められていない。
【００４４】
該座標系（Ｘ，Ｙ）における着目点（注目画素）（これは、歪補正処理後の画像における各画素の座標に対応しており、同様に、（Ｘ，Ｙ）と表す。）を設定して、該着目点（Ｘ，Ｙ）に対応する画像データの座標（補間座標データ）（Ｘ’，Ｙ’）を座標変換により求める（図４（Ａ）参照）。この（Ｘ，Ｙ）と（Ｘ’，Ｙ’）との対応関係は、上記ＣＣＤ１へ被写体像を結像するための光学系の光学的性質により決まるものであり、該対応関係を定義付けるパラメータ等は、光学系の設計値から、あるいは製造後の光学系の検査から、予め求められて、図示しない不揮発性メモリ等に記憶されている。そして、上記ＣＰＵ３が、この不揮発性メモリ等からパラメータを読み出して、上記制御レジスタ７ａに設定するようになっている。
【００４５】
こうして対応関係により座標（Ｘ’，Ｙ’）を求めると、該座標（Ｘ’，Ｙ’）における画像データを求めるために必要な周辺の画像データの座標が決定される。例えば、Ｃｕｂｉｃ補間処理を行う場合には、図５に示すように、該座標（Ｘ’，Ｙ’）（図５における画像データがＤｏｕｔとなっている点）に対して周辺の１６点の座標が決定される。
【００４６】
従って、これら１６点の座標における画像データＤ０〜Ｄ１５から、白丸で示されている座標（Ｘ’，Ｙ’）の点の画像データＤｏｕｔを所定の補間式を用いて求めることにより、それが歪補正処理後の画像の着目点（Ｘ，Ｙ）における画像データとなる。
【００４７】
上記着目点（Ｘ，Ｙ）を移動させながら、必要な範囲の全ての画像データを算出することにより、歪補正後の画像データが生成される。
【００４８】
このような処理を行うための歪補正処理部７は、図２に示すように、着目点の座標（Ｘ，Ｙ）を生成するための補間位置生成部２１と、この補間位置生成部２１により生成された着目点の座標（Ｘ，Ｙ）から歪補正処理前の画像データの座標（Ｘ’，Ｙ’）を算出するための歪補正座標変換部２２と、歪補正処理を行わない場合には上記補間位置生成部２１から出力される座標（Ｘ，Ｙ）を選択し歪補正処理を行う場合には上記歪補正座標変換部２２から出力される座標（Ｘ’，Ｙ’）を選択するセレクタ２３と、前段の処理ブロックからの画像データの読み出しを制御するとともに上記セレクタ２３から出力される座標に対応して補間処理を行うのに必要な周辺画素の画像データを送出するように後述する内部メモリ部２５を制御するメモリ制御部２４と、前段の処理ブロックからの画像データを蓄積するものであり上記メモリ制御部２４の制御により補間に必要な周辺画素の画像データを後述する補間演算部２６へ出力する内部メモリ部２５と、この内部メモリ部２５から出力される着目点近傍の画像データと上記セレクタ２３から出力される着目点の座標とに基づき該着目点における画像データを上述したように例えばＣｕｂｉｃ補間により求めて後段の処理ブロックへ出力する補間演算部２６と、を有して構成されている。
【００４９】
これらの構成ブロックの内の上記補間位置生成部２１と、歪補正座標変換部２２と、セレクタ２３とは、補間座標生成部２０を構成する要素となっている。
【００５０】
ここで、上記補間位置生成部２１と歪補正座標変換部２２とにおいて、座標を算出する際の基本的な数式と、それを変形することにより回路規模を縮小することができるようにした実用的な数式と、について説明する。
【００５１】
まず、基本的な数式について説明する。
【００５２】
上記補間位置生成部２１は、基本的に、上記ＣＰＵ３から上記制御レジスタ７ａに設定される補間開始位置（ＸＳＴ，ＹＳＴ）および補間ステップ（ΔＸ，ΔＹ）を用いて、次の数式１に示すように、補間を行う着目点の座標（Ｘ，Ｙ）を算出するものである。
【数１】

ここに、ｋは着目点をＸ方向にΔＸだけ移動させる際にインクリメントされる変数、ｌは着目点をＹ方向にΔＹだけ移動させる際にインクリメントされる変数である。
【００５３】
なお、上記補間開始位置（ＸＳＴ，ＹＳＴ）は、画像内の任意の位置に設定することが可能である。また、上記補間ステップ（ΔＸ，ΔＹ）は、上記ＣＰＵ３が適宜に設定することにより、画像の拡大や縮小を行うことが可能である。
【００５４】
上記歪補正座標変換部２２は、基本的に、上記補間位置生成部２１から出力される歪補正処理後の着目点の座標（Ｘ，Ｙ）から、歪補正処理前の着目点の座標（Ｘ’，Ｙ’）を次のように算出するものである。
【００５５】
すなわち、まず、処理対象の画像における歪中心位置の座標（Ｘｄ，Ｙｄ）と、歪補正処理後に該歪補正に起因して被写体の位置が撮影時とずれてしまうのを補正するための中心ずれ補正量（Ｘｏｆｆ，Ｙｏｆｆ）と、光学系の光学的な性質を示すパラメータを用いて歪補正処理を行った場合に補正後の画像が画像データとして必要な範囲からはみ出したり不足したりするのを補正するための範囲補正倍率Ｍと、を用いて、次の数式２に示すような中間的な算出値（Ｘ（ドット），Ｙ（ドット））（ここに、文字の上に付す点を文章中では（ドット）などとして表している。）を求める。
【数２】

【００５６】
なお、上記歪中心位置の座標（Ｘｄ，Ｙｄ）は、上記ＣＣＤ１に被写体光像を結像する光学系の光軸が交わる画像上の位置に相当する座標である。
【００５７】
また、上記歪中心位置の座標（Ｘｄ，Ｙｄ）、中心ずれ補正量（Ｘｏｆｆ，Ｙｏｆｆ）、範囲補正倍率Ｍは、上記ＣＰＵ３により、上記制御レジスタ７ａに設定されるようになっている。
【００５８】
次に、求めた算出値（Ｘ（ドット），Ｙ（ドット））と、上記歪中心位置の座標（Ｘｄ，Ｙｄ）と、画像データを間引いて取り込んだ場合などに画像の縦方向と横方向とで空間的なサンプリングが異なるのを補正するための係数（ＳＸ，ＳＹ）と、を用いて、歪中心からの距離を示すＺ（より正確にはＺの２乗）を次の数式３に示すように計算する。
【数３】

【００５９】
こうして算出されたＺと、上記ＣＰＵ３から上記制御レジスタ７ａに設定される光学系の歪曲収差に関する光学的性質を示すパラメータである歪補正係数Ａ，Ｂ，Ｃと、上記算出値（Ｘ（ドット），Ｙ（ドット））と、上記歪中心位置の座標（Ｘｄ，Ｙｄ）と、を用いて、歪補正処理後の着目点の座標（Ｘ，Ｙ）に対応する歪補正処理前の着目点の座標（Ｘ’，Ｙ’）を、次の数式４に示すように算出する。
【数４】

【００６０】
ここで図３は、格子状の被写体を光学系を介して撮像したときの歪曲収差の例を示す図である。まず、図３（Ａ）は、格子状の被写体の例を示している。従来は、Ｚの２次項までしか考慮していないために、図３（Ａ）に示すような被写体を光学系を介して撮像したときに生じ得る、図３（Ｂ）に示すような樽型の歪曲収差や、図３（Ｃ）に示すような糸巻き型の歪曲収差をある程度補正することは可能であったが、図３（Ｄ）に示すような陣笠型の歪曲収差を補正することはできなかった。しかし、本実施形態では、この数式４に示すように、Ｚの２次項を越える次数まで、つまり例えば４次項、または６次項まで考慮するようにしているために、このようなより高次の収差も高精度に補正することが可能となっている。なお、ここでは６次項まで考慮する例を示したが、８次項、１０次項等の、より一層高次の収差も補正するようにしても構わない。
【００６１】
上述したような補間位置生成部２１により算出された座標（Ｘ，Ｙ）、または歪補正座標変換部２２により算出された座標（Ｘ’，Ｙ’）は、セレクタ２３に入力されて、歪補正を行うか否かに応じて、必要なものが選択される。
【００６２】
次に、回路規模を縮小することができるようにした実用的な数式について説明する。
【００６３】
まず、上記数式３に数式２および数式１を代入して、次の数式５に示すように変形する。
【数５】

【００６４】
そして、数式６に示すような新たな定数式を導入して、上記数式５を数式７に示すように変形する。
【数６】

【数７】

【００６５】
ここに、数式７におけるＺ（２ドット）は、次の数式８に示すように定義され、Ｘ２，Ｙ２（補間座標データ）は次の数式９に示すように定義される。
【数８】

【数９】

【００６６】
この数式８および数式７に示すように定義されたＺ（２ドット）を用いると、上記数式４は次の数式１０に示すように変形される。
【数１０】

【００６７】
ここに、この数式１０においては、次の数式１１から数式１４に示すように定義された定数式または変数式を用いている。
【数１１】

【数１２】

【数１３】

【数１４】

【００６８】
上記数式１〜数式４に示したような基本的な数式に沿って演算を行う場合には、係数が１４個で乗算回数が１３回となる。すなわち、係数は、歪中心位置（Ｘｄ，Ｙｄ）、中心ずれ補正量（Ｘｏｆｆ，Ｙｏｆｆ）、範囲補正倍率Ｍ、係数（Ｓｘ，Ｓｙ）、歪補正係数Ａ，Ｂ，Ｃ、補間開始位置（ＸＳＴ，ＹＳＴ）、補間ステップ（ΔＸ，ΔＹ）の合計１４個である。また、乗算回数は、数式２におけるＭとの乗算が２回、数式３におけるＳｘ，Ｓｙとの各乗算と２つの２乗式とで乗算が４回、数式４における歪補正係数Ａ，Ｂ，Ｃとの乗算が３回、Ｚの４乗および６乗の算出に乗算が２回、大括弧と小括弧との乗算が２回、で合計１３回となる。
【００６９】
これに対して、上記数式５〜数式１４に示したような実用的な数式に沿って演算を行う場合には、係数が１３個で乗算回数が９回となる。すなわち、係数は、Ｘ（２ドット）ＳＴ，Ｙ（２ドット）ＳＴ，ΔＸ（２ドット），ΔＹ（２ドット），Ｘ（３ドット），Ｙ（３ドット），ΔＸ（３ドット），ΔＹ（３ドット），Ａ（ドット），Ｂ（ドット），Ｃ（ドット），Ｘｄ，Ｙｄの合計１３個である。また、乗算回数は、数式７の中括弧内における２つの２乗式で２回、数式１４におけるＡ（ドット），Ｂ（ドット），Ｃ（ドット）との乗算が３回、該数式１４におけるＺ（ドット）の４乗および６乗の算出に乗算が２回、数式１０におけるＦとの乗算が２回、で合計９回となる。
【００７０】
このような演算で扱う数は、ダイナミックレンジが大きく、計算回数が少し増えるだけでも回路規模が大きくなってしまうために、上記に示したような実用的な数式に沿って演算を行うことにより、乗算器の個数を減少させるとともに、係数を設定するためのレジスタを削減することができ、回路規模を効果的に縮小することが可能となる。
【００７１】
このように変形された実用的な数式に基づいて、上記補間位置生成部２１に対応する補間位置算出回路２１ａ（後述する図６参照）は、上記ＣＰＵ３から上記制御レジスタ７ａに設定される補間開始位置（Ｘ（３ドット），Ｙ（３ドット））および補間ステップ（ΔＸ（３ドット），ΔＹ（３ドット））を用いて、上記数式１３に示すように、補間を行う着目点の座標（補間位置）（Ｘ１，Ｙ１）を算出するようになっている。
【００７２】
また、上記歪補正座標変換部２２の歪補正係数算出回路２２ａ（後述する図６および図７参照）は、上記ＣＰＵ３から上記制御レジスタ７ａに設定されるＡ（ドット），Ｂ（ドット），Ｃ（ドット）を用いて、上記数式１４に示すように歪補正係数Ｆを算出するようになっている。なお、後述するように、該図７に示す構成に代えて、図８に示すような構成により、歪補正係数Ｆを算出することも可能となっている。
【００７３】
さらに、上記歪補正座標変換部２２の補間位置補正回路２２ｂ（後述する図６参照）は、算出された歪補正係数Ｆと、上記ＣＰＵ３から上記制御レジスタ７ａに設定される歪中心位置の座標（Ｘｄ，Ｙｄ）と、を用いて上記着目点の座標（補間位置）（Ｘ１，Ｙ１）から上記数式１０により歪補正処理前の着目点の座標（補間座標データ）（Ｘ’，Ｙ’）を算出するようになっている。
【００７４】
次に、上記補間演算部２６は、上記セレクタ２３から出力される座標に基づき、該座標の近傍の画素の画像データＤ０〜Ｄ１５を上記内部メモリ部２５から読み出して、次のような数式１５を用いることにより、該着目点に係る歪補正処理後の画像データＤｏｕｔを算出して、後段の処理ブロックへ出力する。
【数１５】

ここに、ｋｘ０〜ｋｘ３，ｋｙ０〜ｋｙ３は、例えばＣｕｂｉｃ補間を行う際に定められた所定の補間係数である。
【００７５】
図６は、歪補正処理部７のより詳細な構成を示すブロック図である。
【００７６】
上記補間位置生成部２１は、上記着目点の座標（Ｘ１，Ｙ１）を上述したように算出するための補間位置算出回路２１ａを有して構成されている。
【００７７】
上記歪補正座標変換部２２は、上記歪補正係数Ｆを上記数式１４に示したように算出するための歪補正係数算出回路２２ａと、この歪補正係数算出回路２２ａにより算出された歪補正係数Ｆを用いて上記数式１０に示したように歪補正処理前の着目点の座標（Ｘ’，Ｙ’）を算出するための補間位置補正回路２２ｂと、を有して構成されている。
【００７８】
上記セレクタ２３は、歪補正処理を行わない場合には（拡大縮小処理を行うか否かに関わらず）上記補間位置算出回路２１ａからの座標（Ｘ１，Ｙ１）を選択し、歪補正処理を行う場合には（拡大縮小処理を伴うか否かに関わらず）上記補間位置補正回路２２ｂからの座標（Ｘ’，Ｙ’）を選択するものである。
【００７９】
このセレクタ２３により選択された座標（Ｘ１，Ｙ１）または座標（Ｘ’，Ｙ’）には、制御レジスタ７ａを介して上記ＣＰＵ３により設定される歪中心位置の座標（Ｘｄ，Ｙｄ）が、加算器２７ａ，２７ｂによりそれぞれ加算されるようになっている。
【００８０】
これら加算器２７ａ，２７ｂの出力は、読出しアドレス生成回路２４ａとバッファ開放量算出回路２４ｃとへ出力されるようになっている。
【００８１】
この読出しアドレス生成回路２４ａには、さらに、上記補間位置算出回路２１ａにより算出された座標（Ｘ１，Ｙ１）も上記セレクタ２３を介する経路とは別途に入力されるようになっている。そして、該読出しアドレス生成回路２４ａは、この座標（Ｘ１，Ｙ１）に関連する画素データ（１６点補間を行う場合には、該座標（Ｘ１，Ｙ１）を中心とする１６個の画素データ）が記憶されているアドレスＡＤＲを２ポートＳＲＡＭ２５ａに出力するとともに、補間係数（例えば、上記数式１５に示したような補間係数ｋｘ０〜ｋｘ３，ｋｙ０〜ｋｙ３）と出力する画素データがＤ０〜Ｄ１５のどの位置の画素データであるかを示すデータ列制御信号とを補間回路２６ａに出力するようになっている。さらに、該読出しアドレス生成回路２４ａは、書き込み許可信号ＷＥ＿Ｎを後段の処理ブロックへ出力する。
【００８２】
上記２ポートＳＲＡＭ２５ａは、上記図２に示した内部メモリ部２５に対応する回路部分である。
【００８３】
補間回路２６ａは、上記図２に示した補間演算部２６に対応するものであり、上記２ポートＳＲＡＭ２５ａから読み出された画像データを用いて上記数式１５に示したような補間処理を行い、処理後の画像データを後段の処理ブロックに出力するものである。
【００８４】
上記バッファ開放量算出回路２４ｃは、上記補間位置算出回路２１ａからの出力と、上記セレクタ２３からの出力と、に基づいて、上記２ポートＳＲＡＭ２５ａにおいて開放可能な記憶容量（バッファ開放量）を算出するものである。
【００８５】
バッファ空き容量監視回路２４ｄは、このバッファ開放量算出回路２４ｃの出力を参照して、上記２ポートＳＲＡＭ２５ａの空き容量の状況を把握するものである。
【００８６】
書込みアドレス生成回路２４ｂは、前段の処理ブロックからの画像データを受けて、上記２ポートＳＲＡＭ２５ａに記録するものである。
【００８７】
ＧＲＡＮＴ＿Ｎ送信判定回路２４ｅは、後段の処理ブロックからの画像データを要求する要求信号ＲＥＱ＿Ｎを受けて、上記書込みアドレス生成回路２４ｂとバッファ開放量算出回路２４ｃとの出力に基づき画像データの送信が可能であるか否かを判断し、可能である場合に許可信号ＧＲＡＮＴ＿Ｎを後段の処理ブロックに出力するとともに、上記補間位置算出回路２１ａにも出力するものである。このＧＲＡＮＴ＿Ｎ送信判定回路２４ｅは、さらに、該許可信号ＧＲＡＮＴ＿Ｎを受けた補間位置算出回路２１ａが座標（Ｘ１，Ｙ１）を算出して出力するのにタイミングを合わせて歪補正係数算出回路２２ａが歪補正係数Ｆを出力することができるように、トリガｔｒｉｇを該歪補正係数算出回路２２ａへ出力するようになっている。
【００８８】
なお、上記図６に示した歪補正処理部７の構成の内で、上記歪補正座標変換部２２を除く各回路にはクロックＣＬＫ２が供給されるが、この歪補正座標変換部２２にはこのクロックＣＬＫ２とは異なり得るクロックＣＬＫ１が供給されるようになっている。
【００８９】
これにより、歪補正処理を行わない場合、つまり例えば拡大縮小処理のみを行う場合や、歪補正処理および拡大縮小処理を両方とも行わない場合などに、歪補正座標変換部２２への供給クロックＣＬＫ１を停止すれば、不要な電力の消費を抑制することが可能である。また、供給するクロックＣＬＫ１のクロック数を低下させたり戻したり制御することにより、単位時間当たりに補間座標データを生成する回数を制御し調整することも可能となる。
【００９０】
次に、この図６に示したような歪補正処理部７の動作について説明する。
【００９１】
バッファ空き容量監視回路２４ｄは、バッファ開放量算出回路２４ｃを介して２ポートＳＲＡＭ２５ａの空き容量を監視し、所定の空き容量があると、前段の処理ブロックに対して所定のブロック単位の画像データ（以下、適宜、ユニットライン（ＵＬ）データという。）を送信するように要求信号ＲＥＱを出す（ステップＳ１）。
【００９２】
前段の処理ブロックは、この要求信号ＲＥＱを受けて、画像データが送信可能になったところで許可信号ＧＲＡＮＴを送信し、上記バッファ空き容量監視回路２４ｄは、この許可信号ＧＲＡＮＴを受信する（ステップＳ２）。
【００９３】
該バッファ空き容量監視回路２４ｄは、２ポートＳＲＡＭ２５ａの空き容量を、内部に保持するカウンタで把握するようになっており、許可信号ＧＲＡＮＴを受信すると同時に、この内部カウンタの値を１つ減らす。該バッファ空き容量監視回路２４ｄは、この内部カウンタが０になったら、上記要求信号ＲＥＱを取り下げるように動作する（ステップＳ３）。
【００９４】
そして、前段の処理ブロックから、書き込み許可信号ＷＥが書込みアドレス生成回路２４ｂに入力され、続いて画像データが入力される。これに応じて、書込みアドレス生成回路２４ｂは、制御信号を２ポートＳＲＡＭ２５ａへ出力して、画像データＤＡＴＡを該２ポートＳＲＡＭ２５ａの、アドレスＡＤＤＲＥＳＳで指定される領域に書き込む。また、書込みアドレス生成回路２４ｂは、１ＵＬデータが入力される毎に、ＢＬＣカウンタ（内部バッファである２ポートＳＲＡＭ２５ａにどれだけのデータが溜められたかを示すカウンタ）をアップして、ＧＲＡＮＴ＿Ｎ送信判定回路２４ｅへ出力する（ステップＳ４）。
【００９５】
ＧＲＡＮＴ＿Ｎ送信判定回路２４ｅは、後段の処理ブロックから要求信号ＲＥＱ＿Ｎを受信すると、次に送信することができるＵＬデータが２ポートＳＲＡＭ２５ａ内にあるか否かを判定し、あると判定した場合には、許可信号ＧＲＡＮＴ＿Ｎを後段の処理ブロックと上記補間位置算出回路２１ａとへ送信する（ステップＳ５）。
【００９６】
補間位置算出回路２１ａは、この許可信号ＧＲＡＮＴ＿Ｎを受けて動作を開始し、補間位置である座標（Ｘ１，Ｙ１）の算出動作を１ＵＬ分行ったところで、次のＵＬ先頭座標を算出して終了する（ステップＳ６）。
【００９７】
上記ＧＲＡＮＴ＿Ｎ送信判定回路２４ｅは、補間位置算出回路２１ａが動作を開始して座標（Ｘ１，Ｙ１）を出力するのと同期して歪補正係数算出回路２２ａが歪補正係数Ｆを出力することができるようなタイミングで、トリガｔｒｉｇを該歪補正係数算出回路２２ａへ出力する（ステップＳ７）。
【００９８】
歪補正係数算出回路２２ａは、トリガｔｒｉｇを受けると、ＵＬデータ内の画素について歪補正係数Ｆを上記数式１４に基づき算出し、補間位置補正回路２２ｂに出力する。この歪補正係数算出回路２２ａも、上記補間位置算出回路２１ａと同様に、１ＵＬ分の動作を行ったところで、次のＵＬ先頭座標を算出して終了する（ステップＳ８）。
【００９９】
補間位置補正回路２２ｂは、この歪補正係数算出回路２２ａから受け取った歪補正係数Ｆと、上記補間位置算出回路２１ａから受け取った座標（Ｘ１，Ｙ１）と、を用いて、上記数式１０に基づき座標（Ｘ’，Ｙ’）を算出する。この補間位置補正回路２２ｂも、上記歪補正係数算出回路２２ａに従って、１ＵＬ分の動作を行ったところで、次のＵＬ先頭座標を算出して終了する（ステップＳ９）。
【０１００】
セレクタ２３は、上記制御レジスタ７ａを介して上記ＣＰＵ３により設定された動作モードに従って、歪補正処理を行う場合には上記補間位置補正回路２２ｂからの座標（Ｘ’，Ｙ’）を選択し、歪補正処理を行わない場合には上記補間位置算出回路２１ａからの座標（Ｘ１，Ｙ１）を選択する（ステップＳ１０）。
【０１０１】
加算器２７ａ，２７ｂは、このセレクタ２３により選択された座標（Ｘ１，Ｙ１）または座標（Ｘ’，Ｙ’）に、歪中心位置の座標（Ｘｄ，Ｙｄ）をそれぞれ加算する（ステップＳ１１）。
【０１０２】
読み出しアドレス生成回路２４ａは、加算器２７ａ，２７ｂから受け取った座標に基づいて、補間に用いるために２ポートＳＲＡＭ２５ａから読み出す画素データのアドレスＡＤＲを該２ポートＳＲＡＭ２５ａに出力するとともに、補間係数とデータ列制御信号とを補間回路２６ａに出力する（ステップＳ１２）。
【０１０３】
補間回路２６ａは、読み出しアドレス生成回路２４ａから受け取った補間係数およびデータ列制御信号と、２ポートＳＲＡＭ２５ａから受け取った画素データと、を用いて、上記数式１５に示すように、補間された画素データを算出し、後段の処理ブロックに出力する（ステップＳ１３）。
【０１０４】
バッファ開放量算出回路２４ｃは、上記補間位置算出回路２１ａおよび加算器２７ａ，２７ｂの出力に基づいて、ＵＬデータを最後まで出力したことが確認されたら、今処理を終えたＵＬ先頭座標と、次のＵＬ先頭座標との差を計算して、必要なくなったデータが蓄積されているバッファ（２ポートＳＲＡＭ２５ａ内の領域）を開放するために、バッファ開放量をバッファ空き容量監視回路２４ｄへ出力するとともに、次のＵＬ処理を行うために後どれだけのデータを前段の処理ブロックから受けることが必要であるかを、上記ＧＲＡＮＴ＿Ｎ送信判定回路２４ｅへ送信する（ステップＳ１４）。
【０１０５】
バッファ空き容量監視回路２４ｄは、上記ステップＳ１４において内部バッファである２ポートＳＲＡＭ２５ａに記憶領域の空きができたことが確認されたところで、上記ステップＳ１へ戻って、上述したような処理を繰り返して行う（ステップＳ１５）。
【０１０６】
ＧＲＡＮＴ＿Ｎ送信判定回路２４ｅは、上記書込みアドレス生成回路２４ｂからのＢＬＣカウンタの値と、バッファ開放量算出回路２４ｃからの出力と、に基づいて、次のＵＬデータを後段の処理ブロックに送信することができるか否かを判定し、送信することができると判定した場合には、上記ステップＳ５の処理を行う（ステップＳ１６）。
【０１０７】
図７は、上記歪補正係数算出回路２２ａの構成の一例を示すブロック図である。この歪補正係数算出回路２２ａは、上記数式１４によって、歪補正係数Ｆを算出するためのものである。
【０１０８】
なお、この図７において、および以下に示す図７の説明においては、Ｚは数式８の左辺に示すＺ（２ドット）のことを指し、係数Ａ，Ｂ，Ｃは数式１１の左辺に示すＡ（ドット），Ｂ（ドット），Ｃ（ドット）のことを指している。
【０１０９】
歪補正係数算出回路２２ａは、上記ＧＲＡＮＴ＿Ｎ送信判定回路２４ｅからトリガｔｒｉｇが入力されたところで上記数式９に基づき補間座標Ｘ２，Ｙ２を算出する歪補正用座標算出回路３１と、この歪補正用座標算出回路３１により算出された補間座標Ｘ２を浮動小数に変換する浮動小数化回路３２ａと、上記歪補正用座標算出回路３１により算出された補間座標Ｙ２を浮動小数に変換する浮動小数化回路３２ｂと、上記浮動小数化回路３２ａにより浮動小数化された補間座標Ｘ２を２乗する２乗計算器３３ａと、上記浮動小数化回路３２ｂにより浮動小数化された補間座標Ｙ２を２乗する２乗計算器３３ｂと、上記２乗計算器３３ａにより算出された補間座標Ｘ２の２乗と上記２乗計算器３３ｂにより算出された補間座標Ｙ２の２乗とを加算することによりＺ（より正確には、上述したようにＺ（２ドット）。以下同様）の２乗を算出する加算器３４と、この加算器３４からの出力を２乗することによりＺの４乗を算出する２乗計算器３３ｃと、上記加算器３４からの出力を遅延させる遅延回路３５ｂと、上記２乗計算器３３ｃにより算出されたＺの４乗とこの遅延回路３５ｂにより遅延されタイミングを合わせて出力されるＺの２乗とを乗算することによりＺの６乗を算出する乗算器３６ｄと、上記加算器３４からの出力を遅延させるとともに上記２乗計算器３３ｃからの出力を遅延させる遅延回路３５ａと、上記遅延回路３５ａから遅延されタイミングを合わせて出力されるＺの２乗に上記ＣＰＵ３から制御レジスタ７ａに設定される係数Ａ（より正確には、上述したようにＡ（ドット）。以下同様）を乗算する乗算器３６ａと、上記遅延回路３５ａから遅延されタイミングを合わせて出力されるＺの４乗に上記ＣＰＵ３から制御レジスタ７ａに設定される係数Ｂ（より正確には、上述したようにＢ（ドット）。以下同様）を乗算する乗算器３６ｂと、上記乗算器３６ｄから出力されるＺの６乗に上記ＣＰＵ３から制御レジスタ７ａに設定される係数Ｃ（より正確には、上述したようにＣ（ドット）。以下同様）を乗算する乗算器３６ｃと、上記乗算器３６ａからの出力に上記ＣＰＵ３から制御レジスタ７ａに設定される上記係数Ａの符号ｓｉｇｎＡを与えて固定小数に変換する固定小数化回路３７ａと、上記乗算器３６ｂからの出力に上記ＣＰＵ３から制御レジスタ７ａに設定される上記係数Ｂの符号ｓｉｇｎＢを与えて固定小数に変換する固定小数化回路３７ｂと、上記乗算器３６ｃからの出力に上記ＣＰＵ３から制御レジスタ７ａに設定される上記係数Ｃの符号ｓｉｇｎＣを与えて固定小数に変換する固定小数化回路３７ｃと、上記固定小数化回路３７ａからの出力と上記固定小数化回路３７ｂからの出力と上記固定小数化回路３７ｃからの出力と上記ＣＰＵ３から制御レジスタ７ａに設定される定数１．０とを加算することにより上記数式１４に基づく歪補正係数Ｆを算出する加算器３８と、を有して構成されている。
【０１１０】
なお、この図７において、２重線で示している部分が、浮動小数による演算処理を行っている部分であり、ダイナミックレンジの広いＸ２，Ｙ２やＺなどを浮動小数で扱うことにより、精度を保ちながら回路規模を縮小するようになっている。
【０１１１】
また、図８は、上記歪補正係数算出回路２２ａの構成の他の例を示すブロック図である。
【０１１２】
この図８に示す歪補正係数算出回路２２ａは、上記歪補正用座標算出回路３１と、上記浮動小数化回路３２ａと、上記浮動小数化回路３２ｂと、上記２乗計算器３３ａと、上記２乗計算器３３ｂと、上記加算器３４と、この加算器３４から出力される浮動小数化されたＺ（より正確には、上述したようにＺ（２ドット）。以下同様）の２乗を用いて参照を行うことにより固定小数化された歪補正係数Ｆを出力するＬＵＴ（ルックアップテーブル）３９と、を有して構成されている。
【０１１３】
この図８においても、２重線で示している部分が、浮動小数による演算処理を行っている部分である。
【０１１４】
このように、この図８に示す構成例は、ルックアップテーブルを用いることにより、歪補正係数Ｆを算出するための処理時間を短縮し回路の消費電力を低減するものとなっている。
【０１１５】
なお、この構成例を適用する場合には、上記係数Ａ，Ｂ，ＣはＣＰＵ３から設定されるものではなく、固定値となっている。もちろん、ルックアップテーブルの規模が大きくなっても構わない場合には、上記係数Ａ，Ｂ，Ｃの複数の組み合わせに対応するルックアップテーブルを用意しておいて、適切なものを用いるようにしても構わない。
【０１１６】
次に、図９はクロック毎に補間位置を生成するときの様子を示すタイミングチャート、図１０は３クロックに１回の割合で補間位置を生成するときの様子を示すタイミングチャートである。
【０１１７】
図９は、クロック毎に補間位置を生成するときの動作の様子を示したものであり、後段の処理ブロックから要求信号ＲＥＱ＿ＮがＧＲＡＮＴ＿Ｎ送信判定回路２４ｅに入力されると、該ＧＲＡＮＴ＿Ｎ送信判定回路２４ｅは、画像データを出力可能となったところで、該後段の処理ブロックに対して許可信号ＧＲＡＮＴ＿Ｎを送信する。
【０１１８】
この許可信号ＧＲＡＮＴ＿Ｎは、補間位置算出回路２１ａへも入力されて、補間位置Ｘ１，Ｙ１が生成され出力される。この図９に示す例では、補間位置Ｘ１，Ｙ１は、各クロック毎に出力される。
【０１１９】
そして、適宜の処理時間を経た後に、上記補間回路２６ａから補間後の画像データが後段の処理ブロックへ出力され、このときには上記読出しアドレス生成回路２４ａから書き込み許可信号ＷＥ＿Ｎが出力されている。
【０１２０】
また、図１０は、３クロックに１回の割合で補間位置を生成するときの動作の様子を示したものである。
【０１２１】
許可信号ＧＲＡＮＴ＿Ｎが補間位置算出回路２１ａに入力されるまでの動作は図９に示した場合と同様であるが、その後に該補間位置算出回路２１ａは、３クロックに１回の割合で補間位置Ｘ１，Ｙ１を生成して出力する。
【０１２２】
また、補間位置Ｘ１，Ｙ１が生成されてから上記補間回路２６ａから補間後の画像データが出力されるまでの処理に要する時間も図９に示した場合と同様であるが、補間位置Ｘ１，Ｙ１の生成が３クロックに１回であるために、補間後の画像データの出力も同様に３クロックに１回であり、これに合わせて書き込み許可信号ＷＥ＿Ｎの出力も３クロックに１回となっている。
【０１２３】
なお、ここでは補間位置をクロック毎あるいは３クロックに１回生成する例を示しているが、これに限るものではなく、適宜の複数回に１回生成するようにしても構わないし、あるいはｎ回毎にｍ回（ｎ≧ｍ）（例えば、３クロックに２回）生成するようにすることも可能であり、任意の頻度で補間位置を生成することが可能である。また、このようなクロック数に対する補間位置の生成数の割合を、動的に変更するようにしても構わない。
【０１２４】
このような実施形態によれば、歪補正処理と拡大縮小処理とを、１つの回路で同時に行うことができるために、処理時間を短縮することができるとともに、回路規模を縮小することが可能となる。これにより、高速な画像処理装置を低コストに構成することができる。
【０１２５】
また、歪補正を行わないときに、歪補正座標変換部に供給するクロックを停止することにより、つまり、歪補正係数算出回路と補間位置補正回路とに供給するクロックを停止することにより、消費電力を低減することが可能となる。
【０１２６】
さらに、これら補間位置算出回路による座標の算出を、必要に応じてクロック毎でないようにする（毎クロックではない隔クロックに行うようにする）ことにより、電力の消費を時間方向に分散することが可能となる。この単位時間当たりに座標を算出する回数を適応的に変更することにより、一層効率的に消費電力の分散を図ることができる。これによって、処理回路の温度が上昇するのを抑制することができるとともに、画像処理装置全体の瞬間的な消費電力（ピーク消費電力）を低減することができる。
【０１２７】
そして、基本的な数式に基づく場合よりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標データを生成するようにしたために、補間位置生成部や歪補正座標変換部の内部に設ける乗算器の個数を削減することができ、回路規模の縮小を図ることができる。
【０１２８】
加えて、歪補正後の画像内の注目画素（Ｘ，Ｙ）に対応する位置（つまり、（Ｘ，Ｙ）にＸｏｆｆ，Ｙｏｆｆ，Ｍ，ＳＸ，ＳＹなどを考慮した位置）と歪中心位置（Ｘｄ，Ｙｄ）との間の距離Ｚ（あるいはＺ（２ドット））は、ダイナミックレンジが広い数であり、これらの２乗、４乗、６乗などはさらにダイナミックレンジが広い数となるが、これらを浮動小数として扱って演算を行い歪補正係数を算出するようにしたために、精度を保ちながら回路規模を縮小することが可能となる。
【０１２９】
また、歪補正係数を求める際に、上記距離Ｚ（あるいはＺ（２ドット））（もしくはその２乗）に基づき参照可能なルックアップテーブルを用いる場合には、処理時間を短縮しながら回路規模を縮小することが可能となる。
【０１３０】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０１３１】
【発明の効果】
以上説明したように本発明によれば、拡大縮小処理と歪補正処理とを行い得る回路規模が小さく低消費電力な画像処理装置となる。
【図面の簡単な説明】
【図１】本発明の一実施形態における画像処理装置の構成を示すブロック図。
【図２】上記実施形態における歪補正処理部の構成を示すブロック図。
【図３】上記実施形態において、格子状の被写体を光学系を介して撮影したときの歪曲収差の例を示す図。
【図４】上記実施形態において、歪補正を含む補間処理の概要を説明するための図。
【図５】上記実施形態において、１６点補間による処理を説明するための図。
【図６】上記実施形態における歪補正処理部のより詳細な構成を示すブロック図。
【図７】上記実施形態における歪補正係数算出回路の構成の一例を示すブロック図。
【図８】上記実施形態における歪補正係数算出回路の構成の他の例を示すブロック図。
【図９】上記実施形態において、クロック毎に補間位置を生成するときの様子を示すタイミングチャート。
【図１０】上記実施形態において、３クロックに１回の割合で補間位置を生成するときの様子を示すタイミングチャート。
【図１１】画像処理装置における一般的な画像処理の手順を示す図。
【図１２】上記図１１に示したような一般的な画像処理を行うための従来の画像処理装置の構成を示すブロック図。
【図１３】従来において歪補正処理を行うために必要なメモリ量を説明するための図。
【符号の説明】
１…ＣＣＤ
２…プリプロセス部
３…ＣＰＵ
４…フレームメモリ
６…イメージプロセス部（画像処理部）
７…歪補正処理部（画像処理部）
７ａ…制御レジスタ
９…ＪＰＥＧ処理部（画像処理部）
１０…メモリカード等
１１…バス
２０…補間座標生成部
２１…補間位置生成部（補間座標生成部の一部）
２１ａ…補間位置算出回路
２２…歪補正座標変換部（補間座標生成部の一部）
２２ａ…歪補正係数算出回路
２２ｂ…補間位置補正回路
２３…セレクタ（補間座標生成部の一部）
２４…メモリ制御部
２４ａ…読出しアドレス生成回路
２４ｂ…書込みアドレス生成回路
２４ｃ…バッファ開放量算出回路
２４ｄ…バッファ空き容量監視回路
２４ｅ…ＧＲＡＮＴ＿Ｎ送信判定回路
２５…内部メモリ部
２５ａ…２ポートＳＲＡＭ
２６…補間演算部
２６ａ…補間回路
３１…歪補正用座標算出回路
３２ａ，３２ｂ…浮動小数化回路
３７ａ，３７ｂ，３７ｃ…固定小数化回路
３９…ＬＵＴ（ルックアップテーブル）

Claims

光学系を介して撮像することにより得られた電子的な画像データに、歪補正処理および拡大縮小処理を含む画像処理を行い得る画像処理装置であって、
歪補正処理と拡大縮小処理とを含み得る画像処理に係る補間処理を行った後の画素位置に対応する補間処理前の座標データである補間座標データを生成するための補間座標生成部と、
上記画像データの少なくとも一部を格納するためのメモリ部と、
上記補間座標データに基づいて、上記画像データの一部を上記メモリ部に書き込む制御と該メモリ部から読み出す制御とを行うメモリ制御部と、
上記メモリ制御部の制御により上記メモリ部から読み出された画像データを補間演算することにより、補間処理を行った後の画素位置における画像データを生成する補間演算部と、
を有してなる歪補正処理部を具備したことを特徴とする画像処理装置。
上記補間座標生成部は、
歪補正処理を含まず拡大縮小処理を含み得る画像処理に係る補間処理を行った後の画素位置に対応する補間処理前の座標データである補間位置を生成する補間位置生成部と、
上記補間位置生成部により生成された補間位置を用いて、歪補正処理を含み得る画像処理に係る補間処理を行った後の画素位置に対応する補間処理前の座標データである補間座標データを生成する歪補正座標変換部と、
歪補正処理を行わない場合には上記補間位置生成部の出力を選択し、歪補正処理を行う場合には上記歪補正座標変換部の出力を選択して、上記メモリ制御部へ出力するセレクタと、
を有して構成されたものであることを特徴とする請求項１に記載の画像処理装置。
上記歪補正座標変換部は、
上記光学系の歪曲収差による座標の変化を示す係数である歪補正係数を算出する歪補正係数算出回路と、
上記歪補正係数算出回路により算出された歪補正係数を用いて、上記補間位置生成部により生成された補間位置を補正することにより上記補間座標データを生成する補間位置補正回路と、
を有して構成されたものであることを特徴とする請求項２に記載の画像処理装置。
上記歪補正処理部は、クロックを供給されることにより動作を行うものであって、
該歪補正処理部における上記歪補正座標変換部は、該歪補正処理部における該歪補正座標変換部以外の部分に供給されるクロックとは異なるクロックが供給され得るように構成されていることを特徴とする請求項２または請求項３に記載の画像処理装置。
上記歪補正処理部は、クロックを供給されることにより動作を行うものであって、
上記補間位置生成部、または該補間位置生成部および上記歪補正座標変換部は、補間位置の生成、または補間位置の生成および補間座標データの生成を、毎クロックではない隔クロックに行い得るように構成されたものであることを特徴とする請求項２から請求項４の何れか１項に記載の画像処理装置。
上記歪補正座標変換部は、基本的な数式に基づく場合よりも乗算の回数が減るように変形した実用的な数式に基づいて、補間座標データを生成するように構成されたものであることを特徴とする請求項２から請求項５の何れか１項に記載の画像処理装置。
上記歪補正係数算出回路は、上記歪補正係数を、歪補正後の画像内の注目画素に対応する位置と歪中心位置との間の距離に基づいて算出するものであって、該算出における演算処理の少なくとも一部を浮動小数演算により行うように構成されていることを特徴とする請求項３に記載の画像処理装置。
上記歪補正係数算出回路は、上記距離の２乗値と上記歪補正係数との対応関係を記憶するルックアップテーブルを有して構成されており、
該距離の２乗値を上記浮動小数演算により求めて、求めた距離の２乗値に基づき該ルックアップテーブルを参照することにより上記歪補正係数を求めるものであることを特徴とする請求項７に記載の画像処理装置。