JP2007180898A - 画像処理装置 - Google Patents

Abstract

【課題】光学的な歪曲収差を有する画像を効率的に処理可能な画像処理装置を提供する。
【解決手段】アドレス生成部６は、ＳＤＲＡＭ２上に格納されている画像データの内、取り込む分のデータのアドレスと垂直シフト量ＶＳＶの算出を行う。ＤＭＡ３は、算出されたアドレスを起点とした矩形画像をバースト転送により取得する。取得した画像データから、フィルタ演算部４１で所定の補間方法によりＲＧＢデータを算出し、垂直シフト量ＶＳＶを所定量遅延した垂直シフト量ＶＳＶ＿Ｄと共に出力する。出力データから、歪補正処理部４２は歪曲収差補正の処理を行ってＲ´Ｇ´Ｂ´画像を出力し図示しないマトリックス回路でＲ´Ｇ´Ｂ´画像がＹＣデータに変換された後に、ＪＰＥＧ圧縮処理部４３はＪＰＥＧ圧縮の処理を行い、ＤＭＡ５に出力する。アドレス生成部７は、出力画像をＳＤＲＡＭ２に格納するためのアドレスを生成し、ＤＭＡ５に出力する。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、デジタルカメラ等においてレンズによる歪曲収差の補正に用いて好適な画像処理装置に関する。

デジタル・銀塩を問わず、一般的にカメラの光学系においては歪曲収差が現れる事が知られている。現在発売されているカメラでは、光学ズームが可能な機種がほとんどであり、その場合、ワイド端からテレ端にかけて、歪曲収差の状態が変化する。歪曲収差は例えば図１３のような格子状の被写体を撮影すると、図１４、図１５のように樽型・糸巻型として観測される。

上記のような歪曲収差を有する画像は、通常は好ましくないので、これを画像処理によって補正する方法が種々開示されている。歪曲収差を補正するためには撮像された画像に対して収差を相殺する方向に位置補正すればよい。図１６は、図１４の収差を補正する方向を示したものである。図１６の実線は図１４の撮像された画像の内の右上部の画像の位置を示すものであり、点線は補正後の画像の位置を示すものである。

以下に一般的な歪曲収差補正処理の概要を説明する。図１７の画像Ａが１フレーム分の入力画像を示し、図１８の画像Ｂが１フレーム分の出力画像を示す。回路のメモリを削減するために、画像を複数の短冊状に分けて処理する。図１８の実線部ｃの出力画像を作成するのに必要な入力画像は図１７の点線部ａである。この入力画像の点線部ａを取得するために、メモリ（例えばＳＤＲＡＭ）からは図１７の実線部ｂの矩形上の画像を取り込む必要がある。この短冊状画像の処理を複数回繰り返す事で１フレーム分の画像を出力する。

図１９は、上記の歪曲収差補正処理を有する画像処理装置の構成例を示す図である。図１９の画像処理装置について、プリプロセス１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）で撮像された画像に対してＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）やＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）のための評価値を取得するとともに、ＣＣＤ画素欠陥補正等を行った後、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２にその画像を書き込む。

ＳＤＲＡＭ２は、画像データを一時的に格納する記憶装置である。ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）３は、読み込み画像のアドレスを取得して、画像データを矩形的にバースト転送で読み込む。画像処理部４は、ＤＭＡ３で取り込まれた矩形領域のベイヤ画像に、歪補正処理を含む画像処理を行った後に、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の圧縮処理をして出力する。ＤＭＡ５は、画像処理部４から入力された画像データを、ＳＤＲＡＭ２上の指定アドレスに書き込む。

アドレス生成部６は、ＳＤＲＡＭ２上に格納されている画像データの内のＤＭＡ３に取り込む分の矩形領域データのアドレッシングを行う。ここで図２０は、ＤＭＡ３から取り込まれる歪曲収差補正前の画像の画素配列の一例である。太線Ｄは図１７の点線部ａに対応する補正前の画像にあたり、点線Ｍは画素配列を１バースト転送単位で区切った線で、黒丸Ｐはアドレス生成部６から出力されるアドレスであり、光学中心を原点に図のようにＸ軸、Ｙ軸を取る。

ＤＭＡ３は、上記アドレスを起点としてＹ軸方向にＬラインの矩形画像を取得するようにＬ回バースト転送を行う。また、アドレスは図２０の黒丸Ｐで示すようにＸ軸方向にバースト転送の幅で等間隔となる。アドレス生成部７は、出力画像をＳＤＲＡＭ２に格納するためのアドレスを生成し、ＤＭＡ５に出力する。

画像処理部４は、ベイヤデータから所定の補間方法によりＲＧＢデータを算出するフィルタ演算部４１と、歪曲収差補正の処理を行う歪補正処理部４２と、Ｒ´Ｇ´Ｂ´画像から図示しないマトリックス回路でＹＣデータに変換した後にＪＰＥＧ圧縮の処理を行うＪＰＥＧ圧縮処理部４３とから構成されている。

図２１は歪補正処理部４２の詳細な構成である。歪補正後座標生成部４２１は、歪補正後の出力画像上の光学中心を原点とした時の座標（Ｘ、Ｙ）を出力する。歪補正前座標演算部４２２は、歪補正後座標生成部４２１の出力座標（Ｘ、Ｙ）に対応する歪補正前の座標（Ｘ´、Ｙ´）を算出する。この時算出される座標（Ｘ´、Ｙ´）は、ＲＧＢによって異なる値をとる。これは、波長の違いにより結像位置が異なるためである。

アドレス変換部４２３〜４２５は、歪補正前座標演算部４２２で求めた座標に近接する周辺１６画素情報をメモリから取得するためのアドレスを算出する。フィルタ係数生成部４２６〜４２８は、歪補正前の画像上の座標の小数部から、バイキュービック法による補間のための係数を算出する。メモリ４２０９〜４２１１は、カラー画像データが格納されている２ポートメモリ群で構成されている。補間演算部４２１２〜４２１４は、メモリ４２０９〜４２１１から出力された周辺画素データに対してフィルタ係数を乗じた後、全て加算する。

歪補正後座標生成部４２１から着目する座標（Ｘ、Ｙ）が出力された後、歪補正前座標演算部４２２において座標（Ｘ、Ｙ）がＳＤＲＡＭ２等のメモリに格納された歪んだ画像のどの座標（Ｘ´、Ｙ´）にあたるかを算出する。例えば図１６の実線部のような歪んだ座標の補正の場合で言うと、（Ｘ´、Ｙ´）が矢印の根元の座標にあたり、（Ｘ、Ｙ）が矢印の先の座標にあたる。また算出された座標（Ｘ´、Ｙ´）が格納されているメモリのアドレスを算出する。

算出された座標（Ｘ´、Ｙ´）は小数部を含むので、フィルタ係数生成部４２６〜４２８及び補間演算部４２１２〜４２１４により周辺の複数画素から補間する方法で目的の画像情報を得る。また歪曲収差補正に関する従来の技術としては、例えば特許文献１に示すようなものが知られている。
特開２００４−６４７１０号公報

しかしながら、従来の技術においては、図１７に示すように、本来必要な画像（点線部ａ）より大きい画像（実線部ｂ）を入力させなければならず、無駄なデータ読み込みが大量に発生する。特許文献１においても図２２に示すように多くの無駄なデータを読み込んでいる。図２２の例では、歪曲収差の補正前の画像上で見た短冊状の矩形領域ｂ１が補正後は点線部ｄ１になり、その内の領域ｃ１のみを有効データとして使用している。これは、矩形領域ｂ１を読み込んだ時は点線部ｄ１の範囲の画像データが復元できるに関わらず、領域ｃ１の画像データのみしか使用していないということである。さらに、歪曲収差が大きくなるほど使用しない領域が大きくなり、不必要なデータを大量に読み込まなくてはいけなくなる。

また補正前画像である図２３においては、図２２の補正後の点線部ｄ１の内の領域ｃ１のみしか使用しないという事は、補正前の画像である矩形領域ｄ２の内の領域ｃ２しか使用しないという事であり、領域ｃ２以外の領域の画像は読み込まれるが処理には使用されない。ここで、領域ｃ２は図２２では領域ｃ１に対応する補正前の領域である。

無駄なデータ読み込みが大量に発生すると、補正後の画像データの量の数倍ものデータを読み込む必要があるため画像処理が非効率的になり、処理速度が遅くなりまた余分に消費電力がかかることで、商品となるデジタルカメラの連写性能や電池寿命が低下する等の問題があった。

本発明はかかる課題を解決するためになされたもので、光学的な歪曲収差を有する画像を効率的に処理することで装置全体としての処理の高速化、消費電力削減が可能な画像処理装置を提供することを目的とする。

本発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、レンズに起因する歪曲収差を有する元画像データが格納される画像データ格納部と、前記画像データ格納部から転送された前記元画像データが一時的に記憶される一時記憶部と、前記元画像データに含まれる前記歪曲収差を補正する歪補正処理部と、前記歪曲収差がない空間で設定された画像データ領域の外縁に対応する、前記歪曲収差を有する空間における対応外縁を第１の方向に沿って所定のデータ長に対応する単位で複数の区間に区分し、前記区間毎に、前記第１の方向に直交する第２の方向に投影した時の前記対応外縁の終端部の位置に基づいて基準位置を演算し、この基準位置を基点として、前記区間毎に、前記区間に対応する前記画像データ格納部に対するメモリアドレスを生成して第１のメモリアドレスとして出力すると共に、隣接する前記区間の間で前記基準位置同士の差分を演算して調整値として出力する第１のアドレス生成部と、前記第１のメモリアドレスに対応する前記元画像データを前記画像データ格納部から前記一時記憶部に、前記所定のデータ長単位で転送するデータ転送部と、前記一時記憶部に対し、前記歪補正処理部において用いられる前記元画像データに係る第２のメモリアドレスを生成するに当たり、隣接する前記区間の間においては、前記調整値に基づき、前記第２の方向において対応する前記元画像データに係る前記第２のメモリアドレスを生成して出力する第２のアドレス生成部と、を有する事を特徴とする画像処理装置である。

また、請求項２に記載の発明は、前記一時記憶部に記憶された前記元画像データに対して所定のフィルタ演算を実行し、前記歪補正処理部に出力するフィルタ演算部を具備する事を特徴とする請求項１に記載の画像処理装置である。

また、請求項３に記載の発明は、前記第１のアドレス生成部は、現区間に係る前記調整値に対応するメモリアドレス幅を、先行する前記区間に係る前記第１のメモリアドレスに加算することによって、前記第１のメモリアドレスを生成する事を特徴とする請求項１又は２に記載の画像処理装置である。

また、請求項４に記載の発明は、前記第１のアドレス生成部は、２画素を単位として、前記調整値を生成する事を特徴とする請求項１又は２に記載の画像処理装置である。

また、請求項５に記載の発明は、前記第１のアドレス生成部は、前記対応外縁を前記第２の方向に投影したときの終端部の位置を前記区間毎に演算し、隣接する前記区間同士の前記終端部の位置の差分を演算して前記調整値として出力することを特徴とする請求項１から４までの何れか１項に記載の画像処理装置である。

また、請求項６に記載の発明は、前記第１のアドレス生成部は、隣接する前記区間の間の前記基準位置を、前記対応外縁を近似する線形直線を用いて演算する事を特徴とする請求項１から４までの何れか１項に記載の画像処理装置である。

また、請求項７に記載の発明は、前記データ転送部は、前記第２の方向における前記対応外縁間の間隔と前記基準位置とに対応した前記元画像データをする事を特徴とする請求項５又は６に記載の画像処理装置である。

本発明によれば、読み出される元画像データの外縁に沿った画像データ領域を読み込めることで、無駄読みを抑えた画像データ格納部から一時記憶部への元画像データの転送が可能となり、装置全体としての処理の高速化、消費電力削減となる。また、データ読み込み時に生じる位置ずれを補正しながら画像処理することが可能となる。

以下、図面を参照して本発明の第１の実施形態について説明する。図１は本実施形態における画像処理装置の全体構成を示すブロック図である。図１の画像処理装置は、プリプロセス１と、ＳＤＲＡＭ（画像データ格納部に相当）２と、ＤＭＡ（データ転送部に相当）３と、画像処理部４と、ＤＭＡ５と、アドレス生成部（第１のアドレス生成部に相当）６と、アドレス生成部７とから構成されている。以下、従来技術と同一符号のブロックで機能が同一である場合は、詳細な説明を省略する。

アドレス生成部６は、ＳＤＲＡＭ２にアクセスするためのアドレスを生成するアドレス演算部６１と、バースト転送の区切り内で、歪補正後の矩形領域の上辺または下辺に位置する画像を作成するために必要な歪補正前の画像上のＹ座標（最大値と最小値）を出力するアドレス調整部６２とから構成される。アドレス調整部６２は、歪補正後座標生成部６２１と、歪補正前座標演算部６２２と、最大最小判定部６２３とから構成される。

歪補正後座標生成部６２１は、歪補正後の出力画像上の座標（Ｘ、Ｙ）を出力する。ここでは図１８の矩形領域ｃの上辺に相当する座標を出力する。出力する座標は、補正前画像の内でフィルタ演算における補間のために必要な領域を含め、着目するバースト転送に関係する部分の全てである。

例えば、補正前の画素配列の一例を示す図２についていえば、点線Ｍ１はＳＤＲＡＭ２内の画像をバースト転送の単位で区切った境界線を表す。四角Ｓ１１〜Ｓ１７の中の十字線の交点Ｃ１１〜Ｃ１７は補正前画像の座標（Ｘ´、Ｙ´）を示しており、四角Ｓ１１〜Ｓ１６の部分は歪補正処理部４２で行われる補間のために必要な周辺領域である。太線Ｄ１は、全ての四角Ｓｎｍにて形成される領域を、周辺領域に位置する四角Ｓ１１〜Ｓ１ｍを内包する包絡線にて仮想的に示したもので、図１８の矩形領域Ｃの外縁に対応する対応外縁に相当する。図２の右端の周辺領域（四角Ｓ１７）のように、補間後の出力の座標（交点Ｃ１７）が着目するバースト転送の区切りの外にある時でも、補間のために必要な周辺画素の一部が着目するバースト転送の区切りの中に含まれる場合はその座標も出力する。また、四角Ｓ１１の領域のように、着目するバースト転送にかかっていない場合は、その座標は出力しない。

歪補正前座標演算部６２２は、歪補正後座標生成部６２１で出力された座標に対応する歪補正前の画像上の座標（Ｘｂａｙ、Ｙｂａｙ）を算出する。最大最小判定部６２３は、歪補正前座標演算部６２２で算出された座標（Ｘｂａｙ、Ｙｂａｙ）を補間するために必要な周辺画素を含むように調整された座標を基に、バースト転送区切り内で、太線Ｄ１をＹ座標に投影したときの終端部の位置に対応するＹ座標の最大値Ｙｍｘと最小値Ｙｍｎとを記憶する。

アドレス演算部６１は、最大最小判定部６２３で得られた最大値Ｙｍｘと、最小値Ｙｍｎとから下式（１）〜（４）の計算を行い、垂直シフト量ＶＳＶ（調整値に相当）を求める。
Ｘが負で、Ｙが正の領域にある場合もしくはＸが正で、Ｙが負の領域にある場合
ＶＳＶ１ ＝ ｉｎｔ（Ｙｍｘ（ｎ））−ｉｎｔ（Ｙｍｘ（ｎ−１）） … （１）
ＶＳＶ ＝ ｉｎｔ（ＶＳＶ１／２）×２ … （２）
Ｘが正で、Ｙが正の領域にある場合もしくはＸが負で、Ｙが負の領域にある場合
ＶＳＶ１ ＝ ｉｎｔ（Ｙｍｎ（ｎ））−ｉｎｔ（Ｙｍｎ（ｎ−１）） … （３）
ＶＳＶ ＝ ｉｎｔ（ＶＳＶ１／２）×２ … （４）
ただし、ｉｎｔ（ｚ）はｚの整数部を求める関数である。ｎはバースト転送の境界で区切ったときに左端から数えて何番目の区切りであるかを示す。Ｙｍｘ（ｎ）、Ｙｍｎ（ｎ）は、左端からｎ番目の区切り内でのＹ座標の最大値、最小値である。なお、本実施形態では樽型の歪曲収差の場合について述べているが、糸巻型の歪曲収差の場合は上記式（１）〜式（４）の内の式（１）と式（３）とを入れ替えて使用する。

また、垂直シフト量ＶＳＶ１は次のバースト転送のために生成するアドレスを図２の垂直方向に何ライン移動させるかを示す数値であり、また、垂直シフト量ＶＳＶはＳＤＲＡＭ２内の画像がベイヤ配列である事を考慮し、ベイヤ位相が常に一定となるように垂直シフト量ＶＳＶ１の値を２の倍数とした数値である。また、アドレス演算部６１では、垂直シフト量ＶＳＶと共にＤＭＡ３がＳＤＲＡＭ２へアクセスするためのアドレス（第１のメモリアドレスに相当）を生成する。

画像処理部４は、フィルタ演算部４１と、歪補正処理部４２と、ＪＰＥＧ圧縮処理部４３とから構成されている。フィルタ演算部４１は、メモリ４１１と、メモリアドレス生成部（第２のアドレス生成部に相当）４１２と、メモリ（一時記憶部に相当）４１３と、フィルタ演算部４１４とから構成されている。メモリ４１１は、アドレス演算部６１から出力された垂直シフト量ＶＳＶを保存するＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリで、Ｌ´ライン分のバースト転送が終了する毎に新規の値が入力される。また、歪補正処理部４２に対し、フィルタ演算部４１４での処理時間を考慮し、垂直シフト量ＶＳＶを遅延させた垂直シフト量ＶＳＶ＿Ｄを出力する。

メモリアドレス生成部４１２は、メモリ４１３から所望の画像データを取得するためにメモリアドレス（第２のメモリアドレスに相当）を生成するが、この時メモリ４１１から得られる垂直シフト量ＶＳＶを用いてアドレス値の調整も行う。メモリ４１３は、画像データを格納するためのメモリで、縦方向にＬ´ラインのサイズを持つ。フィルタ演算部４１４は従来技術と同様である。

図３は本実施形態における歪補正処理部４２の詳細な構成である。図３ではアドレス変換部４２３〜４２５で、アドレスを算出する際に、一回前の転送時に使用したアドレスと、垂直シフト量ＶＳＶ＿Ｄの値とを加算することによりアドレスを出力する。図３の他のブロックについては、従来技術の図２１と同様の動作を行う。

以下、本発明の第１の実施形態の画像処理装置の動作について説明する。図４はＤＭＡ３から取り込まれる歪曲収差補正前の画像の画素配列の一例である。点線はベイヤ位相が等しく、かつＳＤＲＡＭ２内の画像をバースト転送の単位で区切った境界線を表し、太線（対応外縁に相当）は補正前画像の外縁を示している。

図４の白抜きの四角Ｓ２の中の十字の交点Ｃ２の座標が（Ｘｂａｙ、Ｙｂａｙ）であり、白抜きの四角Ｓ２の領域は（Ｘｂａｙ、Ｙｂａｙ）に位置する画像データを周辺画素からの補間により生成するために必要な該周辺画素の領域を示している。座標を表すＸ軸、Ｙ軸は光学中心を原点として図４のように定義する。また、白抜きの矢印は垂直シフト量ＶＳＶを示している。

図４において、太線にて示す外縁は、歪補正後座標生成部６２１で生成される座標（Ｘ、Ｙ）に対応する全ての（Ｘｂａｙ、Ｙｂａｙ）とその周辺領域である白抜きの四角Ｓ２をプロットした時、それら全ての四角Ｓ２にて形成される領域を、外側に位置する四角Ｓ２を内包する包絡線にて仮想的に示したものであり、実際にこのような線が引かれているわけではない。以下、この太線に囲まれた領域をＤ２として説明する。

図４の左端の黒丸Ｐ２１のアドレスはアドレス生成部６から設定される。ＤＭＡ３は、そのアドレスからＹ軸方向にＬ´ライン分画像データのバースト転送を行う。その間に、アドレス生成部６は次のブロックのバースト転送のためのアドレスを計算する。ここで、Ｌ´の値はＤＭＡ３で読み込む領域が領域Ｄ２に内包される領域を含むように設定する。
まず、歪補正後座標生成部６２１は、歪補正後の出力画像上の座標（Ｘ、Ｙ）を出力する。歪補正前座標演算部６２２は、歪補正後座標生成部６２１で出力された座標に対応する歪補正前の画像上の座標（Ｘｂａｙ、Ｙｂａｙ）を算出する。

最大最小判定部６２３は、図４の領域Ｄ２を点線Ｍ２で示すバースト転送の境界で区切ったときの、それぞれのＹ座標の最大値Ｙｍｘ（ｎ）と、最小値Ｙｍｎ（ｎ）とを保存する。次にアドレス演算部６１は、Ｙ座標の最大値Ｙｍｘ（ｎ）と、最小値Ｙｍｎ（ｎ）とから垂直シフト量ＶＳＶ１、ＶＳＶを算出する。

また、アドレス演算部６１は、垂直シフト量ＶＳＶをメモリ４１１に出力すると共に、図４の左から２番目の黒丸Ｐ２２で示すように垂直シフト量ＶＳＶによってＹ軸方向に調整されたアドレス値をＤＭＡ３へ出力する。ＤＭＡ３はアドレスを取得した後、そのアドレスからＹ軸方向にＬ´ライン分画像データをバースト転送で読み込む。

メモリ４１１は、アドレス演算部６１から出力された垂直シフト量ＶＳＶを保存し、遅延させた垂直シフト量ＶＳＶ＿Ｄを出力する。メモリアドレス生成部４１２は、フィルタ演算によりベイヤデータからＲＧＢデータを生成する際に垂直シフト量ＶＳＶを考慮してメモリ４１３のアドレスを与える。

上記内容の例として、メモリ４１１、メモリ４１３の保存データの内容が図５のようであった場合、５×５のフィルタ処理を行うには、メモリ４１３の内部のハッチング部ＦＬの画素データが必要となる。なぜなら画素の本来の位置関係は図６のようになっているためである。

なお、この例では１バースト転送で４画素分の情報が格納されているものと仮定している。また、メモリ４１３に入力される画像は図７のようであるが、垂直シフト量ＶＳＶが入力されるので、処理の中で元のイメージに直すことが可能である。また、垂直シフト量ＶＳＶが常に２の倍数であるので、メモリ４１３に入力される画像はベイヤ位相が保持されている。これを利用すると、メモリ４１３の前後で既知の方法でホワイトバランスゲイン乗算やＯＢクランプ処理を行う事が可能である。

フィルタ演算部４１でフィルタ処理された画像は画素毎にＲＧＢ値を持つカラー画像となるが、垂直シフト量ＶＳＶの影響により、画像のＹ軸方向の位置関係は依然としてずれたままである。歪補正処理部４２では、ＲＧＢカラー画像データと遅延させた垂直シフト量ＶＳＶ＿Ｄとを取得して、入力画像のＹ軸方向のずれを補正しつつ歪補正を行う。具体的な方法はメモリアドレス生成部４１２の時と同様であるので説明を省略する。歪補正処理部４２から出力される画像Ｒ´Ｇ´Ｂ´は、垂直シフト量ＶＳＶによるずれと歪曲収差が補正されて出力されるので、ＪＰＥＧ圧縮処理部４３の圧縮処理は従来と同様の方法で行われる。また、以降のバースト転送のデータについても上記と同様の動作を順次行う。

以上のように、アドレス生成部６が自律的に歪曲補正前座標を計算することで、次にバースト転送を開始するアドレスを調整しながら画像を取り込むことにより、ＣＰＵの介在がなく、無駄な画像データの読み込みが減少して、バス転送効率が向上する。また、アドレスを調整することによって生ずる画像の位置ずれを復元しながら画像処理することが可能である。特にホワイトバランスやノイズリダクションなど、互いの画素の位置関係を考慮する必要がない処理の場合は、ベイヤ位相が保存されているので、従来どおりの既知の方法で処理する事が可能である。

また、図２２と同じ出力画素を得たい場合、図８のハッチング部ｂ３だけ取り込むだけで画像を出力できる。また、垂直シフト量ＶＳＶを用いることにより、垂直方向にシフトした画像を復元して処理する事が可能である。さらには、ベイヤ位相が保たれるので、ホワイトバランスゲイン乗算等は通常通り行える。

なお、本実施形態では簡単のため図４に示すように垂直方向（Ｙ軸方向）のバースト転送回数（Ｌ´）を固定値としたが、図の通り下の方に無駄読みが発生する。これを避けるためにはバースト転送回数（Ｌ´）を場所ごとに可変とすればよい。例えば、上記説明のアドレス調整部４２は、矩形領域が光学中心より上にある時は、上辺の座標のみ計算していたが、これを上辺と、下辺との両方を算出することによって、以下のような形で求められる。
Ｌ´ ＝ ｉｎｔ（Ｙｍｘ（ｎ））−ｉｎｔ（Ｙｍｎ（ｎ）） … （５）
この様子を図示したのが図９である。Ｌ´を可変とした場合、ＤＭＡ３にはバースト転送開始アドレスのほかに上記のＬ´の値も出力することになる。図１０は、この場合における画像処理装置のブロック図である。

次に、図面を参照して本発明の第２の実施形態について説明する。図１１は本実施形態における画像処理装置の全体構成を示すブロック図である。図１１の画像処理装置は、プリプロセス１と、ＳＤＲＡＭ２と、ＤＭＡ３と、画像処理部４と、ＤＭＡ５と、アドレス生成部６と、アドレス生成部７とから構成されている。アドレス生成部６は、アドレス演算部６１と、アドレス調整部６２とから構成される。

アドレス調整部６２では、歪曲収差画像の補正前の画素配列である図１２の斜め線で示すように、バースト転送開始アドレスが、Ｙ＝ｋＸ＋ａ … （６）の様に一次式の形で変化するようにアドレスを調整する。具体的には、ｎ番目のバースト転送の開始座標を（Ｘ（ｎ）、Ｙ（ｎ））とすると、Ｙ（ｎ）＝ｋＸ（ｎ）＋ａ … （７）を計算して出力する。また、アドレス演算部６１では、下式を計算する。
ＶＳＶ１ ＝ ｉｎｔ（Ｙ（ｎ））−ｉｎｔ（Ｙ（ｎ−１）） … （８）
ＶＳＶ ＝ ｉｎｔ（ＶＳＶ１／２）×２ … （９）
その他の部分については第１の実施形態と同様である。

図１２に示すように、歪曲収差による画像の歪みを包含するように、直線で構成される山型の領域を設定して処理する。このため、メモリ容量（Ｌ´）が若干大きくなるが、垂直シフト量を１次元的な増加で表現できることより、アドレス調整部６２の回路規模を格段に小さくすることが可能である。

なお、本実施形態についても第１の実施形態と同様に簡単のためバースト転送回数（Ｌ´）を固定値としたが、Ｌ´を可変にする事も可能である。例えば、図１２に示す山型の領域の上辺、下辺の傾きを変えることも可能である。

本発明の第１の実施形態にかかる画像処理装置の構成を示すブロック図である。 歪曲収差画像領域の境界付近での補正前の画素配列の一例を示した図である。 本発明の第１の実施形態にかかる歪補正処理部４２の詳細な構成を示すブロック図である。 本発明の第１の実施形態での歪曲収差画像の補正前の画素配列と読み出し領域とを示した図である。 メモリ４１１、４１３での内部イメージを示す図である。 メモリ４１１、４１３での内部イメージを垂直シフト量ＶＳＶ分について復元させた本来の位置関係を示す図である。 外縁で表現したメモリ４１３の画像の格納状態を示す。 図２３に対して、本実施形態の画像処理装置で補正のために読み込む画像領域の例を示した図である。 着目するバースト転送単位内で算出するＹｍｘ（ｎ）とＹｍｎ（ｎ）の位置関係を示した図である。 本発明の第１の実施形態において、バースト転送回数（Ｌ´）を可変にした時の画像処理装置の構成を示すブロック図である。 本発明の第２の実施形態にかかる画像処理装置の構成を示すブロック図である。 本発明の第２の実施形態での歪曲収差画像の補正前の画素配列と読み出し領域とを示した図である。 歪曲収差を有していない被写体の画像を示した図である。 樽型の歪曲収差を有する光学系により被写体を撮影した場合の撮影画像を示した図である。 糸巻型の歪曲収差を有する光学系により被写体を撮影した場合の撮影画像を示した図である。 樽型の歪曲収差がある場合の歪曲収差補正の方向を示す図である。 従来技術において、歪曲収差補正前の画像を示す図である。 従来技術において、歪曲収差補正後の画像を示す図である。 従来技術の歪曲補正処理を行う画像処理装置の構成を示すブロック図である。 従来技術での歪曲収差画像の補正前の画素配列を示した図である。 従来技術の画像処理装置内の歪補正処理部４２の詳細な構成を示すブロック図である。 歪曲収差補正前後の画像データ領域について説明するための説明図である。 歪曲収差補正前後の画像データ領域を補正前の画像について見た時の説明図である。

符号の説明

１…プリプロセス、 ２…ＳＤＲＡＭ、 ３、５…ＤＭＡ、 ４…画像処理部、 ６、７…アドレス生成部、 ４１…フィルタ演算部、 ４２…歪補正処理部、 ４３…ＪＰＥＧ圧縮処理部、 ６１…アドレス演算部、 ６２…アドレス調整部

Claims (7)

1. レンズに起因する歪曲収差を有する元画像データが格納される画像データ格納部と、
   前記画像データ格納部から転送された前記元画像データが一時的に記憶される一時記憶部と、
   前記元画像データに含まれる前記歪曲収差を補正する歪補正処理部と、
   前記歪曲収差がない空間で設定された画像データ領域の外縁に対応する、前記歪曲収差を有する空間における対応外縁を第１の方向に沿って所定のデータ長に対応する単位で複数の区間に区分し、前記区間毎に、前記第１の方向に直交する第２の方向に投影した時の前記対応外縁の終端部の位置に基づいて基準位置を演算し、この基準位置を基点として、前記区間毎に、前記区間に対応する前記画像データ格納部に対するメモリアドレスを生成して第１のメモリアドレスとして出力すると共に、隣接する前記区間の間で前記基準位置同士の差分を演算して調整値として出力する第１のアドレス生成部と、
   前記第１のメモリアドレスに対応する前記元画像データを前記画像データ格納部から前記一時記憶部に、前記所定のデータ長単位で転送するデータ転送部と、
   前記一時記憶部に対し、前記歪補正処理部において用いられる前記元画像データに係る第２のメモリアドレスを生成するに当たり、隣接する前記区間の間においては、前記調整値に基づき、前記第２の方向において対応する前記元画像データに係る前記第２のメモリアドレスを生成して出力する第２のアドレス生成部と、
   を有する事を特徴とする画像処理装置。
2. 前記一時記憶部に記憶された前記元画像データに対して所定のフィルタ演算を実行し、前記歪補正処理部に出力するフィルタ演算部を具備する事を特徴とする請求項１に記載の画像処理装置。
3. 前記第１のアドレス生成部は、現区間に係る前記調整値に対応するメモリアドレス幅を、先行する前記区間に係る前記第１のメモリアドレスに加算することによって、前記第１のメモリアドレスを生成する事を特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１のアドレス生成部は、２画素を単位として、前記調整値を生成する事を特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第１のアドレス生成部は、前記対応外縁を前記第２の方向に投影したときの終端部の位置を前記区間毎に演算し、隣接する前記区間同士の前記終端部の位置の差分を演算して前記調整値として出力することを特徴とする請求項１から４までの何れか１項に記載の画像処理装置。
6. 前記第１のアドレス生成部は、隣接する前記区間の間の前記基準位置を、前記対応外縁を近似する線形直線を用いて演算する事を特徴とする請求項１から４までの何れか１項に記載の画像処理装置。
7. 前記データ転送部は、前記第２の方向における前記対応外縁間の間隔と前記基準位置とに対応した前記元画像データを転送する事を特徴とする請求項５又は６に記載の画像処理装置。

Images