JP2004234379A - 画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置 - Google Patents
画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置 Download PDFInfo
- Publication number
- JP2004234379A JP2004234379A JP2003022642A JP2003022642A JP2004234379A JP 2004234379 A JP2004234379 A JP 2004234379A JP 2003022642 A JP2003022642 A JP 2003022642A JP 2003022642 A JP2003022642 A JP 2003022642A JP 2004234379 A JP2004234379 A JP 2004234379A
- Authority
- JP
- Japan
- Prior art keywords
- grid
- unit
- data
- parameter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 37
- 238000003384 imaging method Methods 0.000 title claims description 20
- 238000012937 correction Methods 0.000 claims abstract description 335
- 238000012545 processing Methods 0.000 claims abstract description 180
- 238000004364 calculation method Methods 0.000 claims description 103
- 230000006835 compression Effects 0.000 claims description 41
- 238000007906 compression Methods 0.000 claims description 41
- 238000009795 derivation Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 abstract description 152
- 230000006870 function Effects 0.000 abstract description 42
- 238000000034 method Methods 0.000 description 62
- 239000000872 buffer Substances 0.000 description 41
- 238000006243 chemical reaction Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 29
- 239000013598 vector Substances 0.000 description 25
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- -1 silver halide Chemical class 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】画像の歪みを補正するための画像処理において、必要なメモリの容量を削減する。
【解決手段】格子分割部９１１は画面全点のパラメータを区分毎に分割するための格子線を決定し、格子点上の歪み補正パラメータ（ 歪み補正座標） を歪み補正メモリ（ 図示せず） に送る。また、ｎ次多項式係数導出部９０２で格子分割部９１１において分割された各格子線分のすべての歪み補正座標を格子線分上の位置との関数で表現し、求める区分ｎ次多項式で近似する。さらに、サンプル点導出部９０３は、ｎ次多項式係数導出部９０２より得られた区分ｎ次多項式から歪み補正パラメータの圧縮を行う。導出された区分ｎ次多項式において、区分ｎ 次多項式の両端をｎ分割した内部点を新たな歪み補正パラメータ（近似された歪み補正座標）として、歪み補正メモリに送る。
【選択図】 図１７
【解決手段】格子分割部９１１は画面全点のパラメータを区分毎に分割するための格子線を決定し、格子点上の歪み補正パラメータ（ 歪み補正座標） を歪み補正メモリ（ 図示せず） に送る。また、ｎ次多項式係数導出部９０２で格子分割部９１１において分割された各格子線分のすべての歪み補正座標を格子線分上の位置との関数で表現し、求める区分ｎ次多項式で近似する。さらに、サンプル点導出部９０３は、ｎ次多項式係数導出部９０２より得られた区分ｎ次多項式から歪み補正パラメータの圧縮を行う。導出された区分ｎ次多項式において、区分ｎ 次多項式の両端をｎ分割した内部点を新たな歪み補正パラメータ（近似された歪み補正座標）として、歪み補正メモリに送る。
【選択図】 図１７
Description
【０００１】
【発明の属する技術分野】
本発明はビデオカメラやデジタルスチルカメラ、銀塩カメラなどに用いられる画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置に関するものである。
【０００２】
【従来の技術】
従来より、ビデオカメラやデジタルスチルカメラ、あるいは銀塩カメラなどにより撮像された画像においては、撮像レンズの歪曲収差特性の影響により歪みが生じていた。ここで、高精度で高性能なレンズにおいて該歪みは目立たないが、コストが低いレンズを使用する場合や光学ズームレンズを使用する場合には、画歪みの影響を完全に回避することは難しい。
【０００３】
そこで、近年、該歪みを信号処理により補正する画像処理装置が提案されてきている。図３２は、従来における画像処理装置１００の構成を示す。図３２に示されるように従来の画像処理装置１００は、レンズ２００と撮像素子３００、データ変換部４００、信号処理部５００、画像メモリ６００、制御マイコン７００、同期信号生成部８００、補正データテーブル１０００、記録部１１００、再生部１２００、及び表示系処理部１３００とを備える。
【０００４】
ここで、図３３のフローチャートを参照しつつ、上記画像処理装置１００の動作の概要を説明する。まずステップＳ１では、レンズ２００及び撮像素子３００を介して被写体１０１に対するアナログ画像信号を入力する。そして、ステップＳ２ではデータ変換部４００で該アナログ画像信号をデジタル画像信号に変換し、画像１０２を生成する。
【０００５】
次に、ステップＳ３において、信号処理部５００は補正データテーブル１０００に格納された歪み補正ベクトル（以下、単に「補正ベクトル」ともいう）を用いて歪んだ画像１０２に対し補正演算を施す。そして、ステップＳ４において、制御マイコン７００は画像の入力を終了するか否かを判断し、終了しないと判断した場合にはステップＳ１へ戻る。
【０００６】
以上が、図３２に示された従来の画像処理装置１００の動作の概要であるが、以下において該動作を詳しく説明する。
【０００７】
レンズ２００は被写体１０１からの反射光を集光して撮像素子３００に写影する。また、撮像素子３００はＣＣＤやＣＭＯＳセンサなどから構成され、写影された映像をキャプチャーして、アナログの画像信号を生成する。また、データ変換部４００は撮像素子３００から供給された該アナログ信号をデジタルの画像信号に変換し、画像１０２を生成する。一方、制御マイコン７００は外部のユーザインタフェースへの入力に応じて、所定の動作を命令するコマンドを発行する。
【０００８】
また、信号処理部５００は制御マイコン７００から供給されたコマンドに応じてデータ変換部４００により生成されたデジタル画像信号を画像メモリ６００へ格納する。そして、信号処理部５００は補正データテーブル１０００に予め記録された全画素に対応する補正ベクトルを該テーブルから読み出し、該補正情報に応じて画像メモリ６００から必要な画像信号を取得した後、該画像信号につき２次元補間方式による幾何学補正を実行することによって、データ変換部４００から出力された画像１０２の歪みを補正する。
【０００９】
ここで、信号処理部５００において生成された画像信号は、表示系処理部１３００へ供給されることにより該画像がモニタに表示され、あるいは記録部１１００へ供給されることにより外部のテープやディスクあるいはメモリなどのメディア１４００に記録される。また、メディア１４００に記録された画像信号は、再生部１２００により再生され、該再生信号が表示系処理部１３００へ供給されることにより該再生画像１０３がモニタに表示される。
【００１０】
さらに、同期信号生成部１６００は、外部から供給されるクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００とデータ変換部４００及び信号処理部５００へ供給する。
【００１１】
このようにして、歪みを信号処理により補正することができる。なお、同種の技術分野においては、下記の文献が公開されている。
【００１２】
【特許文献１】
特開平５−１７２５３１号公報
【特許文献２】
特開平６−１６５０２４号公報
【特許文献３】
特開平６−１８１５３０号公報
【００１３】
【発明が解決しようとする課題】
ところで、本願の出願人は、先に特願２００２−２３９８６５号を出願している。すなわち、図３４には、本願の出願人が先に出願した画像処理システムの構成を示す。なお、図中同一符号は同一または相当部分を示す。
【００１４】
図３４に示されるように、先の出願に係る画像処理システムは、画像処理装置１００と前処理装置１５００及びメディア１４００を備え、画像処理装置１００はレンズ２００と撮像素子３００、データ変換部４００、信号処理部５００、画像メモリ６００、制御マイコン７００、補正パラメータデコーダ９、同期信号生成部１６００、記録部１１００、再生部１２００、及び表示系処理部１３００とを含み、前処理装置１５００は補正パラメータエンコーダ９００と補正パラメータ導出部８００とを含む。
【００１５】
ここで、レンズ２００は被写体１０１からの反射光を集光して撮像素子３００に写影するものであって、単焦点のレンズにとどまらずズーム機能を有するものであっても良い。また、撮像素子３００はＣＣＤやＣＭＯＳセンサなどから構成され、同期信号生成部１６００から供給された内部同期信号に応じて、写影された映像をキャプチャーしアナログ画像信号を生成する。
【００１６】
データ変換部４００は撮像素子３００に接続され、同期信号生成部１６００から供給された内部同期信号に応じて、撮像素子３００により生成されたアナログ画像信号をデジタル画像信号に変換し画像１０２を生成する。信号処理部５００は、制御マイコン７００とデータ変換部４００、画像メモリ６００、補正パラメータデコーダ１０１０及び同期信号生成部１６００に接続される。
【００１７】
そして、信号処理部５００は、制御マイコン７００から供給されたコマンドに応じて、データ変換部４００から供給されるデジタル画像信号を画像メモリ６００へ格納すると共に、補正パラメータデコーダ１０１０から供給される補正量パラメータによって格納された該画像信号に対する補正処理を実行する。そして、信号処理部５００は、該補正により得られた画像信号を表示系処理部１３００及び記録部１１００へ供給する。
【００１８】
一方、補正パラメータ導出部８００は、レンズ２００の歪曲収差に関するデータなどから、全画素の各位置に応じた補正量ベクトルを予め計算する。また、補正パラメータエンコーダ９００は補正パラメータ導出部８００及びユーザインタフェースに接続され、ユーザインタフェースから供給された制御信号Ｌｎ，Ｌｗに応じて、補正パラメータ導出部８００から供給された補正量ベクトルを圧縮（エンコード）し、該圧縮データＰｃを補正パラメータデコーダ１０１０へ供給する。
【００１９】
なお、補正パラメータ導出部８００における演算及び上記エンコードは、共に非常に負荷の大きな演算となるが、別途パーソナルコンピュータ等を用いて計算すればよく、画像処理装置１００によるリアルタイム処理に影響を与えるものでない。また、補正パラメータエンコーダ９００から供給される圧縮データＰｃ等の情報は、歪み補正メモリ１０２０にも格納され、実際の補正パラメータデコーダ１０１０での処理においては、歪み補正メモリ１０２０に格納された情報が使用される。
【００２０】
さらに、制御マイコン７００はユーザインタフェースからの制御信号に応じて、所定の動作を命令するコマンド等を信号処理部５００へ出力すると共に、レンズ２００の位置情報などを補正パラメータデコーダ１０１０へ供給する。
【００２１】
補正パラメータデコーダ１０１０は、補正パラメータエンコーダ９００、歪み補正メモリ１０２０と制御マイコン７００及び信号処理部５００に接続される。そして、補正パラメータデコーダ１０１０は、制御マイコン７００から供給された情報等に応じて、補正パラメータエンコーダ９００または歪み補正メモリ１０２０から供給されたエンコードされた圧縮データＰｃを各画素に対応した補正量パラメータに伸長（デコード）し、該補正量パラメータを信号処理部５００へ供給する。
【００２２】
また、記録部１１００は信号処理部５００に接続され、信号処理部５００により生成された画像信号をテープやフレキシブルディスク、ＤＶＤ（デジタル多用途ディスク）、ハードディスク、メモリなどのメディア（記録媒体）１４００に記録する。なお、信号処理部５００により生成された画像信号は、インターネットやワイヤレス通信等を用いてメディア１４００に記録されるようにすることもできる。
【００２３】
また、再生部１２００はメディア１４００に接続され、メディア１４００に格納された画像信号を再生して表示系処理部１３００へ供給する。表示系処理部１３００は信号処理部５００及び再生部１２００に接続され、信号処理部５００又は再生部１２００から供給された画像信号をモニタに表示する。
【００２４】
なお、同期信号生成部８００は外部から供給されたクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００とデータ変換部４００及び信号処理部５００へ供給する。
【００２５】
さらに、補正パラメータエンコーダ９００の詳細について図３５を用いて説明する。図３５において、格子分割部９０１は全画面の歪み補正座標の分割方法を決定する。また、ｎ次多項式係数導出部９０２で格子分割部９０１において分割された各格子線分のすべての歪み補正座標を格子線分上の位置との関数で表現し、求める区分ｎ次多項式で近似する。なお、歪み補正パラメータは歪み補正処理を行うための保持されるデータである。
【００２６】
ここで、ｎ次多項式は、
Ｆ（ｘ） ＝ａ（ｎ） ＊ｘｎ ＋ａ（ｎ−１）＊ｘ（ｎ−１） ＋ａ（ｎ−２） ＊ｘ（ｎ−２） ・・・＋ａ（０）
で表される式であり、区分ｎ次多項式とはある有効範囲で区切られた区間のみをｎ次多項式で表したものである。また、格子線分とは互いの格子線で区切られた格子線（格子点間の線分）である。
【００２７】
なお、参考として、分割方法について図３６、図３７を用いて示す。すなわち、格子分割する場合には、図３６（ａ）に示すように画面分割の対象として画面全体を利用する方法と、レンズの歪みが点対象であることを利用して、図３６（ｂ）に示すように画面の１／４のみを利用する方法があり、これらは歪みの特性によって選択される。
【００２８】
また、格子に分割する方法は主に３通りが提案されている。すなわち、１通り目の均等分割法は、図３７の右上に示すように中心から端までの距離を分割数に応じて均等に分けるものである。また、２通り目の２のべき乗分割法は、図３７右中段に示すように中心から端までの距離を２ のべき乗ごとに分割するものである。なお、この方法２のべき乗分割法は演算処理の軽減することができる。
【００２９】
さらに、３通り目の最適値分割法は、図３７の左上に示す図形の歪みのもっとも大きい画面の上端及び右端の歪み補正座標を利用し図３７の右下に示すように歪み補正座標をＹ軸、中心からの距離をＸ軸にした関数ｈ（ｘ） を作成し、作成された関数を、区分ｎ次多項式を用いてｈ（ｘ） と区分ｎ次多項式との誤差がもっとも小さくなる分割位置を探索する。
【００３０】
なお、ｎ次多項式算出の方法については、図３８に区分２次多項式を例に参考として示す。すなわち、図３８（ ａ） に示すように１つの格子線分を選択する。ここでｘ１ ＝ｘ０ ＋１として、（ｘ０ ，ｈ（ｘ０））、（ｘ１ ，ｈ（ｘ１））、（ｘ２ ，ｈ（ｘ２））の３点を通る区分２次多項式を算出する。ここでは、図３８（ ｂ） 、図３８（ ｃ） に示すように、選択した格子線分の両端ｘ０ 、ｘ２ 間において、ｘ０ からｘ２ に対してｘ１ を１ずつずらしていき、ｘ２ −１の点まで上記の算出を行う。このようにして、全ての区分２次元多項式の中で元の関数との誤差がもっとも小さい区分２次元多項式を算出する。さらに、図３８（ ｄ） に示す全ての格子線分に関して上記処理を行う。
【００３１】
従って、パラメータエンコーダ９００のフローチャートは、図３９に示すようになる。まずステップＳ１１では、対象画面上の全ての画面に対する歪み補正座標を読み込む。そして、ステップＳ１２では格子の分割方法に従い、画面を格子に分割する。また、ステップＳ１４において、格子点間に囲まれる格子線分を１つ選択する。
【００３２】
そして、ステップＳ１５において、選択された格子線分上にあたる全ての点の歪み補正座標をｙ軸、格子線上の距離をｘ軸にとり離散関数を作成して、離散関数を区分ｎ次多項式で近似する。さらに、ステップＳ１８において、区分ｎ次多項式の係数ｎ個をデコードするための歪み補正パラメータとして歪み補正メモリ１０２０に転送する。また、ステップＳ１９において、全ての格子線分に関して歪み補正パラメータの導出が終わっていない場合にはステップＳ１４へ戻る。
【００３３】
このようにして、求められた近似式である区分ｎ次多項式の係数を歪み補正パラメータとして、歪み補正メモリ１０２０に格納する。また、格子情報は補正パラメータデコーダ１０００内部の格子情報バッファ１００１に格納される。
【００３４】
さらに補正パラメータデコーダ１０００は、補正パラメータエンコーダ９００で得られる歪み補正パラメータにより、画面の各点の歪み補正座標を、信号処理部５００の要求にしたがって復元するブロックである。図４０を用いて補正パラメータデコーダ１０００の詳細について説明する。
【００３５】
図４０において、補正パラメータデコーダ１０００には、補正パラメータエンコーダ９００からＸ、Ｙそれぞれの方向の区分位置を示す格子情報が入力される。入力された格子情報は格子情報バッファ１００１に格納される。そして、信号処理部５００より歪み補正を必要とする座標（ｘｔ，ｙｔ ）のリクエストを受けると、格子決定部１００２にて，ターゲットとなる座標（ｘｔ，ｙｔ ）が包含される格子を格子情報バッファ１００１の格子位置情報と比較し算出する。
【００３６】
さらに、求めれた格子を囲む４つの格子線分である区分ｎ 次多項式の各係数の格納されているアドレスを生成し、歪み補正メモリ１０２０にリード要求する。同時に決定された格子位置を正規化部１００３に送る。正規化部１００３では、ターゲットとなる座標（ｘｔ，ｙｔ ）と格子位置、格子情報より、囲まれた格子４線において利用する相対座標（ｘｔ’， ｙｔ’）を算出する。
【００３７】
また、関数変換部１００５にて、歪み補正メモリ１０２０より受け取った関数の係数から平面補間で利用する関数形式に変換する。さらに、平面補間部１００６は関数変換部１００５によって得られた平面関数の係数を用いて平面関数を作成し、それぞれの座標を正規化部１００３より得て所望 の歪み補正座標を計算する。そして、計算結果を信号処理部５００に送る。
【００３８】
従って、補正パラメータデコーダ１０００のフローチャートは、図４１に示すようになる。すなわち、まずステップＳ２１で、初期設定として格子情報を読み込む。さらにステップＳ２２で歪み補正の要求があるまで待機（ＷＡＩＴ）する。
【００３９】
そしてステップＳ２２で歪み補正パラメータのデコード要求があった場合に、ターゲット点の座標を信号処理部５００より受け取る。さらにステップＳ２３でターゲット点の座標が含まれる格子を決定する。またステップＳ２４でターゲット点の各格子線分の中での相対座標を求める。そしてステップＳ２５で、格子として囲まれている４格子線分のうち１線分を選択し、区分ｎ次多項式の歪み補正パラメータ（係数）を読み込む。
【００４０】
また、ステップＳ２７で４格子線分について処理が終わっていなければステップＳ２５へ戻す。さらに、ステップＳ２８で４つの区分ｎ次多項式より作成される平面関数を導出する。そして、ステップＳ２９で、平面関数を用いて、ターゲット点の歪み補正座標を導出し、次のリクエストまでステップＳ２２にて待機（ＷＡＩＴ）する。
【００４１】
なお、ターゲット点とは、信号処理部５００において歪み補正を行う対象の画素である。また、歪み補正座標は各点で異なるため、全てをレジスタで保持するか、レンズ用の関数より回路規模の大きい演算を多用することで得ることができる。
【００４２】
ところが上述の装置においては、メモリ容量が大きく、リアルタイム処理が困難という問題がある。すなわち、メモリ容量が大きいためにハードウェア規模が大きく、低消費電力化が困難であり、コストがかかる。また、光学ズーム位置が変動する場合や、レンズ交換等撮像レンズの歪曲収差の特性が変わった場合に対応が困難という問題点がある．
【００４３】
本発明の目的は、このような問題点を解消することができる画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置を提供することにある。
【００４４】
【課題を解決するための手段】
本発明においては、格子分割手段で決定した格子位置を利用し、格子の交差位置及びパラメータ導出手段より得られたデータを利用して演算に必要なデータを圧縮するようにしたものである。これによれば、必要なメモリの容量を削減することができる。なお、本発明においては、ｘ方向：ｍ分割、ｙ方向：ｎ分割とすると、３ｎ＊ｍ＋ｎ＋ｍ−１のメモリ削減効果が得られる。
【００４５】
すなわち、ｋ次多項式、ｘ方向：ｍ分割、ｙ方向：ｎ分割とすると、図４２より、区分される格子線分ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）である。この場合に、必要な歪み補正パラメータ数は、従来の（ｋ＋１）｛ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）｝から、本発明においては、（ｎ＋１）＊（ｍ＋１）＋（ｋ−１）｛ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）｝に削減でき、３ｎ＊ｍ＋ｎ＋ｍ−１の削減効果を得ることができる。
【００４６】
【発明の実施の形態】
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一または相当部分を示す。
【００４７】
図１は、本発明の実施の形態に係る画像処理システムの構成を示すブロック図である。ただしこの図１に示されるハードウェアの構成は、上述の本願の出願人が先に提案した画像処理システムの構成（図３４）と全く同じである。また、本発明の画像処理装置は主にソフトウェアによって実現されたものであるが、以下の説明では機能ブロックに置き換えて説明する。
【００４８】
図１に示されるように、本発明の実施の形態に係る画像処理システムは、画像処理装置１００と前処理装置１５００及びメディア１４００を備え、画像処理装置１００はレンズ２００と撮像素子３００、データ変換部４００、信号処理部５００、画像メモリ６００、制御マイコン７００、補正パラメータデコーダ９、同期信号生成部１６００、記録部１１００、再生部１２００、及び表示系処理部１３００とを含み、前処理装置１５００は補正パラメータエンコーダ９００と補正パラメータ導出部８００とを含む。
【００４９】
ここで、レンズ２００は被写体１０１からの反射光を集光して撮像素子３００に写影するものであって、単焦点のレンズにとどまらずズーム機能を有するものであっても良い。また、撮像素子３００はＣＣＤやＣＭＯＳセンサなどから構成され、同期信号生成部１６００から供給された内部同期信号に応じて、写影された映像をキャプチャーしアナログ画像信号を生成する。
【００５０】
データ変換部４００は撮像素子３００に接続され、同期信号生成部１６００から供給された内部同期信号に応じて、撮像素子３００により生成されたアナログ画像信号をデジタル画像信号に変換し画像１０２を生成する。信号処理部５００は、制御マイコン７００とデータ変換部４００、画像メモリ６００、補正パラメータデコーダ１０１０及び同期信号生成部１６００に接続される。
【００５１】
そして、信号処理部５００は、制御マイコン７００から供給されたコマンドに応じて、データ変換部４００から供給されるデジタル画像信号を画像メモリ６００へ格納すると共に、補正パラメータデコーダ１０１０から供給される補正量パラメータによって格納された該画像信号に対する補正処理を実行する。そして、信号処理部５００は、該補正により得られた画像信号を表示系処理部１３００及び記録部１１００へ供給する。
【００５２】
一方、補正パラメータ導出部８００は、レンズ２００の歪曲収差に関するデータなどから、全画素の各位置に応じた補正量ベクトルを予め計算する。また、補正パラメータエンコーダ９００は補正パラメータ導出部８００及びユーザインタフェースに接続され、ユーザインタフェースから供給された制御信号Ｌｎ，Ｌｗに応じて、補正パラメータ導出部８００から供給された補正量ベクトルを圧縮（エンコード）し、該圧縮データＰｃを補正パラメータデコーダ１０１０へ供給する。
【００５３】
なお、補正パラメータ導出部８００における演算及び上記エンコードは、共に非常に負荷の大きな演算となるが、別途パーソナルコンピュータ等を用いて計算すればよく、画像処理装置１００によるリアルタイム処理に影響を与えるものでない。また、補正パラメータエンコーダ９００から供給される圧縮データＰｃ等の情報は、歪み補正メモリ１０２０にも格納され、実際の補正パラメータデコーダ１０１０での処理においては、歪み補正メモリ１０２０に格納された情報が使用される。
【００５４】
さらに、制御マイコン７００はユーザインタフェースからの制御信号に応じて、所定の動作を命令するコマンド等を信号処理部５００へ出力すると共に、レンズ２００の位置情報などを補正パラメータデコーダ１０１０へ供給する。
【００５５】
補正パラメータデコーダ１０１０は、補正パラメータエンコーダ９００、歪み補正メモリ１０２０と制御マイコン７００及び信号処理部５００に接続される。そして、補正パラメータデコーダ１０１０は、制御マイコン７００から供給された情報等に応じて、補正パラメータエンコーダ９００または歪み補正メモリ１０２０から供給されたエンコードされた圧縮データＰｃを各画素に対応した補正量パラメータに伸長（デコード）し、該補正量パラメータを信号処理部５００へ供給する。
【００５６】
また、記録部１１００は信号処理部５００に接続され、信号処理部５００により生成された画像信号をテープやフレキシブルディスク、ＤＶＤ（デジタル多用途ディスク）、ハードディスク、メモリなどのメディア（記録媒体）１４００に記録する。なお、信号処理部５００により生成された画像信号は、インターネットやワイヤレス通信等を用いてメディア１４００に記録されるようにすることもできる。
【００５７】
また、再生部１２００はメディア１４００に接続され、メディア１４００に格納された画像信号を再生して表示系処理部１３００へ供給する。表示系処理部１３００は信号処理部５００及び再生部１２００に接続され、信号処理部５００又は再生部１２００から供給された画像信号をモニタに表示する。
【００５８】
なお、同期信号生成部８００は外部から供給されたクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００とデータ変換部４００及び信号処理部５００へ供給する。
【００５９】
さらに、図２は、図１に示された信号処理部５００の構成を示すブロック図である。図２に示されるように、信号処理部５００は水平１次元補間部５０１と垂直１次元補間部５０２とを含む。なお、画像メモリ６００は水平処理用ＦＩＦＯメモリからなる画像メモリ６０１と垂直処理用ラインバッファからなる画像メモリ６０２とを含み、補正パラメータデコーダ１０１０はｘ方向用の画歪補正パラメータデコーダ３３とｙ方向用の画歪補正パラメータデコーダ３４とを含む。
【００６０】
なお、画像メモリ６０２は垂直方向の歪み補正を実現するために必要な最小限のライン数分に渡るデータを格納できるだけの容量を有するものとされるが、この点については後述する。また、通常上記容量は、出力データバッファ３２に供給される出力同期信号の周波数に応じて決定される。
【００６１】
そして、水平１次元補間部５０１はデータ書き込み部２１と演算制御部２２、補間位相・入力データ座標計算部２３、データ取得部２４、補間係数生成部２５、及びデータ補間計算部２６を含み、垂直１次元補間部５０２は演算制御部２７と補間位相・入力データ座標計算部２８、データ取得部２９、補間係数生成部３０、データ補間計算部３１、及び出力データバッファ３２を含む。
【００６２】
ここで、データ書き込み部２１はデータ変換部４００に接続され、演算制御部２２は同期信号生成部８００に接続される。また、補間位相・入力データ座標計算部２３は演算制御部２２及び制御マイコン７００に接続され、データ取得部２４は補間位相・入力データ座標計算部２３と画像メモリ６０１及び画歪補正パラメータデコーダ３３に接続される。また、補間係数生成部２５は画歪補正パラメータデコーダ３３に接続され、データ補間計算部２６はデータ取得部２４及び補間係数生成部２５に接続される。
【００６３】
なお、画像メモリ６０１はデータ書き込み部２１及びデータ取得部２４に接続され、画像メモリ６０２はデータ補間計算部２６及びデータ取得部２９に接続される。また、画歪補正パラメータデコーダ３３は補間位相・入力データ座標計算部２３及びデータ取得部２４に接続される。
【００６４】
一方、演算制御部２７は同期信号生成部１６００に接続され、補間位相・入力データ座標計算部２８は演算制御部２７及び制御マイコン７００に接続される。また、データ取得部２９は補間位相・入力データ座標計算部２８と画像メモリ６０２及び画歪補正パラメータデコーダ３４に接続され、補間係数生成部３０は画歪補正パラメータデコーダ３４に接続される。また、データ補間計算部３１はデータ取得部２９及び補間係数生成部３０に接続され、出力データバッファ３２はデータ補間計算部３１及び同期信号生成部１６００に接続される。
【００６５】
なお、出力データバッファ３２の出力ノードは表示系処理部１３００及び記録部１１００に接続される。また、画歪補正パラメータデコーダ３４は補間位相・入力データ座標計算部２８に接続される。
【００６６】
上記のような構成を有する信号処理部５００では、まず水平１次元補間部５０１が水平方向（ｘ方向）の１次元補間演算を実行し、続いて垂直１次元補間部５０２が垂直方向（ｙ方向）の１次元補間演算を実行する。ここで、信号処理部５００による該演算の概要を、図３を参照しつつ説明する。なお、図３においては、ｘ及びｙ方向にそれぞれ４つ並んだ（４×４）合計１６個からなる画像データを用いて出力画像の各点の画像データが決定される場合が例示される。
【００６７】
そして、図３（ａ）はｘ方向の補正により、歪みを伴う原画像を構成する点Ｂ１〜Ｂ４に対応してそれぞれ点Ｂ１０〜Ｂ４０の画像データが算出されたことを示し、図３（ｂ）はさらにｙ方向の補正により、点Ｂ１０〜Ｂ４０に対応して点ｂ１〜ｂ４の画像データが算出されたことを示す。
【００６８】
より具体的には、例えば水平方向に連続した点Ｂ１を跨ぐ４つの格子点の画像データに所定の補間演算を施すことにより点Ｂ１０の画像データが算出され、同様に点Ｂ２〜Ｂ４に対応してそれぞれ点Ｂ２０〜Ｂ４０の画像データが算出される。
【００６９】
次に、図３（ｂ）に示されるように、例えば点Ｂ３０に対しては、垂直方向に連続した点Ｂ３０を跨ぐ破線内の４つの格子点（点Ｋ２０〜Ｋ２３）における画像データに所定の補間演算を施すことにより点ｂ３の画像データが算出される。また同様に、点Ｂ１０，Ｂ２０，Ｂ４０に対応してそれぞれ点ｂ１，ｂ２，ｂ４の画像データが算出される。
【００７０】
ここで、上記のような水平方向における１次元補間演算は、データ補間計算部２６に含まれる図４に示された水平処理回路４０により実現される。図４に示されるように水平処理回路４０は、ラインメモリ１９００と、ラインメモリ１９００の出力ノードに直列接続された４つのレジスタ１９０１と、各レジスタ１９０１から出力されたデータと対応する補間係数ＣＨｋ（ｋ＝０〜３）とを乗算する４つの乗算回路１９０２と、４つの乗算回路１９０２により得られたデータを加算する加算回路１９０３とを含む。
【００７１】
なお、上記のような垂直方向における１次元補間演算は後述する図２５に示された回路により実現されるが、これについては後に詳しく説明する。
【００７２】
次に、図２に示された信号処理部５００の動作の概要を説明する。まずデータ変換部４００から水平１次元補間部５０１へ入力された画像データは、データ書き込み部２１によって書き込み制御信号と共に画像メモリ６０１へ供給され、該書き込み制御信号に応じて画像メモリ６０１に書き込まれる。
【００７３】
このとき、データ取得部２４は読み出し制御信号を水平処理用の画像メモリ６０１へ供給することにより、画歪補正パラメータデコーダ３３から供給されるｘ方向用の補正量パラメータＸｍに応じて、画像メモリ６０１から水平方向に並ぶ画像データを補間用データとして取得する。
【００７４】
そして、データ補間計算部２６が補間係数生成部２５から供給された補間係数を用いて水平方向の１次元補間演算を実行し、垂直処理用の画像メモリ６０２が該演算結果を格納する。
【００７５】
次に、垂直１次元補間部５０２では、データ取得部２９が画歪補正パラメータデコーダ３４から供給されるｙ方向用の補正量パラメータＹｍに応じて、垂直処理用の画像メモリ６０２から垂直方向に並ぶ画像データを補間用データとして取得する。そして、データ補間計算部３１が補間係数生成部３０から供給された補間係数を用いて垂直方向の１次元補間演算を実行し、出力データバッファ３２は出力同期信号に応じて該演算結果を出力する。
【００７６】
なお、上記のように、水平１次元補間部５０１及び垂直１次元補間部５０２により実行される補間演算は１次元補間演算とされるため、キュービック補間のような４タップのフィルタ、又はより高次タップ数のフィルタを用いることができる。
【００７７】
すなわち、１次元補間演算は上記のように簡易な回路により実現されるため、２次元補間演算では難しい高次タップのフィルタによる演算が容易に実現できることから、より高画質な画像を得ることができる。なお、一般的な画素数変換回路などは１次元補間を実行する回路とされているため、既存の該回路を上記演算に共用しても良い。
【００７８】
また、上記においては、水平方向の１次元補間演算を実行した後に垂直方向の１次元補間演算を実行する実施の形態を説明したが、逆に垂直方向の１次元補間演算を先に実行し、その後に水平方向の１ 次元補間演算を実行するようにしても良い。なお、この場合にはデータ変換部４００から出力される画像データは垂直１ 次元補間部５０２へ入力され、垂直１次元補間演算が施された後に一旦水平処理用の画像メモリ６０１へ格納される。そして、このように画像メモリ６０１に格納された画像データは、さらに水平１ 次元補間部５０１により水平１次元補間演算が施され、完全に歪みが補正されて信号処理部５００の外部へ出力される。
【００７９】
また、上記における演算処理は１系統のデータに適用するのみならず、色信号（ＲＧＢ，ＹＵＶ）に対して系統毎に適用しても良い。さらに、動画像に対して該補間演算を施す場合には、垂直同期信号に同期して該演算を実行すれば良い。
【００８０】
ところで、ビデオカメラやデジタルスチルカメラなどの撮像装置では、いわゆる光学ズーム機能や手ぶれ補正機能が搭載されることが多い。ここで、上記機能により光学ズームを行うと、テレ（ズームアップ）かワイド（ズームダウン）かに応じてレンズの歪み特性が変動する。すなわち、一般的に、ワイドの向きにレンズ２００が移動すると画像に樽歪みが生じ、テレの向きにレンズ２００が移動すると画像に糸巻き型の歪みが発生する。
【００８１】
このとき、該光学ズームに応じた適切な補正ベクトルにより該画像が補正されないときは画質が劣化するため、補正パラメータデコーダ１０１０はレンズの位置に応じた最適な補正量パラメータを選択するものとされる。
【００８２】
具体的には、補正パラメータデコーダ１０１０は制御マイコン７００からレンズ２００の位置を示す情報を受け取り、補正パラメータエンコーダ９００から供給された圧縮データＰｃを該位置情報に応じて選択的にデコードする。
【００８３】
このように、図１に示された画像処理装置１００によれば、レンズ２００の特性が変動するような場合においても、該特性に応じてデコードされた補正量パラメータのみが補間演算に使用されるため、該演算に使用されるデータ量を最小限に抑えることができ、その結果として製造コストを低減することができる。
【００８４】
次に、上記手ぶれ補正機能について説明する。一般的に、手ぶれによる画像の歪みを補正する方法には、アクティブプリズム方式やアクティブレンズ方式のようにレンズ等の位置を制御して該画像を光学的に補正する方法と、アクティブイメージエリア方式のように得られた画像信号に所定の処理を施すことにより電気的に補正する方法とがある。
【００８５】
ここで、光学的な補正方法はレンズ２００の位置に応じてレンズ特性が変動することから、本発明の実施の形態に係る画像処理装置１００で実現するのは難しい。
【００８６】
一方、上記の電気的な補正方法は、角速度センサ等により検知された手ぶれ位置の情報に基づいて、画像全体から一部（有効エリア）の画像を切り出す信号処理により実現される。このとき、該有効エリアの位置等に応じて画像処理の対象が変化するため、該対象に応じて補間演算を施す際に使用する補正ベクトルを変更する必要がある。
【００８７】
そこで、補正パラメータデコーダ１０１０はさらに、制御マイコン７００から手ぶれ位置の情報を受け取り、補正パラメータエンコーダ９００から供給された圧縮データＰｃを該位置情報に応じて選択的にデコードすることによって、手ぶれ補正を実現する。
【００８８】
なお、本実施の形態に係る画像処理装置１００では、レンズ２００を交換したような場合にも同様に、補正パラメータデコーダ１０１０が該新たなレンズ２００等に応じて選択的に該圧縮データＰｃをデコードすることとすれば、部品交換後においても容易に高画質の画像を得ることができる。
【００８９】
次に、図５及び図６のフローチャートを参照しつつ、図２に示された水平１次元補間部５０１の動作を詳しく説明する。まず、演算制御部２２は、同期信号生成部８００から供給される内部同期信号に応じて制御タイミング信号を生成する。そして、補間位相・入力データ座標計算部２３は、演算制御部２２から供給された制御タイミング信号に応じて動作し、信号処理部５００に入力された画像に歪みがない場合における座標系での補間点の座標を小数点付きで計算する。
【００９０】
具体的には、ステップＳ３１において補間位相・入力データ座標計算部２３は、図７（ａ）に示されるように歪み補正され等倍変換された画像上の座標（ｘ，ｙ）として、切り出した画像ＣＩの左上の座標（Ｓｘ，Ｓｙ）を初期設定し、画歪補正パラメータデコーダ３３へ補正パラメータ要求信号Ｒｘを供給する。一方、ステップＳ３２において、画歪補正パラメータデコーダ３３は供給された補正パラメータ要求信号Ｒｘ及び該座標（Ｓｘ，Ｓｙ）に対応する補正量パラメータＸｍを求め、データ取得部２４及び補間係数生成部２５へ供給する。
【００９１】
ここで画歪補正パラメータデコーダ３３は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を内蔵し、該ＲＯＭにｘ座標と補正量パラメータＸｍとの間の対照テーブルを予め格納しておくようにしても良いし、補正量パラメータＸｍをｘ座標のある関数として近似し、該関数を用いて補正量パラメータＸｍを求めても良いが、後に詳しく説明する。
【００９２】
次に、ステップＳ３３において、データ取得部２４は補間位相・入力データ座標計算部２３から供給された座標（Ｘ，Ｙ）に、画歪補正パラメータデコーダ３３から供給された補正量パラメータＸｍに応じた補正量ベクトル（Ｘｍ，０）を加える。これより、図７（ｂ）に示されるように、補正前の原画像ＯＩにおいて上記座標（Ｘ，Ｙ）に対応する点の座標（Ｘ＋Ｘｍ，Ｙ）、すなわち補正ベクトルが求められたことになる。
【００９３】
なお、データ取得部２４の替わりに、画歪補正パラメータデコーダ３３が補間位相・入力データ座標計算部２３から供給されたｘ座標に応じて上記補正ベクトルを求め、該補正ベクトルをデータ取得部２４へ供給するようにしても良い。
【００９４】
このとき、データ取得部２４はｘ座標の整数値がＸｍを加えることで変化したか否かを判断し、変化したと判断した場合にはステップＳ３５へ進み、変化していないと判断した場合にはステップＳ３６へ進む。
【００９５】
ステップＳ３５では、データ取得部２４が、さらに該整数値は２以上変化したか否かを判断し、２以上変化したと判断した場合にはステップＳ３８へ進み、１のみ変化したと判断した場合にはステップＳ３７へ進む。一方、ステップＳ３６では、画像メモリ６０１がデータ取得部２４から供給されたホールド信号Ｓｈに応じて、前サイクルに出力したものと同じ補間用データを再度データ取得部２４へ供給する。
【００９６】
上記において、データ取得部２４は生成された補正ベクトルのｘ成分（Ｘ＋Ｘｍ）の整数値に応じて画像メモリ６０１から読み出すべきデータのアドレスを生成し、読み出し制御信号を画像メモリ６０１に供給することによって該アドレスに応じた補間用データを取得する。
【００９７】
ここで、画像メモリ６０１は先頭アドレスからアドレスを１ずつインクリメントしつつ該アドレスに応じた補間用データを順次出力すると共に、データ取得部２４からホールド信号Ｓｈが供給されることによって、上記インクリメントを一時的に停止する。
【００９８】
なお、画像メモリ６０１はデータ取得部２４から読み出し開始アドレスを受け取り、該読み出し開始アドレスを上記先頭アドレスとした所定数の連続データを出力するものであっても良い。
【００９９】
ここで、上記ホールド信号Ｓｈ及び読み出し開始アドレスは、画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍの整数成分から求められる。
【０１００】
一方、補間係数生成部２５は、画歪補正パラメータデコーダ３３から供給される補正量パラメータＸｍの小数成分を水平補間フィルタの位相として扱い、該小数成分に応じて補間係数を生成する。なお、このような動作は、信号処理部１０に入力される画像１０２がＲＧＢフォーマットの場合に適用される。一方、ＹＵＶフォーマットの場合には輝度信号Ｙのフィルタ位相はＲＧＢフォーマットのフィルタ位相と同じように扱うことができ、色差信号Ｃｂ／Ｃｒについては、補正量パラメータＸｍの小数成分だけでなく整数成分も併用して該位相を算出することができる。
【０１０１】
そして、ステップＳ３７においてデータ補間計算部２６は、データ取得部２４から供給された補間用データと上記補間係数とに応じて１次元補間演算を実行し、ステップＳ３９へ進む。
【０１０２】
ここで、上記の１次元補間演算では、例えばＹＵＶフォーマットにおいては、図７（ｃ）に示されるように補正ベクトル（Ｘ＋Ｘｍ，Ｙ）の近傍から水平方向において８画素の輝度データＤｔが補間用データとして利用され、上記小数成分を位相とした８タップの補間演算が実行される。なお、該補間演算により得られた結果は出力画像の輝度データ等として利用され、これより水平方向の歪みが補正される。
【０１０３】
一方、ステップＳ３８ではデータ取得部２４が補間位相・入力データ座標計算部２３と画歪補正パラメータデコーダ３３及びデータ補間計算部２６へスキップ信号ｓｋを供給し、これら補間位相・入力データ座標計算部２３と画歪補正パラメータデコーダ３３及びデータ補間計算部２６の動作を停止させる。
【０１０４】
ここで、ステップＳ３５においてｘ座標が２以上変化したと判断される場合は、実際に補間演算する中心座標が２画素以上移動する場合を意味するため、データ補間計算部２６による画像メモリ６０２へのデータ出力が中断される。また、実際に補間演算する中心座標が２画素以上移動する場合は、画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍの小数成分（補間位相）は次サイクルまで保持されることから、画歪補正パラメータデコーダ３３の動作が停止される。
【０１０５】
そして、ステップＳ４３では、補間位相・入力データ座標計算部２３がｘ座標に水平方向の拡大縮小パラメータＨａを加算し、ステップＳ３２へ進む。なお、この拡大縮小パラメータＨａは、補正後の画像に対する歪みを持った原画像の水平方向における長さの比により決定され、補正後に画像を水平方向に拡大する場合には１より小さな値とされ、逆に縮小する場合は１より大きな値とされ、等倍の場合には１とされる。
【０１０６】
ステップＳ３９ではデータ補間計算部２６が、得られた画像データを垂直処理用ラインバッファからなる画像メモリ６０２へ格納する。そして、ステップＳ４０では補間位相・入力データ座標計算部２３が現時点のｘ座標を基に１ライン分、すなわち出力水平画素数ＨＳ分の画像データが画像メモリ６０２へ出力されたか否かを判断し、１ライン分のデータが出力されたと判断した場合にはステップＳ４１へ進み、１ライン分のデータが出力されていないと判断した場合にはステップＳ４３へ進む。
【０１０７】
ステップＳ４１では補間位相・入力データ座標計算部２３がｘ座標をＳｘとすると共に、ｙ座標に１を加える。そして、ステップＳ４２では補間位相・入力データ座標計算部２３がさらにｙ座標を基に１フレーム分、すなわち出力垂直ライン数分の画像データが画像メモリ６０２へ出力されたか否かを判断し、１フレーム分のデータが出力されたと判断した場合には動作を終了し、１フレーム分のデータが出力されていないと判断した場合にはステップＳ４３へ進む。
【０１０８】
以上より、水平１次元補間部５０１は、歪みを持った原画像に対して水平方向の１次元補間演算を施すことにより、水平画歪み補正処理と水平方向の拡大・縮小処理を同時に実現し、得られた画像を垂直処理用の画像メモリ６０２に保存する。
【０１０９】
なお、上記水平１次元補間による等倍変換の具体例が図８に示される。ここで、図８は輝度信号に関する変換を示し、図８（ａ）は信号処理部５００に入力された補間用データＤ０〜Ｄ９、図８（ｂ）及び図８（ｆ）は補正量パラメータＸｍ、図８（ｃ）及び図８（ｄ）はそれぞれ補正後の画像を構成するデータのサンプリング位置及び番号を示す。
【０１１０】
また、図８（ｅ）は補間位相・入力データ座標計算部２３から画歪補正パラメータデコーダ３３へ供給されるｘ座標（ｘｔ）を示し、図８（ｇ）はデータ取得部２４により生成される補正ベクトルのｘ座標（補正パラメータ）、図８（ｈ）は補正前の画像における補間用データのアドレス、図８（ｉ）は補間位相をそれぞれ示す。
【０１１１】
例えば、図８に示されるように、補正後の画像においてｘ座標が２．０ の点に位置するデータの補正量パラメータＸｍは１．２５とされる。その結果、補正前の画像における該点の対応点のｘ座標は、該２．０ に補正量パラメータＸｍを加算して３．２５と求められる。このとき、該ｘ座標（３．２５）の整数成分（３）が補正前の画像における該データのアドレスを示し、０．２５が補間位相を示す。従って、補正後の画像におけるｘ座標が２．０ の点の輝度信号は、補正前の画像において３近傍のｘアドレスを有する複数の連続データを対象とし、水平補間フィルタの位相を０．２５とした１ 次元補間演算により求められることになる。
【０１１２】
図９は、図８に示された等倍変換の動作タイミングを示すタイミング図である。ここで、図９（ａ）は演算制御部２２に供給される内部同期信号を示し、図９（ｂ）は演算制御部２２により生成される制御タイミング信号、図９（ｃ）はデータ取得部２４から画像メモリ６０１に供給される読み出し制御信号、図９（ｄ）は画像メモリ６０１からデータ取得部２４へ入力される補間用データ、図９（ｅ）は補間位相・入力データ座標計算部２３から画歪補正パラメータデコーダ３３へ供給されるｘ座標（ｘｔ）をそれぞれ示す。
【０１１３】
また、図９（ｆ）は画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍを示し、図９（ｇ）はデータ取得部２４により生成される補正パラメータ、図９（ｈ）は補正前の画像における補間用データのアドレス、図９（ｉ）は補間位相、図９（ｊ）及び図９（ｋ）はそれぞれデータ取得部２４により生成されるスキップ信号ｓｋ及びホールド信号Ｓｈ、図９（ｌ）は画像メモリ６０１から読み出される２タップのデータ、図９（ｍ）はデータ補間計算部２６から画像メモリ６０２へ出力されるデータ、図９（ｎ）はデータ補間計算部２６で内部生成される出力イネーブル信号をそれぞれ示す。なお、ここでは説明を簡略化するために、一つのデータを得るための補間演算においては、図９（ｌ）に示される２タップのデータが使用されるものとする。
【０１１４】
図９（ｂ）に示されるように、時刻Ｔ１において制御タイミング信号が内部同期信号に応じてハイレベルに活性化されると、図９（ｅ）に示されるように補間位相・入力データ座標計算部２３は０．０ から１．０ づつインクリメントされるｘ座標（ｘｔ）を順次画歪補正パラメータデコーダ３３へ供給する。
【０１１５】
これより、図９（ｆ）に示されるように画歪補正パラメータデコーダ３３は対応する補正量パラメータＸｍを求め、その後にデータ取得部２４は図９（ｇ）に示される補正パラメータを算出する。ここで、図９（ｈ）に示されるように、データ取得部２４は該補正パラメータの整数成分から補正前の画像における補間用データの先頭アドレスを０と特定する。そして、図９（ｃ）及び図９（ｄ）に示されるように、データ取得部２４は活性化された読み出し制御信号と共に、上記のように特定されたアドレス０を画像メモリ６０１へ供給する。
【０１１６】
これより、図９（ｄ）に示されるように、画像メモリ６０１は該先頭アドレス０に対応するデータＤ０から順次補間用データをデータ取得部２４へ連続的に出力する。
【０１１７】
また、図９（ｇ）及び図９（ｊ）に示されるように、時刻Ｔ２においてデータ取得部２４は補正パラメータの整数成分が２以上増加したと判断すると、ハイレベル（Ｈ）のスキップ信号ｓｋを生成して補間位相・入力データ座標計算部２３とデータ補間計算部２６及び画歪補正パラメータデコーダ３３へ供給する。この結果、図９（ｅ）から図９（ｇ）に示されるように時刻Ｔ３から１サイクルの間補正パラメータの生成動作が停止されると共に、図９（ｍ）及び図９（ｎ）に示されるように出力イネーブル信号がロウレベルに不活性化されることによって、データ補間計算部２６から画像メモリ６０２へのデータ出力が停止される。
【０１１８】
また、図９（ｇ）及び図９（ｋ）に示されるように、データ取得部２４は時刻Ｔ４において生成された補正パラメータ（８．７５）の整数成分が１サイクル前の補正パラメータ（８．２５）の整数成分と同じであると判断し、時刻Ｔ４においてホールド信号Ｓｈをハイレベルに活性化させる。これより、図９（ｌ）に示されるように時刻Ｔ５において、データ取得部２４は画像メモリ６０１から前サイクルと同じ２タップの補間用データＤ８，Ｄ９を取得する。
【０１１９】
なお、図１０は図８と同様に水平１次元補間による拡大変換の具体例を示し、図１１は図９と同様に該拡大変換の動作タイミングを示す。この拡大変換の例では、図１０（ｅ）に示されるように、データ番号が２から６近傍までのデータが水平方向の拡大縮小パラメータＨａを０．５ として水平方向に拡大される。ここで、図１０（ｂ）はデータ番号が０から９までの１０個のデータについての補正量パラメータＸｍを示し、図１０（ｆ）は該拡大による補間点、すなわちｘ座標が２．０ から６．５ までにおける０．５ 間隔の１０個の点における補正量パラメータＸｍを示す。
【０１２０】
そして、このような拡大変換においては、図１１（ｇ）に示されるように時刻Ｔ２，Ｔ３，Ｔ４，Ｔ５，Ｔ６において補正パラメータの整数成分が変化しないため、各時刻において１サイクルの間ホールド信号Ｓｈがハイレベルに活性化される。
【０１２１】
次に、図１２及び図１３のフローチャートを参照しつつ、図２に示された垂直１次元補間部５０２の動作を詳しく説明する。まず、演算制御部２７は、同期信号生成部１６００から供給される内部同期信号に応じて制御タイミング信号を生成する。そして、補間位相・入力データ座標計算部２８は、演算制御部２７から供給された制御タイミング信号に応じて動作し、信号処理部５００に入力された画像に歪みがない場合における座標系での補間点の座標を小数点付きで計算する。
【０１２２】
具体的には、ステップＳ５１において補間位相・入力データ座標計算部２８は、図１４（ａ）に示されるように歪み補正され等倍変換された画像上の座標（ｘ，ｙ）として、切り出した画像ＣＩの左上の座標（Ｓｘ，Ｓｙ）を初期設定し、画歪補正パラメータデコーダ３４へ補正パラメータ要求信号Ｒｙを供給する。一方、ステップＳ５２において、画歪補正パラメータデコーダ３４は供給された補正パラメータ要求信号Ｒｙに応じて該ｙ座標に対応する補正量パラメータＹｍを求め、データ取得部２９及び補間係数生成部３０へ供給する。
【０１２３】
ここで画歪補正パラメータデコーダ３４は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を内蔵し、該ＲＯＭにｙ座標と補正量パラメータＹｍとの間の対照テーブルを予め格納しておくようにしても良いし、補正量パラメータＹｍをｙ座標のある関数として近似し、該関数を用いて補正量パラメータＹｍを求めても良いが、後に詳しく説明する。
【０１２４】
次に、ステップＳ５３において、データ取得部２９は補間位相・入力データ座標計算部２８から供給された座標（Ｘ，Ｙ）に、画歪補正パラメータデコーダ３４から供給された補正量パラメータＹｍに応じた補正量ベクトル（０，Ｙｍ）を加える。これより、図１４（ｂ）に示されるように、補正前の原画像ＯＩにおいて上記座標（Ｘ，Ｙ）に対応する点の座標（Ｘ，Ｙ＋Ｙｍ）、すなわち補正ベクトルが求められる。このとき、データ取得部２９は生成された補正ベクトルのｙ成分（Ｙ＋Ｙｍ）の整数値に応じて画像メモリ６０２から読み出すべきデータのアドレスを生成し、メモリ制御信号と共に画像メモリ６０２へ供給する。
【０１２５】
なお、データ取得部２９の替わりに、画歪補正パラメータデコーダ３４が補間位相・入力データ座標計算部２８から供給されたｙ座標に応じて上記補正ベクトルを求め、該補正ベクトルをデータ取得部２９等へ供給するようにしても良い。
【０１２６】
そして、ステップＳ５４においては、垂直処理用の画像メモリ６０２が供給された上記アドレスに応じて、座標Ｘにおいて垂直方向に複数ラインに渡って並ぶ複数の補間用データを同時にデータ取得部２９へ出力する。
【０１２７】
ここで、画像メモリ６０２は、データ取得部２９から読み出しを開始する先頭アドレスを受け取り、該アドレスを１ずつインクリメントすることにより該アドレスに応じた補間用データを順次出力するか、あるいは、アドレスをインクリメントすることなく、受け取った該先頭アドレスから所定数連続したデータを出力するものとされる。ここで、上記先頭アドレスは、画歪補正パラメータデコーダ３４から出力される補正量パラメータＹｍの整数成分から求められる。
【０１２８】
一方、補間係数生成部３０は、画歪補正パラメータデコーダ３４から供給される補正量パラメータＹｍの小数成分を垂直補間フィルタの位相として扱い、該小数成分に応じて補間係数を生成する。
【０１２９】
そして、ステップＳ５５においてデータ補間計算部３１は、データ取得部２９から供給された補間用データと上記補間係数とに応じて１次元補間演算を実行する。なお、上記補間演算は、信号処理部５００に入力される画像１０２がＲＧＢフォーマットの場合にのみ適用されるものでない。すなわち、ＹＵＶフォーマットの場合、輝度信号と色差信号の垂直方向におけるデータ密度が同じ場合には輝度信号のフィルタ位相を色差信号のフィルタ位相としても利用でき、該データ密度が異なる場合には補正量パラメータＹｍの小数成分だけでなく整数成分も併用することにより色差信号のフィルタ位相が算出される。
【０１３０】
また、ＹＵＶフォーマットにおいては、図１４（ｃ）に示されるように補正ベクトル（Ｘ，Ｙ＋Ｙｍ）の近傍から垂直方向において例えば８画素の輝度データＤｔ等が補間用データとして利用され、上記小数成分を位相とした８タップの補間演算が実行される。なお、該補間演算により得られた結果は出力画像の輝度データや色差データとして利用され、これより垂直方向の歪みが補正される。
【０１３１】
次に、ステップＳ５６において、出力データバッファ３２は該補間演算により得られた画像データを出力する。ステップＳ５７では、補間位相・入力データ座標計算部２３が現時点のｘ座標を基に１ライン分、すなわち出力水平画素数ＨＳ分の画像データが出力されたか否かを判断し、１ライン分のデータが出力されたと判断した場合にはステップＳ５８へ進み、１ライン分のデータが出力されていないと判断した場合にはステップＳ６０へ進む。
【０１３２】
ステップＳ５８では、補間位相・入力データ座標計算部２８がｘ座標をＳｘとすると共に、ｙ座標に垂直方向の拡大縮小パラメータＶａを加算する。一方、ステップＳ６０ではｘ座標に水平方向の拡大縮小パラメータＨａを加算し、ステップＳ５２へ戻る。なお、上記拡大縮小パラメータＶａは、補正後の画像に対する歪みを持った原画像の垂直方向における長さの比により決定され、補正後に画像を垂直方向に拡大する場合には１より小さな値とされ、逆に縮小する場合は１より大きな値とされ、等倍の場合には１とされる。
【０１３３】
ステップＳ５９では補間位相・入力データ座標計算部２８がさらにｙ座標を基に１フレーム分、すなわち垂直ライン数（垂直画素数）分の画像データが出力データバッファ３２から出力されたか否かを判断し、１フレーム分のデータが出力されたと判断した場合には動作を終了し、１フレーム分のデータが出力されていないと判断した場合にはステップＳ６０へ進む。
【０１３４】
なお、以上のような垂直方向における１次元補間では、水平方向に関するデータの補間や画像の拡大・縮小を伴わないため、図１４（ａ）に示される水平方向のスキャンにおいては毎サイクル同様な動作が繰り返される。しかしながら、補正量パラメータＹｍが大きいときには、画像メモリ６０２における格納場所に応じて然るべき補間用データを読み出す時間が大きくなる場合がある。このような場合に、データ取得部２９は補間位相・入力データ座標計算部２８及び画歪補正パラメータデコーダ３４へ活性化された待機信号ＷＴを供給し、待機信号ＷＴの該活性期間において補間位相・入力データ座標計算部２８及び画歪補正パラメータデコーダ３４の動作を中断させる。
【０１３５】
以上より、垂直１次元補間部５０２は、歪みを持った原画像に対して垂直方向の１次元補間演算を施すことにより、垂直画歪み補正処理と垂直方向の拡大・縮小処理を同時に実現し、完全に歪みの取れた画像を生成して出力する。なお、上記垂直１次元補間による等倍変換の具体例が図１５に示される。ここで、図１５は輝度信号に関する変換を示すグラフであり、横軸はｘ座標、縦軸は補正されたｙ座標（Ｙ＋Ｙｍ）を示す。
【０１３６】
そして、図１５において、ｙ座標が０でｘ座標が０．０ から１０．０の１０個の点は補正後の画像上における点を示し、矢印は該各点に対応する原画像上の点までの補正量パラメータＹｍを示す。すなわち例えば、補正後の画像において座標（１．０ ，０ ）の点は、補正前の原画像において座標（１．０ ，７．１ ）の点に対応し、補正量パラメータが７．１ で補間位相がその小数成分０．１ とされる。
【０１３７】
次に、図１に示された前処理装置１５００及び補正パラメータデコーダ１０１０について詳しく説明する。最初に、図１６に示されたフローチャートを参照しつつ、前処理装置１５００及び補正パラメータデコーダ１０１０の動作の概要を説明する。
【０１３８】
図１６に示されるように、ステップＳ７１では、補正パラメータエンコーダ９００が補正パラメータ導出部８００から全画素点の補正量ベクトルを読み込む。次に、ステップＳ７２に示されるように、補正パラメータエンコーダ９００は該全画素点の補正量ベクトルを区分毎に分割するための格子線を決定する。なお、該格子線の決定については後に詳しく説明する。
【０１３９】
ステップＳ７３では、補正パラメータエンコーダ９００が該格子線により分割された各区分の補正量ベクトルを圧縮して圧縮データＰｃとして補正パラメータデコーダ１０１０および歪み補正メモリ１０２０へ供給すると共に、ステップＳ７４では撮像素子３００が画像を撮像する。なお、補正量ベクトルの該圧縮については後に詳しく説明する。
【０１４０】
そして、ステップＳ７５ではデータ変換部４００が該撮像により生成されたアナログ画像信号をデジタル画像信号に変換する。ステップＳ７６では、補正パラメータデコーダ１０１０は補正量パラメータの信号処理部５００への読み出しに必要な格子を決定し、ステップＳ７７において信号処理部５００から供給された座標を該格子に応じて正規化する。
【０１４１】
次にステップＳ７８においては、補正パラメータデコーダ１０１０が該格子を利用して補正パラメータエンコーダ９００から供給された圧縮データＰｃをデコードし、得られた補正量パラメータを信号処理部５００へ供給する。そして、ステップＳ７９においては、信号処理部５００が該補正量パラメータを用いて原画像に対する補間演算を施す。ここで、ステップＳ８０において制御マイコン７００が信号処理部５００への原画像の入力を終了させるか否かを判断し、終了させると判断した場合には画像処理装置１００の動作を終了させ、該入力を終了させないと判断した場合にはステップＳ７４へ戻る。
【０１４２】
そして図１７は、図１に示された補正パラメータエンコーダ９００の構成を示すブロック図である。図１７において、格子分割部９１１は画面全点のパラメータを区分毎に分割するための格子線を決定し、格子点上の歪み補正パラメータ（ 歪み補正座標） を歪み補正メモリ１０２０に送る。また、ｎ次多項式係数導出部９０２で格子分割部９１１において分割された各格子線分のすべての歪み補正座標を格子線分上の位置との関数で表現し、求める区分ｎ次多項式で近似する。
【０１４３】
さらに、サンプル点導出部９０３は、ｎ次多項式係数導出部９０２より得られた区分ｎ次多項式から歪み補正パラメータの圧縮を行う。導出された区分ｎ次多項式において、区分ｎ 次多項式の両端をｎ分割した内部点を新たな歪み補正パラメータ（近似された歪み補正座標）として、歪み補正メモリ１０２０に送る。
【０１４４】
従って、区分２次多項式を例にした図１８（ａ）（ｂ）に示す通り、ｈ１（ｘ）， ｈ２（ｘ）， ｈ３（ｘ）， ｈ４（ｘ）の交点は同じ歪み補正座標を持つため共有化でき、歪み補正パラメータ数を削減できる。すなわち、図１８（ｃ）に示すように共有点を考慮すると、交点と格子線分の中点のみ が歪み補正パラメータとなる。
【０１４５】
さらに、図１９に補正パラメータエンコーダ９００のフローチャートを示す。なおこのフローチャートは、先に提案した装置における動作のフローチャート（図３９）を修正したものであり、図中同一符号は同一または相当部分を示す。
【０１４６】
すなわち、図１９において、まずステップＳ１１では、対象画面上の全ての画面に対する歪み補正座標を読み込む。そして、ステップＳ１２では格子の分割方法に従い、画面を格子に分割する。また、ステップＳ１３において、格子線の交点である格子点上のポイントにおける 歪み補正座標をデコードするための補正データとして歪み補正メモリに転送する。さらに、ステップＳ１４において、格子点間に囲まれる格子線分を１つ選択する。
【０１４７】
そして、ステップＳ１５において、選択された格子線分上にあたる全ての点の歪み補正座標をｙ軸，格子線上の距離をｘ軸にとり離散関数を作成して、離散関数を区分ｎ次多項式で近似する。さらにステップＳ１６において、近似された区分ｎ次多項式の有効範囲をｎ分割し、それぞれのｘ値を算出する。またステップＳ１７において、ステップＳ１６で求めたｘの座標に対応する近似された区分ｎ次多項式のｙの値を出する。
【０１４８】
さらに、ステップＳ１８において、ステップＳ１７で求めた有効範囲の両端をのぞくｎ−１点の値を歪み補正座標をデコードするための歪み補正パラメータとして歪み補正メモリ１０２０に転送する。また、ステップＳ１９において、全ての格子線分に関して歪み補正パラメータの導出が終わっていない場合にはステップＳ１４へ戻る。以上の方法よりエンコードする。
【０１４９】
以下に、区分２次多項式の場合を例にとり説明する。すなわち、ｎ次多項式導出部９０２は、格子分割部９１１から得られた格子位置の情報により必要な歪み補正座標を補正パラメータ導出部８００より受け取る。ここで区分２次多項式を用いてデコードするためには、ｎ次多項式導出部９０２において区分２次多項式で最適になる点を選ぶ必要がある。
【０１５０】
ここで、例えば先に提案した装置の説明における図３８に示すようにある格子線分を対象とする。この図３８において、両端の位置と歪み補正座標をそれぞれ、（ｘ０，ｈ（ｘ０）），（ｘ２，ｈ（ｘ２））とする。この時に格子線分の中にある画素すべてに対して（ｘ１，ｈ（ｘ１））として、以下の式よりａ，ｂ，ｃの係数を求める。
【０１５１】
すなわち、
ａ＊ｘ０２ｂ＊ ｘ０ ＋ｃ＝ｖ０
ａ＊ｘ１２ｂ＊ ｘ１ ＋ｃ＝ｖ１
ａ＊ｘ２２ｂ＊ ｘ２ ＋ｃ＝ｖ２
となる。
【０１５２】
従って、対象となっている線分と上記で得られた区分２次多項式とで各点での歪み補正座標の誤差を求める。ここで誤差が最も少なくなる（ｘ１， ｈ（ｘ１ ））が求める点となる。そこで３点から得られるａ，ｂ，ｃから区分２次多項式を作成する。対象とするｘ軸上の点は１点であり、２等分により求める点は（ｘ２−ｘ０）／２ の点となる。
【０１５３】
すなわち、上記の点の歪み補正パラメータを近似式より求めると、
ｈ（ｘ１’） ＝ａ＊［（ ｘ２ −ｘ０）／２］２ ＋ｂ＊［（ ｘ２ −ｘ０）／２］＋ｃ
となる。上記処理を全ての格子線分に関して実行する。このようにして、図１７に示した補正パラメータエンコーダ９００の処理が行われる。
【０１５４】
さらに、補正パラメータデコーダ１０１０の詳細について図２０を用いて説明する。すなわち、補正パラメータデコーダ１０１０は、補正パラメータエンコーダ９１０より得られる歪み補正パラメータより画面の各点の歪み補正座標を信号処理部５００の要求にしたがって復元するブロックである。
【０１５５】
図２０において、補正パラメータデコーダ１０１０は補正パラメータエンコーダ９１０よりｘ，ｙそれぞれの方向の区分位置を示す格子情報が入力される。入力された格子情報は格子情報バッファ１００１に格納される。そして、信号処理部５００より歪み補正を必要とする座標（ｘｔ，ｙｔ ）のリクエストを受けると、格子決定部１００２にてターゲットとなる座標（ｘｔ，ｙｔ ）が包含される格子を格子バッファ１００１の格子位置情報と比較し算出する。
【０１５６】
さらに、求められた格子を囲む４つの格子線分上の歪み補正パラメータの格納されているアドレスを生成し、歪み補正メモリ１０２０にリード要求する。また、同時に決定された格子位置を正規化部１００３に送る。正規化部１００３ではターゲットとなる座標（ｘｔ，ｙｔ ）と格子位置、格子情報より、囲まれた格子４線において利用する相対座標（ｘｔ’， ｙｔ’）を算出する。
【０１５７】
これにより、関数算出部１００４では，得られた各ｎ＋１点の歪み情報を元に区分ｎ次多項式を再構築する。また、関数変換部１００５にて、歪み補正メモリ１０２０より受け取った関数の係数から 平面補間で利用する関数形式に変換する。さらに、平面補間部１００６は関数変換部１００５によって得られた平面関数の係数を用いて平面関数を作成し、それぞれの座標を正規化部１００３より得て所望の歪み補正座標を計算し、計算結果を信号処理部５００に送る。
【０１５８】
このようにして、歪み補正パラメータより画面の各点の歪み補正座標を復元する。さらに、図２１に補正パラメータでコーダ１０１０のフローチャートを示す。なおこのフローチャートは、先に提案した装置における動作のフローチャート（図４１）を修正したものであり、図中同一符号は同一または相当部分を示す。
【０１５９】
すなわち図２１において、まずステップＳ２１で、初期設定として格子情報を読み込む。さらにステップＳ２２で歪み補正の要求があるまで待機（ＷＡＩＴ）する。そしてステップＳ２２で歪み補正パラメータのデコード要求があった場合に、ターゲット点の座標を信号処理部５００より受け取る。さらにステップＳ２３でターゲット点の座標が含まれる格子を決定する。
【０１６０】
また、ステップＳ２４でターゲット点の各格子線分の中での相対座標を求める。そしてステップＳ２５で、格子として囲まれている４格子線分のうち１線選択し、ｎ＋１点の歪み補正パラメータを読み込む。さらに、ステップＳ２６で読み込まれたｎ＋１個の歪み補正パラメータより区分ｎ次多項式を生成する。すなわち、格子として囲まれている４格子線分のうち１線分を選択し、区分ｎ次多項式の歪み補正パラメータ（係数）を読み込む。
【０１６１】
さらに、ステップＳ２７で４格子線分について処理が終わっていなければステップＳ２５へ戻す。また、ステップＳ２８で４つの区分ｎ次多項式より作成される平面関数を導出する。そして、ステップＳ２９で、平面関数を用いて、ターゲット点の歪み補正座標を導出し、次のリクエストまでステップＳ２２にて待機（ＷＡＩＴ）する。以上の方法によりデコードする。
【０１６２】
以下に、区分２次多項式の場合を例にとり、図２２及び図２３を参照して説明する。すなわち、図２２（ａ）の左に示すように、信号処理部５００より得られたアドレス（ｘｔ，ｙｔ ）が当てはまる格子位置を算出する。すなわち、区分２次多項式につき、各格子線分で３点ずつの歪み補正パラメータを読み出す。ただし、図２２の右側の吹き出しに記載しているとおり、格子点上は共有できるので、実際は［４＋（ｎ−１）＊４：ｎ＝２］の８点の読み出しとなる。
【０１６３】
さらに、４格子線分の各線における３点の位置と歪み補正パラメータの関係は図２２（ｂ）に示す通りになる。ここで座標ｘ１’は２等分した中点となるので、それぞれの区分２次多項式と歪み補正パラメータは
ａ＊ｘ０２＋ｂ＊ｘ０ ＋ｃ＝ｈ（ｘ０）
ａ＊ｘ２２＋ｂ＊ｘ２ ＋ｃ＝ｈ（ｘ２）
ａ＊［（ ｘ２ −ｘ０）／２］２ ＋ｂ＊［（ ｘ２ −ｘ０）／２］＋ｃ＝ｈ（ｘ１）’
の式で表される。従って、上記のａ，ｂおよびｃを求めることで、区分２次多項式を再現する。
【０１６４】
すなわち、ｘ０ を基準に正規化すると、上記の式は次になる。
ｘ０ ＝０
ｘ２ ＝格子幅
ｃ＝ｈ（ ｘ０）
ａ＊ｘ２２＋ｂ＊ｘ２ ＋ｃ＝ｈ（ ｘ２）
ａ＊［ｘ２ ／２］２ ＋ｂ＊［ｘ２ ／２］＋ｃ＝ｈ（ ｘ１）’
【０１６５】
よって、図２２（ｃ）に示すように、
ａ＝［｛２＊ｈ（ ｘ２）−４＊ｈ（ ｘ１）’ ＋２＊ｈ（ ｘ０）｝／ｘ２２］
ｂ＝［｛−ｈ（ ｘ２）＋４＊ｈ（ ｘ１）’ −３＊ｈ（ ｘ０）｝／ｘ２ ］
ｃ＝ｈ（ ｘ０）
の区分２次多項式となる。なお、ｘ２ は格子の幅なので、逆数、２乗の逆数は格子情報として保持可能である。
【０１６６】
さらに、関数変換ブロック１００５で、求められた格子のそれぞれの格子線分４線（ｆ（ｘ），ｇ（ｘ），ｍ（ｙ），ｎ（ｙ） ）の関数を求める。なお、ａ，ｂ，ｃ係数は上記の計算で４線とも求める。
【０１６７】
これにより、格子の４格子線分を用いて、ターゲットとなる点の歪み補正座標を求めるが、ここでは、それぞれの関数の係数
ｆ（ｘ） ：ａｆｘ ，ｂｆｘ ，ｃｆｘ
ｇ（ｘ） ：ａｇｘ ，ｂｇｘ ，ｃｇｘ
ｍ（ｙ） ：ａｍｙ ，ｂｍｙ ，ｃｍｙ
ｎ（ｙ） ：ａｎｙ ，ｂｎｙ ，ｃｎｙ
を変形する。
【０１６８】
すなわち、
Ｆ（ｘ） ＝ｆ’（ｘ）＝２＊ａｆｘ ＊ｘ２ ＋（ｂｆｘ −ａｆｘ ）＊ｘ＋ｃｆｘ
Ｇ（ｘ） ＝ｇ’（ｘ）＝２＊ａｇｘ ＊ｘ２ ＋（ｂｇｘ −ａｇｘ ）＊ｘ＋ｃｇｘ
Ｍ（ｙ） ＝ｍ’（ｙ）＝２＊ａｍｙ ＊ｙ２ ＋（ｂｍｙ −ａｍｙ ）＊ｙ＋ｃｍｙ
Ｎ（ｙ） ＝ｎ’（ｙ）＝２＊ａｎｙ ＊ｙ２ ＋（ｂｎｙ −ａｎｙ ）＊ｙ＋ｃｎｙ
となる。
【０１６９】
ここで、正規化ブロック１００３は、格子情報からｘ＿ｔ、ｙ＿ｔをそれぞれ、
ｘｔ’＝ｘｔ −ｘ０
ｙｔ’＝ｙｔ −ｙ０
に変換し、変換したｘｔ、ｙｔを上記の関数に代入する。そして、平面補間ブロック１００５で、求めた新たな４関数とｘｔ’、ｙｔ’により、ターゲット点の歪み補正座標を求める。
【０１７０】
すなわち、対象点の歪み補正座標Ｖｔａｒｇｅｔは、
Ｖｔａｒｇｅｔ
＝（ １／２） ＊｛（ １−ｙｔ’） ＊Ｆ（ｘｔ’） ＋ｙｔ’＊Ｇ（ｘｔ’）
＋（ １−ｘｔ’） ＊Ｎ（ｙｔ’） ＋ｘ＿ｔ’＊Ｍ（ｙｔ’） ｝
で計算される。このようにして、図２０に示した補正パラメータデコーダ１０１０の処理が行われる。なお、この様子を図２３に示す。
【０１７１】
さらに、図２４は、図２に示された画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１の構成を示す図である。なお、図２４は、画像処理装置２が（４×４）タップの１６画素の画像データを利用した補間演算によって各画素の画像データを生成する場合の構成を示す。
【０１７２】
図２４に示されるように、画像メモリ６０２はセレクタ６７と、垂直タップ数より１だけ大きな５つのメモリ、すなわちＡメモリ７１とＢメモリ７２、Ｃメモリ７３、Ｄメモリ７４、及びＥメモリ７５を含み、データ取得部２９は制御部８０とＡバッファ８１、Ｂバッファ８２、Ｃバッファ８３、Ｄバッファ８４、Ｅバッファ８５、サイクル分割部５６０、及びセレクタ９６〜９９を含む。なお、サイクル分割部５６０はセレクタ９１〜９５を含む。
【０１７３】
ここで、データ取得部２９には、上記のように垂直タップ数より１だけ多い５つのバッファ（Ａバッファ８１からＥバッファ８５）及び対応する５つのセレクタ９１〜９５と、垂直タップ数である４つのセレクタ９６〜９９が含まれることになる。
【０１７４】
また、データ補間計算部３１は４つのレジスタ９０１及び乗算回路９０２と加算回路４３を含む。
【０１７５】
上記において、セレクタ６７はデータ補間計算部２６及び制御部８０に接続され、Ａメモリ７１とＢメモリ７２、Ｃメモリ７３、Ｄメモリ７４、及びＥメモリ７５はセレクタ６７に接続される。
【０１７６】
また、制御部８０は画歪補正パラメータデコーダ３４に接続され、Ａバッファ８１はＡメモリ７１に接続され、Ｂバッファ８２はＢメモリ７２に接続される。同様に、Ｃバッファ８３はＣメモリ７３に接続され、Ｄバッファ８４はＤメモリ７４に接続され、Ｅバッファ８５はＥメモリ７５に接続される。
【０１７７】
また、セレクタ９１はＡバッファ８１に接続され、セレクタ９２はＢバッファ８２に接続され、セレクタ９３はＣバッファ８３に接続される。同様に、セレクタ９４はＤバッファ８４に接続され、セレクタ９５はＥバッファ８５に接続される。また、セレクタ９６〜９９はそれぞれ５つのセレクタ９１〜９５に接続される。なお、セレクタ９１〜９９はそれぞれ制御部８０により制御される。
【０１７８】
また、セレクタ９６〜９９にはそれぞれレジスタ９０１が接続され、各レジスタ９０１には乗算回路９０２が接続される。そして、４つの乗算回路９０２は一つの加算回路４３が接続される。
【０１７９】
ここで、上記のように、データ補間計算部２６により水平方向の補間処理がなされたデータは画像メモリ６０２へ書き込まれ、同時にデータ取得部２９により画像メモリ６０２から取得されたデータに垂直方向の補間処理が施されるため、処理待ち時間としてのフレーム遅延を生じさせることなく画歪み補正が実行される。
【０１８０】
以下において、図２４に示された画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１の動作を詳しく説明する。まず、水平方向の補間処理がなされたデータはデータ補間計算部２６から順次セレクタ６７へ供給されるが、該データは制御部８０により制御されるセレクタ６７によってＡメモリ７１からＥメモリ７５までの５つのメモリへ振り分けられて格納される。
【０１８１】
そして、Ａメモリ７１に格納されたデータはＡバッファ８１を介してセレクタ９１へ供給され、Ｂメモリ７２に格納されたデータはＢバッファ８２を介してセレクタ９２へ供給される。同様に、Ｃメモリ７３に格納されたデータはＣバッファ８３を介してセレクタ９３へ供給され、Ｄメモリ７４に格納されたデータはＤバッファ８４を介してセレクタ９４へ供給され、Ｅメモリ７５に格納されたデータはＥバッファ８５を介してセレクタ９５へ供給される。
【０１８２】
ここで、サイクル分割部５６０に含まれた各セレクタ９１〜９５は、制御部８０による制御に応じて、Ａバッファ８１からＥバッファ８５へ例えば２画素単位で読み出されたデータを分割し、１サイクル毎に１画素分のデータをセレクタ９６〜９９へ供給する。
【０１８３】
そして、各セレクタ９６〜９９はセレクタ９１〜９５から供給されたデータを制御部８０による制御により選択的にレジスタ９０１へ出力する。これより、垂直方向の補間処理に必要なタップ数である４つのデータが、選択的にデータ補間計算部３１へ供給されることになる。
【０１８４】
さらに、レジスタ９０１に格納された各データは、各乗算回路９０２において補間係数Ｃ０〜Ｃ３との間で積がとられ、該４つの積が加算回路４３で加算されることにより垂直方向の補間演算が施され、出力データバッファ３２へ供給される。
【０１８５】
ここで、図２５を参照しつつ、本発明の実施の形態に係る画像処理装置２の動作を説明する。なお、図２５（ａ）〜（ｄ）においては、１フレーム分の画像データが示される。
【０１８６】
まず図２５（ａ）に示されるように、時刻Ｔ１から信号処理部１０へ画像データが入力されると、時刻Ｔ２から水平１次元補間部５０１により水平方向の補間処理が施される。そして、図２５（ｃ）に示されるように、水平方向の補間処理が施された画像は時刻Ｔ２以降において、画像メモリ６０２に含まれたＡメモリ７１からＥメモリ７５へ順次書き込まれる。
【０１８７】
ここで、例えば奇数サイクルにおいて画像メモリ６０２からデータ取得部２９へ垂直処理用のデータが読み出され、偶数サイクルにおいてデータ補間計算部２６から水平処理がなされたデータが画像メモリ６０２へ書き込まれることによって、２サイクル周期による歪み補正処理が実行される。
【０１８８】
このとき、図２６に示されるように、画像１０２における水平ラインの最大歪み曲線１０４における垂直方向の最大歪み量に応じたライン数分のデータＤｍｘが画像メモリ６０２に格納された時刻Ｔ３から、各ラインの垂直方向における補間演算が順次実行される。従って、該補間演算における遅延時間は時刻Ｔ１から時刻Ｔ３までとされ、１フレーム分のデータに水平方向の補間処理が施される時間（フレーム遅延）を待ち時間とする必要がないため、リアルタイムに画歪み補正を実行することができる。
【０１８９】
また、全体として画像メモリ６０２は、垂直方向においては上記最大歪み量に対応したライン数と垂直処理用タップ数（例えば４タップ）を加算した数、水平方向においては信号処理部１０へ入力された画像の水平方向画素数分のデータを記憶するメモリ容量を有する。なお、図２４に示されたＡメモリ７１からＥメモリ７５までの５つのメモリは例えば同容量とされ、各メモリのポート幅は例えば３２ビットとされる。
【０１９０】
ここで、画像１０２の領域１０２Ｐにおけるデータを画像メモリ６０２へ格納する方法が図２７に示される。なお、図２７において「Ａ」から「Ｅ」は、それぞれ図２４に示された「Ａメモリ」７１から「Ｅメモリ」７５を意味する。また、上記のように各メモリのポート幅が３２ビットで、１画素分のデータがＹ信号（輝度情報）とＣ信号（色差情報）を含む１６ビットからなる場合には、セレクタ６７は２画素分のデータを単位として該データをＡメモリ７１からＥメモリ７５へ順次格納する。
【０１９１】
すなわちセレクタ６７は、図２７に示されるように、まず０ライン目の０から２３画素目までのデータをＡメモリ７１に格納し、次に１ライン目の０から２３画素目までのデータをＢメモリ７２に格納する。また同様に、セレクタ６７は２ライン目の０から２３画素目までのデータをＣメモリ７３に格納し、３ライン目の０から２３画素目までのデータをＤメモリ７４に格納し、４ライン目の０から２３画素目までのデータをＥメモリ７５に格納する。なお、セレクタ６７は、以下同様に各ラインのデータをライン毎に順次Ａメモリ７１からＥメモリ７５へ格納する。
【０１９２】
以下において、データ取得部２９に垂直タップ数より１多い数のバッファが必要とされる理由を説明する。歪みを持った画像１０２を局所的に見た場合、図２８（ａ）〜（ｃ）のパターン１から３に示されるように、水平方向に隣接する２画素間においては画像データが垂直方向に２画素以上移動していることはない。
【０１９３】
すなわち、図２８（ａ）のパターン１に示されるように水平方向に隣接する画素間で該画像データは垂直方向に全く移動しないか、図２８（ｂ）や図２８（ｃ）のパターン２やパターン３に示されるように垂直方向に１画素分移動するものの、図２９（ａ）や図２９（ｂ）に示されるように、水平方向に隣接する画素間で該画像データが垂直方向に２画素分以上移動することはない。
【０１９４】
ここで、該垂直４タップ処理においては、図３０に示されるように中心画素Ｉｃに対して垂直方向に隣接する３つの周辺画素Ｉｐを含めた４画素のデータを用いてフィルタリング処理が実行される。
【０１９５】
このとき、図３１に示されるように、画像メモリ６０２に含まれたＡメモリ７１からＥメモリ７５の５つのメモリは、例えばそれぞれ３２ビットのポートを持つものとされ、この場合には１回のアクセスにより該各ポートを介して１６ビットの画像データが２画素分出力される。
【０１９６】
すなわち、図３１に示されるように、１回のアクセスによってＡメモリ７１からは各々１６ビットからなる画像データＩａ０，Ｉａ１が２画素単位で読み出され、Ｂメモリ７２からは各々１６ビットからなる画像データＩｂ０，Ｉｂ１が２画素単位で読み出され、Ｃメモリ７３からは各々１６ビットからなる画像データＩｃ０，Ｉｃ１が２画素単位で読み出される。また同様に、Ｄメモリ７４からは各々１６ビットからなる画像データＩｄ０，Ｉｄ１が２画素単位で読み出され、Ｅメモリ７５からは各々１６ビットからなる画像データＩｅ０，Ｉｅ１が２画素単位で読み出される。
【０１９７】
このように、隣接する２画素分の画像データを垂直方向にタップ数より１だけ多く読み出すことによって、隣接画素間の変化が図２８（ａ）から図２８（ｃ）に示されるパターン１からパターン３までのいずれであっても、各列において同じ処理が実行される。すなわち例えば図３１の斜線部に示されるように、各列において中心画素Ｉｃの１つ上の画素から２つ下の画素まで垂直方向に並ぶ４つの画素における画像データを対象としたフィルタリング処理を実行することにより、水平方向に隣接する２画素の画像データがそれぞれ生成される。
【０１９８】
なお、隣接画素間の該変化が図２８（ａ）から図２８（ｃ）に示されたパターン１からパターン３のどれにあたるかは、制御部８０により該フィルタリング処理前に予め識別される。
【０１９９】
より具体的には、制御部８０が画歪補正パラメータデコーダ３４から水平方向に隣接する２列における２つの中心画素Ｉｃのｙ座標を受け、該ｙ座標の差に応じてセレクタ９６〜９９を制御することにより、図３１の斜線部に示された画像データがフィルタリング処理の対象として選択的にデータ補間計算部３１へ供給される。
【０２００】
なお、上記においては例として４タップのフィルタリング処理を説明したが、本発明の実施の形態に係る画像処理方法は、画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１をタップ数に応じた構成とし、画像メモリ６０２に対するデータの入出力サイクルを変更することによって４タップ以外のフィルタリング処理にも適用することができることはいうまでもない。
【０２０１】
また、本発明は、画像処理方法を適用した撮像装置、表示装置にも適用可能であり、表示装置においては、ミスコンバージェンス補正などへも充分に適用できる。
【０２０２】
以上より、本発明の実施の形態に係る画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置によれば、撮像された光学歪みを伴う画像に対して水平及び垂直方向に１次元補間演算が施され、補正ベクトルが効率的に利用されるため、静止画像だけでなくリアルタイム処理が必要な動画像に対する歪み補正が簡易な構成により実現され、歪みの無い高画質な画像を容易に得ることができる。
【０２０３】
また、本発明の実施の形態に係る画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置によれば、信号処理によりリアルタイムに画像の歪みを補正することができるため、レンズ設計の自由度を高めることができ、レンズの小型化やレンズの低コスト化を容易に実現することができる。
【０２０４】
さらに、本発明の実施の形態に係る画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置によれば、必要なメモリの容量を削減することができる。なお、本発明においては、ｘ方向：ｍ分割、ｙ方向：ｎ分割とすると、３ｎ＊ｍ＋ｎ＋ｍ−１のメモリ削減効果が得られる。
【０２０５】
すなわち、ｋ次多項式、ｘ方向：ｍ分割、ｙ方向：ｎ分割とすると、図４２より、区分される格子線分ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）である。この場合に、必要な歪み補正パラメータ数は、従来の（ｋ＋１）｛ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）｝から、本発明においては、（ｎ＋１）＊（ｍ＋１）＋（ｋ−１）｛ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）｝に削減でき、３ｎ＊ｍ＋ｎ＋ｍ−１の削減効果を得ることができる。
【０２０６】
【発明の効果】
本発明に係る画像処理装置と画像処理システム及び画像処理方法によれば、低コストでリアルタイムに原画像の歪みを補正することができるため、高品質な画像を容易に得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】図１に示された信号処理部の構成を示すブロック図である。
【図３】図２に示された信号処理部により実行される１次元補間演算の概要を説明する図である。
【図４】図２に示されたデータ補間計算部に含まれる水平処理回路の構成を示す図である。
【図５】図２に示された水平１次元補間部の動作を示す第一のフローチャート図である。
【図６】図２に示された水平１次元補間部の動作を示す第二のフローチャート図である
【図７】図５及び図６に示された動作を説明する図である。
【図８】水平１次元補間における等倍変換の一例を示す図である。
【図９】図８に示された等倍変換の動作タイミングを示すタイミング図である。
【図１０】水平１次元補間における水平拡大変換の一例を示す図である。
【図１１】図１０に示された水平拡大変換の動作タイミングを示すタイミング図である。
【図１２】図２に示された垂直１次元補間部の動作を示す第一のフローチャート図である。
【図１３】図２に示された垂直１次元補間部の動作を示す第二のフローチャート図である。
【図１４】図１２及び図１３に示された動作を説明する図である。
【図１５】垂直１次元補間における垂直拡大変換の一例を示す図である。
【図１６】図１に示された前処理装置及び補正パラメータデコーダの動作の概要を示すフローチャート図である。
【図１７】図１に示された補正パラメータエンコーダの構成を示すブロック図である。
【図１８】図１７に示された格子分割部の動作の概要を説明する図である。
【図１９】最適分割の方法を示す第一のフローチャート図である。
【図２０】最適分割の方法を示す第二のフローチャート図である。
【図２１】図１９及び図２０に示された動作を説明する図である。
【図２２】図２に示されたｘ方向用の画歪補正パラメータデコーダの構成を示すブロック図である。
【図２３】図２２に示された補正パラメータデコーダの動作を説明する図である。
【図２４】図２に示された画像メモリとデータ取得部及びデータ補間計算部の構成を示す図である。
【図２５】水平１次元補間処理及び垂直１次元補間処理のタイミングを示すタイミング図である。
【図２６】水平１次元補間及び垂直１次元補間を実行するために必要なメモリ容量を説明する図である。
【図２７】図２４に示された画像メモリへのデータ格納方法を説明する図である。
【図２８】隣接画素における垂直方向の取り得る変化パターンを示す図である。
【図２９】隣接画素における垂直方向の有り得ない変化パターンを示す図である。
【図３０】垂直４タップ処理を説明する図である。
【図３１】図２４に示された画像メモリからのデータ読み出し方法を説明する図である。
【図３２】従来における画像処理装置の構成を示すブロック図である。
【図３３】図３２に示された画像処理装置の動作の概要を示すフローチャート図である。
【図３４】先に提案した画像処理システムの構成を示すブロック図である。
【図３５】図３４に示された補正パラメータエンコーダの構成を示すブロック図である。
【図３６】図３５に示された格子分割部の動作の概要を説明する図である。
【図３７】図３５に示された格子分割部の動作の概要を説明する図である。
【図３８】図３５に示された格子分割部の動作の概要を説明する図である。
【図３９】画歪み補正の方法を示すフローチャート図である。
【図４０】図３４に示されたｘ方向用の画歪補正パラメータデコーダの構成を示すブロック図である。
【図４１】補正パラメータデコーダの動作を説明するフローチャート図である。
【図４２】図４０に示された補正パラメータデコーダの動作を説明する図である。
【符号の説明】
１００…画像処理装置、２００…レンズ、３００…撮像素子、４００…データ変換部、５００…信号処理部、６００…画像メモリ、７００…制御マイコン、８００…補正パラメータ導出部、９００…補正パラメータエンコーダ、９０２…ｎ次多項式導出部、９０３…サンプル点導出部、９１１…格子分割部、１０１０…補正パラメータデコーダ、１１００…記録部、１２００…再生部、１３００…表示系処理部、１４００…メディア、１５００…前処理装置、１６００…同期信号生成部
【発明の属する技術分野】
本発明はビデオカメラやデジタルスチルカメラ、銀塩カメラなどに用いられる画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置に関するものである。
【０００２】
【従来の技術】
従来より、ビデオカメラやデジタルスチルカメラ、あるいは銀塩カメラなどにより撮像された画像においては、撮像レンズの歪曲収差特性の影響により歪みが生じていた。ここで、高精度で高性能なレンズにおいて該歪みは目立たないが、コストが低いレンズを使用する場合や光学ズームレンズを使用する場合には、画歪みの影響を完全に回避することは難しい。
【０００３】
そこで、近年、該歪みを信号処理により補正する画像処理装置が提案されてきている。図３２は、従来における画像処理装置１００の構成を示す。図３２に示されるように従来の画像処理装置１００は、レンズ２００と撮像素子３００、データ変換部４００、信号処理部５００、画像メモリ６００、制御マイコン７００、同期信号生成部８００、補正データテーブル１０００、記録部１１００、再生部１２００、及び表示系処理部１３００とを備える。
【０００４】
ここで、図３３のフローチャートを参照しつつ、上記画像処理装置１００の動作の概要を説明する。まずステップＳ１では、レンズ２００及び撮像素子３００を介して被写体１０１に対するアナログ画像信号を入力する。そして、ステップＳ２ではデータ変換部４００で該アナログ画像信号をデジタル画像信号に変換し、画像１０２を生成する。
【０００５】
次に、ステップＳ３において、信号処理部５００は補正データテーブル１０００に格納された歪み補正ベクトル（以下、単に「補正ベクトル」ともいう）を用いて歪んだ画像１０２に対し補正演算を施す。そして、ステップＳ４において、制御マイコン７００は画像の入力を終了するか否かを判断し、終了しないと判断した場合にはステップＳ１へ戻る。
【０００６】
以上が、図３２に示された従来の画像処理装置１００の動作の概要であるが、以下において該動作を詳しく説明する。
【０００７】
レンズ２００は被写体１０１からの反射光を集光して撮像素子３００に写影する。また、撮像素子３００はＣＣＤやＣＭＯＳセンサなどから構成され、写影された映像をキャプチャーして、アナログの画像信号を生成する。また、データ変換部４００は撮像素子３００から供給された該アナログ信号をデジタルの画像信号に変換し、画像１０２を生成する。一方、制御マイコン７００は外部のユーザインタフェースへの入力に応じて、所定の動作を命令するコマンドを発行する。
【０００８】
また、信号処理部５００は制御マイコン７００から供給されたコマンドに応じてデータ変換部４００により生成されたデジタル画像信号を画像メモリ６００へ格納する。そして、信号処理部５００は補正データテーブル１０００に予め記録された全画素に対応する補正ベクトルを該テーブルから読み出し、該補正情報に応じて画像メモリ６００から必要な画像信号を取得した後、該画像信号につき２次元補間方式による幾何学補正を実行することによって、データ変換部４００から出力された画像１０２の歪みを補正する。
【０００９】
ここで、信号処理部５００において生成された画像信号は、表示系処理部１３００へ供給されることにより該画像がモニタに表示され、あるいは記録部１１００へ供給されることにより外部のテープやディスクあるいはメモリなどのメディア１４００に記録される。また、メディア１４００に記録された画像信号は、再生部１２００により再生され、該再生信号が表示系処理部１３００へ供給されることにより該再生画像１０３がモニタに表示される。
【００１０】
さらに、同期信号生成部１６００は、外部から供給されるクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００とデータ変換部４００及び信号処理部５００へ供給する。
【００１１】
このようにして、歪みを信号処理により補正することができる。なお、同種の技術分野においては、下記の文献が公開されている。
【００１２】
【特許文献１】
特開平５−１７２５３１号公報
【特許文献２】
特開平６−１６５０２４号公報
【特許文献３】
特開平６−１８１５３０号公報
【００１３】
【発明が解決しようとする課題】
ところで、本願の出願人は、先に特願２００２−２３９８６５号を出願している。すなわち、図３４には、本願の出願人が先に出願した画像処理システムの構成を示す。なお、図中同一符号は同一または相当部分を示す。
【００１４】
図３４に示されるように、先の出願に係る画像処理システムは、画像処理装置１００と前処理装置１５００及びメディア１４００を備え、画像処理装置１００はレンズ２００と撮像素子３００、データ変換部４００、信号処理部５００、画像メモリ６００、制御マイコン７００、補正パラメータデコーダ９、同期信号生成部１６００、記録部１１００、再生部１２００、及び表示系処理部１３００とを含み、前処理装置１５００は補正パラメータエンコーダ９００と補正パラメータ導出部８００とを含む。
【００１５】
ここで、レンズ２００は被写体１０１からの反射光を集光して撮像素子３００に写影するものであって、単焦点のレンズにとどまらずズーム機能を有するものであっても良い。また、撮像素子３００はＣＣＤやＣＭＯＳセンサなどから構成され、同期信号生成部１６００から供給された内部同期信号に応じて、写影された映像をキャプチャーしアナログ画像信号を生成する。
【００１６】
データ変換部４００は撮像素子３００に接続され、同期信号生成部１６００から供給された内部同期信号に応じて、撮像素子３００により生成されたアナログ画像信号をデジタル画像信号に変換し画像１０２を生成する。信号処理部５００は、制御マイコン７００とデータ変換部４００、画像メモリ６００、補正パラメータデコーダ１０１０及び同期信号生成部１６００に接続される。
【００１７】
そして、信号処理部５００は、制御マイコン７００から供給されたコマンドに応じて、データ変換部４００から供給されるデジタル画像信号を画像メモリ６００へ格納すると共に、補正パラメータデコーダ１０１０から供給される補正量パラメータによって格納された該画像信号に対する補正処理を実行する。そして、信号処理部５００は、該補正により得られた画像信号を表示系処理部１３００及び記録部１１００へ供給する。
【００１８】
一方、補正パラメータ導出部８００は、レンズ２００の歪曲収差に関するデータなどから、全画素の各位置に応じた補正量ベクトルを予め計算する。また、補正パラメータエンコーダ９００は補正パラメータ導出部８００及びユーザインタフェースに接続され、ユーザインタフェースから供給された制御信号Ｌｎ，Ｌｗに応じて、補正パラメータ導出部８００から供給された補正量ベクトルを圧縮（エンコード）し、該圧縮データＰｃを補正パラメータデコーダ１０１０へ供給する。
【００１９】
なお、補正パラメータ導出部８００における演算及び上記エンコードは、共に非常に負荷の大きな演算となるが、別途パーソナルコンピュータ等を用いて計算すればよく、画像処理装置１００によるリアルタイム処理に影響を与えるものでない。また、補正パラメータエンコーダ９００から供給される圧縮データＰｃ等の情報は、歪み補正メモリ１０２０にも格納され、実際の補正パラメータデコーダ１０１０での処理においては、歪み補正メモリ１０２０に格納された情報が使用される。
【００２０】
さらに、制御マイコン７００はユーザインタフェースからの制御信号に応じて、所定の動作を命令するコマンド等を信号処理部５００へ出力すると共に、レンズ２００の位置情報などを補正パラメータデコーダ１０１０へ供給する。
【００２１】
補正パラメータデコーダ１０１０は、補正パラメータエンコーダ９００、歪み補正メモリ１０２０と制御マイコン７００及び信号処理部５００に接続される。そして、補正パラメータデコーダ１０１０は、制御マイコン７００から供給された情報等に応じて、補正パラメータエンコーダ９００または歪み補正メモリ１０２０から供給されたエンコードされた圧縮データＰｃを各画素に対応した補正量パラメータに伸長（デコード）し、該補正量パラメータを信号処理部５００へ供給する。
【００２２】
また、記録部１１００は信号処理部５００に接続され、信号処理部５００により生成された画像信号をテープやフレキシブルディスク、ＤＶＤ（デジタル多用途ディスク）、ハードディスク、メモリなどのメディア（記録媒体）１４００に記録する。なお、信号処理部５００により生成された画像信号は、インターネットやワイヤレス通信等を用いてメディア１４００に記録されるようにすることもできる。
【００２３】
また、再生部１２００はメディア１４００に接続され、メディア１４００に格納された画像信号を再生して表示系処理部１３００へ供給する。表示系処理部１３００は信号処理部５００及び再生部１２００に接続され、信号処理部５００又は再生部１２００から供給された画像信号をモニタに表示する。
【００２４】
なお、同期信号生成部８００は外部から供給されたクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００とデータ変換部４００及び信号処理部５００へ供給する。
【００２５】
さらに、補正パラメータエンコーダ９００の詳細について図３５を用いて説明する。図３５において、格子分割部９０１は全画面の歪み補正座標の分割方法を決定する。また、ｎ次多項式係数導出部９０２で格子分割部９０１において分割された各格子線分のすべての歪み補正座標を格子線分上の位置との関数で表現し、求める区分ｎ次多項式で近似する。なお、歪み補正パラメータは歪み補正処理を行うための保持されるデータである。
【００２６】
ここで、ｎ次多項式は、
Ｆ（ｘ） ＝ａ（ｎ） ＊ｘｎ ＋ａ（ｎ−１）＊ｘ（ｎ−１） ＋ａ（ｎ−２） ＊ｘ（ｎ−２） ・・・＋ａ（０）
で表される式であり、区分ｎ次多項式とはある有効範囲で区切られた区間のみをｎ次多項式で表したものである。また、格子線分とは互いの格子線で区切られた格子線（格子点間の線分）である。
【００２７】
なお、参考として、分割方法について図３６、図３７を用いて示す。すなわち、格子分割する場合には、図３６（ａ）に示すように画面分割の対象として画面全体を利用する方法と、レンズの歪みが点対象であることを利用して、図３６（ｂ）に示すように画面の１／４のみを利用する方法があり、これらは歪みの特性によって選択される。
【００２８】
また、格子に分割する方法は主に３通りが提案されている。すなわち、１通り目の均等分割法は、図３７の右上に示すように中心から端までの距離を分割数に応じて均等に分けるものである。また、２通り目の２のべき乗分割法は、図３７右中段に示すように中心から端までの距離を２ のべき乗ごとに分割するものである。なお、この方法２のべき乗分割法は演算処理の軽減することができる。
【００２９】
さらに、３通り目の最適値分割法は、図３７の左上に示す図形の歪みのもっとも大きい画面の上端及び右端の歪み補正座標を利用し図３７の右下に示すように歪み補正座標をＹ軸、中心からの距離をＸ軸にした関数ｈ（ｘ） を作成し、作成された関数を、区分ｎ次多項式を用いてｈ（ｘ） と区分ｎ次多項式との誤差がもっとも小さくなる分割位置を探索する。
【００３０】
なお、ｎ次多項式算出の方法については、図３８に区分２次多項式を例に参考として示す。すなわち、図３８（ ａ） に示すように１つの格子線分を選択する。ここでｘ１ ＝ｘ０ ＋１として、（ｘ０ ，ｈ（ｘ０））、（ｘ１ ，ｈ（ｘ１））、（ｘ２ ，ｈ（ｘ２））の３点を通る区分２次多項式を算出する。ここでは、図３８（ ｂ） 、図３８（ ｃ） に示すように、選択した格子線分の両端ｘ０ 、ｘ２ 間において、ｘ０ からｘ２ に対してｘ１ を１ずつずらしていき、ｘ２ −１の点まで上記の算出を行う。このようにして、全ての区分２次元多項式の中で元の関数との誤差がもっとも小さい区分２次元多項式を算出する。さらに、図３８（ ｄ） に示す全ての格子線分に関して上記処理を行う。
【００３１】
従って、パラメータエンコーダ９００のフローチャートは、図３９に示すようになる。まずステップＳ１１では、対象画面上の全ての画面に対する歪み補正座標を読み込む。そして、ステップＳ１２では格子の分割方法に従い、画面を格子に分割する。また、ステップＳ１４において、格子点間に囲まれる格子線分を１つ選択する。
【００３２】
そして、ステップＳ１５において、選択された格子線分上にあたる全ての点の歪み補正座標をｙ軸、格子線上の距離をｘ軸にとり離散関数を作成して、離散関数を区分ｎ次多項式で近似する。さらに、ステップＳ１８において、区分ｎ次多項式の係数ｎ個をデコードするための歪み補正パラメータとして歪み補正メモリ１０２０に転送する。また、ステップＳ１９において、全ての格子線分に関して歪み補正パラメータの導出が終わっていない場合にはステップＳ１４へ戻る。
【００３３】
このようにして、求められた近似式である区分ｎ次多項式の係数を歪み補正パラメータとして、歪み補正メモリ１０２０に格納する。また、格子情報は補正パラメータデコーダ１０００内部の格子情報バッファ１００１に格納される。
【００３４】
さらに補正パラメータデコーダ１０００は、補正パラメータエンコーダ９００で得られる歪み補正パラメータにより、画面の各点の歪み補正座標を、信号処理部５００の要求にしたがって復元するブロックである。図４０を用いて補正パラメータデコーダ１０００の詳細について説明する。
【００３５】
図４０において、補正パラメータデコーダ１０００には、補正パラメータエンコーダ９００からＸ、Ｙそれぞれの方向の区分位置を示す格子情報が入力される。入力された格子情報は格子情報バッファ１００１に格納される。そして、信号処理部５００より歪み補正を必要とする座標（ｘｔ，ｙｔ ）のリクエストを受けると、格子決定部１００２にて，ターゲットとなる座標（ｘｔ，ｙｔ ）が包含される格子を格子情報バッファ１００１の格子位置情報と比較し算出する。
【００３６】
さらに、求めれた格子を囲む４つの格子線分である区分ｎ 次多項式の各係数の格納されているアドレスを生成し、歪み補正メモリ１０２０にリード要求する。同時に決定された格子位置を正規化部１００３に送る。正規化部１００３では、ターゲットとなる座標（ｘｔ，ｙｔ ）と格子位置、格子情報より、囲まれた格子４線において利用する相対座標（ｘｔ’， ｙｔ’）を算出する。
【００３７】
また、関数変換部１００５にて、歪み補正メモリ１０２０より受け取った関数の係数から平面補間で利用する関数形式に変換する。さらに、平面補間部１００６は関数変換部１００５によって得られた平面関数の係数を用いて平面関数を作成し、それぞれの座標を正規化部１００３より得て所望 の歪み補正座標を計算する。そして、計算結果を信号処理部５００に送る。
【００３８】
従って、補正パラメータデコーダ１０００のフローチャートは、図４１に示すようになる。すなわち、まずステップＳ２１で、初期設定として格子情報を読み込む。さらにステップＳ２２で歪み補正の要求があるまで待機（ＷＡＩＴ）する。
【００３９】
そしてステップＳ２２で歪み補正パラメータのデコード要求があった場合に、ターゲット点の座標を信号処理部５００より受け取る。さらにステップＳ２３でターゲット点の座標が含まれる格子を決定する。またステップＳ２４でターゲット点の各格子線分の中での相対座標を求める。そしてステップＳ２５で、格子として囲まれている４格子線分のうち１線分を選択し、区分ｎ次多項式の歪み補正パラメータ（係数）を読み込む。
【００４０】
また、ステップＳ２７で４格子線分について処理が終わっていなければステップＳ２５へ戻す。さらに、ステップＳ２８で４つの区分ｎ次多項式より作成される平面関数を導出する。そして、ステップＳ２９で、平面関数を用いて、ターゲット点の歪み補正座標を導出し、次のリクエストまでステップＳ２２にて待機（ＷＡＩＴ）する。
【００４１】
なお、ターゲット点とは、信号処理部５００において歪み補正を行う対象の画素である。また、歪み補正座標は各点で異なるため、全てをレジスタで保持するか、レンズ用の関数より回路規模の大きい演算を多用することで得ることができる。
【００４２】
ところが上述の装置においては、メモリ容量が大きく、リアルタイム処理が困難という問題がある。すなわち、メモリ容量が大きいためにハードウェア規模が大きく、低消費電力化が困難であり、コストがかかる。また、光学ズーム位置が変動する場合や、レンズ交換等撮像レンズの歪曲収差の特性が変わった場合に対応が困難という問題点がある．
【００４３】
本発明の目的は、このような問題点を解消することができる画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置を提供することにある。
【００４４】
【課題を解決するための手段】
本発明においては、格子分割手段で決定した格子位置を利用し、格子の交差位置及びパラメータ導出手段より得られたデータを利用して演算に必要なデータを圧縮するようにしたものである。これによれば、必要なメモリの容量を削減することができる。なお、本発明においては、ｘ方向：ｍ分割、ｙ方向：ｎ分割とすると、３ｎ＊ｍ＋ｎ＋ｍ−１のメモリ削減効果が得られる。
【００４５】
すなわち、ｋ次多項式、ｘ方向：ｍ分割、ｙ方向：ｎ分割とすると、図４２より、区分される格子線分ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）である。この場合に、必要な歪み補正パラメータ数は、従来の（ｋ＋１）｛ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）｝から、本発明においては、（ｎ＋１）＊（ｍ＋１）＋（ｋ−１）｛ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）｝に削減でき、３ｎ＊ｍ＋ｎ＋ｍ−１の削減効果を得ることができる。
【００４６】
【発明の実施の形態】
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一または相当部分を示す。
【００４７】
図１は、本発明の実施の形態に係る画像処理システムの構成を示すブロック図である。ただしこの図１に示されるハードウェアの構成は、上述の本願の出願人が先に提案した画像処理システムの構成（図３４）と全く同じである。また、本発明の画像処理装置は主にソフトウェアによって実現されたものであるが、以下の説明では機能ブロックに置き換えて説明する。
【００４８】
図１に示されるように、本発明の実施の形態に係る画像処理システムは、画像処理装置１００と前処理装置１５００及びメディア１４００を備え、画像処理装置１００はレンズ２００と撮像素子３００、データ変換部４００、信号処理部５００、画像メモリ６００、制御マイコン７００、補正パラメータデコーダ９、同期信号生成部１６００、記録部１１００、再生部１２００、及び表示系処理部１３００とを含み、前処理装置１５００は補正パラメータエンコーダ９００と補正パラメータ導出部８００とを含む。
【００４９】
ここで、レンズ２００は被写体１０１からの反射光を集光して撮像素子３００に写影するものであって、単焦点のレンズにとどまらずズーム機能を有するものであっても良い。また、撮像素子３００はＣＣＤやＣＭＯＳセンサなどから構成され、同期信号生成部１６００から供給された内部同期信号に応じて、写影された映像をキャプチャーしアナログ画像信号を生成する。
【００５０】
データ変換部４００は撮像素子３００に接続され、同期信号生成部１６００から供給された内部同期信号に応じて、撮像素子３００により生成されたアナログ画像信号をデジタル画像信号に変換し画像１０２を生成する。信号処理部５００は、制御マイコン７００とデータ変換部４００、画像メモリ６００、補正パラメータデコーダ１０１０及び同期信号生成部１６００に接続される。
【００５１】
そして、信号処理部５００は、制御マイコン７００から供給されたコマンドに応じて、データ変換部４００から供給されるデジタル画像信号を画像メモリ６００へ格納すると共に、補正パラメータデコーダ１０１０から供給される補正量パラメータによって格納された該画像信号に対する補正処理を実行する。そして、信号処理部５００は、該補正により得られた画像信号を表示系処理部１３００及び記録部１１００へ供給する。
【００５２】
一方、補正パラメータ導出部８００は、レンズ２００の歪曲収差に関するデータなどから、全画素の各位置に応じた補正量ベクトルを予め計算する。また、補正パラメータエンコーダ９００は補正パラメータ導出部８００及びユーザインタフェースに接続され、ユーザインタフェースから供給された制御信号Ｌｎ，Ｌｗに応じて、補正パラメータ導出部８００から供給された補正量ベクトルを圧縮（エンコード）し、該圧縮データＰｃを補正パラメータデコーダ１０１０へ供給する。
【００５３】
なお、補正パラメータ導出部８００における演算及び上記エンコードは、共に非常に負荷の大きな演算となるが、別途パーソナルコンピュータ等を用いて計算すればよく、画像処理装置１００によるリアルタイム処理に影響を与えるものでない。また、補正パラメータエンコーダ９００から供給される圧縮データＰｃ等の情報は、歪み補正メモリ１０２０にも格納され、実際の補正パラメータデコーダ１０１０での処理においては、歪み補正メモリ１０２０に格納された情報が使用される。
【００５４】
さらに、制御マイコン７００はユーザインタフェースからの制御信号に応じて、所定の動作を命令するコマンド等を信号処理部５００へ出力すると共に、レンズ２００の位置情報などを補正パラメータデコーダ１０１０へ供給する。
【００５５】
補正パラメータデコーダ１０１０は、補正パラメータエンコーダ９００、歪み補正メモリ１０２０と制御マイコン７００及び信号処理部５００に接続される。そして、補正パラメータデコーダ１０１０は、制御マイコン７００から供給された情報等に応じて、補正パラメータエンコーダ９００または歪み補正メモリ１０２０から供給されたエンコードされた圧縮データＰｃを各画素に対応した補正量パラメータに伸長（デコード）し、該補正量パラメータを信号処理部５００へ供給する。
【００５６】
また、記録部１１００は信号処理部５００に接続され、信号処理部５００により生成された画像信号をテープやフレキシブルディスク、ＤＶＤ（デジタル多用途ディスク）、ハードディスク、メモリなどのメディア（記録媒体）１４００に記録する。なお、信号処理部５００により生成された画像信号は、インターネットやワイヤレス通信等を用いてメディア１４００に記録されるようにすることもできる。
【００５７】
また、再生部１２００はメディア１４００に接続され、メディア１４００に格納された画像信号を再生して表示系処理部１３００へ供給する。表示系処理部１３００は信号処理部５００及び再生部１２００に接続され、信号処理部５００又は再生部１２００から供給された画像信号をモニタに表示する。
【００５８】
なお、同期信号生成部８００は外部から供給されたクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００とデータ変換部４００及び信号処理部５００へ供給する。
【００５９】
さらに、図２は、図１に示された信号処理部５００の構成を示すブロック図である。図２に示されるように、信号処理部５００は水平１次元補間部５０１と垂直１次元補間部５０２とを含む。なお、画像メモリ６００は水平処理用ＦＩＦＯメモリからなる画像メモリ６０１と垂直処理用ラインバッファからなる画像メモリ６０２とを含み、補正パラメータデコーダ１０１０はｘ方向用の画歪補正パラメータデコーダ３３とｙ方向用の画歪補正パラメータデコーダ３４とを含む。
【００６０】
なお、画像メモリ６０２は垂直方向の歪み補正を実現するために必要な最小限のライン数分に渡るデータを格納できるだけの容量を有するものとされるが、この点については後述する。また、通常上記容量は、出力データバッファ３２に供給される出力同期信号の周波数に応じて決定される。
【００６１】
そして、水平１次元補間部５０１はデータ書き込み部２１と演算制御部２２、補間位相・入力データ座標計算部２３、データ取得部２４、補間係数生成部２５、及びデータ補間計算部２６を含み、垂直１次元補間部５０２は演算制御部２７と補間位相・入力データ座標計算部２８、データ取得部２９、補間係数生成部３０、データ補間計算部３１、及び出力データバッファ３２を含む。
【００６２】
ここで、データ書き込み部２１はデータ変換部４００に接続され、演算制御部２２は同期信号生成部８００に接続される。また、補間位相・入力データ座標計算部２３は演算制御部２２及び制御マイコン７００に接続され、データ取得部２４は補間位相・入力データ座標計算部２３と画像メモリ６０１及び画歪補正パラメータデコーダ３３に接続される。また、補間係数生成部２５は画歪補正パラメータデコーダ３３に接続され、データ補間計算部２６はデータ取得部２４及び補間係数生成部２５に接続される。
【００６３】
なお、画像メモリ６０１はデータ書き込み部２１及びデータ取得部２４に接続され、画像メモリ６０２はデータ補間計算部２６及びデータ取得部２９に接続される。また、画歪補正パラメータデコーダ３３は補間位相・入力データ座標計算部２３及びデータ取得部２４に接続される。
【００６４】
一方、演算制御部２７は同期信号生成部１６００に接続され、補間位相・入力データ座標計算部２８は演算制御部２７及び制御マイコン７００に接続される。また、データ取得部２９は補間位相・入力データ座標計算部２８と画像メモリ６０２及び画歪補正パラメータデコーダ３４に接続され、補間係数生成部３０は画歪補正パラメータデコーダ３４に接続される。また、データ補間計算部３１はデータ取得部２９及び補間係数生成部３０に接続され、出力データバッファ３２はデータ補間計算部３１及び同期信号生成部１６００に接続される。
【００６５】
なお、出力データバッファ３２の出力ノードは表示系処理部１３００及び記録部１１００に接続される。また、画歪補正パラメータデコーダ３４は補間位相・入力データ座標計算部２８に接続される。
【００６６】
上記のような構成を有する信号処理部５００では、まず水平１次元補間部５０１が水平方向（ｘ方向）の１次元補間演算を実行し、続いて垂直１次元補間部５０２が垂直方向（ｙ方向）の１次元補間演算を実行する。ここで、信号処理部５００による該演算の概要を、図３を参照しつつ説明する。なお、図３においては、ｘ及びｙ方向にそれぞれ４つ並んだ（４×４）合計１６個からなる画像データを用いて出力画像の各点の画像データが決定される場合が例示される。
【００６７】
そして、図３（ａ）はｘ方向の補正により、歪みを伴う原画像を構成する点Ｂ１〜Ｂ４に対応してそれぞれ点Ｂ１０〜Ｂ４０の画像データが算出されたことを示し、図３（ｂ）はさらにｙ方向の補正により、点Ｂ１０〜Ｂ４０に対応して点ｂ１〜ｂ４の画像データが算出されたことを示す。
【００６８】
より具体的には、例えば水平方向に連続した点Ｂ１を跨ぐ４つの格子点の画像データに所定の補間演算を施すことにより点Ｂ１０の画像データが算出され、同様に点Ｂ２〜Ｂ４に対応してそれぞれ点Ｂ２０〜Ｂ４０の画像データが算出される。
【００６９】
次に、図３（ｂ）に示されるように、例えば点Ｂ３０に対しては、垂直方向に連続した点Ｂ３０を跨ぐ破線内の４つの格子点（点Ｋ２０〜Ｋ２３）における画像データに所定の補間演算を施すことにより点ｂ３の画像データが算出される。また同様に、点Ｂ１０，Ｂ２０，Ｂ４０に対応してそれぞれ点ｂ１，ｂ２，ｂ４の画像データが算出される。
【００７０】
ここで、上記のような水平方向における１次元補間演算は、データ補間計算部２６に含まれる図４に示された水平処理回路４０により実現される。図４に示されるように水平処理回路４０は、ラインメモリ１９００と、ラインメモリ１９００の出力ノードに直列接続された４つのレジスタ１９０１と、各レジスタ１９０１から出力されたデータと対応する補間係数ＣＨｋ（ｋ＝０〜３）とを乗算する４つの乗算回路１９０２と、４つの乗算回路１９０２により得られたデータを加算する加算回路１９０３とを含む。
【００７１】
なお、上記のような垂直方向における１次元補間演算は後述する図２５に示された回路により実現されるが、これについては後に詳しく説明する。
【００７２】
次に、図２に示された信号処理部５００の動作の概要を説明する。まずデータ変換部４００から水平１次元補間部５０１へ入力された画像データは、データ書き込み部２１によって書き込み制御信号と共に画像メモリ６０１へ供給され、該書き込み制御信号に応じて画像メモリ６０１に書き込まれる。
【００７３】
このとき、データ取得部２４は読み出し制御信号を水平処理用の画像メモリ６０１へ供給することにより、画歪補正パラメータデコーダ３３から供給されるｘ方向用の補正量パラメータＸｍに応じて、画像メモリ６０１から水平方向に並ぶ画像データを補間用データとして取得する。
【００７４】
そして、データ補間計算部２６が補間係数生成部２５から供給された補間係数を用いて水平方向の１次元補間演算を実行し、垂直処理用の画像メモリ６０２が該演算結果を格納する。
【００７５】
次に、垂直１次元補間部５０２では、データ取得部２９が画歪補正パラメータデコーダ３４から供給されるｙ方向用の補正量パラメータＹｍに応じて、垂直処理用の画像メモリ６０２から垂直方向に並ぶ画像データを補間用データとして取得する。そして、データ補間計算部３１が補間係数生成部３０から供給された補間係数を用いて垂直方向の１次元補間演算を実行し、出力データバッファ３２は出力同期信号に応じて該演算結果を出力する。
【００７６】
なお、上記のように、水平１次元補間部５０１及び垂直１次元補間部５０２により実行される補間演算は１次元補間演算とされるため、キュービック補間のような４タップのフィルタ、又はより高次タップ数のフィルタを用いることができる。
【００７７】
すなわち、１次元補間演算は上記のように簡易な回路により実現されるため、２次元補間演算では難しい高次タップのフィルタによる演算が容易に実現できることから、より高画質な画像を得ることができる。なお、一般的な画素数変換回路などは１次元補間を実行する回路とされているため、既存の該回路を上記演算に共用しても良い。
【００７８】
また、上記においては、水平方向の１次元補間演算を実行した後に垂直方向の１次元補間演算を実行する実施の形態を説明したが、逆に垂直方向の１次元補間演算を先に実行し、その後に水平方向の１ 次元補間演算を実行するようにしても良い。なお、この場合にはデータ変換部４００から出力される画像データは垂直１ 次元補間部５０２へ入力され、垂直１次元補間演算が施された後に一旦水平処理用の画像メモリ６０１へ格納される。そして、このように画像メモリ６０１に格納された画像データは、さらに水平１ 次元補間部５０１により水平１次元補間演算が施され、完全に歪みが補正されて信号処理部５００の外部へ出力される。
【００７９】
また、上記における演算処理は１系統のデータに適用するのみならず、色信号（ＲＧＢ，ＹＵＶ）に対して系統毎に適用しても良い。さらに、動画像に対して該補間演算を施す場合には、垂直同期信号に同期して該演算を実行すれば良い。
【００８０】
ところで、ビデオカメラやデジタルスチルカメラなどの撮像装置では、いわゆる光学ズーム機能や手ぶれ補正機能が搭載されることが多い。ここで、上記機能により光学ズームを行うと、テレ（ズームアップ）かワイド（ズームダウン）かに応じてレンズの歪み特性が変動する。すなわち、一般的に、ワイドの向きにレンズ２００が移動すると画像に樽歪みが生じ、テレの向きにレンズ２００が移動すると画像に糸巻き型の歪みが発生する。
【００８１】
このとき、該光学ズームに応じた適切な補正ベクトルにより該画像が補正されないときは画質が劣化するため、補正パラメータデコーダ１０１０はレンズの位置に応じた最適な補正量パラメータを選択するものとされる。
【００８２】
具体的には、補正パラメータデコーダ１０１０は制御マイコン７００からレンズ２００の位置を示す情報を受け取り、補正パラメータエンコーダ９００から供給された圧縮データＰｃを該位置情報に応じて選択的にデコードする。
【００８３】
このように、図１に示された画像処理装置１００によれば、レンズ２００の特性が変動するような場合においても、該特性に応じてデコードされた補正量パラメータのみが補間演算に使用されるため、該演算に使用されるデータ量を最小限に抑えることができ、その結果として製造コストを低減することができる。
【００８４】
次に、上記手ぶれ補正機能について説明する。一般的に、手ぶれによる画像の歪みを補正する方法には、アクティブプリズム方式やアクティブレンズ方式のようにレンズ等の位置を制御して該画像を光学的に補正する方法と、アクティブイメージエリア方式のように得られた画像信号に所定の処理を施すことにより電気的に補正する方法とがある。
【００８５】
ここで、光学的な補正方法はレンズ２００の位置に応じてレンズ特性が変動することから、本発明の実施の形態に係る画像処理装置１００で実現するのは難しい。
【００８６】
一方、上記の電気的な補正方法は、角速度センサ等により検知された手ぶれ位置の情報に基づいて、画像全体から一部（有効エリア）の画像を切り出す信号処理により実現される。このとき、該有効エリアの位置等に応じて画像処理の対象が変化するため、該対象に応じて補間演算を施す際に使用する補正ベクトルを変更する必要がある。
【００８７】
そこで、補正パラメータデコーダ１０１０はさらに、制御マイコン７００から手ぶれ位置の情報を受け取り、補正パラメータエンコーダ９００から供給された圧縮データＰｃを該位置情報に応じて選択的にデコードすることによって、手ぶれ補正を実現する。
【００８８】
なお、本実施の形態に係る画像処理装置１００では、レンズ２００を交換したような場合にも同様に、補正パラメータデコーダ１０１０が該新たなレンズ２００等に応じて選択的に該圧縮データＰｃをデコードすることとすれば、部品交換後においても容易に高画質の画像を得ることができる。
【００８９】
次に、図５及び図６のフローチャートを参照しつつ、図２に示された水平１次元補間部５０１の動作を詳しく説明する。まず、演算制御部２２は、同期信号生成部８００から供給される内部同期信号に応じて制御タイミング信号を生成する。そして、補間位相・入力データ座標計算部２３は、演算制御部２２から供給された制御タイミング信号に応じて動作し、信号処理部５００に入力された画像に歪みがない場合における座標系での補間点の座標を小数点付きで計算する。
【００９０】
具体的には、ステップＳ３１において補間位相・入力データ座標計算部２３は、図７（ａ）に示されるように歪み補正され等倍変換された画像上の座標（ｘ，ｙ）として、切り出した画像ＣＩの左上の座標（Ｓｘ，Ｓｙ）を初期設定し、画歪補正パラメータデコーダ３３へ補正パラメータ要求信号Ｒｘを供給する。一方、ステップＳ３２において、画歪補正パラメータデコーダ３３は供給された補正パラメータ要求信号Ｒｘ及び該座標（Ｓｘ，Ｓｙ）に対応する補正量パラメータＸｍを求め、データ取得部２４及び補間係数生成部２５へ供給する。
【００９１】
ここで画歪補正パラメータデコーダ３３は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を内蔵し、該ＲＯＭにｘ座標と補正量パラメータＸｍとの間の対照テーブルを予め格納しておくようにしても良いし、補正量パラメータＸｍをｘ座標のある関数として近似し、該関数を用いて補正量パラメータＸｍを求めても良いが、後に詳しく説明する。
【００９２】
次に、ステップＳ３３において、データ取得部２４は補間位相・入力データ座標計算部２３から供給された座標（Ｘ，Ｙ）に、画歪補正パラメータデコーダ３３から供給された補正量パラメータＸｍに応じた補正量ベクトル（Ｘｍ，０）を加える。これより、図７（ｂ）に示されるように、補正前の原画像ＯＩにおいて上記座標（Ｘ，Ｙ）に対応する点の座標（Ｘ＋Ｘｍ，Ｙ）、すなわち補正ベクトルが求められたことになる。
【００９３】
なお、データ取得部２４の替わりに、画歪補正パラメータデコーダ３３が補間位相・入力データ座標計算部２３から供給されたｘ座標に応じて上記補正ベクトルを求め、該補正ベクトルをデータ取得部２４へ供給するようにしても良い。
【００９４】
このとき、データ取得部２４はｘ座標の整数値がＸｍを加えることで変化したか否かを判断し、変化したと判断した場合にはステップＳ３５へ進み、変化していないと判断した場合にはステップＳ３６へ進む。
【００９５】
ステップＳ３５では、データ取得部２４が、さらに該整数値は２以上変化したか否かを判断し、２以上変化したと判断した場合にはステップＳ３８へ進み、１のみ変化したと判断した場合にはステップＳ３７へ進む。一方、ステップＳ３６では、画像メモリ６０１がデータ取得部２４から供給されたホールド信号Ｓｈに応じて、前サイクルに出力したものと同じ補間用データを再度データ取得部２４へ供給する。
【００９６】
上記において、データ取得部２４は生成された補正ベクトルのｘ成分（Ｘ＋Ｘｍ）の整数値に応じて画像メモリ６０１から読み出すべきデータのアドレスを生成し、読み出し制御信号を画像メモリ６０１に供給することによって該アドレスに応じた補間用データを取得する。
【００９７】
ここで、画像メモリ６０１は先頭アドレスからアドレスを１ずつインクリメントしつつ該アドレスに応じた補間用データを順次出力すると共に、データ取得部２４からホールド信号Ｓｈが供給されることによって、上記インクリメントを一時的に停止する。
【００９８】
なお、画像メモリ６０１はデータ取得部２４から読み出し開始アドレスを受け取り、該読み出し開始アドレスを上記先頭アドレスとした所定数の連続データを出力するものであっても良い。
【００９９】
ここで、上記ホールド信号Ｓｈ及び読み出し開始アドレスは、画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍの整数成分から求められる。
【０１００】
一方、補間係数生成部２５は、画歪補正パラメータデコーダ３３から供給される補正量パラメータＸｍの小数成分を水平補間フィルタの位相として扱い、該小数成分に応じて補間係数を生成する。なお、このような動作は、信号処理部１０に入力される画像１０２がＲＧＢフォーマットの場合に適用される。一方、ＹＵＶフォーマットの場合には輝度信号Ｙのフィルタ位相はＲＧＢフォーマットのフィルタ位相と同じように扱うことができ、色差信号Ｃｂ／Ｃｒについては、補正量パラメータＸｍの小数成分だけでなく整数成分も併用して該位相を算出することができる。
【０１０１】
そして、ステップＳ３７においてデータ補間計算部２６は、データ取得部２４から供給された補間用データと上記補間係数とに応じて１次元補間演算を実行し、ステップＳ３９へ進む。
【０１０２】
ここで、上記の１次元補間演算では、例えばＹＵＶフォーマットにおいては、図７（ｃ）に示されるように補正ベクトル（Ｘ＋Ｘｍ，Ｙ）の近傍から水平方向において８画素の輝度データＤｔが補間用データとして利用され、上記小数成分を位相とした８タップの補間演算が実行される。なお、該補間演算により得られた結果は出力画像の輝度データ等として利用され、これより水平方向の歪みが補正される。
【０１０３】
一方、ステップＳ３８ではデータ取得部２４が補間位相・入力データ座標計算部２３と画歪補正パラメータデコーダ３３及びデータ補間計算部２６へスキップ信号ｓｋを供給し、これら補間位相・入力データ座標計算部２３と画歪補正パラメータデコーダ３３及びデータ補間計算部２６の動作を停止させる。
【０１０４】
ここで、ステップＳ３５においてｘ座標が２以上変化したと判断される場合は、実際に補間演算する中心座標が２画素以上移動する場合を意味するため、データ補間計算部２６による画像メモリ６０２へのデータ出力が中断される。また、実際に補間演算する中心座標が２画素以上移動する場合は、画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍの小数成分（補間位相）は次サイクルまで保持されることから、画歪補正パラメータデコーダ３３の動作が停止される。
【０１０５】
そして、ステップＳ４３では、補間位相・入力データ座標計算部２３がｘ座標に水平方向の拡大縮小パラメータＨａを加算し、ステップＳ３２へ進む。なお、この拡大縮小パラメータＨａは、補正後の画像に対する歪みを持った原画像の水平方向における長さの比により決定され、補正後に画像を水平方向に拡大する場合には１より小さな値とされ、逆に縮小する場合は１より大きな値とされ、等倍の場合には１とされる。
【０１０６】
ステップＳ３９ではデータ補間計算部２６が、得られた画像データを垂直処理用ラインバッファからなる画像メモリ６０２へ格納する。そして、ステップＳ４０では補間位相・入力データ座標計算部２３が現時点のｘ座標を基に１ライン分、すなわち出力水平画素数ＨＳ分の画像データが画像メモリ６０２へ出力されたか否かを判断し、１ライン分のデータが出力されたと判断した場合にはステップＳ４１へ進み、１ライン分のデータが出力されていないと判断した場合にはステップＳ４３へ進む。
【０１０７】
ステップＳ４１では補間位相・入力データ座標計算部２３がｘ座標をＳｘとすると共に、ｙ座標に１を加える。そして、ステップＳ４２では補間位相・入力データ座標計算部２３がさらにｙ座標を基に１フレーム分、すなわち出力垂直ライン数分の画像データが画像メモリ６０２へ出力されたか否かを判断し、１フレーム分のデータが出力されたと判断した場合には動作を終了し、１フレーム分のデータが出力されていないと判断した場合にはステップＳ４３へ進む。
【０１０８】
以上より、水平１次元補間部５０１は、歪みを持った原画像に対して水平方向の１次元補間演算を施すことにより、水平画歪み補正処理と水平方向の拡大・縮小処理を同時に実現し、得られた画像を垂直処理用の画像メモリ６０２に保存する。
【０１０９】
なお、上記水平１次元補間による等倍変換の具体例が図８に示される。ここで、図８は輝度信号に関する変換を示し、図８（ａ）は信号処理部５００に入力された補間用データＤ０〜Ｄ９、図８（ｂ）及び図８（ｆ）は補正量パラメータＸｍ、図８（ｃ）及び図８（ｄ）はそれぞれ補正後の画像を構成するデータのサンプリング位置及び番号を示す。
【０１１０】
また、図８（ｅ）は補間位相・入力データ座標計算部２３から画歪補正パラメータデコーダ３３へ供給されるｘ座標（ｘｔ）を示し、図８（ｇ）はデータ取得部２４により生成される補正ベクトルのｘ座標（補正パラメータ）、図８（ｈ）は補正前の画像における補間用データのアドレス、図８（ｉ）は補間位相をそれぞれ示す。
【０１１１】
例えば、図８に示されるように、補正後の画像においてｘ座標が２．０ の点に位置するデータの補正量パラメータＸｍは１．２５とされる。その結果、補正前の画像における該点の対応点のｘ座標は、該２．０ に補正量パラメータＸｍを加算して３．２５と求められる。このとき、該ｘ座標（３．２５）の整数成分（３）が補正前の画像における該データのアドレスを示し、０．２５が補間位相を示す。従って、補正後の画像におけるｘ座標が２．０ の点の輝度信号は、補正前の画像において３近傍のｘアドレスを有する複数の連続データを対象とし、水平補間フィルタの位相を０．２５とした１ 次元補間演算により求められることになる。
【０１１２】
図９は、図８に示された等倍変換の動作タイミングを示すタイミング図である。ここで、図９（ａ）は演算制御部２２に供給される内部同期信号を示し、図９（ｂ）は演算制御部２２により生成される制御タイミング信号、図９（ｃ）はデータ取得部２４から画像メモリ６０１に供給される読み出し制御信号、図９（ｄ）は画像メモリ６０１からデータ取得部２４へ入力される補間用データ、図９（ｅ）は補間位相・入力データ座標計算部２３から画歪補正パラメータデコーダ３３へ供給されるｘ座標（ｘｔ）をそれぞれ示す。
【０１１３】
また、図９（ｆ）は画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍを示し、図９（ｇ）はデータ取得部２４により生成される補正パラメータ、図９（ｈ）は補正前の画像における補間用データのアドレス、図９（ｉ）は補間位相、図９（ｊ）及び図９（ｋ）はそれぞれデータ取得部２４により生成されるスキップ信号ｓｋ及びホールド信号Ｓｈ、図９（ｌ）は画像メモリ６０１から読み出される２タップのデータ、図９（ｍ）はデータ補間計算部２６から画像メモリ６０２へ出力されるデータ、図９（ｎ）はデータ補間計算部２６で内部生成される出力イネーブル信号をそれぞれ示す。なお、ここでは説明を簡略化するために、一つのデータを得るための補間演算においては、図９（ｌ）に示される２タップのデータが使用されるものとする。
【０１１４】
図９（ｂ）に示されるように、時刻Ｔ１において制御タイミング信号が内部同期信号に応じてハイレベルに活性化されると、図９（ｅ）に示されるように補間位相・入力データ座標計算部２３は０．０ から１．０ づつインクリメントされるｘ座標（ｘｔ）を順次画歪補正パラメータデコーダ３３へ供給する。
【０１１５】
これより、図９（ｆ）に示されるように画歪補正パラメータデコーダ３３は対応する補正量パラメータＸｍを求め、その後にデータ取得部２４は図９（ｇ）に示される補正パラメータを算出する。ここで、図９（ｈ）に示されるように、データ取得部２４は該補正パラメータの整数成分から補正前の画像における補間用データの先頭アドレスを０と特定する。そして、図９（ｃ）及び図９（ｄ）に示されるように、データ取得部２４は活性化された読み出し制御信号と共に、上記のように特定されたアドレス０を画像メモリ６０１へ供給する。
【０１１６】
これより、図９（ｄ）に示されるように、画像メモリ６０１は該先頭アドレス０に対応するデータＤ０から順次補間用データをデータ取得部２４へ連続的に出力する。
【０１１７】
また、図９（ｇ）及び図９（ｊ）に示されるように、時刻Ｔ２においてデータ取得部２４は補正パラメータの整数成分が２以上増加したと判断すると、ハイレベル（Ｈ）のスキップ信号ｓｋを生成して補間位相・入力データ座標計算部２３とデータ補間計算部２６及び画歪補正パラメータデコーダ３３へ供給する。この結果、図９（ｅ）から図９（ｇ）に示されるように時刻Ｔ３から１サイクルの間補正パラメータの生成動作が停止されると共に、図９（ｍ）及び図９（ｎ）に示されるように出力イネーブル信号がロウレベルに不活性化されることによって、データ補間計算部２６から画像メモリ６０２へのデータ出力が停止される。
【０１１８】
また、図９（ｇ）及び図９（ｋ）に示されるように、データ取得部２４は時刻Ｔ４において生成された補正パラメータ（８．７５）の整数成分が１サイクル前の補正パラメータ（８．２５）の整数成分と同じであると判断し、時刻Ｔ４においてホールド信号Ｓｈをハイレベルに活性化させる。これより、図９（ｌ）に示されるように時刻Ｔ５において、データ取得部２４は画像メモリ６０１から前サイクルと同じ２タップの補間用データＤ８，Ｄ９を取得する。
【０１１９】
なお、図１０は図８と同様に水平１次元補間による拡大変換の具体例を示し、図１１は図９と同様に該拡大変換の動作タイミングを示す。この拡大変換の例では、図１０（ｅ）に示されるように、データ番号が２から６近傍までのデータが水平方向の拡大縮小パラメータＨａを０．５ として水平方向に拡大される。ここで、図１０（ｂ）はデータ番号が０から９までの１０個のデータについての補正量パラメータＸｍを示し、図１０（ｆ）は該拡大による補間点、すなわちｘ座標が２．０ から６．５ までにおける０．５ 間隔の１０個の点における補正量パラメータＸｍを示す。
【０１２０】
そして、このような拡大変換においては、図１１（ｇ）に示されるように時刻Ｔ２，Ｔ３，Ｔ４，Ｔ５，Ｔ６において補正パラメータの整数成分が変化しないため、各時刻において１サイクルの間ホールド信号Ｓｈがハイレベルに活性化される。
【０１２１】
次に、図１２及び図１３のフローチャートを参照しつつ、図２に示された垂直１次元補間部５０２の動作を詳しく説明する。まず、演算制御部２７は、同期信号生成部１６００から供給される内部同期信号に応じて制御タイミング信号を生成する。そして、補間位相・入力データ座標計算部２８は、演算制御部２７から供給された制御タイミング信号に応じて動作し、信号処理部５００に入力された画像に歪みがない場合における座標系での補間点の座標を小数点付きで計算する。
【０１２２】
具体的には、ステップＳ５１において補間位相・入力データ座標計算部２８は、図１４（ａ）に示されるように歪み補正され等倍変換された画像上の座標（ｘ，ｙ）として、切り出した画像ＣＩの左上の座標（Ｓｘ，Ｓｙ）を初期設定し、画歪補正パラメータデコーダ３４へ補正パラメータ要求信号Ｒｙを供給する。一方、ステップＳ５２において、画歪補正パラメータデコーダ３４は供給された補正パラメータ要求信号Ｒｙに応じて該ｙ座標に対応する補正量パラメータＹｍを求め、データ取得部２９及び補間係数生成部３０へ供給する。
【０１２３】
ここで画歪補正パラメータデコーダ３４は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を内蔵し、該ＲＯＭにｙ座標と補正量パラメータＹｍとの間の対照テーブルを予め格納しておくようにしても良いし、補正量パラメータＹｍをｙ座標のある関数として近似し、該関数を用いて補正量パラメータＹｍを求めても良いが、後に詳しく説明する。
【０１２４】
次に、ステップＳ５３において、データ取得部２９は補間位相・入力データ座標計算部２８から供給された座標（Ｘ，Ｙ）に、画歪補正パラメータデコーダ３４から供給された補正量パラメータＹｍに応じた補正量ベクトル（０，Ｙｍ）を加える。これより、図１４（ｂ）に示されるように、補正前の原画像ＯＩにおいて上記座標（Ｘ，Ｙ）に対応する点の座標（Ｘ，Ｙ＋Ｙｍ）、すなわち補正ベクトルが求められる。このとき、データ取得部２９は生成された補正ベクトルのｙ成分（Ｙ＋Ｙｍ）の整数値に応じて画像メモリ６０２から読み出すべきデータのアドレスを生成し、メモリ制御信号と共に画像メモリ６０２へ供給する。
【０１２５】
なお、データ取得部２９の替わりに、画歪補正パラメータデコーダ３４が補間位相・入力データ座標計算部２８から供給されたｙ座標に応じて上記補正ベクトルを求め、該補正ベクトルをデータ取得部２９等へ供給するようにしても良い。
【０１２６】
そして、ステップＳ５４においては、垂直処理用の画像メモリ６０２が供給された上記アドレスに応じて、座標Ｘにおいて垂直方向に複数ラインに渡って並ぶ複数の補間用データを同時にデータ取得部２９へ出力する。
【０１２７】
ここで、画像メモリ６０２は、データ取得部２９から読み出しを開始する先頭アドレスを受け取り、該アドレスを１ずつインクリメントすることにより該アドレスに応じた補間用データを順次出力するか、あるいは、アドレスをインクリメントすることなく、受け取った該先頭アドレスから所定数連続したデータを出力するものとされる。ここで、上記先頭アドレスは、画歪補正パラメータデコーダ３４から出力される補正量パラメータＹｍの整数成分から求められる。
【０１２８】
一方、補間係数生成部３０は、画歪補正パラメータデコーダ３４から供給される補正量パラメータＹｍの小数成分を垂直補間フィルタの位相として扱い、該小数成分に応じて補間係数を生成する。
【０１２９】
そして、ステップＳ５５においてデータ補間計算部３１は、データ取得部２９から供給された補間用データと上記補間係数とに応じて１次元補間演算を実行する。なお、上記補間演算は、信号処理部５００に入力される画像１０２がＲＧＢフォーマットの場合にのみ適用されるものでない。すなわち、ＹＵＶフォーマットの場合、輝度信号と色差信号の垂直方向におけるデータ密度が同じ場合には輝度信号のフィルタ位相を色差信号のフィルタ位相としても利用でき、該データ密度が異なる場合には補正量パラメータＹｍの小数成分だけでなく整数成分も併用することにより色差信号のフィルタ位相が算出される。
【０１３０】
また、ＹＵＶフォーマットにおいては、図１４（ｃ）に示されるように補正ベクトル（Ｘ，Ｙ＋Ｙｍ）の近傍から垂直方向において例えば８画素の輝度データＤｔ等が補間用データとして利用され、上記小数成分を位相とした８タップの補間演算が実行される。なお、該補間演算により得られた結果は出力画像の輝度データや色差データとして利用され、これより垂直方向の歪みが補正される。
【０１３１】
次に、ステップＳ５６において、出力データバッファ３２は該補間演算により得られた画像データを出力する。ステップＳ５７では、補間位相・入力データ座標計算部２３が現時点のｘ座標を基に１ライン分、すなわち出力水平画素数ＨＳ分の画像データが出力されたか否かを判断し、１ライン分のデータが出力されたと判断した場合にはステップＳ５８へ進み、１ライン分のデータが出力されていないと判断した場合にはステップＳ６０へ進む。
【０１３２】
ステップＳ５８では、補間位相・入力データ座標計算部２８がｘ座標をＳｘとすると共に、ｙ座標に垂直方向の拡大縮小パラメータＶａを加算する。一方、ステップＳ６０ではｘ座標に水平方向の拡大縮小パラメータＨａを加算し、ステップＳ５２へ戻る。なお、上記拡大縮小パラメータＶａは、補正後の画像に対する歪みを持った原画像の垂直方向における長さの比により決定され、補正後に画像を垂直方向に拡大する場合には１より小さな値とされ、逆に縮小する場合は１より大きな値とされ、等倍の場合には１とされる。
【０１３３】
ステップＳ５９では補間位相・入力データ座標計算部２８がさらにｙ座標を基に１フレーム分、すなわち垂直ライン数（垂直画素数）分の画像データが出力データバッファ３２から出力されたか否かを判断し、１フレーム分のデータが出力されたと判断した場合には動作を終了し、１フレーム分のデータが出力されていないと判断した場合にはステップＳ６０へ進む。
【０１３４】
なお、以上のような垂直方向における１次元補間では、水平方向に関するデータの補間や画像の拡大・縮小を伴わないため、図１４（ａ）に示される水平方向のスキャンにおいては毎サイクル同様な動作が繰り返される。しかしながら、補正量パラメータＹｍが大きいときには、画像メモリ６０２における格納場所に応じて然るべき補間用データを読み出す時間が大きくなる場合がある。このような場合に、データ取得部２９は補間位相・入力データ座標計算部２８及び画歪補正パラメータデコーダ３４へ活性化された待機信号ＷＴを供給し、待機信号ＷＴの該活性期間において補間位相・入力データ座標計算部２８及び画歪補正パラメータデコーダ３４の動作を中断させる。
【０１３５】
以上より、垂直１次元補間部５０２は、歪みを持った原画像に対して垂直方向の１次元補間演算を施すことにより、垂直画歪み補正処理と垂直方向の拡大・縮小処理を同時に実現し、完全に歪みの取れた画像を生成して出力する。なお、上記垂直１次元補間による等倍変換の具体例が図１５に示される。ここで、図１５は輝度信号に関する変換を示すグラフであり、横軸はｘ座標、縦軸は補正されたｙ座標（Ｙ＋Ｙｍ）を示す。
【０１３６】
そして、図１５において、ｙ座標が０でｘ座標が０．０ から１０．０の１０個の点は補正後の画像上における点を示し、矢印は該各点に対応する原画像上の点までの補正量パラメータＹｍを示す。すなわち例えば、補正後の画像において座標（１．０ ，０ ）の点は、補正前の原画像において座標（１．０ ，７．１ ）の点に対応し、補正量パラメータが７．１ で補間位相がその小数成分０．１ とされる。
【０１３７】
次に、図１に示された前処理装置１５００及び補正パラメータデコーダ１０１０について詳しく説明する。最初に、図１６に示されたフローチャートを参照しつつ、前処理装置１５００及び補正パラメータデコーダ１０１０の動作の概要を説明する。
【０１３８】
図１６に示されるように、ステップＳ７１では、補正パラメータエンコーダ９００が補正パラメータ導出部８００から全画素点の補正量ベクトルを読み込む。次に、ステップＳ７２に示されるように、補正パラメータエンコーダ９００は該全画素点の補正量ベクトルを区分毎に分割するための格子線を決定する。なお、該格子線の決定については後に詳しく説明する。
【０１３９】
ステップＳ７３では、補正パラメータエンコーダ９００が該格子線により分割された各区分の補正量ベクトルを圧縮して圧縮データＰｃとして補正パラメータデコーダ１０１０および歪み補正メモリ１０２０へ供給すると共に、ステップＳ７４では撮像素子３００が画像を撮像する。なお、補正量ベクトルの該圧縮については後に詳しく説明する。
【０１４０】
そして、ステップＳ７５ではデータ変換部４００が該撮像により生成されたアナログ画像信号をデジタル画像信号に変換する。ステップＳ７６では、補正パラメータデコーダ１０１０は補正量パラメータの信号処理部５００への読み出しに必要な格子を決定し、ステップＳ７７において信号処理部５００から供給された座標を該格子に応じて正規化する。
【０１４１】
次にステップＳ７８においては、補正パラメータデコーダ１０１０が該格子を利用して補正パラメータエンコーダ９００から供給された圧縮データＰｃをデコードし、得られた補正量パラメータを信号処理部５００へ供給する。そして、ステップＳ７９においては、信号処理部５００が該補正量パラメータを用いて原画像に対する補間演算を施す。ここで、ステップＳ８０において制御マイコン７００が信号処理部５００への原画像の入力を終了させるか否かを判断し、終了させると判断した場合には画像処理装置１００の動作を終了させ、該入力を終了させないと判断した場合にはステップＳ７４へ戻る。
【０１４２】
そして図１７は、図１に示された補正パラメータエンコーダ９００の構成を示すブロック図である。図１７において、格子分割部９１１は画面全点のパラメータを区分毎に分割するための格子線を決定し、格子点上の歪み補正パラメータ（ 歪み補正座標） を歪み補正メモリ１０２０に送る。また、ｎ次多項式係数導出部９０２で格子分割部９１１において分割された各格子線分のすべての歪み補正座標を格子線分上の位置との関数で表現し、求める区分ｎ次多項式で近似する。
【０１４３】
さらに、サンプル点導出部９０３は、ｎ次多項式係数導出部９０２より得られた区分ｎ次多項式から歪み補正パラメータの圧縮を行う。導出された区分ｎ次多項式において、区分ｎ 次多項式の両端をｎ分割した内部点を新たな歪み補正パラメータ（近似された歪み補正座標）として、歪み補正メモリ１０２０に送る。
【０１４４】
従って、区分２次多項式を例にした図１８（ａ）（ｂ）に示す通り、ｈ１（ｘ）， ｈ２（ｘ）， ｈ３（ｘ）， ｈ４（ｘ）の交点は同じ歪み補正座標を持つため共有化でき、歪み補正パラメータ数を削減できる。すなわち、図１８（ｃ）に示すように共有点を考慮すると、交点と格子線分の中点のみ が歪み補正パラメータとなる。
【０１４５】
さらに、図１９に補正パラメータエンコーダ９００のフローチャートを示す。なおこのフローチャートは、先に提案した装置における動作のフローチャート（図３９）を修正したものであり、図中同一符号は同一または相当部分を示す。
【０１４６】
すなわち、図１９において、まずステップＳ１１では、対象画面上の全ての画面に対する歪み補正座標を読み込む。そして、ステップＳ１２では格子の分割方法に従い、画面を格子に分割する。また、ステップＳ１３において、格子線の交点である格子点上のポイントにおける 歪み補正座標をデコードするための補正データとして歪み補正メモリに転送する。さらに、ステップＳ１４において、格子点間に囲まれる格子線分を１つ選択する。
【０１４７】
そして、ステップＳ１５において、選択された格子線分上にあたる全ての点の歪み補正座標をｙ軸，格子線上の距離をｘ軸にとり離散関数を作成して、離散関数を区分ｎ次多項式で近似する。さらにステップＳ１６において、近似された区分ｎ次多項式の有効範囲をｎ分割し、それぞれのｘ値を算出する。またステップＳ１７において、ステップＳ１６で求めたｘの座標に対応する近似された区分ｎ次多項式のｙの値を出する。
【０１４８】
さらに、ステップＳ１８において、ステップＳ１７で求めた有効範囲の両端をのぞくｎ−１点の値を歪み補正座標をデコードするための歪み補正パラメータとして歪み補正メモリ１０２０に転送する。また、ステップＳ１９において、全ての格子線分に関して歪み補正パラメータの導出が終わっていない場合にはステップＳ１４へ戻る。以上の方法よりエンコードする。
【０１４９】
以下に、区分２次多項式の場合を例にとり説明する。すなわち、ｎ次多項式導出部９０２は、格子分割部９１１から得られた格子位置の情報により必要な歪み補正座標を補正パラメータ導出部８００より受け取る。ここで区分２次多項式を用いてデコードするためには、ｎ次多項式導出部９０２において区分２次多項式で最適になる点を選ぶ必要がある。
【０１５０】
ここで、例えば先に提案した装置の説明における図３８に示すようにある格子線分を対象とする。この図３８において、両端の位置と歪み補正座標をそれぞれ、（ｘ０，ｈ（ｘ０）），（ｘ２，ｈ（ｘ２））とする。この時に格子線分の中にある画素すべてに対して（ｘ１，ｈ（ｘ１））として、以下の式よりａ，ｂ，ｃの係数を求める。
【０１５１】
すなわち、
ａ＊ｘ０２ｂ＊ ｘ０ ＋ｃ＝ｖ０
ａ＊ｘ１２ｂ＊ ｘ１ ＋ｃ＝ｖ１
ａ＊ｘ２２ｂ＊ ｘ２ ＋ｃ＝ｖ２
となる。
【０１５２】
従って、対象となっている線分と上記で得られた区分２次多項式とで各点での歪み補正座標の誤差を求める。ここで誤差が最も少なくなる（ｘ１， ｈ（ｘ１ ））が求める点となる。そこで３点から得られるａ，ｂ，ｃから区分２次多項式を作成する。対象とするｘ軸上の点は１点であり、２等分により求める点は（ｘ２−ｘ０）／２ の点となる。
【０１５３】
すなわち、上記の点の歪み補正パラメータを近似式より求めると、
ｈ（ｘ１’） ＝ａ＊［（ ｘ２ −ｘ０）／２］２ ＋ｂ＊［（ ｘ２ −ｘ０）／２］＋ｃ
となる。上記処理を全ての格子線分に関して実行する。このようにして、図１７に示した補正パラメータエンコーダ９００の処理が行われる。
【０１５４】
さらに、補正パラメータデコーダ１０１０の詳細について図２０を用いて説明する。すなわち、補正パラメータデコーダ１０１０は、補正パラメータエンコーダ９１０より得られる歪み補正パラメータより画面の各点の歪み補正座標を信号処理部５００の要求にしたがって復元するブロックである。
【０１５５】
図２０において、補正パラメータデコーダ１０１０は補正パラメータエンコーダ９１０よりｘ，ｙそれぞれの方向の区分位置を示す格子情報が入力される。入力された格子情報は格子情報バッファ１００１に格納される。そして、信号処理部５００より歪み補正を必要とする座標（ｘｔ，ｙｔ ）のリクエストを受けると、格子決定部１００２にてターゲットとなる座標（ｘｔ，ｙｔ ）が包含される格子を格子バッファ１００１の格子位置情報と比較し算出する。
【０１５６】
さらに、求められた格子を囲む４つの格子線分上の歪み補正パラメータの格納されているアドレスを生成し、歪み補正メモリ１０２０にリード要求する。また、同時に決定された格子位置を正規化部１００３に送る。正規化部１００３ではターゲットとなる座標（ｘｔ，ｙｔ ）と格子位置、格子情報より、囲まれた格子４線において利用する相対座標（ｘｔ’， ｙｔ’）を算出する。
【０１５７】
これにより、関数算出部１００４では，得られた各ｎ＋１点の歪み情報を元に区分ｎ次多項式を再構築する。また、関数変換部１００５にて、歪み補正メモリ１０２０より受け取った関数の係数から 平面補間で利用する関数形式に変換する。さらに、平面補間部１００６は関数変換部１００５によって得られた平面関数の係数を用いて平面関数を作成し、それぞれの座標を正規化部１００３より得て所望の歪み補正座標を計算し、計算結果を信号処理部５００に送る。
【０１５８】
このようにして、歪み補正パラメータより画面の各点の歪み補正座標を復元する。さらに、図２１に補正パラメータでコーダ１０１０のフローチャートを示す。なおこのフローチャートは、先に提案した装置における動作のフローチャート（図４１）を修正したものであり、図中同一符号は同一または相当部分を示す。
【０１５９】
すなわち図２１において、まずステップＳ２１で、初期設定として格子情報を読み込む。さらにステップＳ２２で歪み補正の要求があるまで待機（ＷＡＩＴ）する。そしてステップＳ２２で歪み補正パラメータのデコード要求があった場合に、ターゲット点の座標を信号処理部５００より受け取る。さらにステップＳ２３でターゲット点の座標が含まれる格子を決定する。
【０１６０】
また、ステップＳ２４でターゲット点の各格子線分の中での相対座標を求める。そしてステップＳ２５で、格子として囲まれている４格子線分のうち１線選択し、ｎ＋１点の歪み補正パラメータを読み込む。さらに、ステップＳ２６で読み込まれたｎ＋１個の歪み補正パラメータより区分ｎ次多項式を生成する。すなわち、格子として囲まれている４格子線分のうち１線分を選択し、区分ｎ次多項式の歪み補正パラメータ（係数）を読み込む。
【０１６１】
さらに、ステップＳ２７で４格子線分について処理が終わっていなければステップＳ２５へ戻す。また、ステップＳ２８で４つの区分ｎ次多項式より作成される平面関数を導出する。そして、ステップＳ２９で、平面関数を用いて、ターゲット点の歪み補正座標を導出し、次のリクエストまでステップＳ２２にて待機（ＷＡＩＴ）する。以上の方法によりデコードする。
【０１６２】
以下に、区分２次多項式の場合を例にとり、図２２及び図２３を参照して説明する。すなわち、図２２（ａ）の左に示すように、信号処理部５００より得られたアドレス（ｘｔ，ｙｔ ）が当てはまる格子位置を算出する。すなわち、区分２次多項式につき、各格子線分で３点ずつの歪み補正パラメータを読み出す。ただし、図２２の右側の吹き出しに記載しているとおり、格子点上は共有できるので、実際は［４＋（ｎ−１）＊４：ｎ＝２］の８点の読み出しとなる。
【０１６３】
さらに、４格子線分の各線における３点の位置と歪み補正パラメータの関係は図２２（ｂ）に示す通りになる。ここで座標ｘ１’は２等分した中点となるので、それぞれの区分２次多項式と歪み補正パラメータは
ａ＊ｘ０２＋ｂ＊ｘ０ ＋ｃ＝ｈ（ｘ０）
ａ＊ｘ２２＋ｂ＊ｘ２ ＋ｃ＝ｈ（ｘ２）
ａ＊［（ ｘ２ −ｘ０）／２］２ ＋ｂ＊［（ ｘ２ −ｘ０）／２］＋ｃ＝ｈ（ｘ１）’
の式で表される。従って、上記のａ，ｂおよびｃを求めることで、区分２次多項式を再現する。
【０１６４】
すなわち、ｘ０ を基準に正規化すると、上記の式は次になる。
ｘ０ ＝０
ｘ２ ＝格子幅
ｃ＝ｈ（ ｘ０）
ａ＊ｘ２２＋ｂ＊ｘ２ ＋ｃ＝ｈ（ ｘ２）
ａ＊［ｘ２ ／２］２ ＋ｂ＊［ｘ２ ／２］＋ｃ＝ｈ（ ｘ１）’
【０１６５】
よって、図２２（ｃ）に示すように、
ａ＝［｛２＊ｈ（ ｘ２）−４＊ｈ（ ｘ１）’ ＋２＊ｈ（ ｘ０）｝／ｘ２２］
ｂ＝［｛−ｈ（ ｘ２）＋４＊ｈ（ ｘ１）’ −３＊ｈ（ ｘ０）｝／ｘ２ ］
ｃ＝ｈ（ ｘ０）
の区分２次多項式となる。なお、ｘ２ は格子の幅なので、逆数、２乗の逆数は格子情報として保持可能である。
【０１６６】
さらに、関数変換ブロック１００５で、求められた格子のそれぞれの格子線分４線（ｆ（ｘ），ｇ（ｘ），ｍ（ｙ），ｎ（ｙ） ）の関数を求める。なお、ａ，ｂ，ｃ係数は上記の計算で４線とも求める。
【０１６７】
これにより、格子の４格子線分を用いて、ターゲットとなる点の歪み補正座標を求めるが、ここでは、それぞれの関数の係数
ｆ（ｘ） ：ａｆｘ ，ｂｆｘ ，ｃｆｘ
ｇ（ｘ） ：ａｇｘ ，ｂｇｘ ，ｃｇｘ
ｍ（ｙ） ：ａｍｙ ，ｂｍｙ ，ｃｍｙ
ｎ（ｙ） ：ａｎｙ ，ｂｎｙ ，ｃｎｙ
を変形する。
【０１６８】
すなわち、
Ｆ（ｘ） ＝ｆ’（ｘ）＝２＊ａｆｘ ＊ｘ２ ＋（ｂｆｘ −ａｆｘ ）＊ｘ＋ｃｆｘ
Ｇ（ｘ） ＝ｇ’（ｘ）＝２＊ａｇｘ ＊ｘ２ ＋（ｂｇｘ −ａｇｘ ）＊ｘ＋ｃｇｘ
Ｍ（ｙ） ＝ｍ’（ｙ）＝２＊ａｍｙ ＊ｙ２ ＋（ｂｍｙ −ａｍｙ ）＊ｙ＋ｃｍｙ
Ｎ（ｙ） ＝ｎ’（ｙ）＝２＊ａｎｙ ＊ｙ２ ＋（ｂｎｙ −ａｎｙ ）＊ｙ＋ｃｎｙ
となる。
【０１６９】
ここで、正規化ブロック１００３は、格子情報からｘ＿ｔ、ｙ＿ｔをそれぞれ、
ｘｔ’＝ｘｔ −ｘ０
ｙｔ’＝ｙｔ −ｙ０
に変換し、変換したｘｔ、ｙｔを上記の関数に代入する。そして、平面補間ブロック１００５で、求めた新たな４関数とｘｔ’、ｙｔ’により、ターゲット点の歪み補正座標を求める。
【０１７０】
すなわち、対象点の歪み補正座標Ｖｔａｒｇｅｔは、
Ｖｔａｒｇｅｔ
＝（ １／２） ＊｛（ １−ｙｔ’） ＊Ｆ（ｘｔ’） ＋ｙｔ’＊Ｇ（ｘｔ’）
＋（ １−ｘｔ’） ＊Ｎ（ｙｔ’） ＋ｘ＿ｔ’＊Ｍ（ｙｔ’） ｝
で計算される。このようにして、図２０に示した補正パラメータデコーダ１０１０の処理が行われる。なお、この様子を図２３に示す。
【０１７１】
さらに、図２４は、図２に示された画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１の構成を示す図である。なお、図２４は、画像処理装置２が（４×４）タップの１６画素の画像データを利用した補間演算によって各画素の画像データを生成する場合の構成を示す。
【０１７２】
図２４に示されるように、画像メモリ６０２はセレクタ６７と、垂直タップ数より１だけ大きな５つのメモリ、すなわちＡメモリ７１とＢメモリ７２、Ｃメモリ７３、Ｄメモリ７４、及びＥメモリ７５を含み、データ取得部２９は制御部８０とＡバッファ８１、Ｂバッファ８２、Ｃバッファ８３、Ｄバッファ８４、Ｅバッファ８５、サイクル分割部５６０、及びセレクタ９６〜９９を含む。なお、サイクル分割部５６０はセレクタ９１〜９５を含む。
【０１７３】
ここで、データ取得部２９には、上記のように垂直タップ数より１だけ多い５つのバッファ（Ａバッファ８１からＥバッファ８５）及び対応する５つのセレクタ９１〜９５と、垂直タップ数である４つのセレクタ９６〜９９が含まれることになる。
【０１７４】
また、データ補間計算部３１は４つのレジスタ９０１及び乗算回路９０２と加算回路４３を含む。
【０１７５】
上記において、セレクタ６７はデータ補間計算部２６及び制御部８０に接続され、Ａメモリ７１とＢメモリ７２、Ｃメモリ７３、Ｄメモリ７４、及びＥメモリ７５はセレクタ６７に接続される。
【０１７６】
また、制御部８０は画歪補正パラメータデコーダ３４に接続され、Ａバッファ８１はＡメモリ７１に接続され、Ｂバッファ８２はＢメモリ７２に接続される。同様に、Ｃバッファ８３はＣメモリ７３に接続され、Ｄバッファ８４はＤメモリ７４に接続され、Ｅバッファ８５はＥメモリ７５に接続される。
【０１７７】
また、セレクタ９１はＡバッファ８１に接続され、セレクタ９２はＢバッファ８２に接続され、セレクタ９３はＣバッファ８３に接続される。同様に、セレクタ９４はＤバッファ８４に接続され、セレクタ９５はＥバッファ８５に接続される。また、セレクタ９６〜９９はそれぞれ５つのセレクタ９１〜９５に接続される。なお、セレクタ９１〜９９はそれぞれ制御部８０により制御される。
【０１７８】
また、セレクタ９６〜９９にはそれぞれレジスタ９０１が接続され、各レジスタ９０１には乗算回路９０２が接続される。そして、４つの乗算回路９０２は一つの加算回路４３が接続される。
【０１７９】
ここで、上記のように、データ補間計算部２６により水平方向の補間処理がなされたデータは画像メモリ６０２へ書き込まれ、同時にデータ取得部２９により画像メモリ６０２から取得されたデータに垂直方向の補間処理が施されるため、処理待ち時間としてのフレーム遅延を生じさせることなく画歪み補正が実行される。
【０１８０】
以下において、図２４に示された画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１の動作を詳しく説明する。まず、水平方向の補間処理がなされたデータはデータ補間計算部２６から順次セレクタ６７へ供給されるが、該データは制御部８０により制御されるセレクタ６７によってＡメモリ７１からＥメモリ７５までの５つのメモリへ振り分けられて格納される。
【０１８１】
そして、Ａメモリ７１に格納されたデータはＡバッファ８１を介してセレクタ９１へ供給され、Ｂメモリ７２に格納されたデータはＢバッファ８２を介してセレクタ９２へ供給される。同様に、Ｃメモリ７３に格納されたデータはＣバッファ８３を介してセレクタ９３へ供給され、Ｄメモリ７４に格納されたデータはＤバッファ８４を介してセレクタ９４へ供給され、Ｅメモリ７５に格納されたデータはＥバッファ８５を介してセレクタ９５へ供給される。
【０１８２】
ここで、サイクル分割部５６０に含まれた各セレクタ９１〜９５は、制御部８０による制御に応じて、Ａバッファ８１からＥバッファ８５へ例えば２画素単位で読み出されたデータを分割し、１サイクル毎に１画素分のデータをセレクタ９６〜９９へ供給する。
【０１８３】
そして、各セレクタ９６〜９９はセレクタ９１〜９５から供給されたデータを制御部８０による制御により選択的にレジスタ９０１へ出力する。これより、垂直方向の補間処理に必要なタップ数である４つのデータが、選択的にデータ補間計算部３１へ供給されることになる。
【０１８４】
さらに、レジスタ９０１に格納された各データは、各乗算回路９０２において補間係数Ｃ０〜Ｃ３との間で積がとられ、該４つの積が加算回路４３で加算されることにより垂直方向の補間演算が施され、出力データバッファ３２へ供給される。
【０１８５】
ここで、図２５を参照しつつ、本発明の実施の形態に係る画像処理装置２の動作を説明する。なお、図２５（ａ）〜（ｄ）においては、１フレーム分の画像データが示される。
【０１８６】
まず図２５（ａ）に示されるように、時刻Ｔ１から信号処理部１０へ画像データが入力されると、時刻Ｔ２から水平１次元補間部５０１により水平方向の補間処理が施される。そして、図２５（ｃ）に示されるように、水平方向の補間処理が施された画像は時刻Ｔ２以降において、画像メモリ６０２に含まれたＡメモリ７１からＥメモリ７５へ順次書き込まれる。
【０１８７】
ここで、例えば奇数サイクルにおいて画像メモリ６０２からデータ取得部２９へ垂直処理用のデータが読み出され、偶数サイクルにおいてデータ補間計算部２６から水平処理がなされたデータが画像メモリ６０２へ書き込まれることによって、２サイクル周期による歪み補正処理が実行される。
【０１８８】
このとき、図２６に示されるように、画像１０２における水平ラインの最大歪み曲線１０４における垂直方向の最大歪み量に応じたライン数分のデータＤｍｘが画像メモリ６０２に格納された時刻Ｔ３から、各ラインの垂直方向における補間演算が順次実行される。従って、該補間演算における遅延時間は時刻Ｔ１から時刻Ｔ３までとされ、１フレーム分のデータに水平方向の補間処理が施される時間（フレーム遅延）を待ち時間とする必要がないため、リアルタイムに画歪み補正を実行することができる。
【０１８９】
また、全体として画像メモリ６０２は、垂直方向においては上記最大歪み量に対応したライン数と垂直処理用タップ数（例えば４タップ）を加算した数、水平方向においては信号処理部１０へ入力された画像の水平方向画素数分のデータを記憶するメモリ容量を有する。なお、図２４に示されたＡメモリ７１からＥメモリ７５までの５つのメモリは例えば同容量とされ、各メモリのポート幅は例えば３２ビットとされる。
【０１９０】
ここで、画像１０２の領域１０２Ｐにおけるデータを画像メモリ６０２へ格納する方法が図２７に示される。なお、図２７において「Ａ」から「Ｅ」は、それぞれ図２４に示された「Ａメモリ」７１から「Ｅメモリ」７５を意味する。また、上記のように各メモリのポート幅が３２ビットで、１画素分のデータがＹ信号（輝度情報）とＣ信号（色差情報）を含む１６ビットからなる場合には、セレクタ６７は２画素分のデータを単位として該データをＡメモリ７１からＥメモリ７５へ順次格納する。
【０１９１】
すなわちセレクタ６７は、図２７に示されるように、まず０ライン目の０から２３画素目までのデータをＡメモリ７１に格納し、次に１ライン目の０から２３画素目までのデータをＢメモリ７２に格納する。また同様に、セレクタ６７は２ライン目の０から２３画素目までのデータをＣメモリ７３に格納し、３ライン目の０から２３画素目までのデータをＤメモリ７４に格納し、４ライン目の０から２３画素目までのデータをＥメモリ７５に格納する。なお、セレクタ６７は、以下同様に各ラインのデータをライン毎に順次Ａメモリ７１からＥメモリ７５へ格納する。
【０１９２】
以下において、データ取得部２９に垂直タップ数より１多い数のバッファが必要とされる理由を説明する。歪みを持った画像１０２を局所的に見た場合、図２８（ａ）〜（ｃ）のパターン１から３に示されるように、水平方向に隣接する２画素間においては画像データが垂直方向に２画素以上移動していることはない。
【０１９３】
すなわち、図２８（ａ）のパターン１に示されるように水平方向に隣接する画素間で該画像データは垂直方向に全く移動しないか、図２８（ｂ）や図２８（ｃ）のパターン２やパターン３に示されるように垂直方向に１画素分移動するものの、図２９（ａ）や図２９（ｂ）に示されるように、水平方向に隣接する画素間で該画像データが垂直方向に２画素分以上移動することはない。
【０１９４】
ここで、該垂直４タップ処理においては、図３０に示されるように中心画素Ｉｃに対して垂直方向に隣接する３つの周辺画素Ｉｐを含めた４画素のデータを用いてフィルタリング処理が実行される。
【０１９５】
このとき、図３１に示されるように、画像メモリ６０２に含まれたＡメモリ７１からＥメモリ７５の５つのメモリは、例えばそれぞれ３２ビットのポートを持つものとされ、この場合には１回のアクセスにより該各ポートを介して１６ビットの画像データが２画素分出力される。
【０１９６】
すなわち、図３１に示されるように、１回のアクセスによってＡメモリ７１からは各々１６ビットからなる画像データＩａ０，Ｉａ１が２画素単位で読み出され、Ｂメモリ７２からは各々１６ビットからなる画像データＩｂ０，Ｉｂ１が２画素単位で読み出され、Ｃメモリ７３からは各々１６ビットからなる画像データＩｃ０，Ｉｃ１が２画素単位で読み出される。また同様に、Ｄメモリ７４からは各々１６ビットからなる画像データＩｄ０，Ｉｄ１が２画素単位で読み出され、Ｅメモリ７５からは各々１６ビットからなる画像データＩｅ０，Ｉｅ１が２画素単位で読み出される。
【０１９７】
このように、隣接する２画素分の画像データを垂直方向にタップ数より１だけ多く読み出すことによって、隣接画素間の変化が図２８（ａ）から図２８（ｃ）に示されるパターン１からパターン３までのいずれであっても、各列において同じ処理が実行される。すなわち例えば図３１の斜線部に示されるように、各列において中心画素Ｉｃの１つ上の画素から２つ下の画素まで垂直方向に並ぶ４つの画素における画像データを対象としたフィルタリング処理を実行することにより、水平方向に隣接する２画素の画像データがそれぞれ生成される。
【０１９８】
なお、隣接画素間の該変化が図２８（ａ）から図２８（ｃ）に示されたパターン１からパターン３のどれにあたるかは、制御部８０により該フィルタリング処理前に予め識別される。
【０１９９】
より具体的には、制御部８０が画歪補正パラメータデコーダ３４から水平方向に隣接する２列における２つの中心画素Ｉｃのｙ座標を受け、該ｙ座標の差に応じてセレクタ９６〜９９を制御することにより、図３１の斜線部に示された画像データがフィルタリング処理の対象として選択的にデータ補間計算部３１へ供給される。
【０２００】
なお、上記においては例として４タップのフィルタリング処理を説明したが、本発明の実施の形態に係る画像処理方法は、画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１をタップ数に応じた構成とし、画像メモリ６０２に対するデータの入出力サイクルを変更することによって４タップ以外のフィルタリング処理にも適用することができることはいうまでもない。
【０２０１】
また、本発明は、画像処理方法を適用した撮像装置、表示装置にも適用可能であり、表示装置においては、ミスコンバージェンス補正などへも充分に適用できる。
【０２０２】
以上より、本発明の実施の形態に係る画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置によれば、撮像された光学歪みを伴う画像に対して水平及び垂直方向に１次元補間演算が施され、補正ベクトルが効率的に利用されるため、静止画像だけでなくリアルタイム処理が必要な動画像に対する歪み補正が簡易な構成により実現され、歪みの無い高画質な画像を容易に得ることができる。
【０２０３】
また、本発明の実施の形態に係る画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置によれば、信号処理によりリアルタイムに画像の歪みを補正することができるため、レンズ設計の自由度を高めることができ、レンズの小型化やレンズの低コスト化を容易に実現することができる。
【０２０４】
さらに、本発明の実施の形態に係る画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置によれば、必要なメモリの容量を削減することができる。なお、本発明においては、ｘ方向：ｍ分割、ｙ方向：ｎ分割とすると、３ｎ＊ｍ＋ｎ＋ｍ−１のメモリ削減効果が得られる。
【０２０５】
すなわち、ｋ次多項式、ｘ方向：ｍ分割、ｙ方向：ｎ分割とすると、図４２より、区分される格子線分ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）である。この場合に、必要な歪み補正パラメータ数は、従来の（ｋ＋１）｛ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）｝から、本発明においては、（ｎ＋１）＊（ｍ＋１）＋（ｋ−１）｛ｎ＊（ｍ＋１）＋ｍ＊（ｎ＋１）｝に削減でき、３ｎ＊ｍ＋ｎ＋ｍ−１の削減効果を得ることができる。
【０２０６】
【発明の効果】
本発明に係る画像処理装置と画像処理システム及び画像処理方法によれば、低コストでリアルタイムに原画像の歪みを補正することができるため、高品質な画像を容易に得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】図１に示された信号処理部の構成を示すブロック図である。
【図３】図２に示された信号処理部により実行される１次元補間演算の概要を説明する図である。
【図４】図２に示されたデータ補間計算部に含まれる水平処理回路の構成を示す図である。
【図５】図２に示された水平１次元補間部の動作を示す第一のフローチャート図である。
【図６】図２に示された水平１次元補間部の動作を示す第二のフローチャート図である
【図７】図５及び図６に示された動作を説明する図である。
【図８】水平１次元補間における等倍変換の一例を示す図である。
【図９】図８に示された等倍変換の動作タイミングを示すタイミング図である。
【図１０】水平１次元補間における水平拡大変換の一例を示す図である。
【図１１】図１０に示された水平拡大変換の動作タイミングを示すタイミング図である。
【図１２】図２に示された垂直１次元補間部の動作を示す第一のフローチャート図である。
【図１３】図２に示された垂直１次元補間部の動作を示す第二のフローチャート図である。
【図１４】図１２及び図１３に示された動作を説明する図である。
【図１５】垂直１次元補間における垂直拡大変換の一例を示す図である。
【図１６】図１に示された前処理装置及び補正パラメータデコーダの動作の概要を示すフローチャート図である。
【図１７】図１に示された補正パラメータエンコーダの構成を示すブロック図である。
【図１８】図１７に示された格子分割部の動作の概要を説明する図である。
【図１９】最適分割の方法を示す第一のフローチャート図である。
【図２０】最適分割の方法を示す第二のフローチャート図である。
【図２１】図１９及び図２０に示された動作を説明する図である。
【図２２】図２に示されたｘ方向用の画歪補正パラメータデコーダの構成を示すブロック図である。
【図２３】図２２に示された補正パラメータデコーダの動作を説明する図である。
【図２４】図２に示された画像メモリとデータ取得部及びデータ補間計算部の構成を示す図である。
【図２５】水平１次元補間処理及び垂直１次元補間処理のタイミングを示すタイミング図である。
【図２６】水平１次元補間及び垂直１次元補間を実行するために必要なメモリ容量を説明する図である。
【図２７】図２４に示された画像メモリへのデータ格納方法を説明する図である。
【図２８】隣接画素における垂直方向の取り得る変化パターンを示す図である。
【図２９】隣接画素における垂直方向の有り得ない変化パターンを示す図である。
【図３０】垂直４タップ処理を説明する図である。
【図３１】図２４に示された画像メモリからのデータ読み出し方法を説明する図である。
【図３２】従来における画像処理装置の構成を示すブロック図である。
【図３３】図３２に示された画像処理装置の動作の概要を示すフローチャート図である。
【図３４】先に提案した画像処理システムの構成を示すブロック図である。
【図３５】図３４に示された補正パラメータエンコーダの構成を示すブロック図である。
【図３６】図３５に示された格子分割部の動作の概要を説明する図である。
【図３７】図３５に示された格子分割部の動作の概要を説明する図である。
【図３８】図３５に示された格子分割部の動作の概要を説明する図である。
【図３９】画歪み補正の方法を示すフローチャート図である。
【図４０】図３４に示されたｘ方向用の画歪補正パラメータデコーダの構成を示すブロック図である。
【図４１】補正パラメータデコーダの動作を説明するフローチャート図である。
【図４２】図４０に示された補正パラメータデコーダの動作を説明する図である。
【符号の説明】
１００…画像処理装置、２００…レンズ、３００…撮像素子、４００…データ変換部、５００…信号処理部、６００…画像メモリ、７００…制御マイコン、８００…補正パラメータ導出部、９００…補正パラメータエンコーダ、９０２…ｎ次多項式導出部、９０３…サンプル点導出部、９１１…格子分割部、１０１０…補正パラメータデコーダ、１１００…記録部、１２００…再生部、１３００…表示系処理部、１４００…メディア、１５００…前処理装置、１６００…同期信号生成部
Claims (28)
- 画像を取り込む入力手段と、
画像の信号処理を行う信号処理手段と、
歪の補正データを導出するためのパラメータ導出手段と、
格子で画面を区切る格子分割手段と、
前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して演算に必要なデータを圧縮するパラメータ圧縮手段と、
前記圧縮された必要なデータを保持するパラメータ保持手段と、
圧縮されたデータを区分ごとの範囲で伸張し、歪補正に利用するパラメータデコード手段と、
前記信号処理とデコードの動作を制御する制御手段と、
画像を出力若しくは保存する出力手段と
を用いて実現する画像処理方法。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で均等に区切る
ことを特徴とする請求項１に記載の画像処理方法。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で非均等に２のべき乗の幅で区切る
ことを特徴とする請求項１に記載の画像処理方法。 - 前記格子分割手段は、圧縮するための位置を決定するために誤差が最小となるような最適点とその分割数を演算から求める
ことを特徴とする請求項１に記載の画像処理方法。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で均等に区切ると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項１に記載の画像処理方法。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で非均等に２のべき乗の幅で区切ると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項１に記載の画像処理方法。 - 前記格子分割手段は、圧縮するための位置を決定するために誤差が最小となるような最適点とその分割数を演算から求めると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項１に記載の画像処理方法。 - 画像を取り込む入力手段と、
画像の信号処理を行う信号処理手段と、
歪の補正データを導出するためのパラメータ導出手段と、
格子で画面を区切る格子分割手段と、
前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して演算に必要なデータを圧縮するパラメータ圧縮手段と、
前記圧縮された必要なデータを保持するパラメータ保持手段と、
圧縮されたデータを区分ごとの範囲で伸張し、歪補正に利用するパラメータデコード手段と、
前記信号処理とデコードの動作を制御する制御手段と、
画像を出力若しくは保存する出力手段と
を備えたことを特徴とする画像処理装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で均等に区切る
ことを特徴とする請求項８に記載の画像処理装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で非均等に２のべき乗の幅で区切る
ことを特徴とする請求項８に記載の画像処理装置。 - 前記格子分割手段は、圧縮するための位置を決定するために誤差が最小となるような最適点とその分割数を演算から求める
ことを特徴とする請求項８に記載の画像処理装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で均等に区切ると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項８に記載の画像処理装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で非均等に２のべき乗の幅で区切ると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項８に記載の画像処理装置。 - 前記格子分割手段は、圧縮するための位置を決定するために誤差が最小となるような最適点とその分割数を演算から求めると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項８に記載の画像処理装置。 - 画像を取り込む入力手段と、
画像の信号処理を行う信号処理手段と、
歪の補正データを導出するためのパラメータ導出手段と、
格子で画面を区切る格子分割手段と、
前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して演算に必要なデータを圧縮するパラメータ圧縮手段と、
前記圧縮された必要なデータを保持するパラメータ保持手段と、
圧縮されたデータを区分ごとの範囲で伸張し、歪補正に利用するパラメータデコード手段と、
前記信号処理とデコードの動作を制御する制御手段と、
画像を出力若しくは保存する出力手段と
を用いて実現する画像処理方法を適用した撮像装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で均等に区切る
ことを特徴とする請求項１５に記載の画像処理方法を適用した撮像装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で非均等に２のべき乗の幅で区切る
ことを特徴とする請求項１５に記載の画像処理方法を適用した撮像装置。 - 前記格子分割手段は、圧縮するための位置を決定するために誤差が最小となるような最適点とその分割数を演算から求める
ことを特徴とする請求項１５に記載の画像処理方法を適用した撮像装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で均等に区切ると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項１５に記載の画像処理方法を適用した撮像装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で非均等に２のべき乗の幅で区切ると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項１５に記載の画像処理方法を適用した撮像装置。 - 前記格子分割手段は、圧縮するための位置を決定するために誤差が最小となるような最適点とその分割数を演算から求めると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項１５に記載の画像処理方法を適用した撮像装置。 - 画像を取り込む入力手段と、
画像の信号処理を行う信号処理手段と、
歪の補正データを導出するためのパラメータ導出手段と、
格子で画面を区切る格子分割手段と、
前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して演算に必要なデータを圧縮するパラメータ圧縮手段と、
前記圧縮された必要なデータを保持するパラメータ保持手段と、
圧縮されたデータを区分ごとの範囲で伸張し、歪補正に利用するパラメータデコード手段と、
前記信号処理とデコードの動作を制御する制御手段と、
画像を表示する表示手段と
を用いて実現する画像処理方法を適用した表示装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で均等に区切る
ことを特徴とする請求項２２に記載の画像処理方法を適用した表示装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で非均等に２のべき乗の幅で区切る
ことを特徴とする請求項２２に記載の画像処理方法を適用した表示装置。 - 前記格子分割手段は、圧縮するための位置を決定するために誤差が最小となるような最適点とその分割数を演算から求める
ことを特徴とする請求項２２に記載の画像処理方法を適用した表示装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で均等に区切ると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項２２に記載の画像処理方法を適用した表示装置。 - 前記格子分割手段は、圧縮するための位置を決定するためにパラメータを格子で非均等に２のべき乗の幅で区切ると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項２２に記載の画像処理方法を適用した表示装置。 - 前記格子分割手段は、圧縮するための位置を決定するために誤差が最小となるような最適点とその分割数を演算から求めると共に、
前記パラメータ圧縮手段は、前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置及び前記パラメータ導出手段より得られたデータを利用して格子両端及びその格子線分をｎ分割することで得られる内分点ｎ−１を演算に必要なデータとして保持し、
前記パラメータデコード手段は、圧縮されたデータを区分ごとの範囲で区分の両端とその間の点にあたるｎ−１点よりｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
ことを特徴とする請求項２２に記載の画像処理方法を適用した表示装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003022642A JP2004234379A (ja) | 2003-01-30 | 2003-01-30 | 画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置 |
| US10/760,674 US7352915B2 (en) | 2003-01-30 | 2004-01-21 | Image processing method, image processing apparatus and image pickup apparatus and display apparatus suitable for the application of image processing method |
| US11/926,714 US7418155B2 (en) | 2003-01-30 | 2007-10-29 | Image processing method, image processing apparatus and image pickup apparatus and display apparatus suitable for the application of image processing method |
| US11/929,575 US7424172B2 (en) | 2003-01-30 | 2007-10-30 | Image processing method, image processing apparatus and image pickup apparatus and display apparatus suitable for the application of image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003022642A JP2004234379A (ja) | 2003-01-30 | 2003-01-30 | 画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004234379A true JP2004234379A (ja) | 2004-08-19 |
Family
ID=32951663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003022642A Pending JP2004234379A (ja) | 2003-01-30 | 2003-01-30 | 画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US7352915B2 (ja) |
| JP (1) | JP2004234379A (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007108081A1 (ja) * | 2006-03-20 | 2007-09-27 | Fujitsu Limited | 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法 |
| JP2008079202A (ja) * | 2006-09-25 | 2008-04-03 | Sony Corp | 画像処理装置および画像処理方法、並びにカメラシステム |
| JP2008512767A (ja) * | 2004-09-09 | 2008-04-24 | シリコン オプティックス インコーポレイテッド | 一般的な２次元空間変換の表現システム及び方法 |
| JP2008140401A (ja) * | 2007-12-14 | 2008-06-19 | Sanyo Electric Co Ltd | 運転支援装置 |
| JP2008526055A (ja) * | 2004-12-07 | 2008-07-17 | シリコン オプティックス インコーポレイテッド | 動的ワープマップ生成システムおよび方法 |
| JP2009177651A (ja) * | 2008-01-26 | 2009-08-06 | Sanyo Electric Co Ltd | 歪補正装置 |
| JP2009230688A (ja) * | 2008-03-25 | 2009-10-08 | Mega Chips Corp | 画像処理装置 |
| US8242975B2 (en) | 2008-01-10 | 2012-08-14 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, and system |
| US8537244B2 (en) | 2009-12-16 | 2013-09-17 | Samsung Electronics Co., Ltd. | Image processing apparatus and method, and computer-readable medium having stored thereon computer program for executing the method |
| US8952973B2 (en) | 2012-07-11 | 2015-02-10 | Samsung Electronics Co., Ltd. | Image signal processor and method of operating the same |
| JP2015198279A (ja) * | 2014-03-31 | 2015-11-09 | ヤマハ株式会社 | データ復元装置、およびデータ生成方法 |
| JP2015226149A (ja) * | 2014-05-27 | 2015-12-14 | 三菱電機株式会社 | 画像処理システム、撮像装置及び記録装置 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7450165B2 (en) * | 2003-05-02 | 2008-11-11 | Grandeye, Ltd. | Multiple-view processing in wide-angle video camera |
| US20100002070A1 (en) | 2004-04-30 | 2010-01-07 | Grandeye Ltd. | Method and System of Simultaneously Displaying Multiple Views for Video Surveillance |
| JP4095491B2 (ja) * | 2003-05-19 | 2008-06-04 | 本田技研工業株式会社 | 距離測定装置、距離測定方法、及び距離測定プログラム |
| JP2005229200A (ja) * | 2004-02-10 | 2005-08-25 | Fujitsu Ltd | ディストーション補正回路 |
| JP4104571B2 (ja) * | 2004-03-29 | 2008-06-18 | 三洋電機株式会社 | 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置 |
| JP4310645B2 (ja) * | 2004-12-28 | 2009-08-12 | ソニー株式会社 | 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置 |
| US20070126892A1 (en) * | 2005-11-30 | 2007-06-07 | Haike Guan | Correcting an image captured through a lens |
| KR101014572B1 (ko) * | 2007-08-27 | 2011-02-16 | 주식회사 코아로직 | 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치 |
| US9837013B2 (en) * | 2008-07-09 | 2017-12-05 | Sharp Laboratories Of America, Inc. | Methods and systems for display correction |
| WO2010131210A1 (en) * | 2009-05-14 | 2010-11-18 | Lord Ingenierie | A system and method for correcting non-uniformity defects in captured digital images |
| JP5369982B2 (ja) * | 2009-08-06 | 2013-12-18 | 株式会社リコー | 画像処理装置および画像処理方法 |
| DE102011007644A1 (de) * | 2011-04-19 | 2012-10-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Bestimmung von zur Entzerrung eines Bildes geeigneten Werten und zur Entzerrung eines Bildes |
| JP6015189B2 (ja) * | 2011-08-16 | 2016-10-26 | 株式会社リコー | 画像検査装置、画像形成装置、画像検査方法及び画像形成システム |
| JP5924020B2 (ja) * | 2012-02-16 | 2016-05-25 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
| US8924316B2 (en) | 2012-07-31 | 2014-12-30 | Hewlett-Packard Development Company, L.P. | Multiclass classification of points |
| US8760327B2 (en) * | 2012-10-25 | 2014-06-24 | Hewlett-Packard Development Company, L.P. | Coordinate compression using polynomials |
| CN105245765A (zh) * | 2015-07-20 | 2016-01-13 | 联想(北京)有限公司 | 图像传感阵列及其排布方法、图像采集部件、电子设备 |
| WO2017020150A1 (zh) * | 2015-07-31 | 2017-02-09 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及摄像机 |
| CN107220925B (zh) * | 2017-05-05 | 2018-10-30 | 珠海全志科技股份有限公司 | 一种实时虚拟现实加速方法及装置 |
| CN107665483B (zh) * | 2017-09-27 | 2020-05-05 | 天津智慧视通科技有限公司 | 免定标便捷的单目镜头鱼眼图像畸变矫正方法 |
| DE102017222747A1 (de) * | 2017-12-14 | 2019-06-19 | Henkel Ag & Co. Kgaa | Beschädigungsfreies Ermitteln der Dicke von Haupthaar |
| US11733773B1 (en) | 2020-12-29 | 2023-08-22 | Meta Platforms Technologies, Llc | Dynamic uniformity correction for boundary regions |
| US11681363B2 (en) * | 2021-03-29 | 2023-06-20 | Meta Platforms Technologies, Llc | Waveguide correction map compression |
| US11754846B2 (en) | 2022-01-21 | 2023-09-12 | Meta Platforms Technologies, Llc | Display non-uniformity correction |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61175780A (ja) | 1985-01-30 | 1986-08-07 | Hitachi Ltd | 画像の幾何学的歪補正方式 |
| DE3843232A1 (de) | 1988-12-22 | 1990-06-28 | Philips Patentverwaltung | Schaltungsanordnung zur geometrischen bildtransformation |
| JP2791231B2 (ja) * | 1991-04-17 | 1998-08-27 | 三菱電機株式会社 | Ｘ線画像診断装置の糸巻歪補正方法 |
| JP2940736B2 (ja) | 1992-03-26 | 1999-08-25 | 三洋電機株式会社 | 画像処理装置及びこの画像処理装置における歪み補正方法 |
| JPH11149549A (ja) | 1997-11-17 | 1999-06-02 | Toshiba Corp | 画像処理装置 |
| JP4278800B2 (ja) | 1999-10-27 | 2009-06-17 | 株式会社ミツトヨ | 撮像空間の幾何学的歪み解消方法 |
| JP2002074351A (ja) * | 2000-08-30 | 2002-03-15 | Minolta Co Ltd | 歪み補正装置およびその方法ならびに歪み補正プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2002230572A (ja) | 2000-11-28 | 2002-08-16 | Monolith Co Ltd | 映像効果方法と装置および画像補間方法と装置 |
| US7126616B2 (en) * | 2001-06-12 | 2006-10-24 | Silicon Optix Inc. | Method and system for processing a non-linear two dimensional spatial transformation |
| JP4378168B2 (ja) | 2001-07-12 | 2009-12-02 | ディーエックスオー ラブズ | 光学系を使用して出力されたカラーイメージの色収差を補正する方法およびシステム |
| FR2827459B1 (fr) * | 2001-07-12 | 2004-10-29 | Poseidon | Procede et systeme pour fournir a des logiciels de traitement d'image des informations formatees liees aux caracteristiques des appareils de capture d'image et/ou des moyens de restitution d'image |
| JP4144292B2 (ja) | 2002-08-20 | 2008-09-03 | ソニー株式会社 | 画像処理装置と画像処理システム及び画像処理方法 |
-
2003
- 2003-01-30 JP JP2003022642A patent/JP2004234379A/ja active Pending
-
2004
- 2004-01-21 US US10/760,674 patent/US7352915B2/en not_active Expired - Fee Related
-
2007
- 2007-10-29 US US11/926,714 patent/US7418155B2/en not_active Expired - Fee Related
- 2007-10-30 US US11/929,575 patent/US7424172B2/en not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008512767A (ja) * | 2004-09-09 | 2008-04-24 | シリコン オプティックス インコーポレイテッド | 一般的な２次元空間変換の表現システム及び方法 |
| JP2008526055A (ja) * | 2004-12-07 | 2008-07-17 | シリコン オプティックス インコーポレイテッド | 動的ワープマップ生成システムおよび方法 |
| JPWO2007108081A1 (ja) * | 2006-03-20 | 2009-07-30 | 富士通株式会社 | 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法 |
| WO2007108081A1 (ja) * | 2006-03-20 | 2007-09-27 | Fujitsu Limited | 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法 |
| JP2008079202A (ja) * | 2006-09-25 | 2008-04-03 | Sony Corp | 画像処理装置および画像処理方法、並びにカメラシステム |
| JP2008140401A (ja) * | 2007-12-14 | 2008-06-19 | Sanyo Electric Co Ltd | 運転支援装置 |
| US8242975B2 (en) | 2008-01-10 | 2012-08-14 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, and system |
| JP2009177651A (ja) * | 2008-01-26 | 2009-08-06 | Sanyo Electric Co Ltd | 歪補正装置 |
| US8335398B2 (en) | 2008-01-26 | 2012-12-18 | Sanyo Electric Co., Ltd. | Zoom lens distortion correcting apparatus |
| JP2009230688A (ja) * | 2008-03-25 | 2009-10-08 | Mega Chips Corp | 画像処理装置 |
| US8537244B2 (en) | 2009-12-16 | 2013-09-17 | Samsung Electronics Co., Ltd. | Image processing apparatus and method, and computer-readable medium having stored thereon computer program for executing the method |
| US8952973B2 (en) | 2012-07-11 | 2015-02-10 | Samsung Electronics Co., Ltd. | Image signal processor and method of operating the same |
| JP2015198279A (ja) * | 2014-03-31 | 2015-11-09 | ヤマハ株式会社 | データ復元装置、およびデータ生成方法 |
| JP2015226149A (ja) * | 2014-05-27 | 2015-12-14 | 三菱電機株式会社 | 画像処理システム、撮像装置及び記録装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7418155B2 (en) | 2008-08-26 |
| US20080063292A1 (en) | 2008-03-13 |
| US20080062288A1 (en) | 2008-03-13 |
| US20040207733A1 (en) | 2004-10-21 |
| US7352915B2 (en) | 2008-04-01 |
| US7424172B2 (en) | 2008-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004234379A (ja) | 画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置 | |
| JP4144292B2 (ja) | 画像処理装置と画像処理システム及び画像処理方法 | |
| US7596286B2 (en) | Image processing apparatus, image processing system, imaging apparatus and image processing method | |
| CN100418358C (zh) | 像素插值装置及照相机装置 | |
| TW409210B (en) | Continuous tone compression/decompression apparatus and method, data process apparatus and device, and memory media for storing the programs executing these methods | |
| JP4337463B2 (ja) | 画像処理装置、画像処理システム、撮像装置および画像処理方法 | |
| US8928782B2 (en) | Image processing device and image capture device | |
| US20210090220A1 (en) | Image de-warping system | |
| JP4285575B2 (ja) | 画像処理装置とカメラシステム及び画像処理方法 | |
| US7269785B1 (en) | Digital manipulation of video in digital video player | |
| US20090091585A1 (en) | Screen enlargement/reduction device | |
| JP4720626B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| JP2005063154A (ja) | 画像処理装置、画像処理システム、撮像装置および画像処理方法 | |
| JP4803224B2 (ja) | 画像処理装置、画像処理システム、撮像装置および画像処理方法 | |
| JP2004080427A (ja) | 撮像装置、及び画像形式変換方法 | |
| JP3632993B2 (ja) | 電子ズーム装置及び電子ズーム方法 | |
| JP2002101296A (ja) | 画像処理方法及び画像処理装置 | |
| JP3882828B2 (ja) | 電子ズーム装置及び電子ズーム方法 | |
| JP2009065323A (ja) | 画像処理装置、画像処理方法、撮像装置および撮像方法 | |
| JP4465843B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP2000069280A (ja) | 画像信号形成装置及び方法、画素補間装置及び方法並びに記憶媒体 | |
| JP2008079202A (ja) | 画像処理装置および画像処理方法、並びにカメラシステム | |
| JPH07177408A (ja) | 信号処理装置 | |
| GB2373950A (en) | Image processing apparatus and method, and recording medium | |
| JPH06225212A (ja) | デジタル画像信号の補間方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070502 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070605 |