JP2004056474A - 画像処理装置とそのためのプログラム - Google Patents

Abstract

【課題】装置全体の処理遅延がなく、縮小率を蓄えるためのメモリも必要としない画像処理装置を提供する。
【解決手段】画像処理装置１０に、入力画像データに対し、画像変形に伴う画像の縮小率に基づいて決定したフィルタ係数を用いてデジタル折り返し歪除去のフィルタ処理を行うフィルタ処理手段１１と、処理された入力画像データを蓄積し、与えられた読出しアドレスに蓄積されている画像データを読出す画像メモリ手段１２と、縮小率を画像変形の変形パラメータから直接求めてフィルタ処理手段に与える縮小率生成手段１３と、縮小率生成手段とは別に画像変形の変形パラメータから読出しアドレスを生成して画像メモリ手段に与える読出しアドレス生成手段１４とを設ける。この構成で処理遅延がなく、縮小率を一旦メモリに蓄えることなく、画像変形に適応したデジタル折り返し歪除去のためのフィルタ処理ができる。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、２次元または３次元の映像効果（ビデオエフェクト）を実現する画像処理装置と、その画像処理装置を用いた３次元特殊効果装置と、その画像処理装置の動作を規定するコンピュータプログラムと、そのプログラムが記録された記録媒体に関し、特に、迅速な画像処理を可能にするものである。
【０００２】
【従来の技術】
入力画像を２次元的に拡大・縮小または回転させたり、球面に張り付いた３次元的な画像などに変換する映像効果は、例えば特開平７−２２５８３３号公報に記載されているように、入力映像信号を、ローパスフィルタを介して順次フレームメモリに書き込み、この信号を、変換後の映像を表示する順序でフレームメモリから読み出すことで実現できる。
【０００３】
こうした映像効果で画面の一部や全体を縮小する場合には、その部分に折り返し歪が発生するので、この歪を除去するため、ローパスフィルタのフィルタ係数を映像の縮小率に応じて切り替える必要がある。特開平７−２２５８３３号公報には、フレームメモリから映像信号を読み出す読出しアドレスを用いて出力映像における縮小率を算出し、この縮小率に合わせてローパスフィルタのフィルタ係数を制御する画像処理装置が開示されている。
【０００４】
この画像処理装置は、図１３に示すように、出力映像を表示する順序でアドレスＩｘ、Ｉｙを出力する読出しアドレス発生部１と、出力映像を表示する画素の読出しアドレスを用いて縮小率を算出する縮小率算出部２と、この縮小率を基にフィルタ制御用のフィルタ係数番号を求めるフィルタ係数番号算出部３と、フィルタ係数番号算出部３の求めたフィルタ係数番号を記憶するメモリ４と、入力映像信号５に対してフィルタ係数番号で選択されたフィルタ係数を用いてフィルタ処理を行うローパスフィルタ６と、フィルタ処理後の信号が書き込まれるフレームメモリ７とを備えている。
【０００５】
この画像処理装置では、読出しアドレス発生部１から出力映像を表示する順序でフレームメモリ７の読出しアドレスＩｘ、Ｉｙが発生される。
縮小率算出部２は、変換された映像を表示するために読み出される画素に着目して、その画素の読出しアドレスと水平方向及び垂直方向に隣接する画素の読出しアドレスとの差分の絶対値を算出する。この読み出しアドレスの差分の絶対値から、その画素での画像の縮小率が分かり、読出しアドレスの差分の絶対値が“１”であれば、画像の縮小は無く、読出しアドレスの差分の絶対値が“２”であれば、画像は１／２に縮小されることになる。
【０００６】
縮小率算出部２は、着目する画素の水平・垂直の各方向に対し、この絶対値の最大値を求める。フィルタ係数番号算出部３は、この絶対値の最大値に対応するフィルタ係数番号を求め、これをメモリ４の読出しアドレスＩｘ、Ｉｙに書き込む。
メモリ４に書き込まれたフィルタ係数番号は、読出しアドレス発生部１の次回からの読出しアドレスＩｘ、Ｉｙによって読み出され、ローパスフィルタ６に入力される。ローパスフィルタ６は、このフィルタ係数番号に従ってフィルタ係数を選択し、入力映像５に対するフィルタ処理を実行する。フィルタ処理された映像信号は、フレームメモリ７に書き込まれ、読出しアドレス発生部１から出力された読出しアドレスＩｘ、Ｉｙに従って読み出される。
【０００７】
フレームメモリ７から読み出された画像データは、表示装置に順番に出力され映像を表示する。その映像が入力映像に対して不均一に縮小されている場合でも、各画素の画像データは、その縮小率に応じたフィルタ処理が施されているため、折り返し歪を発生しない。
【０００８】
【発明が解決しようとする課題】
しかし、この従来の画像処理装置では、フレームメモリ７の読出しアドレスＩｘ、Ｉｙを用いて算出した１フィールド分の縮小率、あるいはその縮小率に対応するフィルタ係数番号、を一旦メモリ４に格納し、これをメモリ４から読み出してローパスフィルタ係数を制御しているため、縮小率の算出に用いた読出しアドレスＩｘ、Ｉｙによりフレームメモリ７からデータが読み出されるタイミングに比べて、その縮小率でのローパスフィルタ処理が行われるタイミングが遅れることになる。
【０００９】
そのため、この画像処理装置では、入力映像信号の各フィールドに対する画像変形が時間的に変化しないときは、縮小に伴う折り返し歪を適切に除去することができるが、フィールド毎に画像変形が異なるような動きのある変形に対しては、折り返し歪を適正に除去することができない。
この場合、読出しアドレスＩｘ、Ｉｙを一旦メモリに蓄えて、フレームメモリ７への読出しアドレスＩｘ、Ｉｙの入力時期を遅らせるようにすれば、このタイミングを合わせることは可能である。しかし、こうすると、読出しアドレスを蓄えるメモリの分だけ装置の回路規模が増大し、コストが高くなり、また、装置全体の処理が１フィールド分遅くなるという不都合がある。
【００１０】
本発明は、こうした従来の問題点を解決するものであり、回路規模の増大や処理遅延を伴わずに、各種の映像効果を実現することができる画像処理装置を提供し、また、その画像処理装置を用いた３次元特殊効果装置と、その画像処理装置の動作を規定するコンピュータプログラムと、そのプログラムが記録された記録媒体とを提供することを目的としている。
【００１１】
【課題を解決するための手段】
そこで、本発明では、画像処理装置に、入力画像データに対し、画像変形に伴う画像の縮小率に基づいて決定したフィルタ係数を用いてデジタル折り返し歪除去のフィルタ処理を行うフィルタ処理手段と、フィルタ処理手段で処理された入力画像データを蓄積し、与えられた読み出しアドレスに蓄積されている画像データを読み出す画像メモリ手段と、縮小率を画像変形の変形パラメータから直接求めてフィルタ処理手段に与える縮小率生成手段と、縮小率生成手段とは別に画像変形の変形パラメータから読み出しアドレスを生成して画像メモリ手段に与える読み出しアドレス生成手段とを設けている。
【００１２】
この構成により、装置全体の処理遅延を伴うことなく、また、縮小率を一旦メモリに蓄えることなく、画像変形に適応したデジタル折り返し歪除去のためのフィルタ処理を施すことができる。
【００１３】
また、本発明では、この画像処理装置を用いて３次元特殊効果装置を構成している。
そのため、小型な装置構成で各種の特殊効果画像を迅速に生成することができる。
【００１４】
また、本発明のコンピュータプログラムは、コンピュータに、現在入力した入力画像に対する画像変形時の縮小率を画像変形の変形パラメータから直接求める手順と、この縮小率に基づいてフィルタ係数を決定し、このフィルタ係数を用いて入力画像のデジタル折り返し歪除去のフィルタ処理を行う手順と、フィルタ処理した入力画像データを画像メモリに蓄積する手順と、一つ前に入力した入力画像に対する画像変形の変形パラメータから画像メモリの読み出しアドレスを生成する手順と、画像メモリのこの読み出しアドレスから、蓄積された画像データを読み出す手順とを実行させることを規定している。
この構成により、本発明の画像処理装置の動作をコンピュータに行わせることができる。
【００１５】
また、本発明では、このコンピュータプログラムを記憶媒体に記録している。
この記憶媒体を通じて、このコンピュータプログラムを各画像処理装置にロードすることができる。
【００１６】
【発明の実施の形態】
（第１の実施形態）
本発明の第１の実施形態では、フィールド毎に異なる画像変形が行われる映像効果を実現する場合でも、画像の縮小に伴う折り返し歪を適切に除去することができる画像処理装置について説明する。
【００１７】
この画像処理装置は、図１に示すように、現在のフィールドの変形パラメータから直接、画素単位の縮小率を求める縮小率生成部１３と、縮小率生成部１３が求めた画素単位の縮小率を使ってローパスフィルタ係数を制御しながら入力画像信号に対してローパスフィルタ処理を施すデジタル折り返し歪除去フィルタ１１と、デジタル折り返し歪除去フィルタ１１から出力された画像信号を順次蓄えるフレームメモリ１２と、フレームメモリ１２から出力画像信号を読み出すための読み出しアドレスを、１フィールド前の変形パラメータから生成する画像変形読み出しアドレス生成部１４とを備えている。
【００１８】
この画像処理装置の動作について説明する。ここでは、図２に示すように、“Ａ”という文字を表示した画面が一点に向かって消えて行く映像効果を実現する場合について説明する。このとき、入力画像の１番目のフィールド画像に対しては、画像変形が加えられずに図２（ａ）の画像が表示され、２番目に入力するフィールド画像に対しては、画像変形が加えられて画像（ｂ）が表示され、３番目に入力するフィールド画像に対しては、画像変形が加えられて画像（ｃ）が表示され、以下、同様に４、５、６番目に入力するフィールド画像に対して画像変形が加えられて画像（ｃ）、（ｄ）、（ｅ）がそれぞれ表示されるものとする。
【００１９】
２番目のフィールド画像に対する変形パラメータは、画像（ａ）を画像（ｂ）に座標変換するためのパラメータであり、画像（ｂ）を表す座標を（Ｘ，Ｙ）、画像（ａ）を表す座標を（ｘ，ｙ）、変形パラメータをｐ１とすると、
（Ｘ，Ｙ）＝ｐ１（ｘ，ｙ）
の関係にある。
【００２０】
３番目のフィールド画像に対する変形パラメータは、画像（ａ）を画像（ｃ）に座標変換するためのパラメータであり、４番目のフィールド画像に対する変形パラメータは、画像（ａ）を画像（ｄ）に座標変換するためのパラメータであり、また、５番目のフィールド画像に対する変形パラメータは、画像（ａ）を画像（ｅ）に座標変換するためのパラメータである。この変形パラメータは、各映像効果に対応付けて事前に算出され、ＣＰＵなどの制御処理部（不図示）で管理されている。
【００２１】
入力画像は、図示していないカメラや映像蓄積装置、Ａ／Ｄ変換装置等を経由してデジタル折り返し歪除去フィルタ１１に入力する。
縮小率生成部１３には、ＣＰＵなどの制御処理部から、入力した現在のフィールド画像に対応する変形パラメータが与えられる。縮小率生成部１３は、現在のフィールド画像に対する変形パラメータから直接、画素単位の縮小率を求めてデジタル折り返し歪除去フィルタ１１に出力する。デジタル折り返し歪除去フィルタ１１は、入力したフィールドの画像信号に対して、縮小率生成部１３から得た画素単位の縮小率に基づいてローパスフィルタ係数を制御しながらローパスフィルタ処理を施す。デジタル折り返し歪除去フィルタ１１から出力されたローパスフィルタ処理後の画像信号は、順次、フレームメモリ１２に格納される。
【００２２】
いま、現在のフィールドが、例えば図２（ｂ）の変形画像を表示するための２番目のフィールドであるとすると、ＣＰＵなどの制御処理部は、画像変形読み出しアドレス生成部１４に対して、１つ前のフィールド図形（即ち、図２（ａ）の画像を表示する１番目のフィールドの図形）に対応する変形パラメータを与える。画像変形読み出しアドレス生成部１４は、この変形パラメータから図２（ａ）の画像を表示するための読み出しアドレスを生成し、フレームメモリ１２は、画像変形読み出しアドレス生成部１４が生成したアドレスの画像データを順次読み出す。変形画像は、フレームメモリ１２から読み出された画像データにより表示される。
【００２３】
このように、この画像処理装置では、デジタル折り返し歪除去フィルタのフィルタ係数を決定する画素ごとの縮小率を、画像変形の変形パラメータから直接求め、この縮小率を一旦メモリに蓄えること無く、入力画像に対して直ちに適用して、その縮小率に応じたフィルタ処理を行うことができる。
【００２４】
また、フレームメモリの読み出しアドレスは、１つ前のフィールドの変形パラメータから求めているため、縮小率に応じたフィルタ処理が施されてフレームメモリに格納された画像データを、次の段階で、フレームメモリから読み出すことができる。従って、入力画像に対して、適応的な処理が可能であり、フィールド毎に画像変形が異なるような動きを伴う映像効果に対しても、円滑な処理が可能である。
【００２５】
（第２の実施形態）
本発明の第２の実施形態では、縮小率生成の動作周波数を落として低消費電力化を可能にした画像処理装置について説明する。
この画像処理装置は、図３に示すように、画像変形読み出しアドレス生成部１４を動作させるために、クロックＣＬＫＢを画像変形読み出しアドレス生成部１４に与え、縮小率生成部１３を動作させるために、ＣＬＫＢより周波数が低いクロックＣＬＫＡを縮小率生成部１３に与えている。その他の構成は第１の実施形態（図１）と同じである。
【００２６】
この画像処理装置２０は、例えばＨＤ（ｈｉｇｈ　ｄｅｆｉｎｉｔｉｏｎ）映像信号を扱う場合で説明すると、画素単位の解像度が要求される画像変形のためのメモリ読み出しアドレスを生成する画像変形読み出しアドレス生成部１４に対しては、画素クロック（７４．２５ＭＨｚ）を与え、一方、解像度が低くても視覚的に影響の少ないフィルタ処理については、縮小率生成部１３の動作クロックを４画素単位に間引いたクロック（１８．５６２５ＭＨｚ）を与える。
【００２７】
縮小率生成部１３は、変形パラメータを用いて求めた縮小率をクロックＣＬＫＡに合わせてデジタル折り返し歪除去フィルタ１１に出力し、デジタル折り返し歪除去フィルタ１１は、入力画像信号に対して、縮小率生成部１３から得た縮小率に基づいてローパスフィルタ係数を制御しながら画素単位のローパスフィルタ処理を行う。クロックＣＬＫＡが４画素単位に間引いたクロックである場合には、デジタル折り返し歪除去フィルタ１１が４画素のローパスフィルタ処理を行うごとに、縮小率生成部１３から更新された縮小率が入力する。デジタル折り返し歪除去フィルタ１１は、縮小率が次に更新されるまで、４画素のローパスフィルタ処理を同じローパスフィルタ係数を用いて処理することになる。
【００２８】
一方、画像変形読み出しアドレス生成部１４は、変形パラメータから画像を表示するための読み出しアドレスを生成し、クロックＣＬＫＢに合わせて読み出しアドレスをフレームメモリ１２に出力する。そのためフレームメモリ１２から画素クロックに従って画像データを読み出す際、その読み出しアドレスは、画像変形読み出しアドレス生成部１４により画素クロックに合わせて更新されることになる。
【００２９】
このように、この画像処理装置では、比較的低解像度でも目立たない縮小率生成部の動作周波数を、画像変形読み出しアドレス生成部の動作周波数よりも落としており、それにより、回路の簡略化及び低消費電力化を図ることができる。
【００３０】
（第３の実施形態）
本発明の第３の実施形態では、画像変形処理と併せて映像フォーマットの変換を可能にした画像処理装置について説明する。
この画像処理装置は、図４に示すように、縮小率生成部１３に映像同期信号Ａを与え、画像変形読み出しアドレス生成部１４に、映像同期信号Ａとはタイミングを異にする映像同期信号Ｂを与えている。その他の構成は第１の実施形態（図１）と同じである。
【００３１】
この画像処理装置３０では、縮小率生成部１３に、画像変形前の入力映像の映像フォーマットに適した水平同期信号や垂直同期信号、あるいはフィールドパルスが映像同期信号Ａとして与えられ、画像変形読み出しアドレス生成部１４に、画像変形後の出力映像の映像フォーマットに適した水平同期信号や垂直同期信号、あるいはフィールドパルスが映像同期信号Ｂとして与えられる。
【００３２】
そのため、画像変形読み出しアドレス生成部１４で生成された読み出しアドレスは、出力映像の映像フォーマットに適合する映像同期信号Ｂのタイミングでフレームメモリ１２に出力され、フレームメモリ１２からその読み出しアドレスの画像データが順次読み出される。そのため、画像変形処理と併せて映像フォーマットの変換が可能になる。
【００３３】
このように、この画像処理装置では、入出力画像の映像フォーマットに合わせた映像同期信号を与えることにより、マルチフォーマット対応の画像変形や、映像フォーマット変換、さらにはインターレース信号の動き適応型順次変換と組合せた、デジタル折り返し歪除去フィルタのフレーム処理が可能となる。また、インターレース画像をプログレッシブ変換した後にデジタル折り返し歪除去フィルタのフレーム処理を行うことで高画質な画像変形処理が可能となる。
【００３４】
（第４の実施形態）
本発明の第４の実施形態では、入力画像を区画する各領域ごとに、異なる変形を与えて出力画像を得る画像処理装置について説明する。
例えば、図６（ａ）に示すように、入力画像５１を上下２箇所に分割し、分割境界線を折り目にして折り曲げた後、全体を回転して得られる画像が出力画像５２である場合には、図６（ｂ）に示すように、入力画像５１の領域１及び領域２に対して、異なる変形パラメータによる変形が行われることになる。
【００３５】
こうした画像変形を行う画像処理装置は、図５に示すように、予め設定されたｎ個の変形パラメータ（現在のフィールドの変形パラメータ１〜変形パラメータｎ）の中から縮小率生成部１３で使用する変形パラメータを選択するパラメータ選択部４３と、縮小率生成部１３が縮小率生成を行う領域を判定する領域判定部４１と、予め設定されたｎ個の変形パラメータ（一つ前のフィールドの変形パラメータ１〜変形パラメータｎ）の中から画像変形読み出しアドレス生成部１４で使用する変形パラメータを選択するパラメータ選択部４４と、画像変形読み出しアドレス生成部１４が読み出しアドレスを生成する領域を判定する領域判定部４２とを備えている。その他の構成は第１の実施形態（図１）と同じである。
【００３６】
この装置では、領域判定部４１が、デジタル折り返し歪除去フィルタ１１でローパスフィルタ処理を行おうとしている入力画像の領域を判定する。
縮小率生成部１３で使用するｎ個の変形パラメータは予め設定されており、パラメータ選択部４３は、このｎ個の変形パラメータの中から、領域判定部４１で判定された領域に適したパラメータを選択して縮小率生成部１３に渡す。縮小率生成部１３は、パラメータ選択部４３で選択された変形パラメータを用いて画素単位の縮小率を求め、デジタル折り返し歪除去フィルタ１１に出力する。デジタル折り返し歪除去フィルタ１１は、入力画像信号に対して、縮小率生成部１３から得た画素単位の縮小率に基づいてローパスフィルタ係数を制御しながらローパスフィルタ処理を行う。
【００３７】
また、領域判定部４２は、フレームメモリ１２からデータが読み出される位置の領域を判定する。
画像変形読み出しアドレス生成部１４が読み出しアドレスを生成するために使用するｎ個の変形パラメータは予め設定されており、パラメータ選択部４４は、このｎ個の変形パラメータの中から、領域判定部４１で判定された領域に適したパラメータを選択して画像変形読み出しアドレス生成部１４に渡す。画像変形読み出しアドレス生成部１４は、パラメータ選択部４４から渡された変形パラメータを用いて変形画像を表示するための読み出しアドレスを生成し、フレームメモリ１２は、画像変形読み出しアドレス生成部１４が生成したアドレスの画像データを順次読み出す。
【００３８】
図６（ａ）に示すように、入力画像５１から出力画像５２への変形が行われる場合では、領域判定部４１は、図６（ｂ）の縮小率生成用領域信号５３を発生する。即ち、デジタル折り返し歪除去フィルタ１１に入力する信号をカウンタでカウントし、そのカウンタ値からデジタル折り返し歪除去フィルタ１１でローパスフィルタ処理が行われる入力画像のＸ、Ｙ直交アドレスを算出し、
Ｙ−ｂ＞０　（但し、ｂは切片）　　　　　　　　　　　　　（式１）
であれば“領域１”を示す縮小率生成用領域信号５３を発生し、
Ｙ−ｂ≦０　　　　　　　　　　　　　　　　　　　　　　　（式２）
であれば“領域２”を示す縮小率生成用領域信号５３を発生する。
パラメータ選択部４３は、縮小率生成用領域信号５３が“領域１”を表しているときは、“領域１”に対応する変形パラメータを選択して縮小率生成部１３に出力し、“領域２”を表しているときは、“領域２”に対応する変形パラメータを選択して縮小率生成部１３に出力する。
【００３９】
また、領域判定部４２は、図６（ｂ）のメモリ読み出し用領域信号５４を発生する。即ち、フレームメモリ１２の読み出し位置をカウンタでカウントし、そのカウンタ値から読み出し位置をＸ、Ｙ直交アドレスで表し、
Ｙ−ａ・Ｘ−ｃ＞０　（但し、ａは直線の傾き、ｃは切片）　（式３）
であれば“領域１”を示すメモリ読み出し用領域信号５４を発生し、
Ｙ−ａ・Ｘ−ｃ≦０　　　　　　　　　　　　　　　　　　　（式４）
であれば“領域２”を示すメモリ読み出し用領域信号５４を発生する。
【００４０】
パラメータ選択部４４は、メモリ読み出し用領域信号５４が“領域１”を表しているときは、“領域１”に対応する変形パラメータを選択して画像変形読み出しアドレス生成部１４に出力し、“領域２”を表しているときは、“領域２”に対応する変形パラメータを選択して画像変形読み出しアドレス生成部１４に出力する。
【００４１】
このように、この画像処理装置は、入力画像内を複数の領域に分割し、領域ごとに異なる変形を与えるような出力画像を得ることができ、それに適応したデジタル折り返し歪除去処理を行うことができる。
【００４２】
（第５の実施形態）
本発明の第５の実施形態では、複数の画像の各々に変形を加え、それらを組み合わせて一つの画像を合成する画像処理装置について説明する。
例えば、図８に示すように、入力画像Ａ、Ｂ、Ｃをそれぞれ異なる縮小率で変形し、それらをサイコロ状に組合せて一つの出力画像７４を生成するような場合である。
この装置は、図７に示すように、複数の入力画像１、２、‥、ｎのそれぞれを処理するｎ個のデジタル折り返し歪除去フィルタ６１及びフレームメモリ６２と、ｎ個のデジタル折り返し歪除去フィルタ６１に対して縮小率を生成する縮小率生成部１３と、ｎ個のフレームメモリ６２に対する読み出しアドレスを生成する画像変形読み出しアドレス生成部１４と、予め設定されたｎ個のパラメータ（現在のフィールドの変形パラメータ１〜変形パラメータｎ）の中から縮小率生成部１３に渡す変形パラメータを選択するパラメータ選択部４３と、予め設定されたｎ個のパラメータ（一つ前のフィールドの変形パラメータ１〜変形パラメータｎ）の中から画像変形読み出しアドレス生成部１４に渡す変形パラメータを選択するパラメータ選択部４４と、入力画像１、２、‥、ｎを順番に繰り返し指定する領域信号を発生する領域判定部４１と、メモリ読み出し用領域信号を発生する領域判定部４２とを備えている。
【００４３】
また、縮小率生成部１３を動作させるために与えるクロックＣＬＫＡと、画像変形読み出しアドレス生成部１４を動作させるために与えるクロックＣＬＫＢとの周波数を、それぞれ別々に設定する。
【００４４】
図８の画像変形を行う場合を例に、この画像処理装置６０の動作について説明する。
この例では、三つの入力画像Ａ、Ｂ、Ｃから一つの出力画像７４を生成するため、クロックＣＬＫＡの周波数をクロックＣＬＫＢの３倍の周波数に設定する。
縮小率生成部１３は、このクロックＣＬＫＡに合わせて入力画像を切り替えながら、それぞれの入力画像を左上からスキャンして各入力画像の画素単位の縮小率を算出する。このとき、領域判定部４１は、３倍の画素クロックに合わせて、縮小率生成部１３が縮小率を算出する入力画像Ａ、入力画像Ｂ及び入力画像Ｃを順番に繰り返し指定する領域信号「ＡＢＣＡＢＣ・・・」を発生し、パラメータ選択部４３は、予め設定された変形パラメータの中から領域信号が指定する入力画像の変形パラメータを選択する。
【００４５】
縮小率生成部１３は、パラメータ選択部４３により選択された変形パラメータを用いて各入力画像の画素単位の縮小率を算出し、該当する入力画像のローパスフィルタ処理を行うデジタル折り返し歪除去フィルタ６１に出力する。各デジタル折り返し歪除去フィルタ６１は、入力するそれぞれの画像信号に対して、縮小率生成部１３から得た画素単位の縮小率に基づいてローパスフィルタ係数を制御しながらローパスフィルタ処理を行う。
【００４６】
一方、領域判定部４２は、変形画像を得る読み出しアドレスのそれぞれの領域を求めて、出力画像７４に対応する図８のメモリ読み出し用領域信号７５を発生する。この領域信号は、フレームメモリの読み出し位置をＸ、Ｙ直交アドレス（カウンタ値）で表し、その位置における領域を次式（５）〜（１０）から判定する。
Ｙ−ａ_１・Ｘ−ｃ_１＞０　　　　　　　　　　　　　　　　式（５）
Ｙ−ａ_１・Ｘ−ｃ_１≦０　　　　　　　　　　　　　　　　式（６）
Ｙ−ａ_２・Ｘ−ｃ_２＞０　　　　　　　　　　　　　　　　式（７）
Ｙ−ａ_２・Ｘ−ｃ_２≦０　　　　　　　　　　　　　　　　式（８）
Ｙ−ａ_３・Ｘ−ｃ_３＞０　　　　　　　　　　　　　　　　式（９）
Ｙ−ａ_３・Ｘ−ｃ_３≦０　　　　　　　　　　　　　　　　式（１０）
（但し、ａ_１，ａ_２，ａ_３は直線の傾き、ｃ_１，ｃ_２，ｃ_３は切片）
パラメータ選択部４４は、領域判定部４２のメモリ読み出し用領域信号７５で指定された領域に対応する変形パラメータを選択して、その領域の情報と共に画像変形読み出しアドレス生成部１４に出力する。画像変形読み出しアドレス生成部１４は、パラメータ選択部４４で選択された変形パラメータを用いて、その領域の入力画像が蓄積されたフレームメモリ６２の読み出しアドレスを生成し、このフレームメモリ６２の該当するアドレスに蓄積された画像データが読み出される。
【００４７】
こうした動作により、この画像処理装置は、複数の入力画像にそれぞれ異なる変形を与え、それらを組合せて一つの画像に合成することができ、複数の入力画像のそれぞれに異なる変形を施して出力する場合の、各画像変形に適応したデジタル折り返し歪除去処理を行うことができる。
【００４８】
（第６の実施形態）
本発明の第６の実施形態では、縮小率生成の演算量を削減することができる画像処理装置について説明する。
この画像処理装置は、図９に示すように、縮小率生成部１３から得られる縮小率を補間する補間処理部８１を備えている。その他の構成は第１の実施形態（図１）と変わりがない。
この画像処理装置８０では、例えば３次元回転・移動・拡大縮小などの線形変換による画像変形を行う場合に、縮小率生成部１３は、画像の各頂点４点の縮小率のみ求め、補間処理部８１が、各頂点４点の縮小率を用いて、直線補間により中間画素の縮小率を求める。
【００４９】
このように、この画像処理装置では、線形画像変換による変形の縮小率を求める際に、画像内の代表点数点のみの縮小率を求めた後、補間処理により中間点の縮小率を演算している。こうすることで、デジタル折り返し歪除去のフィルタ係数精度を維持しながら、縮小率生成部の演算量を削減することができ、縮小率生成回路の大幅な簡略化及び低消費電力化を図ることができる。
【００５０】
なお、ここでは、縮小率生成部で変形パラメータから代表画素の縮小率を演算し、得られた縮小率を補間処理部に与える場合について説明したが、この縮小率生成部の代わりに、代表画素の縮小率をソフトウエアで演算し、補間処理部に直接与えるようにしても良い。
【００５１】
（第７の実施形態）
本発明の第７の実施形態では、縮小率生成部に与えた変形パラメータを、遅延させて画像変形読み出しアドレス生成部に与える画像処理装置について説明する。
この画像処理装置は、図１０に示すように、変形パラメータを格納するシフトレジスタＦと、垂直同期信号ＶＤによりシフト入力する変形パラメータを格納するシフトレジスタＳとを備えており、シフトレジスタＦに格納された変形パラメータが縮小率生成部１３に読み出され、シフトレジスタＦに格納された変形パラメータが垂直同期信号ＶＤによりシフトレジスタＳに入力し、シフトレジスタＳに格納された変形パラメータが画像変形読み出しアドレス生成部１４に読み出される。その他の構成は第１の実施形態（図１）と変わりがない。
【００５２】
この画像処理装置では、デジタル折り返し歪除去フィルタ１１に入力する現在のフィールドの変形パラメータがシフトレジスタＦに格納され、シフトレジスタＦから出力された変形パラメータが縮小率生成部１３に直接与えられる。また、シフトレジスタＦから出力された変形パラメータは、垂直同期信号ＶＤにより、シフトレジスタＳにシフト入力し、シフトレジスタＳから出力された変形パラメータが画像変形読み出しアドレス生成部１４に与えられる。そのため、縮小率生成部１３に現在のフィールドの変形パラメータが与えられる時点で、画像変形読み出しアドレス生成部１４には、１つ前のフィールドの変形パラメータが与えられることになる。
【００５３】
このように、この画像処理装置では、ＣＰＵなどの制御処理部で縮小率生成部１３や画像変形読み出しアドレス生成部１４に与える変形パラメータのフィールド管理を行う必要が無くなり、制御レジスタ数も削減することができる。
【００５４】
（第８の実施形態）
本発明の第８の実施形態では、第１〜第７の実施形態の画像処理装置を用いた３次元特殊効果装置について説明する。
この３次元特殊効果装置は、図１１に示すように、入力画像に対してデジタル折り返し歪を除去するローパスフィルタ１０１と、ローパスフィルタ１０１で処理された画像信号を蓄える画像メモリ１０２と、画像メモリ１０２から読み出した画像データに補間処理を施して出力画像を生成する内挿フィルタ１０４と、ローパスフィルタ１０１での処理を決定する縮小率を発生し、画像メモリ１０２の読み出しアドレスを発生する読み出しアドレス発生・縮小率発生部１０３とを備えており、このローパスフィルタ１０１、画像メモリ１０２及び読み出しアドレス発生・縮小率発生部１０３が第１〜第７の実施形態の画像処理装置で構成される。
【００５５】
この３次元特殊効果装置は、入力画像に対して３次元の回転、移動や拡大・縮小を行ったり、ページをめくったような効果を与え、動画映像の切替えによる場面転換に効果的なバリエーションを加えることができる。そして、この装置は、第１〜第７の実施形態の画像処理装置を用いているため、装置全体の処理を遅らせることなく、また、縮小率を一旦蓄えるメモリも必要としないで、これらの映像効果を実現し、画像の縮小によるデジタル折り返し歪の無い映像特殊効果画像を生成することができる。
【００５６】
（第９の実施形態）
前述する第１〜第７の実施形態の画像処理装置において、それを構成する縮小率生成部や画像変形読み出しアドレス生成部、領域判定部、パラメータ選択部、補間処理部の各機能、あるいは、デジタル折り返し歪除去フィルタでフィルタ処理を行ったり、フレームメモリから画像データを読み出したりする動作は、画像処理装置に内蔵されたコンピュータにプログラムで規定した処理を実行させて実現することができる。
本発明の第９の実施形態では、コンピュータプログラムで規定した画像処理装置の処理フローの一例について説明する。
【００５７】
図１２は、ＰＣなどに入力した画像データをワークメモリに保存し、このワークメモリから画像データを読み出して処理を施した後にワークメモリに戻す、と云う手順を繰り返して画像変形を行う場合の処理フローを示している。
まず、ＰＣなどの画像変形処理プラットフォームに入力された画像データをワークメモリに保存する（ステップ１１１）。次に、画像変形の変形パラメータから直接縮小率を求め（ステップ１１２）、ワークメモリより画像データを読み戻して（ステップ１１３）、求めた縮小率を用いてデジタル折り返し歪除去フィルタ処理を行い（ステップ１１４）、このフィルタ処理した画像データを前記ワークメモリに保存する（ステップ１１５）。
【００５８】
次に、画像変形のためのメモリ読み出しアドレスを演算し（ステップ１１６）、この読み出しアドレスを使ってワークメモリに保存した画像データを読み出し、変形画像を得る（ステップ１１７）。最後に画像変形処理プラットフォームの表示系に変形画像を表示する（ステップ１１８）。
このようなプログラムを実行することにより、縮小率を保存しておくワークメモリを必要としない画像変形処理が可能となる。
また、このコンピュータプログラムは、記憶媒体に記録し、記憶媒体を通じて画像処理装置にロードし、そのプログラムを実行させることができる。
【００５９】
【発明の効果】
以上の説明から明らかなように、本発明の画像処理装置は、デジタル折り返し歪除去のためのフィルタ係数を決定する画像の縮小率を、変形パラメータから直接求めているため、装置全体の処理を遅らせることなく、また、縮小率を一旦メモリに蓄えることなく、画像変形に適応したデジタル折り返し歪除去のためのフィルタ処理を入力画像に対して施すことができ、回路規模の増大や処理遅延を伴わずに、動きのある変形や領域ごとに異なる変形、複数の入力画像を組み合わせた変形など、各種の映像効果を実現できる。
【００６０】
また、本発明の３次元特殊効果装置では、この画像処理装置を用いることにより、小型な装置で特殊効果画像の迅速な生成が可能となる。
また、本発明のコンピュータプログラムは、この画像処理装置の動作をコンピュータに行わせることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における画像処理装置の基本的な構成図
【図２】本発明の第１の実施形態における画像処理装置の画像変形動作を説明する図
【図３】本発明の第２の実施形態における画像処理装置の基本的な構成図
【図４】本発明の第３の実施形態における画像処理装置の基本的な構成図
【図５】本発明の第４の実施形態における画像処理装置の基本的な構成図
【図６】本発明の第４の実施形態における画像処理装置の画像変形動作を説明する図
【図７】本発明の第５の実施形態における画像処理装置の基本的な構成図
【図８】本発明の第５の実施形態における画像処理装置の画像変形動作を説明する図
【図９】本発明の第６の実施形態における画像処理装置の基本的な構成図
【図１０】本発明の第７の実施形態における画像処理装置の基本的な構成図
【図１１】本発明の第８の実施形態における３次元特殊効果装置の基本的な構成図
【図１２】本発明の第９の実施形態におけるプログラムの動作説明のためのフロー図
【図１３】従来の画像処理装置の構成を示す図
【符号の説明】
１　読出しアドレス発生部
２　縮小率算出部
３　フィルタ係数番号算出部
４　メモリ
５　入力映像信号
６　ローパスフィルタ
７　フレームメモリ
１０　画像処理装置
１１　デジタル折り返し歪除去フィルタ
１２　フレームメモリ
１３　縮小率生成部
１４　画像変形読み出しアドレス生成部
２０　画像処理装置
３０　画像処理装置
４０　画像処理装置
４１　縮小率生成用領域判定部
４２　読み出しアドレス生成用領域判定部
４３　縮小率生成用パラメータ選択部
４４　読み出しアドレス生成用パラメータ選択部
５２　画面内分割をした変形画像
５３　縮小率生成用領域信号
５４　メモリ読み出し用領域信号
６０　画像処理装置
６１　複数のデジタル折り返し歪除去フィルタ
６２　複数のフレームメモリ
７４　複数入力画像を組み合わせた変形画像
７５　メモリ読み出し用領域信号
８０　画像処理装置
８１　補間処理部
９０　画像処理装置
１０１　ローパスフィルタ部
１０２　画像メモリ部
１０３　読み出しアドレス発生、縮小率発生部
１０４　内挿フィルタ

Claims (11)

1. 入力画像データに対し、画像変形に伴う画像の縮小率に基づいて決定したフィルタ係数を用いてデジタル折り返し歪除去のフィルタ処理を行うフィルタ処理手段と、
   前記フィルタ処理手段で処理された入力画像データを蓄積し、与えられた読み出しアドレスに蓄積されている画像データを読み出す画像メモリ手段と、
   前記縮小率を画像変形の変形パラメータから直接求めて前記フィルタ処理手段に与える縮小率生成手段と、
   前記縮小率生成手段とは別に画像変形の変形パラメータから前記読み出しアドレスを生成して前記画像メモリ手段に与える読み出しアドレス生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記メモリ読み出しアドレス生成手段に与える動作クロックの周波数と前記縮小率生成手段に与える動作クロックの周波数とが異なることを特徴とする請求項１に記載の画像処理装置。
3. 前記メモリ読み出しアドレス生成手段で使用する映像同期信号と前記縮小率生成手段で使用する映像同期信号とが異なることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記読み出しアドレス生成手段及び縮小率生成手段で使用する前記変形パラメータが複数存在し、前記縮小率生成手段における前記変形パラメータの適用領域を判定する第１の領域判定手段と、前記第１の領域判定手段の判定に基づいて前記複数の変形パラメータの中から前記縮小率生成手段で使用する変形パラメータを選択する第１のパラメータ選択手段と、前記読み出しアドレス生成手段における前記変形パラメータの適用領域を判定する第２の領域判定手段と、前記第２の領域判定手段の判定に基づいて前記複数の変形パラメータの中から前記読み出しアドレス生成手段で使用する変形パラメータを選択する第２のパラメータ選択手段とを備えることを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記フィルタ処理手段をｎ個備え、前記読み出しアドレス生成手段及び縮小率生成手段で使用する前記変形パラメータがｎ個存在し、前記読み出しアドレス生成手段における前記変形パラメータの適用領域を判定する領域判定手段と、前記領域判定手段の判定に基づいて前記ｎ個の変形パラメータの中から前記読み出しアドレス生成手段で使用する変形パラメータを選択するパラメータ選択手段とを備え、前記ｎ個のフィルタ処理手段の各々に対して前記縮小率を与える前記縮小率生成手段を前記読み出しアドレス生成手段のｎ倍のクロック周波数で動作させることを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
6. 前記縮小率生成手段が、画像内の代表点の前記縮小率を算出する代表点縮小率生成手段と、前記代表点縮小率生成手段が算出した前記縮小率に補間処理を施して前記代表点以外の縮小率を算出する補間処理手段とを備えることを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記代表点縮小率生成手段が、前記代表点の前記縮小率を前記代表点の座標値から直接算出することを特徴とする請求項６に記載の画像処理装置。
8. 前記縮小率生成手段に前記変形パラメータを与える第１のシフトレジスタと、前記読み出しアドレス生成手段に前記変形パラメータを与える第２のシフトレジスタとを備え、前記第１のシフトレジスタに格納された変形パラメータが、映像垂直同期信号に同期して前記第２のシフトレジスタにシフトすることを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
9. 請求項１から請求項８のいずれかに記載の画像処理装置を含む３次元特殊効果装置。
10. コンピュータに、
    現在入力した入力画像に対する画像変形時の縮小率を画像変形の変形パラメータから直接求める手順と、
    前記縮小率に基づいてフィルタ係数を決定し、前記フィルタ係数を用いて前記入力画像のデジタル折り返し歪除去のフィルタ処理を行う手順と、
    前記フィルタ処理した入力画像データを画像メモリに蓄積する手順と、
    一つ前に入力した入力画像に対する画像変形の変形パラメータから前記画像メモリの読み出しアドレスを生成する手順と、
    前記画像メモリの前記読み出しアドレスから、蓄積された画像データを読み出す手順と
    を実行させるためのプログラム。
11. 請求項１０に記載のプログラムを記録した記録媒体。

Images