JP2004264919A

JP2004264919A - 画像処理方法

Info

Publication number: JP2004264919A
Application number: JP2003048370A
Authority: JP
Inventors: Ichiro Hagiwara; 一郎萩原; Vladimir Savchenko; ウラディミールサブチェンコ，; Nikita Kojekine; ニキタカジョキン，; Masateru Kitago; 正輝北郷
Original assignee: Rikogaku Shinkokai
Current assignee: Rikogaku Shinkokai
Priority date: 2003-02-26
Filing date: 2003-02-26
Publication date: 2004-09-24
Also published as: WO2004077355A1; US20070133904A1

Abstract

【課題】ＣＳＲＢＦ法を用いて画像処理を高速且つ高精度に行う画像処理方法を提供する。
【解決手段】対象画像を処理する画像処理方法は、ＣＳＲＢＦ法を用いて、前記対象画像を関数表現した関数データを生成する過程（ステップ１２）と、生成された関数データを用いて、前記対象画像が所望の画像となるように画像処理を行う過程（ステップ１３）とを具備する。関数データを生成するとき、ＣＳＲＢＦ法における基底関数のパラメータに対して対角行列を生成するために、高速アルゴリズムを用いる（ステップ１１）。画像処理には、画像解像度補間や圧縮、傷の修復、アニメーションの作成等が挙げられる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法に関し、特に、ＣＳＲＢＦ（ＣｏｍｐａｃｔｌｙＳｕｐｐｏｒｔｅｄＲａｄｉａｌＢａｓｉｓＦｕｎｃｔｉｏｎｓ）法を用いて画像処理を高速に行う画像処理方法に関する。
【０００２】
【従来の技術】
情報のデジタル化が進むにつれ、インターネット等の電気通信回線が急速に発展しており、これを背景にデジタルコンテンツの１つである画像の画像処理が広く行われている。コンピュータ上では、ある画像が所望の画像となるように、画像処理が頻繁に行われており、処理速度、処理精度等に対する要求が高まってきている。
【０００３】
例えば、画像処理には解像度補間を行うものがある。画像の入力デバイスとしてはデジタルカメラやイメージスキャナ等があり、出力デバイスとしてはパーソナルコンピュータ等のモニタやプリンタ、携帯電話やＰＤＡ等の携帯情報端末等がある。これらのデバイスの画像解像度は多岐にわたっている。画像ファイルを出力デバイスに出力する場合、通常用いられているピクセル画像では、出力デバイスの解像度に合わせる必要がある。特に、所謂壁紙画像等の全画面表示が基本の画像の場合、画像提供者は、出力デバイス、即ち受け手側の機器毎に、その画像解像度に合わせた画像ファイルを原画像ファイルから画像解像度変換をして複数作成する必要があった。或いは、受け手側で画像解像度を変換することもあった。このような画像解像度の変更には、零次ホールド法、直線補間法、サブディビジョン法等、様々な補間法が提案されている。
【０００４】
また、画像処理の他の例としては、画像の圧縮が挙げられる。ＢＭＰ形式等の未圧縮データはファイル容量が無駄に大きくなることがあり、インターネット等で画像を送受信する場合には、容量を小さく抑えるためにＪＰＥＧ等の圧縮データとするのが一般的である。画像圧縮方法としては、ＪＰＥＧ等で用いられる離散コサイン変換やＪＰＥＧ２０００等のウェーブレット変換等の技術を用いたものがある。画像圧縮は、画像解像度はそのままでファイル容量を小さくするためにおこなうものであり、画像解像度を変更しつつ、画像圧縮も行う場合には、同時に行うのではなくそれぞれ別々の手段により行うので、その都度逆変換の計算を行う必要がある。
【０００５】
さらに、画像処理の他の例としては、画像データの一部の領域に傷がついている場合や、一部の領域が失われている場合等に、その部分を修復する技術もある。例えば、画像の傷の周辺のサンプルをコピーし、傷の上にサンプルの色調、テクスチャ等をペーストして傷を周りのデータで塗りつぶしていく方法や、元の画像の陰影、色調およびテクスチャを維持したまま、必要な領域だけを修復する方法等がある。これらは所謂クローニングと呼ばれる技法である。また、偏微分方程式を用いた手法もある。
【０００６】
さらには、画像処理には、ある画像を変化させてアニメーションを作成することも挙げられる。アニメーション、即ち動画像を作る技術には、ある形状から別の形状へ徐々に変化していく様子を動画で表現するために、その中間を補うための画像を作成するモーフィング技術がある。前後のコマの画像の要素から、中間の画像を作り出すことを何度も行うと、滑らかに変化する動画像が得られる。
【０００７】
また、物体像の表面再構成を行う技術の１つに、ＣＳＲＢＦ法がある。これは、物体を関数表現するものであり、ある種のスプライン関数や球関数に基づいた手法である。ＣＳＲＢＦ法は、処理速度が遅いＲＢＦ法に対して、基底関数をコンパクトにしたものである。ＣＳＲＢＦ法では、コンパクトな台を持つ放射状の基底関数を使って表面の再構成を行うため、ＲＢＦ法よりも計算速度は速いものである。
【０００８】
しかしながら、ＣＳＲＢＦ法は物体の形状を関数表現する方法であるが、計算量が膨大となるため、計算量を減らし関数表現を行う処理速度を速くするための高速アルゴリズムを開発した例もある。
【０００９】
【非特許文献１】
貴家仁志著「よくわかるディジタル画像処理」ＣＱ出版、１９９６年２月
【非特許文献２】
ニキタカジョキン，ウラディミールサブチェンコ，ディミトリベルツィン，萩原一郎著「コンパクトにサポートされる放射状の基底関数のためのソフトウェアツール」コンピュータグラフィックス・イメージングにおけるＩＡＳＴＥＤの第４回国際会議、ハワイホノルル、２００１年８月１３−１６日、ｐｐ．２３４−２３９（ＮｉｋｉｔａＫｏｊｅｋｉｎｅ，ＶｌａｄｉｍｉｒＳａｖｃｈｅｎｋｏ，ＤｍｉｔｒｉｉＢｅｒｚｉｎａｎｄＩｃｈｉｒｏＨａｇｉｗａｒａ：Ｓｏｆｔｗａｒｅｔｏｏｌｓｆｏｒｃｏｍｐａｃｔｌｙｓｕｐｐｏｒｔｅｄｒａｄｉａｌｂａｓｉｓｆｕｎｃｔｉｏｎｓ，ＩＡＳＴＥＤＦｏｕｒｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓａｎｄＩｍａｇｉｎｇ，Ｈｏｎｏｌｕｌｕ，Ｈａｗａｉｉ，Ａｕｇｕｓｔ１３−１６，２００１ｐｐ．２３４−２３９．）
【００１０】
【発明が解決しようとする課題】
しかしながら、画像解像度を変換する場合、通常用いられているピクセル画像では、１つの画像ファイルで効率良く様々な解像度の出力に対応することは困難である。これは、零次ホールド法、直線補間法、サブディビジョン法等の補間法では、原画像の等倍率の補間にしか対応することができず、等倍率以外の任意の解像度で出力することはできないためである。また、中途半端な補間は画像が不明確になったりエッジにジャギーが発生したりすることがあった。したがって、解像度の異なる出力デバイスが増えれば増えるほど、それに合わせた画像を生成するのは困難になっていた。さらに、画像解像度変換の時間もかかるものであった。
【００１１】
また、電気通信ネットワーク上等での画像データのやり取りにおいては、画像解像度を変更してさらに画像圧縮を行う場合があるが、画像解像度を変更しつつ、画像圧縮も行う場合には、その都度逆変換の計算を行う必要があるため、手間も時間もかかるものであった。
【００１２】
さらに、傷の修復処理に関しては、クローニング法は小さな修復に対しても冗長な作業が強いられるという問題があり、偏微分方程式を用いた手法はダメージが広範囲にある場合には適さないという問題が有った。
【００１３】
またさらに、従来のアニメーションの作成ソフトウェアは、形状の変化の簡素さが欠けていた。形状の変化の表現が複雑であるため、モーフィングにも時間がかかるものであった。
【００１４】
また、物体の形状を関数表現するＣＳＲＢＦ法を画像処理に利用した例はなかった。
【００１５】
本発明は、斯かる実情に鑑み、ＣＳＲＢＦ法を用いて画像処理を高速且つ高精度に行う画像処理方法を提供しようとするものである。
【００１６】
【課題を解決するための手段】
上述した本発明の目的を達成するために、本発明による画像処理方法は、ＣＳＲＢＦ（ＣｏｍｐａｃｔｌｙＳｕｐｐｏｒｔｅｄＲａｄｉａｌＢａｓｉｓＦｕｎｃｔｉｏｎｓ）法を用いて、前記対象画像を関数表現した関数データを生成する過程と、前記関数データを生成する過程により生成された関数データを用いて、前記対象画像が所望の画像となるように画像処理を行う過程とを具備する。ＣＳＲＢＦ法における基底関数は、

但し、ｒ（Ｐ_ｉ，Ｐ_ｊ）は、複数の離散点の中の任意の２点Ｐ_ｉとＰ_ｊの距離
ｒ_０は、初期値として与える任意の点Ｐ_ｉを中心とした半径
と定義され、そのときの関数データは、

但し、λ_ｉ（ｉ＝１，２，．．．，Ｎ）は点Ｐ_ｉにおける基底関数の係数
λ_Ｎ＋１，λ_Ｎ＋２，λ_Ｎ＋３，λ_Ｎ＋４は１次項の係数
で表わされる関数により与えられる。このとき、係数λ_ｉ（ｉ＝１，２，．．．，Ｎ），λ_Ｎ＋１，λ_Ｎ＋２，λ_Ｎ＋３，λ_Ｎ＋４の計算は、補間行列を対角化する高速アルゴリズムを用いて行う。高速アルゴリズムは、前記複数の離散点が含まれる初期データから１つの点がリストに加えられ、前記リストに加えられた点は前記初期データから除かれる第１ステップと、前記第１ステップで加えられた点に対する近傍点が、前記初期データの中から検索されて前記リストに加えられ、前記リストに加えられた点は前記初期データから除かれる第２ステップと、前記第２ステップで加えられた点に対する近傍点が、前記初期データの中から検索されて前記リストに加えられ、前記リストに加えられた点は前記初期データから除かれる第３ステップと、前記リストに加えられる点が無くなったら、前記初期データに残っている離散点から１つの点が前記リストに加えられ、前記リストに加えられた点は前記初期データから除かれる第４ステップと、前記初期データに離散点がすべて無くなるまで、これらの前記第１ステップから前記第４ステップが繰り返され、バンド性を持つ対角行列が作成される第５ステップとからなる。
【００１７】
画像処理を行う過程は、前記関数データを用いて、座標のサンプリング数を増減することで、前記対象画像が所望の画像解像度となるように画像補間を行う過程が含まれる。
【００１８】
さらに、前記関数データを生成する過程の前に、前記対象画像に対して前処理を行う過程が含まれても良い。前処理を行う過程は、前記対象画像の特徴抽出を行うために、ウェーブレット変換を行う過程である。また、対象画像の容量を圧縮するために、前記複数の離散点の単純間引きを行う過程であっても良い。
【００１９】
基底関数は、さらに、パラメータを半径とピクセル値で取るように、

但し、ｐ（Ｐ_ｉ，Ｐ_ｊ）は任意の２点Ｐ_ｉとＰ_ｊのピクセル値の差
ｐ_０は、初期値として与える任意の点Ｐ_ｉからのピクセル値の差
と定義されても良い。
【００２０】
また、画像処理を行う過程は、前記対象画像に含まれる傷の修復を行う過程であり、該方法は、さらに、前記関数データを生成する過程の前に、前記対象画像中の傷の部分を範囲指定する過程と、前記対象画像から傷の部分を除いた残りの領域部分を特定する過程とを具備し、その後、前記関数データを生成する過程は、前記特定された残りの領域部分に対して行われ、前記傷の修復を行う過程は、前記関数データを生成する過程により生成された、前記特定された残りの領域部分に対する関数データを用いて、前記範囲指定された傷の部分を補間することで、傷の修復を行うものである。
【００２１】
さらに、画像処理を行う過程は、前記対象画像に含まれる傷の修復を行う過程であり、該方法は、さらに、前記関数データを生成する過程の前に、前記対象画像中の傷の部分を範囲指定する過程と、前記範囲指定された傷の部分の範囲内の所定のポイントを決定する過程と、前記所定のポイントを中心に隣接する所定の周辺領域部分を特定する過程とを具備し、その後、前記関数データを生成する過程は、前記特定された所定の周辺領域部分に対して行われ、前記傷の修復を行う過程は、前記関数データを生成する過程により生成された、前記特定された所定の周辺領域部分に対する関数データを用いて、前記所定のポイントを補間することで、前記所定のポイントの修復を行う過程であり、前記所定のポイントの修復が行われた後、次の所定のポイントを決定するために、上記所定のポイントを決定する過程に戻り、前記ポイントの修復を行う過程までの過程が繰り返され、前記範囲指定された傷の部分のすべての傷の修復を行うものである。
【００２２】
また、画像処理を行う過程は、前記対象画像を変化させてアニメーションの作成を行う過程であり、該方法は、さらに、前記関数データを生成する過程の前に、前記対象画像中の動きのある部分を特定する過程を具備し、その後、前記関数データを生成する過程は、前記特定された動きのある部分に対して行われ、前記アニメーションの作成を行う過程は、前記関数データを生成する過程により生成された前記特定された動きのある部分に対する関数データを用いて、前記動きのある部分を線形に変化させることで、アニメーションの作成を行うものである。
【００２３】
上記手段によれば、以下のような作用が得られる。即ち、高速に対象画像を関数データとし、これを用いて、対象画像が所望の画像となるように短時間且つ高精度に画像処理を行えるようになる。例えば、対象画像は関数表現されているので、サンプリング数を増減するだけで画像解像度を任意の解像度に高速に変換することが可能となる。また、対象画像を高精度に圧縮することも可能となる。さらに、対象画像の傷の部分、例えば微細な部分や広範囲な部分であっても高速に且つ高精度に修復することが可能となる。またさらに、形状の変化を簡単化できるので、アニメーションの作成を高速に行うことが可能となる。なお、画像処理に要する計算量が少なくて済むため、高性能なコンピュータを用いなくとも実時間アニメーション等が快適に作成可能となる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態を図示例と共に説明する。図１は、本発明の画像処理方法を大まかに説明するためのフローチャートである。先ず、ＣＳＲＢＦ法による基底関数のパラメータに対して高速アルゴリズムを用いて対角行列を生成する（ステップ１１）。そして、これにより生成された対角行列を用いて、ＣＳＲＢＦ法により関数データを生成する（ステップ１２）。これにより、対象画像を関数により表わすことが可能となる。その後、このＣＳＲＢＦ法により生成された関数データを用いて画像を処理する（ステップ１３）ものである。以下、ＣＳＲＢＦ法についてより具体的に説明する。
【００２５】
本発明に用いられるＣＳＲＢＦ法とは、物体の表面を再構成する技術のうちの１つであり、離散点（ｘ，ｙ，ｚ）から陰関数ｆ（ｘ，ｙ，ｚ）を生成するものである。ＣＳＲＢＦ法における基底関数は、以下のように定義される。即ち、
【数１】

但し、ｒ（Ｐ_ｉ，Ｐ_ｊ）は、複数の離散点の中の任意の２点Ｐ_ｉとＰ_ｊの距離
ｒ_０は、初期値として与える任意の点Ｐ_ｉを中心とした半径
そして、任意の点Ｐ_ｉを中心とした半径ｒ_０の球に対し、その球内のすべての離散点について、中心Ｐ_ｉとの距離を求める。このとき、関数データは、以下のように表わされる関数により与えられる。
【数２】

但し、λ_ｉ（ｉ＝１，２，．．．，Ｎ）は点Ｐ_ｉにおける基底関数の係数
λ_Ｎ＋１，λ_Ｎ＋２，λ_Ｎ＋３，λ_Ｎ＋４は１次項の係数
ＣＳＲＢＦ法は、この関数を用いて表面再構成を行うものである。
【００２６】
なお、関数データとは、具体的には、上記ｆ（ｘ，ｙ，ｚ）の関数が格納されている画像データのことである。これは、上記の関数のみが格納されたデータであっても、他の情報が含まれるものであっても構わない。
【００２７】
上記のように与えられた関数のうち、スプライン係数λ_ｉ，λ_Ｎ＋１，λ_Ｎ＋２，λ_Ｎ＋３，λ_Ｎ＋４の計算において、本発明では、計算上構成される補間行列（ＳＬＡＥ行列）を、八分木に基づいたバンド性を持つ対角行列に作り替えるための高速アルゴリズムを用いる。これは、多くの離散点が存在する場合でも、コンピュータにおける計算量を減らすために行われるものである。なお、スプライン係数をすべて重ね合わせると、すべての点を通る滑らかな関数系が作成できる。以下に、本発明の対角化するための高速アルゴリズムの流れを図２を用いて詳細に説明する。先ず、複数の離散点が含まれる初期データ（ｉｎｐｕｔｌｉｓｔ）から１つの点がリスト（ｏｕｔｐｕｔｌｉｓｔ）に加えられ（ステップ２１）、リストに加えられた点は初期データから削除される（ステップ２２）。そして、加えられた点に対する近傍点が、初期データの中から検索される（ステップ２３）。近傍点が有れば（ステップ２４）、再度ステップ２１に戻り、その点がリストに加えられ、リストに加えられた点は初期データから削除される（ステップ２２）。そして、加えられた点に対する近傍点が、初期データの中から再度検索される（ステップ２３）。加えられた点に対する近傍点が初期データからなくなるまでステップ２１〜ステップ２４が繰り返され、近傍点がなくなると（ステップ２４）、初期データにまだ離散点が残っているかチェックし（ステップ２５）、残っていれば再度ステップ２１に戻り、その点のうちの１つがリストに加えられる。そして、同様にリストに加えられた点は初期データから削除され（ステップ２２）、加えられた点に対する近傍点が、初期データの中から再度検索される（ステップ２３）。このように、初期データに離散点がなくなるまでステップ２１〜ステップ２５が繰り返される。これにより、バンド性を持つ対角行列（帯行列）が生成される。この高速アルゴリズムを用い、新しく並び替えた行列を計算することにより、係数λ_ｉ，λ_Ｎ＋１，λ_Ｎ＋２，λ_Ｎ＋３，λ_Ｎ＋４の計算時間を削減できる。上述のようなアルゴリズムを実現するプログラムは、例えば図３に示すようなものになる。
【００２８】
上記の高速アルゴリズムを、例えば、立方体内に｛１，２，３，４，５，６｝の６個の離散点がある画像に適用した場合について説明する。この６個の点それぞれに対し、任意の半径ｒ_０の球内における近傍点が、次のように与えられているとする。
点１の近傍点：１，３，６
点２の近傍点：２，５
点３の近傍点：１，３，４
点４の近傍点：３，４
点５の近傍点：２，５
点６の近傍点：１，６
このような６個の離散点に対し、本発明の高速アルゴリズムを適用すると、図４に示すように、離散点列は｛１，３，６，４，２，５｝というように並び替えられ、これから図５のようなバンド性を有する対角行列（ＳＬＡＥ行列）が生成される。なお、図５中の×は、２点間の距離を示す。このような高速アルゴリズムを用いることで、ＣＳＲＢＦ法で必要なパラメータを高速に計算することが可能となる。したがって、ＣＳＲＢＦ法による関数計算を非常に高速に行えるようになる。
【００２９】
なお、基底関数における半径ｒ_０が大きい場合、その任意の点Ｐ_ｉを中心とした半径ｒ_０の球に、殆どの点が含まれてしまう。したがって、この場合には並び替える前の行列に比べて対角行列のために多くの記憶空間を作らなければならなくなる。しかしながら、半径ｒ_０を小さくすれば、記憶空間の少ない最良の結果となった行列が利用できるようになる。半径ｒ_０は、高精度な画像が短時間に生成可能なように、経験的に決定すれば良い。
【００３０】
また、関数ｆ（ｘ，ｙ，ｚ）は、３次元画像を対象とした表記であるが、２次元画像の場合には、ｚ＝０であり、関数はｆ（ｘ，ｙ）で与えられる。さらに、画像の色情報は、関数の値で与えられる。例えば、ｆ（１０，２０）＝３０であった場合、ｘ座標が１０、ｙ座標が２０の点は、３０という色情報を有する点であることを示す。
【００３１】
さらに、離散点とは、格子状に分布する点であっても離散的に分布する点であっても構わない。例えば、原画像が１６０×１２０ピクセルの画像の場合、画像全体で関数を作成する場合には、離散点は１９２００個になるが、後に説明する前処理を行った場合には、これよりも少ない個数になる。例えば１０％の点しか使わない場合、離散点は１９２０個になる。なお、１９２０個の離散点は格子状に並んでいても構わないが、後に説明するように、特徴点を抽出するようにした場合には、特徴点に沿って不規則に存在する。
【００３２】
上記に示すＣＳＲＢＦ法を用いて行う画像処理の方法を、以下に詳細に説明する。本発明の第１実施例の画像処理は、画像解像度の変更である。画像解像度の変更とは、画像のピクセル数を増減させて、任意の解像度となるように画像補間を行うものである。先ず、本発明によるＣＳＲＢＦ法を用いて、対象となる原画像を関数表現した関数データを生成する。本発明によれば、対象画像全体を関数表示することが可能なので、一旦関数データを生成すれば、後は解像度変換には関数の計算が不要となり、短時間で高精度に解像度変換が可能となる。例えば、関数データのｘ軸の全体を、ｘ軸の所望のピクセル数で割った間隔でサンプリングを行えば、所望の画像解像度の画像が高精度に得られることになる。より具体的には、例えば原画像が１２０×１６０ピクセルの画像だった場合、原画像と同じ画像解像度の画像を出力する場合には、ｘ軸の全体（１２０）を１２０で、ｙ軸の全体（１６０）を１６０で割った数のサンプリング数で画像を再構成すれば良いことになる。そして、画像解像度を増減させるには、座標のサンプリング数を増減させれば良い。例えば、１．２５倍に画像補間を行った１５０×２００ピクセルの画像を得たい場合には、ｘ軸の全体（１２０）を１５０で、ｙ軸の全体（１６０）を２００で割った間隔でサンプリングを行えば、１５０×２００ピクセルの画像が得られる。なお、Ｉｎｔｅｌ（登録商標）Ｐｅｎｔｉｕｍ（登録商標）４１．７ＧＨｚ、５１２ＭＢのＲＡＭのコンピュータで、ＯＳがＭｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）２０００という環境における本発明による画像処理に要する時間としては、例えば１２０×１６０ピクセルから１５０×２００ピクセルへの１．２５倍の補間処理で、約０．４秒程度、１８０×２４０ピクセルへの１．５倍の補間処理で約０．６秒程度であった。なお、参考に、画像解像度を補間するためのプログラムは、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＶｉｓｕａｌＣ＋＋（登録商標）６．０で作成した。本発明によるＣＳＲＢＦ法による高速アルゴリズムを用いた画像処理方法を用いれば、このような解像度変更であっても、非常に高速に処理が可能となる。従来の補間法では原画像の等倍率の補間にしか対応することができず、また処理時間もかかるものであったが、本発明によれば座標のサンプリング数を必要な解像度となるように増減するだけで、任意の解像度に高精度且つ高速に補間することが可能となる。したがって、例えばインターネット等の電気通信回線上で画像を送信する場合、受け手側に合わせて任意の解像度に高速に再構成が可能となるため、送信側では原画像だけを用意すれば良いことになる。そして、受け手側に応じて、例えばパーソナルコンピュータの壁紙用や印刷用には高解像度で出力し、携帯電話等の携帯端末には低解像度で出力する、というような解像度変更を高速に行うことで、受け手側の出力機器の性能を十分に生かした画像を提供することが可能となる。
【００３３】
なお、ファイルの書式形式は、従来のビットマップで表示する際のＲＧＢ値で書かれた形式ではなく、ＲＧＢ値に変わりスプライン係数を用いることができる。このような書式形式を採用することで、任意の解像度に短時間で補間を行うことが可能となる。
【００３４】
次に、本発明の第２実施例の画像処理方法を説明する。本実施例は、関数データを生成する前に、原画像に対して前処理を行った後に、画像処理を行うものである。図６は、本発明の第２実施例の画像処理方法を説明するためのフローチャートである。図１と同様の参照符号は同様の処理過程を示すものである。このように、先ず前処理が行われ（ステップ６０）、その後高速アルゴリズムにより対角行列が生成される（ステップ１１）。すべての離散点に対してＣＳＲＢＦ法による計算を適用すると、計算量が膨大になり、本発明で利用する高速アルゴリズムを用いたとしても画像処理にかかる時間が長くなってしまう場合がある。そこで、単純に離散点を間引くことが考えられる。即ち、前処理として単純に離散点を間引く。これにより計算量を減らすことができるので、画像処理時間も短くなる。単純に離散点を間引くことは、対象画像の容量を圧縮する効果も期待できる。本発明では、対象画像全体を関数表示可能なため、画像補間と圧縮が同時に且つ短時間で行える。しかしながら、単純に間引いた場合、画像処理後の画像は、原画像に対してボケた感じの画像になってしまう場合がある。用途によってはこれでも十分実用となるが、より高精度な画像を得るために、情報の欠損が少なくなるように点データを間引くような前処理を行う。具体的には、画像として冗長な部分は点データを間引き、重要な部分は残すような処理を行う。即ち、画像の特徴部分の抽出を行うことで、効率良く離散点を間引くようにする。例えば、これにはウェーブレット変換を用いることで実現可能である。ウェーブレットのローパスフィルタにより点を間引き、ウェーブレットのハイパスフィルタにより特徴点を抽出するようにする。このような前処理により、画像の輪郭部分やコントラストの高い部分については離散点を間引かず高詳細な状態とする一方、背景部分等の冗長な部分は離散点を間引くことができるので、関数データのパラメータを計算するための計算量を削減することが可能となる。なお、前処理には、ウェーブレット変換の他、離散コサイン変換等の技術を用いることも可能である。
【００３５】
次に、本発明の第３実施例の画像処理方法を説明する。対象画像に対して画像解像度補間を行った場合、色がはっきり異なる部分等がぼやけてしまうという問題がある。そこで、本実施例では、上記数１で表わした基底関数のパラメータを、半径だけでなくさらにピクセル値で取るように、以下のように定義する。
【数３】

但し、ｐ（Ｐ_ｉ，Ｐ_ｊ）は任意の２点Ｐ_ｉとＰ_ｊのピクセル値の差
ｐ_０は、初期値として与える任意の点Ｐ_ｉからのピクセル値の差
上記のように、ＣＳＲＢＦ法において、ピクセル値もパラメータとして考慮することで、高周波成分を際立たせた関数をつくることが可能となる。これにより、輪郭部分の特徴抽出と同時に、例えば画像補間を短時間で行うことが出来るようになる。したがって、画像処理をしてもぼやけることなく高詳細な画像が短時間で得られるようになる。これは、医療画像等の分野でも応用できるものである。
【００３６】
次に、本発明の第４実施例の画像処理方法を説明する。本発明の第４実施例における画像処理は、対象画像の傷の修復である。傷の修復とは、画像データの一部の領域に傷がついている場合や、一部の領域が失われている場合等に、その部分を修復することを意味する。具体的には、対象画像に含まれる傷、例えば古い写真で引掻き傷がある画像の当該引掻き傷や立体像をへこませたような部分を、修復して引掻き傷を消したりへこんだ部分を元に戻したりすることである。先ず、本発明によるＣＳＲＢＦ法を用いて関数データを生成する前に、対象画像における傷の部分の範囲を指定する。例えば、画像処理ソフト等の所謂選択ツール等で、傷の部分を囲む等して範囲指定する。そして、範囲指定した傷以外の部分を特定する。例えば、画像処理ソフト等の選択範囲の反転コマンド等により、傷以外の部分を選択する。そして、この傷以外の部分に対して、本発明によるＣＳＲＢＦ法により関数データを生成するようにする。このようにして生成された傷以外の部分に対する関数データを用いて、傷の部分を連続的に滑らかに補間するようにする。即ち、特定された傷の領域の周辺から傷の部分を修正することが可能となる。傷以外の部分が関数表現されていることから、短時間で高精度に傷の修復が可能となる。また、傷の範囲が広い場合や立体像がへこんだような状態の傷であっても、高精度且つ高速に修復することが可能である。なお、傷以外の部分すべてに対して関数データを生成しなくても、傷の所定の周辺領域に対して関数データを生成すれば傷の修復は可能である。
【００３７】
上記第４実施例は、傷全体を一度に修復するものであるが、これは自然画像や人物画像のような、色の変化が比較的滑らかに起こるような画像上の傷の修復に対して有効な画像処理方法である。この理由は、ＣＳＲＢＦ法は画像上の離散点から滑らかな関数データを求め、表面再構成を行っているためである。ところが、織目模様のように色の変化がシャープに起こるような画像に対する傷の修復に対し、滑らかな関数で表面再構成を行うＣＳＲＢＦ法をそのまま用いると、エッジがボケた感じになり、精度的に好ましくない結果となることがある。このような織目模様等の部分の傷の修復が高精度に行える画像処理方法を次に説明する。
【００３８】
本発明の第５実施例の画像処理方法は、織目模様等の部分の傷の修復を高精度に行うことが可能なように、局所的にＣＳＲＢＦ法による画像処理を行うものである。先ず、ＣＳＲＢＦ法を用いて関数データを生成する前に、対象画像における傷の部分の範囲を指定するのは、上記第４実施例と同様である。次に、範囲指定された傷の部分の範囲内の所定のポイント、例えば最端部の点を傷の始点として決定する。このポイントを中心に隣接する所定の周辺領域部分を特定し、この部分に対して関数データを生成する。そして、この周辺領域部分に対する関数データを用いて最初のポイントを補間して傷の修復を行う。次に、傷の部分の次の所定のポイント、例えば始点の隣のポイントを決定し、始点と同様に隣接する所定の周辺領域部分を特定する。そして、この部分に対して関数データを生成し、この関数データを用いてポイントを補間して傷の修復を行う。このとき、次のポイントにおける修復の際には、前のポイントの修復後のデータを用いるようにする。これらの過程が繰り返され、範囲指定された傷の部分のすべての傷の修復が行われる。このようにすると、織目模様のように色の変化がシャープに起こるような画像の傷の修復に対しても、高精度の修復が可能となる。また、第４実施例では、傷の修復を一度に行うため、一度に多くの離散点に対して補間行列の計算が必要になってくるので計算量も増え、修復に多少時間がかかる場合もある。しかしながら、本第５実施例においては、一回の計算量は少なく抑えることが可能であるため、トータルでの傷の修復時間は少ない時間で済む。
【００３９】
次に、本発明の第６実施例の画像処理方法を説明する。本発明の第６実施例の画像処理は、対象画像の一部を変化させて、アニメーションの作成を行うものである。アニメーションの作成とは、動画像を作成することを意味する。具体的には、例えば人間の顔の表情の変化の様子をアニメーション化することや、立体物が変形する様子をアニメーション化することである。先ず、本発明によるＣＳＲＢＦ法を用いて関数データを生成する前に、対象画像中の動きのある部分、例えば人間の顔であれば、口の部分の動く場所を特定する。具体的には、動く場所の離散点を特定する。そして、この特定された動く部分に対してＣＳＲＢＦ法を用いて関数データを生成する。この関数データを用いて、動かす点を線形に変化させて表情の変化のアニメーションを作成する。ここでは、変位ベクトル（ｄｘ，ｄｙ，ｄｚ）の与え方は自由である。したがって、変位ベクトルによって自由に範囲指定された部分を変化させることが可能となる。例えば口の部分を指定した場合、変位ベクトルによって変化のある口の周辺の点を線形に変化させ、顔の表情を笑い顔や怒り顔、泣き顔等自由に変化させることが可能となる。なお、同様に目の部分等も同時に変化させることも勿論可能である。また、箱がつぶれて変形するアニメーション等、種々のアニメーションが簡単に且つ高速に作成可能である。このように、本発明によるＣＳＲＢＦ法の高速アルゴリズムを用いた画像処理方法によれば、変形を行う領域を局所化することで形状の変化を簡単化し、高速且つ小さなメモリで計算が可能となる。
【００４０】
なお、本発明の画像処理方法は、上述の実施例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、画像処理は上記の実施例のみに限定されるものではなく、例えば画像のトリミングや合成等、対象画像を所望の画像となるように変形させるようなあらゆる画像処理が含まれるものである。
【００４１】
【発明の効果】
以上、説明したように本発明の画像処理方法によれば、画像処理、例えば画像解像度補間や圧縮、傷の修復、アニメーションの作成等が高速に実現可能となるという優れた効果を奏し得る。１つの画像から任意の解像度の画像を高精度に生成できるため、受け手側の出力デバイスの性能を十分に生かした画像を生成することも可能となる。また、画像処理に要する計算量が少なく済むため、非力なコンピュータにおいても高速に画像処理可能である。
【図面の簡単な説明】
【図１】図１は、本発明のＣＳＲＢＦ法における画像処理方法の流れを説明するためのフローチャートである。
【図２】図２は、本発明のＣＳＲＢＦ法における高速アルゴリズムの流れを説明するためのフローチャートである。
【図３】図３は、本発明のＣＳＲＢＦ法における高速アルゴリズムを実現するためのプログラムの一例である。
【図４】図４は、本発明のＣＳＲＢＦ法における高速アルゴリズムによって離散点が並び替えられる過程を説明するための図である。
【図５】図５は、本発明のＣＳＲＢＦ法における高速アルゴリズムによって生成されたバンド性を持つ対角行列の一例を表わした図である。
【図６】図６は、本発明のＣＳＲＢＦ法における画像処理方法において前処理を行う場合の流れを説明するためのフローチャートである。

Claims

対象画像を処理する画像処理方法であって、該方法は、
ＣＳＲＢＦ（ＣｏｍｐａｃｔｌｙＳｕｐｐｏｒｔｅｄＲａｄｉａｌＢａｓｉｓＦｕｎｃｔｉｏｎｓ）法を用いて、前記対象画像を関数表現した関数データを生成する過程と、
前記関数データを生成する過程により生成された関数データを用いて、前記対象画像が所望の画像となるように画像処理を行う過程と、
を具備し、前記ＣＳＲＢＦ法における基底関数は、

但し、ｒ（Ｐ_ｉ，Ｐ_ｊ）は、複数の離散点の中の任意の２点Ｐ_ｉとＰ_ｊの距離
ｒ_０は、初期値として与える任意の点Ｐ_ｉを中心とした半径と定義され、そのときの関数データは、

但し、λ_ｉ（ｉ＝１，２，．．．，Ｎ）は点Ｐ_ｉにおける基底関数の係数
λ_Ｎ＋１，λ_Ｎ＋２，λ_Ｎ＋３，λ_Ｎ＋４は１次項の係数
で表わされる関数により与えられ、
前記係数λ_ｉ（ｉ＝１，２，．．．，Ｎ），λ_Ｎ＋１，λ_Ｎ＋２，λ_Ｎ＋３，λ_Ｎ＋４の計算は、補間行列を対角化する高速アルゴリズムを用いて行い、該高速アルゴリズムは、
前記複数の離散点が含まれる初期データから１つの点がリストに加えられ、前記リストに加えられた点は前記初期データから除かれる第１ステップと、
前記第１ステップで加えられた点に対する近傍点が、前記初期データの中から検索されて前記リストに加えられ、前記リストに加えられた点は前記初期データから除かれる第２ステップと、
前記第２ステップで加えられた点に対する近傍点が、前記初期データの中から検索されて前記リストに加えられ、前記リストに加えられた点は前記初期データから除かれる第３ステップと、
前記リストに加えられる点が無くなったら、前記初期データに残っている離散点から１つの点が前記リストに加えられ、前記リストに加えられた点は前記初期データから除かれる第４ステップと、
前記初期データに離散点がすべて無くなるまで、これらの前記第１ステップから前記第４ステップが繰り返され、バンド性を持つ対角行列が作成される第５ステップと、
からなることを特徴とする画像処理方法。
請求項１に記載の画像処理方法において、前記画像処理を行う過程は、前記関数データを用いて、座標のサンプリング数を増減することで、前記対象画像が所望の画像解像度となるように画像補間を行う過程が含まれることを特徴とする画像処理方法。
請求項１又は請求項２に記載の画像処理方法であって、さらに、前記関数データを生成する過程の前に、前記対象画像に対して前処理を行う過程が含まれることを特徴とする画像処理方法。
請求項３に記載の画像処理方法において、前記前処理を行う過程は、前記対象画像の特徴抽出を行うために、ウェーブレット変換を行う過程であることを特徴とする画像処理方法。
請求項３に記載の画像処理方法において、前記前処理を行う過程は、前記対象画像の容量を圧縮するために、前記複数の離散点の単純間引きを行う過程であることを特徴とする画像処理方法。
請求項１又は請求項２に記載の画像処理方法において、前記基底関数は、さらに、パラメータを半径とピクセル値で取るように、

但し、ｐ（Ｐ_ｉ，Ｐ_ｊ）は任意の２点Ｐ_ｉとＰ_ｊのピクセル値の差
ｐ_０は、初期値として与える任意の点Ｐ_ｉからのピクセル値の差
と定義されることを特徴とする画像処理方法。
請求項１乃至請求項６の何れかに記載の画像処理方法において、前記画像処理を行う過程は、前記対象画像に含まれる傷の修復を行う過程であり、該方法は、さらに、前記関数データを生成する過程の前に、
前記対象画像中の傷の部分を範囲指定する過程と、
前記対象画像から傷の部分を除いた残りの領域部分を特定する過程と、を具備し、
その後、前記関数データを生成する過程は、前記特定された残りの領域部分に対して行われ、
前記傷の修復を行う過程は、前記関数データを生成する過程により生成された、前記特定された残りの領域部分に対する関数データを用いて、前記範囲指定された傷の部分を補間することで、傷の修復を行う過程であることを特徴とする画像処理方法。
請求項１乃至請求項６の何れかに記載の画像処理方法において、前記画像処理を行う過程は、前記対象画像に含まれる傷の修復を行う過程であり、該方法は、さらに、前記関数データを生成する過程の前に、
前記対象画像中の傷の部分を範囲指定する過程と、
前記範囲指定された傷の部分の範囲内の所定のポイントを決定する過程と、
前記所定のポイントを中心に隣接する所定の周辺領域部分を特定する過程と、を具備し、
その後、前記関数データを生成する過程は、前記特定された所定の周辺領域部分に対して行われ、
前記傷の修復を行う過程は、前記関数データを生成する過程により生成された、前記特定された所定の周辺領域部分に対する関数データを用いて、前記所定のポイントを補間することで、前記所定のポイントの修復を行う過程であり、
前記所定のポイントの修復が行われた後、次の所定のポイントを決定するために、上記所定のポイントを決定する過程に戻り、前記ポイントの修復を行う過程までの過程が繰り返され、前記範囲指定された傷の部分のすべての傷の修復を行うことを特徴とする画像処理方法。
請求項１又は請求項２に記載の画像処理方法において、前記画像処理を行う過程は、前記対象画像を変化させてアニメーションの作成を行う過程であり、該方法は、さらに、前記関数データを生成する過程の前に、
前記対象画像中の動きのある部分を特定する過程を具備し、
その後、前記関数データを生成する過程は、前記特定された動きのある部分に対して行われ、
前記アニメーションの作成を行う過程は、前記関数データを生成する過程により生成された前記特定された動きのある部分に対する関数データを用いて、前記動きのある部分を線形に変化させることで、アニメーションの作成を行う過程であることを特徴とする画像処理方法。