JP2013084019A - データ外挿方法、データ外挿装置、及びデータ外挿プログラム - Google Patents

Abstract

【課題】 ブロックノイズを発生させることなく各種データを解析して外挿することができ、且つ、外挿後のデータを大幅に自然なものとすることができるデータ外挿装置を提供する。
【解決手段】 データ外挿装置は、処理対象となる元画像データを入力すると、その元画像データの２次元信号と、周波数ｆ’及び初期位相φ’を用いた位相と振幅Ａ’とによって表される正弦波モデル信号との差の二乗和が最小値になるような周波数ｆ’、振幅Ａ’、及び初期位相φ’を、非周期信号のフーリエ変換式のパラメータとして求め、画像データを再構成するために必要な所定本数のスペクトルを抽出し、抽出したスペクトルによって構成される画像データに対して任意の定数ｋを乗算して画像データのダイナミックレンジを拡張しながら画像データの外挿処理を行い、再構成画像データを求める。
【選択図】 図３

Description

本発明は、画像データ等の各種データを解析して外挿するデータ外挿方法、データ外挿装置、及びデータ外挿プログラムに関する。

例えば、被写体を撮像した場合において、得られた画像データ内の明度が高い領域については、撮像装置の過度の絞り等に起因していわゆる「白とび」が発生し、また、その逆の原因により、画像データ内の明度が低い領域については、いわゆる「黒つぶれ」等が発生し、本来有している情報を失ってしまうことがある。また、特に画像処理技術においては、圧縮符号化の際に、隣接するマクロブロックに基づいて欠落した情報を補間して予測画像等を生成したり、様々な画像補正を行ったりする処理が行われている。

このような補間技術としては、例えば特許文献１乃至特許文献８等に記載された技術のように外挿法を適用したものがある。

特許文献１には、フレーム全体の総符号量を効率よく制御可能な画像圧縮を実現するために、量子化ステップ毎に演算された総符号量を外挿によって線形補間する技術が開示されている。

また、特許文献２には、外挿法を適用して画面内予測信号を生成する際に、複雑な絵柄を有する画像に対する予測信号を効率よく生成する技術が開示されている。

さらに、特許文献３には、入力画像をブロック単位に分割し、イントラ予測を行って選択される予測モードにしたがって生成される予測画像との差分を符号化する際に、画素値を外挿して予測画像を生成する技術が開示されている。

さらにまた、特許文献４には、ＲＧＢ信号処理系の画像情報をＹＭＣＫ信号処理系の画像情報に色変換する３次元色情報変換テーブルを作成する際に、外挿法を適用する技術が開示されている。

また、特許文献５には、外挿によって圧縮画像からブロックアーティファクトを除去する技術が開示されている。

さらに、特許文献６には、テクスチャ画像をマッピングする際に、使用可能でないミップマップの代わりに外挿を用いてテクスチャマップ値を求める技術が開示されている。

さらにまた、特許文献７には、テクスチャ画像をマッピングして画像の補正処理を行う際に、外挿処理を行う技術が開示されている。

また、特許文献８には、テクスチャ画像の周縁を平滑化する際に、外挿法を適用する技術が開示されている。

さらに、被写体を撮像した場合において、ダイナミックレンジが小さいことに起因して不自然な画像が得られてしまうことがある。現在市販されているアプリケーションプログラム等においては、このような画像の不自然さを補正するためにガンマ補正を用いているのが一般的である。また、現存する規格の多くは、１色あたり８ビットで画像を記述したものであるが、近年では、ＪＰＥＧ ＸＲ等、８ビット以上を有する規格が登場しており、そのような規格に合わせて、既に撮像された画像のダイナミックレンジを拡張することも要求されつつある。

特開２００８−４２９４３号公報 特開２００７−３００３８０号公報 特開２００６−２９５４０８号公報 特開２００５−３５４２１９号公報 特表平１１−５０４１７３号公報 特開２００８−３０５４０８号公報 特開２００４−２０６６７２号公報 特表２００３−５０４６９７号公報

しかしながら、上述した特許文献１乃至特許文献５に記載された従来の技術は、２次線形外挿やそれ以外の関数を用いた外挿法を適用したものであることから、外挿可能な範囲が限定的であるという問題があった。

また、上述した特許文献６乃至特許文献８に記載された従来の技術は、高い解像度を得るために周波数領域で高い周波成分を外挿する技術であり、また、符号化する際の性能を高めるために、隣接するマクロブロックから予測し、その誤差を符号化するといったものであり、広範囲を予測するには適さず、ブロックノイズが発生するという問題があった。

ここで、画像データをフーリエ変換して得られるスペクトルを補正することにより、ブロックノイズを低減する手法もあり、工学分野において広く用いられている離散フーリエ変換（Discrete Fourier Transform；ＤＦＴ）や離散コサイン変換（Discrete Cosine Transform；ＤＣＴ）を適用した外挿処理に応用されている。また、特開２００７−１８８７２１号公報に記載された技術のように、フーリエ変換を行って最適周波数成分を抽出し、得られた像に逆フーリエ変換を施す技術も存在する。

しかしながら、このようなフーリエ変換に基づく処理においては、ｆ_ｓ／ｋ（ｆ_ｓはサンプリング周波数、ｋは解析窓長）の整数倍の周波数を有する信号しか正確な解析を行うことができず、それ以外の周波数を有する信号を解析した場合には、スペクトル漏れによって誤差が発生するという問題があった。また、フーリエ変換に基づく処理においては、解析するフレームが無限に繰り返されることを仮定していることから、隣接するフレームにも解析したフレームと全く同じ情報が外挿される。そのため、かかる技術においては、外挿する際にフレーム間で誤差が発生するという問題があった。

本発明は、このような実情に鑑みてなされたものであり、ブロックノイズを発生させることなく各種データを解析して外挿することができ、且つ、外挿後のデータを大幅に自然なものとすることができるデータ外挿方法、データ外挿装置、及びデータ外挿プログラムを提供することを目的とする。

本願発明者の一部は、国際公開第２００９／０３８０５６号において、新たな周波数解析手法として、非周期信号の解析手法であるNon-Harmonic Analysis（ＮＨＡ）を開示している。このＮＨＡは、解析対象信号と、周波数ｆ’及び初期位相φ’を用いた位相と振幅Ａ’とによって表される正弦波モデル信号との差の二乗和が最小値になるような周波数ｆ’、振幅Ａ’、及び初期位相φ’を、非周期信号のフーリエ変換式のパラメータとして算出するものである。本発明は、このような周波数分解能が高く且つ解析窓長の影響が少ないＮＨＡを利用することにより、切り出したデータのスペクトルを正確に抽出して外挿し、この技術分野の問題を本質的に解決する技術を確立したものである。

すなわち、上述した目的を達成する本発明にかかるデータ外挿方法は、各種データを解析して外挿するデータ外挿方法であって、処理対象となる元データをデータ外挿装置に入力し、メモリに記憶させるデータ入力工程と、前記データ外挿装置の演算手段が、前記データ入力工程にて入力されて前記メモリに記憶された前記元データを読み出し、当該元データの任意次元信号と、周波数ｆ’及び初期位相φ’を用いた位相と振幅Ａ’とによって表される正弦波モデル信号との差の二乗和が最小値になるような前記周波数ｆ’、前記振幅Ａ’、及び前記初期位相φ’を、非周期信号のフーリエ変換式のパラメータとして求め、データを再構成するために必要な所定本数のスペクトルを抽出するスペクトル抽出工程と、前記演算手段が、前記スペクトル抽出工程にて抽出されたスペクトルによって構成されるデータに対して任意の定数ｋを乗算してデータのダイナミックレンジを拡張しながらデータの外挿処理を行い、再構成データを求める外挿工程とを備えることを特徴としている。

また、上述した目的を達成する本発明にかかるデータ外挿装置は、各種データを解析して外挿するデータ外挿装置であって、処理対象となる元データを入力するデータ入力手段と、前記データ入力手段を介して入力された前記元データの任意次元信号と、周波数ｆ’及び初期位相φ’を用いた位相と振幅Ａ’とによって表される正弦波モデル信号との差の二乗和が最小値になるような前記周波数ｆ’、前記振幅Ａ’、及び前記初期位相φ’を、非周期信号のフーリエ変換式のパラメータとして求め、データを再構成するために必要な所定本数のスペクトルを抽出するスペクトル抽出手段と、前記スペクトル抽出手段によって抽出されたスペクトルによって構成されるデータに対して任意の定数ｋを乗算してデータのダイナミックレンジを拡張しながらデータの外挿処理を行い、再構成データを求める外挿手段とを備えることを特徴としている。

さらに、上述した目的を達成する本発明にかかるデータ外挿プログラムは、各種データを解析して外挿するコンピュータ実行可能なデータ外挿プログラムであって、前記コンピュータを、処理対象となる元データを入力するデータ入力手段、前記データ入力手段を介して入力された前記元データの任意次元信号と、周波数ｆ’及び初期位相φ’を用いた位相と振幅Ａ’とによって表される正弦波モデル信号との差の二乗和が最小値になるような前記周波数ｆ’、前記振幅Ａ’、及び前記初期位相φ’を、非周期信号のフーリエ変換式のパラメータとして求め、データを再構成するために必要な所定本数のスペクトルを抽出するスペクトル抽出手段、及び、前記スペクトル抽出手段によって抽出されたスペクトルによって構成されるデータに対して任意の定数ｋを乗算してデータのダイナミックレンジを拡張しながらデータの外挿処理を行い、再構成データを求める外挿手段として機能させることを特徴としている。

このような本発明にかかるデータ外挿方法、データ外挿装置、及びデータ外挿プログラムが実装された装置においては、高い周波数分解能を有し且つ解析窓長による影響が少ない周波数解析手法を適用していることから、元データの特徴を損なうことなく、また、フレーム間で誤差が発生することなく、元データに基づいた外挿を行うことができる。

本発明においては、いかなるデータであっても、また、データのどの部分を切り出しても、ブロックノイズを発生させることなく高精度に未知の情報を外挿することができる。また、本発明においては、データの再構成時のダイナミックレンジを拡張することにより、保存するデータの規格に合わせて丸め込むことができることから「ボケ」を低減することができる。したがって、本発明においては、「ボケ」が除去されたデータを再構成するために少量のスペクトルのみを保持すればよく、周囲の未知の情報を外挿することにより、少ない情報で広範囲のデータを表現することが可能となる。

本発明の実施の形態として示すデータ外挿装置の構成を示すブロック図である。 本周波数解析手法とＤＦＴとＧＨＡとの違いを説明するための図であり、各手法の誤差を求めた結果を示す図である。 本発明の実施の形態として示すデータ外挿装置において、元画像データに基づく外挿によって画像データの再構成を行う際の一連の処理を示すフローチャートである。 本発明の実施の形態として示すデータ外挿装置の有効性を検証するために使用した画像データを示す図である。 図４に示す画像データのうち矩形枠線で囲った部分を切り出した元画像データを示す図である。 図５に示す元画像データに基づいてＦＦＴを適用して再構成した画像データを示す図である。 図５に示す元画像データに基づいて本周波数解析手法を適用して再構成した画像データを示す図である。 他の元画像データに基づいて本周波数解析手法を適用して再構成した画像データを示す図である。 図５に示す元画像データに基づいて本周波数解析手法を適用して再構成した画像データを示す図であり、（ａ）は、図５に示す元画像データと同一の画像データを示し、（ｂ）は、（ａ）に示す画像データを本周波数解析手法によって解析して抽出した５０本のスペクトルに基づいて再構成した画像データを示し、（ｃ）は、定数を（ａ）に示す画像データから差し引いた後に、本周波数解析手法によって解析して抽出した５０本のスペクトルに基づいて再構成した画像データを示し、（ｄ）は、（ｃ）に示す画像データを再構成する際のダイナミックレンジを拡張して再構成した画像データを示す。

以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。

この実施の形態は、画像データ等の各種データを解析して外挿するデータ外挿装置である。特に、このデータ外挿装置は、非線形方程式を解くことでフーリエ係数を推定することによって周波数分解能が解析窓長に依存しない新たな周波数解析手法を適用してデータの外挿を行うものである。なお、ここでは、主として、外挿処理を行うことによって元画像データに基づいて補間して再構成する場合について説明する。

［データ外挿装置の構成］
データ外挿装置は、例えばコンピュータ等から構成され、図１に示すように、各部を統括的に制御するＣＰＵ（Central Processing Unit）１１と、各種プログラムを含む各種情報を格納する読み取り専用のＲＯＭ（Read Only Memory）１２と、ワークエリアとして機能するＲＡＭ（Random Access Memory）１３と、各種情報を読み出し及び／又は書き込み可能に記憶する記憶部１４と、ユーザインターフェースとしての図示しない所定の操作デバイスを介した入力操作の処理及び制御を行う入力操作制御部１５と、各種情報を表示する表示部１６とを備える。

ＣＰＵ１１は、記憶部１４等に格納されている各種アプリケーションプログラムをはじめとする各種プログラムを実行し、各部を統括的に制御する。

ＲＯＭ１２は、各種プログラムをはじめとする各種情報を格納している。このＲＯＭ１２に格納されている情報は、ＣＰＵ１１の制御のもとに読み出される。

ＲＡＭ１３は、ＣＰＵ１１が各種プログラムを実行する際のワークエリアとして機能し、ＣＰＵ１１の制御のもとに、各種情報を一時記憶するとともに、記憶している各種情報を読み出す。

記憶部１４は、本発明にかかるデータ外挿プログラム等のアプリケーションプログラムの他、処理対象となる元画像データをはじめとする各種情報を記憶する。この記憶部１４としては、例えば、ハードディスクや不揮発性メモリ等を用いることができる。また、記憶部１４には、本体に対して着脱可能とされるフレキシブルディスクやメモリカード等の記憶媒体に対して、各種情報の読み出し及び／又は書き込みを行うドライブ装置も含まれる。この記憶部１４に記憶されている各種情報は、ＣＰＵ１１の制御のもとに読み出される。

入力操作制御部１５は、例えば、キーボード、マウス、キーパッド、赤外線リモートコントローラ、スティックキー、又はプッシュボタンといった、ユーザインターフェースとしての図示しない所定の操作デバイスを介した入力操作を受け付け、操作内容を示す制御信号をＣＰＵ１１に対して供給する。

表示部１６は、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）、プラズマ・ディスプレイ・パネル（Plasma Display Panel；ＰＤＰ）、有機エレクトロルミネッセンス（Organic ElectroLuminescent）ディスプレイ、又はＣＲＴ（Cathode Ray Tube）といった、各種表示デバイスであり、ＣＰＵ１１の制御のもとに各種情報を表示する。例えば、表示部１６は、ＣＰＵ１１によってデータ外挿プログラムが起動されると、その画面を表示し、入力された処理対象としての元画像データや外挿結果としての補間後の画像データ等を表示する。

このような各部を備えるデータ外挿装置は、ＣＰＵ１１の制御のもとに、データ外挿プログラムを実行すると、ＣＰＵ１１の制御のもとに、入力された画像データの周波数解析を行うことによってスペクトルを抽出し、得られたスペクトルに基づいて画像データを再構成する。なお、周波数解析の対象となる信号、すなわち、処理対象となる画像データは、図示しないデータ入力部を介してＣＰＵ１１に入力される。例えば、データ外挿装置は、ディジタルカメラ等の撮像装置によって撮像された画像データを外挿処理によって補間する場合には、当該データ外挿装置と撮像装置とを接続する所定のインターフェースを介して処理対象信号としての画像データを記憶部１４に記憶させることによって入力する。その他、データ外挿装置は、ユーザが作成した任意のデータを処理対象信号として記憶部１４に記憶させることによって入力するようにしてもよい。すなわち、データ入力部は、処理対象としての画像データをＣＰＵ１１に入力させる機能を有する部位である。なお、データ入力部は、アナログ信号を入力した場合には、Ａ／Ｄ変換を行ってディジタル信号に変換する機能をあわせ持つことはいうまでもない。このとき、データ入力部は、必要に応じてアンチエイリアシングフィルタを含むＡ／Ｄ変換器としてもよい。データ外挿装置は、ＣＰＵ１１の制御のもとに、このようにして入力された処理対象としての画像データの周波数解析を行うことによって外挿処理を行い、再構成した画像データ等を、図示しない出力部を介して記憶部１４に記憶させたり、その他の機器に出力したりする。

［周波数解析アルゴリズム］
まず、データ外挿装置における一連のデータ外挿アルゴリズムの説明に先立って、データ外挿を行う際に利用する周波数解析アルゴリズムについて詳述する。なお、画像データは２次元信号であることはいうまでもないが、ここでは、説明の便宜上、１次元の解析対象信号に対する周波数解析アルゴリズムについて説明するものとする。

データ外挿装置に適用する周波数解析手法（以下、本周波数解析手法という。）においては、次式（１）に示す非周期信号のフーリエ変換式の周波数パラメータを求める問題を非線形方程式の最適解を求める問題に置き換えている。

具体的には、本周波数解析手法においては、次式（２）に示すように、解析対象信号ｘ（ｎ）と正弦波モデル信号との差の二乗和で表される非線形方程式の最適解として、この非線形方程式の右辺が最小値になるような周波数ｆ’、振幅Ａ’、及び初期位相φ’を求める。なお、次式（２）において、Ｌはフレーム長（解析窓長）であり、ｆ_ｓはサンプリング周波数［Ｈｚ］である。本周波数解析手法においては、このような最小二乗法によって非線形方程式の最適解を求める問題に帰着させることにより、解析窓の影響やエイリアシングの影響がなくなり、解析窓長が、１周期未満であってもよく、周期の整数倍でなくてもよく、さらには、不等間隔であってもよい等、柔軟な周波数解析処理を実現することが可能となる。

さて、上式（２）に示す非線形方程式の最適解を実際に求めるにあたっては、以下のような方法をとることができる。

本周波数解析手法においては、振幅Ａ’、周波数ｆ’、及び初期位相φ’のそれぞれについて適切な初期値を求め、これら初期値から非線形方程式の解法を用いて最適解に収束させる。この非線形問題では、上式（２）をコスト関数とする最小化問題とする。なお、適切な初期値は、離散フーリエ変換（Discrete Fourier Transform；ＤＦＴ）やウェーブレット変換等の任意の周波数変換を行ったり、フィルタリングを行うことによっておおよその見当をつけたりする等、既存の任意の方法を適用して求めることができる。

まず、本周波数解析手法においては、上式（２）における正弦波モデル信号の位相を構成する周波数パラメータｆ’，φ’について、いわゆる最急降下法を適用し、周波数パラメータｆ_ｍ’，φ_ｍ’を次式（３）及び次式（４）によって求める。

なお、上式（３）及び上式（４）においては、次式（５）と略している。また、μ_ｍは、いわゆる減速法に基づく重み係数であり、各漸化式によって求められるコスト関数を単調減少数列にするために、適時０〜１の値をとる。

周波数パラメータｆ_ｍ’，φ_ｍ’を求めることができれば、上式（２）における正弦波モデル信号の係数としての周波数パラメータＡ’を一意に求めることができるため、本周波数解析手法においては、次式（６）によって周波数パラメータＡ_ｍ’を収束させる。

本周波数解析手法においては、これら一連の計算を反復して行うことにより、振幅Ａ’、周波数ｆ’、及び初期位相φ’を高精度に収束させることができる。特に、本周波数解析手法においては、上式（２）における正弦波モデル信号の位相を構成する周波数パラメータｆ’，φ’と、係数としての周波数パラメータＡ’とを別個に求めることにより、計算を簡便に行うことができる。

しかしながら、最急降下法は、比較的広い範囲から収束するものの、１回の反復では精度が低く、収束するまでに時間を要する。

そこで、本周波数解析手法においては、最急降下法を適用して周波数パラメータｆ_ｍ’，φ_ｍ’をある程度まで収束させた後、さらに、いわゆるニュートン法を適用して高精度に収束させるのが望ましい。具体的には、本周波数解析手法においては、ニュートン法として、次式（７）及び次式（８）に示す漸化式によって周波数パラメータｆ_ｍ’，φ_ｍ’を求める。

ただし、上式（７）及び上式（８）において、Ｊは次式（９）とし、次式（１０）と略している。また、ν_ｍもμ_ｍと同様に減速法に基づく重み係数であり、適時０〜１の値をとる。

本周波数解析手法においては、上式（７）及び上式（８）によって周波数パラメータｆ_ｍ’，φ_ｍ’を求めた後、最急降下法と同様に、上式（６）によって周波数パラメータＡ_ｍ’を収束させ、この一連の計算をさらに反復して行う。

このように、本周波数解析手法においては、最急降下法とニュートン法とを組み合わせたハイブリッド型の解法を用いることにより、高速に且つ高精度に周波数パラメータＡ’，ｆ’，φ’を推定することができる。

また、本周波数解析手法においては、解析対象信号ｘ（ｎ）が複合正弦波の場合であっても、逐次減算処理することにより、近似的にスペクトルパラメータを導出することができる。ここで、解析対象信号ｘ（ｎ）が複数の正弦波の和であり、次式（１１）のように表されているとする。

パーセヴァル（Parseval）の定理より、解析対象信号ｘ（ｎ）の周波数ｆ_ｋと正弦波モデル信号の周波数パラメータｆ’とが全く一致しない場合、すなわち、次式（１２）である場合には、上式（２）に示す非線形方程式は次式（１３）となる。また、周波数パラメータｆ’，φ’の組が、周波数ｆ_ｋ及び初期位相φ_ｋの組のいずれかに一致する場合には、上式（２）に示す非線形方程式は次式（１４）となる。さらに、振幅Ａ_ｊが周波数パラメータＡ’とも一致した場合には、解析対象信号から推定スペクトルに関する周波数成分を完全に消去することができる。そのため、最適解を求める問題は、周波数に対して独立であり、解析対象信号から順次個別に推定すれば、複数の正弦波で表される信号にも応用することができる。

すなわち、本周波数解析手法においては、解析対象信号ｘ（ｎ）が複合正弦波の場合であっても、逐次残差信号に対して同様に処理を行い、複数の正弦波を抽出することができる。

音声信号や音響信号等の信号を複合正弦波によって表現するためには、これまで多くのスペクトル数（正弦波の数）が必要であったが、本周波数解析手法においては、そのような信号であっても僅かなスペクトル数で誤差なく表現することができる。すなわち、信号をより少ないスペクトル数で表現可能であることは、情報圧縮の用途に有効であることを示している。

［本周波数解析手法の有効性］
以下、本周波数解析手法の有効性について具体的に説明する。

本周波数解析手法は、非線形方程式の最適解を求めることにより、正弦波モデル信号の周波数ｆ’、振幅Ａ’、及び初期位相φ’を高速に且つ高精度に求めることができる。具体的な精度を立証するために、本願発明者は、ＤＦＴと、ＤＦＴの発展型のうち最も解析精度が高いといわれているＧＨＡ（Generalized Harmonic Analysis）とを比較対象として精度の検証を行った。

なお、ＤＦＴやＧＨＡは、１つの解析窓長に見かけ上複数の窓長を持たせていることから、周波数分解能が解析窓長に依存するが、その分解周波数が有限長であり、解析対象信号の周波数が分解周波数以外の周波数となった場合には解析することができず、解析対象信号が正確に解析できる周波数と異なる場合には、最も近い分解周波数の他に、その周辺に小さなスペクトルの周波数（側帯波成分）が現れ、複数の周波数が出現してしまう。

このような現象が本周波数解析手法においても生じるか否かについて、すなわち、本周波数解析手法の周波数分解能を検証するために、解析窓長を１秒（１０２４サンプル）とした１次元の非常に短い単一正弦波を解析し、各手法によって正弦波を１本抽出して元の信号との二乗誤差を調べた。その結果を図２に示す。

図２に示すように、ＤＦＴにおいては、基本周波数の整数倍以外の周波数における解析精度の悪化がみられた。また、ＧＨＡにおいては、１Ｈｚ以上の周波数ではＤＦＴと比べて２〜５桁程度の精度向上がみられた。これに対して、本周波数解析手法においては、１Ｈｚ以上の周波数ではＤＦＴと比べて１０桁以上、ＧＨＡと比べて５桁以上の精度向上がみられた。すなわち、本周波数解析手法は、既存の周波数解析手法と比べて１０万〜１００億倍以上の精度向上がみられた。特に、１Ｈｚ以下の周波数を正確に推定することができるということは、解析窓長を超えた長い周期信号であっても解析可能であることを示している。

このように、本周波数解析手法は、最も解析精度が高いといわれているＧＨＡと比べても驚くべき高精度に解析を行うことができるものである。データ外挿装置は、２次元信号である元画像データに基づく外挿によって画像データの再構成を行う場合には、このような本周波数解析手法を適用して、図３に示すような一連の処理を行う。

［解析段階］
まず、データ外挿装置は、図３に示すように、解析段階において、ＣＰＵ１１の制御のもとに、図示しないデータ入力部を介して元画像データｘ_ｏｒｇ（ｎ_１，ｎ_２）を入力してＲＡＭ１３等のメモリに記憶すると、ステップＳ１において、元画像データｘ_ｏｒｇ（ｎ_１，ｎ_２）から定数Ｃを差し引く。すなわち、データ外挿装置は、情報量を削減するために、視覚的に劣化の少ない高周波数成分を量子化によって除去する。

そして、データ外挿装置は、ステップＳ２及びステップＳ３において、ＣＰＵ１１の制御のもとに、次式（１５）に示すように、２次元信号からなるステップＳ１にて得られた画像データｘ（ｎ_１，ｎ_２）（＝ｘ_ｏｒｇ（ｎ_１，ｎ_２）−Ｃ）に対して上述した本周波数解析手法を適用し、画像データを再構成するために最低限必要となるＬ本のスペクトル（Ａ_ｌ’，ｆ_ｘｌ’，ｆ_ｙｌ’，φ_ｌ’；ｌ＝１〜Ｌ）を抽出する。次式（１５）において、ｆ_ｘｓ，ｆ_ｙｓは、それぞれ、画像データの横軸方向、縦軸方向のサンプリング周波数［Ｈｚ］であり、Ａ_ｌ’，ｆ_ｘｌ’，ｆ_ｙｌ’，φ_ｌ’は、それぞれ、抽出するスペクトルの振幅、画像データの各軸に対応する周波数、初期位相である。データ外挿装置は、２次元信号である画像データを次式（１５）に示すような正弦波モデル関数を用いて表し、実際の信号と、次式（１５）に示す正弦波モデル信号との差が最小となるように、次式（１６）を用いてパラメータを変化させ、各周波数を求める。

［合成段階］
データ外挿装置においては、このようにしてＬ本のスペクトルを抽出すると、これらのスペクトルに基づいて画像データを再構成する合成段階へと移行する。具体的には、データ外挿装置は、ステップＳ４において、ＣＰＵ１１の制御のもとに、ｌ本目のスペクトルについて、次式（１７）に示すように画像データの外挿処理を行う。なお、本周波数解析手法を適用して少ない本数のスペクトルのみを抽出した場合には、その情報に基づいて再構成される画像データの高周波数成分が不足し、いわゆる「ボケ」が発生しやすくなる。そこで、データ外挿装置は、画像データを再構成する際のダイナミックレンジを拡張することにより、テクスチャ画像の「ボケ」の除去を行う。すなわち、データ外挿装置は、解析段階にて抽出されたスペクトルによって構成される画像データに対して任意の定数ｋを乗算することにより、画像データのダイナミックレンジを拡張しながら画像データの再構成を行う。

続いて、データ外挿装置は、ステップＳ５において、ＣＰＵ１１の制御のもとに、Ｌ本の全てのスペクトルについて処理を行ったか否かを判定し、行っていない場合には、ステップＳ６を経て、次のスペクトルについての処理を行う。そして、データ外挿装置は、Ｌ本の全てのスペクトルについて処理を行った場合には、ステップＳ７において、Ｌ本のスペクトルに基づいて再構成した画像データに対して、除去した量子化ビット数分の定数Ｃを加算することにより、再構成画像データｘ’（ｎ_１’，ｎ_２’）を求め、一連の処理を終了する。

データ外挿装置は、このような一連の処理を行うことにより、元画像データｘ_ｏｒｇ（ｎ_１，ｎ_２）に基づいて、画像データｘ’（ｎ_１’，ｎ_２’）を再構成することができる。再構成された画像データｘ’（ｎ_１’，ｎ_２’）のダイナミックレンジは、画像データの規格に合わせて丸め込まれるため、「ボケ」を低減することができる。また、データ外挿装置は、（ｎ_１’，ｎ_２’）のとり得る範囲を広げることにより、外挿処理を行うことが可能となる。

［データ外挿装置の有効性］
本願発明者は、このようなデータ外挿装置を用いて実際に画像データを解析し、外挿処理を行った。具体的には、図４に示すような同じパターンが連続する画像データを用意し、このうち矩形枠線で囲った部分（図５）を切り出して解析対象、すなわち、元画像データとし、この元画像データに基づいて、その周囲の未知の情報を外挿することによって再構成画像データを求めた。なお、図５に示す元画像データの大きさは、１４０ピクセル×１４０ピクセルであり、これに基づいて、４２０ピクセル×４２０ピクセルの大きさの再構成画像データを求めた。

また、従来の外挿法は、２次線形予測やそれ以外の関数等を用いて未知の情報を外挿したり、テクスチャ画像が有する周期性に着目して離散フーリエ変換等の周波数解析手法を適用してスペクトルを抽出し、その周囲の未知の情報を外挿したりするものである。そこで、本願発明者は、比較のため、本周波数解析手法の代わりに高速フーリエ変換（Fast Fourier Transform；ＦＦＴ）を用いて同一の元画像データを解析して再構成画像データを求めた。

これらの結果を図６及び図７に示す。まず、ＦＦＴを適用した場合には、図６に示すように、元画像データの解析結果と全く同じ情報が周囲においても繰り返し外挿されることから、フレーム間で不自然な再構成画像データとなる。なお、解析を行う際に、窓関数を用いることによってフレーム間の誤差を小さくすることもできるが、この場合においても、画像データの再構成時に元の信号を得ることはできない。すなわち、ＦＦＴ等の従来の周波数解析手法を適用した外挿法においては、解析区間、すなわち、テクスチャ画像のどの部分を切り出して解析するかといった事項や、フレーム長をどのように決めるかが問題となり、これを解決することは非常に困難である。

これに対して、高い周波数分解能を有し且つ解析窓長による影響が少ない解析が可能である本周波数解析手法を適用したデータ外挿装置においては、図７に示すように、元画像データの特徴を損なうことなく、また、フレーム間で誤差が発生することなく、元画像データに基づいた外挿が行われている。また、他の元画像データとして図８における矩形枠線で囲った部分を切り出し、本周波数解析手法を適用したデータ外挿装置によって周囲の未知の情報を外挿した場合においても、元画像データの特徴を損なうことなく、また、フレーム間で誤差が発生することなく、元画像データに基づいた外挿を行うことができた。すなわち、データ外挿装置においては、いかなるテクスチャ画像であっても、また、テクスチャ画像のどの部分を切り出しても、元画像データの特徴を損なうことなく正確な解析を行うことができ、その未知の情報を外挿する際にもフレーム間で誤差を発生させることがない。

また、本願発明者は、本周波数解析手法を適用した場合において、上述した図３中ステップＳ１における高周波数成分の除去及びステップＳ４におけるダイナミックレンジの拡張による影響についても調べた。

図９（ａ）に、図５に示したものと同一の１４０ピクセル×１４０ピクセルからなる元画像データを示す。この元画像データを本周波数解析手法によって解析して抽出した５０本のスペクトルに基づいて再構成した画像データは、図９（ｂ）に示すように、高周波数成分が不足して「ボケ」が発生したものとなる。

また、図３中ステップＳ１に示したように、量子化ビット数／２の定数Ｃを元画像データから差し引いた後に、本周波数解析手法によって解析して抽出した５０本のスペクトルに基づいて再構成し、差し引いた定数Ｃを加算して求めると、図９（ｃ）に示すように、画像のエッジ部分において「ボケ」が発生した画像データが得られた。

これに対して、図３中ステップＳ４に示したように、図９（ｃ）に示す画像データを再構成する際のダイナミックレンジを拡張した場合には、図９（ｄ）に示すように、「ボケ」が低減した画像データが得られた。このことから、データ外挿装置においては、画像データを再構成する際のダイナミックレンジを拡張することにより、保存する画像データの規格に合わせて丸め込むことができ、周波数解析によって抽出したスペクトルの本数の少なさに起因する高周波数成分の不足による「ボケ」、及び、量子化による高周波数成分の除去による「ボケ」の双方とも低減した画像データを得ることができることがわかる。

このように、本周波数解析手法を適用したデータ外挿装置は、従来の周波数解析手法の適用ではなし得なかったブロックノイズの発生をなくした外挿処理を行い、大幅に自然な再構成画像データを得ることが可能である。

［データ外挿装置の効果］
以上説明したように、本周波数解析手法を適用したデータ外挿装置は、いかなるテクスチャ画像であっても、また、テクスチャ画像のどの部分を切り出しても、ブロックノイズを発生させることなく高精度に未知の情報を外挿することができる。また、このデータ外挿装置は、データの再構成時のダイナミックレンジを拡張することにより、保存するデータの規格に合わせて丸め込むことができることから「ボケ」を低減することができる。これにより、このデータ外挿装置においては、「ボケ」が除去されたテクスチャ画像を再構成するために少量のスペクトルのみを保持すればよく、周囲の未知の情報を外挿することにより、少ない情報で広範囲のテクスチャ画像を表現することが可能となる。

このようなデータ外挿装置は、撮像した画像データの「白とび」や「黒つぶれ」等によって失われた未知の情報を周囲の情報に基づいて高精度に補間する用途に適用して極めて好適であり、また、１色あたり８ビットで表現されている画像を任意のダイナミックレンジに変換することも可能である。したがって、このデータ外挿装置は、近年のディジタルカメラ市場の拡大傾向に照らして極めて有益なものである。

さらに、近年では、映画やゲームの製作等にコンピュータ・グラフィックス技術が欠かせないものとなっており、より現実的なコンピュータ・グラフィックスによる表現が求められている。そのためには、３次元オブジェクト表面に貼り付けられる模様であるテクスチャ等もより現実的なものである必要があり、当該分野の研究が多く行われている。このような背景を考慮すると、本周波数解析手法を適用したデータ外挿装置は、３次元モデリングソフトウェアや画像加工ソフトウェア等において用いられるテクスチャを生成する際に、ユーザが、ディジタルカメラ等によって撮像された写真内に含まれる任意の部分を自由に切り出してテクスチャとして３次元オブジェクト表面等に貼り付けて使用するのを可能とし、より現実に近いテクスチャの表現をもたらすことができる。また、このデータ外挿装置は、切り出したテクスチャが小さい場合であっても、外挿処理を施すことによって任意の大きさに拡張することができ、任意の面にマッピングすることも可能である。このように、このデータ外挿装置は、コンピュータ・グラフィックス市場の要求に照らしても極めて有益なものである。

なお、本発明は、上述した実施の形態に限定されるものではない。例えば、上述した実施の形態では、画像データの外挿処理について説明したが、本発明は、音声データ等の１次元データは勿論のこと、３次元データである動画像データ等、任意のデータの外挿処理に適用することができる。

また、上述した実施の形態では、データ外挿装置によってソフトウェアによる周波数解析を行うものとして説明したが、本発明は、本周波数解析手法を含むデータ外挿処理のアルゴリズムを実装したＤＳＰ（Digital Signal Processor）等、積和演算を行うことが可能であればハードウェアによっても実現することができる。

このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 記憶部
１５ 入力操作制御部
１６ 表示部

Claims (5)

1. 各種データを解析して外挿するデータ外挿方法であって、
   処理対象となる元データをデータ外挿装置に入力し、メモリに記憶させるデータ入力工程と、
   前記データ外挿装置の演算手段が、前記データ入力工程にて入力されて前記メモリに記憶された前記元データを読み出し、当該元データの任意次元信号と、周波数ｆ’及び初期位相φ’を用いた位相と振幅Ａ’とによって表される正弦波モデル信号との差の二乗和が最小値になるような前記周波数ｆ’、前記振幅Ａ’、及び前記初期位相φ’を、非周期信号のフーリエ変換式のパラメータとして求め、データを再構成するために必要な所定本数のスペクトルを抽出するスペクトル抽出工程と、
   前記演算手段が、前記スペクトル抽出工程にて抽出されたスペクトルによって構成されるデータに対して任意の定数ｋを乗算してデータのダイナミックレンジを拡張しながらデータの外挿処理を行い、再構成データを求める外挿工程とを備えること
   を特徴とするデータ外挿方法。
2. 前記演算手段が、前記データ入力工程にて入力されて前記メモリに記憶された前記データから定数Ｃを差し引いて高周波数成分を量子化によって除去する高周波数成分除去工程を備え、
   前記スペクトル抽出工程では、前記演算手段が、前記高周波数成分除去工程にて定数Ｃが差し引かれたデータについて、前記周波数ｆ’、前記振幅Ａ’、及び前記初期位相φ’を求めてスペクトルを抽出し、
   前記外挿工程では、前記演算手段が、前記スペクトル抽出工程にて抽出されたスペクトルに基づいて再構成したデータに対して前記定数Ｃを加算して前記再構成データを求めること
   を特徴とする請求項１記載のデータ外挿方法。
3. 前記データは、２次元信号である画像データであること
   を特徴とする請求項１又は請求項２記載のデータ外挿方法。
4. 各種データを解析して外挿するデータ外挿装置であって、
   処理対象となる元データを入力するデータ入力手段と、
   前記データ入力手段を介して入力された前記元データの任意次元信号と、周波数ｆ’及び初期位相φ’を用いた位相と振幅Ａ’とによって表される正弦波モデル信号との差の二乗和が最小値になるような前記周波数ｆ’、前記振幅Ａ’、及び前記初期位相φ’を、非周期信号のフーリエ変換式のパラメータとして求め、データを再構成するために必要な所定本数のスペクトルを抽出するスペクトル抽出手段と、
   前記スペクトル抽出手段によって抽出されたスペクトルによって構成されるデータに対して任意の定数ｋを乗算してデータのダイナミックレンジを拡張しながらデータの外挿処理を行い、再構成データを求める外挿手段とを備えること
   を特徴とするデータ外挿装置。
5. 各種データを解析して外挿するコンピュータ実行可能なデータ外挿プログラムであって、
   前記コンピュータを、
   処理対象となる元データを入力するデータ入力手段、
   前記データ入力手段を介して入力された前記元データの任意次元信号と、周波数ｆ’及び初期位相φ’を用いた位相と振幅Ａ’とによって表される正弦波モデル信号との差の二乗和が最小値になるような前記周波数ｆ’、前記振幅Ａ’、及び前記初期位相φ’を、非周期信号のフーリエ変換式のパラメータとして求め、データを再構成するために必要な所定本数のスペクトルを抽出するスペクトル抽出手段、及び、
   前記スペクトル抽出手段によって抽出されたスペクトルによって構成されるデータに対して任意の定数ｋを乗算してデータのダイナミックレンジを拡張しながらデータの外挿処理を行い、再構成データを求める外挿手段として機能させること
   を特徴とするデータ外挿プログラム。