JP2010093820A - 次元縮小法を使用した適応予測 - Google Patents

次元縮小法を使用した適応予測 Download PDF

Info

Publication number
JP2010093820A
JP2010093820A JP2009245887A JP2009245887A JP2010093820A JP 2010093820 A JP2010093820 A JP 2010093820A JP 2009245887 A JP2009245887 A JP 2009245887A JP 2009245887 A JP2009245887 A JP 2009245887A JP 2010093820 A JP2010093820 A JP 2010093820A
Authority
JP
Japan
Prior art keywords
field
correlation matrix
generating
classes
decimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009245887A
Other languages
English (en)
Other versions
JP5254179B2 (ja
Inventor
Oguz Demirci
デマーシ オグス
Marco Paniconi
パニコニ マルコ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Electronics Inc
Original Assignee
Sony Corp
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Electronics Inc filed Critical Sony Corp
Publication of JP2010093820A publication Critical patent/JP2010093820A/ja
Application granted granted Critical
Publication of JP5254179B2 publication Critical patent/JP5254179B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/10Selection of transformation methods according to the characteristics of the input images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】次元縮小法を使用した適応予測又はビデオ処理方法を提供する。
【解決手段】オリジナルデータ100が、次元縮小法を取り入れた適応予測を使用してエンコーダ105で符号化される。デシメートしたフィールドに基づいてマルチフィールドタップが定められる。マルチフィールドタップを使用して相関行列が生成され、相関行列の要素を使用して共分散行列が生成される。相関行列要素を固有ベクトルに投影することにより、主成分空間が求められる。主成分空間がクラスに区分され、各クラス毎に最小二乗フィルタセットが生成される。
【選択図】図1A

Description

〔関連出願との相互参照〕
本出願は、2008年10月3日に出願された「適応予測フィルタのための動的クラスタリング」という名称の以下の同一出願人による同時係属出願:出願番号第12/245664号(代理人整理番号080398.P738)と関連性がある。
本発明は、一般的にビデオ処理に関し、より具体的には、次元縮小法を使用した予測に関する。
〔著作権表示/許諾〕
本特許文書の開示部分は、著作権保護の対象内容を含む。著作権の権利所有者は、合衆国特許商標庁の特許ファイル又は記録内に表されるとおりに他者が特許文書又は特許開示を複製することには異議を唱えないが、それ以外は全ての著作権を留保する。以下の表記が適用される:著作権(C)2008,Sony Electronics Inc.,禁無断転載。
ビデオ符号化における根本的な問題は、利用可能な低解像度データを使用した高解像度画像の予測である。通常、これらの場合には最小二乗(LS)フィルタが使用され、このLSフィルタ係数を使用して、場合によっては異なる時点からの利用可能な低解像度データを使用して高解像度画像を作成する。
現時点の高解像度画像を取得するために、ズーミングが、場合によっては異なる時点からのデータを利用するステップと、利用可能な情報を組み合わせるステップとを必要とする。デシメートした画像を生成し、最良のLSフィルタの組を発見してオリジナル画像と予測画像との間の差分を最小にしたオリジナル画像を再度取得することにより、LSフィルタのトレーニングが可能となる。
フィルタタップとは、画素領域に重ねられるパターンのことである。フィルタタップに重なる画素が、その画素に関連するフィルタ係数の基礎を形成する。
デシメートしたフィールドに基づいてマルチフィールドタップが定められる。マルチフィールドタップを使用して相関行列が生成され、相関行列の要素を使用して共分散行列が生成される。相関行列要素を固有ベクトルに投影することにより、主成分空間が求められる。主成分空間がクラスに区分され、各クラス毎に最小二乗フィルタセットが生成される。
次元縮小法を使用した適応予測又はビデオ処理の1つの実施形態を示す図である。 オリジナルのフィールドと、デシメートしたフィールドと、予測フィールドとの間の関係を示す図である。 本発明の実施形態による、主成分分析を使用した適応予測の方法を示すフロー図である。 本発明の実施形態によるデシメーションの例を示す図である。 本発明の実施形態によるデシメーションの例を示す図である。 本発明の実施形態による複数の時点からのフィールドを使用した予測を示す図である。 本発明の実施形態による固有ベクトルの分散範囲を示す図である。 本発明の実施形態による主成分空間を示す図である。 本発明の実施に適したコンピュータ環境を示す図である。 本発明の実施に適したコンピュータ環境を示す図である。 本発明の実施形態による分類性能を示す図である。 本発明の実施形態による点分布を示す図である。 本発明の実施形態による別の点分布を示す図である。 本発明の実施形態による別の点分布を示す図である。 本発明の実施形態による別の点分布を示す図である。 本発明の実施形態による別の点分布を示す図である。 本発明の実施形態による様々な観点から見たさらに別の点分布を示す図である。 本発明の実施形態による別の分類性能を示す図である。 本発明の実施形態の様々な構成による性能比較を示す図である。 本発明の実施形態による画素をクラスタリングする方法を示すフロー図である。
以下の本発明の実施形態の詳細な説明では、同じ参照番号が同様の要素を示す添付の図面を参照し、図面には、本発明を実施できる特定の実施形態を例示目的で示す。これらの実施形態について、当業者が本発明を実施できるように十分に詳しく説明し、また、他の実施形態を利用できるとともに、本発明の範囲から逸脱することなく論理的、機械的、電気的、機能的及びその他の変更を行うことができる。従って、以下の詳細な説明を限定的な意味で捉えるべきではなく、本発明の範囲は添付の特許請求の範囲によってのみ定められる。
本発明の動作の概説から始めると、図1Aは、次元縮小法を使用した適応予測又はビデオ処理の1つの実施形態を示している。オリジナルデータ100が、次元縮小法を取り入れた適応予測を使用してエンコーダ105で符号化される。オリジナルデータ100は、ユーザが装置120などの標準画質テレビで見たいと思う、ブルーレイプレーヤーから得たビデオデータであってもよい。これを行うために、エンコーダ105は、データ100をズームしてズームデータ110を生成することができ、これを装置120が適当なアスペクト比で復号し、表示することができる。エンコーダ105から得られる符号化データは圧縮データ115の形を取ることができ、これが(インターネットを介したストリーミングビデオなどのように)復号及び表示するための装置130にネットワーク125を介して送信される。
1つの実施形態では、エンコーダ105はビデオデータのフレームを分類し、個々の予測フィルタをフレーム内の各クラスに割り当てることができる。分類による適応予測は、フレームの画素をいくつかのクラスに区分し、そのクラスにフィルタを適応させるステップを含む。フィルタは、その画素を予測又はデシメートするために使用される各画素の係数を含むことができる。フィルタ係数及び対応する画素が、フィルタタップを介して関連付けられる。フィルタタップは、対応する画素及びその画素の周囲の画素に重ね合わせられるパターンである。このパターンが、係数の生成にどの画素を使用するかを定める。1つの実施形態では、主成分分析(PCA)を使用してビデオフレームをクラスに分類する。PCAは、フィルタタップが定める対応する相関行列要素で低解像度フレーム内の各画素を表すことができる。PCAは、各画素の相関情報を使用して、画像内の類似した時空間偏差を有する画素をクラスにグループ分けする。
分類フィルタの定義は、デシメートされた画像と、その対応するオリジナル解像度の画像との間の関係に依存する。図1Bは、オリジナルフィールドと、デシメートしたフィールドと、予測フィールドとの間の関係を示している。オリジナル(ターゲット)フィールド150、155、及び160がデシメートされ(190)、対応する低解像度フィールド165、170、及び175が得られる。デシメートしたフィールドから利用できる情報を使用して、オリジナルフィールド150〜160と予測フィールド180との間の差分を最小にする予測180及びLSフィルタ係数185を得る。予測エラー195は次式のように定義することができる。
Figure 2010093820
(1)
この場合、I(x)はオリジナル画像であり、P(x)は予測画像であり、P(x)は次式のように定義される。
Figure 2010093820
(2)
この場合、ID(y)はデシメートされた画像を表す。
図2は、本発明の実施形態によるPCAの方法200を示す図である。ブロック205において、本方法は、(ハイビジョンなどの)オリジナルの高解像度フィールドをデシメートする。フィールドのデシメーションについては、図3A〜図3Bと共に以下でさらに詳細に説明する。
ブロック210において、本方法は、デシメートしたフィールドに対するマルチフィールドタップを定める。マルチフィールドフィルタタップは、対応する画素の係数を生成するために使用される複数のデータフィールドにまたがる。マルチフィールドフィルタタップについては、図3B及び図4と共に以下でさらに詳細に説明する。
ブロック215において、本方法は、マルチフィールドフィルタタップにおける画素間の相互関係を含む相関行列を生成する。相関行列の要素は、高次元空間におけるデシメートした画像内の画素を表す。この方法は、PCAを使用して低次元空間に問題を引き継ぎ、画素をより効率的に分類する。
ブロック220において、本方法は、式3のように相関行列要素の共分散行列を生成する。本方法は、個々のデシメートした画素の相関行列要素を列形式で配置し、各列から平均ベクトルを除去した後でm列を有する観測行列Xを生成する。平均ベクトルの除去により、画素の周囲の局所的変化が強調される。本方法は、Xの共分散行列に固有分解を適用する。この分解はn個の固有ベクトル及びn個の固有値を生み出し、この場合nは相関行列における要素の数である。共分散行列は、画素の数であるmとnとの小さい方である階数nを有する。Xの共分散行列は、次式のように定義することができる。
Figure 2010093820
(3)
この場合、
Figure 2010093820
(4)
は平均ベクトルである。
固有分解動作は、式5のように要約することができる。Qは、列における固有ベクトルを含み、Λは対応する固有値:
Figure 2010093820
(5)
を有する対角行列である。
固有ベクトルは正規直交基底を構成するので、QTをQ-1に置き換えることができる。
ブロック225において、本方法は、Qの列にXの列を投影することにより固有ベクトルに行列Xを投影して主成分を求め、式6のように主成分の分布を含む空間を生成する。主成分は、Xの個々の列が個々の固有ベクトルにどれほど類似しているかを示す。行列PはPCを含む。個々の画素は、所定の固有ベクトルの数により表される。
Figure 2010093820
(6)
フィルタ係数は、中心画素の周囲のデシメートした画素に対応する相関行列の関数である。フィルタタップはフィルタ係数を識別する。本方法は、対応する相関行列の類似性に基づいてデシメートした画像の画素を分類し、各クラス毎に異なるフィルタ係数の組を生成する。本方法は、個々のデシメートした画像の画素を表すためにフィルタタップの相関情報を使用して固有ベクトルを求め、その固有値に従って固有ベクトルをソートする。
方法200は、PCAを使用して、固有ベクトルが定める軸を含む空間に分類問題を変換することができる。この方法は、縮小した次元空間におけるデシメートした画素の座標としてXの列(各列は異なる画素を表す)と固有ベクトルとの間の類似性を使用する。
ブロック230において、方法200はPC空間をクラスに区分する。PC空間は、より低次元の空間におけるデシメートした画像の画素を表し、類似の相関行列を含む領域がPC空間に集められる。本方法は、各領域に等しい数の画素が存在するように最初に軸の各々を3つの領域に区分し、この結果、三次元の中に総数27の領域が生じ、画素が27のグループに分類される。他の実施形態では、クラスの数は静的に27とは定められない。異なる数のクラスを選択するステップについては、図14と共に以下で詳細に説明する。
ブロック235において、本方法は、各クラス毎に最小二乗(LS)フィルタを生成する。LSフィルタは、オリジナル(ターゲット)フレームにおける全画素に渡ってオリジナル画像と予測画像との間の差分の二乗和を最小にする。本方法は、個々のフィルタ要素に関して偏導関数を取り、これを各々についてゼロにすることによりフィルタ係数を求める。
Figure 2010093820
(7)
方法200は、図2に示すように、フィルタタップが特定した画素の相関関係を使用してフィルタタップにおける係数の組Lを決定する。
Figure 2010093820
(8)
この場合、
Figure 2010093820
(9、10)
この場合、Aj,kは相関行列であり(添字j及びkは2つのフィルタタップTの範囲を動く)、bkは観測ベクトルである。IDはデシメートした画像を表す。
方法200は、観測ベクトル及び相関行列の逆数を使用してLSフィルタを生成する。この方法は、各領域に固有の異なるLSフィルタを使用する。デシメートした画像にm個の画素とc個のクラス(領域)が存在すると仮定すると、
Figure 2010093820
(11)
が、各クラスにおける画素の数を示す。与えられたクラスuに関して、
Figure 2010093820
(12)
この場合、
Figure 2010093820
(13、14)
この場合、
Figure 2010093820
(15)
が、ターゲット画素xの予測フィルタ分類マップである。
図3Aは、1つの期間を使用した空間アルゴリズムのためのデシメーションを示す図である。フィルタタップ305が識別した個々のソース画素が、その値の1/4をデシメートした画素310の値に与える。
図3Bは、2つの期間を使用した本発明の実施形態による時空アルゴリズムのためのデシメーションを示す図である。図3Bに示すデシメーション動作は、予測アルゴリズムへの入力として2又はそれ以上の時間フィールドを使用する。マルチフィールドフィルタタップ350が、その時間フィールドから引き出される画素を決定する。デシメーション動作は、デシメーションを加重係数で均一に分散させてデシメートした画素355を生成する。他の実施形態では、より複雑かつ適応的なデシメーションアルゴリズムが使用される。
図4は、3つの異なる時間フィールドから得た3つのフィールド405を使用する時空フィルタタップ例を示す図である。このマルチフィールドフィルタタップは、予測フィルタへの入力として各フィールドからの9つのデシメート画素410を使用して中心画素420の周囲の画素415を予測する。マルチフィールドフィルタタップは、デシメートした画像上を移動して、より高解像度のビデオフィールドを予測する。この方法は、最小二乗法を通じて最適化したフィルタ要素を求めることができる。
図5は、本方法が行列形式に戻した後の、減少分散を含む最初の9つの固有ベクトル505を示す図である。パーセンテージ510は、個々の固有ベクトルがオリジナルフィールドの総分散のうちのどの程度を運ぶかを示している。
1つの実施形態では、この方法は、デシメートした画素の各々を3つの座標で表す、三次元空間における最初の3つの固有ベクトルを使用して向上した結果を得る。図6は、区分動作に基づくこれらの画素のサブセットの分布を示す図である。軸PC1(605)、PC2(605)、及びPC3(605)は最初の3つの固有ベクトルに対応し、個々の画素の座標は対応する主成分である。
別の実施形態では、ブロック230において、方法200がクラスタリングを使用して、動的有効性指標を使用した縮小次元空間におけるより細かいグループに画素を分類する。動的有効性指標は、画素クラスの緊密度及びクラス自体の間の距離を測定する費用関数である。クラスタリングの目的は、同じクラスの画素間の距離を最小にすることによりクラスの緊密度を増加させるとともにクラス間の距離を最大にすることである。実験的データが、反復クラスタリングが画素を効率良く分類し、SNRの向上を実現することを示唆している。
図14は、本発明の実施形態による画素クラスをクラスタリングする方法1400を示す図である。クラスタの数cは、PC空間における画素の分布に関わらず分かっているものとして処理される。ブロック1405において、本方法は、使用するクラスの数を決定する。
ブロック1410において、本方法は、個々の画素に数字を付け、この範囲におけるcの数の均一な分布を選択する。本方法は、クラスタされるcクラスの重心(重み付き中心)の初期値としてこの均一な選択を使用する。
ブロック1415において、本方法は、重心の各々までの画素の距離に基づいて、個々の画素を最も近い重心(及びクラスタ)に割り当てる。
ブロック1420において、本方法は、画素の割り当てを使用して個々のクラスタの新しいクラスタ重心を決定する。
ブロック1425において、本方法は、現在のクラスタリング構成の動的有効性指標を評価する。他の実施形態では、他の費用関数を使用することができる。動的有効性指標は次式のように定義することができる。
Figure 2010093820
この場合、Nは点(データオブジェクト)の数、kはクラスタの数、xはデータ点の位置、ziはi番目のクラスタのクラスタ中心の位置(重心)、及びCiはi番目のクラスタにおける点の組である。動的有効性指標は、クラスタ内の項(分子)とクラスタ間の項(分母)とを含む。クラスタ内の項は、各点の対応する重心までの平均距離であり、全クラスタの緊密度の平均レベルを測る。クラスタ間の項は、全部のクラスタのペアの中で互いに最も近いクラスタのペアの間の距離である。
ブロック1430において、本方法は、最も近いクラスタ重心に基づいてPC空間における個々の点(画素)に新しいクラスメンバーシップを割り当てる。
ブロック1435において、本方法は、新しいクラスの割り当てに基づいて個々のクラスタの新しいクラスタ重心を決定する。
ブロック1440において、本方法は、新しい構成の有効性指標を評価し、この有効性指標をブロック1425において生成された有効性指標と比較する。指標間の差がしきい値を超える場合、本方法はブロック1430へ戻り、クラスタリングをさらに繰り返す。しきい値を超えなければ、本方法は現在のクラスタリング方式を使用する。最初の繰り返し中、本方法は、ブロック1440において評価された指標をブロック1425において評価された指標と比較する。次の繰り返し中、本方法は、ブロック1440において評価された指標を比較する。
本方法は、各繰り返しにおいて動的有効性指標を評価し、繰り返し間の変化がしきい値よりも下がるまでこれを続行する。これを行っているときには、さらなる割り当ては行われず、方法1400は、現在のクラスタリング方式を使用してPC空間を区分する。実験的データが、結果が飽和し、しきい値よりも下がるまでに20回から30回の間の繰り返しが必要であることを示唆している。
方法1400は、動的有効性指標を使用してクラスタリング構成のための比較点を提供する。本方法は、現在の重心の組に基づいてクラスの割り当てを再帰的に調整し、現在のクラスの割り当てに基づいて重心を調整する。このようにして、本方法は、向上が飽和状態になるまでクラスタリングを繰り返し向上させる。
方法1400が図2のブロック230においてクラスタリング動作を終了した後、方法200は、各クラスタの個々のメンバーを使用してLSフィルタ係数を生成し、これが動的にクラスタされたLSフィルタを生成する。
図8は、静的クラスタリング805と動的クラスタリング810との信号対雑音比(SNR)性能の比較800を示す図である。実績の赤色の部分は、方法1400などの動的クラスタリング法で得られたクラス固有のLSフィルタを使用した結果生じた利得を示す。
クラスタリングを繰り返すことにより、デシメートした画像の画素が分類され、各クラス毎に異なるLS係数の組が生成される。図9は、三次元空間におけるデシメートした画像の画素の分布例900を示す図である。個々の画素を主成分1、2、及び3で表している。
図10A〜図10Dは、PC1−2 1005、PC2−3 1010、PC3−4 1015、及びPC4−5 1020のペアワイズ分布を表している。これらのペアは、様々な二次元平面への五次元分布の投影を表す。
図11は、32個のクラスタに分割された分布の様々な投影1105〜1120を示す図である。各クラスタを異なる色調のグレーで表している。
図12は、本発明の実施形態を使用して得られたSNRの結果1205を示す図である。最初の5つの固有ベクトルを使用して五次元空間により全てのフィールドに関して(ビデオシーンの間に60回)分析を繰り返した。動的クラスタリングLSフィルタのSNR性能1215を、静的クラスタリングLSフィルタのSNRパフォーマンス1210と比較する。全てのシーンに渡って約0.6dBのNSR性能の上昇が得られた。
図13は、クラスタリング方法のパラメータを変更した同様の分析の結果を示す図である。7つのPCまでは、より多くのPC1315を使用したときにSNR向上1305が得られる。分散の99パーセントが、最初の7つのPCに確実に組み入れられる。予想されるように、クラス1310の数を増やした場合に性能が上昇し続けた。
図2及び図14に示す一連のフロー図を参照しながら、本発明の特定の方法についてコンピュータソフトウェアの観点から説明した。本方法は、ブロックの形で示す機械実行可能命令で作られたコンピュータプログラムを構成する。フロー図を参照して本方法について説明することにより、当業者は、好適に構成された機械(メモリを含む機械可読媒体からの命令を実行する機械のプロセッサ)において本方法を実行するためのこのような命令を含むこのようなプログラムを開発できるようになる。機械実行可能命令は、コンピュータプログラミング言語で書かれたものであってもよく、或いはファームウェアの論理に統合したものであってもよい。認められている規格に準拠するプログラミング言語で書かれている場合、様々なハードウェアプラットフォームにおいて、及び様々なオペレーティングシステムへのインターフェイスのためにこのような命令を実行することができる。また、ある特定のプログラミング言語に関連して本発明を説明してはいない。様々なプログラミング言語を使用して、本明細書で説明するような本発明の教示を実現できることが理解できよう。さらに、1つの動作を行う場合、或いは1つの結果をもたらす場合に、(プログラム、手順、処理、アプリケーション、モジュール、論理...などの)1つの形又は別の形のソフトウェアについて語るのは当業では一般的なことである。このような表現は、コンピュータがソフトウェアを実行することにより、コンピュータのプロセッサが動作を実行し、或いは結果を生み出すようになるという言い方を簡単にしたものにすぎない。本発明の範囲から逸脱することなく、図2及び図14に示す方法により多くの又はより少ない処理を組み込むことができること、及び図示するとともに本明細書で説明したブロックの構成により特定の順序を暗示するわけではないことが理解されよう。
1つの実施形態では、図7Aに示すように、サーバコンピュータ701がインターネット705に接続され、このインターネット705を介してデータを提供する。クライアントコンピュータ703が、ISP(インターネットサービスプロバイダ)707を介してインターネット705に接続され、従来のインターネットブラウジングアプリケーションを実行してサーバ701とデータを交換する。サーバコンピュータ701は、図2及び図14に示す方法を実行することができる。任意的に、サーバ701は、クライアントシステムにインターネットへのアクセスを提供するISPの一部であってもよい。本明細書で使用する「インターネット」という用語は、TCP/IPプロトコル、及び場合によってはワールドワイドウェブ(web)を構成するハイパーテキストマークアップ言語(HTML)文書のためのハイパーテキスト転送プロトコル(HTTP)のようなその他のプロトコルなどのいくつかのプロトコルを使用するネットワークのネットワークを意味する。インターネットの物理的接続及びインターネットのプロトコル及び通信手順は当業者にとって周知である。インターネットにアクセスすることにより、クライアントコンピュータシステムのユーザは、情報を交換し、電子メールを送受信し、HTMLフォーマットで作成された文書などの文書を閲覧し、コンテンツを受信できるようになる。本発明が、インターネットアクセス及びインターネットウェブベースのサイトに限定されるものではなく、直接接続されたプライベートネットワークも企図されることが容易に明らかである。
サーバ701としての使用に適したコンピュータシステムの1つの実施形態を図7Bに示す。コンピュータシステム710は、システムバス735に接続されたプロセッサ720、メモリ725、及び入力/出力機能730を含む。メモリ725は、プロセッサ720により実行された場合、本明細書で説明した方法を実行する命令を記憶するように構成される。メモリ725はまた、次元縮小を使用した適応予測のための/についてのデータを記憶することもできる。入力/出力730は、次元縮小、或いはその一部又は代表部分を使用した適応予測のための/についてのデータの配信及び表示を行い、また記憶、処理又は表示のための様々な種類のデータの入力も行う。入力/出力730はまた、プロセッサ720によるアクセスが可能なあらゆる種類の記憶装置を含む様々な種類の機械可読媒体も含む。当業者であれば、サーバ701が、メモリ725で実行するオペレーティングシステムソフトウェアにより制御されることを直ちに認識するであろう。入力/出力730及び関連する媒体は、オペレーティングシステムのための機械実行可能命令及び本発明の方法、並びに次元縮小を使用した適応予測のための/についてのデータを記憶する。
図7A〜図7Bの説明は、本発明の実施に適したコンピュータハードウェアおよびその他の動作構成要素の概観を示すことを意図したものであり、利用可能な環境を限定することを意図したものではない。コンピュータシステム740が、異なるアーキテクチャを有する多くの考えられるコンピュータシステムのうちの1つの例であることを理解できよう。典型的なコンピュータシステムは、通常、少なくともプロセッサ、メモリ、及びメモリをプロセッサに接続するバスを含む。当業者であれば、マルチプロセッサシステム、ミニコンピュータ、及びメインフレームコンピュータなどを含むその他のコンピュータシステム構成により本発明を実施できることを直ちに理解するであろう。通信ネットワークを介してリンクされた遠隔処理装置によってタスクを実行する分散コンピューティング環境において本発明を実施することもできる。
次元縮小を使用した適応予測について説明した。本明細書では特定の実施形態について図示し説明したが、当業者であれば、同じ目的を実現するために計算されたあらゆる構成を、図示の特定の実施形態と置き換えることができることを理解するであろう。本出願は、本発明のあらゆる適応又は変形を対象とすることが意図される。
次元縮小を使用した適応予測に関して本出願で使用した専門用語は、これらの環境の全てを含むことを意図したものである。従って、本発明は、以下の特許請求の範囲及びこの同等物によってのみ限定されることがはっきりと意図される。

Claims (10)

  1. デシメートしたフィールドに基づいてマルチフィールドタップを定めるステップと、
    前記マルチフィールドタップを使用して相関行列を生成するステップと、
    前記相関行列要素に基づいて共分散行列を生成するステップと、
    前記相関行列要素を固有ベクトルに投影して主成分空間を求めるステップと、
    前記主成分空間をクラスに区分するステップと、
    前記クラスの各々に対して最小二乗フィルタセットを生成するステップと、
    を含むことを特徴とするコンピュータによる方法。
  2. オリジナルの高解像度フィールドをデシメートして、デシメートしたフィールドを生み出すステップをさらに含む、
    ことを特徴とする請求項1に記載のコンピュータによる方法。
  3. 前記オリジナルの高解像度フィールドを再構成してディスプレイ装置に表示するステップをさらに含む、
    ことを特徴とする請求項2に記載のコンピュータによる方法。
  4. データ処理システムにより実行された場合、該データ処理システムにデータを処理する動作を実行させる命令を記憶するコンピュータ可読記憶媒体であって、前記動作は、
    デシメートしたフィールドに基づいてマルチフィールドタップを定めるステップと、
    前記マルチフィールドタップを使用して相関行列を生成するステップと、
    前記相関行列要素に基づいて共分散行列を生成するステップと、
    前記相関行列要素を固有ベクトルに投影して主成分空間を求めるステップと、
    前記主成分空間をクラスに区分するステップと、
    前記クラスの各々に対して最小二乗フィルタを生成するステップと、
    を含むことを特徴とするコンピュータ可読記憶媒体。
  5. 前記方法は、オリジナルの高解像度フィールドをデシメートして、デシメートしたフィールドを生み出すステップをさらに含む、
    ことを特徴とする請求項4に記載のコンピュータ可読記憶媒体。
  6. 前記方法は、前記オリジナルの高解像度フィールドを再構成してディスプレイ装置に表示するステップをさらに含む、
    ことを特徴とする請求項5に記載のコンピュータ可読記憶媒体。
  7. バスに接続されたプロセッサと、
    前記バスを介して前記プロセッサに接続されたメモリと、
    前記プロセッサにより前記メモリから実行されて、該プロセッサに、
    デシメートしたフィールドに基づいてマルチフィールドタップを定めることと、
    前記マルチフィールドタップを使用して相関行列を生成することと、
    前記相関行列要素に基づいて共分散行列を生成することと、
    前記相関行列要素を固有ベクトルに投影して主成分空間を求めることと、
    前記主成分空間をクラスに区分することと、
    前記クラスの各々に対して最小二乗フィルタを生成することと、
    を行わせる命令と、
    を備えることを特徴とするシステム。
  8. 前記命令は、オリジナルの高解像度フィールドをデシメートして、デシメートしたフィールドを生み出すことをさらに含む、
    ことを特徴とする請求項7に記載のシステム。
  9. 前記命令は、前記オリジナルの高解像度フィールドを再構成してディスプレイ装置に表示することをさらに含む、
    ことを特徴とする請求項8に記載のシステム。
  10. デシメートしたフィールドに基づいてマルチフィールドタップを定めるための手段と、
    前記マルチフィールドタップを使用して相関行列を生成するための手段と、
    前記相関行列要素に基づいて共分散行列を生成するための手段と、
    前記相関行列要素を固有ベクトルに投影して主成分空間を求めるための手段と、
    前記主成分空間をクラスに区分するための手段と、
    前記クラスの各々に対して最小二乗フィルタを生成するための手段と、
    を含むことを特徴とするデータ処理システム。
JP2009245887A 2008-10-03 2009-10-02 次元縮小法を使用した適応予測 Expired - Fee Related JP5254179B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/245,661 US8150195B2 (en) 2008-10-03 2008-10-03 Adaptive prediction using a dimensionality reduction process
US12/245,661 2008-10-03

Publications (2)

Publication Number Publication Date
JP2010093820A true JP2010093820A (ja) 2010-04-22
JP5254179B2 JP5254179B2 (ja) 2013-08-07

Family

ID=41572338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009245887A Expired - Fee Related JP5254179B2 (ja) 2008-10-03 2009-10-02 次元縮小法を使用した適応予測

Country Status (5)

Country Link
US (1) US8150195B2 (ja)
EP (1) EP2173097A3 (ja)
JP (1) JP5254179B2 (ja)
KR (1) KR101302776B1 (ja)
CN (1) CN101715134B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8538195B2 (en) * 2007-09-17 2013-09-17 Raytheon Company Hyperspectral image dimension reduction system and method
US9031354B2 (en) 2011-03-31 2015-05-12 Raytheon Company System and method for post-detection artifact reduction and removal from images
US9064308B2 (en) 2011-04-13 2015-06-23 Raytheon Company System and method for residual analysis of images
US8675989B2 (en) 2011-04-13 2014-03-18 Raytheon Company Optimized orthonormal system and method for reducing dimensionality of hyperspectral images
US8842937B2 (en) 2011-11-22 2014-09-23 Raytheon Company Spectral image dimensionality reduction system and method
US8655091B2 (en) * 2012-02-24 2014-02-18 Raytheon Company Basis vector spectral image compression
US9147265B2 (en) 2012-06-04 2015-09-29 Raytheon Company System and method for rapid cluster analysis of hyperspectral images
US8660360B1 (en) 2012-08-03 2014-02-25 Raytheon Company System and method for reduced incremental spectral clustering
US8805115B2 (en) 2012-11-02 2014-08-12 Raytheon Company Correction of variable offsets relying upon scene
US9450646B2 (en) * 2013-03-15 2016-09-20 Qualcomm Incorporated Direct power transmission load modulation in near field communication devices
WO2016085443A1 (en) 2014-11-24 2016-06-02 Hewlett Packard Enterprise Development Lp Application management based on data correlations
US10416958B2 (en) * 2016-08-01 2019-09-17 Bank Of America Corporation Hierarchical clustering
CN113298149B (zh) * 2021-05-25 2022-02-01 广东云曌医疗科技有限公司 图像聚类方法及系统
CN117321630B (zh) * 2021-06-09 2026-02-06 辉达公司 计算图像中像素的运动

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153176A (ja) * 1992-11-02 1994-05-31 Matsushita Electric Ind Co Ltd 映像信号処理装置
JPH0775066A (ja) * 1993-06-14 1995-03-17 Sony Corp 画像信号変換装置
JPH11331782A (ja) * 1998-05-15 1999-11-30 Mitsubishi Electric Corp 信号変換装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018317A (en) * 1995-06-02 2000-01-25 Trw Inc. Cochannel signal processing system
GB2309082B (en) * 1996-01-09 1999-12-01 Geco As Noise filtering method
CN1222283A (zh) * 1996-04-19 1999-07-07 诺基亚流动电话有限公司 利用基于运动的分段和归并的视频编码器和解码器
JP2000059777A (ja) 1998-08-11 2000-02-25 Sony Corp 画像復号装置及び画像復号方法
US6804400B1 (en) * 2000-11-01 2004-10-12 Bae Systems Mission Solutions Inc. Adaptive hyperspectral data compression
US6519368B1 (en) 2000-11-28 2003-02-11 Sony Corporation Resolution enhancement by nearest neighbor classified filtering
CA2437510A1 (en) * 2001-01-05 2002-08-29 Philip Druck N dimensional, non-linear, static, adaptive, digital filter design using d scale non-uniform sampling
US7565020B2 (en) * 2004-07-03 2009-07-21 Microsoft Corp. System and method for image coding employing a hybrid directional prediction and wavelet lifting
US7136765B2 (en) * 2005-02-09 2006-11-14 Deepsea Power & Light, Inc. Buried object locating and tracing method and system employing principal components analysis for blind signal detection
KR100667808B1 (ko) * 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
CN100553337C (zh) * 2007-03-21 2009-10-21 天津工业大学 纯三维全相位滤波方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153176A (ja) * 1992-11-02 1994-05-31 Matsushita Electric Ind Co Ltd 映像信号処理装置
JPH0775066A (ja) * 1993-06-14 1995-03-17 Sony Corp 画像信号変換装置
JPH11331782A (ja) * 1998-05-15 1999-11-30 Mitsubishi Electric Corp 信号変換装置

Also Published As

Publication number Publication date
CN101715134A (zh) 2010-05-26
KR101302776B1 (ko) 2013-09-02
CN101715134B (zh) 2014-07-23
KR20100038166A (ko) 2010-04-13
EP2173097A2 (en) 2010-04-07
EP2173097A3 (en) 2013-03-06
JP5254179B2 (ja) 2013-08-07
US20100086231A1 (en) 2010-04-08
US8150195B2 (en) 2012-04-03

Similar Documents

Publication Publication Date Title
JP5254179B2 (ja) 次元縮小法を使用した適応予測
CN110798690B (zh) 视频解码方法、环路滤波模型的训练方法、装置和设备
CN102473279B (zh) 图像处理装置和方法、数据处理装置和方法
CA2478671A1 (en) Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
CN101375597B (zh) 用于视频压缩的时间分类滤波
CN107005712A (zh) 使用优化函数执行基于图形的预测的方法和装置
US8358857B2 (en) Dynamic clustering for adaptive prediction filters
EP2979449B1 (en) Enhancing motion pictures with accurate motion information
CN111667495A (zh) 一种图像场景解析方法和装置
Arezoomand et al. Perceptually optimized loss function for image super-resolution
CN119942259A (zh) 基于频域的特征空间对抗样本攻击方法及系统
Argaw et al. MambaVideo for discrete video tokenization with channel-split quantization
AU2024256958A1 (en) Decoding method and apparatus, coding method and apparatus, and devices
Mathew et al. Scalable coding of motion and depth fields with shared breakpoints
Wei et al. U-shaped transformer-based 360-degree no reference image quality assessment
CN113269696B (zh) 用于对图像进行去噪的方法以及电子设备、介质
WO2024066123A1 (en) Lossless hierarchical coding of image feature attributes
Ikusan Quality-Aware Video Processing for Deep-Learning-Based Analytics Tasks
Pushpalatha et al. Interpolative Model on Hueristic Projection Transform for Image Compression in Cloud Services.
HK40020248B (en) Video decoding method, loop filter model training method, apparatus and device
HK40020248A (en) Video decoding method, loop filter model training method, apparatus and device
CN114913247A (zh) 一种光场相机的光场重建方法及系统
Tian et al. Super-resolution imaging using grid computing
Guérin et al. Fractal compression of images with projected ifs
Vidal et al. Image representation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130417

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees