JP2010213284A - 多次元画像の画質向上のためのシステムおよび方法 - Google Patents

Abstract

【課題】画質向上におけるオーバーヘッドを軽減する。
【解決手段】多次元データ画質向上システムは、多次元での、大きな領域の核関数のフィルタリング、デシメーションおよび補間を使用して、リアルタイムで多次元データの画質を向上する。多次元データ画質向上システムは、必要な処理オーバーヘッドが著しく軽減されるので、リアルタイムで大きな領域の核関数の処理を実行できる。処理オーバーヘッドの軽減は、とても低い空間周波数のみを含むアンシャープマスクを生成するために処理に必要なデータの量を著しく減少させる実質的なローパスフィルタリングおよびデシメーションの使用により達成される。これは、従来のエッジシャープニングにより通常達成されるよりも、より自然な方法でデータをさらに処理するために使用可能である。
【選択図】図１

Description

本発明は多次元データ処理に関し、さらに詳細には画像データの画質向上に関する。

画像化システムは、多くの異なる用途において、多様で重要な役割をもつ。例えば、内視鏡検査、蛍光透視、Ｘ線、関節鏡検査および顕微手術用途などの医療画像化用途は救命および健康改善の支援をする。組立ライン上の微細な誤りを検出できる部品検査システムなどの産業用途は、生産と効率の向上につながる。多くの種類の軍事および警察用途は、目標捕捉、偵察、監視、暗視などのために映像化技術を利用している。消費者用途さえも進歩したビデオ映像化技術を利用して、高品位テレビ（ＨＤＴＶ）により提供される向上した画質などの増大した娯楽経験を製作している。

ビデオ画像化技術には多くの進歩があったけれども、従来のビデオ画像化システムは、製作されるビデオイメージの品質および有用性に悪影響をあたえる欠点にまだ苦しんでいる。例えば、制御されていない照明で製作されたビデオ画像は、画像のダイナミックレンジの大きな変化により、視聴者の知覚には目立たない重要だけれども微細な低コントラストの細部をしばしば含む。そのような低コントラストの細部を知覚できないことまたは知覚の困難性は、表示されている画像への素速い応答をする場合または表示されている画像に基づいた迅速な決定をする場合には不利になりうる。

ビデオイメージの画質を向上させるために多くの技術が応用されてきた。これらの技術は、リアルタイムに適用される画像フィルタリングを含む。現在、従来のリアルタイムフィルタリング技術は、３ｘ３ピクセル領域の核関数または７ｘ７ピクセル領域の核関数などの比較的少ない数のピクセルを含む領域の核関数に関するデジタル畳み込みとして実現可能である。これらの技術は、ハイパスフィルタリングを使用して、使用されている核関数の領域の大きさに比較して、小さい細部を強調できる。しかし、このような小さな領域の核関数を使用して達成可能な改善は限定される。著しくより大きな領域の核関数が、有意義なビデオの画質向上を達成するのにさらにより効果的であることが研究により明らかになっている。不幸にも、従来の技術を使用して、大きな領域の核関数の畳み込みをリアルタイムで実行するのに必要な処理のオーバーヘッドはデジタル信号処理技術の現在の状況ではひどく大きくなる。

そこで、大きな領域の核関数の畳み込みを、リアルタイムであって、かつ少ないオーバーヘッドで実行できる方法およびシステムを開発して、ビデオの画質向上を達成する必要がある。

多次元データ画質向上システムは、多次元で大きな領域の核関数の畳み込み技術を使用して、リアルタイムで画像データを改善する。必要になる処理のオーバーヘッドが著しく減少するので、多次元データ画質向上システムは、リアルタイムで大きな領域の核関数の処理を実行可能である。処理のオーバーヘッドの減少は、多次元フィルタリング、デシメーション、および、演算のある段階で扱われる必要のあるデータの量を減少させる処理により達成されるけれども、画像の画質向上の同じ利益は依然として提供される。

本発明のもう１つの形態では、画質向上システムは、画像フレームの端に近いピクセルの処理に際して、ブランキング領域に架空のブランキングデータを挿入することにより、隣の画像フレーム内のピクセルの影響およびブランキングデータの影響を減少させられる。

本発明のこれらのおよび他の特徴、形態および実施の形態は以下の発明を実施するための最良の形態の節で説明される。

画像データの典型的な表示を示す図 本発明の１つの実施の形態にかかる画像データのフィルタリングおよびデシメーションを示す図 本発明の実施の形態にかかる図２のフィルタリングおよびデシメートされた画像データの補間を示す図 図２および図３の対象と同様なフィルタリング、デシメーションおよび補間の対象となりうる３次元画像を示す図 ここで説明しているシステムおよび方法の１つの実施の形態にかかる１次元で画像データをフィルタリングおよびデシメートする回路の例を示す図 ここで説明しているシステムおよび方法の１つの実施の形態にかかる第２の次元で図５の画像データをフィルタリングおよびデシメートする回路の例を示す図 ここで説明しているシステムおよび方法の１つの実施の形態にかかる図６の画像データを補間する回路の例を示す図 ここで説明しているシステムおよび方法の１つの実施の形態にかかる図７の画像データを補間する回路の例を示す図 ここで説明しているシステムおよび方法の１つの実施の形態にかかる入力データの画質を向上させたデータを生成するために使用可能なアンシャープマスクを生成するために、比較的小さな領域の核関数フィルタの入力データへの適用を示す図 ここで説明しているシステムおよび方法の１つの実施の形態にかかる入力データの画質を向上させたデータを生成するために使用可能なさらにより滑らかなアンシャープマスクを生成するために、より大きな領域の核関数フィルタの入力データへの適用を示す図 入力画像データの曲線を表す図 図１１Ａの画像データから生成されたアンシャープマスクを表す曲線を示す図 図１１Ａの曲線と図１１Ｂの曲線の差を増幅したものを表す曲線を示す図 図１１Ａの画像データから生成されたもう１つのアンシャープマスクを表す曲線を示す図 図１１Ａの曲線と図１１Ｄの曲線の差を増幅したものを表す曲線を示す図 図１１Ｂの曲線と図１１Ｄの曲線の差を増幅したものを表す曲線を示す図 本発明の実施の形態にしたがって構成されたビデオ画質向上装置を含む典型的なケーブルシステムを示す図 典型的なＮＴＳＣビデオ画像表示を示す図 典型的なＨＤＴＶビデオ画像表示を示す図 ここで説明しているシステムおよび方法にかかる架空のブランキング領域を製作する回路の例を示す図

以下、添付の図を参照して発明の実施の形態を説明する。

以下に説明するシステムおよび方法は、概して、２次元ビデオ画像システムに関して説明するけれども、説明するシステムおよび方法は、２次元しか含まないビデオ画像システムを含む用途あるいは画像処理システムへ限定されない。例えばここで説明しているフィルタリング技術は、データ記憶およびデータ圧縮方法にも使用可能である。

図１は典型的なビデオ画像表示１００を示す図である。上記画像は行１０２および列１０４に配置された複数のピクセルを含む。従来の、例えばラスタライズされたビデオ画像システムにおいて、ピクセルは水平次元と垂直次元の両次元で走査される。

従来のシステムではビデオ画像の有意義な画質向上を提供するのは難しい。リアルタイム補正または画質向上技術は存在するけれども、多くのそのような従来の技術はグローバルな方法を使用してきた。言い換えると、入力画像のあたえられた強度のすべての地点が、同じ対応する出力強度にマップされねばならなかった。正しく適用したとき、そのような技術は、微細な細部をある画像領域に選択して拡大するのを支援するけれども、そのような方法は、他の広い明るいまたは暗い領域の飽和によりこれらの領域の細部の消失となるなどの望まれない副作用もしばしば引き起こす。画質を向上させ、以前遭遇した欠点のいくつかを回避するために、比較的小さな領域の核関数処理技術が、入力画像からフィルタリングされた出力画像を生成する畳み込み処理により、非グローバルタイプの画質向上に使用されてきた。そこでは、出力画像の各ピクセルが、対応するピクセルの周りの領域内の入力画像ピクセルを考慮することにより生成され、上記領域は核関数の領域の大きさにより定義される。

畳み込み処理において、注目するピクセルを含む周囲の領域のピクセルの値は、各々係数で乗算され、いわゆるカンバリューション・カナル（ｃｏｎｖｏｌｕｔｉｏｎ ｋｅｒｎｅｌ）の対応する要素であって、次にこれらの生成値は加算されて、注目するピクセルに関するフィルタリングされた出力値を生成する。畳み込み処理の結果は、入力データのローパスフィルタリングされたデータまたはアンシャープマスクである。核関数の要素に割り当てられた係数の値は、実行されるローパスフィルタリング演算に関する遮断を設定するように構成可能である。元の画像データの画質を向上させるために、元の入力データからアンシャープマスクが差し引きされ、入力データのハイパスデータが生成される。次に、入力データのハイパスデータは増幅されるか、画質を向上されて、元のデータと再結合される。結果は、元のデータの画質向上または画質鮮明化になる。

しかし、１ステップでのローパスフィルタリングおよび元のデータからの差し引きを達成する係数を定義することはより容易である。したがって、単純にデータを１つのフィルタリングステップへ渡すと画質の向上されたデータを生成可能である。しかし、フィルタがより複雑になるので、そのような１ステップのフィルタリング技術を、限られた核関数の領域の大きさ、すなわち３ｘ３ピクセル領域の核関数または７ｘ７ピクセル領域の核関数に適用することのみが実際に実用的である。

小さな領域の核関数のバッファリング技術は、グローバル技術より大きな処理オーバーヘッドを必要とする。したがって、バッファリングおよび処理オーバーヘッド要求は従来の核関数に基づいた技術を比較的小さな領域の核関数の大きさに制限してきた。しかし、上に説明したように、小さな領域の核関数の演算は限られた画質向上しか生み出さない。より大きな領域の核関数の演算は、より良い画質向上を生み出すけれども、上に説明したように、大きな領域の核関数の大きさにより必要とされるオーバーヘッドは、伝統的にひどく大きいことが分かっている。しかし、以下に説明するように、ここで説明しているシステムおよび方法は、従来のシステムを苦しめる過度のオーバーヘッドなしに、大きな領域の核関数の大きさを、リアルタイムでビデオ画像の画質向上するために使用できるようにする。さらに、画質向上は、多次元空間、すなわちＮ次元空間（Ｎ＝２，３，４，．．．ｎ）で提供される。

つまり、ここで説明しているシステムおよび方法は、大抵の画像データが低周波数で存在しているという事実を利用している。したがって、データはローパスフィルタリングされて、各次元で扱われるデータの量を減らす。次に、このデータはデシメートされて、扱われるデータの量をさらに減らせる。次にデータは補間されて、元のデータから差し引かれる。次に結果として生じる画像データは、表示可能な画質の向上した画像データを製作するために使用されるか、元のデータと結合される。

したがって、図２に示されているように、多次元データ空間内では、１つのローパスフィルタまたは複数の分離可能なローパスフィルタが実現可能であって、連続した順番でＮ次元の各々をデシメートまたはサブサンプルできる。上記順番は、典型的には、多次元データ空間内のデータに関連する走査シーケンスに基づいている。多次元データ空間の例は、例えばｘおよびｙ次元の２次元ビデオ画像を含む。最初に水平方向に走査され、次に垂直方向に走査される典型的な２次元画像に関しては、デシメーションまたはサブサンプリングは、走査と同じ順序で、すなわち最初に水平方向、次に垂直方向に実行可能である。画像データはデジタル、アナログまたはデジタルアナログ混合であってもよい。典型的な２次元デジタルビデオ画像に関しては、ピクセルの強度は２次元データ空間の数字で表現可能である。

続いて演算する次元の計算速度およびデータ記憶容量の要求を著しく軽減する所望の結果を達成するここで説明するデシメーションまたはサブサンプリング演算のために、各次元内でのデータのローパスフィルタリングは好ましくは十分であるので、高周波数情報の多くは意図的に抑制される。Ｎ次元のデータ集合に関する大きな領域の核関数のローパスフィルタリング、例えばとても低い周波数のデータを除く全てのデータは、とても低い遮断周波数をもつローパスフィルタを使用して抑制される。大きな領域の核関数のローパスフィルタリングおよびデシメーション演算のあとで、種々のアルゴリズムを使用して、データは補間されて、元のデータまたは高周波数データと結合されて、画質の向上した計算結果を生成する。

通常、正確な調整のために、高い空間周波数を含むデータは、ローパスフィルタリング演算特有のフィルタ遅延に合わせるために、通常、遅延するけれども、同様な画像が連続すると、低周波数データは、フィルタ遅延を引いた１フィールド時間遅延でき、１フレームからの低い空間周波数データであるデータのアンシャープマスクが、次のフレームに適用されるおおよその修正項に関する情報として使用される。これは、ローパスフィルタリングされたデータが、本来、正確な調整を必要とするかもしれない詳細な情報をほとんどか全く含まない事実により、必要とされる正確さが、多くの場合、厳しくないためである。

大きい領域の核関数の演算のとても低い周波数のフィルタリングのために、各次元でのデータのデシメーションおよびサブサンプリングは、多次元データ空間内の続いて演算する次元に必要な計算速度とデータ記憶容量を著しく減少させられる。例えば、２次元ビデオ画像に関しては、ローパスフィルタリングおよびデシメーションが、各次元に関して一緒に、最初は水平方向、次に垂直方向に実行可能である。水平方向のデシメーションおよびサブサンプリングは、続いて演算する次元のフィルタリングを実行するのに必要な演算の数を減らすことにより、リアルタイム処理を効率的にできる。さらに、垂直方向のデシメーションまたはサブサンプリングは、低周波数データに必要な記憶容量を著しく減らせる。

一般的に、データ記憶容量および計算能力の減少した必要性の効果は、より多くの次元の数のデータ空間のデータ処理演算にあると言明される。例えば、各次元でローパスフィルタリングにより１０の因数だけのデータ圧縮となると、Ｎ次元データ空間のデータの処理は、１０^Nの因数だけの必要なデータ記憶容量および処理能力の減少になる。

実用的な用途に関しては、処理能力およびデータ記憶容量の減少した要求のため、特定用途向け集積回路（ＡＳＩＣ）などの、例えばローパスフィルタ、デシメーションまたはサブサンプリングプロセッサ、および／またはデータ記憶メモリを１つのデバイスにするのを含む種々の機能用の異なる回路を結合させることが可能である。さらに、例えば画質向上用の種々のアルゴリズムを含む補間および他の処理機能用のプロセッサ回路も、同じＡＳＩＣに集積可能である。

低周波数が遅延されるけれども高周波数は遅延されない実施の形態では、どのメモリも高周波数データを記憶する必要がないので、高周波数データは高い帯域幅を維持できる。高周波数データは、補間により、アナログ形式のままでもよく、標本化を全く必要としない。

図２に戻ると、最初に水平に、次に垂直に走査される２次元画像のフィルタリングおよびデシメーションの例を示す図が表されている。例えば２次元画像は、伝統的なＮＴＳＣまたはＨＤＴＶシステムのラスタ走査画像であってもよい。図２の２次元ビデオ画像は水平に左から右にピクセルごとに走査されて、垂直に上から下に走査線ごとに走査されると仮定する。図２では、最初の画像２０２が、最初にローパスフィルタ（ＬＰＦ）およびデシメータ２０６へ送信される曲線２０４により表されるピクセル値で水平に走査され、それにより、曲線２０８により表されるフィルタリングされてデシメートされた出力信号を生成する。水平次元にＬＰＦおよびデシメータ２０６によりフィルタリングされてデシメートされたビデオ画像は、互いに比較的かなり離れた空間のピクセルの複数の垂直列をもつ画像２１０により表される。画像２１０の列の１つのピクセル値は信号曲線２１２により表され、その信号曲線２１２は第２のＬＰＦおよびデシメータ２１４に送信される。第２のＬＰＦおよびデシメータ２１４の出力信号は曲線２１６により表され、その曲線は、水平垂直両次元のローパスフィルタリングおよびデシメーションの処理の後、出力ビデオ画像２１８を形成する。

図３は、ここで説明しているシステムおよび方法にかかるアンシャープマスク製作用のローパスフィルタリングされ、デシメートされたビデオ信号の補間の例を示す図である。図３では、図２に示されているようにローパスフィルタリングされ、デシメートされ、信号曲線２１６をもつビデオ画像２１８は、列ごとに、任意でローパスフィルタをもつ第１の補間器３２２に渡され、信号曲線３２４を製作する。信号曲線３２４は、互いに比較的離れたピクセルの複数の列をもつ中間ビデオ画像３２６を形成する。水平方向には、図３に示されている信号曲線３２８は、任意でローパスフィルタをもつ第２の補間器３３０に送信されて、水平方向に信号曲線３３２を製作する。垂直水平両方向に補間されたビデオ信号は出力アンシャープマスク３３４を形成する。

２次元のローパスフィルタリング、デシメーション、補間の処理は、図２および図３に示されているように、図４に示されているリンゴ４３６の３次元表現などの３次元以上のデータ集合に拡大可能でもある。リンゴの表現４２６を表すピクセルは、連続してｘ、ｙおよびｚ方向に走査できる。次に、ローパスフィルタリングおよびデシメーション処理は、ピクセルの走査と同じ順序で、分離したローパスフィルタおよび次に続く次元のデシメータで実行可能である。この場合はリンゴ４３６である３次元オブジェクトは、例えば、磁気共鳴イメージング装置（ＭＲＩ）で３次元に走査可能である。３次元データ集合は、３次元空間内の各地点の密度を標本化することにより形成される。

ｎ次元のうち、続いて演算する次元のフィルタリング、デシメーションおよび補間は、実施の形態により、並列にまた直列に実行可能である。並列フィルタリング演算は、直列演算のように、データのキューやバッファリングの必要がない付加利益をもつ。しかし、直列演算は、典型的に、少なくともハードウェアで実現するときは、より少ない資源で済む。

したがって、データがデシメートされている事実のため、図２および図３に関して説明されているシステムおよび方法を使用して、大きな領域の核関数の演算が実行可能であって、以前可能だったものより著しい画質向上を提供し、続きの演算で記憶され、処理される必要のあるデータの量を減らす。１ステップでローパスフィルタリングと差し引きを実行する従来の小さな領域の核関数技術とは異なり、ここで説明されているシステムおよび方法は、独立して他のステップでローパスフィルタリングを実行し、次に、大きな領域の核関数の演算を可能にして、データのデシメートを可能にする。それほど多くのデータを必要とせずにローパスフィルタリングされ低い空間周波数のデータを表すので、ローパスフィルタリングによりデシメーションが可能になる。結果として、一旦、データが第１の次元でローパスフィルタリングされると、データをデシメートでき、他の次元の続きの演算が減ったデータ集合で実行でき、記憶と処理の負荷を軽くする。

一旦、ローパスフィルタリングされたデータが、アンシャープマスク３３４を製作して、デシメートされ、記憶され、次に補間されると、画質向上データを製作するような方法で、元のデータと再結合される。例えば、アンシャープマスク３３４は元のデータから差し引くことができる。上に説明したように、アンシャープマスク３３４が厳密に低空間周波数データを含むので、１つのフレームから製作されたアンシャープマスク３３４は、実際には次のフレームの画質を向上させるために使用される。言い換えると、アンシャープマスク３３４は、一般的にフレーム間であまり変わらないので、前のフレームから製作されたアンシャープマスクは、次のフレームの画像データの画質を向上させるために使用可能である。この技術を使用して、元のデータの速度を落とす必要も、バッファリングする必要もないけれども、アンシャープマスク３３４が生成される。したがって、ここで説明している大きな領域の核関数の画質向上はリアルタイムで実行可能である。反対に、入力データは速度を落として、アンシャープマスクを生成する時間をとれるようにするけれども、速度の落とされる入力データのリアルタイムでないため、これはしばしば好ましくない。

上に説明したように、ここで説明しているフィルタリング、デシメーションおよび補間処理はデータ圧縮にも使用可能である。例えば、実施の形態により、低周波数データおよび高周波数データは分離可能であって、別々に送信可能である。例えば、低周波数データはサブサンプリングされて、圧縮スキームのデータ記憶容量を節約し、次に高周波数データと再結合されて、元のデータ集合または画像を回復する。

ここで説明しているシステムおよび方法を実現するように構成されたフィルタリング回路の例は、以下の段落で詳細に説明されている。したがって、図５−図８は、例えば２次元ビデオ画像などの２次元データ集合のフィルタリングのための多相有限インパルス応答（ＦＩＲ）フィルタを使用して、デシメーションおよび分離可能な補間を含むローパスフィルタリングの実施の形態を示す。図５および図６は、２次元のローパスフィルタリングおよびデシメーションを示すブロック図を形成するけれども、図７および図８は、多相ＦＩＲフィルタを使用して２次元の分離可能な補間を示すブロックを形成する。図５では、全帯域幅のビデオ画像を表す入力データが、バッファ８０２ａで始まる一連の複数ピクセル遅延バッファおよび乗算器５０４ａで始まる一連の乗算器に入力可能である。示されているように、選択可能なフィルタリング係数８０６ａの組は、係数マルチプレクサ５０８ａによる選択用に提供可能である。次に、係数マルチプレクサ５０８ａにより選択される係数は、全帯域幅の入力データを含む乗算用に乗算器５０４ａに送信可能である。次に、乗算の結果は、乗算器５０４ａの出力から加算器および積算器５１２へ入力可能である。

次に、複数ピクセル遅延バッファ５０２ａにより遅延される全帯域幅のデータは、第２の乗算器５０４ｂへ入力可能である。次に、フィルタリング係数の第２の組５０６ｂは第２の係数マルチプレクサ５０８ｂの選択により提供可能である。選択された係数は、複数ピクセル遅延バッファ５０２ａにより遅延された全帯域幅の入力データとの乗算用に第２の乗算器５０４ｂに入力可能である。複数の乗算器５０４ａ、５０４ｂ、５０４ｃ（図示されていない）、．．．５０４ｎ、および複数の選択可能な係数マルチプレクサ５０８ａ、５０８ｂ、５０８ｃ（図示されていない）、．．．５０８ｎと同様に、複数のそのような複数ピクセル遅延バッファ５０２ａ、５０２ｂ（図示されていない）、５０２ｃ（図示されていない）．．．５０２ｎも、ここで説明しているシステムおよび方法にかかる多相ＦＩＲフィルタを形成するために接続可能である。

係数５０６ａ、５０６ｂ、．．．、５０６ｎの選択は、図５の多相ＦＩＲフィルタとのインタフェース（図示されていない）をもつプロセッサにより制御可能である。ある実施の形態では、係数は、最初、プロセッサにより単純にロードされ、次に、プロセッサは介在しない。係数の数は遅延器５０２ａ−５０２ｎの数に等しい。各新しいピクセルが処理されると、新しい係数５０６ａが選択される。たとえば、係数５０６ａの第１番目は、第１のピクセルが処理されているときに選択可能であって、係数５０６ａの第２番目は、次のピクセルが処理されているときに選択可能であって、処理が元に戻って係数５０６ａの第１番目が再び選択されるときまでこのように続く。

したがって、例えば、図２のデシメーションが４対１である、すなわちデータ集合２０２の４ピクセルごとにデータ集合２１０の１ピクセルがあると、４個の遅延バッファ５０２ａ−５０２ｄおよび４個の係数５０６ａがある。同様に、５０６ｂ−５０６ｎに関し４つの係数がある。

乗算器５０４ａ、５０４ｂ、５０４ｃ（図示されていない）、．．．５０４ｎによる乗算の結果は、加算器および積算器５１２に入力される。上記加算器および積算器５１２は、例えば、図６に示されている例のようにもう１つの多相ＦＩＲフィルタによる第２の次元のデシメーションのために、水平にデシメートされたビデオデータを生成するように構成可能である。全帯域幅の入力データは、続く複数ピクセルの遅延バッファ６０２ａ、６０２ｂ、．．．６０２ｎおよび乗算器６０４ａ、６０４ｂ、．．．６０４ｎへ、フルピクセルデータレートすなわちビデオ画像のピクセルが走査されるレートで送信可能である。しかし、加算器および積算器６１２から送信されたデータは、フルピクセルデータレートよりかなり低いデータレートである水平にデシメートされたデータレートであってもよい。結果として、続きの演算に必要なオーバーヘッドはかなり減らせる。

図６は、ここで説明しているシステムおよび方法の１つの実施の形態にかかる、例えば図５の多相ＦＩＲフィルタにより、データ集合またはビデオ画像が第１の次元にデシメートされた後で、第２の次元にデータ集合をデシメートするよう構成された多相ＦＩＲフィルタを示すブロック図である。例えば、最初、水平方向に走査されて、次に、垂直方向に走査された２次元ビデオ画像は、最初、図５の多相ＦＩＲフィルタにより水平にデシメートでき、次に、図６の多相ＦＩＲフィルタにより垂直にデシメートできる。

図６を参照すると、加算器および積算器５１２からの出力データは、複数の走査線が水平にデシメートされた遅延バッファ６２２ａおよび乗算器６２４ａに入力可能である。次に、選択可能なフィルタリング係数６２６ａは、係数マルチプレクサ６２８ａの選択用に提供可能である。次に選択された係数は、第１の乗算器６２４により水平にデシメートされたデータと乗算されて、加算器および積算器６３２に送信される出力を生成可能である。

第１の複数走査線が水平にデシメートされた遅延バッファ６２２ａに入力された水平にデシメートされた入力データは、次に第２の乗算器６２４ｂに入力可能である。選択可能なフィルタリング係数の第２の組６２６ｂは、第２の係数マルチプレクサ６２８ｂによる選択用に提供可能である。第２の乗算器６２４ｂは、マルチプレクサ６２８ｂにより選択された係数を、第１の複数走査線が水平にデシメートされる遅延バッファ６２２ａにより遅延されたデータと乗算可能である。次に、第２の乗算器６２４ｂによる乗算の結果は第２の乗算器６２４ｂの出力から加算器および積算器６３２に入力可能である。水平にデシメートされたデータの一連の連続した遅延の後で、最後の複数走査線が水平にデシメートされる遅延バッファ６２２ｎは遅延データを最後の乗算器６２４ｎに送信するよう構成可能である。１組の選択可能なフィルタリング係数６２６ｎは、最後の係数マルチプレクサ６２８ｎによる選択用に提供可能であり、最後の係数マルチプレクサ６２８ｎは、最後の遅延バッファ６２２ｎにより遅延されるデータとの乗算用に選択された係数を乗算器６２４ｎに送信可能である。次に、上記乗算の結果は、乗算器６２４ｎから加算器および積算器６３２へ送信可能である。

図６に示された実施の形態では、水平にデシメートされた入力データは、複数走査線が水平にデシメートされる遅延バッファ６２２ａ、６２２ｂ（図示されていない）、６２２ｃ（図示されていない）、．．．６２２ｎの連続したチェーンを経由して、対応する各マルチプレクサにより選択される対応する各フィルタリング係数との乗算用に送信される。乗算器６２４ａ、６２４ｂ、６２４ｃ（図示されていない）、．．．６２４ｎによる乗算の結果は、加算器および積算器６３２に入力され、その加算器および積算器６３２は水平デシメーションの結果を生成するよう構成可能である。加算器および積算器６３２により生成される結果は、さらに処理するために、２次元にデシメートされたフレーム記憶装置および遅延バッファ６３４に記憶可能である。図５の多相ＦＩＲフィルタから受信されるデータは、複数の走査線が水平にデシメートされる遅延バッファ６２２ａ、６２２ｂ、．．．６２２ｎおよび乗算器６２４ａ、６２４ｂ、．．．６２４ｎに水平にデシメートされたデータレートで入力されるけれども、加算器および積算器６３２から２次元にデシメートされたフレーム記憶装置および遅延バッファ６３４は、水平にデシメートされたデータレートよりもかなり低いデータレートである２次元にデシメートされたデータレートで送信される。

図７は、図５および図６の多相ＦＩＲフィルタにより水平垂直両次元にデシメートされたデータの垂直次元を補間する多相ＦＩＲフィルタを示すブロック図である。図７の実施の形態では、２次元にデシメートされたフレーム記憶装置および遅延バッファ６３４は、垂直にデシメートされた走査線に関し、デシメートされたデータを、第１の水平にデシメートされた再循環走査線遅延器７４２ａに送信する。水平にデシメートされた再循環走査線遅延器７４２ａは、垂直にデシメートされた走査線に関し、一時的に遅延されたデータを、第１の乗算器７４４ａおよび第２の水平にデシメートされた再循環走査線遅延器７４２ｂへ送信する。

選択可能なフィルタリング係数７４６ａの第１の組は、第１の係数マルチプレクサ７４８ａによる選択用に提供可能であり、その第１の係数マルチプレクサ７４８ａは、水平にデシメートされた再循環走査線遅延器７４２ａからの遅延データとの乗算用の第１の係数を選択するよう構成可能である。第１の乗算器７４４ａは、第１の係数を一時的に遅延された入力データと乗算して、第１の乗算器７４４ａの出力から加算器７５２へ送信する結果を作成するよう構成可能である。

同様に、選択可能なフィルタ係数７４６ｂの第２の組は、第２の係数マルチプレクサ７４８ｂによる選択用に提供可能であり、第２の係数マルチプレクサ７４８ｂは、第２の乗算器７４４ｂによる２回遅延された入力データとの乗算用に、係数の第２の組から係数を選択するように構成可能である。乗算器７４４ｂは、垂直にデシメートされた走査線に関し、選択された係数と、最初の２つの水平にデシメートされた再循環走査線遅延器７４２ａおよび７４２ｂに入力されたデシメートされた入力データとを乗算して、第２の乗算器７４４ｂの出力に結果を生成する。

したがって、２次元にデシメートされたデータは、最後の水平にデシメートされた再循環走査線遅延器７４２ｎに達するまで、複数の水平にデシメートされた再循環走査線遅延器７４２ａ、７４２ｂ、．．．に入力可能である。その時点において、１組の選択可能なフィルタ係数７４６ｎが、係数マルチプレクサ７４８ｎによる選択用に提供可能であり、係数マルチプレクサ７４８ｎは、乗算器７４４ｎによる乗算用に選択可能な係数７４２ｎの組から係数を選択するよう構成可能である。乗算器７４４ｎは、係数と、一連の水平にデシメートされた再循環走査線遅延器７４２ａ、７４２ｂ、．．．７４２ｎへ入力された２次元にデシメートされたデータとを乗算して、乗算器７４４ｎの出力に結果を生成するよう構成可能である。

次に、乗算器７４４ａ、７４４ｂ、．．．７４４ｎの各出力に接続された加算器７５２は、垂直次元の補間により再構築された結果として生じるビデオデータを計算するよう構成可能である。

図７の実施の形態では、２次元にデシメートされたビデオデータは、垂直にデシメートされた走査線に関し、フレーム記憶装置および遅延バッファ６３４から、一連の水平にデシメートされた再循環走査線遅延器７４２ａ、７４２ｂ、．．．７４２ｎへ、２次元にデシメートされたデータレートで送信される。対照的に、乗算器７４４ａ、７４４ｂ、．．．７４４ｎおよび加算器７５２により垂直に補間されたビデオデータは、２次元にデシメートされたデータレートよりも高い水平にデシメートされたデータレートで送信される。次に、加算器１０５２の出力に生成され、垂直に補間されたビデオデータは、水平補間のために、図８の多相ＦＩＲフィルタへ送信される。

図８は、ここで説明しているシステムおよび方法の実施の形態の１例にしたがって、図１０のＦＩＲフィルタにより生成された水平にデシメートされたビデオデータの水平補間用に構成されて、フル帯域幅だけれども減少したスペクトル成分を含む出力ビデオデータを作成する多相ＦＩＲフィルタを示すブロック図である。図８の実施の形態に示されているように、図７の多相ＦＩＲフィルタの出力から受信した水平にデシメートされたデータは、水平にデシメートされたピクセルに関する第１のラッチ８６２ａに送信可能であって、第１のラッチ８６２ａは、順に、一時的に遅延されたデータを、第２のラッチ８６２ｂおよび第１の乗算器８６４ａに送信する。

次に、１組の選択可能なフィルタリング係数８６６ａは、係数マルチプレクサ８６８ａによる選択用に提供可能である。係数マルチプレクサ８６８ａは、係数を、ラッチ８６２ａに入力された一時的に遅延されたビデオデータと乗算するように構成可能である乗算器８６４ａに、選択された係数を出力して、乗算器８６４ａの出力に結果を作成するよう構成可能である。再び、係数はプロセッサ（図示されていない）によりロード可能であって、次に、各ピクセルが処理されるように選択可能である。

同様に、選択可能なフィルタ係数８６６ｂの第２の組は、第２の係数マルチプレクサ８６８ｂによる選択用に提供可能であり、第２の係数マルチプレクサ８６８ｂは、第２の乗算器８６４ｂによる乗算用に係数の第２の組から係数を選択するよう構成可能である。乗算器８６４ｂは、係数と、最初の２つのラッチ８６２ａおよび８６２ｂに入力されたビデオデータとを乗算して、第２の乗算器８６４ｂの出力に結果を生成するよう構成可能である。

次に、水平にデシメートされたピクセルに関し、一連のラッチ８６２ａ、８６２ｂ、．．．８６２ｎに入力された入力ビデオデータは、最後の係数乗算器８６４ｎに送信可能である。その時点において、１組の選択可能なフィルタ係数８６６ｎが、係数マルチプレクサ８６８ｎによる選択用に提供可能であって、係数マルチプレクサ８６８ｎは、一連のラッチ８６２ａ、８６２ｂ、．．．８６２ｎに入力された一時的に遅延されたビデオデータとの乗算用に、係数の組８６６ｎから係数を選択するよう構成可能である。乗算器８６４ｎは乗算器８６４ｎの出力に結果を生成する。

加算器８７２は、各乗算器８６４ａ、８６４ｂ、．．．８６４ｎの出力とのインタフェースをもって、加算器８７２の出力に減少した帯域幅をもち、垂直および水平に補間された出力データを作成可能である。

したがって、図８に示されている実施の形態では、垂直に補間された入力データが、水平にデシメートされたピクセルに関し、水平にデシメートされたデータレートで、一連のラッチ８６２ａ、８６２ｂ、．．．８６２ｎに送信可能であるけれども、フル帯域幅入力データが、図５に示されている水平デシメーションのための多相ＦＩＲフィルタに送信可能であるのと同じレートであるフルピクセルデータレートで、乗算器８６４ａ、８６４ｂ、．．．８６４ｎおよび加算器８７２による補間の結果作成された出力データが送信可能である。しかし、図８の多相ＦＩＲフィルタからの出力結果は、入力データのローパスフィルタリングされたデータであるので、全帯域幅であるけれども、より少ないスペクトル成分を含む。したがって、図８の多相ＦＩＲフィルタからの出力データは、ビデオの画質向上アルゴリズムのためのローパスフィルタデータとして使用可能であって、種々の画質向上効果を作成する。

実施の形態は、多相ＦＩＲフィルタを使用した２次元の分離可能なローパスフィルタリング、デシメーションおよび補間の特定の例に関して説明してきたけれども、ここで説明しているシステムおよび方法は、そのような特定の実施に限定されているようには意図していない。例えば、３次元のビデオ画像および２以上の次元をもつ多次元データ集合の他のタイプも、ここで説明しているシステムおよび方法により処理可能である。さらに、ＩＩＲフィルタなどの他のタイプのフィルタも、特定の実施により必要になるように、ローパスフィルタリング、デシメーションおよび補間演算に使用可能である。

図２および図３に示されているフィルタリング、デシメーションおよび補間システムの出力は、入力データのアンシャープマスクと呼ばれる。異なる核関数の領域の大きさ、すなわち異なる係数の数は、異なるアンシャープマスクになる。したがって、複数のアンシャープマスクは、あたえられたシステム、例えばＨＤＴＶシステムのようにあらかじめ定義可能であって、ユーザは、複数のアンシャープマスクのうちどれがこのシステムの入力データに適用可能できるかを選択することにより、異なる空間周波数帯域の画質向上を選択可能になる。

例えば、図９は、比較的小さな領域の核関数の入力データ曲線９０２への適用を示す。図９は大きな領域の核関数の演算も示す。したがって、上に説明したような大きな領域の核関数処理が、曲線９０２で表されるエズ（ｅｔｈ）入力データに適用されるとき、アンシャープマスク９０４が生成される。１つの走査は、ローパスフィルタリング演算のため、曲線９０２の高周波数スペクトル成分が曲線９０４では抑制されていることが分かる。次にアンシャープマスク９０４は、入力データ９０２から差し引かれ、入力データ９０２の高周波数成分が残る。次に、高周波数データが増幅されて、曲線９０６を作成する。次に、曲線９０６の高周波数データは、入力曲線９０２と再結合されて、入力データの画質の向上したデータを作成する。

しかし、さらに大きい領域の核関数が使用されると、さらに高い周波数が、図１０に示されている出力結果のアンシャープマスクで抑制される。したがって、同じ入力曲線９０２から、アンシャープマスク９０４を作成するために使用されたものより大きな領域の核関数を使用して、より滑らかなアンシャープマスク１００２が生成可能である。高い周波数のデータ１００４は、再度、差分と増幅により生成可能であるけれども、曲線１００４はさらに高い周波数スペクトル成分をもつ。次に、高周波数データ１００４は曲線９０２の入力データと結合可能であって、入力データの画質を向上したデータを生成可能である。

異なる領域の核関数の大きさを使用して、典型的なオーディオ用のグラフィックイコライザーにより周波数帯域をフィルタリングおよび結合するのと同じ方法で、複数のアンシャープマスクを適用および結合して、異なる周波数帯域を作成可能である。したがって、図９および図１０に示されているような複数のアンシャープマスクを使用して、オーディオグラフィックイコライザーに似た方法でビデオイコライザーを作成できる。下に説明するように、Ｎ次元帯域通過関数、および他の遮断周波数と対応する核関数の領域の大きさをもつ他のアンシャープマスクは、結合されて他の通過帯域を作成可能であり、種々の効果および目的のためにさらに操作可能である。ここで説明しているエズ（ｅｔｈ）システムおよび方法にしたがって構成されたビデオグラフィックイコライザーでは、連続して切れ目がなく、ほとんど重ならない複数の帯域の組が作成可能であって、各帯域のゲインを独立して操作可能である。

図１１Ａ−図１１Ｆは、図９および図１０に関して示されているような異なる遮断周波数をもつ２つの異なるアンシャープマスクを使用して、ここで説明しているシステムおよび方法の１つの実施の形態にかかる画質の向上した出力信号を作成する例を示している。図１１Ａ−図１１Ｆの例では、入力曲線９０２は単純な１次元データ集合であるけれども、ｎ次元システムに適用可能な技術もあることは容易に解る。したがって、図１１Ａは入力データ曲線９０２を示す。図１１Ｂは、比較的高い遮断周波数をもつ比較的小さな領域の核関数フィルタを適用することにより作成されるアンシャープマスク９０４を示す。図１１Ｃは、入力データ曲線９０２からアンシャープマスク９０４を差し引いた結果である曲線９０６を示す。次に、差分の結果は、上に説明したように増幅可能であって設計し直せる。

図１１Ｄは、比較的大きな領域の核関数フィルタ、すなわちデータ曲線９０２を入力する比較的低い遮断周波数をもつローパスフィルタの適用により作成されるアンシャープマスクを表す出力曲線１００２を示す。上に説明したように、アンシャープマスク１００２は、一般的に曲線９０４よりも滑らかである。図１１Ｅは、入力データ曲線９０２からアンシャープマスク１００２を差し引いた結果を増幅したピクセル値をあらわす曲線１００４を示す。

図１１Ｆは、アンシャープマスク１００２からアンシャープマスク９０４を差し引いた結果である曲線１２０２を示す。

曲線９０４および曲線９０６は、それぞれ、ビデオグラフィックイコライザーの低周波数帯域および高周波数帯域の対とみなされる。同様に曲線１００２および１００４も、それぞれ、曲線９０２および９０４の遮断周波数とは異なる遮断周波数をもつビデオグラフィックイコライザーの低周波数帯域および高周波数帯域のもう１つの対とみなされる。次に、曲線１２０２は、例えばグラフィックイコライザーの中間帯域とみなされる。したがって、異なる遮断周波数をもつ２つの異なるアンシャープマスクを使用して、３帯域ビデオグラフィックイコライザーが、低帯域、例えば曲線１００２、中帯域、例えば曲線１２０２、高帯域、例えば曲線９０６により形成される。これらの帯域は、比較的連続して切れ目がなく重なっていない。

２帯域グラフィックイコライザーも、低帯域、例えば曲線９０４または１００２、および高帯域、例えば曲線９０６または１００４により形成可能である。

上に説明したように、フィルタリング、デシメーションおよび再補間のシステムおよび方法は、医療、産業、軍事、警察、消費者娯楽用途を含む多種多様の用途に画質の向上したビデオを提供できる。さらに、上に説明したフィルタ、デシメータおよび補間器は、処理および記憶容量の要求を減少させ、フィルタリング、デシメーションおよび補間回路は、小さな波形率チップセットまたはさらに広い種類の用途を可能にすることを支援する１チップの特定用途向け集積回路（ＡＳＩＣ）にさえ内蔵することができる。

例えば図１２は、ケーブルテレビ番組を顧客のケーブルテレビセットトップボックス１２０２に送信するよう構成された典型的なケーブルテレビシステム１２００を示す。例えば、ケーブルテレビ番組は、ＮＴＳＣまたはＨＤＴＶケーブルテレビ信号を含んでもよい。ケーブルネットワーク１２０４は、テレビ番組を受信し、特定の顧客のセットトップボックス１２０２に送信するよう構成されたヘッドエンド１２０４を含んでもよい。次に、セットトップボックス１２０２は、顧客のテレビまたはディスプレイ１２１０を介して視聴するテレビ番組を送信するよう構成可能である。

しかし、システム１２００において、ビデオ画質向上装置１２０８は、ここで説明しているシステムおよび方法に従って送信されるケーブルテレビ番組の画質を向上させるために含まれる。言い換えると、ビデオ画質向上装置１２０８は、上に説明したフィルタリング、デシメーションおよび補間ステップを実行するよう構成可能である。したがって、視聴用にテレビ１２１０に送信されるケーブルテレビ番組は、テレビ番組がＨＤＴＶ信号を含んでいても、著しく画質向上可能である。さらに、ユーザは、例えば、上に説明したような複数のアンシャープマスクから構成される複数帯域グラフィックイコライザーを使用して、所望の画質向上レベルを選択可能である。

さらに、他のビデオ生成装置１２１２はビデオ画質向上装置１２０８とインタフェースをもてる。典型的なビデオ生成装置１２１２は、例えば、ＤＶＤプレーヤー、デジタルビデオカメラまたはＶＴＲを含んでもよい。テレビ１２１０を介して表示されるビデオ信号は、生成源に関わらず、単純にビデオ画質向上装置１２０８を経由するようにすれば画質向上可能である。代わりに、ビデオ生成装置１２１０からの信号は、セットトップボックス１２０２を経由してビデオ画質向上装置１２０８に到達してもよい。

さらに、ビデオ画質向上装置１２０８を含む回路は、今日の回路製造技術を使用してとても小さく作れるので、ビデオ画質向上装置１２０８は、実際に、システム１２００を含む他のコンポーネントの１つの中に内蔵させることができる。例えば、ビデオ画質向上装置１２０８は、ヘッドエンド１２０４に内蔵されて、セットトップボックス１２０２を介してテレビ１２１０に送信されてもよい。代わりに、ビデオ画質向上装置１２０２がセットトップボックス１２０２またはテレビ１２１０に内蔵されてもよい。ビデオ画質向上装置１２０８はビデオ生成装置１２１０に内蔵されてもよい。

したがって、ビデオ画質向上装置１２０８を含む回路を小型化できれば、種々の消費者用電子機器および娯楽装置の画質向上と設計に柔軟性をもたせることが可能になる。同じ柔軟性により、医療の画像化、軍事の目標捕捉、および／または軍事または警察の偵察システムなどの、より特別な実施ができる。

種々のフィルタリング技術は、上に説明したシステムおよび方法を実現するために使用可能である。これらの技術は、アナログおよび／またはデジタルフィルタリング技術を含んでもよい。特に他の回路、例えば１以上のＡＳＩＣとの集積化を支援する観点から、デジタルフィルタリング技術が好ましい。

高次数のフィルタを使用することにより、１次のフィルタよりも性能がよくなる。これは、データのスペクトル成分の大きな変化を検出する必要があるとき、特にあてはまる。例えば、ビデオ画像化システムでは、いつデータの比較的大きな変化または動きがあるか検出することは重要になりうる。多くの動きがあったときに比較的重いフィルタリングが適用されると、フィルタリング演算により、ぼやけやブロックノイズが発生しうる。したがって、いつ大きな動きがあるかを検出し、適用するフィルタリングの量を減らすことが好ましくなりうる。

１次フィルタにより、ローパスデータが入手可能であるけれども、ローパスデータは動きを検出するにはあまり有用でない。元のデータからローパスデータを差し引くことによりハイパスデータが得られる。ハイパスデータは動きを検出するために使用可能であるけれども、この技術は雑音による誤表示の影響を受けやすい。言い換えると、雑音が動きになりすまし、適切にいつ実際に動きがあるかを検出するシステムの性能を制限する。従来の高次デジタルフィルタは、しばしば遅延タップを使用して構築されるけれども、これらのフィルタにより作成されるすべてのデータは遅延データであり、例えば動きを検出するのに必ずしも有用でない。

例えば、より動きを検出するために、ここで説明しているシステムおよび方法は、ハイパス、バンドパスおよびローパスデータを生成するよう構成された高次の一時的デジタルフィルタを利用可能である。次に、例えばバンドパスデータを使用して動きを検出する。数フレームに渡って継続するデータ内の変化は、ノイズスパイクではなくより動きである可能性が高いので、バンドパスデータを使用してより正確に動きを検出できる。したがって、デジタル状態可変フィルタなどの高次の一時的フィルタを使用して、ハイパス、バンドパスおよびローパスデータを生成可能である。バンドパスデータを使用して、例えば動きを検出できる。次に、フィルタリングの量は、検出された動きの量に基づいて調節可能である。

したがって、ここで説明しているシステムおよび方法により良い画質向上を提供できるだけでなく、データに著しい動きがあるときに、ブロックノイズまたはぼやけを減らすこともできる。バンドパスデータは他の目的にも使用可能である。例えば、バンドパス情報は、ハイパスデータまたはローパスデータと結合されて、データに関する他の有用な情報を検出可能である。

画像処理演算において、上に説明したように、与えられたピクセルを処理するときに、核関数の領域の大きさにより定義される境界の内側の周囲のピクセルのピクセル値をアルゴリズムが使用するように、大きな領域の核関数をもつフィルタリング演算が画像に適用される。一般的に、テレビの画像フレームの端のようなデータ集合の端の近くのピクセルを処理するとき、核関数の領域が端を超えて存在し、データ集合の外の領域のピクセル値に仮定値を適用せねばならない。これはデータ集合の外のピクセル値が、テレビの画像フレームのようなデータ集合のアクティブなデータ領域の端の近くであるけれどもデータ領域内のピクセルの処理に、悪影響を与えそうな原因となるためである。

従来のテレビシステムなどのラスタライズされた画像では、ラスタ形式は、リアルタイム処理システムではブランキング・インターバルと呼ばれる少なくともいくらかのこの余分な境界領域に必然的に空白を提供する。リアルタイムでそのような画像をフィルタリングする仕組みは、これらのブランキング・インターバルに関しても処理能力に多くの追加の負荷を与えることなく、フィルタリング処理を継続可能である。しかし、ラスタライズされた画像のアクティブな画像領域の間にブランキング・インターバルが存在すると、一般的に、ブランキング・インターバルの中で使用する適切なピクセル値が提供されることにならないので、アクティブな領域の端の近くにブロックノイズが発生してしまう。

さらに、例えばＨＤＴＶシステムでは、隣接するフレーム間のバーティカル・ブランキング領域は、アクティブな画像領域に対して従来のテレビシステムよりも著しく狭いので、大きな領域の核関数処理演算の核関数の領域の大きさよりも小さくなりそうである。したがって、与えられたフレームの端の近くの与えられたピクセルに関して、大きな領域の核関数の大きさにより、核関数の領域の重要な部分がフレームの外になり、事実上隣接するフレーム内のピクセル、例えば、現在のフレームの反対側、前のフレームの下部または次のフレームの上部を含むことになりうる。これらのピクセルは、画像の異なる領域からであると、処理するピクセルに関係のないデータを含むことになりそうである。

ここで説明しているシステムおよび方法はピクセルデータの大きな領域の核関数処理に関するブランキング領域の影響から成り、その影響を減少できる。ブランキング領域を含むピクセルが、ここで説明しているシステムおよび方法を使用して処理されるとき、ブランキング領域の中にある隣接するフレームの画像データの代わりに、追加の「架空のブランキング領域」が該ピクセルの周りの核関数の領域の大きさの中の領域を占有するように、追加の有効なブランキングデータをブランキング領域に加えられる。この演算は、例えば、上に説明したような多次元フィルタリング、デシメーション、またはサブサンプリング、およびデータ処理演算により達成される追加の処理能力により支援可能である。

ブランキング・インターバルの中のデータの処理速度を上げると、ＨＤＴＶシステムなどの隣接するフレーム間の小さな既存のバーティカル・ブランキング領域およびホリゾンタル・ブランキング領域に架空のブランキング領域が加わる。例えば、ＨＤＴＶシステムでは、バーティカル・ブランキング領域は特別な心配事である。データはあるレートで到着し、データが提供されるレートにより支配されるレートで通常処理される。しかし、ブランキング・インターバルの中では、実際のデータは存在しないので、システムは処理レートを上げることができる。すなわちデータがさらに速く到着するようになる。したがって、ブランキング領域をより広くとることができ、架空のブランキングデータを作成できる。

例えば、そのような架空の走査線を加えることにより、例えばＨＤＴＶ画像の与えられたフレームの上部または下部の端の近くのピクセルが、隣接するフレームの反対側の端の近くのピクセルのデータ値により悪影響を受けずに処理可能であって、さもないと、隣接するフレームの反対側の端の近くのピクセルのデータ値が、現在処理中のフレームの端の近くのピクセルの大きな領域の核関数フィルタリング演算に望ましくない影響を与える。必然的に既存のブランキング領域および人工的に加えた架空の走査線を含む処理用のピクセル値をブランキング領域に補充する処理は、特定の実施に依存し、種々のタイプの信号およびブランキング領域の大きさに最適化可能である。この処理用に想定されたブランキングデータが、現実にゆっくりと変化し、低空間周波数成分のみを含み、単にアクティブなフレームの近くの領域のデータの平均値の整合性を維持することで一般的に十分である。

１つの実施の形態では、ブランキングの時間中に、フィードバックループが２次元ビデオ処理用の水平および垂直ローパスフィルタに接続されてもよいので、各反復の後に、実際のブランキング領域および架空の走査線を含むブランキング領域が、より適切に想定されたデータでプログレッシブに補充される。複数の反復の後、ブランキング領域は、回路のフィードバックループにより生成された人工的なデータで補充されるので、与えられたフレームの端から人工的に付加された架空のブランキングデータを含むブランキング領域への変わり目およびブランキング領域からすぐ隣のフレームの端への変わり目は滑らかな変わり目となる。次に、ブランキング領域に割り当てられた人工的なデータは、フレームの端の近くのピクセルのフィルタリングまたは処理における入力として使用される。

付加された架空のブランキングデータの量は、特定の実施に依存する。しかし、一般的に、隣接するフレームの重なりが確実に避けられるように、単に十分な架空のブランキングデータを加えることで十分である。

図１３は伝統的なＮＴＳＣディスプレイの例１３００を示す。現在のフレーム１３１８は、現在のフレームのコピー１３３０とともに示されている。したがって、フレームの複製された列は、ビデオラスタ操作処理により得られる有効に水平な隣接するフレームを示すことにより示される。前のフレーム１３２６は図の上部に示され、次のフレーム１３４０は図の下部に示される。現在のフレーム１３１８内の種々のピクセル１３１０、１３１２、１３１４および１３１６は、それぞれ関連する処理する核関数の領域の大きさ１３０２、１３０４、１３０６および１３０８とともに強調されている。例えばピクセル１３１０については、関連する核関数の領域１３０２は完全にフレーム１３１８の中にある。したがって、隣接するフレーム内または現在のフレームの関係のない領域内にあるピクセル値は、ピクセル１３１０に関して実行されるフィルタリング、デシメーションおよび／または他のタイプの処理演算に著しい悪影響を与えそうにない。しかし、フレーム１３１８の上部の水平の端またはその近くにあるピクセル１３１２は、バーティカル・ブランキング領域１３２２の一部および隣接するフレーム１３２６の中の小さな画像領域を含む関連する核関数の領域の大きさ１３０４をもつ。したがって、ピクセル１３１２の処理は、核関数の領域の大きさ１３０４に収まるブランキング領域１３２２の一部に適用される値により影響を受けうる。隣接するフレーム１３２６の中のピクセル値は、通常これらのピクセル値がピクセル１３１２と関係がないかピクセル１３１２とかなり異なる可能性が高いので、ピクセル１３１２の処理にさらに問題を引き起こし、望まない目立つブロックノイズを引き起こす可能性がある。本質的に異なる動きがフレームの異なる領域の間に存在しうると考えると、有効に隣接するフレーム内のピクセルおよび処理中のピクセルの間に関係がないと、さらにもっと目立つブロックノイズを引き起こす可能性がある。

フレーム１３１８の右の端のまたはその近くのピクセル１３１４については、関連する核関数の領域１３０６の大きさは、図１３の例では、現在のフレームのコピー１３３０の画像領域に重なるほど大きくない。したがって、ピクセル１３１４は、有効に隣接するフレーム１３３０の関係のないデータ値から実質的な悪影響を受けずに処理可能である。しかし、フレーム１３３０のピクセル値による悪影響はないけれども、ブランキング領域に関係するブロックノイズを避けるために、適切な値が、核関数の領域の大きさ１３０６の中のブランキング領域１３３４の一部に割り当てられるべきである。

フレーム１３１８の角またはその近くのピクセル１３１６については、対応する核関数の領域１３０８は、ブランキング領域１３３４のかなりの部分および垂直に隣接したフレーム１３４０の角の近くの領域を含みうる。加えて、隣接するフレーム１３４０内の核関数の領域１３０８の外側の他の画像領域のピクセル値は、ブランキング領域１３３４に補充された値に影響すると、ピクセル１３１６の処置に間接的に悪影響を与えうる。

したがって、１つの実施の形態ではブランキング領域を含むピクセルに値が割り当てられ、次に、それらうちいくつかが、核関数の領域１３０４または核関数の領域１３０６などの核関数の領域内に収まる。割り当てられた値は、隣接するフレーム内のデータ間のブランキング領域に渡って遅くて滑らかなデータの変わり目を設けるべきである。しかし、特定の実施により、１つのフレームの端の近くのブランキング領域内の値は、有効に隣接するフレーム内のピクセルの値により、わずかに影響を受ける。有効に隣接するフレームに近いブランキング領域の値は、それらの有効に隣接するフレーム内のピクセル値により、より大きな程度の影響を受けるけれども、例えばピクセル１３１２、１３１４または１３１６に関するフィルタ出力値を作成するとき、外部の核関数の係数は、典型的には割り当てられたより小さな値であるので、ピクセルからかなり遠くの想定したブランキングの値、例えば有効に隣接するフレームの近くの値は、フィルタリングの結果にあまり悪影響を与えない。

説明したように、ピクセル１３１２、１３１４および１３１６の処理に関し、有効に隣接するフレーム１３２６、１３３０および１３４０内のピクセルの影響を制限するために、例えばブランキング間隔の中の処理の速度を上げることにより、架空のブランキングデータが、ブランキング領域１３２２および１３３４に付加できる。次に、説明したように、架空のブランキングデータを含むブランキング領域に値が割り当て可能である。架空のブランキングデータを付加すると、核関数の領域１３０４、１３０６および１３０８と、有効に隣接するフレーム１３２６、１３３０および１３４０内のピクセルとの重なりを防止できるか、または少なくとも重なりの程度を減少させられる。重なりが減ると、隣接するフレーム１３２６、１３３０および１３４０内のピクセルが、例えば、ピクセル１３１２、１３１４および１３１６の処理に重大な悪影響を与えることを防止できる。

説明したように、ＨＤＴＶ信号に存在するより狭いブランキング領域のために、隣接するフレーム内のピクセルはさらに心配なことである。図１４はＨＤＴＶディスプレイの例を示す。現在のフレーム１４６２が現在のフレームのコピー１４６８とともに示されている。前のフレーム１４００は図１４の上部に示され、次のフレームは下部に示されている。代表的なピクセル１４４６、１４４８、１４５０および１４５２が、関連する核関数の領域の大きさ１４５４、１４５６、１４５８および１４６０とともに示されている。ピクセル１４４６の処理は、核関数の領域１４５４が完全にフレーム１４６２の内部にあるので、隣接するフレームのピクセル値または現在のフレーム１４６２の非関連領域にはあまり影響されそうにない。しかし、フレーム１４６２の右端のまたはそれに近いピクセル１４４８については、核関数の領域１４５６がフレーム１４６２および現在のフレームのコピー１４６８の間のブランキング領域１４６６の一部を含む。しかし、ＨＤＴＶ画像フレーム間のホリゾンタル・ブランキング領域１４５６は、フィルタリング演算用の典型的な核関数の領域の大きさに比較して、比較的広いので、ピクセル１４４８の処理はフレーム１４６８内のピクセル値により実質的にあまり悪影響を受けそうにない。しかし、適切な人工的なブランキング値は、上に説明したように、ブランキング領域に関連するブロックノイズをさけるため、定式化されて、ブランキング領域１４５６に補充されるべきである。さらに、あるスキームでは、ブランキング領域１４５６内の人工的な値は、フレーム１４６８内のピクセル値により少なくともある程度影響を受けうるので、ピクセル１４４８の処理は、フレーム１４６８内のピクセル値により間接的に影響されうる。

フレーム１４６２の上部の水平の端のまたはその近くのピクセル１４５０については、フレーム１４６２およびフレーム１４７４の間のバーティカル・ブランキング領域がＨＤＴＶシステム内のフィルタリングおよびデシメーション演算用の典型的な核関数の領域の大きさに比較して小さいので、垂直に隣接したフレーム１４７４のかなりの部分が核関数の領域１４５８内に存在しうる。したがって、フレーム１４７４内のピクセル値は、ピクセル１４５０の処理に著しい悪影響を与える可能性があり、実質的に目立つブロックノイズを発生させる。ブランキング領域に補充された人工的な値の悪影響に加えて、特にこれらのピクセル値がピクセル１４５０に最も関係なさそうであり、ピクセル１４５０とはかなり異なる可能性があることを考えると、ピクセル１４５０の処理は、隣接するフレーム１４７４内の実際のピクセル値により著しく影響されうる。

同様に、フレーム１４６２の角またはその近くのピクセル１４５２に関連する核関数の領域１４６０は、垂直に隣接したフレーム１４７８の角の部分と重なる広い領域を含む。したがって、垂直に隣接したフレーム１４７８の角の部分のピクセル値は、ピクセル１４５２の処理に著しい悪影響を及ぼすので、著しいブロックノイズを引き起こす。したがって、ブランキング領域１４６６および１４４４に割り当てられた人工的な値は、ピクセル１４５２の処理に悪影響を与え、加えて、隣接するフレーム１４７８内のピクセル値は、ピクセル１４５２の処理に著しく悪影響を及ぼしうる。

特に、ＨＤＴＶシステム内の垂直に隣接する画像フレームの間のバーティカル・ブランキング領域に架空の走査線を付加すると、例えば核関数の領域１４５４、１４５６および１４５８と、隣接するフレーム１４７４、１４７８、および１４６８との間の重なりの量をなくせるか、あるいは少なくとも大幅に減らせるので、ピクセル１４４６、１４４８および１４５０のデータ値の悪影響を避けられるか、あるいは少なくとも和らげられる。

図１５は、ここで説明しているシステムおよび方法の１つの実施の形態にかかる架空のブランキングデータを含むブランキング領域に、架空のブランキングデータおよび関連する値を挿入するよう構成された回路１５００を示すブロック図である。フル帯域幅入力データ、例えばアクティブなビデオ画像フレームは、ビデオデータマルチプレクサ１５０２の第１の入力で受信され、ビデオデータマルチプレクサ１５０２は、隣接するフレーム間でいつブランキングが発生したかを示す制御信号１５０４を受信するよう構成してもよい。元のブランキングデータは元のビデオデータの一部であるけれども、このデータはマルチプレクサの演算により無視できるので、元のブランキングデータは、入力データと同じ経路、例えば入力１５００、で受信できる。

マルチプレクサ１５０２は、例えば上に説明したように、入力データをローパスフィルタリングするよう構成されたＮ次元ローパスフィルタに入力データを入力するよう構成可能である。次に、Ｎ次元ローパスフィルタ１５０８の出力は、マルチプレクサ１５０２のフィードバック入力１５１２にフィードバックされてもよい。したがって、ブランキング時間以外には、フィルタが実際の画像データに応答し、ブランキング時間には、フィルタが前の推定値に応答するように、マルチプレクサ１５０２が、制御信号１５０４の制御下で、入力データおよびＮ次元ローパスフィルタのフィルタリングされた出力１５１０をマルチプレクシングするよう構成可能であり、上記前の推定値は、初期状態ではデフォルトの値０に設定されるので、追加の一時的特徴を有効に持つようになる。したがって、Ｎ次元ローパスフィルタ１５０８の出力は、ブランキング領域に割り当てられるべき値の推定を進展させるために使用可能である。

制御信号１５０４はＮ次元ローパスフィルタ１５０８にも供給されて、処理レートを制御できる、すなわち有効にブランキング時間の処理の速度をあげて、架空のブランキングデータを付加できる。例えば、上に説明したデータのデシメーションは処理資源を開放するのに有用であり、次により多いサイクルを実行可能である。すなわち、ピクセルのクロックを上げられる。架空のブランキングデータの初期値は、最初は値０に設定されてもよく、次に、Ｎ次元ローパスフィルタ１５０８のフィルタリングされた出力に基づいた推定を使用して補充される。

したがって、隣接するフレームの端の近くのピクセルの実際のデータ値と、ブランキング領域に付加された架空のデータを含むブランキング領域に補充された人工的なデータ値との間に、滑らかな変わり目が形成されるまで、Ｎ次元ローパスフィルタ１５０８によるローパスフィルタリングを何回も反復した後、ブランキング領域は、データ値によりプログレッシブに補充可能である。

ある実施の形態では、例えば、Ｎ次元ローパスフィルタは、ここで説明しているシステムおよび方法にかかる分離可能な水平および垂直ローパスフィルタを含む２次元ローパスフィルタであってもよい。しかし、説明したように、ここで説明しているシステムおよび方法は、分離可能であるか否かなどのフィルタの実現方法にかかわらずＮ次元に適用可能である。

したがって、回路１５００は、上に説明した回路のように、ビデオ画質向上装置１２０８またはＡＳＩＣなどの同じ装置に内蔵可能である。代わりに、複数の回路が異なる装置および／またはＡＳＩＣに内蔵可能である。さらに、ここで説明しているシステムおよび方法を実現することにより、種々の装置用のビデオイメージの著しい画質向上が達成可能である。

本発明のいくつかの実施の形態は上で説明したけれども、説明した実施の形態は例に過ぎない。したがって、説明した実施の形態に基づいて発明は限定されるべきではない。むしろ、ここで説明した発明の範囲は、明細書および図面と併せて、特許請求の範囲をふまえてのみ限定されるべきである。

１００ ビデオ画像表示
１０２ 行
１０４ 列
２０２ 最初の画像
２０４ ローパスフィルタ（ＬＰＦ）およびデシメータ２０６へ送信される曲線
２０６ ローパスフィルタ（ＬＰＦ）およびデシメータ
２０８ フィルタリングされてデシメートされた出力信号
２１０ 互いに比較的かなり離れた空間のピクセルの複数の垂直列をもつ画像
２１２ 画像２１０の列の１つのピクセル値の信号曲線
２１４ 第２のＬＰＦおよびデシメータ
２１６ 第２のＬＰＦおよびデシメータ２１４の出力信号
２１８ 出力ビデオ画像
３２２ ローパスフィルタをもつ第１の補間器
３２４ 信号曲線
３２６ 互いに比較的離れたピクセルの複数の列をもつ中間ビデオ画像
３２８ 信号曲線
３３０ ローパスフィルタをもつ第２の補間器
３３２ 信号曲線
３３４ アンシャープマスク
４３６ リンゴ
５０２ｂ 複数ピクセル遅延バッファ
５０２ｎ 複数ピクセル遅延バッファ
５０４ａ 乗算器
５０４ｂ 乗算器
５０４ｎ 乗算器
５０６ａ 係数
５０６ｂ 係数
５０６ｎ 係数
５０８ａ 係数マルチプレクサ
５０８ｂ 係数マルチプレクサ
５０８ｎ 係数マルチプレクサ
５１２ 加算器および積算器
６２２ａ 複数の走査線が水平にデシメートされる遅延バッファ
６２２ｎ 複数の走査線が水平にデシメートされる遅延バッファ
６２４ａ 乗算器
６２４ｂ 乗算器
６２４ｎ 乗算器
６２６ａ フィルタリング係数
６２６ｂ フィルタリング係数
６２６ｎ フィルタリング係数
６２８ａ 係数マルチプレクサ
６２８ｂ 係数マルチプレクサ
６２８ｎ 係数マルチプレクサ
６３２ 加算器および積算器
６３４ ２次元にデシメートされたフレーム記憶装置および遅延バッファ
７４２ａ 垂直にデシメートされた走査線に関する水平にデシメートされた再循環走査線遅延器
７４２ｂ 垂直にデシメートされた走査線に関する水平にデシメートされた再循環走査線遅延器
７４２ｎ 垂直にデシメートされた走査線に関する水平にデシメートされた再循環走査線遅延器
７４４ａ 乗算器
７４４ｂ 乗算器
７４４ｎ 乗算器
７４６ａ フィルタリング係数
７４６ｂ フィルタリング係数
７４６ｎ フィルタリング係数
７４８ａ 係数マルチプレクサ
７４８ｂ 係数マルチプレクサ
７４８ｎ 係数マルチプレクサ
７５２ 加算器
８６２ａ 水平にデシメートされたピクセルに関するラッチ
８６２ｂ 水平にデシメートされたピクセルに関するラッチ
８６２ｎ 水平にデシメートされたピクセルに関するラッチ
８６４ａ 乗算器
８６４ｂ 乗算器
８６４ｎ 乗算器
８６６ａ フィルタリング係数
８６６ｂ フィルタリング係数
８６６ｎ フィルタリング係数
８６８ａ 係数マルチプレクサ
８６８ｂ 係数マルチプレクサ
８６８ｎ 係数マルチプレクサ
８７２ 加算器
９０２ 入力データ曲線
９０４ アンシャープマスク
９０６ 入力データ曲線９０２からアンシャープマスク９０４を差し引いた結果である曲線
１００２ アンシャープマスク
１００４ 入力データ曲線９０２からアンシャープマスク１００２を差し引いた結果を増幅したピクセル値をあらわす曲線
１２０２（図１１Ｆ） アンシャープマスク１００２からアンシャープマスク９０４を差し引いた結果である曲線
１２００ ケーブルテレビシステム
１２０２（図１２） セットトップボックス
１２０４ ヘッドエンド
１２０８ ビデオ画質向上装置
１２１０ テレビまたはディスプレイ（ビデオ生成装置）
１２１２ ビデオ生成装置
１３００ ＮＴＳＣディスプレイ
１３０２ 核関数の領域
１３０４ 核関数の領域
１３０６ 核関数の領域
１３０８ 核関数の領域
１３１０ ピクセル
１３１２ ピクセル
１３１４ ピクセル
１３１６ ピクセル
１３１８ 現在のフレーム
１３２２ バーティカル・ブランキング領域
１３２６ 隣接するフレーム
１３３０ 現在のフレームのコピー
１３３４ ブランキング領域
１３４０ 隣接するフレーム
１４００ 前のフレーム
１４４４ ブランキング領域
１４４６ ピクセル
１４４８ ピクセル
１４５０ ピクセル
１４５２ ピクセル
１４５４ 核関数の領域
１４５６ 核関数の領域
１４５８ 核関数の領域
１４６０ 核関数の領域
１４６２ 現在のフレーム
１４６６ ブランキング領域
１４６８ 現在のフレームのコピー
１４７４ 垂直に隣接したフレーム
１４７８ 垂直に隣接したフレーム
１５００ 入力
１５０２ マルチプレクサ
１５０４ 制御信号
１５０８ Ｎ次元ローパスフィルタ
１５１０ Ｎ次元ローパスフィルタのフィルタリングされた出力
１５１２ マルチプレクサ１５０２のフィードバック入力

Claims (11)

1. あるフレームレートで表示される一連の多次元画像を含む多次元画像データを処理するための特定用途向け集積回路（ＡＳＩＣ）において、
   （ａ）複数の次元でデータをインプットするように構成されているインプット；
   （ｂ）上記インプットと接続し、更に、
   単一パスで、ローパスフィルタを上記複数の次元のうちの第１の次元に含まれるデータに適用し、上記第１の次元に含まれるデータをデシメートする第１のステップであって、上記ローパスフィルタにより上記第１の次元に含まれる高周波数データの多くが抑圧される、第１のステップと、
   単一パスで、ローパスフィルタを上記複数の次元のうちの第２の次元に含まれるデータに適用し、上記第２の次元に含まれるデータをデシメートする第２のステップであって、上記ローパスフィルタにより上記第２の次元に含まれる高周波数データの多くが抑圧される、第２のステップと
   を、上記一連の多次元画像の各々に対して、少なくとも上記フレームレートと同様の速さで、実行するように構成されている画像データプロセッサ； および
   （ｃ）上記複数の次元の各々に対して、上記デシメートされたデータを、上記画像のピクセル密度に一致するピクセル密度に補間するように構成された補間器
   を含む特定用途向け集積回路。
2. 上記ローパスフィルタを、上記複数の次元のうちの第３の次元に含まれる画像データに適用し、上記第３の次元に含まれる画像データをデシメートする第３のステップを、
   上記画像データプロセッサが、更に実行するように構成されている
   ことを特徴とする請求項１に記載の特定用途向け集積回路。
3. 上記ローパスフィルタを、上記複数の次元のうちの各々の次元に含まれる画像データに適用し、上記各々の次元に含まれる画像データをデシメートするステップを、
   上記画像データプロセッサが、上記各々の次元に関して、更に逐次行なうように構成されている
   ことを特徴とする請求項２に記載の特定用途向け集積回路。
4. 上記ローパスフィルタが、７ピクセルより大きいカーネルサイズを利用する
   請求項１に記載の特定用途向け集積回路。
5. 上記画像データプロセッサがさらに上記補間された画像データを処理する構成である請求項１に記載の特定用途向け集積回路。
6. 上記補間された画像データの処理が、上記元の画像データから上記補間された画像データを差し引いて、上記元の画像データの高周波数データを生成するステップを含む請求項５に記載の特定用途向け集積回路。
7. 上記補間された画像データの処理が、上記元のデータの上記高周波数データを増幅するステップをさらに含む請求項６に記載の特定用途向け集積回路。
8. 上記補間された画像のデータ処理が、上記元のデータの上記増幅された高周波数データを上記元のデータと結合して、上記元のデータの画質を向上させたデータを生成するステップをさらに含む請求項７に記載の特定用途向け集積回路。
9. 上記ローパスフィルタリングするステップが、とても低い遮断周波数を使用して実質的にローパスフィルタリングするステップを含む請求項１に記載の特定用途向け集積回路。
10. 一連の多次元画像内の画像からデータのセットを格納するステップと、
    上記データのセットに基づいて、上記一連の多次元画像内の後続の画像の画質を向上させるステップと
    を、上記画像データプロセッサが更に実行する
    請求項１に記載の特定用途向け集積回路。
11. 上記データのセットがアンシャープマスクを含む
    請求項１に記載の特定用途向け集積回路。

Images