JP2013109769A

JP2013109769A - 高品質画像及び映像アップスケーリングのためのシステム及び方法

Info

Publication number: JP2013109769A
Application number: JP2012280978A
Authority: JP
Inventors: Ximin Zhang; ツァンシミン; Ming-Chang Liu; チャンリウミン
Original assignee: Sony Corp; Sony Electronics Inc
Current assignee: Sony Corp; Sony Electronics Inc
Priority date: 2008-09-15
Filing date: 2012-12-25
Publication date: 2013-06-06
Also published as: EP2164040B1; CN101677358B; EP2164040A1; US20100067818A1; CN101677358A; JP2010067272A

Abstract

【課題】画像／映像処理の強化技術を提供する。
【解決手段】高品質高解像度画像及び映像を生成する低複雑性アップスケーリング方法。エッジの滑らかさ及び鮮明度が維持され、オーバーシュートアーチファクト及び「エッジ膨脹」の問題が排除される。エッジ滑らかさを得てエッジに沿うジャギー・アーチファクトを除去するために、２直交方向に基づく双方向フィルタリングを用いて高解像度ピクセルを生成する。エッジ方向に近い方向は重み付けが大きく、エッジ方向から遠い方向は重み付けが軽い。各方向の重みは、方向ベクトル差測定方法により判断される。オーバーシュートアーチファクトを解除して肉厚エッジの問題を解決するために、両側補間法を実行する。両側補間法を用いて補間結果を優勢な移行が望ましい位置に向けて押し、それによってオーバーシュートアーチファクトが除去される。ぼけて肉厚ではなく薄くて鮮明なエッジが得られる。
【選択図】図１

Description

本発明は、画像／映像処理の分野に関する。より具体的には、本発明は、アップスケーリングにより画像／映像処理を強化することに関する。

アップスケーリング又は解像度強化は、画像及び映像処理の基本的に重要な技術である。アップスケーリングを用いて、取得した解像度が低い画像又は映像からより高い解像度の画像又は映像を生成することができる。従来から、高品質静止画像を生成する方法が着目されていた。その用途は、医学画像、デジタル画像及びその他におけるものであった。オンライン映像娯楽の出現及び大画面テレビジョンを使用する家庭の着実な増加と共に、複雑性の少ない映像のアップスケーリングの重要性が高まっている。例えば、テレビジョンにＤＶＤコンテンツから高解像度的な効果を生成させる技術は、非常に望ましいものである。

アップスケーリングは、多くの画像処理用途の基本であるので、長年にわたって研究されている。多くの非線形方法が提案されている。提案の一部は、選択された用途に関して印象的な結果を示すが、複雑であること及び一部の非現実的な仮定のために、それらは、市販ビデオ製品に採用されていない。それに反して、ピクセル重複、双１次補間、及び双３次補間のような複雑性の低い線形方法は、複雑性及び映像の統計的変化に対するロバスト性の利点のために、一部の変更を伴って使用されている。しかし、これらは、一部の固有の欠点を有する。例えば、ピクセル重複は、ブロックアーチファクトを発生させ、双１次補間は、細部をぼかし、双３次方法では、エッジを横切るオーバーシュートの問題及びエッジに沿ったジャギー・アーチファクトが発生する。

高品質の高解像度画像及び映像を生成する低複雑性アップスケーリング方法を本明細書で説明する。自然なエッジの滑らかさ及び鮮明度が維持され、一方、オーバーシュートアーチファクト及び「エッジ膨脹」の問題が排除される。エッジ滑らかさを得ると共にエッジに沿ってジャギー・アーチファクトを除去するために、２つの直交方向に基づく双方向フィルタリングを用いて高解像度ピクセルを生成する。エッジ方向に近い方向は重み付けが大きく、エッジ方向から離れた方向は重み付けが軽い。各方向の重みは、開発された方向ベクトル差測定方法により判断される。オーバーシュートアーチファクトを解除すると共に肉厚エッジの問題を解決するために、両側補間法を実行する。両側補間法を用いて、補間結果を優勢な移行が望ましい位置に向けて押し、それによってオーバーシュートアーチファクトが除去される。ぼけた肉厚なエッジではなく、薄くて鮮明なエッジが得られる。

一態様では、コンピュータ装置上でデジタルコンテンツの品質を改善する方法は、デジタルコンテンツに方向性解析を行う段階と、斜め高解像度ピクセルを生成する段階と、水平高解像度ピクセルを生成する段階と、垂直高解像度ピクセルを生成する段階と、斜め高解像度ピクセル、水平高解像度ピクセル、及び垂直高解像度ピクセルを結合して高解像度デジタルコンテンツを形成する段階とを含む。斜め高解像度ピクセルを生成する段階は、４５°方向及び１３５°の方向に沿って両側適応補間を適用して中間値を取得する段階と、双方向フィルタリングを行って中間値を結合し、２つの斜め方向解析に基づいて最終斜め高解像度ピクセルを生成する段階とを含む。両側適応補間は、２つの片側補間結果を計算する段階と、２つの片側補間結果に重み付けフィルタリングを行って最終補間結果を取得する段階とを含む。両側適応補間は、２つの片側移行優勢レベルを計算する段階と、移行優勢レベルに基づいて２つの片側重みを計算する段階とを更に含む。双方向フィルタリングは、方向ベクトル差を計算する段階と、方向ベクトル差に基づいて方向重みを計算する段階とを更に含む。斜め高解像度ピクセルは、４５°方向及び１３５°方向に沿って隣接低解像度ピクセルから生成される。水平高解像度ピクセルを生成する段階は、水平方向に沿ってマルチタップ補間を適用して中間値を取得する段階と、双方向フィルタリングを行って中間値を結合し、水平方向解析に基づいて最終水平高解像度ピクセルを生成する段階とを含む。双方向フィルタリングは、方向ベクトル差を計算する段階と、方向ベクトル差に基づいて方向重みを計算する段階とを更に含む。方向重みは、方向重みが垂直高解像度ピクセル以前に水平高解像度ピクセルに対して得られる場合、垂直高解像度ピクセルを生成する時に再利用される。水平高解像度ピクセルは、水平方向に沿った隣接低解像度ピクセル及び垂直方向に沿った斜め高解像度ピクセルから生成される。垂直高解像度ピクセルを生成する段階は、垂直方向に沿ってマルチタップ補間を適用して中間値を取得する段階と、双方向フィルタリングを行って中間値を結合し、垂直方向解析に基づいて最終垂直高解像度ピクセルを生成する段階とを含む。双方向フィルタリングは、方向ベクトル差を計算する段階と、方向ベクトル差に基づいて方向重みを計算する段階とを更に含む。方向重みは、方向重みが水平高解像度ピクセル以前に垂直高解像度に対して得られる場合、水平高解像度ピクセルを生成する時に再利用される。垂直高解像度ピクセルは、垂直方向に沿った隣接低解像度ピクセル及び水平方向に沿った斜め高解像度ピクセルから生成される。デジタルコンテンツは、画像及び映像から成る群から選択される。コンピュータ装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／移動電話、スマート電気器具、ゲームコンソール、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込／再生機、テレビジョン、及び家庭用娯楽システムから成る群から選択される。

別の態様では、コンピュータ装置で実施されるデジタルコンテンツの品質を改善するシステムは、デジタルコンテンツに方向性解析を行うように構成された方向性解析モジュールと、診断高解像度ピクセルを生成するように構成され、方向性解析モジュールに作動的に結合された診断モジュールと、水平高解像度ピクセルを生成するように構成され、斜めモジュールに作動的に結合された水平モジュールと、垂直高解像度ピクセルを生成するように構成され、水平モジュールに作動的に結合された垂直モジュールと、斜め高解像度ピクセルを結合するように構成され、垂直モジュールに作動的に結合された結合モジュールとを含み、水平高解像度ピクセル及び垂直高解像度ピクセルは、高解像度デジタルコンテンツを形成する。斜めモジュールは、４５°方向及び１３５°の方向に沿って両側適応補間を適用して中間値を取得し、かつ双方向フィルタリングを行って中間値を結合して２つの斜め方向解析に基づいて最終斜め高解像度ピクセルを生成するように更に構成される。両側適応補間は、２つの片側補間結果を計算する段階と、２つの片側補間結果に重み付けフィルタリングを行って最終補間結果を取得する段階とを含む。両側適応補間は、２つの片側移行優勢レベルを計算する段階と、移行優勢レベルに基づいて２つの片側重みを計算する段階とを更に含む。双方向フィルタリングは、方向ベクトル差を計算する段階と、方向ベクトル差に基づいて方向重みを計算する段階とを更に含む。斜め高解像度ピクセルは、４５°方向及び１３５°方向に沿って隣接低解像度ピクセルから生成される。水平モジュールは、水平方向に沿ってマルチタップ補間を適用して中間値を取得し、双方向フィルタリングを行って中間値を結合して水平方向解析に基づいて最終水平高解像度ピクセルを生成するように更に構成される。双方向フィルタリングを生成する段階は、方向ベクトル差を計算する段階と、方向ベクトル差に基づいて方向重みを計算する段階とを更に含む。方向重みは、方向重みが垂直高解像度ピクセル以前に水平高解像度ピクセルに対して得られる場合、垂直高解像度ピクセルを生成する時に再利用される。水平高解像度ピクセルは、水平方向に沿った隣接低解像度ピクセル及び垂直方向に沿った斜め高解像度ピクセルから生成される。垂直モジュールは、垂直方向に沿ってマルチタップ補間を適用して中間値を取得し、双方向フィルタリングを行って中間値を結合して垂直方向解析に基づいて最終垂直高解像度ピクセルを生成するように更に構成される。双方向フィルタリングを生成する段階は、方向ベクトル差を計算する段階と、方向ベクトル差に基づいて方向重みを計算する段階とを更に含む。方向重みは、方向重みが水平高解像度ピクセル以前に垂直高解像度に対して得られる場合、水平高解像度ピクセルを生成する時に再利用される。垂直高解像度ピクセルは、垂直方向に沿った隣接低解像度ピクセル及び水平方向に沿った斜め高解像度ピクセルから生成される。デジタルコンテンツは、画像及び映像から成る群から選択される。コンピュータ装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／移動電話、スマート電気器具、ゲームコンソール、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込／再生機、テレビジョン、及び家庭用娯楽システムから成る群から選択される。

別の態様では、装置は、デジタルコンテンツに方向性解析を行い、斜め高解像度ピクセルを生成し、水平高解像度ピクセルを生成し、垂直高解像度ピクセルを生成し、かつ斜め高解像度ピクセル、水平高解像度ピクセル、及び垂直高解像度ピクセルを結合して高解像度デジタルコンテンツを形成するように構成されたアプリケーションを記憶するためのメモリと、アプリケーションを処理するように構成され、メモリに結合された処理構成要素とを含む。斜め高解像度ピクセルを結合する段階は、４５°方向及び１３５°の方向に沿って両側適応補間を適用して中間値を取得する段階と、双方向フィルタリングを行って中間値を結合して２つの斜め方向解析に基づいて最終斜め高解像度ピクセルを生成する段階とを含む。両側適応補間は、２つの片側補間結果を計算する段階と、２つの片側補間結果に重み付けフィルタリングを行って最終補間結果を取得する段階とを含む。両側適応補間は、２つの片側移行優勢レベルを計算する段階と、移行優勢レベルに基づいて２つの片側重みを計算する段階とを更に含む。双方向フィルタリングは、方向ベクトル差を計算する段階と、方向ベクトル差に基づいて方向重みを計算する段階とを更に含む。斜め高解像度ピクセルは、４５°方向及び１３５°方向に沿って隣接低解像度ピクセルから生成される。水平高解像度ピクセルを生成する段階は、水平方向に沿ってマルチタップ補間を適用して中間値を取得する段階と、双方向フィルタリングを行って中間値を結合し、水平方向解析に基づいて最終水平高解像度ピクセルを生成する段階とを更に含む。双方向フィルタリングは、方向ベクトル差を計算する段階と、方向ベクトル差に基づいて方向重みを計算する段階とを更に含む。方向重みは、方向重みが垂直高解像度ピクセル以前に水平高解像度ピクセルに対して得られる場合、垂直高解像度ピクセルを生成する時に再利用される。水平高解像度ピクセルは、水平方向に沿った隣接低解像度ピクセル及び垂直方向に沿った斜め高解像度ピクセルから生成される。垂直高解像度ピクセルを生成する段階は、垂直方向に沿ってマルチタップ補間を適用して中間値を取得する段階と、双方向フィルタリングを行って中間値を結合し、垂直方向解析に基づいて最終垂直高解像度ピクセルを生成する段階とを含む。双方向フィルタリングは、方向ベクトル差を計算する段階と、方向ベクトル差に基づいて方向重みを計算する段階とを更に含む。方向重みは、方向重みが水平高解像度ピクセル以前に垂直高解像度に対して得られる場合、水平高解像度ピクセルを生成する時に再利用される。垂直高解像度ピクセルは、垂直方向に沿った隣接低解像度ピクセル及び水平方向に沿った斜め高解像度ピクセルから生成される。デジタルコンテンツは、画像及び映像から成る群から選択される。装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／移動電話、スマート電気器具、ゲームコンソール、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込／再生機、テレビジョン、及び家庭用娯楽システムから成る群から選択される。

アップスケーリングの方法の流れ図である。双方向解析ベースのＨＲピクセル生成を示す図である。６タップ補間を示す図である。従来技術の補間結果を示す図である。両側適応補間結果を示す図である。斜め方向性解析を示す図である。水平位置でのピクセル生成に関する方向性解析を示す図である。垂直位置でのピクセル生成に関する方向性解析を示す図である。アップスケーリング方法を実施するように構成された例示的なコンピュータ装置のブロック図である。

高品質の高解像度画像及び映像を生成する低複雑性アップスケーリング方法を本明細書で説明する。目的を達成するために、自然なエッジ滑らかさ及び鮮明さを維持してオーバーシュートアーチファクト及び「エッジ膨脹」問題を排除することに着目して説明する。エッジ滑らかさを得ると共にエッジに沿ってジャギー・アーチファクトを除去するために、２つの直交方向に基づく双方向フィルタリングを用いて高解像度ピクセルを生成する。エッジ方向に近い方向は重み付けが大きく、エッジ方向から遠い方向は重み付けが軽い。各方向の重みは、開発された方向ベクトル差測定方法により判断される。オーバーシュートアーチファクトを解除すると共に肉厚エッジの問題を解決するために、両側補間法を実行する。両側補間法を用いて、補間結果を優勢な移行が望ましい位置に向けて押す。その結果、オーバーシュートアーチファクトが除去される。ぼけた肉厚なエッジではなく、薄くて鮮明なエッジが得られる。

アップスケーリング方法の全体的な概要を図１に示す。段階１００において、方向性解析は、取得した低解像度（ＬＲ）入力（例えば画像又は映像）に適用される。段階１０２、１０４、及び１０６において、４つの方向に沿ったピクセル強度の変化を解析し、その後に利用する。４つの方向には、水平方向、垂直方向、斜め４５°方向、及び斜め１３５°方向がある。具体的には、４５°方向及び１３５°方向に沿った方向性解析に基づいて、段階１０２において斜め高解像度（ＨＲ）ピクセルを隣の低解像度ピクセルから生成する。次に、段階１０４において、水平ＨＲピクセルを水平隣接低解像度ピクセル及び生成した斜めＨＲピクセルから生成する。段階１０６において、垂直ＨＲピクセルを垂直隣接低解像度ピクセル及び生成した斜めＨＲピクセルから生成する。ＨＲピクセルの全てを生成した後、段階１０８において、結合してＨＲ画像を生成する。

ＨＲピクセルの表記法を図２に示す。図２に、「１」は、全ての斜めＨＲピクセルを示し、「２」は、全ての水平ＨＲピクセルを示し、「３」は、解像度が垂直方向及び水平方向の両方で２により増大した時の全ての垂直ＨＲピクセルを示している。２つの４５°隣接低解像度化ピクセル又は２つの斜め１３５°隣接低解像度化ピクセルの間に位置する全ての高解像度ピクセルは、斜めＨＲピクセルとして示している。２つの水平隣接低解像度化ピクセルの間に位置する全ての高解像度ピクセルは、水平ＨＲピクセルとして示している。他の解像度ピクセルは、垂直ＨＲピクセルとして示している。

斜めＨＲピクセルを生成するために、４５°方向及び１３５°の方向に沿って両側適応補間を適用して２つの中間値を取得する。次に、双方向フィルタリングを用いてこれらの中間値を結合し、２つの斜め方向解析に基づいて最終斜めＨＲピクセルを生成する。水平及び垂直ＨＲピクセルを生成するために、水平方向及び垂直方向に沿ってマルチタップ補間を適用して２つの中間値を取得する。次に、双方向フィルタリングを用いてこれらの中間値を結合し、水平及び垂直方向解析に基づいて最終水平及び垂直ＨＲピクセルを生成する。

両側適応補間
ナイキストの定理に従って、スペクトルがｆに限定されるあらゆる信号は、２ｆを超える速度でサンプリングされる限り、完全に回復することができる。ナイキストの定理に基づく回復処理を模擬するために様々な補間法を開発されている。画像の滑らかな区域においては、変化は多くない。局所的スペクトルはより小さい範囲に限定される。局所的スペクトル限界値の少なくとも２倍の速度でＨＲ画像をサンプリングすることによって低解像度化ピクセルを取得すると仮定することが適切である。この状況下では、従来の補間法作業の殆どは、画像のエッジ区域では良好に機能しており、空間的変化が非常に大きい。低解像度画像を生成するサンプリング速度は、局所的スペクトルの２倍よりも小さい。この状況下では、エイリアシングアーチファクトが生成される。最も一般的なアーチファクトのうちの２つは、オーバーシュートアーチファクト及びエッジ膨脹アーチファクトである。オーバーシュートアーチファクトは、暗いエッジに沿った不自然な明るいライン又は明るいエッジに沿った不自然な暗いラインとして示されている。エッジ膨脹アーチファクトは、薄い鮮明なエッジを膨脹したぼけエッジに移行するように示されている。

上述の問題を解決するために、両側補間法を用いる。この方法の概念を図３に示すような６タップ補間の例を用いて説明する。ＨＲピクセルＹは、３つの左隣接ＬＲピクセルがａ₁、ａ₂、ａ₃であり、３つの右隣接ＬＲピクセルがｂ₁、ｂ₂、ｂ₃である位置で生成される。従来技術による補間法を用いて、以下の式により補間を取得することができる。

上述の式においては、ｗ₁〜ｗ₆は、補間係数であり、Ｐは、ピクセル強度であり、Ｗは、ｗ₁〜ｗ₆の合計である。ＨＲピクセルＹが２つのＬＲピクセルの中央にある場合、補間は対称形であり、ｗ₁＝ｗ₄、ｗ₂＝ｗ₅、ｗ₃＝ｗ₆である。ａ₁は、３つの左隣接ＬＲピクセルの補間結果を表し、ｂ₁は、３つの右隣接ＬＲピクセルの補間結果を表すとする。以下は、その結果である。

この処理を図３に示している。
従来技術の補間結果は、以下のように解釈することができる。

そうする際の最終補間結果を図４に示すが、図４は、明らかにエッジがぼけていることを示している。同様に、従来技術方法を用いてオーバーシュートアーチファクトが生成されることを示すことができる。

これらの問題を解決するために、自然な画像の特性を調査した。これらの問題は、補間結果が優勢な強度移行の望ましい位置に向けて押された場合に解決することができる。片側補間結果と隣接ＬＲピクセル間の強度差を用いて移行優勢レベルを以下のように判断する。差がより大きいほど、優勢レベルは小さい。

より高い優勢レベルによる結果は、より低い優勢レベルによる結果よりも望ましい。従って、高優勢レベルによる結果により多くの重みが与えられる。以下の式を用いて重みを計算する。

次に、以下により最終的な補間結果が得られる。

自然な滑らかさを達成するために、単一ラインエッジには違った処理を行う。以下の５つの条件検査を用いて単一ラインエッジを検出する。

単一ラインエッジ検出結果を用いて、以下の式により両側適応補間を行う。

図３では、ａ₁は、より高い優勢レベルを有し、従って、本明細書に説明される方法で重く重み付けされる。その結果、図５に示すように、鮮明なエッジが得られる。
図５では、６タップ補間を例示的な実施形態として用いて本明細書で説明する方法を説明する。同じ論拠に従うことによって、本発明の精神は、あらゆる補間実施形態に使用することができる。

斜め位置での高解像度ピクセルの生成
斜め高解像度ピクセルは、４５°方向及び１３５°方向に沿って隣接低解像度ピクセルから生成される。斜めの方向性解析に基づいて、異なる重みを対応する方向性補間結果に与える。２つの方向性補間結果の重み付けフィルタリングを適用して斜めＨＲピクセルを生成する。
斜めの方向性解析を図６に示しており、「１」は、斜めＨＲピクセルを示し、その８つの隣接ＬＲピクセルは、方向性解析に用いる。

開発した方法では、方向ベクトル差は、以下の式により計算する。

ベクトル差に基づいて、方向重みは、以下の式により計算する。

２つの直交方向補間結果の重み付けフィルタリングを使用して、以下のように斜めＨＲピクセルを生成する。

上述の式において、Ｐ_dia45°は、４５°方向に沿った両側適応補間結果であり、Ｐ_dia135°は、１３５°方向に沿った両側適応補間結果である。

水平位置での高解像度ピクセルの生成
水平高解像度ピクセルは、水平方向に沿った隣接低解像度ピクセル、及び垂直方向に沿った斜め高解像度ピクセルから生成される。方向性解析に基づいて、異なる重みを対応する方向性補間結果に与える。２つの方向性補間結果の重み付けフィルタリングを適用して、水平ＨＲピクセルを生成する。
方向性解析を図７に示す。「１」は、斜めＨＲピクセルを示し、「２」は、水平ＨＲピクセルを示している。６つの隣接ＬＲピクセルは、方向性解析に用いる。

２つの直交方向補間結果の重み付けフィルタリングを使用して、以下のように水平ＨＲピクセルを生成する。

上述の式において、Ｐ_horは、水平方向に沿った従来の補間結果であり、Ｐ_{dia_ver}は、以下の式によって得られる垂直方向に沿った２タップ補間結果である。

垂直位置での高解像度ピクセルの生成
垂直ＨＲピクセルは、垂直方向に沿った隣接低解像度ピクセル、及び水平方向に沿った斜めＨＲピクセルから生成される。方向性解析に基づいて、異なる重みを対応する方向性補間結果に与える。２つの方向性補間結果の重み付けフィルタリングを適用して垂直ＨＲピクセルを生成する。

方向性解析を図８に示す。「１」は、斜めＨＲピクセルを示し、「３」は、垂直ＨＲピクセルを示している。６つの隣接ＬＲピクセルは、方向性解析に用いる。各ＬＲピクセルは、複数のＨＲピクセルにより共有される。全体的な方向性解析の複雑性は激減する。

以上の説明において、水平重み及び垂直重みは、ＨＲピクセル生成及び水平ＨＲピクセル生成に向けて別々に計算する。垂直ＨＲピクセル及び水平ＨＲピクセルは、同じＬＲピクセルの間近にあるので、方向性は、垂直ＨＲピクセル及び水平ＨＲピクセルに対しては同じことと仮定することが適切である。更に複雑性を低減するために、重み情報を再利用することができる。すなわち、垂直ＨＲピクセルの重みを最初に取得した場合、水平ＨＲピクセル生成に対しても利用する。水平ＨＲピクセルの重みを最初に取得した場合、垂直ＨＲピクセル生成に対しても利用する。

図９は、アップスケーリング方法を実施するように構成された例示的なコンピュータ装置９００のブロック図を示している。コンピュータ装置９００は、画像及び映像のような情報を取得、記憶、計算、伝達、及び／又は表示するのに使用することができる。例えば、コンピュータ装置９００は、画像又は映像を取得し、次に、アップスケーリング方法により、画像／映像の外観を改善する。一般的に、コンピュータ装置９００を実施するのに適するハードウエア構造は、ネットワークインタフェース９０２、メモリ９０４、プロセッサ９０６、Ｉ／Ｏ装置９０８、バス９１０、及び記憶装置９１２を含む。プロセッサの選択は、十分な速度を有する適切なプロセッサが選択される限り大きなものではない。メモリ９０４は、当業技術で公知であるあらゆる従来のコンピュータ記憶装置とすることができる。記憶装置９１２には、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、フラッシュメモリカード、又はあらゆる他の記憶装置を含むことができる。コンピュータ装置９００は、１つ又はそれよりも多くのネットワークインタフェース９０２を含むことができる。ネットワークインタフェースの例には、「イーサネット（登録商標）」又は他のタイプのＬＡＮに接続したネットワークカードがある。Ｉ／Ｏ装置９０８は、以下のもの、すなわち、キーボード、マウス、モニタ、ディスプレイ、プリンタ、モデム、タッチスクリーン、ボタンインタフェース、及び他の装置の１つ又はそれよりも多くを含むことができる。アップスケーリング方法を実施するのに使用されるアップスケーリングアプリケーション９３０は、記憶装置９１２及びメモリ９０４に記憶され、アプリケーションが一般的に処理されるように処理することができる。図９に示す構成要素の数を加減してコンピュータ装置９００に含めることができる。一部の実施形態では、アップスケーリングハードウエア９２０が含まれる。図９のコンピュータ装置９００は、アップスケーリングのためのアプリケーション９３０及びハードウエア９２０を含むが、アップスケーリング方法は、コンピュータ装置上でハードウエア、ファームウエア、ソフトウエア、又はそのあらゆる組合せで実施することができる。

一部の実施形態では、アップスケーリングアプリケーション９３０は、いくつかのアプリケーション及び／又はモジュールを含む。一部の実施形態では、アップスケーリングアプリケーション９３０は、方向性解析モジュール９３２、斜めモジュール９３４、水平モジュール９３６、垂直モジュール９３８、及び結合モジュール９４０を含む。

上述のように、方向性解析モジュール９３２は、各ピクセルの方向を判断する。斜めモジュール９３４は、斜め高解像度ピクセルを生成する。水平モジュール９３６は、水平高解像度ピクセルを生成する。垂直モジュール９３８は、垂直高解像度ピクセルを生成する。結合モジュール９４０は、斜め高解像度ピクセル、水平高解像度ピクセル、及び垂直高解像度ピクセルを結合して高解像度デジタルコンテンツを形成する。

適切なコンピュータ装置の例には、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／移動電話、スマート電気器具、ゲームコンソール、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込／再生機、テレビジョン、及び家庭用娯楽システム、又はあらゆる他の適切なコンピュータ装置がある。

アップスケーリング方法を利用するために、コンピュータ装置は、通常通りに作動するが、映像／画像処理は、画像又はビデオ画質がより高い品質に改善されるという点で改良される。ユーザの観点からのコンピュータ装置の利用は、標準的な作動を用いるものと類似か又は同じである。例えば、ユーザは、今でも単にデジタルビデオカメラの電源を入れて、ビデオカメラを使用して映像を録画する。アップスケーリング方法は、ユーザの干渉なしで映像の品質を自動的に改善することができる。アップスケーリング方法は、画像及び／又は映像処理を必要とする場所ではどこでも用いることもできる。ＤＶＤビデオ画質改善、デジタル画像品質改善、及びデジタルビデオ画質改善を含むがこれらに限定されない多くの用途でアップスケーリングを利用することができる。

作動面では、アップスケーリング実施により、画像／映像処理に関連する多くの改良が可能である。低品質画像／映像のアップスケーリングにより、より良好な画像／映像結果が特にエッジで得られる。本明細書で説明する低複雑性アップスケーリングの実施は、双方向フィルタリング、両側適応補間、ベクトル差を用いた方向性解析、重み生成を用いた方向性解析、及び情報の再利用を用いて高解像度ピクセルを生成する段階を含む。この実施はまた、斜めＨＲピクセル生成、水平ＨＲピクセル生成、及び垂直ＨＲピクセル生成も含む。更に、両側適応補間は、２つの片側補間結果を計算して移行優勢レベルを判断し、２つの片側補間結果の重みを判断する段階を含む。両側適応補間では、移行優勢レベルを用いて２つの片側補間結果の重みを判断する。両側適応補間は、最終補間結果を取得するための２つの片側補間結果の重み付けフィルタリングも含む。両側適応補間は、単一ラインエッジ検出を含む。ベクトル差ベースの方向性解析は、斜めＨＲピクセルに対して斜め方向差を計算する段階を含む。ベクトル差ベースの方向性解析は、水平ＨＲピクセルに対して水平方向差及び垂直方向差を計算する段階も含む。ベクトル差ベースの方向性解析は、垂直ＨＲピクセルに対して水平方向差及び垂直方向差を計算する段階も含む。方向性解析ベースの重み生成は、斜めＨＲピクセル生成に対して重みを計算する段階を含む。方向性ベースの重み生成は、水平ＨＲピクセル生成及び垂直ＨＲピクセル生成に対しても重みを計算する段階を含む。すなわち、アップスケーリングの特定の実施例は、複雑性を低く維持しながらエイリアシングアーチファクトを回避することにより従来技術を凌ぐ改善された実施例である。

本発明は、本発明の構造及び作動の原理の理解を深めるように細部を組み込んだ特定的な実施形態に関して説明した。特定的な実施形態及びその詳細への本明細書のこのような言及は、本明細書に添付された特許請求の範囲を限定することを意図したものではない。特許請求の範囲によって定められるような本発明の精神及び範囲から逸脱することなく、例示のために選択した実施形態に他の様々な修正を行うことができることは当業者に容易に明らかであろう。

１００低解像度入力に方向性解析を適用する段階
１０２斜め高解像度ピクセルを隣の低解像度ピクセルから生成する段階
１０８結合してＨＲ画像を生成する段階

Claims

コンピュータ装置上でデジタルコンテンツの品質を改善する方法であって、
ａ．デジタルコンテンツに対して方向性解析を実行する段階、
ｂ．斜め高解像度ピクセルを生成する段階、
ｃ．水平高解像度ピクセルを生成する段階、
ｄ．垂直高解像度ピクセルを生成する段階、及び
ｅ．前記斜め高解像度ピクセル、前記水平高解像度ピクセル、及び前記垂直高解像度ピクセルを結合して、高解像度デジタルコンテンツを形成する段階、
を含むことを特徴とする方法。
前記斜め高解像度ピクセルを結合する段階は、
ａ．４５°方向及び１３５°の方向に沿って両側適応補間を適用し、中間値を取得する段階、及び
ｂ．双方向フィルタリングを行って前記中間値を結合し、２つの斜め方向解析に基づいて最終斜め高解像度ピクセルを生成する段階、
を含む、
ことを特徴とする請求項１に記載の方法。
前記両側適応補間は、
ａ．２つの片側補間結果を計算する段階、及び
ｂ．前記２つの片側補間結果に重み付けフィルタリングを行い、最終補間結果を取得する段階、
を含む、
ことを特徴とする請求項２に記載の方法。
前記両側適応補間は、
ａ．２つの片側移行優勢レベルを計算する段階、及び
ｂ．前記移行優勢レベルに基づいて２つの片側重みを計算する段階、
を更に含む、
ことを特徴とする請求項３に記載の方法。
双方向フィルタリングを行う段階は、
ａ．方向ベクトル差を計算する段階、及び
ｂ．前記方向ベクトル差に基づいて方向重みを計算する段階、
を更に含む、
ことを特徴とする請求項２に記載の方法。
前記斜め高解像度ピクセルは、４５°方向及び１３５°方向に沿って隣接する低解像度ピクセルから生成されることを特徴とする請求項１に記載の方法。
前記水平高解像度ピクセルを生成する段階は、
ａ．水平方向に沿ってマルチタップ補間を適用して中間値を取得する段階、及び
ｂ．双方向フィルタリングを行って前記中間値を結合し、水平方向解析に基づいて最終水平高解像度ピクセルを生成する段階、
を含む、
ことを特徴とする請求項１に記載の方法。
双方向フィルタリングを行う段階は、
ａ．方向ベクトル差を計算する段階、及び
ｂ．前記方向ベクトル差に基づいて方向重みを計算する段階、
を更に含む、
ことを特徴とする請求項７に記載の方法。
前記方向重みは、該方向重みが前記垂直高解像度ピクセル以前に前記水平高解像度ピクセルに対して得られる場合には、該垂直高解像度ピクセルを生成する時に再利用されることを特徴とする請求項８に記載の方法。
前記水平高解像度ピクセルは、水平方向に沿った隣接低解像度ピクセル、及び垂直方向に沿った前記斜め高解像度ピクセルから生成されることを特徴とする請求項１に記載の方法。
前記垂直高解像度ピクセルを生成する段階は、
ａ．垂直方向に沿ってマルチタップ補間を適用して中間値を取得する段階、及び
ｂ．双方向フィルタリングを行って前記中間値を結合し、垂直方向解析に基づいて最終垂直高解像度ピクセルを生成する段階、
を含む、
ことを特徴とする請求項１に記載の方法。
双方向フィルタリングを行う段階は、
ａ．方向ベクトル差を計算する段階、及び
ｂ．前記方向ベクトル差に基づいて方向重みを計算する段階、
を更に含む、
ことを特徴とする請求項１１に記載の方法。
前記方向重みは、該方向重みが前記水平高解像度ピクセル以前に前記垂直高解像度ピクセルに対して得られる場合には、該水平高解像度ピクセルを生成する時に再利用されることを特徴とする請求項１２に記載の方法。
前記垂直高解像度ピクセルは、垂直方向に沿った隣接低解像度ピクセル、及び水平方向に沿った前記斜め高解像度ピクセルから生成されることを特徴とする請求項１に記載の方法。
前記デジタルコンテンツは、画像及び映像から成る群から選択されることを特徴とする請求項１に記載の方法。
前記コンピュータ装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／移動電話、スマート電気器具、ゲームコンソール、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込／再生機、テレビジョン、及び家庭用娯楽システムから成る群から選択されることを特徴とする請求項１に記載の方法。
コンピュータ装置を用いて実施されるデジタルコンテンツの品質を改善するためのシステムであって、
ａ．デジタルコンテンツに対して方向性解析を実行するように構成された方向性解析モジュール、
ｂ．前記方向性解析モジュールに作動的に結合され、斜め高解像度ピクセルを生成するように構成された斜めモジュール、
ｃ．前記斜めモジュールに作動的に結合され、水平高解像度ピクセルを生成するように構成された水平モジュール、
ｄ．前記水平モジュールに作動的に結合され、垂直高解像度ピクセルを生成するように構成された垂直モジュール、及び
ｅ．前記垂直モジュールに作動的に結合され、前記斜め高解像度ピクセル、前記水平高解像度ピクセル、及び前記垂直高解像度ピクセルを結合して高解像度デジタルコンテンツを形成するように構成された結合モジュール、
を含むことを特徴とするシステム。
前記斜めモジュールは、
ａ．４５°方向及び１３５°の方向に沿って両側適応補間を適用して中間値を取得し、ｂ．双方向フィルタリングを行って前記中間値を結合し、２つの斜め方向解析に基づいて最終斜め高解像度ピクセルを生成する、
ように更に構成される、
ことを特徴とする請求項１７に記載のシステム。
前記両側適応補間は、
ａ．２つの片側補間結果を計算する段階、及び
ｂ．前記２つの片側補間結果に重み付けフィルタリングを行い、最終補間結果を取得する段階、
を含む、
ことを特徴とする請求項１８に記載のシステム。
前記両側適応補間は、
ａ．２つの片側移行優勢レベルを計算する段階、及び
ｂ．前記移行優勢レベルに基づいて２つの片側重みを計算する段階、
を更に含む、
ことを特徴とする請求項１９に記載のシステム。
双方向フィルタリングを行う段階は、
ａ．方向ベクトル差を計算する段階、及び
ｂ．前記方向ベクトル差に基づいて方向重みを計算する段階、
を更に含む、
ことを特徴とする請求項１８に記載のシステム。
前記斜め高解像度ピクセルは、４５°方向及び１３５°方向に沿って隣接する低解像度ピクセルから生成されることを特徴とする請求項１７に記載のシステム。
前記水平モジュールは、
ａ．水平方向に沿ってマルチタップ補間を適用して中間値を取得し、
ｂ．双方向フィルタリングを行って前記中間値を結合し、水平方向解析に基づいて最終水平高解像度ピクセルを生成する、
ように更に構成される、
ことを特徴とする請求項１７に記載のシステム。
前記双方向フィルタリングを発生させる段階が、
ａ．方向ベクトル差を計算する段階、及び
ｂ．前記方向ベクトル差に基づいて方向重みを計算する段階、
を更に含む、
ことを特徴とする請求項２３に記載のシステム。
前記方向重みは、該方向重みが前記垂直高解像度ピクセル以前に前記水平高解像度ピクセルに対して得られる場合には、該垂直高解像度ピクセルを生成する時に再利用されることを特徴とする請求項２４に記載のシステム。
前記水平高解像度ピクセルは、水平方向に沿った隣接低解像度ピクセル、及び垂直方向に沿った前記斜め高解像度ピクセルから生成されることを特徴とする請求項１７に記載のシステム。
前記垂直モジュールは、
ａ．垂直方向に沿ってマルチタップ補間を適用して中間値を取得し、
ｂ．双方向フィルタリングを行って前記中間値を結合し、垂直方向解析に基づいて最終垂直高解像度ピクセルを生成する、
ように更に構成される、
ことを特徴とする請求項１７に記載のシステム。
前記双方向フィルタリングを発生させる段階が、
ａ．方向ベクトル差を計算する段階、及び
ｂ．前記方向ベクトル差に基づいて方向重みを計算する段階、
を更に含む、
ことを特徴とする請求項２７に記載のシステム。
前記方向重みは、該方向重みが前記水平高解像度ピクセル以前に前記垂直高解像度ピクセルに対して得られる場合には、該水平高解像度ピクセルを生成する時に再利用されることを特徴とする請求項２８に記載のシステム。
前記垂直高解像度ピクセルは、垂直方向に沿った隣接低解像度ピクセル、及び水平方向に沿った前記斜め高解像度ピクセルから生成されることを特徴とする請求項１７に記載のシステム。
前記デジタルコンテンツは、画像及び映像から成る群から選択されることを特徴とする請求項１７に記載のシステム。
前記コンピュータ装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／移動電話、スマート電気器具、ゲームコンソール、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込／再生機、テレビジョン、及び家庭用娯楽システムから成る群から選択されることを特徴とする請求項１７に記載のシステム。
ａ．
ｉ．デジタルコンテンツに対して方向性解析を実行し、
ｉｉ．斜め高解像度ピクセルを生成し、
ｉｉｉ．水平高解像度ピクセルを生成し、
ｉｖ．垂直高解像度ピクセルを生成し、
ｖ．前記斜め高解像度ピクセル、前記水平高解像度ピクセル、及び前記垂直高解像度ピクセルを結合して高解像度デジタルコンテンツを形成する、
ように構成されたアプリケーションを記憶するためのメモリ、及び
ｂ．前記メモリに結合され、前記アプリケーションを処理するように構成された処理構成要素、
を含むことを特徴とする装置。
前記斜め高解像度ピクセルを結合する段階は、
ａ．４５°方向及び１３５°の方向に沿って両側適応補間を適用し、中間値を取得する段階、及び
ｂ．双方向フィルタリングを行って前記中間値を結合し、２つの斜め方向解析に基づいて最終斜め高解像度ピクセルを生成する段階、
を含む、
ことを特徴とする請求項３３に記載の装置。
前記両側適応補間は、
ａ．２つの片側補間結果を計算する段階、及び
ｂ．前記２つの片側補間結果に重み付けフィルタリングを行い、最終補間結果を取得する段階、
を含む、
ことを特徴とする請求項３４に記載の装置。
前記両側適応補間は、
ａ．２つの片側移行優勢レベルを計算する段階、及び
ｂ．前記移行優勢レベルに基づいて２つの片側重みを計算する段階、
を更に含む、
ことを特徴とする請求項３５に記載の装置。
双方向フィルタリングを行う段階は、
ａ．方向ベクトル差を計算する段階、及び
ｂ．前記方向ベクトル差に基づいて方向重みを計算する段階、
を更に含む、
ことを特徴とする請求項３４に記載の装置。
前記斜め高解像度ピクセルは、４５°方向及び１３５°方向に沿って隣接する低解像度ピクセルから生成されることを特徴とする請求項３３に記載の装置。
前記水平高解像度ピクセルを生成する段階は、
ａ．水平方向に沿ってマルチタップ補間を適用して中間値を取得する段階、及び
ｂ．双方向フィルタリングを行って前記中間値を結合し、水平方向解析に基づいて最終水平高解像度ピクセルを生成する段階、
を含む、
ことを特徴とする請求項３３に記載の装置。
双方向フィルタリングを行う段階は、
ａ．方向ベクトル差を計算する段階、及び
ｂ．前記方向ベクトル差に基づいて方向重みを計算する段階、
を更に含む、
ことを特徴とする請求項３９に記載の装置。
前記方向重みは、該方向重みが前記垂直高解像度ピクセル以前に前記水平高解像度ピクセルに対して得られる場合には、該垂直高解像度ピクセルを生成する時に再利用されることを特徴とする請求項４０に記載の装置。
前記水平高解像度ピクセルは、水平方向に沿った隣接低解像度ピクセル、及び垂直方向に沿った前記斜め高解像度ピクセルから生成されることを特徴とする請求項３３に記載の装置。
前記垂直高解像度ピクセルを生成する段階は、
ａ．垂直方向に沿ってマルチタップ補間を適用して中間値を取得する段階、及び
ｂ．双方向フィルタリングを行って前記中間値を結合し、垂直方向解析に基づいて最終垂直高解像度ピクセルを生成する段階、
を含む、
ことを特徴とする請求項３３に記載の装置。
双方向フィルタリングを行う段階は、
ａ．方向ベクトル差を計算する段階、及び
ｂ．前記方向ベクトル差に基づいて方向重みを計算する段階、
を更に含む、
ことを特徴とする請求項４３に記載の装置。
前記方向重みは、該方向重みが前記水平高解像度ピクセル以前に前記垂直高解像度ピクセルに対して得られる場合には、該水平高解像度ピクセルを生成する時に再利用されることを特徴とする請求項４４に記載の装置。
前記垂直高解像度ピクセルは、垂直方向に沿った隣接低解像度ピクセル、及び水平方向に沿った前記斜め高解像度ピクセルから生成されることを特徴とする請求項３３に記載の装置。
前記デジタルコンテンツは、画像及び映像から成る群から選択されることを特徴とする請求項３３に記載の装置。
パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／移動電話、スマート電気器具、ゲームコンソール、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込／再生機、テレビジョン、及び家庭用娯楽システムから成る群から選択されることを特徴とする請求項３３に記載の装置。