JP2009503929A - アダプティブ・ピーキングによる動画像列の鮮鋭度の向上 - Google Patents

Abstract

動画像データを選択的に鮮鋭化する方法は、動画像データの少なくとも幾らかのピクセルに対して、画像のピクセル値に対して鮮鋭値を生成することを含む。増幅値を生成する目的から鮮鋭値は非線形法により増幅されてよい。その後ピクセル値と増幅値とは結合されてもよい。
【選択図】図５

Description

請求されている発明の実施例は一般的に動画像情報を向上する仕組みに関していてよく、より詳しくは、動画像情報の鮮鋭度を変更するような仕組みに関していてよい。

動画像情報は、別個の時間および／または場所における表示目的から、媒体を介して、時間的におよび／または空間的に送信されてよい。幾らかの場合には媒体は、搬送波（例えば、地上波の、および／または、ケーブル搬送の）あるいはプロトコルに基づくデータネットワークなどの送信媒体であってよい。幾らかの場合には媒体は、その表示前に動画像情報を保存してよい記憶媒体（例えば、テープ、ハードディスク、デジタルビデオディスク（ＤＶＤ）等）であってよい。典型的に、動画像データは、送信前に幾らもの形式のうちの一つにエンコードされてよい。幾らかのエンコード形式には、それらに限られはしないが、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、アドバンスト・ビデオ・コーディング（ＡＶＣ）（例えば、ＭＰＥＧ−４、パート１０およびＩＴＵ−Ｔ推薦Ｈ．２６４）、ウィンドウズ・メディア・ビデオ９（ＷＭＶ−９）、および／またはＳＭＰＴＥのＶＣ−１が含まれてよい。

このような動画像情報のエンコードは（例えば、量子化などにより）、原動画像情報内のより高い周波数コンテンツを削除することもある。デコードされた情報は表示されると平坦に見える、および／または若干曖昧に見えることがある。この現象はエンコードされた動画像データに特有のものではない場合もあり、例えば送信路の障害のせいで送信されたアナログ動画像にも存在する場合もある。故に、受信された、および／またはデコードされた動画像データの鮮鋭度を向上させて、認識される画質を高めることが望ましいと思われる。

動画像を鮮鋭にする構想をさらに導入すべく、図１Ａおよび図１Ｂを参照して一次元の例を説明する。動画像列の画像は、例えば、水平方向および垂直方向両方においてサンプルされた鮮度信号および彩度信号（例えば、Ｙ、Ｕ、およびＶ）を含んでよい。画像がある領域で大体均一である場合、サンプル値は略同一であると思われる。しかしエッジ（例えば、水平エッジ）が画像に存在する場合には、水平方向のサンプル値は唐突な値変化を経ることがある。図１Ａは、幾らかのピクセルにわたり若干唐突に変化している鮮度値の一次元プロット１１０を示す。

動画像信号を鮮鋭にするには、プロット１１０の二次導関数（例えば、ｄ^２Ｙ／ｄｘ^２）をそれ自身に加えることで、信号（例えば、Ｙ、Ｕ、あるいはＶ）内にオーバーシュート／アンダーシュートを生成してよい。図１Ｂは、アンダーシュート１３０およびオーバーシュート１４０を加えることで、とても鮮鋭になったプロット１２０を示す。オーバーシュート１４０／アンダーシュート１３０を加えることで、認識される、より高い周波数成分が引き上げられることがある。プロット１２０はプロット１１０より急峻なエッジを持ってよく、その遷移は、非鮮鋭プロット１１０のものよりも視覚的に鋭く視えることがある。

しかし、動画像情報の鮮鋭度を増加させる仕組みの中には、動画像情報内のノイズを許容できないレベルにまで増加させるものもある。

添付される図面は、本明細書の一部として組み込まれ、本明細書の一部を構成するが、本発明の原理に則った一以上の実施例を示しており、記載とともにそのような実施例を説明している。図面は必ずしも実寸大でない場合があり、本発明の原理を例示することを重視している。図面は以下の通りである。

動画像信号の鮮鋭化を概念的に示す。

動画像表示システムの一部を示す。

図２のシステムの鮮鋭化モジュールの一例を示す。

畳み込みカーネルの一例を概念的に示す。

図３の鮮鋭化モジュールの増幅器の利得特性の一例を示す。

図３の鮮鋭化モジュールの増幅器の利得特性の他の例を示す。

動画像データの鮮鋭度を選択的に変更するプロセスの一例を示す。

以下の詳細な記載は添付図面を参照している。異なる図面で、同じあるいは類似した部材を識別する同じ参照番号が利用されることがある。以下の記載においては、説明の目的上（限定する目的からではなく）、請求する発明の様々な側面の完全な理解を促す目的から、特定の構造、アーキテクチャ、インタフェース、技術などの特定の詳細を述べる。しかし、本開示の恩恵を被る、当業者には、請求されている発明の様々な側面が、これら特定の詳細から逸脱するほかの例において実施されることもあることが理解されるであろう。ある例においては、公知のデバイス、回路、および方法の記載は省いて、本発明の記載を不要な詳細で曖昧にしないようにしている。

図２は動画像表示システム２００の一部を示す。システム２００は動画像情報を、様々な送信媒体および／または記憶媒体を含むがそれらに限られない、任意の適切な媒体から受信してよい。説明を簡易にする目的から別個の機能部材として示されているが、システム２００の任意あるいは全ての部材は、共存してもよいし、および／またはゲートおよび／またはトランジスタの一共通群により実装されてもよい。さらには、システム２００はソフトウウェア、ファームウェア、ハードウェア、あるいはそれらの任意の適切な組み合わせにより実装されてもよい。

図２に示す表示システム２００の部分はデコーダ２１０、鮮鋭化モジュール２２０、一以上の信号調節器２３０、および表示バッファ２４０を含むことができる。デコーダ２１０は、幾らかの実施例においては、エンコードされた動画像データをデコードして、さらなる処理を施すべく動画像データストリームを生成してもよい。デコーダ２１０は、それらに限られはしないが、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、アドバンスト・ビデオ・コーディング（ＡＶＣ）（例えば、ＭＰＥＧ−４、パート１０およびＩＴＵ−Ｔ推薦Ｈ．２６４）、ウィンドウズ・メディア・ビデオ９（ＷＭＶ−９）、および／またはＳＭＰＴＥのＶＣ−１を含んでよい幾らかの仕組みにエンコードされたデータをデコードしてよい。

幾らかの実施例においては、デコーダ２１０は、例えば受信したアナログ動画像のための復調器を含んでもよい。このような復調器は、受信された復調された信号から動画像ストリームを抽出することで、デジタルデコーダに類似した機能を行ってよい。その他の実施例においては、デコーダ２１０は、鮮鋭化モジュールが利用可能な動画像ピクセルストリームを抽出するのに望ましい、任意のその他のこのような回路、機能を含むことができる。

鮮鋭化モジュール２２０はデコーダ２２０からの動画像ストリームを選択的に鮮鋭化する働きをしてよい。幾らかの実施例においては、鮮鋭化モジュール２２０は該動画像ストリームの一画像中の幾らかの部分を、それらの振幅および／またはそれらに近接するピクセルに基づき、違うように鮮鋭化してもよい。

図３は鮮鋭化モジュール２２０の実施例を示す。鮮鋭化モジュール２２０はコンボルバ３１０、増幅器３２０、および結合器３３０を含むことができる。例示をしやすくする目的からある方法で連結されるとして示されるが、図３の鮮鋭化モジュール２２０は他の構成で連結されてもよい。例えば、幾らかの実施例においては、結合器３３０は、図示されているように増幅器３２０の後ではなくて、増幅器３２０の前に配置されてもよい。他の変形例も同様に可能であり、考えられよう。

コンボルバ３１０は、動画像データのピクセル（例えば、Ｙ、Ｕ、および／またはＶ）を、該ピクセルに内容を加えることにより、鮮鋭化するよう配置されてよい。コンボルバ３１０は、二次元（２Ｄ）ラプラスカーネルを、対象ピクセルを囲繞する幾らかのピクセルで畳み込み、微分値を得てよい。このような微分値、コンボルバ３１０の出力は、鮮鋭値として称されることもある。

例えば、幾らかの実施例においてコンボルバ３１０は、図４に示すラプラスの畳み込みカーネル４１０のような５ｘ５のカーネルを利用することがある。コンボルバ３１０は、カーネル４１０を、例えば対象ピクセルを含む５ｘ５の鮮度データで畳み込み、鮮度信号の２Ｄ導関数を得てよい。コンボルバ３１０の出力は、例えば５ｘ５カーネルで５ｘ５鮮度（あるいは彩度）データを畳み込んだ結果得られる７ｘ７列であってよい。コンボルバ３１０が出力する鮮鋭値は、このように生じる、対象ピクセルに対応する列の中心値であってよい。

この特定の例とは異なる変形例を考える。例えば、異なる大きさのカーネルをコンボルバ３１０により利用することができる。幾らかの実施例においては、同じあるいは異なるカーネルを、鮮度（例えばＹ）、および彩度（例えばＵおよび／またはＶ）動画像データに利用してもよい。幾らかの実施例においては、鮮度データのみを畳み込み、彩度データは変更しないで通してもよい。

増幅器３２０は、コンボルバ３１０からの鮮鋭値を選択的に増加させて増幅値を生成するよう配置されてよい。幾らかの実施例において増幅器３２０は、入力に依存する非線形の利得曲線を鮮鋭値に適応して、増幅値を生成してよい。例えば、幾らかの実施例においては、増幅器３２０は、コンボルバ３１０に入力されるピクセル値の動的範囲全体の約５％（あるいは他の比較的小さい閾値）を超えない鮮鋭値に対しては利得を供給（および／または適用）しなくてもよい。増幅器３２０のこのような選択的増幅は、ある信号レベル未満のノイズの増幅を妨げてもよい（例えば、結合器３３０が出力する最終的な鮮鋭ピクセル値中の「コアリング」を妨げてもよい）。また同様に、幾らかの実施例においては、増幅器３２０は、ある閾値を超える鮮鋭値に対しては利得を供給および／または適用しなくてもよい。このようにして、増幅器３２０は結合器３３０が出力する最終的な鮮鋭ピクセル値中のクリッピングも妨げてもよい。

図５は増幅器３２０の利得特性５００の一例を示す。幾らかの実施例においては、破線が示すように、望ましいあるいは好ましい利得特性５１０が存在することがある。図５の実施例において利得特性５００は、望ましい特性５１０の折れ線近似（piecewise linear approximation）であってよい。しかし、望ましい特性５１０の曲線近似などの（例えば二次、三次関数）、他の実施例も可能であり考えられる。幾らかの実施例においては、望ましい特性５１０がルックアップテーブルなどにより正確に実施されてよい。

利得特性５００は増幅器３２０の利得（あるいは利得倍率）対、入力信号（例えば、ルミナンスおよび／またはクロミナンスであってよい、コンボルバ３１０からの鮮鋭値）をしめす。利得特性５００はコアリング点５２０まで略ゼロであってよく、一般的にコアリング点５２０から中間点５３０の間で増加してよく、一般的に中間点５２０とクリッピング点５４０の間で減少してよく、クリッピング点５４０を越えると略ゼロであってよい。特性５００の最大値５５０は入力値が中間点５３０にあるときに生じてよい。

幾らかの実施例においては（例えば、最大目盛が２５５で、８ビットに対応する場合）、コアリング点５２０は約４０であってよく、中間点５３０は約５０であってよい。幾らかの実施例においては、クリッピング点５４０は、結合器３３０が出力する最終的な鮮鋭ピクセル値のクリッピングを避けるのに適切な値であってよい。幾らかの実施例においては、最大値５５０は、最大目盛の略半分である１２５に設定されてよい。しかしその他の値も可能である。利得特性５００のゼロではない部分が、中間点５３０に対して対称である必要はないことに注意されたい。

図６は、利得特性５００の代わりに、増幅器３２０の他の利得特性６１０および／または６２０の例を示す。図６から分かるだろうように、利得特性６１０は、特性５００より低い入力値において最大値に到達するが、利得特性６２０は特性５００より高い入力値において最大値に到達する。さらに、特性６１０、６２０は、望ましい特性５１０の頂点においてそれぞれの最大値に到達せず、頂点の一方あるいは片方において最大値に到達していてよい。幾らかの実施例においては、特性６１０が特性５００よりも好ましいことがある、というのは、より低い鮮度／彩度値において鮮鋭化することによる、知覚できる影響は、より高い値において同等の鮮鋭化をした場合よりも大きいことがあるからである。

増幅器３２０（および図５、６の関連する利得特性）はコンボルバ３１０が出力する鮮鋭値に基づき操作するとして記載されたが、幾らかの実施例において増幅器３２０は、コンボルバ３１０に入力される動画像データ（鮮鋭前の値）に基づき操作してよい。幾らかの実施例においては、増幅器３２０はコンボルバ３１０が出力する、鮮鋭化前のピクセルデータおよび鮮鋭値の組み合わせに基づき操作してもよい。どのデータに基づき操作するかに関わらず増幅器３２０は、結合器３３０が出力する鮮鋭ピクセル値のコアリングおよび／またはクリッピングを妨げる働きをしてよい。

結合器３３０は、増幅器３２０からの増幅値をコンボルバ３１０に入力されたピクセル値と結合して、鮮鋭ピクセル値を出力してよい。幾らかの実施例においては、結合器３３０は増幅器３２０からの増幅値を、対応する非鮮鋭ピクセル値に加算する加算器を含んでよい。幾らかの実施例においては、結合器３３０は他の論理を含み、必要に応じて増幅値を対応するピクセル値に、算術的（減算器、乗算器など）および／または論理的（ＡＮＤ、ＸＯＲなど）に結合してよい。

図２に戻ると、鮮鋭化モジュール２２０は、向上したピクセル値を、さらにピクセル調節を行う一以上の調節器２３０へ出力してよい。調節器（一または複数）２３０は、例えば、デインターレース、ノイズ低減、スケーリング、および／またはその他の信号調節機能のうちの一以上を含んでよい。
調節器２３０は専用ハードウェア、ファームウェア、ソフトウェア、あるいはこれらの組み合わせにより実施されて、鮮鋭化モジュール２２０が行う鮮鋭化の後で、一以上の信号調節機能を行ってよい。

表示バッファ２４０は調節器２３０から動画像データを受け取り、表示デバイス（不図示）へ出力される前に、そのようなデータの少なくともいくらかを一時的に記憶してよい。バッファリング（例えば、記憶）機能に加えて、表示バッファ２４０は、出力信号をタイミング信号あるいは同期信号に同期させて表示を手助けするなどの、他の表示関連タスクを行ってもよい。表示バッファ２４０にはさらに、表示バッファに典型的に見られる他の機能があってもよい。

図７は動画像データの鮮鋭度を選択的に変更するプロセス７００の一例を示す。図７は、説明を簡易化・明瞭化する目的上、図２、３の鮮鋭化モジュール２２０についての記載となっているかもしれないが、プロセス７００は他のハードウェアおよび／またはソフトウェア実施により行われてもよい。

処理では、先ず鮮鋭値が生成される（アクト７１０）。鮮鋭値は、前述のように、コンボルバ３１０により生成されてよい。

処理では、次に、鮮鋭値（あるいは増幅器の入力信号が何であれ）がコアリング領域に存在する場合（アクト７２０）、あるいはクリッピング領域に存在する場合（アクト７４０）、増幅器３２０がゼロを出力する（アクト７３０）。図５を参照すると、コアリング点５２０未満の入力値はコアリング領域にあってよく、クリッピング点５４０を越える入力値はクリッピング領域にあってよい。

増幅器３２０は、その入力値がコアリング領域およびクリッピング領域の間に存在する場合、利得特性に従い非ゼロの増幅値を出力してよい（アクト７５０）。幾らかの実施例においては、増幅値を生成するのに利用される利得特性は特性５００を含んでよい。幾らかの実施例においては、利用される利得特性は異なっていてもよい（例えば、折れ線形（piecewise linear）でなくてもよい）が、さらに一般的には、中間点まで増加して（例えば点５３０）、その後、中間点を越えると減少してもよい。中間点は、利用される利得特性のクリッピング点およびコアリング点に対して対称に配置される必要はないことに注意されたい。

結合器３３０は、増幅器３２０が出力する増幅値を、コンボルバに入力される原ピクセル値と結合して、鮮鋭ピクセル値を生成してもよい（アクト７６０）。増幅器３２０への入力に依存して、この増幅値はゼロであってもよく（アクト７３０）、非ゼロであってもよい（アクト７４０）。故に、「鮮鋭ピクセル値」と称されていても必ずしも全てが鮮鋭化されたピクセル値のことを示すわけではない、というのも増幅値がゼロの場合もあるからである。そうではなくて、結合器３３０が出力する鮮鋭ピクセル値は、増幅器３２０がコンボルバ３１０からの鮮鋭値に対して行う操作により、選択的におよび／または異なるように鮮鋭化されていてよい。

上述の一以上の実施例の記載は、例示および記載を提供しており、全てを網羅することを意図しておらず、本発明の範囲を開示した形態そのものに限定しようと意図しているものでもない。様々な変形例および変更例が、上述の教示に照らして可能であり、本発明の様々な実施例の実践により得られよう。

例えば、ここに記載した仕組みはピクセル毎に行うこともでき、あるいは一画像内のピクセル集合あるいはピクセル群について行うこともできる。

さらに、図７のアクトは示された順序で実施される必要はなく、必ずしも全てのアクトが実行される必要もない。さらに、他のアクトに依存していないアクトについては、他のアクトと並列に行うこともできる。さらには、図面中のアクトのうち少なくとも幾つかは、機械読み取り可能な媒体に実施される命令、あるいは命令群として実施することもできる。

本願の記載で使用された部材、アクト、命令は、そのように明記されている場合を除いて、本発明にとって重大、あるいは本質的なものとして解釈されるべきではない。さらに、ここに利用される「ａ」という冠詞は一以上を含む。請求する発明の上述の実施例に対して、本発明の精神および原理から逸脱することなく、様々な変更例、変形例を加えることができる。そのような変形例、変更例は、ここにおいて開示の範囲内に含まれ、以下の請求項により保護されることが意図されている。

Claims (18)

1. 一の画像の一のピクセル値に対して一の鮮鋭値を生成することと、
   一の増幅値を生成すべく、一の非線形法により前記鮮鋭値を増幅することと、
   前記ピクセル値と前記増幅値とを結合することと、を含む方法。
2. 前記生成することは、
   一の鮮鋭ピクセル列を生成すべく、一のカーネルで前記ピクセル値および幾らかの囲繞ピクセルを畳み込むことを含む、請求項１に記載の方法。
3. 前記増幅することは、
   前記鮮鋭値が一のコアリング点に達しない場合、前記鮮鋭値に一のゼロ利得を適用することを含む、請求項１に記載の方法。
4. 前記増幅することは、
   前記鮮鋭値が一のクリッピング点を越える場合、前記鮮鋭値に一のゼロ利得を適用することを含む、請求項１に記載の方法。
5. 前記増幅することは、
   前記鮮鋭値が一の所定の領域内に存在する場合、前記鮮鋭値に一の利得関数を適用することを含む、請求項１に記載の方法。
6. 利得関数はその入力値の一の中間点まで増加し、前記中間点を越えると減少する、請求項５に記載の方法。
7. 動画像データの一のピクセルを鮮鋭化して一の鮮鋭値を出力する、一の鮮鋭化部と、
   一の変更値を生成すべく、鮮鋭値の一の関数を変更する一の利得を前記鮮鋭値に適用する、一の増幅器と、
   前記変更値と前記動画像データのピクセルとを結合し、一の出力ピクセル値を出力する、一の結合器と、を含むシステム。
8. 前記鮮鋭化部は、
   一の同様の大きさのカーネルで、前記ピクセルと幾らかの囲繞ピクセルとを畳み込む、一のコンボルバを含む、請求項７に記載のシステム。
9. 前記増幅器が適用する前記関数は、複数の鮮鋭値が一の第一の鮮鋭値と一の第二の鮮鋭値との間に在るよう増加し、複数の増加鮮鋭値が前記第二の鮮鋭値と一の第三の鮮鋭値との間に在るよう減少する、請求項７に記載のシステム。
10. 前記関数は、一の線形法で増減する、請求項９に記載のシステム。
11. 前記関数は、一の曲線法で増減する、請求項９に記載のシステム。
12. 前記第二の鮮鋭値は、前記第三の鮮鋭値よりも前記第一の鮮鋭値に近い、請求項９に記載のシステム。
13. 前記増幅器は、前記第一の鮮鋭値より小さい、あるいは前記第三の鮮鋭値よりも大きい、複数の鮮鋭値に対して、一のゼロ利得を適用する、請求項９に記載のシステム。
14. 前記結合器の一の出力に操作可能に連結され、向上されたピクセル値をさらに調節する、一のデインターレースモジュール、一のノイズ低減モジュール、あるいは一のスケーリングモジュールをさらに含む、請求項７に記載のシステム。
15. 前記結合器の一の出力に操作可能に連結され、向上された複数のピクセル値を表示前にバッファする、一の表示バッファをさらに含む、請求項７に記載のシステム。
16. 一の画像の一のピクセル値に対して一の鮮鋭値を生成することと、
    一の増幅値を生成すべく、前記鮮鋭値が一の中心範囲にあるとき一の非線形法により前記鮮鋭値を増幅することと、
    前記ピクセル値と前記増幅値とを結合することと、を含む方法。
17. 前記鮮鋭値が前記中心範囲外にあるとき、前記増幅値に対してゼロを出力することをさらに含む、請求項１７に記載の方法。
18. 前記増幅することは、鮮鋭値が一の中間点になるまで利得を増加し、鮮鋭値が前記中間点を越えると利得を減少することを含む、請求項１６に記載の方法。

Images