JP2008070860A - 高度に設定可能な汎用のビデオおよびグラフィック測定装置 - Google Patents

Abstract

【課題】グラフィック画像またはビデオ画像に画像改善効果を施すための、適応性で、順応性で、且つ高効率の、高度に設定可能な汎用の測定装置を提供する。
【解決手段】ビデオ信号を処理するための装置および方法は、ビデオ信号を受信するための手段と、ユーザ提供の命令セットに基づいて、ビデオウィンドウ検出部、ビデオコンテンツ検出部および適応性コントラスト制御部によるビデオ信号を解析するための手段と、解析にしたがってビデオ信号を処理するための手段と、処理されたビデオ信号を出力するための手段とを備える。
【選択図】図１

Description

本発明は、概して、ビデオおよびグラフィックの質を向上させることに関する。

ディスプレイ装置は、入力データをカラーまたはグレースケールの二次元画像として描画する。入力データは、グラフィックであっても良い。このような装置の一例が、ＰＣディスプレイモニタである。入力データは、ビデオ信号であっても良い。このような装置の一例が、ＴＶモニタまたはビデオモニタである。入力データは、グラフィックと埋め込みビデオとの組み合わせであっても良い。このような装置の一例が、ビデオをウィンドウに表示する１つまたは複数のアプリケーションを伴う、グラフィックを表示するＰＣディスプレイモニタ、あるいは例えばピクチャー・イン・ピクチャーなど、グラフィック、全画面ビデオ、もしくはグラフィックとビデオとの組み合わせを表示する２つもしくは３つ以上の入力ポートを有する、ＰＣディスプレイ装置またはＴＶディスプレイ装置である。

通常、ディスプレイ装置における色およびコントラストは、視聴者によって手動で調整される。手動調整の問題は、可能性のある全ての入力データにとって最適であるような質の表示を実現できない点にある。例えば、色あせた画像のコントラストを高めるコントラスト制御設定は、通常の画像にとってはコントラストの過剰をもたらす結果となる。彩度を下げる設定は、彩度の高い画像にとっては最適であるが、無彩色の入力に切り替わった場合には最適とはならない。とりわけ、入力がビデオシーケンスである場合は、入力画像の性質に合わせて表示設定を絶えず切り替えることは、視聴者にとって不適切で且つ不都合である。

コントラストおよび色の手動調整に伴うもう１つの問題は、入力データの性質に対する感度が低い点である。手動のコントラスト制御は、入力される輝度成分に倍数因子を作用させる。輝度値のダイナミックレンジは有限であるので、陰の部分の詳細を見えるようにするために暗い画像のコントラストを高めると、明るいハイライト部分の情報が失われる結果になる。この制御の倍数的性質は、また、主に明るい部分からなる画像の場合はコントラストを高めることができない可能性を暗に示している。

グラフィック画像またはビデオ画像に画像改善効果を施すためには、その画像コンテンツの性質を知る必要がある。グラフィック素材またはビデオ素材をフラットパネルディスプレイに正しく表示させるためには、その素材の様々な特質を測定しておく必要がある。これらの各測定のためにデジタルエレクトロニクスを組み込むことは、不経済である。

したがって、より適応性で、順応性で、且つ高効率の、高度に設定可能な汎用の測定装置が必要とされている。

本発明は、概して、画像の主要領域で生じる輝度レベルのコントラストを高めることに関する。本発明は、方法、システム、デバイス、装置、またはコンピュータ読み取り可能媒体を含む様々な形態で実現することができる。以下では、本発明のいくつかの実施形態について議論される。

一実施形態において、ビデオ信号を処理する方法は、ビデオ信号を受信し、ユーザ提供の命令セットに基づいて、ビデオ信号を解析し、解析にしたがって、ビデオ信号を処理し、処理されたビデオ信号を出力することを少なくとも含む。

別の一実施形態において、ビデオ信号を処理するための装置は、ビデオ信号を受信するための手段と、ユーザ提供の命令セットに基づいて、ビデオ信号を解析するための手段と、解析にしたがって、ビデオ信号を処理するための手段と、処理されたビデオ信号を出力するための手段と、を含む。

添付の図面に関連して示される以下の詳細な説明から、本発明の他の態様および利点が明らかになる。

添付の図面に一例を示された本発明の具体的な一実施形態の詳細について、以下で言及される。本発明は、具体的な実施形態に関連して説明される。しかしながら、これは、説明される実施形態に本発明を限定することを意図したものではなく、反対に、添付の特許請求の範囲に定められた本発明の趣旨および範囲に含まれるものとしての置換形態、変更形態、および等価形態を網羅することを意図している。

本発明の目的は、より適応性で、順応性で、且つ高効率の、高度に設定可能な汎用の測定デバイスを提供することにある。この測定デバイスの一例が、測定デバイス１００として図１に示される。図に示されるように、測定デバイス１００は、後ほど説明されるビデオウィンドウ検出部１０２と、ビデオコンテンツ検出部１０４と、自動の適応性コントラスト制御部１０６とを含む。これらは、それぞれ画像解析部１０８に結合される。この説明される実施形態では、ユーザ提供の入力命令１１０が、画像解析部１０８に入力される。画像解析部１０８は、すると、受信された入力命令１１０を使用して、入力ビデオストリーム１１２を解析する。解析に基づいて、入力ビデオストリーム１１２は、ビデオウィンドウ検出部１０２、ビデオコンテンツ検出部１０４、および自動ＡＣＣ１０６の任意または各自に、適切な処理のために転送される。適切に処理されたビデオストリームは、出力インターフェース１１４に出力される。画像解析部１０８は、場合によっては、入力ビデオストリーム１１２に追加の画像処理を実施しないことを決定する。この場合、入力ビデオストリームは、追加の処理を経ることなく単純に出力インターフェース１１４に引き渡される。

自動適応性コントラスト制御
例えば、液晶ディスプレイ（ＤＬＰ）、有機発光ダイオード（ＯＬＥＤ）スクリーン、デジタル光プロセッサ（ＤＬＰ）、ブラウン管（ＣＲＴ）、プラズマパネル、または他のタイプのディスプレイなどのディスプレイに表示するための画像を用意するにあたっては、画素の輝度レベルを調整することによって、画像のコントラストを高めることが望まれる。入力輝度レベルと出力輝度レベルとの間のマッピングを記述するためには、伝達曲線を使用することができる。異なる画像は異なる輝度ヒストグラムを有するので、コントラストを最適に高めるためには、現下の特定の画像に合わせて伝達曲線を調整することが望まれる。

各フレームの終了時には、全ての輝度の総和をもとにヒストグラムが作成される。ヒストグラムは、次いで、このような輝度範囲を正規化するようにスケール変更される。例えば、輝度範囲は、１６〜２３５の合計２２０の輝度ビンであることが可能である。ここで、輝度ビンの平均値は２５６である。ヒストグラムが作成されると、そのフレームの統合輝度ヒストグラムを使用して適切な伝達関数が作成される。こうすれば、個々の画素の輝度よりも、画像内の主要物体の平均輝度の方が重く重み付けされるので、その画像内の主要物体の詳細が強調され、より写実的な伝達関数が提供される。

図２に示される具体的な一実現形態において、ビデオフレームＦ_sは、Ｍ画素×Ｎ画素の合計Ｐ画素（すなわちＰ＝Ｍ×Ｎ）からなる領域Ｒ_iに分割される。各画素は、式（１）に示されるように、Ｇ（緑）／２＋Ｒ（赤）／４＋Ｂ（青）／８（ＲＧＢ−ＹＵＢ変換のＹ部分への近似である）として計算される特定の輝度値Ｙ_ijを有する。

領域Ｒ_i内の各画素の輝度値が計算されたら、次いで、その領域Ｒ_i内の全画素の全輝度値の平均値が式（２）を使用して計算される。

次いで、統合輝度値Ｙ_regを使用して、ビデオフレームＦ_sに関する統合輝度ヒストグラムＨ_intが生成される。このＨ_intからは、後述されるプロセス６００にしたがって、フレームごとに伝達関数Ｔ_sが提供され、利用される。

図３は、本発明の一実施形態にしたがったプロセス６００を詳細に示したフローチャートである。プロセス６００は、ビデオフレームを画素データの形で受信することによって、６０２から開始する。６０４において、画素データがＹＵＶフォーマットでない場合には、６０６において、画素データはＹＵＶフォーマットに変換される。いずれの場合にも、６０８において、ビデオフレームは複数の領域に分割され、６１０において、各領域の全画素の輝度値の和に基づいて各領域の輝度値が計算される。６１２では、全ての領域を含む輝度ヒストグラムが生成される。次いで、６１４において、特定のヒストグラム値と平坦なヒストグラム値「１」との差を取ることによって、ヒストグラム差異値が生成される。６１６では、ヒストグラム差異値に強度因子Ｓ_Fが乗算され、戻って平坦値に追加される。このようにして、ヒストグラムは、強度値が「０」である場合は平坦な線を、強度値が「１」の場合は元のヒストグラムを提供するように調整される。６１８では、調整されたヒストグラム値に限界を設ける（そうして、最終的伝達関数の任意の点における最大傾斜を制限する）ことによって、その限界を超えたあらゆるヒストグラム値が均等な割り当てによってヒストグラムに追加されるようにする。６２０では、平坦な線のヒストグラムから（出力値が入力値に等しい）直線の伝達関数が得られるように、値０から伝達関数を開始させ、続く各位置にヒストグラムからの対応値を追加し、調整済みのヒストグラムを統合することによって、伝達関数を作成する。伝達関数は、次いで、６２２において利用される。

なお、説明されるこの実施形態において、十分なメモリ（フレームバッファなど）を利用可能な場合には、伝達関数をフレームごとに更新することによって、更新後の伝達関数をその伝達関数の生成元であるフレームに適用することができる。一方、十分なメモリを利用可能でない場合には、更新された伝達関数を、その生成元であるフレームに続く適切な数のフレーム（続く１つまたは２つのフレームなど）に適用することができる。

ビデオコンテンツ検出部
画素データを各自関連付けられた複数の画素で形成された画像について、その画像の輝度値の空間分布を評価することによって、その画像の実度を決定する方法が説明される。一般に、もし画像の大部分が合成であるならば、それはテキストであり、大部分が実物（本物）であるならば、それはビデオ（または写真）であり、合成画像と実画像とをそれぞれいくらかづつ表示しているならば、不均等に分布している場合は「混合」であり、大きな長方形内に集中している場合は「ビデオ・イン・ウィンドウ」である。混合信号の一例として、合成背景をバックに小さな実画像を多数表示するインターネットソースが挙げられる。また、混合信号の別の一例として、より実物に見えるように恐らくはランダムな輝度の追加を経て強化された合成写真記録またはビデオ記録が挙げられる。ビデオ・イン・ウィンドウ信号の一例としては、例えば図５に示される、エッジ２０６を伴う実ビデオ画像２０６と、合成背景２０８とを有する画像フレーム２００のように、合成のカラーもしくはテキストを表示する大きいウィンドウまたは背景に囲まれたアプリケーション・ウィンドウ内に写真記録あるいはビデオ記録を表示するインターネットソースが挙げられる。

一実施形態では、図４に示されるように、ステップ１０２において、ディスプレイユニットによって画像フレームが受信される。ディスプレイユニットは、１．３３：１のフォーマット、１．７８：１のワイドスクリーンフォーマット、もしくは２．３９：１のワイドスクリーンフォーマットなど任意の数のフォーマットで構成されたテレビディスプレイまたはコンピュータモニタであってよい。ステップ１０４において、画像フレームは、複数の画像ブロック２０２に分割される。説明されるこの実施形態において、各画像ブロック２０２は、物理的寸法が同じ寸法である。画像ブロックは、Ｎ行×Ｍ列に配列される。例えば、３２列×３０行の画像ブロックの使用（結果として９６０の長方形の画像ブロックになる）が上手く機能することがわかった。なお、各画像ブロック２０２は、正方形である必要も、サイズが等しい必要もないことに留意するべきである。他の実施形態では、例えばディスプレイの中心または実画像を予期される場所の画像ブロックを小さくすることができる。

当該分野で知られているように、赤、緑、青のクロマ部分からなるＲＧＢ信号は、輝度部分Ｙと２つのクロマ部分Ｕ，ＶとからなるＹＵＶ信号に変換することができる。受信されたＲＧＢ色空間信号が、対応するＹＵＶ色空間信号に変換されると、ステップ１０６において、画像ブロック内の各画素の輝度部分Ｙが、輝度ヒストグラムを生成するために使用される。いくつかの実施形態では、輝度値の範囲を各自表す所定数の輝度ビン（１２８など）を有する輝度ヒストグラムを生成するために、画像ブロック内の全画素が使用される。なお、計算時間および計算リソースの一方または両方を保持するためには、コンピュータメモリ内において、輝度ヒストグラムの各ビンをシングルビットで表現することによって、特定の輝度値範囲が表されているか否かを示せる点を、留意すべきである。例えば、論理値１は、特定のビンが画像ブロック内で表されていることを示すことができ、論理値０は、特定のビンが画像ブロック内で表されていないことを示すことができる。

輝度ヒストグラムを生成するには、特定の画像ブロック内の全部またはほぼ全部の画素が使用されると考えられるが、特定の画像ブロック内の選択された画素のみを使用することが好ましい場合もある。いずれの場合も、特定の画像ブロックの輝度ヒストグラムが生成されたら、全部またはほぼ全部の画像ブロックの輝度ヒストグラムが生成される（しかしながら、選択された画像ブロックのみを使用することが望ましい場合もある）。

全ての輝度ヒストグラムが生成されたら、これらの輝度ヒストグラムは、ステップ１０８において、表示画像における輝度の空間分布を決定するために解析される。この解析は、最も高く表現される輝度値を表すビンを見つけること、最も低く表現される輝度値を表すビンを見つけること、およびそれらの間のビンの数を決定することを含むことができる。この部分の解析は、画像ブロック内で表現される輝度値の範囲を推定するために使用することができる。この範囲が広いほど、画像ブロック内に存在するコンテンツが実物である可能性、すなわちコンテンツがアナログ記録またはデジタル記録を通じて作成された可能性が高くなる。様々な実施形態において、画像フレーム内で表現される輝度値の密度を決定することができる。いくつかの実施形態では、密度は、各画像ブロックで表現されるビンの全範囲のうちの表現されるビンの数として推定することができる。表現されるビンの密度が大きいほど、画像が実物である可能性が高くなる。更に他の実施形態では、表現されるビンのパターンに関係した第３の方法を採用することができる。例えば、表現されるビンがもし散開しているならば、すなわち、もし狭い範囲に固まっていないならば、画像ブロックが実物である可能性は高くなる。

ステップ１１０では、画像ブロックの「実度」を推定するために、上記の解析ツールを１つまたは２つ以上組み合わせて使用することができる。例えば、画像ブロックの実度を推定するために、０から１０までのスケールを使用し、０によって完全に合成の画像ブロックを、１０によって完全に実物の画像ブロックを示すようにすることができる。前述のように、合成画像は、多くの場合、非常に狭い輝度範囲を有するか、または広い輝度範囲内に多くの隙間を有するかのいずれかである。実画像は、輝度範囲が広く、その範囲内の大部分の輝度が表現される傾向がある。

図６Ａおよび図６Ｂは、実画像、およびその画像の全画像ブロックについて得られた実度を示す関連の３次元グラフを２次元表現したものを示している。グラフは、３１列×３２行に分割され且つ画像ブロックの実度を表す０から３０までの高さスケールを有する画像フレームを示している。図７Ａおよび図７Ｂは、同様に、合成画像、およびそれに関連する３次元の実度グラフを示している。最後に、図８Ａおよび図８Ｂも、同様に、ビデオ・イン・ウィンドウ画像、およびそれに関連する３次元の実度グラフを示している。ビデオ・イン・ウィンドウの例では、中央部分が画像フレームの実部分を明確に示している。

次いで、ステップ１１２では、画像フレーム全体について計算された実度を解析することができる。例えば、画像フレームの一領域または画像フレームの全域の実度を得るために、実度を単純に加算することができる。ステップ１１４では、画像フレームの画像コンテンツの性質が決定される。画像は、その実度と、１つまたは２つ以上の規定値との比較に基づいて、いくつかのカテゴリのうちの１つに分類することができる。もし、画像について計算された実度が最大規定値を超えるならば、その画像は実物であると見なされてよく、画像の実度が最小規定値未満であるならば、その画像は合成であると見なされてよく、画像の実度が選択された規定値と規定値との間であるならば、その画像は混合であると見なされてよい。比較のために使用される規定値は、固定の所定数、または可変に設定された数であることが可能である。

先に暗に示されたように、混合画像である場合には、実(ウィンドウ内）部分に各種の画像改善効果を実施することができるように、その混合画像がビデオ・イン・ウィンドウ画像であるか否かを更に決定することが望まれる。ビデオ・イン・ウィンドウの検出は、画像フレーム内の画像ブロックの実度の分布を解析することによって実現することができる。固有のビデオフォーマットを表示するように構成されたディスプレイユニットにおいてビデオ・イン・ウィンドウ信号が検出された場合には、より良い画素割り当てを実現することができる。背景技術の項で言及されたように、レターボクシングに次いでピラーボクシングを組み合わせて実施することによって、マッチボクシング効果を得ることができる。これは、例えば、標準フォーマットの広告をワイドスクリーン表示フォーマットに組み込んだ状態で標準フォーマットのディスプレイユニットに表示している場合に観察されると考えられる。このようにすれば、通常は大きさおよび解像度を激減されるであろうビデオ・イン・ウィンドウ信号を、ディスプレイとの整合性が高く且つソースの意図に沿ったフォーマットで表示することができる。このような画像改善を実現するためには、ビデオウィンドウのエッジ、すなわち実ビデオと合成背景との間の境界を定める必要がある。

最後に、いずれの実施形態についても、説明された実度の測定をフレームごとに実施する必要はない点に、留意するべきである。例えば、４フレームごとに実度の測定を実施すれば、メモリのリソースに負担をかけることなく多くの用途にとって十分であることが示された。

ビデオウィンドウ検出部
一般に、大部分が合成の（すなわち実度の指標が低い）画像は、「テキスト」である可能性が高く、大部分が「実物」である画像は、ビデオである可能性が最も高い。したがって、実度の指標の比較的高い部分の画像が長方形の一領域内に集中している場合には、ビデオウィンドウを特定することが可能である。この状況では、大きな実度ウィンドウを見つけるために、得られたデータの数学的検索が行われ、見つかった場合には、大きな長方形の各エッジ周辺の小さなウィンドウにおいて同様の操作が実施され、各画素の解像度にクローズアップしてエッジの位置を特定することが行われる。このプロセスは、ビデオウィンドウのエッジを決定するために必要とされる回数だけ繰り返すことができる。

なお、本発明は、表示されたビデオウィンドウが合成の背景、またはほとんどもしくは全くばらつきがないために合成の背景に似ている結果となった背景をバックに設定された場合に最も効果的である点を、留意されるべきである。言及されたように、ビデオウィンドウの各種エッジの位置をリアルタイムで評価するのにとりわけ良く適した一実施形態において、ビデオのエッジのおおよその位置の周辺に評価ウィンドウを形成し、これらの評価ウィンドウをほぼ同サイズの領域に分割し、各領域の実度（または合成度の程度でも同様に効果的である）を評価し、その評価ウィンドウ内に実質的に合成から実質的に実物への移行があるか否かを決定することによって確立される。もし、このような移行が検出されたならば、ビデオウィンドウのエッジは、その評価ウィンドウ内に位置することがほぼ確実である（ビデオウィンドウのエッジは、やはり、合成から実物への移行およびその逆を表すことを前提とする）。もし、他に形成されるべき評価ウィンドウがあるならば（評価ウィンドウの数は、最初の評価ウィンドウのサイズと、ビデオウィンドウのエッジの位置に望まれる解像度とに基づく）、次の反復ループにおいて、サイズを小さくした評価ウィンドウが形成され、全ての評価ウィンドウが試されるまで手続きが繰り返される。移行の位置は、ビデオウィンドウのエッジの位置を最も妥当に推測したものとして記録され、保存される。

図９は、本発明の一実施形態にしたがって、エッジ１０４を有する画像１０２を表示させる典型的なビデオフレーム１００を示している。なお、画像１０２は、ビデオウィンドウのエッジのあらゆる決定に先立って、ビデオ画像（すなわち「実物」）であると決定されたと考えられる点を、留意されるべきである。画像１０２がビデオ画像であると決定されると、本発明は、ディスプレイの領域１００をＩ画素およびＪ画素の各辺を各自有する複数の領域Ｒに分割することによって、ビデオ画像１０２のおおよそのサイズおよび位置の決定を行う。各領域は、ほぼ同数の画素（Ｉ×Ｊ）を含む。以下の議論では、領域Ｒを正方形の領域（Ｉ＝Ｊ）と仮定する。したがって、ディスプレイ１００は、Ｍ列とＮ行とに分割され（ＭおよびＮは、ディスプレイ１００に固有なアスペクト比に依存する）、Ｍ×Ｎの領域Ｒ_m,nを定める。

ディスプレイ１００が適切な数の領域Ｒに分割されると、各領域Ｒは、実質的に実物であるか、または実質的に合成であるかを特徴付けられ、それに応じて実度の指標Ｔを割り当てられる。説明されるこの実施形態では、各領域に固有の輝度分布を使用することによって、その特定の領域について実度の指標Ｔを決定することができる。説明されるこの実施形態では、特定の領域Ｒの輝度分布が合成画像に一致する場合にはその領域Ｒには、実度の指標Ｔ_Sが割り当てられる。あるいは、その領域Ｒの輝度分布が実画像に一致する場合には、その領域には、実度の指標Ｔ_R（実画像のそれに一致する）が割り当てられる。実施形態によっては、実度に関する重み係数を使用することが望ましく、実物であると分類された領域（または、反対に合成であると分類された領域）に、より沢山の（または、より少ない）重みを提供することができる。

図１０（明瞭にするため、実画像１０２を取り除き、ビデオウィンドウのエッジ１０４のみを残した）に示されるように、全ての領域Ｒに各自の実度に応じた指標が割り当てられると、次いで、最大数の領域Ｒを内包するとともにディスプレイ画像１００に一致するサイズを有する第１の評価長方形Ｓ₁が生成される。こうして、全てまたはほぼ全ての実画像１０２が評価長方形Ｓ₁に含まれる可能性を最大にした。いずれの場合も、評価長方形Ｓ₁が定められたとき、その長方形Ｓ₁に含まれる全ての領域Ｒは、合成（Ｔ_S＝１且つＴ_R＝０）または実物（Ｔ_S＝０且つＴ_R＝１）であるかが特定されている。これらの指標は、次いで、式（３）を使用して長方形Ｓ₁全体の実度を特徴付けるために使用される。

ここで、ωは、画像の重み係数（すなわち、ω_Rは実画像の重み係数、ω_Sは合成画像の重み係数）である。特定の評価長方形Ｓ₁の実度の値ＲＶが計算されると、式（４）を使用して実度の比（ＲＲ）が計算される。

説明されるこの実施形態において、実度の比ＲＲは、評価長方形Ｓ₁に内包された領域における、合成領域に対する実領域の相対的割合を示している。例えば、図１１は、評価四角系Ｓ₁にディスプレイ１００の領域全体が内包される場合を示しており、こうして、少なくとも第１回目の走査は、実画像１０２を内包するビデオウィンドウが含まれることを保証される。図３の例において、実度の比（ＲＲ）は、非ゼロの実度を有する全ての領域の和（この場合は８８）を、評価長方形全体の実度の和（この場合は２１６＝Ｍ×Ｎ）で割った値に等しく、この場合は、０．４１に等しい値を提供する。理想を言うと、実度の比ＲＲは、評価長方形Ｓが実画像１０２のみを内包する場合に１．０に等しくなる、またはそれに近くなる（なぜならば、評価長方形Ｓには実領域のみが含まれるのが理想だからである）。したがって、実画像１０２のエッジ１０４の位置を決定するためには、実度の相対的な度合いを表す所定の閾値に基づいて実度の比ＲＲを評価し且つ比較する反復プロセスが実施される。もし、実度の比ＲＲが所定の閾値未満であるならば、利用可能な処理リソースによって実行できる限り多くのビデオウィンドウのサイズおよび位置に対処するために、例えば図１２〜１３に示されるような、先の評価長方形Ｓ_n-1とサイズおよび位置の異なる別の評価長方形Ｓ_nが生成される。しかしながら、もし実度の比ＲＲが閾値を上回るとともに先の実度の値ＲＲを上回るならば、格納された実度の比ＲＲは、現行の実度の比ＲＲに更新される。

実画像１０２のエッジ１０４の位置を近似する最終的な評価長方形が決定されると、実画像の４つのエッジのおおよその位置に、それぞれ対応するエッジの具体的な位置を求めるために使用される関連の測定長方形Ｍが重ねられる。例えば、図１４は、４つのエッジ１０４の各推定位置を内包する４つの測定長方形７０２〜７０８を示している。各エッジは、図１０に示されるように、例えば、測定長方形７０２に含まれる列ごとに、実度を列方向に加算することによるエッジ検出手続きを実施される。列ごとに、全ての実度の加算が完了すると、合成と実物との間の移行が存在するか否かを決定するために、各列の実度の和が互いに比較される。表示される画像のうち、ビデオウィンドウに含まれない部分は実質的に全て合成であると仮定されるので、ビデオウィンドウ１０４のエッジは、合成と実物との間の移行の位置を記録することによって検出することができる。このような移行が記録された場合には、その移行の位置は、先の測定長方形と比べて小さいサイズの次の測定長方形を形成するために使用される。このように、反復プロセスは、測定長方形のサイズが、エッジの位置を所定の数的指標（１画素など）以内に特定する所定のサイズになるまで実施される。処理リソースを利用できる場合には、水平方向のエッジに対しては行方向の加算を行うことによって、全てのエッジについて同じ手続きを同時に実施することによって、画像１０２のエッジ１０４の位置が特定される。

図１５は、本発明の一実施形態にしたがったプロセス９００を詳述したフローチャートを示している。したがって、プロセス９００は、実画像部分を有する表示画像を受信することによって、９０２から開始する。９０４において、表示画像は、ほぼ同数の画素を各自有する複数の領域に分割される。９０６において、各領域は、合成領域のみであるか、または実領域のみであるかを指定される。９０８において、少なくとも最小サイズと同じ大きさを持ち且つ複数の領域を含む評価長方形が作成され、９１０において、その評価長方形を形成する領域の性質（すなわち合成であるか、または実物であるか）に基づいて、その評価長方形の実度が決定される。９１２において、実度が、先に格納された実度を上回るならば、格納された実度は、９１４において、現行の実度に更新される。そして、いずれの場合も、制御は、９１６に引き渡され、全ての評価長方形が試されたか否かについての決定がなされる。全ての評価長方形が試されていない場合には、９１８において、評価長方形のサイズが変更され、制御は、９１０に戻される。反対に、９１６において、全ての評価長方形が試されたと決定された場合には、９２０において、実度が閾値実度を上回るか否かについての決定がなされる。実度が閾値実度以下の場合には、プロセス９００は終了し、そうでなければ、制御は、９２２に引き渡され、実画像のおおよそのサイズおよび位置が格納される。

次に、図１６について、プロセス９００は、先に格納された実画像のおおよその位置およびサイズを読み出すことによって、９２４へと続く。９２６において、実画像のエッジのおおよその位置の周辺に、測定ウィンドウが定められ、９２８において、測定ウィンドウは、複数の領域に分割される。９３０において、各領域は、実領域であるか、または合成領域であるかを指定され、９３２において、測定ウィンドウを形成する領域の特性に基づいて、測定ウィンドウの実度の行方向または列方向の分布が決定される。９３４では、実度の分布内に移行が存在するか否かについての決定がなされる。移行が存在しない場合、別の試みを行うならば制御は９３２に戻され、そうでないならばプロセス９００は停止する。反対に、９３４で移行が検出されたならば、９３８において、その移行の中間点の位置が新しいエッジ位置として格納され、９４０において、全ての測定ウィンドウが試されたか否かについての決定がなされる。全ての測定ウィンドウが試されていない場合には、９４２において、格納された中間点位置を中心として測定ウィンドウのサイズが小さくされ、制御は、９３２に戻される。それ以外の場合は、９４４において、格納された測定ウィンドウの中間点位置が、エッジの位置として指定される。

図１７は、本発明の一実施形態にしたがったプロセス２００を示している。プロセス２００は、２０２において、ビデオストリームを受信することによって開始し、ビデオストリームは、２０４において、画像解析部によって、ユーザ提供の命令セットに基づいて解析される。解析に基づいて、ビデオストリームは、更なる処理のために、２０６においてビデオウィンドウ検出部に、２０８においてビデオコンテンツ検出部に、および／または２１０において自動の適応性コントラスト制御部２１０に直接転送することができる。しかしながら、ビデオストリームは、解析に基づいて、未処理のまま２１２において出力に引き渡すことができる点に留意されるべきである。いずれの場合であれ、処理された（または場合によっては未処理の）ビデオストリームは、２１２において出力される。ビデオストリームは、場合によっては、例えば、先ず適応性コントラスト制御を経て、次いでビデオウィンドウ検出部などによる他の処理を経ることができるという意味で、条件処理を経ることが可能である。このように、本発明は、ビデオストリームの処理について、例えば単一の集積回路などによって実現可能な統合的アプローチを提供することによって、製造時間、製造コスト、および総合コストを大幅に低減させる。

ここで開示された装置を含む、本発明の実施形態は、デジタル電子回路構成、またはコンピュータのハードウェア、ファームウェア、もしくはソフトウェア、またはそれらの組み合わせによって実現することができる。本発明の装置の実施形態は、プログラマブルなプロセッサによる実行のために機械可読ストレージデバイス内に具現化されたコンピュータプログラム製品によって実現することができ、本発明の方法のステップは、本発明の機能を実施するために入力データに作用して出力を生成することによって命令プログラムを実行するプログラマブルなプロセッサによって実施することができる。本発明の実施形態は、データよび命令の送受信のために接続された少なくとも１つのプログラマブルなプロセッサと、データストレージシステムと、少なくとも１つの入力デバイスと、少なくとも１つの出力デバイスと、を含むプログラマブルなシステム上において実行可能な１つまたは複数のコンピュータプログラムによって有利に実現することができる。各コンピュータプログラムは、高水準のプロシージャ型もしくはオブジェクト指向型のプログラミング言語によって、または、もし望まれるならばアセンブリ言語もしくはマシン言語によって実現することができ、いずれの場合も、言語は、コンパイラ型またはインタープリタ型の言語であることが可能である。

適切なプロセッサは、例えば、汎用および専用の両方のマイクロプロセッサを含む。一般に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリ、またはその両方からの命令およびデータを受信する。一般に、コンピュータは、データファイルを格納するための１つまたは複数の大容量ストレージデバイスを含む。このようなデバイスは、内蔵されたハードディスクおよび取り外し可能なディスクなどの磁気ディスク、光磁気ディスク、ならびに光ディスクを含む。コンピュータプログラム命令およびデータを具現化するのに適したストレージデバイスは、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵されたハードディスクおよび取り外し可能なディスクなどの磁気ディスク、光磁気ディスク、ならびにＣＤ−ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリを含む。上記のいずれも、ＡＳＩＣ（特定用途向け集積回路）によって強化される、またはＡＳＩＣに組み込まれることが可能である。

以上、本発明の複数の実現形態が説明された。しかしながら、本発明の趣旨および範囲から逸脱することなく他にも様々な変更を加えられることが理解される。したがって、他の実施形態も、添付の特許請求の範囲の範囲内である。

本発明の一実施形態にしたがったシステムの図である。 本発明の一実現形態をグラフで説明した図である。 本発明の一実施形態にしたがった、統合輝度ヒストグラムに基づいて伝達関数を生成するためのプロセスを詳述したフローチャートである。 本発明の一実施形態にしたがった、画像の実度を決定するプロセスを説明したフローチャートである。 画像ブロックに分割された典型的な画像フレームの図である。 代表的な実画像を示した図である。 本発明の一実施形態にしたがった、図６Ａの関連の実画像の実度を示した代表的なグラフである。 代表的な合成画像を示した図である。 本発明の一実施形態にしたがった、図７Ａの関連の合成画像の実度を示した代表的なグラフである。 代表的なビデオ・イン・ウィンドウ画像を示した図である。 本発明の一実施形態にしたがった、図８Ａの関連のビデオ・イン・ウィンドウ画像の実度を示した代表的なグラフである。 本発明の一実施形態にしたがった、エッジを有する画像を表示させる典型的なビデオフレームの図である。 本発明の一実施形態にしたがった、エッジを有する画像を表示させる典型的なビデオフレームの図である。 本発明の一実施形態にしたがった、評価長方形の実度と所定の閾値実度との典型的な比較を示した図である。 本発明の一実施形態にしたがった、ビデオウィンドウのエッジの位置の特定を説明した図である。 本発明の一実施形態にしたがった、ビデオウィンドウのエッジの位置の特定を説明した図である。 本発明の一実施形態にしたがった、ビデオウィンドウのエッジの位置の特定を説明した図である。 本発明の一実施形態にしたがった、ビデオウィンドウのエッジの位置を決定するプロセスを詳述したフローチャートである。 本発明の一実施形態にしたがった、ビデオウィンドウのエッジの位置を決定するプロセスを詳述したフローチャートである。 本発明の一実施形態にしたがったプロセスを詳述したフローチャートである。

Claims (10)

1. ビデオ信号を処理する方法であって、
   前記ビデオ信号を受信し、
   ユーザ提供の命令セットに基づいて、前記ビデオ信号を解析し、
   前記解析にしたがって、前記ビデオ信号を処理し、
   前記処理されたビデオ信号を出力する、
   ことを備える方法。
2. 請求項１に記載の方法であって、
   前記処理は、前記解析により必要とされる場合に、適応性コントラスト制御を自動的に実施することを含む、方法。
3. 請求項１に記載の方法であって、
   前記処理は、前記解析により必要とされる場合に、ビデオウィンドウの座標を検出することを含む、方法。
4. 請求項３に記載の方法であって、
   前記処理は、ビデオウィンドウが検出された場合には、前記解析により必要とされる場合に、前記ウィンドウ内の前記ビデオのコンテンツの種類を決定することを含む、方法。
5. 請求項１に記載の方法であって、
   前記方法は、集積回路によって実施される方法。
6. ビデオ信号を処理するための装置であって、
   前記ビデオ信号を受信するための手段と、
   ユーザ提供の命令セットに基づいて、前記ビデオ信号を解析するための手段と、
   前記解析にしたがって、前記ビデオ信号を処理するための手段と、
   前記処理されたビデオ信号を出力するための手段と、
   を備える装置。
7. 請求項１に記載の方法であって、
   前記処理は、前記解析により必要とされる場合に、適応性コントラスト制御を自動的に実施するための手段を含む、方法。
8. 請求項１に記載の装置であって、
   前記処理は、前記解析により必要とされる場合に、ビデオウィンドウの座標を検出するための手段を含む、装置。
9. 請求項３に記載の装置であって、
   前記処理は、ビデオウィンドウが検出された場合には、前記解析により必要とされる場合に、前記ウィンドウ内の前記ビデオのコンテンツの種類を決定するための手段を含む、装置。
10. 請求項１に記載の装置であって、
    前記装置は、集積回路に組み込まれる装置。

Images