JP2007053743A - イメージ・データを分析するための方法および装置 - Google Patents

Abstract

【課題】ブラック・フレームを検出するために、同様またはほぼ同じ輝度あるいは色成分値を有するフィルムまたは映像コンテンツにおいてフィールドまたはフレームを自動的に検出するための方法および装置を提供する。
【解決手段】イメージ・サンプル値が符号付き重みを有するサンプル値範囲に割り当てられ、サンプル値範囲内の入力サンプルの符号付き重みおよび数に応じて、各サンプル範囲に関する弁別関数への寄与が決定される。次に、弁別関数出力がしきい値と比較される。
【選択図】図３

Description

本発明は、イメージ・データを分析するための方法および装置に関する。特に、本発明は、フィールドまたはフレーム全体にわたって同様であるかまたはほぼ一定の輝度または色成分値を有するフィルムまたは映像コンテンツにおけるフィールドまたはフレームの自動検出に関する。

フィルムまたは映像コンテンツの監視または評価は、放送業者およびコンテンツ所有者またはコンテンツ管理機関のどちらにとっても関心が高まりつつある分野である。

特に、放送業者にとっては、放送中の映像音響コンテンツを監視して識別できること、およびそれ故、例えば、画面が真っ黒（オール・ブラック）になるなどの放送チェーンにおける問題またはエラーに即時に応答できることが望ましい。これまでこれは、通常、人がプログラム出力を目視で監視すること、またはより一般的には、いくつかのプログラム出力を監視して、プログラム出力中のエラーを目視で識別することによって達成されてきた。これは明らかに多くの労力を必要とするものであり、自動化または半自動化された監視およびエラー検出を提供することが望ましい。

さらに、コンテンツ所有者／管理機関にとっては、コンテンツを分析できること、およびコンテンツの側面を記述するメタデータを生成できることが、ますます望ましくなってきている。この技法の一例が、オール・ブラック・フレームの存在を決定するためにコンテンツを分析すること、および関連するメタデータを作成することである。

これが有用な可能性のある用途の１つが、上記概説した自動化または半自動化された監視およびエラー検出である。それ故、添付のメタデータ内で識別されたブラック・フレームは、プログラム・コンテンツの再生時には、「エラー」とはみなされず、プログラム材料からではなく純粋なエラーから生じるブラック・フレームのみが警告を発生させる。これが監視およびエラー検出の信頼性を高める。

本発明の目的は、従来技術における少なくともいくつかの欠点を軽減することである。

本発明の第１の態様によれば、複数のサンプル値範囲を定義するステップであって、それぞれのサンプル値範囲がそれに割り当てられた符号付き重みを有し、定義された値を含むサンプル値範囲が、少なくとも１つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有するステップと、それぞれの当該範囲内にある値を有するサンプルの数をカウントし、カウント値の重み付け合計を形成するステップと、重み付け合計をしきい値と比較し、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するステップとを含む、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析する方法が提供される。

本発明の第２の態様によれば、複数のイメージ・データのサンプル値範囲からの相対的寄与から重み付け合計を形成するステップであって、この相対的寄与が範囲内にあるサンプル数および各サンプル値範囲に関連付けられた符号付き重みに依存し、定義された値を含むサンプル値範囲が少なくとも１つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有するステップと、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するステップとを含む、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析する方法が提供される。

本発明の第３の態様によれば、各イメージ・データ・サンプルについて、複数のサンプル値範囲のうちの１つにイメージ・データ・サンプルを割り振るステップと、重み付け合計を形成するために割り振られたサンプル値範囲に関連付けられた符号付き重みを累算するステップであって、定義された値を含むサンプル値範囲に関連付けられた重みが少なくとも１つの他のサンプル値範囲に割り当てられた重みとは反対の符号であるステップと、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、すべてのサンプル値に関する重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するステップとを含む、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析する方法が提供される。

本発明の第４の態様によれば、本発明に従った方法を実行するためのプロセッサ実施可能命令を格納するプログラムキャリアが提供される。

本発明の第５の態様によれば、複数のサンプル値範囲を定義するための手段であって、それぞれのサンプル値範囲がそれに割り当てられた符号付き重みを有し、定義された値を含むサンプル値範囲が、少なくとも１つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有する定義するための手段と、それぞれの当該範囲内にある値を有するサンプルの数をカウントするための手段と、カウント値の重み付け合計を形成するための加算器と、重み付け合計をしきい値と比較し、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するためのコンパレータとを備える、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析するための装置が提供される。

本発明の第６の態様によれば、複数のイメージ・データのサンプル値範囲からの相対的寄与から重み付け合計を形成するためのアキュムレータ手段であって、この相対的寄与が範囲内にあるサンプル数および各サンプル値範囲に関連付けられた符号付き重みに依存し、定義された値を含むサンプル値範囲が少なくとも１つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有する、アキュムレータ手段と、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するための決定手段とを備える、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析するための装置が提供される。

本発明の第７の態様によれば、各イメージ・データ・サンプルについて、複数のサンプル値範囲のうちの１つにイメージ・データ・サンプルを割り振るための手段と、重み付け合計を形成するために割り振られたサンプル値範囲に関連付けられた符号付き重みを累算するための手段であって、定義された値を含むサンプル値範囲に関連付けられた重みが少なくとも１つの他のサンプル値範囲に割り当てられた重みとは反対の符号である累算するための手段と、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するための手段とを備える、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析するための装置が提供される。

いくつかの実施形態では、定義された値に最も近いがこれを含まないサンプル値範囲に割り当てられた重みは、定義された値を含むサンプル値範囲と同じ符号の重みを有する。

好ましくは、定義された値を含むサンプル値範囲に関連付けられた重みと反対の符号を有する重みは、関連付けられたサンプル値範囲が当該定義された値に近くなるほど大きくなる。

次に、本発明をより良く理解するために、およびこれがどのように実行できるかを示すために、一例として添付の図面を参照する。

次に、本発明の例示としての実施形態について、添付の図面を参照しながら説明する。

当業者であれば周知のように、テレビジョンまたは映像信号には、輝度および色情報の両方が含まれる。従来、これらの量は８ビット数で表されてきた。デジタル構成要素システム向けのＩＴＵ勧告では、輝度信号がレベル１６の「ブラック」からレベル２３５の「ホワイト」まで延在し、２つの色差信号は最大の負の値を表すレベル１６から最大の正の値を表すレベル２４０まで延在し、レベル１２８がゼロを表すように指定している。デジタル複合システムでは、他の値が使用される。現在実施されているのは少なくとも１０ビット表現を使用することであり、通常は２つの下位ビットを「小数」ビットとみなすことによって、８ビット・システムと同等の内容が達成される。

本発明の実施形態では、デジタル・ワード長は、例えば、切り捨てまたは丸めによって短くすることができるが、説明する例では、ＩＴＵ符号化勧告に従った８ビットシステムが想定されている。

例示としての実施形態は、ブラック・フィールドの存在を決定するための輝度イメージ・データの分析との関連において記載されるため、記載された実施形態では、以下で説明するように、分析用の「定義された値」はブラック・レベル、すなわち８ビット輝度表現ではレベル１６である。しかしながら当業者であれば、本発明に従ったイメージ・データの分析は、より一般的には、フィールドまたはフレーム全体にわたって同様であるかまたはほぼ一定の輝度または色成分値を有するフィルムまたは映像コンテンツにおいて、フィールドまたはフレームを決定するために使用可能であることが明らかであろう。それ故、本発明を使用して、輝度値とホワイト・レベルの「定義された値」、すなわちレベル２３５とを比較することによって、「オール・ホワイト」フィールドまたはフレームを決定すること、輝度値と中間グレーの「定義された値」、すなわちレベル１２６とを比較することによって「グレー」のフィールドまたはフレームを決定すること、またはカラー値または色差値とレベル１２８または他の定義済みレベルとを比較することによって、色成分または色差信号の損失を検出することもできる。

さらに、例示としての実施形態の方法は、フィールド内のすべてのピクセル・サンプル値に対して実施される。しかしながら、本明細書に記載の概念は、例えば、フィールドごと、またはフレームごとに適用可能であるか、またはより一般的には、任意の代表的なサンプリングまたはサブサンプリングされたイメージ・データの使用に適用可能であることが明らかであろう。したがって、例えば、本発明は、ブロック全体にわたる平均値を代表するイメージ・データに適用可能であるか、またはｎ番目ごとのピクセルのみを使用して適用可能である。以下の記述におけるフィールドへの言及も、同様に理解されたい。

本明細書に記載の例示としての実施形態では、輝度値の範囲内にわたるフィールドにおけるピクセル輝度値の広がりに関する統計情報を効率良く利用して、特定フレームがブラックであるか否かが容易に判別される。例示としての実施形態では、非線形ヒストグラムに基づく技法が開示されている。この状況での非線形という用語は、ヒストグラムのサンプル値範囲、またはビン（ｂｉｎ）が、可変数のサンプル値をカバーすることを示すように意図されている。例示としての実施形態では、サンプル値範囲は、ブラック・イメージと単なる暗いアクション・イメージとをより容易に見分けるために、ピクセル輝度値の下位領域を中心にクラスタ化される。

本明細書に記載の実施形態では、ピクセルは、ピクセル輝度値に従って特定のサンプル値範囲に割り振られる。特定のサンプル値範囲内にあるフレームのピクセル数は、サンプル値範囲の寄与を形成するために、サンプル値範囲に関連付けられた符号付き重みによって重み付けされる。その後、各サンプル値範囲に関連付けられた寄与は、フィールドがブラックであるかどうかを判別するために、他のサンプル値範囲からの寄与と組み合わせられる。

最も一般的には、このプロセスは以下の式の弁別関数を使用して要約することが可能である。

ここで、ｄは弁別関数、Ｔは任意の定数またはしきい値、Ｎ_ｊはｊ番目のサンプル値範囲内のサンプル値の数、ｃ_ｊはｊ番目のサンプル値範囲に関連付けられた重みまたは係数であり、ｎ個のサンプル値範囲がある。

一般に、サンプル値範囲のうちの１つに定義された値が含まれることになる。異なるサンプル値範囲に関連付けられた係数は、定義された値範囲が収まるサンプル値範囲が、少なくとも１つの他のサンプル値範囲に関連付けられた重みの符号とは反対の符号の重みを有するように配置構成される。

このように反対の符号を有する重みを使用することは、事実上、弁別関数の結果が、一方では正の重みを有するサンプル値範囲と、他方では負の重みを有するサンプル値範囲とによって作られる、弁別関数への寄与間のバランスであることを意味する。したがって、正確かつ信頼できる弁別を提供するために、サンプル値範囲およびそれらの対応する重みの大きさおよび符号を選択することができる。

当業者であれば明らかなように、サンプル値範囲および対応する重みは、いくつかの異なる技法を使用して選択可能である。一般に、例示としての実施形態において、例えば、ブラック・フレームと単なる暗いアクション・フレームとを見分けることに関心がある状況で、サンプル値範囲および対応する選択された重みが信頼できる弁別を提供することを確保するために、トレーニングおよび最適化のプロセスを使用することが有利であろう。

次に、サンプル値範囲またはヒストグラム・ビン、および対応する重みまたはヒストグラム係数を生成する例示としての方法について、ブラック・フレームの検出との関連において説明する。この状況では、定義された値は、ＩＴＵ勧告におけるブラック・レベルに対応する輝度値１６である。

図１は、以下のビン・サイズを伴う、例示としての試験サンプル値範囲を示す。

この表１に示されたサンプル値範囲はある程度任意であるが、ブラック・レベル１６の定義された値に近いピクセル輝度値におけるわずかな差異が最大の弁別を提供することになる。結果として、サンプル値範囲は定義された値付近で狭く、定義された値から離れるほど広くなる。

サンプル値範囲が定義されると、係数が割り当てられ、次に、ブラックおよび近ブラック・イメージのトレーニング・シーケンスを使用して最適化される。係数セットに対してこれを達成する方法の１つは、各ポイントについて弁別関数ｄを取得して、その結果をフィールドがブラックであるか非ブラックであるかに従ってコスト関数で使用し、トレーニング・シーケンスにおけるそれぞれの異なる出現を補償するために異なる重み付けがされた個々のコスト関数を合計することである。

例示としての実施形態では、係数は最初にラプラシアン正則化によって浮動小数点精度で計算される。これには、重要でない係数を最小限にする効果がある。例示としての実施形態では、以下に示すように、次に、係数は整数に変換され、重要でない係数はゼロに丸められる。

それ故、以下の弁別関数は、
ｄ＝−（Ｂ_０＋Ｂ_１＋Ｂ_２）＋１８３２５×Ｂ_３＋１２５３×Ｂ_４＋２×Ｂ_７
または
ｄ＝−Ｎ_０＋１８３２５×Ｎ_１＋１２５３×Ｎ_２＋２×Ｎ_３＋Ｎ_４
ここで、
Ｎ_０＝入力輝度サンプルのカウントＹ＜４７
Ｎ_１＝入力輝度サンプルのカウント４８＜Ｙ＜６３
Ｎ_２＝入力輝度サンプルのカウント６４＜Ｙ＜９５
Ｎ_３＝入力輝度サンプルのカウント１９６＜Ｙ＜２５５
Ｎ_４＝上記いずれの範囲にも入らない入力輝度サンプルのカウント
である。

本発明の運用にはいずれの定義された範囲にも入らない入力輝度サンプルのカウントの使用は不可欠でないため、カウントＮ_４の使用はオプションである。

それ故、この例示としての実施形態では４つのサンプル範囲およびそれらの関連する重み付けが定義される。この例示としての実施形態では、定義された値を含むサンプル範囲（すなわち、サンプル範囲Ｙ＜４７）に関連付けられた重みの符号は、他の定義されたサンプル範囲（すなわち、サンプル範囲４８＜Ｙ＜６３、６４＜Ｙ＜９５、および１９６＜Ｙ＜２５５）に関連付けられた重みの符号とは反対である。それ故、負の重みを有する第１のサンプル範囲からの寄与が、すべてが正の重みを有する他のサンプル範囲からの寄与を上回る場合、「ブラック」が検出される。これは、入力値の代表的なサンプルの終わりに弁別関数の符号によって容易に決定することができる。

もちろん、いくつかの実施形態では、定義された値を含むサンプル範囲以外の１つまたは複数のサンプル値範囲が、定義された値を含むサンプル範囲と同じ符号を有する場合もある。特に、定義された値に最も近いがこれを含まないサンプル値範囲に割り当てられた重みは、定義された値を含むサンプル値範囲と同じ符号の重みを有することができる。しかしながら、少なくとも１つのサンプル範囲は、弁別関数に必要なバランス寄与を提供するために反対の符号を有することになる。

オプションで、偽の正の可能性を減らすために、数個のブラックのフィールドまたはフレームが検出されるまで、ブラック検出の通知を遅延させることが有利である。これは、例えば、状態マシンを使用して、例えば、必ず６つのブラック・フィールドが検出されてから通知することによって達成可能である。

次に、ある実施形態に従った方法について、図２を参照しながら説明する。

記載された方法では、以下のように利用する。

ブラック・フラグ：ブラック・イメージ（例示としての実施形態ではフィールド）が信頼できる形で検出されたことを示す。

ブラック・カウンタ：検出された連続するブラック・イメージの数をカウントする。

ピクセル・カウンタ：代表的なサンプルの終わりを決定するためにサンプルの数をカウントする。５０Ｈｚの標準精細度（ＳＤ）フィールド内のすべてのピクセルが代表的サンプルとして使用される例示としての実施形態では、ピクセル・カウンタは７２０×２８８の輝度サンプルをカウントしなければならない。

累積値ｄ：前述の弁別関数の現在の値。

それ故、図２に示された方法によれば、第一に、ステップ１０２でブラック・フラグが消去され、ステップ１０４でブラック・カウンタが消去される。

次に、フィールドの始まりで、ステップ１０６でピクセル・カウンタが消去され、ステップ１０８で累積値ｄが消去されるか、または適切なオフセット値に設定される。オフセット値は、使用される場合、上記弁別関数中の定数Ｔに対応する。ステップ１１０で連続するピクセル輝度値が受け取られた場合、ステップ１１２でピクセル・カウンタが増分され、ステップ１１４でピクセル輝度値はサンプル値範囲に割り振られ、ステップ１１６で、割り振られたサンプル値範囲に関連付けられた重みまたはビン係数が累積値ｄに付加される。

次に、ステップ１１８で、フィールドの終わりに達したかどうか、すなわち、ピクセル・カウンタがサンプル内のすべてのピクセルをカウントし、サンプルの終わりの値に達したかどうかが判別される。例えば、サンプルが５０Ｈｚの標準精細度フィールドである例示としての実施形態では、ピクセル・カウンタはステップ１１８で、完全なフィールドとみなされるかどうかを判別するためにサンプルの終わりの値７２０×２８８＝２０７，３６０と比較される。ピクセル・カウンタがまだサンプルの終わりの値に達していない場合、ステップ１１８から「いいえ」に進み、連続するピクセル輝度値に対してステップ１１０〜１１８が繰り返される。

ピクセル・カウンタがサンプルの終わりの値に達した場合、ステップ１１８から「はい」に進み、ステップ１２０で累積値ｄの値を検査することにより、イメージがブラックであるかどうかが判別される。このようにして、例示された方法では、累積値ｄがゼロより大きいかまたは等しい、あるいはゼロより小さいかどうかが判別される。前述のように、ブラックに割り振られたｄの符号の選択は不可欠ではない。

フレームがブラックではないと判別された場合、１２０から「いいえ」に進み、本方法は最初に戻って、ステップ１０２でブラック・フラグが消去され、ステップ１０４でブラック・カウンタが消去された後、ステップ１０６〜１１８でピクセル輝度値の次のフィールドが処理される。

フィールドがブラックであると判別された場合、ステップ１２０から「はい」に進み、ステップ１２２でブラック・カウンタ値が増分され、ステップ１２４で増分されたブラック・カウンタ値としきい値Ｎが比較される。明らかに、最初、ブラック・カウンタ値はしきい値Ｎよりも小さいため、ステップ１２４から「いいえ」に進み、方法はステップ１０６に戻って次のフィールドを評価する。しかしながら、ステップ１２２で、連続するブラック・フィールドは、ブラック・カウンタ値がしきい値Ｎに達するまでブラック・カウンタ値を増分させ、ステップ１２４から「はい」に進み、ステップ１２６でブラック・フラグが設定される。

その後、連続するフィールドがブラックのままであれば、ブラック・フラグは設定されたままとなり、ブラックが検出されたことを示す。第１の非ブラック・フィールドが検出されると、ステップ１２０から「いいえ」へ進み、方法はステップ１０２に戻ってブラック・フラグを消去し、ステップ１０４でブラック・カウンタを消去した後に、ステップ１０６で次のフィールドについて考慮を始めることになる。

図３には、本発明の１つの可能な実施を示すブロック図が示されている。

複数のコンパレータ１３０、１３２、１３４、１３６が提供され、それぞれのコンパレータが、入力１３８から入力ピクセル輝度値を受け取るために入力１３８に結合される。各コンパレータ１３０〜１３６の出力は、それぞれの乗算器１４０、１４２、１４４、１４６に結合される。さらに、コンパレータの出力は、オプションで、例示としての実施形態に示されるようにＮＯＲゲート１４８（すべての入力が０の場合は１を、いずれかの入力が１の場合は０を出力する）に結合可能である。存在する場合は、ＮＯＲゲート１４８の出力と乗算器の出力とがアキュムレータ１５０に結合され、累積合計ｄの出力を形成する。前の累積合計ｄも、１サンプル遅延Ｄだけ遅延されたアキュムレータ１５０に結合される。

当業者であれば、図が見やすいように、本実施形態を理解するために必要ではない他の要素は省略されていることを理解することができるだろう。

各コンパレータ１３０〜１３６は割り当てられたサンプル値範囲を有し、入力イメージ・サンプルがコンパレータ１３０〜１３６に割り当てられたサンプル値範囲内にある場合、各コンパレータ１３０〜１３６は「真」の論理信号を出力する。例示としての実施形態では、各コンパレータ１３０〜１３６用に割り当てられるサンプル値範囲はピクセル輝度値範囲であり、入力イメージ・サンプルはピクセル輝度値である。

前述の例示としての実施形態では、
コンパレータ１３０は、Ｙ＜４７の入力輝度サンプルを識別し、
コンパレータ１３２は、４８＜Ｙ＜６３の入力輝度サンプルを識別し、
コンパレータ１３４は、６４＜Ｙ＜９５の入力輝度サンプルを識別し、
コンパレータ１３６は、１９６＜Ｙ＜２５５の入力輝度サンプルを識別する。

いくつかの配置構成では、コンパレータ１３０〜１３６に割り当てられるピクセル輝度値範囲は連続している可能性があることに留意されたい。それらの配置構成では、ＮＯＲゲート１４８は不要であり、省略することができる。例示としての実施形態に示されているような他の配置構成では、コンパレータ１３０〜１３６に割り当てられるピクセル輝度値範囲は連続していない。これらの配置構成では、例示としての実施形態に示されたようなＮＯＲゲート１４８の使用により、コンパレータ１３０〜１３６に関連付けられたピクセル値範囲外のピクセル輝度値が、イメージ・データの最終分析に依然として寄与することが確保される。しかしながら、たとえピクセル輝度値範囲が連続していない場合であっても、ＮＯＲゲート１４８の使用は不要であり、省略することができる。

乗算器１４０〜１４６はそれぞれ、対応するコンパレータ１３０〜１３６のそれぞれの入力サンプル範囲に関連付けられ割り当てられた重みを有し、乗算器１４０〜１４６は、それぞれの対応するコンパレータ１３０〜１３６からの「真」の論理信号出力に応答して重み値を出力する。

前述の例示としての実施形態では、それぞれのコンパレータからの「真」の論理レベルに応答して、
乗算器１４０が重み値−１を出力し、
乗算器１４２が重み値＋１８３２５を出力し、
乗算器１４４が重み値＋１２５３を出力し、
乗算器１４６が重み値＋２を出力する。

動作時に、入力ピクセル輝度値はそれぞれのコンパレータ１３０〜１３６に並行して供給され、それぞれのコンパレータ１３０〜１３６はその入力ピクセル輝度値をそれぞれの割り当てられたピクセル輝度値範囲と比較する。入力ピクセル輝度値がコンパレータ１３０〜１３６の割り当てられたピクセル輝度値範囲内にある場合、コンパレータ１３０〜１３６は「真」の論理信号を出力し、そうでない場合、コンパレータは「偽」の論理信号を出力する。

前述のように、ピクセル輝度値がいずれのピクセル輝度値範囲内にもない場合、すべてのコンパレータ１３０〜１３６の出力は「偽」の論理信号であり、「真」の論理信号はＮＯＲゲート１４８から出力される。そうでない場合、ピクセル輝度値はコンパレータ１３０〜１３６のうちの１つのピクセル輝度値範囲内にあり、そのコンパレータ１３０〜１３６の出力は「真」の論理信号となる。

コンパレータ１３０〜１３６のうちの１つからの「真」の論理信号出力に応答して、対応する乗算器１４０〜１４６によりそれぞれの重みが生成され、アキュムレータ１５０内の前の累積値に加えられて、累積値ｄが形成される。

サンプル値が、コンパレータ１３０〜１３６に関連付けられたいかなるサンプル値範囲内にもない場合、すべてのコンパレータの出力は「偽」論理レベルとなり、この場合は０である。この結果、ＮＯＲゲート１４８の出力は１となり、これがアキュムレータ１５０で累算される。これにより、前述のオプションのカウントＮ_４からの寄与が提供される。

例えば、フィールドの終わりにすべてのイメージ・サンプルが受信されると、イメージがブラックであるかどうかを判別するために、累積値ｄとコンパレータ（図示せず）内のしきい値とを比較することができる。

本発明の記載された実施形態では、しきい値はゼロであり、累積値が負の場合イメージはブラックであると決定される。当業者であれば、任意の定数Ｔならびに係数の大きさおよび符号の選択が、しきい値の選択に影響を与えることを理解することができるだろう。したがって、より一般的には、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、すべてのサンプル値に関する重み付け合計がしきい値よりも小さいかまたは大きい場合、正の検出が実行される。

さらに、有利なことに、前のイメージが考慮の対象となり、いくつかの連続するフィールドまたはフレームがブラックであると検出されるまで、ブラックの最終決定は行われない。

記載された実施形態では、累積値ｄを使用して、受け取られたかまたは処理されたサンプル値として弁別関数の実行合計が維持される。しかしながら、当業者であれば理解することができるように、各サンプル値範囲内のサンプル値をカウントし、符号付き重みを最終カウントに適用することも等しく可能である。

「ブラック」イメージの検出への本発明のいくつかの適用例では、イメージの「ブラックの程度（ｂｌａｃｋｎｅｓｓ）」の数値基準を出力することが望ましい。また、オペレータが、処理されるイメージのタイプに合うように有効な検出しきい値を調整するためにも役立つ。これは、数値出力を提供するために式（１）の弁別関数を評価することによって実行可能であり、式（１）中のしきい値定数Ｔはオペレータが必要に応じて調整することができる。しかしながら、これらの方法は完全に満足のいくものではなく、次にこれらの特徴を提供する本発明の代替実施形態について説明する。

「ブラック」イメージの検出用のシステムで、すべてのサンプル範囲境界に等しい正のオフセットが適用された場合、イメージが「ブラック」として検出される可能性が高くなる。有用な出力パラメータは、所与のイメージに関する検出結果が「非ブラック」から「ブラック」に変化するオフセット値である。このオフセットの値が小さくなるほどイメージは暗くなる。原則として、これは、すべての可能なオフセット値に関する弁別関数を評価すること、およびこの結果を分析することによって実行できるが、これは通常、実現不可能であり、特に、リアルタイム・映像シーケンスから即時に結果を生成する必要があるシステムでは実現性がない。

この状況で実現可能な代替形態は、３つの異なるオフセット値を使用して、シーケンスの各イメージ（例えば、各映像フィールドまたはフレーム）に対して弁別関数を３回評価すること、およびシーケンス内の前のイメージ分析に基づいて各イメージの分析に使用されるオフセット値を修正することである。図４には、この方法のブロック図が示されている。

図４を参照すると、イメージ・シーケンスからのデータ（４００）は３つのブラック弁別プロセス（４０１）、（４０２）、および（４０３）に入力される。これらプロセスは、それぞれ、しきい値パラメータＴがゼロに設定された式（１）に従って、シーケンス内の現在のイメージを評価する。３つのプロセスは、各プロセスにおいて、それぞれのサンプル・オフセット値入力（４０４）、（４０５）、（４０６）で受け取られる正のオフセット値によってサンプル値範囲Ｎ_ｊのセットが修正される点を除いて、同一である。

プロセス（４０１）は高値オフセットＨ（４０４）を受け取り、プロセス（４０２）は中間値オフセットＭ（４０５）を受け取り、プロセス（４０３）は低値オフセットＬ（４０６）を受け取る。各プロセスでは、オフセット値は、より軽量のイメージ・データ値（４００）が発生可能であり、依然としてブラック・イメージとして検出できるように、それぞれのサンプル値範囲の上限および下限を増加させる（範囲の幅は変わらない）。それぞれの結果ｄ（式（１）に従って評価済み）の符合に応じて、各プロセスはそれぞれの２進ブラック／非ブラック出力信号（４０７）、（４０８）、（４０９）を出力する。

弁別出力（４０７）、（４０８）、（４０９）は、シーケンス内の前のイメージ分析結果から生じるブラック／非ブラック信号（４０７）、（４０８）、（４０９）に基づいて、シーケンスの各イメージを分析するために使用されるオフセット値を調整するオフセット弁別ブロック（４１０）で分析される。ブロック（４１０）は、中間オフセット値Ｍ（４０５）が、それより上であれば現在のイメージがブラックであると決定され、それより下であれば現在のイメージが非ブラックであると決定されるオフセット値となるように、オフセット値を（以下で詳細に説明するように）調整する。したがって、中間オフセット値Ｍは現在のイメージの「ブラックの程度」（値が低いほどイメージは黒くなる）の数値指示であり、これは端末（４１１）で出力される。

次に、オフセット決定ブロック（４１０）の動作について、図５の流れ図を参照しながら説明する。この説明では、ゼロから２５５までの範囲を有するピクセル輝度値の処理が想定される。３つのオフセット値Ｌ、Ｍ、Ｈは等しい間隔Δで配置されるため、以下のようになる。

Ｌ＝Ｍ−Δ
および
Ｈ＝Ｍ＋Δ
図５を参照すると、初期ステップ（５０）でＭおよびΔはどちらも１２７に設定され、したがって、Ｌはゼロとなり、Ｈは２５４となる。

ステップ（５１）で、３つのそれぞれのサンプル範囲オフセットＬ、Ｍ、およびＨを使用して、現在のイメージは式（１）に従って３回分析され、それぞれのブラック（Ｂ）または非ブラック（Ｎ）に結果ｄ（Ｌ）、ｄ（Ｍ）、およびｄ（Ｈ）が与えられる。これらの結果は、意思決定ステップ（５２）、（５３）、（５４）、（５５）で分析される。

低オフセット値Ｌを使用するプロセスでブラックが検出されず、オフセットＭおよびＨを使用するプロセスで検出された場合、ステップ（５６）はＭの現在の値からΔの現在の値の半分を引いて、Δの現在の値を半分にする。これらの修正済み値は、ＬおよびＨの新しい値を定義するために使用され、これらはステップ（５１）でシーケンスの次のイメージを分析するために使用される。

ステップ（５１）からのブラックのみの結果が高オフセット値Ｈを使用するものである場合、ステップ（５７）は、Δの現在の値の半分をＭの現在の値に加え、次に、Δの現在の値を半分にし、これらの値を使用してステップ（５１）での次のイメージの分析用にオフセットを作成する。

ステップ（５１）での分析のすべてがブラックの結果を生じた場合、ステップ（５８）ではＭの現在の値からΔの現在の値を引いた後、Δの現在の値を２倍にし、これらの値を使用してステップ（５１）での次のイメージの分析用にオフセットを作成する。

ステップ（５１）での分析でブラックの結果がまったく生じない場合、ステップ（５９）ではΔの現在の値をＭの現在の値に加え、次に、Δの現在の値を２倍にし、これらの値を使用してステップ（５１）で次のイメージの分析用にオフセットを作成する。

意思決定ステップ（５２）、（５３）、（５４）のいずれでも正の結果が与えられない場合、ステップ（５１）でシーケンスの次のイメージを分析する前に、ＭおよびΔの値はステップ（５０）で再度初期化される。

図５に示されるプロセスの結果は、シーケンス内のほとんどのイメージが互いに同様である場合、Ｍ値は、それより下であれば現在のイメージは非ブラックとして検出され、それより上であれば現在のイメージはブラックとして検出される、クリティカル・オフセット値となる傾向がある。

当業者には明らかなように、図５のプロセスに適用する必要のあるいくつかの追加の制約がある。例えば、オフセット値はゼロから２５５の範囲に限定すべきであり、Δは１２７を超えてはならない。

Ｍ値の他のいくつかの処理は、「ブラックの程度」の基準としてのその有用性を向上させるものであることが望ましい。３つの結果ｄ（Ｌ）、ｄ（Ｍ）、およびｄ（Ｈ）のすべてがブラックを示し、Ｌの値がゼロの場合、暗いイメージが処理されていることはほぼ確実であるため、報告される「ブラックの程度」は最大に設定され、Ｍの値は大きく、イメージのブラックの程度を表さない可能性がある。また、Ｍの値が６４より大きい場合、イメージが再度暗くなる見込みはないため、信頼できない可能性があり、この場合、６４より小さい新しいＭの値が見つかるまで、出力されるブラックの程度の基準として６４より小さかったＭの最後の値が保持される。

ブラックの程度の基準として出力する前に、Ｍの値を異なるスケール、おそらくは極端な値のクリッピング有りまたは無しの非線形スケールにマッピングすることが有用である可能性があり、出力の信頼性は好ましくは再帰的フィルタを使用して時間的にフィルタリングすることができる。シーケンス内のイメージの「ブラックの程度」の変化の数値表現が得られれば、処理されるイメージのタイプに適した２進結果を取得するために、オペレータが決定したしきい値をその数値結果に適用することは簡単である。

当業者には明らかなように、本発明はハードウェアまたは好適なプロセッサ上で実行中のソフトウェアで実施することができる。

それ故、本発明は、同様またはほぼ同じ輝度あるいは色成分値を有するフィルムまたは映像コンテンツにおいてフィールドまたはフレームを検出するための有利な方法および装置を提供する。

本明細書に記載された発明の概念を実施する多くの異なる配置構成が想定可能であることは明らかであり、本発明は上記で開示された配置構成に限定されるように意図されるものではない。

例示としての試験サンプル値範囲を示す図である。 例示としての実施形態の方法を示す流れ図である。 本発明の例示としての実施を示すブロック図である。 本発明の他の例示としての実施を示すブロック図である。 図４に示された装置の動作を示す流れ図である。

Claims (23)

1. イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析する方法であって、
   複数のイメージ・データのサンプル値範囲からの相対的寄与から重み付け合計を形成するステップであって、前記相対的寄与が前記範囲内にあるサンプル数および各サンプル値範囲に関連付けられた符号付き重みに依存し、定義された値を含むサンプル値範囲が少なくとも１つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有するステップと、
   前記定義された値を含む前記サンプル値範囲に割り当てられた前記重みがそれぞれ負または正であれば、前記重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するステップとを含む方法。
2. 重み付け合計を形成する前記ステップが、各イメージ・データ・サンプルについて、複数のサンプル値範囲のうちの１つに前記イメージ・データ・サンプルを割り振るステップと、重み付け合計を形成するために割り振られた前記サンプル値範囲に関連付けられた符号付き重みを累算するステップとを含む、請求項１に記載の方法。
3. 前記イメージ・データが輝度データである、請求項１又は２に記載の方法。
4. 前記イメージ・データが主要な色成分データである、請求項１〜３のいずれかに記載の方法。
5. 前記定義された値がブラック・レベルである、請求項１〜４のいずれかに記載の方法。
6. 前記定義された値がホワイト・レベルである、請求項１〜５のいずれかに記載の方法。
7. 前記イメージ・データが色差データである、請求項１〜６のいずれかに記載の方法。
8. 前記定義された値がゼロ色差を表す、請求項７に記載の方法。
9. 前記定義された値に最も近いがこれを含まない前記サンプル値範囲に割り当てられた前記重みが、前記定義された値を含む前記サンプル値範囲と同じ符号の重みを有する、請求項１〜８のいずれかに記載の方法。
10. 前記定義された値を含む前記サンプル値範囲に関連付けられた前記重みと反対の符号を有する前記重みが、前記関連付けられたサンプル値範囲が前記定義された値に近くなるほど大きくなる、請求項１〜９のいずれかに記載の方法。
11. 前記しきい値がゼロである、請求項１〜１０のいずれかに記載の方法。
12. 前記定義された値を含む前記サンプル値範囲に関連付けられた前記重みが負である、請求項１〜１１のいずれかに記載の方法。
13. 前記重み付け合計がイメージからのサンプルの代表セットから計算される、請求項１〜１２のいずれかに記載の方法。
14. 前記サンプルの代表セットがテレビジョン画像フィールドのピクセルである、請求項１〜１３のいずれかに記載の方法。
15. 連続する奇数または偶数のテレビジョン画像フィールドが分析される、請求項１４に記載の方法。
16. イメージのシーケンスからのイメージ・データが分析され、前記シーケンスにおける定義された数の連続するイメージのそれぞれについて正の結果が決定された場合のみ正の決定が出力される、請求項１〜１５のいずれかに記載の方法。
17. サンプル値範囲の数と、前記サンプル値範囲の範囲と、前記サンプル値範囲に割り当てられることになる前記重みの大きさと、前記サンプル値範囲に割り当てられることになる前記重みの符号のうちの１つまたは複数がトレーニング・シーケンスの最適化から得られる、請求項１〜１６のいずれかに記載の方法。
18. 少なくとも３つの重み付け合計が評価され、それぞれの重み付け合計の連続するサンプル値範囲が異なるそれぞれのオフセット値によってオフセットされ、前記オフセット値が反復プロセスで調整されることにより、前記少なくとも１つのオフセット値の調整の方向が、前記重み付け合計の符号の多数決によって決定され、イメージ分析パラメータが少なくとも１つのオフセット値から導出される、請求項１〜１７のいずれかに記載の方法。
19. 前記イメージ分析パラメータとして中間オフセット値が出力される、請求項１８に記載の方法。
20. ３つの重み付け合計が評価される、請求項１８または請求項１９に記載の方法。
21. 請求項１〜２０のうちのいずれか１項に記載の方法を実行するための、プロセッサ実施可能命令を格納するプログラムキャリア。
22. 請求項１〜２０のうちのいずれか１項に記載の方法を実施するように適合および構成された装置。
23. イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析するための装置であって、
    複数のサンプル値範囲を定義するための手段であって、前記サンプル値範囲それぞれが割り当てられた符号付き重みを有し、定義された値を含むサンプル値範囲が、少なくとも１つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有する、定義するための手段と、
    それぞれの前記範囲内にある値を有するサンプルの数をカウントするための手段と、
    前記カウント値の重み付け合計を形成するための加算器と、
    前記重み付け合計をしきい値と比較し、前記定義された値を含む前記サンプル値範囲に割り当てられた前記重みがそれぞれ負または正であれば、前記重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するためのコンパレータとを備える装置。

Images