JP2010246161A - ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置及び方法 - Google Patents

Abstract

【課題】 検出確実性の程度を向上させたコマーシャル分離装置及び方法を提供し、先行技術において示されていない進歩した技術の組み合わせを使用するコマーシャル分離装置を提供する。
【解決手段】 コマーシャル検出装置は、カット検出スレッド及びフィルタスレッドによって解析された入力データストリームからフレームを取得するフレーム取得スレッドを含む。コマーシャル検出スレッドは、平均カットフレーム間隔、カットレート、前記平均カットフレーム間隔における変化、ロゴの不在、コマーシャル署名検出、ブランド名検出、高いカットレートに先行するブラックフレームの列、解析されているフレームの前の指定された期間内に位置する同様のフレーム、及び、キャラクタ検出の各々に割り当てられた信用度に基づいて実行する。
【選択図】図２

Description

発明の背景
本発明は、ビデオ記録及び再生システムの分野に関する。特に、本発明は、ビデオデータストリーム内のコマーシャルを位置決めする方法及び装置に関する。

テレビジョン番組は、一般に、ビデオカセットレコーダ（ＶＣＲ）の使用によって記録される。記録することにより、ユーザは、番組を後の時間において観るか、番組を同時に観て、後に観るためにその複製をとっておくことができる。ＶＣＲを使用して後に観るべき番組の複製を生成する場合、多くのユーザは、そのＴＶ番組内に挿入されたコマーシャル又はプロモーションの内容には興味がなく、一般的に、このようなユーザは、これらのコマーシャルを手動でスキップする。

ブルム（Blum）に対する米国特許明細書第５１５１７８８号で開示されているような自律的にスキップするように設計された装置は、「ブラックフレーム」の発生に応じて前記ＶＣＲに合図し、記録を停止させる。ブラックフレームは、通常、コマーシャル部分の直前及び直後に見られる。このような装置は、画面に表示された画像のアクティビティにおける変化も識別する。アクティビティは、２つの異なるフレームの組間の輝度レベルにおける変化の割合である。コマーシャルは、一般的に、「アクティビティ」で満たされている。少ない量のアクティビティを検出した場合、コマーシャルが終了したと判断する。記録を再開し、続ける。

あいにく、「アクティビティ」は適切に規定されないことから、アクティビティが開始又は終了する時を正確に決定することは困難である。どのようなブラックスクリーンも、ＶＣＲの記録を停止する。それに続くアクティビティがある限り、前記装置は、コマーシャルの存在を推定する。従って、番組においてブラックスクリーンにアクションシーケンスが続くと、コマーシャルとして誤って判断され、スキップされてしまうおそれがある。代わりに、ゆっくりしたペースのコマーシャルは、番組として誤って判断され、記録されてしまうおそれがある。

ボナー（Bonner）他による米国特許明細書第４３１４２８５号に開示されているようなブラックフレームを識別する他の技術は、入力信号の電圧レベルにおけるしきい値を下回る低下を感知する。イグルデン（Iggulden）他による米国特許明細書第４３１４２８５号において開示されているような、もう１つの他の技術は、如何なるコマーシャルも含む番組全体を記録することである。ブラックフレームが放送される時を常に記録する。記録後、プロセッサは、ブラックフレーム間の期間がコマーシャルであるか番組であるかを決定する。これは、簡単な式によって成し遂げられる。前記期間が５分未満の場合、コマーシャルであると判断する。再生中、前記装置はテープを早送りし、コマーシャルであると決定された領域を通り過ぎる。前記装置は、再生を開始及び停止する時を覚えていなければならないため、特別なテープを使用しなければならないか、標準的なテープを改造しなければならず、これによってシステムコストが上昇する。さらに、互いに５分未満の２つのブラックフレームは、薄暗い又は暗いシーン中にも生じることがあり得るため、必ずしもコマーシャルの典型ではない。

レウイン（Lewine）に対する米国特許明細書第５６６８９１７号に開示されているような、さらにもう１つの他の技術において、ほとんど一致する連続フレームが、コマーシャルを表すとする。役者があまり動かないトークショー又は連続コメディー番組において代表的に見られるシーンは、この技術ではコマーシャルとして誤って判断され、スキップされる恐れがある。

全ての先行技術の装置は、信号がコマーシャルであるかどうかを識別するこれらの方法がしばしば不正確である点において不完全である。映画の中間部にブラックフレームがあると、これらの装置の大部分は、これをコマーシャルと間違える。

従って、本発明の目的は、検出確実性の程度を向上させたコマーシャル分離装置及び方法を提供することである。

本発明の他の目的は、先行技術において示されていない進歩した技術の組み合わせを使用するコマーシャル分離装置を提供することである。

本発明の他の目的は、拡張されたブラックフレーム検出技術を提供することである。

これらの目的及び利点は、添付図面と関連して読まれる以下の説明に照らして見た場合、より明らかになり、前記図面において、同様の参照符は同様の要素を示すためのものである。

本発明の目的及び要約
本発明の一態様によれば、複数のフレームに分割されたビデオデータストリーム内のコマーシャルの前又は後に生じるブラックフレームを検出する家庭情報装置は、ブラックフレーム検出器を有する。前記ブラックフレーム検出器は、前記フレームの解析されたフレームを複数の領域に分割するステップと、前記領域に関する平均最高輝度値を計算するステップと、前記領域に関する平均最低輝度値を計算するステップと、前記平均最高輝度値及び平均最低輝度値をブラックフレームしきい値と比較するステップと、ブラックフレームの発生を前記比較するステップに基づいて認知するステップとを行う。

本発明の他の態様によれば、複数のフレームに分割されたビデオデータストリーム内のコマーシャルの少なくとも一部を検出する家庭情報装置は、平均カットフレーム間隔検出器と、平均カットフレーム間隔傾向検出器と、ブランド名検出器と、カットレート及びブラックフレーム検出器と、フレーム類似検出器と、キャラクタ検出器と、静止画検出器とのうち少なくとも１つを具える。前記平均カットフレーム間隔検出器は、カットを有する第１フレーム及びカットを有する前フレーム間のフレーム数を表す分子と、前記前フレーム及び第１フレーム間のカット数を表す分母とを含む商を計算するステップと、前記商をカットフレーム間隔しきい値と比較するステップと、コマーシャルの発生を前記比較するステップに基づいて認知するステップとを行う。前記平均カットフレーム間隔傾向検出器は、複数のフレームにおけるカット数における変化を決定し、コマーシャルの一部を前記変化に基づいて検出する。前記ブランド名検出器は、前記データストリームを、オーディオプロセッサ、ビデオプロセッサ及びクローズドキャプションプロセッサのうち少なくとも１つによって処理し、テキストを生成するステップと、前記テキストを製品名及び商品名のグループと比較するステップと、コマーシャルの一部を前記比較するステップに基づいて認知するステップとを行う。前記カットレート及びブラックフレーム検出器は、コマーシャルの一部を、ブラックフレームの列が、解析されたカットの前のカット及びブラックフレーム期間内に生じたかどうかに基づいて認知する。前記解析されたカットは、カット列内において生じ、該カット列はカットレート期間内に生じる。前記フレーム類似検出器は、現在フレームが前フレームと類似しているかどうかを決定し、コマーシャルの一部を、ある期間内のフレームが現在フレームと類似している場合に検出する。前記キャラクタ検出器は，前記フレームの解析されたフレーム内の文字を見つけるステップと、前記文字の周囲のボックスを形成するステップと、前記ボックスの大きさを決定するステップと、前記解析されたフレームにおける前記ボックスの位置を決定するステップと、前記解析されたフレーム及びその後の解析されたフレームの前記大きさ及び位置を解析するステップと、コマーシャルの一部を前記解析するステップに基づいて検出するステップとを行う。前記静止画検出器は、コマーシャルの一部を、多数の静止画が、ある期間内で発生した時に検出する。

本発明のもう１つの他の態様によれば、複数のフレームに分割されたビデオデータストリーム内のコマーシャルを検出するシステムは、前記フレームを取得するフレーム取得器を具える。第１検出器は、少なくとも１つのカットにおける前記データストリーム内で、第１期間内に位置する同様のフレームと、ブロックフレームとを認知する。第２検出器は、前記データストリーム内で、第２期間内で同様の少なくとも１つのフレームと、実際的に同じ色であるフレームとを検出する。第３検出器は、前記コマーシャルを、前記第１及び第２検出器によって発生された情報を使用して認知する。

本発明のさらにもう１つの他の態様によれば、複数のフレームに分割されたビデオデータストリーム内のコマーシャルを、平均カットフレーム間隔と、カットフレーム間隔と、ブランド名と、ブラックフレームと、カットレート及びブラックフレームと、フレーム類似と、キャラクタ検出と、静止画とのうち少なくとも１つによって認知する方法を使用する。前記平均カットフレーム間隔検出は、カットを有する第１フレームとカットを有する前フレームとの間のフレーム数を表す分子と、前記前フレームと第１フレームとの間のカット数を表す分母とを含む商を計算するステップと、前記商をカットフレーム間隔しきい値と比較するステップと、コマーシャルの発生を前記比較するステップに基づいて認知するステップとを含む。前記平均カットフレーム間隔傾向検出は、複数のフレームにおけるカット数における変化の決定と、前記変化に基づくコマーシャルの一部の検出である。前記ブランド名検出は、前記データストリームを、オーディオプロセッサ、ビデオプロセッサ及びクローズドキャプションプロセッサのうち少なくとも１つによって処理し、テキストを生成するステップと、前記テキストを製品名及び商品名のグループと比較するステップと、コマーシャルの一部を前記比較するステップに基づいて認知するステップとを含む。前記ブラックフレーム検出は、前記フレームの解析されたフレームを複数の領域に分割するステップと、前記領域に関する平均最高輝度値を計算するステップと、前記領域に関する平均最低輝度値を計算するステップと、前記平均最高輝度値及び平均最低輝度値をブラックフレームしきい値と比較するステップと、コマーシャルの開始及び終了の発生を前記比較するステップに基づいて認知するステップとを含む。前記カットレート及びブラックフレーム検出は、コマーシャルの一部を、ブラックフレームの列が、解析されたカットの前のカット及びブラックフレーム期間内に生じたかどうかに基づいて認知する。前記解析されたカットは、カット列内において生じ、該カット列は、カットレート期間内に生じる。前記フレーム類似検出は、現在フレームが前フレームと類似しているかどうかの決定と、ある期間内のフレームが現在フレームと類似している場合、コマーシャルの一部とすることである。前記キャラクタ検出は，前記フレームの解析されたフレーム内の文字を見つけるステップと、前記文字の周囲のボックスを形成するステップと、前記ボックスの大きさを決定するステップと、前記解析されたフレームにおける前記ボックスの位置を決定するステップと、前記解析されたフレーム及びその後の解析されたフレームの前記大きさ及び位置を解析するステップと、コマーシャルの一部を前記解析するステップに基づいて検出するステップとを含む。前記静止画検出は、コマーシャルの一部を、多数の静止画が、ある期間内で発生した時に認知する。

図１Ａは、ビデオと、本発明の第１実施形態によるコマーシャル分離器との間の入力信号分割のブロック図表現である。図１Ｂは、本発明の他の実施形態による、コマーシャル分離器によって受けられ、その後ＶＣＲ及びメモリ間で分割される入力信号のブロック図である。 図２は、異なったスレッド及び関係するメモリを含むプロセッサのブロック図である。 図３Ａ、３Ｂ、３Ｃ及び３Ｄは、入力信号のスケーリング及び変形を説明する。 図４Ａ及び４Ｂは、アナログ及び圧縮信号を各々入力信号に変換することに関するブロック図である。 図５は、カット検出スレッドに関するフローチャートである。 図６Ａは、フィルタスレッドに関するフローチャートである。 図６Ｂは、フィルタスレッドに関するフローチャートである。 図７は、署名方法のブロック図である。 図８は、代表的なキーフレームリストの表である。 図９は、代表的な一次フレームバッファの図である。 図１０は、ブラックフレーム検出方法の図である。 図１１は、ブランド名検出方法のブロック図である。 図１２は、キーフレームリスト方法の図である。 テキスト検出方法のブロック図である。 テキスト検出方法によって解析された文字のグループを示す。 図１５Ａ、１５Ｂ及び１５Ｃは、キャラクタ分離器（テキスト検出方法）の連続的なボックスの高さと位置との関係を示す。 図１６は、ロゴ検出において解析された領域の図である。 図１７Ａ、１７Ｂ及び１７Ｃは、ロゴ検出方法を示す。 図１８は、平均カットフレーム間隔傾向のグラフである。 図１９は、代表的なフレームリストバッファの表である。

好適実施形態の詳細な説明
一般的な概観
図１Ａを参照すると、家庭情報装置５０は、コマーシャル分離器５６に供給される入力５２を含む。メモリ７８は、コマーシャル分離器５６によって使用され、情報を一時的に保持し、検出されたコマーシャルの時間を最終的に格納する。コマーシャル分離器５６は、入力５２をＶＣＲ５８に供給する。図１Ｂに示すような他の実施形態によれば、ホーム情報装置５１は、分割器５４を経てＶＣＲ５８及びコマーシャル分離器５６の双方に供給される入力５２を含む。装置５１は、カタログコマーシャルに特に好適である。

図１Ａを参照すると、入力５２を、アナログ（ｘ（ｔ））又はディジタル（ｘ_ｎ）フォーマットでフォーマットすることができる。前記コマーシャル分離技術は、離散コサイン変換（ＤＣＴ）から得られた前記ビデオ信号の係数を使用する。図４Ａは、入力５２をアナログ信号ｘ（ｔ）から与えることを示す。アナログ信号ｘ（ｔ）をＡ／Ｄコンバータによってディジタル信号に変換し、入力５２を発生するために順方向離散コサイン変換（ＦＤＣＴ）６６に供給する。どのような商業的に利用可能なＡ／Ｄコンバータ及びＦＤＣＴも使用することができる。図４Ｂは、入力５２を圧縮信号Ｘｎから発生することを示す。圧縮信号Ｘｎを、伸張回路７０によって伸張し、エントロピー・デコーダ７２によって復号化する。逆量子化器７６は、前記復号化された信号を逆量子化し、入力５２を発生する。エントロピー・デコーダ７２及び伸張回路７０を、当該技術分野においてよく知られているテーブル仕様７４によって制御する。

入力５２を、どのようなビデオ又はオーディオ／ビデオ組み合わせソースとしてもよい。例えば、テレビジョン信号又はインターネットファイル放送としてもよい。どのような媒体に格納してもよい。本例において、ＶＣＲテープを示すが、光学媒体、磁気記憶、又は、ランダムに、線形に、又は何らかの他の方法によってアクセス可能などのような他の記憶媒体にも適合させることができる。

図２を参照すると、コマーシャル分離器５６は、プロセッサ５７及びメモリ７８を含む。プロセッサ５７は、４つの別個のスレッドを制御する。これらは、フレーム取得スレッド８０、カット検出器スレッド８２、フィルタスレッド８４及びコマーシャル検出スレッド８６である。これらのスレッドの全てを、以下により詳細に説明する。以下の説明的な例において使用するプラットフォームは、パーソナルコンピュータを有する標準的なＶＣＲである。前記ＶＣＲから前記コンピュータにデータをフィードバックするのにインタフェースを必要とする。フィードバックを利用できない場合、テープ内容確認装置を必要とする。このフィードバック能力を有する商業的に利用可能なＶＣＲが存在する。例えば、フィリップス１００ＢＫのような特殊化された製品を使用することができる。代わりに、本発明を、パーソナルコンピュータにおいて単独型のソフトウェアを使用して実現することができる。

Ｉ．記録
各入力フレームは、３つの２次元アレイを含む。１つは輝度Ｙに対応し、他の２つはクロミナンス赤（Ｃｒ）及びクロミナンス青（Ｃｂ）に対応する。図３Ａを参照すると、入力５２は、標準的な５２５×４８０係数（すなわち画素）を有する。これを、図３Ｂに示すように１６０×１２０係数に縮小した。これは、輝度Ｙを表す。色に関して、追加の計算を行う。４つのクロミナンス値のサブブロックを平均し、図３ｃに示すようなＣｒ及びＣｂに関する４０×３０係数ブロックを結果として生じる。

再び図２を参照すると、上記計算を、フレーム取得スレッド８０によって行う。フレームがフレーム取得８０によって取得されると、制御はカット検出器スレッド８０に渡される。カット検出器スレッド８２は、１）前記フレームがブラックフレームであるかどうか、２）カット（シーンにおける急激な変化）が生じたかどうか、３）前記フレームが静止フレームであるかどうかを決定する。次に制御はフィルタスレッド８４に進み、このフィルタスレッド８４は、類似又は単色に関するキーフレームをフィルタ処理する。最終的に、前記コマーシャル検出プロセスを、コマーシャル検出スレッド８６によって行うことができる。

図５を参照すると、カット検出器スレッド８２の機能を説明するブロック図が示されている。ステップＳ５１において、カット検出器スレッド８２は、前記フレームがブラックフレームであるかどうかを決定する。そうである場合、この画像をメモリ７８に保存する。そうでない場合、ステップＳ５２において、カット検出器スレッド８２は、前記フレームがカットであるかどうかを決定する。そうである場合、この画像を保存する。そうでない場合、ステップＳ５３において、カット検出器スレッド８２は、前記フレームが静止フレームであるかどうかを決定する。そうである場合、前記画像を保存する。前記フレームがブラック、カット、又は静止フレームでない場合、前記フレームを破棄する。

キーフレームフィルタ処理 キーフレームを決定するどのような既知の方法も、単色であるフレーム、又は、前のフレームと類似のフレームを指摘するのに使用することができる。この情報を、以下に説明するコマーシャル検出方法において使用する。例えば、図６Ａ及び６Ｂは、キーフレームフィルタ処理手順の概観である。図６Ａのステップ６０２乃至６０６に示すように、ブロック署名を、フレームにおける各ブロックに関して得る。図７に示すように、ブロック署名７００は、この例において、８ビットであり、これらのうち３ビットはＤＣ署名７０２を表し、これらのうち５ビットはＡＣ署名７０４を表す。前記ＤＣ値以外のブロックにおけるすべての他のＤＣＴ係数は、ＡＣ値である。

前記ＤＣ署名は、前記ＤＣ値を抽出し（ステップ６０２）、該ＤＣ値が指定された値の範囲内（この例では、−２４００乃至２４００の間）であるかどうかを決定する（ステップ６０４）ことによって得られる。この範囲は、図７に示すように、予め選択された数の間隔に分割する。本発明において、より多く又はより少ない間隔を画像のより大きい又はより小さい粒状性に関して使用できるとしても、８の間隔を使用する。

各間隔を、図７に示すように、予め決められたマップに割り当てる。各ＤＣ値を前記範囲と比較し、前記ＤＣ値が入る間隔に関するマッピングを返す。必要なビットによって表される値は、前記間隔の数に対応する。この例において、前記範囲を８間隔に分割したことから、３ビットを使用する。図７に示すように、ブロック署名７００は、このように、最初の３ビットとしてＤＣ署名７０２と、残りの５ビットとしてＡＣ署名７０４とを含む。

図６Ａのステップ６０４において、前記ブロックに関するＡＣ値の良好な表現を与えるために、図７に示すように、ＤＣ値に最も近い５つのＡＣ値（Ａ１−Ａ５）を抽出する。ステップ６０６において、５つのＡＣ値の各々をしきい値（ＡＣｔｈｒｅｓｈ）、この例において、２００と比較し、前記ＡＣ値＞ＡＣｔｈｒｅｓｈならば、ＡＣ署名７０６における対応するビットを、１のような予め決められた値に設定し、前記ＡＣ値≦ＡＣｔｈｒｅｓｈならば、対応するビットをゼロに設定する。

このようにして、ブロック署名７００を得て、前記ブロック署名を使用して、単色であるフレームのような特定の画像又はフレームを除去することができる。

単色フレームを除去する迅速な方法は、ＤＣ署名のみを頼りに、ステップ６０２と６０４との間に起こる。各ＤＣ署名７０４を比較し、生じる各々の特定のＤＣ署名のカウントを保つ（ステップ６６０）。すなわち、各ＤＣ署名は、前記ＤＣ値が入る間隔を表し、この例において、８つの異なるＤＣ署名が存在する。例えば、前記ブロックの９０％、すなわち１７８２ブロック（０．９×３３０マクロブロック×６ブロック）が同じ間隔に入る（同じＤＣ署名を有する）場合、前記画像を単色とみなし（ステップ６６２）、前記フレームを破棄する、すなわち、フレームメモリから除去する（ステップ６６４）。その代わりに、別個のカウンタを各々の形式のブロック（Ｃｒ，Ｃｂ．．．）に関して保ち、各々別個のカウンタを関係するしきい値と比較する。

前記フレームにおける各々のマクロブロックの各々のブロックに関するブロック署名（Ｂｌｋ＿ｓｉｇ）を得た後、領域を決定する。領域を、この例において、２以上のブロックとし、その各々のブロックは、前記領域において少なくとも１つの他のブロックと隣接し、同様のブロック署名を前記領域における他のブロックと共有する。前記フレームの各々のブロック署名を、各々他のブロック署名と比較し、計数して領域を決定できるとしても、本発明は、領域成長プロセスのような既知の方法を使用し、フレーム内の領域を決定する（ステップ６０８）。

前記領域成長プロセス中、領域計数を各々の領域に関して保ち、領域内のブロック数（サイズ）を計数し、１６ビットによって表現する。フレーム全体を解析し、前記領域を見つけたら、この例において、ｘ−ｙ座標基準を基礎とする他の既知の方法を使用し、各々の領域の中心を見つけてもよい（ステップ６１０）。ｘ及びｙ座標の双方を、各々ＣＸ及びＣＹとして抽出し、１６ビットによって表す。次に、各々の領域に領域署名Ｒｅｇｉｏｎ（Ｂｌｋ＿ｓｉｇ_ｒ，ｓｉｚｅ_ｒ，ＣＸ_ｒ，ＣＹ_ｒ）を割り当て、ｒを領域番号とする。前記領域に関するブロック署名を、前記領域成長プロセスによって決定されるような最も支配的なブロック署名に基づいて決定する。

本例においては、サイズが増大する特定の基準に基づいて、前記領域を格納し、領域フィルタ処理を行う（ステップ６１２）。この例において、最大の３つの領域を除くすべてを除去する。残りの３つの領域を、前記フレームを表すフレーム署名に組み入れる。前記フレーム署名を、本例において、１６８ビットによって表し（領域１，領域２，領域３）、あるいは、より正確には、（Ｂｌｋ＿ｓｉｇ１，ｓｉｚｅ１，ＣＸ１，ＣＹ１，Ｂｌｋ＿ｓｉｇ２，ｓｉｚｅ２，ＣＸ２，ＣＹ２，Ｂｌｋ＿ｓｉｇ３，ｓｉｚｅ３，ＣＸ３，ＣＹ３）の形式のものとする。

図６Ｂに示すように、フレーム比較手順は、現在フレーム（Ｆ２）及び前フレーム（Ｆ１）を、これらの個々のフレーム署名に基づいて比較する（ステップ６１６）。本例において、個々の領域１を比較し、次に個々の領域２を比較し、最後に個々の領域３を比較する。特に、個々の領域のブロック署名を、以下に従って比較する。
FDiff=ABS(size1_F1-size1_F2)+ABS(size2_F1-size2_F2)+ABS(size3_F1-size3_F2)

FDiff＜１０ならば、これらのフレームを同様とみなし、他のオブジェクト処理を行う（ステップ６２０）。FDiff≧１０ならば、これらのフレームを異なっているとみなし、どちらのフレームもこの手順においてフィルタ処理しない。

領域は、一般的に、オブジェクト、人、物等としてもよい「オブジェクト」を表す。オブジェクト処理は、前フレームにおける領域において示されたオブジェクトが、同じ位置又はきわめて近くにあるかどうかを決定する。本例において、前記オブジェクトを、前記フレームの第１焦点、又は、より多くの焦点のうち１つとする。例えば、ビデオは、ボールで遊んでいる子供に焦点を合わせてもよく、ここで前記ボールはフレーム内を動きまわる。ユーザが、前オブジェクトが画像内にあることを心配しないですむように、ビジュアルインデックスにおけるフレーム数を制限したい場合（ステップ６２２）、この時点Ｆ２において、現在フレームを、フレームメモリから除去する（ステップ６２４）。

ユーザが、オブジェクトがフレーム内にあることを考慮し、同じ位置又は極めて近くに示されたオブジェクトを有するフレームのみを除去したい場合、いくつかの方法を使用することができる（オブジェクトフィルタ、ステップ６２６）。

第１の方法は、以下に示すように、中心を、これらのユークリッド的距離を決定することによって比較する。正確には、
Edist=SQRT[(CX1_F1-CX1_F2)²+(CY1_F1-CY1_F2)²]+SQRT[(CX2_F1-CX2_F2)²+(CY2_F1-CY2_F2)²]+SQRT[(CX3_F1-CX3_F2)²+(CY3_F1-CY3_F2)²]

Edist＞３ならば、前記オブジェクトが動いたとし、フィルタ処理を行わない。Edist≦３ならば、前記オブジェクトがほぼ同じ位置のままであるとし、従って現在フレームを除去する。

オブジェクトフィルタ処理の第２の方法は、フレームを、マクロブロックを使用して比較する。正確には、個々のマクロブロック内の個々のブロックのブロック署名を比較する。例えば、現在フレーム（Ｆ２）のＭＢ１，１（フレームの位置１，１におけるマクロブロック）のＹ１ブロックのブロック署名を、前フレーム（Ｆ１）のＭＢ１，１のＹ１ブロックのブロック署名と比較する。

最初に、Ｙ１ブロックのＤＣ署名を比較する。これらのＤＣ署名が一致したら、ＡＣ署名をビット毎に比較する。カウンタ（ＡＣｃｏｕｎｔ）を保ち、予め選択された数のビット、本例において、５ビットのうち４ビットが一致したら、ビットカウンタ（ＢｌｋＣＴＲ）を１増分する。ＤＣ署名が一致しなければ、又は、ＡＣｃｏｕｎｔ＜４ならば、次のブロックを解析する。

前記マクロブロックの各ブロック（４：２：０を使用するこの例において６ブロック）を解析する。マクロブロックにおけるすべてのブロックを解析した場合、前記ブロックカウンタを検査する。ＢｌｋＣＴＲ≧４ならば、前記ブロックを同様とみなし、マクロブロックカウンタ（ＭＢＣＴＲ）を１増分する。

画像におけるすべてのマクロブロックを解析したら、ＭＢＣＴＲを検査する。ＭＢＣＴＲが、この例において、フレームにおけるマクロブロックの≧７５％（２４７すなわち０．７５×３３０マクロブロック）であれば、前記フレームを同様とみなし、現在フレーム（Ｆ２）を前記フレームメモリから除去する。ＭＢＣＴＲ＜７５％であれば、フレームをこの時点においてフィルタ処理しない。

単色フレームを除去する追加の方法は、前記領域サイズを決定するときに起こる。領域サイズが前記フレームブロックの９０％、すなわち１７８２ブロック以上なら、前記フレームを単色とみなし、フレームメモリから除去する。このフィルタ処理は、考察した前記単色フレームフィルタ処理よりも多くの処理を必要とする。

ブラックフレーム検出 本発明は、先行技術のブラックフレーム検出技術を最適化する。図３Ａ−３Ｄを参照すると、入力５２がＹＵＶ信号として出発する場合、ＹＵＶ入力信号５２を、図３Ａに示す５２５×４８０画素から図３Ｂに示す１６０×１２０画素に縮小する。次に、前記信号の輝度部分を、さらに、図３Ｄに示すような１６×１６のマクロブロックに分割する。図１０を参照すると、次にこれらのマクロブロックの各々を、４つの８×８ブロックに分割する。この時点において、前記ＤＣＴ動作を各々の８×８ブロックに行う。これは、画素がある位置と同じ位置でＤＣＴ係数を生成する。この解析において、前記ＤＣ係数のみが各々の８×８ブロックに必要である。この処理を図４Ａにおいて記号化する。入力５２が圧縮信号として始まる場合、それを解凍しなければならないが、前記ＤＣＴ係数は図４Ｂに示すように保持する。明らかに、前記ＤＣＴ手順を前記フレームのすべてに行うが、ちょうどブラックフレーム検出が実行されているフレームには行わない。

図１０を再び参照すると、前記ＤＣＴを一度行うと、前記１６０×１２０のフレームを４つの象限に分割する。各々の象限を、ＤＣＴ係数の行によって定義する。各々の行におけるＤＣ値を平均し、平均ＤＣ値“Ａ”を生成する。第１行を図１０に示す。最大平均値“ｍａｘ”及び最小平均値“ｍｉｎ”を決定する。この場合において、前記第１行のみを解析した。このｍｉｎ及びｍａｘの平均は、必然的に平均ＤＣ値Ａ（すなわち、前記第１行のＤＣ係数の平均値）に等しくなる。次に、象限１における第２行を平均し、平均値Ｂを発生する。ＢをＡと比較し、新たなｍｉｎ及びｍａｘ値を計算する。これを、前記象限の４つの行に関して続ける。次に、全体の象限に関するｍｉｎ及びｍａｘを互いに比較する。これらの間の差がｍａｘの７．５％より小さければ、前記フレームをブラックフレームとし、ｍｉｎ及びｍａｘの計算された値を保持する他の象限に関する解析を続ける。そうでなければ、前記解析を中止し、前記フレームをブラックでないとみなす。

行毎の解析は、何らかのテキストが画面上に含まれている場合にそのテキストを認識することを保証する。例えば、映画の終了時に、クレジットの列は、１ライン又は２ワードを示す。フレーム全体を一度に解析すると、平均輝度はグレイフレームとほぼ等しくなり、誤ってブラックフレームとみなすかもしれ乃至かしながら、本発明の方法に関して、１ラインのテキストは、その関連する象限に関して大きいｍａｘを発生し、前記フレームをブラックとみなさない。

“ｍｉｎｍａｘ”とラベル付けされた第３パラメータを、システム動作全体に関して保持する。これは、前記象限において見つかった最低最大値である。番組全体は、その品質に応じてより明るく又は暗くなるかもしれないため、このパラメータを使用する。絶対的なしきい値を使用すると、ブラックフレームは、暗い低品質の番組において頻繁に検出され、明るい番組においては全く検出されないかもしれない。フレーム全体を解析し、前記フレームがブラックであるように見える場合（すなわち、ｍｉｎ及びｍａｘが前記全ての象限に関して互いの７．５％以内）、本発明は、ｍａｘの７５％を比較し、ｍｉｎｍａｘ未満の場合を探す。従って、ブラックフレームを検出する全体的な式を以下のように表すことができる。
max-min<(0.075)(max)AND(0.75)(max)<minmax→ブラックフレーム

各フレームを象限に分割しなくてもよく、前記解析を行によって実行しなくてもよい装置を形成するべきである。解析を、ブロック及び行のなんらかの組み合わせによって行うことができる。例えば、検出を、行又は半行、列、又はマクロブロックによって行うことができる。フレーム全体に関しても行うことができる。フレーム全体を１回で解析することは、前記フレームにおいてノイズがある場合、ブラックとみなさないため、不確実である。各ブロックをより多く分割すると、なんらかの空電ノイズが前記ブラックフレーム検出を妨害する可能性がより減る。他の解析方法は、前記フレームの上、下、左及び右１０％を除外した内側の長方形のみにおいて探すことと、前記フレームを列及び行を定義する複数のブロックに分割し、解析を１ブロックおきに行うチェッカー盤構成と、上述した方法の何らかの組み合わせとを含む。前記フレームを分割するのに選択された形状を多角形にする必要もなく、任意の形状のどのような列も使用することができる。

ブラックフレーム検出のこの方法は、各々のフレームの部分を別々に分割及び解析するため、確実性が高い。これは、前記フレーム上の少ない量のテキスト又は画像でも、この方法によって、先行技術においてはそうだったようにブラックとみなされることはないことを意味する。前記平均値を全体で最低の最大輝度値と比較することは、明るい又は暗い画像による誤検出をも回避する。前記フレームを領域に分割することは、前記第１領域がブラックでない場合、前記方法は停止し、フレーム全体をブラックとみなさないため、処理時間を短縮することができる。

静止フレーム及びカット検出 当該技術分野において既知のどのような方法を使用して、静止フレーム又はカットを検出してもよい。例えば、以下の方法／式のうち１つを使用してもよい。ブラックフレーム検出と同様に、フレームのマクロブロックを使用する。
方法１：
SUM[1]=Σ_k,jABS(DCT1_k,j[I]-DCT2_k,j[I])
ここで、
ｋをフレームの幅におけるマクロブロックの数とし、ｋ＝１乃至フレーム幅／１６、
ｊをフレームの高さにおけるマクロブロックの数とし、ｊ＝１乃至フレーム高／１６、
Ｉをマクロブロックにおけるブロック数とし、Ｉ＝１乃至マクロブロックにおけるブロック数、
ＤＣＴ１_ｋ，ｊ及びＤＣＴ２_ｋ，ｊを、図５に示すように、各々、前及び現在ビデオフレームに関する指定されたマクロブロックに関するＤＣＴ係数とし、
ＡＢＳを絶対値関数とする。

この例において、３５２×２４０画素フレームに関して、ｋ＝１乃至２２、ｊ＝１乃至１５及びＩ＝１乃至６である。この方法及び以下の方法において、フレームのマクロブロック幅及びフレームのマクロブロック高を、前記フレームサイズを一様に分割できない場合、前記フレームサイズを処理中に拡大縮小して適合させるため、偶数の整数とする。

方法１は、前記マクロブロックのブロック（４つの輝度ブロック及び２つのクロミナンスブロック）の各々間を区別する。この方法において、現在ビデオフレームからの現在マクロブロックにおける輝度及びクロミナンスブロックの各々に関するＤＣ値を、前のビデオフレームにおける対応するブロックに関する対応するＤＣ値から各々引く。差の別々の和ＳＵＭ［Ｉ｝を、前記マクロブロックにおける輝度及びクロミナンスブロックの各々に関して保持する。

前記差の和を、次のマクロブロックに進め、対応する差（ＳＵＭ［１］，ＳＵＭ［２］，．．．ＳＵＭ［６］）に加える。現在ビデオフレームのマクロブロックの各々を処理した後、合計した差を、現在ビデオフレームの各輝度ブロック及び各クロミナンスブロックに関して得る。６つのＳＵＭの各々を、ＳＵＭを合計したブロックの形式に対して特定のそれ自身の上限しきい値及び下限しきい値と比較する。この方法は、ブロックの各形式に関して異なるしきい値比較を与える。

ＳＵＭ［ｉ］が予め決められたしきい値（ｔｈｒｅｓｈ１［ｉ］），この例において、
ｔｈｒｅｓｈ１［ｉ］＝０．３×ＡＢＳ（Σ_ｋ，ｊＤＣＴ２_ｋ，ｊ［ｉ］）
より大きい場合、現在ビデオフレームを、さらに処理して視覚的インデックスにおいて使用できるようにするために、フレームメモリに保存する。前記フレームメモリを、本発明におけるようにテープ、ディスク、又は、本システムの外部又は内部のどのような他の媒体としてもよい。

ＳＵＭ［ｉ］が予め決められたしきい値（ｔｈｒｅｓｈ２［ｉ］）より小さく、ここで、
ｔｈｒｅｓｈ２［ｉ］＝０．０２×ＡＢＳ（Σ_ｋ，ｊＤＣＴ２_ｋ，ｊ［ｉ］）
とする場合、静止シーンカウンタ（ＳＳｃｔｒ）を１増分し、ありうる静止シーンを示す。前のビデオフレームを一時メモリに保存する。本発明において、前記一時メモリは、１フレームのみを記憶し、従って、前記前のビデオフレームは、一時メモリに現在記憶されたどのビデオフレームにも置き換わる。前記カウンタが予め決められた数（この例において３０）に達した場合、前記一時メモリに保存された直前のビデオフレームを、前記視覚的インデックスにおいて使用できるようにするために、前記フレームメモリに転送する。本発明において、前記第１フレームを保存し、静止シーンを表すことができるとしても、当業者には明らかなように、この方法及び以下の方法において、ありうる静止シーンのどのフレームも保存及び使用することができる。

ＳＵＭ［ｉ］が前記２つのしきい値の間ならば、ＳＳｃｔｒをゼロにリセットし、次の連続するフレームを比較する。

方法２
SUM=Σ_k,jΣ_I(DCT1_k,j,i-DCT2_k,j,i)²/ABS(DCT2_k,j,i)
ｋをフレームの幅におけるマクロブロックの数とし、ｋ＝１乃至フレーム幅／１６、
ｊをフレームの高さにおけるマクロブロックの数とし、ｊ＝１乃至フレーム高／１６、
Ｉをマクロブロックにおけるブロックの数とし、Ｉ＝１乃至マクロブロックにおけるブロック数、
DCT1_k,j,i及びDCT2_k,j,iを、各々、前及び現在ビデオフレームに関する指定されたのマクロブロックに関するＤＣＴ係数とし、
ＡＢＳを絶対値関数とする。

方法２は、方法１と対比して、ブロック形式間を区別しない。代わりに、方法２は、現在及び前のビデオフレームのマクロブロック間のＤＣ差の連続的な合計を保持する。

ブロック間の各々の差を二乗し、次に現在ブロックのＤＣＴ値に対して正規化する。正確には、現在ビデオフレームからのブロックのＤＣＴ値を、前ビデオフレームにおける対応するブロックの対応するＤＣＴから引く。次にこの差を二乗し、前記現在ビデオフレームの対応するＤＣＴ値で割る。現在ビデオフレームのＤＣＴ値がゼロである場合、この比較に関する和をゼロに設定する。これらのフレームのマクロブロックの各々における各ブロックのＤＣＴ値の各々に関する差を合計し、合計の和ＳＵＭを達成する。

次にＳＵＭを予め決められたしきい値と比較する。ＳＵＭが、この場合において、予め決められたしきい値（ｔｈｒｅｓｈ１）より大きく、ここで、
ｔｈｒｅｓｈ１＝０．３×ＡＢＳ（Σ_{ｋ，ｊ，ｉ}ＤＣＴ２_{ｋ，ｊ，ｉ}）
の場合、前記現在ビデオフレームを、さらに処理するためにフレームメモリに保存する。ＳＵＭが、この場合において、予め決められたしきい値（ｔｈｒｅｓｈ２）より小さく、ここで、
ｔｈｒｅｓｈ２＝０．０２×ＡＢＳ（Σ_{ｋ，ｊ，ｉ}ＤＣＴ２_{ｋ，ｊ，ｉ}）
の場合、静止シーンカウンタ（ＳＳｃｔｒ）を１増分し、ありうる静止シーンを示す。方法１におけるように、前のビデオフレームを、直前のフレームのみを保存する一時メモリに保存する。ＳＳｃｔｒカウンタが予め決められた数（この例において３０）に達した場合、前記一時メモリに保存された直前のビデオフレームを、前記フレームメモリに転送する。

ＳＵＭが前記２つのしきい値の間である場合、ＳＳｃｔｒをゼロにリセットし、次の連続するフレームを比較する。

方法３
SUM[1]=Σ_k,j(DCT1_k,j[I]-DCT2_k,j[I])²/ABS(DCT2_k,j)
ここで、
ｋをフレームの幅におけるマクロブロックの数とし、ｋ＝１乃至フレーム幅／１６、
ｊをフレームの高さにおけるマクロブロックの数とし、ｊ＝１乃至フレーム高／１６、
Ｉをマクロブロックにおけるブロックの数とし、Ｉ＝１乃至マクロブロックにおけるブロック数、
DCT1_k,j,i及びDCT2_k,j,iを、各々、前及び現在ビデオフレームに関する指定されたのマクロブロックに関するＤＣＴ係数とし、
ＡＢＳを絶対値関数とする。

方法３は、方法１と同様に、マクロブロックのブロック（４つの輝度ブロック及び２つのクロミナンスブロック）の各々間を区別する。この方法において、現在ビデオフレームからの現在マクロブロックにおける各々の輝度及びクロミナンスブロックに関するＤＣ値を、各々、前のビデオフレームにおける対応するブロックに関する対応するＤＣ値から引く。しかしながら、方法２におけるように、ブロック間の各々の差を二乗し、次に前記現在ブロックのＤＣＴ値に対して正規化する。正確には、前記現在ビデオフレームからのブロックのＤＣＴ値を、前記前のビデオフレームにおける対応するブロックの対応するＤＣＴ値から引く。次にこの差を二乗し、前記現在ビデオフレームの対応するＤＣＴによって割る。前記現在ビデオフレームのＤＣＴ値がゼロの場合、この比較に関する和を１に設定する。

マクロブロックの各々におけるブロックの各々の形式に関するＤＣＴ値の各々に関する差を合計し、ブロックの形式に関する合計ＳＵＭ［ｉ］を達成する。差の別々の和ＳＵＭ［Ｉ］を、マクロブロックにおける輝度及びクロミナンスブロックの各々のに関して保持する。前記差の和を、次のマクロブロックに進め、対応する差（ＳＵＭ［１］，ＳＵＭ［２］，．．．ＳＵＭ［６］）に加える。現在ビデオフレームのマクロブロックの各々を処理した後、合計された差を、前記現在ビデオフレームの各々の輝度ブロック及び各々のクロミナンスブロックに関して得る。６つのＳＵＭの各々を、ＳＵＭを合計したブロックの形式に対して特定のそれ自身の上限しきい値及び下限しきい値と比較する。この方法は、ブロックの各形式に関して異なるしきい値比較を与える。

ＳＵＭ［ｉ］が予め決められたしきい値（前に規定したようなｔｈｒｅｓｈ１［ｉ］）より大きい場合、前記現在ビデオフレームを、さらに処理するために前記フレームメモリに保存する。

ＳＵＭ［ｉ］が予め決められたしきい値（前に規定したようなｔｈｒｅｓｈ２［ｉ］）より小さい場合、静止シーンカウンタ（ＳＳｃｔｒ）を１増分し、ありうる静止シーンを示す。前記前のビデオフレームを、本発明においては直前のビデオフレームのみを保存する一時メモリに保存する。ＳＳｃｔｒカウンタが予め決められた数３０に達した場合、前記一時メモリに保存された直前のビデオフレームを、前記フレームメモリに転送する。

ＳＵＭ［ｉ］が前記２つのしきい値の間である場合、ＳＳｃｔｒをゼロにリセットし、次の連続するフレームを比較する。

方法４
方法１乃至３は、各々、完全なビデオフレームを調査し、すべての輝度及びクロミナンスに関するＤＣＴ値に関する差又は差の二乗を合計するか、別々の成分として加算する。方法４は、マクロブロックレベルに作用し、制限された処理によって効果的な結果を与える。
SUM=Σ_k,jMbdiff(MB1[i]_k,j-MB2[i]_k,j)
ここで、
ｋをフレームの幅におけるマクロブロックの数とし、ｋ＝１乃至フレーム幅／１６、
ｊをフレームの高さにおけるマクロブロックの数とし、ｊ＝１乃至フレーム高／１６、
Ｉをマクロブロックにおけるブロックの数とし、Ｉ＝１乃至マクロブロックにおけるブロック数、
ＭＢ１_ｋ，ｊ及びＭＢ２_ｋ，ｊを各々前及び現在ビデオフレームに関するマクロブロックとし、Ｍｂｄｉｆｆを、２つのマクロブロック間の互いに異なるブロックの数を決定する関数とし、この差があるしきい値より高い場合、第１値を出力し、そうでなければ第２値を出力する。

正確には、副合計（ｓｕｂｓｕｍ［１］，ｓｕｂｓｕｍ［２］，．．．ｓｕｂｓｕｍ［６］）を、特定のマクロブロックのブロック（Ｙ１，Ｙ２，Ｙ３，Ｙ４，Ｃｒ及びＣｄ）の各々に関して、第１マクロブロックの個々のブロックを第２マクロブロックの対応する個々のブロックと比較し、ｓｕｂｓｕｍ［ｉ］を得ることによって決定し、ここで、
subsum[i]_j,k=ABS(DCT1[i]_j,k-DCT2[i]_j,k)
とする。例えば、現在フレームの第１マクロブロックのＣｒのＤＣ値を、前のフレームの第１マクロブロックのＣｒのＤＣ値から引き、ｓｕｂｓｕｍ［Ｃｒ］_１，１を得る。各々のｓｕｂｓｕｍ［ｉ］を予め決められたしきい値（ｔｈ１）と比較する。ｓｕｂｓｕｍ［ｉ］が、この例において、第１の予め決められたしきい値（ｔｈ１）より大きく、この例において、
ｔｈ１＝０．３×ｓｕｂｓｕｍ［ｉ］
である場合、ブロックカウンタ（Ｂ１ｃｔｒ）を１増分し、予め決められたしきい値（ｔｈ２）より小さく、
ｔｈ２＝０．０２×ｓｕｂｓｕｍ［ｉ］
である場合、ブロックカウンタ（Ｂ２ｃｔｒ）を１増分する。各々のｓｕｂｓｕｍ［ｉ］を、固定された関数に基づく、又は、ブロックの形式に特定の関数又は定数に基づく定数としてもよいしきい値（ｔｈ１及びｔｈ２）と比較する。

前記マクロブロックの６つのブロックを処理した後、前記ブロックカウンタを解析する。ブロックカウンタＢ１ｃｔｒが、この例において、予め決められたしきい値、この例において３よりも上の場合、前記マクロブロックを、前のビデオフレームのマクロブロックとは異なるとみなし、マクロブロックカウンタＭＢ１ｃｔｒを１増分する。次にＢ１ｃｔｒをリセットし、次のマクロブロックを解析する。

ビデオフレームの全てのマクロブロックを処理した場合、ＭＢ１ｃｔｒを予め決められたフレームしきい値と比較する。ＭＢ１ｃｔｒが、この例において３２０×２４０フレーム（又は画像）を使用し、１００の第１の予め決められたフレームしきい値（ｆ１ｔｈ）より上の場合、現在フレームを前記フレームメモリに保存し、ＭＢ１ｃｔｒをリセットする。

マクロブロックにおけるいくつかの数のブロックが同じであり、Ｂ２ｃｔｒが３の予め決められたしきい値（Ｂ２ｔｈ）より上の場合、前記マクロブロックを同じとみなし、第２マクロブロックカウンタＭＢ２ｃｔｒを１増分する。次に、Ｂ２ｃｔｒをリセットし、次のマクロブロックを解析する。フレームの全てのマクロブロックを解析した後、前記第２マクロブロックカウンタが２５０の第２の予め決められたフレームしきい値より上の場合、前記ビデオフレームを同じとみなし、フレームカウンタ（Ｆｃｔｒ）を設定する。ＭＢ２ｃｔｒをリセットし、次のフレームを解析する。Ｆｃｔｒが予め決められたしきい値（ＳＳｔｈｒｅｓｈ、この例において３０）に達した場合、静止列が生じたと推定する。前のビデオフレームを、静止シーケンスを表すフレームメモリに保存する。この処理を、ビデオフレームが、前のビデオフレームと異なっていることが決定するか、新たなフレームがなくなるまで続ける。次に、Ｆｃｔｒをリセットし、次のビデオフレームを解析する。

この方法及び前の方法においてフレームメモリに保存されたこれらのフレームをキーフレームとみなす。

方法４を、前記正規化された差の二乗を使用することによって実現することもできる。正確には、ブロック間の差を使用する代わりに、前記差を二乗し、引かれたブロックにおいて見つかった値によって割る。シーンカット検出を、しきい値に対してあまり敏感ではなくすることができる。

上述したしきい値を、容易に、より少なく又はより多く検出するように変更することができる。例えば、定数を、より高い又はより低い能率を考慮するように変更することができ、例えば、ＳＳｃｔｒを異ならせることができる。さらに、各々のしきい値を、代わりに、定数、固定された関数、又は、解析されているブロックの形式又は位置に応じて変化しうる関数としてもよい。

スレッド 前記システムは、連続するプロセスの代わりにスレッドを使用すると、より高い能率で動作する。１スレッドのみをプロセッサ７８によっていつ活性化しても、すべてのスレッドは、これらの間で成分を共有する。例えば、フレーム取得スレッド８０は、フレームをカット検出器スレッド８２に送り、カット検出器スレッド８２は、ＤＣ値及び検出されたカットをフィルタスレッド８４に送る。

加えて、前記スレッドのすべては、メモリ７８に記憶された情報を共有する。コマーシャル検出スレッド８６は、カット検出器スレッド８２及びフィルタスレッド８４からメモリ７８に記憶されたカット、ブラックフレーム、静止フレーム及び単色フレームに関する情報を使用する。前記スレッドは、前記スレッドに対する丸で囲まれた数字１−４において図２に示すような優先順位を有する。フレーム取得スレッド８０は、他のスレッドがフレーム無しで動作できないため、最も高い優先権を有する。コマーシャル検出スレッド８６は、その計算を行う前に他のスレッドからの情報を必要とするため、最低の優先権を有する。前記優先権指定は、使用頻度の表示でもある。フレーム取得スレッド８０及びカット検出器スレッド８２の双方は、情報をリアルタイムにおいて、１秒あたり約３０フレーム処理する。フィルタスレッド８４及びコマーシャル検出スレッド８６は、フレーム取得スレッド８０より低い頻度（例えば、１３分の１程度）で使用される。

フレーム取得スレッド８０は、フレームを入力５２から取得し、これらをカット検出器スレッド８２に送る。新たなフレームが検出された場合、プロセッサ５７は、フレーム取得スレッド８０に制御を移し、カット検出器スレッド８２は待機する。フレーム取得スレッド８０が行われた場合、カット検出器スレッド８２又はフィルタスレッド８４のいずれかがアクティブになる。これは、１度に１スレッドのみが「作動している」ことを意味する。前記スレッドが一つもアクティブでないことも可能である。入力５２が停止すると、フレーム取得スレッド８０はターンオフする。制御は、他のスレッドに関して、処理が完了するまで続く。一連のプロセスを使用し、あるステップが作動停止、又は処理を停止すると、前記システム全体が停止する。スレッドを基礎とするシステムに関して、制御は他のブランチに単に分岐する。また、他のスレッドが処理している間、あるスレッドがメモリに書きこむことができ、それによって前記システム全体の能率が向上する。

メモリ カット検出器スレッド８２は、フレーム取得スレッド８０によって取得されたフレームがブラックフレームか、カットか、静止フレームであるかどうかを決定する。図１９を参照して、この情報をメモリ７８において位置するフレームリストバッファに格納する。フレーム番号の長く狭いリストを、何らかの関連する特徴と共に発生する。このリストは、メモリ７８においてそのブロックに関係する画像が格納されている場所を示すメモリポインタも含む。このリストを使用し、番組内のすべてのフレームを保持することができる。代わりに、前記フレームリストバッファに使用されている空間がもはや必要ない場合、再割り当てすることができる。これは、例えば、フレームが処理され、フレームキーリスト（後に説明する）に送られた後か、該フレームにおいて意味のあるイベントが生じない場合に起こるかもしれない。

図８を参照して、フィルタスレッド８４は、前記フレームリストバッファを使用し、「キー」又は重要な特徴を有するフレームのみを載せたフレームキーリストを構成する。このリストは、平凡なフレームを含まないことを除いて、前記フレームリストバッファと同じ情報を含む。これらのキーフレームは、コマーシャル検出スレッド８６によって処理される。コマーシャル検出手段８６は、コマーシャルが位置する場所を決定し、コマーシャルの停止時間（又はテープ位置情報）を、メモリ７８にコマーシャルリスト（図示せず）において出力する。前記フレームキーリストを、キーフレームのウィンドウとしてもよい。例えば、ユーザは、最後の１０００キーフレームのみを見たい場合を示すことができる。

図９を参照して、フレーム取得スレッド８０がフレームを取得した場合、その画像をメモリ７８において割り当てられた一次フレームバッファに格納する。前記画像は、カット検出器スレッド８２及びフィルタスレッド８４によって処理されるまで待機する。前記フレームがこれらのスレッドによって処理されたら、前記フレームはもはや必要なく、新たなフレームをこの古いフレームと同じメモリ空間に上書きする。メモリの８ブロックを、最初に８フレームを保持するために割り当てる。第８フレームが取得されるときまでに、第１フレームは通常処理され、第９フレームを前記第１フレームと同じメモリ空間に格納することができる。処理がある理由のため遅くなり、前記第１フレームがまだ処理されない場合、追加のメモリを、幽霊ブロックにおいて見られるように割り当てる。１時間の長い放送において、５０ブロックにおよぶメモリが要求されるかもしれない。例えば、フレーム１が処理され、メモリ空間がもはやこのフレームに関して必要なくなった場合、前記フレームリストバッファ（図１９）におけるポインタを変更する。フレーム１に関するポインタを消去し、新たなフレーム９は、フレーム１が格納されていたメモリ空間を指し示すポインタを有する（図９も参照）。

これを、メモリに関する「レンタルショップ」とみなすことができる。このショップは、予め８空間のメモリを割り当てる。空間が一度必要なくなると、この空間を他のフレームに貸す。より多くのメモリ空間が要求された場合、前記レンタルショップはそれに割り当てる。メモリ空間が割り当てられると、前記割り当ては破棄され、新たな情報が前記空間におけるどの古い情報にも上書きされる。これは、割り当てられるブロックが常に同じサイズであり、異なったメモリ空間を連続して割り当てる必要がないため、有利である。他の用途において、どのくらいの費用が必要か予めわからず、従ってこのようなレンタルショップは不可能である。

本実施形態において、２つのレンタルショップを使用する。第１レンタルショップは、ＹＵＶ領域におけるフレームの複製を保持する。これを、完全な画像をユーザに示すのが望ましい場合に行う。例えば、コマーシャルが見つかった場合、この画像を使用し、ユーザにコマーシャルの開始を示すことができ、彼に、彼がこのコマーシャルを観ることを望むか、又は、飛ばすことを望むかに関して暗示を与えることができる。検出されたコマーシャルの内容を含む視覚テーブルを形成することができる。第２レンタルショップは、前記ＤＣＴ係数を保持する。前記ＹＵＶ画像を保存し、ＤＣＴ処理を行う。後に、ユーザに処理されたフレームの完全な画像を示すことが望ましい場合、呼び戻すことができる。もちろん、ＹＵＶ画像の完全な組も前記記憶媒体（ＶＣＲテープ）に送る。明らかに、１つのレンタルショップを使用し、前記ＤＣＴ画像及びＹＵＶ画像の双方に関する空間を割り当てることができる。前記ＹＵＶ画像は前記ＤＣＴ係数より多くのメモリ空間をふさぎ、異なったサイズのメモリ割り当てが必要なため、２つ使う方が簡単である。

II.コマーシャル検出
コマーシャル検出スレッドは、あるトリガイベントが生じるまでアクティブ化しない。このトリガイベントは、以下のうち１つの検出である。１）高いカットレート。後で明らかに定義するように、９より高いカットレートは、コマーシャルの兆候である。２）少なくとも１０−３０のブラックフレームの列。一般的に、コマーシャル検出スレッド８６は、これらのトリガのうち１つが生じるまで、休止状態のままである。しかしながら、コマーシャル検出スレッド８６を、その解析を周期的に（例えば、１分ごとに）行うように、又は、番組全体の終了まで行わないようにプログラムすることができる。

以下の技術のすべてを使用し、コマーシャルを検出することができる。前記システムは、前記平均カットフレーム間隔、平均カットフレーム間隔傾向、カットレート及びブラックフレーム検出解析（これらのすべてを後に詳細に説明する）から開始する。これらは、コマーシャルが位置するかもしれない多数の時間的セグメントを発生する。その後、以下の技術をこの順序で使用し、可能性のあるコマーシャルセグメントをさらに限定することができる。１）静止又は同様のフレーム、２）ロゴ検出、３）コマーシャル署名、４）テキスト、５）ブランド名。

技術の各々の組を連続すると、コマーシャルが前記期間内に配置されている可能性がより高くなる。ユーザに、どのくらい多くの段階か、又は、ユーザがコマーシャルの識別において望む信用度レベルかを暗示することができる。例えば、ユーザは、コマーシャルである可能性が最も高い期間のみを除去することを望んでもよく、又は、ユーザは、処理パワーを一定に保つことを決めることができる。信用度レベルを、コマーシャルの位置決めにおけるその全体的な有効性に対応する技術の各々に割り当てることができる。これらの信用度レベルの各々に、使用しているプラットフォームの関数として重み付けすることができる。例えば、遅いプロセッサが存在する場合、重みのいくつかに、これらが前記システムを遅くし、これらの有効性が証明されないことを示すゼロ値を割り当てることができる。各々の技術の信用度レベルにｃｏｎｆ_ｉをラベル付けし、重みをｗ_ｉとし、このとき前記システムにおける完全な信用度は、

となる。ここで、１１の技術が使用されているため、ｎ＝１１である。この信用度レベルはユーザによって選択される。例えば、７０％の信用度レベルはユーザによって選択される。

さらに、前記重みを、テレビジョン番組のカテゴリの関数とすることができる。例えば、前記コマーシャル検出アプリケーションは、ユーザ又はＥＰＧ（電子番組ガイド）から解析されている番組の形式における入力を有する。前記検出技術のいくつかを、番組の形式に基づくよりよい選別器としてもよい。前記重みｗｉを、変数の組み合わせの関数とすることもできる。

i．平均カットフレーム間隔（ＡＣＤ） カットが他のカットに近い場合、前記検出プロセスのこの部分は、コマーシャルが生じたことを示す。使用する式は、

であり、ここで、ｎを現在フレームとし、ｍを振りかえったカット数とし、代表的に５とする。例えば、フレーム１７００がカットを有し、その後５番目のカット（ｍ＝５）がフレーム１７５０である場合、１０のＡＣＤを得る。ＡＣＤ＜１５０ならば、測定されたカット間の領域は、おそらくコマーシャル内である。前記式を、フレーム数と時間との固有の関係のため、時間依存であると容易に操作することができる。

ii.カットレート検出 広告者は、情報を輸送する短い時間を有する。結果として、シーンを短くし、頻繁に変化させ、消費者の注意を得る。これは、カットレート、シーンにおける変化の量が、一般的に、コマーシャルにおける方が通常の番組におけるよりも多いことを意味する。この技術は、１分間に生じるカット数の計算である。この数が９より大きく４０より少なければ、解析されたフレームはおそらくコマーシャル内である。４０をこえるカットレートは、おそらく、映画における高度なアクションシーンのしるしであり、コマーシャルではない。

iii.平均カットフレーム間隔傾向（ＡＣＤＴ） 平均カットフレーム間隔（ＡＣＤ）は、名前から連想されるように、カット間の平均間隔を決定する。ＡＣＤＴは、ＡＣＤにおける変化の測定である。類推として、入力を関数ｆ（ｘ）として考えると、カットレートは、その関数の導関数ｆ’（ｘ）であり、ＡＣＤＴは、２次導関数ｆ”（ｘ）である。これが、前記関数が不連続であるため、変化の瞬時のレートではないとしても、概念は同じである。ＡＣＤＴに関する式は、

であり、ｍをカット間におけるフレーム数とする。上述したように、広告者は、短い時間でメッセージを伝えるために、多くの異なった画像をすばやく消費者に送る。ＡＣＤＴは、カットレートそれ自身がコマーシャルにおいて一定であり、番組において一定でないというアイデアを考慮する。コマーシャルは、きわめて変動しやすく、画像がすばやく変化し、高い一定のＡＣＤＴであるか、画像が少しも変化せず、低い一定のカットレートである。図１８を参照すると、時間に関するカットレート振幅のプロットがある。”Ａ”のラベルがついた点におけるカットレートは、振幅においてほぼ同じである。同様に、”Ｂ”のラベルがついた領域における点は、同じカットレート振幅を有する。これらの領域に関するＡＣＤＴは、ほぼ０である。コマーシャルは、一般的に、小さな標準偏差を有する約０のＡＣＤＴを有する。従って、領域”Ａ”及び”Ｂ”に示すようにＡＣＤＴがほぼ０ならば、コマーシャルの一部がこの領域において生じたとみなす。

iv.ロゴ 本発明において使用される他の技術は、ロゴの不在の検出である。上述したいくつかの先行技術の装置は、コマーシャルの証拠として広告された製品に関係するマークの存在を探した。いくつかのテレビジョン番組は、番組中にのみ存在するこれら自身のロゴを有する。例えば、ＣＮＮ及び朝のニュースは、一般的に、右下隅において、時間と、ひょっとするとその日の天気予報と共に、ネットワークのしるしを示す。この情報が画像から除去された場合、この除去は、テレビ放送されているコマーシャルのしるしとなる。

このロゴは、一般的に、画面の指定された部分、通常は４隅のうちの１つにある。図１６を参照すると、フレームを複数の領域に分割し、４隅のみを探索する。これらの隅において、ロゴが限定された鮮明度で表示される可能性は低いため、前記隅に最も近い領域を解析しなくてもよい。

図１７Ａ−１７Ｃを参照すると、前記隅領域における輝度値を連続的なフレームを通じて比較した。絶対フレーム差を、図１７Ｃに示すような連続フレームと、図１７Ａ及び１７Ｂにおけるフレームとに関して計算した。これらの計算も、カット検出に関して行う。前記隅領域における画素のすべてが変化している場合、ロゴはない。ある領域が図１７Ｃの絶対フレーム差において示すようにすべて”０”である場合、この領域はおそらくロゴである。この方法は、ロゴが静的であることを仮定した。動くロゴを、モーションテクスチャを使用して分離することができる。ロゴの一部が変化する（例えば、時間）場合、前記ロゴのその部分は検出されない。すべて”０”の領域を、これらによってロゴ画像を発生するために保持する。次に、前記ロゴを表す署名を形成することができる。次の章においてより完全に説明するように、既知のロゴ署名のバンクを使用することができる。ロゴが見つかった場合、このロゴが消えたとき、コマーシャルが始まったとみなす。

信号内の形状を検出する他の既知の方法が存在する。例えば、Hough変換、ｂスプライン解析、ＮＵＲＢ及びウェイブレットをすべて使用し、前記署名及びロゴの形状を表すか、ロゴ自体を検出することができる。どのような他の正規直交又はマッチング遂行アルゴリズムを使用することもできる。

v.署名 この方法において、既知のコマーシャルのキーフレームの署名を抽出し、データベースに格納する。格納されるコマーシャルの数は、前記データベースのサイズに依存する。キーフレームの署名は、ブロック署名すなわち１６８バイトのフレーム署名を使用する場合、約１ｋのメモリを必要とする。各々のコマーシャルは、約１０のキーフレームを有する。図１２を参照すると、前記キーフレームリスト（図８においてより完全に示す）からのキーフレームを、既知のコマーシャルのキーフレームと順次に比較する。５０％をこえるキーフレームが一致した場合、前記フレームを、コマーシャル内にあるとみなす。

前記データベースにおける各コマーシャルに関するコマーシャル発見カウンタを、そのコマーシャルが検出されるたびに１増分する。コマーシャルが予め決められた期間（例えば月）内に見つからなかった場合、そのコマーシャルに対応する署名を前記データベースから消去する。２つの既知のコマーシャルが、指定された期間（例えば分）内のフレームの組を挟む場合、これらの挟まれたフレームを可能性コマーシャルデータベースに置く。これらの挟まれたフレームは、１つ以上のコマーシャルを表すかもしれない。これらのフレームの部分集合が少なくとも２回既知のコマーシャルフレームと一致した場合、これらの可能性コマーシャルフレームを前記既知のコマーシャルのデータベースに追加する。このようにして、既知のコマーシャルのダイナミック・データベースを形成する。

先行技術のシステムとは異なり、このデータベースは、ユーザがコマーシャルを実際に閲覧することを可能にする。ユーザは、例えば、誰が売出し中か、又は、どのカーディーラーが所望の車両において最もよい値をつけているかを決定することができる。前記データベースを分類し、コマーシャル探索を容易にすることができる。前記データベースは、コマーシャル全体を保持することができ、又は、単に、既知の情報検索手段によって形成されたキーワードによるインデックスを保持することができる。

フレームの署名を抽出する多くの既知の方法が存在する。例えば、カラーヒストグラムを使用することができる。代わりに、濾過プロセスにおいて使用される署名方法を実施することもできる。

vi.テキスト及びブランド名 ブランド名が表示された場合、このフレームがコマーシャル内である確率はきわめて高い。図１１を参照すると、入力５２を、オーディオプロセッサ１００、ビデオプロセッサ１１４及びクローズドキャプションプロセッサ１１６に送る。オーディオプロセッサ１００は、この信号を、音声をテキスト１２０に変換する音声認識プロセッサ１１２に送る。同様にビデオプロセッサ１１４は、入力５２を、ビデオをテキスト１２０に変換するセグメント化及びＯＣＲ装置１１８に送る。クローズドキャプションプロセッサ１１６もテキスト１２０を発生する。次にテキスト１２０を、ブランド及び製品名グループか１２４と、比較器１２２によって比較する。すべての登録されたブランド名を容易に決定及び格納することができる。（指定された期間内のブランド名数）／（この期間内の総ワード数）がしきい値より大きい場合、コマーシャルがこの期間中に発生している。現在使用するこの期間は２分である。

vii.ブラックフレーム検出 上述したように、コマーシャルには、通常、ブラックフレームが前後に続く。本装置は、上記に関する最適化されたブラックフレーム検出方法を使用し、ブラックフレームが発生したかどうかをより正確に決定する。ブラックフレームが生じた場合、コマーシャルがその前又は後に続く可能性は高くなる。一般的に、多くのブラックフレームがコマーシャルに先行して使用されるが、コマーシャルの考えられる開始及び終了が起こる場所を示すだけでよい。

viii.ブラックフレーム及びカット 高いカットレートが検出された場合、この技術は、前記装置に、４分間（７２００フレーム）、ブラックフレームの列に関して遡る。この列を少なくとも１０−３０フレーム長としなければならない。一般的に、コマーシャル間の時間は４分より長い、高いカットレートが存在し、最後の４分以内にブラックフレームが存在する場合、この高いカットレート列は、おそらくコマーシャル内である。

ix.フレーム類似 上述したように、フィルタスレッド８４は、あるフレームが最後の１０分において受けたフレームと同様であるかどうかを決定する。映画又はテレビジョン番組において、前記列は一般的に同様である。これを行い、視聴者にシーンが変化していない知覚を与える。例えば、連続コメディ番組において、同じ一般的なレイアウトが連続して表示され、俳優はこの空間内で相互作用する。コマーシャルは、一般的に３０秒より長く持続しない。結果として、コマーシャルにおいて、背景は３０秒ごとに劇的に変化する。従って、あるフレームが最後の３０秒以内に生じた他のフレームと同様な場合、現在及び最後のフレームを、コマーシャルの一部であると推定する。同様なフレーム間の時間が３０秒をこえる場合、これらのフレームはおそらく番組内である。

x.静止画像 静止画像は同様な画像と、より長い時間が同様の画像に使用されることを除いて同様である。コマーシャルは、概念を視聴者にすばやく伝えるために、多くの動きを必要とする。従って、静止画像は、通常、番組において位置し、コマーシャルにおいて位置しない。従って、本発明は、１分における静止画像の数を考察する。一般的に、コマーシャルにおいて静止画像はない。２つ以上の静止画像が見つかった場合、解析されたフレームは、おそらくコマーシャル内ではない。

xi.キャラクタ検出 コマーシャルがテキストを表示する場合、一般的に画面の異なった場分において、異なったフォント及びサイズにおいてである。これは、例えば、少なくとも同様のパターンのフォントサイズ及び形式を有する映画クレジットと区別される。図１３を参照すると、コマーシャル内であるかもしれないフレームは、２つの変形が加えられている。このフレームは、グレイスケール化され、エッジ検出が行われている。

エッジ検出後、前記システムは、どのような情報がフレーム内に残っているかを発見することを期待する．可能性のあるキャラクタの最大幅及び高さは、結果として生じた検出された領域を比較するのに使用されるしきい値を形成する。領域がその中にテキストキャラクタを有するには大き過ぎる又は小さ過ぎる場合、考慮から除外する。テキストキャラクタがあると決定したら、同様のキャラクタを同じ垂直ライン上に関して走査する。４つ以上のキャラクタが同じライン上に見つかった場合、最初のキャラクタから最後のキャラクタまでを単語とみなす。例えば、図１４において、前記システムは名前”Ｅｕｇｅｎｅ”における文字”ｇ”を、”ｇ”が大き過ぎるため、検出しないかもしれ乃至かしながら、他の文字は検出され、追加の文字が同じラインにおいて見つかる。これは、単語”Ｅｕ＿ｅｎｅ”を発生する。前記システムを、追加の解析を行って”ｇ”を探すようにプログラムすることができる。

見つかった全ての単語を、前記フレーム内のそれらのキャラクタをアウトライン化するボックスによって表す。このボックスの高さは、コマーシャル内にあるか、又は、番組内にあるかに応じて変化する。図１５Ａ−Ｃを参照すると、このボックスの中心（ｘ，ｙ）及び高さ（ｚ）を、３次元軸においてプロットする。一連のフレーム（又は一連のキーフレーム）を時間に関して互いに重なる。テキストが、映画のクレジットのように、画面の中心を通ってスクロールする場合、前記プロットは図１５Ａにおけるように直線になる。テキストが画面の中心においてちょうど現れ、消える場合、プロットは、図１５Ｂにおけるように、２つの近い点のように見える。コマーシャルにおいて、点は、図１５Ｃにおけるようにグラフじゅうに現れる。この技術を、キーフレームにおいてのみ使用し、処理時間を節約することができ、又は、すべてのフレームを解析することができる。

III.再生
コマーシャル検出を行ったら、テープ再生は比較的簡単である。上述したように、検出されたコマーシャルの時間をメモリ７８に保存する。再生中、プロセッサ５７は、これらの時間を捜し、検出されたコマーシャル中テープを早送りする。ユーザに、コマーシャルの第１フレームを表示し、このコマーシャルをスキップすることを望むかどうかに関して促すことができる。代わりに、プロセッサ５７を、ある形式の内容交換を行うようにプログラムすることができる。ユーザは、コマーシャルの代わりに他の刺激を与えられることを要求することができる。例えば、ユーザは、指定されたウェブサイトの内容が表示されることを要求することができる。

ユーザが記録中の番組を観ている場合、前記番組の数分間をメモリ（例えばメモリ７８）に一時記憶し、解析し、ディスプレイに出力しなければならない。これは、コマーシャルが何時あり、どのくらい長いかを決定することを必要とする。このような一時記憶を、例えば、ＳＭＡＳＨ（家庭におけるマルチメディアアプリケーションシステム用記憶装置）技術によって行うことができる。一時記憶を行わない場合、コマーシャルの最初の部分が記録され、コマーシャルに続く番組の最初の部分が記録されない。これは、番組及びコマーシャル間の変化を検出するために、処理がビデオ情報を必要とすることによるものである。

ユーザが存在しない場合、内容交換を、前記コマーシャル検出処理後に行うことができる。プロセッサ５７は、再び、番組の少なくとも一部を一時記憶し、プロセッサ５７がコマーシャルが開始及び終了するときを決定できるようにした場合、コマーシャルに関する内容を交換することもでき、これらを完全に除去することもできる。

IV.結論
本発明の方法は、その存在が、ディジタルテレビジョンと、ＪＰＥＧ又はＭＰＥＧ圧縮アルゴリズムを使用するなにか他の信号との到来と共に増大するＤＣＴ係数に基づいている。このような信号に解凍を行わなければならないとしても、これは、多くの既知の装置によって行うことができる。処理パワー及び時間の大部分は、ＤＣＴ係数を見つけ、次に完全な画像を再生することに費やされる。従って、本発明は、ディジタルフォーマットに向かう動きを認識する。

好適実施形態を説明したことによって、種々の変更を、当業者によって、添付した請求項においてより明らかに規定した本発明の範囲及び精神から逸脱することなく、行うことができることに注意すべきである。

50…家庭内情報装置
51…ホーム情報装置
52…入力
54…分割器
56…コマーシャル分離器
57…プロセッサ
58…VCR
S51…ステップ
S52…ステップ
S53…ステップ
66…順方向離散コサイン変換（FDCT）
600…ステップ
602…ステップ
604…ステップ
606…ステップ
608…ステップ
610…ステップ
612…ステップ
614…ステップ
616…ステップ
620…ステップ
622…ステップ
624…ステップ
626…ステップ
70…伸張回路
700…ブロック署名
702…DC署名
704…AC署名
72…エントロピー・デコーダ
74…テーブル仕様
76…逆量子化器
78…メモリ
80…フレーム取得スレッド
82…カット検出器スレッド
84…フィルタスレッド
86…コマーシャル検出スレッド
100…オーディオプロセッサ
112…音声認識プロセッサ
114…ビデオプロセッサ
116…クローズドキャプションプロセッサ
118…OCR装置
120…テキスト
122…比較器
124…ブランド名及び製品名グループ

Claims (7)

1. 平均カットフレーム間隔検出器と、平均カットフレーム間隔傾向検出器と、ブランド名検出器と、カットレート及びブラックフレーム検出器と、フレーム類似検出器と、キャラクタ検出器と、静止画像検出器とのうち少なくとも１つを具え、
   複数のフレームに分割されたビデオデータストリーム内のコマーシャルの少なくとも一部を、前記平均カットフレーム間隔検出器、前記平均カットフレーム間隔傾向検出器、前記ブランド名検出器、前記カットレート及びブラックフレーム検出器、前記フレーム類似検出器、前記キャラクタ検出器、又は前記静止画像検出器によってそれぞれ成し遂げられるコマーシャル検出技術に割り当てられた、使用しているプラットフォームの関数として重み付けられる信用度レベルに基づいて、コマーシャルを検出する家庭情報装置において、
   前記平均カットフレーム間隔検出器が、
   a.カットを有する第１フレーム及びカットを有する前フレーム間のフレーム数を表す分子と、前記前フレーム及び第１フレーム間のカット数を表す分母とを含む商を計算するステップと、
   b.前記商をカットフレーム間隔しきい値と比較するステップと、
   c.コマーシャルの発生を前記比較するステップに基づいて検出するステップとを行い、
   前記平均カットフレーム間隔傾向検出器が、複数のフレームにおけるカット数における変化を決定し、前記変化に基づいてコマーシャルの一部を検出し、
   前記ブランド名検出器が、
   a.前記データストリームを、オーディオプロセッサ、ビデオプロセッサ、及びクローズドキャプションプロセッサのうち少なくとも１つの装置又は装置の組み合わせによって処理し、テキストを発生するステップと、
   b.前記テキストを製品名及びブランド名のグループと比較するステップと、
   c.ブランド名がコマーシャルにおいて表示される確率が高いことから、コマーシャルの一部を前記比較するステップに基づいて認知するステップとを行い、
   前記カットレート及びブラックフレーム検出器が、コマーシャルの一部を、ブラックフレームの列が解析されたカットの前のカット及びブラックフレーム期間内に生じたかどうかに基づいて認知し、前記解析されたカットはカット列内において生じ、前記列はカットレート期間内に生じており、
   前記フレーム類似検出器が、現在フレームと前フレームと間の絶対フレーム差を計算し、該絶対フレーム差をしきい値に比較することによって、前記現在フレームが前記前フレームと類似しているかどうかを決定し、ある期間内のフレームが現在フレームと類似している場合、コマーシャルの一部を検出し、
   前記キャラクタ検出器が、
   a.前記フレームの解析されたフレーム内のキャラクタを、エッジ検出後しきい値と比較することによってみつけるステップと、
   b.前記キャラクタをアウトライン化することによって前記キャラクタの周囲のボックスを形成するステップと、
   c.前記ボックスの大きさを、前記キャラクタの最大幅及び高さに基づいて決定するステップと、
   d.前記解析されたフレームにおける前記ボックスの位置を決定するステップと、
   e.前記解析されたフレーム及びその後の解析されたフレームの前記大きさ及び位置を解析するステップと、
   f.コマーシャルの一部を前記解析するステップに基づいて検出するステップとを行い、
   前記キャラクタの周囲のボックスの中心及び高さを３次元軸においてプロットすることによって前記コマーシャルの一部を検出し、
   前記静止画検出器が、多数の静止画がある期間内で発生した時を区別することによって、コマーシャルの一部を検出することを特徴とする家庭情報装置。
2. 請求項１に記載の家庭情報装置において、
   前記フレームを取得するフレーム取得器と、
   前記データストリーム内で、カット、前記コマーシャルの推定される長さに基づいて決定される第１期間内において、前記現在フレームと前記前フレームとの間の絶対フレーム差を計算し、前記しきい値に比較することによって検出される類似したフレーム、及び、ブラックフレームのうち少なくとも１つを識別する第１検出器と、
   前記データストリーム内で、前記コマーシャルの推定される長さに基づいて決定される第２期間内において、前記現在フレームと前記前フレームとの間の絶対フレーム差を計算し、前記しきい値に比較することによって検出される類似したフレーム、及び、同じカラーのフレームのうち少なくとも１つを識別する第２検出器と、
   前記第１及び第２検出器によって発生された情報を使用して前記コマーシャルを識別する第３検出器とをさらに具えることを特徴とする家庭情報装置。
3. 請求項２に記載の家庭情報装置において、前記第２期間を前記第１期間より長くしたことを特徴とする家庭情報装置。
4. 請求項１に記載の家庭情報装置において、前記平均カットフレーム間隔検出器における前記カット数と、前記カットレート及びブラックフレーム期間と、前記ブラックフレームの列と、前記カットの列と、前記カットレート期間と、前記フレーム類似検出器における期間と、前記静止画像検出器における期間及び静止フレームの数とのうち少なくとも１つを予め決定することを特徴とする家庭情報装置。
5. 請求項１に記載の家庭情報装置において、前記検出器の各々が前記データストリームのＤＣＴ係数を使用することを特徴とする家庭情報装置。
6. 請求項１に記載の家庭情報装置において、前記データストリームを格納し、検出されたコマーシャルを代わりの内容に取りかえる記憶装置をさらに具えることを特徴とする家庭情報装置。
7. 請求項１に記載の家庭情報装置において、検出されたコマーシャルをスキップする手段をさらに具えることを特徴とする家庭情報装置。

Images