JP2005515722A - セパレータ境界上での情景変化距離に基づくオーディオビジュアル・コンテンツ中のコマーシャル検出 - Google Patents
セパレータ境界上での情景変化距離に基づくオーディオビジュアル・コンテンツ中のコマーシャル検出 Download PDFInfo
- Publication number
- JP2005515722A JP2005515722A JP2003561239A JP2003561239A JP2005515722A JP 2005515722 A JP2005515722 A JP 2005515722A JP 2003561239 A JP2003561239 A JP 2003561239A JP 2003561239 A JP2003561239 A JP 2003561239A JP 2005515722 A JP2005515722 A JP 2005515722A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- compressed video
- separator
- separators
- commercial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title description 17
- 230000008859 change Effects 0.000 title description 9
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013139 quantization Methods 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
圧縮されたビデオ・ストリームのエンコーディング・パラメータを用いてコマーシャルを検出する方法及び装置が提供される。ビデオ・エンコーダは、圧縮されていないビデオ・データを受信し、圧縮されたビデオ・データを生成する。各々が圧縮ビデオ・データ・シーケンス中の少なくとも2つの連続した情景変化によって定義された複数のセパレータが検出される。そして、これらセパレータ間のギャップを所定の閾値と比較することによって、コマーシャル期間の先頭及び終端が導き出される。
Description
本発明は、ビデオ・データ信号のストリームにおける特定のコンテンツの検出に係り、特に、コマーシャル・コンテンツの境界の正確な検出に関する。
ReplayTV(カリフォルニア州パロアルトのREPLAY NETWORKS社の登録商標)及びTiVo(カリフォルニア州サニーベールのTIVO社の登録商標)の双方は、新しいタイプの「VCR」の第一波である。この新しいタイプのVCRによれば、テレビ視聴者は、ケーブルテレビや衛星放送システムから流れてくるテレビ・ショーのストリームを捕らえ、操作することができる。これらパーソナル・テレビ装置は、視聴者のためにチャンネルを変えたり、視聴者が興味ある番組を録画したり、視聴者が望んだときにコマーシャル無しで録画された番組を見ることができるように支援したりすることによって、パーソナル・アシスタントとして機能する。
コマーシャルを検出する既知の方法は複数存在する。1つの方法は、コマーシャルの先頭を示していると考えられる無音の黒フレーム(又は白黒フレーム)を検出することである。信号がディジタル形式のとき、黒フレームは、連続したブロックのDC係数の差の絶対値の合計に基づいて検出されるが、Iフレーム上でしか検出できない。この方法の欠点は、ビデオ・データが長いグループ・オブ・ピクチャ(GOP)を有するビデオ・シーケンスによって表される場合に、黒フレームが内部でエンコードされず、したがって検出されない、という可能性が高まる点である。さらに、黒フレーム検出は、あるコンテンツ上で完璧に機能したが、該コンテンツが複製・編集された後ではとてもひどく実行された。これは、コピー・アンド・ペースト処理によって持ち込まれたノイズが原因であった。したがって、通信状態が悪い場合(低受信率、悪天候など)に、黒フレーム検出は不十分にしか実行できない可能性が高い。さらに、黒フレームに依存したコマーシャル検出の問題点は、コマーシャルがスキップされるのを回避したい放送局は、黒フレーム・セパレータを容易に別のものと交換することができる点である。少なくともフランスとオランダでは、いくつかのチャンネルが既に黒フレームを青フレーム又は白フレームで置き換えている。別の既知のコマーシャル・インジケータは、オブジェクトは放送されている番組中よりもコマーシャル中の方がより高速に移動しより頻繁に変化するという観察又は仮定に端を発する、非常に積極的なものである。
しかし、上記従来の方法は、コマーシャルの先頭及び終端の正確なポイントを識別する際に多くの困難に直面する。黒フレームは、非常に活動的なシーケンスが後に続くあらゆる黒フレーム・シーケンスがコマーシャルとして誤って判定され、スキップされるという点で、偽陽性を生じる。したがって、コマーシャルの先頭及び終端を検出する改良された方法及びシステムを提供する必要性が存在する。
本発明は、再生モード中に検出されたコマーシャルをスキップできるように、コマーシャル期間を検出する方法及び装置に関する。
本発明の一態様によれば、圧縮されたビデオ・ストリーム中のコマーシャルを検出する方法が:ビデオ・データを圧縮し、圧縮ビデオ・データを生成する工程と;上記生成された圧縮データに基づいて複数のセパレータを検出する工程と;上記複数のセパレータの間のギャップを比較することによって、上記複数のセパレータの中からコマーシャル期間の先頭及び終端を判断する工程と;を有し、上記複数のセパレータの各々は、少なくとも2つの連続した情景変化により定義される。本方法は、更に、上記複数のセパレータのうちの一セパレータとその前のセパレータとの間のギャップが所定の閾値より小さいときに、該一セパレータをコマーシャル期間の潜在的終端として識別する工程を有する。上記コマーシャル期間の先頭及び終端を判断する工程は、更に、上記複数のセパレータのうちの一セパレータとその前のセパレータとの間のギャップが所定の閾値より大きいときに、該一セパレータをコマーシャル期間の先頭として識別する工程を有する。上記圧縮ビデオ・データ中の上記複数のセパレータを検出する工程は、更に、上記生成された圧縮データの平均MADの突然の増加を識別する工程を有する。
本発明の別の態様によれば、圧縮されたビデオ・ストリーム中のコマーシャルを検出する方法が:送信元から受信された入力ビデオ・データをエンコードして圧縮されたビデオ・データを生成する工程と;上記圧縮ビデオ・データ中の複数のセパレータを検出する工程と;上記複数のセパレータ間のギャップを所定の閾値と比較することによってコマーシャル期間の先頭及び終端を判断する工程と;上記複数のセパレータのうちの一セパレータとその前のセパレータとの間のギャップが上記所定の閾値より大きいときに、該一セパレータをコマーシャル期間の先頭として識別する工程と;上記複数のセパレータのうちの一セパレータとその前のセパレータとの間のギャップが上記所定の閾値より小さいときに、該一セパレータをコマーシャル期間の終端として識別する工程と;を有し、上記複数のセパレータの各々は少なくとも2つの連続した情景変化により定義され、上記複数のセパレータは送信元で上記ビデオ・データ内に選択的に挿入される。
本発明の更に別の態様によれば、圧縮されたビデオ・ストリーム中のコマーシャルを検出する装置が:圧縮されていないビデオ・データを受信して、圧縮ビデオ・データを生成するビデオ・エンコーダと;上記圧縮ビデオ・データ中の複数のセパレータを検出する検出器と;上記圧縮ビデオ・データにおいてコマーシャル期間の先頭及び終端を識別することによって該圧縮ビデオ・データを編集するように構成されたプロセッサと;後の視聴のために上記コマーシャル期間をスキップするように上記圧縮ビデオ・データを編集する再生選択器と;上記圧縮ビデオ・データを上記コマーシャル期間の先頭及び終端の識別と共に記憶するメモリと;解凍されたビデオ・データを生成するデコーダと;を有し、上記検出器は、上記圧縮されていないビデオ・データ中の少なくとも2つの情景カットの識別子を識別して、少なくとも2つの上記情景カットの上記識別子と一致した上記圧縮ビデオ・データ・シーケンス中の位置の識別子を生成するようにプログラムされる。上記圧縮ビデオ・データは、単色フレーム・シーケンスの存在の識別子;テレビ番組と上記コマーシャル期間との間の移行の識別子;連続したコマーシャル番組の間の移行の識別子;少なくとも2つの連続した情景カットの識別子;を含む。上記圧縮ビデオ・データは、更に、量子化スケール、動きベクトル・データ、ビットレート・データ、フレーム内の輝度変動、フレーム内の色変動、フレームのトータル輝度、フレームのトータルカラー、フレーム間の輝度変化、平均絶対偏差、及び、量子化スケールのうちの少なくとも1つを含む。
添付図面と共に以下の詳細な説明を読むことによって、当業者には上記及び他の利点が明らかとなるであろう。
以下の説明では、制限することではなく説明することを目的として、本発明の完全な理解を提供するために、特定のアーキテクチャ、インターフェース、手法などの具体的詳細が説明されている。便宜上、良く知られた装置、回路、及び方法の詳細な説明は、不必要な詳細により本発明の説明が分かりにくくならないように省略した。
本発明の理解を容易にするために、MPEG(Motion Pictures Expert Group)2符号化(coding)に関する背景情報を説明する。MPEG2において、ビデオ・データはビデオ・シーケンスにより表され、各ビデオ・シーケンスはグループ・オフ・ピクチャ(GOP)を含み、各GOPは該ビデオを構成するピクチャ又は「フレーム」を記述した一データ片を含む。各ピクチャは、複数のスライスに分割され、各スライスは左上から右下まで一列に並べられた複数のマクロブロックから成る。マクロブロックの各々は6つの構成要素:16×16ピクセルのマクロブロックを構成する4つの8×8ピクセル・ブロックの明るさを表す4つの明るさ成分Y1〜Y4と;同じマクロブロックの8×8ピクセル・ブロックの2つの色(U、V)構成差分成分Cb及びCr;から成る。最後に、8×8ピクセル・ブロックは、ビデオ・コーディングにおける最小単位である。
1つのイメージに対して実行されるMPEG2符号化では、該イメージを16×16ピクセルのマクロブロックへ分割する。これらマクロブロックの各々は、該マクロブロックに関連した別々の量子化スケール値を有する。これらマクロブロックは、更に、単一の8×8ピクセル・ブロックに分割される。これらマクロブロックの8×8ピクセル・ブロックは、離散コサイン変換(DCT)を受けて、その中の64の周波数帯域の各々についてDCT係数を生成する。次いで、8×8ピクセル・ブロックのDCT係数は、対応するコーディング・パラメータ、すなわち量子化重み付け係数、で除算される。所定の8×8ピクセル・ブロックに対する量子化重み付け係数は、8×8量子化行列で表される。その後、中でも特に量子化スケール値を考慮するために、DCT係数に対して追加的計算が実行され、よってMPEG2符号化が完了する。JPEGなどの他の符号化方法も本発明で用いることができることに注意。
MPEGコードにおいて、コードは3種類:(1)内部符号化ピクチャをIピクチャとして定義するフレーム内エンコード・コード;(2)Pピクチャとして予測符号化ピクチャを構成する先行フレームのみから予測されたフレーム間エンコード・コード;及び(3)Bピクチャとして双方向予測符号化ピクチャを構成する先行連続フレームから予測されたフレーム間エンコード・コード、に分類される。Iフレーム又は実際のビデオ基準フレームは周期的に符号化される。すなわち、15フレームの各々について1つの基準フレーム。次の基準フレームまでの具体的フレーム数において配置されるビデオ・フレーム、Pフレーム、の組成の予測が行われる。Bフレームは、IフレームとPフレームの間で予測されるか、或いは、過去の基準フレームにおける(平均)マクロブロックを将来の基準フレームにおけるマクロブロックで補間することによって予測される。基準フレーム内のマクロブロックの現フレーム内のマクロブロックに対する相対的位置を指定する動きベクトルもエンコードされる。
上述のように、国際規格MPEGコードに従ったあらゆるビデオ・データは、MPEGコードから画像を復元できる。エンコーディング処理中、本発明は、ビデオ情報ストリームからコマーシャル期間を検出するメカニズムを提供する。
次に、図面を参照して本発明について詳細に説明する。
図1は、本発明の一実施形態を適用し得るハードウェア・システムのブロック図を示す。図1に示すように、本発明に係る検出システム10は、ケーブルテレビ事業者、ディジタル高精細度テレビ(HDTV)及び/又はディジタル標準精細度テレビ(SDTV)の信号、衛星放送受信アンテナ、従来通りのRF放送、インターネット接続、又は、他の保存装置(例えば、VHSプレイヤーやDVDプレイヤーなど)などの様々な発信元からのビデオ信号ストリームを受信するように設計される。データ信号と共に、アナログ形式、ディジタル形式、又はディジタルに圧縮された形式のオーディオ/ビデオ番組を任意の伝送手段(例えば、衛星放送、ケーブルテレビ、有線放送、テレビ放送、又は、ウェブ(Web)経由など)を通じて伝達することができる。インターネット接続は、高速線経由でもよく、RF経由でもよく、従来のモデム経由でもよく、或いは、ビデオ番組を運ぶ双方向ケーブルを用いてもよい。本発明に係るシステムは、ダイレクト・プライベート・ネットワークやワイヤレス・ネットワークなどの他の考えられるネットワークにも接続することが可能であることに注意。
図2は、本発明の一実施形態に係る検出システム10の一例をより詳細に示す。検出システム10は、入力インターフェース(すなわち、IRセンサ)12と、MPEG−2エンコーダ14と、ハードディスク・ドライブ16と、MPEG−2デコーダ18と、コントローラ20と、コマーシャル検出器22と、ビデオ・プロセッサ24と、メモリ26と、再生セクション28とを有する。MPEGエンコーダ/デコーダは、他のMPEG規格、すなわちMPEG−1、MPEG−2、MPEG−4、及びMPEG−7にも準拠し得ることに注意。コントローラ20は、検出モード、録画モード、再生モード、及び、ビデオ・レコーダ/プレイヤーにおいて一般的な他のモードなどの検出システム10のオペレーション全体を監督する。
通常の視聴モードの間、コントローラ20は、入力テレビ(TV)信号を復調し、ビデオ・プロセッサ24に処理させ、テレビ受像機2へ送る。ビデオ・プロセッサ24は、入力TV信号をテレビ受像機2上に表示するのに適した対応するベースバンドTV信号へ変換する。ここで、入力TV信号は、ハードディスク・ドライブ16に記憶されず、またハードディスク・ドライブ16から検索されない。
通常の録画モードの間、コントローラ20は、MPEG−2エンコーダ14に衛星放送、ケーブルテレビ、有線放送、及びテレビ放送、又はウェブから入力されたテレビ信号を受信させ、受信したTV信号をハードディスク・ドライブ16に記憶するためのMPEG形式へ変換する。その後、コントローラ20は、ハードディスク・ドライバ16に記憶されたテレビ信号をMPEG−2デコーダへ流させる。次いで、MPEG−2デコーダは、通常の再生モードの間、送信されるべきデコード済TV信号を、再生セクション208を通じて、テレビ受像機2へ送る。同時に、コマーシャル検出器22は、エンコーディング・パラメータ(後述)を用いて、コマーシャル期間の先頭及び終端を検出する。次いで、ビデオ・プロセッサ24は、複数のコマーシャルを含むビデオ信号ストリームを処理し、後の検索のためにコマーシャル・コンテンツ無しでメモリ26に記憶する。あるいは、ビデオ・プロセッサ24は、コマーシャル期間の先頭及び終端をマークし、これらマークされたコマーシャル・セグメントを後のステージにおいてスキップできるようにすることもできる。最後に、コマーシャル無しの録画済番組の再生のリクエストが受信されると、メモリ26に記憶された番組コンテンツが、再生セクション28を通じて、テレビ受像機2へ転送され、表示される。
ビデオ情報ストリームからコマーシャルの先頭及び終端をどのように検出するかについて以下により詳細に説明する。
図3を参照すると、放送局側において、番組(Pr)と隣接するコマーシャルの間又は連続するコマーシャル(Ci)の間を便利するのに、一般的には、黒フレーム(BF)又は他の単色フレームによって定義されたセパレータが用いられる。したがって、本発明は、コマーシャルをその前後のコンテンツから分離するために、特に、(1)コマーシャル期間中の連続するコマーシャルの間、(2)番組の終端(又は一時中断)とコマーシャル期間の先頭の間、及び、(3)コマーシャル機関の終端と番組の先頭(又は続き)の間、を分離するために、数フレームのセパレータが常に存在する、という事実に依拠している。したがって、本発明は、コマーシャル期間を検出するのに、コマーシャル・コンテンツに内在する特徴ではなく、エンコーディング・パラメータを利用する。放送局側で連続するコンテンツの間の「編集隙間を埋める」のに用いられるフレームに基づいてコマーシャル期間を検出するのに加えて、本発明は、図3に示すように、互いに非常に接近した2つの情景カット(以下、「連続情景カットSx,n及びSy,n」と呼ぶ)として特徴付けることができるセパレータSnを組み込む。本発明に係る情景変化検出は、I、P、及びBフレームの各々に対して作用する。これは、従来の黒フレーム検出方法では行われていなかった。従来技術では、黒フレームの検出をIフレームに対してしか用いていなかった。ゆえに、本発明に係る「連続情景カット」の検出は、Iフレームを一切含まない可能性もある小さいセパレータを検出できる程度に十分に小さい(すなわち、3〜4フレーム)べきである。
MPEG−2エンコーディングについて、本発明の好ましい実施形態に従った様々な実施においては市場で又は公に入手可能な集積回路(IC)をいくつでも使うことができる。これらIC上では、専用のエンコーディング・ハードウェア・ブロックがMPEG−2エンコーディング処理の内部計算パラメータ(以下、「低レベル特徴(low−level feature)」と呼ぶ)をリアルタイムで生成し、伝達する。「低レベル特徴」は、例えば、各フレーム(I、P、B)の符号化モード、量子化スケール、動きベクトル・データ、ビットレート・データ、フレーム内の輝度変動、フレーム内の色変動、フレーム内のトータル輝度、フレーム内のトータルカラー、フレーム間の輝度変化、差の絶対値の平均(平均絶対偏差)、量子化スケールなどである。次いで、これら「低レベル特徴」を処理して、本発明に係るコマーシャル検出に用いることができる「中レベル特徴(mid−level feature)」を取得する。このために、コマーシャル検出器22は、いくつかの「中レベル特徴」に基づいてコマーシャル期間の位置を生成し、これら位置を記憶して視聴時にコマーシャルをスキップできるようにする。
したがって、本発明は、各フレームにおいて「低レベル特徴」を用い、以下のような対応する「中レベル特徴」:
(1)Pict_Cod_Type(ピクチャ符号化種類、内部か相互間か);
(2)Lum_DC_diff(隣接するブロックに対するDC係数の差の絶対値の合計);及び、
(3)MAD_total_UP(MAD(Mean Absolute Difference)の合計);
を抽出する。ここで、MADは、エンコードするオリジナル・フレームの各ブロックとその対応する動き予測ブロックとの間の平均絶対偏差の合計を表す(字幕などの通常はスクリーンの底部に現れる文字/グラフィック情報の変化による予測誤りを回避するために、画像上部においてのみ合計処理が行われる)。
(1)Pict_Cod_Type(ピクチャ符号化種類、内部か相互間か);
(2)Lum_DC_diff(隣接するブロックに対するDC係数の差の絶対値の合計);及び、
(3)MAD_total_UP(MAD(Mean Absolute Difference)の合計);
を抽出する。ここで、MADは、エンコードするオリジナル・フレームの各ブロックとその対応する動き予測ブロックとの間の平均絶対偏差の合計を表す(字幕などの通常はスクリーンの底部に現れる文字/グラフィック情報の変化による予測誤りを回避するために、画像上部においてのみ合計処理が行われる)。
したがって、本発明は、最初に、番組とコマーシャル期間の間の移行だけでなく、コマーシャル期間中の連続するコマーシャル間の非常に密接に連続した情景変化又は「連続情景カット」も検出する。このため、本分野で既知のあらゆる情景変化検出方法を本発明の手法に従って用いることができる。例えば、平均MAD値の突然の変化による情景コンテンツの突然の変化は、「連続情景カット」を検出するための暗示として用いることができる。上述のように、MADは動き予測誤りを表す。MADは動き予測誤りに対応することに注意。誤りが大きい場合、エンコードする画像が前フレームからの動き予測を用いて予測できず、情景カットが生じ得ることを示す。
すなわち、MPEGエンコーディング処理の一部は、フレームごとの輝度フィールドの動き予測である。この処理の結果は、エンコードする実際のフレームを予測するのに用いられる変位ベクトルである。予測と実際のフレームの間の誤りは、MAD値を用いて表される。シャープな情景変化において、良好に一致するマクロブロックはほとんど存在しない。したがって、シャープな情景変化時のMAD値は、平均MAD値より大幅に高い。
2つの連続した情景変化が上述のようにして検出されると、これらを、(1)コマーシャル期間中の連続したコマーシャル間のセパレータとして、又は、(2)番組と隣接するコマーシャル期間の間のセパレータとして、考えることができる。その後、コマーシャル期間の先頭及び終端を検出するアルゴリズムを適用して、後述のようにコマーシャル期間の正確な境界を取得することができる。
図4は、図3に示したセパレータ構成を用いてコマーシャル機関を検出するオペレーション工程を示すフローチャートである。当業者には明らかなように、別段の断り書きがない限り、記載した特定の工程シーケンスは、単なる例示であり、本発明の意図を逸脱することなく、変更を加えることも可能である。加えて、このフロー図は、特定の装置に必要な処理を実行するための回路を製造する又はコンピュータ・ソフトウェアを生成する当業者が必要とする機能的情報を示すものである。
ステップ100において、エンコードされているビデオ・フレームの各々を分析してコマーシャル期間の先頭及び終端を検出する。ステップ102において、セパレータ又は「連続情景カット」が検出されたか否かが判断される。セパレータが検出されなかった場合、次のフレームをセパレータについて分析する。セパレータが存在した場合、検出されたセパレータに先行する別のセパレータが存在しないこと、及び、検出されたセパレータが一連の「連続するセパレータ」の1番目のものであること、が確認される。セパレータは、前のセパレータとの間が指定されたフレーム数より接近している場合(通常、6フレームのGOPに対して、50秒より接近している場合)、この前セパレータから連続していると考えられる。したがって、検出されたセパレータが同じコマーシャル期間における中間セパレータでないことを確認するために、ステップ104において、検出されたセパレータと前に検出されたセパレータの間のフレーム・ギャップが第一の所定の閾値より大きいか否かが判断される。黒フレーム又は他の単色フレームによって定義されたセパレータは、特定の番組セグメントの長さより大幅に短いコマーシャル期間の間のみで発生し得るため、この閾値は一連の「連続したセパレータ」における最初のセパレータを区別するのに用いられる。検出されたセパレータと前に検出されたセパレータの間のフレーム・ギャップが第一の所定の閾値より大きい場合、ステップ106において、検出されたセパレータがコマーシャル期間の先頭としてマークされる。その後、次のフレームが分析される。
同様に、ステップ104において、検出されたセパレータと前に検出されたセパレータとの間のフレーム・ギャップが第一の所定の閾値より小さい場合、ステップ108において、検出されたセパレータがコマーシャル期間の終端であるか否かが判断される。コマーシャル期間の先頭が検出されると、新しいセパレータの各々は潜在的なコマーシャル期間終端としてマークされ、最後のセパレータのマークだけが維持される、ことに注意。コマーシャル期間の終端を判断するために、ステップ108において、検出されたセパレータと前に検出されたセパレータの間のフレーム・ギャップが第二の所定の閾値より大きいか否かが判断される。検出されたセパレータと前に検出されたセパレータの間のフレーム・ギャップが第二の所定の閾値より大きい場合、ステップ110において、該前に検出されたセパレータがコマーシャル期間の終端としてマークされる。
本発明の好ましい実施形態について図示し説明してきたが、当業者には明らかなように、本発明の範囲を逸脱せずに、様々な変更及び修正及びその要素について等価物との置換が可能である。加えて、本発明の中心範囲を逸脱せずに、特定の状況と本発明の教えとに適合するための多くの修正が可能である。したがって、本発明は、本発明を実行するためによく考えられたベストモードとして開示された特定の実施形態に制限されず、請求項の範囲内のすべての実施形態を含む、ことが意図されている。
Claims (16)
- 圧縮されたビデオ・ストリーム中のコマーシャルを検出する方法であって、
ビデオ・データを圧縮し、圧縮ビデオ・データを生成する工程と、
前記生成された圧縮データに基づいて複数のセパレータを検出する工程と、
前記複数のセパレータの間のギャップを比較することによって、前記複数のセパレータの中からコマーシャル期間の先頭及び終端を判断する工程とを有し、
前記複数のセパレータの各々は、少なくとも2つの連続した情景変化により定義される、ことを特徴とする方法。 - 請求項1記載の方法であって、
前記コマーシャル期間の先頭及び終端を判断する工程は、更に、
前記複数のセパレータのうちの一セパレータとその前のセパレータとの間のギャップが所定の閾値より大きいときに、該一セパレータをコマーシャル期間の先頭として識別する工程を有する、ことを特徴とする方法。 - 請求項2記載の方法であって、
前記一セパレータとその次のセパレータとの間のギャップが前記所定の閾値より大きいときに、該一セパレータをコマーシャル期間の終端として識別する工程を更に有する、ことを特徴とする方法。 - 請求項1記載の方法であって、
前記複数のセパレータは、送信側において、前記ビデオ・データ内に挿入される、ことを特徴とする方法。 - 請求項1記載の方法であって、
前記圧縮ビデオ・データ中の前記複数のセパレータを検出する工程は、更に、
前記生成された圧縮データの平均MADの突然の増加を識別する工程を有する、ことを特徴とする方法。 - 請求項1記載の方法であって、
前記圧縮ビデオ・データ中の前記複数のセパレータを検出する工程は、前記生成された圧縮データの平均MADの増加に基づいて実行される、ことを特徴とする方法。 - 圧縮されたビデオ・ストリーム中のコマーシャルを検出する方法であって、
送信元から受信された入力ビデオ・データをエンコードして圧縮されたビデオ・データを生成する工程と、
前記圧縮ビデオ・データ中の複数のセパレータを検出する工程と、
前記複数のセパレータ間のギャップを所定の閾値と比較することによってコマーシャル期間の先頭及び終端を判断する工程と、
前記複数のセパレータのうちの一セパレータとその前のセパレータとの間のギャップが前記所定の閾値より大きいときに、該一セパレータをコマーシャル期間の先頭として識別する工程と、
前記複数のセパレータのうちの一セパレータとその次のセパレータとの間のギャップが前記所定の閾値より大きいときに、該一セパレータをコマーシャル期間の終端として識別する工程とを有し、
前記複数のセパレータの各々は、少なくとも2つの連続した情景変化により定義される、ことを特徴とする方法。 - 圧縮されたビデオ・ストリーム中のコマーシャルを検出する装置であって、
圧縮されていないビデオ・データを受信して、圧縮ビデオ・データを生成するビデオ・エンコーダと、
前記圧縮ビデオ・データ中の複数のセパレータを検出する検出器と、
前記圧縮ビデオ・データにおいてコマーシャル期間の先頭及び終端を識別することによって該圧縮ビデオ・データを編集するように構成されたプロセッサと、
後の視聴のために前記コマーシャル期間をスキップするように前記圧縮ビデオ・データを編集する再生選択器と、を有することを特徴とする装置。 - 請求項8記載の装置であって、
前記圧縮ビデオ・データを前記コマーシャル期間の先頭及び終端の識別と共に記憶するメモリを更に有する、ことを特徴とする装置。 - 請求項8記載の装置であって、
解凍されたビデオ・データを生成するデコーダを更に有する、ことを特徴とする装置。 - 請求項8記載の装置であって、
前記圧縮ビデオ・データは単色フレーム・シーケンスの存在の識別子を含む、ことを特徴とする装置。 - 請求項8記載の装置であって、
前記圧縮ビデオ・データは、テレビ番組と前記コマーシャル期間との間の移行の識別子を含む、ことを特徴とする装置。 - 請求項8記載の装置であって、
前記圧縮ビデオ・データは、連続したコマーシャル番組の間の移行の識別子を含む、ことを特徴とする装置。 - 請求項8記載の装置であって、
前記圧縮ビデオ・データは、少なくとも2つの連続した情景カットの識別子を含む、ことを特徴とする装置。 - 請求項8記載の装置であって、
前記圧縮ビデオ・データは、量子化スケール、動きベクトル・データ、ビットレート・データ、フレーム内の輝度変動、フレーム内の色変動、フレームのトータル輝度、フレームのトータルカラー、フレーム間の輝度変化、平均絶対偏差、及び、量子化スケールのうちの少なくとも1つを含む、ことを特徴とする装置。 - 請求項8記載の装置であって、
前記プロセッサは、前記圧縮されていないビデオ・データ中の少なくとも2つの情景カットの識別子を識別して、少なくとも2つの前記情景カットの前記識別子と一致した前記圧縮ビデオ・データ・シーケンス中の位置の識別子を生成する、ことを特徴とする装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/029,812 US20030123841A1 (en) | 2001-12-27 | 2001-12-27 | Commercial detection in audio-visual content based on scene change distances on separator boundaries |
PCT/IB2002/005380 WO2003061280A2 (en) | 2001-12-27 | 2002-12-10 | Commercial detection in audio-visual content based on scene change distances |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005515722A true JP2005515722A (ja) | 2005-05-26 |
Family
ID=21851004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003561239A Pending JP2005515722A (ja) | 2001-12-27 | 2002-12-10 | セパレータ境界上での情景変化距離に基づくオーディオビジュアル・コンテンツ中のコマーシャル検出 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20030123841A1 (ja) |
EP (1) | EP1464054A2 (ja) |
JP (1) | JP2005515722A (ja) |
KR (1) | KR20040069345A (ja) |
CN (1) | CN100544416C (ja) |
AU (1) | AU2002353333A1 (ja) |
WO (1) | WO2003061280A2 (ja) |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7302160B1 (en) * | 2002-01-22 | 2007-11-27 | Lsi Corporation | Audio/video recorder with automatic commercial advancement prevention |
US7398000B2 (en) * | 2002-03-26 | 2008-07-08 | Microsoft Corporation | Digital video segment identification |
US20050149968A1 (en) * | 2003-03-07 | 2005-07-07 | Richard Konig | Ending advertisement insertion |
US7694318B2 (en) * | 2003-03-07 | 2010-04-06 | Technology, Patents & Licensing, Inc. | Video detection and insertion |
US7738704B2 (en) * | 2003-03-07 | 2010-06-15 | Technology, Patents And Licensing, Inc. | Detecting known video entities utilizing fingerprints |
US7809154B2 (en) | 2003-03-07 | 2010-10-05 | Technology, Patents & Licensing, Inc. | Video entity recognition in compressed digital video streams |
US20050177847A1 (en) * | 2003-03-07 | 2005-08-11 | Richard Konig | Determining channel associated with video stream |
US7298962B2 (en) | 2003-05-12 | 2007-11-20 | Macrovision Corporation | Method and apparatus for reducing and restoring the effectiveness of a commercial skip system |
EP1735999A4 (en) * | 2004-03-29 | 2012-06-20 | Nielsen Media Res Inc | METHODS AND APPARATUS FOR DETECTING EMPTY FRAME IN DIGITAL VIDEO BROADCASTING SIGNAL |
KR20070032633A (ko) * | 2004-04-08 | 2007-03-22 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 멀티미디어 데이터에 적용되는 코딩 방법 |
KR20070007330A (ko) * | 2004-04-08 | 2007-01-15 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 단색 프레임 검출 방법 및 대응 장치 |
US7793319B2 (en) * | 2004-04-27 | 2010-09-07 | Gateway, Inc. | System and method for improved channel surfing |
JP4387408B2 (ja) * | 2004-06-18 | 2009-12-16 | パナソニック株式会社 | Avコンテンツ処理装置、avコンテンツ処理方法、avコンテンツ処理プログラムおよびavコンテンツ処理装置に用いる集積回路 |
JP4296503B2 (ja) * | 2004-10-04 | 2009-07-15 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US20060090123A1 (en) * | 2004-10-26 | 2006-04-27 | Fuji Xerox Co., Ltd. | System and method for acquisition and storage of presentations |
US20060101486A1 (en) * | 2004-11-05 | 2006-05-11 | Cable Television Laboratories, Inc. | System for preventing advertising removal from digital television bitstreams |
KR100595708B1 (ko) * | 2004-12-30 | 2006-07-20 | 엘지전자 주식회사 | 이동통신 단말기의 브로드캐스팅 스트리밍의 일시 정지서비스 장치 및 방법 |
US20080131077A1 (en) * | 2005-01-21 | 2008-06-05 | Richard Earl Jones | Method and Apparatus for Skipping Commercials |
US20060195859A1 (en) * | 2005-02-25 | 2006-08-31 | Richard Konig | Detecting known video entities taking into account regions of disinterest |
US20060195860A1 (en) * | 2005-02-25 | 2006-08-31 | Eldering Charles A | Acting on known video entities detected utilizing fingerprinting |
GB2424747A (en) * | 2005-03-29 | 2006-10-04 | Lite On It Corp | Method of recording and reproducing video and audio stream |
US7690011B2 (en) | 2005-05-02 | 2010-03-30 | Technology, Patents & Licensing, Inc. | Video stream modification to defeat detection |
US20070030584A1 (en) * | 2005-08-02 | 2007-02-08 | Lsi Logic Corporation | Compressed domain commercial detect/skip |
US7707485B2 (en) * | 2005-09-28 | 2010-04-27 | Vixs Systems, Inc. | System and method for dynamic transrating based on content |
US20070118873A1 (en) * | 2005-11-09 | 2007-05-24 | Bbnt Solutions Llc | Methods and apparatus for merging media content |
US9697230B2 (en) * | 2005-11-09 | 2017-07-04 | Cxense Asa | Methods and apparatus for dynamic presentation of advertising, factual, and informational content using enhanced metadata in search-driven media applications |
US9697231B2 (en) * | 2005-11-09 | 2017-07-04 | Cxense Asa | Methods and apparatus for providing virtual media channels based on media search |
US7801910B2 (en) * | 2005-11-09 | 2010-09-21 | Ramp Holdings, Inc. | Method and apparatus for timed tagging of media content |
US20070106685A1 (en) * | 2005-11-09 | 2007-05-10 | Podzinger Corp. | Method and apparatus for updating speech recognition databases and reindexing audio and video content using the same |
KR100772866B1 (ko) * | 2006-02-21 | 2007-11-02 | 삼성전자주식회사 | 타임 시프트된 컨텐츠와 실시간 컨텐츠의 재생 시간을동기화시키는 장치 및 그 방법 |
CN101480053A (zh) * | 2006-06-27 | 2009-07-08 | 皇家飞利浦电子股份有限公司 | 在电视节目中插入广告 |
US7982797B2 (en) * | 2006-06-30 | 2011-07-19 | Hewlett-Packard Development Company, L.P. | Detecting blocks of commercial content in video data |
JP4909165B2 (ja) * | 2007-04-24 | 2012-04-04 | ルネサスエレクトロニクス株式会社 | シーン変化検出装置、符号化装置及びシーン変化検出方法 |
US20090320060A1 (en) * | 2008-06-23 | 2009-12-24 | Microsoft Corporation | Advertisement signature tracking |
EP2187337A1 (en) * | 2008-11-12 | 2010-05-19 | Sony Corporation | Extracting a moving mean luminance variance from a sequence of video frames |
US20100153995A1 (en) * | 2008-12-12 | 2010-06-17 | At&T Intellectual Property I, L.P. | Resuming a selected viewing channel |
FR2940575B1 (fr) | 2008-12-23 | 2013-03-01 | Sagem Comm | Procede de gestion de la detection de publicite dans un appareil electronique, par exemple un decodeur de television numerique. |
US8326127B2 (en) * | 2009-01-30 | 2012-12-04 | Echostar Technologies L.L.C. | Methods and apparatus for identifying portions of a video stream based on characteristics of the video stream |
US20100319015A1 (en) * | 2009-06-15 | 2010-12-16 | Richard Anthony Remington | Method and system for removing advertising content from television or radio content |
KR101615262B1 (ko) | 2009-08-12 | 2016-04-26 | 삼성전자주식회사 | 시멘틱 정보를 이용한 멀티 채널 오디오 인코딩 및 디코딩 방법 및 장치 |
US8925024B2 (en) | 2009-12-31 | 2014-12-30 | The Nielsen Company (Us), Llc | Methods and apparatus to detect commercial advertisements associated with media presentations |
US8422859B2 (en) * | 2010-03-23 | 2013-04-16 | Vixs Systems Inc. | Audio-based chapter detection in multimedia stream |
US9350966B1 (en) * | 2013-03-14 | 2016-05-24 | Tribune Broadcasting Company, Llc | Systems and methods for assigning attributes to recorded video |
JP6527462B2 (ja) * | 2013-03-22 | 2019-06-05 | 富士通株式会社 | 圧縮装置、圧縮方法、記録媒体および伸張装置 |
US10674195B2 (en) * | 2014-02-11 | 2020-06-02 | Disney Enterprises, Inc. | Method and system for detecting commercial breaks |
US9848222B2 (en) | 2015-07-15 | 2017-12-19 | The Nielsen Company (Us), Llc | Methods and apparatus to detect spillover |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5999688A (en) * | 1993-01-08 | 1999-12-07 | Srt, Inc. | Method and apparatus for controlling a video player to automatically locate a segment of a recorded program |
JP3332756B2 (ja) * | 1996-03-14 | 2002-10-07 | 三洋電機株式会社 | テレビジョン放送信号の記録再生装置 |
WO1998026577A2 (en) * | 1996-12-13 | 1998-06-18 | Digital Video Systems, Inc. | Multiple-source transmission system |
JP3409834B2 (ja) * | 1997-07-10 | 2003-05-26 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
JP4026100B2 (ja) * | 1998-11-30 | 2007-12-26 | ソニー株式会社 | 情報処理装置および方法、並びに記録媒体 |
JP4597453B2 (ja) * | 1999-11-10 | 2010-12-15 | トムソン ライセンシング | 書き換え可能なメディアでのコマーシャルスキップ機能及びチャプター描写機能 |
US6993245B1 (en) * | 1999-11-18 | 2006-01-31 | Vulcan Patents Llc | Iterative, maximally probable, batch-mode commercial detection for audiovisual content |
JP4296693B2 (ja) * | 2000-07-13 | 2009-07-15 | ソニー株式会社 | Av信号記録再生装置、cm検出方法、および記録媒体 |
US6714594B2 (en) * | 2001-05-14 | 2004-03-30 | Koninklijke Philips Electronics N.V. | Video content detection method and system leveraging data-compression constructs |
-
2001
- 2001-12-27 US US10/029,812 patent/US20030123841A1/en not_active Abandoned
-
2002
- 2002-12-10 AU AU2002353333A patent/AU2002353333A1/en not_active Abandoned
- 2002-12-10 WO PCT/IB2002/005380 patent/WO2003061280A2/en active Application Filing
- 2002-12-10 EP EP02788354A patent/EP1464054A2/en not_active Withdrawn
- 2002-12-10 CN CNB028261844A patent/CN100544416C/zh not_active Expired - Fee Related
- 2002-12-10 KR KR10-2004-7010113A patent/KR20040069345A/ko not_active Application Discontinuation
- 2002-12-10 JP JP2003561239A patent/JP2005515722A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
AU2002353333A1 (en) | 2003-07-30 |
CN100544416C (zh) | 2009-09-23 |
EP1464054A2 (en) | 2004-10-06 |
CN1608295A (zh) | 2005-04-20 |
KR20040069345A (ko) | 2004-08-05 |
WO2003061280A2 (en) | 2003-07-24 |
US20030123841A1 (en) | 2003-07-03 |
AU2002353333A8 (en) | 2003-07-30 |
WO2003061280A3 (en) | 2003-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005515722A (ja) | セパレータ境界上での情景変化距離に基づくオーディオビジュアル・コンテンツ中のコマーシャル検出 | |
EP0971543B1 (en) | Image data processing method | |
US7295757B2 (en) | Advancing playback of video data based on parameter values of video data | |
US7046910B2 (en) | Methods and apparatus for transcoding progressive I-slice refreshed MPEG data streams to enable trick play mode features on a television appliance | |
EP1009166B1 (en) | Splicing of video data in progressively refreshed video streams | |
US20030169817A1 (en) | Method to encode moving picture data and apparatus therefor | |
US7729425B2 (en) | Image processing apparatus and method, program, and recording medium | |
EP1768419B1 (en) | Moving picture encoding device, moving picture recording device, and moving picture reproduction device | |
EP0685967B1 (en) | Compressed television signal recording and reproducing apparatus | |
US6373905B1 (en) | Decoding apparatus and decoding method | |
EP1517562A2 (en) | Video coding including auxiliary information for performing and tracking successive processing steps like editing, splicing, fingerprinting | |
JPH10145740A (ja) | 画像シーケンス内のディジタル的に符号化された画像を処理する方法及びその方法を実施する装置、並びに、復号化された画像のバッファ記憶用装置 | |
US20060098739A1 (en) | Video frame encoder driven by repeat decisions | |
JPH10290453A (ja) | 映像伝送方法および装置 | |
JP3915121B2 (ja) | 画像処理装置および画像処理方法、情報処理装置および情報処理方法、プログラム、並びに、記録媒体 | |
JP2007036705A (ja) | 映像蓄積再生装置 | |
JP2011066682A (ja) | 電子機器、シーンチェンジ検出方法及びプログラム | |
JP2003037818A (ja) | 特殊再生用データ作成装置 | |
JPH0898139A (ja) | ディジタルvtr |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090316 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090519 |