JP2002521977A - ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置および方法 - Google Patents

ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置および方法

Info

Publication number
JP2002521977A
JP2002521977A JP2000563066A JP2000563066A JP2002521977A JP 2002521977 A JP2002521977 A JP 2002521977A JP 2000563066 A JP2000563066 A JP 2000563066A JP 2000563066 A JP2000563066 A JP 2000563066A JP 2002521977 A JP2002521977 A JP 2002521977A
Authority
JP
Japan
Prior art keywords
frame
commercial
cut
detector
black
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000563066A
Other languages
English (en)
Inventor
ディミトローファ ネフェンカ
マッギー トーマス
ハー エレンバース イアン
レイヴィ ユージーン
ラムゼイ キャロライン
ベルコヴィッツ デヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2002521977A publication Critical patent/JP2002521977A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/107—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/10—Arrangements for replacing or switching information during the broadcast or the distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/375—Commercial
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S358/00—Facsimile and static presentation processing
    • Y10S358/908—Pause control, i.e. "commercial killers"

Abstract

(57)【要約】 コマーシャル検出装置は、カット検出スレッドおよびフィルタスレッドによって解析すべき入力データストリームからフレームを取得するフレーム取得スレッドを含む。コマーシャル検出スレッドは、コマーシャルが、メモリに格納された前記カット検出スレッドおよびフィルタスレッドによって形成されたデータから形成されたかどうかを決定する。前記コマーシャル検出スレッドによって使用される因子は、ブラックフレームが生じたかどうかである。前記入力データストリームを複数の領域に分割し、次に、これらの領域の区分に関する最高値および最低値を決定し、互いに比較する。前記最高値および最低値が十分に近く、前記最高値がしきい値よりも低い場合、そのフレームをブラックとみなす。前記コマーシャル検出スレッドは、平均カットフレーム間隔、カットレート、前記平均カットフレーム間隔における変化、ロゴの不在、コマーシャル署名検出、ブランド名検出、高いカットレートに先行するブラックフレームの列、解析されているフレームの前の指定された期間内に位置する同様のフレーム、および、キャラクタ検出も考察する。再生中、検出されたコマーシャルを、スキップするか、代わりの内容に取りかえる。

Description

【発明の詳細な説明】
【０００１】 発明の背景 本発明は、ビデオ記録および再生システムの分野に関する。特に、本発明は、
ビデオデータストリーム内のコマーシャルを位置決めする方法および装置に関す
る。
【０００２】 テレビジョン番組は、一般に、ビデオカセットレコーダ（ＶＣＲ）の使用によ
って記録される。記録することにより、ユーザは、番組を後の時間において観る
か、番組を同時に観て、後に観るためにその複製をとっておくことができるよう
になる。ＶＣＲを使用して後に観るべき番組の複製を形成する場合、多くのユー
ザは、そのＴＶ番組内に挿入されたコマーシャルまたはプロモーションの内容に
は興味がない。このようなユーザは、一般的に、これらのコマーシャルを手動で
スキップする。
【０００３】 ブルム（Blum）に対する米国特許明細書第５１５１７８８号のような自律的に
スキップするように設計された装置は、「ブラックフレーム」の発生に応じて前
記ＶＣＲに合図し、記録を停止させる。ブラックフレームは、通常、コマーシャ
ル部分の直前および直後に見られる。このような装置は、画面に表示された画像
のアクティビティにおける変化も識別する。アクティビティは、２つの異なるフ
レームの組間の輝度レベルにおける変化の割合である。コマーシャルは、一般的
に、「アクティビティ」で満たされている。少ない量のアクティビティを検出し
た場合、コマーシャルが終了したと判断する。記録を再開し、続ける。
【０００４】 あいにく、「アクティビティ」は適切に規定されず、したがって、アクティビ
ティが開始または終了するときを正確に決定することは困難である。どのような
ブラックスクリーンも、ＶＣＲの記録を停止する。それに続くアクティビティが
ある限り、前記装置は、コマーシャルの存在を推定する。したがって、番組にお
いてブラックスクリーンにアクションシーケンスが続くと、コマーシャルとして
誤って判断され、スキップされてしまうおそれがある。代わりに、ゆっくりした
ペースのコマーシャルは、番組として誤って判断され、記録されてしまうおそれ
がある。
【０００５】 ボナー（Bonner）他による米国特許明細書第４３１４２８５号に開示されてい
るようなブラックフレームを識別する他の技術は、入力信号の電圧レベルにおけ
るしきい値を下回る低下を感知する。イグルデン（Iggulden）他による米国特許
明細書第４３１４２８５号において開示されているような依然として他の技術は
、どのようなコマーシャルも含む番組全体を記録することである。ブラックフレ
ームが放送されるときを常に記録する。記録後、プロセッサは、ブラックフレー
ム間の期間がコマーシャルであるか番組であるかを決定する。これは、簡単な式
によって成し遂げられる。前記期間が５分未満の場合、コマーシャルであると判
断する。再生中、前記装置はテープを速送りし、コマーシャルであると決定され
た領域を通り過ぎさせる。前記装置は、再生を開始および停止するときを覚えて
いなければならないため、特別なテープを使用しなければならないか、標準的な
テープを改造しなければならず、これによってシステムコストが上昇する。さら
に、互いに５分未満の２つのブラックフレームは、薄暗いまたは暗いシーン中に
も現れうるため、必ずしもコマーシャルの典型ではない。
【０００６】 レウイン（Lewine）に対する米国特許明細書第５６６８９１７号に開示されて
いるような依然として他の技術において、ほとんど一致する連続フレームが、コ
マーシャルを表すとする。役者があまり動かないトークショーまたは連続コメデ
ィー番組において代表的に見られるシーンは、この技術ではコマーシャルとして
誤って判断され、スキップされる恐れがある。
【０００７】 前記先行技術の装置のすべては、信号がコマーシャルであるかどうかを識別す
るこれらの方法がしばしば不正確である点において不完全である。映画の中間部
にブラックフレームがあると、これらの装置の大部分は、これをコマーシャルと
間違える。
【０００８】 本発明の目的および要約 本発明の一態様によれば、複数のフレームに分割されたビデオデータストリー
ム内のコマーシャルの前または後に生じるブラックフレームを検出する家庭情報
装置は、ブラックフレーム検出器を具える。前記ブラックフレーム検出器は、前
記フレームの解析されたフレームを複数の領域に分割するステップと、前記領域
に関する平均最高輝度値を計算するステップと、前記領域に関する平均最低輝度
値を計算するステップと、前記平均最高輝度値および平均最低輝度値をブラック
フレームしきい値と比較するステップと、ブラックフレームの発生を前記比較す
るステップに基づいて認知するステップとを行う。
【０００９】 本発明の他の態様によれば、複数のフレームに分割されたビデオデータストリ
ーム内のコマーシャルの少なくとも一部を検出する家庭情報装置は、平均カット
フレーム間隔検出器と、カットフレーム間隔傾向検出器と、ブランド名検出器と
、カットレートおよびブラックフレーム検出器と、フレーム類似検出器と、キャ
ラクタ検出器と、静止画検出器とのうち少なくとも１つを具える。前記平均カッ
トフレーム間隔検出器は、カットを有する第１フレームおよびカットを有する前
フレーム間のフレーム数を表す分子と、前記前フレームおよび第１フレーム間の
カット数を表す分母とを含む商を計算するステップと、前記商をカットフレーム
間隔しきい値と比較するステップと、コマーシャルの一部の発生を前記比較する
ステップに基づいて認知するステップとを行う。前記平均カットフレーム間隔傾
向検出器は、複数のフレームにおけるカット数における変化を決定し、コマーシ
ャルの一部を前記変化に基づいて検出する。前記ブランド名検出器は、前記デー
タストリームを、オーディオプロセッサ、ビデオプロセッサおよびクローズドキ
ャプションプロセッサのうち少なくとも１つによって処理し、テキストを発生す
るステップと、前記テキストを製品名および商品名のバンクと比較するステップ
と、コマーシャルの一部を前記比較するステップに基づいて認知するステップと
を行う。前記カットレートおよびブラックフレーム検出器は、コマーシャルの一
部を、ブラックフレームの列が解析されたカットの前のカットおよびブラックフ
レーム期間内に生じたかどうか、前記解析されたカットがカット列内において生
じたかどうか、前記列がカットレート期間内に生じたかどうかに基づいて認知す
る。前記フレーム類似検出器は、現在フレームが前フレームと類似しているかど
うかを決定し、コマーシャルの一部を、ある期間内のフレームが現在フレームと
類似している場合に検出する。前記キャラクタ検出器は，前記フレームの解析さ
れたフレーム内の文字をみつけるステップと、前記文字の周囲のボックスを形成
するステップと、前記ボックスの大きさを決定するステップと、前記解析された
フレームにおける前記ボックスの位置を決定するステップと、前記解析されたフ
レームおよびその後の解析されたフレームの前記大きさおよび位置を解析するス
テップと、コマーシャルの一部を前記解析するステップに基づいて検出するステ
ップとを行う。前記静止画検出器は、コマーシャルの一部を、多数の静止画があ
る期間内で発生した場合に検出する。
【００１０】 本発明の依然として他の態様によれば、複数のフレームに分割されたビデオデ
ータストリーム内のコマーシャルを検出するシステムは、前記フレームを取得す
るフレーム取得器を具える。第１検出器は、少なくとも１つのカットにおける前
記データストリーム内で、第１期間内に位置する同様のフレームと、ブロックフ
レームとを認知する。第２検出器は、前記データストリーム内で、第２期間内で
同様の少なくとも１つのフレームと、実際的に同じ色であるフレームとを検出す
る。第３検出器は、前記コマーシャルを、前記第１および第２検出器によって発
生された情報を使用して認知する。
【００１１】 本発明の依然として他の態様によれば、複数のフレームに分割されたビデオデ
ータストリーム内のコマーシャルを、平均カットフレーム間隔と、カットフレー
ム間隔と、ブランド名と、ブラックフレームと、カットレートおよびブラックフ
レームと、フレーム類似と、キャラクタ検出と、静止画とのうち少なくとも１つ
によって認知する方法を使用する。前記平均カットフレーム間隔検出は、カット
を有する第１フレームおよびカットを有する前フレーム間のフレーム数を表す分
子と、前記前フレームおよび第１フレーム間のカット数を表す分母とを含む商を
計算するステップと、前記商をカットフレーム間隔しきい値と比較するステップ
と、コマーシャルの一部の発生を前記比較するステップに基づいて認知するステ
ップとを含む。前記平均カットフレーム間隔傾向検出は、複数のフレームにおけ
るカット数における変化の決定と、前記変化に基づくコマーシャルの一部の検出
である。前記ブランド名検出は、前記データストリームを、オーディオプロセッ
サ、ビデオプロセッサおよびクローズドキャプションプロセッサのうち少なくと
も１つによって処理し、テキストを発生するステップと、前記テキストを製品名
および商品名のバンクと比較するステップと、コマーシャルの一部を前記比較す
るステップに基づいて認知するステップとを含む。前記ブラックフレーム検出は
、前記フレームの解析されたフレームを複数の領域に分割するステップと、前記
領域に関する平均最高輝度値を計算するステップと、前記領域に関する平均最低
輝度値を計算するステップと、前記平均最高輝度値および平均最低輝度値をブラ
ックフレームしきい値と比較するステップと、コマーシャルの開始および終了の
発生を前記比較するステップに基づいて認知するステップとを含む。前記カット
レートおよびブラックフレーム検出は、コマーシャルの一部を、ブラックフレー
ムの列が解析されたカットの前のカットおよびブラックフレーム期間内に生じた
かどうか、前記解析されたカットがカット列内において生じたかどうか、前記列
がカットレート期間内に生じたかどうかに基づいて認知する。前記フレーム類似
検出は、現在フレームが前フレームと類似しているかどうかの決定と、ある期間
内のフレームが現在フレームと類似している場合、コマーシャルの一部とするこ
とである。前記キャラクタ検出は，前記フレームの解析されたフレーム内の文字
をみつけるステップと、前記文字の周囲のボックスを形成するステップと、前記
ボックスの大きさを決定するステップと、前記解析されたフレームにおける前記
ボックスの位置を決定するステップと、前記解析されたフレームおよびその後の
解析されたフレームの前記大きさおよび位置を解析するステップと、コマーシャ
ルの一部を前記解析するステップに基づいて検出するステップとを含む。前記静
止画検出は、コマーシャルの一部を、多数の静止画がある期間内で発生した場合
に認知する。
【００１２】 したがって、本発明の目的は、検出確実性の程度を向上させたコマーシャル分
離装置および方法を提供することである。
【００１３】 本発明の他の目的は、先行技術において示されていない進歩した技術の組み合
わせを使用するコマーシャル分離装置を提供することである。
【００１４】 本発明の他の目的は、拡張されたブラックフレーム検出技術を提供することで
ある。
【００１５】 これらの目的および利点は、添付図面と関連して読まれる以下の説明に照らし
て見た場合、より明らかになり、前記図面において、同様の参照符は同様の要素
を示すためのものである。
【００１６】 好適実施形態の詳細な説明 一般的な概観 図１Ａを参照すると、家庭情報装置５０は、コマーシャル分離器５６に供給さ
れる入力５２を含む。メモリ７８は、コマーシャル分離器５６によって使用され
、情報を一時的に保持し、検出されたコマーシャルの時間を最終的に格納する。
コマーシャル分離器５６は、入力５２をＶＣＲ５８に供給する。図１Ｂに示すよ
うな他の実施形態によれば、ホーム情報装置５１は、分割器５４を経てＶＣＲ５
８およびコマーシャル分離器５６の双方に供給される入力５２を含む。装置５１
は、カタログコマーシャルに特に好適である。
【００１７】 図１Ａを参照すると、入力５２を、アナログ（ｘ（ｔ））またはディジタル（
ｘｎ）フォーマットでフォーマットすることができる。前記コマーシャル分離技
術は、離散コサイン変換（ＤＣＴ）から得られた前記ビデオ信号の係数を使用す
る。図４Ａは、入力５２をアナログ信号ｘ（ｔ）から与えることを示す。アナロ
グ信号ｘ（ｔ）をＡ／Ｄコンバータによってディジタル信号に変換し、入力５２
を発生するために順方向離散コサイン変換（ＦＤＣＴ）６６に供給する。どのよ
うな商業的に利用可能なＡ／ＤコンバータおよびＦＤＣＴも使用することができ
る。図４Ｂは、入力５２を圧縮信号Ｘｎから発生することを示す。圧縮信号Ｘｎ
を、伸張回路７０によって伸張し、エントロピデコーダ７２によって復号化する
。逆量子化器７６は、前記復号化された信号を逆量子化し、入力５２を発生する
。エントロピーデコーダ７２および伸張回路７０を、当該技術分野においてよく
知られているテーブル仕様７４によって制御する。
【００１８】 入力５２を、どのようなビデオまたはオーディオ／ビデオ組み合わせソースと
してもよい。例えば、テレビジョン信号またはインターネットファイル放送とし
てもよい。どのような媒体に格納してもよい。本例において、ＶＣＲテープを示
すが、光学媒体、磁気記憶、または、ランダムに、線形に、または何らかの他の
方法によってアクセス可能などのような他の記憶媒体にも適合させることができ
る。
【００１９】 図２を参照すると、コマーシャル分離器５６は、プロセッサ５７およびメモリ
７８を含む。プロセッサ５７は、４つの別個のスレッドを制御する。これらは、
フレーム取得スレッド８０、カット検出器スレッド８２、フィルタスレッド８４
およびコマーシャル検出スレッド８６である。これらのスレッドのすべてを、以
下により詳細に説明する。以下の説明的な例において使用するプラットフォーム
は、パーソナルコンピュータを有する標準的なＶＣＲである。前記ＶＣＲから前
記コンピュータにデータをフィードバックするのにインタフェースを必要とする
。フィードバックを利用できない場合、テープ内容確認装置を必要とする。この
フィードバック能力を有する商業的に利用可能なＶＣＲが存在する。例えば、フ
ィリップス１００ＢＫのような特殊化された製品を使用することができる。代わ
りに、本発明を、パーソナルコンピュータにおいて単独型のソフトウェアを使用
して実現することができる。
【００２０】 Ｉ．記録 各々の入力フレームは、３つの２次元アレイを含む。１つは輝度Ｙに対応し、
他の２つはクロミナンス赤（Ｃｒ）およびクロミナンス青（Ｃｂ）に対応する。
図３Ａを参照すると、入力５２は、標準的な５２５×４８０係数（すなわち画素
）を有する。これを、図３Ｂに示すように１６０×１２０係数に縮小した。これ
は、輝度Ｙを表す。色に関して、追加の計算を行う。４つのクロミナンス値のサ
ブブロックを平均し、図３ｃに示すようなＣｒおよびＣｂに関する４０×３０係
数ブロックを結果として生じる。
【００２１】 再び図２を参照すると、上記計算を、フレーム取得スレッド８０によって行う
。フレームがフレーム取得８０によって取得されると、制御はカット検出器スレ
ッド８０に渡される。カット検出器スレッド８２は、１）前記フレームがブラッ
クフレームであるかどうか、２）カット（シーンにおける急激な変化）が生じた
かどうか、３）前記フレームが静止フレームであるかどうかを決定する。次に制
御はフィルタスレッド８４に進み、このフィルタスレッド８４は、類似または単
色に関するキーフレームをフィルタ処理する。最終的に、前記コマーシャル検出
プロセスを、コマーシャル検出スレッド８６によって行うことができる。
【００２２】 図５を参照すると、カット検出器スレッド８２の機能を説明するブロック図が
示されている。ステップＳ５１において、カット検出器スレッド８２は、前記フ
レームがブラックフレームであるかどうかを決定する。そうである場合、この画
像をメモリ７８に保存する。そうでない場合、ステップＳ５２において、カット
検出器スレッド８２は、前記フレームがカットであるかどうかを決定する。層で
ある場合、この画像を保存する。そうでない場合、ステップＳ５３において、カ
ット検出器スレッド８２は、前記フレームが静止フレームであるかどうかを決定
する。そうである場合、前記画像を保存する。前記フレームがブラック、カット
、または静止フレームでない場合、前記フレームを破棄する。
【００２３】キーフレームフィルタ処理 キーフレームを決定するどのような既知の方法も、
単色であるフレーム、または、前のフレームと類似のフレームを指摘するのに私
用することができる。この情報を、以下に説明するコマーシャル検出方法におい
て使用する。例えば、図６Ａおよび６Ｂは、キーフレームフィルタ処理手順の概
観である。図６Ａのステップ６０２ないし６０６に示すように、ブロック署名を
、フレームにおける各ブロックに関して得る。図７に示すように、ブロック署名
７００は、この例において、８ビットであり、これらのうち３ビットはＤＣ署名
７０２を表し、これらのうち５ビットはＡＣ署名７０４を表す。前記ＤＣ値以外
のブロックにおけるすべての他のＤＣＴ係数は、ＡＣ値である。
【００２４】 前記ＤＣ署名を、前記ＤＣ値を抽出し（ステップ６０２）、前記ＤＣ値が指定
された値の範囲内、この例において、−２４００ないし２４００の間であるかど
うかを決定する（ステップ６０４）ことによって得る。この範囲を、図７に示す
ように、予め選択された数の間隔に分割する。本発明において、より多くまたは
より少ない間隔を画像のより大きいまたはより小さい粒状性に関して使用できる
としても、８の間隔を使用する。
【００２５】 各間隔を、図７に示すように、予め決められたマップに割り当てる。各ＤＣ値
を前記範囲と比較し、前記ＤＣ値が入る間隔に関するマッピングを返す。必要な
ビットによって表される値は、前記間隔の数に対応する。この例において、前記
範囲を８間隔に分割したことから、３ビットを使用する。図７に示すように、ブ
ロック署名７００は、このように、最初の３ビットとしてＤＣ署名７０２と、残
りの５ビットとしてＡＣ署名７０４とを含む。
【００２６】 図６Ａのステップ６０４において、前記ブロックに関するＡＣ値の良好な表現
を与えるために、図７に示すように、ＤＣ値に最も近い５つのＡＣ値（Ａ１−Ａ
５）を抽出する。ステップ６０６において、５つのＡＣ値の各々をしきい値（Ａ
Ｃｔｈｒｅｓｈ）、この例において、２００と比較し、前記ＡＣ値＞ＡＣｔｈｒ
ｅｓｈならば、ＡＣ署名７０６における対応するビットを、１のような予め決め
られた値に設定し、前記ＡＣ値≦ＡＣｔｈｒｅｓｈならば、対応するビットをゼ
ロに設定する。
【００２７】 このようにして、ブロック署名７００を得て、前記ブロック署名を使用して、
単色であるフレームのような特定の画像またはフレームを除去することができる
。
【００２８】 単色フレームを除去する迅速な方法は、ＤＣ署名のみをたよりに、ステップ６
０２ないし６０４間に起こる。各ＤＣ署名７０４を比較し、生じる各々特定のＤ
Ｃ署名のカウントを保ち（ステップ６００）、すなわち、各ＤＣ署名は、前記Ｄ
Ｃ値が入る間隔を表し、この例において、８つの異なるＤＣ署名が存在する。例
えば、前記ブロックの９０％、すなわち１７８２ブロック（０．９×３３０マク
ロブロック×６ブロック）が同じ間隔に入る（同じＤＣ署名を有する）場合、前
記画像を単色とみなし（ステップ６６２）、前記フレームを破棄する、すなわち
、フレームメモリから除去する（ステップ６６４）。代わりに、別個のカウンタ
をおのおのの形式のブロック（Ｃｒ，Ｃｂ．．．）に関して保ち、各々別個のカ
ウンタを関係するしきい値と比較する。
【００２９】 前記フレームにおける各々のマクロブロックの各々のブロックに関するブロッ
ク署名（Ｂｌｋ＿ｓｉｇ）を得た後、領域を決定する。領域を、この例において
、２以上のブロックとし、その各々のブロックは、前記領域において少なくとも
１つの他のブロックと隣接し、同様のブロック署名を前記領域における他のブロ
ックと共有する。前記フレームの各々のブロック署名を、各々他のブロック署名
と比較し、計数して領域を決定できるとしても、本発明は、領域成長プロセスの
ような既知の方法を使用し、フレーム内の領域を決定する（ステップ６０８）。
【００３０】 前記領域成長プロセス中、領域計数を各々の領域に関して保ち、領域内のブロ
ック数（サイズ）を計数し、１６ビットによって表現する。フレーム全体を解析
し、前記領域を見つけたら、この例において、ｘ−ｙ座標基準を基礎とする他の
既知の方法を使用し、各々の領域の中心を見つけてもよい（ステップ６１０）。
ｘおよびｙ座標の双方を、各々ＣＸおよびＣＹとして抽出し、１６ビットによっ
て表す。次に、各々の領域に領域署名Ｒｅｇｉｏｎ（Ｂｌｋ＿ｓｉｇｒ，ｓｉｚ
ｅｒ，ＣＸｒ，ＣＹｒ）を割り当て、ｒを領域番号とする。前記領域に関するブ
ロック署名を、前記領域成長プロセスによって決定されるような最も支配的なブ
ロック署名に基づいて決定する。
【００３１】 本例においては、サイズが増大する特定の基準に基づいて、前記領域を格納し
、領域フィルタ処理を行う（ステップ６１２）。この例において、最大の３つの
領域を除くすべてを除去する。残りの３つの領域を、前記フレームを表すフレー
ム署名に組み入れる。前記フレーム署名を、本例において、１６８ビットによっ
て表し、（領域１，領域２，領域３）か、より正確には、（Ｂｌｋ＿ｓｉｇ１，
ｓｉｚｅ１，ＣＸ１，ＣＹ１，Ｂｌｋ＿ｓｉｇ２，ｓｉｚｅ２，ＣＸ２，ＣＹ２
，Ｂｌｋ＿ｓｉｇ３，ｓｉｚｅ３，ＣＸ３，ＣＹ３）の形式のものとする。
【００３２】 図６Ｂに示すように、フレーム比較手順は、現在フレーム（Ｆ２）および前フ
レーム（Ｆ１）を、これらの個々のフレーム署名に基づいて比較する（ステップ
６１６）。本例において、個々の領域１を比較し、次に個々の領域２を比較し、
最後に個々の領域３を比較する。特に、個々の領域のブロック署名を、以下にし
たがって比較する。 FDiff=ABS(size1F1-size1F2)+ABS(size2F1-size2F2)+ABS(size3F1-size3F2)
【００３３】 FDiff＜１０ならば、これらのフレームを同様とみなし、他のオブジェクト処
理を行う（ステップ６２０）。FDiff≧１０ならば、これらのフレームを異なっ
ているとみなし、どちらのフレームもこの手順においてフィルタ処理しない。
【００３４】 領域は、一般的に、オブジェクト、人、物等としてもよい「オブジェクト」を
表す。オブジェクト処理は、前フレームにおける領域において示されたオブジェ
クトが、同じ位置またはきわめて近くにあるかどうかを決定する。本例において
、前記オブジェクトを、前記フレームの第１焦点、または、より多くの焦点のう
ち１つとする。例えば、ビデオは、ボールで遊んでいる子供に焦点を合わせても
よく、ここで前記ボールはフレーム内を動きまわる。ユーザが、前オブジェクト
が画像内にあることを心配しないですむように、ビジュアルインデックスにおけ
るフレーム数を制限したい場合（ステップ６２２）、この時点Ｆ２において、現
在フレームを、フレームメモリから除去する（ステップ６２４）。
【００３５】 ユーザが、オブジェクトがフレーム内にあることを心配し、同じ位置またはき
わめて近くに示されたオブジェクトを有するフレームのみを除去したい場合、い
くつかの方法を使用することができる（オブジェクトフィルタ、ステップ６２６
）。
【００３６】 第１の方法は、以下に示すように、中心を、これらのユークリッド的距離を決
定することによって比較する。正確には、 Edist=SQRT[(CX1F1-CX1F2)2+(CY1F1-CY1F2)2]+SQRT[(CX2F1-CX2F2)2+(CY2F1-C
Y2F2)2]+SQRT[(CX3F1-CX3F2)2+(CY3F1-CY3F2)2]
【００３７】 Edist＞３ならば、前記オブジェクトが動いたとし、フィルタ処理を行わない
。Edist≦３ならば、前記オブジェクトがほぼ同じ位置のままであるとし、した
がって現在フレームを除去する。
【００３８】 オブジェクトフィルタ処理の第２の方法は、フレームを、マクロブロックを使
用して比較する。正確には、個々のマクロブロック内の個々のブロックのブロッ
ク署名を比較する。例えば、現在フレーム（Ｆ２）のＭＢ１，１（フレームの位
置１，１におけるマクロブロック）のＹ１ブロックのブロック署名を、前フレー
ム（Ｆ１）のＭＢ１，１のＹ１ブロックのブロック署名と比較する。
【００３９】 最初に、Ｙ１ブロックのＤＣ署名を比較する。これらのＤＣ署名が一致したら
、ＡＣ署名をビット毎に比較する。カウンタ（ＡＣｃｏｕｎｔ）を保ち、予め選
択された数のビット、本例において、５ビットのうち４ビットが一致したら、ビ
ットカウンタ（ＢｌｋＣＴＲ）を１増分する。ＤＣ署名が一致しなければ、また
は、ＡＣｃｏｕｎｔ＜４ならば、次のブロックを解析する。
【００４０】 前記マクロブロックの各ブロック（４：２：０を使用するこの例において６ブ
ロック）を解析する。マクロブロックにおけるすべてのブロックを解析した場合
、前記ブロックカウンタを検査する。ＢｌｋＣＴＲ≧４ならば、前記ブロックを
同様とみなし、マクロブロックカウンタ（ＭＢＣＴＲ）を１増分する。
【００４１】 画像におけるすべてのマクロブロックを解析したら、ＭＢＣＴＲを検査する。
ＭＢＣＴＲが、この例において、フレームにおけるマクロブロックの≧７５％（
２４７すなわち０．７５×３３０マクロブロック）であれば、前記フレームを同
様とみなし、現在フレーム（Ｆ２）を前記フレームメモリから除去する。ＭＢＣ
ＴＲ＜７５％であれば、フレームをこの時点においてフィルタ処理しない。
【００４２】 単色フレームを除去する追加の方法は、前記領域サイズを決定するときに起こ
る。領域サイズが前記フレームブロックの９０％、すなわち１７８２ブロック以
上なら、前記フレームを単色とみなし、フレームメモリから除去する。このフィ
ルタ処理は、考察した前記単色フレームフィルタ処理よりも多くの処理を必要と
する。
【００４３】ブラックフレーム検出 本発明は、先行技術のブラックフレーム検出技術を最適
化する。図３Ａ−３Ｄを参照すると、入力５２がＹＵＶ信号として出発する場合
、ＹＵＶ入力信号５２を、図３Ａに示す５２５×４８０画素から図３Ｂに示す１
６０×１２０画素に縮小する。次に、前記信号の輝度部分を、さらに、図３Ｄに
示すような１６×１６のマクロブロックに分割する。図１０を参照すると、次に
これらのマクロブロックの各々を、４つの８×８ブロックに分割する。この時点
において、前記ＤＣＴ動作を各々の８×８ブロックに行う。これは、画素がある
のと同じ位置におけるＤＣＴ係数を発生する。この解析において、前記ＤＣ係数
のみが各々の８×８ブロックに必要である。この処理を図４Ａにおいて記号化す
る。入力５２が圧縮信号として出発する場合、伸張しなければならないが、前記
ＤＣＴ係数を図４Ｂに示すように保持する。明らかに、前記ＤＣＴ手順を前記フ
レームのすべてに行うが、ちょうどブラックフレーム検出を受けているフレーム
には行わない。
【００４４】 図１０を再び参照すると、前記ＤＣＴを行ったら、前記１６０×１２０のフレ
ームを４つの象限に分割する。各々の象限を、ＤＣＴ係数の行によって規定する
。各々の行におけるＤＣ値を平均し、平均ＤＣ値“Ａ”を発生する。第１行を図
１０に示す。最大平均値“ｍａｘ”および最小平均値“ｍｉｎ”を決定する。こ
の場合において、前記第１行のみを解析した。このｍｉｎおよびｍａｘの平均は
、必然的に平均ＤＣ値Ａ（すなわち、前記第１行のＤＣ係数の平均値）に等しく
なる。次に、象限１における第２行を平均し、平均値Ｂを発生する。ＢをＡと比
較し、新たなｍｉｎおよびｍａｘ値を計算する。これを、前記象限の４つの行に
関して続ける。次に、全体の象限に関するｍｉｎおよびｍａｘを互いに比較する
。これらの間の差がｍａｘの７．５％より小さければ、前記フレームをブラック
フレームとし、ｍｉｎおよびｍａｘの計算された値を保持する他の象限に関する
解析を続ける。そうでなければ、前記解析を中止し、前記フレームをブラックで
ないとみなす。
【００４５】 行毎の解析は、何らかのテキストが画面上に含まれている場合、認識すること
を保証する。例えば、映画の終了時に、クレジットの列は、１ラインまたは２ワ
ードを示す。フレーム全体を一度に解析すると、平均輝度はグレイフレームとほ
ぼ等しくなり、誤ってブラックフレームとみなすかもしれない。しかしながら、
本発明の方法に関して、１ラインのテキストは、その関連する象限に関して大き
いｍａｘを発生し、前記フレームをブラックとみなさない。
【００４６】 “ｍｉｎｍａｘ”とラベル付けされた第３パラメータを、システム動作全体に
関して保持する。これは、前記象限において見つかった最小最大値である。番組
全体は、その品質に応じてより明るくまたは暗くなるかもしれないため、このパ
ラメータを使用する。絶対的なしきい値を使用すると、ブラックフレームは、暗
い低品質の番組において頻繁に検出され、明るい番組においてまったく検出され
ないかもしれない。フレーム全体を解析し、前記フレームがブラックであるよう
に見える場合（すなわち、ｍｉｎおよびｍａｘが前記すべての象限に関して互い
の７．５％以内）、本発明は、ｍａｘの７５％を比較し、ｍｉｎｍａｘ未満の場
合を探す。したがって、ブラックフレームを検出する全体的な式を以下のように
表すことができる。 max-min<(0.075)(max)AND(0.75)(max)<minmax→ブラックフレーム
【００４７】 各フレームを象限に分割しなくてもよく、前記解析を行によって実行しなくて
もよい装置を形成するべきである。解析を、ブロックおよび行のなんらかの組み
合わせによって行うことができる。例えば、検出を、行または半行、列、または
マクロブロックによって行うことができる。フレーム全体に関しても行うことが
できる。フレーム全体を１回で解析することは、前記フレームにおいてノイズが
ある場合、ブラックとみなさないため、不確実である。各ブロックをより多く分
割すると、なんらかの空電ノイズが前記ブラックフレーム検出を妨害する可能性
がより減る。他の解析方法は、前記フレームの上、下、左および右１０％を除外
した内側の長方形のみにおいて探すことと、前記フレームを列および行を規定す
る複数のブロックに分割し、解析を１ブロックおきに行うチェッカー盤構成と、
上述した方法の何らかの組み合わせとを含む。前記フレームを分割するのに選択
された形状を多角形にする必要もなく、任意の形状のどのような列も使用するこ
とができる。
【００４８】 ブラックフレーム検出のこの方法は、各々のフレームの部分を別々に分割およ
び解析するため、確実性が高い。これは、前記フレーム上の少ない量のテキスト
または画像でも、この方法によって、先行技術においてはそうだったようにブラ
ックとみなされることはないことを意味する。前記平均値を全体で最小の最大輝
度値と比較することは、明るいまたは暗い画像による誤検出をも回避する。前記
フレームを領域に分割することは、前記第１領域がブラックでない場合、前記方
法は停止し、フレーム全体をブラックとみなさないため、処理時間を短縮するこ
とができる。
【００４９】 静止フレームおよびカット検出 当該技術分野において既知のどのような方法
を使用して、静止フレームまたはカットを検出してもよい。例えば、以下の方法
／式のうち１つを使用してもよい。ブラックフレーム検出と同様に、フレームの
マクロブロックを使用する。 方法１： SUM[1]=Σk,jABS(DCT1k,j[I]-DCT2k,j[I]) ここで、 ｋをフレームの幅におけるマクロブロックの数とし、ｋ＝１ないしフレーム幅／
１６、 ｊをフレームの高さにおけるマクロブロックの数とし、ｊ＝１ないしフレーム高
／１６、 Ｉをマクロブロックにおけるブロック数とし、Ｉ＝１ないしマクロブロックにお
けるブロック数、 ＤＣＴ１ｋ，ｊおよびＤＣＴ２ｋ，ｊを、図５に示すように、各々、前および現
在ビデオフレームに関する指定されたマクロブロックに関するＤＣＴ係数とし、
ＡＢＳを絶対値関数とする。
【００５０】 この例において、３５２×２４０画素フレームに関して、ｋ＝１ないし２２、
ｊ＝１ないし１５およびＩ＝１ないし６である。この方法および以下の方法にお
いて、フレームのマクロブロック幅およびフレームのマクロブロック高を、前記
フレームサイズを一様に分割できない場合、前記フレームサイズを処理中に拡大
縮小して適合させるため、偶数の整数とする。
【００５１】 方法１は、前記マクロブロックのブロック（４つの輝度ブロックおよび２つの
クロミナンスブロック）の各々間を区別する。この方法において、現在ビデオフ
レームからの現在マクロブロックにおける輝度およびクロミナンスブロックの各
々に関するＤＣ値を、前のビデオフレームにおける対応するブロックに関する対
応するＤＣ値から各々引く。差の別々の和ＳＵＭ［Ｉ｝を、前記マクロブロック
における輝度およびクロミナンスブロックの各々に関して保持する。
【００５２】 前記差の和を、次のマクロブロックに進め、対応する差（ＳＵＭ［１］，ＳＵ
Ｍ［２］，．．．ＳＵＭ［６］）に加える。現在ビデオフレームのマクロブロッ
クの各々を処理した後、合計した差を、現在ビデオフレームの各輝度ブロックお
よび各クロミナンスブロックに関して得る。６つのＳＵＭの各々を、ＳＵＭを合
計したブロックの形式に対して特定のそれ自身の上限しきい値および下限しきい
値と比較する。この方法は、ブロックの各形式に関して異なるしきい値比較を与
える。
【００５３】 ＳＵＭ［ｉ］が予め決められたしきい値（ｔｈｒｅｓｈ１［ｉ］），この例に
おいて、 ｔｈｒｅｓｈ１［ｉ］＝０．３×ＡＢＳ（Σｋ，ｊＤＣＴ２ｋ，ｊ［ｉ］） より大きい場合、現在ビデオフレームを、さらに処理して視覚的インデックスに
おいて使用できるようにするために、フレームメモリに保存する。前記フレーム
メモリを、本発明におけるようにテープ、ディスク、または、本システムの外部
または内部のどのような他の媒体としてもよい。
【００５４】 ＳＵＭ［ｉ］が予め決められたしきい値（ｔｈｒｅｓｈ２［ｉ］）より小さく
、ここで、 ｔｈｒｅｓｈ２［ｉ］＝０．０２×ＡＢＳ（Σｋ，ｊＤＣＴ２ｋ，ｊ［ｉ］）
とする場合、静止シーンカウンタ（ＳＳｃｔｒ）を１増分し、ありうる静止シー
ンを示す。前のビデオフレームを一時メモリに保存する。本発明において、前記
一時メモリは、１フレームのみを記憶し、したがって、前記前のビデオフレーム
は、一時メモリに現在記憶されたどのビデオフレームにも置き換わる。前記カウ
ンタが予め決められた数（この例において３０）に達した場合、前記一時メモリ
に保存された直前のビデオフレームを、前記視覚的インデックスにおいて使用で
きるようにするために、前記フレームメモリに転送する。本発明において、前記
第１フレームを保存し、静止シーンを表すことができるとしても、当業者には明
らかなように、この方法および以下の方法において、ありうる静止シーンのどの
フレームも保存および使用することができる。
【００５５】 ＳＵＭ［ｉ］が前記２つのしきい値の間ならば、ＳＳｃｔｒをゼロにリセット
し、次の連続するフレームを比較する。
【００５６】 方法２ SUM=Σk,jΣI(DCT1k,j,i-DCT2k,j,i)2/ABS(DCT2k,j,i) ｋをフレームの幅におけるマクロブロックの数とし、ｋ＝１ないしフレーム幅／
１６、 ｊをフレームの高さにおけるマクロブロックの数とし、ｊ＝１ないしフレーム高
／１６、 Ｉをマクロブロックにおけるブロックの数とし、Ｉ＝１ないしマクロブロックに
おけるブロック数、 DCT1k,j,iおよびDCT2k,j,iを、各々、前および現在ビデオフレームに関する指定
されたのマクロブロックに関するＤＣＴ係数とし、 ＡＢＳを絶対値関数とする。
【００５７】 方法２は、方法１と対比して、ブロック形式間を区別しない。代わりに、方法
２は、現在および前のビデオフレームのマクロブロック間のＤＣ差の連続的な合
計を保持する。
【００５８】 ブロック間の各々の差を二乗し、次に現在ブロックのＤＣＴ値に対して正規化
する。正確には、現在ビデオフレームからのブロックのＤＣＴ値を、前ビデオフ
レームにおける対応するブロックの対応するＤＣＴから引く。次にこの差を二乗
し、前記現在ビデオフレームの対応するＤＣＴ値で割る。現在ビデオフレームの
ＤＣＴ値がゼロである場合、この比較に関する和をゼロに設定する。これらのフ
レームのマクロブロックの各々における各ブロックのＤＣＴ値の各々に関する差
を合計し、合計の和ＳＵＭを達成する。
【００５９】 次にＳＵＭを予め決められたしきい値と比較する。ＳＵＭが、この場合におい
て、予め決められたしきい値（ｔｈｒｅｓｈ１）より大きく、ここで、 ｔｈｒｅｓｈ１＝０．３×ＡＢＳ（Σｋ，ｊ，ｉＤＣＴ２ｋ，ｊ，ｉ） の場合、前記現在ビデオフレームを、さらに処理するためにフレームメモリに保
存する。ＳＵＭが、この場合において、予め決められたしきい値（ｔｈｒｅｓｈ
２）より小さく、ここで、 ｔｈｒｅｓｈ２＝０．０２×ＡＢＳ（Σｋ，ｊ，ｉＤＣＴ２ｋ，ｊ，ｉ） の場合、静止シーンカウンタ（ＳＳｃｔｒ）を１増分し、ありうる静止シーンを
示す。方法１におけるように、前のビデオフレームを、直前のフレームのみを保
存する一時メモリに保存する。ＳＳｃｔｒカウンタが予め決められた数（この例
において３０）に達した場合、前記一時メモリに保存された直前のビデオフレー
ムを、前記フレームメモリに転送する。
【００６０】 ＳＵＭが前記２つのしきい値の間である場合、ＳＳｃｔｒをゼロにリセットし
、次の連続するフレームを比較する。
【００６１】 方法３ SUM[1]=Σk,j(DCT1k,j[I]-DCT2k,j[I])2/ABS(DCT2k,j) ここで、 ｋをフレームの幅におけるマクロブロックの数とし、ｋ＝１ないしフレーム幅／
１６、 ｊをフレームの高さにおけるマクロブロックの数とし、ｊ＝１ないしフレーム高
／１６、 Ｉをマクロブロックにおけるブロックの数とし、Ｉ＝１ないしマクロブロックに
おけるブロック数、 DCT1k,j,iおよびDCT2k,j,iを、各々、前および現在ビデオフレームに関する指定
されたのマクロブロックに関するＤＣＴ係数とし、 ＡＢＳを絶対値関数とする。
【００６２】 方法３は、方法１と同様に、マクロブロックのブロック（４つの輝度ブロック
および２つのクロミナンスブロック）の各々間を区別する。この方法において、
現在ビデオフレームからの現在マクロブロックにおける各々の輝度およびクロミ
ナンスブロックに関するＤＣ値を、各々、前のビデオフレームにおける対応する
ブロックに関する対応するＤＣ値から引く。しかしながら、方法２におけるよう
に、ブロック間の各々の差を二乗し、次に前記現在ブロックのＤＣＴ値に対して
正規化する。正確には、前記現在ビデオフレームからのブロックのＤＣＴ値を、
前記前のビデオフレームにおける対応するブロックの対応するＤＣＴ値から引く
。次にこの差を二乗し、前記現在ビデオフレームの対応するＤＣＴによって割る
。前記現在ビデオフレームのＤＣＴ値がゼロの場合、この比較に関する和を１に
設定する。
【００６３】 マクロブロックの各々におけるブロックの各々の形式に関するＤＣＴ値の各々
に関する差を合計し、ブロックの形式に関する合計ＳＵＭ［ｉ］を達成する。差
の別々の和ＳＵＭ［Ｉ］を、マクロブロックにおける輝度およびクロミナンスブ
ロックの各々のに関して保持する。前記差の和を、次のマクロブロックに進め、
対応する差（ＳＵＭ［１］，ＳＵＭ［２］，．．．ＳＵＭ［６］）に加える。現
在ビデオフレームのマクロブロックの各々を処理した後、合計された差を、前記
現在ビデオフレームの各々の輝度ブロックおよび各々のクロミナンスブロックに
関して得る。６つのＳＵＭの各々を、ＳＵＭを合計したブロックの形式に対して
特定のそれ自身の上限しきい値および下限しきい値と比較する。この方法は、ブ
ロックの各形式に関して異なるしきい値比較を与える。
【００６４】 ＳＵＭ［ｉ］が予め決められたしきい値（前に規定したようなｔｈｒｅｓｈ１
［ｉ］）より大きい場合、前記現在ビデオフレームを、さらに処理するために前
記フレームメモリに保存する。
【００６５】 ＳＵＭ［ｉ］が予め決められたしきい値（前に規定したようなｔｈｒｅｓｈ２
［ｉ］）より小さい場合、静止シーンカウンタ（ＳＳｃｔｒ）を１増分し、あり
うる静止シーンを示す。前記前のビデオフレームを、本発明においては直前のビ
デオフレームのみを保存する一時メモリに保存する。ＳＳｃｔｒカウンタが予め
決められた数３０に達した場合、前記一時メモリに保存された直前のビデオフレ
ームを、前記フレームメモリに転送する。
【００６６】 ＳＵＭ［ｉ］が前記２つのしきい値の間である場合、ＳＳｃｔｒをゼロにリセ
ットし、次の連続するフレームを比較する。
【００６７】 方法４ 方法１ないし３は、各々、完全なビデオフレームを調査し、すべての輝度およ
びクロミナンスに関するＤＣＴ値に関する差または差の二乗を合計するか、別々
の成分として加算する。方法４は、マクロブロックレベルに作用し、制限された
処理によって効果的な結果を与える。 SUM=Σk,jMbdiff(MB1[i]k,j-MB2[i]k,j) ここで、 ｋをフレームの幅におけるマクロブロックの数とし、ｋ＝１ないしフレーム幅／
１６、 ｊをフレームの高さにおけるマクロブロックの数とし、ｊ＝１ないしフレーム高
／１６、 Ｉをマクロブロックにおけるブロックの数とし、Ｉ＝１ないしマクロブロックに
おけるブロック数、 ＭＢ１ｋ，ｊおよびＭＢ２ｋ，ｊを各々前および現在ビデオフレームに関するマ
クロブロックとし、Ｍｂｄｉｆｆを、２つのマクロブロック間の互いに異なるブ
ロックの数を決定する関数とし、この差があるしきい値より高い場合、第１値を
出力し、そうでなければ第２値を出力する。
【００６８】 正確には、副合計（ｓｕｂｓｕｍ［１］，ｓｕｂｓｕｍ［２］，．．．ｓｕｂ
ｓｕｍ［６］）を、特定のマクロブロックのブロック（Ｙ１，Ｙ２，Ｙ３，Ｙ４
，ＣｒおよびＣｄ）の各々に関して、第１マクロブロックの個々のブロックを第
２マクロブロックの対応する個々のブロックと比較し、ｓｕｂｓｕｍ［ｉ］を得
ることによって決定し、ここで、 subsum[i]j,k=ABS(DCT1[i]j,k-DCT2[i]j,k) とする。例えば、現在フレームの第１マクロブロックのＣｒのＤＣ値を、前のフ
レームの第１マクロブロックのＣｒのＤＣ値から引き、ｓｕｂｓｕｍ［Ｃｒ］１ ，１ を得る。各々のｓｕｂｓｕｍ［ｉ］を予め決められたしきい値（ｔｈ１）と
比較する。ｓｕｂｓｕｍ［ｉ］が、この例において、第１の予め決められたしき
い値（ｔｈ１）より大きく、この例において、 ｔｈ１＝０．３×ｓｕｂｓｕｍ［ｉ］ である場合、ブロックカウンタ（Ｂ１ｃｔｒ）を１増分し、予め決められたしき
い値（ｔｈ２）より小さく、 ｔｈ２＝０．０２×ｓｕｂｓｕｍ［ｉ］ である場合、ブロックカウンタ（Ｂ２ｃｔｒ）を１増分する。各々のｓｕｂｓｕ
ｍ［ｉ］を、固定された関数に基づく、または、ブロックの形式に特定の関数ま
たは定数に基づく定数としてもよいしきい値（ｔｈ１およびｔｈ２）と比較する
。
【００６９】 前記マクロブロックの６つのブロックを処理した後、前記ブロックカウンタを
解析する。ブロックカウンタＢ１ｃｔｒが、この例において、予め決められたし
きい値、この例において３よりも上の場合、前記マクロブロックを、前のビデオ
フレームのマクロブロックとは異なるとみなし、マクロブロックカウンタＭＢ１
ｃｔｒを１増分する。次にＢ１ｃｔｒをリセットし、次のマクロブロックを解析
する。
【００７０】 ビデオフレームのすべてのマクロブロックを処理した場合、ＭＢ１ｃｔｒを予
め決められたフレームしきい値と比較する。ＭＢ１ｃｔｒが、この例において３
２０×２４０フレーム（または画像）を使用し、１００の第１の予め決められた
フレームしきい値（ｆ１ｔｈ）より上の場合、現在フレームを前記フレームメモ
リに保存し、ＭＢ１ｃｔｒをリセットする。
【００７１】 マクロブロックにおけるいくつかの数のブロックが同じであり、Ｂ２ｃｔｒが
３の予め決められたしきい値（Ｂ２ｔｈ）より上の場合、前記マクロブロックを
同じとみなし、第２マクロブロックカウンタＭＢ２ｃｔｒを１増分する。次に、
Ｂ２ｃｔｒをリセットし、次のマクロブロックを解析する。フレームのすべての
マクロブロックを解析した後、前記第２マクロブロックカウンタが２５０の第２
の予め決められたフレームしきい値より上の場合、前記ビデオフレームを同じと
みなし、フレームカウンタ（Ｆｃｔｒ）を設定する。ＭＢ２ｃｔｒをリセットし
、次のフレームを解析する。Ｆｃｔｒが予め決められたしきい値（ＳＳｔｈｒｅ
ｓｈ、この例において３０）に達した場合、静止列が生じたと推定する。前のビ
デオフレームを、静止シーケンスを表すフレームメモリに保存する。この処理を
、ビデオフレームが、前のビデオフレームと異なっていることが決定するか、新
たなフレームがなくなるまで続ける。次に、Ｆｃｔｒをリセットし、次のビデオ
フレームを解析する。
【００７２】 この方法および前の方法においてフレームメモリに保存されたこれらのフレー
ムをキーフレームとみなす。
【００７３】 方法４を、前記正規化された差の二乗を使用することによって実現することも
できる。正確には、ブロック間の差を使用する代わりに、前記差を二乗し、引か
れたブロックにおいて見つかった値によって割る。シーンカット検出を、しきい
値に対してあまり敏感ではなくすることができる。
【００７４】 上述したしきい値を、容易に、より少なくまたはより多く検出するように変更
することができる。例えば、定数を、より高いまたはより低い能率を考慮するよ
うに変更することができ、例えば、ＳＳｃｔｒを異ならせることができる。さら
に、各々のしきい値を、代わりに、定数、固定された関数、または、解析されて
いるブロックの形式または位置に応じて変化しうる関数としてもよい。
【００７５】 スレッド 前記システムは、連続するプロセスの代わりにスレッドを使用する
と、より高い能率で動作する。１スレッドのみをプロセッサ７８によっていつ活
性化しても、すべてのスレッドは、これらの間で成分を共有する。例えば、フレ
ーム取得スレッド８０は、フレームをカット検出器スレッド８２に送り、カット
検出器スレッド８２は、ＤＣ値および検出されたカットをフィルタスレッド８４
に送る。
【００７６】 加えて、前記スレッドのすべては、メモリ７８に記憶された情報を共有する。
コマーシャル検出スレッド８６は、カット検出器スレッド８２およびフィルタス
レッド８４からメモリ７８に記憶されたカット、ブラックフレーム、静止フレー
ムおよび単色フレームに関する情報を使用する。前記スレッドは、前記スレッド
に対する丸で囲まれた数字１−４において図２に示すような優先順位を有する。
フレーム取得スレッド８０は、他のスレッドがフレーム無しで動作できないため
、最も高い優先権を有する。コマーシャル検出スレッド８６は、その計算を行う
前に他のスレッドからの情報を必要とするため、最低の優先権を有する。前記優
先権指定は、使用頻度の表示でもある。フレーム取得スレッド８０およびカット
検出器スレッド８２の双方は、情報をリアルタイムにおいて、１秒あたり約３０
フレーム処理する。フィルタスレッド８４およびコマーシャル検出スレッド８６
は、フレーム取得スレッド８０より低い頻度（例えば、１３分の１程度）で使用
される。
【００７７】 フレーム取得スレッド８０は、フレームを入力５２から取得し、これらをカッ
ト検出器スレッド８２に送る。新たなフレームが検出された場合、プロセッサ５
７は、フレーム取得スレッド８０に制御を移し、カット検出器スレッド８２は待
機する。フレーム取得スレッド８０が行われた場合、カット検出器スレッド８２
またはフィルタスレッド８４のいずれかが活性化する。これは、１度に１スレッ
ドのみが「覚醒」することを意味する。前記スレッドが一つも活性化しないこと
も可能である。入力５２が停止すると、フレーム取得スレッド８０はターンオフ
する。制御は、他のスレッドに関して、処理が完了するまで続く。一連のプロセ
スを使用し、あるステップが作動停止、または処理を停止したとすると、前記シ
ステム全体は停止する。スレッドを基礎とするシステムに関して、制御は他のブ
ランチに単に分岐する。また、他のスレッドが処理している間、あるスレッドが
メモリに書きこむことができ、それによって前記システム全体の能率が向上する
。
【００７８】 メモリ カット検出器スレッド８２は、フレーム取得スレッド８０によって取
得されたフレームがブラックフレームか、カットか、静止フレームであるかどう
かを決定する。図１９を参照して、この情報をメモリ７８において位置するフレ
ームリストバッファに格納する。フレーム番号の長く狭いリストを、何らかの関
連する特徴と共に発生する。このリストは、メモリ７８においてそのブロックに
関係する画像が格納されている場所を示すメモリポインタも含む。このリストを
使用し、番組内のすべてのフレームを保持することができる。代わりに、前記フ
レームリストバッファに使用されている空間がもはや必要ない場合、再割り当て
することができる。これは、例えば、フレームが処理され、フレームキーリスト
（後に説明する）に送られた後か、該フレームにおいて意味のあるイベントが生
じない場合に起こるかもしれない。
【００７９】 図８を参照して、フィルタスレッド８４は、前記フレームリストバッファを使
用し、「キー」または重要な特徴を有するフレームのみを載せたフレームキーリ
ストを構成する。このリストは、平凡なフレームを含まないことを除いて、前記
フレームリストバッファと同じ情報を含む。これらのキーフレームは、コマーシ
ャル検出スレッド８６によって処理される。コマーシャル検出手段８６は、コマ
ーシャルが位置する場所を決定し、コマーシャルの停止時間（またはテープ位置
情報）を、メモリ７８にコマーシャルリスト（図示せず）において出力する。前
記フレームキーリストを、キーフレームのウィンドウとしてもよい。例えば、ユ
ーザは、最後の１０００キーフレームのみを見たい場合を示すことができる。
【００８０】 図９を参照して、フレーム取得スレッド８０がフレームを取得した場合、その
画像をメモリ７８において割り当てられた一次フレームバッファに格納する。前
記画像は、カット検出器スレッド８２およびフィルタスレッド８４によって処理
されるまで待機する。前記フレームがこれらのスレッドによって処理されたら、
前記フレームはもはや必要なく、新たなフレームをこの古いフレームと同じメモ
リ空間に上書きする。メモリの８ブロックを、最初に８フレームを保持するため
に割り当てる。第８フレームが取得されるときまでに、第１フレームは通常処理
され、第９フレームを前記第１フレームと同じメモリ空間に格納することができ
る。処理がある理由のため遅くなり、前記第１フレームがまだ処理されない場合
、追加のメモリを、幽霊ブロックにおいて見られるように割り当てる。１時間の
長い放送において、５０ブロックにおよぶメモリが要求されるかもしれない。例
えば、フレーム１が処理され、メモリ空間がもはやこのフレームに関して必要な
くなった場合、前記フレームリストバッファ（図１９）におけるポインタを変更
する。フレーム１に関するポインタを消去し、新たなフレーム９は、フレーム１
が格納されていたメモリ空間を指し示すポインタを有する（図９も参照）。
【００８１】 これを、メモリに関する「レンタルショップ」とみなすことができる。空間が
もはや必要なくなると、この空間を他のフレームに貸す。より多くのメモリ空間
が要求された場合、前記レンタルショップはそれに割り当てる。メモリ空間が割
り当てられると、前記割り当ては破棄され、新たな情報が前記空間におけるなに
か古い情報に上書きされる。これは、割り当てられるブロックが常に同じサイズ
であり、異なったメモリ空間を連続して割り当てる必要がないため、有利である
。他の用途において、どのくらいの費用が必要か予めわからず、したがってこの
ようなレンタルショップは不可能である。
【００８２】 本実施形態において、２つのレンタルショップを使用する。第１レンタルショ
ップは、ＹＵＶ領域におけるフレームの複製を保持する。これを、完全な画像を
ユーザに示すのが望ましい場合に行う。例えば、コマーシャルが見つかった場合
、この画像を使用し、ユーザにコマーシャルの開始を示すことができ、彼に、彼
がこのコマーシャルを観ることを望むか、または、飛ばすことを望むかに関して
暗示を与えることができる。検出されたコマーシャルの内容を含む視覚テーブル
を形成することができる。第２レンタルショップは、前記ＤＣＴ係数を保持する
。前記ＹＵＶ画像を保存し、ＤＣＴ処理を行う。後に、ユーザに処理されたフレ
ームの完全な画像を示すことが望ましい場合、呼び戻すことができる。もちろん
、ＹＵＶ画像の完全な組も前記記憶媒体（ＶＣＲテープ）に送る。明らかに、１
つのレンタルショップを使用し、前記ＤＣＴ画像およびＹＵＶ画像の双方に関す
る空間を割り当てることができる。前記ＹＵＶ画像は前記ＤＣＴ係数より多くの
メモリ空間をふさぎ、異なったサイズのメモリ割り当てが必要なため、２つ使う
ほうが簡単である。
【００８３】 II.コマーシャル検出 コマーシャル検出スレッドは、あるトリガイベントが生じるまで活性化しない
。このトリガイベントは、以下のうち１つの検出である。１）高いカットレート
。後により明らかに規定するように、９より高いカットレートは、コマーシャル
の兆候である。２）少なくとも１０−３０のブラックフレームの列。一般的に、
コマーシャル検出スレッド８６は、これらのトリガのうち１つが生じるまで、休
止状態のままである。しかしながら、コマーシャル検出スレッド８６を、その解
析を周期的に（例えば、１分ごとに）行うように、または、番組全体の終了まで
行わないようにプログラムすることができる。
【００８４】 以下の技術のすべてを使用し、コマーシャルを検出することができる。前記シ
ステムは、前記平均カットフレーム間隔、平均カットフレーム間隔傾向、カット
レートおよびブラックフレーム検出解析（これらのすべてを後に詳細に説明する
）から開始する。これらは、コマーシャルが位置するかもしれない多数の時間的
セグメントを発生する。その後、以下の技術をこの順序で使用し、可能性のある
コマーシャルセグメントをさらに限定することができる。１）静止または同様の
フレーム、２）ロゴ検出、３）コマーシャル署名、４）テキスト、５）ブランド
名。
【００８５】 技術の各々の組を連続すると、コマーシャルが前記期間内に配置されている可
能性がより高くなる。ユーザに、どのくらい多くの段階か、または、ユーザがコ
マーシャルの識別において望む信用度レベルかを暗示することができる。例えば
、ユーザは、コマーシャルである可能性が最も高い期間のみを除去することを望
んでもよく、または、ユーザは、処理パワーを一定に保つことを決めることがで
きる。信用度レベルを、コマーシャルの位置決めにおけるその全体的な有効性に
対応する各々の技術に割り当てることができる。これらの信用度レベルの各々に
、使用しているプラットフォームの関数として重み付けすることができる。例え
ば、遅いプロセッサが存在する場合、重みのいくつかに、これらが前記システム
を遅くし、これらの有効性が証明されないことを示すゼロ値を割り当てることが
できる。各々の技術の信用度レベルにｃｏｎｆｉをラベル付けし、重みをｗｉと
し、このとき前記システムにおける完全な信用度は、
【数１】 となる。ここで、１１の技術が使用されているため、ｎ＝１１である。この信用
度レベルをユーザによって選択する。例えば、７０％の信用度レベルをユーザに
よって選択する。
【００８６】 さらに、前記重みを、テレビジョン番組のカテゴリの関数とすることができる
。例えば、前記コマーシャル検出アプリケーションは、ユーザまたはＥＰＧ（電
子番組ガイド）から解析されている番組の形式における入力を有する。前記検出
技術のいくつかを、番組の形式に基づくよりよい選別器としてもよい。前記重み
ｗｉを、変数の組み合わせの関数とすることもできる。
【００８７】 i．平均カットフレーム（ＡＣＤ） カットが他のカットに近いばあ、前記検
出プロセスのこの部分は、コマーシャルが生じたことを示す。使用する式は、
【数２】 であり、ここで、ｎを現在フレームとし、ｍを振りかえったカット数とし、代表
的に５とする。例えば、フレーム１７００がカットを有し、その後５番目のカッ
ト（ｍ＝５）がフレーム１７５０である場合、１０のＡＣＤを得る。ＡＣＤ＜１
５０ならば、測定されたカット間の領域は、おそらくコマーシャル内である。前
記式を、フレーム数と時間との固有の関係のため、時間依存であると容易に操作
することができる。
【００８８】 ii.カットレート検出 広告者は、情報を輸送する短い時間を有する。結果と
して、シーンを短くし、頻繁に変化させ、消費者の注意を得る。これは、カット
レート、シーンにおける変化の量が、一般的に、コマーシャルにおける方が通常
の番組におけるよりも多いことを意味する。この技術は、１分間に生じるカット
数の計算である。この数が９より大きく４０より少なければ、解析されたフレー
ムはおそらくコマーシャル内である。４０をこえるカットレートは、おそらく、
映画における高度なアクションシーンのしるしであり、コマーシャルではない。
【００８９】 iii.平均カットフレーム間隔傾向（ＡＣＤＴ） 平均カットフレーム間隔（Ａ
ＣＤ）は、名前から連想されるように、カット間の平均間隔を決定する。ＡＣＤ
Ｔは、ＡＣＤにおける変化の測定である。類推として、入力を関数ｆ（ｘ）とし
て考えると、カットレートは、その関数の導関数ｆ’（ｘ）であり、ＡＣＤＴは
、２次導関数ｆ”（ｘ）である。これが、前記関数が不連続であるため、変化の
瞬時のレートではないとしても、概念は同じである。ＡＣＤＴに関する式は、
【数３】 であり、ｍをカット間におけるフレーム数とする。上述したように、広告者は、
短い時間でメッセージを伝えるために、多くの異なった画像をすばやく消費者に
送る。ＡＣＤＴは、カットレートそれ自身がコマーシャルにおいて一定であり、
番組において一定でないというアイデアを考慮する。コマーシャルは、きわめて
変動しやすく、画像がすばやく変化し、高い一定のＡＣＤＴであるか、画像が少
しも変化せず、低い一定のカットレートである。図１８を参照すると、時間に関
するカットレート振幅のプロットがある。”Ａ”のラベルがついた点におけるカ
ットレートは、振幅においてほぼ同じである。同様に、”Ｂ”のラベルがついた
領域における点は、同じカットレート振幅を有する。これらの領域に関するＡＣ
ＤＴは、ほぼ０である。コマーシャルは、一般的に、小さな標準偏差を有する約
０のＡＣＤＴを有する。したがって、領域”Ａ”および”Ｂ”に示すようにＡＣ
ＤＴがほぼ０ならば、コマーシャルの一部がこの領域において生じたとみなす。
【００９０】 iv.ロゴ 本発明において使用される他の技術は、ロゴの不在の検出である。
上述したいくつかの先行技術の装置は、コマーシャルの証拠として広告された製
品に関係するマークの存在を探した。いくつかのテレビジョン番組は、番組中に
のみ存在するこれら自身のロゴを有する。例えば、ＣＮＮおよび朝のニュースは
、一般的に、右下隅において、時間と、ひょっとするとその日の天気予報と共に
、ネットワークのしるしを示す。この情報が画像から除去された場合、この除去
は、テレビ放送されているコマーシャルのしるしとなる。
【００９１】 このロゴは、一般的に、画面の指定された部分、通常は４隅のうちの１つにあ
る。図１６を参照すると、フレームを複数の領域に分割し、４隅のみを探索する
。これらの隅において、ロゴが限定された鮮明度で表示される可能性は低いため
、前記隅に最も近い領域を解析しなくてもよい。
【００９２】 図１７Ａ−１７Ｃを参照すると、前記隅領域における輝度値を連続的なフレー
ムを通じて比較した。絶対フレーム差を、図１７Ｃに示すような連続フレームと
、図１７Ａおよび１７Ｂにおけるフレームとに関して計算した。これらの計算も
、カット検出に関して行う。前記隅領域における画素のすべてが変化している場
合、ロゴはない。ある領域が図１７Ｃの絶対フレーム差において示すようにすべ
て”０”である場合、この領域はおそらくロゴである。この方法は、ロゴが静的
であることを仮定した。動くロゴを、モーションテクスチャを使用して分離する
ことができる。ロゴの一部が変化する（例えば、時間）場合、前記ロゴのその部
分は検出されない。すべて”０”の領域を、これらによってロゴ画像を発生する
ために保持する。次に、前記ロゴを表す署名を形成することができる。次の章に
おいてより完全に説明するように、既知のロゴ署名のバンクを使用することがで
きる。ロゴが見つかった場合、このロゴが消えたとき、コマーシャルが始まった
とみなす。
【００９３】 信号内の形状を検出する他の既知の方法が存在する。例えば、Hough変換、ｂ
スプライン解析、ＮＵＲＢおよびウェイブレットをすべて使用し、前記署名およ
びロゴの形状を表すか、ロゴ自体を検出することができる。どのような他の正規
直交またはマッチング遂行アルゴリズムを使用することもできる。
【００９４】 v.署名 この方法において、既知のコマーシャルのキーフレームの署名を抽出
し、データベースに格納する。格納されるコマーシャルの数は、前記データベー
スのサイズに依存する。キーフレームの署名は、ブロック署名すなわち１６８バ
イトのフレーム署名を使用する場合、約１ｋのメモリを必要とする。各々のコマ
ーシャルは、約１０のキーフレームを有する。図１２を参照すると、前記キーフ
レームリスト（図８においてより完全に示す）からのキーフレームを、既知のコ
マーシャルのキーフレームと順次に比較する。５０％をこえるキーフレームが一
致した場合、前記フレームを、コマーシャル内にあるとみなす。
【００９５】 前記データベースにおける各コマーシャルに関するコマーシャル発見カウンタ
を、そのコマーシャルが検出されるたびに１増分する。コマーシャルが予め決め
られた期間（例えば月）内に見つからなかった場合、そのコマーシャルに対応す
る署名を前記データベースから消去する。２つの既知のコマーシャルが、指定さ
れた期間（例えば分）内のフレームの組を挟む場合、これらの挟まれたフレーム
を可能性コマーシャルデータベースに置く。これらの挟まれたフレームは、１つ
以上のコマーシャルを表すかもしれない。これらのフレームの部分集合が少なく
とも２回既知のコマーシャルフレームと一致した場合、これらの可能性コマーシ
ャルフレームを前記既知のコマーシャルのデータベースに追加する。このように
して、既知のコマーシャルの動的なデータベースを形成する。
【００９６】 先行技術のシステムとは異なり、このデータベースは、ユーザがコマーシャル
を実際に閲覧することを可能にする。ユーザは、例えば、誰が売出し中か、また
は、どのカーディーラーが所望の車両において最もよい値をつけているかを決定
することができる。前記データベースを分類し、コマーシャル探索を容易にする
ことができる。前記データベースは、コマーシャル全体を保持することができ、
または、単に、既知の情報検索手段によって形成されたキーワードによるインデ
ックスを保持することができる。
【００９７】 フレームの署名を抽出する多くの既知の方法が存在する。例えば、カラーヒス
トグラムを使用することができる。代わりに、濾過プロセスにおいて使用される
署名方法を実施することもできる。
【００９８】 vi.テキストおよびブランド名 ブランド名が表示された場合、このフレーム
がコマーシャル内である確率はきわめて高い。図１１を参照すると、入力５２を
、オーディオプロセッサ１００、ビデオプロセッサ１１４およびクローズドキャ
プションプロセッサ１１６に送る。オーディオプロセッサ１００は、この信号を
、音声をテキスト１２０に変換する音声認識プロセッサ１１２に送る。同様にビ
デオプロセッサ１１４は、入力５２を、ビデオをテキスト１２０に変換するセグ
メント化およびＯＣＲ装置１１８に送る。クローズドキャプションプロセッサ１
１６もテキスト１２０を発生する。次にテキスト１２０を、ブランドおよび製品
名バンク１２４と、比較器１２２によって比較する。すべての登録されたブラン
ド名を容易に決定および格納することができる。（指定された期間内のブランド
名数）／（この期間内の総ワード数）がしきい値より大きい場合、コマーシャル
がこの期間中に発生している。現在使用するこの期間は２分である。
【００９９】 vii.ブラックフレーム検出 上述したように、コマーシャルには、通常、ブラ
ックフレームが前後に続く。本装置は、上記に関する最適化されたブラックフレ
ーム検出方法を使用し、ブラックフレームが発生したかどうかをより正確に決定
する。ブラックフレームが生じた場合、コマーシャルがその前または後に続く可
能性は高くなる。一般的に、多くのブラックフレームがコマーシャルに先行して
使用されるが、コマーシャルの可能性がある開始および終了が生じる場所を示す
だけでよい。
【０１００】 viii.ブラックフレームおよびカット 高いカットレートが検出された場合、
この技術は、前記装置に、４分間（７２００フレーム）、ブラックフレームの列
に関して遡る。この列を少なくとも１０−３０フレーム長としなければならない
。一般的に、コマーシャル間の時間は４分より長い、高いカットレートが存在し
、最後の４分以内にブラックフレームが存在する場合、この高いカットレート列
は、おそらくコマーシャル内である。
【０１０１】 ix.フレーム類似 上述したように、フィルタスレッド８４は、あるフレーム
が最後の１０分において受けたフレームと同様であるかどうかを決定する。映画
またはテレビジョン番組において、前記列は一般的に同様である。これを行い、
視聴者にシーンが変化していない知覚を与える。例えば、連続コメディ番組にお
いて、同じ一般的なレイアウトが連続して表示され、俳優はこの空間内で相互作
用する。コマーシャルは、一般的に３０秒より長く持続しない。結果として、コ
マーシャルにおいて、背景は３０秒ごとに劇的に変化する。したがって、あるフ
レームが最後の３０秒以内に生じた他のフレームと同様な場合、現在および最後
のフレームを、コマーシャルの一部であると推定する。同様なフレーム間の時間
が３０秒をこえる場合、これらのフレームはおそらく番組内である。
【０１０２】 x.静止画像 静止画像は同様な画像と、より長い時間が同様の画像に使用され
ることを除いて同様である。コマーシャルは、概念を視聴者にすばやく伝えるた
めに、多くの動きを必要とする。したがって、静止画像は、通常、番組において
位置し、コマーシャルにおいて位置しない。したがって、本発明は、１分におけ
る静止画像の数を考察する。一般的に、コマーシャルにおいて静止画像はない。
２つ以上の静止画像が見つかった場合、解析されたフレームは、おそらくコマー
シャル内ではない。
【０１０３】 xi.キャラクタ検出 コマーシャルがテキストを表示する場合、一般的に画面
の異なった場分において、異なったフォントおよびサイズにおいてである。これ
は、例えば、少なくとも同様のパターンのフォントサイズおよび形式を有する映
画クレジットと区別される。図１３を参照すると、コマーシャル内であるかもし
れないフレームは、２つの変形が加えられている。このフレームは、グレイスケ
ール化され、エッジ検出が行われている。
【０１０４】 エッジ検出後、前記システムは、どのような情報がフレーム内に残っているか
を発見することを期待する．可能性のあるキャラクタの最大幅および高さは、結
果として生じる検出された領域を比較するのに使用されるしきい値を形成する。
領域がその中にテキストキャラクタを有するには大き過ぎるまたは小さすぎる場
合、考慮から除外する。テキストキャラクタがあると決定したら、同様のキャラ
クタを同じ垂直ライン上に関して走査する。４つ以上のキャラクタが同じライン
上に見つかった場合、最初のキャラクタから最後のキャラクタまでを単語とみな
す。例えば、図１４において、前記システムは名前”Ｅｕｇｅｎｅ”における文
字”ｇ”を、”ｇ”が大き過ぎるため、検出しないかもしれない。しかしながら
、他の文字は検出され、追加の文字が同じラインにおいて見つかる。これは、単
語”Ｅｕ＿ｅｎｅ”を発生する。前記システムを、追加の解析を行って”ｇ”を
探すようにプログラムすることができる。
【０１０５】 すべての見つかった単語を、前記フレーム内のこれらのキャラクタをアウトラ
イン化するボックスによって表す。このボックスの高さは、コマーシャル内にあ
るか、または、番組内にあるかに応じて変化する。図１５Ａ−Ｃを参照すると、
このボックスの中心（ｘ，ｙ）および高さ（ｚ）を、３次元軸においてプロット
する。一連のフレーム（または一連のキーフレーム）を時間に関して互いに重な
る。テキストが、映画のクレジットのように、画面の中心を通ってスクロールす
る場合、前記プロットは図１５Ａにおけるように直線になる。テキストが画面の
中心においてちょうど現れ、消える場合、プロットは、図１５Ｂにおけるように
、２つの近い点のように見える。コマーシャルにおいて、点は、図１５Ｃにおけ
るようにグラフじゅうに現れる。この技術を、キーフレームにおいてのみ使用し
、処理時間を節約することができ、または、すべてのフレームを解析することが
できる。
【０１０６】 III.再生 コマーシャル検出を行ったら、テープ再生は比較的簡単である。上述したよう
に、検出されたコマーシャルの時間をメモリ７８に保存する。再生中、プロセッ
サ５７は、これらの時間を捜し、検出されたコマーシャル中テープを速送りする
。ユーザに、コマーシャルの第１フレームを表示し、このコマーシャルをスキッ
プすることを望むかどうかに関して促すことができる。代わりに、プロセッサ５
７を、ある形式の内容交換を行うようにプログラムすることができる。ユーザは
、コマーシャルの代わりに他の刺激を与えられることを要求することができる。
例えば、ユーザは、指定されたウェブサイトの内容が表示されることを要求する
ことができる。
【０１０７】 ユーザが記録中の番組を観ている場合、前記番組の数分間をメモリ（例えばメ
モリ７８）に一時記憶し、解析し、ディスプレイに出力しなければならない。こ
れは、コマーシャルが何時あり、どのくらい長いかを決定することを必要とする
。このような一時記憶を、例えば、ＳＭＡＳＨ（家庭におけるマルチメディアア
プリケーションシステム用記憶装置）技術によって行うことができる。一時記憶
を行わない場合、コマーシャルの最初の部分が記録され、コマーシャルに続く番
組の最初の部分が記録されない。これは、番組およびコマーシャル間の変化を検
出するために、処理がビデオ情報を必要とすることによるものである。
【０１０８】 ユーザが存在しない場合、内容交換を、前記コマーシャル検出処理後に行うこ
とができる。プロセッサ５７は、再び、番組の少なくとも一部を一時記憶し、プ
ロセッサ５７がコマーシャルが開始および終了するときを決定できるようにした
場合、コマーシャルに関する内容を交換することもでき、これらを完全に除去す
ることもできる。
【０１０９】 IV.結論 本発明の方法は、その存在が、ディジタルテレビジョンと、ＪＰＥＧまたはＭ
ＰＥＧ圧縮アルゴリズムを使用するなにか他の信号との到来と共に増大するＤＣ
Ｔ係数に基づいている。伸張をこのような信号において行わなければならないと
しても、これを、多くの既知の装置によって行うことができる。処理パワーおよ
び時間の大部分は、ＤＣＴ係数を見つけることと、完全な画像を再生することに
費やされる。したがって、本発明は、ディジタルフォーマットに向かう動きを認
識する。
【０１１０】 好適実施形態を説明したことによって、種々の変更を、当業者によって、添付
した請求項においてより明らかに規定した本発明の範囲および精神から逸脱する
ことなく、行うことができることに注意すべきである。
【図面の簡単な説明】
【図１】 図１Ａは、ビデオと、本発明の第１実施形態によるコマーシャル分離
器との間の入力信号分割のブロック図表現である。図１Ｂは、本発明の他の実施
形態による、コマーシャル分離器によって受けられ、その後ＶＣＲおよびメモリ
間で分割される入力信号のブロック図である。
【図２】 図２は、異なったスレッドおよび関係するメモリを含むプロセッサの
ブロック図である。
【図３】 図３Ａ、３Ｂ、３Ｃおよび３Ｄは、入力信号のスケーリングおよび変
形を説明する。
【図４】 図４Ａおよび４Ｂは、アナログおよび圧縮信号を各々入力信号に変換
することに関するブロック図である。
【図５】 図５は、カット検出スレッドに関するフローチャートである。
【図６】 図６Ａおよび６Ｂは、フィルタスレッドに関するフローチャートであ
る。
【図７】 図７は、署名方法のブロック図である。
【図８】 図８は、代表的なキーフレームリストの表である。
【図９】 図９は、代表的な一次フレームバッファの図である。
【図１０】 図１０は、ブラックフレーム検出方法の図である。
【図１１】 図１１は、ブランド名検出方法のブロック図である。
【図１２】 図１２は、キーフレームリスト方法の図である。
【図１３】 テキスト検出方法のブロック図である。
【図１４】 テキスト検出方法によって解析された文字のグループを示す。
【図１５】 図１５Ａ、１５Ｂおよび１５Ｃは、キャラクタ分離器（テキスト検
出方法）の連続的なボックスの高さと位置との関係を示す。
【図１６】 図１６は、ロゴ検出において解析された領域の図である。
【図１７】 図１７Ａ、１７Ｂおよび１７Ｃは、ロゴ検出方法を示す。
【図１８】 図１８は、平均カットフレーム間隔傾向のグラフである。
【図１９】 図１９は、代表的なフレームリストバッファの表である。
───────────────────────────────────────────────────── フロントページの続き (71)出願人 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １， 5621 ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈ ｅ Ｎｅｔｈｅｒｌａｎｄｓ (72)発明者 イアン ハー エレンバース オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 ユージーン レイヴィ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 キャロライン ラムゼイ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 デヴィッド ベルコヴィッツ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ Ｆターム(参考） 5C053 FA14 FA21 GB23 HA30 JA16 JA30 LA07 5C061 BB05 BB06 【要約の続き】 再生中、検出されたコマーシャルを、スキップするか、 代わりの内容に取りかえる。

Claims (31)

    【特許請求の範囲】
  1. 【請求項１】 ブラックフレーム検出器を具え、複数のフレームに分割されたビ
    デオデータストリーム内のコマーシャルの前または後に生じるブラックフレーム
    を検出する家庭情報装置において、前記ブラックフレーム検出器が、前記フレー
    ムの解析されたフレームを複数の領域に分割するステップと、前記領域に関する
    平均最高輝度値を計算するステップと、前記領域に関する平均最低輝度値を計算
    するステップと、前記平均最高輝度値および平均最低輝度値をブラックフレーム
    しきい値と比較するステップと、ブラックフレームの発生を前記比較するステッ
    プに基づいて認知するステップとを行うことを特徴とする家庭情報装置。
  2. 【請求項２】 請求項１に記載の家庭情報装置において、前記分割するステップ
    が、前記解析されたフレームを４つの象限に分割するステップを含み、前記比較
    するステップが、一度に１つの象限に関して前記平均最低輝度値および平均最高
    輝度値を比較するステップを含むことを特徴とする家庭情報装置
  3. 【請求項３】 請求項１に記載の家庭情報装置において、最低の平均最高輝度値
    を決定するステップと、 前記最高輝度値を前記最低平均最高輝度値と比較するステップとをさらに含む
    ことを特徴とする家庭情報装置。
  4. 【請求項４】 請求項１に記載の家庭情報装置において、前記ブラックフレーム
    検出器が、前記データストリームのＤＣＴ係数を使用することを特徴とする家庭
    情報装置。
  5. 【請求項５】 請求項１に記載の家庭情報装置において、前記データストリーム
    を格納し、検出されたブラックフレーム間に生じるコマーシャルの場所を代わり
    の内容に取りかえる記憶装置をさらに具えることを特徴とする家庭情報装置。
  6. 【請求項６】 請求項１に記載の家庭情報装置は、前記コマーシャルをスキップ
    する手段をさらに具えることを特徴とする家庭情報装置。
  7. 【請求項７】 平均カットフレーム間隔検出器と、カットフレーム間隔傾向検出
    器と、ブランド名検出器と、カットレートおよびブラックフレーム検出器と、フ
    レーム類似検出器と、キャラクタ検出器と、静止画像検出器とのうち少なくとも
    １つを具え、 複数のフレームに分割されたビデオデータストリーム内のコマーシャルの少な
    くとも一部を検出する家庭情報装置において、 前記平均カットフレーム間隔検出器が、 a.カットを有する第１フレームおよびカットを有する前フレーム間のフレーム数
    を表す分子と、前記前フレームおよび第１フレーム間のカット数を表す分母とを
    含む商を計算するステップと、 b.前記商をカットフレーム間隔しきい値と比較するステップと、 c.コマーシャルの一部の発生を前記比較するステップに基づいて認知するステッ
    プとを行い、 前記平均カットフレーム間隔傾向検出器が、複数のフレームにおけるカット数
    における変化を決定し、前記変化に基づいてコマーシャルの一部を検出し、 前記ブランド名検出器が、 a.前記データストリームを、オーディオプロセッサ、ビデオプロセッサおよびク
    ローズドキャプションプロセッサのうち少なくとも１つによって処理し、テキス
    トを発生するステップと、 b.前記テキストを製品名および商品名のバンクと比較するステップと、 c.コマーシャルの一部を前記比較するステップに基づいて認知するステップとを
    行い、 前記カットレートおよびブラックフレーム検出器が、コマーシャルの一部を、
    ブラックフレームの列が解析されたカットの前のカットおよびブラックフレーム
    期間内に生じたかどうか、前記解析されたカットがカット列内において生じたか
    どうか、前記列がカットレート期間内に生じたかどうかに基づいて認知し、 前記フレーム類似検出器が、現在フレームが前フレームと類似しているかどう
    かを決定し、ある期間内のフレームが現在フレームと類似している場合、コマー
    シャルの一部を検出し、 前記キャラクタ検出器が、 a.前記フレームの解析されたフレーム内の文字をみつけるステップと、 b.前記文字の周囲のボックスを形成するステップと、 c.前記ボックスの大きさを決定するステップと、 d.前記解析されたフレームにおける前記ボックスの位置を決定するステップと、 e.前記解析されたフレームおよびその後の解析されたフレームの前記大きさおよ
    び位置を解析するステップと、 f.コマーシャルの一部を前記解析するステップに基づいて検出するステップとを
    行い、 前記静止画検出器が、コマーシャルの一部を、多数の静止画がある期間内で発
    生した場合に検出することを特徴とする家庭情報装置。
  8. 【請求項８】 請求項７に記載の家庭情報装置において、 前記フレームを取得するフレーム取得器と、 前記データストリーム内で、カット、第１期間内に位置する類似したフレーム
    、および、ブラックフレームのうち少なくとも１つを識別する第１検出器と、 前記データストリーム内で、第２期間内で類似したフレーム、および、実際的
    に同じカラーのフレームのうち少なくとも１つを識別する第２検出器と、 前記第１および第２検出器によって発生された情報を使用して前記コマーシャ
    ルを識別する第３検出器とをさらに具えることを特徴とする家庭情報装置。
  9. 【請求項９】 請求項８に記載の家庭情報装置において、前記第２期間を前記第
    １期間より長くしたことを特徴とする家庭情報装置。
  10. 【請求項１０】 請求項７に記載の家庭情報装置において、前記平均カットフレ
    ーム間隔検出器における前記カット数と、前記カットレートおよびブラックフレ
    ーム期間と、前記ブラックフレームの列と、前記カットの列と、前記カットレー
    ト期間と、前記フレーム類似検出器における期間と、前記静止画像検出器におけ
    る期間および静止フレームの数とのうち少なくとも１つを予め決定することを特
    徴とする家庭情報装置。
  11. 【請求項１１】 請求項７に記載の家庭情報装置において、前記検出器の各々が
    前記データストリームのＤＣＴ係数を使用することを特徴とする家庭情報装置。
  12. 【請求項１２】 請求項７に記載の家庭情報装置において、前記データストリー
    ムを格納し、検出されたコマーシャルの場所を代わりの内容に取りかえる記憶装
    置をさらに具えることを特徴とする家庭情報装置。
  13. 【請求項１３】 請求項７に記載の家庭情報装置において、検出されたコマーシ
    ャルをスキップする手段をさらに具えることを特徴とする家庭情報装置。
  14. 【請求項１４】 複数のフレームに分割されたビデオデータストリーム内のコマ
    ーシャルを検出する家庭情報装置において、 前記フレームを取得するフレーム取得器と、 前記データストリーム内で、カット、第１期間内に位置する類似したフレーム
    、および、ブラックフレームのうち少なくとも１つを識別する第１検出器と、 前記データストリーム内で、第２期間内で類似したフレーム、および、実際的
    に同じカラーのフレームのうち少なくとも１つを識別する第２検出器と、 前記第１および第２検出器によって発生された情報を使用して前記コマーシャ
    ルを識別する第３検出器とをさらに具えることを特徴とする家庭情報装置。
  15. 【請求項１５】 請求項１４に記載の家庭情報装置において、前記第２期間を前
    記第１期間より長くしたことを特徴とする家庭情報装置。
  16. 【請求項１６】 請求項１４に記載の家庭情報装置において、 前記フレーム取得器および検出器によってアクセス可能なメモリをさらに具え
    、前記フレーム取得器および検出器のうち１つのみが所定の時間において作動す
    ることを特徴とする家庭情報装置。
  17. 【請求項１７】 平均カットフレーム間隔と、カットフレーム間隔傾向と、ブラ
    ンド名と、ブラックフレームと、カットおよびブラックフレームと、フレーム類
    似と、キャラクタと、静止画像とのうち少なくとも１つの検出によって、複数の
    フレームに分割されたビデオデータストリーム内のコマーシャルを検出する方法
    において、 平均カットフレーム間隔検出が、 a.カットを有する第１フレームおよびカットを有する前フレーム間のフレーム数
    を表す分子と、前記前フレームおよび第１フレーム間のカット数を表す分母とを
    含む商を計算するステップと、 b.前記商をカットフレーム間隔しきい値と比較するステップと、 c.コマーシャルの一部の発生を前記比較するステップに基づいて認知するステッ
    プとを含み、 平均カットフレーム間隔傾向検出が、複数のフレームにおけるカット数におけ
    る変化の決定と、前記変化に基づくコマーシャルの一部の検出であり、 ブランド名検出が、 a.前記データストリームを、オーディオプロセッサ、ビデオプロセッサおよびク
    ローズドキャプションプロセッサのうち少なくとも１つによって処理し、テキス
    トを発生するステップと、 b.前記テキストを製品名および商品名のバンクと比較するステップと、 c.コマーシャルの一部を前記比較するステップに基づいて認知するステップとを
    含み、 ブラックフレーム検出が、 a.前記フレームの解析されたフレームを複数の領域に分割するステップと、 b.前記領域に関する平均最高輝度値を計算するステップと、 c.前記領域に関する平均最低輝度値を計算するステップと、 d.前記平均最高輝度値および平均最低輝度値をブラックフレームしきい値と比較
    するステップと、 e.前記比較するステップに基づいてコマーシャルの開始および終了の発生を識別
    するステップとを含み、 カットおよびブラックフレーム検出が、コマーシャルの一部を、ブラックフレ
    ームの列が解析されたカットの前のカットおよびブラックフレーム期間内に生じ
    たかどうか、前記解析されたカットがカット列内において生じたかどうか、前記
    列がカットレート期間内に生じたかどうかに基づいて識別し、 フレーム類似検出が、現在フレームが前フレームと類似しているかどうかの決
    定であり、ある期間内のフレームが現在フレームと類似している場合、コマーシ
    ャルの一部とし、 キャラクタ検出が、 a.前記フレームの解析されたフレーム内の文字をみつけるステップと、 b.前記文字の周囲のボックスを形成するステップと、 c.前記ボックスの大きさを決定するステップと、 d.前記解析されたフレームにおける前記ボックスの位置を決定するステップと、 e.前記解析されたフレームおよびその後の解析されたフレームの前記大きさおよ
    び位置を解析するステップと、 f.コマーシャルの一部を前記解析するステップに基づいて検出するステップとを
    含み、 静止画検出が、コマーシャルの一部を、多数の静止画がある期間内で発生した
    場合に識別することを特徴とする方法。
  18. 【請求項１８】 請求項１７に記載の方法において、前記ブラックフレーム検出
    において、前記分割するステップが、前記解析されたフレームを４つの象限に分
    割するステップを含み、 前記比較するステップが、前記平均最低輝度値および平均最高輝度値を一度に
    １象限に関して比較するステップを含むことを特徴とする方法。
  19. 【請求項１９】 請求項１７に記載の方法において、前記ブラックフレーム検出
    が、 最低の前記平均最高輝度値を決定するステップと、 前記最高輝度値を前記最低平均最高輝度値と比較するステップとをさらに具え
    ることを特徴とする方法。
  20. 【請求項２０】 請求項１７に記載の方法において、前記検出が前記データスト
    リームのＤＣＴ係数を使用することを特徴とする方法。
  21. 【請求項２１】 請求項１７に記載の方法において、前記データストリームを格
    納し、検出されたコマーシャルの場所を代わりの内容に取りかえる記憶装置をさ
    らに具えることを特徴とする方法。
  22. 【請求項２２】 請求項１７に記載の方法において、検出されたコマーシャルを
    スキップする手段をさらに具えることを特徴とする方法。
  23. 【請求項２３】 請求項１７に記載の方法において、 前記フレームを取得するフレーム取得器と、 前記データストリーム内で、カット、第１期間内に位置する類似したフレーム
    、および、ブラックフレームのうち少なくとも１つを識別する第１検出器と、 前記データストリーム内で、第２期間内で類似したフレーム、および、実際的
    に同じカラーのフレームのうち少なくとも１つを識別する第２検出器と、 前記第１および第２検出器によって発生された情報を使用して前記コマーシャ
    ルを識別する第３検出器とをさらに具えることを特徴とする方法。
  24. 【請求項２４】 請求項２３に記載の方法において、前記第２期間を前記第１期
    間より長くしたことを特徴とする方法。
  25. 【請求項２５】 請求項１７に記載の方法において、前記平均カットフレーム間
    隔検出器における前記カット数と、前記カットレートおよびブラックフレーム期
    間と、前記ブラックフレームの列と、前記カットの列と、前記カットレート期間
    と、前記フレーム類似検出器における期間と、前記静止画像検出器における期間
    および静止フレームの数とのうち少なくとも１つを予め決定することを特徴とす
    る方法。
  26. 【請求項２６】 請求項１に記載の家庭情報装置において、前記比較するステッ
    プを、前記領域の一つずつすべてにおいて行うことを特徴とする家庭情報装置。
  27. 【請求項２７】 請求項１に記載の家庭情報装置において、前記分割するステッ
    プが、前記解析されたフレームの最も外の部分を除外するステップを具えること
    を特徴とする家庭情報装置。
  28. 【請求項２８】 請求項１に記載の家庭情報装置において、前記計算するステッ
    プと、比較するステップと、識別するステップとを、一度に前記領域の１つにお
    いて行うことを特徴とする家庭情報装置。
  29. 【請求項２９】 請求項１７に記載の方法において、前記ブラックフレーム検出
    において、前記比較するステップを、前記領域の一つずつすべてにおいて行うこ
    とを特徴とする方法。
  30. 【請求項３０】 請求項１７に記載の方法において、前記ブラックフレーム検出
    において、前記分割するステップが、前記解析されたフレームの最も外の部分を
    除外するステップを具えることを特徴とする方法。
  31. 【請求項３１】 請求項１７に記載の方法において、前記ブラックフレーム検出
    において、前記計算するステップと、比較するステップと、識別するステップと
    を、一度に前記領域の１つにおいて行うことを特徴とする方法。
JP2000563066A 1998-07-28 1999-06-28 ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置および方法 Pending JP2002521977A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/123,444 1998-07-28
US09/123,444 US6100941A (en) 1998-07-28 1998-07-28 Apparatus and method for locating a commercial disposed within a video data stream
PCT/IB1999/001206 WO2000007367A2 (en) 1998-07-28 1999-06-28 Apparatus and method for locating a commercial disposed within a video data stream

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010160320A Division JP2010246161A (ja) 1998-07-28 2010-07-15 ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置及び方法

Publications (1)

Publication Number Publication Date
JP2002521977A true JP2002521977A (ja) 2002-07-16

Family

ID=22408727

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000563066A Pending JP2002521977A (ja) 1998-07-28 1999-06-28 ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置および方法
JP2010160320A Withdrawn JP2010246161A (ja) 1998-07-28 2010-07-15 ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010160320A Withdrawn JP2010246161A (ja) 1998-07-28 2010-07-15 ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置及び方法

Country Status (6)

Country Link
US (1) US6100941A (ja)
EP (1) EP1040656B1 (ja)
JP (2) JP2002521977A (ja)
AT (1) ATE395785T1 (ja)
DE (1) DE69938711D1 (ja)
WO (1) WO2000007367A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032631A (ja) * 2001-07-18 2003-01-31 Sony Corp 信号処理装置及び方法、記録媒体、並びにプログラム
WO2006070601A1 (ja) * 2004-12-27 2006-07-06 Matsushita Electric Industrial Co., Ltd. データ処理装置
JP2010130700A (ja) * 2009-12-08 2010-06-10 Toshiba Corp 映像解析装置およびプログラム
JP2017538328A (ja) * 2014-12-12 2017-12-21 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド プロモーション情報の処理方法、装置、デバイス及びコンピュータ記憶媒体

Families Citing this family (201)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL125141A0 (en) * 1998-06-29 1999-01-26 Nds Ltd Advanced television system
US6233389B1 (en) 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
US7558472B2 (en) 2000-08-22 2009-07-07 Tivo Inc. Multimedia signal processing system
JP4026100B2 (ja) * 1998-11-30 2007-12-26 ソニー株式会社 情報処理装置および方法、並びに記録媒体
JP4178629B2 (ja) * 1998-11-30 2008-11-12 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US8290351B2 (en) * 2001-04-03 2012-10-16 Prime Research Alliance E., Inc. Alternative advertising in prerecorded media
US6906743B1 (en) * 1999-01-13 2005-06-14 Tektronix, Inc. Detecting content based defects in a video stream
DE60045248D1 (de) 1999-09-20 2010-12-30 Tivo Inc Untertitel-etikettiersystem
US6469749B1 (en) * 1999-10-13 2002-10-22 Koninklijke Philips Electronics N.V. Automatic signature-based spotting, learning and extracting of commercials and other video content
CN1240218C (zh) * 1999-11-01 2006-02-01 皇家菲利浦电子有限公司 用于替换不希望的广告中断或其它视频序列的视频内容的方法和装置
US6993245B1 (en) 1999-11-18 2006-01-31 Vulcan Patents Llc Iterative, maximally probable, batch-mode commercial detection for audiovisual content
WO2001047257A1 (en) 1999-12-21 2001-06-28 Tivo, Inc. Intelligent system and methods of recommending media content items based on user preferences
US6766098B1 (en) 1999-12-30 2004-07-20 Koninklijke Philip Electronics N.V. Method and apparatus for detecting fast motion scenes
US7661116B2 (en) 2000-02-25 2010-02-09 Vulcan Patents Llc Auction for targeted content
US8910199B2 (en) 2000-02-25 2014-12-09 Interval Licensing Llc Targeted television content display
AU2001249994A1 (en) 2000-02-25 2001-09-03 Interval Research Corporation Method and system for selecting advertisements
GB2360581A (en) * 2000-03-15 2001-09-26 Television Monitoring Services Quantification of brand exposure on screen
FR2806573B1 (fr) * 2000-03-15 2002-09-06 Thomson Multimedia Sa Procede de visualisation d'emissions diffusees et enregistrees possedant une caracteristique commune et dispositif associe
JP4300697B2 (ja) * 2000-04-24 2009-07-22 ソニー株式会社 信号処理装置及び方法
JP4332988B2 (ja) * 2000-04-27 2009-09-16 ソニー株式会社 信号処理装置及び方法
US7877766B1 (en) 2000-05-04 2011-01-25 Enreach Technology, Inc. Method and system of providing a non-skippable sub-advertisement stream
JP2003534757A (ja) * 2000-05-23 2003-11-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コマーシャル休止検出装置
US7013477B2 (en) * 2000-05-25 2006-03-14 Fujitsu Limited Broadcast receiver, broadcast control method, and computer readable recording medium
US8028314B1 (en) 2000-05-26 2011-09-27 Sharp Laboratories Of America, Inc. Audiovisual information management system
JP2002044572A (ja) * 2000-07-21 2002-02-08 Sony Corp 情報信号処理装置及び情報信号処理方法および情報信号記録装置
GB0022370D0 (en) * 2000-09-13 2000-10-25 Pace Micro Tech Plc Improvements to televisionn system
US8020183B2 (en) 2000-09-14 2011-09-13 Sharp Laboratories Of America, Inc. Audiovisual management system
US6829778B1 (en) 2000-11-09 2004-12-07 Koninklijke Philips Electronics N.V. Method and system for limiting repetitive presentations based on content filtering
US20030038796A1 (en) * 2001-02-15 2003-02-27 Van Beek Petrus J.L. Segmentation metadata for audio-visual content
US7536078B2 (en) * 2001-02-26 2009-05-19 Yesvideo, Inc. Identification of blank segments in a set of visual recording data
US8949878B2 (en) * 2001-03-30 2015-02-03 Funai Electric Co., Ltd. System for parental control in video programs based on multimedia content information
US20020178447A1 (en) * 2001-04-03 2002-11-28 Plotnick Michael A. Behavioral targeted advertising
US20020184047A1 (en) * 2001-04-03 2002-12-05 Plotnick Michael A. Universal ad queue
US7904814B2 (en) 2001-04-19 2011-03-08 Sharp Laboratories Of America, Inc. System for presenting audio-video content
US7143354B2 (en) * 2001-06-04 2006-11-28 Sharp Laboratories Of America, Inc. Summarization of baseball video content
US7499077B2 (en) * 2001-06-04 2009-03-03 Sharp Laboratories Of America, Inc. Summarization of football video content
US20020188945A1 (en) * 2001-06-06 2002-12-12 Mcgee Tom Enhanced EPG to find program start and segments
WO2002104001A2 (en) * 2001-06-14 2002-12-27 Digeo, Inc. Method of substituting content during program breaks
US6870956B2 (en) * 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US7266832B2 (en) * 2001-06-14 2007-09-04 Digeo, Inc. Advertisement swapping using an aggregator for an interactive television system
US7203620B2 (en) 2001-07-03 2007-04-10 Sharp Laboratories Of America, Inc. Summarization of video content
US20030016604A1 (en) * 2001-07-20 2003-01-23 Hanes David H. System and method for detecting the border of recorded video data
US7089575B2 (en) * 2001-09-04 2006-08-08 Koninklijke Philips Electronics N.V. Method of using transcript information to identify and learn commercial portions of a program
US20030066077A1 (en) * 2001-10-03 2003-04-03 Koninklijke Philips Electronics N.V. Method and system for viewing multiple programs in the same time slot
US7474698B2 (en) 2001-10-19 2009-01-06 Sharp Laboratories Of America, Inc. Identification of replay segments
JP3823804B2 (ja) * 2001-10-22 2006-09-20 ソニー株式会社 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
US7020336B2 (en) * 2001-11-13 2006-03-28 Koninklijke Philips Electronics N.V. Identification and evaluation of audience exposure to logos in a broadcast event
US7170566B2 (en) * 2001-12-21 2007-01-30 Koninklijke Philips Electronics N.V. Family histogram based techniques for detection of commercials and other video content
US7337455B2 (en) * 2001-12-31 2008-02-26 Koninklijke Philips Electronics N.V. Method, apparatus, and program for evolving algorithms for detecting content in information streams
US7302160B1 (en) * 2002-01-22 2007-11-27 Lsi Corporation Audio/video recorder with automatic commercial advancement prevention
US7120873B2 (en) 2002-01-28 2006-10-10 Sharp Laboratories Of America, Inc. Summarization of sumo video content
US20030149975A1 (en) * 2002-02-05 2003-08-07 Charles Eldering Targeted advertising in on demand programming
US20030149621A1 (en) * 2002-02-07 2003-08-07 Koninklijke Philips Electronics N.V. Alternative advertising
US7333712B2 (en) * 2002-02-14 2008-02-19 Koninklijke Philips Electronics N.V. Visual summary for scanning forwards and backwards in video content
US20030228125A1 (en) * 2002-03-07 2003-12-11 Koninklijke Philips Electronics N.V. Method and system for fee-based commercial-free television viewing
US20030172378A1 (en) * 2002-03-07 2003-09-11 Koninklijke Philips Electronics N.V. Method and apparatus for creating a personal commercials channel
US8214741B2 (en) 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
US20030184679A1 (en) * 2002-03-29 2003-10-02 Meehan Joseph Patrick Method, apparatus, and program for providing slow motion advertisements in video information
US8131133B2 (en) 2002-04-16 2012-03-06 Roth David A System and method for modifying broadcast signals in closed circuit systems
US8155498B2 (en) * 2002-04-26 2012-04-10 The Directv Group, Inc. System and method for indexing commercials in a video presentation
US7260308B2 (en) * 2002-05-09 2007-08-21 Thomson Licensing Content identification in a digital video recorder
US7206494B2 (en) * 2002-05-09 2007-04-17 Thomson Licensing Detection rules for a digital video recorder
KR100960342B1 (ko) * 2002-05-09 2010-05-28 톰슨 라이센싱 디지털 비디오 레코더에서 컨텐트 식별
US8872979B2 (en) * 2002-05-21 2014-10-28 Avaya Inc. Combined-media scene tracking for audio-video summarization
AU2003249663A1 (en) * 2002-05-28 2003-12-12 Yesvideo, Inc. Summarization of a visual recording
JP4076067B2 (ja) * 2002-07-02 2008-04-16 株式会社日立製作所 録画再生システム
GB0215624D0 (en) * 2002-07-05 2002-08-14 Colthurst James R Razor head
US20040010480A1 (en) * 2002-07-09 2004-01-15 Lalitha Agnihotri Method, apparatus, and program for evolving neural network architectures to detect content in media information
US7657836B2 (en) 2002-07-25 2010-02-02 Sharp Laboratories Of America, Inc. Summarization of soccer video content
US20040073919A1 (en) * 2002-09-26 2004-04-15 Srinivas Gutta Commercial recommender
US7657907B2 (en) 2002-09-30 2010-02-02 Sharp Laboratories Of America, Inc. Automatic user profiling
US7274741B2 (en) * 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
KR100555427B1 (ko) * 2002-12-24 2006-02-24 엘지전자 주식회사 비디오 재생 장치 및 지능형 스킵 방법
JP4528763B2 (ja) * 2003-01-06 2010-08-18 ペイス ピーエルシー インターネットからデータをストリーミングするリアルタイム記録エージェント
US7164798B2 (en) * 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
US20050149968A1 (en) * 2003-03-07 2005-07-07 Richard Konig Ending advertisement insertion
US7738704B2 (en) * 2003-03-07 2010-06-15 Technology, Patents And Licensing, Inc. Detecting known video entities utilizing fingerprints
US20040194130A1 (en) * 2003-03-07 2004-09-30 Richard Konig Method and system for advertisement detection and subsitution
US7694318B2 (en) * 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
US7809154B2 (en) * 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
US20050177847A1 (en) * 2003-03-07 2005-08-11 Richard Konig Determining channel associated with video stream
WO2004086751A2 (en) 2003-03-27 2004-10-07 Sergei Startchik Method for estimating logo visibility and exposure in video
US6856758B2 (en) * 2003-04-09 2005-02-15 Televentions, Llc Method and apparatus for insuring complete recording of a television program
US6874160B1 (en) * 2003-05-01 2005-03-29 Nvidia Corporation Digital video recorder and method of operating the same
JP2004336507A (ja) * 2003-05-09 2004-11-25 Sony Corp 映像処理装置および方法、記録媒体、並びにプログラム
SG161094A1 (en) * 2003-06-25 2010-05-27 Chuan Sheng Foo Advertisement filtration method and system
US7685619B1 (en) 2003-06-27 2010-03-23 Nvidia Corporation Apparatus and method for 3D electronic program guide navigation
WO2005001715A1 (en) * 2003-06-30 2005-01-06 Koninklijke Philips Electronics, N.V. System and method for generating a multimedia summary of multimedia streams
US7581182B1 (en) 2003-07-18 2009-08-25 Nvidia Corporation Apparatus, method, and 3D graphical user interface for media centers
WO2005018218A2 (en) * 2003-08-12 2005-02-24 Digital Networks North America, Inc. Method and apparatus for navigating content in a personal video recorder
AU2003272483A1 (en) 2003-09-12 2005-04-27 Nielsen Media Research, Inc. Digital video signature apparatus and methods for use with video program identification systems
US7400761B2 (en) * 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
EP2144440A1 (en) * 2003-10-02 2010-01-13 Tivo, Inc. Modifying commercials for multi-speed playback
US7356084B2 (en) * 2003-10-09 2008-04-08 Samsung Electronics Co., Ltd. Method for tracking the disappearance of detected logos within digital video signals
US7483484B2 (en) * 2003-10-09 2009-01-27 Samsung Electronics Co., Ltd. Apparatus and method for detecting opaque logos within digital video signals
US7471827B2 (en) * 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
WO2005046237A1 (en) * 2003-11-10 2005-05-19 Koninklijke Philips Electronics, N.V. Providing additional information
US7483618B1 (en) * 2003-12-04 2009-01-27 Yesvideo, Inc. Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest
US7280737B2 (en) * 2004-02-23 2007-10-09 Warner Bros. Entertainment Inc. Method and apparatus for discouraging commercial skipping
US8949899B2 (en) 2005-03-04 2015-02-03 Sharp Laboratories Of America, Inc. Collaborative recommendation system
US7594245B2 (en) 2004-03-04 2009-09-22 Sharp Laboratories Of America, Inc. Networked video devices
US8356317B2 (en) 2004-03-04 2013-01-15 Sharp Laboratories Of America, Inc. Presence based technology
EP1728116B1 (en) * 2004-03-12 2012-09-19 Koninklijke Philips Electronics N.V. Multiview display device
CA2563107C (en) * 2004-03-29 2014-03-04 Nielsen Media Research, Inc. Methods and apparatus to detect a blank frame in a digital video broadcast signal
JP4776179B2 (ja) * 2004-05-25 2011-09-21 株式会社エヌ・ティ・ティ・ドコモ タイミング決定装置及びタイミング決定方法
US7362474B2 (en) * 2004-06-07 2008-04-22 Lite-On Technology Corp. Printing quality enhancement via graphic/text detection method in compression (JPEG) image
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) * 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
DE102004042360B4 (de) * 2004-09-01 2006-06-08 Sonavis Gmbh Verfahren zum Erkennen von Videosequenzen in einem aufgenommenen Videofilm
US8117282B2 (en) 2004-10-20 2012-02-14 Clearplay, Inc. Media player configured to receive playback filters from alternative storage mediums
CA2588630C (en) 2004-11-19 2013-08-20 Tivo Inc. Method and apparatus for secure transfer of previously broadcasted content
JP2008527525A (ja) 2005-01-07 2008-07-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ グラフィカルなオブジェクトを検出するための方法及び電子装置
JP5116487B2 (ja) * 2005-01-26 2013-01-09 ティーピー ビジョン ホールディング ビー ヴィ スパークル処理
US20060195860A1 (en) * 2005-02-25 2006-08-31 Eldering Charles A Acting on known video entities detected utilizing fingerprinting
US20060195859A1 (en) * 2005-02-25 2006-08-31 Richard Konig Detecting known video entities taking into account regions of disinterest
BRPI0612974A2 (pt) 2005-04-18 2010-12-14 Clearplay Inc produto de programa de computador, sinal de dados de computador incorporado em uma mÍdia de transmissço, mÉtodo para associar uma apresentaÇço de multimÍdia com informaÇÕes de filtro de conteédo e reprodutor de multimÍdia
US20060242667A1 (en) * 2005-04-22 2006-10-26 Petersen Erin L Ad monitoring and indication
US7400364B2 (en) * 2005-04-26 2008-07-15 International Business Machines Corporation Sub-program avoidance redirection for broadcast receivers
KR100707189B1 (ko) * 2005-04-29 2007-04-13 삼성전자주식회사 동영상의 광고 검출 장치 및 방법과 그 장치를 제어하는컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
US7690011B2 (en) * 2005-05-02 2010-03-30 Technology, Patents & Licensing, Inc. Video stream modification to defeat detection
US20060271947A1 (en) * 2005-05-23 2006-11-30 Lienhart Rainer W Creating fingerprints
US7707485B2 (en) * 2005-09-28 2010-04-27 Vixs Systems, Inc. System and method for dynamic transrating based on content
US20070112811A1 (en) * 2005-10-20 2007-05-17 Microsoft Corporation Architecture for scalable video coding applications
US7773813B2 (en) * 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8180826B2 (en) * 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US8196032B2 (en) * 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
US7904920B2 (en) * 2005-11-28 2011-03-08 Lg Electronics Inc. Method for skipping advertisement broadcasting
JP2007174195A (ja) * 2005-12-21 2007-07-05 Toshiba Corp 電子機器、自動シーンスキップ方法およびプログラム
US7599918B2 (en) 2005-12-29 2009-10-06 Microsoft Corporation Dynamic search with implicit user intention mining
US8689253B2 (en) 2006-03-03 2014-04-01 Sharp Laboratories Of America, Inc. Method and system for configuring media-playing sets
US20070242926A1 (en) * 2006-04-13 2007-10-18 Huang Chen-Hsiu Video Program Processing Method and System
JP2007300158A (ja) * 2006-04-27 2007-11-15 Toshiba Corp 単色フレーム検出方法
JP4187011B2 (ja) * 2006-06-01 2008-11-26 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
US7661121B2 (en) 2006-06-22 2010-02-09 Tivo, Inc. In-band data recognition and synchronization system
US7982797B2 (en) * 2006-06-30 2011-07-19 Hewlett-Packard Development Company, L.P. Detecting blocks of commercial content in video data
US8233048B2 (en) * 2006-09-19 2012-07-31 Mavs Lab. Inc. Method for indexing a sports video program carried by a video stream
US7991271B2 (en) * 2007-02-14 2011-08-02 Sony Corporation Transfer of metadata using video frames
US7814524B2 (en) * 2007-02-14 2010-10-12 Sony Corporation Capture of configuration and service provider data via OCR
US8763038B2 (en) 2009-01-26 2014-06-24 Sony Corporation Capture of stylized TV table data via OCR
US10489795B2 (en) * 2007-04-23 2019-11-26 The Nielsen Company (Us), Llc Determining relative effectiveness of media content items
WO2008135937A2 (en) * 2007-05-08 2008-11-13 Koninklijke Philips Electronics N.V. Method and apparatus for detecting an inserted segment into a video data stream
KR20100019482A (ko) * 2007-05-08 2010-02-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 세그먼트들 사이의 트랜지션을 검출하는 방법 및 장치
US8165451B2 (en) 2007-11-20 2012-04-24 Echostar Technologies L.L.C. Methods and apparatus for displaying information regarding interstitials of a video stream
US8136140B2 (en) 2007-11-20 2012-03-13 Dish Network L.L.C. Methods and apparatus for generating metadata utilized to filter content from a video stream using text data
US8165450B2 (en) 2007-11-19 2012-04-24 Echostar Technologies L.L.C. Methods and apparatus for filtering content in a video stream using text data
US8302120B2 (en) * 2008-02-19 2012-10-30 The Nielsen Company (Us), Llc Methods and apparatus to monitor advertisement exposure
US8606085B2 (en) 2008-03-20 2013-12-10 Dish Network L.L.C. Method and apparatus for replacement of audio data in recorded audio/video stream
US8090822B2 (en) 2008-04-11 2012-01-03 The Nielsen Company (Us), Llc Methods and apparatus for nonintrusive monitoring of web browser usage
US8763024B2 (en) 2008-04-23 2014-06-24 At&T Intellectual Property I, Lp Systems and methods for searching based on information in commercials
US8156520B2 (en) 2008-05-30 2012-04-10 EchoStar Technologies, L.L.C. Methods and apparatus for presenting substitute content in an audio/video stream using text data
US20090320060A1 (en) * 2008-06-23 2009-12-24 Microsoft Corporation Advertisement signature tracking
US20090320063A1 (en) * 2008-06-23 2009-12-24 Microsoft Corporation Local advertisement insertion detection
US8209713B1 (en) 2008-07-11 2012-06-26 The Directv Group, Inc. Television advertisement monitoring system
US8320674B2 (en) 2008-09-03 2012-11-27 Sony Corporation Text localization for image and video OCR
US8035656B2 (en) * 2008-11-17 2011-10-11 Sony Corporation TV screen text capture
US8407735B2 (en) 2008-12-24 2013-03-26 Echostar Technologies L.L.C. Methods and apparatus for identifying segments of content in a presentation stream using signature data
US8510771B2 (en) 2008-12-24 2013-08-13 Echostar Technologies L.L.C. Methods and apparatus for filtering content from a presentation stream using signature data
US8588579B2 (en) 2008-12-24 2013-11-19 Echostar Technologies L.L.C. Methods and apparatus for filtering and inserting content into a presentation stream using signature data
US8438596B2 (en) 2009-04-08 2013-05-07 Tivo Inc. Automatic contact information transmission system
EP2259207B8 (en) 2009-06-02 2012-11-28 Fundacion Centro de Tecnologias de Interaccion Visual y comunicaciones Vicomtech Method of detection and recognition of logos in a video data stream
US8437617B2 (en) 2009-06-17 2013-05-07 Echostar Technologies L.L.C. Method and apparatus for modifying the presentation of content
US8245249B2 (en) 2009-10-09 2012-08-14 The Nielson Company (Us), Llc Methods and apparatus to adjust signature matching results for audience measurement
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
WO2011089276A1 (es) 2010-01-19 2011-07-28 Vicomtech-Visual Interaction And Communication Technologies Center Método y sistema de análisis de archivos multimedia
US8934758B2 (en) 2010-02-09 2015-01-13 Echostar Global B.V. Methods and apparatus for presenting supplemental content in association with recorded content
US8422859B2 (en) * 2010-03-23 2013-04-16 Vixs Systems Inc. Audio-based chapter detection in multimedia stream
CN101840435A (zh) 2010-05-14 2010-09-22 中兴通讯股份有限公司 一种实现视频预览和检索的方法及移动终端
US8677385B2 (en) 2010-09-21 2014-03-18 The Nielsen Company (Us), Llc Methods, apparatus, and systems to collect audience measurement data
US8364865B2 (en) 2010-09-28 2013-01-29 Microsoft Corporation Data simulation using host data storage chain
US20130067326A1 (en) * 2011-09-14 2013-03-14 Eldon Technology Limited Associating Macro User Input Events with Content
US9264760B1 (en) * 2011-09-30 2016-02-16 Tribune Broadcasting Company, Llc Systems and methods for electronically tagging a video component in a video package
TWI520609B (zh) * 2012-10-05 2016-02-01 緯創資通股份有限公司 顯示系統以及通訊方法
US20140118622A1 (en) * 2012-10-29 2014-05-01 Tektronix, Inc. Dct based black frame detection using varying block size
KR102045245B1 (ko) 2012-12-20 2019-12-03 삼성전자주식회사 휴대단말기의 영상 재생 방법 및 장치
US20140282790A1 (en) * 2013-03-15 2014-09-18 Echostar Technologies L.L.C. Systems and methods for avoiding missing television programming when changing between television channels
US9098553B2 (en) * 2013-03-15 2015-08-04 Gridglo Llc System and method for remote activity detection
KR20150060008A (ko) * 2013-11-25 2015-06-03 (주)휴맥스 광고 제거 미디어 제작 장치 및 방법
WO2015102014A1 (en) * 2013-12-31 2015-07-09 Vats Nitin Texturing of 3d-models using photographs and/or video for use in user-controlled interactions implementation
CN104754179B (zh) * 2013-12-31 2017-11-07 澜起科技（上海）有限公司 动态图像中的静态特征信息的全自动检测方法及系统
CN106031168B (zh) * 2014-02-21 2018-02-06 美国莱迪思半导体公司 具有减少色彩分辨率的视频流的自适应处理
USRE48920E1 (en) * 2014-02-21 2022-02-01 Lattice Semiconductor Corporation Adaptive processing of video streams with reduced color resolution
US9179184B1 (en) * 2014-06-20 2015-11-03 Google Inc. Methods, systems, and media for detecting a presentation of media content on a display device
US9973662B2 (en) 2015-01-13 2018-05-15 Arris Enterprises Llc Detection of solid color frames for determining transitions in video content
US10057577B2 (en) * 2015-06-11 2018-08-21 Sony Corporation Pre-charge phase data compression
US9848222B2 (en) 2015-07-15 2017-12-19 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover
CN105573747B (zh) * 2015-12-10 2018-11-06 小米科技有限责任公司 用户界面的测试方法及装置
WO2017114573A1 (en) * 2015-12-30 2017-07-06 Telecom Italia S.P.A. Control of processing of multimedia content
US11256923B2 (en) * 2016-05-12 2022-02-22 Arris Enterprises Llc Detecting sentinel frames in video delivery using a pattern analysis
US10097865B2 (en) 2016-05-12 2018-10-09 Arris Enterprises Llc Generating synthetic frame features for sentinel frame matching
US10397620B2 (en) 2016-06-30 2019-08-27 SnifferCat, Inc. Systems and methods for dynamic stitching of advertisements in live stream content
US11272228B2 (en) 2016-06-30 2022-03-08 SnifferCat, Inc. Systems and methods for dynamic stitching of advertisements in live stream content
US9872049B1 (en) * 2016-06-30 2018-01-16 SnifferCat, Inc. Systems and methods for dynamic stitching of advertisements
CN112070864A (zh) * 2019-06-11 2020-12-11 腾讯科技（深圳）有限公司 动画渲染方法、装置、计算机可读存储介质和计算机设备
US11172269B2 (en) 2020-03-04 2021-11-09 Dish Network L.L.C. Automated commercial content shifting in a video streaming system
US11694444B2 (en) * 2020-09-30 2023-07-04 Snap Inc. Setting ad breakpoints in a video within a messaging system
US11792491B2 (en) 2020-09-30 2023-10-17 Snap Inc. Inserting ads into a video within a messaging system
US11856255B2 (en) 2020-09-30 2023-12-26 Snap Inc. Selecting ads for a video within a messaging system
US11930063B2 (en) * 2020-12-09 2024-03-12 Nagravision S.A. Content completion detection for media content
CN112672165A (zh) * 2020-12-25 2021-04-16 咪咕文化科技有限公司 图像编码、解码方法、电子设备及可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203347A (ja) * 1993-12-28 1995-08-04 Toshiba Corp Ｃｍバンクシステム
WO1996008921A1 (en) * 1994-09-12 1996-03-21 Arthur D. Little Enterprises, Inc. Method and apparatus for eliminating television commercial messages
JPH08289244A (ja) * 1995-03-30 1996-11-01 Deutsche Thomson Brandt Gmbh テレビジョン信号分類のための方法及び装置
JPH08317342A (ja) * 1995-05-16 1996-11-29 Hitachi Ltd 映像記録再生装置
JPH08339379A (ja) * 1995-06-12 1996-12-24 Nippon Telegr & Teleph Corp <Ntt> 映像解析方法および装置
JPH09219835A (ja) * 1996-02-13 1997-08-19 Nippon Telegr & Teleph Corp <Ntt> 映像要約方法および装置
JPH09233416A (ja) * 1996-02-22 1997-09-05 Sanyo Electric Co Ltd テレビジョン放送信号の記録再生装置
JPH09307841A (ja) * 1996-03-14 1997-11-28 Sanyo Electric Co Ltd テレビジョン放送信号の記録再生装置
JPH09312827A (ja) * 1996-05-22 1997-12-02 Sony Corp 記録再生装置
JPH09322125A (ja) * 1996-05-24 1997-12-12 Sony Corp 映像信号再生装置及び方法
WO1998007273A1 (en) * 1996-08-13 1998-02-19 Srt, Inc. Method and apparatus for eliminating television commercial messages

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4390904A (en) * 1979-09-20 1983-06-28 Shelton Video Editors, Inc. Automatic circuit and method for editing commercial messages from television signals
US5151788A (en) * 1988-01-26 1992-09-29 Blum Dieter W Method and apparatus for identifying and eliminating specific material from video signals
US5245436A (en) * 1992-02-14 1993-09-14 Intel Corporation Method and apparatus for detecting fades in digital video sequences
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5692093A (en) * 1993-01-08 1997-11-25 Srt, Inc. Method and apparatus for eliminating television commercial messages
US5455630A (en) * 1993-08-06 1995-10-03 Arthur D. Little Enterprises, Inc. Method and apparatus for inserting digital data in a blanking interval of an RF modulated video signal
US5343251A (en) * 1993-05-13 1994-08-30 Pareto Partners, Inc. Method and apparatus for classifying patterns of television programs and commercials based on discerning of broadcast audio and video signals
US5668917A (en) * 1994-07-05 1997-09-16 Lewine; Donald A. Apparatus and method for detection of unwanted broadcast information
US5920360A (en) * 1996-06-07 1999-07-06 Electronic Data Systems Corporation Method and system for detecting fade transitions in a video signal

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203347A (ja) * 1993-12-28 1995-08-04 Toshiba Corp Ｃｍバンクシステム
WO1996008921A1 (en) * 1994-09-12 1996-03-21 Arthur D. Little Enterprises, Inc. Method and apparatus for eliminating television commercial messages
JPH08289244A (ja) * 1995-03-30 1996-11-01 Deutsche Thomson Brandt Gmbh テレビジョン信号分類のための方法及び装置
JPH08317342A (ja) * 1995-05-16 1996-11-29 Hitachi Ltd 映像記録再生装置
JPH08339379A (ja) * 1995-06-12 1996-12-24 Nippon Telegr & Teleph Corp <Ntt> 映像解析方法および装置
JPH09219835A (ja) * 1996-02-13 1997-08-19 Nippon Telegr & Teleph Corp <Ntt> 映像要約方法および装置
JPH09233416A (ja) * 1996-02-22 1997-09-05 Sanyo Electric Co Ltd テレビジョン放送信号の記録再生装置
JPH09307841A (ja) * 1996-03-14 1997-11-28 Sanyo Electric Co Ltd テレビジョン放送信号の記録再生装置
JPH09312827A (ja) * 1996-05-22 1997-12-02 Sony Corp 記録再生装置
JPH09322125A (ja) * 1996-05-24 1997-12-12 Sony Corp 映像信号再生装置及び方法
WO1998007273A1 (en) * 1996-08-13 1998-02-19 Srt, Inc. Method and apparatus for eliminating television commercial messages

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032631A (ja) * 2001-07-18 2003-01-31 Sony Corp 信号処理装置及び方法、記録媒体、並びにプログラム
JP4512969B2 (ja) * 2001-07-18 2010-07-28 ソニー株式会社 信号処理装置及び方法、記録媒体、並びにプログラム
WO2006070601A1 (ja) * 2004-12-27 2006-07-06 Matsushita Electric Industrial Co., Ltd. データ処理装置
JPWO2006070601A1 (ja) * 2004-12-27 2008-06-12 松下電器産業株式会社 データ処理装置
JP4932493B2 (ja) * 2004-12-27 2012-05-16 パナソニック株式会社 データ処理装置
JP2010130700A (ja) * 2009-12-08 2010-06-10 Toshiba Corp 映像解析装置およびプログラム
JP2017538328A (ja) * 2014-12-12 2017-12-21 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド プロモーション情報の処理方法、装置、デバイス及びコンピュータ記憶媒体

Also Published As

Publication number Publication date
EP1040656A2 (en) 2000-10-04
EP1040656B1 (en) 2008-05-14
DE69938711D1 (de) 2008-06-26
JP2010246161A (ja) 2010-10-28
US6100941A (en) 2000-08-08
WO2000007367A2 (en) 2000-02-10
ATE395785T1 (de) 2008-05-15
WO2000007367A3 (en) 2000-03-23

Similar Documents

Publication Publication Date Title
JP2002521977A (ja) ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置および方法
US6137544A (en) Significant scene detection and frame filtering for a visual indexing system
US6125229A (en) Visual indexing system
JP5005154B2 (ja) 記憶媒体上に記憶された情報信号を再生する装置
EP1138151B1 (en) Automatic signature-based spotting, learning and extracting of commercials and other video content
US6606409B2 (en) Fade-in and fade-out temporal segments
US7110047B2 (en) Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds
US8442384B2 (en) Method and apparatus for video digest generation
JP4942883B2 (ja) 動き記述子およびカラー記述子を用いてビデオを要約化する方法
KR100915847B1 (ko) 스트리밍 비디오 북마크들
US8316301B2 (en) Apparatus, medium, and method segmenting video sequences based on topic
US6009204A (en) Method of compressing a plurality of video images for efficiently storing, displaying and searching the plurality of video images
US20030061612A1 (en) Key frame-based video summary system
JP2005513663A (ja) コマーシャル及び他のビデオ内容の検出用のファミリーヒストグラムに基づく技術
US20070211170A1 (en) Methods and apparatus to distinguish a signal originating from a local device from a broadcast signal
WO1997010564A9 (en) A method of compressing a plurality of video images
JP4667697B2 (ja) 速い動きのシーンを検出する方法及び装置
KR20050033075A (ko) 비디오 이미지들의 시퀀스에서 콘텐트 속성을 검출하는 유닛 및 방법
Nakajima et al. Automatic anchorperson detection from an MPEG coded TV program
Chen et al. Object and Color Based Video Representation for Automatic Model-Free News Summarization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080805

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080812

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091001

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100715