JP2001527344A - ビデオーケンスにおける転換の検出 - Google Patents

ビデオーケンスにおける転換の検出

Info

Publication number
JP2001527344A
JP2001527344A JP2000526044A JP2000526044A JP2001527344A JP 2001527344 A JP2001527344 A JP 2001527344A JP 2000526044 A JP2000526044 A JP 2000526044A JP 2000526044 A JP2000526044 A JP 2000526044A JP 2001527344 A JP2001527344 A JP 2001527344A
Authority
JP
Japan
Prior art keywords
frame
fdm
frames
threshold
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000526044A
Other languages
English (en)
Other versions
JP4335440B2 (ja
Inventor
スチュアート， ジェイ ゴーリン，
Original Assignee
サーノフ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サーノフ コーポレイション filed Critical サーノフ コーポレイション
Publication of JP2001527344A publication Critical patent/JP2001527344A/ja
Application granted granted Critical
Publication of JP4335440B2 publication Critical patent/JP4335440B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 フレーム非類似性測度（ＦＤＭ）値が、規定のタイミングウインドウサイズにより分離された、ビデオシーケンスにおける対のフレームに対して生成され（１０２）る。各ＦＤＭ値は正味の非類似性測度と累積の非類似性測度との比である。第１の閾値条件（１１０）が適用され、ビデオシーケンスにおいてショット間の転換に該当できるＦＤＭデータでのピークを識別する。第２の閾値条件（１１６）が検出されたピークに隣接するＦＤＭデータへ適用され、転換の開始と終了でのフレームを識別する。第１の閾値条件は、ＦＤＭ値が第１の規定された閾値レベルを超えるか否かを決定し、第２の閾値条件は、第２の規定された閾値レベルを下回るか否かを決定する。正味及び累積の非類似性測度は、２つのフレームに対するヒストグラムに基づく。本発明は、ワイプ、ディゾルブ、及びフェード等の漸進的な転換と同様に、カットのようにな突然の転換を検出することにおいても有効である。

Description

【発明の詳細な説明】
【０００１】 発明の背景 発明の分野 本発明はビデオ処理に関し、詳細には、デジタルビデオ画像のシーケンスにお
けるカット、ワイプ（wipe）、ディゾルブ（dissolve）等の転換の検出に関する
。
【０００２】 連邦後援の研究又は開発に関する供述 米国政府は、政府契約番号ＭＤＡ−９０４−９５−Ｃ−３１２６に従い、本発
明の少なくとも一部の一定の権利を有する。
【０００３】 関連技術の説明 デジタルビデオシーケンスにおいて、画像即ちフレームは、普通には画素即ち
ピクセルのアレイにより表され、各画素は、１つ以上の異なる成分により表され
る。例えば、単色のグレースケール画像では、各画素は、その値が画素の明暗度
に相当する成分により表される。ＲＧＢカラーフォーマットでは、各画素は、レ
ッド成分、グリーン成分、及びブルー成分により表される。同様に、ＹＵＶカラ
ーフォーマットでは、各画素は、明暗度（又は輝度）成分Ｙと２つの色（又は色
度）成分ＵとＶにより表される。このカラーフォーマットの２４ビットバージョ
ンでは、各画素成分は８ビットの値により表される。
【０００４】 典型的なビデオシーケンスは、ショットと呼ばれる連続するフレームのセット
で構成されており、所定ショットのフレームは、同じ基本場面に対応する。ショ
ットは、１つのカメラからの途切れのないフレームのシーケンスである。現在、
デジタルビデオをその構成ショットへ分解することへの大きな関心がある。これ
は、ビデオ材の急速に高まる入手性と、ビデオデータベースに対してインデック
スを生成する必要性とにより駆り立てられている。解析は、ビデオの編集及び圧
縮に対しても有用である。
【０００５】 デジタルビデオシーケンスにおける異なるショットを識別する１つの方法は、
ビデオフレームに対応するヒストグラムを分析することである。フレームのヒス
トグラムは、ビデオデータのフレームに対する成分値の分布を表す。例えば、３
２ビンのヒストグラムは、２４ビットＹＵＶカラーフォーマットで表されるビデ
オフレームの８ビットＹ成分に対して生成でき、ここで、第１のビンは、フレー
ムで幾つの画素が０と７を含んで０と７間のＹ値を有するかを示し、第２のビン
は、幾つの画素が８と１５を含んで８と１５間のＹ値を有するかを示し、以下同
様であって、最後の第３２のビンは、幾つの画素が２４８と２５５を含んで２４
８と２５５間のＹ値を有するかを示す。
【０００６】 多次元ヒストグラムも、異なる成分からのビットの組合せに基づき生成できる
。例えば、３次元（３Ｄ）ヒストグラムが、ＹＵＶデータに対してＹ成分の４つ
の最上位桁（ＭＳＢ）及びＵとＶ成分の３つのＭＳＢを使用して生成でき、ここ
で、３Ｄヒストグラムでの各ビンは、Ｙの同じ４つのＭＳＢ、Ｕの同じ３つのＭ
ＳＢ、及びＶの同じ３つのＭＳＢを有するフレームでの画素数に相当する。
【０００７】 ビデオシーケンスの一般的特性の１つは、一定の種類のヒストグラムに対して
、所定ショット内のフレームに対するヒストグラムが、普通には、異なる場面に
対応するショットでのフレームに対するヒストグラムよりも、より類似している
ことである。その場合、デジタルビデオをその構成ショットへ分解する１つの方
法は、ビデオシーケンスにおけるフレームに対して生成されたヒストグラムを比
較することによりショット間の転換を捜すことである。一般的に、類似のヒスト
グラムを持つフレームは、非類似のヒストグラムを持つフレームより同じ場面に
対応する見込みが高い。
【０００８】 ２つのヒストグラム間の差は、非類似性測度 (dissimilarity measures) と称
する測定基準を使用して、数学的に表すことができる。１つの可能な非類似性測
度Ｄabs（ｍ，ｎ）は、２つのフレームｍとｎに対して対応するヒストグラムの ビン値間の差の絶対値の総和に相当し、以下の式（１）により表すことができる
。 （１） Ｄabs（ｍ，ｎ）≡Σi｜ｈi（ｍ）−ｈi（ｎ）｜ ここで、ｈi（ｍ）はフレームｍに対応するヒストグラムのｉ番目ビンの値であ り、ｈi（ｎ）はフレームｎに対応するヒストグラムのｉ番目ビンの値である。 別の可能な非類似性測度Ｄsq（ｍ，ｎ）は、対応するヒストグラムのビン値間の
差の２乗の総和に相当し、以下の式（２）により表すことができる。 （２） Ｄsq（ｍ，ｎ）≡Σi｜ｈi（ｍ）−ｈi（ｎ）｜2 これらの非類似性測度の各々は、２つのフレーム間の差、即ち非類似性、の数字
表示を提供する。
【０００９】 カットは、２つの引続くショット間の突然の転換であり、第１のショットの最
後のフレームは、第２のショットの最初のフレームに直接続く。そのようにな突
然の転換は、ビデオシーケンスにおける各対の引続くフレーム間のヒストグラム
の差を解析して、そのヒストグラムの差がビデオシーケンスでのカットに相当す
る規定の（及び普通には、経験的に生成された）閾値を超える対の引続くフレー
ムを識別することにより高い信頼性をもって検出できる。
【００１０】 カットと異なり、ディゾルブ、フェード（fade）、ワイプ等の、ビデオシーケ
ンスでの漸進的な転換は、引続くフレームに基づくヒストグラムの差を使用して
充分な信頼性を持ち検出することができない。ディゾルブは、第２のショットの
画素値が第１のショットの画素値を、数多くの転換フレームにわたり漸次置換え
る、２つのショット間の転換であり、そこでは、転換フレームの個々の画素は、
２つの異なるショットに対応する画素を混合することにより生成される。混合さ
れる画素Ｐbは、以下の式（３）により定義できる。 （３） Ｐb ≡（１−ｆ） * Ｐ1＋ｆ * Ｐ2 ０≦ｆ≦１ ここで、Ｐ1は第１のショットに対応する画素であり、 Ｐ2は第２のショットに 対応する画素であり、ｆは混合割合である。ディゾルブが１つの転換フレームか
ら次へ進行すると、混合割合ｆは増加する。その場合、第１のショットからの画
素の影響は混合過程で徐々に小さくなる一方で、第２のショットからの画素の影
響が増大し、転換の終りには、各画素は全て第２のショットからの画素に該当す
る。
【００１１】 フェードは、ショットの画素が数多くの転換フレームにわたり徐々に変化して
、最後に画像は全て１つの色になる転換である。例えば、ブラックへのフェード
では、画素の明暗度即ち輝度が、画像が全てブラックになるまで漸次低減する。
フェードは、第２のショットがソリッド色に相当するディゾルブの特定の種類と
みなすことができる。
【００１２】 ワイプは、第２のショットの画素が第１のショットの画素を数多くの転換フレ
ームにわたり漸次置換える転換であり、ここで、転換フレームの個々の画素は、
第１のショットか又は第２のショットのいずれかから画素値を選択することによ
り生成される。ワイプが１つの転換フレームから次へ進むと、第１のショットか
ら選択される画素値の数が減少する一方で、第２のショットからの画素値の数が
増加して、転換の終りには、画素の全てが第２のショットからになる。
【００１３】 ディゾルブ、フェード、ワイプ等の、漸進的な転換では、式（１）と（２）で
定義されるようにな非類似性測度により測定されるようにな、引続く転換フレー
ム間のヒストグラムの差は、所定のショット内の引続くフレーム間のヒストグラ
ムの差と著しく違わないかもしれない。その場合、引続くフレームに基づくヒス
トグラムの差を使用することは、ビデオシーケンスにおいて漸進的な転換を検出
するための信頼性のある測度を提供しないであろう。
【００１４】 漸進的な転換を検出するために、Zhang 他の「フルモーションビデオの自動仕
切り (Automatic partitioning of full-motion video)」Multimedia Systems,
Vol. 1, No. 1, pp. 10-28 (1993) が、２つの閾値を持つ２重比較法を提案する
。この方法は、最初に隣接フレーム間の非類似性を評価し、２つの閾値の低い方
を使用して、漸進的な転換の可能性のある開始フレームを指示する。次に、それ
は、Ｄ（ｓ＋ｋ−１，ｓ＋ｋ）がこの低い方の閾値を超える、各フレームｓ＋ｋ
に対するＤ（ｓ，ｓ＋ｋ）を評価する。漸進的転換は、Ｄ（ｓ，ｓ＋ｋ）が２つ
の閾値の高い方（即ち、突然の転換のために使用されるものに類似である）を超
える場合を識別する。隣接フレーム間の変化を許容する幾つかの改良にも関らず
、この方法は、モーションによって混乱させられる。カメラモーションはモーシ
ョン解析により識別できるが、物体のモーションの影響は、非常に困難である。
【００１５】 Yeo 他の「圧縮ビデオに関する急速場面解析 (Rapid Scene Analysis on Comp
ressed Video)」IEEE Transactions on Circuit and Systems for Video Techno
logy, Vol. 5, No. 6, pp. 533-544 (1995) は、Ｄ（ｎ−ｗ，ｎ）を全てのｎに
対して評価することにより転換を検出し、ここで、固定のタイミングウインドウ
ｗが、転換におけるフレームの数より著しく大きいように選定される。この方法
は、モーションに耐えるが、予測される転換の長さの情報を必要とする。
【００１６】 Shahraray の「ビデオシーケンスの場面変更検出と内容ベースのサンプリング
(Scene change detection and content-based sampling of video sequences) 」 Digital Video Compression: Algorithms and Technologies 1995, Proc. SP
IE 2419, pp. 2-13 (1995) は、再帰時間形 (recursive temporal) フィルタを Ｄ（ｎ−ｗ，ｎ）へ適用する、ここでｗは１を超えてもよい。彼の解析は、順序
統計 (order statistics) とモーションインジケータを含む。
【００１７】 Alattar の「ＤＶＩマルチメディア画像圧縮アルゴリズムを持つビデオシーケ
ンスにおいてディゾルブ領域を検出し圧縮すること (Detecting and Compressin
g Dissolve Regions in Video Sequences with a DVI Multimedia Image Compre
ssion Algotithm)」 Proceedings of IEEE International Symposium on Circui
ts and Systems, May 3-6, 1993, Chicago, IL, pp. 13-16, は、ディゾルブを 識別するために画素値の分散を使用する。この方法もモーションに耐えるが、ワ
イプのようにな他の種類の漸進的な転換へ適合するように見えない。
【００１８】 発明の要約 本発明は、デジタルビデオシーケンスにおいてショット間の転換を検出するた
めのスキームに向けられる。本発明は、ディゾルブやワイプ等の漸進的な転換と
同様に、カットのようにな突然の転換の検出に使用することができる。その場合
、本発明は、ビデオシーケンスをその構成ショットへ分解することにおける有用
なツールであることができる。
【００１９】 実施の形態の１つでは、フレーム非類似性測度（ＦＤＭ）値が、タイミングウ
インドウサイズにより分離されたビデオシーケンスでの複数の対のフレームの各
々に対して生成され、ここで、ＦＤＭ値は、正味の非類似性測度と累積の非類似
性測度との比である。ＦＤＭ値は解析されて、ビデオシーケンスにおける転換を
識別する。
【００２０】 代替の実施の形態では、ＦＤＭ値が、タイミングウインドウサイズにより分離
されたビデオシーケンスでの複数の対のフレームの各々に対して生成される。第
１の閾値条件がＦＤＭ値へ適用されて、該当する対のフレームが転換に該当する
かを決定する。第１の閾値条件が満足される場合、次に、第２の閾値条件が１つ
以上の他のＦＤＭ値へ適用されて、転換の開始と終了フレームを識別する。
【００２１】 詳細な説明 本発明によると、ビデオシーケンスは、規定されたタイミングウインドウサイ
ズによりビデオシーケンスにおいて分離された対のフレームに対してフレーム非
類似性測度（ＦＤＭ）を生成することにより解析される。ＦＤＭの値が第１の閾
値条件を満足する場合、次に、該当する対のフレームは、ビデオシーケンスでの
２つの引続くショット間の転換の一部分であると（少なくとも、暫定的に）識別
される。その転換の開始と終了でのフレームは、次に、ＦＤＭ値へ第２の閾値条
件を適用することにより識別される。
【００２２】 開始フレームは、転換が始まる直前のフレームとして定義され、終了フレーム
は、転換が完了した直後のフレームとして定義される。即ち、開始フレームは、
第１のショットからだけで生成される最後のフレームであり、終了フレームは、
第２のショットからだけで生成される最初のフレームである。開始と終了フレー
ムとの間が転換フレームであり、それは、第１と第２のショットの両方から生成
される。
【００２３】 本発明の実施の形態の１つでは、フレーム非類似性測度Ｒ（ｍ，ｎ）は、２つ
のフレームｍとｎに対して以下の式（４）により定義される。 （４） Ｒ（ｍ，ｎ）≡Ｄnet（ｍ，ｎ）／Ｄcum（ｍ，ｎ） ここで、Ｄnet（ｍ，ｎ）は、フレームｍとｎとの間の正味の非類似性であり、 Ｄcum（ｍ，ｎ）は、フレームｍとｎとの間の累積の非類似性である。
【００２４】 正味の非類似性Ｄnet（ｍ，ｎ）は、以下の式（５）により定義される。 （５） Ｄnet（ｍ，ｎ）≡Σi｜ｈi（ｍ）−ｈi（ｎ）｜γ ここで、ｈi（ｍ）はフレームｍに対応するヒストグラムのｉ番目ビンの値であ り、ｈi（ｎ）はフレームｎに対応するヒストグラムのｉ番目ビンの値である。 パラメータγは、通常２であると規定されるが、他の正のいずれの値も使用でき
る。γ＝２の場合、正味の非類似性Ｄnet（ｍ，ｎ）は、フレームｍとｎに対応 するヒストグラムの該当するビン値間の差の２乗の総和であると言うことができ
る。
【００２５】 累積の非類似性Ｄcum（ｍ，ｎ）は、以下の式（６）により定義される。 （６） Ｄcum（ｍ，ｎ）≡Σn-1 k=mＤnet（ｋ，ｋ＋１） その場合、累積の非類似性Ｄcum（ｍ，ｎ）は、フレームｍとフレームｎとを含 みその間の対の引続くフレームの各々間の正味の非類似性の総和であると言うこ
とができる。
【００２６】 図１は、本発明の実施の形態の１つによる、デジタルビデオシーケンスにおけ
る転換を検出するための処理のフロー図を示す。図１の処理は、式（４）で定義
されたフレーム非類似性測度Ｒ（ｍ，ｎ）を使用して、転換はＦＤＭデータでの
ピークとして現れる、ビデオシーケンスにおけるショット間の転換を識別する。
第１の閾値条件が適用されて、ＦＤＭ値が規定された閾値を超えるか否かを決定
することにより、可能性のあるピークを識別する。次に、第２の閾値条件が適用
されて、ＦＤＭが規定されたより低い閾値より下回るか否かを決定することによ
りピークの境界（即ち、転換の開始と終了フレーム）を識別する。図１の処理は
、ディゾルブやワイプ等の漸進的な転換と同様に、カットのようにな突然の転換
の両方を識別するように設計されている。
【００２７】 図１の処理は、規定されたタイミングウインドウサイズｗにより時間で分離さ
れるビデオシーケンスでの各対のフレームに対して式（４）のフレーム非類似性
測度（ＦＤＭ）の生成で始まる（図１のステップ１０２）。換言すると、ビデオ
シーケンスが「左」から「右」へ進行し、時間が通常のＸＹグラフのＸ軸に沿い
プロットされる場合、フレームｎがタイミングウインドウの右側にあるフレーム
である場合、フレームｍ＝（ｎ〜ｗ）は、タイミングウインドウの左側にあるフ
レームである。
【００２８】 ＦＤＭデータは、例えば、３タップのメディアンフィルタ (median filter) を使用してオプションでフィルタリングされる（ステップ１０４）。フィルタが
適用される場合、処理の残りは、フィルタリングされたＦＤＭデータへ適用され
る。そうでない場合、元のＦＤＭデータが使用される。
【００２９】 平均のローカルノイズがフィルタリングされたＦＤＭデータに対して推定され
、それにより、ＦＤＭデータでのピークの境界が識別できる（ステップ１０６）
。ノイズは、好ましくは、ＦＤＭデータを小さな値の方向へバイアスして、次に
バイアスされたデータをフィルタリングすることにより特徴付けられる。実施の
形態の１つでは、バイアスすることは、バイアス関数 bias(R) の適用を含み、 ここで、bias(R) = tanh(2R)/2 であり、フィルタリングすることは、exp[-(d/b
)2] の形のガウスフィルタリング関数 (Gaussian filtering function) の適用 を含み、ここで、ｄはフィルタリングされたフレームからのフレームの数であり
、ｂは規定の定数（例えば、４０）である。
【００３０】 この初期処理のステップ１０２〜１０６の後に、ＦＤＭ値が解析され、ビデオ
シーケンスでのショット間の転換を識別する。このデータ解析は、ビデオシーケ
ンスの始まりでのフレームで始まり、ビデオシーケンスの終りでのフレームまで
データを走査する処理ループである。図２は、図１の処理のこの解析フェーズに
対応する疑似コードの一覧を提示する。
【００３１】 解析フェーズは、第１と第２の閾値条件を適用することに使用される一定のパ
ラメータの初期化で始まり（図２での行１６参照）、ここでＴ1とＴ2は、第１と
第２の閾値の値であり、Ｍ1とＭ2は、第１と第２の閾値の乗数である。図２に示
す特定のパラメータ値は、異なる既知のビデオシーケンスを試験することにより
経験的に引出された典型的な値である。
【００３２】 式（４）のＦＤＭは、サイズｗを有するスライドするタイミングウインドウの
対向端での対のフレームに基づいているので、タイミングウインドウの右側での
フレームを指示する現在のフレーム指示子（ポインタ）ｎは、ｗへ初期化され（
図１でのステップ１０８、及び図２での行１７）、ここで、フレームシーケンス
での最初のフレームはフレーム０であると仮定する。
【００３３】 処理は、次いで、転換を捜してビデオシーケンスを走査する。第１の閾値条件
が適用されて、現在のフレームｎがビデオシーケンスでの２つのショット間の転
換に該当するかを決定する（図１でのステップ１１０）。図２での行２０による
と、現在のフレームｎに対するＦＤＭ値が２つの値、即ち（ａ）第１の閾値の値
Ｔ1と（ｂ）第１の閾値乗数Ｍ1と現在のフレームｎでのノイズレベルとの積、の
最大より大きい場合、この第１の閾値条件は満足される。固定タイミングウイン
ドウサイズｗが使用されたので、式（４）のＦＤＭ値Ｒ（ｍ，ｎ）は、Ｒ（ｎ−
ｗ，ｎ）であり、ｎがタイミングウインドウの右側でのフレームを規定する場合
、それはＲ（ｎ）とも表せることに注意されたい。
【００３４】 第１の閾値条件が満足される場合、次に、ＦＤＭデータは、転換に対する開始
と終了フレームを識別するように解析される（図１でのステップ１１２）。これ
は、（１）第２の閾値条件を満足する最初のフレームｓを現在のフレームｎの左
で捜すようにビデオシーケンスにおいて左へ走査すること（図２での行２１）、
及び（２）第２の閾値条件を満足する最初のフレームｅ'を現在のフレームｎの 右で捜すようにビデオシーケンスにおいて右へ走査すること（図２での行２２）
により完遂される。行２１と２２によると、フレームｍに対するＦＤＭ値が２つ
の値、即ち（ａ）第２の閾値の値Ｔ2と（ｂ）第２の閾値乗数Ｍ2とフレームｍで
のノイズレベルとの積、の最大より小さい場合、この第２の閾値条件は満足され
る。
【００３５】 転換が検出される場合、次フレーム指示子は、ビデオシーケンスでのフレーム
ｅ'に直接続くフレームに等しく設定される（図１でのステップ１１４、及び図 ２での行２３）。フレームｅ'は、第２のショットへの転換の完了直後のタイミ ングウインドウの右側でのフレームに該当する。先に記載の定義によると、終了
フレームは、第２のショットからだけで生成される最初のフレームである。その
場合、転換に対する終了フレームは、実際に、タイミングウインドウの左側での
フレームである。従って、終了フレームｅは、フレームｅ'に対するフレーム数 からタイミングウインドウサイズｗを減算することにより識別される（図２の行
２４参照）。
【００３６】 タイミングウインドウのサイズに対して調整した後に、転換の終了として識別
されたフレーム（ｅ）が、転換の開始として識別されたフレーム（ｓ）の右に無
いと判明する場合、検出された転換は却下される（図１でのステップ１１６、及
び図２での行２５）。このステップは、タイミングウインドウサイズｗより短い
時間の期間で場面に現れる、カメラのフラッシュ、又は非常に近接した物体のよ
うにな他の変則、により引起されるかもしれないＦＤＭデータでの短期間ノイズ
を弁別する。そのようにな変則のフレームが検出される場合、式（６）のＤcum への寄与を排除することによりそれを無視することが有利であろう。
【００３７】 そうでない場合、フレームｓとｅは、ビデオシーケンスにおけるショット間の
転換に対する、それぞれ開始と終了フレームとして決定される（図１でのステッ
プ１１８、及び図２での行２６）。次に、図１の処理は、ステップ１０８へ戻り
、第１の閾値条件の次の適用のために現在のフレーム指示子ｎを更新する。図２
の行１８〜１９、２３、及び２８は、ビデオシーケンスでの進行を実行するブッ
クキーピング（簿記）のステップである。
【００３８】 図３は、図１及び図２の処理を実証するために、ビデオシーケンスの数多くの
フレームに対するＦＤＭ値の例示セットを示す。この例示の目的のために、ＦＤ
Ｍデータにおけるノイズは充分に低く、それにより、選定された第１と第２の閾
値の値、それぞれＴ1＝０．５０とＴ2＝０．２５は、第１と第２の閾値条件が満
足されるか否かを常に決定すると仮定する。ＦＤＭ値は、タイミングウインドウ
サイズ６を使用して生成されるとも仮定する。これは、例えば、フレームｎ＝１
１に対するフレーム非類似性測度Ｒ（ｎ）は、フレーム１１とフレーム（ｎ−６
）即ち５との間の差を特徴付けることを意味する。
【００３９】 図１及び図２の処理を図３のデータへ適用すると、ＦＤＭデータは、フレーム
ｎ＝６（タイミングウインドウサイズが６であるので）で始まる。処理は、第１
の閾値条件をＦＤＭデータへ適用して左から右へ、フレームｎ＝１４に対するＲ
（ｎ）が第１の閾値の値Ｔ1＝０．５０を超えることを決定するまで、継続する 。処理でのこの点で、ＦＤＭデータは、フレームｎ＝１４から両方向に走査され
て、第２の閾値条件を満足するフレームｎ＝１４の左への最初のフレーム（即ち
、フレームｓ＝９）を見出し、第２の閾値条件を満足するフレームｎ＝１４の右
への最初のフレーム（即ち、フレームｅ'＝３０）を見出す。フレームｅ'は、転
換が完了した後にタイミングウインドウの右側に該当するので、フレームｅ＝ｅ
'−ｗ＝３０−６＝２４が、転換の終了フレームとして識別される。
【００４０】 本発明は、主として漸進的な転換を検出するように設計されたが、転換フレー
ムが無い、カットのようにな突然の転換を検出することでも有効である。これを
、ビデオシーケンスにおいてフレーム２０と２１との間で起るカットに対応する
ＦＤＭ値の例示セットを示す図４において実証する、ここで、フレーム２０は、
フレーム０〜２０に対応する第１のショットの最後のフレームであり、フレーム
２１は、フレーム２１〜３６に対応する第２のショットの最初のフレームである
。説明の目的のために、第１のショットでの各フレームは、単一の静止画像に対
応すると仮定され、第２のショットでの各フレームは、別の単一の静止画像に対
応すると仮定される。タイミングウインドウサイズｗ＝６であるとする。
【００４１】 図４に示すように、第１のショット内の各フレームは同一であるので、ｎ＝６
からｎ＝２０に対するフレーム非類似性測度Ｒ（ｎ）は、全てゼロである。正味
の非類似性Ｄnetがゼロの場合、累積の非類似性Ｄcumもゼロであっても、フレー
ム非類似性測度Ｒ（ｎ）は、ゼロであると定義される。Ｒ（ｎ＝２０）は、タイ
ミングウインドウサイズ６に対するフレーム２０とフレーム１４との間の差を表
すことに注意されたい。フレームｎ＝２１は、第２のショットの最初のフレーム
であるので、Ｒ（ｎ＝２１）は、第２のショットのフレーム２１と第１のショッ
トのフレーム１５との間の差に相当する。その場合、フレーム非類似性測度Ｒ（
ｎ＝２１）は、ゼロではないであろう。同様に、Ｒ（ｎ＝２２）は、第２のショ
ットのフレーム２２と第１のショットのフレーム１６との間の差に相当し、等々
フレームｎ＝２６まで同様であり、ここで、Ｒ（ｎ＝２６）は、第２のショット
のフレーム２６と第１のショットのフレーム２０との間の差に相当する。しかし
、フレームｎ＝２７で、フレーム２７と２１は、共に第２のショットからである
ので、Ｒ（ｎ＝２７）はゼロであろう。第２のショット内のフレームを比較して
いるので、同じことが、図４の残りのＦＤＭ値に対して真である。
【００４２】 図１及び図２の処理を図４の例へ適用する場合、フレームｎ＝２１は、第１の
閾値条件を満足する最初のフレームとして識別されるであろう。次に、フレーム
ｓ＝２０とｅ'＝２７が、第２の閾値条件を満足する、それぞれフレームｎ＝２ １の左と右への最初のフレームとして識別されるであろう。６のタイミングウイ
ンドウサイズに対してｅ'＝２７を調整すると、フレームｓ＝２０とフレームｅ ＝２１は、第１と第２のショット間の転換に対して、それぞれ開始と終了フレー
ムとして正しく識別される。
【００４３】 図５（Ａ）〜（Ｃ）は、３つの異なる試験シーケンスに対するＦＤＭ値を生成
する実験結果を示す。３つの５０フレーム試験シーケンスを、ＭＰＥＧ４シーケ
ンス Stefan（クラスＣ）と Foreman（クラスＢ）から生成した。これらの試験 シーケンスは、全て同じ Stefan の１５フレームで始まり（フレーム０〜１４）
、同じ Foreman の１５フレームで終わる（フレーム３５〜４９）。それらは、 ２０転換フレーム（フレーム１５〜３４）をどのように生成したかで異なる。３
つの試験シーケンスを、３つの異なる種類の漸進的転換、即ちリニアワイプ(lin
W)、２次元ワイプ(quad W)、及びリニアディゾルブ(lin D)、に基づき生成した
。
【００４４】 リニアワイプは、第２のショットから選択された画素の数が転換フレームにわ
たり直線的に増大するワイプである。普通のリニアワイプは、第１のショットか
ら選択された画素から、第２のショットから選択された画素を分離するワイプの
端が、左から右へ転換フレームを横切り一定の速度で移動する垂直の線であるワ
イプである。図５（Ａ）〜（Ｃ）の試験シーケンス lin W を、左から右への垂 直のワイプで Stefan を Foreman で置換えることにより生成した。
【００４５】 ２次元のワイプは、第２のショットから選択された画素の数が転換フレームに
わたり２次元で増大するワイプである。普通の２次元ワイプは、ワイプ端が方形
を画成して、ここで、方形内の画素が第２のショットから選択され、方形の外側
の画素が第１のショットから選択されて、方形の高さと巾両方が一定の速度で転
換フレームにわたり増加するワイプである。図５（Ａ）〜（Ｃ）の試験シーケン
ス quad W を、Stefan の真中で増大する方形領域において Foreman に置換える
ことにより生成した。
【００４６】 リニアディゾルブは、式（３）の混合割合が０から１へ均一な速度で転換フレ
ームにわたり変化するディゾルブである。 図５（Ａ）〜（Ｃ）の試験シーケン
ス lin D を、ｆを均一な速度でフレーム１４でｆ＝０からフレーム３５でｆ＝ １まで変化させることにより生成した。
【００４７】 図５（Ａ）は、式（４）のフレーム非類似性測度Ｒ（０，ｎ）を示し、ここで
、式（５）でのγ＝２であり、それにより、ビデオシーケンスでの各フレームは
、ビデオシーケンスでの最初のフレーム（即ち、フレーム０）と比較する。図５
（Ｂ）はγ＝４に対するＲ（０，ｎ）を示し、図５（Ｃ）はγ＝２と固定のタイ
ミングウインドウサイズ５に対するＲ（ｎ−５，ｎ）を示す。各々の場合、ＦＤ
Ｍの計算は、Ｙデータの４ＭＳＢとＵ及びＶデータ両方の３ＭＳＢから生成され
た３Ｄヒストグラムに基づいた。γ＝２に対する図５（Ａ）での結果とγ＝４に
対する図５（Ｂ）での結果との間の最も劇的な差は、ワイプ（lin W と quad W ）に対する応答が、２桁増大して、それが、シーケンスの始まりで、ディゾルブ
(lin D) に対する応答も一緒に、応答を完全に圧倒する (swamp) ことである。
【００４８】 図６（Ａ）〜（Ｃ）は、図１及び図２の処理を、１５フレーム／秒で符号化さ
れたＭＰＥＧ−１である３５２Ｗｘ２４０Ｈ画像の３０，００１フレームのビデ
オシーケンスへ適用した結果を示す。図６（Ａ）〜（Ｃ）の各々では、グラフの
上部は、γ＝２とタイミングウインドウサイズの６に対する式（４）のフレーム
非類似性測度Ｒ（ｎ−６，ｎ）をプロットし、グラフの下部は、両データセット
が同じグラフ上に明確に観察できるように適用された−５０の負のスケーリング
係数を持つ式（２）の引続くフレームの非類似性測度Ｄsq（ｎ−１，ｎ）をプロ
ットする。これらの結果の全ては、図５（Ａ）〜（Ｃ）に対して使用されたのと
同じ種類の３Ｄヒストグラムを使用して生成した。
【００４９】 図６（Ａ）は３０，００１フレームのビデオシーケンス全体に対する結果をプ
ロットする。図６（Ｂ）はフレーム２５００〜５０００に対する結果の引伸ばし
を示し、図６（Ｃ）はフレーム２７０００〜２９０００に対する結果の引伸ばし
を示す。図６（Ｂ）と６（Ｃ）の下半分における文字は、次の種類の手動で観測
した転換の位置と種類を示す。Ｗ＝ワイプ、Ｆ＝フェード、Ｄ＝ディゾルブ、及
びＣ＝カット。非類似性測度Ｄsq（ｎ−１，ｎ）は、大多数のワイプに対して殆
ど応答を有せず、式（２）の引続くフレームの非類似性測度は充分な信頼性を持
ちワイプを識別する見込がないであろうことを示すことに注意されたい。
【００５０】 図６（Ｂ）と６（Ｃ）の上部における円は、図１及び図２の処理により識別さ
れたイベントに対する転換比を示す。転換比は、図１及び図２の処理中に識別さ
れた転換の開始と終了フレームに対するフレーム非類似性測度Ｒ（ｓ，ｅ）とし
て定義される。ＦＤＭデータにおけるノイズレベルは、図６（Ｂ）と６（Ｃ）で
平滑な曲線により示す。
【００５１】 一般的に、図１及び図２の処理は、ワイプ、フェード、ディゾルブ、又はカッ
トであろうと、大多数の転換を識別することに成功し、少しだけの虚偽の否定（
即ち、実際の転換を見落とす）と虚偽の実在（即ち、転換でないのを転換と識別
する）を持つ。幾つかの明白なピークを拾い上げていない。図１及び図２のアル
ゴリズムは、非常に狭いピークをノイズとみなし、ここで、ピークの巾は、ピー
クの境界を決定する第２の閾値条件におけるＴ2やＭ2等の、一定のパラメータに
対して選定される値に依存する。
【００５２】 大多数のワイプに対して、転換比Ｒ（ｓ，ｅ）の大きさは、固定のタイミング
ウインドウサイズｗの６を使用して生成された対応するＦＤＭデータと同等か、
又はそれより大きい。これは、ｗより長いワイプに対して予測される。
【００５３】 無次元の比であるので、式（４）のＦＤＭは、一種の規格化関数として働く。
ＦＤＭデータにおけるピークの範囲は、スケールされていないＤsq（ｎ−１，ｎ
）データのそれよりはるかに小さい。これは、閾値の選定を容易にすることにな
る。
【００５４】 処理効率の点では、全てのｘ＞０に対して、式（６）のＤcum（０，ｘ）を生 成することが有用かもしれない。いずれの対のフレームｍとｎに対して、累積の
非類似性Ｄcum（ｍ，ｎ）は、Ｄcum（ｍ，ｎ）＝｜Ｄcum（０，ｎ）−Ｄcum（０
，ｍ）｜の関係に基づき容易に生成できる。
【００５５】 代替の実施の形態 本発明を、図１及び図２の処理に沿って説明する。そこでは、転換は、ＦＤＭ
値を規定された閾値の値と比較することにより検出される。本発明は、虚偽の実
在を弁別する追加の条件を使用して補強するすることができる。例えば、転換比
Ｒ（ｓ，ｅ）は、虚偽の実在を検出するように、規定された閾値と比較できる。
別の可能性は、虚偽の実在を検出するように、ＦＤＭ曲線の下で規定された最小
の領域を有する転換を要求することであろう。更に別の可能性は、転換の開始と
終了フレーム間の正味の非類似性であるＤnet（ｓ，ｅ）へ閾値を適用すること であろう。
【００５６】 図１及び図２のアルゴリズムは、ＦＤＭデータにおいてピークを検出して、対
応する開始と終了フレームを識別する特定の解析スキームを適用する。図１及び
図２のアルゴリズムは、２回通過の解析であり、それは、ビデオシーケンス全体
がメモリに蓄積されている状況に特に適している。当業者は、ピークがＦＤＭデ
ータへ異なる解析スキームを適用することにより検出及び／又は識別できること
を理解するであろう。
【００５７】 例えば、代替の実施の形態では、本発明は、ビデオシーケンス全体をメモリに
必ずしも蓄積せず、各フレームが遭遇されるに従いデータが解析される状況に適
する１回通過の解析を使用して実行できる。図７は、可能な１回通過の解析のた
めの疑似コードを示す。この１回通過の解析は、図１及び図２の２回通過の解析
と類似であるが同一ではない。例えば、１回通過の解析では、可能性の転換は、
高い方の閾値でなく２つの閾値の低い方により提起される。加えて、ノイズは少
し異なって計算され、メディアンフィルタは無く、及び、閾値定数は少し異なる
。
【００５８】 詳細には、図７の１回通過の解析は、３つの状態を有する状態マシンに対応す
る。noTrans（即ち、現在の状態は転換を指示しない）、possibleTrans（即ち、
現在の状態は可能性の転換を指示する）、及び probableTrans（即ち、現在の状
態は有望な転換を指示する）。ビデオシーケンスにおいてフレームが遭遇される
に従い、関数 Analyze(n) が、各現在のフレームｎへ適用される、ここで、ｎの
初期値は、規定のタイミングウインドウサイズｗより大きいか等しいと仮定され
る。関数 Analyze(n) は、図７の行１〜５で定義され初期化されるグローバル変
数に依頼する。現在フレームに対するフレーム非類似性測度Ｒを計算し（行１０
）、ノイズレベルを特徴付けるように再帰形フィルタを適用し（行１２〜１３）
、及び、低い方と高い方の閾値（ｔＬとｔＨ）を生成（行１５〜１６）した後に
、関数 Analyze(n) は、１つ前のフレームの後のマシンの状態に依存して適切な
処理を実行する。
【００５９】 noTrans 状態に対して（行１９）、行２０〜２８が実行される。詳細には、現
在のフレームに対するＦＤＭのＲが低い方の閾値ｔＬより大きい場合（行２０）
、可能性の転換の最初のフレームが１つ前のフレーム（ｎ−１）に設定され（行
２１）、状態は possibleTrans へ変更される（行２２）。ＦＤＭが更に高い方 の閾値ｔＨより大きい場合（行２４）、状態は直ちに probableTrans へ変更さ れ（行２５）、高い方の閾値に対する最初と最後の両フレームは現在のフレーム
ｎへ初期化される（行２６）。そうでない場合、状態は noTrans に留まる。
【００６０】 possibleTrans 状態に対して（行２９）、行３０〜３５が実行される。詳細に
は、現在のフレームに対するＦＤＭのＲが低い方の閾値ｔＬより低いか等しい場
合（行３０）、状態は noTrans へ変更される（行３０）。これは、ＦＤＭ値が 低い方の閾値を超えたが、しかし、高い方の閾値に決して達することなく低い方
の閾値以内へ戻った状況に相当する。そうでなく、ＦＤＭが高い方の閾値ｔＨよ
り大きい場合（行３１）、状態は probableTrans へ変更され（行３２）、高い 方の閾値に対する最初と最後の両フレームは現在のフレームｎへ初期化される（
行３３）。そうでない場合、状態は possibleTrans に留まる。
【００６１】 probableTrans 状態に対して（行３６）、行３７〜４６が実行される。詳細に
は、現在のフレームに対するＦＤＭのＲが低い方の閾値ｔＬより大きい場合（行
３７）、Ｒが更に高い方の閾値ｔＨより大きい場合（行３８）、転換での最後の
フレームは現在のフレームｎへ更新され（行３８）、そうでない場合現在のフレ
ームｎに対する処理は終了される（行３９）。そうでなく、Ｒが低い方の閾値ｔ
Ｌより小さいか等しい場合、転換は終了する。その場合、状態は noTrans へ変 更され（行４１）、上方と下方のピークの終りは、タイミングウインドウサイズ
に対して調整される（行４２〜４３）。ピークが狭過ぎる場合（行４４）、転換
は却下される。そうでない場合、転換は Analyze(n) 関数により報告される（行
４５）。行４４での狭いピークに対する試験は、２回通過の解析の対応する試験
より複雑であり、可能性の転換の開始と終了をより対称的に処理するように試み
る。
【００６２】 本発明は、フレーム全体に対して生成されるＦＤＭ値に対して説明された。場
面間の漸進的な転換から場面内での対象のモーションを区別するために、フレー
ムは、副フレームへ分割でき、各副フレームが別々に解析される。対象のモーシ
ョンは、副フレームの幾つかだけに出現すると思われる一方で、転換は、全てで
はないにしても、大多数の副フレームで明白である筈である。
【００６３】 本発明は、ビデオシーケンスにおけるショット間の漸進的な転換を検出するよ
うに設計されたが、ショット間の突然の転換（即ち、カット）又はカメラのモー
ション（例えば、パン）でさえ検出することにも使用できる。パンは、特にパン
が結果として著しい場面変更となる場合、ショット内の漸進的な転換の１種とみ
なされ得る。例えば、ビデオのインデックス付けの中に、ショット間の転換と同
様にショット内のパンを検出できるユーティリティがあってもよい。代替として
、パンは、パンのフレーム間の全体のグローバルモーションを検出するようにモ
ーション解析を使用することによりショット間の転換から弁別できる。
【００６４】 実験結果の大多数は、式（５）でのγ＝２を使用することに基づいた。γを増
加することは、無規則な活動の影響を低減し、図５（Ａ）と５（Ｂ）に示すよう
に、他の漸進的な転換に対してワイプの影響を増大させる。しかし、アルゴリズ
ムの安定性も低下させるかもしれない。γ＝１も有用であることに注意されたい
。その場合、ＦＤＭ値は１を決して超えないであろうとはいえ、それは、他の場
合より転換で依然はるかに大きい傾向である。タイミングウインドウサイズを変
更することは、短時間尺度で系統的に現れる無規則なモーションの弁別を助ける
ことになる。
【００６５】 タイミングウインドウサイズの選定は、かなり任意であるが、選定された特定
の値は、特定のビデオシーケンスに対するＦＤＭデータにおけるノイズレベルに
影響することができる。例えば、一定の周期性を持つ符号化スキームでは、符号
化周期の整数倍に基づきタイミングウインドウサイズを選定することは、より少
ないノイズを生じることができる。
【００６６】 式（４）のフレーム非類似性測度は、フレームのヒストグラムに基づく非類似
性測度の比である。フレーム非類似性測度の代替のバージョンも使用できる。例
えば、非類似性測度は、フレームのヒストグラムでなく、フレーム間の画素から
画素への差（例えば、差の２乗の総和、又は絶対値差の総和）に基づくことがで
きる。
【００６７】 本発明は、これらの方法を実施するための方法と装置の形態で具現化できる。
本発明は、フロッピーディスケット、ＣＤ−ＲＯＭ，ハードドライブ、又はマシ
ンが読み得るいずれか他の記憶媒体、等の有形の媒体内に実現されるプログラム
コードの形態でも具現化でき、プログラムコードが、コンピュータのようになマ
シンへロードされ、マシンにより実行される場合、マシンは、本発明を実施する
ための装置となる。本発明は、例えば、記憶媒体に蓄積されるか否かに関らず、
マシンへロードされ、マシンにより実行される、又は、電線又は電気ケーブル上
で、光ファイバを通し、又は電磁波を介する等の、伝送媒体上で伝送されるプロ
グラムコードの形態でも具現化でき、プログラムコードが、コンピュータのよう
になマシンへロードされ、マシンにより実行される場合、マシンは、本発明を実
施するための装置となる。汎用プロセッサ上で実行される場合、プログラムコー
ド部分はプロセッサと組合せて、特定のロジック回路に類似で動作する独特の装
置を提供する。
【００６８】 本発明の性質を説明するために記述され図解された詳細、資料、及び部品の編
成における種々の変更は、以下の特許請求の範囲に表示された発明の原理と範囲
から逸脱することなく、当業者にはなされ得ることが更に理解されるであろう。
【図面の簡単な説明】
本発明の他の局面、特徴、及び利点は、以下の詳細な説明、付帯する特許請求
の範囲、及び添付の図面からより充分に明らかになるであろう。
【図１】 本発明の実施の形態の１つによる、デジタルビデオシーケンスにおける転換を
検出するための処理のフロー図を示す。
【図２】 図１の処理のこの解析フェーズに対応する疑似コードの一覧を提示する。
【図３】 図１及び図２の処理を実証するために、ビデオシーケンスの数多くのフレーム
に対するフレーム非類似性測度（ＦＤＭ）値の例示セットを示す。
【図４】 カットに対応するＦＤＭ値の例示セットを示す。
【図５】 Ａ〜Ｃは３つの異なる試験シーケンスに対するＦＤＭ値を生成する実験結果を
示す。
【図６】 Ａ〜Ｃは図１及び図２の処理を、特定のビデオシーケンスへ適用した結果を示
す。
【図７】 本発明の実施の形態の１つによる、１回通過の解析に対する疑似コードを示す
。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＨＲ ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ， ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，Ｌ Ｖ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ， ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，Ｕ Ｚ，ＶＮ，ＹＵ，ＺＷ Ｆターム(参考） 5C021 PA52 PA57 PA58 PA66 PA67 PA77 RA06 RA16 RB03 5C066 AA11 BA20 CA00 EF02 EF16 GA01 GA02 GA05 GB01 HA02 KD02 KD04 KD06 KD08 KE02 KE03 KE16 LA02

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 ビデオシーケンスにおいて転換を識別するための方法であっ
    て、 （ａ）タイミングウインドウサイズにより分離される前記ビデオシーケンスでの
    複数の対のフレームの各々に対してフレーム非類似性測度（ＦＤＭ）値を生成す
    るステップであって、前記ＦＤＭ値は、正味の非類似性測度と累積の非類似性測
    度の比であるステップと、 （ｂ）前記ビデオシーケンスでの転換を識別するように前記ＦＤＭ値を解析する
    ステップと、 を含む方法。
  2. 【請求項２】 各対のフレームｍとｎに対して、前記ＦＤＭ値が、前記対の
    フレームｍとｎに該当する２つ以上のフレームに対するヒストグラムから生成さ
    れる、 請求項１の方法。
  3. 【請求項３】 前記正味の非類似性測度Ｄnet（ｍ，ｎ）が、 Ｄnet（ｍ，ｎ）≡Σi｜ｈi（ｍ）−ｈi（ｎ）｜γ により定義され、 ｈi（ｍ）はフレームｍに対応するヒストグラムのｉ番目のビン (bin) であり
    、 ｈi（ｎ）はフレームｎに対応するヒストグラムのｉ番目のビンであり、 γは規定されるパラメータであり、 前記累積の非類似性測度Ｄcum（ｍ，ｎ）が、 Ｄcum（ｍ，ｎ）≡Σn-1 k=mＤnet（ｋ，ｋ＋１）により定義される、 請求項１の方法。
  4. 【請求項４】 更に、前記ビデオシーケンスにおける短期間の変則を弁別す
    るように、各識別された転換に対する開始と終了フレームの前記ビデオシーケン
    スでの相対位置を比較するステップを含む、 請求項１の方法。
  5. 【請求項５】 ステップ（ｂ）は、 （１）前記対応する対のフレームでのフレームが、転換に該当するかを決定する
    ようにＦＤＭ値へ第１の閾値条件を適用するステップと、 （２）前記第１の閾値条件が満足される場合、前記転換に対する開始と終了フレ
    ームを識別するように、１つ以上の他のＦＤＭ値へ第２の閾値条件を適用するス
    テップと、を含む、 請求項１の方法。
  6. 【請求項６】 更に、前記ビデオシーケンスに対する前記ＦＤＭ値における
    ノイズを特徴付けるステップを含み、前記第１と第２の閾値条件は、前記ノイズ
    の関数である、 請求項５の方法。
  7. 【請求項７】 フレームｎに対する前記ＦＤＭ値が、第１の閾値の値Ｔ1、 及び第１の閾値乗数Ｍ1とフレームｎに対する前記ノイズとの積、の最大を超え る場合、前記第１の閾値条件が満足され、 フレームｍに対する前記ＦＤＭ値が、第２の閾値の値Ｔ2、及び第２の閾値乗数 Ｍ2とフレームｍに対する前記ノイズとの積、の最大を下回る場合、前記第２の 閾値条件が満足される、 請求項６の方法。
  8. 【請求項８】 ＦＤＭ値が、第１の閾値レベルより大きい場合、前記第１の
    閾値条件が満足され、 ＦＤＭ値が、第２の閾値レベルより小さい場合、前記第２の閾値条件が満足さ
    れる、 請求項５の方法。
  9. 【請求項９】 前記第１の閾値条件は、前記ＦＤＭ値におけるピークを識別
    することに使用され、 前記第２の閾値条件は、前記ピークに対する境界を決定することに使用される
    、 請求項５の方法。
  10. 【請求項１０】 前記ステップ（ｂ）は、 （１）前記対応する対のフレームでのフレームが、可能性の転換に対する開始フ
    レームに該当するか否かを決定するように、ＦＤＭ値へ第１の閾値条件を適用す
    るステップと、 （２）前記第１の閾値条件が満足される場合、前記可能性の転換が有望な転換で
    あるか否かを決定するように、１つ以上の他のＦＤＭ値へ第２の閾値条件を適用
    するステップと、 （３）前記第２の閾値条件が満足される場合、前記有望な転換に対する終了フレ
    ームを決定するように、１つ以上の他のＦＤＭ値へ前記第１の閾値条件を適用す
    るステップと、を含む、 請求項１の方法。
JP2000526044A 1997-12-23 1998-12-22 ビデオーケンスにおける転換の検出 Expired - Lifetime JP4335440B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US6877497P 1997-12-23 1997-12-23
US60/068,774 1997-12-23
US09/086,373 1998-05-28
US09/086,373 US5990980A (en) 1997-12-23 1998-05-28 Detection of transitions in video sequences
PCT/US1998/027281 WO1999033261A1 (en) 1997-12-23 1998-12-22 Detection of transitions in video sequences

Publications (2)

Publication Number Publication Date
JP2001527344A true JP2001527344A (ja) 2001-12-25
JP4335440B2 JP4335440B2 (ja) 2009-09-30

Family

ID=26749359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000526044A Expired - Lifetime JP4335440B2 (ja) 1997-12-23 1998-12-22 ビデオーケンスにおける転換の検出

Country Status (8)

Country Link
US (1) US5990980A (ja)
EP (1) EP1048169B1 (ja)
JP (1) JP4335440B2 (ja)
KR (1) KR100591470B1 (ja)
AU (1) AU2008799A (ja)
CA (1) CA2311662C (ja)
DE (1) DE69841656D1 (ja)
WO (1) WO1999033261A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190473A (ja) * 2003-12-05 2005-07-14 Sharp Corp 光源モデル推定のためのシステムおよび方法
JP2010015588A (ja) * 2009-08-27 2010-01-21 Kddi R & D Laboratories Inc 動画像データの分類装置
US8055063B2 (en) 2003-09-30 2011-11-08 Sharp Laboratories Of America, Inc. Methods and systems for improving robustness of color balance correction
JP2014087070A (ja) * 2012-10-25 2014-05-12 Tektronix Inc ビデオ検出器及びシーン変更検出方法

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6393054B1 (en) * 1998-04-20 2002-05-21 Hewlett-Packard Company System and method for automatically detecting shot boundary and key frame from a compressed video data
DE69936620T2 (de) * 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
US6449392B1 (en) * 1999-01-14 2002-09-10 Mitsubishi Electric Research Laboratories, Inc. Methods of scene change detection and fade detection for indexing of video sequences
US6493042B1 (en) * 1999-03-18 2002-12-10 Xerox Corporation Feature based hierarchical video segmentation
US7092620B1 (en) 1999-08-05 2006-08-15 Hewlett-Packard Development Company, L.P. Converting analog video data into digital form
US6636220B1 (en) * 2000-01-05 2003-10-21 Microsoft Corporation Video-based rendering
US8028314B1 (en) 2000-05-26 2011-09-27 Sharp Laboratories Of America, Inc. Audiovisual information management system
US6611268B1 (en) * 2000-05-30 2003-08-26 Microsoft Corporation System and process for generating 3D video textures using video-based rendering techniques
US6600491B1 (en) * 2000-05-30 2003-07-29 Microsoft Corporation Video-based rendering with user-controlled movement
US8020183B2 (en) 2000-09-14 2011-09-13 Sharp Laboratories Of America, Inc. Audiovisual management system
AUPR133700A0 (en) * 2000-11-09 2000-11-30 Mediaware Solutions Pty Ltd Transition templates for compressed digital video and method of generating same
US20030038796A1 (en) 2001-02-15 2003-02-27 Van Beek Petrus J.L. Segmentation metadata for audio-visual content
US7904814B2 (en) 2001-04-19 2011-03-08 Sharp Laboratories Of America, Inc. System for presenting audio-video content
US7143354B2 (en) 2001-06-04 2006-11-28 Sharp Laboratories Of America, Inc. Summarization of baseball video content
US7499077B2 (en) 2001-06-04 2009-03-03 Sharp Laboratories Of America, Inc. Summarization of football video content
US6870956B2 (en) * 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US7203620B2 (en) 2001-07-03 2007-04-10 Sharp Laboratories Of America, Inc. Summarization of video content
US7474698B2 (en) 2001-10-19 2009-01-06 Sharp Laboratories Of America, Inc. Identification of replay segments
US7120873B2 (en) 2002-01-28 2006-10-10 Sharp Laboratories Of America, Inc. Summarization of sumo video content
US7053967B2 (en) 2002-05-23 2006-05-30 Planar Systems, Inc. Light sensitive display
WO2003073159A1 (en) 2002-02-20 2003-09-04 Planar Systems, Inc. Light sensitive display
US7023503B2 (en) 2002-02-20 2006-04-04 Planar Systems, Inc. Image sensor with photosensitive thin film transistors
US7009663B2 (en) 2003-12-17 2006-03-07 Planar Systems, Inc. Integrated optical light sensitive active matrix liquid crystal display
US8214741B2 (en) 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
US6928407B2 (en) * 2002-03-29 2005-08-09 International Business Machines Corporation System and method for the automatic discovery of salient segments in speech transcripts
US6985623B2 (en) * 2002-06-10 2006-01-10 Pts Corporation Scene change detection by segmentation analysis
GB0215624D0 (en) * 2002-07-05 2002-08-14 Colthurst James R Razor head
KR20050030955A (ko) * 2002-07-24 2005-03-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지털 비디오 신호를 엔코딩하는 방법 및 엔코더
US7657836B2 (en) 2002-07-25 2010-02-02 Sharp Laboratories Of America, Inc. Summarization of soccer video content
US7657907B2 (en) 2002-09-30 2010-02-02 Sharp Laboratories Of America, Inc. Automatic user profiling
JP4036328B2 (ja) * 2002-09-30 2008-01-23 株式会社Ｋｄｄｉ研究所 動画像データのシーン分類装置
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
US20040088723A1 (en) * 2002-11-01 2004-05-06 Yu-Fei Ma Systems and methods for generating a video summary
US7127120B2 (en) * 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
US7274741B2 (en) * 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US7164798B2 (en) * 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7260261B2 (en) 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
US20080084374A1 (en) 2003-02-20 2008-04-10 Planar Systems, Inc. Light sensitive display
CN1543096A (zh) * 2003-04-30 2004-11-03 ���µ�����ҵ��ʽ���� 自动检测电视广告的装置及其方法
US7400761B2 (en) * 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7471827B2 (en) * 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
US20050123886A1 (en) * 2003-11-26 2005-06-09 Xian-Sheng Hua Systems and methods for personalized karaoke
US8356317B2 (en) 2004-03-04 2013-01-15 Sharp Laboratories Of America, Inc. Presence based technology
US8949899B2 (en) 2005-03-04 2015-02-03 Sharp Laboratories Of America, Inc. Collaborative recommendation system
US7594245B2 (en) 2004-03-04 2009-09-22 Sharp Laboratories Of America, Inc. Networked video devices
JP4424590B2 (ja) * 2004-03-05 2010-03-03 株式会社Ｋｄｄｉ研究所 スポーツ映像の分類装置
US7773139B2 (en) 2004-04-16 2010-08-10 Apple Inc. Image sensor with photosensitive thin film transistors
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) * 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US7880815B2 (en) * 2005-01-10 2011-02-01 Mavs Lab, Inc. Method for detecting and eliminating flash scene in digital video
US7548936B2 (en) 2005-01-12 2009-06-16 Microsoft Corporation Systems and methods to present web image search results for effective image browsing
US7713175B2 (en) * 2005-04-07 2010-05-11 Monaghan Michael J Infant activity systems
US7639873B2 (en) * 2005-07-28 2009-12-29 Microsoft Corporation Robust shot detection in a video
US7551234B2 (en) * 2005-07-28 2009-06-23 Seiko Epson Corporation Method and apparatus for estimating shot boundaries in a digital video sequence
US20070112811A1 (en) * 2005-10-20 2007-05-17 Microsoft Corporation Architecture for scalable video coding applications
US8180826B2 (en) * 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US7599918B2 (en) 2005-12-29 2009-10-06 Microsoft Corporation Dynamic search with implicit user intention mining
US8689253B2 (en) 2006-03-03 2014-04-01 Sharp Laboratories Of America, Inc. Method and system for configuring media-playing sets
US7945142B2 (en) * 2006-06-15 2011-05-17 Microsoft Corporation Audio/visual editing tool
US7921116B2 (en) 2006-06-16 2011-04-05 Microsoft Corporation Highly meaningful multimedia metadata creation and associations
EP1914994A1 (en) * 2006-10-17 2008-04-23 Mitsubishi Electric Information Technology Centre Europe B.V. Detection of gradual transitions in video sequences
US7721209B2 (en) * 2008-09-08 2010-05-18 Apple Inc. Object-aware transitions
US20100119142A1 (en) * 2008-11-11 2010-05-13 Sean Miceli Monitoring Multiple Similar Objects Using Image Templates
EP2216983A1 (en) 2009-02-05 2010-08-11 Mitsubishi Electric R&D Centre Europe B.V. Detection of wipe transitions in video
US9310923B2 (en) 2010-12-03 2016-04-12 Apple Inc. Input device for touch sensitive devices
US8638320B2 (en) 2011-06-22 2014-01-28 Apple Inc. Stylus orientation detection
US8928635B2 (en) 2011-06-22 2015-01-06 Apple Inc. Active stylus
US9329703B2 (en) 2011-06-22 2016-05-03 Apple Inc. Intelligent stylus
US9824296B2 (en) * 2011-11-10 2017-11-21 Canon Kabushiki Kaisha Event detection apparatus and event detection method
US8897554B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Video comparison using color histograms
US8897553B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Image comparison using color histograms
US8750613B2 (en) 2011-12-13 2014-06-10 The Nielsen Company (Us), Llc Detecting objects in images using color histograms
US9652090B2 (en) 2012-07-27 2017-05-16 Apple Inc. Device for digital communication through capacitive coupling
US9176604B2 (en) 2012-07-27 2015-11-03 Apple Inc. Stylus device
US9557845B2 (en) 2012-07-27 2017-01-31 Apple Inc. Input device for and method of communication with capacitive devices through frequency variation
US10048775B2 (en) 2013-03-14 2018-08-14 Apple Inc. Stylus detection and demodulation
US8891021B2 (en) 2013-03-15 2014-11-18 General Instrument Corporation System and method of detecting strobe using temporal window
US9195892B2 (en) 2013-03-15 2015-11-24 Arris Technology, Inc. System for and method of detecting strobe using spatial features in video frames
US10845901B2 (en) 2013-07-31 2020-11-24 Apple Inc. Touch controller architecture
US10867635B2 (en) 2013-11-11 2020-12-15 Vimeo, Inc. Method and system for generation of a variant video production from an edited video production
US10061449B2 (en) 2014-12-04 2018-08-28 Apple Inc. Coarse scan and targeted active mode scan for touch and stylus
US10474277B2 (en) 2016-05-31 2019-11-12 Apple Inc. Position-based stylus communication

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759108A (ja) * 1993-08-10 1995-03-03 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像のカット画面検出方法
JPH07193818A (ja) * 1993-12-27 1995-07-28 Sony Corp 画像処理方法および画像処理装置
JPH07193718A (ja) * 1993-12-24 1995-07-28 Nec Corp レーザプリンタの画像信号制御装置
JPH08102938A (ja) * 1994-09-30 1996-04-16 Sony Corp 画像符号化装置
JPH08214210A (ja) * 1993-12-17 1996-08-20 Nippon Telegr & Teleph Corp <Ntt> 映像カット点検出方法及び装置
JPH08227462A (ja) * 1995-02-21 1996-09-03 Hitachi Ltd 動画像の変化点検出方法及び装置
JPH08237549A (ja) * 1994-06-27 1996-09-13 Natl Univ Of Singapore 自動ビデオ区分とキーフレーム抽出用システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3036287B2 (ja) * 1992-12-15 2000-04-24 富士ゼロックス株式会社 動画像シーン検出装置
US5642294A (en) * 1993-12-17 1997-06-24 Nippon Telegraph And Telephone Corporation Method and apparatus for video cut detection
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence
US5708767A (en) * 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
JPH09130732A (ja) * 1995-11-01 1997-05-16 Matsushita Electric Ind Co Ltd シーンチェンジ検出方法および動画像編集装置
US5835163A (en) * 1995-12-21 1998-11-10 Siemens Corporate Research, Inc. Apparatus for detecting a cut in a video
US5767922A (en) * 1996-04-05 1998-06-16 Cornell Research Foundation, Inc. Apparatus and process for detecting scene breaks in a sequence of video frames
US5920360A (en) * 1996-06-07 1999-07-06 Electronic Data Systems Corporation Method and system for detecting fade transitions in a video signal
TW303555B (en) * 1996-08-08 1997-04-21 Ind Tech Res Inst Digital data detecting method
US5751378A (en) * 1996-09-27 1998-05-12 General Instrument Corporation Scene change detector for digital video

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759108A (ja) * 1993-08-10 1995-03-03 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像のカット画面検出方法
JPH08214210A (ja) * 1993-12-17 1996-08-20 Nippon Telegr & Teleph Corp <Ntt> 映像カット点検出方法及び装置
JPH07193718A (ja) * 1993-12-24 1995-07-28 Nec Corp レーザプリンタの画像信号制御装置
JPH07193818A (ja) * 1993-12-27 1995-07-28 Sony Corp 画像処理方法および画像処理装置
JPH08237549A (ja) * 1994-06-27 1996-09-13 Natl Univ Of Singapore 自動ビデオ区分とキーフレーム抽出用システム
JPH08102938A (ja) * 1994-09-30 1996-04-16 Sony Corp 画像符号化装置
JPH08227462A (ja) * 1995-02-21 1996-09-03 Hitachi Ltd 動画像の変化点検出方法及び装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8055063B2 (en) 2003-09-30 2011-11-08 Sharp Laboratories Of America, Inc. Methods and systems for improving robustness of color balance correction
JP2005190473A (ja) * 2003-12-05 2005-07-14 Sharp Corp 光源モデル推定のためのシステムおよび方法
JP2010015588A (ja) * 2009-08-27 2010-01-21 Kddi R & D Laboratories Inc 動画像データの分類装置
JP2014087070A (ja) * 2012-10-25 2014-05-12 Tektronix Inc ビデオ検出器及びシーン変更検出方法

Also Published As

Publication number Publication date
EP1048169A1 (en) 2000-11-02
JP4335440B2 (ja) 2009-09-30
US5990980A (en) 1999-11-23
CA2311662A1 (en) 1999-07-01
CA2311662C (en) 2008-05-13
EP1048169B1 (en) 2010-05-05
WO1999033261A1 (en) 1999-07-01
AU2008799A (en) 1999-07-12
EP1048169A4 (en) 2004-08-11
KR100591470B1 (ko) 2006-06-20
DE69841656D1 (de) 2010-06-17
KR20010033552A (ko) 2001-04-25

Similar Documents

Publication Publication Date Title
JP2001527344A (ja) ビデオーケンスにおける転換の検出
US6493042B1 (en) Feature based hierarchical video segmentation
US8818037B2 (en) Video scene detection
US8379154B2 (en) Key-frame extraction from video
EP0729117B1 (en) Method and apparatus for detecting a point of change in moving images
US7123769B2 (en) Shot boundary detection
US6535254B1 (en) Method and device for noise reduction
EP2224357A1 (en) Video segmentation
JP2006510072A (ja) 一様なカラーセグメントを検出するための方法及びシステム
EP1132812B1 (en) Method of detecting dissolve/fade in mpeg-compressed video environment
CN106937114B (zh) 用于对视频场景切换进行检测的方法和装置
JP2005328105A (ja) 視覚的に代表するビデオサムネイルの生成
JP2010507155A (ja) ビデオシーケンス内の漸進的遷移の検出
CN100553285C (zh) 电子水印嵌入装置及其嵌入方法
EP0940033B1 (en) Method of processing a video stream
US6995805B1 (en) Method and system for scene change detection
Fernando et al. Fade-in and fade-out detection in video sequences using histograms
JPH0837621A (ja) 場面カットの検出方法
EP1402463A1 (en) Automatic natural content detection in video information
US8150167B2 (en) Method of image analysis of an image in a sequence of images to determine a cross-fade measure
CN114449362B (zh) 视频封面的选取方法、装置、设备及存储介质
JP3358692B2 (ja) 映像ブロック分類方法及び装置
WO2004075537A1 (en) Shot-cut detection
CN108737814B (zh) 一种基于动态模式分解的视频镜头检测方法
JP3569391B2 (ja) 文字出現フレーム抽出装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050622

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050704

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090625

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term