JP2003507943A - ビデオコンテンツに基づきビデオストリームにおいて早送り及びスローモーションの速度変換を実施するシステム及び方法 - Google Patents

ビデオコンテンツに基づきビデオストリームにおいて早送り及びスローモーションの速度変換を実施するシステム及び方法

Info

Publication number
JP2003507943A
JP2003507943A JP2001517804A JP2001517804A JP2003507943A JP 2003507943 A JP2003507943 A JP 2003507943A JP 2001517804 A JP2001517804 A JP 2001517804A JP 2001517804 A JP2001517804 A JP 2001517804A JP 2003507943 A JP2003507943 A JP 2003507943A
Authority
JP
Japan
Prior art keywords
shot
video
frames
activity level
modified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001517804A
Other languages
English (en)
Inventor
エス アブデル−モッタレブ，モハメド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003507943A publication Critical patent/JP2003507943A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508—Magnetic discs
    • G11B2220/2512—Floppy disks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/60—Solid state media
    • G11B2220/61—Solid state media wherein solid state memory is used for storing A/V content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 ビデオ編集システムにおいて使用され、一連の連続した関連フレームを有する少なくとも一つのショット（又はシーン）を含む第１のビデオクリップを受信し、ショット中のアクティビティレベルに従って変化する早送り又はスローモーションの特殊効果を実施することができるビデオ処理装置を開示する。ビデオ処理装置は、ショットを識別し、ショットの少なくとも第１の部分内の第１のアクティビティレベルを決定することができる画像プロセッサを有する。画像プロセッサは、アクティビティレベルの決定に応答して第１の部分においてフレームを追加、及び、フレームを削除することによって選択される速度変換の特殊効果を実施しそれにより変更されたショットを生成する。

Description

【発明の詳細な説明】
【０００１】 ［本発明の技術分野］ 本発明は、一般に、ビデオ処理技法、より特定的には、ビデオコンテンツ中の
アクティビティレベルに基づきビデオストリームにおいて速度変換の特殊効果を
実行するシステム及び方法に関する。
【０００２】 ［本発明の背景］ 「早送り」及び「スローモーション」のような速度変換の特殊効果は、フィル
ム及びビデオにおいて一般に使用されている。これら特殊効果夫々は、周知の技
法を使用して実行される。早送りの速度変換を実行する従来のアプローチ法は、
一つおきのフレーム、３フレームに一つ、４フレームに一つ、５フレームに一つ
等の所定の率でフレームを落とす又はドロップさせることによって通常の速度の
ビデオストリームをサブサンプル化することである。スローモーションの速度変
換を実行する従来のアプローチ法は、通常の速度のビデオストリーム中のフレー
ムを繰り返すことである。
【０００３】 夫々の技法は、著しい欠点を有する。早送りの速度変換の場合、ビデオフレー
ムの通常の速度のストリームから任意にフレームを落とすことは、結果として特
定のショット、特に非常に短いショット及び高いアクティビティレベルを有する
ショットが不十分に表示されることを生じさせ得る。「ショット」は、カメラの
角度を変化させること無く単一の連続するシーンを生成する一連のフレームであ
る。「アクティビティレベル」は、連続するビデオフレームのコンテンツ中の変
化量を指す。例えば、車の追跡シーン又は戦いのシーンは高アクティビティショ
ットである。ニュースのアンカーマンのように椅子に能動的に座っている人のシ
ーンは、低アクティビティショットの例である。スローモーションの速度変換の
場合、ビデオフレームの通常の速度のストリームにおいて任意にフレームを繰り
返すことは結果として急な動きを生じさせ得る。
【０００４】 従って、ビデオストリームにおいて速度変換を実行する改善されたビデオ処理
技法が技術において必要である。特に、技術において、高アクティビティショッ
ト及び持続時間の短いショットを不十分に表示させない早送りの特殊効果を実施
するシステム及び方法が必要である。更に、最後のスローモーションショットに
おいて急な動きを結果として生じさせないスローモーションの特殊効果を実施す
るシステム及び方法が必要である。
【０００５】 ［本発明の要約］ 従来技術の上記欠点に取り組むために本発明は、概して、ショットのビデオコ
ンテンツにおけるアクティビティレベルに従って変化する率でショット中のフレ
ームの数を変更（即ち、フレームの追加又はフレームの削除）するシステム及び
方法を提供する。
【０００６】 例えば、ユーザが特定のビデオクリップに対して早送りを選択する場合、本発
明はビデオクリップ中の各個々のショットのアクティビティレベルを決定し、各
ショットにおけるアクティビティレベルに従って各ショット中のフレームが落と
される率を調節する。例えば、ショット中で二人の人が穏やかに対話している場
合、アクティビティレベルが低いと決定され、本発明は早送り中に比較的高い率
でフレームを落とす（例えば、２フレームに一つ落とす）。他方で、ショット中
で二人の人が素手の殴り合いをしている場合、アクティビティレベルが高いと決
定され、早送り中比較的低い率でフレーム落とす（例えば、４フレームに一つ落
とす）。
【０００７】 本発明の有利的な実施例では、フレームが落とされる率は、単一のショット中
にアクティビティレベルが変化される場合「進行中」に変更されてもよい。例え
ば、ショットの始めで二人の人が穏やかに対話しており、ショットの中間で殴り
合いを始める場合、アクティビティレベルは低から高へ変化され、ショットにお
けるアクティビティレベルの変化を補償するためにフレームが落とされる率は早
送り中に自動的に変更される。
【０００８】 同様にして、ユーザが特定のビデオクリップに対してスローモーションを選択
する場合、本発明はビデオクリップ中の各個々のショットのアクティビティレベ
ルを決定し、各ショットにおけるアクティビティレベルに従って各ショットにお
いてフレームが追加され「モーフィング」される率を調節する。モーフィング及
び他の同様の技法は、技術において周知であり、一連のフレームにおける「急な
動き」を減少させるために使用される。これら周知の技法全ては、スローモーシ
ョン或いは早送りのような速度変換の特殊効果を実行するために本発明と共に使
用されてもよい。
【０００９】 前例を続けると、ショット中で二人の人が穏やかに対話している場合、アクテ
ィビティレベルが低いと決定され、スローモーション中にフレームは比較的低い
率で追加され（例えば、元のクリップにおいて３フレーム毎に１フレームを追加
する）モーフィングされる。他方で、ショット中で二人の人が素手の殴り合いを
している場合、アクティビティレベルが高いと決定され、スローモーション中に
フレームは比較的高い率で追加され（例えば、元のクリップにおける各フレーム
毎に１フレームを追加する）モーフィングされる。
【００１０】 本発明の有利的な実施例では、フレームが追加されモーフィングされる率はア
クティビティレベルが単一のショット中に変化される場合に「進行中」に変更さ
れてもよい。例えば、ショットの始めで二人の人が穏やかに対話しており、ショ
ットの中間で殴り合いを始める場合、アクティビティレベルは低から高へ変化さ
れ、ショットにおけるアクティビティレベルの変化を補償するためにフレームが
追加されモーフィングされる率はスローモーション中に自動的に変更される。
【００１１】 従って、本発明の一実施例では、ビデオ編集システムにおいて使用され、一連
の関連するフレームを有する少なくとも第１のショットを有する第１のビデオク
リップを受信し、選択される速度変換の特殊効果を実施するためにビデオクリッ
プを変更することができるビデオ処理装置が設けられる。ビデオ処理装置は、少
なくとも第１のショットを識別し少なくとも第１のショットの少なくとも第１の
部分内の第１のアクティビティレベルを決定することができる画像プロセッサを
有し、第１のアクティビティレベルは少なくとも第１の部分における少なくとも
第１のフレームと第２のフレームの間のビデオコンテンツの変化率を示す。画像
プロセッサは、第１のアクティビティレベルの決定に応答して少なくとも第１の
部分においてフレームを追加し、フレームを削除するいずれかによって選択され
た速度変換の特殊効果を実施し、それにより変更された少なくとも第１のショッ
トを生成することができる。
【００１２】 本発明の一実施例によると、画像プロセッサは、第１のビデオクリップにおけ
る少なくとも第１のショットと第２のショットを区別し、選択された速度変換の
特殊効果を実施する前に少なくとも第１のショット及び第２のショットを別個の
セグメントに分離することができる。
【００１３】 本発明の別の実施例によると、画像プロセッサは、第２のショットの少なくと
も第１の部分内で第２のアクティビティレベルを決定し、第２のアクティビティ
レベルの決定に応答して第２のショットの少なくとも第１の部分においてフレー
ムを追加及びフレームを削除するいずれかによって選択された速度変換の特殊効
果を実施し、それにより変更された第２のショットを生成することができる。
【００１４】 本発明の別の実施例によると、画像プロセッサは、変更された少なくとも第１
のショットと変更された第２のショットを組み合わし、それにより変更された第
１のビデオクリップを生成することができる。
【００１５】 本発明の別の実施例によると、選択された速度変換の特殊効果は早送りであり
、画像プロセッサは、第１のアクティビティレベルが第１の所定の閾値を超えな
い場合第１の所定の率でフレームを削除する。
【００１６】 本発明の更なる実施例において、画像プロセッサは、第１のアクティビティレ
ベルが第１の所定の閾値を超える場合に第１の所定の率よりも低い第２の所定の
率でフレームを削除する。
【００１７】 本発明の別の実施例によると、選択された速度変換の特殊効果はスローモーシ
ョンであり、画像プロセッサは、第１のアクティビティレベルが第１の所定の閾
値を超えない場合第１の所定の率でフレームを追加する。
【００１８】 本発明の更なる実施例において、画像プロセッサは、第１のアクティビティレ
ベルが第１の所定の閾値を超える場合に第１の所定の率よりも高い第２の所定の
率でフレームを追加する。
【００１９】 上記は、当業者が以下の本発明の詳細な説明をよりよく理解できるよう本発明
の特徴及び技術的な利点を広く概略的に述べた。本発明のクレームの技術内容を
形成する本発明の追加的な特徴及び利点は、以下に説明される。当業者は、本発
明と同じ目的を実行するための他の構造を変更又は設計する基本として開示され
る概念及び特定の実施例を容易に使用してもよいことが理解される。当業者は、
このような同等の構造が広義には本発明の精神及び範囲から逸脱されないことを
認識するべきである。
【００２０】 詳細な説明に入る前に、本特許文書を通して使用される決まった用語及び表現
を先に定義することが有利となり得、「含む」及び「有する」といった用語、並
びに、それから派生する語は制限無しに包有することを意味し、「又は」の用語
は及び／又はの意味も含み、「関連する」及び「関連付けられる」といった表現
、並びに、それから派生する表現は、含む、含まれる、相互接続される、収容す
る、収容される、接続する、接続される、結合する、結合される、通信可能であ
る、協動する、インタリーブする、並置する、近似する、密接に関係する、密接
に関係される、有する、〜の特性を有する又は同等のものとして意味し得、「コ
ントローラ」又は「プロセッサ」といった用語は全ての装置、システム又は少な
くとも一つの動作を制御する一部を意味し得、このような装置はハードウェア、
ファームウェア、又は、ソフトウェア、若しくは、少なくともこれらのうちの２
つを組み合わせたもので実施され得る。全ての特定のコントローラ又はプロセッ
サと関連する機能性は、局部的又は遠隔的であっても中央に集中するか分配して
もよいことに注意すべきである。ある用語及び表現の定義が本特許文書を通じて
与えられ、当業者は、このような定義が殆どでなければ多くの場合、このような
定義は、このように定義された用語及び表現の従来、並びに、将来的な使用に適
用されることを理解すべきである。
【００２１】 ［詳細な説明］ 本発明及びその利点のより完全な理解のために、同じ番号が同様のオブジェク
トを示す添付の図面と共に以下の説明を参照する。
【００２２】 以下に説明する図１乃至図４、及び、本特許文書における本発明の原理を説明
するために使用される様々な実施例は、例として示されるに過ぎず、如何なる方
法でも本発明の範囲を制限するものとして解釈されてはならない。当業者は、本
発明の原理が全ての適切に配置されたビデオ編集システムにおいて実行されても
よいことを理解する。
【００２３】 図１は、本発明の一実施例による典型的なビデオ編集システム（一般に１００
と示される）を示す図である。ビデオ編集システム１００は、ビデオ処理システ
ム１１０と、ビデオクリップ源１８０と、モニタ１８５と、ユーザ装置１９０と
を有する。ビデオ処理システム１１０は、受信されたビデオ画像を編集する手段
を提供する。これは、ビデオショット内の画像の動き率がフレーム間の動き度に
関して増加又は減少される本発明の編集処理を実現することを含む。
【００２４】 ビデオクリップ源１８０は、ビデオ処理システム１１０へ及びビデオ処理シス
テムからビデオクリップを伝送させる。ビデオクリップ源１８０は、一つ以上の
ビデオテープレコーダ（ＶＴＲ）、ディジタルビデディスク（ＤＶＤ）、プレー
ヤー／レコーダ、コンパクトディスク（ＣＤ）プレーヤ／レコーダ、又は、オー
ディオを含み又は含まずにディジタル化されたビデオ画像を供給及び記憶するこ
とができる全ての同様の装置でもよい。ビデオクリップ源１８０は、長さの短い
幾つかのクリップを記憶する能力、又は、より長い長さのディジタル化されたビ
デオ画像を含む多数のクリップ用の大型の記憶装置だけを有してもよい。ビデオ
クリップ源１８０は、例えば、Ｄ−１フォーマットのような全ての公知のフォー
マットでビデオデータを供給してもよい。
【００２５】 モニタ１８５は、ビデオ画像を表示する手段を提供し、必要であればオーディ
オのために設けられてもよい。ユーザ装置１９０は、システムにユーザ入力を提
供するためにビデオ編集システム１００のユーザによって操作されてもよい一つ
以上の周辺装置を表わす。典型的な周辺ユーザ入力装置は、コンピュータマウス
、キーボード、ライトペン、ジョイスティック、タッチテーブル及び関連するス
チルス、又は、表示されるビデオ画像の全て或いは一部分を含むデータを入力、
選択、或いは、操作するために選択的に使用されてもよい全ての他の装置を含む
。ユーザ装置１９０は、選択されたショットに対して所望の速度変換の特殊効果
を少なくとも選択することができる。ユーザ装置１９０は、特定の画像、フレー
ム、又は、フレームの範囲を捕捉するために利用され得る例えば、カラープリン
タのような出力装置を含んでもよい。
【００２６】 ビデオ処理システム１１０は、画像プロセッサ１２０、ランダムアクセスメモ
リ（ＲＡＭ）１３０、ディスク記憶装置１４０、ユーザ入力／出力（Ｉ／Ｏ）カ
ード１５０、ビデオカード１６０、Ｉ／Ｏバッファ１７０、及び、プロセッサバ
ス１７５を有する。プロセッサバス１７５は、ビデオ処理システム１１０の様々
な素子の間でデータを伝送する手段を提供する。ＲＡＭ１３０は、更に、ビデオ
クリップワークスペース１３２及び編集制御器１３４を有する。
【００２７】 画像プロセッサ１２０は、ビデオ処理システム１１０に対する全般的な制御を
提供し、選択された速度変換の特殊効果を実行するために必要な画像処理を実施
する。これは、編集処理の実行、モニタ１８５への伝送又はディスク記憶装置１
４０への記憶のためのディジタル化ビデオ画像の処理、及び、ビデオ処理システ
ムの様々な素子の間でのデータ伝送の制御を含む。画像プロセッサ１２０に対す
る要件及び能力は技術において周知であり、本発明において必要とされること以
外より詳細に説明する必要はない。
【００２８】 ＲＡＭ１３０は、ビデオ処理システム１１０によって生成されるデータを一時
的に記憶するランダムアクセスメモリを提供し、これはシステム内の構成要素に
よっては提供されない。ＲＡＭ１３０は、ビデオクリップワークスペース１３２
用のメモリ、編集制御器１３４、並びに、画像プロセッサ１２０及び関連する装
置によって要求される他のメモリを含む。ビデオクリップワークスペース１３２
は、特定のビデオクリップと関連するビデオ画像を編集処理中に一時的に記憶す
るＲＡＭ１３０の一部分を表わす。ビデオクリップワークスペース１３２は、必
要であれば、元のデータが回復され得るように元の画像に影響を与えること無く
クリップ内でフレームを変更する手段を提供する。
【００２９】 典型的な実施例によると、編集制御器１３４は、早送り及びスローモーション
の特殊効果を実施するために画像プロセッサ１２０によって実行されてもよい複
数の実行可能な命令を記憶するＲＡＭ１３０の一部分を表わす。編集制御器１３
４は、シーン間のモーフィング又は境界線検出のような周知の編集技法、並びに
、本発明の速度変換の特殊効果のための新規技法を実行してもよい。編集制御器
１３４は、ＣＤ−ＲＯＭ、コンピュータディスケット、又は、ディスク記憶装置
１４０或いはビデオクリップ源１８０のような取り外し可能なディスクポートに
ロードされてもよい他の記憶媒体上のプログラムとして含まれてもよい。
【００３０】 ディスク記憶装置１４０は、プログラム及び要求される画像データ並びにオー
ディオデータを含む他のデータを永久的に記憶する、取り外し可能なディスクを
含む一つ以上のディスクシステムを有する。システム要件に依存して、ディスク
記憶装置１４０は、ビデオクリップ源１８０並びに残りのシステムへ及びビデオ
クリップ源１８０並びに残りのシステムからビデオ（及びオーディオ）データを
伝送する一つ以上の双方向バスとインタフェースするために構成されてもよい。
ディスク記憶装置１４０は、必要であればビデオ速度でデータを伝送することが
できる。典型的なディスク記憶装置１４０は、プログラム及び関連するデータの
ための他の要求されるスペースに加えて編集目的のために数分間のビデオのため
の十分なストレージを提供する大きさに作られる。特定のアプリケーション及び
画像プロセッサ１２０の能力に依存して、ディスク記憶装置１４０は多数のビデ
オクリップを記憶する能力を提供するために構成され得る。
【００３１】 ユーザＩ／Ｏカード１５０は、ユーザ装置１９０を残りのビデオ処理編集シス
テム１００とインタフェースさせる手段を提供する。ユーザＩ／Ｏカード１５０
は、画像プロセッサ１２０又は画像プロセッサ１２０によるその後のアクセスの
ためにＲＡＭ１３０へ伝送するためにユーザ装置１９０から受信されたデータを
インタフェースバス１７５のフォーマットに変換する。ユーザＩ／Ｏカード１５
０は、プリンタのようなユーザ出力装置にデータを伝送する。ビデオカード１６
０は、モニタ１８５と残りのビデオ処理システム１１０の間でデータバス１７５
を通じてインタフェースを提供する。特に、残りのシステムとのインタフェース
は、画像プロセッサ１２０によって制御されるようにＲＡＭ１３０を通じて生じ
られる。
【００３２】 Ｉ／Ｏインタフェース１７０は、ビデオクリップ源１８０と残りのビデオ編集
システム１００の間でバス１７５を通じてインタフェースを提供する。上述の通
り、ビデオクリップ源１８０は、Ｉ／Ｏインタフェース１７０とインタフェース
するために少なくとも一つの双方向バスを有する。Ｉ／Ｏバッファ１７０は、最
小の要求されるビデオ画像伝送速度でビデオクリップ源１８０へ／ビデオクリッ
プ源１８０からデータを伝送することができる。ビデオ処理システム１１０の内
部では、Ｉ／Ｏインタフェース１７０がビデオクリップ源１８０から受信したデ
ータをディスク記憶装置１４０、画像プロセッサ１２０、及び、編集及びディス
プレイモニタ目的のために一時的な記憶装置を提供するようＲＡＭ１３０に伝送
する。画像プロセッサ１２０へのビデオデータの同時伝送は、システムによって
受信されるとビデオ画像を表示する手段を提供する。
【００３３】 図２を参照するに、図１中の典型的な編集システム１００によって編集される
のに適切な典型的なビデオクリップ２００を示す図である。典型的なビデオクリ
ップ２００の例示される部分は、２つの明確な「ショット」即ちショット１及び
ショット２を有する。ショット１（Ｓ１）は、図２中Ｆ１乃至Ｆｎとラベル付け
されるＮの別個のフレームを有する。ショット２（Ｓ２）は、図２中Ｆ１乃至Ｆ
ｍとラベル付けされるＭの別個のフレームを有する。画像媒体のビデオ伝送速度
が一定であるため、これらショットにおける動き度は選択されるフレームの複写
及び追加によって遅くされ得る。反対に、これらショットに関連する動きは、本
発明の原理に全て従って選択されるフレームの削除又は除去を通じて増加され得
る。
【００３４】 図３は、本発明の一実施例によるビデオ処理システム１１０の動作方法を描写
する典型的な工程系統図（一般に３００と示される）を示す図である。工程系統
図３００は、同じショットの隣接するフレーム間の動き（又は変化）の量を考慮
して、ビデオクリップの認識される画像の動き率を変更する典型的な一連の段階
を示す図である。例示目的のために図１を並行して参照する。
【００３５】 最初に、ディジタル化されたビデオストリームは、図１のＩ／Ｏバッファ１７
０を介してビデオクリップ源１８０から受信される。この入来するビデオストリ
ームは、処理のために画像プロセッサ１２０及びＲＡＭ１３０、或いは、より永
久的な記憶のためにディスク記憶装置１４０にルートされる。ＲＡＭ１３０は、
受信されたビデオストリームを入力としてモニタ１８５による表示のためにビデ
オカード１６０に提供する。モニタ１８５は、受信されたビジュアル画像の視覚
確認をユーザに提供する（処理段階３０５）。
【００３６】 編集制御器１３４の制御の下、画像プロセッサ１２０は、ショット間で存在す
る場合に境界線を決定し、複数の個々のショットにビデオクリップをセグメント
化する（処理段階３１０）ためにフレームベースでビデオクリップワークスペー
ス１３２中に記憶されるビデオクリップを検査する。シーン間の境界線を検出す
るために幾つかの周知の技法がある。これら技法のうちいずれもビデオクリップ
を個々のショットにセグメント化するために本発明と関連して使用されてもよい
。
【００３７】 例えば、編集制御器１３４は、ビデオクリップの一連の関連するフレームを通
じて実質的に不変のままであるピクセルの選択された群を識別するためにサンプ
リング方法論を利用してもよい。ピクセルの選択された群がカメラの角度におけ
る変化の結果として急に変化されるとき、変化前の最後のフレームが一つのショ
ットの終わりとして識別される。次のフレーム（即ち、著しい量のピクセル変化
が生じられるフレーム）が次のショットの始まりを表わす。この処理は、クリッ
プ内の全てのショットの境界フレームが識別されるまで続けられる。
【００３８】 周知の通り、ショットはノーカットの単一カメラの視界を表わす。速度変換の
特殊効果が単一ショットの境界内（即ち、ショットの最初と最後のフレームの間
）でだけ実行されることが重要である。ショットの境界線上に特殊効果を適用す
ることは、誤ったフレームの生成又は望ましくないフレームの落としを結果とし
て生じさせてもよい。これは、一つのショットにおけるアクティビティレベルが
先行するショット又は後続するショットにおけるアクティビティレベルから根本
的に異なってもよいからである。第２のショットから少なくとも一つのフレーム
を使用して第１のショットに対するアクティビティレベルを決定することは、第
１のショットにおけるアクティビティレベルの誤った決定を導き得る。追加的に
、夫々のショットが非常に低いアクティビティレベルのショットであるとしても
、境界線がわたられる際の多数のピクセルにおける急な変化はショットのアクテ
ィビティレベルが実際は違うとしても急に高くなるといった誤った決定を導き得
る。
【００３９】 追加的に、編集制御器１３４は、ユーザ装置１９０を介してセグメンテーショ
ン要求の入力を通じて単一のショットを複数のサブショットに「手動で」セグメ
ント化する選択をユーザに提供してもよい。この能力は、ショット内で多数の動
き率を有する単一のショットの動きを平滑化するために要求されてもよい。最後
に、受信されるビデオストリーム又はクリップは複数の異なるショットにセグメ
ント化される。
【００４０】 次に、画像プロセッサ１２０は、ユーザによって選択されるユーザ選択された
速度変換の特殊効果を決定する。ユーザ選択されたビデオ速度変換が存在すると
き、編集制御器１３４は、再生速度が増加されるべきか減少されるべきか、及び
、どれだけ増加又は減少されるかを決定する（処理段階３１５）。
【００４１】 一旦特殊効果（例えば、早送り、スローモーション）が決定されると、画像プ
ロセッサ１２０は、ビデオコンテンツ中のアクティビティレベルを決定するため
に、各ショット又はセグメント化されたショット内の選択されたフレームを検査
する（処理段階３２０）。処理されるショットの始めにおいて開始され、編集プ
ログラムはショット内の各フレームの記憶された画像を検査する。ショットフレ
ームは、連続するフレーム間及び／又はショット内のより長い一連のフレームに
わたる相対的な動き度を決定するために検査される。ショット（又はショットの
サブ部分）は、ショット（又はサブ部分）におけるアクティビティレベルに従っ
て分類されてもよい。
【００４２】 本発明の一実施例において、連続するフレーム又は一連のフレームにわたる変
化量は、ユーザ定義されてもよい又は特定の特殊効果のために所定でもよい閾値
に比較されてもよい。選択的に、閾値はこれらの適切な組み合わせとして決定さ
れてもよく、ユーザ又はシステムによって動的又は静的に決定される。最終的に
、ショット（又はショットのサブ部分）は高いアクティビティレベル又は低いア
クティビティレベルを有するとして分類される。幾つかの実施例では、数多くの
アクティビティレベルの閾値が定義されてもよく、アクティビティのレベルは「
非常に高い」「高い」「低い」「非常に低い」等のような３つの以上のアクティ
ビティレベルに更に微細化されてもよい。
【００４３】 ショットの分類結果を使用して、編集制御器１３４は、ユーザ選択された速度
変換及び計算されたサンプリングアルゴリズムを処理されるショットに適用する
（処理段階３２５）。これは、選択された速度変換の特殊効果及びフレーム間の
既存の動きのアクティビティレベルによって決定されるように様々に複写又は削
除される計算された数のフレームの導入を結果として生じさせる。
【００４４】 処理されるショットに対する速度変換が完了されるとき、画像プロセッサ１２
０は、クリップ内の全てのショットが処理されたかを決定するためにショットの
セグメント化の結果を検査する（処理段階３３０）。クリップ内の全てのショッ
トに対して速度変換が生じられない場合、処理は次のショットに続く（処理段階
３４０）。一旦クリップ内の個々のショットが速度変換に対して処理されると、
ユーザ（ビデオ編集者）によって指定されるように視覚的に突然な又は受け入れ
られない遷移を除去するために、例えばソフトウェア制御の下で隣接するショッ
トの境界線のフレームが検査され変更されてもよい。最後に、画像プロセッサ１
２０は、ビデオクリップワークスペース１３２又はディスク記憶装置１４０中へ
の記憶、モニタ１８５上での表示、又は、ビデオクリップ源１８０への伝送のた
めに、変更されたショットを変更されたビデオクリップに再び集める。
【００４５】 図４Ａは、本発明の一実施例によるビデオ処理システム１０の動作の早送り方
法を描写する典型的な工程系統図（一般的に４０５と指定される）を示す図であ
る。例示目的のために図１及び図２を並行して参照する。
【００４６】 最初に、ビデオクリップ源１８０から受信される記憶されたビデオクリップは
、図２のショット１及びショット２のような個々のショットにセグメント化され
る（処理段階４１０）。次に、各ショット内のフレームは、前述の通り、ショッ
トにおけるアクティビティレベルを決定するために互いと比較される（処理段階
４１５）。変化量は、ショット内の動きの速さに等しい。速い動きを有するフレ
ームを含むショットは、より少ない動きを有するフレームを含むショットよりも
ピクセル場所当たりより大きい変化量を有する。
【００４７】 従って、ショット１が肖像写真の静止したショットである場合、Ｓ１−Ｆ１か
らＳ２−Ｆｎまでの範囲における隣接するフレーム間の差の量は非常に小さく、
アクティビティの度合いも低い。ショット２がハチドリの「アクション」ショッ
トである場合、アクティビティの量は高く、隣接するフレーム間の差の量も高く
なる。フレーム間又は一連のフレームにわたる変化量は、ショット（又はサブ部
分）が低いアクティビティレベル又は高いアクティビティレベル或いは幾らかの
中間のアクティビティレベルを有するかを決定するためにショット中の全てのフ
レーム、又は、ショットの一部分における全てのフレームにわたって比較される
。
【００４８】 一旦ショット内の相対的な動き量が高から低までに分類されると、高い率又は
低い率でフレームのサブサンプルを保存することでショットの速さは元のショッ
トに関して増加される。ショットが低いアクティビティレベルとして分類される
場合、サブサンプルは比較的低い率で発生される（処理段階４２０）。低サブサ
ンプル率は、比較的少数のフレームが保存され比較的多数のフレームが元のショ
ットから落とされるか削除されることを結果とする。例えば、ショット（又はシ
ョットのサブ部分）においてアクティビティレベルが低い場合、画像プロセッサ
１２０は、３フレームのうち一つを保存し他の２つを落としてもよい。
【００４９】 しかしながら、ショットが高いアクティビティレベルとして分類される場合、
高いサブサンプル率が使用される（処理段階４２５）。高いサブサンプル率は、
比較的多数のフレームを保存し比較的少数のフレームを元のショットから落とす
又は削除することを結果とする。例えば、ショット（又はショットのサブ部分）
においてアクティビティレベルが高い場合、画像プロセッサ１２０は４フレーム
のうち３フレームを保存し１フレームだけ落としてもよい。上記の通り、落とさ
れるフレームの数は、ショットにおけるアクティビティレベルが変化されるため
ショット内で動的に変化されてもよい。
【００５０】 一旦クリップ中の各ショットが早送りフォーマットに変換されると、画像プロ
セッサ１２０は、変更されたショットを正しい順序に配置する（処理段階４３０
）。集められ、変更されたビデオクリップは、処理される他のビデオクリップと
合体されることを含み画像プロセッサ１２０による更なるアクションのためにビ
デオクリップワークスペース１３２中に記憶され、又は、ディスク記憶装置１４
０に記憶されてもよい。
【００５１】 図４Ｂは、本発明の一実施例によるビデオ処理システム１１０の動作のスロー
モーション方法を描写する典型的な工程系統図（一般的に４５０と指定される）
を示す図である。例示目的のために、図１及び図２を並行して参照する。
【００５２】 最初に、ビデオクリップ源１８０から受信される記憶されたビデオクリップは
、図２のショット１及びショット２のような個々のショットにセグメント化され
る（処理段階４５５）。次に、各ショット内のフレームは、前述の通り、ショッ
トにおけるアクティビティレベルを決定するために互いと比較される（処理段階
４６０）。変化量は、ショット内の動きの速さに等しい。速い動きを有するフレ
ームを含むショットは、より少ない動きを有するフレームを含むショットよりも
ピクセル場所当たりより大きい変化量を有する。
【００５３】 一旦ショット内の相対的な動き量が高から低までに分類されると、高い率又は
低い率で新しいフレームを追加することによって元のショットに関してショット
の速さが減少される。ショットが低アクティビティレベルとして分類される場合
、ショットは隣接するフレームをモーフィングし、比較的低い率で新しいフレー
ムを追加することで補間される（処理段階４６５）。例えば、ショット（又はシ
ョットのサブ部分）においてアクティビティレベルが低い場合、画像プロセッサ
１２０は、元ショットにおける２フレーム毎にモーフィングし１フレームだけ追
加してもよい。
【００５４】 しかしながら、ショットが高アクティビティレベルとして分類される場合、比
較的多数のフレームの追加、及び、モーフィング技法の適用によるフレーム遷移
の補間又は平滑化を通じて速さはほんの少しだけ減少されてもよい（処理段階４
７０）。例えば、ショット（又はショットのサブ部分）においてアクティビティ
レベルが高い場合、画像プロセッサ１２０は元のショット（又はサブ部分）にお
ける２フレーム毎にモーフィングし２フレームを追加してもよい。
【００５５】 一旦クリップ中の各ショットがスローモーションフォーマットに変換されると
、画像プロセッサ１２０は、変更されたショットを正しい順序に配置する（処理
段階４７５）。集められ、変更されたビデオクリップは、処理される他のビデオ
クリップと合体することを含み画像プロセッサ１２０による更なるアクションの
ためにビデオクリップワークスペース１３２中に記憶され、又は、ディスク記憶
装置１４０に記憶されてもよい。
【００５６】 本発明の一実施例では、フレームがスローモーション速度変換中に追加される
又は早送り速度変換中に落とされる相対的な率は、ユーザによって予め設定され
てもよく、又は、画像プロセッサ１２０によて計算されてもよい。例えば、ユー
ザはビデオクリップが５分を超えない期間において早送りで再生されるべきこと
を指定してもよい。このとき早送り速度変換中にフレームが落とされる率は、５
分間の時間制限に対応するよう画像プロセッサ１２０によって始めに計算される
。画像プロセッサ１２０は、最後の変更されたビデオクリップを５分以内で再生
させるために一回以上ビデオクリップの中をループしてもよい。画像プロセッサ
１２０は、指定された時間の持続時間に適合させるためにビデオクリップの高ア
クティビティレベル部分及び低アクティビティレベル部分に異なり重み付け係数
を適用し得る。
【００５７】 本発明は詳細に説明されたが当業者は、広義に本発明の精神及び範囲から逸脱
することなく本願で様々な変化、置換、及び、変更が成され得ることが理解され
るべきである。
【図面の簡単な説明】
【図１】 本発明の一実施例による典型的なビデオ編集システムを示す図である。
【図２】 図１中の典型的な編集システムによって編集されるのに適切な典型的なビデオ
クリップを示す図である。
【図３】 本発明の一実施例による図１中のビデオ編集システム中の典型的なビデオ処理
装置の動作を示す工程系統図である。
【図４Ａ】 本発明の一実施例による早送りの速度変換の編集動作を示す工程系統図である
。
【図４Ｂ】 本発明の一実施例によるスローモーションの速度変換の編集動作を示す工程系
統図である。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 FA14 FA21 FA23 GB05 HA21 KA01 LA03 LA06 5D044 AB07 BC08 CC09 DE49 EF03 EF06 FG10 FG18 FG23 GK02 GK08 GK12

Claims (24)

    【特許請求の範囲】
  1. 【請求項１】 ビデオ編集システムにおいて使用され、一連の関連するフレ
    ームを有する少なくとも第１のショットを含む第１のビデオクリップを受信し、
    選択される速度変換の特殊効果を実施するために上記ビデオクリップを変更する
    ことができるビデオ処理装置であって、 上記少なくとも第１のショットを識別し上記少なくとも第１のショットの少な
    くとも第１の部分内の第１のアクティビティレベルを決定することができる画像
    プロセッサを有し、 上記第１のアクティビティレベルは、上記少なくとも第１の部分における少な
    くとも第１のフレームと第２のフレームの間のビデオコンテンツの変化率を示し
    、 上記画像プロセッサは、上記第１のアクティビティレベルの決定に応答して上
    記少なくとも第１の部分においてフレームの追加、及び、フレームの削除のいず
    れかによって上記選択される速度変換の特殊効果を実施しそれにより変更された
    少なくとも第１のショットを生成するビデオ処理装置。
  2. 【請求項２】 上記画像プロセッサは、上記第１のビデオクリップ中の上記
    少なくとも第１のショット及び第２のショットを区別し、上記選択される速度変
    換の特殊効果を実施する前に上記少なくとも第１のショット及び上記第２のショ
    ットを別個のセグメントに分離することができる請求項１記載のビデオ処理装置
    。
  3. 【請求項３】 上記画像プロセッサは、上記第２のショットの少なくとも第
    １の部分内の第２のアクティビティレベルを決定し、上記第２のアクティビティ
    レベルの決定に応答して上記第２のショットの少なくとも第１の部分においてフ
    レームの追加及びフレームの削除のいずれかによって上記選択される速度変換の
    特殊効果を実施しそれにより変更された第２のショットを生成することができる
    請求項２記載のビデオ処理装置。
  4. 【請求項４】 上記画像プロセッサは、上記変更された少なくとも第１のシ
    ョット及び上記変更された第２のショットを組み合わすことで変更された第１の
    ビデオクリップを生成することができる請求項３記載のビデオ処理装置。
  5. 【請求項５】 上記選択される速度変換の特殊効果は早送りであり、上記画
    像プロセッサは上記第１のアクティビティレベルが第１の所定の閾値を超えない
    場合、第１の所定の率でフレームを削除する請求項１記載のビデオ処理装置。
  6. 【請求項６】 上記画像プロセッサは、上記第１のアクティビティレベルが
    上記第１の所定の閾値を超える場合、上記第１の所定の率よりも低い第２の所定
    の率でフレームを削除する請求項５記載のビデオ処理装置。
  7. 【請求項７】 上記選択される速度変換の特殊効果はスローモーションであ
    り、上記画像プロセッサは上記第１のアクティビティレベルが第１の所定の閾値
    を超えない場合、第１の所定の率でフレームを追加する請求項１記載のビデオ処
    理装置。
  8. 【請求項８】 上記画像プロセッサは、上記第１のアクティビティレベルが
    上記第１の所定の閾値を超える場合、上記第１の所定の率よりも高い第２の所定
    の率でフレームを追加する請求項７記載のビデオ処理装置。
  9. 【請求項９】 一連の関連するフレームを有する少なくとも第１のショット
    を含む第１のビデオクリップを受信し、選択される速度変換の特殊効果を実施す
    るために上記ビデオクリップを変更することができるビデオ処理装置を有するビ
    デオ編集システムであって、上記ビデオ処理装置は、 上記少なくとも第１のショットを識別し上記少なくとも第１のショットの少な
    くとも第１の部分内において上記少なくとも第１の部分における少なくとも第１
    のフレームと第２のフレームの間のビデオコンテンツの変化率を示す第１のアク
    ティビティレベルを決定し、上記第１のアクティビティレベルの決定に応答して
    上記少なくとも第１の部分においてフレームの追加及びフレームの削除のいずれ
    かによって上記選択される速度変換の特殊効果を実施しそれにより変更された少
    なくとも第１のショットを生成する画像プロセッサと、 上記変更された少なくとも第１のショットを表示するディスプレイモニタと、 上記選択される速度変換の特殊効果を選択することができるユーザコマンドを
    受信するユーザ入力装置とを有するビデオ編集システム。
  10. 【請求項１０】 上記画像プロセッサは、上記第１のビデオクリップ中の上
    記少なくとも第１のショット及び第２のショットを区別し、上記選択される速度
    変換の特殊効果を実施する前に上記少なくとも第１のショット及び上記第２のシ
    ョットを別個のセグメントに分離することができる請求項９記載のビデオ編集シ
    ステム。
  11. 【請求項１１】 上記画像プロセッサは、上記第２のショットの少なくとも
    第１の部分内の第２のアクティビティレベルを決定し、上記第２のアクティビテ
    ィレベルの決定に応答して上記第２のショットの上記少なくとも第１の部分にお
    いてフレームの追加及びフレームの削除のいずれかによって上記選択される速度
    変換の特殊効果を実施しそれにより変更された第２のショットを生成することが
    できる請求項１０記載のビデオ編集システム。
  12. 【請求項１２】 上記画像プロセッサは、上記変更された少なくとも第１の
    ショット及び上記変更された第２のショットを組み合わすことで変更された第１
    のビデオクリップを生成することができる請求項１１記載のビデオ編集システム
    。
  13. 【請求項１３】 上記選択された速度変換の特殊効果は早送りであり、上記
    画像プロセッサは上記第１のアクティビティレベルが第１の所定の閾値を超えな
    い場合、第１の所定の率でフレームを削除する請求項９記載のビデオ編集システ
    ム。
  14. 【請求項１４】 上記画像プロセッサは、上記第１のアクティビティレベル
    が上記第１の所定の閾値を超える場合、上記第１の所定の率よりも低い第２の所
    定の率でフレームを削除する請求項１３記載のビデオ編集システム。
  15. 【請求項１５】 上記選択される速度変換の特殊効果はスローモーションで
    あり、上記画像プロセッサは上記第１のアクティビティレベルが第１の所定の閾
    値を超えない場合、第１の所定の率でフレームを追加する請求項９記載のビデオ
    編集システム。
  16. 【請求項１６】 上記画像プロセッサは、上記第１のアクティビティレベル
    が上記第１の所定の閾値を超える場合、上記第１の所定の率よりも高い第２の所
    定の率でフレームを追加する請求項１５記載のビデオ編集システム。
  17. 【請求項１７】 一連の関連するフレームを有する少なくとも第１のショッ
    トを含む第１のビデオクリップに対して速度変換の特殊効果を実施するためにビ
    デオ処理システムを動作する方法であって、 上記少なくとも第１のショットの少なくとも第１の部分において上記少なくと
    も第１の部分内における少なくとも第１のフレームと第２のフレームの間のビデ
    オコンテンツの変化率を示す第１のアクティビティレベルを決定する段階と、 上記第１のアクティビティレベルの決定に応答して上記少なくとも第１の部分
    においてフレームの追加及びフレームの削除のいずれかを実施しそれにより変更
    された少なくとも第１のショットを生成する段階とを有する方法。
  18. 【請求項１８】 上記第１のビデオクリップにおいて上記少なくとも第１の
    ショット及び第２のショットを区別する段階、及び、 選択される上記速度変換の特殊効果を実施する前に上記少なくとも第１のショ
    ット及び上記第２のショットを別個のセグメントに分離する段階を更に有する請
    求項１７記載の方法。
  19. 【請求項１９】 上記第２のショットの少なくとも第１の部分内の第２のア
    クティビティレベルを決定する段階、及び、 上記第２のアクティビティレベルの決定に応答して上記第２のショットの少な
    くとも第１の部分においてフレームの追加及びフレームの削除のいずれかを実施
    しそれにより変更された第２のショットを生成する段階を更に有する請求項１８
    記載の方法。
  20. 【請求項２０】 上記変更された少なくとも第１のショット及び上記変更さ
    れた第２のショットを組み合わすことで変更された第１のビデオクリップを生成
    する段階を更に有する請求項１９記載の方法。
  21. 【請求項２１】 ビデオ編集システムにおいて使用され、一連の関連するフ
    レームを有する少なくとも第１のショットを含む第１のビデオクリップに対して
    速度変換の特殊効果を実施するためにコンピュータ読取り可能な記憶媒体に記憶
    されるコンピュータによって実行可能な処理段階であって、 上記少なくとも第１のショットの少なくとも第１の部分において上記少なくと
    も第１の部分における少なくとも第１のフレームと第２のフレームの間のビデオ
    コンテンツの変化率を示す第１のアクティビティレベルを決定する段階と、 上記第１のアクティビティレベルの決定に応答して上記少なくとも第１の部分
    においてフレームの追加及びフレームの削除のいずれかを実施しそれにより変更
    された少なくとも第１のショットを生成する段階とを有するコンピュータ実行可
    能な処理段階。
  22. 【請求項２２】 上記第１のビデオクリップにおいて上記少なくとも第１の
    ショット及び第２のショットを区別する段階、及び、 選択される上記速度変換の特殊効果を実施する前に上記少なくとも第１のショ
    ット及び上記第２のショットを別個のセグメントに分離する段階を含む、請求項
    ２１記載のコンピュータ読取り可能な記憶媒体に記憶されるコンピュータ実行可
    能な処理段階。
  23. 【請求項２３】 上記第２のショットの少なくとも第１の部分内の第２のア
    クティビティレベルを決定する段階、及び、 上記第２のアクティビティレベルの決定に応答して上記第２のショットの少な
    くとも第１の部分においてフレームの追加及びフレームの削除のいずれかを実施
    しそれにより変更された第２のショットを生成する段階を含む、請求項２２記載
    のコンピュータ読取り可能な記憶媒体に記憶されるコンピュータ実行可能な処理
    段階。
  24. 【請求項２４】 上記変更された少なくとも第１のショット及び上記変更さ
    れた第２のショットを組み合わすことで変更された第１のビデオクリップを生成
    する段階を含む、請求項２３記載のコンピュータ読取り可能な記憶媒体に記憶さ
    れるコンピュータ実行可能な処理段階。
JP2001517804A 1999-08-17 2000-07-31 ビデオコンテンツに基づきビデオストリームにおいて早送り及びスローモーションの速度変換を実施するシステム及び方法 Pending JP2003507943A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/375,950 US6424789B1 (en) 1999-08-17 1999-08-17 System and method for performing fast forward and slow motion speed changes in a video stream based on video content
US09/375,950 1999-08-17
PCT/EP2000/007417 WO2001013641A1 (en) 1999-08-17 2000-07-31 System and method for performing fast forward and slow motion speed changes in a video stream based on video content

Publications (1)

Publication Number Publication Date
JP2003507943A true JP2003507943A (ja) 2003-02-25

Family

ID=23483037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001517804A Pending JP2003507943A (ja) 1999-08-17 2000-07-31 ビデオコンテンツに基づきビデオストリームにおいて早送り及びスローモーションの速度変換を実施するシステム及び方法

Country Status (4)

Country Link
US (1) US6424789B1 (ja)
EP (1) EP1119973A1 (ja)
JP (1) JP2003507943A (ja)
WO (1) WO2001013641A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017514427A (ja) * 2015-03-31 2017-06-01 シャオミ・インコーポレイテッド 再生制御方法、再生制御装置及び電子機器

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795638B1 (en) * 1999-09-30 2004-09-21 New Jersey Devils, Llc System and method for recording and preparing statistics concerning live performances
US6757027B1 (en) * 2000-02-11 2004-06-29 Sony Corporation Automatic video editing
US7262778B1 (en) 2000-02-11 2007-08-28 Sony Corporation Automatic color adjustment of a template design
US7136528B2 (en) * 2000-02-11 2006-11-14 Sony Corporation System and method for editing digital images
US6993719B1 (en) 2000-02-11 2006-01-31 Sony Corporation System and method for animated character photo-editing interface and cross-platform education icon
US7003154B1 (en) * 2000-11-17 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Adaptively processing a video based on content characteristics of frames in a video
US20090282444A1 (en) * 2001-12-04 2009-11-12 Vixs Systems, Inc. System and method for managing the presentation of video
JP4590183B2 (ja) * 2002-01-22 2010-12-01 ソニー株式会社 撮像装置および撮像方法
US7035435B2 (en) * 2002-05-07 2006-04-25 Hewlett-Packard Development Company, L.P. Scalable video summarization and navigation system and method
JP2004355767A (ja) * 2003-05-30 2004-12-16 Canon Inc 再生装置
EP1557837A1 (en) * 2004-01-26 2005-07-27 Sony International (Europe) GmbH Redundancy elimination in a content-adaptive video preview system
TWI263923B (en) * 2004-05-11 2006-10-11 Ali Corp Audio fast-forward playing method
US7752548B2 (en) * 2004-10-29 2010-07-06 Microsoft Corporation Features such as titles, transitions, and/or effects which vary according to positions
US20060271855A1 (en) * 2005-05-27 2006-11-30 Microsoft Corporation Operating system shell management of video files
US7739599B2 (en) * 2005-09-23 2010-06-15 Microsoft Corporation Automatic capturing and editing of a video
US8214516B2 (en) * 2006-01-06 2012-07-03 Google Inc. Dynamic media serving infrastructure
JP4826333B2 (ja) * 2006-05-11 2011-11-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7890985B2 (en) * 2006-05-22 2011-02-15 Microsoft Corporation Server-side media stream manipulation for emulation of media playback functions
US7945142B2 (en) * 2006-06-15 2011-05-17 Microsoft Corporation Audio/visual editing tool
US8954851B2 (en) * 2006-09-15 2015-02-10 Microsoft Corporation Adding video effects for video enabled applications
US8375302B2 (en) * 2006-11-17 2013-02-12 Microsoft Corporation Example based video editing
CN101022028B (zh) * 2007-01-12 2010-08-18 炬力集成电路设计有限公司 数字版权管理多媒体播放器的快进或快退方法
US8139919B2 (en) * 2007-03-29 2012-03-20 Microsoft Corporation Light table editor for video snippets
US8208067B1 (en) * 2007-07-11 2012-06-26 Adobe Systems Incorporated Avoiding jitter in motion estimated video
JP5239744B2 (ja) * 2008-10-27 2013-07-17 ソニー株式会社 番組送出装置、スイッチャ制御方法およびコンピュータプログラム
US20100118147A1 (en) * 2008-11-11 2010-05-13 Honeywell International Inc. Methods and apparatus for adaptively streaming video data based on a triggering event
JP4905474B2 (ja) * 2009-02-04 2012-03-28 ソニー株式会社 映像処理装置、映像処理方法及びプログラム
KR101473249B1 (ko) * 2012-10-30 2014-12-17 주식회사 케이티 콘텐츠 재생 속도 테이블 생성 서버, 디바이스 및 방법
US9928878B2 (en) 2014-08-13 2018-03-27 Intel Corporation Techniques and apparatus for editing video
CN104506947B (zh) * 2014-12-24 2017-09-05 福州大学 一种基于语义内容的视频快进/快退速度自适应调整方法
CN105120337A (zh) 2015-08-28 2015-12-02 小米科技有限责任公司 视频特效处理方法、装置及终端设备
US10678398B2 (en) 2016-03-31 2020-06-09 Intel Corporation Prioritization for presentation of media based on sensor data collected by wearable sensor devices
US10347294B2 (en) * 2016-06-30 2019-07-09 Google Llc Generating moving thumbnails for videos
US11044420B2 (en) * 2018-10-29 2021-06-22 Henry M. Pena Real time video special effects system and method
US10388322B1 (en) 2018-10-29 2019-08-20 Henry M. Pena Real time video special effects system and method
US10404923B1 (en) 2018-10-29 2019-09-03 Henry M. Pena Real time video special effects system and method
US11689686B2 (en) 2018-10-29 2023-06-27 Henry M. Pena Fast and/or slowmotion compensating timer display
US11641439B2 (en) 2018-10-29 2023-05-02 Henry M. Pena Real time video special effects system and method
US11120273B2 (en) * 2019-06-21 2021-09-14 Gfycat, Inc. Adaptive content classification of a video content item
CN114125528B (zh) * 2020-08-28 2022-11-11 北京达佳互联信息技术有限公司 一种视频特效处理方法、装置、电子设备及存储介质
CN112653920B (zh) * 2020-12-18 2022-05-24 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN113766275B (zh) * 2021-09-29 2023-05-30 北京达佳互联信息技术有限公司 视频剪辑方法、装置、终端及存储介质
CN115022679B (zh) * 2022-05-30 2023-08-29 北京百度网讯科技有限公司 视频处理方法、装置、电子设备和介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5099322A (en) 1990-02-27 1992-03-24 Texas Instruments Incorporated Scene change detection system and method
JPH04207878A (ja) 1990-11-30 1992-07-29 Toshiba Corp 動画像管理装置
AU657510B2 (en) * 1991-05-24 1995-03-16 Apple Inc. Improved image encoding/decoding method and apparatus
GB2264020B (en) 1992-01-31 1995-10-25 Sony Broadcast & Communication Digital video signal processing
US5594676A (en) 1994-12-22 1997-01-14 Genesis Microchip Inc. Digital image warping system
JP3319678B2 (ja) * 1995-08-11 2002-09-03 ケイディーディーアイ株式会社 動画像の高速ブラウジング装置
US5835163A (en) * 1995-12-21 1998-11-10 Siemens Corporate Research, Inc. Apparatus for detecting a cut in a video
JP3733984B2 (ja) * 1997-01-29 2006-01-11 富士ゼロックス株式会社 情報蓄積装置および情報蓄積方法
US6034731A (en) * 1997-08-13 2000-03-07 Sarnoff Corporation MPEG frame processing method and apparatus
US6408128B1 (en) * 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017514427A (ja) * 2015-03-31 2017-06-01 シャオミ・インコーポレイテッド 再生制御方法、再生制御装置及び電子機器
US10217487B2 (en) 2015-03-31 2019-02-26 Xiaomi Inc. Method and device for controlling playback

Also Published As

Publication number Publication date
EP1119973A1 (en) 2001-08-01
WO2001013641A1 (en) 2001-02-22
US6424789B1 (en) 2002-07-23

Similar Documents

Publication Publication Date Title
JP2003507943A (ja) ビデオコンテンツに基づきビデオストリームにおいて早送り及びスローモーションの速度変換を実施するシステム及び方法
US8782563B2 (en) Information processing apparatus and method, and program
KR101382954B1 (ko) 정보 처리 장치와 방법 및 프로그램이 기록된 기록 매체
EP0729117B1 (en) Method and apparatus for detecting a point of change in moving images
US7739599B2 (en) Automatic capturing and editing of a video
JP3250467B2 (ja) 映像要約方法および映像表示方法
US6347114B1 (en) Video signal analysis and storage
US20070089152A1 (en) Photo and video collage effects
US8792778B2 (en) Video data display apparatus and method thereof
US9071806B2 (en) Reproducing apparatus
JP2002084488A (ja) ビデオ生成システム及びカスタムビデオ生成方法
JP2006174309A (ja) 動画再生装置、プログラム、及び記録媒体
JP4253139B2 (ja) フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体
JPH10503341A (ja) ビデオを圧縮および分析するための方法および装置
US20080181515A1 (en) Image processing apparatus, image processing method, and program
JP2000350165A (ja) 動画像記録再生装置
JP3240871B2 (ja) 映像要約方法
JP2008131617A (ja) 映像処理装置
JP4323601B2 (ja) 画像処理システム及び画像処理方法
JP2980387B2 (ja) 映像内容圧縮表示処理方法
JP4189575B2 (ja) 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JPH11261946A (ja) 映像表示方法および装置並びに該映像表示方法を記録した記録媒体
JP4656199B2 (ja) 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP4609711B2 (ja) 画像処理装置および方法、並びにプログラム
JP2005167822A (ja) 情報再生装置及び情報再生方法