JP2000350159A - 視覚画像編集システム - Google Patents

視覚画像編集システム

Info

Publication number
JP2000350159A
JP2000350159A JP2000111125A JP2000111125A JP2000350159A JP 2000350159 A JP2000350159 A JP 2000350159A JP 2000111125 A JP2000111125 A JP 2000111125A JP 2000111125 A JP2000111125 A JP 2000111125A JP 2000350159 A JP2000350159 A JP 2000350159A
Authority
JP
Japan
Prior art keywords
duration
title
clip
clips
edited
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000111125A
Other languages
English (en)
Other versions
JP4250301B2 (ja
JP2000350159A5 (ja
Inventor
Julie Rae Kowald
ラエ コウァルド ジュリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AUPP9705A external-priority patent/AUPP970599A0/en
Priority claimed from AUPP9704A external-priority patent/AUPP970499A0/en
Priority claimed from AUPP9706A external-priority patent/AUPP970699A0/en
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2000350159A publication Critical patent/JP2000350159A/ja
Publication of JP2000350159A5 publication Critical patent/JP2000350159A5/ja
Application granted granted Critical
Publication of JP4250301B2 publication Critical patent/JP4250301B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Abstract

(57)【要約】 【課題】 各々が判定可能な持続時間を持つ一連のクリ
ップを有する映像シーケンスを編集する方法を提供す
る。 【解決手段】 各々が判定可能な持続時間を持つ少なく
とも1つのクリップを有する映像シーケンス100か
ら、各クリップに関連し、対応する持続時間に関する時
間データを少なくとも含む特性データ104を抽出(1
02)し、編集命令データを形成(126)するため
に、複数の所定のセグメント持続時間に基づき複数の編
集済みセグメントを形成すべく構成された所定のカット
フォーマットを少なくとも有する編集規則の少なくとも
1つのテンプレート124に従って特性データを処理
(118)し、編集済みセグメントの編集済みシーケン
ス134を形成するために編集命令データに従って映像
シーケンスを処理(130)する。

Description

【発明の詳細な説明】
【0001】
【発明が属する技術分野】本発明は生の動画場面の編集
に関し、特に、所望の結果を提供するために生の場面の
編集を容易にするようにフィルム又は映像情報から得ら
れる画像クリップのシーケンスから情報を抽出すること
に関する。特定の実現形態は、殆ど関心のない場面部分
の再生を回避するように再生時間を短縮しつつ生の場面
の重要部分を捕捉するクリップのシーケンスを提供する
ための供給元画像資料の自動編集に関し、また、場面に
おける重大イベントの識別、タイトルの配置及びプリン
トのための、オリジナルの場面を代表するフレームであ
る一連の個別フレームの抽出に関する。
【0002】
【従来の技術】生のビデオ又は映画フィルムからよどみ
ない、リズミカルな編集結果を作成するに当たり、興味
を引く面白い成果を得るためには、特殊な技術が必要で
ある。フィルムを処理する場合、代表的には、コンピュ
ータの助けを借りて画像のシーケンスを容易に操作でき
るように、フィルムを映像フォーマットに変換する。映
像編集を利用して特定のシーケンスが完成したならば、
オリジナルのフィルムを従来の方式に従ってカットし、
繋ぎ合わせて、高品質の再生作品を確保できる。従っ
て、このようなプロセスは(アナログであれ、デジタル
であれ)映像の操作に関連しており、デジタルフィルム
効果、編集及び音響デザインを含めたいくつかの分野に
おける熟練した技術を必要とする。このような技術を一
人の人間が身に付けていることはまれであり、それぞれ
の技術は高いレベルの訓練を要し、何年間もフィルム製
作業界で働いて初めて身に付けられるものである。
【0003】アマチュアがビデオを製作する場合、同一
の材料を与えられたときにプロが達成できると思われる
成果をそのまま実現するのに必要な時間、専門知識、精
巧な機器を備えているケースはまれである。多くの場
合、アマチュアの作品はビデオの関係者にのみ個人的に
面白く、関係のない視聴者の興味は早い段階で画面から
失われてしまう。そのような無関心さは、ある意味で
「ごく普通の」オリジナル場面を面白味に富んだ最終編
集バージョンに変えることのできる編集技法を十分に適
用していないことによって引き起こされることが多い。
アマチュアのビデオに欠けているプロの一般的な編集・
製作の基本的技法には、興味を引くタイトルの挿入、リ
ズム感のある編集方式、場面転換及びカットの適切な使
用、サウンドトラック及びバッキングトラック、色修正
などのデジタル効果の適用、パーティクルアニメーショ
ン、異なる種類のショットの適用などがある。
【0004】オリジナル場面の編集では、クリップが当
初取り出された順序に対応するシーケンスでクリップを
配置しなければならない。アマチュアとプロが同様に現
時点で利用できるツールは、ビデオカードを伴って又は
ビデオカードなしでパーソナルコンピュータ(PC)で
稼動し、編集を目的として線的な時刻表を管理するよう
に構成されているソフトウェアを含む。オリジナル情報
源テープから新たなテープへシーケンス付けを行うため
に、デュアルビデオカセットレコーダ(VCR)などの
ハードウェアを使用しても良い。いずれの方法をとって
も、それぞれのクリップをシーケンス中の所定の場所に
手作業で割り付けて行くという「手間のかかる」方式を
必要とするため、編集は長い時間を要する作業である。
ディゾルブ又はクロスフェードなどの場面転換も手作業
で挿入しなければならず、多くの場合、コンピュータ補
助製作装置に処理上の重い負荷を課すことになる。ま
た、アマチュアのビデオ製作者は場面転換と、それらを
どこで使用すべきかということを正しく理解する能力に
欠けている場合が多く、そのため、製作システムからの
資源の不適切な使用や、過剰な使用、即ち、垂れ流しに
なってしまい、とてもプロとは言えない仕上がりにな
る。現在のデュアルVCR方式には問題がある。例え
ば、編集が完了した後に、アマチュアがビデオの一部を
手直ししたい場合、プロセス全体をもう一度実行しなけ
ればならない。
【0005】編集済みビデオにタイトルを挿入する場合
にも、まず、新たなシーンの場所を判定するために、場
面を解析しなければならない。この作業では、in−o
utポイントを記録しながら場面を慎重に検討しなけれ
ばならないため、ビデオ製作者が利用可能である場面の
量に比べて多少の時間を要し、更に、タイトルマットを
挿入するのに、また時間がかかる。最良の結果を得るた
めには、新たなシーンを挿入するときに、映像の残り部
分に至る交互の場面転換を挿入しなければならない。
【0006】「インタータイトル」としても知られてい
る挿入タイトルは、以前、無声映画の製作に当たり、音
声がないので視聴者に登場人物やストーリーに関する情
報を伝えるのを助けるために使用されていた。今日の作
品においても、アクションに対するコメントを容易に
し、ユーモアを生み出し、時間や場所を設定し、また、
全く異なるシーンの間につながりを生み出すために、挿
入タイトルは使用されている。この挿入タイトルを作成
する現在の方法は、植字工として知られている人によっ
て実行されている。植字工は、映画又は作品の著者から
内容を記した文書を渡される。植字工はそのテキストを
写真製版や手書き或いはデスクトップパブリッシングシ
ステムを使用して活字にする熟練工である。多くの場
合、その言葉はストーリーの内容を知っている著者が考
えたもので、ウィットに富んだ言い回しで書かれてい
る。或いは、場所や時間のセッティングを伝える場合に
は、一般に直接的で、情報を提供する言葉となる。挿入
タイトルは編集者の短いリストに組み込まれ、その後、
映画の中に順次挿入される。挿入タイトルの持続時間
は、主に、視聴者が理解しなければならない語と音節の
数に従って設定される。作品のジャンルやスタイルによ
ってもタイトルの時間は変わり、編集者が映画の中にお
ける連続性をどの程度まで維持できるかによっても異な
る。
【0007】
【発明が解決しようとする課題】従って、従来の方式に
より挿入タイトルを作成するには、それぞれが特殊技能
を備えた多くの人が必要である。挿入タイトル向けのテ
キストを書くためには、映画のストーリー、ジャンルに
関する知識と、視聴者の教養の程度に対する理解が必要
である。映画のジャンルを良く表すようにテキストを活
字組みするには、特殊なデザイン技術が必要であり、挿
入タイトルを次々に流れて行く映画の適切な場所に挿入
するためには、編集者の特殊な技能が要求される。その
ため、挿入タイトルの作成は複雑で、費用もかかり、長
い時間を要するプロセスである。
【0008】現在の音声編集方法はきわめて特殊な方法
であり、最終編集後のリズムにビート同期で装飾音を付
加するという概念は大半のアマチュアビデオ製作者の範
囲をはるかに超えている。選択されたサウンドトラック
の音声波形を解析し、映像カットを同期させるのに要す
る時間は論外のものであり、機器は多くのアマチュアに
とってとても正当であるとは言えないほど高価であり、
その技法はデュアルVCRによる編集で管理するには困
難すぎる。
【0009】本発明の目的は、アマチュアによるビデオ
作品に関連する欠陥の1つ又は2つ以上をほぼ克服する
か、又は少なくとも軽減することである。
【0010】
【課題を解決するための手段】本開示の一態様によれ
ば、各々が判定可能な持続時間を持つ少なくとも1つの
クリップを有する映像シーケンスを編集する方法であっ
て、前記映像シーケンスから、前記各クリップに関連
し、対応する前記持続時間に関する時間データを少なく
とも含む特性データを抽出する工程と、編集命令データ
を形成するために、複数の所定のセグメント持続時間に
基づき複数の編集済みセグメントを形成すべく構成され
た所定のカットフォーマットを少なくとも有する、編集
規則の少なくとも1つのテンプレートに従って前記特性
データを処理する工程と、前記編集済みセグメントの編
集済みシーケンスを形成するために前記編集命令データ
に従って前記映像シーケンスを処理する工程とを有する
ことを特徴とする方法が提供される。
【0011】本開示の他の態様によれば、複数の個々の
クリップと、前記クリップが記録された実時間に関する
時間データを少なくとも含む関連データとを有する映像
シーケンスを編集する方法であって、所定の時間関数に
より関連付け可能であり、対応する複数のクリップ群に
配列されるクリップを前記クリップの中から識別するた
めに、前記クリップ毎に前記時間データを検査する工程
と、前記各クリップ群の始まりと終わりのうち少なくと
も一方をタイトルの場所として識別する工程と、少なく
とも1つの前記タイトルの場所で、少なくともテキスト
成分を含む挿入タイトルを生成するために対応する前記
時間データと更なるデータの少なくとも1つを検査する
工程と、前記タイトルの場所で前記挿入タイトルを前記
映像シーケンスの中に組み込む工程とを有することを特
徴とする方法が提供される。
【0012】本開示の他の態様によれば、第2の数の個
々のクリップを有する映像シーケンスから第1の数の個
々の画像を抽出する方法であって、前記各クリップから
分割されるセグメントの数がほぼ等しくなるように、前
記シーケンスを前記第1の数に対応する複数のセグメン
トに分割する工程と、前記セグメント毎に、前記セグメ
ントの所定の部分の中の複数の映像フレームを識別し、
前記セグメントの1つの代表フレームを選択するために
前記フレームを処理し、抽出画像を形成するために前記
代表フレームを相互に関連付ける工程とを有することを
特徴とする方法が提供される。
【0013】
【発明の実施の形態】以下、図面を参照しながら本発明
に係る実施の形態を詳細に説明する。
【0014】本実施形態は、満足な再生を可能とするた
めに生の映像場面の自動編集を補助することを全て目的
とする多くの態様を含む。一つの態様においては、自動
編集ツールは視聴者に面白くないと受け取られるおそれ
のある、又は視聴者の注目の限界を超える、過剰に長い
映像カットを取り込むことを回避しつつ、オリジナルの
生の場面の本質を捉えた編集済みのバージョンを提供す
るように、生の場面のリズム感のある編集を実行する。
別の態様においては、生の場面のスチルショットによる
概要を形成できるように、生の場面を代表する複数の個
別フレームを映像カットの中から取り出す構成が提供さ
れる。更に別の態様においては、生の場面の様々に異な
る段階を区別するために、編集済みのバージョンに挿入
タイトルを配置する方法が開示される。
【0015】図1A及び図1Bを参照すると、代表的な
映像場面は、デジタルビデオカメラ10又はアナログビ
デオカメラ20の何れか一方から得られる。デジタルビ
デオカメラの場合、レコードボタン12を押すと、磁気
テープ、磁気ディスク及び/又は半導体メモリに代表さ
れる記録媒体に映像信号がデジタル記録される。デジタ
ルビデオカメラの特有の利点の1つは、デジタル映像が
記録されることを含め、またそれに加えてメタデータ1
4をカメラ10により自動的に生成でき、及び/又はカ
メラ10のユーザの手動操作により生成できる構成を内
蔵していることである。デジタルビデオカメラ10から
はデジタル映像場面16が出力されるが、これは、図1
Aでは番号1、2、3、4、…により表されている複数
の個別のクリップにより代表される。通常、映像と共に
記録されるメタデータは個々のクリップの開始と中断に
対する参照ポイントを含み、それらの参照ポイントは記
録が実行された特定の実時間と関連している場合が多
い。それらの時間、及び日付は自動的に記録されても良
い。例えば、ユーザによって入力されるか、又は他のメ
タデータツールによって生成されるその他の詳細な情報
として、場所(例えばGPSロケータ装置により提供さ
れる)に関するデータ及び/又はその時間に記録される
べきイベント情報及びその他の所望の詳細な情報が考え
られる。自動的に生成されたメタデータは、典型的には
レコードボタン12を押す及び/又は離す時点と同時
に、クリップシーケンス16に挿入されるか、クリップ
シーケンス16と関連付けられる。このように、メタデ
ータはクリップ及び/又はその内容の特徴を示す情報の
格納庫となる。
【0016】図1Bを参照すると、アナログビデオカメ
ラ20は、典型的には磁気テープ記録媒体などへの映像
場面の記録を可能にするレコードボタン22を含む。記
録された場面の再生及び/又は編集のためにカメラ20
から信号24が出力される。この信号24は、従来、記
録された場面全体にわたり個々のクリップの開始又は中
断に関する標識を全く伴わずに供給されていた。これ
は、異なるクリップを認識するための特定のメカニズム
を通常含まない従来のセルロイドフィルムと同じ効果を
持つ。この点に関して、従来のフィルム撮影の開始時に
撮影された従来の「クリップボード」は、そのフィルム
の編集担当者によって手作業で識別される1つの標識と
なっており、これは、いずれか1つのクリップの単なる
識別用ではなく、フィルムと音声を同期させるために特
別に与えられたものである。
【0017】カメラ20から取り出されたアナログ映像
又はフィルム映像26のいずれかをデジタルビデオカメ
ラ16と同様の方式で処理するためには、それぞれの信
号をデジタル画像信号に変換するディジタイザ28に信
号24又はフィルム映像26のそれぞれを適宜入力しな
ければならない。ディジタイザ28の出力はクリップ検
出器30に供給され、クリップ検出器30はクリップ間
の場面転換を検出し、メタデータを形成する。そのメタ
データは加算器32でディジタイザ28の出力と組み合
わされて、デジタルビデオカメラ10から取り出される
信号16に匹敵する有効性を備えたデジタルビデオ信号
34が形成される。
【0018】以上説明した構成は、Microsoft Corporat
ionにより開発されたWindows(登録商標)オペレーティ
ングシステムの環境をホストとするコンピュータアプリ
ケーションプログラムとして実現されても良い。しか
し、その他のオペレーティングシステムをホストとする
コンピュータシステムにおいても上述の実施形態を実現
し得ることは当業者には了承されるであろう。例えば、
UNIX(登録商標)、OS/2(登録商標)、DOS(登録商
標)を実行するコンピュータシステムで好適な実施形態
を実行することができる。アプリケーションプログラム
は、マウスやキーボードの操作に応答するメニュー項目
及び制御要素を含むユーザインタフェースを有する。ま
た、アプリケーションプログラムはホストコンピュータ
に直接に接続されるか又はネットワークを介してアクセ
スされる1台又は複数台の表示装置、プリンタ又は記憶
装置に処理済データを送信する能力を有する。更に、ア
プリケーションプログラムは接続されるデジタル通信ネ
ットワーク(例えば「インターネット」)との間でデー
タを送受信する能力を有する。
【0019】上述した構成は、図10に示すコンピュー
タシステム40のような従来の汎用(ホスト)コンピュ
ータシステムを使用して実施できる。他の図面を参照し
て、更に説明されるべき上述のアプリケーションプログ
ラムはコンピュータシステム40で実行されるソフトウ
ェアとして実現される。コンピュータシステム40はコ
ンピュータモジュール41と、キーボード42及びマウ
ス43などの入力装置と、プリンタ57及び音声視覚出
力装置(ビデオ表示装置)56を含む出力装置とを備え
る。変復調器トランシーバ装置(モデム装置)52は、
例えば電話回線又は他の機能媒体を介して接続可能であ
る通信ネットワーク59との間で通信するために、コン
ピュータモジュール41によって使用される。このモデ
ム52は、インターネット及び他のネットワークシステ
ムに対するアクセスを得るために使用できる。
【0020】代表的な構成として、コンピュータモジュ
ール41は、少なくとも1つのプロセッサユニット45
と、例えば半導体ランダムアクセスメモリ(RAM)及
び読み取り専用メモリ(ROM)から形成されるメモリ
ユニット46と、出力インタフェース47を含む入出力
(I/O)と、キーボード42、マウス43及びオプシ
ョンであるジョイスティックに対応するI/Oインタフ
ェース48とを含む。出力インタフェース47は、代表
的にはビデオ表示装置及びスピーカ構成を組み込んだ音
声視覚出力装置56に結合している。記憶装置49が設
けられており、代表的な構成としては、ハードディスク
ドライブ53と、フロッピー(登録商標)ディスクドラ
イブ64とを含む。CD−ROMドライブ55は、代表
的には不揮発性データ供給源として設けられる。コンピ
ュータモジュール41の構成要素45から49及び53
から55は、典型的には接続バス50を介して、当業者
に知られているコンピュータシステム40の従来通りの
動作モードをもたらすように通信する。この実施形態を
実施できるコンピュータの例は、IBM−PC及びコン
パチブル、Sun Sparcstations又はそこから発展した類
似のコンピュータシステムを含む。好適な実施形態の代
表的なアプリケーションプログラムはハードディスクド
ライブ53に常駐しており、プロセッサ45を使用して
読み取られ、制御される。プログラムや、取り出される
データの中間格納は、可能であればハードディスクドラ
イブ53と協調して、半導体メモリ46を使用して実行
しても良い。場合によっては、アプリケーションプログ
ラムをCD−ROM又はフロッピーディスクに符号化し
た形態でユーザに供給しても良いが、ユーザがモデム装
置52を介してネットワークからアプリケーションプロ
グラムを読み取ることもできる。
【0021】特に、デジタル音声ストリーム16又は生
の場面24は、コンピュータネットワーク及びモデム5
2を介することを含めた何らかの適切な方法によるか、
又はCD−ROMドライブ55などの可搬形メモリ装置
によってコンピュータに提供されるか、或いは、例えば
I/Oインタフェース48の「映像」入力端子に直接提
供される。このように、各々のクリップを含む生の映像
場面の全体を利用して、コンピュータ41内でコンピュ
ータ処理を実行することができる。
【0022】図10に示すように、モデム装置52によ
り、映像とそれに付随するサウンドトラックの双方を含
むデジタル映像情報の供給源として機能し得るネットワ
ーク59への接続が可能になる。或いは、例えばデジタ
ルビデオカメラ10からデジタル映像情報を受信するよ
うに構成されたデジタル入力端子91と、アナログビデ
オカセットレコーダ95又はアナログビデオカメラ20
のような装置から各々アナログ形態をとる映像情報93
及び音声情報94を受信するように構成されたアナログ
入力端子92とを含む映像入力インタフェース90が提
供されても良い。これらの信号93及び94は対応する
アナログ/デジタル変換器96及び97に入力され、変
換器の出力は、デジタル入力91と同様に、分離バッフ
ァ78を介してシステムバス50に印加される。図1B
に示すようなクリップ検出をコンピュータモジュール4
1内部のソフトウェアにより実行しても良く、図1A及
び図1Bのシーケンス16及び34に匹敵する画像とサ
ウンドトラックから構成されるメタデータ補強デジタル
ビデオシーケンスを編集及びその他の操作や、出力イン
タフェース47及び音声映像出力装置56を介する再生
のために、システム40内に格納しても良い。
【0023】[リズム感のあるシーケンス編集]図2
に、場面の特定の1項目、この場合、海軍博物館への遠
足の場面の特定の1項目から得られた様々な映像クリッ
プ(01番から16番まで)のシーケンスを表すヒスト
グラム300を示す。図2から明らかなように、それぞ
れが約4秒(クリップ15)の最短時間から29秒(ク
リップ09)まで様々に異なる持続時間を有する個別の
クリップが合わせて16個存在している。個々のクリッ
プの間の描写は、各クリップに関連して格納されている
上述したメタデータによって与えられる。
【0024】直線的な(時系列)順序で見て行くと、オ
リジナルの場面のいくつかの部分は退屈で、面白くない
などということに気づく。リズム感のあるシーケンス編
集は、見ている側に対するアピールをより高めるように
生の映像場面を編集することをいう。プロよる編集作品
の入念な見直しを通して、視聴者の関心はいくつかの短
い期間の後に失われる、特に、焦点の合った画像が殆
ど、或いは全くないところで失われると判定された。こ
れは、特に、家庭で制作された(アマチュアの手にな
る)ビデオ作品に見られるケースであると理解された。
この場合、記録されている内容は、通常多くの場合に家
族、友人、同僚などからなる視聴者よりも、実際にフィ
ルムを製作した人に対して多くの関連性を持っている。
このビデオ作品は、何十分もの長すぎるクリップである
と考えられても、視聴者が興味を保ち続けることができ
る登場人物及び/又はアクションを含む長編映画フィル
ム、テレビ映画などのプロの作品から区別されるべきで
ある。
【0025】そこで、どのような個別クリップであって
も、その興味ある内容を最良の機会を捉えて再生できる
ように、このフィルムに自動的に適用できるいくつかの
規則が判定された。本発明者により判定された規則は二
倍の効果をもたらす。第一に、発明者はアマチュアが撮
影する状況では、レコードボタン12(場合によっては
22)を押した直後に得られるクリップの第1の部分
は、通常、ほとんど関心を呼ばないか、又は低画質であ
ると判定した。これは、ユーザがカメラの焦点をクリッ
プの対象物に合わせるまでに、普通、時間を要するため
である。この時間は、通常、クリップの約1秒間を占
め、このため、好適な実現形態で編集を行う際に使用す
る第1の規則は、どのクリップについても、最初の1秒
間を無視するということである。尚、1秒という期間は
相対的なものであり、問題のクリップ又はオリジナルの
場面を形成しているクリップの持続時間に応じて変わ
る。
【0026】第2の本質的規則は、クリップの残り部分
を複数のセグメントに分割することである。各セグメン
トは、それぞれが特定の時間周期を有する所定の数の間
隔の中の1つである。この点に関して、発明者は、クリ
ップをそれぞれが所定の時間周期を持つ複数のセグメン
トに分割し、所定の時間周期に整合しないクリップの他
の部分を編集によりカットすることにより、再生すべき
場面の量を有効に圧縮でき、しかも、クリップの本質と
場面全体の連続性はそのまま維持されると判定した。好
適な実現形態においては、発明者は、家庭で(アマチュ
アにより)撮影されたビデオ作品の編集には、約4秒か
ら10秒の持続時間を有するクリップセグメントを使用
するのが最良であると判定した。ユーザの特定の条件、
提供される情報源資料の種類、又は使用される場所、選
択した編集テンプレートの種類(後述する)によってそ
れらの時間周期が異なることは明白であろう。
【0027】図3に、図2に示す海軍博物館への遠足の
場面について、上記の規則に従って行ったクリップ解析
を示す。図3から明らかなように、図3でも、生の場面
は同様に、16の生のクリップ(09から16)から構
成されるものとして示されており、各クリップは何らか
の方法により再生のために希望される1つのクリップ又
は編集済みクリップ(001から026)に分割されて
いる。編集済みクリップ(001から026)は、それ
ぞれ、各生のクリップ(01から16)の少なくとも1
秒後に始まっていることが図3から明白であろう。更
に、約7秒の長さであることがわかる第1の生のクリッ
プ(クリップ01)は、4秒の持続時間を有する第1の
クリップセグメント(クリップ001)を形成するよう
に編集されている。生の場面のクリップ01のその他の
部分は別の編集セグメントに対応するには不十分であ
り、次の編集済みセグメントは次の生のクリップ02か
ら取り出されている。この特定の例においては、編集は
4秒のクリップと10秒のクリップを交互に使用するこ
とにより行われており、第2の生のクリップ02で見る
と、10秒の編集済みセグメント002はそのクリップ
から取り出されている。更に、第2の生のクリップ02
は20秒の持続時間を有するので、次の4秒クリップ0
03をこの第2の生のクリップ02から取り出せるとい
うメカニズムが働く。図3から明らかであるように、何
れか1つの生のクリップから取り出された編集済みクリ
ップを分離するために、この実施形態では2秒である所
定の時間周期が規定されている。
【0028】このようにして、海軍博物館への遠足の場
面の生のクリップ01から16の各々は4秒セグメント
と、10秒セグメントの交互配列を必要に応じて使用し
て編集される。図3から明白であるように、個々の生の
クリップから取り出される編集済みセグメントの数はオ
リジナルの生のクリップの持続時間によって決まる。更
に、生のクリップ15から明らかであるように、このク
リップは5秒未満の持続時間であるので、上記の規則に
よれば、この生の場面からはクリップを編集できない結
果となる。これは、クリップ15の最初の1秒間を取り
除いてしまうと、4秒未満となり、シーケンスで望まれ
る10秒のセグメントが得られないからである。この例
では、リズム感のあるシーケンス設定方法は、所望のセ
グメント間隔のシーケンス持続時間の70%に満たない
と考えられる編集クリップは拒絶するように働く。好適
な実施形態では、ある1つのクリップの一部が所望のセ
グメント持続時間の70%から200%である場合、1
つの編集済みクリップを形成する修正後のその部分の再
生時間が適切な10秒と4秒のセグメントの再生時間に
整合するように、その部分は(時間圧縮又は時間伸張に
より)修正可能である。例えば、QUICKTIMEの商品名で
販売されているソフトウェア製品を使用すると、約25
%から400%の範囲で映像時間フレームの圧縮/伸張
を行うことができる。
【0029】図3の例からわかるように、生の場面の総
持続時間は16の生のクリップにわたり327秒である
が、図示されている通り、これを編集すると、編集済み
クリップの数は26となり、再生可能な画像の時間は合
わせて176秒である。その結果、編集済みバージョン
全体の再生時間はオリジナルの場面と比較してほぼ半減
したことになる。更に、編集済み場面はリズム感のある
4秒と10秒の変化を示すので、視聴者の関心は薄れな
い。
【0030】以上のことに基づいて、クリップの集合体
を提示するためのシステムは、ここでは「テンプレー
ト」という用語で呼ばれる選択された一組の規則を適用
するために、クリップの持続時間のプロファイルの作成
と、その他の時間関連メタデータを基礎とすることがで
きる。様々に異なる持続時間を有するクリップに対応す
るために、テンプレートの中に規則の階層を埋め込めば
良い。例えば、数秒又は数フレーム分の持続時間しかな
いクリップは、何時間又は何十分にもわたる持続時間の
クリップとは異なる方法で管理することができる。
【0031】更に、オリジナルの場面から個々のセグメ
ントをどのように編集するかは、その場面の実際の内容
によって異なるであろう。例えば、図3は生のクリップ
から編集済みクリップを選択するために特定のタイミン
グ規則を利用していたが、別の選択を行うことも可能で
ある。一例を挙げると、図4に示すように、オリジナル
の生の映像に付随するサウンドトラックの解析を利用し
て、関心領域を識別することができる。そのような関心
領域の例として、スポーツの場面における観衆の歓声
や、会議の場面での発言者の声などが挙げられる。この
ようにして、サウンドトラックを解析し、音声レベルが
上昇した発言を識別することにより、その箇所で始める
か、又はその箇所にまたがって場面を設定するかなど、
クリップの選択を行い、音声のピークの前、又はそれを
含む期間、或いはそれに続けて関連性の高い、おそらく
は興味を引くであろう内容を得ることができるのであ
る。
【0032】興味あるクリップセグメントを識別するた
めの音声検出を行うときには、所定の閾値と比較してピ
ーク値を検査するだけで良いのであるが、多くの場合、
その閾値を可変とし、総雑音レベルより背景雑音レベル
を閾値に反映させる方が有利である。これにより、シス
テムは、閾値ピーク検査及び識別のために、クリップ集
合体の提示毎又はクリップ毎のプロファイルを生成する
ことができる。
【0033】図6Aに、きわめて可変性の高いと思われ
る大きな背景雑音が存在するところで音声ピークを判別
することを可能にする構成60を示す。音声信号62を
比較器64の非反転入力端子と、低域フィルタ66とに
入力する。この低域フィルタ66の時定数は、メタデー
タなどの提供をトリガするのには望まれない低レベルの
背景雑音を十分に除去しうる周期に設定されている。低
域フィルタ66の出力は比較器64の反転入力端子に供
給され、実際には低域フィルタ66の時定数に沿って平
均された音声信号である信号を形成する。比較器64は
平均音声信号と瞬時音声信号とを比較して、瞬時信号が
平均信号を越えた時点を示すトリガ信号68を発生す
る。トリガ信号68は(別の)メタデータとして映像シ
ーケンスと共に取り込まれても良い。
【0034】図6Bに、より洗練された音声検出構成7
0を示す。音声入力信号84を全波整流器82に入力
し、全波整流器82は一対の低域フィルタ74及び76
に全波整流信号72を供給する。低域フィルタ74及び
76はそれぞれ対応する時定数τ1と、時定数τ2を有
する。低域フィルタ74及び76の出力端子は、同様に
トリガ信号80を供給するように構成されている比較器
78の対応する入力端子に出力を供給する。この構成の
場合、時定数τ1及びτ2は、背景雑音と所望の音声と
を適切に判別するように設定されていても良い。例え
ば、τ2は背景雑音を判別できるようにするために、背
景雑音を公正に表現するような相対的に長い周期(例え
ば、5秒)に設定されていても良い。τ1は、瞬間的な
場面転換音声との判別は可能でありながら、所望の雑音
内容(例えば、観衆の歓声又は所望の発言者の声)の検
出が十分に行えるように、より短い周期に設定されても
良い。この点に関して、τ1は約0.5秒の時間周期に
設定されれば良い。その結果、回路70はいつ所望の音
声ピークが判定されたかに関するマーカ又はメタデータ
を十分に提供し得る2つの論理レベルの間で変化するト
リガ信号80を発生するように動作する。このメタデー
タは生の映像場面と組み合わされて、最終的な編集済み
バージョンでおそらく選択されるであろう関心セグメン
トを識別するためのクリップ解析手続きに使用されても
良い。
【0035】図6A及び図6Bの構成は、例えば、音声
−ADC97の入力端子の側で、アナログ回路を使用し
て実現されても良い。或いは、デジタルフィルタリング
及びレベル比較を実行するハードウェア(コンピュータ
モジュール41内に構成されるDSP装置)又はソフト
ウェア(コンピュータモジュール41内で稼動する)の
何れかによるデジタル構成を使用した実現も可能であ
る。
【0036】更に、生の場面の編集を実質的に、又は少
なくとも知覚の上で、サウンドトラックと同期させて、
サウンドトラックを編集済み場面にダビングすることも
可能であろう。これは、適切なビートを識別するために
サウンドトラックを検査し、知覚の上での同期性を実現
するために音声又は映像の一方、或いはその双方の再生
速度を調整することを含む。例えば、毎分120回のビ
ートを有する音楽は毎秒2ビートとなり、これを先に説
明した10秒、4秒のシーケンスのような0.5秒の整
数倍である持続時間を有する編集済みクリップを含むリ
ズム感のあるシーケンスの中に均等に分割するのであ
る。
【0037】以上説明した自動検出方法及び後述するそ
の他の方法により、1つ又は複数のクリップから構成さ
れる生の映像場面を処理し、視聴者の関心をより引き易
く、且つ保ち易いリズム感のある画像のシーケンスを形
成する編集作品において複数のクリップセグメントを形
成する複数の関心部分を識別することが可能になる。特
定の実現形態によれば、生の映像信号の解釈時に適用さ
れる実際の規則は、所定の映像作成スタイルに基づいて
編集済み映像シーケンスの作成を行うと共に、様々に異
なる種類の生の映像に適合し得るテンプレート構成によ
って判定される。1つの編集済みシーケンスを作成する
ために生の映像を編集すべく使用できる所定の編集規則
の組み合わせをそれぞれ組み込んだテンプレートの例
は、 ・標準10−4フォーマット ・音楽ビデオ ・音楽トレーラ ・クイックルックサマリ ・ロマンス ・アクション などである。
【0038】それぞれ異なるテンプレートはそれぞれ異
なるスタイル、構造の結果をもたらすように構成されて
おり、生の映像場面が選択された特定のテンプレートに
適合しているか否かに関わらず、生の映像場面の解釈を
行うべく、ユーザにより選択される。
【0039】[例1−標準テンプレート]標準テンプレ
ートは、多様な情報源場面の基本的編集を行うために適
用できるテンプレートである。このテンプレートの様々
な属性は次の通りである。 (1)シーケンス:シーケンスは、最終編集結果を得る
ために場面をカットするための時間ベースである。即
ち、ラインシーケンスは編集済みクリップの実際の持続
時間を指定する。先の例では、10−4秒フォーマット
に符合する。10−4フォーマットの代わりに、12−
4又は12−6などの他のフォーマットを使用しても良
い。 (2)持続時間:持続時間は、一般的には、生の場面中
のクリップの数の持続時間によって決まる。編集済みシ
ーケンスの総持続時間は、必然的に編集済み映像にダビ
ングすべき付随するサウンドトラックの持続時間にも反
映される。しかし、これは7分を越える長いサウンドト
ラックには不適切である。 (3)場面転換:編集済みクリップ間の場面転換は、各
クリップ間の4フレームクロスフェードを使用して行わ
れるのが好ましい。 (4)カット規則:好適な実現形態においては、次のよ
うないくつかのカット規則が適用される。 (a)クリップは古い順にカットされる。 (b)新たなクリップのカット長さを判定する前に、オ
リジナルの各クリップの始めと終わりの1秒間を取り除
く。 (c)同じオリジナルの生のクリップから取り出された
2つの編集済みクリップの間には、12フレームのクロ
スフェードを加える。 (d)可能であれば、10−4のリズム感のあるカット
シーケンスを適用する。 (e)クリップの持続時間によって、2つ以上のクリッ
プをカットできる場合、常に、残りの持続時間の中で、
終わりから1秒間を省略し、且つ2つのクリップの間で
4秒間省略できるだけの時間を確保する。
【0040】[カット規則の例−標準テンプレート]第
1の生のクリップが7秒未満であれば、4秒にカットす
る。生のクリップが7秒以上、10秒未満であれば、オ
リジナルの生のクリップの時間を12秒に伸張した後、
伸張クリップをカットして10秒(幾分スローモーショ
ンになった)クリップを作成する。次のオリジナルの生
のクリップが14秒以上、20秒未満である場合には、
初めの1秒を省略し、次の4秒をカットし、次の4秒を
省略し、次の4秒をカットし、生のクリップの終わりに
至るまで残り部分を省略する。次の生のクリップが20
秒以上であれば、初めの1秒を省略し、4秒をカット
し、次の4秒を飛び越し、残る10秒をカットし、27
秒に至るまで残り部分をカットする。次のクリップが2
8秒以上であれば、初めの1秒を省略し、4秒をカット
し、次の4秒を飛び越し、次に10秒をカットし、次の
4秒を省略し、4秒をカットし、38秒に至るまで残り
部分を省略する。 (5)効果:これは、映像場面に適用し得る視覚効果に
関する。標準テンプレートでは効果は適用されない。 (6)時間伸張:編集済み映像の最終クリップを200
%まで時間伸張し、新たに12秒の持続時間を作る。こ
れを10秒にカットすることにより、クリップの始めと
終わりの1秒ずつを省略する。終わりの3秒間は黒色又
はテンプレートデフォルトにフェードアウトする。 (7)音声:音声はシーケンスに適合するようにビート
伸張される(起こりうる最良の整合を得るために増減す
る)。 (8)マット: (a)シーケンス持続時間中の第1のクリップへのフェ
ードが起こる最初の10秒間に編集自在のタイトルマッ
トを配置する。シーケンスの編集済みクリップの終結時
に編集自在の「終り」マットを設ける。 (b)編集自在のシーンマットやキャストマットを規定
しても良いが、シーケンス中に配置する必要はない。
【0041】[例2−ロマンスモンタージュ] (1)シーケンス:12−4秒 この点に関して、ロマンス形の場面は典型的には落ち着
いたものであるので、シーケンスの持続時間を10−4
シーケンスと比較してわずかに延長して、よりリラック
スし、ゆっくりしたペースを与える。 (2)持続時間:持続時間は、一般的には、ディレクト
リ中のクリップの数の持続時間によって決まる。持続時
間シーケンスは必然的にサウンドトラックの持続時間に
反映されるが、これは7分を越える長さのトラックには
勧められない。 (3)場面転換:12秒クリップの場合、次のクリップ
へのフェードインは現在のクリップが終了する前の最後
の2秒と共に、0から100%の不透明状態である。各
クリップの間で4フレームのクロスフェードを使用す
る。 (4)時間伸張: (a)持続時間を150%に伸張することによりクリッ
プをスピードダウンさせて、よりリラックスした、ロマ
ンチックなフィーリングを与える。 (b)最終クリップの速度を200%まで伸張して、新
たに12秒の持続時間を作り(スローモーションの効果
を発生させ)、そのクリップを10秒にカットすること
によりクリップの始めと終わりの1秒を省略し、その1
0秒のうち終わりの3秒間にわたり黒色テンプレートへ
のフェードアウトを適用する。 (5)カット規則: (a)古い順にカットする。 (b)新たなクリップカット長さを判定するために、は
じめから1秒間を取り除く。 (c)同じショットから取り出された2つのクリップの
間に2秒間のクロスフェードを追加する。 (d)クリップの持続時間によって、2つ以上のクリッ
プをカットできる場合、常に、残る持続時間の中で、終
わりから1秒間を省略し、且つ2つのクリップの間から
4秒間を省略できるだけの時間を確保する。
【0042】[カット規則の例−ロマンスモンタージ
ュ]第1の生のクリップが8秒未満であれば、4秒にカ
ットする。クリップが8秒以上、12秒未満であれば、
14秒に時間伸張し、12秒までカットする。次の生の
クリップが14秒以上、20秒未満であれば、初めの1
秒を省略し、次を4秒にカットし、次の4秒を省略し、
次のクリップを4秒にカットし、20秒に至るまで残る
時間を省略する。次の生のクリップが20秒以上である
場合には、初めの1秒を省略し、4秒をカットし、次の
4秒を飛び越し、27秒に至るまで残る時間を省略しつ
つ残る12秒をカットする。次の生のクリップが28秒
以上であれば、初めの1秒を省略し、4秒をカットし、
次の4秒を飛び越し、続く12秒をカットし、次の4秒
を省略し、38秒に至るまで残り時間を省略しつつ4秒
をカットする。 (6)効果:アニメーションのフォグフィルタを利用
し、ぼんやりとした「ロマンチック」な雰囲気を出す。 (7)音声:起こりうる最良の整合を得るために増減す
るように映像シーケンスに適合させるべく音声をビート
伸張/圧縮する。 (8)マット: (a)第1のクリップへのフェードを伴い、10秒の持
続時間のシーケンス中に編集自在のタイトルマットを配
置する。 (b)シーケンス中に編集自在の「終り」マットを設け
る。 (c)編集自在のシーンマット及びキャストマットを設
けても良いが、特定のシーケンス中に配置する必要はな
い。
【0043】[例3−音楽ビデオクリップ] (1)シーケンス:この例では、映像が音声を補足し、
音声が映像を補足するのではない(時には逆に見えるこ
ともあるだろうが)ため、シーケンスは音声ビートによ
って決まる。例えば、毎分100ビート未満の音楽の場
合、基礎として10−4シーケンスを使用する。毎分1
00ビート以上の場合には、8−3ベースのシーケンス
を使用できる。何れの場合にも、実際のクリップ間隔は
ほぼビート同期が成立するように調整される。例えば、
96ビート/分の音楽では1.6ビート/秒となるの
で、場面を10秒と3.76秒のシーケンスにカットす
ることにより、それぞれ16秒と6秒に近くなり、知覚
の上での同期性が得られることになる。 (2)場面転換:各クリップの間に一般的には4フレー
ムのクロスフェードを入れる。 (3)持続時間:カットのシーケンスの持続時間は必然
的にサウンドトラックの持続時間に反映される。これは
6分より長いトラックについては勧められない。 (4)カット規則: (a)古い順にカットする。 (b)新たなクリップカット長さを判定する前に、各オ
リジナルクリップの始めと終わりから1秒を取り除く。 (c)同じショットから取り出されたクリップの間に1
2フレームのクロスフェードを追加する。 (d)クリップの持続時間によって、2つ以上のクリッ
プをカットできる場合、常に、残りの持続時間の中で、
終わりから1秒を省略し、且つ2つのクリップの間から
4秒を省略するだけの時間を確保する。
【0044】[カット規則の例−音楽ビデオ(10−4
シーケンスの場合)]第1の生のクリップが7秒未満で
あれば、4秒にカットし、クリップが7秒以上、10秒
未満であれば、12秒まで時間伸張し、10秒にカット
する。次の生のクリップが14秒以上、20秒未満であ
れば、初めの1秒を省略し、次の4秒をカットし、次の
4秒を省略し、次の4秒をカットし、20秒に至るまで
残り時間を省略する。次の生のクリップが20秒以上で
あれば、初めの1秒を省略し、4秒をカットし、次の4
秒を飛び越し、27秒に至るまで残り時間を省略しつつ
残る10秒をカットする。次の生のクリップが28秒以
上である場合には、初めの1秒を省略し、4秒をカット
し、次の4秒を飛び越し、次に10秒をカットし、次の
4秒を省略し、4秒をカットし、38秒に至るまで残り
時間を省略する。 (5)効果:なし (6)時間伸張:10−4シーケンスの場合、最終クリ
ップを200%まで時間伸張し、12秒の新たな持続時
間を作り、クリップの始めと終わりの1秒ずつを省略
し、それを10秒にカットする。最後の3秒については
黒色又はテンプレートディフォルトにフェードアウトす
る。 (7)音声:音声の一体性を確保するためには好ましく
ないが、シーケンスを適合させ、起こりうる最良の整合
を得るために、ビートを伸張又は圧縮しても良い。 (8)マット: (a)第1のクリップについては10秒のシーケンス持
続時間の中に編集自在のタイトルマットを配置し、第1
のクリップへフェードインする。 (b)シーケンス中に編集自在の「終り」マットを設け
る。編集自在のシーンマット及びキャストマットを設け
ても良いが、シーケンス中に配置する必要はない。
【0045】[例4−クイックルックテンプレート]ク
イックルックテンプレートにより、ユーザは生の映像内
容の中で提示し得る場面の全てを短時間のうちに流しな
がらプレビューすることができる。このクイックルック
テンプレートは、例えば30秒の指定ディフォルト時間
の中で、又はユーザにより指定された時間でプレビュー
を提示する。所定の時間(30秒)の何倍も長い持続時
間を有するオリジナルの生の場面に対応するために、ク
リップを長さがフレームのみの短い持続時間の集合にカ
ットすることにより、リズム感のある編集シーケンスを
適用する。クリップ速度は、例えば100から600%
の範囲で変更自在であり、カット持続時間は数フレーム
から数秒の範囲である。希望に応じて多様なクイックル
ックテンプレートを形成できる。
【0046】<クイックルックの例1:>クリップを先
に述べた10−4規則に対応する方式で10フレーム
と、4フレームの複数のセグメントに分割する。このよ
うな短い持続時間の中により多くの場面を盛りこむため
に、場面をオリジナルの再生速度の300%まで伸張す
ることもあり、場合によっては、オリジナル場面のフレ
ーム速度を遅くする。例えば、図3に示す構成を使用す
る場合、10−4秒規則を使用して176秒にわたる標
準編集済みクリップを取り出していたが、それらと同じ
クリップを処理して、クリップ毎に10フレームセグメ
ントと、4フレームセグメントとを取り出して、再生の
ために176フレームを得る。例えば、PAL再生シス
テムで使用されているような毎秒25フレームのフレー
ム速度では、これは約7秒の再生時間に相当する。クイ
ックルック方式によれば、4フレームセグメント及び1
0フレームセグメントから選択されたセグメント、或い
はそれらセグメントの全てを伸張して30秒のプレビュ
ー時間を実現する。ユーザはより長い生の場面の「プレ
ビュー」を選択でき、フレーム速度や時間伸張などのシ
ステムパラメータを調整することができる。
【0047】<クイックルックの例2:>この例では、
10−4規則のようなリズム感のあるカット規則を適用
しない。ユーザは、通常情報源場面の全長に関するクイ
ックルックの持続時間を指定する。例えば、5分の生の
場面を30秒のクイックルック再生に圧縮することを希
望しても良い。そこで、ユーザはカット長さをその持続
時間全体を均等に分割したものとなるように調整するこ
とができる。30秒の出力の場合、これは互いに継ぎ合
わされた30個の1秒セグメントから形成されていても
良い。各セグメントは、各クリップを、それぞれが1秒
の(余り又はカット)部分により分離された複数の3秒
部分に分割することにより得られる。各3秒部分を30
0%時間圧縮して所望の再生持続時間を得る。その後、
それらの部分のうち30個を使用してクイックルックプ
レビューを形成する。生のクリップの持続時間が様々に
異なっている場合には、テンプレートにおいて、各生の
クリップから1つの部分を取り出すように保証すること
が望ましい。
【0048】<クイックルック−比較例>この例は、以
下の表1に示すように、多くのクイックルックシーケン
ス規則をアクションシーケンスと比較したものである。
【0049】
【表1】
【0050】上記の例は、あるスタイルの編集済みビデ
オ作品を実現し得るいくつかの異なるテンプレート配列
を表しているに過ぎない。自動編集に関わる上記の規則
を修正して、別のテンプレート構成を設定できることは
当業者には理解されるであろう。その一例は、操作すべ
き特定のジャンルに基づいて様々に異なる範囲の圧縮/
伸張を使用できることである。その他の型のテンプレー
トの例として、「軍隊戦術」、「SF」、「ホラー」、
「戦争」及び「ウェスタン」などの様々な既に確立され
ている映画のスタイルを反映したものが挙げられる。
「スポーツ」や「アクション」などの他のスタイルを使
用しても良い。希望に応じて生の場面に複数のテンプレ
ートを適用しても良い。例えば、生の場面をロマンステ
ンプレートに従って編集し、編集済みバージョンを今度
はアクションテンプレートに従って編集しても良い。更
に、複数のテンプレートを順次又は組み合わせて使用す
れば、様々な規則が何らかの特定の効果を無効にするこ
となく、規則のその適用の優先順位を守るように、規則
の階層を適用できるであろう。
【0051】何れの場合も、特定のスタイルは、望まれ
る編集済み作品再生のスタイルに一般的には適用可能で
あるとわかっているいくつかの標準編集済みクリップの
長さ(例えば、10−4,12−4)の使用を基礎とし
ている。上記のテンプレートは2つの基本クリップ長さ
しか与えていないが、特定の状況に従って、更に多くの
クリップ長さを使用して良い。例えば、野生生物や風景
の場面は、少なくとも持続時間の短いクリップと交互
に、より長いクリップの編集に適しているであろう。更
に、先に説明した様々なテンプレートにおいては1−4
及び12−4フォーマットが好ましいが、その他の持続
時間を使用しても良い。代表的には、「より短い」持続
時間は1秒から8秒の周期であり、より長い持続時間は
12秒から20秒である。また、各クリップの始めから
1秒間のカットも変更できる。通常、0.5秒から1秒
の任意の周期を使用して良い。更に、編集済みセグメン
トの選択の間の2秒の間隔を変更しても良い。1秒から
5秒の持続時間が適切であろう。更に、図3の実施形態
は4秒の編集済みクリップ長さと、10秒の編集済みク
リップ長さとを交互に示していたが、例えば、短い、短
い−短い−長いといった別のパターンになるように様々
なクリップ長さの選択を代えても良いし、或いは使用す
べき特定の持続時間を擬似ランダム方式で選択しても良
い。これは、基本持続時間が3つ以上ある場合に有用で
ある。
【0052】システムは、選択されたテンプレート構造
に従って、そのリズム感のあるシーケンスを使用して適
切な場面転換、ビート同期音楽で生の場面をカットし、
デジタル効果を追加する。デジタル効果の例としては、
オリジナルのカラーパレットの変更、フォッグフィルタ
効果、画像を歪ませることなどがある。このように、こ
こで説明したリズム感のあるシーケンス編集システムは
フィルムエディタ、サウンドエディタ及び特殊効果エデ
ィタの技術をアマチュアが撮影した情報源映像に適用す
ることにより、アマチュアが結果を修正、調整又は単純
に鑑賞するために、映像の再配列を自由に指示できるよ
うになる。これらの効果を生の映像に適用するプロセス
は高速であり、コンピュータシステム40内部における
オフライン(即ち、リアルタイムでない)処理に適して
いる。このプロセスは、アマチュアのフィルム製作者
に、クリップ中に場面転換やin−outポイントを配
置するという繰り返しの作業を通して時間を浪費するの
ではなく、編集中の映像の内容に関してより高いレベル
の判断を自由に行わせることができる。また、この構成
はリアルタイム動作も可能にする。例えば、ある生の映
像源について、単純なキーストローク又はマウス43の
クリックにより所望のテンプレートを選択すると、その
結果システム40により映像源の自動編集が実行され、
編集済みシーケンスはビデオ表示装置56にレンダリン
グされてユーザがそれを直ちに見ることができる。更
に、複数のウィンドウを操作すれば、複数のテンプレー
トに従って情報源映像を同時にリアルタイムで編集、再
生することができる。例えば、これにより、10−4テ
ンプレートと12−4テンプレートとをリアルタイムで
比較して、ユーザがよりアピールすると思う方を出力さ
せることが可能になる。
【0053】動作に関しては、上記のリズム感のあるシ
ーケンス編集システムは、生の映像場面に関連するメタ
データを検査して、上記のテンプレートから情報の組み
合わせを表す編集判断リスト(EDL)を生成すること
により編集結果を提供する。基本的なリズム感のあるシ
ーケンス処理は、実際の映像内容をアクセスする必要も
如何なる知識もなく、クリップ番号、持続時間、フレー
ム番号などを含むメタデータのみに基づき行われるの
で、編集判断リストの評価は、ビデオ製作者がin−o
utポイントを適切に設定する(通常何時間もの)時間
を費やすことなく迅速に実行できる。一度編集判断リス
トが作成されたならば、そのリストは生の場面に適用さ
れ、再生のために適切なビットシーケンスが選択され
る。これはリアルタイムに実行されても良いし、或いは
編集済み出力を連続する再生ファイルにコピーすること
により実行されても良い。
【0054】図9は、生の映像場面をある特定の実現形
態に従って編集する方法を示すデータの流れ図である。
ステップ100では、ビデオ画像とそれに付随するサウ
ンドトラックから構成される生のデジタル場面が、その
場面と関連し、少なくとも場面の中の様々なクリップを
識別するメタデータと共に入力される。入力された場面
は抽出プロセス102に提供され、このプロセスは生の
デジタル場面106からメタデータ104を取り出す。
画像と付随する音声を含む生のデジタル場面106は適
切な方法により、通常磁気ハードディスク記憶装置10
8に格納される。特定の構成が許すならば、入力される
生の場面を線154により示すように記憶装置108か
ら取り出しても良い。
【0055】生のデジタル場面から更なるメタデータを
取り出すことが望まれる場合には、その場面を記憶装置
108から取り出し、メタデータ判定プロセス110に
提供する。このプロセスは、追加のメタデータ112を
取り出すように生のデジタル場面106を処理すべく動
作し、メタデータ112は加算装置114においてオリ
ジナルのメタデータ104と組み合わされる。メタデー
タ抽出プロセス110は、図4、図6A又は図6Bに示
すような音声抽出構成を含んでいても良い。その代わり
に、又はそれに加えて、別の抽出プロセスを使用しても
良い。これは、例えば生の場面の個々のフレームを比較
して、画像の各部分の動きや、それらの部分の間の衝突
を識別することなどである。これは、例えばキャプショ
ン付き図形及び/又はサウンド効果を得るときに有用で
ある。その他のメタデータ抽出プロセスには、面検出、
線検出、動き検出を始めとして多くのものがある。図9
に示すように、プロセス110は、ユーザに実行すべき
特定のメタデータ抽出プロセスを選択させる入力111
を含む。メタデータ112をプロセス110を使用して
抽出した場合、それを生の映像と共に既存のメタデータ
に加えて記憶装置108にセーブしておいても良い。デ
ィフォルトでは、追加メタデータ抽出プロセスは全く実
行されない。加算器114は組み合わせメタデータ11
6を適用モジュール118へ出力する。
【0056】最良の同期を実行するために、オーバーダ
ブ音声源136をリズム感のあるシーケンス編集で使用
できる音声源136のビートを識別するビート抽出プロ
セス138により解析する。抽出されたビート139は
適用モジュール118に入力される。
【0057】また、適用モジュール118には、ユーザ
によりテンプレートの格納庫124からマルチプレクサ
122を介して選択された特定の編集テンプレート12
0が入力される。図9に示すように、ユーザに直接に提
供される所定のテンプレートに加え、ユーザが独自に作
成するか、1つ又は2つ以上の既存のテンプレートの変
形として作成するユーザ自身のテンプレートを定義でき
るようになっている。適用モジュール118は選択され
たテンプレートをメタデータ116及び抽出されたビー
ト139に適用して、最終編集済みバージョンにおいて
再生するために生のデジタル場面から選択されるべきク
リップの実際のセグメント及びそれらの対応する周期を
表す編集表示リスト(EDL)126を形成する。編集
表示リスト126は、ユーザに編集済みバージョンと関
連するタイトルセグメントを編集させる入力128を更
に含む。
【0058】組み合わせメタデータ116はリストとし
て表現され、編集表示リスト126と共に保持されても
良く、また最終編集済みシーケンスにおいて重要な編集
済みクリップをマーキングするために使用されても良
い。
【0059】編集表示リスト126は別の適用モジュー
ル130に入力され、このモジュールは編集表示リスト
を解釈して、記憶装置108に格納されている生のデジ
タル場面をカットし、適切な編集済みセグメントを取り
出す。また、適用モジュール130はアニメーション及
びキャプションを含めた図形を、適切なサウンド効果と
共に記憶装置132から取り出し、これらは編集済み映
像と組み合わせて編集済み映像出力134を形成する。
編集表示リスト126は、適用モジュール130により
形成されるリズム感のあるシーケンス編集に整合するよ
うにオーバーダブ音声源136の再生速度を変更するよ
うに構成されたビート調整ユニット158ヘビート制御
指令156を適宜出力することができる。この点に関し
て、場合によっては音声再生速度を特定の編集間隔(例
えば、10−4)にほぼ整合させるか、或いは音声源1
36のビートにほぼ整合するように編集間隔(例えば、
12−4から11.5−3.5)を調整しても良い。
【0060】その後、編集済み映像134は、音声源1
36から直接取り出されるか、又は必要に応じてビート
調整ユニット158から取り出されるオーバーダブサウ
ンドトラックと加算ユニット140で組み合わされる。
加算ユニット140は音声・視覚場面142を出力し、
それは記憶装置144に格納されるか、又は再生装置1
46へ直接出力され、ビデオ表示装置150及び音声ス
ピーカ152を含む再生システム148において再生さ
れる。
【0061】[挿入タイトルの生成]編集済みビデオ作
品へタイトルを挿入することができ、図9に示す構成で
は、編集表示リスト126への入力128を介して実現
される。これにより、映像を構成する一連のクリップの
中に文脈上正しく、図形により活字組みされた挿入タイ
トルを自動的に挿入することができる。これは、ユーザ
の時間と労力をほとんど必要とせずに実現可能である。
挿入タイトル発生器が設けられており、これは、著者、
植字工及び編集者の役割を果たし、語句データベース、
規則ベース適用メタデータ解析及びユーザ側で入力され
たメタデータに対応するインタフェースを使用する。そ
のような構成の一例を図11に示す。図11には、挿入
タイトル発生器(ITG)200が示されている。IT
G200は、ユーザ側で入力されるメタデータ214に
対応する入力モジュール216を含む。ユーザが入力す
るメタデータ214は、オリジナルの生の場面100を
供給源とするメタデータ104から直接取り出されても
良い。そのようなメタデータの例としては、ユーザが実
際に生の場面を記録する時点で実際の画像捕捉時間と共
に挿入したメタデータがある。ユーザ入力メタデータ2
14は、更にユーザが選択した生成プロセス110から
編集システムへ取り出される追加メタデータ112も含
む。更に、ユーザが編集段階で直接メタデータを入力で
きるように、全く別個のユーザ入力メタデータ用入力部
202を設けても良い。ユーザ入力メタデータ214は
メタデータ解析ユニット204に供給され、解析ユニッ
トはメタデータ214の特性を解析して、語句データベ
ース208、活字組みデータベース210及び図形デー
タベース212の組み合わせから挿入タイトル出力12
8を形成するように機能する規則ベースアプリケーショ
ン206を実現する。
【0062】従来の挿入タイトル作成方法に関して言え
ば、「著者」の役割は、クリップの持続時間や記録日時
に関する情報ばかりでなく、場面の基礎を成すストーリ
ー、重要なシーン及び映画のジャンルに関する情報も提
供するユーザ入力メタデータ214により容易になって
いる。メタデータ解析ユニット204がメタデータ21
4の内容を解析して、時間コード及びクリップ持続時間
に関する情報を獲得する。時間コードメタデータを使用
して、複数の相対的時間に撮影されたクリップをクラス
タすることができる。
【0063】例えば、生の映像が早朝、ほぼ午前7時、
その後の午前9時、ほぼ正午にそれぞれ撮影されたいく
つかのショットから構成されているとする。メタデータ
解析ユニット204はこのメタデータを使用して、どこ
で挿入タイトルを入れれば良いかを表す3つの明確に異
なるシーンを判定する。ユーザは、ITG200でプリ
セットされたディフォルトを変更したいときに、クリッ
プ間の時間クラスタリングの閾値を調整することができ
る。
【0064】ITG200は、解析されたメタデータを
語句データベース208から取り出された生活様式に適
合するキャッチフレーズ、ことわざ及び面白い俗語と相
互参照することにより、挿入タイトルの内容又は文面を
供給する。相互参照の結果は、文脈上はユーザ入力メタ
データ214が元になるウィットに富んだ挿入タイトル
を形成する。この文面は、活字組みデータベース210
から取り出されたプロ並みのデザインのテンプレートに
挿入される。このテンプレートは植字工の役割を果た
し、テキストを操作する際に他の図形ツールを必要とし
ない。希望に応じて、挿入タイトルのマット背景幕を形
成するために、適宜、図形データベース212を取り出
しても良い。時間コードメタデータと、挿入タイトルの
配置及び持続時間を定義する一連の規則は挿入タイトル
のシーケンスを決定し、それにより、作品中により高い
レベルの連続性と面白さを与える上で、編集者の役割を
完璧に果たす。挿入タイトルの持続時間は、オリジナル
の場面に適用されるリズム感のあるシーケンス編集及び
表示される、即ち、視聴者によって読み取られるべきテ
キストの長さを含むいくつかの要素に従って判定され
る。それらの要素はテンプレートに組み込まれても良
い。
【0065】例えば、ユーザがスカウトのキャンプ遠足
のビデオを撮影していた場合、ITG200を使用し
て、そのイベントを全体として記述すると共に、システ
ムにより識別される各々の特定のシーンを記述する一連
のキーワードを入力する。1つのイベントとしての場面
は、「キャンピング(camping)」、「スカウティング
(scouting)」、「チームワーク(teamwork)」、「サ
バイバル(survival)」などと記述される。テントを張
っている間に楽しんでいるスカウトたちを映した場面か
らなる第1のシーンは、ユーザにより「友達(friend
s)」、「楽しい(fun)」、「少年(boys)」、及び
「助け(help)」と記述されている。そこで、システム
はそれらのキーワードを使用して、イベントのコンテキ
ストを判定し、次に1つのキャッチフレーズ又はキャッ
チフレーズのリストをユーザに提示し、そこから選択を
行えば良い。この例におけるキャッチフレーズの例は、 「Boys will be boys」(男の子のいたずらはしょうが
ない) 「A friend in need is a friend indeed」(まさかの
時の友こそ真の友) 「Survival of the fittest」(適者生存) 「Time flies when you're having fun」(光陰矢のご
とし) などとなるであろう。
【0066】ユーザは入力218を介して選択を行い、
ITG200はその選択された語句を受け入れ、記述さ
れたシーンの始めに配置する。これは、選択されたタイ
トルを適切なシーンを識別するメタデータと関連付ける
ことにより実行される。このように、ユーザはシーン毎
にキーワードを提供することにより、又は単純に映画を
全体として記述し、システムに時間コード又は他の種類
のメタデータを相互参照させることにより、タイトルマ
ットを生成することができる。特定の日時に行われる共
通イベントを参照するタイトルマットを生成することが
できる。例えば、ほぼ正午に撮影されたクリップは「昼
食時間(lunch time)」などの語句を示唆させるものに
なるであろう。クリップが午前7時に始まるのであれ
ば、「夜明け(a new day dawns)」などの語句が代わ
りに示唆されるであろう。グローバルポジショニングシ
ステム(GPS)構成から獲得されるメタデータを適宜
使用して、イベントが行われる場所の位置関係を示す内
容を有する挿入タイトルを示唆することも可能である。
このような相互参照は、処理すべき特定のシーンに適合
する正しいタイトルを集中的に探す上で有用であろう。
【0067】最も基本的なシーンの識別は自動的に、生
の場面と関連する記録時間メタデータを使用して実行さ
れる。これは図8に示されている。図8に、4分48秒
の範囲内のクリップクラスタリングに基づいてタイトル
を配置する場合のITGシステム200の結果を表す。
先行するクリップの終了時から4分48秒を越えてリア
ルタイムでずれているクリップは、何れも、システムに
より新たなシーンとして考えられる。
【0068】図8に示すように、クリップ番号1から4
(それぞれのクリップの持続時間は図8からは不確定で
あり、ここでの説明には無関係である)はそれぞれほぼ
同じ時間(ほぼ午前9時30分)に撮影されており、各
クリップの間には4分48秒を越える間隔は存在してい
ない。その結果、クリップ01から04をオリジナル場
面の第1のクリップのクラスタ(クラスタ01)として
一纏めにする。図からわかるように、クリップ05はほ
ぼ午前10時に撮影されており、クリップ01から04
及びクリップ06以降の後続クリップから時間の上で離
れている。従って、クリップ05は独自のクラスタ、こ
の場合はクラスタ02を形成する。クリップ06はほぼ
午前10時40分に撮影され、その後、クリップ07か
ら11が続いているが、それぞれの撮影間隔は4分48
秒を越えない。従って、クリップ06から11は第3の
クリップのクラスタを形成する。このようにして、オリ
ジナル場面の各クリップをクラスタに分割し、各クラス
タの始まりがオリジナル場面における様々なシーンを記
述するために挿入タイトルを配置できる場所を形成す
る。
【0069】以上説明した時間コードの規則ベース解析
は、類似した時間に撮影されたクリップのクラスタと、
異なる日付で撮影されたクリップのクラスタとを定義す
る。この点に関して、クリップ27はほぼ午後5時30
分に撮影され、クリップ28は明らかに次の日のほぼ午
前6時45分に撮影されていることがわかる。この結果
に従って、挿入タイトル発生器200を使用してシーン
マットが自動的に挿入されるか、又は図形ユーザインタ
フェースを介して個々のシーンのユーザに指示がなされ
る。
【0070】挿入タイトルテンプレート、並びに視聴者
が読み取らなければならない音節、語及び文字の数の選
択は、稼動するタイトルマットの持続時間を判定するよ
うに機能する。ITG200はこれらの要因を組み合わ
せるシステムを利用して、メッセージの理解の程度、編
集リズム並びに最大限の読みやすさを確保するためにど
の字体を選択するのが正しいかといった問題の妥協点を
探る。更に、適切であれば、シーケンスのジャンルによ
って挿入タイトルの持続時間を判定しても良い。例え
ば、そのジャンルが緊張又は恐怖の一方(例えば、ホラ
ー映画)である場合、持続時間を短縮して、挿入タイト
ルを読んでいるときに視聴者にストレスをかけるように
しても良い。
【0071】タイトルマットの持続時間は、先に説明し
たテンプレート構造の編集リズムに整合しているのが好
ましい。10−4規則から成るテンプレート構造は、4
秒の持続時間に整合するタイトルマットを有するのが好
ましい。同様に、8−3規則から成るテンプレート構造
は3秒の持続時間に整合するタイトルマットを有してい
ることになるであろう。ITG200は選択されたテン
プレートの持続時間規則を解析して、挿入タイトルに適
する持続時間を判定するように機能する。
【0072】状況によっては、テンプレートがタイトル
マットの持続時間に都合よく対応する構造を有している
場合もある。例えば、3秒又は4秒の持続時間で十分に
視聴者はメッセージを理解できるであろう。このよう
に、ITG200は選択されたテンプレートを識別す
る、マルチプレクサ122からの入力120を含むこと
ができる。このように、語句データベース208は、規
則ベースアプリケーション206に理解に必要な利用可
能な持続時間を超えるメッセージである場合に別の持続
時間を指定させることができるように、タイトル持続時
間に関する埋め込み規則を含んでいても良い。このよう
なことは、スタイルの整った有力テンプレートを使用す
る場合に起こり得る。そのようなテンプレートはニュー
ス放送や音楽ビデオなどの特定の時間フォーマットの作
品から構成されている。
【0073】短い期間で流れる作品又は25フレーム未
満のクリップ持続時間を有する高速カットを含む作品で
は、タイトルマットにおけるメッセージについて、視聴
者がその内容を理解するために利用できる時間に適合す
るようにレイアウト、語数/音節数及び活字組みを整え
なければならない。例えば、タイトルマットの持続時間
がわずか14フレームである場合、ITG200は語句
データベース208から、1語又は数語の短いメッセー
ジのみを選択し、活字組みデータベース210が許すな
らば、メッセージを読みやすい太字の活字面で組む。
【0074】図9の配列リズム感のあるシーケンス編集
システムを参照してITG200を説明したが、その用
途と動作はそのような特定の適用に限定されるものでは
ない。メタデータの入力、語句や活字組みの選択に関す
る特定の規則を伴うシーンの変更などの識別を、オリジ
ナル場面のリズム感のある編集に依存せずに実現しても
良い。その結果、オリジナル場面の編集を必要とせず
に、挿入タイトルをそのオリジナル場面に直接追加する
ことができるであろう。
【0075】挿入タイトル発生器200に関連して以上
説明したシーンの識別は、タイトルマットの場所ホルダ
を識別するためばかりでなく、正しい場面転換の使用な
どの他の要素にも使用されて良い。特に、リズム感のあ
るシーケンス編集に関して言えば、1つのシーンの始ま
りに使用される「フェーディング」場面転換及びそのシ
ーンの終了時の「フェードアウト」は、作品全体を通し
て他のカット技法とはスタイルの上で異なっている。こ
れは、各々がビデオ作品のストーリーの中で異なる意味
を表しているからである。
【0076】シーン識別システムをタイトル及びリズム
感のあるシーケンス編集のテンプレート構造と組み合わ
せると、サウンドトラック及びサウンド効果を自動的に
配置することができる。システムはこの情報を処理し、
その結果を使用して、どこでタイトル音楽を入れるべき
か及びどこでサウンドトラックを始めるべきかを知る。
サウンドトラックのビートは取り出された後、特定の映
像テンプレート規則に応じて、編集シーケンスに整合さ
せるために、又は編集シーケンスをビートに整合するよ
うに編集シーケンスを修正するために、又はその双方を
修正するために修正されても良く、その結果、音楽と映
像カットとが同期する。
【0077】このようにして、リズム感のあるシーケン
ス編集システムはオリジナルの生の場面を検討するため
に余分の時間を費やす必要なくビデオを見ることを望ん
でいるユーザに対して、編集済みの面白味に富んだ結果
を生成することができるのである。生の場面は多くの場
合に所期の時間より長いショットを含んでおり、場合に
よっては、全く記録するはずではなかったショットをも
含んでおり、それらを好都合で、ユーザにほぼ見えるよ
うな方式で編集できる。
【0078】[プリントフレーム選択]生の映像に適用
し得るもう1つの編集プロセスは、プリント又はオリジ
ナル場面を示すスライド表示を行うために望まれる個別
のフレームの選択を実行する。図5を参照すると、海軍
博物館への遠足の生の場面が再び、それぞれ持続時間の
異なる16個の個別クリップの連続として示されてい
る。更に、図12も併せて参照すると、クリップは場面
全体を表す個別のサムネイルを形成するように分割され
る。
【0079】図12に示すように、プリントフレーム選
択を実行する方法250はステップ252で、場面の個
々のクリップを区別し、且つそれらのクリップの持続時
間を識別するために必要なメタデータなどのメタデータ
を含む生のデジタル場面の入力をもって始まる。ステッ
プ254では、ユーザは特定の場面について必要なプリ
ントフレームの数を識別することを要求される。選択さ
れた数のプリントフレームが場面全体の内容を表現する
ように、実際の数はオリジナルの生の場面の全体の長さ
及び/又はその場面に含まれている個々のクリップの数
に基づいて示唆されても良い。プリントフレームの数を
選択したならば、生の場面、特に個々のクリップを分割
して、複数のセグメントを形成する。それらのセグメン
トから個々のプリントフレームを選択することになる。
図5に示すように、生の場面は64のプリントフレーム
を形成するように分割され、各々のクリップから4つの
プリントフレームが選択されている。このように、各ク
リップはそのクリップから取り出す必要のあるプリント
フレームの数により決まる等しい持続時間を有する4つ
のセグメントに分割されるのである。ステップ258で
は、各セグメントを処理して、プリントに最良のフレー
ムを取り出す。ステップ260では、セグメントごとの
最良フレームをサムネイル画像にフォーマッティング
し、ステップ262では、選択されてフォーマッティン
グされた最良フレームをプリントに適する方式でフォー
マッティングする。
【0080】最良フレームを取り出すために個々のセグ
メントを処理するステップ258は、最良フレームを判
定するようにセグメント中の個々のフレームにいくつか
の規則を適用するように機能する。生の場面の状況に応
じて及び/又はユーザが希望する特定のテンプレートに
従って、何れか1つ又は複数の規則が適用される。発明
者の研究によれば、何れか1つのクリップの最良又は最
適の画質の画像はそのクリップの第3のセグメントにあ
ることがわかっている。更に、何れか1つのセグメント
の中では、発明者はそのセグメントの中央に最良フレー
ムがあると判定している。セグメントの持続時間に応じ
て、これは他の規則に従って、更に検査されるべき個々
のフレームの数を制限することがあり得る。
【0081】他の選択規則は、セグメント内に現れるフ
レームに適用できる様々なプロセスに基づいている。1
つの規則は、図4に示すような音声解析を含むことがで
き、この場合、生の場面と関連するサウンドトラック中
のピークとほぼ一致するとして1つのフレームを選択す
る。そのようなピークは、スポーツイベントにおける観
衆の歓声又は会議で発言している発言者の声を含むと考
えられるであろう。
【0082】複数の一致が起こった場合、その問題を1
つのプリントフレームに解決するためにユーザインタフ
ェースを適用しても良い。例えば、整合するフレームの
各々をビデオ表示装置56にレンダリングすることによ
り、プリントのためにユーザが1つのフレームを選び出
しても良い。
【0083】別の規則は面解析のような画像解析を含む
ことができる。これによれば、背景である風景の情報な
どに対して人間の顔を示す特徴を検出することに基づい
て1つのプリントフレームを選択する。面検出ソフトウ
ェア及びそのプロセスは当業者には知られており、図1
2のステップ258を考慮しながら限られた数のフレー
ムに容易に適用できる。その他の選択基準には、大きな
相対運動を示すフレームはピント外れなどの画質の低い
記録につながりやすいとして選択から排除する隣接フレ
ームの間の動き検出がある。
【0084】図5及び図12の構成から出力されるフォ
ーマッティング済みプリント出力の一例を図7に示す。
これは、グレートバリアリーフでのダイビングの場面を
主題としている。24の個別のプリントフレームサムネ
イルが1つのページにフォーマッティングされており、
それぞれのフレームがダイビングの異なる段階を示して
いる。例えば、第1のフレームはダイバーをグレートバ
リアリーフへ運ぶボートの航跡を示し、次の3つのフレ
ームはダイビングの準備をしているダイバーたちを示し
ている。それ以降のフレームは、ダイビング中のクリッ
プから取り出された様々なサンプルを示す。
【0085】オリジナル場面を見ることを希望している
人に負担をかけることなく、オリジナル場面の主題を要
約したような生の映像場面の有用なバージョンを複数提
供するために、生の映像場面の編集を可能にするいくつ
かの構成が提供されたことは以上の説明から明白であろ
う。リズム感のあるシーケンス編集方式は、編集後のバ
ージョンの視聴者の関心を高め且つそれを維持するよう
に考案されたスタイルの整った再生が行われるように、
オリジナル場面のサイズを好都合に縮小するものであ
る。また、リズム感のあるシーケンス編集はオリジナル
場面とオーバーダブ音声との組み合わせを支援し、場面
と音声をほぼ同期するように合わせるので、視聴者の関
心は保たれる。リズム感のあるシーケンス生成を伴う場
合も、伴わない場合もあるが、挿入タイトルを配置する
ことにより、視聴者にあらすじなどを伝えるために再生
すべき場面中の様々なシーンを識別することができる。
プリントフレーム選択構成によれば、オリジナル映像場
面のあらすじを静止画像によって捉え、都合よく再生す
ることができる。それぞれがその生成に際して異なるプ
ロセスの組み合わせを利用しているので、それらを別個
に適用した場合、リズム感のあるシーケンス編集とプリ
ントフレーム選択が各出力で同一の映像フレームを再生
させるという保証はない。
【0086】尚、本発明は複数の機器(例えば、ホスト
コンピュータ,インタフェイス機器,リーダ,プリンタ
など)から構成されるシステムに適用しても、一つの機
器からなる装置(例えば、複写機,ファクシミリ装置な
ど)に適用してもよい。
【0087】また、本発明の目的は前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体を、システム或いは装置に供給し、そのシ
ステム或いは装置のコンピュータ(CPU若しくはMP
U)が記憶媒体に格納されたプログラムコードを読出し
実行することによっても、達成されることは言うまでも
ない。
【0088】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【0089】プログラムコードを供給するための記憶媒
体としては、例えばフロッピーディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROMな
どを用いることができる。
【0090】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部又は全部
を行い、その処理によって前述した実施形態の機能が実
現される場合も含まれることは言うまでもない。
【0091】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
CPUなどが実際の処理の一部又は全部を行い、その処
理によって前述した実施形態の機能が実現される場合も
含まれることは言うまでもない。
【図面の簡単な説明】
【図1A】デジタル供給源からのデジタルビデオクリッ
プの供給を示す図。
【図1B】アナログ供給源からのデジタルビデオクリッ
プの供給を示す図。
【図2】一体となってオリジナルの生の場面を形成する
複数のクリップの提示ヒストグラム。
【図3】本実施形態にて定義される「10−4」規則に
従った図2のクリップの解析を表す図。
【図4】音声解析に基づくクリップの分割を示す図。
【図5】フレームプリントに使用するための図2の生の
場面の分割を示す図。
【図6A】音声解析を実現するための様々な構成を示す
図。
【図6B】音声解析を実現するための様々な構成を示す
図。
【図7】図5のクリップ分割からサンプリングした映像
フレームを示す図。
【図8】別のクリップ配列例に基づくタイトルの挿入を
示す図。
【図9】好適な編集方法のデータ流れ図。
【図10】本実施形態における汎用コンピュータの構成
を示す概略ブロック図。
【図11】挿入タイトル発生器の概略ブロック図。
【図12】プリントフレーム選択方法を示す流れ図。
【符号の説明】
10 デジタルビデオカメラ 20 アナログビデオカメラ 30 クリップ検出器 40 コンピュータシステム 41 コンピュータモジュール 42 キーボード 43 マウス 45 プロセッサユニット 46 メモリユニット 47 ビデオインタフェース 48 I/Oインタフェース 49 記憶装置 50 接続バス 52 モデム装置 53 ハードディスクドライブ 54 フロッピーディスクドライブ 55 CD−ROM 56 ビデオ表示装置 57 プリンタ 59 ネットワーク 102 抽出プロセス 108 記憶装置 110 メタデータ判定プロセス 114 加算装置 118 適用モジュール 122 マルチプレクサ 124 テンプレート格納庫 126 編集表示リスト 130 適用モジュール 132 記憶装置 136 オーバーダブ音声源 138 ビート抽出プロセス 144 記憶装置 146 再生プロセス 150 ビデオ表示装置 152 スピーカ 158 ビート調整ユニット 200 挿入タイトル発生器

Claims (72)

    【特許請求の範囲】
  1. 【請求項1】 各々が判定可能な持続時間を持つ少なく
    とも1つのクリップを有する映像シーケンスを編集する
    方法であって、 前記映像シーケンスから、前記各クリップに関連し、対
    応する前記持続時間に関する時間データを少なくとも含
    む特性データを抽出する工程と、 編集命令データを形成するために、複数の所定のセグメ
    ント持続時間に基づき複数の編集済みセグメントを形成
    すべく構成された所定のカットフォーマットを少なくと
    も有する、編集規則の少なくとも1つのテンプレートに
    従って前記特性データを処理する工程と、 前記編集済みセグメントの編集済みシーケンスを形成す
    るために前記編集命令データに従って前記映像シーケン
    スを処理する工程とを有することを特徴とする方法。
  2. 【請求項2】 前記カットフォーマットは、少なくとも
    第1の持続時間と第2の持続時間の一方を各々有する前
    記編集済みセグメントの編成と、前記各クリップの少な
    くとも一部の廃棄とを規定することを特徴とする請求項
    1記載の方法。
  3. 【請求項3】 前記第1の持続時間は1秒から8秒であ
    り、前記第2の持続時間は2秒から20秒であることを
    特徴とする請求項2記載の方法。
  4. 【請求項4】 前記第1の持続時間は約4秒であり、前
    記第2の持続時間は約10秒であることを特徴とする請
    求項3記載の方法。
  5. 【請求項5】 前記編集済みシーケンスは、前記第1の
    持続時間及び前記第2の持続時間のセグメントを用いて
    形成された所定のカットパターンに基づいて前記セグメ
    ントの逐次組み合わせから形成されることを特徴とする
    請求項2記載の方法。
  6. 【請求項6】 前記所定のカットパターンは、第1の持
    続時間のセグメントと第2の持続時間のセグメントを交
    互に有することを特徴とする請求項5記載の方法。
  7. 【請求項7】 所定の(第3の)持続時間の初期間隔
    は、各クリップの残り部分から前記編集済みセグメント
    を形成する前に前記各クリップから廃棄されることを特
    徴とする請求項2記載の方法。
  8. 【請求項8】 前記第3の持続時間は0.5秒から2秒
    であることを特徴とする請求項7記載の方法。
  9. 【請求項9】 前記編集済みセグメントのうち少なくと
    も2つを形成すべき前記クリップの少なくとも1つか
    ら、所定の(第4の)持続時間の初期間隔が廃棄され、
    前記初期間隔は前記2つの編集済みセグメントを形成す
    る前記クリップの各部分を分離することを特徴とする請
    求項2記載の方法。
  10. 【請求項10】 前記第4の持続時間は1秒から5秒で
    あることを特徴とする請求項9記載の方法。
  11. 【請求項11】 前記編集済みセグメントの形成は、前
    記クリップから前記セグメントを切り取ることからなる
    ことを特徴とする請求項1記載の方法。
  12. 【請求項12】 前記編集済みセグメントの形成は、少
    なくとも1つの前記クリップから部分を切り取り、前記
    部分の再生持続時間を前記第1の持続時間又は前記第2
    の持続時間の一方に対応するように修正することからな
    ることを特徴とする請求項2記載の方法。
  13. 【請求項13】 前記切り取り及び修正は、前記部分が
    前記第1及び第2の持続時間の一方の所定の範囲内にあ
    る再生持続時間を有するときに実行されることを特徴と
    する請求項12記載の方法。
  14. 【請求項14】 前記所定の範囲は、前記第1及び第2
    の持続時間の一方の70%から200%であることを特
    徴とする請求項13記載の方法。
  15. 【請求項15】 前記修正は、前記部分の再生時間に所
    定の係数を乗算し、修正後の部分を前記第1の持続時間
    又は前記第2の持続時間の一方までカットすることから
    なることを特徴とする請求項12記載の方法。
  16. 【請求項16】 前記編集規則は、前記編集済みセグメ
    ントを再生すべき編集済み持続時間であって、前記第1
    及び第2の持続時間に基づいて前記編集済みセグメント
    の数を判定する、編集済み持続時間からなることを特徴
    とする請求項2記載の方法。
  17. 【請求項17】 前記セグメント持続時間は、前記編集
    済みシーケンスと関連付けられるべきサウンドトラック
    のビート周期を用いて判定されることを特徴とする請求
    項1記載の方法。
  18. 【請求項18】 前記特性データは、前記映像シーケン
    スに伴うデータからなることを特徴とする請求項1記載
    の方法。
  19. 【請求項19】 前記編集規則は、前記編集済みシーケ
    ンスの一部として少なくとも1つのタイトルマットを組
    み込むことを含むことを特徴とする請求項1記載の方
    法。
  20. 【請求項20】 前記タイトルマットは、 所定の時間関数により関連付け可能であり、対応する複
    数のクリップ群に配列されるクリップを前記クリップの
    中から識別するために、前記クリップ毎に前記時間デー
    タを検査する工程と、 前記各クリップ群の始まりと終わりのうち少なくとも一
    方をタイトルの場所として識別する工程と、 少なくとも1つの前記タイトルの場所で、少なくともテ
    キスト成分を含む挿入タイトルを生成するために、対応
    する前記時間データと更なる前記特性データの少なくと
    も1つを検査する工程と、 前記タイトルの場所で前記挿入タイトルを前記映像シー
    ケンスの中に組み込む工程とを有する方法に従って形成
    及び組み込まれることを特徴とする請求項19記載の方
    法。
  21. 【請求項21】 請求項1乃至20の何れか1項に記載
    の方法を用いて形成されることを特徴とする編集済み映
    像シーケンス。
  22. 【請求項22】 各々が判定可能な持続時間を持つ少な
    くとも1つのクリップを有する映像シーケンスを編集す
    るための手続をコンピュータに実行させるべく構成され
    たプログラムが記録されたコンピュータ読み取り可能な
    媒体において、前記プログラムは、 前記映像シーケンスから、前記各クリップに関連し、対
    応する前記持続時間に関する時間データを少なくとも含
    む特性データを抽出する工程と、 編集命令データを形成するために、複数の所定のセグメ
    ント持続時間に基づき複数の編集済みセグメントを形成
    すべく構成された所定のカットフォーマットを少なくと
    も有する、編集規則の少なくとも1つのテンプレートに
    従って前記特性データを処理する工程と、 前記編集済みセグメントの編集済みシーケンスを形成す
    るために前記編集命令データに従って前記映像シーケン
    スを処理する工程とを実現するよう構成されることを特
    徴とするコンピュータ読み取り可能な媒体。
  23. 【請求項23】 前記カットフォーマットは、少なくと
    も第1の持続時間と第2の持続時間の一方を各々有する
    前記編集済みセグメントの編成と、前記各クリップの少
    なくとも一部の廃棄とを規定し、所定の(第3の)持続
    時間の初期間隔は、各クリップの残り部分から前記編集
    済みセグメントを形成する前に前記各クリップから廃棄
    されることを特徴とする請求項22記載のコンピュータ
    読み取り可能な媒体。
  24. 【請求項24】 前記第1の持続時間は1秒から8秒で
    あり、前記第2の持続時間は2秒から20秒であり、前
    記第3の持続時間は0.5秒から2秒であることを特徴
    とする請求項23記載の方法。
  25. 【請求項25】 前記編集済みセグメントのうち少なく
    とも2つを形成すべき前記クリップの少なくとも1つか
    ら、所定の(第4の)持続時間の初期間隔が廃棄され、
    前記初期間隔は前記2つの編集済みセグメントを形成す
    る前記クリップの各部分を分離し、前記第4の持続時間
    は1秒から5秒であることを特徴とする請求項23記載
    のコンピュータ読み取り可能な媒体。
  26. 【請求項26】 前記編集済みセグメントの形成は、前
    記クリップから前記セグメントを切り取ることからなる
    ことを特徴とする請求項22記載のコンピュータ読み取
    り可能な媒体。
  27. 【請求項27】 前記編集済みセグメントの形成は、少
    なくとも1つの前記クリップから部分を切り取り、前記
    部分の再生持続時間を前記第1の持続時間又は前記第2
    の持続時間の一方に対応するように修正することからな
    ることを特徴とする請求項23記載のコンピュータ読み
    取り可能な媒体。
  28. 【請求項28】 前記切り取り及び修正は、前記部分が
    前記第1及び第2の持続時間の一方の所定の範囲内にあ
    る再生持続時間を有するときに実行され、前記所定の範
    囲は前記第1及び第2の持続時間の一方の70%から2
    00%であることを特徴とする請求項27記載のコンピ
    ュータ読み取り可能な媒体。
  29. 【請求項29】 前記修正は、前記部分の再生時間を所
    定の係数だけ伸張し、修正後の部分を前記第1の持続時
    間又は前記第2の持続時間の一方までカットすることか
    らなることを特徴とする請求項27記載のコンピュータ
    読み取り可能な媒体。
  30. 【請求項30】 前記編集規則は、前記編集済みセグメ
    ントを再生すべき編集済み持続時間であって、前記第1
    及び第2の持続時間に基づいて前記編集済みセグメント
    の数を判定する、編集済み持続時間からなることを特徴
    とする請求項23記載のコンピュータ読み取り可能な媒
    体。
  31. 【請求項31】 前記編集済みシーケンスは、前記第1
    の持続時間及び第2の持続時間のセグメントを用いて形
    成された所定のカットパターンに基づいて前記セグメン
    トの逐次組み合わせから形成され、前記所定のカットパ
    ターンは第1の持続時間のセグメントと第2の持続時間
    のセグメントを交互に有し、又は第1の持続時間のセグ
    メントと第2の持続時間のセグメントの擬似ランダム選
    択からなることを特徴とする請求項23記載のコンピュ
    ータ読み取り可能な媒体。
  32. 【請求項32】 前記セグメントの持続時間は、前記編
    集済みシーケンスと関連付けられるべきサウンドトラッ
    クのビート周期を用いて判定されることを特徴とする請
    求項22記載のコンピュータ読み取り可能な媒体。
  33. 【請求項33】 前記特性データは、 前記映像シーケンスに伴うデータと、 時間解析、画像解析、音声解析及び運動解析の少なくと
    も1つからなる、前記映像シーケンスの解析によって形
    成されるデータとから構成されるデータ群から選択され
    たデータを有することを特徴とする請求項23記載のコ
    ンピュータ読み取り可能な媒体。
  34. 【請求項34】 前記編集規則は、前記編集済みシーケ
    ンスの部分として少なくとも1つのタイトルマットを組
    み込むことを含み、前記タイトルマットは、 所定の時間関数により関連付け可能であり、対応する複
    数のクリップ群に配列されるクリップを前記クリップの
    中から識別するために、前記クリップ毎に前記時間デー
    タを検査する工程と、 前記各クリップ群の始まりと終わりのうち少なくとも一
    方をタイトルの場所として識別する工程と、 少なくとも1つの前記タイトルの場所で、少なくともテ
    キスト成分を含む挿入タイトルを生成するために、対応
    する前記時間データと更なる前記特性データのうち少な
    くとも1つを検査する工程と、 前記タイトルの場所で前記挿入タイトルを前記映像シー
    ケンスの中に組み込む工程とを有する方法に従って形成
    及び組み込まれることを特徴とする請求項23記載のコ
    ンピュータ読み取り可能な媒体。
  35. 【請求項35】 各々が判定可能な持続時間を持つ少な
    くとも1つのクリップを有する映像シーケンスを提供す
    る供給手段と、 前記映像シーケンスから、前記各クリップと関連し、対
    応する前記持続時間に関する時間データを少なくとも含
    む特性データを抽出する抽出手段と、 編集命令データを形成するために、複数の所定のセグメ
    ント持続時間に基づき複数の編集済みセグメントを形成
    すべく構成された所定のカットフォーマットを少なくと
    も有する、編集規則の少なくとも1つのテンプレートに
    従って前記特性データを処理する処理手段と、 前記編集済みセグメントの編集済みシーケンスを形成す
    るために前記編集命令データに従って前記映像シーケン
    スを編集する編集手段と、 前記編集済みシーケンスを受信する出力手段とを有する
    ことを特徴とする視覚画像編集システム。
  36. 【請求項36】 前記供給手段は、前記映像シーケンス
    を前記抽出手段に結合すべく構成された格納手段を有
    し、前記出力手段は、前記編集済みシーケンスを可視表
    示する少なくとも1つの表示装置と、前記編集済みシー
    ケンスを格納する別の格納手段とを有することを特徴と
    する請求項35記載の視覚画像編集システム。
  37. 【請求項37】 前記特性データはメタデータであり、
    前記抽出手段は前記各クリップに基づいて前記映像シー
    ケンスのメタデータファイルを形成し、前記メタデータ
    ファイルは前記処理手段に対する入力を形成し、少なく
    とも前記処理手段は前記メタデータファイルを前記規則
    に従って解釈し、前記編集命令データを形成すべく動作
    可能であるコンピュータ装置を有することを特徴とする
    請求項36記載の視覚画像編集システム。
  38. 【請求項38】 前記第1の持続時間は1秒から8秒で
    あり、前記第2の持続時間は2秒から20秒であり、前
    記第3の持続時間は0.5秒から2秒であり、前記編集
    済みセグメントの少なくとも2つを形成すべき前記クリ
    ップの少なくとも1つから、所定の(第4の)持続時間
    の内部間隔が廃棄され、前記内部間隔は、前記2つの編
    集済みセグメントを形成する前記クリップの各部分を分
    離し、前記第4の持続時間は1秒から5秒であることを
    特徴とする請求項37記載の視覚画像編集システム。
  39. 【請求項39】 前記編集手段は、少なくとも1つの前
    記クリップから部分を切り取り、前記部分の再生持続時
    間を前記第1の持続時間又は前記第2の持続時間の一方
    に対応するように修正する手段を有することを特徴とす
    る請求項38記載の視覚画像編集システム。
  40. 【請求項40】 前記切り取り及び修正は、前記部分が
    前記第1及び第2の持続時間の一方の所定の範囲内にあ
    る再生持続時間を有するときに実行され、前記所定の範
    囲は前記第1及び第2の持続時間の一方の70%から2
    00%であることを特徴とする請求項39記載の視覚画
    像編集システム。
  41. 【請求項41】 前記修正は、前記部分の再生時間を所
    定の係数だけ伸張し、修正後の部分を前記第1の持続時
    間又は前記第2の持続時間の一方までカットすることか
    らなることを特徴とする請求項40記載の視覚画像編集
    システム。
  42. 【請求項42】 前記処理手段は前記編集規則を格納す
    る記憶装置を有し、前記編集規則の1つは、前記編集済
    みセグメントを再生すべき編集済み持続時間であって、
    前記処理手段が前記第1及び第2の持続時間に基づいて
    前記編集済みセグメントの数を判定する、編集済み持続
    時間からなることを特徴とする請求項38記載の視覚画
    像編集システム。
  43. 【請求項43】 前記編集手段は、前記第1の持続時間
    及び前記第2の持続時間のセグメントを用いて形成され
    た所定のカットパターンに基づいて前記セグメントの逐
    次組み合わせから前記編集済みシーケンスを形成するこ
    とを特徴とする請求項42記載の視覚画像編集システ
    ム。
  44. 【請求項44】 前記所定のカットパターンは、第1の
    持続時間のセグメントと第2の持続時間のセグメントを
    交互に有し、及び第1の持続時間のセグメントと第2の
    持続時間のセグメントの擬似ランダム選択からなること
    を特徴とする請求項43記載の視覚画像編集システム。
  45. 【請求項45】 前記編集規則は、前記編集済みシーケ
    ンスの一部として少なくとも1つのタイトルマットを組
    み込むことを含み、前記システムは、更に、前記タイト
    ルマットを前記編集済みシーケンスに形成及び組み込む
    手段を有し、前記形成及び組み込む手段は、 所定の時間関数により関連付け可能であり、対応する複
    数のクリップ群に配列されるクリップを前記クリップの
    中から識別するために、前記クリップ毎に前記時間デー
    タを検査する関連付け手段と、 前記各クリップ群の始まりと終わりのうち少なくとも一
    方をタイトルの場所として識別する識別手段と、 少なくとも1つの前記タイトルの場所で、少なくともテ
    キスト成分を含む挿入タイトルを生成するために、対応
    する前記時間データと更なる前記特性データのうち少な
    くとも1つを検査する特性データ検査手段と、 前記タイトルの場所で前記挿入タイトルを前記シーケン
    スの中に組み込む手段とを有することを特徴とする請求
    項35記載の視覚画像編集システム。
  46. 【請求項46】 複数の個々のクリップと、前記クリッ
    プが記録された実時間に関する時間データを少なくとも
    含む関連データとを有する映像シーケンスを編集する方
    法であって、 所定の時間関数により関連付け可能であり、対応する複
    数のクリップ群に配列されるクリップを前記クリップの
    中から識別するために、前記クリップ毎に前記時間デー
    タを検査する工程と、 前記各クリップ群の始まりと終わりのうち少なくとも一
    方をタイトルの場所として識別する工程と、 少なくとも1つの前記タイトルの場所で、少なくともテ
    キスト成分を含む挿入タイトルを生成するために対応す
    る前記時間データと更なるデータの少なくとも1つを検
    査する工程と、 前記タイトルの場所で前記挿入タイトルを前記映像シー
    ケンスの中に組み込む工程とを有することを特徴とする
    方法。
  47. 【請求項47】 前記所定の時間関数は、1つの前記ク
    リップの終結実時間とそれに続く前記クリップの開始実
    時間との間の期間が所定の(第1の)持続時間より短い
    場合に、あるクリップ群の中の何れか2つの連続するク
    リップを関連付けることを特徴とする請求項46記載の
    方法。
  48. 【請求項48】 前記更なるデータは、ユーザが提供し
    たデータであることを特徴とする請求項46記載の方
    法。
  49. 【請求項49】 前記更なるデータは、前記対応するク
    リップを解析することにより形成される生成データであ
    り、前記検査する工程は、規則に基づく選択肢群からタ
    イトルデータベースの中の少なくとも1つのタイトル成
    分を選択するために前記データを検査し、前記タイトル
    成分は、前記挿入タイトルを集合的に形成することを特
    徴とする請求項46記載の方法。
  50. 【請求項50】 前記タイトル成分は、個々の語句から
    構成される語句群の中から選択され、前記タイトル成分
    は前記データの規則に基づく検査に応答して選択される
    ように構成されることを特徴とする請求項49記載の方
    法。
  51. 【請求項51】 前記タイトルデータベースは、前記挿
    入タイトルの視覚表示時の効果を修正するために前記タ
    イトル成分に適用可能である複数の活字組みを有するこ
    とを特徴とする請求項50記載の方法。
  52. 【請求項52】 前記タイトルデータベースは、前記挿
    入タイトルに含められるべく構成された複数の図形オブ
    ジェクトの図形データベースを有することを特徴とする
    請求項49記載の方法。
  53. 【請求項53】 前記挿入タイトルは、前記クリップ上
    に前記挿入タイトルを重ね合わせることができるように
    するマット背景であることを特徴とする請求項46記載
    の方法。
  54. 【請求項54】 請求項46乃至53の何れか1項に記
    載の方法を用いて形成されることを特徴とする編集済み
    映像シーケンス。
  55. 【請求項55】 複数の個別のクリップと、前記クリッ
    プが記録された実時間に関する時間データを少なくとも
    含む関連データとを有する映像シーケンスを編集するた
    めの手続きをコンピュータに実行させるべく構成された
    プログラムが記録されたコンピュータ読み取り可能な媒
    体において、前記プログラムは、 所定の時間関数により関連付け可能であり、対応する複
    数のクリップ群に配列されるクリップを前記クリップの
    中から識別するために、前記クリップ毎に前記時間デー
    タを検査する工程と、 前記各クリップ群の始まりと終わりのうち少なくとも一
    方をタイトルの場所として識別する工程と、 少なくとも1つの前記タイトルの場所で、少なくともテ
    キスト成分を含む挿入タイトルを生成するために対応す
    る前記時間データと更なるデータの少なくとも1つを検
    査する工程と、 前記タイトルの場所で前記挿入タイトルを前記映像シー
    ケンスの中に組み込む工程とを実現するよう構成される
    ことを特徴とするコンピュータ読み取り可能な媒体。
  56. 【請求項56】 前記所定の時間関数は、1つの前記ク
    リップの終結実時間とそれに続く前記クリップの開始実
    時間との間の期間が所定の(第1の)持続時間より短い
    場合に、あるクリップ群の中の何れか2つの連続するク
    リップを関連付けることを特徴とする請求項55記載の
    コンピュータ読み取り可能な媒体。
  57. 【請求項57】 前記更なるデータは、ユーザが提供し
    たデータであることを特徴とする請求項55記載のコン
    ピュータ読み取り可能な媒体。
  58. 【請求項58】 前記更なるデータは、前記対応するク
    リップを解析することにより形成される生成データであ
    り、前記検査する工程は、規則に基づく選択肢群からタ
    イトルデータベースの中の少なくとも1つのタイトル成
    分を選択するために前記データを検査し、前記タイトル
    成分は、前記挿入タイトルを集合的に形成することを特
    徴とする請求項55記載のコンピュータ読み取り可能な
    媒体。
  59. 【請求項59】 前記タイトル成分は、個別の語句から
    構成される語句群の中から選択され、前記タイトル成分
    は前記データの規則に基づく検査に応答して選択される
    ように構成されることを特徴とする請求項58記載のコ
    ンピュータ読み取り可能な媒体。
  60. 【請求項60】 前記タイトルデータベースは、前記挿
    入タイトルの視覚表示時の効果を修正するために前記タ
    イトル成分に適用可能である複数の活字組みを有するこ
    とを特徴とする請求項59記載のコンピュータ読み取り
    可能な媒体。
  61. 【請求項61】 前記タイトルデータベースは、前記挿
    入タイトルに含められるべく構成された複数の図形オブ
    ジェクトの図形データベースを有することを特徴とする
    請求項58記載のコンピュータ読み取り可能な媒体。
  62. 【請求項62】 前記挿入タイトルは、前記クリップ上
    に前記挿入タイトルを重ね合わせることができるように
    するマット背景であることを特徴とする請求項55記載
    のコンピュータ読み取り可能な媒体。
  63. 【請求項63】 複数の個別のクリップと、前記クリッ
    プが記録された実時間に関する時間データを少なくとも
    含む関連データとを有する映像シーケンスを編集するシ
    ステムであって、 所定の時間関数により関連付け可能であるクリップを前
    記クリップの中から識別するために前記クリップ毎に前
    記時間データを検査し、前記クリップのうち関連付け可
    能なクリップを対応するクリップ群に配列する関連付け
    手段と、 前記各クリップ群の始まりと終わりのうち少なくとも一
    方をタイトルの場所として識別する識別手段と、 少なくとも1つの前記タイトルの場所で、少なくともテ
    キスト成分を含む挿入タイトルを生成するために対応す
    る前記時間データと更なるデータの少なくとも1つを検
    査する検査手段と、 前記タイトルの場所で前記挿入タイトルを前記映像シー
    ケンスの中に組み込む編集手段とを有することを特徴と
    するシステム。
  64. 【請求項64】 前記各クリップ群は、前記所定の時間
    関数により逐次関連付け可能であり、前記所定の時間関
    数は、1つの前記クリップの終結実時間とそれに続く前
    記クリップの開始実時間との間の期間が所定の(第1
    の)持続時間より短い場合に、あるクリップ群の中の何
    れか2つの連続するクリップを関連付けることを特徴と
    する請求項63記載のシステム。
  65. 【請求項65】 前記更なるデータは、ユーザが提供し
    たデータであることを特徴とする請求項64記載のシス
    テム。
  66. 【請求項66】 前記更なるデータは、前記対応するク
    リップを解析することにより形成される生成データであ
    り、前記検査手段は、規則に基づく選択肢群からタイト
    ルデータベースの中の少なくとも1つのタイトル成分を
    選択するために前記データを検査し、前記タイトル成分
    は、前記挿入タイトルを集合的に形成することを特徴と
    する請求項66記載のシステム。
  67. 【請求項67】 前記タイトル成分は、個別の語句から
    構成される語句群の中から選択され、前記タイトル成分
    は前記データの規則に基づく検査に応答して選択される
    ように構成されることを特徴とする請求項66記載のシ
    ステム。
  68. 【請求項68】 前記タイトルデータベースは、前記挿
    入タイトルの視覚表示時の効果を修正するために前記タ
    イトル成分に適用可能である複数の活字組みを有するこ
    とを特徴とする請求項67記載のシステム。
  69. 【請求項69】 前記タイトルデータベースは、前記挿
    入タイトルに含められるべく構成された複数の図形オブ
    ジェクトの図形データベースを有することを特徴とする
    請求項68記載のシステム。
  70. 【請求項70】 前記挿入タイトルは、前記クリップ上
    に前記挿入タイトルを重ね合わせることができるように
    するマット背景であることを特徴とする請求項63記載
    のシステム。
  71. 【請求項71】 複数の映像クリップからなる映像情報
    と前記複数の映像クリップの持続時間情報を含む付加情
    報とからなる映像シーケンスを編集する方法であって、 編集テンプレートに従って前記持続時間情報を処理する
    時間情報処理工程と、 前記時間情報処理工程における処理結果に基づいて前記
    映像情報の一部を削除し、第1の継続時間及び第1の継
    続時間とは異なる第2の継続時間を有する複数の映像セ
    グメントからなる編集済シーケンスを得る編集工程とを
    有することを特徴とする編集方法。
  72. 【請求項72】 複数の映像クリップからなる映像情報
    と前記複数の映像クリップの記録時間情報を含む付加情
    報とからなる映像シーケンスを編集する方法であって、 前記時間情報に基づいて前記複数の映像クリップを記録
    時間が近接した複数の映像クリップからなる複数の映像
    セグメントに分割する分割工程と、 前記映像セグメントの始まりの部分にタイトル画像情報
    を挿入するタイトル挿入工程とを有することを特徴とす
    る編集方法。
JP2000111125A 1999-04-12 2000-04-12 映像シーケンスを編集する方法及びシステム Expired - Fee Related JP4250301B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
AUPP9705A AUPP970599A0 (en) 1999-04-12 1999-04-12 Print frame selection
AU9706 1999-04-12
AU9704 1999-04-12
AUPP9704A AUPP970499A0 (en) 1999-04-12 1999-04-12 Insert title generator
AUPP9706A AUPP970699A0 (en) 1999-04-12 1999-04-12 Rythmic sequence editing system
AU9705 2001-12-21

Publications (3)

Publication Number Publication Date
JP2000350159A true JP2000350159A (ja) 2000-12-15
JP2000350159A5 JP2000350159A5 (ja) 2007-06-07
JP4250301B2 JP4250301B2 (ja) 2009-04-08

Family

ID=27158136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000111125A Expired - Fee Related JP4250301B2 (ja) 1999-04-12 2000-04-12 映像シーケンスを編集する方法及びシステム

Country Status (2)

Country Link
US (1) US7362946B1 (ja)
JP (1) JP4250301B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006524956A (ja) * 2003-03-28 2006-11-02 トムソン ライセンシング メタデータを用いてスレートを自動生成するシステムおよび方法
JP2007189473A (ja) * 2006-01-13 2007-07-26 Hitachi Ltd 動画再生装置
US7328153B2 (en) 2001-07-20 2008-02-05 Gracenote, Inc. Automatic identification of sound recordings
JP2022541358A (ja) * 2020-06-11 2022-09-26 北京市商▲湯▼科技▲開▼▲發▼有限公司 ビデオ処理方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
EP1962511A3 (en) * 2000-04-05 2010-10-27 Sony United Kingdom Limited Audio and/or video generation apparatus and method using a list of content items
GB2380599B (en) * 2000-12-22 2003-10-29 Kent Ridge Digital Labs System and method for media production
US7827112B2 (en) * 2001-03-01 2010-11-02 Sony Corporation Digital signal processing apparatus, digital signal processing method, information center, and data delivery system
AU2002323413A1 (en) * 2001-08-27 2003-03-10 Gracenote, Inc. Playlist generation, delivery and navigation
EP1496701A4 (en) * 2002-04-12 2009-01-14 Mitsubishi Electric Corp METADATA EDITING DEVICE, METADATA REPRODUCTION DEVICE, METADATA DISTRIBUTION APPARATUS, METADA SEARCHING DEVICE, METADATA REPRODUCTION STATUS DISPLAYING DEVICE AND METADATA DISTRIBUTION METHOD
US7009655B2 (en) * 2002-07-23 2006-03-07 Mediostream, Inc. Method and system for direct recording of video information onto a disk medium
EP1494237A1 (en) * 2003-07-01 2005-01-05 Deutsche Thomson-Brandt Gmbh Method and apparatus for editing a data stream
US7733369B2 (en) 2004-09-28 2010-06-08 Objectvideo, Inc. View handling in video surveillance systems
WO2006059563A1 (ja) * 2004-11-30 2006-06-08 Matsushita Electric Industrial Co., Ltd. プログラムリスト再生方法及び表示方法
JP4926416B2 (ja) * 2005-06-15 2012-05-09 キヤノン株式会社 画像表示方法、プログラム、記録媒体及び画像表示装置
US7840898B2 (en) * 2005-11-01 2010-11-23 Microsoft Corporation Video booklet
WO2008035022A1 (en) * 2006-09-20 2008-03-27 John W Hannay & Company Limited Methods and apparatus for creation, distribution and presentation of polymorphic media
US20090297121A1 (en) * 2006-09-20 2009-12-03 Claudio Ingrosso Methods and apparatus for creation, distribution and presentation of polymorphic media
US20090297120A1 (en) * 2006-09-20 2009-12-03 Claudio Ingrosso Methods an apparatus for creation and presentation of polymorphic media
JP2008085632A (ja) * 2006-09-27 2008-04-10 Toshiba Corp カメラ装置およびカメラ装置におけるタイトル編集方法
US7992097B2 (en) 2006-12-22 2011-08-02 Apple Inc. Select drag and drop operations on video thumbnails across clip boundaries
US8943410B2 (en) * 2006-12-22 2015-01-27 Apple Inc. Modified media presentation during scrubbing
US8020100B2 (en) * 2006-12-22 2011-09-13 Apple Inc. Fast creation of video segments
KR100883119B1 (ko) * 2007-04-24 2009-02-11 삼성전자주식회사 동영상 파일 목록 편집 방법
JP2009033369A (ja) * 2007-07-26 2009-02-12 Sony Corp 記録装置、再生装置、記録再生装置、撮像装置、記録方法およびプログラム
CN101965552B (zh) * 2008-03-04 2013-03-13 桑迪士克以色列公司 基于数控振荡器的数字随机数生成器
GB2457968A (en) * 2008-08-06 2009-09-02 John W Hannay & Co Ltd Forming a presentation of content
US8347210B2 (en) * 2008-09-26 2013-01-01 Apple Inc. Synchronizing video with audio beats
US20100088726A1 (en) * 2008-10-08 2010-04-08 Concert Technology Corporation Automatic one-click bookmarks and bookmark headings for user-generated videos
US20100094627A1 (en) * 2008-10-15 2010-04-15 Concert Technology Corporation Automatic identification of tags for user generated content
ES2424117T3 (es) * 2009-03-13 2013-09-27 Orange Interacción entre un usuario y un contenido multimedia
FI20095415A0 (fi) * 2009-04-16 2009-04-16 Valtion Teknillinen Videoeditointijärjestelmä
US8701007B2 (en) * 2009-04-30 2014-04-15 Apple Inc. Edit visualizer for modifying and evaluating uncommitted media content
US8881013B2 (en) * 2009-04-30 2014-11-04 Apple Inc. Tool for tracking versions of media sections in a composite presentation
US8631326B2 (en) * 2009-04-30 2014-01-14 Apple Inc. Segmented timeline for a media-editing application
US8555169B2 (en) * 2009-04-30 2013-10-08 Apple Inc. Media clip auditioning used to evaluate uncommitted media content
US8731373B2 (en) 2009-06-30 2014-05-20 Rovi Technologies Corporation Managing and editing stored media assets
US8406608B2 (en) * 2010-03-08 2013-03-26 Vumanity Media, Inc. Generation of composited video programming
US8818175B2 (en) 2010-03-08 2014-08-26 Vumanity Media, Inc. Generation of composited video programming
US8819557B2 (en) 2010-07-15 2014-08-26 Apple Inc. Media-editing application with a free-form space for organizing or compositing media clips
US8555170B2 (en) 2010-08-10 2013-10-08 Apple Inc. Tool for presenting and editing a storyboard representation of a composite presentation
US9176575B2 (en) * 2011-05-20 2015-11-03 Magix, Ag System and method for utilizing geo location data for the generation of location-based transitions in a multimedia work
US20130073933A1 (en) 2011-09-20 2013-03-21 Aaron M. Eppolito Method of Outputting a Media Presentation to Different Tracks
US9536564B2 (en) 2011-09-20 2017-01-03 Apple Inc. Role-facilitated editing operations
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US10008238B2 (en) * 2013-05-02 2018-06-26 Waterston Entertainment (Pty) Ltd System and method for incorporating digital footage into a digital cinematographic template
JP6218668B2 (ja) * 2014-05-12 2017-10-25 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation メディアへのファイル書き込みに伴うメタ情報の効率的な利用
US10452713B2 (en) * 2014-09-30 2019-10-22 Apple Inc. Video analysis techniques for improved editing, navigation, and summarization
JP6519401B2 (ja) * 2015-08-21 2019-05-29 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US10255947B2 (en) * 2015-08-31 2019-04-09 Netflix, Inc. Mitigating drift in audiovisual assets
US10587872B2 (en) * 2017-07-05 2020-03-10 Project Giants, Llc Video waveform peak indicator
CN110519655B (zh) * 2018-05-21 2022-06-10 阿里巴巴(中国)有限公司 视频剪辑方法、装置及存储介质
EP3959896A1 (en) * 2019-04-22 2022-03-02 Soclip! Automated audio-video content generation
CN113438500B (zh) 2020-03-23 2023-03-24 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备及计算机存储介质
US11227637B1 (en) * 2021-03-31 2022-01-18 Snap Inc. Synchronizing multiple images or videos to an audio track
CN115484399B (zh) * 2021-06-16 2023-12-12 荣耀终端有限公司 一种视频处理方法和电子设备
CN115052198B (zh) * 2022-05-27 2023-07-04 广东职业技术学院 一种智慧农场的影像合成方法、装置和系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515101A (en) * 1989-04-28 1996-05-07 Minolta Co., Ltd. Title generator for a video camera
US5012334B1 (en) 1990-01-29 1997-05-13 Grass Valley Group Video image bank for storing and retrieving video image sequences
DE69132222T2 (de) * 1990-03-09 2000-10-26 Canon Kk Anordnung zur Aufzeichnung von Signalen
US5434678A (en) * 1993-01-11 1995-07-18 Abecassis; Max Seamless transmission of non-sequential video segments
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5696866A (en) * 1993-01-08 1997-12-09 Srt, Inc. Method and apparatus for eliminating television commercial messages
KR960030218A (ko) * 1995-01-12 1996-08-17 김광호 영상신호 자동편집방법 및 장치
TW318906B (ja) * 1995-12-08 1997-11-01 Sony Co Ltd
JP3763153B2 (ja) * 1995-12-13 2006-04-05 ソニー株式会社 データ処理装置及びデータ処理方法
JP3752298B2 (ja) 1996-04-01 2006-03-08 オリンパス株式会社 画像編集装置
GB2312139B (en) * 1996-04-12 2000-09-20 Sony Uk Ltd Editing of recorded material
GB2312138B (en) 1996-04-12 2000-09-20 Sony Uk Ltd Editing of recorded material
US5956453A (en) * 1996-04-12 1999-09-21 Hitachi Denshi Kabushiki Kaisha Method of editing moving image and apparatus of editing the same
US5969716A (en) * 1996-08-06 1999-10-19 Interval Research Corporation Time-based media processing system
US5999689A (en) * 1996-11-01 1999-12-07 Iggulden; Jerry Method and apparatus for controlling a videotape recorder in real-time to automatically identify and selectively skip segments of a television broadcast signal during recording of the television signal
WO1998023089A1 (fr) * 1996-11-22 1998-05-28 Sony Corporation Editeur, et systeme et procede d'edition
JPH10243352A (ja) * 1997-02-27 1998-09-11 Hitachi Ltd 映像情報記録再生装置
JPH1169301A (ja) * 1997-08-08 1999-03-09 Sony Corp 復号方法及び復号再生装置、並びに記録媒体
WO1999031663A1 (fr) * 1997-12-17 1999-06-24 Sony Corporation Dispositif pour generer une liste de montage, procede et dispositif de montage
JP3305999B2 (ja) * 1997-12-26 2002-07-24 日本ビクター株式会社 画像圧縮ストリーム編集装置及びその方法
JP4412749B2 (ja) * 1997-12-26 2010-02-10 富士フイルム株式会社 デジタルカメラ及びデジタルカメラにおける画像処理方法
EP1016083B1 (en) * 1998-07-14 2004-05-12 Koninklijke Philips Electronics N.V. Editing of digital video information signals

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7328153B2 (en) 2001-07-20 2008-02-05 Gracenote, Inc. Automatic identification of sound recordings
JP2006524956A (ja) * 2003-03-28 2006-11-02 トムソン ライセンシング メタデータを用いてスレートを自動生成するシステムおよび方法
JP2007189473A (ja) * 2006-01-13 2007-07-26 Hitachi Ltd 動画再生装置
JP2022541358A (ja) * 2020-06-11 2022-09-26 北京市商▲湯▼科技▲開▼▲發▼有限公司 ビデオ処理方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム

Also Published As

Publication number Publication date
JP4250301B2 (ja) 2009-04-08
US7362946B1 (en) 2008-04-22

Similar Documents

Publication Publication Date Title
JP4250301B2 (ja) 映像シーケンスを編集する方法及びシステム
RU2440606C2 (ru) Способ и устройство автоматического генерирования сводки множества изображений
JP4261644B2 (ja) マルチメディア編集方法及び装置
US8812311B2 (en) Character-based automated shot summarization
US8392183B2 (en) Character-based automated media summarization
CN1152335C (zh) 用于创建多媒体文件的创作设备和创作方法
US7027124B2 (en) Method for automatically producing music videos
Hua et al. Optimization-based automated home video editing system
JP4125140B2 (ja) 情報処理装置、情報処理方法ならびにプログラム
US20050123886A1 (en) Systems and methods for personalized karaoke
JP2003179849A (ja) ビデオコラージュの作成方法および装置、ビデオコラージュ、ビデオコラージュ・ユーザ・インタフェース、ビデオコラージュ作成プログラム
US20190214054A1 (en) System and Method for Automated Video Editing
KR20050086942A (ko) 오디오 신호의 증대 방법 및 시스템
US10867635B2 (en) Method and system for generation of a variant video production from an edited video production
JPH056251A (ja) コンピユータシステム上に上映を事前記録、編集及び再生するための装置
CN113676772A (zh) 视频生成方法及装置
US8538244B2 (en) Recording/reproduction apparatus and recording/reproduction method
KR20020074328A (ko) 키프레임을 이용한 동영상 재생방법 및 그 장치
WO2013187796A1 (ru) Способ автоматического монтажа цифровых видеофайлов
CN115883935A (zh) 视频剪辑方法及装置
AU745436B2 (en) Automated visual image editing system
Amir et al. Automatic generation of conference video proceedings
JP7133367B2 (ja) 動画編集装置、動画編集方法、及び動画編集プログラム
JP2005167822A (ja) 情報再生装置及び情報再生方法
JP2003289499A (ja) データ編集方法、データ編集装置、データ記録装置および記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070412

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070412

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees