JP2003092723A - 動画データ処理装置及び方法 - Google Patents

動画データ処理装置及び方法

Info

Publication number
JP2003092723A
JP2003092723A JP2001283960A JP2001283960A JP2003092723A JP 2003092723 A JP2003092723 A JP 2003092723A JP 2001283960 A JP2001283960 A JP 2001283960A JP 2001283960 A JP2001283960 A JP 2001283960A JP 2003092723 A JP2003092723 A JP 2003092723A
Authority
JP
Japan
Prior art keywords
moving image
editing
group
result
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001283960A
Other languages
English (en)
Other versions
JP3943880B2 (ja
JP2003092723A5 (ja
Inventor
Hirotaka Shiiyama
弘隆 椎山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001283960A priority Critical patent/JP3943880B2/ja
Priority to US10/242,618 priority patent/US7257311B2/en
Publication of JP2003092723A publication Critical patent/JP2003092723A/ja
Publication of JP2003092723A5 publication Critical patent/JP2003092723A5/ja
Priority to US11/751,107 priority patent/US8644683B2/en
Application granted granted Critical
Publication of JP3943880B2 publication Critical patent/JP3943880B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Abstract

(57)【要約】 【課題】動画の仮想編集にメタデータの更新を自動的に
追従させ、編集者のメタデータ再編集に関する負担を軽
減する。 【解決手段】ビデオセグメント区間情報110は、動画
データを分割して得られたビデオセグメントにIDを付
与し、各ビデオセグメントの区間とIDとを対応付けた
情報である。各ビデオセグメントに対応するメタデータ
は、各ビデオセグメントに付与されたIDと関連づける
ことによって管理される。編集操作では、ビデオセグメ
ントを単位とした編集が行なわれ、ビデオセグメントI
Dの並びを操作することになる。従って、編集が行われ
ても、メタデータ情報111を参照するにおいて何等不
整合は発生せず、動画編集と同期してメタデータが更新
されたのと等価になる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画データ処理方
法及び装置に関する。
【0002】
【従来の技術】従来、動画データの記録方法として、磁
気テープ等のテープデバイスに記憶させることが行われ
ている。このようなテープデバイスに記憶された動画デ
ータに対してはランダムアクセスが出来ないため、ビデ
オ編集においては実際に動画ストリームを作成する必要
があった。しかし、近年、動画をハードディスクのよう
なランダムアクセスできるデバイスに記憶することが可
能となり、再生する動画区間を連続して指定することに
より仮想的な編集が可能となった。
【0003】このような仮想的な編集によれば、編集の
やり直し等を容易に行なうことができ、非常に便利であ
る。また、ランダムアクセスが可能なデバイスに動画を
記憶させた場合は、メタデータによる動画検索(シーン
検索)や、ダイジェスト的に動画再生を行なうサマリー
再生が可能となり、多機能な動画再生装置を提供するこ
とができる。
【0004】
【発明が解決しようとする課題】動画を編集した際に
は、これに追従してメタデータやサマリーデータを編集
する必要がある。例えば、動画編集内容がメタデータに
反映されなかった場合は、メタデータによって編集後の
動画を検索、再生しようとしたときに、編集後の動画に
は含まれない部分が検索されてしまう可能性がある。す
なわち、動画の仮想編集とメタデータの更新を同期さ
せ、メタデータを用いてビデオセグメントの検索を行う
場合にも、仮想編集で削除されたビデオセグメントを検
索ヒット結果に出さないようにする配慮が必要である。
【0005】また、動画が多量にある場合に、動画のサ
マリーを見て内容確認・把握を行なうが、動画編集内容
がサマリーデータに反映されていないと、サマリーを再
生したときに編集後の動画とサマリーの間に不一致が生
じることになる。例えば、仮想編集においてビデオセグ
メントの並び順序を変更したりビデオセグメントを削除
した場合に、サマリー再生によるシーンの順序が編集後
の動画と異なったり、削除されたシーンが再生されたり
して、動画を見る人に対して違和感を与えてしまう。
【0006】しかしながら、動画の編集に伴ってメタデ
ータやサマリーデータを編集することは非常に煩わしい
ものであり、動画そのものの編集が容易になっても、編
集作業の手間はむしろ増加する傾向にある。
【0007】本発明は上記の課題に鑑みてなされたもの
であり、動画の仮想編集にメタデータの更新を自動的に
追従させるようにし、編集者のメタデータ再編集の負担
を軽減することを目的とする。
【0008】また、本発明の他の目的は、動画の仮想編
集に追従してサマリーデータを自動的に更新可能とし、
動画の編集後においても違和感を与えないサマリー再生
を可能とすることにある。
【0009】
【課題を解決するための手段】上記の目的を達成するた
めの本発明による動画データ処理装置は以下の構成を備
える。すなわち、動画データを複数フレームからなるグ
ループに分割してIDを付与し、各グループを管理する
グループ管理手段と、前記動画データの編集結果として
得られたIDの並びを記憶する編集結果記憶手段と、前
記編集結果記憶手段に記憶されたIDの並びに従って前
記グループを再生することで編集結果としての動画デー
タを再生する動画再生手段と、前記各グループに対応す
るメタデータを、各グループに対応するIDと関連づけ
ることによって管理するメタデータ管理手段とを備え
る。
【0010】また、上記の目的を達成するための本発明
による動画データ処理方法は以下の工程を備える。すな
わち、動画データを複数フレームからなるグループに分
割してIDを付与し、各グループを管理するグループ管
理工程と、前記動画データの編集結果として得られたI
Dの並びを記憶する編集結果記憶工程と、前記編集結果
記憶工程によって記憶されたIDの並びに従って前記グ
ループを再生することで編集結果としての動画データを
再生する動画再生工程と、前記各グループに対応するメ
タデータを、各グループに対応するIDと関連づけるこ
とによって管理するメタデータ管理工程とを備える。
【0011】
【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態について詳細に説明する。
【0012】図1は本実施形態による動画処理装置の構
成を示すブロック図である。図1において、101はC
PUであり、ROM102或いはRAM103に格納さ
れた制御プログラムを実行することにより、後述のフロ
ーチャートに示される制御を含む各種制御を実行する。
102はROMであり、CPU101によって実行され
る制御プログラムや各種データが格納される。103は
RAMであり、外部記憶装置に格納された制御プログラ
ムをロードする領域や、CPU101が各種制御を実行
する際の作業領域を提供する。
【0013】104は表示器であり、動画再生等各種表
示を行なう。105は操作部であり、キーボードやマウ
スを備える。106は動画再生装置であり、例えばDV
Dに記録された動画を再生する。107は外部記憶装置
であり、CPU101によって実行されるべき制御プロ
グラム115の他、ビデオセグメント区間情報110、
メタデータ情報111、部分再生区間情報112、編集
結果情報113、サマリー再生情報114を格納する。
110〜114によって示される各情報は、動画毎に生
成、保持されるが、各々の詳細については後述する。1
08は、上述の各構成を接続するシステムバスである。
【0014】以上の構成を備えた本実施形態の動画処理
装置の動作について、以下に説明する。
【0015】図2は、本実施形態の動画処理装置の動作
概要を示すフローチャートである。まず、ステップS2
01において動画データをセグメント化し、各セグメン
トにIDを付与して、各セグメントを管理する。ステッ
プS201の処理について、図9及び図10を参照して
更に詳細に説明する。
【0016】図3は本実施形態によるビデオセグメント
区間情報生成処理を説明するフローチャートである。図
9は本実施形態によるビデオセグメントへの分割の概念
を示す図である。また、図10は本実施形態によるビデ
オセグメント区間情報110のデータ構成例を示す図で
ある。
【0017】ステップS201では、図9に示すように
一連の画像フレームを、複数の画像フレームから構成さ
れるビデオセグメントに分割する。なお、ビデオセグメ
ントへの分割の方法としては、(1)表示した画面に対し
て操作部105から指示を与えて、マニュアルでビデオ
セグメントへ分割する、(2)自動的にシーンチェンジを
検出し、この検出結果に従ってビデオセグメントに分割
する、或いは(3)自動的にシーンチェンジ検出を行って
ビデオセグメント分けした後、マニュアルで修正を行う
等が挙げられる。もちろんこれ以外の方法を採用するこ
とも可能であり、ビデオセグメントへの分割方法は問わ
ない。
【0018】次に、ステップS202において、複数の
ビデオセグメントに対してシーケンシャルにIDを割り
付ける。そして、このIDを用いてビデオセグメントを
管理する為の、図10の如きビデオセグメント区間情報
110を生成し、外部記憶装置107に記憶する。
【0019】図10に示されるように、本実施形態のビ
デオセグメント区間情報は、各ビデオセグメントの開始
点と終了点で各セグメントの区間を表現する。なお、図
10では区間情報(開始点、終了点)をタイムコードで
表現しているが、フレーム番号を用いてもよい。すなわ
ち、ビデオ区間を表現できるものであればその表現方法
は問わない。
【0020】図2に戻り、以上のようにしてステップS
201における処理を終えると、ステップS202へ進
み、メタデータ情報111が生成され、外部記憶装置1
07に格納される。この処理について、図4及び図11
を参照して更に詳しく説明する。図4はメタデータ情報
の生成手順を説明するフローチャートである。また、図
11は本実施形態によるメタデータ情報のデータ構成例
を示す図である。
【0021】まず、ステップS401でメタデータを付
与するビデオセグメントIDを指定する。IDの指定方
法としては、操作部105よりID番号を直接入力して
もよいし、動画再生を行なっている最中に、所望の場面
で所定操作(例えば動画再生領域をクリックする等)を
行なうことにより、当該所望の場面が含まれるビデオセ
グメントIDが特定されるようにしてもよい。
【0022】次に、ステップS402において、指定さ
れたビデオセグメントIDに対応するメタデータフィー
ルドへマニュアルで、或いは自動的に、或いは半自動で
メタデータを記述する。なお、自動、半自動による記述
例としては次のような例が挙げられる。例えば日時など
は完全に自動付与できる。またGPSがあれば場所も自
動付与出来るし、大まかな地名だけでなく建物の名前な
どまで付与する場合にはマニュアルで付加することにな
る。さらに、例えば結婚式の様に進行イベントがとタイ
ムテーブルがハッキリしているものの場合に、時間情報
や時系列関係更にはパターンマッチングを用いて推測す
る事により、ビデオセグメントに「挙式」、「披露
宴」、更に細かくは「指輪交換」「キス」「入場」「主
賓挨拶」「乾杯」「ケーキカット」などのメタデータが
ある程度の間違いはあっても付与できる可能性がある。
本実施形態ではこれを「自動」付与と称する。また、自
動付与が間違えた場合に人間がこれを補正する、或いは
自動付与出来るものと出来ないものが混在している場合
を「半自動」付与と称する。そして、ステップS403
において、メタデータ情報111として外部記憶装置1
07に格納する。図11に示すのがメタデータスキーマ
の一例である。この例では動画毎にテーブルを作成し、
ビデオセグメントID毎にステップS402で記述され
たメタデータを管理している。
【0023】図2に戻り、次に、ステップS203にお
いて、サマリー再生のための部分再生区間情報112を
生成し、これを外部記憶装置107に格納する。図5
は、ステップS203における部分再生区間情報の生成
手順を説明すフローチャートである。また、図12は本
実施形態によるサマリー再生のための部分再生区間情報
のデータ構成例を示す図である。ここで言う動画サマリ
ーとは、部分動画をシーケンシャルに再生するものであ
る。なお、図12では、サマリーのための部分再生区間
は説明の簡略化のため各ビデオセグメントに1つとした
が、それは本発明の制限を示すものではなく、各ビデオ
セグメントに対して任意の数の部分再生区間を持つこと
が可能である。すなわち、各ビデオセグメントについて
登録されるサマリー再生すべき部分動画は1つでも複数
でもかまわない。
【0024】図5のフローでは、一括して動画サマリー
を再生するための情報を生成する処理の例を示してい
る。ステップS501でサマリー再生の対象にするビデ
オセグメントを選択し、ステップS502で部分再生開
始点および部分再生終了点を指定する。この処理は実際
に動画を目視で確認し長柄マニュアルで割り付けてもよ
いし、何らかの画像解析処理を行なって自動的に部分動
画を抽出するようにしてもよい。画像解析による自動抽
出方法としては、例えば動きの激しい区間や逆に動きの
大人しい区間を検出して、再生すべき部分動画とするこ
と等が挙げられる。もちろん他の手法によって再生すべ
き部分動画を決定してもよく、その手法は問わない。
【0025】ステップS503では、ステップS501
で指定されたビデオセグメント中に更にサマリー再生す
るための部分再生区間が存在するか否かを判定(例え
ば、他の部分再生区間を設定する旨の指示があったか否
かで判定する)し、存在する場合には再びステップS5
02に戻り他の部分再生区間を指定する。こうして、同
一のビデオセグメント中に複数の部分再生区間を設定す
ることが可能となる。これ以上指定すべき部分再生区間
がない旨指示されると、ステップS503からステップ
S504へ進み、部分再生区間を設定すべき他のビデオ
セグメントがあるかどうかを判定する(例えば、部分再
生区間を設定する他のビデオセグメントが指定されたか
否かで判定する)。そして、他のビデオセグメントがあ
ればステップS501へ戻り、無ければ本処理を終了す
る。
【0026】以上のようにして図12に示すごとき部分
再生区間情報112が生成され、外部記憶装置107に
格納される。部分再生区間情報112は動画サマリーを
再生するための情報であり、後述の仮想編集によって変
化しないものである。図12に示されるように、部分再
生区間情報112は、各ビデオセグメントに対して動画
サマリーとして再生すべき部分動画のリストという形態
で表現されている。また、部分動画は、ビデオセグメン
ト区間情報110と同様に開始点と終了点で表現され
る。なお、図12では部分動画の区間をタイムコードで
表現しているが、フレーム番号等を用いてもよく、ビデ
オ区間を表現できるものであればその表現を問わないこ
とはビデオセグメント区間情報110の場合と同様であ
る。
【0027】図2に戻り、以上のステップS201から
S203の処理により、ビデオセグメント区間情報11
0、メタデータ情報111、部分再生区間情報112が
生成され、外部記憶装置107に保持される。なお、ス
テップS202、S203で示した処理(メタデータ情
報111、部分再生区間情報112の生成)は、ビデオ
セグメントが形成された後(ステップS201の処理
後)であればいかなるタイミングで生成されても構わな
い。また、部分再生区間情報112の生成を先に実行し
てもよい。
【0028】以上の処理を終えると、ステップS204
以降に進み、各種操作に応じた処理が実行される。操作
部105より編集の開始を指示する操作があると、ステ
ップS204からステップS205へ進み、動画の編集
処理を行なう。以下に説明するように、ここで行なわれ
る編集処理は仮想的なものであり、編集の結果としてビ
デオセグメント編集結果情報113が生成、格納され
る。以下、ステップS205における編集処理と、その
結果生成される編集結果情報について図6及び図13を
参照して説明する。
【0029】図6は、ステップS205による動画の編
集処理を説明するフローチャートである。また、図13
は本実施形態による編集結果情報のデータ構成例を示す
図である。
【0030】まず、ステップS601において、入力部
105を介した操作により、動画の編集処理を行なう。
ここで行われる編集処理とは、ビデオセグメントの移動
および削除である。本実施形態の編集操作におけるビデ
オセグメントの並び順序の指定方法は、既存の編集シス
テムの様に、各シーン(ビデオセグメント)の代表画像
フレームをアイコンとして表示させ、それらの順番を入
れ替えたり、あるいは削除することにより行うものとす
る。但し、他の編集操作方法で実現してもよく、その手
法は問わない。
【0031】本実施形態で言う編集とは、オリジナルの
動画を編集した通りにビデオセグメントを並べ替えるも
のではなく、ビデオセグメントIDを編集された並び順
序に並べ替え、並べ替えられたビデオセグメントIDの
順序でビデオセグメントを再生することで実現されも
の、すなわち仮想的な編集である。また、削除したビデ
オセグメントも実際には削除されておらず、再生されな
いだけである。
【0032】次にステップS602において、ステップ
S601でなされた編集内容を反映した編集結果情報1
13を生成し、外部記憶装置107に格納する。編集結
果情報113について図13により説明する。
【0033】編集を行なう前のセグメント並び情報は図
13の初期時に示すようにシーケンシャルである。これ
に対して、ステップS601で編集操作を行い、ステッ
プS602でその編集結果を反映した編集後のレコード
1301(編集後のビデオセグメントの並び順を示す)
が生成される。このレコード1301には、編集後のセ
グメント並び情報が格納されており、「*」付きのID
は編集操作によって削除が指示されたビデオセグメント
である。従ってこの例では、編集されたビデオを再生す
ると、0→1→3→4の順番でビデオセグメントがラン
ダムアクセス再生され終了する。もちろん、編集によっ
て、0→1→4→3のようにビデオセグメントの前後が
入れ代わるようにしてもよい。
【0034】なお、削除されたビデオセグメントの表現
方法に関して「*」を用いたが、削除してないビデオセ
グメントと区別が付けばその表現方法は問わない。或い
は、削除したビデオセグメントIDを別途管理する方法
も考えられる。また、初期時のセグメント並び情報は単
にシーケンシャルなので冗長であり、編集後のセグメン
ト並び情報だけを保存しておいても良い。
【0035】さて、本実施形態によれば、以上のような
編集操作がなされても、編集結果情報113に格納され
るビデオセグメント並び情報が更新されるのみで、セグ
メントIDとビデオセグメントの関係は変化しない。こ
のため、メタデータとビデオセグメントの対応関係も保
証される。従って、編集が行われビデオセグメント並び
情報が更新された瞬間でも、図11に示されるスキーマ
(メタデータ情報111)を参照するにおいては何等不
整合は発生せず、動画編集と同期してメタデータが更新
されたことと等価になる。
【0036】図2に戻り、動画再生の指示があると、ス
テップS206からステップS207へ進み、指定され
た動画の再生が行なわれる。なお、動画の再生に際して
は、編集結果情報(図13)が参照され、編集後のレコ
ード1301が存在する場合は、これに従ってビデオセ
グメントを再生する。図13の例によれば、ビデオセグ
メント0→1→3→4の順に再生されることになる。
【0037】また、サマリー再生の指示があると、ステ
ップS208からステップS209へ進み、編集結果を
反映したサマリー再生が行なわれる。このとき、上述の
ごとく動画編集が行われていると、ビデオセグメントの
並びが変化している。従って、サマリー再生時には、そ
の並びに対応して部分動画を再生しなければ、見ている
人は動画再生時とサマリー再生時の時系列の不整合から
違和感を受ける。また、編集で削除されたビデオセグメ
ントに含まれる部分動画がサマリーとして再生されるの
は不適切であり、このような部分動画はサマリー再生時
に再生されるべきではない。
【0038】本実施形態のサマリー再生では、上記課題
を解決するものであり、以下、図7及び図14を参照し
て説明する。図7はステップS209において実行され
るサマリー再生の手順を説明するフローチャートであ
る。また、図14は、編集結果を反映したサマリー再生
のための部分再生区間情報の一例を示す図である。
【0039】ステップS701において、サマリー再生
するべく指定された画像の編集結果情報を読み込む。そ
して、ステップS702で、編集結果情報のレコード1
301に示されるビデオセグメントの並び順序を保ちな
がら、削除対象のビデオセグメントを除外して、ビデオ
セグメント並び順序が保たれた有効なビデオセグメント
のリストを作成する。そして、そのリスト中の有効なビ
デオセグメントの個数を得、Nとする。そして、ステッ
プS703において、ループカウンタIを0にリセット
し、ステップS702で生成したリストの先頭のビデオ
セグメントIDを得る。
【0040】ステップS704ではI<N、即ちループ
カウンタIが有効なビデオセグメントのリストの個数N
を超えたかどうかを判定し、越えない間はステップS7
05へ、越えた場合はステップS708へ処理を分岐す
る。
【0041】ステップS705では、部分再生区間情報
112(図12)を参照して、現在処理対象のビデオセ
グメントIDに対応するビデオセグメントのサマリーの
ための部分再生区間情報を得る。なお、一つのビデオセ
グメントIDに複数の部分再生区間情報がある場合は、
全ての部分再生区間情報を得る。
【0042】続いてステップS706において、ステッ
プS705で得た部分再生区間情報をサマリーのための
部分再生区間情報へ追記する。このとき、前回の処理で
追記された部分再生区間情報の後に、新たに得られた部
分再生区間情報を追記するようにし、ステップS702
で生成したリストの順序(すなわち編集結果情報のビデ
オセグメント順序)を保持する。
【0043】続くステップS707ではループカウンタ
IをI=I+1によりインクリメントし、ステップS7
04に戻る。こうして、ループカウンタがI<Nとなる
までステップS705、S706の処理が繰り返され、
サマリーのための部分区間再生情報114を生成する。
【0044】こうして、サマリーのための部分区間再生
情報114は、図14にその一例を示すように、図13
の編集結果情報のレコード1301に表されたビデオセ
グメントの並び順序を保存したものとなる。
【0045】ステップS04でI>Nが確認されると、
ステップS708へ進み、サマリーのための部分再生区
間情報114を完成し、外部記憶装置107に記憶す
る。そして、ステップS709において、ステップS7
08で記憶した部分再生区間情報114を参照して、部
分動画を順次再生し、サマリー再生を行なう。
【0046】以上の処理によれば、編集後のビデオセグ
メントの再生順序に従って、対応する部分動画が再生さ
れるので、サマリー再生を自動的に編集結果に対応した
物とすることができる。
【0047】再び図2に戻り、操作部105より動画検
索指示がなされると、ステップS210からステップS
211へ進み、メタデータを用いた検索処理が実行され
る。メタデータを用いてビデオセグメントの検索を行う
場合にも、メタデータ検索で検索条件に合致したビデオ
セグメントが編集で削除されたビデオセグメントに成っ
ていないか編集結果情報を用いて確認し、削除されたビ
デオセグメントを検索ヒット結果に出さないようにす
る。
【0048】図8はステップS211の検索処理を説明
するフローチャートである。この処理では、編集によっ
て削除されたビデオセグメントは検索結果から除外され
ている。
【0049】まず、ステップS801では、検索の対象
とするメタデータ属性と検索クエリーを指定する。本実
施形態では、図11に示したように、メタデータは複数
の属性(「オブジェクト」「アノテーション」等)を含
み、それぞれに値が記録されている。ステップS801
では、検索クエリーを指定するとともに、当該検索クエ
リーと一致するデータが存在するか否かを調べるべきメ
タデータの属性を指定する。
【0050】ステップS802では、ステップS801
で指定されたメタデータ属性のメタデータについて調査
し、検索クエリーに合致しているビデオセグメントID
のリストを生成する。ステップS803では、編集結果
情報の変種後のビデオセグメント並び順序(レコード1
301)を参照し、「*」マークの付いたビデオセグメ
ントID(編集で削除されたビデオセグメントのID)
をステップS802でで生成したリストから除外する。
図13の例では、ID=2、5が削除されているので、
ステップS802で生成したリストにID=2、5が存
在する場合に、これらを削除する。
【0051】例えば、メタデータ属性として「オブジェ
クト」を選択し、手が映っているビデオセグメントを探
した場合、図11のメタデータ情報からはビデオセグメ
ントID=1と2がヒットする。しかし、編集結果情報
113においてビデオセグメントID=2は削除されて
いるため、ビデオセグメントID=1のみが検索結果と
して返されることになる。
【0052】以上の処理によれば、検索結果に編集で削
除したデータが含まれることを防止できる。
【0053】また、編集の結果削除されたビデオセグメ
ントを検索結果から除外する他に、検索結果を提示する
際に編集結果として得られたビデオセグメントIDの並
びを反映させる(例えば、ビデオセグメントIDの並び
の順に検索結果を提示する)ようにしてもよい。
【0054】また、上記実施形態では、ビデオセグメン
ト区間情報110、メタデータ情報111、部分再生区
間情報112及び編集結果情報113に関し、固定のフ
ィールドに格納する様な概念図を用いたが、これに限ら
れるものではない。例えば、XMLやHTMHやSGM
L等の構造記述言語を用いれば、識別子(TAG)を用
いて属性を表すことができるので、サイズや記述位置の
制約が無くなる。また、これら110,111,11
2,113等の一連の情報をその他の構造記述言語を用
いて表現しても良い。
【0055】また、本実施形態では編集の単位をビデオ
セグメントとしたが、ショット単位や内容理解に基づく
単位としても構わない。
【0056】また、本実施形態では、メタデータを用い
てビデオセグメントの検索を行う際に、検索対象のフィ
ールドをなめて検索を行ったが、効率的な検索のための
インデックスを予め作成しておき、これを参照すること
により該当するビデオセグメントIDを効率的に得るよ
うにしてもよい。例えば、ビデオ映っている人を記述す
るメタデータフィールドがあったとする。このビデオに
登場する人物がA,B,Cの3人がいる場合、インデッ
クスとはA、B、Cそれぞれが映っているビデオセグメン
トのIDのリストを用意しておくことを意味する。Aが
映っているビデオセグメントを検索する指示があった場
合に、上記Aが映っているビデオセグメントのIDのリ
ストをそのまま検索結果として利用出来るので極めて高
速である。他方、インデックスが無い場合にはビデオに
登場する人物を記述するフィールドを全て舐めて検索す
るので処理時間が掛かる。
【0057】なお、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【0058】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【0059】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROMな
どを用いることができる。
【0060】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【0061】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【0062】
【発明の効果】以上説明したように、本発明によれば、
動画の仮想編集にメタデータの更新を自動的に追従させ
ることができ、編集者のメタデータ再編集の負担が軽減
されることになる。また、本発明によれば、動画の仮想
編集に追従してサマリーデータが自動的に更新されるの
で、動画の編集後においても違和感を与えないサマリー
再生が可能となる。
【図面の簡単な説明】
【図1】本実施形態による動画処理装置の構成を示すブ
ロック図である。
【図2】本実施形態の動画処理装置の動作概要を示すフ
ローチャートである。
【図3】本実施形態によるビデオセグメント区間情報生
成処理を説明するフローチャートである。
【図4】メタデータ情報の生成手順を説明するフローチ
ャートである。
【図5】本実施形態による部分再生区間情報の生成手順
を説明すフローチャートである。
【図6】本実施形態による動画の編集処理を説明するフ
ローチャートである。
【図7】本実施形態によるサマリー再生の手順を説明す
るフローチャートである。
【図8】本実施形態による検索処理を説明するフローチ
ャートである。
【図9】本実施形態によるビデオセグメントへの分割の
概念を示す図である。
【図10】本実施形態によるビデオセグメント区間情報
のデータ構成例を示す図である。
【図11】本実施形態によるメタデータ情報のデータ構
成例を示す図である。
【図12】本実施形態によるサマリー再生のための部分
再生区間情報のデータ構成例を示す図である。
【図13】本実施形態による編集結果情報のデータ構成
例を示す図である。
【図14】編集結果を反映したサマリー再生のための部
分再生区間情報の一例を示す図である。

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 動画データを複数フレームからなるグル
    ープに分割してIDを付与し、各グループを管理するグ
    ループ管理手段と、 前記動画データの編集結果として得られたIDの並びを
    記憶する編集結果記憶手段と、 前記編集結果記憶手段に記憶されたIDの並びに従って
    前記グループを再生することで編集結果としての動画デ
    ータを再生する動画再生手段と、 前記各グループに対応するメタデータを、各グループに
    対応するIDと関連づけることによって管理するメタデ
    ータ管理手段とを備えることを特徴とする動画データ処
    理装置。
  2. 【請求項2】 前記グループ管理手段は、グループを構
    成する複数フレームの前記動画データ中における区間と
    IDとを対応付けることにより各グループを管理するこ
    とを特徴とする請求項1に記載の動画データ処理装置。
  3. 【請求項3】 前記編集結果記憶手段は、編集の結果削
    除されたグループのIDを示す削除情報を更に記憶する
    ことを特徴とする請求項1に記載の動画データ処理装
    置。
  4. 【請求項4】 各グループより抽出された画像部分と、
    その抽出元のグループに対応するIDとを関連づけて該
    画像部分を管理する画像部分管理手段と、 前記編集結果記憶手段に記憶されたIDの並びに基づい
    て前記画像部分管理手段で管理されている画像部分を順
    次再生するサマリー再生手段とを更に備えることを特徴
    とする請求項1に記載の動画データ処理装置。
  5. 【請求項5】 前記メタデータを用いて画像検索を行な
    う検索手段と、 前記検索手段の検索結果に前記編集結果記憶手段に格納
    された内容を反映する反映手段とを更に備えることを特
    徴とする請求項1に記載の動画データ処理装置。
  6. 【請求項6】 前記反映手段は、前記編集結果記憶手段
    に記憶されている編集後のIDの並びに従って検索結果
    を提示することを特徴とする請求項5に記載の動画デー
    タ処理装置。
  7. 【請求項7】 前記編集結果記憶手段に記憶される編集
    結果は編集によって削除されたIDを示す削除情報を含
    み、 前記反映手段は、前記検索結果より前記削除情報で示さ
    れるIDに対応する検索結果を削除することを特徴とす
    る請求項5に記載の動画データ処理装置。
  8. 【請求項8】 動画データを複数フレームからなるグル
    ープに分割してIDを付与し、各グループを管理するグ
    ループ管理工程と、 前記動画データの編集結果として得られたIDの並びを
    記憶する編集結果記憶工程と、 前記編集結果記憶工程によって記憶されたIDの並びに
    従って前記グループを再生することで編集結果としての
    動画データを再生する動画再生工程と、 前記各グループに対応するメタデータを、各グループに
    対応するIDと関連づけることによって管理するメタデ
    ータ管理工程とを備えることを特徴とする動画データ処
    理方法。
  9. 【請求項9】 前記グループ管理工程は、グループを構
    成する複数フレームの前記動画データ中における区間と
    IDとを対応付けることにより各グループを管理するこ
    とを特徴とする請求項8に記載の動画データ処理方法。
  10. 【請求項10】 前記編集結果記憶工程は、編集の結果
    削除されたグループのIDを示す削除情報を更に記憶す
    ることを特徴とする請求項8に記載の動画データ処理方
    法。
  11. 【請求項11】 各グループより抽出された画像部分
    と、その抽出元のグループに対応するIDとを関連づけ
    て該画像部分を管理する画像部分管理工程と、 前記編集結果記憶工程に記憶されたIDの並びに基づい
    て前記画像部分管理工程で管理されている画像部分を順
    次再生するサマリー再生工程とを更に備えることを特徴
    とする請求項8に記載の動画データ処理方法。
  12. 【請求項12】 前記メタデータを用いて画像検索を行
    なう検索工程と、 前記検索工程の検索結果に前記編集結果記憶工程に格納
    された内容を反映する反映工程とを更に備えることを特
    徴とする請求項8に記載の動画データ処理方法。
  13. 【請求項13】 前記反映工程は、前記編集結果記憶工
    程によって記憶された編集後のIDの並びに従って検索
    結果を提示することを特徴とする請求項12に記載の動
    画データ処理方法。
  14. 【請求項14】 前記編集結果記憶工程において記憶さ
    れる編集結果は編集によって削除されたIDを示す削除
    情報を含み、 前記反映工程は、前記検索結果より前記削除情報で示さ
    れるIDに対応する検索結果を削除することを特徴とす
    る請求項12に記載の動画データ処理方法。
  15. 【請求項15】 請求項8乃至14のいずれかに記載の
    動画データ処理方法をコンピュータに実現させるための
    制御プログラム。
  16. 【請求項16】 請求項8乃至14のいずれかに記載の
    動画データ処理方法をコンピュータに実現させるための
    制御プログラムを格納する記憶媒体。
JP2001283960A 2001-09-18 2001-09-18 動画データ処理装置及び方法 Expired - Fee Related JP3943880B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001283960A JP3943880B2 (ja) 2001-09-18 2001-09-18 動画データ処理装置及び方法
US10/242,618 US7257311B2 (en) 2001-09-18 2002-09-13 Moving image data processing apparatus and method
US11/751,107 US8644683B2 (en) 2001-09-18 2007-05-21 Moving image data processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001283960A JP3943880B2 (ja) 2001-09-18 2001-09-18 動画データ処理装置及び方法

Publications (3)

Publication Number Publication Date
JP2003092723A true JP2003092723A (ja) 2003-03-28
JP2003092723A5 JP2003092723A5 (ja) 2007-01-11
JP3943880B2 JP3943880B2 (ja) 2007-07-11

Family

ID=19107368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001283960A Expired - Fee Related JP3943880B2 (ja) 2001-09-18 2001-09-18 動画データ処理装置及び方法

Country Status (2)

Country Link
US (2) US7257311B2 (ja)
JP (1) JP3943880B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003075564A1 (en) * 2002-03-05 2003-09-12 Canon Kabushiki Kaisha Moving image management method and apparatus
WO2004090902A1 (ja) * 2003-04-04 2004-10-21 Sony Corporation 情報処理装置および方法、プログラム、並びに記録媒体
JP2023501390A (ja) * 2019-11-08 2023-01-18 北京字節跳動網絡技術有限公司 マルチメディア情報処理方法、装置、電子デバイス及び媒体

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6752505B2 (en) * 1999-02-23 2004-06-22 Solid State Opto Limited Light redirecting films and film systems
JP3943880B2 (ja) * 2001-09-18 2007-07-11 キヤノン株式会社 動画データ処理装置及び方法
US7286749B2 (en) * 2002-04-16 2007-10-23 Canon Kabushiki Kaisha Moving image playback apparatus, moving image playback method, and computer program thereof with determining of first voice period which represents a human utterance period and second voice period other than the first voice period
JP2005004866A (ja) * 2003-06-11 2005-01-06 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
EP1494241A1 (en) * 2003-07-01 2005-01-05 Deutsche Thomson-Brandt GmbH Method of linking metadata to a data stream
EP1494237A1 (en) * 2003-07-01 2005-01-05 Deutsche Thomson-Brandt Gmbh Method and apparatus for editing a data stream
EP1494238B1 (en) * 2003-07-01 2009-12-23 Thomson Licensing Method and apparatus for editing a data stream
JP4412159B2 (ja) * 2004-01-29 2010-02-10 セイコーエプソン株式会社 画像処理装置、プリンタ及びプリンタの制御方法
US8667401B1 (en) * 2004-05-26 2014-03-04 Adobe Systems Incorporated System and method for archiving collaborative electronic meetings
WO2006016605A1 (ja) * 2004-08-10 2006-02-16 Sony Corporation 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
JP2006099671A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 動画像のメタデータの検索テーブル
US7752548B2 (en) * 2004-10-29 2010-07-06 Microsoft Corporation Features such as titles, transitions, and/or effects which vary according to positions
JP4251131B2 (ja) * 2004-11-17 2009-04-08 ソニー株式会社 データ処理装置及び方法
KR100739770B1 (ko) * 2004-12-11 2007-07-13 삼성전자주식회사 멀티 앵글 타이틀에 적용 가능한 메타 데이터를 포함하는저장 매체, 그 재생 장치 및 방법
US20060271855A1 (en) * 2005-05-27 2006-11-30 Microsoft Corporation Operating system shell management of video files
FR2891081B1 (fr) * 2005-09-21 2009-05-29 Little Worlds Studio Soc Respo Procede et dispositif d'elaboration d'un dvd-video; programme, support d'enregistrement et module d'instanciation pour ce procede
US8712224B2 (en) * 2005-11-07 2014-04-29 Koninklijke Philips N.V. Method and apparatus for editing a program on an optical disc
US20070204238A1 (en) * 2006-02-27 2007-08-30 Microsoft Corporation Smart Video Presentation
JP2007281680A (ja) * 2006-04-04 2007-10-25 Sony Corp 画像処理装置および画像表示方法
US7945142B2 (en) * 2006-06-15 2011-05-17 Microsoft Corporation Audio/visual editing tool
US20080065693A1 (en) * 2006-09-11 2008-03-13 Bellsouth Intellectual Property Corporation Presenting and linking segments of tagged media files in a media services network
JP4918836B2 (ja) * 2006-09-29 2012-04-18 富士ゼロックス株式会社 動的情報処理装置及び情報処理プログラム
US8375302B2 (en) * 2006-11-17 2013-02-12 Microsoft Corporation Example based video editing
US8650489B1 (en) * 2007-04-20 2014-02-11 Adobe Systems Incorporated Event processing in a content editor
KR101445074B1 (ko) * 2007-10-24 2014-09-29 삼성전자주식회사 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치
US20110296291A1 (en) * 2007-11-15 2011-12-01 Olya Melkinov System and method for transforming documents for publishing electronically
US8639086B2 (en) 2009-01-06 2014-01-28 Adobe Systems Incorporated Rendering of video based on overlaying of bitmapped images
KR101700811B1 (ko) * 2010-09-02 2017-02-01 주식회사 케이티 이동형 사용자 단말 위치에 기반한 콘텐츠 연속 이용 제공 방법 및 서버
WO2014010501A1 (ja) * 2012-07-10 2014-01-16 シャープ株式会社 再生装置、再生方法、配信装置、配信方法、配信プログラム、再生プログラム、記録媒体およびメタデータ
US10516893B2 (en) 2015-02-14 2019-12-24 Remote Geosystems, Inc. Geospatial media referencing system
US9936214B2 (en) * 2015-02-14 2018-04-03 Remote Geosystems, Inc. Geospatial media recording system
US10645468B1 (en) * 2018-12-03 2020-05-05 Gopro, Inc. Systems and methods for providing video segments

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3377677B2 (ja) 1996-05-30 2003-02-17 日本電信電話株式会社 映像編集装置
CN1111862C (zh) * 1998-01-21 2003-06-18 株式会社东芝 视频数据记录设备和重放装置
JPH11238071A (ja) 1998-02-20 1999-08-31 Toshiba Corp ダイジェスト作成装置及びダイジェスト作成方法
US7457415B2 (en) * 1998-08-20 2008-11-25 Akikaze Technologies, Llc Secure information distribution system utilizing information segment scrambling
US6192783B1 (en) * 1998-08-28 2001-02-27 Jidosha Kiki Co., Ltd. Brake booster
US7134074B2 (en) * 1998-12-25 2006-11-07 Matsushita Electric Industrial Co., Ltd. Data processing method and storage medium, and program for causing computer to execute the data processing method
US6462754B1 (en) * 1999-02-22 2002-10-08 Siemens Corporate Research, Inc. Method and apparatus for authoring and linking video documents
JP2001028722A (ja) * 1999-07-13 2001-01-30 Matsushita Electric Ind Co Ltd 動画像管理装置及び動画像管理システム
JP3943880B2 (ja) * 2001-09-18 2007-07-11 キヤノン株式会社 動画データ処理装置及び方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003075564A1 (en) * 2002-03-05 2003-09-12 Canon Kabushiki Kaisha Moving image management method and apparatus
US7983528B2 (en) 2002-03-05 2011-07-19 Canon Kabushiki Kaisha Moving image management method and apparatus
WO2004090902A1 (ja) * 2003-04-04 2004-10-21 Sony Corporation 情報処理装置および方法、プログラム、並びに記録媒体
EP1612796A1 (en) * 2003-04-04 2006-01-04 Sony Corporation Information processing device and method, program, and recording medium
EP1612796A4 (en) * 2003-04-04 2008-06-04 Sony Corp INFORMATION PROCESSING DEVICE AND METHOD, PROGRAM AND RECORDING MEDIUM
US8041189B2 (en) 2003-04-04 2011-10-18 Sony Corporation Information processing device and method, program, and recording medium
JP2023501390A (ja) * 2019-11-08 2023-01-18 北京字節跳動網絡技術有限公司 マルチメディア情報処理方法、装置、電子デバイス及び媒体
JP7375191B2 (ja) 2019-11-08 2023-11-07 北京字節跳動網絡技術有限公司 マルチメディア情報処理方法、装置、電子デバイス及び媒体

Also Published As

Publication number Publication date
JP3943880B2 (ja) 2007-07-11
US20030052910A1 (en) 2003-03-20
US8644683B2 (en) 2014-02-04
US7257311B2 (en) 2007-08-14
US20070230807A1 (en) 2007-10-04

Similar Documents

Publication Publication Date Title
JP3943880B2 (ja) 動画データ処理装置及び方法
US11157154B2 (en) Media-editing application with novel editing tools
JP4514928B2 (ja) 編集装置及び方法
US20090022474A1 (en) Content Editing and Generating System
US20070260968A1 (en) Editing system for audiovisual works and corresponding text for television news
JPH08249348A (ja) 映像検索方法および装置
US11747972B2 (en) Media-editing application with novel editing tools
KR20070095431A (ko) 멀티미디어 프리젠테이션 생성
JP3574606B2 (ja) 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
KR100319160B1 (ko) 사건구간을기반으로하는동영상검색방법과검색데이타구성방법
JPH1051733A (ja) 動画像編集方法および動画像編集装置および動画像編集手順を有するプログラムコードを記録する記録媒体
JPH1013773A (ja) デジタル画像管理検索システム及びデジタルカメラシステム
JP2002142188A (ja) 動画像編集方法及び装置
JPH06309381A (ja) 動画像処理装置
JP2003303210A (ja) 情報処理方法、情報処理装置、および記録媒体
JP3690313B2 (ja) 動画像管理装置、情報入力方法および動画像検索方法
JP4021449B2 (ja) 動画像編集方法および動画像編集装置
JP2004363831A (ja) 動画像処理装置及び動画像処理方法
JP5746478B2 (ja) データ処理装置およびデータ処理方法、プログラム
JP4323172B2 (ja) 情報編集システム、情報編集装置、および情報編集プログラム
KR100258181B1 (ko) 디지털 비디오 스튜디오에서 비디오 프로젝트의 버전 관리 방법
US20140321833A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP2001142903A (ja) データ検索装置およびその方法、データ検索システム、記憶媒体
JP2005010950A (ja) ファイル管理装置、ファイル管理方法、プログラム及び記録媒体
JPH11175618A (ja) 知的所有権情報管理システム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061225

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070406

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110413

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130413

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130413

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140413

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees