JP2002149672A - Avコンテンツ自動要約システム及びavコンテンツ自動要約方式 - Google Patents

Avコンテンツ自動要約システム及びavコンテンツ自動要約方式

Info

Publication number
JP2002149672A
JP2002149672A JP2000339805A JP2000339805A JP2002149672A JP 2002149672 A JP2002149672 A JP 2002149672A JP 2000339805 A JP2000339805 A JP 2000339805A JP 2000339805 A JP2000339805 A JP 2000339805A JP 2002149672 A JP2002149672 A JP 2002149672A
Authority
JP
Japan
Prior art keywords
scene
audio
video
outline
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000339805A
Other languages
English (en)
Other versions
JP3642019B2 (ja
Inventor
Minoru Kuroiwa
実 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000339805A priority Critical patent/JP3642019B2/ja
Publication of JP2002149672A publication Critical patent/JP2002149672A/ja
Application granted granted Critical
Publication of JP3642019B2 publication Critical patent/JP3642019B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 より内容を把握しやすいAV要約を生成可能
なAVコンテンツ自動要約システムを提供する。 【解決手段】 AVデータ入力手段1は放送電波を受信
し、その信号に含まれる映像情報と音声情報とを抽出す
る。概要説明シーン検出手段2は抽出された映像情報と
音声情報とを解析して概要説明シーンを検出する。映像
要約手段3は抽出された映像情報と概要説明シーン検出
手段2が検出した概要説明シーンのフレーム区間の映像
情報とを参照し、概要説明シーンに続く現場シーンや解
説シーン等の詳細シーンの要約映像を生成する。音声抽
出手段4は抽出された音声情報から概要説明シーン検出
手段2が検出した概要説明シーンのフレーム区間の音声
情報を抜き出す。AV要約出力手段5は映像要約手段3
が記録した要約映像と、音声抽出手段4が記録した概要
説明音声とを同期させて合成して出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はAVコンテンツ自動
要約システム及びAVコンテンツ自動要約方式に関し、
特にAV(Audio Visual)コンテンツの要
約を生成する方法に関する。
【0002】
【従来の技術】従来、AVコンテンツの自動要約システ
ムとしては、映像フレームの中から複数の代表画像を選
択し、それらを順次表示したり、縮小画像の一覧で表示
するものがある。
【0003】この場合、上記の自動要約システムでは映
像フレームから一定周期で取出した映像や、映像の特徴
量の変化点を自動検出してその変化点直後の映像を代表
画像として選択している。
【0004】また、AVコンテンツの自動要約の別の方
式として、映像や音声の特徴量の変化点付近の映像と音
声とを同時に再生するシステムがある。このシステムに
ついては、特開平11−88807号公報に開示されて
いる。
【0005】
【発明が解決しようとする課題】しかしながら、上述し
た従来のAVコンテンツの自動要約システムでは、映像
のみを利用しているため、音声による情報が欠落し、ま
た代表映像が必ずしもAVコンテンツの概要を的確に表
しているものではないことが多いので、AVコンテンツ
の概要をうまく把握することが困難であるという問題が
ある。
【0006】上記の公報記載のシステムでは、AVコン
テンツに含まれるひとつの話題に、現場の様子や解説者
の話、テロップによる説明等の数多くのシーンが含まれ
ているため、それらを音声付きの映像で再生する場合
に、音声が自然に聞けるようにひとつのシーン毎の再生
時間を数秒以上再生する必要があり、かつそれら多くの
シーンの全てが対応する話題の概要を的確に表現するも
のでない。
【0007】また、AVコンテンツの内容を端的に表現
する映像と、AVコンテンツの内容を端的に表現する音
声とが別のシーンに存在することが多いため、AVコン
テンツの一部分を再生する方式で、それらの映像と音声
との両方を再生しようとすると必然的に時間が長くな
る。したがって、上記の公報記載のシステムには、AV
コンテンツの概要をうまく把握するのに、ある程度長い
AV要約を生成する必要があるという問題がある。
【0008】そこで、本発明の目的は上記の問題点を解
消し、より内容を把握しやすいAV要約を生成すること
ができるAVコンテンツ自動要約システム及びAVコン
テンツ自動要約方式を提供することにある。
【0009】
【課題を解決するための手段】本発明によるAVコンテ
ンツ自動要約システムは、少なくとも映像及び音声を含
むAV(Audio Visual)コンテンツからそ
れらの映像及び音声の中の代表的な部分を選択して表示
するAVコンテンツ自動要約システムであって、前記A
Vコンテンツの中から前記代表的な部分の映像及び音声
を別々に取出す手段と、それらの映像及び音声を合成し
て出力する手段とを備えている。
【0010】本発明による他のAVコンテンツ自動要約
システムは、少なくとも報道番組でアナウンサが次のニ
ュースの概要を説明するシーンを示す概要説明シーンを
検出する検出手段と、前記検出手段で検出された概要説
明シーンに続く詳細シーンの要約映像を生成する生成手
段と、前記検出手段で検出された概要説明シーンの音声
のみを抽出する抽出手段と、前記生成手段で要約映像と
前記抽出手段で抽出された概要説明音声とを合成して出
力する出力手段とを備えている。
【0011】本発明による別のAVコンテンツ自動要約
システムは、少なくとも報道番組でアナウンサが次のニ
ュースの概要を説明するシーンを示す概要説明シーンを
含むコンテンツからAV(Audio Visual)
要約を生成するAVコンテンツ自動要約システムであっ
て、前記コンテンツから前記概要説明シーンを検出しか
つその概要説明シーンの開始フレーム番号及び終了フレ
ーム番号の集合を前記概要説明シーンとともに記録する
概要説明シーン検出手段と、前記概要説明シーンに続く
詳細シーンの要約映像を生成する映像要約手段と、前記
概要説明シーンの音声を概要説明音声として切出す音声
抽出手段と、前記音声抽出手段が生成した概要説明音声
とその概要説明音声に対応する前記映像要約手段が生成
した詳細シーンの要約映像との同期をとって前記AV要
約として再生出力するAV要約出力手段とを備えてい
る。
【0012】本発明によるAVコンテンツ自動要約方式
は、少なくとも映像及び音声を含むAV(Audio
Visual)コンテンツからそれらの映像及び音声の
中の代表的な部分を選択して表示するAVコンテンツ自
動要約方法であって、前記AVコンテンツの中から前記
代表的な部分の映像及び音声を別々に取出すステップ
と、それらの映像及び音声を合成して出力するステップ
とを備えている。
【0013】本発明による他のAVコンテンツ自動要約
方式は、少なくとも報道番組でアナウンサが次のニュー
スの概要を説明するシーンを示す概要説明シーンを検出
するステップと、検出された概要説明シーンに続く詳細
シーンの要約映像を生成するステップと、検出された概
要説明シーンの音声のみを抽出するステップと、前記要
約映像と前記概要説明音声とを合成して出力するステッ
プとを備えている。
【0014】本発明による別のAVコンテンツ自動要約
方式は、少なくとも報道番組でアナウンサが次のニュー
スの概要を説明するシーンを示す概要説明シーンを含む
コンテンツからAV(Audio Visual)要約
を生成するAVコンテンツ自動要約方法であって、前記
コンテンツから前記概要説明シーンを検出しかつその概
要説明シーンの開始フレーム番号及び終了フレーム番号
の集合を前記概要説明シーンとともに記録するステップ
と、前記概要説明シーンに続く詳細シーンの要約映像を
生成するステップと、前記概要説明シーンの音声を概要
説明音声として切出すステップと、前記概要説明音声と
その概要説明音声に対応する前記詳細シーンの要約映像
との同期をとって前記AV要約として再生出力するステ
ップとを備えている。
【0015】すなわち、本発明のAVコンテンツ自動要
約方式は、映像と音声とが多重化されたAVコンテンツ
の内容を短時間で把握するためのAV要約を自動生成す
る方式において、報道番組でアナウンサが次のニュース
の概要を説明するシーン等の概要説明シーンを自動検出
し、概要説明シーンに続く詳細シーンの要約映像と、概
要説明シーンの音声のみを取出した概要説明音声とを合
成することで、AV要約を生成する方式である。
【0016】より具体的に、本発明のAVコンテンツ自
動要約システムは、既存の人物検出、テロップ検出、人
声検出、類似画像検出等の技術を利用して概要説明シー
ンを検出し、概要説明シーンの開始フレーム番号と終了
フレーム番号の集合とを記録する概要説明シーン検出手
段と、既存の映像要約技術を利用して概要説明シーンに
続く詳細シーンの要約映像を生成する映像要約手段と、
概要説明シーンの音声を概要説明音声として切り出す音
声抽出手段と、音声抽出手段が生成した概要説明音声と
その概要説明音声に対応する映像要約手段が生成した詳
細シーンの要約映像との同期をとってAV要約として再
生もしくは記録媒体に出力するAV要約出力手段とを有
している。
【0017】上記のような構成とすることで、要約映像
と概要説明音声とを個別に生成してから合成するため、
AVコンテンツの一部を切り出してAV要約とする方法
に比べて、より内容を把握しやすいAV要約の生成を可
能にする。また、アナウンサ等が概要を説明する部分の
音声をそのまま利用するので、音声認識やテキスト要約
を利用する方法に比べて音声が自然で、要約処理時間も
少ないという効果がある。
【0018】
【発明の実施の形態】次に、本発明の実施例について図
面を参照して説明する。図1は本発明の一実施例による
AVコンテンツ自動要約システムの構成を示すブロック
図である。図1において、本発明の一実施例によるAV
コンテンツ自動要約システムはAVデータ入力手段1
と、概要説明シーン検出手段2と、映像要約手段3と、
音声抽出手段4と、AV要約出力手段5とから構成され
ている。
【0019】AVデータ入力手段1は放送電波を受信
し、その信号に含まれる映像情報と音声情報とを抽出す
る。この場合、映像情報は輝度情報と色情報とからなる
YUV[Y(輝度信号)、U,V(色差信号成分)]デ
ータに変換され、音声情報はPCM(Pulse Co
de Modulation)データに変換されてメモ
リ(図示せず)上に記録される。
【0020】YUVデータは映像のフレーム単位で取出
すことができる。また、PCMデータはサンプル単位で
取出すことができる。AVデータ入力手段1は市販のP
C(パーソナルコンピュータ)用TVチューナボードと
付属プログラム、及びPC用のオペレーティングシステ
ムが提供する機能を用いる等によって容易に実現するこ
とができる。
【0021】概要説明シーン検出手段2はAVデータ入
力手段1からYUVデータとPCMデータとを受取り、
それらのデータを解析することによって、アナウンサが
次のニュースの概要を説明するシーン等の概要説明シー
ンを検出し、概要説明シーンの開始フレーム番号と終了
フレーム番号とを概要説明シーンの通し番号に関連付け
て記録する。
【0022】概要説明シーンの通し番号は、後述する要
約映像と概要説明音声との対応付けを行うことが目的で
あり、ある番組の要約を生成する場合には対象番組先頭
からの通し番号を付加すればよく、ある開始時刻からあ
る終了時刻までの要約を生成する場合にはその開始時刻
からの通し番号を付加すればよい。
【0023】映像要約手段3はAVデータ入力手段1か
らYUVデータを受取り、概要説明シーン検出手段2が
記録した概要説明シーンのフレーム区間を参照して、概
要説明シーンに続く現場シーンや解説シーン等の詳細シ
ーンの要約映像を生成し、対応する概要説明シーンの通
し番号に関連付けてその要約映像を記録する。
【0024】ここで、要約映像とは受信したAVコンテ
ンツの内容をおおまかに把握可能な元映像よりも短い映
像のことである。例えば、元映像から30秒周期で2秒
間の映像を抜き出し、それら2秒間の映像を連結して得
られる元の映像の15分の1の長さの映像は要約映像と
いえる。
【0025】音声抽出手段4はAVデータ入力手段1か
らPCMデータを受取り、概要説明シーン検出手段2が
記録した概要説明シーンのフレーム区間のPCMデータ
を抜き出し、対応する概要説明シーンの通し番号に関連
付けて概要説明音声として記録する。
【0026】AV要約出力手段5は映像要約手段3が記
録した要約映像と、音声抽出手段4が記録した概要説明
音声とを受取り、同じ通し番号が割り当てられている要
約映像と概要説明音声とを同期させて合成し、AV要約
としてメモリや磁気記録装置等に出力する。
【0027】図2は図1の概要説明シーン検出手段2の
詳細な構成を示すブロック図である。図2において、概
要説明シーン検出手段2は人物検出手段21と、テロッ
プ検出手段22と、人声検出手段23と、概要説明シー
ン判定手段24とから構成されている。
【0028】人物検出手段21はAVデータ入力手段1
からYUVデータを受取り、映像の各フレーム毎に画像
中央部分に人の顔が存在しているかどうかを判断して記
録する。
【0029】テロップ検出手段22はAVデータ入力手
段1からYUVデータを受取り、映像の各フレーム毎に
画像下部にテロップ文字が存在しているかどうかを判断
して記録する。
【0030】人声検出手段23はAVデータ入力手段1
からPCMデータを受取り、映像の各フレームに対応す
る音声データに、人の声が存在しているかどうかを判断
して記録する。
【0031】概要説明シーン判定手段24は人物検出手
段21の検出結果と、テロップ検出手段22の検出結果
と、人声検出手段23の検出結果とを参照して、概要説
明シーンのフレーム区間を判定し、その開始フレーム番
号と終了フレーム番号とを概要説明シーンの通し番号に
関連付けて記録する。
【0032】図3は本発明の一実施例によるAVコンテ
ンツ自動要約システムの動作を示すフロートャートであ
る。これら図1及び図3を参照して本発明の一実施例に
よるAVコンテンツ自動要約システムの全体の動作につ
いて説明する。
【0033】概要説明シーン検出手段2はAVデータ入
力手段1からYUVデータとPCMデータとを受取り、
そのデータを解析して概要説明シーンを特定し、概要説
明シーンの通し番号を要素番号とし、開始フレーム番号
と終了フレーム番号との組を要素とする配列として記録
する(図3ステップS1)。
【0034】映像要約手段3はAVデータ入力手段1か
らYUVデータを受取り、概要説明シーン検出手段2が
記録した概要説明シーンのフレーム区間を参照し、概要
説明シーンの終了フレーム直後から次の概要説明シーン
の開始フレーム直前まで、あるいは次の概要説明シーン
が存在しない場合に概要説明シーンの終了フレーム直後
から最終フレームまでの詳細シーンに対して、予め定め
られた周期で、予め定められた時間分のYUVデータを
切り出し、それらの周期的な部分映像を連結したものを
要約映像として記録する(図3ステップS2)。
【0035】要約映像の記録方法においては要約映像の
YUVデータを記録する必要はなく、各概要説明シーン
の通し番号毎に、概要説明シーンに対応する要約映像に
含まれるフレーム区間のリストを記録すればよい。
【0036】音声抽出手段4はAVデータ入力手段1か
らPCMデータを受取り、概要説明シーン検出手段2が
記録した概要説明シーンのフレーム区間に対応するPC
Mデータを切り出し、概要説明音声として記録する(図
3ステップS3)。
【0037】その際、概要説明シーンの区間は映像のフ
レーム番号で記録されているので、 PCMデータのサンプル番号(P)=YUVデータのフ
レーム番号(F)÷YUVデータのフレームレート(R
f)×PCMデータのサンプリングレート(Rp) の算出式に基づいてPCMデータのサンプル番号に変換
する。
【0038】また、概要説明音声の記録方法において
は、概要説明音声のPCMデータそのものを記録する必
要はなく、概要説明シーンの通し番号を要素番号とし、
概要説明音声の開始サンプル番号と終了サンプル番号と
の組を要素とする配列として記録すればよい。
【0039】AV要約出力手段5は概要説明シーンの通
し番号毎に、映像要約手段3が記録した詳細シーンの要
約映像と、音声抽出手段4が記録した概要説明音声の長
さとを合わせて合成し、概要説明シーンの通し番号の順
に連結して、AV要約として記録媒体に出力する(図3
ステップS4)。
【0040】各通し番号毎の合成処理において、要約映
像が概要説明音声よりも長い場合には、概要説明音声の
後ろに無音信号を付加することで長さを合わせればよ
い。要約映像が概要説明音声よりも短い場合には、概要
説明音声と同じ長さになるまで、要約映像を繰り返せば
よい。尚、出力するAV要約の形式はYUVデータとP
CMデータとを多重化した形式、YUVデータをRGB
[R(赤),G(緑),B(青)]データに変換してP
CMデータと多重化した形式、YUVデータ、RGBデ
ータ、PCMデータを圧縮して多重化したMPEG(M
oving Picture Experts Gro
up)等の圧縮形式等の様々な形式が利用可能である。
【0041】図4は図2に示す概要説明シーン検出手段
2の動作を示すフローチャートである。これら図2及び
図4を参照して、概要説明シーン検出手段2の動作につ
いて説明する。
【0042】人物検出手段21はAVデータ入力手段1
からYUVデータを受取ると、各フレーム画像を3×3
の小画像にほぼ等分に9分割し、それぞれの小画像毎に
各ピクセルの輝度値のヒストグラムを生成する。
【0043】次に、人物検出手段21はフレーム中央部
の小画像の輝度ヒストグラムの各レベルの値を8倍した
ヒストグラムと、フレーム周辺部の8個の小画像のヒス
トグラムの各レベルの値をそれぞれ加算したヒストグラ
ムとの差分値を計算し、その差分値が予め定められた閾
値よりも大きい場合に対象フレーム画像の中央部に人の
顔が検出されたことを記録する(図4ステップS1
1)。ここで、ヒストグラムの差分値とは2つのヒスト
グラムの各レベル毎の値の差分の絶対値を、全てのレベ
ルについて合計した値のことである。
【0044】テロップ検出手段22はAVデータ入力手
段1からYUVデータを受取ると、各フレーム画像の下
3分の1の領域について、予め定められた閾値Aと閾値
B(A>B)とを用いて、輝度値が閾値A以上、もしく
は輝度値が閾値B以下であるピクセルの個数をカウント
し、そのピクセル個数が別の閾値C以上である場合に対
象フレーム画像の下部にテロップが検出されたことを記
録する(図4ステップS12)。
【0045】人声検出手段23はAVデータ入力手段1
からPCMデータを受取ると、映像の各フレームに対応
する区間毎に、人声に対応する予め定められた周波数帯
域の平均パワーを求め、それが予め定められた閾値以上
である場合、対応するフレームに人声が検出されたこと
を記録する(図4ステップS13)。ここで、特定の周
波数帯域の信号を抽出するバンドパスフィルタ(図示せ
ず)には既存の音声信号処理手法を適用すればよい。
【0046】概要説明シーン判定手段24は、まず人
物、テロップ、人声の全てが検出されているフレームを
概要説明シーンの検出フレーム候補として記録する(図
4ステップS14)。続いて、概要説明シーン判定手段
24は概要説明シーンの検出フレーム候補に対して、非
検出フレームの連続数が予め定められた閾値よりも短い
場合に、その非検出フレームを検出フレームへと変更す
る(図4ステップS15)。これはフラッシュ等によっ
て瞬間的に人物が検出されなかった場合や、人声が息継
ぎなどによって瞬間的に検出されなかった場合に、概要
説明シーンが分断されないようにするためである。
【0047】最後に、概要説明シーン判定手段24は概
要説明シーンの検出フレーム候補に対して、予め定めら
れた時間以下の連続した検出フレームを非検出フレーム
へと変更し、残った連続する検出フレームを概要説明シ
ーンとして記録する(図4ステップS16)。この処理
は概要説明シーンが一般的に数秒間連続するものである
から、それ以下の短い検出フレーム区間は誤検出として
排除するためである。
【0048】図5〜図9は本発明の一実施例によるAV
コンテンツ自動要約システムの具体的な動作例を示す図
である。これら図1と図5〜図9とを参照して本発明の
一実施例によるAVコンテンツ自動要約システムの具体
的な動作について説明する。
【0049】要約対象となる放送番組は、図5に示すよ
うに、10分、10分、5分、5分の長さの四つの個別
ニュースから構成される30分の報道番組であるとし、
それぞれの個別ニュースの冒頭の10秒でアナウンサに
よる概要説明がなされるとともに、個別ニュースのタイ
トルがテロップ文字として画面下部に表示されるものと
する。
【0050】AVデータ入力手段1は受信した信号を、
映像を毎秒10フレームのYUVデータ、音声を毎秒1
0000サンプルのPCMデータにそれぞれ変換して記
録する。
【0051】概要説明シーン検出手段2は、図6に示す
ように、第0フレームから第99フレーム、第6000
フレームから第6099フレーム、第12000フレー
ムから第12099フレーム、第15000フレームか
ら第15099フレームの4区間を概要説明シーンのフ
レーム区間であると判断し、4要素の配列として記録す
る。
【0052】映像要約手段3は概要説明シーンに続く詳
細シーンから2分周期で3秒間の映像を切り出して要約
映像を生成するものとすると、図7に示すように、最初
のニュースに対しては第100フレームから第129フ
レーム、第1300フレームから第1329フレーム、
第2500フレームから第2529フレーム、第370
0フレームから第3729フレーム、第4900フレー
ムから第4929フレームが要約映像に使われる区間と
して記録される。
【0053】2番目、3番目、4番目のニュースに対し
ても、上記と同様にして、要約映像に使われる区間が記
録される。つまり、2番目のニュースに対しては第61
00フレームから第6129フレーム、第7300フレ
ームから第7329フレーム、第8500フレームから
第8529フレーム、第9700フレームから第972
9フレーム、第10900フレームから第10929フ
レームが要約映像に使われる区間として記録される。
【0054】3番目のニュースに対しては第12100
フレームから第12129フレーム、第13300フレ
ームから第13329フレーム、第14500フレーム
から第14529フレームが要約映像に使われる区間と
して記録される。
【0055】4番目のニュースに対しては第15100
フレームから第15129フレーム、第16300フレ
ームから第16329フレーム、第17500フレーム
から第17529フレームが要約映像に使われる区間と
して記録される。
【0056】音声抽出手段4は概要説明シーン検出手段
2が記録した概要説明シーンのフレーム区間に相当する
PCMデータのサンプル番号を、上述した式、 P=F÷Rf×Rp の式から算出する。
【0057】この場合、Rf=10、Rp=10000
なので、概要説明音声のサンプル区間は、図8に示すよ
うに、第0サンプルから第99999サンプル、第60
00000サンプルから第6099999サンプル、第
12000000サンプルから第12099999サン
プル、第15000000サンプルから1509999
9サンプルの4区間となり、それらが配列として記録さ
れる。
【0058】AV要約出力手段5は四つの個別ニュース
毎に、映像要約手段3が生成した映像要約と音声抽出手
段4が生成した概要説明音声とをその長さを合わせて合
成し、それを通し番号順に連結する。図9に示すよう
に、最初のニュースと2番目のニュースとでは要約映像
が15秒なのに対して概要説明音声が10秒であるか
ら、概要説明音声の終了後に5秒間の無音データを付加
してから合成する。
【0059】それに対して3番目のニュースと4番目の
ニュースとでは、要約映像が9秒なのに対して概要説明
音声が10秒であるから、9秒の要約映像の後に再び先
頭から1秒後までの映像を付加してから合成する。それ
らを通し番号順に連結すると、最終的に50秒のAV要
約が生成される。
【0060】このように、要約映像と概要説明音声とを
別々に生成した後にそれらを合成することによって、映
像と音声とのそれぞれがニュース概要を把握するのに適
した内容になっているので、視聴者がAV要約を視聴し
た時によりニュースの概要を把握することが容易とな
る。
【0061】また、高速なCPU(中央処理装置)や大
量のメモリを必要とする音声認識処理や自然言語理解等
の高度な技術を使用せずに概要説明音声を生成すること
によって、概要説明音声の抽出処理の実現コストが小さ
くかつ高速なので、メモリ容量が小さいPC(パーソナ
ルコンピュータ)やCPU性能が高くないPCでも実現
することができる。
【0062】さらに、概要説明音声としてアナウンサが
実際に喋っている言葉をそのまま利用することによっ
て、概要説明音声を自然で理解しやすい音声にすること
ができる。
【0063】図10は本発明の他の実施例による概要説
明シーン検出手段の詳細な構成を示すブロック図であ
る。図10において、概要説明シーン検出手段6は類似
画像検索手段61と、概要説明シーンデータベース(D
B)62と、概要説明シーン判定手段63とから構成さ
れている。
【0064】概要説明シーンデータベース62は放送番
組で用いられる概要説明シーンの映像のフレームサンプ
ルを複数記録しており、サンプル毎にYUVデータとし
て取出すことができる。
【0065】類似画像検索手段61は複数のAVコンテ
ンツ入力手段1から渡されるYUVデータと、概要説明
シーンデータベース62が記録している概要説明シーン
のサンプルとを比較し、概要説明シーンデータベース6
2が記録する概要説明シーンのサンプルのどれかと類似
性が高い場合に、そのフレームを概要説明シーンの候補
として記録する。
【0066】上記の類似画像検索手段61における類似
画像検索手法としては、公知の様々な方法を適用するこ
とができる。例えば、フレームを構成するピクセル毎の
色情報の差分をとり、その総和が閾値を超えるかどうか
で判断する方法がある。また、フレームの輝度データ、
色データ、それらを周波数変換した後の周波数成分等か
ら生成されかつ元映像データよりサイズの小さい検索キ
ー同士を比較する方法もあり、その場合にはデータベー
スの容量と処理時間とを短縮することができる。
【0067】概要説明シーン判定手段63は、図4に示
す本発明の一実施例の動作と比べて、概要説明シーンの
候補フレームを類似画像検索手段61によって検出する
ことが異なる。候補フレームを検出した後、短い非検出
区間を検出区間への変更し(図4ステップS15)、短
い検出区間を非検出区間に変更して概要説明シーンを決
定する(図4ステップS16)。
【0068】本実施例は要約対象となるAVコンテンツ
における概要説明シーンがある程度固定されており、か
つ概要説明シーンのサンプルが予め入手可能な場合に、
より高い精度で概要説明シーンを検出することができ
る。よって、最終的に出力されるAV要約も、より内容
を把握しやすいものになる。
【0069】例えば、報道番組におけるアナウンサによ
る概要説明シーンの構図は、数ヶ月以上にわって固定で
ある場合が多いため、本実施例によって高精度のAV要
約を生成することができる。
【0070】尚、上述した実施例では、AVコンテンツ
入力手段1として放送を受信する例について述べたが、
放送以外の記録メディアに蓄積されたAVコンテンツ、
あるいはインタネット等を介して送られてくるAVコン
テンツでも、上記の実施例と同様に、AV要約を生成す
ることができる。
【0071】また、AVコンテンツ入力手段1が記録す
るフォーマットとしてYUVデータとPCMデータとを
例示したが、もちろん、他の様々なフォーマットでも、
上記の実施例と同様に、AV要約を生成することができ
る。
【0072】一方、上述した実施例では概要説明シーン
検出手段2,6として、人物検出とテロップ検出と人声
検出とを組合わせる方法と、類似画像検索による方法と
を例示したが、その他の方法を用いてもかまわない。例
えば、放送電波に現在のシーンを特定する信号が重畳さ
れており、概要説明シーンであることをその信号から判
定することができる場合にはその信号を利用すればよ
い。
【0073】また、人物検出、テロップ検出、人声検
出、類似画像検索の各手法の任意の組合わせでも実現す
ることができる。さらに、話者識別技術によって概要説
明を行う話者を検出する方法、「次のニュースです」等
の話題区切りを音声認識によって認識し、それに続くシ
ーンを概要説明シーンだと判断する方法等が考えられ
る。
【0074】上述した実施例では、人物検出手段21と
して、画面中央部及び周辺部の輝度ヒストグラムを比較
する方法を例示しているが、もちろん、その他の人物検
出手法を適用することができる。例えば、その方法とし
ては画面中央の9等分割画像に限らないことはもちろ
ん、色情報の分布を調べる方法、目、鼻、口といった顔
を構成する要素候補を検出してその位置関係及びその時
間方向での動き量から人の顔を検出する方法等が考えら
れる。
【0075】また、テロップ検出手段22として、輝度
の高いピクセルと低いピクセルとの数をカウントする方
法を例示しているが、もちろん、その他のテロップ検出
手法を適用することができる。例えば、その方法として
はエッジの個数で判断する方法、エッジ点での輝度変化
量が連続するエッジで対称になっているかどうかで判断
する方法、エッジ分布密度が高い領域の形状で判断する
方法等が考えられる。
【0076】さらに、人声検出手段23として、バンド
パスフィルタで特定周波数領域を取出す方法を例示して
いるが、もちろん、その他の人声検出方法を用いても構
わない。例えば、その方法としては人声の各種特徴量の
時間方向の変化パターンが予め登録しておいたパターン
と類似しているかどうかで判断する方法、周波数スペク
トルの分布形状が予め登録しておいたパターンと類似し
ているかどうかで判断する方法等が考えられる。
【0077】また、概要説明シーン判定手段24で、概
要説明シーン間の時間条件を設けて概要説明シーン間が
閾値よりも短い場合には、どちらかの候補をキャンセル
する方法や、番組中に比較的均等に分布するように選択
する方法も考えられる。
【0078】上述した実施例では、映像要約手段3が概
要説明シーンの後に続く映像を要約する例を示している
が、概要説明シーンのテロップ文字を映像として表示す
ることはひとつの有効な要約手段であり、もちろん要約
映像に概要説明シーンが含まれても構わない。
【0079】また、映像要約手段3として、一定周期毎
に一定時間の映像を抜き出す方法を例示しているが、そ
の他の映像要約手法を適用することができることはいう
までもない。例えば、その方法としては一定周期毎にフ
レームを抜き出してそのフレームを静止画として一定時
間表示する方法、抜き出すフレーム周期や表示時間を内
容に応じて変化させる方法、抜き出したフレームを縮小
画像の一覧で表示する方法、映像の特徴量の変化点をシ
ーンチェンジとして検出してその直後の映像を抜き出す
方法、映像の時間方向での変化量に応じて映像の重要度
を計算して重要度の高い映像を抜き出す方法等が考えら
れる。
【0080】要約AV出力手段5としては要約映像と概
要説明音声とを多重化して記録媒体に記録する方法を例
示しているが、その他にも、要約映像をディスプレイ上
に表示すると同時に概要説明音声をスピーカ等の音声出
力装置から再生する方法、要約映像と概要説明音声とを
多重化して伝送路上に送信する方法等もある。
【0081】上述した実施例の動作では、概要説明シー
ン検出手段2、映像要約手段3、音声抽出手段4、AV
要約出力手段5が逐次的に動作する場合を例示している
が、それらの手段の全てが、あるいは一部が平行して動
作する場合も当然含まれる。
【0082】
【発明の効果】以上説明したように本発明によれば、少
なくとも映像及び音声を含むAVコンテンツからそれら
の映像及び音声の中の代表的な部分を選択して表示する
AVコンテンツ自動要約システムにおいて、AVコンテ
ンツの中から代表的な部分の映像及び音声を別々に取出
し、それらの映像及び音声を合成して出力することによ
って、より内容を把握しやすいAV要約を生成すること
ができるという効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例によるAVコンテンツ自動要
約システムの構成を示すブロック図である。
【図2】図1の概要説明シーン検出手段の詳細な構成を
示すブロック図である。
【図3】本発明の一実施例によるAVコンテンツ自動要
約システムの動作を示すフロートャートである。
【図4】図2に示す概要説明シーン検出手段の動作を示
すフローチャートである。
【図5】本発明の一実施例によるAVコンテンツ自動要
約システムの具体的な動作例を示す図である。
【図6】本発明の一実施例によるAVコンテンツ自動要
約システムの具体的な動作例を示す図である。
【図7】本発明の一実施例によるAVコンテンツ自動要
約システムの具体的な動作例を示す図である。
【図8】本発明の一実施例によるAVコンテンツ自動要
約システムの具体的な動作例を示す図である。
【図9】本発明の一実施例によるAVコンテンツ自動要
約システムの具体的な動作例を示す図である。
【図10】本発明の他の実施例による概要説明シーン検
出手段の詳細な構成を示すブロック図である。
【符号の説明】
1 AVデータ入力手段 2,6 概要説明シーン検出手段 3 映像要約手段 4 音声抽出手段 5 AV要約出力手段 21 人物検出手段 22 テロップ検出手段 23 人声検出手段 24,63 概要説明シーン判定手段 61 類似画像検索手段 62 概要説明シーンデータベース

Claims (22)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも映像及び音声を含むAV(A
    udio Visual)コンテンツからそれらの映像
    及び音声の中の代表的な部分を選択して表示するAVコ
    ンテンツ自動要約システムであって、前記AVコンテン
    ツの中から前記代表的な部分の映像及び音声を別々に取
    出す手段と、それらの映像及び音声を合成して出力する
    手段とを有することを特徴とするAVコンテンツ自動要
    約システム。
  2. 【請求項2】 少なくとも報道番組でアナウンサが次の
    ニュースの概要を説明するシーンを示す概要説明シーン
    を検出する検出手段と、前記検出手段で検出された概要
    説明シーンに続く詳細シーンの要約映像を生成する生成
    手段と、前記検出手段で検出された概要説明シーンの音
    声のみを抽出する抽出手段と、前記生成手段で要約映像
    と前記抽出手段で抽出された概要説明音声とを合成して
    出力する出力手段とを有することを特徴とするAVコン
    テンツ自動要約システム。
  3. 【請求項3】 前記抽出手段は、各話題の冒頭部分の概
    要説明シーンの音声を抽出してそのまま利用するように
    したことを特徴とする請求項2記載のAVコンテンツ自
    動要約システム。
  4. 【請求項4】 前記抽出手段は、前記報道番組の各個別
    ニュース冒頭部分のアナウンサによる概要説明シーンの
    音声を抽出してそのまま利用するようにしたことを特徴
    とする請求項2記載のAVコンテンツ自動要約システ
    ム。
  5. 【請求項5】 前記検出手段は、映像情報の中の人物の
    検出と前記映像情報の中のテロップの検出と前記映像情
    報に伴う音声情報の中の人声の検出とを組合わせて前記
    概要説明シーンを検出するようにしたことを特徴とする
    請求項2から請求項4のいずれか記載のAVコンテンツ
    自動要約システム。
  6. 【請求項6】 前記検出手段は、類似画像検索を用いて
    前記概要説明シーンを検索するようにしたことを特徴と
    する請求項2から請求項4のいずれか記載のAVコンテ
    ンツ自動要約システム。
  7. 【請求項7】 少なくとも報道番組でアナウンサが次の
    ニュースの概要を説明するシーンを示す概要説明シーン
    を含むコンテンツからAV(Audio Visua
    l)要約を生成するAVコンテンツ自動要約システムで
    あって、前記コンテンツから前記概要説明シーンを検出
    しかつその概要説明シーンの開始フレーム番号及び終了
    フレーム番号の集合を前記概要説明シーンとともに記録
    する概要説明シーン検出手段と、前記概要説明シーンに
    続く詳細シーンの要約映像を生成する映像要約手段と、
    前記概要説明シーンの音声を概要説明音声として切出す
    音声抽出手段と、前記音声抽出手段が生成した概要説明
    音声とその概要説明音声に対応する前記映像要約手段が
    生成した詳細シーンの要約映像との同期をとって前記A
    V要約として再生出力するAV要約出力手段とを有する
    ことを特徴とするAVコンテンツ自動要約システム。
  8. 【請求項8】 前記概要説明シーン検出手段は、前記コ
    ンテンツに対して人物検出とテロップ検出と人声検出と
    を行って前記概要説明シーンを検出するよう構成したこ
    とを特徴とする請求項7記載のAVコンテンツ自動要約
    システム。
  9. 【請求項9】 前記概要説明シーン検出手段は、前記コ
    ンテンツに対して類似画像検出を行って前記概要説明シ
    ーンを検出するよう構成したことを特徴とする請求項7
    記載のAVコンテンツ自動要約システム。
  10. 【請求項10】 前記音声抽出手段は、各話題の冒頭部
    分の概要説明シーンの音声を抽出してそのまま利用する
    ようにしたことを特徴とする請求項7から請求項9のい
    ずれか記載のAVコンテンツ自動要約システム。
  11. 【請求項11】 前記音声抽出手段は、前記報道番組の
    各個別ニュース冒頭部分のアナウンサによる概要説明シ
    ーンの音声を抽出してそのまま利用するようにしたこと
    を特徴とする請求項7から請求項9のいずれか記載のA
    Vコンテンツ自動要約システム。
  12. 【請求項12】 少なくとも映像及び音声を含むAV
    (Audio Visual)コンテンツからそれらの
    映像及び音声の中の代表的な部分を選択して表示するA
    Vコンテンツ自動要約方法であって、前記AVコンテン
    ツの中から前記代表的な部分の映像及び音声を別々に取
    出すステップと、それらの映像及び音声を合成して出力
    するステップとを有することを特徴とするAVコンテン
    ツ自動要約方法。
  13. 【請求項13】 少なくとも報道番組でアナウンサが次
    のニュースの概要を説明するシーンを示す概要説明シー
    ンを検出するステップと、検出された概要説明シーンに
    続く詳細シーンの要約映像を生成するステップと、検出
    された概要説明シーンの音声のみを抽出するステップ
    と、前記要約映像と前記概要説明音声とを合成して出力
    するステップとを有することを特徴とするAVコンテン
    ツ自動要約方法。
  14. 【請求項14】 前記音声のみを抽出するステップは、
    各話題の冒頭部分の概要説明シーンの音声を抽出してそ
    のまま利用するようにしたことを特徴とする請求項13
    記載のAVコンテンツ自動要約方法。
  15. 【請求項15】 前記音声のみを抽出するステップは、
    前記報道番組の各個別ニュース冒頭部分のアナウンサに
    よる概要説明シーンの音声を抽出してそのまま利用する
    ようにしたことを特徴とする請求項13記載のAVコン
    テンツ自動要約方法。
  16. 【請求項16】 前記概要説明シーンを検出するステッ
    プは、映像情報の中の人物の検出と前記映像情報の中の
    テロップの検出と前記映像情報に伴う音声情報の中の人
    声の検出とを組合わせて前記概要説明シーンを検出する
    ようにしたことを特徴とする請求項13から請求項15
    のいずれか記載のAVコンテンツ自動要約方法。
  17. 【請求項17】 前記概要説明シーンを検出するステッ
    プは、類似画像検索を用いて前記概要説明シーンを検索
    するようにしたことを特徴とする請求項13から請求項
    15のいずれか記載のAVコンテンツ自動要約方法。
  18. 【請求項18】 少なくとも報道番組でアナウンサが次
    のニュースの概要を説明するシーンを示す概要説明シー
    ンを含むコンテンツからAV(AudioVisua
    l)要約を生成するAVコンテンツ自動要約方法であっ
    て、前記コンテンツから前記概要説明シーンを検出しか
    つその概要説明シーンの開始フレーム番号及び終了フレ
    ーム番号の集合を前記概要説明シーンとともに記録する
    ステップと、前記概要説明シーンに続く詳細シーンの要
    約映像を生成するステップと、前記概要説明シーンの音
    声を概要説明音声として切出すステップと、前記概要説
    明音声とその概要説明音声に対応する前記詳細シーンの
    要約映像との同期をとって前記AV要約として再生出力
    するステップとを有することを特徴とするAVコンテン
    ツ自動要約方法。
  19. 【請求項19】 前記概要説明シーンを検出するステッ
    プは、前記コンテンツに対して人物検出とテロップ検出
    と人声検出とを行って前記概要説明シーンを検出するよ
    うにしたことを特徴とする請求項18記載のAVコンテ
    ンツ自動要約方法。
  20. 【請求項20】 前記概要説明シーンを検出ステップ
    は、前記コンテンツに対して類似画像検出を行って前記
    概要説明シーンを検出するようにしたことを特徴とする
    請求項18記載のAVコンテンツ自動要約方法。
  21. 【請求項21】 前記概要説明音声として切出すステッ
    プは、各話題の冒頭部分の概要説明シーンの音声を抽出
    してそのまま利用するようにしたことを特徴とする請求
    項18から請求項20のいずれか記載のAVコンテンツ
    自動要約方法。
  22. 【請求項22】 前記概要説明音声として切出すステッ
    プは、前記報道番組の各個別ニュース冒頭部分のアナウ
    ンサによる概要説明シーンの音声を抽出してそのまま利
    用するようにしたことを特徴とする請求項18から請求
    項20のいずれか記載のAVコンテンツ自動要約方法。
JP2000339805A 2000-11-08 2000-11-08 Avコンテンツ自動要約システム及びavコンテンツ自動要約方法 Expired - Fee Related JP3642019B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000339805A JP3642019B2 (ja) 2000-11-08 2000-11-08 Avコンテンツ自動要約システム及びavコンテンツ自動要約方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000339805A JP3642019B2 (ja) 2000-11-08 2000-11-08 Avコンテンツ自動要約システム及びavコンテンツ自動要約方法

Publications (2)

Publication Number Publication Date
JP2002149672A true JP2002149672A (ja) 2002-05-24
JP3642019B2 JP3642019B2 (ja) 2005-04-27

Family

ID=18814822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000339805A Expired - Fee Related JP3642019B2 (ja) 2000-11-08 2000-11-08 Avコンテンツ自動要約システム及びavコンテンツ自動要約方法

Country Status (1)

Country Link
JP (1) JP3642019B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007511854A (ja) * 2003-05-26 2007-05-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 視聴覚番組コンテンツの視聴覚要約を生成するシステム及び方法
JP2007189343A (ja) * 2006-01-11 2007-07-26 Toshiba Corp 映像要約装置、映像要約方法および映像要約プログラム
WO2008050649A1 (fr) * 2006-10-23 2008-05-02 Nec Corporation Système, procédé et programme de récapitulation de contenu
US7689000B2 (en) 2005-08-25 2010-03-30 Kabushiki Kaisha Toshiba Image storage device and method
JP2012070101A (ja) * 2010-09-21 2012-04-05 Olympus Imaging Corp 撮像装置
WO2013186958A1 (ja) * 2012-06-13 2013-12-19 日本電気株式会社 映像重要度算出方法、映像処理装置およびその制御方法と制御プログラムを格納した記憶媒体
WO2016076540A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Electronic apparatus of generating summary content and method thereof
JP2021166050A (ja) * 2020-06-11 2021-10-14 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド ビデオ処理方法、装置、電子機器及び記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106550268B (zh) * 2016-12-26 2020-08-07 Tcl科技集团股份有限公司 视频处理方法和视频处理装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007511854A (ja) * 2003-05-26 2007-05-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 視聴覚番組コンテンツの視聴覚要約を生成するシステム及び方法
US7689000B2 (en) 2005-08-25 2010-03-30 Kabushiki Kaisha Toshiba Image storage device and method
JP2007189343A (ja) * 2006-01-11 2007-07-26 Toshiba Corp 映像要約装置、映像要約方法および映像要約プログラム
WO2008050649A1 (fr) * 2006-10-23 2008-05-02 Nec Corporation Système, procédé et programme de récapitulation de contenu
JP2012070101A (ja) * 2010-09-21 2012-04-05 Olympus Imaging Corp 撮像装置
WO2013186958A1 (ja) * 2012-06-13 2013-12-19 日本電気株式会社 映像重要度算出方法、映像処理装置およびその制御方法と制御プログラムを格納した記憶媒体
WO2016076540A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Electronic apparatus of generating summary content and method thereof
US9654845B2 (en) 2014-11-14 2017-05-16 Samsung Electronics Co., Ltd. Electronic apparatus of generating summary content and method thereof
JP2021166050A (ja) * 2020-06-11 2021-10-14 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド ビデオ処理方法、装置、電子機器及び記憶媒体
US11490170B2 (en) 2020-06-11 2022-11-01 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for processing video, electronic device, and storage medium
JP7476138B2 (ja) 2020-06-11 2024-04-30 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオ処理方法、装置、電子機器及び記憶媒体

Also Published As

Publication number Publication date
JP3642019B2 (ja) 2005-04-27

Similar Documents

Publication Publication Date Title
EP1081960B1 (en) Signal processing method and video/voice processing device
US8935169B2 (en) Electronic apparatus and display process
KR101385087B1 (ko) 정보 신호 처리 방법, 정보 신호 처리 장치 및 컴퓨터프로그램 기록 매체
US7778519B2 (en) Iterative, maximally probable, batch-mode commercial detection for audiovisual content
EP1557838A2 (en) Apparatus, method and computer product for recognizing video contents and for video recording
JP4300697B2 (ja) 信号処理装置及び方法
EP1600973A1 (en) Moving image processing apparatus and method
JP2006319980A (ja) イベントを利用した動画像要約装置、方法及びプログラム
JP4882746B2 (ja) 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
US20080205851A1 (en) Video playback apparatus and method
US8634708B2 (en) Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method
JP2002149672A (ja) Avコンテンツ自動要約システム及びavコンテンツ自動要約方式
JP3840928B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JPH08339379A (ja) 映像解析方法および装置
WO2010125757A1 (ja) 映像音声再生装置、映像音声記録再生装置、映像音声再生方法、および映像音声記録再生方法
US20040249862A1 (en) Sync signal insertion/detection method and apparatus for synchronization between audio file and text
US20090269029A1 (en) Recording/reproducing device
JP4512969B2 (ja) 信号処理装置及び方法、記録媒体、並びにプログラム
JP4835439B2 (ja) 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
JP2003069946A (ja) 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体
US20050232598A1 (en) Method, apparatus, and program for extracting thumbnail picture
JPWO2011161820A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
JP2006054622A (ja) 情報信号処理方法、情報信号処理装置及びプログラム記録媒体
JP2010081531A (ja) 映像処理装置及びその方法
JP2008134825A (ja) 情報処理装置および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040921

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041122

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20041122

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20041122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050117

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090204

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100204

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100204

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110204

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110204

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120204

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120204

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120204

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120204

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130204

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130204

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130204

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130204

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130204

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees