JP3534368B2 - 動画像処理方法及び動画像処理装置 - Google Patents
動画像処理方法及び動画像処理装置Info
- Publication number
- JP3534368B2 JP3534368B2 JP08114696A JP8114696A JP3534368B2 JP 3534368 B2 JP3534368 B2 JP 3534368B2 JP 08114696 A JP08114696 A JP 08114696A JP 8114696 A JP8114696 A JP 8114696A JP 3534368 B2 JP3534368 B2 JP 3534368B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- input
- feature amount
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 46
- 238000012545 processing Methods 0.000 title claims description 9
- 238000000034 method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 102000053391 human F Human genes 0.000 description 1
- 108700031895 human F Proteins 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/107—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4147—PVR [Personal Video Recorder]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/90—Tape-like record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
Description
情報,特に動画像データを編集するための動画像処理方
法に関する。
ジョン放送(CATV)の普及などにより、家庭におい
ても視聴可能な映像チャンネル数は増加の一途をたどっ
ている。また従来のビデオテープやレーザーディスクな
どの映像記録媒体に加え、映像音声情報をディジタルデ
ータとして記録再生できるDVD(ディジタル・ビデオ
・ディスク)も1996年には実用・製品化される見込
みであるなど、ごく普通のユーザが大量の映像にアクセ
スできる環境は充実しつつあるといってよい。
的の映像に効率よくアクセスできる技術の提供は従前の
ままである。例えばテレビの視聴者は、新聞などに掲載
される番組欄を参照して見たい映像(番組)を選択した
り、ビデオソフトパッケージを購入しようとする消費者
はパッケージに記載されているタイトルや出演者、あら
すじなどを参照して希望のビデオを選択する。これらは
文字による映像内容のテキスト記述であるが、映像の全
てに対して記述がなされているわけではなく、そのよう
に全てに対して記述することは大変な手間となるもので
あることはいうまでもない。
う要求は当然ユーザ個々に異なるものであるはずで、す
べてのユーザに対応可能なテキスト記述を作成すること
は付加情報量の増大を招き、おもに放送メディアなど供
給できる情報量に限界があるソースにおいては実用が難
しい。このためテレビ視聴者はニュース番組中の特定の
話題だけを見たい場合にも、テレビをつけたままで目的
の話題となるのを待たなくてはならなかったり、すでに
別の番組で見たニュースを繰り返し見させられたりし
て、著しく時間の無駄となっている。
しては、映像を場面の変化点(カット)ごとに1枚の小
画像(アイコン)で表示し、ユーザは目的のアイコンを
画面上で指示することによって、再生開始点や、編集操
作を装置に知らせる方法が主流である(たとえば電子情
報通信学会論文誌D-II, Vol.J75-D-II, No.2, pp.216-
225. 1992 ほか多数)が、これらの手法は供給される映
像データのどの部分にもユーザの要求にしたがってアク
セスできる(ランダムアクセス)場合を前提としてお
り、放送メディアのような一方向の情報の流れしかない
場合を想定しているとはいい難い。これらのように映像
をユーザのランダムアクセス可能な状態で処理する装置
を用いた場合、ユーザは今放送されている番組を見るの
にも、一度この装置に映像情報を転送記録する必要が生
じ、これは利便性を大きく損なう。
イコンで表示する方法においても、たとえば5秒に1回
のカットが生じたとすると、2時間の映画にたいして1
440の小画面が表示されることになり、一覧表示した
場合に視認性が高いとはいえない。
では、近い将来、ユーザが大量の映像情報にアクセスで
きる状況が実現したとしても、その情報量をスムーズに
享受できるとはいえず、かえって情報量の多さに混乱す
るユーザが増える懸念さえもある。
け放送などの非インタラクティブ映像メディアをリアル
タイムで情報フィルタリングする有効な手法は提案され
ていない。本願発明は、必ずしもユーザのランダムアク
セスが可能でないような映像ソースを相手としたアクセ
ス時にも、目的外の場面の提示を回避することによって
ユーザが画面に注目してなければならない時間を軽減す
ることを目的とする。
間の類似性の評価、あるいは動画像と静止画の類似性の
評価はあるものの、2つの動画像の類似性を検定する具
体的な手法が提案されていない。さらに、映像内容を小
画面の一覧によって表示する際に、映像内容に即して表
示すべき小画面の数を減少させる具体的な手法も提案さ
れていない。
像のフレーム画像の特徴量を求め、求めた前記特徴量と
既に入力された動画像のフレーム画像の特徴量との類似
度を求め、求めた前記類似度をもとに、前記入力された
動画像が、既に入力された画像と類似か否かを判断し、
前記判断した結果が類似でないと判定された場合には、
当該入力された画像を出力し、前記判断した結果が類似
であると判定された場合には、当該入力された画像の出
力を中止し、または別の画像を出力することを特徴とす
る動画像処理方法を提供する。
を検出し、検出した前記変化点によって区切られる動画
像の区間を代表する小画面を一覧表示する動画像処理方
法において、求めた前記動画像の各々の区間のフレーム
画像の特徴量を求め、求めた前記各々の区間のフレーム
画像の特徴量と既に入力された区間の動画像のフレーム
画像の特徴量との類似度を求め、求めた前記類似度をも
とに、入力された前記各々の区間の類似性を判断し、前
記判断した結果が類似でないと判定された場合には、当
該動画像の区間を代表する小画面を表示し、前記判断し
た結果が類似であると判定された場合には、当該類似す
ると判断された動画像の区間に対応する小画面を表示し
ないことを特徴とする動画像処理方法を提供する。
動画像のフレーム画像の特徴量を求める手段と、求めた
前記特徴量と既に入力された動画像のフレーム画像の特
徴量との類似度を求め、求めた前記類似度をもとに、前
記入力された動画像が、既に入力された画像と類似か否
かを判断する手段と、前記判断した結果が類似でないと
判定された場合には、当該入力された画像を出力し、前
記判断した結果が類似であると判定された場合には、当
該入力された画像の出力を中止し、または別の画像を出
力する手段とを具備することを特徴とする動画像処理装
置を提供する。
を検出し、検出した前記変化点によって区切られる動画
像の区間を代表する小画面を一覧表示する動画像処理装
置において、求めた前記動画像の各々の区間のフレーム
画像の特徴量を求める手段と、求めた前記各々の区間の
フレーム画像の特徴量と既に入力された区間の動画像の
フレーム画像の特徴量との類似度を求め、求めた前記類
似度をもとに、入力された前記各々の区間の類似性を判
断する手段と、前記判断した結果が類似でないと判定さ
れた場合には、当該動画像の区間を代表する小画面を出
力し、前記判断した結果が類似であると判定された場合
には、当該類似すると判断された動画像の区間に対応す
る小画面を出力しない出力手段を具備することを特徴と
する。
は、通常は入力された映像をそのまま出力提示するが、
時々刻々入力される映像を、定められた時間間隔で一枚
一枚の静止画像に分割しており、静止画像ごとに特徴量
を計算して保管する。新規に入力された映像が、この静
止画像の特徴量によって過去の映像と類似と判定された
場合には、あらかじめ指定した時間だけ映像出力を中止
したり、別の映像の提示を行う。あるいは類似でない場
面や、あらかじめ指定した場面と類似である場面が登場
するまで映像出力を中止したり、別の映像の提示を行
う。
動画像をショットごとに1枚のアイコンで代表させて一
覧表示させる際に、類似のショットについてはその1つ
だけを一覧表示に採用し、再度表示させないことを特徴
とする。
々データベースに記録し、現在見ている画像が、すでに
本装置を経由して提示されたものであるかどうかを常に
検査する。もし現在の画像が既出のものであった場合に
は、利用者が指定した時期まで映像の出力を停止する。
として表示する際に、複数のショットをショット内容の
類似性によってグループ化し、グループごとに一つの小
画面を表示する。
て実施例を図面に即して説明する。なお、本願発明の第
2の動画像処理方法は本願発明の第1の動画像処理方法
に機能を付加したものであるから、第1、第2の動画像
処理方法ともに説明のための図面は第2の動画像処理方
法を説明したものを用いる。したがって、図中には第2
の動画像処理方法でのみ意味を持つ部分が含まれてい
る。
示すブロック図である。以下では、テレビ放送(地上
波)や衛星放送(BS放送)、ケーブルテレビジョン放
送(CATV)を受信するチューナーと、利用者がチュ
ーナで受信した映像を視聴するテレビモニタとの信号の
流れの中間に本願発明の動画像処理方法が置かれるもの
として説明する。
ーからの映像音声信号が入力され、映像音声信号は表示
映像作成部105に到達するとともに、映像信号はフレ
ームメモリ102に送られる。
いそのままの形で映像音声出力端子106に出力され、
利用者は本願発明の動画像処理方法の存在を意識しない
で視聴する。
映像は、あらかじめ定められた時間間隔で時々刻々と変
化する動画像を計算機で処理可能なディジタル静止画像
データにして一時記憶する。一時記憶された静止画像の
1枚を1フレームという。定められた時間間隔とは例え
ば1/30秒や1/5秒などである。この時間間隔は以
下の処理が1フレームに関して要する時間によって決定
されるべきである。
ームの画像データは、特徴量計算部103によって特徴
が数量化される。ここで画像の特徴量について説明す
る。画像のもっとも単純な特徴量は画像データそのもの
である。たとえば横640縦480の矩形領域に分割
し、各矩形領域に置いては3原色を256階調で表現で
きる画像データの場合、640×480×3=9216
00次元空間の1点としてこの画像は表現できる。しか
し、このような特徴量は格納記憶領域や処理時間を大き
く浪費するので、入力映像がそのままで特徴量とされる
ことは適切でない。
て特徴量とする方法がある。上記の640×480の画
像を、40×30の画像領域に切りなおし、各領域内で
は、領域内の3原色値の平均値を画素の値とすれば特徴
量のデータ量を256分の1にすることができる。
りに、輝度(Y)、および輝度と赤との色差(Cr)、
輝度と青との色差(Cb)、という3種の値で表す(テ
レビジョン信号はこの3値に分解されている)と、YC
rCbの3次元空間に画素の値をプロットした際、Cr
=Cb=0の軸を中心にCr=0の平面となす角が画素
ごとに求められる。この角を1フレーム中の画素に対し
て求め、たとえば角度10度ごとにプロットされた点の
数を数えたヒストグラム(色相ヒストグラム)は36次
元の特徴量である。この特徴量は映像が徐々に暗くなる
フェイドアウトなどの映像効果に影響を受けにくい特徴
量である。
輝度値平均などである。これは1フレーム内の各画素の
Y値を平均した1次元の値であり、真っ黒の画面で0、
真っ白の画面で255などの値をとる。
徴量計算の方法は特に限定しない。特徴量計算部103
で計算された特徴量は、入力画像が新規の場合には特徴
量データベース107に記録される。特徴量データベー
ス107に記録されるデータとしては、上記の特徴量の
他に、そのフレームの出現年月日時刻、何チャンネルな
どという映像ソース情報などである。もし現在放送して
いる番組名などがディジタルデータとしてわかっている
場合にはそれをともに記録してもよい。特徴量データベ
ース107には、本願発明の動画像処理方法を初めて使
用した時からの新規映像の特徴量や年月日時刻などが全
て保存されるが、特徴量データベース107の記憶容量
に限りがある場合には、容量の限界に達した時点で古い
情報から順に一定量を削除する。また、この削除の機会
は利用者が指示してもよいし、記録してから何日経過な
ど、期間指定をしてもよい。
るかどうかという判定は類似度判定部104で行う。類
似度判定部104では、今入力された画像の特徴量と、
特徴量データベース107に登録されている既提示特徴
量とを比較し、もっとも合致するものの特徴量と記録年
月日時刻を読み出す。この比較を容易にするべく、特徴
量データベース107内の情報は特徴量によって並び替
えをあらかじめ行っておいてもよい。たとえば上述の輝
度値平均の場合、値の昇順(あるいは降順)でソートを
行っておく。
像に関する特徴量と、特徴量データベース107内のあ
る1画像に対する特徴量)の距離を計算することによっ
て行う。上記の角度ヒストグラムを用いた特徴量の例で
は、36次元空間での2特徴量点の距離を求める。
かじめ設定した値より近い場合には、今入力した画像は
既出であると判定される。既出と判定されなかった場
合、すなわち新規である場合、上述のようにその1フレ
ームの特徴量、および年月日日時などの付加情報を特徴
量データベースに追加登録し、映像音声出力端子106
から出力される映像音声情報は映像音声入力端子101
から入力されたそれと同じものである。
となった既出フレームの特徴量および関連情報は特徴量
データベース107から削除され、かわりに今入力され
た画像に関する特徴量および関連情報が新規登録され
る。
旨が表示映像作成部105に送られる。表示映像作成部
では、現在のフレームが既出と判定された旨を利用者が
見ている画面上に表示する。この表示の例を図2に示
す。利用者が見ている画面201上に現在放送されてい
る画面202を小画面として提示し、その下に既出であ
る旨の注意表示203がある。なお、この注意表示20
3は利用者の指定により表示させないこともでき、小画
面202を画面全体に表示してもよい。
201に表示した問いかけに対する返答を、リモートコ
ントローラ(図示せず)あるいは本願発明の動画像処理
方法に取り付けられたコントロールボタン(図示せず)
などを用いて、操作入力端子110から本願発明の動画
像処理方法に通知する。
場合、利用者の指定によって本願発明の動画像処理方法
はたとえば次のような3つの動作をする。 (1)図5に示すように、利用者があらかじめ指定した
時間(たとえば2分)映像音声入力端子101からの入
力を映像音声出力端子106への出力を停止する。指定
した時刻が経過すると出力を再開し、同時に音声で再開
を告知する。 (2)図6に示すように、入力画像が既出と判定されな
い場面になるまで出力を停止する。新規の場面が入力さ
れると出力を再開し、同時に音声で再開を告知する。 (3)図7に示すように、利用者があらかじめ指定した
特徴量を持つ映像が入力されるまで出力を停止する。指
定した特徴量をもつ映像が入力されると出力を再開し、
同時に音声で再開を告知する。
ても比較的対応しやすい手法である。たとえばテレビド
ラマを見ている時、同じコマーシャルは何回も見たいと
は思わない人が多い。上記(1)の動作では、放送がコ
マーシャルに変わるとコマーシャルの典型的な継続時間
2分や、1分30秒といった時間、画面出力が停止する
ので、コマーシャルによって物語内容から意識を散漫に
させられたり、不容易に大音量のコマーシャルに煩わさ
れることがない。
る。たとえば聞き手および語り手の2人によるトーク番
組の場合、画面は主に聞き手一人のアップ、語り手一人
のアップ、二人のアップ、二人のロング(遠景)、会場
の観客、およびいくらかのその他の場面で構成されてお
り、これらが繰り返される。利用者はこれら繰り返しの
場面を各1度ずつ特徴量データベース107に登録させ
たあとは、このトークコーナーが終了するまで映像の出
力を停止させることができる。
る。ニュース番組では、新しい話題に移った際の場面は
アナウンサーのアップ、または、アナウンサーとニュー
ス項目を示す小画面といった画像であることが多い。こ
の画像をスキップ用の登録画像とすれば、利用者はすで
に他のチャンネルなどで見たニュース項目の映像が始ま
ったときに本願発明の動画像処理方法から既出の通知を
受け、ここで次のスキップ用画像まで、と指定すること
で次の項目までの出力を停止できる。また、たとえばス
キージャンプなどのように同様の映像が選手だけが変化
して繰り返されるような場合、選手がこれから滑走しよ
うとしているフレームをスキップ用の登録画像とすれ
ば、利用者は滑走準備のフレームだけを見て、それが自
分が見たい選手でなければ次の選手まで出力を停止させ
ることができる。
ムを静止画像として出力してもよいし、利用者があらか
じめ登録した静止画像用画像(たとえば気に入った風景
など)を出力してもよい。また、利用者が地上波とBS
放送などチューナーを複数もっている場合、停止中は別
のチャンネルの映像を提示してもよい。
のオープニングの画像を登録することで、所望の番組を
確実に視聴(録画)することができる。例えば、スポー
ツ中継の延長などによりプログラムに変更があった場合
でも、所望の番組を確実に視聴(録画)することができ
る。
について実施例を図面に即して説明する。説明に用いる
図面は図1であり、現在のフレームが既出と判定された
場合の動作も上記の実施例と同じである。
は、これに加えて上記の(1)〜(3)で入力映像の出
力を停止している間に、映像ソースとなっている装置、
たとえばビデオテープ再生装置や、レーザーディスクプ
レーヤ、あるいはディジタルビデオディスクプレーヤに
直接制御信号を制御信号出力端子109から出力し、レ
ーザーディスクの場合、次のチャプタ(インデックス)
にスキップする、ビデオテーププレーヤの場合、再生早
送りするなどの動作をさせる。映像ソースとなっている
装置に、本願発明の動画像処理方法からの制御信号を受
け付ける仕組みがない場合には、たとえば制御信号出力
端子109に映像ソースのリモートコントローラの信号
を出力できる発信ユニット(図示せず)を接続し、リモ
ートコントローラの信号を用いて映像ソースを制御して
もよい。
法双方において、類似度を判定する手法や、既出か否か
を判定する基準レベルの設定などは、装置に標準手法、
標準値として規定されているものとするが、利用者の指
示入力により、操作入力端子110経由で自由な値に設
定しなおしてもよい。
も、制御信号出力端子109をビデオテープレコーダー
(VTR)に接続し、上記手法によって映像出力を停止
している間は録画も停止するように動作させることもで
きる。こうすることで、現在放送されている映像から必
要部分だけを簡単に選び出して録画することができる。
ついて実施例を図面に即して説明する。図3は映像中の
シーンを模式的にあらわしたものである。301Aと3
01Bは、それぞれ時間的に重複しない2ショット(こ
こでは撮影装置を停止せずに録画した映像の時間区間を
ショットと称する)を示し、右側に行くほど時間の経過
を表している。302a〜hはそれぞれのショット中の
フレーム(映像の時間断面である静止画)を表し、その
時点での映像をそれぞれ303a〜hに示した。ショッ
ト301Aは人物を左斜め後(303a)から右斜め後
(303b)、右斜め前(303c)と連続的にカメラ
を移動しながら撮影し、引き続きその人物をアップにし
(303d)、最後にカメラが人物を肩ごしに写す(3
03e)というショットである。一方、ショット301
Bは、ショット301Aに登場したのと同じ人物がアッ
プの状態で話しているショットである。
る方法の一つに、ショット内の全フレームの平均画像を
作成し、比較するという方法もあるが、このような手法
においては、ショットBはショット内の状態変化が少な
いため、平均したものは303f〜hの画像と大差ない
ものとなるのに対し、ショットAは内部の変化が大き
く、平均した画像は散漫になり、各フレームの特徴を相
殺したものになってしまう。したがって、画像を平均す
る手法でショットA、ショットBの類似度を検定するこ
とはこの2ショットに対しては適切でない。
画素値(輝度、色相)を平均したとしても、フレーム3
03a〜303b付近に現れている人物の全面にある壁
の色はショットBには現れていないものであり、この壁
がショットAないで大面積を占めるために、やはり2シ
ョットは類似と判定されない。
量を算出する方法では、動きの激しいショットの特徴を
正確に表現したとはいえない。一方、図3を見ると、シ
ョットAとショットBは部分的に似ている。たとえばシ
ョットA中の303dはショットBのどのフレームと類
似性が高い。本願発明の第3の情報処理方法において
は、ショットの中から複数のフレームを選択し、それら
の類似度を計算し、最も類似であった組み合わせの類似
度が設定したしきい値以上であった場合に2ショットは
類似であると判定する。
は、ショットの先頭(304a、304f)、ショット
の中央(304c、304h)、ショットの最後(30
4e、304j)およびショットの先頭と中央の中間
(304b、304g)、ショットの中央と最後の中間
(304d、304i)の特徴量を計算する。ここでい
う特徴量とは、画像内の画素値の平均であるとか、色相
のヒストグラムなど、本願発明の第1の実施例でも説明
したものを含め、静止画の特徴を計算するいかなる方法
でもよく、2以上の方法の組み合わせでもよい。
れから5つずつの特徴量が得られたが、ショットAから
の5つのうちの一つとショットBの5つのうちの一つを
選びだし、類似度を計算する。この類似度計算について
も本願発明の第1の実施例で説明した。したがって、5
×5=25通りの組み合わせで類似度が計算される。図
3にはこの組み合わせのいくつかが図示されているが、
全てを示したわけではない。このような類似度計算を行
うとき、304a、304b,304c,304eに対
するショットBの304f〜304jの類似度は低い
が、304dに対するショットB内のフレームの類似度
は高い。
うち、最も高い類似度の値は304dに対する304f
〜304jのうちのどれか一つの組み合わせになる。こ
の最高類似度が、ユーザによって設定されたしきい値よ
りも高いときに、ショットAとショットBは類似である
と判定される。
択数は5でなくてもよく、またショット内で等間隔にと
らなくてもよい。選択数を3とすれば、たとえばショッ
トの先頭、中央、最後のフレームをとればよく、この場
合の組み合わせ計算の数は9に削減される。逆にショッ
ト中の全てのフレームを選択してもよい。
場合、既出の場面の特徴量としてショットの先頭、中
央、最後のフレームの色相ヒストグラムを特徴量データ
ベース107に保存しておき、新しく流れてきた映像の
1フレームがこれらと類似であった場合に提示を停止す
るという方法にも用いられる。
を複数のフレームを記憶できるものにし、ショットの終
端が検出されるまでの映像をフレームメモリ102に保
存しておき、その保存されたショットの先頭、中央、最
後のフレームの特徴量と、特徴量データベース107中
の特徴量との比較を用いて2ショットの類似性を判定
し、ショット単位で類似なものの提示/不提示をおこな
ってもよい。
について実施例を図面に即して説明する。図4は、架空
の映像について映像中の場面転換(カット。上述のショ
ット間の区切り)ごとに1枚の小画面(アイコン)を表
示した例である。図4全体は一覧表示の一画面を表し、
この例では一度に16のアイコンが表示されている。以
下ではそれぞれのアイコンを列と行で示し、401列a
行、あるいは単に401aなどと称すことにする。
間順は列内では左から右に進行し、右端404列の次は
次の行の401列という順位に上から下に進行するもの
とする。つまり、401a→402a→403a→40
4a→401b→…という順で、この画面内で最後のシ
ョットは404dである。
一部分が表示されている。前半のシーンは401aある
いは、401aよりも前の図示されていないショットか
ら始まり、403cで終了する。後半のシーンは404
cから開始し、404dあるいは404dよりも後の図
示されていないショットまで続く。前半のシーンを便宜
的にシーンA、後半をシーンBと称する。
ているシーンだが、現実の映画などではこのように2人
の会話のシーンは多く、さらにその多くは会話に参加し
ている2人物のそれぞれのアップが繰り返して出現する
ことが多い。
をカットごとにアイコン表示したのでは、表示すべきア
イコンの数量が増え、したがって1画面で伝達できる情
報量が少なくなっている。
願発明の第3の情報処理方法で用いたショットの類似度
判定を用い、類似であるショットであった場合には一覧
画面の表示から削除する。図4の場合、401aと40
3aと401bと404dは同じ人物を同じ構図で撮影
したものであり、酷似している。したがって、これらは
本願発明の第3の情報処理方法で用いたショットの類似
度判定により、類似シーンとみなされる。
02aと404aと402bと401cも類似である。
こうして類似としてグループ化されたショットの中か
ら、一つのショットを選び、そのアイコンをグループの
アイコンとして表示すれば、表示すべきアイコンの数を
減少させることができる。この例でいうと、シーンAに
関してはこのようにして403a、404a、401
b、402b、404b、401c、403cの表示は
省くことができ、これまで次の画面に表示されていた別
のショット(あるいはショットグループ)のアイコンを
7つ新たに表示することができるようになる。
7という数字は更に増えることも期待できる。私たちが
行った実験では、たとえば映画の中で2人が会話する1
分のシーンにおいて20カットがあったが、これは2人
のアップの繰り返しであったために2枚の代表画像によ
って内容を充分表示することができた。
からの代表アイコンの選び方は特に限定するものではな
いが、ショット内に人物が写っている場合などにおいて
は、その人物が正面を向いている画像がより望ましい。
この正面顔の選択方法は、ショット内で中央付近の指定
領域内ないにある肌色画素の多少を参考にしても良い
し、正面顔の典型的な特徴量を抽出し、その特徴量と似
ている領域がフレーム内に存在するか否かを基準にして
もよい。正面顔の検出方法については、文献(アメリ
カ、カーネギー・メロン大学 CMU-CS-95-158, "Human F
ace Detection in Visual Scenes", 1995 )などにも示
されている。また、グループ化して省略表示した場合の
アイコンには、表示を省略したショットの数や特別な記
号などを付記表示してもよい。
動画像処理方法および装置によれば、放送されている映
像を利用者がリアルタイムで見る/見ないを判定する有
力な材料を提供することができ、すでに見た映像を何度
も繰り返し見ずにすむ快適な映像視聴環境を提供でき
る。しかも、本願発明の動画像処理方法においては、装
置内部に目的とする映像ソースを確保している訳ではな
く、放送される映像情報にも対応しているため、一般利
用者の手元に莫大な映像記憶媒体を用意する必要はな
く、また、一旦蓄積して編集して見るという手間を省く
ことができる。
よび装置によれば、映像を場面の切り替わり毎のフレー
ム画像の集合ごとに1つの小画面によって代表させて一
覧表示する場合に、映像内容の要約性を損なうことなく
表示すべきアイコンの数を大幅に削減することができ、
一覧表示の視認性を高めることができる。
図。
概念図。
概念図。
Claims (4)
- 【請求項1】リアルタイムで入力された動画像のフレー
ム画像の特徴量を求め、求めた前記特徴量と既に入力さ
れた動画像のフレーム画像の特徴量との類似度を求め、
求めた前記類似度をもとに、前記入力された動画像が、
既に入力された画像と類似か否かを判断し、前記判断し
た結果が類似でないと判定された場合には、当該入力さ
れた画像を出力し、前記判断した結果が類似であると判
定された場合には、当該入力された画像の出力を中止
し、または別の画像を出力することを特徴とする動画像
処理方法。 - 【請求項2】入力された動画像の変化点を検出し、検出
した前記変化点によって区切られる動画像の区間を代表
する小画面を一覧表示する動画像処理方法において、求
めた前記動画像の各々の区間のフレーム画像の特徴量を
求め、求めた前記各々の区間のフレーム画像の特徴量と
既に入力された区間の動画像のフレーム画像の特徴量と
の類似度を求め、求めた前記類似度をもとに、入力され
た前記各々の区間の類似性を判断し、前記判断した結果
が類似でないと判定された場合には、当該動画像の区間
を代表する小画面を表示し、前記判断した結果が類似で
あると判定された場合には、当該類似すると判断された
動画像の区間に対応する小画面を表示しないことを特徴
とする動画像処理方法。 - 【請求項3】リアルタイムで入力された動画像のフレー
ム画像の特徴量を求める手段と、求めた前記特徴量と既
に入力された動画像のフレーム画像の特徴量との類似度
を求め、求めた前記類似度をもとに、前記入力された動
画像が、既に入力された画像と類似か否かを判断する手
段と、前記判断した結果が類似でないと判定された場合
には、当該入力された画像を出力し、前記判断した結果
が類似であると判定された場合には、当該入力された画
像の出力を中止し、または別の画像を出力する手段とを
具備することを特徴とする動画像処理装置。 - 【請求項4】入力された動画像の変化点を検出し、検出
した前記変化点によって区切られる 動画像の区間を代表
する小画面を一覧表示する動画像処理装置において、求
めた前記動画像の各々の区間のフレーム画像の特徴量を
求める手段と、求めた前記各々の区間のフレーム画像の
特徴量と既に入力された区間の動画像のフレーム画像の
特徴量との類似度を求め、求めた前記類似度をもとに、
入力された前記各々の区間の類似性を判断する手段と、
前記判断した結果が類似でないと判定された場合には、
当該動画像の区間を代表する小画面を出力し、前記判断
した結果が類似であると判定された場合には、当該類似
すると判断された動画像の区間に対応する小画面を出力
しない出力手段を具備することを特徴とする動画像処理
装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08114696A JP3534368B2 (ja) | 1996-04-03 | 1996-04-03 | 動画像処理方法及び動画像処理装置 |
US08/832,374 US6466731B2 (en) | 1996-04-03 | 1997-04-02 | Moving picture processing method and moving picture processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08114696A JP3534368B2 (ja) | 1996-04-03 | 1996-04-03 | 動画像処理方法及び動画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09270006A JPH09270006A (ja) | 1997-10-14 |
JP3534368B2 true JP3534368B2 (ja) | 2004-06-07 |
Family
ID=13738293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08114696A Expired - Fee Related JP3534368B2 (ja) | 1996-04-03 | 1996-04-03 | 動画像処理方法及び動画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6466731B2 (ja) |
JP (1) | JP3534368B2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3838775B2 (ja) * | 1998-03-12 | 2006-10-25 | 株式会社東芝 | マルチメディア処理装置、記録媒体 |
JP4146955B2 (ja) * | 1999-02-15 | 2008-09-10 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
JP3738631B2 (ja) | 1999-09-27 | 2006-01-25 | 三菱電機株式会社 | 画像検索システムおよび画像検索方法 |
JP2006018831A (ja) * | 1999-09-27 | 2006-01-19 | Mitsubishi Electric Corp | 画像検索システムおよび画像検索方法 |
JP4770875B2 (ja) * | 1999-09-27 | 2011-09-14 | 三菱電機株式会社 | 画像特徴データ生成装置、画像特徴判定装置および画像検索システム |
US7490107B2 (en) | 2000-05-19 | 2009-02-10 | Nippon Telegraph & Telephone Corporation | Information search method and apparatus of time-series data using multi-dimensional time-series feature vector and program storage medium |
KR100438269B1 (ko) * | 2001-03-23 | 2004-07-02 | 엘지전자 주식회사 | 뉴스 비디오 브라우징 시스템에서 앵커 샷 자동 검출 방법 |
JP3823760B2 (ja) * | 2001-05-28 | 2006-09-20 | 日本電気株式会社 | ロボット装置 |
US7280696B2 (en) * | 2002-05-20 | 2007-10-09 | Simmonds Precision Products, Inc. | Video detection/verification system |
US20050055710A1 (en) * | 2002-11-22 | 2005-03-10 | Kabushiki Kaisha Toshiba | Motion picture storage apparatus and motion picture distributing system |
JP2004272662A (ja) * | 2003-03-10 | 2004-09-30 | Ricoh Co Ltd | コンテンツ管理装置、コンテンツ管理システム、コンテンツ管理方法、コンテンツ管理方法をコンピュータに実行させるプログラム、記録媒体、およびコンテンツデータ |
JP4047264B2 (ja) | 2003-09-30 | 2008-02-13 | 株式会社東芝 | 動画像処理装置、動画像処理方法および動画像処理プログラム |
US7930649B2 (en) * | 2004-10-08 | 2011-04-19 | Emc Corporation | Method and system for sharing and managing context information |
KR100610690B1 (ko) * | 2005-06-29 | 2006-08-09 | 엔에이치엔(주) | 3차원 화면에 플래시 동영상 삽입 방법 및 이를 위한 기록매체 |
JP4670683B2 (ja) | 2006-02-28 | 2011-04-13 | ソニー株式会社 | 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム |
JP4720544B2 (ja) * | 2006-03-01 | 2011-07-13 | ソニー株式会社 | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
US8009861B2 (en) * | 2006-04-28 | 2011-08-30 | Vobile, Inc. | Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures |
JP2009021732A (ja) * | 2007-07-11 | 2009-01-29 | Nippon Hoso Kyokai <Nhk> | 蓄積型放送受信装置および要約映像再生プログラム |
JP2009048490A (ja) * | 2007-08-21 | 2009-03-05 | Toshiba Corp | 類似ショット検出装置、プログラムおよび方法 |
JP4909840B2 (ja) | 2007-08-21 | 2012-04-04 | 株式会社東芝 | 映像処理装置、プログラムおよび方法 |
JP5060224B2 (ja) | 2007-09-12 | 2012-10-31 | 株式会社東芝 | 信号処理装置及びその方法 |
US8428360B2 (en) * | 2007-11-01 | 2013-04-23 | International Business Machines Corporation | System and method for real-time new event detection on video streams |
US20100272365A1 (en) * | 2007-11-29 | 2010-10-28 | Koji Yamamoto | Picture processing method and picture processing apparatus |
US8818037B2 (en) * | 2012-10-01 | 2014-08-26 | Microsoft Corporation | Video scene detection |
KR102045245B1 (ko) | 2012-12-20 | 2019-12-03 | 삼성전자주식회사 | 휴대단말기의 영상 재생 방법 및 장치 |
AU2013381007A1 (en) * | 2013-03-08 | 2015-09-17 | Interdigital Ce Patent Holdings, Sas | Method and apparatus for automatic video segmentation |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4697209A (en) * | 1984-04-26 | 1987-09-29 | A. C. Nielsen Company | Methods and apparatus for automatically identifying programs viewed or recorded |
US5099322A (en) * | 1990-02-27 | 1992-03-24 | Texas Instruments Incorporated | Scene change detection system and method |
DE69114083T2 (de) * | 1990-08-29 | 1996-04-04 | Sony Uk Ltd | Verfahren und Gerät zum Umsetzung eines Filmes in Videosignale. |
JP2980387B2 (ja) * | 1991-01-21 | 1999-11-22 | 日本電信電話株式会社 | 映像内容圧縮表示処理方法 |
JPH05224660A (ja) * | 1992-02-10 | 1993-09-03 | Nippon Telegr & Teleph Corp <Ntt> | 代表画面表示方法 |
JPH0636026A (ja) * | 1992-07-13 | 1994-02-10 | Toshiba Corp | 動画像処理装置 |
JPH0738842A (ja) * | 1993-06-29 | 1995-02-07 | Toshiba Corp | 動画編集装置 |
JP3340532B2 (ja) | 1993-10-20 | 2002-11-05 | 株式会社日立製作所 | ビデオの検索方法および装置 |
US5668917A (en) * | 1994-07-05 | 1997-09-16 | Lewine; Donald A. | Apparatus and method for detection of unwanted broadcast information |
US5613032A (en) * | 1994-09-02 | 1997-03-18 | Bell Communications Research, Inc. | System and method for recording, playing back and searching multimedia events wherein video, audio and text can be searched and retrieved |
JP2735003B2 (ja) * | 1994-09-28 | 1998-04-02 | 松下電器産業株式会社 | ホワイトバランス調整量演算装置 |
JP3823333B2 (ja) * | 1995-02-21 | 2006-09-20 | 株式会社日立製作所 | 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム |
-
1996
- 1996-04-03 JP JP08114696A patent/JP3534368B2/ja not_active Expired - Fee Related
-
1997
- 1997-04-02 US US08/832,374 patent/US6466731B2/en not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
上田博唯,宮武孝文,吉澤聡,認識技術を応用した対話型映像編集方式の提案,電子情報通信学会論文誌,日本,社団法人電子情報通信学会,1992年 2月25日,D−II Vol.J75−D−II No.2,pp.216−225 |
Also Published As
Publication number | Publication date |
---|---|
JPH09270006A (ja) | 1997-10-14 |
US6466731B2 (en) | 2002-10-15 |
US20020071649A1 (en) | 2002-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3534368B2 (ja) | 動画像処理方法及び動画像処理装置 | |
EP3185539B1 (en) | Information processing apparatus, imaging apparatus, image display control method and computer program | |
US7333712B2 (en) | Visual summary for scanning forwards and backwards in video content | |
US9098172B2 (en) | Apparatus, systems and methods for a thumbnail-sized scene index of media content | |
US7356244B2 (en) | Method and system for replaying video images | |
US7096427B2 (en) | Method and system for selecting a position in an image sequence | |
US20040128317A1 (en) | Methods and apparatuses for viewing, browsing, navigating and bookmarking videos and displaying images | |
US20080136937A1 (en) | Image processing apparatus, image processing method, and program | |
US20050025465A1 (en) | Enhanced functionality for audio/video content playback | |
EP1487205A1 (en) | Display system for views of video item | |
US20060110128A1 (en) | Image-keyed index for video program stored in personal video recorder | |
JP2013176102A (ja) | 受信器で視聴覚的記録を見る方法及びそのような記録を見るための受信器 | |
US20090102973A1 (en) | Video split device | |
JPH0993588A (ja) | 動画像処理方法 | |
JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
JP3728775B2 (ja) | 動画像の特徴場面検出方法及び装置 | |
JP2000350165A (ja) | 動画像記録再生装置 | |
KR20040058511A (ko) | 비디오 콘텐트의 동적 탐색 방법 및 장치 | |
JP4325767B2 (ja) | データ受信装置、およびデータ受信方法 | |
JP2000023062A (ja) | ダイジェスト作成システム | |
JP2980387B2 (ja) | 映像内容圧縮表示処理方法 | |
US8627400B2 (en) | Moving image reproducing apparatus and control method of moving image reproducing apparatus | |
JPH1169281A (ja) | 要約生成装置及び映像表示装置 | |
EP1358760A1 (en) | System and method for providing a user interface for a "deja vu" video system | |
JPH10327386A (ja) | 映像情報蓄積装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080319 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090319 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100319 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100319 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110319 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |