JP2006066995A - 画像再生装置及びその制御方法及びプログラム及び記憶媒体 - Google Patents

画像再生装置及びその制御方法及びプログラム及び記憶媒体 Download PDF

Info

Publication number
JP2006066995A
JP2006066995A JP2004244126A JP2004244126A JP2006066995A JP 2006066995 A JP2006066995 A JP 2006066995A JP 2004244126 A JP2004244126 A JP 2004244126A JP 2004244126 A JP2004244126 A JP 2004244126A JP 2006066995 A JP2006066995 A JP 2006066995A
Authority
JP
Japan
Prior art keywords
image data
buffer
data sequence
encoded
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004244126A
Other languages
English (en)
Other versions
JP2006066995A5 (ja
JP4438059B2 (ja
Inventor
Akio Fujii
昭雄 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004244126A priority Critical patent/JP4438059B2/ja
Priority to US11/200,030 priority patent/US7613819B2/en
Publication of JP2006066995A publication Critical patent/JP2006066995A/ja
Publication of JP2006066995A5 publication Critical patent/JP2006066995A5/ja
Application granted granted Critical
Publication of JP4438059B2 publication Critical patent/JP4438059B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10685Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control input interface, i.e. the way data enter the buffer, e.g. by informing the sender that the buffer is busy
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10694Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control output interface, i.e. the way data leave the buffer, e.g. by adjusting the clock rate
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10722Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control wherein the size of the buffer is variable, e.g. by adding additional memory cells for coping with input streams that have high bit rates

Abstract

【課題】動画の連続再生において、動画の連続性が途切れることを極力抑制する。
【解決手段】符号化された画像データ列を一時的に蓄積するバッファ103と、バッファの蓄積サイズを設定するバッファサイズ設定回路111と、符号化された画像データ列をバッファからデコーダに出力させるデコード時刻を算出するデコード時刻算出回路110と、バッファの蓄積サイズを画像再生装置が再生可能な符号化データ列の要求する蓄積サイズの最大値の2倍以上に設定し、符号化された第1の画像データ列をバッファに取り込み終わった直後に、符号化された第2の画像データ列のバッファへの取り込みを開始させ、第1の画像データ列のバッファへの取り込みが終了した時刻に基づいて、第2の画像データ列のデコード時刻を算出させる制御回路112と、を具備する。
【選択図】 図1

Description

本発明は画像を再生する技術に関し、特にフレーム間符号化を用いた動画像データを再生する技術に関するものである。
近年、デジタルビデオカメラ、デジタルカメラ等でMPEG等のフレーム間符号化を用いた動画像データを記録再生する技術が普及している。
MPEGを用いて画像データをエンコードする場合、デコーダの再生を保証するため、vbv_bufferという仮想のバッファモデルに従って画像データがエンコードされる。デコーダは再生されてくる再生データからvbv_bufferモデルに従ってデータを復号して再生する。
再生側の動作について図5A、図5B、図6を参照して説明する。
再生指示がなされると、図6に示す制御回路507は再生回路502に再生を指示し、記録媒体501に記録されている記録データのストリームAを読み出し、バッファ503に再生データを書き込んでいく。図5A(a)に示すように、制御回路507はストリームAを時間tαで記録媒体501から読み出し、バッファ503に書き込んでいく。制御回路507はバッファ503への取り込み時刻tαをデコード時刻計算回路506に通知する。
図5A(a)に示す時刻t0まできたら、制御回路507は最初の画像データV0をバッファ503から読み出し、不図示のデコーダに送出する。
ここで時刻t0はvbv_delay検出回路504で検出されたvbv_delayA(0)からデコード時刻計算回路506において、
t0=tα+vbv_delayA(0) …(1)
と算出する。
デコード時刻計算回路506で算出されたデコード時刻t0は制御回路507に供給され、制御回路507は時刻t0がくると、バッファ503からストリームAの再生データV0を読み出し、出力端子508から不図示の復号器へ出力する。
時刻t0以降のデコード時刻tqは、デコード時刻計算回路506により、
tq=t0+Tv×q (q=0,1,2,…) …(2)
と計算され、制御回路507に供給される。ここでTvは画像データのフレーム周波数(例えば29.97Hz)の逆数である。
制御回路507で時刻t0が来たなら、その旨の通知がデコード時刻計算回路506に送られ、デコード時刻計算回路506は次のデコード時刻t1を制御回路507に供給する。
制御回路507は時刻t1がくるとバッファ503に取り込まれた再生データのストリームAのV1を読み出し、出力端子508に出力し、不図示の復号器に送る。
上記で説明したようにして時刻t2,t3,…,tnまで再生し、ストリームAの再生を終了する。
画像のエンコーダは上記で説明したvbv_bufferのモデルがオバーフローやアンダーフローが起こらないようにエンコードデータを作成しなければならないし、デコーダもvbv_bufferモデルに従って再生を進めれば、フレームのスキップやフレームのホールドなどの破綻なく再生される。
ここで、記録媒体に記録されているストリームAの再生後に続けて、別のストリームBを再生する場合を考える。
デコーダ側のvbv_bufferモデルがオーバーフロー、アンダーフローしないように再生するとすれば、図5A(b)に示すようにストリームAのデコード時刻tnが来てバッファ503のストリームAの最後の再生データがバッファから読み出された後にストリームBの再生データをバッファ503に読み込むように制御回路507は再生回路502、バッファ503を制御する。
制御回路507はストリームBの取り込み時刻tnをデコード時刻計算回路506に通知し、ストリームBをバッファ503に再生回路502を通して取り込んでいく。
vbv_delay検出回路504はvbv_delayB(0)を検出し、デコード時刻計算回路506に供給する。デコード時刻計算回路506は取り込み時刻tnとvbv_delayB(0)からデコード時刻tmを、
tm=tn+vbv_delayB(0) …(3)
として算出し(図5A(b)の場合はtn+3=tm)、制御回路507に供給する。
以後、ストリームBのデコード時刻は、
tr=tm+Tv×r (r=0,1,2,…) …(4)
とデコード時刻計算回路506で計算され、制御回路507はストリームAと同様にバッファの取り込み、読み出しを図5A(b)に示すように制御する。
特開2002−158968号公報
しかしながら、上記で説明した方法では、vbv_bufferモデルにおいて、ストリームAの最後のデータのデコード時刻でストリームAをすべて読み出した後にストリームBをバッファに取り込むのでバッファのオバーフロー、アンダーフローは起きないが、図5A(b)に示すように、ストリームAからストリームBへの再生の移り変わり時に、tn+1,tn+2の時刻でデコードできないので、画像のスムーズな再生ができず、動画としての連続性が途切れるという問題がある。
これを解決する一つの手法として、特開2002−158968号公報(特許文献1)には、図5B(c)に示すように、ストリームAのバッファ503への取り込み終了時点teからストリームBのバッファ503への取り込みを開始し、バッファ503がオバーフローしそうな時はバッファへの取り込みを停止するようにしてバッファ503への取り込みを早くし、ストリームBのデコード時刻を図5B(c)に示すtsとし、動画の連続性が途切れる時間(デコード時刻の連続性が損なわれる時間)をなるべく少なくするという提案がなされている。
しかしながら、この方法も動画の連続性が途切れる問題を改善することはできるものの、まだ改良の余地を残していた。
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、動画の連続再生において、動画の連続性が途切れることを極力抑制することである。
上述した課題を解決し、目的を達成するために、本発明に係わる画像再生装置は、フレーム間符号化手法を用いて符号化された画像データ列を再生する画像再生装置において、符号化された画像データ列を一時的に蓄積するバッファ手段と、該バッファ手段の蓄積サイズを設定するバッファサイズ設定手段と、符号化された画像データ列を前記バッファ手段からデコーダに出力させるタイミングであるデコード時刻を算出するデコード時刻算出手段と、前記バッファ手段の蓄積サイズを前記画像再生装置が再生可能な符号化データ列の要求する蓄積サイズの最大値の2倍以上に設定し、符号化された第1の画像データ列を前記バッファ手段に取り込み終わった直後に、符号化された第2の画像データ列の前記バッファ手段への取り込みを開始させ、前記第1の画像データ列の前記バッファ手段への取り込みが終了した時刻に基づいて、前記第2の画像データ列のデコード時刻を算出させるように、前記バッファ手段と前記バッファサイズ設定手段と前記デコード時刻算出手段とを制御する制御手段と、を具備することを特徴とする。
また、本発明に係わる画像再生装置は、フレーム間符号化手法を用いて符号化された画像データ列を再生する画像再生装置において、符号化された画像データ列を一時的に蓄積するバッファ手段と、該バッファ手段の蓄積サイズを設定するバッファサイズ設定手段と、符号化された画像データ列を前記バッファ手段からデコーダに出力させるタイミングであるデコード時刻を算出するデコード時刻算出手段と、符号化された第1の画像データ列の要求する蓄積サイズを前記バッファ手段の蓄積サイズとして設定し、前記第1の画像データ列を前記バッファ手段に取り込み終わった直後に、符号化された第2の画像データ列の前記バッファ手段への取り込みを開始させ、前記第2の画像データ列の要求する蓄積サイズの値と先行する前記第1の画像データ列の要求する蓄積サイズの値との和の値を前記バッファ手段の蓄積サイズとして設定し直し、前記第1の画像データ列の前記バッファ手段への取り込みが終了した時刻に基づいて、前記第2の画像データ列のデコード時刻を算出させるように、前記バッファ手段と前記バッファサイズ設定手段と前記デコード時刻算出手段とを制御する制御手段と、を具備することを特徴とする。
また、本発明に係わる画像再生装置の制御方法は、フレーム間符号化手法を用いて符号化された画像データ列を再生する画像再生装置であって、符号化された画像データ列を一時的に蓄積するバッファ手段と、該バッファ手段の蓄積サイズを設定するバッファサイズ設定手段と、符号化された画像データ列を前記バッファ手段からデコーダに出力させるタイミングであるデコード時刻を算出するデコード時刻算出手段とを備える画像再生装置を制御する方法であって、前記バッファサイズ設定手段により、前記バッファ手段の蓄積サイズを前記画像再生装置が再生可能な符号化データ列の要求する蓄積サイズの最大値の2倍以上に設定するバッファサイズ設定工程と、符号化された第1の画像データ列を前記バッファ手段に取り込み終わった直後に、符号化された第2の画像データ列の前記バッファ手段への取り込みを開始させるデータ取り込み工程と、前記デコード時刻算出手段により、前記第1の画像データ列の前記バッファ手段への取り込みが終了した時刻に基づいて、前記第2の画像データ列のデコード時刻を算出するデコード時刻算出工程と、を具備することを特徴とする。
また、本発明に係わる画像再生装置の制御方法は、フレーム間符号化手法を用いて符号化された画像データ列を再生する画像再生装置であって、符号化された画像データ列を一時的に蓄積するバッファ手段と、該バッファ手段の蓄積サイズを設定するバッファサイズ設定手段と、符号化された画像データ列を前記バッファ手段からデコーダに出力させるタイミングであるデコード時刻を算出するデコード時刻算出手段とを備える画像再生装置を制御する方法であって、前記バッファサイズ設定手段により、符号化された第1の画像データ列の要求する蓄積サイズを前記バッファ手段の蓄積サイズとして設定するバッファサイズ設定工程と、前記第1の画像データ列を前記バッファ手段に取り込み終わった直後に、符号化された第2の画像データ列の前記バッファ手段への取り込みを開始させるデータ取り込み工程と、前記第2の画像データ列の要求する蓄積サイズの値と先行する前記第1の画像データ列の要求する蓄積サイズの値との和の値を前記バッファ手段の蓄積サイズとして設定し直すバッファサイズ再設定工程と、前記デコード時刻算出手段により、前記第1の画像データ列の前記バッファ手段への取り込みが終了した時刻に基づいて、前記第2の画像データ列のデコード時刻を算出するデコード時刻算出工程と、を具備することを特徴とする。
また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。
また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読取可能に記憶したことを特徴とする。
本発明によれば、動画の連続再生において、動画の連続性が途切れることを極力抑制することが可能となる。
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。
(第1の実施形態)
図1は、本発明の画像再生装置の第1の実施形態の構成を示す図である。
図1において、101は記録媒体、102は再生回路、103はバッファ、104は再生データの出力端子、105はバッファ占有量検出回路、106はバッファサイズ検出回路、107はvbv_delay検出回路、108はバッファ取り込み開始検出回路、109はバッファ取り込み終了検出回路、110はデコード時刻計算回路、111はバッファサイズ決定回路、112は制御回路である。
再生モードに入るとバッファサイズ決定回路111は、本実施形態の画像再生装置で扱えるバッファサイズの最大値VFmaxを制御回路112に送出する。制御回路112はバッファサイズ決定回路111から入力されたバッファサイズの最大値VFmaxの2倍の値
VS=VFmax×2 …(5)
を計算し、バッファ103にサイズVSを設定する。
再生指示を受けると、制御回路112は記録媒体101から指定されたストリームAを再生するように再生回路102を制御し、再生回路102は記録媒体101から再生データのストリームAを読み出し、バッファ103に書き込んでいく。バッファ103の再生データの書き込み、読み出しのシミュレーションの様子を図4に示す。
制御回路112は図4に示す時刻t0までストリームAを記録媒体から再生回路102を通して読み出し、バッファ103に書き込んでいく。そして、時刻t0でバッファ103に取り込まれたストリームAのデータV0を読み出し、出力端子104に出力し、不図示の復号器に供給する。
ここで時刻t0はデコード時刻計算回路110で以下のように計算される。
図1のvbv_delay検出回路107で検出されたストリームAのvbv_delayA(0)がデコード時刻計算回路110に供給される。また、バッファ取り込み開始検出回路108で検出されたストリームAのバッファ103への取り込み開始時刻tαもデコード時刻計算回路110に供給される。デコード時刻計算回路110は時刻tαとvbv_delayA(0)から、
t0=tα+vbv_delayA(0) …(1)
と時刻t0を計算し、制御回路112にデコード時刻t0を供給する。
制御回路112は時刻がt0になった時、バッファ103からストリームAの再生データV0を読み出して出力端子104に供給し、不図示のデコーダに再生データを供給する。
図4に示す時刻t0以降のデコード時刻tqは、デコード時刻計算回路110により、
tq=t0+Tv×q (q=0,1,2,…) …(2)
で計算され、制御回路112に供給される。ここでTvは画像データのフレーム周波数(例えば29.97Hz)の逆数である。
制御回路112は時刻t0以降も連続して記録媒体101からストリームAを再生回路102を介して再生し、バッファ103に書き込んでいく。そしてデコード時刻計算回路110から供給されるデコード時刻を元に、時刻t1,t2,…でバッファ103から再生データV1,V2,…を読み出して出力端子104に出力し、不図示の復号器に供給する。
図4に示すように、時刻teの時点でストリームAの記録媒体101からの読み出しが終了する。したがって、この時点で制御回路112は記録媒体101から次の再生ストリームBを再生回路102を介して読み出し、バッファ103に書き込み始める(図4、時刻te後の実線で示す折れ線)。
ここで、バッファサイズ検出回路106はストリームBのvbv_buffer_size(=v_size(B))を検出し、ストリームAの再生時に検出したストリームAのvbv_buffer_size(=v_size(A))との和がバッファ103の設定サイズVSを越えていないかチェックする。
バッファ占有量検出回路105はバッファ103での再生データの占有量を検出し、制御回路112に占有量を通知する。制御回路112はバッファ占有量検出回路105から供給されるバッファ占有量がバッファ103に設定したバッファサイズVSを越えないか監視し、越えそうな場合は記録媒体からの再生を止め、バッファ103へのデータの取り込みを中断する。
図4に示すように、制御回路112は時刻tn-2,tn-1でそれぞれストリームAの再生データVn-2,Vn-1をバッファ103から読み出し、最後に時刻tnでストリームAの再生データVnをバッファ103から読み出してストリームAの不図示の復号器への再生を終える。
vbv_delay検出回路107はストリームBの最初のvbv_delay値(=vbv_delayB(0))をストリームBから検出し、デコード時刻計算回路110に供給する。また、バッファ取り込み終了検出回路109はストリームAの記録媒体101からの読み出し終了時刻te(図4の時刻te)を検出し、デコード時刻計算回路110に供給する。
デコード時刻計算回路110は、
ty=te+vbv_delayB(0) …(6)
を計算し、制御回路112に供給する。
制御回路112は時刻tyが、
(ty−t0) mod(Tv)≠0 …(7)
であれば(ただし、A mod BはAをBで割った余りを表わす)、時刻tyで記録媒体101からのストリームBの読み出しを止め、バッファ103への書き込みを中断する(図4の時刻tyから時刻tn+1の時間)。
デコード時刻計算回路110はストリームBのデコード開始時刻tkを、
ty≦tn+1 …(8)
であれば、
tk=tn+1 …(9)
と計算する。
ここでtn+1はストリームAの最後のデータVnのバッファ103からの読み出し時刻tnに対して、
tn+1=tn+Tv …(10)
である。
従ってストリームBの時刻tk(時刻tn+1(=tn+Tv))後のデコード時刻tuは、
tu=tk+Tv×u (u=0,1,2,…) …(11)
で計算される。
一方、
ty>tn+1 …(12)
である場合には、(7)式を満たす場合は、
tk=t0+[ty−t0−((ty−t0) mod(Tv))]+Tv …(12)
であり、
(ty−t0) mod(Tv)=0 …(13)
の場合は、
tk=t0+[ty−t0]=ty …(14)
となる。
従ってストリームBの時刻tk以後のデコード時刻tuは
tu=tk+Tv×u (u=0,1,2,…) …(11)
と計算される。
デコード時刻計算回路110は、上記に説明したようにストリームBのデコード時刻tuを計算し、制御回路112に供給し、制御回路112はデコード時刻計算回路110からのデコード時刻に従ってバッファ103からストリームBの再生データを読み出して出力端子104に供給する。言い換えれば、制御回路112は、そのデコード時刻に従ってバッファ103を制御して再生データをバッファから読み出し(図4のtn+1(tk),tn+1(tk+Tv×u),…,tu,…の各時刻)、出力端子104に出力し、不図示の復号器へ再生データを供給する。
以上、説明したように、再生時、再生装置が取りうる最大vbv_buffer_sizeの少なくとも2倍のバッファサイズをバッファに用意し、先行するストリームAの再生データの最後のデータが記録媒体から読み出される時点teを検出し、その読み出し終了時点teから次のストリームBの再生データのバッファへの取り込みを開始するようにする。即ち、バッファへの取り込みがvbv_buffer_sizeを越えてもストリームBのデータをバッファに取り込めるようにし、ストリームBの再生時刻をストリームAの読み出し終了時刻teから計算し直して再生するようにしたことで、ストリームAからストリームBへの再生移行期にデコード時間の連続性が途切れるのを最小限にすることができ、動画像の連続性の中断も最小限にすることができるようになった(本実施形態では、ty≦tn+1の場合は、図4に示すようにデコード時刻の連続性は保たれ、動画像はスムーズに再生される)。
(第2の実施形態)
図2は、本発明の画像再生装置の第2の実施形態の構成を示す図である。
図2において、101は記録媒体、102は再生回路、103はバッファ、104は再生データの出力端子、105はバッファ占有量検出回路、106はバッファサイズ検出回路、108はバッファ取り込み開始検出回路、109はバッファ取り込み終了検出回路、111はバッファサイズ決定回路、112は制御回路、201はビットレート検出回路、202はデコード時刻計算回路である。
第1の実施形態と同様の働きをするものには図1と同じ番号が付されている。以下、第1の実施形態と異なる個所についてのみ説明する。
ストリームAを記録媒体101から再生してバッファ103に取り込み始めた際に、バッファサイズ検出回路106はストリームAのvbv_buffer_size(=v_size(A))を検出し、デコード時刻計算回路202に供給する。ビットレート検出回路201はストリームAのビットレートRaを検出し、デコード時刻計算回路202に供給する。バッファ取り込み開始検出回路108はストリームAのバッファ103への取り込み開始時刻tαを検出し、デコード時刻計算回路202に供給する。
デコード時刻計算回路202は、ストリームAのデコード時刻t0を、
t0=tα+v_size(A)/Ra …(14)
と計算し、制御回路112にデコード時刻t0を供給する。
時刻t0以降のデコード時刻tqは、デコード時刻計算回路202により、
tq=t0+Tv×q (q=0,1,2,…) …(2)
と計算され、制御回路112に供給される。
次にバッファ取り込み終了検出回路109がストリームAのバッファ103へのデータの取り込み終了時刻teを検出し、デコード時刻計算回路202、制御回路112に供給する。
バッファサイズ検出回路106はストリームBのvbv_buffer_size(=v_size(B))を検出し、デコード時刻計算回路202に供給する。ビットレート検出回路201はストリームBのビットレートRbを検出し、デコード時刻計算回路202に供給する。
デコード時刻計算回路202は、
ty=te+v_size(B)/Rb …(15)
を計算し、時刻tyを制御回路112に供給する。
その後のストリームBのデコード開始時刻tk、デコード時刻tuの計算、及びストリームBのバッファへの取り込み、読み出しの仕方は第1の実施形態と同様である。
以上、説明したように、第1の実施形態と同様に再生時、再生装置が取りうる最大vbv_buffer_sizeの少なくとも2倍のバッファサイズをバッファに用意し、先行するストリームAの再生データの最後のデータが記録媒体から読み出される時点teを検出し、その読み出し終了時点teから次のストリームBの再生データのバッファへの取り込みを開始するようにする。即ち、バッファへの取り込みがvbv_buffer_sizeを越えてもストリームBのデータをバッファに取り込めるようにして、ストリームBの再生時刻をストリームAの読み出し終了時刻teとストリームBのビットレート、およびvbv_buffer_sizeから計算し直して再生するようにした。これにより、ストリームAからストリームBへの再生移行期にデコード時間の連続性が途切れるのを最小限にすることができ、動画像の連続性の中断も最小限にすることができるようになった(本実施形態では、ty≦tn+1の場合は、図4に示すようにデコード時刻の連続性は保たれ、動画像はスムーズに再生される)。
(第3の実施形態)
図3は、本発明の画像再生装置の第3の実施形態の構成を示す図である。
図3において、101は記録媒体、102は再生回路、103はバッファ、104は再生データの出力端子、105はバッファ占有量検出回路、106はバッファサイズ検出回路、107はvbv_delay検出回路、108はバッファ取り込み開始検出回路、109はバッファ取り込み終了検出回路、110はデコード時刻計算回路、301はバッファサイズ決定回路、302は制御回路である。
第1の実施形態と同様の働きをするものには図1と同じ番号が付されている。以下、第1の実施形態と異なる個所についてのみ説明する。
記録媒体101に記録されているストリームAの再生が開始され、バッファサイズ検出回路106はストリームAのvbv_buffer_size(=v_size(A))を検出し、バッファサイズ決定回路301に供給する。バッファサイズ決定回路301はストリームAのvbv_buffer_size=v_size(A)の値を、
Vsize =v_size(A) …(16)
としてVsizeの値を制御回路302に供給する。
制御回路302はVsize(=v_size(A) )の値をバッファ103のサイズとして設定する。
ストリームAの再生開始時刻t0、デコード時刻tqの導出、及びバッファの取り込み、読み出し制御等は第1の実施形態又は第2の実施形態と同様である。
次にストリームAのバッファ103への取り込みが終わった時刻teからストリームBをバッファ103に取り込み始めた時、バッファサイズ検出回路106はストリームBのvbv_buffer_size(=v_size(B))を検出し、バッファサイズ決定回路301に供給する。 バッファサイズ決定回路301はストリームAのvbv_buffer_size=v_size(A)の値とストリームBのvbv_buffer_size=v_size(B)の和を、
Vsize=v_size(A)+v_size(B) …(17)
として計算し、Vsizeの値を制御回路302に供給する。
制御回路302はVsize(=v_size(A)+v_size(B))の値をバッファ103のサイズとして設定し直す。
ストリームAの読み出し制御、ストリームBのバッファへの取り込み、読み出し制御、デコード開始時刻tk 、デコード時刻tuの計算等は第1の実施形態又は第2の実施形態と同様である。
ストリームAのバッファ103からの最後のデータVnの読み出しが終わった時刻tnにおいて、制御回路302はバッファサイズ決定回路301にストリームAのバッファからの掃き出しが終了した通知をする。
バッファサイズ決定回路301はストリームAのバッファからの掃き出しが終了したことを知るとVsizeとしてストリームBのvbv_buffer_size =v_size(B)から、
Vsize=v_size(B) …(18)
と設定し、制御回路302に供給する。
制御回路302はバッファサイズ決定回路301から供給されたVsize=v_size(B)をバッファ103のサイズとして設定し直す。
時刻tn以後のストリームBのバッファへの取り込み、読み出し制御、デコード開始時刻tk 、デコード時刻tuの計算等は第1の実施形態又は第2の実施形態と同様である。
以上説明したように、つなぎ再生をする際に、先行するストリームAのvbv_buffer_size=v_size(A)を検出し、ストリームAの再生データのみがバッファに存在している間はバッファのサイズをストリームAのvbv_buffer_size=v_size(A)とする。そして、ストリームAの最後のデータが記録媒体から読み出される時点teを検出し、その読み出し終了時点teから次のストリームBのバッファへの取り込みを開始するようにする。そして、ストリームBのvbv_buffer_size=v_size(B)を検出し、ストリームAとストリームBがバッファに混在している間はバッファのサイズをv_size(A)+v_size(B)に設定し直しすることで、ストリームBのバッファへの取り込みがvbv_buffer_sizeを越えてもデータをバッファに取り込めるようにする。そして、ストリームBの再生時刻をストリームAの読み出し終了時刻teから計算し直して再生するようにしたことで、ストリームAからストリームBへの再生移行期にデコード時間の連続性が途切れるのを最小限にすることができ、動画像の連続性の中断も最小限にすることができるようになった(本実施形態では、ty≦tn+1の場合は、図4に示すようにデコード時刻の連続性は保たれ、動画像はスムーズに再生される)。
(他の実施形態)
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
本発明の画像再生装置の第1の実施形態の構成を示す図である。 本発明の画像再生装置の第2の実施形態の構成を示す図である。 本発明の画像再生装置の第3の実施形態の構成を示す図である。 本発明の画像再生装置における動画像データのバッファモデルを説明するための図である。 従来の動画像データのバッファモデルを説明するための図である。 従来の動画像データのバッファモデルを説明するための図である。 従来の動画像データの記録形式を説明するための図である。
符号の説明
101 記録媒体
102 再生回路
103 バッファ
104 出力端子
105 バッファ占有量検出回路
106 バッファサイズ検出回路
107 vbv_delay検出回路
108 バッファ取り込み開始検出回路
109 バッファ取り込み終了検出回路
110 デコード時刻計算回路
111 バッファサイズ決定回路
112 制御回路
201 ビットレート検出回路
202 デコード時刻計算回路
301 バッファサイズ決定回路

Claims (26)

  1. フレーム間符号化手法を用いて符号化された画像データ列を再生する画像再生装置において、
    符号化された画像データ列を一時的に蓄積するバッファ手段と、
    該バッファ手段の蓄積サイズを設定するバッファサイズ設定手段と、
    符号化された画像データ列を前記バッファ手段からデコーダに出力させるタイミングであるデコード時刻を算出するデコード時刻算出手段と、
    前記バッファ手段の蓄積サイズを前記画像再生装置が再生可能な符号化データ列の要求する蓄積サイズの最大値の2倍以上に設定し、符号化された第1の画像データ列を前記バッファ手段に取り込み終わった直後に、符号化された第2の画像データ列の前記バッファ手段への取り込みを開始させ、前記第1の画像データ列の前記バッファ手段への取り込みが終了した時刻に基づいて、前記第2の画像データ列のデコード時刻を算出させるように、前記バッファ手段と前記バッファサイズ設定手段と前記デコード時刻算出手段とを制御する制御手段と、
    を具備することを特徴とする画像再生装置。
  2. 前記符号化された画像データ列は、MPEGのデータストリームであることを特徴とする請求項1に記載の画像再生装置。
  3. 前記デコード時刻算出手段は、符号化された画像データ列に含まれるデータの遅延情報に基づいて、デコード時刻を算出することを特徴とする請求項1に記載の画像再生装置。
  4. 前記符号化された画像データ列に含まれるデータの遅延情報はvbv_delayであることを特徴とする請求項3に記載の画像再生装置。
  5. 前記デコード時刻算出手段は、符号化された画像データ列に含まれる蓄積サイズの情報と符号化された画像データ列のビットレートとに基づいて、デコード時刻を算出することを特徴とする請求項1に記載の画像再生装置。
  6. 前記符号化された画像データ列に含まれる蓄積サイズの情報はvbv_buffer_sizeであることを特徴とする請求項5に記載の画像再生装置。
  7. フレーム間符号化手法を用いて符号化された画像データ列を再生する画像再生装置において、
    符号化された画像データ列を一時的に蓄積するバッファ手段と、
    該バッファ手段の蓄積サイズを設定するバッファサイズ設定手段と、
    符号化された画像データ列を前記バッファ手段からデコーダに出力させるタイミングであるデコード時刻を算出するデコード時刻算出手段と、
    符号化された第1の画像データ列の要求する蓄積サイズを前記バッファ手段の蓄積サイズとして設定し、前記第1の画像データ列を前記バッファ手段に取り込み終わった直後に、符号化された第2の画像データ列の前記バッファ手段への取り込みを開始させ、前記第2の画像データ列の要求する蓄積サイズの値と先行する前記第1の画像データ列の要求する蓄積サイズの値との和の値を前記バッファ手段の蓄積サイズとして設定し直し、前記第1の画像データ列の前記バッファ手段への取り込みが終了した時刻に基づいて、前記第2の画像データ列のデコード時刻を算出させるように、前記バッファ手段と前記バッファサイズ設定手段と前記デコード時刻算出手段とを制御する制御手段と、
    を具備することを特徴とする画像再生装置。
  8. 前記符号化された画像データ列は、MPEGのデータストリームであることを特徴とする請求項7に記載の画像再生装置。
  9. 前記デコード時刻算出手段は、符号化された画像データ列に含まれるデータの遅延情報に基づいて、デコード時刻を算出することを特徴とする請求項7に記載の画像再生装置。
  10. 前記符号化された画像データ列に含まれるデータの遅延情報はvbv_delayであることを特徴とする請求項9に記載の画像再生装置。
  11. 前記デコード時刻算出手段は、符号化された画像データ列に含まれる蓄積サイズの情報と符号化された画像データ列のビットレートとに基づいて、デコード時刻を算出することを特徴とする請求項7に記載の画像再生装置。
  12. 前記符号化された画像データ列に含まれる蓄積サイズの情報はvbv_buffer_sizeであることを特徴とする請求項11に記載の画像再生装置。
  13. フレーム間符号化手法を用いて符号化された画像データ列を再生する画像再生装置であって、符号化された画像データ列を一時的に蓄積するバッファ手段と、該バッファ手段の蓄積サイズを設定するバッファサイズ設定手段と、符号化された画像データ列を前記バッファ手段からデコーダに出力させるタイミングであるデコード時刻を算出するデコード時刻算出手段とを備える画像再生装置を制御する方法であって、
    前記バッファサイズ設定手段により、前記バッファ手段の蓄積サイズを前記画像再生装置が再生可能な符号化データ列の要求する蓄積サイズの最大値の2倍以上に設定するバッファサイズ設定工程と、
    符号化された第1の画像データ列を前記バッファ手段に取り込み終わった直後に、符号化された第2の画像データ列の前記バッファ手段への取り込みを開始させるデータ取り込み工程と、
    前記デコード時刻算出手段により、前記第1の画像データ列の前記バッファ手段への取り込みが終了した時刻に基づいて、前記第2の画像データ列のデコード時刻を算出するデコード時刻算出工程と、
    を具備することを特徴とする画像再生装置の制御方法。
  14. 前記符号化された画像データ列は、MPEGのデータストリームであることを特徴とする請求項13に記載の画像再生装置の制御方法。
  15. 前記デコード時刻算出工程では、符号化された画像データ列に含まれるデータの遅延情報に基づいて、デコード時刻を算出することを特徴とする請求項13に記載の画像再生装置の制御方法。
  16. 前記符号化された画像データ列に含まれるデータの遅延情報はvbv_delayであることを特徴とする請求項15に記載の画像再生装置の制御方法。
  17. 前記デコード時刻算出工程では、符号化された画像データ列に含まれる蓄積サイズの情報と符号化された画像データ列のビットレートとに基づいて、デコード時刻を算出することを特徴とする請求項13に記載の画像再生装置の制御方法。
  18. 前記符号化された画像データ列に含まれる蓄積サイズの情報はvbv_buffer_sizeであることを特徴とする請求項17に記載の画像再生装置の制御方法。
  19. フレーム間符号化手法を用いて符号化された画像データ列を再生する画像再生装置であって、符号化された画像データ列を一時的に蓄積するバッファ手段と、該バッファ手段の蓄積サイズを設定するバッファサイズ設定手段と、符号化された画像データ列を前記バッファ手段からデコーダに出力させるタイミングであるデコード時刻を算出するデコード時刻算出手段とを備える画像再生装置を制御する方法であって、
    前記バッファサイズ設定手段により、符号化された第1の画像データ列の要求する蓄積サイズを前記バッファ手段の蓄積サイズとして設定するバッファサイズ設定工程と、
    前記第1の画像データ列を前記バッファ手段に取り込み終わった直後に、符号化された第2の画像データ列の前記バッファ手段への取り込みを開始させるデータ取り込み工程と、
    前記第2の画像データ列の要求する蓄積サイズの値と先行する前記第1の画像データ列の要求する蓄積サイズの値との和の値を前記バッファ手段の蓄積サイズとして設定し直すバッファサイズ再設定工程と、
    前記デコード時刻算出手段により、前記第1の画像データ列の前記バッファ手段への取り込みが終了した時刻に基づいて、前記第2の画像データ列のデコード時刻を算出するデコード時刻算出工程と、
    を具備することを特徴とする画像再生装置の制御方法。
  20. 前記符号化された画像データ列は、MPEGのデータストリームであることを特徴とする請求項19に記載の画像再生装置の制御方法。
  21. 前記デコード時刻算出工程では、符号化された画像データ列に含まれるデータの遅延情報に基づいて、デコード時刻を算出することを特徴とする請求項19に記載の画像再生装置の制御方法。
  22. 前記符号化された画像データ列に含まれるデータの遅延情報はvbv_delayであることを特徴とする請求項21に記載の画像再生装置の制御方法。
  23. 前記デコード時刻算出工程では、符号化された画像データ列に含まれる蓄積サイズの情報と符号化された画像データ列のビットレートとに基づいて、デコード時刻を算出することを特徴とする請求項19に記載の画像再生装置の制御方法。
  24. 前記符号化された画像データ列に含まれる蓄積サイズの情報はvbv_buffer_sizeであることを特徴とする請求項23に記載の画像再生装置の制御方法。
  25. 請求項13乃至24のいずれか1項に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
  26. 請求項25に記載のプログラムをコンピュータ読取可能に記憶したことを特徴とする記憶媒体。
JP2004244126A 2004-08-24 2004-08-24 画像再生装置及びその制御方法 Expired - Fee Related JP4438059B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004244126A JP4438059B2 (ja) 2004-08-24 2004-08-24 画像再生装置及びその制御方法
US11/200,030 US7613819B2 (en) 2004-08-24 2005-08-10 Image reproduction apparatus, control method thereof, program and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004244126A JP4438059B2 (ja) 2004-08-24 2004-08-24 画像再生装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2006066995A true JP2006066995A (ja) 2006-03-09
JP2006066995A5 JP2006066995A5 (ja) 2007-10-04
JP4438059B2 JP4438059B2 (ja) 2010-03-24

Family

ID=35942314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004244126A Expired - Fee Related JP4438059B2 (ja) 2004-08-24 2004-08-24 画像再生装置及びその制御方法

Country Status (2)

Country Link
US (1) US7613819B2 (ja)
JP (1) JP4438059B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328840A (ja) * 2006-06-06 2007-12-20 Sony Corp データ構造および記録媒体、オーサリング装置、オーサリング方法オーサリングプログラム、記録装置、記録方法および記録プログラム、検証装置、検証方法および検証プログラム、ならびに、記録媒体の製造装置および製造方法
WO2018211613A1 (ja) * 2017-05-17 2018-11-22 三菱電機株式会社 符号化映像再生装置および符号化映像再生方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1501309A4 (en) * 2002-04-26 2010-11-03 Sony Corp CODING DEVICE AND METHOD, DECODING DEVICE AND METHOD, EDITING DEVICE AND METHOD, RECORDING MEDIUM AND PROGRAM
KR100929073B1 (ko) * 2005-10-14 2009-11-30 삼성전자주식회사 휴대 방송 시스템에서 다중 스트림 수신 장치 및 방법
JP5087985B2 (ja) * 2007-04-27 2012-12-05 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
JP5050158B2 (ja) * 2008-06-02 2012-10-17 株式会社メガチップス トランスコーダ
JP2011188244A (ja) * 2010-03-09 2011-09-22 Sharp Corp 映像コンテンツ再生装置、その制御方法、プログラム、及び記録媒体
KR20130121058A (ko) * 2012-04-26 2013-11-05 한국전자통신연구원 3dtv를 위한 영상 재생 장치 및 상기 장치가 수행하는 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0493888A (ja) * 1990-08-03 1992-03-26 Canon Inc 図形処理方法
MY120755A (en) * 1995-09-29 2005-11-30 Matsushita Electric Ind Co Ltd A method and an apparatus for interleaving bitstream to record thereof on a recording medium, and reproducing the interleaved bitstream therefrom
EP2101495B1 (en) * 1996-02-28 2012-12-26 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
DE69701436T2 (de) * 1996-05-09 2000-07-06 Matsushita Electric Ind Co Ltd Optische multimedia-scheibe, wiedergabevorrichtung und -verfahren zur überlagerung eines untergeordneten bildes auf ein hauptbild in einer ausgeglichenen weise, unabhängig von der schirmposition des hauptbildes
FR2748623B1 (fr) * 1996-05-09 1998-11-27 Thomson Multimedia Sa Encodeur a debit variable
US6219381B1 (en) * 1997-05-26 2001-04-17 Kabushiki Kaisha Toshiba Image processing apparatus and method for realizing trick play
KR100555164B1 (ko) * 1997-07-25 2006-03-03 소니 가부시끼 가이샤 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법, 스플라이싱 장치 및 스플라이싱 방법
JP4588127B2 (ja) * 1997-09-05 2010-11-24 ソニー株式会社 ディスク記録方法及びディスク記録装置
WO1999014756A2 (en) * 1997-09-17 1999-03-25 Matsushita Electric Industrial Co., Ltd. Video data editing apparatus and computer-readable recording medium storing an editing program
CN1280798C (zh) * 1997-09-17 2006-10-18 松下电器产业株式会社 光盘的重现设备和重现方法
ID29305A (id) * 1997-12-15 2001-08-16 Matsushita Electric Ind Co Ltd Piringan optik, aparatus perekaman, media penyimpanan komputer-yang-dapat-membaca yang menyimpan program perekaman, dan metoda perekaman
WO1999034543A1 (en) * 1997-12-31 1999-07-08 Sony Corporation Coded data output device and method
JP3642550B2 (ja) 1998-03-12 2005-04-27 株式会社日立国際電気 映像信号伝送方法及びその装置
KR20010015674A (ko) * 1998-07-30 2001-02-26 마츠시타 덴끼 산교 가부시키가이샤 동화상 합성장치
US6542549B1 (en) * 1998-10-13 2003-04-01 Matsushita Electric Industrial Co., Ltd. Method and model for regulating the computational and memory requirements of a compressed bitstream in a video decoder
US6480539B1 (en) * 1999-09-10 2002-11-12 Thomson Licensing S.A. Video encoding method and apparatus
CN1253885C (zh) * 1999-09-30 2006-04-26 松下电器产业株式会社 包括系统控制器并用于记录和再现信息的装置及方法
US20020114388A1 (en) * 2000-04-14 2002-08-22 Mamoru Ueda Decoder and decoding method, recorded medium, and program
JP2002158968A (ja) 2000-11-22 2002-05-31 Matsushita Electric Ind Co Ltd 映像音声信号再生装置及び方法並びに映像音声信号記録再生装置及び方法
US7266148B2 (en) * 2001-01-05 2007-09-04 Lg Electronics Inc. Video transcoding apparatus
US7483488B1 (en) * 2002-05-30 2009-01-27 Intervideo, Inc. Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model
US7197072B1 (en) * 2002-05-30 2007-03-27 Intervideo, Inc. Systems and methods for resetting rate control state variables upon the detection of a scene change within a group of pictures

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328840A (ja) * 2006-06-06 2007-12-20 Sony Corp データ構造および記録媒体、オーサリング装置、オーサリング方法オーサリングプログラム、記録装置、記録方法および記録プログラム、検証装置、検証方法および検証プログラム、ならびに、記録媒体の製造装置および製造方法
US8849094B2 (en) 2006-06-06 2014-09-30 Sony Corporation Data structure, recording medium, authoring apparatus, method, and program, recording apparatus, method, and program, verification apparatus, method, and program, and manufacturing, apparatus and method for recording medium
WO2018211613A1 (ja) * 2017-05-17 2018-11-22 三菱電機株式会社 符号化映像再生装置および符号化映像再生方法

Also Published As

Publication number Publication date
JP4438059B2 (ja) 2010-03-24
US7613819B2 (en) 2009-11-03
US20060044163A1 (en) 2006-03-02

Similar Documents

Publication Publication Date Title
JPH08214260A (ja) 符号化データの特殊再生方法および特殊再生装置
US7613819B2 (en) Image reproduction apparatus, control method thereof, program and storage medium
US20100254682A1 (en) Image coder, video camera, integrated circuit, and image coding method
EP1701545B1 (en) Image reproducing device, method, and program
JP2009004897A (ja) 動画像符号化装置
US6978082B1 (en) AV decoder control method and AV decoder control apparatus
JP2004173069A (ja) 画像データ記録装置及び記録方法
JP5046907B2 (ja) 記録装置、その制御方法、プログラム
US8442376B2 (en) Image data recording/playback device, system, and method
JP2003324690A (ja) 映像記録再生装置
JP3073948B2 (ja) ディジタル動画像復号化装置、及びディジタル動画像復号化方法
US8385727B2 (en) Recording apparatus, recording method, program and storage medium
US7532803B2 (en) Reproducing apparatus
JP3888204B2 (ja) 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム
JP2009105477A (ja) 再生装置及び再生方法
JP3897783B2 (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2004048206A (ja) 映像再生方法および映像再生装置
JP2006134271A (ja) 再生装置
JP2009171380A (ja) 再生装置及び方法
US8149679B2 (en) Recording/reproducing device and method, recording medium, and program
JP2005260440A (ja) 画像音声記録再生装置
JP2001320653A (ja) 画像復号装置及び画像復号方法
JP2006074625A (ja) ディジタルデータ記録装置、及びディジタルデータ記録方法
JP2001078151A (ja) ディジタル復号化方法
JP2009081744A (ja) 映像素材再生装置と映像素材再生方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070821

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070821

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091226

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140115

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees