JP2004312419A

JP2004312419A - 符号化復号化方法、符号化装置及び復号化装置

Info

Publication number: JP2004312419A
Application number: JP2003103794A
Authority: JP
Inventors: Hiroshi Mori; 弘史森
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-04-08
Filing date: 2003-04-08
Publication date: 2004-11-04

Abstract

【課題】番組の変化を短時間で確認することができる符号化復号化方法、符号化装置及び復号化装置を提供する。
【解決手段】番組の変化時であるかを判断し（ステップ１９ｄ）、変化時には、高い頻度で付加されるように判断して（ステップ１９ｅ）、ＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）を符号化されたフレームに付加する（ステップ１９ｆ）ことにより、復号化にあたり、短時間で番組が変化したことを確認し、適切な時刻に変化後の番組を再生する。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
本発明は、番組を符号化及び復号化する符号化復号化方法、符号化装置及び復号化装置に係り、特に、番組変化時の処理に関する。
【０００２】
【従来の技術】
動画像と音声の時系列情報からなるマルチメディア番組を、ＭＰＥＧ方式などによって符号化して伝送し、復号再生するマルチメディア情報処理システムにおいては、動画像と音声は、フレームと呼ばれる単位毎に符号化され、そのフレームに再生する時刻（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ、以後、ＰＴＳと称する。）が付加されて符号化装置から復号化装置に伝送される。動画像に対するフレームは、時間的に連続する静止画であり、音声に対するフレームは、一定時間間隔に分割した音声である。
【０００３】
そして、符号化された動画像と音声とを同期をとって再生するには、符号化されたフレームを復号して得られたフレームと、符号化されたフレームに付加されたＰＴＳとを共にメモリに記憶する。そして、復号化装置の基準同期信号（ＳｙｓｔｅｍＴｉｍｅＣｌｏｃｋ、以後、ＳＴＣと称する。）が示す時刻が、上記ＰＴＳの時刻に一致した時点で、上記メモリに記憶された復号されたフレームを再生する。
【０００４】
ここで、ＳＴＣは、符号化されたマルチメディア番組に付加される番組時刻基準参照値（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ、以後、ＰＣＲと称する。）の時刻を示すように常に校正されている。
【０００５】
ここで、１つの番組の中では、伝送されるＰＣＲは、実時間の経過に従って経過した実時間に相当して値が増加するので、連続的な変化をする。しかし、ある番組の中で伝送されるＰＣＲは、他の番組の中で伝送されるＰＣＲとは無関係である。そこで、伝送される番組が異なるものに変化した際には、伝送されるＰＣＲは不連続な変化をする。
【０００６】
一方、例えば、移動通信端末装置を用いて構成される、符号化されたマルチメディア情報を実時間に伝送及び再生するシステムでは、符号化された情報の伝送中にＰＣＲに誤りが混入し、その誤りが伝送装置によって訂正されないまま復号再生装置に入力されることがある。
【０００７】
なぜなら、移動通信端末装置を用いて構成される、符号化されたマルチメディア情報を実時間に伝送及び再生するシステムでは、伝送ビットレートが低いため、デジタルテレビ放送システムで用いられている強固な誤り訂正用の冗長ビットを付加することができないことや、また、再送を行わないＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）プロトコルを用いているため、インターネットで用いられているＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）プロトコルの再送機能を用いることもできないためである。
【０００８】
このため、移動通信端末装置を用いた、符号化されたマルチメディア情報を実時間に伝送及び再生するシステム向けの動画像の復号再生装置では、受信したＰＣＲが不連続な変化を示した際には、その不連続な変化が番組の変化によるものか、伝送中の誤りによるものかを直ちに判断することができない。そこで、上記不連続な変化が番組の変化によるものと確認するまでは、ＳＴＣを参照せずに、処理能力に応じた再生が行われている（例えば、特許文献１参照。）。
【０００９】
【特許文献１】
特開２００２−２９０９１０号公報（第２頁、図１）
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、番組の変化によってＰＣＲが不連続な変化をした場合に、番組が変化したと確認するまでは、適切な時刻に情報の再生を行うことができない問題点があった。
【００１１】
本発明は、上記問題点を解決するためになされたもので、番組の変化を短時間で確認することができる符号化復号化方法、符号化装置及び復号化装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明の符号化復号化方法は、時系列の情報を符号化し、その符号化された時系列の情報に、その情報を再生する時刻及び時刻参照基準情報を付加してストリームデータを作成し、且つ、前記時系列の情報に不連続性が発生した場合には不連続性が発生しない場合に比較して前記時刻参照基準情報を高い頻度で付加して前記ストリームデータを作成し、その作成された前記ストリームデータを伝送手段を用いて伝送し、その伝送された前記ストリームデータを受信して前記符号化された情報と前記再生する時刻と前記時刻参照基準情報とに分離し、分離された前記時刻参照基準情報に従って再生時刻計時手段の時刻を校正し、分離された前記符号化された情報を復号して復号情報を生成し、前記再生時刻計時手段の校正された時刻が分離された前記再生する時刻になった時に前記復号情報を再生信号として出力することを特徴とする。
【００１３】
本発明によれば、番組の変化時に高い頻度で付加される時刻参照基準情報を用いることにより、短時間で番組が変化したことを確認し、適切な時刻に変化後の番組を再生することができる。
【００１４】
【発明の実施の形態】
以下に、本発明による符号化復号化方法の実施の形態を、図面を参照して説明する。図１は、本発明の実施の形態に係る符号化復号化方法が適用され、また、符号化装置及び復号化装置を内蔵する移動通信端末装置の構成を示すブロック図である。
【００１５】
この移動通信端末装置は、装置全体の制御を行う制御装置１と、アンテナ２ａと、通信装置２ｂと、送受信装置３と、利用者からの操作指示を入力する入力装置４と、動画像及び音声からなるマルチメディア番組の符号化及び復号再生を行う符号化復号化装置５と、カメラ６ａと、マイク６ｂと、表示装置６ｃと、スピーカ６ｄとにより構成される。
【００１６】
通信装置２ｂは、アンテナ２ａが受信した高周波信号を送受信装置３へ出力し、また、送受信装置３から出力される高周波信号をアンテナ２ａより送信する。
【００１７】
また、送受信装置３は、通信装置２ｂからの高周波信号を増幅、周波数変換及び復調し、それによって得た符号化されたマルチメディア番組信号を符号化復号化装置５に送り、また、制御信号を制御装置１に送る。送受信装置３は、更に、符号化復号化装置５から出力される符号化されたマルチメディア番組信号、及び、制御装置１から出力される制御信号を変調、周波数変換及び増幅し、高周波信号を得てそれを通信装置２ｂに送る。
【００１８】
図２は、符号化復号化装置５の構成を示すブロック図である。符号化復号化装置５は、カメラ６ａと接続される動画像符号化部１２と、ＰＥＳ（画像）作成部１３と、ＰＥＳ（画像）バッファ１４ａ、１４ｂと、符号化ＳＴＣ部１５ａ、１５ｂと、マイク６ｂと接続される音声符号化部１６と、ＰＥＳ（音声）作成部１７と、ＰＥＳ（音声）バッファ１８ａ、１８ｂと、多重分離部１９と、動画像復号化部２１と、音声復号化部２２と、再生時刻管理部２３と、画像バッファ２４と、表示装置６ｃと接続される画像再生制御部２５と、音声バッファ２６と、スピーカ６ｄと接続される音声再生制御部２７と、再生ＳＴＣ部２８とにより構成される。
【００１９】
上記のように構成された、本発明の実施形態に係る移動通信端末装置の動作を、符号化の動作から説明する。
【００２０】
符号化の動作は、制御装置１から、第１の番組の符号化であるか、または、第２の番組の符号化であるかを指定して起動されることにより動作を開始する。制御装置１は、第１の番組の符号化であるとの指定をして符号化をさせる場合には符号化ＳＴＣ部１５ａを所定の時刻を示すように事前に校正し、また、第２の番組の符号化であるとの指定をして符号化をさせる場合には符号化ＳＴＣ部１５ｂを所定の時刻を示すように事前に校正する。
【００２１】
そして、第１の番組の符号化の場合には、ＰＥＳ（画像）バッファ１４ａ、符号化ＳＴＣ部１５ａ、及び、ＰＥＳ（音声）バッファ１８ａとが用いられる。一方、第２の番組の符号化の場合には、ＰＥＳ（画像）バッファ１４ｂ、符号化ＳＴＣ部１５ｂ、及び、ＰＥＳ（音声）バッファ１８ｂとが用いられる。以後の説明は、第１の番組の符号化の場合と仮定して行う。
【００２２】
次に、動画像の符号化の動作の説明を、動画像符号化部１２の動作から説明する。動画像符号化部１２は、まず、カメラ６ａから出力される動画像信号から画像フレーム信号、即ち、時間的に連続する静止画を作成する。
【００２３】
続いて動画像符号化部１２は、得られた画像フレーム信号毎に、画像フレーム信号を離散コサイン変換し、得られた離散コサイン変換係数を量子化して符号化する。更に、得られた符号化された画像フレーム信号内のフレームヘッダ情報にそれを再生する時刻Ｂ＿ＴＳを付加して、その符号化された画像フレーム信号をＰＥＳ（画像）作成部１３に送る。ここで、時刻Ｂ＿ＴＳは、動画像独自に定義されたものである。
【００２４】
次に、ＰＥＳ（画像）作成部１３の動作を説明する。ＰＥＳ（画像）作成部１３は、動画像符号化部１２から出力される符号化された画像フレーム信号からＰＥＳ（ＰａｃｋｅｔｉｚｅｄＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）パケットを作成し、そのパケットをＰＥＳ（画像）バッファ１４ａに格納する装置である。
【００２５】
即ち、ＰＥＳ（画像）作成部１３は、動画像符号化部１２から出力される符号化された画像フレーム信号に、その画像フレーム信号を再生する時刻であるＰＴＳを付加してＰＥＳパケットを作成し、そのパケットをＰＥＳ（画像）バッファ１４ａに格納する。
【００２６】
ここで、時刻ＰＴＳは、符号化ＳＴＣ部１５ａが示す値に所定の値を加えた値を用いる。所定の値とは、作成しているＰＥＳパケット（画像）が伝送され、その中の符号化された画像フレーム信号が復号され、再生されるまでに見込まれる所用時間である。
【００２７】
図３（ａ）は、第１の符号化された画像フレーム信号３１ａから第ｍの符号化された画像フレーム信号３１ｂまでが、第１のＰＥＳパケット（画像）３１ｃから第ｍのＰＥＳパケット（画像）３１ｄまでを構成している状況を示す。
【００２８】
ここで、全ての符号化された画像フレーム信号内のフレームヘッダ情報には時刻Ｂ＿ＴＳが付加されている。即ち、第１の符号化された画像フレーム信号３１ａには時刻Ｂ＿ＴＳ（３１ｅ）が付加され、以降同様にして、第ｍの符号化された画像フレーム信号３１ｂには時刻Ｂ＿ＴＳ（３１ｆ）が付加されている。
【００２９】
また、全てのＰＥＳパケット（画像）のヘッダには時刻ＰＴＳが付加されている。即ち、第１のＰＥＳパケット（画像）３１ｃには時刻ＰＴＳ（３１ｇ）が、以降同様にして、第ｍのＰＥＳパケット（画像）３１ｄには時刻ＰＴＳ（３１ｈ）が付加されている。
【００３０】
次に、音声の符号化の動作の説明を、音声符号化部１６の動作から説明する。音声符号化部１６は、まず、マイク６ｂから出力される音声信号から音声フレーム信号、即ち、一定時間間隔に分割した音声信号を作成する。
【００３１】
音声符号化部１６は、続いて、得られた音声フレーム信号毎に、それをＡＡＣ（ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ）方式によって時間周波数変換する。続いて、得られたＭＤＣＴ（ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）係数を量子化して符号化する。更に、得られた符号化された音声フレーム信号をＰＥＳ（音声）作成部１７に送る。
【００３２】
次に、ＰＥＳ（音声）作成部１７の動作を説明する。ＰＥＳ（音声）作成部１７は、音声符号化部１６から出力される符号化された音声フレーム信号からＰＥＳパケットを作成し、そのパケットをＰＥＳ（音声）バッファ１８ａに格納する装置である。
【００３３】
即ち、ＰＥＳ（音声）作成部１７は、音声符号化部１６から出力される符号化された音声フレーム信号を複数個まとめ、先頭の符号化された音声フレーム信号に、その音声フレーム信号を再生する時刻であるＰＴＳを付加してＰＥＳパケットを作成し、そのパケットをＰＥＳ（音声）バッファ１８ａに格納する。なお、先頭以外の符号化された音声フレーム信号にも時刻ＰＴＳを付加しても良い。
【００３４】
ここで、時刻ＰＴＳは、ＰＥＳ（画像）作成部１３の動作の説明で述べたのと同様に、符号化ＳＴＣ部１５ａが示す値に所定の値を加えた値を用いる。
【００３５】
図３（ｂ）は、第１の符号化された音声フレーム信号３２ａから第ｎの符号化された音声フレーム信号３２ｂまでが１つのＰＥＳパケット（音声）を構成している状況を示す。ここで、第１の符号化された音声フレーム信号３２ａには時刻ＰＴＳ（３２ｃ）が付加されている。
【００３６】
次に、多重分離部１９のＰＥＳパケット多重化の動作を説明する。多重分離部１９は、ＰＥＳ（画像）バッファ１４ａから読み出したＰＥＳパケット（画像）、及び、ＰＥＳ（音声）バッファ１８ａから読み出したＰＥＳパケット（音声）を、パケット毎に固定長のＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）パケットに分割して送受信装置３に送る。連続したＴＳパケットが、符号化された情報からなるストリームデータをなす。
【００３７】
図４は、この多重分離部１９のＰＥＳパケットの多重化の動作のフローチャートを示す。多重分離部１９のＰＥＳパケットの多重化は、制御装置１の指示により動作を開始し（ステップ１９ａ）、まず、ＰＥＳ（画像）バッファ１４ａ又はＰＥＳ（音声）バッファ１８ａからＰＥＳパケットを読み出す（ステップ１９ｂ）。
【００３８】
続いて、読み出したＰＥＳパケット全ての送信が終了したかを調べる（ステップ１９ｃ）。終了していなければ、続いて、多重分離部１９が制御装置１の指示により動作を開始してからの時間（ｘ）を調べ（ステップ１９ｄ）、その時間（ｘ）が所定の開始後時間（ａ）以内であれば（ｘ≦ａ）、続いて、前回ＰＣＲを送信した時刻からの経過時間（ｙ）を調べる（ステップ１９ｅ）。
【００３９】
前回ＰＣＲを送信した時刻からの経過時間（ｙ）が第１の所定経過時間（ｂ１）より長ければ（ｙ≧ｂ１）、多重分離部１９は、まだ送信していないＰＥＳパケットを分割し、符号化ＳＴＣ部１５ａが示す時刻をＰＣＲとしてＴＳパケット内のヘッダー情報に付加して固定長のＴＳパケットを作成し（ステップ１９ｆ）、作成したＴＳパケットを送受信装置３に送信して（ステップ１９ｇ）、ステップ１９ｃへ戻って、処理を繰返す。
【００４０】
ステップ１９ｅで、前回ＰＣＲを送信した時刻からの経過時間（ｙ）が第１の所定経過時間（ｂ１）より短かれば（ｙ＜ｂ１）、まだ送信していないＰＥＳパケットを分割し、ＰＣＲを付加せずに固定長のＴＳパケットを作成し（ステップ１９ｈ）、作成したＳＴパケットを送受信装置３に送信して（ステップ１９ｇ）、ステップ１９ｃへ戻って、処理を繰返す。
【００４１】
なお、多重分離部１９の動作開始直後で、まだＰＣＲを送信していない場合には、前回ＰＣＲを送信した時刻からの経過時間（ｙ）が第１の所定経過時間（ｂ１）より長い（ｙ≧ｂ１）とみなして、多重分離部１９は、ステップ１９ｆの動作に進む。
【００４２】
ステップ１９ｄで、多重分離部１９が制御装置１の指示により動作を開始してからの時間（ｘ）が所定の開始後時間（ａ）を越えていれば（ｘ＞ａ）、多重分離部１９は、前回ＰＣＲを送信した時刻からの経過時間（ｙ）を調べる（ステップ１９ｉ）。
【００４３】
前回ＰＣＲを送信した時刻からの経過時間（ｙ）が第２の所定経過時間（ｂ２）より長ければ（ｙ≧ｂ２）、既に説明したステップ１９ｆ以下の処理を行って、ＰＣＲが付加されたＴＳパケットを作成し、そのパケットを送信する。前回ＰＣＲを送信した時刻からの経過時間（ｙ）が第２の所定経過時間（ｂ２）より短ければ（ｙ＜ｂ２）、既に説明したステップ１９ｈ以下の処理を行って、ＰＣＲが付加されないＴＳパケットを作成し、そのパケットを送信する。
【００４４】
ステップ１９ｃで、読み出したＰＥＳパケット全ての送信が終了していれば、多重分離部１９は、ステップ１９ｂへ戻ってＰＥＳパケットの読み出しを行う。
【００４５】
図３（ｃ）は、１つのＰＥＳパケットが第１のＴＳパケット３３ａから第ｐのＴＳパケット３３ｂまでに分割され、一部のＴＳパケット内にＰＣＲが付加された状況を示す。即ち、第１のＴＳパケット３３ａ内にはＰＣＲ（３３ｃ）が付加されている。
【００４６】
ここで、第２の所定経過時間（ｂ２）は１００ｍｓに満たない時間、例えば、７０ｍｓとする。一方、第１の所定経過時間（ｂ１）は、例えば、第１の所定経過時間（ｂ１）の１割の値とする。また、所定の開始後経過時間（ａ）は、例えば、第１の所定経過時間（ｂ１）の５割の値とする。
【００４７】
上記のように所定時間が設定されると、番組開始直後の３５ｍｓの間は約７ｍｓに１回の高い頻度で、ＰＣＲが送受信装置３経由で復号化装置に送信される。また、番組の開始から３５ｍｓが経過した後では約７０ｍｓに１回の頻度で、ＰＣＲが送受信装置３経由で復号化装置に送信される。
【００４８】
これらの所定数は、上記の値に限るものではない。また、これらの所定数は、符号化装置から復号化装置への情報の伝送路の品質によって変化させても良い。例えば、その伝送路が衛星を経由した無線回線であって、天候が雪や雨や曇りの場合には、その伝送路の伝送品質が悪化するので、所定の開始後経過時間（ａ）を大きく設定することにより、高い頻度でＰＣＲが送られる時間を長くし、伝送エラー耐性を強化しても良い。
【００４９】
次に、符号化復号化装置５の復号化の動作を、まず、多重分離部１９の分離の動作から説明する。多重分離部１９は、送受信装置３から出力される符号化されたマルチメディア番組信号を、符号化された画像フレーム信号と、符号化された音声フレーム信号と、ＰＣＲとに分離する。そして、符号化された画像フレーム信号を動画像復号化部２１に送り、符号化された音声フレーム信号を音声復号化部２２に送り、ＰＣＲを再生時刻管理部２３に送る。
【００５０】
即ち、送受信装置３から出力されるマルチメディア番組信号は、図３（ｃ）の構造を持つ複数のＴＳパケットからなり、一部のＴＳパケット内にＰＣＲ３３ｃ、…が付加された信号を受信し、この内、ＰＣＲ３３ｃ、…を分離して、再生時刻管理部２３に送る。
【００５１】
また、多重分離部１９は、ＰＣＲを分離したＴＳパケットをＰＥＳパケットに統合し、そのＰＥＳパケットが図３（ａ）に示す符号化された画像フレーム信号からなるパケットであれば、それに含まれる時刻ＰＴＳ及びＢ＿ＴＳを含む符号化された画像フレーム信号を動画像復号化部２１に送る。
【００５２】
また、そのＰＥＳパケットが図３（ｂ）に示す符号化された音声フレーム信号からなるパケットであれば、それに含まれる時刻ＰＴＳ及び符号化された音声フレーム信号を音声復号化部２２に送る。
【００５３】
次に、動画像復号化部２１の動作を説明する。動画像復号化部２１は、多重分離部１９から出力される符号化された画像フレーム信号を受信し、受信した画像フレーム信号を復号する。即ち、符号化された画像フレーム信号を復号し、復号された信号を逆量子化して、逆離散コサイン変換することによって復号された画像フレーム信号、即ち、静止画を得る。
【００５４】
動画像復号化部２１は、続いて、得られた復号された画像フレーム信号に再生する時刻ＰＴＳを付加する。即ち、まず、受信した符号化された画像フレーム信号に時刻ＰＴＳが付加されているか否かを調べ、付加されていれば、付加されていた時刻ＰＴＳと復号された画像フレーム信号を共に画像バッファ２４に格納する。
【００５５】
受信した符号化された画像フレーム信号に時刻ＰＴＳが付加されていない場合には、動画像復号化部２１は、受信した符号化された画像フレーム信号に対応する時刻ＰＴＳを推定し、推定した時刻ＰＴＳと復号された画像フレーム信号を共に画像バッファ２４に格納する。
【００５６】
ここで、受信した符号化された画像フレーム信号に対する時刻ＰＴＳの推定値は、その画像フレーム信号に付加された時刻Ｂ＿ＴＳと、時刻ＰＴＳが付加されていた符号化された画像フレーム信号に付加されていて、動画像復号化部２１が記憶している時刻Ｂ＿ＴＳとの差を求め、その差を動画像復号化部２１が記憶している過去の時刻ＰＴＳに加えることによって得る。
【００５７】
次に、画像再生制御部２５の動作を説明する。画像再生制御部２５は、再生ＳＴＣ部２８が示す時刻を読込み、読込んだ時刻と同一の時刻ＰＴＳが画像バッファ２４に記憶されているかを検索する。記憶されていれば、その時刻ＰＴＳと共に画像バッファ２４に記憶されている復号された画像フレーム信号、即ち、静止画を読み出し表示装置６ｃに表示する。
【００５８】
次に、音声復号化部２２の動作を説明する。音声復号化部２２は、まず、多重分離部１９から出力される符号化された音声フレーム信号を受信する。その際、それに付加された時刻ＰＴＳも同時に受信する。続いて、受信した符号化された音声フレーム信号を復号し、復号された信号を逆量子化して、逆時間周波数変換することによって、復号された音声フレーム信号、即ち、一定時間幅の音声信号を得る。
【００５９】
音声復号化部２２は、続いて、動画像復号化部２１と同様に、復号された音声フレーム信号に再生する時刻ＰＴＳを付加する。もし、受信した符号化された音声フレーム信号に時刻ＰＴＳが付加されていれば、その時刻ＰＴＳと復号された音声フレーム信号を共に音声バッファ２６に格納する。
【００６０】
その音声フレーム信号に時刻ＰＴＳが付加されていなければ、過去の符号化された音声フレーム信号に付加されていて、音声復号化部２２が記憶している時刻ＰＴＳに、所定の推定値を加えて時刻ＰＴＳを求める。即ち、その過去の符号化された音声フレーム（フレーム１）から現在受信した符号化された音声フレーム（フレームｍ）間のフレーム数ｋ（ｋ＝ｍ−１）を求め、このフレーム数ｋに１つの音声フレームが含む音声の時間幅ｔを乗算した数（ｋ×ｔ）を加えることによって推定値を算出する。こうして求めた時刻ＰＴＳと復号された音声フレーム信号を共に音声バッファ２６に格納する。
【００６１】
次に、音声再生制御部２７の動作を説明する。音声再生制御部２７は、再生ＳＴＣ部２８が示す時刻を読込み、読込んだ時刻と同一の時刻ＰＴＳが音声バッファ２６に記憶されているかを検索する。記憶されていれば、その時刻ＰＴＳと共に音声バッファ２６に記憶されている復号された音声フレーム信号、即ち、一定時間幅の音声信号をスピーカ６ｄに送って発音する。
【００６２】
次に、再生時刻管理部２３の動作を説明する。再生時刻管理部２３は、多重分離部１９から出力されるＰＣＲを受信し、それが示す時刻を再生ＳＴＣ部２８が示すように、再生ＳＴＣ部２８を校正する装置である。
【００６３】
図５は、再生時刻管理部２３の動作のフローチャートを示す。再生時刻管理部２３は、制御装置１の指示により動作を開始し（ステップ２３ａ）、多重分離部１９から出力されるＰＣＲを受信する（ステップ２３ｂ）。そして、ＰＣＲを受信した時の時刻をクロック（図示せず）から得て、受信したＰＣＲと共に、再生時刻管理部２３内に記憶する。
【００６４】
続いて、再生時刻管理部２３は、受信したＰＣＲを、再生ＳＴＣ部２８が示す時刻を用いて評価し、または、再生時刻管理部２３内に記憶されている過去に受信したＰＣＲと、それらを受信した時の時刻とを用いて評価し、「受信したＰＣＲは正常であり、同じ番組が続いている」、「受信したＰＣＲは異常であるか、番組の変化である」、「受信したＰＣＲは正常であり、番組の変化があった」のいずれであるかを判断する（ステップ２３ｃ）。
【００６５】
図６は、ＰＣＲの値を縦軸に、そのＰＣＲを受信した時の時刻ｔを横軸にとることによって、再生時刻管理部２３が受信したＰＣＲを点として示した図であり、この図を参照して、ステップ２３ｃの評価の方法を説明する。なお、この図で、ＰＣＲ１〜ＰＣＲ５が変化前の番組のＰＣＲであり、ＰＣＲ６〜ＰＣＲ１０が変化後の番組のＰＣＲである。
【００６６】
まず、図６に示した記号を説明する。ＰＣＲ１を受信した時刻をｔ１、ＰＣＲ１の値をｐ１と表記する。以下、同様に、ｉを自然数として、ＰＣＲｉを受信した時刻をｔｉ、ＰＣＲｉの値をｐｉと表記する。ここで、ｉが大きくなるとｔｉは大きくなる。即ち、ｉ＜ｊならｔｉ＜ｔｊである。
【００６７】
さて、ＰＣＲ３を受信した時に、その値ｐ３がＰＣＲ３を受信した時点で再生ＳＴＣ部２８が示す時刻に等しければ、ＰＣＲは、前回再生ＳＴＣ部２８が校正されてから実時間の経過分の増加をしているので、「受信したＰＣＲは正常であり、同じ番組が続いている」と判断する。
【００６８】
または、ＰＣＲ３の値ｐ３を直前に受信したＰＣＲ２についての情報を用いて、両者を受信した時刻の差（ｔ３−ｔ２）と、両者の値の差（ｐ３−ｐ２）を計算し、これらの差が等しければ、同様に、「受信したＰＣＲは正常であり、同じ番組が続いている」と判断する。
【００６９】
この時、ＰＣＲ２の直前に受信したＰＣＲ１についての情報を用いて、ＰＣＲ３とＰＣＲ１を受信した時刻の差（ｔ３−ｔ１）と、両者の値の差（ｐ３−ｐ１）を計算し、これらの差が等しいことも調べることによって、「受信したＰＣＲは正常であり、同じ番組が続いている」と判断しても良い。
【００７０】
次に、ＰＣＲ３の直後にＰＣＲ４を受信し、その値ｐ４がＰＣＲ４を受信した時点で再生ＳＴＣ部２８が示す時刻に等しくなく、または、ＰＣＲ３とＰＣＲ４を受信した時刻の差（ｔ４−ｔ３）と両者の値の差（ｐ４−ｐ３）が異なっていれば、「受信したＰＣＲは異常であるか、番組の変化である」と判断する。
【００７１】
次に、ＰＣＲ４の直後にＰＣＲ５を受信し、その値ｐ５がＰＣＲ５を受信した時点で再生ＳＴＣ部２８が示す時刻に等しければ、「受信したＰＣＲは正常であり、同じ番組が続いている」と判断する。ここで、後述するように、再生ＳＴＣ部２８は、「受信したＰＣＲは異常であるか、番組の変化である」と判断されたＰＣＲ４によって校正されていない。
【００７２】
または、ＰＣＲ４とＰＣＲ５を受信した時刻の差（ｔ５−ｔ４）と両者の値の差（ｐ５−ｐ４）が異なっているが、ＰＣＲ４の直前に受信したＰＣＲ３についての情報を用い、ＰＣＲ５とＰＣＲ３を受信した時刻の差（ｔ５−ｔ３）と両者の値の差（ｐ５−ｐ３）が等しければ、ｐ４が異常であり、ＰＣＲ５については、「受信したＰＣＲは正常であり、同じ番組が続いている」と判断する。
【００７３】
更に、ＰＣＲ５の直後にＰＣＲ６を受信し、その値ｐ６がＰＣＲ６を受信した時点で再生ＳＴＣ部２８が示す時刻に等しくなく、または、ＰＣＲ５とＰＣＲ６を受信した時刻の差（ｔ６−ｔ５）と両者の値の差（ｐ６−ｐ５）が異なっていれば、ＰＣＲ４と同様に、「受信したＰＣＲは異常であるか、番組の変化である」と判断する。
【００７４】
ＰＣＲ６の直後にＰＣＲ７を受信し、それらを受信した時刻の差（ｔ７−ｔ６）と両者の値の差（ｐ７−ｐ６）が等しければ、ＰＣＲ６から番組の変化があり、ＰＣＲ７については、「受信したＰＣＲは正常であり、番組の変化があった」と判断する。
【００７５】
この際、更にＰＣＲ７の直後にＰＣＲ８を受信し、両者を受信した時刻の差（ｔ８−ｔ７）と両ＰＣＲの値の差（ｐ８−ｐ７）が等しいことも調べた後に、「受信したＰＣＲは正常であり、番組の変化があった」と判断しても良い。ここで、ＰＣＲ６に続いて、ＰＣＲ７やＰＣＲ８を短い間隔で受信することによって、短時間で「受信したＰＣＲは正常であり、番組の変化があった」と判断することができる。
【００７６】
ステップ２３ｃで、上記に説明したように、受信したＰＣＲの評価を行い、「受信したＰＣＲは正常であり、同じ番組が続いている」と判断した場合には、受信したＰＣＲの値で再生ＳＴＣ部２８を校正し（ステップ２３ｄ）、ステップ２３ｂへ戻って次のＰＣＲの処理を行う。
【００７７】
また、「受信したＰＣＲは異常であるか、番組の変化である」と判断した場合には、受信したＰＣＲの値で再生ＳＴＣ部２８を校正せずに、ステップ２３ｂへ戻って次のＰＣＲの処理を行う。
【００７８】
更に、「受信したＰＣＲは正常であり、番組の変化があった」と判断した場合には、受信した変化後の番組のＰＣＲの値で再生ＳＴＣ部２８を校正し（ステップ２３ｅ）、ステップ２３ｂへ戻って次のＰＣＲの処理を行う。
【００７９】
図６を参照して説明した通り、番組の変化後には、再生時刻管理部２３は、高頻度でＰＣＲを受信するので、ＰＣＲを受信したが、そのＰＣＲの値で再生ＳＴＣ部２８を校正していない時間は短時間である。即ち、短時間のうちに、再生ＳＴＣ部２８は、新しい番組のフレーム信号の時刻ＰＴＳに対応したＰＣＲに従って校正を受けることになり、その結果、新しい番組が適切な時刻に再生される。
【００８０】
なお、ステップ２３ｅの新しい番組のＰＣＲで再生ＳＴＣ部２８を校正した時点で、画像バッファ２４と音声バッファ２６に記憶されている変化前の番組のフレーム信号は、再生されない可能性がある。これらのフレーム信号は、破棄しても良く、また、再生ＳＴＣ部２８が示す時刻を参照せずに、引き続いて再生しても良い。
【００８１】
ここで、変化前の番組のフレーム信号であるか否かは、フレーム信号と共に記憶されている時刻ＰＴＳが番組変化前のＰＣＲに近い値であるか、番組変化後のＰＣＲに近い値であるかを調べ、番組変化前のＰＣＲに近い値であれば、変化前の番組のフレーム信号であると判断する。
【００８２】
本実施形態では、第１の番組と第２の番組の２種の番組があるとしたが、３種以上の番組があっても良い。また、第１の番組から第２の番組に変化するだけでなく、第１の番組の間に、それを中断して第２の番組が用いられても良い。
【００８３】
また、第１の番組と第２の番組のいずれもが、カメラ６ａによって入力され動画像符号化部１２で符号化された情報、及び、マイク６ｂによって入力され音声符号化部１６で符号化された情報であるとしたが、例えば、第２の番組は、符号化信号記憶装置（図示せず）に記憶された情報であり、ＰＥＳ（画像）作成部１３、及び、ＰＥＳ（音声）作成部１７が符号化信号記憶装置から読み出すとしても良い。
【００８４】
また、動画像は、１つの動画像であるとしたが、動画像が複数の任意形状の動画像の集まりとして定義されていても良い。その場合には、上記各任意形状の動画像毎に行われる復号及び再生に本発明を適用できる。
【００８５】
更に、画像フレームの符号化は離散コサイン変換方式によるとしたが、これに限るものはなく、また、音声フレームの符号化はＡＡＣ方式によるとしたが、これに限るものではない。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。
【００８６】
また、以上の説明は、本発明を移動通信端末装置に適用した形態を例にとって行ったが、本発明は、放送システムの送信装置及び受信装置に適用することも当然に可能である。
【００８７】
【発明の効果】
以上述べたように、本発明によれば、番組の変化時に高い頻度で付加されるＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）を用いることにより、短時間で番組が変化したことを確認し、適切な時刻に変化後の番組を再生することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る移動通信端末装置を示すブロック図。
【図２】本発明の実施形態に係る符号化復号化装置を示すブロック図。
【図３】本発明の実施形態に係る符号化されたマルチメディア番組のデータ構造を示す図。
【図４】本発明の実施形態に係る多重分離部の多重化の動作を示すフローチャート。
【図５】本発明の実施形態に係る再生時刻管理部の動作を示すフローチャート。
【図６】番組の変化の際に出力されるＰＣＲの値の変化の概念図。
【符号の説明】
５符号化復号化装置
１２動画像符号化部
１３ＰＥＳ（画像）作成部
１５ａ、１５ｂ符号化ＳＴＣ部
１６音声符号化部
１７ＰＥＳ（音声）作成部
１９多重分離部
２１動画像復号化部
２２音声復号化部
２３再生時刻管理部
２５画像再生制御部
２７音声再生制御部
２８再生ＳＴＣ部

Claims

時系列の情報を符号化し、
その符号化された時系列の情報に、その情報を再生する時刻及び時刻参照基準情報を付加してストリームデータを作成し、且つ、前記時系列の情報に不連続性が発生した場合には不連続性が発生しない場合に比較して前記時刻参照基準情報を高い頻度で付加して前記ストリームデータを作成し、
その作成された前記ストリームデータを伝送手段を用いて伝送し、
その伝送された前記ストリームデータを受信して前記符号化された情報と前記再生する時刻と前記時刻参照基準情報とに分離し、
分離された前記時刻参照基準情報に従って再生時刻計時手段の時刻を校正し、
分離された前記符号化された情報を復号して復号情報を生成し、
前記再生時刻計時手段の校正された時刻が分離された前記再生する時刻になった時に前記復号情報を再生信号として出力する
ことを特徴とする符号化復号化方法。
前記時刻参照基準情報の高い頻度の付加は、前記伝送手段の伝送品質が悪い場合に前記伝送品質が良い場合に比較して長時間にわたって行うことを特徴とする請求項１に記載の符号化復号化方法。
前記再生時刻計時手段の時刻校正は、２個の分離された前記時刻参照基準情報の差と、その２個の前記時刻参照基準情報に従って校正しようとした時刻の差とを比較し、その２つの差が等しい場合に行うことを特徴とする請求項１に記載の符号化復号化方法。
受信したストリームデータを符号化された情報と再生する時刻と時刻参照基準情報とに分離し、前記時刻参照基準情報に従って再生時刻計時手段の時刻を校正し、前記符号化された情報を復号し、前記再生時刻計時手段の校正された時刻が前記再生する時刻になった時に前記復号された情報を再生信号として出力する復号化装置と伝送手段によって接続されている符号化装置であって、時系列の情報を符号化する手段と、
この符号化手段によって符号化された時系列の情報に、その情報を再生する時刻及び時刻参照基準情報を付加してストリームデータを作成する手段と、
この作成手段によって作成されたストリームデータを前記伝送手段に送信する手段とを具備し、
前記作成手段は、前記時系列の情報に不連続性が発生した場合に、不連続性が発生しない場合に比較して前記時刻参照基準情報を高い頻度で付加することを特徴とする符号化装置。
符号化装置からの符号化された時系列の情報にその情報を再生する時刻及び時刻参照基準情報が付加されて作成されたストリームデータを伝送手段を介して受信する復号化装置であって、
受信された前記ストリームデータを符号化された情報と再生する時刻と時刻参照基準情報とに分離する手段と、
前記分離手段によって分離された前記時刻参照基準情報に従って再生時刻計時手段を校正する手段と、
前記分離手段によって分離された符号化された情報を復号する手段と、
前記校正手段によって校正された前記再生時刻計時手段の時刻が前記分離手段によって分離された再生する時刻になった時に前記復号手段によって復号された情報を再生信号として出力する手段とを具備し、
前記校正手段は、２個の分離された前記時刻参照基準情報の差と、その２個の前記時刻参照基準情報を前記校正手段が受信した時刻の差とを比較し、その２つの差が等しい場合に前記再生時刻計時手段を校正することを特徴とする復号化装置。