JP2002359841A - 画像復号化方法及び画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 各フレームの画像復号化データＲｇを、その
フレーム表示周期が固定であるか否かに拘わらず正しい
表示タイミングでもって表示可能にする。 【解決手段】 画像復号化装置２０００において、送信
側からの多重ビットストリームＭ１に含まれている、表
示周期識別子Ｄｆ，表示周期データＤｐ，フレーム番号
データＢｎ，各フレームの表示時刻データＤｔｎ及び画
像符号化データＣｇｎを分離するデータ分離器２１１０
と、上記画像符号化データＣｇｎを復号化して画像復号
化データＲｇを出力する復号化器２１２０とを備え、表
示周期が固定である画像復号化データＲｇを、表示周期
データＤｐ及びフレーム番号データＢｎに基づく表示タ
イミングで表示し、表示周期が可変である画像復号化デ
ータＲｇを、表示時刻データＤｔｎに基づく表示タイミ
ングで表示するようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像復号化方法及
び画像復号化装置に関し、特に、画像の各フレームに対
応する表示タイミングに関する情報を含む画像符号化信
号の復号化処理に関するものである。

【０００２】

【従来の技術】近年、音声，画像，その他のデータを統
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等
の情報を人に伝達する手段がマルチメディアの対象とし
て取り上げられるようになってきた。一般に、マルチメ
ディアとは、文字だけでなく、図形、音声、特に画像等
を同時に関連づけて表すことをいうが、上記従来の情報
メディアをマルチメディアの対象とするには、その情報
をディジタル形式にして表すことが必須条件となる。

【０００３】ところが、上記各情報メディアの持つ情報
量をディジタル情報量として見積もってみると、文字の
場合１文字当たりの情報量は１〜２バイトであるのに対
し、音声の場合１秒当たり６４kbits（電話品質）、さ
らに動画については１秒当たり１００Mbits（現行テレ
ビ放送品質）以上の情報量が必要となり、上記テレビ等
の情報メディアではその膨大な情報をディジタル形式で
そのまま扱うことは現実的ではない。例えば、テレビ電
話は、６４kbps〜１．５Mbpsの伝送速度を持つサービス
総合ディジタル網（ＩＳＤＮ:Integrated Services Dig
ital Network）によってすでに実用化されているが、テ
レビ・カメラの映像をそのままＩＳＤＮで送ることは不
可能である。

【０００４】そこで、必要となってくるのが情報の圧縮
技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ
（国際電気通信連合 電気通信標準化部門）で国際標準
化されたＨ．２６１規格の動画圧縮技術が用いられてい
る。また、ＭＰＥＧ１規格の情報圧縮技術によると、通
常の音楽用ＣＤ（コンパクト・ディスク）に音声情報と
ともに画像情報を入れることも可能となる。

【０００５】ここで、ＭＰＥＧ（Moving Picture Exper
ts Group) とは、動画像に対する画像信号の圧縮伸長技
術に関する国際規格であり、ＭＰＥＧ１は、動画データ
を１．５Mbpsまで、つまりテレビ信号の情報を約１００
分の１にまで圧縮する規格である。また、ＭＰＥＧ１規
格を対象とする伝送速度が主として約１．５Mbpsに制限
されていることから、さらなる高画質化の要求をみたす
べく規格化されたＭＰＥＧ２では、動画データが２〜１
５Mbpsに圧縮される。

【０００６】このように現在すでに実用化されているＭ
ＰＥＧ１，２の規格に対応する、画像信号の圧縮伸長技
術では、基本的に各フレームに対する画像表示タイミン
グの間隔，つまりフレームレートとして、固定フレーム
レートのみを採用しているため、フレームレートは高々
数種類しかなく、このためＭＰＥＧ２では、符号化デー
タとともに伝送されてくるフラグ（frame rate code）
に基づいて、図１３に示すテーブルを参照して、数通り
のフレームレート（frame rate value）の中からフラグ
により指定されるものを選択するようにしている。

【０００７】ところで、現在、ＩＳＯ（International
Organization for Standardization: 国際標準化機構）
によって、具体的には、ＭＰＥＧ１，ＭＰＥＧ２と標準
化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG1
1)によって、最新の画像符号化方式であるＭＰＥＧ４の
標準化作業が進められている。このＭＰＥＧ４は、物体
単位での符号化処理や信号操作を可能とし、マルチメデ
ィア時代に必要な新しい機能を実現するものである。こ
のＭＰＥＧ４では、当初、低ビットレートの画像処理の
標準化を目指してきたが、現在はその標準化の対象は、
インタレース画像にも対応した高ビットレートの画像処
理も含む、より汎用的な画像処理に拡張されている。

【０００８】このＭＰＥＧ４においても、ビデオ・オブ
ジェクト・レイア（ＭＰＥＧ２のビデオシーケンスに相
当）の先頭にＭＰＥＧ２のテーブル（図１３参照）と同
様なテーブルを追加すれば、該テーブルによりフレーム
レートは表現できるが、ＭＰＥＧ４では、低ビットレー
トの画像信号から高ビットレートの高画質の画像信号ま
での幅広い範囲の画像信号を処理対象とするため、必要
となるフレームレートは無数にあり、このため、ＭＰＥ
Ｇ４では、実際問題としてフレームレートの判定をテー
ブルを用いて行うことは困難である。

【０００９】そこで、ＭＰＥＧ４では、無数とも言える
固定フレームレートに対応し、しかも各フレームに対す
る画像表示タイミングや復号化処理のタイミングの間隔
が可変である画像に対応するために、フレーム毎に挿入
された各フレームの表示時刻データを含むデータ構造を
採用している。

【００１０】図１４は、従来の画像符号化信号２００の
データ構造の一例を示す。従来のデータ構造を有する画
像符号化信号２００は、１つの画像（ＭＰＥＧ４では１
つのオブジェクトに対応する画像を構成するフレーム系
列）に対応するものであり、先頭のヘッダＨに続いて、
各フレームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ
（ｎ）に対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・
・，Ｓａｎを伝送順に配列した構造となっている。ここ
で、ｎは１つの画像を構成するフレーム系列における、
各フレームのデータの伝送順序に対応する番号であり、
先頭フレームの番号ｎを０としている。

【００１１】この例では、各フレームの符号列Ｓａ０，
Ｓａ１，Ｓａ２，・・・，Ｓａｎの先頭には、そのフレ
ームの表示時刻を示す表示時刻データＤｔ０，Ｄｔ１，
Ｄｔ２，・・・，Ｄｔｎが配置されており、各表示時刻
データに続いて画像符号化データＣｇ０，Ｃｇ１，Ｃｇ
２，・・・，Ｃｇｎが配置されている。この表示時刻デ
ータは、基準時刻に対する相対的な時刻を表しているた
め、画像を構成するフレームの数（フレーム数）が多く
なるにつれて、この表示時刻を表すのに必要な情報量，
つまり表示時刻データのビット数は多くなる。

【００１２】また、上記画像符号化信号の復号化側で
は、上記各フレームに対応する符号列Ｓａ０〜Ｓａｎ中
に挿入されている上記表示時刻データＤｔ０〜Ｄｔｎに
基づいて、該表示時刻データが指示する時刻にそのフレ
ームに対する画像表示が行われる。

【００１３】図１５は、１つの画像を構成するフレーム
系列における、各フレームに対応する画像符号化データ
の伝送順序と表示順序とを示している。ここで、ｎは上
記のように伝送順序を示す番号であり、ｎ′は表示順序
を示す番号（先頭フレームの番号ｎ′を０とする）であ
る。また、フレームＦ（ｎ）（Ｆ（０）〜Ｆ（１８））
は、図１４に示すデータ構造におけるフレームの順序
（つまり伝送順序）に基づいて配列したものであり、フ
レームＦ′（ｎ′）（Ｆ′（０）〜Ｆ′（１８））は、
上記伝送順に並ぶ各フレームＦ（ｎ）を、図１５で矢印
により示すようにその配列順序が表示順になるよう並べ
替えて配列したものである。従って、矢印で対応付けら
れたフレームＦ（ｎ）とフレームＦ′（ｎ′）は同一の
ものであり、例えば、フレームＦ（０），Ｆ（１），Ｆ
（２），Ｆ（３）はそれぞれ、フレームＦ′（０），
Ｆ′（３），Ｆ′（１），Ｆ′（２）と同じフレームで
ある。

【００１４】ここでは、伝送順に配列されたフレームＦ
（ｎ）（Ｆ（０）〜Ｆ（１８））のうち、フレームＦ
（０），Ｆ（１３）はＩ（Intra-Picture）フレーム
（以下Ｉ−ＶＯＰともいう。）であり、フレームＦ
（１），Ｆ（４），Ｆ（７），Ｆ（１０），Ｆ（１６）
は、Ｐ（Predictive-Picture）フレーム（以下Ｐ−ＶＯ
Ｐともいう。）であり、フレームＦ（２），Ｆ（３），
Ｆ（５），Ｆ（６），Ｆ（８），Ｆ（９），Ｆ（１
１），Ｆ（１２），Ｆ（１４），Ｆ（１５），Ｆ（１
７），Ｆ（１８）は、Ｂ（Bidirectionally predictive
-Picture）フレーム（以下Ｂ−ＶＯＰともいう。）であ
る。

【００１５】また、上記のように伝送順（ＩＰＢＢＰＢ
ＢＰＢＢＰＢＢＩＢＢＰＢＢ）に配列されたフレームＦ
（ｎ）（Ｆ（０）〜Ｆ（１８））を表示順（ＩＢＢＰＢ
ＢＰＢＢＰＢＢＰＢＢＩＢＢＰ）に並べ替えたときの順
番ｎ′が、各フレームＦ（ｎ）に対応するフレーム番号
Ｂ（ｎ）（Ｂ（０）〜Ｂ（１８））により表される。つ
まり、このフレーム番号Ｂ（ｎ）の値は、表示順序を示
す番号ｎ′を表しており、具体的には図１５に示すよう
に、Ｂ（０）＝０，Ｂ（１）＝３，・・・，Ｂ（１７）
＝１６，Ｂ（１８）＝１７となる。従って、ここでは、
画像表示におけるＩ−ＶＯＰの周期ＬはＬ＝１５、画像
表示におけるＩ−ＶＯＰとＰ−ＶＯＰを含めたＶＯＰの
周期ＭはＭ＝３となっている。

【００１６】そして、上記フレーム番号Ｂ（ｎ）＝ｎ′
は、ｎを用いて次式（１）〜（３）により表される。 Ｂ（ｎ）＝ｎ＝０ （ｎ＝０のとき） …（１） Ｂ（ｎ）＝ｎ＋Ｍ−１ （ｎ＝Ｍ×ｉ＋１のとき） …（２） ただし、ｉ，Ｍは０以上の整数（０，１，２，・・・）である。 Ｂ（ｎ）＝ｎ−１ （ｎがその他の値であるとき） …（３） ここで、上記条件（ｎ＝０）は最初のＩ−ＶＯＰに対応
するもの、上記条件（ｎ＝Ｍ×ｉ＋１）は、最初のＩ−
ＶＯＰ以外のＩ−ＶＯＰとＰ−ＶＯＰの両ＶＯＰに対応
するもの、上記条件（ｎがその他の値であるとき）は、
Ｂ−ＶＯＰに対応するものである。

【００１７】ただし、上記式（１）〜（３）は、各Ｉ−
ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰに相当するフレームの
符号列が周期的に伝送されてくる場合における上記表示
順序ｎ′と伝送順序ｎの関係Ｂ（ｎ）＝ｎ′を定義する
ものであり、各Ｉ−ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰに
相当するフレームの符号列が一定周期で伝送されてくる
場合以外の場合は、表示順序ｎ′と伝送順序ｎは、上記
式（１）〜（３）とは別の関係式あるいは方法により一
対一に対応付けられることとなる。

【００１８】図１６は、各フレームに対応する画像表示
タイミングの間隔が可変である画像表示方法の一例を説
明するための図である。図中、ｔ’(n’)（ｔ’(1),
ｔ’(2), ｔ’(3), ｔ’(4) ・・・） は、フレーム
Ｆ’(n’-1) の画像表示が行われる時刻と、フレーム
Ｆ’(n’) の画像表示が行われる時刻との時間間隔を示
し、ｈ’(1)，ｈ’(2)，ｈ’(3) は、フレームＦ’(0)
の画像表示が行われる時刻ｈ’(0)を基準として、フレ
ームＦ’(1)，Ｆ’(2)， Ｆ’(3) の画像表示が行われ
る時刻を示している。また、ｈ(n)（ｈ(1)，ｈ(2)，ｈ
(3)，ｈ(4)，・・・） は、フレームＦ(0) ＝Ｆ’(0)の
画像表示が行われる時刻ｈ’(0)を基準として、フレー
ムＦ(n)（Ｆ(1)， Ｆ(2)， Ｆ(3)，Ｆ(4)，・・・） の
画像表示が行われる時刻を示している。従って、ここで
は、表示順に配列されたフレームＦ’(n’)の表示時刻
ｈ’(n’)は、ｈ’(n’)＝ｈ’(n’-1)+t’(n’)であ
る。なおｈ’(0)はｈ’(0) ＝０としている。

【００１９】次に、図１４に示す画像データ構造を有す
る画像符号化信号が復号化されて画像表示が行われる状
況を図１６を用いて簡単に説明する。復号化側では、図
１４に示す該画像符号化信号２００が入力されると、該
画像符号化信号２００を構成する各フレームＦ(0)，Ｆ
(1)，Ｆ(2)，・・・の画像符号化データＣｇ０，Ｃｇ
１，Ｃｇ２，・・・に対して復号化処理施されるととも
に、各フレームＦ(０)，Ｆ(１)，Ｆ(２)，・・・に対応
する画像表示が、各フレームの表示時刻データＤｔ０，
Ｄｔ１，Ｄｔ２，・・・に基づいた画像表示時刻ｈ(0)
，ｈ(1) ，ｈ(2)・・・に行われる。

【００２０】このようにして、符号化された画像信号
（画像符号化信号）が各フレームに対する画像表示タイ
ミングの間隔（画像表示周期）が固定であるものだけで
なく、可変であるものについても、復号化側で画像符号
化信号が復号化されて所定のタイミングで画像表示が行
われるようにしている。

【００２１】なお、符号化された画像信号が各フレーム
に対する画像表示の間隔が固定であるものである場合に
は、上記の画像表示周期が可変である場合と同様、上記
各フレームＦ(0)，Ｆ(1) ，Ｆ(2) ，・・・に対応する
画像表示が、各フレームの表示時刻データＤｔ０，Ｄｔ
１，Ｄｔ２，・・・に基づいた画像表示時刻ｈ(0)，ｈ
(1)，ｈ(2)，・・・に行われることは言うまでもない。

【００２２】ところで、フレームレート(１秒間に表示
されるフレームの数)は、これを単純にｋ(自然数)ビッ
トで表現しようとしても、テレビジョン放送で使用され
る周波数、例えば２９．９７・・・Ｈｚ，正確には３０
０００／１００１Ｈｚのような値については表現するこ
とができない。

【００２３】そこで、このようなフレームレートは以下
のように表現することができる。つまり、所定の時間間
隔（１modulo time ）を例えば１秒とし、これをＮ（Ｎ
は自然数）等分した微小単位時間（１／Ｎ）を１単位時
間（１time tick ）として、フレームレートが可変であ
る画像についても、またフレームレートが固定である画
像についても、各フレームの表示時刻を表すようにして
いる。

【００２４】具体的には、図１７(a) に示すように、表
示順に並ぶ各フレームＦ’(0),Ｆ’(1)’，Ｆ’(2)，
Ｆ’(3)の画像ＶＯＰ０，ＶＯＰ１，ＶＯＰ２，ＶＯＰ
３の表示時刻は、例えば、時刻Ｘを基準として、微小単
位時間（１／Ｎ）をｙ（ＶＯＰrate increment ）個集
めたもの（ｙ／Ｎ）により表す。例えば、画像ＶＯＰ
０，ＶＯＰ１，ＶＯＰ２，ＶＯＰ３については、それぞ
れ上記値ｙは、ｙ＝ｙ’０，ｙ＝ｙ’１，ｙ＝ｙ’２，
ｙ＝ｙ’３となっている。

【００２５】図１７(c)は、上記微小単位時間（１／Ｎ
秒）と上記値ｙとにより、各フレームの画像表示タイミ
ングを示すデータ構造の画像符号化信号２００ａを示し
ている。

【００２６】この画像符号化信号２００ａでは、微小単
位時間に相当するＮ（自然数）を示す微小単位時間デー
タＤｋを含むヘッダＨに続いて、各フレームＦ（ｎ）
（Ｆ（０），Ｆ（１），Ｆ（２），・・・）に対応する
符号列Ｓｂｎ（Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・）が配
列されており、各符号列Ｓｂｎには、基準時刻ｘを基準
として上記微小単位時間（１／Ｎ）とその個数ｙを用い
て測定した表示時刻ｈ(n)(ｈ(0)，ｈ(1)，ｈ(2)，・・
・)を示す表示周期乗数データＤｙｎ（Ｄｙ０，Ｄｙ
１，Ｄｙ２，・・・）が含まれている。

【００２７】なお、図１７(c)中、Ｃｇｎ（Ｃｇ０，Ｃ
ｇ１，Ｃｇ２，・・・）は、上記各フレームＦ（ｎ）
（Ｆ（０），Ｆ（１），Ｆ（２），・・・）に対応する
画像符号化データである。但し、図１７(b)に示すよう
に、画像ＶＯＰ０がＩ−ＶＯＰ（Ｉフレーム）、ＶＯＰ
１，２がＢ−ＶＯＰ（Ｂフレーム）、ＶＯＰ３がＰ−Ｖ
ＯＰ（Ｐフレーム）である場合、画像符号化信号２００
ａとしてのビットストリームでは、図１７(c)に示すよ
うに、Ｉ−ＶＯＰ（ＶＯＰ０）に相当するフレームＦ
（０）の符号列に続くフレームＦ（１），Ｆ（２）の符
号列としては、Ｐ−ＶＯＰ（ＶＯＰ３），Ｂ−ＶＯＰ
（ＶＯＰ１）に相当するものが配列されている。

【００２８】

【発明が解決しようとする課題】以下まず、図１４〜図
１６を用いて説明した画像信号データ構造における問題
点について説明する。上述したように、画像符号化信号
が、フレームの表示間隔が一定値Ｔである画像信号を符
号化したものである場合は、各フレームに対応する画像
表示タイミングｈ(n) は、ｈ(n) ＝ｎ′×Ｔとなってい
る。ここでｎ′は表示時順序を示す番号であり、ｎ′＝
Ｂ（ｎ）となっている。言い換えると、このようなフレ
ームの表示間隔が一定値Ｔである画像符号化信号（つま
りフレームレートが固定である画像に対応する符号化信
号）は、復号化側で上記一定な表示間隔である時間Ｔが
分かれば、伝送順序におけるｎ番目のフレームＦ(n) の
表示時刻h(n)は、上記一定な表示間隔Ｔをｎ′(＝Ｂ
（ｎ）)倍することにより一意に定めることができるに
も拘わらず、復号化の際には、フレームＦ(n)（Ｆ(0)
，Ｆ(1) ，Ｆ(2) ，・・・）に対応する画像符号化信
号に挿入されている、図１４に示すような表示時刻デー
タＤｔｎ（Ｄｔ０，Ｄｔ１，Ｄｔ２，・・・）を用い
て、複雑な表示処理を行わざるを得ないという問題があ
った。

【００２９】次に、図１７を用いて説明した画像信号デ
ータ構造の問題点について説明する。上記のように、現
在のＭＰＥＧ４で提案されている画像信号のデータ構造
では、フレームレートが固定であっても、フレームレー
トの値（大きさ）は、数フレームをデコードしないと分
からない構造となっており、このため、実際の復号化処
理を実現するための回路構成を簡略化するのが困難であ
るといった問題がある。

【００３０】簡単に説明すると、図１７(b)に示すよう
に、ＶＯＰ０がＩ−ＶＯＰ（Ｉフレーム）、ＶＯＰ１，
２がＢ−ＶＯＰ（Ｂフレーム）、ＶＯＰ３がＰ−ＶＯＰ
（Ｐフレーム）である場合、画像符号化信号２００ａと
してのビットストリームでは、図１７(c)に示すよう
に、Ｉ−ＶＯＰ（Ｉフレーム）に相当するフレームＦ
（０）に続いて、Ｐ−ＶＯＰ（Ｐフレーム）に相当する
フレームＦ（１）及びＢ−ＶＯＰ（Ｂフレーム）に相当
するフレームＦ（２）が配列されているため、このＢ−
ＶＯＰ（Ｂフレーム）に対応するフレームＦ（２）が伝
送されてくるまでは、フレーム表示周期（１fixed ＶＯ
Ｐ increment），つまりこの場合はＩ−ＶＯＰの表示タ
イミングとその次に表示されるＢ−ＶＯＰ（Ｂフレー
ム）の表示タイミングの間隔が分からないという問題が
ある。

【００３１】本発明は、上記のような問題点を解消する
ためになされたもので、フレームレート（各フレームに
対する画像表示の周期）が固定であるか可変であるかに
応じて、画像符号化信号に対する表示処理を、簡単なハ
ードウエア構成により良好に行うことができる画像復号
化方法及び画像復号化装置、該画像復号化方法をコンピ
ュータにより実現するためのプログラム、並びに該プロ
グラムを格納した記録媒体を得ることを目的とする。

【００３２】

【課題を解決するための手段】この発明（請求項１）に
係る画像復号化方法は、複数のフレームに対応する画像
符号化データを含む画像符号化信号を画像復号化データ
に復号化し、表示装置に表示する画像復号化方法であっ
て、前記画像符号化信号は、１つのオブジェクトに対応
する画像の全てのフレームの画像表示間隔が固定である
か可変であるかを示す表示周期識別子を含み、前記表示
周期識別子が前記画像表示間隔が固定であることを示す
場合、前記画像符号化信号に含まれるデータであって、
微小単位時間が所定の時間間隔をN（自然数）等分した
ものであることを示す微小単位時間データと、前記画像
表示間隔が前記微小単位時間のＭ（自然数）倍であるこ
とを示す表示周期乗数データとを用いて算出される表示
間隔を、前記画像復号化データの画像表示間隔とし、前
記表示周期識別子が前記画像表示間隔が可変であること
を示す場合、前記画像符号化信号に含まれる、前記複数
のフレームのそれぞれに付随して設定された表示タイミ
ングを示す表示タイミングデータを、前記画像復号化デ
ータの画像表示タイミングとすることを特徴とするもの
である。

【００３３】この発明（請求項２）は、請求項１記載の
画像復号化方法において、前記画像符号化データはヘッ
ダを有し、前記ヘッダは前記表示周期識別子を含むこと
を特徴とするものである。

【００３４】この発明（請求項３）は、請求項２記載の
画像復号化方法において、前記表示周期データは、前記
画像符号化信号にて前記表示周期識別子よりも後ろに挿
入されていることを特徴とするものである。

【００３５】この発明（請求項４）に係る画像復号化装
置は、画像符号化信号から１つのオブジェクトに対応す
る画像の全てのフレームの表示間隔が固定であるか可変
であるかを示す表示周期識別子と、画像符号化データと
を取り出す分離器と、前記画像符号化データを画像復号
化データに復号化する復号化器と、前記画像復号化デー
タを表示する表示装置とを有し、前記表示周期識別子が
前記画像表示間隔が固定であることを示す場合、前記画
像符号化信号に含まれるデータであって、微小単位時間
が所定の時間間隔をN（自然数）等分したものであるこ
とを示す微小単位時間データと、前記画像表示間隔が前
記微小単位時間のＭ（自然数）倍であることを示す表示
周期乗数データとを用いて算出される表示間隔を、前記
画像復号化データの画像表示間隔とし、前記表示周期識
別子が前記画像表示間隔が可変であることを示す場合、
前記画像符号化信号に含まれる、前記複数のフレームの
それぞれに付随して設定された表示タイミングを示す表
示タイミングデータを、前記画像復号化データの画像表
示タイミングとすることを特徴とするものである。

【００３６】この発明（請求項５）は、請求項４記載の
画像復号化装置において、前記画像符号化データはヘッ
ダを有し、前記ヘッダは前記表示周期識別子を含むこと
を特徴とするものである。

【００３７】この発明（請求項６）は、請求項５記載の
画像復号化装置において、前記表示周期データは、前記
画像符号化信号にて前記表示周期識別子よりも後ろに挿
入されていることを特徴とするものである。

【００３８】この発明（請求項７）に係るプログラム
は、請求項１ないし３のいずれかに記載の画像復号化方
法をコンピュータに実行させることを特徴とするもので
ある。

【００３９】この発明（請求項８）に係る記録媒体は、
請求項７記載のプログラムを記録したことを特徴とする
ものである。

【００４０】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。 実施の形態１．図１(a) は、本発明の実施の形態１によ
る、フレーム表示周期が固定（一定）である画像符号化
信号１００ａのデータ構造を示し、図１(b) は本発明の
実施の形態１による、フレーム表示周期が可変である画
像符号化信号１００ｂのデータ構造を示している。

【００４１】上記画像符号化信号１００ａ（図１(a)参
照）は、１つの画像（ＭＰＥＧ４では１つのオブジェク
トに対応する画像）に対応する、フレーム表示周期が固
定である画像信号を符号化して得られるものであり、先
頭のヘッダＨに続いて、各フレームＦ（０），Ｆ
（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列
Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓａｎを伝送順に配
列した構造となっている。ここで、ｎは１つの画像を構
成するフレーム系列における、各フレームのデータ伝送
順序に対応する番号である。

【００４２】この画像符号化信号１００ａでは、ヘッダ
Ｈ内にフレーム表示周期が固定であることを示す表示周
期識別子（表示周期固定識別子）Ｄｆ及びフレーム表示
周期を示す表示周期データＤｐが挿入され、各フレーム
に対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓ
ａｎの先頭には、そのフレームが表示される順番ｎ′に
相当するフレーム番号Ｂ（ｎ）を示すフレーム番号デー
タＢ０，Ｂ１，Ｂ２，・・・，Ｂｎが挿入されている。
また、上記各フレームに対応する符号列Ｓａ０，Ｓａ
１，Ｓａ２，・・・，Ｓａｎには、各フレームの画像信
号を符号化して得られる画像符号化データＣｇ０，Ｃｇ
１，Ｃｇ２，・・・，Ｃｇｎが含まれている。

【００４３】図２は、各フレームに対応する画像表示タ
イミングの間隔が固定である画像表示方法の一例を説明
するための図であり、図中、図１６と同一符号は同一の
ものを示しており、Ｔは各フレームの表示タイミングの
間隔が固定である画像のフレーム表示周期である。この
画像符号化信号１００ａでは、図２に示すように、伝送
順に並ぶフレームＦ（ｎ）（ｎ＝０，１，２，・・・）
の表示時刻ｈ(n)は、フレームＦ（０）の表示時刻ｈ(0)
(＝ｈ’(0))をｈ(0)＝０とすると、ｈ（ｎ）＝Ｂ(n)×
Ｔで表される。具体的には、フレームＦ（２）の表示時
刻h(2)はh(2)＝Ｂ(2)×Ｔ、フレームＦ（３）の表示時
刻h(3)はh(3)＝Ｂ(3)×Ｔ、フレームＦ（１）の表示時
刻h(1)はh(1)＝Ｂ(1)×Ｔ、フレームＦ（４）の表示時
刻h(4)はh(4)＝Ｂ(4)×Ｔとなる。

【００４４】従って、この画像符号化信号１００ａの再
生処理では、各フレームに対応する画像符号化データの
復号化により得られる画像復号化データが表示時刻ｈ
（ｎ）に順次表示されることとなる。なおここで、表示
の順番を示す番号ｎ′を表すフレーム番号Ｂ（ｎ）は、
従来技術で説明したように上記（１）〜（３）式によ
り、伝送の順番を示す番号ｎの関数として決定される。

【００４５】一方、上記画像符号化信号１００ｂ（図１
(b)参照）は、１つの画像（ＭＰＥＧ４では１つのオブ
ジェクトに対応する画像）に対応する、フレーム表示周
期が可変である画像信号を符号化して得られるものであ
り、先頭のヘッダＨに続いて、各フレームＦ（０），Ｆ
（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列
Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・，Ｓｂｎを伝送順に配
列した構造となっている。

【００４６】この画像符号化信号１００ｂでは、ヘッダ
Ｈ内にフレーム表示周期が可変であることを示す表示周
期識別子（表示周期可変識別子）Ｄｆが挿入され、各フ
レームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ
（ｎ）に対応する符号列Ｓｂ０，Ｓｂ１，Ｓｂ２，・・
・，Ｓｂｎの先頭には、そのフレームが表示される表示
時刻ｈ(0)，ｈ(1)，ｈ(2)，・・・，ｈ(n) を示す表示
時刻データ（表示タイミングデータ）Ｄｔ０，Ｄｔ１，
Ｄｔ２，・・・，Ｄｔｎが挿入されている。また、上記
画像符号化信号１００ｂにおける各フレームに対応する
符号列Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・，Ｓｂｎには、
各フレームの画像信号を符号化して得られる画像符号化
データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇｎが含ま
れている。この画像符号化信号１００ｂの再生処理によ
る画像表示は、図１４に示す従来のデータ構造を有する
画像符号化信号２００の画像表示と同様に行われる。

【００４７】次に作用効果について説明する。本発明の
実施の形態１では、フレーム表示周期が固定である画像
符号化信号１００ａは、図１(a) に示すように、その画
像データ全体のヘッダ部分に、フレーム表示周期が固定
であることを示す表示周期固定識別子Ｄｆと、フレーム
表示周期を示す表示周期データＤｐを挿入するととも
に、フレーム毎に、各フレーム番号Ｂ（０），Ｂ
（１），Ｂ（２），・・・，Ｂ（ｎ）を示すフレーム番
号データＢ０，Ｂ１，Ｂ２，・・・，Ｂｎを挿入したデ
ータ構造となっている。このようなデータ構造の画像符
号化信号１００ａでは、上記表示周期データＤｐからフ
レーム表示周期Ｔが分かり、フレーム番号データＢｎか
ら、１つの画像における各フレームが表示順に数えて何
番目のフレームに相当するかが分かるので、これらのデ
ータＤｐ及びＢｎにより各フレームＦ（ｎ）の表示時刻
ｈ(n)を一意に定めることができる。

【００４８】一方、フレーム表示周期が可変である画像
符号化信号１００ｂは、図１(b) に示すように、その画
像データ全体のヘッダ部分に、表示間隔が可変であるこ
とを示す表示周期可変識別子Ｄｆを挿入し、さらに従来
の画像符号化信号２００のデータ構造と同様に、フレー
ム毎に各フレームの表示時刻ｈ(0)，ｈ(1)，ｈ(2)，・
・・，ｈ(n)を示す表示時刻データＤｔ０，Ｄｔ１，Ｄ
ｔ２ ，・・・，Ｄｔｎを挿入したデータ構造となって
いる。

【００４９】このため、上記画像符号化信号１００ｂを
再生する際には、各フレームＦ（０）〜Ｆ（ｎ）に対応
する画像表示を、該表示時刻データＤｔ０〜Ｄｔｎの示
す表示時刻ｈ(0)〜ｈ(n)に行うことができる。

【００５０】以上のように、画像符号化信号のヘッダ部
分にフレーム表示周期が固定であるか可変であるかを示
す表示周期識別子Ｄｆを挿入することにより、フレーム
表示周期が可変である画像にも対応できる。さらに、フ
レーム表示周期が固定である画像に対しては、情報量の
多い各フレームの表示時刻データＤｔ０〜Ｄｔｎを参照
せずに、表示周期データＤｐと情報量の少ないフレーム
番号データＢｎに基づいて各フレームの画像表示を行う
ことがき、復号化側における画像処理回路を簡単な回路
構成とすることができる。

【００５１】以下、上記のような画像符号化信号１００
ａ，１００ｂを生成する画像信号の符号化処理、及びそ
の復号化処理について説明する。図３は上記符号化処理
のフローを示す図である。まず、上記符号化処理では、
入力された所定の画像に対応する画像信号のフレーム表
示周期が固定であるか否かの判定が行われる（ステップ
Ｓ１１）。この判定の結果、フレーム表示周期が固定で
ある場合は、上記フレーム表示周期が固定であることを
示す表示周期固定識別子Ｄｆが、上記画像信号に対応す
るビットストリームのヘッダＨに付加され（ステップＳ
１１ａ）、さらに各フレームの伝送順序を示す番号ｎが
カウンタ値として用いられ、このカウンタ値ｎがｎ＝０
にセットされる（ステップＳ１２ａ）。続いて、上記固
定のフレーム表示周期Ｔを示す表示周期データＤｐが、
上記画像信号に対応するビットストリームのヘッダＨに
付加される（ステップＳ１３ａ）。

【００５２】次に、上記所定の画像の、伝送順序におけ
る最初のフレームＦ（０）に対応する符号列Ｓａ０とし
て、対応するフレーム番号データＢｎ（＝Ｂ０）及び画
像符号化データＣｇｎ（＝Ｃｇ０）が順次上記ヘッダＨ
に付加される（ステップＳ１４ａ，Ｓ１５ａ）。その
後、上記画像信号の符号化処理における処理対象フレー
ムが上記所定の画像の、伝送順序における最終のフレー
ムであるか否かの判定が行われ（ステップＳ１６ａ）、
該処理対象フレームが最終フレームでなければ、上記カ
ウンタ値ｎが１つインクリメントされて（ステップＳ１
７ａ）、続くフレームＦ（１）に対して、上記ステップ
Ｓ１４ａ〜Ｓ１７ａにおける処理が行われる。上記ステ
ップＳ１４ａ〜Ｓ１７ａにおける処理は、ステップＳ１
６ａにて処理対象フレームが最終フレームであると判定
されるまで繰り返し行われる。

【００５３】一方、上記ステップＳ１１での判定の結
果、フレーム表示周期が可変である場合は、上記フレー
ム表示周期が可変であることを示す表示周期可変識別子
Ｄｆが、上記画像信号に対応するビットストリームのヘ
ッダＨに付加され（ステップＳ１１ｂ）、さらに各フレ
ームの伝送順序を示す番号ｎがカウンタ値ｎとして用い
られ、このカウンタ値ｎがｎ＝０にセットされる（ステ
ップＳ１２ｂ）。次に、上記所定の画像の、伝送順序に
おける最初のフレームＦ（０）に対応する符号列とし
て、対応する表示時刻データＤｔｎ（＝Ｄｔ０）及び画
像符号化データＣｇｎ（＝Ｃｇ０）が順次上記ヘッダに
付加される（ステップＳ１３ｂ，Ｓ１４ｂ）。その後、
上記画像信号の符号化処理における処理対象フレームが
上記所定の画像における、最終のフレームであるか否か
の判定が行われ（ステップＳ１５ｂ）、該処理対象フレ
ームが最終フレームでなければ、上記カウンタ値ｎが１
つインクリメントされて（ステップＳ１６ｂ）、続くフ
レームＦ（１）に対して、上記ステップＳ１３ｂ〜Ｓ１
６ｂにおける処理が行われる。上記ステップＳ１３ｂ〜
Ｓ１６ｂにおける処理は、ステップＳ１５ｂにて処理対
象フレームが最終フレームであると判定されるまで繰り
返し行われる。

【００５４】図４(a)は、上記実施の形態１における符
号化処理を行うハードウエアとしての画像符号化装置１
０００の構成を示すブロック図である。この画像符号化
装置１０００は、入力される画像信号Ｓｇを符号化して
画像符号化データＣｇｎを生成する符号化器１１１０
と、上記入力される画像信号Ｓｇに基づいて、フレーム
表示周期が一定であるか否か（つまり、表示周期が固定
であるか可変であるか）を判定して、表示周期が一定で
あるか否かを示す表示周期識別子Ｄｆを出力する判定器
１１３１と、上記入力された画像信号Ｓｇに基づいて、
一定のフレーム表示周期Ｔを示す表示周期データＤｆを
生成する表示周期データ生成器（第１のデータ生成器）
１１３２とを有している。

【００５５】また、上記画像符号化装置１０００は、上
記入力された画像信号Ｓｇに基づいて、伝送順序におけ
る各フレームの順番（フレーム番号Ｂ（ｎ））を示すフ
レーム番号データＢｎを生成する番号データ生成器（第
２のデータ生成器）１１３３と、上記入力された画像信
号Ｓｇに基づいて、各フレームＦ（ｎ）の表示時刻ｈ
(n)を示す表示時刻データＤｔｎを生成する表示時刻デ
ータ生成器（第３のデータ生成器）１１３４とを有して
いる。

【００５６】さらに、上記画像符号化装置１０００は、
上記判定器１１３１からの表示周期識別子Ｄｆに基づい
て、上記データ生成器１１３２からの表示周期データＤ
ｐを導通させる導通状態と該表示周期データＤｐを遮断
する遮断状態との間で切り替わる開閉スイッチ１１４１
と、上記判定器１１３１からの表示周期識別子Ｄｆに基
づいて、上記データ発生器１１３３からのフレーム番号
データＢｎと上記データ発生器１１３４からの表示時刻
データＤｔｎの一方を選択して出力する選択スイッチ１
１４２とを有している。

【００５７】そして、上記画像符号化装置１０００は、
上記判定器１１３１からの表示周期識別子Ｄｆ，上記符
号化器１１１０からの符号化データＣｇｎ，上記開閉ス
イッチ１１４１からの表示周期データＤｐ，及び上記選
択スイッチ１１４２の出力を多重化して多重ビットスト
リームＭ１を生成する多重化器（ＭＵＸ）１１２０を有
しており、該多重ビットストリームＭ１を、フレーム表
示周期が固定である画像符号化信号１００ａ、あるいは
フレーム表示周期が可変である画像符号化信号１００ｂ
として出力する構成となっている。

【００５８】以下簡単に上記画像符号化装置１０００の
動作について説明する。まず、上記画像符号化装置１０
００に所定の画像に対応する画像信号Ｓｇが入力される
と、上記判定器１１３１では、該画像信号Ｓｇのフレー
ム表示周期が可変である否かの判定が行われ、判定結果
を示す表示周期識別子Ｄｆが出力される。また、このと
き、上記画像信号Ｓｇに基づいて、第１〜第３のデータ
生成器１１３２〜１１３４では、それぞれ上記表示周期
データＤｐ，フレーム番号データＢｎ，及び表示時刻デ
ータＤｔｎが生成され、上記符号化器１１１０では、上
記画像信号Ｓｇが符号化されて画像符号化データＣｇｎ
として出力される。

【００５９】そして、上記表示周期識別子Ｄｆ及び画像
符号化データＣｇｎは多重化器１１２０に出力される。
このとき、上記表示周期データＤｐは、表示周期識別子
Ｄｆに基づいて開閉されるスイッチ１１４１を介して多
重化器１１２０に出力され、フレーム番号データＢｎ及
び表示時刻データＤｔｎは、表示周期識別子Ｄｆに基づ
いてこれらのデータの一方を選択する選択スイッチ１１
４２を介して上記多重化器１１２０に出力される。

【００６０】つまり、画像信号Ｓｇとして、上記各フレ
ームＦ（ｎ）に対応する画像表示の周期が固定である画
像信号が入力されたとき、上記表示周期固定識別子Ｄｆ
とともに、上記各フレームに対応する画像表示の周期を
示す表示周期データＤｐと、上記各フレームに対応し
た、フレームの前後関係を示すフレーム番号データＢｎ
とが多重化器１１２０に出力される。すると、該多重化
器１１２０では、上記画像符号化データＣｇｎ、表示周
期固定識別子Ｄｆ、表示周期データＤｐ、及びフレーム
番号データＢｎが多重化されて画像符号化信号１００ａ
として出力される。

【００６１】一方、上記画像信号Ｓｇとして、上記各フ
レームＦ（ｎ）に対応する画像表示の周期が可変である
画像信号が入力されたとき、上記表示周期可変識別子Ｄ
ｆとともに、上記各フレームに応じて１つまたは複数の
基準時刻の所要のものに対して相対的に設定された、各
フレームに対応する画像表示が行われるタイミング（表
示時刻）ｈ(n)を示す表示時刻データＤｔｎが上記多重
化器１１２０に出力される。すると該多重化器１１２０
では、上記画像符号化データＣｇｎ、表示周期可変識別
子Ｄｆ、及び表示時刻データＤｔｎが多重化されて、画
像符号化信号１００ｂとして出力される。

【００６２】次に、図５を用いて、本実施の形態のデー
タ構造を有する画像符号化信号１００ａ，１００ｂを復
号化する復号化処理について説明する。まず、上記復号
化処理では、符号化側から送られてくる多重ビットスト
リームＭ１（画像符号化信号１００ａあるいは１００
ｂ）における表示周期識別子Ｄｆを検出することによ
り、該画像符号化信号の表示周期が固定であるか否かが
判定される（ステップＳ２１）。この判定の結果、表示
周期が固定であると判定されれば、伝送順における各フ
レームＦ（ｎ）の順番に相当するカウント値ｎが０にセ
ットされ（ステップＳ２１ａ）、その後、画像符号化信
号のヘッダ部分Ｈから表示周期Ｔを示す表示周期データ
Ｄｐが読込まれる（ステップＳ２２ａ）。

【００６３】次に、各フレームのヘッダ部分から、フレ
ーム番号Ｂ（ｎ）を示すフレーム番号データＢｎが読込
まれ（ステップＳ２３ａ）、各フレームの表示時刻ｈ
（ｎ）が計算式ｈ（ｎ）＝Ｂ（ｎ）×Ｔにより求められ
る（ステップＳ２４ａ）。

【００６４】そして、フレームＦ（ｎ）に対応する画像
符号化データＣｇｎの復号化処理が行われ、フレームＦ
（ｎ）に対応する画像復号化データが、表示時刻ｈ(n)
に表示される画像データとされる（ステップＳ２５
ａ）。その後、処理対象フレームＦ（ｎ）が上記所定の
画像の、伝送順序における最後のフレームであるか否か
が判定され（ステップＳ２６ａ）、処理対象フレームが
上記所定の画像の、伝送順序における最後のフレームで
あれば復号化処理が終了し、これが最後のフレームでな
ければ、上記カウント値ｎが１つインクリメントされ
（ステップＳ２７ａ）、その後、上記ステップＳ２３ａ
〜２６ａの処理が上記ステップＳ２６ａにて処理対象フ
レームが最後のフレームであると判定されるまで行われ
る。

【００６５】一方、上記ステップＳ２１にて、表示周期
が可変であると判定されれば、伝送順における各フレー
ムＦ（ｎ）の順番に相当するカウント値ｎが０にセット
され（ステップＳ２１ｂ）、その後、各フレームのヘッ
ダ部分からフレームＦ（ｎ）の表示時刻ｈ(n)を示す表
示時刻データＤｔｎが読込まれ（ステップＳ２２ｂ）、
この表示時刻データＤｔｎに基づいてフレームＦ（ｎ）
の表示時刻ｈ(n)が決定される（ステップＳ２３ｂ）。
続いて、フレームＦ（ｎ）に対応する画像符号化データ
Ｃｇｎの復号化処理が行われ、復号化処理が施されたフ
レームＦ（ｎ）の画像復号化データが、表示時刻ｈ
（ｎ）に表示される画像データとされる（ステップＳ２
４ｂ）。

【００６６】その後、処理対象フレームＦ（ｎ）が上記
所定の画像の、伝送順序における最後のフレームである
か否かが判断され（ステップＳ２５ｂ）、該処理対象フ
レームが最後のフレームであれば復号化処理が終了す
る。一方、上記処理対象フレームが最後のフレームでな
ければ、上記カウント値ｎが１つインクリメントされ
（ステップＳ２６ｂ）、その後、上記ステップＳ２２ｂ
〜ステップＳ２６ｂの処理が、ステップＳ２５ｂにて処
理対象フレームが最後のフレームであると判定されるま
で行われる。以上説明したように図５に示した処理手順
で、図１(a)，(b)に示すデータ構造を有する画像符号化
信号が復号化される。

【００６７】図６(a)は上記実施の形態１における復号
化処理を行うハードウエアとしての画像復号化装置の構
成を示すブロック図である。この画像復号化装置２００
０は、上記画像符号化装置１０００から出力された画像
符号化信号１００ａあるいは１００ｂとしての多重ビッ
トストリームＭ１に対して、復号化処理及び表示処理を
含む再生処理を行う構成となっている。

【００６８】すなわち、この画像復号化装置２０００
は、上記多重ビットストリームＭ１から、画像符号化デ
ータＣｇｎ，表示周期識別子Ｄｆ，表示周期データＤ
ｐ，及びフレーム番号データＢｎあるいは表示時刻デー
タＤｔｎを取り出して出力するデータ分離器（ＤＥＭＵ
Ｘ）２１１０と、上記画像符号化データＣｇｎを復号化
して画像復号化データＲｇを出力する復号化器２１２０
とを有している。

【００６９】また、上記画像復号化装置２０００は、上
記表示周期識別子Ｄｆに基づいて、上記表示周期データ
Ｄｐを導通させる導通状態と該表示周期データＤｐを遮
断する遮断状態との間で切り替わる開閉スイッチ２１４
０と、上記表示周期識別子Ｄｆに基づいて、上記フレー
ム番号データＢｎ及び上記表示時刻データＤｔｎの一方
を選択して出力する選択スイッチ２１５０とを有してい
る。さらに、上記画像復号化装置２０００は、上記画像
復号化データＲｇを、表示周期識別子Ｄｆ及び各スイッ
チ２１４０，２１５０の出力に基づいて所定の表示タイ
ミングで表示する表示装置２１３０を有している。

【００７０】以下簡単に上記画像復号化装置２０００の
動作について説明する。まず、上記画像復号化装置２０
００に、上記画像符号化装置１０００からの多重ビット
ストリームＭ１が入力されると、データ分離器２１１０
にて、上記多重ビットストリームＭ１から表示周期識別
子Ｄｆ及び表示周期データＤｐが分離され、さらに各フ
レーム毎に上記多重ビットストリームＭ１から、画像符
号化データＣｇｎ，及びフレーム番号データＢｎあるい
は表示時間データＤｔｎが分離される。

【００７１】そして、各フレームの画像符号化データＣ
ｇｎは復号化器２１２０にて復号化されて画像復号化デ
ータＲｇとして表示装置２１３０に出力される。また、
上記表示周期データＤｐは、表示周期識別子Ｄｆにより
開閉される開閉スイッチ２１４０を介して表示装置２１
３０に出力され、各フレームのフレーム番号データＢｎ
あるいは表示時間データＤｔｎは、表示周期識別子Ｄｆ
によりこれらの一方のデータを選択する選択スイッチ２
１５０を介して上記表示装置２１３０に出力される。

【００７２】そして表示装置２１３０では、表示周期が
固定である画像復号化データＲｇに対応する各フレーム
の画像は、表示周期データＤｐ及びフレーム番号データ
Ｂｎに基づいて所定の表示タイミングで表示され、一方
表示周期が可変である画像復号化データＲｇに対応する
フレームの画像は、表示時刻データＤｔｎに基づいて所
定の表示タイミングで表示される。

【００７３】このように本実施の形態１の画像信号デー
タ構造では、画像信号を符号化して得られる画像符号化
信号を、各フレームに対応する画像表示処理の周期が可
変であるか否かを示す表示周期識別子Ｄｆを含む構成と
したので、各フレームに対する画像表示の周期が固定で
ある場合に、簡単な回路構成により、つまり各フレーム
毎に情報量（ビット数）の多い表示時刻データ（表示タ
イミングデータ）Ｄｔｎを参照することなく、表示周期
データＤｐと情報量（ビット数）の少ないフレーム番号
データＢｎに基づいて、画像復号化データＲｇの表示処
理を行うことができる。

【００７４】また、表示周期が固定である画像符号化信
号１００ａには、画像表示の周期Ｔを示す表示周期デー
タＤｐと、フレームの前後関係を示すフレーム番号Ｂ
（ｎ）を示すデータ（フレーム位置データ）Ｂｎを含む
ので、各フレームに対応する画像表示のタイミングを、
Ｔ×Ｂ（ｎ）という簡単な演算により決定することがで
きる。

【００７５】また、表示周期が可変である画像符号化信
号１００ｂには、各フレームに応じて１つまたは複数の
基準時刻の所要のものｈ’(0)（図２参照）に対して相
対的に設定された、各フレームに対応する画像表示が行
われる表示時刻（表示タイミング）ｈ(n)を示す表示時
刻データ（表示タイミングデータ）Ｄｔｎを含むので、
各フレームに対応する画像表示の周期が可変である場合
には、従来のデータ構造と同様、表示時刻データＤｔｎ
に基づいて各フレームＦ（ｎ）に対応する画像表示のタ
イミングｈ(n)を確定することができる。

【００７６】また、この実施の形態１の画像符号化装置
１０００では、入力される画像信号に基づいて、画像の
表示周期が可変である否かを示す表示周期識別子Ｄｆを
生成する判定器１１３１を備え、表示周期が固定である
画像信号が入力されたとき、上記表示周期識別子Ｄｆ、
画像表示の周期を示す表示周期データＤｐ、フレームの
前後関係を示すフレーム番号データＢｎを画像符号化デ
ータＣｇｎと多重化して出力し、画像表示の周期が可変
である画像信号が入力されたとき、表示周期識別子Ｄｆ
及び各フレームＦ（ｎ）の表示時刻ｈ(n)を示す表示時
刻データＤｔｎを、画像符号化データＣｇｎと多重化し
て出力するようにしたので、各フレームに対する画像表
示の周期が可変であっても固定であっても、各フレーム
の表示タイミングを決定するためのデータが画像符号化
データＣｇｎとともに出力されることとなる。これによ
りフレームの表示周期が固定の場合に表示時刻を定める
のに要するビット数を削減することができ、しかも、フ
レームの表示周期が可変である画像の表示も従来と同様
に行うことができる。

【００７７】さらにこの実施の形態１の画像復号化装置
２０００では、上記画像符号化装置１０００から送られ
てくる多重ビットストリームＭ１に含まれている、表示
周期識別子Ｄｆ、画像表示の周期を示す表示周期データ
Ｄｐ、フレームの前後関係を示すフレーム番号データＢ
ｎ、各フレームの表示時刻ｈ(n)を示す表示時刻データ
Ｄｔｎ及び画像符号化データＣｇｎを分離するデータ分
離器２１１０と、上記画像符号化データＣｇｎを復号化
して画像復号化データＲｇを出力する復号化器２１２０
とを備え、表示周期が固定である画像復号化データＲｇ
を、表示周期データＤｐ及びフレーム番号データＢｎに
基づいて所定の表示タイミングで表示し、表示周期が可
変である画像復号化データＲｇを、表示時刻データＤｔ
ｎに基づいて所定の表示タイミングで表示するので、各
フレームの画像復号化データＲｇを、そのフレーム表示
周期が可変であるか否かに拘わらず正しい表示タイミン
グでもって表示することができる。

【００７８】なお、上記実施の形態１で説明した画像信
号データ構造においては、画像データ（多重ビットスト
リーム）の先頭に表示周期識別子Ｄｆを、フレームデー
タ（各フレームの符号列）の先頭に、フレーム番号デー
タＢｎ，表示時刻データＤｔｎなどを挿入しているが、
上記表示周期識別子，フレーム番号データ，表示時刻デ
ータ等は、必ずしも対応するヘッダの先頭に挿入される
必要はなく、表示周期識別子及び表示周期データは画像
データ（画像符号化信号）のヘッダ部分に、フレーム番
号データ，表示時刻データ等はフレームに対応するデー
タ（符号列）のヘッダ部分に挿入されていれば、同期信
号などの後に挿入されてもよい。

【００７９】また、上記実施の形態１では、表示周期デ
ータＤｐは表示周期識別子Ｄｆの直後に挿入している
が、表示周期データＤｐは、必ずしも、表示周期識別子
と連続するようその直後に挿入する必要はなく、表示周
期データは、画像データのヘッダ部分において、表示周
期識別子の後に挿入されていればよい。

【００８０】さらに、上記実施の形態１では、図２にお
ける表示の順番を示す番号ｎ′（＝Ｂ（ｎ））として、
画像データの表示順序での先頭から通し番号を割り当て
ているが、必ずしも通し番号を割り当てる必要はなく、
予め定めた先頭番号から後尾番号までの複数の番号をフ
レーム番号として周期的に割り当てるようにしても構わ
ない。

【００８１】例えば、４ビットでフレーム番号を表す場
合は、０から１５の番号を周期的にフレームに割り当て
る。この場合、表示時刻については、ｈ’(n’)＝ｈ
ｐ’（１５）＋（ｎ′＋１）×Ｔで表される。ここでｈ
ｐ’（ｎ’）は、直前の周期におけるフレーム番号Ｂ
（ｎ）（＝ｎ′）に対応する表示時刻を表すものとして
おり、従って、この場合、ｈ’(n’)は、ｈｐ’(n’)の
次の周期におけるフレーム番号Ｂ（ｎ）（＝ｎ′） に
対応する表示時刻を示すこととなる。なお、ｈｐ’（１
５）は直前の周期における最後のフレームに対応する表
示時刻を示している。

【００８２】さらに、上記実施の形態１では、フレーム
の特定は、フレーム番号データにより行っているが、こ
れに限るものではなく、フレームの前後関係を規定する
データであれば、所定のルールによりフレームの前後関
係を示すデータ、所定のテーブルを参照してフレームの
前後関係を規定するデータ等でもよい。

【００８３】また、上記実施の形態１における表示時刻
データは、複数の基準時間に対する相対的な時刻を示す
ものであり、例えば、基準時刻は複数のフレームに対し
て１つ設定してもよく、また前のフレームの表示時刻を
基準時刻としてもよい。さらに、１つまたは複数の基準
時刻を予め設定し、あるルールまたは信号に基づいて、
いずれの基準時刻を参照してフレームの表示時刻を表す
かを決定するようにしてもよい。

【００８４】さらには、上記実施の形態１では、復号化
側での各フレームに対する再生処理のタイミングを決定
するための付加データとして、各フレームの表示タイミ
ングを設定するための表示周期識別子，表示周期デー
タ，及びフレーム番号データあるいは表示時刻データを
含む画像符号化信号のデータ構造について示したが、画
像符号化信号のデータ構造は、上記各フレームの表示タ
イミングに代えて、各フレームの復号化処理のタイミン
グを決定する付加データ，つまり復号周期識別子，復号
周期データ，及びフレーム番号データあるいは復号時刻
データを含むものであってもよく、以下このようなデー
タ構造を実施の形態１の変形例として説明する。

【００８５】（実施の形態１の変形例）この実施の形態
１の変形例のデータ構造は、実施の形態１の画像符号化
信号１００ａにおける表示周期識別子Ｄｆ及び表示周期
データＤｐを、復号周期識別子及び復号周期データに置
き換え、実施の形態１の画像符号化信号１００ｂにおけ
る表示時刻データＤｔｎを、復号時刻データに置き換え
たものである。

【００８６】ここで、上記復号周期識別子は、各フレー
ムに対応する、画像符号化信号を復号化する復号化処理
の周期が可変であるか否かを示すものであり、復号化処
理の周期が固定である画像符号化信号には復号化周期固
定識別子として、復号化処理の周期が可変である画像符
号化信号には復号化周期可変識別子として挿入される。

【００８７】また、上記復号周期データは各フレームに
対応する復号化処理の周期ＤＴを示すデータであり、上
記復号時刻データは、各フレームに応じて１つまたは複
数の基準時刻の所要のものに対して相対的に設定され
た、各フレームに対応する復号化処理が行われるタイミ
ング（復号時刻Ｄｈ（ｎ））を示すデータである。

【００８８】また、実施の形態１の変形例のデータ構造
を有する画像符号化信号を生成する符号化処理は、図３
に示すフローにおけるステップＳ１１、Ｓ１１ａ，Ｓ１
１ｂ，Ｓ１３ａ，Ｓ１３ｂにおける処理を、以下のよう
に置換することにより実現できる。

【００８９】つまり、ステップＳ１１における表示周期
の判定処理を、復号周期が固定であるか否かを判定する
処理に置き換え、ステップＳ１１ａにおける表示周期固
定識別子Ｄｆを付加する処理を、上記復号周期固定識別
子を付加する処理に、ステップＳ１１ｂにおける表示周
期可変識別子Ｄｆを付加する処理を、上記復号周期可変
識別子を付加する処理に置き換える。さらに、ステップ
Ｓ１３ａにおける表示周期データＤｐを付加する処理
を、上記復号周期データを付加する処理に置き換え、ス
テップＳ１３ｂにおける表示時刻データＤｔｎを付加す
る処理を、上記復号時刻データを付加する処理に置き換
える。

【００９０】また、図４(b)は、上記実施の形態１の変
形例の符号化処理を行うハードウエアとしての画像符号
化装置１０００ａの構成を示している。この画像符号化
装置１０００ａは、上記実施の形態１における画像符号
化装置１０００の判定器１１３１に代えて、上記入力さ
れる画像信号Ｓｇに基づいて、フレームに対応する復号
化処理の周期が一定であるか否か（つまり、復号周期が
固定であるか可変であるか）を判定して、復号周期ＤＴ
が一定であるか否かを示す復号周期識別子ＤＥｆを出力
する判定器１１３１ａを備えている。

【００９１】また、上記画像符号化装置１０００ａは、
上記実施の形態１の画像符号化装置１０００における表
示周期データ発生器１１３２及び表示時刻生成器１１３
４に代えて、上記入力された画像信号Ｓｇに基づいて、
フレームの復号化処理の周期（固定周期）ＤＴを示す復
号周期データＤＥｐを生成する復号周期データ生成器
（第１のデータ生成器）１１３２ａと、上記入力された
画像信号Ｓｇに基づいて、各フレームの復号時刻を示す
復号時刻データＤＥｔｎを生成する復号時刻データ生成
器（第３のデータ生成器）１１３４ａとを備えたもので
ある。その他の構成は上記実施の形態１の画像符号化装
置１０００と同様となっている。

【００９２】このような構成の画像符号化装置１０００
ａでは、多重化器（ＭＵＸ）１１２０では、上記判定器
１１３１ａからの復号周期識別子ＤＥｆ，上記符号化器
１１１０からの画像符号化データＣｇｎ，上記開閉スイ
ッチ１１４１からの復号周期データＤＥｐ，及び上記選
択スイッチ１１４２の出力が多重化されて、多重ビット
ストリームＭ１ａが、復号周期が固定である画像符号化
信号、あるいは復号周期が可変である画像符号化信号と
して出力される 一方、実施の形態１の変形例のデータ構造を有する画像
符号化信号を復号化する復号化処理は、図５に示すフロ
ーにおけるステップＳ２１，Ｓ２２ａ，Ｓ２２ｂ，Ｓ２
３ａ，Ｓ２３ｂ，Ｓ２４ａ，Ｓ２４ｂ，Ｓ２５ａの処理
を以下のように置き換えることにより実現できる。

【００９３】具体的には、ステップＳ２１における表示
周期の判定処理を、復号周期が固定であるか否かを判定
する処理に置き換え、ステップＳ２２ａにおける表示周
期Ｔを示す表示周期データＤｐを読み込む処理を、上記
復号周期ＤＴを示す復号周期データＤＥｐを読み込む処
理に置き換え、ステップＳ２２ｂにおける表示時刻ｈ
（ｎ）を示す表示時刻データＤｔｎを読み込む処理を、
上記復号時刻Ｄｈ（ｎ）を示す復号時刻データＤＥｔｎ
を読み込む処理に置き換える。

【００９４】また、ステップＳ２３ａ及びＳ２４ａにお
ける、フレーム番号データＢｎを読み込んで表示時刻ｈ
（ｎ）を決定する処理を、復号周期データＤＥｐに基づ
いて、順次入力される各フレームの画像符号化データに
対応する復号時刻Ｄｈ（ｎ）を決定するとともに、上記
フレーム番号データＢｎに基づいて各フレームに対する
表示時刻ｈ（ｎ）を決定する処理に置き換える。

【００９５】また、ステップＳ２３ｂにおける、表示時
刻データＤｔｎに基づいて表示時刻ｈ（ｎ）を決定する
処理を、復号時刻データＤＥｔｎに基づいて復号時刻Ｄ
ｈ（ｎ）を決定するとともに、該データＤＥｔｎに基づ
いて表示時刻ｈ（ｎ）を決定する処理に置き換える。

【００９６】さらに、ステップＳ２５ａにおける、フレ
ームＦ（ｎ）の画像符号化データＣｇｎを復号化して表
示時刻ｈ（ｎ）に表示する処理を、上記フレームＦ
（ｎ）の画像符号化データＣｇｎを復号時刻Ｄｈ（ｎ）
に復号化して、表示時刻ｈ（ｎ）に表示する処理に置き
換え、ステップＳ２４ｂにおける、フレームＦ（ｎ）の
画像符号化データＣｇｎを復号化して時刻ｈ（ｎ）に表
示する処理を、上記フレームＦ（ｎ）の画像符号化デー
タＣｇｎを復号時刻Ｄｈ（ｎ）に復号化して、表示時刻
ｈ（ｎ）に表示する処理に置き換える。

【００９７】また、図６(b)は、上記実施の形態１の変
形例の復号化処理を行うハードウエアとしての画像復号
化装置２０００ａの構成を示している。この画像復号化
装置２０００ａは、上記画像符号化装置１０００ａから
出力された多重ビットストリームＭ１ａに対して、復号
化処理及び表示処理を含む再生処理を行う構成となって
いる。

【００９８】すなわち、この画像復号化装置２０００ａ
は、上記実施の形態１における画像復号化装置２０００
のデータ分離器２１１０に代えて、上記多重ビットスト
リームＭ１ａから、画像符号化データＣｇｎ，復号周期
識別子ＤＥｆ，復号周期データＤＥｐ，及びフレーム番
号データＢｎあるいは復号時間データＤＥｔｎを取り出
して出力するデータ分離器（ＤＥＭＵＸ）２１１０ａを
備えている。

【００９９】また、上記画像復号化装置２０００ａは、
上記復号周期識別子ＤＥｆに基づいて、上記復号周期デ
ータＤＥｐを導通させる導通状態と該復号周期データＤ
Ｅｐを遮断する遮断状態との間で切り替わる第１の開閉
スイッチ２１４０ａと、上記復号周期識別子ＤＥｆに基
づいて、上記フレーム番号データＢｎを導通する導通状
態と該フレーム番号データＢｎを遮断する遮断状態との
間で切り替わる第２の開閉スイッチ２１５０ａと、上記
復号周期識別子ＤＥｆに基づいて、上記復号時刻データ
ＤＥｔｎを導通する導通状態と該復号時刻データＤＥｔ
ｎを遮断する遮断状態との間で切り替わる第３の開閉ス
イッチ２１６０ａとを有ししている。

【０１００】そしてこの画像復号化装置２０００では、
第１の開閉スイッチ２１４０ａの出力である復号周期デ
ータＤＥｐ、及び第３の開閉スイッチ２１６０ａの出力
である復号時刻データＤＥｔｎが復号化器２１２０ａ及
び表示装置２１３０ａに供給され、上記第２の開閉スイ
ッチ２１５０ａの出力であるフレーム番号データＢｎが
表示装置２１３０ａにのみ供給されるようになってい
る。

【０１０１】そして、復号化器２１２０ａでは、復号周
期が固定である画像符号化データＣｇｎを、上記復号周
期データＤＥｐに基づいて決まるタイミング（復号時刻
Ｄｈ（ｎ））で各フレーム毎に復号化し、一方、復号周
期が可変である画像符号化データＣｇｎを、上記復号時
刻データＤＥｔｎに基づいて決まるタイミング（復号時
刻Ｄｈ（ｎ））で各フレーム毎に復号化する構成となっ
ている。

【０１０２】さらに、上記表示装置２１３０ａでは、復
号周期が固定である画像復号化データＲｇを、上記復号
周期データＤＥｐとフレーム番号データＢｎに基づいて
決まるタイミング（表示時刻ｈ（ｎ））で各フレーム毎
に表示し、一方、復号周期が可変である画像復号化デー
タＲｇを、上記復号時刻データＤＥｔｎに基づいて決ま
るタイミング（表示時刻ｈ（ｎ））で各フレーム毎に表
示する構成となっている。

【０１０３】その他の構成は上記実施の形態１の画像復
号化装置２０００と同一である。以下、上記実施の形態
１の変形例による画像復号化装置２０００ａの動作につ
いて簡単に説明する。このような構成の画像復号化装置
２０００ａでは、上記多重ビットストリームＭ１ａが入
力されると、データ分離器２１１０ａにて、画像符号化
データＣｇｎ，復号周期識別子ＤＥｆ，復号周期データ
ＤＥｐ，及びフレーム番号データＢｎあるいは復号時間
データＤＥｔｎが分離される。

【０１０４】そして、復号化器２１２０ａでは、入力さ
れた画像復号化信号の復号周期が固定であるときは、画
像符号化データＣｇｎが、上記復号周期データＤＥｐに
基づいて決まるタイミング（復号時刻Ｄｈ（ｎ））で各
フレーム毎に復号化され、該復号化器２１２０ａから出
力された画像復号化データＲｇは、上記復号周期データ
ＤＥｐとフレーム番号データＢｎに基づいて決まるタイ
ミング（表示時刻ｈ（ｎ））で各フレーム毎に表示され
る。

【０１０５】一方、入力された画像復号化信号の復号周
期が可変であるときは、画像符号化データＣｇｎが、上
記復号時刻データＤＥｔｎに基づいて決まるタイミング
（復号時刻Ｄｈ（ｎ））で各フレーム毎に復号化され、
該復号化器２１２０ａから出力された画像復号化データ
Ｒｇは、上記復号時刻データＤＥｔｎに基づいて決まる
タイミング（表示時刻ｈ（ｎ））で各フレーム毎に表示
される。

【０１０６】このような実施の形態１の変形例では、上
記実施の形態１の同様、画像信号を符号化して得られる
画像符号化信号を、各フレームに対応する画像復号化処
理の周期が可変であるか否かを示す復号周期識別子ＤＥ
ｆを含む構成としたので、各フレームに対する画像復号
化処理の周期が固定である場合に、簡単な回路構成によ
り、つまり各フレーム毎に情報量（ビット数）の多い復
号時刻データＤＥｔｎを参照することなく、復号周期デ
ータＤＥｐにのみ基づいて画像符号化データの復号化処
理を行うことができるといった効果がある。

【０１０７】なお、上記実施の形態１の変形例の画像復
号化装置では、画像符号化信号に含まれる各フレームに
対する復号化処理のタイミングを決定するためのデータ
に基づいて、各フレームの復号化処理とともに、各フレ
ームの画像表示を行うものを示したが、上記画像復号化
装置は、画像符号化信号に含まれる各フレームに対する
表示処理のタイミングを決定するためのデータに基づい
て、各フレームの表示処理とともに、各フレームの復号
化処理を行うものであってもよい。

【０１０８】この場合は、上記各フレームに対応する復
号化処理が行われる復号タイミングは、復号化処理の対
象となる対象フレームを含む複数のフレームの表示タイ
ミングデータに基づいて設定する。つまり、上記対象フ
レームの復号タイミングを、該対象フレームの表示タイ
ミングデータ及びその次にデータが伝送されてくる次フ
レームの表示タイミングデータに基づいて、該両フレー
ムのうちの早い方の表示タイミングより所定のオフセッ
ト時間だけ早いタイミングに設定する。

【０１０９】具体的には、復号化処理の対象となる対象
フレームの表示タイミングが、この対象フレームの次に
データが伝送されてくる次フレームの表示タイミングよ
り早いときは、上記オフセット時間を対象フレームに対
する復号化処理に要する時間以上の大きさに設定する。
一方、復号化処理の対象となる対象フレーム（例えばＰ
−ＶＯＰ）の表示タイミングより、この対象フレームの
次にデータが伝送されてくる次フレーム（例えばＢ−Ｖ
ＯＰ）の表示タイミングの方が早いときは、上記オフセ
ット時間を対象フレームに対する復号化処理に要する時
間と、次フレームに対する復号化処理に要する時間の合
計時間以上の大きさに設定する。

【０１１０】実施の形態２．図７(a)は、本発明の実施
の形態２による、フレーム表示周期が一定である画像符
号化信号１２０ａのデータ構造を示している。上記画像
符号化信号１２０ａは、１つの画像（ＭＰＥＧ４では１
つのオブジェクトに対応する画像）に対応する、フレー
ム表示周期が固定である画像信号を符号化して得られる
ものであり、先頭のヘッダＨに続いて、各フレームＦ
（０），Ｆ（１），Ｆ（２），・・・，Ｆ（ｎ）に対応
する符号列Ｓｃ０，Ｓｃ１，Ｓｃ２，・・・，Ｓｃｎを
伝送順に配列した構造となっている。この画像符号化信
号１２０ａでは、ヘッダＨ内に、フレーム表示周期が固
定であるか否かを示す表示周期識別子Ｄｆ、フレーム表
示周期が微小単位時間（１／Ｎ）のＭ（自然数）倍であ
ることを該乗数Ｍにより示す表示周期乗数データＤｍ、
及び上記微小単位時間（１／Ｎ）を求めるための値Ｎ
（自然数）を示す微小単位時間データＤｋが挿入され、
各フレームの符号列Ｓｃ０，Ｓｃ１，Ｓｃ２，・・・，
Ｓｃｎの先頭に、そのフレームの表示時刻ｙ’０，ｙ’
３，ｙ’１，・・・，ｙ’ｎ’（図１７(a)参照）を示
す表示時刻データＤｙ０，Ｄｙ１，Ｄｙ２，・・・，Ｄ
ｙｎが挿入されている。なお、上記画像符号化信号１２
０ａのヘッダＨ内では、微小単位時間データＤｋ，表示
周期識別子Ｄｆ，及び表示周期乗数データＤｍがこの順
序で伝送されるよう配列されている。

【０１１１】また、各フレームの符号列Ｓｃ０，Ｓｃ
１，Ｓｃ２，・・・，Ｓｃｎには、上記表示時刻データ
Ｄｙ０，Ｄｙ１，Ｄｙ２，・・・，Ｄｙｎに続いて、画
像符号化データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇ
ｎが挿入されている。

【０１１２】この画像符号化信号１２０ａでは、基準時
刻をｘとすると（図１７(a) 参照）、ＶＯＰ０，ＶＯＰ
３，ＶＯＰ１，・・・に対応する各フレームＦ（０），
Ｆ（１），Ｆ（２），・・・の表示時刻ｈ(0)，ｈ(1)，
ｈ(2)，・・・は、表示時刻データＤｙ０，Ｄｙ１，Ｄ
ｙ２，・・・に基づいて、ｘ＋ｙ／Ｎ（ｙ＝ｙ’０，
ｙ’３，ｙ’１，・・・）として求めることができる。

【０１１３】ところが、この画像符号化信号１２０ａに
は、微小単位時間データＤｋと表示周期乗数データＤｍ
が含まれているため、上記表示時刻データＤｙ０，Ｄｙ
１，Ｄｙ２１，・・・を用いなくても、微小単位時間デ
ータＤｋから得られる微小単位時間（１／Ｎ）と表示周
期乗数データＤｍから得られるＭ（自然数）の値とか
ら、フレームの表示周期Ｔ（＝Ｍ×１／Ｎ）を求め、基
準時刻ｘにより決まる本来の各フレームＦ（ｎ）の表示
時刻ｈ（ｎ）（＝ｘ＋ｙ×Ｍ×１／Ｎ）に各フレームの
画像を表示することができる。

【０１１４】図７(b)は、本発明の実施の形態２によ
る、フレーム表示周期が可変である画像符号化信号１２
０ｂのデータ構造を示している。この画像符号化信号１
２０ｂは、上記画像符号化信号１２０ａにおけるヘッダ
部分Ｈの表示周期乗数データＤｍを取り除いたデータ構
造となっている。

【０１１５】以下、上記のような画像符号化信号１２０
ａあるいは１２０ｂを生成する画像信号の符号化処理、
及びその復号化処理について説明する。図８は上記符号
化処理のフローを示す図である。まず、上記符号化処理
では、入力された所定の画像に対応する画像信号に対応
するビットストリームのヘッダ部に上記微小単位時間デ
ータＤｋが付加され（ステップＳ３０）、さらに、該所
定の画像に対応する画像信号の表示周期が固定であるか
否かの判定が行われる（ステップＳ３１）。この判定の
結果、表示周期が固定である場合は、上記画像信号の表
示周期が固定であることを示す表示周期固定識別子Ｄｆ
が、上記ビットストリームのヘッダに、上記微小単位時
間データＤｋに続くよう付加され（ステップＳ３２）、
さらに上記表示周期乗数データＤｍが上記ヘッダに上記
表示周期固定識別子Ｄｆに続くよう付加される（ステッ
プＳ３３）。その後、上記所定の画像を構成する各フレ
ームＦ（ｎ）の伝送順序を示す番号ｎに相当するカウン
タ値ｎがｎ＝０にセットされる（ステップＳ３５）。

【０１１６】次に、上記伝送順序における最初のフレー
ムＦ（０）に対応する符号列として、対応するフレーム
の表示時刻データＤｙｎ（＝Ｄｙ０）及び画像符号化デ
ータＤｇｎ（＝Ｃｇ０）が順次上記ヘッダＨに付加され
る（ステップＳ３６，Ｓ３７）。その後、上記画像信号
における処理対象フレームが、上記伝送順序における最
終のフレームであるか否かの判定が行われ（ステップＳ
３８）、処理対象フレームが最終フレームでなければ、
上記伝送順序がｎ番目であるフレームＦ（ｎ）（＝Ｆ
（０））に対応するカウンタ値ｎが１つインクリメント
されて（ステップＳ３９）、続くフレームＦ（ｎ＋１）
（＝Ｆ（１））に対して、上記ステップＳ３６〜Ｓ３９
における処理が行われる。

【０１１７】上記ステップＳ３６〜Ｓ３９における処理
は、ステップＳ３８にて処理対象フレームが最終フレー
ムであると判定されるまで繰り返し行われる。これによ
り上記画像符号化信号１２０ａが生成される。一方、上
記ステップＳ３１での判定の結果、表示周期が可変であ
る場合は、上記画像信号の表示周期が可変であることを
示す表示周期可変識別子Ｄｆが、上記画像信号に対応す
るビットストリームのヘッダに、上記微小単位時間デー
タＤｋに続くよう付加される（ステップＳ３４）。その
後は、上記ステップＳ３５〜Ｓ３９の処理が行われて、
上記画像符号化信号１２０ｂが生成される。

【０１１８】図９(a)は、上記本実施の形態２の符号化
処理を行うハードウエアとしての画像符号化装置１２０
０の構成を示すブロック図である。上記実施の形態２に
おける画像符号化装置１２００は、上記実施の形態１の
画像符号化装置１０００と同様、入力される画像信号Ｓ
ｇを符号化して符号化データＣｇｎを生成する符号化器
１１１０と、上記入力される画像信号Ｓｇに基づいて、
フレームの表示周期が一定であるか否か（つまり、表示
周期が固定であるか可変であるか）を判定して、表示周
期が一定であるか否かを示す表示周期識別子Ｄｆを出力
する判定器１１３１とを有している。

【０１１９】また上記画像符号化装置１２００は、上記
入力された画像信号Ｓｇに基づいて、微小単位時間デー
タＤｋを生成する微小単位時間データ生成器（第１のデ
ータ生成器）１２３２と、上記入力された画像信号Ｓｇ
に基づいて、フレーム表示周期を微小単位時間を単位と
して表現するための数値Ｍを示す表示周期乗数データＤ
ｍを生成する表示周期乗数データ生成器（第２のデータ
生成器）１２３３と、上記入力された画像信号Ｓｇに基
づいて、各フレームの表示時刻ｈ（ｎ）を示す表示時刻
データ（表示タイミングデータ）Ｄｙｎを生成する表示
時刻データ生成器（第３のデータ生成器）１２３４とを
有している。

【０１２０】さらに、上記画像符号化装置１２００は、
上記判定器１１３１からの表示周期識別子Ｄｆに基づい
て、上記表示周期乗数データＤｍを導通させる導通状態
と該表示周期乗数データＤｍを遮断する遮断状態との間
で切り替わる開閉スイッチ１２４１を有している。

【０１２１】そして、上記画像符号化装置１２００は、
上記第１のデータ生成器１２３２からの微小単位時間デ
ータＤｋ，上記判定器１１３１からの表示周期識別子Ｄ
ｆ，上記開閉スイッチ１２４１からの表示周期乗数デー
タＤｍ，第３のデータ生成器１２３４からの表示時刻デ
ータＤｙｎ，及び上記符号化器１１１０からの画像符号
化データＣｇｎを多重化して多重ビットストリームＭ２
を生成する多重化器（ＭＵＸ）１２２０を有しており、
該多重ビットストリームＭ２を上記画像符号化信号１２
０ａあるいは画像符号化信号１２０ｂとして出力する構
成となっている。

【０１２２】以下簡単に上記画像符号化装置１２００の
動作について説明する。まず、上記画像符号化装置１２
００に所定の画像に対応する画像信号Ｓｇが入力される
と、上記判定器１１３１では、該画像信号Ｓｇの表示周
期が可変である否かの判定が行われ、判定結果を示す表
示周期識別子Ｄｆが出力される。このとき、上記画像信
号Ｓｇに基づいて、第１〜第３のデータ生成器１２３２
〜１２３４では、それぞれ上記微小単位時間データＤ
ｋ，表示周期乗数データＤｍ，及び表示時刻データＤｙ
ｎが生成され、上記符号化器１１１０では、上記画像信
号Ｓｇが符号化されて画像符号化データＣｇｎとして出
力される。

【０１２３】またこのとき、上記微小単位時間データＤ
ｋ，表示周期識別子Ｄｆ，表示時刻データＤｙｎ及び画
像符号化データＣｇｎは常に多重化器１２２０に出力さ
れ、上記表示周期乗数データＤｍは、表示周期識別子Ｄ
ｆにより導通状態となった開閉スイッチ１２４１を介し
て多重化器１２２０に出力される。

【０１２４】つまり、画像信号として、上記各フレーム
に対応する画像表示の周期が固定である画像信号が入力
されたとき、上記微小時間データＤｋ，表示周期識別子
Ｄｆ，表示周期乗数データＤｍ、並びに、各フレームに
対応する表示時刻データＤｔｎ及び画像符号化データＣ
ｇｎが上記多重化器１２２０に出力される。すると、該
多重化器１２２０では、上記微小単位時間データＤｋ、
表示周期識別子Ｄｆ、表示周期乗数データＤｍ、画像符
号化データＣｇｎ、及び表示時刻データＤｙｎが多重化
されて、多重ビットストリームＭ２として画像符号化信
号１２０ａが出力される。

【０１２５】一方、上記画像信号として、上記各フレー
ムに対応する画像表示の周期が可変である画像信号が入
力されたときは、上記開閉スイッチ１２４１は表示周期
識別子Ｄｆにより遮断状態となり、上記微小単位時間デ
ータＤｆ及び表示周期識別子Ｄｆとともに、上記各フレ
ームの表示時刻データＤｙｎ及び画像符号化データＣｇ
ｎが上記多重化器１２２０に出力される。すると該多重
化器１２２０では、上記微小単位時間データＤｆ及表示
周期識別子Ｄｆとともに、各フレームの表示時刻データ
Ｄｙｎ及び画像符号化データＣｇｎが多重化されて、多
重ビットストリームＭ２として画像符号化信号１２０ｂ
が出力される。

【０１２６】次に、図１０を用いて実施の形態２の画像
信号データ構造を有する画像符号化信号を復号化する復
号化処理について説明する。図１０は上記実施の形態２
における復号化処理のフローを示す図である。まず、復
号化処理では、符号化側から送られてくる多重ビットス
トリームＭ２（画像符号化信号１２０ａあるいは１２０
ｂ）における微小単位時間データＤｋが読み込まれ（ス
テップＳ４０）、さらに表示周期識別子Ｄｆの検出によ
り、該画像符号化信号の表示周期が固定であるか否かが
判定される（ステップＳ４１）。この判定の結果、表示
周期が固定であると判定されれば、画像符号化信号のヘ
ッダ部分Ｈから、表示周期Ｔが微小単位時間（１／Ｎ）
のＭ（自然数）倍であることを該乗数Ｍにより示す表示
周期乗数データＤｍが読込まれ（ステップＳ４２ａ）、
続いて、上記読み込まれた微小単位時間データＤｋ及び
表示周期乗数データＤｍに基づいて、フレーム表示周期
Ｔが演算Ｔ＝（１／Ｎ）×Ｍにより求められる（ステッ
プＳ４３ａ）。

【０１２７】その後、表示順で示される各フレームＦ’
（ｎ’）の、先頭フレームからの順番ｎ′に相当するカ
ウント値ｎ′が０にセットされ（ステップＳ４４ａ）、
各フレームＦ’（ｎ’）の表示時刻ｈ’（ｎ’）が計算
式ｈ’（ｎ’）＝ｎ’×Ｔにより求められる（ステップ
Ｓ４５ａ）。なおこのとき、伝送順に各フレームＦ
（ｎ）に対応する画像符号化データＣｇｎの復号化処理
が行われ、フレームＦ（ｎ）に対応する画像復号化デー
タＲｇが生成される。

【０１２８】その後、表示順にカウントされる処理対象
フレームＦ’（ｎ’）が上記所定の画像における最後の
フレームであるか否かが判定され（ステップＳ４６
ａ）、処理対象フレームが最後のフレームであれば復号
化処理が終了し、最後のフレームでなければ、上記カウ
ンタ値ｎ’が１つインクリメントされ（ステップＳ４７
ａ）、上記ステップＳ４５ａ〜４7ａの処理が、上記ス
テップＳ４６ａにて処理対象フレームが最終フレームで
あると判定されるまで繰り返し行われる。なお、上記復
号化処理では、上記復号化された各フレームＦ’
（ｎ’）に対応する画像復号化データＲｇは、所定の表
示順序ｎ’で、対応する表示時刻ｈ’（ｎ’）に表示さ
れる。

【０１２９】一方、上記ステップＳ４１にて、表示周期
が可変であると判定されれば、伝送順における各フレー
ムＦ（ｎ）の順番ｎに相当するカウント値ｎが０にセッ
トされる（ステップＳ４２ｂ）。続いて、各フレームＦ
（ｎ）のヘッダ部分ＨからこのフレームＦ（ｎ）の表示
時刻ｈ(n)を示す表示時刻データＤｙｎが読込まれ（ス
テップＳ４３ｂ）、さらにこの表示時刻データＤｙｎに
基づいて各フレームＦ（ｎ）の表示時刻ｈ(n)が求めら
れる（ステップＳ４４ｂ）。なおこのとき、伝送順に各
フレームＦ（ｎ）に対応する画像符号化データＣｇｎの
復号化処理が行われる。

【０１３０】その後、伝送順にカウントされる処理対象
フレームＦ（ｎ）が上記所定の画像における最後のフレ
ームであるか否かが判断され（ステップＳ４４ｂ）、該
処理対象フレームが最後のフレームであれば復号化処理
が終了する。一方、上記処理対象フレームが最後のフレ
ームでなければ、この復号化処理におけるカウント値ｎ
が１つインクリメントされ（ステップＳ４６ｂ）、その
後、上記ステップＳ４２ｂ〜ステップＳ４６ｂの処理
が、ステップＳ４５ｂにて処理対象フレームが最後のフ
レームであると判定されるまで行われる。

【０１３１】なお、上記復号化処理では、復号化された
各フレームＦ（ｎ）に対応する画像復号化データＲｇ
は、所定の表示順序ｎ’で、該各フレームＦ（ｎ）に対
応する表示時刻ｈ（ｎ）に表示される。

【０１３２】図１１(a)は上記実施の形態２の復号化処
理を行うハードウエアとしての画像復号化装置の構成を
示すブロック図である。この画像復号化装置２２００
は、上記画像符号化装置２０００から出力された画像符
号化信号１２０ａあるいは１２０ｂである多重ビットス
トリームＭ２を復号化して再生する構成となっている。

【０１３３】すなわち、この画像復号化装置２２００
は、上記多重ビットストリームＭ２から、微小単位時間
データＤｋ，表示周期識別子Ｄｆ，表示周期乗数データ
Ｄｍ，表示時刻データＤｙｎ，及び画像符号化データＣ
ｇｎを取り出して出力するデータ分割器（ＤＥＭＵＸ）
２２１０と、上記画像符号化データＣｇｎを復号化して
画像復号化データＲｇを出力する復号化器２２２０とを
有している。

【０１３４】また、上記画像復号化装置２２００は、上
記表示周期識別子Ｄｆに基づいて、上記表示周期乗数デ
ータＤｍを導通させる導通状態と該データＤｍを遮断す
る遮断状態との間で切り替わる第１の開閉スイッチ２２
４０と、上記表示周期識別子Ｄｆに基づいて、上記表示
時刻データＤｙｎを導通させる導通状態とこのデータＤ
ｙｎを遮断する遮断状態との間で切り替わる第２の開閉
スイッチ２２５０とを有している。

【０１３５】さらに、上記画像復号化装置２２００は、
上記微小単位時間データＤｋ及び画像復号化データＲｇ
とともに各スイッチ２２４０及び２２５０を介して表示
周期乗数データＤｍ及び表示時刻データＤｔｙを受け、
これらのデータ基づいて所定の表示タイミングで画像表
示する表示装置２２３０を有している。

【０１３６】以下簡単に上記画像復号化装置２２００の
動作について説明する。まず、上記画像復号化装置２２
００に、上記画像符号化装置１２００からの多重ビット
ストリームＭ２が入力されると、データ分離器２２１０
にて、上記多重ビットストリームＭ２から微小単位時間
データＤｋ，表示周期識別子Ｄｆ及び表示周期乗数デー
タＤｍが分離され、さらに各フレーム毎に上記多重ビッ
トストリームＭ２から表示時刻データＤｙｎ及び画像符
号化データＣｇｎが分離される。

【０１３７】そして、各フレームの画像符号化データＣ
ｇｎは復号化器２２２０にて復号化されて画像復号化デ
ータＲｇとして表示装置２２３０に出力される。このと
き、上記微小単位時間データＤｋは直接上記表示装置２
２３０に出力され、上記表示周期乗数データＤｍは、表
示周期識別子Ｄｆにより開閉される第１の開閉スイッチ
２２４０を介して表示装置２２３０に出力され、各フレ
ームの表示時刻データＤｙｎは、表示周期識別子Ｄｆに
より開閉される第２の開閉スイッチ２２５０を介して上
記表示装置２２３０に出力される。ここでは、上記多重
ビットストリームＭ２が表示周期が固定である画像符号
化信号１２０ａであるときは、上記第１，第２の開閉ス
イッチ２２４０，２２５０は導通状態となり、上記多重
ビットストリームＭ２が表示周期が可変である画像符号
化信号１２０ｂであるときは、上記第１，第２の開閉ス
イッチ２２４０，２２５０は遮断状態となる。

【０１３８】これにより、上記表示装置２２３０では、
表示周期が固定である画像復号化データＲｇに対応する
各フレームの画像は、微小単位時間データＤｋ及び表示
周期乗数データＤｍに基づいて所定の表示タイミングで
表示される。この場合は、各フレームの表示タイミング
は、演算式Ｔ×ｎ’（Ｔ＝（１／Ｎ）×Ｍ）により決定
される表示時刻ｈ’(n)’＝となる。一方、表示周期が
可変である画像復号化データＲｇに対応するフレームの
画像は、表示時刻データＤｔｙに基づいて所定の表示タ
イミングで表示される。この場合は、所定の表示タイミ
ングは、表示時刻データＤｔｙにより決定される表示時
刻ｈ(n)となる。

【０１３９】このように本実施の形態２では、画像符号
化信号を、各フレームに対応する表示周期が可変である
か否かを示す表示周期識別子Ｄｆに加えて、所定の時間
間隔をＮ（自然数）等分して得られる微小単位時間（１
／Ｎ）の大きさを、該自然数Ｎにより示す微小単位時間
データＤｋと、上記固定のフレーム表示周期Ｔを、これ
が微小単位時間（１／Ｎ）の何倍（Ｍ）に相当するかに
より示す表示周期乗数データＤｍとを含むデータ構造と
したので、フレームレートが固定である画像符号化信号
のフレームレートの値（大きさ）を、各フレームのデコ
ード処理を行う前に予め検出することができ、表示処理
を実現するための種々のハードウエア構成を簡単なもの
とすることができるといった効果がある。

【０１４０】なお、上記実施の形態２では、復号化側で
の各フレームに対する再生処理のタイミングを決定する
ための付加データとして、各フレームの表示タイミング
を設定するための微小単位時間データＤｎ，表示周期識
別子Ｄｆ，表示周期乗数データＤｍ，及び表示時刻デー
タＤｙｎを含む画像符号化信号のデータ構造について示
したが、画像符号化信号のデータ構造は、上記各フレー
ムの表示タイミングに代えて、各フレームの復号化処理
のタイミングを決定する付加データ，つまり微小単位時
間データ，復号周期識別子，復号周期乗数データ，及び
復号時刻データを含むものであってもよく、以下このよ
うなデータ構造を実施の形態２の変形例として説明す
る。

【０１４１】（実施の形態２の変形例）この実施の形態
２の変形例のデータ構造は、実施の形態２の画像符号化
信号１２０ａにおける表示周期識別子Ｄｆ及び表示周期
乗数データＤｐを、復号周期識別子ＤＥｆ及び復号周期
乗数データＤＥｐに置き換え、実施の形態２の画像符号
化信号１２０ｂにおける表示時刻データＤｙｎを、復号
時刻データＤＥｙｎに置き換えたものである。

【０１４２】ここで、上記復号周期識別子ＤＥｆは、各
フレームに対応する、画像符号化信号を復号化する復号
化処理の周期が可変であるか否かを示すものであり、復
号化処理の周期ＤＴが固定である画像符号化信号には復
号化周期固定識別子として、復号化処理の周期ＤＴが可
変である画像符号化信号には復号化周期可変識別子とし
て挿入される。

【０１４３】また、上記復号周期乗数データＤＥｍは、
各フレームに対応する復号化処理の周期ＤＴを上記微小
単位時間（１／Ｎ）の乗数値Ｍにより、つまり該周期が
微小単位時間の何倍（Ｍ）に相当するかにより示すデー
タであり、上記復号時刻データＤＥｙｎは、各フレーム
に対応する復号化処理が行われるタイミングを示すデー
タである。

【０１４４】また、実施の形態２の変形例のデータ構造
を有する画像符号化信号を生成する符号化処理は、図８
に示すフローにおけるステップＳ３１，Ｓ３２，Ｓ３
３，Ｓ３４，Ｓ３６の処理を以下のように置き換えるこ
とにより実現できる。

【０１４５】つまり、ステップＳ３１における表示周期
の判定処理を、復号周期が固定であるか否かを判定する
処理に置き換え、ステップＳ３２，Ｓ３４における表示
周期固定識別子Ｄｆ，表示周期可変識別子Ｄｆを付加す
る処理を、それぞれ復号周期固定識別子ＤＥｆ，復号周
期可変識別子ＤＥｆを付加する処理に置き換える。さら
にステップＳ３３における表示周期乗数データＤｍを付
加する処理を、上記復号周期乗数データＤＥｍを付加す
る処理に置き換え、ステップＳ３６における表示時刻デ
ータＤｙｎを付加する処理を、上記復号時刻データＤＥ
ｙｎを付加する処理に置き換える。

【０１４６】また、図９(b)は、上記実施の形態２の変
形例の符号化処理を行うハードウエアとしての画像符号
化装置１２００ａの構成を示している。この画像符号化
装置１２００ａでは、上記実施の形態２における画像符
号化装置１２００の判定器１１３１に代えて、上記入力
される画像信号Ｓｇに基づいて、フレームに対応する復
号化処理の周期が一定であるか否か（つまり、復号周期
が固定であるか可変であるか）を判定して、復号周期が
一定であるか否かを示す復号周期識別子ＤＥｆを出力す
る判定器１１３１ａを備えている。

【０１４７】また、上記画像符号化装置１２００ａは、
上記実施の形態２の画像符号化装置１２００における表
示周期乗数データ生成器１２３３と表示時刻データ生成
器１２３４に代えて、それぞれ、上記入力された画像信
号Ｓｇに基づいて、フレームの復号化処理の周期をこれ
が上記微小単位時間（１／Ｎ）の何倍に相当するかを示
す乗数値Ｍとしての復号周期乗数データＤＥｍを生成す
る復号周期乗数データ生成器（第２のデータ生成器）１
２３３ａと、上記入力された画像信号Ｓｇに基づいて、
各フレームＦ（ｎ）の復号時刻Ｄｈ(n)を示す復号時刻
データＤＥｙｎを生成する復号時刻データ生成器（第３
のデータ生成器）１２３４ａとを備えたものである。

【０１４８】また、この画像符号化装置１２００ａで
は、その多重化器１２２０ａは、上記微小単位時間デー
タＤｋ，復号周期乗数データＤＥｍ，及び復号時刻デー
タＤＥｔｙを各フレームＦ（ｎ）の画像符号化データＣ
ｇｎと多重化し、復号処理の周期が固定である画像符号
化信号，あるいは復号周期が可変である画像符号化信号
を、多重ビットストリームＭ２ａとして出力する構成と
なっている。その他の構成は上記実施の形態２の画像符
号化装置１２００と同様である。

【０１４９】以下、簡単にこの実施の形態２の変形例に
よる画像符号化装置１２００ａの動作を説明する。この
ような構成の画像符号化装置１２００ａでは、画像信号
Ｓｇが入力されると、上記判定器１１３１ａでは、該画
像信号Ｓｇの復号周期が可変である否かの判定が行われ
て、判定結果を示す復号周期識別子ＤＥｆが出力され、
また、第１のデータ生成器１２３２ａでは上記微小単位
時間データＤｋが、第２，第３のデータ生成器１２３３
ａ，１２３４ａでは、復号周期乗数データＤＥｍ，復号
時刻データＤＥｙｎがそれぞれ生成され、上記符号化器
１１１０では、上記画像信号Ｓｇが符号化されて画像符
号化データＣｇｎとして出力される。

【０１５０】そして、多重化器（ＭＵＸ）１２２０ａに
は、上記判定器１２３１ａからの復号周期識別子ＤＥ
ｆ，上記符号化器１１１０からの符号化データＣｇｎ，
及第１，第３のデータ生成器１２３２，１２３４ａから
のデータＤｋ，ＤＥｙｎが入力されるとともに、第２の
データ生成器１２３３ａからの復号周期乗数データＤＥ
ｍが開閉スイッチ１２４１ａを介して入力される。する
と、該多重化器１２２０ａからは、これらのデータが多
重化され、復号周期が固定である画像符号化信号、ある
いは復号周期が可変である画像符号化信号が、上記多重
ビットストリームＭ２ａとして出力される 一方、実施の形態２の変形例のデータ構造を有する画像
符号化信号を復号化する復号化処理は、図１０に示すフ
ローにおける所定ステップＳ４１，Ｓ４２ａ，Ｓ４３
ｂ，Ｓ４４ａ，Ｓ４４ｂ，Ｓ４５ａ，Ｓ４７ａの処理を
以下のように置き換えることにより実現できる。

【０１５１】具体的には、ステップＳ４１における表示
周期の判定処理を、復号周期が固定であるか否かを判定
する処理に置き換え、ステップＳ４２ａにおける表示周
期乗数データＤｍを読み込む処理を、上記復号周期乗数
データＤＥｍを読み込む処理に置き換え、ステップ４３
ｂにおける表示時刻ｈ(n)を示すデータＤｙｎを読み込
む処理を、上記復号時刻Ｄｈ(n)を示すデータＤＥｙｎ
を読み込む処理に置き換える。

【０１５２】また、上記ステップＳ４４ｂにおけるデー
タＤｙｎに基づいて表示時刻ｈ(n)を求める処理を、デ
ータＤＥｙｎに基づいて復号時刻Ｄｈ(n)を求める処理
に置き換え、ステップＳ４４ａにおける、表示順にカウ
ントされる各フレームＦ’（ｎ’）の、先頭フレームか
らの順番ｎ′に相当するカウント値ｎ′が０にセットさ
れる処理を、伝送順にカウントされる各フレームＦ
（ｎ）の、先頭フレームからの順番ｎに相当するカウン
ト値ｎが０にセットされる処理に置き換える。

【０１５３】さらに、ステップＳ４５ａにおける、各フ
レームＦ’（ｎ’）の表示時刻ｈ’（ｎ’）が計算式
ｈ’（ｎ’）＝ｎ’×Ｔにより求められる処理を、各フ
レームＦ（ｎ）の復号時刻Ｄｈ（ｎ）が復号周期ＤＴと
そのフレームの伝送順位を示す番号ｎとによりＤｈ
（ｎ）＝ｎ×ＤＴにより求められる処理に置き換え、ス
テップＳ４７ａにおけるカウント値ｎ′がインクリメン
トされる処理を、カウント値ｎがインクリメントされる
処理に置き換える。

【０１５４】また、図１１(b)は、上記実施の形態２の
変形例の復号化処理を行うハードウエアとしての画像復
号化装置２２００ａの構成を示している。この画像復号
化装置２２００ａは、上記画像符号化装置１２００ａか
ら出力された多重ビットストリームＭ２ａに対して、復
号化処理及び表示処理を含む再生処理を行う構成となっ
ている。

【０１５５】すなわち、この画像復号化装置２２００ａ
は、上記実施の形態２における画像復号化装置２２００
のデータ分離器２２１０に代えて、上記多重ビットスト
リームＭ２ａから、微小単位時間データＤｋ，復号周期
識別子ＤＥｆ，復号周期乗数データＤＥｍ，復号時刻デ
ータＤＥｙｎ，及び画像符号化データＣｇｎを取り出し
て出力するデータ分離器（ＤＥＭＵＸ）２２１０ａを備
えている。

【０１５６】また、この画像復号化装置２２００ａは、
上記実施の形態２の画像復号化装置２２００における第
１，第２の開閉スイッチ２２４０，２２５０に代えて、
復号周期乗数データＤＥｍの導通，非導通を復号周期識
別子ＤＥｇに基づいて制御する第１の開閉スイッチ２２
４０ａと、復号時刻データＤＥｙｎの導通，非導通を復
号周期識別子ＤＥｇに基づいて制御する第２の開閉スイ
ッチ２２５０ａとを備えている。

【０１５７】そして、この画像復号化装置２２００ａで
は、データ分離器２２１０ａからの微小単位時間データ
Ｄｆ、第１，第２のスイッチ２２４０ａ，２２５０ａの
出力である復号周期乗数データＤＥｍ，復号時刻データ
ＤＥｙｎが、復号化器２２２０ａ及び表示装置２２３０
ａに供給されるようになっている。

【０１５８】この復号化器２２２０ａは、復号周期が固
定である各フレームＦ（ｎ）の画像符号化データＣｇｎ
を、上記微小単位時間データＤｋ及び復号周期乗数デー
タＤＥｍに基づいて決まるタイミング（復号時刻Ｄｈ
(n)＝ＤＴ×ｎ）で各フレーム毎に復号化し、復号周期
が可変である各フレームＦ（ｎ）の画像符号化データＣ
ｇｎを、上記復号時刻データＤＥｙｎに基づいて決まる
タイミング（復号時刻Ｄｈ(n)）で各フレーム毎に復号
化する構成となっている。

【０１５９】また、上記表示装置２２３０ａは、復号周
期が固定である各フレームＦ（ｎ）の画像復号化データ
Ｒｇを、上記微小単位時間データＤｋ及び復号周期乗数
データＤＥｍに基づいて決まるタイミング（表示時刻ｈ
(n)）で表示し、復号周期が可変である各フレームＦ
（ｎ）の画像復号化データＲｇを、上記復号時刻データ
ＤＥｙｎに基づいて決まるタイミング（表示時刻ｈ
(n)）で表示する構成となっている。その他の構成は上
記実施の形態２の画像復号化装置２２００と同一であ
る。

【０１６０】以下、簡単に上記実施の形態２の変形例に
よる画像復号化装置２２００ａの動作について説明す
る。このような構成の画像復号化装置２２００ａでは、
上記多重ビットストリームＭ２ａが入力されると、デー
タ分離器２２１０ａにて、微小単位時間データＤｋ，復
号周期乗数データＤＥｍ，復号周期識別子ＤＥｆ，復号
時刻データＤＥｙｎ，及び画像符号化データＣｇｎが分
離される。

【０１６１】そして、上記復号化器２２２０ａでは、入
力された画像符号化信号の復号周期が固定であるとき
は、画像符号化データＣｇｎが、上記微小単位時間デー
タＤｋ及び復号周期乗数データＤＥｍ及びに基づいて決
まるタイミングで各フレーム毎に復号化され、入力され
た画像復号化信号の復号周期が可変であるときは、画像
符号化データＣｇｎが、上記復号時刻データＤＥｙｎに
基づいて決まるタイミング（復号時刻Ｄｈ(n)）で各フ
レーム毎に復号化される。ここで復号周期が固定である
画像符号化信号の復号時刻は、伝送順序を示す番号ｎと
復号周期ＤＴ＝（１／Ｎ）×Ｍ）との積により決まり、
復号周期が可変である画像符号化信号の復号時刻は、復
号周期データＤＥｙｎにより決まる。

【０１６２】さらに、上記表示装置２２３０ａでは、復
号周期が固定である画像復号化データＲｇに対応する各
フレームＦ（ｎ）の画像は、微小単位時間データＤｋ及
び復号周期乗数データＤＥｍに基づいて所定の表示タイ
ミングで表示され、一方、復号周期が可変である画像復
号化データＲｇに対応するフレームＦ（ｎ）の画像は、
復号時刻データＤＥｔｙに基づいて所定の表示タイミン
グで表示される。

【０１６３】このような実施の形態２の変形例では、上
記実施の形態２の同様、画像信号を符号化して得られる
画像符号化データＣｇｎを、各フレームに対応する画像
復号化処理の周期が可変であるか否かを示す復号周期識
別子ＤＥｆ，固定の復号周期を表す微小単位時間データ
Ｄｋ及び復号周期乗数データＤＥｍ，並びに復号時刻を
示す復号時刻データＤＥｙｎを含む構成としたので、各
フレームに対する画像復号化処理の周期が固定である場
合には、簡単な回路構成により、つまり各フレーム毎に
情報量（ビット数）の多い復号時刻データＤＥｙｎを参
照することなく、１つの画像に対応する微小単位時間デ
ータＤｋ及び情報量（ビット数）の少ない復号周期乗数
データＤＥｍのみに基づいて画像符号化信号の復号化処
理を簡単に行うことができる。

【０１６４】また、各フレームに対する画像復号化処理
の周期が可変である場合には、従来と同様に、各フレー
ム毎に復号時刻データＤＥｙｎを参照して画像符号化信
号の復号化処理を行うことができるといった効果があ
る。

【０１６５】なお、上記実施の形態２の変形例の画像復
号化装置２２００ａでは、画像符号化信号に含まれる各
フレームに対する復号化処理のタイミングを決定するた
めのデータに基づいて、各フレームの復号化処理ととも
に、各フレームの画像表示を行うものを示したが、この
画像復号化装置は、画像符号化信号に含まれる各フレー
ムに対する表示処理のタイミングを決定するためのデー
タに基づいて、各フレームの表示処理とともに、各フレ
ームの復号化処理を行うものであってもよい。

【０１６６】この場合は、上記各フレームに対応する復
号化処理が行われる復号タイミングは、復号化処理の対
象となる対象フレームを含む複数のフレームの表示タイ
ミングデータに基づいて設定する。つまり、上記対象フ
レームの復号タイミングを、該対象フレームの表示タイ
ミングデータ及びその次にデータが伝送されてくる次フ
レームの表示タイミングデータに基づいて、該両フレー
ムのうちの早い方の表示タイミングより所定のオフセッ
ト時間だけ早いタイミングに設定する。

【０１６７】具体的には、復号化処理の対象となる対象
フレームの表示タイミングが、この対象フレームの次に
データが伝送されてくる次フレームの表示タイミングよ
り早いときは、上記オフセット時間を対象フレームに対
する復号化処理に要する時間以上の大きさに設定する。
一方、復号化処理の対象となる対象フレーム（例えばＰ
−ＶＯＰ）の表示タイミングより、この対象フレームの
次にデータが伝送されてくる次フレーム（例えばＢ−Ｖ
ＯＰ）の表示タイミングの方が早いときは、上記オフセ
ット時間を対象フレームに対する復号化処理に要する時
間と、次フレームに対する復号化処理に要する時間の合
計時間以上の大きさに設定する。

【０１６８】さらに、上記各実施の形態及びその変形例
で示した画像符号化装置あるいは画像復号化装置による
画像処理をソフトウエアにより行うための符号化処理プ
ログラムあるいは復号化処理プログラムを、フレキシブ
ルディスク等のデータ記憶媒体に記録するようにするこ
とにより、上記各実施の形態で示した処理を、独立した
コンピュータシステムにおいて簡単に実現することが可
能となる。

【０１６９】図１２は、上記各実施の形態及びその変形
例の符号化処理あるいは復号化処理を、上記符号化処理
プログラムあるいは復号化処理プログラムを格納したフ
レキシブルディスクを用いて、コンピュータシステムに
より実施する場合を説明するための図である。図１２
(a)は、フレキシブルディスクの正面からみた外観、断
面構造、及びフレキシブルディスク本体を示し、図１２
(b)は、該フレキシブルディスク本体の物理フォーマッ
トの例を示している。

【０１７０】上記フレキシブルディスクＦＤは、上記フ
レキシブルディスク本体Ｄをフレキシブルディスクケー
スＦＣ内に収容した構造となっており、該フレキシブル
ディスク本体Ｄの表面には、同心円状に外周からは内周
に向かって複数のトラックＴｒが形成され、各トラック
Ｔｒは角度方向に１６のセクタＳｅに分割されている。
従って、上記プログラムを格納したフレキシブルディス
クＦＤでは、上記フレキシブルディスク本体Ｄは、その
上に割り当てられた領域（セクタ）Ｓｅに、上記プログ
ラムとしてのデータが記録されたものとなっている。

【０１７１】また、図１２(c)は、フレキシブルディス
クＦＤに対する上記プログラムの記録、及びフレキシブ
ルディスクＦＤに格納したプログラムを用いたソフトウ
エアによる画像処理を行うための構成を示している。

【０１７２】上記プログラムをフレキシブルディスクＦ
Ｄに記録する場合は、コンピュータシステムＣｓから上
記プログラムとしてのデータを、フレキシブルディスク
ドライブＦDDを介してフレキシブルディスクＦＤに書き
込む。また、フレキシブルディスクＦＤに記録されたプ
ログラムにより、上記画像符号化装置あるいは画像復号
化装置をコンピュータシステムＣｓ中に構築する場合
は、フレキシブルディスクドライブＦDDによりプログラ
ムをフレキシブルディスクＦＤから読み出し、コンピュ
ータシステムＣｓにロードする。

【０１７３】なお、上記説明では、データ記憶媒体とし
てフレキシブルディスクを用いて説明を行ったが、光デ
ィスクを用いても上記フレキシブルディスクの場合と同
様にソフトウェアによる符号化処理あるいは復号化処理
を行うことができる。また、データ記憶媒体は上記光デ
ィスクやフレキシブルディスクに限るものではなく、Ｉ
Ｃカード、ＲＯＭカセット等、プログラムを記録できる
ものであればどのようなものでもよく、これらのデータ
記録媒体を用いる場合でも、上記フレキシブルディスク
等を用いる場合と同様にソフトウェアによる符号化処理
あるいは復号化処理を実施することができる。

【０１７４】さらに、フレキシブルディスク等のデータ
記憶媒体に格納された画像符号化信号を、本実施の形態
１，２あるいはこれらの変形例の画像信号データ構造と
することにより、上記フレキシブルディスクからの画像
符号化信号を復号化して画像表示する際には、フレーム
表示周期あるいは復号化処理の周期が固定の場合に簡単
な回路構成により、画像符号化信号の復号化処理及び表
示処理を含む再生処理を行うことができる。

【０１７５】

【発明の効果】以上のように、本発明に係る画像復号化
方法によれば、複数のフレームに対応する画像符号化デ
ータを含む画像符号化信号を画像復号化データに復号化
し、表示装置に表示する画像復号化方法であって、前記
画像符号化信号は、１つのオブジェクトに対応する画像
の全てのフレームの画像表示間隔が固定であるか可変で
あるかを示す表示周期識別子を含み、前記表示周期識別
子が前記画像表示間隔が固定であることを示す場合、前
記画像符号化信号に含まれるデータであって、微小単位
時間が所定の時間間隔をN（自然数）等分したものであ
ることを示す微小単位時間データと、前記画像表示間隔
が前記微小単位時間のＭ（自然数）倍であることを示す
表示周期乗数データとを用いて算出される表示間隔を、
前記画像復号化データの画像表示間隔とし、前記表示周
期識別子が前記画像表示間隔が可変であることを示す場
合、前記画像符号化信号に含まれる、前記複数のフレー
ムのそれぞれに付随して設定された表示タイミングを示
す表示タイミングデータを、前記画像復号化データの画
像表示タイミングとすることを特徴とするので、フレー
ムレート（各フレームに対する画像表示の周期）が固定
であるか否かに応じて、画像符号化信号に対する表示処
理を、簡単なハードウエア構成により良好に行うことが
できる効果がある。

【０１７６】本発明に係る画像復号化装置によれば、画
像符号化信号から１つのオブジェクトに対応する画像の
全てのフレームの表示間隔が固定であるか可変であるか
を示す表示周期識別子と、画像符号化データとを取り出
す分離器と、前記画像符号化データを画像復号化データ
に復号化する復号化器と、前記画像復号化データを表示
する表示装置とを有し、前記表示周期識別子が前記画像
表示間隔が固定であることを示す場合、前記画像符号化
信号に含まれるデータであって、微小単位時間が所定の
時間間隔をN（自然数）等分したものであることを示す
微小単位時間データと、前記画像表示間隔が前記微小単
位時間のＭ（自然数）倍であることを示す表示周期乗数
データとを用いて算出される表示間隔を、前記画像復号
化データの画像表示間隔とし、前記表示周期識別子が前
記画像表示間隔が可変であることを示す場合、前記画像
符号化信号に含まれる、前記複数のフレームのそれぞれ
に付随して設定された表示タイミングを示す表示タイミ
ングデータを、前記画像復号化データの画像表示タイミ
ングとすることを特徴とするので、フレームレート（各
フレームに対する画像表示の周期）が固定であるか否か
に応じて、画像符号化信号に対する表示処理を、簡単な
ハードウエア構成により良好に行うことができる効果が
ある。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像符号化信号の
データ構造を、フレーム表示周期が固定である場合（図
(a) ）とフレーム表示周期が可変である場合（図(b) ）
とを対比して示す図である。

【図２】上記実施の形態１の、フレーム表示周期が固定
である画像符号化信号に基づいた画像表示の様子を示す
図である。

【図３】上記実施の形態１のデータ構造の画像符号化信
号を生成する符号化処理のフローを示す図である。

【図４】上記実施の形態１，及びその変形例の符号化処
理を行う画像符号化装置の構成（図(a)，図(b)）を示す
ブロック図である。

【図５】上記実施の形態１のデータ構造の画像符号化信
号を復号化する復号化処理のフローを示す図である。

【図６】上記実施の形態１、及びその変形例の復号化処
理を行う画像復号化装置の構成（図(a)，図(b)）を示す
ブロック図である。

【図７】本発明の実施の形態２による、ＭＰＥＧ４に対
応した画像符号化信号のデータ構造を、フレーム表示周
期が固定である場合（図(a)）とフレーム表示周期が可
変である場合（図(b)）とを対比して示す図である。

【図８】上記実施の形態２のデータ構造の画像符号化信
号を生成する符号化処理のフローを示す図である。

【図９】上記実施の形態２、及びその変形例の符号化処
理を行う画像符号化装置の構成（図(a)，図(b)）を示す
ブロック図である。

【図１０】上記実施の形態２のデータ構造の画像符号化
信号を復号化する復号化処理のフローを示す図である。

【図１１】上記実施の形態２，及びその変形例の復号化
処理を行う画像復号化装置の構成（図(a)，図(b)）を示
すブロック図である。

【図１２】上記各実施の形態の符号化及び復号化処理を
コンピュータシステムにより行うためのプログラムを格
納したデータ記憶媒体（図(a)，(b)）、及び上記コンピ
ュータシステム（図(c)）を説明するための図である。

【図１３】従来のＭＰＥＧ２における固定フレームレー
トのテーブルを示す図である。

【図１４】従来の画像データ構造を有する画像符号化信
号を説明するための概念図である。

【図１５】１つの画像を構成するフレーム系列における
データ伝送順序とデータ表示順序を対比させて示す図で
ある。

【図１６】従来の、フレーム表示周期が可変である画像
符号化信号に基づいた画像表示の様子を示す図である。

【図１７】現在のＭＰＥＧ４に対応した各フレーム（Ｖ
ＯＰ）の表示時刻の表現方法（図(a)，(b)）は、及びＭ
ＰＥＧ４に対応した画像符号化信号の現状のデータ構造
（図(c)）を説明するための図である。

【符号の説明】

１００ａ，１００ｂ，１２０ａ，１２０ｂ 画像符号化
信号 １０００，１０００ａ，１２００，１２００ａ 画像符
号化装置 １１１０ 符号化器 １１２０，１１２０ａ，１２２０，１２２０ａ 多重化
器（ＭＵＸ） １１３１，１１３１ａ 判定器 １１３２ 表示周期データ生成器（第１のデータ生成
器） １１３２ａ 復号周期データ生成器（第１のデータ生成
器） １１３３ 番号データ生成器（第２のデータ生成器） １１３４ 表示時刻データ生成器（第３のデータ生成
器） １１３４ａ 復号時刻データ生成器（第３のデータ生成
器） １１４１，１２４１，１２４１ａ，２１４０ 開閉スイ
ッチ １１４２ 選択スイッチ １２３２ 微小単位時間データ生成器（第１のデータ生
成器） １２３３ 表示周期乗数データ生成器（第２のデータ生
成器） １２３３ａ 復号周期乗数データ生成器（第２のデータ
生成器） １２３４ 表示時刻データ生成器（第３のデータ生成
器） １２３４ａ 復号時刻データ生成器（第３のデータ生成
器） ２０００，２０００ａ，２２００，２２００ａ 画像復
号化装置 ２１１０，２１１０ａ，２２２０，２２２０ａ データ
分離器（ＤＥＭＵＸ） ２１２０，２１２０ａ，２２２０，２２２０ａ 復号化
器 ２１３０，２１３０ａ，２２３０，２２３０ａ 表示装
置 ２１４０ａ，２２４０，２２４０ａ 第１の開閉スイッ
チ ２１５０ａ，２２５０，２２５０ａ 第２の開閉スイッ
チ ２１６０ａ 第３の開閉スイッチ Ｄｆ 表示周期識別子 ＤＥｆ 復号周期識別子 Ｄｐ 表示周期データ ＤＥｐ 復号周期データ Ｄｍ 表示周期乗数データ ＤＥｍ 復号周期乗数データ Ｄｎ 微小単位時間データ Ｄｔｎ 表示時刻データ ＤＥｔｎ 復号時刻データ Ｂ０，Ｂ１，Ｂ２，Ｂｎ フレーム番号データ Ｂ（０）〜Ｂ（１８），Ｂ（ｎ） フレーム番号 Ｃｇ０，Ｃｇ１，Ｃｇ２，Ｃｇｎ 画像符号化データ Ｄｔ０，Ｄｔ１，Ｄｔ２，Ｄｔｎ 表示時刻データ Ｄｙ０，Ｄｙ１，Ｄｙ２，Ｄｙｎ 表示時刻データ ＤＥｔｎ，ＤＥｔｎ′ 復号時刻データ Ｆ（０）〜Ｆ（１８），Ｆ（ｎ） フレーム Ｆ’（０）〜Ｆ’（１８），Ｆ’（ｎ’） フレーム Ｈ ヘッダ ｈ(0)〜ｈ(4)，ｈ’(0)〜ｈ’(3)，ｈ(n)，ｈ’(n’)
表示時刻 Ｍ１，Ｍ１ａ，Ｍ２，Ｍ２ａ 多重ビットストリーム Ｒｇ 画像復号化データ Ｓｇ 画像信号 Ｓａ０，Ｓａ１，Ｓａ２，Ｓａｎ，Ｓｂ０，Ｓｂ１，Ｓ
ｂ２，Ｓｂｎ，Ｓｃ０，Ｓｃ１，Ｓｃ２，Ｓｃｎ 符号
列 ｔ’(1)〜ｔ’(4)，ｔ’(n’) 表示間隔

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ブン チュン セン 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5C059 MA00 MA05 MA14 MB00 PP05 PP06 PP07 RB01 RB09 RB14 RC04 RC11 SS07 SS08 SS10 SS20 UA02 UA05 UA39

Claims (8)

【特許請求の範囲】
1. 【請求項１】 複数のフレームに対応する画像符号化デ
   ータを含む画像符号化信号を画像復号化データに復号化
   し、表示装置に表示する画像復号化方法であって、 前記画像符号化信号は、１つのオブジェクトに対応する
   画像の全てのフレームの画像表示間隔が固定であるか可
   変であるかを示す表示周期識別子を含み、 前記表示周期識別子が前記画像表示間隔が固定であるこ
   とを示す場合、前記画像符号化信号に含まれるデータで
   あって、微小単位時間が所定の時間間隔をN（自然数）
   等分したものであることを示す微小単位時間データと、
   前記画像表示間隔が前記微小単位時間のＭ（自然数）倍
   であることを示す表示周期乗数データとを用いて算出さ
   れる表示間隔を、前記画像復号化データの画像表示間隔
   とし、 前記表示周期識別子が前記画像表示間隔が可変であるこ
   とを示す場合、前記画像符号化信号に含まれる、前記複
   数のフレームのそれぞれに付随して設定された表示タイ
   ミングを示す表示タイミングデータを、前記画像復号化
   データの画像表示タイミングとすることを特徴とする画
   像復号化方法。
2. 【請求項２】 前記画像符号化データはヘッダを有し、 前記ヘッダは前記表示周期識別子を含むことを特徴とす
   る請求項１記載の画像復号化方法。
3. 【請求項３】 前記表示周期データは、前記画像符号化
   信号にて前記表示周期識別子よりも後ろに挿入されてい
   ることを特徴とする請求項２記載の画像復号化方法。
4. 【請求項４】 画像符号化信号から１つのオブジェクト
   に対応する画像の全てのフレームの表示間隔が固定であ
   るか可変であるかを示す表示周期識別子と、画像符号化
   データとを取り出す分離器と、 前記画像符号化データを画像復号化データに復号化する
   復号化器と、 前記画像復号化データを表示する表示装置とを有し、 前記表示周期識別子が前記画像表示間隔が固定であるこ
   とを示す場合、前記画像符号化信号に含まれるデータで
   あって、微小単位時間が所定の時間間隔をN（自然数）
   等分したものであることを示す微小単位時間データと、
   前記画像表示間隔が前記微小単位時間のＭ（自然数）倍
   であることを示す表示周期乗数データとを用いて算出さ
   れる表示間隔を、前記画像復号化データの画像表示間隔
   とし、 前記表示周期識別子が前記画像表示間隔が可変であるこ
   とを示す場合、前記画像符号化信号に含まれる、前記複
   数のフレームのそれぞれに付随して設定された表示タイ
   ミングを示す表示タイミングデータを、前記画像復号化
   データの画像表示タイミングとすることを特徴とする画
   像復号化装置。
5. 【請求項５】 前記画像符号化データはヘッダを有し、 前記ヘッダは前記表示周期識別子を含むことを特徴とす
   る請求項４記載の画像復号化装置。
6. 【請求項６】 前記表示周期データは、前記画像符号化
   信号にて前記表示周期識別子よりも後ろに挿入されてい
   ることを特徴とする請求項５記載の画像復号化装置。
7. 【請求項７】 請求項１ないし３のいずれかに記載の画
   像復号化方法をコンピュータに実行させることを特徴と
   するプログラム。
8. 【請求項８】 請求項７記載のプログラムを記録したこ
   とを特徴とする記録媒体。