JP2001320706A - 画像符号化方法，画像符号化装置，及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 フレームの表示周期が固定の場合に表示時刻
を定めるのに要するビット数を削減することができ、し
かも、フレームの表示周期が可変である画像の表示も従
来と同様に可能とする。 【解決手段】 入力される画像信号に基づいて、画像の
表示周期が可変である否かを示す表示周期識別子Ｄｆを
生成する判定器１１３１を備え、表示周期が固定である
画像信号が入力されたとき、上記表示周期識別子Ｄｆ、
画像表示の周期を示す表示周期データＤｐ、フレームの
前後関係を示すフレーム番号データＢｎを画像符号化デ
ータＣｇｎと多重化して出力し、画像表示の周期が可変
である画像信号が入力されたとき、表示周期識別子Ｄｆ
及び各フレームＦ（ｎ）の表示時刻ｈ(n)を示す表示時
刻データＤｔｎを、画像符号化データＣｇｎと多重化し
て出力するようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化方法，
画像符号化装置，及び記憶媒体に関し、特に、画像の各
フレームに対応する復号化処理及び画像表示処理を含む
再生処理のタイミングに関する再生タイミングデータを
含む画像符号化信号を生成する符号化処理、並びに上記
符号化処理を行う装置をコンピュータにより実現するた
めの画像処理プログラムを格納したデータ記憶媒体に関
するものである。

【０００２】

【従来の技術】近年、音声，画像，その他のデータを統
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等
の情報を人に伝達する手段がマルチメディアの対象とし
て取り上げられるようになってきた。一般に、マルチメ
ディアとは、文字だけでなく、図形、音声、特に画像等
を同時に関連づけて表すことをいうが、上記従来の情報
メディアをマルチメディアの対象とするには、その情報
をディジタル形式にして表すことが必須条件となる。

【０００３】ところが、上記各情報メディアの持つ情報
量をディジタル情報量として見積もってみると、文字の
場合１文字当たりの情報量は１〜２バイトであるのに対
し、音声の場合１秒当たり６４kbits（電話品質）、さ
らに動画については１秒当たり１００Mbits（現行テレ
ビ放送品質）以上の情報量が必要となり、上記テレビ等
の情報メディアではその膨大な情報をディジタル形式で
そのまま扱うことは現実的ではない。例えば、テレビ電
話は、６４kbps〜１．５Mbpsの伝送速度を持つサービス
総合ディジタル網（ＩＳＤＮ:Integrated Services Dig
ital Network）によってすでに実用化されているが、テ
レビ・カメラの映像をそのままＩＳＤＮで送ることは不
可能である。

【０００４】そこで、必要となってくるのが情報の圧縮
技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ
（国際電気通信連合 電気通信標準化部門）で国際標準
化されたＨ．２６１規格の動画圧縮技術が用いられてい
る。また、ＭＰＥＧ１規格の情報圧縮技術によると、通
常の音楽用ＣＤ（コンパクト・ディスク）に音声情報と
ともに画像情報を入れることも可能となる。

【０００５】ここで、ＭＰＥＧ（Moving Picture Exper
ts Group) とは、動画像に対する画像信号の圧縮伸長技
術に関する国際規格であり、ＭＰＥＧ１は、動画データ
を１．５Mbpsまで、つまりテレビ信号の情報を約１００
分の１にまで圧縮する規格である。また、ＭＰＥＧ１規
格を対象とする伝送速度が主として約１．５Mbpsに制限
されていることから、さらなる高画質化の要求をみたす
べく規格化されたＭＰＥＧ２では、動画データが２〜１
５Mbpsに圧縮される。

【０００６】このように現在すでに実用化されているＭ
ＰＥＧ１，２の規格に対応する、画像信号の圧縮伸長技
術では、基本的に各フレームに対する画像表示タイミン
グの間隔，つまりフレームレートとして、固定フレーム
レートのみを採用しているため、フレームレートは高々
数種類しかなく、このためＭＰＥＧ２では、符号化デー
タとともに伝送されてくるフラグ（frame rate code）
に基づいて、図１３に示すテーブルを参照して、数通り
のフレームレート（frame rate value）の中からフラグ
により指定されるものを選択するようにしている。

【０００７】ところで、現在、ＩＳＯ（International
Organization for Standardization: 国際標準化機構）
によって、具体的には、ＭＰＥＧ１，ＭＰＥＧ２と標準
化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG1
1)によって、最新の画像符号化方式であるＭＰＥＧ４の
標準化作業が進められている。このＭＰＥＧ４は、物体
単位での符号化処理や信号操作を可能とし、マルチメデ
ィア時代に必要な新しい機能を実現するものである。こ
のＭＰＥＧ４では、当初、低ビットレートの画像処理の
標準化を目指してきたが、現在はその標準化の対象は、
インタレース画像にも対応した高ビットレートの画像処
理も含む、より汎用的な画像処理に拡張されている。

【０００８】このＭＰＥＧ４においても、ビデオ・オブ
ジェクト・レイア（ＭＰＥＧ２のビデオシーケンスに相
当）の先頭にＭＰＥＧ２のテーブル（図１３参照）と同
様なテーブルを追加すれば、該テーブルによりフレーム
レートは表現できるが、ＭＰＥＧ４では、低ビットレー
トの画像信号から高ビットレートの高画質の画像信号ま
での幅広い範囲の画像信号を処理対象とするため、必要
となるフレームレートは無数にあり、このため、ＭＰＥ
Ｇ４では、実際問題としてフレームレートの判定をテー
ブルを用いて行うことは困難である。

【０００９】そこで、ＭＰＥＧ４では、無数とも言える
固定フレームレートに対応し、しかも各フレームに対す
る画像表示タイミングや復号化処理のタイミングの間隔
が可変である画像に対応するために、フレーム毎に挿入
された各フレームの表示時刻データを含むデータ構造を
採用している。

【００１０】図１４は、従来の画像符号化信号２００の
データ構造の一例を示す。従来のデータ構造を有する画
像符号化信号２００は、１つの画像（ＭＰＥＧ４では１
つのオブジェクトに対応する画像を構成するフレーム系
列）に対応するものであり、先頭のヘッダＨに続いて、
各フレームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ
（ｎ）に対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・
・，Ｓａｎを伝送順に配列した構造となっている。ここ
で、ｎは１つの画像を構成するフレーム系列における、
各フレームのデータの伝送順序に対応する番号であり、
先頭フレームの番号ｎを０としている。

【００１１】この例では、各フレームの符号列Ｓａ０，
Ｓａ１，Ｓａ２，・・・，Ｓａｎの先頭には、そのフレ
ームの表示時刻を示す表示時刻データＤｔ０，Ｄｔ１，
Ｄｔ２，・・・，Ｄｔｎが配置されており、各表示時刻
データに続いて画像符号化データＣｇ０，Ｃｇ１，Ｃｇ
２，・・・，Ｃｇｎが配置されている。この表示時刻デ
ータは、基準時刻に対する相対的な時刻を表しているた
め、画像を構成するフレームの数（フレーム数）が多く
なるにつれて、この表示時刻を表すのに必要な情報量，
つまり表示時刻データのビット数は多くなる。

【００１２】また、上記画像符号化信号の復号化側で
は、上記各フレームに対応する符号列Ｓａ０〜Ｓａｎ中
に挿入されている上記表示時刻データＤｔ０〜Ｄｔｎに
基づいて、該表示時刻データが指示する時刻にそのフレ
ームに対する画像表示が行われる。

【００１３】図１５は、１つの画像を構成するフレーム
系列における、各フレームに対応する画像符号化データ
の伝送順序と表示順序とを示している。ここで、ｎは上
記のように伝送順序を示す番号であり、ｎ′は表示順序
を示す番号（先頭フレームの番号ｎ′を０とする）であ
る。また、フレームＦ（ｎ）（Ｆ（０）〜Ｆ（１８））
は、図１４に示すデータ構造におけるフレームの順序
（つまり伝送順序）に基づいて配列したものであり、フ
レームＦ′（ｎ′）（Ｆ′（０）〜Ｆ′（１８））は、
上記伝送順に並ぶ各フレームＦ（ｎ）を、図１５で矢印
により示すようにその配列順序が表示順になるよう並べ
替えて配列したものである。従って、矢印で対応付けら
れたフレームＦ（ｎ）とフレームＦ′（ｎ′）は同一の
ものであり、例えば、フレームＦ（０），Ｆ（１），Ｆ
（２），Ｆ（３）はそれぞれ、フレームＦ′（０），
Ｆ′（３），Ｆ′（１），Ｆ′（２）と同じフレームで
ある。

【００１４】ここでは、伝送順に配列されたフレームＦ
（ｎ）（Ｆ（０）〜Ｆ（１８））のうち、フレームＦ
（０），Ｆ（１３）はＩ（Intra-Picture）フレーム
（以下Ｉ−ＶＯＰともいう。）であり、フレームＦ
（１），Ｆ（４），Ｆ（７），Ｆ（１０），Ｆ（１６）
は、Ｐ（Predictive-Picture）フレーム（以下Ｐ−ＶＯ
Ｐともいう。）であり、フレームＦ（２），Ｆ（３），
Ｆ（５），Ｆ（６），Ｆ（８），Ｆ（９），Ｆ（１
１），Ｆ（１２），Ｆ（１４），Ｆ（１５），Ｆ（１
７），Ｆ（１８）は、Ｂ（Bidirectionally predictive
-Picture）フレーム（以下Ｂ−ＶＯＰともいう。）であ
る。

【００１５】また、上記のように伝送順（ＩＰＢＢＰＢ
ＢＰＢＢＰＢＢＩＢＢＰＢＢ）に配列されたフレームＦ
（ｎ）（Ｆ（０）〜Ｆ（１８））を表示順（ＩＢＢＰＢ
ＢＰＢＢＰＢＢＰＢＢＩＢＢＰ）に並べ替えたときの順
番ｎ′が、各フレームＦ（ｎ）に対応するフレーム番号
Ｂ（ｎ）（Ｂ（０）〜Ｂ（１８））により表される。つ
まり、このフレーム番号Ｂ（ｎ）の値は、表示順序を示
す番号ｎ′を表しており、具体的には図１５に示すよう
に、Ｂ（０）＝０，Ｂ（１）＝３，・・・，Ｂ（１７）
＝１６，Ｂ（１８）＝１７となる。従って、ここでは、
画像表示におけるＩ−ＶＯＰの周期ＬはＬ＝１５、画像
表示におけるＩ−ＶＯＰとＰ−ＶＯＰを含めたＶＯＰの
周期ＭはＭ＝３となっている。

【００１６】そして、上記フレーム番号Ｂ（ｎ）＝ｎ′
は、ｎを用いて次式（１）〜（３）により表される。 Ｂ（ｎ）＝ｎ＝０ （ｎ＝０のとき） …（１） Ｂ（ｎ）＝ｎ＋Ｍ−１ （ｎ＝Ｍ×ｉ＋１のとき） …（２） ただし、ｉ，Ｍは０以上の整数（０，１，２，・・・）
である。 Ｂ（ｎ）＝ｎ−１ （ｎがその他の値であるとき） …（３）

【００１７】ここで、上記条件（ｎ＝０）は最初のＩ−
ＶＯＰに対応するもの、上記条件（ｎ＝Ｍ×ｉ＋１）
は、最初のＩ−ＶＯＰ以外のＩ−ＶＯＰとＰ−ＶＯＰの
両ＶＯＰに対応するもの、上記条件（ｎがその他の値で
あるとき）は、Ｂ−ＶＯＰに対応するものである。

【００１８】ただし、上記式（１）〜（３）は、各Ｉ−
ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰに相当するフレームの
符号列が周期的に伝送されてくる場合における上記表示
順序ｎ′と伝送順序ｎの関係Ｂ（ｎ）＝ｎ′を定義する
ものであり、各Ｉ−ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰに
相当するフレームの符号列が一定周期で伝送されてくる
場合以外の場合は、表示順序ｎ′と伝送順序ｎは、上記
式（１）〜（３）とは別の関係式あるいは方法により一
対一に対応付けられることとなる。

【００１９】図１６は、各フレームに対応する画像表示
タイミングの間隔が可変である画像表示方法の一例を説
明するための図である。図中、ｔ’(n’)（ｔ’(1),
ｔ’(2), ｔ’(3), ｔ’(4) ・・・） は、フレーム
Ｆ’(n’-1) の画像表示が行われる時刻と、フレーム
Ｆ’(n’) の画像表示が行われる時刻との時間間隔を示
し、ｈ’(1)，ｈ’(2)，ｈ’(3) は、フレームＦ’(0)
の画像表示が行われる時刻ｈ’(0)を基準として、フレ
ームＦ’(1)，Ｆ’(2)， Ｆ’(3) の画像表示が行われ
る時刻を示している。また、ｈ(n)（ｈ(1)，ｈ(2)，ｈ
(3)，ｈ(4)，・・・） は、フレームＦ(0) ＝Ｆ’(0)の
画像表示が行われる時刻ｈ’(0)を基準として、フレー
ムＦ(n)（Ｆ(1)， Ｆ(2)， Ｆ(3)，Ｆ(4)，・・・） の
画像表示が行われる時刻を示している。従って、ここで
は、表示順に配列されたフレームＦ’(n’)の表示時刻
ｈ’(n’)は、ｈ’(n’)＝ｈ’(n’-1)+t’(n’)であ
る。なおｈ’(0)はｈ’(0) ＝０としている。

【００２０】次に、図１４に示す画像データ構造を有す
る画像符号化信号が復号化されて画像表示が行われる状
況を図１６を用いて簡単に説明する。復号化側では、図
１４に示す該画像符号化信号２００が入力されると、該
画像符号化信号２００を構成する各フレームＦ(0)，Ｆ
(1)，Ｆ(2)，・・・の画像符号化データＣｇ０，Ｃｇ
１，Ｃｇ２，・・・に対して復号化処理施されるととも
に、各フレームＦ(０)，Ｆ(１)，Ｆ(２)，・・・に対応
する画像表示が、各フレームの表示時刻データＤｔ０，
Ｄｔ１，Ｄｔ２，・・・に基づいた画像表示時刻ｈ(0)
，ｈ(1) ，ｈ(2)・・・に行われる。

【００２１】このようにして、符号化された画像信号
（画像符号化信号）が各フレームに対する画像表示タイ
ミングの間隔（画像表示周期）が固定であるものだけで
なく、可変であるものについても、復号化側で画像符号
化信号が復号化されて所定のタイミングで画像表示が行
われるようにしている。

【００２２】なお、符号化された画像信号が各フレーム
に対する画像表示の間隔が固定であるものである場合に
は、上記の画像表示周期が可変である場合と同様、上記
各フレームＦ(0)，Ｆ(1) ，Ｆ(2) ，・・・に対応する
画像表示が、各フレームの表示時刻データＤｔ０，Ｄｔ
１，Ｄｔ２，・・・に基づいた画像表示時刻ｈ(0)，ｈ
(1)，ｈ(2)，・・・に行われることは言うまでもない。

【００２３】ところで、フレームレート(１秒間に表示
されるフレームの数)は、これを単純にｋ(自然数)ビッ
トで表現しようとしても、テレビジョン放送で使用され
る周波数、例えば２９．９７・・・Ｈｚ，正確には３０
０００／１００１Ｈｚのような値については表現するこ
とができない。

【００２４】そこで、このようなフレームレートは以下
のように表現することができる。つまり、所定の時間間
隔（１modulo time ）を例えば１秒とし、これをＮ（Ｎ
は自然数）等分した微小単位時間（１／Ｎ）を１単位時
間（１time tick ）として、フレームレートが可変であ
る画像についても、またフレームレートが固定である画
像についても、各フレームの表示時刻を表すようにして
いる。

【００２５】具体的には、図１７(a) に示すように、表
示順に並ぶ各フレームＦ’(0),Ｆ’(1)’，Ｆ’(2)，
Ｆ’(3)の画像ＶＯＰ０，ＶＯＰ１，ＶＯＰ２，ＶＯＰ
３の表示時刻は、例えば、時刻Ｘを基準として、微小単
位時間（１／Ｎ）をｙ（ＶＯＰrate increment ）個集
めたもの（ｙ／Ｎ）により表す。例えば、画像ＶＯＰ
０，ＶＯＰ１，ＶＯＰ２，ＶＯＰ３については、それぞ
れ上記値ｙは、ｙ＝ｙ’０，ｙ＝ｙ’１，ｙ＝ｙ’２，
ｙ＝ｙ’３となっている。

【００２６】図１７(c)は、上記微小単位時間（１／Ｎ
秒）と上記値ｙとにより、各フレームの画像表示タイミ
ングを示すデータ構造の画像符号化信号２００ａを示し
ている。

【００２７】この画像符号化信号２００ａでは、微小単
位時間に相当するＮ（自然数）を示す微小単位時間デー
タＤｋを含むヘッダＨに続いて、各フレームＦ（ｎ）
（Ｆ（０），Ｆ（１），Ｆ（２），・・・）に対応する
符号列Ｓｂｎ（Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・）が配
列されており、各符号列Ｓｂｎには、基準時刻ｘを基準
として上記微小単位時間（１／Ｎ）とその個数ｙを用い
て測定した表示時刻ｈ(n)(ｈ(0)，ｈ(1)，ｈ(2)，・・
・)を示す表示周期乗数データＤｙｎ（Ｄｙ０，Ｄｙ
１，Ｄｙ２，・・・）が含まれている。

【００２８】なお、図１７(c)中、Ｃｇｎ（Ｃｇ０，Ｃ
ｇ１，Ｃｇ２，・・・）は、上記各フレームＦ（ｎ）
（Ｆ（０），Ｆ（１），Ｆ（２），・・・）に対応する
画像符号化データである。

【００２９】但し、図１７(b)に示すように、画像ＶＯ
Ｐ０がＩ−ＶＯＰ（Ｉフレーム）、ＶＯＰ１，２がＢ−
ＶＯＰ（Ｂフレーム）、ＶＯＰ３がＰ−ＶＯＰ（Ｐフレ
ーム）である場合、画像符号化信号２００ａとしてのビ
ットストリームでは、図１７(c)に示すように、Ｉ−Ｖ
ＯＰ（ＶＯＰ０）に相当するフレームＦ（０）の符号列
に続くフレームＦ（１），Ｆ（２）の符号列としては、
Ｐ−ＶＯＰ（ＶＯＰ３），Ｂ−ＶＯＰ（ＶＯＰ１）に相
当するものが配列されている。

【００３０】

【発明が解決しようとする課題】以下まず、図１４〜図
１６を用いて説明した画像信号データ構造における問題
点について説明する。上述したように、画像符号化信号
が、フレームの表示間隔が一定値Ｔである画像信号を符
号化したものである場合は、各フレームに対応する画像
表示タイミングｈ(n) は、ｈ(n) ＝ｎ′×Ｔとなってい
る。ここでｎ′は表示時順序を示す番号であり、ｎ′＝
Ｂ（ｎ）となっている。言い換えると、このようなフレ
ームの表示間隔が一定値Ｔである画像符号化信号（つま
りフレームレートが固定である画像に対応する符号化信
号）は、復号化側で上記一定な表示間隔である時間Ｔが
分かれば、伝送順序におけるｎ番目のフレームＦ(n) の
表示時刻h(n)は、上記一定な表示間隔Ｔをｎ′(＝Ｂ
（ｎ）)倍することにより一意に定めることができるに
も拘わらず、復号化の際には、フレームＦ(n)（Ｆ(0)
，Ｆ(1) ，Ｆ(2) ，・・・）に対応する画像符号化信
号に挿入されている、図１４に示すような表示時刻デー
タＤｔｎ（Ｄｔ０，Ｄｔ１，Ｄｔ２，・・・）を用い
て、複雑な表示処理を行わざるを得ないという問題があ
った。

【００３１】次に、図１７を用いて説明した画像信号デ
ータ構造の問題点について説明する。上記のように、現
在のＭＰＥＧ４で提案されている画像信号のデータ構造
では、フレームレートが固定であっても、フレームレー
トの値（大きさ）は、数フレームをデコードしないと分
からない構造となっており、このため、実際の復号化処
理を実現するための回路構成を簡略化するのが困難であ
るといった問題がある。

【００３２】簡単に説明すると、図１７(b)に示すよう
に、ＶＯＰ０がＩ−ＶＯＰ（Ｉフレーム）、ＶＯＰ１，
２がＢ−ＶＯＰ（Ｂフレーム）、ＶＯＰ３がＰ−ＶＯＰ
（Ｐフレーム）である場合、画像符号化信号２００ａと
してのビットストリームでは、図１７(c)に示すよう
に、Ｉ−ＶＯＰ（Ｉフレーム）に相当するフレームＦ
（０）に続いて、Ｐ−ＶＯＰ（Ｐフレーム）に相当する
フレームＦ（１）及びＢ−ＶＯＰ（Ｂフレーム）に相当
するフレームＦ（２）が配列されているため、このＢ−
ＶＯＰ（Ｂフレーム）に対応するフレームＦ（２）が伝
送されてくるまでは、フレーム表示周期（１fixed ＶＯ
Ｐ increment），つまりこの場合はＩ−ＶＯＰの表示タ
イミングとその次に表示されるＢ−ＶＯＰ（Ｂフレー
ム）の表示タイミングの間隔が分からないという問題が
ある。

【００３３】本発明は、上記のような問題点を解消する
ためになされたもので、フレームレート（各フレームに
対する画像表示の周期）等の復号化側での各フレームに
対する再生処理の周期が固定である画像符号化信号に対
して、簡単なハードウエア構成により復号化処理や表示
処理を含む再生処理を施すことができ、しかも上記フレ
ームレート等が可変である画像符号化信号に対する再生
処理も行うことができる符号化処理を行う画像符号化方
法及び画像符号化装置、並びに上記画像符号化方法によ
る処理をコンピュータにより実現するためのプログラム
を格納した記憶媒体を得ることを目的とする。

【００３４】

【課題を解決するための手段】この発明（請求項１）に
係る画像符号化方法は、画像信号を符号化して出力する
画像符号化方法であって、前記画像信号を符号化した画
像符号化データとともに、前記画像信号に含まれる全て
のフレームに対する画像再生処理の周期が固定であるか
否かを示す再生周期識別子を出力し、前記再生周期識別
子によって前記画像再生処理の周期が固定であることが
示される場合、前記再生周期識別子とともに、前記画像
再生処理の周期を示す再生周期データを出力することを
特徴とするものである。

【００３５】この発明（請求項２）は、請求項１に記載
の画像符号化方法において、前記再生周期識別子は、前
記画像信号に含まれる全てのフレームに対応する画像再
生の周期が固定であるか、あるいは可変でありうるかを
示すものであり、前記再生周期識別子が、前記画像再生
処理の周期が可変でありうることを示す場合、前記再生
周期識別子とともに、前記画像再生処理を行うタイミン
グを示す再生タイミングデータを出力することを特徴と
するものである。

【００３６】この発明（請求項３）は、請求項１に記載
の画像符号化方法において、前記再生周期識別子は、前
記フレームに対応する画像表示の周期が固定であるか否
かを示す表示周期識別子であり、前記再生周期データ
は、前記画像表示の周期を示す表示周期データであるこ
とを特徴とするものである。

【００３７】この発明（請求項４）は、請求項１に記載
の画像符号化方法において、前記再生周期識別子は、前
記画像信号を復号化する復号化処理の周期が固定である
か否かを示す復号周期識別子であり、前記再生周期デー
タは、前記前記フレームの復号化処理の周期を示す復号
周期データであることを特徴とするものである。

【００３８】この発明（請求項５）に係る画像符号化方
法は、画像に対応した画像信号を符号化して出力する画
像符号化方法であって、前記画像信号を符号化した画像
符号化データとともに、前記画像信号に含まれる全ての
フレームに対する画像再生処理の周期が固定であるか否
かを示す再生周期識別子を出力し、前記再生周期識別子
によって前記画像再生処理の周期が固定であることが示
される場合、前記再生周期識別子とともに、所定の時間
間隔をＮ（自然数）等分して得られる微小単位時間の大
きさを表すために用いる、自然数Ｎを示す微小単位時間
データと、前記フレームに対応した画像再生処理の周期
が前記微小単位時間のＭ（自然数）倍であることを表す
ために用いる、自然数Ｍを示す再生周期乗数データとを
出力することを特徴とするものである。

【００３９】この発明（請求項６）は、請求項５に記載
の画像符号化方法において、前記再生周期識別子は、前
記画像信号に含まれる全てのフレームに対応する画像表
示の周期が固定であるか否かを示す表示周期識別子であ
り、前記再生周期乗数データは、前記画像表示の周期が
前記微小単位時間のＭ（自然数）倍であることを表すた
めの表示周期乗数データであることを特徴とするもので
ある。

【００４０】この発明（請求項７）は、請求項５に記載
の画像符号化方法において、前記再生周期識別子は、前
記画像信号に含まれる全てのフレームに対する復号化処
理の周期が固定であるか否かを示す復号周期識別子であ
り、前記再生周期乗数データは、前記復号化処理の周期
が前記微小単位時間のＭ（自然数）倍であることを表す
ための復号周期乗数データであることを特徴とするもの
である。

【００４１】この発明（請求項８）に係る画像符号化装
置は、画像に対応した画像信号を符号化して出力する画
像符号化装置であって、前記画像信号を符号化して画像
符号化データを出力する符号化器と、前記画像信号に基
づいて、前記画像信号に含まれる全てのフレームに対応
する画像再生処理の周期が固定であるか、あるいは可変
でありうるかを判定し、前記判定結果を示す再生周期識
別子を出力する周期判定手段と、前記画像信号に基づい
て、前記フレームに対応する画像再生処理の周期を示す
再生周期データを生成する第１のデータ生成器と、前記
画像信号に基づいて、前記フレームに対応した、フレー
ムの前後関係を示すフレーム位置データを生成する第２
のデータ生成器と、前記画像信号に基づいて、前記フレ
ームに対応する画像再生処理が行われるタイミングを示
す再生タイミングデータを生成する第３のデータ生成器
と、前記再生周期識別子に基づいて、前記再生周期デー
タを導通させる導通状態と前記再生周期データを遮断す
る遮断状態との間で切替えを行う開閉スイッチと、前記
再生周期識別子に基づいて、前記フレーム位置データと
前記再生タイミングデータの一方を選択する選択スイッ
チと、前記符号化器、前記周期判定手段、前記開閉スイ
ッチ、及び前記選択スイッチの出力を、所定の順序で多
重化して画像符号化信号とする多重化器と、を備えたこ
とを特徴とするものである。

【００４２】この発明（請求項９）は、請求項８に記載
の画像符号化装置において、前記第１のデータ生成器
は、所定の時間間隔をＮ（自然数）等分して得られる微
小単位時間の大きさを表すために用いる、自然数Ｎを示
す微小単位時間データと、前記フレームに対応した画像
再生処理の周期が前記微小単位時間のＭ（自然数）倍で
あることを表すために用いる、自然数Ｍを示す再生周期
乗数データとを生成することを特徴とするものである。

【００４３】この発明（請求項１０）に係る記憶媒体
は、請求項１に記載の画像符号化方法をコンピューター
に行わせるための符号化処理プログラムを含むことを特
徴とするものである。

【００４４】この発明（請求項１１）に係る記憶媒体
は、請求項５に記載の画像符号化方法をコンピューター
に行わせるための符号化処理プログラムを含むことを特
徴とするものである。

【００４５】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。 実施の形態１．図１(a) は、本発明の実施の形態１によ
る、フレーム表示周期が固定（一定）である画像符号化
信号１００ａのデータ構造を示し、図１(b) は本発明の
実施の形態１による、フレーム表示周期が可変である画
像符号化信号１００ｂのデータ構造を示している。

【００４６】上記画像符号化信号１００ａ（図１(a)参
照）は、１つの画像（ＭＰＥＧ４では１つのオブジェク
トに対応する画像）に対応する、フレーム表示周期が固
定である画像信号を符号化して得られるものであり、先
頭のヘッダＨに続いて、各フレームＦ（０），Ｆ
（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列
Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓａｎを伝送順に配
列した構造となっている。ここで、ｎは１つの画像を構
成するフレーム系列における、各フレームのデータ伝送
順序に対応する番号である。

【００４７】この画像符号化信号１００ａでは、ヘッダ
Ｈ内にフレーム表示周期が固定であることを示す表示周
期識別子（表示周期固定識別子）Ｄｆ及びフレーム表示
周期を示す表示周期データＤｐが挿入され、各フレーム
に対応する符号列Ｓａ０，Ｓａ１，Ｓａ２，・・・，Ｓ
ａｎの先頭には、そのフレームが表示される順番ｎ′に
相当するフレーム番号Ｂ（ｎ）を示すフレーム番号デー
タＢ０，Ｂ１，Ｂ２，・・・，Ｂｎが挿入されている。
また、上記各フレームに対応する符号列Ｓａ０，Ｓａ
１，Ｓａ２，・・・，Ｓａｎには、各フレームの画像信
号を符号化して得られる画像符号化データＣｇ０，Ｃｇ
１，Ｃｇ２，・・・，Ｃｇｎが含まれている。

【００４８】図２は、各フレームに対応する画像表示タ
イミングの間隔が固定である画像表示方法の一例を説明
するための図であり、図中、図１６と同一符号は同一の
ものを示しており、Ｔは各フレームの表示タイミングの
間隔が固定である画像のフレーム表示周期である。この
画像符号化信号１００ａでは、図２に示すように、伝送
順に並ぶフレームＦ（ｎ）（ｎ＝０，１，２，・・・）
の表示時刻ｈ(n)は、フレームＦ（０）の表示時刻ｈ(0)
(＝ｈ’(0))をｈ(0)＝０とすると、ｈ（ｎ）＝Ｂ(n)×
Ｔで表される。具体的には、フレームＦ（２）の表示時
刻h(2)はh(2)＝Ｂ(2)×Ｔ、フレームＦ（３）の表示時
刻h(3)はh(3)＝Ｂ(3)×Ｔ、フレームＦ（１）の表示時
刻h(1)はh(1)＝Ｂ(1)×Ｔ、フレームＦ（４）の表示時
刻h(4)はh(4)＝Ｂ(4)×Ｔとなる。

【００４９】従って、この画像符号化信号１００ａの再
生処理では、各フレームに対応する画像符号化データの
復号化により得られる画像復号化データが表示時刻ｈ
（ｎ）に順次表示されることとなる。なおここで、表示
の順番を示す番号ｎ′を表すフレーム番号Ｂ（ｎ）は、
従来技術で説明したように上記（１）〜（３）式によ
り、伝送の順番を示す番号ｎの関数として決定される。

【００５０】一方、上記画像符号化信号１００ｂ（図１
(b)参照）は、１つの画像（ＭＰＥＧ４では１つのオブ
ジェクトに対応する画像）に対応する、フレーム表示周
期が可変である画像信号を符号化して得られるものであ
り、先頭のヘッダＨに続いて、各フレームＦ（０），Ｆ
（１），Ｆ（２），・・・，Ｆ（ｎ）に対応する符号列
Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・，Ｓｂｎを伝送順に配
列した構造となっている。

【００５１】この画像符号化信号１００ｂでは、ヘッダ
Ｈ内にフレーム表示周期が可変であることを示す表示周
期識別子（表示周期可変識別子）Ｄｆが挿入され、各フ
レームＦ（０），Ｆ（１），Ｆ（２），・・・，Ｆ
（ｎ）に対応する符号列Ｓｂ０，Ｓｂ１，Ｓｂ２，・・
・，Ｓｂｎの先頭には、そのフレームが表示される表示
時刻ｈ(0)，ｈ(1)，ｈ(2)，・・・，ｈ(n) を示す表示
時刻データ（表示タイミングデータ）Ｄｔ０，Ｄｔ１，
Ｄｔ２，・・・，Ｄｔｎが挿入されている。また、上記
画像符号化信号１００ｂにおける各フレームに対応する
符号列Ｓｂ０，Ｓｂ１，Ｓｂ２，・・・，Ｓｂｎには、
各フレームの画像信号を符号化して得られる画像符号化
データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇｎが含ま
れている。この画像符号化信号１００ｂの再生処理によ
る画像表示は、図１４に示す従来のデータ構造を有する
画像符号化信号２００の画像表示と同様に行われる。

【００５２】次に作用効果について説明する。本発明の
実施の形態１では、フレーム表示周期が固定である画像
符号化信号１００ａは、図１(a) に示すように、その画
像データ全体のヘッダ部分に、フレーム表示周期が固定
であることを示す表示周期固定識別子Ｄｆと、フレーム
表示周期を示す表示周期データＤｐを挿入するととも
に、フレーム毎に、各フレーム番号Ｂ（０），Ｂ
（１），Ｂ（２），・・・，Ｂ（ｎ）を示すフレーム番
号データＢ０，Ｂ１，Ｂ２，・・・，Ｂｎを挿入したデ
ータ構造となっている。このようなデータ構造の画像符
号化信号１００ａでは、上記表示周期データＤｐからフ
レーム表示周期Ｔが分かり、フレーム番号データＢｎか
ら、１つの画像における各フレームが表示順に数えて何
番目のフレームに相当するかが分かるので、これらのデ
ータＤｐ及びＢｎにより各フレームＦ（ｎ）の表示時刻
ｈ(n)を一意に定めることができる。

【００５３】一方、フレーム表示周期が可変である画像
符号化信号１００ｂは、図１(b) に示すように、その画
像データ全体のヘッダ部分に、表示間隔が可変であるこ
とを示す表示周期可変識別子Ｄｆを挿入し、さらに従来
の画像符号化信号２００のデータ構造と同様に、フレー
ム毎に各フレームの表示時刻ｈ(0)，ｈ(1)，ｈ(2)，・
・・，ｈ(n)を示す表示時刻データＤｔ０，Ｄｔ１，Ｄ
ｔ２ ，・・・，Ｄｔｎを挿入したデータ構造となって
いる。

【００５４】このため、上記画像符号化信号１００ｂを
再生する際には、各フレームＦ（０）〜Ｆ（ｎ）に対応
する画像表示を、該表示時刻データＤｔ０〜Ｄｔｎの示
す表示時刻ｈ(0)〜ｈ(n)に行うことができる。

【００５５】以上のように、画像符号化信号のヘッダ部
分にフレーム表示周期が固定であるか可変であるかを示
す表示周期識別子Ｄｆを挿入することにより、フレーム
表示周期が可変である画像にも対応できる。さらに、フ
レーム表示周期が固定である画像に対しては、情報量の
多い各フレームの表示時刻データＤｔ０〜Ｄｔｎを参照
せずに、表示周期データＤｐと情報量の少ないフレーム
番号データＢｎに基づいて各フレームの画像表示を行う
ことがき、復号化側における画像処理回路を簡単な回路
構成とすることができる。

【００５６】以下、上記のような画像符号化信号１００
ａ，１００ｂを生成する画像信号の符号化処理、及びそ
の復号化処理について説明する。図３は上記符号化処理
のフローを示す図である。

【００５７】まず、上記符号化処理では、入力された所
定の画像に対応する画像信号のフレーム表示周期が固定
であるか否かの判定が行われる（ステップＳ１１）。こ
の判定の結果、フレーム表示周期が固定である場合は、
上記フレーム表示周期が固定であることを示す表示周期
固定識別子Ｄｆが、上記画像信号に対応するビットスト
リームのヘッダＨに付加され（ステップＳ１１ａ）、さ
らに各フレームの伝送順序を示す番号ｎがカウンタ値と
して用いられ、このカウンタ値ｎがｎ＝０にセットされ
る（ステップＳ１２ａ）。続いて、上記固定のフレーム
表示周期Ｔを示す表示周期データＤｐが、上記画像信号
に対応するビットストリームのヘッダＨに付加される
（ステップＳ１３ａ）。

【００５８】次に、上記所定の画像の、伝送順序におけ
る最初のフレームＦ（０）に対応する符号列Ｓａ０とし
て、対応するフレーム番号データＢｎ（＝Ｂ０）及び画
像符号化データＣｇｎ（＝Ｃｇ０）が順次上記ヘッダＨ
に付加される（ステップＳ１４ａ，Ｓ１５ａ）。その
後、上記画像信号の符号化処理における処理対象フレー
ムが上記所定の画像の、伝送順序における最終のフレー
ムであるか否かの判定が行われ（ステップＳ１６ａ）、
該処理対象フレームが最終フレームでなければ、上記カ
ウンタ値ｎが１つインクリメントされて（ステップＳ１
７ａ）、続くフレームＦ（１）に対して、上記ステップ
Ｓ１４ａ〜Ｓ１７ａにおける処理が行われる。

【００５９】上記ステップＳ１４ａ〜Ｓ１７ａにおける
処理は、ステップＳ１６ａにて処理対象フレームが最終
フレームであると判定されるまで繰り返し行われる。一
方、上記ステップＳ１１での判定の結果、フレーム表示
周期が可変である場合は、上記フレーム表示周期が可変
であることを示す表示周期可変識別子Ｄｆが、上記画像
信号に対応するビットストリームのヘッダＨに付加され
（ステップＳ１１ｂ）、さらに各フレームの伝送順序を
示す番号ｎがカウンタ値ｎとして用いられ、このカウン
タ値ｎがｎ＝０にセットされる（ステップＳ１２ｂ）。
次に、上記所定の画像の、伝送順序における最初のフレ
ームＦ（０）に対応する符号列として、対応する表示時
刻データＤｔｎ（＝Ｄｔ０）及び画像符号化データＣｇ
ｎ（＝Ｃｇ０）が順次上記ヘッダに付加される（ステッ
プＳ１３ｂ，Ｓ１４ｂ）。その後、上記画像信号の符号
化処理における処理対象フレームが上記所定の画像にお
ける、最終のフレームであるか否かの判定が行われ（ス
テップＳ１５ｂ）、該処理対象フレームが最終フレーム
でなければ、上記カウンタ値ｎが１つインクリメントさ
れて（ステップＳ１６ｂ）、続くフレームＦ（１）に対
して、上記ステップＳ１３ｂ〜Ｓ１６ｂにおける処理が
行われる。

【００６０】上記ステップＳ１３ｂ〜Ｓ１６ｂにおける
処理は、ステップＳ１５ｂにて処理対象フレームが最終
フレームであると判定されるまで繰り返し行われる。

【００６１】図４(a)は、上記実施の形態１における符
号化処理を行うハードウエアとしての画像符号化装置１
０００の構成を示すブロック図である。この画像符号化
装置１０００は、入力される画像信号Ｓｇを符号化して
画像符号化データＣｇｎを生成する符号化器１１１０
と、上記入力される画像信号Ｓｇに基づいて、フレーム
表示周期が一定であるか否か（つまり、表示周期が固定
であるか可変であるか）を判定して、表示周期が一定で
あるか否かを示す表示周期識別子Ｄｆを出力する判定器
１１３１と、上記入力された画像信号Ｓｇに基づいて、
一定のフレーム表示周期Ｔを示す表示周期データＤｆを
生成する表示周期データ生成器（第１のデータ生成器）
１１３２とを有している。

【００６２】また、上記画像符号化装置１０００は、上
記入力された画像信号Ｓｇに基づいて、伝送順序におけ
る各フレームの順番（フレーム番号Ｂ（ｎ））を示すフ
レーム番号データＢｎを生成する番号データ生成器（第
２のデータ生成器）１１３３と、上記入力された画像信
号Ｓｇに基づいて、各フレームＦ（ｎ）の表示時刻ｈ
(n)を示す表示時刻データＤｔｎを生成する表示時刻デ
ータ生成器（第３のデータ生成器）１１３４とを有して
いる。

【００６３】さらに、上記画像符号化装置１０００は、
上記判定器１１３１からの表示周期識別子Ｄｆに基づい
て、上記データ生成器１１３２からの表示周期データＤ
ｐを導通させる導通状態と該表示周期データＤｐを遮断
する遮断状態との間で切り替わる開閉スイッチ１１４１
と、上記判定器１１３１からの表示周期識別子Ｄｆに基
づいて、上記データ発生器１１３３からのフレーム番号
データＢｎと上記データ発生器１１３４からの表示時刻
データＤｔｎの一方を選択して出力する選択スイッチ１
１４２とを有している。

【００６４】そして、上記画像符号化装置１０００は、
上記判定器１１３１からの表示周期識別子Ｄｆ，上記符
号化器１１１０からの符号化データＣｇｎ，上記開閉ス
イッチ１１４１からの表示周期データＤｐ，及び上記選
択スイッチ１１４２の出力を多重化して多重ビットスト
リームＭ１を生成する多重化器（ＭＵＸ）１１２０を有
しており、該多重ビットストリームＭ１を、フレーム表
示周期が固定である画像符号化信号１００ａ、あるいは
フレーム表示周期が可変である画像符号化信号１００ｂ
として出力する構成となっている。

【００６５】以下簡単に上記画像符号化装置１０００の
動作について説明する。まず、上記画像符号化装置１０
００に所定の画像に対応する画像信号Ｓｇが入力される
と、上記判定器１１３１では、該画像信号Ｓｇのフレー
ム表示周期が可変である否かの判定が行われ、判定結果
を示す表示周期識別子Ｄｆが出力される。また、このと
き、上記画像信号Ｓｇに基づいて、第１〜第３のデータ
生成器１１３２〜１１３４では、それぞれ上記表示周期
データＤｐ，フレーム番号データＢｎ，及び表示時刻デ
ータＤｔｎが生成され、上記符号化器１１１０では、上
記画像信号Ｓｇが符号化されて画像符号化データＣｇｎ
として出力される。

【００６６】そして、上記表示周期識別子Ｄｆ及び画像
符号化データＣｇｎは多重化器１１２０に出力される。
このとき、上記表示周期データＤｐは、表示周期識別子
Ｄｆに基づいて開閉されるスイッチ１１４１を介して多
重化器１１２０に出力され、フレーム番号データＢｎ及
び表示時刻データＤｔｎは、表示周期識別子Ｄｆに基づ
いてこれらのデータの一方を選択する選択スイッチ１１
４２を介して上記多重化器１１２０に出力される。

【００６７】つまり、画像信号Ｓｇとして、上記各フレ
ームＦ（ｎ）に対応する画像表示の周期が固定である画
像信号が入力されたとき、上記表示周期固定識別子Ｄｆ
とともに、上記各フレームに対応する画像表示の周期を
示す表示周期データＤｐと、上記各フレームに対応し
た、フレームの前後関係を示すフレーム番号データＢｎ
とが多重化器１１２０に出力される。すると、該多重化
器１１２０では、上記画像符号化データＣｇｎ、表示周
期固定識別子Ｄｆ、表示周期データＤｐ、及びフレーム
番号データＢｎが多重化されて画像符号化信号１００ａ
として出力される。

【００６８】一方、上記画像信号Ｓｇとして、上記各フ
レームＦ（ｎ）に対応する画像表示の周期が可変である
画像信号が入力されたとき、上記表示周期可変識別子Ｄ
ｆとともに、上記各フレームに応じて１つまたは複数の
基準時刻の所要のものに対して相対的に設定された、各
フレームに対応する画像表示が行われるタイミング（表
示時刻）ｈ(n)を示す表示時刻データＤｔｎが上記多重
化器１１２０に出力される。すると該多重化器１１２０
では、上記画像符号化データＣｇｎ、表示周期可変識別
子Ｄｆ、及び表示時刻データＤｔｎが多重化されて、画
像符号化信号１００ｂとして出力される。

【００６９】次に、図５を用いて、本実施の形態のデー
タ構造を有する画像符号化信号１００ａ，１００ｂを復
号化する復号化処理について説明する。まず、上記復号
化処理では、符号化側から送られてくる多重ビットスト
リームＭ１（画像符号化信号１００ａあるいは１００
ｂ）における表示周期識別子Ｄｆを検出することによ
り、該画像符号化信号の表示周期が固定であるか否かが
判定される（ステップＳ２１）。この判定の結果、表示
周期が固定であると判定されれば、伝送順における各フ
レームＦ（ｎ）の順番に相当するカウント値ｎが０にセ
ットされ（ステップＳ２１ａ）、その後、画像符号化信
号のヘッダ部分Ｈから表示周期Ｔを示す表示周期データ
Ｄｐが読込まれる（ステップＳ２２ａ）。

【００７０】次に、各フレームのヘッダ部分から、フレ
ーム番号Ｂ（ｎ）を示すフレーム番号データＢｎが読込
まれ（ステップＳ２３ａ）、各フレームの表示時刻ｈ
（ｎ）が計算式ｈ（ｎ）＝Ｂ（ｎ）×Ｔにより求められ
る（ステップＳ２４ａ）。

【００７１】そして、フレームＦ（ｎ）に対応する画像
符号化データＣｇｎの復号化処理が行われ、フレームＦ
（ｎ）に対応する画像復号化データが、表示時刻ｈ(n)
に表示される画像データとされる（ステップＳ２５
ａ）。その後、処理対象フレームＦ（ｎ）が上記所定の
画像の、伝送順序における最後のフレームであるか否か
が判定され（ステップＳ２６ａ）、処理対象フレームが
上記所定の画像の、伝送順序における最後のフレームで
あれば復号化処理が終了し、これが最後のフレームでな
ければ、上記カウント値ｎが１つインクリメントされ
（ステップＳ２７ａ）、その後、上記ステップＳ２３ａ
〜２６ａの処理が上記ステップＳ２６ａにて処理対象フ
レームが最後のフレームであると判定されるまで行われ
る。

【００７２】一方、上記ステップＳ２１にて、表示周期
が可変であると判定されれば、伝送順における各フレー
ムＦ（ｎ）の順番に相当するカウント値ｎが０にセット
され（ステップＳ２１ｂ）、その後、各フレームのヘッ
ダ部分からフレームＦ（ｎ）の表示時刻ｈ(n)を示す表
示時刻データＤｔｎが読込まれ（ステップＳ２２ｂ）、
この表示時刻データＤｔｎに基づいてフレームＦ（ｎ）
の表示時刻ｈ(n)が決定される（ステップＳ２３ｂ）。
続いて、フレームＦ（ｎ）に対応する画像符号化データ
Ｃｇｎの復号化処理が行われ、復号化処理が施されたフ
レームＦ（ｎ）の画像復号化データが、表示時刻ｈ
（ｎ）に表示される画像データとされる（ステップＳ２
４ｂ）。

【００７３】その後、処理対象フレームＦ（ｎ）が上記
所定の画像の、伝送順序における最後のフレームである
か否かが判断され（ステップＳ２５ｂ）、該処理対象フ
レームが最後のフレームであれば復号化処理が終了す
る。一方、上記処理対象フレームが最後のフレームでな
ければ、上記カウント値ｎが１つインクリメントされ
（ステップＳ２６ｂ）、その後、上記ステップＳ２２ｂ
〜ステップＳ２６ｂの処理が、ステップＳ２５ｂにて処
理対象フレームが最後のフレームであると判定されるま
で行われる。以上説明したように図５に示した処理手順
で、図１(a) ，(b) に示すデータ構造を有する画像符号
化信号が復号化される。

【００７４】図６(a)は上記実施の形態１における復号
化処理を行うハードウエアとしての画像復号化装置の構
成を示すブロック図である。この画像復号化装置２００
０は、上記画像符号化装置１０００から出力された画像
符号化信号１００ａあるいは１００ｂとしての多重ビッ
トストリームＭ１に対して、復号化処理及び表示処理を
含む再生処理を行う構成となっている。

【００７５】すなわち、この画像復号化装置２０００
は、上記多重ビットストリームＭ１から、画像符号化デ
ータＣｇｎ，表示周期識別子Ｄｆ，表示周期データＤ
ｐ，及びフレーム番号データＢｎあるいは表示時刻デー
タＤｔｎを取り出して出力するデータ分離器（ＤＥＭＵ
Ｘ）２１１０と、上記画像符号化データＣｇｎを復号化
して画像復号化データＲｇを出力する復号化器２１２０
とを有している。

【００７６】また、上記画像復号化装置２０００は、上
記表示周期識別子Ｄｆに基づいて、上記表示周期データ
Ｄｐを導通させる導通状態と該表示周期データＤｐを遮
断する遮断状態との間で切り替わる開閉スイッチ２１４
０と、上記表示周期識別子Ｄｆに基づいて、上記フレー
ム番号データＢｎ及び上記表示時刻データＤｔｎの一方
を選択して出力する選択スイッチ２１５０とを有してい
る。

【００７７】さらに、上記画像復号化装置２０００は、
上記画像復号化データＲｇを、表示周期識別子Ｄｆ及び
各スイッチ２１４０，２１５０の出力に基づいて所定の
表示タイミングで表示する表示装置２１３０を有してい
る。

【００７８】以下簡単に上記画像復号化装置２０００の
動作について説明する。まず、上記画像復号化装置２０
００に、上記画像符号化装置１０００からの多重ビット
ストリームＭ１が入力されると、データ分離器２１１０
にて、上記多重ビットストリームＭ１から表示周期識別
子Ｄｆ及び表示周期データＤｐが分離され、さらに各フ
レーム毎に上記多重ビットストリームＭ１から、画像符
号化データＣｇｎ，及びフレーム番号データＢｎあるい
は表示時間データＤｔｎが分離される。

【００７９】そして、各フレームの画像符号化データＣ
ｇｎは復号化器２１２０にて復号化されて画像復号化デ
ータＲｇとして表示装置２１３０に出力される。また、
上記表示周期データＤｐは、表示周期識別子Ｄｆにより
開閉される開閉スイッチ２１４０を介して表示装置２１
３０に出力され、各フレームのフレーム番号データＢｎ
あるいは表示時間データＤｔｎは、表示周期識別子Ｄｆ
によりこれらの一方のデータを選択する選択スイッチ２
１５０を介して上記表示装置２１３０に出力される。

【００８０】そして表示装置２１３０では、表示周期が
固定である画像復号化データＲｇに対応する各フレーム
の画像は、表示周期データＤｐ及びフレーム番号データ
Ｂｎに基づいて所定の表示タイミングで表示され、一方
表示周期が可変である画像復号化データＲｇに対応する
フレームの画像は、表示時刻データＤｔｎに基づいて所
定の表示タイミングで表示される。

【００８１】このように本実施の形態１の画像信号デー
タ構造では、画像信号を符号化して得られる画像符号化
信号を、各フレームに対応する画像表示処理の周期が可
変であるか否かを示す表示周期識別子Ｄｆを含む構成と
したので、各フレームに対する画像表示の周期が固定で
ある場合に、簡単な回路構成により、つまり各フレーム
毎に情報量（ビット数）の多い表示時刻データ（表示タ
イミングデータ）Ｄｔｎを参照することなく、表示周期
データＤｐと情報量（ビット数）の少ないフレーム番号
データＢｎに基づいて、画像復号化データＲｇの表示処
理を行うことができる。

【００８２】また、表示周期が固定である画像符号化信
号１００ａには、画像表示の周期Ｔを示す表示周期デー
タＤｐと、フレームの前後関係を示すフレーム番号Ｂ
（ｎ）を示すデータ（フレーム位置データ）Ｂｎを含む
ので、各フレームに対応する画像表示のタイミングを、
Ｔ×Ｂ（ｎ）という簡単な演算により決定することがで
きる。

【００８３】また、表示周期が可変である画像符号化信
号１００ｂには、各フレームに応じて１つまたは複数の
基準時刻の所要のものｈ’(0)（図２参照）に対して相
対的に設定された、各フレームに対応する画像表示が行
われる表示時刻（表示タイミング）ｈ(n)を示す表示時
刻データ（表示タイミングデータ）Ｄｔｎを含むので、
各フレームに対応する画像表示の周期が可変である場合
には、従来のデータ構造と同様、表示時刻データＤｔｎ
に基づいて各フレームＦ（ｎ）に対応する画像表示のタ
イミングｈ(n)を確定することができる。

【００８４】また、この実施の形態１の画像符号化装置
１０００では、入力される画像信号に基づいて、画像の
表示周期が可変である否かを示す表示周期識別子Ｄｆを
生成する判定器１１３１を備え、表示周期が固定である
画像信号が入力されたとき、上記表示周期識別子Ｄｆ、
画像表示の周期を示す表示周期データＤｐ、フレームの
前後関係を示すフレーム番号データＢｎを画像符号化デ
ータＣｇｎと多重化して出力し、画像表示の周期が可変
である画像信号が入力されたとき、表示周期識別子Ｄｆ
及び各フレームＦ（ｎ）の表示時刻ｈ(n)を示す表示時
刻データＤｔｎを、画像符号化データＣｇｎと多重化し
て出力するようにしたので、各フレームに対する画像表
示の周期が可変であっても固定であっても、各フレーム
の表示タイミングを決定するためのデータが画像符号化
データＣｇｎとともに出力されることとなる。これによ
りフレームの表示周期が固定の場合に表示時刻を定める
のに要するビット数を削減することができ、しかも、フ
レームの表示周期が可変である画像の表示も従来と同様
に行うことができる。

【００８５】さらにこの実施の形態１の画像復号化装置
２０００では、上記画像符号化装置１０００から送られ
てくる多重ビットストリームＭ１に含まれている、表示
周期識別子Ｄｆ、画像表示の周期を示す表示周期データ
Ｄｐ、フレームの前後関係を示すフレーム番号データＢ
ｎ、各フレームの表示時刻ｈ(n)を示す表示時刻データ
Ｄｔｎ及び画像符号化データＣｇｎを分離するデータ分
離器２１１０と、上記画像符号化データＣｇｎを復号化
して画像復号化データＲｇを出力する復号化器２１２０
とを備え、表示周期が固定である画像復号化データＲｇ
を、表示周期データＤｐ及びフレーム番号データＢｎに
基づいて所定の表示タイミングで表示し、表示周期が可
変である画像復号化データＲｇを、表示時刻データＤｔ
ｎに基づいて所定の表示タイミングで表示するので、各
フレームの画像復号化データＲｇを、そのフレーム表示
周期が可変であるか否かに拘わらず正しい表示タイミン
グでもって表示することができる。

【００８６】なお、上記実施の形態１で説明した画像信
号データ構造においては、画像データ（多重ビットスト
リーム）の先頭に表示周期識別子Ｄｆを、フレームデー
タ（各フレームの符号列）の先頭に、フレーム番号デー
タＢｎ，表示時刻データＤｔｎなどを挿入しているが、
上記表示周期識別子，フレーム番号データ，表示時刻デ
ータ等は、必ずしも対応するヘッダの先頭に挿入される
必要はなく、表示周期識別子及び表示周期データは画像
データ（画像符号化信号）のヘッダ部分に、フレーム番
号データ，表示時刻データ等はフレームに対応するデー
タ（符号列）のヘッダ部分に挿入されていれば、同期信
号などの後に挿入されてもよい。

【００８７】また、上記実施の形態１では、表示周期デ
ータＤｐは表示周期識別子Ｄｆの直後に挿入している
が、表示周期データＤｐは、必ずしも、表示周期識別子
と連続するようその直後に挿入する必要はなく、表示周
期データは、画像データのヘッダ部分において、表示周
期識別子の後に挿入されていればよい。

【００８８】さらに、上記実施の形態１では、図２にお
ける表示の順番を示す番号ｎ′（＝Ｂ（ｎ））として、
画像データの表示順序での先頭から通し番号を割り当て
ているが、必ずしも通し番号を割り当てる必要はなく、
予め定めた先頭番号から後尾番号までの複数の番号をフ
レーム番号として周期的に割り当てるようにしても構わ
ない。

【００８９】例えば、４ビットでフレーム番号を表す場
合は、０から１５の番号を周期的にフレームに割り当て
る。この場合、表示時刻については、ｈ’(n’)＝ｈ
ｐ’（１５）＋（ｎ′＋１）×Ｔで表される。ここでｈ
ｐ’（ｎ’）は、直前の周期におけるフレーム番号Ｂ
（ｎ）（＝ｎ′）に対応する表示時刻を表すものとして
おり、従って、この場合、ｈ’(n’)は、ｈｐ’(n’)の
次の周期におけるフレーム番号Ｂ（ｎ）（＝ｎ′） に
対応する表示時刻を示すこととなる。なお、ｈｐ’（１
５）は直前の周期における最後のフレームに対応する表
示時刻を示している。

【００９０】さらに、上記実施の形態１では、フレーム
の特定は、フレーム番号データにより行っているが、こ
れに限るものではなく、フレームの前後関係を規定する
データであれば、所定のルールによりフレームの前後関
係を示すデータ、所定のテーブルを参照してフレームの
前後関係を規定するデータ等でもよい。

【００９１】また、上記実施の形態１における表示時刻
データは、複数の基準時間に対する相対的な時刻を示す
ものであり、例えば、基準時刻は複数のフレームに対し
て１つ設定してもよく、また前のフレームの表示時刻を
基準時刻としてもよい。さらに、１つまたは複数の基準
時刻を予め設定し、あるルールまたは信号に基づいて、
いずれの基準時刻を参照してフレームの表示時刻を表す
かを決定するようにしてもよい。

【００９２】さらには、上記実施の形態１では、復号化
側での各フレームに対する再生処理のタイミングを決定
するための付加データとして、各フレームの表示タイミ
ングを設定するための表示周期識別子，表示周期デー
タ，及びフレーム番号データあるいは表示時刻データを
含む画像符号化信号のデータ構造について示したが、画
像符号化信号のデータ構造は、上記各フレームの表示タ
イミングに代えて、各フレームの復号化処理のタイミン
グを決定する付加データ，つまり復号周期識別子，復号
周期データ，及びフレーム番号データあるいは復号時刻
データを含むものであってもよく、以下このようなデー
タ構造を実施の形態１の変形例として説明する。

【００９３】（実施の形態１の変形例）この実施の形態
１の変形例のデータ構造は、実施の形態１の画像符号化
信号１００ａにおける表示周期識別子Ｄｆ及び表示周期
データＤｐを、復号周期識別子及び復号周期データに置
き換え、実施の形態１の画像符号化信号１００ｂにおけ
る表示時刻データＤｔｎを、復号時刻データに置き換え
たものである。

【００９４】ここで、上記復号周期識別子は、各フレー
ムに対応する、画像符号化信号を復号化する復号化処理
の周期が可変であるか否かを示すものであり、復号化処
理の周期が固定である画像符号化信号には復号化周期固
定識別子として、復号化処理の周期が可変である画像符
号化信号には復号化周期可変識別子として挿入される。

【００９５】また、上記復号周期データは各フレームに
対応する復号化処理の周期ＤＴを示すデータであり、上
記復号時刻データは、各フレームに応じて１つまたは複
数の基準時刻の所要のものに対して相対的に設定され
た、各フレームに対応する復号化処理が行われるタイミ
ング（復号時刻Ｄｈ（ｎ））を示すデータである。

【００９６】また、実施の形態１の変形例のデータ構造
を有する画像符号化信号を生成する符号化処理は、図３
に示すフローにおけるステップＳ１１、Ｓ１１ａ，Ｓ１
１ｂ，Ｓ１３ａ，Ｓ１３ｂにおける処理を、以下のよう
に置換することにより実現できる。

【００９７】つまり、ステップＳ１１における表示周期
の判定処理を、復号周期が固定であるか否かを判定する
処理に置き換え、ステップＳ１１ａにおける表示周期固
定識別子Ｄｆを付加する処理を、上記復号周期固定識別
子を付加する処理に、ステップＳ１１ｂにおける表示周
期可変識別子Ｄｆを付加する処理を、上記復号周期可変
識別子を付加する処理に置き換える。さらに、ステップ
Ｓ１３ａにおける表示周期データＤｐを付加する処理
を、上記復号周期データを付加する処理に置き換え、ス
テップＳ１３ｂにおける表示時刻データＤｔｎを付加す
る処理を、上記復号時刻データを付加する処理に置き換
える。

【００９８】また、図４(b)は、上記実施の形態１の変
形例の符号化処理を行うハードウエアとしての画像符号
化装置１０００ａの構成を示している。この画像符号化
装置１０００ａは、上記実施の形態１における画像符号
化装置１０００の判定器１１３１に代えて、上記入力さ
れる画像信号Ｓｇに基づいて、フレームに対応する復号
化処理の周期が一定であるか否か（つまり、復号周期が
固定であるか可変であるか）を判定して、復号周期ＤＴ
が一定であるか否かを示す復号周期識別子ＤＥｆを出力
する判定器１１３１ａを備えている。

【００９９】また、上記画像符号化装置１０００ａは、
上記実施の形態１の画像符号化装置１０００における表
示周期データ発生器１１３２及び表示時刻生成器１１３
４に代えて、上記入力された画像信号Ｓｇに基づいて、
フレームの復号化処理の周期（固定周期）ＤＴを示す復
号周期データＤＥｐを生成する復号周期データ生成器
（第１のデータ生成器）１１３２ａと、上記入力された
画像信号Ｓｇに基づいて、各フレームの復号時刻を示す
復号時刻データＤＥｔｎを生成する復号時刻データ生成
器（第３のデータ生成器）１１３４ａとを備えたもので
ある。その他の構成は上記実施の形態１の画像符号化装
置１０００と同様となっている。

【０１００】このような構成の画像符号化装置１０００
ａでは、多重化器（ＭＵＸ）１１２０では、上記判定器
１１３１ａからの復号周期識別子ＤＥｆ，上記符号化器
１１１０からの画像符号化データＣｇｎ，上記開閉スイ
ッチ１１４１からの復号周期データＤＥｐ，及び上記選
択スイッチ１１４２の出力が多重化されて、多重ビット
ストリームＭ１ａが、復号周期が固定である画像符号化
信号、あるいは復号周期が可変である画像符号化信号と
して出力される

【０１０１】一方、実施の形態１の変形例のデータ構造
を有する画像符号化信号を復号化する復号化処理は、図
５に示すフローにおけるステップＳ２１，Ｓ２２ａ，Ｓ
２２ｂ，Ｓ２３ａ，Ｓ２３ｂ，Ｓ２４ａ，Ｓ２４ｂ，Ｓ
２５ａの処理を以下のように置き換えることにより実現
できる。

【０１０２】具体的には、ステップＳ２１における表示
周期の判定処理を、復号周期が固定であるか否かを判定
する処理に置き換え、ステップＳ２２ａにおける表示周
期Ｔを示す表示周期データＤｐを読み込む処理を、上記
復号周期ＤＴを示す復号周期データＤＥｐを読み込む処
理に置き換え、ステップＳ２２ｂにおける表示時刻ｈ
（ｎ）を示す表示時刻データＤｔｎを読み込む処理を、
上記復号時刻Ｄｈ（ｎ）を示す復号時刻データＤＥｔｎ
を読み込む処理に置き換える。

【０１０３】また、ステップＳ２３ａ及びＳ２４ａにお
ける、フレーム番号データＢｎを読み込んで表示時刻ｈ
（ｎ）を決定する処理を、復号周期データＤＥｐに基づ
いて、順次入力される各フレームの画像符号化データに
対応する復号時刻Ｄｈ（ｎ）を決定するとともに、上記
フレーム番号データＢｎに基づいて各フレームに対する
表示時刻ｈ（ｎ）を決定する処理に置き換える。

【０１０４】また、ステップＳ２３ｂにおける、表示時
刻データＤｔｎに基づいて表示時刻ｈ（ｎ）を決定する
処理を、復号時刻データＤＥｔｎに基づいて復号時刻Ｄ
ｈ（ｎ）を決定するとともに、該データＤＥｔｎに基づ
いて表示時刻ｈ（ｎ）を決定する処理に置き換える。

【０１０５】さらに、ステップＳ２５ａにおける、フレ
ームＦ（ｎ）の画像符号化データＣｇｎを復号化して表
示時刻ｈ（ｎ）に表示する処理を、上記フレームＦ
（ｎ）の画像符号化データＣｇｎを復号時刻Ｄｈ（ｎ）
に復号化して、表示時刻ｈ（ｎ）に表示する処理に置き
換え、ステップＳ２４ｂにおける、フレームＦ（ｎ）の
画像符号化データＣｇｎを復号化して時刻ｈ（ｎ）に表
示する処理を、上記フレームＦ（ｎ）の画像符号化デー
タＣｇｎを復号時刻Ｄｈ（ｎ）に復号化して、表示時刻
ｈ（ｎ）に表示する処理に置き換える。

【０１０６】また、図６(b)は、上記実施の形態１の変
形例の復号化処理を行うハードウエアとしての画像復号
化装置２０００ａの構成を示している。この画像復号化
装置２０００ａは、上記画像符号化装置１０００ａから
出力された多重ビットストリームＭ１ａに対して、復号
化処理及び表示処理を含む再生処理を行う構成となって
いる。

【０１０７】すなわち、この画像復号化装置２０００ａ
は、上記実施の形態１における画像復号化装置２０００
のデータ分離器２１１０に代えて、上記多重ビットスト
リームＭ１ａから、画像符号化データＣｇｎ，復号周期
識別子ＤＥｆ，復号周期データＤＥｐ，及びフレーム番
号データＢｎあるいは復号時間データＤＥｔｎを取り出
して出力するデータ分離器（ＤＥＭＵＸ）２１１０ａを
備えている。

【０１０８】また、上記画像復号化装置２０００ａは、
上記復号周期識別子ＤＥｆに基づいて、上記復号周期デ
ータＤＥｐを導通させる導通状態と該復号周期データＤ
Ｅｐを遮断する遮断状態との間で切り替わる第１の開閉
スイッチ２１４０ａと、上記復号周期識別子ＤＥｆに基
づいて、上記フレーム番号データＢｎを導通する導通状
態と該フレーム番号データＢｎを遮断する遮断状態との
間で切り替わる第２の開閉スイッチ２１５０ａと、上記
復号周期識別子ＤＥｆに基づいて、上記復号時刻データ
ＤＥｔｎを導通する導通状態と該復号時刻データＤＥｔ
ｎを遮断する遮断状態との間で切り替わる第３の開閉ス
イッチ２１６０ａとを有ししている。

【０１０９】そしてこの画像復号化装置２０００では、
第１の開閉スイッチ２１４０ａの出力である復号周期デ
ータＤＥｐ、及び第３の開閉スイッチ２１６０ａの出力
である復号時刻データＤＥｔｎが復号化器２１２０ａ及
び表示装置２１３０ａに供給され、上記第２の開閉スイ
ッチ２１５０ａの出力であるフレーム番号データＢｎが
表示装置２１３０ａにのみ供給されるようになってい
る。

【０１１０】そして、復号化器２１２０ａでは、復号周
期が固定である画像符号化データＣｇｎを、上記復号周
期データＤＥｐに基づいて決まるタイミング（復号時刻
Ｄｈ（ｎ））で各フレーム毎に復号化し、一方、復号周
期が可変である画像符号化データＣｇｎを、上記復号時
刻データＤＥｔｎに基づいて決まるタイミング（復号時
刻Ｄｈ（ｎ））で各フレーム毎に復号化する構成となっ
ている。

【０１１１】さらに、上記表示装置２１３０ａでは、復
号周期が固定である画像復号化データＲｇを、上記復号
周期データＤＥｐとフレーム番号データＢｎに基づいて
決まるタイミング（表示時刻ｈ（ｎ））で各フレーム毎
に表示し、一方、復号周期が可変である画像復号化デー
タＲｇを、上記復号時刻データＤＥｔｎに基づいて決ま
るタイミング（表示時刻ｈ（ｎ））で各フレーム毎に表
示する構成となっている。

【０１１２】その他の構成は上記実施の形態１の画像復
号化装置２０００と同一である。以下、上記実施の形態
１の変形例による画像復号化装置２０００ａの動作につ
いて簡単に説明する。

【０１１３】このような構成の画像復号化装置２０００
ａでは、上記多重ビットストリームＭ１ａが入力される
と、データ分離器２１１０ａにて、画像符号化データＣ
ｇｎ，復号周期識別子ＤＥｆ，復号周期データＤＥｐ，
及びフレーム番号データＢｎあるいは復号時間データＤ
Ｅｔｎが分離される。

【０１１４】そして、復号化器２１２０ａでは、入力さ
れた画像復号化信号の復号周期が固定であるときは、画
像符号化データＣｇｎが、上記復号周期データＤＥｐに
基づいて決まるタイミング（復号時刻Ｄｈ（ｎ））で各
フレーム毎に復号化され、該復号化器２１２０ａから出
力された画像復号化データＲｇは、上記復号周期データ
ＤＥｐとフレーム番号データＢｎに基づいて決まるタイ
ミング（表示時刻ｈ（ｎ））で各フレーム毎に表示され
る。

【０１１５】一方、入力された画像復号化信号の復号周
期が可変であるときは、画像符号化データＣｇｎが、上
記復号時刻データＤＥｔｎに基づいて決まるタイミング
（復号時刻Ｄｈ（ｎ））で各フレーム毎に復号化され、
該復号化器２１２０ａから出力された画像復号化データ
Ｒｇは、上記復号時刻データＤＥｔｎに基づいて決まる
タイミング（表示時刻ｈ（ｎ））で各フレーム毎に表示
される。

【０１１６】このような実施の形態１の変形例では、上
記実施の形態１の同様、画像信号を符号化して得られる
画像符号化信号を、各フレームに対応する画像復号化処
理の周期が可変であるか否かを示す復号周期識別子ＤＥ
ｆを含む構成としたので、各フレームに対する画像復号
化処理の周期が固定である場合に、簡単な回路構成によ
り、つまり各フレーム毎に情報量（ビット数）の多い復
号時刻データＤＥｔｎを参照することなく、復号周期デ
ータＤＥｐにのみ基づいて画像符号化データの復号化処
理を行うことができるといった効果がある。

【０１１７】なお、上記実施の形態１の変形例の画像復
号化装置では、画像符号化信号に含まれる各フレームに
対する復号化処理のタイミングを決定するためのデータ
に基づいて、各フレームの復号化処理とともに、各フレ
ームの画像表示を行うものを示したが、上記画像復号化
装置は、画像符号化信号に含まれる各フレームに対する
表示処理のタイミングを決定するためのデータに基づい
て、各フレームの表示処理とともに、各フレームの復号
化処理を行うものであってもよい。

【０１１８】この場合は、上記各フレームに対応する復
号化処理が行われる復号タイミングは、復号化処理の対
象となる対象フレームを含む複数のフレームの表示タイ
ミングデータに基づいて設定する。つまり、上記対象フ
レームの復号タイミングを、該対象フレームの表示タイ
ミングデータ及びその次にデータが伝送されてくる次フ
レームの表示タイミングデータに基づいて、該両フレー
ムのうちの早い方の表示タイミングより所定のオフセッ
ト時間だけ早いタイミングに設定する。

【０１１９】具体的には、復号化処理の対象となる対象
フレームの表示タイミングが、この対象フレームの次に
データが伝送されてくる次フレームの表示タイミングよ
り早いときは、上記オフセット時間を対象フレームに対
する復号化処理に要する時間以上の大きさに設定する。
一方、復号化処理の対象となる対象フレーム（例えばＰ
−ＶＯＰ）の表示タイミングより、この対象フレームの
次にデータが伝送されてくる次フレーム（例えばＢ−Ｖ
ＯＰ）の表示タイミングの方が早いときは、上記オフセ
ット時間を対象フレームに対する復号化処理に要する時
間と、次フレームに対する復号化処理に要する時間の合
計時間以上の大きさに設定する。

【０１２０】実施の形態２．図７(a)は、本発明の実施
の形態２による、フレーム表示周期が一定である画像符
号化信号１２０ａのデータ構造を示している。上記画像
符号化信号１２０ａは、１つの画像（ＭＰＥＧ４では１
つのオブジェクトに対応する画像）に対応する、フレー
ム表示周期が固定である画像信号を符号化して得られる
ものであり、先頭のヘッダＨに続いて、各フレームＦ
（０），Ｆ（１），Ｆ（２），・・・，Ｆ（ｎ）に対応
する符号列Ｓｃ０，Ｓｃ１，Ｓｃ２，・・・，Ｓｃｎを
伝送順に配列した構造となっている。この画像符号化信
号１２０ａでは、ヘッダＨ内に、フレーム表示周期が固
定であるか否かを示す表示周期識別子Ｄｆ、フレーム表
示周期が微小単位時間（１／Ｎ）のＭ（自然数）倍であ
ることを該乗数Ｍにより示す表示周期乗数データＤｍ、
及び上記微小単位時間（１／Ｎ）を求めるための値Ｎ
（自然数）を示す微小単位時間データＤｋが挿入され、
各フレームの符号列Ｓｃ０，Ｓｃ１，Ｓｃ２，・・・，
Ｓｃｎの先頭に、そのフレームの表示時刻ｙ’０，ｙ’
３，ｙ’１，・・・，ｙ’ｎ’（図１７(a)参照）を示
す表示時刻データＤｙ０，Ｄｙ１，Ｄｙ２，・・・，Ｄ
ｙｎが挿入されている。なお、上記画像符号化信号１２
０ａのヘッダＨ内では、微小単位時間データＤｋ，表示
周期識別子Ｄｆ，及び表示周期乗数データＤｍがこの順
序で伝送されるよう配列されている。

【０１２１】また、各フレームの符号列Ｓｃ０，Ｓｃ
１，Ｓｃ２，・・・，Ｓｃｎには、上記表示時刻データ
Ｄｙ０，Ｄｙ１，Ｄｙ２，・・・，Ｄｙｎに続いて、画
像符号化データＣｇ０，Ｃｇ１，Ｃｇ２，・・・，Ｃｇ
ｎが挿入されている。

【０１２２】この画像符号化信号１２０ａでは、基準時
刻をｘとすると（図１７(a) 参照）、ＶＯＰ０，ＶＯＰ
３，ＶＯＰ１，・・・に対応する各フレームＦ（０），
Ｆ（１），Ｆ（２），・・・の表示時刻ｈ(0)，ｈ(1)，
ｈ(2)，・・・は、表示時刻データＤｙ０，Ｄｙ１，Ｄ
ｙ２，・・・に基づいて、ｘ＋ｙ／Ｎ（ｙ＝ｙ’０，
ｙ’３，ｙ’１，・・・）として求めることができる。

【０１２３】ところが、この画像符号化信号１２０ａに
は、微小単位時間データＤｋと表示周期乗数データＤｍ
が含まれているため、上記表示時刻データＤｙ０，Ｄｙ
１，Ｄｙ２１，・・・を用いなくても、微小単位時間デ
ータＤｋから得られる微小単位時間（１／Ｎ）と表示周
期乗数データＤｍから得られるＭ（自然数）の値とか
ら、フレームの表示周期Ｔ（＝Ｍ×１／Ｎ）を求め、基
準時刻ｘにより決まる本来の各フレームＦ（ｎ）の表示
時刻ｈ（ｎ）（＝ｘ＋ｙ×Ｍ×１／Ｎ）に各フレームの
画像を表示することができる。

【０１２４】図７(b)は、本発明の実施の形態２によ
る、フレーム表示周期が可変である画像符号化信号１２
０ｂのデータ構造を示している。この画像符号化信号１
２０ｂは、上記画像符号化信号１２０ａにおけるヘッダ
部分Ｈの表示周期乗数データＤｍを取り除いたデータ構
造となっている。

【０１２５】以下、上記のような画像符号化信号１２０
ａあるいは１２０ｂを生成する画像信号の符号化処理、
及びその復号化処理について説明する。図８は上記符号
化処理のフローを示す図である。まず、上記符号化処理
では、入力された所定の画像に対応する画像信号に対応
するビットストリームのヘッダ部に上記微小単位時間デ
ータＤｋが付加され（ステップＳ３０）、さらに、該所
定の画像に対応する画像信号の表示周期が固定であるか
否かの判定が行われる（ステップＳ３１）。この判定の
結果、表示周期が固定である場合は、上記画像信号の表
示周期が固定であることを示す表示周期固定識別子Ｄｆ
が、上記ビットストリームのヘッダに、上記微小単位時
間データＤｋに続くよう付加され（ステップＳ３２）、
さらに上記表示周期乗数データＤｍが上記ヘッダに上記
表示周期固定識別子Ｄｆに続くよう付加される（ステッ
プＳ３３）。その後、上記所定の画像を構成する各フレ
ームＦ（ｎ）の伝送順序を示す番号ｎに相当するカウン
タ値ｎがｎ＝０にセットされる（ステップＳ３５）。

【０１２６】次に、上記伝送順序における最初のフレー
ムＦ（０）に対応する符号列として、対応するフレーム
の表示時刻データＤｙｎ（＝Ｄｙ０）及び画像符号化デ
ータＤｇｎ（＝Ｃｇ０）が順次上記ヘッダＨに付加され
る（ステップＳ３６，Ｓ３７）。その後、上記画像信号
における処理対象フレームが、上記伝送順序における最
終のフレームであるか否かの判定が行われ（ステップＳ
３８）、処理対象フレームが最終フレームでなければ、
上記伝送順序がｎ番目であるフレームＦ（ｎ）（＝Ｆ
（０））に対応するカウンタ値ｎが１つインクリメント
されて（ステップＳ３９）、続くフレームＦ（ｎ＋１）
（＝Ｆ（１））に対して、上記ステップＳ３６〜Ｓ３９
における処理が行われる。

【０１２７】上記ステップＳ３６〜Ｓ３９における処理
は、ステップＳ３８にて処理対象フレームが最終フレー
ムであると判定されるまで繰り返し行われる。これによ
り上記画像符号化信号１２０ａが生成される。

【０１２８】一方、上記ステップＳ３１での判定の結
果、表示周期が可変である場合は、上記画像信号の表示
周期が可変であることを示す表示周期可変識別子Ｄｆ
が、上記画像信号に対応するビットストリームのヘッダ
に、上記微小単位時間データＤｋに続くよう付加される
（ステップＳ３４）。その後は、上記ステップＳ３５〜
Ｓ３９の処理が行われて、上記画像符号化信号１２０ｂ
が生成される。

【０１２９】図９(a)は、上記本実施の形態２の符号化
処理を行うハードウエアとしての画像符号化装置１２０
０の構成を示すブロック図である。上記実施の形態２に
おける画像符号化装置１２００は、上記実施の形態１の
画像符号化装置１０００と同様、入力される画像信号Ｓ
ｇを符号化して符号化データＣｇｎを生成する符号化器
１１１０と、上記入力される画像信号Ｓｇに基づいて、
フレームの表示周期が一定であるか否か（つまり、表示
周期が固定であるか可変であるか）を判定して、表示周
期が一定であるか否かを示す表示周期識別子Ｄｆを出力
する判定器１１３１とを有している。

【０１３０】また上記画像符号化装置１２００は、上記
入力された画像信号Ｓｇに基づいて、微小単位時間デー
タＤｋを生成する微小単位時間データ生成器（第１のデ
ータ生成器）１２３２と、上記入力された画像信号Ｓｇ
に基づいて、フレーム表示周期を微小単位時間を単位と
して表現するための数値Ｍを示す表示周期乗数データＤ
ｍを生成する表示周期乗数データ生成器（第２のデータ
生成器）１２３３と、上記入力された画像信号Ｓｇに基
づいて、各フレームの表示時刻ｈ（ｎ）を示す表示時刻
データ（表示タイミングデータ）Ｄｙｎを生成する表示
時刻データ生成器（第３のデータ生成器）１２３４とを
有している。

【０１３１】さらに、上記画像符号化装置１２００は、
上記判定器１１３１からの表示周期識別子Ｄｆに基づい
て、上記表示周期乗数データＤｍを導通させる導通状態
と該表示周期乗数データＤｍを遮断する遮断状態との間
で切り替わる開閉スイッチ１２４１を有している。

【０１３２】そして、上記画像符号化装置１２００は、
上記第１のデータ生成器１２３２からの微小単位時間デ
ータＤｋ，上記判定器１１３１からの表示周期識別子Ｄ
ｆ，上記開閉スイッチ１２４１からの表示周期乗数デー
タＤｍ，第３のデータ生成器１２３４からの表示時刻デ
ータＤｙｎ，及び上記符号化器１１１０からの画像符号
化データＣｇｎを多重化して多重ビットストリームＭ２
を生成する多重化器（ＭＵＸ）１２２０を有しており、
該多重ビットストリームＭ２を上記画像符号化信号１２
０ａあるいは画像符号化信号１２０ｂとして出力する構
成となっている。

【０１３３】以下簡単に上記画像符号化装置１２００の
動作について説明する。まず、上記画像符号化装置１２
００に所定の画像に対応する画像信号Ｓｇが入力される
と、上記判定器１１３１では、該画像信号Ｓｇの表示周
期が可変である否かの判定が行われ、判定結果を示す表
示周期識別子Ｄｆが出力される。このとき、上記画像信
号Ｓｇに基づいて、第１〜第３のデータ生成器１２３２
〜１２３４では、それぞれ上記微小単位時間データＤ
ｋ，表示周期乗数データＤｍ，及び表示時刻データＤｙ
ｎが生成され、上記符号化器１１１０では、上記画像信
号Ｓｇが符号化されて画像符号化データＣｇｎとして出
力される。

【０１３４】またこのとき、上記微小単位時間データＤ
ｋ，表示周期識別子Ｄｆ，表示時刻データＤｙｎ及び画
像符号化データＣｇｎは常に多重化器１２２０に出力さ
れ、上記表示周期乗数データＤｍは、表示周期識別子Ｄ
ｆにより導通状態となった開閉スイッチ１２４１を介し
て多重化器１２２０に出力される。

【０１３５】つまり、画像信号として、上記各フレーム
に対応する画像表示の周期が固定である画像信号が入力
されたとき、上記微小時間データＤｋ，表示周期識別子
Ｄｆ，表示周期乗数データＤｍ、並びに、各フレームに
対応する表示時刻データＤｔｎ及び画像符号化データＣ
ｇｎが上記多重化器１２２０に出力される。すると、該
多重化器１２２０では、上記微小単位時間データＤｋ、
表示周期識別子Ｄｆ、表示周期乗数データＤｍ、画像符
号化データＣｇｎ、及び表示時刻データＤｙｎが多重化
されて、多重ビットストリームＭ２として画像符号化信
号１２０ａが出力される。

【０１３６】一方、上記画像信号として、上記各フレー
ムに対応する画像表示の周期が可変である画像信号が入
力されたときは、上記開閉スイッチ１２４１は表示周期
識別子Ｄｆにより遮断状態となり、上記微小単位時間デ
ータＤｆ及び表示周期識別子Ｄｆとともに、上記各フレ
ームの表示時刻データＤｙｎ及び画像符号化データＣｇ
ｎが上記多重化器１２２０に出力される。すると該多重
化器１２２０では、上記微小単位時間データＤｆ及表示
周期識別子Ｄｆとともに、各フレームの表示時刻データ
Ｄｙｎ及び画像符号化データＣｇｎが多重化されて、多
重ビットストリームＭ２として画像符号化信号１２０ｂ
が出力される。

【０１３７】次に、図１０を用いて実施の形態２の画像
信号データ構造を有する画像符号化信号を復号化する復
号化処理について説明する。図１０は上記実施の形態２
における復号化処理のフローを示す図である。まず、復
号化処理では、符号化側から送られてくる多重ビットス
トリームＭ２（画像符号化信号１２０ａあるいは１２０
ｂ）における微小単位時間データＤｋが読み込まれ（ス
テップＳ４０）、さらに表示周期識別子Ｄｆの検出によ
り、該画像符号化信号の表示周期が固定であるか否かが
判定される（ステップＳ４１）。この判定の結果、表示
周期が固定であると判定されれば、画像符号化信号のヘ
ッダ部分Ｈから、表示周期Ｔが微小単位時間（１／Ｎ）
のＭ（自然数）倍であることを該乗数Ｍにより示す表示
周期乗数データＤｍが読込まれ（ステップＳ４２ａ）、
続いて、上記読み込まれた微小単位時間データＤｋ及び
表示周期乗数データＤｍに基づいて、フレーム表示周期
Ｔが演算Ｔ＝（１／Ｎ）×Ｍにより求められる（ステッ
プＳ４３ａ）。

【０１３８】その後、表示順で示される各フレームＦ’
（ｎ’）の、先頭フレームからの順番ｎ′に相当するカ
ウント値ｎ′が０にセットされ（ステップＳ４４ａ）、
各フレームＦ’（ｎ’）の表示時刻ｈ’（ｎ’）が計算
式ｈ’（ｎ’）＝ｎ’×Ｔにより求められる（ステップ
Ｓ４５ａ）。なおこのとき、伝送順に各フレームＦ
（ｎ）に対応する画像符号化データＣｇｎの復号化処理
が行われ、フレームＦ（ｎ）に対応する画像復号化デー
タＲｇが生成される。

【０１３９】その後、表示順にカウントされる処理対象
フレームＦ’（ｎ’）が上記所定の画像における最後の
フレームであるか否かが判定され（ステップＳ４６
ａ）、処理対象フレームが最後のフレームであれば復号
化処理が終了し、最後のフレームでなければ、上記カウ
ンタ値ｎ’が１つインクリメントされ（ステップＳ４７
ａ）、上記ステップＳ４５ａ〜４7ａの処理が、上記ス
テップＳ４６ａにて処理対象フレームが最終フレームで
あると判定されるまで繰り返し行われる。

【０１４０】なお、上記復号化処理では、上記復号化さ
れた各フレームＦ’（ｎ’）に対応する画像復号化デー
タＲｇは、所定の表示順序ｎ’で、対応する表示時刻
ｈ’（ｎ’）に表示される。一方、上記ステップＳ４１
にて、表示周期が可変であると判定されれば、伝送順に
おける各フレームＦ（ｎ）の順番ｎに相当するカウント
値ｎが０にセットされる（ステップＳ４２ｂ）。続い
て、各フレームＦ（ｎ）のヘッダ部分Ｈからこのフレー
ムＦ（ｎ）の表示時刻ｈ(n)を示す表示時刻データＤｙ
ｎが読込まれ（ステップＳ４３ｂ）、さらにこの表示時
刻データＤｙｎに基づいて各フレームＦ（ｎ）の表示時
刻ｈ(n)が求められる（ステップＳ４４ｂ）。なおこの
とき、伝送順に各フレームＦ（ｎ）に対応する画像符号
化データＣｇｎの復号化処理が行われる。

【０１４１】その後、伝送順にカウントされる処理対象
フレームＦ（ｎ）が上記所定の画像における最後のフレ
ームであるか否かが判断され（ステップＳ４４ｂ）、該
処理対象フレームが最後のフレームであれば復号化処理
が終了する。一方、上記処理対象フレームが最後のフレ
ームでなければ、この復号化処理におけるカウント値ｎ
が１つインクリメントされ（ステップＳ４６ｂ）、その
後、上記ステップＳ４２ｂ〜ステップＳ４６ｂの処理
が、ステップＳ４５ｂにて処理対象フレームが最後のフ
レームであると判定されるまで行われる。

【０１４２】なお、上記復号化処理では、復号化された
各フレームＦ（ｎ）に対応する画像復号化データＲｇ
は、所定の表示順序ｎ’で、該各フレームＦ（ｎ）に対
応する表示時刻ｈ（ｎ）に表示される。

【０１４３】図１１(a)は上記実施の形態２の復号化処
理を行うハードウエアとしての画像復号化装置の構成を
示すブロック図である。この画像復号化装置２２００
は、上記画像符号化装置２０００から出力された画像符
号化信号１２０ａあるいは１２０ｂである多重ビットス
トリームＭ２を復号化して再生する構成となっている。

【０１４４】すなわち、この画像復号化装置２２００
は、上記多重ビットストリームＭ２から、微小単位時間
データＤｋ，表示周期識別子Ｄｆ，表示周期乗数データ
Ｄｍ，表示時刻データＤｙｎ，及び画像符号化データＣ
ｇｎを取り出して出力するデータ分割器（ＤＥＭＵＸ）
２２１０と、上記画像符号化データＣｇｎを復号化して
画像復号化データＲｇを出力する復号化器２２２０とを
有している。

【０１４５】また、上記画像復号化装置２２００は、上
記表示周期識別子Ｄｆに基づいて、上記表示周期乗数デ
ータＤｍを導通させる導通状態と該データＤｍを遮断す
る遮断状態との間で切り替わる第１の開閉スイッチ２２
４０と、上記表示周期識別子Ｄｆに基づいて、上記表示
時刻データＤｙｎを導通させる導通状態とこのデータＤ
ｙｎを遮断する遮断状態との間で切り替わる第２の開閉
スイッチ２２５０とを有している。

【０１４６】さらに、上記画像復号化装置２２００は、
上記微小単位時間データＤｋ及び画像復号化データＲｇ
とともに各スイッチ２２４０及び２２５０を介して表示
周期乗数データＤｍ及び表示時刻データＤｔｙを受け、
これらのデータ基づいて所定の表示タイミングで画像表
示する表示装置２２３０を有している。

【０１４７】以下簡単に上記画像復号化装置２２００の
動作について説明する。まず、上記画像復号化装置２２
００に、上記画像符号化装置１２００からの多重ビット
ストリームＭ２が入力されると、データ分離器２２１０
にて、上記多重ビットストリームＭ２から微小単位時間
データＤｋ，表示周期識別子Ｄｆ及び表示周期乗数デー
タＤｍが分離され、さらに各フレーム毎に上記多重ビッ
トストリームＭ２から表示時刻データＤｙｎ及び画像符
号化データＣｇｎが分離される。

【０１４８】そして、各フレームの画像符号化データＣ
ｇｎは復号化器２２２０にて復号化されて画像復号化デ
ータＲｇとして表示装置２２３０に出力される。このと
き、上記微小単位時間データＤｋは直接上記表示装置２
２３０に出力され、上記表示周期乗数データＤｍは、表
示周期識別子Ｄｆにより開閉される第１の開閉スイッチ
２２４０を介して表示装置２２３０に出力され、各フレ
ームの表示時刻データＤｙｎは、表示周期識別子Ｄｆに
より開閉される第２の開閉スイッチ２２５０を介して上
記表示装置２２３０に出力される。ここでは、上記多重
ビットストリームＭ２が表示周期が固定である画像符号
化信号１２０ａであるときは、上記第１，第２の開閉ス
イッチ２２４０，２２５０は導通状態となり、上記多重
ビットストリームＭ２が表示周期が可変である画像符号
化信号１２０ｂであるときは、上記第１，第２の開閉ス
イッチ２２４０，２２５０は遮断状態となる。

【０１４９】これにより、上記表示装置２２３０では、
表示周期が固定である画像復号化データＲｇに対応する
各フレームの画像は、微小単位時間データＤｋ及び表示
周期乗数データＤｍに基づいて所定の表示タイミングで
表示される。この場合は、各フレームの表示タイミング
は、演算式Ｔ×ｎ’（Ｔ＝（１／Ｎ）×Ｍ）により決定
される表示時刻ｈ’(n)’＝となる。一方、表示周期が
可変である画像復号化データＲｇに対応するフレームの
画像は、表示時刻データＤｔｙに基づいて所定の表示タ
イミングで表示される。この場合は、所定の表示タイミ
ングは、表示時刻データＤｔｙにより決定される表示時
刻ｈ(n)となる。

【０１５０】このように本実施の形態２では、画像符号
化信号を、各フレームに対応する表示周期が可変である
か否かを示す表示周期識別子Ｄｆに加えて、所定の時間
間隔をＮ（自然数）等分して得られる微小単位時間（１
／Ｎ）の大きさを、該自然数Ｎにより示す微小単位時間
データＤｋと、上記固定のフレーム表示周期Ｔを、これ
が微小単位時間（１／Ｎ）の何倍（Ｍ）に相当するかに
より示す表示周期乗数データＤｍとを含むデータ構造と
したので、フレームレートが固定である画像符号化信号
のフレームレートの値（大きさ）を、各フレームのデコ
ード処理を行う前に予め検出することができ、表示処理
を実現するための種々のハードウエア構成を簡単なもの
とすることができるといった効果がある。

【０１５１】なお、上記実施の形態２では、復号化側で
の各フレームに対する再生処理のタイミングを決定する
ための付加データとして、各フレームの表示タイミング
を設定するための微小単位時間データＤｎ，表示周期識
別子Ｄｆ，表示周期乗数データＤｍ，及び表示時刻デー
タＤｙｎを含む画像符号化信号のデータ構造について示
したが、画像符号化信号のデータ構造は、上記各フレー
ムの表示タイミングに代えて、各フレームの復号化処理
のタイミングを決定する付加データ，つまり微小単位時
間データ，復号周期識別子，復号周期乗数データ，及び
復号時刻データを含むものであってもよく、以下このよ
うなデータ構造を実施の形態２の変形例として説明す
る。

【０１５２】（実施の形態２の変形例）この実施の形態
２の変形例のデータ構造は、実施の形態２の画像符号化
信号１２０ａにおける表示周期識別子Ｄｆ及び表示周期
乗数データＤｐを、復号周期識別子ＤＥｆ及び復号周期
乗数データＤＥｐに置き換え、実施の形態２の画像符号
化信号１２０ｂにおける表示時刻データＤｙｎを、復号
時刻データＤＥｙｎに置き換えたものである。

【０１５３】ここで、上記復号周期識別子ＤＥｆは、各
フレームに対応する、画像符号化信号を復号化する復号
化処理の周期が可変であるか否かを示すものであり、復
号化処理の周期ＤＴが固定である画像符号化信号には復
号化周期固定識別子として、復号化処理の周期ＤＴが可
変である画像符号化信号には復号化周期可変識別子とし
て挿入される。

【０１５４】また、上記復号周期乗数データＤＥｍは、
各フレームに対応する復号化処理の周期ＤＴを上記微小
単位時間（１／Ｎ）の乗数値Ｍにより、つまり該周期が
微小単位時間の何倍（Ｍ）に相当するかにより示すデー
タであり、上記復号時刻データＤＥｙｎは、各フレーム
に対応する復号化処理が行われるタイミングを示すデー
タである。

【０１５５】また、実施の形態２の変形例のデータ構造
を有する画像符号化信号を生成する符号化処理は、図８
に示すフローにおけるステップＳ３１，Ｓ３２，Ｓ３
３，Ｓ３４，Ｓ３６の処理を以下のように置き換えるこ
とにより実現できる。

【０１５６】つまり、ステップＳ３１における表示周期
の判定処理を、復号周期が固定であるか否かを判定する
処理に置き換え、ステップＳ３２，Ｓ３４における表示
周期固定識別子Ｄｆ，表示周期可変識別子Ｄｆを付加す
る処理を、それぞれ復号周期固定識別子ＤＥｆ，復号周
期可変識別子ＤＥｆを付加する処理に置き換える。さら
にステップＳ３３における表示周期乗数データＤｍを付
加する処理を、上記復号周期乗数データＤＥｍを付加す
る処理に置き換え、ステップＳ３６における表示時刻デ
ータＤｙｎを付加する処理を、上記復号時刻データＤＥ
ｙｎを付加する処理に置き換える。

【０１５７】また、図９(b)は、上記実施の形態２の変
形例の符号化処理を行うハードウエアとしての画像符号
化装置１２００ａの構成を示している。この画像符号化
装置１２００ａでは、上記実施の形態２における画像符
号化装置１２００の判定器１１３１に代えて、上記入力
される画像信号Ｓｇに基づいて、フレームに対応する復
号化処理の周期が一定であるか否か（つまり、復号周期
が固定であるか可変であるか）を判定して、復号周期が
一定であるか否かを示す復号周期識別子ＤＥｆを出力す
る判定器１１３１ａを備えている。

【０１５８】また、上記画像符号化装置１２００ａは、
上記実施の形態２の画像符号化装置１２００における表
示周期乗数データ生成器１２３３と表示時刻データ生成
器１２３４に代えて、それぞれ、上記入力された画像信
号Ｓｇに基づいて、フレームの復号化処理の周期をこれ
が上記微小単位時間（１／Ｎ）の何倍に相当するかを示
す乗数値Ｍとしての復号周期乗数データＤＥｍを生成す
る復号周期乗数データ生成器（第２のデータ生成器）１
２３３ａと、上記入力された画像信号Ｓｇに基づいて、
各フレームＦ（ｎ）の復号時刻Ｄｈ(n)を示す復号時刻
データＤＥｙｎを生成する復号時刻データ生成器（第３
のデータ生成器）１２３４ａとを備えたものである。

【０１５９】また、この画像符号化装置１２００ａで
は、その多重化器１２２０ａは、上記微小単位時間デー
タＤｋ，復号周期乗数データＤＥｍ，及び復号時刻デー
タＤＥｔｙを各フレームＦ（ｎ）の画像符号化データＣ
ｇｎと多重化し、復号処理の周期が固定である画像符号
化信号，あるいは復号周期が可変である画像符号化信号
を、多重ビットストリームＭ２ａとして出力する構成と
なっている。

【０１６０】その他の構成は上記実施の形態２の画像符
号化装置１２００と同様である。以下、簡単にこの実施
の形態２の変形例による画像符号化装置１２００ａの動
作を説明する。このような構成の画像符号化装置１２０
０ａでは、画像信号Ｓｇが入力されると、上記判定器１
１３１ａでは、該画像信号Ｓｇの復号周期が可変である
否かの判定が行われて、判定結果を示す復号周期識別子
ＤＥｆが出力され、また、第１のデータ生成器１２３２
ａでは上記微小単位時間データＤｋが、第２，第３のデ
ータ生成器１２３３ａ，１２３４ａでは、復号周期乗数
データＤＥｍ，復号時刻データＤＥｙｎがそれぞれ生成
され、上記符号化器１１１０では、上記画像信号Ｓｇが
符号化されて画像符号化データＣｇｎとして出力され
る。

【０１６１】そして、多重化器（ＭＵＸ）１２２０ａに
は、上記判定器１２３１ａからの復号周期識別子ＤＥ
ｆ，上記符号化器１１１０からの符号化データＣｇｎ，
及第１，第３のデータ生成器１２３２，１２３４ａから
のデータＤｋ，ＤＥｙｎが入力されるとともに、第２の
データ生成器１２３３ａからの復号周期乗数データＤＥ
ｍが開閉スイッチ１２４１ａを介して入力される。する
と、該多重化器１２２０ａからは、これらのデータが多
重化され、復号周期が固定である画像符号化信号、ある
いは復号周期が可変である画像符号化信号が、上記多重
ビットストリームＭ２ａとして出力される

【０１６２】一方、実施の形態２の変形例のデータ構造
を有する画像符号化信号を復号化する復号化処理は、図
１０に示すフローにおける所定ステップＳ４１，Ｓ４２
ａ，Ｓ４３ｂ，Ｓ４４ａ，Ｓ４４ｂ，Ｓ４５ａ，Ｓ４７
ａの処理を以下のように置き換えることにより実現でき
る。

【０１６３】具体的には、ステップＳ４１における表示
周期の判定処理を、復号周期が固定であるか否かを判定
する処理に置き換え、ステップＳ４２ａにおける表示周
期乗数データＤｍを読み込む処理を、上記復号周期乗数
データＤＥｍを読み込む処理に置き換え、ステップ４３
ｂにおける表示時刻ｈ(n)を示すデータＤｙｎを読み込
む処理を、上記復号時刻Ｄｈ(n)を示すデータＤＥｙｎ
を読み込む処理に置き換える。

【０１６４】また、上記ステップＳ４４ｂにおけるデー
タＤｙｎに基づいて表示時刻ｈ(n)を求める処理を、デ
ータＤＥｙｎに基づいて復号時刻Ｄｈ(n)を求める処理
に置き換え、ステップＳ４４ａにおける、表示順にカウ
ントされる各フレームＦ’（ｎ’）の、先頭フレームか
らの順番ｎ′に相当するカウント値ｎ′が０にセットさ
れる処理を、伝送順にカウントされる各フレームＦ
（ｎ）の、先頭フレームからの順番ｎに相当するカウン
ト値ｎが０にセットされる処理に置き換える。

【０１６５】さらに、ステップＳ４５ａにおける、各フ
レームＦ’（ｎ’）の表示時刻ｈ’（ｎ’）が計算式
ｈ’（ｎ’）＝ｎ’×Ｔにより求められる処理を、各フ
レームＦ（ｎ）の復号時刻Ｄｈ（ｎ）が復号周期ＤＴと
そのフレームの伝送順位を示す番号ｎとによりＤｈ
（ｎ）＝ｎ×ＤＴにより求められる処理に置き換え、ス
テップＳ４７ａにおけるカウント値ｎ′がインクリメン
トされる処理を、カウント値ｎがインクリメントされる
処理に置き換える。

【０１６６】また、図１１(b)は、上記実施の形態２の
変形例の復号化処理を行うハードウエアとしての画像復
号化装置２２００ａの構成を示している。この画像復号
化装置２２００ａは、上記画像符号化装置１２００ａか
ら出力された多重ビットストリームＭ２ａに対して、復
号化処理及び表示処理を含む再生処理を行う構成となっ
ている。

【０１６７】すなわち、この画像復号化装置２２００ａ
は、上記実施の形態２における画像復号化装置２２００
のデータ分離器２２１０に代えて、上記多重ビットスト
リームＭ２ａから、微小単位時間データＤｋ，復号周期
識別子ＤＥｆ，復号周期乗数データＤＥｍ，復号時刻デ
ータＤＥｙｎ，及び画像符号化データＣｇｎを取り出し
て出力するデータ分離器（ＤＥＭＵＸ）２２１０ａを備
えている。

【０１６８】また、この画像復号化装置２２００ａは、
上記実施の形態２の画像復号化装置２２００における第
１，第２の開閉スイッチ２２４０，２２５０に代えて、
復号周期乗数データＤＥｍの導通，非導通を復号周期識
別子ＤＥｇに基づいて制御する第１の開閉スイッチ２２
４０ａと、復号時刻データＤＥｙｎの導通，非導通を復
号周期識別子ＤＥｇに基づいて制御する第２の開閉スイ
ッチ２２５０ａとを備えている。

【０１６９】そして、この画像復号化装置２２００ａで
は、データ分離器２２１０ａからの微小単位時間データ
Ｄｆ、第１，第２のスイッチ２２４０ａ，２２５０ａの
出力である復号周期乗数データＤＥｍ，復号時刻データ
ＤＥｙｎが、復号化器２２２０ａ及び表示装置２２３０
ａに供給されるようになっている。

【０１７０】この復号化器２２２０ａは、復号周期が固
定である各フレームＦ（ｎ）の画像符号化データＣｇｎ
を、上記微小単位時間データＤｋ及び復号周期乗数デー
タＤＥｍに基づいて決まるタイミング（復号時刻Ｄｈ
(n)＝ＤＴ×ｎ）で各フレーム毎に復号化し、復号周期
が可変である各フレームＦ（ｎ）の画像符号化データＣ
ｇｎを、上記復号時刻データＤＥｙｎに基づいて決まる
タイミング（復号時刻Ｄｈ(n)）で各フレーム毎に復号
化する構成となっている。

【０１７１】また、上記表示装置２２３０ａは、復号周
期が固定である各フレームＦ（ｎ）の画像復号化データ
Ｒｇを、上記微小単位時間データＤｋ及び復号周期乗数
データＤＥｍに基づいて決まるタイミング（表示時刻ｈ
(n)）で表示し、復号周期が可変である各フレームＦ
（ｎ）の画像復号化データＲｇを、上記復号時刻データ
ＤＥｙｎに基づいて決まるタイミング（表示時刻ｈ
(n)）で表示する構成となっている。

【０１７２】その他の構成は上記実施の形態２の画像復
号化装置２２００と同一である。以下、簡単に上記実施
の形態２の変形例による画像復号化装置２２００ａの動
作について説明する。このような構成の画像復号化装置
２２００ａでは、上記多重ビットストリームＭ２ａが入
力されると、データ分離器２２１０ａにて、微小単位時
間データＤｋ，復号周期乗数データＤＥｍ，復号周期識
別子ＤＥｆ，復号時刻データＤＥｙｎ，及び画像符号化
データＣｇｎが分離される。

【０１７３】そして、上記復号化器２２２０ａでは、入
力された画像符号化信号の復号周期が固定であるとき
は、画像符号化データＣｇｎが、上記微小単位時間デー
タＤｋ及び復号周期乗数データＤＥｍ及びに基づいて決
まるタイミングで各フレーム毎に復号化され、入力され
た画像復号化信号の復号周期が可変であるときは、画像
符号化データＣｇｎが、上記復号時刻データＤＥｙｎに
基づいて決まるタイミング（復号時刻Ｄｈ(n)）で各フ
レーム毎に復号化される。ここで復号周期が固定である
画像符号化信号の復号時刻は、伝送順序を示す番号ｎと
復号周期ＤＴ＝（１／Ｎ）×Ｍ）との積により決まり、
復号周期が可変である画像符号化信号の復号時刻は、復
号周期データＤＥｙｎにより決まる。

【０１７４】さらに、上記表示装置２２３０ａでは、復
号周期が固定である画像復号化データＲｇに対応する各
フレームＦ（ｎ）の画像は、微小単位時間データＤｋ及
び復号周期乗数データＤＥｍに基づいて所定の表示タイ
ミングで表示され、一方、復号周期が可変である画像復
号化データＲｇに対応するフレームＦ（ｎ）の画像は、
復号時刻データＤＥｔｙに基づいて所定の表示タイミン
グで表示される。

【０１７５】このような実施の形態２の変形例では、上
記実施の形態２の同様、画像信号を符号化して得られる
画像符号化データＣｇｎを、各フレームに対応する画像
復号化処理の周期が可変であるか否かを示す復号周期識
別子ＤＥｆ，固定の復号周期を表す微小単位時間データ
Ｄｋ及び復号周期乗数データＤＥｍ，並びに復号時刻を
示す復号時刻データＤＥｙｎを含む構成としたので、各
フレームに対する画像復号化処理の周期が固定である場
合には、簡単な回路構成により、つまり各フレーム毎に
情報量（ビット数）の多い復号時刻データＤＥｙｎを参
照することなく、１つの画像に対応する微小単位時間デ
ータＤｋ及び情報量（ビット数）の少ない復号周期乗数
データＤＥｍのみに基づいて画像符号化信号の復号化処
理を簡単に行うことができる。

【０１７６】また、各フレームに対する画像復号化処理
の周期が可変である場合には、従来と同様に、各フレー
ム毎に復号時刻データＤＥｙｎを参照して画像符号化信
号の復号化処理を行うことができるといった効果があ
る。

【０１７７】なお、上記実施の形態２の変形例の画像復
号化装置２２００ａでは、画像符号化信号に含まれる各
フレームに対する復号化処理のタイミングを決定するた
めのデータに基づいて、各フレームの復号化処理ととも
に、各フレームの画像表示を行うものを示したが、この
画像復号化装置は、画像符号化信号に含まれる各フレー
ムに対する表示処理のタイミングを決定するためのデー
タに基づいて、各フレームの表示処理とともに、各フレ
ームの復号化処理を行うものであってもよい。

【０１７８】この場合は、上記各フレームに対応する復
号化処理が行われる復号タイミングは、復号化処理の対
象となる対象フレームを含む複数のフレームの表示タイ
ミングデータに基づいて設定する。つまり、上記対象フ
レームの復号タイミングを、該対象フレームの表示タイ
ミングデータ及びその次にデータが伝送されてくる次フ
レームの表示タイミングデータに基づいて、該両フレー
ムのうちの早い方の表示タイミングより所定のオフセッ
ト時間だけ早いタイミングに設定する。

【０１７９】具体的には、復号化処理の対象となる対象
フレームの表示タイミングが、この対象フレームの次に
データが伝送されてくる次フレームの表示タイミングよ
り早いときは、上記オフセット時間を対象フレームに対
する復号化処理に要する時間以上の大きさに設定する。
一方、復号化処理の対象となる対象フレーム（例えばＰ
−ＶＯＰ）の表示タイミングより、この対象フレームの
次にデータが伝送されてくる次フレーム（例えばＢ−Ｖ
ＯＰ）の表示タイミングの方が早いときは、上記オフセ
ット時間を対象フレームに対する復号化処理に要する時
間と、次フレームに対する復号化処理に要する時間の合
計時間以上の大きさに設定する。

【０１８０】さらに、上記各実施の形態及びその変形例
で示した画像符号化装置あるいは画像復号化装置による
画像処理をソフトウエアにより行うための符号化処理プ
ログラムあるいは復号化処理プログラムを、フロッピー
ディスク等のデータ記憶媒体に記録するようにすること
により、上記各実施の形態で示した処理を、独立したコ
ンピュータシステムにおいて簡単に実現することが可能
となる。

【０１８１】図１２は、上記各実施の形態及びその変形
例の符号化処理あるいは復号化処理を、上記符号化処理
プログラムあるいは復号化処理プログラムを格納したフ
ロッピーディスクを用いて、コンピュータシステムによ
り実施する場合を説明するための図である。図１２(a)
は、フロッピーディスクの正面からみた外観、断面構
造、及びフロッピーディスク本体を示し、図１２(b)
は、該フロッピーディスク本体の物理フォーマットの例
を示している。

【０１８２】上記フロッピーディスクＦＤは、上記フロ
ッピーディスク本体ＤをフロッピーディスクケースＦＣ
内に収容した構造となっており、該フロッピーディスク
本体Ｄの表面には、同心円状に外周からは内周に向かっ
て複数のトラックＴｒが形成され、各トラックＴｒは角
度方向に１６のセクタＳｅに分割されている。従って、
上記プログラムを格納したフロッピーディスクＦＤで
は、上記フロッピーディスク本体Ｄは、その上に割り当
てられた領域（セクタ）Ｓｅに、上記プログラムとして
のデータが記録されたものとなっている。

【０１８３】また、図１２(c)は、フロッピーディスク
ＦＤに対する上記プログラムの記録、及びフロッピーデ
ィスクＦＤに格納したプログラムを用いたソフトウエア
による画像処理を行うための構成を示している。

【０１８４】上記プログラムをフロッピーディスクＦＤ
に記録する場合は、コンピュータシステムＣｓから上記
プログラムとしてのデータを、フロッピーディスクドラ
イブＦDDを介してフロッピーディスクＦＤに書き込む。
また、フロッピーディスクＦＤに記録されたプログラム
により、上記画像符号化装置あるいは画像復号化装置を
コンピュータシステムＣｓ中に構築する場合は、フロッ
ピーディスクドライブＦDDによりプログラムをフロッピ
ーディスクＦＤから読み出し、コンピュータシステムＣ
ｓにロードする。

【０１８５】なお、上記説明では、データ記憶媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても上記フロッピーディスクの場合と同様に
ソフトウェアによる符号化処理あるいは復号化処理を行
うことができる。また、データ記憶媒体は上記光ディス
クやフロッピーディスクに限るものではなく、ＩＣカー
ド、ＲＯＭカセット等、プログラムを記録できるもので
あればどのようなものでもよく、これらのデータ記録媒
体を用いる場合でも、上記フロッピーディスク等を用い
る場合と同様にソフトウェアによる符号化処理あるいは
復号化処理を実施することができる。

【０１８６】さらに、フロッピーディスク等のデータ記
憶媒体に格納された画像符号化信号を、本実施の形態
１，２あるいはこれらの変形例の画像信号データ構造と
することにより、上記フロッピーディスクからの画像符
号化信号を復号化して画像表示する際には、フレーム表
示周期あるいは復号化処理の周期が固定の場合に簡単な
回路構成により、画像符号化信号の復号化処理及び表示
処理を含む再生処理を行うことができる。

【０１８７】

【発明の効果】以上のようにこの発明（請求項１）に係
る画像符号化方法によれば、画像信号を符号化して出力
する画像符号化方法であって、前記画像信号を符号化し
た画像符号化データとともに、前記画像信号に含まれる
全てのフレームに対する画像再生処理の周期が固定であ
るか否かを示す再生周期識別子を出力し、前記再生周期
識別子によって前記画像再生処理の周期が固定であるこ
とが示される場合、前記再生周期識別子とともに、前記
画像再生処理の周期を示す再生周期データを出力するも
のとしたので、フレームレート（各フレームに対する画
像表示の周期）等の復号化側での各フレームに対する再
生処理の周期が固定である画像符号化信号に対して、簡
単なハードウエア構成により復号化処理や表示処理を含
む再生処理を施すことができる効果がある。

【０１８８】この発明（請求項２）によれば、請求項１
に記載の画像符号化方法において、前記再生周期識別子
は、前記画像信号に含まれる全てのフレームに対応する
画像再生の周期が固定であるか、あるいは可変でありう
るかを示すものであり、前記再生周期識別子が、前記画
像再生処理の周期が可変でありうることを示す場合、前
記再生周期識別子とともに、前記画像再生処理を行うタ
イミングを示す再生タイミングデータを出力するものと
したので、フレームの再生処理周期が固定である場合
に、再生処理時刻を定めるのに要するビット数を削減す
ることができ、しかも、フレームの再生処理周期が可変
である画像の再生処理を従来と同様に行うことが可能と
なる。

【０１８９】この発明（請求項３）によれば、請求項１
に記載の画像符号化方法において、前記再生周期識別子
は、前記フレームに対応する画像表示の周期が固定であ
るか否かを示す表示周期識別子であり、前記再生周期デ
ータは、前記画像表示の周期を示す表示周期データであ
るものとしたので、フレームの表示周期が固定である場
合に、表示時刻を定めるのに要するビット数を削減する
ことができ、しかも、フレームの表示周期が可変である
画像の表示処理を従来と同様に行うことが可能となる。

【０１９０】この発明（請求項４）によれば、請求項１
に記載の画像符号化方法において、前記再生周期識別子
は、前記画像信号を復号化する復号化処理の周期が固定
であるか否かを示す復号周期識別子であり、前記再生周
期データは、前記前記フレームの復号化処理の周期を示
す復号周期データであるものとしたので、フレームの復
号化処理の周期が固定である場合に、各フレームの復号
化処理の時刻を定めるのに要するビット数を削減するこ
とができ、しかも、フレームの復号化処理の周期が可変
である画像の復号化処理を簡単に行うことが可能とな
る。

【０１９１】この発明（請求項５）に係る画像符号化方
法によれば、画像に対応した画像信号を符号化して出力
する画像符号化方法であって、前記画像信号を符号化し
た画像符号化データとともに、前記画像信号に含まれる
全てのフレームに対する画像再生処理の周期が固定であ
るか否かを示す再生周期識別子を出力し、前記再生周期
識別子によって前記画像再生処理の周期が固定であるこ
とが示される場合、前記再生周期識別子とともに、所定
の時間間隔をＮ（自然数）等分して得られる微小単位時
間の大きさを表すために用いる、自然数Ｎを示す微小単
位時間データと、前記フレームに対応した画像再生処理
の周期が前記微小単位時間のＭ（自然数）倍であること
を表すために用いる、自然数Ｍを示す再生周期乗数デー
タとを出力するものとしたので、フレームレートが固定
である画像符号化信号のフレームレートの値（大きさ）
を、各フレームのデコード処理を行う前に予め検出する
ことができ、復号化処理及び表示処理を含む再生処理を
簡単なハードウエア構成により行うことができる。。

【０１９２】この発明（請求項６）によれば、請求項５
に記載の画像符号化方法において、前記再生周期識別子
は、前記画像信号に含まれる全てのフレームに対応する
画像表示の周期が固定であるか否かを示す表示周期識別
子であり、前記再生周期乗数データは、前記画像表示の
周期が前記微小単位時間のＭ（自然数）倍であることを
表すための表示周期乗数データであるものとしたので、
復号化側における表示処理を実現するための種々のハー
ドウエア構成を簡単なものとすることができる効果があ
る。

【０１９３】この発明（請求項７）によれば、請求項５
に記載の画像符号化方法において、前記再生周期識別子
は、前記画像信号に含まれる全てのフレームに対する復
号化処理の周期が固定であるか否かを示す復号周期識別
子であり、前記再生周期乗数データは、前記復号化処理
の周期が前記微小単位時間のＭ（自然数）倍であること
を表すための復号周期乗数データであるものとしたの
で、復号化処理を実現するための種々のハードウエア構
成を簡単なものとすることができる効果がある。

【０１９４】この発明（請求項８）に係る画像符号化装
置によれば、画像に対応した画像信号を符号化して出力
する画像符号化装置であって、前記画像信号を符号化し
て画像符号化データを出力する符号化器と、前記画像信
号に基づいて、前記画像信号に含まれる全てのフレーム
に対応する画像再生処理の周期が固定であるか、あるい
は可変でありうるかを判定し、前記判定結果を示す再生
周期識別子を出力する周期判定手段と、前記画像信号に
基づいて、前記フレームに対応する画像再生処理の周期
を示す再生周期データを生成する第１のデータ生成器
と、前記画像信号に基づいて、前記フレームに対応し
た、フレームの前後関係を示すフレーム位置データを生
成する第２のデータ生成器と、前記画像信号に基づい
て、前記フレームに対応する画像再生処理が行われるタ
イミングを示す再生タイミングデータを生成する第３の
データ生成器と、前記再生周期識別子に基づいて、前記
再生周期データを導通させる導通状態と前記再生周期デ
ータを遮断する遮断状態との間で切替えを行う開閉スイ
ッチと、前記再生周期識別子に基づいて、前記フレーム
位置データと前記再生タイミングデータの一方を選択す
る選択スイッチと、前記符号化器、前記周期判定手段、
前記開閉スイッチ、及び前記選択スイッチの出力を、所
定の順序で多重化して画像符号化信号とする多重化器
と、を備えたものとしたので、各フレームに対する画像
再生処理の周期が可変である画像信号と、フレームの画
像再生処理の周期が固定である画像信号とが、それぞれ
の画像信号に応じた、各フレームの再生処理タイミング
を示すデータが付加されて符号化されることとなる。こ
れによりフレームの再生処理周期が固定の場合に再生処
理時刻を定めるのに要するビット数を削減することがで
き、しかも、フレームの再生処理周期が可変である画像
の再生処理を簡単に行うことが可能となる。

【０１９５】この発明（請求項９）によれば、請求項８
に記載の画像符号化装置において、前記第１のデータ生
成器は、所定の時間間隔をＮ（自然数）等分して得られ
る微小単位時間の大きさを表すために用いる、自然数Ｎ
を示す微小単位時間データと、前記フレームに対応した
画像再生処理の周期が前記微小単位時間のＭ（自然数）
倍であることを表すために用いる、自然数Ｍを示す再生
周期乗数データとを生成するものとしたので、復号化側
では、フレームレートが固定である画像符号化信号のフ
レームレートの値（大きさ）を、各フレームのデコード
処理を行う前に予め検出することができ、復号化処理及
び表示処理を含む再生処理を簡単なハードウエア構成に
より行うことができる効果がある。

【０１９６】この発明（請求項１０）に係る記憶媒体に
よれば、請求項１に記載の画像符号化方法をコンピュー
ターに行わせるための符号化処理プログラムを含むの
で、該プログラムをコンピュータにロードすることによ
り、フレームの再生処理周期が固定である場合に、再生
処理時刻を定めるのに要するビット数を削減することが
でき、しかも、フレームの再生処理周期が可変である画
像の再生処理を簡単に行うことができる装置をソフトウ
エアにより実現することができる。

【０１９７】この発明（請求項１１）に係る記憶媒体に
よれば、請求項５に記載の画像符号化方法をコンピュー
ターに行わせるための符号化処理プログラムを含むの
で、該プログラムをコンピュータにロードすることによ
り、フレームレートが固定である画像符号化信号のフレ
ームレートの値（大きさ）を、各フレームのデコード処
理を行う前に予め検出することができ、復号化処理及び
表示処理を含む再生処理を簡単に行うことができる装置
をソフトウエアにより実現することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像符号化信号の
データ構造を、フレーム表示周期が固定である場合（図
(a)）とフレーム表示周期が可変である場合（図(b)）と
を対比して示す図である。

【図２】上記実施の形態１の、フレーム表示周期が固定
である画像符号化信号に基づいた画像表示の様子を示す
図である。

【図３】 上記実施の形態１のデータ構造の画像符号化
信号を生成する符号化処理のフローを示す図である。

【図４】 上記実施の形態１，及びその変形例の符号化
処理を行う画像符号化装置の構成（図(a)，図(b)）を示
すブロック図である。

【図５】 上記実施の形態１のデータ構造の画像符号化
信号を復号化する復号化処理のフローを示す図である。

【図６】 上記実施の形態１、及びその変形例の復号化
処理を行う画像復号化装置の構成（図(a)，図(b)）を示
すブロック図である。

【図７】本発明の実施の形態２による、ＭＰＥＧ４に対
応した画像符号化信号のデータ構造を、フレーム表示周
期が固定である場合（図(a)）とフレーム表示周期が可
変である場合（図(b)）とを対比して示す図である。

【図８】 上記実施の形態２のデータ構造の画像符号化
信号を生成する符号化処理のフローを示す図である。

【図９】 上記実施の形態２、及びその変形例の符号化
処理を行う画像符号化装置の構成（図(a)，図(b)）を示
すブロック図である。

【図１０】 上記実施の形態２のデータ構造の画像符号
化信号を復号化する復号化処理のフローを示す図であ
る。

【図１１】 上記実施の形態２，及びその変形例の復号
化処理を行う画像復号化装置の構成（図(a)，図(b)）を
示すブロック図である。

【図１２】上記各実施の形態の符号化及び復号化処理を
コンピュータシステムにより行うためのプログラムを格
納したデータ記憶媒体（図(a)，(b)）、及び上記コンピ
ュータシステム（図(c)）を説明するための図である。

【図１３】従来のＭＰＥＧ２における固定フレームレー
トのテーブルを示す図である。

【図１４】従来の画像データ構造を有する画像符号化信
号を説明するための概念図である。

【図１５】１つの画像を構成するフレーム系列における
データ伝送順序とデータ表示順序を対比させて示す図で
ある。

【図１６】従来の、フレーム表示周期が可変である画像
符号化信号に基づいた画像表示の様子を示す図である。

【図１７】現在のＭＰＥＧ４に対応した各フレーム（Ｖ
ＯＰ）の表示時刻の表現方法（図(a)，(b)）は、及びＭ
ＰＥＧ４に対応した画像符号化信号の現状のデータ構造
（図(c)）を説明するための図である。

【符号の説明】

１００ａ，１００ｂ，１２０ａ，１２０ｂ 画像符号化
信号 １０００，１０００ａ，１２００，１２００ａ 画像符
号化装置 １１１０ 符号化器 １１２０，１１２０ａ，１２２０，１２２０ａ 多重化
器（ＭＵＸ） １１３１，１１３１ａ 判定器 １１３２ 表示周期データ生成器（第１のデータ生成
器） １１３２ａ 復号周期データ生成器（第１のデータ生成
器） １１３３ 番号データ生成器（第２のデータ生成器） １１３４ 表示時刻データ生成器（第３のデータ生成
器） １１３４ａ 復号時刻データ生成器（第３のデータ生成
器） １１４１，１２４１，１２４１ａ，２１４０ 開閉スイ
ッチ １１４２ 選択スイッチ １２３２ 微小単位時間データ生成器（第１のデータ生
成器） １２３３ 表示周期乗数データ生成器（第２のデータ生
成器） １２３３ａ 復号周期乗数データ生成器（第２のデータ
生成器） １２３４ 表示時刻データ生成器（第３のデータ生成
器） １２３４ａ 復号時刻データ生成器（第３のデータ生成
器） ２０００，２０００ａ，２２００，２２００ａ 画像復
号化装置 ２１１０，２１１０ａ，２２２０，２２２０ａ データ
分離器（ＤＥＭＵＸ） ２１２０，２１２０ａ，２２２０，２２２０ａ 復号化
器 ２１３０，２１３０ａ，２２３０，２２３０ａ 表示装
置 ２１４０ａ，２２４０，２２４０ａ 第１の開閉スイッ
チ ２１５０ａ，２２５０，２２５０ａ 第２の開閉スイッ
チ ２１６０ａ 第３の開閉スイッチ Ｄｆ 表示周期識別子 ＤＥｆ 復号周期識別子 Ｄｐ 表示周期データ ＤＥｐ 復号周期データ Ｄｍ 表示周期乗数データ ＤＥｍ 復号周期乗数データ Ｄｎ 微小単位時間データ Ｄｔｎ 表示時刻データ ＤＥｔｎ 復号時刻データ Ｂ０，Ｂ１，Ｂ２，Ｂｎ フレーム番号データ Ｂ（０）〜Ｂ（１８），Ｂ（ｎ） フレーム番号 Ｃｇ０，Ｃｇ１，Ｃｇ２，Ｃｇｎ 画像符号化データ Ｄｔ０，Ｄｔ１，Ｄｔ２，Ｄｔｎ 表示時刻データ Ｄｙ０，Ｄｙ１，Ｄｙ２，Ｄｙｎ 表示時刻データ ＤＥｔｎ，ＤＥｔｎ′ 復号時刻データ Ｆ（０）〜Ｆ（１８），Ｆ（ｎ） フレーム Ｆ’（０）〜Ｆ’（１８），Ｆ’（ｎ’） フレーム Ｈ ヘッダ ｈ(0)〜ｈ(4)，ｈ’(0)〜ｈ’(3)，ｈ(n)，ｈ’(n’)
表示時刻 Ｍ１，Ｍ１ａ，Ｍ２，Ｍ２ａ 多重ビットストリーム Ｒｇ 画像復号化データ Ｓｇ 画像信号 Ｓａ０，Ｓａ１，Ｓａ２，Ｓａｎ，Ｓｂ０，Ｓｂ１，Ｓ
ｂ２，Ｓｂｎ，Ｓｃ０，Ｓｃ１，Ｓｃ２，Ｓｃｎ 符号
列 ｔ’(1)〜ｔ’(4)，ｔ’(n’) 表示間隔

Claims (11)

【特許請求の範囲】
1. 【請求項１】 画像信号を符号化して出力する画像符号
   化方法であって、 前記画像信号を符号化した画像符号化データとともに、
   前記画像信号に含まれる全てのフレームに対する画像再
   生処理の周期が固定であるか否かを示す再生周期識別子
   を出力し、 前記再生周期識別子によって前記画像再生処理の周期が
   固定であることが示される場合、前記再生周期識別子と
   ともに、前記画像再生処理の周期を示す再生周期データ
   を出力することを特徴とする画像符号化方法。
2. 【請求項２】 前記再生周期識別子は、前記画像信号に
   含まれる全てのフレームに対応する画像再生の周期が固
   定であるか、あるいは可変でありうるかを示すものであ
   り、 前記再生周期識別子が、前記画像再生処理の周期が可変
   でありうることを示す場合、前記再生周期識別子ととも
   に、前記画像再生処理を行うタイミングを示す再生タイ
   ミングデータを出力する、ことを特徴とする請求項１に
   記載の画像符号化方法。
3. 【請求項３】 前記再生周期識別子は、前記フレームに
   対応する画像表示の周期が固定であるか否かを示す表示
   周期識別子であり、前記再生周期データは、前記画像表
   示の周期を示す表示周期データである、ことを特徴とす
   る請求項１に記載の画像符号化方法。
4. 【請求項４】 前記再生周期識別子は、前記画像信号を
   復号化する復号化処理の周期が固定であるか否かを示す
   復号周期識別子であり、前記再生周期データは、前記前
   記フレームの復号化処理の周期を示す復号周期データで
   ある、ことを特徴とする請求項１に記載の画像符号化方
   法。
5. 【請求項５】 画像に対応した画像信号を符号化して出
   力する画像符号化方法であって、 前記画像信号を符号化した画像符号化データとともに、
   前記画像信号に含まれる全てのフレームに対する画像再
   生処理の周期が固定であるか否かを示す再生周期識別子
   を出力し、 前記再生周期識別子によって前記画像再生処理の周期が
   固定であることが示される場合、前記再生周期識別子と
   ともに、所定の時間間隔をＮ（自然数）等分して得られ
   る微小単位時間の大きさを表すために用いる、自然数Ｎ
   を示す微小単位時間データと、前記フレームに対応した
   画像再生処理の周期が前記微小単位時間のＭ（自然数）
   倍であることを表すために用いる、自然数Ｍを示す再生
   周期乗数データとを出力することを特徴とする画像符号
   化方法。
6. 【請求項６】 前記再生周期識別子は、前記画像信号に
   含まれる全てのフレームに対応する画像表示の周期が固
   定であるか否かを示す表示周期識別子であり、 前記再生周期乗数データは、前記画像表示の周期が前記
   微小単位時間のＭ（自然数）倍であることを表すための
   表示周期乗数データである、ことを特徴とする請求項５
   に記載の画像符号化方法。
7. 【請求項７】 前記再生周期識別子は、前記画像信号に
   含まれる全てのフレームに対する復号化処理の周期が固
   定であるか否かを示す復号周期識別子であり、 前記再生周期乗数データは、前記復号化処理の周期が前
   記微小単位時間のＭ（自然数）倍であることを表すため
   の復号周期乗数データである、ことを特徴とする請求項
   ５に記載の画像符号化方法。
8. 【請求項８】 画像に対応した画像信号を符号化して出
   力する画像符号化装置であって、 前記画像信号を符号化して画像符号化データを出力する
   符号化器と、 前記画像信号に基づいて、前記画像信号に含まれる全て
   のフレームに対応する画像再生処理の周期が固定である
   か、あるいは可変でありうるかを判定し、前記判定結果
   を示す再生周期識別子を出力する周期判定手段と、 前記画像信号に基づいて、前記フレームに対応する画像
   再生処理の周期を示す再生周期データを生成する第１の
   データ生成器と、 前記画像信号に基づいて、前記フレームに対応した、フ
   レームの前後関係を示すフレーム位置データを生成する
   第２のデータ生成器と、 前記画像信号に基づいて、前記フレームに対応する画像
   再生処理が行われるタイミングを示す再生タイミングデ
   ータを生成する第３のデータ生成器と、 前記再生周期識別子に基づいて、前記再生周期データを
   導通させる導通状態と前記再生周期データを遮断する遮
   断状態との間で切替えを行う開閉スイッチと、 前記再生周期識別子に基づいて、前記フレーム位置デー
   タと前記再生タイミングデータの一方を選択する選択ス
   イッチと、 前記符号化器、前記周期判定手段、前記開閉スイッチ、
   及び前記選択スイッチの出力を、所定の順序で多重化し
   て画像符号化信号とする多重化器と、を備えたことを特
   徴とする画像符号化装置。
9. 【請求項９】 前記第１のデータ生成器は、所定の時間
   間隔をＮ（自然数）等分して得られる微小単位時間の大
   きさを表すために用いる、自然数Ｎを示す微小単位時間
   データと、前記フレームに対応した画像再生処理の周期
   が前記微小単位時間のＭ（自然数）倍であることを表す
   ために用いる、自然数Ｍを示す再生周期乗数データとを
   生成する、ことを特徴とする請求項８に記載の画像符号
   化装置。
10. 【請求項１０】 請求項１に記載の画像符号化方法をコ
    ンピューターに行わせるための符号化処理プログラムを
    含むことを特徴とする記憶媒体。
11. 【請求項１１】 請求項５に記載の画像符号化方法をコ
    ンピューターに行わせるための符号化処理プログラムを
    含むことを特徴とする記憶媒体。