JP2005295143A - 画像符号化装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】 互換性のある複数種類の符号化方式それぞれでの符号化を適切に実行することができる画像符号化装置及びその制御方法、プログラムを提供する。
【解決手段】 エントロピー符号化された符号化データと所望のヘッダ情報を連結部で連結する。連結された符号化データとヘッダ情報を一時的に格納部に格納する。連結部と格納部の内部に残留している符号化データをすべて排出する指示を行う。その指示に応じて、連結部と格納部の内部に残留している符号化データをすべて排出するように、該連結部と格納部を制御する。
【選択図】 図１

Description

本発明は、画像データを符号化する画像符号化装置及びその制御方法、プログラムに関するものである。

従来、ＣＤ−ＲＯＭやハードディスク等の蓄積媒体に静止画像を効率的に保存・表示するための符号化方式として、ＩＳＯ（国際標準化機構）により標準化されたＪＰＥＧ方式が広く用いられている。また、動画像と音声を同様な蓄積媒体に保存・表示したり、通信路を介して放送、または双方向通信したりするための符号化方式として、ＩＳＯにより標準化されたＭＰＥＧ方式が広く用いられている。

動画像と音声の符号化方式であるＭＰＥＧ方式は、符号化効率の向上を目的として年々その符号化方式が改良されており、１９９２年にＭＰＥＧ−１、１９９４年にＭＰＥＧ−２（非特許文献１）、１９９９年にはＭＰＥＧ−４（非特許文献２）がそれぞれ国際標準として規定されている。ＭＰＥＧ−４においては、符号化効率の向上はもちろんのこと、符号誤り訂正機能の強化や、符号化対象毎に最適な符号化を施すオブジェクト符号化の導入なども実現されている。

更には、ＭＥＰＧ−４シンタックス上のビジュアル層とオーディオ層を包含するファイル形式等を規定するシステム層においては、利用者が要求する任意の時刻の動画像または音声データに容易にランダム・アクセスを可能にする仕組みを提供している。

動画像において、このランダム・アクセスを可能にする仕組みは、ＭＰＥＧ−４シンタックス上のビジュアル層をある階層において分割することにより実現されている。これは、一方が、複数枚のピクチャ（ＭＰＥＧ−４ではＶＯＰ：Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅと呼ばれているが、本発明中ではピクチャと呼ぶこととする）・データを符号化した符号化データ列からなる「エレメンタリ・ストリーム」であり、他方が当該エレメンタリ・ストリームの画像サイズや量子化方法等の復号化に必須の復号化情報を含む「構成情報」である。

ランダム・アクセスの単位としての所望のピクチャ枚数毎にエレメンタリ・ストリームを構成し、当該エレメンタリ・ストリームに対応する構成情報をヘッダとして付加することにより、任意時刻の動画像の復号化が容易に可能となっている。
ＩＳＯ／ＩＥＣ １３８１８−２ ＩＳＯ／ＩＥＣ １４４９６−２

一方、これまでの一般的なＭＥＰＧ−１方式やＭＰＥＧ−２方式に対応した画像符号化装置においては、一度起動されると入力された動画像データに対応した、それぞれの符号化方式におけるシンタックス上のビデオ層すべての階層を生成する構成となっていた。このため、同様な構成をＭＰＥＧ−４方式に用いた場合は、上記のエレメンタリ・ストリームをランダム・アクセスの単位としての所望のピクチャ枚数毎に符号化することが困難であった。

また、上述した符号化効率の向上を目的とした符号化方式の改良は、現在でも続いており、今後もさらに高度で複雑な符号化方式が提案されることが予想されている。このような状況において、様々な製品に応用される画像符号化装置の符号化方式を唯一に絞り込むことは非常に難しく、現状は複数の符号化方式に対応せざるをえない。従来の画像符号化装置において、ＭＰＥＧ−１方式やＭＰＥＧ−２方式などに対応してきた場合は、その後方互換性も重要であり、ＭＰＥＧ−４方式に対応しつつ、かつＭＰＥＧ−１方式やＭＰＥＧ−２方式も継続して対応し続ける必要がある。

本発明は上記の課題に鑑みてなされたものであり、互換性のある複数種類の符号化方式それぞれでの符号化を適切に実行することができる画像符号化装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による画像符号化装置は以下の構成を備える。即ち、
画像データを符号化する画像符号化装置であって、
エントロピー符号化された符号化データと所望のヘッダ情報を連結する連結手段と、
前記連結手段から出力される、連結された符号化データとヘッダ情報を一時的に格納する格納手段と、
前記連結手段と前記格納手段の内部に残留している符号化データを排出する指示を行う指示手段と、
前記指示手段の指示に応じて、前記連結手段と前記格納手段の内部に残留している符号化データを排出するように、該連結手段と前記格納手段を制御する制御手段と
を備える。

また、好ましくは、前記連結手段は、
任意数のビットを当該連結手段内のデータへ挿入する挿入手段と、
当該連結手段内のデータの有効ビット数を計数する計数手段と
を備える。

また、好ましくは、前記格納手段は、
当該格納手段内に残留している符号化データを排出する排出手段と、
当該格納手段内のデータの有効バイト数を計数する計数手段と
を備える。

また、好ましくは、前記制御手段は、
当該画像符号化装置における一連の動作開始を指示する動作開始指示手段と、
当該画像符号化装置における一連の動作再開を指示する動作再開指示手段と、
動画像を構成する一枚のピクチャ・データを符号化する指示を行うピクチャ符号化指示手段と
を備える。

また、好ましくは、前記制御手段は、
当該画像符号化装置が一連の動作中であることを表示する動作中表示手段と、
当該画像符号化装置が一連の動作を完了したことを表示する動作完了表示手段と
を備える。

上記の目的を達成するための本発明による動画像符号化装置の制御方法は以下の構成を備える。即ち、
画像データを符号化する画像符号化装置の制御方法であって、
エントロピー符号化された符号化データと所望のヘッダ情報を連結部で連結する連結工程と、
前記連結工程から出力される、連結された符号化データとヘッダ情報を一時的に格納部に格納する格納工程と、
前記連結部と前記格納部の内部に残留している符号化データを排出する指示を行う指示工程と、
前記指示工程の指示に応じて、前記連結部と前記格納部の内部に残留している符号化データを排出するように、該連結工程と前記格納工程を制御する制御工程と
を備える。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
画像データを符号化する画像符号化装置の制御を実現するプログラムであって、
エントロピー符号化された符号化データと所望のヘッダ情報を連結部で連結する連結工程のプログラムコードと、
前記連結工程から出力される、連結された符号化データとヘッダ情報を一時的に格納部に格納する格納工程のプログラムコードと、
前記連結部と前記格納部の内部に残留している符号化データを排出する指示を行う指示工程のプログラムコードと、
前記指示工程の指示に応じて、前記連結部と前記格納部の内部に残留している符号化データを排出するように、該連結工程と前記格納工程を制御する制御工程のプログラムコードと
を備える。

本発明によれば、互換性のある複数種類の符号化方式それぞれでの符号化を適切に実行することができる画像符号化装置及びその制御方法、プログラムを提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

特に、本発明の実施形態では、ＭＰＥＧ符号化方式を例に挙げて説明する。

図１は本発明の実施形態の画像符号化装置の機能ブロック図である。

図１において、１０１は画像データの入力ＦＩＦＯ部である。１０２は画像データにＤＣＴ演算を施すＤＣＴ部である。１０３はＤＣＴ係数に量子化を施す量子化部である。１０４は量子化されたＤＣＴ係数にランレングス符号化やハフマン符号化等のエントロピー符号化を施すエントロピー符号化部である。

１０５はエントロピー符号化部１０４から出力される可変長符号とＭＰＥＧシンタックス上のヘッダ情報を連結するシフタ部である。また、シフタ部１０５は、任意数のビットをシフタ部内のデータへ挿入する挿入機能と、シフタ部内のデータの有効ビット数を計数する計数機能を有している。

１０６はヘッダ情報を含む符号化データを一時的に格納し、外部ユーザ・システムがすぐに符号化データを受信しない場合でもスループット性能が低下しないようにするために、その出力を制御するための出力ＦＩＦＯ部である。また、出力ＦＩＦＯ部１０６は、出力ＦＩＦＯ部１０６内に残留している符号化データを排出する排出機能と、出力ＦＩＦＯ部１０６内のデータの有効バイト数を計数する計数機能を有している。

１０７は１０１〜１０６で構成される画像データ演算処理部を制御するとともに、処理対象の画像データのヘッダ情報をシフタ部１０５経由で符号化データ中に構築する制御部である。１は１０１〜１０７から構成される画像符号化装置である。

更に、図１において、２０１は画像データを入力する画像データ入力信号である。２０２は符号化データを出力する符号化データ出力信号である。２０３は符号化データ出力信号２０２のバス上へ有効なデータが存在する期間を表示する符号化データ出力の有効期間表示信号である。

２０４は画像符号化装置１へ一連の符号化動作開始を指示する動作開始指示信号である。２０５は画像符号化装置１へ一枚のピクチャ・データの符号化を指示するピクチャ符号化指示信号である。２０６は画像符号化装置１が一連の符号化動作を実行している最中であることを表示する動作中表示信号である。

２０７は画像符号化装置１が一枚のピクチャ・データの符号化動作を完了した際に、次のピクチャ・データの符号化動作を指示する動作再開指示信号である。２０８は画像符号化装置１内部に残留する符号化データをすべて排出することを指示する残留符号化データ排出指示信号である。２０９は画像符号化装置１において一連の符号化動作が完了したことを表示する動作完了表示信号である。

２１０は任意のビット数のデータをシフタ部１０５内のデータへ挿入することを指示するビット・データ挿入指示信号である。２１１はシフタ部１０５内部に存在する有効データのビット数（有効ビット数）を表示する有効ビット数表示信号である。２１２は出力ＦＩＦＯ部１０６に残留するバイト・データをすべて排出するように指示する残留バイト・データ排出指示信号である。２１３は出力ＦＩＦＯ部１０６内部に存在する有効データのバイト数（有効バイト数）を表示する有効バイト数表示信号である。

次に、図１の画像符号化装置１を画像符号化部として構成する画像撮影記録システムについて、図２を用いて説明する。

図２は本発明の実施形態の画像撮影記録システムの機能ブロック図である。

尚、この画像撮影記録システムの実装例としては、例えば、デジタルビデオカメラやデジタルカムコーダ等がある。また、この画像撮影記録システムにおいて、ＭＰＥＧ符号化方式の内、ＭＰＥＧ−１方式、ＭＰＥＧ−２方式及びＭＰＥＧ−４方式のどの方式を使用して符号化を行うかは、画像撮影記録システムあるいは画像符号化部１の操作部（不図示）に対する利用者の操作に基づいて選択される。そして、この操作に基づいて、上記の各種指示信号が画像符号化部１の制御部１０７に出力されることになる。

図２において、２は撮像部を含み、撮影画像に対して所望の画像処理を施す撮像・画像処理部である。３は撮像・画像処理部２から出力される画像データを一時的に記憶したり、画像符号化部１により当該画像データを符号化した符号化データを記憶したりする主記憶部である。４は画像符号化部１と撮像・画像処理部２とを制御して撮影された動画像を符号化データとして主記憶部３へ記憶させるＣＰＵ（制御）部である。

５は画像符号化部１がＣＰＵ部４から直接制御されることなく、主記憶部３にアクセスすることを可能とするＤＭＡコントローラ部である。６は撮像・画像処理部２がＣＰＵ部４から直接制御されることなく、主記憶部３にアクセスすることを可能とするＤＭＡコントローラ部である。

次に、本実施形態の画像撮影記録システムで実行される処理について、図３〜図８を用いて説明する。

ここで、図３は、本発明の実施形態の画像符号化部１の内部に残留する符号化データ（残留符号化データ）を任意のピクチャ数毎に排出するために、利用者が画像符号化部１を操作する手順を示すフローチャートである。また、図４は、本発明の実施形態の利用者から残留符号化データ排出を指示された制御部１０７が画像符号化部１の内部に残留する符号化データを排出する手順を示すフローチャートである。

一方、図５は、本発明の実施形態の画像符号化部１に入力された動画像データに対して当該ＭＰＥＧ方式におけるシンタックス上のすべてのビデオ層を符号化データとして生成させるために、利用者が画像符号化部１を操作する手順を示すフローチャートである。

図６は、図３のフローチャートと関連して、３枚のピクチャ・データ毎に画像符号化部１の内部に残留する符号化データを排出する場合の信号波形である。

図７は、図３のフローチャートと関連して、１枚のピクチャ・データ毎に画像符号化部１の内部に残留する符号化データを排出する場合の信号波形である。

図８は、図５のフローチャートと関連して、画像符号化部１に入力された動画像データに対して当該ＭＰＥＧ方式におけるシンタックス上のすべてのビデオ層を符号化データとして生成させる場合の信号波形である。

以下、本実施形態の画像符号化装置１の動作形態について、その符号化処理に係わる一連の動作、特に、３枚のピクチャ・データ毎に画像符号化部１の内部に残留する符号化データを排出する符号化処理手順を、図１〜図４、図６を用いて説明する。

また、１枚のピクチャ・データ毎に画像符号化部１の内部に残留する符号化データを排出する符号化処理手順を、図１〜図４、図７を用いて説明する。

更に、画像符号化部１に入力された動画像データに対して当該ＭＰＥＧ方式におけるシンタックス上のすべてのビデオ層を符号化データとして生成させる符号化処理手順を、図１、図２、図５、図８を用いて説明する。

最初に、３枚のピクチャ・データ毎に画像符号化部１の内部に残留する符号化データを排出する符号化処理手順を、図１〜図４、図６を用いて説明する。

撮像・画像処理部２により撮影され所望の画像処理が施された動画像データは、ＤＭＡコントローラ部６を経由して一時的に主記憶部３に記憶される。その動画像データは、ＤＭＡコントローラ部５により順次読み出され画像データ入力信号２０１として画像符号化部１へ入力される。

画像符号化部１への動画像データの入力が開始されると、ＣＰＵ部４は、ピクチャ符号化指示信号２０５に「１」を出力することにより、１枚目（＃１）のピクチャ・データの符号化データを出力することを画像符号化部１に対して指示する（ステップＳ１０１、図６のｔ１）。

尚、ここでは、３枚のピクチャ・データ毎に画像符号化部１の内部に残留する符号化データを排出するので、ステップＳ１０２からステップＳ１０４に進む。

次に、ＣＰＵ部４は、一連の符号化処理動作を開始させるために動作開始指示信号２０４に「１」を出力する（ステップＳ１０４、図６のｔ２）。

画像符号化部１による符号化処理動作が開始されたことは、動作中表示信号２０６に「１」が出力されることにより確認できる（ステップＳ１０５、図６のｔ３）。動作が開始したことを確認したら、ＣＰＵ部４は動作開始指示信号２０４を「０」に戻すことができる（ステップＳ１０６、図６のｔ４）。

入力ＦＩＦＯ部１０１へ画像データ入力信号２０１経由で入力された１枚目のピクチャ・データは、ＤＣＴ部１０２→量子化部１０３→エントロピー符号化部１０４→シフタ部１０５により順次符号化処理が施される。符号化処理結果として生成された符号化データは、出力ＦＩＦＯ部１０６を経由して符号化データ出力信号２０２から出力される（図６のｔ４〜ｔ９）。

この時、符号化データ出力信号２０２から有効な符号化データが出力されている期間であることを表す符号化データ出力の有効期間表示信号２０３が「１」になっている（図６のｔ３〜）。

１枚目のピクチャ・データに対応したすべての符号化処理動作が完了すると、制御部１０７は、動作中表示信号２０６に「０」を出力し、ＣＰＵ部４へその旨を通知する（ステップＳ１０７、図６のｔ１１）。

この時、シフタ部１０５及び出力ＦＩＦＯ部１０６は、１枚目のピクチャ・データに対応した符号化データの一部をその内部に残留させていることに注意されたい。即ち、図６のｔ４〜ｔ９の期間に符号化データ出力信号２０２に出力された符号化データは１枚目のピクチャ・データのほとんどに対応しているが、すべてではない。

引き続いて、２枚目（＃２）のピクチャ・データの符号化処理動作を開始するために、ＣＰＵ部４は、動作再開指示信号２０７に「１」を出力する（ステップＳ１０８、ステップＳ１１２、図６のｔ１２）。

画像符号化部１による２枚目のピクチャ・データに対する符号化処理動作が再開されたことは、動作中表示信号２０６に「１」が出力されることにより確認できる（ステップＳ１１３、図６のｔ１３）。動作が開始したことを確認したら、ＣＰＵ部４は動作再開指示信号２０７を「０」に戻すことができる（ステップＳ１１４、図６のｔ１４）。

入力ＦＩＦＯ部１０１へ画像データ入力信号２０１経由で入力された２枚目のピクチャ・データは、ＤＣＴ部１０２→量子化部１０３→エントロピー符号化部１０４→シフタ部１０５により順次符号化処理が施される。符号化処理結果として生成された符号化データは、出力ＦＩＦＯ部１０６を経由して符号化データ出力信号２０２から出力される（図６のｔ１４〜ｔ１９）。

この時、符号化データ出力信号２０２から有効な符号化データが出力されている期間であることを表す符号化データ出力の有効期間表示信号２０３は、図６のｔ３において「１」が出力された状態を保っている。

２枚目のピクチャ・データに対応したすべての符号化処理動作が完了すると、制御部１０７は、動作中表示信号２０６に「０」を出力し、ＣＰＵ部４へその旨を通知する（ステップＳ１０７、図６のｔ２１）。

この時、シフタ部１０５及び出力ＦＩＦＯ部１０６は、２枚目のピクチャ・データに対応した符号化データの一部をその内部に残留させていることに注意されたい。即ち、図６のｔ１４〜ｔ１９の期間に符号化データ出力信号２０２に出力された符号化データは２枚目のピクチャ・データのほとんどに対応しているが、すべてではない。

更に、図６のｔ１４〜ｔ１９の期間に符号化データ出力信号２０２に出力された符号化データの先頭に位置する符号化データには、１枚目のピクチャ・データに対する符号化処理動作を行った際にシフタ部１０５及び出力ＦＩＦＯ部１０６に残留していた１枚目のピクチャ・データに対応する符号化データが出力されている。

次の３枚目（＃３）のピクチャ・データに対する符号化処理動作においては、残留符号化データの排出を行い、３枚のピクチャ・データからなる完全な符号化データを画像符号化部１から出力させるために、ＣＰＵ部４は残留符号化データ排出指示信号２０８に「１」を出力する（ステップＳ１０９、ステップＳ１１０、ステップＳ１１１、図６のｔ２１）。

次に、３枚目のピクチャ・データの符号化処理動作を開始するために、ＣＰＵ部４は動作再開指示信号２０７に「１」を出力する（ステップＳ１１２、図６のｔ２２）。画像符号化部１による３枚目のピクチャ・データに対する符号化処理動作が再開されたことは、動作中表示信号２０６に「１」が出力されることにより確認できる（ステップＳ１１３、図６のｔ２３）。動作が開始したことを確認したら、ＣＰＵ部４は動作再開指示信号２０７を「０」に戻すことができる（ステップＳ１１４、図６のｔ２４）。

入力ＦＩＦＯ部１０１へ画像データ入力信号２０１経由で入力された３枚目のピクチャ・データは、ＤＣＴ部１０２→量子化部１０３→エントロピー符号化部１０４→シフタ部１０５により順次符号化処理が施される。符号化処理結果として生成された符号化データは、出力ＦＩＦＯ部１０６を経由して符号化データ出力信号２０２から出力される（図６のｔ２４〜ｔ２９）。

３枚目のピクチャ・データに対応したすべての符号化処理動作が完了すると、制御部１０７は動作中表示信号２０６に「０」を出力し、ＣＰＵ部４へその旨を通知する（ステップＳ１０７、図６のｔ３１）。

この時、画像符号化部１は３枚目のピクチャ・データに対応した符号化データのすべてを符号化データ出力信号２０２から出力しており、シフタ部１０５及び出力ＦＩＦＯ部１０６には残留する３枚目のピクチャ・データに対応した符号化データは存在しないことに注意されたい。

更に、図６のｔ２４〜ｔ２９の期間に符号化データ出力信号２０２に出力された符号化データの先頭に位置する符号化データには、２枚目のピクチャ・データに対する符号化処理動作を行った際にシフタ部１０５及び出力ＦＩＦＯ部１０６に残留していた２枚目のピクチャ・データに対応する符号化データが出力されている。

ここで、制御部１０７が画像符号化部１の内部に残留する符号化データを排出する手順を、図４を用いてより詳細に説明する。

制御部１０７は、エントロピー符号化部１０４において、３枚目のピクチャ・データに対するすべての符号化処理動作が完了したかどうかを監視している（ステップＳ２０１）。当該符号化処理動作が完了した場合（ステップＳ２０１でＹＥＳ）、制御部１０７は、まず、有効ビット数表示信号２１１を介して、その時点でシフタ部１０５内に残留している有効ビット数を検出する。

次に、制御部１０７は、すべての有効データがシフタ部１０５から出力ＦＩＦＯ部１０６へ出力されるのに必要なビット数分の連続する「０」からなるパディング・ビットを挿入する（ステップＳ２０２）。例えば、１バイト毎にシフタ部１０５から出力ＦＩＦＯ部１０６へ有効データが出力される場合は、シフタ部１０５内部の有効ビット・データが１バイトになるようにパディング・ビットを挿入する必要がある。

シフタ部１０５へのパディング・ビットの挿入が完了したら、制御部１０７は再度有効ビット数表示信号２１１を監視して、シフタ部１０５内部のすべての有効データが出力ＦＩＦＯ部１０６へ出力された結果として有効ビット数が「０」となることを確認する（ステップＳ２０３）。

次に、制御部１０７は、出力ＦＩＦＯ部１０６の内部に残留する有効なバイト・データを符号化データ出力信号２０２上へすべて出力するために、残留バイト・データ排出指示２１２に「１」を設定する（ステップＳ２０４）。

その後、制御部１０７は、有効バイト数表示信号２１３を監視して、出力ＦＩＦＯ部１０６内部のすべての有効なバイト・データが符号化データ出力信号２０２上へ出力された結果として有効バイト数が「０」となることを確認する（ステップＳ２０５）。シフタ部１０５及び出力ＦＩＦＯ部１０６に残留していたすべての有効なデータが排出された後に、制御部１０７は動作中表示信号２０６に「０」を出力する（ステップＳ２０６）。

ここまでで説明した３枚のピクチャ・データからなる完全な符号化データを生成させる一連の符号化処理動作は、画像符号化部１により連続して実行することができるが、図６では１組の３枚のピクチャ・データに対する符号化処理動作を実行した後にすべての符号化処理動作を完了する例で説明をする。

最後に、画像符号化部１による一連のすべての符号化処理動作を完了する手順を、図３を用いて説明する。

すべてのピクチャ・データの符号化処理動作が完了した場合、ＣＰＵ部４はピクチャ符号化指示信号２０５を「０」に戻し（ステップＳ１０８、ステップＳ１１５、図６のｔ３１）、さらに動作再開指示信号２０７に「１」を出力する（ステップＳ１１７、図６のｔ３２）ことにより、その旨を画像符号化部１へ通知する。

また、ＣＰＵ部４は、「１」が出力されている残留符号化データ排出指示信号２０８も「０」に戻す（ステップＳ１１６、図６のｔ３１）。

ここで、３枚目のピクチャ・データに対する符号化処理動作において、残留符号化データ排出動作を実施したので、出力すべき符号化データはもはや存在しないが、３枚目の符号化処理動作が完了した時点では画像符号化部１は動作を中断して、次のピクチャ・データの符号化処理動作に備えている状態であるので、これを正常に終了させる必要がある。

具体的には、一連の符号化処理動作の過程で画像符号化部１の内部で発生した状態をＣＰＵ部４へ通知する方法がある。そこで、画像符号化部１内部での所望の終了動作が完了した時点で、画像符号化部１は動作中表示信号２０６に「０」を出力すると共に動作完了表示信号２０９に「１」を出力して、一連のすべての符号化処理動作が完了した旨をＣＰＵ部４に通知する（ステップＳ１１８、図６のｔ３８）。

次に、１枚のピクチャ・データ毎に画像符号化部１の内部に残留する符号化データを排出する符号化処理手順を、図１〜図４、図７を用いて説明する。

撮像・画像処理部２により撮影され所望の画像処理が施された動画像データは、ＤＭＡコントローラ部６を経由して一時的に主記憶部３に記憶される。その動画像データは、ＤＭＡコントローラ部５により順次読み出され画像データ入力信号２０１から画像符号化部１へ入力される。

画像符号化部１への動画像データの入力が開始されると、ＣＰＵ部４は、ピクチャ符号化指示信号に「１」を出力することにより、１枚目（＃１）のピクチャ・データの符号化データを出力することを画像符号化部１に対して指示する（ステップＳ１０１、図７のｔ１）。

同時に、ＣＰＵ部４は、残留符号化データの排出を行い１枚のピクチャ・データからなる完全な符号化データを画像符号化部１から出力させるために、残留符号化データ排出指示信号２０８に「１」を出力する（ステップＳ１０２、ステップＳ１０３、図７のｔ１）。

次に、ＣＰＵ部４は、一連の符号化処理動作を開始させるために動作開始指示信号２０４に「１」を出力する（ステップＳ１０４、図７のｔ２）。

画像符号化部１による符号化処理動作が開始されたことは、動作中表示信号２０６に「１」が出力されることにより確認できる（ステップＳ１０５、図７のｔ３）。動作が開始したことを確認したら、ＣＰＵ部４は動作開始指示信号２０４を「０」に戻すことができる（ステップＳ１０６、図７のｔ４）。

入力ＦＩＦＯ部１０１へ画像データ入力信号２０１経由で入力された１枚目のピクチャ・データは、ＤＣＴ部１０２→量子化部１０３→エントロピー符号化部１０４→シフタ部１０５により順次符号化処理が施される。符号化処理結果として生成された符号化データは、出力ＦＩＦＯ部１０６を経由して符号化データ出力信号２０２から出力される（図７のｔ４〜ｔ９）。

この時、符号化データ出力信号２０２から有効な符号化データが出力されている期間であることを表す符号化データ出力の有効期間表示信号２０３が「１」になっている（図７のｔ３〜ｔ１０）。１枚目のピクチャ・データに対応したすべての符号化処理動作が完了すると、制御部１０７は、動作中表示２０６に「０」を出力し、ＣＰＵ部４へその旨を通知する（ステップＳ１０７、図７のｔ１１）。

この時、画像符号化部１は１枚目のピクチャ・データに対応した符号化データのすべてを符号化データ出力信号２０２から出力しており、シフタ部１０５及び出力ＦＩＦＯ部１０６には残留する１枚目のピクチャ・データに対応した符号化データは存在しないことに注意されたい。

更に、図７のｔ１０において、符号化データ出力の有効期間指示表示信号２０３に「０」が出力されていることから、ＣＰＵ部４は１枚のピクチャ・データからなる完全な符号化データとして符号化データ出力信号２０２上に出力された符号化データを受信する。

引き続いて、２枚目（＃２）のピクチャ・データの符号化処理動作を開始するために、ＣＰＵ部４は動作再開指示信号２０７に「１」を出力するが、この際、残留符号化データ排出指示信号２０８は１枚目のピクチャ・データの符号化処理動作において、「１」に設定されたままであることに注意されたい（ステップＳ１０８〜ステップＳ１１０、ステップＳ１１２、図７のｔ１２）。

画像符号化部１による２枚目のピクチャ・データに対する符号化処理動作が再開されたことは、動作中表示信号２０６に「１」が出力されることにより確認できる（ステップＳ１１３、図７のｔ１３）。動作が開始したことを確認したら、ＣＰＵ部４は動作再開指示信号２０７を「０」に戻すことができる（ステップＳ１１４、図７のｔ１４）。

入力ＦＩＦＯ部１０１へ画像データ入力信号２０１経由で入力された２枚目のピクチャ・データは、ＤＣＴ部１０２→量子化部１０３→エントロピー符号化部１０４→シフタ部１０５により順次符号化処理が施される。符号化処理結果として生成された符号化データは、出力ＦＩＦＯ部１０６を経由して符号化データ出力信号２０２から出力される（図７のｔ１４〜ｔ１９）。

更に、符号化データ出力信号２０２から有効な符号化データが出力されている期間であることを表す符号化データ出力の有効期間表示信号２０３は、図７のｔ１３において「１」が出力される。

２枚目のピクチャ・データに対応したすべての符号化処理動作が完了すると、制御部１０７は動作中表示２０６に「０」を出力し、ＣＰＵ部４へその旨を通知する（ステップＳ１０７、図７のｔ２１）。

この時、画像符号化部１は２枚目のピクチャ・データに対応した符号化データのすべてを符号化データ出力信号２０２から出力しており、シフタ部１０５及び出力ＦＩＦＯ部１０６には残留する２枚目のピクチャ・データに対応した符号化データは存在しないことに注意されたい。

更に、図７のｔ２０において符号化データ出力の有効期間指示表示信号２０３に「０」が出力されていることから、ＣＰＵ部４は１枚のピクチャ・データからなる完全な符号化データとして符号化データ出力信号２０２上に出力された符号化データを受信する。

引き続いく３枚目（＃３）のピクチャ・データに対する符号化処理動作は、２枚目のピクチャ・データに対する符号化処理動作とまったく同じであるので、説明を省略する。

最後に、画像符号化部１による一連のすべての符号化処理動作を完了する手順を、図３を用いて説明する。

すべてのピクチャ・データの符号化処理動作が完了した場合、ＣＰＵ部４はピクチャ符号化指示信号２０５を「０」に戻し（ステップＳ１０８、ステップＳ１１５、図７のｔ３１）、さらに動作再開指示信号２０７に「１」を出力する（ステップＳ１１７、図７のｔ３２）ことにより、その旨を画像符号化部１へ通知する。

また、ＣＰＵ部４は、「１」が出力されている残留符号化データ排出指示信号２０８も「０」に戻す（ステップＳ１１６、図７のｔ３１）。

ここで、３枚目のピクチャ・データに対する符号化処理動作において、残留符号化データ排出動作を実施したので、出力すべき符号化データはもはや存在しないが、３枚目の符号化処理動作が完了した時点では画像符号化部１は動作を中断して、次のピクチャ・データの符号化処理動作に備えている状態であるので、これを正常に終了させる必要がある。

具体的には、一連の符号化処理動作の過程で画像符号化部１の内部で発生した状態をＣＰＵ部４へ通知する方法がある。そこで、画像符号化部１内部での所望の終了動作が完了した時点で、画像符号化部１は動作中表示信号２０６に「０」を出力すると共に動作完了表示信号２０９に「１」を出力して、一連のすべての符号化処理動作が完了した旨をＣＰＵ部４に通知する（ステップＳ１１８、図７のｔ３８）。

次に、画像符号化部１に入力された動画像データに対して当該ＭＰＥＧ方式におけるシンタックス上のすべてのビデオ層を符号化データとして生成させる符号化処理手順を、図１、図２、図５、図８を用いて説明する。

撮像・画像処理部２により撮影され所望の画像処理が施された動画像データは、ＤＭＡコントローラ部６を経由して一時的に主記憶部３に記憶される。その動画像データは、ＤＭＡコントローラ部５により順次読み出され画像データ入力信号２０１から画像符号化部１へ入力される。

画像符号化部１への動画像データの入力が開始されると、ＣＰＵ部４は、ピクチャ符号化指示信号に「１」を出力することにより、１枚目（＃１）のピクチャ・データの符号化データを出力することを画像符号化部１に対して指示する（ステップＳ３０１、図８のｔ１）。

次に、ＣＰＵ部４は、一連の符号化処理動作を開始させるために動作開始指示信号２０４に「１」を出力する（ステップＳ３０２、図８のｔ２）。

画像符号化部１による符号化処理動作が開始されたことは、動作中表示信号２０６に「１」が出力されることにより確認できる（ステップＳ３０３、図８のｔ３）。動作が開始したことを確認したら、ＣＰＵ部４は動作開始指示信号２０４を「０」に戻すことができる（ステップＳ３０４、図８のｔ４）。

入力ＦＩＦＯ部１０１へ画像データ入力信号２０１経由で入力された１枚目のピクチャ・データは、ＤＣＴ部１０２→量子化部１０３→エントロピー符号化部１０４→シフタ部１０５により順次符号化処理が施される。符号化処理結果として生成された符号化データは、出力ＦＩＦＯ部１０６を経由して符号化データ出力信号２０２から出力される（図８のｔ４〜ｔ９）。

この時、符号化データ出力信号２０２から有効な符号化データが出力されている期間であることを表す符号化データ出力の有効期間表示信号２０３が「１」になっている（図８のｔ３〜）。

１枚目のピクチャ・データに対応したすべての符号化処理動作が完了すると、制御部１０７は、動作中表示２０６に「０」を出力し、ＣＰＵ部４へその旨を通知する（ステップＳ３０５、図８のｔ１１）。

この時、シフタ部１０５及び出力ＦＩＦＯ部１０６は、１枚目のピクチャ・データに対応した符号化データの一部をその内部に残留させていることに注意されたい。即ち、図８のｔ４〜ｔ９の期間に符号化データ出力信号２０２に出力された符号化データは１枚目のピクチャ・データのほとんどに対応しているが、すべてではない。

引き続いて、２枚目（＃２）のピクチャ・データの符号化処理動作を開始するために、ＣＰＵ部４は動作再開指示信号２０７に「１」を出力する（ステップＳ３０６、ステップＳ３０７、図８のｔ１２）。

画像符号化部１による２枚目のピクチャ・データに対する符号化処理動作が再開されたことは、動作中表示信号２０６に「１」が出力されることにより確認できる（ステップＳ３０８、図８のｔ１３）。動作が開始したことを確認したら、ＣＰＵ部４は動作再開指示信号２０７を「０」に戻すことができる（ステップＳ３０９、図８のｔ１４）。

入力ＦＩＦＯ部１０１へ画像データ入力信号２０１経由で入力された２枚目のピクチャ・データは、ＤＣＴ部１０２→量子化部１０３→エントロピー符号化部１０４→シフタ部１０５により順次符号化処理が施される。符号化処理結果として生成された符号化データは、出力ＦＩＦＯ部１０６を経由して符号化データ出力信号２０２から出力される（図８のｔ１４〜ｔ１９）。

この時、符号化データ出力信号２０２から有効な符号化データが出力されている期間であることを表す符号化データ出力の有効期間表示信号２０３は、図８のｔ３において「１」が出力された状態を保っている。

２枚目のピクチャ・データに対応したすべての符号化処理動作が完了すると、制御部１０７は、動作中表示２０６に「０」を出力し、ＣＰＵ部４へその旨を通知する（ステップＳ３０５、図８のｔ２１）。

この時、シフタ部１０５及び出力ＦＩＦＯ部１０６は、２枚目のピクチャ・データに対応した符号化データの一部をその内部に残留させていることに注意されたい。即ち、図８のｔ１４〜ｔ１９の期間に符号化データ出力信号２０２に出力された符号化データは、２枚目のピクチャ・データのほとんどに対応しているが、すべてではない。

更に、図８のｔ１４〜ｔ１９の期間に符号化データ出力信号２０２に出力された符号化データの先頭に位置する符号化データには、１枚目のピクチャ・データに対する符号化処理動作を行った際にシフタ部１０５及び出力ＦＩＦＯ部１０６に残留していた１枚目のピクチャ・データに対応する符号化データが出力されている。

引き続く３枚目（＃３）のピクチャ・データに対する符号化処理動作は、２枚目のピクチャ・データに対する符号化処理動作とまったく同じであるので、説明を省略する。

最後に、画像符号化部１による一連のすべての符号化処理動作を完了する手順を、図３を用いて説明する。

すべてのピクチャ・データの符号化処理動作が完了した場合、ＣＰＵ部４はピクチャ符号化指示信号２０５を「０」に戻し（ステップＳ３０６、ステップＳ３１０、図８のｔ３１）、さらに動作再開指示信号２０７に「１」を出力する（ステップＳ３１１、図８のｔ３２）ことにより、その旨を画像符号化部１へ通知する。

ここで、３枚目のピクチャ・データに対する符号化処理動作においては、シフタ部１０５及び出力ＦＩＦＯ部１０６の内部に３枚目のピクチャ・データに対応した符号化データが残留しているので、前述した図４の手順により当該残留符号化データをすべて排出する（図８のｔ３４〜ｔ３６）。

更に、ＭＰＥＧ−１方式やＭＰＥＧ−２方式ではシンタックス上のすべてのビデオ層を符号化データとして完全化するためには、符号化データの最後に３２ビットからなるシーケンス・エンド・コード（ｓｅｑｕｅｎｃｅ＿ｅｎｄ＿ｃｏｄｅ）を出力する必要がある。当該残留符号化データとシーケンス・エンド・コードなどを符号化データ出力信号上へ出力し終えた時点において、出力ＦＩＦＯ部２０３は符号化データ出力の有効期間表示信号２０３を「０」に戻す（図８のｔ３７）。

また、３枚目の符号化処理動作が完了した時点では、画像符号化部１は動作を中断して、次のピクチャ・データの符号化処理動作に備えている状態であるので、これを正常に終了させる必要がある。

具体的には、一連の符号化処理動作の過程で画像符号化部１の内部で発生した状態をＣＰＵ部４へ通知する方法がある。そこで、画像符号化部１内部での所望の終了動作が完了した時点で、画像符号化部１は動作中表示信号２０６に「０」を出力すると共に動作完了表示信号２０９に「１」を出力して、一連のすべての符号化処理動作が完了した旨をＣＰＵ部４に通知する（ステップＳ３１２、図８のｔ３８）。

上述した、画像符号化部１に入力された動画像データに対して当該ＭＰＥＧ方式におけるシンタックス上のすべてのビデオ層を符号化データとして生成させる符号化処理動作の利点として、以下の２点があげられる。

１点目として、画像符号化部１から所定のピクチャ枚数毎に完全な符号化データとして出力する場合に比べて、符号化データ全体の量が少なくなる。これは、例えば、符号化データ出力信号２０２が４バイトのバス幅を持っていた場合で、かつ、所定の枚数のピクチャ・データに対する符号化データの量を４バイトで割った余りが３である場合は、３バイトのパディング・バイト・データ（０ｘ００００００）を余計に符号化データに含めて出力することになる。ここで、所定のピクチャ枚数が少ないほど、全体の符号化データに占める上述したパディング・バイト・データの割合が高くなり、符号化効率は悪くなる。

一方、画像符号化部１に入力された動画像データに対して当該ＭＰＥＧ方式におけるシンタックス上のすべてのビデオ層を符号化データとして生成させる符号化処理動作においては、上述したパディング・バイト・データを符号化データ中に含める必要がないので、画像符号化部１から所定のピクチャ枚数毎に完全な符号化データとして出力する場合に比べて、符号化効率が向上する。

２点目として、画像符号化部１から主記憶部３へ符号化データを書き込む場合は、主記憶部３上の例えば、３２バイト境界などの一定のアドレス境界から書き込みを開始すると高いデータ転送速度を得ることができるが、所定の枚数のピクチャ・データ毎に完全な符号化データを主記憶部３へ書き込む場合は、必ずしも当該アドレス境界から書き込みが始められるとは限らないので、データ転送速度が低下する可能性がある。

一方、画像符号化部１に入力された動画像データに対して当該ＭＰＥＧ方式におけるシンタックス上のすべてのビデオ層を符号化データとして生成させる符号化処理動作においては、一番初めの主記憶部３への書き込みアドレスを当該の高いデータ転送速度が得られるアドレス境界から始めれば、その後は連続したデータとして順次主記憶部３へ高速に書き込むことが可能である。

上述した２点の利点から、符号化方式として高いランダム・アクセス性が提供されているＭＰＥＧ−４方式とは異なる、ＭＰＥＧ−１方式やＭＰＥＧ−２方式等においては、画像符号化部１に入力された動画像データに対して当該ＭＰＥＧ方式におけるシンタックス上のすべてのビデオ層を符号化データとして生成させる符号化処理動作が好ましい。

また、ランダム・アクセスを可能とする必要がないＭＰＥＧ−４方式による符号化処理動作の場合も、やはり画像符号化部１に入力された動画像データに対して当該ＭＰＥＧ方式におけるシンタックス上のすべてのビデオ層を符号化データとして生成させる符号化処理動作が好ましいと言える。

尚、本発明の実施形態においては、符号化方式としてＭＰＥＧ方式を適用して説明したが、本発明は、静止画の符号化方式であるＪＰＥＧ方式による符号化処理の動作制御に対しても同様に適用可能である。

以上説明したように、本発明によれば、ＭＥＰＧ−４方式におけるエレメンタリ・ストリームをランダム・アクセスの単位としての所望のピクチャ枚数毎に符号化することが可能であり、かつＭＰＥＧ−１方式やＭＰＥＧ−２方式において利便性のよい、入力された動画像データに対応した、それぞれの符号化方式におけるシンタックス上のビデオ層すべての階層を符号化することが可能である。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態の画像符号化装置の機能ブロック図である。 本発明の実施形態の画像撮影記録システムの機能ブロック図である。 本発明の実施形態の画像符号化部の内部に残留する符号化データを任意のピクチャ数毎に排出するために、利用者が画像符号化部を操作する手順を示すフローチャートである。 本発明の実施形態の利用者から残留符号化データ排出を指示された制御部が画像符号化部の内部に残留する符号化データを排出する手順を示すフローチャートである。 本発明の実施形態の画像符号化部に入力された動画像データに対して当該ＭＰＥＧ方式におけるシンタックス上のすべてのビデオ層を符号化データとして生成させるために、利用者が画像符号化部を操作する手順を示すフローチャートである。 本発明の実施形態の図３のフローチャートと関連して、３枚のピクチャ・データ毎に画像符号化部１の内部に残留する符号化データを排出する場合の信号波形を示す図である。 本発明の実施形態の図３のフローチャートと関連して、１枚のピクチャ・データ毎に画像符号化部１の内部に残留する符号化データを排出する場合の信号波形を示す図である。 本発明の実施形態の図５のフローチャートと関連して、画像符号化部に入力された動画像データに対して当該ＭＰＥＧ方式におけるシンタックス上のすべてのビデオ層を符号化データとして生成させる場合の信号波形を示す図である。

符号の説明

１ 画像符号化部
２ 撮像・画像処理部
３ 主記憶部
４ ＣＰＵ部
１０１ 入力ＦＩＦＯ部
１０２ ＤＣＴ部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ シフタ部
１０６ 出力ＦＩＦＯ部
１０７ 制御部

Claims (7)

1. 画像データを符号化する画像符号化装置であって、
   エントロピー符号化された符号化データと所望のヘッダ情報を連結する連結手段と、
   前記連結手段から出力される、連結された符号化データとヘッダ情報を一時的に格納する格納手段と、
   前記連結手段と前記格納手段の内部に残留している符号化データを排出する指示を行う指示手段と、
   前記指示手段の指示に応じて、前記連結手段と前記格納手段の内部に残留している符号化データを排出するように、該連結手段と前記格納手段を制御する制御手段と
   を備えることを特徴とする画像符号化装置。
2. 前記連結手段は、
   任意数のビットを当該連結手段内のデータへ挿入する挿入手段と、
   当該連結手段内のデータの有効ビット数を計数する計数手段と
   を備えることを特徴とする請求項１に記載の画像符号化装置。
3. 前記格納手段は、
   当該格納手段内に残留している符号化データを排出する排出手段と、
   当該格納手段内のデータの有効バイト数を計数する計数手段と
   を備えることを特徴とする請求項１に記載の画像符号化装置。
4. 前記制御手段は、
   当該画像符号化装置における一連の動作開始を指示する動作開始指示手段と、
   当該画像符号化装置における一連の動作再開を指示する動作再開指示手段と、
   動画像を構成する一枚のピクチャ・データを符号化する指示を行うピクチャ符号化指示手段と
   を備えることを特徴とする請求項１に記載の画像符号化装置。
5. 前記制御手段は、
   当該画像符号化装置が一連の動作中であることを表示する動作中表示手段と、
   当該画像符号化装置が一連の動作を完了したことを表示する動作完了表示手段と
   を備えることを特徴とする請求項１に記載の画像符号化装置。
6. 画像データを符号化する画像符号化装置の制御方法であって、
   エントロピー符号化された符号化データと所望のヘッダ情報を連結部で連結する連結工程と、
   前記連結工程から出力される、連結された符号化データとヘッダ情報を一時的に格納部に格納する格納工程と、
   前記連結部と前記格納部の内部に残留している符号化データを排出する指示を行う指示工程と、
   前記指示工程の指示に応じて、前記連結部と前記格納部の内部に残留している符号化データを排出するように、該連結工程と前記格納工程を制御する制御工程と
   を備えることを特徴とする画像符号化装置の制御方法。
7. 画像データを符号化する画像符号化装置の制御を実現するプログラムであって、
   エントロピー符号化された符号化データと所望のヘッダ情報を連結部で連結する連結工程のプログラムコードと、
   前記連結工程から出力される、連結された符号化データとヘッダ情報を一時的に格納部に格納する格納工程のプログラムコードと、
   前記連結部と前記格納部の内部に残留している符号化データを排出する指示を行う指示工程のプログラムコードと、
   前記指示工程の指示に応じて、前記連結部と前記格納部の内部に残留している符号化データを排出するように、該連結工程と前記格納工程を制御する制御工程のプログラムコードと
   を備えることを特徴とするプログラム。

Images