JP2002051339A - 画像復号装置及びその方法並びに記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 復号対象フレームの復号時間を所定の時間
内に納めること。 【解決手段】 フレーム符号化データｋの復号時間を予
測する（Ｓ１２０９）。予測された復号時間が目標復号
時間を越えている場合（Ｓ１２１０）、高周波サブバン
ドから低周波サブバンドに向かって順に復号対象符号か
ら除外し（Ｓ１２１１）、一部のデータが除外されたサ
ブバンドには除外されたことで得られなかった量子化値
のビットを０とする（Ｓ１２１２）。また全てのデータ
が除外されたサブバンドに対しては（Ｓ１２０４）、エ
ントロピー復号、逆量子化が行われず全ての離散ウェー
ブレット変換係数が０として処理される（Ｓ１２０
６）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像データにお
けるフレーム符号化データを復号する画像復号装置及び
その方法並びに記憶媒体に関するものである。

【０００２】

【従来の技術】昨今、パソコンやモバイル端末の普及に
より、インターネットを介したデジタルデータの通信
（データ通信）が幅広く行われるようになった。データ
通信において流通するデジタルデータのひとつに動画像
がある。動画像はデータ量が大きいため、送信される前
に動画像中の静止画像（フレーム）を単位として符号化
され、動画像のデータ量は小さくされる。このような動
画像の符号化方法として、フレーム間の関係を用いない
で各フレームを独立に符号化する方法（フレーム内符号
化）がある。現状フレーム内符号化の方式のひとつに、
各フレームがＩＳＯ／ＩＥＣ １０９１８−１｜ＩＴＵ
−Ｔ Ｔ．８１に記載されるＪＰＥＧ符号化方式により
符号化される方式がある。このJPEG符号化方式では、離
散コサイン変換によりフレームのデータ（画像データ）
の系列が変換される。

【０００３】現在、画像データの系列を変換する方式と
して離散ウェーブレット変換が注目されている。それ
は、画像データを離散ウェーブレット変換することで得
られる離散ウェーブレット変換係数は、画像データを離
散コサイン変換することで得られる離散コサイン変換係
数より、係数の低周波領域への偏りが大きいこと等、多
くの利点があるからである。

【０００４】上述のように動画像データは符号化され
て、データ量は小さくされて流通される。その符号化さ
れた動画像データはパソコン上で復号され、ディスプレ
イに表示されることもある。

【０００５】パソコンでは一般に、複数のアプリケーシ
ョンソフトが同時に使われる。その場合、各アプリケー
ションソフトを動作させるために必要なＣＰＵパワーや
メモリを、各アプリケーションソフトが共用する。その
ため、同時に作動しているアプリケーションソフトの種
類や数の変更とともに、各アプリケーションソフトの処
理能力も変動する。

【０００６】ネットワークを介して配信される動画像デ
ータを復号する専用アプリケーションソフトをパソコン
上で動作させる場合、その専用アプリケーションソフト
も上述理由により処理能力が変動する。そのため、動画
像を構成するフレームを復号するためにかかる時間も変
動する。

【０００７】さらにフレームの復号にかかる時間は、専
用アプリケーションソフトに割り当てられるＣＰＵパワ
ーやメモリだけで決まらず、各フレームの特性にも依存
する。

【０００８】

【発明が解決しようとする課題】一方、復号動画像をス
ムーズに表示するために、１枚のフレームの復号は、定
められた時間（目標復号時間）以内に行われる必要があ
る。また本文では特に示さないが、音声データとの同期
を行う上でも、目標復号時間以内の復号は要求される。

【０００９】現在様々な画像復号装置は存在するが、離
散ウェーブレット変換されたフレームデータの復号を、
目標時間を基に行う画像復号装置はない。

【００１０】本発明は以上の問題点に対して鑑みてなさ
れたものであり、復号対象フレームの復号時間を所定の
時間内に納めることができる画像復号装置及び画像復号
方法並びに記憶媒体を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明の目的を達成する
ために、例えば本発明の画像復号装置は以下の構成を備
える。すなわち、動画像データにおけるフレーム符号化
データを復号する画像復号装置であって、フレーム符号
化データを復号する際に要する時間を計測する計測手段
と、前記計測手段により計測された時間を時間データと
して複数記憶する記憶手段と、前記記憶手段に記憶保持
された複数の時間データから、次の復号対象のフレーム
符号化データの復号時間を予測する予測手段と、前記予
測手段により予測された時間が、予め設定された所定の
時間を越えている場合、前記フレーム符号化データから
当該越えている時間に応じたデータ量分のデータを、除
外して復号対象符号を決定する決定手段と、前記決定手
段により決定された復号対象符号を復号する復号手段と
を備える。

【００１２】

【発明の実施の形態】以下添付図面に従って、本発明を
好適な実施形態に従って詳細に説明する。

【００１３】［第１の実施形態］本実施形態における画
像復号装置は、復号対象フレームの復号にかかる時間
を、そのフレームの直前に復号した２枚のフレームにか
かった各復号時間から予測する。そして目標復号時間を
設定し、予測された復号時間が目標復号時間を越える場
合、復号対象フレームの全データでなく一部のデータを
復号する。

【００１４】なお、この目標復号時間の設定基準とし
て、例えば、１秒間に３０フレームを再生し、表示する
場合、１／３０秒以内で、復号対象フレームを復号し、
表示しなくてはいけない。よって、この表示に要する時
間Ｔを考慮して、目標復号時間を（１／３０−Ｔ）秒と
設定する。もちろん、復号以外に要する時間を考慮し
て、目標復号時間をもっと短くとっても良い。

【００１５】本実施形態において、符号化・復号が行わ
れる動画像は、Ｍ枚のフレームから構成されているもの
とする。またＭ枚のフレームは１枚ずつ、画像符号化装
置に入力されるものとする。また画像符号化装置は入力
されるフレーム毎に符号化を行い、各フレームに応じた
フレーム符号化データを生成する。生成されたフレーム
符号化データは、１枚ずつ画像復号装置に入力されるも
のとする。Ｍ枚の符号化対象／復号対象のフレーム／フ
レーム符号化データにおいて、最初に符号化／復号され
るフレーム／フレーム符号化データをフレーム１／フレ
ーム符号化データ１と呼ぶことにする。また、その後入
力されるフレーム／フレーム符号化データを順にフレー
ム２／フレーム符号化データ２，フレーム３／フレーム
符号化データ３，…，フレームＭ／フレーム符号化デー
タＭと呼ぶことにする。

【００１６】本実施形態における動画像中の符号化／復
号対象となるフレームの画像データは、８ビットのモノ
クロ画像データとする。しかしながら、各画素４ビッ
ト、１０ビット、１２ビットといった具合に８ビット以
外のビット数で表すモノクロ画像、或いは各画素におけ
る各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビット
で表現するカラ−の多値画像データである場合に適用す
ることも可能である。また、画像を構成する各画素の状
態等を表す多値情報である場合、例えば各画素の色を表
す多値のインデックス値である場合にも適用できる。こ
れらに応用する場合には、各種類の多値情報を後述する
モノクロ画像データとすればよい。

【００１７】図１は本実施形態における画像復号装置の
概略構成を示すブロック図である。同図に示した構成を
備える画像復号装置には、画像符号化装置からフレーム
符号化データが送信されてくる。以下、その画像符号化
装置がフレーム符号化データを生成するための処理の流
れ、フレーム符号化データの構成について述べる。

【００１８】図２は本実施形態の画像復号装置が復号す
る対象となるフレーム符号化データを生成する画像符号
化装置の概略構成を示すブロック図である。

【００１９】まず、画像入力部２０１から符号化対象と
なる画像データを構成する画素デ−タがラスタ−スキャ
ン順に入力される。この画像入力部２０１は、例えばス
キャナ、デジタルカメラ等の撮像装置、或いはＣＣＤな
どの撮像デバイス、或いはネットワ−ク回線のインタ−
フェ−ス等が用いられる。また、画像入力部２０１はＲ
ＡＭ、ＲＯＭ、ハードディスク、ＣＤ−ＲＯＭ等の記録
媒体であっても良い。

【００２０】離散ウェ−ブレット変換部２０２は画像入
力部２０１から入力される１画面分の各画素データに、
離散ウェ−ブレット変換を施し、その結果生成される離
散ウェーブレット係数（変換係数）を複数の周波数帯域
（サブバンド）に分解する。本実施形態においては、画
像デ−タ列ｘ（ｎ）に対する離散ウェーブレット変換は
下のように行われる。

【００２１】ｒ（ｎ）＝ｆｌｏｏｒ｛（ｘ（２ｎ）＋ｘ
（２ｎ＋１））／２｝ ｄ（ｎ）＝ｘ（２ｎ＋２）−ｘ（２ｎ＋３）＋ｆｌｏｏ
ｒ｛（−ｒ（ｎ）＋ｒ（ｎ＋２）＋２）／４｝ ｒ（ｎ）、ｄ（ｎ）は変換係数であり、ｒ（ｎ）は低周
波サブバンド、ｄ（ｎ）は高周波サブバンドである。ま
た、上式においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大
の整数値を表す。本変換式は一次元のデ−タに対するも
のであるが、この変換を水平方向、垂直方向の順に適用
して二次元の変換を行うことにより、図３（ａ）の様な
ＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割する
ことができる。ここで、Ｌは低周波サブバンド、Ｈは高
周波サブバンドを示している。次にＬＬサブバンドを、
同じ様に４つのサブバンドに分け（図３（ｂ））、その
中のＬＬサブバンドをまた４サブバンドに分ける（図３
（ｃ））。よってその結果、合計１０サブバンドを作
る。

【００２２】作った１０個のサブバンドそれぞれに対し
て、図３（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶことに
する。ここで、各サブバンドの名称における数字を、そ
れぞれのサブバンドのレベルとする。つまり、レベル１
のサブバンドは、ＨＬ1，ＨＨ１，ＬＨ１、レベル２の
サブバンドは、ＨＬ２，ＨＨ２，ＬＨ２である。なおＬ
Ｌサブバンドは、レベル０のサブバンドとする。また、
レベルｎまでのサブバンドを復号することで得られる復
号データを、レベルｎの復号データと呼ぶ。そしてレベ
ルｎの復号データから得られる復号画像を、レベルｎの
復号画像と呼ぶ。復号画像はレベルが高い程、解像度は
高い。

【００２３】なお、本実施形態では、上述の画像符号化
装置から画像復号装置に送信されるフレーム符号化デー
タは、上述のような構成を備える１０個のサブバンドを
有するものとする。なおここで、全てのサブバンドを復
号することで得られる復号データを完全復号データと呼
ぶ。また、完全復号データを画像表示デバイスに表示さ
せることで得られる復号フレームを、完全復号フレーム
と呼ぶ。本実施形態におけるフレーム符号化データで
は、レベル３の復号フレームが完全復号フレームであ
る。

【００２４】離散ウェーブレット変換部２０２による１
０個のサブバンドは、一旦バッファＢ２０３に格納さ
れ、ＬＬ，ＨＬ１,ＬＨ１,ＨＨ１,ＨＬ２,ＬＨ２,ＨＨ
２,ＨＬ３,ＬＨ３,ＨＨ３の順に、つまり、レベルが低
いサブバンドからレベルが高いサブバンドの順に、係数
量子化部２０４へ出力される。

【００２５】係数量子化部２０４では、バッファＢ２０
３から出力される各サブバンドのウェ−ブレット変換係
数を周波数成分毎に定めた量子化ステップで量子化し、
量子化後の値（係数量子化値）をエントロピー符号化部
２０５へ出力する。係数値をＸ、この係数の属する周波
数成分に対する量子化ステップの値をｑとするとき、量
子化後の係数値Ｑ（Ｘ）は次式によって求めるものとす
る。

【００２６】 Ｑ（Ｘ）=ｆｌｏｏｒ｛（Ｘ／ｑ）＋０.５｝ 本実施形態における各周波数成分と量子化ステップとの
対応を表す表を図４に示す。同図に示す様に、レベルの
低いサブバンドよりもレベルの高いサブバンドの方に、
大きい量子化ステップを与えている。一つのサブバンド
における全ての係数を量子化した後、それら係数量子化
値をエントロピー符号化部２０５へ出力する。なお、図
４に示した表は画像符号化装置内の不図示のＲＯＭやＲ
ＡＭなどのメモリに格納され、不図示のＣＰＵにより読
み出され、用いられるものとする。

【００２７】エントロピー符号化部２０５では、入力さ
れた係数量子化値を算術符号化によりエントロピー符号
化し、エントロピー符号化値を生成する。そのエントロ
ピー符号化値は、フレーム符号化データ出力部２０６に
出力される。

【００２８】フレーム符号化データ出力部２０６では、
図５に示されているように、入力されたエントロピー符
号化値をサブバンド単位で並べ、その先頭にヘッダ付加
し、フレーム符号化データを含む符号列を生成する。な
おヘッダには、画像入力部２０１に入力された画像のサ
イズ、画像が２値画像であるか多値画像であるかを示す
タイプなどの情報、並びに送信する画像符号化・伝送装
置を示す文字列、送信日時、等が書き込まれる。このフ
レーム符号化データを含む符号列は、フレーム符号化デ
ータ出力部２０６から送信される。

【００２９】このフレーム符号化データ出力部２０６に
は、公衆回線、無線回線、ＬＡＮ等のインタ−フェ−ス
を用いることができる。

【００３０】次に、本実施形態における画像復号装置に
おけるフレーム復号処理について、図１２に示した同処
理のフローチャートを用いて説明する。なお、本フロー
チャートに従ったプログラムコードは画像復号装置内の
不図示のＲＯＭやＲＡＭなどのメモリに格納され、不図
示のＣＰＵにより読み出され、実行されるものとする。

【００３１】まずフレーム符号化データ１，２の復号に
ついて説明し、その後フレーム符号化データｋ（ｋ＞
２）の復号について説明する。なお、画像復号装置は、
各フレームを復号するたびにカウントし、そのカウント
値を用いて、現在復号しているフレームが２番目より後
か否かを判断する（ステップＳ１２０１）。 ＜フレーム符号化データ１，２＞画像符号化装置から送
信されてきた符号列がフレーム符号化データ入力部１０
１に入力されると、符号列からヘッダ、エントロピー符
号化値を取り出す。

【００３２】取り出されたエントロピー符号化値に対し
てエントロピー復号部１０４は復号化処理を施し、量子
化値が復元される（ステップＳ１２０２）。そして復元
された量子化値は逆量子化部１０５に出力される。逆量
子化部１０５は入力した量子化値を逆量子化する事によ
り、離散ウェーブレット変換係数を復元して後続のバッ
ファＡ１０６に出力する（ステップＳ１２０３）。逆量
子化は以下の式により行われる。

【００３３】Ｘｒ＝Ｑ×ｑ ただし、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復
元された離散ウェーブレット変換係数である。なお、上
述の通り、サブバンド毎に量子化ステップは異なり、各
サブバンド毎の量子化ステップを示すテーブル（図４）
は、画像復号装置内の不図示のＲＯＭやＲＡＭなどのメ
モリに格納され、参照される。

【００３４】バッファＡ１０６に格納された離散ウェー
ブレット変換係数は、レベル単位で逆離散ウェーブレッ
ト変換部Ａ１０７に入力される。フレーム符号化データ
１，２ではまだ除外されたサブバンドはないので（ステ
ップＳ１２０４）、処理をステップＳ１２０５に進め、
逆離散ウェーブレット変換部Ａ１０７では、以下に記述
されている式に基づいて逆離散ウェーブレット変換が行
われる（ステップＳ１２０５）。

【００３５】ｐ（ｎ）＝ｄ（ｎ−１）−ｆｌｏｏｒ
｛（−ｒ（ｎ）＋ｒ（ｎ＋２）＋２）／４｝ ただし、低周波サブバンドの離散ウェーブレット変換係
数をｒ（ｎ）、高周波サブバンドの離散ウェーブレット
変換係数をｄ（ｎ）とする。また、ｘ（ｎ）は復号デー
タである。本変換式は一次元のデ−タに対するものであ
るが、この変換を水平方向、垂直方向の順に適用するこ
とで二次元の変換を行う。そして復号フレームデータが
生成され、復号フレームデータ出力部１０９に出力され
る。この復号フレームデータ出力部１０９は、ネットワ
−ク回線のインタ−フェ−ス等が用いられる。また、Ｒ
ＡＭ、ＲＯＭ、ハードディスク、ＣＤ−ＲＯＭ等の記録
媒体であっても良い。もしくは、液晶ディスプレイ等の
画像表示デバイスであってもよい。例えば復号フレーム
データ出力部１０９として画像表示デバイスが用いられ
た場合、復号データは復号画像として表示される。

【００３６】なお、エントロピー復号部１０４から逆離
散ウェーブレット変換部Ａ１０７までの処理にかかる時
間（復号時間）は、復号時間計測部１０８により計測さ
れる（ステップＳ１２０７）。そして図６に示されてい
るように、フレーム符号化データ１の復号時間である復
号時間１，フレーム符号化データ２の復号時間である復
号時間２は、順に復号時間予測部１０２の復号時間メモ
リ１，復号時間メモリ２に記憶される。以後フレーム符
号化データｋの復号時間を復号時間ｋと呼ぶことにす
る。

【００３７】また処理がフレーム符号化データ３の復号
に進み、復号時間３が計測されると、復号時間メモリ１
に記憶されている復号時間１は消去される。そして、復
号時間メモリ２に記憶されている復号時間２が復号時間
メモリ１に記憶され、復号時間３が復号時間メモリ２に
記憶される。同様に復号時間４，５，…が計測される度
に、復号時間メモリ１，２に記憶されている復号時間は
更新される。 ＜フレーム符号化データｋ（ｋ＞２）＞フレーム符号化
データｋがフレーム符号化データ入力部１０１に入力さ
れると、復号時間予測部１０２が、フレーム符号化デー
タｋの復号時間を予測する（ステップＳ１２０９）。こ
の復号時間の予測は、復号時間メモリ１に記憶されてい
る復号時間（ｋ−２）と、復号時間メモリ２に記憶され
ている復号時間（ｋ−１）を基に予測される。本実施形
態においては、図７ａに示されているように、復号時間
（ｋ−１）と復号時間（ｋ−２）から復号時間ｋの予測
を行う。

【００３８】なお本実施形態における予測方法は、復号
時間（ｋ−１）と復号時間（ｋ−２）から線形予測する
ものとする。つまり、点７０１と点７０２とを結んだ直
線上に、点７０３があるものとして予測する。

【００３９】復号符号決定部１０３は、復号時間予測部
１０２で予測された復号時間から、復号すべき符号（復
号対象符号）を決定する。図７ｂのように、予測された
復号時間ｋが、１フレームの復号にかけられる時間（目
標復号時間）より小さい場合（ステップＳ１２１０）、
復号対象符号はフレーム符号化データｋの全データと決
定され、この全データに対して復号化処理を施すために
処理をステップＳ１２０２に移行する。

【００４０】逆に図７ｃのように予測された復号時間ｋ
が目標復号時間を越えている場合（ステップＳ１２１
０）、復号が目標復号時間内に収まるように復号対象符
号が決定される。後者の復号対象符号の決定方法は、復
号することで目標復号時間を越えると予測される符号量
を、復号対象符号から外すことで達成する。具体的に
は、図８に示されている通り、サブバンドのレベルの高
い順に高周波サブバンドから低周波サブバンドに向かっ
て順に、復号対象符号から除外する（ステップＳ１２１
１）。

【００４１】ここで、復号対象から除外する際、２つの
単位での除外が考えられる。一つはサブバンドのレベル
単位での除外、もう一つは所定のデータ単位（本実施形
態ではビット単位）での除外である。本実施形態では所
定のデータ単位で除外するが、復元される画像に対し
て、解像度に対する要求が比較的低い場合には、サブバ
ンドのレベル単位で除外してもよい。

【００４２】本実施形態での復号対象符号からのデータ
の除外方法において、全てのデータが除外されたサブバ
ンドに対しては（ステップＳ１２０４）、エントロピー
復号，逆量子化が行われず、全ての離散ウェーブレット
変換係数が０として処理される（ステップＳ１２０
６）。一方、一部のデータが除外されたサブバンドにお
いては、除外されたことで得られなかった量子化値のビ
ットに対して、０が割り当てられる（ステップＳ１２１
２）。そして逆量子化，逆離散ウェーブレット変換が行
われる。

【００４３】エントロピー復号部１０４以降の処理につ
いては、フレーム符号化データ１，２と同様なので、そ
の説明については割愛する。

【００４４】以上説明したように、本実施形態における
画像復号装置及び画像復号方法は、復号対象フレームの
復号にかかる時間を、そのフレームの直前に復号した２
枚のフレームにかかった各復号時間から予測する。そし
て予測された復号時間が目標復号時間を越える場合、復
号対象フレームの全データでなく一部のデータを復号す
る。

【００４５】その結果、設定された目標復号時間内で、
少なくとも大まかなフレームを復号することができるた
め、リアルタイムで変化する復号能力に依存せず、スム
ーズな動画像を再生することができる。

【００４６】［第２の実施形態］第１の実施形態におい
て、復号対象フレームの復号時間を予測して復号すべき
符号量を決定した。その結果、復号した動画像のスムー
ズな再生が可能となった。しかし復号対象フレームの復
号時間の予測が外れて、復号時間が目標復号時間を越え
てしまうこともある。例えば音声データとの同期を考え
ると、その目標復号時間を越えた時間（超過時間）をキ
ャンセルする処理が必要となる。本実施形態では、目標
復号時間を越えて復号されたフレームの次に復号される
フレームにおいて、上述超過時間をキャンセルする処理
が行われる。

【００４７】本実施形態での画像復号装置は、第１の実
施形態で用いられた画像復号装置と構成は同じである。
ただしいくつかの処理部において、第１の実施形態とは
異なる処理が行われる。

【００４８】画像復号装置がフレーム符号化データ１か
ら順に復号を行い、フレーム符号化データ（ｋ−１）の
復号で、復号時間（ｋ−１）が目標復号時間を超過した
ことが復号時間計測部１０８により判明されたものとす
る。同時に、復号時間計測部１０８は超過時間を測定す
る。測定された超過時間は復号符号決定部１０３に送ら
れる。そして復号時間予測部１０２において予測された
復号時間と、超過時間を基に、復号符号決定部１０３は
次の復号対象のフレームの目標時間復号すべき符号を決
定する。

【００４９】復号符号決定部１０３において復号すべき
符号が決定されると、エントロピー復号部１０４以降の
処理が開始される。なおエントロピー復号部１０４以降
の処理は、第１の実施形態と同様である。

【００５０】以上説明したように第２の実施形態におけ
る画像復号装置は、あるフレームの復号で超過時間が発
生した場合、その次のフレームで超過時間をキャンセル
するように復号すべき符号を決定する。そのため、ある
フレームで復号時間が目標復号時間を超過してしまって
も、早急に音声との同期を回復することが可能である。

【００５１】［第３の実施形態］第１，２の実施形態で
は、復号時間が目標復号時間を越えないように、フレー
ム符号化データの一部を復号対象から除外した。しかし
動画像によっては、ある注目したオブジェクトについて
はなるべく品質を落とさないで復号することが望まれる
こともある。そのような場合に対応して、本実施形態で
は、フレームデータの符号化時にフレームをタイルに分
割し、各タイルを注目したオブジェクトを含むＲＯＩ
（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）タイルと、
注目したオブジェクトを含まない非ＲＯＩタイルに分類
して符号化し、夫々のフレーム符号化データを生成す
る。そして画像復号装置は、非ＲＯＩタイル符号化デー
タの符号を復号対象符号から除外する。

【００５２】最初に、画像符号化装置がフレーム符号化
データを生成するための処理の流れを説明し、次にフレ
ーム符号化データを復号するフレーム復号装置の流れに
ついて説明する。

【００５３】図９は、本実施形態における画像復号装置
に入力されるフレーム符号化データを生成する画像符号
化装置の概略構成を示すブロック図である。画像符号化
装置は、画像入力部２０１と離散ウェーブレット変換部
２０２の間に、タイル分割部９０１とＲＯＩ決定部９０
２を挿入したものである。それ以外の本実施形態におけ
る符号化装置の各部及びその動作は第１の実施形態にお
ける同装置と同じである。又、画像符号化装置が１枚の
フレーム符号化データを生成する際の処理について、図
１３に示した同処理のフローチャートを用いて説明す
る。なお、本フローチャートに従ったプログラムコード
は画像符号化装置内の不図示のＲＯＭやＲＡＭなどのメ
モリに格納され、ＣＰＵにより読み出され、実行される
ものとする。

【００５４】画像入力部２０１にフレームデータが入力
され、タイル分割部９０１にフレームデータが出力され
ると、タイルの大きさが決定される。なおタイルは矩形
とする。フレームデータは、決定されたタイルに相当す
るタイルデータに分割される（ステップＳ１３０１）。
フレームデータがタイルデータに分割されることで、画
像がタイルに分割される様子を図１０に示す。タイルの
大きさは、ＲＯＩを任意形状に表わすことができる程度
に小さい。なお符号化対象となる画像データはＮ個のタ
イルデータに分割され、画像はＮ個のタイルに分割され
るものとする。生成されたＮ個のタイルデータはＲＯＩ
決定部９０２に入力される。ＲＯＩ決定部９０２におい
て、ＲＯＩは次のように決定される。

【００５５】図１１に示してあるように、画像符号化装
置に備え付けてあるディスプレイに画像が表示される。
画像符号化装置のユーザーはその画像を見て、外部入力
デバイス（タッチペン）でＲＯＩを決定する（ステップ
Ｓ１３０２）。図１１ではＲＯＩとして星型の図形（網
部）が選択されている。

【００５６】ＲＯＩが決定されると、各タイルは、ＲＯ
Ｉタイル，非ＲＯＩタイルのいずれかに分類される。ま
た、分類されたそれぞれのタイルのタイルデータを、Ｒ
ＯＩタイルデータ，非ＲＯＩタイルデータという。各タ
イルデータには、１ビットの区別用ビットが付加され
る。区別用ビットとして、ＲＯＩタイルデータには１，
非ＲＯＩタイルデータには０が付加される。

【００５７】ＲＯＩ決定部９０２以降の処理は、ＲＯＩ
タイル、非ＲＯＩタイルの各タイル独立に行われる。ま
た、区別用ビットは処理の対象とならない。このように
して生成された各タイルデータは順に、離散ウェーブレ
ット変換部２０２に出力される。

【００５８】なお、ＲＯＩが選択されたフレームの次の
フレーム以降においても、同じオブジェクトがＲＯＩと
して選択される場合には、上述のような外部入力デバイ
スによるＲＯＩの決定は行われず、そのオブジェクトを
サーチする手法が採られる。

【００５９】ＲＯＩ決定部９０２からエントロピー符号
化部２０５の処理は、第１の実施形態と同様である。つ
まり、全てのＲＯＩタイルデータ、非ＲＯＩタイルデー
タに対して（ステップＳ１３０６，ステップＳ１３０
７）、離散ウェーブレット変換（ステップＳ１３０
３）、量子化（ステップＳ１３０４）、エントロピ符号
化（ステップＳ１３０５）を行いフレーム符号化データ
を生成し、このフレーム符号化データと後述のヘッダと
を含む符号列を生成し（ステップＳ１３０８）、出力す
る（ステップＳ１３０９）。

【００６０】フレーム符号化データ出力部２０６へ入力
された各タイルデータは、画像の上部から下部に向かっ
て復号画像の表示が進むように並べられて、各タイルの
符号化データの夫々の先頭にヘッダが付加される。この
ヘッダには、第１の実施形態におけるヘッダに書き込ま
れる内容だけでなく、タイルの分割情報も書き込まれ
る。又、符号化された各タイルの区別用データもこのヘ
ッダに書き込まれている。

【００６１】次に、以上の画像符号化装置によるフレー
ム符号化データを復号する本実施形態における画像復号
装置における処理について以下説明する。なお、本実施
形態における画像復号装置は、第１の実施形態における
画像復号装置と構成は変わらない。しかし、いくつかの
処理部で処理が異なる。フレーム符号化データ１，２の
処理については、処理の単位がタイルとフレームの違い
はあるが、第１の実施形態と同じである。

【００６２】フレーム符号化データｋ（ｋ＞２）を含む
符号列がフレーム符号化データ入力部１０１に入力され
ると、この符号列からフレーム符号化データｋを取り出
し、復号時間予測部１０２が、フレーム符号化データｋ
の復号時間を予測する。予測された復号時間が目標復号
時間より短い場合、フレーム符号化データは何も処理が
行われずにエントロピー復号部１０４に出力される。一
方、予測された復号時間が目標復号時間より長い場合、
復号対象符号決定部１０３が、上述のヘッダから非ＲＯ
Ｉタイル符号化データを特定し、第１の実施形態に示さ
れている復号対象符号からの除外を、非ＲＯＩタイル符
号化データに対して行う。

【００６３】なお、本実施形態においての除外の単位は
第１の実施形態と同じである。そして各タイル符号化デ
ータはエントロピー復号部１０４に出力される。なおエ
ントロピー復号部１０４以降の処理は、第１の実施形態
と同様である。

【００６４】なお、本実施形態における画像復号装置の
上述の処理のフローチャートは、図１２に示したフロー
チャートで、ステップＳ１２１２，ステップＳ１２０
４，ステップＳ１２０６における処理を省き、ステップ
Ｓ１２１１における処理を、復号対象符号から非ＲＯＩ
タイル符号化データを除外する処理としたフローチャー
トである。なお、ステップＳ１２０２，ステップＳ１２
０３，ステップＳ１２０５における処理は、ＲＯＩタイ
ル符号化データ、非ＲＯＩ符号化データに対して夫々行
う処理である。なお本フローチャートに従ったプログラ
ムコードは画像復号装置内の不図示のＲＯＭやＲＡＭな
どのメモリに格納され、不図示のＣＰＵにより読み出さ
れ、実行されるものとする。

【００６５】以上説明したように本実施形態における画
像復号装置及び画像復号方法は、予測復号時間に応じて
非ＲＯＩタイル符号化データの符号を復号対象符号から
除外する。そうすることで、注目したオブジェクトにつ
いては品質を落とさないで復号しつつ、目標復号時間以
内での各フレーム符号化データの復号を行うことが可能
となる。

【００６６】［第４の実施形態］各実施形態において、
音声データの符号化／復号が付加されても構わない。ま
た復号対象符号の除外を、サブバンド，サブバンドのレ
ベル等、フレーム符号化データ中のデータ単位で行われ
ても構わない。また、画像復号装置の復号能力は、フレ
ーム符号化データの復号時間に限定されるものではな
い。例えば、画像復号装置のＣＰＵパワーを復号能力と
されても構わない。その場合、復号時間は計測されず、
ＣＰＵパワーが計測される。

【００６７】［他の実施形態］なお、本発明は、複数の
機器（例えばホストコンピュータ、インタフェイス機
器、リーダ、プリンタなど）から構成されるシステムに
適用しても、一つの機器からなる装置（例えば、複写
機、デジタルカメラ、ファクシミリ装置など）に適用し
てもよい。

【００６８】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム（ＯＳ）などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００６９】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００７０】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した（図１２及び／又は１３
に示す）フローチャートに対応するプログラムコードが
格納されることになる。

【００７１】

【発明の効果】以上の説明のとおり本発明によれば、復
号対象フレームの復号時間を所定の時間内に納めること
ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における画像復号装置
の概略構成を示すブロック図である。

【図２】本発明の第１の実施形態における画像符号化装
置の概略構成を示すブロック図である

【図３】（ａ）は画像データを４つのサブバンドに分け
た状態を示す図であり、（ｂ）は（ａ）の中のＬＬサブ
バンドを４つのサブバンドに分けた状態を示す図であ
り、（ｃ）は（ｂ）のＬＬサブバンドを４つのサブバン
ドに分けた状態を示す図である。

【図４】各周波数成分と量子化ステップとの対応を表す
図である。

【図５】フレーム符号化データを含む符号列の概略構成
を示す図である。

【図６】復号時間１、復号時間２を夫々、復号時間メモ
リ１、復号時間メモリ２に格納する様子を説明する図で
ある。

【図７ａ】復号時間（ｋ−１）、復号時間（ｋ−２）か
ら復号時間ｋの予測を行う方法を説明する図である。

【図７ｂ】予測時間ｋが目標復号時間より小さい場合を
説明する図である。

【図７ｃ】予測時間ｋが目標復号時間を超えている場合
を説明する図である。

【図８】復号対象符号から、復号することで目標時間を
超えると予測される符号量を除外する処理を説明する図
である。

【図９】本発明の第３の実施形態における画像符号化装
置の概略構成を示すブロック図である。

【図１０】フレームデータがタイルデータに分割される
ことで、画像がタイルに分割される様子を示す図であ
る。

【図１１】ＲＯＩを決定する様子を説明する図である。

【図１２】本発明の第１の実施形態における画像復号装
置におけるフレーム復号処理のフローチャートである。

【図１３】本発明の第３の実施形態における画像符号化
装置が行うフレーム符号化データを生成する処理のフロ
ーチャートである。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK34 MA24 MA41 MC11 MC14 ME11 PP04 PP15 PP16 RB09 SS08 SS14 SS20 TA21 TA60 TB04 TC00 TD11 UA05 UA33 UA38 5J064 AA05 BA09 BA16 BC01 BC16 BD03

Claims (9)

【特許請求の範囲】
1. 【請求項１】 動画像データにおけるフレーム符号化デ
   ータを復号する画像復号装置であって、 フレーム符号化データを復号する際に要する時間を計測
   する計測手段と、 前記計測手段により計測された時間を時間データとして
   複数記憶する記憶手段と、 前記記憶手段に記憶保持された複数の時間データから、
   次の復号対象のフレーム符号化データの復号時間を予測
   する予測手段と、 前記予測手段により予測された時間が、予め設定された
   所定の時間を越えている場合、前記フレーム符号化デー
   タから当該越えている時間に応じたデータ量分のデータ
   を、除外して復号対象符号を決定する決定手段と、 前記決定手段により決定された復号対象符号を復号する
   復号手段とを備えることを特徴とする画像復号装置。
2. 【請求項２】 前記予測手段は、前記計測手段により前
   記フレーム符号化データを復号する以前に計測された時
   間に基づいて予測することを特徴とする請求項１に記載
   の画像復号装置。
3. 【請求項３】 前記予測手段は、前記計測手段により前
   記フレーム符号化データを復号する以前に計測された時
   間に基づく線形予測に基づいて予測することを特徴とす
   る請求項２に記載の画像復号装置。
4. 【請求項４】 前記決定手段は、前記予測手段により予
   測された時間が所定の時間を越えている場合に、前記フ
   レーム符号化データのうち、高周波帯域から低周波数帯
   域に向かって順に、除外することを特徴とする請求項１
   乃至３のいずれか１項に記載の画像復号装置。
5. 【請求項５】 前記決定手段は、全てのデータを除外し
   た周波数帯域については、当該周波数帯域内の周波数成
   分を０にすることを特徴とする請求項１乃至４のいずれ
   か１項に記載の画像復号装置。
6. 【請求項６】 前記決定手段は、一部のデータが除外さ
   れた周波数帯域については、除外されたことで得られな
   かった量子化値のビットに対して、０を割り当てること
   を特徴とする請求項１乃至４のいずれか１項に記載の画
   像復号装置。
7. 【請求項７】 前記予測手段が予測した時間が、所定の
   時間を越えている場合、前記決定手段は、前記フレーム
   符号化データのうち、他の領域よりも高画質に符号化す
   る領域以外の領域を特定し、超えた時間に応じたデータ
   量分のデータとして、特定された前記領域に応じたフレ
   ーム符号化データを除外することを特徴とする請求項１
   乃至３のいずれか１項に記載の画像復号装置。
8. 【請求項８】 動画像データにおけるフレーム符号化デ
   ータを復号する画像復号方法であって、 フレーム符号化データを復号する際に要する時間を計測
   する計測工程と、 前記計測工程により計測された時間を時間データとして
   所定の記憶手段に複数記憶する記憶工程と、 前記所定の記憶手段に記憶保持された複数の時間データ
   から、次の復号対象のフレーム符号化データの復号時間
   を予測する予測工程と、 前記予測工程により予測された時間が、予め設定された
   所定の時間を越えている場合、前記フレーム符号化デー
   タから当該越えている時間に応じたデータ量分のデータ
   を、除外して復号対象符号を決定する決定工程と、 前記決定工程により決定された復号対象符号を復号する
   復号工程とを備えることを特徴とする画像復号方法。
9. 【請求項９】 動画像データにおけるフレーム符号化デ
   ータを復号する画像復号装置として機能するプログラム
   コードを格納する記憶媒体であって、 フレーム符号化データを復号する際に要する時間を計測
   する計測工程のプログラムコードと、 前記計測工程により計測された時間を時間データとして
   所定の記憶手段に複数記憶する記憶工程のプログラムコ
   ードと、 前記所定の記憶手段に記憶保持された複数の時間データ
   から、次の復号対象のフレーム符号化データの復号時間
   を予測する予測工程のプログラムコードと、 前記予測工程により予測された時間が、予め設定された
   所定の時間を越えている場合、前記フレーム符号化デー
   タから当該越えている時間に応じたデータ量分のデータ
   を、除外して復号対象符号を決定する決定工程と、 前記決定工程により決定された復号対象符号を復号する
   復号工程とを備えることを特徴とする記憶媒体。