JP2000197041A - 画像処理装置及びその方法、コンピュ―タ可読メモリ - Google Patents

Abstract

(57)【要約】 【課題】 復号化処理の中断やそれに伴う復号化画像の
乱れやフリーズを回避することができる画像処理装置及
びその方法、コンピュータ可読メモリを提供する。 【解決手段】 復号器制御部１１２は、符号化画像デー
タの復号が復号器の処理能力を越えているか否かを判定
する。判定結果に基づいて、符号化画像データのサブ・
サンプリングをサブ・サンプリング部１１３で行う。復
号された画像データあるいはサブ・サンプリング部１１
３でサブ・サンプリングされた画像データを出力バッフ
ァ１１１に格納する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された符号化
画像データを処理する画像処理装置及びその方法、コン
ピュータ可読メモリに関するものである。

【０００２】

【従来の技術】近年、画像信号の符号化技術や符号化デ
ータを通信したり蓄積したりする技術、また、符号化デ
ータを安価なコストで復号化処理するための半導体技
術、復号化した画像を表示する技術等、いわゆる画像情
報を扱うインフラ技術が発達してきた。

【０００３】これにより、動画像のような大量の情報を
有する画像も遠隔地に転送し、お互いの情報を交換する
ことが可能になってきた。動画像の符号化では、フレー
ム間の画像信号の相関性を利用して情報を大幅に削減す
ることが可能で、その代表的な技術として以下に述べる
ものがある。

【０００４】即ち、ブロックごとに参照すべき画像の相
対位置を表わす動きベクトルと称する情報を用い、その
動きベクトルに基づいて得られる画素情報を予測値とす
る。その予測値と実際の画素値との差分値をＤＣＴ等の
直行変換で変換し、人間の目の資格特性に基づいて、変
換した差分値を削減するといった方法を用いている。こ
の技術は、いわゆる動き補償予測符号化と言われている
ものである。

【０００５】さて、上述のような動画像の符号化、転
送、復号化、表示といったことがあたりまえの時代にな
ってくると、いろいろなレベルの画像表示端末が現われ
てくると予想される。ここで言うレベルとは、画像の処
理能力や表示能力のことをさす。

【０００６】これに対応する技術として、階層符号化と
いうものがある。これは、オリジナルの画像を、例え
ば、縦横それぞれ２分の１に間引き、それを低解像度レ
イヤとして符号化し、その低解像度レイヤを復号化して
補間した画像とオリジナルの画像との差分情報を高解像
度レイヤとして符号化するものである。

【０００７】処理能力や表示能力の高い画像表示端末で
は、低解像度レイヤと高解像度レイヤの両方の符号化デ
ータを復号化処理し、オリジナルに近い（画像情報を大
幅に減らすため、符号化時に多少の劣化を許容してい
る）画像を表示する。

【０００８】一方、処理能力や表示能力の低い画像表示
端末では、低解像度レイヤのみを復号化処理することに
より、少ない処理量で解像度の低い画像を表示する。

【０００９】ところで、最近は画像の分野でもオブジェ
クト符号化と言われる技術が実用されてきた。これは、
１つの画像を、背景となる画像や該背景の前に存在する
いくつかの物体（オブジェクト）とに区別し、それぞれ
に対し、独立に符号化処理を行なうものである。

【００１０】このような符号化を行なうと、以下のよう
な利点がある。

【００１１】背景が静止していて、背景とは独立したオ
ブジェクトの一部のみが動いている場合、背景や動いて
いないオブジェクトは再符号化する必要がなく、動いて
いるオブジェクトのみ再符号化すればよい。よって、再
符号化で発生する符号量、すなわち次のフレームで発生
する符号量は大変少なくて済み、低い転送レートで、品
質のよい画像を転送できる。

【００１２】また、オブジェクト画像にはＣＧ（コンピ
ュータ・グラフィクス）も取り扱うことが可能となって
おり、符号化器は符号化すべきＣＧのメッシュ（位置と
形状変化）情報を符号化するだけでよく、伝送符号量の
スリム化に貢献している。

【００１３】一方、復号化器側はＣＧに関するメッシュ
情報から演算により画像を組み立てて画面にはめ込んだ
り、ＣＧがフェイス・アニメーションであれば、受信し
た目鼻等の部品情報とその変形情報にしたがって復号化
器側固有の目鼻等のキャラクタに対して、変形情報に基
づく演算を施して画面にはめ込むことにより、アニメー
ションを構成するようになっている。

【００１４】

【発明が解決しようとする課題】従来の画像表示端末で
は、符号化画像データを復号化する際、どの階層まで復
号化処理をするかが予め決まっている。そのため、表示
対象の階層の選択や変更が不可能であり、画像表示端末
が有する処理能力に合わせて、最高性能を活用するよう
にはなっていない。したがって、時間と共に変化する符
号化画像データに対して、復号化器の性能に合った最適
な復号ができなかった。

【００１５】また、ＣＧの符号化／復号化処理は、一般
的にハードウェアではなくソフトウェア処理に適してい
ると言われており、実際にソフトウェアにて処理する例
が多い。したがって、一画面内に存在するオブジェクト
の数が増加した場合は、主として復号化器のハードウェ
ア的負荷が急増するが、オブジェクトがフェイス・アニ
メーション等を構成するＣＧである場合は、ソフトウェ
ア的負荷（演算量、演算時間）が増大する。

【００１６】ＣＧで生成される顔画像の符号化は、ビジ
ュアル規格ではFace Objectとして定義されている。Ｍ
ＰＥＧ４では、ＦＤＰ(Face Definition Parameter)が
顔画像の形状とテクスチャを定義するものとして規定さ
れ、ＦＡＰ(Face AnimationParameter)が顔、眉、瞼、
目、鼻、唇、歯、舌、頬、顎などの動きを表現するもの
として規定されている。フェイス・アニメーションで
は、ＦＤＰ，ＦＡＰを演算処理し、組み合わせることに
よりアニメーションを構成するため、通常の自然画像の
符号化画像データの復号よりも復号化器の負荷が大きい
ので、復号化器の性能により、復号不能等の支障を来す
可能性があり、画像品質にもオブジェクトのフリーズや
欠落等を引き起こすという問題点があった。

【００１７】本発明は上記の問題点に鑑みてなされたも
のであり、復号化処理の中断やそれに伴って出力する復
号化画像の乱れやフリーズを回避することができる画像
処理装置及びその方法、コンピュータ可読メモリを提供
することを目的とする。

【００１８】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像処理装置は以下の構成を備える。
即ち、入力された符号化画像データを処理する画像処理
装置であって、前記入力された符号化画像データを復号
する復号手段と、前記符号化画像データの復号が前記復
号手段の処理能力を越えているか否かを判定する判定手
段と、前記判定手段の判定結果に基づいて、前記符号化
画像データの画面内処理をを行う画面内処理手段とを備
える。

【００１９】また、好ましくは、前記画面内処理手段
は、前記符号化画像データのサブ・サンプリングを行う
サブ・サンプリング手段である。また、好ましくは、前
記判定手段は、前記格納手段の空き容量と、前記符号化
画像データのデータ量に基づいて、該符号化画像データ
の復号が前記復号手段の処理能力を越えているか否かを
判定する。

【００２０】また、好ましくは、前記判定手段は、前記
符号化画像データのデータ・レートに基づいて、該符号
化画像データの復号が前記復号手段の処理能力を越えて
いるか否かを判定する。

【００２１】また、好ましくは、前記符号化画像データ
は、少なくともヘッダ情報、符号化画像情報を含み、前
記判定手段は、前記符号化画像データのヘッダ情報に基
づいて、該符号化画像データの復号が前記復号手段の処
理能力を越えているか否かを判定する。

【００２２】また、好ましくは、前記符号化画像データ
が複数レイヤから構成される符号化画像データであり、
前記判定手段の判定の結果、前記符号化画像データの復
号が前記復号手段の処理能力を越えている場合、前記復
号手段は、該符号化画像データ中の基本レイヤ画像のみ
復号する。

【００２３】また、好ましくは、前記判定手段の判定の
結果、前記復号手段が処理能力超過状態から処理能力範
囲内に復帰したと判定した場合、所定遅延時間を設け
て、該復号手段は通常の復号を実行する。

【００２４】また、好ましくは、前記復号手段で復号さ
れた各レイヤの画像の内、所望のレイヤの画像の出力を
指示する指示手段を更に備える。

【００２５】上記の目的を達成するための本発明による
画像処理方法は以下の構成を備える。即ち、入力された
符号化画像データを処理する画像処理方法であって、前
記入力された符号化画像データを復号する復号工程と、
前記符号化画像データの復号が前記復号工程の処理能力
を越えているか否かを判定する判定工程と、前記判定工
程の判定結果に基づいて、前記符号化画像データの画面
内処理を行う画面内処理工程とを備える。

【００２６】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
入力された符号化画像データを処理する画像処理のプロ
グラムコードが格納されたコンピュータ可読メモリであ
って、前記入力された符号化画像データを復号する復号
工程のプログラムコードと、前記符号化画像データの復
号が前記復号工程の処理能力を越えているか否かを判定
する判定工程のプログラムコードと、前記判定工程の判
定結果に基づいて、前記符号化画像データの画面内処理
を行う画面内処理工程のプログラムコードとを備える。

【００２７】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。 ［実施形態１］図１は本発明の実施形態１の復号化器の
基本構成を示す図である。

【００２８】図１において、１０１は可変長符号復号化
器であり、入力された符号化画像情報を可変長符号復号
化を行う。１０２は逆量子化器であり、可変長符号復号
化器１０１から出力された復号データに逆量子化を行
う。１０３は逆ＤＣＴ部であり、逆量子化器１０２から
出力された逆量子化データに逆ＤＣＴを行う。１０４、
１０９、１１０はセレクタであり、復号化制御部１１２
の制御に基づいて、入力されたデータを切り替える。１
０５は平均値演算部であり、メモリ１（１０７）に格納
されたデータとメモリ２（１０８）に格納されたデータ
の平均値を演算する。１０６は加算器であり、逆ＤＣＴ
部１０３から出力された逆ＤＣＴデータとセレクタ１０
４から出力されるデータとを加算する。１０７、１０８
はメモリ（復号済みデータ・バッファ）であり、セレク
タ１０９から出力されたデータを格納する。１１１は出
力バッファであり、サブ・サンプリング部１１３から出
力されたサブ・サンプリングデータを格納する。１１２
は復号化器制御部であり、サブ・サンプリング部１１
３、セレクタ１０４、１０９、１１０を制御する。１１
３はサブ・サンプリング部であり、出力バッファ１１１
に格納された復号済み画像データにサブ・サンプリング
を行う。

【００２９】次に、図１に示した復号化器を含む復号化
システムについて、図２を用いて説明する。

【００３０】図２は本発明の実施形態１の復号化システ
ムの基本構成を示す図である。

【００３１】図２において、２０１は符号化画像情報を
含むビット・ストリームのヘッダ情報を解釈して、各フ
レーム（画面）を階層（オブジェクト）毎に分離する階
層分離部である。２０２はヘッダ・デコーダであり、階
層分離部２０１で分離されたヘッダ情報をデコード、解
釈して、図１で示した復号化器からなる復号化器群２０
３へ制御情報として渡す。２０３は復号化器群であり、
階層分離部２０１でオブジェクト単位に分離された符号
化画像情報を復号する。

【００３２】２０５はＣＧ構築部であり、ＣＧ符号化情
報を受けて、フェイス・アニメーション等のＣＧ画像を
再構成する。尚、ＣＧ構築部２０５は、ソフトウェア処
理によるテクスチャ・マッピングまたはポリゴンにてＣ
Ｇ画像を構成する機能を持つ。２０４はオブジェクト合
成部であり、復号された各オブジェクトを合成して一枚
の画面（フレーム）を構成する。

【００３３】次に、復号化システムと対をなす符号化シ
ステムについて、図３を用いて説明する。

【００３４】図３は本発明の実施形態１の符号化システ
ムの基本構成を示す図である。

【００３５】図３において、３０１はＶＯＰ定義部であ
り、ディジタル画像を一画面（フレームまたはフィール
ド）単位で、複数のオブジェクト（ＶＯＰ：Video Obje
ct Plane）分割（切り出し）を行う。３０２はＶＯＰ定
義部３０１で分割された各オブジェクトを各々独立に符
号化する符号化器群である。

【００３６】３０３は符号化器群３０２で符号化された
各オブジェクトを一つのビット・ストリームにまとめる
マルチプレクサである。３０４はＣＧ画像のメッシュ情
報（位置、形状）を符号化するＣＧ符号化器である。

【００３７】次に、図１に示した復号化器と従来の復号
化器の違いを比較するために、従来の復号化器につい
て、図４を用いて説明する。

【００３８】図４は従来の復号化器の基本構成を示す図
である。

【００３９】尚、図４において、図１に示した構成要素
と同じ構成要素については、同一参照番号を付与し、そ
の詳細については省略する。

【００４０】図４に示すように、従来の復号化器では、
復号化制御部１１２、サブ・サンプリング部１１３を有
していない。

【００４１】上述した図２の復号化システムにおいて、
復号化器群２０３を構成する各復号化器（オブジェクト
単位）は、ＣＧ構築部２０５を除いて図１に示した復号
化器で構成されており、同一仕様である。ＣＧ構築部２
０５は、基本的にＣＧ画像を生成するためのソフトウェ
アと画像を構成する部品にあたるテクスチャ画像のライ
ブラリで構成されている。

【００４２】次に、実施形態１の復号化システムの動作
について、図１、図２を用いて説明する。

【００４３】図２において、入力されたビット・ストリ
ームは、階層分離部２０１にて、符号化画像情報とヘッ
ダ情報とＣＧ符号化情報とに分離され、符号化画像情報
は復号化器群２０３へ、ヘッダ情報はヘッダ復号化器２
０２へ、ＣＧ符号化画像情報はＣＧ構築部２０５へと入
力され、それぞれ復号化処理される。ヘッダ復号化器２
０２にて復号されたヘッダ情報は、復号化器群２０３の
各種機能の制御情報として、復号化器群２０３へ入力さ
れる。また、ＣＧ構築部２０５にＣＧ符号化情報が入力
されると、ＣＧ構築部２０５では、入力されたＣＧ符号
化情報にしたがってテクスチャの形状が演算処理され、
メッシュ等に配置されることによるＣＧ画像（フェイス
・アニメーション等）が構成される。

【００４４】以下、復号化器群２０３それぞれで実行さ
れる処理について、図１を参照して説明する。

【００４５】復号化器群２０３では、符号化画像情報
は、可変長符号復号化器１０１へ入力され、制御情報
（ヘッダ情報）は、復号化器制御部１１２へ入力され
る。復号化器制御部１１２は、制御情報（ヘッダ情報）
と出力バッファ１１１の空きエリア情報から、復号化器
の各種機能を制御するための制御信号を生成して、それ
ぞれセレクタ１０４、１０９、１１０の制御と、サブ・
サンプリング部１１３で実施されるサブ・サンプリング
方法の制御を行う。

【００４６】符号化画像情報は、可変長符号復号化器１
０１で可変長符号が復号され、逆量子化部１０２にて逆
量子化処理、逆ＤＣＴ部１０３にて逆ＤＣＴ処理され
る。この時、復号化器制御部１１２に入力されたヘッダ
情報が現在復号中の画像データの復号モードを“イント
ラ”と指示した場合、復号化器制御部１１２は、セレク
タ１０４をIVに、セレクタ１０９は現状維持、セレクタ
１１０は（ｂ）または（ｃ）に設定する。この場合、逆
ＤＣＴ処理された画像データは、セレクタ１０４がIV
（数値としては、ゼロ）となっているので、メモリ１
（１０７）またはメモリ２（１０８）にそのまま記憶さ
れる。

【００４７】また、ヘッダ情報が現在復号中の画像デー
タの復号モードを“インタ−（前方予測）”と指示した
場合、復号化器制御部１１２は、セレクタ１０４をＩま
たはIIIに、セレクタ１０９をまたは（セレクタ１
０４がＩの時は、IIの時は）に、セレクタ１１０を
（ｂ）または（ｃ）（セレクタ１０９がの時は
（ｂ）、の時は（ｃ））に設定する。そして、加算器
１０６にて、メモリ１（１０７）またはメモリ２（１０
８）に格納されている復号済みの参照画像データを動き
ベクトルにしたがって読みだし、逆ＤＣＴ処理された画
像データと加算することにより画像データの復号を完了
する。

【００４８】復号を完了した画像データは、復号に用い
た参照画像データがメモリ１（１０７）から読み出した
もの（セレクタ１０４の位置：Ｉ）であれば、メモリ２
（１０８）（セレクタ１０９の位置：）へ格納され
る。一方、復号に用いた参照画像データがメモリ２（１
０８）から読み出したものであれば、メモリ１（セレク
タ１０９の位置：）へ格納される。同時に、セレクタ
１１０（接点（ｃ）または接点（ｂ））を経て、サブ・
サンプリング部１１３、出力バッファ１１１へ出力され
る。

【００４９】また、ヘッダ情報が現在復号中の画像デー
タの復号モードを“インタ−（双方向予測）”と指示し
た場合、復号化器制御部１１２は、セレクタ１０４をII
に、セレクタ１１０を（ａ）に、セレクタ１０９は現状
維持に設定する。そして、メモリ１（１０７）およびメ
モリ２（１０８）に格納されている復号済みの参照画像
データを動きベクトルにしたがって読みだし、平均値演
算部１０５にてそれらの平均値を求める。次に、セレク
タ１０４の（接点II）から出力し、加算器１０６にて、
逆ＤＣＴ処理された画像データと加算することにより画
像データの復号を完了し、セレクタ１１０の（接点
（ａ））からサブ・サンプリング部１１３、出力バッフ
ァ１１１へ出力される。尚、双方向予測により復号され
た画像データは、その他の復号処理に使用されることは
ないので、この場合、メモリ１（１０７）、メモリ２
（１０８）に格納しない。

【００５０】以上のような一連の動作により、復号され
た画像データは出力バッファ１１１へ格納され、ＣＲＴ
等の表示装置に適合したレートで読み出されるように構
成さる。

【００５１】復号された画像データのデータ量は、時間
的に変動するのが一般的であり、出力バッファ１１１の
空き容量も復号された画像データのデータ量によって瞬
時値が変動する。復号化器制御部１１２は、この出力バ
ッファ１１１の空き容量を常に監視し、オーバーフロー
の可能性があると判定した場合、サブ・サンプリング部
１１３に指示を出し、任意の方法にて復号済み画像デー
タのサブ・サンプリングを実行し、出力バッファ１１１
のオーバーフローを回避する。

【００５２】また、復号化器制御部１１２は、被復号画
像データのヘッダ情報も同時に監視しており、符号化画
像情報の数が急増するよう場合は、出力バッファ１１１
に格納される画像データが急増すると判定して、同様に
任意の方法にて復号済み画像データのサブ・サンプリン
グを実施する。

【００５３】ここで、サブ・サンプリングについて、図
５、図６を用いて説明する。

【００５４】図５、図６は本発明の実施形態１の画像デ
ータのサブ・サンプリングの一例を説明するための図で
ある。

【００５５】図５、図６は、特に、サブ・サンプリング
と呼ばれる間引き処理の一例であり、図５が間引き前、
図６が一ライン置きに位相を逆転させながら、一画素置
きに画素を間引くことにより、水平画素数を１／２（水
平解像度を１／２）にする方法として広く知られてい
る。

【００５６】尚、サブ・サンプリング部１１３の後段に
ポストフィルタ（妨害除去フィルタ）を併設して、サブ
・サンプリングが実施されることによる空間周波数的な
妨害成分を除去するように構成されている。従って、出
力バッファ１１１のオーバーフローに対するサブ・サン
プリングによる復号済み画像データの間引き処理は、オ
ブジェクト単位で設けられた図２の復号化器群２０３そ
れぞれに行われる。また、サブ・サンプリングは、オブ
ジェクト単位で実施され、復号化器制御部１１２は、出
力バッファ１１１のオーバーフロー要因が解消したと判
定した時点から、ある一定時間の遅延をもってサブ・サ
ンプリングを解除するようにプログラミングされてい
る。

【００５７】次に、実施形態１で実行される処理の内、
特に、復号化器で実行される処理の処理フローについ
て、図７を用いて説明する。

【００５８】図７は本発明の実施形態１の復号化器で実
行される処理を示すフローチャートである。

【００５９】まず、ステップＳ１０１で、ビット・スト
リームを入力する。ステップＳ１０２で、入力されたビ
ット・ストリームをヘッダ情報、符号化画像情報、ＣＧ
符号化情報に分離し、得られたヘッダ情報に基づいて、
符号化画像情報を指定された復号モードで復号化する。
ステップＳ１０３で、復号済み画像データを格納する出
力バッファがオーバーフローの可能性があるか否かを判
定する。オーバーフローの可能性がある場合（ステップ
Ｓ１０３でＹＥＳ）、ステップＳ１０４に進み、復号済
み画像データをサブ・サンプリングする。一方、オーバ
ー・フローの可能性がない場合（ステップＳ１０３でＮ
Ｏ）、処理を終了する。

【００６０】以上説明したように、実施形態１によれ
ば、入力されたビット・ストリームの復号化処理におい
て、出力バッファ１１１がオーバーフローを起こすよう
な場合、瞬時に復号済み画像データのサブ・サンプリン
グを実施して、出力バッファ１１１に格納される復号さ
れた画像データのデータ量を削減することにより、復号
化画像の空間解像度を犠牲にする代わりに、復号化処理
の中断やそれに伴う復号化画像の乱れを回避することが
できる。 ［実施形態２］実施形態２では、ビット・ストリームが
スケーラビリティを採用している場合における復号化処
理について説明する。

【００６１】図８は本発明の実施形態２の復号化器の基
本構成を示す図である。

【００６２】図８において、７０１は復号化部であり、
少なくとも図４に示した構成を有する。７０２は制御部
であり、復号化器の各種構成要素を制御する。７０３、
７０８はセレクタであり、入力されたデータを切り替え
る。７０４は空間スケーラビリティ上位レイヤ生成部で
あり、空間スケーラビリティにおける上位レイヤ画像を
生成する。７０５は時間スケーラビリティ上位レイヤ生
成部であり、時間スケーラビリティにおける上位レイヤ
画像を生成する。７０６は基本レイヤ生成部であり、空
間または時間スケーラビリティにおける基本レイヤ画像
を生成する。７０７は解像度セレクタであり、入力され
たデータを切り替える。７０９は選択信号であり、ユー
ザからの入力信号である。

【００６３】尚、実施形態２の復号化システムは、図２
の復号化器群２０３の各復号化器に、図８で説明した復
号化器を採用した同一仕様である。する。そして、各復
号化器とＣＧ構築部２０５の機能は、演算装置（ハード
ウェア）と、図８の全機能を満足するソフトウェア（プ
ログラム）の組み合わせにより実現されるものである。

【００６４】次に、空間スケーラビリティの概念につい
て、図９を用いて説明する。

【００６５】図９は本発明の実施形態２の空間スケーラ
ビリティの概念を説明するための図である。

【００６６】図９において、時間は左から右へ進むもの
とする。

【００６７】一番下のレイヤは、最低空間解像度の基本
レイヤ（BaseLayer）であり、オリジナル画像に対し
て、画素数（空間解像度）は低下しているが、単独で復
号化し、画像を形成することが可能である。符号化は、
基本レイヤのフレーム（フィールド）間予測を用いる。

【００６８】真ん中のレイヤは、基本レイヤを後述の上
位レイヤ（Enhancement Layer）と同一サイズにアップ
・サンプリングした拡張基本レイヤである。

【００６９】一番上のレイヤは、上位レイヤ（Enhancem
ent Layer）であり、オリジナル画像とアップ・サンプ
リングした拡張基本レイヤ画像との差分、即ち、高解像
度成分と、上位レイヤにおけるフレーム（フィールド）
間予測を用いて符号化される。尚、上位レイヤ単独での
復号化（画像形成）は不可能である。

【００７０】次に、時間スケーラビリティの概念につい
て、図１０を用いて説明する。

【００７１】図１０は本発明の実施形態２の時間スケー
ラビリティの概念を説明するための図である。

【００７２】図１０において、時間は左から右へ進むも
のとする。

【００７３】下のレイヤは、基本レイヤ（Base Layer）
であり、オリジナル画像に対してフレーム・レート（時
間解像度）が低下しているが、単独で復号化し、画像を
形成することが可能である。符号化は、基本レイヤのフ
レーム（フィールド）間予測を用いる。

【００７４】上のレイヤは、上位レイヤ（Enhancement
Layer）であり、オリジナル画像と同じフレーム・レー
トを持ち、基本レイヤを用いた前方、後方予測と上位レ
イヤにおけるフレーム（フィールド）間予測を用いて符
号化される。上位レイヤ単独での復号化（画像形成）は
不可能である。

【００７５】次に、実施形態２の復号化システムの動作
について、図２、図８を用いて説明する。

【００７６】図２において、入力されたビット・ストリ
ームは、階層分離部２０１にて、符号化画像情報とヘッ
ダ情報とに分離され、符号化画像情報は復号化器群２０
３へ、ヘッダ情報はヘッダ復号化器２０２へと入力さ
れ、それぞれ復号化処理される。ヘッダ復号化器２０２
にて復号されたヘッダ情報は、復号化器群２０３の各種
機能の制御情報として、復号化器群２０３へ入力され
る。

【００７７】次に、復号化器群２０３それぞれで実行さ
れる処理について、図８を参照して説明する。

【００７８】図８において、階層分離部２０１で分離さ
れた符号化画像情報は、復号化部７０１へ、また、ヘッ
ダ復号化器２０２で復号された制御情報（ヘッダ情報）
は、制御部７０２へ入力される。

【００７９】制御部７０２では、入力された制御情報
（ヘッダ情報）が解釈され、符号化モード、スケーラビ
リティ関連情報等の復号化に必要な制御情報が、復号化
部７０１に入力される。制御部７０２は、制御情報（ヘ
ッダ情報）の解釈と共に復号化部７０１の各処理機能の
動作とメモリの監視機能も具備しており、復号化部７０
１の動作状態も制御情報に加味される。

【００８０】符号化画像情報は、制御部７０２からの制
御情報（ヘッダ情報）に従って、復号化部７０１にて可
変長符号の復号、逆量子化、逆ＤＣＴという一連の復号
化処理が施され、セレクタ７０３に送られる。

【００８１】本復号化器に入力されたビット・ストリー
ムが、スケーラビリティを使用して符号化されたもので
ある場合、通常は使用されたスケーラビリティの情報が
ヘッダ情報として伝送される。そのため、制御部７０２
にて生成された制御情報が、復号化部７０１と、セレク
タ７０３、および解像度セレクタ７０７それぞれへ送ら
れ、空間、時間の各スケーラビリティ共に、上位レイ
ヤ、基本レイヤの両レイヤ画像が再構成される。

【００８２】再構成された画像は、基本的に高解像度画
像がデフォルトで選択されるが、制御部７０２がビット
・ストリームのヘッダ情報を解釈した結果、復号化部７
０１の処理能力では、ビット・ストリームを正常に処理
できないと判断した場合、またはＣＧ構築部２０５に入
力されるＣＧ符号化情報が、ＣＧ構築部２０５の処理能
力を越え、ＣＧ構築部２０５自身が判定、またはＣＧ構
築部２０５にてＣＧ符号化情報の処理中に新たなＣＧ符
号化情報の処理のリクエストを受信した場合、制御部７
０２、およびＣＧ構築部２０５は、上記２つの場合を復
号化処理の破綻と判定して、選択信号７０９に因らず、
上位レイヤ（高解像度情報）画像を破棄し、基本レイヤ
画像のみ復号化してセレクタ７０８から出力する。

【００８３】また、イントラ・フレームやイントラ・マ
クロ・ブロックの出現頻度の急増に起因するビット・ス
トリームの復号化処理の破綻（リアルタイム復号化不
能、または入出力バッファのオーバーフロー）を制御部
７０２が検出または予測した場合、選択信号７０９に因
らず、上位レイヤ（高解像度情報）画像を破棄し、基本
レイヤ画像のみ復号化処理してセレクタ７０８から出力
する。

【００８４】また、ＣＧ符号化情報の急増によるソフト
ウェアによるＣＧ構築処理の負荷の急増により、ＣＧ構
築部２０５の処理能力を超過し、ＣＧ構築部２０５自身
が制御部２０２に対して処理不能フラグを出した場合、
選択信号７０９に因らず、上位レイヤ（高解像度情報）
画像を破棄し、基本レイヤ画像のみ復号化処理してセレ
クタ７０８から出力する。

【００８５】上位レイヤ画像を破棄したことによってで
きた復号化器群２０３の余力、即ち、演算装置の処理能
力をＣＧ符号化情報の処理に当てることにより、ＣＧ画
像の構築を正常に完遂させる。尚、制御部７０２は、随
時入力されるヘッダ情報を解釈して、ビット・ストリー
ムが通常処理可能であると判定された時点から、Ｎフレ
ーム（またはフィールド）分の遅延時間を置いて、通常
動作に復帰するようにプログラムされている。

【００８６】以上のように、スケーラビリティを使用し
ているビット・ストリームで、例えば、ＣＧ符号化情報
が多数入力され、復号化器群２０３の負荷が急増し、制
御部７０２が正常な復号化処理の継続が不可能と判定し
た場合、前述のように各オブジェクトの上位レイヤ画像
を破棄し、強制的に基本レイヤ（低解像度）画像を出力
する固定モードに設定する。これにより、ＣＧ符号化情
報以外の復号化演算の負荷を軽減し、余力をＣＧ構築部
２０５に割り振ることにより、見掛け上、正常な復号化
動作（画像のフリーズやオブジェクトの欠落がない）を
維持することができる。

【００８７】実施形態２では、外部からの選択信号７０
９を受信して、セレクタ７０８を制御することもできる
ように構成してある。従って、選択信号７０９は、ユー
ザが外部から任意に入力可能である。選択信号７０９に
て選択可能な解像度は、ビット・ストリーム（符号化画
像情報）が空間スケーラビリティを使用しているなら
ば、空間的解像度の高低が選択可能であり、時間スケー
ラビリティを使用しているならば、時間的解像度（フレ
ーム・レート等）の高低が選択可能である。

【００８８】次に、実施形態２で実行される処理の内、
特に、復号化器で実行される処理の処理フローについ
て、図１１を用いて説明する。

【００８９】図１１は本発明の実施形態２の復号化器で
実行される処理を示すフローチャートである。

【００９０】まず、ステップＳ２０１で、ビット・スト
リームを入力する。ステップＳ２０２で、入力されたビ
ット・ストリームより、上位レイヤ、基本レイヤの両レ
イヤ画像を再構成する。ステップＳ２０３で、復号化処
理の破綻の可能性があるか否かを判定する。破綻の可能
性がある場合（ステップＳ２０３でＹＥＳ）、ステップ
Ｓ２０４に進み、基本レイヤ画像のみを復号化する。一
方、破綻の可能性がない場合（ステップＳ２０３でＮ
Ｏ）、ステップＳ２０５に進み、上位レイヤ、基本レイ
ヤの両レイヤ画像を復号化する。

【００９１】以上説明したように、実施形態２によれ
ば、ビット・ストリームがスケーラビリティを採用して
いる場合、バッファのオーバーフローや復号化処理の破
綻（復号化処理が入力のレートに対して間に合わない）
等が予想される状態を検知して、瞬時に上位レイヤ画像
を破棄し、強制的に基本レイヤ画像専用の復号化処理に
切換えて、スケーラビリティの持つ時間的、空間的最高
解像度を犠牲にする代わりに、復号化処理の中断または
それに伴う復号化画像の乱れやフリーズ等を回避するこ
とができる。

【００９２】また、サブ・サンプリング、または強制的
に基本レイヤ（低解像度）画像を実施する異常状態が解
消された時点から通常の復号化処理に復帰させるまで
に、一定の時間遅延を設けることにより、復号化された
画像データのデータ量の僅かな増減により通常状態と異
常状態が頻繁に繰り返されるのを回避することができ
る。上記実施形態１、実施形態２におけるサブ・サンプ
リングは、画面内処理の一つであり、また、上述した上
位レイヤ画像の破棄も画面内処理に含まれる。

【００９３】尚、本発明は、複数の機器（例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置な
ど）に適用してもよい。

【００９４】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００９５】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００９６】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭな
どを用いることができる。

【００９７】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００９８】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【００９９】

【発明の効果】以上説明したように、本発明によれば、
復号化処理の中断やそれに伴う復号化画像の乱れやフリ
ーズを回避することができる画像処理装置及びその方
法、コンピュータ可読メモリを提供できる。

【図面の簡単な説明】

【図１】本発明の実施形態１の復号化器の基本構成を示
す図である。

【図２】本発明の実施形態１の復号化システムの基本構
成を示す図である。

【図３】本発明の実施形態１の符号化システムの基本構
成を示す図である。

【図４】従来の復号化器の基本構成を示す図である。

【図５】本発明の実施形態１の画像データのサブ・サン
プリングの一例を説明するための図である

【図６】本発明の実施形態１の画像データのサブ・サン
プリングの一例を説明するための図である

【図７】本発明の実施形態１の復号化器で実行される処
理を示すフローチャートである。

【図８】本発明の実施形態２の復号化器の基本構成を示
す図である。

【図９】本発明の実施形態２の空間スケーラビリティの
概念を説明するための図である。

【図１０】本発明の実施形態２の時間スケーラビリティ
の概念を説明するための図である。

【図１１】本発明の実施形態２の復号化器で実行される
処理を示すフローチャートである。

【符号の説明】

１０１ 可変長符号復号化器 １０２ 逆量子化器 １０３ 逆ＤＣＴ部 １０４、１０９、１１０ セレクタ １０５ 平均値演算部 １０６ 加算器 １０７ メモリ１ １０８ メモリ２ １１１ 出力バッファ １１２ 復号化器制御部 １１３ サブ・サンプリング部 ２０１ 階層分離部 ２０２ ヘッダ復号化器 ２０３ 復号化器群 ２０４ オブジェクト合成部 ２０５ ＣＧ構築部

Claims (17)

【特許請求の範囲】
1. 【請求項１】 入力された符号化画像データを処理する
   画像処理装置であって、 前記入力された符号化画像データを復号する復号手段
   と、 前記符号化画像データの復号が前記復号手段の処理能力
   を越えているか否かを判定する判定手段と、 前記判定手段の判定結果に基づいて、前記符号化画像デ
   ータの画面内処理を行う画面内処理手段とを備えること
   を特徴とする画像処理装置。
2. 【請求項２】 前記画面内処理手段は、前記符号化画像
   データのサブ・サンプリングを行うサブ・サンプリング
   手段であることを特徴とする請求項１に記載の画像処理
   装置。
3. 【請求項３】 前記判定手段は、前記符号化画像データ
   のデータ量に基づいて、該符号化画像データの復号が前
   記復号手段の処理能力を越えているか否かを判定するこ
   とを特徴とする請求項１に記載の画像処理装置。
4. 【請求項４】 前記判定手段は、前記符号化画像データ
   のデータ・レートに基づいて、該符号化画像データの復
   号が前記復号手段の処理能力を越えているか否かを判定
   することを特徴とする請求項１に記載の画像処理装置。
5. 【請求項５】 前記符号化画像データは、少なくともヘ
   ッダ情報、符号化画像情報を含み、 前記判定手段は、前記符号化画像データのヘッダ情報に
   基づいて、該符号化画像データの復号が前記復号手段の
   処理能力を越えているか否かを判定することを特徴とす
   る請求項１に記載の画像処理装置。
6. 【請求項６】 前記符号化画像データが複数レイヤから
   構成される符号化画像データであり、前記判定手段の判
   定の結果、前記符号化画像データの復号が前記復号手段
   の処理能力を越えている場合、前記復号手段は、該符号
   化画像データ中の基本レイヤ画像のみ復号することを特
   徴とする請求項１に記載の画像処理装置。
7. 【請求項７】 前記判定手段の判定の結果、前記復号手
   段が処理能力超過状態から処理能力範囲内に復帰したと
   判定した場合、所定遅延時間を設けて、該復号手段は通
   常の復号を実行することを特徴とする請求項６に記載の
   画像処理装置。
8. 【請求項８】 前記復号手段で復号された各レイヤの画
   像の内、所望のレイヤの画像の出力を指示する指示手段
   を更に備えることを特徴とする請求項６に記載の画像処
   理装置。
9. 【請求項９】 入力された符号化画像データを処理する
   画像処理方法であって、 前記入力された符号化画像データを復号する復号工程
   と、 前記符号化画像データの復号が前記復号工程の処理能力
   を越えているか否かを判定する判定工程と、 前記判定工程の判定結果に基づいて、前記符号化画像デ
   ータの画面内処理を行う画面内処理工程とを備えること
   を特徴とする画像処理方法。
10. 【請求項１０】 前記画面内処理工程は、前記符号化画
    像データのサブ・サンプリングを行うサブ・サンプリン
    グ工程であることを特徴とする請求項９に記載の画像処
    理方法。
11. 【請求項１１】 前記判定工程は、前記符号化画像デー
    タのデータ量に基づいて、該符号化画像データの復号が
    前記復号工程の処理能力を越えているか否かを判定する
    ことを特徴とする請求項９に記載の画像処理方法。
12. 【請求項１２】 前記判定工程は、前記符号化画像デー
    タのデータ・レートに基づいて、該符号化画像データの
    復号が前記復号工程の処理能力を越えているか否かを判
    定することを特徴とする請求項９に記載の画像処理方
    法。
13. 【請求項１３】 前記符号化画像データは、少なくとも
    ヘッダ情報、符号化画像情報を含み、 前記判定工程は、前記符号化画像データのヘッダ情報に
    基づいて、該符号化画像データの復号が前記復号工程の
    処理能力を越えているか否かを判定することを特徴とす
    る請求項９に記載の画像処理方法。
14. 【請求項１４】 前記符号化画像データが複数レイヤか
    ら構成される符号化画像データであり、前記判定工程の
    判定の結果、前記符号化画像データの復号が前記復号工
    程の処理能力を越えている場合、前記復号工程は、該符
    号化画像データ中の基本レイヤ画像のみ復号することを
    特徴とする請求項９に記載の画像処理方法。
15. 【請求項１５】 前記判定工程の判定の結果、前記復号
    工程が処理能力超過状態から処理能力範囲内に復帰した
    と判定した場合、所定遅延時間を設けて、該復号工程は
    通常の復号を実行することを特徴とする請求項１４に記
    載の画像処理方法。
16. 【請求項１６】 前記復号工程で復号された各レイヤの
    画像の内、所望のレイヤの画像の出力を指示する指示手
    段を更に備えることを特徴とする請求項１４に記載の画
    像処理方法。
17. 【請求項１７】 入力された符号化画像データを処理す
    る画像処理のプログラムコードが格納されたコンピュー
    タ可読メモリであって、 前記入力された符号化画像データを復号する復号工程の
    プログラムコードと、 前記符号化画像データの復号が前記復号工程の処理能力
    を越えているか否かを判定する判定工程のプログラムコ
    ードと、 前記判定工程の判定結果に基づいて、前記符号化画像デ
    ータの画面内処理を行う画面内処理工程のプログラムコ
    ードとを備えることを特徴とするコンピュータ可読メモ
    リ。