JP2003169337A - 画像符号化方法および画像復号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 符号化される画像信号に応じて、異なる画素
補間方法を選択することができる画像符号化方法および
画像復号化方法を提供する。 【解決手段】 予測画像の生成に画素補間を伴う画像符
号化装置４００は、ピクチャ種別信号PicTypeの値に応
じて、画素補間部Ａ４０３および画素補間部Ｂ４０４の
一方を選択する。ピクチャ種別信号PicTypeの値がＢピ
クチャを示す"０"の場合、予測画像の１／２画素の画素
値を算出するフィルタタップ数「４」の画素フィルタが
選択され、ピクチャ種別信号PicTypeの値がＢピクチャ
以外のフレームを示す"１"の場合、フィルタタップ数
「８」の画素フィルタが選択される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の動きを予測
して画像信号を圧縮符号化する画像符号化装置、画像復
号化装置、画像符号化方法、画像復号化方法およびそれ
をソフトウェアで実施するためのプログラムが記録され
た記録媒体に関する。

【０００２】

【従来の技術】近年、マルチメディアアプリケーション
の発展に伴い、画像・音声・テキストなど、あらゆるメ
ディアの情報を統一的に扱うことが一般的になってき
た。この時、全てのメディアをディジタル化することに
より、統一的にメディアを扱うことが可能になる。しか
しながら、ディジタル化された画像は膨大なデータ量を
持つため、蓄積・伝送のためには、画像の情報圧縮技術
が不可欠である。一方で、圧縮した画像データを相互運
用するためには、圧縮技術の標準化も重要である。画像
圧縮技術の標準規格としては、ＩＴＵ‐Ｔ（国際電気通
信連合 電気通信標準化部門）のH.261、H.263、ＩＳＯ
（国際標準化機構）のＭＰＥＧ（Moving Picture Exper
ts Group）-1、MPEG-2、MPEG-4などがある。

【０００３】図１７は、動画像における動き補償の概念
を示す図である。ただし、参照画像信号Ref内の被写体C
arと、入力された画像信号Img内の被写体CurCarとは同
一の被写体とする。また、画像信号Img内の破線で表現
された被写体は、参照画像信号Ref内での被写体の位置
を示す。画像符号化装置が画像信号Img内の画素ブロッ
クCurBlkを符号化する場合には、予測画像信号Predとし
て、参照画像信号Ref内の同じ被写体CurCarの画像であ
って、被写体CurCarの画像において同一位置に相当する
位置の画像を表している予測画像ブロックPredBlkの画
素を使用すれば予測効率が高くなる。すなわち、参照画
像信号Ref内の同じ被写体CurCarの画像を画像信号Img内
の被写体CurCarと同じ位置に移動して、画素値の差分を
求めれば、画素値の差分の絶対値が小さくなり、データ
量の振幅が小さくなるため圧縮が容易になる。予測画像
ブロックPredBlkの画素位置から画素ブロックCurBlkの
画素位置への写像に必要な情報を、動きパラメータ信号
MotionParamと呼ぶ。この動きパラメータ信号MotionPar
amとして、例えば、MPEG-1、2、4、H.261、H.263では、
ブロックの平行移動を表現した動きベクトルが使用され
る。

【０００４】図１８は、従来の画像符号化装置１００の
構成を示すブロック図である。画像符号化装置１００
は、差分器１０１、画像符号化部１０２、可変長符号化
部１０３、画像復号化部１０４、加算器１０５、画像メ
モリ１０６、画素ブロック取得部１０７、スイッチ１０
８、スイッチ１０９、画素補間部１１０、動き推定部１
１１および画素補間使用判定部１１２を備える。まず、
画像符号化装置１００は、外部から画像信号Imgを入力
する。次に、差分器１０１は、外部から入力された画像
信号Imgと、参照画像信号Refから得られた予測画像信号
Predとの画素値の差分である差分画像信号Resを出力す
る。予測画像信号Predは、既に符号化されたフレームで
あって、画像復号化部１０４において復号化され、場合
に応じて画素補間部１１０によって補間され、動き推定
部１１１からの動きベクトルに基づいてブロックごとに
切り出された画像である。画像符号化部１０２は、差分
画像信号Resを符号化して、差分画像符号化信号CodedRe
sを出力する。画面内符号化の場合には、画面間の動き
補償を行わないので、予測画像の画素値は"０"と考え
る。可変長符号化部１０３は、差分画像符号化信号Code
dResと動きパラメータ信号MotionParamとを可変長符号
化し、１つの符号化信号Bitstreamとして画像符号化装
置１００の外部へ出力する。画像復号化部１０４は、動
き予測の参照画像として使用するため、差分画像符号化
信号CodedResを復号化して、復号差分画像信号ReconRes
を出力する。加算器１０５は、復号差分画像信号ReconR
esと予測画像信号Predとの画素値を加算し、復号画像信
号Reconとして出力する。復号画像信号Reconは画像メモ
リ１０６に格納され、以降のフレームを符号化する際に
参照画像として使用される。画像メモリ１０６は、加算
器１０５から出力された符号化済みのフレームの何枚か
を予測用の参照画像信号Refとして保持している。

【０００５】画素ブロック取得部１０７は、画像メモリ
１０６に保持されている参照フレームとなるフレームか
ら、動き推定部１１１からの動きベクトルに従って画素
ブロックBlkを切り出し、スイッチ１０８に出力する。
スイッチ１０８は、画素補間使用判定部１１２からの補
間判定信号UsePolatorに従って端子"１"と端子"２"とを
切り替える。端子"１"は、スイッチ１０９の端子"１"と
接続され、端子"２"は、画素補間部１１０に接続されて
いる。画素補間部１１０は、動きベクトルによって示さ
れるブロックの移動量が整数画素単位より小さい単位の
移動量を含んでいる場合、それに対応する位置の画素値
を生成し、スイッチ１０９の端子"２"に出力する。スイ
ッチ１０９は、画素補間使用判定部１１２からの補間判
定信号UsePolatorに従って端子"１"と端子"２"とを切り
替えて接続する。動き推定部１１１は、外部から入力さ
れた画像信号Imgと参照画像信号Refとから、動きパラメ
ータ信号MotionParamを求める。画素補間使用判定部１
１２は、動き推定部１１１によって求められた動きパラ
メータ信号MotionParamに応じて、参照画像信号Refから
予測画像信号Predを生成する際に画素補間を行うか否か
を判定する。

【０００６】すなわち、図１７に示した被写体の動きに
よっては、整数画素単位より小さい単位の動きで予測を
行うと予測効果が高い場合があるからで、一般に、整数
画素単位より小さい単位の動きを伴う予測画像の画素値
の計算には画素補間を使用する。この画素補間は、参照
画像の画素値に対して線形フィルタによるフィルタリン
グを行うことにより実行される。この線形フィルタのタ
ップ数を増やせば良好な周波数特性を持つフィルタを実
現でき、予測効果が高くなるが処理量は大きくなる。一
方、フィルタのタップ数が少ないとフィルタの周波数特
性は悪くなり、予測効果は低くなるが処理量は小さくな
る。

【０００７】画素補間使用判定部１１２は、動きパラメ
ータ信号MotionParamから予測画像の生成に画素補間を
行うべきか否かを判断する。具体的には、画素補間使用
判定部１１２は、動きパラメータ信号MotionParamが、
整数画素単位より小さい単位の移動量を含んでいる場合
には画素補間を使用すると判断し、値"１"の画素補間使
用制御信号UsePolatorを出力する。動きパラメータ信号
MotionParamが、整数画素単位の動きを示している場合
には画素補間を使用すべきでないと判断し、値"０"の画
素補間使用制御信号UsePolatorを出力する。画素補間使
用制御信号UsePolatorが"０"の場合には、スイッチ１０
８とスイッチ１０９とは端子"１"側に切り替わり、画素
補間使用制御信号UsePolatorが"１"の場合にはスイッチ
１０８とスイッチ１０９とは端子"２"側に切り替わると
する。スイッチ１０８とスイッチ１０９とが端子"２"に
接続された場合には画素補間部１１０を使用し、画素ブ
ロックBlkを画素補間して予測画像信号Predとする。ス
イッチ１０８とスイッチ１０９とが"０"ならば、画素補
間は行われず、画素ブロックBlkをそのまま予測画像信
号Predとして使用する。

【０００８】図１９は、従来の画像復号化装置２００の
構成を示すブロック図である。まず、画像復号化装置２
００は外部から符号化信号Bitstreamを入力する。次に
可変長復号化部２０１により、符号化信号Bitstreamを
可変長復号化し、差分画像符号化信号CodedResと動きパ
ラメータ信号MotionParamとに分離する。画像復号化部
２０２は、差分画像符号化信号CodedResを復号し、復号
差分画像信号ReconResとして出力する。加算器２０３
は、予測画像信号Predと復号差分画像信号ReconResとを
加算し、復号画像信号Reconとして出力する。また、復
号画像信号Reconの何枚かを参照画像Refとして画像メモ
リ２０４に格納しておく。画素ブロック取得部２０７
は、参照画像信号Ref内で動きパラメータ信号MotionPar
amが示す位置から画素集合を取得する（但し、補間処理
のため実際の予測ブロックより大きな領域が取得される
場合がある）。

【０００９】画素補間使用判定部２１２は、動きパラメ
ータ信号MotionParamから、予測画像の取得に画素補間
を使用すべきか否かを判断する。例えば、MPEG-1、2、4
のように画素ブロックの並行移動を示す動きベクトルの
場合には、動きベクトルが整数で割り切れるか否かで、
画素補間を使用すべきか否かを判断できる。画素補間使
用判定部２１２は、画素補間を使用すべきであると判断
した時は、値"１"の画素補間使用制御信号UsePolator
を、画素補間を使用すべきでないと判断した時は、値"
０"の画素補間使用制御信号UsePolatorを出力する。画
素補間使用制御信号UsePolatorが"０"の場合にはスイッ
チ２０８とスイッチ２０９とは端子"１"側に切り替わ
り、画素補間使用制御信号UsePolatorが"１"の場合には
スイッチ２０８とスイッチ２０９とは端子"２"側に切り
替わる。スイッチ２０８とスイッチ２０９とが"２"なら
ば、画素補間部２０９による画素補間を使用し、画素ブ
ロックBlkを画素補間して予測画像信号Predとする。ス
イッチ２０８とスイッチ２０９とが端子"１"ならば、画
素補間は行わず、画素ブロックBlkをそのまま予測画像
信号Predとして使用する。

【００１０】

【発明が解決しようとする課題】しかしながら、携帯電
話機やＰＤＡ(Personal Digital Assistant)などの携帯
機器では、バッテリなどを電源として長時間使用できる
ように消費電力を抑えるため、処理能力が低い演算器し
か使用することができず、処理量が小さい画素補間方法
しか使用できない場合がある。一方、画像によっては、
高い符号化効率を実現するために、処理量が大きいにも
かかわらず、予測効果が高い画素補間方法を使用したい
場合もある。動画像の符号化方式が、これらの要求に柔
軟に対応できれば、運用範囲が広がり有益である。上記
課題に鑑みて、本発明は、符号化される画像信号に応じ
て、異なる画素補間方法を選択することができる画像符
号化方法および画像復号化方法を提供することを目的と
する。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像符号化方法は、予測画像の生成に画素補
間を伴う画像符号化方法であって、複数の画素補間方法
から１つの画素補間方法を選択する選択ステップと、選
択された画素補間方法を用いて対象画素位置の画素値を
生成する画素値生成ステップとを含むことを特徴とす
る。

【００１２】また、上記目的を達成するために本発明の
他の画像符号化方法は、復号化済み画像に対して画素補
間を行い、予測画像を生成する画像符号化方法であっ
て、入力される符号化信号を復号化する復号化ステップ
と、前記復号化ステップで復号化された復号化済み画像
を保持する保持ステップと、前記復号化済み画像が他の
画像に参照されない画像である場合、複数の画素補間方
法の中から処理負荷の軽い画素補間方法を選択する選択
ステップと、選択された画素補間方法を使用して、前記
予測画像を生成する予測画像生成ステップとを含むこと
を特徴とする。

【００１３】また、上記目的を達成するために本発明の
さらに他の画像符号化方法は、復号化済み画像に対して
画素補間を行い予測画像を生成する画像符号化方法であ
って、入力される符号化信号を復号化する復号化ステッ
プと、前記復号化ステップで復号化された復号化済み画
像を保持する保持ステップと、前記復号化済み画像が、
複数の画像を参照するＢピクチャである場合、複数の画
素補間方法の中から処理負荷の軽い画素補間方法を選択
する選択ステップと、選択された画素補間方法を使用し
て、前記予測画像を生成する予測画像生成ステップとを
含むことを特徴とする。

【００１４】さらに、上記目的を達成するために本発明
のさらに他の画像符号化方法は、復号化済み画像に対し
て画素補間を行い予測画像を生成する画像符号化方法で
あって、入力される符号化信号を復号化する復号化ステ
ップと、前記復号化ステップで復号化された復号化済み
画像を保持する保持ステップと、前記復号化済み画像
が、複数の画像を参照するＢピクチャである場合、１枚
の画像を参照するＰピクチャである場合と比べて、複数
の画素補間方法の中から処理負荷の軽い画素補間方法を
選択する選択ステップと、選択された画素補間方法を使
用して、前記予測画像を生成する予測画像生成ステップ
とを含むことを特徴とする。

【００１５】また、上記目的を達成するために本発明の
画像復号化方法は、復号化済み画像に対して画素補間を
行い予測画像を生成する画像復号化方法であって、入力
される符号化信号を復号化して得られる復号化画像が、
前記符号化信号を復号化して得られる他の復号化画像に
参照されない画像である場合、複数の画素補間方法の中
から処理負荷の軽い画素補間方法を選択する選択ステッ
プと、選択された画素補間方法を使用して、前記予測画
像を生成する予測画像生成ステップとを含むことを特徴
とする。

【００１６】また、上記目的を達成するために本発明の
他の画像復号化方法は、復号化済み画像に対して画素補
間を行い予測画像を生成する画像復号化方法であって、
入力される符号化信号を復号化して得られる復号化済み
画像が、複数の画像を参照するＢピクチャである場合、
複数の画素補間方法の中から処理負荷の軽い画素補間方
法を選択する選択ステップと、選択された画素補間方法
を使用して、前記予測画像を生成する予測画像生成ステ
ップとを含むことを特徴とする。

【００１７】また、上記目的を達成するために本発明の
さらに他の画像復号化方法は、復号化済み画像に対して
画素補間を行い予測画像を生成する画像復号化方法であ
って、入力される符号化信号を復号化して得られる復号
化済み画像が、複数の画像を参照するＢピクチャである
場合、１枚の画像を参照するＰピクチャである場合と比
べて、複数の画素補間方法の中から処理負荷の軽い画素
補間方法を選択する選択ステップと、選択された画素補
間方法を使用して、前記予測画像を生成する予測画像生
成ステップとを含むことを特徴とする。

【００１８】更に、上記目的を達成するために本発明の
画像符号化方法および画像復号化方法は、予測画像に対
して画素補間を行う画像復号化方法であって、予測で参
照する画像数が複数である場合、複数の画素補間方法の
中から処理負荷の軽い画素補間方法を選択する選択ステ
ップと、選択された画素補間方法を使用して、前記予測
画像の画素値を生成する画素値生成ステップとを含むこ
とを特徴とする。

【００１９】

【発明の実施の形態】以下、本発明の具体的な実施の形
態について、図面を参照しながら説明する。

【００２０】（実施の形態１）図１は、本発明の画像符
号化装置４００の構成を示すブロック図である。なお、
図１８に示した従来の画像符号化装置１００における各
構成要素と同じ動作をする構成要素および信号について
は、同じ参照符号を付し説明を省略する。

【００２１】画像符号化装置４００は、外部から入力さ
れるピクチャ種別信号PicTypeに応じて、選択的に精度
の異なる画素補間を行う画像符号化装置であって、差分
器１０１、画像符号化部１０２、可変長符号化部１０
３、画像復号化部１０４、加算器１０５、画像メモリ１
０６、画素ブロック取得部１０７、スイッチ１０８、ス
イッチ１０９、スイッチ４０１、スイッチ４０２、画素
補間部Ａ４０３、画素補間部Ｂ４０４、動き推定部１１
１および画素補間使用判定部１１２を備える。画像符号
化装置４００は、ピクチャ種別信号PicTypeを含んだ画
像信号Imgを外部から入力する。スイッチ４０１および
スイッチ４０２にピクチャ種別信号PicTypeとして、例
えば、通常、他のフレームに参照されることのない、Ｂ
ピクチャを示す"１"が入力された場合には、スイッチ４
０１およびスイッチ４０２は端子"１"側に切り替わり、
画素補間部Ａ４０３による画素補間が行われる。すなわ
ち、スイッチ４０１およびスイッチ４０２がそれぞれ端
子"１"に接続されている際に、画素ブロック信号Blkに
対して画素補間部Ａ４０３による画素補間が適用され
る。画素補間部Ａ４０３では、フィルタタップ数の少な
い例えば、タップ数"４"の簡素化された補間方法が用い
られる。ピクチャ種別信号PicTypeとして、例えば、他
のフレームに参照されるＰピクチャを示す"２"が入力さ
れた場合には、すなわち、Ｂピクチャを示す"１"以外の
値が入力された場合には、スイッチ４０１およびスイッ
チ４０２が端子"２"側に切り替わり、画素ブロック信号
Blkに対して画素補間部Ｂ４０４による画素補間が適用
される。画素補間部Ｂ４０４では、フィルタタップ数の
多い例えば、タップ数が"８"の精度の高い補間方法が用
いられる。このように画素補間された画素ブロックBlk
は、予測画像信号Predとして差分器１０１に入力され
る。

【００２２】なお、Ｂピクチャは同時に２つの画像を参
照して予測画像を生成するため、参照する各画像で画素
補間が必要になる。従って、１つの画像のみを参照する
Ｐピクチャと比べて画素補間の演算量が２倍となるた
め、Ｂピクチャで簡素化された補間方法を使用すること
は、各ピクチャで必要な演算量を平滑化できる点でも有
効である。従って、他のフレームで参照されるＢピクチ
ャにおいても、簡素化された補間方法を使用することは
有益である。

【００２３】また、ピクチャ種別信号PicTypeの値"
２"、"１"、"０"は説明の便宜上定義した値で、複数の
画素補間方法を区別できる値であれば、どのような値で
もよい。使用した画素補間方法を示すピクチャ種別信号
PicTypeを画像復号化装置に通知することにより、画像
復号化装置では画像符号化装置が使用した画素補間部と
同一の画素補間方法を使用することができる。

【００２４】図２は、本発明の画像復号化装置５００の
構成を示すブロック図である。なお、同図において、図
１９に示した画像復号化装置２００と同様の構成要素に
ついてはすでに説明しているので、同一の符号を付し説
明を省略する。画像復号化装置５００は、ピクチャの種
別ごとに異なる画素補間方法が使用された符号化信号Bi
tstreamを復号化する画像復号化装置であって、可変長
復号化部２０１、画像復号化部２０２、加算器２０３、
画像メモリ２０４、画素ブロック取得部２０７、スイッ
チ２０８、スイッチ２０９、画素補間使用判定部２１
２、スイッチ５０１、スイッチ５０２、画素補間部Ａ５
０３および画素補間部Ｂ５０４を備える。画像復号化装
置５００において、可変長符号化部５０５は、外部から
入力された符号化信号Bitstreamを可変長復号化して、
可変長復号化された符号化信号Bitstreamから、ピクチ
ャ種別信号PicTypeと差分画像符号化信号CodedResと動
きパラメータ信号MotionParamとを分離し、ピクチャ種
別信号PicTypeをスイッチ５０１およびスイッチ５０２
へ、動きパラメータ信号MotionParamを画素補間使用判
定部２１２および画素ブロック取得部２０７へ、差分画
像符号化信号CodedResを画像復号化部２０２へ、それぞ
れ出力する。スイッチ５０１およびスイッチ５０２にピ
クチャ種別信号PicTypeとして、例えば、他のフレーム
に参照されることのないＢピクチャを示す"１"が入力さ
れた場合には、スイッチ５０１およびスイッチ５０２は
端子"１"側に切り替わり、画素補間部Ａ５０３による画
素補間が行われる。すなわち、スイッチ５０１およびス
イッチ５０２がそれぞれ端子"１"に接続されている際
に、画素ブロック信号Blkに対して画素補間部Ａ５０３
による画素補間が適用される。画素補間部Ａ５０３で
は、フィルタタップ数の少ない例えば、タップ数"４"の
簡素化された補間方法が用いられる。ピクチャ種別信号
PicTypeとして、例えば、他のフレームに参照されるＰ
ピクチャを示す"２"が入力された場合には、すなわち、
Ｂピクチャを示す"１"以外の値が入力された場合には、
スイッチ５０１およびスイッチ５０２が端子"２"側に切
り替わり、画素ブロック信号Blkに対して画素補間部Ｂ
５０４による画素補間が適用される。画素補間部Ｂ５０
４では、フィルタタップ数の多い例えば、タップ数が"
８"の精度の高い補間方法が用いられる。なお、Ｂピク
チャは同時に２つの画像を参照して予測画像を生成する
ため、参照する各画像で画素補間が必要になる。従っ
て、１つの画像のみを参照するＰピクチャと比べて画素
補間の演算量が２倍となるため、Ｂピクチャで簡素化さ
れた補間方法を使用することは、各ピクチャで必要な演
算量を平滑化できる点でも有効である。従って、他のフ
レームで参照されるＢピクチャにおいても、簡素化され
た補間方法を使用することは有益である。また、画像符
号化装置でP、Bピクチャとも同じ画素補間フィルタを使
用したビットストリームを復号する場合でも、画像復号
化装置５００では、Bピクチャのみ簡素化された画素補
間フィルタを使用することができる。この場合、Bピク
チャの画素補間フィルタは画像符号化装置で使用した画
素補間フィルタとは異なるためBピクチャでは画質劣化
が発生するが、Bピクチャは他のピクチャから参照され
ることは少ないため、Pピクチャで画質劣化が発生した
場合に較べて、以降のピクチャに対して画質劣化が伝播
することが少ない。更に、画像符号化装置で使用した画
素補間フィルタと同じフィルタを画像復号装置５００に
実装されていない場合には、画像符号化装置で使用され
た画素補間フィルタのタップ数以下で最も近いタップ数
を持つ画素補間フィルタを替わりに使用することもでき
る。この場合、画像符号化装置で使用した画素補間フィ
ルタと異なる画素補間フィルタを使用することになるた
め、画質劣化が発生するが、ビットストリームの復号を
継続することができる。

【００２５】図３(ａ)は、１／２画素フィルタにおい
て、既存の画素からｉ軸方向に１／２画素ずれた位置に
ある画素の画素値を計算する方法の一例を示す図であ
る。図３(ｂ)は、１／２画素フィルタにおいて、既存の
画素からｊ軸方向に１／２画素ずれた位置にある画素の
画素値を計算する方法の一例を示す図である。図３(ａ)
および図３(ｂ)において、○は整数位置の画素を示し、
×は小数位置の画素を示している。また、同図におい
て、ｉ，ｊは整数である。Ｉ(ｘ，ｙ)は、座標(ｘ，ｙ)
における画素値を示している。１／２画素フィルタは、
○で示される整数位置の画素における画素値から、×で
示される実際には画素が存在しない小数位置の画素の画
素値を計算するソフトウェアおよび集積回路などによっ
て実現される。図３(ａ)では、座標（ｉ−０.５,ｊ）の
位置にある画素の画素値Ｉ（ｉ−０.５,ｊ）を求める場
合について説明する。例えば、タップ数Ｎ（Ｎは偶数の
自然数）が"２"の場合、座標（ｉ−０.５,ｊ）の位置に
ある画素に対して、ｉ軸方向の両側に隣接する２つの画
素の画素値Ｉ（ｉ−１,ｊ）および画素値Ｉ（ｉ,ｊ）が
用いられる。画素値Ｉ（ｉ−０.５,ｊ）は、ｉ軸方向の
画素値の積和である式１を用いて、以下のように表され
る。

【数１】

【００２６】式１において、ａ_ｋはフィルタ係数を示
し、trunc(n)はnに対する小数以下切捨てを示してい
る。このように、式１において適当なフィルタ係数ａ_ｋ
を選んでおくことによって、１／２画素である（ｉ−
０.５,ｊ）の位置にある画素の画素値Ｉ（ｉ−０.５,
ｊ）が、その両側の画素におけるＮ個の画素値の平均値
として求められる。また、例えば、タップ数Ｎが"４"の
場合、（ｉ−０.５,ｊ）の位置にある画素に対して、ｉ
軸方向の両側に隣接する２つの画素の画素値Ｉ（ｉ−
１,ｊ）および画素値Ｉ（ｉ,ｊ）の他に、さらにｉ軸方
向の両側に隣接する画素の画素値Ｉ（ｉ−２,ｊ）およ
び画素値Ｉ（ｉ＋１,ｊ）が用いられる。同様に、タッ
プ数Ｎが"６"、"８"と増加した場合には、式１のＮに、
それらの値を代入することによって容易に求めることが
できる。

【００２７】図３(ｂ)では、座標（ｉ,ｊ−０.５）の位
置にある画素の画素値Ｉ（ｉ,ｊ−０.５）を求める場合
について説明する。すなわち、予測画像が参照画像のｊ
軸方向に小数画素分移動する場合である。例えば、タッ
プ数Ｍ（Ｍは偶数の自然数）が"２"の場合、座標（ｉ,
ｊ−０.５）の位置にある画素に対して、ｊ軸方向の両
側に隣接する２つの画素の画素値Ｉ（ｉ,ｊ−１）およ
び画素値Ｉ（ｉ,ｊ）が用いられる。この画素値Ｉ（ｉ,
ｊ−０.５）は、ｊ軸方向の画素値の積和である式２を
用いて、以下のように表される。

【数２】

【００２８】式２において、ａ_ｍはフィルタ係数を示し
ている。この場合も、タップ数が"４"、"６"、"８"と増
加した場合には、式２のＭに、この値を代入することに
よって、座標（ｉ,ｊ−０.５）の位置の画素について画
素値を求めることができる。また、図示しないが、予測
画像が参照画像のｉ軸方向にもｊ軸方向にもそれぞれ１
／２画素分移動する場合には、座標（ｉ−０.５,ｊ−
０.５）における予測画像の画素値Ｉ（ｉ−０.５,ｊ−
０.５）は、ｉ軸方向とｊ軸方向との画素値の積和であ
る式３を用いて以下のように表される。

【数３】

【００２９】以上の式から分かるように、画素補間部Ａ
および画素補間部Ｂを実現する画素フィルタは、フィル
タタップ数が多いほど、予測精度が高くなる反面、演算
処理量が多くなり、画像符号化装置の処理負荷が重くな
る。

【００３０】上記のように、画像符号化装置４００およ
び画像復号化装置５００の画素補間部には、異なる予測
性能・処理量の画素補間部を複数個、使用することがで
きる。異なる予測性能・処理量の画素補間部を使用する
ことには次の利点がある。簡単に説明するため、画素補
間部Ａは画素補間部Ｂに比べて処理量が少なく、画素補
間部Ｂは画素補間部Ａに比べて予測効率が高いとする。
本発明の画像符号化装置が出力する符号化信号を復号化
する画像復号化装置として、画素補間部Ａのみを備えた
画像復号化装置と画素補間部Ａと画素補間部Ｂとの双方
を備えた画像復号化装置の２種類の画像符号化装置を考
える。

【００３１】前者の画像符号化装置は要求される処理量
が小さく、処理能力が低い機器に適している。後者の画
像復号化装置は処理量が大きい機器に適している。後者
の画像復号化装置は、画素補間部Ａおよび画素補間部Ｂ
のいずれの画素補間部を使用した符号化信号も復号化す
ることが可能であり、前者の画像復号化装置に対して上
位互換性を持つことができる。上記の説明のように画像
復号化装置に応じて適切な予測性能・処理量の画素補間
部を選択することにより、幅広い種類の機器に符号化方
式を適用することができる。

【００３２】また、画像復号化装置の処理能力に応じた
符号化信号の生成という用途以外にも、画像符号化装置
の処理能力に応じて画素補間部を切り替えることができ
る。例えば、符号化する画像サイズやフレームレートが
大きい場合には、符号化処理全体に要する処理量が大き
くなる。従って、符号化する画像サイズやフレームレー
トが一定値以下の場合には画素補間部Ｂを使用し、符号
化する画像サイズやフレームレートが一定値以上の場合
には、要求される処理能力が低い、すなわち処理負荷が
小さい画素補間部Ａを使用して、符号化処理全体に要す
る処理量が高くならないようにすることができる。

【００３３】また、複数の処理を同時に実行するタイム
シェアリングシステム上で画像符号化を実現する場合に
は、他の処理の影響で画像符号化に費やせる処理量が動
的に変化する可能性がある。そこで、画像符号化に費や
せる処理量が一定以上の場合には処理量が多い画素補間
部Ｂを使用し、画像符号化に費やせる処理量が一定以下
の場合には処理量がより少ない画素補間部Ａを使用する
ことができる。

【００３４】また、特定の性質の画像に適した画素補間
部を複数備えて、画像の性質に応じてフレーム単位に画
素補間部を切り替えてもよい。例えば、文字などエッジ
情報が重要な場合にはエッジの保存性に優れた画素補間
部を使用する。複数の画素補間部の切り替えが可能にな
れば、画像の性質に適切な画素補間方法を選択できるた
め、より予測効率を向上できる。

【００３５】更に、Ｂピクチャ等のように同時に２つの
画像を参照して予測画像を生成する場合は、参照する各
画像で画素補間が必要になり、１つの画像のみを参照す
るＰピクチャと比べて画素補間の演算量が２倍となるた
め、Ｂピクチャのみで簡素化された補間方法を使用すれ
ば、各ピクチャで必要な演算量を平滑化できるため、実
時間で動作するソフトウェアでの実現が容易になる。

【００３６】図４（ａ）は、動画像を表す各フレームの
ピクチャ種別と画素補間の方法との関係を示す図であ
る。図４（ｂ）は、本発明の画像符号化装置４００およ
び画像復号化装置５００における補間方法選択の手順を
示すフローチャートである。図４（ａ）に示すように、
画像符号化装置４００には、各フレームがＩピクチャで
あるか、Ｂピクチャであるか、Ｐピクチャであるかを示
すピクチャ種別信号PicTypeが外部から与えられる。Ｉ
ピクチャでは、画面内符号化を行うので、予測画像の画
素値は"０"である。従って、画素補間使用判定部１１２
はスイッチ１０８とスイッチ１０９とを端子"１"に切り
替えて、画素補間そのものを行わない。また、Ｂピクチ
ャでは、ピクチャ種別信号PicTypeの値に従ってスイッ
チ４０１とスイッチ４０２とが端子"１"に切り替えら
れ、画素補間部Ａ４０３による簡易的な画素補間Ａが用
いられる。また、Ｐピクチャでは、ピクチャ種別信号Pi
cTypeの値に従って、スイッチ４０１とスイッチ４０２
とが端子"２"に切り替えられ、画素補間部Ｂ４０４によ
る高精度の画素補間Ｂが用いられる。

【００３７】すなわち、画像符号化装置４００では、ピ
クチャ種別信号PicTypeの値に応じてスイッチ４０１と
スイッチ４０２とを切り替えることにより、図４（ｂ）
のフローチャートに示される選択処理を行っている。ス
イッチ４０１とスイッチ４０２とは、入力されるピクチ
ャ種別信号PicTypeの値がＢピクチャを示す値であるか
否かを判定し（Ｓ７０１）、Ｂピクチャを示す値であれ
ば、それぞれが端子"１"を接続することによって画素補
間部Ａ４０３による補間方法Ａを選択する（Ｓ７０
２）。また、ピクチャ種別信号PicTypeの値がＢピクチ
ャを示す値でない場合には、それぞれが端子"２"を接続
することによって画素補間部Ｂ４０４による補間方法Ｂ
を選択する（Ｓ７０３）。画像符号化装置４００では、
上記ステップＳ７０１からＳ７０３の処理を、入力され
る画像信号Imgのフレームごとに繰り返す。

【００３８】上記のように、画像符号化装置４００によ
れば、本来、画像符号化処理のための処理負荷が比較的
大きいＢピクチャに対して、より処理負荷が小さい画素
補間部を選択するので、処理能力が比較的低い画像符号
化装置でも画素補間を行うことができる。また、他のフ
レームに参照されにくいＢピクチャに対して、より精度
の低い画素補間部を選択するので、より精度の低い画素
補間部を選択したことによる影響が他のフレームに及ぶ
ことを小さく留めるすることができる。さらに、通常、
画像信号に含まれているピクチャ種別信号PicTypeに基
づいて画素補間部を選択するので、符号化信号Bitstrea
m内に、どのフレームに対してどの画素補間部を示す情
報を含ませる必要がなく、その分、可変長符号化部の処
理量を低減することができる。また、本来、画像符号化
装置の処理負荷が比較的少ないＰピクチャに対しては、
処理負荷は大きくなるが、より予測精度の高い画素補間
部を選択するので、処理能力が比較的低い画像符号化装
置でも、より予測精度の高い画素補間を行うことができ
る。また、他のフレームに参照されるＰピクチャに対し
ては、より予測精度の高い画素補間を行うことができる
ので、画質の劣化を最低限に防止することができる。

【００３９】図５は、フレーム単位で画素補間方法を切
り替える画像符号化装置８００の構成を示すブロック図
である。図５において、図１８の画像符号化装置１００
および図１の画像符号化装置４００と同様の構成要素お
よび信号には同じ符号を付し、説明を省略する。画像符
号化装置８００は、差分器１０１、画像符号化部１０
２、画像復号化部１０４、加算器１０５、画像メモリ１
０６、画素ブロック取得部１０７、スイッチ１０８、ス
イッチ１０９、動き推定部１１１、画素補間使用判定部
１１２、画素補間部Ａ４０３、画素補間部Ｂ４０４、画
素補間切り替え位置判定部８０１、スイッチ８０２、可
変長符号化部８０３、スイッチ８０４およびスイッチ８
０５を備える。画素補間切り替え位置判定部８０１は、
入力された画像信号Imgから画素補間部Ａ４０３と画素
補間部Ｂ４０４とを切り替える単位（フレーム、スライ
ス、マクロブロック、ブロックなど）を検出した場合に
は、画素補間切り替え制御信号SetPolatorType"１"を出
力することにより、スイッチ８０２をオン(導通状態)に
する。

【００４０】ここでは、例えば、画像信号Imgのフレー
ムを、画素補間方法の切り替え単位としてスイッチ８０
２を切り替える。スイッチ８０２は、切り替え単位とな
る各フレームの先頭において、ごく短い時間帯だけ、画
素補間種別信号PolatorTypeをスイッチ８０４およびス
イッチ８０５に導通させ、前記切り替え単位の他の時間
帯では、画素補間種別信号PolatorTypeがスイッチ８０
４およびスイッチ８０５に入力されるのを遮断する機能
を有している。これは、切り替え単位の符号化途中で画
素補間部Ａ４０３と画素補間部Ｂ４０４とが切り替わっ
てしまうことを防止するためである。スイッチ８０２
は、各フレームの先頭を切り替えのタイミングとして画
素補間切り替え制御信号SetPolatorType"１"によりオン
にされると、一定時間、端子を閉じて、外部から入力さ
れる画素補間種別信号PolatorTypeをスイッチ８０４お
よびスイッチ８０５に導通する。この画素補間種別信号
PolatorTypeは、画像符号化装置８００内の図示しない
送信バッファ内のデータ残量などを目安として測定され
た、画像符号化装置８００の処理負荷に応じて、または
画像復号化装置に想定される復号化能力に応じて、画素
補間の種別を選択するために外部から入力される信号で
ある。スイッチ８０２は、前記一定時間を経過すると端
子を開いてオフになり、再び画素補間切り替え制御信号
SetPolatorType"１"が入力されるとオンになるという動
作をする。また、スイッチ８０４とスイッチ８０５と
は、一旦、スイッチ８０２を介して外部から画素補間種
別信号PolatorTypeが入力されると、次に異なる値の画
素補間種別信号PolatorTypeが入力されるまで、当該画
素補間種別信号PolatorTypeの値によって示される接続
端子を接続したままの状態を保持する。

【００４１】例えば、あるフレームの先頭でスイッチ８
０２が導通された短い時間帯に入力された画素補間種別
信号PolatorTypeの値が"１"であったとすると、スイッ
チ８０４とスイッチ８０５とは、それぞれ端子"１"を接
続し、その状態を保持する。この後、次のフレームの先
頭でスイッチ８０２が導通された短い時間帯に入力され
た画素補間種別信号PolatorTypeの値が"０"であったと
すると、スイッチ８０４とスイッチ８０５とは、それぞ
れ端子"２"に接続し、その状態を保持する。これによ
り、フレームの先頭においてのみ画素補間方法の切り替
えが起こり、フレームの符号化途中で画素補間方法が切
り替わることを防止することができる。

【００４２】切り替え判定を用いた画素補間では、予測
精度の異なる複数の画素補間部を備え、フレーム毎に、
複数の画素補間方法のうちから処理量の制限を越えない
範囲で予測効率が最適なフィルタを選択的に実行するこ
とにより行う。また、切り替え判定を用いた他の画素補
間として、各フレームの符号化途中で画像符号化装置の
処理能力が足りなくなった場合に、次のフレームで処理
量が少ない画素補間方法に切り替えるとしてもよい。そ
の結果、画素補間種別信号PolatorTypeにより、新たな
画素補間部が選択される。

【００４３】図６は、画像符号化装置８００における補
間方法選択の手順を示すフローチャートである。具体的
には、画像符号化装置８００では、画素補間切り替え制
御信号SetPolatorTypeの値に応じてスイッチ８０２を接
続し、スイッチ８０２が接続されている間に外部から入
力される画素補間種別信号PolatorTypeの値に応じてス
イッチ８０４とスイッチ８０５とを切り替えることによ
り、図６のフローチャートに示される選択処理を行って
いる。画像符号化装置８００は、各フレームの先頭を示
すフレームヘッダなどを画像信号Imgから検出し(Ｓ９０
１)、画素補間切り替え位置判定部８０１から例えば、
画素補間切り替え制御信号SetPolatorType"１"を出力し
てスイッチ８０２をオンにする（Ｓ９０２）。画像符号
化装置８００は、スイッチ８０２がオンになっている間
に入力された画素補間種別信号PolatorTypeの値が"１"
であるか否かを判定し（Ｓ９０３）、"１"であれば、ス
イッチ８０４とスイッチ８０５とをそれぞれ端子"１"に
接続させ画素補間部Ａ４０３による補間方法Ａを選択す
る（Ｓ９０４）。画素補間種別信号PolatorTypeの値が"
１"でなければ、スイッチ８０４とスイッチ８０５とを
それぞれ端子"２"に接続させ画素補間部Ｂ４０４による
補間方法Ｂを選択する（Ｓ９０５）。画像符号化装置８
００は、上記ステップＳ９０１からＳ９０５までの処理
を、入力される画像信号Imgのフレームごとに繰り返
す。

【００４４】画像符号化装置８００は、さらに、可変長
符号化部８０３において、画素補間種別の切り替え単位
をフレームとした場合、画像符号化装置８００の出力で
ある符号化信号Bitstreamのフレームごとに、例えば、
符号化信号Bitstreamの各フレームヘッダに画素補間種
別信号PolatorTypeの値を記録して出力する。図７
（ａ）は、本発明の符号化信号Bitstreamのストリーム
構成を示す図である。図７（ｂ）は、フレームを単位と
して画素補間の方法を切り替える場合の符号化信号Bits
treamのストリーム構成を示す図である。本発明の符号
化信号の特徴は、画素補間種別信号PolatorTypeを符号
化信号Bitstreamに含むことである。このストリーム構
成により、本発明の符号化信号Bitstreamを復号化する
画像復号化装置では、画素補間種別信号を調べることに
より、符号化に使用した画素補間部と同一の画素補間方
法を使用することができる。

【００４５】図７（ａ）に示した符号化信号Bitstream
では、符号化信号Bitstream全体に付されるヘッダ１０
０１の中（例えば、斜線部）に、各フレームの画素補間
に用いられた補間方法を示す画素補間種別信号PolatorT
ypeの値が記述されている。また、図７（ｂ）に示した
符号化信号Bitstreamでは、フレームごとに設けられる
フレームヘッダ１００２の中（例えば、斜線部）に、当
該フレームの画素補間に用いられた補間方法を示す画素
補間種別信号PolatorTypeの値が記述される。このよう
に、画素補間種別信号PolatorTypeを符号化信号Bitstre
amの先頭部分であるヘッダ１００１や、ランダムアクセ
スポイントの先頭となるフレームヘッダ１００２などに
格納することによって、画像復号化装置では、ヘッダ１
００１もしくはランダムアクセスポイントから符号化信
号Bitstreamを入力することにより、当該フレームの復
号化前にそのフレームの画素補間種別を特定することが
できる。

【００４６】なお、ここではフレーム単位で画素補間部
を切り替えると説明したが、フレーム単位だけでなく、
フレームより小さい画像領域単位（１画素以上が集合し
た領域であればよい、例えば、ＭＰＥＧのスライス・マ
クロブロック・ブロックなど）で画素補間部を切り替え
てもよい。例えば、スライスを切り替え単位とする場合
には、各スライスに対応する画素補間種別信号PolatorT
ypeの値を、符号化信号Bitstream全体に対して付される
ヘッダに記述してもよいし、フレームごとにまとめてフ
レームヘッダに記述してもよい。また、それぞれのスラ
イスに対応するスライスヘッダに、各スライスの画素補
間種別信号の値を記述しておいてもよい。また、マクロ
ブロックまたはブロックを画素補間方法の切り替え単位
とする場合には、各マクロブロックまたは各ブロックの
画素補間種別信号の値をスライスごとにまとめて、スラ
イスヘッダに記述しておけばよい。

【００４７】以上説明したように、本発明の画像符号化
装置に入力される画素補間種別信号PolatorTypeの値
を、画像復号化装置の処理能力に応じた画素補間部を選
択するよう設定しておくことにより、本発明の画像符号
化装置が出力する符号化信号を再生する画像復号化装置
の処理能力に応じた符号化信号を作成することが可能に
なる。また、画像符号化装置の処理能力に応じて画素補
間部を選択することができる。

【００４８】なお、既存の画像符号化方式には、予測画
像信号の位置に応じて、その位置の画素値を生成する画
素補間方法を切り替える符号化方式がある。例えば、１
／２画素位置の画素値を生成する場合には１／２画素位
置用の画素補間方法を選択し、１／４画素位置の画素値
を生成する場合には１／４画素位置用の画素補間方法を
選択するような符号化方式である。しかし、それらの符
号化方式は、所望の画素位置について、いずれか一方の
画素補間方法を選択せざるを得ないことに対して、本発
明の符号化方式では、予測画像信号の同一位置の画素値
の計算につき複数の画素補間部を備えるので、同一画素
位置の画素値の計算に対して複数の画素補間方法を自由
に選択することができるという点で異なる。本発明の画
像符号化方式に、異なる画素位置に対して複数の画素補
間方法を切り替える上記の方法を組み合わせることもで
きる。この場合、異なる画素位置に対してそれぞれの画
素値を計算する複数の画素補間部を備えるとともに、同
一画素位置に対して予測精度の異なる画素値を計算する
複数の画素補間部を備えるものとする。

【００４９】なお、上記実施の形態においては、２つの
画素補間部を備えた画像符号化装置について説明した
が、３つ以上の画素補間部を備えるとしてもよい。その
場合には、３つ以上の画素補間部のいずれか１つを選択
して使用し、使用した画素補間部の種別を示す画素補間
種別信号を符号化信号に含めればよい。

【００５０】図８は、本実施の形態の他の画像復号化装
置１１００の構成を示すブロック図である。図８におい
て、図２に示した画像復号化装置５００と同じ動作をす
る構成要素および信号については、すでに説明している
ので、同じ符号を付し説明を省略する。画像復号化装置
１１００は、画像復号化部２０２、加算器２０３、画像
メモリ２０４、画素ブロック取得部２０７、スイッチ２
０８、スイッチ２０９、画素補間使用判定部２１２、画
素補間部Ａ５０３、画素補間部Ｂ５０４、可変長復号化
部１１０１、画素補間種別変換部１１０２、スイッチ１
１０３およびスイッチ１１０４を備える。画像復号化装
置１１００には、図５に示した画像符号化装置８００に
よって出力された符号化信号Bitstream2が入力される。
すなわち、画像復号化装置１１００に入力される符号化
信号Bitstream2には、画素補間種別信号PolatorType1が
記述されている。画像復号化装置１１００は、符号化信
号Bitstream2中の画素補間種別信号PolatorType1で示さ
れた画素補間部が画像復号化装置１１００に備えられて
いない場合には、画像符号化装置１１００が備えている
画素補間部のいずれかを代わりに用いることを特徴とす
る。

【００５１】画像復号化装置１１００は、画素補間種別
信号PolatorType1の値"１"と"２"とが示す２種類の画素
補間部すなわち、画素補間部Ａ５０３（フィルタタップ
数Ｎ＝４）および画素補間部Ｂ５０４（フィルタタップ
数Ｎ＝８）しか備えていないとする。画像復号化装置１
１００において、可変長復号化部１１０１は、符号化信
号Bitstream2を可変長復号化し、差分画像符号化信号Co
dedResと動きパラメータ信号MotionParamと画素補間種
別信号PolatorType1とに分離する。画素補間種別変換部
１１０２は、画素補間種別信号PolatorType1によって指
定されうる画素補間部の種別と、当該各画素補間部の特
性を示すパラメータと、実装の有無とを示す、あらかじ
め作成された補間種別表を内部に保持している。画素補
間種別変換部１１０２は、当該補間種別表に基づいて、
画素補間種別信号PolatorType1の値で示される画素補間
部が画像復号化装置１１００に実装されているか否かを
判断する。

【００５２】図９は、図８に示した画素補間種別変換部
１１０２に保持されている補間種別表１２００の一例を
示す図である。図のように、補間種別表１２００には、
画素補間種別信号PolatorType1の値で示される各画素補
間部の実装の有無１２０１と、画素補間種別信号Polato
rType1の値１２０１および画素補間種別信号PolatorTyp
e1の値で示される各画素補間部の特性を表したフィルタ
タップ数（Ｎ）１２０３が記述されている。画素補間種
別変換部１１０２は、画素補間種別信号PolatorType1の
値が、画像復号化装置１１００に実装されていない画素
補間部Ｃ（フィルタタップ数Ｎ＝１６）を示す値、例え
ば"３"であった場合には、実装されている画素補間部の
うちで、補間種別表１２００に記述されているフィルタ
タップ数（Ｎ）１２０３が画素補間種別信号PolatorTyp
e1で示された画素補間部Ｃに最も近い画素補間部Ｂ５０
４（フィルタタップ数Ｎ＝８）を選択し、画素補間種別
信号PolatorType1の値を、例えば"２"の値に変換して、
画素補間種別信号PolatorType2として出力する。この変
換処理によって画像復号化装置１１００では、符号化時
に使用された画素補間部とは異なる画素補間部を用いる
ので画質劣化を生じることは否めないが、差分画像符号
化信号CodedResと動きパラメータ信号MotionParamとの
復号化処理は可能であるため、復号化された映像の概観
（プレビュー）が可能になる。画素補間種別信号Polato
rType2として"１"が入力された場合には、スイッチ１１
０３と、スイッチ１１０４とは端子"１"側に切り替わ
り、復号画像信号Reconに対して画素補間部Ａ５０３が
使用される。画素補間種別信号PolatorType2として"２"
が入力された場合には、スイッチ１１０３と、スイッチ
１１０４とが端子"２"側に切り替わり、復号画像信号Re
conに対して画素補間部Ｂ５０４が使用される。

【００５３】以上説明したように、本発明の画像復号化
装置１１００によれば、画像復号化装置１１００に実装
されていない画素補間部を示す画素補間種別信号Polato
rType2が含まれている符号化信号Bitstreamが入力され
た場合でも、入力符号化信号Bitstreamを支障なく復号
化することができるという効果がある。なお、画像復号
化装置１１００が有する画素補間部が１つの場合には強
制的にその画素補間部を使用することにより、入力符号
化信号Bitstreamを復号化することができる。また、本
実施の形態の画像復号化装置１１００では、２個の画素
補間部を備えているが３個以上の画素補間部があっても
同様の処理が可能である。なお、実施の形態１で示した
ように、画素補間種別がフレーム単位、あるいは、フレ
ームより小さい画像領域の単位で切り替わる場合には、
画像復号化装置１１００は画素補間種別が変更された時
点で画素補間部を切り替えるものとする。なお、ここで
は、複数の画素補間部の特性をフィルタタップ数で表し
たが、必ずしもフィルタタップ数である必要はなく、他
のパラメータであってもよい。更に、画像復号化装置１
１００が画像符号化装置で使用される可能性がある画素
補間フィルタを全て備えていることが明らかである場合
には、画像復号化装置１１００の画素補間種別変換部１
１０２はなくてもよい。この場合には、画素補間種別信
号PolatorType1をそのまま画素補間種別信号PolatorTyp
e2として使用する。

【００５４】（実施の形態２）図１０は、本発明の実施
の形態２に係る画像符号化装置１３００の構成を示すブ
ロック図である。なお、図１８、図１および図５に示し
た画像符号化装置１００、画像符号化装置４００および
画像符号化装置８００における各構成要素と同じ動作を
する構成要素および信号については、同じ参照符号を付
し説明を省略する。画像符号化装置１３００は、符号化
の対象となるフレームが他のフレームに参照されないフ
レームである場合は、画素補間における処理量がより小
さい画素補間部を使用し、他のフレームで参照フレーム
として使用される場合には、予測効率は高いが処理量が
大きい画素補間部を使用する画像符号化装置であって、
差分器１０１、画像符号化部１０２、画像復号化部１０
４、加算器１０５、画像メモリ１０６、画素ブロック取
得部１０７、スイッチ１０８、スイッチ１０９、画素補
間使用判定部１１２、スイッチ１３０１、スイッチ１３
０２、可変長符号化部１３０３、スイッチ１３０４およ
び動き推定部１３０５を備える。動き推定部１３０５に
は、外部から、符号化対象フレームが後に参照フレーム
として使用かれるか否かを示す参照指示信号AvairableR
efが入力される。参照指示信号AvairableRefは、画像符
号化装置１３００のオペレータが図示しないキーボード
などの入力部を用いて入力した設定に基づいて外部から
入力される信号であって、値が"０"のとき、当該符号化
対象フレームが参照フレームとして使用されないことを
示し、値が"１"のとき、当該符号化対象フレームが後に
参照フレームとして使用されることを示している。

【００５５】これに対応して、スイッチ１３０１および
スイッチ１３０２は、参照指示信号AvairableRefの値
が"０"のとき、すなわち、他のフレームに参照されない
符号化対象フレームに対しては、それぞれ端子"１"を接
続し、処理量がより小さい画素補間部Ａ４０３を選択す
る。また、参照指示信号AvairableRefの値が"１"のと
き、すなわち、後に参照フレームとして使用される符号
化対象フレームに対しては、それぞれ端子"２"を接続
し、予測効率は高いけれども処理量はより大きい画素補
間部Ｂ４０４を選択する。また、スイッチ１３０４は、
参照指示信号AvairableRefの値が"０"のときオフにな
り、当該フレームの復号差分画像信号ReconResは、画像
メモリ１０６に格納されない。逆に、参照指示信号Avai
rableRefの値が"１"のとき、スイッチ１３０４はオンに
なり、当該フレームの復号差分画像信号ReconResが画像
メモリ１０６に格納される。可変長符号化部１３０３
は、画像符号化装置１３００の出力である、図７に示し
たストリーム構成を有する符号化信号Bitstream3のフレ
ームごとに、例えば、符号化信号Bitstream3の各フレー
ムヘッダに参照指示信号AvairableRefの値を記録して出
力する。

【００５６】図１１は、図１０に示した画像符号化装置
１３００の出力である符号化信号Bitstream3を復号化す
る画像復号化装置１４００の構成を示すブロック図であ
る。同図において、図１９、図２および図８に示した画
像復号化装置２００、画像復号化装置５００および画像
復号化装置１１００における各構成要素と同じ動作をす
る構成要素および信号については、すでに説明している
ので、同じ参照符号を付し説明を省略する。画像復号化
装置１４００は、前述の参照指示信号AvairableRefを含
んだ符号化信号Bitstream3を復号化する画像復号化装置
であって、画像復号化部２０２、加算器２０３、画像メ
モリ２０４、画素ブロック取得部２０７、スイッチ２０
８、スイッチ２０９、画素補間使用判定部２１２、可変
長復号化部１４０１、スイッチ１４０２、スイッチ１４
０３およびスイッチ１４０４を備える。可変長復号化部
１４０１は、入力された符号化信号Bitstream3を可変長
復号化し、差分画像符号化信号CodedResと動きパラメー
タ信号MotionParamと参照指示信号AvairableRefとに分
離する。分離された参照指示信号AvairableRefは、スイ
ッチ１４０２とスイッチ１４０３とスイッチ１４０４と
に入力される。スイッチ１４０４は、参照指示信号Avai
rableRefの値が"０"のとき、すなわち、当該フレームの
復号画像信号Reconが参照フレームとして使用されない
場合、オフになる。したがって、当該フレームの復号画
像信号Reconは、画像メモリ２０４に格納されない。逆
に、参照指示信号AvairableRefの値が"１"のとき、すな
わち、当該フレームの復号画像信号Reconが参照フレー
ムとなる場合、オンになる。したがって、当該フレーム
の復号画像信号Reconが画像メモリ２０４に格納され
る。また、スイッチ１４０２とスイッチ１４０３とは、
参照指示信号AvairableRefの値が"０"のとき、すなわ
ち、当該フレームの復号画像信号Reconが参照フレーム
として使用されない場合、それぞれ端子"１"を接続し、
画素補間の処理量の少ない画素補間部Ａ５０３を選択す
る。逆に、参照指示信号AvairableRefの値が"１"のと
き、それぞれ端子"２"を接続し、画素補間の処理量は多
くなるが予測効率の高い画素補間部Ｂ５０４を選択す
る。

【００５７】以上のように、本実施の形態の画像符号化
装置１３００および画像復号化装置１４００では、他の
フレームに参照される符号化対象フレームにおいて処理
量の少ない画素補間方法を使用すると、処理量の少ない
画素補間方法の予測精度の低さによる画質の劣化が他の
フレームの画質にも影響することになるが、他のフレー
ムに参照されない符号化対象フレームについてだけ、処
理量の少ない画素補間方法を使用するので、予測精度の
低さによる符号化対象フレームの画質の劣化が他のフレ
ームに影響を与えることなく、画像符号化装置１３００
および画像復号化装置における画素補間のための処理負
荷を軽減することができる。従って、画像符号化装置１
３００および画像復号化装置としては、予測精度の劣化
を最小限に留めつつ、画像符号化処理における処理負荷
を大きく低減することができる。

【００５８】なお、本実施の形態の画像復号化装置１４
００では、スイッチ１４０４を設け、他のフレームに参
照されないフレームの復号画像信号Reconが画像メモリ
２０４に格納されないようにしたが、すでに説明した本
発明の他の画像復号化装置においても、スイッチ１４０
４を備えるようにしてもよい。

【００５９】また、上記実施の形態１および実施の形態
２では、画素補間部Ａ４０３と画素補間部Ｂ４０４とを
スイッチで切り替えて使用すると説明したが、本発明は
これに限定されず、画素補間部Ａ４０３と画素補間部Ｂ
４０４とを、複数の動作モードで動作する１つの画素補
間部に置き換えてもよい。この画素補間部は、例えば、
目的とする予測精度または処理負荷に応じて、複数の演
算方法または複数の演算式に従って演算を行う１つの画
素フィルタであって、外部から与えられるパラメータに
従って１つの動作モード（演算方法または演算式）が決
定されるものとする。 （実施の形態３）さらに、上記各実施の形態で示した画
像符号化方法または画像復号化方法の構成を実現するた
めのプログラムを、フレキシブルディスク等の記録媒体
に記録するようにすることにより、上記各実施の形態で
示した処理を、独立したコンピュータシステムにおいて
簡単に実施することが可能となる。

【００６０】図１２は、上記実施の形態１から実施の形
態３の画像符号化方法または画像復号化方法のプログラ
ムを格納したフレキシブルディスクを用いて、コンピュ
ータシステムにより実施する場合の説明図である。図１
２（ｂ）は、フレキシブルディスクの正面からみた外
観、断面構造、及びフレキシブルディスクを示し、図１
２（ａ）は、記録媒体本体であるフレキシブルディスク
の物理フォーマットの例を示している。フレキシブルデ
ィスクＦＤはケースＦ内に内蔵され、該ディスクの表面
には、同心円状に外周からは内周に向かって複数のトラ
ックＴｒが形成され、各トラックは角度方向に１６のセ
クタＳｅに分割されている。従って、上記プログラムを
格納したフレキシブルディスクでは、上記フレキシブル
ディスクＦＤ上に割り当てられた領域に、上記プログラ
ムとしての画像符号化方法が記録されている。

【００６１】また、図１２（ｃ）は、フレキシブルディ
スクＦＤに上記プログラムの記録再生を行うための構成
を示す。上記プログラムをフレキシブルディスクＦＤに
記録する場合は、コンピュータシステムＣｓから上記プ
ログラムとしての画像符号化方法または画像復号化方法
をフレキシブルディスクドライブＦＤＤを介して書き込
む。また、フレキシブルディスク内のプログラムにより
上記画像符号化方法をコンピュータシステム中に構築す
る場合は、フレキシブルディスクドライブによりプログ
ラムをフレキシブルディスクから読み出し、コンピュー
タシステムに転送する。

【００６２】なお、上記説明では、記録媒体としてフレ
キシブルディスクを用いて説明を行ったが、光ディスク
を用いても同様に行うことができる。また、記録媒体は
これに限らず、ＩＣカード、ＲＯＭカセット等、プログ
ラムを記録できるものであれば同様に実施することがで
きる。

【００６３】図１３から図１６は、上記実施の形態で示
した符号化処理または復号化処理を行う機器、およびこ
の機器を用いたシステムを説明する図である。図１３
は、コンテンツ配信サービスを実現するコンテンツ供給
システムex１００の全体構成を示すブロック図である。
通信サービスの提供エリアを所望の大きさに分割し、各
セル内にそれぞれ固定無線局である基地局ex１０７〜ex
１１０が設置されている。このコンテンツ供給システム
ex１００は、例えば、インターネットex１０１にインタ
ーネットサービスプロバイダex１０２および電話網ex１
０４を介して、コンピュータex１１１、ＰＤＡ（person
al digital assistant）ex１１２、カメラex１１３、携
帯電話ex１１４が接続される。しかし、コンテンツ供給
システムex１００は図１３のような組合せに限定され
ず、いずれかを組み合わせて接続するようにしてもよ
い。また、固定無線局である基地局ex１０７〜ex１１０
を介さずに、電話網ex１０４に直接接続されてもよい。

【００６４】カメラex１１３はデジタルビデオカメラ等
の動画撮影が可能な機器である。また、携帯電話は、Ｐ
ＤＣ（Personal Digital Communications）方式、ＣＤ
ＭＡ（Code Division Multiple Access）方式、Ｗ−Ｃ
ＤＭＡ（Wideband-Code Division Multiple Access）方
式、若しくはＧＳＭ（Global System for Mobile Commu
nications）方式の携帯電話機、またはＰＨＳ（Persona
l Handyphone System）等であり、いずれでも構わな
い。

【００６５】また、ストリーミングサーバex１０３は、
カメラex１１３から基地局ex１０９、電話網ex１０４を
通じて接続されており、カメラex１１３を用いてユーザ
が送信する符号化処理されたデータに基づいたライブ配
信等が可能になる。撮影したデータの符号化処理はカメ
ラex１１３で行っても、データの送信処理をするサーバ
等で行ってもよい。また、カメラ１１６で撮影した動画
データはコンピュータex１１１を介してストリーミング
サーバex１０３に送信されてもよい。カメラex１１６は
デジタルカメラ等の静止画、動画が撮影可能な機器であ
る。この場合、動画データの符号化はカメラex１１６で
行ってもコンピュータex１１１で行ってもどちらでもよ
い。また、符号化処理はコンピュータex１１１やカメラ
ex１１６が有するＬＳＩex１１７において処理すること
になる。なお、画像符号化・復号化用のソフトウェアを
コンピュータex１１１等で読み取り可能な記録媒体であ
る何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブル
ディスク、ハードディスクなど）に組み込んでもよい。
さらに、カメラ付きの携帯電話ex１１５で動画データを
送信してもよい。このときの動画データは携帯電話ex１
１５が有するＬＳＩで符号化処理されたデータである。

【００６６】図１４は、携帯電話ex１１５の一例を示す
図である。携帯電話ex１１５は、基地局ex１１０との間
で電波を送受信するためのアンテナex２０１、ＣＣＤカ
メラ等の映像、静止画を撮ることが可能なカメラ部ex２
０３、カメラ部ex２０３で撮影した映像、アンテナex２
０１で受信した映像等が復号化されたデータを表示する
液晶ディスプレイ等の表示部ex２０２、操作キー群から
構成される本体部ex２０４、音声出力をするためのスピ
ーカ等の音声出力部ex２０８、音声入力をするためのマ
イク等の音声入力部ex２０５、撮影した動画もしくは静
止画のデータ、受信したメールのデータ、動画のデータ
もしくは静止画のデータ等、符号化されたデータまたは
復号化されたデータを保存するための記憶メディアex２
０７、携帯電話ex１１５に記憶メディアex２０７を装着
可能とするためのスロット部ex２０６を有している。記
憶メディアex２０７はＳＤカード等のプラスチックケー
ス内に電気的に書換えや消去が可能な不揮発性メモリで
あるＥＥＰＲＯＭ（Electrically Erasable and Progra
mmable Read Only Memory）の一種であるフラッシュメ
モリ素子を格納したものである。

【００６７】このコンテンツ供給システムex１００で
は、ユーザがカメラex１１３、カメラex１１６等で撮影
しているコンテンツ（例えば、音楽ライブを撮影した映
像等）を上記実施の形態同様に符号化処理してストリー
ミングサーバex１０３に送信する一方で、ストリーミン
グサーバex１０３は要求のあったクライアントに対して
上記コンテンツデータをストリーム配信する。クライア
ントとしては、上記符号化処理されたデータを復号化す
ることが可能な、コンピュータex１１１、ＰＤＡex１１
２、カメラex１１３、携帯電話ex１１４等がある。この
ようにすることでコンテンツ供給システムex１００は、
符号化されたデータをクライアントにおいて受信して再
生することができ、さらにクライアントにおいてリアル
タイムで受信して復号化し、再生することにより、個人
放送をも実現可能になるシステムである。

【００６８】さらに、携帯電話ex１１５について図１５
を用いて説明する。図１５は、携帯電話ex１１５の構成
を示すブロック図である。携帯電話ex１１５は表示部ex
２０２及び本体部ex２０４の各部を統括的に制御するよ
うになされた主制御部ex３１１に対して、電源回路部ex
３１０、操作入力制御部ex３０４、画像符号化部ex３１
２、カメラインターフェース部ex３０３、ＬＣＤ（Liqu
id Crystal Display）制御部ex３０２、画像復号化部ex
３０９、多重分離部ex３０８、記録再生部ex３０７、変
復調回路部ex３０６及び音声処理部ex３０５が同期バス
ex３１３を介して互いに接続されている。電源回路部ex
３１０は、ユーザの操作により終話及び電源キーがオン
状態にされると、バッテリパックから各部に対して電力
を供給することによりカメラ付ディジタル携帯電話ex１
１５を動作可能な状態に起動する。携帯電話ex１１５
は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１
１の制御に基づいて、音声通話モード時に音声入力部ex
２０５で集音した音声信号を音声処理部ex３０５によっ
てディジタル音声データに変換し、これを変復調回路部
ex３０６でスペクトラム拡散処理し、送受信回路部ex３
０１でディジタルアナログ変換処理及び周波数変換処理
を施した後にアンテナex２０１を介して送信する。また
携帯電話機ex１１５は、音声通話モード時にアンテナex
２０１で受信した受信信号を増幅して周波数変換処理及
びアナログディジタル変換処理を施し、変復調回路部ex
３０６でスペクトラム逆拡散処理し、音声処理部ex３０
５によってアナログ音声信号に変換した後、これを音声
出力部２０８を介して出力する。さらに、データ通信モ
ード時に電子メールを送信する場合、本体部ex２０４の
操作キーの操作によって入力された電子メールのテキス
トデータは操作入力制御部ex３０４を介して主制御部ex
３１１に送出される。主制御部ex３１１は、テキストデ
ータを変復調回路部ex３０６でスペクトラム拡散処理
し、送受信回路部ex３０１でディジタルアナログ変換処
理及び周波数変換処理を施した後にアンテナex２０１を
介して基地局ex１１０へ送信する。

【００６９】データ通信モード時に画像データを送信す
る場合、カメラ部ex２０３で撮像された画像データをカ
メラインターフェース部ex３０３を介して画像符号化部
ex３１２に供給する。また、画像データを送信しない場
合には、カメラ部ex２０３で撮像した画像データをカメ
ラインターフェース部ex３０３及びＬＣＤ制御部ex３０
２を介して表示部ex２０２に直接表示することも可能で
ある。

【００７０】画像符号化部ex３１２は、カメラ部ex２０
３から供給された画像データを上記実施の形態で示した
符号化方法によって圧縮符号化することにより符号化画
像データに変換し、これを多重分離部ex３０８に送出す
る。また、このとき同時に携帯電話機ex１１５は、カメ
ラ部ex２０３で撮像中に音声入力部ex２０５で集音した
音声を音声処理部ex３０５を介してディジタルの音声デ
ータとして多重分離部ex３０８に送出する。

【００７１】多重分離部ex３０８は、画像符号化部ex３
１２から供給された符号化画像データと音声処理部ex３
０５から供給された音声データとを所定の方式で多重化
し、その結果得られる多重化データを変復調回路部ex３
０６でスペクトラム拡散処理し、送受信回路部ex３０１
でディジタルアナログ変換処理及び周波数変換処理を施
した後にアンテナex２０１を介して送信する。

【００７２】データ通信モード時にホームページ等にリ
ンクされた動画像ファイルのデータを受信する場合、ア
ンテナex２０１を介して基地局ex１１０から受信した受
信信号を変復調回路部ex３０６でスペクトラム逆拡散処
理し、その結果得られる多重化データを多重分離部ex３
０８に送出する。

【００７３】また、アンテナex２０１を介して受信され
た多重化データを復号化するには、多重分離部ex３０８
は、多重化データを分離することにより符号化画像デー
タと音声データとに分け、同期バスex３１３を介して当
該符号化画像データを画像復号化部ex３０９に供給する
と共に当該音声データを音声処理部ex３０５に供給す
る。

【００７４】次に、画像復号化部ex３０９は、符号化画
像データを上記実施の形態で示した符号化方法に対応し
た復号化方法で復号することにより再生動画像データを
生成し、これをＬＣＤ制御部ex３０２を介して表示部ex
２０２に供給し、これにより、例えばホームページにリ
ンクされた動画像ファイルに含まれる動画データが表示
される。このとき同時に音声処理部ex３０５は、音声デ
ータをアナログ音声信号に変換した後、これを音声出力
部ex２０８に供給し、これにより、例えばホームページ
にリンクされた動画像ファイルに含まる音声データが再
生される。なお、上記システムの例に限られず、最近は
衛星、地上波によるディジタル放送が話題となってお
り、図１６に示すようにディジタル放送用システムにも
上記実施の形態の少なくとも符号化方法または復号化方
法いずれかを組み込むことができる。具体的には、放送
局ex４０９では映像情報の符号化ビットストリームが電
波を介して通信または放送衛星ex４１０に伝送される。
これを受けた放送衛星ex４１０は、放送用の電波を発信
し、この電波を衛星放送受信設備をもつ家庭のアンテナ
ex４０６で受信し、テレビ受信機ex４０１またはセット
トップボックスex４０７などの装置により符号化ビット
ストリームを復号化してこれを再生する。また、記録媒
体である蓄積メディアex４０２に記録した符号化ビット
ストリームを読み取り、復号化する再生装置ex４０３に
も上記実施の形態で示した復号化方法を実装することが
可能である。この場合、再生された映像信号はモニタex
４０４に表示される。また、ケーブルテレビ用のケーブ
ルex４０５または衛星／地上波放送のアンテナex４０６
に接続されたセットトップボックスex４０７内に復号化
装置を実装し、これをテレビモニタex４０８で再生する
構成も考えられる。このときセットトップボックスでは
なく、テレビ内に符号化装置を組み込んでも良い。ま
た、アンテナex４１１を有する車ex４１２で衛星ex４１
０からまたは基地局ex１０７等から信号を受信し、車ex
４１２が有するカーナビゲーションex４１３等の表示装
置に動画を再生することも可能である。

【００７５】なお、カーナビゲーションex４１３の構成
は例えば図１５に示す構成のうち、カメラ部ex２０３と
カメラインターフェース部ex３０３を除いた構成が考え
られ、同様なことがコンピュータex１１１やテレビ受信
機ex４０１等でも考えられる。また、上記携帯電話ex１
１４等の端末は、符号化器・復号化器を両方持つ送受信
型の端末の他に、符号化器のみの送信端末、復号化器の
みの受信端末の３通りの実装形式が考えられる。

【００７６】このように、本明細書に示した符号化方
法、復号化方法を実装することにより本実施の形態で示
したいずれの装置・システムに関しても実現可能にな
る。

【００７７】以上のように、本発明に係る画像符号化装
置および画像復号化装置は、画像を伝送する携帯電話機
に備えられる画像符号化装置および画像復号化装置とし
て、また、カーナビゲーションシステムに備えられる画
像符号化装置および画像復号化装置として有用である。
また、本発明の画像符号化方法および画像復号化方法を
実行するプログラムおよびそれを記録した記録媒体とし
て有用である。さらに、本発明の画像符号化装置によっ
て生成される符号化信号を記録した記録媒体として有用
である。

【００７８】

【発明の効果】上記目的を達成するために本発明の画像
符号化方法は、予測画像の生成に画素補間を伴う画像符
号化方法であって、複数の画素補間方法から１つの画素
補間方法を選択する選択ステップと、選択された画素補
間方法を用いて対象画素位置の画素値を生成する画素値
生成ステップとを含むことを特徴とする。従って、本発
明の画像符号化装置によれば、複数の画素補間方法から
１つの画素補間方法を選択することにより、画像符号化
装置の処理能力や符号化信号を受信する画像復号化装置
の処理能力に応じた符号化信号を作成することが可能に
なる。

【００７９】また、上記目的を達成するために本発明の
画像復号化方法は、復号化済み画像に対して画素補間を
行い予測画像を生成する画像復号化方法であって、入力
される符号化信号を復号化して得られる復号化画像が、
前記符号化信号を復号化して得られる他の復号化画像に
参照されない画像である場合、複数の画素補間方法の中
から処理負荷の軽い画素補間方法を選択する選択ステッ
プと、選択された画素補間方法を使用して、前記予測画
像を生成する予測画像生成ステップとを含むことを特徴
とする。

【００８０】従って、本発明の画像復号化装置によれ
ば、他の画像に参照されない画像につき、処理負荷の軽
い画素補間方法を選択するので、当該画像を用いて生成
される予測画像につき処理負荷の軽い画素補間方法を用
いて画素値を生成したことによる画質の劣化が他の画像
に影響することなく、全体として、画像復号化処理にお
ける処理負荷を軽減することができる。

【００８１】更に、上記目的を達成するために本発明の
画像符号化方法および画像復号化方法は、予測画像に対
して画素補間を行う画像復号化方法であって、予測で参
照する画像数が複数である場合、複数の画素補間方法の
中から処理負荷の軽い画素補間方法を選択する選択ステ
ップと、選択された画素補間方法を使用して、前記予測
画像の画素値を生成する画素値生成ステップとを含むこ
とを特徴とする。

【００８２】従って、本発明の画像符号化装置および画
像復号化装置によれば、予測で参照する画像数が複数で
あり特に処理負荷の重い予測を行う場合に、処理負荷の
軽い画素補間方法を選択するので、当該画像の画像符号
化および画像復号化の負荷処理が軽減でき、全体とし
て、画像符号化および画像復号化処理における処理負荷
を平坦化することができる。

【図面の簡単な説明】

【図１】本発明の画像符号化装置の構成を示すブロック
図である。

【図２】本発明の画像復号化装置の構成を示すブロック
図である。

【図３】図３(ａ)は、１／２画素フィルタにおいて、既
存の画素からｉ軸方向に１／２画素ずれた位置にある画
素の画素値を計算する方法の一例を示す図である。図３
(ｂ)は、１／２画素フィルタにおいて、既存の画素から
ｊ軸方向に１／２画素ずれた位置にある画素の画素値を
計算する方法の一例を示す図である。

【図４】図４（ａ）は、動画像を表す各フレームのピク
チャ種別と画素補間の方法との関係を示す図である。図
４（ｂ）は、本発明の画像符号化装置および画像復号化
装置における補間方法選択の手順を示すフローチャート
である。

【図５】フレーム単位で画素補間方法を切り替える画像
符号化装置の構成を示すブロック図である。

【図６】画像符号化装置における補間方法選択の手順を
示すフローチャートである。

【図７】図７（ａ）は、本発明の符号化信号Bitstream
のストリーム構成を示す図である。図７（ｂ）は、フレ
ームを単位として画素補間の方法を切り替える場合の符
号化信号Bitstreamのストリーム構成を示す図である。

【図８】本実施の形態の他の画像復号化装置の構成を示
すブロック図である。

【図９】図８に示した画素補間種別変換部に保持されて
いる補間種別表の一例を示す図である。

【図１０】本発明の実施の形態２に係る画像符号化装置
の構成を示すブロック図である。

【図１１】図１０に示した画像符号化装置の出力である
符号化信号Bitstream3を復号化する画像復号化装置の構
成を示すブロック図である。

【図１２】図１２（ａ）は、記録媒体本体であるフレキ
シブルディスクの物理フォーマットの例を示す図であ
る。図１２（ｂ）は、フレキシブルディスクの正面から
みた外観、断面構造、及びフレキシブルディスクを示す
図である。図１２（ｃ）は、フレキシブルディスクＦＤ
に上記プログラムの記録再生を行うための構成を示す図
である。

【図１３】コンテンツ配信サービスを実現するコンテン
ツ供給システムの全体構成を示すブロック図である。

【図１４】携帯電話の外観の一例を示す図である。

【図１５】携帯電話の構成を示すブロック図である。

【図１６】上記実施の形態で示した符号化処理または復
号化処理を行う機器、およびこの機器を用いたシステム
を説明する図である。

【図１７】動画像における動き補償の概念を示す図であ
る。

【図１８】従来の画像符号化装置の構成を示すブロック
図である。

【図１９】従来の画像復号化装置の構成を示すブロック
図である。

【符号の説明】

１０１ 差分器 １０２ 画像符号化部 １０３ 可変長符号化部 １０４ 画像復号化部 １０５ 加算器 １０６ 画像メモリ １０７ 画素ブロック取得部 １０８ スイッチ １０９ スイッチ １１１ 動き推定部 １１２ 画素補間使用判定部 ４０３ 画素補間部Ａ ４０４ 画素補間部Ｂ Img 画像信号 Res 差分画像信号 CodedRes 差分画像符号化信号 Bitstream 符号化信号 ReconRes 復号差分画像信号 Recon 復号画像信号 Ref 参照画像信号 Blk 画素ブロック UsePolator 画素補間使用制御信号 Pred 予測画像信号 MotionParam 動きパラメータ信号 PicType ピクチャ種別信号

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK01 KK49 MA00 MA05 MA14 MA23 MC11 MC38 ME01 NN14 NN21 RC12 SS10 TA09 TB04 TB06 TC27 UA02 UA05 UA33 5J064 AA00 BA04 BB04 BC01 BC02 BC08 BC11 BC25 BC29 BD02 BD04

Claims (30)

【特許請求の範囲】
1. 【請求項１】 予測画像の生成に画素補間を伴う画像符
   号化方法であって、 複数の画素補間方法から１つの画素補間方法を選択する
   選択ステップと、 選択された画素補間方法を用いて対象画素位置の画素値
   を生成する画素値生成ステップとを含むことを特徴とす
   る画像符号化方法。
2. 【請求項２】 復号化済み画像に対して画素補間を行
   い、予測画像を生成する画像符号化方法であって、 入力される符号化信号を復号化する復号化ステップと、 前記復号化ステップで復号化された復号化済み画像を保
   持する保持ステップと、 前記復号化済み画像が他の画像に参照されない画像であ
   る場合、複数の画素補間方法の中から処理負荷の軽い画
   素補間方法を選択する選択ステップと、 選択された画素補間方法を使用して、前記予測画像を生
   成する予測画像生成ステップとを含むことを特徴とする
   画像符号化方法。
3. 【請求項３】 復号化済み画像に対して画素補間を行い
   予測画像を生成する画像符号化方法であって、 入力される符号化信号を復号化する復号化ステップと、 前記復号化ステップで復号化された復号化済み画像を保
   持する保持ステップと、 前記復号化済み画像が、複数の画像を参照するＢピクチ
   ャである場合、複数の画素補間方法の中から処理負荷の
   軽い画素補間方法を選択する選択ステップと、 選択された画素補間方法を使用して、前記予測画像を生
   成する予測画像生成ステップとを含むことを特徴とする
   画像符号化方法。
4. 【請求項４】 復号化済み画像に対して画素補間を行い
   予測画像を生成する画像符号化方法であって、 入力される符号化信号を復号化する復号化ステップと、 前記復号化ステップで復号化された復号化済み画像を保
   持する保持ステップと、 前記復号化済み画像が、複数の画像を参照するＢピクチ
   ャである場合、１枚の画像を参照するＰピクチャである
   場合と比べて、複数の画素補間方法の中から処理負荷の
   軽い画素補間方法を選択する選択ステップと、 選択された画素補間方法を使用して、前記予測画像を生
   成する予測画像生成ステップとを含むことを特徴とする
   画像符号化方法。
5. 【請求項５】 前記複数の画素補間方法は、前記対象画
   素位置の画素値を、その両側に位置する既存の画素にお
   ける画素値の平均として計算する画素補間方法であっ
   て、前記平均を取る画素値の数が異なることを特徴とす
   る請求項２記載の画像符号化方法。
6. 【請求項６】 前記複数の画素補間方法は、前記予測画
   像の精度が異なることを特徴とする請求項１記載の画像
   符号化方法。
7. 【請求項７】 前記選択ステップでは、入力される画像
   のフレームごとに、１つの画素補間方法を選択すること
   を特徴とする請求項１記載の画像符号化方法。
8. 【請求項８】 前記選択ステップでは、入力される画像
   のスライスごとに、１つの画素補間方法を選択すること
   を特徴とする請求項１記載の画像符号化方法。
9. 【請求項９】 前記画像符号化方法は、さらに、 前記予測画像の画素値生成に使用された前記画素補間方
   法を特定する情報が含まれた符号化信号を生成する符号
   化信号生成ステップを含むことを特徴とする請求項１記
   載の画像符号化方法。
10. 【請求項１０】 前記符号化信号生成ステップでは、前
    記符号化信号のフレームごとに設けられるフレームヘッ
    ダに、前記画素補間方法を特定する情報を書き込むこと
    を特徴とする請求項９記載の画像符号化方法。
11. 【請求項１１】 前記符号化信号生成ステップでは、前
    記符号化信号のスライスごとに設けられるスライスヘッ
    ダに、前記画素補間方法を特定する情報を書き込むこと
    を特徴とする請求項９記載の画像符号化方法。
12. 【請求項１２】 復号化済み画像に対して画素補間を行
    い予測画像を生成する画像復号化方法であって、 入力される符号化信号を復号化して得られる復号化画像
    が、前記符号化信号を復号化して得られる他の復号化画
    像に参照されない画像である場合、複数の画素補間方法
    の中から処理負荷の軽い画素補間方法を選択する選択ス
    テップと、 選択された画素補間方法を使用して、前記予測画像を生
    成する予測画像生成ステップとを含むことを特徴とする
    画像復号化方法。
13. 【請求項１３】 復号化済み画像に対して画素補間を行
    い予測画像を生成する画像復号化方法であって、 入力される符号化信号を復号化して得られる復号化済み
    画像が、複数の画像を参照するＢピクチャである場合、
    複数の画素補間方法の中から処理負荷の軽い画素補間方
    法を選択する選択ステップと、 選択された画素補間方法を使用して、前記予測画像を生
    成する予測画像生成ステップとを含むことを特徴とする
    画像復号化方法。
14. 【請求項１４】 復号化済み画像に対して画素補間を行
    い予測画像を生成する画像復号化方法であって、 入力される符号化信号を復号化して得られる復号化済み
    画像が、複数の画像を参照するＢピクチャである場合、
    １枚の画像を参照するＰピクチャである場合と比べて、
    複数の画素補間方法の中から処理負荷の軽い画素補間方
    法を選択する選択ステップと、 選択された画素補間方法を使用して、前記予測画像を生
    成する予測画像生成ステップとを含むことを特徴とする
    画像復号化方法。
15. 【請求項１５】 予測画像となる復号化画像に対して画
    素補間を行う画像復号化方法であって、 入力された符号化信号から前記画素補間方法を特定する
    情報を抽出する抽出ステップと、 入力される符号化信号の一部を復号化して得られる復号
    化画像を生成する復号化画像生成ステップと、 抽出された前記画素補間方法を特定する情報によって特
    定された画素補間方法を使用して、前記復号化画像に対
    して画素補間を行い、前記予測画像の画素値を生成する
    画素値生成ステップとを含むことを特徴とする画像復号
    化方法。
16. 【請求項１６】 前記抽出ステップでは、前記符号化信
    号のフレームごとに設けられるフレームヘッダから、前
    記画素補間方法を特定する情報を抽出することを特徴と
    する請求項１５記載の画像符号化方法。
17. 【請求項１７】 前記抽出ステップでは、前記符号化信
    号のスライスごとに設けられるスライスヘッダから、前
    記画素補間方法を特定する情報を抽出することを特徴と
    する請求項１５記載の画像符号化方法。
18. 【請求項１８】 前記画像復号化方法は、さらに、 前記特定された画素補間方法を保持しているか否かを判
    定する判定ステップを含み、 前記画素値生成ステップでは、前記判定の結果、保持し
    ていないと判定された場合には、保持している前記画素
    補間方法を代用して前記画素値を生成することを特徴と
    する請求項１５記載の画像復号化方法。
19. 【請求項１９】 前記画素値生成ステップでは、前記判
    定の結果、保持していないと判定された場合には、保持
    している前記画素補間方法のうち、特定された画素補間
    方法に近似した特性を有する画素補間方法で代用するこ
    とを特徴とする請求項１８記載の画像復号化方法。
20. 【請求項２０】 前記画素値生成ステップでは、前記判
    定の結果、保持していないと判定された場合には、特定
    された画素補間方法と処理負荷が同程度の画素補間方法
    で代用することを特徴とする請求項１９記載の画像復号
    化方法。
21. 【請求項２１】 前記画素値生成ステップでは、前記判
    定の結果、保持していないと判定された場合には、特定
    された画素補間方法と前記予測画像の精度が同程度の画
    素補間方法で代用することを特徴とする請求項１９記載
    の画像復号化方法。
22. 【請求項２２】 前記複数の画素補間方法は、前記対象
    画素位置の画素値を、その両側に位置する既存の画素に
    おける画素値の平均として計算する画素補間方法であっ
    て、平均を取る画素値の数が異なり、 前記画素値生成ステップでは、前記特定された画素補間
    方法において平均を取る画素値の数に最も近い数の画素
    値の平均を取る画素補間方法で代用することを特徴とす
    る請求項２０記載の画像復号化方法。
23. 【請求項２３】 画素補間を用いて予測画像を生成し、
    動画像の予測符号化を行う画像符号化装置であって、 他の画像に参照される参照画像を格納する記憶手段と、 前記参照画像を前記記憶手段から読み出して、動きの分
    だけ前記参照画像を移動した対象画素位置が参照画像の
    画素と画素との間に位置する場合に、当該対象画素位置
    に対して画素補間を行う選択可能な複数の画素補間手段
    と、 選択された画素補間手段を使用して画素補間を行い前記
    予測画像を生成する予測画像生成手段と、 を備えることを特徴とする画像符号化装置。
24. 【請求項２４】 前記画像符号化装置は、さらに、 選択された前記画素補間手段を特定する情報を含んだ符
    号化信号を生成する可変長符号化手段を備えることを特
    徴とする請求項２３記載の画像符号化装置。
25. 【請求項２５】 予測画像となる復号化画像に対して画
    素補間を行う画像復号化装置であって、 入力された符号化信号から、画素補間の種別を特定する
    信号と予測画像との差分である符号化画像信号を抽出す
    る可変長復号化手段と、 抽出された前記符号化画像信号を復号化する画像復号化
    手段と、 差分である前記符号化画像信号の復号化結果と前記予測
    画像とを加算して、復号化画像を生成する加算手段と、 前記予測画像の対象画素位置の画素値生成のため前記復
    号化画像に対して画素補間を行い、前記予測画像として
    出力する複数の画素補間手段と、 抽出された前記画素補間の種別を特定する信号に応じ
    て、前記画素補間手段の１つを選択するスイッチとを備
    え、 前記加算手段は、前記選択された画素補間手段によって
    前記対象画素位置に画素値が生成された予測画像と、前
    記画像復号化手段による復号化結果とを加算して、復号
    化画像を生成することを特徴とする画像復号化装置。
26. 【請求項２６】 予測画像の生成に画素補間を伴う画像
    符号化方法をコンピュータに実行させるためのプログラ
    ムであって、 外部からの指示により、複数の画素補間方法から１つの
    画素補間方法を選択する選択ステップと、 選択された画素補間方法を用いて対象画素位置の画素値
    を生成する画素値生成ステップとをコンピュータに実行
    させることを特徴とするプログラム。
27. 【請求項２７】 予測画像となる復号化画像に対して画
    素補間を行う画像復号化方法をコンピュータに実行させ
    るプログラムであって、 入力される符号化信号の一部を復号化して得られる復号
    化画像が、前記符号化信号の他の部分を復号化して得ら
    れる復号化画像に参照されない画像である場合、複数の
    画素補間方法の中から処理負荷の軽い画素補間方法を選
    択する選択ステップと、 選択された画素補間方法を使用して、前記予測画像の画
    素値を生成する画素値生成ステップとをコンピュータに
    実行させることを特徴とするプログラム。
28. 【請求項２８】 予測画像の生成に画素補間を伴う画像
    符号化方法によって生成された符号化データが記録され
    た記録媒体であって、 外部からの指示により、複数の画素補間方法から１つの
    画素補間方法が選択され、 選択された画素補間方法を用いて対象画素位置の画素値
    が生成され、 前記予測画像の画素値生成に使用された前記画素補間方
    法を特定する情報が含まれた符号化データが記録されて
    いることを特徴とする記録媒体。
29. 【請求項２９】 前記記録媒体は、 前記符号化信号のフレームごとに設けられるフレームヘ
    ッダに、前記画素補間方法を特定する情報が書き込まれ
    ていることを特徴とする請求項２８記載の記録媒体。
30. 【請求項３０】 前記記録媒体は、 前記符号化信号のスライスごとに設けられるスライスヘ
    ッダに、前記画素補間方法を特定する情報が書き込まれ
    ていることを特徴とする請求項２８記載の記録媒体。