JP2005341545A - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム - Google Patents
動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム Download PDFInfo
- Publication number
- JP2005341545A JP2005341545A JP2005119668A JP2005119668A JP2005341545A JP 2005341545 A JP2005341545 A JP 2005341545A JP 2005119668 A JP2005119668 A JP 2005119668A JP 2005119668 A JP2005119668 A JP 2005119668A JP 2005341545 A JP2005341545 A JP 2005341545A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image quality
- encoding
- coefficient
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】 本発明では、低ビットレートで高画質な符号化を実現するための符号化装置及び復号装置を提供することを課題とする。
【解決手段】 符号化モード決定部120は、動きベクトル検出部111と予測画像生成部110と、画質劣化予測部201を備えている。画質劣化予測部201は、動きベクトル検出部111により得られる第2の動き関連情報203に従って、画質劣化予測情報202を生成する。生成した画質劣化予測情報202を用いることにより、符号化モードの選択や量子化制御を行う。
【選択図】 図1
【解決手段】 符号化モード決定部120は、動きベクトル検出部111と予測画像生成部110と、画質劣化予測部201を備えている。画質劣化予測部201は、動きベクトル検出部111により得られる第2の動き関連情報203に従って、画質劣化予測情報202を生成する。生成した画質劣化予測情報202を用いることにより、符号化モードの選択や量子化制御を行う。
【選択図】 図1
Description
本発明は、動画像の符号化及び復号に関するもので、特に動画像符号化方法および動画像復号方法に関するものである。
テレビ、パーソナルコンピュータ(PC)、携帯電話、あるいはその他の画像信号を表示する装置において、画像信号を低ビットレートで符号化し伝送することを目的として利用されている技術として、動き補償符号化という技術が知られている。
動き補償符号化とは、画像フレームを構成する画像ブロックの動きベクトルを用いて行われる符号化である。例えば、動画像信号圧縮の国際規格であるMPEG(Moving Picture Experts Group)では、符号化に際して、画面内符号化と画面間符号化の2つの符号化方法が用いられる。
動き補償符号化とは、画像フレームを構成する画像ブロックの動きベクトルを用いて行われる符号化である。例えば、動画像信号圧縮の国際規格であるMPEG(Moving Picture Experts Group)では、符号化に際して、画面内符号化と画面間符号化の2つの符号化方法が用いられる。
画面内符号化は、画像フレームをそのフレーム内の情報だけで符号化する方法であり、この方法で符号化される符号化モードを画面内予測符号化モードと呼んでいる。画面間符号化とは、画像フレームを他のフレームの情報を用いて符号化する方法であり、この方法で符号化される符号化モードを画面間予測符号化モードと呼んでいる。
さらに、画面内予測符号化モード、画面間予測符号化モードにおいても、その生成方法によって、多くの種類がある。従って、画像信号を効率的に圧縮するためには、符号化モードを選択する技術が極めて重要な技術となる。
さらに、画面内予測符号化モード、画面間予測符号化モードにおいても、その生成方法によって、多くの種類がある。従って、画像信号を効率的に圧縮するためには、符号化モードを選択する技術が極めて重要な技術となる。
従来においては、画像信号を効率的に圧縮するため、符号化により発生する符号量と符号化して復号した場合の入力画像との違いを測定して、もしくは予測して、符号化モードを選択する。入力画像との違いを表すものとしては、例えば予測誤差信号の絶対差分和や、分散が用いられる。例として、符号化により発生する符号量に応じてモード選択をする方法(特許文献1を参照)や、予測誤差と動きベクトルの符号量を含めた符号化により発生する符号量とにより、予測誤差信号が所定の閾値より小さいモードのうち、最も発生符号量が小さいモードを選択する方法(特許文献2を参照)や、予測誤差信号と矩形小領域単位での発生符号量に応じて最適となるモード選択をする方法(特許文献3を参照)などが知られている。
また、目標とするビットレートに合わせるために、MPEGにおいて、量子化精度を符号化の単位である矩形領域毎に変えることが知られており、さらに、発生符号量を調べて、符号化する情報の交流成分を削除する方法(特許文献4を参照)が知られている。
さらに、低ビットレートを実現するために、MPEGにおいて、量子化時に直交変換係数に重み付けを行うことが知られており、さらに、直交変換係数の重み付けを途中で打ち切ることで、さらなる符号量の削減を行う方法(特許文献5を参照)が知られている。
さらに、低ビットレートを実現するために、MPEGにおいて、量子化時に直交変換係数に重み付けを行うことが知られており、さらに、直交変換係数の重み付けを途中で打ち切ることで、さらなる符号量の削減を行う方法(特許文献5を参照)が知られている。
ここで、従来の符号化装置および復号装置の構成について、図20および図21を用いて説明する。
図20は、符号化装置600の構成について説明するブロック図である。
符号化装置600は、入力画像信号601を符号化し、符号化ストリーム606を出力する。
図20は、符号化装置600の構成について説明するブロック図である。
符号化装置600は、入力画像信号601を符号化し、符号化ストリーム606を出力する。
予測画像生成部610は、入力画像信号601の予測画像を生成し、予測画像信号613と、予測画像の生成に用いた符号化モード関連情報614を出力する。動きベクトル検出部611は、予測画像を生成するために、動き検出用画像信号612aを入力し、画像信号内の動きを検出し、動き関連情報612bを出力する。直交変換部603は、入力画像信号601と予測画像信号613を演算部602により減算した差分信号を入力し、係数情報を出力する。量子化部604は、係数情報と、量子化制御部616から出力される量子化制御信号617を入力し、係数情報を量子化した情報を出力する。量子化制御部616は、符号量情報619を入力し、量子化制御信号617を出力する。可変長符号化部605は、量子化部604により量子化された情報と、符号化モード関連情報614を入力し、符号化ストリーム606を出力する。逆量子化部607は、量子化部604により量子化された情報と量子化制御信号617とを入力し、逆量子化した係数情報を出力する。逆直交変換部608は、逆量子化部607から出力される係数情報を入力し、逆直交変換した差分情報を出力する。演算部609は、逆直交変換部608から出力される差分情報と、予測画像信号613を入力し、復号画像信号615を出力する。符号量カウンタ618は、符号化ストリーム606を入力し、符号量情報619を出力する。
図21は、復号装置700の構成について説明するブロック図である。
可変長復号部702は、符号化ストリーム701を入力し、復号係数情報703、復号量子化制御情報704、動き関連情報705を出力する。逆量子化部706は、復号係数情報703と、量子化制御情報709を入力し、係数情報711を出力する。量子化制御部707は、復号量子化制御情報704を入力し、量子化制御情報709を出力する。逆直交変換部712は、係数情報711を入力し、差分画像信号713を出力する。演算部714は、差分画像信号713と、動き補償画像信号716を入力し、復号画像信号719を出力する。動き補償部715は、動き関連情報705と、特定復号画像信号717を入力し、動き補償画像信号716と、画像領域指定情報720を出力する。画像メモリ718は、復号画像信号719と、画像領域指定情報720を入力し、特定復号画像信号717を出力する。
特開平2−29180号公報
特開平9−322176号公報(第15図)
特開2003−153280号公報
特開平11−234677号公報
特許第3234807号
可変長復号部702は、符号化ストリーム701を入力し、復号係数情報703、復号量子化制御情報704、動き関連情報705を出力する。逆量子化部706は、復号係数情報703と、量子化制御情報709を入力し、係数情報711を出力する。量子化制御部707は、復号量子化制御情報704を入力し、量子化制御情報709を出力する。逆直交変換部712は、係数情報711を入力し、差分画像信号713を出力する。演算部714は、差分画像信号713と、動き補償画像信号716を入力し、復号画像信号719を出力する。動き補償部715は、動き関連情報705と、特定復号画像信号717を入力し、動き補償画像信号716と、画像領域指定情報720を出力する。画像メモリ718は、復号画像信号719と、画像領域指定情報720を入力し、特定復号画像信号717を出力する。
従来用いられる予測誤差信号のような入力画像と復号画像の違いの大きさは、復号画像を主観的に見た主観画質を正確に反映しているとはいえない、ことが出願人の調査により判明した。これは、主には、人間は画像を見て、画質を判断する際に、入力画像との違いで判断していないためである。このため、入力画像と復号画像の違いのみを判断基準として符号化を行うことは、客観画質の向上に有効であるが、特に低ビットレートでの動画像符号化における主観画質の劣化の一因となっている。
また、発生符号量のみを判断基準とすることについても同様であり、特に低ビットレートでの動画像符号化において、主観画質の劣化の一因となっている。
そこで、本発明では、主観画質の劣化を防ぎつつ、符号量の削減を行うことを課題とする。
そこで、本発明では、主観画質の劣化を防ぎつつ、符号量の削減を行うことを課題とする。
この課題を解決するために、下記の手段を用いる。
第1の発明は、動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し、入力画像を符号化する動画像符号化方法において、画質劣化予測工程と、符号量配分工程とを備えることを特徴とする動画像符号化方法である。画質劣化予測工程は、フレーム間の動き情報から、符号化画像の画質劣化度合を判断する。符号量配分工程は、画質劣化度合から、符号化により発生する符号量の配分方法を変える。
第1の発明は、動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し、入力画像を符号化する動画像符号化方法において、画質劣化予測工程と、符号量配分工程とを備えることを特徴とする動画像符号化方法である。画質劣化予測工程は、フレーム間の動き情報から、符号化画像の画質劣化度合を判断する。符号量配分工程は、画質劣化度合から、符号化により発生する符号量の配分方法を変える。
第2の発明は、予測画像を生成し入力画像を符号化する、動画像符号化方法において、減算工程と、直交変換工程と、係数変調工程と、変調モード選択工程と、量子化工程と、可変長符号化工程とを備えることを特徴とする。減算工程は、入力画像から、予測画像を減算し、差分画像を出力する。直交変換工程は、差分画像を直交変換し、変換係数を出力する。係数変調工程は、変換係数を係数変調し、変調係数を出力する。変調モード選択工程は、係数変調の度合を表す複数の変調モード候補を切り換える。量子化工程は、変調係数を量子化し、量子化情報を出力する。可変長符号化工程は、量子化情報を可変長符号化し、符号化ストリームを出力する。また、係数変調工程は、変換係数の高周波成分を表す係数の値を小さくする係数変調を、係数変調の度合に応じて異なる変調モードによって行う。変調モードは、変調モード候補毎の発生符号量と、変調モード候補毎の入力画像差異量とから決められる。
第3の発明は、符号化された動画像符号化ストリームを復号する、動画像復号方法において、可変長復号工程と、逆量子化工程と、逆直交変換工程と、画質劣化予測工程と、画質改善工程とを備えることを特徴とする。可変長復号工程は、動画像符号化ストリームを可変長復号し、量子化情報と動き情報とを出力する。逆量子化工程は、量子化情報を逆量子化し、変換係数を出力する。逆直交変換工程は、変換係数を逆直交変換する。画質劣化予測工程は、動き情報から、符号化画像の画質劣化度合を判断する。画質改善工程は、画質劣化度合が高い場合には、画質改善を行う。
本発明により、低ビットレートで高画質な符号化ストリームの生成が可能となり、さらに低ビットレートで高画質な復号画像の生成が可能となり、その実用的価値が高い。特に、入力信号との違いではない画質劣化度合の判断を行うため、主観画質の劣化の抑制効果が高い。
以下、本発明の実施の形態について、図1〜図19を用いて説明する。
(実施の形態1)
図1〜図12を用いて本発明の第1実施形態としての動画像符号化装置(以下、符号化装置という。)について説明する。
[構成]
図1は、符号化装置100の構成について説明するブロック図である。
(実施の形態1)
図1〜図12を用いて本発明の第1実施形態としての動画像符号化装置(以下、符号化装置という。)について説明する。
[構成]
図1は、符号化装置100の構成について説明するブロック図である。
符号化装置100は、入力画像信号101を符号化し、符号化ストリーム106を出力する。
予測画像生成部110は、入力画像信号101の予測画像を生成し、予測画像信号113と、予測画像の生成に用いた符号化モード関連情報114を出力する。ここで、符号化モード関連情報114とは、例えば、入力画像信号101の符号化に用いられる符号化モード(画面内予測/画面間予測などの予測画像生成方法を示す情報など)や、予測画像の生成に用いられる動きベクトルを示す情報などである。
予測画像生成部110は、入力画像信号101の予測画像を生成し、予測画像信号113と、予測画像の生成に用いた符号化モード関連情報114を出力する。ここで、符号化モード関連情報114とは、例えば、入力画像信号101の符号化に用いられる符号化モード(画面内予測/画面間予測などの予測画像生成方法を示す情報など)や、予測画像の生成に用いられる動きベクトルを示す情報などである。
動きベクトル検出部111は、予測画像を生成するために、動き検出用画像信号112aを入力し、画像信号内の動きを検出し、第1の動き関連情報112bと、第2の動き関連情報203を出力する。
画質劣化予測部201は、第2の動き関連情報203を入力し、画質劣化の発生度合を予測し、画質劣化予測情報202を出力する。画質劣化予測情報202については、後述する。
画質劣化予測部201は、第2の動き関連情報203を入力し、画質劣化の発生度合を予測し、画質劣化予測情報202を出力する。画質劣化予測情報202については、後述する。
予測画像生成部110と動きベクトル検出部111と画質劣化予測部201とは、符号化モード決定部120を構成している。
直交変換部103は、入力画像信号101と予測画像信号113を演算部102により減算した差分信号を入力し、係数情報を出力する。量子化部104は、係数情報と、量子化制御部116から出力される量子化制御信号117を入力し、係数情報を量子化した情報を出力する。量子化制御部116は、画質劣化予測情報202と、符号量情報119を入力し、量子化制御信号117を出力する。可変長符号化部105は、量子化部104により量子化された情報と、符号化モード関連情報114を入力し、符号化ストリーム106を出力する。逆量子化部107は、量子化部104により量子化された情報と量子化制御信号117とを入力し、逆量子化した係数情報を出力する。逆直交変換部108は、逆量子化部107から出力される係数情報を入力し、逆直交変換した差分情報を出力する。演算部109は、逆直交変換部108から出力される差分情報と、予測画像信号113を入力し、復号画像信号115を出力する。符号量カウンタ118は、符号化ストリーム106を入力し、符号量情報119を出力する。
直交変換部103は、入力画像信号101と予測画像信号113を演算部102により減算した差分信号を入力し、係数情報を出力する。量子化部104は、係数情報と、量子化制御部116から出力される量子化制御信号117を入力し、係数情報を量子化した情報を出力する。量子化制御部116は、画質劣化予測情報202と、符号量情報119を入力し、量子化制御信号117を出力する。可変長符号化部105は、量子化部104により量子化された情報と、符号化モード関連情報114を入力し、符号化ストリーム106を出力する。逆量子化部107は、量子化部104により量子化された情報と量子化制御信号117とを入力し、逆量子化した係数情報を出力する。逆直交変換部108は、逆量子化部107から出力される係数情報を入力し、逆直交変換した差分情報を出力する。演算部109は、逆直交変換部108から出力される差分情報と、予測画像信号113を入力し、復号画像信号115を出力する。符号量カウンタ118は、符号化ストリーム106を入力し、符号量情報119を出力する。
以上の構成において、量子化制御部116と量子化部104とは、画質劣化予測情報202に基づいて、符号化により発生する符号量の配分方法を変える符号量配分器として動作する。なお、符号量の配分とは、例えば、符号化の処理単位毎に符号量を変えて符号化することなどをいう。
図2を用いて、本発明の符号化装置100を構成する符号化モード決定部120の構成について、さらに詳細に説明する。
図2を用いて、本発明の符号化装置100を構成する符号化モード決定部120の構成について、さらに詳細に説明する。
符号化モード決定部120において、予測画像生成部110は、画面内予測画像生成部121と、画像メモリ122と、画面間予測画像生成部123と、符号化モード選択部125と、により構成される。
画面内予測画像生成部121は、画面内予測符号化モードでの予測画像信号を生成するために、画面内予測符号化モード情報129により、画面内予測情報128を生成する手段である。
画面内予測画像生成部121は、画面内予測符号化モードでの予測画像信号を生成するために、画面内予測符号化モード情報129により、画面内予測情報128を生成する手段である。
画像メモリ122は、あらかじめ符号化し、復号した画像信号である復号画像信号115を蓄積する手段である。また、画像領域指定情報130を入力し、特定復号画像信号124を出力する。
画面間予測画像生成部123は、画面間予測符号化モードでの予測画像信号を生成するために、画面間予測符号化モード情報126により、画面間予測情報127を生成する手段である。
画面間予測画像生成部123は、画面間予測符号化モードでの予測画像信号を生成するために、画面間予測符号化モード情報126により、画面間予測情報127を生成する手段である。
符号化モード選択部125は、画面内予測情報128と、画面間予測情報127を取得し、予測画像信号113を生成するために、あらかじめ決められた複数の符号化モードの中から、符号化モードを決定する手段である。
動きベクトル検出部111は、動き検出用画像信号112aを入力し、第1の動き関連情報112bと第2の動き関連情報203を出力する。
動きベクトル検出部111は、動き検出用画像信号112aを入力し、第1の動き関連情報112bと第2の動き関連情報203を出力する。
画質劣化予測部201は、第2の動き関連情報203を入力し、画質劣化予測情報202を出力する。
[作用・効果]
符号化装置100の作用について説明する。
入力画像信号101は、演算部102と予測画像生成部110に入力される。
[作用・効果]
符号化装置100の作用について説明する。
入力画像信号101は、演算部102と予測画像生成部110に入力される。
〔予測画像生成部110〕
予測画像生成部110では、符号化モード選択部125により、符号化するときの符号化モードの候補の情報を得るために、符号化モード情報(129,126)を出力する。この符号化モードの候補とは、例えば、画面内の画素情報を用いて符号化する画面内符号化モードや、画面間の画素情報の相関関係を利用して符号化する画面間符号化モードなどである。さらに、それぞれの符号化モード毎に、その予測画像の作成方法や、画面を細かく区切るパターンなど複数の処理方法がある。画面を細かく区切るパターンとして、例えば、16×16、16×8、8×16、8×8、8×4、4×8、4×4、4×2、2×4、2×2、2×1、1×2、1×1の矩形領域を複数パターン含むものや、物体の形状に合わせた形状に区切るものなどがある。
予測画像生成部110では、符号化モード選択部125により、符号化するときの符号化モードの候補の情報を得るために、符号化モード情報(129,126)を出力する。この符号化モードの候補とは、例えば、画面内の画素情報を用いて符号化する画面内符号化モードや、画面間の画素情報の相関関係を利用して符号化する画面間符号化モードなどである。さらに、それぞれの符号化モード毎に、その予測画像の作成方法や、画面を細かく区切るパターンなど複数の処理方法がある。画面を細かく区切るパターンとして、例えば、16×16、16×8、8×16、8×8、8×4、4×8、4×4、4×2、2×4、2×2、2×1、1×2、1×1の矩形領域を複数パターン含むものや、物体の形状に合わせた形状に区切るものなどがある。
それぞれの符号化モードの候補に応じて、符号化モード選択部125は次のように作用する。
画面内符号化モードの場合、符号化モード選択部125は、まず画像領域指定情報130を出力する。画像領域指定情報130は、既に符号化が終わっており、画像メモリ122内に蓄積されている復号画像信号115のうち、画面内予測に必要な画像領域を指定する情報である。画像メモリ122は、指定された領域の復号画像信号115を特定復号画像信号124として、符号化モード選択部125に出力する。
画面内符号化モードの場合、符号化モード選択部125は、まず画像領域指定情報130を出力する。画像領域指定情報130は、既に符号化が終わっており、画像メモリ122内に蓄積されている復号画像信号115のうち、画面内予測に必要な画像領域を指定する情報である。画像メモリ122は、指定された領域の復号画像信号115を特定復号画像信号124として、符号化モード選択部125に出力する。
次に、符号化モード選択部125は、画面内予測符号化モード情報129を画面内予測画像生成部121に出力する。画面内予測符号化モード情報129は、画面内予測符号化を行う際の、予測画像の生成方法と、その生成方法において必要な画像信号である。
画面内予測画像生成部121は、入力画像信号101と画面内予測符号化モード情報129を元に画面内予測情報128を生成し、符号化モード選択部125に出力する。画面内予測情報128は、画面内予測画像生成部121で生成した画面内予測画像信号と、入力画像信号101と画面内予測画像信号との差異情報から成る。ここで差異情報とは、例えば入力画像信号101と画面内予測画像信号との差分信号の絶対値和や、差分信号の二乗和など、入力画像信号101と画面内予測画像信号の違いを示す情報である。
画面内予測画像生成部121は、入力画像信号101と画面内予測符号化モード情報129を元に画面内予測情報128を生成し、符号化モード選択部125に出力する。画面内予測情報128は、画面内予測画像生成部121で生成した画面内予測画像信号と、入力画像信号101と画面内予測画像信号との差異情報から成る。ここで差異情報とは、例えば入力画像信号101と画面内予測画像信号との差分信号の絶対値和や、差分信号の二乗和など、入力画像信号101と画面内予測画像信号の違いを示す情報である。
画面間符号化モードの場合、符号化モード選択部125は、まず、画面内符号化モードと同様に、画像領域指定情報130を出力する。画像領域指定情報130は、既に符号化が終わっており、画像メモリ122内に蓄積されている復号画像信号115のうち、画面間予測に必要な画像領域を指定する情報である。画像メモリ122は、指定された領域の復号画像信号を特定復号画像信号124として、符号化モード選択部125に出力する。
次に、符号化モード選択部125は、画面間予測符号化モード情報126を画面間予測画像生成部123に出力する。画面間予測符号化モード情報126は、画面間予測符号化を行う際の、予測画像の生成方法と、予測画像の生成に必要な画像信号を含む情報である。例えば、符号化する画像信号に対して、表示順で前にあたる復号画像信号115を用いるモードや、表示順で後ろにあたる復号画像信号115を用いるモード、さらに両方の復号画像信号115を用いるモードなどがある。いずれのモードにしても、符号化モード選択部125は、画像領域指定情報130で、対応する復号画像を指定し、特定復号画像信号124として取得し、画面間予測画像生成部123に出力することができる。
画面間予測画像生成部123は、入力画像信号101と画面間予測符号化モード情報126を入力する。このとき、画面間予測符号化モード情報126に対応した、予測画像生成のための動き検出用画像信号112aを動きベクトル検出部111に出力する。
さらに、画面間予測画像生成部123は、第1の動き関連情報112bと画面間予測符号化モード情報126を入力し、画面間予測情報127を生成し、符号化モード選択部125に出力する。ここで、画面間予測情報127は、第1の動き関連情報112bと画面間予測符号化モード情報126とを用いて生成される画面間予測画像信号と、入力画像信号101と画面間予測画像信号との差異情報から成る。ここで、差異情報とは、例えば、入力画像信号101と画面間予測画像信号との差分信号の絶対値和や、差分信号の二乗和など、入力画像信号101と画面間予測画像信号の違いを示す情報である。
さらに、画面間予測画像生成部123は、第1の動き関連情報112bと画面間予測符号化モード情報126を入力し、画面間予測情報127を生成し、符号化モード選択部125に出力する。ここで、画面間予測情報127は、第1の動き関連情報112bと画面間予測符号化モード情報126とを用いて生成される画面間予測画像信号と、入力画像信号101と画面間予測画像信号との差異情報から成る。ここで、差異情報とは、例えば、入力画像信号101と画面間予測画像信号との差分信号の絶対値和や、差分信号の二乗和など、入力画像信号101と画面間予測画像信号の違いを示す情報である。
〔動きベクトル検出部111〕
動きベクトル検出部111は、入力した動き検出用画像信号112aを用いて動きを検出する。
この動きベクトル検出部の動作について、図3を用いて詳しく説明する。
入力画像フレームORGは、符号化しようとするフレームである。参照画像フレームREFは、既に符号化されて復号化されたフレームであり、入力画像フレームORGとは、異なる時刻の画像フレームである。
動きベクトル検出部111は、入力した動き検出用画像信号112aを用いて動きを検出する。
この動きベクトル検出部の動作について、図3を用いて詳しく説明する。
入力画像フレームORGは、符号化しようとするフレームである。参照画像フレームREFは、既に符号化されて復号化されたフレームであり、入力画像フレームORGとは、異なる時刻の画像フレームである。
まず、入力画像フレームORGを符号化する単位の領域に区切る。例えば、図3で示すように、矩形領域に分割してもよい。入力画像ブロックBLK1は、符号化する単位の領域を示す。
入力画像フレームORGと参照画像フレームREFの間の動きを検出するため、入力画像ブロックBLK1と類似した領域を参照画像フレームREFの中から探す。この探索時に用いる類似性の判断基準としては、例えば画素差分情報の絶対値和SAD(絶対値差分和)や、画素差分情報の二乗和SSE(差分二乗和)などがある。参照画像ブロックBLK2は、最も類似していると判断されたブロックの例である。このとき、入力画像ブロックBLK1と参照画像ブロックBLK2の位置関係を表すのが、動きベクトルMVである。
入力画像フレームORGと参照画像フレームREFの間の動きを検出するため、入力画像ブロックBLK1と類似した領域を参照画像フレームREFの中から探す。この探索時に用いる類似性の判断基準としては、例えば画素差分情報の絶対値和SAD(絶対値差分和)や、画素差分情報の二乗和SSE(差分二乗和)などがある。参照画像ブロックBLK2は、最も類似していると判断されたブロックの例である。このとき、入力画像ブロックBLK1と参照画像ブロックBLK2の位置関係を表すのが、動きベクトルMVである。
動きベクトル検出部111は、このように、符号化する領域と、参照する領域の類似性から、動きベクトルを探す作用をする。動きベクトル検出部111は、動き検出結果を第1の動き関連情報112bとして、画面間予測画像生成部123に出力し、第2の動き関連情報203として、画質劣化予測部201に出力する。ここで、第1の動き関連情報112bは、動きベクトルの情報と、そのとき判断に用いた類似度の情報である。第2の動き関連情報203は、動きベクトルの情報である。但し、このとき第1の動き関連情報112bと同じように、類似度の情報を含んでもよい。
〔画質劣化予測部201〕
画質劣化予測部201は、動きベクトル検出部111の出力である、第2の動き関連情報203により、入力画像信号101を符号化、復号した場合に復号画質に劣化が生じる可能性について予測し、画質劣化予測情報202を出力する。
画質劣化予測部201の動作について詳しく説明する。
画質劣化予測部201は、動きベクトル検出部111の出力である、第2の動き関連情報203により、入力画像信号101を符号化、復号した場合に復号画質に劣化が生じる可能性について予測し、画質劣化予測情報202を出力する。
画質劣化予測部201の動作について詳しく説明する。
第2の動き関連情報203により、入力画像信号101に対する動きベクトルが得られる。次に、動きベクトルの周囲の動きベクトルとの差異度が調べられる。ここで、差異度とは、ある領域内の動きベクトルに対する分散値や、差分二乗和、差分絶対値和などである。また、これらの値は、対象とする動きベクトルからの距離に応じた重みをつけて計算されてもよい。この差異度が大きい場合には、画質劣化が発生する可能性が高いと判断できる。よって、この差異度を画質劣化予測情報202として出力する。
図4を用いて、差異度による画質劣化の予測について説明する。
図4に、動きベクトル検出部111が、入力画像信号101に対して、表示順で前方向と後ろ方向の復号画像信号115を参照画像として、動き検出を行う場合を示す。
P1、P2が動きベクトル検出部111での参照画像フレームであり、P3は符号化しようとする入力画像フレーム、P4は画面間予測生成部によって生成される画面間予測画像フレームである。R1、R2、R3、R4は参照領域、R5、R6、R7は入力画像フレーム内の動き検出対象領域である。また、R8は、動き検出結果を元に生成される動き補償領域である。画像の表示順は、P1、P3、P2という表示順である。
図4に、動きベクトル検出部111が、入力画像信号101に対して、表示順で前方向と後ろ方向の復号画像信号115を参照画像として、動き検出を行う場合を示す。
P1、P2が動きベクトル検出部111での参照画像フレームであり、P3は符号化しようとする入力画像フレーム、P4は画面間予測生成部によって生成される画面間予測画像フレームである。R1、R2、R3、R4は参照領域、R5、R6、R7は入力画像フレーム内の動き検出対象領域である。また、R8は、動き検出結果を元に生成される動き補償領域である。画像の表示順は、P1、P3、P2という表示順である。
動きベクトル検出部111は、動き検出対象領域R5、R6、R7と類似性の高い領域を、参照画像フレームP1、P2内から探索する。動き検出対象領域R5に対しては、参照領域R3、動き検出対象領域R6に対しては、参照領域R4、動き検出対象領域R7に対しては、参照領域R1とR2が、類似性が高い領域として検出される。
これらの動きベクトルにより、画面間予測画像生成部123は、画面間予測画像フレームP4を生成する。画面間予測画像フレームP4の動き補償領域R8は、入力画像フレームP3と異なる領域、すなわち、予測が失敗している領域を含む。これは、動き検出対象領域R6と対応する参照領域R3が、R6と異なる領域を含み、また、動き検出対象領域R7と対応する参照領域R4が、R7と異なる領域を含むためである。これにより、R6、R7の領域は、それぞれ別の動きをしていることがわかる。それぞれの領域に、別の動きをしている領域を含んでしまうため、動き補償領域R8内に入力画像フレームと異なる領域が発生する。動き補償領域R8は、画面間予測が失敗している領域であるため、符号化時に歪みが発生する可能性が高くなる。
これらの動きベクトルにより、画面間予測画像生成部123は、画面間予測画像フレームP4を生成する。画面間予測画像フレームP4の動き補償領域R8は、入力画像フレームP3と異なる領域、すなわち、予測が失敗している領域を含む。これは、動き検出対象領域R6と対応する参照領域R3が、R6と異なる領域を含み、また、動き検出対象領域R7と対応する参照領域R4が、R7と異なる領域を含むためである。これにより、R6、R7の領域は、それぞれ別の動きをしていることがわかる。それぞれの領域に、別の動きをしている領域を含んでしまうため、動き補償領域R8内に入力画像フレームと異なる領域が発生する。動き補償領域R8は、画面間予測が失敗している領域であるため、符号化時に歪みが発生する可能性が高くなる。
一方、動き検出対象領域R5は、画面間予測画像フレーム内での予測は失敗していない。これは、動き検出対象領域R5と対応する参照領域R1、R2は、周囲の領域と同じ動きをしているため、同じ動きをしている領域だけで、動き補償ができるためである。
このように、差異度を算出することにより、周囲の領域との動きが同じであるか、異なっているかを判断することができるため、画質劣化の発生を予測することが可能である。
このように、差異度を算出することにより、周囲の領域との動きが同じであるか、異なっているかを判断することができるため、画質劣化の発生を予測することが可能である。
〔符号化モード選択部125における符号化モード選択処理〕
次に、符号化モード選択部125における処理について詳しく説明する。
符号化モード選択部125は、画面内予測符号化モードと画面間予測符号化モードとのそれぞれの候補符号化モード情報を出力し、それぞれの候補符号化モードに対する画面内予測情報128と画面間予測情報127と符号量情報119と画質劣化予測情報202を得る。符号量情報119は、候補符号化モードで一度符号化して、復号したときの符号量である。
次に、符号化モード選択部125における処理について詳しく説明する。
符号化モード選択部125は、画面内予測符号化モードと画面間予測符号化モードとのそれぞれの候補符号化モード情報を出力し、それぞれの候補符号化モードに対する画面内予測情報128と画面間予測情報127と符号量情報119と画質劣化予測情報202を得る。符号量情報119は、候補符号化モードで一度符号化して、復号したときの符号量である。
符号化モード選択部125は、複数の候補符号化モードに対して発生する符号量Rと、復号画像信号115と入力画像信号101との違いDと、画質劣化予測情報202から得られる画質劣化度合αを元に、判断基準Jを算出して、複数の候補符号化モードから符号化に用いる符号化モードを決定する。
判断基準Jは、次式(1)で表すことができる。
判断基準Jは、次式(1)で表すことができる。
J=α×D+λR (以下、式(1)という。)
符号化モード選択部125では、判断基準Jが最も小さい候補符号化モードが、符号化時の符号化モードとして選択される。
ここで、式(1)におけるλ、R、D、αについて説明を加える。
λは、後述するように量子化制御部116が決定する量子化精度に基づいて決定される変数である。なお、回路規模削減のためλを定数としてもよい。
符号化モード選択部125では、判断基準Jが最も小さい候補符号化モードが、符号化時の符号化モードとして選択される。
ここで、式(1)におけるλ、R、D、αについて説明を加える。
λは、後述するように量子化制御部116が決定する量子化精度に基づいて決定される変数である。なお、回路規模削減のためλを定数としてもよい。
発生符号量Rは、符号量情報119である。ここで、発生符号量Rは、一度符号化した場合の符号量情報119でなくてもよい。この場合には、画面内予測情報128と画面間予測情報127から推測した値を用いる。例えば、画面間予測情報127の動きベクトルや、類似度合を示す値から発生する符号量を推測する。また、画面内予測情報128の差分値情報と符号化モード情報から発生する符号量を推測する。これにより、一度符号化する必要がないため、処理が容易になる。
復号画像と入力画像との違いを表すDは、画面内予測情報128の差分値情報と、画面間予測情報127の類似度情報である。ここで、復号画像と入力画像との違いを表すDは、一度符号化した場合の復号画像と入力画像の差分値であってもよい。この場合、正確に符号化モードに対する歪みを評価することができるため、符号化モード選択の精度を高めることができる。
画質劣化度合αは、画質劣化予測情報202から得られる値である。より具体的には、画質劣化度合αは、画質劣化予測情報202の値と同じ値、あるいは画質劣化予測情報202の値に対して単調増加する値である。すなわち、画質劣化度合αは、画質劣化の可能性が大きい場合に大きな値となる。
判断基準Jを用いた処理により、以下の効果が得られる。
判断基準Jを用いた処理により、以下の効果が得られる。
画質劣化の可能性が低い場合には、画質劣化度合αは小さい値をとる。このため、復号画像と入力画像との違いを表すDの判断基準Jに与える影響は小さくなり、発生符号量Rの影響が大きくなる。このため、復号画像が入力画像と異なっている場合であっても、発生符号量Rが小さい符号化モードを選択する。これは、画質劣化の可能性が低い部分では、入力画像との違いよりも、発生符号量を抑制することを重視する作用をする。これにより、復号画像内に画質劣化の発生の可能性が低い領域の符号量を削減することができる。
一方、画質劣化の可能性が高い場合には、画質劣化度合αは大きい値をとる。このため、復号画像と入力画像との違いを表すDの判断基準Jに与える影響は大きくなり、発生符号量Rの影響が小さくなる。このため、発生符号量Rが小さい場合であっても、復号画像が入力画像と近い符号化モードを選択する。これは、画質劣化の可能性が高い部分では、符号量の抑制よりも、入力画像と近い画像に符号化することを重視する作用をする。これにより、復号画像内に画質劣化の発生の可能性が高い領域の画質を改善することができる。
符号化モード選択部125の処理手順を図5に示す。
S31において、符号化モード選択部125は、画面内符号化を仮に行い、発生符号量と、復号画像信号115と入力画像信号101との相違情報とを取得する。次にS32において、画面内予測の候補符号化モードが他にあれば、S31を繰り返す。他になければ、S33において、画面間符号化モードで、動き検出、画面間符号化を仮に行い、発生符号量と、復号画像信号115と入力画像信号101との相違情報とを取得する。次にS34において、S33で検出した動き検出結果より、画質劣化度合を予測する。S35において、画面間予測の候補符号化モードが他にあれば、S33、S34を繰り返す。他になければ、S35において、式(1)で示した判断基準Jにより、符号化モードを決定する。
S31において、符号化モード選択部125は、画面内符号化を仮に行い、発生符号量と、復号画像信号115と入力画像信号101との相違情報とを取得する。次にS32において、画面内予測の候補符号化モードが他にあれば、S31を繰り返す。他になければ、S33において、画面間符号化モードで、動き検出、画面間符号化を仮に行い、発生符号量と、復号画像信号115と入力画像信号101との相違情報とを取得する。次にS34において、S33で検出した動き検出結果より、画質劣化度合を予測する。S35において、画面間予測の候補符号化モードが他にあれば、S33、S34を繰り返す。他になければ、S35において、式(1)で示した判断基準Jにより、符号化モードを決定する。
〔その他各部における作用〕
直交変換部103には、入力画像信号101と予測画像生成部110で生成した予測画像信号113を減算した差分信号が入力される。直交変換部103では、差分信号を周波数成分に変換する。この変換には、例えば離散コサイン変換(DCT)などが用いられる。直交変換部103により、直交変換された係数情報は量子化部104に入力される。
直交変換部103には、入力画像信号101と予測画像生成部110で生成した予測画像信号113を減算した差分信号が入力される。直交変換部103では、差分信号を周波数成分に変換する。この変換には、例えば離散コサイン変換(DCT)などが用いられる。直交変換部103により、直交変換された係数情報は量子化部104に入力される。
量子化部104では、直交変換された係数情報を量子化する。このとき、量子化制御部116による量子化制御信号117によって量子化精度を変える。ここで、量子化精度の決定方法については、後述する。量子化部104によって量子化された情報は、量子化精度とともに可変長符号化部105に入力される。なお、量子化精度は、符号化の単位ごとに付加されるものであってよく、例えば、ブロック毎(マクロブロック毎)に付加される情報であってよい。
可変長符号化部105では、量子化された情報を可変長符号化する。可変長符号化とは、情報のエントロピーを利用した情報圧縮手法である。また、可変長符号化部105は、予測画像生成部110により得られる、符号化モード関連情報114も可変長符号化する。可変長符号化部105により符号化された符号化ストリーム106は、符号量カウンタ118に入力される。
符号量カウンタ118は、符号化ストリーム106の符号量をカウントし、符号量情報119として出力する。符号量情報119は、量子化制御部116と、予測画像生成部110に入力される。
量子化制御部116では、符号量情報119を元に次の画像フレームの符号化時の量子化精度を決める。
量子化制御部116では、符号量情報119を元に次の画像フレームの符号化時の量子化精度を決める。
このとき、量子化制御部116は、直交変換された係数情報の変調を行ってもよい。図6を用いて、係数情報の変調について詳細に説明する。
直交変換部103によって直交変換された後の係数情報を、次式(2)に示す計算式により変調する。
Q’(x、y)=Q(x、y)×16÷M(x、y) (以下、式(2)という。)
式(2)では、元の変換係数を、Q(x、y)、変調度合をM(x、y)、変調後の係数をQ’(x、y)で示しており、x、yはx軸方向、y軸方向の位置を示す。
直交変換部103によって直交変換された後の係数情報を、次式(2)に示す計算式により変調する。
Q’(x、y)=Q(x、y)×16÷M(x、y) (以下、式(2)という。)
式(2)では、元の変換係数を、Q(x、y)、変調度合をM(x、y)、変調後の係数をQ’(x、y)で示しており、x、yはx軸方向、y軸方向の位置を示す。
例えば、元の変換係数Q(x、y)に対して(図6(a)参照)、図6(d)の変調度合をかけた場合、変調結果は図6(b)のようになる。また、図6(e)の変調度合をかけた場合、変調結果は図6(c)のようになる。図6(a)の係数は、左上が直流成分、右下に行くほど高周波の成分を表す係数である。
ここで、式(2)に示す変調を行うことで、高周波成分の情報を削減することができ、発生する符号量を抑制することができる。例えば図6(d)に示す変調度合より、図6(e)に示す変調度合の方が、より多くの高周波成分を削減できることがわかる。
ここで、式(2)に示す変調を行うことで、高周波成分の情報を削減することができ、発生する符号量を抑制することができる。例えば図6(d)に示す変調度合より、図6(e)に示す変調度合の方が、より多くの高周波成分を削減できることがわかる。
なお、図6(d)、図6(e)に示した変調度合を、画質劣化予測情報202により制御してもよい。画質劣化予測情報202により、画質劣化の可能性が高い場合には、変調を行わない、もしくは、変調度合の小さいM(x、y)を選択し(例えば、図6(d))、画質劣化の可能性が低い場合には、変調度合の大きいM(x、y)を選択する(例えば、図6(e))、もしくは、Q’(x、y)の値を全て0にする、すなわち、変換係数を全て0にする。
これにより、画質劣化が発生しやすい場合には、係数の削減をあまり行わないことで、画質を維持できる。また、画質劣化が発生しにくい場合には、多くの係数の削減を行うことで、発生符号量を削減することが出来る。
なお、量子化制御部116で用いられた変調度合の情報(例えば、図6(d)や図6(e)に示すテーブル)は、復号側で画質劣化予測情報から予測されるものであっても良い((実施の形態2)参照)が、量子化制御部116から量子化部104を介して出力され、量子化部104によって量子化された情報や量子化精度などとともに、可変長符号化部105において可変長符号化されるものであってもよい。この時、可変長符号化される変調度合の情報は、図6(d)や図6(e)に示すテーブル形式の情報であってもよいし、予め複数の所定のテーブルが定められている場合には、そのいずれかを特定するための情報であってもよい。
なお、量子化制御部116で用いられた変調度合の情報(例えば、図6(d)や図6(e)に示すテーブル)は、復号側で画質劣化予測情報から予測されるものであっても良い((実施の形態2)参照)が、量子化制御部116から量子化部104を介して出力され、量子化部104によって量子化された情報や量子化精度などとともに、可変長符号化部105において可変長符号化されるものであってもよい。この時、可変長符号化される変調度合の情報は、図6(d)や図6(e)に示すテーブル形式の情報であってもよいし、予め複数の所定のテーブルが定められている場合には、そのいずれかを特定するための情報であってもよい。
また、量子化制御部116が量子化精度を決める場合について説明する。
量子化制御部116は、符号量情報119により、発生符号量を調べ、符号化ストリームの符号量がターゲットとする値に近くなるように、量子化の精度を切り換える。例えば、発生符号量がターゲットとする値よりも大きい場合には、量子化の精度を低くして、発生符号量がターゲットとする値よりも小さい場合には、量子化の精度を高くする。ここで、「量子化の精度が低い」とは、粗く量子化することを意味し、「量子化の精度が高い」とは、細かく量子化することを意味する。
量子化制御部116は、符号量情報119により、発生符号量を調べ、符号化ストリームの符号量がターゲットとする値に近くなるように、量子化の精度を切り換える。例えば、発生符号量がターゲットとする値よりも大きい場合には、量子化の精度を低くして、発生符号量がターゲットとする値よりも小さい場合には、量子化の精度を高くする。ここで、「量子化の精度が低い」とは、粗く量子化することを意味し、「量子化の精度が高い」とは、細かく量子化することを意味する。
このとき、画質劣化予測情報202により、量子化の精度の切り換え方法を変えてもよい。この場合、画質劣化予測情報202により、画質劣化が発生しやすい場合には、量子化の精度を高くする。これにより、歪みの発生を抑制することができるため、画質を改善できる。また、画質劣化が発生しにくい場合には、量子化の精度を低くする。これにより、発生符号量を削減することができる。
この場合、入力画像信号101の動きベクトル(第2の動き関連情報203)と、量子化精度との関係は、図7に示すようになる。すなわち、画質劣化予測情報202が大きい時、すなわち、処理対象のブロックなどの動きベクトルとその周囲のブロックの動きベクトルとの差異度が大きい時(処理対象のブロックが周囲と異なる動きをしている時)、高い量子化精度で量子化が行われる。一方、動きベクトルの差異度が小さい時(処理対象のブロックが周囲と同じ動きをしている時)、低い量子化精度で量子化が行われる。なお、本明細書中では、「周囲」とは、必ずしも対象を取り囲む部分の全てを意味するわけではなく、単に対象の近辺を意味していてもよい。
逆量子化部107では、量子化部104で量子化した情報を逆量子化する。このとき、量子化制御部116で行った量子化制御信号117も入力する。逆量子化部107では、量子化制御信号117を利用して、逆変換を行うことで、係数情報にする。
逆直交変換部108は、逆変換された係数情報を逆直交変換することで、差分情報を得る。演算部109で、差分情報と、予測画像信号113を加えることで、復号画像信号115を得る。
逆直交変換部108は、逆変換された係数情報を逆直交変換することで、差分情報を得る。演算部109で、差分情報と、予測画像信号113を加えることで、復号画像信号115を得る。
以上の処理は、符号化の単位毎、例えば、ブロック毎またはマクロブロック毎に行われても良いし、ピクチャ単位で行われても良い。
図8を用いて、以上の実施の形態で示された符号化装置100から出力される符号化ストリーム106のデータ構造について説明を加える。
図8は、符号化ストリーム106に含まれるデータのうち、マクロブロック層のデータ構造をしている。符号化ストリーム106は、階層的に構成されている動画像ストリームを含んでおり、階層は、例えば、シーケンス層、GOP層、ピクチャ層、スライス層、マクロブロック層、ブロック層などから構成されている。なお、ここに記載した構造は、一例であり、本発明をこの構造に限定するものではない。
図8を用いて、以上の実施の形態で示された符号化装置100から出力される符号化ストリーム106のデータ構造について説明を加える。
図8は、符号化ストリーム106に含まれるデータのうち、マクロブロック層のデータ構造をしている。符号化ストリーム106は、階層的に構成されている動画像ストリームを含んでおり、階層は、例えば、シーケンス層、GOP層、ピクチャ層、スライス層、マクロブロック層、ブロック層などから構成されている。なお、ここに記載した構造は、一例であり、本発明をこの構造に限定するものではない。
マクロブロック層は、マクロブロック毎の動きベクトルMVや量子化精度を表す量子化情報などを含むマクロブロックデータMBdと、ブロック毎のデータである差分情報Rとを含む。
図8では、マクロブロックMB1〜MBxが、マクロブロックデータとしての動きベクトルMV1〜MVxと、差分情報R1〜Rxとをそれぞれ含むことを示している。
図8では、マクロブロックMB1〜MBxが、マクロブロックデータとしての動きベクトルMV1〜MVxと、差分情報R1〜Rxとをそれぞれ含むことを示している。
ここで、マクロブロックMBxを処理対象のマクロブロックとし、マクロブロックMB1〜MB4をマクロブロックMBxの周囲のマクロブロックとする。例えば、マクロブロックMBxと、マクロブロックMB1〜MB4との位置関係は、図9に示すようなものであり、マクロブロックMB1〜MB4は、マクロブロックMBxのそれぞれ左上、上、右上、左に配置されるマクロブロックである。
上記実施形態で説明したように、処理対象のマクロブロックMBxに対する処理が行われる際に、画質劣化予測情報が求められる。マクロブロックMB1〜MB4は、この画質劣化予測情報を求める際に用いられるマクロブロックであるとする。すなわち、マクロブロックMBxに対して画質劣化予測情報が求められる場合には、動きベクトルMVxと、動きベクトルMV1〜MV4との差異度が求められる。
さらに、差分情報Rxは、画質劣化予測情報に基づいて、量子化が制御された結果として得られる情報であり、原画像と予測画像の差分画像を量子化、符号化した情報である。より具体的には、マクロブロックMBxに対して求められた画質劣化予測情報が大きい(画質劣化が発生しやすい)場合には、量子化精度を高くする、あるいはより小さな変調度合の係数変調を行う(例えば、より高域成分を削減しない変調など)ことにより量子化が行われる。一方、マクロブロックMBxに対して求められた画質劣化予測情報が小さい(画質劣化が発生しにくい)場合には、量子化精度を低くする、あるいはより大きな変調度合の係数変調を行う(例えば、より高域成分を削減する変調など)ことにより量子化が行われる。このため、差分情報Rxの符号量は、画質劣化予測情報の大きさに依存し、画質劣化予測情報が大きくなるほど、発生符号量が大きくなり、画質劣化予測情報が小さくなるほど、発生符号量が小さくなる。
このため、図8に示すデータ構造は、図10に示すような特徴を有する。すなわち、マクロブロックMBxの差分情報Rxの符号量は、動きベクトルMVxと、動きベクトルMV1〜MV4との差異度に依存する。言い換えれば、処理対象のマクロブロック(例えば、MBx)の差分情報(例えば、Rx)の符号量は、その周囲のマクロブロック(例えば、MB1〜MB4)の動きベクトル(例えば、MV1〜MV4)と処理対象のマクロブロックの動きベクトル(例えば、MVx)との差異度が大きいほど、大きく、小さいほど、小さい。
また、処理対象のマクロブロックのマクロブロックデータ内の量子化情報の値は、その周囲のマクロブロックの動きベクトルと処理対象のマクロブロックの動きベクトルとの差異度が大きいほど、量子化精度が高いことを示し、小さいほど、量子化精度が低いことを示す。
なお、上記では、一例として、処理対象とするマクロブロックMBxの符号化済みマクロブロックMB1〜MB4を周囲のマクロブロックとしたが、周囲のマクロブロックの取り方はこれに限るものではない。例えば、さらに広い範囲の符号化済みマクロブロックを用いてもよい。また、一旦動き情報を仮決めすることにより、マクロブロックMBxを取り囲むマクロブロックの全てを周囲の動き情報としてもよい。
なお、上記では、一例として、処理対象とするマクロブロックMBxの符号化済みマクロブロックMB1〜MB4を周囲のマクロブロックとしたが、周囲のマクロブロックの取り方はこれに限るものではない。例えば、さらに広い範囲の符号化済みマクロブロックを用いてもよい。また、一旦動き情報を仮決めすることにより、マクロブロックMBxを取り囲むマクロブロックの全てを周囲の動き情報としてもよい。
この場合、広範囲な動き情報を用いることにより、差分情報Rxの制御性能を向上させることができ、画質を向上することができる。
なお、図8では、全てのマクロブロックが動きベクトルMVと差分情報Rとを含んでいるが、必ずしも全てのマクロブロックが動きベクトルMVと差分情報Rとを含まなくてもよい。
なお、図8では、全てのマクロブロックが動きベクトルMVと差分情報Rとを含んでいるが、必ずしも全てのマクロブロックが動きベクトルMVと差分情報Rとを含まなくてもよい。
例えば、あるマクロブロックの符号化モードがダイレクトモードである場合には、符号化ストリームの構造としては動きベクトルを含まない。この場合には、決められた方式で作られる動きベクトルを周囲の動きベクトルとして用いてもよい。なお、ダイレクトモードとは、画面間符号化でも動きベクトルを所定の決められた方法により作成するため、動きベクトルを送らない方式である。
また、例えば、あるマクロブロックの符号化モードが画面内予測符号化モードである場合、符号化ストリームの構造としては動きベクトルを含まない。この場合には、所定の方法により、周囲の動きとの違いを判断してもよい。より具体的には、例えば、処理対象のマクロブロックの周囲に一定数以上(例えば半分以上)の画面内予測符号化モードのマクロブロックがある場合、処理対象のマクロブロックの動きは、周囲のマクロブロックの動きと異なると判断する。一方、一定数以下の場合には、画面内予測符号化モードのマクロブロックを除いた周囲の動きとの差異度を用いる、もしくは画面内予測符号化モードのマクロブロックの動きが0として、周囲の動きとの差異度を用いる。
また、例えば、あるマクロブロックでは、差分情報Rが含まれていなくてもよい。
(実施の形態1の変形例1)
実施の形態1は実用上の範囲内で次のような変形例が考えられる。
符号化モード選択部125の処理で、最適な符号化モードを選択する際に、最適な変調係数度合も求めてもよい。
(実施の形態1の変形例1)
実施の形態1は実用上の範囲内で次のような変形例が考えられる。
符号化モード選択部125の処理で、最適な符号化モードを選択する際に、最適な変調係数度合も求めてもよい。
図11を用いて詳細に説明する。
符号化モード選択部125は、S401で、画面内符号化を仮に行い、S402で、画面内符号化時の係数変調度合を切り換え、発生符号量・入力画像相違情報を取得する。S403に示すように、係数変調度合を複数用意し、全ての係数変調度合に対して発生符号量と入力画像相違情報を取得する。
符号化モード選択部125は、S401で、画面内符号化を仮に行い、S402で、画面内符号化時の係数変調度合を切り換え、発生符号量・入力画像相違情報を取得する。S403に示すように、係数変調度合を複数用意し、全ての係数変調度合に対して発生符号量と入力画像相違情報を取得する。
S404で、判断基準が最適となる係数変調度合を求める。このときの判断基準は、式(1)を用いる。ただし、画面内符号化の場合、画質劣化度合を表すαの値が決まらない。この場合、αの値は固定値としてもよい。また、αの値は、表示順の前後の画面間符号化時の動きベクトルから算出してもよい。動画像の前後の動きには相関があるため、画面内符号化の場合でも、画質劣化予測が可能となり、画質の維持、符号量の削減を実現することができる。さらに、式(1)で示される値の最も小さい係数変調度合が保持される。
S405で、全ての画面内符号化モードに対して、S401からS404を繰り返す。
S406で、動き検出、画面間符号化を仮に行い、S407で、動き検出結果より、画質劣化度合を予測する。S408では、画面間符号化時の係数変調度合を切り替え、発生符号量と入力画像相違情報を取得する。S409は、S403と同様に、係数変調度合を切り換えて、それぞれの発生符号量・入力画像相違情報を取得する。
S406で、動き検出、画面間符号化を仮に行い、S407で、動き検出結果より、画質劣化度合を予測する。S408では、画面間符号化時の係数変調度合を切り替え、発生符号量と入力画像相違情報を取得する。S409は、S403と同様に、係数変調度合を切り換えて、それぞれの発生符号量・入力画像相違情報を取得する。
S410では、S404と同様に、係数変調度合を求める。このときの判断基準は、式(1)を用いる。この式(1)で示される値の最も小さい係数変調度合が保持される。
S411で、全ての画面間符号化モードに対して、S406からS410を繰り返す。
S412において、S401からS411において算出した全ての符号化モード、変調度合のなかで、最適なもの、すなわち式(1)の判断基準が小さいものを符号化モードとして、選択する。
S411で、全ての画面間符号化モードに対して、S406からS410を繰り返す。
S412において、S401からS411において算出した全ての符号化モード、変調度合のなかで、最適なもの、すなわち式(1)の判断基準が小さいものを符号化モードとして、選択する。
この符号化モード選択を行うことで、変調係数度合と符号化モード選択を最適に選択することができ、画質の改善と、符号量の削減を実現することができる。
この場合、符号化モード選択部125が求めた係数変調度合は、符号化モード関連情報114に含まれて可変長符号化部105に入力され、可変長符号化されるものであってもよい。この時、可変長符号化される変調度合の情報は、テーブル形式の情報であってもよいし、予め複数の所定のテーブルが定められている場合には、そのいずれかを特定するための情報であってもよい。
この場合、符号化モード選択部125が求めた係数変調度合は、符号化モード関連情報114に含まれて可変長符号化部105に入力され、可変長符号化されるものであってもよい。この時、可変長符号化される変調度合の情報は、テーブル形式の情報であってもよいし、予め複数の所定のテーブルが定められている場合には、そのいずれかを特定するための情報であってもよい。
(実施の形態1の変形例2)
実施の形態1は実用上の範囲内で次のような変形例が考えられる。
画質劣化予測情報202は、量子化制御に用いなくてもよい。画質劣化予測情報202は、符号化モード選択部125でのみで用いられるものであってもよい。このようにすることで、回路規模の削減及び、処理量の削減を実現することができる。
実施の形態1は実用上の範囲内で次のような変形例が考えられる。
画質劣化予測情報202は、量子化制御に用いなくてもよい。画質劣化予測情報202は、符号化モード選択部125でのみで用いられるものであってもよい。このようにすることで、回路規模の削減及び、処理量の削減を実現することができる。
(実施の形態1の変形例3)
実施の形態1は実用上の範囲内で次のような変形例が考えられる。
画質劣化予測情報202は、符号化モード選択に用いなくてもよい。画質劣化予測情報202は、量子化制御部116でのみで用いられるものであってもよい。このようにすることで、回路規模の削減及び、処理量の削減を実現することができる。
実施の形態1は実用上の範囲内で次のような変形例が考えられる。
画質劣化予測情報202は、符号化モード選択に用いなくてもよい。画質劣化予測情報202は、量子化制御部116でのみで用いられるものであってもよい。このようにすることで、回路規模の削減及び、処理量の削減を実現することができる。
(実施の形態1の変形例4)
上記実施形態では、符号化ストリームの符号量のターゲットとなる値により、上記実施の形態に説明した処理を行うか否かを切換えてもよい。
このような切換を実現するスイッチSは、図12に示すように、符号化装置100(図1参照)において、動きベクトル検出部111と画質劣化予測部201との間に備えられる。
上記実施形態では、符号化ストリームの符号量のターゲットとなる値により、上記実施の形態に説明した処理を行うか否かを切換えてもよい。
このような切換を実現するスイッチSは、図12に示すように、符号化装置100(図1参照)において、動きベクトル検出部111と画質劣化予測部201との間に備えられる。
さらに、スイッチSは、ターゲットの符号量が高い時は、OFF側を向き、ターゲットの符号量が低い時は、ON側を向く。これにより、ターゲットの符号量が高い時には、スイッチSを有する符号化装置100は、図20で説明した従来の符号化装置600と同様に動作し、ターゲットの符号量が低い時には、上記実施の形態で説明した符号化装置100と同様に動作する。なお、ターゲットの符号量は、図示しない設定部などにより、外部から設定されるものであってよい。
これにより、ターゲットの符号量が高い時には、従来と同等の画質を得ることができるとともに、ターゲットの符号量が低い時には、画質劣化を抑え、従来に比してより良好な画質を得ることができる。
さらに、スイッチSの状態を表す情報を符号化してもよい。これにより、復号時にスイッチSの状態に合わせた動作を行うことで、従来に比してより良好な画質を得ることができる。
さらに、スイッチSの状態を表す情報を符号化してもよい。これにより、復号時にスイッチSの状態に合わせた動作を行うことで、従来に比してより良好な画質を得ることができる。
(実施の形態2)
図13〜図14を用いて本発明の第2実施形態としての動画像復号装置(以下、復号装置という。)について説明する。
なお、本実施形態の復号装置は、実施の形態1で説明した符号化装置100により符号化された符号化ストリームだけでなく、従来の符号化装置により符号化された符号化ストリームを復号する際に用いることも可能である。すなわち、従来の符号化装置との互換性を有している。このため、以下の説明において、「符号化装置」と記載する場合には、符号化装置100のみを意味する訳ではない。
図13〜図14を用いて本発明の第2実施形態としての動画像復号装置(以下、復号装置という。)について説明する。
なお、本実施形態の復号装置は、実施の形態1で説明した符号化装置100により符号化された符号化ストリームだけでなく、従来の符号化装置により符号化された符号化ストリームを復号する際に用いることも可能である。すなわち、従来の符号化装置との互換性を有している。このため、以下の説明において、「符号化装置」と記載する場合には、符号化装置100のみを意味する訳ではない。
[構成]
図13は、復号装置300の構成について説明するブロック図である。
可変長復号部302は、符号化ストリーム301を入力し、復号係数情報303、復号量子化制御情報304、動き関連情報305を出力する。逆量子化部306は、復号係数情報303と、量子化制御情報309を入力し、係数情報311を出力する。量子化制御部307は、復号量子化制御情報304と、画質劣化予測情報310を入力し、量子化制御情報309を出力する。画質劣化予測部308は、動き関連情報305を入力し、画質劣化予測情報310を出力する。逆直交変換部312は、係数情報311を入力し、差分画像信号313を出力する。演算部314は、差分画像信号313と、動き補償画像信号316を入力し、復号画像信号319を出力する。動き補償部315は、動き関連情報305と、特定復号画像信号317を入力し、動き補償画像信号316と、画像領域指定情報320を出力する。画像メモリ318は、復号画像信号319と、画像領域指定情報320を入力し、特定復号画像信号317を出力する。
図13は、復号装置300の構成について説明するブロック図である。
可変長復号部302は、符号化ストリーム301を入力し、復号係数情報303、復号量子化制御情報304、動き関連情報305を出力する。逆量子化部306は、復号係数情報303と、量子化制御情報309を入力し、係数情報311を出力する。量子化制御部307は、復号量子化制御情報304と、画質劣化予測情報310を入力し、量子化制御情報309を出力する。画質劣化予測部308は、動き関連情報305を入力し、画質劣化予測情報310を出力する。逆直交変換部312は、係数情報311を入力し、差分画像信号313を出力する。演算部314は、差分画像信号313と、動き補償画像信号316を入力し、復号画像信号319を出力する。動き補償部315は、動き関連情報305と、特定復号画像信号317を入力し、動き補償画像信号316と、画像領域指定情報320を出力する。画像メモリ318は、復号画像信号319と、画像領域指定情報320を入力し、特定復号画像信号317を出力する。
[作用]
次に、復号装置300の作用について説明する。
可変長復号部302は、符号化ストリーム301を可変長復号し、復号係数情報303と、復号量子化制御情報304と、動き関連情報305にそれぞれ別々に出力する。
復号係数情報303は、符号化装置で差分信号を直交変換、量子化した後の係数情報である。復号量子化制御情報304は、符号化装置で、量子化の精度と係数の変調に用いたモードや値を含む情報である。動き関連情報305は、符号化装置で、画面間予測符号化モードにおいて、動き補償に用いた動きベクトルの情報である。
次に、復号装置300の作用について説明する。
可変長復号部302は、符号化ストリーム301を可変長復号し、復号係数情報303と、復号量子化制御情報304と、動き関連情報305にそれぞれ別々に出力する。
復号係数情報303は、符号化装置で差分信号を直交変換、量子化した後の係数情報である。復号量子化制御情報304は、符号化装置で、量子化の精度と係数の変調に用いたモードや値を含む情報である。動き関連情報305は、符号化装置で、画面間予測符号化モードにおいて、動き補償に用いた動きベクトルの情報である。
画質劣化予測部308は、動き関連情報305により、画質劣化を予測する。画質劣化の予測方法としては、実施の形態1で説明したものと同じである。画質劣化予測部308は、画質劣化が発生する可能性を算出し、画質劣化予測情報310として量子化制御部307に出力する。画質劣化予測部308は復号に用いられる動き関連情報305から画質劣化予測情報310を生成するため、符号化装置において画質劣化予測情報310を符号化する必要がない。
量子化制御部307は、画質劣化予測情報310と、復号量子化制御情報304から、量子化制御情報309を生成する。このときの動作手段を、図14を用いて詳細に説明する。
動き関連情報305を含まない符号化モードの場合、図14(a)で示すように、S51で、従来と同様、復号量子化制御情報304を取得し、S52で、その中に含まれる情報から逆変調テーブルを生成し、S53において、逆量子化をするための量子化精度情報、逆変調テーブルを含む逆変調制御値を算出し、量子化制御情報309を生成するという手順で行う。
動き関連情報305を含まない符号化モードの場合、図14(a)で示すように、S51で、従来と同様、復号量子化制御情報304を取得し、S52で、その中に含まれる情報から逆変調テーブルを生成し、S53において、逆量子化をするための量子化精度情報、逆変調テーブルを含む逆変調制御値を算出し、量子化制御情報309を生成するという手順で行う。
逆変調テーブルとは、図6(d)または図6(e)と式(2)で示した変調値を元に戻すために、逆値をかけるテーブルである(以下、この欄において同じ)。
また、動き関連情報305を含む符号化モードの場合、図14(b)で示すように、S61で、復号量子化制御情報304と画質劣化予測情報310を取得し、S62で、画質劣化予測情報310から、変調情報を予測し、S63で、予測した変調情報を元に逆変調テーブルを作成し、S64において、逆量子化をするための量子化精度情報、逆変調テーブルを含む逆変調制御値を算出し、量子化制御情報309を生成するという手順で行う。
また、動き関連情報305を含む符号化モードの場合、図14(b)で示すように、S61で、復号量子化制御情報304と画質劣化予測情報310を取得し、S62で、画質劣化予測情報310から、変調情報を予測し、S63で、予測した変調情報を元に逆変調テーブルを作成し、S64において、逆量子化をするための量子化精度情報、逆変調テーブルを含む逆変調制御値を算出し、量子化制御情報309を生成するという手順で行う。
画質劣化予測情報310から変調情報を予測する手段としては、あらかじめ決めておいた画質劣化予測情報と変調度合とのテーブルを保持しておくなどの手段が採用される。
また、動き関連情報305を含まない符号化モードの場合であっても、図14(b)で示す手段を用いてもよい。このときは、復号画像の隣接領域の動き関連情報を用いて補間することによって、画質劣化予測情報310を取得する。このようにすることで、符号化時の符号量を削減することができ、また、復号時の画質を改善することができる。
また、動き関連情報305を含まない符号化モードの場合であっても、図14(b)で示す手段を用いてもよい。このときは、復号画像の隣接領域の動き関連情報を用いて補間することによって、画質劣化予測情報310を取得する。このようにすることで、符号化時の符号量を削減することができ、また、復号時の画質を改善することができる。
以上のように逆変調テーブルを用いることにより、復号装置300では、差分画像信号313における高周波成分を大きくする処理が行われることとなり、復号時の画質を改善することができる。
逆量子化部306は、復号係数情報303を、量子化制御情報309を用いて逆量子化し、差分画像信号313を得る。動き補償部315は、動き関連情報305を取得し、画像領域指定情報320を画像メモリ318へ出力することで、特定復号画像信号317を取得する。さらに、動き補償部315は、動き関連情報305と、特定復号画像信号317を用いて動き補償画像を作成し、動き補償画像信号316を出力する。演算部314は、差分画像信号313と動き補償画像信号316を加算し、復号画像信号319を出力する。画像メモリ318は、復号画像信号319を入力し、蓄積する。そこで、画像領域指定情報320を受けると、蓄積している復号画像信号319のうち指定された特定復号画像信号317を動き補償部315に出力する。
逆量子化部306は、復号係数情報303を、量子化制御情報309を用いて逆量子化し、差分画像信号313を得る。動き補償部315は、動き関連情報305を取得し、画像領域指定情報320を画像メモリ318へ出力することで、特定復号画像信号317を取得する。さらに、動き補償部315は、動き関連情報305と、特定復号画像信号317を用いて動き補償画像を作成し、動き補償画像信号316を出力する。演算部314は、差分画像信号313と動き補償画像信号316を加算し、復号画像信号319を出力する。画像メモリ318は、復号画像信号319を入力し、蓄積する。そこで、画像領域指定情報320を受けると、蓄積している復号画像信号319のうち指定された特定復号画像信号317を動き補償部315に出力する。
(実施の形態2の変形例1)
実施の形態2は実用上の範囲内で次のような変形例が考えられる。
画質劣化予測部308で予測した、画質劣化予測情報310により、図14(b)で示す手段を用いる範囲を定めてもよい。
例えば、画像メモリ318に蓄積する復号画像信号319と、画面表示する復号画像信号319をそれぞれ別々に用意する場合、画面表示用の復号画像信号319を出力する場合には、図14(b)で示す手段を用い、画像メモリ318に蓄積する復号画像信号319を出力する場合には、図14(a)で示す手段を用いてもよい。
実施の形態2は実用上の範囲内で次のような変形例が考えられる。
画質劣化予測部308で予測した、画質劣化予測情報310により、図14(b)で示す手段を用いる範囲を定めてもよい。
例えば、画像メモリ318に蓄積する復号画像信号319と、画面表示する復号画像信号319をそれぞれ別々に用意する場合、画面表示用の復号画像信号319を出力する場合には、図14(b)で示す手段を用い、画像メモリ318に蓄積する復号画像信号319を出力する場合には、図14(a)で示す手段を用いてもよい。
この場合、画質劣化予測の精度が悪い場合であっても、その影響は、画面表示の1フレームだけになり、次のフレームを復号するときに用いる、画像メモリ318内の復号画像信号には、影響しない。
一方、符号化側で画質劣化予測が行われることを前提に符号化されている符号化ストリームである場合、符号化側で予測した、動き補償画像信号と、復号側の動き補償部315から得られる動き補償画像信号316が異なり、次のフレームの復号画像信号に悪い影響を及ぼすことがある。
一方、符号化側で画質劣化予測が行われることを前提に符号化されている符号化ストリームである場合、符号化側で予測した、動き補償画像信号と、復号側の動き補償部315から得られる動き補償画像信号316が異なり、次のフレームの復号画像信号に悪い影響を及ぼすことがある。
この場合、画面表示用の復号画像信号319を出力する場合に、図14(a)の手段を、画像メモリ318に蓄積する復号画像信号319を出力する場合に、図14(b)の手段をそれぞれ用いてもよい。これにより、次のフレームの復号画像信号の画質を改善することができる。
なお、画面表示用の復号信号と画像メモリ蓄積用の復号信号の両方に、図14(b)の手段を用いてもよい。
なお、画面表示用の復号信号と画像メモリ蓄積用の復号信号の両方に、図14(b)の手段を用いてもよい。
この場合、復号画像信号の生成を一度にすることで、処理量を削減することができる。
また、符号化時に画質劣化予測を行ったかどうかの情報を付加情報として、送っておいてもよい。符号化情報に、符号化側で画質劣化予測が行われたかどうかを示す付加情報が含まれている場合には、その情報に合わせた動作を行う。
その場合、復号時に、図14(a)の手段を用いるか、図14(b)の手段を用いるかを、付加情報に基づいて判断することができる。これにより、復号画質を改善することができる。例えば、符号化時に画質劣化予測が行われていない場合に上記の処理を加えないことで、上記の処理が適さない場合の復号画質を改善することができる。
また、符号化時に画質劣化予測を行ったかどうかの情報を付加情報として、送っておいてもよい。符号化情報に、符号化側で画質劣化予測が行われたかどうかを示す付加情報が含まれている場合には、その情報に合わせた動作を行う。
その場合、復号時に、図14(a)の手段を用いるか、図14(b)の手段を用いるかを、付加情報に基づいて判断することができる。これにより、復号画質を改善することができる。例えば、符号化時に画質劣化予測が行われていない場合に上記の処理を加えないことで、上記の処理が適さない場合の復号画質を改善することができる。
また、画質劣化予測情報310により画質の劣化が予測される場合、画質の劣化が予測される復号画像の領域に対して平滑化フィルタを適用してもよい。
これにより、復号画像に対して、適切に平滑化フィルタを適用し、復号画質を改善することができる。
(実施の形態2の変形例2)
上記実施の形態では、変調度合は、画質劣化予測情報310から作成される(例えば、画質劣化予測情報310と変調度合とを関連付けるテーブルを参照するなど)と説明したが、変調度合が符号化されている場合には、変調度合は、変調度合を含む復号量子化制御情報304から取得されてもよい。
これにより、復号画像に対して、適切に平滑化フィルタを適用し、復号画質を改善することができる。
(実施の形態2の変形例2)
上記実施の形態では、変調度合は、画質劣化予測情報310から作成される(例えば、画質劣化予測情報310と変調度合とを関連付けるテーブルを参照するなど)と説明したが、変調度合が符号化されている場合には、変調度合は、変調度合を含む復号量子化制御情報304から取得されてもよい。
(実施の形態3)
さらに、上記各実施の形態で示した動画像符号化方法及び動画像復号方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
さらに、上記各実施の形態で示した動画像符号化方法及び動画像復号方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図15は、上記各実施の形態の動画像符号化方法及び動画像復号方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図15(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図15(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。
図15(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図15(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。
また、図15(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。動画像符号化方法及び動画像復号方法を実現する上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化方法及び動画像復号方法を実現する上記動画像符号化方法及び動画像復号方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。
(実施の形態4)
さらにここで、上記実施の形態で示した動画像符号化方法及び動画像復号方法の応用例とそれを用いたシステムを説明する。
(実施の形態4)
さらにここで、上記実施の形態で示した動画像符号化方法及び動画像復号方法の応用例とそれを用いたシステムを説明する。
図16は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
しかし、コンテンツ供給システムex100は図16のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband−Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband−Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を上記実施の形態同様に符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化装置あるいは画像復号装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図17は、上記実施の形態で説明した動画像符号化方法及び動画像復号方法を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
その一例として携帯電話について説明する。
図17は、上記実施の形態で説明した動画像符号化方法及び動画像復号方法を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex115について図18を用いて説明する。携帯電話ex115は表示部ex202及び操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306及び音声処理部ex305が同期バスex313を介して互いに接続されている。
電源回路部ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。
携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303及びLCD制御部ex302を介して表示部ex202に直接表示することも可能である。
画像符号化部ex312は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex203から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。
次に、画像復号化部ex309は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図19に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に画像復号化装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408で表示することができる。
なお、カーナビゲーションex413の構成は例えば図18に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
このように、上記実施の形態で示した動画像符号化方法及び動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、上記実施形態で図を用いて説明した符号化装置、復号化装置において、各機能ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
また、上記実施形態で図を用いて説明した符号化装置、復号化装置において、各機能ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
具体的には、図1や図2における各ブロックは、1チップ化されても良い。この際、画像メモリ122は、別体として外部に接続されるものであっても良い。
また、図13における各ブロックは、1チップ化されても良い。この際、画像メモリ318は、別体として外部に接続されるものであっても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、図13における各ブロックは、1チップ化されても良い。この際、画像メモリ318は、別体として外部に接続されるものであっても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、上記実施形態で図を用いて説明した各機能ブロックの処理の一部又は全部は、プログラムにより実現されるものであってもよい。この場合、具体的な処理は、例えば、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
本発明にかかる動画像符号化方法及び動画像復号方法は、低ビットレートで高画質な符号化と復号ができるという効果を有し、蓄積、伝送、通信等における動画像符号化方法及び動画像復号方法などとして有用である。
100 符号化装置
101 入力画像信号
102 演算部
103 直交変換部
104 量子化部
105 可変長符号化部
106 符号化ストリーム
107 逆量子化部
108 逆直交変換部
109 演算部
110 予測画像生成部
111 動きベクトル検出部
112a 動き検出用画像信号
112b 第1の動き関連情報
113 予測画像信号
114 符号化モード関連情報
115 復号画像信号
116 量子化制御部
117 量子化制御信号
118 符号量カウンタ
119 符号量情報
120 符号化モード決定部
121 画面内予測画像生成部
122 画像メモリ部
123 画面間予測画像生成部
124 特定復号画像信号
125 符号化モード選択部
126 画面間予測符号化モード情報
127 画面間予測情報
128 画面内予測情報
129 画面内予測符号化モード情報
130 画像領域指定情報
201 画質劣化予測部
202 画質劣化予測情報
203 第2の動き関連情報
ORG 入力画像フレーム
REF 参照画像フレーム
BLK1 入力画像ブロック
BLK2 参照画像ブロック
MV 動きベクトル
P1 参照画像フレーム
P2 参照画像フレーム
P3 入力画像フレーム
P4 画面間予測画像フレーム
R1 参照領域
R2 参照領域
R3 参照領域
R4 参照領域
R5 動き検出対象領域
R6 動き検出対象領域
R7 動き検出対象領域
R8 動き補償領域
300 復号装置
301 符号化ストリーム
302 可変長復号部
303 復号係数情報
304 復号量子化制御情報
305 動き関連情報
306 逆量子化部
307 量子化制御部
308 画質劣化予測部
309 量子化制御情報
310 画質劣化予測情報
311 係数情報
312 逆直交変換部
313 差分画像信号
314 演算部
315 動き補償部
316 動き補償画像信号
317 特定復号画像信号
318 画像メモリ
319 復号画像信号
320 画像領域指定情報
Cs コンピュータ・システム
FD フレキシブルディスク
FDD フレキシブルディスクドライブ
101 入力画像信号
102 演算部
103 直交変換部
104 量子化部
105 可変長符号化部
106 符号化ストリーム
107 逆量子化部
108 逆直交変換部
109 演算部
110 予測画像生成部
111 動きベクトル検出部
112a 動き検出用画像信号
112b 第1の動き関連情報
113 予測画像信号
114 符号化モード関連情報
115 復号画像信号
116 量子化制御部
117 量子化制御信号
118 符号量カウンタ
119 符号量情報
120 符号化モード決定部
121 画面内予測画像生成部
122 画像メモリ部
123 画面間予測画像生成部
124 特定復号画像信号
125 符号化モード選択部
126 画面間予測符号化モード情報
127 画面間予測情報
128 画面内予測情報
129 画面内予測符号化モード情報
130 画像領域指定情報
201 画質劣化予測部
202 画質劣化予測情報
203 第2の動き関連情報
ORG 入力画像フレーム
REF 参照画像フレーム
BLK1 入力画像ブロック
BLK2 参照画像ブロック
MV 動きベクトル
P1 参照画像フレーム
P2 参照画像フレーム
P3 入力画像フレーム
P4 画面間予測画像フレーム
R1 参照領域
R2 参照領域
R3 参照領域
R4 参照領域
R5 動き検出対象領域
R6 動き検出対象領域
R7 動き検出対象領域
R8 動き補償領域
300 復号装置
301 符号化ストリーム
302 可変長復号部
303 復号係数情報
304 復号量子化制御情報
305 動き関連情報
306 逆量子化部
307 量子化制御部
308 画質劣化予測部
309 量子化制御情報
310 画質劣化予測情報
311 係数情報
312 逆直交変換部
313 差分画像信号
314 演算部
315 動き補償部
316 動き補償画像信号
317 特定復号画像信号
318 画像メモリ
319 復号画像信号
320 画像領域指定情報
Cs コンピュータ・システム
FD フレキシブルディスク
FDD フレキシブルディスクドライブ
Claims (25)
- 動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し、入力画像を符号化する動画像符号化方法において、
前記フレーム間の動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測工程と、
前記画質劣化度合から、符号化により発生する符号量の配分方法を変える符号量配分工程と、
を備えることを特徴とする動画像符号化方法。 - 前記画質劣化予測工程は、前記符号化画像が周囲と異なる動きをする場合に前記画質劣化度合が高いと判断し、前記符号化画像が周囲と同じ動きをする場合に前記画質劣化度合が低いと判断すること、
を特徴とする請求項1に記載の動画像符号化方法。 - 前記符号量配分工程は、あらかじめ定められた複数の符号化モード候補から、符号化モードの選択を行う工程であって、
前記符号化モード候補毎の発生符号量を算出する発生符号量算出工程と、前記符号化モード候補毎の符号化画像と前記入力画像との違いである入力画像差異量を算出する入力画像差異量算出工程と、前記画質劣化度合と前記発生符号量と前記入力画像差異量とに基づいて前記符号化モードの選択を行う符号化モード選択工程とを有すること、
を特徴とする請求項1または請求項2に記載の動画像符号化方法。 - 前記符号量配分工程は、前記画質劣化度合が高い場合には、量子化精度を高く設定し、前記画質劣化度合が低い場合には、量子化精度を低く設定する量子化制御工程と、設定された前記量子化精度により、量子化を行う量子化工程とを有すること、
を特徴とする請求項1または請求項2に記載の動画像符号化方法。 - 前記符号量配分工程は、前記画質劣化度合が高い場合には、量子化精度を高く設定し、前記画質劣化度合が低い場合には、量子化精度を低く設定する量子化制御工程と、設定された前記量子化精度により、量子化を行う量子化工程とをさらに有し、
前記符号化モード選択工程は、前記量子化制御工程によって、量子化精度を変えた場合の前記画質劣化度合と前記発生符号量と前記入力画像差異量とに基づいて前記符号化モードの選択を行うこと、
を特徴とする請求項3に記載の動画像符号化方法。 - 前記符号量配分工程は、前記画質劣化度合が高いと判断された場合には、符号量の配分を高くし、前記画質劣化度合が低いと判断された場合には、符号量の配分を低くする、
請求項2に記載の動画像符号化方法。 - 予測画像を生成し入力画像を符号化する、動画像符号化方法において、
前記入力画像から、前記予測画像を減算し、差分画像を出力する、減算工程と、
前記差分画像を直交変換し、変換係数を出力する、直交変換工程と、
前記変換係数を係数変調し、変調係数を出力する、係数変調工程と、
前記係数変調の度合を表す複数の変調モード候補を切り換える、変調モード選択工程と、
前記変調係数を量子化し、量子化情報を出力する、量子化工程と、
前記量子化情報を可変長符号化し、符号化ストリームを出力する、可変長符号化工程と、
を備え、
前記係数変調工程は、前記変換係数の高周波成分を表す係数の値を小さくする係数変調を、前記係数変調の度合に応じて異なる変調モードによって行い、
前記変調モードは、前記変調モード候補毎の発生符号量と、前記変調モード候補毎の入力画像差異量とから決められること、
を特徴とする動画像符号化方法。 - 前記可変長符号化工程は、前記変調モードの選択情報を可変長符号化すること、
を特徴とする請求項7に記載の動画像符号化方法。 - 前記係数変調工程は、符号化の処理単位毎に異なる前記変調モードを選択できること、
を特徴とする請求項7または請求項8に記載の動画像符号化方法。 - 符号化された動画像符号化ストリームを復号する、動画像復号方法において、
前記動画像符号化ストリームを可変長復号し、量子化情報と動き情報とを出力する、可変長復号工程と、
前記量子化情報を逆量子化し、変換係数を出力する、逆量子化工程と、
前記変換係数を逆直交変換する、逆直交変換工程と、
前記動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測工程と、
前記画質劣化度合が高い場合には、画質改善を行う画質改善工程と、
を備えることを特徴とする動画像復号方法。 - 前記画質改善工程は、前記逆直交変換工程によって得られる、差分情報の高周波成分を大きくすること、
を特徴とする請求項10に記載の動画像復号方法。 - 前記画質改善工程は、前記画質劣化度合が高い領域の復号画像に平滑化フィルタをかけること、
を特徴とする請求項10に記載の動画像復号方法。 - 動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し、入力画像を符号化する動画像符号化装置において、
前記フレーム間の動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測器と、
前記画質劣化度合から、符号化により発生する符号量の配分方法を変える符号量配分器と、
を備え、
前記画質劣化予測器は、前記符号化画像が周囲と異なる動きをする場合に前記画質劣化度合が高いと判断し、前記符号化画像が周囲と同じ動きをする場合に前記画質劣化度合が低いと判断すること、
を特徴とする動画像符号化装置。 - 前記符号量配分器は、前記画質劣化度合が高いと判断された場合には、符号量の配分を高くし、前記画質劣化度合が低いと判断された場合には、符号量の配分を低くする、
請求項13に記載の動画像符号化装置。 - 予測画像を生成し入力画像を符号化する、動画像符号化装置において、
前記入力画像から、前記予測画像を減算する減算器と、
前記減算器によって得られる、差分画像を直交変換する直交変換器と、
前記直交変換器によって得られる、変換係数を係数変調する係数変調器と、
前記係数変調器によって得られる、変調係数を量子化する量子化器と、
前記量子化器によって得られる、量子化情報を可変長符号化する可変長符号化器と、
を備え、
前記係数変調器は、符号化の処理単位毎に、前記変換係数の高周波成分を表す係数の値を小さくする係数変調を、前記係数変調の度合に応じて異なる変調モードによって行い、
前記変調モードは、前記係数変調の度合を表す複数の変調モード候補から、前記変調モード候補毎の発生符号量と前記変調モード候補毎の入力画像差異量とに基づいて選択されること、
を特徴とする動画像符号化装置。 - 符号化された動画像符号化ストリームを復号する、動画像復号装置において、
前記動画像符号化ストリームを可変長復号する可変長復号器と、
前記可変長復号器によって得られる、量子化情報を逆量子化する逆量子化器と、
前記逆量子化器によって得られる、変換係数を逆直交変換する、逆直交変換器と、
前記可変長復号器によって得られる動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測器と、
前記画質劣化度合が高い場合には、画質改善を行う画質改善器と、
を備えることを特徴とする動画像復号装置。 - コンピュータにより、動画像符号化を行うための動画像符号化プログラムであって、
前記動画像符号化プログラムは、
動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し、入力画像を符号化する動画像符号化方法において、
前記フレーム間の動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測工程と、
前記画質劣化度合から、符号化により発生する符号量の配分方法を変える符号量配分工程と、
を備えることを特徴とする動画像符号化方法を、コンピュータに行わせるものであること、
を特徴とする動画像符号化プログラム。 - 前記画質劣化予測工程は、前記符号化画像が周囲と異なる動きをする場合に前記画質劣化度合が高いと判断し、前記符号化画像が周囲と同じ動きをする場合に前記画質劣化度合が低いと判断し、
前記符号量配分工程は、前記画質劣化度合が高いと判断された場合には、符号量の配分を高くし、前記画質劣化度合が低いと判断された場合には、符号量の配分を低くする、
請求項17に記載の動画像符号化プログラム。 - コンピュータにより、動画像符号化を行うための動画像符号化プログラムであって、
前記動画像符号化プログラムは、
予測画像を生成し入力画像を符号化する、動画像符号化方法において、
前記入力画像から、前記予測画像を減算する減算工程と、
前記減算工程によって得られる、差分画像を直交変換する直交変換工程と、
前記直交変換工程によって得られる、変換係数を係数変調する係数変調工程と、
前記係数変調工程によって得られる、変調係数を量子化する量子化工程と、
前記量子化工程によって得られる、量子化情報を可変長符号化する可変長符号化工程と
を備え、
前記係数変調工程は、前記変換係数の高周波成分を表す係数の値を小さくする係数変調を、前記係数変調の度合によって異なる変調モードによって行い、
前記変調モードは、前記係数変調の度合を表す複数の変調モード候補から、前記変調モード候補毎の発生符号量と前記変調モード候補毎の入力画像差異量とに基づいて選択されること、
を特徴とする動画像符号化方法を、コンピュータに行わせるものであること、
を特徴とする動画像符号化プログラム。 - コンピュータにより、動画像復号を行うための動画像復号プログラムであって、
前記動画像復号プログラムは、
符号化された動画像符号化ストリームを復号する、動画像復号方法において、
前記動画像符号化ストリームを可変長復号する可変長復号工程と、
前記可変長復号工程によって得られる、量子化情報を逆量子化する逆量子化工程と、
前記逆量子化工程によって得られる、変換係数を逆直交変換する逆直交変換工程と、
前記可変長復号工程によって得られる動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測工程と、
前記画質劣化度合が高い場合には、画質改善を行う画質改善工程と、
を備えることを特徴とする動画像復号方法を、コンピュータに行わせるものであること、
を特徴とする動画像復号プログラム。 - 動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し、入力画像を符号化する集積回路装置において、
前記フレーム間の動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測部と、
前記画質劣化度合から、符号化により発生する符号量の配分方法を変える符号量配分部と、
を備え、
前記画質劣化予測部は、前記符号化画像が周囲と異なる動きをする場合に前記画質劣化度合が高いと判断し、前記符号化画像が周囲と同じ動きをする場合に前記画質劣化度合が低いと判断すること、
を特徴とする集積回路装置。 - 前記符号量配分部は、前記画質劣化度合が高いと判断された場合には、符号量の配分を高くし、前記画質劣化度合が低いと判断された場合には、符号量の配分を低くする、
請求項21に記載の集積回路装置。 - 予測画像を生成し入力画像を符号化する、集積回路装置において、
前記入力画像から、前記予測画像を減算する減算部と、
前記減算部によって得られる、差分画像を直交変換する直交変換部と、
前記直交変換部によって得られる、変換係数を係数変調する係数変調部と、
前記係数変調部によって得られる、変調係数を量子化する量子化部と、
前記量子化部によって得られる、量子化情報を可変長符号化する可変長符号化部と、
を備え、
前記係数変調部は、符号化の処理単位毎に、前記変換係数の高周波成分を表す係数の値を小さくする係数変調を、前記係数変調の度合に応じて異なる変調モードによって行い、
前記変調モードは、前記係数変調の度合を表す複数の変調モード候補から、前記変調モード候補毎の発生符号量と前記変調モード候補毎の入力画像差異量とに基づいて選択されること、
を特徴とする集積回路装置。 - 符号化された動画像符号化ストリームを復号する、集積回路装置において、
前記動画像符号化ストリームを可変長復号する可変長復号部と、
前記可変長復号部によって得られる、量子化情報を逆量子化する逆量子化部と、
前記逆量子化部によって得られる、変換係数を逆直交変換する、逆直交変換部と、
前記可変長復号部によって得られる動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測部と、
前記画質劣化度合が高い場合には、画質改善を行う画質改善部と、
を備えることを特徴とする集積回路装置。 - 動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し入力画像を符号化した符号化ストリームのデータ構造であって、
入力画像を複数に分割した分割領域毎に生成される情報であって、前記動き情報と、前記入力画像と前記予測画像との差分情報と、を含む処理単位情報を複数含み、
前記処理単位情報の差分情報の符号量は、前記処理単位情報が含む前記動き情報と周囲の前記処理単位情報が含む前記動き情報との差異に応じた符号量である、
符号化ストリームのデータ構造。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005119668A JP2005341545A (ja) | 2004-04-28 | 2005-04-18 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004132848 | 2004-04-28 | ||
JP2005119668A JP2005341545A (ja) | 2004-04-28 | 2005-04-18 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005341545A true JP2005341545A (ja) | 2005-12-08 |
Family
ID=35494542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005119668A Withdrawn JP2005341545A (ja) | 2004-04-28 | 2005-04-18 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005341545A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008035134A (ja) * | 2006-07-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 画像符号化装置 |
JP2011151546A (ja) * | 2010-01-20 | 2011-08-04 | Mega Chips Corp | 画像符号化装置及び画像変換装置 |
-
2005
- 2005-04-18 JP JP2005119668A patent/JP2005341545A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008035134A (ja) * | 2006-07-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 画像符号化装置 |
US8144789B2 (en) | 2006-07-27 | 2012-03-27 | Panasonic Corporation | Picture coding apparatus |
JP2011151546A (ja) * | 2010-01-20 | 2011-08-04 | Mega Chips Corp | 画像符号化装置及び画像変換装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4767991B2 (ja) | 画像符号化方法および画像符号化装置 | |
KR100985236B1 (ko) | 움직임 보상 방법, 화상 부호화 방법 및 화상 복호화 방법 | |
KR100743818B1 (ko) | 화상 부호화 방법 및 화상 복호화 방법 | |
KR101040872B1 (ko) | 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 | |
JP2008187734A (ja) | フィルタリング強度決定方法 | |
JP4440572B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2011091846A (ja) | 画像復号化方法、画像復号化装置および記憶媒体 | |
JP2005277968A (ja) | 画像符号化方法および画像復号化方法 | |
JP4580626B2 (ja) | フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法 | |
JP4495013B2 (ja) | 動画符号化装置 | |
JP2005341545A (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム | |
JP2005142986A (ja) | 動画像符号化方法、動画像符号化装置および動画像符号化プログラム | |
JP4580901B2 (ja) | フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法 | |
JP4580902B2 (ja) | フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法 | |
JP4406239B2 (ja) | 動き補償方法および動き補償装置 | |
JP4580903B2 (ja) | フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法 | |
JP4503959B2 (ja) | 画像符号化方法 | |
JP2007049746A (ja) | 動画像の符号化方法および復号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080212 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080212 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090911 |