JP2006129248A - 画像符号化方法および装置、ならびに画像復号方法および装置 - Google Patents

画像符号化方法および装置、ならびに画像復号方法および装置 Download PDF

Info

Publication number
JP2006129248A
JP2006129248A JP2004316734A JP2004316734A JP2006129248A JP 2006129248 A JP2006129248 A JP 2006129248A JP 2004316734 A JP2004316734 A JP 2004316734A JP 2004316734 A JP2004316734 A JP 2004316734A JP 2006129248 A JP2006129248 A JP 2006129248A
Authority
JP
Japan
Prior art keywords
image
information
roi
region
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004316734A
Other languages
English (en)
Inventor
Kazuhiko Takeda
和彦 武田
Shigeyuki Okada
茂之 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2004316734A priority Critical patent/JP2006129248A/ja
Priority to US11/718,211 priority patent/US20090208122A1/en
Priority to PCT/JP2005/019582 priority patent/WO2006046550A1/ja
Priority to TW94137599A priority patent/TWI278241B/zh
Publication of JP2006129248A publication Critical patent/JP2006129248A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 画像の一部に領域が指定される場合に、符号量の増加を抑制しながら、指定された領域を生かした種々の処理を復号側で実現する。
【解決手段】 画像符号化装置100において、ROI設定部20は、画像内にROI領域を設定する。ROI情報符号化部24は、ROI領域を特定するための情報を、フレーム間の差分情報を参照して符号化する。エントロピー符号化部14は、画像をエントロピー符号化する。符号化ストリーム生成部16は、符号化した画像と、符号化した注目領域を特定するための情報を含めて、符号化ストリームを生成する。
【選択図】 図1

Description

この発明は画像符号化技術、画像復号技術に関し、とくに画像の一部の領域を優先的に復号できるよう、符号化する方法および装置、それを復号する方法および装置に関する。
ISO/ITU−Tにおいて、静止画像の圧縮符号化の標準技術であるJPEG(Joint Photographic Expert Group)の後継として、離散ウェーブレット変換(DWT)を用いたJPEG2000が標準化されている。JPEG2000では、低ビットレート符号化からロスレス圧縮まで広範囲の画質を高性能で符号化することができ、画質を徐々に高めるスケーラビリティ機能も実現が容易である。また、JPEG2000には、従来のJPEG標準にはなかった多様な機能が用意されている。
JPEG2000の機能の一つとして、画像の注目領域(Region of Interest;ROI)を他の領域よりも優先して符号化し、伝送するROI符号化が規格化されている。ROI符号化により、符号化レートに上限がある場合に、注目領域の再生画質を優先的に高品質にすることができる他、符号化ストリームを順に復号する際に、注目領域を早期に高品質で再生することができるようになる。
特許文献1は、操作者が指定した重要な範囲の画像に対して、符号化の際に、重点的に画質向上を図る技術を開示する。
特開平7−203434号公報
しかしながら、上記特許文献1は、指定された範囲とそれ以外の範囲の画像を、それぞれ指定された画質で符号化しているため、復号する際、その画質で制限されてしまい、種々の解像度で復号することが難しかった。また、例えば指定された範囲のみを再生するといった再生処理を実現することも困難であった。
本発明はこうした課題に鑑みてなされたものであり、その目的は、画像の一部に領域が指定される場合に、それによる符号量の増加を抑制しながら、指定された領域を生かした種々の処理を復号側で実現することができる画像符号化方法および装置、ならびに画像復号方法および装置を提供することにある。
上記課題を解決するために、本発明のある態様の画像符号化方法は、画像上に定義された注目領域を特定するための情報を、フレーム間をまたいで生成した差分情報として符号化する。その注目領域を特定するための情報を画像の符号化データを含む符号化ストリーム内に記述してもよい。「差分情報」は、注目領域の位置、大きさ、および形状の少なくとも一つを、フレーム間の変化量で示したものであってもよい。また、各フレームにおける注目領域の位置、大きさ、および形状を表す値の少なくとも一つの平均値と、符号化対象のフレームのそれらの対応する値との差分であってもよい。もしくは、注目領域の位置、大きさ、および形状を表す値の少なくとも一つのフレーム間の変化量の平均値と、符号化対象のフレームにおけるフレーム間の対応する値の変化量との差分であってもよい。さらに、フレーム間の変化量の平均値と、各フレームにおける注目領域の位置、大きさ、および形状を表す値の少なくとも一つとの差分であってもよい。これらは、注目領域が大きく拡大縮小する場合などに有効である。「画像上に定義された注目領域を特定するための情報」を、時間に対する関数として符号化してもよい。注目領域が一定の規則性を持って変化する場合などに有効である。「注目領域を特定するための情報」には、画像内に複数の注目領域が設定された場合、その優先度が含まれてもよい。この「優先度」は、当該情報を記述する順番で示されてもよい。
この態様によると、画像上に注目領域が定義される場合に、それを特定するための情報を、フレーム間をまたいで生成した差分情報として符号化して、符号化ストリーム内に記述することにより、その情報の符号量を低減することができる。
本発明の別の態様もまた、画像符号化方法である。この方法は、画像上に定義された領域の形状を特定するための情報を、フレーム間をまたいで生成した差分情報として符号化する。その形状を特定するための情報を画像の符号化データを含む符号化ストリーム内に記述してもよい。「設定された領域」は、オブジェクトでもよい。
この態様によると、画像上に定義された領域の形状が変化する場合に、フレーム間をまたいで生成した差分情報として符号化することにより、形状を特定するための情報の符号量を低減することができる。
本発明のさらに別の態様は、画像符号化装置である。この装置は、画像上に注目領域を定義する注目領域設定部と、画像を符号化する画像符号化部と、注目領域を特定するための情報を、フレーム間をまたいで生成した差分情報として符号化する注目領域情報符号化部と、符号化した画像と、符号化した注目領域を特定するための情報を含めて、符号化ストリームを生成する符号化ストリーム生成部と、を備える。「注目領域設定部」は、ユーザの指定により、またはオブジェクトなどを自動認識することにより、画像上に注目領域を定義してもよい。
この態様によると、画像上に注目領域が定義される場合に、それを特定するための情報を、フレーム間をまたいで生成した差分情報として符号化して、符号化ストリーム内に記述することにより、その情報およびそれが含まれる符号化ストリームの符号量を低減することができる。
本発明のさらに別の態様もまた、画像符号化装置である。この装置は、画像上に領域を定義する領域設定部と、画像を符号化する画像符号化部と、領域の形状を特定するための情報を、フレーム間をまたいで生成した差分情報として符号化する形状情報符号化部と、符号化した画像と、符号化した形状を特定するための情報を含めて、符号化ストリームを生成する符号化ストリーム生成部と、を備える。
この態様によると、画像上に定義された領域の形状が変化する場合に、フレーム間をまたいで生成した差分情報として符号化することにより、形状情報およびそれが含まれる符号化ストリームの符号量を低減することができる。
本発明のさらに別の態様は、画像復号方法である。この方法は、フレーム間をまたいで生成した差分情報として符号化された、画像上に定義された注目領域を特定するための情報を復号し、その情報を参照して、画像を符号化した符号化ストリームから注目領域を含む領域を復号する。「注目領域を含む領域」は、注目領域、注目領域とその周辺領域を含む領域、または画像全体の領域であってもよい。
この態様によると、符号化ストリーム内に記述された前記情報を参照して、注目領域に関する各種の処理を実現させることができる。その際、フレーム間をまたいで生成した差分情報として号化された情報を復号して行うことにより、符号量が低減された符号化ストリームを実現することができる。
本発明のさらに別の態様もまた、画像復号方法である。この方法は、フレーム間をまたいで生成した差分情報として符号化された、画像上に定義された領域の形状情報を復号し、その情報を参照して、前記画像の符号化データを含む符号化ストリームから前記定義された領域を含む領域を復号する。
この態様によると、符号化ストリーム内に記述された前記情報を参照して、設定された領域に関する各種の処理を実現させることができる。その際、フレーム間をまたいで生成した差分情報として符号化された情報を復号して行うことにより、符号量が低減された符号化ストリームを実現することができる。
本発明のさらに別の態様は、画像復号装置である。この装置は、フレーム間をまたいで生成した差分情報として符号化された、画像上に定義に設定された注目領域を特定するための情報を復号する注目領域情報復号部と、復号した情報を参照して、画像の符号化データを含む符号化ストリームから注目領域を含む領域を復号する画像復号部と、を備える。
この態様によると、符号化ストリーム内に含まれる前記情報を参照して、注目領域に関する各種の処理を実現させる装置を提供することができる。その際、フレーム間をまたいで生成した差分情報として符号化された情報を復号して行うことにより、符号量が低減された符号化ストリームを実現することができる。
本発明のさらに別の態様もまた、画像復号装置である。この装置は、フレーム間をまたいで生成した差分情報として符号化された、画像上に定義された領域の形状を特定するための情報を復号する形状情報復号部と、復号した情報を参照して、画像の符号化データを含む符号化ストリームから定義された領域を含む領域を復号する画像復号部と、を備える。
この態様によると、符号化ストリーム内に含まれる前記情報を参照して、設定された領域に関する各種の処理を実現させる装置を提供することができる。その際、フレーム間をまたいで生成した差分情報として符号化された情報を復号して行うことにより、符号量が低減された符号化ストリームを実現することができる。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、画像の一部に領域が指定される場合に、それによる符号量の増加を抑制しながら、指定された領域を生かした種々の処理を復号側で実現することができる。
実施の形態1
図1は、実施の形態1に係る画像符号化装置100の構成図である。画像符号化装置100の構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリのロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
画像符号化装置100は、入力された原画像を一例としてJPEG2000方式により圧縮符号化する。画像符号化装置100に入力される原画像は、動画像のフレームである。画像符号化装置100は、動画像の各フレームをJPEG2000方式で連続的に符号化して、動画像の符号化ストリームを生成することができる。
ウェーブレット変換部10は、入力された原画像をサブバンド分割して、各サブバンド画像のウェーブレット変換係数を計算し、階層化されたウェーブレット変換係数を生成する。具体的には、ウェーブレット変換部10は、原画像のx、yそれぞれの方向においてローパスフィルタおよびハイパスフィルタを適用し、4つの周波数サブバンドへ分割してウェーブレット変換する。これらのサブバンドは、x、yの両方向において低周波成分を有するLLサブバンドと、x、yのいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するHLおよびLHサブバンドと、x、yの両方向において高周波成分を有するHHサブバンドである。各サブバンドの縦横の画素数は処理前の画像のそれぞれ1/2であり、一回のフィルタリングで解像度、すなわち画像サイズが1/4のサブバンド画像が得られる。
ウェーブレット変換部10は、こうして得られたサブバンドのうち、LLサブバンドに対して再度フィルタリング処理を行って、これをさらにLL、HL、LH、HHの4つのサブバンドに分割してウェーブレット変換する。ウェーブレット変換部10は、このフィルタリングを所定の回数行って、原画像をサブバンド画像に階層化し、各サブバンドのウェーブレット変換係数を出力する。量子化部12は、ウェーブレット変換部10から出力されたウェーブレット変換係数を所定の量子化幅で量子化する。
エントロピー符号化部14は、量子化部12により量子化された量子化値をエントロピー符号化する。例えば、上位ビットブレーンから順にスキャンしながら符号化する。このように、エントロピー符号化部14の符号化対象は原画像であり、画像符号化部として機能する。
ROI設定部20は、原画像の一部の領域にROI領域を設定する。ROI領域の形状は、矩形、丸、その他の複雑な形であってもよい。その形状は、固定でも動的に変化するものであってもよい。例えば、画像の中心部分と周辺部分とでROI領域の形状を変化させてもよい。また、ROI領域は、一枚の画像に複数設定されてもよい。
このようなROI領域をユーザが手動で設定してもよいし、システムが動きのある領域などを自動認識して、設定してもよい。具体的には、ユーザまたはシステムは、ROI領域の位置、大きさ、形状、複数設定される場合の優先順位などを、初期値としてROI設定部20に設定する。なお、ユーザがオブジェクトを指定した場合、もしくはシステムが自動認識した場合、ROI設定部20がそのオブジェクトを含む所定の範囲をROI領域に自動設定してもよい。ユーザまたはシステムは、動画像の場合、フレーム毎にROI領域を設定してもよいし、始めにROI領域を指定し、以後、そのROI領域内のオブジェクトの動きにROI領域を追従させてもよい。これは、オブジェクトの動きベクトルを検出することにより実現することができる。
ROI設定部20は、ROI領域の開始位置、大きさなど、ROI領域を特定するための情報(以下、ROI情報という。)をROI予測処理部22に出力する。上述した追従処理を行う場合、オブジェクトの動きベクトルを基に設定したROI領域の動きベクトルを出力してもよい。
ROI予測処理部22は、ROI情報に対して、フレーム間予測処理を行う。ROI予測処理部22は、ROI情報を記憶するためのメモリを備え、例えば、そこに基準となるフレームのROI情報を記憶し、現フレームとの差分情報を算出する。
図2は、ROI領域の遷移の一例を示す図である。図2(a)は、画像内にROI領域Rが設定された状態を示す。このROI領域Rは、長方形であるため、左上の頂点座標と、水平方向の大きさ、および垂直方向の大きさで表現することができる。ここでは、これを、座標(A,B)、大きさ(X,Y)と表記する。まず、ROI予測処理部22は、これらの情報をROI情報として、ROI情報符号化部24に出力するとともに、上記メモリに記憶する。このフレームが、次のフレームに対する基準となる。
図2(b)は、図2(a)に示したフレームの次のフレームを示し、ROI領域Rが移動した状態を示す。ここで、画像内において、ROI領域Rが右にM1画素分移動した。このROI領域RのROI情報を上記と同様の手法により表現すると、座標(A+M1,B)、大きさ(X,Y)と表記することになる。この点、ROI予測処理部22は、上記メモリに記憶された前フレームのROI情報を利用して、その差分で現フレームのROI情報を表現することができる。例えば、現フレーム内で生成したROI情報から前フレームのROI情報を引くと、座標Δ(M1,0)、大きさΔ(0,0)と表現することができる。ROI予測処理部22は、このROI情報をROI情報符号化部24に再び出力するとともに、上記メモリに記憶する。
図2(c)は、図2(b)に示したフレームの次のフレームを示し、ROI領域Rが移動し、ROI領域R自体の形状が変化した状態を示す。ここで、画像内において、ROI領域Rが下にN2画素分移動し、ROI領域Rが水平方向にM2画素分大きくなった。ROI予測処理部22は、上記メモリに記憶された前フレームのROI情報を利用して、上記と同様の手法で現フレームのROI情報を表現すると、座標Δ(0,−N2)、大きさΔ(M2,0)と表現することができる。ROI予測処理部22は、このROI情報をROI情報符号化部24に再び出力するとともに、上記メモリに記憶する。
このように、フレーム間予測処理を利用すると、0およびその近傍の値の出現頻度が高くなり、ROI情報に統計的偏りを持たせることができる。このようなROI情報を、後述するROI情報符号化部24でエントロピー符号化を行えば、その符号量を削減することができる。エントロピー符号化は、出現頻度の偏りが大きいほど、符号量を削減することができる。
なお、フレーム間予測処理は、上述した単純に前のフレームとの差分をとる処理に限らず、例えば、動き補償予測処理を利用してもよい。動き補償予測処理は、ROI領域Rが動いた方向や距離を示す動きベクトルを求め、この動きベクトルで表される位置情報と現フレームとの差分をROI情報とすることができる。とくに、ROI領域Rの動きが大きい動画像に対して、0およびその近傍の値の出現頻度を高めることができる。このように、フレーム間予測の対象となるフレームは、1つ前のフレームに限らず、1つ後の将来のフレームでもよい。さらに、前後1フレームに限らず、前後数フレームを利用して、その平均値を利用する処理なども実現可能である。
勿論、フレーム間予測処理を使用せずに、各フレーム内においてROI情報を生成することも可能である。その場合、メモリ容量や計算量を低減することができる。したがって、ユーザは、動画像の特性にしたがって、フレーム間予測処理を利用するか否かを選択できてもよい。とくに動きの速い動画像では、フレーム間予測処理を利用しても、演算量増加のわりに符号量があまり削減できない場合も生じる。そのような場合、単純にフレームごとにROI情報を生成してもよい。
ROI情報符号化部24は、ROI予測処理部22から入力されたROI情報を符号化する。例えば、エントロピー符号化を行う。そして、符号化したROI情報を符号化ストリーム生成部16に出力する。
符号化ストリーム生成部16は、エントロピー符号化部14から入力される画像の符号化データ、ROI情報符号化部24から入力されるROI情報の符号化データなどを基に、符号化ストリームを生成する。そして、生成した符号化ストリームを記録媒体やネットワークに出力する。ここで、記録媒体として、SDRAMやフラッシュハードディスクドライブなどを用いることができる。
ROI情報の符号化データは、ヘッダに記述される。ヘッダにも種々のレベルが存在するが、いづれのレベルに記述してもよい。例えば、ストリームヘッダ、シーケンスヘッダ、GOP(Group of Picture)ヘッダ、フレームヘッダ、ピクチャヘッダ、領域単位で付されるヘッダなどにROI情報を記述することができる。
上記領域単位で付されるヘッダとは、以下のようなヘッダを指す。例えば1枚のフレームやピクチャに複数のROI領域が設定される場合に、ROI領域1の画像データ→ROI領域2の画像データ→・・・→周辺領域の画像データの順にフレームやピクチャを並べたとする。上記ヘッダとは、このようなときのROI領域1の画像データやROI領域2の画像データごとに付されるヘッダである。
図3は、符号化ストリームの一例を示す図である。ここでは、符号化ストリームをMPEG(Moving Picture Experts Group)で使用されるシーケンスという用語で示している。MPEGでは、1つのビデオプログラム全体の符号化信号をシーケンスと呼ぶ。シーケンスは、図3に示すようにシーケンスヘッダで始まり、シーケンスエンドで終わり、その間に複数のGOPを記述する。GOPは、GOPヘッダと複数のピクチャを記述する。図3の例では、このGOPヘッダに複数のROI情報を記述している。GOPヘッダには、符号化条件など復号に必要な各種パラメータが記述される。本実施の形態では、そこにROI情報も記述している。
上述したROI情報は、頂点座標と大きさを示す情報であった。この点、ROI情報は、そのような情報に限らず、種々の情報を含むことができ、このような情報によりROI情報を特定することができる。以下、その例を挙げる。
まず、基本となる座標が必要である。上述したように頂点の座標や、中心点座標、重心座標などが該当する。これらの内から、ROI領域の形状に適した座標を用いることができる。例えば、ROI領域が円である場合、中心点座標が最適な座標となる。次に、各フレーム内の情報でROI領域を特定する場合、大きさが必要である。例えば、水平方向の大きさ、垂直方向の大きさが必要である。次に、フレーム間予測処理を使用する場合、前のフレームとの差分データ、動きベクトルを用いた、後のフレームとの差分データ、アフィン変換係数などの各種関数の係数などを用いることができる。
次に、1枚の画像にROI領域が複数設定される場合、その優先度をROI情報に含めてもよい。例えば、その優先順位だけでなく、そのROI領域の表示が必須か否かといった情報を含めてもよい。また、この優先順位をROI情報の並び順で表現してもよい。すなわち、優先順位の高いROI領域の情報ほど、前に記述するといった手法が可能である。また、各ROI領域の情報量を含めてもよい。例えばそのROI領域の符号量や圧縮率、演算量などである。また、ROI領域ごとに画質や、それ以外の領域との画質比を含めてもよい。
さらに、そのROI領域が独立して復号可能か否かを示す情報を含めてもよい。例えば、JPEG2000方式では、ビットプレーン内の各係数ビットとして、Sパス(significance propagation pass)、Rパス(magnitude refinement pass)、Cパス(cleanup pass)の3種類の処理パスが使用される。Sパスでは、有意である係数が周囲に存在する有意でない係数の復号が行われ、Rパスでは、有意である係数の復号が行われ、Cパスでは、残りの係数の復号が行われる。Sパス、Rパス、Cパスの各処理パスはこの順に画像の画質への寄与度が大きい。各処理パスはこの順に実行され、各係数のコンテクストが近傍係数の情報を考慮して決定される。したがって、パス毎に独立して符号化されている場合には、可変長の復号を途中で打ち切ることも可能になる。このような情報は、復号側にとって有益な情報である。その他、復号の際に有益な情報として利用できる情報であれば、上記例に挙げた以外の情報をROI情報に含めてもよい。なお、ROI情報をヘッダに記述する例を説明したが、ユーザが自由に使用可能なユーザ領域に記述してもよい。
以上説明したように実施の形態1によれば、ROI領域の復号に必要な、または有益な情報をROI情報として符号化ストリームに明示的に含めたことにより、復号側でその情報を生かした種々の処理を実現することができる。例えば、早送り再生などをする場合、ROI領域、またはその周辺数画素を含む領域を取り出して、それを容易に再生表示させることができる。
また、ROI情報をフレーム間予測処理を利用して符号化することにより、ROI情報の符号量を削減させることができる。例えば、JPEG2000では、画像を静止画として扱い、符号化を行っているため、ROI領域の符号化の際にはROI情報を画像1枚ごとに与えなければならない。このため、動きのない画像に対してROI符号化を行うような場合、連続する各画像データに対して全く同じROI情報を付加することになり、全体としては無駄な符号を生成してしまうことになる。このような場合に、フレーム間予測処理を利用する態様は、とくに効果を発揮する。さらに、符号量を削減させることにより、処理を高速化することができ、消費電力を削減することもできる。
実施の形態2
図4は、実施の形態2に係る画像復号装置200の構成図である。実施の形態2では、画像復号装置200は、実施の形態1で符号化された符号化ストリームを復号する。符号化ストリームとして入力される動画像の各符号化フレームを連続的に復号することにより動画を再生することができる。
ROI情報復号部40は、符号化ストリーム内に記述されたROI情報を復号し、ROI予測処理部42に出力する。ROI情報は、符号化ストリーム内のいずれかのレベルのヘッダに記述されている。
ROI予測処理部42は、復号したROI情報に対して、フレーム間予測処理を行う。ROI予測処理部42は、ROI情報を記憶するためのメモリを備え、例えば、そこに基準となるフレームのROI情報を記憶する。差分情報で与えられている現フレームのROI情報と、メモリに記憶されているROI情報とを加算することにより、現フレームのROI情報を原始的なデータ形式に復元する。
例えば、基準となるフレームのROI領域が長方形である場合、そのROI領域を左上の頂点座標(A,B)と、水平方向の大きさおよび垂直方向の大きさ(X,Y)で表現することができる。まず、ROI予測処理部42は、これらの情報をROI情報として、ROI領域制御部44に出力するとともに、上記メモリに記憶する。このフレームが、次のフレームに対する基準となる。
実施の形態1の手法を用いてROI情報が符号化されている場合、次のフレームで当該ROI領域が右にM1画素分移動したとすると、その差分情報として座標Δ(M1,0)、大きさΔ(0,0)とROI情報が与えられる。ROI予測処理部42は、上記メモリに記憶された前フレームのROI情報にこの差分情報を加算することにより、現フレームの絶対的な座標(A+M1,B)、大きさ(X,Y)を求めることができる。
ROI予測処理部42は、このようにして、画像を復号する前に次画面のROI情報を復号し取得する。これにより、ROI領域に関する種々の処理が可能になる。なお、他のフレーム間予測符号化が用いられている場合、それに対応した復元方法を用いる。
ROI領域制御部44は、ユーザまたはシステムの要求によりROI領域に関する各種の処理を設定する。例えば、ROI領域の画像のみ、またはその周辺画素を含む領域を再生する処理も可能である。この周辺画素を決定する手法は後述する。また、あるシーンをオブジェクト認識を用いてサーチする場合、ROI領域内のオブジェクトのみを対象にした検索処理も可能である。いずれも、高速処理が可能である。これらの処理を行う際、ROI情報に含まれる優先順位情報を参照して、処理を行うことができる。例えば、表示が必須でない、または優先順位の低いROI領域を表示させなかったり、検索対象から外すこともできる。
その他、ROI領域制御部44は、ROI情報による指定、ユーザまたはシステムの要求により、ROI領域の画質やその他の領域との画質比を設定することができる。
符号化データ抽出部30は、入力された符号化ストリームから符号化データを抽出する。その際、ROI領域制御部44から指定された領域の符号化データのみを抽出する場合もある。エントロピー復号部32は、抽出された符号化データをビットプレーン毎に復号し、復号の結果得られる量子化されたウェーブレット変換係数を取得する。逆量子化部34は、ウェーブレット変換係数を逆量子化する。ウェーブレット逆変換部36は、逆量子化されたウェーブレット変換係数を逆変換し、得られた復号画像を出力する。
次に、ROI領域制御部44にてROI領域とその周辺領域を含む領域の座標と大きさを決定するための手法を説明する。図5は、ウェーブレット変換係数の各分割レベルにおけるROI領域を示す図である。図5(a)は分割レベル0の原画像80上にROI領域90が設定された状態を示す。図5(b)は、原画像80を1回だけウェーブレット変換することにより得られる分割レベル1の変換画像82を示す。分割レベル1の変換画像82は、4つのサブバンドLL1、HL1、LH1、HH1から構成される。ROI領域制御部44は、原画像80のROI領域90を復元するために必要な分割レベル1の変換画像82上のROI領域91〜94を、分割レベル1の各サブバンドLL1、HL1、LH1、HH1において特定する。
図5(c)は、図5(b)の変換画像82の最低周波数成分のサブバンドLL1をさらにウェーブレット変換することにより得られる分割レベル2の変換画像84を示す。分割レベル2の変換画像84は、同図のように、分割レベル1の3つのサブバンドHL1、LH1、HH1の他、分割レベル2の4つのサブバンドLL2、HL2、LH2、HH2を含む。ROI領域制御部44は、分割レベル1の変換画像82のサブバンドLL1におけるROI領域91を復元するために必要な分割レベル2の変換画像84上のROI領域95〜98を各サブバンドLL2、HL2、LH2、HH2において特定する。
同様にして、ウェーブレット変換の回数だけ原画像80のROI領域90に対応するROI領域を各分割レベルにおいて再帰的に特定していくことにより、最終分割レベルの変換画像において、ROI領域90を復元するために必要なROI変換領域をすべて特定することができる。
ROI領域制御部44は、原画像80上で設定されたROI領域の周辺領域にノイズを発生させることなく原画像80まで復号するよう、各分割レベルにおける各サブバンド内で、復号すべきウェーブレット変換係数の対象領域の開始位置と大きさを決定する。それを符号化データ抽出部30に設定する。
原画像80におけるROI領域の開始するxまたはy座標をP、ROI領域のxまたはy方向の大きさをQとしたとき、各分割レベルでの復号対象領域の開始座標および大きさは以下の通りになる。
分割レベル1・・・開始座標P/2−α、大きさQ/2+β
分割レベル2・・・開始座標(P/2−α)/2−α、大きさ(Q/2+β)/2+β
分割レベル3・・・開始座標{(P/2−α)/2−α}/2−α、
大きさ{(Q/2+β)/2+β}/2+β
分割レベルJ・・・開始座標[・・・]/2−α、大きさ[・・・]/2+β
上記の計算をxおよびyについて行うことにより、各分割レベルでの復号対象領域の開始座標および大きさを求めることができる。開始座標では、最後のαを引く直前の値に小数点以下が発生した場合、それを切り捨てる。一方、大きさでは、最後のβを足す直前の値に小数点以下が発生した場合、それを切り上げる。α、βの値は、設計者が任意に設定可能であるが、例えば、α=1、β=2やα=2、β=4といった設定が可能である。周辺領域をROI領域の上下左右で対称に設ける場合、βはαの2倍の値となる。この値は、使用するフィルタに依存する。フィルタリング回数が多いほど、周辺領域の画素を多くとるとよい。
以上説明したように実施の形態2によれば、符号化ストリームに明示的に記述されたROI情報を復号して、その情報を生かして種々の処理を実現することができる。例えば、ROI領域、またはその周辺画素を含む領域を抽出して、それを容易に再生表示させることができる。また、ROI領域、およびそれ以外の領域をそれぞれ所望の画質で再生することもできる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を以下に示す。
上記の実施の形態で、ROI領域は、オブジェクトだけの領域でもよい。この場合、システムは、ROI情報として、オブジェクトを特定するための情報をヘッダなどに記述することができる。実施の形態と同様に、このオブジェクトの形状変化に関する情報などをフレーム間予測処理を利用して記述することにより、当該情報の符号量を削減することができる。
上記の実施の形態では、JPEG2000方式で連続的に符号化した動画像の符号化ストリームを復号しているが、JPEG2000方式に限らず、要は、動画像の符号化ストリームを復号する方式であればよい。
上記の実施の形態において、画像の符号化のための空間フィルタリングとしてウェーブレット変換を説明したが、他の空間周波数変換を用いてもよい。例えば、JPEG標準で用いられる離散コサイン変換を用いてもよい。
実施の形態1に係る画像符号化装置の構成図である。 ROI領域の遷移の一例を示す図である。 符号化ストリームの一例を示す図である。 実施の形態2に係る画像復号装置の構成図である。 各分割レベルにおけるROI領域を示す図である。
符号の説明
10 ウェーブレット変換部、 12 量子化部、 14 エントロピー符号化部、 16 符号化ストリーム生成部、 20 ROI設定部、 22 ROI予測処理部、 24 ROI情報符号化部、 30 符号化データ抽出部、 32 エントロピー復号部、 34 逆量子化部、 36 ウェーブレット逆変換部、 40 ROI情報復号部、 42 ROI予測処理部、 44 ROI領域制御部、 100 画像符号化装置、 200 画像復号装置。

Claims (9)

  1. 画像上に定義された注目領域を特定するための情報を、フレーム間をまたいで生成した差分情報として符号化することを特徴とする画像符号化方法。
  2. 画像上に定義された領域の形状を特定するための情報を、フレーム間をまたいで生成した差分情報として符号化することを特徴とする画像符号化方法。
  3. 前記画像の符号化データを含む符号化ストリーム内に、符号化した前記特定するための情報を記述することを特徴とする請求項1または2に記載の画像符号化方法。
  4. 画像上に注目領域を定義する注目領域設定部と、
    前記画像を符号化する画像符号化部と、
    前記注目領域を特定するための情報を、フレーム間をまたいで生成した差分情報として符号化する注目領域情報符号化部と、
    符号化した画像と、符号化した注目領域を特定するための情報を含めて、符号化ストリームを生成する符号化ストリーム生成部と、
    を備えることを特徴とする画像符号化装置。
  5. 画像上に領域を定義する領域設定部と、
    前記画像を符号化する画像符号化部と、
    前記領域の形状を特定するための情報を、フレーム間をまたいで生成した差分情報として符号化する形状情報符号化部と、
    符号化した画像と、符号化した形状を特定するための情報を含めて、符号化ストリームを生成する符号化ストリーム生成部と、
    を備えることを特徴とする画像符号化装置。
  6. フレーム間をまたいで生成した差分情報として符号化された、画像上に定義された注目領域を特定するための情報を復号し、その情報を参照して、前記画像を符号化した符号化ストリームから前記注目領域を含む領域を復号することを特徴とする画像復号方法。
  7. フレーム間をまたいで生成した差分情報として符号化された、画像上に定義された領域の形状情報を復号し、その情報を参照して、前記画像の符号化データを含む符号化ストリームから前記定義された領域を含む領域を復号することを特徴とする画像復号方法。
  8. フレーム間をまたいで生成した差分情報として符号化された、画像上に定義された注目領域を特定するための情報を復号する注目領域情報復号部と、
    復号した情報を参照して、前記画像の符号化データを含む符号化ストリームから前記注目領域を含む領域を復号する画像復号部と、
    を備えることを特徴とする画像復号装置。
  9. フレーム間をまたいで生成した差分情報として符号化された、画像上に定義された領域の形状を特定するための情報を復号する形状情報復号部と、
    復号した情報を参照して、前記画像の符号化データを含む符号化ストリームから前記定義された領域を含む領域を復号する画像復号部と、
    を備えることを特徴とする画像復号装置。
JP2004316734A 2004-10-29 2004-10-29 画像符号化方法および装置、ならびに画像復号方法および装置 Pending JP2006129248A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004316734A JP2006129248A (ja) 2004-10-29 2004-10-29 画像符号化方法および装置、ならびに画像復号方法および装置
US11/718,211 US20090208122A1 (en) 2004-10-29 2005-10-25 Image coding method and apparatus, and image decoding method and apparatus
PCT/JP2005/019582 WO2006046550A1 (ja) 2004-10-29 2005-10-25 画像符号化方法および装置、ならびに画像復号方法および装置
TW94137599A TWI278241B (en) 2004-10-29 2005-10-27 Image encoding method and device, and image decoding method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004316734A JP2006129248A (ja) 2004-10-29 2004-10-29 画像符号化方法および装置、ならびに画像復号方法および装置

Publications (1)

Publication Number Publication Date
JP2006129248A true JP2006129248A (ja) 2006-05-18

Family

ID=36227790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004316734A Pending JP2006129248A (ja) 2004-10-29 2004-10-29 画像符号化方法および装置、ならびに画像復号方法および装置

Country Status (4)

Country Link
US (1) US20090208122A1 (ja)
JP (1) JP2006129248A (ja)
TW (1) TWI278241B (ja)
WO (1) WO2006046550A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010509840A (ja) * 2006-11-09 2010-03-25 マイクロソフト コーポレーション 電子情報の効率的符号化及び復号化システム及びその方法
WO2010116614A1 (ja) * 2009-03-30 2010-10-14 日本電気株式会社 画像表示装置、画像生成装置、画像表示方法、画像生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
US8818121B2 (en) 2012-02-21 2014-08-26 Kabushiki Kaisha Toshiba Motion detector, image processing device, and image processing system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131913B2 (en) * 2012-06-14 2015-09-15 Carestream Health, Inc. Region-selective fluoroscopic image compression
CN103650431B (zh) * 2012-06-29 2017-12-01 华为技术有限公司 视频数据传输方法及装置
GB2569107B (en) * 2017-11-29 2022-04-06 Displaylink Uk Ltd Managing display data
KR102661955B1 (ko) * 2018-12-12 2024-04-29 삼성전자주식회사 영상 처리 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280030A (ja) * 1994-12-29 1996-10-22 Hyundai Electron Ind Co Ltd 映像機器の物体別形状情報の減縮装置及びその減縮方法並びに多角近似化方法
JPH0918876A (ja) * 1995-06-27 1997-01-17 Sharp Corp 動画像符号化装置及び動画像復号装置
JP2001160062A (ja) * 1999-12-03 2001-06-12 Mitsubishi Electric Corp 画像データ検索装置
JP2002094991A (ja) * 2000-09-19 2002-03-29 Mega Chips Corp 関心領域符号化方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4903317A (en) * 1986-06-24 1990-02-20 Kabushiki Kaisha Toshiba Image processing apparatus
US5608458A (en) * 1994-10-13 1997-03-04 Lucent Technologies Inc. Method and apparatus for a region-based approach to coding a sequence of video images
US5978514A (en) * 1994-11-10 1999-11-02 Kabushiki Kaisha Toshiba Image data coding and decoding system for efficiently compressing information using the shape and position of the image content
US5799109A (en) * 1994-12-29 1998-08-25 Hyundai Electronics Industries Co., Ltd. Object-by shape information compression apparatus and method and coding method between motion picture compensation frames
JP3466058B2 (ja) * 1996-07-31 2003-11-10 松下電器産業株式会社 画像復号化装置、及び画像復号化方法
EP1120973B1 (en) * 1996-07-31 2003-04-02 Matsushita Electric Industrial Co., Ltd. Picture decoder and picture decoding method
US5978034A (en) * 1997-02-20 1999-11-02 Sony Corporation Moving picture encoding method and apparatus, moving picture decoding method and apparatus and recording medium
JPH10271510A (ja) * 1997-03-26 1998-10-09 Sharp Corp 画像データの符号化/復号方法及び符号化装置/復号装置
US6801665B1 (en) * 1998-09-15 2004-10-05 University Of Maryland Method and apparatus for compressing and decompressing images
AU6441398A (en) * 1998-03-20 1999-10-18 Mitsubishi Electric Corporation Lossy/lossless region-of-interest image coding
SE9803454L (sv) * 1998-10-09 2000-04-10 Ericsson Telefon Ab L M Förfarande och system för kodning av ROI
US6457030B1 (en) * 1999-01-29 2002-09-24 International Business Machines Corporation Systems, methods and computer program products for modifying web content for display via pervasive computing devices
JP2002064709A (ja) * 2000-06-06 2002-02-28 Canon Inc 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体
TW567728B (en) * 2001-02-20 2003-12-21 Sanyo Electric Co Method and apparatus for decoding graphic image
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
JP3966461B2 (ja) * 2002-08-09 2007-08-29 株式会社リコー 電子カメラ装置
JP4308555B2 (ja) * 2003-03-10 2009-08-05 パナソニック株式会社 受信装置および情報閲覧方法
KR100586100B1 (ko) * 2003-05-12 2006-06-07 엘지전자 주식회사 동영상 코딩 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280030A (ja) * 1994-12-29 1996-10-22 Hyundai Electron Ind Co Ltd 映像機器の物体別形状情報の減縮装置及びその減縮方法並びに多角近似化方法
JPH0918876A (ja) * 1995-06-27 1997-01-17 Sharp Corp 動画像符号化装置及び動画像復号装置
JP2001160062A (ja) * 1999-12-03 2001-06-12 Mitsubishi Electric Corp 画像データ検索装置
JP2002094991A (ja) * 2000-09-19 2002-03-29 Mega Chips Corp 関心領域符号化方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010509840A (ja) * 2006-11-09 2010-03-25 マイクロソフト コーポレーション 電子情報の効率的符号化及び復号化システム及びその方法
JP4744634B2 (ja) * 2006-11-09 2011-08-10 マイクロソフト コーポレーション 電子情報の効率的符号化及び復号化システム及びその方法
WO2010116614A1 (ja) * 2009-03-30 2010-10-14 日本電気株式会社 画像表示装置、画像生成装置、画像表示方法、画像生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN102349304A (zh) * 2009-03-30 2012-02-08 日本电气株式会社 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质
JP5665135B2 (ja) * 2009-03-30 2015-02-04 日本電気株式会社 画像表示装置、画像生成装置、画像表示方法、画像生成方法、及びプログラム
US8818121B2 (en) 2012-02-21 2014-08-26 Kabushiki Kaisha Toshiba Motion detector, image processing device, and image processing system

Also Published As

Publication number Publication date
TW200623891A (en) 2006-07-01
WO2006046550A1 (ja) 2006-05-04
TWI278241B (en) 2007-04-01
US20090208122A1 (en) 2009-08-20

Similar Documents

Publication Publication Date Title
JP4656912B2 (ja) 画像符号化装置
US7720295B2 (en) Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
JP4700491B2 (ja) 適応係数スキャン順序付け
US7522778B2 (en) Image decoding technique for suppressing tile boundary distortion
US20060115168A1 (en) Image coding apparatus and image coding method
JP2006014121A (ja) 画像符号化方法、画像符号化装置および撮像装置
JP2006304329A (ja) 符号化方法及び復号化方法及び符号化装置及び復号化装置
US20090208122A1 (en) Image coding method and apparatus, and image decoding method and apparatus
JP4749508B2 (ja) 画像復号方法
JP2006246351A (ja) 画像符号化装置および画像復号化装置
JP2006074130A (ja) 画像復号方法、画像復号装置および撮像装置
JP4667423B2 (ja) 画像復号装置
JP4667424B2 (ja) 画像復号装置
JP4126044B2 (ja) 動画像符号化装置及び方法
JP2005223852A (ja) 画像符号化装置および方法、ならびに画像復号装置および方法
JP2004007266A (ja) 画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体
JP4040404B2 (ja) 符号列変換装置及び方法、画像処理装置並びに画像記録装置
JP2007189622A (ja) 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体
JP2023070055A (ja) 画像符号化装置及びその制御方法及びプログラム
JP2020141376A (ja) 画像符号化装置及びその制御方法及びプログラム
JP2018082250A (ja) 画像符号化装置及びその制御方法
JP2003023633A (ja) 画像復号化方法及び装置
JP2003023634A (ja) 画像符号化/復号化方法及び装置
JPH0730895A (ja) 画像処理装置及びその処理方法
JP2007529921A (ja) 画像エンコード・システムおよび方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100802

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110329