JP2010206664A - 画像符号化装置、画像符号化制御方法およびプログラム - Google Patents

画像符号化装置、画像符号化制御方法およびプログラム Download PDF

Info

Publication number
JP2010206664A
JP2010206664A JP2009051542A JP2009051542A JP2010206664A JP 2010206664 A JP2010206664 A JP 2010206664A JP 2009051542 A JP2009051542 A JP 2009051542A JP 2009051542 A JP2009051542 A JP 2009051542A JP 2010206664 A JP2010206664 A JP 2010206664A
Authority
JP
Japan
Prior art keywords
motion vector
image
unit
region
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009051542A
Other languages
English (en)
Other versions
JP5115498B2 (ja
Inventor
Hidemasa Miyoshi
秀誠 三好
Toshikazu Senuki
俊和 瀬貫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009051542A priority Critical patent/JP5115498B2/ja
Priority to US12/717,662 priority patent/US8295353B2/en
Publication of JP2010206664A publication Critical patent/JP2010206664A/ja
Application granted granted Critical
Publication of JP5115498B2 publication Critical patent/JP5115498B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】符号化時と復号時における参照画像の不一致を起こすことなく、動画像を分割領域ごとに符号化する。
【解決手段】動きベクトル出力部11は、分割画像内の符号化対象領域に類似する領域を、同じ位置の他の分割画像に基づく参照画像から探索するための輝度成分の動きベクトルとフィールド種別とを出力し、参照領域判定部12は、符号化対象領域のフィールド種別と動きベクトル出力部11からのフィールド種別との組み合わせごとに参照画像31の境界外にあらかじめ設定された参照禁止領域を、動きベクトル出力部11からの輝度成分の動きベクトルに基づく色差成分の動きベクトルが指示するか否かを判定し、指示すると判定された場合、動きベクトル出力制限部13は、その輝度成分の動きベクトルが、符号化対象領域に最も類似する領域を指示する動きベクトルとして出力されることを禁止する。
【選択図】図1

Description

本発明は、復号時に輝度成分の動きベクトルを基に色差成分の動きベクトルを生成可能な動画像符号化方式を用いて、インタレース方式の入力動画像のデータを符号化する画像符号化装置、画像符号化制御方法およびプログラムに関する。
一般に、動画像データはデータ量が大きいため、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際には、圧縮符号化処理が施されることが多い。代表的な動画像の圧縮符号化方式として、ISO/IEC(International Standardization Organization/International Electrotechnical Commission)で策定されたMPEG(Moving Picture Experts Group)−2/MPEG−4が広く利用されている。
MPEG方式の特徴的な要素技術として、過去に符号化した時間的に前の画像あるいは前後の画像を参照して、動き予測を行い、その予測値を用いて符号化することが挙げられる。このような符号化の際には、現画像のブロックデータと、すでに符号化された画像を復号した参照画像のブロックデータとを用いて、動きベクトルが算出される。動きベクトルは、ブロック単位で参照画像から現画像に最も類似している位置を検索するブロックマッチング技術などを用いて求められる、ブロック単位の空間的なずれを示す値である。
ところで、MPEG−4では、動きベクトルが入力画像の境界より外側を指していてもよい。換言すると、入力画像の境界外にある領域を参照して動き補償することが可能である。動きベクトルによって指示される領域が入力画像の境界外にある場合、符号化回路の内部で復号された参照画像の境界付近にある画素の値を基に、その参照画像が拡張され、拡張された領域の値が予測値として用いられる。
また、ITU(International Telecommunication Union)により勧告されたH.264は、より少ないデータ量で高画質の動画像を伝送できる圧縮符号化方式として注目されている。このH.264では、輝度成分の動きベクトルを基に色差成分の動きベクトルを生成する方法が規定されている。この場合の動きベクトルの生成方法は、動きベクトルの参照元フィールドと参照先フィールドのパリティ(トップフィールドであるか、あるいはボトムフィールドであるか)の組み合わせによって異なる。
これらの組み合わせのうち、特に、両者のパリティが互いに異なる場合には、色差成分の動きベクトルは、輝度成分の動きベクトルが指示する位置より上方または下方を指示するように算出される。従って、この場合には、色差成分の動きベクトルにより指示され得る領域がさらに拡大される。
一方、画素数の多い画像を符号化するためには、膨大な処理が必要となる。そこで、動画像の1ピクチャを複数の分割画像に分割し、各分割画像をそれぞれ個別の符号化器に入力して符号化することが考えられている。この場合、各符号化器は、入力された分割画像を1ピクチャと見なしてそれぞれ独立して符号化を行い、最終的に、各符号化器から出力された符号化データは多重化されて出力される。このような処理によれば、符号化器としてそれぞれ処理能力の低いものを利用できるため、例えば、全体として符号化装置の製造コストを抑制できる場合がある。
また、このように複数の符号化器を用いて分割画像を符号化する方法では、分割前の画像全体のデータを保存して、その画像の任意の画素に対して各符号化器からアクセス可能とされた共有のメモリを設けないようにすることが考えられている。この場合、1つの符号化器がアクセス可能な参照画像の領域は、過去に符号化された画像の領域のうち、その符号化器に入力される分割画像と同じ領域に限定されることになる。このようなシステムとすることで、1つのメモリ当たりで必要な容量を小さくし、製造コストをさらに削減することができる。
なお、上記に関連する技術として、動画像の画面を複数の領域に分割し、各領域ごとに個別の符号化器を用いて符号化する符号化装置において、符号化対象である画面が予測符号化において他の画面群から参照される場合に、その参照が及ぶ分だけ分割領域を拡大して符号化するようにしたものがあった(例えば、特許文献1参照)。
また、画面内の部分画面に含まれているマクロブロックの動きベクトルを検出する際に、この部分画面に含まれる画像のみを参照画像として使用するようにした符号化装置があった(例えば、特許文献2参照)。
さらに、半画素精度の動きベクトル検出用の探索領域が参照画像のフレーム境界外またはスライス境界外の領域を含むときには、動きベクトル検出に寄与しない補間画素を生成しないように、探索領域画素データメモリからの読み出しアドレスを制御するようにした動きベクトル検出装置があった(例えば、特許文献3参照)。
特開平7−135654号公報 特開平10−276437号公報 特開2000−165883号公報
ところで、前述のように、複数の符号化器を用いて分割画像を符号化するシステムでは、各符号化器がアクセス可能な参照画像の領域が、入力された分割画像と同じ領域に限定されるものがある。しかしながら、このようなシステムにおいて、動き補償の際に入力画像の境界外の参照を許可すると、復号の際に誤った予測画像が生成される可能性がある。
具体的には、各符号化器は入力される分割画像を個別のピクチャと見なしているため、対応する分割画像の境界外を参照する場合には、その分割画像の内部の画素のデータを基に参照画像を拡張する。しかし、復号の際に動きベクトルが分割画像の境界外を指示していた場合、復号器は、その分割画像の内部の画素ではなく、隣接する別の分割画像の画素のデータを基に参照画像を拡張してしまうことが十分あり得る。このため、参照画像が符号化時と復号時とで異なる“動き補償ミスマッチ”と呼ばれる事態が発生する。
特に、前述のように、輝度成分の動きベクトルを基に色差成分の動きベクトルを生成する方法を採った場合には、たとえ輝度成分の動きベクトルが入力画像の内部を指示していたとしても、色差成分の動きベクトルが入力画像の境界外を指示する場合があり得る。このため、このような動きベクトルの生成方法を、上記の複数の符号化器を用いたシステムに適用すると、動き補償ミスマッチが発生する可能性が高まる。
また、このような問題は、例えば、1つの符号化器を用いて、画像データを分割領域ごとに取り込んで符号化した場合でも発生し得る。
本発明はこのような点に鑑みてなされたものであり、符号化時と復号時における参照画像の不一致を起こすことなく、動画像を分割領域ごとに符号化することが可能な画像符号化装置、画像符号化制御方法およびプログラムを提供することを目的とする。
上記目的を達成するために、復号時に輝度成分の動きベクトルを基に色差成分の動きベクトルを生成可能な動画像符号化方式を用いて、インタレース方式の入力動画像のデータを符号化する画像符号化装置が提供される。この画像符号化装置は、前記入力動画像に含まれる各フィールドの画像を少なくとも垂直方向に分割した分割画像のデータを順次受信し、1つの前記分割画像内の符号化対象領域に類似する領域を、同じ位置の他の前記分割画像に基づく参照画像から探索するための輝度成分の動きベクトルと、当該動きベクトルにより参照される前記参照画像のフィールド種別とを出力する動きベクトル出力部と、前記符号化対象領域のフィールド種別と、前記動きベクトル出力部からの、前記参照画像のフィールド種別との組み合わせごとに前記参照画像の少なくとも上側の境界外または下側の境界外にあらかじめ設定された参照禁止領域を、前記動きベクトル出力部からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが指示するか否かを判定する参照領域判定部と、前記動きベクトル出力部からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合に、当該輝度成分の動きベクトルが、前記符号化対象領域に最も類似する領域を指示する動きベクトルとして出力されることを禁止する動きベクトル出力制限部と、を有する。
このような画像符号化装置では、入力動画像に含まれる各フィールドの画像を少なくとも垂直方向に分割した分割画像のデータが、動きベクトル出力部により順次受信される。動きベクトル出力部は、受信したうちの1つの分割画像内の符号化対象領域に類似する領域を、同じ位置の他の分割画像に基づく参照画像から探索するための輝度成分の動きベクトルと、この動きベクトルにより参照される参照画像のフィールド種別とを出力する。参照領域判定部は、動きベクトル出力部からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが、あらかじめ設定された参照禁止領域を指示するか否かを判定する。ここで、参照禁止領域は、符号化対象領域のフィールド種別と、動きベクトル出力部からの、参照画像のフィールド種別との組み合わせごとに、参照画像の少なくとも上側の境界外または下側の境界外に設定される。動きベクトル出力制限部は、参照領域判定部により、動きベクトル出力部からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが参照禁止領域を指示すると判定された場合に、この輝度成分の動きベクトルが、符号化対象領域に最も類似する領域を指示するものとして出力されることを禁止する。
上記の画像符号化装置では、符号化時と復号時における参照画像の不一致を起こすことなく、動画像を分割画像ごとに符号化できる。
第1の実施の形態に係る画像符号化装置の構成例を示す図である。 第2の実施の形態に係る画像符号化装置の構成例を示す図である。 画面分割部により分割される画像の例を示す図である。 符号化部の内部構成例を示す図である。 参照画像の拡張について説明するための図である。 動きベクトルの指示領域を制限した場合の参照画像の拡張について説明するための図である。 小数画素精度での動き補償を説明するための図である。 参照画像の上端における参照禁止領域を説明するための図である。 参照画像の下端における参照禁止領域を説明するための図である。 色差ベクトルにより参照される領域を説明するための図である。 動きベクトル演算部の内部構成例を示す図である。 輝度ベクトル出力部における処理手順を示すフローチャートである。 輝度ベクトル判定部における処理手順を示すフローチャートである。 色差ベクトル演算部の内部構成例を示す図である。 色差ベクトル判定部における処理手順を示すフローチャートである。 参照画像の上端における参照禁止領域を説明するための図である。 参照画像の下端における参照禁止領域を説明するための図である。 第3の実施の形態に係る動きベクトル演算部の内部構成例を示す図である。 第3の実施の形態に係る色差ベクトル判定部における処理手順を示すフローチャートである。 第4の実施の形態に係る動きベクトル演算部の内部構成例を示す図である。 第4の実施の形態に係る輝度ベクトル出力部における処理手順を示すフローチャートである。 第5の実施の形態に係るコンピュータのハードウェア構成例を示す図である。
以下、実施の形態を図面を参照して詳細に説明する。
図1は、第1の実施の形態に係る画像符号化装置の構成例を示す図である。
図1に示す画像符号化装置1は、インタレース方式の入力動画像2を符号化する装置である。また、画像符号化装置1で用いられる符号化方式では、輝度成分の動きベクトルを基に所定の演算式により色差成分の動きベクトルを生成することが可能になっている。
さらに、この画像符号化装置1では、入力動画像2に含まれる各フィールドの画像を少なくとも垂直方向に分割した分割画像ごとに、それぞれ独立して画像データが符号化される。図1の例では、入力動画像2は4つの分割画像21〜24に分割されている。そして、分割画像ごとに符号化された符号化データは、図示しない多重化部によって多重化され、これにより入力動画像2の符号化データが生成される。
このような画像符号化装置1は、符号化処理のための機能として、この画像符号化装置1は、動きベクトル出力部11、参照領域判定部12および動きベクトル出力制限部13を備えている。なお、例えば、動きベクトル出力部11、参照領域判定部12および動きベクトル出力制限部13の各機能が分割画像ごとに個別に設けられ、これらの機能により各分割画像が並列に符号化されるようにしてもよい。
動きベクトル出力部11は、入力動画像2における同じ位置の分割画像の入力を受けて、動き補償のための動きベクトルを出力する。具体的には、動きベクトル出力部11は、分割画像内の符号化対象領域に類似する領域を、同じ位置の他の分割画像に基づく参照画像31から探索するための輝度成分の動きベクトルを出力する。また、その動きベクトルにより参照される参照画像31のフィールド種別も出力する。なお、参照画像31は、同じ位置の分割画像のうち、すでに符号化された分割画像の符号化データを復号することで得られたものである。
また、図示しないが、画像符号化装置1では、1つの符号化対象領域に対して、これに類似する領域を参照画像31から探索するために、動きベクトル出力部11から複数の動きベクトルが出力される。そして、それらの動きベクトルの中から、符号化対象領域に最も類似する領域を指示する動きベクトルが、最終的に符号化される動きベクトルとして出力される。
参照領域判定部12は、動きベクトル出力部11からの輝度成分の動きベクトルを基に所定の演算式に従って生成される色差成分の動きベクトルが、あらかじめ設定された参照禁止領域を指示するか否かを判定する。ここで、参照禁止領域は、符号化対象領域のフィールド種別と、動きベクトル出力部11からの、参照画像31のフィールド種別との組み合わせごとに、参照画像31の少なくとも上側の境界外または下側の境界外に設定される。これにより、色差成分の動きベクトルを生成するための演算式が、各フィールド種別の組み合わせごとに異なっている場合に、各演算式に適する参照禁止領域を設定することができる。
なお、参照領域判定部12による判定処理では、例えば、実際に色差成分の動きベクトルを求めてから、その動きベクトルが指示している領域と参照禁止領域とが比較される。あるいは、参照禁止領域を輝度成分の動きベクトルによって換算した参照禁止輝度領域を設定しておき、色差成分の動きベクトルを求めることなく、元の輝度成分の動きベクトルが指示している領域を参照禁止輝度領域と比較してもよい。
動きベクトル出力制限部13は、参照領域判定部12による判定結果に基づき、必要に応じて、動きベクトル出力部11からの輝度成分の動きベクトルが、符号化対象領域に最も類似する領域を指示する最終的な動きベクトルとして出力されることを禁止する。出力が禁止されるのは、参照領域判定部12により、動きベクトル出力部11からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが参照禁止領域を指示すると判定された場合である。
ここで、本実施の形態のように、入力動画像2を分割画像ごとに独立して符号化する場合には、色差成分の動きベクトルが参照画像31の境界外を指示すると、符号化時と復号時とで、その動きベクトルを基に参照される参照画像が一致しない可能性がある。また、色差成分の動きベクトルは輝度成分の動きベクトルから生成されるので、たとえ輝度成分の動きベクトルが参照画像31の内部を指示していたとしても、色差成分の動きベクトルが参照画像31の内部を指示するとは限らない。
従って、上記のように、参照画像31の境界外に参照禁止領域を設定し、輝度成分の動きベクトルに基づく色差成分の動きベクトルが参照禁止領域を指示すると判定された場合には、その輝度成分の動きベクトルが最終的に出力されないようにする。これにより、符号化時と復号時とで参照画像が一致せず、正しい復号が行われないという事態を防止できる。
次に、動画像の圧縮符号化方式としてH.264を適用した場合の例を挙げて、実施の形態についてさらに説明する。
〔第2の実施の形態〕
図2は、第2の実施の形態に係る画像符号化装置の構成例を示す図である。
図2に示す画像符号化装置100は、動画像データの入力を受けて、これを圧縮符号化し、動画像ストリームを出力する装置である。この画像符号化装置100は、画面分割部101と、複数の符号化部102a〜102dと、多重化部103とを備えている。
画面分割部101は、入力画像の1画面を複数のスライスに分割し、各スライスの画像データを個別の符号化部102a〜102dに出力する。符号化部102a〜102dは、入力されたスライスのデータをH.264方式で圧縮符号化する。なお、これらの符号化部は、画面分割部101による画像の分割数と同数だけ設けられ、本実施の形態では、例として4つ設けられる。多重化部103は、符号化部102a〜102dによってそれぞれ符号化されたデータを多重化し、1つの画像のストリームを生成して出力する。
なお、上記の画像符号化装置100がハードウェアとして構成される場合には、画像符号化装置100内の各機能は、例えば、1つの半導体基板上に一体に設けられてもよいし、あるいは、各機能のうちの複数の機能が個別の半導体基板上に設けられてもよい。例えば、符号化部102a〜102dがそれぞれ個別の半導体集積回路として実現され、これらの回路と、画面分割部101および多重化部103を含む別の半導体集積回路とが接続される構成としてもよい。
図3は、画面分割部により分割される画像の例を示す図である。
本実施の形態では、例として、画面分割部101は、図3に示すように、入力画像を垂直方向に4つのスライスSL1〜SL4に分割する。スライスSL1〜SL4は、それぞれ等しい面積(画素数)を有するものとする。そして、符号化部102aはスライスSL1を、符号化部102bはスライスSL2を、符号化部102cはスライスSL3を、符号化部102dはスライスSL4を、それぞれ圧縮符号化する。
このような構成とすることにより、各符号化部102a〜102dは、画面分割部101に入力される1画面分の画像を符号化する能力を備える必要がなくなる。このため、例えば、符号化部102a〜102dをそれぞれ個別の回路として実現した場合には、各回路として、処理能力の低い比較的安価な回路を用いることができる。
図4は、符号化部の内部構成例を示す図である。なお、図2に示した符号化部102a〜102dについては、基本的な構成を同じとすることができる。このため、以下の説明では、これらの符号化部102a〜102dを“符号化部102”としてまとめて説明する。
符号化部102は、マクロブロック(MB)生成部111、予測誤差信号生成部112、直交変換部113、量子化部114、エントロピー符号化部115、逆量子化部116、逆直交変換部117、参照画像生成部118、参照画像記憶部119、イントラ予測画像生成部120、インター予測画像生成部121、動きベクトル演算部122および予測画像選択部123を備えている。
マクロブロック生成部111は、入力されたスライスを、16画素×16画素のブロックであるマクロブロックに分割し、予測誤差信号生成部112および動きベクトル演算部122に出力する。以下、マクロブロック単位の画像データを“ブロックデータ”と呼ぶ。
予測誤差信号生成部112は、マクロブロック生成部111からのブロックデータと、予測画像選択部123からの予測画像のデータとの差分を演算することにより、予測誤差信号を生成する。直交変換部113は、予測誤差信号生成部112からの予測誤差信号を直交変換し、水平方向および垂直方向の周波数成分に分離された信号を出力する。量子化部114は、直交変換部113からの出力信号を量子化する。これにより、予測誤差信号の符号量が低減される。
エントロピー符号化部115は、量子化部114からの量子化データをエントロピー符号化し、符号化画像データを出力する。ここで、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる符号化方式を指す。
逆量子化部116は、量子化部114からの量子化データを逆量子化する。逆直交変換部117は、逆量子化部116からの出力データに逆直交変換処理を施す。これにより、符号化前の予測誤差信号と同程度の信号が得られる。
参照画像生成部118は、インター予測画像生成部121により動き補償されたブロックデータと、逆量子化部116および逆直交変換部117によって復号された予測誤差信号とを加算する。これにより、動き補償された参照画像のブロックデータが生成され、参照画像記憶部119に格納される。
イントラ予測画像生成部120は、同じピクチャ(ここではスライス)におけるすでに符号化された周辺画素から、予測画像のブロックデータを生成する。一方、インター予測画像生成部121は、参照画像記憶部119から読み込んだ参照画像のデータを、動きベクトル演算部122から出力される動きベクトルによって動き補償することにより、動き補償された予測画像のブロックデータを生成する。
動きベクトル演算部122は、マクロブロック生成部111から出力された現画像のブロックデータと、参照画像記憶部119から読み込んだ参照画像のデータとを基に、動きベクトルを算出する。動きベクトルは、原画像と参照画像との間のブロック単位での空間的なずれを示す値であり、参照画像から現画像に最も類似している位置をブロック単位で探索するブロックマッチング技術を用いて求められる。
予測画像選択部123は、イントラ予測画像生成部120またはインター予測画像生成部121のどちらか一方から出力される予測画像を選択し、予測誤差信号生成部112および参照画像生成部118に出力する。
次に、このような符号化部102の動きベクトル演算部122において、輝度成分の動きベクトルが指示する領域を制限する方法について説明する。なお、以下の説明では、動きベクトルにより指示されることを禁止する領域を、“参照禁止領域”と呼ぶ。
上記の符号化部102においては、符号化処理の過程で参照画像が復号されて、そのデータが参照画像記憶部119に記憶される。ここで、参照画像記憶部119としては、図2の符号化部102a〜102dのそれぞれにおいて個別の記憶回路として設けられてもよいし、あるいは、同じ記憶回路が共用されてもよい。ただし、いずれの場合でも、符号化部102a〜102dがそれぞれ備える参照画像記憶部119の記憶領域は、それぞれ個別の領域とされる。そして、互いに他の符号化部に対応する記憶領域にはアクセスできなくなっている。従って、各符号化部102a〜102dは、それぞれに入力されるスライスを個別のピクチャと見なし、それぞれ独立して符号化処理を実行する。
一方、H.264では、動き補償の際に、動きベクトルが指示する領域を、入力画像の領域の境界の外側とすることが許容されている。換言すると、H.264では、入力画像の境界外にある領域を参照して動き補償することが可能となっている。動きベクトルによって指示される領域が入力画像の境界外にある場合、インター予測画像生成部121は、参照画像記憶部119に記憶された参照画像のデータのうち、その境界付近にある画素のデータを基に参照画像を拡張する。そして、拡張した領域の画素のデータを予測値として出力する。
拡張領域の画素の座標(x’,y’)は、例えば次の式(1)および式(2)によって求められる。そして、これらの式により求められたデータが、動きベクトルによって参照される拡張領域の画素のデータとして出力される。
x’=min(max(x+dx,0),h_size−1) ……(1)
y’=min(max(y+dy,0),v_size−1) ……(2)
なお、(x、y)は、符号化対象画素の座標、(dx、dy)は、符号化対象画素の動きベクトル、(h_size,v_size)は、符号化対象画像の水平/垂直方向の各画素数をそれぞれ示す。また、min(j,k)は、j,kのうちの小さい方の値を出力するための演算子であり、max(j,k)は、j,kのうちの大きい方の値を出力するための演算子である。
ここで、図5は、参照画像の拡張について説明するための図である。
符号化部102a〜102dは、それぞれ、入力されたスライスSL1〜SL4を1つのピクチャと見なし、それぞれ独立して符号化処理を行う。このため、符号化部102aが備える参照画像記憶部119には、スライスSL1と同じ領域に対応する参照画像のデータが記憶される。同様に、符号化部102bが備える参照画像記憶部119には、スライスSL2と同じ領域に対応する参照画像のデータが記憶される。また、符号化部102cが備える参照画像記憶部119には、スライスSL3と同じ領域に対応する参照画像のデータが記憶される。また、符号化部102dが備える参照画像記憶部119には、スライスSL4と同じ領域に対応する参照画像のデータが記憶される。
このような符号化部102a〜102dにおいて、動き補償の際に、動きベクトルが入力画像の領域の境界外を指示したとする。この場合、符号化部102a〜102dのインター予測画像生成部121は、参照画像の領域をそれぞれに入力されたスライスSL1〜SL4の境界外まで拡張し、拡張された参照画像のデータを基に予測画像のデータを生成する。
図5では、スライスSL1〜SL4を拡張した領域を、網掛けを付して示している。例えば、符号化部102aのインター予測画像生成部121は、スライスSL1の領域に対応する参照画像の境界内のデータを基に、スライスSL1の4辺の周囲を拡張した領域のデータを予測画像のデータとして出力し得る。同様に、例えば、符号化部102bのインター予測画像生成部121は、スライスSL2の領域に対応する参照画像の境界内のデータを基に、スライスSL2の4辺の周囲を拡張した領域のデータを予測画像のデータとして出力し得る。
ところが、このような手法により予測画像が生成されると、復号の際に符号化時とは異なる参照画像が生成される“動き補償ミスマッチ”が発生する可能性がある。この事態は、隣接するスライスとスライスとの間の領域が、動きベクトルによって指示された場合に発生する。
例えば、符号化部102aでの動き補償の際に、動きベクトルがスライスSL1の下側の領域R1を指示した場合、スライスSL1の領域に対応する参照画像のデータを基に領域R1のデータが生成される。一方、上記構成の画像符号化装置100により符号化された画像データが復号される際には、領域R1の予測値は、隣接するスライスSL2の領域のデータを基に生成される可能性がある。このような場合、動き補償ミスマッチが発生し、正しい画像が復号されない。
また、符号化部102bでの動き補償の際に、動きベクトルがスライスSL2の上側の領域R2を指示した場合、スライスSL2の領域に対応する参照画像のデータを基に領域R2のデータが生成される。一方、上記構成の画像符号化装置100により符号化された画像データが復号される際には、領域R2の予測値は、隣接するスライスSL1の領域のデータを基に生成される可能性がある。このような場合にも、動き補償ミスマッチが発生し、正しい画像が復号されない。
図6は、動きベクトルの指示領域を制限した場合の参照画像の拡張について説明するための図である。
上記のような動き補償ミスマッチの発生を防止するために、符号化部102a〜102dは、図6に示すように、動き補償の際に、スライス間の拡張領域を指示しないように動きベクトルが指示する領域を制限する。例えば、符号化部102aは、スライスSL1に対応する領域の下側を参照禁止領域とする。また、符号化部102bは、スライスSL2に対応する領域の上側および下側の両方を参照禁止領域とし、符号化部102cは、スライスSL3に対応する領域の上側および下側の両方を参照禁止領域とする。また、符号化部102dは、スライスSL4に対応する領域の上側を参照禁止領域とする。
なお、このような処理を実行させるために、少なくとも符号化部102b,102cはそれぞれ同じ構成とすることができる。ただし、符号化部102a,102dも、符号化部102b,102cと同様に、それぞれスライスSL1,SL4に対応する領域の上側および下側の両方を参照禁止領域としてもよい。これにより、すべての符号化部102a〜102dの構成を同じにすることができ、画像符号化装置100の製造効率が高められる。
次に、図7は、小数画素精度での動き補償を説明するための図である。
H.264では、1/2画素および1/4画素という小数画素精度での動き補償を行うことが可能になっている。動きベクトルによってこのような小数画素が指示された場合、小数画素のデータは、その周囲の整数画素のデータを基にフィルタ演算によって演算される。
ところが、動きベクトルによって小数画素が指示されると、たとえその小数画素が対応するスライスの境界内に存在しても、画素データの演算の過程でスライスの境界外の画素のデータが用いられる場合がある。このため、上記のように、符号化部102a〜102dがそれぞれ独立して符号化処理を行う場合には、動き補償ミスマッチが発生することがある。
図7では、参照画像に含まれる整数画素を実線で示し、整数画素の間に設定し得る小数画素を点線で示している。また、各画素の中の文字は、その画素のデータを示している。1/2画素の例としては、整数画素P1,P2の中間に位置する小数画素P11が、動きベクトルによって指示される場合がある。この小数画素P11のデータは、小数画素P11を挟んで水平方向に並列する6つの整数画素のデータを基に、6タップフィルタを用いて求めることができる。フィルタ係数を(1,−5,20,20,−5,1)とすると、小数画素P11のデータcは次の式(3)および式(4)によって求められる。
c1=A−5*B+20*C+20*D−5*E+F ……(3)
c=(c1+16)>>5 ……(4)
なお、式(4)において、“>>X”は、Xビット分の右ビットシフトを表す演算子である。
また、1/2画素の他の例として、整数画素P1,P2,P3,P4の中間に位置する小数画素P12が、動きベクトルによって指示される場合もある。この小数画素P12のデータgは、次の式(5)および式(6)によって求めることができる。
g1=a−5*b+20*c1+20*d1−5*e+f ……(5)
g=(g1+512)>>10 ……(6)
なお、式(5)において、データd1は、データc1と同様の演算方法により、小数画素P13を挟んで水平方向に並列する6つの整数画素のデータを基に求められる。また、データa,bは、データcと同様の演算方法により、それぞれ小数画素P14,P15を挟んで水平方向に並列する6つの整数画素のデータを基に求められる。
ここで、整数画素P1,P2が配置された列が、参照画像記憶部119に記憶された参照画像における最も上側の列であったとする。このとき、動きベクトルによって小数画素P11や小数画素P12が指示されると、各画素のデータの演算のために、参照画像の境界外の整数画素のデータが利用される。符号化部102a〜102dがそれぞれ独立して符号化処理を行う場合、参照画像の境界外の整数画素のデータは、境界内の画素のデータを基に生成される。
また、1/4画素の例として、小数画素P11,P12の中間に位置する小数画素P21が、動きベクトルによって指示される場合がある。あるいは、小数画素P12,P13の中間に位置する小数画素P22が、動きベクトルによって指示される場合もある。これらの小数画素P21,P22のデータは、各小数画素を挟んで垂直方向に並列する6つの1/2画素のデータを基に演算される。従って、整数画素P1,P2が配置された列が参照画像における最上列である場合には、動きベクトルにより小数画素P21,P22が指示された場合にも、各画素のデータの演算のために参照画像の境界外の整数画素のデータが利用されることになる。符号化部102a〜102dがそれぞれ独立して符号化処理を行う場合、参照画像の境界外の整数画素のデータは、境界内の領域に対応する参照画像のデータを基に生成される。
しかしながら、これらの例のように、符号化処理の過程において参照画像の境界外の画素のデータが利用された場合、復号の際には、符号化時とは異なる参照画像が生成されることがある。例えば、復号の際に、小数画素P12,P21,P22のデータを算出するためには、整数画素P1,P2を含む列より上側のスライスに対応する参照画像のデータが利用される場合がある。このとき、動き補償ミスマッチが発生する。
このような事態を防止するために、符号化部102a〜102dは、次の図8および図9に示すように、動き補償の際に、入力されたスライスに対応する領域の境界に近い特定の領域を指示しないように、動きベクトルが指示する領域を制限する。
図8は、参照画像の上端における参照禁止領域を説明するための図である。
この図8は、参照画像記憶部119に記憶された参照画像の上端付近の領域を示しており、図8中の一点鎖線が、参照画像の上側の画面境界を示している。ここで、図6において説明したように、少なくとも符号化部102b〜102dは、入力されたスライスに対応する領域の上側を参照禁止領域としている。
これらの符号化部102b〜102dでは、さらに、それぞれの参照画像記憶部119に記憶された参照画像の領域のうち、上端部に対応するy=0の列からy=n(ただし、nは1以上の整数)の列までの各列に挟まれる領域を、参照禁止領域とする。例えば、本実施の形態のように、6タップフィルタによる小数画素のデータを演算する場合、nは“2”とされる。従って、図8に示すように、参照画像におけるy=0の列とy=1の列とに挟まれる小数画素の領域R11と、y=1の列とy=2の列とに挟まれる小数画素の領域R12とが、参照禁止領域とされる。これにより、動き補償ミスマッチの発生が防止される。
また、図9は、参照画像の下端における参照禁止領域を説明するための図である。
この図9は、参照画像記憶部119に記憶された参照画像の下端付近の領域を示しており、図9中の一点鎖線が、参照画像の下側の画面境界を示している。ここで、図6において説明したように、少なくとも符号化部102a〜102cは、入力されたスライスに対応する領域の下側を参照禁止領域としている。
ここで、入力されたスライスが、垂直方向に対してy=0からy=mまでの(m+1)個の整数画素を有するものとする。このとき、これらの符号化部102b〜102dでは、さらに、それぞれの参照画像記憶部119に記憶された参照画像の領域のうち、下端部に対応するy=mの列からy=m−nの列までの各列に挟まれる領域を、参照禁止領域とする。例えば、本実施の形態のように、6タップフィルタによる小数画素のデータを演算する場合、nは“2”とされる。従って、図9に示すように、参照画像におけるy=mの列とy=m−1の列とに挟まれる小数画素の領域R13と、y=m−1の列とy=m−2の列とに挟まれる小数画素の領域R14とが、参照禁止領域とされる。これにより、動き補償ミスマッチの発生が防止される。
なお、符号化部102a〜102dをすべて同じ構成とするために、符号化部102a〜102dのすべてにおいて上記の領域R11〜R14を参照禁止領域としてもよい。
次に、H.264における色差成分の動きベクトルの生成方法について説明する。なお、以下の説明では、輝度成分の動きベクトルを“輝度ベクトル”、色差成分の動きベクトルを“色差ベクトル”と呼ぶことにする。
H.264では、インタレース方式の動画像について、復号時に輝度ベクトルを基に色差ベクトルを生成する方法が規定されている。この規定では、色差ベクトルの垂直方向成分の演算方法が、符号化対象の画像領域(以下、参照元フィールドと呼ぶ)のパリティ(フィールド種別)と参照先の画像領域(以下、参照先フィールドと呼ぶ)のパリティとの組み合わせによって異なっている。
参照元フィールドのパリティと参照先フィールドのパリティとが同じである場合には、色差ベクトルの垂直方向成分MVCyは、輝度ベクトルの垂直方向成分MVyを基に次の式(7)によって求められる。
MVCy=MVy/2 ……(7)
また、参照元フィールドのパリティと参照先フィールドのパリティとが異なる場合には、パリティの組み合わせに応じて次の2通りの演算方法により色差ベクトルが求められる。参照元フィールドがトップフィールド、参照先フィールドがボトムフィールドの場合、色差ベクトルの垂直方向成分MVCyは次の式(8)によって求められる。
MVCy=(MVy/2)−(1/4) ……(8)
また、参照元フィールドがボトムフィールド、参照先フィールドがトップフィールドの場合、色差ベクトルの垂直方向成分MVCyは次の式(9)によって求められる。
MVCy=(MVy/2)+(1/4) ……(9)
ここで、図10は、色差ベクトルにより参照される領域を説明するための図である。
この図10では、例として、スライスSL1に対応する参照画像において動きベクトルにより参照される領域を示している。また、符号化対象のマクロブロックのパリティがボトムフィールドであり、参照画像のパリティがトップフィールドであるものとする。この場合、上記の式(9)により色差ベクトルの垂直方向成分が求められる。
図10において、符号化対象画像における所定位置のマクロブロックを符号化する際に、輝度ベクトルMVが算出されたものとする。このとき、参照画像では、輝度ベクトルMVにより、実線で示した領域R21が参照される。また、色差ベクトルMVCは、上記の式(9)に基づき、輝度ベクトルMVを下方向に1/4画素分だけシフトしたベクトルとして求められる。このとき、参照画像では、色差ベクトルMVCにより、破線で示した領域R22が参照される。
ここで、図10の例のように、輝度ベクトルMVにより参照される領域R21が参照画像の下端付近に存在する場合には、色差ベクトルMVCにより参照される領域R22は、参照画像の境界外の領域を含む場合があり得る。色差ベクトルMVCにより参照される領域が参照画像の境界外にある場合には、前述の輝度ベクトルの場合と同様に、参照画像の境界内のデータを基に参照画像の周囲を拡張したデータが、予測画像のデータとして出力される。
しかしながら、スライスSL1を符号化する符号化部102aでは、輝度ベクトルの場合と同様に、色差ベクトルにより参照画像の境界より下側領域が参照された場合には、動き補償ミスマッチが発生する可能性が生じる。このことは、符号化部102b,102cでも同様である。
一方、符号化対象のマクロブロックのパリティがトップフィールドであり、参照画像のパリティがボトムフィールドであった場合には、上記の式(8)により色差ベクトルの垂直方向成分が求められる。この場合、輝度ベクトルにより参照画像の境界内が参照されたとしても、色差ベクトルにより参照画像の境界より上側領域が参照されることがあり得る。符号化部102a〜102cでは、輝度ベクトルの場合と同様に、色差ベクトルにより参照画像の境界より上側領域が参照された場合には、動き補償ミスマッチが発生する可能性が生じる。
そこで、符号化部102a〜102dは、符号化対象のマクロブロックのパリティと参照画像のパリティとの組み合わせに応じて、色差ベクトルにより参照画像の境界より上側領域あるいは下側領域が参照されないように、輝度ベクトルの出力を制限する。これにより、色差成分の動き補償における動き補償ミスマッチの発生を防止する。
次に、上記のような動きベクトルの出力制限機能を備えた動きベクトル演算部122の具体的な構成について説明する。
図11は、動きベクトル演算部の内部構成例を示す図である。
動きベクトル演算部122は、輝度ベクトル出力部130、輝度ベクトル判定部140、色差ベクトル判定部150および輝度ベクトル制限部160を備えている。
輝度ベクトル出力部130は、マクロブロック生成部111から、符合化対象のマクロブロック(以下、参照元ブロックと呼ぶ)と、そのマクロブロックの位置とを受信する。そして、参照元ブロックに類似する画像領域を、参照画像記憶部119に記憶された参照画像から探索し、参照元ブロックに最も類似する画像領域を指示する輝度ベクトルを出力する。このような処理のために、輝度ベクトル出力部130は、輝度ベクトル生成部131、予測画像生成部132、コスト演算部133および最小コストベクトル更新部134を備えている。
輝度ベクトル生成部131は、参照元ブロックに類似する画像領域を探索するための参照画像における参照位置を指定する。具体的には、輝度ベクトル生成部131は、参照先とする参照画像のパリティを指定するとともに、参照元ブロックの位置を基準とした参照先の位置を示す輝度ベクトルを出力する。本実施の形態では、輝度ベクトルにより最小で1/4画素単位の位置を指定することが可能になっている。
予測画像生成部132は、参照画像記憶部119に記憶された参照画像のデータのうち、輝度ベクトル生成部131から参照先として指定されたパリティのデータを読み込む。そして、参照元ブロックの位置と、輝度ベクトル生成部131からの輝度ベクトルとを基に、参照画像における参照位置を求め、参照画像から参照位置に対応する予測画像を生成する。予測画像は、参照元ブロックと同じ16画素×16画素の大きさを有する。また、予測画像生成部132は、例えば、輝度ベクトルにより小数画素単位の領域が指示された場合や、輝度ベクトルにより参照画像の境界外の領域が指示された場合などには、必要に応じて、参照画像の拡張処理やフィルタ演算などを実行する。
コスト演算部133は、予測画像生成部132により生成された予測画像と、参照元ブロックとの類似度を示すコストを演算する。コストCSTは、次の式(10)に示すように、参照元ブロック内の各画素のデータCurr_Pixと、予測画像内の各画素のデータPred_Pixとの差分絶対値和として算出される。
CST=Σ|Curr_Pix−Pred_Pix| ……(10)
コスト演算部133は、算出されたコストを、輝度ベクトル生成部131からの輝度ベクトルおよびパリティとともに、最小コストベクトル更新部134に出力する。また、コスト演算部133は、輝度ベクトルを輝度ベクトル判定部140および色差ベクトル判定部150に出力するとともに、パリティを色差ベクトル判定部150に出力する。
最小コストベクトル更新部134は、コスト演算部133から順次出力されるコストのうち最小の値を、メモリ134aに常に保持するとともに、コストが最小値のときの輝度ベクトルおよびパリティもメモリ134aに保持する。ただし、最小コストベクトル更新部134は、輝度ベクトル制限部160から更新禁止信号を受信したときは、そのときにコスト演算部133から受信したコストが最小値であっても、保持している情報を更新しない。
輝度ベクトル判定部140、色差ベクトル判定部150および輝度ベクトル制限部160は、動き補償ミスマッチが発生しないように、輝度ベクトル出力部130から出力される輝度ベクトルを制限するために設けられている。輝度ベクトル判定部140は、H.264方式を除くMPEG−4方式での動き補償ミスマッチ、すなわち、輝度ベクトルが入力画像の境界外と境界付近の少数画素とをそれぞれ指示することに起因する動き補償ミスマッチの発生を防止するためのものである。一方、色差ベクトル判定部150は、H.264方式での動き補償ミスマッチ、すなわち、輝度ベクトルに基づいて色差ベクトルが生成されることに起因する動き補償ミスマッチの発生を防止するためのものである。このように、H.264方式での動き補償ミスマッチを防止する機能を付加した構成とすることで、MPEG−4方式に対応していた動きベクトル演算部122の構成変更を最小限に留めながら、H.264方式にも対応できるようにしている。
輝度ベクトル判定部140は、現在の参照先を示す輝度ベクトルをコスト演算部133から受信するとともに、符号化対象のマクロブロックの位置をマクロブロック生成部111から受信する。そして、これらの情報を基に、現在の参照先を示す輝度ベクトルが、上記の図6、図8、図9で説明した参照禁止領域を指示しているか否かを判定し、その判定結果を示す判定フラグを輝度ベクトル制限部160に対して出力する。ここでは、輝度ベクトルが参照禁止領域を指示している場合に、判定フラグが“1”とされるものとする。
本実施の形態では、輝度ベクトル判定部140は、整数画素領域判定部141、1/2画素領域判定部142および1/4画素領域判定部143を備えている。整数画素領域判定部141は、輝度ベクトルにより整数画素単位での探索が行われたときに、輝度ベクトルが参照禁止領域を指示しているか否かを判定する。1/2画素領域判定部142は、輝度ベクトルにより1/2画素単位での探索が行われたときに、輝度ベクトルが参照禁止領域を指示しているか否かを判定する。1/4画素領域判定部143は、輝度ベクトルにより1/4画素単位での探索が行われたときに、輝度ベクトルが参照禁止領域を指示しているか否かを判定する。
前述の通り、輝度ベクトルの参照禁止領域は、符号化対象とするスライスの位置によって異なる。従って、符号化部102a〜102dにそれぞれ設けられた輝度ベクトル判定部140では、それぞれが符号化対象とするスライスの位置に応じて、参照禁止領域が設定される。また、例えば、符号化部102a〜102dのそれぞれの輝度ベクトル判定部140に対して、符号化対象とするスライスの位置を示すスライス位置情報が入力されるようにしてもよい。そして、各輝度ベクトル判定部140は、入力されたスライス位置情報に応じて参照禁止領域を設定するようにしてもよい。この場合、符号化部102a〜102dを同じ構成とすることができる。
色差ベクトル判定部150は、現在の参照先を示す輝度ベクトルおよびパリティをコスト演算部133から受信するとともに、符号化対象のマクロブロックの位置をマクロブロック生成部111から受信する。そして、これらの情報を基に、現在の参照先を示す輝度ベクトルから生成される色差ベクトルが、前述したような動き補償ミスマッチを起こす可能性のある領域を指示しているか否かを判定する。さらに、その判定結果を示す判定フラグを輝度ベクトル制限部160に対して出力する。ここでは、輝度ベクトルが動き補償ミスマッチを引き起こす領域を指示している場合に、判定フラグが“1”とされるものとする。
本実施の形態では、色差ベクトル判定部150は、色差ベクトル演算部151および色差ベクトル領域判定部152を備えている。
色差ベクトル演算部151は、コスト演算部133からの輝度ベクトルを基に色差ベクトルを演算する。この色差ベクトル演算部151は、コスト演算部133から出力されるパリティと、マクロブロック生成部111から受信したマクロブロックのパリティとの組み合わせに応じて、前述の式(7)〜式(9)のいずれか1つに従って色差ベクトルを演算する。
色差ベクトル領域判定部152は、符号化対象のマクロブロックの位置を基に、色差ベクトル演算部151によって算出された色差ベクトルが指示する領域を認識する。そして、色差ベクトル演算部151によって算出された色差ベクトルが、動き補償ミスマッチを起こす可能性のある参照禁止領域を指示しているか否かを判定し、判定結果に応じた判定フラグを出力する。
ここで、色差ベクトルによる参照禁止領域は、コスト演算部133から出力される、参照画像のパリティと、マクロブロック生成部111から受信した、参照元ブロックのパリティとの組み合わせに応じて、異なる領域に設定される。本実施の形態では、参照元ブロックがトップフィールド、参照画像がボトムフィールドの場合、参照画像の上側の境界外が参照禁止領域に設定される。また、参照元ブロックがボトムフィールド、参照画像がトップフィールドの場合、参照画像の下側の境界外が参照禁止領域に設定される。また、各パリティが同じ場合には、参照禁止領域は設定されない。
さらに、輝度ベクトル判定部140と同様に、色差ベクトル判定部150でも、色差ベクトルによる参照禁止領域は、符号化対象とするスライスの位置に応じて異なる位置に設定される。また、例えば、符号化部102a〜102dのそれぞれの色差ベクトル判定部150に対して、符号化対象とするスライスの位置を示すスライス位置情報が入力されてもよい。そして、各色差ベクトル判定部150は、入力されたスライス位置情報に応じて参照禁止領域を設定するようにしてもよい。この場合、符号化部102a〜102dを同じ構成とすることができる。
なお、スライス位置情報は、例えば、画面分割部101から入力される。あるいは、スライス位置情報は、各符号化部102a〜102dが備えるメモリにあらかじめ記憶されていてもよい。
輝度ベクトル制限部160は、輝度ベクトル判定部140および色差ベクトル判定部150からの各判定フラグの値に応じて、最小コストベクトル更新部134に対して更新禁止信号を出力する。本実施の形態では、輝度ベクトル制限部160は、輝度ベクトル判定部140および色差ベクトル判定部150のそれぞれから判定フラグの供給を受け、これらの論理和をとる。すなわち、輝度ベクトル判定部140からの判定フラグ、または色差ベクトル判定部150からの判定フラグのどちらか一方でも“1”であれば、更新禁止信号が出力される。
図12は、輝度ベクトル出力部における処理手順を示すフローチャートである。なお、この図12に示す処理は、マクロブロック生成部111からマクロブロックが入力されるごとに実行される。
[ステップS11]輝度ベクトル生成部131は、参照先の位置を示す輝度ベクトルと、参照先とする参照画像のパリティとを、予測画像生成部132およびコスト演算部133に出力する。
[ステップS12]予測画像生成部132は、輝度ベクトル生成部131からの輝度ベクトルおよびパリティに従って、予測画像を生成する。
[ステップS13]コスト演算部133は、マクロブロック生成部111からのマクロブロックと、予測画像生成部132により生成された予測画像の各データを基に、上記の式(10)に従ってコストを算出する。そして、算出したコストを、輝度ベクトル生成部131からの輝度ベクトルおよびパリティとともに、最小コストベクトル更新部134に出力する。
このとき、コスト演算部133からは、輝度ベクトル判定部140に対して輝度ベクトルが出力されるとともに、色差ベクトル判定部150に対して、輝度ベクトルと参照画像のパリティとが出力される。輝度ベクトル判定部140および色差ベクトル判定部150では、コスト演算部133からの情報を基に判定処理を実行し、判定結果をそれぞれの判定フラグに反映する。
[ステップS14]最小コストベクトル更新部134は、コスト演算部133により算出されたコストの値が、メモリ134aに保持しているコストの値より小さいか否かを判定する。算出されたコストの方が小さい場合には、ステップS15の処理が実行され、それ以外の場合には、ステップS17の処理が実行される。
[ステップS15]最小コストベクトル更新部134は、輝度ベクトル制限部160から更新禁止信号を受信しているか否かを判定する。受信している場合には、ステップS17の処理が実行され、受信していない場合には、ステップS16の処理が実行される。
[ステップS16]最小コストベクトル更新部134は、メモリ134aに保持している情報を、コスト演算部133からのコスト、輝度ベクトルおよびパリティで更新する。
[ステップS17]ステップS14〜S16の処理が実行されると、最小コストベクトル更新部134は、輝度ベクトル生成部131に対して、次の参照先の位置を指定するように要求する。輝度ベクトル生成部131は、1つのマクロブロックの符号化のためのすべての参照先を指定したか否かを判定する。
ここで、指定していない参照先が残っている場合には、ステップS11の処理が再度実行され、輝度ベクトル生成部131により、次の参照先を指示する輝度ベクトルおよびパリティが出力される。一方、すべての参照先の指示が完了した場合には、輝度ベクトル生成部131はそのことを最小コストベクトル更新部134に通知し、この後、ステップS18の処理が実行される。
[ステップS18]最小コストベクトル更新部134は、メモリ134aに現在保持している輝度ベクトルおよびパリティを、エントロピー符号化部115およびインター予測画像生成部121に出力する。そして、メモリ134aに保持している情報をすべてクリアする。
図13は、輝度ベクトル判定部における処理手順を示すフローチャートである。
なお、ここでは、符号化部102a〜102dのそれぞれには、入力されたスライスの位置を示すスライス位置情報が入力されるものとする。また、この図13は、輝度ベクトル判定部140が備える整数画素領域判定部141、1/2画素領域判定部142および1/4画素領域判定部143のそれぞれにおける処理手順を示している。
[ステップS21]各領域判定部は、スライス位置情報に基づき、符号化対象のスライスが分割前の画像の上端に位置するか否かを判定する。上端に位置する場合には、ステップS22の処理が実行され、それ以外の場合には、ステップS23の処理が実行される。
[ステップS22]各領域判定部は、入力された輝度ベクトルが、参照画像における下側の参照禁止領域を指示しているか否かを判定する。
具体的には、整数画素領域判定部141では、参照禁止領域は、参照画像の下側の境界外の整数画素に設定される。また、1/2画素領域判定部142では、参照禁止領域は、参照画像の下側の境界外の1/2画素と、参照画像の下端部から所定数の列のそれぞれに挟まれる領域(図9の領域R13,R14)内の1/2画素の各領域に設定される。さらに、1/4画素領域判定部143では、参照禁止領域は、参照画像の下側の境界外の1/4画素と、参照画像の下端部から所定数の列のそれぞれに挟まれる領域(図9の領域R13,R14)内の1/4画素の各領域に設定される。
以上の判定処理の結果、輝度ベクトルが下側の参照禁止領域を指示している場合には、ステップS26の処理が実行され、それ以外の場合には、ステップS27の処理が実行される。
[ステップS23]各領域判定部は、スライス位置情報に基づき、符号化対象のスライスが分割前の画像の下端に位置するか否かを判定する。下端に位置する場合には、ステップS24の処理が実行され、それ以外の場合、すなわち、スライス位置が分割前の画像の上端でも下端でもない場合には、ステップS25の処理が実行される。
[ステップS24]各領域判定部は、入力された輝度ベクトルが、参照画像における上側の参照禁止領域を指示しているか否かを判定する。具体的には、整数画素領域判定部141では、参照禁止領域は、参照画像の上側の境界外の整数画素に設定される。また、1/2画素領域判定部142では、参照禁止領域は、参照画像の上側の境界外の1/2画素と、参照画像の上端部から所定数の列のそれぞれに挟まれる領域(図8の領域R11,R12)内の1/2画素の各領域に設定される。さらに、1/4画素領域判定部143では、参照禁止領域は、参照画像の上側の境界外の1/4画素と、参照画像の上端部から所定数の列のそれぞれに挟まれる領域(図8の領域R11,R12)内の1/4画素の各領域に設定される。
以上の判定処理の結果、輝度ベクトルが下側の参照禁止領域を指示している場合には、ステップS26の処理が実行され、それ以外の場合には、ステップS27の処理が実行される。
[ステップS25]各領域判定部は、入力された輝度ベクトルが、参照画像における上側または下側の参照禁止領域を指示しているか否かを判定する。
具体的には、整数画素領域判定部141では、参照禁止領域は、参照画像の上側の境界外の整数画素と、下側の境界外の整数画素の各領域に設定される。また、1/2画素領域判定部142では、参照禁止領域は、参照画像の上側の境界外の1/2画素と、下側の境界外の1/2画素と、参照画像の上端部から所定数の列のそれぞれに挟まれる領域(図8の領域R11,R12)内の1/2画素と、参照画像の下端部から所定数の列のそれぞれに挟まれる領域(図9の領域R13,R14)内の1/2画素の各領域に設定される。さらに、1/4画素領域判定部143では、参照禁止領域は、参照画像の上側の境界外の1/4画素と、参照画像の下側の境界外の1/4画素と、参照画像の上端部から所定数の列のそれぞれに挟まれる領域(図8の領域R11,R12)内の1/4画素と、参照画像の下端部から所定数の列のそれぞれに挟まれる領域(図9の領域R13,R14)内の1/4画素の各領域に設定される。
以上の判定処理の結果、輝度ベクトルが上記の参照禁止領域を指示している場合には、ステップS26の処理が実行され、それ以外の場合には、ステップS27の処理が実行される。
[ステップS26]各領域判定部は、判定フラグを“1”に設定する。
[ステップS27]各領域判定部は、判定フラグを“0”に設定する。
ただし、輝度ベクトル判定部140から最終的に輝度ベクトル制限部160に出力される判定フラグは、上記の各領域判定部から出力される判定フラグの論理和がとられる。
以上の処理により、動き補償ミスマッチが生じ得る領域を輝度ベクトルが指示した場合に、輝度ベクトル判定部140から出力される判定フラグは“1”とされる。
次に、図14は、色差ベクトル演算部の内部構成例を示す図である。なお、ここでは、図13で説明した例のように、符号化部102a〜102dのそれぞれには、入力されたスライスの位置を示すスライス位置情報が入力されるものとする。
色差ベクトル演算部151は、例えば、輝度ベクトルを基に色差ベクトルを演算する第1〜第3の演算処理部151a〜151cと、パリティ判定部151dとを備えている。
第1〜第3の演算処理部151a〜151cは、それぞれ別の演算式を用いて色差ベクトルを演算することが可能な演算処理部である。本実施の形態では、第1の演算処理部151aは、上記の式(7)に従って色差ベクトルを演算し、第2の演算処理部151bは、式(8)に従って色差ベクトルを演算し、第3の演算処理部151cは、式(9)に従って色差ベクトルを演算する。
パリティ判定部151dは、参照元ブロックのパリティと参照画像のパリティとの組み合わせに応じて、入力された輝度ベクトルを第1〜第3の演算処理部151a〜151cのいずれか1つに選択的に出力する。具体的な選択処理については、後の図15において説明する。
なお、この図14に示すように、それぞれ別の演算式を用いて色差ベクトルを演算可能な個別の演算処理部を設けることにより、例えば、新たな符号化規格によって色差ベクトルの演算式が変更された場合にも、容易に対応可能になる。従って、符号化部102a〜102dの汎用性が高められ、製造・開発コストが抑制される。
図15は、色差ベクトル判定部における処理手順を示すフローチャートである。
[ステップS31]パリティ判定部151dは、参照元ブロックがトップフィールドであり、なおかつ参照画像がボトムフィールドであるか否かを判定する。上記条件に合致している場合には、ステップS32の処理が実行され、合致していない場合には、ステップS35の処理が実行される。
[ステップS32]パリティ判定部151dは、第2の演算処理部151bを選択して、輝度ベクトルを供給する。第2の演算処理部151bは、上記の式(8)に従って色差ベクトルを演算し、色差ベクトル領域判定部152に出力する。
[ステップS33]色差ベクトル領域判定部152は、スライス位置情報に基づき、符号化対象のスライスが分割前の画像の上端に位置するか否かを判定する。上端に位置する場合には、ステップS41の処理が実行され、それ以外の場合には、ステップS34の処理が実行される。
[ステップS34]色差ベクトル領域判定部152は、参照元ブロックの位置に基づき、色差ベクトル演算部151からの色差ベクトルが、参照画像の上側の境界外を指示しているか否かを判定する。指示している場合には、ステップS40の処理が実行され、指示していない場合には、ステップS41の処理が実行される。
[ステップS35]パリティ判定部151dは、参照元ブロックがボトムフィールドであり、なおかつ参照画像がトップフィールドであるか否かを判定する。上記条件に合致している場合には、ステップS36の処理が実行される。一方、合致していない場合、すなわち、参照元ブロックのパリティと参照画像のパリティとが同じである場合には、ステップS39の処理が実行される。
[ステップS36]パリティ判定部151dは、第3の演算処理部151cを選択して、輝度ベクトルを供給する。第3の演算処理部151cは、上記の式(9)に従って色差ベクトルを演算し、色差ベクトル領域判定部152に出力する。
[ステップS37]色差ベクトル領域判定部152は、スライス位置情報に基づき、符号化対象のスライスが分割前の画像の下端に位置するか否かを判定する。下端に位置する場合には、ステップS41の処理が実行され、それ以外の場合には、ステップS38の処理が実行される。
[ステップS38]色差ベクトル領域判定部152は、参照元ブロックの位置に基づき、色差ベクトル演算部151からの色差ベクトルが、参照画像の下側の境界外を指示しているか否かを判定する。指示している場合には、ステップS40の処理が実行され、指示していない場合には、ステップS41の処理が実行される。
[ステップS39]パリティ判定部151dは、第1の演算処理部151aを選択して、輝度ベクトルを供給する。第1の演算処理部151aは、上記の式(7)に従って色差ベクトルを演算し、色差ベクトル領域判定部152に出力する。この後、ステップS41の処理が実行される。
[ステップS40]色差ベクトル領域判定部152は、判定フラグを“1”に設定する。
[ステップS41]色差ベクトル領域判定部152は、判定フラグを“0”に設定する。
以上の図15の処理により、輝度ベクトルがいかなる領域を指示していても、色差ベクトルが参照画像の境界外を指示した場合には、色差ベクトル判定部150から出力される判定フラグが“1”とされる。
輝度ベクトル制限部160は、前述のように、輝度ベクトル判定部140および色差ベクトル判定部150のそれぞれから出力される判定フラグの論理和をとることにより、更新禁止信号を出力する。このため、最小コストベクトル更新部134では、動き補償ミスマッチが生じ得る領域を指示するような輝度ベクトルは、たとえコストが最小となっても保持されなくなる。従って、動き補償ミスマッチが生じることが確実に防止される。
ここで、参考のために、最小コストベクトル更新部134から最終的に出力される輝度ベクトルについて説明する。
図16は、参照画像の上端における参照禁止領域を説明するための図である。
この図16は、図8と同様に、参照画像の上端付近の領域を示しており、図16中の一点鎖線が参照画像の上側の画面境界を示している。参照元ブロックがトップフィールド、参照画像がボトムフィールドの場合には、上記の式(8)に従い、色差ベクトルは輝度ベクトルより上側に1/4画素分だけシフトされる。一方、H.264では、動きベクトルは最小で1/4画素単位の位置を指し示す。
このため、輝度ベクトルが、参照画像の上端部に対応するy=0の列、すなわち図16における領域R31を指示する場合に、式(8)より色差ベクトルが参照画像の上側の境界外を指示するようになる。従って、少なくとも、符号化部102b〜102dの最小コストベクトル更新部134では、パリティの組み合わせが上記の場合、参照画像の上側の境界外領域と、領域R11,R12とに加えて、領域R31を指示する動きベクトルの出力が禁止される。
なお、動きベクトルが最小で1/p画素単位(ただし、p>0)の位置を指示可能であり、輝度ベクトルを1/q(ただし、q≦p)画素分だけ上側にシフトすることにより色差ベクトルが生成されるものとする。このとき、輝度ベクトルによる参照が禁止される領域R31は、y=0の位置に対応する列から、y=(1/q)−(1/p)の位置に対応する列までの領域と表すことができる。
図17は、参照画像の下端における参照禁止領域を説明するための図である。
この図17は、図9と同様に、参照画像の下端付近の領域を示しており、図17中の一点鎖線が参照画像の下側の画面境界を示している。参照元ブロックがボトムフィールド、参照画像がトップフィールドの場合には、上記の式(9)に従い、色差ベクトルは輝度ベクトルより下側に1/4画素分だけシフトされる。一方、H.264では、動きベクトルは最小で1/4画素単位の位置を指し示す。
ここで、入力されたスライスが、垂直方向に対してy=0からy=mまでの(m+1)個(ただし、mは1以上の整数)の整数画素を有するものとする。このとき、輝度ベクトルが、参照画像の下端部に対応するy=mの列、すなわち図17における領域R32を指示する場合に、式(9)より色差ベクトルが参照画像の下側の境界外を指示するようになる。従って、少なくとも、符号化部102a〜102cの最小コストベクトル更新部134では、パリティの組み合わせが上記の場合、参照画像の下側の境界外領域と、領域R13,R14とに加えて、領域R32を指示する動きベクトルの出力が禁止される。
なお、動きベクトルが最小で1/p画素単位の位置を指示可能であり、輝度ベクトルを1/q画素分(ただし、q≦p)だけ下側にシフトすることにより色差ベクトルが生成されるものとする。このとき、輝度ベクトルによる参照が禁止される領域R32は、y=mの位置に対応する列から、y=m−{(1/q)−(1/p)}の位置に対応する列までの領域と表すことができる。
〔第3の実施の形態〕
図18は、第3の実施の形態に係る動きベクトル演算部の内部構成例を示す図である。なお、図18では、図11に対応する構成要素については同じ符号を付して示している。
図18に示す動きベクトル演算部122aは、図11に示した動きベクトル演算部122の構成において、色差ベクトル判定部150の代わりに、輝度ベクトル領域判定部153を備えた色差ベクトル判定部150aを設けたものである。
輝度ベクトル領域判定部153は、現在の参照先を示す輝度ベクトルおよびパリティをコスト演算部133から受信するとともに、符号化対象のマクロブロックの位置をマクロブロック生成部111から受信する。そして、これらの情報を基に、輝度ベクトルを基に色差ベクトルを生成したときに、その色差ベクトルが前述したような動き補償ミスマッチを起こす可能性のある領域を指示するか否かを判定する。すなわち、輝度ベクトル領域判定部153は、輝度ベクトルを基に実際に色差ベクトルを算出することなく、H.264方式での動き補償ミスマッチの発生を防止するように動作する。
図19は、第3の実施の形態に係る色差ベクトル判定部における処理手順を示すフローチャートである。
[ステップS51]色差ベクトル判定部150aの輝度ベクトル領域判定部153は、参照元ブロックがトップフィールドであり、なおかつ探索先とする参照画像がボトムフィールドであるか否かを判定する。上記条件に合致している場合には、ステップS52の処理が実行され、合致していない場合には、ステップS54の処理が実行される。
[ステップS52]輝度ベクトル領域判定部153は、スライス位置情報に基づき、符号化対象のスライスが分割前の画像の上端に位置するか否かを判定する。上端に位置する場合には、ステップS58の処理が実行され、それ以外の場合には、ステップS53の処理が実行される。
[ステップS53]輝度ベクトル領域判定部153は、コスト演算部133からの輝度ベクトルが、参照画像における上側の参照禁止領域、すなわち、図16に示した領域R31を指示しているか否かを判定する。指示している場合には、ステップS57の処理が実行され、指示していない場合には、ステップS58の処理が実行される。
[ステップS54]輝度ベクトル領域判定部153は、参照元ブロックがボトムフィールドであり、なおかつ探索先とする参照画像がトップフィールドであるか否かを判定する。上記条件に合致している場合には、ステップS55の処理が実行される。一方、合致していない場合、すなわち、参照元ブロックのパリティと参照画像のパリティとが同じである場合には、ステップS58の処理が実行される。
[ステップS55]輝度ベクトル領域判定部153は、スライス位置情報に基づき、符号化対象のスライスが分割前の画像の下端に位置するか否かを判定する。下端に位置する場合には、ステップS58の処理が実行され、それ以外の場合には、ステップS56の処理が実行される。
[ステップS56]輝度ベクトル領域判定部153は、コスト演算部133からの輝度ベクトルが、参照画像における下側の参照禁止領域、すなわち、図17に示した領域R32を指示しているか否かを判定する。指示している場合には、ステップS57の処理が実行され、指示していない場合には、ステップS58の処理が実行される。
[ステップS57]輝度ベクトル領域判定部153は、判定フラグを“1”に設定する。
[ステップS58]輝度ベクトル領域判定部153は、判定フラグを“0”に設定する。
以上の図19の処理により、輝度ベクトルを基に生成される色差ベクトルが、参照画像の境界外を指示する場合には、色差ベクトル判定部150aから出力される判定フラグが“1”とされる。従って、輝度ベクトルを基に色差ベクトルが算出されることに起因する動き補償ミスマッチの発生が防止される。また、実際に色差ベクトルが算出されないので、第2の実施の形態の場合と比較して、処理負荷が軽減される。
〔第4の実施の形態〕
図20は、第4の実施の形態に係る動きベクトル演算部の内部構成例を示す図である。なお、図20では、図11に対応する構成要素については同じ符号を付して示している。
前述した第2,第3の実施の形態では、動き補償ミスマッチが生じるような輝度ベクトルが出力されたときに、輝度ベクトル制限部160から更新禁止信号を出力することで、最小コストベクトル更新部134での記憶データの更新を禁止していた。これに対して、図20に示す動きベクトル演算部122bでは、動き補償ミスマッチが生じるような探索先が指定されたときに、その探索先を指定する輝度ベクトルを予測画像生成部132およびコスト演算部133に出力しないようにする。
図20において、輝度ベクトル出力部130bが備える輝度ベクトル生成部131bは、図11に示した輝度ベクトル生成部131の機能に加えて、予測画像生成部132およびコスト演算部133への輝度ベクトルおよびパリティの出力制限機能を備えている。輝度ベクトル生成部131bは、探索先を指定する輝度ベクトルおよびパリティを、まず、輝度ベクトル判定部140および色差ベクトル判定部150に出力する。そして、輝度ベクトル判定部140および色差ベクトル判定部150での判定処理に基づき、輝度ベクトル制限部160から出力禁止信号が入力された場合には、予測画像生成部132およびコスト演算部133に対して輝度ベクトルおよびパリティを出力しない。
なお、輝度ベクトル制限部160から出力される出力禁止信号は、基本的に、第2,第3の実施の形態における更新禁止信号と同様の信号である。また、本実施の形態では、第2の実施の形態で示した色差ベクトル判定部150を用いているが、その代わりに、第3の実施の形態で示した色差ベクトル判定部150aが用いられてもよい。
図21は、第4の実施の形態に係る輝度ベクトル出力部における処理手順を示すフローチャートである。なお、この図21に示す処理は、マクロブロック生成部111からマクロブロックが入力されるごとに実行される。
[ステップS61]輝度ベクトル生成部131bは、参照先の位置を示す輝度ベクトルと、参照先とする参照画像のパリティとを、輝度ベクトル判定部140および色差ベクトル判定部150に出力する。輝度ベクトル判定部140および色差ベクトル判定部150では、輝度ベクトル生成部131bからの情報を基に判定処理を実行し、判定結果をそれぞれの判定フラグに反映する。
[ステップS62]輝度ベクトル生成部131bは、輝度ベクトル制限部160から出力禁止信号を受信しているか否かを判定する。受信している場合には、ステップS68の処理が実行され、受信していない場合には、ステップS63の処理が実行される。
[ステップS63]輝度ベクトル生成部131bは、ステップS61で出力したものと同一の輝度ベクトルおよびパリティを、予測画像生成部132およびコスト演算部133に出力する。
[ステップS64]予測画像生成部132は、輝度ベクトル生成部131bからの輝度ベクトルおよびパリティに従って、予測画像を生成する。
[ステップS65]コスト演算部133は、マクロブロック生成部111からのマクロブロックと、予測画像生成部132により生成された予測画像の各データを基に、上記の式(10)に従ってコストを算出する。そして、算出したコストを、輝度ベクトル生成部131bからの輝度ベクトルおよびパリティとともに、最小コストベクトル更新部134に出力する。
[ステップS66]最小コストベクトル更新部134は、コスト演算部133により算出されたコストの値が、メモリ134aに保持しているコストの値より小さいか否かを判定する。算出されたコストの方が小さい場合には、ステップS67の処理が実行され、それ以外の場合には、ステップS68の処理が実行される。
[ステップS67]最小コストベクトル更新部134は、メモリ134aに保持している情報を、コスト演算部133からのコスト、輝度ベクトルおよびパリティで更新する。
[ステップS68]最小コストベクトル更新部134は、輝度ベクトル生成部131bに対して、次の参照先の位置を指定するように要求する。輝度ベクトル生成部131bは、1つのマクロブロックの符号化のためのすべての参照先を指定したか否かを判定する。
ここで、指定していない参照先が残っている場合には、ステップS61の処理が再度実行され、輝度ベクトル生成部131bにより、次の参照先を指示する輝度ベクトルおよびパリティが出力される。一方、すべての参照先の指示が完了した場合には、輝度ベクトル生成部131bはそのことを最小コストベクトル更新部134に通知し、この後、ステップS69の処理が実行される。
[ステップS69]最小コストベクトル更新部134は、現在メモリ134aに保持している輝度ベクトルおよびパリティを、エントロピー符号化部115およびインター予測画像生成部121に出力する。そして、メモリ134aに保持している情報をすべてクリアする。
以上の処理によれば、輝度ベクトル生成部131bから出力された輝度ベクトルが、動き補償ミスマッチを生じうる位置を指示している場合には、メモリ134aに保持する情報は更新されない。それだけでなく、予測画像の生成処理やコストの演算処理も実行されない。このため、動きベクトル演算部122bでの処理負荷をより軽減することができる。
〔第5の実施の形態〕
図22は、第5の実施の形態に係るコンピュータのハードウェア構成例を示す図である。
上記の第2〜第4の実施の形態で示した画像符号化装置のすべての機能、あるいはそれらの一部は、ソフトウェア処理によって実現することもできる。図22では、これらの機能をソフトウェアの実行により実現するコンピュータを示している。
図22に示すコンピュータ200は、CPU201、RAM202、HDD203、グラフィック処理部204,入力I/F205、読み取り部206および通信I/F207を備えており、これらの各部はバス208によって相互に接続されている。
CPU201は、HDD203に記憶された各種プログラムを実行することにより、このコンピュータ200全体を統括的に制御する。RAM202は、CPU201に実行させるプログラムの少なくとも一部や、このプログラムによる処理に必要な各種データを一時的に記憶する。HDD203は、CPU201により実行されるプログラムやその実行に必要な各種のデータなどを記憶する。
グラフィック処理部204には、モニタ204aが接続されている。このグラフィック処理部204は、CPU201からの命令に従って、モニタ204aの画面上に画像を表示させる。入力I/F205には、キーボード205aやマウス205bが接続されている。この入力I/F205は、キーボード205aやマウス205bからの信号を、バス208を介してCPU201に送信する。
読み取り部206は、可搬型の記録媒体206aからデータを読み取り、バス208を介してCPU201に送信する。記録媒体206aとしては、例えば光ディスクなどを適用可能である。通信I/F207は、図示しないコネクタを介して外部装置と接続し、外部装置との間でデータの送受信を行う。
ここで、上記の第2〜第4の実施の形態で示した機能のすべて、あるいはそれらの一部がソフトウェア処理によって実現される場合には、それらの機能の処理内容を記述したプログラムが、例えばHDD203に記憶される。そして、そのプログラムがCPU201に実行されることによって、それらの機能が実現される。
また、例えば、第2〜第4の実施の形態で示した機能のうち、輝度ベクトル出力部130,130bの機能のみをそれぞれ備えた符号化部102a〜102dが、グラフィック処理部204内にハードウェア回路として設けられてもよい。この場合、このような符号化部102a〜102dは、それぞれ個別の半導体集積回路として実現されてもよいし、一体の半導体集積回路として実現されてもよい。
このような場合に、輝度ベクトル判定部140、色差ベクトル判定部150,150aおよび輝度ベクトル制限部160の機能のみを、CPU201によるソフトウェア処理によって実現してもよい。なお、この場合、図2に示した画面分割部101および多重化部103の機能は、グラフィック処理部204内のハードウェア回路によって実現されてもよいし、あるいはCPU201によるソフトウェア処理によって実現されてもよい。
なお、以上の第2〜第5の実施の形態では、画面分割部101によって分割されたスライスを、それぞれ個別の符号化部102a〜102dによって符号化する構成としていた。しかし、この他の例として、分割されたスライスを1つの符号化部102によって符号化する構成としてもよい。この場合、例えば、画面分割部101によって分割されたスライスのデータは、一旦メモリにバッファされる。そして、そのメモリから、1つの符号化部102に対して、各スライスのデータが順次入力されて、スライスごとに符号化処理が実行される。また、符号化された各スライスのデータはメモリにバッファされた後、多重化部103によって多重化される。
なお、前述のように、上記の画像符号化装置が有する機能の少なくとも一部は、コンピュータによって実現することができる。その場合には、上記機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、そのプログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
以上の各実施の形態に関し、さらに以下の付記を開示する。
(付記1) 復号時に輝度成分の動きベクトルを基に色差成分の動きベクトルを生成可能な動画像符号化方式を用いて、インタレース方式の入力動画像のデータを符号化する画像符号化装置において、
前記入力動画像に含まれる各フィールドの画像を少なくとも垂直方向に分割した分割画像のデータを順次受信し、1つの前記分割画像内の符号化対象領域に類似する領域を、同じ位置の他の前記分割画像に基づく参照画像から探索するための輝度成分の動きベクトルと、当該動きベクトルにより参照される前記参照画像のフィールド種別とを出力する動きベクトル出力部と、
前記符号化対象領域のフィールド種別と、前記動きベクトル出力部からの、前記参照画像のフィールド種別との組み合わせごとに前記参照画像の少なくとも上側の境界外または下側の境界外にあらかじめ設定された参照禁止領域を、前記動きベクトル出力部からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが指示するか否かを判定する参照領域判定部と、
前記動きベクトル出力部からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合に、当該輝度成分の動きベクトルが、前記符号化対象領域に最も類似する領域を指示する動きベクトルとして出力されることを禁止する動きベクトル出力制限部と、
を有することを特徴とする画像符号化装置。
(付記2) 前記参照領域判定部は、前記動きベクトル出力部からの輝度成分の動きベクトルを基に、前記符号化対象領域のフィールド種別と前記参照画像のフィールド種別との組み合わせごとに異なる計算式を用いて色差成分の動きベクトルを算出し、算出された色差成分の動きベクトルが前記参照禁止領域を指示しているか否かを判定することを特徴とする付記1記載の画像符号化装置。
(付記3) 前記参照領域判定部は、前記符号化対象領域のフィールド種別がトップフィールドであり、前記参照画像のフィールド種別がボトムフィールドである場合には、前記参照画像の上側の境界外を前記参照禁止領域として設定し、前記符号化対象領域のフィールド種別がボトムフィールドであり、前記参照画像のフィールド種別がトップフィールドである場合には、前記参照画像の下側の境界外を前記参照禁止領域として設定し、前記符号化対象領域のフィールド種別と前記参照画像のフィールド種別とが同じ場合には、前記参照禁止領域を設定しないことを特徴とする付記2記載の画像符号化装置。
(付記4) 前記参照領域判定部は、前記動きベクトル出力部からの輝度成分の動きベクトルを基にそれぞれ異なる計算式を用いて色差成分の動きベクトルを算出可能な複数の演算処理部を備え、前記符号化対象領域のフィールド種別と前記参照画像のフィールド種別との組み合わせに応じて、いずれか1つの前記演算処理部を選択して色差成分の動きベクトルを算出することを特徴とする付記2記載の画像符号化装置。
(付記5) 前記参照領域判定部には、輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合に当該輝度成分の動きベクトルが指示する参照禁止輝度領域が、前記参照画像の内部領域にあらかじめ設定され、前記参照領域判定部は、前記動きベクトル出力部からの輝度成分の動きベクトルが前記参照禁止輝度領域を指示しているか否かを判定し、
前記動きベクトル出力制限部は、前記動きベクトル出力部からの輝度成分の動きベクトルが前記参照禁止輝度領域を指示している場合に、当該輝度成分の動きベクトルが、前記符号化対象領域に最も類似する領域を指し示す動きベクトルとして出力されることを禁止することを特徴とする付記1記載の画像符号化装置。
(付記6) 前記分割画像が垂直方向に対してy=0からy=m(ただし、mは1以上の整数)までの(m+1)個の画素を有し、輝度成分の動きベクトルが最小で1/p画素単位(ただし、p>0)の位置を指示することが可能であり、前記符号化対象領域のフィールド種別と前記参照画像のフィールド種別との組み合わせに応じて、輝度成分の動きベクトルを1/q画素分(ただし、q≦p)だけ上側または下側にシフトすることにより色差成分の動きベクトルが生成されるものとすると、
前記参照禁止輝度領域は、y=0の位置に対応する列からy=(1/q)−(1/p)の位置に対応する列までの領域、または、y=mの位置に対応する列からy=m−{(1/q)−(1/p)}の位置に対応する列までの領域に設定されることを特徴とする付記5記載の画像符号化装置。
(付記7) 前記参照領域判定部は、前記符号化対象領域のフィールド種別がトップフィールドであり、前記参照画像のフィールド種別がボトムフィールドである場合には、y=0の位置に対応する列からy=(1/q)−(1/p)の位置に対応する列までの領域を前記参照禁止輝度領域として設定し、前記符号化対象領域のフィールド種別がボトムフィールドであり、前記参照画像のフィールド種別がトップフィールドである場合には、y=mの位置に対応する列からy=m−{(1/q)−(1/p)}の位置に対応する列までの領域を前記参照禁止輝度領域として設定し、前記符号化対象領域のフィールド種別と前記参照画像のフィールド種別とが同じ場合には、前記参照禁止領域を設定しないことを特徴とする付記6記載の画像符号化装置。
(付記8) 前記動きベクトル出力部、前記参照領域判定部および前記動きベクトル出力制限部をそれぞれ備えて、入力された前記分割画像を符号化する複数の符号化部と、
前記入力動画像に含まれる各フィールドの画像を前記分割画像に分割し、1つのフィールドの画像から分割した前記分割画像をそれぞれ個別の前記符号化部に入力する画像分割部と、
前記各符号化部により符号化された前記分割画像の符号化データを多重化し、前記入力動画像の符号化データとして出力する多重化部と、
を有することを特徴とする付記1記載の画像符号化装置。
(付記9) 前記入力動画像に含まれるフィールドの最上部に対応する前記分割画像が入力される前記符号化部の前記参照領域判定部では、前記参照禁止領域は前記参照画像の下側の境界外に設定され、前記入力動画像に含まれるフィールドの最下部に対応する前記分割画像が入力される前記符号化部の前記参照領域判定部では、前記参照禁止領域は前記参照画像の上側の境界外に設定され、前記入力動画像に含まれるフィールドの最上部と最下部とを除く領域に対応する前記分割画像が入力される前記符号化部の前記参照領域判定部では、前記参照禁止領域は、前記符号化対象領域のフィールド種別と前記参照画像のフィールド種別との組み合わせのうち、1つの組み合わせに対して前記参照画像の上側の境界外に設定され、他の1つの組み合わせに対して前記参照画像の下側の境界外に設定されることを特徴とする付記8記載の画像符号化装置。
(付記10) 前記動きベクトル出力部からの輝度成分の動きベクトルにより指示される前記参照画像に基づく画像領域と、前記符号化対象領域との類似度に応じた類似度情報を、輝度成分の動きベクトルが出力されるたびに出力する類似度出力部と、
前記類似度出力部からの前記類似度情報と当該類似度情報に対応する輝度成分の動きベクトルとを保持する機能を備え、1つの前記符号化対象領域と類似する領域を探索する間、自身が保持している前記類似度情報と前記類似度算出部から新たに出力された前記類似度情報とに基づき、新たに出力された前記類似度情報に対応する輝度成分の動きベクトルにより指示される画像領域が、自身が保持している輝度成分の動きベクトルにより指示される画像領域より前記符号化対象領域と類似している場合に、新たに出力された前記類似度情報および輝度成分の動きベクトルによって自身が保持している情報を更新する動きベクトル保持部と、
をさらに有し、
前記動きベクトル出力制限部は、前記動きベクトル出力部からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合には、当該輝度成分の動きベクトルおよびこれに対応する前記類似度情報によって、前記動きベクトル保持部が保持している情報を更新させないことを特徴とする付記1記載の画像符号化装置。
(付記11) 前記動きベクトル出力部からの輝度成分の動きベクトルと当該動きベクトルにより参照される前記参照画像のフィールド種別とに基づいて、前記参照画像から前記符号化対象領域と比較するための予測画像を生成する予測画像生成部をさらに有し、
前記動きベクトル出力制限部は、前記動きベクトル出力部からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合に、前記動きベクトル出力部から前記予測画像生成部への輝度成分の動きベクトルおよび前記参照画像のフィールド種別の出力を禁止することを特徴とする付記1記載の画像符号化装置。
(付記12) 復号時に輝度成分の動きベクトルを基に色差成分の動きベクトルを生成可能な動画像符号化方式を用いて、インタレース方式の入力動画像のデータを符号化する処理を制御する画像符号化制御方法において、
前記入力動画像に含まれる各フィールドの画像を少なくとも垂直方向に分割した分割画像のデータを順次受信し、1つの前記分割画像内の符号化対象領域に類似する領域を、同じ位置の他の前記分割画像に基づく参照画像から探索するための輝度成分の動きベクトルを出力する動きベクトル出力手段から、参照領域判定手段が、輝度成分の動きベクトルと当該動きベクトルにより参照される前記参照画像のフィールド種別との入力を受け、
前記参照領域判定手段が、前記符号化対象領域のフィールド種別と、前記動きベクトル出力手段からの、前記参照画像のフィールド種別との組み合わせごとに前記参照画像の少なくとも上側の境界外または下側の境界外にあらかじめ設定された参照禁止領域を、前記動きベクトル出力手段からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが指示するか否かを判定し、
動きベクトル出力制限手段が、前記動きベクトル出力手段からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合に、当該輝度成分の動きベクトルが、前記符号化対象領域に最も類似する領域を指示する動きベクトルとして出力されることを禁止する、
ことを特徴とする画像符号化制御方法。
(付記13) 復号時に輝度成分の動きベクトルを基に色差成分の動きベクトルを生成可能な動画像符号化方式を用いて、インタレース方式の入力動画像のデータを符号化する処理を制御する画像符号化制御プログラムにおいて、
コンピュータに、
前記入力動画像に含まれる各フィールドの画像を少なくとも垂直方向に分割した分割画像のデータを順次受信し、1つの前記分割画像内の符号化対象領域に類似する領域を、同じ位置の他の前記分割画像に基づく参照画像から探索するための輝度成分の動きベクトルを出力する動きベクトル出力手段から、輝度成分の動きベクトルと当該動きベクトルにより参照される前記参照画像のフィールド種別との入力を受け、
前記符号化対象領域のフィールド種別と、前記動きベクトル出力手段からの、前記参照画像のフィールド種別との組み合わせごとに前記参照画像の少なくとも上側の境界外または下側の境界外にあらかじめ設定された参照禁止領域を、前記動きベクトル出力手段からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが指示するか否かを判定し、
前記動きベクトル出力手段からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合に、当該輝度成分の動きベクトルが、前記符号化対象領域に最も類似する領域を指示する動きベクトルとして出力されることを禁止する、
処理を実行させることを特徴とする画像符号化制御プログラム。
1 画像符号化装置
2 入力動画像
11 動きベクトル出力部
12 参照領域判定部
13 動きベクトル出力制限部
21〜24 分割画像
31 参照画像

Claims (10)

  1. 復号時に輝度成分の動きベクトルを基に色差成分の動きベクトルを生成可能な動画像符号化方式を用いて、インタレース方式の入力動画像のデータを符号化する画像符号化装置において、
    前記入力動画像に含まれる各フィールドの画像を少なくとも垂直方向に分割した分割画像のデータを順次受信し、1つの前記分割画像内の符号化対象領域に類似する領域を、同じ位置の他の前記分割画像に基づく参照画像から探索するための輝度成分の動きベクトルと、当該動きベクトルにより参照される前記参照画像のフィールド種別とを出力する動きベクトル出力部と、
    前記符号化対象領域のフィールド種別と、前記動きベクトル出力部からの、前記参照画像のフィールド種別との組み合わせごとに前記参照画像の少なくとも上側の境界外または下側の境界外にあらかじめ設定された参照禁止領域を、前記動きベクトル出力部からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが指示するか否かを判定する参照領域判定部と、
    前記動きベクトル出力部からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合に、当該輝度成分の動きベクトルが、前記符号化対象領域に最も類似する領域を指示する動きベクトルとして出力されることを禁止する動きベクトル出力制限部と、
    を有することを特徴とする画像符号化装置。
  2. 前記参照領域判定部は、前記動きベクトル出力部からの輝度成分の動きベクトルを基に、前記符号化対象領域のフィールド種別と前記参照画像のフィールド種別との組み合わせごとに異なる計算式を用いて色差成分の動きベクトルを算出し、算出された色差成分の動きベクトルが前記参照禁止領域を指示しているか否かを判定することを特徴とする請求項1記載の画像符号化装置。
  3. 前記参照領域判定部は、前記符号化対象領域のフィールド種別がトップフィールドであり、前記参照画像のフィールド種別がボトムフィールドである場合には、前記参照画像の上側の境界外を前記参照禁止領域として設定し、前記符号化対象領域のフィールド種別がボトムフィールドであり、前記参照画像のフィールド種別がトップフィールドである場合には、前記参照画像の下側の境界外を前記参照禁止領域として設定し、前記符号化対象領域のフィールド種別と前記参照画像のフィールド種別とが同じ場合には、前記参照禁止領域を設定しないことを特徴とする請求項2記載の画像符号化装置。
  4. 前記参照領域判定部は、前記動きベクトル出力部からの輝度成分の動きベクトルを基にそれぞれ異なる計算式を用いて色差成分の動きベクトルを算出可能な複数の演算処理部を備え、前記符号化対象領域のフィールド種別と前記参照画像のフィールド種別との組み合わせに応じて、いずれか1つの前記演算処理部を選択して色差成分の動きベクトルを算出することを特徴とする請求項2記載の画像符号化装置。
  5. 前記参照領域判定部には、輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合に当該輝度成分の動きベクトルが指示する参照禁止輝度領域が、前記参照画像の内部領域にあらかじめ設定され、前記参照領域判定部は、前記動きベクトル出力部からの輝度成分の動きベクトルが前記参照禁止輝度領域を指示しているか否かを判定し、
    前記動きベクトル出力制限部は、前記動きベクトル出力部からの輝度成分の動きベクトルが前記参照禁止輝度領域を指示している場合に、当該輝度成分の動きベクトルが、前記符号化対象領域に最も類似する領域を指し示す動きベクトルとして出力されることを禁止することを特徴とする請求項1記載の画像符号化装置。
  6. 前記動きベクトル出力部、前記参照領域判定部および前記動きベクトル出力制限部をそれぞれ備えて、入力された前記分割画像を符号化する複数の符号化部と、
    前記入力動画像に含まれる各フィールドの画像を前記分割画像に分割し、1つのフィールドの画像から分割した前記分割画像をそれぞれ個別の前記符号化部に入力する画像分割部と、
    前記各符号化部により符号化された前記分割画像の符号化データを多重化し、前記入力動画像の符号化データとして出力する多重化部と、
    を有することを特徴とする請求項1記載の画像符号化装置。
  7. 前記入力動画像に含まれるフィールドの最上部に対応する前記分割画像が入力される前記符号化部の前記参照領域判定部では、前記参照禁止領域は前記参照画像の下側の境界外に設定され、前記入力動画像に含まれるフィールドの最下部に対応する前記分割画像が入力される前記符号化部の前記参照領域判定部では、前記参照禁止領域は前記参照画像の上側の境界外に設定され、前記入力動画像に含まれるフィールドの最上部と最下部とを除く領域に対応する前記分割画像が入力される前記符号化部の前記参照領域判定部では、前記参照禁止領域は、前記符号化対象領域のフィールド種別と前記参照画像のフィールド種別との組み合わせのうち、1つの組み合わせに対して前記参照画像の上側の境界外に設定され、他の1つの組み合わせに対して前記参照画像の下側の境界外に設定されることを特徴とする請求項6記載の画像符号化装置。
  8. 前記動きベクトル出力部からの輝度成分の動きベクトルにより指示される前記参照画像に基づく画像領域と、前記符号化対象領域との類似度に応じた類似度情報を、輝度成分の動きベクトルが出力されるたびに出力する類似度出力部と、
    前記類似度出力部からの前記類似度情報と当該類似度情報に対応する輝度成分の動きベクトルとを保持する機能を備え、1つの前記符号化対象領域と類似する領域を探索する間、自身が保持している前記類似度情報と前記類似度算出部から新たに出力された前記類似度情報とに基づき、新たに出力された前記類似度情報に対応する輝度成分の動きベクトルにより指示される画像領域が、自身が保持している輝度成分の動きベクトルにより指示される画像領域より前記符号化対象領域と類似している場合に、新たに出力された前記類似度情報および輝度成分の動きベクトルによって自身が保持している情報を更新する動きベクトル保持部と、
    をさらに有し、
    前記動きベクトル出力制限部は、前記動きベクトル出力部からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合には、当該輝度成分の動きベクトルおよびこれに対応する前記類似度情報によって、前記動きベクトル保持部が保持している情報を更新させないことを特徴とする請求項1記載の画像符号化装置。
  9. 復号時に輝度成分の動きベクトルを基に色差成分の動きベクトルを生成可能な動画像符号化方式を用いて、インタレース方式の入力動画像のデータを符号化する処理を制御する画像符号化制御方法において、
    前記入力動画像に含まれる各フィールドの画像を少なくとも垂直方向に分割した分割画像のデータを順次受信し、1つの前記分割画像内の符号化対象領域に類似する領域を、同じ位置の他の前記分割画像に基づく参照画像から探索するための輝度成分の動きベクトルを出力する動きベクトル出力手段から、参照領域判定手段が、輝度成分の動きベクトルと当該動きベクトルにより参照される前記参照画像のフィールド種別との入力を受け、
    前記参照領域判定手段が、前記符号化対象領域のフィールド種別と、前記動きベクトル出力手段からの、前記参照画像のフィールド種別との組み合わせごとに前記参照画像の少なくとも上側の境界外または下側の境界外にあらかじめ設定された参照禁止領域を、前記動きベクトル出力手段からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが指示するか否かを判定し、
    動きベクトル出力制限手段が、前記動きベクトル出力手段からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合に、当該輝度成分の動きベクトルが、前記符号化対象領域に最も類似する領域を指示する動きベクトルとして出力されることを禁止する、
    ことを特徴とする画像符号化制御方法。
  10. 復号時に輝度成分の動きベクトルを基に色差成分の動きベクトルを生成可能な動画像符号化方式を用いて、インタレース方式の入力動画像のデータを符号化する処理を制御する画像符号化制御プログラムにおいて、
    コンピュータに、
    前記入力動画像に含まれる各フィールドの画像を少なくとも垂直方向に分割した分割画像のデータを順次受信し、1つの前記分割画像内の符号化対象領域に類似する領域を、同じ位置の他の前記分割画像に基づく参照画像から探索するための輝度成分の動きベクトルを出力する動きベクトル出力手段から、輝度成分の動きベクトルと当該動きベクトルにより参照される前記参照画像のフィールド種別との入力を受け、
    前記符号化対象領域のフィールド種別と、前記動きベクトル出力手段からの、前記参照画像のフィールド種別との組み合わせごとに前記参照画像の少なくとも上側の境界外または下側の境界外にあらかじめ設定された参照禁止領域を、前記動きベクトル出力手段からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが指示するか否かを判定し、
    前記動きベクトル出力手段からの輝度成分の動きベクトルを基に生成される色差成分の動きベクトルが前記参照禁止領域を指示する場合に、当該輝度成分の動きベクトルが、前記符号化対象領域に最も類似する領域を指示する動きベクトルとして出力されることを禁止する、
    処理を実行させることを特徴とする画像符号化制御プログラム。
JP2009051542A 2009-03-05 2009-03-05 画像符号化装置、画像符号化制御方法およびプログラム Expired - Fee Related JP5115498B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009051542A JP5115498B2 (ja) 2009-03-05 2009-03-05 画像符号化装置、画像符号化制御方法およびプログラム
US12/717,662 US8295353B2 (en) 2009-03-05 2010-03-04 Image encoding device, image encoding control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009051542A JP5115498B2 (ja) 2009-03-05 2009-03-05 画像符号化装置、画像符号化制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2010206664A true JP2010206664A (ja) 2010-09-16
JP5115498B2 JP5115498B2 (ja) 2013-01-09

Family

ID=42678250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009051542A Expired - Fee Related JP5115498B2 (ja) 2009-03-05 2009-03-05 画像符号化装置、画像符号化制御方法およびプログラム

Country Status (2)

Country Link
US (1) US8295353B2 (ja)
JP (1) JP5115498B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150005910A (ko) * 2012-04-06 2015-01-15 소니 주식회사 복호 장치 및 복호 방법, 및 부호화 장치 및 부호화 방법
WO2015059880A1 (ja) * 2013-10-22 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 動き補償方法、画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
JP2016195451A (ja) * 2014-02-21 2016-11-17 パナソニック株式会社 画像符号化方法
WO2017094298A1 (ja) * 2015-12-04 2017-06-08 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2017121089A (ja) * 2011-06-30 2017-07-06 三菱電機株式会社 画像復号装置
JP2022509972A (ja) * 2018-11-26 2022-01-25 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン タイル独立性制約を使用したインター予測概念

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US9218643B2 (en) * 2011-05-12 2015-12-22 The Johns Hopkins University Method and system for registering images
CN105144720B (zh) 2013-01-04 2018-12-28 Ge视频压缩有限责任公司 高效可伸缩编码概念
KR102127281B1 (ko) 2013-04-08 2020-06-26 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
KR20150045819A (ko) * 2013-10-21 2015-04-29 삼성전자주식회사 움직임 보상을 수행하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
SG11202110650WA (en) * 2019-04-01 2021-10-28 Beijing Bytedance Network Technology Co Ltd Using interpolation filters for history based motion vector prediction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11275586A (ja) * 1998-03-18 1999-10-08 Nec Corp 符号化装置および符号化方法、並びに記録媒体
JP2007295215A (ja) * 2006-04-25 2007-11-08 Victor Co Of Japan Ltd パディング処理回路

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440344A (en) * 1992-04-28 1995-08-08 Mitsubishi Denki Kabushiki Kaisha Video encoder using adjacent pixel difference for quantizer control
JPH07135654A (ja) 1993-11-09 1995-05-23 Matsushita Electric Ind Co Ltd 動画像の符号化方法および符号化装置および復号化方法および復号化装置
GB2283876B (en) 1993-11-09 1998-06-24 Matsushita Electric Ind Co Ltd Encoding and decoding code sequences and frames
JPH10276437A (ja) 1997-03-31 1998-10-13 Matsushita Electric Ind Co Ltd 階層的動画像信号符号化/復号化方法及び装置
JP2000165883A (ja) 1998-11-27 2000-06-16 Matsushita Electric Ind Co Ltd 動きベクトル検出装置
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
JP4145275B2 (ja) * 2004-07-27 2008-09-03 富士通株式会社 動きベクトル検出・補償装置
US8379723B2 (en) * 2006-06-27 2013-02-19 Intel Corporation Chroma motion vector processing apparatus, system, and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11275586A (ja) * 1998-03-18 1999-10-08 Nec Corp 符号化装置および符号化方法、並びに記録媒体
JP2007295215A (ja) * 2006-04-25 2007-11-08 Victor Co Of Japan Ltd パディング処理回路

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017121089A (ja) * 2011-06-30 2017-07-06 三菱電機株式会社 画像復号装置
KR20150005910A (ko) * 2012-04-06 2015-01-15 소니 주식회사 복호 장치 및 복호 방법, 및 부호화 장치 및 부호화 방법
KR102092822B1 (ko) * 2012-04-06 2020-03-24 소니 주식회사 복호 장치 및 복호 방법, 및 부호화 장치 및 부호화 방법
KR20200034806A (ko) * 2012-04-06 2020-03-31 소니 주식회사 복호 장치 및 복호 방법, 및 부호화 장치 및 부호화 방법
US10630980B2 (en) 2012-04-06 2020-04-21 Sony Corporation Decoding device and decoding method, and encoding device and encoding method
KR102215951B1 (ko) * 2012-04-06 2021-02-15 소니 주식회사 복호 장치 및 복호 방법, 및 부호화 장치 및 부호화 방법
WO2015059880A1 (ja) * 2013-10-22 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 動き補償方法、画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
JP2016195451A (ja) * 2014-02-21 2016-11-17 パナソニック株式会社 画像符号化方法
WO2017094298A1 (ja) * 2015-12-04 2017-06-08 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10743023B2 (en) 2015-12-04 2020-08-11 Sony Corporation Image processing apparatus and image processing method
JP2022509972A (ja) * 2018-11-26 2022-01-25 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン タイル独立性制約を使用したインター予測概念
JP7312826B2 (ja) 2018-11-26 2023-07-21 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン タイル独立性制約を使用したインター予測概念

Also Published As

Publication number Publication date
US20100226440A1 (en) 2010-09-09
JP5115498B2 (ja) 2013-01-09
US8295353B2 (en) 2012-10-23

Similar Documents

Publication Publication Date Title
JP5115498B2 (ja) 画像符号化装置、画像符号化制御方法およびプログラム
TWI759389B (zh) 用於視訊寫碼之低複雜度符號預測
US11902563B2 (en) Encoding and decoding method and device, encoder side apparatus and decoder side apparatus
KR100962759B1 (ko) 동화상 신호의 부호화 방법 및 복호화 방법
JP5368631B2 (ja) 画像符号化方法、装置、及びプログラム
JP5340289B2 (ja) 画像復号装置、画像復号方法、集積回路及びプログラム
US7746930B2 (en) Motion prediction compensating device and its method
JP7447097B2 (ja) 画像符号化/復号化方法及び装置
JP2008182527A (ja) 画像符号化装置及び方法、並びに撮像システム
JP4764706B2 (ja) 動画像変換装置
JP5522252B2 (ja) 画像処理装置および画像処理方法
JP5677576B2 (ja) 動画像復号化方法及び動画像符号化方法
JP2010183368A (ja) 画像符号化処理方法、画像符号化処理装置、画像符号化プログラム
JP2009260494A (ja) 画像符号化装置及びその制御方法
JP4429996B2 (ja) 動画像符号化プログラム、動画像符号化方法および動画像符号化装置
JP5444497B2 (ja) 画像符号化方法及び画像復号化方法
JP2007312425A (ja) 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびそれらのプログラムを記録した記録媒体
JP6961781B2 (ja) 画像符号化方法及び画像復号化方法
JP2014090459A (ja) 画像符号化方法及び画像復号化方法
JP6795666B2 (ja) 画像符号化方法及び画像復号化方法
JP6980889B2 (ja) 画像符号化方法及び画像復号化方法
JP4536505B2 (ja) 予測画像生成方法および画像符号化方法
JP6609004B2 (ja) 画像符号化方法及び画像復号化方法
JP6370977B2 (ja) 画像符号化方法及び画像復号化方法
JP6271694B2 (ja) 画像符号化方法及び画像復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees