JP2017103744A - 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置 - Google Patents

画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置 Download PDF

Info

Publication number
JP2017103744A
JP2017103744A JP2016100854A JP2016100854A JP2017103744A JP 2017103744 A JP2017103744 A JP 2017103744A JP 2016100854 A JP2016100854 A JP 2016100854A JP 2016100854 A JP2016100854 A JP 2016100854A JP 2017103744 A JP2017103744 A JP 2017103744A
Authority
JP
Japan
Prior art keywords
image
region
vector
motion
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016100854A
Other languages
English (en)
Inventor
西　孝啓
Takahiro Nishi
孝啓 西
遠間　正真
Tadamasa Toma
正真 遠間
健吾 寺田
Kengo Terada
健吾 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to US15/780,448 priority Critical patent/US20180352248A1/en
Priority to PCT/JP2016/004616 priority patent/WO2017094216A1/ja
Priority to TW105134262A priority patent/TW201733352A/zh
Publication of JP2017103744A publication Critical patent/JP2017103744A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】符号化効率を向上する。【解決手段】画像復号方法は、対象フレームが分割されることで得られた複数の処理単位の各々に対して、当該処理単位に割り当てられた複数の動きベクトルを取得する取得ステップ（Ｓ１３１）と、前記処理単位が分割されることで得られた複数の小領域の各々に対して、前記複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、前記複数の動きベクトルから使用する動きベクトルを選択する選択ステップ（Ｓ１３２）と、前記複数の小領域の各々に対して、選択された前記動きベクトルを用いて予測画を生成する生成ステップ（Ｓ１３３）と、前記複数の小領域の各々を、当該小領域に対して生成された前記予測画を用いて復号する復号ステップ（Ｓ１３４）とを含む。【選択図】図１６

Description

本発明は、画像復号方法及び画像符号化方法に関する。
最新の動画像符号化標準規格であるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格では、符号化効率を向上させるために様々な検討がされている（例えば、非特許文献１参照）。この方式は、Ｈ．２６ｘで示されるＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）規格、及び、ＭＰＥＧ−ｘで示されるＩＳＯ／ＩＥＣ規格であり、Ｈ．２６４／ＡＶＣ、又はＭＰＥＧ−４ ＡＶＣで示される規格の次の映像符号化規格として検討された。
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６５ 「Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ」、２０１５年４月
このような、画像符号化方法及び画像復号方法では、符号化効率を向上することが望まれている。
本発明は、符号化効率を向上できる画像復号方法又は画像符号化方法を提供することを目的とする。
上記目的を達成するために、本発明の一態様に係る画像復号方法は、対象フレームが分割されることで得られた複数の処理単位の各々に対して、当該処理単位に割り当てられた複数の動きベクトルを取得する取得ステップと、前記処理単位が分割されることで得られた複数の小領域の各々に対して、前記複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、前記複数の動きベクトルから使用する動きベクトルを選択する選択ステップと、前記複数の小領域の各々に対して、選択された前記動きベクトルを用いて予測画を生成する生成ステップと、前記複数の小領域の各々を、当該小領域に対して生成された前記予測画を用いて復号する復号ステップとを含む。
また、本発明の一態様に係る画像符号化方法は、対象フレームが分割されることで得られた複数の処理単位の各々に対して、当該処理単位に割り当てる複数の動きベクトルを検出する検出ステップと、前記処理単位が分割されることで得られた複数の小領域の各々に対して、前記複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、前記複数の動きベクトルから使用する動きベクトルを選択する選択ステップと、前記複数の小領域の各々に対して、選択された前記動きベクトルを用いて予測画を生成する生成ステップと、前記複数の小領域の各々を、当該小領域に対して生成された前記予測画を用いて符号化する符号化ステップとを含む。
なお、これらの全般的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本発明は、符号化効率を向上できる画像復号方法又は画像符号化方法を提供できる。
図１は、実施の形態１に係る予測方法を説明するための図である。 図２は、実施の形態１に係る予測方法を説明するための図である。 図３は、実施の形態１に係る予測方法を説明するための図である。 図４は、実施の形態１に係る画像符号化装置のブロック図である。 図５は、実施の形態１に係る予測処理のフローチャートである。 図６は、実施の形態１に係る動き検出処理を説明するための図である。 図７は、実施の形態１に係る参照ブロック取得処理を説明するための図である。 図８は、実施の形態１に係る動きベクトル選択処理を説明するための図である。 図９は、実施の形態１に係る不明領域に対する処理を説明するための図である。 図１０は、実施の形態１に不明領域に対する処理を説明するための図である。 図１１は、実施の形態１に不明領域に対する処理を説明するための図である。 図１２は、実施の形態１に係る動きベクトル及び参照画素の選択処理のフローチャートである。 図１３は、実施の形態１に係る符号化構造の一例を示す図である。 図１４は、実施の形態１に係る画像復号装置のブロック図である。 図１５は、実施の形態１に係る画像符号化処理のフローチャートである。 図１６は、実施の形態１に係る画像復号処理のフローチャートである。 図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図１８は、スケーラブル符号化時の符号化構造の一例を示す図である。 図１９は、スケーラブル符号化時の符号化構造の一例を示す図である。 図２０は、ｗｅｂページの表示画面例を示す図である。 図２１は、ｗｅｂページの表示画面例を示す図である。 図２２は、スマートフォンの一例を示す図である。 図２３は、スマートフォンの構成例を示すブロック図である。
本発明の一態様に係る画像復号方法は、対象フレームが分割されることで得られた複数の処理単位の各々に対して、当該処理単位に割り当てられた複数の動きベクトルを取得する取得ステップと、前記処理単位が分割されることで得られた複数の小領域の各々に対して、前記複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、前記複数の動きベクトルから使用する動きベクトルを選択する選択ステップと、前記複数の小領域の各々に対して、選択された前記動きベクトルを用いて予測画を生成する生成ステップと、前記複数の小領域の各々を、当該小領域に対して生成された前記予測画を用いて復号する復号ステップとを含む。
これによれば、画像復号装置において処理単位に対応付けられた複数の動きベクトルから小領域で用いる動きベクトルを選択できる。よって、処理単位に含まれる複数の小領域に対して異なる動きベクトルを用いることが可能なる。また、各小領域に対して動きベクトルを指定するための情報を符号化ビットストリームに含める必要がないため符号化ビットストリームのデータ量の増加を抑制できる。このように、当該画像復号方法は、符号化効率を向上できる。
例えば、前記複数の参照フレームは、第１フレーム及び第２フレームを含み、前記選択ステップでは、前記複数の動きベクトルの各々に対して、前記対象フレームに含まれる対象小領域に対して当該動きベクトルにより示される前記第１フレーム上の領域と前記第２フレーム上の領域との相関を求め、当該相関に基づき前記使用する動きベクトルを選択してもよい。
例えば、前記複数の動きベクトルは、背景の動きを示す背景ベクトルと、前景の動きを示す前景ベクトルとを含んでもよい。
例えば、前記選択ステップでは、前記背景ベクトルの前記相関及び前記前景ベクトルの前記相関が共に予め定められた値より低い場合、前記背景ベクトルを選択してもよい。
これによれば、参照フレームにおいて前景に隠れる領域等を背景領域と判定できるので、適切な動きベクトルを選択できる。
例えば、前記生成ステップでは、前記背景ベクトルの前記相関及び前記前景ベクトルの前記相関が共に前記予め定められた値より低い場合、前記背景ベクトルにより示される前記第１フレーム上の第１領域と前記第２フレーム上の第２領域とのうち、背景に属する領域を用いて前記予測画を生成してもよい。
これによれば、参照フレームにおいて前景に隠れる領域等においても適切な予測画を生成できる。
例えば、前記生成ステップでは、前記第１領域又は前記第２領域から前記前景ベクトルにより示される前記対象フレーム上の領域である対応点が背景に属する場合、前記第１領域又は前記第２領域は背景に属すると判定してもよい。
これによれば、背景ベクトルで示される参照フレーム上の領域が背景領域であるか前景領域であるかを適切に判定できる。
例えば、前記生成ステップでは、前記第１領域及び前記第２領域がいずれも背景に属さない場合、前記対象フレーム内の前記対象小領域の近傍の領域の予測画を用いて当該対象小領域の予測画を生成してもよい。
これによれば、適切な参照を行えない場合であっても予測画を生成できる。
また、本発明の一態様に係る画像符号化方法は、対象フレームが分割されることで得られた複数の処理単位の各々に対して、当該処理単位に割り当てる複数の動きベクトルを検出する検出ステップと、前記処理単位が分割されることで得られた複数の小領域の各々に対して、前記複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、前記複数の動きベクトルから使用する動きベクトルを選択する選択ステップと、前記複数の小領域の各々に対して、選択された前記動きベクトルを用いて予測画を生成する生成ステップと、前記複数の小領域の各々を、当該小領域に対して生成された前記予測画を用いて符号化する符号化ステップとを含む。
これによれば、画像復号装置において処理単位に対応付けられた複数の動きベクトルから小領域で用いる動きベクトルを選択できる。よって、処理単位に含まれる複数の小領域に対して異なる動きベクトルを用いることが可能なる。また、各小領域に対して動きベクトルを指定するための情報を符号化ビットストリームに含める必要がないため符号化ビットストリームのデータ量の増加を抑制できる。このように、当該画像符号化方法は、符号化効率を向上できる。
例えば、前記複数の参照フレームは、第１フレーム及び第２フレームを含み、前記選択ステップでは、前記複数の動きベクトルの各々に対して、前記対象フレームに含まれる対象小領域に対して当該動きベクトルにより示される前記第１フレーム上の領域と前記第２フレーム上の領域との相関を求め、当該相関に基づき前記使用する動きベクトルを選択してもよい。
例えば、前記複数の動きベクトルは、背景の動きを示す背景ベクトルと、前景の動きを示す前景ベクトルとを含んでもよい。
例えば、前記選択ステップでは、前記背景ベクトルの前記相関及び前記前景ベクトルの前記相関が共に予め定められた値より低い場合、前記背景ベクトルを選択してもよい。
これによれば、参照フレームにおいて前景に隠れる領域等を背景領域と判定できるので、適切な動きベクトルを選択できる。
例えば、前記生成ステップでは、前記背景ベクトルの前記相関及び前記前景ベクトルの前記相関が共に前記予め定められた値より低い場合、前記背景ベクトルにより示される前記第１フレーム上の第１領域と前記第２フレーム上の第２領域とのうち、背景に属する領域を用いて前記予測画を生成してもよい。
これによれば、参照フレームにおいて前景に隠れる領域等においても適切な予測画を生成できる。
例えば、前記生成ステップでは、前記第１領域又は前記第２領域から前記前景ベクトルにより示される前記対象フレーム上の領域である対応点が背景に属する場合、前記第１領域又は前記第２領域は背景に属すると判定してもよい。
これによれば、背景ベクトルで示される参照フレーム上の領域が背景領域であるか前景領域であるかを適切に判定できる。
例えば、前記生成ステップでは、前記第１領域及び前記第２領域がいずれも背景に属さない場合、前記対象フレーム内の前記対象小領域の近傍の領域の予測画を用いて当該対象小領域の予測画を生成してもよい。
これによれば、適切な参照を行えない場合であっても予測画を生成できる。
本発明の一態様に係る画像復号装置は、処理回路と、前記処理回路からアクセス可能な記憶装置とを備え、前記処理回路は、前記記憶装置を用いて、前記画像復号方法を実行する。
本発明の一態様に係る画像復号装置は、対象フレームが分割されることで得られた複数の処理単位の各々に対して、当該処理単位に割り当てられた複数の動きベクトルを取得する取得部と、前記処理単位が分割されることで得られた複数の小領域の各々に対して、前記複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、前記複数の動きベクトルから使用する動きベクトルを選択する選択部と、前記複数の小領域の各々に対して、選択された前記動きベクトルを用いて予測画を生成する生成部と、前記複数の小領域の各々を、当該小領域に対して生成された前記予測画を用いて復号する復号部とを備える。
本発明の一態様に係る画像符号化装置は、処理回路と、前記処理回路からアクセス可能な記憶装置とを備え、前記処理回路は、前記記憶装置を用いて、前記画像符号化方法を実行する。
本発明の一態様に係る画像符号化装置は、対象フレームが分割されることで得られた複数の処理単位の各々に対して、当該処理単位に割り当てる複数の動きベクトルを検出する検出部と、前記処理単位が分割されることで得られた複数の小領域の各々に対して、前記複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、前記複数の動きベクトルから使用する動きベクトルを選択する選択部と、前記複数の小領域の各々に対して、選択された前記動きベクトルを用いて予測画を生成する生成部と、前記複数の小領域の各々を、当該小領域に対して生成された前記予測画を用いて符号化する符号化部とを備える。
本発明の一態様に係る画像符号化復号装置は、前記画像復号装置と、前記画像符号化装置とを備える。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。
なお、既によく知られた事項の詳細説明、及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
また、本実施の形態では、フレームを、ピクチャ又は画像と言い換えて記載する場合がある。さらに、符号化対象又は復号対象のフレーム（ピクチャ或いは画像）又はブロックを対象ピクチャ（カレントピクチャ）或いは対象フレーム（カレントフレーム）、又は対象ブロック（カレントブロック）などと言い換える場合がある。これら以外にもコーデック技術分野において一般的に用いられる種々の用語にも言い換えられる。
（実施の形態１）
本実施の形態では、動画像の画面間予測符号化において、所定の処理単位に割り当てられた複数の動きベクトルと、時刻が異なる複数の参照フレームとに基づき、対象フレームの所定の処理単位より小さい小領域（第１サブブロック）毎に画面間予測で使用する動きベクトルと参照フレームとを選択する。
また、複数の動きベクトルは、所定の処理単位中の動物体又は背景などの個々の動きを符号化の際に検知して決定される。
また、時刻が異なる少なくとも２枚以上の参照フレーム上の参照画素間の相関に基づいて動きベクトルと参照フレームの選択が判断される。
また、動きベクトルと参照フレームの選択において、時刻が異なる２枚以上の参照フレーム上の参照画素間で高い相関が認められなかった領域については、前景の動きベクトルを利用して各参照フレームを小領域の予測に利用するか否かが決定される。
また、動きベクトルと参照フレームの選択において、参照フレームを選択できなかった領域については、周辺の画素の予測値を用いて、当該領域の画素の予測値が決定される。
まず、本実施の形態に係る予測方法の概要について説明する。
動画像の画面間予測符号化において、一つの符号ブロック（予測処理の処理単位）に対して複数の動きベクトルを画像符号化装置（エンコーダ）から画像復号装置（デコーダ）へ通知する。また、画像符号化装置及び画像復号装置は、フレーム間距離に応じてスケーリングした各動きベクトルが指し示す各参照フレーム上の対応領域（第２サブブロック）の間の相関に基づき、符号ブロック内の小領域単位で、使用する動きベクトルと参照フレームを選択して予測を行う。例えば、小領域及び対応領域のサイズは、４×４、３×３、２×２画素などである。また、対応領域間の相関は、対応領域内の画素値の差分絶対値和などにより評価される。
なお、動きベクトルが選択される単位である小領域と、相関の判定に用いられる対応領域とは同一のサイズであってもよいし、互いに異なるサイズであってもよい。例えば、対応領域は、小領域と同サイズの領域と、その近傍の領域とを含んでもよい。
これにより、動物体と背景など符号ブロック内に異なる動きが存在する場合でも、動物体と背景の境界位置を画像符号化装置から画像復号装置へ通知することなく、画像符号化装置及び画像復号装置は、使用する動きベクトルと参照フレームとを小領域単位で適切に切り替えて予測することが可能となる。これにより、符号ブロックを細分化せずとも予測残差を低減できる。結果として、予測残差を低減しつつ、動きベクトル及び符号ブロック分割の通知のためのオーバーヘッドを削減できるため、符号化効率が向上する。
図１は、表示時刻が過去と未来の合計２枚の参照フレームを参照する場合の動作例を示す図である。なお、図１〜図３において、参照フレーム又は対象フレームとして示される全体の矩形は、予測処理の処理単位（後述する符号ブロック１２２）である。また、背景画素Ｃ０、前景画素Ｃ１は、符号ブロックが分割された小領域に対応し、参照画素Ｐ０（ｔ−２ｄ）、Ｐ０（ｔ−ｄ）、Ｐ０（ｔ＋ｄ）、Ｐ１（ｔ−２ｄ）、Ｐ１（ｔ−ｄ）及びＰ１（ｔ＋ｄ）は、符号ブロックが分割された対応領域に対応する。
画像符号化装置は、２つの動きベクトルＭＶ０及びＭＶ１を画像復号装置に通知する。画像符号化装置及び画像復号装置は、背景画素Ｃ０に対しては、動きベクトルＭＶ０による参照画素Ｐ０（ｔ−ｄ）とＰ０（ｔ＋ｄ）との相関が高いため、動きベクトルＭＶ０と、参照画素Ｐ０（ｔ−ｄ）及びＰ０（ｔ＋ｄ）とを選択する。
また、画像符号化装置及び画像復号装置は、前景画素Ｃ１に対しては、動きベクトルＭＶ１による参照画素Ｐ１（ｔ−ｄ）とＰ１（ｔ＋ｄ）との相関が高いため、動きベクトルＭＶ１と参照画素Ｐ１（ｔ−ｄ）及びＰ１（ｔ＋ｄ）とを選択する。
図２は、表示時刻が過去のみの合計２枚の参照フレームを参照する場合の動作例を示す図である。
画像符号化装置は、動きベクトルＭＶ０及びＭＶ１を画像復号装置に通知する。画像符号化装置及び画像復号装置は、背景画素Ｃ０に対しては、動きベクトルＭＶ０による参照画素Ｐ０（ｔ−ｄ）とＰ０（ｔ−２ｄ）との相関が高いため、動きベクトルＭＶ０と参照画素Ｐ０（ｔ−ｄ）及びＰ０（ｔ−２ｄ）とを選択する。
また、画像符号化装置及び画像復号装置は、前景画素Ｃ１に対しては、動きベクトルＭＶ１による参照画素Ｐ１（ｔ−ｄ）とＰ１（ｔ−２ｄ）との相関が高いため、動きベクトルＭＶ１と参照画素Ｐ１（ｔ−ｄ）及びＰ１（ｔ−２ｄ）とを選択する。
図３は、表示時刻が過去と未来の合計３枚の参照フレームを参照する場合の動作例を示す図である。
画像符号化装置は、動きベクトルＭＶ０及びＭＶ１を画像復号装置に通知する。画像符号化装置及び画像復号装置は、背景画素Ｃ０に対しては、動きベクトルＭＶ０による参照画素Ｐ０（ｔ−２ｄ）とＰ０（ｔ−ｄ）とＰ０（ｔ＋ｄ）との相関が高いため、動きベクトルＭＶ０と参照画素Ｐ０（ｔ−２ｄ）、Ｐ０（ｔ−ｄ）及びＰ０（ｔ＋ｄ）とを選択する。
また、画像符号化装置及び画像復号装置は、前景画素Ｃ１に対しては、動きベクトルＭＶ１による参照画素Ｐ１（ｔ−２ｄ）とＰ１（ｔ−ｄ）とＰ１（ｔ＋ｄ）との相関が高いため、動きベクトルＭＶ１と参照画素Ｐ１（ｔ−２ｄ）、Ｐ１（ｔ−ｄ）及びＰ１（ｔ＋ｄ）を選択する。
次に、本実施の形態に係る画像符号化装置の構成を説明する。図４は、本実施の形態に係る画像符号化装置の構成の一例を示すブロック図である。図４に示す画像符号化装置１００は、画像復号装置が使用可能な復号済み参照フレームと動きベクトルに基づいて、小領域単位で予測に使用する動きベクトルと参照フレームとを選択し、画面間予測を実施する。この画像符号化装置１００は、ブロック化部１０１と、減算部１０２と、変換部１０３と、量子化部１０４と、エントロピー符号化部１０５と、逆量子化部１０６と、逆変換部１０７と、加算部１０８と、フレームメモリ１０９と、予測部１１０とを備える。
ブロック化部１０１は、入力画像１２１を符号化処理単位である複数の符号ブロック１２２に分割する。減算部１０２は、符号ブロック１２２と予測ブロック１３３との差分である差分ブロック１２３を生成する。変換部１０３は、差分ブロック１２３を周波数変換することで係数ブロック１２４を生成する。量子化部１０４は係数ブロック１２４を量子化することで係数ブロック１２５を生成する。
エントロピー符号化部１０５は、係数ブロック１２５をエントロピー符号化することでビットストリーム１２６を生成する。また、逆量子化部１０６は、係数ブロック１２５を逆量子化することで係数ブロック１２７を生成し、逆変換部１０７は、係数ブロック１２７を逆周波数変換することで差分ブロック１２８を復元する。加算部１０８は、差分ブロック１２８と予測ブロック１３３とを加算することで復号ブロック１２９（再構成画像）を生成する。この復号ブロック１２９は、フレームメモリ１０９に格納され、予測処理に利用される。
予測部１１０は、復号ブロック１２９を用いて予測ブロック１３３を生成する。この予測部１１０は、動き検出部１１１と、動き補償部１１２と、セレクタ１１３及び１１５と、バッファ１１４及び１１８と、制御部１１６と、予測画生成部１１７とを備える。
動き検出部１１１は、符号ブロック１２２及び復号ブロック１２９を用いて動きベクトルを算出する動き検出を行う。ここで動き検出部１１１は、一つの符号ブロック１２２に対して、複数（Ｎ本：Ｎは２以上の整数）の動きベクトルを算出する。このＮ本の動きベクトルを特定するための動き情報１３４は、エントロピー符号化部１０５に送られ符号化される。つまり、符号化ビットストリーム１２６は、符号ブロック１２２毎にＮ本の動きベクトルを特定するための動き情報１３４を含む。
動き補償部１１２は、算出されたＮ本の動きベクトルを用いて動き補償を行うことで複数の参照ブロック１３０を生成する。具体的には、Ｍ枚（Ｍは２以上の整数）の参照フレームが用いられる場合には、動き補償部１１２は、各動きベクトルに対してＭ個の参照ブロック１３０を生成する。つまり、Ｎ×Ｍ個の参照ブロック１３０が生成される。
複数（Ｎ×Ｍ個）のバッファ１１４は、Ｎ個のバッファ群に分類される。Ｎ個のバッファ群はＮ個の動きベクトルと一対一に対応する。各バッファ群はＭ個バッファを含み、Ｍ個のバッファはＭ個の参照フレームと一対一に対応する。動き補償部１１２で生成されたＮ×Ｍ個の参照ブロック１３０はセレクタ１１３を介して、対応するバッファ１１４に一時的に保持される。
制御部１１６は、符号ブロック１２２内の小領域単位で、各動きベクトルについて、Ｍ個の参照フレーム上のＭ個の参照画素１３１の間の相関を評価し、予測に使用する一つの動きベクトルと複数の参照フレームとを選択する。また、制御部１１６は、各小領域に対して、選択した動きベクトルで示される複数の参照画素１３１を、セレクタ１１５を介して予測画生成部１１７に出力する。ここで複数の参照画素１３１は、複数の参照フレーム（参照ブロック１３０）上の小領域と同一サイズの画像（画素値）である。
予測画生成部１１７は、取得した複数の参照画素１３１を用いて各小領域の予測画１３２を生成する。例えば、予測画生成部１１７は、取得した複数の参照画素１３１の加重平均を用いて各小領域の予測画１３２を生成する。この予測画１３２は、バッファ１１８に格納され、符号ブロック１２２に対応する複数の予測画１３２が予測ブロック１３３として出力される。
なお、周波数変換及び量子化処理は、それぞれ別処理として逐次行われてもよいし、一括して行われてもよい。同様に、逆量子化及び逆周波数変換処理は、それぞれを別処理として逐次行われてもよいし、一括して行われてもよい。
また量子化とは、予め定められた間隔でサンプリングした値を予め定められたレベルに対応付けてデジタル化する処理である。逆量子化とは、量子化で得られた値を元の区間の値に戻す処理である。データ圧縮分野では、量子化は、値をオリジナルよりも粗い区間に分ける処理を意味し、逆量子化は粗い区間をオリジナルの細かい区間に分けなおす処理を意味する。コーデック技術分野では、量子化及び逆量子化を、丸め、ラウンディング、又はスケーリングと呼ぶ場合もある。
また、図４では、主に本実施の形態の特徴的な構成のみを記載しているが、さらに、一般的に用いられるインター予測及びイントラ予測等が用いられてもよい。この場合には、上述した予測処理、インター予測及びイントラ予測のうち符号化効率が最も高い手法が、符号ブロック１２２毎に選択される。
また、ここでは、符号ブロック１２２毎にＮ個の動きベクトルが選択される例を説明したが、符号ブロック１２２を分割した処理単位毎にＮ個の動きベクトルが選択されてもよい。
次に、画像符号化装置１００による動作を説明する。図５は、画像符号化装置１００による画面間予測処理の動作例を示すフローチャートである。
まず、動き検出部１１１は、動き検出により処理対象の符号ブロック１２２のＮ本の動きベクトルを算出する（Ｓ１０１）。具体的には、図６に示すように、動き検出部１１１は、小領域毎に動きベクトルを求め、求めた複数の動きベクトルのうち代表的な動きベクトルをＮ本選択する。例えば、複数の動きベクトルのうち出現頻度の高い（ヒストグラムのピークとなる）Ｎ本の動きベクトルが選択される。例えば、図６に示すように、背景の動きを示す動きベクトルＭＶ０と、前景（移動物体）の動きを示す動きベクトルＭＶ１とが選択される。
また、符号化ビットストリーム１２６の一部として、選択されたＮ本の動きベクトルを示す情報が画像復号装置に通知される。なお、探索方法は、小領域毎の動きを検出できる方法であれば任意の方法を用いてよい。
次に、動き補償部１１２は、複数の動きベクトルを用いて参照ブロックを取得する（Ｓ１０２）。具体的には、図７に示すように、動き補償部１１２は、ステップＳ１０１で取得した複数の動きベクトルをスケーリングし、各参照フレーム上の対応する参照ブロックを取得する。
図７の例では、時刻ｔの対象フレームと、時刻ｔ−２ｄ、時刻ｔ−ｄ及び時刻ｔ＋ｄの参照フレーム１〜３が存在する。この場合、動き補償部１１２は、動きベクトルＭＶ０をスケーリングすることで動きベクトル−ＭＶ０及び−２ＭＶ０を導出し、動きベクトルＭＶ０で示される参照フレーム３上の参照ブロックと、動きベクトル−ＭＶ０で示される参照フレーム２上の参照ブロックと、動きベクトル−２ＭＶ０で示される参照フレーム１上の参照ブロックとを取得する。同様に、動き補償部１１２は、動きベクトルＭＶ１をスケーリングすることで動きベクトル−ＭＶ１及び−２ＭＶ１を導出し、動きベクトルＭＶ１で示される参照フレーム３上の参照ブロックと、動きベクトル−ＭＶ１で示される参照フレーム２上の参照ブロックと、動きベクトル−２ＭＶ１で示される参照フレーム１上の参照ブロックとを取得する。取得されたこれらの参照ブロック１３０はバッファ１１４に保持される。
次に、制御部１１６は、小領域毎に複数の動きベクトルから動きベクトルを選択する（Ｓ１０３）。具体的には、制御部１１６は、等速直線運動を仮定し、各動きベクトルに対応する参照画素間の相関を小領域毎に評価する。そして、制御部１１６は、図８に示すように小領域毎に相関の高い動きベクトルを選択する。
なお、小領域は、４×４画素又は２×２画素などの矩形ブロックだけでなく、１画素であってもよい。１画素単位で動きベクトルを選択する場合には、前方及び後方の参照画素が偶然一致することがあるために判定が不安定になることが考えられる。これに対し、制御部１１６は、３×３画素又は上下左右画素含めた５画素など広めの範囲で相関を評価する。例えば、制御部１１６は、参照画素に対して３×３画素などのローパスフィルタをかける、又は、周囲の画素で選択されたベクトルが揃っている場合には同じベクトルを選択するなどの対策を講じてもよい。
次に、予測部１１０は、各小領域の予測画１３２を生成する（Ｓ１０４）。例えば、この方法として、符号化対象フレームに時間距離が近い参照フレームの画素を予測画１３２（予測値）とする方法、又は、複数の参照画素を用いて時間距離に応じた加重平均値を予測画１３２とする方法などを用いることができる。加重平均のために、シーケンス、ピクチャ又はスライス単位で明示的に重みを通知してもよい。また、重みが０となる参照フレームがあってもよい。
また、図５のステップＳ１０３において、背景領域の参照画素が前景に隠されるなど、単純な参照画素間の相関評価だけでは動きベクトルの選択が困難な場合がある。よって、制御部１１６は、さらに、前景の動きベクトルを用いて参照画素の符号化対象フレーム上における対応点を求め、対応点の画素において選択された動きベクトルが前景の動きベクトルであるか否かを判定する。例えば、画像符号化装置から画像復号装置に動きベクトルを通知する際、背景の動きベクトルから順に通知するなど予めルールを決めておく。これにより、画像復号装置はどの動きベクトルが背景の動きベクトルであるかを知ることができる。また、画像符号化装置は、動きベクトルの選択が困難な領域について、参照画素と対象画素の相関を評価することなどにより、いずれの動きベクトルに従う領域が背景であるかを判断できる。
具体的には、対応点の画素が、前景の動きベクトルであった場合、制御部１１６は、参照画素が前景の動きベクトルに従う領域に属すると判定し、背景領域と考えられる当該領域の予測には当該参照画素を使用しない。一方、対応点の画素において選択された動きベクトルが背景の動きベクトルである場合、制御部１１６は、参照画素が背景の動きベクトルに従う領域に属すると判定し、背景領域と考えられる当該領域の予測に当該参照画素を使用する。また、制御部１１６は、単純な参照画素間の相関評価だけでは対応点の画素の動きベクトルの選択が困難な場合、参照フレームにおいて前景に隠されている背景領域に対応点が属すると考えられるため、参照画素は背景の動きベクトルに従う領域に属すると判定し、背景領域と考えられる当該領域の予測に参照画素を使用する。
以下、表示時刻が過去と未来の合計２枚の参照フレームを参照する場合の例を説明する。図９は、この場合の動作例を示す図である。ここで動きベクトルＭＶ０は背景の動きベクトル（背景ベクトル）であり、動きベクトルＭＶ１は前景の動きベクトル（前景動きベクトル）である。
まず、図５のステップＳ１０３により、図９に示すように、符号化対象フレームを小領域毎に前景領域１５１、背景領域１５２、又はそれ以外の不明領域１５３に分類する。前景領域１５１は、前景の動きベクトルが選択される小領域であり、背景領域１５２は、背景の動きベクトルが選択される小領域である。不明領域１５３は、前景領域１５１及び背景領域１５２以外の領域である。この不明領域１５３は、参照フレームにおいて前景に隠されている背景領域と考えられる。また、不明領域１５３は、いずれの動きベクトルでも参照画素間の相関が小さい領域である。なお、相関が高い又は低いとは、例えば、相関が予め定められた基準値より高い又は低いことを意味する。
次に、制御部１１６は、不明領域１５３に対しては、背景ベクトルＭＶ０に対応する参照画素について、前景ベクトルＭＶ０１に基づく対象フレーム上の対応点を求め、対象フレーム上の対応点が、前景領域１５１、背景領域１５２、及び不明領域１５３のうち、いずれの領域に属するか判定する。そして制御部１１６は、対応点が背景（背景領域１５２又は不明領域１５３）に属する参照画素を予測に使用する。図９に示す小領域Ｃ０１の例では、背景ベクトルＭＶ０に対応する参照画素Ｐ０１（ｔ−ｄ）及びＰ０１（ｔ＋ｄ）が存在する。参照画素Ｐ０１（ｔ−ｄ）の対応点Ｘ０１Ａは、前景領域１５１に属するため、参照画素Ｐ０１（ｔ−ｄ）は予測に使用されない。参照画素Ｐ０１（ｔ＋ｄ）の対応点Ｘ０１Ｂは、背景領域１５２に属するため、参照画素Ｐ０１（ｔ＋ｄ）は予測に使用される。また、小領域Ｃ０２の例では、背景ベクトルＭＶ０に対応する参照画素Ｐ０２（ｔ−ｄ）及びＰ０２（ｔ＋ｄ）が存在する。参照画素Ｐ０２（ｔ−ｄ）の対応点Ｘ０２Ａは、背景領域１５２に属するため、参照画素Ｐ０２（ｔ−ｄ）は予測に使用される。参照画素Ｐ０２（ｔ＋ｄ）の対応点Ｘ０２Ｂは、前景領域１５１に属するため、参照画素Ｐ０２（ｔ＋ｄ）は予測に使用されない。
また、図９の方法において、対応点の画素が、全て対象ブロック外の未符号化（又は未復号）の画素などであり、判断に利用できない場合には、当該参照画素を当該領域の予測には使用しないことが望ましいが、画像符号化装置と画像復号装置とで同じ結果となる判定方法であれば当該参照画素を当該領域の予測に使用してもよい。なお、対応点の画素が、対象ブロック外の未符号化（又は未復号）の画素であった場合でも、他の参照画素が前景と判断された場合には、当該参照画素を背景と判断して予測に使用してもよい。
また、図９の方法及び上記方法において、予測に使用する画素が見つからなかった場合には、制御部１１６は、当該画素に対応する全ての参照フレーム上の画素は前景に隠されていると判断し、近傍の背景領域の画素の予測値（予測画）をコピーするなどして当該画素の予測値を決定する。
次に、表示時刻が過去のみの合計２枚の参照フレームを参照する場合の例を説明する。図１０は、この場合の動作例を示す図である。
図９の例と同様に、制御部１１６は、各小領域を、前景領域１５１、背景領域１５２及び不明領域１５３に分類する。さらに、制御部１１６は、不明領域１５３を、一つの参照画素を利用可能な領域１５３Ａと、利用可能な参照画素が存在しない領域１５３Ｂとに分類する。
具体的には、領域１５３Ａに属する小領域Ｃ０３の例では、背景ベクトルＭＶ０に対応する参照画素Ｐ０３（ｔ−２ｄ）及びＰ０３（ｔ−ｄ）が存在する。参照画素Ｐ０３（ｔ−２ｄ）の対応点Ｘ０３Ａは、前景領域１５１に属するため、参照画素Ｐ０３（ｔ−２ｄ）は予測に使用されない。参照画素Ｐ０３（ｔ−ｄ）の対応点Ｘ０３Ｂは、背景領域１５２に属するため、参照画素Ｐ０３（ｔ−ｄ）は予測に使用される。
一方、領域１５３Ｂに属する小領域Ｃ０４の例では、背景ベクトルＭＶ０に対応する参照画素Ｐ０４（ｔ−２ｄ）及びＰ０４（ｔ−ｄ）が存在する。参照画素Ｐ０４（ｔ−２ｄ）及びＰ０４（ｔ−ｄ）は、いずれも前景領域１５１に属するため、参照画素Ｐ０４（ｔ−２ｄ）及びＰ０４（ｔ−ｄ）は予測に使用されない。この場合、参照に使用する画素が無いため、制御部１１６は、近傍の背景領域１５２の画素の予測値をコピーするなどして、当該画素の予測値を決定する。
次に、表示時刻が過去と未来の合計３枚の参照フレームを参照する場合の例を説明する。図１１は、この場合の動作例を示す図である。
この場合も図９及び図１０の例と同様に、制御部１１６は、各小領域を、前景領域１５１、背景領域１５２（１５２Ａ並びに１５２Ｂ）及び不明領域１５３に分類する。
具体的には、領域１５３に属する小領域Ｃ０５の例では、背景ベクトルＭＶ０に対応する参照画素Ｐ０５（ｔ−２ｄ）、Ｐ０５（ｔ−ｄ）及びＰ０５（ｔ＋ｄ）が存在する。参照画素Ｐ０５（ｔ−２ｄ）及びＰ０５（ｔ−ｄ）の対応点Ｘ０５Ａ及びＸ０５Ｂは、前景領域１５１に属するため、参照画素Ｐ０５（ｔ−２ｄ）及びＰ０５（ｔ−ｄ）は予測に使用されない。参照画素Ｐ０５（ｔ＋ｄ）の対応点Ｘ０５Ｃは、背景領域１５２に属するため、参照画素Ｐ０５（ｔ＋ｄ）は予測に使用される。
また、背景領域１５２Ａに属する小領域Ｃ０６は、時刻ｔ＋ｄの参照フレームでは前景に隠されてしまう領域であるが、２つの参照フレーム上の参照画素Ｐ０６（ｔ−ｄ）と参照画素Ｐ０６（ｔ−２ｄ）との相関が高い。よって、制御部１１６は、この小領域Ｃ０６を背景領域と判断し、参照画素Ｐ０６（ｔ−ｄ）及びＰ０６（ｔ−２ｄ）を小領域Ｃ０６の予測画１３２の決定に使用する。同様に、背景領域１５２Ｂは、時刻（ｔ−２ｄ）の参照フレームでは前景に隠されてしまう領域であるが、時刻（ｔ−ｄ）及び時刻（ｔ＋ｄ）のフレーム上の参照画素間の相関が高い。よって、制御部１１６は、背景領域１５２Ｂに対して、時刻（ｔ−ｄ）及び時刻（ｔ＋ｄ）のフレーム上の参照画素を使用する。
図１２は、本実施の形態に係る動きベクトル及び参照画素の選択処理（図５のステップＳ１０３及びＳ１０４）のフローチャートである。この処理は、小領域毎に行われる。
図１２に示すように、制御部１１６は、前景ベクトル（前景に対応する動きベクトル）で示される複数の参照画素間の相関が高い場合（Ｓ１１１でＹｅｓ）には、処理対象の小領域が前景領域に属すると判断し、前景ベクトルを選択し、前景ベクトルで示される複数の参照画素を処理対象の小領域の予測に使用すると決定する（Ｓ１１４）。
また、制御部１１６は、背景ベクトル（背景に対応する動きベクトル）で示される複数の参照画素間の相関が高い場合（Ｓ１１２でＹｅｓ）には、処理対象の小領域が背景領域に属すると判断し、背景ベクトルを選択し、背景ベクトルで示される複数の参照画素を処理対象の小領域の予測に使用すると決定する（Ｓ１１５）。
なお、上述したように、３以上の参照フレームが用いられる場合には、制御部１１６は、少なくとも２つの参照画素間の相関が高い場合に、処理対象の小領域が背景領域に属すると判断する。また、制御部１１６は、背景ベクトルで示される複数の参照画素のうち、相関が高い参照画素を処理対象の小領域の予測に使用すると決定する。
また、前景ベクトル及び背景ベクトルのいずれにおいても相関が高い参照画素が存在しない場合には（Ｓ１１１でＮｏかつＳ１１２でＮｏ）、制御部１１６は、背景ベクトルで示される複数の参照画素のうち背景領域に属する参照画素が存在するかを判定する（Ｓ１１３）。具体的には、上述したように、制御部１１６は、参照画素の対応点が背景領域に属する場合には、当該参照画素が背景領域に属すると判定する。
背景ベクトルで示される複数の参照画素のうち背景領域に属する参照画素が存在する場合には（Ｓ１１３でＹｅｓ）、制御部１１６は、当該参照画素を処理対象の小領域の予測に使用すると決定する（Ｓ１１６）。
一方、背景ベクトルで示される複数の参照画素に背景領域に属する参照画素が含まれない場合（Ｓ１１３でＮｏ）、例えば、全ての参照画素が、前景領域に属する、又は、ブロック外に存在する場合には、制御部１１６は、近傍の背景領域に含まれる小領域の予測画を処理対象の小領域の予測画に使用する（コピーする）と決定する（Ｓ１１７）。
次に、本実施の形態に係る予測方法の適用例を説明する。図１３は、ＨＢ３と呼ばれる階層的な画面間予測符号化構造を示す図である。図１３に示す、表示順序で０番目（ランダムアクセスポイント）及び４番目以外のフレームでは、２枚以上の参照フレームを利用可能である。よって、これらのフレームに対して本実施の形態に係る予測方法を適用することができる。
なお、本実施の形態に係る予測方法が使用されていることを示す情報を画像符号化装置から画像復号装置に通知する方法としては以下の方法を用いることができる。
例えば、予測ブロック毎に通知される予測タイプの１つとして従来の予測タイプに上記予測方法を示す予測タイプを追加してもよい。または、２本の動きベクトルを通知する従来の双予測において、予測画の生成方法のみを本実施の形態の予測方法に置換えてもよい。また、シーケンスパラメータセット（以下ＳＰＳ）、ピクチャパラメータセット（以下ＰＰＳ）、又はスライスヘッダ（以下ＳＨ）などに、新たな予測タイプとして本実施の形態の予測方法を追加するか否か、又は従来の双予測の予測方法を本実施の形態の予測方法に置換えるか否かなどを通知するための情報を埋め込み、シーケンス、ピクチャ又はスライス単位で予測方法を切替え可能としてもよい。
なお、上記説明では、符号ブロック内の小領域（４×４又は２×２画素など）単位で、使用する動きベクトルと参照フレームとを選択して予測を行うとした。この小領域のサイズは、４×４又は２×２画素などの予め定められたサイズに固定されてもよいし、ＳＰＳ、ＰＰＳ、又はＳＨなどに、サイズを示す情報が埋め込まれ、シーケンス、ピクチャ又はスライス単位で切替え可能としてもよい。
また、小領域のサイズは、４×４画素などの複数画素を基本とし、４×４画素内に物体境界が含まれるケースなどの４×４より小さなサイズでの予測が効果的と考えられる場合に限って２×２画素又は１画素単位に切替える階層的な切替えも実施可能である。階層的な切替えを行うか否かを示す情報も、ＳＰＳ、ＰＰＳ又はＳＨなどに切替え情報を埋め込むことで、シーケンス、ピクチャ又はスライス単位で制御を切替え可能である。
また、上記説明では、各参照フレーム上の参照画素の間の相関に基づき、符号ブロック内の小領域単位で使用する動きベクトルと参照フレームを選択して予測を行うとしたが、相関の高さの判断基準となる閾値などのパラメータをＳＰＳ、ＰＰＳ及びＳＨなどに埋め込むことで、符号化の際に画像のノイズの多さなどに合わせた調整が可能となる。
次に、本誌実施の形態に係る画像復号装置の構成を説明する。図１４は、本実施の形態に係る画像復号装置２００の構成例を示すブロック図である。図１４に示す画像復号装置２００は、上述した画像符号化装置１００により生成されたビットストリーム１２６であるビットストリーム２２１を復号することで復号画像２２６を生成する。
この画像復号装置２００は、エントロピー復号部２０１と、逆量子化部２０２と、逆変換部２０３と、加算部２０４と、フレームメモリ２０５と、予測部２０６とを備える。
エントロピー復号部２０１は、１以上のピクチャを含む静止画又は動画が符号化されることで生成されたビットストリーム２２１から、係数ブロック２２２及び動き情報２３１を復号する。ここで動き情報２３１は、上述した動き情報１３４に対応し、符号ブロック毎に複数の動きベクトルを特定するための情報である。
逆量子化部２０２は、係数ブロック２２２を逆量子化することで係数ブロック２２３を生成する。逆変換部２０３は、係数ブロック２２３を逆変換することで差分ブロック２２４を生成する。
加算部２０４は、差分ブロック２２４と予測ブロック２３０とを加算することで復号ブロック２２５を生成する。この復号ブロック２２５は、フレームメモリ１０９に格納され、復号画像２２６として出力されるとともに、予測処理に利用される。
なお、差分ブロック２２４、復号ブロック２２５及び予測ブロック２３０のサイズは、例えば、予測処理単位である上述した符号ブロックのサイズと同一である。
予測部２０６は、復号ブロック２２５を用いて予測ブロック２３０を生成する。この予測部２０６は、動き補償部２０７と、セレクタ２０８及び２１０と、バッファ２０９及び２１３と、制御部２１１と、予測画生成部２１２とを備える。
なお、予測部２０６に含まれる各処理部の動作は、上述した画像符号化装置１００が備える予測部１１０に含まれる各処理部の動作と同様である。ただし、予測部１１０では、動き検出部１１１により符号ブロック毎の複数の動きベクトルが検出されたが、予測部２０６では、ビットストリーム２２１に含まれる動き情報２３１により符号ブロック毎の複数の動きベクトルが示される。
つまり、動き補償部２０７は、動き情報２３１で示されるＮ本の動きベクトルを用いて動き補償を行うことで複数の参照ブロック２２７を生成する。複数（Ｎ×Ｍ個）のバッファ２０９は、Ｎ個のバッファ群に分類される。Ｎ個のバッファ群はＮ個の動きベクトルと一対一に対応する。各バッファ群はＭ個バッファを含み、Ｍ個のバッファはＭ個の参照フレームと一対一に対応する。動き補償部２０７で生成されたＮ×Ｍ個の参照ブロック２２７はセレクタ２０８を介して対応するバッファ２０９に一時的に保持される。
制御部２１１は、符号ブロック内の小領域単位で、各動きベクトルについて、Ｍ個の参照フレーム上のＭ個の参照画素２２８の間の相関を評価し、予測に使用する一つの動きベクトルと複数の参照フレームとを選択する。また、制御部２１１は、各小領域に対して、選択した動きベクトルで示される複数の参照画素２２８を、セレクタ２１０を介して予測画生成部２１２に出力する。
予測画生成部２１２は、取得した複数の参照画素２２８を用いて各小領域の予測画２２９を生成する。この予測画２２９は、バッファ２１３に格納され、符号ブロックに対応する複数の予測画２２９が予測ブロック２３０として出力される。
なお、逆量子化及び逆周波数変換処理は、それぞれ個別の処理として逐次行われてもよいし、一括して行われてもよい。また、ＨＥＶＣなどの現在主流のコーディング規格では、逆量子化及び逆周波数変換処理は一括して行われる。また、復号側においても、符号化側と同様に、これらの処理にスケーリング等の表現が用いられる場合がある。
また、符号化側と同様に、さらに、一般的に用いられるインター予測及びイントラ予測等が用いられてもよい。この場合には、上述した予測処理、インター予測及びイントラ予測のうちいずれを用いるかを示す情報がビットストリーム２２１に含まれ、画像復号装置２００は当該情報に応じて符号ブロック毎に予測方法を選択する。
なお、上記説明では、符号ブロックに対して、それぞれ１つの前景ベクトル及び背景ベクトルが用いられる例を述べたが、前景ベクトル及び背景ベクトルの少なくとも一方に複数のベクトルが用いられてもよい。例えば、２つの前景ベクトルと、２つの背景ベクトルとが用いられてもよい。この場合、参照フレーム１に対して、小領域毎に複数の動きベクトルが求められ、その中から出現頻度の高い２つの動きベクトル（前景ベクトル１及び背景ベクトル２）が選択される。同様に、参照フレーム２に対して、小領域毎に複数の動きベクトルが求められ、その中から出現頻度の高い２つの動きベクトル（前景ベクトル２及び背景ベクトル２）が選択される。
この場合、前景ベクトルと背景ベクトルとの組わせとしては、（前景ベクトル１、背景ベクトル１）、（前景ベクトル１、背景ベクトル２）、（前景ベクトル２、背景ベクトル１）、（前景ベクトル２、背景ベクトル２）の４通りが考えられる。よって、画像符号化装置１００（又は画像復号装置２００）は、これらの４通りの組み合わせのコスト値を算出し、コスト値が最も低い組み合わせを使用する前景ベクトル及び背景ベクトルの組として選択する。
具体的には、前景領域の予測残差の合計と、背景領域の予測残差の合計と、それ以外の領域の予測残差の合計との和が、符号ブロックの残差として算出される。また、動きベクトルのビット量が算出される。この符号ブロックの残差と動きベクトルのビット量との加算値又は重み付け加算値がコスト値として算出される。
なお、動きベクトルのビット量に差がない（又は少ない）場合には、符号ブロックの残差のみによりコスト値が算出されてもよい。
また、上記説明では、参照フレームの参照画素を使用できない場合に、近傍の背景領域の予測画を対象小領域の予測画に用いる（Ｓ１１７）としたが、イントラ予測のように、対象フレームに含まれる対象小領域の近傍の背景領域の画素値を対象小領域の予測画として用いてもよいし、当該画素値を対象小領域の画素値としてコピーしてもよい。
以上のように、本実施の形態に係る画像符号化装置１００は、図１５に示す画像符号化処理を行う。まず、動き検出部１１１は、対象フレームが分割されることで得られた複数の処理単位（符号ブロック１２２）の各々に対して、当該処理単位に割り当てる複数の動きベクトルを検出する（Ｓ１２１）。
次に、制御部１１６は、処理単位が分割されることで得られた複数の小領域の各々に対して、複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、複数の動きベクトルから使用する動きベクトルを選択する（Ｓ１２２）。
例えば、複数の参照フレームは、第１フレーム及び第２フレームを含み、制御部１１６は、複数の動きベクトルの各々に対して、対象フレームに含まれる対象小領域に対して当該動きベクトルにより示される第１フレーム上の領域（参照画素１３１）と第２フレーム上の領域（参照画素１３１）との相関を求め、当該相関が高い動きベクトルを選択する。なお、ここで用いられる動きベクトルとは、動きベクトルそのもの、又は当該動きベクトルを対象フレームと参照フレームと時間距離に応じてスケーリングした動きベクトルである。
また、複数の動きベクトルは、背景の動きを示す背景ベクトルと、前景の動きを示す前景ベクトルとを含む。制御部１１６は、背景ベクトルの相関及び前景ベクトルの相関が共に予め定められた値より低い場合、背景ベクトルを選択する。
次に、予測画生成部１１７は、複数の小領域の各々に対して、選択された動きベクトルを用いて予測画１３２を生成する（Ｓ１２３）。例えば、予測画生成部１１７は、背景ベクトルの相関及び前景ベクトルの相関が共に予め定められた値より低い場合、背景ベクトルにより示される第１フレーム上の第１領域と第２フレーム上の第２領域とのうち、背景に属する領域を用いて予測画１３２を生成する。例えば、予測画生成部１１７は、第１領域（又は第２領域）から前景ベクトルにより示される対象フレーム上の領域である対応点が背景に属する場合、第１領域（又は第２領域）は背景に属すると判定する。また、予測画生成部１１７は、第１領域及び第２領域がいずれも背景に属さない場合、対象フレーム内の対象小領域の近傍の領域の予測画を用いて当該対象小領域の予測画１３２を生成する。
次に、符号化部（減算部１０２、変換部１０３、量子化部１０４及びエントロピー符号化部１０５等）は、複数の小領域の各々を、当該小領域に対して生成された予測画１３２を用いて符号化する（Ｓ１２４）。具体的には、符号化部は、小領域の画素値と予測画１３２との差分を算出し、当該差分に周波数変換、量子化及びエントロピー符号化（可変長符号化）を行うことでビットストリーム１２６を生成する。
なお、ステップＳ１２１で検出された、処理単位毎の複数の動きベクトルを示す情報は符号化されることでビットストリーム１２６に含まれる。一方で、ステップＳ１２２で選択された小領域毎の動きベクトルを示す情報はビットストリーム１２６に含まれない。つまり、小領域毎の動きベクトルを示す情報は画像復号装置に送られない。
また、本実施の形態に係る画像復号装置２００は、図１６に示す画像復号処理を行う。まず、エントロピー復号部２０１は、対象フレームが分割されることで得られた複数の処理単位（符号ブロック）の各々に対して、当該処理単位に割り当てられた複数の動きベクトルを取得する（Ｓ１３１）。具体的には、エントロピー復号部２０１は、ビットストリーム２２１から、処理単位に割り当てられた複数の動きベクトルを示す動き情報２３１を取得する。
次に、制御部２１１は、処理単位が分割されることで得られた複数の小領域の各々に対して、複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、複数の動きベクトルから使用する動きベクトルを選択する（Ｓ１３２）。
例えば、複数の参照フレームは、第１フレーム及び第２フレームを含み、制御部２１１は、複数の動きベクトルの各々に対して、対象フレームに含まれる対象小領域に対して当該動きベクトルにより示される第１フレーム上の領域（参照画素２２８）と第２フレーム上の領域（参照画素２２８）との相関を求め、当該相関が高い動きベクトルを選択する。
また、複数の動きベクトルは、背景の動きを示す背景ベクトルと、前景の動きを示す前景ベクトルとを含む。制御部２１１は、背景ベクトルの相関及び前景ベクトルの相関が共に予め定められた値より低い場合、背景ベクトルを選択する。
次に、予測画生成部２１２は、複数の小領域の各々に対して、選択された動きベクトルを用いて予測画２２９を生成する（Ｓ１３３）。例えば、予測画生成部２１２は、背景ベクトルの相関及び前景ベクトルの相関が共に予め定められた値より低い場合、背景ベクトルにより示される第１フレーム上の第１領域と第２フレーム上の第２領域とのうち、背景に属する領域を用いて予測画を生成する。例えば、予測画生成部２１２は、第１領域（又は第２領域）から前景ベクトルにより示される対象フレーム上の領域である対応点が背景に属する場合、第１領域（又は第２領域）は背景に属すると判定する。また、予測画生成部２１２は、第１領域及び第２領域がいずれも背景に属さない場合、対象フレーム内の対象小領域の近傍の領域の予測画を用いて当該対象小領域の予測画２２９を生成する。
次に、復号部（エントロピー復号部２０１、逆量子化部２０２、逆変換部２０３及び加算部２０４等）は、複数の小領域の各々を、当該小領域に対して生成された予測画２２９を用いて復号する（Ｓ１３４）。具体的には、復号部は、小領域の符号化データをエントロピー復号（可変長復号）、逆量子化及び逆周波数変換することで、小領域の差分値を復元する。復号部は、当該差分値に予測画２２９を加算することで小領域の画素値を復元する。
なお、ビットストリーム２２１には、小領域毎の動きベクトルを示す情報は含まれない。つまり、小領域毎の動きベクトルを示す情報は画像復号装置に送られない。
以上により、画像復号装置において処理単位に対応付けられた複数の動きベクトルから小領域で用いる動きベクトルを選択できる。よって、処理単位に含まれる複数の小領域に対して異なる動きベクトルを用いることが可能なる。また、各小領域に対して動きベクトルを指定するための情報を符号化ビットストリームに含める必要がないため符号化ビットストリームのデータ量の増加を抑制できる。このように、本実施の形態に係る画像符号化装置１００及び画像復号装置２００は、符号化効率を向上できる。
以上、本実施の形態に係る画像符号化装置に及び画像復号装置ついて説明したが、本発明は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る画像符号化装置及び画像復号装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
言い換えると、画像符号化装置及び画像復号装置は、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）と、当該処理回路に電気的に接続された（当該処理回路からアクセス可能な）記憶装置（ｓｔｏｒａｇｅ）とを備える。処理回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含む。また、記憶装置は、処理回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。処理回路は、記憶装置を用いて、上記実施の形態に画像符号化方法又は画像復号方法を実行する。
さらに、本発明は上記ソフトウェアプログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記の画像符号化方法又は画像復号方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
以上、本発明の一つ又は複数の態様に係る画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つ又は複数の態様の範囲内に含まれてもよい。
（実施の形態２）
以上の各実施の形態において、機能ブロックの各々は、通常、ＭＰＵ及びメモリ等によって実現可能である。また、機能ブロックの各々による処理は、通常、プロセッサなどのプログラム実行部が、ＲＯＭ等の記録媒体に記録されたソフトウェア（プログラム）を読み出して実行することで実現される。当該ソフトウェアはダウンロード等により配布されてもよいし、半導体メモリなどの記録媒体に記録して配布されてもよい。なお、各機能ブロックをハードウェア（専用回路）によって実現することも、当然、可能である。
また、各実施の形態において説明した処理は、単一の装置（システム）を用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。
本発明は、以上の実施例に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含される。
さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）又は動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、画像復号方法を用いた画像復号装置、及び両方を備える画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
［使用例］
図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０５、ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０、ｅｘ１１０が設置されている。
このコンテンツ供給システムｅｘ１００では、インターネットｅｘ１０１に、インターネットサービスプロバイダｅｘ１０２又は通信網ｅｘ１０４、及び基地局ｅｘ１０５〜ｅｘ１１１を介して、コンピュータｅｘ１１１、ゲーム機ｅｘ１１２、カメラｅｘ１１３、家電ｅｘ１１４、及びスマートフォンｅｘ１１５などの各機器が接続される。当該コンテンツ供給システムｅｘ１００は、上記のいずれかの要素を組合せて接続するようにしてもよい。固定無線局である基地局ｅｘ１０５〜ｅｘ１１１を介さずに、各機器が電話網又は近距離無線等を介して直接的又は間接的に相互に接続されていてもよい。また、ストリーミングサーバｅｘ１０３は、インターネットｅｘ２０１等を介して、コンピュータｅｘ１１１、ゲーム機ｅｘ１１２、カメラｅｘ１１３、家電ｅｘ１１４、及びスマートフォンｅｘ１１５などの各機器と接続される。また、ストリーミングサーバｅｘ１０３は、衛星ｅｘ１１６を介して、飛行機ｅｘ１１７内のホットスポット内の端末等と接続される。
なお、基地局ｅｘ１０５〜ｅｘ１１１の代わりに、無線アクセスポイント又はホットスポット等が用いられてもよい。また、ストリーミングサーバｅｘ１０３は、インターネットｅｘ１０１又はインターネットサービスプロバイダｅｘ１０２を介さずに直接通信網ｅｘ１０４と接続されてもよいし、衛星ｅｘ１１６を介さず直接飛行機ｅｘ１１７と接続されてもよい。
カメラｅｘ１１３はデジタルカメラ等の静止画撮影、及び動画撮影が可能な機器である。また、スマートフォンｅｘ１１５は、一般に２Ｇ、３Ｇ、３．９Ｇ、４Ｇ、そして今後は５Ｇと呼ばれる移動通信システムの方式に対応したスマートフォン機、携帯電話機、又はＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等である。
家電ｅｘ１１８は、冷蔵庫、又は家庭用燃料電池コージェネレーションシステムに含まれる機器等である。
コンテンツ供給システムｅｘ１００では、撮影機能を有する端末が基地局ｅｘ１０５等を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、端末（コンピュータｅｘ１１１、ゲーム機ｅｘ１１２、カメラｅｘ１１３、家電ｅｘ１１４、スマートフォンｅｘ１１５、及び飛行機ｅｘ１１７内の端末等）は、ユーザが当該端末を用いて撮影した静止画又は動画コンテンツに対して上記各実施の形態で説明した符号化処理を行い、符号化により得られた映像データと、映像に対応する音を符号化した音データと多重化し、得られたデータをストリーミングサーバｅｘ１０３に送信する。即ち、各端末は、本発明の一態様に係る画像符号化装置として機能する。
一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントは、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ゲーム機１１２、カメラｅｘ１１３、家電ｅｘ１１４、スマートフォンｅｘ１１５、又は飛行機ｅｘ１１７内の端末等である。配信されたデータを受信した各機器は、受信したデータを復号化処理して再生する。即ち、各機器は、本発明の一態様に係る画像復号装置として機能する。
［分散処理］
また、ストリーミングサーバｅｘ１０３は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。例えば、ストリーミングサーバｅｘ１０３は、ＣＤＮ（Ｃｏｎｔｅｎｔｓ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ）により実現され、世界中に分散された多数のエッジサーバとエッジサーバ間をつなぐネットワークによりコンテンツ配信が実現されていてもよい。ＣＤＮでは、クライアントに応じて物理的に近いエッジサーバが動的に割り当てられる。そして、当該エッジサーバにコンテンツがキャッシュ及び配信されることで遅延を減らすことができる。また、何らかのエラーが発生した場合又はトラフィックの増加などにより通信状態が変わる場合に複数のエッジサーバで処理を分散したり、他のエッジサーバに配信主体を切り替えたり、障害が生じたネットワークの部分を迂回して配信を続けることができるので、高速かつ安定した配信が実現できる。
また、配信自体の分散処理にとどまらず、撮影したデータの符号化処理を各端末で行ってもよいし、サーバ側で行ってもよいし、互いに分担して行ってもよい。一例として、一般に符号化処理では、処理ループが２度行われる。１度目のループでフレーム又はシーン単位での画像の複雑さ、又は、符号量が検出される。また、２度目のループでは画質を維持して符号化効率を向上させる処理が行われる。例えば、端末が１度目の符号化処理を行い、コンテンツを受け取ったサーバ側が２度目の符号化処理を行うことで、各端末での処理負荷を減らしつつもコンテンツの質と効率を向上させることができる。この場合、ほぼリアルタイムで受信して復号する要求があれば、端末が行った一度目の符号化済みデータを他の端末で受信して再生することもできるので、より柔軟なリアルタイム配信も可能になる。
他の例として、カメラｅｘ１１３等は、画像から特徴量抽出を行い、特徴量に関するデータをメタデータとして圧縮してサーバに送信する。サーバは、例えば特徴量からオブジェクトの重要性を判断して量子化精度を切り替えるなど、画像の意味に応じた圧縮を行う。特徴量データはサーバでの再度の圧縮時の動きベクトル予測の精度及び効率向上に特に有効である。また、端末でＶＬＣ（可変長符号化）などの簡易的な符号化を行い、サーバでＣＡＢＡＣ（コンテキスト適応型二値算術符号化方式）など処理負荷の大きな符号化を行ってもよい。
さらに他の例として、スタジアム、ショッピングモール、又は工場などにおいては、複数の端末によりほぼ同一のシーンが撮影された複数の映像データが存在する場合がある。この場合には、撮影を行った複数の端末と、必要に応じて撮影をしていない他の端末及びサーバを用いて、例えばＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）単位、ピクチャ単位、又はピクチャを分割したタイル単位などで符号化処理をそれぞれ割り当てて分散処理を行う。これにより、遅延を減らし、よりリアルタイム性を実現できる。
また、複数の映像データはほぼ同一シーンであるため、各端末で撮影された映像データを互いに参照し合えるように、サーバで管理及び／又は指示をしてもよい。または、各端末からの符号化済みデータを、サーバが受信し複数のデータ間で参照関係を変更、又はピクチャ自体を補正或いは差し替えて符号化しなおしてもよい。これにより、一つ一つのデータの質と効率を高めたストリームを生成できる。
また、サーバは、映像データの符号化方式を変更するトランスコードを行ったうえで映像データを配信してもよい。例えば、サーバは、ＭＰＥＧ系の符号化方式をＶＰ系に変換してもよいし、Ｈ．２６４をＨ．２６５に変換してもよい。
このように、符号化処理は、端末、又は１以上のサーバにより行うことが可能である。よって、以下では、処理を行う主体として「サーバ」又は「端末」等の記載を用いるが、サーバで行われる処理の一部又は全てが端末で行われてもよいし、端末で行われる処理の一部又は全てがサーバで行われてもよい。また、これらに関しては、復号処理についても同様である。
［３Ｄ、マルチアングル］
近年では、互いにほぼ同期した複数のカメラｅｘ１１３及び／又はスマートフォンｅｘ１１５などの端末により撮影された異なるシーン、又は、同一シーンを異なるアングルから撮影した画像或いは映像を統合して利用することも増えてきている。各端末で撮影した映像は、別途取得した端末間の相対的な位置関係、又は、映像に含まれる特徴点が一致する領域などに基づいて統合される。
サーバは、２次元の動画像を符号化するだけでなく、動画像のシーン解析などに基づいて自動的に、又は、ユーザが指定した時刻において、静止画を符号化し、受信端末に送信してもよい。サーバは、さらに、撮影端末間の相対的な位置関係を取得できる場合には、２次元の動画像だけでなく、同一シーンが異なるアングルから撮影された映像に基づき、当該シーンの３次元形状を生成できる。なお、サーバは、ポイントクラウドなどにより生成した３次元のデータを別途符号化してもよいし、３次元データを用いて人物又はオブジェクトを認識或いは追跡した結果に基づいて、受信端末に送信する映像を、複数の端末で撮影した映像から選択、又は、再構成して生成してもよい。
このようにして、ユーザは、各撮影端末に対応する各映像を任意に選択してシーンを楽しむこともできるし、複数画像又は映像を用いて再構成された３次元データから任意視点の映像を切り出したコンテンツを楽しむこともできる。さらに、映像と同様に音も複数の相異なるアングルから収音され、サーバは、映像に合わせて特定のアングル又は空間からの音を映像と多重化して送信してもよい。
また、近年ではＶｉｒｔｕａｌ Ｒｅａｌｉｔｙ（ＶＲ）及びＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）など、現実世界と仮想世界とを対応付けたコンテンツも普及してきている。ＶＲの画像の場合、サーバは、右目用及び左目用の視点画像をそれぞれ作成し、Ｍｕｌｔｉ−Ｖｉｅｗ Ｃｏｄｉｎｇ（ＭＶＣ）などにより各視点映像間で参照を許容する符号化を行ってもよいし、互いに参照せずに別ストリームとして符号化してもよい。別ストリームの復号時には、ユーザの視点に応じて仮想的な３次元空間が再現されるように互いに同期させて再生するとよい。
ＡＲの画像の場合には、サーバは、現実空間のカメラ情報に、仮想空間上の仮想物体情報を、３次元的位置又はユーザの視点の動きに基づいて重畳する。復号装置は、仮想物体情報及び３次元データを取得又は保持し、ユーザの視点の動きに応じて２次元画像を生成し、スムーズにつなげることで重畳データを作成してもよい。または、復号装置は仮想物体情報の依頼に加えてユーザの視点の動きをサーバに送信し、サーバは、サーバに保持される３次元データから受信した視点の動きに合わせて重畳データを作成し、重畳データを符号化して復号装置に配信してもよい。なお、重畳データは、ＲＧＢ以外に透過度を示すα値を有し、サーバは、３次元データから作成されたオブジェクト以外の部分のα値が０などに設定し、当該部分が透過する状態で、符号化してもよい。もしくは、サーバは、クロマキーのように所定の値のＲＧＢ値を背景に設定し、オブジェクト以外の部分は背景色にしたデータを生成してもよい。
同様に配信されたデータの復号処理はクライアントである各端末で行っても、サーバ側で行ってもよいし、互いに分担して行ってもよい。一例として、ある端末が、一旦サーバに受信リクエストを送り、そのリクエストに応じたコンテンツを他の端末で受信し復号処理を行い、ディスプレイを有する装置に復号済みの信号が送信されてもよい。通信可能な端末自体の性能によらず処理を分散して適切なコンテンツを選択することで画質のよいデータを再生ことができる。また、他の例として大きなサイズの画像データをＴＶ等で受信しつつ、鑑賞者の個人端末にピクチャが分割されたタイルなど一部の領域が復号されて表示されてもよい。これにより、全体像を共有化しつつ、自身の担当分野又はより詳細に確認したい領域を手元で確認することができる。
また今後は、屋内外にかかわらず近距離、中距離、又は長距離の無線通信が複数使用可能な状況下で、ＭＰＥＧ−ＤＡＳＨなどの配信システム規格を利用して、接続中の通信に対して適切なデータを切り替えながらシームレスにコンテンツを受信することが予想される。これにより、ユーザは、自身の端末のみならず屋内外に設置されたディスプレイなどの復号装置又は表示装置を自由に選択しながらリアルタイムで切り替えられる。また、自身の位置情報などに基づいて、復号する端末及び表示する端末を切り替えながら復号を行うことができる。これにより、目的地への移動中に、表示可能なデバイスが埋め込まれた隣の建物の壁面又は地面の一部に地図情報を表示させながら移動することも可能になる。また、符号化データが受信端末から短時間でアクセスできるサーバにキャッシュされている、又は、コンテンツ・デリバリー・サービスにおけるエッジサーバにコピーされている、などの、ネットワーク上での符号化データへのアクセス容易性に基づいて、受信データのビットレートを切り替えることも可能である。
［スケーラブル符号化］
コンテンツの切り替えに関して、図１８に示す、上記各実施の形態で示した動画像符号化方法を応用して圧縮符号化されたスケーラブルなストリームを用いて説明する。サーバは、個別のストリームとして内容は同じで質の異なるストリームを複数有していても構わないが、図示するようにレイヤに分けて符号化を行うことで実現される時間的／空間的スケーラブルなストリームの特徴を活かして、コンテンツを切り替える構成であってもよい。つまり、復号側が性能という内的要因と通信帯域の状態などの外的要因とに応じてどのレイヤまで復号するかを決定することで、復号側は、低解像度のコンテンツと高解像度のコンテンツとを自由に切り替えて復号できる。例えば移動中にスマートフォンｅｘ１１５で視聴していた映像の続きを、帰宅後にインターネットＴＶ等の機器で視聴したい場合には、当該機器は、同じストリームを異なるレイヤまで復号すればよいので、サーバ側の負担を軽減できる。
さらに、上記のように、レイヤ毎にピクチャが符号化されており、ベースレイヤの上位にエンハンスメントレイヤが存在するスケーラビリティを実現する構成以外に、エンハンスメントレイヤが画像の統計情報などに基づくメタ情報を含み、復号側が、メタ情報に基づきベースレイヤのピクチャを超解像することで高画質化したコンテンツを生成してもよい。超解像とは、同一解像度におけるＳＮ比の向上、及び、解像度の拡大のいずれであってもよい。メタ情報は、超解像処理に用いる線形或いは非線形のフィルタ係数を特定するため情報、又は、超解像処理に用いるフィルタ処理、機械学習或いは最小２乗演算におけるパラメータ値を特定する情報などを含む。
または、画像内のオブジェクトなどの意味合いに応じてピクチャがタイル等に分割されており、復号側が、復号するタイルを選択することで一部の領域だけを復号する構成であってもよい。また、オブジェクトの属性（人物、車、ボールなど）と映像内の位置（同一画像における座標位置など）とをメタ情報として格納することで、復号側は、メタ情報に基づいて所望のオブジェクトの位置を特定し、そのオブジェクトを含むタイルを決定できる。例えば、図１９に示すように、メタ情報は、ＨＥＶＣにおけるＳＥＩメッセージなど画素データとは異なるデータ格納構造を用いて格納される。このメタ情報は、例えば、メインオブジェクトの位置、サイズ、又は色彩などを示す。
また、ストリーム、シーケンス又はランダムアクセス単位など、複数のピクチャから構成される単位でメタ情報が格納されてもよい。これにより、復号側は、特定人物が映像内に出現する時刻などが取得でき、ピクチャ単位の情報と合わせることで、オブジェクトが存在するピクチャ、及び、ピクチャ内でのオブジェクトの位置を特定できる。
［Ｗｅｂページの最適化］
図２０は、コンピュータｅｘ１１１等におけるｗｅｂページの表示画面例を示す図である。図２１は、スマートフォンｅｘ１１５等おけるｗｅｂページの表示画面例を示す図である。図２０及び図２１に示すようにｗｅｂページが、画像コンテンツへのリンクであるリング画像を複数含む場合があり、閲覧するデバイスによってその見え方は異なる。画面上に複数のリンク画像が見える場合には、ユーザが明示的にリンク画像を選択するまで、又は画面の中央付近にリンク画像が近付く或いはリンク画像の全体が画面内に入るまでは、表示装置（復号装置）は、リンク画像として各コンテンツが有する静止画又はＩピクチャを表示したり、複数の静止画又はＩピクチャ等でｇｉｆアニメのような映像を表示をしたり、ベースレイヤのみ受信して映像を復号及び表示したりする。
ユーザによりリンク画像が選択された場合、表示装置は、ベースレイヤを最優先にして復号する。なお、ｗｅｂページを構成するＨＴＭＬにスケーラブルなコンテンツであることを示す情報があれば、表示装置は、エンハンスメントレイヤまで復号してもよい。また、リアルタイム性を担保するために、選択される前又は通信帯域が非常に厳しい場合には、表示装置は、前方参照のピクチャ（Ｉピクチャ、Ｐピクチャ、前方参照のみのＢピクチャ）のみを復号及び表示することで、先頭ピクチャの復号時刻と表示時刻との間の遅延（コンテンツの復号開始から表示開始までの遅延）を低減できる。また、表示装置は、ピクチャの参照関係を敢えて無視して全てのＢピクチャ及びＰピクチャを前方参照にして粗く復号し、時間が経ち受信したピクチャが増えるにつれて正常の復号を行ってもよい。
［自動走行］
また、車の自動走行又は走行支援のため２次元又は３次元の地図情報などの静止画又は映像データを送受信する場合、受信端末は、１以上のレイヤに属する画像データに加えて、メタ情報として天候又は工事の情報なども受信し、これらを対応付けて復号してもよい。なお、メタ情報は、レイヤに属してもよいし、単に画像データと多重化されてもよい。
この場合、受信端末を含む車、ドローン又は飛行機などが移動するため、受信端末は、当該受信端末の位置情報を受信要求時に送信することで、基地局ｅｘ１０６〜ｅｘ１１０を切り替えながらシームレスな受信及び復号を実現できる。また、受信端末は、ユーザの選択、ユーザの状況又は通信帯域の状態に応じて、メタ情報をどの程度受信するか、又は地図情報をどの程度更新していくかを動的に切り替えることが可能になる。
以上のようにして、コンテンツ供給システムｅｘ１００では、ユーザが送信した符号化された情報をリアルタイムでクライアントが受信して復号し、再生することができる。
［個人コンテンツの配信］
また、コンテンツ供給システムｅｘ１００では、映像配信業者による高画質で長時間のコンテンツのみならず、個人による低画質で短時間のコンテンツのユニキャスト、又はマルチキャスト配信が可能である。また、このような個人のコンテンツは今後も増加していくと考えられる。個人コンテンツをより優れたコンテンツにするために、サーバは、編集処理を行ってから符号化処理を行ってもよい。これは例えば、以下のような構成で実現できる。
撮影時にリアルタイム又は蓄積して撮影後に、サーバは、原画又は符号化済みデータから撮影エラー、シーン探索、意味の解析、及びオブジェクト検出などの認識処理を行う。そして、サーバは、認識結果に基いて手動又は自動で、ピントずれ又は手ブレなどを補正したり、明度が他のピクチャに比べて低い又は焦点が合っていないシーンなどの重要性の低いシーンを削除したり、オブジェクトのエッジを強調したり、色合いを変化させるなどの編集を行う。サーバは、編集結果に基いて編集後のデータを符号化する。また撮影時刻が長すぎると視聴率が下がることも知られており、サーバは、撮影時間に応じて特定の時間範囲内のコンテンツになるように上記のように重要性が低いシーンのみならず動きが少ないシーンなどを、画像処理結果に基き自動でクリップしてもよい。または、サーバは、シーンの意味解析の結果に基づいてダイジェストを生成して符号化してもよい。
なお、個人コンテンツには、そのままでは著作権、著作者人格権、又は肖像権等の侵害となるものが写り込んでいるケースもあり、共有する範囲が意図した範囲を超えてしまうなど個人にとって不都合な場合もある。よって、例えば、サーバは、画面の周辺部の人の顔、又は家の中などを敢えて焦点が合わない画像に変更して符号化してもよい。また、サーバは、符号化対象画像内に、予め登録した人物とは異なる人物の顔が映っているかどうかを認識し、映っている場合には、顔の部分にモザイクをかけるなどの処理を行ってもよい。または、符号化の前処理又は後処理として、著作権などの観点からユーザが画像を加工したい人物又は背景領域を指定し、サーバは、指定された領域を別の映像に置き換える、又は焦点をぼかすなどの処理を行うことも可能である。人物であれば、動画像において人物をトラッキングしながら、顔の部分の映像を置き換えることができる。
また、データ量の小さい個人コンテンツの視聴はリアルタイム性の要求が強いため、帯域幅にもよるが、復号装置は、まずベースレイヤを最優先で受信して復号及び再生を行う。復号装置は、この間にエンハンスメントレイヤを受信し、再生がループされる場合など２回以上再生される場合に、エンハンスメントレイヤも含めて高画質の映像を再生してもよい。このようにスケーラブルな符号化が行われているストリームであれば、未選択時又は見始めた段階では粗い動画だが、徐々にストリームがスマートになり画像がよくなるような体験を提供することができる。スケーラブル符号化以外にも、１回目に再生される粗いストリームと、１回目の動画を参照して符号化される２回目のストリームとが１つのストリームとして構成されていても同様の体験を提供できる。
［その他の使用例］
また、これらの符号化又は復号処理は、一般的に各端末が有するＬＳＩｅｘ５００において処理される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化又は復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、又はハードディスクなど）に組み込み、そのソフトウェアを用いて符号化又は復号処理を行ってもよい。さらに、スマートフォンｅｘ１１５がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンｅｘ１１５が有するＬＳＩｅｘ５００で符号化処理されたデータである。
なお、ＬＳＩｅｘ５００は、アプリケーションソフトをダウンロードしてアクティベートする構成であってもよい。この場合、端末は、まず、当該端末がコンテンツの符号化方式に対応しているか、又は、特定サービスの実行能力を有するかを判定する。端末がコンテンツの符号化方式に対応していない場合、又は、特定サービスの実行能力を有さない場合、端末は、コーデック又はアプリケーションソフトをダウンロードし、その後、コンテンツ取得及び再生する。
また、インターネットｅｘ１０１を介したコンテンツ供給システムｅｘ１００に限らず、デジタル放送用システムにも上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）又は動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。衛星などを利用して放送用の電波に映像と音が多重化された多重化データを載せて送受信するため、コンテンツ供給システムｅｘ１００のユニキャストがし易い構成に対してマルチキャスト向きであるという違いがあるが符号化処理及び復号処理に関しては同様の応用が可能である。
［ハードウェア構成］
図２２は、スマートフォンｅｘ１１５を示す図である。また、図２３は、スマートフォンｅｘ１１５の構成例を示す図である。スマートフォンｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ４５０と、映像及び静止画を撮ることが可能なカメラ部ｅｘ４６５と、カメラ部ｅｘ４６５で撮像した映像、及びアンテナｅｘ４５０で受信した映像等が復号されたデータを表示する表示部ｅｘ４５８とを備える。スマートフォンｅｘ１１５は、さらに、タッチパネル等である操作部ｅｘ４６６と、音声又は音響を出力するためのスピーカ等である音声出力部ｅｘ４５７と、音声を入力するためのマイク等である音声入力部ｅｘ４５６と、撮影した映像或いは静止画、録音した音声、受信した映像或いは静止画、メール等の符号化されたデータ、又は、復号化されたデータを保存可能なメモリ部ｅｘ４６７と、ユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのＳＩＭｅｘ４６８とのインタフェース部であるスロット部ｅｘ４６４とを備える。なお、メモリ部ｅｘ４６７の代わりに外付けメモリが用いられてもよい。
また、表示部ｅｘ４５８及び操作部ｅｘ４６６等を統括的に制御する主制御部ｅｘ４６０と、電源回路部ｅｘ４６１、操作入力制御部ｅｘ４６２、映像信号処理部ｅｘ４５５、カメラインタフェース部ｅｘ４６３、ディスプレイ制御部ｅｘ４５９、変調／復調部ｅｘ４５２、多重／分離部ｅｘ４５３、音声信号処理部ｅｘ４５４、スロット部ｅｘ４６４、及びメモリ部ｅｘ４６７とがバスｅｘ４７０を介して接続されている。
電源回路部ｅｘ４６１は、ユーザの操作により電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンｅｘ１１５を動作可能な状態に起動する。
スマートフォンｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を有する主制御部ｅｘ４６０の制御に基づいて、通話及データ通信等の処理を行う。通話時は、音声入力部ｅｘ４５６で収音した音声信号を音声信号処理部ｅｘ４５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ４５２でスペクトラム拡散処理し、送信／受信部ｅｘ４５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。また受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変調／復調部ｅｘ４５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ４５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ４５７から出力する。データ通信モード時は、本体部の操作部ｅｘ４６６等の操作によってテキスト、静止画、又は映像データが操作入力制御部ｅｘ４６２を介して主制御部ｅｘ４６０に送出され、同様に送受信処理が行われる。データ通信モード時に映像、静止画、又は映像と音声を送信する場合、映像信号処理部ｅｘ４５５は、メモリ部ｅｘ４６７に保存されている映像信号又はカメラ部ｅｘ４６５から入力された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ４５３に送出する。また、音声信号処理部ｅｘ４５４は、映像又は静止画等をカメラ部ｅｘ４６５で撮像中に音声入力部ｅｘ４５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ４５３に送出する。多重／分離部ｅｘ４５３は、符号化済み映像データと符号化済み音声データを所定の方式で多重化し、変調／復調部（変調／復調回路部）ｅｘ４５２、及び送信／受信部ｅｘ４５１で変調処理及び変換処理を施してアンテナｅｘ４５０を介して送信する。
電子メール又はチャットに添付された映像、又はウェブページ等にリンクされた映像を受信した場合、アンテナｅｘ４５０を介して受信された多重化データを復号するために、多重／分離部ｅｘ４５３は、多重化データを分離することにより、多重化データを映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ４７０を介して符号化された映像データを映像信号処理部ｅｘ４５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ４５４に供給する。映像信号処理部ｅｘ４５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって映像信号を復号し、ディスプレイ制御部ｅｘ４５９を介して表示部ｅｘ４５８から、リンクされた動画像ファイルに含まれる映像又は静止画が表示される。また音声信号処理部ｅｘ４５４は、音声信号を復号し、音声出力部ｅｘ４５７から音声が出力される。なおリアルタイムストリーミングが普及しているため、ユーザの状況によっては音声の再生が社会的にふさわしくない場も起こりえる。そのため、初期値としては、音声信号は再生せず映像データのみを再生する構成の方が望ましい。ユーザが映像データをクリックするなど操作を行った場合にのみ音声を同期して再生してもよい。
またここではスマートフォンｅｘ１１５を例に説明したが、端末としては符号化器及び復号化器を両方持つ送受信型端末の他に、符号化器のみを有する送信端末、及び、復号化器のみを有する受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムにおいて、映像データに音楽データなどが多重化された多重化データを受信又は送信するとして説明したが、多重化データには、音声データ以外に映像に関連する文字データなどが多重化されてもよいし、多重化データではなく映像データ自体が受信又は送信されてもよい。
なお、ＣＰＵを含む主制御部ｅｘ４６０が符号化又は復号処理を制御するとして説明したが、端末はＧＰＵを備えることも多い。よって、ＣＰＵとＧＰＵで共通化されたメモリ、又は共通に使用できるようにアドレスが管理されているメモリにより、ＧＰＵの性能を活かして広い領域を一括して処理する構成でもよい。これにより符号化時間を短縮でき、リアルタイム性を確保し、低遅延を実現できる。特に動き探索、デブロックフィルタ、ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）、及び変換・量子化の処理を、ＣＰＵではなく、ＧＰＵでピクチャなどの単位で一括して行うと効率的である。
本発明は、画像復号装置及び画像符号化装置に適用可能である。具体的には、テレビ、レコーダ、パーソナルコンピュータ、デジタルスチルカメラ、デジタルビデオカメラ、及びスマートフォンなどに、本発明は適用可能である。
１００ 画像符号化装置
１０１ ブロック化部
１０２ 減算部
１０３ 変換部
１０４ 量子化部
１０５ エントロピー符号化部
１０６、２０２ 逆量子化部
１０７、２０３ 逆変換部
１０８、２０４ 加算部
１０９、２０５ フレームメモリ
１１０、２０６ 予測部
１１１ 動き検出部
１１２、２０７ 動き補償部
１１３、１１５、２０８、２１０ セレクタ
１１４、１１８、２０９、２１３ バッファ
１１６、２１１ 制御部
１１７、２１２ 予測画生成部
１２１ 入力画像
１２２ 符号ブロック
１２３、１２８、２２４ 差分ブロック
１２４、１２５、１２７、２２２、２２３ 係数ブロック
１２６、２２１ ビットストリーム
１２９、２２５ 復号ブロック
１３０、２２７ 参照ブロック
１３１、２２８ 参照画素
１３２、２２９ 予測画
１３３、２３０ 予測ブロック
１３４、２３１ 動き情報
２００ 画像復号装置
２０１ エントロピー復号部
２２６ 復号画像

Claims (19)

  1. 対象フレームが分割されることで得られた複数の処理単位の各々に対して、当該処理単位に割り当てられた複数の動きベクトルを取得する取得ステップと、
    前記処理単位が分割されることで得られた複数の小領域の各々に対して、前記複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、前記複数の動きベクトルから使用する動きベクトルを選択する選択ステップと、
    前記複数の小領域の各々に対して、選択された前記動きベクトルを用いて予測画を生成する生成ステップと、
    前記複数の小領域の各々を、当該小領域に対して生成された前記予測画を用いて復号する復号ステップとを含む
    画像復号方法。
  2. 前記複数の参照フレームは、第１フレーム及び第２フレームを含み、
    前記選択ステップでは、
    前記複数の動きベクトルの各々に対して、前記対象フレームに含まれる対象小領域に対して当該動きベクトルにより示される前記第１フレーム上の領域と前記第２フレーム上の領域との相関を求め、当該相関に基づき前記使用する動きベクトルを選択する
    請求項１記載の画像復号方法。
  3. 前記複数の動きベクトルは、背景の動きを示す背景ベクトルと、前景の動きを示す前景ベクトルとを含む
    請求項２記載の画像復号方法。
  4. 前記選択ステップでは、
    前記背景ベクトルの前記相関及び前記前景ベクトルの前記相関が共に予め定められた値より低い場合、前記背景ベクトルを選択する
    請求項３記載の画像復号方法。
  5. 前記生成ステップでは、
    前記背景ベクトルの前記相関及び前記前景ベクトルの前記相関が共に前記予め定められた値より低い場合、前記背景ベクトルにより示される前記第１フレーム上の第１領域と前記第２フレーム上の第２領域とのうち、背景に属する領域を用いて前記予測画を生成する
    請求項４記載の画像復号方法。
  6. 前記生成ステップでは、
    前記第１領域又は前記第２領域から前記前景ベクトルにより示される前記対象フレーム上の領域である対応点が背景に属する場合、前記第１領域又は前記第２領域は背景に属すると判定する
    請求項５記載の画像復号方法。
  7. 前記生成ステップでは、
    前記第１領域及び前記第２領域がいずれも背景に属さない場合、前記対象フレーム内の前記対象小領域の近傍の領域の予測画を用いて当該対象小領域の予測画を生成する
    請求項５又は６記載の画像復号方法。
  8. 対象フレームが分割されることで得られた複数の処理単位の各々に対して、当該処理単位に割り当てる複数の動きベクトルを検出する検出ステップと、
    前記処理単位が分割されることで得られた複数の小領域の各々に対して、前記複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、前記複数の動きベクトルから使用する動きベクトルを選択する選択ステップと、
    前記複数の小領域の各々に対して、選択された前記動きベクトルを用いて予測画を生成する生成ステップと、
    前記複数の小領域の各々を、当該小領域に対して生成された前記予測画を用いて符号化する符号化ステップとを含む
    画像符号化方法。
  9. 前記複数の参照フレームは、第１フレーム及び第２フレームを含み、
    前記選択ステップでは、
    前記複数の動きベクトルの各々に対して、前記対象フレームに含まれる対象小領域に対して当該動きベクトルにより示される前記第１フレーム上の領域と前記第２フレーム上の領域との相関を求め、当該相関に基づき前記使用する動きベクトルを選択する
    請求項８記載の画像符号化方法。
  10. 前記複数の動きベクトルは、背景の動きを示す背景ベクトルと、前景の動きを示す前景ベクトルとを含む
    請求項９記載の画像符号化方法。
  11. 前記選択ステップでは、
    前記背景ベクトルの前記相関及び前記前景ベクトルの前記相関が共に予め定められた値より低い場合、前記背景ベクトルを選択する
    請求項１０記載の画像符号化方法。
  12. 前記生成ステップでは、
    前記背景ベクトルの前記相関及び前記前景ベクトルの前記相関が共に前記予め定められた値より低い場合、前記背景ベクトルにより示される前記第１フレーム上の第１領域と前記第２フレーム上の第２領域とのうち、背景に属する領域を用いて前記予測画を生成する
    請求項１１記載の画像符号化方法。
  13. 前記生成ステップでは、
    前記第１領域又は前記第２領域から前記前景ベクトルにより示される前記対象フレーム上の領域である対応点が背景に属する場合、前記第１領域又は前記第２領域は背景に属すると判定する
    請求項１２記載の画像符号化方法。
  14. 前記生成ステップでは、
    前記第１領域及び前記第２領域がいずれも背景に属さない場合、前記対象フレーム内の前記対象小領域の近傍の領域の予測画を用いて当該対象小領域の予測画を生成する
    請求項１２又は１３記載の画像符号化方法。
  15. 処理回路と、
    前記処理回路からアクセス可能な記憶装置とを備え、
    前記処理回路は、前記記憶装置を用いて、請求項１記載の画像復号方法を実行する
    画像復号装置。
  16. 対象フレームが分割されることで得られた複数の処理単位の各々に対して、当該処理単位に割り当てられた複数の動きベクトルを取得する取得部と、
    前記処理単位が分割されることで得られた複数の小領域の各々に対して、前記複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、前記複数の動きベクトルから使用する動きベクトルを選択する選択部と、
    前記複数の小領域の各々に対して、選択された前記動きベクトルを用いて予測画を生成する生成部と、
    前記複数の小領域の各々を、当該小領域に対して生成された前記予測画を用いて復号する復号部とを備える
    画像復号装置。
  17. 処理回路と、
    前記処理回路からアクセス可能な記憶装置とを備え、
    前記処理回路は、前記記憶装置を用いて、請求項８記載の画像符号化方法を実行する
    画像符号化装置。
  18. 対象フレームが分割されることで得られた複数の処理単位の各々に対して、当該処理単位に割り当てる複数の動きベクトルを検出する検出部と、
    前記処理単位が分割されることで得られた複数の小領域の各々に対して、前記複数の動きベクトルと、互いに異なる時刻の複数の参照フレームとに基づき、前記複数の動きベクトルから使用する動きベクトルを選択する選択部と、
    前記複数の小領域の各々に対して、選択された前記動きベクトルを用いて予測画を生成する生成部と、
    前記複数の小領域の各々を、当該小領域に対して生成された前記予測画を用いて符号化する符号化部とを備える
    画像符号化装置。
  19. 請求項１５又は１６記載の画像復号装置と、
    請求項１７又は１８記載の画像符号化装置とを備える
    画像符号化復号装置。
JP2016100854A 2015-12-04 2016-05-19 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置 Pending JP2017103744A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/780,448 US20180352248A1 (en) 2015-12-04 2016-10-19 Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
PCT/JP2016/004616 WO2017094216A1 (ja) 2015-12-04 2016-10-19 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置
TW105134262A TW201733352A (zh) 2015-12-04 2016-10-24 圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562263113P 2015-12-04 2015-12-04
US62/263,113 2015-12-04

Publications (1)

Publication Number Publication Date
JP2017103744A true JP2017103744A (ja) 2017-06-08

Family

ID=59017062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016100854A Pending JP2017103744A (ja) 2015-12-04 2016-05-19 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置

Country Status (3)

Country Link
US (1) US20180352248A1 (ja)
JP (1) JP2017103744A (ja)
TW (1) TW201733352A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7385286B2 (ja) 2018-04-24 2023-11-22 ジーディーエフラボ カンパニー リミテッド 人工知能基盤解像度改善システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11178564B2 (en) * 2017-06-27 2021-11-16 Lg Electronics Inc. Method and apparatus for reporting measurement result
CN109598276A (zh) * 2017-09-30 2019-04-09 佳能株式会社 图像处理装置和方法及监控系统
TWI675583B (zh) * 2018-07-23 2019-10-21 緯創資通股份有限公司 擴增實境系統及其色彩補償方法
WO2020076952A1 (en) * 2018-10-09 2020-04-16 Google Llc Placing augmented reality objects in an image based on device position
CN111479164A (zh) * 2019-01-23 2020-07-31 上海哔哩哔哩科技有限公司 硬件解码动态分辨率无缝切换方法、装置及存储介质
CN112702598A (zh) * 2020-12-03 2021-04-23 浙江智慧视频安防创新中心有限公司 基于位移操作进行编解码的方法、装置、电子设备及介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5847776A (en) * 1996-06-24 1998-12-08 Vdonet Corporation Ltd. Method for entropy constrained motion estimation and coding of motion vectors with increased search range
JP3905969B2 (ja) * 1998-01-30 2007-04-18 株式会社東芝 動画像符号化装置および動画像符号化方法
JP3576402B2 (ja) * 1998-10-23 2004-10-13 三菱電機株式会社 画像復号化装置
KR100739281B1 (ko) * 2000-02-21 2007-07-12 주식회사 팬택앤큐리텔 움직임 추정 방법 및 장치
KR100619377B1 (ko) * 2000-02-22 2006-09-08 주식회사 팬택앤큐리텔 움직임 추정 방법 및 장치
US6876703B2 (en) * 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
JP2003533800A (ja) * 2000-05-18 2003-11-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｍｃアップコンバージョンにおけるハローを低減する動き推定器
JP4596203B2 (ja) * 2001-02-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7043058B2 (en) * 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
EP2099228B1 (en) * 2001-09-14 2014-11-12 NTT DoCoMo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US20030123738A1 (en) * 2001-11-30 2003-07-03 Per Frojdh Global motion compensation for video pictures
CN1240225C (zh) * 2002-02-13 2006-02-01 松下电器产业株式会社 图像编码装置以及图像编码方法
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
KR100539923B1 (ko) * 2003-02-10 2005-12-28 삼성전자주식회사 화상통화시 화자의 영상을 구분하여 차등적 부호화할 수있는 비디오 엔코더 및 이를 이용한 비디오신호의 압축방법
JP2008521324A (ja) * 2004-11-22 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カバーリング及びアンカバーリングを扱う動きベクトル場の投影
JP2008109632A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
KR100856223B1 (ko) * 2006-10-19 2008-09-03 삼성전자주식회사 Ｈ．２６４ 인코더의 적응적 인코딩 모드 결정 장치 및결정 방법
US9154747B2 (en) * 2010-12-22 2015-10-06 Pelco, Inc. Stopped object detection
JP6061150B2 (ja) * 2011-03-18 2017-01-18 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9042681B1 (en) * 2012-01-02 2015-05-26 Marvell International Ltd. Interpolated video error concealment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7385286B2 (ja) 2018-04-24 2023-11-22 ジーディーエフラボ カンパニー リミテッド 人工知能基盤解像度改善システム

Also Published As

Publication number Publication date
TW201733352A (zh) 2017-09-16
US20180352248A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
JP6765520B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2017199800A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018021374A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP2019033456A (ja) 符号化装置、復号装置、符号化方法、および復号方法
WO2018101288A1 (ja) 符号化装置、符号化方法、復号装置および復号方法
WO2019155971A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP6756919B2 (ja) 復号装置及び復号方法
JP2017103744A (ja) 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置
WO2018190207A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018008678A1 (ja) 復号装置、符号化装置、復号方法及び符号化方法
WO2019189346A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018193968A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019208372A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018097115A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018212111A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018199050A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019221103A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP2021002891A (ja) 符号化装置及び符号化方法
JP2020198655A (ja) 復号装置及び復号方法
JP2020202597A (ja) 復号装置及び復号方法
WO2018105579A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019189344A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018021373A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP6910461B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019163794A1 (ja) 符号化装置及び符号化方法