JP2010154490A - 画像復号化方法 - Google Patents

画像復号化方法 Download PDF

Info

Publication number
JP2010154490A
JP2010154490A JP2009089678A JP2009089678A JP2010154490A JP 2010154490 A JP2010154490 A JP 2010154490A JP 2009089678 A JP2009089678 A JP 2009089678A JP 2009089678 A JP2009089678 A JP 2009089678A JP 2010154490 A JP2010154490 A JP 2010154490A
Authority
JP
Japan
Prior art keywords
image
decoding
decoding target
interpolation
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009089678A
Other languages
English (en)
Other versions
JP2010154490A5 (ja
JP5325638B2 (ja
Inventor
Shohei Saito
昇平 齋藤
Masashi Takahashi
昌史 高橋
Muneaki Yamaguchi
宗明 山口
Hiroo Ito
浩朗 伊藤
Koichi Hamada
宏一 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2009089678A priority Critical patent/JP5325638B2/ja
Priority to US12/620,640 priority patent/US8798153B2/en
Priority to EP20090177079 priority patent/EP2192782A3/en
Priority to BRPI0904534-1A priority patent/BRPI0904534A2/pt
Priority to EP20120157322 priority patent/EP2466893A1/en
Priority to CN2009102249323A priority patent/CN101742331B/zh
Publication of JP2010154490A publication Critical patent/JP2010154490A/ja
Publication of JP2010154490A5 publication Critical patent/JP2010154490A5/ja
Application granted granted Critical
Publication of JP5325638B2 publication Critical patent/JP5325638B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】
データ圧縮率を向上する。
【解決手段】
動画像の復号化方法であって、復号化対象フレームの復号化対象領域について、復号化
済みの複数のフレームの画像を用いて動き探索を行う動き探索ステップと、前記動き探索
の結果にもとづいて、前記復号化対象領域の画像を補間処理により生成するか、符号化ス
トリームに含まれるデータを用いた動き補償により復号画像を生成するかを判定する判定
ステップとを備える。
【選択図】 図１２

Description

本発明は、画像データの符号化技術、復号化技術に関する。
従来、画像データを圧縮、伝送する符号化技術、復号化技術としては、MPEG（Moving P
icture Experts Group）に代表される国際標準符号化規格がある。例えばＨ.２６４/AVC(
Advanced Video Coding)規格は、国際標準符号化規格の中でも特に符号化効率が高く、地
上デジタル放送、デジタルビデオカメラ、次世代記録メディア、携帯電話等の動画圧縮規
格として幅広く利用されている。このような規格により圧縮したデータは、テレビジョン
受信機やDVDプレーヤー等にて復号し、復号した映像データをディスプレイ上に表示する
。
ここで、特許文献１には、復号した映像データの表示の際に、動画ぼやけや動きの不自
然さを解消するために、符号化ストリームを復号して得た動き量（動きベクトル）と復号
画像とを用いてフレームレート変換を行うことが開示されている。
特開２００３−３３３５４０
特許文献１に記載の技術においては、復号した映像データに対して、フレームレート変
換処理を行っている。しかし、符号化側から動きベクトルや差分画像を復号側に伝送して
いることを前提としたフレームレート変換処理であり、当該フレームレート変換処理は伝
送データ量の削減に寄与しておらず、データ圧縮率の向上が十分でないという課題があっ
た。
本発明は上記課題を鑑みて為されたものであり、その目的は、データ圧縮率を向上する
ことにある。
上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載
されるように構成すればよい。
本発明によれば、データ圧縮率の向上が可能となる。
実施例１における画像符号化装置の構成図である。 図１の符号化部の構成図である。 図１の補間画像生成部の構成図である。 実施例１においてピクチャタイプにより、補間フレームと符号化フレームとを決定した例である。 実施例１における動き探索部での動き探索方法の一例である。 図３の動き探索部の構成図である。 図１の補間画像生成部の動作フローチャートである。 実施例１における符号化データ記憶部に格納されるデータの一例である。 本発明における動き予測ベクトルの算出例である。 実施例１における画像復号化装置の構成図である。 図１０の補間画像生成部の構成図である。 実施例１の画像復号化装置の動作フローチャートである。 実施例２のモード選択部の構成図である。 実施例における符号化データ記憶部に格納されるデータの一例である。 実施例２の画像復号化装置の動作フローチャートである。 実施例３においてピクチャタイプにより、補間フレームと符号化フレームとを決定した例である。 実施例３における動き探索部での動き探索方法の一例である。 実施例３における補間方向決定部の構成図である。 実施例３における符号化データ記憶部に格納されるデータの一例である。 実施例３の画像復号化装置の動き探索部の構成図である。 実施例３の画像復号化装置の動作フローチャートである。 実施例４における符号化データ記憶部に格納されるデータの一例である。 実施例４の画像復号化装置の動作フローチャートである。 実施例５における符号化データ記憶部に格納されるデータの一例である。 実施例６における符号化データ記憶部に格納されるデータの一例である。 補間画像の生成方法の第１の変形例の一例である。 補間画像の生成方法の第２の変形例の一例である。 補間画像の生成方法の第３の変形例の一例である。
以下、図面を用いて本発明の実施例を説明する。
図１に本発明の実施例１に係る画像符号化装置の例を示す。実施例１に係る画像符号化
装置は、例えば、画像を入力する映像入力部１０１と、入力画像を符号化対象領域に分割
する領域分割部１０２と、領域分割部にて分割した入力画像データを符号化し、局所復号
する符号化部１０３と、符号化部１０３にて局所復号した画像(符号化画像)を時間方向に
間引き、その間引いた画像を補間する補間画像生成する補間画像生成部１０４と、符号化
画像か補間画像かを選択するモード選択部１０５と、符号化画像データやフラグデータを
記録する符号化データ記憶部１０６と、符号化データ記憶部１０６に記憶したデータを可
変長符号化し、符号化ストリームを出力する可変長符号化部１０７とを備える。以下、実
施例１に係る画像符号化装置における各処理部の動作の詳細について述べる。
まず、映像入力部１０１では、入力画像を符号化する順番に並べ変える。順番の並べ替
えは、ピクチャタイプにより、表示順から符号化順に並べ替える。次に、領域分割部１０
２では、符号化対象フレームを符号化対象領域に分割する。分割する領域サイズは、正方
形、長方形領域のようなブロック単位でも、watershed法のような手法を用いて抽出した
オブジェクト単位でもよい。領域分割部１０２にて分割した画像は、符号化部１０３に送
信する。
ここで、図２に、符号化部１０３の構成の詳細を示す。符号化部１０３は、例えば、領
域分割部１０２にて分割した画像と画面内/画面間予測画像選択部２０８にて選択した予
測画像との２０８の差分を算出する差分器２０１と、差分器２０１で生成した差分データ
を周波数変換、量子化する周波数変換・量子化部２０２と、周波数変換・量子化部２０２
が出力したデータを逆量子化、逆周波数変換する逆量子化・逆周波数変換部２０３と、周
波数変換・量子化部２０２にて復号したデータと画面内/画面間予測画像選択部２０８に
て選択した予測画像とを加算する加算器２０４と、加算器２０４にて加算した画像を記憶
する復号画像記憶部２０５と、符号化対象領域の周辺画素にもとづいて予測画像を生成す
る画面内予測部２０６と、マッチング処理により、符号化対象領域と異なるフレームに属
する領域から符号化対象領域に近い画像(参照画像)を検出し、予測画像として生成する画
面間予測部２０７と、画面内予測画像または画面間予測画像のうち符号化効率の高い方を
選択する画面内/画面間予測部２０８とを有する。
以下、符号化部１０３の各処理部の動作の詳細について説明する。周波数変換・量子化
部２０２では、差分画像をDCT(Discrete Cosine transform)やウェーブレット変換等を用
いて周波数変換し、周波数変換後の係数を量子化する。量子化後のデータは、モード選択
部１０５と逆周波数変換・逆量子化部２０３に送信する。逆量子化・逆周波数変換部２０
３では、周波数変換・量子化部２０２にて行った処理の逆処理を行う。次に、加算器２０
４は、画面内/画面間予測画像選択部２０８にて選択した予測画像を、逆量子化・逆周波
数変換部２０３の逆量子化・逆周波数変換により生成した差分画像と加算し、復号画像を
生成する。生成した復号画像は復号画像記憶部２０５に記憶される.画面間予測部２０６
は、復号画像記憶部２０５に記憶した復号済みの周辺領域の画素を用いて予測画像を生成
する。また、画面間予測部２０７は、復号画像記憶部２０５にて記憶した復号済みのフレ
ーム内のデータと入力画像とのマッチング処理により予測画像を生成する。また、復号画
像記憶部２０５は、復号画像を補間画像生成部１０４に送信する。
ここで、図３に、補間画像生成部１０４の構成の詳細を示す。補間画像生成部１０４は
、例えば、補間フレーム決定部３０１、動き探索部３０２、補間画素生成部３０３を有す
る。補間フレーム決定部３０１では、例えば、ピクチャタイプにもとづいて補間するフレ
ーム(補間フレーム)と補間せずに通常の符号化を行うフレーム(符号化フレーム)とを、フ
レーム単位で決定する。
ここで、図４に、補間画像生成部１０４の補間フレーム決定部３０１による補間フレー
ム決定の具体例を示す。図４の横軸は、符号化時の画像の入力順であり、復号時の画像の
表示順である。これに対し、符号化時の符号化処理順・復号化時の復号化処理順は、図４
に示すとおりとなる。すわなち、Ｂピクチャは、当該Ｂピクチャのより表示順が遅いＰピ
クチャよりも後に符号化処理、復号化処理が行われる。
ここで、図５の説明において後述するように、実施例１の補間画素生成部３０３におい
ては、先に符号化処理（復号化時には先に復号化処理が行われる）を行う複数のピクチャ
にもとづいて、表示順において当該複数のピクチャの間に位置するピクチャであるフレー
ムの画素を補間処理により生成する。すなわち、実施例１に係る補間画素生成部３０３の
補間画素生成処理は、符号化処理時または復号化処理時に、前後の表示順のピクチャが符
号化処理済または復号化処理済となるＢピクチャに対して適した処理である。図４の例で
は、
Ｂピクチャ４０２の符号化処理時または復号化処理時には、表示順が前のであるＩピクチ
ャ４０１と表示順が後であるＰピクチャ４０３は既に符号化処理済または復号化処理済で
ある。さらに、Ｂピクチャ４０４の符号化処理時または復号化処理時には、表示順が前の
であるＰピクチャ４０３と表示順が後であるＰピクチャ４０５は既に符号化処理済または
復号化処理済である。
よって、補間フレーム決定部３０１は、図４に示すように、例えば、Ｂピクチャを補間
フレームとし、ＩピクチャやＰピクチャを符号化フレームとする。これにより、補間画素
生成部３０３において、Ｂピクチャの前方向または後方向の最も近いＩピクチャやＰピク
チャにもとづいて、後述する図５の補間処理により、当該Ｂピクチャの画素値を生成する
ことが可能となる。
なお、図４の例では、Ｉピクチャ−Ｐピクチャ間、Ｐピクチャ−Ｐピクチャ間には、１
枚のＢピクチャを挿入するピクチャ構成としたが、符号化時に、フレーム間の輝度、色差
差分を算出し、差分が小さい場合にはフレーム間の相関が高いと判定してＩまたはＰピク
チャ間に挿入するＢピクチャの枚数を増加させても良い。この場合も、Ｂピクチャを補間
フレームとし、ＩピクチャやＰピクチャを符号化フレームとすればよい。このとき、補間
画素生成部３０３において、Ｂピクチャの前方向または後方向の最も近いＩピクチャやＰ
ピクチャにもとづいて、補間処理により各Ｂピクチャの画素値を生成すればよい。
次に、図６を用いて、動き探索部３０２の構成の詳細を説明する。動き探索部３０２は
、図６に示すとおり、予測誤差算出部６０１と動きベクトル決定部６０２とを有する。動
き探索部３０２は、補間フレーム決定部３０１による補間フレームの決定後、補間フレー
ムの画素の画素値を算出するための動き探索を行う。動き探索方法としては、一般的に広
く用いられている領域マッチング法を用いればよい。
次に、図５を用いて、動き探索部３０２の予測誤差算出部６０１、動きベクトル決定部
６０２、および補間画素生成部３０３による補間フレームの画素生成処理の詳細を説明す
る。
図５において、まず予測誤差算出部６０１は、補間フレームnの補間対象画素５０１に
ついて、補間フレームnより表示順が前の符号化フレームn-１内の画素５００の画素値fn-1(x-dx,y-dy)と、補間フレームnより表示順が後の符号化フレームn+１内の画素５０２の
画素値fn+1(x+dx,y+dy)を用いて、数式１に示す予測誤差絶対値和SADn(x,y)を求める。こ
こで、画素５００、画素５０２は、補間対象画素５０１(x,y)と時空間座標において同一
直線上に位置するように決定する。ここでRは補間対象画素が属する画像領域サイズ、ｎ
はフレーム番号、x、ｙは画素座標、ｄｘ、ｄｙ、ｉ、jは画素表の差分、a、ｂは補間対
象画素が属する画像領域の番号を示す。
Figure 2010154490
次に、動きベクトル決定部６０２は、数式１の予測誤差絶対値和SADn(x,y)が最小とな
る値の組あわせ(dx0,dy0)を求め、補間フレームnより表示順が前の符号化フレームn-１内
の座標(x-dx0,y-dy0)の画素と補間フレームnより表示順が後の符号化フレームn+１内の画
素(x+dx0,y+dy0)の画素とを結ぶ動きベクトルを算出する。
動きベクトル算出後、補間画素生成部３０３は、数式２を用いて、補間フレームの前後
の符号化フレーム内の画素の画素値fn-1(x-dx0,y-dy0)、fn+1(x+dx0,y+dy0)の平均値を算
出し、補間対象画素(x,y)の画素値fn(x,y)を生成する。
Figure 2010154490
以上説明した図５に示す補間フレームの画素生成処理によれば、表示順が符号化対象フ
レームよりの前後に位置する符号化フレーム内の画素値から、補間フレームの画素を生成
することができる。
なお、数式２の例では、単純な平均値により補間画素値を算出しているが、本発明の補
間画素算出方法は単純平均値に限られるものではない。例えば、符号化フレームn-１と符
号化フレームnの時間的距離、符号化フレームnと符号化フレームn+1の時間的距離が等間
隔でない場合は、それぞれの時間的距離に応じた重み付け係数をそれぞれの画素値に乗じ
てから加算してもよい。すなわち、符号化フレームn-1上の画素値fn-1(x-dx0,y-dy0)と、
符号化フレームn+１上の画素値fn+1(x+dx0,y+dy0)とを変数とする関数により算出される
画素値であればいずれの方法でもよい。
次に、図７を用いて、モード選択部１０５のモード選択部処理の詳細を説明する。モー
ド選択部１０５は、補間フレームの複数の分割領域の各領域ごとに、符号化部１０３が生
成した符号化画像と補間画像生成部１０４が生成した補間画素からなる補間画像とのいず
れかを選択するかを決定する。
まず、モード選択部１０５は、符号化対領域について、動き探索部３０２にて算出した
予測誤差と符号化対象領域の周辺の予測誤差との差分f'(SADn(a,b))を、例えば数式３の
ように計算する(Ｓ７０１)。ここでｎはフレーム番号、a、ｂは補間対象画素が属する画
像領域の番号、k,lは周辺画像領域と補間対象画素が属する画像領域との番号の差を意味
する変数を示す。
Figure 2010154490
次に、動き探索部３０２で数式１により求めた最小の予測誤差絶対値和SADn(a,b)が閾
値S1以下であるか、または、数式３に示す予測誤差差分絶対値和f'(SADn(a,b))が閾値S2以上か否かを判定する(Ｓ７０２)。これは、予測誤差絶対値和SADn(a,b)が小さい場合に
は、補間画像生成時の動き検出結果の信頼性が高いと考えられるからである。また、予測
誤差差分絶対値和f'(SADn(a,b))が大きい場合には、通常の符号化画像では符号量が多く
発生するが、絵柄の複雑な領域は多少画質が劣化しても視覚的に目立ちにくく、補間画像
を選択した方が有利と考えられるからである。
ここで、ステップ７０２において、条件を満たす場合には、補間画像を選択する(Ｓ７
０３)。このとき、予測領域の種類等のヘッダ情報、動きベクトル、予測誤差データなど
は出力せずに処理を終了する（Ｓ７０５）。一方、ステップ７０２において、条件を満た
さない場合には、符号化画像を選択する（Ｓ７０６）。このとき、予測領域の種類等のヘ
ッダ情報、動きベクトル、予測誤差データを符号化データ記憶部１０６に出力して処理を
終了する。
すなわち、符号化画像が選択された場合には、通常の符号化技術と同様に、予測領域の
種類等のヘッダ情報、動きベクトル、予測誤差データなどが符号化ストリームに含められ
る。これに対し、補間画像が選択された場合は、復号側において、これらのデータが無く
とも図１７において説明した補間処理により復号画像が生成できるため、これらのデータ
は符号化ストリームに含めない。よって、補間画像が選択された場合は、符号化データ量
の低減を図ることが可能となり、圧縮率の向上を実現できる。
以上説明した符号化画像、補間画像のモード選択は、フレーム単位での選択を例に挙げ
て説明した。しかし、補間フレームと選択されたＢピクチャのうち、一部の領域を符号化
画像、その他の領域を補間画像として選択してもよい。当該領域とは、例えば、ブロック
単位などとすればよい。
次に、図８を用いて、従来の符号化技術により符号化したフレームと、実施例１に係る
画像符号化装置および画像符号化方法により符号化されたフレームの符号化データ量の比
較例を説明する。図８において、グレーの領域は符号化画像を選択した領域を示し、白の
領域は補間画像を選択した領域である。
図８(a１)は、従来の符号化技術により符号化したフレームを示している。従来の符号
化技術では補間画像領域は存在しないので、いずれの領域も符号化画像となる。図８(a１
)の例では、２４個の領域全てが符号化画像である。ここで、従来の符号化技術では、原
則として図８(a)のフレームの全ての領域について、予測領域の種類等のヘッダ情報、動
きベクトル、予測誤差データなどの情報を符号化ストリームに格納する。ここで、従来の
符号化技術で符号化されたフレームの符号化ストリームは、図８(a２)のようになる。図
８(a２)の例では２４個の符号化画像全ての領域について、予測領域の種類等のヘッダ情
報、動きベクトル、予測誤差データなどの情報を符号化ストリームに格納している。
これに対し、実施例１に係る画像符号化装置および画像符号化方法により符号化したフ
レームの例を図８(b１)に示す。図８(b１)の例では、２４個の領域のうち８個の領域のみ
において、符号化画像が選択されている。残りの１６個の領域においては、補間画像が選
択されている。ここで、図８(b１)の例に対応する符号化ストリームは、図８(b２)のよう
になる。すなわち、実施例１に係る画像符号化装置および画像符号化方法の符号化処理に
おいては、補間画像が選択され領域については、復号側において、予測領域の種類等のヘ
ッダ情報、動きベクトル、予測誤差データなどの情報は不要であるため、符号化ストリー
ムに含めない。図８(b２)の例では、符号化画像領域の８個の領域についての予測領域の
種類等のヘッダ情報、動きベクトル、予測誤差データなどの情報を符号化ストリームに含
めている。
よって、実施例１に係る画像符号化装置および画像符号化方法によれば、従来の符号化
技術に比べて、符号化ストリームに含まれる符号化データの量を低減することが可能とな
り、符号化圧縮率の向上を図ることが可能となる。
次に、図９と図８を用いて、本発明の実施例１に係る画像符号化装置の可変長符号化部
１０６における動きベクトルの符号化処理について説明する。
まず、従来の符号化技術であるＨ.２６４規格では、符号化対象領域の動きベクトルの
符号化処理においては、符号化対象領域の周辺領域の動きベクトルの中間値から動き予測
ベクトルを算出し、符号化対象領域の動きベクトルと動き予測ベクトルと差分をのみを符
号化データとすることによりデータ量を削減している。
実施例１に係る可変長符号化部１０６においても、動き予測ベクトル(ＰＭＶ)を算出し
、符号化対象領域の動きベクトル(ＭＶ)と動き予測ベクトル(ＰＭＶ)との差分ベクトル（
ＤＭＶ）を算出し、差分ベクトル（ＤＭＶ）を符号化データとする。しかし、図８(b１)
に示したとおり、実施例１に係る画像符号化装置および画像符号化方法により符号化する
フレームには、符号化画像領域と補間画像領域が混在するため、動き予測ベクトル(ＰＭ
Ｖ)の算出方法について従来の符号化技術であるＨ.２６４規格とは異なる方法を行う。
まず、従来のＨ.２６４規格における当該技術の具体例を、図９(a)に示す。Ｈ.２６４
規格では、図９(a)に示すように、符号化対象領域Ｘの動き予測ベクトル(ＰＭＶ)を、符
号化対象領域Ｘの近接領域であって、符号化対象領域Ｘよりも先に符号化した領域Ａ、Ｂ
、Ｃにおいて符号化処理に用いた動きベクトルの中間値(median)を用いて算出する。当該
動き予測ベクトルの算出は符号化処理及び復号化処理において共通の処理を行う必要があ
る。
ここで、本発明の実施例１における動きベクトルの符号化処理について説明する。本発
明の実施例１における動きベクトルの符号化処理は、符号化画像領域と補間画像領域のう
ち、符号化画像領域のみに対して行う処理である。補間画像領域については、復号側にお
いて補間画像のための動き探索を行うので、動きベクトルの符号化処理は不要である。
ここで、本発明の実施例１における動きベクトルの符号化処理においては、図９の符号
化対象領域Ｘに近接するブロックＡ、Ｂ、Ｃ、Ｄが、それぞれ、符号化画像領域であるか
補間画像領域であるかによって、動きベクトルの符号化処理に用いる予測ベクトルの算出
処理を変更する。以下、それぞれの場合についての詳細の処理を説明する。
まず、例えば図９(a)のように、周辺領域Ａ、Ｂ、Ｃがいずれも符号化画像領域である
場合は、従来のＨ.２６４規格と同様に、周辺領域Ａ、Ｂ、Ｃにおいて符号化処理に用い
た動きベクトル（ＭＶA、ＭＶB、ＭＶC）の中間値(median)を用いて動き予測ベクトルを
算出する。
次に、符号化対象領域Xの周辺領域に補間画像領域が含まれる場合(図９(b)(c))につい
て説明する。上述のとおり、補間画像領域については動きベクトルを符号化しない、すな
わち符号化処理で用いた動きベクトルを復号側に送信しない。よって符号化処理に用いた
動きベクトルを動き予測ベクトル(ＰＭＶ)の算出に用いると、復号化において動き予測ベ
クトル(ＰＭＶ)の算出ができなくなる。そこで、実施例１では以下のように動き予測ベク
トル(ＰＭＶ)の算出を行う。
まず、符号化対象領域Xの周辺領域がすべて補間画像領域である場合(図９(b))は、補間
画像生成処理において用いた動きベクトル、すなわち補間画像生成部１０４の動き探索部
３０２にて算出した動きベクトル（ＭＶＣA、ＭＶＣB、ＭＶＣC）を用いる。動き探索部
３０２の動き探索が画素単位である場合などは、各領域について複数の動きベクトルが存
在するため、動きベクトル（ＭＶＣA、ＭＶＣB、ＭＶＣC）は、該複数の動きベクトルの
平均値を用いて算出する。そして、動きベクトル（ＭＶＣA、ＭＶＣB、ＭＶＣC）の中間
値を予測動きベクトル(ＰＭＶ)として算出する。
次に、符号化対象領域Ｘの周辺領域Ａ、Ｂ、Ｃの一部が符号化画像領域であり、一部が
補間画像領域である場合（図９(c)）には、符号化画像領域は符号化処理に用いた動きベ
クトルＭＶ、補間画像領域は補間画像生成処理で用いた動きベクトルＭＶＣを用いて、こ
れらの中間値を予測動きベクトル(ＰＭＶ)として算出する。
すなわち、（図９(c)）の例では、周辺領域Ａ、Ｃが符号化画像領域であり、周辺領域
Ｂが補間画像領域である。この場合は、図９(c)(１)に示すように動きベクトル（ＭＶA、
ＭＶＣB、ＭＶC）の中間値を予測動きベクトル(ＰＭＶ)として算出する。
また、符号化対象領域Ｘの周辺領域Ａ、Ｂ、Ｃの一部が符号化画像領域であり、一部が
補間画像領域である場合（図９(c)）の予測動きベクトル(ＰＭＶ)の算出の変形例として
、符号化画像領域の動きベクトルを優先的に選択して用いてもよい。例えば、（図９(c)
）の例において、符号化対象領域Ｘの左上に位置する周辺領域Ｄが、符号化画像領域であ
る場合は、補間画像領域である周辺領域ＢのＭＶＣBを用いずに、周辺領域Ｄの符号化処
理に用いた動きベクトルＭＶDを用いる。そして、動きベクトル（ＭＶA、ＭＶC、ＭＶD）
の中間値を予測動きベクトル(ＰＭＶ)として算出する。
また、周辺領域Ａ、Ｂ、Ｃ、Ｄのうち、符号化画像領域が２つである場合には、当該２
つのの動きベクトルＭＶの平均値を予測動きベクトル(ＰＭＶ)とすればよい。また、周辺
領域Ａ、Ｂ、Ｃ、Ｄのうち、符号化画像領域が１つである場合には、当該１つのの動きベ
クトルＭＶそのものを予測動きベクトル(ＰＭＶ)とすればよい。
このように、符号化画像領域の動きベクトルを優先的に選択することにより、符号化側
での補間画像生成処理の動き探索と復号化側での補間画像生成処理の動き探索との探索誤
差の影響を低減することが可能となる。
以上、説明した実施例１に係る画像符号化装置及び画像符号化方法によれば、従来の符
号化装置及び符号化方法よりも、データ圧縮率を向上することが可能となる。
次に、図１０を用いて、実施例１に係る画像復号化装置について説明する。実施例１に
係る画像復号化装置は、例えば、符号化側から送られた符号化データを復号する可変長復
号部１００１と、可変長復号したデータを構文解析する構文解析部１００２と、構文解析
部１００２の解析結果や、補間画像生成部１００７による予測誤差算出結果などにもとづ
いて復号化処理を行うか補間画像生成処理を行うかを判定するモード判定部１００９と、
構文解析部１００２が送信したデータを逆量子化、逆周波数変換する逆量子化・逆周波数
変換部１００３と、逆量子化・逆周波数変換部１００３が出力したデータと動き補償部１
００６により生成した予測画像とを加算する加算器１００４と、加算器１００４から出力
したデータを記憶する復号画像記憶部１００５と、復号画像記憶部１００５にて記憶した
データ間で動き補償を行う動き補償部１００６と、構文解析部１００２と復号画像記憶部
１００５から取得したデータとを用いて動き探索処理と補間画素生成処理を行って補間画
像を生成する補間画像生成部１００７と、補間画像生成部１００７の生成した補間画像ま
たは加算器１００４が生成する復号画像のいずれかを、映像表示装置などに出力する出力
部１００８とを備える。
以下、実施例１に係る画像復号化装置における各処理部の動作の詳細について述べる。
まず、図１１を用いて、補間画像生成部１００７の詳細について説明する。補間画像生
成部１００７は、動き探索部１１０１と補間画素生成部１１０２とを有する。動き探索部
１１０１は、図３の動き探索部３０２と同様の処理を行い、補間画素生成部１１０２は、
図３の補間画素生成部３０３と同様の処理を行う。また、動き探索部１１０１は、動き探
索部３０２と同様に、図６に示す予測誤差算出部６０１、動きベクトル決定部６０２とを
備え、符号化処理時と同様に予測誤差算出処理と動きベクトル算出処理を行う。当該予測
誤差算出処理と動きベクトル算出処理、および動き探索部３０２と補間画素生成部３０３
とによる補間画像生成処理は、図５等を用いて既に説明したとおりであるので説明を省略
する。
次に、図１２を用いて、実施例１の画像復号化装置による画像復号化方法の処理の流れ
を説明する。当該処理は、例えば領域ごとに行う。まず、符号化ストリームを可変長復号
部１００１にて復号し、構文解析部１００２に送る（Ｓ１２０１）。次に構文解析部１０
０２にて、復号したストリームデータの構文分けを行い、符号化データを逆量子化・逆周
波数変換部１００３と補間画像生成部１００７へ送信する（Ｓ１２０２）。次に構文解析
部１００２にて符号化対象フレームのピクチャタイプを判定し、符号化対象フレームが、
符号化フレームであるか補間フレームであるかを判定する（Ｓ１２０３）。符号化対象フ
レームが補間フレームの場合には、補間画像生成部１００７が、復号化対象領域について
、対象フレームに対して表示時間順で前後にある複数の復号化済み画像領域を用いて動き
探索処理を行う(Ｓ１２０４)。動き探索部１１０１では、図３の動き探索部３０２と同様
の処理により、最小の予測誤差絶対値和SADn(a,b)の算出と動きベクトルを決定する。次
に、モード判定部１００９は、動き探索部１１０１が算出した予測誤差絶対値和と復号化
対象領域の周辺の予測誤差絶対値和との差分f'(SADn(a,b))を算出する（Ｓ１２０５）。
次に、モード判定部１００９は、動き探索部１１０１が算出した最小の予測誤差絶対値和
SADn(a,b)が閾値S1以下であるか否か、または周辺の予測誤差絶対値和との差分f'(SADn(a
,b))が閾値S2以上であるか否かを判定する（Ｓ１２０６）。予測誤差絶対値和SADn(a,b)
が閾値S1以下である場合、または予測誤差差分絶対値和f'(SADn(a,b))が閾値S2以上であ
る場合は、復号化対象領域が補間画像領域であると判定する。その他の場合は、復号化対
象領域が符号化画像領域として符号化された領域であると判定する。
ここで、モード判定部１００９により復号化対象領域が補間画像領域であると判定され
た場合は、補間画像生成部１００７の補間画素生成部１１０２が補間画素を生成し、補間
画像の生成処理により画像が生成され、復号画像記憶部１０６に記憶される（Ｓ１２０７
）。
一方、符号化対象フレームが補間フレームでない場合（符号化フレームである場合）、
または、モード判定部１００９により、復号化対象領域が符号化画像領域として符号化さ
れた領域であると判定された場合は、逆量子化・逆周波数換部１００３が構文解析部１０
０２から取得した符号化データに逆量子化・逆周波数換処理を行い、差分データを復号す
る（Ｓ１２０８）。次に、動き補償部１００６が構文解析部１００２から取得したヘッダ
情報、動きベクトルなどを用いて動き補償処理を行い、予測画像生成する（Ｓ１２０９）
。次に、加算器１００４が、動き補償部１００６が生成した予測画像と逆量子化・逆周波
数変換部１００３が出力した差分データ生成して復号画像を生成して復号画像記憶部１０
６に記憶する（Ｓ１２１０）。最後に出力部１００８により、ステップ１２０７において
生成された補間画像またはステップ１２１０において生成された復号画像が出力され（Ｓ
１２１１）、処理を終了する。
なお、ステップ１２０９において、当該符号化領域が画面間予測である場合は、動き補
償部１００６は、復号対象領域の周辺領域の動きベクトルにもとづいて動き予測ベクトル
(ＰＭＶ)を算出し、符号化データに格納される差分ベクトル（ＤＭＶ）と加算して、復号
化対象領域の動きベクトル(ＭＶ)を生成し、当該動きベクトル(ＭＶ)にもとづいて動き補
償処理を行う。ここで、上記動き予測ベクトル(ＰＭＶ)の算出処理は、図９を用いて説明
した符号化側での動き予測ベクトル(ＰＭＶ)の算出処理と同様の処理を行えばよいので説
明を省略する。
以上説明した実施例１の画像復号化装置および画像復号化方法によれば、従来の符号化
装置及び符号化方法よりもデータ圧縮率を向上することが可能な符号化方法により符号化
されたデータを好適に復号化することができる。
以上説明した実施例１の画像符号化装置および画像符号化方法、ならびに画像復号化装
置および画像復号化方法によれば、データ圧縮率を向上した符号化データを生成し、当該
符号化データを好適に復号化することが可能となる。
次に、本発明の実施例２について説明する。本発明の実施例２では、実施例１と異なり
、符号化側において符号化対象領域ごとに、符号化画像を選択したか、補間画像を選択し
たかを示すフラグデータを符号化ストリームに含める。これにより、復号側において、復
号化対象領域について、符号化画像を選択した領域か、補間画像を選択した領域かを容易
に判別することができる。よって、復号化時の処理を簡略化し、処理量を低減する。以下
、実施例２の詳細を説明する。
実施例２に係るに係る画像符号化装置は、実施例１の画像符号化装置における図１のモ
ード選択部１０５を図１３のモード選択部１３０４に置き換えたものである。その他の部
分の構成、動作は実施例１の動作と同様であるので説明を省略する。
モード選択部１３０４では、まず、領域分割部１０２にて分割した入力画像と補間画像
生成部１０４にて生成した補間画像との差分を差分値絶対値算出部１３０１にて算出する
。同様に、領域分割部１０２にて分割した入力画像と符号化部１０３にて生成した符号化
画像との差分を差分絶対値算出部１３０２にて算出する。次に、判定部１３０３にて、差
分絶対値１３０１、１３０２にて算出した差分絶対値の小さい方を選択して、判定フラグ
(モード判定フラグ)を出力する。モード判定フラグは、例えば、符号化画像を選択した場
合には０、補間画像を選択した場合には１とすればよい。
ここで、図１４に実施例２の画像符号化装置における符号化データ記憶部１０６のデー
タの一例を示す。図１４に示すように、符号化対象領域ごとに、符号化画像を選択したか
補間画像を選択したかを示す１ビットのフラグデータを付加する形となっている。すなわ
ち、実施例２の画像符号化装置から出力される符号化ストリームには、符号化対象領域ご
とに、符号化画像を選択したか、補間画像を選択したかを示すフラグデータが含まれる。
これにより、復号側において、実施例１に示すような予測誤差絶対値和SADn(a,b)や予測
誤差差分f'(SADn(a,b))の算出処理や比較処理を行わなくとも、復号化対象領域について
、符号化画像を選択した領域か、補間画像を選択した領域かを判別することができる。よ
って、復号化時の処理を簡略化し、処理量を低減することが可能となる。
以上、説明した実施例２に係る画像符号化装置および画像符号化方法によれば、実施例
１と異なり、符号化対象領域ごとに符号化画像を選択したか、補間画像を選択したかを示
すフラグデータを出力符号化ストリームに含める。これにより、復号側において、復号化
対象領域について、符号化画像を選択した領域か補間画像を選択した領域かを容易に判別
することができる。よって、復号化時の処理を簡略化し、処理量を低減することが可能と
なる。
次に、実施例２に係る画像復号化装置について説明する。実施例２の復号装置の構成は
、実施例１の図１０と同様であるので説明を省略する。
ここで、図１５を用いて実施例２の画像復号化装置における処理の流れを説明する。
実施例２に係る画像復号化装置には、図１４に示すような符号化対象領域ごとに、符号
化画像を選択したか補間画像を選択したかを示すフラグデータが含まれる符号化ストリー
ムが入力される。まず、当該符号化ストリームを可変長復号部１００１にて復号し、構文
解析部１００２に送る（Ｓ１５０１）。次に構文解析部１００２にて、復号したストリー
ムデータの構文分けを行い、ヘッダ情報やモード判定フラグをモード判定部１００９へ送
信し、符号化データを逆量子化・逆周波数変換部１００３へ送信する（Ｓ１５０２）。次
に、構文解析部１００２またはモード判定部１００９にて符号化対象フレームのピクチャ
タイプにより符号化対象フレームが符号化フレームであるか補間フレームであるかを判定
する(Ｓ１５０３)。
ここで、符号化対象フレームが補間フレームの場合は、モード判定部１００９は、復号
化対象領域について、構文解析部１００２より送信されたモード判定フラグが１であるか
０であるかの判定を行う（Ｓ１５０４）。モード判定フラグが１（補間画像が選択された
領域を示す）である場合は、復号化対象領域が補間画像領域であると判定する。モード判
定フラグが０（符号化画像が選択された領域を示す）である場合は、復号化対象領域が符
号化画像領域として符号化された領域であると判定する。
ここで、モード判定部１００９により復号化対象領域が補間画像領域であると判定され
た場合は、補間画像生成部１００７の動き探索部１１０１が動き探索を行う（Ｓ１５０５
）。次に、動き探索部１１０１の動き探索結果にもとづいて、補間画素生成部１１０２が
補間画素を生成し、補間画像の生成処理により画像が生成され、復号画像記憶部１０６に
記憶される（Ｓ１５０６）。
一方、符号化対象フレームが補間フレームでない場合（符号化フレームである場合）、
または、モード判定部１００９により、復号化対象領域が符号化画像領域として符号化さ
れた領域であると判定された場合は、逆量子化・逆周波数換部１００３が構文解析部１０
０２から取得した符号化データに逆量子化・逆周波数換処理を行い、差分データを復号す
る（Ｓ１５０７）。次に、動き補償部１００６が構文解析部１００２から取得したヘッダ
情報、動きベクトルなどを用いて動き補償処理を行い、予測画像生成する（Ｓ１５０８）
。次に、加算器１００４が、動き補償部１００６が生成した予測画像と逆量子化・逆周波
数変換部１００３が出力した差分データ生成して復号画像を生成して復号画像記憶部１０
６に記憶する（Ｓ１５０９）。最後に出力部１００８により、ステップ１２０７において
生成された補間画像またはステップ１２１０において生成された復号画像が出力され（Ｓ
１５１０）、処理を終了する。
以上説明した実施例２の画像復号化装置および画像復号化方法によれば、実施例１の効
果に加えて、実施例１に示すような予測誤差絶対値和SADn(a,b)や予測誤差差分絶対値和f
'(SADn(a,b))の算出処理や比較処理を行わなくとも、復号化対象領域について、符号化画
像を選択した領域か、補間画像を選択した領域かを判別することができる。よって、復号
化時の処理を簡略化し、処理量を低減することが可能となる。
以上説明した実施例２の画像符号化装置および画像符号化方法、ならびに画像復号化装
置および画像復号化方法によれば、データ圧縮率を向上した符号化データを生成し、当該
符号化データを好適に復号化することが可能となる。
次に、本発明の実施例３について説明する。本発明の実施例１では、補間画像生成部１
０４において、図４および図５に示したように、先に符号化処理（復号化時には先に復号
化処理が行われる）を行う複数のピクチャにもとづいて、表示順において当該複数のピク
チャの間に位置するピクチャであるフレームの画素を補間処理（以下、内挿補間と称する
）により生成していた。
これに対し、本発明の実施例３では、先に符号化処理（復号化時には先に復号化処理が
行われる）を行う複数のピクチャにもとづいて、表示順において当該複数のピクチャの前
または後に位置するピクチャであるフレームの画素を補間処理により生成する補間処理（
以下、外挿補間と称する）を追加する。
以下に実施例３の画像符号化装置について、詳細な構成および動作を説明する。
実施例３に係るに係る画像符号化装置は、実施例１の画像符号化装置において、補間画
像生成部１０４に後述する後方補間による補間画像生成処理動作を追加し、当該補間画像
生成部１０４の後に補間方向決定部１８０５を追加したものである。その他の部分の構成
、動作は実施例１の動作と同様であるので説明を省略する。
ここで、追加される外挿補間処理には、前方補間処理と後方補間処理の２種類がある。
それぞれの補間処理についての画像符号化装置の補間画像生成部１０４における動作を説
明する。
まず、前方補間処理について説明する。ここでは、図１６(ａ)に示す入力画像において
、補間フレーム１６０３よりも表示順において前方に位置する２枚の符号化フレーム１６
０１、１６０２を用いて、補間フレーム１６０３（Ｂピクチャ）の補間画像を生成する例
を説明する。
この場合、補間フレームの画素を求めるために、動き探索部３０２において以下に述べ
る動き探索を行う。図１７(a)に示すように補間フレーム１６０３の前に表示される２枚
の符号化フレーム（１６０１、１６０２）内の画素値を用いて、数式４に示す予測誤差絶
対値和SADn(a,b)を求める。具体的には、符号化フレーム１６０１上の画素１７００の画
素値fn-2(x-2dx,y-2dy)、と、符号化フレーム１６０２上の画素１７０１の画素値fn-1(x-
dx,y-dy)、とを用いる。ここでRは補間対象画素が属する対象領域のサイズである。
ここで、符号化フレーム１６０１上の画素１７００と、符号化フレーム１６０２上の画素
１７０１は、補間フレーム１６０３上の補間対象画素１７０２と時空間座標上で同一直線
上に位置するように決定する。
Figure 2010154490
次に、数式４に示す予測誤差絶対値和が最小となる位置(dx,dy)を求め、実施例１で述
べた補間画素生成部３０３と同様の処理により補間画素を生成する。
以上により、前方補間処理による補間画素の生成が実現できる。
なお、上記の前方補間補間処理は、表示順において前に位置する２つの符号化フレーム
が先に符号化・復号化されていれば適用できるので、図１６(ｂ)のように補間フレーム１
６０３（Ｐピクチャ）の場合にも適用可能である。
次に、後方補間処理について説明する。ここでは、図１６(ａ)に示す入力画像において
、補間フレーム１６０３よりも表示順において後方に位置する２枚の符号化フレーム１６
０３、１６０４を用いて、補間フレーム１６０３の補間画像を生成する例を説明する。
この場合、補間フレームの画素を求めるために、動き探索部３０２において以下に述べ
る動き探索を行う。図１７(ｂ)に示すように補間フレーム１６０３の後に表示される２枚
の符号化フレーム（１６０４、１６０５）内の画素を用いて数式５に示す予測誤差絶対値
和SADn(x,y)を求める。具体的には、符号化フレーム１６０４上の画素１７１１の画素値f
n+1(x+dx,y+dy)、と、符号化フレーム１６０５上の画素１７１２の画素値fn+2(x+2dx,y+2
dy)とを用いる。ここでRは補間対象画素が属する対象領域のサイズである。
ここで、符号化フレーム１６０４上の画素１７１１と、符号化フレーム１６０５上の画素
１７１２は、補間フレーム１６０３上の補間対象画素１７１０と時空間座標上で同一直線
上に位置するように決定する。
Figure 2010154490
次に、数式５に示す予測誤差絶対値和が最小となる位置(dx,dy)を求め、実施例１で述べ
た補間画素生成部３０３と同様の処理により補間画素を生成する。
以上により、後方補間処理による補間画素の生成が実現できる。
補間画像生成部１０４では、上述の２種類の後方補間処理と実施例１と同様の前方補間
処理を行い、３種類の補間画像を生成する。
次に、図１８に示す補間方向決定部１８０５にて動き探索方法の判定を行う。以下、補
間方向決定部１８０５の処理を説明する。まず、実施例１で述べた双方向の動き探索を行
って生成した補間画像と入力画像との差分絶対値を差分絶対値算出部１８０１にて算出す
る。次に本実施例で述べた前方向の動き探索を行って生成した補間画像と入力画像との差
分絶対値を差分絶対値算出部１８０２にて算出する。また、後方向の動き探索を行って生
成した補間画像と入力画像との差分絶対値を差分絶対値算出部１８０３にて算出する。次
に、動き探索方向判定部１８０４にて、入力画像と補間画像との差分が小さくなる補間画
像を選択し、選択した結果を動き探索方向判定フラグとして出力する。動き探索方向判定
フラグは例えば双方向では００、前方向では０１、後方向では１０といったよう２ビット
のデータとすればよい。このように生成した動き探索方向判定フラグは、符号化データ記
憶部１０６に送信する。
図１９に符号化データ記憶部１０６に記憶するデータの一例を示す。図１９に示すよう
に、補間画素領域において、どの方向から補間画像を生成したかを判定するフラグデータ
が付加される。すなわち、実施例３の画像符号化装置から出力される符号化ストリームに
は、補間画像が選択された領域について補間画像を生成するための補間方向を示すフラグ
データが含まれる。
これにより、補間画像の生成方法の種類を増やすことが可能となり、Ｂピクチャに加え
てＰピクチャも補間対象フレームとすることが可能となるため、よりデータを削減するこ
とが可能となる。
また、Ｂピクチャにおいては、補間対象フレームの前後のフレームによる双方向補間に
加えて、前方向の２枚の符号化フレームから補間画像を生成する前方補間、後方向の２枚
の符号化フレームから補間画像を生成する後方補間を行うことができるので、画質向上が
期待できる。
特に、背景と前景で異なる動きをする画像では、双方向のみから補間画像を生成する場
合に、背景が前景に隠れて見えない領域（オクルージョン領域）において画質劣化が顕著
になるが、前方向または後方向の外挿補間により、この画質劣化の課題を解決できる。
以上、説明した実施例３に係る画像符号化装置および画像符号化方法によれば、実施例
１と異なり、補間画像を生成するための補間方向を示すフラグデータを出力符号化ストリ
ームに含める。これにより、復号側において行う補間処理の種類を増やすことが可能とな
り、Ｂピクチャに加えてＰピクチャも補間対象フレームとすることが可能となるため、よ
りデータを削減することが可能となる。また、Ｂピクチャの補間画像の高画質化も可能と
なる。
次に、実施例３に係る画像復号化装置について説明する。実施例３の復号化装置の構成
は、実施例１の図１１の動き探索部１１０１を図２０の動き探索部２００５に置き換えた
ものであり、その他の部分に関しては実施例１と同様であるので説明を省略する。
実施例３の復号装置における動き探索部２００５は、動き探索方法決定部２００１、動
き探索部２００２、予測誤差算出部２００３、動きベクトル決定部２００４から構成され
る。動き探索方法決定部２００１では、構文解析部１００２から送られる動き探索方向判
定フラグの情報により双方向、前方向、後方向の動き探索方法を決定する。動き探索方法
を決定した後、動き探索部２００２、予測誤差算出部２００３、動きベクトル決定部２０
０４にて、動き探索、予測誤差算出、動きベクトル決定を行う。双方向探索については実
施例１と同様に行えばよい、前方向探索、後方向探索については、本実施例の画像符号化
装置の前方向探索、後方向探索と同様の処理を行えばよい。
次に、図２１に実施例３の画像復号化装置における処理の流れを示す。
最初に、符号化ストリームを可変長復号部１００１にて可変長復号し、構文解析部１０
０２に送る（Ｓ２１０１）。次に構文解析部１００２にて、復号したストリームデータの
構文分けを行い、符号化データを逆量子化・逆周波数変換部１００３、補間画像生成部１
００７へ送信する（Ｓ２１０２）。次に、構文解析部１００２にて符号化対象フレームの
ピクチャタイプを判定する(Ｓ２１０３)。符号化対象フレームが補間フレームの場合には
、復号化対象領域について、構文解析部１００２から送信される動き探索方向判定フラグ
にもとづいて、動き探索方法決定部２００１が、双方向、前方向、または後方向などの動
き探索方向から、一つの動き探索方向を用いる動き探索方法の決定を行う(Ｓ２１０４)。
動き探索方法を決定した後、動き探索部２００５にて動き探索を実施する(Ｓ２１０５)。
動き探索部２００５では、予測誤差絶対値和と動きベクトルの算出とともに実施例１の動
き探索部１１０１と同様の処理により予測誤差差分絶対値和を算出する（Ｓ２１０６）。
次に、予測誤差絶対値和差が閾値S1以下または予測誤差差分絶対値和が閾値S2以上の場合
には補間画像生成部１１０２が、実施例１と同様の処理により補間画素を生成する（Ｓ２
１０８）。一方、符号化対象フレームが補間フレームでない場合と、Ｓ２１０７の条件を
満たさない場合には、逆量子化・逆周波数変換部１００３にて、逆量子化、逆周波数変換
を行い、動き補償部１００６からのデータを加算した後、復号画像記憶部１００５にデー
タを記憶する。次に、復号画像記憶部１００６に記憶しているデータを用いて動き補償部
１００６にて動き補償を実施する（Ｓ２１０９）。動き補償部１００６では、復号画像記
憶部１００５にて記憶した復号化画像と構文解析部１００２から送信される動きベクトル
を用いて動き補償を行い、復号化画像を生成し、復号画像記憶部１００５に記憶する（Ｓ
２１１１）。上記方法により生成した復号化画像または補間画像を映像表示装置１００８
に出力し(Ｓ２１１１)、処理を終了する。
以上説明した実施例３の画像復号化装置および画像復号化方法によれば、符号化ストリ
ームに含まれる動き探索方向判定フラグを用いた処理を行うことにより、複数種類の補間
処理に対応することか可能となる。さらに、当該複数種類の補間処理についての復号側で
の動き探索処理を１回で済ませることができ、処理量を大きく削減することができる。
以上説明した実施例３の画像符号化装置および画像符号化方法、ならびに画像復号化装
置および画像復号化方法によれば、データ圧縮率を向上した符号化データを生成し、当該
符号化データを好適に復号化することが可能となる。
次に、本発明の実施例４に係る画像符号化装置について説明する。実施例４に係る画像
符号化装置は、実施例１の画像符号化装置に、実施例２のモード選択部１３０４と実施例
３の動き探索部３０２と補間方向決定部１８０５とを備える符号化装置である。すなわち
、実施例４の画像符号化装置は、符号化ストリームにモード判定フラグと動き探索方向判
定フラグを含めて出力する。
実施例４の符号化装置の各構成および各処理内容は、実施例１、実施例２、実施例３に
記載した各構成および各処理内容と同様であるので説明を省略する。
ここで、図２２に実施例４における符号化データ記憶部１０６に記憶するデータの一例
を示す。図２２に示すように、各分割領域において、符号化画像領域か補間画像領域かを
判定するモード判定フラグを付加し、さらに補間画像領域において双方向、前方向、後方
向の動き探索方法の判定を行う動き探索方向判定フラグを付加する。
これにより、復号化時の処理を簡略化し、処理量を低減するという実施例２の効果と、
Ｂピクチャに加えてＰピクチャも補間対象フレームとしてデータ量をより低減し、またＢ
ピクチャの画質を向上する実施例３の効果とを備える画像符号化装置および画像符号化方
法を実現することが可能となる。
次に、実施例４の画像復号化装置について説明する。実施例４の画像復号化装置の構成
は、実施例３と同様であるので説明を省略する。
図２３を用いて実施例２の復号装置における復号対象領域画像の処理の流れを説明する
。最初に、符号化ストリームを可変長復号部１００１にて復号し、構文解析部１００２に
送る（Ｓ２３０１）。次に構文解析部１００２にて、復号したストリームデータの構文分
けを行い、モード判定フラグや動き探索方向判定フラグ、符号化データを逆量子化・逆周
波数変換部１００３、補間画像生成部１００７へ送信する（Ｓ２３０２）。次に、構文解
析部１００２にて符号化対象フレームのピクチャタイプから符号化対象フレームが符号化
フレームか補間フレームかを判定する(Ｓ２３０３)。符号化対象フレームが補間フレーム
の場合には、復号化対象領域について、構文解析部１００２より送信されたモード判定フ
ラグが１（復号化対象領域が補間画像であることを示す）であるかの判定を行う（Ｓ２３
０４）。モード判定フラグが１の場合には、動き探索方法決定部２００１が構文解析部１
００２より送信された動き探索方向判定フラグにもとづいて、補間処理についての動き探
索方向を決定（Ｓ２３０５）し、動き探索部２００２、予測誤差算出部２００３、動きベ
クトル決定部２００４が動き探索、予測誤差算出、動きベクトル決定を行い(Ｓ２３０６)
、決定した動きベクトルを用いて、補間画素生成部１１０２が補間画素を生成することに
より、補間画像を生成する(Ｓ２３０７)。
一方、符号化対象フレームが補間フレームでない場合と、Ｓ２１０７の条件を満たさな
い場合には、逆量子化・逆周波数変換部１００３にて、逆量子化、逆周波数変換を行い、
動き補償部１００６からのデータを加算した後、復号画像記憶部１００５にデータを記憶
する。次に、復号画像記憶部１００６に記憶しているデータを用いて動き補償部１００６
にて動き補償を実施する（Ｓ２３０９）。動き補償部１００６では、復号画像記憶部１０
０５にて記憶した復号化画像と構文解析部１００２から送信される動きベクトルを用いて
動き補償を行い、復号化画像を生成し、復号画像記憶部１００５に記憶する(Ｓ２３１０)
。上記方法により生成した復号化画像または補間画像を映像表示装置１００８に出力し(
Ｓ２３１１)、処理を終了する。
以上説明した実施例４の画像復号化装置および画像復号化方法によれば、復号化時の処
理を簡略化し、処理量を低減するという実施例２の効果と、符号化ストリームに含まれる
動き探索方向判定フラグを用いた処理を行うことにより、複数種類の補間処理に対応する
ことが可能であり、当該複数種類の補間処理についての復号側での動き探索処理を１回で
済ませることができ、処理量を大きく削減するという実施例３の効果を有する画像復号化
装置および画像復号化方法を実現することが可能となる。
以上説明した実施例４の画像符号化装置および画像符号化方法、ならびに画像復号化装
置および画像復号化方法によれば、データ圧縮率を向上した符号化データを生成し、当該
符号化データを好適に復号化することが可能となる。
次に、本発明の実施例５に係る画像符号化装置について説明する。実施例５に係る画像符号化装置は、実施例２の画像符号化装置と同様の構成を備えるが、実施例２のモード選択部１３０４が画像ブロック毎にモード判定フラグを生成するのに対し、実施例５のモード選択部１３０４は、復号化対象領域が補間画像であるブロック（補間画像モードブロック）が複数個連続する場合には、その補間画像モードブロックが連続する数を示すフラグ（補間画像モード連続ブロック数フラグ）を生成し、当該複数個連続した補間画像モードブロックについて、一つの補間画像モード連続ブロック数フラグを符号化ストリームに含めて出力する。実施例５に係る画像符号化装置のその他の各構成および各処理内容は、実施例１及び実施例２に記載した各構成および各処理内容と同様であるので説明を省略する。
また、復号化対象領域が符号化画像であるブロックについては、当該ブロックが補間画像モード以外のモードであることを示す補間画像モード以外モードフラグを生成して出力する。補間画像モード以外モードフラグは、単に補間画像モード以外のモードであることを示しても良いが、符号化モードの種類自体(マクロブロックタイプ等)を示してもよい。
ここで、図２４に実施例５の画像符号化装置における符号化データ記憶部１０６のデータの一例を示す。図２４(a)は実施例２の画像符号化装置が生成するデータであり、図２４(b)は実施例５の画像符号化装置が生成するデータである。
図に示すように、図２４(a)の実施例２のデータでは、多数の連続するモード判定フラグが存在する。これに対し、図２４(b)の実施例５のデータでは、補間画像モードブロックが連続する部分には、一つの補間画像モード連続ブロック数フラグのみが挿入される。図２４(b)において、補間画像モード連続ブロック数フラグに対応して矢印で示される数字は、補間画像モード連続ブロック数フラグが示す連続する補間画像モードブロックの数の例である。具体的には、図２４(b)の例では、補間画像モード連続ブロック数フラグ２４０１は、「４」という数を示しており、これは、４つのブロックa、ｂ、ｃ、ｄが連続して補間画像モードブロックであることを示している。同様に、補間画像モード連続ブロック数フラグ２４０２は、「１」という数を示しており、これは、ブロックeが一つだけ補間画像モードブロックであることを示している。また同様に、補間画像モード連続ブロック数フラグ２４０３は、「５」という数を示しており、これは、５つのブロックｆ、ｇ、ｈ、ｉ、ｊが連続して補間画像モードブロックであることを示している。図２４(b)の実施例５のデータは、このように、補間画像モード連続ブロック数フラグをもちいることで、ブロック毎にモード判定フラグを付加する図２４(a)の実施例２のデータよりもデータ量を削減することが可能となる。なお、復号化対象領域が符号化画像であるブロックのそれぞれのブロックについては補間画像モード以外モードフラグが挿入される。
以上説明した実施例５の画像符号化装置および画像符号化方法によれば、復号化時の処理を簡略化し、処理量を低減するという実施例２の効果に加え、補間画像モード連続ブロック数フラグにより、複数のブロックのモードを一つのフラグで示すことを可能とし、符号化データ量を削減することが可能となる。
次に、本発明の実施例５に係る画像復号化装置について説明する。本発明の実施例５に係る画像復号化装置の構成は、実施例２に係る画像復号化装置と同様の構成であるので説明を省略する。但し、本発明の実施例５に係る画像復号化装置における処理の流れは、図１５に示す実施例２の画像復号化装置における処理の流れから以下の点で相違する。以下の点以外は図１５に示す流れと同様であるので、別図による説明は省略する。すなわち、実施例２では、図１５のＳ１５０４においてモード判定フラグが１であれば、Ｓ１５０５以降の補間画像の生成処理を行い、モード判定フラグが０であれば、Ｓ１５０７以降の画像復号化処理を行う。
これに対し、実施例５では、図１５のＳ１５０４において、フラグを検出して、補間画像モード連続ブロック数フラグであるか、補間画像モード以外モードフラグであるかを判別する。検出したフラグが補間画像モード連続ブロック数フラグである場合には、当該補間画像モード連続ブロック数フラグに示される数の連続するブロックについてＳ１５０５以降の補間画像の生成処理を行う。フラグが補間画像モード以外モードフラグである場合には、当該フラグが対応するブロックについてＳ１５０７以降の画像復号化処理を行う。これにより、フラグが補間画像モード連続ブロック数フラグであり、当該フラグが２以上の数字を示している場合には、一回の判定処理で複数のブロックについての画像生成処理を決定することが可能となる。
実施例５に係る画像復号化装置は、これにより、実施例２よりもさらに復号化時の処理を簡略化し、処理量を低減することが可能となる。
以上説明した実施例５の画像復号化装置および画像復号化方法によれば、符号化ストリームに含まれる補間画像モード連続ブロック数フラグに対応することで、一回の判定処理により複数の複数のブロックについての画像生成処理の決定を行うことが可能となる。これにより、実施例２よりもさらに復号化時の処理の簡略化と処理量の低減を図ることが可能となるという効果がある。
次に、本発明の実施例６に係る画像符号化装置について説明する。実施例６に係る画像符号化装置は、実施例４の画像符号化装置と同様の構成を備えるが、実施例４のモード選択部１３０４が画像ブロック毎にモード判定フラグと動き探索方向判定フラグとを生成するのに対し、実施例６のモード選択部１３０４は実施例５同様に補間画像モード連続ブロック数フラグまたは補間画像モード以外モードフラグを生成し、補間画像モード連続ブロック数フラグごとに動き探索方向判定フラグを生成する。動き探索方向判定フラグについての詳細な説明は実施例３及び実施例４と同様であるため、説明を省略する。また、補間画像モード連続ブロック数フラグまたは補間画像モード以外モードフラグについての詳細な説明は実施例５と同様であるため、説明を省略する。実施例６に係る画像符号化装置のその他の各構成および各処理内容は、実施例１から５に記載した各構成および各処理内容と同様であるので説明を省略する。
ここで、図２５に実施例６の画像符号化装置における符号化データ記憶部１０６のデータの一例を示す。図２５(a)は実施例４の画像符号化装置が生成するデータであり、図２５(b)は実施例６の画像符号化装置が生成するデータである。図２５(ｂ)も図２４(b)同様に、補間画像モード連続ブロック数フラグに対応して矢印で示される数字は、補間画像モード連続ブロック数フラグが示す連続する補間画像モードブロックの数の例を示している。図２５(b)の例では、補間画像モード連続ブロック数フラグ２４０１は、「４」という数を示しており、これは、４つのブロックa、ｂ、ｃ、ｄが連続して補間画像モードブロックであることを示している。これは実施例５と同様である。ここで、実施例６では、補間画像モード連続ブロック数フラグごとに動き探索方向判定フラグを生成するので、補間画像モード連続ブロック数フラグ２５０１の次には動き探索方向判定フラグ２５０２が挿入される。ここで、補間画像モード連続ブロック数フラグ２５０１によって連続する補間画像モードブロックであると示される４つのブロックa、ｂ、ｃ、ｄは、補間画像モード連続ブロック数フラグ２５０１に付随する動き探索方向判定フラグ２５０２が示す動き探索方向によって決定される動き探索方法を用いて補間画像を生成される。
図２５(b)の実施例５のデータは、このように、補間画像モード連続ブロック数フラグを用い、補間画像モード連続ブロック数フラグごとに動き探索方向判定フラグを符号化データに挿入する。これにより、ブロック毎にモード判定フラグと動き探索方向判定フラグをを付加する図２５(a)の実施例４のデータよりもデータ量を削減することが可能となる。なお、復号化対象領域が符号化画像であるブロックのそれぞれのブロックについて補間画像モード以外モードフラグが挿入される点については、実施例５と同様である。
以上説明した実施例６の画像符号化装置および画像符号化方法によれば、復号化時の処理を簡略化し、処理量を低減し、さらにＢピクチャに加えてＰピクチャも補間対象フレームとしてデータ量をより低減し、またＢピクチャの画質を向上するという実施例４の効果に加え、補間画像モード連続ブロック数フラグにより、複数のブロックのモード及び動き探索方向をそれぞれ一つのフラグで示すことを可能とし、符号化データ量を削減することが可能となる。
次に、本発明の実施例６に係る画像復号化装置について説明する。本発明の実施例６に係る画像復号化装置の構成は、実施例４に係る画像復号化装置と同様の構成であるので説明を省略する。但し、本発明の実施例６に係る画像復号化装置における処理の流れは、図２３に示す実施４の画像復号化装置における処理の流れから以下の点で相違する。以下の点以外は図２３に示す流れと同様であるので、別図による説明は省略する。すなわち、実施例４では、図２３のＳ２３０４においてモード判定フラグが１であれば、Ｓ２３０５以降の補間画像の生成処理を行い、そのときＳ２３０５では各ブロックについての動き探索方向判定フラグに基づいて動き探索方法を決定してＳ２３０６の動き探索を行う。また、Ｓ２３０４でモード判定フラグが０であれば、Ｓ２３０８以降の画像復号化処理を行う。
これに対し、実施例６では、図２３のＳ２３０４において、フラグを検出して、補間画像モード連続ブロック数フラグであるか、補間画像モード以外モードフラグであるかを判別する。検出したフラグが補間画像モード連続ブロック数フラグである場合には、当該補間画像モード連続ブロック数フラグに示される数の連続するブロックについてＳ２３０５以降の補間画像の生成処理を行う。このとき、Ｓ２３０５では、当該補間画像モード連続ブロック数フラグに付随する動き探索方向判定フラグに基づいて、当該連続する複数のブロックについての補間画像生成における動き探索方法を決定する。Ｓ２３０６では、当該連続する複数のブロックについて決定した動き探索方法で動き探索をおこなう。Ｓ２３０７では、当該探索結果に基づいて補間画像を生成する。また、Ｓ２３０４において、フラグが補間画像モード以外モードフラグである場合には、当該フラグが対応するブロックについてＳ１５０７以降の画像復号化処理を行う。
以上の流れにより、動き探索方向判定フラグを用いた処理により、複数種類の補間処理に対応していながら、フラグが補間画像モード連続ブロック数フラグであり当該フラグが２以上の数字を示している場合には、一回の判定処理で複数のブロックについての画像生成処理を決定することが可能となる。
実施例６に係る画像復号化装置は、これにより、複数種類の補間処理に対応するという実施例４の効果に加え、実施例４よりもさらに復号化時の処理を簡略化し、処理量を低減することが可能となる。
以上説明した実施例６の画像復号化装置および画像復号化方法によれば、複数種類の補間処理に対応し、さらに符号化ストリームに含まれる補間画像モード連続ブロック数フラグに対応することで、一回の判定処理により複数の複数のブロックについての画像生成処理の決定を行うことが可能となる。これにより、実施例４よりもさらに復号化時の処理の簡略化と処理量の低減を図ることが可能となるという効果がある。
なお、以上説明した各実施例における補間画像の生成方法を以下第１の変形例、第２の変形例、または第３の変形例に変えても一実施の形態となりうる。
第１の変形例について図２６を用いて説明する。図２６は、第１の変形例における補間画像の生成方法を示した図である。第１の変形例は、符号化・復号化対象フレームが参照フレーム間に1枚存在するＢピクチャである場合である。図２６において、fnは符号化・復号化対象フレーム、fn-1は表示順が先であって符号化・復号化対象フレームに最も近くに位置する符号化・復号化済みの参照フレーム、fn+1は表示順が後であって符号化・復号化対象フレームに最も近くに位置する符号化・復号化済みの参照フレームである。
第１の変形例では、動きベクトルMV(u,v)の探索方法及び補間画素値fn (x,y)の算出方法を以下のように行う。
第１の変形例における動き探索は、ブロック単位行う。例えば、フレームfn-1においては左上の端から、フレームfn+1においては右下の端から動き探索を開始し、左右上下対称に探索する。2つのブロックの絶対誤差和（SAD）の合計を計算し、SADが最も小さく、かつMVが最小となるブロックの組み合わせを選択する。ここで、例えば、動き探索は1/4画素精度平面で行う。1/4画素精度平面にて、動き探索のブロックサイズは６４×６４画素とし、そのうち4画素飛ばしの１６画素をサンプル点として用いる。動き探索範囲は、符号化対象ブロックの中心を基準とする。
第１の変形例における符号化・復号化対象フレーム内の補間画素値fn (x,y)の算出は、フレームfn-1とフレームfn+1間の動きベクトルＭＶ(u,v)を用いて、数式６から算出することができる。
Figure 2010154490
数式６では、ＭＶ(u,v)の始点と終点となる参照フレームfn-1と参照フレームfn+1上の画素の平均値でfn (x,y)を算出している。これは、第１の変形例では符号化・復号化対象フレームが複数の参照フレームの中央に１枚位置するＢピクチャであり、両者の参照フレームへの時間的距離が等しいからである。なお、両者の参照フレームへの時間的距離に偏りがある場合には、数式６内でu及びvに乗じている係数1/2をその偏りに応じて変更すればよい。この場合、当該係数は参照フレームへの時間的距離が近いほど小さくする。そのとき、さらに参照フレームfn-1上の画素値と参照フレームfn+1上の画素値にそれぞれ時間的距離に偏りに応じた係数を乗じてもよい。この場合、当該係数は参照フレームへの時間的距離が近いほど大きくする。
以上が第１の変形例による動きベクトルMV(u,v)の探索方法及び補間画素値fn (x,y)の算出方法である。
次に、第２の変形例について図２７を用いて説明する。第２の変形例は、符号化・復号化対象フレームが参照フレーム間に２枚存在するＢピクチャのいずれかである場合である。この場合、動き探索は、当該２枚存在するＢピクチャについて一度だけ行う。図２７(a)において、fnは第１の符号化・復号化対象フレーム、fn+1は第２の符号化・復号化対象フレーム、fn-1は表示順が先であって符号化・復号化対象フレームに最も近くに位置する符号化・復号化済みの参照フレーム、fn+2は表示順が後であって符号化・復号化対象フレームに最も近くに位置する符号化・復号化済みの参照フレーム、fcは仮想の中心ピクチャである。
第２の変形例では、動きベクトルMV(u,v)の探索方法及び第１の符号化・復号化対象フレームの補間画素値fn(x,y)および第２の符号化・復号化対象フレームの補間画素値fn+1(x,y)の算出方法を以下のように行う。
まず、第１の変形例における動き探索は、動き探索範囲の中心を仮想中心ピクチャfcの符号化・復号化対象ブロック位置(x,y)を中心として定義する。動きベクトルMV(u,v)の算出についてのその他の詳細は、第１の変形例と同様であるので説明を省略する。
第１の符号化・復号化対象フレームの補間画素値fn(x,y)および第２の符号化・復号化対象フレームの補間画素値fn+1(x,y)は、フレームfn-1とフレームfn+2間の動きベクトルＭＶ(u,v)を用いて、それぞれ数式７および数式８から算出することができる。
Figure 2010154490
Figure 2010154490
数式７による算出方法について、図２７(b)を用いて説明する。図２７(b)は、図２７(a)を平面的に示した例である。ここで、仮想の中心ピクチャfcの位置(x，y)を基準とした動き探索により算出した動きベクトルMV(u,v)を用い、第１の符号化・復号化対象フレームfnの位置(x，y)上の画素値を算出する場合を示している。図２７(b)の例では、第１の符号化・復号化対象フレームfnは、参照フレームfn-1から参照フレームfn+2までの時間的距離において、参照フレームfn-1から１／３、参照フレームfn+2から２／３の位置にある。よって、数式７では、第１の符号化・復号化対象フレームfnの位置(x，y)を基準とし、動きベクトルMVに１／３を乗じた１／３MVを用いて示される参照フレームfn-1上の画素の画素値と、動きベクトルMVに２／３を乗じた２／３MVを用いて示される参照フレームfn+2上の画素の画素値とに、ぞれぞれの参照フレームへの時間的距離に応じた重み付け係数を乗じて加算することにより、第１の符号化・復号化対象フレームfn(x，y)の画素値を算出する。ここで当該重み付け係数は、参照フレームへの時間的距離が近いほど大きくすればよく、図２７(b)の例では、参照フレームfn-1上の画素の画素値に２／３、参照フレームfn+2上の画素の画素値に１／３を乗じている。
次に、数式８による算出方法を図２７(c)に示す。数式８による算出方法も、動きベクトルMV(u,v)を用いる点、第２の符号化・復号化対象フレームfn+1の位置(x，y)を基準とし、符号化・復号化対象フレームから参照フレームへの時間的距離に応じて動きベクトルMV(u,v)に係数を乗じた動きベクトルを用いて参照フレーム上の画素を選択する点、選択した画素値に参照フレームへの時間的距離に応じた重み付け係数を乗じて加算する点で数式７による算出方法と同様である。図２７(c)は図２７(b)に対して、符号化・復号化対象フレームから参照フレームへの時間的距離の関係が異なり、これにより動きベクトルMV(u,v)に乗じる係数が異なるのみであるので詳細な説明は省略する。
なお、第２の変形例のように、参照フレーム間にＢピクチャが２枚存在する場合であっても、Ｂピクチャの時間的位置が、参照フレーム間の３等分の位置でない場合には、参照フレームへの時間的距離に応じて係数を変更してもよい。
以上が第２の変形例による動きベクトルMV(u,v)の探索方法及び第１の符号化・復号化対象フレームの補間画素値fn(x,y)および第２の符号化・復号化対象フレームの補間画素値fn+1(x,y)の算出方法である。
すなわち、第２の変形例によれば一回の動き探索で、参照フレーム間の間に位置する２つの符号化・復号化対象フレーム上で同じ位置にあるそれぞれの画素について補間画素値を算出することが可能となる。
次に、第３の変形例について図２８を用いて説明する。第３の変形例は、第１の変形例及び第２の変形例を一般化したものであり、２枚の参照フレームの間にｍ枚のＢピクチャが存在する場合を示している。図２８では、参照フレームfA、参照フレームfBの間に、f１（1番目のＢピクチャ）からfm（m番目のＢピクチャ）までのｍ枚のＢピクチャが挿入されている。ここで、fcは仮想の中心ピクチャであり、第２の変形例と同様に動きベクトルMV(u,v)を算出する際の基準とするものである。
第３の変形例では、図２８に示すk番目のＢピクチャfkが符号化・復号化対象フレームである場合の補間画素値fk(x,y)を数式９により算出することができる。
Figure 2010154490
数式９による算出方法も、動きベクトルMV(u,v)を用いる点、符号化・復号化対象フレームfkの位置(x，y)を基準とし、符号化・復号化対象フレームから参照フレームへの時間的距離に応じて動きベクトルMV(u,v)に係数を乗じた動きベクトルを用いて参照フレーム上の画素を選択する点、選択した画素値に参照フレームへの時間的距離に応じた重み付け係数を乗じて加算する点で数式７または数式８による算出方法と同様である。
以上が第３の変形例による符号化・復号化対象フレームの補間画素値fk(x,y)の算出方法である。
すなわち、第３の変形例によれば一回の動き探索で、参照フレーム間の間に位置するｍ枚の符号化・復号化対象フレーム上で同じ位置にあるそれぞれ画素について補間画素値を算出することが可能となる。
以上の実施例で説明した、補間画像フレーム、補間画像領域、補間画像モード、補間画像モードブロックは、いずれも参照画像間の動き予測による補間処理により補間画像を生成するので、それぞれ、参照画像間動き予測フレーム、参照画像間動き予測領域、参照画像間動き予測モード、参照画像間動き予測モードブロックと表現しても良い。
また、以上の実施例で説明した、補間画像を用いた画像符号化・画像復号化技術、すなわち、参照画像間動き予測による画像符号化・画像復号化技術の従来技術と比べた効果は以下のようになる。
すなわち、H.264/AVCにおける双方向動き補償予測では、動き情報を符号化済みブロックの動き情報から予測生成するスキップモードとダイレクトモードが採用されている。スキップモードとダイレクトモードは動き情報を伝送する必要がないため、符号量の削減に効果的な技術である。しかしながら、スキップモードとダイレクトモードは、動き情報の予測精度が低下する場合がある。例えば、時間方向の動き情報の相関を利用する時間ダイレクトモードは、表示順で符号化対象画像の後方直近の参照画像内の符号化対象ブロックと同位置にあるブロック(アンカーブロック)の動きベクトルを利用しており、アンカーブロックが画面内符号化されている画像では、動き情報を取得できないために予測精度が低下する。また、空間方向の動き情報の相関を利用する空間ダイレクトモードは、符号化対象ブロックの周囲ブロックの動きベクトルを利用しており、周囲ブロックがそれぞれ異なる動きをする画像では、動き情報の空間的な相関が低くなるために予測精度が低下する。
これに対し、以上の各実施例で説明した、補間画像を用いた画像符号化・復号化技術、すなわち、参照画像間動き予測による画像符号化・復号化技術では、前方向参照画像と後方向画像間で相関の高いブロックを検出し、その検出された動きベクトルを使用する。そのため、スキップモードやダイレクトモードでは予測精度の低下が生じやすい画像である、符号化対象ブロックが動きのある画像かつアンカーブロックが画面内符号化されている画像であっても、予測精度の低下を抑制することができる。
また、同様に、以上の各実施例で説明した、補間画像を用いた画像符号化・復号化技術では、符号化対象ブロックの周囲ブロックの動きベクトルは用いずに動きベクトルを予測する。そのため、スキップモードやダイレクトモードでは予測精度の低下が生じやすい画像である、周囲ブロックがそれぞれ異なる動きをしている画像においても、予測精度の低下を抑制することができる。
すなわち、本発明の各実施例に係る画像符号化技術、画像復号化技術によれば、従来のスキップモードやダイレクトモードよりも好適にデータ圧縮率の向上を実現することが可能となる。
１０１…映像入力部；
１０２…領域分割部；
１０３…符号化部；
１０４…補間画像生成部；
１０５…モード選択部；
１０６…符号化データ記憶部；
１０７…可変長符号化部；
２０１…減算器；
２０２…周波数変換・量子化部；
２０３…逆量子化・逆周波数変換部；
２０４…加算器；
２０５…復号画像記憶部；
２０６…画面内予測部;
２０７…画面間予測部;
２０８…画面内/画面間予測画像選択部;
３０１…補間フレーム決定部;
３０２…動き探索部;
３０３…補間画素生成部;
６０１…予測誤差算出部;
６０２…動きベクトル決定部;
１００１…可変長復号部;
１００２…構文解析部;
１００３…逆量子化・逆周波数変換部;
１００４…加算器；
１００５…復号画像記憶部;
１００６…動き補償部;
１００７…補間画像生成部;
１００８…出力部;
１００９…モード判定部;
１１０１…動き探索部;
１１０２…補間画素生成部;
１３０１、１３０２…差分絶対値算出部;
１３０３…判定部;
１８０１、１８０２、１８０３…差分絶対値算出部;
１８０４…動き探索方向判定部;
１８０５…補間方向決定部;
２００１…動き探索方法決定部;
２００２…動き探索部;
２００３…予測誤差算出部;
２００４…動きベクトル決定部;
２００５…動き探索部;

Claims (20)

  1. 動画像の復号化方法であって、
    復号化対象フレームの復号化対象領域について、復号化済みの複数のフレームの画像を
    用いて動き探索を行う動き探索ステップと、
    前記動き探索の結果にもとづいて、前記復号化対象領域の画像を補間処理により生成す
    るか、符号化ストリームに含まれるデータを用いた動き補償により復号画像を生成するか
    を判定する判定ステップと、
    を備えることを特徴とする画像復号化方法。
  2. 前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
    データを用いた動き補償により復号画像を生成すると判定した場合に、前記復号化対象フ
    レームの復号化対象領域に隣接する複数の画像領域のそれぞれが、符号化時に符号化画像
    領域として処理された領域であるか、符号化時に補間画像領域として処理された領域であ
    るかにもとづいて、予測ベクトルの算出方法を変更して動き補償を行って復号化画像生成
    するステップを備えることを特徴とする請求項１に記載の画像復号化方法。
  3. 前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
    データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
    対象フレームの復号化対象領域に隣接する複数の画像領域のいずれもが、符号化時に補間
    画像領域として処理された領域である場合に、前記隣接する複数の画像領域の復号化時の
    補間処理に用いた動きベクトルにもとづいて予測ベクトルを算出し、該予測ベクトルを用
    いて動き補償を行って復号化画像生成するステップを備えることを特徴とする請求項１に
    記載の画像復号化方法。
  4. 前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
    データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
    対象フレームの復号化対象領域に隣接する複数の画像領域のいずれもが、符号化時に補間
    画像領域として処理された領域である場合に、前記隣接する複数の画像領域の復号化時の
    補間処理に用いた動きベクトルの中間値ベクトルを予測ベクトルとして算出し、該予測ベ
    クトルを用いて動き補償を行って復号化画像生成するステップを備えることを特徴とする
    請求項１に記載の画像復号化方法。
  5. 前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
    データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
    対象フレームの復号化対象領域に隣接する複数の画像領域の一部が符号化時に符号化画像
    領域として処理された領域であって、前記隣接する複数の画像領域の残りの画像領域が、
    符号化時に補間画像領域として処理された領域である場合に、前記符号化時に符号化画像
    領域として処理された領域において復号時の動き補償において用いた動きベクトルと、前
    記符号化時に補間画像領域として処理された領域において復号化時の補間処理に用いた動
    きベクトルとにもとづいて予測ベクトルを算出し、該予測ベクトルを用いて動き補償を行
    って復号化画像生成するステップを備えることを特徴とする請求項１に記載の画像復号化
    方法。
  6. 前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
    データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
    対象フレームの復号化対象領域に隣接する複数の画像領域の一部が符号化時に符号化画像
    領域として処理された領域であって、前記隣接する複数の画像領域の残りの画像領域が、
    符号化時に補間画像領域として処理された領域である場合に、前記符号化時に符号化画像
    領域として処理された領域において復号時の動き補償において用いた動きベクトルと、前
    記符号化時に補間画像領域として処理された領域において復号化時の補間処理に用いた動
    きベクトルとから中間値ベクトルを予測ベクトルとして算出し、該予測ベクトルを用いて
    動き補償を行って復号化画像生成するステップを備えることを特徴とする請求項１に記載
    の画像復号化方法。
  7. 前記判定ステップにおいて、前記復号化対象領域の画像を補間処理により生成すると判
    定した場合に、前記復号化対象領域の画像を前記動き探索ステップにおいて用いた前記復
    号化済みの複数のフレームの画像上の画素値を用いて、前記復号化対象領域の画像上の画
    素値を算出して前記復号化対象領域の補間画像を生成する補間画像生成ステップと
    を備えることを特徴とする請求項１に記載の画像復号化方法。
  8. 前記動き探索ステップでは、前記復号化対象領域に含まれる対象画素と時空間上で同一
    直線上に位置し、前記復号化済みの複数のフレームの画像上に位置する複数の画素間の画
    素値の絶対差を算出し、前記復号化対象領域に含まれる画素について該画素値の絶対差和
    を算出し、該絶対差和が最小となる動きベクトルと前記最小の絶対値和とを動きベクトル
    探索結果とし、
    前記判定ステップでは、前記最小の絶対値和と所定値の比較により前記復号化対象領域
    の画像を補間処理により生成するか否かを判定することを特徴とする請求項１に記載の画
    像復号化方法。
  9. 前記動き探索ステップでは、前記復号化対象領域に含まれる対象画素と時空間上で同一
    直線上に位置し、前記復号化済みの複数の画像上に位置する複数の画素間の画素値差を算
    出し、前記復号化対象領域に含まれる画素について該画素値の絶対差和を算出し、前記絶
    対差和が最小となる動きベクトルを決定し、前記最小の絶対値和と前記復号化対象領域の
    周辺の領域の絶対値和の差分の絶対値和を算出し、前記動きベクトルと前記最小の絶対値
    和と前記復号化対象領域の周辺の領域の絶対値和の差分の絶対値和とを算を動きベクトル
    探索結果とし、
    前記判定ステップでは、前記最小の絶対値和と前記復号化対象領域の周辺の領域の絶対
    値和の差分の絶対値和と所定値の比較により前記復号化対象領域の画像を補間処理により
    生成するか否かを判定することを特徴とする請求項１に記載の画像復号化方法。
  10. 前記動き探索ステップでは、符号化ストリームに含まれる動き探索方法判定フラグにも
    とづいて、動き探索の時間方向を決定することを特徴とする請求項１に記載の画像復号化
    方法。
  11. 動画像の復号化方法であって、
    符号化ストリームに含まれるモード判定フラグにもとづいて、復号化対象領域の画像を
    復号化済み画像を用いた補間処理により生成するか、符号化ストリームに含まれるデータ
    を用いた動き補償処理により復号画像を生成するかを判定する判定ステップと、
    前記判定ステップの判定結果に応じて、復号化済み画像を用いた補間処理と符号化スト
    リームに含まれるデータを用いた動き補償処理とを切り替えて復号化画像を生成する画像
    生成ステップとを
    を備えることを特徴とする画像復号化方法。
  12. 前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
    データを用いた動き補償により復号画像を生成すると判定した場合に、前記画像生成ステ
    ップでは、前記復号化対象フレームの復号化対象領域に隣接する複数の画像領域のそれぞ
    れが、符号化時に符号化画像領域として処理された領域であるか、符号化時に補間画像領
    域として処理された領域であるかにもとづいて、予測ベクトルの算出方法を変更して動き
    補償を行って復号化画像生成することを特徴とする請求項１１に記載の画像復号化方法。
  13. 前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
    データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
    対象フレームの復号化対象領域に隣接する複数の画像領域のいずれもが、符号化時に補間
    画像領域として処理された領域である場合に、前記画像生成ステップでは、前記隣接する
    複数の画像領域の復号化時の補間処理に用いた動きベクトルにもとづいて予測ベクトルを
    算出し、該予測ベクトルを用いて動き補償を行って復号化画像生成することを特徴とする
    請求項１１に記載の画像復号化方法。
  14. 前記判定ステップにおいて、前記復号化対象領域の画像を符号化ストリームに含まれる
    データを用いた動き補償により復号画像を生成すると判定した場合であって、前記復号化
    対象フレームの復号化対象領域に隣接する複数の画像領域の一部が符号化時に符号化画像
    領域として処理された領域であって、前記隣接する複数の画像領域の残りの画像領域が、
    符号化時に補間画像領域として処理された領域である場合に、前記画像生成ステップでは
    、前記符号化時に符号化画像領域として処理された領域において復号時の動き補償におい
    て用いた動きベクトルと、前記符号化時に補間画像領域として処理された領域において復
    号化時の補間処理に用いた動きベクトルとにもとづいて予測ベクトルを算出し、該予測ベ
    クトルを用いて動き補償を行って復号化画像生成することを特徴とする請求項１１に記載
    の画像復号化方法。
  15. 前記判定ステップにおいて前記復号化対象領域の画像を復号化済み画像を用いた補間処
    理により生成すると判定した場合に、前記画像生成ステップでは、符号化ストリームに含
    まれる動き探索方法判定フラグにもとづいて動き探索方法を決定し、該決定した動き探索
    方法にもとづいて復号化済みの複数のフレームの画像を用いて動き探索を行い、該動き探
    索により決定した動きベクトルが示す前記復号化済みの複数のフレーム上の画素の画素値
    にもとづいて補間対象画素の画素値を算出して補間画像を生成することを特徴とする請求
    項１１に記載の画像復号化方法。
  16. 動画像の復号化方法であって、
    符号化ストリームには、復号化対象領域において復号化済み画像を用いた補間処理により生成する画像ブロックが連続して存在する数を示す第１のフラグと、復号化対象領域の画像ブロックについて符号化ストリームに含まれるデータを用いた動き補償処理により復号画像を生成することを示す第２のフラグが含まれており、
    前記符号化ストリームからフラグを検出し、検出したフラグが第１のフラグであるか第２のフラグであるかを判定する判定ステップと、
    前記判定ステップの判定結果に応じて、第１のフラグが対応する複数の画像ブロックに対して行う復号化済み画像を用いた補間処理と、第２のフラグが対応する画像ブロックに対して行う符号化ストリームに含まれるデータを用いた動き補償処理とを切り替えて復号化画像を生成する画像生成ステップとを
    を備えることを特徴とする画像復号化方法。
  17. 前記復号化済みの複数のフレーム間に１枚のＢピクチャが位置しており、該Ｂピクチャが前記復号化対象フレームである場合であって、前記判定ステップにおいて前記復号化対象領域の画像を補間処理により生成すると判定した場合に、
    前記動き探索ステップにおいて用いた前記復号化済みの複数のフレームの画像上の複数の画素値の平均値、または該複数の画素値のそれぞれに前記復号化対象フレームから前記復号化済みの複数のフレームのそれぞれのフレームまでの距離に応じた係数を乗じた値を用いて、前記復号化対象領域の画像上の画素値を算出して前記復号化対象領域の補間画像を生成する補間画像生成ステップとを備えることを特徴とする請求項１に記載の画像復号化方法。
  18. 前記復号化済みの複数のフレーム間にｍ枚のＢピクチャが位置しており、該ｍ枚のＢピクチャのうちの一つのピクチャが前記復号化対象フレームである場合であって、前記判定ステップにおいて前記復号化対象領域の画像を補間処理により生成すると判定した場合に、
    前記動き探索ステップにおいて用いた前記復号化済みの複数のフレームの画像上の複数の画素値のそれぞれに、前記復号化対象フレームから前記復号化済みの複数のフレームのそれぞれのフレームまでの距離に応じた係数を乗じた値を用いて、前記復号化対象領域の画像上の画素値を算出して前記復号化対象領域の補間画像を生成する補間画像生成ステップとを備えることを特徴とする請求項１に記載の画像復号化方法。
  19. 前記復号化済みの複数のフレーム間に１枚のＢピクチャが位置しており、該Ｂピクチャが前記復号化対象フレームである場合であって、前記判定ステップにおいて前記復号化対象領域の画像を補間処理により生成すると判定した場合に、
    前記動き探索ステップにおいて用いた前記復号化済みの複数のフレームの画像上の複数の画素値の平均値、または該複数の画素値のそれぞれに前記復号化対象フレームから前記復号化済みの複数のフレームのそれぞれのフレームまでの距離に応じた係数を乗じた値を用いて、前記復号化対象領域の画像上の画素値を算出して前記復号化対象領域の補間画像を生成する補間画像生成ステップとを備えることを特徴とする請求項１１に記載の画像復号化方法。
  20. 前記復号化済みの複数のフレーム間にｍ枚のＢピクチャが位置しており、該ｍ枚のＢピクチャのうちの一つのピクチャが前記復号化対象フレームである場合であって、前記判定ステップにおいて前記復号化対象領域の画像を補間処理により生成すると判定した場合に、
    前記動き探索ステップにおいて用いた前記復号化済みの複数のフレームの画像上の複数の画素値のそれぞれに、前記復号化対象フレームから前記復号化済みの複数のフレームのそれぞれのフレームまでの距離に応じた係数を乗じた値を用いて、前記復号化対象領域の画像上の画素値を算出して前記復号化対象領域の補間画像を生成する補間画像生成ステップとを備えることを特徴とする請求項１１に記載の画像復号化方法。
JP2009089678A 2008-11-26 2009-04-02 画像復号化方法 Active JP5325638B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009089678A JP5325638B2 (ja) 2008-11-26 2009-04-02 画像復号化方法
US12/620,640 US8798153B2 (en) 2008-11-26 2009-11-18 Video decoding method
BRPI0904534-1A BRPI0904534A2 (pt) 2008-11-26 2009-11-25 método para decodificar vìdeos
EP20120157322 EP2466893A1 (en) 2008-11-26 2009-11-25 Video decoding method
EP20090177079 EP2192782A3 (en) 2008-11-26 2009-11-25 Video decoding method
CN2009102249323A CN101742331B (zh) 2008-11-26 2009-11-26 图像解码方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008300342 2008-11-26
JP2008300342 2008-11-26
JP2009089678A JP5325638B2 (ja) 2008-11-26 2009-04-02 画像復号化方法

Publications (3)

Publication Number Publication Date
JP2010154490A true JP2010154490A (ja) 2010-07-08
JP2010154490A5 JP2010154490A5 (ja) 2012-05-10
JP5325638B2 JP5325638B2 (ja) 2013-10-23

Family

ID=41820402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009089678A Active JP5325638B2 (ja) 2008-11-26 2009-04-02 画像復号化方法

Country Status (5)

Country Link
US (1) US8798153B2 (ja)
EP (2) EP2192782A3 (ja)
JP (1) JP5325638B2 (ja)
CN (1) CN101742331B (ja)
BR (1) BRPI0904534A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142221A1 (ja) * 2010-05-11 2011-11-17 シャープ株式会社 符号化装置、および、復号装置
WO2012128242A1 (ja) * 2011-03-18 2012-09-27 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JPWO2018142596A1 (ja) * 2017-02-03 2019-02-07 三菱電機株式会社 符号化装置、符号化方法および符号化プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4518111B2 (ja) * 2007-07-13 2010-08-04 ソニー株式会社 映像処理装置、映像処理方法、及びプログラム
EP2528332A4 (en) 2010-01-19 2015-08-05 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING / DECODING PICTURES USING A MOTION VECTOR OF A PREVIOUS BLOCK AS A MOTION VECTOR OF THE PRESENT BLOCK
US10034012B2 (en) * 2010-05-13 2018-07-24 Sharp Kabushiki Kaisha Prediction image generation device, moving image decoding device, and moving image coding device
CN103493493A (zh) * 2011-04-28 2014-01-01 索尼公司 编码装置和编码方法以及解码装置和解码方法
TW201345262A (zh) * 2012-04-20 2013-11-01 Novatek Microelectronics Corp 影像處理電路及影像處理方法
CN103634606B (zh) * 2012-08-21 2015-04-08 腾讯科技（深圳）有限公司 视频编码方法和装置
US9524008B1 (en) * 2012-09-11 2016-12-20 Pixelworks, Inc. Variable frame rate timing controller for display devices
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US11032541B2 (en) * 2018-10-22 2021-06-08 Tencent America LLC Method and apparatus for video coding
CN112738527A (zh) * 2020-12-29 2021-04-30 深圳市天视通视觉有限公司 一种视频解码检测方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
WO2007115126A1 (en) * 2006-04-04 2007-10-11 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907073B2 (en) 1999-12-20 2005-06-14 Sarnoff Corporation Tweening-based codec for scaleable encoders and decoders with varying motion computation capability
US6816552B2 (en) 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
KR101108661B1 (ko) 2002-03-15 2012-01-25 노키아 코포레이션 비디오 시퀀스에서의 움직임 부호화 방법
JP2003333540A (ja) 2002-05-13 2003-11-21 Hitachi Ltd フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置
WO2004039074A1 (en) * 2002-10-22 2004-05-06 Koninklijke Philips Electronics N.V. Image processing unit with fall-back
EP1715694A4 (en) * 2004-02-03 2009-09-16 Panasonic Corp DEVICE FOR ENCODING AND DECODING, SYSTEM FOR GENERATING AN INTERPOLE FRAME, INTEGRATED CIRCUIT, PROGRAM FOR CODING AND DECODING
CN101147399B (zh) 2005-04-06 2011-11-30 汤姆森许可贸易公司 编码增强层视频数据的方法和设备
JP2007082030A (ja) 2005-09-16 2007-03-29 Hitachi Ltd 映像表示装置
JP2008135980A (ja) * 2006-11-28 2008-06-12 Toshiba Corp 補間フレーム作成方法および補間フレーム作成装置
JP2008277932A (ja) 2007-04-26 2008-11-13 Hitachi Ltd 画像符号化方法及びその装置
US20080285656A1 (en) * 2007-05-17 2008-11-20 The Hong Kong University Of Science And Technology Three-loop temporal interpolation for error concealment of multiple description coding
JP2009071809A (ja) * 2007-08-20 2009-04-02 Panasonic Corp 映像表示装置ならびに補間画像生成回路および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
WO2007115126A1 (en) * 2006-04-04 2007-10-11 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142221A1 (ja) * 2010-05-11 2011-11-17 シャープ株式会社 符号化装置、および、復号装置
WO2012128242A1 (ja) * 2011-03-18 2012-09-27 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9445092B2 (en) 2011-03-18 2016-09-13 Sony Corporation Image processing apparatus, image processing method, and program
JPWO2018142596A1 (ja) * 2017-02-03 2019-02-07 三菱電機株式会社 符号化装置、符号化方法および符号化プログラム

Also Published As

Publication number Publication date
US8798153B2 (en) 2014-08-05
CN101742331B (zh) 2013-01-16
EP2192782A2 (en) 2010-06-02
EP2466893A1 (en) 2012-06-20
BRPI0904534A2 (pt) 2011-02-08
US20100128792A1 (en) 2010-05-27
CN101742331A (zh) 2010-06-16
EP2192782A3 (en) 2011-01-12
JP5325638B2 (ja) 2013-10-23

Similar Documents

Publication Publication Date Title
JP5325638B2 (ja) 画像復号化方法
US11107251B2 (en) Image processing device and method
US7426308B2 (en) Intraframe and interframe interlace coding and decoding
US8625669B2 (en) Predicting motion vectors for fields of forward-predicted interlaced video frames
KR101197506B1 (ko) 비디오 유닛 내의 경계 아티팩트 정정
US8514939B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8107531B2 (en) Signaling and repeat padding for skip frames
US6108039A (en) Low bandwidth, two-candidate motion estimation for interlaced video
US20110176614A1 (en) Image processing device and method, and program
JP4527677B2 (ja) 動画像符号化方法、動画像符号化装置、動画像符号化プログラム
US20110103486A1 (en) Image processing apparatus and image processing method
JP2008160877A (ja) 動画像の符号化方法および復号化方法
US20050276331A1 (en) Method and apparatus for estimating motion
JP2005510984A (ja) デジタルビデオコンテンツのためのピクチャレベルの適応フレーム／フィールド符号化
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP2006100871A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2002010267A (ja) 動きベクトル変換装置及び方法
US20110142127A1 (en) Image Processing Device
JP4779207B2 (ja) 動きベクトル変換装置及び動きベクトル変換方法
JP3407726B2 (ja) 符号化方法、符号化装置、および、コンピュータ読み取り可能な記録媒体
JP2001309389A (ja) 動きベクトル変換装置及び方法
JP2003235047A (ja) 動画像の符号化方法および復号化方法
JPH11317954A (ja) 動画像の符号化方法、及び、動画像の復号化装置
JPH11317955A (ja) 記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120313

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130128

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20130522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130722

R150 Certificate of patent or registration of utility model

Ref document number: 5325638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250