JP2011029863A - 復号化処理方法 - Google Patents

復号化処理方法 Download PDF

Info

Publication number
JP2011029863A
JP2011029863A JP2009172670A JP2009172670A JP2011029863A JP 2011029863 A JP2011029863 A JP 2011029863A JP 2009172670 A JP2009172670 A JP 2009172670A JP 2009172670 A JP2009172670 A JP 2009172670A JP 2011029863 A JP2011029863 A JP 2011029863A
Authority
JP
Japan
Prior art keywords
decoding
region
prediction
image
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009172670A
Other languages
English (en)
Other versions
JP5216710B2 (ja
Inventor
Shohei Saito
昇平 齋藤
Tomokazu Murakami
智一 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Consumer Electronics Co Ltd
Original Assignee
Hitachi Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Consumer Electronics Co Ltd filed Critical Hitachi Consumer Electronics Co Ltd
Priority to JP2009172670A priority Critical patent/JP5216710B2/ja
Priority to US12/788,954 priority patent/US20110019740A1/en
Priority to CN201010194854XA priority patent/CN101964908B/zh
Publication of JP2011029863A publication Critical patent/JP2011029863A/ja
Application granted granted Critical
Publication of JP5216710B2 publication Critical patent/JP5216710B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】
既存の符号化規格により生成した予測画像と、復号画像同士で動き探索処理を実施して新たに生成した画像とを領域単位で切り替えて符号化する方法では、どちらの画像を使用するかの判定情報が新たに必要となり、入力映像によっては従来規格よりも圧縮効率が低下する場合がある。
【解決手段】
符号化対象となるフレームまたは過去に符号化したフレーム内の符号化情報に基づいて、既存の符号化規格により生成した予測画像を使用するのか、復号画像同士で動き探索処理を行って新たに生成した画像を使用するのかを決定することで、判定情報を不要とし、圧縮効率の改善を図る。
【選択図】図２

Description

本発明は動画像を符号化する動画像符号化技術および動画像を復号化する動画像復号化技術に関する。
従来、このような分野の技術としては、MPEG（Moving Picture Experts Group）に代表される国際標準符号化規格が知られている。そして、さらに画像データを削減するため、復号画像同士で動き探索処理を行って生成した予測画像と既存の符号化技術と同様の方法により生成した予測画像とを併用することにより、圧縮率を向上させる技術が知られている(特許文献１)。
特開2008-154015号公報
しかし、既存の技術では、復号画像同士で動き探索処理を行って生成した予測画像と、既存の符号化規格と同様の方法により生成した予測画像とのうちいずれの予測画像に基づいて符号化、復号化処理を行うのかについての判定情報が別途必要となり、入力画像情報によっては従来規格よりも圧縮効率が低下する場合がある。本発明は、上記課題を鑑みてなされたものであり、その目的は、動画像の符号化、復号化処理においてより符号量を低減することである。
上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されるように構成すればよい。
本発明により、従来方式よりも少ない符号量で映像信号を記録、伝送することが可能となる。
実施例１に係る動画像符号化装置のブロック図の一例 実施例１に係る符号化部のブロック図の一例 実施例１に係る復号画像動き探索の概念図 実施例１に係る予測画像決定処理の概念図 実施例１に係る動画像復号化装置のブロック図の一例 実施例１に係る復号化部のブロック図の一例 実施例１に係る復号化処理のフローチャート 実施例２に係る予測画像決定処理の概念図 実施例２に係る復号化処理のフローチャート 実施例３に係る予測画像決定処理の概念図 実施例３に係る復号化処理のフローチャート 実施例４に係る復号画像動き探索の概念図 実施例４に係る予測画像決定処理の概念図 実施例４に係る予測画像決定処理の概念図
図1は、本実施例に係る動画像符号化装置の構成を示したものである。
本実施例に係る動画像符号化装置は、画像データを入力する入力部１０１と、入力画像データを小領域に分割する領域分割部１０２と、領域分割部１０２にて分割した画像データに対して符号化処理、局所復号化処理を行う符号化部１０３と、符号化部１０３にて符号化した画像データを可変長符号化する可変長符号化部１０４とを有する。
本実施例に係る動画像符号化装置の各処理部の動作についてさらに詳しく説明する。
入力部１０１では、入力画像データを符号化する順番に並べ変える。順番の並べ替えは、ピクチャが画面内予測ピクチャ（Iピクチャ）または片方向予測ピクチャ(Pピクチャ)または双方向予測ピクチャ(Bピクチャ)のうちいずれのピクチャであるかによって、表示順から符号化順に並べ替える。
領域分割部１０２では、符号化対象フレームを小領域に分割する。分割する小領域の形状は、正方形、長方形領域のようなブロック単位でも、watershed法のような手法を用いて抽出したオブジェクト単位でもよい。また分割する小領域の大きさは、１６×１６画素のような既存符号化規格で採用されている大きさでも、６４×６４画素のような大きなサイズでもよい。
符号化部１０３については後述する。
可変長符号化部１０４では、符号化部１０３にて符号化した画像データを可変長符号化する。
図２を用いて符号化部１０３について説明する。
符号化部１０３は、領域分割部１０２にて分割した画像データと補間予測画像決定部２１１にて決定した予測画像データとの差分画像データを生成する差分器２０１と、差分器２０１で生成した差分画像データを周波数変換、量子化する周波数変換・量子化部２０２と、周波数変換・量子化部２０２で周波数変換、量子化した画像データを逆量子化、逆周波数変換する逆量子化・逆周波数変換部２０３と、逆量子化・逆周波数変換部２０３で逆量子化、逆周波数変換した画像データと補間予測画像決定部２１１にて決定した予測画像データとを加算する加算器２０４と、加算器２０４で加算した画像データを記憶する復号画像記憶部２０５と、符号化対象領域の周辺領域の画素から画面内予測画像を生成する画面内予測部２０６と、符号化対象フレームとは時間的に異なるフレーム内の領域から、符号化対象領域と最も近似している領域を検出して画面間予測画像を生成する画面間予測部２０７と、画面内予測画像と画面間予測画像とのうち符号化効率が高い方の予測画像を選択する画面内/画面間予測画像選択部２０８と、復号画像記憶部２０５に記憶されている時間的に異なる復号画像同士で最も近似している領域同士を検出し、動き探索を行う復号画像動き探索部２０９と、復号画像動き探索部２０９にて探索した動き情報に基づいて補間予測画像を生成する補間予測画像生成部２１０と、補間予測画像生成部２１０にて生成した補間予測画像と、画面内/画面間予測画像選択部２０８にて選択した画面内予測画像または画面間予測画像とのうち符号化対象領域の予測画像としていずれの予測画像を用いるのかを決定する補間予測画像決定部２１１とを有する。
符号化部１０３の各処理部の動作についてさらに詳しく説明する。
周波数変換・量子化部２０２では、差分画像をＤＣＴ(Discrete Cosine transform)やウェーブレット変換等を用いて周波数変換し、周波数変換後の係数を量子化する。
逆量子化・逆周波数変換部２０３では、周波数変換・量子化部２０２にて行った処理とは逆の処理を行う。
次に、逆量子化・逆周波数変換部２０３で逆量子化、逆周波数変換した画像データと補間予測画像決定部２１１にて決定した予測画像とを加算器２０４にて加算して、加算した画像データを復号画像記憶部２０５にて記憶する。
画面内予測部２０６では、復号画像記憶部２０５に記憶した復号済みの、符号化対象領域の周辺の領域の画素を用いて画面内予測画像を生成する。
画面間予測部２０７では、復号画像記憶部２０５にて記憶した復号済みフレーム内の画像領域のうち符号化対象領域と最も近似している領域をマッチング処理により検出し、その検出した領域の画像を画面間予測画像とする。
復号画像動き探索部２０９では、復号画像記憶部２０５にて記憶された復号画像に対して次の処理を行う。すなわち、図３に示すように符号化対象フレームnの前後のフレーム内の画素fｎ-1(x-dx,y-dy)、fｎ+1(x+dx,y+dy)を用いて、数式１に示す予測誤差絶対値和SADｎ(x,y)を求める。ここで、Ｒは動き探索時の領域サイズである。
Figure 2011029863
 次に数式１のSADｎ(x,y)が最小となる動き探索領域Ｒ内の座標(dx,dy)を求めて動きベクトルを決定する。
補間予測画像生成部２１０では、次の方法にて補間予測画像を生成する。すなわち、復号画像動き探索部２０９にて求めた動きベクトルを用いて、数式２のように符号化対象フレームの前後の符号化済みのフレーム内の画素fｎ-1(x-dx,y-dy)、fｎ+1(x+dx,y+dy)から符号化対象領域の画素fｎ(x,y)を生成する。
Figure 2011029863
 符号化対象領域が１６×１６画素のマクロブロックの場合、符号化対象領域の補間予測画像は、数式３で表される。
Figure 2011029863
 次に、補間予測画像と画面内予測画像または画面間予測画像とのうちいずれの予測画像を符号化対象領域の予測画像として用いるのかを補間予測画像決定部２１１にて決定する。
図４を用いて、補間予測画像決定部２１１の詳細について説明する。ここで、図４は、補間予測画像を有する領域と画面内予測画像または画面間予測画像を有する領域とが混在する場合の例を示している。
まず、符号化対象領域をＸとすると、Ｘの周辺の領域Ａ、Ｂ、Ｃ（Ｃの動きベクトルが取得できない場合はＤの動きベクトルで代用する）の動きベクトル（ＭＶＡ、ＭＶＢ、ＭＶＣまたはＭＶＤ）の類似度を求める。ここで、Ｘの周辺の領域Ａ、Ｂ、Ｃの動きベクトルは、復号画像動き探索部２０９にて生成した動きベクトルまたは画面間予測部２０７にて生成した動きベクトルのいずれかであり、Ｘの周辺の領域が補間予測画像を有する領域である場合（Ａ、Ｂ、Ｄ）は、復号画像動き探索部２０９にて生成した動きベクトルを用いる。一方、Ｘの周辺の領域が画面内予測画像または画面間予測画像を有する領域であるの場合(Ｃ)は、画面間予測部２０７にて生成した動きベクトルを用いる。
Ｘの周辺の領域の動きベクトルの類似度として、Ａ、Ｂ、Ｃの各動きベクトルの差（|MVA-MVB|、|MVB-MVC|、|MVC-MVA|）を求める。
この動きベクトルの差がすべて閾値ＴＨ１以下である場合には、符号化対象領域Ｘの周辺の領域の動きベクトルは類似しているものとみなして、符号化対象領域Ｘの予測画像として、画面内予測画像または画面間予測画像を用いる。
一方、Ａ、Ｂ、Ｃの各動きベクトルの差が1つでも閾値ＴＨ１を越える場合には、符号化対象領域Ｘの周辺の領域の動きベクトルは類似していないものとみなして、符号化対象領域Ｘの予測画像として補間予測画像を用いる。
図５は、本実施例に係る動画像復号化装置の構成を示したものである。
本実施例に係る動画像復号化装置は、符号化ストリームを入力する入力部５０１と、入力された符号化ストリームに対して可変長復号処理を行う可変長復号部５０２と、可変長復号化した画像データを復号化する復号化部５０３と、復号化した画像データを出力する出力部５０４とを有する。
本実施例に係る動画像復号化装置の各処理部の構成、動作については、復号化部５０３の構成、動作を除いて、本実施例に係る動画像符号化装置の対応する各処理部の構成、動作と同様であるため、これらについては説明を省略する。
図６を用いて、復号化部５０３について説明する。
復号化部５０３は、可変長復号部５０２で可変長復号処理した画像データの構文解析を行う構文解析部６０２と、構文解析部６０２で解析した画像データを逆量子化、逆周波数変換する逆量子化・逆周波数変換部６０３と、逆量子化・逆周波数変換部６０３が逆量子化、逆周波数変換した画像データと補間予測画像決定部６０７で決定した予測画像データとを加算する加算器６０４と、加算器６０４で加算した画像データを記憶する復号画像記憶部６０５と、構文解析部６０２で解析した符号化モード情報に基づいて、復号画像記憶部６０５にて記憶した画像データを用いて画面内予測画像と符号化ストリームに含まれる動き情報を用いた画面間予測画像とのうちいずれかを生成する予測画像生成部６０６と、予測画像生成部６０６にて生成した予測画像と補間予測画像生成部６０９にて生成した、復号化側で行う動き探索に基づく補間予測画像とのうちいずれの予測画像を復号化対象領域の予測画像として用いるのかを決定する補間予測画像決定部６０７と、復号画像記憶部６０５に記憶されている時間的に異なる復号画像同士で最も近似している領域同士を検出し、動き探索を行う復号画像動き探索部６０８と、復号画像動き探索部６０８にて探索した動き情報に基づいて補間予測画像を生成する補間予測画像生成部６０９とを有する。
図７は、本実施例に係る復号化処理の流れを示したものである。
まず、符号化ストリームに含まれる画像データに対して、可変長復号部５０２にて可変長復号化処理を行う（S７０１）。次に構文解析部６０２にて、復号したストリームデータの構文分けを行い、予測誤差データを逆量子化・逆周波数変換部６０３に、動き情報を予測画像生成部６０６および補間予測画像決定部６０７に送る（S７０２）。次に、逆量子化・逆周波数変換部６０３にて予測誤差データに対して逆量子化、逆周波数変換処理を行う(S７０３)。次に補間予測画像決定部６０７にて、復号側で行う動き探索に基づく補間予測画像と、画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像と、のうちいずれの予測画像を復号化対象領域の予測画像として用いるのかを決定する（S７０４）。なお、当該決定処理は符号化側の補間予測画像決定部２１１の処理と同様の方法で行えばよい。また、当該決定処理は、復号化対象領域の予測画像として復号側で行う動き探索に基づく補間予測画像を用いるのか、それ以外の方法で生成した予測画像を復号化対象領域の予測画像として用いるのか、を決定する処理である。
復号化対象領域の動きベクトルと復号化対象領域の周辺領域の動きベクトルとが類似している場合は、画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を復号化対象領域の予測画像として用いることを決定し、類似していない場合は、復号側で行う動き探索に基づく補間予測画像を復号化対象領域の予測画像として用いることを決定する。ここで、当該決定処理は、復号化対象領域と同フレーム内の領域であって、復号化対象領域に隣接する領域の動きベクトルの類似度に基づいてなされる。
復号化対象領域の予測画像として復号側で行う動き探索に基づく補間予測画像を用いることを決定した場合には、復号画像動き探索部６０８にて符号化側の復号画像動き探索部２０９の処理と同様の方法で動き探索処理を行う（S７０５）。さらに、補間予測画像生成部６０９にて符号化側の補間予測画像生成部２１０と同様の方法で補間予測画像を生成する（S７０６）。
一方、補間予測画像決定部６０７にて、復号化対象領域の予測画像として画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いることを決定した場合には、予測画像生成部６０６にて、画面内予測画像または符号化ストリームに含まれる動き情報を用いた画面間予測処理により画面間予測画像を生成する(S７０７)。
本実施例において、符号化/復号化処理における最初の領域(すなわち、符号化/復号化対象フレームの左上端に位置する領域、または当該領域から所定の範囲に位置する領域であって動き探索範囲内の領域)は、復号画像動き探索部２０９、６０８において動き探索処理を行うことができないため、既存の符号化/復号化処理と同様の処理を行ってもよい。
また、補間予測画像決定部２１１、６０７にて、符号化/復号化対象領域の予測画像として、補間予測画像を用いることを決定した場合には、当該補間予測画像を直接復号画像として復号画像記憶部２０５、６０５に記憶することもできる。この場合、原画像と補間予測画像との差分データを符号化側から復号化側に送信しないため、差分データの符号量を削減することが可能となる。
さらに、本実施例では符号化/復号化対象フレームをＢピクチャ１枚の場合について説明したが、Ｂピクチャの枚数が複数枚の場合にも適用可能である。
また、動き探索処理に関して、本実施例では全探索の例を述べたが、処理量を削減するため、簡略化した動き探索方法を用いても良い。また、複数の動き探索方法を予めエンコーダ側、デコーダ側で用意して、どの探索方法を用いたかをフラグ等によって伝送してもよい。レベルやプロファイル等の情報によって、動き探索方法を選択するようにしてもよい。探索範囲についても同様であり、探索範囲を伝送してもよいし、予め複数用意してフラグを伝送してもよいし、レベルやプロファイル等で選択してもよい。
また、本実施例における符号化/復号化処理を実行するステップ手順を記録したプログラムを作成することによりコンピュータで動作させることができる。なお、このような符号化/復号化処理を実行するプログラムを、インターネット等のネットワークを介してユーザがダウンロードして使用することができる。また記録媒体に記録して使用することができる。またこのような記録媒体としては、光ディスク、光磁気ディスク、ハードディスク等の記録媒体に広く適用することができる。
ここで、本実施例における類似度は、対象領域に隣接する、既に符号化/復号化された複数の領域の動きベクトルの分散値に基づいて算出してもよい。
また、本実施例と他の実施例とは組合わせても良い。
以上、本実施例により、符号化/復号化対象領域の予測画像として、補間予測画像と、画面内予測画像または画面間予測画像と、のうちいずれの予測画像を用いて符号化/復号化処理を行うのかを決定するための情報を符号化側から復号化側に伝送する必要がなくなり、圧縮率を向上できる。
実施例１では、符号化部１０３および復号化部５０３の補間予測画像決定部２１１、６０７において、動きベクトルの類似度を用いて符号化/復号化対象領域の予測画像の決定処理を行った。本実施例では、動きベクトルの類似度に代えて、補間予測画像を有する、符号化/復号化対象領域の周辺の領域の個数に応じて符号化/復号化対象領域の予測画像の決定処理を行う。
図８を用いて、本実施例に係る動画像符号化装置および動画像復号化装置における補間予測画像決定部の決定処理について説明する。なお、本実施例に係る動画像符号化装置および動画像復号化装置の構成、動作は、補間予測画像決定部の構成、動作を除いて実施例１の動画像符号化装置および動画像復号化装置の構成、動作と同様であるため、これらについては説明を省略する。
図８に符号化/復号化対象領域Ｘの周辺領域(Ａ、Ｂ、Ｃ、Ｄ)の予測画像が補間予測画像であるか、画面内予測画像または画面間予測画像であるか、を示した分布図の一例を示す。まず、符号化/復号化対象領域の周辺の領域の予測画像がすべて補間予測画像である場合(図８(a))、補間予測画像決定部にて符号化/復号化対象領域の予測画像として補間予測画像を用いることを決定する。なぜなら、対象領域の予測画像も補間予測画像である確率が高いためである。
一方、符号化/復号化対象領域の周辺の領域の予測画像がすべて画面内予測画像または画面間予測画像である場合（図８(ｂ)）、補間予測画像決定部にて符号化/復号化対象領域の予測画像として画面内予測画像または画面間予測画像を用いることを決定する。なぜなら、符号化/復号化対象領域の予測画像も画面内予測画像または画面間予測画像である確率が高いためである。
上記以外の場合（図８（c））には、周辺領域Ａ、Ｂ、Ｃ（Ｃがない場合にはＤで代用する）の予測画像のうち多く存在する予測画像を符号化/復号化対象領域の予測画像として用いることを決定する。例えば図８（c）の例では、補間予測画像を有する領域が２領域（Ａ、Ｂ）、画面内予測画像または画面間予測画像を有する領域が１領域(Ｃ)であるので、符号化/復号化対象領域Ｘの予測画像として補間予測画像用いることを決定する。
図９は、実施例２に係る復号化処理の流れを示した図である。
本実施例に係る復号化処理は、実施例１の動きベクトルの類似度に基づいた、復号化側で行う動き探索に基づく補間予測画像と、画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像との決定処理(Ｓ７０４)に代えて、復号化側で行う動き探索に基づく補間予測画像を有する、復号化対象領域の周辺の領域の個数に基づく決定処理(Ｓ９０４)を行うものであり、当該Ｓ９０４の決定処理以外の処理は実施例１に示した復号化処理と同様であるため、これらの説明は省略する。なお、当該決定処理は、復号化対象領域の予測画像として復号側で行う動き探索に基づく補間予測画像を用いるのか、それ以外の方法で生成した予測画像を復号化対象領域の予測画像として用いるのか、を決定する処理である。
Ｓ９０４の決定処理では、復号化対象領域の周辺の領域の予測画像がすべて復号化側で行う動き探索に基づく補間予測画像である場合、補間予測画像決定部にて補間予測画像を用いることを決定する。なぜなら、復号化対象領域の予測画像も補間予測画像である確率が高いためである。
一方、復号化対象領域の周辺の領域の予測画像がすべて画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像である場合、補間予測画像決定部にて当該予測画像を用いることを決定する。なぜなら、復号化対象領域も画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像である確率が高いためである。
上記以外の場合には、補間予測画像決定部にて、周辺領域Ａ、Ｂ、Ｃ（Ｃがない場合にはＤで代用する）の予測画像のうち多く存在する予測画像を復号化対象領域の予測画像として用いることを決定する。なぜなら、復号化対象領域もその予測画像である確率が高いためである。
ここで、本実施例において周辺領域Ａ、Ｂ、Ｃが取得できるまでは、実施例１と同様の方法で予測画像の決定処理を行ってもよいし、別の方法を用いてもよい。
また、本実施例において、補間予測画像決定部にて補間予測画像を符号化/復号化対象領域の予測画像として用いることを決定した場合には、当該補間予測画像を直接復号画像として復号画像記憶部２０５、６０５に記憶することもできる。この場合、原画像と補間予測画像との差分データは符号化側から復号化側に送信しないため、差分データの符号量を削減することが可能となる。
さらに、本実施例において、符号化、復号化処理における最初の領域(すなわち、符号化/復号化対象フレームの左上端に位置する領域、または当該領域から所定の範囲に位置する領域であって動き探索範囲内の領域)は、復号画像動き探索部２０９、６０８において動き探索処理を行うことができないため、既存の符号化、復号化処理と同様の符号化、復号化処理を行ってもよい。
また、本実施例では符号化/復号化対象フレームをＢピクチャ１枚の場合について説明したが、Ｂピクチャの枚数が複数枚の場合にも適用可能である。
さらに、動き探索処理に関して、本実施例では全探索の例を述べたが、処理量を削減するため、簡略化した動き探索方法を用いても良い。また、複数の探索方法を予めエンコーダ側、デコーダ側で用意して、どの探索方法を用いたかをフラグ等によって伝送してもよい。レベルやプロファイル等の情報によって、動き探索方法を選択するようにしてもよい。探索範囲についても同様であり、探索範囲を伝送してもよいし、予め複数用意してフラグを伝送してもよいし、レベルやプロファイル等で選択してもよい。
さらに、本実施例における符号化/復号化処理を実行するステップ手順を記録したプログラムを作成することによりコンピュータで動作させることができる。なお、このような符号化/復号化処理を実行するプログラムを、インターネット等のネットワークを介してユーザがダウンロードして使用することができる。また記録媒体に記録して使用することができる。またこのような記録媒体としては、光ディスク、光磁気ディスク、ハードディスク等の記録媒体に広く適用することができる。
なお、本実施例と他の実施例とは組合わせても良い。
以上、本実施例により、符号化/復号化対象領域の予測画像として補間予測画像と、画面内予測画像または画面間予測画像と、のうちいずれの予測画像を用いるのかを決定するための情報を符号化側から復号化側に伝送する必要がなくなり、圧縮率を向上できる。さらに、動きベクトルの類似度に代えて補間予測画像を有する、符号化/復号化対象領域の周辺の領域の個数に応じて、上記補間予測画像と画面内予測画像または画面間予測画像とのうちいずれの予測画像を符号化/復号化対象領域の予測画像として用いるのかを決定するため、より好適に符号化/復号化処理行うことができる。
実施例１、２では、補間予測画像決定部において、符号化/復号化対象領域の周辺の領域の動きベクトルの類似度に基づいて、または補間予測画像を有する、符号化/復号化対象領域の周辺の領域の個数に基づいて、符号化/復号化対象領域の予測画像についての決定処理を行った。本実施例では、符号化/復号化対象フレームとは異なる既に符号化、復号化されたフレームの符号化情報を用いて符号化/復号化対象領域の予測画像についての決定処理を行う。すなわち、符号化/復号化対象領域が存在するフレームとは時間的に異なる既に符号化、復号化されたフレーム内の領域であって、符号化/復号化対象領域と同座標にある領域(以下、アンカー領域という。)と該領域に隣接する領域の動きベクトルの類似度を用いて決定処理を行う。
なお、本実施例に係る動画像符号化装置、動画像復号化装置の構成、動作は、補間予測画像決定部を除いて実施例１、２の動画像符号化装置、動画像復号化装置の構成、動作と同様であるため、これらについては説明を省略する。
図１０と表1を用いて本実施例に係る動画像符号化装置、動画像復号化装置における補間予測画像決定部の決定処理について説明する。
図１０は符号化/復号化対象フレームとその前後フレームとピクチャタイプとの位置関係を示した図である。本実施例では、後フレームはすべて画面内予測画像または画面間予測画像を用いて符号化、復号化処理されているものとする。
また、表1はアンカー領域の符号化モードと符号化/復号化対象領域の予測画像との関係をまとめたものである。
Figure 2011029863
 まず、アンカー領域の符号化モードの種類を判定する。
アンカー領域の符号化モードが画面内予測モードの場合には、補間予測画像決定部において、補間予測画像を符号化/復号化対象領域の予測画像として用いることを決定する。なぜなら、アンカー領域の動きベクトルを用いて符号化/復号化対象領域の動きベクトルを予測すると、符号化モードが画面内予測であるときには、アンカー領域の動きベクトルが０となり動きベクトルの予測精度が低下する。そのため、復号画像同士で動き探索を行って得た動きベクトルを用いて生成する上記補間予測画像を選択した方が有利となるからである。
一方、アンカー領域の符号化モードが画面内予測画像ではない場合には、アンカー領域の周辺領域の動きベクトルに基づいて符号化/復号化対象領域の予測画像を、補間予測画像とするか画面内予測画像または画面間予測画像とするかを決定する。
例えば図１０に示すアンカー領域xの動きベクトルmvxと、その周辺の領域(a、ｂ・・・h)の各動きベクトル（mva、mvb・・・mvh）との差(mva-mvx、mvb-mvx・・・mvh-mvx)を算出し、この動きベクトルの差が閾値ＴＨ１以下である領域が半数以上ならば、アンカー領域xの動きベクトルmvxと周辺領域の各動きベクトルは類似しているものとみなし、符号化/復号化対象フレーム上でアンカー領域と同座標にある対象領域Ｘの動きベクトルとその周辺の領域の動きベクトルとは類似しているものとみなす。この場合には、補間予測画像決定部において画面内予測画像または画面間予測画像を符号化/復号化対象領域の予測画像として決定する。
そして、アンカー領域の符号化モードが画面内予測モードでない場合であって、アンカー領域の動きベクトルmvxと周辺領域の各動きベクトルとの差が閾値ＴＨ１以下である領域が半数以下である場合は、アンカー領域xの動きベクトルmvxと周辺領域の各動きベクトルとは類似していないものとみなし、符号化/復号化対象フレーム上でアンカー領域と同座標にある符号化/復号化対象領域Ｘの動きベクトルとその周辺領域の動きベクトルとは類似していないものとみなす。この場合には、補間予測画像決定部において補間予測画像を符号化/復号化対象領域の予測画像として決定する。
図１１は、実施例３に係る復号化処理の流れを示した図である。
本実施例に係る復号化処理は、実施例１の補間予測画像決定部における、符号化/復号化対象領域の周辺の領域の動きベクトルの類似度に基づく決定処理(Ｓ７０４)に代えて、アンカー領域の符号化モードが画面内予測モードであるか否かの判定ステップ(Ｓ１１０４)とアンカー領域の動きベクトルとその周辺領域の動きベクトルとが類似するか否かの判定ステップ(Ｓ１１０５)とを有する。ここで、当該Ｓ１１０４、１１０５の判定処理以外の処理は実施例１に示した処理と同様であるため、説明を省略する。なお、当該決定処理は、復号化対象領域の予測画像として復号側で行う動き探索に基づく補間予測画像を用いるのか、それ以外の方法で生成した予測画像を復号化対象領域の予測画像として用いるのか、を決定する処理である。
まず、アンカー領域の符号化モードの種類を判定する(Ｓ１１０４)。
アンカー領域の符号化モードが画面内予測モードの場合には、復号化対象領域の予測画像として復号化側で行う動き探索に基づく補間予測画像を用いることを決定し、動きベクトル探索処理を行う（S７０５）。
アンカー領域の符号化モードが画面内予測モードでない場合は、Ｓ１１０５にてアンカー領域の動きベクトルとアンカー領域の周辺領域の動きベクトルとが類似するか否かの判定を行う。当該判定処理は上述した判定方法で行えばよい。
アンカー領域の動きベクトルとアンカー領域の周辺の領域の動きベクトルとが類似すると判定した場合、復号化対象領域の予測画像として画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いることを決定し、Ｓ７０７にて予測画像を生成する。
アンカー領域の動きベクトルとアンカー領域の周辺領域の動きベクトルとが類似しないと判定した場合、復号化対象領域の予測画像として復号化側で行う動き探索に基づく補間予測画像を用いることを決定し、動きベクトル探索処理を行う（S７０５）。
以上の例では、補間予測画像決定部の処理において、アンカー領域の動きベクトルとその周辺領域の動きベクトルとの差に基づいて類似度を算出し、符号化/復号化対象領域の予測画像を決定したが、アンカー領域ｘとその周辺領域の動きベクトルの分散値を用いて類似度を算出し、符号化/復号化対象領域の予測画像を決定しても良い。すなわち、アンカー領域とその周辺領域の動きベクトル(mva、mvｂ・・・mvh)の動きベクトルの分散値を計算し、分散値が閾値ＴＨ２以下である領域が半数以上ならば、符号化対象領域Ｘとその周辺領域との動きの類似度が高いとみなして補間予測画像決定部において画面内予測画像または画面間予測画像を符号化/復号化対象領域の予測画像として用いることを決定する。
一方、アンカー領域とその周辺領域の各動きベクトルの分散値が閾値ＴＨ２以下である領域が半数以下である場合には符号化/復号化対象領域Ｘとその周辺領域の動きベクトルの類似度が低いとみなして補間予測画像決定部において、符号化/復号化対象領域の予測画像として補間予測画像を用いることを決定する。
ここで、本実施例において、補間予測画像決定部にて、符号化/復号化対象領域の予測画像として補間予測画像を用いることを決定した場合には、当該補間予測画像を直接復号画像として復号画像記憶部２０５、６０５に記憶することもできる。この場合、原画像と補間予測画像との差分データは符号化側から復号化側に送信しないため、差分データの符号量を削減することが可能となる。
また、本実施例において、符号化、復号化処理における最初の領域(すなわち、符号化/復号化対象フレームの左上端に位置する領域、または当該領域から所定の範囲に位置する領域であって動き探索範囲内の領域)は、復号画像動き探索部２０９、６０８において動き探索処理を行うことができないため、既存の符号化、復号化処理と同様の符号化、復号化処理を行えばよい。
また、本実施例では符号化/復号化対象フレームをＢピクチャ１枚の場合について説明したが、Ｂピクチャの枚数が複数枚の場合にも適用可能である。
さらに、動き探索に関して、本実施例では全探索の例を述べたが、処理量を削減するため、簡略化した動き探索方法を用いても良い。また、複数の探索方法を予めエンコーダ側、デコーダ側で用意して、どの探索方法を用いたかをフラグ等によって伝送してもよい。レベルやプロファイル等の情報によって、動き探索方法を選択するようにしてもよい。探索範囲についても同様であり、探索範囲を伝送してもよいし、予め複数用意してフラグを伝送してもよいし、レベルやプロファイル等で選択してもよい。
さらに、本実施例における符号化/復号化処理を実行するステップ手順を記録したプログラムを作成することによりコンピュータで動作させることができる。なお、このような符号化/復号化処理を実行するプログラムを、インターネット等のネットワークを介してユーザがダウンロードして使用することができる。また記録媒体に記録して使用することができる。またこのような記録媒体としては、光ディスク、光磁気ディスク、ハードディスク等の記録媒体に広く適用することができる。
なお、本実施例と他の実施例とは組合わせても良い。
以上、本実施例により、符号化/復号化対象フレームの符号化、復号化情報を用いずに、符号化/復号化対象領域の予測画像として補間予測画像と、画面内予測画像または画面間予測画像と、のうちいずれかを決定することが可能となるため、ハードウェアパイプライン処理等で、符号化/復号化対象領域周辺の符号化、復号化情報が取得できない場合であっても、予測画像決定処理が可能となる。
実施例１〜３では、対象フレームがＢピクチャである場合の例について説明した。本実施例では、対象フレームがＰピクチャの場合の例について説明する。本実施例の動画像符号化装置、動画像復号化装置の構成、動作は、復号画像動き探索部、補間予測画像生成部および補間予測画像決定部の構成、動作を除いて実施例１の動画像符号化装置、動画像復号化装置と同様であるため、これらについては説明を省略する。なお、本実施例における予測画像の決定処理は、実施例１〜３と同様、符号化/復号化対象領域の予測画像として補間予測画像を用いるのか、それ以外の方法で生成した予測画像を符号化/復号化対象領域の予測画像として用いるのか、を決定する処理である。
図１２は、Ｐピクチャ１２０５の補間画像生成方法について示したものである。
まず、数式４に示す対象フレーム（１２０５）の直近の前フレーム２枚（１２０２、１２０３）の予測誤差絶対値和ＳＡＤｎ(ｘ,ｙ)を求める。具体的には前フレーム１２０３上の画素値fn-2(x-2dx,y-2dy)と、２つ前のフレーム１２０２上の画素値fn-3(x-3dx,y-3dy)とを用いる。ここでＲは動き探索時の領域サイズである。
Figure 2011029863
 ここで、前フレーム１２０３上の画素と、２つ前のフレーム１２０２上の画素は、後フレーム１２０５上の補間対象画素と時空間座標上で同一直線上に位置するように決定する。
次に数式４が最小となる動き探索領域Ｒ内の座標(ｄｘ,ｄｙ)を求めて動きベクトルを決定する。
補間予測画像生成部では、後述する方法にて補間予測画像を生成する。すなわち、復号画像動き探索部にて求めた動きベクトル(ｄｘ,ｄｙ)を用いて、数式５のように対象フレームより前の符号化、復号化済みフレーム内の画素fn-2(x-2dx,y-2dy)、fn-3(x-3dx,y-3dy)から外挿補間により対象領域の画素fn(x,y)を生成する。
Figure 2011029863
 対象領域が１６×１６画素のマクロブロックの場合、アンカー領域の補間画像は、数式６で表される。
Figure 2011029863
 補間予測画像と、画面内予測画像または画面間予測画像との決定は、実施例１〜３と同様の方法により行えばよい。
続いて、図１３を用いて対象フレームがＰピクチャである場合の本実施例における補間予測画像決定部の処理について説明する。また、表２に本実施例におけるアンカー領域の符号化モードと対象領域の予測画像の関係をまとめる。
Figure 2011029863
 図１３は対象フレームと前フレームにおける補間予測画像と、画面内予測画像または画面間予測画像との領域分布の一例を示した図である。符号化/復号化対象フレーム内の符号化/復号化対象領域をＸとすると、前フレームの領域x（アンカー領域）が空間的に同位置となる。
まず、本実施例では、アンカー領域の符号化モードの種類を判定する。例えば、アンカー領域の符号化モードが画面内予測モードの場合には、補間予測画像決定部において符号化/復号化対象領域の予測画像として補間予測画像を用いることを決定する。その理由は実施例３と同様の理由である。
一方、アンカー領域が画面内予測画像ではない場合には、アンカー領域とその周辺領域の動きベクトルに基づいて、符号化/復号化対象領域の予測画像として、補間予測画像と、画面内予測画像または画面間予測画像とのうちいずれを用いるのか決定する。例えば図１３に示すアンカー領域xの動きベクトルmvxとその周辺の領域(a、ｂ・・・h)の各動きベクトル（mva、mvb・・・mvh）との差(mva-mvx、mvb-mvx・・・mvh-mvx)を算出し、この動きベクトルの差が閾値ＴＨ１以下である領域が半数以上ならば、補間予測画像決定部において符号化/復号化対象領域の予測画像として画面内予測画像または画面間予測画像を用いることを決定する。
一方、アンカー領域とその周辺領域の各動きベクトルの差が閾値ＴＨ１以下である領域が半数以下である場合には補間予測画像決定部において符号化/復号化対象領域の予測画像として、補間予測画像を用いることを決定する。
次にアンカー領域と、補間予測画像を有する、アンカー領域の周辺の領域の個数に基づいて、符号化/復号化対象領域の予測画像を補間予測画像とするか、画面内予測画像または画面間予測画像とするか決定する方法について説明する。
図１４に本実施例におけるアンカー領域とその周辺の予測画像の分布例を示す。
アンカー領域とその周辺領域がすべて補間予測画像の場合(図１４(a))には、符号化/復号化対象領域の予測画像を補間予測画像とする。なぜなら、補間予測画像は、符号化/復号化対象領域の前後の復号画像同士で動き探索を行って生成されるため、アンカー領域周辺がすべて補間予測画像の場合には、符号化/復号化対象領域も補間予測画像となる確率が高いためである。
一方、アンカー領域とその周辺領域がすべて画面内予測画像または画面間予測画像の場合（図１４(ｂ)）には、符号化/復号化対象領域の予測画像を画面内予測画像または画面間予測画像とする。なぜなら、アンカー領域の周辺の領域の予測画像がすべて補間予測画像でない場合には、符号化/復号化対象領域の予測画像は補間予測画像となる確率が低いためである。
その他の場合（図１４(ｃ)）には、アンカー領域xとその周辺領域(a、ｂ、・・・h)のうち、最も多く存在する予測画像を符号化/復号化対象領域の予測画像とする。
なお、補間予測画像決定部の処理では、実施例３と同様にアンカー領域とその周辺領域の動きベクトルの分散値を用いても良い。
また、本実施例において、補間予測画像決定部にて、符号化/復号化対象領域の予測画像として補間予測画像を用いることを決定した場合には、当該補間予測画像を直接復号画像として復号画像記憶部２０５、６０５に記憶することもできる。この場合、原画像と補間予測画像との差分データは符号化側から復号化側に送信しないため、差分データの符号量を削減することが可能となる。
さらに、本実施例において、符号化、復号化処理における最初の領域(すなわち、符号化/復号化対象フレームの左上端に位置する領域、または当該領域から所定の範囲に位置する領域であって動き探索範囲内の領域)は、復号画像動き探索部２０９、６０８において動き探索処理を行うことができないため、既存の符号化、復号化処理と同様の符号化、復号化処理を行えばよい。
また、動き探索処理に関して、本実施例では全探索の例を述べたが、処理量を削減するため、簡略化した動き探索方法を用いても良い。また、複数の探索方法を予めエンコーダ側、デコーダ側で用意して、どの探索方法を用いたかをフラグ等によって伝送してもよい。レベルやプロファイル等の情報によって、動き探索方法を選択するようにしてもよい。探索範囲についても同様であり、探索範囲を伝送してもよいし、予め複数用意してフラグを伝送してもよいし、レベルやプロファイル等で選択してもよい。
さらに、本実施例における符号化/復号化処理を実行するステップ手順を記録したプログラムを作成することによりコンピュータで動作させることができる。なお、このような符号化/復号化処理を実行するプログラムを、インターネット等のネットワークを介してユーザがダウンロードして使用することができる。また記録媒体に記録して使用することができる。またこのような記録媒体としては、光ディスク、光磁気ディスク、ハードディスク等の記録媒体に広く適用することができる。
なお、本実施例と他の実施例とは組合わせても良い。
以上、本実施例によって、より精度の高い補間予測画像と、画面内予測画像または画面間予測画像と、の決定処理が可能となる。
１０１、５０１…入力部、１０２…領域分割部、１０３…符号化部、１０４…可変長符号化部、２０１…減算器、２０２…周波数変換・量子化部、２０３、６０３…逆量子化・逆周波数変換部、２０４、６０４…加算器、２０５、６０５…復号画像記憶部、２０６…画面内予測部、２０７…画面間予測部、２０８…画面内/画面間予測画像決定部、２０９、６０８…復号画像動き探索部、２１０、６０９…補間予測画像生成部、２１１、６０７…補間予測画像決定部、５０２…可変長復号部、６０２…構文解析部、６０６…予測画像生成部

Claims (14)

  1. 符号化ストリームを入力する入力ステップと、
    前記符号化ストリームを復号化し、復号画像データを生成する生成ステップと、
    前記復号画像データを出力する出力ステップと、を有し、
    前記生成ステップにおいて、
    画面内予測処理または前記符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いて復号化処理を行うのか、または既に復号化された複数のフレーム間の動きベクトル探索を復号側で行い、該動きベクトル探索に基づいて補間処理を行って生成した補間予測画像を用いて復号化処理を行うのか、を既に復号化された複数の所定の領域の動きベクトル間の類似度に基づいて前記領域単位で決定する
    ことを特徴とする復号化処理方法。
  2. 請求項１に記載の復号化処理方法であって、
    前記既に復号化された複数の所定の領域は、
    復号化対象領域と同フレーム内の領域であって、復号化対象領域に隣接する複数の領域である
    ことを特徴とする復号化処理方法。
  3. 請求項１に記載の復号化処理方法であって、
    前記既に復号化された複数の所定の領域は、
    復号化対象領域が存在するフレームとは時間的に異なる既に復号化されたフレーム内の領域であって、復号化対象領域と同座標にある領域と該領域に隣接する領域
    であることを特徴とする復号化処理方法。
  4. 符号化ストリームを入力する入力ステップと、
    前記符号化ストリームを復号化し、復号画像データを生成する生成ステップと、
    前記復号画像データを出力する出力ステップと、を有し、
    前記生成ステップにおいて、
    画面内予測処理または前記符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いて復号化処理を行うのか、または既に復号化された複数のフレーム間の動きベクトル探索を復号側で行い、該動きベクトル探索に基づいて補間処理を行って生成した補間予測画像を用いて復号化処理を行うのか、を既に復号化された複数の所定の領域のうち、補間予測画像を有する領域の個数に基づいて前記領域単位で決定する
    ことを特徴とする復号化処理方法。
  5. 請求項４に記載の復号化処理方法であって、
    前記生成ステップにおいて、
    前記既に復号化された複数の所定の領域の予測画像がすべて前記補間予測画像である場合、復号化対象領域の予測画像として補間予測画像を用いて復号化処理を行う
    ことを特徴とする復号化処理方法。
  6. 請求項４または５に記載の復号化処理方法であって、
    前記生成ステップにおいて、
    前記既に復号化された複数の所定の領域の予測画像がすべて画面内予測処理または前記符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像である場合、復号化対象領域の予測画像として該予測画像を用いて復号化処理を行う
    ことを特徴とする復号化処理方法。
  7. 請求項４乃至６に記載の復号化処理方法であって、
    前記生成ステップにおいて、
    前記既に復号化された複数の所定の領域の予測画像のうち、最も多く存在する予測画像を復号化対象領域の予測画像として復号化処理を行う
    ことを特徴とする復号化処理方法。
  8. 映像信号を復号化する復号化処理方法であって、
    符号化ストリームを入力する入力ステップと、
    画面内予測処理または前記符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いて復号化処理を行うのか、または既に復号化された複数のフレーム間の動きベクトル探索を復号側で行い、該動きベクトル探索に基づいて補間処理を行って生成した補間予測画像を用いて復号化処理を行うのか、を復号化対象領域が存在するフレームとは時間的に異なる既に復号化されたフレーム内の領域であって、復号化対象領域と同座標にある領域の符号化モードが画面内予測モードであるか否かの判定に基づいて、前記領域単位で決定し、該決定した予測画像に基づいて前記符号化ストリームを復号化し、復号画像データを生成する生成ステップと、
    前記復号画像データを出力する出力ステップと、
    を有することを特徴とする復号化処理方法。
  9. 請求項８に記載の復号化処理方法であって、
    前記生成ステップにおいて、
    前記判定の結果が画面内予測モードであることを示す場合は、前記補間予測画像を用いて復号化処理を行う
    ことを特徴とする復号化処理方法。
  10. 請求項８または９に記載の復号化処理方法であって、
    前記生成ステップにおいて、
    前記判定の結果が画面内予測モードでないことを示す場合は、前記復号化対象領域と同座標にある領域の動きベクトル情報と、前記復号化対象領域と同座標にある領域に隣接する領域の動きベクトル情報とが類似するか否かの情報である類似度を算出し、
    該類似度が類似することを示す場合は、画面内予測処理または前記符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いて復号化処理を行い、
    該類似度が類似しないことを示す場合は、前記補間予測画像を用いて復号化処理を行う
    ことを特徴とする復号化処理方法。
  11. 請求項１乃至３に記載の復号化処理方法であって、
    前記類似度は、復号化対象領域に隣接する既に復号化された領域の動きベクトル間の差分に基づいた値である
    ことを特徴とする復号化処理方法。
  12. 請求項１０に記載の復号化処理方法であって、
    前記類似度は、前記復号化対象領域と同座標にある領域の動きベクトルと、前記復号化対象領域と同座標にある領域に隣接する領域の動きベクトルとの差分に基づいた値である
    ことを特徴とする復号化処理方法。
  13. 請求項１乃至３に記載の復号化処理方法であって、
    前記類似度は、前記既に復号化された複数の所定の領域の動きベクトルの分散値に基づいた値である
    ことを特徴とする復号化処理方法。
  14. 請求項１０に記載の復号化処理方法であって、
    前記類似度は、前記復号化対象領域と同座標にある領域の動きベクトルと、前記復号化対象領域と同座標にある領域に隣接する領域の動きベクトルとの分散値に基づいた値である
    ことを特徴とする復号化処理方法。
JP2009172670A 2009-07-24 2009-07-24 復号化処理方法 Active JP5216710B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009172670A JP5216710B2 (ja) 2009-07-24 2009-07-24 復号化処理方法
US12/788,954 US20110019740A1 (en) 2009-07-24 2010-05-27 Video Decoding Method
CN201010194854XA CN101964908B (zh) 2009-07-24 2010-05-31 解码处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009172670A JP5216710B2 (ja) 2009-07-24 2009-07-24 復号化処理方法

Publications (2)

Publication Number Publication Date
JP2011029863A true JP2011029863A (ja) 2011-02-10
JP5216710B2 JP5216710B2 (ja) 2013-06-19

Family

ID=43497318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009172670A Active JP5216710B2 (ja) 2009-07-24 2009-07-24 復号化処理方法

Country Status (3)

Country Link
US (1) US20110019740A1 (ja)
JP (1) JP5216710B2 (ja)
CN (1) CN101964908B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011147130A (ja) * 2010-01-14 2011-07-28 Intel Corp 動き推定のための技術
JP2014027462A (ja) * 2012-07-26 2014-02-06 Canon Inc 画像符号化装置、画像符号化システム、画像符号化方法及びプログラム、画像復号装置、画像復号システム、画像復号方法及びプログラム
WO2014141964A1 (ja) * 2013-03-14 2014-09-18 ソニー株式会社 画像処理装置および方法
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
US9445103B2 (en) 2009-07-03 2016-09-13 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US9509995B2 (en) 2010-12-21 2016-11-29 Intel Corporation System and method for enhanced DMVD processing
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US10250885B2 (en) 2000-12-06 2019-04-02 Intel Corporation System and method for intracoding video data

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026383A1 (ja) * 2018-08-01 2020-02-06 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
US10997731B2 (en) * 2019-06-14 2021-05-04 Rockwell Collins, Inc. Motion vector vision system integrity monitor

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152752A (ja) * 2000-11-13 2002-05-24 Sony Corp 画像情報変換装置及び方法
JP2003153271A (ja) * 2001-11-08 2003-05-23 Nec Corp 動画像符号列変換装置、動画像符号列変換方法、およびそのプログラム
JP2006246431A (ja) * 2005-02-07 2006-09-14 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
JP2007524279A (ja) * 2003-06-25 2007-08-23 トムソン ライセンシング インターフレームのための高速モード決定符号化
JP2007300209A (ja) * 2006-04-27 2007-11-15 Pioneer Electronic Corp 動画像再符号化装置およびその動きベクトル判定方法
JP2008154015A (ja) * 2006-12-19 2008-07-03 Hitachi Ltd 復号化方法および符号化方法
WO2008082158A1 (en) * 2007-01-03 2008-07-10 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155186B2 (en) * 2004-08-11 2012-04-10 Hitachi, Ltd. Bit stream recording medium, video encoder, and video decoder
JP5013040B2 (ja) * 2005-09-29 2012-08-29 株式会社メガチップス 動き探索方法
JP2007184800A (ja) * 2006-01-10 2007-07-19 Hitachi Ltd 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
JP2008017304A (ja) * 2006-07-07 2008-01-24 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置、画像符号化方法、及び画像符号化するプログラム
WO2009005071A1 (ja) * 2007-07-02 2009-01-08 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152752A (ja) * 2000-11-13 2002-05-24 Sony Corp 画像情報変換装置及び方法
JP2003153271A (ja) * 2001-11-08 2003-05-23 Nec Corp 動画像符号列変換装置、動画像符号列変換方法、およびそのプログラム
JP2007524279A (ja) * 2003-06-25 2007-08-23 トムソン ライセンシング インターフレームのための高速モード決定符号化
JP2006246431A (ja) * 2005-02-07 2006-09-14 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
JP2007300209A (ja) * 2006-04-27 2007-11-15 Pioneer Electronic Corp 動画像再符号化装置およびその動きベクトル判定方法
JP2008154015A (ja) * 2006-12-19 2008-07-03 Hitachi Ltd 復号化方法および符号化方法
WO2008082158A1 (en) * 2007-01-03 2008-07-10 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10250885B2 (en) 2000-12-06 2019-04-02 Intel Corporation System and method for intracoding video data
US10701368B2 (en) 2000-12-06 2020-06-30 Intel Corporation System and method for intracoding video data
US10404994B2 (en) 2009-07-03 2019-09-03 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US11765380B2 (en) 2009-07-03 2023-09-19 Tahoe Research, Ltd. Methods and systems for motion vector derivation at a video decoder
US10863194B2 (en) 2009-07-03 2020-12-08 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US9445103B2 (en) 2009-07-03 2016-09-13 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US9955179B2 (en) 2009-07-03 2018-04-24 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US9538197B2 (en) 2009-07-03 2017-01-03 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
JP2011147130A (ja) * 2010-01-14 2011-07-28 Intel Corp 動き推定のための技術
US9509995B2 (en) 2010-12-21 2016-11-29 Intel Corporation System and method for enhanced DMVD processing
JP2014027462A (ja) * 2012-07-26 2014-02-06 Canon Inc 画像符号化装置、画像符号化システム、画像符号化方法及びプログラム、画像復号装置、画像復号システム、画像復号方法及びプログラム
US9392278B2 (en) 2012-07-26 2016-07-12 Canon Kabushiki Kaisha Image encoding or decoding apparatus, system, method, and storage medium for encoding or decoding a plurality of images in parallel
WO2014141964A1 (ja) * 2013-03-14 2014-09-18 ソニー株式会社 画像処理装置および方法
US20160037184A1 (en) * 2013-03-14 2016-02-04 Sony Corporation Image processing device and method

Also Published As

Publication number Publication date
CN101964908B (zh) 2013-12-11
CN101964908A (zh) 2011-02-02
JP5216710B2 (ja) 2013-06-19
US20110019740A1 (en) 2011-01-27

Similar Documents

Publication Publication Date Title
US11683520B2 (en) Motion vector refinement for multi-reference prediction
JP5216710B2 (ja) 復号化処理方法
US8787463B2 (en) Method and apparatus for encoding/decoding motion vector
JP5277257B2 (ja) 動画像復号化方法および動画像符号化方法
KR102355841B1 (ko) 모션 벡터 정제를 위한 검색 영역
JP5367098B2 (ja) 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
JP5306486B2 (ja) 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
JP5367097B2 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
JP2011199362A (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP5983430B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JPWO2011099428A1 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
JP4884703B2 (ja) 画像の空間予測符号化方法、符号化装置、復号化方法及び復号化装置
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP4429996B2 (ja) 動画像符号化プログラム、動画像符号化方法および動画像符号化装置
JP5281597B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
JP5281596B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
KR20040027047A (ko) 예측 스캐닝을 이용한 영상 부호화/복호화 방법 및 장치
NZ760521B2 (en) Motion vector refinement for multi-reference prediction
NZ780051B2 (en) Motion vector refinement for multi-reference prediction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130304

R150 Certificate of patent or registration of utility model

Ref document number: 5216710

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250