JP2009530960A - 照明変化補償動き予測符号化および復号化方法とその装置 - Google Patents

照明変化補償動き予測符号化および復号化方法とその装置 Download PDF

Info

Publication number
JP2009530960A
JP2009530960A JP2009501359A JP2009501359A JP2009530960A JP 2009530960 A JP2009530960 A JP 2009530960A JP 2009501359 A JP2009501359 A JP 2009501359A JP 2009501359 A JP2009501359 A JP 2009501359A JP 2009530960 A JP2009530960 A JP 2009530960A
Authority
JP
Japan
Prior art keywords
illumination change
current block
block
value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009501359A
Other languages
English (en)
Other versions
JP5061179B2 (ja
Inventor
ソク−ヘ チョ
ヒョン−ジン クォン
ナンホ ハー
ジン−ウン キム
ソ−イン イ
ユン−リュル イ
ジェ−ホ ハー
ドン−ギュ シム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2009530960A publication Critical patent/JP2009530960A/ja
Application granted granted Critical
Publication of JP5061179B2 publication Critical patent/JP5061179B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

照明変化補償動き予測符号化および復号化方法ならびにその装置を提供する。本発明の照明変化補償動き予測符号化装置は、現在ブロックの各画素値と現在ブロックの画素平均値との間の差分計算と、現在ブロックの動きベクトルが示す参照ブロックの各画素値と参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行う照明変化補償部と、照明変化補償が行われたブロックに基づいて、残余信号を生成する残余信号生成部と、照明変化が発生した隣接したブロック間の密接性を反映して、照明変化量予測値に基づいて、差分パルス符号変調(DPCM)を行う照明変化量予測部とを備える。

Description

本発明は、照明変化補償を通じた動き予測符号化および復号化方法とその装置に関する。より詳細には、動き予測および動き補償過程で照明変化の補償を通じて、照明が変わる映像に対して効率的に符号化および復号化できる方法とその装置に関する。
従来技術によれば、ITU−TとISO/IECでは映像の符号化効率性を向上させる過程で、H.26xシリーズとMPEG−xシリーズとを発表した。そして2003年度には、H.264/MPEG(Moving Picture Experts Group)−4 AVC(Advanced Video Coding)を完成させられ、多くのビットを低減できるようになった。
これらのビデオ符号化標準が発展するにつれて、ブロックマッチング動き予測(BMME:Block Matching Motion Estimation)に関する研究も多かったが、大部分の方法は現在フレームのブロックと参照フレームの候補ブロックとのSAD(Sum of Absolute Differences)を求めて、最も小さなSADを示す参照フレームの候補ブロックの位置を現在フレームのブロックの動きベクトルに決定するように構成される。
そして、その候補ブロックと現在フレームのブロックとの差分信号を離散余弦変換(DCT:Discrete Cosine Transform)および量子化して、動きベクトルと共に可変長符号化(VLC:Variable Length Coding)を行う。
ここで、動きベクトルを探すということは、現在フレームおよび参照フレームの時間的冗長性を除去して獲得することであるため、相当な符号化効率をもたらした。また、H.264/MPEG−4 AVCは、加重値予測を利用して、映像内の全域的な照明変化に適応的に符号化することで圧縮効率を高めている。
しかしながら、H.264の加重値予測は、局所的(local)な照明(illumination)変化に対して適応的に符号化できないという問題点を有している。例えば、映像内で局所的な照明変化が発生する場合、または複数台のカメラから得た映像を符号化する多重ビュー映像符号化の場合、獲得された映像は、全域的な照明変化だけではなく、局所的な照明変化が発生する可能性が高いため、既存のH.264/MPEG−4 AVCの加重値予測を通じて符号化効率を高めるには限界がある。
以上の問題点を解決するために、本発明は、動き予測および動き補償プロセスにおいて照明変化の補償を通じて、効率的に映像を符号化および復号化する方法ならびに装置を提供する。
上述の問題点を解決するために、本発明は、動き予測および動き補償過程で照明変化の補償を通じて、効率的に映像を符号化および復号化する方法および装置を提供する。本発明は、照明変化補償動き予測符号化および復号化方法とその装置に関する。本発明の照明変化補償動き予測符号化装置は、現在ブロックの画素値および前記現在ブロックの画素平均値の間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの画素値および前記参照ブロックの画素平均値の間の差分計算とを実行することによって照明変化補償を行う照明変化補償部と、照明変化補償が行われたブロックに基づいて残余信号を生成する残余信号生成部と、照明変化が発生した隣接したブロック間の密接性を反映して、照明変化量予測値に基づいて、差分パルス符号変調(DPCM)を行う照明変化量予測部とを備える。
本発明は、照明変化の補償を通じた動き予測および動き補償を利用して効率的に映像を符号化および復号化できる。すなわち、局所的または全域的な照明変化が発生した場合、適応的に符号化することによって照明変化発生に対して圧縮効率を高めることができる。
また、照明変化が発生した領域の空間的な密接性を利用して照明変化発生量を圧縮することによって、照明変化量の反映に消費されるビットをさらに減らす。
本発明の好ましい一態様として、照明変化補償動き予測符号化装置は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行う照明変化補償部と、前記照明変化補償部で、照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって残余信号を生成する残余信号生成部と、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックとの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調を行う照明変化量予測部とを備える。
本発明の他の好ましい一態様として、動き探索を行うインターモードである場合、照明変化補償動き予測符号化装置は、現在ブロックの画素値と参照ブロックの画素値との差から、前記現在ブロックの画素平均値と前記参照ブロックの画素平均値との差である照明変化量を引いた差の絶対値の和(NewSAD)に基づいて動きベクトルを設定する照明変化予測部と、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算を実行することと、前記参照ブロックの画素平均値から前記動きベクトルが示す参照ブロックの各画素値を差し引くこととによって照明変化補償を行う照明変化補償部と、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調(DPCM)を行う照明変化量予測部とを備える。
本発明のさらに他の一態様として、動き探索を行わない直接モードである場合、照明変化補償動き予測符号化装置は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、時間的または空間的予測方法により求められた動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行う照明変化補償部と、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調(DPCM)を行う照明変化量予測部とを備える。
本発明のさらに他の一態様として、照明変化補償動き予測復号化装置は、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、照明変化補償が既に行われた隣接ブロックの照明変化量、および現在ブロックの照明変化量に基づいて、差分変調パルス符号変調(DPCM)されて符号化された照明変化予測差分信号(DPCM_DVIC)、符号化された残余信号および照明変化補償を行ったか否かを表す照明変化表示情報を含むビットストリームを受信する受信部と、前記照明変化表示情報が照明変化補償を行ったことを表す場合、現在ブロックの画素値と動きベクトルに対応する参照ブロックの画素値との差から前記照明変化差値を引いた後、符号化された前記残余信号を復元するエントロピー復号化部と、前記復元された残余信号、前記符号化された照明変化量予測差分信号および前記動きベクトルに基づいてブロックを復元する復元部とを備える。
本発明のさらに他の一態様として、照明変化補償動き予測符号化方法は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行うステップと、前記照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとを差分して残余信号を生成するステップと、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調(DPCM)を行う照明変化量予測ステップとを含む。
本発明のさらに他の一態様として、動き探索を行わない直接モードである場合、照明変化補償動きを予測する符号化方法は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、時間的または空間的予測方法により求められた動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行う照明変化補償ステップと、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調(DPCM)を行う照明変化量予測ステップとを含む。
以下、添付した図面を参照しながら、本発明の望ましい実施例を説明する。図面中で同じ構成要素については、他の図面上に表示されているとしてもなるべく同じ参照番号および符号で表していることに留意せねばならない。以下、本発明を説明するに当たって、関連した周知の機能または構成についての具体的説明が本発明の趣旨を必要以上にあいまいにすると判断される場合には、その詳細な説明を省略する。
図1は、本発明の望ましい一実施例であって、照明変化補償動き予測符号化装置を示す図である。
照明変化補償動き予測符号化装置100は、照明変化補償部110、残余信号生成部120および照明変化量予測部130を備える。
全域的または局所的な照明変化が発生した場合、本発明では照明変化の補償を通じた動き予測符号化を行う。照明変化補償を通じた動き予測符号化方法は、動き探索を行うインターブロックモードである場合、および動き探索を行わない直接予測モードの場合に提供される。
まず、照明変化が発生した現在マクロブロックにおいて動きベクトルを求める。動き探索を行うインターモードである場合、または現在マクロブロックが動き探索を行わない直接モードである場合に、動きベクトルは異なる方法で得ることができる。インターモードはPスライスまたはBスライスに適用され、直接モードはBスライスに適用される。以下、各モードの場合について、動きベクトルを求める方法を述べる。
(1)インターモードの場合
動き探索を行うインターモードである場合、参照ブロックのうち現在ブロックに対応する候補ブロックに対してNewSAD値を求める。次いで、現在ブロックの画素値と参照ブロックの画素値との差から照明変化量を引いた差の絶対値の和(NewSAD)値のうち、最小値に対応する参照ブロックから動きベクトルを求める。この場合、照明変化量はそれぞれのマクロブロックで発生した照明変化を表し、現在ブロックの画素平均値(以下、数式2参照)と参照ブロックの画素平均値(以下、数式3参照)との間の差分計算を実行することで求められる。
数式1で定義したNewSADは、従来に使われるSAD(絶対値差の和)に本発明の照明変化補償を反映した絶対値差の和を表す。
Figure 2009530960
この場合、f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x,j+y)は参照ブロックの(i+x,j+y)座標での画素値、(x,y)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x,n+y)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置、そして、SおよびTはブロックマッチング時に使われるブロックのサイズを意味する。
また、現在ブロックの画素平均値を意味するMcur(m,n)および参照ブロックの画素平均値を意味するMref(p,q)は、それぞれ数式(2)および数式(3)から求められる。
Figure 2009530960
Figure 2009530960
数式(2)および数式(3)で、Mcur(m,n)は現在フレームブロックの画素平均値、Mref(p,q)は参照フレームブロックの画素平均値、f(i,j)は現在フレームの(i,j)座標での画素値、r(i,j)は参照フレームの(i,j)座標での画素値、SおよびTはブロックマッチング時に使用するブロックのサイズ、mおよびnは現在フレーム内の現在ブロックの左側上端位置、pおよびqは参照フレーム内の参照ブロックの左側上端位置を表す。
(2)直接モード
動き探索を行わない直接モードである場合、直接予測モード方法を通じて動きベクトルとそのベクトルが示す参照フレームブロックとを求める。直接予測モード方法は、空間的な直接予測モード方法と時間的な直接予測モード方法とによって行われ得る。
空間的な直接予測モード方法は、時間的に現在ブロックの周辺に位置したブロックの動きベクトルを利用して現在ブロックの動きベクトルを決定し、時間的な直接予測モード方法は、現在より時間的に以後に存在するフレームで、現在ブロックの位置と同じ位置にあるブロックの動きベクトルをフレーム間の距離でスケーリングして、現在ブロックの動きベクトルを決定する。
*照明変化の補償
照明変化補償部110は、インターモードまたは直接モードそれぞれで求められた動きベクトルおよび参照ブロックを利用して、現在ブロックの画素値および動きベクトルが示す参照ブロックの画素値それぞれで、現在ブロックの画素平均値(Mcur、数式(2)を参照)と参照ブロックの画素平均値(Mref、数式(3)を参照)とをそれぞれ差分して照明変化補償を行う。
残余信号生成部120は、照明変化補償部110で照明変化補償が行われた現在ブロックと、動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成する。すなわち、数式(4)を通じて照明変化が反映された動き補償を行う。次いで、生成された残余信号は、残余信号処理部(図示せず)を通じて離散余弦変換(DCT)および量子化を経て符号化された残余信号(NewR´)になる。
残余信号は数式(4)を通じて計算される。
NewR(i,j)={f(i,j)−Mcur(m,n)}−{r(i+x´,j+y´)−Mref(m+x´,n+y´)} 式(4)
この場合、NewR(i,j)は残余信号、f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x´,j+y´)は動きベクトルに対応する参照ブロックの画素値、(x´、y´)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x´,n+y´)は参照ブロックの画素平均値、そして(m,n)は現在ブロックの左側上端位置である。
*照明変化量の予測
一般的に、照明変化が発生する領域は、一つのマクロブロックが占める領域よりさらに広い。したがって、現在マクロブロックの照明変化量は、隣接するマクロブロックの照明変化量と相当な密接関係を持っている。したがって、照明変化量を反映するために消費されるビットをさらに減らすために、現在ブロックの照明変化量を、隣接ブロックから算出された照明変化量の予測値(predDVIC)と差分パルス符号変調(DPCM)して、その結果をビットストリームに出力する。
照明変化量予測部130は、現在ブロックと、現在ブロックに隣接するブロックのうち、照明変化補償部110で照明変化補償が既に行われた隣接ブロックとの照明変化量を現在ブロックの照明変化量予測値に設定し、現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調(DPCM)を行う。これにより、さらに少ないビットで残余信号を符号化できる。
図2は、現在ブロックの照明変化量を予測するために使われる隣接するマクロブロックを示した図である。
図2を参考にして説明すれば、照明変化量予測部130では、現在ブロックEに隣接するブロックA、B、CおよびDのうち、照明変化補償が既に行われたブロックの照明変化量を現在ブロックの照明変化量予測値に設定して照明変化量の予測に利用する。
より具体的には、照明変化量の予測値(predDVIC)は次のように計算される。
ステップ1) 現在照明変化補償ブロックの上側に位置したブロックAが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックAの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ2) 現在照明変化補償ブロックの上側に位置したブロックBが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックBの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ3) 現在照明変化補償ブロックの左側上端に位置したブロックCが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックCの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ4) 現在照明変化補償ブロックの右側上端に位置したブロックDが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックDの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ5) 現在照明変化補償ブロックの上側に位置したブロックA、左側に位置したブロックB、そして右側上端に位置したブロックCが照明変化補償を行った場合、前記3つのブロックの照明変化量を中間値フィルタリングして照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ6)照明変化量予測値を0に決定する。
以上のステップを通じて求められた照明変化量予測値および現在ブロックの照明変化量に基づいて、差分パルス符号変調(DPCM、Differential PCM)を行ってエントロピー符号化する。上述のステップは、現在ブロックの照明変化量の復号化のために復号器でも同様に行われる。
図3は、動き探索を行うインターモードの場合に照明変化補償動きを予測する符号化装置を示す図である。
照明変化補償動き予測符号化装置は、照明変化予測部310、照明変化補償部320、残余信号生成部330および照明変化量予測部340を備える。
照明変化予測部310は、前述したインターモードの場合にNewSADを求める方式によって、数式(1)ないし(3)を利用して動きベクトルおよび参照フレームを求める。
照明変化補償部320、残余信号生成部330および照明変化量予測部340は、それぞれ図1に対応する構成要素と実質的に同じ機能を行うので、以上の内容を参考にする。
図4は、本発明の好ましい実施例の1つであって、照明変化補償動き予測符号化装置の一実施例を示す図である。
照明変化量計算部410は、現在ブロックの画素平均値と参照ブロックの画素平均値との間の差分計算を実行することによって、照明変化量を求める(数式(2)および(3)を参考のこと)。
動き探索を利用するインターモードである場合、動き予測部420は、照明変化量計算部410を通じて算出された照明変化量を利用して、動きベクトル決定部422で最も小さなNewSAD値を持つ地点を動きベクトルに決定する。また、照明変化補償部421では、現在ブロックの各画素値および前記現在ブロックの動きベクトルが示す参照ブロックの各画素値から、前記現在ブロックの画素平均値と前記参照ブロックの画素平均値とをそれぞれ差分して照明変化補償を行う。
動き探索を利用しない直接モードである場合、動きベクトル決定部422は、直接予測モード計算方法により決定された最終動きベクトルを利用して参照ブロックを決定する。次いで、照明変化補償部421では、現在ブロックの画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの画素値と前記参照ブロックの画素平均値との間の差分計算と実行することによって、照明変化補償を行う。
動き補償部430は、照明変化量計算部410および動き予測部420で求めた現在ブロックの画素平均値、参照ブロックの画素平均値および動きベクトルを利用して、数式(4)に基づいて動き補償を行う。
次いで、照明変化量予測部440は、照明変化量の空間的な相関性を利用して、現在ブロックの照明変化量を隣接ブロックから算出された照明変化量の予測値(predDVIC)との関連から差分パルス符号変調(DPCM)して、その結果をビットストリームに出力する。
以上の過程を通じて計算された符号化された残余信号と予測符号化された照明変化量とをエントロピー符号化して、符号化プロセスを終える。
図5は、本発明の好ましい実施例の1つであって、照明変化補償動き予測復号化装置の構成を示す図である。
照明変化補償動き予測復号化装置500は、受信部510、エントロピー符号化部520および復元部530を備える。
受信部510は、照明変化補償動き予測符号化装置から伝送されたビットストリームを受信する。ビットストリームは、照明変化補償を行ったか否かを表す照明変化表示情報、例えば、mb_ic_flagのような表示情報を含む。本発明による照明変化表示情報は表示情報フォーマットでもあり、メタデータフォーマットでもあり、復号器が認識できる情報ならばそのフォーマットには制限がない。また、ビットストリームは、照明変化補償が既に行われた隣接ブロックの照明変化量および現在ブロックの照明変化量に基づいて、差分パルス符号変調(DPCM)されて符号化された照明変化量予測値、符号化された残余信号をさらに含む。
mb_ic_flagが0である場合、現在マクロブロックに照明変化補償が行われていないと判断して従来のデコーディングプロセスを行い、mb_ic_flagが1である場合、現在マクロブロックに照明変化補償が行われ、照明変化量(DVIC)に対する差分変調値を利用して復元(再生)を行う。
エントロピー復号化部520は、照明表示情報がエンコーダ側で照明変化補償を行ったことを表す場合、受信部で受信した符号化された残余信号(NewR´)は、逆量子化、逆離散余弦変換を通じて復元された残余信号(NewR´´)になり、これを通じて復元される。
復元部530は、エントロピー復号化部520で復元された残余信号、符号化された照明変化予測差分信号(DPCM_DVIC)および動きベクトルに基づいてブロックを復元する。復号化しようとするブロックの画素値は、数式(5)によって求めることができる。
f´(i,j)={NewR´´(i,j)+r(i+x´,j+y´)}+{Mcur(m,n)−Mref(m+x´,n+y´)} 式(5)
この場合、f´(i,j)は現在ブロックの(i,j)座標での画素値、r(i+x´,j+y´)は参照ブロックの(i+x´,j+y´)座標での画素値、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x´,n+y´)は参照ブロックの画素平均値、(x´,y´)は動きベクトルを表す。
図6は、本発明の好ましい実施例の1つであって、照明変化補償動き予測復号化装置の一実施例を示す図である。
復号化プロセスでは、エンコーダで符号化された残余信号(NewR´)は、エントロピー復号化部610および逆量子化および逆DCT部620を通じて復元された残余信号(NewR´´)になる。復元された残余信号を求める方式は、数式(5)を参考にする。
そして、照明変化補償動き予測符号化装置と同じ方法によって、復号化された以前ブロックの照明変化量値を利用して、照明変化差値予測部630で照明変化量の予測値を求めて照明変化量を復号化する。
動き補償予測部640では、動きベクトル、復元された残余信号(NewR´´)および照明変化量を利用して、数式5に基づいて、現在復号化しようとするブロックの画素値を得る。
図7Aおよび図7Bは、本発明の望ましい一実施例であって、Slice data syntaxを示す図である。
Slice data syntaxは、slice内にあるマクロブロックの符号化プロセスで得られた、データをエントロピー符号化する構文である。本発明によって、PピクチャーのSkipモードであるP_Skipモードの場合、照明変化補償情報であるmb_ic_flagおよびdpcm_of_divc情報が符号化されねばならない。したがって、If(Slice_type!=I&&slice_type!=SI)であり、If(!entropy_coding_mode_flag)である場合にmacroblock_layer()の構文を追加して、mb_ic_flagおよびdpcm_of_divc情報が符号化されるようにした。
図8Aおよび図8Bは、本発明の好ましい実施例の1つであって、Macroblock layer syntaxの一実施例を示す図である。
macroblock_layersyntaxは、各マクロブロックの符号化プロセスで得られたデータをエントロピー符号化する構文である。本発明によって、if(ic_enable&&mb_type==B_skip)である場合、照明変化補償情報であるmb_ic_flagおよびdpcm_of_divc情報が符号化され得る構文を追加した。
図9Aおよび図9Bは、本発明の好ましい実施例の1つであって、mb_pred(mb_type)syntaxの一実施例を示す図である。
mb_pred(mb_type)syntaxは、Intraモード、Interモード、Direct(直接)モードであるマクロブロックの符号化プロセスで得られたデータをエントロピー符号化する構文である。本発明によって、Interモードおよびdirectモードである場合、照明変化補償情報であるmb_ic_flagおよびdpcm_of_divc情報が符号化され得る構文を追加した。前半部に追加されたmb_ic_flagおよびdpcm_of_divc情報はInterモードの場合に該当し、後半部に追加されたmb_ic_flagおよびdpcm_of_divc情報はDirectモードの場合に該当する。
図10は、本発明の好ましい実施例の1つであって、照明変化補償動き予測符号化フローチャートを示す図である。
まず、照明変化が発生したことを認識した場合、動き探索を行うインターモードか、または動き探索モードを行わない直接モードかによって、別々に動きベクトルを求める(S1010、S1020)。次いで、現在ブロックの各画素値と現在ブロックの画素平均値との間の差分計算と、現在ブロックの動きベクトルが示す参照ブロックの各画素値と参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化の補償が行なわれる(S1030)。
次いで、照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成する(S1040)。
次いで、現在ブロックと隣接するブロックのうち、照明変化補償が既に行われた隣接ブロックの照明変化量を現在ブロックの照明変化量予測値に設定し、現在ブロックの照明変化量および照明変化量予測値に基づいて、差分パルス符号変調(DPCM)を行って、予測した照明変化量の照明変化予測差分信号(DPCM_DVIC)を求める(S1050)。
図11は、本発明の好ましい実施例の1つであって、インターモードおよび直接モードでの照明変化補償動き予測符号化のフローチャートを示す図である。
照明変化が発生したことを認識した後、現在マクロブロックが動き探索を行うモードであるかどうかを判断する(S1110)。
動き探索を行わない直接モードである場合、空間的予測を利用して動きベクトルを求め、参照ブロックを決定する(S1121)。次いで、照明変化を補償し(S1131)、残余信号を生成する(S1141)。次いで、現在ブロックと隣接するブロックとの間で既に照明変化が補償された場合、これを利用してDPCMを行って照明変化量予測値を求めた後、符号化する(S1151)。各ステップに対応する詳細な説明は、以上で対応する構成を参考にする。
動き探索を行うインターモードである場合、照明変化量に基づいてNewSAD値を求め、これに基づいて動きベクトルおよび参照ブロックを決定する(S1122)。次いで、照明変化を補償し(S1132)、残余信号を生成する(S1142)。次いで、現在ブロックと隣接するブロックとの間で既に照明変化が補償された場合、これを利用してDPCMを行って照明変化量の予測値を求めた後、符号化する(S1152)。各ステップに対応する詳細な説明は、以上で対応する構成を参考にする。
図12は、本発明の実験に使われた映像を説明する表を示した図である。
本発明では実験は、H.264/MPEG−4 AVCの参照符号化器であるJSVM(Joint Scalable Video Model)3.5を利用して実行し、16×16ブロックモードおよび空間的な直接モードに対して適用した。また多重ビュー映像に対して実験し、ISO/IEC MPEG(以下、MPEG)で提案された多重ビュー符号化方法で具現された符号化器を使用した。また、本発明では、現在MPEGで多重ビュー映像符号化標準化で使われている映像を利用した。
図13は、図12に示した実験をするための実験条件を示した図である。
本発明で行われたあらゆる実験では、あらかじめ設定されたビット率歪最適化技術を使用した。提案された方法は、現在MPEGで提案された階層的なB構造(Hierarchical B structure)を使用した多重ビュー符号化方式のRD(Rate Distortion)結果、そして加重値予測方法を使用したRD結果と比較した。
図14Aから図14Fは、本発明による照明変化補償動き予測符号化および復号化方法を利用した後の効果を説明する図である。
各図面に示したように、本発明の方法を通じて、最小でも0.1dB〜0.5dBの性能向上を得ることができた。
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして実施することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。
コンピュータ読み取り可能な記録媒体の例としては、ROM(Read−Only Memory)、RAM(Random−Access Memory)、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがあり、また搬送波(例えば、インターネットを通じた伝送)の形態で実現されるものも含む。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。
以上、図面および明細書で最適の実施例が開示された。ここで特定の用語が使われたが、単に本発明を説明するための目的であり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。
当業者であれば、さらに多様な変形および均等な他の実施例が可能であるという点を理解できるだろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想により定められねばならない。
本発明の望ましい一実施例であって、照明変化補償動き予測符号化装置を示す図である。 現在ブロックの照明変化量を予測するために使われる隣接するマクロブロックを示す図である。 動き探索を行うインターモードの場合に、照明変化補償動きを予測する符号化装置を示す図である。 本発明の望ましい一実施例であって、照明変化補償動き予測符号化装置の一実施例を示す図である。 本発明の望ましい一実施例であって、照明変化補償動き予測復号化装置の構成図である。 本発明の望ましい一実施例であって、照明変化補償動き予測復号化装置の一実施例を示す図である。 本発明の望ましい一実施例であって、Slice data syntaxを図示する。 本発明の望ましい一実施例であって、Slice data syntaxを図示する。 本発明の望ましい一実施例であって、Macroblock layer syntaxの一実施例を示す図である。 本発明の望ましい一実施例であって、Macroblock layer syntaxの一実施例を示す図である。 本発明の望ましい一実施例であって、mb_pred(my_type) syntaxの一実施例を示す図である。 本発明の望ましい一実施例であって、mb_pred(my_type) syntaxの一実施例を示す図である。 本発明の望ましい一実施例であって、照明変化補償動き予測符号化のフローチャートである。 本発明の望ましい一実施例であって、インターモードおよび直接モードで照明変化補償動き予測符号化のフローチャートである。 本発明の実験に使われた映像を説明する表を示す図である。 図12に示した実験をするための実験条件を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。

Claims (51)

  1. 現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行う照明変化補償部と、
    前記照明変化補償部によって照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成する残余信号生成部と、
    現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調を行う照明変化量予測部と
    を備えたことを特徴とする照明変化補償動き予測符号化装置。
  2. 前記残余信号を離散余弦変換および量子化する残余信号処理部をさらに備えたことを特徴とする請求項1に記載の照明変化補償動き予測符号化装置。
  3. 前記動きベクトルは、
    動き探索を行うインターモードである場合、現在ブロックの画素値と参照ブロックの画素値との差から前記照明変化量を引いた差の絶対値の和(NewSAD)値のうち最小値に対応する参照ブロックから求められる動きベクトルであることを特徴とする請求項1に記載の照明変化補償動き予測符号化装置。
  4. 前記動きベクトルは、
    動き探索を行わない直接モードである場合、時間的または空間的な予測方法により求められた動きベクトルを利用することを特徴とする請求項1に記載の照明変化補償動き予測符号化装置。
  5. 前記照明変化量予測値は、
    前記現在ブロックと隣接するブロックのうち3個のブロックで既に前記照明変化補償が行われた場合、前記3個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定することを特徴とする請求項1に記載の照明変化補償動き予測符号化装置。
  6. 前記残余信号は、
    NewR(i,j)は残余信号、f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x´,j+y´)は前記動きベクトルに対応する参照ブロックの画素値、(x´、y´)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x´,n+y´)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置とすると、
    NewR(i,j)={f(i,j)−Mcur(m,n)}−{r(i+x´,j+y´)−Mref(m+x´,n+y´)}
    によって求められることを特徴とする請求項1に記載の照明変化補償動き予測符号化装置。
  7. 前記NewSADは、
    f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x,j+y)は参照ブロックの(i+x,j+y)座標での画素値、(x,y)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x,n+y)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置、そしてSおよびTはブロックマッチング時に使われるブロックのサイズとすると、
    Figure 2009530960
    によって求められることを特徴とする請求項3に記載の照明変化補償動き予測符号化装置。
  8. 前記照明変化量予測部において、
    前記現在ブロックと隣接するブロックは、前記現在ブロックと同じ参照フレーム番号を持つことを特徴とする請求項1に記載の照明変化補償動き予測符号化装置。
  9. 前記インターモードは、PスライスまたはBスライスに適用され、前記直接モードは、Bスライスに適用されることを特徴とする請求項3または4に記載の照明変化補償動き予測符号化装置。
  10. 現在ブロックの符号化された残余信号と、照明変化補償を行ったか否かを表す照明変化表示情報と、現在ブロックの照明変化量と現在ブロックの照明変化量予測値との間を差分計算を実行して符号化された照明変化予測差分信号(DPCM_DVIC)とを含むビットストリームを受信する受信部と、
    前記照明変化表示情報が照明変化補償を行ったことを表す場合、前記符号化された残余信号、前記符号化された照明変化予測差分信号および前記現在ブロックの動きベクトルに基づいて前記現在ブロックを復元する復元部と
    を備えたことを特徴とする照明変化補償動き予測復号化装置。
  11. 前記復元部は、
    照明変化補償が既に行われた隣接ブロックの照明変化量に基づいて、現在ブロックの照明変化量を予測する照明変化量予測部と、
    前記予測された照明変化量と前記照明変化予測差分信号と合算することによって求めた現在ブロックの照明変化量に基づいて照明変化補償を行う照明変化補償部と
    を含むことを特徴とする請求項10に記載の照明変化補償動き予測復号化装置。
  12. 前記照明変化量は、
    現在ブロックの画素平均値と参照ブロックの画素平均値との間の差であることを特徴とする請求項10に記載の照明変化補償動き予測復号化装置。
  13. 前記復元部において、
    前記符号化された残余信号は、現在ブロックの画素値と前記現在ブロックの動きベクトルに対応する参照ブロックの画素値との差から前記照明変化差値を引いた後、符号化された残余信号であることを特徴とする請求項10に記載の照明変化補償動き予測復号化装置。
  14. 前記動きベクトルは、
    動き探索を行うインターモードである場合、各現在ブロックの各画素値と各参照ブロックの各画素値と間の差から前記照明変化量を引いた差の絶対値の和(NewSAD)のうち、最小値に対応する参照ブロックから求められる動きベクトルであることを特徴とする請求項10に記載の照明変化補償動き予測復号化装置。
  15. 前記動きベクトルは、
    動き探索を行わない直接モードである場合、時間的または空間的な予測方法により求められた動きベクトルを利用することを特徴とする請求項10に記載の照明変化補償動き予測復号化装置。
  16. 前記NewSADは、
    f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x,j+y)は参照ブロックの(i+x,j+y)座標での画素値、(x,y)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x,n+y)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置、SおよびTはブロックマッチング時に使われるブロックのサイズとすると、
    Figure 2009530960
    によって求められることを特徴とする請求項14に記載の照明変化補償動き予測復号化装置。
  17. 前記復元部において、前記符号化された残余信号は、
    NewR(i,j)は残余信号、f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x´,j+y´)は前記動きベクトルに対応する参照ブロックの画素値、(x´、y´)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x´,n+y´)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置とすると、
    NewR(i,j)={f(i,j)−Mcur(m,n)}−{r(i+x´,j+y´)−Mref(m+x´,n+y´)}
    によって求められることを特徴とする請求項10に記載の照明変化補償動き予測復号化装置。
  18. 前記復元部において、前記現在ブロックは、
    f´(i,j)は現在ブロックの(i,j)座標での画素値、r(i+x´,j+y´)は参照ブロックの(i+x´,j+y´)座標での画素値、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x´,n+y´)は参照ブロックの画素平均値、(x´、y´)は動きベクトルとすると、
    f´(i,j)={NewR´´(i,j)+r(i+x´,j+y´)}+{Mcur(m,n)−Mref(m+x´,n+y´)}
    によって求められることを特徴とする請求項10に記載の照明変化補償動き予測復号化装置。
  19. 前記照明変化補償が既に行われた隣接ブロックは、前記現在ブロックと同じ参照フレーム番号を持つことを特徴とする請求項10に記載の照明変化補償動き予測復号化装置。
  20. 前記インターモードは、
    PスライスまたはBスライスに適用されることを特徴とする請求項14に記載の照明変化補償動き予測復号化装置。
  21. 前記直接モードは、
    Bスライスに適用されることを特徴とする請求項15に記載の照明変化補償動き予測復号化装置。
  22. 現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行うステップと、
    前記照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成するステップと、
    現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調(DPCM)を行う照明変化量予測ステップと
    を備えることを特徴とする照明変化補償動き予測符号化方法。
  23. 前記残余信号を離散余弦変換および量子化する残余信号処理ステップをさらに備えることを特徴とする請求項22に記載の照明変化補償動き予測符号化方法。
  24. 前記動きベクトルは、
    動き探索を行うインターモードである場合、現在ブロックの画素値と参照ブロックの画素値との差から前記照明変化量を引いた差の絶対値の和(NewSAD)値のうち、最小値に対応する参照ブロックから求められる動きベクトルであることを特徴とする請求項22に記載の照明変化補償動き予測符号化方法。
  25. 前記動きベクトルは、
    動き探索を行わない直接モードである場合、時間的または空間的な予測方法により求められた動きベクトルを利用することを特徴とする請求項22に記載の照明変化補償動き予測符号化方法。
  26. 前記照明変化量予測値は、
    前記現在ブロックと隣接するブロックのうち、3個のブロックで既に前記照明変化補償が既に行われた場合、前記3個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定することを特徴とする請求項22に記載の照明変化補償動き予測符号化方法。
  27. 前記残余信号は、
    NewR(i,j)は残余信号、f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x´,j+y´)は前記動きベクトルに対応する参照ブロックの画素値、(x´、y´)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x´,n+y´)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置とすると、
    NewR(i,j)={f(i,j)−Mcur(m,n)}−{r(i+x´,j+y´)−Mref(m+x´,n+y´)}
    によって求められることを特徴とする請求項22に記載の照明変化補償動き予測符号化方法。
  28. 前記NewSADは、
    f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x,j+y)は参照ブロックの(i+x,j+y)座標での画素値、(x,y)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x,n+y)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置、SおよびTはブロックマッチング時に使われるブロックのサイズとすると、
    Figure 2009530960
    によって求められることを特徴とする請求項24に記載の照明変化補償動き予測符号化方法。
  29. 前記照明変化量予測ステップにおいて、
    前記現在ブロックと隣接するブロックは、前記現在ブロックと同じ参照フレーム番号を持つことを特徴とする請求項22に記載の照明変化補償動き予測符号化方法。
  30. 前記インターモードはPスライスまたはBスライスに適用され、前記直接モードはBスライスに適用されることを特徴とする請求項24または25に記載の照明変化補償動き予測符号化方法。
  31. 動き探索を行うインターモードの場合に照明変化補償動きを予測する符号化方法であって、
    現在ブロックの画素値と参照ブロックの画素値との差から、前記現在ブロックの画素平均値と前記参照ブロックの画素平均値との差である照明変化量を引いた差の絶対値の和(NewSAD)に基づいて動きベクトルを設定するステップと、
    現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行う照明変化補償ステップと、
    前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調(DPCM)を行う照明変化量予測ステップと
    を備えることを特徴とする照明変化補償動き予測符号化方法。
  32. 前記照明変化補償ステップにおいて、照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算によって、残余信号を生成する残余信号生成ステップと、
    前記残余信号を離散余弦変換および量子化する残余信号処理ステップと
    をさらに含むことを特徴とする請求項31に記載の照明変化補償動き予測符号化方法。
  33. 前記NewSADは、
    f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x,j+y)は参照ブロックの(i+x,j+y)座標での画素値、(x,y)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x,n+y)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置、SおよびTはブロックマッチング時に使われるブロックのサイズとすると、
    Figure 2009530960
    によって求められることを特徴とする請求項31に記載の照明変化補償動き予測符号化方法。
  34. 前記残余信号は、
    NewR(i,j)は残余信号、f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x´,j+y´)は前記動きベクトルに対応する参照ブロックの画素値、(x´、y´)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x´,n+y´)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置とすると、
    NewR(i,j)={f(i,j)−Mcur(m,n)}−{r(i+x´,j+y´)−Mref(m+x´,n+y´)}
    によって求められることを特徴とする請求項32に記載の照明変化補償動き予測符号化方法。
  35. 前記照明変化量予測ステップは、
    前記現在ブロックと隣接するブロックのうち、3個のブロックで既に前記照明変化補償が既に行われた場合、前記3個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定することを特徴とする請求項31に記載の照明変化補償動き予測符号化方法。
  36. 前記インターモードは、PスライスまたはBスライスに適用されることを特徴とする請求項31に記載の照明変化補償動き予測符号化方法。
  37. 動き探索を行わない直接モードの場合に、照明変化補償動きを予測する符号化方法であって、
    現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、時間的または空間的予測方法により求められた動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行う照明変化補償ステップと、
    現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調(DPCM)を行う照明変化量予測ステップと
    を備えることを特徴とする照明変化補償動き予測符号化方法。
  38. 前記照明変化補償ステップで照明変化補償が行われた現在ブロックと、前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成する残余信号生成ステップと、
    前記残余信号を離散余弦変換および量子化する残余信号処理ステップと
    をさらに備えることを特徴とする請求項37に記載の照明変化補償動き予測符号化方法。
  39. 前記残余信号は、
    NewR(i,j)は残余信号、f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x´,j+y´)は前記動きベクトルに対応する参照ブロックの画素値、(x´、y´)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x´,n+y´)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置とすると、
    NewR(i,j)={f(i,j)−Mcur(m,n)}−{r(i+x´,j+y´)−Mref(m+x´,n+y´)}
    によって求められることを特徴とする請求項38に記載の照明変化補償動き予測符号化方法。
  40. 前記照明変化量予測ステップは、
    前記現在ブロックと隣接するブロックのうち、3個のブロックで既に前記照明変化補償が既に行われた場合、前記3個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定することを特徴とする請求項37に記載の照明変化補償動き予測符号化方法。
  41. 前記直接モードは、Bスライスに適用されることを特徴とする請求項37に記載の照明変化補償動き予測符号化方法。
  42. 現在ブロックの符号化された残余信号と、照明変化補償を行ったか否かを表す照明変化表示情報と、現在ブロックの照明変化量と現在ブロックの照明変化量予測値との間の差分計算を実行することによって符号化された照明変化予測差分信号(DPCM_DVIC)を含むビットストリームとを受信するステップと、
    前記照明変化表示情報が照明変化補償を行ったことを表す場合、前記符号化された残余信号、前記符号化された照明変化予測差分信号および前記現在ブロックの動きベクトルに基づいて前記現在ブロックを復元するステップと
    を備えることを特徴とする照明変化補償動き予測復号化方法。
  43. 前記復元するステップは、
    照明変化補償が既に行われた隣接ブロックの照明変化量に基づいて、現在ブロックの照明変化量を予測する照明変化量予測ステップと、
    前記予測された照明変化量と前記照明変化予測差分信号と合算することによって現在ブロックの照明変化量を計算する照明変化量計算ステップと、
    前記計算された照明変化量に基づいて、照明変化補償を行うステップと
    を含むことを特徴とする請求項42に記載の照明変化補償動き予測復号化方法。
  44. 前記動きベクトルは、
    動き探索を行うインターモードである場合、現在ブロックの画素値と参照ブロックの画素値との差から前記照明変化量を引いた差の絶対値の和(NewSAD)値のうち、最小値に対応する参照ブロックから求められる動きベクトルであることを特徴とする請求項43に記載の照明変化補償動き予測復号化方法。
  45. 前記動きベクトルは、
    動き探索を行わない直接モードである場合、時間的または空間的な予測方法により求められた動きベクトルを利用することを特徴とする請求項44に記載の照明変化補償動き予測復号化方法。
  46. 前記NewSADは、
    f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x,j+y)は参照ブロックの(i+x,j+y)座標での画素値、(x,y)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x,n+y)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置、SおよびTはブロックマッチング時に使われるブロックのサイズとすると、
    Figure 2009530960
    によって求められることを特徴とする請求項44に記載の照明変化補償動き予測復号化方法。
  47. 前記符号化された残余信号は、
    NewR(i,j)は残余信号、f(i,j)は(i,j)座標での現在ブロックの画素値、r(i+x´,j+y´)は前記動きベクトルに対応する参照ブロックの画素値、(x´、y´)は動きベクトル、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x´,n+y´)は参照ブロックの画素平均値、(m,n)は現在ブロックの左側上端位置とすると、
    NewR(i,j)={f(i,j)−Mcur(m,n)}−{r(i+x´,j+y´)−Mref(m+x´,n+y´)}
    によって求められることを特徴とする請求項43に記載の照明変化補償動き予測復号化方法。
  48. 前記復元するステップにおいて、現在ブロックは、
    f´(i,j)は現在ブロックの(i,j)座標での画素値、r(i+x´,j+y´)は参照ブロックの(i+x´,j+y´)座標での画素値、Mcur(m,n)は現在ブロックの画素平均値、Mref(m+x´,n+y´)は参照ブロックの画素平均値、(x´、y´)は動きベクトルとすると、
    f´(i,j)={NewR´´(i,j)+r(i+x´,j+y´)}+{Mcur(m,n)−Mref(m+x´,n+y´)}
    によって求められることを特徴とする請求項43に記載の照明変化補償動き予測復号化方法。
  49. 前記照明変化補償が既に行われた隣接ブロックは、前記現在ブロックと同じ参照フレーム番号を持つことを特徴とする請求項43に記載の照明変化補償動き予測復号化方法。
  50. 前記インターモードは、
    PスライスまたはBスライスに適用されることを特徴とする請求項44に記載の照明変化補償動き予測復号化方法。
  51. 前記直接モードは、
    Bスライスに適用されることを特徴とする請求項45に記載の照明変化補償動き予測復号化方法。
JP2009501359A 2006-03-22 2007-03-22 照明変化補償動き予測符号化および復号化方法とその装置 Expired - Fee Related JP5061179B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR10-2006-0026175 2006-03-22
KR20060026175 2006-03-22
KR20060062999 2006-07-05
KR10-2006-0062999 2006-07-05
KR10-2007-0028225 2007-03-22
PCT/KR2007/001413 WO2007108661A1 (en) 2006-03-22 2007-03-22 Method and apparatus for encoding and decoding the compensated illumination change
KR1020070028225A KR101342587B1 (ko) 2006-03-22 2007-03-22 조명변화 보상 움직임 예측 부호화 및 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2009530960A true JP2009530960A (ja) 2009-08-27
JP5061179B2 JP5061179B2 (ja) 2012-10-31

Family

ID=38802934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009501359A Expired - Fee Related JP5061179B2 (ja) 2006-03-22 2007-03-22 照明変化補償動き予測符号化および復号化方法とその装置

Country Status (5)

Country Link
US (1) US20100232507A1 (ja)
EP (1) EP1997318A4 (ja)
JP (1) JP5061179B2 (ja)
KR (1) KR101342587B1 (ja)
WO (1) WO2007108661A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008306720A (ja) * 2007-06-11 2008-12-18 Samsung Electronics Co Ltd 照度補償方法及び装置、これを利用した映像の符号化、復号化方法及び装置
WO2015142057A1 (ko) * 2014-03-21 2015-09-24 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
WO2015142054A1 (ko) * 2014-03-19 2015-09-24 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
CN105745703A (zh) * 2013-09-16 2016-07-06 三星电子株式会社 信号编码方法和装置以及信号解码方法和装置
US10388293B2 (en) 2013-09-16 2019-08-20 Samsung Electronics Co., Ltd. Signal encoding method and device and signal decoding method and device

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5156088B2 (ja) * 2007-03-23 2013-03-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング/エンコーディング方法及び装置
KR20090090152A (ko) * 2008-02-20 2009-08-25 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CN102106149A (zh) * 2008-08-08 2011-06-22 夏普株式会社 动态图像编码装置以及动态图像解码装置
US8644389B2 (en) * 2009-05-15 2014-02-04 Texas Instruments Incorporated Real-time video image processing
CN102215389B (zh) * 2010-04-09 2013-04-17 华为技术有限公司 一种局部亮度补偿的视频编解码方法及装置
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
US20120082228A1 (en) * 2010-10-01 2012-04-05 Yeping Su Nested entropy encoding
CN103229503B (zh) 2010-11-26 2016-06-29 日本电气株式会社 图像编码设备、图像解码设备、图像编码方法、图像解码方法和程序
AU2013261845A1 (en) 2012-05-14 2014-12-11 Guido MEARDI Encoding and reconstruction of residual data based on support information
US9615089B2 (en) * 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
KR20140123008A (ko) * 2013-04-05 2014-10-21 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN103327324A (zh) * 2013-05-13 2013-09-25 深圳市云宙多媒体技术有限公司 一种光线突变视频编解码方法及系统
US10554967B2 (en) * 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
WO2019245712A1 (en) * 2018-06-18 2019-12-26 Interdigital Vc Holdings, Inc. Illumination compensation in video coding
CN109584137B (zh) * 2018-10-24 2021-02-02 北京大学 一种脉冲序列格式转换方法及系统
WO2020156538A1 (en) 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding
WO2020164580A1 (en) 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Size selective application of decoder side refining tools
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009523355A (ja) * 2006-01-12 2009-06-18 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355779A (ja) * 1998-06-09 1999-12-24 Ricoh Co Ltd 動きベクトル検出方法
JP2000134630A (ja) * 1998-10-23 2000-05-12 Canon Inc 画像符号化装置、方法、画像入力装置及びコンピュータ読み取り可能な記憶媒体
US7924923B2 (en) * 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009523355A (ja) * 2006-01-12 2009-06-18 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOAQUIN L'OPEZ, JAE HOON KIM, ANTONIO ORTEGA, AND GEORGE CHEN: "Block-based Illumination Compensation andSearch Techniques for Multiview Video Coding", PROC. OF 2004 PICTURE CODING SYMP., JPN7012002883, 2004, ISSN: 0002283182 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008306720A (ja) * 2007-06-11 2008-12-18 Samsung Electronics Co Ltd 照度補償方法及び装置、これを利用した映像の符号化、復号化方法及び装置
US8295634B2 (en) 2007-06-11 2012-10-23 Samsung Electronics Co., Ltd. Method and apparatus for illumination compensation and method and apparatus for encoding and decoding image based on illumination compensation
CN105745703A (zh) * 2013-09-16 2016-07-06 三星电子株式会社 信号编码方法和装置以及信号解码方法和装置
US10388293B2 (en) 2013-09-16 2019-08-20 Samsung Electronics Co., Ltd. Signal encoding method and device and signal decoding method and device
CN105745703B (zh) * 2013-09-16 2019-12-10 三星电子株式会社 信号编码方法和装置以及信号解码方法和装置
US10811019B2 (en) 2013-09-16 2020-10-20 Samsung Electronics Co., Ltd. Signal encoding method and device and signal decoding method and device
US11705142B2 (en) 2013-09-16 2023-07-18 Samsung Electronic Co., Ltd. Signal encoding method and device and signal decoding method and device
WO2015142054A1 (ko) * 2014-03-19 2015-09-24 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
US10257531B2 (en) 2014-03-19 2019-04-09 Kt Corporation Method and apparatus for processing multiview video signals based on illumination compensation and inter-view motion candidate
WO2015142057A1 (ko) * 2014-03-21 2015-09-24 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
EP1997318A4 (en) 2011-04-06
JP5061179B2 (ja) 2012-10-31
US20100232507A1 (en) 2010-09-16
KR20070095837A (ko) 2007-10-01
EP1997318A1 (en) 2008-12-03
WO2007108661A1 (en) 2007-09-27
KR101342587B1 (ko) 2013-12-17

Similar Documents

Publication Publication Date Title
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
KR101947142B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
KR100856411B1 (ko) 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US8228989B2 (en) Method and apparatus for encoding and decoding based on inter prediction
JP5406222B2 (ja) 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置
US8873633B2 (en) Method and apparatus for video encoding and decoding
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
JP2004336369A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
KR20080088039A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20080064355A (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR20070057618A (ko) 화소 단위 기반 영상 부호화 및 복호화 장치 및 방법
US8699576B2 (en) Method of and apparatus for estimating motion vector based on sizes of neighboring partitions, encoder, decoding, and decoding method
KR101187580B1 (ko) 조도 보상 방법 및 그 장치와 이를 이용한 동영상 부호화방법 및 그 장치
WO2011142221A1 (ja) 符号化装置、および、復号装置
KR20130105402A (ko) 추가의 비트 레이트 오버헤드 없이 참조 블록의 로컬 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 코딩 및 디코딩 방법
KR20120079561A (ko) 선택적 다중 예측을 통한 적응적 인트라 예측 부호화/복호화 장치 및 방법
JP2008016985A (ja) 動画像符号化装置
KR20120008271A (ko) 주변 화소의 정합을 이용한 예측 움직임 벡터 선택 장치 및 그 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110902

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111202

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120427

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120528

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120720

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120806

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5061179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees