JP2014187580A - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム - Google Patents

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム Download PDF

Info

Publication number
JP2014187580A
JP2014187580A JP2013061610A JP2013061610A JP2014187580A JP 2014187580 A JP2014187580 A JP 2014187580A JP 2013061610 A JP2013061610 A JP 2013061610A JP 2013061610 A JP2013061610 A JP 2013061610A JP 2014187580 A JP2014187580 A JP 2014187580A
Authority
JP
Japan
Prior art keywords
video
component
decoding
encoding
structural component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013061610A
Other languages
English (en)
Inventor
Tomonobu Yoshino
知伸 吉野
Hitoshi Naito
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2013061610A priority Critical patent/JP2014187580A/ja
Priority to US14/778,830 priority patent/US20160050441A1/en
Priority to PCT/JP2014/058087 priority patent/WO2014157087A1/ja
Priority to EP14774850.3A priority patent/EP2981086A4/en
Priority to CN201480017301.3A priority patent/CN105324998A/zh
Publication of JP2014187580A publication Critical patent/JP2014187580A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

【課題】符号化性能を向上させること。
【解決手段】空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置ＡＡは、非線形映像分解部１０、構造成分符号化部２０、および摂動成分符号化部３０を備える。非線形映像分解部１０は、入力映像ａを構造成分と摂動成分とに分解する。構造成分符号化部２０は、非線形映像分解部１０により分解された入力映像ａの構造成分に対して圧縮符号化処理を施す。摂動成分符号化部３０は、非線形映像分解部１０により分解された入力映像ａの摂動成分に対して圧縮符号化処理を施す。
【選択図】図１

Description

本発明は、映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラムに関する。
近年、撮像機器や表示機器に関する技術の進展により、放送や番組配信における映像コンテンツの高品位化が進んでいる。その代表的な例として、空間解像度の向上やフレームレート（時間解像度）の向上が挙げられる。将来的には、高い空間解像度および時間解像度の映像コンテンツが広く普及することが期待される。
映像圧縮技術に関しては、Ｈ．２６４（例えば、非特許文献１参照）やＨＥＶＣ（High Efficiency Video Coding）に代表される標準圧縮技術が、様々な種類の映像に対して高い符号化性能を得られることが知られている。特に、これらの圧縮技術は、空間解像度の向上に対する適応性に優れており、ＨＥＶＣでは最大で７６８０画素×４３２０ライン（ハイビジョン映像の１６倍）の解像度の映像に対しても、高い符号化性能を期待できる。
Joint Video Team（JVT） of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding," J. F. Aujol, G. Gilboa, T. Chan and S. Osher, "Structure-Texture Image Decomposition - Modeling, Algorithms, and Parameter Selection," Int. J. Comput. Vis., vol.67, no.1, pp.111-136, April 2006. 齊藤, 相澤, 小松, "色間相関を考慮した非線形画像分解法," 電子情報通信学会論文誌D vol.J92-D, No.10, pp.1733-1736, 2009.
特開２００８−１１３２９２号公報 特開２００９−２６０７７９号公報
従来の映像圧縮技術は、映像信号をフレームごとに処理して、画素値のフレーム間予測に基づいて符号化する処理をベースとしている。このため、フレームレートが高い映像に対して従来の映像圧縮技術を単純に適用すると、フレーム間での絵柄の変化が非常に僅かである一方で、照明変動や撮像機器に起因するノイズによる画素値変化がフレーム間予測に与える影響が大きくなり、結果としてフレーム間予測が困難となっていた。
ここで、Ｈ．２６４に基づく動き補償予測をベースとし、画素値（輝度）勾配やフレームレートおよびカメラのシャッター開口に基づいて、動き補償予測精度を向上させる技術が提案されている（例えば、特許文献１、２参照）。しかし、これら技術では、照明変動や撮像機器に起因する摂動的な画素値変化を十分には除外することができず、フレーム間予測の性能を十分には得られないことが懸念されていた。
そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化性能を向上させることを目的とする。
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置（例えば、図１の映像符号化装置ＡＡに相当）であって、入力映像を構造成分と摂動成分とに分解する非線形映像分解手段（例えば、図１の非線形映像分解部１０に相当）と、前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す構造成分符号化手段（例えば、図１の構造成分符号化部２０に相当）と、前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す摂動成分符号化手段（例えば、図１の摂動成分符号化部３０に相当）と、を備えることを特徴とする映像符号化装置を提案している。
ここで、入力映像を構造成分と摂動成分とに分解した場合について、以下に検討する。入力映像の構造成分については、隣接画素間の相関性が高く、時間方向の摂動的な画素値変化が除去されているため、時間方向予測に基づく従来の映像圧縮技術により圧縮符号化処理を施しても、高い符号化性能を得ることができる。また、入力映像の摂動成分については、空間方向および時間方向の隣接画素間の相関性は低いものの、摂動成分のもたらす雑音が所定のモデルにしたがっていると仮定すれば、適切な直交変換規定を用いた空間および時間方向の３次元直交変換や、空間方向の２次元直交変換の係数を用いた変換係数の時間予測を適用することで、効率的な符号化を行うことができる。
そこで、この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施すこととした。このため、符号化性能を向上させることができる。
（２） 本発明は、（１）の映像符号化装置について、前記摂動成分符号化手段は、前記非線形映像分解手段により分解された入力映像の摂動成分を直交変換する直交変換手段（例えば、図３の直交変換部３１に相当）と、前記直交変換手段により直交変換された入力映像の摂動成分に対して、周波数ドメイン上でフレーム間予測に基づく予測値を生成する予測値生成手段（例えば、図３の予測値生成部３２に相当）と、前記直交変換手段により直交変換された入力映像の摂動成分と、前記予測値生成手段により生成された予測値と、の差分により得られる差分信号に対して量子化処理を施す量子化手段（例えば、図３の量子化部３３に相当）と、前記量子化手段により量子化された差分信号をエントロピー符号化するエントロピー符号化手段（例えば、図３のエントロピー符号化部３６に相当）と、を備えることを特徴とする映像符号化装置を提案している。
この発明によれば、（１）の映像符号化装置において、入力映像の摂動成分に対して周波数ドメイン上でフレーム間予測に基づく予測値を生成し、この予測値を用いて入力映像の摂動成分の圧縮データを生成することとした。このため、入力映像の摂動成分に対して圧縮符号化処理を施すことができる。
（３） 本発明は、（２）の映像符号化装置について、前記構造成分符号化手段は、前記入力映像の構造成分に対して圧縮符号化処理を施す際に、フレーム間予測に用いられる動きベクトルを求め、前記予測値生成手段は、前記構造成分符号化手段により求められた動きベクトルの処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔に当該動きベクトルを外挿または内挿し、当該外挿または内挿した動きベクトルを用いてフレーム間予測を行うことを特徴とする映像符号化装置を提案している。
この発明によれば、（２）の映像符号化装置において、入力映像の構造成分における動きベクトルを、入力映像の摂動成分に対する圧縮符号化処理に用いることとした。このため、入力映像の摂動成分における動きベクトルを、一から求める必要がないため、摂動成分の時間方向予測における符号化情報量を削減することができる。
また、この発明によれば、（２）の映像符号化装置において、入力映像の構造成分における動きベクトルについて、処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔にこの動きベクトルを外挿または内挿することとした。このため、入力映像の構造成分における動きベクトルを、時間方向の処理単位が構造成分とは異なる摂動成分にスケーリングすることができ、符号化性能の低下を防止できる。
（４） 本発明は、（２）または（３）の映像符号化装置について、前記構造成分符号化手段は、前記入力映像の構造成分に対して圧縮符号化処理を施す際に、フレーム間予測に用いられる動きベクトルを求め、前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルに基づいて、摂動成分におけるスキャン順序を決定することを特徴とする映像符号化装置を提案している。
この発明によれば、（２）または（３）の映像符号化装置において、入力映像の構造成分における動きベクトルを、摂動成分におけるスキャン順序の決定に用いることとした。このため、摂動成分におけるスキャン順序を適切に決定することができる。
（５） 本発明は、（４）の映像符号化装置について、前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルで張られる領域の面積を求め、当該面積に基づいて前記スキャン順序を決定することを特徴とする映像符号化装置を提案している。
この発明によれば、（４）の映像符号化装置において、入力映像の構造成分における動きベクトルで張られる領域の面積に基づいて、摂動成分におけるスキャン順序を決定することとした。このため、入力映像の構造成分における動きベクトルで張られる領域の面積により、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
（６） 本発明は、（４）の映像符号化装置について、前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルの水平方向の変化量と垂直方向の変化量とを求め、当該変化量に基づいて前記スキャン順序を決定することを特徴とする映像符号化装置を提案している。
この発明によれば、（４）の映像符号化装置において、入力映像の構造成分における動きベクトルの水平方向の変化量と垂直方向の変化量とに基づいて、摂動成分におけるスキャン順序を決定することとした。このため、入力映像の構造成分における動きベクトルの水平方向の変化量と垂直方向の変化量とにより、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
（７） 本発明は、（１）から（６）のいずれかの映像符号化装置について、前記構造成分符号化手段は、前記非線形映像分解手段により分解された入力映像の構造成分に対して、ピクセルドメインでの圧縮符号化処理を施すことを特徴とする映像符号化装置を提案している。
この発明によれば、（１）から（６）のいずれかの映像符号化装置において、入力映像の構造成分に対して、ピクセルドメインでの圧縮符号化処理を施すこととした。このため、入力映像の構造成分について、ピクセルドメインでの圧縮符号化処理を施すことができる。
（８） 本発明は、（１）から（７）のいずれかの映像符号化装置について、前記摂動成分符号化手段は、前記非線形映像分解手段により分解された入力映像の摂動成分に対して、周波数ドメインでの圧縮符号化処理を施すことを特徴とする映像符号化装置を提案している。
この発明によれば、（１）から（７）のいずれかの映像符号化装置において、入力映像の摂動成分に対して、周波数ドメインでの圧縮符号化処理を施すこととした。このため、入力映像の摂動成分について、周波数ドメインでの圧縮符号化処理を施すことができる。
（９） 本発明は、（１）から（８）のいずれかの映像符号化装置について、前記構造成分符号化手段は、前記圧縮符号化処理において、ブロックベースの予測符号化技術を用いることを特徴とする映像符号化装置を提案している。
この発明によれば、（１）から（８）のいずれかの映像符号化装置において、ブロックベースの予測符号化技術を用いて圧縮符号化処理を施すこととした。このため、ブロックベースの予測符号化技術を用いて圧縮符号化処理を施すことができる。
（１０） 本発明は、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置（例えば、図７の映像復号装置ＢＢに相当）であって、圧縮符号化処理が施された構造成分の圧縮データを復号する構造成分復号手段（例えば、図７の構造成分復号部１１０に相当）と、圧縮符号化処理が施された摂動成分の圧縮データを復号する摂動成分復号手段（例えば、図７の摂動成分復号部１２０に相当）と、前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する非線形映像合成手段（例えば、図７の非線形映像合成部１３０に相当）と、を備えることを特徴とする映像復号装置を提案している。
ここで、入力映像を構造成分と摂動成分とに分解した場合について、以下に検討する。入力映像の構造成分については、隣接画素間の相関性が高く、時間方向の摂動的な画素値変化が除去されているため、時間方向予測に基づく従来の映像圧縮技術により圧縮符号化処理を施しても、高い符号化性能を得ることができる。また、入力映像の摂動成分については、空間方向および時間方向の隣接画素間の相関性は低いものの、摂動成分のもたらす雑音が所定のモデルにしたがっていると仮定すれば、適切な直交変換規定を用いた空間および時間方向の３次元直交変換や、空間方向の２次元直交変換の係数を用いた変換係数の時間予測を適用することで、効率的な符号化を行うことができる。
そこで、この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施したものについて、成分ごとに復号し、復号結果を合成して復号映像を生成することとした。このため、符号化性能を向上させることができる。
（１１） 本発明は、（１０）の映像復号装置について、前記摂動成分復号手段は、前記圧縮符号化処理が施された摂動成分の圧縮データをエントロピー復号するエントロピー復号手段（例えば、図９のエントロピー復号部１２１に相当）と、前記エントロピー復号手段により復号された摂動成分の信号に対して、周波数ドメイン上でフレーム間予測に基づく予測値を生成する予測値生成手段（例えば、図９の予測値生成部１２２に相当）と、前記エントロピー復号手段により復号された摂動成分の信号に対して逆量子化処理を施す逆量子化手段（例えば、図９の逆量子化部１２３に相当）と、前記予測値生成手段により生成された予測値と、前記逆量子化手段により逆量子化処理が施された摂動成分の信号と、の加算情報に対して、逆直交変換を施す逆直交変換手段（例えば、図９の逆直交変換部１２５に相当）と、を備えることを特徴とする映像復号装置を提案している。
この発明によれば、（１０）の映像復号装置において、摂動成分の圧縮データについてエントロピー復号した後に、周波数ドメイン上でフレーム間予測に基づく予測値を生成し、この予測値を用いて復号映像の摂動成分を生成することとした。このため、復号映像の摂動成分を求めることができる。
（１２） 本発明は、（１１）の映像復号装置について、前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データを復号する際に、フレーム間予測に用いられる動きベクトルを求め、前記予測値生成手段は、前記構造成分復号手段により求められた動きベクトルの処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔に当該動きベクトルを外挿または内挿し、当該外挿または内挿した動きベクトルを用いてフレーム間予測を行うことを特徴とする映像復号装置を提案している。
この発明によれば、（１１）の映像復号装置において、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルを、摂動成分の圧縮データの復号に用いることとした。このため、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルを、一から求める必要がないため、摂動成分の時間方向予測における符号化情報量を削減することができる。
また、この発明によれば、（１１）の映像復号装置において、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルについて、処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔にこの動きベクトルを外挿または内挿することとした。このため、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルを、時間方向の処理単位が構造成分とは異なる摂動成分にスケーリングすることができ、符号化性能の低下を防止できる。
（１３） 本発明は、（１１）または（１２）の映像復号装置について、前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データを復号する際に、フレーム間予測に用いられる動きベクトルを求め、前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルに基づいて、摂動成分におけるスキャン順序を決定することを特徴とする映像復号装置を提案している。
この発明によれば、（１１）または（１２）の映像復号装置において、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルを、摂動成分におけるスキャン順序の決定に用いることとした。このため、摂動成分におけるスキャン順序を適切に決定することができる。
（１４） 本発明は、（１３）の映像復号装置について、前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルで張られる領域の面積を求め、当該面積に基づいて前記スキャン順序を決定することを特徴とする映像復号装置を提案している。
この発明によれば、（１３）の映像復号装置において、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルで張られる領域の面積に基づいて、摂動成分におけるスキャン順序を決定することとした。このため、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルで張られる領域の面積により、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
（１５） 本発明は、（１３）の映像復号装置について、前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルの水平方向の変化量と垂直方向の変化量とを求め、当該変化量に基づいて前記スキャン順序を決定することを特徴とする映像復号装置を提案している。
この発明によれば、（１３）の映像復号装置において、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルの水平方向の変化量と垂直方向の変化量とに基づいて、摂動成分におけるスキャン順序を決定することとした。このため、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルの水平方向の変化量と垂直方向の変化量とにより、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
（１６） 本発明は、（１０）から（１５）のいずれかの映像復号装置について、前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データについて、ピクセルドメインで復号することを特徴とする映像復号装置を提案している。
この発明によれば、（１０）から（１５）のいずれかの映像復号装置において、構造成分の圧縮データについて、ピクセルドメインで復号することとした。このため、構造成分の圧縮データについて、ピクセルドメインで復号することができる。
（１７） 本発明は、（１０）から（１６）のいずれかの映像復号装置について、前記摂動成分復号手段は、前記圧縮符号化処理が施された摂動成分の圧縮データについて、周波数ドメインで復号することを特徴とする映像復号装置を提案している。
この発明によれば、（１０）から（１６）のいずれかの映像復号装置において、摂動成分の圧縮データについて、周波数ドメインで復号することとした。このため、摂動成分の圧縮データについて、周波数ドメインで復号することができる。
（１８） 本発明は、（１０）から（１７）のいずれかの映像復号装置について、前記構造成分復号手段は、前記復号において、ブロックベースの予測符号化技術を用いることを特徴とする映像復号装置を提案している。
この発明によれば、（１０）から（１７）のいずれかの映像復号装置において、ブロックベースの予測符号化技術を用いて復号することとした。このため、ブロックベースの予測符号化技術を用いて復号することができる。
（１９） 本発明は、非線形映像分解手段（例えば、図１の非線形映像分解部１０に相当）、構造成分符号化手段（例えば、図１の構造成分符号化部２０に相当）、および摂動成分符号化手段（例えば、図１の摂動成分符号化部３０に相当）を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置（例えば、図１の映像符号化装置ＡＡに相当）における映像符号化方法であって、前記非線形映像分解手段が、入力映像を構造成分と摂動成分とに分解する第１のステップと、前記構造成分符号化手段が、前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す第２のステップと、前記摂動成分符号化手段が、前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す第３のステップと、を備えることを特徴とする映像符号化方法を提案している。
この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施すこととした。このため、符号化性能を向上させることができる。
（２０） 本発明は、構造成分復号手段（例えば、図７の構造成分復号部１１０に相当）、摂動成分復号手段（例えば、図７の摂動成分復号部１２０に相当）、および非線形映像合成手段（例えば、図７の非線形映像合成部１３０に相当）を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置（例えば、図７の映像復号装置ＢＢに相当）における映像復号方法であって、前記構造成分復号手段が、圧縮符号化処理が施された構造成分の圧縮データを復号する第１のステップと、前記摂動成分復号手段が、圧縮符号化処理が施された摂動成分の圧縮データを復号する第２のステップと、前記非線形映像合成手段が、前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する第３のステップと、を備えることを特徴とする映像復号方法を提案している。
この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施したものについて、成分ごとに復号し、復号結果を合成して復号映像を生成することとした。このため、符号化性能を向上させることができる。
（２１） 本発明は、非線形映像分解手段（例えば、図１の非線形映像分解部１０に相当）、構造成分符号化手段（例えば、図１の構造成分符号化部２０に相当）、および摂動成分符号化手段（例えば、図１の摂動成分符号化部３０に相当）を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置（例えば、図１の映像符号化装置ＡＡに相当）における映像符号化方法を、コンピュータに実行させるためのプログラムであって、前記非線形映像分解手段が、入力映像を構造成分と摂動成分とに分解する第１のステップと、前記構造成分符号化手段が、前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す第２のステップと、前記摂動成分符号化手段が、前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す第３のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施すこととした。このため、符号化性能を向上させることができる。
（２２） 本発明は、構造成分復号手段（例えば、図７の構造成分復号部１１０に相当）、摂動成分復号手段（例えば、図７の摂動成分復号部１２０に相当）、および非線形映像合成手段（例えば、図７の非線形映像合成部１３０に相当）を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置（例えば、図７の映像復号装置ＢＢに相当）における映像復号方法を、コンピュータに実行させるためのプログラムであって、前記構造成分復号手段が、圧縮符号化処理が施された構造成分の圧縮データを復号する第１のステップと、前記摂動成分復号手段が、圧縮符号化処理が施された摂動成分の圧縮データを復号する第２のステップと、前記非線形映像合成手段が、前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する第３のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施したものについて、成分ごとに復号し、復号結果を合成して復号映像を生成することとした。このため、符号化性能を向上させることができる。
本発明によれば、符号化性能を向上させることができる。
本発明の一実施形態に係る映像符号化装置のブロック図である。 前記実施形態に係る映像符号化装置が備える構造成分符号化部のブロック図である。 前記実施形態に係る映像符号化装置が備える摂動成分符号化部のブロック図である。 前記実施形態に係る映像符号化装置が備える摂動成分符号化部によるスケーリングを説明するための図である。 前記実施形態に係る映像符号化装置が備える摂動成分符号化部によるスキャン順序の決定方法を説明するための図である。 前記実施形態に係る映像符号化装置が備える摂動成分符号化部によるスキャン順序の決定方法を説明するための図である。 本発明の一実施形態に係る映像復号装置のブロック図である。 前記実施形態に係る映像復号装置が備える構造成分復号部のブロック図である。 前記実施形態に係る映像復号装置が備える摂動成分復号部のブロック図である。 変形例に係る摂動成分符号化部によるスキャン順序の決定方法を説明するための図である。
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
［映像符号化装置ＡＡの構成および動作］
図１は、本発明の一実施形態に係る映像符号化装置ＡＡのブロック図である。映像符号化装置ＡＡは、入力された入力映像ａについて、構造成分（Ｓｔｒｕｃｔｕｒｅ成分）と摂動成分（Ｔｅｘｔｕｒｅ成分）とに分解し、成分ごとに独立した符号化方式で符号化する。この映像符号化装置ＡＡは、非線形映像分解部１０、構造成分符号化部２０、および摂動成分符号化部３０を備える。
（非線形映像分解部１０の構成および動作）
非線形映像分解部１０は、入力映像ａを入力とする。この非線形映像分解部１０は、入力映像ａを構造成分と摂動成分とに分解し、構造成分入力映像ｅおよび摂動成分入力映像ｆとして出力するとともに、後述の非線形映像分解情報ｂを出力する。非線形映像分解部１０の動作について、以下に詳述する。
非線形映像分解部１０は、非線形映像分解により入力映像ａを構造成分と摂動成分とに分解する。非線形映像分解には、非特許文献２、３に示されているＢＶ−Ｇ非線形画像分解モデルを用いる。このＢＶ−Ｇ非線形画像分解モデルについて、画像ｚをＢＶ（有界変動）成分とＧ（振動関数）成分とに分解する場合を例に、説明する。
ＢＶ−Ｇ非線形画像分解モデルは、ＢＶ成分とＧ成分との和に画像を分解するものであり、ＢＶ成分をｕ、Ｇ成分をｖとしてモデル化し、２つの成分ｕ、ｖのノルムをＴＶノルムＪ（ｕ）、Ｇノルム｜｜ｖ｜｜Ｇと定義することで、この分解問題を以下の数式（１）、（２）の変分問題として定式化できる。
Figure 2014187580
Figure 2014187580
数式（１）において、パラメータηは残差電力を示し、パラメータμはＧ成分ｖのＧノルムの上限値を指定したものを示す。数式（１）、（２）の変分問題は、以下の数式（３）、（４）の等価な変分問題に変換できる。
Figure 2014187580
Figure 2014187580
数式（３）、（４）において、汎関数Ｊ＊は、空間Ｇ１のIndicator汎関数で、これら数式（３）、（４）を解くことは、以下の数式（５）、（６）の部分変分問題を同時に解くことと等価である。なお、数式（５）は、ｖが与えられたときｕを探索する部分変分問題であり、数式（６）は、ｕが与えられたときｖを探索する部分変分問題である。
Figure 2014187580
Figure 2014187580
これら数式（５）、（６）の２つの部分変分問題は、ChambolleのProjection法を用いて簡単に解くことができる。
非線形映像分解部１０は、以上の非線形映像分解に基づいて、Ｎフレームごとに（Ｎは、Ｎ≧１を満たす任意の整数）空間方向および時間方向に関して入力映像ａを映像分解し、構造成分入力映像ｅおよび摂動成分入力映像ｆとして出力する。また、Ｎは、時間方向に非線形分解する単位であり、非線形映像分解部１０は、このＮを上述の非線形映像分解情報ｂとして出力する。
（構造成分符号化部２０の構成および動作）
図２は、構造成分符号化部２０のブロック図である。構造成分符号化部２０は、入力映像ａの構造成分にあたる構造成分入力映像ｅに対して圧縮符号化処理を施して、構造成分圧縮データｃとして出力するとともに、入力映像ａの構造成分のフレーム間予測に用いられる動きベクトルの情報を含む予測情報ｇを出力する。この構造成分符号化部２０は、予測値生成部２１、直交変換／量子化部２２、逆直交変換／逆量子化部２３、ローカルメモリ２４、およびエントロピー符号化部２５を備える。
予測値生成部２１は、構造成分入力映像ｅと、ローカルメモリ２４から出力される後述の局所復号映像ｋと、を入力とする。この予測値生成部２１は、これら入力された情報を用いて、ピクセルドメイン上で動き補償予測を行って、予め定められた複数種類の予測方法のうち符号化効率の最も良い予測方法を選択し、選択した予測方法により、ピクセルドメイン上でフレーム間予測に基づく予測値ｈを生成する。そして、予測値ｈを出力するとともに、予測値ｈを生成するのに利用した予測方法を示す情報を、予測情報ｇとして出力する。この予測情報ｇには、入力映像ａの構造成分における処理ブロック内の動きベクトルの情報が含まれる。
直交変換／量子化部２２は、構造成分入力映像ｅと予測値ｈとの差分信号（残差信号）を入力とする。この直交変換／量子化部２２は、入力された残差信号に対して直交変換を行い、変換係数に対して量子化処理を施して、変換および量子化された残差信号ｉとして出力する。
逆直交変換／逆量子化部２３は、変換および量子化された残差信号ｉを入力とする。この逆直交変換／逆量子化部２３は、変換および量子化された残差信号ｉに対して、逆量子化および逆直交変換の処理を施して、逆量子化および逆変換された残差信号ｊとして出力する。
ローカルメモリ２４は、ローカルデコード映像を入力とする。このローカルデコード映像とは、予測値ｈと、逆量子化および逆変換された残差信号ｊと、の加算情報のことである。このローカルメモリ２４は、入力されたローカルデコード映像を蓄積し、局所復号映像ｋとして適宜出力する。
エントロピー符号化部２５は、予測情報ｇと、変換および量子化された残差信号ｉと、を入力とする。このエントロピー符号化部２５は、入力された情報を可変長符号化法または算術符号化法に基づいて符号化し、その結果を符号化シンタックスにしたがって圧縮データストリームとして書き出し、構造成分圧縮データｃとして出力する。
（摂動成分符号化部３０の構成および動作）
図３は、摂動成分符号化部３０のブロック図である。摂動成分符号化部３０は、入力映像ａの摂動成分にあたる摂動成分入力映像ｆに対して圧縮符号化処理を施して、摂動成分圧縮データｄとして出力する。この摂動成分符号化部３０は、直交変換部３１、予測値生成部３２、量子化部３３、逆量子化部３４、ローカルメモリ３５、およびエントロピー符号化部３６を備える。
直交変換部３１は、摂動成分入力映像ｆを入力とする。この直交変換部３１は、入力された摂動成分入力映像ｆに対して、ＤＳＴ（Discrete Sine Transform：離散サイン変換）といった直交変換を施し、変換した係数情報を直交変換係数ｍとして出力する。なお、ＤＳＴの代わりに、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）といった他のＫＬ変換に基づく直交変換を適用することもできる。
予測値生成部３２は、直交変換係数ｍと、ローカルメモリ３５から出力される後述の局所復号された直交変換係数ｒと、構造成分符号化部２０の予測値生成部２１から出力された予測情報ｇと、を入力とする。この予測値生成部３２は、これら入力された情報を用いて、周波数ドメイン上で動き補償予測を行って、予め定められた複数種類の予測方法のうち符号化効率の最も良い予測方法を選択し、選択した予測方法により、周波数ドメイン上でフレーム間予測に基づく予測値ｎを生成する。そして、予測値ｎを出力するとともに、予測値ｎを生成するのに利用した予測方法を示す情報を、予測情報ｏとして出力する。なお、予測値生成部３２は、周波数ドメイン上での動き補償予測において、構造成分符号化部２０の予測値生成部２１で生成された、入力映像ａの構造成分における処理ブロック内の動きベクトルを用いる。
ただし、直交変換係数ｍは、摂動成分入力映像ｆに対して時間方向に直交変換が施されたものである。このため、構造成分と摂動成分とでは、時間方向の処理単位が異なる。したがって、構造成分符号化部２０の予測値生成部２１で生成された動きベクトル、すなわち構造成分における動きベクトルを、そのまま予測値生成部３２が用いた場合、符号化性能が低下してしまうおそれがある。
ここで、摂動成分で時間方向予測を行う場合、予測処理を行う間隔は、時間方向に直交変換を施す単位（上述のＮフレーム）に相当する。そこで、予測値生成部３２は、構造成分における動きベクトルを用いる際に、この動きベクトルをＮフレーム先の参照となるようにスケーリングする。そして、スケーリングにより内挿または外挿した動きベクトルを用いて、摂動成分で時間方向予測を行う。例えば図４に、構造成分における動きベクトルに対して外挿する場合の例を示す。
図３に戻って、量子化部３３は、直交変換係数ｍと、予測値ｎと、の差分信号（残差信号）を入力とする。この量子化部３３は、入力された残差信号に対して量子化処理を施して、量子化された残差信号ｐとして出力する。
逆量子化部３４は、量子化された残差信号ｐを入力とする。この逆量子化部３４は、量子化された残差信号ｐに対して逆量子化処理を行って、逆量子化された残差信号ｑとして出力する。
ローカルメモリ３５は、ローカルデコード映像を入力とする。このローカルデコード映像とは、予測値ｎと、逆量子化された残差信号ｑと、の加算情報のことである。このローカルメモリ３５は、入力されたローカルデコード映像を蓄積し、局所復号された直交変換係数ｒとして適宜出力する。
エントロピー符号化部３６は、予測情報ｏと、量子化された残差信号ｐと、構造成分符号化部２０の予測値生成部２１から出力された予測情報ｇと、を入力とする。このエントロピー符号化部３６は、図２に示したエントロピー符号化部２５と同様に、摂動成分圧縮データｄを生成して出力する。
ただし、エントロピー符号化の対象となる量子化された残差信号ｐは、水平方向、垂直方向、および時間方向の３次元の係数情報である。そこで、エントロピー符号化部３６は、構造成分符号化部２０の予測値生成部２１で生成された動きベクトル、すなわち構造成分における動きベクトルの変化に応じて、摂動成分におけるスキャン順序を決定し、決定したスキャン順序にしたがって量子化された残差信号ｐを１次元化する。
具体的には、まず、エントロピー符号化部３６は、構造成分符号化部２０の予測値生成部２１から出力された予測情報ｇに基づいて、Ｎフレーム分の処理フレーム内の動きベクトルにより張られる領域の面積を求める。
処理フレーム内の動きベクトルにより張られる領域の面積について、Ｎ＝４の場合を例に、図５、６を用いて以下に説明する。図５において、ＭＶａ、ＭＶｂ、ＭＶｃ、ＭＶｄは、４つの各フレームにおける処理フレーム内の動きベクトルを示している。エントロピー符号化部３６は、これら動きベクトルＭＶａ、ＭＶｂ、ＭＶｃ、ＭＶｄを、図６に示すように各動きベクトルの起点を１点に合わせて配置し、これら動きベクトルＭＶａ、ＭＶｂ、ＭＶｃ、ＭＶｄに外接し、かつ、面積が最小となる多角形を求め、この多角形の面積を求める。
次に、エントロピー符号化部３６は、求めた面積に応じてスキャン順序を決定する。具体的には、エントロピー符号化部３６は、予め定められた閾値を複数記憶しているとともに、予め定められたスキャン順序を複数記憶しており、これら閾値と求めた面積との大小関係に基づいて、これら複数のスキャン順序の中から１つを選択し、選択したスキャン順序に決定する。予め定められたスキャン順序としては、例えば、時間方向に進みやすいスキャン順序や、空間方向に進みやすいスキャン順序などがある。そして、求めた面積が大きくなるに従って、動きが大きいと判断し、時間方向に進みやすいスキャン順序を選択する。一方、求めた面積が小さくなるに従って、動きが小さいと判断し、空間方向に進みやすいスキャン順序を選択する。
［映像復号装置ＢＢの構成および動作］
図７は、本発明の一実施形態に係る映像復号装置ＢＢのブロック図である。映像復号装置ＢＢは、入力映像ａの構造成分を映像符号化装置ＡＡで符号化したものにあたる構造成分圧縮データｃと、入力映像ａの摂動成分を映像符号化装置ＡＡで符号化したものにあたる摂動成分圧縮データｄと、をそれぞれ復号して、これら復号結果を合成して復号映像Ａを生成する。この映像復号装置ＢＢは、構造成分復号部１１０、摂動成分復号部１２０、および非線形映像合成部１３０を備える。
（構造成分復号部１１０の構成および動作）
図８は、構造成分復号部１１０のブロック図である。構造成分復号部１１０は、入力映像ａの構造成分を映像符号化装置ＡＡで符号化したものにあたる構造成分圧縮データｃを復号して、構造成分復号信号Ｂとして出力するとともに、入力映像ａの構造成分のフレーム間予測に用いられた動きベクトルの情報を含む予測情報Ｃを出力する。この構造成分復号部１１０は、エントロピー復号部１１１、予測値生成部１１２、逆直交変換／逆量子化部１１３、およびローカルメモリ１１４を備える。
エントロピー復号部１１１は、構造成分圧縮データｃを入力とする。このエントロピー復号部１１１は、構造成分圧縮データｃを可変長符号化法または算術符号化法に基づいて復号し、予測情報Ｃおよび残差信号Ｅを取り出して出力する。
予測値生成部１１２は、予測情報Ｃと、ローカルメモリ１１４から出力される後述の復号済み映像Ｈと、を入力とする。この予測値生成部１１２は、予測情報Ｃにしたがって復号済み映像Ｈから予測値Ｆを生成し、出力する。
逆直交変換／逆量子化部１１３は、残差信号Ｅを入力とする。この逆直交変換／逆量子化部１１３は、残差信号Ｅに対して逆直交変換および逆量子化の処理を施して、逆変換および逆量子化された残差信号Ｇとして出力する。
ローカルメモリ１１４は、構造成分復号信号Ｂを入力とする。この構造成分復号信号Ｂとは、予測値Ｆと残差信号Ｇとの加算情報のことである。このローカルメモリ１１４は、入力された構造成分復号信号Ｂを蓄積し、復号済み映像Ｈとして適宜出力する。
（摂動成分復号部１２０の構成および動作）
図９は、摂動成分復号部１２０のブロック図である。摂動成分復号部１２０は、入力映像ａの摂動成分を映像符号化装置ＡＡで符号化したものにあたる摂動成分圧縮データｄを復号して、摂動成分復号信号Ｄとして出力する。この摂動成分復号部１２０は、エントロピー復号部１２１、予測値生成部１２２、逆量子化部１２３、ローカルメモリ１２４、および逆直交変換部１２５を備える。
エントロピー復号部１２１は、摂動成分圧縮データｄを入力とする。このエントロピー復号部１２１は、摂動成分圧縮データｄを可変長符号化法または算術符号化法に基づいて復号し、残差信号Ｉを取り出して出力する。
予測値生成部１２２は、構造成分復号部１１０のエントロピー復号部１１１から出力された予測情報Ｃと、ローカルメモリ１２４から出力される後述の処理済みフレームにおける変換係数Ｍと、を入力とする。この予測値生成部１２２は、予測情報Ｃにしたがって処理済みフレームにおける変換係数Ｍから予測値Ｊを生成し、出力する。なお、予測値生成部１２２は、予測値Ｊの生成を周波数ドメイン上で行い、その際に、図３の予測値生成部３２と同様に、構造成分復号部１１０の予測値生成部１１２で生成された動きベクトルをスケーリングして用いる。
逆量子化部１２３は、残差信号Ｉを入力とする。この逆量子化部１２３は、残差信号Ｉに対して逆量子化の処理を施して、逆量子化された残差信号Ｋとして出力する。
ローカルメモリ１２４は、周波数ドメイン上での摂動成分復号信号Ｌを入力とする。この周波数ドメイン上での摂動成分復号信号Ｌとは、予測値Ｊと残差信号Ｋとの加算情報のことである。このローカルメモリ１２４は、入力された周波数ドメイン上での摂動成分復号信号Ｌを蓄積し、処理済みフレームにおける変換係数Ｍとして適宜出力する。
逆直交変換部１２５は、周波数ドメイン上での摂動成分復号信号Ｌを入力とする。この逆直交変換部１２５は、入力された周波数ドメイン上での摂動成分復号信号Ｌに対して、図３の直交変換部３１で施された直交変換に対する逆直交変換を施し、摂動成分復号信号Ｄとして出力する。
（非線形映像合成部１３０の構成および動作）
図７に戻って、非線形映像合成部１３０は、構造成分復号信号Ｂと、摂動成分復号信号Ｄと、を入力とする。この非線形映像合成部１３０は、構造成分復号信号Ｂと摂動成分復号信号Ｄとの和をＮフレームごとに、非特許文献２、３に示されているように求めて、復号映像Ａを生成する。
以上の映像符号化装置ＡＡによれば、以下の効果を奏することができる。
ここで、入力映像を構造成分と摂動成分とに分解した場合について、以下に検討する。入力映像の構造成分については、隣接画素間の相関性が高く、時間方向の摂動的な画素値変化が除去されているため、時間方向予測に基づく従来の映像圧縮技術により圧縮符号化処理を施しても、高い符号化性能を得ることができる。また、入力映像の摂動成分については、空間方向および時間方向の隣接画素間の相関性は低いものの、摂動成分のもたらす雑音が所定のモデルにしたがっていると仮定すれば、適切な直交変換規定を用いた空間および時間方向の３次元直交変換や、空間方向の２次元直交変換の係数を用いた変換係数の時間予測を適用することで、効率的な符号化を行うことができる。
そこで、映像符号化装置ＡＡは、入力映像ａを構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施す。このため、符号化性能を向上させることができる。そして、時間方向の摂動的な画素値変化の影響は、入力映像ａのフレームレートが高くなるに従って大きくなるので、特に高フレームレートの入力映像ａに対して、符号化性能を大きく向上させることができる。
また、映像符号化装置ＡＡは、入力映像ａの摂動成分に対して周波数ドメイン上でフレーム間予測に基づく予測値ｎを生成し、この予測値ｎを用いて入力映像ａの摂動成分の圧縮データを生成する。このため、入力映像ａの摂動成分に対して圧縮符号化処理を施すことができる。
また、映像符号化装置ＡＡは、入力映像ａの構造成分における動きベクトルを、入力映像ａの摂動成分に対する圧縮符号化処理に用いる。このため、入力映像ａの摂動成分における動きベクトルを、一から求める必要がないため、摂動成分の時間方向予測における符号化情報量を削減することができる。
また、映像符号化装置ＡＡは、入力映像ａの構造成分における動きベクトルについて、処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔にこの動きベクトルを外挿または内挿する。このため、入力映像ａの構造成分における動きベクトルを、時間方向の処理単位が構造成分とは異なる摂動成分にスケーリングすることができ、符号化性能の低下を防止できる。
また、映像符号化装置ＡＡは、入力映像ａの構造成分における動きベクトルで張られる領域の面積に基づいて、摂動成分におけるスキャン順序を決定する。このため、入力映像ａの構造成分における動きベクトルで張られる領域の面積により、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
また、映像符号化装置ＡＡは、入力映像ａの構造成分について、ピクセルドメインでの圧縮符号化処理を施すことができ、入力映像ａの摂動成分について、周波数ドメインでの圧縮符号化処理を施すことができる。
また、映像符号化装置ＡＡは、ブロックベースの予測符号化技術を用いて圧縮符号化処理を施すことができる。
以上の映像復号装置ＢＢによれば、以下の効果を奏することができる。
映像復号装置ＢＢは、入力映像ａを構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施したものについて、成分ごとに復号し、復号結果を合成して復号映像Ａを生成する。このため、符号化性能を向上させることができる。そして、時間方向の摂動的な画素値変化の影響は、入力映像ａのフレームレートが高くなるに従って大きくなるので、特に高フレームレートの入力映像ａに対して、符号化性能を大きく向上させることができる。
また、映像復号装置ＢＢは、摂動成分圧縮データｄについてエントロピー復号した後に、周波数ドメイン上でフレーム間予測に基づく予測値Ｊを生成し、この予測値Ｊを用いて復号映像Ａの摂動成分を生成する。このため、復号映像Ａの摂動成分を求めることができる。
また、映像復号装置ＢＢは、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルを、摂動成分圧縮データｄの復号に用いる。このため、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルを、一から求める必要がないため、摂動成分の時間方向予測における符号化情報量を削減することができる。
また、映像復号装置ＢＢは、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルについて、処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔にこの動きベクトルを外挿または内挿する。このため、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルを、時間方向の処理単位が構造成分とは異なる摂動成分にスケーリングすることができ、符号化性能の低下を防止できる。
また、映像復号装置ＢＢは、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルで張られる領域の面積に基づいて、摂動成分におけるスキャン順序を決定する。このため、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルで張られる領域の面積により、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
また、映像復号装置ＢＢは、構造成分圧縮データｃについて、ピクセルドメインで復号することができ、摂動成分圧縮データｄについて、周波数ドメインで復号することができる。
また、映像復号装置ＢＢは、ブロックベースの予測符号化技術を用いて復号することができる。
なお、本発明の映像符号化装置ＡＡや映像復号装置ＢＢの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを映像符号化装置ＡＡや映像復号装置ＢＢに読み込ませ、実行することによって、本発明を実現できる。
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、映像符号化装置ＡＡや映像復号装置ＢＢに設けられたプロセッサによって行われる。
また、上述のプログラムは、このプログラムを記憶装置などに格納した映像符号化装置ＡＡや映像復号装置ＢＢから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を映像符号化装置ＡＡや映像復号装置ＢＢにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
例えば、上述の実施形態では、図３のエントロピー符号化部３６は、スキャン順序を、図６を用いて説明したようにＮフレーム内の処理フレーム内の動きベクトルにより張られる領域の面積に応じて決定するものとしたが、これに限らない。例えば、図１０に示すように、Ｎフレーム内の処理フレーム内の動きベクトルの水平方向の振れ幅および垂直方向の振れ幅に応じて決定してもよい。
上述のように水平方向の振れ幅および垂直方法の振れ幅を用いる場合には、エントロピー符号化部３６は、図１０に示すように各動きベクトルの基点を１点に合わせて配置し、これら動きベクトルの水平方向の変化量および垂直方向の変化量を求める。そして、これら変化量に応じて、スキャン順序を決定する。これによれば、入力映像ａの構造成分における動きベクトルの水平方向の変化量と垂直方向の変化量とにより、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。また、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルの水平方向の変化量と垂直方向の変化量とにより、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
１０・・・非線形映像分解部
２０・・・構造成分符号化部
３０・・・摂動成分符号化部
１１０・・・構造成分復号部
１２０・・・摂動成分復号部
１３０・・・非線形映像合成部
ＡＡ・・・映像符号化装置
ＢＢ・・・映像復号装置

Claims (22)

  1. 空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置であって、
    入力映像を構造成分と摂動成分とに分解する非線形映像分解手段と、
    前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す構造成分符号化手段と、
    前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す摂動成分符号化手段と、を備えることを特徴とする映像符号化装置。
  2. 前記摂動成分符号化手段は、
    前記非線形映像分解手段により分解された入力映像の摂動成分を直交変換する直交変換手段と、
    前記直交変換手段により直交変換された入力映像の摂動成分に対して、周波数ドメイン上でフレーム間予測に基づく予測値を生成する予測値生成手段と、
    前記直交変換手段により直交変換された入力映像の摂動成分と、前記予測値生成手段により生成された予測値と、の差分により得られる差分信号に対して量子化処理を施す量子化手段と、
    前記量子化手段により量子化された差分信号をエントロピー符号化するエントロピー符号化手段と、を備えることを特徴とする請求項１に記載の映像符号化装置。
  3. 前記構造成分符号化手段は、前記入力映像の構造成分に対して圧縮符号化処理を施す際に、フレーム間予測に用いられる動きベクトルを求め、
    前記予測値生成手段は、前記構造成分符号化手段により求められた動きベクトルの処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔に当該動きベクトルを外挿または内挿し、当該外挿または内挿した動きベクトルを用いてフレーム間予測を行うことを特徴とする請求項２に記載の映像符号化装置。
  4. 前記構造成分符号化手段は、前記入力映像の構造成分に対して圧縮符号化処理を施す際に、フレーム間予測に用いられる動きベクトルを求め、
    前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルに基づいて、摂動成分におけるスキャン順序を決定することを特徴とする請求項２または３に記載の映像符号化装置。
  5. 前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルで張られる領域の面積を求め、当該面積に基づいて前記スキャン順序を決定することを特徴とする請求項４に記載の映像符号化装置。
  6. 前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルの水平方向の変化量と垂直方向の変化量とを求め、当該変化量に基づいて前記スキャン順序を決定することを特徴とする請求項４に記載の映像符号化装置。
  7. 前記構造成分符号化手段は、前記非線形映像分解手段により分解された入力映像の構造成分に対して、ピクセルドメインでの圧縮符号化処理を施すことを特徴とする請求項１から６のいずれかに記載の映像符号化装置。
  8. 前記摂動成分符号化手段は、前記非線形映像分解手段により分解された入力映像の摂動成分に対して、周波数ドメインでの圧縮符号化処理を施すことを特徴とする請求項１から７のいずれかに記載の映像符号化装置。
  9. 前記構造成分符号化手段は、前記圧縮符号化処理において、ブロックベースの予測符号化技術を用いることを特徴とする請求項１から８のいずれかに記載の映像符号化装置。
  10. 空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置であって、
    圧縮符号化処理が施された構造成分の圧縮データを復号する構造成分復号手段と、
    圧縮符号化処理が施された摂動成分の圧縮データを復号する摂動成分復号手段と、
    前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する非線形映像合成手段と、を備えることを特徴とする映像復号装置。
  11. 前記摂動成分復号手段は、
    前記圧縮符号化処理が施された摂動成分の圧縮データをエントロピー復号するエントロピー復号手段と、
    前記エントロピー復号手段により復号された摂動成分の信号に対して、周波数ドメイン上でフレーム間予測に基づく予測値を生成する予測値生成手段と、
    前記エントロピー復号手段により復号された摂動成分の信号に対して逆量子化処理を施す逆量子化手段と、
    前記予測値生成手段により生成された予測値と、前記逆量子化手段により逆量子化処理が施された摂動成分の信号と、の加算情報に対して、逆直交変換を施す逆直交変換手段と、を備えることを特徴とする請求項１０に記載の映像復号装置。
  12. 前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データを復号する際に、フレーム間予測に用いられる動きベクトルを求め、
    前記予測値生成手段は、前記構造成分復号手段により求められた動きベクトルの処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔に当該動きベクトルを外挿または内挿し、当該外挿または内挿した動きベクトルを用いてフレーム間予測を行うことを特徴とする請求項１１に記載の映像復号装置。
  13. 前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データを復号する際に、フレーム間予測に用いられる動きベクトルを求め、
    前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルに基づいて、摂動成分におけるスキャン順序を決定することを特徴とする請求項１１または１２に記載の映像復号装置。
  14. 前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルで張られる領域の面積を求め、当該面積に基づいて前記スキャン順序を決定することを特徴とする請求項１３に記載の映像復号装置。
  15. 前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルの水平方向の変化量と垂直方向の変化量とを求め、当該変化量に基づいて前記スキャン順序を決定することを特徴とする請求項１３に記載の映像復号装置。
  16. 前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データについて、ピクセルドメインで復号することを特徴とする請求項１０から１５のいずれかに記載の映像復号装置。
  17. 前記摂動成分復号手段は、前記圧縮符号化処理が施された摂動成分の圧縮データについて、周波数ドメインで復号することを特徴とする請求項１０から１６のいずれかに記載の映像復号装置。
  18. 前記構造成分復号手段は、前記復号において、ブロックベースの予測符号化技術を用いることを特徴とする請求項１０から１７のいずれかに記載の映像復号装置。
  19. 非線形映像分解手段、構造成分符号化手段、および摂動成分符号化手段を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置における映像符号化方法であって、
    前記非線形映像分解手段が、入力映像を構造成分と摂動成分とに分解する第１のステップと、
    前記構造成分符号化手段が、前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す第２のステップと、
    前記摂動成分符号化手段が、前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す第３のステップと、を備えることを特徴とする映像符号化方法。
  20. 構造成分復号手段、摂動成分復号手段、および非線形映像合成手段を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置における映像復号方法であって、
    前記構造成分復号手段が、圧縮符号化処理が施された構造成分の圧縮データを復号する第１のステップと、
    前記摂動成分復号手段が、圧縮符号化処理が施された摂動成分の圧縮データを復号する第２のステップと、
    前記非線形映像合成手段が、前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する第３のステップと、を備えることを特徴とする映像復号方法。
  21. 非線形映像分解手段、構造成分符号化手段、および摂動成分符号化手段を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置における映像符号化方法を、コンピュータに実行させるためのプログラムであって、
    前記非線形映像分解手段が、入力映像を構造成分と摂動成分とに分解する第１のステップと、
    前記構造成分符号化手段が、前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す第２のステップと、
    前記摂動成分符号化手段が、前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す第３のステップと、をコンピュータに実行させるためのプログラム。
  22. 構造成分復号手段、摂動成分復号手段、および非線形映像合成手段を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置における映像復号方法を、コンピュータに実行させるためのプログラムであって、
    前記構造成分復号手段が、圧縮符号化処理が施された構造成分の圧縮データを復号する第１のステップと、
    前記摂動成分復号手段が、圧縮符号化処理が施された摂動成分の圧縮データを復号する第２のステップと、
    前記非線形映像合成手段が、前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する第３のステップと、をコンピュータに実行させるためのプログラム。
JP2013061610A 2013-03-25 2013-03-25 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム Pending JP2014187580A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013061610A JP2014187580A (ja) 2013-03-25 2013-03-25 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム
US14/778,830 US20160050441A1 (en) 2013-03-25 2014-03-24 Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and computer program
PCT/JP2014/058087 WO2014157087A1 (ja) 2013-03-25 2014-03-24 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム
EP14774850.3A EP2981086A4 (en) 2013-03-25 2014-03-24 VIDEO CODING DEVICE, VIDEO CODING DEVICE, VIDEO CODING METHOD, VIDEO CODING METHOD AND PROGRAM
CN201480017301.3A CN105324998A (zh) 2013-03-25 2014-03-24 视频编码装置、视频解码装置、视频编码方法、视频解码方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013061610A JP2014187580A (ja) 2013-03-25 2013-03-25 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2014187580A true JP2014187580A (ja) 2014-10-02

Family

ID=51624060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013061610A Pending JP2014187580A (ja) 2013-03-25 2013-03-25 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム

Country Status (5)

Country Link
US (1) US20160050441A1 (ja)
EP (1) EP2981086A4 (ja)
JP (1) JP2014187580A (ja)
CN (1) CN105324998A (ja)
WO (1) WO2014157087A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001503584A (ja) * 1996-11-07 2001-03-13 トムソン マルチメディア 動き補償予測処理及び、動き補償予測処理を用いた符号化器
JP2003069999A (ja) * 2002-06-07 2003-03-07 Mitsubishi Electric Corp 画像符号化方式
JP2007184800A (ja) * 2006-01-10 2007-07-19 Hitachi Ltd 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
JP2010004375A (ja) * 2008-06-20 2010-01-07 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、および画像復号プログラム
JP2010526455A (ja) * 2007-01-23 2010-07-29 ユークリッド・ディスカバリーズ・エルエルシー 画像データを処理するコンピュータ方法および装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974186A (en) * 1995-10-24 1999-10-26 Georgia Tech Research Corporation Video coding system and method for noisy signals
US5748789A (en) * 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
EP0856995B1 (en) * 1997-01-31 2006-09-13 Victor Company Of Japan, Ltd. Video coding and decoding apparatus with motion compensation
EP1300023A2 (en) * 2000-06-30 2003-04-09 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
KR100703740B1 (ko) * 2004-10-21 2007-04-05 삼성전자주식회사 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
JP4563982B2 (ja) 2006-10-31 2010-10-20 日本電信電話株式会社 動き推定方法，装置，そのプログラムおよびその記録媒体
JP4785890B2 (ja) 2008-04-18 2011-10-05 日本電信電話株式会社 動き推定精度推定方法、動き推定精度推定装置、動き推定精度推定プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
EP2338281A4 (en) * 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
US8477845B2 (en) * 2009-10-16 2013-07-02 Futurewei Technologies, Inc. Predictive adaptive scan ordering for video coding
GB2481856A (en) * 2010-07-09 2012-01-11 British Broadcasting Corp Picture coding using weighted predictions in the transform domain
CN102065291B (zh) * 2010-11-09 2012-11-21 北京工业大学 基于稀疏表示模型的图像解码方法
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001503584A (ja) * 1996-11-07 2001-03-13 トムソン マルチメディア 動き補償予測処理及び、動き補償予測処理を用いた符号化器
JP2003069999A (ja) * 2002-06-07 2003-03-07 Mitsubishi Electric Corp 画像符号化方式
JP2007184800A (ja) * 2006-01-10 2007-07-19 Hitachi Ltd 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
JP2010526455A (ja) * 2007-01-23 2010-07-29 ユークリッド・ディスカバリーズ・エルエルシー 画像データを処理するコンピュータ方法および装置
JP2010004375A (ja) * 2008-06-20 2010-01-07 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、および画像復号プログラム

Also Published As

Publication number Publication date
US20160050441A1 (en) 2016-02-18
CN105324998A (zh) 2016-02-10
EP2981086A4 (en) 2016-08-24
EP2981086A1 (en) 2016-02-03
WO2014157087A1 (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
JP6559309B2 (ja) 画像予測復号方法
WO2010001916A1 (ja) 画像処理装置および方法
US20150049804A1 (en) Video decoder, video encoder, video decoding method, and video encoding method
KR20230043079A (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
US9185428B2 (en) Motion vector scaling for non-uniform motion vector grid
KR101442608B1 (ko) 영상을 효율적으로 부호화/복호화하는 방법 및 장치
JP2008507190A (ja) 動き補償方法
US20200236389A1 (en) Memory access window and padding for motion vector refinement
JP2014195145A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US9049454B2 (en) High efficiency low complexity interpolation filters
KR20200058560A (ko) 모션 벡터 리파인먼트를 위한 제한된 메모리 액세스 윈도우
KR20150135637A (ko) 복호화 정보를 이용한 해상도 변환 장치 및 그 방법
JP2011135460A (ja) 動画像符号化装置および動画像復号装置
KR101615503B1 (ko) 인트라 예측 정보를 이용한 해상도 변환 방법 및 그 장치
KR20160088951A (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
WO2014157087A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム
KR102573577B1 (ko) 영상 처리 방법, 프레임 율 변환 방법 및 그 장치
WO2011099241A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR101524664B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20130098121A (ko) 적응적 보간 필터를 이용하는 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
US10051268B2 (en) Method for encoding, decoding video signal and device therefor
KR101533435B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533441B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101479525B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
EP2774373B1 (en) Motion vector scaling for non-uniform motion vector grid

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170808