JP2016146572A - 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム - Google Patents

動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム Download PDF

Info

Publication number
JP2016146572A
JP2016146572A JP2015023071A JP2015023071A JP2016146572A JP 2016146572 A JP2016146572 A JP 2016146572A JP 2015023071 A JP2015023071 A JP 2015023071A JP 2015023071 A JP2015023071 A JP 2015023071A JP 2016146572 A JP2016146572 A JP 2016146572A
Authority
JP
Japan
Prior art keywords
filter coefficient
prediction
prediction value
error
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015023071A
Other languages
English (en)
Inventor
知伸 吉野
Tomonobu Yoshino
知伸 吉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2015023071A priority Critical patent/JP2016146572A/ja
Priority to PCT/JP2015/085739 priority patent/WO2016129185A1/ja
Publication of JP2016146572A publication Critical patent/JP2016146572A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】圧縮性能を向上させる。【解決手段】動画像符号化装置１は、事前イントラ予測値算出部２１、誤差最小化フィルタ係数算出部２２、およびフィルタ処理部２３を備える。事前イントラ予測値算出部２１は、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、イントラ予測モードに基づくイントラ予測により予測値を生成し、事前イントラ予測値ＳＩＧ１８として出力する。誤差最小化フィルタ係数算出部２２は、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差を最小化する補間フィルタ係数を算出し、補間フィルタ係数ＳＩＧ８として出力する。フィルタ処理部２３は、事前イントラ予測値ＳＩＧ１８に対して、補間フィルタ係数ＳＩＧ８を用いて誤差最小化フィルタ処理を行う。【選択図】図３

Description

本発明は、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラムに関する。
非特許文献１に代表される映像圧縮に関する標準方式では、予測符号化方式が採用されており、予測誤差を周波数領域に変換した上で量子化する。このため、符号化された画像には、量子化の過程で量子化誤差（ノイズ）が発生してしまう。そこで、符号化誤差を直接的または間接的に抑制する手法が提案されている。
例えば、非特許文献１には、ＳＡＯ（Sample Adaptive Offset）が提案されている。ＳＡＯは、符号化されたフレームに対して、局所領域ごとにオフセット値を制御するフィルタの一種である。
また、非特許文献２には、ＡＬＦ（Adaptive Loop Filter）が提案されている。ＡＬＦでは、符号化されたフレームに対して、局所領域ごとに誤差を最小化するフィルタ処理が施される。
"High Efficiency Video Coding (HEVC) text specification draft10," JCT-VC 12th meeting, JCTVC-L1003 v34, Jan. 2013. M. Mtsumura, Y. Bandoh, S. Takamura, H. Jozawa, "In-loop filter based on non-local means filter," Joint Collaborative Team on Video Coding (JCT-VC), JCTVC-E206, March, 2011.
非特許文献１におけるＳＡＯや非特許文献２におけるＡＬＦは、符号化されたフレームに対する技術、すなわち既に符号化処理が行われた後のフレームに対する技術であり、予測符号化における圧縮性能に強く影響する予測性能を向上させる技術ではない。このため、圧縮性能を十分には向上させることができなかった。
そこで、本発明は、上述の課題に鑑みてなされたものであり、圧縮性能を向上させることを目的とする。
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、符号化済みの局所復号画像（例えば、図２の局所復号画像ＳＩＧ１７に相当）を用いた予測符号化を許容する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）であって、入力画像（例えば、図２の入力画像ＳＩＧ１に相当）および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する事前予測値生成手段（例えば、図３の事前イントラ予測値算出部２１に相当）と、前記入力画像と、前記事前予測値生成手段により生成された予測値と、に基づく誤差（例えば、後述の予測誤差または符号化誤差に相当）を最小化するフィルタ係数を算出する誤差最小化フィルタ係数算出手段（例えば、図３の誤差最小化フィルタ係数算出部２２に相当）と、前記事前予測値生成手段により生成された予測値に対して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理手段（例えば、図３のフィルタ処理部２３に相当）と、を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、動画像符号化装置に、事前予測値生成手段、誤差最小化フィルタ係数算出手段、およびフィルタ処理手段を設けることとした。また、事前予測値生成手段により、入力画像および局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成することとした。また、誤差最小化フィルタ係数算出手段により、入力画像と、事前予測値生成手段により生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出することとした。また、フィルタ処理手段により、事前予測値生成手段により生成された予測値に対して、誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行うこととした。
このため、符号化される前のフレームに対して、すなわち符号化処理が行われる前のフレームに対して、フィルタ処理を行うことになる。したがって、予測符号化における圧縮性能に強く影響する予測性能を向上させることができ、その結果、圧縮性能を向上させることができる。
また、入力画像と整数精度の動き補償に基づくインター予測による予測値とに基づく誤差と、入力画像とイントラ予測による予測値とに基づく誤差と、のうち少なくともいずれかを最小化するフィルタ係数が算出されることになる。このため、整数画素位置の動き補償やイントラ予測における誤差を低減することができるので、その結果、圧縮性能をさらに向上させることができる。
（２） 本発明は、（１）の動画像符号化装置について、前記誤差最小化フィルタ係数算出手段は、前記入力画像と、前記事前予測値生成手段により生成された予測値と、の差分である予測誤差と、前記予測誤差に対して、直交変換処理、量子化処理、逆量子化処理、および逆変換処理を行って得られた符号化誤差と、のうちいずれかを最小化するフィルタ係数を算出することを特徴とする動画像符号化装置を提案している。
この発明によれば、（１）の動画像符号化装置において、誤差最小化フィルタ係数算出手段により、予測誤差および符号化誤差のうちいずれかを最小化するフィルタ係数を算出することとした。このため、フィルタ処理手段によるフィルタ処理により、予測誤差または符号化誤差を最小化することができる。
なお、予測誤差を最小化する場合には、符号化誤差を最小化する場合と比べて、直交変換処理、量子化処理、逆量子化処理、および逆変換処理を行う必要がないので、誤差最小化フィルタ係数算出手段における処理量を低減させることができる。
一方、符号化誤差を最小化する場合には、予測誤差だけでなく量子化誤差も考慮した上で、フィルタ係数を求めることができる。このため、予測残差の符号量の抑制と、復号画像における直接的な誤差の抑制と、を同時に実現することができる。したがって、予測誤差を最小化する場合と比べて、多くの予測残差符号量が発生するイントラ符号化や、高ビットレート符号化などにおいて、圧縮性能を特に向上させることができる。
（３） 本発明は、（１）または（２）の動画像符号化装置について、前記誤差最小化フィルタ係数算出手段は、前記フィルタ係数を、Ｗｉｅｎｅｒ ｆｉｌｔｅｒ法に基づいて算出することを特徴とする動画像符号化装置を提案している。
この発明によれば、（１）または（２）の動画像符号化装置において、Ｗｉｅｎｅｒ ｆｉｌｔｅｒ法に基づいてフィルタ係数を算出することができる。
（４） 本発明は、（１）から（３）のいずれかの動画像符号化装置について、前記事前予測値生成手段は、前記入力画像および前記局所復号画像を用いて、イントラ予測により予測値を生成し、前記誤差最小化フィルタ係数算出手段は、前記フィルタ係数を、イントラ予測モードに応じて算出することを特徴とする動画像符号化装置を提案している。
ここで、Ｈ．２６４やＨ．２６５に代表される映像圧縮に関する標準方式では、イントラ予測において、イントラ予測モードに応じたイントラ予測値が生成される。このため、イントラ予測値は、イントラ予測モードの影響を受けやすい。
そこで、この発明によれば、（１）から（３）のいずれかの動画像符号化装置において、事前予測値生成手段により、イントラ予測モードに応じてフィルタ係数を算出することとした。このため、全てのイントラ予測モードに共通する１つのフィルタ係数を算出する場合と比べて、予測誤差を小さくしたり、符号化性能を改善したりすることができる。
（５） 本発明は、（４）の動画像符号化装置について、前記誤差最小化フィルタ係数算出手段は、イントラ予測モードをｍ個（ただし、ｍは、イントラ予測モードの種類数よりも小さく、ゼロを含まない自然数）のグループに分類し、分類したグループごとに前記フィルタ係数を算出することを特徴とする動画像符号化装置を提案している。
ここで、イントラ予測モードのそれぞれに応じてフィルタ係数を算出する場合には、フィルタ係数に関する情報量が膨大になるので、その結果、符号化性能が低下してしまうおそれがある。
そこで、この発明によれば、（４）の動画像符号化装置において、誤差最小化フィルタ係数算出手段により、イントラ予測モードをｍ個のグループに分類し、分類したグループごとにフィルタ係数を算出することとした。このため、全てのイントラ予測モードに共通する１つのフィルタ係数を算出する場合と比べて、予測誤差を小さくしつつ、フィルタ係数に関する情報量の増加を抑制して、符号化性能を改善することができる。
（６） 本発明は、復号済み画像（例えば、図４のデコード画像ＳＩＧ６４に相当）を用いた予測復号を許容する動画像復号装置（例えば、図１の動画像復号装置１００に相当）であって、符号化データ（例えば、図４の符号化データＳＩＧ２に相当）をエントロピー復号してフィルタ係数（例えば、図４のイントラ予測における補間フィルタ係数ＳＩＧ５４に相当）を取得するエントロピー復号手段（例えば、図４のエントロピー復号部１１０に相当）と、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理手段（例えば、図４のイントラ予測値生成部１４０に相当）と、を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、動画像復号装置に、エントロピー復号手段およびフィルタ処理手段を設けることとした。また、エントロピー復号手段により、符号化データをエントロピー復号してフィルタ係数を取得することとした。また、フィルタ処理手段により、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行うこととした。
このため、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより生成した予測値に対して、符号化データを生成する際に用いられたフィルタ係数を用いて、フィルタ処理を行うことができる。したがって、整数画素位置の動き補償やイントラ予測における誤差を低減することができるので、その結果、圧縮性能を向上させることができる。
（７） 本発明は、（６）の動画像復号装置について、前記エントロピー復号手段は、符号化データをエントロピー復号して、イントラ予測モードに応じて算出されたフィルタ係数を取得し、前記フィルタ処理手段は、前記復号済み画像を用いて、イントラ予測により予測値を生成することを特徴とする動画像復号装置を提案している。
ここで、Ｈ．２６４やＨ．２６５に代表される映像圧縮に関する標準方式では、イントラ予測において、イントラ予測モードに応じたイントラ予測値が生成される。このため、イントラ予測値は、イントラ予測モードの影響を受けやすい。
そこで、この発明によれば、（６）の動画像復号装置において、エントロピー復号手段により、符号化データをエントロピー復号して、イントラ予測モードに応じて算出されたフィルタ係数を取得することとした。また、フィルタ処理手段により、復号済み画像を用いて、イントラ予測により予測値を生成することとした。このため、イントラ予測モードに応じて算出されたフィルタ係数を用いてフィルタ処理を行うことができるので、全てのイントラ予測モードに共通する１つのフィルタ係数を用いてフィルタ処理を行う場合と比べて、予測誤差を小さくしたり、符号化性能を改善したりすることができる。
（８） 本発明は、（７）の動画像復号装置について、前記イントラ予測モードは、予めｍ個（ただし、ｍは、イントラ予測モードの種類数よりも小さく、ゼロを含まない自然数）のグループに分類され、前記フィルタ係数は、分類されているグループごとに算出されており、前記エントロピー復号手段は、符号化データをエントロピー復号して、前記グループごとに算出されたフィルタ係数を取得することを特徴とする動画像復号装置を提案している。
ここで、イントラ予測モードのそれぞれに応じてフィルタ係数が算出されている場合には、フィルタ係数に関する情報量が膨大になるので、その結果、符号化性能が低下してしまうおそれがある。
そこで、この発明によれば、（７）の動画像復号装置において、イントラ予測モードは、予めｍ個のグループに分類され、フィルタ係数は、分類されているグループごとに算出されており、エントロピー復号手段は、符号化データをエントロピー復号して、グループごとに算出されたフィルタ係数を取得することとした。このため、全てのイントラ予測モードに共通する１つのフィルタ係数を用いてフィルタ処理を行う場合と比べて、予測誤差を小さくしつつ、フィルタ係数に関する情報量の増加を抑制して、符号化性能を改善することができる。
（９） 本発明は、動画像を符号化して符号化データ（例えば、図２の符号化データＳＩＧ２に相当）を生成する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）と、当該動画像符号化装置により生成された符号化データを復号する動画像復号装置（例えば、図１の動画像復号装置１００に相当）と、を備える動画像処理システム（例えば、図１の動画像処理システムＡＡに相当）であって、前記動画像符号化装置は、入力画像（例えば、図２の入力画像ＳＩＧ１に相当）および局所復号画像（例えば、図２の局所復号画像ＳＩＧ１７に相当）を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する事前予測値生成手段（例えば、図３の事前イントラ予測値算出部２１に相当）と、前記入力画像と、前記事前予測値生成手段により生成された予測値と、に基づく誤差（例えば、後述の予測誤差または符号化誤差に相当）を最小化するフィルタ係数を算出する誤差最小化フィルタ係数算出手段（例えば、図３の誤差最小化フィルタ係数算出部２２に相当）と、前記事前予測値生成手段により生成された予測値に対して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行う符号化側フィルタ処理手段（例えば、図３のフィルタ処理部２３に相当）と、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数をエントロピー符号化して、符号化データを生成するエントロピー符号化手段（例えば、図２のエントロピー符号化部４０に相当）と、を備え、前記動画像復号装置は、前記エントロピー符号化手段により生成された符号化データをエントロピー復号して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を取得するエントロピー復号手段（例えば、図４のエントロピー復号部１１０に相当）と、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち前記事前予測値生成手段により予測値を生成する際に用いられたものにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行う復号側フィルタ処理手段（例えば、図４のイントラ予測値生成部１４０に相当）と、を備えることを特徴とする動画像処理システムを提案している。
この発明によれば、動画像処理システムに、動画像符号化装置および動画像復号装置を設け、動画像符号化装置に、事前予測値生成手段、誤差最小化フィルタ係数算出手段、符号化側フィルタ処理手段、およびエントロピー符号化手段を設けることとした。また、事前予測値生成手段により、入力画像および局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成することとした。また、誤差最小化フィルタ係数算出手段により、入力画像と、事前予測値生成手段により生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出することとした。また、符号化側フィルタ処理手段により、事前予測値生成手段により生成された予測値に対して、誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行うこととした。また、エントロピー符号化手段により、誤差最小化フィルタ係数算出手段により算出されたフィルタ係数をエントロピー符号化して、符号化データを生成することとした。また、動画像復号装置に、エントロピー復号手段および復号側フィルタ処理手段を設けることとした。また、エントロピー復号手段により、エントロピー符号化手段により生成された符号化データをエントロピー復号して、誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を取得することとした。また、復号側フィルタ処理手段により、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち事前予測値生成手段により予測値を生成する際に用いられたものにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。
（１０） 本発明は、事前予測値生成手段（例えば、図３の事前イントラ予測値算出部２１に相当）、誤差最小化フィルタ係数算出手段（例えば、図３の誤差最小化フィルタ係数算出部２２に相当）、およびフィルタ処理手段（例えば、図３のフィルタ処理部２３に相当）、を備え、符号化済みの局所復号画像（例えば、図２の局所復号画像ＳＩＧ１７に相当）を用いた予測符号化を許容する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）における動画像符号化方法であって、前記事前予測値生成手段が、入力画像（例えば、図２の入力画像ＳＩＧ１に相当）および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する第１のステップと、前記誤差最小化フィルタ係数算出手段が、前記入力画像と、前記第１のステップにより生成された予測値と、に基づく誤差（例えば、後述の予測誤差または符号化誤差に相当）を最小化するフィルタ係数を算出する第２のステップと、前記フィルタ処理手段が、前記第１のステップにより生成された予測値に対して、前記第２のステップにより算出されたフィルタ係数を用いてフィルタ処理を行う第３のステップと、を備えることを特徴とする動画像符号化方法を提案している。
この発明によれば、入力画像および局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成することとした。また、入力画像と、上述の予測値と、に基づく誤差を最小化するフィルタ係数を算出し、上述の予測値に対して、算出したフィルタ係数を用いてフィルタ処理を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。
（１１） 本発明は、エントロピー復号手段（例えば、図４のエントロピー復号部１１０に相当）およびフィルタ処理手段（例えば、図４のイントラ予測値生成部１４０に相当）を備え、復号済み画像（例えば、図４のデコード画像ＳＩＧ６４に相当）を用いた予測復号を許容する動画像復号装置（例えば、図１の動画像復号装置１００に相当）における動画像復号方法であって、前記エントロピー復号手段が、符号化データ（例えば、図４の符号化データＳＩＧ２に相当）をエントロピー復号してフィルタ係数（例えば、図４のイントラ予測における補間フィルタ係数ＳＩＧ５４に相当）を取得する第１のステップと、前記フィルタ処理手段が、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記第１のステップにより取得されたフィルタ係数を用いてフィルタ処理を行う第２のステップと、を備えることを特徴とする動画像復号方法を提案している。
この発明によれば、符号化データをエントロピー復号してフィルタ係数を取得し、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、取得したフィルタ係数を用いてフィルタ処理を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。
（１２） 本発明は、事前予測値生成手段（例えば、図３の事前イントラ予測値算出部２１に相当）、誤差最小化フィルタ係数算出手段（例えば、図３の誤差最小化フィルタ係数算出部２２に相当）、およびフィルタ処理手段（例えば、図３のフィルタ処理部２３に相当）、を備え、符号化済みの局所復号画像（例えば、図２の局所復号画像ＳＩＧ１７に相当）を用いた予測符号化を許容する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記事前予測値生成手段が、入力画像（例えば、図２の入力画像ＳＩＧ１に相当）および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する第１のステップと、前記誤差最小化フィルタ係数算出手段が、前記入力画像と、前記第１のステップにより生成された予測値と、に基づく誤差（例えば、後述の予測誤差または符号化誤差に相当）を最小化するフィルタ係数を算出する第２のステップと、前記フィルタ処理手段が、前記第１のステップにより生成された予測値に対して、前記第２のステップにより算出されたフィルタ係数を用いてフィルタ処理を行う第３のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、コンピュータを用いてプログラムを実行することで、入力画像および局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成することとした。また、入力画像と、上述の予測値と、に基づく誤差を最小化するフィルタ係数を算出し、上述の予測値に対して、算出したフィルタ係数を用いてフィルタ処理を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。
（１３） 本発明は、エントロピー復号手段（例えば、図４のエントロピー復号部１１０に相当）およびフィルタ処理手段（例えば、図４のイントラ予測値生成部１４０に相当）を備え、復号済み画像（例えば、図４のデコード画像ＳＩＧ６４に相当）を用いた予測復号を許容する動画像復号装置（例えば、図１の動画像復号装置１００に相当）における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記エントロピー復号手段が、符号化データ（例えば、図４の符号化データＳＩＧ２に相当）をエントロピー復号してフィルタ係数（例えば、図４のイントラ予測における補間フィルタ係数ＳＩＧ５４に相当）を取得する第１のステップと、前記フィルタ処理手段が、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記第１のステップにより取得されたフィルタ係数を用いてフィルタ処理を行う第２のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、コンピュータを用いてプログラムを実行することで、符号化データをエントロピー復号してフィルタ係数を取得し、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、取得したフィルタ係数を用いてフィルタ処理を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。
本発明によれば、圧縮性能を向上させることができる。
本発明の第１実施形態に係る動画像処理システムのブロック図である。 本発明の第１実施形態に係る動画像符号化装置のブロック図である。 本発明の第１実施形態に係る動画像符号化装置が備えるイントラ予測値生成部のブロック図である。 本発明の第１実施形態に係る動画像復号装置のブロック図である。 本発明の第２実施形態に係る動画像処理システムのブロック図である。 本発明の第２実施形態に係る動画像符号化装置のブロック図である。 本発明の第２実施形態に係る動画像符号化装置が備える整数精度ＭＣ予測値生成部のブロック図である。 本発明の第２実施形態に係る動画像復号装置のブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
＜第１実施形態＞
図１は、本発明の第１実施形態に係る動画像処理システムＡＡのブロック図である。動画像処理システムＡＡは、動画像を符号化して符号化データ（図２、４の符号化データＳＩＧ２参照）を生成する動画像符号化装置１と、動画像符号化装置１により生成された符号化データを復号する動画像復号装置１００と、を備える。これら動画像符号化装置１と動画像復号装置１００とは、上述の符号化データを、例えば伝送路を介して送受信する。
［動画像符号化装置１の構成および動作］
図２は、動画像符号化装置１のブロック図である。動画像符号化装置１は、インター予測値生成部１０、イントラ予測値生成部２０、ＤＣＴ／量子化部３０、エントロピー符号化部４０、逆ＤＣＴ／逆量子化部５０、およびローカルメモリ６０を備える。
インター予測値生成部１０は、小数精度ＭＣ予測値生成部１１および整数精度ＭＣ予測値生成部１２を備える。
小数精度ＭＣ予測値生成部１１は、入力画像ＳＩＧ１と、ローカルメモリ６０から供給される後述の局所復号画像ＳＩＧ１７と、を入力とする。この小数精度ＭＣ予測値生成部１１は、まず、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、小数精度動き補償（ＭＣ：Motion Compensation）による予測誤差を最小化する補間フィルタ係数を適応的に算出し、補間フィルタ係数ＳＩＧ３として出力するとともに、小数精度のインター予測に関する制御情報（小数精度の動きベクトルなどを含む）ＳＩＧ４を出力する。補間フィルタ係数の算出方法としては、例えば、Ｗｉｅｎｅｒ ｆｉｌｔｅｒ法に基づく算出方法を用いることができる。小数精度ＭＣ予測値生成部１１は、次に、算出した補間フィルタ係数を用いて、小数精度ＭＣに基づく予測値を生成し、小数精度ＭＣに基づくインター予測値ＳＩＧ５として出力する。
整数精度ＭＣ予測値生成部１２は、入力画像ＳＩＧ１と、ローカルメモリ６０から供給される局所復号画像ＳＩＧ１７と、を入力とする。この整数精度ＭＣ予測値生成部１２は、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、整数精度ＭＣに基づく予測値を生成し、整数精度ＭＣに基づくインター予測値ＳＩＧ７として出力するとともに、整数精度のインター予測に関する制御情報（整数精度の動きベクトルなどを含む）ＳＩＧ６を出力する。
イントラ予測値生成部２０は、入力画像ＳＩＧ１と、ローカルメモリ６０から供給される局所復号画像ＳＩＧ１７と、を入力とする。このイントラ予測値生成部２０は、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、イントラ予測に基づく予測値を生成した後に後述の誤差最小化フィルタ処理を行って、イントラ予測値ＳＩＧ９を出力するとともに、後述の補間フィルタ係数ＳＩＧ８と、イントラ予測に関する制御情報（イントラ予測モードなどを含む）ＳＩＧ１０と、を出力する。イントラ予測値生成部２０について、図３を用いて以下に詳述する。
図３は、イントラ予測値生成部２０のブロック図である。イントラ予測値生成部２０は、事前イントラ予測値算出部２１、誤差最小化フィルタ係数算出部２２、およびフィルタ処理部２３を備える。
事前イントラ予測値算出部２１は、入力画像ＳＩＧ１と、局所復号画像ＳＩＧ１７と、を入力とする。この事前イントラ予測値算出部２１は、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、イントラ予測モードに基づくイントラ予測により予測値を生成し、事前イントラ予測値ＳＩＧ１８として出力するとともに、上述のイントラ予測に関する制御情報ＳＩＧ１０を出力する。
誤差最小化フィルタ係数算出部２２は、入力画像ＳＩＧ１と、事前イントラ予測値ＳＩＧ１８と、を入力とする。この誤差最小化フィルタ係数算出部２２は、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差を最小化する補間フィルタ係数を算出し、上述の補間フィルタ係数ＳＩＧ８として出力する。
なお、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差とは、予測誤差または符号化誤差のことである。
予測誤差とは、入力画像ＳＩＧ１と事前イントラ予測値ＳＩＧ１８との差分（イントラ予測により発生する誤差）のことである。この予測誤差を最小化する補間フィルタ係数を算出する場合には、誤差最小化フィルタ係数算出部２２は、入力画像ＳＩＧ１と事前イントラ予測値ＳＩＧ１８との差分を最小化する補間フィルタ係数を算出する。補間フィルタ係数の算出方法としては、例えば、Ｗｉｅｎｅｒ ｆｉｌｔｅｒ法に基づく算出方法を用いることができる。
一方、符号化誤差とは、上述の予測誤差と、量子化の過程で発生する量子化誤差と、を合わせた誤差のことである。符号化誤差を最小化する補間フィルタ係数を算出する場合には、誤差最小化フィルタ係数算出部２２は、まず、入力画像ＳＩＧ１と事前イントラ予測値ＳＩＧ１８との差分を求める。次に、求めた差分に対して、ＤＣＴ／量子化部３０と同様の処理を行った後に、逆ＤＣＴ／逆量子化部５０と同様の処理を行って、上述の符号化誤差を求める。次に、求めた符号化誤差を最小化する補間フィルタ係数を算出する。補間フィルタ係数の算出方法としては、例えば、Ｗｉｅｎｅｒ ｆｉｌｔｅｒ法に基づく算出方法を用いることができる。
フィルタ処理部２３は、補間フィルタ係数ＳＩＧ８と、事前イントラ予測値ＳＩＧ１８と、を入力とする。このフィルタ処理部２３は、事前イントラ予測値ＳＩＧ１８に対して、補間フィルタ係数ＳＩＧ８を用いて誤差最小化フィルタ処理を行い、フィルタ処理後の予測値を、最終的なイントラ予測値ＳＩＧ９として出力する。
なお、補間フィルタ係数ＳＩＧ８を算出する手法としては、全てのイントラ予測モード（例えば、ＤＣ予測、Ｐｌａｎａｒ予測、および３３種類の方向性予測）に共通する１つの補間フィルタ係数を算出する手法と、イントラ予測モードに応じて補間フィルタ係数を算出する手法と、がある。
ここで、Ｈ．２６４やＨ．２６５に代表される映像圧縮に関する標準方式では、イントラ予測において、イントラ予測モードに応じたイントラ予測値が生成される。このため、イントラ予測値は、イントラ予測モードの影響を受けやすい。したがって、イントラ予測モードのそれぞれに応じて補間フィルタ係数を算出する場合には、全てのイントラ予測モードに共通する１つの補間フィルタ係数を算出する場合と比べて、予測誤差を小さくすることができるという効果や、符号化性能を改善できるという効果を、期待することができる。
しかし、イントラ予測モードのそれぞれに応じて補間フィルタ係数を算出する場合には、補間フィルタ係数に関する情報量が膨大になるので、その結果、符号化性能が低下してしまうおそれがある。
そこで、イントラ予測値生成部２０は、イントラ予測モードをｍ個（ただし、ｍは、イントラ予測モードの種類数よりも小さく、ゼロを含まない自然数）のグループに分類し、分類したグループごとに補間フィルタ係数を算出する。また、イントラ予測値生成部２０は、補間フィルタ係数ＳＩＧ８として、グループごとに算出した補間フィルタ係数だけでなく、全てのイントラ予測モードのそれぞれがｍ個のグループのうちどのグループに属するのかを示す情報も、出力する。
図２に戻って、ＤＣＴ／量子化部３０は、予測残差信号ＳＩＧ１２を入力とする。予測残差信号ＳＩＧ１２とは、入力画像ＳＩＧ１と、予測値ＳＩＧ１１と、の差分信号のことであり、予測値ＳＩＧ１１とは、小数精度ＭＣに基づくインター予測値ＳＩＧ５と、整数精度ＭＣに基づくインター予測値ＳＩＧ７と、イントラ予測値ＳＩＧ９と、のうち、最も高い符号化性能の期待される予測方法により算出された予測値のことである。このＤＣＴ／量子化部３０は、予測残差信号ＳＩＧ１２に対して直交変換処理を行い、この直交変換処理により得られた変換係数について量子化処理を行って、量子化された変換係数ＳＩＧ１３として出力する。
エントロピー符号化部４０は、量子化された変換係数ＳＩＧ１３と、補間フィルタ係数ＳＩＧ３、ＳＩＧ８と、制御情報ＳＩＧ１４と、を入力とする。制御情報ＳＩＧ１４とは、小数精度のインター予測に関する制御情報ＳＩＧ４と、整数精度のインター予測に関する制御情報ＳＩＧ６と、イントラ予測に関する制御情報ＳＩＧ１０と、のうち、上述の最も高い符号化性能の期待される予測方法において求められた制御情報のことである。このエントロピー符号化部４０は、これら入力された情報に対してエントロピー符号化処理を行って、その結果について、符号化データへの記述規則（符号化シンタックス）にしたがって符号化データに記述し、符号化データＳＩＧ２として出力する。
逆ＤＣＴ／逆量子化部５０は、量子化された変換係数ＳＩＧ１３を入力とする。この逆ＤＣＴ／逆量子化部５０は、量子化された変換係数ＳＩＧ１３に対して逆量子化処理を行い、この逆量子化処理により得られた変換係数に対して逆変換処理を行って、逆直交変換された変換係数ＳＩＧ１５として出力する。
ローカルメモリ６０は、局所復号画像ＳＩＧ１６を入力とする。局所復号画像ＳＩＧ１６とは、予測値ＳＩＧ１１と、逆直交変換された変換係数ＳＩＧ１５と、を加算した信号のことである。このローカルメモリ６０は、入力された局所復号画像ＳＩＧ１６を蓄積し、次の符号化処理単位ブロック以降において過去の局所復号画像ＳＩＧ１６を参照する必要がある場合に、適宜、小数精度ＭＣ予測値生成部１１と整数精度ＭＣ予測値生成部１２とイントラ予測値生成部２０とに局所復号画像ＳＩＧ１７として供給する。
［動画像復号装置１００の構成および動作］
図４は、動画像復号装置１００のブロック図である。動画像復号装置１００は、エントロピー復号部１１０、逆ＤＣＴ／逆量子化部１２０、インター予測値生成部１３０、イントラ予測値生成部１４０、およびローカルメモリ１５０を備える。
エントロピー復号部１１０は、符号化データＳＩＧ２を入力とする。このエントロピー復号部１１０は、符号化データＳＩＧ２に記載されている内容を符号化データ構造にしたがって解析してエントロピー復号し、残差信号ＳＩＧ５１と、小数精度ＭＣにおける補間フィルタ係数ＳＩＧ５２（補間フィルタ係数ＳＩＧ３）と、制御情報ＳＩＧ５３と、イントラ予測における補間フィルタ係数ＳＩＧ５４（補間フィルタ係数ＳＩＧ８）と、を取得して出力する。
逆ＤＣＴ／逆量子化部１２０は、残差信号ＳＩＧ５１を入力とする。この逆ＤＣＴ／逆量子化部１２０は、残差信号ＳＩＧ５１に対して逆量子化処理を行い、この逆量子化処理より得られた結果に対して逆変換処理を行って、逆直交変換結果ＳＩＧ５５として出力する。
インター予測値生成部１３０は、小数精度ＭＣ予測値生成部１３１および整数精度ＭＣ予測値生成部１３２を備える。
小数精度ＭＣ予測値生成部１３１は、小数精度ＭＣにおける補間フィルタ係数ＳＩＧ５２と、制御情報ＳＩＧ５３に含まれている小数精度のインター予測に関する制御情報ＳＩＧ５６（小数精度のインター予測に関する制御情報ＳＩＧ４）と、ローカルメモリ１５０から供給される後述のデコード画像ＳＩＧ６４と、を入力とする。この小数精度ＭＣ予測値生成部１３１は、まず、小数精度のインター予測に関する制御情報ＳＩＧ５６に基づいて、デコード画像ＳＩＧ６４を参照し、処理ブロックにおける小数精度ＭＣに基づく予測値を生成する。次に、生成した小数精度ＭＣに基づく予測値に対して、小数精度ＭＣにおける補間フィルタ係数ＳＩＧ５２を用いてフィルタ処理を行い、フィルタ処理後の予測値を、小数精度ＭＣに基づくインター予測値ＳＩＧ５９として出力する。
整数精度ＭＣ予測値生成部１３２は、制御情報ＳＩＧ５３に含まれている整数精度のインター予測に関する制御情報ＳＩＧ５７（整数精度のインター予測に関する制御情報ＳＩＧ６）と、ローカルメモリ１５０から供給されるデコード画像ＳＩＧ６４と、を入力とする。この整数精度ＭＣ予測値生成部１３２は、整数精度のインター予測に関する制御情報ＳＩＧ５７に基づいて、デコード画像ＳＩＧ６４を参照し、処理ブロックにおける整数精度ＭＣに基づく予測値を生成し、整数精度ＭＣに基づくインター予測値ＳＩＧ６０として出力する。
イントラ予測値生成部１４０は、制御情報ＳＩＧ５３に含まれているイントラ予測に関する制御情報ＳＩＧ５８（イントラ予測に関する制御情報ＳＩＧ１０）と、イントラ予測における補間フィルタ係数ＳＩＧ５４と、ローカルメモリ１５０から供給されるデコード画像ＳＩＧ６４と、を入力とする。このイントラ予測値生成部１４０は、まず、イントラ予測に関する制御情報ＳＩＧ５８に基づいて、デコード画像ＳＩＧ６４を参照し、処理ブロックにおけるイントラ予測値を生成する。次に、生成したイントラ予測値に対して、イントラ予測における補間フィルタ係数ＳＩＧ５４を用いてフィルタ処理を行い、フィルタ処理後の予測値を、イントラ予測値ＳＩＧ６１として出力する。
なお、イントラ予測における補間フィルタ係数ＳＩＧ５４には、ｍ個の補間フィルタ係数と、これらｍ個の補間フィルタ係数のそれぞれが上述のｍ個のグループのうちどのグループに属するのかを示す情報と、が含まれている。このため、イントラ予測値生成部１４０は、処理ブロックのイントラ予測モードがｍ個のグループのうちどのグループに属するのかを求め、求めたグループに属する補間フィルタ係数をｍ個の補間フィルタ係数の中から選択し、選択した補間フィルタ係数を用いて、処理ブロックにおけるフィルタ処理を行うことになる。
逆直交変換結果ＳＩＧ５５と、予測値ＳＩＧ６２と、を加算した信号は、デコード画像ＳＩＧ６３として、動画像復号装置１００から出力されるとともに、ローカルメモリ１５０に供給される。なお、予測値ＳＩＧ６２とは、小数精度ＭＣに基づくインター予測値ＳＩＧ５９と、整数精度ＭＣに基づくインター予測値ＳＩＧ６０と、イントラ予測値ＳＩＧ６１と、のうち、最も高い符号化性能の期待される予測方法により算出された予測値のことである。
ローカルメモリ１５０は、デコード画像ＳＩＧ６３を入力とする。このローカルメモリ１５０は、入力されたデコード画像ＳＩＧ６３を蓄積し、次の復号処理単位ブロック以降において過去のデコード画像ＳＩＧ６３を参照する必要がある場合に、適宜、小数精度ＭＣ予測値生成部１３１と整数精度ＭＣ予測値生成部１３２とイントラ予測値生成部１４０とにデコード画像ＳＩＧ６４として供給する。
以上の動画像符号化装置１および動画像復号装置１００によれば、以下の効果を奏することができる。
動画像符号化装置１は、フィルタ処理部２３により、符号化される前のフレームに対して、すなわち符号化処理が行われる前のフレームに対して、フィルタ処理を行う。このため、予測符号化における圧縮性能に強く影響する予測性能を向上させることができ、その結果、圧縮性能を向上させることができる。
また、動画像符号化装置１は、誤差最小化フィルタ係数算出部２２により、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差を最小化する補間フィルタ係数を算出し、フィルタ処理部２３により、誤差最小化フィルタ係数算出部２２により算出された補間フィルタ係数を用いてフィルタ処理を行う。また、動画像復号装置１００は、イントラ予測値生成部１４０により、イントラ予測における補間フィルタ係数ＳＩＧ５４、すなわちイントラ予測値生成部２０で算出された補間フィルタ係数ＳＩＧ８を用いて、フィルタ処理を行う。このため、イントラ予測における誤差を低減することができるので、その結果、圧縮性能をさらに向上させることができる。
また、動画像符号化装置１は、誤差最小化フィルタ係数算出部２２により、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差として、予測誤差または符号化誤差を適用する。このため、予測誤差を適用する場合には、符号化誤差を適用する場合と比べて、直交変換処理、量子化処理、逆量子化処理、および逆変換処理を行う必要がないので、誤差最小化フィルタ係数算出部２２における処理量を低減させることができる。また、符号化誤差を適用する場合には、予測誤差を適用する場合と比べて、多くの予測残差符号量が発生するイントラ符号化や、高ビットレート符号化などにおいて、圧縮性能を特に向上させることができる。
また、動画像符号化装置１は、誤差最小化フィルタ係数算出部２２により、Ｗｉｅｎｅｒ ｆｉｌｔｅｒ法に基づいてフィルタ係数を算出することができる。
また、動画像符号化装置１は、イントラ予測値生成部２０により、イントラ予測モードをｍ個のグループに分類し、分類したグループごとに補間フィルタ係数を算出する。このため、全てのイントラ予測モードに共通する１つのフィルタ係数を算出する場合と比べて、予測誤差を小さくしつつ、フィルタ係数に関する情報量の増加を抑制して、符号化性能を改善することができる。
＜第２実施形態＞
図５は、本発明の第２実施形態に係る動画像処理システムＢＢのブロック図である。動画像処理システムＢＢは、図１に示した本発明の第１実施形態における動画像処理システムＡＡとは、動画像符号化装置１の代わりに動画像符号化装置１Ａを備える点と、動画像復号装置１００の代わりに動画像復号装置１００Ａを備える点と、で異なる。
［動画像符号化装置１Ａの構成および動作］
図６は、動画像符号化装置１Ａのブロック図である。動画像符号化装置１Ａは、図２に示した本発明の第１実施形態に係る動画像符号化装置１とは、インター予測値生成部１０の代わりにインター予測値生成部１０Ａを備える点と、イントラ予測値生成部２０の代わりにイントラ予測値生成部２０Ａを備える点と、で異なる。なお、動画像符号化装置１Ａにおいて、動画像符号化装置１と同一構成要件については、同一符号を付し、その説明を省略する。
インター予測値生成部１０Ａは、小数精度ＭＣ予測値生成部１１および整数精度ＭＣ予測値生成部１２Ａを備える。
整数精度ＭＣ予測値生成部１２Ａは、入力画像ＳＩＧ１と、ローカルメモリ６０から供給される局所復号画像ＳＩＧ１７と、を入力とする。この整数精度ＭＣ予測値生成部１２Ａは、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、整数精度ＭＣに基づく予測値を生成した後に、後述の誤差最小化フィルタ処理を行って、整数精度ＭＣに基づくインター予測値ＳＩＧ７として出力するとともに、後述の補間フィルタ係数ＳＩＧ２１と、整数精度のインター予測に関する制御情報ＳＩＧ６と、を出力する。整数精度ＭＣ予測値生成部１２Ａについて、図７を用いて以下に詳述する。
図７は、整数精度ＭＣ予測値生成部１２Ａのブロック図である。整数精度ＭＣ予測値生成部１２Ａは、事前ＭＣ予測値算出部１３、誤差最小化フィルタ係数算出部１４、およびフィルタ処理部１５を備える。
事前ＭＣ予測値算出部１３は、入力画像ＳＩＧ１と、局所復号画像ＳＩＧ１７と、を入力とする。この事前ＭＣ予測値算出部１３は、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、整数精度ＭＣに基づくインター予測により予測値を生成し、事前インター予測値ＳＩＧ２２として出力するとともに、上述の整数精度のインター予測に関する制御情報ＳＩＧ６を出力する。
誤差最小化フィルタ係数算出部１４は、入力画像ＳＩＧ１と、事前インター予測値ＳＩＧ２２と、を入力とする。この誤差最小化フィルタ係数算出部１４は、入力画像ＳＩＧ１および事前インター予測値ＳＩＧ２２に基づく誤差を最小化する補間フィルタ係数を算出し、上述の補間フィルタ係数ＳＩＧ２１として出力する。
なお、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差とは、予測誤差または符号化誤差のことである。
予測誤差とは、入力画像ＳＩＧ１と事前インター予測値ＳＩＧ２２との差分（インター予測により発生する誤差）のことである。この予測誤差を最小化する補間フィルタ係数を算出する場合には、誤差最小化フィルタ係数算出部１４は、入力画像ＳＩＧ１と事前インター予測値ＳＩＧ２２との差分を最小化する補間フィルタ係数を算出する。補間フィルタ係数の算出方法としては、例えば、Ｗｉｅｎｅｒ ｆｉｌｔｅｒ法に基づく算出方法を用いることができる。
一方、符号化誤差とは、上述の予測誤差と、量子化の過程で発生する量子化誤差と、を合わせた誤差のことである。符号化誤差を最小化する補間フィルタ係数を算出する場合には、誤差最小化フィルタ係数算出部１４は、まず、入力画像ＳＩＧ１と事前インター予測値ＳＩＧ２２との差分を求める。次に、求めた差分に対して、ＤＣＴ／量子化部３０と同様の処理を行った後に、逆ＤＣＴ／逆量子化部５０と同様の処理を行って、上述の符号化誤差を求める。次に、求めた符号化誤差を最小化する補間フィルタ係数を算出する。補間フィルタ係数の算出方法としては、例えば、Ｗｉｅｎｅｒ ｆｉｌｔｅｒ法に基づく算出方法を用いることができる。
フィルタ処理部１５は、補間フィルタ係数ＳＩＧ２１と、事前インター予測値ＳＩＧ２２と、を入力とする。このフィルタ処理部１５は、事前インター予測値ＳＩＧ２２に対して、補間フィルタ係数ＳＩＧ２１を用いて誤差最小化フィルタ処理を行い、フィルタ処理後の予測値を、整数精度ＭＣに基づくインター予測値ＳＩＧ７として出力する。
図６に戻って、イントラ予測値生成部２０Ａは、入力画像ＳＩＧ１と、ローカルメモリ６０から供給される局所復号画像ＳＩＧ１７と、を入力とする。このイントラ予測値生成部２０Ａは、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、イントラ予測に基づく予測値を生成し、イントラ予測値ＳＩＧ９として出力するとともに、イントラ予測に関する制御情報ＳＩＧ１０を出力する。
［動画像復号装置１００Ａの構成および動作］
図８は、動画像復号装置１００Ａのブロック図である。動画像復号装置１００Ａは、図４に示した本発明の第１実施形態に係る動画像復号装置１００とは、エントロピー復号部１１０の代わりにエントロピー復号部１１０Ａを備える点と、インター予測値生成部１３０の代わりにインター予測値生成部１３０Ａを備える点と、イントラ予測値生成部１４０の代わりにイントラ予測値生成部１４０Ａを備える点と、で異なる。なお、動画像復号装置１００Ａにおいて、動画像復号装置１００と同一構成要件については、同一符号を付し、その説明を省略する。
エントロピー復号部１１０Ａは、符号化データＳＩＧ２を入力とする。このエントロピー復号部１１０Ａは、符号化データＳＩＧ２に記載されている内容を符号化データ構造にしたがって解析してエントロピー復号し、残差信号ＳＩＧ５１と、小数精度ＭＣにおける補間フィルタ係数ＳＩＧ５２（補間フィルタ係数ＳＩＧ３）と、制御情報ＳＩＧ５３と、整数精度ＭＣにおける補間フィルタ係数ＳＩＧ７１（補間フィルタ係数ＳＩＧ２１）と、を取得して出力する。
インター予測値生成部１３０Ａは、小数精度ＭＣ予測値生成部１３１および整数精度ＭＣ予測値生成部１３２Ａを備える。
整数精度ＭＣ予測値生成部１３２Ａは、制御情報ＳＩＧ５３に含まれている整数精度のインター予測に関する制御情報ＳＩＧ５７（整数精度のインター予測に関する制御情報ＳＩＧ６）と、整数精度ＭＣにおける補間フィルタ係数ＳＩＧ７１と、ローカルメモリ１５０から供給されるデコード画像ＳＩＧ６４と、を入力とする。この整数精度ＭＣ予測値生成部１３２Ａは、まず、整数精度のインター予測に関する制御情報ＳＩＧ５７に基づいて、デコード画像ＳＩＧ６４を参照し、処理ブロックにおける整数精度ＭＣに基づく予測値を生成する。次に、生成した整数精度ＭＣに基づく予測値に対して、整数精度ＭＣにおける補間フィルタ係数ＳＩＧ７１を用いてフィルタ処理を行い、フィルタ処理後の予測値を、整数精度ＭＣに基づくインター予測値ＳＩＧ６０として出力する。
イントラ予測値生成部１４０Ａは、制御情報ＳＩＧ５３に含まれているイントラ予測に関する制御情報ＳＩＧ５８（イントラ予測に関する制御情報ＳＩＧ１０）と、ローカルメモリ１５０から供給されるデコード画像ＳＩＧ６４と、を入力とする。このイントラ予測値生成部１４０Ａは、イントラ予測に関する制御情報ＳＩＧ５８に基づいて、デコード画像ＳＩＧ６４を参照し、処理ブロックにおけるイントラ予測値を生成し、イントラ予測値ＳＩＧ６１として出力する。
以上の動画像符号化装置１Ａおよび動画像復号装置１００Ａによれば、以下の効果を奏することができる。
動画像符号化装置１Ａは、フィルタ処理部１５により、符号化される前のフレームに対して、すなわち符号化処理が行われる前のフレームに対して、フィルタ処理を行う。このため、予測符号化における圧縮性能に強く影響する予測性能を向上させることができ、その結果、圧縮性能を向上させることができる。
また、動画像符号化装置１Ａは、誤差最小化フィルタ係数算出部１４により、入力画像ＳＩＧ１および事前インター予測値ＳＩＧ２２に基づく誤差を最小化する補間フィルタ係数を算出し、フィルタ処理部１５により、誤差最小化フィルタ係数算出部１４により算出された補間フィルタ係数を用いてフィルタ処理を行う。また、動画像復号装置１００Ａは、整数精度ＭＣ予測値生成部１３２Ａにより、整数精度ＭＣにおける補間フィルタ係数ＳＩＧ７１、すなわち整数精度ＭＣ予測値生成部１２Ａで算出された補間フィルタ係数ＳＩＧ２１を用いて、フィルタ処理を行う。このため、整数画素位置の動き補償における誤差を低減することができるので、その結果、圧縮性能をさらに向上させることができる。
また、動画像符号化装置１Ａは、誤差最小化フィルタ係数算出部１４により、入力画像ＳＩＧ１および事前インター予測値ＳＩＧ２２に基づく誤差として、予測誤差または符号化誤差を適用する。このため、予測誤差を適用する場合には、符号化誤差を適用する場合と比べて、直交変換処理、量子化処理、逆量子化処理、および逆変換処理を行う必要がないので、誤差最小化フィルタ係数算出部１４における処理量を低減させることができる。また、符号化誤差を適用する場合には、予測誤差を適用する場合と比べて、多くの予測残差符号量が発生するイントラ符号化や、高ビットレート符号化などにおいて、圧縮性能を特に向上させることができる。
また、動画像符号化装置１Ａは、誤差最小化フィルタ係数算出部１４により、Ｗｉｅｎｅｒ ｆｉｌｔｅｒ法に基づいてフィルタ係数を算出することができる。
なお、本発明の動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａに読み込ませ、実行することによって、本発明を実現できる。
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａに設けられたプロセッサによって行われる。
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
例えば、上述の第１実施形態における動画像符号化装置１に、整数精度ＭＣ予測値生成部１２の代わりに上述の第２実施形態における整数精度ＭＣ予測値生成部１２Ａを設けるとともに、上述の第１実施形態における動画像復号装置１００に、整数精度ＭＣ予測値生成部１３２の代わりに上述の第２実施形態における整数精度ＭＣ予測値生成部１３２Ａを設けることとしてもよい。
ＡＡ、ＢＢ・・・動画像処理システム
１、１Ａ・・・動画像符号化装置
１０、１０Ａ・・・インター予測値生成部
１１・・・小数精度ＭＣ予測値生成部
１２、１２Ａ・・・整数精度ＭＣ予測値生成部
１３、２１・・・事前ＭＣ予測値算出部
１４、２２・・・誤差最小化フィルタ係数算出部
１５、２３・・・フィルタ処理部
２０、２０Ａ・・・イントラ予測値生成部
４０・・・エントロピー符号化部
１００、１００Ａ・・・動画像復号装置
１１０、１１０Ａ・・・エントロピー復号部
１３０、１３０Ａ・・・インター予測値生成部
１３１・・・小数精度ＭＣ予測値生成部
１３２、１３２Ａ・・・整数精度ＭＣ予測値生成部
１４０、１４０Ａ・・・イントラ予測値生成部

Claims (13)

  1. 符号化済みの局所復号画像を用いた予測符号化を許容する動画像符号化装置であって、
    入力画像および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する事前予測値生成手段と、
    前記入力画像と、前記事前予測値生成手段により生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出する誤差最小化フィルタ係数算出手段と、
    前記事前予測値生成手段により生成された予測値に対して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理手段と、を備えることを特徴とする動画像符号化装置。
  2. 前記誤差最小化フィルタ係数算出手段は、
    前記入力画像と、前記事前予測値生成手段により生成された予測値と、の差分である予測誤差と、
    前記予測誤差に対して、直交変換処理、量子化処理、逆量子化処理、および逆変換処理を行って得られた符号化誤差と、
    のうちいずれかを最小化するフィルタ係数を算出することを特徴とする請求項１に記載の動画像符号化装置。
  3. 前記誤差最小化フィルタ係数算出手段は、前記フィルタ係数を、Ｗｉｅｎｅｒ ｆｉｌｔｅｒ法に基づいて算出することを特徴とする請求項１または２に記載の動画像符号化装置。
  4. 前記事前予測値生成手段は、前記入力画像および前記局所復号画像を用いて、イントラ予測により予測値を生成し、
    前記誤差最小化フィルタ係数算出手段は、前記フィルタ係数を、イントラ予測モードに応じて算出することを特徴とする請求項１から３のいずれかに記載の動画像符号化装置。
  5. 前記誤差最小化フィルタ係数算出手段は、イントラ予測モードをｍ個（ただし、ｍは、イントラ予測モードの種類数よりも小さく、ゼロを含まない自然数）のグループに分類し、分類したグループごとに前記フィルタ係数を算出することを特徴とする請求項４に記載の動画像符号化装置。
  6. 復号済み画像を用いた予測復号を許容する動画像復号装置であって、
    符号化データをエントロピー復号してフィルタ係数を取得するエントロピー復号手段と、
    整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理手段と、を備えることを特徴とする動画像復号装置。
  7. 前記エントロピー復号手段は、符号化データをエントロピー復号して、イントラ予測モードに応じて算出されたフィルタ係数を取得し、
    前記フィルタ処理手段は、前記復号済み画像を用いて、イントラ予測により予測値を生成することを特徴とする請求項６に記載の動画像復号装置。
  8. 前記イントラ予測モードは、予めｍ個（ただし、ｍは、イントラ予測モードの種類数よりも小さく、ゼロを含まない自然数）のグループに分類され、前記フィルタ係数は、分類されているグループごとに算出されており、
    前記エントロピー復号手段は、符号化データをエントロピー復号して、前記グループごとに算出されたフィルタ係数を取得することを特徴とする請求項７に記載の動画像復号装置。
  9. 動画像を符号化して符号化データを生成する動画像符号化装置と、当該動画像符号化装置により生成された符号化データを復号する動画像復号装置と、を備える動画像処理システムであって、
    前記動画像符号化装置は、
    入力画像および局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する事前予測値生成手段と、
    前記入力画像と、前記事前予測値生成手段により生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出する誤差最小化フィルタ係数算出手段と、
    前記事前予測値生成手段により生成された予測値に対して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行う符号化側フィルタ処理手段と、
    前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数をエントロピー符号化して、符号化データを生成するエントロピー符号化手段と、を備え、
    前記動画像復号装置は、
    前記エントロピー符号化手段により生成された符号化データをエントロピー復号して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を取得するエントロピー復号手段と、
    整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち前記事前予測値生成手段により予測値を生成する際に用いられたものにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行う復号側フィルタ処理手段と、を備えることを特徴とする動画像処理システム。
  10. 事前予測値生成手段、誤差最小化フィルタ係数算出手段、およびフィルタ処理手段、を備え、符号化済みの局所復号画像を用いた予測符号化を許容する動画像符号化装置における動画像符号化方法であって、
    前記事前予測値生成手段が、入力画像および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する第１のステップと、
    前記誤差最小化フィルタ係数算出手段が、前記入力画像と、前記第１のステップにより生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出する第２のステップと、
    前記フィルタ処理手段が、前記第１のステップにより生成された予測値に対して、前記第２のステップにより算出されたフィルタ係数を用いてフィルタ処理を行う第３のステップと、を備えることを特徴とする動画像符号化方法。
  11. エントロピー復号手段およびフィルタ処理手段を備え、復号済み画像を用いた予測復号を許容する動画像復号装置における動画像復号方法であって、
    前記エントロピー復号手段が、符号化データをエントロピー復号してフィルタ係数を取得する第１のステップと、
    前記フィルタ処理手段が、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記第１のステップにより取得されたフィルタ係数を用いてフィルタ処理を行う第２のステップと、を備えることを特徴とする動画像復号方法。
  12. 事前予測値生成手段、誤差最小化フィルタ係数算出手段、およびフィルタ処理手段、を備え、符号化済みの局所復号画像を用いた予測符号化を許容する動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
    前記事前予測値生成手段が、入力画像および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する第１のステップと、
    前記誤差最小化フィルタ係数算出手段が、前記入力画像と、前記第１のステップにより生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出する第２のステップと、
    前記フィルタ処理手段が、前記第１のステップにより生成された予測値に対して、前記第２のステップにより算出されたフィルタ係数を用いてフィルタ処理を行う第３のステップと、をコンピュータに実行させるためのプログラム。
  13. エントロピー復号手段およびフィルタ処理手段を備え、復号済み画像を用いた予測復号を許容する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
    前記エントロピー復号手段が、符号化データをエントロピー復号してフィルタ係数を取得する第１のステップと、
    前記フィルタ処理手段が、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記第１のステップにより取得されたフィルタ係数を用いてフィルタ処理を行う第２のステップと、をコンピュータに実行させるためのプログラム。
JP2015023071A 2015-02-09 2015-02-09 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム Pending JP2016146572A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015023071A JP2016146572A (ja) 2015-02-09 2015-02-09 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
PCT/JP2015/085739 WO2016129185A1 (ja) 2015-02-09 2015-12-22 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015023071A JP2016146572A (ja) 2015-02-09 2015-02-09 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2016146572A true JP2016146572A (ja) 2016-08-12

Family

ID=56615390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015023071A Pending JP2016146572A (ja) 2015-02-09 2015-02-09 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2016146572A (ja)
WO (1) WO2016129185A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JPWO2011039931A1 (ja) * 2009-09-30 2013-02-21 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CN105516723B (zh) * 2010-09-30 2018-07-27 三菱电机株式会社 运动图像编码装置及方法、运动图像解码装置及方法

Also Published As

Publication number Publication date
WO2016129185A1 (ja) 2016-08-18

Similar Documents

Publication Publication Date Title
KR102512053B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
JP6033725B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP6352141B2 (ja) 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2017513326A (ja) ピクセル距離を使用したデブロックフィルタ処理
KR20140062448A (ko) Hevc에서의 샘플 적응성 오프셋의 유연성 대역 오프셋 모드
TW201631974A (zh) 視訊編碼裝置、視訊解碼裝置、視訊編碼方法、視訊解碼方法及程式
JP2008283303A (ja) 画像符号化装置及び画像符号化方法
US20140247865A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and program therefor
JP2024003175A (ja) 画像復号装置、画像復号方法及びプログラム
US20140044167A1 (en) Video encoding apparatus and method using rate distortion optimization
JP5707261B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP5439162B2 (ja) 動画像符号化装置および動画像復号装置
JP6016488B2 (ja) 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム
WO2016129185A1 (ja) 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
WO2015151513A1 (ja) 映像符号化装置、方法及びプログラム、並びに映像復号装置、方法及びプログラム
US8731057B2 (en) Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and computer program
US20130322535A1 (en) Method for encoding and decoding images using plurality of reference images and device using method
JP6154753B2 (ja) 動画像復号装置、動画像復号方法、およびプログラム
JP7083971B1 (ja) 画像復号装置、画像復号方法及びプログラム
JP7061737B1 (ja) 画像復号装置、画像復号方法及びプログラム
JP7034363B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP5872929B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
WO2020184262A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2019187396A1 (ja) 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
JP5969408B2 (ja) 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム