JP2021119705A - 画像復号装置及びプログラム - Google Patents
画像復号装置及びプログラム Download PDFInfo
- Publication number
- JP2021119705A JP2021119705A JP2021078043A JP2021078043A JP2021119705A JP 2021119705 A JP2021119705 A JP 2021119705A JP 2021078043 A JP2021078043 A JP 2021078043A JP 2021078043 A JP2021078043 A JP 2021078043A JP 2021119705 A JP2021119705 A JP 2021119705A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- prediction
- block
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
図1は、実施形態に係る画像符号化装置1Aの構成を示す図である。図1に示すように、画像符号化装置1Aは、ブロック分割部100と、減算部101と、変換部102aと、量子化部102bと、エントロピー符号化部103Aと、逆量子化部104aと、逆変換部104bと、合成部105と、イントラ予測部106と、ループフィルタ107と、フレームメモリ108と、動き補償予測部109と、切替部110と、評価部111とを備える。
図2は、実施形態に係る画像復号装置2Aの構成を示す図である。図2に示すように、画像復号装置2Aは、エントロピー符号復号部200Aと、逆量子化部201aと、逆変換部201bと、合成部202と、イントラ予測部203と、ループフィルタ204と、フレームメモリ205と、動き補償予測部206と、切替部207と、評価部208とを備える。
図3は、動き補償予測の一例を示す図である。図4は、動き補償予測により生成される予測画像の一例を示す図である。動き補償予測のシンプルな例として、HEVCで用いられている双予測、特に前方向と後方向予測(両方向予測)を用いる場合について説明する。
図5は、画像符号化装置1Aにおける評価部111の構成の一例を示す図である。図5に示すように、評価部111は、類似度算出部111aと、正規化部111bとを備える。
図6は、エントロピー符号化部103Aの構成の一例を示す図である。図7は、確度インデックスの生成例を示す図である。図8は、予測残差の並び替えの一例を示す図である。
図9は、エントロピー符号復号部200Aの構成の一例を示す図である。図9に示すように、エントロピー符号復号部200Aは、復号部200aと、ソート部200bと、並び替え部200cとを備える。
図10は、実施形態に係る画像符号化装置1Aにおける処理フローを示す図である。画像符号化装置1Aは、対象画像ブロックに対して変換スキップモードかつ動き補償予測を適用する場合に、本処理フローを実行する。
図11は、実施形態に係る画像復号装置2Aにおける処理フローを示す図である。画像復号装置2Aは、対象画像ブロックに対して変換スキップモードかつ動き補償予測を適用する場合に、本処理フローを実行する。
画像符号化装置1Aにおいて、評価部111は、複数の参照画像間の類似度を画素単位で評価し、評価結果の情報をエントロピー符号化部103Aに出力する。エントロピー符号化部103Aは、評価部111による評価の結果に基づいて、量子化部102bから入力された予測残差を、参照画像間の類似度の低い画素位置から順に符号化する。参照画像間の類似度の低い画素位置から順に予測残差を符号化することにより、有意係数を優先的に符号化し、より早期に終了フラグを付与することができる。よって、変換スキップブロックに対して効率的なエントロピー符号化を行うことを可能とし、符号化効率を改善することができる。
画像符号化装置1Aの評価部111及び画像復号装置2Aの評価部208は、以下に示す方法で誤差マップを生成し、並べ替え部112に入力してもよい。誤差マップを並び換え部112に入力する場合には、誤差マップの値が大きい領域を類似度が低い領域とし、誤差マップの値が小さい領域を類似度が高い領域として、並べ替え部112は予測残差の並び換え処理を行う。
max_map = max (map [i,j])
・・・(3)
map [i,j] = map [i,j] >> shift ・・・(4)
画像符号化装置1Aの動き補償予測部109及び画像復号装置2Aの動き補償予測部208は、対象画像ブロック(CU)を複数の小ブロックに分割し、小ブロックごとに異なる動きベクトルを適用可能とし、小ブロックごとに片方向予測、双予測を切り替え可能であってもよい。かかる場合、片方向予測及び双方向予測の両方を用いて予測画像を生成するCUに対しては、画像符号化装置1Aの評価部111及び画像復号装置2Aの評価部208が確度マップを算出しないものとしてもよい。一方、全ての小ブロックについて双予測により予測画像を生成している場合には、画像符号化装置1Aの評価部111及び画像復号装置2Aの評価部208は、確度マップを生成する。
上述した実施形態において、予測残差を画素単位で並び替える一例を説明したが、予測残差を画素グループ(小ブロック)単位で並び替えてもよい。かかる小ブロックは、4×4の画素からなるブロックであり、CGと称されることがある。
上述した実施形態において、予測残差を画素単位もしくは小ブロック単位で並び替える例を説明したが、予測残差を水平もしくは垂直もしくは水平垂直に反転させるよう並び換えてもよい。
上述した実施形態において、エントロピー符号化部103Aが、2次元に配列された予測残差の全てを確度の低い順に読み出してシリアライズ処理を行う一例について説明した。しかしながら、2次元に配列された予測残差のうち確度が低い順に上位数個のみを読み出し、それ以外の予測残差についてはシステムで定められた固定の順序で読み出すとしてもよい。或いは、2次元に配列された予測残差について、確度に応じて読み出し順を所定の数だけ繰り上げる又は繰り下げるとしてもよい。
Claims (2)
- 符号化データからブロック単位の対象画像を復号する画像復号装置であって、
複数の参照画像を用いて双予測を行うことにより、前記対象画像のブロックに対応する予測画像のブロックを生成するインター予測部と、
前記複数の参照画像間の類似度を示す評価値を、前記ブロックよりも小さい単位であって複数の画素からなる小ブロックごとに算出する評価部と、
前記符号化データを復号して、前記対象画像に対応する予測残差を取得する取得部と、
前記取得された予測残差を前記予測画像のブロックと合成して前記対象画像のブロックを再構成する合成部と、を備え、
前記評価部が算出する前記評価値は、前記合成部の合成対象を前記小ブロック単位で補正するために用いられる、画像復号装置。 - コンピュータを請求項1に記載の画像復号装置として機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018065880 | 2018-03-29 | ||
JP2018065880 | 2018-03-29 | ||
JP2020509369A JP6880310B2 (ja) | 2018-03-29 | 2019-03-29 | 画像符号化装置、画像復号装置、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020509369A Division JP6880310B2 (ja) | 2018-03-29 | 2019-03-29 | 画像符号化装置、画像復号装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021119705A true JP2021119705A (ja) | 2021-08-12 |
JP7092920B2 JP7092920B2 (ja) | 2022-06-28 |
Family
ID=68058219
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020509369A Active JP6880310B2 (ja) | 2018-03-29 | 2019-03-29 | 画像符号化装置、画像復号装置、及びプログラム |
JP2021078043A Active JP7092920B2 (ja) | 2018-03-29 | 2021-04-30 | 画像復号装置及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020509369A Active JP6880310B2 (ja) | 2018-03-29 | 2019-03-29 | 画像符号化装置、画像復号装置、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (3) | US11259045B2 (ja) |
JP (2) | JP6880310B2 (ja) |
WO (1) | WO2019189900A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020072458A (ja) * | 2018-11-02 | 2020-05-07 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
JP2021141604A (ja) * | 2018-03-29 | 2021-09-16 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019189900A1 (ja) * | 2018-03-29 | 2019-10-03 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
US11523128B2 (en) * | 2018-12-27 | 2022-12-06 | Lg Electronics Inc. | Video decoding method and apparatus using residual rearrangement in video coding system |
US11722678B2 (en) * | 2020-08-25 | 2023-08-08 | Tencent America LLC | Method and apparatus for transform skip coefficients coding |
US11689743B2 (en) * | 2020-11-12 | 2023-06-27 | Tencent America LLC | Method and apparatus for video coding |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059785A (ja) * | 1998-08-06 | 2000-02-25 | Hitachi Ltd | 予測復号装置 |
WO2010010942A1 (ja) * | 2008-07-25 | 2010-01-28 | ソニー株式会社 | 画像処理装置および方法 |
WO2011080806A1 (ja) * | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
WO2011080807A1 (ja) * | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
JP6880310B2 (ja) * | 2018-03-29 | 2021-06-02 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011083573A1 (ja) * | 2010-01-07 | 2011-07-14 | 株式会社 東芝 | 動画像符号化装置及び動画像復号化装置 |
JP6168365B2 (ja) * | 2012-06-12 | 2017-07-26 | サン パテント トラスト | 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置 |
US20140307780A1 (en) * | 2013-04-11 | 2014-10-16 | Mitsubishi Electric Research Laboratories, Inc. | Method for Video Coding Using Blocks Partitioned According to Edge Orientations |
JP6671339B2 (ja) * | 2015-02-27 | 2020-03-25 | Kddi株式会社 | 符号化装置及び復号装置 |
WO2018008678A1 (ja) * | 2016-07-08 | 2018-01-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 復号装置、符号化装置、復号方法及び符号化方法 |
-
2019
- 2019-03-29 WO PCT/JP2019/014360 patent/WO2019189900A1/ja active Application Filing
- 2019-03-29 JP JP2020509369A patent/JP6880310B2/ja active Active
-
2020
- 2020-09-29 US US17/036,854 patent/US11259045B2/en active Active
-
2021
- 2021-04-30 JP JP2021078043A patent/JP7092920B2/ja active Active
-
2022
- 2022-01-31 US US17/649,474 patent/US11647224B2/en active Active
-
2023
- 2023-03-29 US US18/192,592 patent/US20230247220A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059785A (ja) * | 1998-08-06 | 2000-02-25 | Hitachi Ltd | 予測復号装置 |
WO2010010942A1 (ja) * | 2008-07-25 | 2010-01-28 | ソニー株式会社 | 画像処理装置および方法 |
WO2011080806A1 (ja) * | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
WO2011080807A1 (ja) * | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
JP6880310B2 (ja) * | 2018-03-29 | 2021-06-02 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
Non-Patent Citations (2)
Title |
---|
MARTA MRAK, ET AL.: "Transform skip mode", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-F077_r1, JPN6019021725, July 2011 (2011-07-01), pages 1 - 9, ISSN: 0004722858 * |
SHUNSUKE IWAMURA, ET AL.: "Description of SDR and HDR video coding technology proposal by NHK and SHARP", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-J0027_v1, JPN6019021726, April 2018 (2018-04-01), pages 1 - 10, ISSN: 0004722859 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021141604A (ja) * | 2018-03-29 | 2021-09-16 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
JP2020072458A (ja) * | 2018-11-02 | 2020-05-07 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
JP7291471B2 (ja) | 2018-11-02 | 2023-06-15 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11647224B2 (en) | 2023-05-09 |
US20220159293A1 (en) | 2022-05-19 |
US11259045B2 (en) | 2022-02-22 |
JP6880310B2 (ja) | 2021-06-02 |
JP7092920B2 (ja) | 2022-06-28 |
WO2019189900A1 (ja) | 2019-10-03 |
US20210014527A1 (en) | 2021-01-14 |
JPWO2019189900A1 (ja) | 2021-02-12 |
US20230247220A1 (en) | 2023-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7092920B2 (ja) | 画像復号装置及びプログラム | |
CN1306649A (zh) | 把具有第一分辨率的编码图像直接解码为具有第二分辨率的解码图像 | |
US20240040128A1 (en) | Image encoding device, image decoding device and program | |
JP2023123811A (ja) | 画像復号装置及び画像復号方法 | |
JP7242930B2 (ja) | イントラ予測装置、画像復号装置、及びプログラム | |
JP7291471B2 (ja) | 画像符号化装置、画像復号装置、及びプログラム | |
JP7412343B2 (ja) | 画像符号化装置、画像復号装置、及びプログラム | |
JP2020053725A (ja) | 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム | |
JP7449690B2 (ja) | インター予測装置、画像符号化装置、画像復号装置、及びプログラム | |
JP7444599B2 (ja) | イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210430 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220616 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7092920 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |