JP2020028067A - 画像符号化装置、画像復号装置、及びプログラム - Google Patents
画像符号化装置、画像復号装置、及びプログラム Download PDFInfo
- Publication number
- JP2020028067A JP2020028067A JP2018152991A JP2018152991A JP2020028067A JP 2020028067 A JP2020028067 A JP 2020028067A JP 2018152991 A JP2018152991 A JP 2018152991A JP 2018152991 A JP2018152991 A JP 2018152991A JP 2020028067 A JP2020028067 A JP 2020028067A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- orthogonal transform
- transform
- orthogonal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000011156 evaluation Methods 0.000 claims abstract description 46
- 238000009826 distribution Methods 0.000 claims abstract description 16
- 230000003044 adaptive effect Effects 0.000 claims description 97
- 238000000513 principal component analysis Methods 0.000 claims description 9
- 238000000844 transformation Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 description 62
- 238000006243 chemical reaction Methods 0.000 description 29
- 239000011159 matrix material Substances 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 11
- 101150089388 dct-5 gene Proteins 0.000 description 11
- 239000013598 vector Substances 0.000 description 10
- 238000010606 normalization Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
第1実施形態に係る画像符号化装置及び画像復号装置について説明する。第1実施形態に係る画像符号化装置及び画像復号装置は、MPEGに代表される動画の符号化及び復号を行う。
図1は、第1実施形態に係る画像符号化装置1の構成を示す図である。図1に示すように、画像符号化装置1は、ブロック分割部100と、減算部110と、変換・量子化部120と、エントロピー符号化部130と、逆量子化・逆変換部140と、合成部150と、メモリ160と、予測部170と、評価部180と、決定部190とを備える。
図2は、インター予測の一例を示す図である。図2(a)はインター予測の一例としての双予測を示し、図2(b)は双予測により生成される予測画像の一例を示す。
図3は、評価部180の構成の一例を示す図である。図3に示すように、評価部180は、差分算出部(減算部)180aと、正規化部180bと、調整部180cとを備える。
式(1)において、Xijは参照画像1の画素ijの画素値であり、Yijは参照画像2の画素ijの画素値であり、absは絶対値を得る関数である。差分算出部180aでは、abs(Xij−Yij)を出力する。
図4は、第1実施形態に係る適応変換生成部191の動作を示す図である。適応変換生成部191は、評価部180から入力された誤差マップを用いて、予測残差に対して垂直方向に適用する垂直適応直交変換及び水平方向に適用する水平適応直交変換を主成分分析により生成する。
図5は、第1実施形態に係る画像復号装置2の構成を示す図である。図5に示すように、画像復号装置2は、エントロピー符号復号部200と、逆量子化・逆変換部210と、合成部220と、メモリ230と、予測部240と、評価部250と、決定部260とを備える。
第1実施形態に係る画像符号化装置1は、フレーム単位の現画像を分割して得られたブロック単位の対象画像を符号化する。画像符号化装置1は、複数の参照画像を用いて対象画像を予測して予測画像を生成する予測部170と、当該複数の参照画像間の類似度を画素単位で評価することにより、予測画像における誤差の分布を示す誤差マップを生成する評価部180と、対象ブロックと予測画像との差分を示す予測残差を画素単位で算出する減算部110と、予測残差に適用する直交変換を誤差マップに基づいて決定する決定部190と、決定された直交変換によって予測残差に対する直交変換処理を行う変換部121とを備える。決定部190は、マップ情報に基づいて直交変換を生成する適応変換生成部191を備える。
第2実施形態に係る画像符号化装置1及び画像復号装置2について、第1実施形態との相違点を主として説明する。
図6は、第2実施形態に係る画像符号化装置1の構成を示す図である。図6に示すように、第2実施形態に係る画像符号化装置1は、決定部190の構成が第1実施形態とは異なる。決定部190は、第1実施形態と同様に、誤差マップの主成分分析(図4参照)により直交変換を生成する適応変換生成部191を備える。第2実施形態において、決定部190は、候補選択部(第1選択部)192と、直交変換選択部(第2選択部)193とをさらに備える。
図7は、第2実施形態に係る画像復号装置2の構成を示す図である。図7に示すように、第2実施形態に係る画像復号装置2は、決定部260の構成が第1実施形態とは異なる。決定部260は、第1実施形態と同様に、誤差マップの主成分分析(図4参照)により直交変換を生成する適応変換生成部261を備える。第2実施形態において、決定部260は、候補選択部(第1選択部)262と、直交変換選択部(第2選択部)263とをさらに備える。
第2実施形態に係る画像符号化装置1において、決定部190は、誤差マップの主成分分析により直交変換を生成する適応変換生成部191と、予め規定された複数種類の直交変換の中から、生成された直交変換との相関が高い順に1つ以上の直交変換候補を選択する候補選択部192と、1つ以上の直交変換候補の中から予測残差に適用する直交変換を選択する直交変換選択部193とを備える。エントロピー符号化部130は、1つ以上の直交変換候補の中から直交変換選択部193が選択した直交変換を示すインデックスを符号化する。
第3実施形態に係る画像符号化装置1及び画像復号装置2について、第1実施形態及び第2実施形態との相違点を主として説明する。
図8は、第3実施形態に係る画像符号化装置1の構成を示す図である。図8に示すように、第3実施形態に係る画像符号化装置1は、決定部190が特徴量評価部191aを備える点で第2実施形態とは異なる。特徴量評価部191aは、評価部180から入力された誤差マップの特徴量を評価し、評価結果を候補選択部192に出力する。
いずれも当てはまらないとき、DCT−8及びDST−7を水平適応直交変換候補として選択する。
いずれも当てはまらないとき、DCT−8及びDST−7を垂直適応直交変換候補として選択する。
図10は、第3実施形態に係る画像復号装置2の構成を示す図である。図10に示すように、第3実施形態に係る画像復号装置2は、決定部260が特徴量評価部261aを備える点で第2実施形態とは異なる。特徴量評価部261aは、画像符号化装置1の特徴量評価部191aと同様な動作を行う(図9参照)。
第3実施形態に係る画像符号化装置1において、決定部190は、誤差マップの特徴量を評価する特徴量評価部191aと、評価された特徴量に基づいて、予め規定された複数種類の直交変換の中から1つ以上の直交変換候補を選択する候補選択部192と、1つ以上の直交変換候補の中から予測残差に適用する直交変換を選択する直交変換選択部193とを備える。エントロピー符号化部130は、1つ以上の直交変換候補の中から直交変換選択部193が選択した直交変換を示すインデックスを符号化する。
上述した第1乃至第3実施形態において、一次元の直交変換を用いて垂直方向及び垂直方向で別々に変換処理を行う一例について説明した。しかしながら、一次元の直交変換に代えて二次元の直交変換を用いて垂直方向及び垂直方向の変換処理をまとめて行ってもよい。
2 :画像復号装置
100 :ブロック分割部
110 :減算部
120 :変換・量子化部
121 :変換部
122 :量子化部
130 :エントロピー符号化部
140 :逆量子化・逆変換部
141 :逆量子化部
142 :逆変換部
150 :合成部
160 :メモリ
170 :予測部
171 :イントラ予測部
172 :インター予測部
173 :切替部
180 :評価部
180a :差分算出部
180b :正規化部
180c :調整部
190 :決定部
191 :適応変換生成部
191a :特徴量評価部
192 :候補選択部
193 :直交変換選択部
200 :エントロピー符号復号部
210 :逆量子化・逆変換部
211 :逆量子化部
212 :逆変換部
220 :合成部
230 :メモリ
240 :予測部
241 :イントラ予測部
242 :インター予測部
243 :切替部
250 :評価部
260 :決定部
261 :適応変換生成部
261a :特徴量評価部
262 :候補選択部
263 :直交変換選択部
Claims (10)
- フレーム単位の現画像を分割して得られたブロック単位の対象画像を符号化する画像符号化装置であって、
複数の参照画像を用いて前記対象画像を予測して予測画像を生成する予測部と、
前記複数の参照画像間の類似度を画素単位で評価することにより、前記予測画像における誤差の分布を示すマップ情報を生成する評価部と、
前記対象ブロックと前記予測画像との差分を示す予測残差を画素単位で算出する減算部と、
前記予測残差に適用する直交変換を前記マップ情報に基づいて決定する決定部と、
前記決定された直交変換によって前記予測残差に対する直交変換処理を行う変換部と、を備えることを特徴とする画像符号化装置。 - 前記決定部は、
前記マップ情報の主成分分析により直交変換を生成する適応変換生成部と、
予め規定された複数種類の直交変換の中から、前記生成された直交変換との相関が高い順に1つ以上の直交変換候補を選択する第1選択部と、
前記1つ以上の直交変換候補の中から前記予測残差に適用する直交変換を選択する第2選択部と、を備えることを特徴とする請求項1に記載の画像符号化装置。 - 前記決定部は、
前記マップ情報における特徴量を評価する特徴量評価部と、
前記評価された特徴量に基づいて、予め規定された複数種類の直交変換の中から1つ以上の直交変換候補を選択する第1選択部と、
前記1つ以上の直交変換候補の中から前記予測残差に適用する直交変換を選択する第2選択部と、を備えることを特徴とする請求項1に記載の画像符号化装置。 - 前記1つ以上の直交変換候補の中から前記第2選択部が選択した直交変換を示すインデックスを符号化する符号化部をさらに備えることを特徴とする請求項2又は3に記載の画像符号化装置。
- フレーム単位の現画像を分割して得られたブロック単位の対象画像を復号する画像復号装置であって、
符号化データを復号することにより変換係数を取得する復号部と、
複数の参照画像を用いて前記対象画像を予測して予測画像を生成する予測部と、
前記複数の参照画像間の類似度を画素単位で評価することにより、前記予測画像における誤差の分布を示すマップ情報を生成する評価部と、
前記変換係数に適用する逆直交変換を前記マップ情報に基づいて決定する決定部と、
前記決定された逆直交変換によって前記変換係数に対する逆直交変換処理を行う逆変換部と、を備えることを特徴とする画像復号装置。 - 前記決定部は、
前記マップ情報の主成分分析により直交変換を生成する適応変換生成部と、
予め規定された複数種類の直交変換の中から、前記生成された直交変換との相関が高い順に1つ以上の直交変換候補を選択する第1選択部と、
前記1つ以上の直交変換候補の中から前記変換係数に適用する逆直交変換を選択する第2選択部と、を備えることを特徴とする請求項5に記載の画像復号装置。 - 前記決定部は、
前記マップ情報における特徴量を評価する特徴量評価部と、
前記評価された特徴量に基づいて、予め規定された複数種類の直交変換の中から1つ以上の直交変換候補を選択する第1選択部と、
前記1つ以上の直交変換候補の中から前記変換係数に適用する逆直交変換を選択する第2選択部と、を備えることを特徴とする請求項5に記載の画像復号装置。 - 前記復号部は、前記1つ以上の直交変換候補の中から画像符号化装置が選択した直交変換を示すインデックスをさらに復号し、
前記第2選択部は、前記インデックスに基づいて、前記1つ以上の直交変換候補の中から前記変換係数に適用する逆直交変換を選択することを特徴とする請求項6又は7に記載の画像復号装置。 - コンピュータを請求項1乃至4のいずれか1項に記載の画像符号化装置として機能させることを特徴とするプログラム。
- コンピュータを請求項5乃至8のいずれか1項に記載の画像復号装置として機能させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018152991A JP7249111B2 (ja) | 2018-08-15 | 2018-08-15 | 画像符号化装置、画像復号装置、及びプログラム |
JP2023020232A JP7483964B2 (ja) | 2018-08-15 | 2023-02-13 | 画像符号化装置、画像復号装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018152991A JP7249111B2 (ja) | 2018-08-15 | 2018-08-15 | 画像符号化装置、画像復号装置、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023020232A Division JP7483964B2 (ja) | 2018-08-15 | 2023-02-13 | 画像符号化装置、画像復号装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020028067A true JP2020028067A (ja) | 2020-02-20 |
JP7249111B2 JP7249111B2 (ja) | 2023-03-30 |
Family
ID=69620422
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018152991A Active JP7249111B2 (ja) | 2018-08-15 | 2018-08-15 | 画像符号化装置、画像復号装置、及びプログラム |
JP2023020232A Active JP7483964B2 (ja) | 2018-08-15 | 2023-02-13 | 画像符号化装置、画像復号装置、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023020232A Active JP7483964B2 (ja) | 2018-08-15 | 2023-02-13 | 画像符号化装置、画像復号装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7249111B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417972A (zh) * | 2020-10-23 | 2021-02-26 | 奥比中光科技集团股份有限公司 | 一种热图解码方法、人体关节点估计方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059785A (ja) * | 1998-08-06 | 2000-02-25 | Hitachi Ltd | 予測復号装置 |
JP2003204550A (ja) * | 2002-01-07 | 2003-07-18 | Mitsubishi Electric Corp | 動画像符号化装置および動画像復号装置 |
WO2010010942A1 (ja) * | 2008-07-25 | 2010-01-28 | ソニー株式会社 | 画像処理装置および方法 |
WO2010087807A1 (en) * | 2009-01-27 | 2010-08-05 | Thomson Licensing | Methods and apparatus for transform selection in video encoding and decoding |
WO2011080807A1 (ja) * | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
WO2011080806A1 (ja) * | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
JP2016213615A (ja) * | 2015-05-01 | 2016-12-15 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
-
2018
- 2018-08-15 JP JP2018152991A patent/JP7249111B2/ja active Active
-
2023
- 2023-02-13 JP JP2023020232A patent/JP7483964B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059785A (ja) * | 1998-08-06 | 2000-02-25 | Hitachi Ltd | 予測復号装置 |
JP2003204550A (ja) * | 2002-01-07 | 2003-07-18 | Mitsubishi Electric Corp | 動画像符号化装置および動画像復号装置 |
WO2010010942A1 (ja) * | 2008-07-25 | 2010-01-28 | ソニー株式会社 | 画像処理装置および方法 |
WO2010087807A1 (en) * | 2009-01-27 | 2010-08-05 | Thomson Licensing | Methods and apparatus for transform selection in video encoding and decoding |
WO2011080807A1 (ja) * | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
WO2011080806A1 (ja) * | 2009-12-28 | 2011-07-07 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
JP2016213615A (ja) * | 2015-05-01 | 2016-12-15 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
Non-Patent Citations (1)
Title |
---|
ELENA ALSHINA, AND ALEXANDER ALSHIN: "Bi-directional optical flow", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-C204, JPN6022035800, October 2010 (2010-10-01), pages 1 - 5, ISSN: 0004919845 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417972A (zh) * | 2020-10-23 | 2021-02-26 | 奥比中光科技集团股份有限公司 | 一种热图解码方法、人体关节点估计方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2023053272A (ja) | 2023-04-12 |
JP7483964B2 (ja) | 2024-05-15 |
JP7249111B2 (ja) | 2023-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11546627B2 (en) | Moving picture decoding method and moving picture encoding method | |
US10979719B2 (en) | Image encoding device, image decoding device, and image processing method | |
JP6042001B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
US20240040128A1 (en) | Image encoding device, image decoding device and program | |
JP7483964B2 (ja) | 画像符号化装置、画像復号装置、及びプログラム | |
JP2023123811A (ja) | 画像復号装置及び画像復号方法 | |
KR102413038B1 (ko) | 예측 화상 보정 장치, 화상 부호화 장치, 화상 복호 장치, 및 프로그램 | |
JP2017103810A (ja) | 動画像復号化方法 | |
JP2021027464A (ja) | 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム | |
WO2020059616A1 (ja) | 画像符号化装置、画像復号装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200529 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20200612 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221031 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230213 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230213 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230222 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7249111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |