JP2018121317A - 符号化装置、復号装置及びプログラム - Google Patents

符号化装置、復号装置及びプログラム Download PDF

Info

Publication number
JP2018121317A
JP2018121317A JP2017026528A JP2017026528A JP2018121317A JP 2018121317 A JP2018121317 A JP 2018121317A JP 2017026528 A JP2017026528 A JP 2017026528A JP 2017026528 A JP2017026528 A JP 2017026528A JP 2018121317 A JP2018121317 A JP 2018121317A
Authority
JP
Japan
Prior art keywords
intra prediction
residual signal
image
unit
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017026528A
Other languages
English (en)
Other versions
JP7166743B2 (ja
Inventor
俊輔 岩村
Shunsuke Iwamura
俊輔 岩村
市ヶ谷 敦郎
Atsuro Ichigaya
敦郎 市ヶ谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Publication of JP2018121317A publication Critical patent/JP2018121317A/ja
Application granted granted Critical
Publication of JP7166743B2 publication Critical patent/JP7166743B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】イントラ予測において下側及び右側の少なくとも一方の参照画素を用いる場合で且つ残差信号に対して直交変換処理が適用されない場合であっても符号化効率の低下を抑制すること。【解決手段】イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部14aと、予測画像と原画像との差分により残差信号を生成するように構成されている残差信号生成部14bとを具備しており、直交変換処理が適用されない場合に、残差信号生成部14bは、イントラ予測部14aが予測画像を生成する際に用いる参照画素の位置に基づいて、残差信号を水平方向及び垂直方向の少なくとも一方に反転するように構成されている。【選択図】図3

Description

本発明は、符号化装置、復号装置及びプログラムに関する。
H.265/HEVC(High Efficiency Video Coding)
に代表される動画像(映像)符号化方式では、フレーム間の時間的相関を利用したインタ
ー予測及びフレーム内の空間的相関を利用したイントラ予測の2種類の予測を切り替えな
がら予測を行って残差信号を生成した後、直交変換処理やループフィルタ処理やエントロ
ピー符号化処理を行い得られたストリームを出力するように構成されている。
HEVCにおけるイントラ予測では、Planer予測やDC予測や方向予測の計35
種類のモードが用意されており、エンコーダで決定されたモードに従って、隣接する復号
済み参照画素を用いてイントラ予測を行うように構成されている。
ここで、イントラ予測では、フレーム内で最も左上に位置する符号化対象ブロック(以
下、「CU:Coding Unit」と呼ぶ)等、隣接する復号済み参照画素が存在し
ないCUでは、規定した値(10ビットの動画像であれば「512」)を埋める処理によ
り、予測画像を生成する際に用いる参照画素を作り出すように構成されている。
また、従来のHEVCでは、符号化処理が、左上からラスタースキャン順に行われるた
めに、参照画素が復号済みでない場合がある。このような場合には、最も近い復号済み参
照画素を0次外挿した値を用いて予測画像を生成するように構成されている。
とりわけ、従来のHEVCにおけるイントラ予測では、図6(a)に示すラスタースキ
ャン順による符号化処理により、TUの分割形状によりフレームの端以外でも、CUの左
下や右上に位置する参照画素が復号済みでない場合が多く(図6(b)参照)、このよう
な場合に、復号済みでない参照画素が存在する方向からの方向予測を行うと予測精度が低
下し、符号化効率が低減してしまうという問題点があった。
かかる問題点を解決するために、イントラ予測において、CU内に存在する複数の変換
ブロック(以下、「TU:Transform Unit」と呼ぶ)に対する符号化処理
順として、ラスタースキャン順(例えば、Z型)の他、U型やX型等の符号化順に自由度
を持たせることによって予測精度の向上を図る技術が知られている(非特許文献1参照)
なお、図6(a)及び図6(b)の例では、左下から右上に向かう方向(図6(a)及
び図6(b)における破線矢印が示す方向の逆方向)において方向予測を行うように構成
されており、左下の参照画素を用いて、破線矢印上の画素を予測する。本明細書の図にお
いて、イントラ予測モードの方向(予測方向)を示す矢印は、HEVC規格書における記
載と同様に、イントラ予測の対象の画素から参照画素に向かうものとする(以下同様)。
平坦な映像の中にごく局所的な領域にテクスチャが存在する場合や、画面全体が動くグ
ローバルモーションの中で小さい物体が別の方向に移動する場合等の絵柄では、イントラ
予測やインター予測により生成された予測画像の多くの領域において予測精度が高く、残
差信号のエネルギーは予測が当らなかった一部の領域に集中する。
このように、残差信号のエネルギーが、直交変換処理が適用される前の段階で既に集中
している場合、直交変換処理を適用することで、エントロピーが増大してしまう可能性が
ある。
そこで、従来のHEVCでは、残差信号に対して直交変換処理を適用しない「Tran
sformSkipモード」が用意されている。
従来のHEVCでは、図7に示すように、イントラ予測が空間的に隣接する上側又は左
側の復号済み参照画素を利用した予測であり、復号済み参照画素に近い位置の予測画像の
精度が高く、復号済み参照画素から遠い位置の予測画像の精度が低くなる傾向にある。
すなわち、イントラ予測で生成される残差信号においては、復号済み参照画素に近い位
置のエネルギーは低く、復号済み参照画素から遠い位置のエネルギーは高くなる傾向にあ
る。
残差信号に対して直交変換処理が適用される場合、直交変換処理によって得られる変換
係数は、低周波成分に対応する左上の領域のエネルギーが大きくなる傾向にある。
エントロピー符号化処理においても、かかる傾向を利用しているが、Transfor
mSkipモードでは、復号済み参照画素から遠い位置ほど残差信号のエネルギーが大き
くなるため、左側や上側の参照画素を利用したイントラ予測の場合には、残差信号の右下
の領域ほどエネルギーが大きくなる傾向にある。
したがって、TransformSkipモードにおいて、残差信号に対して直交変換
処理が適用される場合と同様のエントロピー符号化処理を適用すると符号化効率が低下し
てしまうという問題点があった。
そこで、かかる問題点を解決するために、HEVCではTransformSkipモ
ードを適用する際には、残差信号を垂直方向及び水平方向に反転することで、残差信号の
エネルギー分布を、直交変換処理が適用される場合に生成される変換係数のエネルギー分
布に近づけ、その後のエントロピー符号化処理での効率を高めている。
望月等、「平均値座標に基づいた適用イントラ予測方式」、情報処理学会研究報告、vol、2012-AVM-77、No.12
上述のように、非特許文献1に記載されている技術では、イントラ予測において、下側
又は右側の参照画素を用いるケースがある。かかるケースでは、残差信号において、参照
画素の位置に近い下側や右側の信号強度が小さくなり、参照画素の位置から遠い上側や左
側の信号強度が高くなる傾向にある。
しかしながら、従来のHEVCにおけるTransformSkipモードでは、参照
画素の位置に関わらず残差信号が垂直方向及び水平方向に反転してしまうため、右側や下
側の復号済み参照画素を利用したイントラ予測を行った場合、残差信号のエネルギーは、
左上の領域に集中せず、符号化効率が低下するという問題点があった。
そこで、本発明は、上述した課題を解決するためになされたものであり、イントラ予測
において下側及び右側の少なくとも一方の参照画素を用いる場合で且つ残差信号に対して
直交変換処理(或いは、逆直交変換処理)が適用されない場合であっても符号化効率の低
下を抑制することができる符号化装置、復号装置及びプログラムを提供することを目的と
する。
本発明の第1の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロック
に分割して符号化するように構成されている符号化装置であって、イントラ予測モードを
用いて予測画像を生成するように構成されているイントラ予測部と、前記予測画像と原画
像との差分により残差信号を生成するように構成されている残差信号生成部とを具備して
おり、直交変換処理が適用されない場合に、前記残差信号生成部は、前記イントラ予測部
が予測画像を生成する際に用いる参照画素の位置に基づいて、前記残差信号を水平方向及
び垂直方向の少なくとも一方に反転するように構成されていることを要旨とする。
本発明の第2の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロック
に分割して復号するように構成されている復号装置であって、イントラ予測モードを用い
て予測画像を生成するように構成されているイントラ予測部と、逆直交変換処理が適用さ
れない場合に、前記イントラ予測部が予測画像を生成する際に用いる参照画素の位置に基
づいて、エントロピー復号処理及び逆量子化処理によって得られる信号を水平方向及び垂
直方向の少なくとも一方に反転することによって残差信号を生成するように構成されてい
る逆変換部とを具備することを要旨とする。
本発明の第3の特徴は、コンピュータを、上述の第1の特徴に記載の符号化装置として
機能させるためのプログラムであることを要旨とする。
本発明の第4の特徴は、コンピュータを、上述の第2の特徴に記載の復号装置として機
能させるためのプログラムであることを要旨とする。
本発明によれば、イントラ予測において下側及び右側の少なくとも一方の参照画素を用
いる場合で且つ残差信号に対して直交変換処理が適用されない場合であっても符号化効率
の低下を抑制することができる符号化装置、復号装置及びプログラムを提供することがで
きる。
図1は、第1の実施形態に係る符号化装置1の機能ブロック図である。 図2は、第1の実施形態においてTU分割が行われる場合のイントラ予測の一例を示す図である。 図3は、第1の実施形態に係る符号化装置1の動作を示すフローチャートである。 図4は、第1の実施形態に係る復号装置3の機能ブロック図である。 図5は、第1の実施形態に係る復号装置3の動作を示すフローチャートである。 図6は、従来のHEVCについて説明するための図である。 図7は、従来のHEVCについて説明するための図である。
(第1の実施形態)
以下、図1〜図5を参照して、本発明の第1の実施形態に係る符号化装置1及び復号装
置3について説明する。ここで、本実施形態に係る符号化装置1及び復号装置3は、HE
VC等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお
、本実施形態に係る符号化装置1及び復号装置3は、イントラ予測を行う動画像符号化方
式であれば、任意の動画像符号化方式に対応することができるように構成されている。
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像をCUに分
割して符号化するように構成されている。また、本実施形態に係る符号化装置1は、CU
を複数のTUに分割することができるように構成されていてもよい。以下、本実施形態で
は、CUを複数のTUに分割するケースを例に挙げて説明するが、本発明は、CUを複数
のTUに分割しないケースにも適用可能である。
なお、本実施形態では、フレーム内で最も左上に位置するCU等、隣接する復号済み参
照画素が存在しない符号化対象のCUでは、規定した値(10ビットの動画像であれば「
512」)を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すよう
に構成されているため、符号化対象のCUの左側に隣接する画素について全て参照画素と
することができるものとする。
図1に示すように、本実施形態に係る符号化装置1は、イントラ予測モード決定部11
と、TU分割決定部12と、符号化順制御部13と、逐次局部復号画像生成部14と、メ
モリ15と、エントロピー符号化部16とを具備している。
イントラ予測モード決定部11は、CUに適用する最適なイントラ予測モードを決定す
るように構成されている。
TU分割決定部12は、CUを複数のTUに分割するか否かについて決定するように構
成されている。なお、本実施形態では、CUを複数のTUに分割する方法として、4分割
のケースを例に挙げて説明しているが、CUを複数のTUに分割する際の分割数や分割形
状については、かかるケースに制限されるものではない。
符号化順制御部13は、イントラ予測モード(例えば、イントラ予測モードの方向)に
基づいてCU内のTUの符号化順を決定するように構成されている。
具体的には、符号化順制御部13は、TU分割決定部12によってCUを複数のTUに
分割することが決定された場合に、図2(a)〜図2(d)に示すように、イントラ予測
モード決定部11によって決定されたイントラ予測モードの方向が左下から右上に向かう
方向である場合(すなわち、左下から右上に向かって方向予測が行われる場合)に、CU
内のTUの符号化順として、従来のラスタースキャン順(図6(a)に示すようなZ型)
でなく、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU
)→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)と
いう符号化順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A
内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の
右上のTU)という符号化順のうち、予め規定した符号化順を採用するように構成されて
いてもよい。
また、符号化順制御部13は、TU分割決定部12によってCUを複数のTUに分割す
ることが決定された場合で、且つ、イントラ予測モード決定部11によって決定されたイ
ントラ予測モードの方向が右上から左下に向かう方向である場合(すなわち、右上から左
下に向かって方向予測が行われる場合)に、従来のラスタースキャン順(図6(a)に示
すようなZ型)でなく、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A
内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の
左下のTU)という符号化順、或いは、TU#A2(CU#A内の右上のTU)→TU#
A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3
(CU#A内の左下のTU)という符号化順のうち、予め規定した符号化順を採用するよ
うに構成されていてもよい。
逐次局部復号画像生成部14は、符号化順制御部13によって決定された符号化順及び
CUのTUへの分割方法に基づいて局部復号画像(TUごとの復号画像)を生成するよう
に構成されている。
具体的には、逐次局部復号画像生成部14は、TU分割決定部12によってCUを複数
のTUに分割することが決定された場合に、符号化順制御部13により決定された符号化
順に従って、逐次、局部復号画像を生成するように構成されている。
図1に示すように、逐次局部復号画像生成部14は、イントラ予測部14aと、残差信
号生成部14bと、直交変換・量子化部14cと、逆量子化部・逆直交変換部14dと、
局部復号画像生成部14eとを具備している。
イントラ予測部14aは、イントラ予測モード決定部11により決定されたイントラ予
測モードを用いて予測画像を生成するように構成されている。すなわち、イントラ予測部
14dは、予測画像を生成する際に用いる参照画素の位置を決定するように構成されてい
る。
具体的には、イントラ予測部14aは、TU分割決定部12によってCUを複数のTU
に分割することが決定された場合で、図2(a)〜図2(d)に示すように、イントラ予
測モードの方向(予測方向)が左下から右上に向かう方向である場合、TU#A3(CU
#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A
内の左上のTU)→TU#A2(CU#A内の右上のTU)という符号化順、或いは、T
U#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#
A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という符号化
順のうち、予め規定した符号化順で、予測画像を生成するように構成されていてもよい。
ここで、イントラ予測部14aは、図2(c)及び図2(d)に示すように、隣接する
下側の参照画素が復号されているTU#A1(CU#A内の左上のTU)及びTU#A2
(CU#A内の右上のTU)については、左側及び下側に隣接する復号済み参照画素を用
いて予測画像を生成するように構成されていてもよい。
また、本実施形態に係る符号化装置1では、イントラ予測部14aは、TU分割決定部
12によってCUを複数のTUに分割することが決定された場合で、且つ、イントラ予測
モードの方向(予測方向)が右上から左下に向かう方向である場合、TU#A2(CU#
A内の右上のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#A内
の左上のTU)→TU#A3(CU#A内の左下のTU)という符号化順、或いは、TU
#A2(CU#A内の右上のTU)→TU#A1(CU#A内の左上のTU)→TU#A
4(CU#A内の右下のTU)→TU#A3(CU#A内の左下のTU)という符号化順
のうち、予め規定した符号化順で、予測画像を生成するように構成されていてもよい。
ここで、イントラ予測部14aは、隣接する右側の参照画素が復号されているTU#A
1(CU#A内の左上のTU)及びTU#A3(CU#A内の左下のTU)については、
上側及び右側に隣接する復号済み参照画素を用いて、予測画像を生成するように構成され
ていてもよい。
或いは、イントラ予測部14aは、TU#A3(CU#A内の左下のTU)→TU#A
4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(
CU#A内の右上のTU)という符号化順、或いは、TU#A3(CU#A内の左下のT
U)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)
→TU#A2(CU#A内の右上のTU)という符号化順が用いられる場合には、上側に
隣接する参照画素が復号済みであるTU(分割されたTU群のうち最上段に位置するTU
、図2の例では、TU#A1及びTU#A2)については、CU#A内で共通のイントラ
予測方向でなく、かかるTUの左側や上側や下側に隣接する復号済み参照画素を用いた線
形補間等の予め規定した予測を行うように構成されていてもよい。
残差信号生成部14bは、イントラ予測部14aによって生成された予測画像と原画像
との差分により残差信号を生成するように構成されている。
ここで、残差信号生成部14bは、「TransformSkipモード」が適用され
ている場合(直交変換が適用されない場合)には、イントラ予測部14aによって決定さ
れた予測画像を生成する際に用いる参照画素の位置に基づいて、生成した残差信号を水平
方向及び垂直方向の少なくとも一方に反転するように構成されていてもよい。
例えば、「TransformSkipモード」が適用されている場合で、且つ、イン
トラ予測部14aが左側及び下側に位置する参照画素を用いて予測画像を生成した場合に
、残差信号生成部14bは、生成した残差信号を水平方向に反転し、残差信号のエネルギ
ーを左上の領域に集中するように構成されていてもよい。
また、「TransformSkipモード」が適用されている場合で、且つ、イント
ラ予測部14aが右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、
残差信号生成部14bは、生成した残差信号を垂直方向に反転し、残差信号のエネルギー
を左上の領域に集中するように構成されていてもよい。
また、「TransformSkipモード」が適用されている場合で、且つ、イント
ラ予測部14aが左側及び上側に位置する参照画素を用いて予測画像を生成した場合に、
従来のHEVCで「TransformSkipモード」を適用する場合と同様に、残差
信号生成部14bは、生成した残差信号を垂直方向及び水平方向に反転し、残差信号のエ
ネルギーを左上の領域に集中するように構成されていてもよい。
また、「TransformSkipモード」が適用されている場合で、且つ、イント
ラ予測部14aが左側及び上側及び下側に位置する参照画素を用いて予測画像を生成した
場合に、残差信号生成部14bは、生成した残差信号を水平方向に反転し、残差信号のエ
ネルギーを左の領域に集中するように構成されていてもよい。
さらに、「TransformSkipモード」が適用されている場合で、且つ、イン
トラ予測部14aが左側及び上側及び右側に位置する参照画素を用いて予測画像を生成し
た場合に、残差信号生成部14bは、生成した残差信号を垂直方向に反転し、残差信号の
エネルギーを上の領域に集中するように構成されていてもよい。
なお、かかる残差信号の反転処理については、残差信号生成部14bではなく直交変換
・量子化部14cやエントロピー符号化部16等の別の機能によって実現されてもよい。
例えば、残差信号の反転を行うのではなく、エントロピー符号化部16において係数のス
キャン順を変更することによって、残差信号の反転を行うのと同様の効果を得る構成とし
てもよい。
一方、「Transform Skipモード」が適用されている場合で、且つ、イン
トラ予測部14aが左側及び上側のいずれに位置する参照画素を用いても予測画像を生成
していない場合には、生成した残差信号を反転させないように構成されていてもよい。
直交変換・量子化部14cは、残差信号生成部14bによって生成された残差信号に対
して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成さ
れている。
ここで、直交変換・量子化部14cは、「TransformSkipモード」が適用
されている場合には、残差信号生成部14bによって生成された残差信号に対して直交変
換処理を行わずに量子化処理のみを施すように構成されている。
或いは、「TransformSkipモード」が適用されている場合には、直交変換
処理及び量子化処理の双方が行われず、残差信号生成部14bによって生成された残差信
号がそのまま出力されるように構成されてもよい。
逆量子化部・逆直交変換部14dは、直交変換・量子化部14cによって生成された量
子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施して残差信号を
生成するように構成されている。
ここで、逆量子化部・逆直交変換部14dは、「TransformSkipモード」
が適用されている場合には、直交変換・量子化部14cによって生成された量子化された
残差信号に対して、逆直交変換処理を行わずに逆量子化処理のみを施して残差信号を生成
するように構成されている。
或いは、「TransformSkipモード」が適用されている場合には、直交変換
処理及び量子化処理の双方が行われず、直交変換・量子化部14cによって生成された残
差信号がそのまま出力されるように構成されてもよい。
局部復号画像生成部14eは、逆量子化部・逆直交変換部14dによって生成された残
差信号に対してイントラ予測部14aによって生成された予測画像を加えることで局部復
号画像を生成するように構成されている。
メモリ15は、逐次局部復号画像生成部14によって生成された局部復号画像を参照画
像として利用可能に保持するように構成されている。
エントロピー符号化部16は、イントラ予測モード決定部11によって決定されたイン
トラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化
処理を施してストリーム出力するように構成されている。
図3に、「TransformSkipモード」が適用されている場合の本実施形態に
係る符号化装置1の動作の一例について説明するためのフローチャートについて示す。
図3に示すように、ステップS101において、符号化装置1は、CUに適用する最適
なイントラ予測モードを決定する。
ステップS102において、符号化装置1は、CUを複数のTUに分割するか否かにつ
いて決定する。ステップS102において、CUを複数のTUに分割すると決定された場
合には、本動作は、ステップS103に進む。一方、ステップS102において、CUを
複数のTUに分割しないと決定された場合には、本動作は、ステップS108に進む。
ステップS103において、イントラ予測モードの方向が左下から右上に向かう方向或
いは右上から左下に向かう方向であると決定された場合には、本動作は、ステップS10
5に進む。一方、ステップS103において、イントラ予測モードの方向が左下から右上
に向かう方向及び右上から左下に向かう方向以外であると決定された場合には、本動作は
、ステップS104に進む。
ステップS104において、符号化装置1は、上述の符号化順として、従来のHEVC
で用いられているラスタースキャン順(図8(a)に示すようなZ型)を採用する。
ステップS108において、符号化装置1は、符号化対象のTUに対して、かかるTU
の左側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合(ステ
ップS105)には、ステップS106において、符号化装置1は、上述の符号化順とし
て、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→
TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という
符号化順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の
左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上
のTU)という符号化順のうち、予め規定した符号化順を採用する。
一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合
(ステップS105)には、ステップS111において、符号化装置1は、上述の符号化
順として、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のT
U)→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)
という符号化順、或いは、TU#A2(CU#A内の右上のTU)→TU#A1(CU#
A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3(CU#A内
の左下のTU)という符号化順のうち、予め規定した符号化順を採用する。
ステップS107において、符号化装置1は、符号化対象のTUの上側に隣接する参照
画素が復号済みであるか否かについて判定する。ステップS107において、復号済みで
ある場合、本動作は、ステップS109に進み、復号済みでない場合、本動作は、ステッ
プS110に進む。
ステップS109において、符号化装置1は、符号化対象のTUに対して、かかるTU
の左側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う
ステップS110において、符号化装置1は、符号化対象のTUに対して、かかるTU
の左側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS112において、符号化装置1は、符号化対象のTUの左側に隣接する参照
画素が復号済みであるか否かについて判定する。ステップS112において、復号済みで
ある場合、本動作は、ステップS113に進み、復号済みでない場合、本動作は、ステッ
プS114に進む。
ステップS113において、符号化装置1は、符号化対象のTUに対して、かかるTU
の左側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う
ステップS114において、符号化装置1は、符号化対象のTUに対して、かかるTU
の右側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS115において、符号化装置1は、予測画像及び原画像を用いて生成した残
差信号を垂直方向に反転させた上で、その後の処理を行う。
ステップS116において、符号化装置1は、予測画像及び原画像を用いて生成した残
差信号を水平方向に反転させた上で、その後の処理を行う。
ステップS117において、符号化装置1は、予測画像及び原画像を用いて生成した残
差信号を垂直方向及び水平方向に反転させた上で、その後の処理を行う。
本実施形態に係る符号化装置1によれば、イントラ予測において下側及び右側の少なく
とも一方の参照画素を用いる場合で且つTransformSkipモードが適用されて
いる場合(残差信号に対して直交変換処理が適用されない場合)であっても符号化効率の
低下を抑制することができる。
また、本実施形態に係る復号装置3は、動画像を構成するフレーム単位の原画像をCU
に分割して復号するように構成されている。また、本実施形態に係る復号装置3は、本実
施形態に係る符号化装置1と同様に、CUを複数のTUに分割することができるように構
成されている。
図4に示すように、本実施形態に係る復号装置3は、エントロピー復号部31と、復号
順制御部32と、逐次局部復号画像生成部33と、メモリ34とを具備している。
エントロピー復号部31は、符号化装置1から出力されたストリームに対してエントロ
ピー復号処理を施すことによって、符号化装置1から出力されたストリームから、変換係
数やフラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置1
によって、フレーム単位の原画像をCUに分割して符号化された信号として得られた量子
化された変換係数である。
また、フラグ情報は、予測モードや「TransformSkipモード」が選択され
ているか否かについて示す情報等の付随する情報を含む。
復号順制御部32は、イントラ予測モードに基づいてCU内のTUの復号順を決定する
ように構成されている。
具体的には、復号順制御部32は、エントロピー復号部31によって出力されたTU分
割が行われた否か(CUが複数のTUに分割されているか否か)について示すフラグ及び
イントラ予測モードの方向に応じて、CU内のTUの復号順を決定するように構成されて
いる。
例えば、復号順制御部32は、符号化順制御部13と同様に、CUが複数のTUに分割
されている場合で、且つ、イントラ予測モードの方向が左下から右上に向かう方向である
場合、TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)
→TU#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)とい
う復号順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の
左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上
のTU)という復号順のうち、予め規定した復号順で、復号処理を行うように構成されて
いてもよい。
また、復号順制御部32は、符号化順制御部13と同様に、CUが複数のTUに分割さ
れている場合で、且つ、イントラ予測モードの方向が右上から左下に向かう方向である場
合、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のTU)→
TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)という
復号順、或いは、TU#A2(CU#A内の右上のTU)→TU#A1(CU#A内の左
上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3(CU#A内の左下の
TU)というという復号順のうち、予め規定した復号順で、復号処理を行うように構成さ
れていてもよい。
逐次局部復号画像生成部33は、復号順制御部32によって決定された復号順及びCU
のTUへの分割方法に基づいて局部復号画像(TUごとの復号画像)を生成するように構
成されている。
具体的には、逐次局部復号画像生成部33は、CUが複数のTUに分割されている場合
に、復号順制御部32によって決定された復号順に従って、エントロピー復号部31によ
って出力された量子化された変換係数に対して、逐次、イントラ予測や逆量子化処理や逆
直交変換処理を行うことによって、局部復号画像を生成するように構成されている。
図4に示すように、逐次局部復号画像生成部33は、イントラ予測部33aと、逆量子
化・逆変換部33bと、復号画像生成部33cとを具備している。
イントラ予測部33aは、復号順制御部32によって決定した復号順に従って、エント
ロピー復号部31によって出力されたイントラ予測モードを用いて、予測画像を生成する
ように構成されていてもよい。
具体的には、イントラ予測部33aは、CUが複数のTUに分割されている場合で、且
つ、イントラ予測モードの方向が左下から右上に向かう方向である場合、TU#A3(C
U#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU#A1(CU#
A内の左上のTU)→TU#A2(CU#A内の右上のTU)という復号順、或いは、T
U#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上のTU)→TU#
A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU)という復号順
のうち、予め規定した復号順で、予測画像を生成するように構成されていてもよい。
ここで、イントラ予測部33aは、図2(c)及び図2(d)に示すように、隣接する
下側の参照画素が復号されているTU#A1(CU#A内の左上のTU)及びTU#A2
(CU#A内の右上のTU)については、左側及び下側に隣接する復号済み参照画素を用
いて予測画像を生成するように構成されていてもよい。
また、本実施形態に係る復号装置3では、イントラ予測部33aは、CUが複数のTU
に分割されている場合で、且つ、イントラ予測モードの方向(予測方向)が右上から左下
に向かう方向である場合、TU#A2(CU#A内の右上のTU)→TU#A4(CU#
A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内
の左下のTU)という復号順、或いは、TU#A2(CU#A内の右上のTU)→TU#
A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3
(CU#A内の左下のTU)という復号順のうち、予め規定した復号順で、予測画像を生
成するように構成されていてもよい。
ここで、イントラ予測部33aは、隣接する右側の参照画素が復号されているTU#A
1(CU#A内の左上のTU)及びTU#A3(CU#A内の左下のTU)については、
上側及び右側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されて
いてもよい。
或いは、イントラ予測部33aは、TU#A3(CU#A内の左下のTU)→TU#A
4(CU#A内の右下のTU)→TU#A1(CU#A内の左上のTU)→TU#A2(
CU#A内の右上のTU)という復号順、或いは、TU#A3(CU#A内の左下のTU
)→TU#A1(CU#A内の左上のTU)→TU#A4(CU#A内の右下のTU)→
TU#A2(CU#A内の右上のTU)という復号順が用いられる場合には、上側に隣接
する参照画素が復号済みであるTU(分割されたTU群のうち最上段に位置するTU、図
2の例では、TU#A1及びTU#A2)については、CU#A内で共通のイントラ予測
方向でなく、かかるTUの左側や上側や下側に隣接する復号済み参照画素を用いた線形補
間等の予め規定した予測を行うように構成されていてもよい。
逆量子化・逆変換部33bは、エントロピー復号部31によって出力された量子化され
た変換係数に対して逆量子化処理及び逆変換処理(例えば、逆直交変換処理)を施すこと
によって、残差信号を生成するように構成されている。
ここで、逆量子化・逆変換部33bは、「TransformSkipモード」が適用
されている場合(逆直交変換処理が適用されない場合)には、エントロピー復号処理によ
って得られた信号に対して逆変換処理を行わずに逆量子化処理のみを施すように構成され
ている。
或いは、「TransformSkipモード」が適用されている場合、逆直交変換処
理及び逆量子化処理の双方が行われず、エントロピー復号処理によって得られた信号がそ
のまま出力されるように構成されてもよい。
また、「TransformSkipモード」が適用されている場合に、逆量子化・逆
変換部33bは、イントラ予測部33aが予測画像を生成する際に用いる参照画素の位置
に基づいて、エントロピー復号処理及び逆量子化処理によって得られた信号を水平方向及
び垂直方向の少なくとも一方に反転することによって残差信号を生成するように構成され
ていてもよい。
例えば、「TransformSkipモード」が適用されている場合で、且つ、イン
トラ予測部33aが左側及び下側に位置する参照画素を用いて予測画像を生成した場合に
、逆量子化・逆変換部33bは、エントロピー復号処理及び逆量子化処理によって得られ
た信号を水平方向に反転することによって残差信号を生成するように構成されていてもよ
い。
また、「TransformSkipモード」が適用されている場合で、且つ、イント
ラ予測部33aが右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、
逆量子化・逆変換部33bは、エントロピー復号処理及び逆量子化処理によって得られた
信号を垂直方向に反転することによって残差信号を生成するように構成されていてもよい
また、「TransformSkipモード」が適用されている場合で、且つ、イント
ラ予測部33aが左側及び上側に位置する参照画素を用いて予測画像を生成した場合に、
従来のHEVCで「TransformSkipモード」を適用する場合と同様に、逆量
子化・逆変換部33bは、エントロピー復号処理及び逆量子化処理によって得られた信号
を垂直方向及び水平方向に反転することによって残差信号を生成するように構成されてい
てもよい。
また、「TransformSkipモード」が適用されている場合で、且つ、イント
ラ予測部33aが左側及び上側及び下側に位置する参照画素を用いて予測画像を生成した
場合に、逆量子化・逆変換部33bは、エントロピー復号処理及び逆量子化処理によって
得られた信号を水平方向に反転することによって残差信号を生成するように構成されてい
てもよい。
さらに、「TransformSkipモード」が適用されている場合で、且つ、イント
ラ予測部33aが左側及び上側及び右側に位置する参照画素を用いて予測画像を生成した
場合に、逆量子化・逆変換部33bは、エントロピー復号処理及び逆量子化処理によって
得られた信号を垂直方向に反転することによって残差信号を生成するように構成されてい
てもよい。
一方、「TransformSkipモード」が適用されている場合で、且つ、イントラ
予測部33aが左側及び上側のいずれに位置する参照画素を用いても予測画像を生成して
いない場合には、逆量子化・逆変換部33bは、エントロピー復号処理及び逆量子化処理
によって得られた信号を反転させないように構成されていてもよい。
復号画像生成部33cは、イントラ予測部33aによって生成された予測画像と逆量子
化・逆変換部33bによって生成された残差信号とを加えることで局部復号画像を生成す
るように構成されている。
メモリ34は、逐次局部復号画像生成部33によって生成された局部復号画像を、イン
トラ予測及びインター予測のための参照画像として利用可能に保持するように構成されて
いる。
図5に、「TransformSkipモード」が適用されている場合の本実施形態に
係る復号装置3によって、上述の復号順を決定する動作の一例について説明するためのフ
ローチャートについて示す。
図5に示すように、ステップS201において、復号装置3は、符号化装置1から出力
されたストリームから、イントラ予測モードを取得する。
ステップS202において、復号装置3は、符号化装置1から出力されたストリームに
含まれているフラグ情報に基づいて、CUが複数のTUに分割されているか否かについて
判定する。ステップS202において、CUが複数のTUに分割されていると判定された
場合には、本動作は、ステップS203に進む。一方、ステップS202において、CU
が複数のTUに分割されていないと判定された場合には、本動作は、ステップS205に
進む。
ステップS205において、復号装置3は、復号対象のTUに対して、かかるTUの左
側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS203において、復号装置3は、イントラ予測モードの方向が左下から右上
に向かう方向或いは右上から左下に向かう方向であるか否かについて判定する。ステップ
S203において、イントラ予測モードの方向が左下から右上に向かう方向或いは右上か
ら左下に向かう方向であると判定された場合には、本動作は、ステップS206に進む。
一方、ステップS203において、イントラ予測モードの方向が左下から右上に向かう方
向及び右上から左下に向かう方向以外であると判定された場合には、本動作は、ステップ
S204に進む。
ステップS204において、復号装置3は、上述の復号順として、HEVCで用いられ
ている従来のラスタースキャン順(図8(a)に示すようなZ型)を採用する。
イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合(ステ
ップS206)には、ステップS207において、復号装置3は、上述の復号順として、
TU#A3(CU#A内の左下のTU)→TU#A4(CU#A内の右下のTU)→TU
#A1(CU#A内の左上のTU)→TU#A2(CU#A内の右上のTU)という復号
順、或いは、TU#A3(CU#A内の左下のTU)→TU#A1(CU#A内の左上の
TU)→TU#A4(CU#A内の右下のTU)→TU#A2(CU#A内の右上のTU
)という復号順のうち、予め規定した復号順を採用する。
一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合
(ステップS206)には、ステップS211において、復号装置3は、上述の復号順と
して、TU#A2(CU#A内の右上のTU)→TU#A4(CU#A内の右下のTU)
→TU#A1(CU#A内の左上のTU)→TU#A3(CU#A内の左下のTU)とい
う復号順、或いは、TU#A2(CU#A内の右上のTU)→TU#A1(CU#A内の
左上のTU)→TU#A4(CU#A内の右下のTU)→TU#A3(CU#A内の左下
のTU)という復号順のうち、予め規定した復号順を採用する。
ステップS208において、復号装置3は、復号対象のTUの上側に隣接する参照画素
が復号済みであるか否かについて判定する。ステップS208において、復号済みである
場合、本動作は、ステップS209に進み、復号済みでない場合、本動作は、ステップS
210に進む。
ステップS209において、復号装置3は、復号対象のTUに対して、かかるTUの左
側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS210において、復号装置3は、復号対象のTUに対して、かかるTUの左
側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS212において、復号装置3は、復号対象のTUの左側に隣接する参照画素
が復号済みであるか否かについて判定する。ステップS212において、復号済みである
場合、本動作は、ステップS213に進み、復号済みでない場合、本動作は、ステップS
214に進む。
ステップS213において、復号装置3は、復号対象のTUに対して、かかるTUの左
側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS214において、復号装置3は、復号対象のTUに対して、かかるTUの右
側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
ステップS215において、復号装置3は、エントロピー復号処理及び逆量子化処理に
よって得られた信号を垂直方向に反転させ、その後の処理を行う。
ステップS216において、復号装置3は、エントロピー復号処理及び逆量子化処理に
よって得られた信号を水平方向に反転させ、その後の処理を行う。
ステップS217において、復号装置3は、エントロピー復号処理及び逆量子化処理に
よって得られた信号を垂直方向及び水平方向に反転させた上で、その後の処理を行う。
本実施形態に係る復号装置3によれば、イントラ予測において下側及び右側の少なくと
も一方の参照画素を用いる場合で且つTransformSkipモードが適用されてい
る場合(エントロピー復号処理及び逆量子化処理によって得られた信号に対して逆直交変
換処理が適用されない場合)であっても符号化効率の低下を抑制することができる。
(その他の実施形態)
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形
態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべき
ではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らか
となろう。
また、上述の実施形態では特に触れていないが、上述の符号化装置1及び復号装置3に
よって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また
、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュ
ータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールするこ
とが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は
、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものでは
ないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
或いは、上述の符号化装置1及び復号装置3内の少なくとも一部の機能を実現するため
のプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサ
によって構成されるチップが提供されてもよい。
1…符号化装置
11…イントラ予測モード決定部
12…TU分割決定部
13…符号化順制御部
14…逐次局部復号画像生成部
14a…イントラ予測部
14b…残差信号生成部
14c…直交変換・量子化部
14d…逆量子化部・逆直交変換部
14e…局部復号画像生成部
15…メモリ
16…エントロピー符号化部
3…復号装置
31…エントロピー復号部
32…復号順制御部
33…逐次局部復号画像生成部
33a…イントラ予測部
33b…逆量子化・逆変換部
33c…復号画像生成部
34…メモリ

Claims (4)

  1. 動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するよ
    うに構成されている符号化装置であって、
    イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部
    と、
    前記予測画像と原画像との差分により残差信号を生成するように構成されている残差信
    号生成部とを具備しており、
    直交変換処理が適用されない場合に、前記残差信号生成部は、前記イントラ予測部が予
    測画像を生成する際に用いる参照画素の位置に基づいて、前記残差信号を水平方向及び垂
    直方向の少なくとも一方に反転するように構成されていることを特徴とする符号化装置。
  2. 動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するよう
    に構成されている復号装置であって、
    イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部
    と、
    逆直交変換処理が適用されない場合に、前記イントラ予測部が予測画像を生成する際に
    用いる参照画素の位置に基づいて、エントロピー復号処理及び逆量子化処理によって得ら
    れる信号を水平方向及び垂直方向の少なくとも一方に反転することによって残差信号を生
    成するように構成されている逆変換部とを具備することを特徴とする復号装置。
  3. コンピュータを、請求項1に記載の符号化装置として機能させるためのプログラム。
  4. コンピュータを、請求項2に記載の復号装置として機能させるためのプログラム。
JP2017026528A 2016-02-17 2017-02-16 符号化装置、復号装置及びプログラム Active JP7166743B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016028437 2016-02-17
JP2016028437 2016-02-17
JP2017012147 2017-01-26
JP2017012147 2017-01-26

Publications (2)

Publication Number Publication Date
JP2018121317A true JP2018121317A (ja) 2018-08-02
JP7166743B2 JP7166743B2 (ja) 2022-11-08

Family

ID=63044083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017026528A Active JP7166743B2 (ja) 2016-02-17 2017-02-16 符号化装置、復号装置及びプログラム

Country Status (1)

Country Link
JP (1) JP7166743B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096679A (ja) * 2005-09-28 2007-04-12 Kddi R & D Laboratories Inc 動画像の符号化および復号化方法
WO2014176362A1 (en) * 2013-04-23 2014-10-30 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096679A (ja) * 2005-09-28 2007-04-12 Kddi R & D Laboratories Inc 動画像の符号化および復号化方法
WO2014176362A1 (en) * 2013-04-23 2014-10-30 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding

Also Published As

Publication number Publication date
JP7166743B2 (ja) 2022-11-08

Similar Documents

Publication Publication Date Title
US20210144375A1 (en) Method and apparatus for processing video signal
US11039137B2 (en) Encoder, decoder, computer program and computer program product for processing a frame of a video sequence
JP2020526109A (ja) マルチリファレンス予測のための動きベクトルの精密化
US20230056139A1 (en) Encoding method based on encoding order change and device therefor, and decoding method based on encoding order change and device thprefor
US11128887B2 (en) Method and apparatus for processing video signal
US11750822B2 (en) Encoding device, decoding device, and program
US20210409723A1 (en) Video signal processing method and device
JP2023072035A (ja) 復号装置及びプログラム
JP7476279B2 (ja) 符号化装置、復号装置及びプログラム
JP2019054517A (ja) 符号化装置、復号装置及びプログラム
JP7093152B2 (ja) 符号化装置、復号装置及びプログラム
JP6956471B2 (ja) 符号化装置、復号装置及びプログラム
JP7166743B2 (ja) 符号化装置、復号装置及びプログラム
JP7092455B2 (ja) 符号化装置、復号装置及びプログラム
JP7279128B2 (ja) 予測装置及びプログラム
JP7449253B2 (ja) 符号化装置、復号装置及びプログラム
JP7410033B2 (ja) 符号化装置、復号装置及びプログラム
JP5202558B2 (ja) イントラ予測装置、符号化器、復号器及びプログラム
JP2017139758A (ja) 符号化装置、復号装置及びプログラム
JP2018121319A (ja) 符号化装置、復号装置及びプログラム
JP2023024721A (ja) 符号化装置、復号装置及びプログラム
KR20230043747A (ko) 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체
KR20240006458A (ko) 영상 부호화/복호화 방법 및 비트스트림을 저장하는기록 매체
JP2018007079A (ja) 符号化装置、復号装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200528

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20200612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210628

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210713

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211011

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220524

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220817

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220830

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220927

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221026

R150 Certificate of patent or registration of utility model

Ref document number: 7166743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150