JP2015035788A - 画像符号化装置、画像符号化方法及びプログラム - Google Patents

画像符号化装置、画像符号化方法及びプログラム Download PDF

Info

Publication number
JP2015035788A
JP2015035788A JP2013167062A JP2013167062A JP2015035788A JP 2015035788 A JP2015035788 A JP 2015035788A JP 2013167062 A JP2013167062 A JP 2013167062A JP 2013167062 A JP2013167062 A JP 2013167062A JP 2015035788 A JP2015035788 A JP 2015035788A
Authority
JP
Japan
Prior art keywords
feature vector
class
block
learning
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013167062A
Other languages
English (en)
Inventor
基宏 高木
Motohiro Takagi
基宏 高木
藤井 寛
Hiroshi Fujii
寛 藤井
清水 淳
Atsushi Shimizu
淳 清水
八島 由幸
Yoshiyuki Yashima
由幸 八島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Chiba Institute of Technology
Original Assignee
Nippon Telegraph and Telephone Corp
Chiba Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Chiba Institute of Technology filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013167062A priority Critical patent/JP2015035788A/ja
Publication of JP2015035788A publication Critical patent/JP2015035788A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】画像符号化装置と画像復号装置との間での基底の情報の伝送によるオーバーヘッドを解消して符号化効率の向上を図る。
【解決手段】画像符号化装置として、複数の学習画像をブロック単位で分割した学習画像ブロックをクラスに分類し、クラスごとのブロックの特徴ベクトルを利用して、クラスごとの代表特徴ベクトルを算出する。また、分類結果を利用して、入力画像ブロックを変換係数に変換する際に用いる基底を示す辞書であって画像復号装置と共有する基底辞書を生成する。また、符号化対象の入力画像をブロック単位で分割した入力画像ブロックについて、ブロックごとの特徴ベクトルと代表特徴ベクトルとの類似度に基づいていずれかのクラスに分類し、分類されたクラスに対応する基底辞書を利用して入力画像ブロックを変換係数に変換するように構成する。
【選択図】図1

Description

本発明は、画像符号化装置、画像符号化方法及びプログラムに関する。
画像符号化方式として、JPEG(Joint Photographic Experts Group)やH.264/AVCが知られている(例えば、非特許文献1参照)。また、HEVC/H.265が標準化されている状況にある(例えば、非特許文献2参照)。
画像符号化において、汎用的かつ有効な画像の圧縮手法の1つとして、「予測+離散コサイン変換(DCT:Discrete Cosine Transform)」が知られている。DCTでは、個々の画像の内容、状態等にかかわらず、コサイン関数数列を基底とする一次結合の変換係数に画像を変換する。このようにコサイン関数数列を基底している場合、画像のそれぞれに対応して適切な基底になるとは限らない。
そこで、画像に応じて基底を適応的に変換するという符号化の手法が提案されている(例えば、非特許文献3、非特許文献4参照)。
非特許文献3では、画像の領域ごとにKL(Karhunen-Loeve)展開を用いて基底を生成し、生成した基底を用いて画像を変換している。
また、非特許文献4では、Sparse Dictionaryと呼ばれる辞書を構築し、この辞書を変換に用いることで符号化効率を向上している。Sparse Dictionaryは、DCTの基底を利用してK−SVD法による学習を行うことにより構築される。非特許文献4では、Sparse Dictionaryを用いて各基底の変換係数を求め、求められた変換係数の量子化と、量子化された変換係数のエントロピー符号化が行われる。
ITU-T Recommendation H. 264 and ISO/IEC 14496-10(MPEG-4 AVC)"Advanced Video Coding for Generic Audiovisual Services," 2003. Sullivan, G.J.; Ohm, J.; Woo-Jin Han; Wiegand, T., "Overview of the High Efficiency Video Coding (HEVC) Standard," Circuits and Systems for Video Technology, IEEE Transactions on , vol.22, no.12, pp.1649,1668, Dec. 2012 Chang, L.; Ching-Min Cheng; Ting-Chung Chen, "An efficient adaptive KLT for multispectral image compression," Image Analysis and Interpretation, 2000. Proceedings. 4th IEEE Southwest Symposium , vol., no., pp.252,255, 2000 Horev, I.; Bryt, O.; Rubinstein, R., "Adaptive image compression using sparse dictionaries," Systems, Signals and Image Processing (IWSSIP), 2012 19th International Conference on , vol., no., pp.592,595, 11-13 April 2012
しかしながら、非特許文献3や非特許文献4のように、画像領域ごとに適応的に生成された基底を用いた符号化方式では、生成された基底を画像符号化装置と画像復号装置との間で共有するために、生成した基底を符号化装置から画像復号装置に対して伝送路経由で伝送する必要がある。このために、画像符号化装置と画像復号装置との間での通信におけるオーバーヘッドが増加して符号化効率の低下を招く場合がある。
本発明は、このような事情に鑑みてなされたもので、画像符号化装置と画像復号装置との間での基底の情報の伝送によるオーバーヘッドを解消することを目的とする。
本発明の一態様は、複数の学習画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる学習画像ブロックごとに第1特徴ベクトルを算出する第1特徴ベクトル算出部と、学習画像ブロックごとに算出された複数の第1特徴ベクトルを複数のクラスのうちのいずれかに分類し、クラスごとに分類された第1特徴ベクトルを利用して、各クラスを代表する代表特徴ベクトルを算出し、算出した各クラスの代表特徴ベクトルを出力するとともに、第1特徴ベクトルの分類結果に基づいて各ブロックが属するクラスを示すブロック分類情報を出力する代表特徴ベクトル算出部と、前記ブロック分類情報に基づいて前記学習画像ブロックを前記複数のクラスのうちのいずれかに分類し、入力画像ブロックを変換係数に変換する際に用いる基底を示す辞書であって画像復号装置と共有する基底辞書を、クラスに分類された学習画像ブロックを利用してクラスごとに生成する基底辞書学習部と、符号化対象の入力画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる入力画像ブロックごとに第2特徴ベクトルを算出する第2特徴ベクトル算出部と、クラスごとの代表特徴ベクトルと前記入力画像ブロックごとの第2特徴ベクトルとの類似度に基づいて、前記入力画像ブロックの各々を前記複数のクラスのうちのいずれかに分類するクラス分類部と、前記クラス分類部により分類されたクラスに対応する基底辞書を利用して入力画像ブロックを変換係数に変換する変換部とを備える画像符号化装置である。
本発明の一態様は、複数の学習画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる学習画像ブロックごとに第1特徴ベクトルを算出する第1特徴ベクトル算出ステップと、学習画像ブロックごとに算出された複数の第1特徴ベクトルを複数のクラスのうちのいずれかに分類し、クラスごとに分類された第1特徴ベクトルを利用して、各クラスを代表する代表特徴ベクトルを算出し、算出した各クラスの代表特徴ベクトルを出力するとともに、第1特徴ベクトルの分類結果に基づいて各ブロックが属するクラスを示すブロック分類情報を出力する代表特徴ベクトル算出ステップと、前記ブロック分類情報に基づいて前記学習画像ブロックを前記複数のクラスのうちのいずれかに分類し、入力画像ブロックを変換係数に変換する際に用いる基底を示す辞書であって画像復号装置と共有する基底辞書を、クラスに分類された学習画像ブロックを利用してクラスごとに生成する基底辞書学習ステップと、符号化対象の入力画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる入力画像ブロックごとに第2特徴ベクトルを算出する第2特徴ベクトル算出ステップと、クラスごとの代表特徴ベクトルと前記入力画像ブロックごとの第2特徴ベクトルとの類似度に基づいて、前記入力画像ブロックの各々を前記複数のクラスのうちのいずれかに分類するクラス分類ステップと、前記クラス分類ステップにより分類されたクラスに対応する基底辞書を利用して入力画像ブロックを変換係数に変換する変換ステップとを備える画像符号化方法である。
本発明の一態様は、コンピュータに、複数の学習画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる学習画像ブロックごとに第1特徴ベクトルを算出する第1特徴ベクトル算出ステップと、学習画像ブロックごとに算出された複数の第1特徴ベクトルを複数のクラスのうちのいずれかに分類し、クラスごとに分類された第1特徴ベクトルを利用して、各クラスを代表する代表特徴ベクトルを算出し、算出した各クラスの代表特徴ベクトルを出力するとともに、第1特徴ベクトルの分類結果に基づいて各ブロックが属するクラスを示すブロック分類情報を出力する代表特徴ベクトル算出ステップと、
前記ブロック分類情報に基づいて前記学習画像ブロックを前記複数のクラスのうちのいずれかに分類し、入力画像ブロックを変換係数に変換する際に用いる基底を示す辞書であって画像復号装置と共有する基底辞書を、クラスに分類された学習画像ブロックを利用してクラスごとに生成する基底辞書学習ステップと、符号化対象の入力画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる入力画像ブロックごとに第2特徴ベクトルを算出する第2特徴ベクトル算出ステップと、クラスごとの代表特徴ベクトルと前記入力画像ブロックごとの第2特徴ベクトルとの類似度に基づいて、前記入力画像ブロックの各々を前記複数のクラスのうちのいずれかに分類するクラス分類ステップと、
前記クラス分類ステップにより分類されたクラスに対応する基底辞書を利用して入力画像ブロックを変換係数に変換する変換ステップとを実行させるためのプログラムである。
以上説明したように、本発明によれば、符号化装置と復号装置との間での基底の情報の伝送によるオーバーヘッドが解消される。
本実施形態に係る画像符号化装置の構成例を示す図である。 本実施形態に係る第1特徴ベクトル算出部または第2特徴ベクトル算出部が実行する特徴ベクトル算出処理の一例を示すフローチャートである。 本実施形態に係る代表特徴ベクトル算出部が実行する代表特徴ベクトル算出処理の一例を示すフローチャートである。 本実施形態に係る基底辞書学習部が実行する基底辞書生成処理の一例を示すフローチャートである。 本実施形態に係るクラス分類部が実行するクラス分類処理の一例を示すフローチャートである。 本実施形態に係る変換部が実行する変換処理の一例を示すフローチャートである。 本実施形態に係る画像符号化装置に対応する画像復号装置の構成例を示す図である。 本実施形態に係る画像復号装置における逆変換部が実行する逆変換処理の一例を示すフローチャートである。
以下、本発明の一実施形態による画像符号化装置について図面を参照して説明する。
図1は、本実施形態に係る画像符号化装置100の構成例を示している。同図に示す画像符号化装置100は、学習部101と画像符号化部102とを備える。
学習部101は、学習画像ブロック群を入力して代表特徴ベクトルと基底辞書を生成する。
学習画像ブロック群に含まれるブロックの各々は、複数の学習用の画像をN×N(Nは自然数)の水平画素数と垂直画素数による単位で分割して得られる。具体例として、本実施形態におけるブロックは8×8(N=8)の水平画素数と垂直画素数によるサイズを有する。
学習部101が生成した代表特徴ベクトルと基底辞書は、画像符号化部102が記憶する。
画像符号化部102は、符号化対象の入力画像を分割して得られた入力画像ブロック群を入力し、学習部が生成した代表特徴ベクトルと基底辞書とを利用して符号化を行い、符号化データを出力する。
入力画像ブロック群に含まれるブロックの各々は、学習画像ブロックと同様に、N×N(Nは自然数)の水平画素数と垂直画素の単位により分割して得られる。つまり、入力画像ブロックと学習画像ブロックは、互いに同じサイズを有する。
なお、以降において学習画像ブロックと入力画像ブロックとで特に区別しない場合や共通化して説明する場合には、「ブロック」と呼ぶ。
まず、学習部101の構成について説明する。図1に示す学習部101は、第1特徴ベクトル算出部111、代表特徴ベクトル算出部112及び基底辞書学習部113を備える。
第1特徴ベクトル算出部111は、学習画像ブロック群を入力し、入力した学習画像ブロック群における学習画像ブロックごとに特徴ベクトル(第1特徴ベクトル)を算出する。第1特徴ベクトルは、学習画像ブロックの特徴を表す特徴ベクトルである。
第1特徴ベクトル算出部111は、SIFT(Scale Invariant Feature Transform)法に基づいたDSIFT法により、学習画像ブロックから第1特徴ベクトルを算出することができる。例えば、SIFT法では、キーポイント(画像上に特徴的に現れる点)を対象として特徴量を算出するが、DSIFT法では、キーポイントに代えて画像をブロックに分割し、ブロックを対象として特徴量を算出する。
第1特徴ベクトル算出部111は、学習画像ブロックごとに算出した第1特徴ベクトルの集合を、第1特徴ベクトル群として代表特徴ベクトル算出部112に算出する。
代表特徴ベクトル算出部112は、例えばK−means法などのベクトル量子化手法を用いて第1特徴ベクトル算出部111によって学習画像ブロックごとに算出された複数の第1特徴ベクトルを複数のクラスのうちのいずれかに分類する。
そのうえで、代表特徴ベクトル算出部112は、クラスごとに分類された代表特徴ベクトルを生成することができる。この場合、代表特徴ベクトルは、クラス数Kに対応してK個(例えば128〜2048個)生成される。
代表特徴ベクトル算出部112は、算出したクラスごとの代表特徴ベクトル(代表特徴ベクトル群)を出力する。代表特徴ベクトル算出部112が出力した代表特徴ベクトル群は、画像符号化部102における代表特徴ベクトル記憶部122が記憶する。
また、代表特徴ベクトル算出部112は、第1特徴ベクトルの分類結果に応じて各ブロックが属するクラスを示すブロック分類情報を出力する。
また、代表特徴ベクトル算出部112は、学習画像ブロックごとに対応する第1特徴ベクトルをクラスに分類した結果に基づいて、ブロック(学習画像ブロックと入力画像ブロックの両者に対応する)の各々が属するクラスを示すブロック分類情報を生成する。代表特徴ベクトル算出部112は、生成したブロック分類情報を基底辞書学習部113に出力する。
基底辞書学習部113は、学習画像ブロック群と、代表特徴ベクトル算出部112から出力されたブロック分類情報とを入力する。
基底辞書学習部113は、ブロック分類情報に基づいて学習画像ブロックを複数のクラスのうちのいずれかに分類する。基底辞書学習部113は、クラスごとに分類された学習画像ブロックを利用して基底辞書をクラスごとに生成する。基底辞書は、入力画像ブロックを変換係数に変換する際に用いる基底を示す辞書である。また、基底辞書は、画像符号化装置100と、画像符号化装置100に対応する画像復号装置との間で共有される。
基底辞書学習部113は、1つのクラスに対応する基底辞書の生成にあたり、学習画像ブロックと対応のクラスの代表特徴ベクトルとを利用して、対応のクラスに分類されたブロックごとの基底を求める。基底辞書学習部113は、KL(Karhunen-Loeve)展開やK−SVD法などを利用して基底を生成することができる。基底辞書学習部113は、このように生成したクラスごとの基底を基底辞書とする。
基底辞書学習部113は、クラスごとに生成した基底辞書を基底辞書群として出力する。出力された基底辞書群は、画像符号化部102における基底辞書記憶部124が記憶する。
続いて、画像符号化部102について説明する。図1の画像符号化部102は、第2特徴ベクトル算出部121、代表特徴ベクトル記憶部122、クラス分類部123、基底辞書記憶部124、変換部125、量子化部126及びエントロピー符号化部127を備える。
第2特徴ベクトル算出部121は、入力画像ブロック群を入力し、入力した入力画像ブロック群における入力画像ブロックごとに特徴ベクトル(第2特徴ベクトル)を算出する。第2特徴ベクトルは、入力画像ブロックの特徴を表す特徴ベクトルである。第2特徴ベクトル算出部121は、例えば、第1特徴ベクトル算出部111と同様の構成でよい。つまり、第2特徴ベクトル算出部121も、DSIFT法などにより入力画像ブロックから、それぞれがK次元の第2特徴ベクトルを算出する。
なお、以降において、第1特徴ベクトルと第2特徴ベクトルとで特に区別せずに説明する場合には、「特徴ベクトル」と記載する。
代表特徴ベクトル記憶部122は、学習部101の代表特徴ベクトル算出部112から出力された代表特徴量ベクトル群を記憶する。
クラス分類部123は、クラスごとの代表特徴ベクトルと入力画像ブロックごとの第2特徴ベクトルとの類似度に基づいて、入力画像ブロックを複数のクラスのうちのいずれかに分類する。つまり、クラス分類部123は、入力画像ブロックの各々が複数のクラスのいずれに属すべきかを決定する。
このために、クラス分類部123は、入力画像ブロック群と、第2特徴ベクトル算出部121が出力した第2特徴ベクトル群と、代表特徴ベクトル記憶部122が記憶する代表特徴ベクトル群とを入力する。
クラス分類部123は、第2特徴ベクトル群に含まれる入力画像ブロックごとの第2特徴ベクトルと、クラスごとの代表特徴ベクトルとの類似度を求める。クラス分類部123は、求めた類似度に基づいて、入力画像ブロックの各々をクラスのうちのいずれかに分類する。
クラス分類部123は、分類結果に基づいて、入力画像ブロックの各々が分類されたクラスを示す入力画像ブロック分類情報を生成する。クラス分類部123は、入力画像ブロック分類情報が付加された入力画像ブロック群を変換部125に出力する。
基底辞書記憶部124は、学習部101の基底辞書学習部113が出力した基底辞書群を記憶する。
変換部125は、クラス分類部123により分類されたクラスに対応する基底辞書を利用して入力画像ブロックを変換係数に変換する。
このために、変換部125は、クラス分類部123から、入力画像ブロック分類情報が付加された入力画像ブロック群を入力する。そのうえで、変換部125は、入力画像ブロック群に含まれる1つの入力画像ブロックを処理対象として、以下のように変換係数に変換する。
つまり、変換部125は、処理対象の入力画像ブロックに付加されている入力画像ブロック分類情報が示すクラスに対応する基底辞書を、基底辞書記憶部124から取得する。変換部125は、取得した基底辞書が示す基底を利用して処理対象の入力画像ブロックを変換係数に変換する。これにより、入力画像のデータが周波数領域のデータに変換される。変換部125は、変換係数ごとに、各変換係数が対応するクラスを示す係数対応クラス情報を付加し、量子化部126に出力する。
量子化部126は、変換部125から入力した変換係数の量子化を行う。量子化部126は、量子化された変換係数(量子化変換係数)を、係数対応クラス情報とともにエントロピー符号化部127に出力する。
エントロピー符号化部127は、量子化部126から出力された量子化変換係数と係数対応クラス情報とについてエントロピー符号化を行い、符号化によって得られた符号化データを出力する。このように、入力画像データは、基底辞書を利用して圧縮が行われる。
図2のフローチャートは、第1特徴ベクトル算出部111が実行する第1特徴ベクトル算出処理の一例を示している。
第1特徴ベクトル算出部111は、学習画像ブロック群{b1_i|0≦i<M}を入力する(ステップS101)。変数iはブロックに付された番号であり、Mは、ブロックの総数(ブロック数)である。
次に、第1特徴ベクトル算出部111は、変数iに初期値である0を代入する(ステップS102)。
第1特徴ベクトル算出部111は、ブロックb1_iの第1特徴ベクトルを算出する(ステップS103)。
次に、第1特徴ベクトル算出部111は、変数iをインクリメントしたうえで(ステップS104)、変数iが、ブロック数Mと等しいか否かについて判定する(ステップS105)。
変数iがブロック数M未満である場合(ステップS105−NO)、第1特徴ベクトル算出部111は、ステップS103に戻ることで、次のブロックの第1特徴ベクトルv1_iを算出する
そして、全てのブロックの第1特徴ベクトルを算出したのに応じて、変数iがブロック数Mと等しくなると(ステップS105−YES)、第1特徴ベクトル算出部111は、以下の処理を実行する。つまり、第1特徴ベクトル算出部111は、0番目からM−1番目までの各ブロックに対応する第1特徴ベクトルv1_0〜v1_{M−1}の集合による第1特徴ベクトル群{v1_i|0≦i<M}を、代表特徴ベクトル算出部112に出力する(ステップS106)。
第2特徴ベクトル算出部121が実行する第2特徴ベクトルの算出処理は、図2と同様でよい。この場合において、第2特徴ベクトル算出部121は、ステップS101において、学習画像ブロック群に代えて、入力画像ブロック群{b2_i|0≦i<M}を入力する。また、第2特徴ベクトル算出部121は、ステップS103において、ブロックb2_iの第2特徴ベクトルを算出し、ステップS106にて、第2特徴ベクトル群{v2_i|0≦i<M}をクラス分類部123に出力する。
図3のフローチャートは、代表特徴ベクトル算出部112が実行する代表特徴ベクトル算出処理の一例を示している。
代表特徴ベクトル算出部112は、第1特徴ベクトル算出部111が出力した第1特徴ベクトル群{v1_i|0≦i<M}を入力する(ステップS201)。
代表特徴ベクトル算出部112は、入力した第1特徴ベクトル群{v1_i|0≦i<M}に含まれる第1特徴ベクトルの各々をK個のクラスのうちのいずれかに分類する(ステップS202)。ここで、第1特徴ベクトルはブロックごとに対応するので、ステップS202は、各ブロックをクラスのいずれかに分類する処理でもある。
代表特徴ベクトル算出部112は、クラスに付した番号に対応する変数jに、初期値である0を代入する(ステップS203)。
代表特徴ベクトル算出部112は、j番目のクラスに分類された第1特徴ベクトルを利用して、前述のようにK−means法などのベクトル量子化手法により、j番目のクラスに対応する代表特徴ベクトルcv_jを算出する(ステップS204)。
代表特徴ベクトル算出部112は、変数jをインクリメントしたうえで(ステップS205)、変数jがクラス数Kと等しいか否かについて判定する(ステップS206)。
変数jがクラス数K未満である場合(ステップS206−NO)、代表特徴ベクトル算出部112は、ステップS204に戻ることにより、次のクラスに対応する代表特徴ベクトルcv_jを算出する。
そして、全てのクラスに対応する代表特徴ベクトルを算出したのに応じて、変数jがクラス数Kと等しくなると(ステップS206−YES)、代表特徴ベクトル算出部112は以下の処理を実行する。
つまり、代表特徴ベクトル算出部112は、0番目からK番目までの各クラスに対応する代表特徴ベクトルによる代表特徴ベクトル群{cv_j|0≦j<K}を出力する(ステップS207)。これにより、画像符号化部102における代表特徴ベクトル記憶部122に、代表特徴ベクトル群{cv_j|0≦j<K}が記憶される。
また、代表特徴ベクトル算出部112は、ステップS202の分類結果に基づいて、0番目からK番目のクラスごとに属するブロックの番号を示すブロック分類情報を生成する(ステップS208)。代表特徴ベクトル算出部112は、生成したブロック分類情報を、基底辞書学習部113に出力する(ステップS209)
図4のフローチャートは、基底辞書学習部113が実行する基底辞書生成処理の一例を示している。
基底辞書学習部113は、代表特徴ベクトル算出部112が出力したブロック分類情報を入力する(ステップS301)。
また、基底辞書学習部113は、学習画像ブロック群{b1_i|0≦i<M}を入力する(ステップS302)。
基底辞書学習部113は、ブロック分類情報が示す0番目からK−1番目のクラスごとに対応するブロックグループ群{B1_k|0≦k<K}を生成する(ステップS303)。つまり、基底辞書学習部113は、学習画像ブロック群{b1_i|0≦i<M}に含まれる学習画像ブロックを利用して、1つのクラスに対応するM個のブロックを生成する。このように生成されたM個のブロックがブロックグループB1_kである。
基底辞書学習部113は、0番目からK−1番目までのクラスごとに対応してブロックグループB1_kを生成し、生成したブロックグループB1_kの集合によるブロックグループ群{B1_k|0≦k<K}を生成する。
基底辞書学習部113は、クラスの番号を示す変数kに初期値である0を代入する(ステップS304)。
次に、基底辞書学習部113は、k番目のクラスに対応する基底辞書Dic_kを生成する(ステップS305)。
ここで、k番目のクラスに含まれるj番目のブロックの画像信号をb_k_jとし、各クラスのブロックグループに対応する基底をD_kとすると、画像信号b_k_jは、ブロックの画素列をラスタスキャン順に配列させた一次元列ベクトルである。また、ブロックグループB1_kは、k番目のクラスにおける画像信号b_k_jをM個並べた行列である。
ここで、ブロックグループB1_kの分散共分散行列を以下の式により表すものとする。
Figure 2015035788
そのうえで、基底辞書学習部113は、X*D_k= λ_k*D_kとなるような基底D_k((M×(N×N))を求める。基底D_kは固有値ベクトル、λ_kは固有値であって、これらは固有値計算によって求められる。基底辞書学習部113は、ステップS305において、このように求めた基底D_kを、基底辞書Dic_kの生成結果とする。
基底辞書学習部113は、変数kについてインクリメントしたうえで(ステップS306)、変数kがクラス数Kと等しいか否かについて判定する(ステップS307)。
変数kがクラス数K未満である場合(ステップS307−NO)、代表特徴ベクトル算出部112は、ステップS305に戻ることにより、次のクラスに対応する基底辞書Dic_kを生成する。
そして、全てのクラスに対応する基底辞書を生成したのに応じて、変数kがクラス数Kと等しくなると(ステップS307−YES)、基底辞書学習部113は以下の処理を実行する。つまり、基底辞書学習部113は、これまでに生成した0番目からK−1番目までのクラスに対応する基底辞書Dic_0からDic_{K−1}による基底辞書群{Dic_k|0≦k<K}を出力する(ステップS308)。
このように基底辞書学習部113から出力された固有値ベクトルとしての基底辞書群{Dic_k|0≦k<K}は、画像符号化部102における基底辞書記憶部124に記憶される。また、基底辞書群{Dic_k|0≦k<K}は、画像復号装置においても記憶される。つまり、基底辞書群{Dic_k|0≦k<K}は、画像符号化装置と画像復号装置とで共有される。
図5のフローチャートは、クラス分類部123が実行するクラス分類処理の一例を示している。
クラス分類部123は、第2特徴ベクトル算出部121から出力された第2特徴ベクトル群{v2_i|0≦i<M}を入力する(ステップS401)。
また、クラス分類部123は、代表特徴ベクトル群{cv_j|0≦j<K}を代表特徴ベクトル記憶部122から入力する(ステップS402)。
また、クラス分類部123は、入力画像ブロック群{b2_i|0≦i<M}を入力する(ステップS403)。
また、クラス分類部123は、ブロックに付した番号を示す変数iに初期値である0を代入する(ステップS404)。
次に、クラス分類部123は、i番目のブロックに対応する第2特徴ベクトルv2_iと、全てのクラスごとの代表特徴ベクトルcv_0〜cv_{K−1}との類似度を算出する(ステップS405)。
つまり、クラス分類部123は、1つのブロックに対応する第2特徴ベクトルv2_iに対する類似度として、代表特徴ベクトルcv_0〜cv_{K−1}のそれぞれに対応するK−1個の類似度を算出する。クラス分類部123は、このような類似度の算出を、全てのブロックごとに対応して実行する。
次に、クラス分類部123は、ステップS405により算出した類似度のうちで、類似度が最も高い代表特徴ベクトルcv_jに対応するj番のクラスを、i番目の入力画像ブロックが属するクラスとして決定する(ステップS406)。ステップS406により、1つのブロックについてのクラス分類が行われる。
次に、クラス分類部123は、変数iについてインクリメントしたうえで(ステップS407)、変数iがブロック数Mと等しいか否かについて判定する(ステップS408)。
変数iがブロック数M未満である場合(ステップS408−NO)、クラス分類部123は、ステップS405に戻ることにより、次の入力画像ブロックが属するクラスを決定する。
そして、全ての入力画像ブロックが属するクラスを決定したのに応じて、変数iがブロック数Mと等しくなると(ステップS408−YES)、クラス分類部123は、以下の処理を実行する。
つまり、クラス分類部123は、0番目からM−1番目のブロックについて、同じクラスに属する入力画像ブロックごとにグルーピングを行う(ステップS409)。
クラス分類部123は、ステップS409によるグルーピングの結果に従って、入力画像ブロック分類情報が付加された入力画像ブロックを出力する。この際、クラス分類部123は、入力画像ブロック分類情報が付加された入力画像ブロックとして、入力画像ブロックをグループごとに分けた構造のブロックグループ群{B2_k|0≦k<K}として出力する(ステップS410)。1つのクラスkに対応するブロックグループB2_kには、クラスkに属するものとして分類された入力画像ブロックが含まれる。
図6のフローチャートは、変換部125が実行する変換処理の一例を示している。
変換部125は、クラス分類部123が出力した、ブロックグループ群{B2_k|0≦k<K}を入力する(ステップS501)。
変換部125は、クラスに付した番号を示す変数kに初期値である1を代入する(ステップS502)。
次に、変換部125は、基底辞書記憶部124から基底辞書群{Dic_k|0≦k<K}を入力する(ステップS503)。
変換部125は、ブロックに付した番号を示す変数iに初期値である0を代入する(ステップS504)。
次に、変換部125は、ブロックグループB2_kにおけるi番目のブロック{B_k_i|k∈K,0≦i<N}を取得する(ステップS505)。
変換部125は、k番目のクラスに対応する基底辞書Dic_kを利用して、KL展開あるいはK−SVD法などにより、ステップS505により取得したi番目のブロックB_k_iのベクトルである変換係数a_i_k=D_k^tb_k_iを算出する(ステップS506)。ここで、KL展開などによって算出されたD_kは正規直交行列であるために、転置行列が逆行列となる。
変換部125は、ステップS506により算出した変換係数a_i_kを出力する。つまり、変換部125は、k番目のクラスにおけるi番目のブロックの変換係数を出力する(ステップS507)。
変換部125は、変数iについてインクリメントしたうえで(ステップS508)、変数iが、ブロックグループB2_kにおけるブロック数Nと等しくなったか否かについて判定する(ステップS509)。
変数iがブロック数N未満である場合(ステップS509−NO)、変換部125は、ステップS505に戻ることにより、次のブロックの変換係数を出力するための処理に移行する。
そして、k番目における全てのブロックの変換係数を出力したのに応じて、変数iがブロック数Nと等しくなると(ステップS509−YES)、変換部125は、以下の処理を実行する。
つまり、変換部125は、変数kをインクリメントしたうえで(ステップS510)、変数kがクラス数Kと等しいか否かについて判定する(ステップS511)。変数kがクラス数K未満である場合(ステップS511−NO)、変換部125は、ステップS503に戻ることにより、次のクラスにおけるブロックごとの変換係数を出力するための処理に移行する。
そして、全てのクラスにおけるブロックごとの変換係数を出力したのに応じて、変数kがクラス数Kと等しくなると(ステップS511−YES)、変換部125は、変換処理を終了する。
図7は、本実施形態に係る画像符号化装置100に対応する画像復号装置の構成例を示している。同図に示す画像復号装置200は、エントロピー復号部201、逆量子化部202、基底辞書記憶部203及び逆変換部204を備える。
エントロピー復号部201は、符号化データを入力してエントロピー復号を行って、量子化変換係数を取得する。
逆量子化部202は、エントロピー復号部201によって取得された量子化変換係数について逆変換を行って復号ブロックを得る。本実施形態における復号ブロックは、係数対応クラス情報が付加された逆量子化変換係数群である。
基底辞書記憶部203は、画像符号化装置100の基底辞書記憶部124が記憶するのと同じ基底辞書群を予め記憶する。このように、画像復号装置200は、同じ基底辞書群を画像符号化装置100と予め共有する。
逆変換部204は、逆量子化部202により取得された各復号ブロックについて逆変換を行って、変換係数からブロックの画素データを復号する。逆変換部204は、画素データに復号したブロックにより復号画像を生成し、生成した復号画像を出力する。
逆変換部204は、1つのブロックに対応する変換係数を逆変換するにあたり、逆変換対象の変換係数に付加された係数対応クラス情報が示すクラスを認識する。次に、逆変換部204は、認識したクラスに対応する基底辞書を基底辞書群から取得する。逆変換部204は、取得した基底辞書を利用して逆変換対象の変換係数を逆変換する。
図8のフローチャートは、画像復号装置200における逆変換部204の逆変換処理の一例を示している。
逆変換部204は、逆量子化部202から出力された逆量子化変換係数群を入力する(ステップS601)。逆量子化変換係数群は、係数対応クラス情報によりいずれかのクラスに分類されている。このような逆量子化変換係数群は、k番目のクラスにおけるi番目の復号ブロックをα_i_kとして表すと、{α_i_k | k∈Kt , 0≦i<N}として表すことができる。Ktは、クラスの集合を表す。
逆変換部204は、ブロックの番号を示す変数iに初期値である0を代入する(ステップS602)。
次に、逆変換部204は、処理対象の復号ブロックが対応するクラスkの基底辞書を、基底辞書記憶部203が記憶する基底辞書群{Dic_k|0≦k<K}から取得する(ステップS603)。
逆変換部204は、k番目のクラスにおけるi番目の復号ブロックα_i_kの画素データβ_j_k=D_k_iα_i_kを算出する(ステップS604)。このようにして、ステップS604により、1つの復号ブロックにおける変換係数が画素データに変換される。
逆変換部204は、ステップS604により算出した画素データβ_i_kを、k番目のクラスにおけるi番目のブロックに対応する復号画像として出力する(ステップS605)。
次に、逆変換部204は、変数iがブロック数Mと等しいか否かについて判定する(ステップS606)。変数iがブロック数M未満である場合(ステップS606−NO)、逆変換部204は、ステップS603に戻ることにより、次の処理対象の復号ブロックを変換するための処理に移行する。
そして、全ての復号ブロックについての変換を完了するのに応じて変数iがブロック数Mと等しくなるのに応じて(ステップS606−YES)、逆変換部204はこれまでの変換処理を終了する。処理を終了した段階では、ステップS605によって出力された画素データβ_i_kにより、例えば1フレームに対応する復号画像が得られる。
このように、本実施形態の画像復号装置200は、画像符号化装置100が学習によって生成した基底辞書を予め共有しておくことにより、画像符号化装置100により符号化された符号化データを復号して復号画像を得ることができる。
ここで、基底辞書は、学習画像を利用した学習によって得られるために、例えばDCTにおけるコサイン関数数列としての基底よりも画像との適合性が高い。そのうえで、基底辞書に対応する基底D_kは、複数の学習画像から生成しているため、画像共通の基底をあらわしており、各画像に対して共通に利用できる。これにより、本実施形態の画像符号化装置100は、符号化データを画像復号装置200に伝送する際に、基底辞書も伝送する必要がない。これにより、本実施形態においては、画像符号化装置100と画像復号装置200との間での通信において基底の情報の伝送によるオーバーヘッドの増加が解消される。これにより、符号化データの伝送レートを高くすることが可能となり、符号化効率の向上を図ることが可能になる。
なお、上述の画像符号化装置100や画像復号装置200の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の画像符号化装置100や画像復号装置200の処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
100…画像符号化装置, 101…学習部, 102…画像符号化部, 111…第1特徴ベクトル算出部, 112…代表特徴ベクトル算出部, 113…基底辞書学習部, 121…第2特徴ベクトル算出部, 122…代表特徴ベクトル記憶部, 123…クラス分類部, 124…基底辞書記憶部, 125…変換部, 126…量子化部, 127…エントロピー符号化部

Claims (3)

  1. 複数の学習画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる学習画像ブロックごとに第1特徴ベクトルを算出する第1特徴ベクトル算出部と、
    学習画像ブロックごとに算出された複数の第1特徴ベクトルを複数のクラスのうちのいずれかに分類し、クラスごとに分類された第1特徴ベクトルを利用して、各クラスを代表する代表特徴ベクトルを算出し、算出した各クラスの代表特徴ベクトルを出力するとともに、第1特徴ベクトルの分類結果に基づいて各ブロックが属するクラスを示すブロック分類情報を出力する代表特徴ベクトル算出部と、
    前記ブロック分類情報に基づいて前記学習画像ブロックを前記複数のクラスのうちのいずれかに分類し、入力画像ブロックを変換係数に変換する際に用いる基底を示す辞書であって画像復号装置と共有する基底辞書を、クラスに分類された学習画像ブロックを利用してクラスごとに生成する基底辞書学習部と、
    符号化対象の入力画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる入力画像ブロックごとに第2特徴ベクトルを算出する第2特徴ベクトル算出部と、
    クラスごとの代表特徴ベクトルと前記入力画像ブロックごとの第2特徴ベクトルとの類似度に基づいて、前記入力画像ブロックの各々を前記複数のクラスのうちのいずれかに分類するクラス分類部と、
    前記クラス分類部により分類されたクラスに対応する基底辞書を利用して入力画像ブロックを変換係数に変換する変換部と
    を備える画像符号化装置。
  2. 複数の学習画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる学習画像ブロックごとに第1特徴ベクトルを算出する第1特徴ベクトル算出ステップと、
    学習画像ブロックごとに算出された複数の第1特徴ベクトルを複数のクラスのうちのいずれかに分類し、クラスごとに分類された第1特徴ベクトルを利用して、各クラスを代表する代表特徴ベクトルを算出し、算出した各クラスの代表特徴ベクトルを出力するとともに、第1特徴ベクトルの分類結果に基づいて各ブロックが属するクラスを示すブロック分類情報を出力する代表特徴ベクトル算出ステップと、
    前記ブロック分類情報に基づいて前記学習画像ブロックを前記複数のクラスのうちのいずれかに分類し、入力画像ブロックを変換係数に変換する際に用いる基底を示す辞書であって画像復号装置と共有する基底辞書を、クラスに分類された学習画像ブロックを利用してクラスごとに生成する基底辞書学習ステップと、
    符号化対象の入力画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる入力画像ブロックごとに第2特徴ベクトルを算出する第2特徴ベクトル算出ステップと、
    クラスごとの代表特徴ベクトルと前記入力画像ブロックごとの第2特徴ベクトルとの類似度に基づいて、前記入力画像ブロックの各々を前記複数のクラスのうちのいずれかに分類するクラス分類ステップと、
    前記クラス分類ステップにより分類されたクラスに対応する基底辞書を利用して入力画像ブロックを変換係数に変換する変換ステップと
    を備える画像符号化方法。
  3. コンピュータに、
    複数の学習画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる学習画像ブロックごとに第1特徴ベクトルを算出する第1特徴ベクトル算出ステップと、
    学習画像ブロックごとに算出された複数の第1特徴ベクトルを複数のクラスのうちのいずれかに分類し、クラスごとに分類された第1特徴ベクトルを利用して、各クラスを代表する代表特徴ベクトルを算出し、算出した各クラスの代表特徴ベクトルを出力するとともに、第1特徴ベクトルの分類結果に基づいて各ブロックが属するクラスを示すブロック分類情報を出力する代表特徴ベクトル算出ステップと、
    前記ブロック分類情報に基づいて前記学習画像ブロックを前記複数のクラスのうちのいずれかに分類し、入力画像ブロックを変換係数に変換する際に用いる基底を示す辞書であって画像復号装置と共有する基底辞書を、クラスに分類された学習画像ブロックを利用してクラスごとに生成する基底辞書学習ステップと、
    符号化対象の入力画像を所定の水平画素数と垂直画素数によるブロックの単位で分割して得られる入力画像ブロックごとに第2特徴ベクトルを算出する第2特徴ベクトル算出ステップと、
    クラスごとの代表特徴ベクトルと前記入力画像ブロックごとの第2特徴ベクトルとの類似度に基づいて、前記入力画像ブロックの各々を前記複数のクラスのうちのいずれかに分類するクラス分類ステップと、
    前記クラス分類ステップにより分類されたクラスに対応する基底辞書を利用して入力画像ブロックを変換係数に変換する変換ステップと
    を実行させるためのプログラム。
JP2013167062A 2013-08-09 2013-08-09 画像符号化装置、画像符号化方法及びプログラム Pending JP2015035788A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013167062A JP2015035788A (ja) 2013-08-09 2013-08-09 画像符号化装置、画像符号化方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013167062A JP2015035788A (ja) 2013-08-09 2013-08-09 画像符号化装置、画像符号化方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2015035788A true JP2015035788A (ja) 2015-02-19

Family

ID=52543998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013167062A Pending JP2015035788A (ja) 2013-08-09 2013-08-09 画像符号化装置、画像符号化方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2015035788A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017126884A (ja) * 2016-01-14 2017-07-20 日本電信電話株式会社 辞書生成方法、辞書生成装置及び辞書生成プログラム
WO2018139729A1 (ko) * 2017-01-26 2018-08-02 삼성전자 주식회사 적응적 영상 변환 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007048172A (ja) * 2005-08-12 2007-02-22 Fuji Xerox Co Ltd 情報分類装置
WO2009146933A2 (en) * 2008-06-06 2009-12-10 Max-Planck Gesellschaft Zur Förderung Der Wissenschaften Method and device for image compression

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007048172A (ja) * 2005-08-12 2007-02-22 Fuji Xerox Co Ltd 情報分類装置
WO2009146933A2 (en) * 2008-06-06 2009-12-10 Max-Planck Gesellschaft Zur Förderung Der Wissenschaften Method and device for image compression

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN6016041007; Lena Chang et al.: 'An efficient adaptive KLT for multispectral image compression' Proceedings of 4th IEEE Southwest Symposium, Image Analysis and Interpolation, 2000 , 20000402 *
JPN6016041009; Inbal Horev et al.: 'Adaptive image compression using sparse dictionaries' 2012 19th International Conference on Systems, Signals and Image Processing (IWSSIP) , 20120411 *
JPN7016002332; Andrea Vedaldi, Brian Fulkerson: 'VLFeat - An open and portable library of computer vision algorithms' Proceedings of the 18th ACM international conference on Multimedia , 2010, pp.1469-1472 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017126884A (ja) * 2016-01-14 2017-07-20 日本電信電話株式会社 辞書生成方法、辞書生成装置及び辞書生成プログラム
WO2018139729A1 (ko) * 2017-01-26 2018-08-02 삼성전자 주식회사 적응적 영상 변환 방법 및 장치

Similar Documents

Publication Publication Date Title
JP6339099B2 (ja) 次世代ビデオのパーティションデータのコンテンツ適応的エントロピーコーディング
JP5957561B2 (ja) 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置
CN108293113B (zh) 图像编码系统中的基于建模的图像解码方法和设备
CN116800982A (zh) 图像编码/解码设备和图像数据发送设备
KR101758954B1 (ko) 디코더 및 방법
CN110800299B (zh) 用于对图像数据的块进行熵代码化的扫描顺序自适应
JP7283024B2 (ja) 画像の符号化方法、復号化方法、エンコーダ、およびデコーダ
RU2567988C2 (ru) Кодер, способ кодирования данных, декодер, способ декодирования данных, система передачи данных, способ передачи данных и программный продукт
JP2013179707A (ja) 大きいサイズの変換単位を利用した映像符号化、復号化方法及び装置
US11368691B2 (en) Method and device for designing low-complexity calculation DST7
CN105474642A (zh) 使用频域差对图像集合进行重新编码
KR20220162184A (ko) 인트라 예측 기반 영상 코딩에서의 변환
KR102480472B1 (ko) Cabac에 기반한 엔트로피 코딩 방법 및 그 장치
KR102553665B1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2018222239A1 (en) Adaptation of scan order for entropy coding
JP2015035788A (ja) 画像符号化装置、画像符号化方法及びプログラム
WO2020071115A1 (ja) 画像処理装置および方法
WO2020145143A1 (ja) 情報処理装置および方法
JP6188344B2 (ja) 走査順生成装置、動画像符号化装置、動画像復号装置、走査順生成方法、およびプログラム
JP2013017128A (ja) イントラ予測モード推定装置、画像符号化装置、画像復号装置、及びプログラム
CN113473154B (zh) 视频编码、视频解码方法、装置及存储介质
JP5561611B2 (ja) 画像符号化方法,画像符号化装置および画像符号化プログラム
JP6917718B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
JP6846134B2 (ja) 映像符号化装置及び映像復号装置
JP2018098589A (ja) 線形予測係数出力方法、線形予測係数出力装置及び線形予測係数出力プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150820

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161003

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161025