JP2019159910A - 三次元画像分類装置および三次元画像分類方法 - Google Patents

三次元画像分類装置および三次元画像分類方法 Download PDF

Info

Publication number
JP2019159910A
JP2019159910A JP2018046791A JP2018046791A JP2019159910A JP 2019159910 A JP2019159910 A JP 2019159910A JP 2018046791 A JP2018046791 A JP 2018046791A JP 2018046791 A JP2018046791 A JP 2018046791A JP 2019159910 A JP2019159910 A JP 2019159910A
Authority
JP
Japan
Prior art keywords
dimensional
scene
image
maps
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018046791A
Other languages
English (en)
Inventor
青野 雅樹
Masaki Aono
雅樹 青野
和真 ▲浜▼田
和真 ▲浜▼田
Kazuma Hamada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyohashi University of Technology NUC
Original Assignee
Toyohashi University of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyohashi University of Technology NUC filed Critical Toyohashi University of Technology NUC
Priority to JP2018046791A priority Critical patent/JP2019159910A/ja
Publication of JP2019159910A publication Critical patent/JP2019159910A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】 自由に配置された複数の形状が異なる物体が含まれていても、高い確率で三次元情景を判定し、分類することができる三次元画像分類装置および三次元画像分類方法を提供すること【解決手段】 複数の三次元物体情報を含む画像に対し、三次元情景を三次元格子の集合で表し、該三次元情景の複数の投影面から該三次元格子集合の奥行密度を求めて複数のマップを作成し、該複数のマップから合成される学習用の画像を生成して、該画像を畳み込みニューラルネットワークで学習しかつ分類する。【選択図】 図1

Description

本発明は、情景を記録した画像に対し所定の処理を行い、情景の場面を判定する三次元画像分類装置および三次元画像分類方法に関する。具体的には、三次元物体情報からなる三次元の情報を有する情景画像から、その場面を判定する三次元画像分類装置および三次元画像分類方法である。
三次元情報から構成される情景に関する先行技術には、次のものがある。
特許文献1には、三次元情景においてオブジェクトの三次元モデル化アセンブリを設計するためのコンピュータ実装方法が開示されている。三次元情景を設計する方法であって、分類を行う技術ではない。また、特許文献2においては、建築物モデルを三次元に可視化し、さらに視点を連続的に変化させ、建築物中を歩いているように建築物モデルを確認する建築モデル作成装置が開示されている。いわゆるウォークスルーを実現する装置であるが、部屋の用途やカテゴリなど情景を分類するものではない。
一方、非特許文献では三次元情報を対象とした認識技術は多々あるが、三次元物体単体を対象とした認識技術がほとんどである。三次元情報の認識に関する非特許文献では、深層学習を利用した、三次元情報をボクセル群や点群、画像などに変換して畳み込みニューラルネットワークの入力データとする手法が多くみられる。例えば、非特許文献1は三次元物体単体の認識に関する報告である。三次元情景を畳み込みニューラルネットワーク入力可能なボクセル群の大きさに変換すると、情景全体の大きさに対して微小だが、情景の分類には欠かせない三次元物体個々の詳細な形状が保持できなくなり、特徴が失われてしまうという問題があった。逆に、情景全体からみれば微小な三次元物体個々の詳細な形状を保持できるまで解像度をあげたボクセル表現においても、メモリ量や計算量に関して高コストとなり、深層学習に時間がかかるという問題があった。
非特許文献2は、三次元物体単体の点群表現による分類とセグメンテーションに関して、三次元情報を点群に変換して畳み込みニューラルネットワークの入力とする手法が報告されている。三次元物体単体の大きさに合わせた点の数で生成した点群を入力とするネットワーク構造となっているため、情景に対しては粗雑な点群になる。そのため点群の密度を見ることによって物体の有無を捉えることは可能であるが、形状情報が大きく損失するため、物体の特徴を捉えることが難しいという問題があった。
特開2012-238311号公報 特開平11-338906号公報
D. Maturana and S. Scherer.: Voxnet: A 3d convolutional neural network for real-time object recognition. in IROS, 2015. Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas.: PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. CVPR 2017.
三次元情景では、複数の形状の異なる物体情報を含み、自由に配置される。そのため三次元物体単体の認識のために調整された三次元物体認識では、すべての物体に関する特徴量の保持が困難であり、結果として、三次元情景の認識および判定は困難である。
本発明は先行技術の課題を鑑みてなされたものであり、本発明の課題は、自由に配置された複数の形状が異なる物体が含まれていても、高い確率で三次元情景を判定し、分類することができる三次元画像分類装置および三次元画像分類方法を提供することである。
本発明にかかる三次元画像分類装置は、複数の三次元物体情報を含む画像を入力として三次元情景を分類する三次元画像分類装置であって、三次元情景を三次元格子の集合で表す手段と、三次元格子集合で表される三次元情景の複数の投影面から該三次元格子集合の奥行密度を求めて複数のマップを作成する手段と、複数のマップから合成される学習用の画像を生成する手段と、該画像を学習しかつ判定するニューラルネットワークと、を備え、当該ニューラルネットワークによって空間情報の畳み込み処理を行うことを特徴とする。
また、前記三次元画像分類装置において、前記複数のマップは、三次元情景を三方向の投影平面から作成される三つのマップであり、前記学習用の画像は、前記三つのマップをR,G,Bとするカラー画像であることを特徴とする。
本発明にかかる三次元画像分類方法は、複数の三次元物体情報を含む画像を入力として三次元情景を分類する三次元画像分類方法であって、三次元情景を三次元格子の集合で表す工程と、三次元格子集合で表される三次元情景の複数の投影面から該三次元格子集合の奥行密度を求めて複数のマップを作成する工程と、複数のマップから合成される学習用の画像を生成する工程と、ニューラルネットワークによって空間情報の畳み込み処理を行う工程と、を含むことを特徴とする。
また、前記三次元画像分類方法において、前記複数のマップは、三次元情景を三方向の投影平面から作成される三つのマップであり、前記学習用の画像は、前記三つのマップをR,G,Bとするカラー画像であることを特徴とする。
本発明にかかる三次元画像分類装置および三次元画像分類方法により、自由に配置された複数の形状が異なる物体が含まれていても、高い確率で三次元情景を判定し、自動で分類することが可能となる。
本発明にかかる三次元画像分類における三次元情景の学習時の流れを示すブロック図である。 本発明にかかる三次元画像分類におけるテスト時の三次元情景の判定の流れを示すブロック図である。 ユークリッド空間におけるx軸、y軸、z軸それぞれを奥行きとした投影平面の概念図である。 ボクセルを用いたマップ生成に関する概念図である。この図ではp_((1,1))=0、p_((4,1))=128、p_((4,4))=255である。 三次元情景の特徴を表す画像化を示す概念図である。なお、この図では、カラー画像をグレイスケールで示している。 三次元情景の特徴を表す画像化により生成されたカラー画像のサンプルである。なお、この図では、カラー画像をグレイスケールで示している。
本発明を実施するための形態について、図および表などを参照しながら以下に説明する。なお、三次元情報あるいはデータを3D、三次元情景を3Dシーン、三次元物体を3Dオブジェクトと表現することがある。
まず、本発明に係る三次元画像分類装置の構成、およびアルゴリズムを記述する。当該アルゴリズムは、プログラム言語を用いて構築され、CPU、メモリ、外部記憶機器、表示機器および入出力機器が電気的に接続されてなり動作する計算機ハードウェアを当該三次元画像分類装置として、適宜、稼働させて実行される。
本発明にかかるアルゴリズムでは、ボクセル表現に変換した3Dシーンの奥行き密度から、3Dシーンの分類を行う手助けとなる画像を生成し、深層学習を適用して3Dシーンに対して分類を行う。
本発明よる3Dシーン認識は、教師あり機械学習手法に大別され、学習段階の構成とテスト段階の構成からなる。図1および図2は、それぞれ学習時の流れおよびテスト時の流れを示す。3Dメッシュモデルによって構成された3Dシーンを画像化するまでの流れはどちらも共通である。
<処理の概要>
本発明による3Dシーン分類の流れを図1に示す。まず、3Dシーンの位置と大きさを正規化し、ボクセル表現を生成する。ボクセル表現とは、三次元の格子(すなわち、ボクセル)に値を設定することで、三次元形状を立方体の集合で表現したものである。本発明では物体の有無を0か1の値で表現したバイナリボクセルで形状を表現する。次にボクセル表現に変換した3Dシーンを、ユークリッド空間x軸,y軸,z軸それぞれを奥行きとした投影平面から、ボクセル群の奥行きの密度を反映したマップを生成する。その後、各マップを一つの画像にまとめることで3Dシーンの画像化を行う。これらの処理によって生成された画像を入力として畳み込みニューラルネットワーク(以下、CNNと略語を使うことがある。)で学習し、学習されたモデルを分類器とすることで3Dシーンの分類を行う。
<3Dシーンの正規化(処理L1, T1, L2, T2)>
本発明では最初にボクセル化の前処理として、3Dシーンの位置と大きさを正規化する。重心が原点となるように3Dシーンを平行移動することで位置を正規化する。(処理L1, T1)
3Dシーンの大きさの正規化は、原点から最も離れた頂点への距離を求め、求めた値で3Dシーンの各頂点座標の値を除算することで行う。(処理L2, T2)
<バイナリボクセル表現への変換(処理L3, T3)>
正規化した3Dシーンからバイナリボクセル表現に変換する。まず3Dシーンを構成する三次元モデルの(空間の3角形の)面上にランダムな点をm個の点群として生成する。この際、三次元モデルの面上に一様に分布する点の座標pは、頂点と接続性により構成される3角形の頂点座標a,b,cから数1の式で求める。
Figure 2019159910
具体的には、Osadaらの非特許文献(論文、Robert Osada, Thomas Funkhouser, Bernard Chazelle, and David Dobkin. Shape distributions. ACM Trans. Graph.,21(4):807-832, October 2002)を参照することで実装する。
上式の二つの乱数r,rには,SobolあるいはNiederreiterなどの擬似乱数を用いる。これにより3Dシーンを点群表現に変換する。
次に各点の座標値をボクセル表現の大きさに合わせて量子化することで、点群表現をボクセル表現に変換する。このとき、点が一つも含まれていない場合は0の値を、点が一つ以上含まれている場合は1の値を設定する。本発明では224×224×224の大きさでバイナリボクセル表現を生成する。
<画像化(処理L4, T4)>
バイナリボクセル表現に変換した3Dシーンから、3Dシーンの判定を行う手助けとなる画像を生成する。本発明では、まずユークリッド空間x軸,y軸,z軸それぞれを奥行きとした投影平面(図3)から、ボクセル群の奥行きの密度を表現したマップを生成する(図4)。わかりやすさのため、図3と図4ではボクセル表現の大きさを4×4×4としている。ボクセル表現の大きさをN×N×Nとし、ボクセル群に含まれる各ボクセルをν(x,y,z)(ただしx,y,zはN以下の正整数)、x軸を奥行きとした面をYZ、y軸を奥行きとした面をXZ、z軸を奥行きとした面をXYとすると、それぞれの投影平面から生成されるマップMは、
Figure 2019159910
Figure 2019159910
Figure 2019159910
となる。このとき、pは各座標の画素値を表す。
各投影平面の横座標をi、縦座標をjとすると、画素値pは、それぞれ
Figure 2019159910
Figure 2019159910
Figure 2019159910
となる。
次に、三つの投影平面から生成されたそれぞれのマップMをカラー画像の3チャネル(R,G,B)に当てはめることで一つの画像にまとめる(図5)。
最終的に、本発明の画像化によって生成される画像Iは
Figure 2019159910
となる。
図5に示すように、カラー画像化が本発明のキーとなるアイデアである。通常3Dシーンの内部に含まれる微小な3Dモデルは単純なボクセル化では、消失する危険性があるが、数5、6、7で投影される画像に含まれる3Dオブジェクトである限り、微小であっても、それが特徴となり、カラー画像化される数8の中に、重要な特徴量として残るため、3Dシーンが、たとえば、リビングルームか、書斎か、寝室なのかを識別可能となる。なお、図5はカラー画像をグレイスケールで表示したものであり、ボクセル投影は3方向から行い、それぞれをRed (R), Green (G), Blue (B)のチャネルに対応させ、最後に3チャネルを合成した画像を生成する。画像は見やすくするため、実際より輝度を上げている。部屋の中の小物体(U字形のソファ、テーブルなど)も捉えていることがわかる。また、参考のため図6を示す。図6は浴室の三次元情景を本発明係る画像化を行った例である。また、図5と同様にカラー画像をグレイスケールで表示したものである。図6から、向きは上下反転しているがバスタブがあるのがわかり、これにより深層学習を用いる分類器が、3Dシーン内に浴槽に似たものがある部屋をバスルームと高い確率で判定できる。
<畳み込み層を多く含む多層のニューラルネットワークによる深層学習(処理L5, L6)>
本発明では、畳み込み層を多く含む多層のニューラルネットワークを適用して学習を行う。実施例ではResNet50(K. He, X. Zhang, S. Ren and J. Sun .: Deep Residual Learning for Image Recognition. in CVPR, 2016.を参照)のネットワーク構造を利用している。ニューラルネットワークのハイパーパラメータとして、最適化アルゴリズムに「Adam」(Diederik Kingma; Jimmy Ba (2015). “Adam: A Method for Stochastic Optimization”. Proceedings of the 3rd International Conference for Learning Representations, San Diego.を参照)を採用し、学習率を0.01とする。訓練時の損失関数は以下のクロスエントロピーを適用する。
Figure 2019159910
学習時(図1)では画像化した3Dシーンを入力(処理L5)し、深層学習(処理L6)を行い、それによって生成した学習済みネットワークをテスト時(図2)に分類器として使用する。
<学習済みネットワークによる分類(処理T5, T6, T7)>
処理L6によって生成した学習済みネットワークを分類器として扱い、3Dシーンの分類を行う。未知の3Dシーンを本発明による手法で画像化し、学習済みネットワークに入力(処理T5)することで、入力した3Dシーンの各カテゴリの所属確率を計算し出力する(処理T6)。次に、出力した各カテゴリの所属確率の中で最も値の大きいカテゴリのものを、入力データの予測カテゴリとする。各カテゴリの所属確率の中で同値が存在する場合、アルファベット順で先にくるカテゴリのものを予測カテゴリとし、分類を行う(処理T7)。
<実験環境>
本実施例では6クラスの分類問題とする。プリンストン大学から公開された屋内の3Dシーンデータである、SUNCGデータセット(http://suncg.cs.princeton.edu/を参照)で公開されている家の3Dシーンを部屋ごとに分割し、その中からデータ数が多い6種(浴室、寝室、ダイニング、キッチン、居間、オフィス)を各6,400個取り出し、訓練データ4,600個、テストデータ1,800個に分けたものを実施例データセットとして使用する。そのため、訓練データ総数は27,600個、テストデータの総数は10,800個となる。また、3Dシーンの分割の際にノイズ除去として、人や猫といった生物のオブジェクト除去、床や机といった要素が10個以下のシーン除去を行った。
分類評価は、正確性と網羅の総合的な評価に利用される尺度であるF値を用いる。
比較のため従来手法には、VoxNet([1]、非特許文献1を参照)、MVCNN([4]、H. Su, S. Maji, E. Kalogerakis, E. Learned -Miller.: Multi-view convolutional neural net works for 3d shape recogni tion. in Proc. ICCV, 2015, pp. 945-953.を参照)、PointNet([3]、非特許文献2を参照)を選択した。
VoxNetは3Dデータをボクセル表現に変換し、3DCNNの入力として学習を行う手法である。実験は、入力データのボクセル表現の大きさを64×64×64とした。
MVCNNはマルチビューの深度画像から学習済みCNNで特徴量を取りだし、view-pooling層で全ビューを統合したのち、もう一つのCNNで学習を行う手法ある。実験では3Dシーンの重心から18方向にレンダリグした深度画像を入力とした。特徴量抽出のCNNはImageNet(J. Deng, W. Dong, R. Socher, L. -J. Li, K. Li and L. Fei-Fei.: ImageNet: A Large -Scale Hierarchical. Image Database. In CVPR09, 2009.を参照)で学習済みのResNet50を適用し、avg_pool層から取り出した2048次元の特徴量を使用した。
PointNetは3Dデータを点群で表現したものを入力として学習行う手法である。実験では、Osadaらの手法を用いて、3Dシーンを2,048個の点で表現したものを入力とした。
本発明は、各投影平面から生成したマップを全て反映して画像化する場合で実施例を述べるが、y軸を奥行きとした投影平面から生成したマップのみを反映して画像化する場合や、x軸を奥行きとした投影平面とz軸を奥行きとした投影平面から生成したマップを反映して画像化する場合でも同様に実施可能である。
本発明のCNNではResNet50のネットワーク構造を適用し、ネットワークの重みを最適化するアルゴリズムとして「Adam」を利用した。このとき、学習率は0.01とした。また、バッチサイズは32とした。訓練時の損失関数はクロスエントピー(数9)を適用した。
<実験結果>
比較実験の結果を表1に示す。同表は各手法の6カテゴリのF値と、F値の平均をまとめたものであり、カテゴリで最も大きな値を太字で表している。本発明が全てのカテゴリにおいて比較した従来手法を上回る値となった。また、VoxNetは3Dシーンの学習ができず、どのクラスの入力であっても1種類のクラスを返す結果となっている。
Figure 2019159910
表1からわかるように、本発明が全体で最も高い分類精度となった。このことから本発明が屋内3Dシーンの分類に有効である。
本発明では、ボクセル群を直接入力とせずにボクセル群の奥行き密度を反映して画像に変換することで、シーンに含まれるオブジェクトの詳細な形状情報の保持を実現している。

Claims (4)

  1. 複数の三次元物体情報を含む画像を入力として三次元情景を分類する三次元画像分類装置であって、
    三次元情景を三次元格子の集合で表す手段と、
    三次元格子集合で表される三次元情景の複数の投影面から該三次元格子集合の奥行密度を求めて複数のマップを作成する手段と、
    複数のマップから合成される学習用の画像を生成する手段と、
    該画像を学習しかつ判定するニューラルネットワークと、を備え、
    当該ニューラルネットワークによって空間情報の畳み込み処理を行うことを特徴とする三次元画像分類装置。
  2. 前記複数のマップは、三次元情景を三方向の投影平面から作成される三つのマップであり、前記学習用の画像は、前記三つのマップをR,G,Bとするカラー画像であることを特徴とする請求項1に記載の三次元画像分類装置。
  3. 複数の三次元物体情報を含む画像を入力として三次元情景を分類する三次元画像分類方法であって、
    三次元情景を三次元格子の集合で表す工程と、
    三次元格子集合で表される三次元情景の複数の投影面から該三次元格子集合の奥行密度を求めて複数のマップを作成する工程と、
    複数のマップから合成される学習用の画像を生成する工程と、
    ニューラルネットワークによって空間情報の畳み込み処理を行う工程と、
    を含むことを特徴とする三次元画像分類方法。
  4. 前記複数のマップは、三次元情景を三方向の投影平面から作成される三つのマップであり、前記学習用の画像は、前記三つのマップをR,G,Bとするカラー画像であることを特徴とする請求項3に記載の三次元画像分類方法。

JP2018046791A 2018-03-14 2018-03-14 三次元画像分類装置および三次元画像分類方法 Pending JP2019159910A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018046791A JP2019159910A (ja) 2018-03-14 2018-03-14 三次元画像分類装置および三次元画像分類方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018046791A JP2019159910A (ja) 2018-03-14 2018-03-14 三次元画像分類装置および三次元画像分類方法

Publications (1)

Publication Number Publication Date
JP2019159910A true JP2019159910A (ja) 2019-09-19

Family

ID=67993466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018046791A Pending JP2019159910A (ja) 2018-03-14 2018-03-14 三次元画像分類装置および三次元画像分類方法

Country Status (1)

Country Link
JP (1) JP2019159910A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091996A1 (en) * 2015-09-25 2017-03-30 Magic Leap, Inc. Methods and Systems for Detecting and Combining Structural Features in 3D Reconstruction
JP2017157138A (ja) * 2016-03-04 2017-09-07 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091996A1 (en) * 2015-09-25 2017-03-30 Magic Leap, Inc. Methods and Systems for Detecting and Combining Structural Features in 3D Reconstruction
JP2017157138A (ja) * 2016-03-04 2017-09-07 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROBERT OSADA ET AL.: "Shape Distributions", ACM TRANSACTIONS ON GRAPHICS, vol. 21, no. 4, JPN7022004467, October 2002 (2002-10-01), US, pages 807 - 832, XP058185457, ISSN: 0005013761, DOI: 10.1145/571647.571648 *
濱田 和真: "ボクセル群の奥行き密度を反映した画像による屋内3Dシーン分類", 電子情報通信学会技術研究報告, vol. 117, no. 514, JPN6022008823, 11 March 2018 (2018-03-11), JP, pages 189 - 194, ISSN: 0005013760 *

Similar Documents

Publication Publication Date Title
Han et al. Image-based 3D object reconstruction: State-of-the-art and trends in the deep learning era
WO2021232687A1 (zh) 一种基于深度学习的点云上采样方法
CN112529015B (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN110060255A (zh) 利用逐像素分类器来对2d平面图进行语义分割
CN110033513A (zh) 生成表示建筑的3d模型
CN111753698A (zh) 一种多模态三维点云分割系统和方法
CN115995039A (zh) 用于全向地点识别的提升语义图嵌入
Guo et al. Using multi-scale and hierarchical deep convolutional features for 3D semantic classification of TLS point clouds
Zhao et al. DAR-Net: Dynamic aggregation network for semantic scene segmentation
CN113345106A (zh) 一种基于多尺度多层级转换器的三维点云分析方法及系统
CN112242002B (zh) 基于深度学习的物体识别和全景漫游方法
Ahmad et al. 3D capsule networks for object classification from 3D model data
CN117581232A (zh) 基于NeRF的机器学习模型的加速训练
Zhang et al. Multiresolution attention extractor for small object detection
CN115222896A (zh) 三维重建方法、装置、电子设备及计算机可读存储介质
Xu et al. 3D Scene interpretation by combining probability theory and logic: The tower of knowledge
CN108986210B (zh) 三维场景重建的方法和设备
CN110516751A (zh) 三维数据的处理方法、系统及设备
CN117765258A (zh) 基于密度自适应和注意力机制的大规模点云语义分割方法
CN117456104A (zh) 一种基于结构功能分析的室内场景三维建模方法与系统
Kwadjo et al. From PC2BIM: Automatic Model generation from Indoor Point Cloud
CN116486030A (zh) 基于地表图像的三维地质体模型的建模方法和相关装置
Zhongyang et al. Classification of LiDAR point cloud based on multiscale features and pointnet
JP2019159910A (ja) 三次元画像分類装置および三次元画像分類方法
Caglayan et al. 3D convolutional object recognition using volumetric representations of depth data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230315