JP2022553407A - 複合特性分類と共通局所化のためのニューラルネットワークモデルの学習方法及び装置 - Google Patents

複合特性分類と共通局所化のためのニューラルネットワークモデルの学習方法及び装置 Download PDF

Info

Publication number
JP2022553407A
JP2022553407A JP2022524128A JP2022524128A JP2022553407A JP 2022553407 A JP2022553407 A JP 2022553407A JP 2022524128 A JP2022524128 A JP 2022524128A JP 2022524128 A JP2022524128 A JP 2022524128A JP 2022553407 A JP2022553407 A JP 2022553407A
Authority
JP
Japan
Prior art keywords
class
neural network
network model
loss
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022524128A
Other languages
English (en)
Inventor
クム，ジス
オ，サンイル
キム，キョンナム
Original Assignee
ウェイセン インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイセン インコーポレイテッド filed Critical ウェイセン インコーポレイテッド
Publication of JP2022553407A publication Critical patent/JP2022553407A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features

Abstract

本発明の実施形態による画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習方法において、前記ニューラルネットワークモデルは、入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、を含み、前記方法は、（ａ）入力画像を前記畳み込み層に入力するステップと、（ｂ）前記畳み込み層の出力に基づいて複数のクラス別観察マップを演算するステップと、（ｃ）前記複数のクラス別観察マップに基づいて、複数のクラスに共通する観察損失Ｌｏｂｓを演算するステップと、（ｄ）観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播するステップと、を含む。

Description

本発明は、複合特性分類と共通局所化のためのニューラルネットワークモデルの学習方法及び装置に関する。
図１の（ａ）は従来技術によるニューラルネットワークモデルを示す。
図１の（ａ）を参照すると、ニューラルネットワークモデルは、入力層、１つ以上の畳み込み層、プーリング層、及び全結合層を含む。このようなニューラルネットワークモデルを用いて、ある入力が在るとき、Ａ、Ｂ、Ｃ、Ｄの４つの特性のうちの１つの結果値、又は各特性に該当する確率を出力することができる。この時、結果値の総和は１００パーセントであり得る。
しかし、ある入力は、複数の結果が可能な複合特性を持つことができる。例えば、Ａは男性、Ｂは女性の特性であり、Ｃは東洋人、Ｄは非東洋人の特性である場合、結果値としてＡとＣが同時に可能であり得る。
ところが、従来のニューラルネットワークモデルによる場合、結果値の総和が１００％となるように判断するため、このような複合特性が正しく反映され難い。
本発明の実施形態は、複合特性を正しく予測することができる、ニューラルネットワークモデルの学習方法及び装置を提供することを目的とする。
本発明の実施形態による画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習方法において、前記ニューラルネットワークモデルは、入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、を含み、前記方法は、（ａ）入力画像を前記畳み込み層に入力するステップと、（ｂ）前記畳み込み層の出力に基づいて複数のクラス別観察マップを演算するステップと、（ｃ）前記複数のクラス別観察マップに基づいて、複数のクラスに共通する観察損失Ｌｏｂｓを演算するステップと、（ｄ）前記観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播するステップと、を含む。
前記（ｃ）ステップは、（ｃ－１）前記複数のクラス別観察マップに基づいて、前記複数のクラスに共通する共通観察マップを生成するステップと、（ｃ－２）前記共通観察マップ及び前記入力画像の対象領域を用いて前記観察損失Ｌｏｂｓを演算するステップと、を含む。
前記共通観察マップは、前記クラス別観察マップの平均値であり得る。
前記観察損失は、前記共通観察マップと前記入力画像の対象領域をそれぞれ横及び縦方向にプロジェクションした値同士を連結（ｃｏｎｃａｔｅｎａｔｅ）した値に対してコサイン距離を計算することにより算出できる。
前記（ｂ）ステップで、前記クラス別観察マップは、下記の式によって算出できる。
Figure 2022553407000002
（式中、Ｔｔはクラス、ｗｆｃ（Ｔｔ）はクラス別全結合層の重み、ｏｃｏｎｖは畳み込み層の出力、Ｃはチャネル数をそれぞれ示す。）
前記ニューラルネットワークモデルは、前記複数のクラス別全結合層にそれぞれ対応し、各クラス別全結合層の出力に応じてクラス別特性確率を演算する複数のクラス別分類器をさらに含むことができる。
前記（ｄ）ステップは、（ｄ－１）前記複数のクラス別分類器それぞれの出力結果に基づいてクラス別分類損失Ｌｃｌｓ（Ｔｔ）を演算するステップと、（ｄ－２）前記観測損失Ｌｏｂｓ及び前記クラス別分類損失Ｌｃｌｓ（Ｔｔ）に基づいてクラス別特性損失Ｌ（Ｔｔ）を演算するステップと、（ｄ－３）前記クラス別特性損失Ｌ（Ｔｔ）をクラス別に前記複数のクラス別分類器及び前記複数のクラス別全結合層に逆伝播するステップと、を含むことができる。
前記（ｄ－２）ステップで、前記クラス別特性損失Ｌ（Ｔｔ）は、下記の式によって算出できる。
Figure 2022553407000003
（式中、０≦α≦１）
前記（ｄ）ステップは、（ｄ－４）複数の前記クラス別分類損失Ｌｃｌｓ（Ｔｔ）と前記観察損失Ｌｏｂｓに基づいてマルチラベル分類損失Ｌ（Ｔ）を演算するステップと、（ｄ－５）前記マルチラベル分類損失Ｌ（Ｔ）を前記複数のクラス別分類器、前記複数のクラス別全結合層、前記プーリング層及び前記畳み込み層に逆伝播するステップと、をさらに含むことができる。
前記プーリング層は、全体平均プーリング層（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ ｌａｙｅｒ）であり得る。
本発明の実施形態によるニューラルネットワークモデルの学習装置は、ニューラルネットワークモデルが記憶されるメモリと、プロセッサとを含む、画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習装置であって、前記ニューラルネットワークモデルは、入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、を含み、前記プロセッサは、入力画像を前記畳み込み層に入力し、前記畳み込み層の出力に基づいて複数のクラス別観察マップを演算し、前記複数のクラス別観察マップに基づいて、複数のクラスに共通する観察損失Ｌｏｂｓを演算し、前記観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播する。
本発明の実施形態によれば、複合特性を正しく分類することができる。
本発明の実施形態によれば、クラス間の関連性が反映できる。
本発明の実施形態によれば、複合特性間の共通局所化が実現できる。
図１の（ａ）は従来技術による一対一モデルを示すものであり、図１の（ｂ）は比較例による一対一分類モデルを２つ使用したものを示すものであり、図１の（ｃ）は本発明の実施形態による一対多モデルを示すものである。 本発明の実施形態によるニューラルネットワークモデル１の構造を示す図である。 本発明の実施形態によるニューラルネットワークモデルの学習方法を示すフローチャートである。 図３の学習方法を説明するための図である。 本発明の実施形態による観察損失の算出方法を説明するための図である。 本発明の実施形態による観察損失の算出方法を説明するための図である。 本発明の実施形態によるニューラルネットワークモデルの学習方法を示すフローチャートである。 本発明の実施形態によるニューラルネットワークモデルの学習方法を示すデータのフローチャートである。 図２のニューラルネットワークモデルにおける図７及び図８の各ステップに該当する部分を示すものである。 図２のニューラルネットワークモデルにおける図７及び図８の各ステップに該当する部分を示すものである。 図２のニューラルネットワークモデルにおける図７及び図８の各ステップに該当する部分を示すものである。 図２のニューラルネットワークモデルにおける図７及び図８の各ステップに該当する部分を示すものである。 図２のニューラルネットワークモデルにおける図７及び図８の各ステップに該当する部分を示すものである。 図２のニューラルネットワークモデルにおける図７及び図８の各ステップに該当する部分を示すものである。 図２のニューラルネットワークモデルにおける図７及び図８の各ステップに該当する部分を示すものである。 図２のニューラルネットワークモデルにおける図７及び図８の各ステップに該当する部分を示すものである。 図２のニューラルネットワークモデルにおける図７及び図８の各ステップに該当する部分を示すものである。 図２のニューラルネットワークモデルにおける図７及び図８の各ステップに該当する部分を示すものである。 本発明の実施形態に係るニューラルネットワークモデルの学習装置の構成を示す図である。
発明者は自分の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に即して、本明細書及び請求の範囲で使用された用語又は単語は、本発明の技術的思想に符合する意味と概念で解釈されるべきである。
明細書全体において、ある部分がある構成要素を「含む」とするとき、これは、特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含むことができることを意味する。また、ある構成要素が他の構成要素に「接続」、「伝送」、「送信」、「受信」又は「伝達」されるとするとき、これは、直接的に接続、伝送、送信、受信又は伝達される場合だけでなく、他の構成要素を介して間接的に接続、伝送、送信、受信又は伝達される場合も含む。また、明細書に記載された「…部」、「…器」、「モジュール」、「装置」などの用語は、少なくとも一つの機能又は動作を処理する単位を意味し、これは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせで実現できる。
以下、図面を参照して本発明の具体的な実施形態について説明する。
図１の（ｂ）は比較例による一対一分類モデルを２つ使用したものを示すものであり、図１の（ｃ）は本発明の実施形態による一対多モデルを示すものである。
図１において、ＡとＢはクラスＩに属する特性を示し、ＣとＤはクラスＩＩに属する特性を示す。クラスＩの分類基準とクラスＩＩの分類基準とは互いに異なり得る。このように、複数のクラスに属する特性を、本明細書では複合特性と呼ぶ。複合特性を有する入力は、複数の特性、すなわち各クラス別に特性を有することができる。
図１の（ｂ）を参照すると、２つの一対一分類モデルが使用される場合、特性ＡとＢの予測確率の和は１００パーセントであり、特性ＣとＤの予測確率の和は１００パーセントである。この場合、予測結果は正確であり得るが、２つのモデルを学習しなければならないので、計算量が増加することができる。また、２つのモデルが独立して学習されるので、クラス間の連関性が反映され難い。
図１の（ｃ）を参照すると、一対多モデルでは、一部の層、すなわち畳み込み層とプーリング層（ｐｏｏｌｉｎｇ ｌａｙｅｒ）がクラス間で共有され、全結合層はクラス別に提供される。このとき、全結合層がクラス別に提供されるため、特性ＡとＢの予測確率の和は１００％であり、特性ＣとＤの予測確率の和は１００％である。よって、クラスＩでの予測結果とクラスＩＩでの予測結果がそれぞれ提供されるため、図１の（ａ）に比べて正確な予測結果を得ることができる。また、畳み込み層がクラス間で共有されるため、図１の（ｂ）のモデルに比べて計算量を減少させながらもクラス間の連関性を反映させることができる。
本発明の実施形態による画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習方法において、
前記ニューラルネットワークモデルは、
入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、
前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、
複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、
を含み、
前記方法は、
（ａ）入力画像を前記畳み込み層に入力するステップと、
（ｂ）前記畳み込み層の出力に基づいてクラス別観察マップを演算するステップと、
（ｃ）前記クラス別観察マップに基づいて、複数のクラスに共通する観察損失Ｌｏｂｓを演算するステップと、
（ｄ）観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播するステップと、を含む。
図２は本発明の実施形態によるニューラルネットワークモデル１の構造を示す図である。図２において、ＮＴ個のクラスＴ１、Ｔ２、…Ｔｔ、…ＴＮＴが存在し、クラスＴ１には２つの特性が属し、クラスＴ２には２つの特性が属し、クラスＴｔにはｎ個の特性が属し、クラスＴＮＴには３つの特性が属すると仮定した。
図２を参照すると、本発明の実施形態によるニューラルネットワークモデル１は、入力画像ｘｉに対して畳み込みフィルタを用いて畳み込み演算を行うための畳み込み層１０と、前記畳み込み層１０の出力ｏｃｏｎｖに対してプーリングを行うためのプーリング層２０と、複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層２０の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層３０と、を含む。
ニューラルネットワークモデル１は、前記複数のクラス別全結合層３０にそれぞれ対応し、各クラス別全結合層３０の出力に応じてクラス別特性確率を演算する複数のクラス別分類器４０をさらに含むことができる。
畳み込み層１０は、入力画像に対して複数の畳み込みフィルタを用いて畳み込み演算を行うことにより、特徴マップを抽出する。図２に示すように、畳み込み演算は複数回行われてもよい。畳み込み層１０の出力、すなわち特徴マップｏｃｏｎｖは、高さ（Ｈ）、幅（Ｗ）、チャネル数（Ｃ）を有すると仮定した。
プーリング層２０は、畳み込み層１０と全結合層３０との間に位置し、特徴マップｏｃｏｎｖの大きさを減少させて後述の全結合層３０で必要な演算を減少させ、オーバーフィッティングを防止する役割をする。プーリング層２０は、特徴マップｏｃｏｎｖの各チャネルに対して平均値を出力する全体平均プーリング（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）を行うことができる。
クラス別全結合層３０は、プーリング層２０の出力にクラス別重みｗｆｃ（Ｔ１）、ｗｆｃ（Ｔ２）、・・・ｗｆｃ（Ｔｔ）、・・・ｗｆｃ（ＴＮＴ）を掛けた値を出力する。このとき、クラス別重みｗｆｃ（Ｔ１）、ｗｆｃ（Ｔ２）、．．．ｗｆｃ（Ｔｔ）、．．．ｗｆｃ（ＴＮＴ）のそれぞれは、チャネル数に該当する複数の値であり得る。
クラス別分類器４０は、クラス別全結合層３０にそれぞれ対応し、クラス別全結合層３０の出力に応じてクラス別特性確率を演算する。図２を参照すると、クラスＴ１に該当する分類器は、クラスＴ１に属する特性のそれぞれに該当する確率Ｐ１（Ｔ１）、Ｐ２（Ｔ１）を演算し、クラスＴ２に該当する分類器は、クラスＴ２に属する特性のそれぞれに該当する確率Ｐ１（Ｔ２）、Ｐ２（Ｔ２）を演算し、クラスＴｔに該当する分類器は、クラスＴｔに属する特性それぞれに該当する確率Ｐ１（Ｔｔ）、Ｐ２（Ｔｔ）、．．．Ｐｎ（Ｔｔ）を演算し、クラスＴＮＴに該当する分類器は、クラスＴＮＴに属する特性のそれぞれに該当する確率Ｐ１（ＴＮＴ）、Ｐ２（ＴＮＴ）、Ｐ３（ＴＮＴ）を演算する。クラス別分類器４０として、例えば、Ｓｏｆｔｍａｘ関数、Ｓｉｇｍｏｉｄ関数などが用いられることができる。
次に、図３及び図４を参照して、本発明の実施形態によるニューラルネットワークモデルの学習方法について説明する。
図３は本発明の実施形態によるニューラルネットワークモデルの学習方法を示すフローチャートであり、図４は図３の学習方法を説明するための図である。本発明の実施形態によるニューラルネットワークモデルの学習方法は、図２のニューラルネットワークモデルが使用される。
図３を参照すると、まず、ニューラルネットワークモデルの畳み込み層に画像が入力される（Ｓ１００）。入力画像のクラス別特性（複合特性）と対象領域は既に知られている。ここで、対象領域とは、入力画像の一部であって、クラス別特性の判断に大きな影響を及ぼす部分を意味する。例えば、図４に示すように、入力画像が超音波画像であるとき、対象領域は、病変が現れた部分であり得る。対象領域は、複数のクラスに対して同一であってもよい。
次に、畳み込み層の出力に基づいて複数のクラス別観察マップを演算する（Ｓ１１０）。
観察マップは、分類活性化マップ（Ｃａｍｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐ；ＣＡＭ）とも呼ばれ、入力画像の各部分が分類結果にどれほど影響を及ぼしたかを示す。本実施形態において、観察マップはクラス別に演算される。図４にクラス別観察マップの例示を示した。クラス別観察マップは、下記の式によって算出できる。
Figure 2022553407000004
式中、Ｔｔはクラス、ｗｆｃ（Ｔｔ）はクラス別全結合層の重み、ｏｃｏｎｖは畳み込み層の出力、Ｃはチャネル数をそれぞれ示す。
次に、複数のクラス別観察マップに基づいて、複数のクラスに共通する観察損失を演算する（Ｓ１２０）。
実施形態によって、ステップＳ１２０は、複数のクラス別観察マップに基づいて、複数のクラスに共通する共通観察マップを生成するステップ（Ｓ１２１）と、共通観察マップ及び入力画像の対象領域を用いて観察損失を演算するステップ（Ｓ１２２）と、を含むことができる。観察損失は、入力画像の対象領域と共通観察マップとの差に基づいて演算できる。共通観察マップは、クラス別観察マップの平均値であり、下記の式によって算出できる。
Figure 2022553407000005
ここで、
Figure 2022553407000006
は前述したクラス別観察マップを示し、ＮＴはクラスの数を示す。
但し、これは一例であり、各クラスの観察マップの割合を異ならせるか、或いは全体クラスのうちの一部クラスの観察マップに基づいて共通観察マップを算出することもできる。
算出された共通観察マップと入力画像の対象領域を用いて観察損失を演算する。
例えば、観察損失は、下記の式によって算出できる。
Figure 2022553407000007
ここで、
Figure 2022553407000008
Figure 2022553407000009
は入力画像ｘｉの対象領域を示し、
Figure 2022553407000010
は入力画像ｘｉの共通観察マップを示す。
図５及び図６は本発明の実施形態による観察損失の算出方法を説明するための図である。
図５の（ａ）は入力画像の対象領域を縦方向に沿ってプロジェクションした値ＭＨを示し、図５の（ｂ）は入力画像の対象領域を横方向に沿ってプロジェクションした値ＭＶを示す。
図５の（ａ）には、入力画像の対象領域に対してのみ例示を挙げて説明したが、共通観察マップに対しても同様に、横及び縦方向に沿ってプロジェクションした値が計算できる。
図６の（ａ）は入力画像の対象領域を縦方向にプロジェクションした値をグラフで示すものであり、図６の（ｂ）は入力画像の対象領域を横方向にプロジェクションした値をグラフで示すものである。図６の（ｃ）は共通観察マップの対象領域を縦方向にプロジェクションした値をグラフで示すものであり、図６の（ｄ）は共通観察マップの対象領域を横方向にプロジェクションした値をグラフで示すものである。
実施形態によって、観察損失は、入力画像の対象領域と共通観察マップをそれぞれ横及び縦方向にプロジェクションし、それらを連結（ｃｏｎｃａｔｅｎａｔｅ）した値に対してコサイン距離を計算することにより算出できる。
すなわち、観察損失は、下記の式によって算出できる。
Figure 2022553407000011
上記の式によれば、ピクセル単位の正確性よりも全体的な分布を反映することが可能である。
次に、図３を再び参照すると、観察損失に基づく損失をニューラルネットワークモデルに逆伝播する（Ｓ１３０）。
上述したステップＳ１００～ステップＳ１３０は、複数の入力画像に対して行われることができ、これによりニューラルネットワークモデルが学習され得る。
本実施形態において、クラス別に観察マップを生成するが、観察損失は、複数のクラスに対して同様に適用される。これにより、複数のクラスに対して観察マップが同一になる効果、すなわち共通局所化の効果を得ることができる。
図７は本発明の実施形態によるニューラルネットワークモデルの学習方法を示すフローチャートである。
まず、ニューラルネットワークモデルの畳み込み層に画像が入力される（Ｓ２００）。
次に、ニューラルネットワークモデルからクラス別分類損失と観察損失が算出される（Ｓ２１０、Ｓ２２０）。
クラス別分類損失は、各クラスに属する特性がどれほど正確に予測されたかを示す値であって、クラス別に算出される。クラス別分類損失は、複数のクラス別分類器それぞれの出力結果に基づいて演算されることができる。例えば、入力画像のクラス別特性と、クラス別分類器の出力であるクラス別特性確率（図２のＰ１（Ｔｔ）、Ｐ２（Ｔｔ）、…Ｐｎ（Ｔｔ）を参照）の差異からクラス別分類損失が計算されることができる。
クラス別分類損失は、下記の式によって計算できる。
Figure 2022553407000012
ここで、
Figure 2022553407000013
は入力画像ｘｉのクラスＴｔに対するクラス別特性ｃの出力確率を示し、
Ｎｘは学習画像数を示し、ＣＴｔはクラスＴｔに属するクラス別特性の数を示す。
観察損失は、前述したのと同様なので、重複説明は省略する。
次に、クラス別分類損失と観察損失に基づいてクラス別特性損失が演算される（Ｓ２３０）。
クラス別特性損失は、観察損失とクラス別分類損失を反映した値である。前述したように、観察損失は複数のクラスに対して同一であるが、クラス別分類損失はクラスによって異なるため、クラス別特性損失はクラス別に異なる値を持つことができる。
クラス別特性損失は、下記の式によって算出できる。
Figure 2022553407000014
ここで、Ｌｃｌｓ（Ｔｔ）はクラス別分類損失を示し、Ｌｏｂｓは観察損失を示し、０≦α≦１を満たす。
次に、クラス別特性損失を、複数のクラス別分類器及び複数のクラス別全結合層にクラス別に逆伝播する（Ｓ２４０）。
図２のニューラルネットワークモデルを参照すると、クラス別全結合層３０及びクラス別分類器４０は、クラス別分岐（ｂｒａｎｃｈ）に該当する。つまり、クラス別特性損失は、ニューラルネットワークモデルのクラス別分岐に該当する部分にのみ逆伝播される。また、クラス別特性損失はクラス別に逆伝播される。具体的には、図２を参照すると、クラスＴ１の特性損失は、クラスＴ１に該当する分類器４０及び全結合層３０に逆伝播され、クラスＴ２の特性損失は、クラスＴ２に該当する分類器４０及び全結合層３０に逆伝播され、クラスＴｔの特性損失は、クラスＴｔに該当する分類器４０及び全結合層３０に逆伝播され、クラスＴＮＴの特性損失は、クラスＴＮＴに該当する分類器４０及び全結合層３０に逆伝播されることができる。
次に、マルチラベル分類損失が演算される（Ｓ２５０）。
マルチラベル分類損失は、クラス別分類損失（Ｓ２１０参照）とは異なり、クラス別に演算されたクラス別分類損失を反映した値である。マルチラベル分類損失は、複数のクラス別分類損失と観察損失に基づいて演算できる。マルチラベル分類損失は、複数のクラスに対して同様に適用される。
前記ステップＳ２４０の逆伝播によって複数のクラス別全結合層３０のクラス別重みが調整され、これにより複数のクラス別分類損失及び観察損失も変更されることができる。マルチラベル分類損失は、変更された複数のクラス別分類損失と観察損失に基づいて算定できる。
マルチラベル分類損失は、下記の式によって算出できる。
Figure 2022553407000015
Figure 2022553407000016
ここで、
Figure 2022553407000017
は、入力画像ｘｉの複数のクラス全体に対するクラス別特性ｃの出力確率を示し、
Ｎｘは学習画像数を示し、ＣＴは複数のクラス全体に対するクラス別特性の数を示す。
次に、マルチラベル分類損失をニューラルネットワークモデルの全域に逆伝播する（Ｓ２６０）。
図２を参照すると、ニューラルネットワークモデルの全域は、複数のクラス別分類器４０、複数のクラス別全結合層３０、プーリング層２０及び畳み込み層１０を示す。これにより、ニューラルネットワークモデルのパラメータ値、例えば畳み込み層１０の畳み込みフィルタ、クラス別全結合層３０のクラス別重みなどが調整できる。
上述したステップＳ２００～ステップＳ２６０は、複数の入力画像に対して行われることができ、これによりニューラルネットワークモデルが学習され得る。
次に、図８及び図９を参照して、本発明の実施形態によるニューラルネットワークモデルの学習のためのデータフ流れについて説明する。
図８は本発明の実施形態によるニューラルネットワークモデルの学習方法を示すデータのフローチャートであり、図９は図２のニューラルネットワークモデルにおける図６の各ステップに該当する部分を示すものである。図８において、長方形はデータの処理を示し、平行四辺形はデータを示し。
図８及び図９の（ａ）を参照すると、まず、画像ｘｉがニューラルネットワークモデルに入力される（Ｓ３００）。このとき、入力画像ｘｉのクラス別特性及び対象領域は既に知られている。
ニューラルネットワークモデルは、図２を参照して説明したように、畳み込み層１０、プーリング層２０、クラス別全結合層３０及びクラス別分類器４０を含む。図８には１つのクラス別全結合層３０及び１つのクラス別分類器４０が示されているが、これらはクラスの数だけ備えられることができる。
図８及び図９の（ｂ）に示すように、入力画像ｘｉが畳み込み層１０を経ることにより、特性マップｏｃｏｎｖが出力される。
そして、図８及び図９の（ｃ）を参照すると、畳み込み層１０を経た入力画像は、ニューラルネットワークモデルの残りの部分、すなわちプーリング層２０、クラス別全結合層３０及びクラス別分類器４０を経ることにより、クラス別特性確率Ｐｎ（Ｔｔ）が出力される。
次に、図８及び図９の（ｄ）を参照すると、クラス別特性確率Ｐｎ（Ｔｔ）と入力画像のクラス別特性に基づいてクラス別分類損失Ｌｃｌｓ（Ｔｔ）が演算される（Ｓ３１０）。
一方、畳み込み層１０の出力ｏｃｏｎｖとクラス別全結合層３０の重みｗｆｃ（Ｔｔ）に基づいてクラス別観察マップが算出される（Ｓ３２０）。
次に、図８及び図９の（ｅ）を参照すると、クラス別観察マップに基づいて共通観察マップ
Figure 2022553407000018
を生成する（Ｓ３３０）。
その後、図８及び図９の（ｆ）を参照すると、入力画像の対象領域
Figure 2022553407000019
と共通観察マップ
Figure 2022553407000020
に基づいて観察損失Ｌｏｂｓを演算する（Ｓ３４０）。
次に、図８及び図９の（ｇ）を参照すると、クラス別分類損失Ｌｃｌｓ（Ｔｔ）と観察損失Ｌｏｂｓに基づいてクラス別特性損失Ｌ（Ｔｔ）を算出する（Ｓ３５０）。
次いで、図８及び図９の（ｈ）を参照すると、クラス別特性損失Ｌ（Ｔｔ）が学習終了条件を満たすか否かを判断し（Ｓ３６０）、満たさない場合（Ｓ３６０、ＮＯ）には、クラス別特性損失Ｌ（Ｔｔ）をクラス別分類器４０及びクラス別全結合層３０に逆伝播する（Ｓ３７０）。
これにより、クラス別全結合層３０のクラス別重みｗｆｃ（Ｔｔ）が調整され、クラス別全結合層１０の処理、クラス別分類器４０の処理、クラス別分類損失演算（Ｓ３１０）が再び行われてクラス別分類損失Ｌｃｌｓ（Ｔｔ）が調整され、クラス別観察マップ演算（Ｓ３２０）、共通観察マップ演算（Ｓ３３０）及び観察損失演算（Ｓ３４０）が再び行われて観察損失Ｌｏｂｓが調整される。
次に、図８及び図９の（ｉ）を参照すると、マルチラベル分類損失が演算される（Ｓ３８０）。
その後、図８及び図９の（ｊ）を参照すると、マルチラベル分類損失Ｌ（Ｔ）が学習終了条件を満たすか否かを判断し（Ｓ３９０）、満たさない場合（Ｓ３９０、ＮＯ）には、マルチラベル分類損失Ｌ（Ｔ）をニューラルネットワークモデル全体、すなわちクラス別分類器４０、クラス別全結合層３０、プーリング層２０及び畳み込み層１０に逆伝播する（Ｓ４００）。これにより、ニューラルネットワークモデルのパラメータが調整できる。
図１０は本発明の実施形態に係るニューラルネットワークモデルの学習装置１０００の構成を示す図である。
ニューラルネットワークモデルの学習装置１０００は、ニューラルネットワークモデルが記憶されるメモリ１１００及びプロセッサ１２００を含む。
メモリ１１００に記憶されるニューラルネットワークモデルは、図２を参照して既に説明した通りである。
プロセッサ１２００は、図３～図９を参照して説明したニューラルネットワークモデルの学習方法を行う。すなわち、プロセッサ１２００は、入力画像を畳み込み層に入力し、畳み込み層の出力に基づいて複数のクラス別観察マップを演算し、複数のクラス別観察マップに基づいて、複数のクラスに共通する観察損失Ｌｏｂｓを演算し、前記観察損失Ｌｏｂｓに基づく損失をニューラルネットワークモデルに逆伝播する。
以上、好適な実施形態を介して本発明について詳細に説明したが、本発明は、これに限定されるものではなく、本発明の技術的思想から逸脱することなく、種々な変更及び応用を加え得るのは、当該技術分野における通常の技術者にとって自明である。よって、本発明の真正な保護範囲は以下の請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術的思想は本発明の権利範囲に含まれるものと解釈されるべきである。

Claims (10)

  1. 画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習方法であって、
    前記ニューラルネットワークモデルは、
    入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、
    前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、
    複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、を含み、
    前記複数のクラスは、互いに異なる基準によって区別され、
    前記複数のクラスそれぞれは、複数のクラス別特性に分類され、
    前記ニューラルネットワークモデルは、前記クラス別全結合層の出力に応じて、前記複数のクラスそれぞれのクラス別特性に対するクラス別特性確率を提供することができ、
    前記方法は、
    （ａ）入力画像を前記畳み込み層に入力するステップと、
    （ｂ）前記畳み込み層の出力に基づいて、前記複数のクラスそれぞれに対するクラス別観察マップを演算するステップと、
    （ｃ）前記クラス別観察マップに基づいて、前記複数のクラスに共通する観察損失Ｌｏｂｓを演算するステップと、
    （ｄ）前記観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播するステップと、を含み、
    前記（ｃ）ステップは、
    （ｃ－１）前記クラス別観察マップに基づいて、前記複数のクラスに共通する共通観察マップを生成するステップと、
    （ｃ－２）前記共通観察マップ及び前記入力画像の対象領域を用いて前記観察損失Ｌｏｂｓを演算するステップと、
    を含み、各ステップがコンピュータプロセッサによって行われる、ニューラルネットワークモデルの学習方法。
  2. 前記共通観察マップは前記クラス別観察マップの平均値であることを特徴とする、請求項１に記載のニューラルネットワークモデルの学習方法。
  3. 前記観察損失は、前記共通観察マップと前記入力画像の対象領域をそれぞれ横及び縦方向にプロジェクションした値同士を連結（ｃｏｎｃａｔｅｎａｔｅ）した値に対してコサイン距離を計算することにより算出されることを特徴とする、請求項１に記載のニューラルネットワークモデルの学習方法。
  4. 前記（ｂ）ステップで、前記クラス別観察マップは下記の式によって算出されることを特徴とする、請求項１に記載のニューラルネットワークモデルの学習方法。
    Figure 2022553407000021
    （式中、Ｔｔはクラス、ｗｆｃ（Ｔｔ）はクラス別全結合層の重み、ｏｃｏｎｖは畳み込み層の出力、Ｃはチャネル数をそれぞれ示す。）
  5. 前記ニューラルネットワークモデルは、
    前記複数のクラス別全結合層にそれぞれ対応し、各クラス別全結合層の出力に応じてクラス別特性確率を演算する複数のクラス別分類器をさらに含むことを特徴とする、請求項１に記載のニューラルネットワークモデルの学習方法。
  6. 前記（ｄ）ステップは、
    （ｄ－１）前記複数のクラス別分類器それぞれの出力結果に基づいてクラス別分類損失Ｌｃｌｓ（Ｔｔ）を演算するステップと、
    （ｄ－２）前記観測損失Ｌｏｂｓ及び前記クラス別分類損失Ｌｃｌｓ（Ｔｔ）に基づいてクラス別特性損失Ｌ（Ｔｔ）を演算するステップと、
    （ｄ－３）前記クラス別特性損失Ｌ（Ｔｔ）をクラス別に前記複数のクラス別分類器及び前記複数のクラス別全結合層に逆伝播するステップと、を含むことを特徴とする、請求項５に記載のニューラルネットワークモデルの学習方法。
  7. 前記（ｄ－２）ステップで、前記クラス別特性損失Ｌ（Ｔｔ）は下記の式によって算出されることを特徴とする、請求項６に記載のニューラルネットワークモデルの学習方法。
    Figure 2022553407000022
    （式中、０≦α≦１）
  8. 前記（ｄ）ステップは、
    （ｄ－４）複数の前記クラス別分類損失Ｌｃｌｓ（Ｔｔ）と前記観察損失Ｌｏｂｓに基づいてマルチラベル分類損失Ｌ（Ｔ）を演算するステップと、
    （ｄ－５）前記マルチラベル分類損失Ｌ（Ｔ）を前記複数のクラス別分類器、前記複数のクラス別全結合層、前記プーリング層及び前記畳み込み層に逆伝播するステップと、をさらに含むことを特徴とする、請求項６に記載のニューラルネットワークモデルの学習方法。
  9. 前記プーリング層は全体平均プーリング層（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ ｌａｙｅｒ）であることを特徴とする、請求項１に記載のニューラルネットワークモデルの学習方法。
  10. ニューラルネットワークモデルが記憶されるメモリと、
    プロセッサと、
    を含む、画像の複合特性分類及び共通局所化のためのニューラルネットワークモデルの学習装置であって、
    前記ニューラルネットワークモデルは、
    入力画像に対して畳み込みフィルタを用いて畳み込み演算を行う畳み込み層と、
    前記畳み込み層の出力に対してプーリング（ｐｏｏｌｉｎｇ）を行うためのプーリング層と、
    複合特性が分類される複数のクラスにそれぞれ対応し、前記プーリング層の出力に対してクラス別重みｗｆｃ（Ｔｔ）を掛けた値を出力する複数のクラス別全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）と、を含み、
    前記複数のクラスは、互いに異なる基準によって区別され、
    前記複数のクラスそれぞれは、複数のクラス別特性に分類され、
    前記ニューラルネットワークモデルは、前記クラス別全結合層の出力に応じて、前記複数のクラスそれぞれのクラス別特性に対するクラス別特性確率を提供することができ、
    前記プロセッサは、
    入力画像を前記畳み込み層に入力し、前記畳み込み層の出力に基づいて、前記複数のクラスそれぞれに対する複数のクラス別観察マップを演算し、前記複数のクラス別観察マップに基づいて、前記複数のクラスに共通する共通観察マップを生成し、前記共通観察マップ及び前記入力画像の対象領域を用いて観察損失Ｌｏｂｓを演算し、前記観察損失Ｌｏｂｓに基づく損失を前記ニューラルネットワークモデルに逆伝播することを特徴とする、ニューラルネットワークモデルの学習装置。
JP2022524128A 2020-07-31 2021-07-29 複合特性分類と共通局所化のためのニューラルネットワークモデルの学習方法及び装置 Pending JP2022553407A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0095773 2020-07-31
KR1020200095773A KR102236615B1 (ko) 2020-07-31 2020-07-31 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
PCT/KR2021/009939 WO2022025690A1 (ko) 2020-07-31 2021-07-29 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Publications (1)

Publication Number Publication Date
JP2022553407A true JP2022553407A (ja) 2022-12-22

Family

ID=75472778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022524128A Pending JP2022553407A (ja) 2020-07-31 2021-07-29 複合特性分類と共通局所化のためのニューラルネットワークモデルの学習方法及び装置

Country Status (6)

Country Link
US (1) US20220406035A1 (ja)
EP (1) EP4191480A1 (ja)
JP (1) JP2022553407A (ja)
KR (1) KR102236615B1 (ja)
CN (1) CN114641780A (ja)
WO (1) WO2022025690A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102236615B1 (ko) * 2020-07-31 2021-04-06 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096460A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
CN105938558B (zh) * 2015-03-06 2021-02-09 松下知识产权经营株式会社 学习方法
KR101908680B1 (ko) * 2016-08-30 2018-10-17 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
KR20180048407A (ko) * 2016-10-31 2018-05-10 삼성전자주식회사 차선 검출 장치 및 방법
KR102095335B1 (ko) 2017-11-15 2020-03-31 에스케이텔레콤 주식회사 연산 가속화가 적용된 신경망 모델의 생성 및 활용을 위한 장치 및 방법
KR102183847B1 (ko) * 2018-08-16 2020-11-27 한국과학기술원 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크
KR101977067B1 (ko) * 2018-08-24 2019-05-10 주식회사 뷰노 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치
JP7215098B2 (ja) * 2018-11-12 2023-01-31 富士通株式会社 学習プログラム、学習方法および学習装置
KR102074406B1 (ko) * 2019-07-25 2020-02-06 주식회사 딥노이드 영상 랜드마크 분류 장치 및 방법
KR102236615B1 (ko) * 2020-07-31 2021-04-06 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Also Published As

Publication number Publication date
KR102236615B1 (ko) 2021-04-06
WO2022025690A1 (ko) 2022-02-03
US20220406035A1 (en) 2022-12-22
CN114641780A (zh) 2022-06-17
EP4191480A1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
JP2018055259A (ja) 情報処理装置、情報処理方法及びプログラム
CN111507469B (zh) 对自动标注装置的超参数进行优化的方法和装置
CN109840531A (zh) 训练多标签分类模型的方法和装置
KR20170122241A (ko) 추론 장치 및 추론 방법
CN111898764A (zh) 联邦学习的方法、装置和芯片
JP7228961B2 (ja) ニューラルネットワークの学習装置およびその制御方法
CN112529146B (zh) 神经网络模型训练的方法和装置
JP2023515704A (ja) カメラ較正のための方法および装置
WO2024032010A1 (zh) 一种基于迁移学习策略的少样本目标实时检测方法
US11526760B2 (en) Training system for artificial neural networks having a global weight constrainer
JP2022553407A (ja) 複合特性分類と共通局所化のためのニューラルネットワークモデルの学習方法及び装置
CN114021704B (zh) 一种ai神经网络模型的训练方法及相关装置
WO2020190951A1 (en) Neural network trained by homographic augmentation
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN116524581B (zh) 一种人眼图像光斑分类方法、系统、设备及存储介质
CN115131645A (zh) 神经网络的训练和应用方法、装置及存储介质
JP2021018477A (ja) 情報処理装置、情報処理方法、及びプログラム
US20230385656A1 (en) Method for adding prediction results as training data using ai prediction model
CN115719450A (zh) 基于自适应感受野增强的航拍小目标检测方法
US20220391761A1 (en) Machine learning device, information processing method, and recording medium
EP4075343A1 (en) Device and method for realizing data synchronization in neural network inference
Dasgaonkar et al. Analysis of multi-layered perceptron, radial basis function and convolutional neural networks in recognizing handwritten digits
KR102243125B1 (ko) 신경망 모델을 이용한 영상의 복합 특성 분류 방법 및 장치
CN115631388B (zh) 图像分类方法、装置、电子设备及存储介质
US20210004681A1 (en) Data processing apparatus, training apparatus, method of detecting an object, method of training, and medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240326