JP2021507345A - 畳み込みニューラル・ネットワークの完全なカーネルを近似するためのスパース・カーネルの融合 - Google Patents
畳み込みニューラル・ネットワークの完全なカーネルを近似するためのスパース・カーネルの融合 Download PDFInfo
- Publication number
- JP2021507345A JP2021507345A JP2020530640A JP2020530640A JP2021507345A JP 2021507345 A JP2021507345 A JP 2021507345A JP 2020530640 A JP2020530640 A JP 2020530640A JP 2020530640 A JP2020530640 A JP 2020530640A JP 2021507345 A JP2021507345 A JP 2021507345A
- Authority
- JP
- Japan
- Prior art keywords
- kernel
- sparse
- pattern
- complementary
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
- G06F18/21345—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis enforcing sparsity or involving a domain transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
Description
Claims (27)
- 畳み込みニューラル・ネットワークためのシステムであって、前記システムが、
コンピュータ実行可能コンポーネントを格納するメモリと、
前記メモリに格納されたコンピュータ実行可能コンポーネントを実行するプロセッサとを備えており、前記コンピュータ実行可能コンポーネントが、
スパース・カーネルの第1のパターンおよび補完カーネルの第2のパターンを決定するパターン・コンポーネントであって、前記第1のパターンが、前記スパース・カーネルの第1のサンプル行列内の有効なサンプルの位置を表し、前記第2のパターンが、前記第1のパターンを補完する前記補完カーネルの第2のサンプル行列内の有効なサンプルの位置を表す、前記パターン・コンポーネントと、
融合方法に従って結合された前記スパース・カーネルの特徴および前記補完カーネルの特徴の結合に基づいて、畳み込みニューラル・ネットワークの完全なカーネルの近似を表す融合されたカーネルを生成する融合コンポーネントと、
前記融合されたカーネルをトレーニングするトレーニング・コンポーネントとを備えている、システム。 - 前記融合方法が、前記第1のパターンのスキップされるサンプルを前記第2のパターンの有効なサンプルに置き換える空間結合演算を使用して、前記スパース・カーネルの前記特徴および前記補完カーネルの前記特徴を結合する、請求項1に記載のシステム。
- 前記融合方法が、演算子に従って、前記スパース・カーネルおよび前記補完カーネルのペアワイズ連結に基づいて、前記スパース・カーネルおよび前記補完カーネルを結合する、請求項1に記載のシステム。
- 前記演算子が加算演算子である、請求項3に記載のシステム。
- 前記演算子が逆演算子である、請求項3に記載のシステム。
- 前記融合方法が、チャネルの次元における1×1チャネル行列の適用に基づいて、前記スパース・カーネル、前記補完カーネル、および前記融合されたカーネルの特徴を結合することを含むチャネルワイズ融合手順を含んでいる、請求項1ないし5のいずれかに記載のシステム。
- 前記補完カーネルが、前記第1のサンプル行列内の少なくとも1つのスキップされるサンプルの位置に対応する前記第2のサンプル行列内の位置で少なくとも1つの有効なサンプルを含んでいる、請求項1ないし6のいずれかに記載のシステム。
- 前記補完カーネルが、前記第1のサンプル行列内のスキップされるサンプルを含んでいる位置に対応する前記第2のサンプル行列内のすべての位置で有効なサンプルを含んでいる、請求項1ないし7のいずれかに記載のシステム。
- トレーニング済みの畳み込みニューラル・ネットワークの元の学習された完全なカーネルに割り当てられたパラメータ加重の調査に基づいて、前記パターン・コンポーネントが前記第1のパターンを決定する、請求項1ないし8のいずれかに記載のシステム。
- 前記スパース・カーネルの前記第1のサンプル行列が3×3行列であり、前記第1のパターンが「+」形状を有しており、前記補完カーネルの前記第2のサンプル行列が3×3行列であり、前記第2のパターンが「x」形状を有している、請求項1ないし9のいずれかに記載のシステム。
- 複数の種類の前記スパース・カーネル、複数の種類の前記補完カーネル、複数のスパース・カーネル、複数の補完カーネル、ペアワイズ・カーネル融合の演算子、またはチャネルワイズ融合が使用されるべきかどうかを示すインジケータのうちの少なくとも1つを含んでいる構成データを受信する受信コンポーネントをさらに備えている、請求項1ないし10のいずれかに記載のシステム。
- 畳み込みニューラル・ネットワークのためのコンピュータ実装方法であって、前記方法が、
プロセッサに動作可能なように結合されたデバイスによって、スパース・カーネルの第1のパターンおよび補完カーネルの第2のパターンを決定することであって、前記第1のパターンが、前記スパース・カーネルの第1のサンプル行列内の有効なサンプルの位置を表し、前記第2のパターンが、前記第1のパターンを補完する前記補完カーネルの第2のサンプル行列内の有効なサンプルの位置を表す、前記決定することと、
融合方法に従って結合された前記スパース・カーネルの特徴および前記補完カーネルの特徴の結合に応答して、前記デバイスによって、畳み込みニューラル・ネットワークの完全なカーネルの近似を表す融合されたカーネルを生成することと、
前記デバイスによって、前記融合されたカーネルをトレーニングすることとを含んでいる、コンピュータ実装方法。 - 前記融合方法が、前記第1のパターンのスキップされるサンプルを前記第2のパターンの有効なサンプルに置き換える空間結合演算を使用して、前記スパース・カーネルの前記特徴および前記補完カーネルの前記特徴を結合する、請求項12に記載のコンピュータ実装方法。
- 前記融合方法が、演算子に従って、前記スパース・カーネルおよび前記補完カーネルのペアワイズ連結に基づいて、前記スパース・カーネルおよび前記補完カーネルを結合する、請求項12または13に記載のコンピュータ実装方法。
- 前記演算子が加算演算子である、請求項14に記載のコンピュータ実装方法。
- 前記演算子が逆演算子である、請求項14に記載のコンピュータ実装方法。
- 前記融合方法が、チャネルの次元における1×1チャネル行列の適用に基づいて、前記スパース・カーネル、前記補完カーネル、および前記融合されたカーネルの特徴を結合することを含むチャネルワイズ融合手順を含んでいる、請求項12ないし16のいずれかに記載のコンピュータ実装方法。
- 前記補完カーネルが、前記第1のサンプル行列内の少なくとも1つのスキップされるサンプルの位置に対応する前記第2のサンプル行列内の位置で少なくとも1つの有効なサンプルを含んでいる、請求項12ないし17のいずれかに記載のコンピュータ実装方法。
- 前記補完カーネルが、前記第1のサンプル行列内のスキップされるサンプルを含んでいる位置に対応する前記第2のサンプル行列内のすべての位置で有効なサンプルを含んでいる、請求項12ないし18のいずれかに記載のコンピュータ実装方法。
- トレーニング済みの畳み込みニューラル・ネットワークの元の学習された完全なカーネルに割り当てられたパラメータ加重の調査に基づいて、前記パターン・コンポーネントが前記第1のパターンを決定する、請求項12ないし19のいずれかに記載のコンピュータ実装方法。
- 前記スパース・カーネルの前記第1のサンプル行列が3×3行列であり、前記第1のパターンが「+」形状を有しており、前記補完カーネルの前記第2のサンプル行列が3×3行列であり、前記第2のパターンが「x」形状を有している、請求項12ないし20のいずれかに記載のコンピュータ実装方法。
- 複数の種類の前記スパース・カーネル、複数の種類の前記補完カーネル、複数のスパース・カーネル、複数の補完カーネル、ペアワイズ・カーネル融合の演算子、またはチャネルワイズ融合が使用されるべきかどうかを示すインジケータのうちの少なくとも1つを含んでいる構成データを受信することをさらに含んでいる、請求項12ないし21のいずれかに記載のコンピュータ実装方法。
- 前記デバイスによって、複数の種類の前記スパース・カーネル、複数の種類の前記補完カーネル、複数のスパース・カーネル、複数の補完カーネル、ペアワイズ・カーネル融合の演算子の識別、またはチャネルワイズ融合が使用されるべきかどうかを示すインジケータを含んでいる構成データを受信することをさらに含んでいる、請求項12ないし22のいずれかに記載のコンピュータ実装方法。
- 前記融合されたカーネルを前記生成することが、演算子に従って、前記スパース・カーネルおよび前記補完カーネルのペアワイズ連結に基づいて、前記スパース・カーネルおよび前記補完カーネルを結合することを含んでいる、請求項12ないし23のいずれかに記載のコンピュータ実装方法。
- 前記融合されたカーネルを前記生成することが、チャネルの次元における1×1チャネル行列の適用に基づいて、前記スパース・カーネル、前記補完カーネル、および前記融合されたカーネルの特徴を結合することを含むチャネルワイズ融合手順を含んでいる、請求項12ないし24のいずれかに記載のコンピュータ実装方法。
- 畳み込みニューラル・ネットワークのためのコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品が、
処理回路によって読み取り可能な、請求項12ないし25のいずれかに記載の方法を実行するために前記処理回路によって実行されるための命令を格納しているコンピュータ可読記憶媒体を備えている、コンピュータ・プログラム製品。 - コンピュータ可読媒体に格納された、デジタル・コンピュータの前記内部メモリに読み込み可能なコンピュータ・プログラムであって、前記プログラムがコンピュータ上で実行された場合に請求項12ないし25のいずれかに記載の前記方法を実行するためのソフトウェア・コード部分を含んでいる、コンピュータ・プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/841,480 | 2017-12-14 | ||
US15/841,480 US10740659B2 (en) | 2017-12-14 | 2017-12-14 | Fusing sparse kernels to approximate a full kernel of a convolutional neural network |
PCT/IB2018/059993 WO2019116291A1 (en) | 2017-12-14 | 2018-12-13 | Fusing sparse kernels to approximate a full kernel of a convolutional neural network |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021507345A true JP2021507345A (ja) | 2021-02-22 |
JP2021507345A5 JP2021507345A5 (ja) | 2021-07-26 |
JP7179850B2 JP7179850B2 (ja) | 2022-11-29 |
Family
ID=66814568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020530640A Active JP7179850B2 (ja) | 2017-12-14 | 2018-12-13 | 畳み込みニューラル・ネットワークの完全なカーネルを近似するためのスパース・カーネルの融合 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10740659B2 (ja) |
JP (1) | JP7179850B2 (ja) |
CN (1) | CN111344720A (ja) |
DE (1) | DE112018006377T5 (ja) |
GB (1) | GB2583623A (ja) |
WO (1) | WO2019116291A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102548718B1 (ko) * | 2017-06-07 | 2023-06-28 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US11144290B2 (en) | 2019-09-13 | 2021-10-12 | Huawei Technologies Co., Ltd. | Method and apparatus for enabling autonomous acceleration of dataflow AI applications |
US20210256385A1 (en) * | 2020-02-14 | 2021-08-19 | Northeastern University | Computer-implemented methods and systems for dnn weight pruning for real-time execution on mobile devices |
US11494875B2 (en) | 2020-03-25 | 2022-11-08 | Nintendo Co., Ltd. | Systems and methods for machine learned image conversion |
US11379951B2 (en) | 2020-03-25 | 2022-07-05 | Nintendo Co., Ltd. | Systems and methods for machine learned image conversion |
CN113344199B (zh) * | 2021-06-17 | 2024-05-03 | 阿波罗智联(北京)科技有限公司 | 用于训练可分离卷积网络的方法、路侧设备及云控平台 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014535118A (ja) * | 2011-11-09 | 2014-12-25 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置:ニューラル構成要素メモリ転送 |
WO2016197026A1 (en) * | 2015-06-05 | 2016-12-08 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
US20170103308A1 (en) * | 2015-10-08 | 2017-04-13 | International Business Machines Corporation | Acceleration of convolutional neural network training using stochastic perforation |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077612B (zh) * | 2014-07-15 | 2017-09-22 | 中国科学院合肥物质科学研究院 | 一种基于多特征稀疏表示技术的害虫图像识别方法 |
US9652817B2 (en) | 2015-03-12 | 2017-05-16 | Samsung Electronics Co., Ltd. | Automated compute kernel fusion, resizing, and interleave |
CN105046193B (zh) * | 2015-06-05 | 2018-07-10 | 上海大学 | 一种基于融合稀疏表示矩阵的人体动作识别方法 |
US9972063B2 (en) | 2015-07-30 | 2018-05-15 | International Business Machines Corporation | Pipelined approach to fused kernels for optimization of machine learning workloads on graphical processing units |
US9904874B2 (en) | 2015-11-05 | 2018-02-27 | Microsoft Technology Licensing, Llc | Hardware-efficient deep convolutional neural networks |
WO2017132830A1 (en) | 2016-02-02 | 2017-08-10 | Xiaogang Wang | Methods and systems for cnn network adaption and object online tracking |
US10181188B2 (en) * | 2016-02-19 | 2019-01-15 | International Business Machines Corporation | Structure-preserving composite model for skin lesion segmentation |
US10832136B2 (en) | 2016-05-18 | 2020-11-10 | Nec Corporation | Passive pruning of filters in a convolutional neural network |
CN107330463B (zh) | 2017-06-29 | 2020-12-08 | 南京信息工程大学 | 基于cnn多特征联合和多核稀疏表示的车型识别方法 |
-
2017
- 2017-12-14 US US15/841,480 patent/US10740659B2/en active Active
-
2018
- 2018-12-13 GB GB2010475.8A patent/GB2583623A/en not_active Withdrawn
- 2018-12-13 JP JP2020530640A patent/JP7179850B2/ja active Active
- 2018-12-13 DE DE112018006377.1T patent/DE112018006377T5/de active Pending
- 2018-12-13 WO PCT/IB2018/059993 patent/WO2019116291A1/en active Application Filing
- 2018-12-13 CN CN201880072812.3A patent/CN111344720A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014535118A (ja) * | 2011-11-09 | 2014-12-25 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置:ニューラル構成要素メモリ転送 |
WO2016197026A1 (en) * | 2015-06-05 | 2016-12-08 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
US20170103308A1 (en) * | 2015-10-08 | 2017-04-13 | International Business Machines Corporation | Acceleration of convolutional neural network training using stochastic perforation |
Also Published As
Publication number | Publication date |
---|---|
US10740659B2 (en) | 2020-08-11 |
US20190188526A1 (en) | 2019-06-20 |
WO2019116291A1 (en) | 2019-06-20 |
GB202010475D0 (en) | 2020-08-19 |
DE112018006377T5 (de) | 2020-08-20 |
JP7179850B2 (ja) | 2022-11-29 |
CN111344720A (zh) | 2020-06-26 |
GB2583623A (en) | 2020-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021507345A (ja) | 畳み込みニューラル・ネットワークの完全なカーネルを近似するためのスパース・カーネルの融合 | |
US10872290B2 (en) | Neural network processor with direct memory access and hardware acceleration circuits | |
Yuan et al. | A comprehensive review of binary neural network | |
CN110506260B (zh) | 用于神经网络环境中的增强数据处理的方法、系统和介质 | |
CN108229655B (zh) | 卷积神经网络(cnn)处理方法和设备 | |
US11836610B2 (en) | Concurrent training of functional subnetworks of a neural network | |
EP3289529B1 (en) | Reducing image resolution in deep convolutional networks | |
US20190026626A1 (en) | Neural network accelerator and operation method thereof | |
US11176446B2 (en) | Compositional prototypes for scalable neurosynaptic networks | |
US20180130203A1 (en) | Automated skin lesion segmentation using deep side layers | |
WO2020073211A1 (zh) | 运算加速器、处理方法及相关设备 | |
WO2020113355A1 (en) | A content adaptive attention model for neural network-based image and video encoders | |
US20200151573A1 (en) | Dynamic precision scaling at epoch granularity in neural networks | |
JP2018535478A (ja) | ハードウェア・アクセラレータ全体での行列因数分解の並列化のためのコンピュータ実装方法、システム、コンピュータ・プログラム | |
KR20190099931A (ko) | 시스톨릭 배열(Systolic Array)을 이용하여 딥 러닝(Deep Learning) 연산을 수행하는 방법 및 장치 | |
CN111783937A (zh) | 一种神经网络构建方法以及系统 | |
JP2021506032A (ja) | オンチップの計算ネットワーク | |
US11593002B2 (en) | Artificial neural networks in memory | |
JP2021512387A (ja) | 量子コンピューティング・デバイス設計 | |
CN114626503A (zh) | 模型的训练方法、目标检测方法、装置、电子设备及介质 | |
CN115223042A (zh) | 基于YOLOv5网络模型的目标识别方法及装置 | |
CN114008635A (zh) | 神经网络逐层调试 | |
CN117786412A (zh) | 大型语言模型的弹性训练方法、集群系统、产品及介质 | |
US20220391572A1 (en) | Visualization scheme of noise in a quantum circuit | |
US20230030287A1 (en) | Exploiting fine-grained structured weight sparsity in systolic arrays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210518 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210525 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220502 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7179850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |