JP2019109843A - 分類装置、分類方法、属性認識装置、及び機械学習装置 - Google Patents
分類装置、分類方法、属性認識装置、及び機械学習装置 Download PDFInfo
- Publication number
- JP2019109843A JP2019109843A JP2017243946A JP2017243946A JP2019109843A JP 2019109843 A JP2019109843 A JP 2019109843A JP 2017243946 A JP2017243946 A JP 2017243946A JP 2017243946 A JP2017243946 A JP 2017243946A JP 2019109843 A JP2019109843 A JP 2019109843A
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- subject
- image
- divided area
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
認識対象の被写体より上方に設置されたカメラで撮影された撮影画像を用いて、前記被写体を所定の属性に関する複数の属性クラスに分類する分類装置であって、
前記カメラの撮影範囲を前記カメラの直下からの距離に応じて分割して生成された複数の分割領域を表す分割領域情報を記憶する記憶部と、
前記撮影画像から前記被写体を含む領域の画像である被写体領域画像を抽出する画像処理部と、
前記被写体領域画像を用いて、前記複数の分割領域ごとに、前記被写体が前記複数の属性クラスに属する各確率を出力する分類器と、
を備えるものである。
認識対象の被写体より上方に設置されたカメラで撮影された撮影画像を用いて、前記被写体を所定の属性に関する複数の属性クラスに分類する分類方法であって、
前記撮影画像から前記被写体を含む領域の画像である被写体領域画像を抽出する画像処理ステップと、
前記被写体領域画像を用いて、前記カメラの撮影範囲を前記カメラの直下からの距離に応じて分割して生成された複数の分割領域ごとに、前記被写体が前記複数の属性クラスに属する各確率を出力する分類ステップと、
を備えるものである。
上記第1態様の分類装置と、
前記複数の属性クラスのうち前記被写体が属する属性クラスを決定する属性決定部と、を備え、
前記画像処理部は、前記複数の分割領域のうち前記被写体が位置する分割領域を特定分割領域として特定し、
前記属性決定部は、前記複数の分割領域ごとに前記分類器から出力された前記各確率のうち、少なくとも前記特定分割領域において前記被写体が前記複数の属性クラスに属する各確率を用いて、前記被写体が属する属性クラスを決定するものである。
上記第1態様の分類装置の前記分類器を学習させる機械学習装置であって、
前記分類器は、入力層と、少なくとも1つの中間層と、出力層と、を含むニューラルネットワークで構成され、
前記機械学習装置は、
前記特定分割領域に位置し、所定の属性クラスに属する前記被写体領域画像を、前記入力層に入力する入力処理部と、
真値と、前記出力層から出力された前記特定分割領域において前記所定の属性クラスに属する確率と、の誤差を逆伝播させ、かつ、偽値と、前記出力層から出力された前記特定分割領域において前記所定の属性クラスに属する確率以外の確率と、の誤差を逆伝播させる誤差逆伝播処理部と、を備え、
前記入力処理部は、前記特定分割領域を表す情報と前記所定の属性クラスを表す情報とを、前記誤差逆伝播処理部に入力するものである。
上記第1態様の分類装置の前記分類器を学習させる機械学習装置であって、
前記分類器は、入力層と、少なくとも1つの中間層と、出力層と、を含むニューラルネットワークで構成され、
前記機械学習装置は、
前記特定分割領域に位置し、所定の属性クラスに属する前記被写体領域画像を、前記入力層に入力する入力処理部と、
真値と、前記出力層から出力された前記特定分割領域において前記所定の属性クラスに属する確率と、の誤差を逆伝播させ、偽値と、前記出力層から出力された前記複数の分割領域において前記所定の属性クラス以外の属性クラスに属する確率と、の誤差を逆伝播させ、かつ、前記真値及び前記偽値の間の中間値と、前記出力層から出力された前記特定分割領域以外の分割領域において前記所定の属性クラスに属する確率と、の誤差を逆伝播させる誤差逆伝播処理部と、を備え、
前記入力処理部は、前記特定分割領域を表す情報と前記所定の属性クラスを表す情報とを、前記誤差逆伝播処理部に入力するものである。
図14は、被写体の直上に設置されたカメラの撮影範囲を概略的に示す図である。図15は、図14のカメラにより撮影された撮影画像の一例を概略的に示す図である。図16は、図14のカメラにより撮影された被写体の映り方を説明する図である。図14〜図16を参照して、本発明の基礎となった知見が説明される。
以下、本発明にかかる実施の形態が図面に基づいて説明される。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明は省略される。本明細書において、総称する場合は添え字を省略した参照符号で示され、個別の構成を指す場合は添え字を付した参照符号で示される。
図1は、第1実施形態の属性認識装置100の構成を示すブロック図である。図2〜図4は、それぞれ分類器の機能を概略的に示す図である。
式(1)において、符号yは、分類器152に入力された矩形画像に含まれる被写体が位置する分割領域を表す。この第1実施形態では、被写体が位置する分割領域が、分割領域Aであればy=aであり、分割領域Bであればy=bであり、分割領域Cであればy=cである。
上記第1実施形態では、(本発明の基礎となった知見)で説明されたように、その分割領域内で学習された映り方だけに強くなってしまい、図16に示されるような、少数派の映り方に弱い。そこで、第2実施形態では、「被写体が属する属性クラスは、被写体の位置する分割領域が異なるため映り方が異なっている場合でも、映り方によって変わらない筈である」ということを利用して、他の分割領域の情報が参照される。第2実施形態における属性認識装置100の構成は、図1に示される第1実施形態と同じである。以下、第1実施形態との相違点を中心に、第2実施形態が説明される。
AC=max{Pyx×Wt+Σ(Pzx×Wo)}となるx (2)
式(2)において、第1実施形態と同様にx=0,・・・,k,・・・,nである。符号yは、第1実施形態と同様に、分類器152に入力された矩形画像に含まれる被写体が位置する分割領域を表す。すなわち、y=a又はy=b又はy=cである。
max{Pbx×Wt+(Pax×Wo+Pcx×Wo)}
となるxを、属性クラスACと決定する。
Pb0×Wt+(Pa0×Wo+Pc0×Wo)
を算出して、計算結果をメモリ140に保存する。また、属性決定部153は、
Pbk×Wt+(Pak×Wo+Pck×Wo)
を算出して、計算結果をメモリ140に保存する。また、属性決定部153は、
Pbn×Wt+(Pan×Wo+Pcn×Wo)
を算出して、計算結果をメモリ140に保存する。すなわち、属性決定部153は、
Pbx×Wt+(Pax×Wo+Pcx×Wo)
の計算を、x=0,・・・,k,・・・,nについて繰り返して行い、それぞれの計算結果をメモリ140に保存する。そして、属性決定部153は、メモリ140に保存された計算結果のうち、最大値となるxを属性クラスACに決定する。
max{Pax×Wt+(Pbx×Wo+Pcx×Wo)}
となるxを、属性クラスACと決定する。
max{Pcx×Wt+(Pax×Wo+Pbx×Wo)}
となるxを、属性クラスACと決定する。
図7は、第3実施形態の属性認識装置100の構成を示すブロック図である。以下、第1、第2実施形態との相違点を中心に、第3実施形態が説明される。
第4実施形態における属性認識装置100の構成は、図7に示される第3実施形態と同じである。第4実施形態の属性決定部153は、第2実施形態と同様に、上記式(2)により属性クラスACを決定する。以下、第1〜第3実施形態との相違点を中心に、第4実施形態が説明される。
図10は、第5実施形態である機械学習装置の構成を示すブロック図である。図11は、第5実施形態である機械学習装置において、逆伝播される誤差の一例を概略的に示す図である。機械学習装置200は、入力処理部210、誤差逆伝播処理部220を備え、分類器152を機械学習させる。分類器152は、本実施形態では、入力層161、少なくとも1つの中間層162、出力層163を含むニューラルネットワークである。
式(3)において、符号pは、p=0,・・・,k,・・・,nのうち正解の属性クラスを表す。符号qは、正解の分割領域を表す。すなわち、正解の分割領域が分割領域Aであれば、q=aであり、正解の分割領域が分割領域Bであれば、q=bであり、正解の分割領域が分割領域Cであれば、q=cである。このように、出力値Dqpは、正解の属性クラス、かつ正解の分割領域に対応する出力値である。したがって、誤差Et1は、真値である1と、正解の属性クラス、かつ正解の分割領域に対応する出力値Dqpと、の差を表す。
式(4)において、符号vは、v=0,・・・,k,・・・,nのうち正解の属性クラス以外の属性クラスを表す。すなわちv≠pである。符号wは、正解の分割領域以外の分割領域を表す。すなわち、w≠qである。このように、出力値Dwvは、正解の属性クラス以外の属性クラスに対応する出力値、又は正解の分割領域以外の分割領域に対応する出力値である。したがって、誤差Ef1は、偽値である0と、正解の属性クラス以外の属性クラス、又は正解の分割領域以外の分割領域に対応する出力値Dwvと、の差を表す。
図12は、第6実施形態である機械学習装置において、逆伝播される誤差の一例を概略的に示す図である。第6実施形態における機械学習装置200の構成は、図10に示される第5実施形態と同じである。以下、第5実施形態との相違点を中心に、第6実施形態が説明される。
式(5)において、符号pは、第5実施形態の式(3)と同様に、p=0,・・・,k,・・・,nのうち正解の属性クラスを表す。符号qは、第5実施形態の式(3)と同様に、正解の分割領域を表す。このように、出力値Dqpは、第5実施形態と同様に、正解の属性クラス、かつ正解の分割領域に対応する出力値である。したがって、誤差Et2は、第5実施形態の式(3)の誤差Et1と同様に、真値である1と、正解の属性クラス、かつ正解の分割領域に対応する出力値Dqpと、の差を表す。
式(6)において、符号pは、第5実施形態の式(3)と同様に、p=0,・・・,k,・・・,nのうち正解の属性クラスを表す。符号wは、正解の分割領域以外の分割領域を表す。すなわち、w≠qである。このように、出力値Dwpは、正解の属性クラス、かつ正解の分割領域以外の分割領域に対応する出力値である。疑似真値Gwpは、0<Gwp<1に設定された値である。第6実施形態では、例えば、Gwp=0.5である。したがって、誤差Et3は、疑似真値Gwpと、正解の属性クラス、かつ正解の分割領域以外の分割領域に対応する出力値Dwpと、の差を表す。
式(7)において、符号vは、v=0,・・・,k,・・・,nのうち正解の属性クラス以外の属性クラスを表す。すなわちv≠pである。符号yは、いずれかの分割領域を表す。すなわち、y=a又はb又はcである。このように、出力値Dyvは、正解の属性クラス以外の属性クラスに対応する出力値である。したがって、誤差Ef2は、偽値である0と、正解の属性クラス以外の属性クラスに対応する出力値Dyvと、の差を表す。
図13は、属性認識装置100(図1、図7)、機械学習装置200(図10)のハードウェア構成の一例を概略的に示すブロック図である。属性認識装置100(図1、図7)、機械学習装置200(図10)は、図13に示されるように、CPU301、RAM302、ROM303、ハードディスクドライブ(HDD)304、LCD305、キーボード306、マウス307、USBインターフェース(IF)308、通信IF309と、これらCPU301、RAM302、ROM303、HDD304、LCD305、キーボード306、マウス307、USBIF308、通信IF309を相互に接続するバス310とを備えるコンピュータ300によって構成される。なお、通信IF309は、カメラ130(図1、図7)と有線又は無線によって通信可能に接続するものであり、機械学習装置200(図10)では、省略できる。
(1)上記第1、第3実施形態では、分割領域ごとに属性クラスの確率を出力する1つの分類器152を備え、分割領域A,B,Cで、1つの分類器を兼用しているが、これに限られない。属性クラスの確率のみを出力する、分割領域A用の分類器、分割領域B用の分類器、分割領域C用の分類器の、3個の分類器を備えるようにしてもよい。
130 カメラ
141 分割領域情報記憶部
151 画像処理部
152 分類器
153 属性決定部
200 機械学習装置
210 入力処理部
220 誤差逆伝播処理部
Claims (8)
- 認識対象の被写体より上方に設置されたカメラで撮影された撮影画像を用いて、前記被写体を所定の属性に関する複数の属性クラスに分類する分類装置であって、
前記カメラの撮影範囲を前記カメラの直下からの距離に応じて分割して生成された複数の分割領域を表す分割領域情報を記憶する記憶部と、
前記撮影画像から前記被写体を含む領域の画像である被写体領域画像を抽出する画像処理部と、
前記被写体領域画像を用いて、前記複数の分割領域ごとに、前記被写体が前記複数の属性クラスに属する各確率を出力する分類器と、
を備える分類装置。 - 請求項1に記載の分類装置と、
前記複数の属性クラスのうち前記被写体が属する属性クラスを決定する属性決定部と、を備え、
前記画像処理部は、前記複数の分割領域のうち前記被写体が位置する分割領域を特定分割領域として特定し、
前記属性決定部は、前記複数の分割領域ごとに前記分類器から出力された前記各確率のうち、少なくとも前記特定分割領域において前記被写体が前記複数の属性クラスに属する各確率を用いて、前記被写体が属する属性クラスを決定する、
属性認識装置。 - 前記属性決定部は、前記複数の分割領域ごとに前記分類器から出力された前記各確率のうち、前記特定分割領域において最も高い確率に対応する属性クラスを、前記被写体が属する属性クラスであると決定する、
請求項2に記載の属性認識装置。 - 前記属性決定部は、前記特定分割領域において前記複数の属性クラスに属する各確率に特定重み係数を乗算した積と、前記特定分割領域以外の分割領域において前記複数の属性クラスに属する各確率に非特定重み係数を乗算した積と、の和を前記複数の属性クラスごとにそれぞれ算出し、前記和が最大の属性クラスを、前記被写体が属する属性クラスであると決定する、
請求項2に記載の属性認識装置。 - 前記特定重み係数及び前記非特定重み係数は、それぞれ正の数であり、
前記特定重み係数は、前記非特定重み係数より大きい値である、
請求項4に記載の属性認識装置。 - 請求項1に記載の分類装置の前記分類器を学習させる機械学習装置であって、
前記分類器は、入力層と、少なくとも1つの中間層と、出力層と、を含むニューラルネットワークで構成され、
前記機械学習装置は、
前記特定分割領域に位置し、所定の属性クラスに属する前記被写体領域画像を、前記入力層に入力する入力処理部と、
真値と、前記出力層から出力された前記特定分割領域において前記所定の属性クラスに属する確率と、の誤差を逆伝播させ、かつ、偽値と、前記出力層から出力された前記特定分割領域において前記所定の属性クラスに属する確率以外の確率と、の誤差を逆伝播させる誤差逆伝播処理部と、を備え、
前記入力処理部は、前記特定分割領域を表す情報と前記所定の属性クラスを表す情報とを、前記誤差逆伝播処理部に入力する、
機械学習装置。 - 請求項1に記載の分類装置の前記分類器を学習させる機械学習装置であって、
前記分類器は、入力層と、少なくとも1つの中間層と、出力層と、を含むニューラルネットワークで構成され、
前記機械学習装置は、
前記特定分割領域に位置し、所定の属性クラスに属する前記被写体領域画像を、前記入力層に入力する入力処理部と、
真値と、前記出力層から出力された前記特定分割領域において前記所定の属性クラスに属する確率と、の誤差を逆伝播させ、偽値と、前記出力層から出力された前記複数の分割領域において前記所定の属性クラス以外の属性クラスに属する確率と、の誤差を逆伝播させ、かつ、前記真値及び前記偽値の間の中間値と、前記出力層から出力された前記特定分割領域以外の分割領域において前記所定の属性クラスに属する確率と、の誤差を逆伝播させる誤差逆伝播処理部と、を備え、
前記入力処理部は、前記特定分割領域を表す情報と前記所定の属性クラスを表す情報とを、前記誤差逆伝播処理部に入力する、
機械学習装置。 - 認識対象の被写体より上方に設置されたカメラで撮影された撮影画像を用いて、前記被写体を所定の属性に関する複数の属性クラスに分類する分類方法であって、
前記撮影画像から前記被写体を含む領域の画像である被写体領域画像を抽出する画像処理ステップと、
前記被写体領域画像を用いて、前記カメラの撮影範囲を前記カメラの直下からの距離に応じて分割して生成された複数の分割領域ごとに、前記被写体が前記複数の属性クラスに属する各確率を出力する分類ステップと、
を備える分類方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017243946A JP6947005B2 (ja) | 2017-12-20 | 2017-12-20 | 属性認識装置、属性認識方法、及び機械学習装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017243946A JP6947005B2 (ja) | 2017-12-20 | 2017-12-20 | 属性認識装置、属性認識方法、及び機械学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019109843A true JP2019109843A (ja) | 2019-07-04 |
JP6947005B2 JP6947005B2 (ja) | 2021-10-13 |
Family
ID=67179947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017243946A Active JP6947005B2 (ja) | 2017-12-20 | 2017-12-20 | 属性認識装置、属性認識方法、及び機械学習装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6947005B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709480A (zh) * | 2020-06-17 | 2020-09-25 | 北京百度网讯科技有限公司 | 用于识别图像类别的方法及装置 |
RU2756778C1 (ru) * | 2020-06-17 | 2021-10-05 | Федеральное государственное бюджетное учреждение науки Институт проблем машиноведения Российской академии наук (ИПМаш РАН) | Способ классификации изображений |
JP2022050251A (ja) * | 2020-09-17 | 2022-03-30 | ヤフー株式会社 | 学習装置、学習方法、及び学習プログラム |
CN117079058A (zh) * | 2023-10-11 | 2023-11-17 | 腾讯科技(深圳)有限公司 | 图像处理方法和装置、存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006018688A (ja) * | 2004-07-02 | 2006-01-19 | Toyota Motor Corp | 道路環境認識方法及び道路環境認識装置 |
US20130113934A1 (en) * | 2010-07-12 | 2013-05-09 | Hitachi Kokusai Electric Inc. | Monitoring system and monitoring method |
WO2013099368A1 (ja) * | 2011-12-28 | 2013-07-04 | Necソフト株式会社 | 画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム |
-
2017
- 2017-12-20 JP JP2017243946A patent/JP6947005B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006018688A (ja) * | 2004-07-02 | 2006-01-19 | Toyota Motor Corp | 道路環境認識方法及び道路環境認識装置 |
US20130113934A1 (en) * | 2010-07-12 | 2013-05-09 | Hitachi Kokusai Electric Inc. | Monitoring system and monitoring method |
WO2013099368A1 (ja) * | 2011-12-28 | 2013-07-04 | Necソフト株式会社 | 画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム |
Non-Patent Citations (2)
Title |
---|
C.J. SOLANA-CIPRES, 外3名: ""Automatic object labelling for monitored environments using clustering techniques"", 3RD INTERNATIONAL CONFERENCE ON IMAGING FOR CRIME DETECTION AND PREVENTION (ICDP 2009), JPN6021023491, 3 December 2009 (2009-12-03), ISSN: 0004532929 * |
清水早苗, 外1名: ""動作タイミングに基づく挙動不審者の検出"", 電気学会研究会資料, JPN6021023490, 24 February 2007 (2007-02-24), JP, pages 71 - 74, ISSN: 0004532928 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709480A (zh) * | 2020-06-17 | 2020-09-25 | 北京百度网讯科技有限公司 | 用于识别图像类别的方法及装置 |
RU2756778C1 (ru) * | 2020-06-17 | 2021-10-05 | Федеральное государственное бюджетное учреждение науки Институт проблем машиноведения Российской академии наук (ИПМаш РАН) | Способ классификации изображений |
CN111709480B (zh) * | 2020-06-17 | 2023-06-23 | 北京百度网讯科技有限公司 | 用于识别图像类别的方法及装置 |
JP2022050251A (ja) * | 2020-09-17 | 2022-03-30 | ヤフー株式会社 | 学習装置、学習方法、及び学習プログラム |
JP7348150B2 (ja) | 2020-09-17 | 2023-09-20 | ヤフー株式会社 | 学習装置、学習方法、及び学習プログラム |
CN117079058A (zh) * | 2023-10-11 | 2023-11-17 | 腾讯科技(深圳)有限公司 | 图像处理方法和装置、存储介质及电子设备 |
CN117079058B (zh) * | 2023-10-11 | 2024-01-09 | 腾讯科技(深圳)有限公司 | 图像处理方法和装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP6947005B2 (ja) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110249360B (zh) | 用于推荐产品的装置和方法 | |
EP3324339B1 (en) | Method and apparatus to perform material recognition and training for material recognition | |
US20210081754A1 (en) | Error correction in convolutional neural networks | |
JP6361387B2 (ja) | 識別装置および識別装置の制御方法 | |
JP2019109843A (ja) | 分類装置、分類方法、属性認識装置、及び機械学習装置 | |
US20130121584A1 (en) | System and Method for Using Contextual Features to Improve Face Recognition in Digital Images | |
KR20210028185A (ko) | 사람 자세 분석 시스템 및 방법 | |
CN111279377A (zh) | 通过使用人工智能技术提供与广告和产品购买相关的服务的装置、系统及方法 | |
JP2014093023A (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP2010262425A (ja) | 衣服を認識および分類するためのコンピュータ実行方法 | |
US10635919B2 (en) | Information processing device, image processing system, image processing method, and program storage medium | |
Khanal et al. | Performance analysis of microsoft's and google's emotion recognition api using pose-invariant faces | |
US20200034605A1 (en) | Intelligent persona generation | |
EP3214604B1 (en) | Orientation estimation method and orientation estimation device | |
Asif et al. | Human gait recognition subject to different covariate factors in a multi-view environment | |
CN112052746A (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
JP2022553779A (ja) | キャビン内の環境の調整方法及び装置 | |
CN111902821A (zh) | 检测动作以阻止识别 | |
CN112115790A (zh) | 人脸识别方法、装置、可读存储介质和电子设备 | |
CN110532838A (zh) | 对象检测装置和方法及存储介质 | |
CN108875549A (zh) | 图像识别方法、装置、系统及计算机存储介质 | |
Assiri et al. | Face emotion recognition based on infrared thermal imagery by applying machine learning and parallelism | |
Sanil et al. | 2D-3D facial image analysis for identification of facial features using machine learning algorithms with hyper-parameter optimization for forensics applications | |
KR102246471B1 (ko) | 이미지 내 동물의 코 영역을 검출하는 방법 및 장치 | |
Santosh et al. | Recent Trends in Image Processing and Pattern Recognition: Second International Conference, RTIP2R 2018, Solapur, India, December 21–22, 2018, Revised Selected Papers, Part I |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6947005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |