JP2021044728A - 通知判定装置、通知判定方法及び通知判定プログラム - Google Patents
通知判定装置、通知判定方法及び通知判定プログラム Download PDFInfo
- Publication number
- JP2021044728A JP2021044728A JP2019166140A JP2019166140A JP2021044728A JP 2021044728 A JP2021044728 A JP 2021044728A JP 2019166140 A JP2019166140 A JP 2019166140A JP 2019166140 A JP2019166140 A JP 2019166140A JP 2021044728 A JP2021044728 A JP 2021044728A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- target
- false
- false detection
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000001514 detection method Methods 0.000 claims abstract description 151
- 238000004364 calculation method Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims description 31
- 238000013500 data storage Methods 0.000 description 13
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
特許文献1に記載されたように、背景画像データとの比較により対象物を検出する場合には、要因毎に背景画像データを用意しておくことも考えられる。しかし、背景画像データは、人等が映り込まないタイミングで取得する必要がある。そのため、現実には、背景画像データは夜間といった特定のタイミングでしか取得することができず、要因毎に背景画像データを用意しておくことは困難である。
この発明では、誤検出された場合における通知を減らすことを目的とする。
対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算する重複計算部と、
前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算する類似度計算部と、
前記重複計算部によって計算された前記重複率と、前記類似度計算部によって計算された前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定する判定部と
を備える。
前記類似度計算部は、前記複数の誤検知物それぞれが検出された誤検知画像データのうち、前記重複率が基準率以上である誤検知画像データにおける誤検知部分データと、対象部分データとの類似度を計算する。
前記通知判定装置は、さらに、
前記対象画像データと、前記撮影領域に前記対象物がない状態で前記撮影領域を撮影することにより得られた背景画像データとを比較することにより、前記対象画像データから前記対象物を検出する検出部
を備える。
重複計算部が、対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算し、
類似度計算部が、前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算し、
判定部が、前記重複率と前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定する。
対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算する重複計算処理と、
前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算する類似度計算処理と、
前記重複計算処理によって計算された前記重複率と、前記類似度計算処理によって計算された前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定する判定処理と
を行う通知判定装置としてコンピュータを機能させる。
***構成の説明***
図1を参照して、実施の形態1に係る通知判定装置10の構成を説明する。
通知判定装置10は、コンピュータである。
通知判定装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
ストレージ13には、通知判定装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、通知判定装置10の各機能構成要素の機能が実現される。
図2から図6を参照して、実施の形態1に係る通知判定装置10の動作を説明する。
実施の形態1に係る通知判定装置10の動作手順は、実施の形態1に係る通知判定方法に相当する。また、実施の形態1に係る通知判定装置10の動作を実現するプログラムは、実施の形態1に係る通知判定プログラムに相当する。
図2に示す処理の前提として、図3に示すように、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データと、誤検知画像データにおける誤検知物がある誤検知領域の座標とが誤検知データとして、誤検知データ記憶部31に記憶されている。
画像取得部21は、通信インタフェース14を介して、撮影領域を撮影装置41によって撮影することにより得られた最新のフレームの画像データを対象画像データとして取得する。画像取得部21は、対象画像データをメモリ12に書き込む。
検出部22は、ステップS11で取得された対象画像データをメモリ12から読み出す。検出部22は、対象画像データから対象物を検出する。対象物は、具体例としては、一定時間以上置いてある物である置去物と、一定時間以上留まっている人である滞留人とである。検出部22は、対象物が検出された場合には、対象画像データにおける対象物がある対象領域の座標を特定する。
対象画像データから対象物を検出する処理としては、対象画像データと背景画像データとの差分を取り、類似する差分が一定時間以上同じ位置に現れ続けているか否かを判定する処理を用いることができる。
検出部22は、ステップS12で対象物が検出された場合には、検出された各対象物を通知候補としてメモリ12に書き込んだ上で、処理をステップS14に進める。一方、検出部22は、ステップS12で対象物が検出されなかった場合には、処理をステップS11に戻す。
重複計算部23は、対象画像データにおける処理対象の対象物がある対象領域と、処理対象の誤通知データに含まれる誤検知画像データにおける誤検知物がある誤検知領域との重複率を計算する。
具体的には、重複計算部23は、誤検知データ記憶部31から処理対象の誤通知データに含まれる誤検知領域の座標を読み出す。重複計算部23は、ステップS12で特定された対象領域の座標と、誤検知データ記憶部31から読み出された誤検知領域の座標とから、対象領域と誤検知領域との重複率を計算する。ここでは、重複計算部23は、対象領域に対して誤検知領域が重複する割合を重複率として計算する。
判定部25は、ステップS14で計算された重複率が基準率以上である場合には、処理をステップS16に進める。一方、判定部25は、ステップS14で計算された重複率が基準率未満である場合には、処理対象の誤通知データについての処理を終了する。
類似度計算部24は、対象画像データにおける処理対象の対象物がある対象領域の部分画像データである対象部分データと、処理対象の誤通知データに含まれる誤検知画像データにおける誤検知領域の部分画像データである誤検知部分データとの類似度を計算する。
具体的には、類似度計算部24は、誤検知データ記憶部31から処理対象の誤通知データに含まれる誤検知画像データ及び誤検知領域の座標を読み出す。類似度計算部24は、誤検知画像データから誤検知領域の座標が示す領域の部分画像データを誤検知部分データとして切り出す。そして、類似度計算部24は、対象部分データと、誤検知部分データとの類似度を計算する。
なお、類似度計算部24は、エッジ特徴を表す画像データに対して、膨張処理と、平滑化処理と、オープニング処理と、クロージング処理とを行った上で、画素毎に差分の有無を判定してもよい。膨張処理と、オープニング処理と、クロージング処理とは、モルフォロジー変換の処理である。平滑化処理は、画像の輝度値を滑らかにする処理であり、例えば移動平均フィルタ又はガウシアンフィルタを用いて実行される処理である。
判定部25は、ステップS16で計算された類似度が基準度合以上である場合には、処理をステップS18に進める。一方、判定部25は、ステップS16で計算された類似度が基準度合未満である場合には、処理対象の誤通知データについての処理を終了する。
通知部26は、処理対象の対象物を通知候補から除外する。
つまり、判定部25は、重複率が基準率以上であり、かつ、類似度が基準度合以上である場合には、通知しないと判定する。そして、通知しないと判定されると、通知部26は、処理対象の対象物を通知候補から除外する。これにより、処理対象の対象物について通知がされなくなる。また処理していない対象物があれば、次の対象物についての処理が実行される。
通知部26は、通知候補の対象物についての通知を行う。
つまり、判定部25は、通知候補の対象物について、誤検知データ記憶部31に記憶された全ての誤通知データとの比較で、重複率が基準率未満である場合と、類似度が基準度合未満である場合との少なくともいずれかの場合には、通知すると判定する。また処理していない対象物があれば、次の対象物についての処理が実行される。
通知が誤りであると判定されると、通知部26は、ステップS11で取得された対象画像データを誤検知画像データとし、ステップS12で対象物が検出された領域の座標を誤検知物がある誤検知領域の座標として誤検知データ記憶部31に書き込む。
誤検知データ記憶部31には、誤検知画像データ51と、誤検知領域52の座標とを含む誤通知データが記憶されているとする。つまり、柱71の根本部分にできた影72が対象物として誤通知され、そのときの画像データが誤検知画像データ51であり、柱71の根本部分にできた影72の領域が誤検知領域52である。
(ステップS21:画像取得処理)
検出部22は、対象画像データをメモリ12から読み出す。
検出部22は、ステップS21で取得された対象画像データと、背景画像データとの間の差分がある領域を示す背景差分情報を計算する。
背景差分情報は、対象画像データと背景画像データとの間におけるテクスチャの性質を定量的に表したテクスチャ特徴において差分がある領域を示す。テクスチャの性質とは、テクスチャの粗さと、方向性と、規則性と、粒状であるか線状であるかといったことである。実施の形態1では、テクスチャ特徴は、エッジ検出によって抽出されるエッジ特徴である。
検出部22は、過去の複数のフレームの画像データのうち基準数以上の画像データを対象画像データとしてステップS22で計算された背景差分情報が差分が有ることを示す領域を、対象物がある対象領域として検知する。
基準数は、検知漏れと誤検知との関係と、過去の複数のフレームを何フレームとするかといった情報から事前に決定される値である。
検出部22は、ステップS23で検知された対象領域が新規の対象領域であるか否かを判定する。
検出部22は、新規の対象領域である場合には、処理をステップS25に進める。一方、検出部22は、新規の対象領域でない場合には、処理をステップS26に進める。
検出部22は、ステップS23で検知された対象領域を対象候補に追加する。そして、検出部22は、ステップS23で対象とした過去複数のフレームの対象画像データのうち、ステップS23で検知された対象領域について背景差分情報が差分が有ることを示す対象画像データを、対象候補についてのテンプレートとして抽出する。
実施の形態1では、検出部22は、ステップS21で取得された対象画像データをテンプレートとして抽出する。ここで、ステップS21で取得された対象画像データが取得されたことにより新規に対象領域が検知されたので、ステップS21で取得された対象画像データについての背景差分情報は、対象領域について差分が有ることを示す。
検出部22は、対象の対象候補が示す領域について、ステップS21で取得された対象画像データと、背景画像データとが類似するか否かを判定する。また、検出部22は、対象の対象候補が示す領域について、ステップS21で取得された対象画像データと、対象の対象候補についてのテンプレートとが類似するか否かを判定する。
具体的には、検出部22は、対象画像データ及び背景画像データの対象候補が示す領域を対象として、グレースケールの画像データに変換した上で、エッジ検出を行いエッジ特徴を抽出する。そして、検出部22は、対象画像データのエッジ特徴と、背景画像データのエッジ特徴との相関値を計算する。検出部22は、相関値が閾値以上の場合に、対象画像データと背景画像データとが類似すると判定する。
同様に、検出部22は、対象画像データ及びテンプレートの対象候補が示す領域を対象として、グレースケールの画像データに変換した上で、エッジ検出を行いエッジ特徴を抽出する。そして、検出部22は、対象画像データのエッジ特徴と、テンプレートのエッジ特徴との相関値を計算する。検出部22は、相関値が閾値以上の場合に、対象画像データとテンプレートとが類似すると判定する。
検出部22は、対象の対象候補が示す領域を対象候補から除外する。つまり、対象の対象候補が示す領域について、対象画像データと背景画像データとが類似するということは、対象の対象候補が示す領域には対象物がなくなったことを意味するため、検出部22は、対象の対象候補が示す領域を対象候補から除外する。
検出部22は、対象の対象候補が追加されてから基準期間以上経過したか否かを判定する。基準期間は、物が置かれてからどの程度経過した場合に置き去りとして扱うかに応じて決定される期間である。
検出部22は、基準期間以上経過した場合には、処理をステップS29に進める。一方、検出部22は、基準期間以上経過していない場合には、対象の対象候補についての処理を終了する。
検出部22は、対象の対象候補が示す領域に対象物があると特定する。ここで特定された対象物がステップS12で検出された対象物になる。
以上のように、実施の形態1に係る通知判定装置10は、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データを用いて、対象物が検出されたことを通知するか否かを判定する。これにより、検出処理のロジックだけでは誤検出を防止することが難しく、何度も誤検出されてしまうようなケースについては、通知を行わないようにすることが可能である。
例えば、ある位置に出現する影については通知したいが、別の位置に出現する影については通知したくないといった場合がある。この場合には、ロジックで対応することは困難であるが、実施の形態1に係る通知判定装置10であれば容易に対応可能である。
<変形例1>
実施の形態1では、類似度計算部24は、エッジ差分を用いて類似度を計算した。しかし、エッジ差分に限らず、色差分といった他の差分方式を用いて類似度を計算してもよい。
実施の形態1では、類似度計算部24は、エッジ差分を用いて類似度を計算した。エッジ差分では、相関のピーク値により画像データ間のずれ量を計算可能である。そこで、類似度計算部24は、対象部分データと誤検知部分データと間のずれ量が閾値以上である場合に、ずれ量だけ一方の画像データをずらした上で、類似度を計算し直してもよい。これにより、高精度に類似度を計算可能になる。
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例3として、各機能構成要素はハードウェアで実現されてもよい。この変形例3について、実施の形態1と異なる点を説明する。
各機能構成要素がハードウェアで実現される場合には、通知判定装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
変形例4として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
Claims (7)
- 対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算する重複計算部と、
前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算する類似度計算部と、
前記重複計算部によって計算された前記重複率と、前記類似度計算部によって計算された前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定する判定部と
を備える通知判定装置。 - 前記判定部は、前記重複率が基準率以上であり、かつ、前記類似度が基準度合以上である場合には、通知しないと判定する
請求項1に記載の通知判定装置。 - 前記類似度計算部は、前記重複率が基準率以上である場合に、前記対象部分データと前記誤検知部分データとの類似度を計算する
請求項2に記載の通知判定装置。 - 前記重複計算部は、複数の誤検知物それぞれを対象の誤検知物として、前記対象領域と、前記対象の誤検知物が検出された誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算し、
前記類似度計算部は、前記複数の誤検知物それぞれが検出された誤検知画像データのうち、前記重複率が基準率以上である誤検知画像データにおける誤検知部分データと、前記対象部分データとの類似度を計算する
請求項1から3までのいずれか1項に記載の通知判定装置。 - 前記対象画像データは、撮影装置によって撮影領域を撮影することにより得られた画像データであり、
前記通知判定装置は、さらに、
前記対象画像データと、前記撮影領域に前記対象物がない状態で前記撮影領域を撮影することにより得られた背景画像データとを比較することにより、前記対象画像データから前記対象物を検出する検出部
を備える請求項1から4までのいずれか1項に記載の通知判定装置。 - 重複計算部が、対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算し、
類似度計算部が、前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算し、
判定部が、前記重複率と前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定する通知判定方法。 - 対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算する重複計算処理と、
前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算する類似度計算処理と、
前記重複計算処理によって計算された前記重複率と、前記類似度計算処理によって計算された前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定する判定処理と
を行う通知判定装置としてコンピュータを機能させる通知判定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019166140A JP6998922B2 (ja) | 2019-09-12 | 2019-09-12 | 通知判定装置、通知判定方法及び通知判定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019166140A JP6998922B2 (ja) | 2019-09-12 | 2019-09-12 | 通知判定装置、通知判定方法及び通知判定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021044728A true JP2021044728A (ja) | 2021-03-18 |
JP6998922B2 JP6998922B2 (ja) | 2022-01-18 |
Family
ID=74862582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019166140A Active JP6998922B2 (ja) | 2019-09-12 | 2019-09-12 | 通知判定装置、通知判定方法及び通知判定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6998922B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001155263A (ja) * | 1999-11-29 | 2001-06-08 | Hitachi Kokusai Electric Inc | 侵入物体検知画像処理システム |
JP2005038115A (ja) * | 2003-07-18 | 2005-02-10 | Hitachi Ltd | 侵入者監視方法及び装置 |
JP2014027442A (ja) * | 2012-07-26 | 2014-02-06 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2018077807A (ja) * | 2016-11-11 | 2018-05-17 | Kddi株式会社 | 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法 |
JP2018133042A (ja) * | 2017-02-17 | 2018-08-23 | セコム株式会社 | 放置物検出装置 |
-
2019
- 2019-09-12 JP JP2019166140A patent/JP6998922B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001155263A (ja) * | 1999-11-29 | 2001-06-08 | Hitachi Kokusai Electric Inc | 侵入物体検知画像処理システム |
JP2005038115A (ja) * | 2003-07-18 | 2005-02-10 | Hitachi Ltd | 侵入者監視方法及び装置 |
JP2014027442A (ja) * | 2012-07-26 | 2014-02-06 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2018077807A (ja) * | 2016-11-11 | 2018-05-17 | Kddi株式会社 | 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法 |
JP2018133042A (ja) * | 2017-02-17 | 2018-08-23 | セコム株式会社 | 放置物検出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6998922B2 (ja) | 2022-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9317772B2 (en) | Method for improving tracking using dynamic background compensation with centroid compensation | |
US8718324B2 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
US9773322B2 (en) | Image processing apparatus and image processing method which learn dictionary | |
US10600190B2 (en) | Object detection and tracking method and system for a video | |
US8660302B2 (en) | Apparatus and method for tracking target | |
US10713793B2 (en) | Image processing apparatus, image processing method, and recording medium | |
CN113657434A (zh) | 人脸人体关联方法、系统以及计算机可读存储介质 | |
JP2018139086A (ja) | 相関追尾装置、相関追尾方法及び相関追尾プログラム | |
WO2018058573A1 (zh) | 对象检测方法、对象检测装置以及电子设备 | |
JP6998922B2 (ja) | 通知判定装置、通知判定方法及び通知判定プログラム | |
KR101667011B1 (ko) | 입체 영상의 장면 전환 검출 장치 및 방법 | |
US11238309B2 (en) | Selecting keypoints in images using descriptor scores | |
CN108334811B (zh) | 一种人脸图像处理方法及装置 | |
KR102002533B1 (ko) | 동영상으로부터 보행자를 검출하기 위한 방법 및 이를 수행하기 위한 장치 | |
Abdusalomov et al. | Review on various widely used shadow detection methods to identify a shadow from images | |
CN114219938A (zh) | 感兴趣区域获取方法 | |
Abdusalomov et al. | Robust shadow removal technique for improving image enhancement based on segmentation method | |
JP6877501B2 (ja) | 滞留検知装置、滞留検知方法及び滞留検知プログラム | |
JP7004460B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6945517B2 (ja) | 置去物検知装置、置去物検知方法及び置去物検知プログラム | |
JP4253265B2 (ja) | 影検出装置、影検出方法及び影検出プログラム、影検出装置を用いた画像処理装置、影検出方法を用いた画像処理方法及び影検出プログラムを用いた画像処理プログラム | |
JP2020102212A (ja) | 煙検出方法及び装置 | |
JP2017016592A (ja) | 主被写体検出装置、主被写体検出方法及びプログラム | |
JP6532627B2 (ja) | 動体検出装置および動体検出プログラム | |
JP7411752B1 (ja) | 置去人特定装置、置去人特定方法及び置去人特定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6998922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |