JP2016151833A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2016151833A JP2016151833A JP2015028036A JP2015028036A JP2016151833A JP 2016151833 A JP2016151833 A JP 2016151833A JP 2015028036 A JP2015028036 A JP 2015028036A JP 2015028036 A JP2015028036 A JP 2015028036A JP 2016151833 A JP2016151833 A JP 2016151833A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- recognition
- region
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
しかし、画像認識処理を行う際、元画像において分割境界をまたぐ対象物は分割境界で分断されてしまうため、何れの画像処理部にも対象物の領域全体を含む画像が入力されないため認識に失敗してしまう問題があった。
この問題に対し特許文献1において、部分領域画像とは別に元画像の縮小画像を生成して、これを追加の画像処理部で処理することにより、分割画像で検出できない認識対象の検出を行う技術が開示されている。
そこで、本発明は、複数の画像処理部で処理するために画像を分割する場合において、当該分割境界に係る認識対象物の認識処理をより高精度に行うことが可能な画像処理方法を提供することを目的とする。
図1は、画像認識装置のハードウェア構成の一例を示す図である。画像認識装置は、画像処理装置の一例である。
メモリ100は、データの一時記憶に用いられる。メモリ100には、入出力インタフェース101から入力される映像データや領域分割パターン情報、第1画像認識処理部106、第2画像認識処理部107が出力する認識情報等がバスシステム103を介して入力され、保存される。
入出力インタフェース101は、全体制御部102の指示に基づき、外部から入力される映像データや、映像データの領域分割パターン情報の受け取りと画像認識結果の外部への出力を行う。映像データはフレーム毎に時間順で順次、連続して入力される。入力データはバスシステム103を介してメモリ100に送信され保存される。
全体制御部102は、各処理部の処理順序や処理内容の制御を行う。
バスシステム103は、各処理部間のデータの送受信を調停する。
領域分割制御部104は、全体制御部102の指示に基づき、メモリ100に蓄えられた領域分割パターン情報や第1画像認識処理部106、第2画像認識処理部107の出力である認識情報を、バスシステム103を介して読み出す。領域分割制御部104は、領域分割パターン情報又は認識情報に基づき入力映像フレームから取り出す2つの画像領域を決定し、画像領域情報を部分領域画像供給部105に通知する。
部分領域画像供給部105は、領域分割制御部104から通知された画像領域情報に基づき、メモリ100に蓄えられた入力映像フレームを、バスシステム103を介して読み出し、第1画像認識処理部106、第2画像認識処理部107に供給する。即ち、領域分割制御部104は、時間的に連続する入力画像(入力映像フレーム)の領域分割方法を順次切り替える。そして部分領域画像供給部105は、当該領域分割方法に従って入力画像を分割し、一方の部分領域画像を第1画像認識処理部106へ供給し、他方の分割領域画像を第2画像認識処理部107に供給する。
第1画像認識処理部106、第2画像認識処理部107は、部分領域画像供給部105より供給された映像フレーム(部分領域画像)に対して画像認識処理を行う。画像認識処理により入力フレーム内での認識対象の存在領域を示す位置情報や認識対象の識別情報がバスシステム103を介してメモリ100に送信され、保存される。
図1では、例えば、領域分割制御部104や部分領域画像供給部105をハードウェア構成として説明を行ったが、これをソフトウェア構成として画像認識装置に実装するようにしても良い。即ち、全体制御部102がメモリ100に記憶されたプログラムに基づき処理を実行することにより、領域分割制御部104や部分領域画像供給部105の機能を実現するようにしても良い。同様に、全体制御部102がメモリ100に記憶されたプログラムに基づき処理を実行することにより、後述するフローチャートの各処理を実現するようにしても良い。
一方、図4(b)は第2領域分割パターン301に基づき領域分割を行った場合の分割状態の一例を示す図である。この例では第2領域分割パターン第1画像認識処理領域404が第2領域分割パターン301の座標情報が示す矩形領域内である。第2領域分割パターン第1画像認識処理領域404の外側にあたる左側の矩形領域と右側の矩形領域とが第2領域分割パターン第2画像認識処理領域405である。この例のように、領域分割パターンによっては、第2画像認識処理領域は空間的に分断された2つの画像領域となる。本実施形態における構成においては、一つの矩形領域を示す座標データにより前記矩形領域とその範囲外の矩形領域という形式で2つの画像認識処理部の入力に与える画像領域が定まる。但し、この部分領域決定方法は一例であり、他の方法を取っても良い。
本実施形態においては領域分割パターンの変更時に第1画像認識処理部106、第2画像認識処理部107がそれぞれ等しい解像度の部分領域画像を処理するように領域分割パターンを決定することを想定している。しかし、片方の画像認識処理部の処理する部分領域画像の解像度がもう片方の画像認識処理部の処理する部分領域画像の解像度より大きくなるような領域分割パターンであっても良い。
ステップS201において、全体制御部102は、入出力インタフェース101を介して入力された1フレーム分のフレームデータを、バスシステム103を経由し、メモリ100に記憶する。
ステップS202において、領域分割制御部104は、領域分割パターンの切り替えを行う。領域分割制御部104は、ステップS200でメモリ100に記憶された領域分割パターン情報の1つを選択し、読み出して部分領域画像供給部105に送信する。領域分割制御部104は、1フレーム処理毎に第1領域分割パターン300と第2領域分割パターン301とが交互に切り替わるように領域分割パターン情報を決定し、選択する。即ち、領域分割制御部104は、時間的に連続する入力画像の分割領域方法を切り替える。なお、本実施形態においては左右方向に領域を分割しているが、上下方向に分割する等他の分割パターンを取っても良い。また、領域分割パターン数が3以上の場合はそれらのパターンが巡回的に順次切替わっていくように選択すれば良い。但し、領域分割パターンの選択順序は他のいかなる方法を用いても良い。
ステップS203において、部分領域画像供給部105は、領域分割制御部104から受けた領域分割パターンの通知に基づき、メモリ100への読み出しアドレスを生成し、発行する。図4(a)に示す例においては、部分領域画像供給部105は、第1領域分割パターン第1画像認識処理領域402の読み出しアドレスと第1領域分割パターン第2画像認識処理領域403の読み出しアドレスとを並列に発行する。そして、部分領域画像供給部105は、メモリ100から並列に読み出しを行っていく。画像データの読み出し順はラスター順で良いが、他の方法であっても良い。部分領域画像供給部105は、読み出した画像データをそれぞれ、第1画像認識処理部106、第2画像認識処理部107に順次供給する。即ち、部分領域画像供給部105は、領域分割制御部104により切り替えられた領域分割方法に基づき分割された複数の部分領域画像を、それぞれ対応する複数の画像処理部に供給する。
図7における画像読み出し順序指示線700〜705は画像データの読み出し順序を示している。部分領域画像供給部105は、図7に示すように1番目に領域A600の1ライン目の読み出し、2番目に領域C602の1ライン目の読み出し、2番目に領域A600の2ライン目の読み出し、3番目に領域C602の2ライン目の読み出し、と画素値を読み出す。つまり、部分領域画像供給部105は、画素値を1ライン目から順に領域A600、領域C602を交互に読み出していく。順序指示線704、順序指示線705はそれぞれ領域A600、領域C602の読み出し画素最終ラインである。
このように制御することで、第2画像認識処理部107は領域分割パターンによって領域A600と領域C602とのように空間的に離れた2つの領域を処理する場合も、領域B601のみを処理する場合と同じように1枚の画像として扱える。そのため、画像認識処理部の制御が容易になる。
ステップS204において、第1画像認識処理部106、第2画像認識処理部107は、それぞれ入力された部分領域画像に対して画像認識処理を行い、検出領域毎に認識情報を生成する。第1画像認識処理部106、第2画像認識処理部107は、処理結果を、バスシステム103を介してメモリ100に書き出す。ステップS204の処理は、処理結果記憶の処理の一例である。
全体制御部102は、ステップS204の処理完了後、ステップS201へ処理を戻し、次フレームのフレームデータを受け付ける。以降、画像認識装置は、ステップS201からステップS204までの処理を繰り返す。
図4(b)は図4(a)の直後の時刻t+Δtのフレームに対して図4(a)と異なる領域分割パターンを適用した状態の一例を示している。第2入力画像406は時刻t+Δtのフレームの全体画像である。図4(b)においては認識対象401が第2領域分割パターン第1画像認識処理領域404内に納まっているためこの画像を入力とする第1画像認識処理部106は、認識対象401の画像認識処理が容易である。
十分短い時間間隔のフレーム毎に領域分割方法を切り替えることで、あるフレームでは認識に失敗する認識対象も時間的に近接した異なるフレームでは認識可能となるため、特定位置の認識対象物の認識に失敗する問題を回避できる。また、特許文献1記載の方法のように画像の縮小を行わないため、元の解像度の画像を用いて画像認識処理が可能であるため、より高い画像認識精度が得られる。
実施形態2の画像認識装置のハードウェア構成は図1に示すように実施形態1と同様である。但し、実施形態2では、領域分割制御部104の持つ機能が異なる。その内容については以降で説明を行う。
図8は実施形態2の画像認識装置の情報処理の一例を示すフローチャートである。図8において、ステップS200、S201、S202、S203、S204は実施形態1の図2のフローチャートの同一符号の処理と同じであるため説明を省略する。ステップS800において、領域分割制御部104は、メモリ100に保存されている第1画像認識処理部106、第2画像認識処理部107の出力した結果である認識情報を読み出す。
第1画像認識処理部106、第2画像認識処理部107が出力する認識情報のデータフォーマットの例を図9に示す。図9において認識対象領域900は画像認識処理によって検出した対象の存在する矩形領域を示し、これは更に矩形の左上端の座標を示す始点x座標902、始点y座標903と右下端の座標を示す終点x座標904、終点y座標905とから構成される。認識対象属性901は認識対象の特徴を示す情報である。本実施形態では認識対象は人物とし、認識対象属性901は性別906、年齢907、着衣908の情報から構成される。認識対象は人物以外であっても良く、本実施の形態を制限するものではない。着衣908については、メガネをしているか否かを示す1ビットの情報、マスクをしているか否かを示す1ビットの情報等、複数の情報の集合であって良い。また、認識情報のデータは図9のフォーマットを1組として、検出された認識対象の数に応じて複数がメモリ100に保存されていても良い。
ステップS801において、領域分割制御部104は、追尾認識対象の次フレームにおける存在領域の推定を行う。領域分割制御部104は、過去数フレーム分の認識情報を用いて前記推定を行う。まず領域分割制御部104は、追尾認識対象の認識情報を抽出し、各フレームの認識情報間で属性情報の比較を行う。領域分割制御部104は、その差分が一定以内の認識対象を同一の認識対象であるとみなす。領域分割制御部104は、同一とみなした各フレーム中の認識対象の認識対象領域900各々の座標データ902〜905をそれぞれ時間方向で線形近似し、各近似直線の次フレーム時刻の値を次フレーム時刻の座標データ902〜905の推定値とする。領域分割制御部104は、これらが示す矩形領域を認識対象の推定領域とする。この認識対象領域の次フレームにおける領域の推定方法は一例であり、他の方法を用いても良い。
図10(b)は上記の方法によって領域分割パターンが変更された状態を示す図である。時刻t+Δt入力フレーム1010が第1画像認識処理部処理領域1011と第2画像認識処理部処理領域1012とに分割されて処理されている。認識対象1005の位置は時刻t入力フレーム1000の領域分割方法のままでは時刻t+Δt入力フレーム1010において、領域分割境界をまたいでしまう。しかし、ステップS801で時刻t推定認識対象領域1004内に領域分割境界が位置しないように領域分割方法の変更が行われたことにより、第1画像認識処理部処理領域1011内に認識対象1005全体が含まれている。よって、第1画像認識処理部106は、認識対象1005を検出することができる。このように、追尾対象の認識領域の移動予測に基づき領域分割パターンを変更することで追尾対象が領域分割境界をまたがないように制御することができる。
ここでステップS800において、領域分割制御部104は、認識対象属性901が予め設定した認識対象属性との差分が一定以下の認識対象が複数存在する場合、差分値がより小さい方の認識対象領域を優先して領域分割境界上に配置しないように領域分割パターンを制御すれば良い。このようにすることで、より所望の属性に近い対象物を優先して、領域分割境界上に位置することを避けるようにすることができる。
本実施形態における処理ではステップS800において追尾認識対象が存在しない場合はステップS202へ進みメモリ100に予め保存している領域分割パターンを適用する。よって、追尾認識対象が存在しない場合、実施形態1と同じ動作をして設定された領域分割パターンを切り替えながら第1画像認識処理部106、第2画像認識処理部107に部分領域画像供給部105が部分領域画像を供給していく。そして、追尾認識対象が現れた場合、ステップS800〜S802が実行され、追尾認識対象領域が常に領域分割境界上に位置しないように分割パターンが制御される。
以上のように制御することで重点的に認識したい対象が存在しない場合は入力映像の全領域を満遍なく画像認識できるように動作させ、重点的に認識したい対象が入力映像中に現れた場合にその対象の認識対象の認識精度をより高めるように動作させることができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 入出力インタフェース
102 全体制御部
103 バスシステム
104 領域分割制御部
105 部分領域画像供給部
106 第1画像認識処理部
107 第2画像認識処理部
Claims (11)
- 時間的に連続する入力画像の領域分割方法を切り替える切替手段と、
前記切替手段により切り替えられた領域分割方法に基づき分割された複数の部分領域画像を、それぞれ対応する複数の画像認識処理手段に供給する供給手段と、
を有する画像処理装置。 - 前記複数の画像認識処理手段を更に有する請求項1記載の画像処理装置。
- 複数の領域分割パターン情報をメモリに記憶する記憶手段を更に有し、
前記切替手段は、時間的に連続する入力画像に対して適用すべき前記領域分割パターン情報であって前記記憶手段により前記メモリに記憶された前記領域分割パターン情報を順次切り替えることで入力画像の領域分割方法を切り替える請求項1又は2記載の画像処理装置。 - 前記領域分割パターン情報は、入力画像をある方向に等しい幅で分割する第1の領域分割パターン情報と前記分割の位置を前記幅の半分の幅だけ前記方向に沿ってずらした位置で入力画像を分割する第2の領域分割パターン情報とを含む請求項3記載の画像処理装置。
- 前記供給手段は、前記領域分割方法に基づき分割された複数の部分領域画像のうち少なくとも2つ以上の部分領域画像が同じ画像認識処理手段で処理される画像であるにも関わらず分断されていた場合、分断された部分領域画像を接合し1枚の画像とし、前記画像認識処理手段に供給する請求項1乃至4何れか1項記載の画像処理装置。
- 前記複数の画像認識処理手段は、前記接合された部分領域画像の接合境界をまたぐ領域を認識情報として得た場合、前記認識情報を破棄する請求項5記載の画像処理装置。
- 前記複数の画像認識処理手段により出力された認識情報をメモリに記憶する処理結果記憶手段を更に有し、
前記切替手段は、前記処理結果記憶手段により前記メモリに記憶された前記認識情報に基づいて、追尾認識対象が存在するか否かを判断し、追尾認識対象が存在しないと判断した場合、時間的に連続する入力画像の領域分割方法を順次切り替える請求項1乃至6何れか1項記載の画像処理装置。 - 前記切替手段は、追尾認識対象が存在すると判断した場合、前記追尾認識対象の位置を推定し、推定した位置に基づき入力画像の領域分割方法を決定する請求項7記載の画像処理装置。
- 前記切替手段は、前記推定した位置に領域分割の境界が位置しないように前記入力画像の領域分割方法を決定する請求項8記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
時間的に連続する入力画像の領域分割方法を切り替える切替ステップと、
前記切替ステップにより切り替えられた領域分割方法に基づき分割された複数の部分領域画像を、それぞれ対応する複数の画像認識処理ステップに供給する供給ステップと、
を含む画像処理方法。 - コンピュータを請求項1乃至9何れか1項記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015028036A JP6562648B2 (ja) | 2015-02-16 | 2015-02-16 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015028036A JP6562648B2 (ja) | 2015-02-16 | 2015-02-16 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016151833A true JP2016151833A (ja) | 2016-08-22 |
JP6562648B2 JP6562648B2 (ja) | 2019-08-21 |
Family
ID=56696613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015028036A Active JP6562648B2 (ja) | 2015-02-16 | 2015-02-16 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6562648B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020181234A (ja) * | 2019-04-23 | 2020-11-05 | 株式会社日立製作所 | 物体情報登録装置及び物体情報登録方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006331217A (ja) * | 2005-05-27 | 2006-12-07 | Aisin Aw Co Ltd | 画像処理システム及び画像処理方法 |
WO2007139035A1 (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Limited | 車両種別判定装置、プログラム、方法 |
JP2009110152A (ja) * | 2007-10-29 | 2009-05-21 | Panasonic Corp | 混雑推定装置 |
JP2009251679A (ja) * | 2008-04-01 | 2009-10-29 | Sony Ericsson Mobilecommunications Japan Inc | 撮像装置及び画像認識方法 |
JP2013008070A (ja) * | 2009-10-20 | 2013-01-10 | Panasonic Corp | 標識認識装置及び標識認識方法 |
JP2013050912A (ja) * | 2011-08-31 | 2013-03-14 | Toshiba Corp | オブジェクト探索装置、映像表示装置およびオブジェクト探索方法 |
JP2013225289A (ja) * | 2012-03-21 | 2013-10-31 | Ricoh Co Ltd | 複眼カメラ装置、及びそれを備えた車両 |
JP2014006586A (ja) * | 2012-06-21 | 2014-01-16 | Canon Inc | 情報処理装置及びその制御方法、コンピュータプログラム |
JP2014153192A (ja) * | 2013-02-08 | 2014-08-25 | Aisin Aw Co Ltd | 走行案内システム、走行案内方法及びコンピュータプログラム |
-
2015
- 2015-02-16 JP JP2015028036A patent/JP6562648B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006331217A (ja) * | 2005-05-27 | 2006-12-07 | Aisin Aw Co Ltd | 画像処理システム及び画像処理方法 |
WO2007139035A1 (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Limited | 車両種別判定装置、プログラム、方法 |
JP2009110152A (ja) * | 2007-10-29 | 2009-05-21 | Panasonic Corp | 混雑推定装置 |
JP2009251679A (ja) * | 2008-04-01 | 2009-10-29 | Sony Ericsson Mobilecommunications Japan Inc | 撮像装置及び画像認識方法 |
JP2013008070A (ja) * | 2009-10-20 | 2013-01-10 | Panasonic Corp | 標識認識装置及び標識認識方法 |
JP2013050912A (ja) * | 2011-08-31 | 2013-03-14 | Toshiba Corp | オブジェクト探索装置、映像表示装置およびオブジェクト探索方法 |
JP2013225289A (ja) * | 2012-03-21 | 2013-10-31 | Ricoh Co Ltd | 複眼カメラ装置、及びそれを備えた車両 |
JP2014006586A (ja) * | 2012-06-21 | 2014-01-16 | Canon Inc | 情報処理装置及びその制御方法、コンピュータプログラム |
JP2014153192A (ja) * | 2013-02-08 | 2014-08-25 | Aisin Aw Co Ltd | 走行案内システム、走行案内方法及びコンピュータプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020181234A (ja) * | 2019-04-23 | 2020-11-05 | 株式会社日立製作所 | 物体情報登録装置及び物体情報登録方法 |
JP7187377B2 (ja) | 2019-04-23 | 2022-12-12 | 株式会社日立製作所 | 物体情報登録装置及び物体情報登録方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6562648B2 (ja) | 2019-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4814375B2 (ja) | 検出装置、検出方法および検出用集積回路 | |
US8693785B2 (en) | Image matching devices and image matching methods thereof | |
US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
CN111027438B (zh) | 一种人体姿态的迁移方法、移动终端以及计算机存储介质 | |
US11141557B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US8644553B2 (en) | Image display device, image display method, and image display program | |
JP7032871B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
CN106251348B (zh) | 一种面向深度相机的自适应多线索融合背景减除方法 | |
JP2011076255A (ja) | ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム | |
EP2781099B1 (en) | Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution | |
CN105227833A (zh) | 连续对焦方法及装置 | |
TWI547887B (zh) | 用以利用積分梯度投影作臉部追蹤之方法、裝置與電腦程式 | |
CN112215877A (zh) | 图像处理方法和装置、电子设备、可读存储介质 | |
KR102344227B1 (ko) | 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램 | |
JP6338379B2 (ja) | 情報処理装置及び情報処理装置の制御方法 | |
JP6562648B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2004356747A (ja) | 画像のマッチング方法および装置 | |
US9106926B1 (en) | Using double confirmation of motion vectors to determine occluded regions in images | |
JP2017123589A (ja) | 情報処理装置、情報処理方法および映像投影システム | |
JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP5441737B2 (ja) | 画像処理装置、画像処理方法及び画像処理用プログラム | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
US10346680B2 (en) | Imaging apparatus and control method for determining a posture of an object | |
JP2015103103A (ja) | 画像処理装置、画像処理方法 | |
CN104980623A (zh) | 检测方法及检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190723 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6562648 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |