JP2014178862A - 特徴点抽出装置 - Google Patents
特徴点抽出装置 Download PDFInfo
- Publication number
- JP2014178862A JP2014178862A JP2013052157A JP2013052157A JP2014178862A JP 2014178862 A JP2014178862 A JP 2014178862A JP 2013052157 A JP2013052157 A JP 2013052157A JP 2013052157 A JP2013052157 A JP 2013052157A JP 2014178862 A JP2014178862 A JP 2014178862A
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- likelihood
- candidate feature
- image
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】特徴点抽出装置1は、物体を構成する部位情報と標準的な特徴点の位置を対応させて記憶している記憶部30と、物体領域画像における標準的な特徴点の位置に部位情報を持つ候補特徴点を設定する候補特徴点設定手段43と、候補特徴点が対応する部位を構成する可能性を表す部位尤度を算出する部位尤度算出手段44と、候補特徴点が当該候補特徴点およびその近傍画素から特徴点らしい可能性を表す局所尤度を算出する局所尤度算出手段45と、候補特徴点についての局所尤度を当該候補特徴点の部位尤度が高いほど局所尤度が高くなるように重みをつけた評価値を算出する評価値算出手段46と、評価値に基づいて特徴点を抽出する特徴点抽出手段47とを有する。
【選択図】図2
Description
本発明を適用した顔画像認証装置は、人物を撮影した入力画像から、目尻、目頭、鼻尖点、口角点等の顔の特徴を表す特徴点を、目、鼻、口等の部位を構成する可能性と、その特徴点自体における特徴点らしい可能性に基づいて抽出する。これにより、顔画像認証装置は、画像から顔の特徴点を精度良く抽出することを図る。
部位画像情報33は、部位尤度の算出に使用される情報であって、顔を構成する部位を識別するために学習させた学習識別器の学習結果である。本実施の形態では、学習識別器の学習結果としたが、テンプレートマッチング方式では各部位のテンプレート画像となる。
特徴画像情報34は、局所尤度を算出するための情報であって、人物の顔画像の特徴点ごとに、当該特徴の性質の基準となる情報である。具体的には、特徴画像情報34は、あらかじめ特徴点ごとに学習させたガボールウェーブレット特徴量の特徴ベクトルの平均及び共分散行列である。本実施の形態では、ガボールウェーブレット特徴量を学習して用いたが、テンプレートマッチング方式では、テンプレート画像における各特徴点およびその近傍画素で構成された局所画像となる。
具体的には、部位尤度算出手段44は、部位らしさを表す部位特徴量としてハールライク(Haar-Like)特徴量とHOG(Histogram of Oriented Gradient)特徴量を用いたGentle AdaBoost識別器にて構成される。なお、ハールライク特徴量は、画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。HOG特徴量は、画像内の各勾配方向の勾配強度の総和を度数としたヒストグラムを正規化して算出される。
同様に、部位尤度算出手段44は、派生候補特徴点についても部位尤度を特定する。
局所尤度算出手段45は、顔領域画像内のその候補特徴点を含む近傍領域に対してガボールフィルタを適用することにより、ガボールウェーブレット特徴量を算出する。この近傍領域のサイズは、局所特徴量を算出する特徴の大きさに応じて予め設定され、少なくとも前述した部位尤度を算出する算出領域より小さいサイズに設定される。局所尤度算出手段45は、周波数について5種類に異ならせ、輝度変化方向について8種類に異ならせた合計40種類のガボールフィルタを設定し、各ガボールフィルタにより算出される各ガボールウェーブレット特徴量の絶対値を成分とする40次元の特徴ベクトルを局所特徴量とする。
同様に、局所尤度算出手段45は、派生候補特徴点についても局所尤度を算出する。
候補特徴点セット評価値と全ての派生候補特徴点セット評価値に基づいて、候補特徴点セットが顔領域画像の各特徴を適切に表しているか判定する。適切に表している場合、その各候補特徴点を顔領域画像の特徴点とする。
このようにして算出した勾配ベクトルの大きさは、候補特徴点セット評価値に対する派生候補特徴点セット評価値の変化の大きさを表す。勾配ベクトルの大きさが十分に大きい場合は、各候補特徴点を変更することによって、候補特徴点セット評価値がより高くなる可能性が高く、勾配ベクトルの大きさが十分に大きくない場合は、各候補特徴点を変更しても候補特徴点セット評価値がより高くなる可能性は低いと考えられる。そこで、特徴点抽出手段47は、勾配ベクトルの大きさ(ノルム)が判定閾値より小さい場合、候補特徴点セット評価値はこれ以上高くならず、その特徴らしい値であるとみなす。その場合、特徴点抽出手段47は、その候補特徴点セットに含まれる各候補特徴点は顔領域画像において各特徴を適切に表していると判定し、その各候補特徴点を顔領域画像における特徴点とする。一方、特徴点抽出手段47は、勾配ベクトルの大きさ(ノルム)が判定閾値以上である場合、そのときの候補特徴点セットに含まれる各候補特徴点は、顔領域画像における各特徴を適切に表していないと判定する。
部位尤度算出手段44は、顔領域画像内の各部位について、顔領域画像の各画素に対して部位尤度を算出し、部位尤度分布を生成する(ステップS104)。
全ての顔領域画像についてステップS104〜S115の処理の処理が終わると、画像処理部40は、一連のステップを終了する。
局所尤度算出手段45は、候補特徴点又は派生候補特徴点ごとに局所特徴量を算出し(ステップS202)、算出した局所特徴量から局所尤度を算出する(ステップS203)。
そして評価値算出手段46は、候補特徴点セット及び派生候補特徴点セットのそれぞれについて、含まれる候補特徴点又は派生候補特徴点の評価値を積算することで候補特徴点セット評価値及び派生候補特徴点セット評価値を算出する(ステップS205)。
評価値算出手段46は、候補特徴点セット評価値及び全ての派生候補特徴点セット評価値を算出すると、図6のステップS109に処理を移行させる。
なお、その部位についての候補特徴点が一つだけである場合、その候補特徴点の位置が重心位置になるので、部位尤度算出手段は、その候補特徴点の位置における部位尤度をその候補特徴点の部位尤度として求める。
なお、この場合、部位尤度算出手段が部位尤度を算出する算出領域は、候補特徴点の重心位置を中心とする所定サイズの領域に限定されず、例えば候補特徴点の重心位置を任意の位置に含む所定サイズの領域とすることができる。あるいは、算出領域は、各候補特徴点を任意の位置に含む所定サイズの領域としてもよい。
この場合、候補特徴点設定手段が基準3次元形状モデルに対応する候補特徴点を設定して、特徴点抽出手段が設定された候補特徴点について候補特徴点セット評価値を算出すると、その値を記憶部に一時記憶させる。
基準3次元形状モデルが更新されると、更新された基準3次元形状モデルに対応する候補特徴点を候補特徴点設定手段が設定し、特徴点抽出手段が候補特徴点セット評価値を算出して、既に記憶部に記憶されている候補特徴点セット評価値、すなわち更新前の基準3次元形状モデルを用いて算出された候補特徴点セット評価値との比較を行う。
そして、更新された基準3次元形状モデルについての候補特徴点セット評価値と、記憶部に記憶されている候補特徴点セット評価値の差の大きさが所定の判定閾値より小さいと、更新後の基準3次元形状モデルを用いて候補特徴点設定手段が設定した候補特徴点は、顔領域画像において各特徴を適切に表していると判定し、その候補特徴点を顔領域画像における特徴点とする。
一方で、更新された基準3次元形状モデルについての候補特徴点セット評価値と、記憶部に記憶されている候補特徴点セット評価値の差が抽出判定閾値以上となる場合には、更新された基準3次元形状モデルについての候補特徴点セット評価値を記憶部に記憶して、更に基準3次元形状モデルの更新と候補特徴点の設定処理などを繰り返す。
抽出判定閾値は、基準3次元形状モデルの更新を繰り返しても、計算量に見合っただけの候補特徴点セット評価値の改善が見られないと判断される値に設定するものとし、撮影条件などから決められる。更新の繰り返しの回数について上限を決めておいてもよい。
本実施形態による車種判別装置は、対象物体を自動車の前面部とし、道路を走行中の自動車を撮影した入力画像から自動車の前面部が写っている車両領域画像を抽出する。車種判別装置は、フロントガラス、ヘッドライト等を自動車の各部位とし、フロントガラスの四隅の点、ヘッドライト近傍に存在するフロントバンパー又はフロントグリルの四隅の点等を各部位における特徴とし、第1の実施形態による顔画像認証装置と同様にして車両領域画像において各特徴に対応する特徴点を抽出する。車種判別装置は、抽出した特徴点に基づいて、その自動車の車種を判別する。これにより、車種判別装置は、第1の実施形態と同様に、自動車の特徴点を精度良く抽出し、自動車の車種を精度良く判別することを図る。
3D特徴点1102は、3次元形状1101におけるヘッドライト、フロントガラスなどの各部位が持つ特徴を表す各特徴点の3次元座標である。本実施形態では、3D特徴点1102として、左側ヘッドライトについてフロントバンパーの左上角及び左下角並びにフロントグリルの左上角及び左下角と、右側ヘッドライトについてフロントバンパーの右上角及び右下角並びにフロントグリルの右上角及び右下角と、フロントガラスについて左上角、左下角、右上角、右下角の12箇所を記憶するものとした。
車両領域画像を抽出するために、車両検出手段81は、記憶部70に記憶された自動車のテンプレート72と、入力画像との相対的な位置関係を変えながらパターンマッチングを行うことにより、テンプレート72と入力画像との相関値を算出する。そして車両検出手段81は、テンプレート72と入力画像との相関値が所定の条件を満たしたとき、入力画像上のそのテンプレート72に対応する領域を車両領域画像として抽出する。なお、相関値は、例えば、テンプレート72と入力画像の対応する画素間の正規化相互相関値とし、所定の条件は、正規化相互相関値の取りうる最大値に対して0.9を乗じた値以上であることとすることができる。また、車両検出手段81は、自動車の形状がそれぞれ異なる複数のテンプレートを用いてもよい。
部位尤度算出手段84は、部位特徴量としてハールライク特徴量とHOG特徴量を用いたGentle AdaBoost識別器にて構成される。さらに、部位尤度算出手段84は、車両領域画像の画素ごとに算出した部位尤度にて部位尤度分布を生成して一時記憶メモリに記憶する。
2、5 撮像装置
3 電気錠制御装置
4 車種判別装置
6 表示装置
10、50 画像取得部
20、60 出力部
30、70 記憶部
40、80 画像処理部
41 顔検出手段
42、82 派生3次元形状モデル生成手段
43、83 候補特徴点設定手段
44、84 部位尤度算出手段
45、85 局所尤度算出手段
46、86 評価値算出手段
47、87 特徴点抽出手段
48、88 モデル更新手段
49 顔照合手段
81 車両検出手段
89 車種判別手段
Claims (4)
- 入力画像中の物体が写っている物体領域画像を取得し、当該物体の特徴が現れる特徴点を抽出する特徴点抽出装置であって、
前記物体を構成する部位情報と標準的な特徴点の位置を対応させて記憶している記憶部と、
前記物体領域画像における前記標準的な特徴点の位置に前記部位情報を持つ候補特徴点を設定する候補特徴点設定手段と、
前記候補特徴点が前記対応する部位を構成する可能性を表す部位尤度を算出する部位尤度算出手段と、
前記候補特徴点が当該候補特徴点およびその近傍画素から特徴点らしい可能性を表す局所尤度を算出する局所尤度算出手段と、
前記候補特徴点についての前記局所尤度を当該候補特徴点の部位尤度が高いほど局所尤度が高くなるように重みをつけた評価値を算出する評価値算出手段と、
前記評価値に基づいて特徴点を抽出する特徴点抽出手段と、
を有することを特徴とした特徴点抽出装置。 - 前記候補特徴点設定手段は、前記候補特徴点の近傍に位置する複数の派生候補特徴点を更に設定し、
前記部位尤度算出手段は、前記派生候補特徴点について更に前記部位尤度を算出し、
前記局所尤度算出手段は、前記派生候補特徴点について前記局所尤度を更に算出し、
前記評価値算出手段は、前記派生候補特徴点について前記評価値を更に算出し、
前記特徴点抽出手段は、前記候補特徴点についての前記評価値に対する前記派生候補特徴点についての前記評価値の変化の大きさが判定閾値より小さい場合に前記候補特徴点を特徴点とし、それ以外の場合は前記派生候補特徴点の評価値を用いて候補特徴点を再設定し処理を継続する請求項1に記載の特徴点抽出装置。 - 前記部位尤度算出手段は、同一部位に対応する前記候補特徴点の重心における部位尤度を当該候補特徴点の部位尤度とした請求項1または2に記載の特徴点抽出装置。
- 前記標準的な特徴点は、3次元空間において前記物体の3次元形状を表すモデル上の点であり、
前記候補特徴点設定手段は、前記モデルにおける標準的な特徴点を前記物体領域画像に射影して候補特徴点を設定する、請求項1〜請求項3の何れか一項に記載の特徴点抽出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013052157A JP6222948B2 (ja) | 2013-03-14 | 2013-03-14 | 特徴点抽出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013052157A JP6222948B2 (ja) | 2013-03-14 | 2013-03-14 | 特徴点抽出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014178862A true JP2014178862A (ja) | 2014-09-25 |
JP6222948B2 JP6222948B2 (ja) | 2017-11-01 |
Family
ID=51698752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013052157A Active JP6222948B2 (ja) | 2013-03-14 | 2013-03-14 | 特徴点抽出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6222948B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017054304A (ja) * | 2015-09-09 | 2017-03-16 | 株式会社東芝 | 識別装置及び認証システム |
JP2017182605A (ja) * | 2016-03-31 | 2017-10-05 | セコム株式会社 | 参照点位置決定装置 |
JP6472504B1 (ja) * | 2017-12-14 | 2019-02-20 | 株式会社 ディー・エヌ・エー | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
WO2019102619A1 (ja) * | 2017-11-27 | 2019-05-31 | 三菱電機株式会社 | 表情認識装置 |
WO2019111550A1 (ja) * | 2017-12-08 | 2019-06-13 | 日本電気株式会社 | 人物照合装置、方法、及び非一時的なコンピュータ可読媒体 |
JP2019204288A (ja) * | 2018-05-23 | 2019-11-28 | 富士通株式会社 | 生体認証装置、生体認証方法及び生体認証プログラム |
JP2020140700A (ja) * | 2019-02-28 | 2020-09-03 | キヤノン株式会社 | 検出装置および方法、ならびに画像処理装置およびシステム |
JP2020527792A (ja) * | 2017-11-23 | 2020-09-10 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 目標物認識方法、装置、記憶媒体および電子機器 |
JP2020535529A (ja) * | 2018-09-07 | 2020-12-03 | 北京市商▲湯▼科技▲開▼▲発▼有限公司Beijing Sensetime Technology Development Co., Ltd. | 生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体 |
WO2021054217A1 (ja) * | 2019-09-20 | 2021-03-25 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2021051376A (ja) * | 2019-09-20 | 2021-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2021051375A (ja) * | 2019-09-20 | 2021-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4532419B2 (ja) * | 2006-02-22 | 2010-08-25 | 富士フイルム株式会社 | 特徴点検出方法および装置並びにプログラム |
WO2011086889A1 (ja) * | 2010-01-12 | 2011-07-21 | 日本電気株式会社 | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム |
JP2011232845A (ja) * | 2010-04-26 | 2011-11-17 | Panasonic Corp | 特徴点抽出装置および方法 |
-
2013
- 2013-03-14 JP JP2013052157A patent/JP6222948B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4532419B2 (ja) * | 2006-02-22 | 2010-08-25 | 富士フイルム株式会社 | 特徴点検出方法および装置並びにプログラム |
WO2011086889A1 (ja) * | 2010-01-12 | 2011-07-21 | 日本電気株式会社 | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム |
JP2011232845A (ja) * | 2010-04-26 | 2011-11-17 | Panasonic Corp | 特徴点抽出装置および方法 |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017054304A (ja) * | 2015-09-09 | 2017-03-16 | 株式会社東芝 | 識別装置及び認証システム |
JP2017182605A (ja) * | 2016-03-31 | 2017-10-05 | セコム株式会社 | 参照点位置決定装置 |
JP6994101B2 (ja) | 2017-11-23 | 2022-01-14 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 目標物認識方法、装置、記憶媒体および電子機器 |
US11182592B2 (en) | 2017-11-23 | 2021-11-23 | Beijing Sensetime Technology Development Co., Ltd. | Target object recognition method and apparatus, storage medium, and electronic device |
JP2020527792A (ja) * | 2017-11-23 | 2020-09-10 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 目標物認識方法、装置、記憶媒体および電子機器 |
CN111373408A (zh) * | 2017-11-27 | 2020-07-03 | 三菱电机株式会社 | 表情识别装置 |
CN111373408B (zh) * | 2017-11-27 | 2023-05-02 | 三菱电机株式会社 | 表情识别装置 |
JPWO2019102619A1 (ja) * | 2017-11-27 | 2020-02-27 | 三菱電機株式会社 | 表情認識装置 |
WO2019102619A1 (ja) * | 2017-11-27 | 2019-05-31 | 三菱電機株式会社 | 表情認識装置 |
US11776098B2 (en) | 2017-12-08 | 2023-10-03 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
WO2019111550A1 (ja) * | 2017-12-08 | 2019-06-13 | 日本電気株式会社 | 人物照合装置、方法、及び非一時的なコンピュータ可読媒体 |
JPWO2019111550A1 (ja) * | 2017-12-08 | 2020-11-19 | 日本電気株式会社 | 人物照合装置、方法、及びプログラム |
US11763435B2 (en) | 2017-12-08 | 2023-09-19 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
US11748864B2 (en) | 2017-12-08 | 2023-09-05 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
JP2021144749A (ja) * | 2017-12-08 | 2021-09-24 | 日本電気株式会社 | 人物照合装置、方法、及びプログラム |
US11495057B2 (en) | 2017-12-08 | 2022-11-08 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
JP2019106149A (ja) * | 2017-12-14 | 2019-06-27 | 株式会社 ディー・エヌ・エー | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
JP6472504B1 (ja) * | 2017-12-14 | 2019-02-20 | 株式会社 ディー・エヌ・エー | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
JP2019204288A (ja) * | 2018-05-23 | 2019-11-28 | 富士通株式会社 | 生体認証装置、生体認証方法及び生体認証プログラム |
JP2020535529A (ja) * | 2018-09-07 | 2020-12-03 | 北京市商▲湯▼科技▲開▼▲発▼有限公司Beijing Sensetime Technology Development Co., Ltd. | 生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体 |
US11222222B2 (en) | 2018-09-07 | 2022-01-11 | Beijing Sensetime Technology Development Co., Ltd. | Methods and apparatuses for liveness detection, electronic devices, and computer readable storage media |
JP2020140700A (ja) * | 2019-02-28 | 2020-09-03 | キヤノン株式会社 | 検出装置および方法、ならびに画像処理装置およびシステム |
JP2021051375A (ja) * | 2019-09-20 | 2021-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2021051376A (ja) * | 2019-09-20 | 2021-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2021054217A1 (ja) * | 2019-09-20 | 2021-03-25 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7479809B2 (ja) | 2019-09-20 | 2024-05-09 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6222948B2 (ja) | 2017-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6222948B2 (ja) | 特徴点抽出装置 | |
CN108073889B (zh) | 虹膜区域提取的方法和设备 | |
US7127086B2 (en) | Image processing apparatus and method | |
JP5010905B2 (ja) | 顔認証装置 | |
US9922238B2 (en) | Apparatuses, systems, and methods for confirming identity | |
US10127439B2 (en) | Object recognition method and apparatus | |
KR102465532B1 (ko) | 객체 인식 방법 및 장치 | |
RU2431190C2 (ru) | Способ и устройство распознавания рельефности лица | |
JP5955133B2 (ja) | 顔画像認証装置 | |
JP5730095B2 (ja) | 顔画像認証装置 | |
WO2016084072A1 (en) | Anti-spoofing system and methods useful in conjunction therewith | |
JP6472184B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
CN108537131B (zh) | 一种基于人脸特征点和光流场的人脸识别活体检测方法 | |
JP5127531B2 (ja) | 画像監視装置 | |
JP5955031B2 (ja) | 顔画像認証装置 | |
US20200134343A1 (en) | Collation device and collation method | |
CN106250824A (zh) | 车窗定位方法和系统 | |
JP6396357B2 (ja) | 顔画像認証装置 | |
CN104463238B (zh) | 一种车标识别方法和系统 | |
CN106056080A (zh) | 一种可视化的生物计量信息采集装置和方法 | |
JP5871765B2 (ja) | 顔画像認証装置 | |
JP6430987B2 (ja) | 参照点位置決定装置 | |
JP6429823B2 (ja) | 特徴量抽出装置 | |
JP6053504B2 (ja) | 対象検出装置 | |
CN113673477B (zh) | 掌静脉非接触式三维建模方法、装置及认证方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171003 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6222948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |