JP2019160036A - 触感情報システム、触感情報処理装置およびプログラム - Google Patents
触感情報システム、触感情報処理装置およびプログラム Download PDFInfo
- Publication number
- JP2019160036A JP2019160036A JP2018048038A JP2018048038A JP2019160036A JP 2019160036 A JP2019160036 A JP 2019160036A JP 2018048038 A JP2018048038 A JP 2018048038A JP 2018048038 A JP2018048038 A JP 2018048038A JP 2019160036 A JP2019160036 A JP 2019160036A
- Authority
- JP
- Japan
- Prior art keywords
- tactile sensation
- tactile
- information
- image
- detection data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、触感を再現するために用いられる触感情報を効率よく収集することを目的とする。
ここで、前記画像検出手段は、少なくとも前記触感検出手段および前記対象物が含まれる画像を検出することを特徴とすることができる。
また、前記関連手段は、前記触感検出手段によって前記触感情報が検出されたときの前記画像を当該触感情報に関連付けることを特徴とすることができる。
さらに、前記触感情報が検出されたときの前記触感検出手段の位置を特定する位置特定手段を備え、前記関連手段は、前記画像における前記触感検出手段の位置に対応する画像要素に前記触感情報を関連付けることを特徴とすることができる。
また、前記対象物に対して前記触感情報の検出とは異なる処理を行う処理手段を備え、前記触感検出手段は、前記処理手段による前記処理が行われる際に前記対象物の前記触感情報を検出することを特徴とすることができる。
さらに、前記画像検出手段は、前記処理手段に設けられることを特徴とすることができる。
そして、前記触感検出手段は、ユーザの身体の少なくとも一部に装着されることを特徴とすることができる。
ここで、前記対象物の画像から当該対象物の名称を特定する特定手段を備え、前記関連手段は、前記特定手段が特定した前記対象物の名称と、当該対象物の前記触感情報とを関連付けることを特徴とすることができる。
また、かかる目的のもと、本発明は、対象物の触感に関する触感情報を取得する触感情報取得手段と、前記触感情報取得手段が前記触感情報を取得する前記対象物を少なくとも含む画像を取得する画像取得手段と、前記画像と前記触感情報とを関連付ける関連手段と、を備える触感情報処理装置である。
また、かかる目的のもと、本発明は、触感に関する情報を処理する情報処理装置として機能するコンピュータに、対象物の触感に関する触感情報を取得する機能と、前記触感情報が取得された前記対象物を少なくとも含む画像を取得する機能と、前記画像と前記触感情報とを関連付ける機能と、を実現させるプログラムである。
図1は、本実施形態の触感情報システム1の一例の全体図である。
図1に示すように、本実施形態の触感情報システム1は、複数の機器と通信接続するサーバ装置10(関連手段の一例)と、人や商品(以下、対象物と呼ぶ)の触感を検出する触感センサ20(触感検出手段の一例)と、対象物を撮影するカメラ30(画像検出手段の一例)と、対象物の触感を再現する触感再現装置40とを備える。なお、サーバ装置10、触感センサ20、カメラ30および触感再現装置40は、ネットワークを介して相互に情報通信が可能になっている。
そして、本実施形態の触感情報システム1は、画像情報に基づいて対象物の名称を特定する。そして、触感情報システム1では、対象物の名称と、その対象物の触感情報とを関連付けて記憶する。
図2は、本実施形態のサーバ装置10の構成を示す一例のブロック図である。
サーバ装置10は、触感検出データを取得する触感検出データ取得部11と、カメラ30が撮影した画像データを取得する画像データ取得部12と、画像データに基づいて対象物の名称を特定する対象物特定部13と、対象物の名称および触感検出データを関連づけて管理する触感情報管理部14と、を備える。
触感検出データ取得部11は、触感センサ20から触感検出データを取得する。そして、触感検出データ取得部11は、触感検出データに、触感検出データが検出されたときの時間情報を紐づけて記憶する。
なお、本実施形態の説明において、触感情報には、触感センサ20が生成した生データである触感検出データが含まれる。また、触感情報には、触感検出データに基づいて作成された情報や、触感検出データを加工した情報が含まれる。具体的には、触感情報には、触感検出データに基づいて、触感をテキスト情報化(ツルツル、ザラザラ等)したものが含まれる。
画像データ取得部12は、カメラ30から画像データを取得する。具体的には、画像データ取得部12は、触感検出データ取得部11から触感検出データが検出されたときの時間情報を取得する。そして、画像データ取得部12は、時間情報に対応するときの画像データ(フレーム画像)をカメラ30から取得する。そして、画像データ取得部12は、画像データに、画像データが撮影されたときの時間情報を紐づけて記憶する。
対象物特定部13は、画像データ取得部12が取得した画像データに基づいて触感センサ20が接触している対象物の名称を特定する。そして、対象物特定部13は、特定した対象物の名称に検出時間情報を紐付けて、対象物の名称を触感情報管理部14に渡す。
図3は、本実施形態の触感情報管理部14が管理する触感情報の管理データの一例である。
触感情報管理部14は、対象物特定部13が特定した対象物と、触感検出データ取得部11が取得した触感検出データを関連付ける。具体的には、触感情報管理部14は、時間情報に基づいて、対象物と触感検出データとを関連付ける。触感情報管理部14は、特定の日時(例えば、2018年1月1日12時34分56秒)に検出された触感検出データに対して、同じ特定の日時(例えば、2018年1月1日12時34分56秒)に撮影された画像データにより特定される対象物を関連付ける。
なお、管理データ140のおける項目は一例であり、上述したように、画像データから得られる各種の情報を管理データ140に含めることができる。
触感検出データ142は、触感センサ20から取得した触感検出データに関する情報である。
取得日時143は、触感検出データが検出されたときの時間情報である。ここでは、取得日時143は、年月日時分秒で特定されている。
画像データ144は、カメラ30から取得した画像データに関する情報である。
名称145は、対象物特定部13によって特定された対象物に関する情報である。
触感センサ20は、触感再現装置40で用いる触感検出データを検出する。触感検出データは、対象物の圧覚、触覚、力覚のうち少なくとも一つを検出する。なお、触感センサ20は、これらの感覚に加えて、温度感覚をさらに検出しても良い。
触感センサ20は、外圧が加わることで、被覆材の変形によって内部の液体分布が変化する。そして、触感センサ20は、内部の液体分布をユニット表面に並べられた複数の電極のインピーダンスの変位に基づいて検出する。これによって、本実施形態の触感情報システム1では、触感センサ20を搭載した装置(例えば、後述する手袋21等)が対象物に接触した際に、力の強さ、力の方向、接触点、および対象物の形状に関する情報を取得可能になっている。また、触感センサ20は、対象物に対して相対的に表面がなぞられることで、滑り摩擦によって生じる振動が液体中を伝搬する。そして、触感センサ20は、液体の伝搬を高感度圧力センサで捉えることで振動を検出する。さらに、触感センサ20は、対象物に接触した際に生じる温度勾配をサーミスタによって検出することで温度変化を検出する。
カメラ30は、対象物を含む所定の範囲を撮影する。さらに、カメラ30は、撮影した画像を一定時間記憶することが可能になっている。そして、本実施形態においては、カメラ30は、触感センサ20とは別体に設けられたり、触感センサ20と一体に設けられたりする。また、本実施形態において、カメラ30は、対象物の特定精度を高めるために、カラー画像を撮影する。なお、カメラ30は、動画像を撮影するものであるが、静止画像を撮影するものであっても構わない。
図4は、本実施形態の触感再現装置40の全体図の一例である。
図4に示すように、触感再現装置40は、タッチパッド41と、タッチパッド41に生じた圧力等を検出するセンサ(不図示)と、タッチパッド41を変位させるアクチュエータ(不図示)とを備えている。そして、触感再現装置40は、触感情報に基づいて、アクチュエータにてタッチパッド41を変位させることで、ユーザに、様々な触感を体感させる機能を有する。
また、触感再現装置40は、アクチュエータにてタッチパッド41を、ユーザの指の動きと反対方向に変位させて抗力を与えることによって、ユーザに抵抗感や粘性感を知覚させることが可能となる。つまり、触感再現装置40は、タッチパッド41の変位速度や変位加速度を変えることで、ユーザに、様々な抵抗感や粘性感を与えることが可能である。
逆に、触感再現装置40は、アクチュエータにてタッチパッド41を、ユーザの指の動きと同じ方向に変位させて負の抗力を与えることによって、ユーザに、氷上を滑るような滑らか感や加速感を知覚させることが可能となる。つまり、触感再現装置40は、タッチパッド41の変位速度や変位加速度を変えることで、ユーザに、様々な滑らか感や加速感を与えることが可能である。
また、触感再現装置40は、抗力を振動的に変化させることにより、表面粗さの感覚を知覚させることが可能である。
また、センサは、押し込み圧力を検出する圧力センサと、押し込み圧力が生じた位置を検出する位置センサとを有することができる。
図5は、本実施形態の触感情報システム1における触感情報の取得の際のフロー図である。
図5に示すように、触感情報システム1では、触感センサ20が設けられた装置(例えば、後述する手袋21)の電源がオンになっているか否かを確認する(ステップ(以下、Sと表示)101)。そして、触感センサ20が設けられた装置の電源がオフであれば(S101にてNo)、処理を終了する。
一方、触感センサ20が設けられた装置の電源がオンであれば(S101にてYes)、装置に設けられたカメラ30の撮影を開始する(S102)。さらに、触感センサ20にて触感検出データが検出されたか否かを判断する(S103)。そして、触感検出データが検出されていなければ(S103にてNo)、再び、S101に戻る。
そして、触感センサ20にて触感検出データが検出された場合には(S103にてYes)、触感検出データが検出された時間情報とともに触感検出データをサーバ装置10に送信する(S104)。さらに、カメラ30は、触感検出データが検出された時間情報に対応する日時に撮影された画像データ(フレーム画像)をサーバ装置10に送信する(S105)。
S106の後は、再び、S101に戻る。その後、更にS103にて触感検出データが検出されると、S104〜S107が繰り返され、触感検出データと特定された対象物の関連付けが行われる。一方で、触感センサ20が設けられた装置の電源がオフされたことが確認されると(S101にてNo)、一連の処理が終了する。
ただし、触感情報システム1では、同じ特定情報であっても、例えば前回に取得された触感検出データ(触感情報)が不十分であったり、同じ対象物が異なる複数の材質(素材)で構成されていたりする場合など、同じ特定情報に関する触感検出データを複数回、検出しても良い。
ところで、本実施形態の触感情報システム1は、対象物の触感情報をユーザから広く収集することにある。そのため、例えばユーザが触感情報を提供することによって、そのユーザに対して、利益となる特典を付与するようにしても良い。例えば本実施形態の触感情報システム1を通信販売における購入時に商品の触感を確認できるシステムに適用する場合には、ユーザからの触感情報の提供の見返りとして、通信販売で利用可能なクーポンやポイントなどを特典としてユーザに付与するようにしても良い。
図6は、触感情報システム1における触感情報の取得の適用例1の説明図である。
適用例1において、触感センサ20は、人の手に着用される手袋21の表面に設けられている。より具体的には、触感センサ20は、手袋21における手の平の部分や指の内側の部分に面状に設けられている。そして、ユーザが手袋21を装着した状態で、対象物に接触することで、対象物の触感検出データが検出されるようになっている。また、手袋21には、カメラ30によって撮影された画像データにおける手袋21を認識し易くするために、識別マーク21Mが設けられている。
また、カメラ30は、触感検出データが検出されたときの時間情報を取得し、その時間情報に基づいて特定される時間に撮影された画像データをサーバ装置10に送信する。そして、画像データは、画像データ取得部12により取得される。
具体的には、手袋21によって対象物が隠れてしまうなど画像データにおいて対象物そのものが認識できない場合、対象物特定部13は、触感検出データが検出されたときから予め定められた時間遡った時点(例えば、数秒前などの直前)で撮影された画像データ(フレーム画像)を用いる。ここで、図6(C)に示すように、直前の画像データ100においては、対象物(この例では、ぬいぐるみ)に対して、手袋21が隣接するか、手袋21による重なりの程度が小さい画像が撮影されていることが想定される。そして、対象物特定部13は、この直前の画像データ100から対象物画像110を特定し、その対象物画像110に対して画像認識を行う。
触感情報管理部14は、時間情報に基づいて、対象物特定部13にて特定された対象物の名称と、触感検出データ取得部11が取得した触感データ(触感情報)とを関連付けて記憶する。具体的には、図3に示す管理データ140における管理番号141の「001」のように、触感検出データ142は「TD−123」であり、名称145は「ぬいぐるみ」であると記憶される。
図7は、触感情報システム1における触感情報の取得の適用例2の説明図である。
適用例2では、適用例1と同様に、触感センサ20は、人の手に着用される手袋21に設けられている。
ユーザの手袋21がユーザの顔になどに接触すると、手袋21の触感センサ20によって触感検出データが検出される。この触感検出データは、検出したときの時間情報とともにサーバ装置10に送信される。そして、触感検出データは、触感検出データ取得部11によって取得される。
また、カメラ30は、触感検出データが検出されたときの時間情報を取得し、その時間情報に基づいて特定される時間に撮影された画像データ200をサーバ装置10(画像データ取得部12)に送信する。
図8は、触感情報システム1における触感情報の取得の適用例3の説明図である。
適用例3において、触感センサ20は、清掃処理を行う掃除機22(処理手段の一例)のノズル22N(ヘッド)に設けられている。すなわち、予め定められた処理を行う装置に一体的に設けられ、所定の処理を行う装置が移動する場合には、その装置とともに移動するようになっている。
そして、ユーザが掃除機22を用いて清掃を行う際、ノズル22Nが対象物に接触することで、清掃の対象となる対象物の触感検出データが検出されるようになっている。
また、適用例3では、カメラ30は、触感センサ20が搭載される掃除機22のノズル22Nに設けられている。そして、カメラ30は、ノズル22Nに対向(接触)する対象物の画像を撮影可能になっている。
また、カメラ30は、触感センサ20によって触感検出データが検出されると、その時間情報に基づいて特定される時間に撮影された画像データをサーバ装置10に送信する。そして、画像データは、画像データ取得部12により取得される。
上述した実施形態における適用例1においてはカメラ30が居室にて固定され、適用例3においてはカメラ30と触感センサ20とが単一の装置に一体的に搭載された例を用いて説明したが、これらに限定されない。例えば、カメラ30がユーザの身体の一部に設けられ、触感センサ20がユーザの身体の一部に装着されていても良い。
一方で、室内を撮影した画像データからは、画像解析に基づいて室内における物体の位置を特定する。
そして、サーバ装置10は、手袋21の触感センサ20にて触感検出データを取得した際に、触感検出データとともに手袋21の位置情報を取得する。さらに、サーバ装置10は、取得した位置情報に基づいて、画像データにおいてその位置情報に対応する対象物画像(画像要素の一例)を抽出する。そして、その対象物画像について画像認識を行い、対象物の名称を特定する。最終的には、特定した対象物の名称と、その対象物の触感検出データとを関連付ける。
そして、磁気ディスク装置には、OSのプログラムやアプリケーション・プログラムが格納されている。そして、これらのプログラムがメモリに読み込まれてCPUに実行されることにより、本実施形態のサーバ装置10、触感センサ20、カメラ30および触感再現装置40の各々における各機能部の機能が実現される。
さらに、本実施形態の触感情報システム1における一連の動作をサーバ装置10、触感センサ20、カメラ30および触感再現装置40にてそれぞれ実現させるプログラムは、例えば通信手段により提供することはもちろん、各種の記録媒体に格納して提供しても良い。
Claims (10)
- 対象物の触感に関する触感情報を検出する触感検出手段と、
前記触感検出手段が前記触感情報を検出する前記対象物を少なくとも含む画像を検出する画像検出手段と、
前記画像と前記触感情報とを関連付ける関連手段と、
を備える触感情報システム。 - 前記画像検出手段は、少なくとも前記触感検出手段および前記対象物が含まれる画像を検出する請求項1に記載の触感情報システム。
- 前記関連手段は、前記触感検出手段によって前記触感情報が検出されたときの前記画像を当該触感情報に関連付ける請求項2に記載の触感情報システム。
- 前記触感情報が検出されたときの前記触感検出手段の位置を特定する位置特定手段を備え、
前記関連手段は、前記画像における前記触感検出手段の位置に対応する画像要素に前記触感情報を関連付ける請求項2に記載の触感情報システム。 - 前記対象物に対して前記触感情報の検出とは異なる処理を行う処理手段を備え、
前記触感検出手段は、前記処理手段による前記処理が行われる際に前記対象物の前記触感情報を検出する請求項1に記載の触感情報システム。 - 前記画像検出手段は、前記処理手段に設けられる請求項5に記載の触感情報システム。
- 前記触感検出手段は、ユーザの身体の少なくとも一部に装着される請求項1に記載の触感情報システム。
- 前記対象物の画像から当該対象物の名称を特定する特定手段を備え、
前記関連手段は、前記特定手段が特定した前記対象物の名称と、当該対象物の前記触感情報とを関連付ける請求項1に記載の触感情報システム。 - 対象物の触感に関する触感情報を取得する触感情報取得手段と、
前記触感情報取得手段が前記触感情報を取得する前記対象物を少なくとも含む画像を取得する画像取得手段と、
前記画像と前記触感情報とを関連付ける関連手段と、
を備える触感情報処理装置。 - 触感に関する情報を処理する情報処理装置として機能するコンピュータに、
対象物の触感に関する触感情報を取得する機能と、
前記触感情報が取得された前記対象物を少なくとも含む画像を取得する機能と、
前記画像と前記触感情報とを関連付ける機能と、
を実現させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018048038A JP6948971B2 (ja) | 2018-03-15 | 2018-03-15 | 触感情報システム、触感情報処理装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018048038A JP6948971B2 (ja) | 2018-03-15 | 2018-03-15 | 触感情報システム、触感情報処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019160036A true JP2019160036A (ja) | 2019-09-19 |
JP6948971B2 JP6948971B2 (ja) | 2021-10-13 |
Family
ID=67994923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018048038A Active JP6948971B2 (ja) | 2018-03-15 | 2018-03-15 | 触感情報システム、触感情報処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6948971B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210034804A (ko) * | 2019-09-23 | 2021-03-31 | 주식회사 티디씨제이 | 촉감 수집 센서 및 가상 촉감 제공 장치 |
WO2022085328A1 (ja) * | 2020-10-20 | 2022-04-28 | 株式会社ワコム | 位置指示器及び入力システム |
WO2023276116A1 (ja) * | 2021-07-01 | 2023-01-05 | 三菱電機ビルソリューションズ株式会社 | 遠隔支援装置および遠隔支援方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004021820A (ja) * | 2002-06-19 | 2004-01-22 | Seiko Epson Corp | 画像・触覚情報入力装置、画像・触覚情報入力方法および画像・触覚情報入力プログラム |
JP2006163579A (ja) * | 2004-12-03 | 2006-06-22 | Sony Corp | 情報処理システム、情報処理装置及び情報処理方法 |
-
2018
- 2018-03-15 JP JP2018048038A patent/JP6948971B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004021820A (ja) * | 2002-06-19 | 2004-01-22 | Seiko Epson Corp | 画像・触覚情報入力装置、画像・触覚情報入力方法および画像・触覚情報入力プログラム |
JP2006163579A (ja) * | 2004-12-03 | 2006-06-22 | Sony Corp | 情報処理システム、情報処理装置及び情報処理方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210034804A (ko) * | 2019-09-23 | 2021-03-31 | 주식회사 티디씨제이 | 촉감 수집 센서 및 가상 촉감 제공 장치 |
KR102268265B1 (ko) | 2019-09-23 | 2021-06-23 | 주식회사 티디씨제이 | 촉감 수집 센서 및 가상 촉감 제공 장치 |
WO2022085328A1 (ja) * | 2020-10-20 | 2022-04-28 | 株式会社ワコム | 位置指示器及び入力システム |
WO2023276116A1 (ja) * | 2021-07-01 | 2023-01-05 | 三菱電機ビルソリューションズ株式会社 | 遠隔支援装置および遠隔支援方法 |
JP7317271B2 (ja) | 2021-07-01 | 2023-07-28 | 三菱電機ビルソリューションズ株式会社 | 遠隔支援装置および遠隔支援方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6948971B2 (ja) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210272376A1 (en) | Virtual or augmented reality rehabilitation | |
JP6875010B2 (ja) | 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム | |
JP6703688B2 (ja) | 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム、並びに、素子配置構造体 | |
US6793619B1 (en) | Computer-implemented method and system for giving a user an impression of tactile feedback | |
CN105359062B (zh) | 眼动追踪数据分析系统及方法 | |
TWI476633B (zh) | 傳輸觸覺資訊的系統和方法 | |
JP6948971B2 (ja) | 触感情報システム、触感情報処理装置およびプログラム | |
Zelek et al. | A haptic glove as a tactile-vision sensory substitution for wayfinding | |
US10845894B2 (en) | Computer systems with finger devices for sampling object attributes | |
US20190171291A1 (en) | Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects | |
CN108541320A (zh) | 用于向用户提供指示一种或多种局部皮肤产品与个人护理设备的适合程度的建议的系统和方法 | |
WO2006030407A1 (en) | Computer-implemented method and system for giving a user an impression of tactile feedback | |
Nakao et al. | A model for sharing haptic interaction | |
EP3906459B1 (en) | Sensing device suitable for haptic perception applications | |
Zong et al. | An exploratory study of integrative approach between 3D body scanning technology and motion capture systems in the apparel industry | |
EP2455895A1 (en) | A device for supporting a user in selecting clothes | |
Amundsen et al. | Gait analysis and visualization in a fall risk assessment system | |
CN107928668A (zh) | 身体成分测量装置以及与其无线连接的移动终端 | |
Guerraz et al. | How to use physical parameters coming from the haptic device itself to enhance the evaluation of haptic benefits in user interface? | |
JP2017146830A (ja) | 質感提示装置および方法 | |
Teo et al. | WeightSync: Proprioceptive and Haptic Stimulation for Virtual Physical Perception | |
JP2019160035A (ja) | 触感情報システム、触感情報処理装置およびプログラム | |
JP7046667B2 (ja) | 情報処理装置、プログラム | |
Thalmann | Sensors and actuators for HCI and VR: a few case studies | |
Edwards | Signal Processing Comes to the Senses: Signal processing is making an impact in taste, sentiment, and touch research [Special Reports] |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6948971 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |