JP2021022004A - データ再生装置、データ生成装置、データ構造、データ再生方法、およびデータ生成方法 - Google Patents
データ再生装置、データ生成装置、データ構造、データ再生方法、およびデータ生成方法 Download PDFInfo
- Publication number
- JP2021022004A JP2021022004A JP2019136408A JP2019136408A JP2021022004A JP 2021022004 A JP2021022004 A JP 2021022004A JP 2019136408 A JP2019136408 A JP 2019136408A JP 2019136408 A JP2019136408 A JP 2019136408A JP 2021022004 A JP2021022004 A JP 2021022004A
- Authority
- JP
- Japan
- Prior art keywords
- contact portion
- information
- tactile sensation
- tactile
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000035807 sensation Effects 0.000 claims abstract description 146
- 230000006870 function Effects 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 15
- 230000006854 communication Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
以下、本発明の一実施形態について、詳細に説明する。
本実施形態に係る触感再現システムは、ユーザが対象物に触れた際の触感をセンシング(測定)して別のデバイス上に再現するためのシステムである。以下の例において、触感再現システムは、センシングされた触感に関するデータを、機械学習を用いてエンコーダ側で特徴量空間の領域にマッピングし、デコーダ側で当該領域を示す情報を参照して対象物の触感を再現する。なお、本明細書において「対象物」とは、ユーザが触れる対象となる物体、またはそれに相当する観念を意味する。また、本明細書において特徴量空間の「領域」には、例えば点、曲線、曲面または多次元曲面等の概念が含まれる。なお、当該「領域」を表す情報は、本発明における「触感情報」の一例に相当する。
図3は、本実施形態に係る触感再現システム1の機能ブロック図である。触感再現システム1は、図3に示すように、エンコーダ10、デコーダ30、センサ群5、センサ群9、及び出力部71を備えている。以下、触感再現システム1の構成要素ごとに説明を行う。
センサ群5は、触覚指標情報と、第1接触部特性情報とをセンシングするための測定装置である。触覚指標情報、及び第1接触部特性情報の詳細については後述する。
センサ群9は、第2接触部特性情報をセンシングするための測定装置である。センサ群9に含まれるセンサの種類および数は、第2接触部特性情報の種類に基づいて定められる。センサ群9の詳細は、上述したセンサ群5のうち第1接触部特性情報を測定するためのセンサ群と同様に説明される。ただし、センサ群9の詳細は、上述した構成に限定されない。また、センサ群9は、センサ群5のうち第1接触部特性情報を測定するためのセンサ群の全てと同種類のセンサ群を含まなくてもよい。例えば、センサ群5には、第1接触部の摩擦特性を測定する装置が含まれ、センサ群9には、第2接触部の摩擦特性を測定する装置が含まれていなくてもよい。また、センサ群5に含まれる第1接触部の硬度を測定する装置と、センサ群9に含まれる第2接触部の硬度を測定する装置とは、必ずしも同種類の装置である必要はない。
センサ群5によってセンシングされた触覚指標情報および第1接触部特性情報は、触覚記録データ181として記憶部17に記憶される。なお、触覚記録データ181を参照して特定される特徴量空間の領域(触感情報)は、デコーダ30によって参照される。換言すると、触覚記録データ181は、デコーダ30によって参照される。図4は、触覚記録データのデータ構造を模式的に説明する図である。図4に示すように、触覚記録データは、触覚指標情報と、第1接触部特性情報とを含む。
エンコーダ10は、触覚記録データを入力データとして、上記入力データによって特定される特徴量を示す情報であって、特徴量空間における領域を示す情報(触感情報)および第1接触部特性情報を出力データとして生成する装置である。図3に示すように、エンコーダ10は、制御部11、記憶部17および通信部19を備えている。
デコーダ30は、エンコーダ10から受信した触感情報および第1接触条件情報と、デコーダ30側で取得される第2接触条件情報とを入力データとして、対象物の触感を再現するための再現情報を生成する装置である。再現情報は、1又は複数の触覚指標のそれぞれに関する物理現象を表す。各触覚指標に対応する再現情報は、当該物理現象の時系列データで表されていてもよい。再現情報の構成は、エンコーダ10において取得される触覚指標情報と同様である。図3に示すように、デコーダ30は、制御部31、記憶部37および通信部39を備えている。
出力部71は、第2接触部を対象として、対象物の触感を再現するための装置である。図3に示すように、出力部71は、表示部72および出力デバイス73を備えている。
以下、触感再現システム1が実行する動作について説明する。
続いて、学習部15が学習済みモデル18を学習させる処理について補足する。本実施形態に係る学習部15は、複数の触覚指標に関する実測データ(触覚指標情報)と、特徴量空間における領域を示す情報(触感情報の正解データ)とを含む教師データを用いて学習済みモデル18を学習させる。例えば学習部15は、記憶部17に格納されたパラメータセットの値を、学習済みモデル18の出力値によって規定される損失関数を減少させる勾配方向に更新する。
本実施形態において、学習済みモデル18および学習済みモデル38は、第1接触部および第2接触部の各々の特性を考慮せずに学習されるものとして説明した。ただし、本実施形態は、学習済みモデル18および学習済みモデル38が、第1接触部および第2接触部の各特性を考慮して学習される形態に変形することができる。
上述した実施形態において、制御部11が学習部15を備えること、及び、学習部15による学習処理によって機械学習に用いるパラメータセットの値を更新されることは必須ではなく、固定的な学習済みモデル18、38が用いられる構成でもよい。また、出力部71が表示部72を備えること、及び、対象物表面の画像が画面に表示されることは必須ではない。
触覚指標情報及び再現情報の具体的構成例について図7〜図12を参照して説明する。これらの図は、入力データ取得部12が取得し、特徴量特定部13によって参照される触覚指標情報、又はデータ生成部34によって生成される再現情報の一例を示している。
エンコーダ10の制御ブロック(特に入力データ取得部12、特徴量特定部13、データ生成部14、学習部15および通信制御部16)、及びデコーダ30の制御ブロック(特に入力データ取得部32、データ生成部34、通信制御部35および表示制御部36)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
5、9 センサ群
10 エンコーダ
11、31 制御部
12、32 入力データ取得部
13 特徴量特定部
14、34 データ生成部
15 学習部
16、35 通信制御部
17、37 記憶部
18、38 学習済みモデル(モデル)
19、39 通信部
30 デコーダ
36 表示制御部
71 出力部
72 表示部
73 出力デバイス
181 触覚記録データ
Claims (10)
- 対象物の触感を表す触感情報と、前記触感を感受した第1接触部の特性を示す第1接触部特性情報とを取得する取得部と、
前記触感情報と前記第1接触部特性情報とを参照して、第2接触部に対して前記触感を再現するための再現情報を生成する再現情報生成部と
を備えていることを特徴とするデータ再生装置。 - 前記第1接触部特性情報には、
前記第1接触部の硬度、
前記第1接触部の温度、
前記第1接触部の熱抵抗、
前記第1接触部の振動伝達関数、
前記第1接触部の振動、及び
前記第1接触部の摩擦特性
をそれぞれ表す情報の少なくとも何れかが含まれる請求項1に記載のデータ再生装置。 - 前記取得部は、前記第2接触部の特性を示す第2接触部特性情報を取得し、
前記再現情報生成部は、前記触感情報、前記第1接触部特性情報、及び前記第2接触部特性情報を参照して、前記再現情報を生成する
ことを特徴とする請求項1又は2に記載のデータ再生装置。 - 前記再現情報生成部は、
前記触感情報を参照して補正前再現情報を生成し、
生成した前記補正前再現情報を、前記第1接触部特性情報及び前記第2接触部特性情報を参照して補正することにより、前記再現情報を生成する
ことを特徴とする請求項3に記載のデータ再生装置。 - 前記再現情報生成部は、
前記触感情報と前記第1接触部特性情報とを含む教師データを用いて予め学習されたモデルに、前記取得部が取得した前記触感情報と前記第2接触部特性情報とを入力することによって、前記再現情報を生成する
ことを特徴とする請求項3に記載のデータ再生装置。 - 対象物の触感に関わる1又は複数の触覚指標について生じる物理現象を表す触覚指標情報と、前記触感を感受した第1接触部の特性を示す第1接触部特性情報とを取得する取得部と、
前記触覚指標情報に基づいて生成した前記触感を表す触感情報と、前記第1接触部特性情報とを出力する触感情報出力部と
を備えていることを特徴とするデータ生成装置。 - 対象物の触感に関わる1又は複数の触覚指標について生じる物理現象を表す触覚指標情報と、
前記触感を感受した第1接触部の特性を示す第1接触部特性情報と
を含み、データ再生装置によって参照されるデータのデータ構造であって、
前記データ再生装置は、
前記触覚指標情報に基づいて生成された触感情報と、前記第1接触部特性情報とを参照して、第2接触部に対して前記触感を再現するための再現情報を生成する
ことを特徴とするデータ構造。 - 前記第1接触部特性情報には、
前記第1接触部の硬度、
前記第1接触部の温度、
前記第1接触部の熱抵抗、
前記第1接触部の振動伝達関数
前記第1接触部の振動、及び
前記第1接触部の摩擦特性
をそれぞれ表す情報の少なくとも何れかが含まれる請求項7に記載のデータ構造。 - データ再生装置が実行するデータ再生方法であって、
対象物の触感を表す触感情報と、前記触感を感受した第1接触部の特性を示す第1接触部特性情報とを取得するステップと、
前記触感情報と前記第1接触部特性情報とを参照して、第2接触部に対して前記触感を再現するための再現情報を生成するステップと
を含むことを特徴とするデータ再生方法。 - データ生成装置が実行するデータ生成方法であって、
対象物の触感に関わる1又は複数の触覚指標について生じる物理現象を表す触覚指標情報と、前記触感を感受した第1接触部の特性を示す第1接触部特性情報とを取得するステップと、
前記触覚指標情報に基づいて生成した前記触感を表す触感情報と、前記第1接触部特性情報とを出力するステップと
を含むことを特徴とするデータ生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019136408A JP7268519B2 (ja) | 2019-07-24 | 2019-07-24 | データ再生装置、データ生成装置、データ再生方法、およびデータ生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019136408A JP7268519B2 (ja) | 2019-07-24 | 2019-07-24 | データ再生装置、データ生成装置、データ再生方法、およびデータ生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021022004A true JP2021022004A (ja) | 2021-02-18 |
JP7268519B2 JP7268519B2 (ja) | 2023-05-08 |
Family
ID=74573771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019136408A Active JP7268519B2 (ja) | 2019-07-24 | 2019-07-24 | データ再生装置、データ生成装置、データ再生方法、およびデータ生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7268519B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050235032A1 (en) * | 2004-04-15 | 2005-10-20 | Mason Wallace R Iii | System and method for haptic based conferencing |
WO2010134349A1 (ja) * | 2009-05-21 | 2010-11-25 | パナソニック株式会社 | 触感処理装置 |
WO2011027535A1 (ja) * | 2009-09-03 | 2011-03-10 | パナソニック株式会社 | 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体 |
WO2017099241A1 (ja) * | 2015-12-11 | 2017-06-15 | 学校法人慶應義塾 | 触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム |
WO2017175868A1 (ja) * | 2016-04-07 | 2017-10-12 | 国立研究開発法人科学技術振興機構 | 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム、並びに、素子配置構造体 |
-
2019
- 2019-07-24 JP JP2019136408A patent/JP7268519B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050235032A1 (en) * | 2004-04-15 | 2005-10-20 | Mason Wallace R Iii | System and method for haptic based conferencing |
WO2010134349A1 (ja) * | 2009-05-21 | 2010-11-25 | パナソニック株式会社 | 触感処理装置 |
WO2011027535A1 (ja) * | 2009-09-03 | 2011-03-10 | パナソニック株式会社 | 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体 |
WO2017099241A1 (ja) * | 2015-12-11 | 2017-06-15 | 学校法人慶應義塾 | 触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム |
WO2017175868A1 (ja) * | 2016-04-07 | 2017-10-12 | 国立研究開発法人科学技術振興機構 | 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム、並びに、素子配置構造体 |
Also Published As
Publication number | Publication date |
---|---|
JP7268519B2 (ja) | 2023-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6566906B2 (ja) | ハプティックcaptcha | |
CN104049733B (zh) | 自动触觉效果调节系统 | |
KR100682901B1 (ko) | 화상표시장치에서 전기활성폴리머를 사용하여 영상정보의핑거팁 햅틱을 제공하는 장치 및 방법 | |
JP4778591B2 (ja) | 触感処理装置 | |
CN102341766B (zh) | 触感再现方法和装置 | |
US10692337B2 (en) | Real-time haptics generation | |
US11157084B2 (en) | Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects | |
WO2018009788A1 (en) | Multimodal haptic effects | |
JP2017182495A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6984613B2 (ja) | 出力制御装置、出力制御方法、およびプログラム | |
JP6809712B2 (ja) | 触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム | |
JP2021022005A (ja) | 情報処理装置および制御方法 | |
JP7268519B2 (ja) | データ再生装置、データ生成装置、データ再生方法、およびデータ生成方法 | |
JP6107271B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP5057285B2 (ja) | 触覚の視覚的表現方法および触覚の視覚的表現装置 | |
JP6315122B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
US11438451B2 (en) | Method for and a communication device adapted to modify the shape of the device | |
Junput et al. | Touch it, rub it, feel it! haptic rendering of physical textures with a low cost wearable system | |
JP7220107B2 (ja) | 情報処理装置、および情報処理装置の制御方法 | |
JP7220108B2 (ja) | 情報処理装置、および情報処理装置の制御方法 | |
Kimura et al. | Effect of delays in softness display using contact area control: rendering of surface viscoelasticity | |
JP7188268B2 (ja) | 情報処理装置、および情報処理装置の制御方法 | |
Lousada et al. | Exploring Pseudo-Haptics for Object Compliance in Virtual Reality | |
JP2021022006A (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230404 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7268519 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |