JP2021022005A - 情報処理装置および制御方法 - Google Patents

Abstract

【課題】対象物の触感の再現性を向上させる。【解決手段】本発明の一態様に係る情報処理装置（３０）は、入力データを取得する入力データ取得部（３２）と、少なくとも振動を含む、互いに異なる複数の触覚指標に関するデータを参照して学習された学習済みモデルを用いることにより、前記入力データから、前記複数の触覚指標に関する出力データを生成するデータ生成部（３４）と、を備えている。【選択図】図３

Description

本発明は、情報処理装置および制御方法に関する。

ユーザが対象物に触れた際に表面に生じる物理現象を記録および再生、又は生成することにより、対象物の触感を再現する技術が公知である。非特許文献１では、対象物に触れた際の触振動を画像から生成可能なＴａｃｔＧＡＮと呼ばれる技術が開示されている。

"東大と日立の研究者、素材に触れた時の触振動を画像からそれっぽく生成し、効率的な触感デザインを可能とする手法「ＴａｃｔＧＡＮ」を発表"、[online］、The University of Tokyo, Hitachi, Ltd. 、[２０１９年６月２５日検索]、インターネット（ＵＲＬ：https://shiropen.com/seamless/tactgan）

しかしながら、上述のような従来技術において、再現可能な物理現象は、対象物の表面に生じる振動に留まり、触感がよりリアルになるように改善できる余地がある。本発明の一態様は、対象物の触感の再現性を向上させることを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、入力データを取得する入力データ取得部と、少なくとも振動を含む、互いに異なる複数の触覚指標に関するデータを参照して学習された学習済みモデルを用いることにより、前記入力データから、前記複数の触覚指標に関する出力データを生成するデータ生成部と、を備えている。上記の構成によれば、対象物の触感の再現性を向上させることに寄与する。

本発明の態様２に係る情報処理装置は、上記態様１において、前記学習済みモデルが参照する特徴量空間における領域を、前記入力データを参照して特定する特徴量特定部を更に備え、前記データ生成部は、前記特徴量特定部が特定した前記領域を示す情報を前記学習済みモデルに入力することによって、前記複数の触覚指標に関する前記出力データを生成する構成であってもよい。上記の構成によれば、特徴量空間を介する構成によって出力データを生成することができる。

本発明の態様３に係る情報処理装置は、上記態様２において、前記データ生成部は、前記特徴量空間において、前記特徴量特定部が特定した前記領域の周辺に位置する１又は複数の特徴量を用いて合成特徴量を算出し、算出した前記合成特徴量を示す情報を前記学習済みモデルに入力することによって、前記複数の触覚指標に関する前記出力データを生成する構成であってもよい。上記の構成によれば、既知の特徴量から算出された合成特徴量を用いて出力データを生成することができる。

本発明の態様４に係る情報処理装置は、上記態様１から３のいずれかにおいて、前記複数の触覚指標に含まれる、振動以外の触覚指標には、対象物表面の摩擦、対象物の硬度および対象物の温度の少なくとも何れかに関する指標が含まれていてもよい。上記の構成によれば、対象物表面の摩擦、対象物の硬度または対象物の温度についての触感の再現性を向上させることができる。

本発明の態様５に係る情報処理装置は、上記態様１から４のいずれかにおいて、前記複数の触覚指標を含む教師データを参照して前記モデルを学習させる学習部を更に備えていてもよい。上記の構成によれば、学習を行うことにより、モデルの精度を向上させることができる。

本発明の態様６に係る情報処理装置は、上記態様５において、前記学習部は、前記複数の触覚指標に関する実測データと前記特徴量空間における領域を示す情報とを含む教師データを用いて前記モデルを学習させてもよい。上記の構成によれば、モデルの学習に上述した教師情報を用いることができる。

本発明の態様７に係る情報処理装置は、上記態様５または６において、前記教師データには、対象物に接触する接触部の硬度、温度、熱抵抗、及び振動伝達関数の少なくとも何れかが含まれており、前記データ生成部は、前記接触部の硬度、温度、熱抵抗、及び振動伝達関数の少なくとも何れかを参照して、前記出力データを生成してもよい。上記の構成によれば、対象物に接触する接触部の硬度等の状態が反映された出力データを生成することができる。

上記の課題を解決するために、本発明の一態様に係る情報処理装置の制御方法は、入力データを取得する入力データ取得ステップと、少なくとも振動を含む、互いに異なる複数の触覚指標に関するデータを参照して学習された学習済みモデルを用いることにより、前記入力データから、前記複数の触覚指標に関する出力データを生成するデータ生成ステップと、を含んでいる。上記の構成によれば、本発明の一態様に係る情報処理装置と同様の効果を奏する。

上記の問題を解決するために、本発明の一態様に係る再生デバイスは、少なくとも振動を含む、互いに異なる複数の触覚指標に関するデータを参照して、前記データに対応する対象物の触感を再生する。上記の構成によれば、対象物の振動を含む触感を再生できる。

また、本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより前記情報処理装置をコンピュータにて実現させる制御プログラムおよびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。

本発明の一態様によれば、対象物の触感の再現性を向上させることに寄与する。

実施形態１に係る触感再現システムの再現図である。 実施形態１の構成を示す概念図である。 実施形態１に係る触感再現システムの機能ブロック図である。 再生デバイスの断面図の一例を示す図である。 実施形態１に係る触感再現システムにおける処理の流れを示すフローチャートである。 実施形態２の構成を示す概念図である。 実施形態２に係る触感再現システムの機能ブロック図である。 デコーダ上に再現されたイコライザを例示する図である。 実施形態３に係る触感再現システムの機能ブロック図である。 実施形態３に係る触感再現システムにおける処理の流れを示すフローチャートである。 触覚指標に関するデータの一例を示す図である。 触覚指標に関するデータの一例を示す図である。 ハンマリング波形のグラフの一例を示す図である。 周波数特性のグラフの一例を示す図である。 伝達関数のグラフの一例を示す図である。 弾力測定データのグラフの一例を示す図である。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。

≪触感再現システムの概要≫
本発明の一態様に係る触感再現システムは、ユーザが対象物に触れた際の触感をセンシングして別のデバイス上に再現するためのシステムである。以下の例において、触感再現システムは、センシングされた、触感を示す触覚指標に関する系列データを、機械学習を用いてエンコーダ側で特徴量空間の領域にマッピングし、デコーダ側で当該領域を示す情報を参照して対象物の触感を示す系列データを再現する。なお、本明細書において「対象物」とは、ユーザが触れる対象となる物体、またはそれに相当する観念を意味する。また、本明細書において特徴量空間の「領域」には、例えば点、曲線、曲面または多次元曲面等の概念が含まれる。

また、本明細書における系列データとは、時系列データを含む概念であり、例えば、図１に示すように、荷重に関する時系列データ、温度に関する時系列データ、及び荷重と変位との関係を示すデータ等が含まれる。

図１は、本実施形態に係る触感再現システム１の概念図である。図１に示すように、触感再生システムは、エンコーダ１０としての情報処理装置、及び触覚指標に関するデータをセンシングするセンサ群５、並びにデコーダ３０としての情報処理装置、及び対象物の触感を再生するための出力デバイスを備える。これらの装置は、互いに有線または無線で接続されている。また、図２は、図１に示す構成を別の態様で示す概念図である。図２を参照しての説明については後述する。

≪要部構成≫
図３は、本実施形態に係る触感再現システム１の機能ブロック図である。触感再現システム１は、図３に示すように、センサ群５、エンコーダ１０、デコーダ３０、及び出力部７１を備えている。以下、触感再現システム１の構成要素ごとに説明を行う。

（センサ群５）
センサ群５は、触覚指標に関する系列データをセンシングするための測定装置である。ここで、触覚指標に関する系列データには、ユーザが指等で対象物に触れた際に、接触箇所がどのように振動したかを示す情報が少なくとも含まれる。また、触覚指標には、振動以外にも、例えば対象物表面の摩擦、対象物の硬度および対象物の温度の少なくとも何れかに関する指標が含まれ得る。これにより、対象物表面の摩擦、対象物の硬度または対象物の温度についての触感の再現性を向上させることができる。また、本明細書では、対象物又は再生デバイス７３に触れるユーザの指等のことを、接触部と呼称することもある。

また、例えば、触覚指標に関するデータには、対象物にかかる圧力、対象物のせん断力、ユーザの手指と対象物との摩擦係数等、対象物と該対象物に触れたユーザの手指との間で生じる物理作用に係るデータが含まれていてもよい。また例えば、触覚指標に関するデータには、ユーザが対象物に触れたときの手指の軌跡、または対象物との接触時間等を示すデータが含まれていてもよい。

センサ群５に含まれるセンサの種類および数は、エンコーダ１０における学習済みモデルの構築に必要とされる触覚指標に関するデータの種類に基づいて定められてよい。例えば、センサ群５には、対象物にかかる圧力を測定するための圧力センサが含まれていてもよい。

また、センサ群５には、手指の軌跡を測定するためのカメラ等が含まれていてもよい。また、センサ群５には、手指と対象物との接触時間を測定するタイマーが含まれていてもよい。

（エンコーダ１０）
エンコーダ（情報処理装置）１０は、触覚指標に関する系列データを入力データとして、上記入力データによって特定される特徴量を示す情報であって、特徴量空間における領域を示す情報を出力データとして生成する装置である。図３に示すように、エンコーダ１０は、制御部１１、記憶部１７および通信部１９を備えている。

制御部１１は、エンコーダ１０全体を統括する制御装置であって、入力データ取得部１２、特徴量特定部１３、データ生成部１４、学習部１５および通信制御部１６としても機能する。

入力データ取得部１２は、センサ群５から触覚指標に関する系列データを入力データとして取得する。ここでの入力データとは、ユーザが対象物に触れた場合における、センサ群５によるセンシング結果を示す情報であって、図２における系列データ１０１に相当する情報である。また、図示していないが、入力データ取得部１２は、通信部１９を介して系列データを入力データとして取得してもよい。

特徴量特定部１３は、学習済みモデル３８が参照する特徴量空間における領域であって、特徴量を示す領域を、上記入力データを参照して特定する。換言すると、特徴量特定部１３は、上記入力データを、学習済みモデル１８に入力し、学習済みモデル１８が出力する領域を当該入力データに対応する特徴量として特定する。ここで、特徴量空間とは、対象物の触感に関する特徴量を成分とするベクトルが規定する空間である。また、本明細書において、モデルが学習済みであるとは、現時点以降に更なるモデルの学習が行えないことを意味しない。

また、学習済みモデル１８とは、触覚指標に関するデータと、特徴量空間における領域とを対応付けるためのモデルである。ここで、上記触覚指標に関するデータの次元数と、特徴量空間の次元数とは互いに異なっていてもよく、後者の方が小さい構成が好適である。また、学習済みモデル１８は特徴量空間を規定する。換言すると、学習済みモデル１８は特徴量空間ＣＳを生成する。例えば、学習済みモデル１８の出力データの次元数が６４次元であれば、特徴量特定部１３は、次元数６４を有する特徴量空間における特徴量を特定する。また、学習済みモデル１８は、例えば系列データを入力データとして、特徴量空間における所定の特徴量を正解データとする教師データを用いて学習されたものであってもよい。

また、学習済みモデル１８、及び後述する学習済みモデル３８は、特定の構成に限定されないが、例えば、畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）及び、再帰型ニューラルネットワーク（RNN: Recurrent Neural Network）の少なくとも何れかを含む構成としてもよい。

データ生成部１４は、上記領域を特定するための情報である出力データを生成する。また、この出力データ自体も、触覚指標に関するデータである。即ち、データ生成部１４は、入力データ取得部１２が取得した入力データから、少なくとも振動を含む、複数の触覚指標に関する出力データを生成する。通信制御部１６は、通信部１９による通信処理に係る制御を行う。

学習部１５は、記憶部１７内の後述するパラメータセットを、少なくとも振動を含む、互いに異なる複数の触覚指標を含む教師データを参照して更新することによって、学習済みモデル１８の学習を行う。ここで、パラメータセットの更新処理の詳細は本実施形態を限定するものではないが、例えば、学習済みモデル１８にＣＮＮを用いる場合、バックプロパゲーションの手法を用いればよい。

記憶部１７は、各種データを保存する記憶装置である。また、記憶部１７は、学習済みモデル１８を規定するパラメータセットを格納する。

通信部１９は、デコーダ３０等の外部装置との通信処理を行う。通信部１９は、例えばデータ生成部１４が生成したデータをデコーダ３０に送信する。

また、触感再現システム１を構成する各装置等、特にエンコーダ１０とデコーダ３０とは、インターネットを介して接続されていてもよい。換言すると、触感再現システム１を構成する各装置等は、互いに遠隔地に配置される構成であってもよい。また、センサ群５は、エンコーダ１０と一体であってもよいし、エンコーダ１０の一部に含まれるものと解してもよい。

（デコーダ３０）
デコーダ（情報処理装置）３０は、エンコーダ１０から受信したデータを入力データとして、対象物の触感を再生するための系列データを出力データとして生成する装置である。図３に示すように、デコーダ３０は、制御部３１、記憶部３７および通信部３９を備えている。

制御部３１は、デコーダ３０全体を統括する制御装置であって、入力データ取得部３２、特徴量特定部３３、データ生成部３４、通信制御部３５および表示制御部３６としても機能する。

入力データ取得部３２は、一例として、通信部３９を介して、エンコーダ１０から出力されたデータを、入力データとして取得する。特徴量特定部３３は、上述した特徴量空間における領域を、上記入力データを参照して特定する。

データ生成部３４は、上記領域を示す情報を参照して、学習済みモデル３８を用いて対象物の触感を再生するための出力データを生成する。ここでの出力データとは、図２における系列データ１０２に相当する情報である。つまり換言すれば、データ生成部３４は、特徴量特定部３３が特定した特徴量空間の領域を示す情報を学習済みモデル３８に入力することによって、複数の触覚指標に関する出力データである系列データ１０２を生成する。

ここで、学習済みモデル３８とは、特徴量と触覚指標に関する系列データとを対応付けるためのモデルである。また、学習済みモデル３８は、例えば特徴量を入力データとして、所定の系列データを正解データとする教師データを用いて学習されたものであってもよい。

また、学習済みモデル３８は、例えば学習済みモデル１８が更新された場合に更新され、学習済みモデル１８と同一の対応付けであって、系列データと特徴量との対応付けが用いられる構成であってもよいし、そうでなくてもよい。これを別の側面から言えば、一例としてエンコーダ１０は、触覚指標に関する入力データから特徴量を求める関数として学習済みモデル１８を用い、デコーダ３０は、その逆関数として学習済みモデル３８を用いる、と表現してもよい。或いは後述するように、学習済みモデル３８は、学習済みモデル１８とは独立して学習処理がなされる構成でもよい。

また、本明細書においては、学習済みモデル１８と学習済みモデル３８とを合わせて、これらを単に「学習済みモデル」と呼称することもある。

通信制御部３５は、通信部３９による通信処理に係る制御を行う。なお、図示していないが、通信制御部３５は、データ生成部３４が生成した出力データを、通信部３９を介して出力部７１に送信してもよい。表示制御部３６は、表示部７２による画面表示に係る制御を行う。

記憶部３７は、各種データを保存する記憶装置である。また、記憶部３７は、学習済みモデル３８を規定するパラメータセットを格納する。通信部３９は、エンコーダ１０等の外部装置との通信処理を行う。

（出力部７１）
出力部７１は、ユーザの指等を対象として、対象物の触感を再生するための装置である。図３に示すように、出力部７１は、表示部７２および再生デバイス７３を備えている。

表示部７２は、少なくとも画像を表示可能な表示パネルであって、対象物表面の画像を表示する。再生デバイス７３は、図１に示すように、指を乗せてマウスのように表示部７２上を移動可能なデバイスである。

また、再生デバイス７３は、データ生成部３４が生成したデータであって、少なくとも振動を含む、互いに異なる複数の触覚指標に関するデータを参照して、当該データに対応する対象物の触感を再生する。

図４は、再生デバイス７３の断面図の一例を示す図である。再生デバイス７３は、サーボ素子７５によって、対象物の硬度を再現する。また、ペルチェ素子７６によって対象物の温冷を再現する。また、振動子７７によって、対象物に生じる振動を再現する。また、指を置く面と反対側の面に配置されたスライダ７８において、静電力によって垂直抗力を生じさせ、指が対象物に触れた際の摩擦を再現する。

なお、再生デバイス７３は、ユーザの指が自装置に触れていることを検出している場合にのみ、対象物の触感を再生する構成であってもよい。また、出力部７１は、デコーダ３０と一体であってもよいし、デコーダ３０の一部に含まれるものとしてもよい。

また、対象物に触れてセンサ群５を用いるユーザと、出力部７１を用いるユーザとは、通常、互いに異なるユーザであることを想定しているが、例えば触感の再現度を確認する場合等には、同一のユーザであることもあり得る。また、別の態様として、エンコーダ１０とデコーダ３０とが一体である構成であってもよい。

≪触感再現処理≫
以下、情報処理装置（エンコーダ、デコーダ）の制御方法であって、入力データを取得する入力データ取得ステップと、少なくとも振動を含む、互いに異なる複数の触覚指標に関するデータを参照して学習された学習済みモデルを用いることにより、上記入力データから、上記複数の触覚指標に関する出力データを生成するデータ生成ステップと、を含む制御方法の一例について説明する。

図５は、本実施形態に係る触感再現システム１における処理の流れを示すフローチャートである。図５に示す処理のうち、ステップＳ１０１〜Ｓ１０４は、センサ群５を含むエンコーダ１０側における処理であり、ステップＳ１０５〜Ｓ１０８は、出力部７１を含むデコーダ３０側における処理である。なお、デコーダ３０側における処理が実行されるタイミングは、エンコーダ１０側における処理が終了した直後でなくともよく、時間的な隔たりがあってもよい。

ステップＳ１０１において、センサ群５は、ユーザが対象物に触れた際における触覚指標に関するデータをセンシングする。また、入力データ取得部１２は、センシングされた当該データを取得する。

ステップＳ１０２において、特徴量特定部１３は、入力データ取得部１２が取得した入力データを参照して、学習済みモデル１８が生成する特徴量空間ＣＳにおける領域であって、当該入力データに対応する領域を特定する。

ステップＳ１０３において、データ生成部１４は、当該領域を特定するための情報である出力データを生成する。

ステップＳ１０４において、通信制御部１６は、データ生成部１４が生成した出力データを、通信部１９を介してデコーダ３０に送信する。

ステップＳ１０５において、入力データ取得部３２は、通信部３９を介して、エンコーダ１０から出力されたデータを、入力データとして取得する。

ステップＳ１０６において、特徴量特定部３３は、学習済みモデル３８が参照する特徴量空間ＣＳにおける領域を、入力データ取得部３２が取得した入力データを参照して特定する。

ステップＳ１０７において、データ生成部３４は、当該領域を示す情報を参照して、対象物の触感を再生するためのデータを生成する。また、当該データは、出力部７１に送信される。

ステップＳ１０８において、出力部７１は、データ生成部３４から入力されたデータを参照して、対象物の触感を再生する。

≪モデル学習処理≫
続いて、学習部１５が学習済みモデル１８を学習させる処理について補足する。本実施形態に係る学習部１５は、少なくとも振動を含む、互いに異なる複数の触覚指標に関する実測データと、特徴量空間における領域を示す情報とを含む教師データを用いて学習済みモデル１８を学習させる。例えば学習部１５は、記憶部１７に格納されたパラメータセットの値を、学習済みモデル１８の出力値によって規定される損失関数を減少させる勾配方向に更新する。

なお、学習部１５がモデルの学習を行うタイミングは、特定のタイミングに限定されない。例えば所定時刻の到来、若しくは前回学習を行ってからの所定時間の経過によって、又はユーザの指示に応じて学習処理が実行されてもよい。

また、デコーダ３０の記憶部３７に格納されたパラメータセットは、エンコーダ１０の記憶部１７に格納されたパラメータセットが更新された場合に当該パラメータセットの更新に対応するように制御部３１によって更新される構成であってもよい。或いは別の態様として、デコーダ３０の制御部３１が学習部として機能し、エンコーダ１０側における学習処理とは独立して、制御部３１が、記憶部３７に格納されたパラメータセットを更新する構成であってもよい。

また、学習部１５は、制御部３１との協働によって、系列データ１０１、１０２に相当するデータの組を教師データとして用いて学習済みモデル１８、３８の学習処理を同時に行ってもよい。

〔実施形態２〕
本発明の第２の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて既に説明した事項については、重複する説明を繰り返さない。また、以降の実施形態においても同様である。本実施形態においては、未知の対象物の触感を再現するために、デコーダ側の学習済みモデル３８が生成する特徴量空間において、複数の既知の特徴量を合成した合成特徴量を用いる構成について説明する。なお、本実施形態の構成は、後述する実施形態３とも複合可能である。

≪要部構成≫
本実施形態に係る触感再現システム１も、図３の機能ブロック図に示す構成と同様の構成を備えている。ただし、本実施形態に係るデータ生成部３４は、特徴量特定部３３が特定した、特徴量空間の領域の周辺に位置する１又は複数の特徴量を用いて合成特徴量を算出し、算出した合成特徴量を示す情報を学習済みモデル３８に入力することによって、複数の触覚指標に関する出力データを生成する構成である。ここで上記領域の「周辺」とは、当該領域から所定の距離以内である範囲であるものとしてもよい。

また、上記周辺に位置する１又は複数の特徴量を特定するのは、データ生成部３４と特徴量特定部３３との何れであってもよいし、特に区別されずともよい。また、表示部７２には、複数の対象物の表面が合成された画像が表示されてもよい。

また、記憶部３７には、エンコーダ１０が生成した領域であって、実測データに対応する特徴量空間中の領域である実測データ領域を特定するための情報である実測データ領域情報が格納されている。

≪触感再現処理≫
図６は、本実施形態の構成を示す概念図である。また、図７は、本実施形態に係る触感再現システム１における処理の流れを示すフローチャートである。

ステップＳ１０１〜ステップＳ１０５においては、実施形態１と同様の処理が実行される。ただし、ステップＳ１０５において入力データ取得部３２がエンコーダ１０から取得したデータは、実測データ領域情報として記憶部３７に格納される。

ステップＳ２０６において、特徴量特定部３３は、特徴量空間ＣＳにおける任意の領域を特定する。また、上記任意の領域は、例えば、入力データ取得部３２がエンコーダから取得したデータを、特徴量特定部３３が参照して決定した領域であってもよい。

ステップＳ２０７において、データ生成部３４は、図６の概念図１０５に示すように、特徴量特定部３３が特定した領域の周辺に位置する特徴量から、合成特徴量を算出する。ここで、上記領域の周辺に位置する特徴量とは、記憶部３７に実測データ領域情報が格納されている特徴量である。

また、概念図１０５に示すように、合成特徴量の算出においては、特徴量特定部３３が特定した領域と、上記周辺に位置する特徴量との距離が参酌される。ここで、データ生成部３４が、何れの特徴量を合成に用いるかは、特定の構成に限定されない。また、ステップＳ１０１〜Ｓ１０６の処理が複数回実行され、データ生成部３４が、特徴量特定部３３が特定した複数の領域が示す各特徴量を用いて合成特徴量を算出する構成であってもよい。

図６の概念図１０５は、データ生成部３４が、記憶部３７に実測データ領域情報が格納されている特徴量Ａ、Ｂ、Ｃを用いて合成特徴量を算出する例を示している。この例において、１／β_Ａ、１／β_Ｂ、１／β_Ｃは、それぞれ特徴量Ａ、Ｂ、Ｃと特徴量特定部３３が特定した領域との特徴量空間ＣＳ中における距離を示している。データ生成部３４は、特徴量Ａ、Ｂ、Ｃと値β_Ａ、β_Ｂ、β_Ｃとの積和によって合成特徴量を算出する。

ステップＳ２０８において、データ生成部３４は、算出した合成特徴量を示す情報を参照して、対象物の触感を再生するためのデータを生成する。また、当該データは、出力部７１に送信される。

ステップＳ１０８において、出力部７１は、データ生成部３４から入力されたデータを参照して、対象物の触感を再生する。

なお、本実施形態の別の態様として、エンコーダ１０からデコーダ３０に情報が送信されない構成であってもよい。これは、触感再現システム１がエンコーダ１０及びセンサ群５を備えない構成であってもよいことを示している。例えば当該構成において、入力データ取得部３２は、特徴量を特定するための入力データとして、ユーザがデコーダを操作することによって指定した触感を示す情報を取得する構成であってもよい。図８は、ユーザが所望する特徴量を指定するためのイコライザであって、特徴量空間に対応するイコライザの一例を示す図である。特徴量特定部３３は、入力データ取得部３２が取得したデータを参照して、特徴量空間の領域であって、図８のイコライザによる指定に対応する領域を特定する。

〔実施形態３〕
本発明の第３の実施形態について、以下に説明する。本実施形態においては、対象物の触感を再現するにあたり、接触部、即ち対象物および再生デバイス７３に触れる各ユーザの指等の物性（状態）が参酌される構成について説明する。

≪要部構成・モデル学習処理≫
図９は、本実施形態に係る触感再現システム１ａの機能ブロック図である。本実施形態に係る触感再現システムは、出力部７１を用いるユーザの接触部の物性を測定するためのカメラや温度センサが含まれるセンサ群９を備える。なお、センサ群９は、出力部７１が備える構成であってもよい。また、本実施形態に係るセンサ群５には、センサ群５を用いるユーザの接触部の物性を測定するためのカメラや温度センサが含まれる構成である。なお、対象物および再生デバイス７３を、各ユーザが接触部をどのように動かして触ったかというデータ、換言すると、ユーザが対象物に触れたときの手指の軌跡、または対象物との接触時間等を示すデータは、接触部の物性に含まれるものとしてもよい。

また、本実施形態に係る学習部１５が用いる教師データには、対象物に接触する接触部の物性として、当該接触部の温度、熱抵抗、及び振動伝達関数の少なくとも何れかが含まれる構成である。これは、学習済みモデル１８が生成する特徴量空間、及び学習済みモデル３８が生成する特徴量空間には、上述した接触部の物性を示す情報が反映されることを意味する。

このような構成において、本実施形態に係るデータ生成部１４は、対象物に接触する接触部の温度、熱抵抗、及び振動伝達関数の少なくとも何れかを参照して、出力データを生成する構成としてもよい。一例として、データ生成部１４は、入力データ取得部３２が取得した入力データが示す特徴量空間ＣＳ中の領域に対応する系列データを生成し、生成した系列データを、対象物に接触する接触部の温度、熱抵抗、及び振動伝達関数の少なくとも何れかを参照して補正することによって、出力データを生成する構成としてもよい。

また、本実施形態に係るデコーダ３０が備えるデータ生成部３４は、対象物に接触する接触部の物性を間接的に参照し、且つ再生デバイス７３に接触する接触部の物性として、当該接触部の温度、熱抵抗、及び振動伝達関数の少なくとも何れかを参照して、出力データを生成する構成である。

一例として、データ生成部３４は、特徴量空間中の領域を参照して、対象物の触感を再生するためのデータを生成し、当該データを、再生デバイス７３に接触する接触部の温度、熱抵抗、及び振動伝達関数の少なくとも何れかを参照して補正する構成としてもよい。

これにより、対象物に接触する接触部の物性が反映された出力データを生成することができる。

≪触感再現処理≫
図１０は、本実施形態に係る触感再現システム１ａにおける処理の流れを示すフローチャートである。

Ｓ３０１において、センサ群５は、ユーザが対象物に触れた際における触覚指標に関するデータに加え、対象物に接触する接触部の物性をセンシングする。また、入力データ取得部１２は、センシングされた当該データを取得する。なお、接触部の物性についても、ユーザが対象物に触れた際における触覚指標に含まれるものとしてもよい。

続いてステップＳ１０２〜ステップＳ１０５においては、実施形態１と同様の処理が実行される。

ステップＳ３０６において、センサ群９は、再生デバイス７３に接触する接触部の物性をセンシングする。また、当該情報はデコーダ３０に送信される。

ステップＳ３０７において、特徴量特定部３３は、学習済みモデル３８が参照する特徴量空間ＣＳにおける領域であって、再生デバイス７３に接触する接触部の上記物性に応じた領域を、入力データ取得部３２が取得した入力データ等を参照して特定する。

ステップＳ１０７およびＳ１０８においては、実施形態１と同様の処理が実行される。

本実施形態の構成によれば、例えば、対象物に触れるユーザの接触部と、出力部７１を用いるユーザの接触部との物性が互いに大きく異なる場合であっても、同じような触感を感じるように触感再現システム１ａを動作させることが可能となる。

＜実施形態１〜３に係る付記事項＞
制御部１１が学習部１５を備えること、及び、学習部１５による学習処理によって機械学習に用いるパラメータセットの値を更新されることは必須ではなく、固定的な学習済みモデル１８、３８が用いられる構成でもよい。また、出力部７１が表示部７２を備えること、及び、対象物表面の画像が画面に表示されることは必須ではない。

＜系列データの構成例＞
図２等の系列データ１０１及び１０２の具体的構成例について図１１〜図１６を参照して説明する。これらの図は、入力データ取得部１２が取得し、特徴量特定部１３によって参照される情報、又はデータ生成部３４によって生成される情報の一例を示している。

図１１の表２０１、２０２は、ユーザが対象物に触れた際の触覚指標に関するデータであって、例えば対象物の弾力等の値が時系列に沿ってどのように変化したかを示している。また、図１２の表２０３は、接触部の物性の値が時系列に沿ってどのように変化したか等を示している。ここでのハンマリングとは、対象物と接触部との接触を意味しており、図１３に例示するハンマリング波形のグラフは、表２０１におけるハンマリング時系列データの項目に対応する。表２０１に示すように、ハンマリング時系列データには、一例として、入力荷重、並びに、加速度Ｘ方向、Ｙ方向およびＺ方向等が含まれる。また、図１４に例示する周波数特性のグラフは、表２０１におけるハンマリング周波数分析の項目に対応する。表２０１に示すように、ハンマリング周波数分析には、一例として、周波数、Ｘ方向、Ｙ方向およびＺ方向のパワースペクトル等が含まれる。また、図１５に例示する伝達関数のグラフは、表２０２におけるハンマリング伝達関数の項目に対応する。表２０２に示すように、ハンマリング伝達関数には、一例として、周波数、Ｘ方向、Ｙ方向およびＺ方向の伝達関数等が含まれる。また、図１６に例示する弾力測定のグラフは、表２０２における弾力測定時系列データに対応する。表２０２に示すように、弾力測定時系列データには、弾力測定時間、弾力測定変位、最大変位Ｒ０、最小変位Ｒ１、振幅比Ｒ２、正味弾性率Ｒ５、粘弾性比Ｒ６、弾性力Ｒ７および復元率Ｒ８等が含まれる。

なお、表２０１〜２０３の例においては、0.0005秒ごとのデータが規定されているが、これに限定されるものではなく、項目ごとに互いに異なる間隔であってもよい。

〔ソフトウェアによる実現例〕
エンコーダ１０の制御ブロック（特に入力データ取得部１２、特徴量特定部１３、データ生成部１４、学習部１５および通信制御部１６）、及びデコーダ３０の制御ブロック（特に入力データ取得部３２、特徴量特定部３３、データ生成部３４、通信制御部３５および表示制御部３６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、エンコーダ１０またはデコーダ３０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１、１ａ 触感再現システム
５、９ センサ群
１０ エンコーダ（情報処理装置）
１１、３１ 制御部
１２、３２ 入力データ取得部
１３、３３ 特徴量特定部
１４、３４ データ生成部
１５ 学習部
１６、３５ 通信制御部
１７、３７ 記憶部
１８、３８ 学習済みモデル（モデル）
１９、３９ 通信部
３０ デコーダ（情報処理装置）
３６ 表示制御部
７１ 出力部
７２ 表示部
７３ 再生デバイス

Claims (9)

1. 入力データを取得する入力データ取得部と、
   少なくとも振動を含む、互いに異なる複数の触覚指標に関するデータを参照して学習された学習済みモデルを用いることにより、前記入力データから、前記複数の触覚指標に関する出力データを生成するデータ生成部と、
   を備えていることを特徴とする情報処理装置。
2. 前記学習済みモデルが参照する特徴量空間における領域を、前記入力データを参照して特定する特徴量特定部を更に備え、
   前記データ生成部は、前記特徴量特定部が特定した前記領域を示す情報を前記学習済みモデルに入力することによって、前記複数の触覚指標に関する前記出力データを生成する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記データ生成部は、
   前記特徴量空間において、前記特徴量特定部が特定した前記領域の周辺に位置する１又は複数の特徴量を用いて合成特徴量を算出し、算出した前記合成特徴量を示す情報を前記学習済みモデルに入力することによって、前記複数の触覚指標に関する前記出力データを生成する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記複数の触覚指標に含まれる、振動以外の触覚指標には、対象物表面の摩擦、対象物の硬度および対象物の温度の少なくとも何れかに関する指標が含まれる
   ことを特徴とする請求項１から３までの何れか１項に記載の情報処理装置。
5. 前記複数の触覚指標を含む教師データを参照して前記モデルを学習させる学習部を更に備える
   ことを特徴とする請求項１から４までの何れか１項に記載の情報処理装置。
6. 前記学習部は、
   前記複数の触覚指標に関する実測データと特徴量空間における領域を示す情報とを含む教師データを用いて前記モデルを学習させる
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記教師データには、対象物に接触する接触部の硬度、温度、熱抵抗、及び振動伝達関数の少なくとも何れかが含まれており、
   前記データ生成部は、前記接触部の硬度、温度、熱抵抗、及び振動伝達関数の少なくとも何れかを参照して、前記出力データを生成する
   ことを特徴とする請求項５又は６に記載の情報処理装置。
8. 情報処理装置の制御方法であって、
   入力データを取得する入力データ取得ステップと、
   少なくとも振動を含む、互いに異なる複数の触覚指標に関するデータを参照して学習された学習済みモデルを用いることにより、前記入力データから、前記複数の触覚指標に関する出力データを生成するデータ生成ステップと、
   を含むことを特徴とする制御方法。
9. 少なくとも振動を含む、互いに異なる複数の触覚指標に関するデータを参照して、前記データに対応する対象物の触感を再生することを特徴とする再生デバイス。

Images