JP2021026618A - 生成装置、生成方法、プログラム及び触覚提示デバイス - Google Patents

Abstract

【課題】表現したい触感を実際に体感する以外の方法で共有しつつ、触覚提示のための制御信号を生成すること。【解決手段】視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得する取得部と、上記取得部によって取得された上記識別情報および上記時系列的特徴に基づいて触覚提示デバイスの制御信号を生成する生成部とを備える。【選択図】図２

Description

本開示は、生成装置、生成方法、プログラム及び触覚提示デバイスに関する。

ユーザに対し、力や振動、動き等による触覚刺激を提示することによって、例えば実際には存在しない物体等への触感を知覚させる、いわゆるハプティクスを用いた各種の技術が提案されている。

例えば、特許文献１には、ゲーム等の仮想現実空間において爆発といった所定のイベントが生じた場合に、触覚提示デバイスであるゲームコントローラを介してユーザへ所定の触感を知覚させる技術が開示されている。

特開２０１５−１６６８９０号公報

しかしながら、人が知覚する触感は、実際に体感する以外の方法では共有しづらいという問題がある。

例えば、触覚提示デバイスは、デバイス内に搭載されたアクチュエータの駆動に基づく振動等により触覚刺激を提示する。この場合、提示したい触覚刺激、言い換えれば、表現したい触感は、視覚的にはアクチュエータを制御する制御信号の波形でしか表すことができない。これはまた、かかる制御信号を作成することでしか、表現したい触感をデザインすることができないことを示している。

このため、例えば、触覚提示を含むコンテンツの制作においては、コンテンツの中で表現したい触感を共有しづらく、かかる触感を考える人と、実際に前述の制御信号を作成する人とを分けづらかった。

そこで、本開示では、表現したい触感を実際に体感する以外の方法で共有しつつ、触覚提示のための制御信号を生成することを可能とする、新規かつ改良された生成装置、生成方法、プログラム及び触覚提示デバイスを提案する。

本開示によれば、視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得する取得部と、前記取得部によって取得された前記識別情報および前記時系列的特徴に基づいて触覚提示デバイスの制御信号を生成する生成部とを備える、生成装置が提供される。

また、本開示によれば、コンピュータが実行する生成方法であって、視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得することと、取得された前記識別情報および前記時系列的特徴に基づいて触覚提示デバイスの制御信号を生成することとを含む、生成方法が提供される。

また、本開示によれば、視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得する取得手順と、前記取得手順によって取得された前記識別情報および前記時系列的特徴に基づいて触覚提示デバイスの制御信号を生成する生成手順とをコンピュータに実行させる、プログラムが提供される。

また、本開示によれば、振動部と、制御部とを備え、前記制御部は、視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得し、取得した前記識別情報および前記時系列的特徴に基づいて前記振動部を振動させる制御信号を生成する、触覚提示デバイスが提供される。

実施形態に係る生成システムの概要説明図（その１）である。 実施形態に係る生成システムの概要説明図（その２）である。 実施形態に係る生成システムの概要説明図（その３）である。 実施形態に係る生成システムの概要説明図（その４）である。 実施形態に係る生成システムの概要説明図（その５）である。 実施形態に係る生成システムの構成例を示すブロック図である。 実施形態に係るパラメータの説明図である。 第１のデザイン例を示す図である。 第２のデザイン例を示す図である。 その他のデザイン例を示す図（その１）である。 その他のデザイン例を示す図（その２）である。 第１の変形例を示す図である。 第２の変形例を示す図である。 第３の変形例を示す図である。 実施形態に係る生成装置が実行する処理手順を示すフローチャートである。 生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．実施形態に係る生成方法の概要
２．実施形態に係る生成システムの構成
３．実施形態に係る触感のデザイン例
３−１．第１のデザイン例
３−２．第２のデザイン例
３−３．その他のデザイン例
４．変形例に係る触感のデザイン例
４−１．第１の変形例
４−２．第２の変形例
４−３．第３の変形例
５．実施形態に係る生成システムの処理手順
６．ハードウェア構成
７．まとめ

＜１．実施形態に係る生成方法の概要＞
まず、実施形態に係る生成方法の概要について、図１Ａ〜図１Ｅを用いて説明する。図１Ａ〜図１Ｅは、実施形態に係る生成方法の概要説明図（その１）〜（その５）である。

図１Ａに示すように、実施形態に係る生成システム１は、触覚提示デバイス１００を含む。触覚提示デバイス１００は、ユーザへ触覚刺激を提示するデバイスであり、例えば内部に複数の振動部１０３を有する。

振動部１０３は、例えばアクチュエータであり、後述する生成装置１０によって生成される制御信号により駆動して振動を発生させ、かかる振動を触覚刺激として提示させる。アクチュエータとしては、例えば、偏心モータや、リニア・バイブレータ、圧電素子等を用いることができる。

なお、図１Ａでは、触覚提示デバイス１００が、６個の振動部１０３を有する場合を示しているが、あくまで一例であって、振動部１０３の個数を限定するものではない。

また、図１Ａでは、触覚提示デバイス１００が、袖なしのベスト型である場合を示しているが、無論、袖ありのウェア型であってもよい。かかる袖ありの場合、振動部１０３は、ユーザの胸部および腹部だけでなく、ユーザの両腕に対応する位置にも一以上配置することができる。

また、触覚提示デバイス１００は、ウェアラブル型として構成される場合、図１Ａに示すような上着に限らず、ズボンや靴下、靴、ベルト、帽子、手袋、眼鏡、または、マスク等として構成されてもよい。

また、触覚提示デバイス１００は、ウェアラブル型に限らず、ユーザが手に持つ機器、例えばゲームコントローラやスマートフォン、携帯型音楽プレーヤ等に搭載されるオンハンド型として構成されてもよい。

また、触覚提示デバイス１００は、ウェアラブル型やオンハンド型に限らず、ベッドや椅子といった家具または各種設備に搭載されるスレート／フロア型として構成されてもよい。

ところで、人が知覚する触感は、実際に体感する以外の方法では共有しづらいという問題がある。例えば、ユーザへ提示したい触覚刺激、言い換えれば、ユーザに対して表現したい触感は、視覚的には前述の振動部１０３を振動させる制御信号の波形でしか表すことができない。これはまた、触覚提示を含むコンテンツの制作者が、かかる制御信号を作成することでしか、表現したい触感をデザインすることができないことを示している。

このため、前述のコンテンツの制作においては、コンテンツの中で表現したい触感を考える人と、実際に前述の制御信号を作成する人とを分けづらい事態が起こりうる。

ここで、仮に、触感を考える人を「クリエイター」、制御信号を作成する人を「再現者」として、敢えて分けた場合を想定する。「クリエイター」は、例えばコンテンツ制作における監督や、演出家等に相当する。「再現者」は、例えば技術スタッフ等に相当する。

かかる場合、クリエイターの考える触感は、上述したように視覚的には前述の振動部１０３を振動させる制御信号の波形でしか表すことができないため、クリエイターは、図１Ｂに示すように、表現したい触感を例えば再現者に口頭で指示することとなる。

これを受けて再現者は、指示の内容に基づいて触覚提示デバイス１００の制御信号を作成し、触覚提示デバイス１００を駆動して実際に触覚を提示させる。すると、クリエイターは、かかる触覚提示を例えば自身で体感し、自身が表現したい触感に合致すればＯＫを出し、合致しなければ合致するまで再現者にトライアル・アンド・エラーを行わせる必要がある。

このように、クリエイターと再現者とが分かれている状況において、クリエイターが表現したい触感を触覚的にしか再現者と共有できない場合、クリエイターの意図が再現者に伝わりにくく、例えば映像コンテンツの制作に煩雑な手間がかかってしまう。

なお、コンテンツが例えば触覚提示を含む音響コンテンツであり、かかる音響コンテンツにおける触覚提示パートの作成者である「クリエイター」と、触覚提示パートを実演する触覚提示デバイス１００のマニピュレーターである「再現者」とを分けたい場合にも同様のことが言える。

かかる場合、例えばライブ会場等で音響コンテンツを公開しようとしても、クリエイターが表現したい触感をやはり触覚的にしか再現者と共有できないとすれば、触覚提示パートの実演につき、準備段階から煩雑な手間がかかってしまう。

そこで、実施形態に係る生成方法では、視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得し、取得された識別情報および時系列的特徴に基づいて触覚提示デバイス１００の制御信号を生成することとした。

具体的に、コンテンツが触覚提示を含む音響コンテンツである場合を考える。上述したように、触覚提示パートの「クリエイター」と「再現者」とは分かれているものとする。

かかる場合、図１Ｃに示すように、実施形態に係る生成方法では、表現したい触感を、他の音楽パートと同様に例えば五線譜に視覚的に表現することとした。かかる表現には、少なくとも触感の識別情報および時系列的特徴が含まれる。ここに言う時系列的特徴は、例えば時間的推移である。

例えば、図中の「触感＃１」は、予め設定された触感の識別情報を示している。また、かかる「触感＃１」パートの五線譜上に描かれた曲線が、時間的推移を示している。以下、このように記譜された触感の視覚的表現を「触譜」と言う場合がある。

触譜は、五線譜上の記譜法であるので、音楽の場合と同様に、横が時間を表し、左から右へ描かれる。したがって、図１Ｄに示すように、左端の始点が「出力開始」の位置を表し、右端の終点が「出力終了」の位置を表している。また、始点と終点の間が、「継続時間」を表す。

また、触譜は、縦は音楽の場合の音高と同様に、レベル値を表す。なお、触譜は、触覚提示デバイス１００の制御信号の波形を直接に表すものではなく、制御信号が触感を示すデータとして有している特徴をパラメータ化し、かかるパラメータの識別情報および時間的推移を表すものである。したがって、前述のレベル値はかかるパラメータのレベル値を示す。パラメータの具体例については、図３Ａ〜図３Ｅを用いた説明で後述する。

かかる触譜は、図１Ｅに示すように、例えば生成装置１０が備えるタッチパネル２１から、電子ペンＰ等のポインティングデバイスや、指を用いつつ入力することが可能である。したがって、例えば音響コンテンツの楽曲の作曲者が触感提示パートの作成者を兼ねる「クリエイター」である場合、かかるクリエイターは、タッチパネル２１を介して楽譜および触譜を並行して作成することができる。

また、再現者は、かかるクリエイターにより作成され、クリエイターが楽曲にあわせて表現したい触感が視覚的に表現された触譜に基づいて、触覚提示デバイス１００の制御信号を生成し、クリエイターの意図に応じた触覚提示デバイス１００のマニピュレートを行うことができる。

なお、音響コンテンツの楽曲の作曲者が、必ずしも触感提示パートの作成者であるクリエイターである必要はない。かかる場合、クリエイターは、例えば作曲者の楽譜を参照しつつ、これに触感提示パートを付記する形で、表現したい触感をデザインすることができる。

また、ここでは、再現者が触譜に基づいて触覚提示デバイス１００の制御信号を生成し、触覚提示デバイス１００をマニピュレートする場合を例に挙げたが、再現者によらず、触譜に基づいて触覚提示デバイス１００の制御信号を自動生成し、自動的に触覚提示デバイス１００がマニピュレートされるようにしてもよい。

また、ここでは、コンテンツが触覚提示を含む音響コンテンツである場合を例に挙げたが、コンテンツが映像コンテンツであってもよい。かかる場合の触感のデザイン例については、図４Ａおよび図４Ｂを用いて後述する。

また、かかる触感のデザインに際しては、ＧＵＩ（Graphical User Interface）を介した視覚的かつ直感的なデザインを行うことができる。かかる場合についても、図４Ａおよび図４Ｂを用いて後述する。

以下、上述した実施形態に係る生成方法を適用した生成システム１の構成例について、より具体的に説明する。

＜２．実施形態に係る生成システムの構成＞
図２は、実施形態に係る生成システム１の構成例を示すブロック図である。なお、図２では、実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

また、図２を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。

図２に示すように、実施形態に係る生成システム１は、生成装置１０と、触覚提示デバイス１００とを含む。生成装置１０と、触覚提示デバイス１００とは、有線通信や無線通信を介して相互通信可能に設けられる。

生成装置１０は、入力部２と、出力部３と、通信部１１と、記憶部１２と、制御部１３とを備える。入力部２は、制作者からの入力を受け付ける入力デバイスである。ここで、制作者は、前述の「クリエイター」や「再現者」を含む。出力部３は、例えば表示デバイスである。出力部３は、入力部２を兼ねてもよい。前述のタッチパネル２１は、かかる出力部３が入力部２を兼ねる例に相当する。

通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１は、触覚提示デバイス１００と有線または無線で接続され、触覚提示デバイス１００との間で情報の送受信を行う。

記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、ＧＵＩ部品情報１２ａと、パラメータ関連情報１２ｂと、デザイン情報１２ｃと、制御信号情報１２ｄとを記憶する。

ＧＵＩ部品情報１２ａは、触感のデザイン画面に対して配置される各種のＧＵＩ部品に関する情報である。パラメータ関連情報１２ｂは、前述のパラメータに関する情報であり、例えば各パラメータの識別情報等を含む。

デザイン情報１２ｃは、制作者によってデザインされた触感のデザイン内容が格納される。制御信号情報１２ｄは、デザイン情報１２ｃに基づいて生成される触覚提示デバイス１００の制御信号が格納される。

制御部１３は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１０内部のＲＯＭ（Read Only Memory）といった記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

制御部１３は、ＧＵＩ制御部１３ａと、取得部１３ｂと、生成部１３ｃと、出力制御部１３ｄとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

ＧＵＩ制御部１３ａは、制作者に対するＧＵＩに関する制御処理を行う。具体的には、ＧＵＩ制御部１３ａは、ＧＵＩ部品情報１２ａとパラメータ関連情報１２ｂとを関連付けつつ、ＧＵＩ部品を配置した触感のデザイン画面を生成し、出力部３へ出力する。

また、ＧＵＩ制御部１３ａは、かかるデザイン画面を介して入力部２から入力される入力内容を受け付け、かかる入力内容に応じて適宜デザイン画面を更新し、出力部３へ出力する。

取得部１３ｂは、デザイン画面を介して入力された触感のデザイン内容をＧＵＩ制御部１３ａから取得し、デザイン情報１２ｃへ格納する。

生成部１３ｃは、デザイン情報１２ｃに基づき、触覚提示デバイス１００の制御信号を生成し、制御信号情報１２ｄへ格納する。

出力制御部１３ｄは、制御信号情報１２ｄに基づき、通信部１１を介して触覚提示デバイス１００へ向け制御信号を出力し、触覚提示デバイス１００に触覚刺激を提示させる。

触覚提示デバイス１００は、通信部１０１と、制御部１０２と、振動部１０３とを備える。通信部１０１は、上述した通信部１１と同様に、例えばＮＩＣ等によって実現される。通信部１０１は、生成装置１０と有線または無線で接続され、生成装置１０との間で情報の送受信を行う。

制御部１０２は、上述した制御部１３と同様に、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、触覚提示デバイス１００内部のＲＯＭ等に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１０２は、上述した制御部１３と同様に、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現することができる。

制御部１０２は、通信部１０１を介して入力された制御信号に基づいて振動部１０３を駆動させる。振動部１０３については既に述べたため、ここでの説明は省略する。

＜３．実施形態に係る触感のデザイン例＞
ところで、上述した触譜の説明に際し、触譜が、触覚提示デバイス１００の制御信号が触感を示すデータとして有している特徴をパラメータ化し、かかるパラメータの識別情報および時間的推移を表すものである点については既に述べた。

そこで次に、かかるパラメータの具体例およびかかるパラメータを用いた触感のデザイン例について、図３Ａ〜図３Ｅを用いて説明する。図３Ａは、実施形態に係るパラメータの説明図である。また、図３Ｂは、第１のデザイン例を示す図である。また、図３Ｃは、第２のデザイン例を示す図である。また、図３Ｄおよび図３Ｅは、その他のデザイン例を示す図（その１）および（その２）である。

［３−１．第１のデザイン例］
触覚提示デバイス１００の制御信号が触感を示すデータとして有している特徴をパラメータ化する場合、図３Ａに示すように、例えば、「強さ」、「粗さ」、「ピッチ」等の各成分にパラメータ化することができる。

ここで、「強さ」は、提示される触覚刺激の強さを示すパラメータである。出力の大小を表現するパラメータと言い換えてもよい。

また、「粗さ」は、同じ信号が続かないさまを示すパラメータである。振動で言うと、かかる「粗さ」が大きいほど、様々な周波数成分を含むこととなり、最終的にはホワイトノイズのような状態となる。温度で言うと、２０℃から１０℃、１０℃から３０℃のように、様々な温度に素早く変化するような状態となる。

また、「ピッチ」は、大きくなるほど、振動周波数が高くなったり、温度が大きくなったりするパラメータである。

図３Ａには、これら「強さ」、「粗さ」、「ピッチ」のそれぞれを変化させた組み合わせ４種類についての制御信号の波形を示している。触感のデザインに関し、かかる「強さ」、「粗さ」、「ピッチ」のパラメータ化は、制御信号が有する物性値からのアプローチによるものと言える。

そして、図３Ｂに示すように、例えばこれら「強さ」、「粗さ」、「ピッチ」をそれぞれ識別情報とした触譜を入力することによって、音響コンテンツにおける触感の視覚的なデザインを実現することができる。

［３−２．第２のデザイン例］
また、触覚提示デバイス１００の制御信号が触感を示すデータとして有している特徴をパラメータ化する場合、図３Ｃに示すように、例えば、「激しさ」、「軽さ」、「鋭さ」、「快さ」等の各成分にパラメータ化することができる。かかるパラメータ化は、触感を知覚するユーザがどう感じるかを示すものであり、前述の物性値に対して感性値からのアプローチによるものと言える。

ここで、「激しさ」は、大きくなるほど、激しさが感じられるパラメータである。例えばこれは、前述の「強さ」が時間的に目まぐるしく、かつ、大きな変化量で変化することに相当する。

また、「軽さ」は、大きくなるほど、軽やかさが感じられるパラメータである。例えば周波数が高いほど、重々しい印象は小さくなる、すなわち軽やかさが増すことができる。

また、「鋭さ」は、大きくなるほど、鋭さが感じられるパラメータである。例えば、出力開始時だけ触覚刺激を瞬間的に強く出力したり、継続時間を短くしたりすることによって、鋭さを感じさせることができる。

また、「快さ」は、大きくなるほど、快さが感じられるパラメータである。例えば、混ざっている周波数成分を少なくすることで、快さを感じさせることができる。

そして、図３Ｃに示すように、例えばこれら「激しさ」、「軽さ」、「鋭さ」、「快さ」をそれぞれ識別情報とした触譜を入力することによっても、音響コンテンツにおける触感の視覚的なデザインを実現することができる。

なお、図３Ｃに示した例は、触感を知覚するユーザの感性値に基づくパラメータ化であるので、他にも、「嬉しさ」や「湿っぽさ」、「柔らかさ」等、種々の表現を用いることができる。

［３−３．その他のデザイン例］
また、触譜は、図３Ｄおよび図３Ｅに「お腹パート」や「手首パート」として示すように、触感を与えたい部位を触感の識別情報として含むように指定してもよい。また、図３Ｄに示すように、例えば各触譜の冒頭部分等に、データＩＤ等の触感の識別情報を指定するようにしてもよい（図中の破線の閉曲線で囲まれた部分参照）。

データＩＤは、例えば予め所定の触感データ群が登録されているデータライブラリ中の、各データの識別情報である。かかるデータライブラリは、生成装置１０が有していてもよいし、触覚提示デバイス１００が有していてもよい。また、ネットワーク通信が可能な専用デバイスや、クラウドサーバ等が有していてもよい。

また、図３Ｅに示すように、触覚提示デバイス１００をマニピュレートするデバイスである振動コントローラがあるものとして、例えばかかる振動コントローラの操作ボタンの形状や、操作ボタンに描かれたマークを、各触譜の冒頭部分等に指定するようにしてもよい（図中の破線の閉曲線で囲まれた部分参照）。

これにより、触感の視覚的なデザインを、より分かりやすく共有させることが可能となる。

なお、これまで示した触感のデザイン例は、主に音響コンテンツにおいて、触感の「クリエイター」と「再現者」との間でデザインを共有させるものである。ただし、上述したように、触覚提示デバイス１００の制御信号の波形自体や、具体的な温度値等ではなく、あくまで制御信号が触感を示すデータとして有している特徴をパラメータ化し、共有可能に視覚的かつ時系列的に表したものである。

したがって、クリエイターの意図を完全再現すると言うよりは、あくまで再現者による再現の方向性を示すものと言える。このため、再現者による触感の実演がなされた場合に、再現者によるバラツキや味付けは含まれやすいものの、少なくともクリエイターの意図は、大きくは損なわれないと言う結果を得ることができる。

また、上述したパラメータ化、すなわち符号化により、時系列的な情報量の削減に資することができる。

＜４．変形例に係る触感のデザイン例＞
ところで、これまでは、主に触覚提示を含む音響コンテンツの制作における触感のデザイン例について述べてきたが、実施形態に係る生成方法は、触覚提示を含む映像コンテンツの制作においても適用することができる。

そこで次に、変形例として、映像コンテンツの制作における触感のデザイン例について、図４Ａ〜図４Ｃを用いて説明する。図４Ａは、第１の変形例を示す図である。また、図４Ｂは、第２の変形例を示す図である。また、図４Ｃは、第３の変形例を示す図である。

［４−１．第１の変形例］
まず、図４Ａに映像コンテンツの制作におけるデザイン画面を示す。かかるデザイン画面は、例えばタッチパネル２１に表示される。また、かかるデザイン画面は、デザインエリアＤＲと、部位オブジェクト（ＯＢＪ）Ｏ１〜Ｏ３と、効果オブジェクトＯ４〜Ｏ７と、保存ボタンＢ１と、生成ボタンＢ２とを有する。

デザインエリアＤＲには、例えば映像コンテンツの絵コンテを入力することができる。かかる絵コンテは、前述の電子ペンＰ等により直接デザインエリアＤＲに入力されてもよいし、作成済みの絵コンテデータが読み込まれ、デザインエリアＤＲに編集可能に展開されてもよい。

また、デザインエリアＤＲには、触感のデザイン入力が可能な「触覚効果」欄が、絵コンテ欄とともに設けられる。かかる「触覚効果」欄には、部位オブジェクトＯ１〜Ｏ３および効果オブジェクトＯ４〜Ｏ７を例えばドラッグ・アンド・ドロップし、組み合わせることで、表現したい触感をデザインすることが可能である。

例えば、部位オブジェクトＯ１および効果オブジェクトＯ４の組み合わせにより、ベスト型の触覚提示デバイス１００において、腹部から周辺部へ移動する触感をデザインすることができる。

また、図中のＭ１部に示すように、キーボード等を用いて文字で触感を表すオノマトペを入力することが可能である。また、文字の大きさにより、触感の強さを表すこともできる。Ｍ１部の例では、ベスト型の触覚提示デバイス１００において、強いビリビリとした、腹部から周辺部へ移動する触感をデザインすることができる。

また、例えば継続時間を示す効果オブジェクトＯ５を「触覚効果」欄へドラッグ・アンド・ドロップし、その長さを調整することで、触感の継続時間をデザインすることもできる（図中の矢印４０１参照）。

また、図中のＭ２部に示すように、例えば触感の激しさを示す効果オブジェクトＯ６を「触覚効果」欄へドラッグ・アンド・ドロップし、その大きさを変更することで、触感の激しさの程度を表すこともできる。

また、図中のＭ３部に示すように、例えば触感の時間的推移を示す効果オブジェクトＯ７を「触覚効果」欄へドラッグ・アンド・ドロップし、その時間的推移を示す波形を変更することで、触感の強弱の変化等を任意に指定することもできる。

また、例えば保存ボタンＢ１がタッチ操作されることで、現状のデザインの内容をデザイン情報１２ｃへ格納することができる。なお、デザイン情報１２ｃにおいては、「触覚効果」欄で指定された各オブジェクトやオノマトペに相当する触感の各パラメータが紐付けられたデザインの内容が格納される。

また、例えば生成ボタンＢ２がタッチ操作されることで、デザイン情報１２ｃに格納されたデザインの内容に基づいて、触覚提示デバイス１００の制御信号が生成され、制御信号情報１２ｄに格納される。

このように、映像コンテンツの制作において、図４Ａに示すようなデザイン画面により触感を視覚的かつ直感的にデザイン可能とすることにより、表現したい触感を、容易にデザインすることができる。また、表現したい触感を、制作者の間で体感する以外の方法で共有することができる。

［４−２．第２の変形例］
次に、図４Ｂに、図４Ａとは異なるデザイン画面を示す。図４Ｂに示すデザイン画面は、映像再生エリアＭＲを有する。また、かかるデザイン画面は、効果オブジェクトＯ８と、範囲指定ボタンＢ３とを有する。

映像再生エリアＭＲは、例えば、シークバーＳＢと、再生操作ボタンＭＢと、デザインエリアＤＲとを有する。

映像再生エリアＭＲには、例えば映像コンテンツの絵コンテが動画形式で再生可能に表示される。なお、スライドショー形式に１フレームごとに再生可能であってもよい。また、映像は絵コンテに限られず、Ｖコンテであってもよい。また、映像はコンテに限られず、通常の映像であってもよい。

再生位置は、シークバーＳＢをマウス等のポインティングデバイスで操作することにより、任意に指定が可能である。また、再生操作ボタンＭＢにより、再生、任意の位置での一時停止等が可能である。

デザインエリアＤＲには、触感をデザインする時間軸上の範囲指定が可能である。かかる範囲指定は、例えば範囲指定ボタンＢ３がタッチ操作され、範囲指定モードになった状態で、マウス等のポインティングデバイスにより行うことができる。なお、図４Ｂには、範囲Ｒ１，Ｒ２，Ｒ３が指定された例を示している。

指定された各範囲Ｒ１，Ｒ２，Ｒ３には、図４Ａに示したのと同様に、部位オブジェクトおよび効果オブジェクトを例えばドラッグ・アンド・ドロップし、組み合わせたり、オノマトペを入力したりすることで、表現したい触感をデザインすることが可能である。

なお、図４Ａでは、「ビリビリ…」と言うオノマトペとして入力された触感を、図４Ｂでは、かかる「ビリビリ…」に相当する触感を示す効果オブジェクトＯ８によって範囲Ｒ１に指定した例を示している（図中のＭ４部参照）。

このようなオノマトペ、効果オブジェクトおよびこれらが示す触感は、ＧＵＩ部品情報１２ａおよびパラメータ関連情報１２ｂの間で関連付けられている。

このように、映像コンテンツの制作において、図４Ｂに示すようなデザイン画面により触感を視覚的かつ直感的にデザイン可能とすることによっても、表現したい触感を、容易にデザインすることができる。また、表現したい触感を、制作者の間で体感する以外の方法で共有することができる。

［４−３．第３の変形例］
なお、デザイン画面において、図４Ｃに示すように、例えば映像の中に、触感のデザインに関する文言を字幕のように入力可能にしてもよい。このように、触感のデザインに関する文言を直接映像に紐付けることによっても、表現したい触感を、制作者の間で体感する以外の方法で容易に共有することができる。すなわち、触覚提示デバイス１００がなく、体感することが不可能な状況においても、触感のデザインを共有することができる。

また、デザインの内容が格納されるデザイン情報１２ｃは、例えば電子データとして閲覧可能な形式で出力され、配布が可能であってもよい。かかる場合、配布された側で、閲覧時に例えば「触覚効果」欄にマウスポインタを移動させたときに、マウスポインタがデザインの内容に応じて揺れることで、デザインされた内容を表現できるようにしてもよい。

＜５．実施形態に係る生成システムの処理手順＞
次に、実施形態に係る生成システム１が実行する処理手順について、図５を用いて説明する。図５は、実施形態に係る生成システム１が実行する処理手順を示すフローチャートである。

図５に示すように、まず取得部１３ｂが、視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得する（ステップＳ１０１）。

そして、生成部１３ｃが、取得された情報（すなわち、識別情報および時系列的特徴）に基づいて、触覚提示デバイス１００の制御信号を生成する（ステップＳ１０２）。

そして、出力制御部１３ｄが、生成された制御信号に基づいて、触覚提示デバイス１００を出力制御し（ステップＳ１０３）、処理を終了する。

＜６．ハードウェア構成＞
上述してきた実施形態に係る生成装置１０、触覚提示デバイス１００等の情報機器は、例えば図６に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る生成装置１０を例に挙げて説明する。図６は、生成装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る生成処理プログラムを記録する記録媒体である。

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る生成装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた生成処理プログラムを実行することにより、取得部１３ｂや生成部１３ｃ等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る生成処理プログラムや、記憶部１２内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

＜７．まとめ＞
以上説明したように本開示の実施形態によれば、表現したい触感を実際に体感する以外の方法で共有しつつ、触覚提示のための制御信号を生成することを可能とする生成装置が提供される。

なお、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、図２に示したＧＵＩ制御部１３ａと、取得部１３ｂとは統合されてもよい。また、例えば、記憶部１２に記憶される情報は、ネットワークを介して、外部に備えられた所定の記憶装置に記憶されてもよい。

また、上記実施形態では、生成装置１０が、例えば、視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得する取得処理と、取得処理によって取得された識別情報および時系列的特徴に基づいて触覚提示デバイス１００の制御信号を生成する生成処理と、生成処理によって生成された制御信号に基づいて触覚提示デバイス１００を出力制御する出力制御処理を行う例を示した。しかし、上述した生成装置１０は、取得処理を行う取得装置と、生成処理を行う生成装置と、出力制御処理を行う出力制御装置とが分離されてもよい。この場合、取得装置は、少なくとも取得部１３ｂを有する。生成装置は、少なくとも生成部１３ｃを有する。出力制御装置は、少なくとも出力制御部１３ｄを有する。そして、上記の生成装置１０による処理は、取得装置と、生成装置と、出力制御装置との各装置を有する生成システム１によって実現される。

また、上記実施形態では、触覚提示デバイス１００が、生成装置１０によって生成された制御信号によって出力制御される例を示した。しかし、触覚提示デバイス１００が、生成装置１０に対し視覚的表現で入力された、触感を示す信号の識別情報および時系列的特徴を取得し、これに基づいて触覚を提示するための制御信号を生成し、かかる制御信号に基づいて触覚を提示してもよい。かかる場合、生成装置１０は少なくともＧＵＩ制御部１３ａを有する入力装置として機能する。

また、上記実施形態では、生成装置１０と触覚提示デバイス１００が別体である例を示したが、例えばスマートフォン等に一体に構成されてもよい。かかる場合、スマートフォン自体が触覚提示デバイス１００であり、生成装置１０のＧＵＩ制御部１３ａ、取得部１３ｂ、生成部１３ｃおよび出力制御部１３ｄが実行する各機能は、スマートフォンで動作するアプリの各機能として実現される。

なお、このようにスマートフォン上に一体に実装する場合、実施形態に係る生成システム１は、例えばＳＮＳ（Social Networking Service）における動画共有サービス等に適用することができる。かかる場合、スマートフォンの持ち主が制作者（触感をデザインするクリエイター、および、デザインを再現する再現者）となり、かかる制作者が制作したコンテンツの閲覧者に対し、触覚刺激を提示することとなる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

（効果）
上述してきたように、本開示の実施形態に係る生成装置１０は、取得部１３ｂと、生成部１３ｃとを備える。取得部１３ｂは、視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得する。生成部１３ｃは、取得部１３ｂによって取得された上記識別情報および上記時系列的特徴に基づいて触覚提示デバイス１００の制御信号を生成する。

これにより、生成装置１０によれば、表現したい触感を実際に体感する以外の方法で共有しつつ、触覚提示のための制御信号を生成することができる。

また、生成装置１０は、出力制御部１３ｄをさらに備える。出力制御部１３ｄは、生成部１３ｃによって生成された制御信号に基づいて触覚提示デバイス１００を出力制御する。

これにより、生成装置１０によれば、表現したい触感を実際に体感する以外の方法で共有しつつ生成した制御信号に基づいて触覚提示デバイス１００に触覚刺激を提示させることができる。

また、上記識別情報は、触感を示すとして上記信号が有する特徴を符号化したパラメータを含み、上記時系列的特徴は、上記パラメータの時間的推移である。

これにより、生成装置１０によれば、符号化により時系列的な情報量を削減しつつ、少なくともクリエイターの意図は損なわれない触感のデザインを行うことが可能となる。

また、上記パラメータは、上記信号が示す物性値および感性値に基づいて抽出される。

これにより、生成装置１０によれば、上記信号の物性値および感性値に応じた、多様な触感のデザインを行うことが可能となる。

また、生成部１３ｃは、音響コンテンツの制作において、上記識別情報ごとの時間的推移が曲線で記譜された触譜によって表現された上記識別情報および上記時系列的特徴に基づき、上記制御信号を生成する。

これにより、生成装置１０によれば、音響コンテンツの制作に適した内容で触感をデザインし、かかるデザインに基づいて触覚提示デバイス１００の制御信号を生成することができる。

また、生成部１３ｃは、映像コンテンツの制作において、任意の指定範囲に入力された所定の触感を示す文字（例えば、オノマトペ）、または、所定の触感が関連付けられたオブジェクトによって表現された上記識別情報および上記時系列的特徴に基づき、上記制御信号を生成する。

これにより、生成装置１０によれば、映像コンテンツの制作に適した内容で触感をデザインし、かかるデザインに基づいて触覚提示デバイス１００の制御信号を生成することができる。

また、本開示の実施形態に係る触覚提示デバイス１００は、振動部１０３と、制御部１０２とを備える。制御部１０２は、視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得し、取得した上記識別情報および上記時系列的特徴に基づいて振動部１０３を振動させる制御信号を生成する。

これにより、触覚提示デバイス１００によれば、表現したい触感を実際に体感する以外の方法で共有しつつ、触覚提示のための制御信号を生成することができる。

なお、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得する取得部と、
前記取得部によって取得された前記識別情報および前記時系列的特徴に基づいて触覚提示デバイスの制御信号を生成する生成部と
を備える、生成装置。
（２）
前記生成部によって生成された前記制御信号に基づいて前記触覚提示デバイスを出力制御する出力制御部
をさらに備える、前記（１）に記載の生成装置。
（３）
前記識別情報は、
触感を示すとして前記信号が有する特徴を符号化したパラメータを含み、
前記時系列的特徴は、
前記パラメータの時間的推移である、前記（１）または（２）請求項１または２に記載の生成装置。
（４）
前記パラメータは、
前記信号が示す物性値および感性値に基づいて抽出される、前記（３）に記載の生成装置。
（５）
前記生成部は、
音響コンテンツの制作において、前記識別情報ごとの時間的推移が曲線で記譜された触譜によって表現された前記識別情報および前記時系列的特徴に基づき、前記制御信号を生成する、前記（３）または（４）に記載の生成装置。
（６）
前記生成部は、
映像コンテンツの制作において、任意の指定範囲に入力された所定の触感を示す文字、または、所定の触感が関連付けられたオブジェクトによって表現された前記識別情報および前記時系列的特徴に基づき、前記制御信号を生成する、前記（３）、（４）または（５）に記載の生成装置。
（７）
コンピュータが実行する生成方法であって、
視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得することと
取得された前記識別情報および前記時系列的特徴に基づいて触覚提示デバイスの制御信号を生成することと
を含む、生成方法。
（８）
視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得する取得手順と、
前記取得手順によって取得された前記識別情報および前記時系列的特徴に基づいて触覚提示デバイスの制御信号を生成する生成手順と
をコンピュータに実行させる、プログラム。
（９）
振動部と、制御部とを備え、
前記制御部は、
視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得し、取得した前記識別情報および前記時系列的特徴に基づいて前記振動部を振動させる制御信号を生成する、触覚提示デバイス。

１ 生成システム
１０ 生成装置
１１ 通信部
１２ 記憶部
１３ 制御部
１３ａ ＧＵＩ制御部
１３ｂ 取得部
１３ｃ 生成部
１３ｄ 出力制御部
１００ 触覚提示デバイス
１０１ 通信部
１０２ 制御部
１０３ 振動部

Claims (9)

1. 視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得する取得部と、
   前記取得部によって取得された前記識別情報および前記時系列的特徴に基づいて触覚提示デバイスの制御信号を生成する生成部と
   を備える、生成装置。
2. 前記生成部によって生成された前記制御信号に基づいて前記触覚提示デバイスを出力制御する出力制御部
   をさらに備える、請求項１に記載の生成装置。
3. 前記識別情報は、
   触感を示すとして前記信号が有する特徴を符号化したパラメータを含み、
   前記時系列的特徴は、
   前記パラメータの時間的推移である、請求項１または２に記載の生成装置。
4. 前記パラメータは、
   前記信号が示す物性値および感性値に基づいて抽出される、請求項３に記載の生成装置。
5. 前記生成部は、
   音響コンテンツの制作において、前記識別情報ごとの時間的推移が曲線で記譜された触譜によって表現された前記識別情報および前記時系列的特徴に基づき、前記制御信号を生成する、請求項３または４に記載の生成装置。
6. 前記生成部は、
   映像コンテンツの制作において、任意の指定範囲に入力された所定の触感を示す文字、または、所定の触感が関連付けられたオブジェクトによって表現された前記識別情報および前記時系列的特徴に基づき、前記制御信号を生成する、請求項３、４または５に記載の生成装置。
7. コンピュータが実行する生成方法であって、
   視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得することと
   取得された前記識別情報および前記時系列的特徴に基づいて触覚提示デバイスの制御信号を生成することと
   を含む、生成方法。
8. 視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得する取得手順と、
   前記取得手順によって取得された前記識別情報および前記時系列的特徴に基づいて触覚提示デバイスの制御信号を生成する生成手順と
   をコンピュータに実行させる、プログラム。
9. 振動部と、制御部とを備え、
   前記制御部は、
   視覚的に表現された、触感を示す信号の識別情報および時系列的特徴を取得し、取得した前記識別情報および前記時系列的特徴に基づいて前記振動部を振動させる制御信号を生成する、触覚提示デバイス。