JP2021170148A - 情報処理装置、情報処理方法、および記録媒体 - Google Patents
情報処理装置、情報処理方法、および記録媒体 Download PDFInfo
- Publication number
- JP2021170148A JP2021170148A JP2018126043A JP2018126043A JP2021170148A JP 2021170148 A JP2021170148 A JP 2021170148A JP 2018126043 A JP2018126043 A JP 2018126043A JP 2018126043 A JP2018126043 A JP 2018126043A JP 2021170148 A JP2021170148 A JP 2021170148A
- Authority
- JP
- Japan
- Prior art keywords
- information
- tactile
- content
- user
- tactile presentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】コンテンツに対応した触覚提示をデバイスに割り当てる情報処理装置、情報処理方法及び記録媒体を提供する。【解決手段】触覚提示システムにおいて、制御部52は、ユーザに提示されるコンテンツに関するコンテンツ情報と、ユーザが携帯している、ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、触覚提示部を有する複数のデバイスの少なくともいずれかに、コンテンツに対応した触覚提示を触覚提示部63に行わせるための触覚信号の出力を制御する。【選択図】図5
Description
本開示は、情報処理装置、情報処理方法、および記録媒体に関し、特に、コンテンツに対応した触覚提示をデバイスに割り当てることができるようにする情報処理装置、情報処理方法、および記録媒体に関する。
従来、動画像や音楽、ゲームなどのコンテンツに対する没入感や臨場感を高めるために、それらのコンテンツを視聴・プレイするためのモバイル機器やコントローラにアクチュエータを内蔵させ、ユーザに対して振動をフィードバックする技術が用いられている。
例えば、特許文献1には、携帯ゲーム機やスマートフォンなどのモバイル機器を固定・保持する機器保持部から突出した把持部を、モバイル機器からの音声に応じて振動させる振動装置が開示されている。ユーザは、把持部を把持しながらモバイル機器を操作する中で、モバイル機器からの音声に連動した振動感覚を得ることができる。
ところで、近年、ユーザは、スマートフォンをはじめ、ウォッチ型やジャケット型のウェアラブル端末など、振動提示を行うデバイスを複数身に着けることがある。ユーザが、このようなデバイスを複数身に着けている状態においては、デバイスの特性や、身に着けている体の部位によって最適な振動パターンが存在する。
従来、1つのデバイス内に配置された、それぞれ特性の異なる複数の振動子を個別に制御する技術はあった。しかしながら、ユーザが、触覚提示を行う複数のデバイスを身に着けている場合に、ユーザに提示されるコンテンツに対応した触覚提示を、その触覚提示に最適なデバイスに割り当てることはできなかった。
本開示は、このような状況に鑑みてなされたものであり、コンテンツに対応した触覚提示を最適なデバイスに割り当てることができるようにするものである。
本開示の情報処理装置は、ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力を制御する制御部
を備える。
を備える。
本開示の情報処理方法は、情報処理装置が、ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力を制御する情報処理方法である。
本開示の記録媒体は、コンピュータに、ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力を制御する処理を実行させるためのプログラムが記録された記録媒体である。
本開示においては、ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力が制御される。
本開示によれば、コンテンツに対応した触覚提示を最適なデバイスに割り当てることが可能となる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.本開示の実施の形態に係る触覚提示の概要
2.触覚提示システムの構成と動作
3.触覚提示を行うデバイスの決定について
4.触覚提示の複数のデバイスへの割り当てについて
5.その他
2.触覚提示システムの構成と動作
3.触覚提示を行うデバイスの決定について
4.触覚提示の複数のデバイスへの割り当てについて
5.その他
<1.本開示の実施の形態に係る触覚提示の概要>
本開示に係る技術を適用した触覚提示システムは、ユーザに提示されるコンテンツに対応した触覚提示を、ユーザが携帯している複数の触覚提示デバイスに最適に割り当てるものである。
本開示に係る技術を適用した触覚提示システムは、ユーザに提示されるコンテンツに対応した触覚提示を、ユーザが携帯している複数の触覚提示デバイスに最適に割り当てるものである。
以下においては、ユーザに対する触覚提示として、振動感覚の提示(以下、振動提示という)が行われる例について説明する。
図1は、振動提示を行う複数の触覚提示デバイスの例を示す図である。
図1に示されるように、ユーザは、複数の触覚提示デバイスとして、スマートフォン11、ウォッチ型デバイス12、ジャケット型デバイス13、ベルト型デバイス14、首輪型デバイス15、およびメガネ型デバイス16を携帯している。
ここでいう「携帯する」には、ユーザがその手に把持していることはもちろん、手、頭、首、腰、足など体の一部に装着している(身に着けている)こと、一時的に接触していることなども含まれるものとする。
ユーザが携帯している触覚提示デバイス(以下、単にデバイスともいう)はいずれも、その内部に、触覚提示部としての振動子を備えている。例えば、ジャケット型デバイス13は、ユーザの胸部左右に該当する位置に振動子13a,13bを備え、ユーザの背中に該当する位置に図示せぬ振動子を備えている。振動子は、例えばアクチュエータなどで構成され、自らが振動することでデバイスを振動させ、ユーザに対して振動提示を行う。各デバイスが備える振動子は、複数であってもよいし、1つであってもよい。
各デバイスの振動子は、ユーザに対して提示されるコンテンツに連動して振動する。このコンテンツは、例えば動画像や音楽、ゲームなどの、ユーザの視覚や聴覚に訴求するものであって、振動提示を伴うものとされる。図1の例では、ユーザは、スマートフォン11によって提示される動画像を視聴している。
このような、ユーザの視覚に訴求するコンテンツは、スマートフォン11とは別の端末やディスプレイ、テレビジョン受像機、VR(Virtual Reality)やAR(Augmented Reality)用の表示装置などによって提示されてもよい。また、コンテンツが、ユーザの聴覚に訴求するコンテンツである場合、そのコンテンツは、ヘッドホンやイヤホン、スピーカなどによって提示される。もちろん、ユーザの視覚と聴覚の両方に訴求するコンテンツは、それぞれを提示可能なデバイスによって提示される。
このとき、本開示の実施の形態においては、ユーザが視聴している動画像に対応した振動提示が、その動画像の内容や、各デバイスが備える振動子の特性などに応じて、最適なデバイスに割り当てられる。
例えば、動画像に対応した振動提示の実現に、ウォッチ型デバイス12が備える振動子の特性が最も適している場合、図2に示されるように、ウォッチ型デバイス12の振動子に振動提示が割り当てられ、ウォッチ型デバイス12が振動する。振動子の特性としては、振動の周波数、加速度(強度)、時間応答の各特性の他、ビビり音の大きさなどがある。
また、ユーザが視聴している動画像に対応した振動提示が、図3に示されるように、複数のデバイスに割り当てられるようにもできる。図3の例では、スマートフォン11とウォッチ型デバイス12それぞれの振動子に振動提示が割り当てられ、スマートフォン11とウォッチ型デバイス12が振動している。
複数のデバイスへの振動提示の割り当ては、割り当てに関する情報がコンテンツにメタデータとして付加されることで実現されてもよいし、各デバイスの振動子の特性に基づいて行われるようにしてもよい。
以下、上述した触覚提示システムを実現するための具体的な構成と動作について説明する
<2.触覚提示システムの構成と動作>
(触覚提示システムの構成)
図4は、本開示の実施の形態の触覚提示システムの構成例を示すブロック図である。
(触覚提示システムの構成)
図4は、本開示の実施の形態の触覚提示システムの構成例を示すブロック図である。
図4の触覚提示システムは、触覚提示制御装置31と、3つの触覚提示デバイス32から構成される。図4においては、3つの触覚提示デバイス32が示されているが、その数はこれに限られない。
触覚提示制御装置31は、本開示に係る技術を適用した情報処理装置である。触覚提示制御装置31は、触覚提示デバイス32それぞれを検出し、ユーザに提示されるコンテンツに対応した触覚提示を行わせるための触覚信号を、触覚提示デバイス32に出力する。
触覚提示デバイス32は、触覚提示制御装置31からの触覚信号に基づいて触覚提示を行う。すなわち、触覚提示デバイス32は、図1の各デバイスに対応する。
一方、触覚提示制御装置31は、インターネットなどのネットワークを介して触覚提示デバイス32と接続されるサーバであってもよいし、それ自体が触覚提示を行うデバイス(図1のスマートフォン11や図示せぬ携帯ゲーム機など)であってもよい。
本開示の実施の形態の触覚提示システムには、複数の触覚提示デバイスが含まれていればよい。したがって、触覚提示制御装置31自体が触覚提示を行うデバイスとして構成される場合、本開示の実施の形態の触覚提示システムの最小限の構成は、触覚提示制御装置31と、1つの触覚提示デバイス32からなる構成となる。
触覚提示制御装置31による触覚提示デバイス32の検出は、Bluetooth(登録商標)接続や近接センサによって行われてもよいし、いわゆるスマートホームを実現するIoT(Internet of Things)により実現されてもよい。
図5は、触覚提示制御装置31と触覚提示デバイス32の機能構成例を示すブロック図である。
図5に示されるように、触覚提示制御装置31は、情報取得部51、制御部52、および通信部53を備えている。
情報取得部51は、ユーザに対してコンテンツを提示するデバイスや、検出された触覚提示デバイス32、加速度センサやジャイロセンサなどの各種のセンサなどから出力される情報を取得する。具体的には、情報取得部51は、コンテンツ情報、デバイス情報、ユーザ情報、および環境情報の各情報を取得し、制御部52に供給する。
詳細については後述するが、コンテンツ情報は、ユーザに提示されるコンテンツに関する情報であり、デバイス情報は、触覚提示デバイス32それぞれに関する情報である。ユーザ情報は、触覚提示デバイス32それぞれを携帯するユーザに関する情報であり、環境情報は、触覚提示デバイス32それぞれの周囲の環境に関する情報である。
制御部52は、情報取得部51からの各情報に基づいて、複数の触覚提示デバイス32の少なくともいずれかに、ユーザに提示されるコンテンツに対応した触覚提示を行わせるための触覚信号(この例では、触覚提示デバイス32を振動させるための振動信号)の出力を制御する。
ここで、図6を参照して、制御部52の詳細な機能構成例について説明する。
制御部52は、情報解析部71、出力先決定部72、信号生成部73、出力制御部74、および学習記憶部75を備えている。
情報解析部71は、情報取得部51からの各情報を統合して解析し、それらの解析結果を、出力先決定部72と信号生成部73に供給する。
出力先決定部72は、情報解析部71からの解析結果や、解析に用いられた各情報に基づいて、触覚信号の出力先となる触覚提示デバイス32を決定し、その触覚提示デバイス32を示す情報を、出力制御部74に供給する。なお、触覚信号の出力先となる触覚提示デバイス32は、1つであってもよいし、複数であってもよい。
信号生成部73は、情報解析部71からの解析結果に基づいて、触覚信号を生成し、出力制御部74に供給する。
出力制御部74は、信号生成部73からの触覚信号を、出力先決定部72からの情報で示される触覚提示デバイス32に出力するよう、通信部53を制御する。
学習記憶部75は、情報取得部51からの各情報のうちのユーザ情報に基づいて、触覚提示デバイス32によって触覚提示が行われた際に取得されたユーザ情報を学習し、その学習結果を記憶する。
図5の説明に戻り、通信部53は、制御部52(出力制御部74)による制御に基づいて、触覚信号を触覚提示デバイス32に送信する。
一方、触覚提示デバイス32は、通信部61、制御部62、および触覚提示部63を備えている。
通信部61は、制御部62による制御に基づいて、触覚提示制御装置31からの触覚信号を受信する。
制御部62は、通信部61を制御することにより受信された触覚信号を、触覚提示部63に入力する。
触覚提示部63は、制御部62により入力された触覚信号に基づいて触覚提示を行う。この例では、触覚提示部63は、振動子として構成され、制御部62により触覚信号(振動信号)が入力されると、その触覚信号の波形に応じて振動する。触覚提示部63は、複数の触覚提示デバイス32それぞれに設けられる。なお、1つの触覚提示デバイス32が、複数の触覚提示部63が備えることもできる。
このような構成により、複数の触覚提示デバイス32のうちの、触覚信号の出力先となった触覚提示デバイス32は、コンテンツに連動した触覚提示(振動提示)を行うことができる。
(触覚提示システムの動作)
次に、触覚提示システムの動作について説明する。
次に、触覚提示システムの動作について説明する。
図7および図8は、触覚提示システムを構成する触覚提示制御装置31によって実行される触覚提示制御処理について説明するフローチャートである。
この触覚提示制御処理は、例えば、図1のスマートフォン11において、振動提示を伴う動画像や音楽、ゲームなどのコンテンツを視聴・プレイするためのアプリケーションが起動したタイミングで開始される。また、スマートフォン11における視聴対象が、他のコンテンツから振動提示を伴うコンテンツに切り替わったタイミングで、この触覚提示制御処理が開始されてもよい。
触覚提示制御処理が開始されると、ステップS11において、情報取得部51は、ユーザに提示されているコンテンツに関するコンテンツ情報を取得する。コンテンツ情報は、例えば、ユーザに提示されているコンテンツに付加されているメタデータに含まれる。
ここでは、コンテンツ情報として、例えば、動画像やゲームのシーン、音楽のビートや楽器などのコンテンツの内容を表す情報や、コンテンツの内容とデバイスとの相性を表す相性度などが取得される。相性度は、例えば、動画像やゲームのシーン、音楽のビートや楽器などに対応した振動提示が、デバイスが装着されている体のどの部位に対して行われることが好ましいかを示す指標とされる。
ステップS12において、通信部53は、触覚提示制御装置31に接続されている触覚提示デバイス32を検出する。触覚提示デバイス32が検出されると、情報取得部51は、その触覚提示デバイス32に関するデバイス情報の取得を開始する。デバイス情報は、触覚提示デバイス32それぞれの触覚提示部63(振動子)の特性を表す情報である。
ステップS13において、情報取得部51は、接続されている触覚提示デバイス32それぞれについて、デバイス情報を取得できたか否かを判定する。
接続されている触覚提示デバイス32それぞれについて、情報取得部51がデバイス情報を取得できなかったと判定された場合、処理はステップS14に進む。
ステップS14において、情報取得部51は、デバイス情報を取得できなかった触覚提示デバイス32の振動子の振動の測定を行う。
触覚提示デバイス32それぞれの振動子がどのような特性をもっているのかが公開されていれば、それらの情報は、触覚提示デバイス32が検出されたときなどに、デバイス情報として取得される。
一方、触覚提示デバイス32それぞれの振動子がどのような特性をもっているのかが公開されていない場合、例えば、触覚提示デバイス32に対してsin波などの触覚信号を入力し、振動子の振動を測定する。これにより、振動子がどのような特性をもっているのかが公開されていない触覚提示デバイス32についても、その振動子の特性をデバイス情報として取得することができる。すなわち、ここでは、デバイス情報は、振動子に対する触覚信号(振動信号)と、その振動信号による振動子の振動(測定結果)との関係に基づいた情報であり、触覚信号(振動信号)と振動子の振動との関係性に基づいた情報として、周波数特性、加速度特性、および時間応答特性などを表す情報が取得される。
ステップS13またはステップS14において、デバイス情報が取得されると、ステップS15において、情報取得部51は、コンテンツを視聴・プレイしているユーザに関するユーザ情報を取得する。ユーザ情報は、ユーザの体温、心拍数、発汗状態や健康状態などを表す情報や、ユーザの動作や姿勢を表す情報とされる。
ステップS16において、情報取得部51は、触覚提示デバイス32それぞれの周囲の環境に関する環境情報を取得する。
情報取得部51は、コンテンツ情報、デバイス情報、ユーザ情報、および環境情報を取得すると、取得した各情報を制御部52に供給する。
ステップS17において、制御部52の情報解析部71は、情報取得部51からの各情報を統合して解析する。ここでは、例えば、コンテンツ情報に基づいて、コンテンツの内容(動画像やゲームのシーン、音楽のビートや楽器など)を表す情報に基づいて、提示される振動の波形が複数であるか否かが判定される。また例えば、コンテンツ情報に基づいて、コンテンツの内容とデバイスとの相性を表す相性度の値(スコア)が所定の閾値を超えるデバイスが存在するか否かが判定される。解析結果は、解析に用いられた各情報とともに、出力先決定部72と信号生成部73に供給される。
ステップS18において、信号生成部73は、情報解析部71からの解析結果に基づいて、触覚信号を生成し、出力制御部74に供給する。触覚信号は、動画像やゲームのシーン、音楽のビートや楽器などのコンテンツの内容の解析結果に基づいて生成されてもよいし、そのコンテンツ情報に、触覚信号そのものが含まれていてもよい。
図8のステップS19において、出力先決定部72は、情報解析部71からの解析結果や、解析に用いられた各情報に基づいて、触覚信号の出力先として推奨される触覚提示デバイス32(以下、推奨デバイスという)を決定する。ここでは、より詳細には、触覚信号の出力先として推奨される触覚提示部63を有する触覚提示デバイス32が決定される。
例えば、図9に示されるように、スマートフォン11によって提示されている動画像のシーンが、拳銃を撃つシーンである場合、ユーザの腕に対して振動提示が行われることが好ましい。この場合、そのシーンを表すコンテンツ情報に基づいて、ウォッチ型デバイス12が推奨デバイスに決定される。
図示はしないが、スマートフォン11によって提示されているゲームのシーンが、拳銃で胸を打たれたシーンである場合、ユーザの胸に対して振動提示が行われることが好ましい。この場合、そのシーンを表すコンテンツ情報に基づいて、ジャケット型デバイス13が推奨デバイスに決定される。
スマートフォン11によって提示されている動画像のシーンが、音楽に合わせて踊っているシーンである場合、ユーザの下半身に対して振動提示が行われることが好ましい。この場合、そのシーンを表すコンテンツ情報に基づいて、ベルト型デバイス14が推奨デバイスに決定される。
スマートフォン11によって提示されている動画像のシーンが、顔で風を受けているシーンである場合、ユーザの顔に対して振動提示が行われることが好ましい。この場合、そのシーンを表すコンテンツ情報に基づいて、メガネ型デバイス16が推奨デバイスに決定される。
また、スマートフォン11によって提示されているゲームのシーンが、レーシングカーを運転するシーンである場合、ユーザの尻に対して振動提示が行われることが好ましい。この場合、そのシーンを表すコンテンツ情報に基づいて、図示せぬシート型のデバイスが推奨デバイスに決定されるようにしてもよい。
上述した例では、推奨デバイスは、コンテンツの内容を表すコンテンツ情報に基づいて決定されるものとしたが、コンテンツの内容とデバイスとの相性度を表すコンテンツ情報に基づいて決定されるようにしてもよい。さらに、詳細は後述するが、推奨デバイスが、コンテンツ情報の解析結果に基づいて決定されるようにしてもよい。
また、コンテンツの内容によらず、各デバイスの振動子の特性を表すデバイス情報に基づいて、推奨デバイスを決定することもできる。
図10は、スマートフォン11とウォッチ型デバイス12それぞれが備える振動子の周波数−加速度特性を示している。
図10に示されるように、スマートフォン11の振動子は、広帯域でほぼ一定の加速度の振動を出力できる特性C11をもち、ウォッチ型デバイス12の振動子は、周波数f0を中心とした狭帯域で高い加速度の振動を出力できる特性C12をもつ。
ここで、触覚信号によって提示される振動が、広い帯域の周波数を含む振動波形を有する場合、広帯域でほぼ一定の加速度の振動を出力できることが好ましいので、スマートフォン11が推奨デバイスに決定される。
一方、触覚信号によって提示される振動が、周波数f0を中心とする振動波形を有する場合、周波数f0を中心とした狭帯域で高い加速度の振動を出力できることが好ましいので、ウォッチ型デバイス12が推奨デバイスに決定される。
また、ユーザに提示される音楽、動画像やゲームに含まれる音声の音量は、静かな場所や賑やかな場所など、ユーザの周囲の環境によって大きくしたり小さくしたり調整されることがある。
例えば、音量が大きく調整された場合、これらに連動して提示される振動も大きい方が好ましい。そこで、音量が大きく調整された場合、コンテンツの内容によらず、各デバイスの振動子の特性を表すデバイス情報に基づいて、高い加速度の振動を出力できるデバイスが推奨デバイスに決定されるようにしてもよい。
さて、図8のフローチャートに戻り、以上のようにして、コンテンツ情報やデバイス情報に基づいて、1または複数の推奨デバイスが決定されると、処理はステップS20に進む。
ステップS20において、出力先決定部72は、ユーザによって、触覚信号の出力先となるデバイスを自動で決定することが選択されたか否かを判定する。
触覚信号の出力先となるデバイスを自動で決定することが選択されたと判定された場合、処理はステップS21に進む。
ステップS21において、出力先決定部72は、最終的に触覚信号の出力先となるデバイス(以下、出力先デバイスという)を決定する。ここでは、より詳細には、触覚信号の出力先となる触覚提示部63を有する触覚提示デバイス32が決定される。
ここで、推奨デバイスが1つだった場合、そのデバイスが出力先デバイスに決定される。推奨デバイスが複数だった場合、それらのデバイス全てが出力先デバイスに決定されてもよいし、それらのデバイスのうちのいずれかが出力先デバイスに決定されてもよい。
複数の推奨デバイスのうちのいずれかを出力先デバイスに決定する場合、出力先デバイスとするデバイスについての優先度情報に基づいて、複数の推奨デバイスのうちのいずれかが、出力先デバイスに決定されるようにしてもよい。
優先度情報は、例えばコンテンツのメタデータに含まれるようにする。優先度情報は、コンテンツ情報で表されるコンテンツの内容との親和性を加味することを優先させることを表すものであってもよいし、デバイス情報で表されるデバイスのスペック(特性)を優先させることを表す情報とすることができる。
さらに、デバイス情報として、各デバイスのバッテリ残量を表す情報が取得されるようにして、デバイス情報で表されるバッテリ残量の多さを優先させることを表す情報を、優先度情報としてもよい。
また、優先度情報に基づいて出力先デバイスを決定する際、複数の推奨デバイスのうち、一定の基準に満たないスペックのデバイスは、出力先デバイスの候補から除外されるようにしてもよい。
一方、ステップS20において、出力先デバイスを自動で決定することが選択されなかったと判定された場合、処理はステップS22に進む。
ステップS22において、出力先決定部72は、ユーザの選択に基づいて、出力先デバイスを決定する。
ユーザの選択は、例えばスマートフォン11のようなユーザインタフェースを備えるデバイスにおいて行われる。
例えば、推奨デバイスが複数だった場合、図11に示されるように、それらのデバイスのうちのいずれを出力先デバイスとするかを選択させるための選択画面が、スマートフォン11に表示されるようにする。図11の例では、コンテンツの内容との親和性が高いウォッチ型デバイス12と、高い加速度(強度)の振動を出力できるスマートフォン11が、出力先デバイスの候補として表示されている。
また、推奨デバイスが1つだった場合には、推奨デバイス以外のデバイスも、出力先デバイスの候補として選択されるようにしてもよい。
なお、決定される出力先デバイスの数は、1つであってもよいし、複数であってもよい。
以上のようにして、1または複数の出力先デバイスが決定されると、処理はステップS23に進む。
ステップS23において、信号生成部73は、決定された出力先デバイスのスペック(特性)に基づいて、生成した触覚信号の信号波形を変更する必要があるか否かを判定する。出力先デバイスのスペックは、デバイス情報により参照可能である。
触覚信号の信号波形を変更する必要があると判定された場合、処理はステップS24に進み、信号生成部73は、信号波形を変更する。
例えば、出力先デバイスの振動子が、一定の強度(加速度)より高い強度の振動を出力できる場合、図12に示されるように、触覚信号W11が、その振幅を大きくした触覚信号W12に変更されるようにする。
さらに、出力先デバイスの振動子が、触覚信号の主な帯域からずれた帯域の振動を強く出力できる場合、図13に示されるように、元の触覚信号の主な帯域F11が、出力先デバイスの振動子が振動を強く出力できる帯域F12に変更されるようにする。
また、デバイスを把持したり、装着している体の部位によっては、そのデバイスの振動子の時間応答性により、断続的な振動が連続的に感じられてしまう可能性がある。そこで、このようなデバイスが出力先デバイスに決定された場合、図14に示されるように、触覚信号W21が、その信号波形を間引いた触覚振動W22に変更されるようにする。
一方、ステップS23において、触覚信号の信号波形を変更する必要がないと判定された場合、ステップS24はスキップされる。
以上のようにして、生成または変更された触覚信号は、信号生成部73から出力制御部74に供給される。
ステップS25において、出力制御部74は、通信部53を制御することで、信号生成部73からの触覚信号を、出力先デバイスに決定された触覚提示デバイス32の触覚提示部63に出力する。
これにより、出力先デバイスに決定された触覚提示デバイス32においては、触覚提示部63(振動子)が、触覚提示制御装置31からの触覚信号の波形に応じて振動する。
このような処理により、ユーザに対して、コンテンツに連動した触覚提示が行われる。
そして、ステップS26において、学習記憶部75は、ユーザフィードバックに基づいて学習する。具体的には、情報取得部51は、触覚提示デバイス32によって触覚提示が行われた際のユーザ情報を、ユーザフィードバックとして取得する。そして、学習記憶部75は、情報取得部51により取得されたユーザ情報を学習し、その学習結果を記憶する。記憶された学習結果(ユーザフィードバック)は、情報解析部71による情報の解析に用いられ、その解析結果に基づいて、推奨デバイスや出力先デバイスが決定される。
以上の処理によれば、コンテンツに関するコンテンツ情報や、デバイスに関するデバイス情報に基づいて、コンテンツに対応した触覚提示を行わせるための触覚信号の出力先となるデバイスが決定されるようになる。これにより、ユーザが、触覚提示を行う複数のデバイスを身に着けている場合に、ユーザに提示されるコンテンツに対応した触覚提示を、その触覚提示に最適なデバイスに割り当てることが可能となる。
<3.触覚提示を行うデバイスの決定について>
上述した例では、推奨デバイスや出力先デバイスを決定する際に、コンテンツ情報やデバイス情報を用いる例について説明したが、環境情報やユーザ情報を用いるようにしてもよい。
上述した例では、推奨デバイスや出力先デバイスを決定する際に、コンテンツ情報やデバイス情報を用いる例について説明したが、環境情報やユーザ情報を用いるようにしてもよい。
(環境情報を用いる例)
環境情報として、触覚提示デバイス32がユーザに携帯(把持・装着・接触)されているか否かを表す情報が取得されるようにする。
環境情報として、触覚提示デバイス32がユーザに携帯(把持・装着・接触)されているか否かを表す情報が取得されるようにする。
例えば、図15に示されるように、ユーザが、スマートフォン11を手放している場合には、スマートフォン11がユーザに把持されていないことを表す環境情報が取得される。この場合、その環境情報に基づいて、スマートフォン11ではなく、ユーザの腕に装着されているウォッチ型デバイス12が、推奨デバイスや出力先デバイスに決定されるようになる。
また、環境情報として、触覚提示デバイス32が、ユーザによるコンテンツの視聴に用いられているか否かを表す情報が取得されるようにしてもよい。
例えば、ユーザが、スマートフォン11ではなく、ホームシアターの大型スクリーンのような、視覚的により優位な端末でコンテンツを視聴している場合、スマートフォン11がユーザによるコンテンツの視聴に用いられていないことを表す環境情報が取得される。この場合、取得された環境情報に基づいて、スマートフォン11が、推奨デバイスや出力先デバイス(振動用のデバイス)に決定されるようになる。これとは逆に、ユーザが、スマートフォン11でコンテンツを視聴している場合には、スマートフォン11が、推奨デバイスや出力先デバイスに決定されないようにしてもよい。
さらに、環境情報として、触覚提示デバイス32が、ユーザの体のどの部位に携帯、装着されているかを示す情報が取得されるようにしてもよい。
例えば、ユーザが、あるデバイスをポケットに入れて携帯している場合、そのデバイスがポケットの中にあることを表す環境情報が取得される。デバイスがポケットの中にあるか否かは、そのデバイスが備える速度センサやジャイロセンサなどの各種センサから検出されるようにできる。この場合、取得された環境情報に基づいて、ポケットの中のデバイスは、推奨デバイスや出力先デバイスに決定されないようにする。
これにより、ユーザが、満員電車などの周囲の人間に振動が伝わってしまうような環境にいる場合であっても、ポケットの中のデバイスを振動させないようにすることができる。なおこの場合、ユーザが、振動させるデバイスを自分で選択できるようにしてもよい。
さらにまた、環境情報として、触覚提示デバイス32の周囲の環境音が、所定の音量より大きいか否かが取得されるようにしてもよい。
例えば、ユーザが、比較的環境音の大きい賑やかな場所にいる場合、ユーザが携帯しているデバイスの周囲の環境音が、所定の音量より大きいことを表す環境情報が取得される。この場合、取得された環境情報に基づいて、より高い加速度の振動を出力できるデバイスが、推奨デバイスや出力先デバイスに決定されるようになる。
これは、ユーザが比較的環境音の大きい賑やかな場所にいる場合、ユーザは、視聴している音楽、動画像やゲームなどのコンテンツに含まれる音声の音量を大きく調整することが多く、これらの音声に連動して提示される振動も大きい方が好ましいことによる。
(ユーザ情報を用いる例)
ユーザ情報としては、装着しているデバイスについてユーザが感じるくすぐったさなどの不快感を表す情報や、ユーザの怪我や病気を表す情報が取得されるようにする。
ユーザ情報としては、装着しているデバイスについてユーザが感じるくすぐったさなどの不快感を表す情報や、ユーザの怪我や病気を表す情報が取得されるようにする。
例えば、ユーザが、険しい表情をしたり、激しく発汗している場合、デバイスの振動をOFFにしている場合などには、そのデバイスについての不快感を表すユーザ情報が取得される。ユーザ情報で表される不快感の強さは、上述したユーザフィードバックに基づいた、表情や発汗などの生体センシングの結果や、振動機能のOFF率の学習結果の解析により求めることができる。
ここで、ユーザ情報で表される不快感の強さが一定レベルを超えた場合、そのデバイスは、推奨デバイスや出力先デバイスに決定されないようにする。なお、この場合、ユーザが、振動させたくないデバイスを自分で指定できるようにしてもよい。
また、ユーザ情報として、デバイスを携帯したり、装着しているユーザの行動や姿勢を表す情報が取得されるようにしてもよい。
例えば、図16に示されるように、ユーザが走っている場合には、ユーザが走っていることを表すユーザ情報が取得される。ユーザが走っている場合、例えば衣服のポケットに入れているデバイスは、ポケットの中で動いてしまい、ユーザは振動を感じることができない。そこで、この場合、取得されたユーザ情報に基づいて、ユーザの腕に直接装着されているウォッチ型デバイス12が、推奨デバイスや出力先デバイスに決定されるようにする。
また例えば、ユーザが床に横たわっている場合には、ユーザが横たわっていることを表すユーザ情報が取得される。ユーザが床に横たわっている場合、床に接しているデバイスが振動するとその振動が床に伝わり、ユーザはそれを不快に感じる。そこで、この場合、取得されたユーザ情報に基づいて、床に接していないデバイスが、推奨デバイスや出力先デバイスに決定されるようにする。さらにこの場合、例えばジャケット型デバイス13が備える振動子の一部(例えば、床に接していない、背中に該当する位置に備えられた振動子)のみを振動させるようにしてもよい。
なお、本開示の実施の形態に係る触覚提示において、推奨デバイスの決定の手法を、出力先デバイスの決定に適用するようにしてもよいし、出力先デバイスの決定の手法を、推奨デバイスの決定に適用するようにしてもよい。
(コンテンツ解析によるデバイスの推奨について)
以下においては、コンテンツの内容の解析結果(コンテンツ解析)に基づいて、推奨デバイスが決定される例の詳細について説明する。
以下においては、コンテンツの内容の解析結果(コンテンツ解析)に基づいて、推奨デバイスが決定される例の詳細について説明する。
図17に示されるように、コンテンツ131の内容が、情報解析部71によって解析される。図17の例では、動画像であるコンテンツ131に含まれる音楽のビートや楽器、映像のシーンなどが判別される。
具体的には、コンテンツ131に含まれる音楽に、音のなり始まり(立ち上がり)から最大音量になるまでのアタック音を強く感じさせる(キレのある)ビート(音の単位)が多く含まれているか否かが判別される。言い換えると、その音楽の音声信号に、間隔の短いパルス的な波形が多く含まれているか否かが判別される。
例えば、キレのあるビートが多く含まれていると判別された場合、指先などの感度の高い部分に対する振動提示が可能なスマートフォン11や、指先に装着されるデバイスが推奨デバイスに決定されるようにする。また、キレのあるビートが多く含まれていると判別された場合、時間応答性の高い振動子を備えるデバイスが推奨デバイスに決定されるようにしてもよい。
また、コンテンツ131に含まれる音楽の音声信号に含まれる周波数成分から、用いられている楽曲の種類が判別される。
例えば、スネアドラムが用いられていると判別された場合、高い周波数の振動を出力できる振動子を備えるデバイスが推奨デバイスに決定されるようにする。一方、バスドラムが用いられていると判別された場合、低い周波数の振動を出力できる振動子を備えるデバイスが推奨デバイスに決定されるようにする。
さらに、コンテンツ131に含まれる映像に連動して、大きい振幅(加速度)の振動を出力する必要のあるシーンが多く含まれているか否かが判別される。
例えば、大きい振幅の振動を出力する必要のあるシーンが多く含まれていると判別された場合、大きい振幅の振動を出力できる振動子を備えるデバイスが推奨デバイスに決定されるようにする。
このように、コンテンツ解析に基づいて、その解析結果に対応した振動を出力できる振動子を備えるデバイスを、推奨デバイスに決定することができる。
(コンテンツ解析のバリエーション)
コンテンツ解析は、以下のようにして行うこともできる。
コンテンツ解析は、以下のようにして行うこともできる。
上述したように、コンテンツにメタデータとして付加されているコンテンツ情報を用いて、コンテンツ解析を行うことができる。メタデータは、例えば、コンテンツの制作者によって、そのコンテンツに付加されるようにできる。
また、SNS(Social Networking Service)のようなウェブサイト上で、コンテンツの視聴者が、そのコンテンツに対する評価などを、メタデータとしてコンテンツに付加できるようにしてもよい。
さらに、ユーザに提示されるコンテンツにメタデータが付加されていない場合、そのコンテンツに含まれる音声や映像を解析し、その解析結果に基づいて、他のコンテンツとの類似度を算出するようにしてもよい。この場合、類似度算出の結果、例えば、最も高い類似度のコンテンツに付加されているメタデータが、ユーザに提示されるコンテンツのメタデータとして用いられるようにする。
例えば、ユーザに提示されるコンテンツが音楽である場合、そのコンテンツには、その音楽のジャンル(ポップス、EDM(Electronic Dance Music)などのクラブミュージック、ジャズなど)がメタデータとして付加されている場合がある。
この場合、音楽のジャンルに基づいて、推奨デバイスが決定されるようにもできる。
また、ユーザに提示される音楽コンテンツにメタデータが付加されていない場合には、音声の解析結果に基づいて、その音楽コンテンツのジャンルが推定されるようにし、推定されたジャンルに基づいて、推奨デバイスが決定されるようにしてもよい。
さらに、推奨デバイスの決定の際には、すでに推奨デバイスが割り当てられているコンテンツとの類似度に基づいて、推奨デバイスが決定されるようにしてもよい。ここでも、類似度は、すでに推奨デバイスが割り当てられているコンテンツに含まれる音声や映像を解析することで算出される。
これらの解析は、触覚提示制御装置31が、サーバとして構成される場合であっても、触覚提示を行うデバイスとして構成される場合であっても、触覚提示制御装置31により行われるようにすることができる。また、これらの解析は、ユーザへのコンテンツ提示時(再生時など)にリアルタイムに行われてもよいし、コンテンツ提示前にあらかじめ行われるようにしてもよい。
<4.触覚提示の複数のデバイスへの割り当てについて>
上述したように、本開示の実施の形態に係る触覚提示においては、触覚提示を複数のデバイスに割り当てることができる。
上述したように、本開示の実施の形態に係る触覚提示においては、触覚提示を複数のデバイスに割り当てることができる。
(相性度によるデバイス決定の例)
例えば、上述した相性度のスコアに基づいて、出力先デバイスが決定されるようにしてもよい。
例えば、上述した相性度のスコアに基づいて、出力先デバイスが決定されるようにしてもよい。
図18は、相性度によるデバイス決定処理について説明するフローチャートである。この処理は、図8のステップS21において、例えば、推奨デバイスに決定された複数のデバイスの相性度のスコアが、近い範囲にある場合などに実行される。
ステップS51において、出力先決定部72は、複数のデバイスの中で、相性度のスコアが所定の閾値を超えるデバイスが存在するか否かを判定する。
相性度のスコアが所定の閾値を超えるデバイスが存在すると判定された場合、ステップS52に進み、出力先決定部72は、その閾値を超えるデバイスを出力先デバイスに決定する。
一方、相性度のスコアが所定の閾値を超えるデバイスが存在しないと判定された場合、ステップS53に進み、出力先決定部72は、任意のデバイスを触覚信号の出力先に決定する。
例えば、スマートフォン11、ウォッチ型デバイス12、およびジャケット型デバイス13の3つが推奨デバイスに決定されたとする。また、相性度のスコアについての閾値Mthを4とする。
各デバイスの相性度M11,M12,M13がそれぞれ、M11=10,M12=10,M13=1である場合、相性度のスコアが閾値Mth=4を超えるスマートフォン11とウォッチ型デバイス12が、出力先デバイスに決定される。
一方、各デバイスの相性度M11,M12,M13がそれぞれ、M11=2,M12=2,M13=1である場合、いずれのデバイスの相性度のスコアも閾値Mth=4を超えない。この場合、スマートフォン11、ウォッチ型デバイス12、およびジャケット型デバイス13のいずれが、出力先デバイスに決定されてもよい。例えば、スマートフォン11、ウォッチ型デバイス12、およびジャケット型デバイス13の各デバイスの中から、ユーザにより選択されたデバイスが、出力先デバイスに決定されるようにする。
(複数のデバイスでの触覚提示について)
複数のデバイスで触覚提示を行わせる場合、それぞれのデバイスに対して出力される触覚信号の信号波形は、図19に示されるように、デバイスによらず同一の波形であってもよい。
複数のデバイスで触覚提示を行わせる場合、それぞれのデバイスに対して出力される触覚信号の信号波形は、図19に示されるように、デバイスによらず同一の波形であってもよい。
図19の例では、同一波形の触覚信号W31が、スマートフォン11とウォッチ型デバイス12に対して出力されており、スマートフォン11とウォッチ型デバイス12それぞれは、触覚信号W31に応じて同じ振動提示を行う。
この場合、触覚信号W31の出力先デバイスは、触覚提示制御装置31に接続されている全ての触覚提示デバイス32であってもよいし、それらの中からユーザにより選択されたものであってもよい。また、コンテンツにメタデータとして付加されているコンテンツ情報に出力先デバイスを指定する情報が含まれるようにし、その情報によって指定される複数の触覚提示デバイス32が、触覚信号W31の出力先デバイスとなってもよい。
また、図18のフローチャートを参照して説明したように、複数のデバイスの相性度のスコアが近い範囲にある場合、相性度のスコアが閾値を超えるデバイスが、触覚信号W31の出力先デバイスとなってもよい。
上述した例とは逆に、複数のデバイスで触覚提示を行わせる場合、それぞれのデバイスに対して出力される触覚信号の信号波形が、図20に示されるように、デバイス毎に異なる波形であってもよい。
図20の例では、触覚信号W31がスマートフォン11に対して出力される一方、触覚信号W31とは異なる波形の触覚信号W32が、ウォッチ型デバイス12に対して出力されている。これにより、スマートフォン11とウォッチ型デバイス12は、触覚信号W31,W32に応じてそれぞれ異なる振動提示を行う。
この場合、触覚信号W31,W32の出力先デバイスは、触覚提示制御装置31に接続されている全ての触覚提示デバイス32の中からユーザにより選択されたものであってもよい。また、コンテンツにメタデータとして付加されているコンテンツ情報に出力先デバイスを指定する情報が含まれるようにし、その情報によって指定される複数の触覚提示デバイス32が、触覚信号W31,W32の出力先デバイスとなってもよい。
また、図18のフローチャートを参照して説明したように、複数のデバイスの相性度のスコアが近い範囲にある場合、相性度のスコアが閾値を超えるデバイスが、触覚信号W31,W32の出力先デバイスとなってもよい。この場合、相性度のスコアについての閾値は、例えば音楽のパート(楽器)毎に設定されるようにし、それぞれのパートに適切なデバイスが選択されるようにする。
なお、以上においては、1人のユーザが携帯している複数のデバイスで触覚提示を行わせる例について説明したが、複数のユーザが携帯しているデバイスそれぞれで触覚提示を行わせるようにしてもよい。
例えば、2人のユーザUA,UBが、それぞれが携帯するスマートフォン11で同じコンテンツ(動画像)を視聴している状況を想定する。
図21に示されるように、そのコンテンツの中で、一方が他方の顔を殴るシーンにおいて、「殴る」というコンテキストが出力されたとする。この場合、触覚提示として、一方のユーザには、手への触覚(殴る側の振動)が提示され、他方のユーザには、顔への触覚(殴られる側の振動)が提示されるようにする。
図21の例では、手に提示する触覚を再現する触覚信号W41が、ユーザUAが携帯するウォッチ型デバイス12Aに出力され、顔に提示する触覚を再現する触覚信号W42が、ユーザUBが携帯するメガネ型デバイス16Bに出力される。
触覚信号W41,W42は、「殴る」というコンテキストに対応したデータとして、手と顔それぞれについてあらかじめ保持されていてもよいし、1つの触覚信号をもとにリアルタイムに生成されてもよい。後者の場合、体の部位や、動画像における人物の動きの大きさに基づいて、触覚信号の振幅、周波数、出力のタイミングなどが調整されて、1つの触覚信号から、触覚信号W41,W42が生成される。
なお、「殴る」というコンテキストは、コンテンツに付加されるメタデータに、コンテンツ情報として含まれるようにしてもよいし、動画像に対する動き解析などの画像処理によって生成されるようにしてもよい。
<5.その他>
(触覚提示の他の例)
以上においては、ユーザに対する触覚提示として、振動提示が行われる例について説明したが、本開示に係る技術を適用した触覚提示システムにおいては、温度提示、力覚提示、圧覚提示など、他の触覚提示が行われるようにすることもできる。
(触覚提示の他の例)
以上においては、ユーザに対する触覚提示として、振動提示が行われる例について説明したが、本開示に係る技術を適用した触覚提示システムにおいては、温度提示、力覚提示、圧覚提示など、他の触覚提示が行われるようにすることもできる。
例えば、ユーザに対する触覚提示として、温度提示が行われるようにしてもよい。
この場合、温度変化による影響(温度上昇によりデバイス自体が壊れたり、映像や音楽を出力するなどの他の機能に支障が出るなど)が最も小さいデバイスが、推奨デバイスや出力先デバイスに決定されるようにする。
さらに、温度提示を行う上でより好条件なデバイスが、推奨デバイスや出力先デバイスに決定されるようにしてもよい。例えば、ユーザが、ウォッチ型デバイスとベルト型デバイスを装着している場合、ユーザの皮膚に直接触れている(ユーザが温度感覚を得やすい)ウォッチ型デバイスが、出力先デバイスに決定されるようにする。
また、触覚提示(触覚刺激)の種類に応じて、出力先デバイスが決定されるようにしてもよい。例えば、振動提示を行わせるための触覚信号は、スマートフォンに出力され、温度提示を行わせるための触覚信号は、ウォッチ型デバイスに出力されるようにする。
さらに、触覚提示(触覚刺激)に対する感度の違いに応じて、出力先デバイスが決定されるようにしてもよい。
具体的には、温度提示は、ユーザが装着している複数のデバイスのうち、温度提示を行う上でより好条件なデバイスに行わせるようにする。例えば、ユーザが、ウォッチ型デバイスとベルト型デバイスを装着している場合、ユーザの皮膚に直接触れている(ユーザが温度感覚を得やすい)ウォッチ型デバイスが、温度提示のための出力先デバイスに決定されるようにする。この場合、振動感覚は衣服の上からでも得られるので、ベルト型デバイスが、振動提示のための出力先デバイスに決定される。
また、ユーザに対する触覚提示として、電気刺激による力覚提示が行われるようにしてもよい。この場合、力覚提示は、ユーザの皮膚に直接触れているデバイスに行わせるようにする。例えば、ユーザが、ウォッチ型デバイスとベルト型デバイスを装着している場合、皮膚に直接触れているウォッチ型デバイスが、力覚提示のための出力先デバイスに決定され、ベルト型デバイスが、振動提示のための出力先デバイスに決定される。
以上においては、ユーザに提示されるコンテンツは、動画像や音楽など、ユーザの視覚や聴覚に訴求するものであったが、これに限らず、ユーザに何らかの情報を提供するものであればよい。
例えば、ユーザに提示されるコンテンツ自体が、振動や温度、力覚や圧覚であってもよい。この場合、例えば、ユーザに提示される振動に連動して、複数のデバイスが振動提示を行ったり、温度提示を行ったりする。
すなわち、本開示に係る技術を適用した触覚提示システムにおいては、ユーザに提示されるコンテンツがいかなる形態であっても、そのコンテンツに対応した触覚提示を最適なデバイスに割り当てることができる。
(コンピュータの構成例)
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図22は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)1001,ROM(Read Only Memory)1002,RAM(Random Access Memory)1003は、バス1004により相互に接続されている。
バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、入力部1006、出力部1007、記憶部1008、通信部1009、およびドライブ1010が接続されている。
入力部1006は、キーボード、マウス、マイクロフォンなどよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記憶部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインタフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1011を駆動する。
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005およびバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディアなどとしてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
(本開示がとり得る他の構成)
さらに、本開示は以下のような構成をとることができる。
(1)
ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力を制御する制御部
を備える情報処理装置。
(2)
前記制御部は、前記コンテンツ情報および前記デバイス情報の少なくとも一方に基づいて、前記複数のデバイスから、前記触覚信号の出力先となる前記触覚提示部を有する出力先デバイスを決定する
(1)に記載の情報処理装置。
(3)
前記コンテンツ情報は、前記コンテンツの内容を表す情報を含む
(2)に記載の情報処理装置。
(4)
前記コンテンツ情報は、前記コンテンツの内容と前記デバイスとの相性を表す相性度を含む
(2)に記載の情報処理装置。
(5)
前記制御部は、前記相性度のスコアが所定の閾値を超える前記デバイスが存在する場合、前記相性度のスコアが前記閾値を超える前記デバイスを、前記出力先デバイスに決定する
(4)に記載の情報処理装置。
(6)
前記制御部は、前記相性度のスコアが所定の閾値を超える前記デバイスが存在しない場合、任意の前記デバイスを、前記出力先デバイスに決定する
(4)または(5)に記載の情報処理装置。
(7)
前記コンテンツ情報は、前記コンテンツにメタデータとして付加されている情報である
(2)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記制御部は、前記コンテンツ情報の解析結果に基づいて、前記出力先デバイスを決定する
(2)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記デバイス情報は、前記触覚提示部の特性を表す情報を含む
(2)に記載の情報処理装置。
(10)
前記触覚提示部は、振動子として構成され、
前記制御部は、前記触覚信号として、前記振動子を振動させるための振動信号を出力する
(9)に記載の情報処理装置。
(11)
前記デバイス情報は、前記振動子の振動の周波数特性、加速度特性、および時間応答特性の少なくともいずれかを表す情報を含む
(10)に記載の情報処理装置。
(12)
前記デバイス情報は、前記振動子に対する前記振動信号と、前記振動信号による前記振動子の振動との関係に基づいた情報を含む
(11)に記載の情報処理装置。
(13)
前記制御部は、前記出力先デバイスの前記デバイス情報に基づいて、前記触覚信号を変更して出力する
(9)乃至(12)のいずれかに記載の情報処理装置。
(14)
前記制御部は、前記触覚信号の出力先として決定した複数の前記出力先デバイスが有する前記触覚提示部に対して、同一の前記触覚信号を出力する
(2)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記制御部は、前記触覚信号の出力先として決定した複数の前記出力先デバイスが有する前記触覚提示部に対して、前記出力先デバイス毎に異なる前記触覚信号を出力する
(2)乃至(13)のいずれかに記載の情報処理装置。
(16)
前記制御部は、前記複数のデバイスの周囲の環境に関する環境情報をさらに用いて、前記出力先デバイスを決定する
(2)乃至(15)のいずれかに記載の情報処理装置。
(17)
前記制御部は、前記複数のデバイスを携帯している前記ユーザに関するユーザ情報をさらに用いて、前記出力先デバイスを決定する
(2)乃至(15)のいずれかに記載の情報処理装置。
(18)
前記制御部は、前記触覚提示部によって触覚提示が行われたときに取得された前記ユーザ情報を学習した学習結果に基づいて、前記出力先デバイスを決定する
(17)に記載の情報処理装置。
(19)
情報処理装置が、
ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力を制御する
情報処理方法。
(20)
コンピュータに、
ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力を制御する
処理を実行させるためのプログラムが記録された記録媒体。
さらに、本開示は以下のような構成をとることができる。
(1)
ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力を制御する制御部
を備える情報処理装置。
(2)
前記制御部は、前記コンテンツ情報および前記デバイス情報の少なくとも一方に基づいて、前記複数のデバイスから、前記触覚信号の出力先となる前記触覚提示部を有する出力先デバイスを決定する
(1)に記載の情報処理装置。
(3)
前記コンテンツ情報は、前記コンテンツの内容を表す情報を含む
(2)に記載の情報処理装置。
(4)
前記コンテンツ情報は、前記コンテンツの内容と前記デバイスとの相性を表す相性度を含む
(2)に記載の情報処理装置。
(5)
前記制御部は、前記相性度のスコアが所定の閾値を超える前記デバイスが存在する場合、前記相性度のスコアが前記閾値を超える前記デバイスを、前記出力先デバイスに決定する
(4)に記載の情報処理装置。
(6)
前記制御部は、前記相性度のスコアが所定の閾値を超える前記デバイスが存在しない場合、任意の前記デバイスを、前記出力先デバイスに決定する
(4)または(5)に記載の情報処理装置。
(7)
前記コンテンツ情報は、前記コンテンツにメタデータとして付加されている情報である
(2)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記制御部は、前記コンテンツ情報の解析結果に基づいて、前記出力先デバイスを決定する
(2)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記デバイス情報は、前記触覚提示部の特性を表す情報を含む
(2)に記載の情報処理装置。
(10)
前記触覚提示部は、振動子として構成され、
前記制御部は、前記触覚信号として、前記振動子を振動させるための振動信号を出力する
(9)に記載の情報処理装置。
(11)
前記デバイス情報は、前記振動子の振動の周波数特性、加速度特性、および時間応答特性の少なくともいずれかを表す情報を含む
(10)に記載の情報処理装置。
(12)
前記デバイス情報は、前記振動子に対する前記振動信号と、前記振動信号による前記振動子の振動との関係に基づいた情報を含む
(11)に記載の情報処理装置。
(13)
前記制御部は、前記出力先デバイスの前記デバイス情報に基づいて、前記触覚信号を変更して出力する
(9)乃至(12)のいずれかに記載の情報処理装置。
(14)
前記制御部は、前記触覚信号の出力先として決定した複数の前記出力先デバイスが有する前記触覚提示部に対して、同一の前記触覚信号を出力する
(2)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記制御部は、前記触覚信号の出力先として決定した複数の前記出力先デバイスが有する前記触覚提示部に対して、前記出力先デバイス毎に異なる前記触覚信号を出力する
(2)乃至(13)のいずれかに記載の情報処理装置。
(16)
前記制御部は、前記複数のデバイスの周囲の環境に関する環境情報をさらに用いて、前記出力先デバイスを決定する
(2)乃至(15)のいずれかに記載の情報処理装置。
(17)
前記制御部は、前記複数のデバイスを携帯している前記ユーザに関するユーザ情報をさらに用いて、前記出力先デバイスを決定する
(2)乃至(15)のいずれかに記載の情報処理装置。
(18)
前記制御部は、前記触覚提示部によって触覚提示が行われたときに取得された前記ユーザ情報を学習した学習結果に基づいて、前記出力先デバイスを決定する
(17)に記載の情報処理装置。
(19)
情報処理装置が、
ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力を制御する
情報処理方法。
(20)
コンピュータに、
ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力を制御する
処理を実行させるためのプログラムが記録された記録媒体。
31 触覚提示制御装置, 32 触覚提示デバイス, 51 情報取得部, 52 制御部, 53 通信部, 61 通信部, 62 制御部, 63 触覚提示部, 71 情報解析部, 72 出力先決定部, 73 信号生成部, 74 出力制御部, 75 学習記憶部
Claims (20)
- ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力を制御する制御部
を備える情報処理装置。 - 前記制御部は、前記コンテンツ情報および前記デバイス情報の少なくとも一方に基づいて、前記複数のデバイスから、前記触覚信号の出力先となる前記触覚提示部を有する出力先デバイスを決定する
請求項1に記載の情報処理装置。 - 前記コンテンツ情報は、前記コンテンツの内容を表す情報を含む
請求項2に記載の情報処理装置。 - 前記コンテンツ情報は、前記コンテンツの内容と前記デバイスとの相性を表す相性度を含む
請求項2に記載の情報処理装置。 - 前記制御部は、前記相性度のスコアが所定の閾値を超える前記デバイスが存在する場合、前記相性度のスコアが前記閾値を超える前記デバイスを、前記出力先デバイスに決定する
請求項4に記載の情報処理装置。 - 前記制御部は、前記相性度のスコアが所定の閾値を超える前記デバイスが存在しない場合、任意の前記デバイスを、前記出力先デバイスに決定する
請求項4に記載の情報処理装置。 - 前記コンテンツ情報は、前記コンテンツにメタデータとして付加されている情報である
請求項2に記載の情報処理装置。 - 前記制御部は、前記コンテンツ情報の解析結果に基づいて、前記出力先デバイスを決定する
請求項2に記載の情報処理装置。 - 前記デバイス情報は、前記触覚提示部の特性を表す情報を含む
請求項2に記載の情報処理装置。 - 前記触覚提示部は、振動子として構成され、
前記制御部は、前記触覚信号として、前記振動子を振動させるための振動信号を出力する
請求項9に記載の情報処理装置。 - 前記デバイス情報は、前記振動子の振動の周波数特性、加速度特性、および時間応答特性の少なくともいずれかを表す情報を含む
請求項10に記載の情報処理装置。 - 前記デバイス情報は、前記振動子に対する前記振動信号と、前記振動信号による前記振動子の振動との関係に基づいた情報を含む
請求項11に記載の情報処理装置。 - 前記制御部は、前記出力先デバイスの前記デバイス情報に基づいて、前記触覚信号を変更して出力する
請求項9に記載の情報処理装置。 - 前記制御部は、前記触覚信号の出力先として決定した複数の前記出力先デバイスが有する前記触覚提示部に対して、同一の前記触覚信号を出力する
請求項2に記載の情報処理装置。 - 前記制御部は、前記触覚信号の出力先として決定した複数の前記出力先デバイスが有する前記触覚提示部に対して、前記出力先デバイス毎に異なる前記触覚信号を出力する
請求項2に記載の情報処理装置。 - 前記制御部は、前記複数のデバイスの周囲の環境に関する環境情報をさらに用いて、前記出力先デバイスを決定する
請求項2に記載の情報処理装置。 - 前記制御部は、前記複数のデバイスを携帯している前記ユーザに関するユーザ情報をさらに用いて、前記出力先デバイスを決定する
請求項2に記載の情報処理装置。 - 前記制御部は、前記触覚提示部によって触覚提示が行われたときに取得された前記ユーザ情報を学習した学習結果に基づいて、前記出力先デバイスを決定する
請求項17に記載の情報処理装置。 - 情報処理装置が、
ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号の出力を制御する
情報処理方法。 - コンピュータに、
ユーザに提示されるコンテンツに関するコンテンツ情報と、前記ユーザが携帯している、前記ユーザに対して触覚提示を行う触覚提示部を有する複数のデバイスに関するデバイス情報とに基づいて、前記触覚提示部を有する前記複数のデバイスの少なくともいずれかに、前記コンテンツに対応した触覚提示を前記触覚提示部に行わせるための触覚信号出力を制御する
処理を実行させるためのプログラムが記録された記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126043A JP2021170148A (ja) | 2018-07-02 | 2018-07-02 | 情報処理装置、情報処理方法、および記録媒体 |
US16/973,527 US11276282B2 (en) | 2018-07-02 | 2019-06-18 | Information processing apparatus, information processing method, and recording medium |
PCT/JP2019/024001 WO2020008856A1 (ja) | 2018-07-02 | 2019-06-18 | 情報処理装置、情報処理方法、および記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126043A JP2021170148A (ja) | 2018-07-02 | 2018-07-02 | 情報処理装置、情報処理方法、および記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021170148A true JP2021170148A (ja) | 2021-10-28 |
Family
ID=69060252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018126043A Pending JP2021170148A (ja) | 2018-07-02 | 2018-07-02 | 情報処理装置、情報処理方法、および記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11276282B2 (ja) |
JP (1) | JP2021170148A (ja) |
WO (1) | WO2020008856A1 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6198395B1 (en) * | 1998-02-09 | 2001-03-06 | Gary E. Sussman | Sensor for sight impaired individuals |
US6392540B1 (en) * | 2000-05-04 | 2002-05-21 | Mary E. Brown | Non-auditory sound detection system |
JP5920862B2 (ja) * | 2011-03-08 | 2016-05-18 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、コンピュータプログラム、および情報処理システム |
JP2015231098A (ja) | 2014-06-04 | 2015-12-21 | ソニー株式会社 | 振動装置、および振動方法 |
EP3037918A1 (en) * | 2014-12-23 | 2016-06-29 | Thomson Licensing | System and method for localizing haptic effects on a body |
JP2016131306A (ja) * | 2015-01-14 | 2016-07-21 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2017227780A (ja) * | 2016-06-23 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
WO2018008217A1 (ja) | 2016-07-07 | 2018-01-11 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2018
- 2018-07-02 JP JP2018126043A patent/JP2021170148A/ja active Pending
-
2019
- 2019-06-18 WO PCT/JP2019/024001 patent/WO2020008856A1/ja active Application Filing
- 2019-06-18 US US16/973,527 patent/US11276282B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2020008856A1 (ja) | 2020-01-09 |
US11276282B2 (en) | 2022-03-15 |
US20210256821A1 (en) | 2021-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10286310B2 (en) | Information processing apparatus, storage medium having stored therein information processing program, information processing system, and information processing method | |
CN106992013B (zh) | 语音情感修改 | |
EP2942089B1 (en) | Information processing apparatus, information processing program, information processing system, and information processing method | |
US8987571B2 (en) | Method and apparatus for providing sensory information related to music | |
US11676461B2 (en) | Information processing device, information processing method, and program for controlling haptics based on context information | |
KR102355193B1 (ko) | 시스템, 단말 장치, 방법 및 기록 매체 | |
TW201820315A (zh) | 改良型音訊耳機裝置及其聲音播放方法、電腦程式 | |
CN109032384A (zh) | 音乐播放控制方法、装置及存储介质和穿戴式设备 | |
US20240030936A1 (en) | Decoding apparatus, decoding method, and program | |
JP7207468B2 (ja) | 出力制御装置、出力制御方法およびプログラム | |
US11895474B2 (en) | Activity detection on devices with multi-modal sensing | |
CN109119057A (zh) | 音乐创作方法、装置及存储介质和穿戴式设备 | |
JPWO2020031497A1 (ja) | 触覚提示装置の事前駆動 | |
US11276282B2 (en) | Information processing apparatus, information processing method, and recording medium | |
WO2016157678A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2019198299A1 (ja) | 情報処理装置及び情報処理方法 | |
CN115497491A (zh) | 音频消除系统和方法 | |
CN115487491A (zh) | 音频消除系统和方法 | |
CN113196210A (zh) | 信息处理装置、信息处理系统、信息处理方法和程序 | |
JP2021141907A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2020080122A (ja) | 情報処理装置、情報処理方法、および記憶媒体 | |
US20240107257A1 (en) | Relocation of sound components in spatial audio content | |
EP4358084A1 (en) | Audio cancellation system and method | |
US20240017166A1 (en) | Systems and methods for generating real-time directional haptic output | |
CN118226946A (zh) | 音频呈现方法和设备 |