JP2018124859A - 体感装置、その方法、およびデータ構造 - Google Patents

体感装置、その方法、およびデータ構造 Download PDF

Info

Publication number
JP2018124859A
JP2018124859A JP2017017508A JP2017017508A JP2018124859A JP 2018124859 A JP2018124859 A JP 2018124859A JP 2017017508 A JP2017017508 A JP 2017017508A JP 2017017508 A JP2017017508 A JP 2017017508A JP 2018124859 A JP2018124859 A JP 2018124859A
Authority
JP
Japan
Prior art keywords
body
sensation
vibration
sound
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017017508A
Other languages
English (en)
Other versions
JP6571701B2 (ja
Inventor
謙太郎 安
Kentaro Yasu
謙太郎 安
淳司 渡邊
Junji Watanabe
淳司 渡邊
弾 三上
Dan Mikami
弾 三上
康輔 高橋
Kosuke Takahashi
康輔 高橋
木全 英明
Hideaki Kimata
英明 木全
Original Assignee
日本電信電話株式会社
Nippon Telegr & Teleph Corp <Ntt>
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社, Nippon Telegr & Teleph Corp <Ntt> filed Critical 日本電信電話株式会社
Priority to JP2017017508A priority Critical patent/JP6571701B2/ja
Publication of JP2018124859A publication Critical patent/JP2018124859A/ja
Application granted granted Critical
Publication of JP6571701B2 publication Critical patent/JP6571701B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Abstract

【課題】比較的大きな質量を持つ物体によって与えられる触感覚を体感させる。
【解決手段】体感装置は、映像を利用者に呈示する映像呈示部と、利用者の上記体の部位への振動および利用者の上記体の部位の周囲への音の少なくとも一方を呈示する第1体感呈示部と、利用者の体幹の一部を間に挟むように体幹に装着され、体幹への振動および体幹の周囲への音の少なくとも一方を呈示する第2および第3体感呈示部とを有する。動物の体の部位に力が与えられる時点でこの動物の視覚によって知覚される物体の動きを表す映像が映像呈示部から利用者に呈示されるときに、第1体感呈示部が振動および音の少なくとも一方の呈示を開始し、その後に第2体感呈示部が振動および音の少なくとも一方の呈示を開始し、その後に3体感呈示部が振動および音の少なくとも一方の呈示を開始する。
【選択図】図1

Description

本発明は、利用者に体感を与える技術に関する。

利用者に体感を与える技術が知られている。非特許文献1には、バドミントンラケットに埋め込まれた振動子によって羽根を打つ感覚を知覚させる技術が開示されている。非特許文献2には、スーツ全体に設けられた26個の振動子によって触感覚を知覚させるゲーム体験方法が開示されている。

Yusuke Mizushina, Wataru Fujiwara, Tomoaki Sudou, Charith Lasantha Fernando, Kouta Minamizawa, and Susumu Tachi, "Interactive instant replay: sharing sports experience using 360-degrees spherical images and haptic sensation based on the coupled body motion," In Proceedings of the 6th Augmented Human International Conference (AH '15), Singapore, pp.227-228 (2015.3) Yukari Konishi, Nobuhisa Hanamitsu, Kouta Minamizawa, Ayahiko Sato, and Tetsuya Mizuguchi, "Synesthesia suit: the full body immersive experience," In ACM SIGGRAPH 2016 VR Village (SIGGRAPH '16), ACM, New York, NY, USA, Article 20 , 1 pages (2016.)

しかし、従来方法はいずれも触感覚を与えようとする部位のみに振動刺激を与えるものであり、質量の軽い物体によって与えられる触感覚を知覚させることはできるものの、比較的大きな質量を持つ物体によって与えられる触感覚を体感させることはできない。

本発明はこのような点に鑑みてなされたものであり、比較的大きな質量を持つ物体によって与えられる触感覚を比較的簡易な提示装置によって体感させることを目的とする。

上記の課題を解決するために、動物(人間および人間以外の動物を含む)の体の部位に力が与えられる際にこの動物の視覚によって知覚される物体の動きを表す映像を利用者に呈示する映像呈示部と、利用者の上記体の部位への振動および利用者の上記体の部位の周囲への音の少なくとも一方を呈示する第1体感呈示部と、利用者の体幹の一部を間に挟むように体幹に装着され、体幹への振動および体幹の周囲への音の少なくとも一方を呈示する第2および第3体感呈示部と、を有する体感装置が提供される。動物の体の部位に力が与えられる時点でこの動物の視覚によって知覚される物体の動きを表す映像が映像呈示部から利用者に呈示されるときに、第1体感呈示部が振動および音の少なくとも一方の呈示を開始し、第1体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、第2体感呈示部が振動および音の少なくとも一方の呈示を開始し、第2体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、第3体感呈示部が振動および音の少なくとも一方の呈示を開始する。

これにより、比較的大きな質量を持つ物体によって与えられる触感覚を体感させることができる。

図1は実施形態の体感装置の機能構成を説明するためのブロック図である。 図2は実施形態の体感装置の使用状態を説明するための図である。 図2は実施形態の体感装置の動作を説明するための図である。 図4は映像呈示部から呈示される映像を例示するための図である。 図5は実施形態の体感装置の使用状態を説明するための図である。 図6は実施形態の体感装置の使用状態を説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。
[第1実施形態]
第1実施形態を説明する。
<構成>
図1に例示するように、本形態の体感装置1は、映像呈示部10、体感呈示部11−1〜n,12,13、記憶部14、制御部15、映像信号発生部16、および駆動信号発生部17を有する。ただし、nは1以上の整数である。例えば、n=1であってもよいし、n=2であってもよい。

映像呈示部10は、動物の体の部位に力が与えられる際にこの「動物」の視覚によって知覚される物体の動きを表す映像を利用者に呈示(表示)するディスプレイである。「動物」とは植物以外の生物を意味し、人間および人間以外の動物を含む。「動物の体の部位に力が与えられる際」とは、例えば、動物の体の部位に移動物体が衝突する際、動物の体の部位に把持された物に移動物体が衝突する際、動物の体の部位に取り付けられた物に移動物体が衝突する際、動物の体の部位またはそれに把持された物や取り付けられた物が外部の物体に衝突する際、動物の体の部位が外部から押された際または引っ張られた際、動物の体の部位に把持された物または取り付けられた物が外部から押された際または引っ張られた際、動物の体の部位またはそれに接触した物に振動が伝達された際などである。例えば、シュートされたサッカーボールをゴールキーパーがキャッチする際、サッカープレイヤーがサッカーボールを蹴る際、テニスプレイヤーがテニスラケットでテニスボールを打ち返す際、バンジージャンプを行ったジャンパーの足に固定された命綱に力が加わる際、ボクサーが相手のパンチを受ける際、演奏者が和太鼓を打ち鳴らす際、犬の首輪が飼い主によって引っ張られる際などが「動物の体の部位に力が与えられる際」の具体例である。「動物の体の部位に力が与えられる際に動物の視覚によって知覚される物体の動き」は、「動物の体の部位に力が与えられる時点」を含む時間区間で「動物の視覚によって知覚される物体の動き」である。この「時間区間」は、「動物の体の部位に力が与えられる時点」だけではなく、それよりも過去の時間区間および未来の時間区間を含むことが望ましい。「物体の動きを表す映像」は、例えば、移動物体の動きを表す映像や背景に存在する物の物体の動きを表す映像などである。「物体の動きを表す映像」が静止した物体や背景を含んでいてもよい。「映像」は、仮想空間を表す、VR(仮想現実)映像であってもよいし、AR(拡張現実)映像であってもよいし、MR(複合現実)映像であってもよいし、SR(代替現実)映像であってもよい。「映像」はその他の三次元映像であってもよいし、二次元映像であってもよい。「映像」の例は、サッカー選手とシュートされたサッカーボールと背景とを含むVR映像などである。映像呈示部10の例は、VRゴーグル、立体映像や二次元映像を表示するディスプレイ、スクリーンに立体映像や二次元映像を投影するプロジェクターなどである。「体の部位」の例は、手、腕、足、頭、肩などである。

本形態の体感呈示部11−1〜n,12,13は、振動および音を呈示する振動源および音源である。体感呈示部11−1〜n,12,13は、振動源および音源の両方の機能を備えたデバイスから構成されていてもよいし、振動源の機能を備えたデバイスと音源の機能を備えたデバイスとの組み合わせによって構成されていてもよい。振動源および音源の両方の機能を備えたデバイスおよび音源の機能を備えたデバイスの例はスピーカであり、振動源の機能を備えたデバイスの例は振動モータなどの振動子である。体感呈示部12,13の具体例は、特開2009−070263に開示されている。体感呈示部11−1〜nは、利用者の上述した「体の部位」への振動および利用者の「体の部位」の周囲への音を呈示する。体感呈示部11−1〜nは、利用者の上述した「体の部位」に装着されてもよいし、「体の部位」に把持または装着された物体に取り付けられていてもよい。一方、体感呈示部12,13は、利用者の体幹の一部を間に挟むように体幹に装着され、体幹への振動および体幹の周囲への音を呈示する。体感呈示部12および13は、利用者の腹側および背側にそれぞれ装着されてもよいし、その逆に利用者の背側および腹側にそれぞれ装着されてもよい。あるいは、体感呈示部12および13が、利用者の体幹の右腹部および左腹部にそれぞれ装着されてもよいし、その逆に左腹部および右腹部にそれぞれ装着されてもよい。なお、前述の「動物」と「利用者」とは互いに同一であってもよいし、互いに異なっていてもよい。

記憶部14は、ハードディスクやRAM(random-access memory)などの記憶装置である。記憶部14には、映像呈示部10から呈示される映像を表す時系列の映像データ、およびこの映像に応じて体感呈示部11−1〜n,12,13を駆動させるための時系列の制御データを含むデータ構造が格納される。「映像データ」は、「動物の体の部位に力が与えられる際に動物の視覚によって知覚される物体の動き」を表す時系列の映像データである。「映像データ」の例は、VRゴーグルから表示されるVR映像のデータである。「映像データ」は事前に撮影された映像から生成されてもよいし、事前に撮影された映像とリアルタイムに撮影された映像とから生成されてもよいし、撮影された映像とコンピュータグラフィックによって作成された映像とから生成されてもよいし、コンピュータグラフィックのみによって生成されてもよい。「制御データ」は、「動物の体の部位に力が与えられる時点で動物の視覚によって知覚される物体の動きを表す映像」が映像呈示部10から利用者に呈示されるときに、体感呈示部11−1〜nに振動および音の少なくとも一方の呈示を開始させ、体感呈示部11−1〜nが振動および音の少なくとも一方の呈示を開始した後に、体感呈示部12に振動および音の少なくとも一方の呈示を開始させ、体感呈示部12が振動および音の少なくとも一方の呈示を開始した後に、体感呈示部13に振動および音の少なくとも一方の呈示を開始させるための時系列の制御データである。「制御データ」に基づいて呈示される振動および音は、実際にサンプリングされた「動物の体の部位に力が与えられる際」に発生する音(例えば、サッカーボールがゴールキーパーの手に衝突する際に発生する音など)に基づいて作成されたものであることが望ましい。これにより、現実感の高い体感を呈示できる。また、体感呈示部11−1〜n,12,13から音が呈示される場合、複数音源の出力を調整し、利用者がそれらの音源の位置が体感呈示部11−1〜n,12,13の位置であると認識できないようにすることが望ましい。人間の聴覚は一箇所の音源からの音の空間定位に秀でており、利用者が音源の位置を認識できてしまうと没入感が低下してしまうからである。体感呈示部11−1〜nが振動および音の少なくとも一方の呈示を開始してから体感呈示部12が振動および音の少なくとも一方の呈示を開始するまでの遅延時間D12は、上述の「映像」中の「物体」の位置や形状の時間変化量の大きさV(例えば、物体の移動速度の大きさや物体の変形量の大きさなど)に対応することが望ましい。すなわち、遅延時間D12は、「物体」の位置や形状の時間変化量の大きさVの関数値D12=f(V)であることが望ましい。例えば、「物体」の位置や形状の時間変化量の大きさがV=v1であるときの遅延時間がD12=d1であり、「物体」の位置や形状の時間変化量の大きさがV=v2であるときの遅延時間がD12=d2であるとき、v1はv2よりも小さく、d1はd2よりも大きいことが望ましい。例えば、D12=f(V)がVの非増加関数値であることが望ましい。例えば、「物体」の位置や形状の時間変化量Vが大きいほど遅延時間D12が小さくなる(言い換えると、「物体」の位置や形状の時間変化量が小さいほど遅延時間D12が大きくなる)ことが望ましい。ただし、遅延時間D12は零よりも大きく予め定められた時間未満であることが望ましい。例えば、遅延時間D12は零よりも大きく100ms以下(例えば、100ms未満)であることが望ましい。例えば、遅延時間D12は50ms程度であってもよい。一方、体感呈示部12が振動および音の少なくとも一方の呈示を開始してから体感呈示部13が振動および音の少なくとも一方の呈示を開始するまでの遅延時間D23は、「物体」の位置や形状の時間変化量の大きさVの関数値D23=f’(V)であってもよいし、「物体」の位置や形状の時間変化量の大きさVの関数値D23=f’(V)でなくてもよいし、固定値であってもよい。ただし、遅延時間D23は、零よりも大きく予め定められた時間未満であることが望ましい。例えば、遅延時間D23は、零よりも大きく100ms以下(例えば、100ms未満)であることが望ましい。例えば、遅延時間D23が50ms程度であってもよい。またD23=f’(V)である場合、D23=f’(V)がVの非増加関数値であることが望ましい。体感呈示部11−1〜nが振動および音の少なくとも一方の呈示を持続する第1持続期間と体感呈示部12が振動および音の少なくとも一方の呈示を持続する第2持続期間とは一部で重なり、体感呈示部12が振動および音の少なくとも一方の呈示を持続する第2持続期間と体感呈示部13が振動および音の少なくとも一方の呈示を持続する第3持続期間とは一部で重なることが望ましい。より好ましくは、第1持続期間と第2持続期間と第3持続期間とがすべて一部で重なることが望ましい。第1持続期間と第2持続期間とが重なっている期間、第2持続期間と第3持続期間とが重なっている期間、第1持続期間と第2持続期間と第3持続期間とが重なっている期間は、それぞれ零よりも大きく1000ms以下(例えば、1000ms未満)であることが望ましい。また、第1〜3持続期間は100ms以上1000ms以下であることが望ましい。なお、体感呈示部11−1〜n,12,13に振動および音の少なくとも一方を呈示させるタイミングは、人手によって設定されてもよいし、「映像データ」の特徴量を用いて自動的に設定されてもよい。

制御部15、映像信号発生部16、および駆動信号発生部17は、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)およびRAM・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。

<動作>
次に、体感装置1の動作について説明する。
体感装置1の利用者100は、映像呈示部10から呈示(表示)される「動物の体の部位に力が与えられる際に動物の視覚によって知覚される物体の動きを表す映像」を視認可能なように映像呈示部10を装着する。さらに利用者100は、この「動物の体の部位」に相当する自らの「体の部位」に体感呈示部11−1〜nを装着し、体幹101の一部を間に挟むように体幹101に体感呈示部12,13を装着する。図2に、n=2であり、「動物の体の部位」が両手の掌である場合の使用態様を例示する。図2の例では、利用者100はVRゴーグルである映像呈示部10を装着し、両手の掌にそれぞれ体感呈示部11−1,2を装着し、腹側に体感呈示部12を装着し、背側に体感呈示部13を装着している。しかしこれは本発明を限定するものではなく、例えば、背側に体感呈示部12を装着し、腹側に体感呈示部13を装着してもよい。

体感装置1の動作が開始すると、制御部15は記憶部14から前述の「映像データ」および「制御データ」を読み込み、「映像データ」を映像信号発生部16に送り、「制御データ」を駆動信号発生部17に送る。制御部15は「映像データ」および「制御データ」を同期させて以下のように制御する。

映像信号発生部16は、送られた「映像データ」によって表される映像を表示するための映像信号を映像呈示部10に送る。映像呈示部10は、送られた映像信号に基づいて前述の「映像」を表示する。例えば、映像呈示部10は、ゴールキーパーの視覚によって知覚されるシュートされたサッカーボールの軌道を表す「映像」を表示する(図4)。なお、図4では複数個のサッカーボールを図示しているが、実際に映像呈示部10から呈示される映像はサッカーボールがゴールキーパー側へ向かってくる様子を表す動画である。

一方、駆動信号発生部17は、送られた「制御データ」に基づく駆動信号を体感呈示部11−1〜n,12,13に送る。体感呈示部11−1〜n,12,13は送られた駆動信号によって駆動し、振動および音の呈示を行う。前述のように、体感呈示部11−1〜nは利用者100の「体の部位」への振動および利用者の体の部位の周囲への音の呈示を行い、体感呈示部12,13は利用者100の体幹101への振動および体幹101の周囲への音の呈示を行う。ただし、「動物の体の部位に力が与えられる時点で動物の視覚によって知覚される物体の動きを表す映像」が映像呈示部10から利用者100に呈示されるときに、体感呈示部11−1〜nが振動および音の呈示を開始し、体感呈示部11−1〜nが振動および音の呈示を開始した後に、体感呈示部12が振動および音の呈示を開始し、体感呈示部12が振動および音の呈示を開始した後に、体感呈示部13が振動および音の呈示を開始する。体感呈示部11−1〜nが振動および音の呈示を持続する第1持続期間と体感呈示部12が振動および音の呈示を持続する第2持続期間とは一部で重なり、体感呈示部12が振動および音の呈示を持続する第2持続期間と体感呈示部13が振動および音の少なくとも一方の呈示を持続する第3持続期間とは一部で重なっていることが望ましい。より好ましくは、第1持続期間と第2持続期間と第3持続期間とがすべて一部で重なることが望ましい。例えば、上述の第1〜3持続期間は100ms以上300ms以下である。図3に例示するように、図4の映像が利用者100に呈示される場合、利用者100にはサッカーボール110がA→B→Cの軌道を描いて飛んでくるように知覚する。サッカーボール110がBの位置に達して掌に衝突する時点の映像が映像呈示部10から利用者100に呈示されるとき(時刻t1)に、体感呈示部11−1,2が振動および音の呈示を開始する。その後、時刻t1から遅延時間D12=d1が経過した時点(時刻t2)で体感呈示部12が振動および音の呈示を開始する。さらにその後、遅延時間D23=d2が経過した時点(時刻t3)で体感呈示部13が振動および音の呈示を開始する。遅延時間D12は、映像におけるサッカーボール110の移動速度の大きさVの関数値D12=f(V)であることが望ましい。例えば、サッカーボール110の移動速度の大きさがV=v1であるときの遅延時間がD12=d1であり、サッカーボール110の移動速度の大きさがV=v2であるときの遅延時間がD12=d2であるとき、v1はv2よりも小さく、d1はd2よりも大きい。一方、遅延時間D23は、サッカーボール110の移動速度と無関係であってもよいし、サッカーボール110の移動速度の大きさVの関数値D23=f’(V)であってもよいし、固定値であってもよい。

以上により、利用者100は、サッカーボールなどの比較的大きい質量をもつ物体の衝突(身体の重心移動に寄与するレベル)を知覚し、小手先の刺激にとどまらない強い刺激と没入感を体感できる。これは体感呈示部11−1〜nによって物体が掌などの体の一部に直接衝突した際の感覚を体感し、さらに体感呈示部12,13によって体幹101への重い衝撃を体感できるからである。このように、物体が仮想的に直接衝突する位置だけではなく、それに伴う間接的な体幹101への衝撃をも再現することで、比較的大きな質量を持つ物体によって与えられる触感覚を体感させることができる。また、非特許文献2のように物体が仮想的に直接衝突する全身の位置のみに振動子を設ける構成に比べ、少ない体感呈示部によって効果的に触感覚を体感させることができる。

[第2実施形態]
第2実施形態を説明する。第1実施形態では、体感呈示部11−1〜n,12,13から振動および音が呈示された。しかしながら、体感呈示部から振動または音のみが呈示されてもよい。以下では体感呈示部から振動のみが呈示される例を説明する。なお、既に説明した事項については、同じ参照番号を引用して説明を簡略化する。

<構成>
図1に例示するように、本形態の体感装置2は、映像呈示部10、体感呈示部21−1〜n,22,23、記憶部14、制御部15、映像信号発生部16、および駆動信号発生部17を有する。ただし、nは1以上の整数である。例えば、n=1であってもよいし、n=2であってもよい。

本形態の体感呈示部21−1〜n,22,23は、振動を呈示する振動源である。体感呈示部21−1〜n,22,23の例は、振動モータなどの振動子である。体感呈示部21−1〜nは、利用者の上述した「体の部位」へ振動を呈示する(「体の部位」へ振動を与える)。体感呈示部21−1〜nは、利用者の上述した「体の部位」に装着されていてもよいし、「体の部位」に把持または装着された物体に取り付けられていてもよい。体感呈示部22,23は、利用者の体幹の一部を間に挟むように体幹に装着され、体幹への振動を呈示する。体感呈示部22および23は、利用者の腹側および背側にそれぞれ装着されてもよいし、その逆に利用者の背側および腹側にそれぞれ装着されてもよい。あるいは、体感呈示部22および23が、利用者の体幹の右腹部および左腹部にそれぞれ装着されてもよいし、その逆に左腹部および右腹部にそれぞれ装着されてもよい。

記憶部14には、映像呈示部10から呈示される映像を表す時系列の映像データ、およびこの映像に応じて体感呈示部21−1〜n,22,23を駆動させるための時系列の制御データを含むデータ構造が格納される。本形態の「映像データ」は第1実施形態で説明したものと同じである。一方、本形態の「制御データ」は体感呈示部21−1〜n,22,23に振動のみを呈示させるためのものであり、この点で第1実施形態で説明した「制御データ」と相違する。すなわち、本形態の「制御データ」は、「動物の体の部位に力が与えられる時点で動物の視覚によって知覚される物体の動きを表す映像」が映像呈示部10から利用者に呈示されるときに、体感呈示部21−1〜nに振動の呈示を開始させ、体感呈示部21−1〜nが振動の呈示を開始した後に、体感呈示部12に振動の呈示を開始させ、体感呈示部12が振動の呈示を開始した後に、体感呈示部13に振動の呈示を開始させるための時系列の制御データである。その他の本形態の「制御データ」の特徴は、第1実施形態で説明した「制御データ」の特徴と同じである。

<動作>
次に、体感装置2の動作について説明する。
体感装置2の利用者100は、映像呈示部10から呈示(表示)される「動物の体の部位に力が与えられる際に動物の視覚によって知覚される物体の動きを表す映像」を視認可能なように映像呈示部10を装着、または配置する。さらに利用者100は、この「動物の体の部位」に相当する自らの「体の部位」に体感呈示部21−1〜nを装着し、体幹101の一部を間に挟むように体幹101に体感呈示部22,23を装着する。図2の例では、利用者100はVRゴーグルである映像呈示部10を装着し、両手の掌にそれぞれ体感呈示部21−1,2を装着し、腹側に体感呈示部22を装着し、背側に体感呈示部23を装着している。しかしこれは本発明を限定するものではなく、例えば、背側に体感呈示部22を装着し、腹側に体感呈示部23を装着してもよい。

体感装置2の動作が開始すると、制御部15は記憶部14から前述の「映像データ」および「制御データ」を読み込み、「映像データ」を映像信号発生部16に送り、「制御データ」は駆動信号発生部17に送られる。映像信号発生部16および映像呈示部10の処理は第1実施形態と同じである。駆動信号発生部17は、送られた「制御データ」に基づく駆動信号を体感呈示部21−1〜n,22,23に送る。体感呈示部21−1〜n,22,23は送られた駆動信号によって駆動し、振動の呈示を行う。体感呈示部21−1〜nは利用者100の「体の部位」へ振動を呈示し、体感呈示部22,23は利用者100の体幹101へ振動を呈示する。ただし、「動物の体の部位に力が与えられる時点で動物の視覚によって知覚される物体の動きを表す映像」が映像呈示部10から利用者100に呈示されるときに、体感呈示部21−1〜nが振動の呈示を開始し、体感呈示部21−1〜nが振動の呈示を開始した後に、体感呈示部22が振動の呈示を開始し、体感呈示部22が振動の呈示を開始した後に、体感呈示部23が振動の呈示を開始する。この詳細は、体感呈示部11−1〜n,12,13が振動および音を呈示することに代えて体感呈示部21−1〜n,22,23が振動を呈示する以外、第1実施形態で説明したものと同じである。

以上によっても第1実施形態と同様な効果を得ることができる。

[第3実施形態]
第1および2実施形態では、それぞれ、利用者100の体の部位に体感呈示部11−1〜nおよび21−1〜nを装着する例を示した。しかしながら、利用者100の体の部位(例えば掌)に把持される物体に体感呈示部11−1〜nまたは21−1〜nが装着されてもよい。例えば、図5に例示するように、利用者100が第1または第2実施形態と同じように映像呈示部10、および体感呈示部12,13または22,23を装着し、さらに、自らが把持するテニスラケット301に体感呈示部11−1または21−1が装着されてもよい。

この場合、映像呈示部10は、送られた映像信号に基づいて、テニスプレイヤーの視覚によって知覚されるテニスボールの軌道を表す「映像」を表示する。体感呈示部11−1または21−1は、テニスプレイヤーがテニスラケットでテニスボールを打ち返す時点でこのテニスプレイヤーの視覚によって知覚される「映像」が映像呈示部10から利用者100に呈示されるときに、体感呈示部11−1または21−1が振動および音の少なくとも一方の呈示を開始し、体感呈示部11−1または21−1が振動および音の少なくとも一方の呈示を開始した後に、体感呈示部12が振動および音の少なくとも一方の呈示を開始し、体感呈示部12が振動および音の少なくとも一方の呈示を開始した後に、体感呈示部13が振動および音の少なくとも一方の呈示を開始する。その他は第1および2実施形態で説明した通りである。このようにしても、第1および2実施形態と同様な効果を得ることができる。

[第4実施形態]
映像呈示部10からVR映像などの仮想空間の映像が呈示され、当該仮想空間での物体の位置と利用者100の体の部分の位置、または、当該仮想空間での物体の位置と利用者100に把持もしくは取り付けられた物の位置との関係に応じ、体感呈示部11−1〜n,12,13または21−1〜n,22,23によって呈示される振動および音の少なくともいずれかを変化させてもよい。「仮想空間での物体の位置と利用者100の体の部分の位置との関係」の例は、仮想空間での物体(例えば、サッカーボール、テニスボールなど)の位置と利用者100の体の部分(例えば、手、足、頭など)との位置関係、仮想空間での物体の位置と利用者100の体の基準点との位置関係などである。「仮想空間での物体の位置と利用者100に把持もしくは取り付けられた物の位置との関係」の例は、仮想空間でのテニスボールの位置と利用者100の手に把持されたテニスラケット301のスイートスポットの位置との関係(図5)、仮想空間でのサッカーボールの位置と利用者100の足の位置との関係などである。上述の位置の関係に応じ、呈示される振動および音の少なくともいずれかの大きさ(振幅)を変化させてもよいし、周波数を変化させてもよいし、波形を変化させてもよい。「仮想空間での物体の位置と利用者100の体の部分の位置、または、仮想空間での物体の位置と利用者100に把持もしくは取り付けられた物の位置との関係」(例えば、物体の位置と利用者100の体の部分との距離)が複数の区分に区分けされ、区分ごとに異なる振動および音の少なくともいずれが設定されていてもよい。例えば、図5に例示した構成の場合、仮想空間でのテニスボールの位置とテニスラケット301のスイートスポットの位置との関係が複数の区分(例えば、テニスボールがスイートスポットに位置する区分、テニスボールがスイートスポット以外のテニスラケット301の部分(フレーム付近)に位置する区分、テニスボールがテニスラケットの外部に位置する区分の3区分)に区分けされ、体感呈示部11−1〜n,12,13または21−1〜n,22,23が区分ごとに異なる振動および/または音を呈示してもよい。なお、利用者100の体の部分の位置や利用者100に把持もしくは取り付けられた物の位置は、「HTC VIVE(登録商標)」などの周知の位置検知技術を用いて検出できる。制御部15は、検出された利用者100の体の部分の位置や利用者100に把持もしくは取り付けられた物の位置の情報を用い、仮想空間での物体の位置と利用者100の体の部分の位置、または、当該仮想空間での物体の位置と利用者100に把持もしくは取り付けられた物の位置との関係を判定する。この判定の例は、この関係が上述のどの区分に属するかを判定する当たり判定である。制御部15は、関係の判定結果に基づいて、「制御データ」に示された体感呈示部11−1〜n,12,13または21−1〜n,22,23によって呈示される振動および音の少なくともいずれかを変化させ、駆動信号発生部17を制御する。これに基づき、体感呈示部11−1〜n,12,13または21−1〜n,22,23は、仮想空間での物体の位置と利用者100の体の部分の位置、または、当該仮想空間での物体の位置と利用者100に把持もしくは取り付けられた物の位置との関係に応じた振動および/または音を呈示する。

[第4実施形態の変形例]
周知の「HTC VIVE」用の振動機器(ワイヤレスコントローラ)を、体感呈示部11−1〜nとして用いてもよい。図6は、n=2とし、「HTC VIVE」用の振動機器を体感呈示部11−1,2として用いた例である。図6に例示するように、室内には体感呈示部11−1,2の位置を検出するための位置検出器(ベースステーション)18−1,2が設置されている。利用者100は、前述した映像呈示部10、体感呈示部12,13または22,23を装着し、さらに「HTC VIVE」用の振動機器である体感呈示部11−1,2をそれぞれの手で把持する。位置検出器18−1,2は、利用者100によって把持された体感呈示部11−1,2の位置をリアルタイムで検出する。制御部15は、検出された体感呈示部11−1,2の位置の情報を用い、仮想空間での物体の位置と利用者100が把持する体感呈示部11−1,2の位置との関係を前述のように判定する(例えば、当たり判定する)。制御部15は、関係の判定結果に基づいて、「制御データ」に示された体感呈示部11−1,2,12,13または22,23によって呈示される振動および/または音を変化させ、駆動信号発生部17を制御する。これに基づき、体感呈示部11−1,2,12,13または22,23は、仮想空間での物体の位置と利用者100が把持する体感呈示部11−1,2の位置との関係に応じた振動および/または音を呈示する。

[その他の変形例等]
なお、本発明は上述の実施の形態に限定されるものではない。例えば、体感呈示部が呈示する音のみによって利用者に体感を知覚させてもよい。体感呈示部が振動および音の両方を呈示する場合、振動を呈示する振動源の装置と音を呈示する音源の装置とが分離していてもよい。体感呈示部11−1〜nまたは21−1〜nが利用者の「体の部位」への振動および利用者の「体の部位」の周囲への音の少なくとも一方を呈示できるのであれば、体感呈示部11−1〜nまたは21−1〜nが当該「体の部位」に装着されていてもよいし、装着されていなくてもよい。利用者の体幹の一部を間に挟むように複数組の体感呈示部12,13または22,23が装着されてもよい。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の制御部15、映像信号発生部16、駆動信号発生部17、および記憶部14の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて制御部15、映像信号発生部16、駆動信号発生部17の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

1,2 体感装置

Claims (7)

  1. 動物の体の部位に力が与えられる際に前記動物の視覚によって知覚される物体の動きを表す映像を利用者に呈示する映像呈示部と、
    前記利用者の前記体の部位への振動および前記利用者の前記体の部位の周囲への音の少なくとも一方を呈示する第1体感呈示部と、
    前記利用者の体幹の一部を間に挟むように前記体幹に装着され、前記体幹への振動および前記体幹の周囲への音の少なくとも一方を呈示する第2および第3体感呈示部と、を有し、
    前記動物の体の部位に力が与えられる時点で前記動物の視覚によって知覚される前記物体の動きを表す映像が前記映像呈示部から前記利用者に呈示されるときに、前記第1体感呈示部が振動および音の少なくとも一方の呈示を開始し、前記第1体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、前記第2体感呈示部が振動および音の少なくとも一方の呈示を開始し、前記第2体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、前記第3体感呈示部が振動および音の少なくとも一方の呈示を開始する、体感装置。
  2. 請求項1の体感装置であって、
    前記第1体感呈示部が振動および音の少なくとも一方の呈示を開始してから前記第2体感呈示部が振動および音の少なくとも一方の呈示を開始するまでの第1遅延時間は、前記物体の位置や形状の時間変化量の大きさに対応し、
    前記第2体感呈示部が振動および音の少なくとも一方の呈示を開始してから前記第3体感呈示部が振動および音の少なくとも一方の呈示を開始するまでの第2遅延時間は、零よりも大きく予め定められた時間未満である、体感装置。
  3. 請求項2の体感装置であって、
    前記物体の位置や形状の時間変化量の大きさがv1であるときの前記第1遅延時間はd1であり、
    前記物体の位置や形状の時間変化量の大きさがv2であるときの前記第1遅延時間はd2であり、
    v1はv2よりも小さく、d1はd2よりも大きい、体感装置。
  4. 請求項2または3のいずれかの体感装置であって、
    前記予め定められた時間は100msである、体感装置。
  5. 請求項1から4の何れかの体感装置であって、
    前記映像は仮想空間を表し、
    前記仮想空間での前記物体の位置と前記利用者の体の部分の位置、または、前記仮想空間での前記物体の位置と前記利用者に把持もしくは取り付けられた物の位置との関係に応じ、前記第1から第3体感呈示部によって呈示される振動および音の少なくともいずれかを変化させる、体感装置。
  6. 体感装置による方法であって、
    前記体感装置は、
    動物の体の部位に力が与えられる際に前記動物の視覚によって知覚される物体の動きを表す映像を利用者に呈示する映像呈示部と、
    前記利用者の前記体の部位への振動および前記利用者の前記体の部位の周囲への音の少なくとも一方を呈示する第1体感呈示部と、
    前記利用者の体幹の一部を間に挟むように前記体幹に装着され、前記体幹への振動および前記体幹の周囲への音の少なくとも一方を呈示する第2および第3体感呈示部と、を有し、
    前記動物の体の部位に力が与えられる時点で前記動物の視覚によって知覚される前記物体の動きを表す映像が前記映像呈示部から前記利用者に呈示されるときに、前記第1体感呈示部が振動および音の少なくとも一方の呈示を開始し、前記第1体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、前記第2体感呈示部が振動および音の少なくとも一方の呈示を開始し、前記第2体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、前記第3体感呈示部が振動および音の少なくとも一方の呈示を開始する方法。
  7. 体感呈示のためのデータ構造であって、
    動物の体の部位に力が与えられる際に前記動物の視覚によって知覚される物体の動きを表す時系列の映像データと、
    前記動物の体の部位に力が与えられる時点で前記動物の視覚によって知覚される前記物体の動きを表す映像が映像呈示部から利用者に呈示されるときに、第1体感呈示部に振動および音の少なくとも一方の呈示を開始させ、前記第1体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、第2体感呈示部に振動および音の少なくとも一方の呈示を開始させ、前記第2体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、第3体感呈示部に振動および音の少なくとも一方の呈示を開始させる時系列の制御データと、を有し、
    前記映像呈示部は、前記動物の体の部位に力が与えられる際に前記動物の視覚によって知覚される物体の動きを表す映像を前記利用者に呈示し、
    前記第1体感呈示部は、前記利用者の前記体の部位への振動および前記利用者の前記体の部位の周囲への音の少なくとも一方を呈示し、
    前記第2および第3体感呈示部は、前記利用者の体幹の一部を間に挟むように前記体幹に装着され、前記体幹への振動および前記体幹の周囲への音の少なくとも一方を呈示する、データ構造。
JP2017017508A 2017-02-02 2017-02-02 体感装置、およびその方法 Active JP6571701B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017017508A JP6571701B2 (ja) 2017-02-02 2017-02-02 体感装置、およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017017508A JP6571701B2 (ja) 2017-02-02 2017-02-02 体感装置、およびその方法

Publications (2)

Publication Number Publication Date
JP2018124859A true JP2018124859A (ja) 2018-08-09
JP6571701B2 JP6571701B2 (ja) 2019-09-04

Family

ID=63109631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017017508A Active JP6571701B2 (ja) 2017-02-02 2017-02-02 体感装置、およびその方法

Country Status (1)

Country Link
JP (1) JP6571701B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256105A (ja) * 2002-03-01 2003-09-10 Nippon Telegr & Teleph Corp <Ntt> 力覚提示装置および力覚提示方法
US20080094351A1 (en) * 2006-10-23 2008-04-24 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP2009070263A (ja) * 2007-09-14 2009-04-02 Japan Science & Technology Agency 貫通触感覚提示装置
JP2012187148A (ja) * 2011-03-08 2012-10-04 Sony Computer Entertainment Inc 情報処理装置および情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256105A (ja) * 2002-03-01 2003-09-10 Nippon Telegr & Teleph Corp <Ntt> 力覚提示装置および力覚提示方法
US20080094351A1 (en) * 2006-10-23 2008-04-24 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP2008134990A (ja) * 2006-10-23 2008-06-12 Canon Inc 情報処理装置、情報処理方法
JP2009070263A (ja) * 2007-09-14 2009-04-02 Japan Science & Technology Agency 貫通触感覚提示装置
JP2012187148A (ja) * 2011-03-08 2012-10-04 Sony Computer Entertainment Inc 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JP6571701B2 (ja) 2019-09-04

Similar Documents

Publication Publication Date Title
US7158112B2 (en) Interactions between simulated objects with force feedback
US5616078A (en) Motion-controlled video entertainment system
US9159151B2 (en) Bringing a visual representation to life via learned input from the user
US9519828B2 (en) Isolate extraneous motions
Merhi et al. Motion sickness, console video games, and head-mounted displays
US9046919B2 (en) Wearable user interface device, system, and method of use
US9599821B2 (en) Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9824480B2 (en) Chaining animations
ES2669869T3 (es) Retroalimentación del seguimiento del usuario
US20110270135A1 (en) Augmented reality for testing and training of human performance
JP4626182B2 (ja) 対戦ゲーム処理方法、対戦ゲームシステム、そのプログラム及び記憶媒体
US9892655B2 (en) Method to provide feedback to a physical therapy patient or athlete
US8306635B2 (en) Motivation and enhancement of physical and mental exercise, rehabilitation, health and social interaction
Hämäläinen et al. Martial arts in artificial reality
KR101007947B1 (ko) 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법
CN102301315B (zh) 姿势识别器系统架构
CN106664401B (zh) 用于在与内容交互时向用户提供反馈的系统和方法
Mueller et al. Sports over a Distance
US20110172060A1 (en) Interactive systems and methods for reactive martial arts fitness training
US9370704B2 (en) Trajectory detection and feedback system for tennis
CN102129343B (zh) 运动捕捉系统中的受指导的表演
CN105377383B (zh) 在头戴式显示器上转变游戏过程
US9377857B2 (en) Show body position
CN105228709B (zh) 用于重复检测和分析的信号分析
Bideau et al. Using virtual reality to analyze sports performance

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20170217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190808

R150 Certificate of patent or registration of utility model

Ref document number: 6571701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150