JP2022172021A - 情報変換装置、情報変換システム、情報変換方法 - Google Patents

Abstract

【課題】音声と行動を結び付けたシステムであって、時間的に変化する音声を有効利用してユーザに認知させた結果で反応を促し、その反応行動と音声の関係でやり取りするシステムで、予め決められたスイッチの操作という制約をなくし、開放感、臨場感も合わせて、より直感的な反応行動を促せるものにする。【解決手段】情報変換装置はウエアラブルの加速度センサの出力を入力する入力部と、上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部を具備する。【選択図】図１

Description

本発明は、音声のみならず、ジェスチャなど身体の動きでコミュニケーションを可能とした情報変換装置、情報変換システム、情報変換方法に関する。

音のみでゲーム場面及びゲームの進行を表現するシューテングゲーム装置の提案が、特許文献１にあったが、これは、左右の音量のバランスで左右方向の位置を表し、音量でプレーヤーからの距離を表し、ヘッドフォンでプレーヤーに供給するものであった。

特開平７－１１６３４６号公報

プレーヤーはスイッチ操作でそれに対応するので、音声と行動を結び付けたシステムと考えることが出来るが、スイッチの操作が必要で直感的なものではなかった。

本発明の情報変換装置は、音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御部と、ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部と、上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部を具備することを特徴とする。

本発明は、こうしたバーチャルな音響効果に対して、様々な身体動作によって、より束縛のない、自由で開放的な情報変換が可能な情報変換装置を提供するものである。

図１は第１の実施例の情報変換システムのブロック図である。 図２は音響パターンの変化と時間の関係を図示したものである。 図３は第１の実施例の情報変換システムのフローチャートである。 図４は第２の実施例の情報変換システムのブロック図である。 図５は第１の実施例の情報変換システムのフローチャートである。 図６は第３の実施例の情報変換システムのブロック図である。 図７は第３の実施例の情報変換システムのフローチャートである。 図８は加速度センサの姿勢と打ち返し動作の関係を図示したものである。 図９は本発明のタイミングチャートの一例である。

本発明の情報変換装置は、ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部と、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部を具備することを特徴とする。声と行動を結び付けたシステムや装置、または方法であって、時間的に変化する音声を有効利用してユーザに認知させた結果で反応を促し、その反応行動と音声の関係でやり取りする場合に、予め決められたスイッチの操作という制約をなくし、より直感的、開放的なユーザの反応行動を促す。

図１は、本発明の１実施例となるシステムを構成する機能ユニットの繋がりを示すブロック図である。

制御部１はマイクロコンピュータ等で構成され、所定のプログラム等で制御される。この制御部１は、通信部２で得られた情報やセンサ４から信号や情報によって、音響発生部３で発生させる音声を切り替えるための判定部５を有する。通信部は無線、有線で、他の機器等と通信を行う電子回路やアンテナ、コネクタなどの部品で、所定の方式の通信が可能なようにプロトコル制御や信号の変換などを行う。

ただし、こうした機能は制御部１が有してもよく、連携して行ってもよい。音響発生部３はスピーカーやイヤホンなどで、音を発生させる回路を含んでもよい。また、センサ４は加速度や生体信号等で、ユーザの反応行動や姿勢、ポーズなどを検出する機能を有する電子部品や回路からなる。ウエアラブルを想定しており、左右の手に装着すれば、それぞれの腕の動きの様子などを判定することができる。ここから出て来た信号を判定部５が、センサ４装着者の行動などを判定するようにしてもよい。

このような構成によって、音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御部と、ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部と、上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部を具備することを特徴とする情報変換装置が提供できるが、ここでは、制御部１の中の機能ブロックとして、音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御部６、ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部７、上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部５を具備するように記載した。

救急車やパトカーが近づいて来る時に、前方の空気の波が押されるため大きく高い音に聞こえるが、通り過ぎると、空気の波が揺れる回数が減り低い音に聞こえる。距離による音の大きさの変化も変わるので、救急車が近づいて来て遠ざかる様子を音で表現すると、図２のような模式的なグラフのようになる。

同様にボールなどの物が飛んで来る様子も、こうした音の変化で、疑似的に表せる。
したがって、どのようなタイミングで、この音を発生するかを図１の制御部１が決め、音声を音響発生部３が音響を発生させたりすれば、これを聞いていたユーザは、その音が表す状況に合わせた反応が出来る。こうして音で表されたものを打ったり、よけたりする身体的な動作を、今度は、図１のセンサ４で検出することで、図１の判定部５は、その音の変化の時間に合わせて、その音を聞いていたユーザがどのような応答したかを判定することが出来る。

図３にこのようなシステムのもっとも単純な制御をフローチャートで示す。これは図１の制御部１が制御するが、システムの構成には自由度があり、連携する通信部２や音響発生部３やセンサ４と機能を分担してもよい。

Ｓ１０１では、音響発生部３を介して、音響を発生させる。これは前述のように時間的にパターン（音量や周波数や音色やリズムやステレオの場合は左右のバランス等）が変化する音響を発生させるものなので、Ｓ１０２でその制御を行う。センサ４を装着したユーザに聞かせる。そのパターンの変化が表したものに対して、ユーザが身体を動かせば、その身体の動きの特徴がセンサ４からの信号で検出できるので、Ｓ１０３にて、制御部の有する回路やプログラムなどで構成された判定部がこれを判定することができる。ここで、ユーザがスポーツのようなプレイをする場合を想定すると、このプレイがどのようなものかを、事前に決めたり、決められたりした結果を音声でガイドして、何が始まるかをわかりやすくユーザや、その他、このユーザのプレイを確認する人に伝えられるようにしてもよい。

ここでは単純な例として、想定通りの反応をしたかどうかをセンサ出力の特徴と、それが検出されたタイミングで判定をしている。想定された反応であればＳ１０４に分岐し、判定１となる。想定以外であれば、Ｓ１０５に分岐し、判定２となる。想定された反応とは、音が途切れて１秒以内に特定の方向（例えば、腕を振って検知できる方向、Z軸方向とする）に加速度が特定以上検出された場合などで、ここでは１秒という条件やZ軸方向への特定量加速度とかが条件となる。このような特定反応が出来たかどうかを結果として出力し、その結果に応じて、応援をしたり、落胆をしたりするフィードバック反応を音響として発生さえてもよい。これによって臨場感や一人でやっているわけではないという開放感も生まれ、ますます、プレイに専念できるようになる。

このような制御によって、利用するユーザは、適当な音のタイミングで、特定の反応を正しく出来たかの訓練ができ、スポーツやゲームなどの他、とっさの行動を身につけるような教育用の用途にこのシステムを利用できる。

ボールを打つ練習が出来るバッティングやテニス、卓球、バスケットボールや羽根を打つバドミントンの練習が可能となる。様々な音声を用意してタイミングとロボットの動作を指定するような機械学習のアノテーションに使うことも出来る。もちろん、ペットの躾にも使える。

例えば、卓球ゲームに応用した時、相手の打球の飛んでくる音をユーザに聞かせるが、これを第１の音響とすると、その発生タイミングとその第１の音響のパターンを時間的に変化させる態様を切り替えるのが第１の音響制御部（図１の６）となる。卓球の場合、ユーザの四肢の動作を検出するウエアラブルの加速度センサは、手に把持してもよく、その出力を入力する入力部７があり、上記飛来する球の音を示す第１の音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力が、ちゃんとそれを打ち返すに相応しい加速度センサの向きに加速度が検出できるかで、疑似的なゲームが出来る。つまり、これによって、打ち返した音をユーザ（プレーヤー）には聞かせるようにした。したがって、この情報変換装置は、上記第１の音響発生部が発生する次の第１の音響発生の制御を切り替える判定部を具備することを特徴とする。

モーションの反応の速さやモーション自身の速さなどを加速度で判定して、打ち返す球の速度等を切り替え、速ければ音響発生時間を短くする等の工夫で、バーチャルに、速い球が返ったことを表すことが出来る。さらに通信部２を有して、上記判定部が、上記制御切り替え時に、上記第１の音響とは異なる第２の音響を発生させるようにしてもよい。これによって、打球の様子とは異なる音声が発生可能となり、外部のスピーカー等で観客の応援や落胆を表す第２の音声を発生させてもよい。あるいは、プレーヤーがうまくやったかどうかを第三者（観戦者）に音で伝えることが出来る。もちろん、これをプレーヤー自身が聴けるようにしてもよい。

これは、打球の音の制御とは異なり、音の変化とモーションの関係が特定の条件を満たして初めて、どのような音声が相応しいかが決まるものである。上記第１の音響（打球用）発生部とは異なる第２の音響発生部に信号を上記通信部に送信することを特徴とする、請求項１に記載の情報変換装置と書くことが出来る。また、応援などは、それまでの結果の積み重なりによって内容が変わるし、観客や観戦者も、それまでのゲーム進行をトータルで把握したいので、上記判定部は、上記通信部に上記制御切り替えのこれまでの状況変化に対応する信号を上記通信部に送信することを特徴とするようにしてもよい。これによって、一人で楽しめるだけでなく、見ている人も楽しめる開放感や臨場感のある音とモーションのコラボレーションを楽しむシステムが提供可能となる。

図４にさらに、複数の人がセンサを装着可能にした第２の実施例をブロック図化したものを示す。制御部１ａ、１ｂ、２ａ、２ｂ、３ａ、３ｂ、４ａ、４ｂ、５ａ、５ｂはすでに図１で説明したものと同様のものを想定している。つまり、図１の構成のシステムが２つ連携している様子を示す。（３つ以上でも良い。）

また、図１同様、制御部の中に、音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御部と、ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部と、上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部を具備することとしてもよいし、以下に説明するサーバーの中に、それを具備してもよい。これらが連携してもよい。

これらを通信部２ａ、２ｂが直接つないで、連携してそれぞれのシステム（一方のシステムａは点線で図示、もう一方も同様の部分を示すものとする）の制御部が、予め決められたルールで音響発生し、センサ出力を検出して、２人のユーザ双方のジェスチャなど動作を音で伝え、かつ、それにジェスチャで答えるといった遠隔のコミュニケーションや、複数で対戦するゲーム、スポーツなどが提供可能になる。

ただし、直接接続すると、ルールや難易度を変更するたびに、両方のシステムが何らかの準備を要したり、システムが複雑化して、メンテナンスを困難にするので、ここでは、サーバー１０がこれを仲介して、それぞれの通信の内容を変換部１１で変換したり、個々のシステムの制御方法を修正したりして、即座に、新しいルールでのやり取りを可能とした。

図５にこのようなシステムにおける個々のシステムの制御部１ａや１ｂが制御する内容をフローチャートで示した。

複数の機器は、それぞれ、このような制御で連携できるが、それは、Ｓ２０１やＳ２０５で、一方のユーザの動作が特定のパターンの時、相手に聞こえる音響を発生させ、相手にその音響変化に応じた反応を促すことができるからである。例えば、テニスや卓球やバレーボールのようなサーブから、それを打ち返すラリーが続くスポーツのような応用では、サーブのような動作をしたかをＳ２０１の特定センサ情報（ここではSと記載）判定を行い、それに応じた音響が相手に聞こえるようにする。

Ｓ２０２ではそれを音響変化にして、Ｓ２０３で特定センサ（このタイミングでの説明ではサーブを受ける方）が、その音の想定された変化のタイミングでどのような動作をしたかを検出する。それが、正しく打ち返した状況では、Ｓ２０４に分岐して、打ち返した判定をし、その動作に応じて打ち返した音を相手に聞こえるようにする。その制御のステップがＳ２０５である。打ち返せなかった場合は、Ｓ２０６で打ち返せなかった判定を行う。以上、相手の反応を誘発させるための音の発生について主に説明したが、もちろん、打ち返した感触を耳で確認可能なようにユーザ動作の結果に応じた音声をそのユーザに聞こえるようにしてもよい。

例えば、卓球ゲームに応用した時、相手の打球の飛んでくる音をユーザに聞かせるが、これを第１の音響とすると、その発生タイミングとその第１の音響のパターンを時間的に変化させる態様を切り替えるのが第１の音響制御部（図１の６、図４では図示せず）となる。卓球の場合、ユーザの四肢の動作を検出するウエアラブルの加速度センサは、手に把持してもよく、その出力を入力する入力部（図４では図示せず図１の７同様のものがあるが省略）があり、上記飛来する球の音を示す第１の音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力が、ちゃんとそれを打ち返すに相応しい加速度センサの向きに加速度が検出できるかで、疑似的なゲームが出来る。つまり、これによって、打ち返した音をユーザ（プレーヤー）には聞かせるようにした。

したがって、この情報変換装置は、上記第１の音響発生部が発生する次の第１の音響発生の制御を切り替える判定部を具備することを特徴とする。また、これを打球の音としてのみならず、相手にとっては飛来する球の音として認識させる必要があり、通信部２ａ等で、これを可能にした。サーバー１０の変換部１１がこうした制御を行ってもよく、相手システムの制御部１ｂが行ってもよい。さらにサーバー１０の制御部（図示せず）や各システムの制御部１ａや１ｂが、上記制御切り替え時に、上記第１の音響とは異なる第２の音響を発生させるようにしてもよい。これによって、打球の様子とは異なる音声が発生可能となり、外部のスピーカー等で観客の応援や落胆を表す第２の音声を発生させてもよい。あるいは、それぞれのプレーヤーがうまくやったかどうかを第三者（観戦者）に音で伝えることが出来る。もちろん、これをプレーヤー自身が聴けるようにしてもよい。上記第１の音響（打球用）発生部とは異なる第２の音響発生部に信号を上記通信部に送信することを特徴とする情報変換装置と書くことが出来る。

また、応援などは、それまでの結果の積み重なりによって内容が変わるし、観客や観戦者も、それまでのゲーム進行をトータルで把握したいので、上記判定部は、上記通信部に上記制御切り替えのこれまでの状況変化に対応する信号を上記通信部に送信することを特徴とするようにしてもよい。こうした試合進行は、サーバー１０（の制御部）が管理して、適宜、外部に伝えるようにしてもよい。

以上のようなステップのそれぞれは図４の制御部１ａや１ｂが制御してもよく、連携してもよく、サーバー１０が絡んで実行してもよく、サーバーが実行してもよい。どのような動作でどのような音響になるかの例は図８で、後で説明する。

図６に、本発明の第３の実施形態を表すブロック図を示す。これも複数の人がセンサを装着可能にしたもので、制御部１ａ、１ｂ、２ａ、２ｂ、３ａ、３ｂ、４ａ、４ｂ、５ａ、５ｂはすでに図１、図４で説明したものと同様のものを想定している。つまり、図１の構成のシステムが２つ、システムａとシステムｂとして連携している様子を示す。（これらは３つ以上でも良い。）

これらを通信部２ａ、２ｂが直接つないで、２つのサーバー１０がこれを仲介して、それぞれの通信の内容を補正部１０ｂで変換したり、個々のシステムの制御方法を修正したりして、即座に、新しいルールでのやり取りを可能としたばかりでなく、個々の動作の判定をそのまま次の制御に繋げるのではなく、サーバー１０の補正部１０ｂが仲介して、ユーザにとって難しい状況を緩和化したり、タイミング管理部１０ｃがディレイなどを設けるように出来るようにしたりして、双方に能力の差異があってもハンディキャップを添えることを可能とした。

また、図１同様、制御部の中に、音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御部と、ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部と、上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部を具備することとしてもよいし、図４のように、サーバーの中にそれを有してもよい。各システムの制御部とサーバーの制御部が連携してもよい。

異なる競技での対戦なども補正部１０ｂの補正で可能になる。足の動きでシュートしたボールの音が、相手にはピッチャーが投げた球が来る音に変換して聞かせることなどが出来る。また、システムａ、ｂと同様の構成のシステムｃなども絡めて３人以上のコミュニケーションが可能なように、状況に応じて通信制御部がそれぞれのタイミングでどのユーザとどのユーザのシステムが連携しているかを決められるようにした。こうした制御をサーバー１０の制御部１０ａが行ってもよい。

図７に、図６のようなシステムを制御する時のフローチャートを示す。ここでは、図６のようなシステムの特徴を活かして、サーバー１０が制御することを想定したが、これまでの例と同様システムａ、ｂ、ｃ等の制御部ならびに通信部その他と役割分担したり機能分業してもよい。

Ｓ３０１は特定センサの出力変化を判定するが、これはサーバーが管理して、どのユーザーの動作を見るかを決定すればよい。Ｓ３０２はその時のセンサ情報で音響情報を変更、あるいは決定するが、これは以前の実施例と同様であるが、Ｓ３０３で、それを送信する場合、どのユーザに聞こえるようにするかをサーバーの制御部１０ａが制御すれば対戦相手をサーバー１０によって制御可能となる。例えば、ゲームの主催者が決めてもよく、ルールで決めてプログラム化してもよい。

前述のように、Ｓ３０４で反応が遅い人のためにタイミングによる音声パターン変化を遅くしたり、速い反応が好きな人のために音声変化タイミングを早めたりしてもよい。

Ｓ３０５で、サーバー１０が想定した相手ユーザの反応をそのセンサ情報変化で判定して、判定を切り替えるが、これは図５のＳ２０３と同様の判定制御を行えばよい。ここで判定を甘くしたりしてもよいが、ここでは、Ｓ３０６、Ｓ３０７のそれぞれの判定に補正を加えてもよいという形で、それを記載した。失敗を判定しても成功判定のプレイ続行などが可能となる。また、一方的なゲームで面白くない場合などは、なかなかレシーブ判定が出ないようにしてもよい。

例えば特定タイミングの規定幅を200msから400msに変更するなどユーザのレベルに応じて成功判定を行う時間を増やすことで、ユーザの技量を吸収し、ゲームを面白くすることができる。例えば、卓球ゲームに応用した時、相手の打球の飛んでくる音をユーザに聞かせるが、これを第１の音響とすると、その発生タイミングとその第１の音響のパターンを時間的に変化させる態様を切り替えるのが第１の音響制御部（図１の６、図６では図示せず）となる。卓球の場合、ユーザの四肢の動作を検出するウエアラブルの加速度センサは、手に把持してもよく、その出力を入力する入力部（図６では図示せず図１の７同様のものがあるが省略）があり、上記飛来する球の音を示す第１の音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力が、ちゃんとそれを打ち返すに相応しい加速度センサの向きに加速度が検出できるかで、疑似的なゲームが出来る。

つまり、これによって、打ち返した音をユーザ（プレーヤー）には聞かせるようにした。したがって、この情報変換装置は、上記第１の音響発生部が発生する次の第１の音響発生の制御を切り替える判定部を具備することを特徴とする。また、これを打球の音としてのみならず、相手にとっては飛来する球の音として認識させる必要があり、通信部２ａ等で、これを可能にした。サーバー１０の制御部１０ａなどがこうした制御を行ってもよく、相手システムの制御部１ｂが行ってもよい。さらにサーバー１０の制御部１０ａが、上記制御切り替え時に、上記第１の音響とは異なる第２の音響を発生させるような信号をシステムｃに対して送信してもよい。

これによって、打球の様子とは異なる音声が発生可能となり、試合進行を第三者（観戦者）に音で伝えることが出来る。もちろん、これをプレーヤー自身が聴けるようにしてもよい。上記第１の音響（打球用）発生部とは異なる第２の音響発生部に信号を上記通信部に送信することを特徴とする情報変換装置と書くことが出来る。また、応援などは、それまでの結果の積み重なりによって内容が変わるし、観客や観戦者も、それまでのゲーム進行をトータルで把握したいので、上記判定部は、上記通信部に上記制御切り替えのこれまでの状況変化に対応する信号を上記通信部に送信することを特徴とするようにしてもよい。こうした試合進行は、サーバー１０（の制御部１０ａ）が管理して、適宜、外部に伝えるようにしてもよい。

このように判定や音声出力に変化をもたらせることが出来るので、異種のスポーツを対戦させたりし、データ通信が良くない環境でもそれを補正したゲームやコミュニケーションを可能にした。また、音を聞き合って、プレーヤーが動き、それがまた音になるのは音楽演奏の合奏と同じであり、それぞれ発生の音を音楽として楽しむことが出来、それによって聴いて楽しめ、身体の動きによって音が調和する様子を楽しむようなシステムに応用することもできる。

図５で、どのような動作でどのような音響になるかの例は図８で説明すると書いたが、図８aは、片手でウエアラブルの加速度センサを使った場合の動作を図示したものである。加速度センサにはX軸、Y軸、Z軸があり、それぞれの軸方向の加速度が検出できる。ユーザの身体にセンサを取り付けた時、またはユーザがセンサを把持した時に、Z軸方向が、ユーザが振り下ろす等のアクションをした時に加速度を検出する方向とする。その時のセンサの傾け方を検出するために、Z方向と直交するX方向とY方向がある。

加速度センサのX軸、Y軸と重力加速度の関係を用いて、加速度センサの傾きを判定する。さらに、Z軸方向に例えば重力加速度1Gを超える加速度を検出した場合に、ユーザからのモーションありと判断し、その時の姿勢情報に応じた動作を確定する。傾きが0°以上45°未満で、モーションを検出した場合には、右クロスとしてユーザから見て右に来た球を左方向に返球する動作とする。このとき、返球された相手からすると、左方向に打った球が右方向に返球されるため、例えば左右独立した音響であれば初動は左の方が音は大きく、相手に近づくにつれて右の音を大きくすることによって、左から右に球が返球されてくる様子を音響で表現することができる。また、傾きが45°以上90°未満であった場合は、右ストレートとしてユーザから見て右に来た球を右方向に返球する動作とする。音響に関しては、先ほどとは逆で右から左に球が返球されてくる様子を表現すればよい。左に来た球を返球したい場合は、90°以上135°未満の傾きの姿勢からモーション検出をすれば、左ストレートとして返球し、135°以上180°未満の傾きの姿勢からモーション検出をすれば、左クロスとして返球動作を行う。

図8b、図8cでは、両足にそれぞれ加速度センサを取り付けて、動作させる場合の図である。左足に図8cの加速度センサ、左足に図8bの加速度センサを取り付けた場合は、それぞれのセンサは左、右どちらかの返球に対応する。つまり、左に来た球を返球する場合は、左足で返球し、右に来た球を返球する場合は右足で返球する。この時片手動作と同様に、加速度センサの傾きの状態から、クロスで返球するか、ストレートで返球するかを決定する。このように、片手で操作するか、両足で操作するかによってセンサの姿勢とセンサが返球する左右の方向を設定することにより、ユーザのモーションと返球動作を関連付けることができる。例えば、ブラインドサッカーの様なスポーツを模擬したい場合は、球の音をブラインドサッカーの球が転がる音を録音し再生する。センサは両足に装着する設定とすれば、模擬することができる。また片手操作でサウンドテーブルテニスのようなことも模擬することができる。このように、様々なスポーツの特徴をセンサの数、センサの姿勢、球の音に変換することで、多種多様なスポーツを模擬することができる。また運動強度を調整したい場合はモーションを検出する加速度を例えば１Ｇから２Ｇに変更すれば、強度を調整することもできる。

さらに応用的な例として、加速度センサを四肢ではなく、卓球のラケット、剣道の竹刀、野球のバットなどスポーツ用具に取り付けることで、道具を必要とするスポーツにも応用することができる。また、返球方向を左右どちらかと記載したが、昨今の技術進化によって5.1chステレオや、３６０°音響などの設備が開発されており、返球する方向を上下左右360°に拡張することも可能である。またモーション検出も、今回の例ではＺ軸方向の加速度の検出としたが、XYZ軸それぞれの重力加速度の時間的変化の推移からより複雑なモーションを検出することも可能である。

図９に第２、第３実施例のように、２つのシステム（システムａ、システムｂ）の間をサーバーが介した場合の情報のやり取りをタイミングチャート的に表現した図を示す。ここでは、システムａ、システムｂ（それぞれの制御部）が打球音（自分が飛ばしたものを表す）や飛んでくる球の音（相手が飛ばしたものを表す）はそれぞれの音響制御部６ａ等や音響発生部（図１の３）などが、それぞれのユーザに聞こえるようにするような制御を行う。また、それぞれのユーザがうまく打てたかの個々の判定も、各システムの制御部（１ａ、１ｂ）が判定するが、それぞれがゲームとしてどうなっているかは、サーバーが、各システムから受診した打球情報で管理していくことを想定した場合で説明したものである（もちろん、各システムの制御部や、第三者（観戦者など）のシステムｃの制御部がこれを行ってもよい）。このサーバーが管理する方式では、目まぐるしく変遷する打球の応酬のたびに、応援をするのではなく、難しいサーブを返球できた時に、その状況を判定して、「うまく打ち返しました」という結果を音声化してシステムｃが表示したり発声したりできるようにしている。また、そうしたハイライトの状況のみを、特定のプログラムによる判断条件で判断して声援を上げるように、システムｃに指示したり、ここでは図示していないが、システムａ、ｂのそれぞれのユーザに聞こえるようにしたりしてもよい。つまり、この発明は、こうしたゲームや演奏などのかけあいコミュニケーションの流れを、個々の瞬間ではなく、その連なりの流れとして、個々のラリーなり応答を判定する判定部の判定結果がどうなっていくか、その時間的な変化に従った状況をサーバー等が把握している。つまり、それに従った情報を出力する時間変化情報出力部をさらに具備することを特徴とする情報変換装置と言うこともできる。ここでは、サーブと返球という球技を想定したが、もちろん、難曲の楽器演奏の掛け合いなど、スポーツやゲーム以外にも応用が可能である。

また、このような発明としてもよい。左右に装着した加速度センサと、時間と共に、連続して変化する音を発生する発生器と、発生器が特定のタイミングで発生させた音に対し、第２のタイミングでの上記加速度センサ出力の特徴に応じて次に発生する音を切り替えるための判定部からなる情報変換装置。

１、１ａ、１ｂ 制御部
２、２ａ、２ｂ 通信部
３、３ａ、３ｂ 音響発生部
４、４ａ、４ｂ センサ
５、５ａ、５ｂ 判定部
６ 音響制御部
７ 入力部
１０ サーバー
１０ａ サーバー制御部
１０ｂ 補正部
１０ｃ タイミング管理部
１１ 変換部

Claims (6)

1. 第１の音響の発生タイミングとその第１の音響のパターンを時間的に変化させる態様を切り替える第１の音響制御部と、
   ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部と、
   上記第１の音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って上記第１の音響発生部が発生する次の第１の音響発生の制御を切り替える判定部を具備することを特徴とする情報変換装置。
2. さらに通信部を有し、上記判定部は、上記制御切り替え時に、上記第１の音響とは異なる第２の音響を発生させるように、上記第１の音響発生部とは異なる第２の音響発生部に信号を上記通信部に送信することを特徴とする、請求項１に記載の情報変換装置。
3. 上記判定部は、上記通信部に上記制御切り替えのこれまでの状況変化に対応する信号を上記通信部に送信することを特徴とする、請求項２に記載の情報変換装置。
4. さらに上記判定部の判定結果の時間的な変化に従った情報を出力する時間変化情報出力部をさらに具備することを特徴とする、請求項３に記載の情報変換装置。
5. 音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御ユニットと、
   ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力ユニットと、
   上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定ユニットを具備することを特徴とする情報変換システム。
6. 音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御ステップと、
   ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力ステップと、
   上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定ステップを具備することを特徴とする情報変換方法。

Images