JP2006115442A - 高臨場感通信装置及び高臨場感通信方法 - Google Patents
高臨場感通信装置及び高臨場感通信方法 Download PDFInfo
- Publication number
- JP2006115442A JP2006115442A JP2004371622A JP2004371622A JP2006115442A JP 2006115442 A JP2006115442 A JP 2006115442A JP 2004371622 A JP2004371622 A JP 2004371622A JP 2004371622 A JP2004371622 A JP 2004371622A JP 2006115442 A JP2006115442 A JP 2006115442A
- Authority
- JP
- Japan
- Prior art keywords
- acoustic
- head
- listener
- learner
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Stereophonic System (AREA)
Abstract
【課題】 高臨場感通信装置に起因する違和感を低減させることができる高臨場感通信装置を提供する。
【解決手段】 音響信号を受信する検出部と、当該検出部とは離れた地点において音響信号を受聴する受聴者に付帯された当該受聴者の姿勢及び運動を検知するセンサと、当該センサからの信号により受聴者の姿勢に対応する頭部伝達関数を適用する装置と、を有する高臨場感通信装置であって、学習用音響信号を生成する音響刺激生成部と、音響刺激生成部により生成された音響刺激を出力する音響刺激出力部と、音響刺激が発せられたと受聴者が知覚する音源位置を回答として受け取る回答入力部と、回答入力部から入力される回答情報に基づいて、学習用音響信号生成を終了するか否かを判定する判定部とを有する。
【選択図】 図１
【解決手段】 音響信号を受信する検出部と、当該検出部とは離れた地点において音響信号を受聴する受聴者に付帯された当該受聴者の姿勢及び運動を検知するセンサと、当該センサからの信号により受聴者の姿勢に対応する頭部伝達関数を適用する装置と、を有する高臨場感通信装置であって、学習用音響信号を生成する音響刺激生成部と、音響刺激生成部により生成された音響刺激を出力する音響刺激出力部と、音響刺激が発せられたと受聴者が知覚する音源位置を回答として受け取る回答入力部と、回答入力部から入力される回答情報に基づいて、学習用音響信号生成を終了するか否かを判定する判定部とを有する。
【選択図】 図１
Description
本発明は、音響信号を受信する検出部と、当該検出部とは離れた地点において前記音響信号を受聴する受聴者に付帯された当該受聴者の姿勢及び運動を検知するセンサとを有し、当該センサからの信号により受聴者の姿勢に応じた頭部伝達関数を適用する高臨場感通信装置及び高臨場感通信方法に関する。
本発明は、前記センサからの信号により受聴者の姿勢に応じた頭部伝達関数を適用する装置として、検出部を含む部位を駆動する駆動部と、前記検出部とは離れた地点において前記音響信号を受聴する受聴者に付帯された当該受聴者の姿勢及び運動を検知するセンサからの信号により前記駆動部を制御する制御部とを有する装置（ロボット、又は、音響テレプレゼンス装置）を用いる。
また、本発明は、前記センサからの信号により、受聴者の姿勢に応じた頭部伝達関数を適用する装置として、前記受聴者の姿勢に対応する頭部伝達関数をデータベースとして頭部伝達関数データベースを用いる。
本発明は、前記センサからの信号により受聴者の姿勢に応じた頭部伝達関数を適用する装置として、検出部を含む部位を駆動する駆動部と、前記検出部とは離れた地点において前記音響信号を受聴する受聴者に付帯された当該受聴者の姿勢及び運動を検知するセンサからの信号により前記駆動部を制御する制御部とを有する装置（ロボット、又は、音響テレプレゼンス装置）を用いる。
また、本発明は、前記センサからの信号により、受聴者の姿勢に応じた頭部伝達関数を適用する装置として、前記受聴者の姿勢に対応する頭部伝達関数をデータベースとして頭部伝達関数データベースを用いる。
通信を介して遠隔地の音響信号を高臨場感をもって聴く技術に、遠隔地から制御される駆動部を有し、音響信号をバイノーラル録音するダミーヘッドを利用する技術がある。ダミーヘッドを利用する技術は、受聴者に頭外定位感を与えることが出来る。
このような技術を適用したシステムは、例えば、図１９に示すように、テレヘッド等の音響テレプレゼンス装置として設けられ、この装置を利用することにより、受聴者は、音響信号を高臨場感をもって聴くことができる。ここでは、テレヘッド等の音響テレプレゼンス装置は、受聴者の頭部形状に似たダミーヘッドが設けられ、受聴者の頭部姿勢を検出して、その検出結果に基づいて、ダミーヘッドを受聴者の頭部姿勢に追従動作させるものである。そして、この時、ダミーヘッドにおいて集音した音響信号を受聴者に伝達することによって、受聴者の頭部形状と頭部運動を同時に考慮した音環境を受聴者に伝達することができる。
このような技術を適用したシステムは、例えば、図１９に示すように、テレヘッド等の音響テレプレゼンス装置として設けられ、この装置を利用することにより、受聴者は、音響信号を高臨場感をもって聴くことができる。ここでは、テレヘッド等の音響テレプレゼンス装置は、受聴者の頭部形状に似たダミーヘッドが設けられ、受聴者の頭部姿勢を検出して、その検出結果に基づいて、ダミーヘッドを受聴者の頭部姿勢に追従動作させるものである。そして、この時、ダミーヘッドにおいて集音した音響信号を受聴者に伝達することによって、受聴者の頭部形状と頭部運動を同時に考慮した音環境を受聴者に伝達することができる。
次に、図２を用いて従来におけるシステムについて説明する。この図において、センサ２００は、受聴者３の頭部姿勢を検出する。三次元姿勢計測器２１０は、センサ２００からの出力に基づいて、頭部姿勢の運動状態を計測する。この計測は、例えば、頭部の回旋角、傾斜角、仰角を検出し、センサ２００からの出力に応じて計測結果を生成することによって行う。制御装置２２０は、三次元姿勢計測器２１０の計測結果に基づいて、モータ制御部２３０に制御指令を出力し、受聴者３の頭部姿勢に合わせて、テレヘッド２４０を追従動作させる。モータ制御部２３０は、制御装置２２０からの制御指令に基づいて、傾斜および仰角方向用モータ２５０、および回旋方向用モータ２６０を駆動させる。傾斜および仰角方向用モータ２５０は、テレヘッド２４０をモータ制御部２３０からの出力信号に対応する傾斜角度および仰角に応じて左右方向・上下方向に傾斜させる。回旋方向用モータ２６０は、テレヘッド２４０をモータ制御部２３０からの出力信号に対応する角度に応じて回旋させる。検出部２７０は、例えばマイクであり、テレヘッド２４０に取り付けられたダミーヘッドの耳に相当する部分に取り付けられ、テレヘッド２４０周辺に複数設けられるスピーカから出力される音響信号を集音する。出力部２８０は、例えば、受聴者３に装着されるヘッドホンであり、検出部２７０によって検出された音響信号を音声として出力する。なお、ここでは、音響テレプレゼンス装置２は、受聴者３と隔離された遠隔地に設けられる。
このような音響テレプレゼンス装置２によれば、テレヘッド２４０が受聴者３の頭部姿勢に応じて追従動作することにより、テレヘッド２４０が設置された遠隔地に、受聴者がいるかのような音響を感じられるとともに、その受聴者の頭部姿勢に応じた音響を感じることが可能である。
このような音響テレプレゼンス装置２によれば、テレヘッド２４０が受聴者３の頭部姿勢に応じて追従動作することにより、テレヘッド２４０が設置された遠隔地に、受聴者がいるかのような音響を感じられるとともに、その受聴者の頭部姿勢に応じた音響を感じることが可能である。
ここで、例えば、音響の高臨場感通信において、ヘッドホンを用いた高臨場感音場再生装置を構成するにあたっては、バイノーラル録音された音源を用いて受聴者に頭外定位感を与える手法が従来の手法である。この時、ダミーヘッドと受聴者の頭部形状の差異に基づく音響特性の差により、受聴者が高臨場感を得られるとは限らない（非特許文献１）。
また，頭部伝達関数の個人への対応という面では、様々な身体的特徴を基に計算する方法や、多くの頭部伝達関数のデータベースから可能な範囲で個人に適応したものを選択する手法があるが、いずれも十分に個人に適応した頭部伝達関数を得られる可能性は低い（非特許文献１）。さらに、他者の頭部伝達関数を用いて高臨場感を得られるように訓練するための有用な学習手法は提案されていない。
また，頭部伝達関数の個人への対応という面では、様々な身体的特徴を基に計算する方法や、多くの頭部伝達関数のデータベースから可能な範囲で個人に適応したものを選択する手法があるが、いずれも十分に個人に適応した頭部伝達関数を得られる可能性は低い（非特許文献１）。さらに、他者の頭部伝達関数を用いて高臨場感を得られるように訓練するための有用な学習手法は提案されていない。
一方、例えば、テレプレゼンス技術においては、情報の伝達遅延という不可避な問題を抱えており、能動運動を含めた双方向の通信を行った場合、受聴者は大きな違和感を覚える。このように伝達遅延をはじめとした意図の有無にかかわらない効果を受聴者は違和感として感じる。従来は、そのような違和感を解消する方法として、可能な限り意図しない効果が入らないようにすることのみが行われてきた。
H.Mo（oに縦棒）ller,"Fundamental of binaural technology",Applied Acoustics,vol.36,pp.173,1992. 西野隆典、梶田将司、武田一哉、板倉文忠、「重回帰分析に基づく頭部伝達関数の推定」、電子情報通信学会論文誌、J84-A,pp.260-268、2001. 宮本俊夫、「図解雑学 脳の働き 知覚と錯覚」、ナツメ社、pp.260,2002.
H.Mo（oに縦棒）ller,"Fundamental of binaural technology",Applied Acoustics,vol.36,pp.173,1992. 西野隆典、梶田将司、武田一哉、板倉文忠、「重回帰分析に基づく頭部伝達関数の推定」、電子情報通信学会論文誌、J84-A,pp.260-268、2001. 宮本俊夫、「図解雑学 脳の働き 知覚と錯覚」、ナツメ社、pp.260,2002.
しかしながら、上述したダミーヘッドを利用する技術には、次の２つの問題がある。
（１）ダミーヘッドと受聴者との頭部形状の相違に基づく受信された音響信号特性の差異による高臨場感の喪失又は低減（第１の問題）（非特許文献１参照）
（２）遠隔地からダミーヘッドの制御するために生ずる音響信号受信時刻とダミーヘッド駆動時刻との遅延時間による高臨場感の喪失又は低減（第２の問題）
（１）ダミーヘッドと受聴者との頭部形状の相違に基づく受信された音響信号特性の差異による高臨場感の喪失又は低減（第１の問題）（非特許文献１参照）
（２）遠隔地からダミーヘッドの制御するために生ずる音響信号受信時刻とダミーヘッド駆動時刻との遅延時間による高臨場感の喪失又は低減（第２の問題）
上記第１の問題（１）を解決する技術として、頭部伝達関数を受聴者個人に対応させるため、種々の身体的特徴を計算する方法や、多くの頭部伝達関数のデータベースから可能な範囲で受聴者に適した頭部伝達関数を選択する方法がある。しかし、これらのいずれの方法でも受聴者に十分に適応した頭部伝達関数を得られていない（非特許文献２参照）。
また、動物が得る感覚刺激（視覚刺激）と能動的運動に関して、次の知見が得られている（非特許文献３参照）。２群の猫を生後から１０週間暗室で育て、１つの群（Ａ群）の猫は能動的に動けるようにし、他の１つの群（Ｂ群）の猫はＡ群の猫と同じ軌跡を描く機械を用いて受動的に動けるようにした場合、即ち、移動量と視覚的な刺激量とは等しく、運動が能動的か否かに相違がある場合、Ａ群の猫は正常な視覚行動ができたのに対し、Ｂ群の猫は正常な視覚行動が出来なかった。能動的な運動により感覚刺激（視覚刺激）を知覚できるという知見である。
本発明は、このような事情に鑑みてなされたもので、高臨場感通信装置に起因する違和感を低減させることができる高臨場感通信装置及び高臨場感通信方法を提供することにある。すわなち、以下に示す点を目的とした高臨場感通信装置及び高臨場感通信方法を提供することにある。
（１）個別に頭部伝達関数を用いなくても高い音源定位精度が得られ、違和感を減少させること
（２）音響信号受信時刻とダミーヘッド駆動時刻との遅延時間による違和感を低減させ、高臨場感を向上させること
（１）個別に頭部伝達関数を用いなくても高い音源定位精度が得られ、違和感を減少させること
（２）音響信号受信時刻とダミーヘッド駆動時刻との遅延時間による違和感を低減させ、高臨場感を向上させること
上述した課題を解決するために、本発明は、音響信号を受信して遠隔地にいる受聴者に能動運動をさせながら受聴させつつ、受聴者の頭部姿勢をセンサによって検出する。そして、受聴者が知覚する音源位置を回答として取得し、取得した回答に基づいて、学習用音響信号の生成を終了するか否かを判定する。
音響信号の受信は、頭部形状のダミーヘッド内に設けられた検出部によって検出する。このとき、ダミーヘッドをセンサからの信号により駆動制御する。
また、ダミーヘッドを用いない場合には、音響信号を受聴者の姿勢に対応する頭部伝達関数を記録したデータベースを参照して演算し、演算結果を受聴者に出力することも可能である。
能動的に運動を行った結果（能動運動効果）が知覚刺激にフィードバックされることにより、頭部伝達関数に代表される感覚インタフェースへの適応や伝達遅延への適応が加速され、感覚インタフェースにおける個人差や伝達遅延の影響を容易に抑制することができるようになる。
音響信号の受信は、頭部形状のダミーヘッド内に設けられた検出部によって検出する。このとき、ダミーヘッドをセンサからの信号により駆動制御する。
また、ダミーヘッドを用いない場合には、音響信号を受聴者の姿勢に対応する頭部伝達関数を記録したデータベースを参照して演算し、演算結果を受聴者に出力することも可能である。
能動的に運動を行った結果（能動運動効果）が知覚刺激にフィードバックされることにより、頭部伝達関数に代表される感覚インタフェースへの適応や伝達遅延への適応が加速され、感覚インタフェースにおける個人差や伝達遅延の影響を容易に抑制することができるようになる。
以上説明したように、従来、音響的な高臨場感通信装置では、受聴者の頭部伝達関数を個別に測定する必要があった。個別の頭部伝達関数を用いない場合は、音源定位精度が損なわれ、大きな違和感が生じる事が分かっていた。また、他者の頭部伝達関数に対して適応することは困難であると認識されていた。しかし本発明の学習装置を、高臨場感通信装置に付加することにより、個別の頭部伝達関数を用いなくとも、容易に高い音源定位精度が得られ、違和感を減少させることが可能となった。
また、本発明は、音響刺激を生成する方法、前記で生成された音響刺激を提示する方法を備えるような感覚のインタフェース、学習者が能動運動を行い、前記の能動運動の影響を音響刺激に反映させる方法、学習者が得られた音響刺激を回答する事を繰り返す方法、から構成されることを特徴とする高臨場感通信装置の利用方法である。そして、この高臨場感通信装置に含まれる学習装置により提示される音響刺激に対して、学習者が能動的運動を行いながら、当該音響刺激の位置を推定し回答する訓練を繰り返すことにより、学習者は頭部伝達関数の相違を学習することができる。これにより、学習者が高臨場感を持った通信を行うことを可能となる。
また、従来の高臨場感通信装置においては常に遅延が問題となる。遅延は受聴者にとって違和感として感じられ、高臨場感を失わせる原因となる。実際に、頭部運動の効果を考慮した音響の高臨場感通信装置においても、遅延によって、音源定位精度が低下することが分かっている。そこで本発明である学習装置を学習者の運動を考慮した高臨場感通信装置に付加することにより、遅延に対する適応を容易にし、音源定位精度を容易に向上させることが可能となる。
また、本発明では、学習者に能動運動をさせ続け、遅延時間を考慮した音響信号を認識させることで、遅延による効果そのものを学習して適応することが可能となり、これにより、学習者がテレプレゼンスのインタフェースを容易に使用可能にすることができる。
以下、本発明の一実施形態による高臨場感通信装置１００を図面を参照して説明する。図１は、この発明の一実施形態による高臨場感通信装置の構成を示す概略ブロック図である。この図において、高臨場感通信装置１００は、学習装置１とテレヘッド等の音響テレプレゼンス装置２とが接続され、学習装置１から音響刺激が学習者４に出力され、回答情報が学習者４から学習装置１に入力される。
次に、本発明の高臨場感通信装置について説明する。図３は、この実施形態における高臨場感通信装置の構成を示す概略ブロック図である。この実施形態においては、遠隔の音環境を学習者に伝達する高臨場感通信装置であって、音響的な伝達関数が学習者毎に異なる場合に、その差異ヘの適応を行わせる学習装置１が設けられる。
この図において、位置姿勢検出部１０は、音響刺激情報を受ける学習者の位置姿勢情報を検出する。この位置姿勢情報とは、音響刺激が出力される位置（音源の位置）とロボットの頭部との相対位置を表す情報である。この位置姿勢検出部１０は、例えば、図２におけるセンサ２００と三次元姿勢計測器２１０との組み合わせによって構成される。
この図において、位置姿勢検出部１０は、音響刺激情報を受ける学習者の位置姿勢情報を検出する。この位置姿勢情報とは、音響刺激が出力される位置（音源の位置）とロボットの頭部との相対位置を表す情報である。この位置姿勢検出部１０は、例えば、図２におけるセンサ２００と三次元姿勢計測器２１０との組み合わせによって構成される。
音響刺激情報生成部１１は、音響信号を生成する。この音響信号（以下、音響信号を音響刺激情報ともいう）は、どの位置からどのような音響を出力するかを示す信号である。音響刺激情報出力部１２は、例えば、音源定位を行うための各方向に設置される複数のスピーカであり、音響刺激情報生成部１１によって生成された音響刺激情報に従って、各スピーカからのうちいずれか１つまたは複数のスピーカから音響信号を出力する。音響刺激情報検出部１３は、例えば、マイク等であり、頭部形状のロボット装置１４内の両耳に相当する位置にそれぞれ設けられ、音響刺激情報出力部１３から実環境に出力される音響刺激情報を検出する。
ロボット装置１４は、ダミーヘッドを備えている。増幅部１５は、音響刺激情報検出部１３によって検出された音響刺激情報を増幅し、指定されたボリュームに合わせて出力する。
ロボット装置１４は、ダミーヘッドを備えている。増幅部１５は、音響刺激情報検出部１３によって検出された音響刺激情報を増幅し、指定されたボリュームに合わせて出力する。
学習者音響刺激情報出力部１６は、例えば、ヘッドホンであり、学習者に対して増幅部１５において増幅された音響刺激情報を出力する。
回答入力部１７は、入力装置であって、学習者から入力される音響刺激情報に対する回答情報を学習装置１に入力する。この回答は、例えば、どの方向から音響刺激が出力されたかについての方向についての回答である。
判定部１８は、回答入力部１７から入力される回答情報に基づいて、学習を終了するか否かを判定する。この判定は、音響刺激情報生成部１１によって生成された音響刺激が出力される方向と回答入力部１７から入力された回答情報に示す方向と比較し、一致しているか否かについて集計し、集計結果に基づいて正答が一定値以上であるか否かに基づいて判定する。
回答入力部１７は、入力装置であって、学習者から入力される音響刺激情報に対する回答情報を学習装置１に入力する。この回答は、例えば、どの方向から音響刺激が出力されたかについての方向についての回答である。
判定部１８は、回答入力部１７から入力される回答情報に基づいて、学習を終了するか否かを判定する。この判定は、音響刺激情報生成部１１によって生成された音響刺激が出力される方向と回答入力部１７から入力された回答情報に示す方向と比較し、一致しているか否かについて集計し、集計結果に基づいて正答が一定値以上であるか否かに基づいて判定する。
制御部１９は、音響刺激情報出力部１２によって音響刺激情報が出力されてから回答入力部１７から回答が入力されるまでの処理を、予め定めた一定回数または一定時間の繰り返しを１単位として回答を行わせる。ここでは、この一定回数または一定時間に達するまで、音響刺激情報生成部１１に対し、音響刺激情報の生成を指示する。
ロボット駆動部２１は、位置姿勢検出部１０が検出した位置姿勢情報に基づいて、ロボット装置を追従動作させる。このロボット駆動部２１は、例えば、図２の制御装置２２０、モータ制御部２３０、傾斜および仰角方向用モータ２５０、回旋方向用モータ２６０の組み合わせによって構成される。
ロボット駆動部２１は、位置姿勢検出部１０が検出した位置姿勢情報に基づいて、ロボット装置を追従動作させる。このロボット駆動部２１は、例えば、図２の制御装置２２０、モータ制御部２３０、傾斜および仰角方向用モータ２５０、回旋方向用モータ２６０の組み合わせによって構成される。
次に、図３に示す高臨場感通信装置の動作について図４を用いて説明する。ここでは、学習者の頭部伝達関数とは異なる頭部伝達関数を有するロボット装置である場合について説明する。
学習装置１は、学習者に対し、表示装置によって、頭部運動を指示するためのメッセージを表示する（ステップＳ１０）。このメッセージに従い運動した学習者の頭部運動を位置姿勢検出部１０によって検出すると、検出した頭部運動に応じてロボット駆動部２１を駆動させるための動作指令を出力する（ステップＳ１１）。次に、音響刺激情報生成部１１は、音響信号を生成し、音響テレプレゼンス装置に対して音響刺激情報出力部１２から出力する（ステップＳ１２）。ロボット装置１４内の音響刺激情報検出部１３は、この音響信号を検出し、検出結果を増幅部１５に出力する。学習者音響刺激情報出力部１６は、増幅部１５によって増幅された音響信号を学習者に出力する（ステップＳ１３）。そして、学習者に対し、音響刺激の方向回答を入力させる指示を表示装置によって表示する（ステップＳ１４）。
学習装置１は、学習者に対し、表示装置によって、頭部運動を指示するためのメッセージを表示する（ステップＳ１０）。このメッセージに従い運動した学習者の頭部運動を位置姿勢検出部１０によって検出すると、検出した頭部運動に応じてロボット駆動部２１を駆動させるための動作指令を出力する（ステップＳ１１）。次に、音響刺激情報生成部１１は、音響信号を生成し、音響テレプレゼンス装置に対して音響刺激情報出力部１２から出力する（ステップＳ１２）。ロボット装置１４内の音響刺激情報検出部１３は、この音響信号を検出し、検出結果を増幅部１５に出力する。学習者音響刺激情報出力部１６は、増幅部１５によって増幅された音響信号を学習者に出力する（ステップＳ１３）。そして、学習者に対し、音響刺激の方向回答を入力させる指示を表示装置によって表示する（ステップＳ１４）。
この指示に従い、学習者によって回答情報が入力されると、学習装置１は、回答情報に基づいて、音響刺激が出力された方向と一致するか否かを判定し、学習者の音源定位精度を集計する（ステップＳ１５）。この集計は、制御部１９によって、学習者に回答させる動作を所定の時間または回数を繰り返す毎に行われる。そして、集計結果に基づいて、音源定位精度が基準以上である場合に、学習を終了し、基準以下の場合は、ステップＳ１０に移行する（ステップＳ１６）。
次に、図３に示す高臨場感通信装置の他の実施形態について説明する。
図５は、他の実施形態における高臨場感通信装置の構成について説明するためのブロック図である。この図において、図３の各部に対応する部分に同一の符号を付け、その説明を省略する。ここでは、高臨場感通信装置において、ロボット装置１４等を用いず、学習装置１において、音響テレプレゼンス装置の頭部伝達関数を用いて音響刺激についてシミュレーションする点が異なる。
音響刺激情報出力部１２は、音響刺激情報生成部１１によって生成された音響刺激を学習者に出力する。この出力は、複数のスピーカによって出力してもよく、また、ヘッドホンによって出力しても良い。
図５は、他の実施形態における高臨場感通信装置の構成について説明するためのブロック図である。この図において、図３の各部に対応する部分に同一の符号を付け、その説明を省略する。ここでは、高臨場感通信装置において、ロボット装置１４等を用いず、学習装置１において、音響テレプレゼンス装置の頭部伝達関数を用いて音響刺激についてシミュレーションする点が異なる。
音響刺激情報出力部１２は、音響刺激情報生成部１１によって生成された音響刺激を学習者に出力する。この出力は、複数のスピーカによって出力してもよく、また、ヘッドホンによって出力しても良い。
演算部２０は、例えば、下記の（１）式に示す式に基づいて、音響特性であるＨＲＴＦを算出するための頭部伝達関数を記憶する伝達関数データベース２０ａを有しており、姿勢検出部１０によって検出された位置姿勢情報に対応する頭部伝達関数を伝達関数データベース２０ａに記憶された頭部伝達関数のなかから選択し、選択した頭部伝達関数に従って、音響信号を生成して音響刺激情報生成部１１に出力する。
ここで、図６に示すように、Ｈｓｐ−ｃｅｎｔｅｒは、スピーカから頭部中心位置までの、頭部が無い場合の、音響伝達関数、Ｈｓｐ−ｒは、図６に示すスピーカから右の外耳道入口までの伝達関数、Ｈｓｐ−ｌは、図６に示すスピーカから左の外耳道入口までの伝達関数である。
次に、図５における装置の動作について図７を用いて説明する。ここでは、学習者の頭部伝達関数とは異なる頭部伝達関数が演算部２０に設定されている場合について説明する。
学習装置１は、学習者に対し、表示装置によって、頭部運動を指示するためのメッセージを表示する（ステップＳ２１）。このメッセージに従い運動した学習者の頭部運動を位置姿勢検出部１０によって検出すると、検出した頭部運動に応じてロボット駆動部２１を駆動させるための動作指令を生成する（ステップＳ２２）。次に、演算部２０は、音響刺激データベース２０ａに設定された、学習者の頭部伝達関数とは異なる頭部伝達関数に従って、音響特性であるＨＲＴＦを算出することによって、音響刺激をシミュレーションして生成する（ステップＳ２３）。そして、生成した音響刺激を音響刺激情報出力部１２によって出力することによって伝達し（ステップＳ２４）、学習者に対し、音響刺激の方向回答を入力させる指示を表示装置によって表示する（ステップＳ２５）。
学習装置１は、学習者に対し、表示装置によって、頭部運動を指示するためのメッセージを表示する（ステップＳ２１）。このメッセージに従い運動した学習者の頭部運動を位置姿勢検出部１０によって検出すると、検出した頭部運動に応じてロボット駆動部２１を駆動させるための動作指令を生成する（ステップＳ２２）。次に、演算部２０は、音響刺激データベース２０ａに設定された、学習者の頭部伝達関数とは異なる頭部伝達関数に従って、音響特性であるＨＲＴＦを算出することによって、音響刺激をシミュレーションして生成する（ステップＳ２３）。そして、生成した音響刺激を音響刺激情報出力部１２によって出力することによって伝達し（ステップＳ２４）、学習者に対し、音響刺激の方向回答を入力させる指示を表示装置によって表示する（ステップＳ２５）。
この指示に従い、学習者によって回答情報が入力されると、学習装置１は、回答情報に基づいて、音響刺激が出力された方向と一致するか否かを判定し、学習者の音源定位精度を集計する（ステップＳ２６）。この集計は、制御部１９によって、学習者に回答させる動作を所定の時間または回数を繰り返す毎に行われる。そして、集計結果に基づいて、音源定位精度が基準以上である場合に、学習を終了し、基準以下の場合は、ステップＳ２１に移行する（ステップＳ２７）。
この図７の実施形態によれば、予め使用する音響テレプレゼンス装置の頭部伝達関数がデータベースに記憶されているので、その頭部伝達関数を利用して音響テレプレゼンス装置をシミュレーションすることができ、これにより、ロボット装置等の実機を用いることなく学習させることができる。
この図７の実施形態によれば、予め使用する音響テレプレゼンス装置の頭部伝達関数がデータベースに記憶されているので、その頭部伝達関数を利用して音響テレプレゼンス装置をシミュレーションすることができ、これにより、ロボット装置等の実機を用いることなく学習させることができる。
また、この図３〜７に示す実施形態によれば、学習装置１は、学習者に対して頭部運動を行わせると同時に、ランダムな方向から、頭部運動の影響と使用する高臨場感通信装置の音響的特徴を考慮した音響刺激を提示し、学習者に音響刺激の方向を回答させる。そして、学習装置１は、学習者からの回答方向と音響刺激の提示方向の一致を確認し、学習者の高臨場感通信装置の音響的特徴に対する学習の進捗状況を明らかにする。ここでは、自己の頭部伝達関数を用いないため、学習初期においては、違和感があるが、頭部運動の影響を考慮することにより、違和感を伴いながらも音源定位を可能とし、他者の頭部伝達関数を学習させることが可能となる。
次に、他の実施形態における高臨場感通信装置について説明する。この実施形態においては、遠隔の音環境を学習者に伝達する装置において、遅延が存在する場合に、その遅延への適応を行わせる学習装置１が設けられる。
この実施形態において、学習装置１は、図３の構成と同様であるが、その機能が異なる。以下、相違点について説明する。図３において、ロボット駆動部２１は、位置姿勢検出部１０によって検出された動作に追従して駆動する場合に、指定される遅延時間に従って、追従動作を遅延させて動作する。
この実施形態において、学習装置１は、図３の構成と同様であるが、その機能が異なる。以下、相違点について説明する。図３において、ロボット駆動部２１は、位置姿勢検出部１０によって検出された動作に追従して駆動する場合に、指定される遅延時間に従って、追従動作を遅延させて動作する。
次に、この構成における高臨場感通信装置の動作について図８を用いて説明する。ここでは、学習者の頭部伝達関数とは異なる頭部伝達関数を有するロボット装置であって、位置姿勢検出部１０が検出した姿勢に応じてロボット装置１４が駆動するまでに遅延が生じる場合について説明する。
学習装置１は、学習者に対し、表示装置によって、頭部運動を指示するためのメッセージを表示する（ステップＳ３１）。このメッセージに従い運動した学習者の頭部運動を位置姿勢検出部１０によって検出すると、ロボット駆動部２１は、検出された頭部運動と設定された遅延時間に応じてロボット装置１４を動作させる（ステップＳ３２）。音響刺激情報生成部１１は、音響刺激を生成し、音響刺激情報出力部１２から出力する（ステップＳ３３）。ロボット装置１４内の音響刺激情報検出部１３は、この音響刺激を検出し、検出結果を増幅部１５に出力する。学習者音響刺激情報出力部１６は、増幅部１５によって増幅された音響刺激を学習者に出力する（ステップＳ３４）。そして、学習者に対し、音響刺激の方向回答を入力させる指示を表示装置によって表示する（ステップＳ３５）。
学習装置１は、学習者に対し、表示装置によって、頭部運動を指示するためのメッセージを表示する（ステップＳ３１）。このメッセージに従い運動した学習者の頭部運動を位置姿勢検出部１０によって検出すると、ロボット駆動部２１は、検出された頭部運動と設定された遅延時間に応じてロボット装置１４を動作させる（ステップＳ３２）。音響刺激情報生成部１１は、音響刺激を生成し、音響刺激情報出力部１２から出力する（ステップＳ３３）。ロボット装置１４内の音響刺激情報検出部１３は、この音響刺激を検出し、検出結果を増幅部１５に出力する。学習者音響刺激情報出力部１６は、増幅部１５によって増幅された音響刺激を学習者に出力する（ステップＳ３４）。そして、学習者に対し、音響刺激の方向回答を入力させる指示を表示装置によって表示する（ステップＳ３５）。
この指示に従い、学習者によって回答情報が入力されると、学習装置１は、回答情報に基づいて、音響刺激が出力された方向と一致するか否かを判定し、学習者の音源定位精度を集計する（ステップＳ３６）。この集計は、制御部１９によって、学習者に回答させる動作を所定の時間または回数を繰り返す毎に行われる。そして、集計結果に基づいて、音源定位精度が基準以上である場合に、学習を終了し、基準以下の場合は、ステップＳ３１に移行する（ステップＳ３７）。
次に、図３に示す高臨場感通信装置の他の実施形態について説明する。
この実施形態において、学習装置１は、図５の構成と同様であるが、その機能が異なる。以下、相違点について説明する。この実施形態において、学習装置１は、音響テレプレゼンス装置の頭部伝達関数を用いて音響刺激についてシミュレーションするとともに、学習したい遅延時間をシミュレーションする点が異なる。図５において、演算部２０は、遅延時間と頭部伝達関数とを考慮した伝達関数を記憶する伝達関数データベース２０ａを有しており、姿勢検出部１０によって検出された位置姿勢情報に対応する伝達関数を伝達関数データベース２０ａに記憶された伝達関数の中から選択し、選択した伝達関数に従って、音響信号を生成して音響刺激情報生成部１１に出力する。
この実施形態において、学習装置１は、図５の構成と同様であるが、その機能が異なる。以下、相違点について説明する。この実施形態において、学習装置１は、音響テレプレゼンス装置の頭部伝達関数を用いて音響刺激についてシミュレーションするとともに、学習したい遅延時間をシミュレーションする点が異なる。図５において、演算部２０は、遅延時間と頭部伝達関数とを考慮した伝達関数を記憶する伝達関数データベース２０ａを有しており、姿勢検出部１０によって検出された位置姿勢情報に対応する伝達関数を伝達関数データベース２０ａに記憶された伝達関数の中から選択し、選択した伝達関数に従って、音響信号を生成して音響刺激情報生成部１１に出力する。
次に、この構成における高臨場感通信装置の動作について図９を用いて説明する。学習装置１は、学習者に対し、表示装置によって、頭部運動を指示するためのメッセージを表示する（ステップＳ４１）。このメッセージに従い運動した学習者の頭部運動を位置姿勢検出部１０によって検出すると、音響刺激情報生成部１１は、音響信号を生成し、生成した音響信号を演算部２０によって遅延時間と頭部伝達関数に従った音響信号を生成することによって、設定された遅延時間に応じた頭部運動を考慮した音響テレプレゼンス装置をシミュレーションし、音響信号を生成する（ステップＳ４２）。そして、音響刺激情報生成部１１は、生成した音響信号を学習者に出力する（ステップＳ４３）。そして、学習者に対し、音響刺激の方向回答を入力させる指示を表示装置によって表示する（ステップＳ４４）。
この指示に従い、学習者によって回答情報が入力されると、学習装置１は、回答情報に基づいて、音響刺激が出力された方向と一致するか否かを判定し、学習者の音源定位精度を集計する（ステップＳ４５）。この集計は、制御部１９によって、学習者に回答させる動作を所定の時間または回数を繰り返す毎に行われる。そして、集計結果に基づいて、音源定位精度が基準以上である場合に、学習を終了し、基準以下の場合は、ステップＳ４１に移行する（ステップＳ４６）。
この図９の実施形態によれば、予め使用する音響テレプレゼンス装置の頭部伝達関数と遅延時間に応じた伝達関数を記憶するようにしたので、学習装置１は、その頭部伝達関数と遅延時間とを利用して音響テレプレゼンス装置をシミュレーションすることにより、ロボット装置等の実機を用いることなく学習者に学習させることができる。
この図９の実施形態によれば、予め使用する音響テレプレゼンス装置の頭部伝達関数と遅延時間に応じた伝達関数を記憶するようにしたので、学習装置１は、その頭部伝達関数と遅延時間とを利用して音響テレプレゼンス装置をシミュレーションすることにより、ロボット装置等の実機を用いることなく学習者に学習させることができる。
また、図８、図９に示す実施形態によれば、学習装置１は、学習者に対し頭部運動を行わせると同時に、ランダムな方向からの頭部運動および通信による遅延の影響を考慮した音響刺激を提示し、学習者に音響刺激の方向を回答させる。学習装置は学習者からの回答方向と音響刺激の提示方向の一致を確認し、学習者の遅延に対する学習の進捗状況を明らかにする。遅延量を高臨場感通信装置を使用する環境と合致するように予め設定しておくことにより、実際に使用する場合の遅延に対する学習を事前に終了させておくことが出来る。学習中は学習者の頭部の音響的性質を考慮しなくとも、一般的な頭部伝達関数を使用すれば十分である。
次に、図１０を用いて他の実施形態について説明する。学習者が適応すべき音響インタフェースとして、音響刺激が生成され（ステップＳ１０９）、生成された音響刺激が提示され（ステップＳ１１０）、学習者によって能動運動が行われると（ステップＳ１１１）、その運動結果に基づいて、学習者の能動運動を音響刺激に反映する（ステップＳ１１２）。学習者は、得られた音響刺激に対する回答を入力装置に入力することによって回答する（ステップＳ１１３）。そして、学習装置１は、学習者から入力された回答結果に基づき、学習の終了判定を行い（ステップＳ１１４）、判定結果に応じて、学習を繰り返す（ステップＳ１１５）、もしくは終了する（ステップＳ１０８）。
この実施形態によれば、学習者の能動運動が提示される音響刺激への反映を通じて考慮されることにより、学習者は、より容易かつ高速に音響インタフェースの特徴を学習することができる。
次に、図１１を用いて他の実施形態について説明する。学習装置１は、予め複数の音響刺激を生成してデータベースに記憶しておき（ステップＳ１１７）、そこから１つの音響刺激を選択して提示する（ステップＳ１１８）。学習者によって能動運動が行われると（ステップＳ１１９）、その運動した結果に基づいて、データベースに記憶された音響刺激の中から、学習者の能動運動の影響に応じた音響刺激を選択することによって、提示する音響刺激に反映される（ステップＳ１２０）。学習者は、提示された音響刺激が予め生成されていた音響刺激のどれであったかについて、入力装置に入力することによって回答する（ステップＳ１２１）。ここでは、複数の音響刺激の生成（ステップＳ１１７）から、提示された音響刺激の回答（ステップＳ１２１）までを指定回数・時間の繰り返しを行う（ステップＳ１２２）。そして、ステップＳ１２２による一連の繰り返し処理を１単位として正答率などを算出し、その算出結果に基づいて、学習の終了判定を行い（ステップＳ１２３）、判定結果に応じて、学習を繰り返す（ステップＳ１２４）、もしくは終了する（ステップＳ１２５）。
この実施形態において、学習者は、能動運動の結果、得られる感覚効果を繰り返し提示されることにより、容易かつ高速に感覚インタフェースの特徴を学習することができる。また、複数回の結果を合計して終了判定を行うため、学習の進み具合をより的確に認識することができる。
次に、図１２を用いて他の実施について説明する。この実施形態において、音響刺激が生成されると（ステップＳ１２６）、この生成された音響刺激および学習させたい音響刺激と、提示される刺激の関係とをあわせて、感覚インタフェースとして音響刺激が生成される（ステップＳ１２７）。
学習者によって能動運動が行われると（ステップＳ１２８）、その能動運動した結果に基づいて、学習者の能動運動を音響刺激に反映させる（ステップＳ１２９）。学習者は、得られた音響刺激に対する回答を入力装置に入力することによって回答する（ステップＳ１３０）。そして、学習装置１は、学習者から入力された回答結果に基づき、学習の終了判定を行い（ステップＳ１３１）、判定結果に応じて、学習を繰り返す（ステップＳ１３２）、もしくは終了する（ステップＳ１３３）。
学習者によって能動運動が行われると（ステップＳ１２８）、その能動運動した結果に基づいて、学習者の能動運動を音響刺激に反映させる（ステップＳ１２９）。学習者は、得られた音響刺激に対する回答を入力装置に入力することによって回答する（ステップＳ１３０）。そして、学習装置１は、学習者から入力された回答結果に基づき、学習の終了判定を行い（ステップＳ１３１）、判定結果に応じて、学習を繰り返す（ステップＳ１３２）、もしくは終了する（ステップＳ１３３）。
この実施形態によれば、学習者は能動運動を行った結果を感覚インタフェースから即座に受け取ることの効果により、学習させたい生成される刺激と提示される刺激の関係を容易かつ高速に学習することができる。
次に、図１３を用いて他の実施形態について説明する。ロボットを用いる方法によって実環境から感覚情報を取得（ステップＳ１３４）した学習者によって能動運動が行われると（ステップＳ１３５）、その運動した結果に基づいて、学習者の能動運動の影響を提示感覚に反映させる（ステップＳ１３６）。学習者は、得られた音響刺激に対する回答を入力装置に入力することによって回答する（ステップＳ１３７）。ここでは、感覚情報の取得（ステップＳ１３４）から回答（ステップＳ１３７）までを繰り返すことを一単位の手順とし、指定された回数または時間の繰り返して行い（ステップＳ１３８）、ステップＳ１３７において入力される回答の結果に基づき、学習の終了判定を行う（ステップＳ１３９）。そして、判定結果に応じて、学習を繰り返す（ステップＳ１４０）、もしくは終了する（ステップＳ１４１）。
この実施形態において、学習者は、能動運動を行った結果を即座に受け取ることの効果により、実環境から得られる音響刺激に基づいて感覚インタフェースの特徴を容易かつ高速に学習することができる。また、一定回数毎に区切って学習効果を確認することにより、より的確に学習の効果と終了について判断することができる。
次に、図１４を用いて他の実施形態について説明する。
音響刺激情報生成部は、音響刺激を生成し（ステップＳ１４２）、任意の頭部伝達関数を持つロボットを用いて集音し（ステップＳ１４３）、アンプにより音量を調整し（ステップＳ１４４）、ヘッドホンにより音響情報を出力する（ステップＳ１４５）ことによって、音響情報を伝達する。学習者によって能動運動が行われると（ステップＳ１４６）、その能動運動した結果に基づいて、学習者の能動運動をロボットの運動に反映させて追従させる（ステップＳ１４７）。そして、得られた音刺激に対する回答を入力装置を介して学習者に入力してもらい、音刺激の生成（ステップＳ１４２）から、この回答させる（ステップＳ１４８）までを指定回数または指定時間繰り返す（ステップＳ１４９）ことにより、学習者の音響インタフェースヘの学習の進行具合を得る。そして、この進行具合に基づき学習の終了判定をする（ステップＳ１５０）。そして、判定結果に基づいて、学習を繰り返す（ステップＳ１５１）、もしくは、学習を終了する（ステップＳ１５２）。
音響刺激情報生成部は、音響刺激を生成し（ステップＳ１４２）、任意の頭部伝達関数を持つロボットを用いて集音し（ステップＳ１４３）、アンプにより音量を調整し（ステップＳ１４４）、ヘッドホンにより音響情報を出力する（ステップＳ１４５）ことによって、音響情報を伝達する。学習者によって能動運動が行われると（ステップＳ１４６）、その能動運動した結果に基づいて、学習者の能動運動をロボットの運動に反映させて追従させる（ステップＳ１４７）。そして、得られた音刺激に対する回答を入力装置を介して学習者に入力してもらい、音刺激の生成（ステップＳ１４２）から、この回答させる（ステップＳ１４８）までを指定回数または指定時間繰り返す（ステップＳ１４９）ことにより、学習者の音響インタフェースヘの学習の進行具合を得る。そして、この進行具合に基づき学習の終了判定をする（ステップＳ１５０）。そして、判定結果に基づいて、学習を繰り返す（ステップＳ１５１）、もしくは、学習を終了する（ステップＳ１５２）。
この実施形態によれば、学習者は、能動運動を考慮することの効果とロボットを用いて任意の頭部伝達関数を学習する方法の効果により、任意の頭部伝達関数を容易かつ高速に学習することができる。また、一定回数毎に区切って学習効果を確認することにより、より的確に学習の効果と終了について判断することができる。
以上説明した実施形態によれば、音響刺激を生成し、生成された音響刺激を提示する方法を備えるような感覚インタフェースによって感覚を学習者に伝達し、学習者に能動運動を行わせ、この能動運動の影響を音響刺激に反映させ、学習者に得られた音響刺激に対する回答をさせる。そして、この学習を繰り返し、学習終了を判定するようにした。これにより、感覚インタフェースの特徴を学習者が容易かつ高速に学習可能とすることができる。ここで、能動運動は感覚運動系の学習に大きな影響を与え、能動運動によって学習がよりよく進行することが分かっている。例えば、ネコにおいては、生後から能動的に歩いた場合と、全く同じ移動をしていてもゴンドラに乗せられて移動させられていた場合では視覚系の発達に違いが見られ、能動的に動くことで視覚が発達することが分かっている（非特許文献）。学習者の能動運動の感覚への影響が反映されるため、学習者は自己の能動運動の効果を利用して、容易かつ高速に感覚インタフェースの特徴を学習することが可能となる。ここで、視覚刺激に応じて能動運動を行うことにより、視覚が発達することが非特許文献３に記載されているが、これと同様に、本発明では、音響信号を聴覚刺激として与えた場合にも、聴覚刺激に応じて能動運動を行うことにより、聴覚（音像定位精度）を向上させることができる。このように、能動運動を行うことによって音像定位精度を向上させることができる点については、下記の文献においても知られている。この文献では、特に、頭部運動によって水平面音像定位精度を向上させることができる点について示されている。
F．Wightman and J．D．Kistler,“Resolution of front-back ambiguity in spatial hearing,by listener and source movement”,J．Acoust．Soc．Am, vol. 105, pp. 2841-2853, 1999.
F．Wightman and J．D．Kistler,“Resolution of front-back ambiguity in spatial hearing,by listener and source movement”,J．Acoust．Soc．Am, vol. 105, pp. 2841-2853, 1999.
次に、図１５を用いて他の実施形態について説明する。音響インタフェースとして、音響刺激が生成され（ステップＳ２１０）、生成された音響刺激が提示され（ステップＳ２１１）、学習者によって能動運動が行われると（ステップＳ２１２）、その運動結果に基づいて、学習させたい能動運動と音響刺激の関係に対応する伝達関数を用いて演算することにより、その関係を挿入し（ステップＳ２１３）、学習者の能動運動の影響を音響刺激に反映させる（ステップＳ２１４）。学習者は、得られた音響刺激について、その方向などを入力装置を介して入力することにより回答する（ステップＳ２１５）。そして、学習装置１は、学習者から入力された回答結果に基づいて、学習の終了判定を行い（ステップＳ２１６）、判定結果に応じて、学習を繰り返すか（ステップＳ２１７）、学習を終了するかを決定する（ステップＳ２１８）。
この実施形態によれば、学習者は、能動運動の結果得られる音響的効果を繰り返し提示されることにより、容易かつ高速に音響インタフェースを介して能動運動に挿入された効果を学習することができる。
次に、図１６を用いて他の実施形態について説明する。音響刺激インタフェースとして、音響刺激が生成され（ステップＳ２１９）、音響刺激が提示され（ステップＳ２２０）、学習者によって能動運動が行われると（ステップＳ２２１）、その運動結果に基づいて、能動運動に学習させたい能動運動と音響刺激の関係に応じた伝達関数に従って演算することによって、その関係を挿入した上で（ステップＳ２２２）、学習者の能動運動を音響刺激に反映させる（ステップＳ２２３）。学習者は、得られた音響刺激を入力装置から入力することによって回答する（ステップＳ２２４）。ここで、音響刺激の生成（ステップＳ２１９）から音響刺激の回答（ステップＳ２２４）を指定回数または時間繰り返し（ステップＳ２２５）、一定回数または時間を単位として学習の終了判定を行う（ステップＳ２２６）。そして、終了判定の結果に基づいて、さらなる繰り返し（ステップＳ２２７）または学習の終了を決定する（ステップＳ２２８）。
この実施形態において、学習者は、能動運動の結果得られる感覚効果を繰り返し提示されることにより、容易かつ高速に感覚インタフェースを介して能動運動に挿入された効果を学習することができる。また、複数回の結果を合計して終了判定を行うため、学習の進み具合をより的確に認識することができる。
次に、図１７を用いて他の実施形態について説明する。感覚インタフェースとして、音響刺激が生成され（ステップＳ２２９）、ロボットを用いた伝達および音響刺激の提示がなされ（ステップＳ２３０）、学習者によって能動運動が行われる（ステップＳ２３１）。そして、その上で、学習させたい能動運動と音響刺激の関係を伝達関数によって演算することによって挿入し（ステップＳ２３２）、学習者の能動運動をロボットの能動運動に反映する（ステップＳ２３３）。そして、学習者によって得られた音響刺激に対する回答が入力装置によって回答として入力される（ステップＳ２３４）。この回答を指定回数・時間繰り返す（ステップＳ２３５）ことにより、学習者は、学習させたい能動運動と音響刺激の関係を学習する。そして、予め指定した回数または時間の繰り返し（ステップＳ２３５）、その中で得られる回答に基づいて学習の終了判定をする（ステップＳ２３６）。そして、その判定結果に基づいて、さらに繰り返す（ステップＳ２３７）または終了する（ステップＳ２３８）を決定する。
この実施形態によれば、学習者は能動運動の結果得られる感覚効果を繰り返し提示されることにより、容易かつ高速に感覚インタフェースを介して能動運動に挿入された効果を学習することができる。また、複数回の結果を合計して終了判定を行うため、学習の進み具合をより的確に認識することができる。さらにロボットを用いた手法を採用することにより、より実環境に近い状態での予期せぬ音響刺激を含めた適応が可能となる。
次に、図１８を用いて他の実施形態について説明する。音響刺激が生成され（ステップＳ２３９）、生成された音響刺激がスピーカによって提示され（ステップＳ２４０）、提示された音響刺激がロボットを用いて集音され（ステップＳ２４１）、集音された音響刺激がアンプによって音量調整され（ステップＳ２４２）、ヘッドホンによって音響刺激が学習者に提示され（ステップＳ２４３）ることによって音響テレプレゼンスのインタフェースとなる。学習者によって、頭部が能動運動され（ステップＳ２４４）、この能動運動に学習させたい能動運動と音響刺激の関係（遅延時間）を挿入（ステップＳ２４５）したものを、ロボットの頭部運動に反映させる（ステップＳ２４６）。そして、反映された結果、得られる音響刺激の方向について学習者から回答が入力される（ステップＳ２４７）。そして、音響刺激の生成（ステップＳ２３９）から学習者が得られた音響刺激の方向を回答（ステップＳ２４７）までの手順を指定回数・時間繰り返す（ステップＳ２４８）。そして、この繰り返しの結果を集計し、終了判定を行う（ステップＳ２４９）。この終了判定の結果に基づいて、さらに学習を繰り返すか（ステップＳ２５０）、終了するか（ステップＳ２５１）を決定する。
この実施形態によれば、学習者は、能動運動の結果得られる音響刺激を繰り返し提示されることにより、容易かつ高速に感覚インタフェースを介して能動運動に挿入された効果を学習することができる。また、複数回の結果を合計して終了判定を行うため、学習の進み具合をより的確に認識することができる。さらにロボットを用いて行うため、より実環境に近い状態での予期せぬ音響刺激を含めた適応が可能となる。特に聴覚に関係が深いと考えられる任意の音響的伝達関数について能動運動の中の頭部運動のみから容易に学習することができる。
また、この実施形態によれば、学習者は、能動運動の結果得られる音響刺激を繰り返し提示されることにより、容易かつ高速に感覚インタフェースを介して能動運動に挿入された遅延の効果を学習することができる。また、ロボットを用いて行う方法を選択するため、より実環境に近い状態での予期せぬ音響刺激を含めた適応が可能となる。
以上説明した実施形態によれば、感覚インタフェースとして音響刺激を生成し、生成された音響刺激を提示し、学習者が能動運動を行い、学習させたい能動運動と音響刺激の関係を挿入し、能動運動の影響を音響刺激に反映させる。そして、学習者に得られた音響刺激を回答させ、回答結果に基づいて学習終了を判定し、必要に応じて学習を繰り返すことによって、感覚インタフェースの特徴および能動運動に挿入した効果を学習者が容易に学習可能とする学習方法である。これは学習者の能動運動が学習の効率を上げることに着目した方法である。学習者の能動運動の感覚への影響が即座に反映されるため、学習者は自己の能動運動から得られた結果を利用して、容易かつ高速に能動運動に挿入された効果を学習することが可能となる。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１ 学習装置 ２ 音響テレプレゼンス装置
４ 学習者 １０ 位置姿勢検出部
１１ 音響刺激情報生成部 １２ 音響刺激情報出力部
１３ 音響刺激情報検出部 １４ ロボット装置
１５ 増幅部 １６ 学習者音響刺激情報出力部
１７ 回答入力部 １８ 判定部
１９ 生成部 ２０ 演算部
２０ａ 伝達関数データベース ２１ ロボット駆動部
２００ センサ ２１０ 三次元姿勢計測器
２２０ 制御装置 ２３０ モータ制御部
２４０ テレヘッド ２５０ 傾斜および仰角方向用モータ
２６０ 回旋方向用モータ ２７０ 検出部
２８０ 出力部
４ 学習者 １０ 位置姿勢検出部
１１ 音響刺激情報生成部 １２ 音響刺激情報出力部
１３ 音響刺激情報検出部 １４ ロボット装置
１５ 増幅部 １６ 学習者音響刺激情報出力部
１７ 回答入力部 １８ 判定部
１９ 生成部 ２０ 演算部
２０ａ 伝達関数データベース ２１ ロボット駆動部
２００ センサ ２１０ 三次元姿勢計測器
２２０ 制御装置 ２３０ モータ制御部
２４０ テレヘッド ２５０ 傾斜および仰角方向用モータ
２６０ 回旋方向用モータ ２７０ 検出部
２８０ 出力部
Claims (6)
- 音響信号を受信する検出部と、当該検出部とは離れた地点において前記音響信号を受聴する受聴者に付帯された当該受聴者の頭部姿勢を検知するセンサと、当該センサからの信号により受聴者の頭部姿勢に対応するダミーヘッドによる集音又は頭部伝達関数を適用する装置と、を有する高臨場感通信装置であって、
学習用音響信号を生成する音響刺激生成部と、
前記音響刺激生成部により生成された音響刺激を出力する音響刺激出力部と、
前記音響刺激が発せられたと前記受聴者が知覚する音源位置を回答として受け取る回答入力部と、
前記回答入力部から入力される回答情報に基づいて、前記学習用音響信号生成を終了するか否かを判定する判定部と
を有することを特徴とする高臨場感通信装置。 - 前記頭部伝達関数を適用する装置は、
検出部を含む部位を駆動する駆動部と、
前記検出部とは離れた地点において前記音響信号を受聴する受聴者に付帯された当該受聴者の姿勢を検知するセンサからの信号により前記駆動部を制御する制御部と
を有することを特徴とする請求項１記載の高臨場感通信装置。 - 前記制御部は、設定される遅延時間に従って遅延させて前記駆動部を制御することを特徴とする請求項２記載の高臨場感通信装置。
- 前記装置は、
前記受聴者の姿勢に対応する頭部伝達関数をデータベースとして記憶する伝達関数データベース
を有することを特徴とする請求項１記載の高臨場感通信装置。 - 前記伝達関数データベースは、遅延時間と頭部伝達関数とに基づいた伝達関数を記憶することを特徴とする請求項４記載の高臨場感通信装置。
- 音響信号を受信する検出部と、当該検出部とは離れた地点において前記音響信号を受聴する受聴者に付帯された当該受聴者の頭部姿勢を検知するセンサと、当該センサからの信号により受聴者の頭部姿勢に対応する頭部伝達関数を適用する装置と、を有する高臨場感通信装置に用いられる高臨場感通信方法であって、
学習用音響信号を生成し、
生成された音響刺激を出力し、
前記音響刺激が発せられたと前記受聴者が知覚する音源位置を回答として受信し、
受信した回答情報に基づいて、前記学習用音響信号の生成を終了するか否かを判定する
ことを特徴とする高臨場感通信方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004371622A JP4531554B2 (ja) | 2004-09-14 | 2004-12-22 | 高臨場感通信装置及び高臨場感通信方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004267616 | 2004-09-14 | ||
| JP2004371622A JP4531554B2 (ja) | 2004-09-14 | 2004-12-22 | 高臨場感通信装置及び高臨場感通信方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006115442A true JP2006115442A (ja) | 2006-04-27 |
| JP4531554B2 JP4531554B2 (ja) | 2010-08-25 |
Family
ID=36383527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004371622A Expired - Fee Related JP4531554B2 (ja) | 2004-09-14 | 2004-12-22 | 高臨場感通信装置及び高臨場感通信方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4531554B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020153027A1 (ja) * | 2019-01-24 | 2020-07-30 | ソニー株式会社 | オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6244384A (ja) * | 1985-08-20 | 1987-02-26 | 三菱重工業株式会社 | ロボツトの遠隔制御装置 |
| JPH04354275A (ja) * | 1991-05-30 | 1992-12-08 | Meitec Corp | ヘッドモ−ション追従型映像システム |
| JPH0675622A (ja) * | 1992-08-27 | 1994-03-18 | Fujita Corp | 作業車の遠隔制御装置 |
| JPH0879900A (ja) * | 1994-09-07 | 1996-03-22 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ音響再生装置 |
| JPH08205298A (ja) * | 1995-01-26 | 1996-08-09 | Victor Co Of Japan Ltd | 音像定位制御装置 |
| JP2003009296A (ja) * | 2001-06-22 | 2003-01-10 | Matsushita Electric Ind Co Ltd | 音響処理装置および音響処理方法 |
| JP2003125499A (ja) * | 2001-10-17 | 2003-04-25 | Sony Corp | 音響再生装置 |
| JP2004504785A (ja) * | 2000-07-13 | 2004-02-12 | マテック インコーポレイテッド | オーディオヘッドセット |
| JP2005102032A (ja) * | 2003-09-26 | 2005-04-14 | Nippon Telegr & Teleph Corp <Ntt> | 高臨場感音響受聴装置 |
-
2004
- 2004-12-22 JP JP2004371622A patent/JP4531554B2/ja not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6244384A (ja) * | 1985-08-20 | 1987-02-26 | 三菱重工業株式会社 | ロボツトの遠隔制御装置 |
| JPH04354275A (ja) * | 1991-05-30 | 1992-12-08 | Meitec Corp | ヘッドモ−ション追従型映像システム |
| JPH0675622A (ja) * | 1992-08-27 | 1994-03-18 | Fujita Corp | 作業車の遠隔制御装置 |
| JPH0879900A (ja) * | 1994-09-07 | 1996-03-22 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ音響再生装置 |
| JPH08205298A (ja) * | 1995-01-26 | 1996-08-09 | Victor Co Of Japan Ltd | 音像定位制御装置 |
| JP2004504785A (ja) * | 2000-07-13 | 2004-02-12 | マテック インコーポレイテッド | オーディオヘッドセット |
| JP2003009296A (ja) * | 2001-06-22 | 2003-01-10 | Matsushita Electric Ind Co Ltd | 音響処理装置および音響処理方法 |
| JP2003125499A (ja) * | 2001-10-17 | 2003-04-25 | Sony Corp | 音響再生装置 |
| JP2005102032A (ja) * | 2003-09-26 | 2005-04-14 | Nippon Telegr & Teleph Corp <Ntt> | 高臨場感音響受聴装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020153027A1 (ja) * | 2019-01-24 | 2020-07-30 | ソニー株式会社 | オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム |
| US11937069B2 (en) | 2019-01-24 | 2024-03-19 | Sony Corporation | Audio system, audio reproduction apparatus, server apparatus, audio reproduction method, and audio reproduction program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4531554B2 (ja) | 2010-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Picinali et al. | Exploration of architectural spaces by blind people using auditory virtual reality for the construction of spatial knowledge | |
| US20140184384A1 (en) | Wearable navigation assistance for the vision-impaired | |
| JPWO2014038049A1 (ja) | トレーニング装置 | |
| US20160321955A1 (en) | Wearable navigation assistance for the vision-impaired | |
| Stoll et al. | Navigating from a depth image converted into sound | |
| WO2020221034A1 (zh) | 听觉空间定位能力的参数化检测系统及最小可听角的方法 | |
| US10798515B2 (en) | Compensating for effects of headset on head related transfer functions | |
| Kolarik et al. | A framework to account for the effects of visual loss on human auditory abilities. | |
| CN111904430B (zh) | 一种用于纯音听阈测试技能培训的系统及方法 | |
| Hoang et al. | Obstacle detection and warning for visually impaired people based on electrode matrix and mobile Kinect | |
| Bolaños et al. | HRIR database with measured actual source direction data | |
| Borg et al. | Vibratory-coded directional analysis: evaluation of a three-microphone/four-vibrator DSP system. | |
| JP4531554B2 (ja) | 高臨場感通信装置及び高臨場感通信方法 | |
| Warren et al. | Learning spatial dimensions with a visual sensory aid: Molyneux revisited | |
| Simon et al. | Investigation of perceptual interaural time difference evaluation protocols in a binaural context | |
| Gulli et al. | Spontaneous head movements support accurate horizontal auditory localization in a virtual visual environment | |
| JP2019070987A (ja) | 身体動きガイドシステム、刺激呈示装置、刺激呈示方法およびプログラム | |
| Zijlstra | Using the hololens' spatial sound system to aid the visually impaired when navigating indoors | |
| Davies et al. | Where did that sound come from? Comparing the ability to localise using audification and audition | |
| CN112168177B (zh) | 用于测试声源定位能力的方法、测试者终端、受试者终端 | |
| US20230384864A1 (en) | Skill acquisition assistance method, skill acquisition assistance system, and computer readable recording medium storing control program | |
| Nguyen et al. | An evaluation of the presentation of acoustic cues for shorelining techniques | |
| JP4534014B2 (ja) | 視覚障害者のための歩行訓練環境生成システム | |
| Zhang | Navigation system based on depth camera and portable device for visual impairments | |
| EP4296825A2 (en) | Haptic system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100330 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100601 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100609 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4531554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140618 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |