JP2006506884A - オーディオに基づいたデータ提示装置及び方法 - Google Patents

オーディオに基づいたデータ提示装置及び方法 Download PDF

Info

Publication number
JP2006506884A
JP2006506884A JP2004552997A JP2004552997A JP2006506884A JP 2006506884 A JP2006506884 A JP 2006506884A JP 2004552997 A JP2004552997 A JP 2004552997A JP 2004552997 A JP2004552997 A JP 2004552997A JP 2006506884 A JP2006506884 A JP 2006506884A
Authority
JP
Japan
Prior art keywords
data
value
audio signal
data variable
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2004552997A
Other languages
English (en)
Inventor
イェー ウェー メルテンス,マルク
ウェー エー スホーベン,ダニール
エム アールツ,ロナルデュス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2006506884A publication Critical patent/JP2006506884A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Selective Calling Equipment (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

第1の値(206)及び第2の値(208)を有することが可能なポジションレスデータ変数(p)に依存する特徴(C)を有するオーディオ信号(o)を供給するよう構成されるオーディオ処理ユニット(102)を有する、該オーディオ信号によってデータを提示するデータ提示装置(100)であって、このデータ提示装置は、データ変数の第1の値を、3次元空間における第1の位置(216)に、また、データ変数の第2の値を、3次元空間における第2の位置(218)にマッピングするよう構成されるマッピングユニット(132)を有し、オーディオ処理ユニットは、オーディオ信号を聴くユーザ(200)に、オーディオ信号が、第1の値を有するデータ変数に対しては第1の位置から、第2の値を有するデータ変数に対しては第2の位置から発生しているように思えることをもたらすよう特徴を変更するよう構成される。このようなデータ提示装置(100)と、データ源と、音楽供給源と、音生成装置を有するシステム及び方法も記載する。

Description

本発明は、第1の値及び第2の値を有することが可能なポジションレスデータ変数に依存する特徴を有するオーディオ信号を供給するよう構成されるオーディオ処理ユニットを有する、該オーディオ信号によりデータを提示するデータ提示装置に係る。
本発明は更に、入力オーディオ信号を供給するよう構成されるオーディオ源と、第1の値及び第2の値を有することが可能なデータ変数の供給源と、音生成装置と、データ変数に依存する特徴を有するオーディオ信号を音生成装置に供給するよう構成されるオーディオ処理ユニットを有する、該オーディオ信号によりデータを提示するデータ提示装置とを有する、オーディオ信号によりデータを提示するシステムに係る。
本発明は更に、第1の値及び第2の値を有することが可能なデータ変数に依存する特徴を有するオーディオ信号を供給するオーディオ処理段階を有する、該オーディオ信号によりデータを提示する方法に係る。
本発明は更に、プロセッサが本発明の方法を実行することを可能にする、プロセッサによる実行のためのコンピュータプログラムに係る。
本発明は更に、上述のコンピュータプログラムを格納するデータ担体に係る。
このようなデータ提示装置の実施例は、US−B−6,230,047から公知である。この公知の装置は、パルスモニタから心拍をデータ変数として受信する。この心拍に基づいて、対応するリズムパターンが、オーディオ処理ユニットによって、リズムパターンメモリからフェッチされる。このメモリには、例えば、ドラムの予め記憶されたリズムが格納される。オーディオ処理ユニットは、特定の測定心拍に応じたテンポ特徴を有する、選択されたリズムからの連続オーディオ信号を作成する。
この種類の測定のオーディオフィードバックの不利点は、データ変数のうちのどの特定の値が実際に提示されているのかユーザには判断することが困難であり、従って、これは、基準点の測定のみが必要とされ、基準点からの逸脱のみがユーザによって判断されなければならない適用においてのみ使用可能である点である。公知の装置は、例えば、ジョギングする人によって、自分の心拍がリズムに対応するようジョギングを調整しようと使用される。
本発明は、ユーザが定量化することが比較的容易である方法でデータを提示する、オーディオ信号によりデータを提示するデータ提示装置を提供することを目的とする。
この目的は、データ提示装置は、データ変数の第1の値を、3次元空間における第1の位置に、また、データ変数の第2の値を、3次元空間における第2の位置にマッピングするよう構成されるマッピングユニットを有し、オーディオ処理ユニットは、オーディオ信号を聴くユーザに、オーディオ信号が、第1の値を有するデータ変数に対しては第1の位置から、第2の値を有するデータ変数に対しては第2の位置から発生しているように思えることをもたらすよう特徴を変更するよう構成されることにより達成される。オーディオ信号によるデータの提示は、幾つかの理由から有用である。例えば、ユーザは、自分の視覚機能を、例えば、テレビを見る、車を運転する、又は、走っている際に足をおろす場所を見るといった他のことに使用できる。また、既に大量のデータが視覚的に提示されている場合に、聴覚による提示は有用であり得る。また、例えば、夜間又は濃い煙の中といった視覚的情報があまり有用ではない環境があり得る。又は、聴覚による提示は、視覚障害を有する人々にとって有用であり得る。
既存の聴覚による提示システムは、一般的に、オーディオ信号の音量、音程、テンポ、又はバランスを変更するが、多くの人にとってこれは、定量化するのが困難である。例えば、多くの人々は、音の正確な音程を判断することは得意としない。
しかし、人間は、音が発生する方向はむしろ正確に判断可能である。人間の空間における角度の値の判断も、あまりひどくはずれていない。従って、例えば、時計の目盛盤が、比較的良好な精度で時間を示すことが可能であるように、本発明のデータ提示装置は、ユーザの頭部の周りに仮想オーディオ源位置の仮想目盛盤を生成することを可能にする。仮想目盛盤上のデータ変数の値を示す対応仮想オーディオ源が、実際の音生成装置により生成されるが、ユーザは、音は、所定の位置又は方向から来ると知覚する。仮想目盛盤以外にも、ユーザの頭部の周りのデータ変数値を表す仮想音源の任意の幾何学的分布も、オーディオ処理ユニットにより実現可能である。仮想音源を固定位置において表すのではなく、位置は、データ変数の値により決定される。データ変数の値は、空間における自然に関連する位置を有さない。例えば、温度計により測定した温度は、自然に関連付けられる位置を有さないが、1次元座標軸上では測定可能である。温度は、空間における1点にマッピングされなければならない。データ変数が第1の値を有すると、仮想音源は、第1の位置において提示され、データ変数が第2の値を有すると、仮想音源は、第2の位置において提示される。
幾つかのデータ変数の値は、空間における軌跡(locus)にマッピングされる。ここでは、単語「軌跡」は、「その座標が単一の方程式又は1つ以上の代数的条件を満足する全ての点のセット又は構成」を意味するものとして使用する。軌跡は、1次元、2次元、又は3次元の多様体であり且つ任意の範囲であることが可能である。例えば、温度値は、ユーザの頭部の周りの1次元の円形か、又は、厚みを有する2次元円形ストリップにマッピング可能である。
マルチチャンネル音再生は、既に存在する。例えば、ヘッドホンバーチュアライザは、例えば、ドルビー5.1音再生において必要とされる5つのスピーカを、仮想スピーカとしてシミュレートする。しかし、仮想音源位置につながるこれらの音チャンネルのためのオーディオ情報は、オーディオ信号内に既に存在する。仮想音源は、記録時の楽器の実際の位置と大まかに一致すると考えられる。これらの物理的な音源は、当然ながら位置を有する。例えば、オーケストラの記録では、バイオリンは、再生時に、傾聴者の右側、即ち、傾聴者の位置にあるマイクロホンに提示され、仮想バイオリンも、傾聴者の右側に対し略同じスポットからくると知覚されるべきである。ステレオ及びマルチチャンネル音再生は、しばしば、経験則に基づいており、従って、仮想音源の位置は、記録された音源のもとの位置と正確に同じである必要はない。しかし、ヘッドホンバーチュアライザにおけるスピーカ、又は、仮想スピーカは、固定位置に置かれ、そこに固定されてしまう。このことは、仮想音源の位置は、スピーカに送られる実際のオーディオ信号により決定されることを示す。データ提示装置では、仮想音源の位置決めは、例えば、時間といった測定値といったデータ変数に依存する。時間は、明確な位置を有さず、従って、時間は、ポジションレス又は非位置的変数であるので、ユーザの頭部の周りの3次元空間における軌跡に、時間の値をマッピングすることが必要であり、この対応する時間は、仮想音源により提示されるべきである。例えば、12時には、ユーザの頭部のまっすぐ上においてチャイム音が生成される。
1つの実施例では、オーディオ処理ユニットは、第1の位置及び第2の位置それぞれから発生しているように思える出力オーディオ信号を得るよう入力オーディオ信号に頭部伝達関数(HRTF)を適用するフィルタを有する。オーディオ処理ユニットの単純な変形は、単純なステレオパニングにより仮想音源位置をシミュレートするパニング手段を有する。2つのステレオスピーカそれぞれに与えられる第1及び第2のオーディオ信号成分の振幅及び/又は遅延を変更することにより、スピーカ間の仮想音源位置の軌跡がトラバースされることが可能である。しかし、仮想音源位置のより良好な制御可能性は、オーディオ源からの入力オーディオ信号を、ユーザ指定頭部伝達関数(HRTF)を用いて処理することにより得られる。この処理により、各望ましい仮想音源位置に対し2つの成分オーディオ信号、即ち、例えば、ヘッドホンの左スピーカ用の第1の成分及びそのヘッドホンの右スピーカ用の第2の成分がもたらされる。
データ提示装置は、測定装置からの測定値から導出可能なデータ変数を、オーディオ処理ユニットに供給可能なデータ変数分配器を有し得る。データ変数が、例えば、測定値そのものである測定装置からの測定値から直接導出可能である場合は有利である。データ変数分配器は、仮想音源の位置決めのために、測定値データ変数をオーディオ処理ユニットに伝送するよう構成される。更に又は或いは、データ変数は、データ変数供給装置からもたらされてもよい。例えば、データ変数は、メモリ手段内に格納されるか、又は、インターネットを介して到着してもよい。データ変数分配器は、単一の選択されたデータ変数供給源からのデータ変数か、又は、様々な供給源からのデータ変数のいずれかを伝送可能である。データ変数分配器は、所定の優先順位を有するデータ変数値のみを伝送するよう構成されてもよい。
本発明の装置の変形、又はその実施例において、マッピングユニットは、データ変数の公称値の集まりを、3次元空間の所定領域にマッピングするよう構成される。公称データ変数値とは、幾つかの分類に入る値のことであり、例えば、摂氏尺度といった数値尺度で温度を特定するのではなく、温度は、「非常に熱い」、「熱い」、「生ぬるい」、及び「冷たい」として説明可能である。これらの公称値は、ユーザの頭部の上方の4つの4分円にマッピングされることが可能である。公称データ値間には自然の順序関係がないので、マッピングは、例えば、各公称データ値について、公称データ値と空間における位置とのリンクを特定するテーブルを含み得る。
本発明の装置の別の変形、又はその実施例において、マッピングユニットは、データ変数の数値の集まりを、3次元空間における曲線の軌跡上の位置にマッピングするよう構成される。数値によるデータ変数が提示される場合にも、マッピングユニットは、ユーザの周りの曲線の軌跡を指定し、その軌跡を間隔に分割し、どの間隔に数値のデータ変数がマッピングされるべきであるかを指定するよう構成される。軌跡は、1次元の多様体であり得るが、空間における2次元又は3次元の多様体であってもよい。軌跡に沿っての位置は、等距離であるか、又は、データ変数値と軌跡に沿っての位置間に複雑な関係を用いてもよい。
マッピングユニットに対して好適なマッピングの指定を可能にするよう構成される指定手段を有する場合、有利である。例えば、ユーザが車を運転している場合、ユーザは、速度を、仮想音源により提示されることを希望するかもしれない。運転手は、たった2秒間の反応時間しかないので事故が発生し、ユーザが、計器を見るために貴重な時間を無駄にすることがなかったのなら、間に合うようにブレーキを踏むことができるかも知れない。高速を運転する際、許可されている速度は、毎時120キロメートルである。従って、毎時120キロメートルがユーザの真っ直ぐ前の音源に対応する目盛盤を指定し、毎時130キロメートルまでの速度は、右側に90度に亘って提示されることを希望し得る。低い速度では、左側の90度が、毎時80キロメートルまでの速度を表し得る。しかし、立て込んだ区域を運転する際には、速度制限は、毎時50キロメートルであるので、運転者は、別のマッピングを指定することを望み得、そのマッピングは、毎時25キロメートルと毎時60キロメートルの間の速度が、左から右にマッピングされる。特に、幾つかの目盛盤が同時に提示される場合、特に、似ている音が仮想音源に割当てされている場合には、ユーザにより割当てされる別個の空間の領域に、マッピングがマッピングされることが有用である。
第1のタイプのオーディオ信号による第1のデータ変数値のセットの提示、及び、第2のタイプのオーディオ信号による第2のデータ変数値のセットの提示を可能にするよう構成される選択手段を有するならば更に有利である。例えば、ユーザの音位置測定精度を超える、提示されるデータ値のユーザによる定量化の精度を増加するために、仮想目盛盤における付近の値は、異なる仮想音で提示可能である。例えば、10個の連続する値からなる各セットは、増加する音程音により提示される。第1の値は低い音程を有し、10番目の値は高い音程を有し、11番目の値は、再び低い音程を有し、以後同様に続けられる。更に、様々な目盛盤軌跡、又は、一般的にデータ変数マッピングが同時に提示されると、その各データ値は、ユーザには異なるように聞こえる音により提示されることが可能である。このようにすると、ユーザは、例えば、ホイッスルは、速度測定を表し、チャイムは時計を表す等確認することが可能である。
オーディオ信号によってデータを提示するシステムは、データ提示装置は更に、データ変数の第1の値を、3次元空間における第1の位置に、また、データ変数の第2の値を、3次元空間における第2の位置にマッピングするよう構成されるマッピングユニットを有し、オーディオ処理ユニットは、オーディオ信号を聴くユーザに、オーディオ信号が、第1の値を有するデータ変数に対しては第1の位置から、第2の値を有するデータ変数に対しては第2の位置から発生しているように思えることをもたらすよう特徴を変更するよう構成されることを特徴とする。
オーディオ信号によってデータを提示する方法は、データ変数の第1の値を、3次元空間における第1の位置に、また、データ変数の第2の値を、3次元空間における第2の位置にマッピングするマッピング段階が行われ、オーディオ処理段階は、オーディオ信号を聴くユーザに、オーディオ信号が、第1の値を有するデータ変数に対しては第1の位置から、第2の値を有するデータ変数に対しては第2の位置から発生しているように思えることをもたらすよう特徴を変更することを特徴とする。
本発明のデータ提示装置、システム、及びデータ担体のこれらの及び他の面は、以下に説明する実施例と、非制限的な例示に過ぎない添付図面を参照して明らかにし且つ説明する。
図面中、破線で示す素子は、図1における望ましい実施例に依存して任意選択的であり、他の図面では、仮想である。例示的な実施例に示す全ての素子が、別の実施例において必ずしもある必要はない。
図1は、オーディオ信号oによりデータを提示するデータ提示装置100を示す。装置は、データ変数pに依存して、オーディオ信号oがユーザ200に対し空間における所望の位置から発生しているように思われるよう調整される特徴Cを有するオーディオ信号oを供給するよう構成されるオーディオ処理ユニット102を有する。データ変数pは、物理的な測定の結果mか、又は、数学的な数である別の指定か、又は、例えば電子メール若しくは別のデータセットの計数可能な属性であり得る。オーディオ処理ユニット102は、オーディオ信号oに、データ変数pが第1の値206を有する場合は、仮想音源222の第1の位置216(図2)を、データ変数が第2の値208を有する場合は、第2の位置218を割当てするよう構成される。仮想音源222は、例えば、ヘッドホン、又は、PC、テレビジョン、若しくはラジオのスピーカである少なくとも2つのスピーカを有する音生成装置112によりシミュレートされる。オーディオ信号oは、一般的に、入力信号iに基づいてオーディオ処理ユニット102により得られる。入力信号iは、例えば、ポータブルMP3プレイヤである外部オーディオ源114からの音楽か、又は、例えば、ビープ音又は音楽である内部オーディオ源116からの内部生成オーディオであり得る。入力信号iは、モノラルオーディオであってもマルチチャネルオーディオであってもよい。
データ変数は、測定装置104、又は、データ変数がディスク、メモリ、又はネットワーク接続上に予め格納される場合は、例えば、ディスクリーダであるデータ変数供給装置124から受信され得る。全てのデータ変数pがディスクから連続的に読出しされ、仮想音源位置に変換されると、ユーザ200は、例えば、ボタンを押すといったように、データ変数pの提示に対応して素早く行動を起こすことが可能である。データ変数分配器122は、測定装置104又はデータ変数供給装置124から受信したデータ変数pを、オーディオ処理ユニット102に供給するよう構成される。データ変数分配器122は、例えば、測定装置104からのデータ変数のみを供給するよう構成されるか、又は、測定装置104及びデータ変数供給装置124の両方からデータ変数を、例えば、時間的に交互に供給するよう構成されることが可能である。両方のデータ変数は、コードワードでグループにまとめられるか、又は、両方のデータ変数に関連して新しいデータ変数値を計算することが可能である。更に、データ変数分配器122は、所定の間隔である値のデータ変数pか、又は、優先順位値が割当てされるある値のデータ変数pのみを通すよう構成されてもよい。例えば、データ変数が電子メールメッセージに関連付けられる場合、「緊急」、「通常」、「情報」等のデータ変数は、電子メールメッセージが「仕事関係の電子メール」という優先順位値を有する場合にのみ提示され得る。間隔又は優先順位値は、危険な状況を示すために指定され得る。例えば、温度は、所定値を超えた場合にのみ提示され、それ以外は、ユーザは温度情報により煩わされることがない。このことを達成するために、優先順位付け手段170が存在し得る。優先順位付け手段170は、例えば、データ変数pに対して規則セットを評価するよう構成されるプロセッサとして具現化され得る。この規則セットが満たされる場合にのみ、オーディオ処理ユニット102に対応位置posが伝送される。
図1bは、データ変数分配器122の幾つかの実施例を示す。データ変数分配器122は、所定のインタリーブスキームに応じて様々な測定装置又はデータ変数供給装置から交互に様々な時間t0、t1等においてデータ変数が供給される、出力接続としての第1の接続180を有し得る。或いは又は更に、第2の接続182も存在し得、この例では、第2の接続182は、第1の物理的測定値m11と第1の供給されたデータ変数ppの関数である合成パラメータを、オーディオ処理ユニット102に伝送する。第3の接続184は、その値が20より大きい場合にのみ第2の物理的測定値m12を、パラメータp13として伝送する。マッピングユニット132は、例えば、様々な物理的測定値に対応するパラメータの時系列を、位置posの時系列に変換し、そこから、オーディオ処理ユニットが、各時系列に対してそれぞれ仮想音源を生成する。単一のタイプの測定値のみが入力されるデータ提示装置100の単純な変形では、データ分配器は、測定装置とマッピングユニット132間の単純な電気接続であり得る。
測定装置104は、例えば、ユーザ200が1分間に何回ステップを踏むか測定するペースメータか、又は、心拍メータであり得る。ユーザ200は、自分の心拍を表示するディスプレイを繰り返し見なければならないことは面倒である。このことはトレーニングの妨害となり、更には、ディスプレイを見ている間に道の出っ張りに躓いてしまい得る。オーディオ処理ユニット102は、例えば、MP3プレイヤからの音楽が、ユーザ200の頭部の周りに位置づけられる場合、仮想音源からの音が常にあるように構成されるか、又は、数秒おきにビープ音を生成し得る。ビープ音は、聞いている音又は音楽に加えられてもよい。例えば、装置は、ポータブルCDプレイヤから音楽を聴いている間に、又は、別の適用では、テレビ上の映画の音にビープ音を追加することによって、ユーザ200に注意を促し得る。
ユーザ200は、ユーザの希望する走行ペースは、ユーザのまっすぐ前の位置にマッピングされ、よりゆっくりとしたペースはユーザの頭の上にマッピングされることを指定可能である。更に、時計付きラジオについては、仮想音位置決めは非常に有用である。現在の時計付きラジオでは、ユーザは、時計付きラジオが朝鳴り始めた後も眠り続けたとすると、例えば、ラジオ番組司会者が30分おきにニュースを読み上げる際に時間を伝えるときにのみ時間のフィードバックを得る。例えば、時計付きラジオの左から右に、仮想音源位置が動くのならば、ユーザ200は、常に時間のフィードバックを受け続ける。
専門的な適用は、他の測定装置を使用し得る。例えば、消防士は、しばしば、厚い煙が充満した建物の中に入らなければならない。オーディオ提示装置100を用いると、ディスプレイ上ではほとんど見ることのできない測定値が、仮想音源により提示可能である。
データ変数pの値の集まりを、例えば、図2における軌跡(locus)202か、又は、図3における2次元軌跡300といった3次元空間における位置posの軌跡にマッピングするよう構成されるマッピングユニット132が存在する。指定手段150も有することが好適であり、この指定手段150は、ユーザ200が自分の嗜好に応じてマッピングを指定可能にするよう構成される。例えば、ユーザは、幾つかの公称データ変数p値を、例えば、第1の領域302及び第2の領域304といった空間における2次元領域にマッピングすることが可能である。これらの領域は、ユーザ200の嗜好に応じたサイズ及び位置を有する。指定は、データ入力手段152により入力可能である。例えば、ポータブルMP3プレイヤ又は移動電話機上には、ユーザ200が、ユーザ200の頭部の周りの空間の一部を表す所定ゾーン上に小さい矩形を描くことにより第1の領域302及び第2の領域304を指定できるタッチパッドがあり得る。或いは、ユーザは、キーにより、又は、カーラジオ若しくはオンボードコンピュータ上のノブを回すことにより、データを入力してもよい。マッピングユニットは、マッピングに関するデータ又はマッピング関数を格納するメモリ134を有し得る。データ入力手段152が、例えば、インターネットへのネットワーク接続を有する場合、例えば、データ提示装置100の製造業者が、新しいマッピングをダウンロードすることも可能である。
仮想音源は、例えば、ステレオパニングにより作り出すことが可能である。例えば、モノラル音楽である入力オーディオ信号iは、オーディオ処理ユニット102により、2つの成分を有する出力オーディオ信号oに変換される。2つの成分とは、第1のスピーカ160用の成分と第2のスピーカ161用の成分である。2つの成分の振幅は、オーディオ信号oが、2つのスピーカ間の仮想音位置から発生しているかのように決定される。より正確な位置決めは、頭部伝達関数HRTFにより達成可能である。この結果を達成するために、オーディオ処理ユニット102は、出力オーディオ信号oを得るために入力オーディオ信号iにHRTFを適用するフィルタ140を有し得る。第1の成分に対して、第1のHRTFが使用される。これは、ユーザ200がヘッドホンを付けている場合に、ユーザ200の第1の耳がヘッドホンの第1のスピーカ160により主に刺激されている場合、音が、仮想音源の位置にある実際の音源から、ユーザ200の第1の耳にどのように伝わればいいのかを表す。入力信号iは、第1の成分を得るために、フィルタ140によって第1のHRTFを用いてフィルタリングされる。第2の成分を得るために、入力信号iは、第2のHRTFを用いてフィルタリングされる。全仮想音源位置についてのHRTFを、第2のメモリ142内に格納可能である。
図7に、HRTFの一例を示す。例えば、HRTFにおける耳介ノッチ(pinna notch)の周波数fは、fの周りの周波数範囲において少ないエネルギーであるオーディオ信号oの特徴をもたらし、仮想音源の高さをシミュレートするよう使用可能である。より多くの情報は、P. J. Bloomによる「Creating source elevation illusions by spectral Manipulation」(Journal of the audio engineering society第25巻、1977年9月、560−565頁)に記載される。ヘッドホンによって仮想音源を表現することの情報は、国際特許WO0149066に記載される。仮想音源をシミュレートするためにHRTFを使用することに関するより多くの情報は、F. L. Wightman及びD. J. Kistlerによる「Headphone simulation of free field listening I: Stimulus synthesis」(Journal of acoustical society of America85、第2版、1989年2月、858−867頁)に記載される。特定の又は一般的なユーザに対し固定数の測定HRTFが与えられて中間位置に対するHRTFを補間する方法は、L. W. P. Biscainho外による「Using inter-positional transfer functions in 3D sound」(IEEE International Conference on Acoustics, Speech, and Signal Processingの議事録、米国オーランド、2002年、第2巻、1961−1964)に記載される。
選択手段117は、例えば、深いバス音である第1のタイプbのオーディオ信号oによる第1のデータ変数p値のセットの提示と、例えば、オーディオ信号のチャイムである第2のタイプchによる第2のデータ変数p値のセットの提示を可能にするよう構成される選択手段117が存在し得る。この選択手段117は、例えば、内部オーディオ源116の一部を形成するか、又は、オーディオ処理ユニット102内に内蔵されてもよい。選択手段117は、仮想音源222の位置においてデータ変数pの値のスピーチ信号を生成することによりオーディオ信号のタイプを変更するよう構成されるスピーチ生成器118を有してもよい。例えば、英単語「セブン(seven)」に対応する音が、セブンに実質的に等しいデータ変数pの値に対応する空間における位置において生成される。
図2は、ユーザ200の頭部の周りに延在する、数値データ変数p値に対応する仮想音源位置の軌跡202を示す。例えば、第1のマッピングM1は、例えば、車の速度メータである測定装置204のスケール210上の値を、軌跡202にマッピングする。マッピングは、例えば、スケール210上の角度が、軌跡202の角度に比例するようなマッピングであるか、又は、非円形軌跡に対する非線形角度マッピング関数を有することが可能である。例えば、この例では、毎時30キロメートルを表す第1の位置216は、ユーザ200の頭部の上方の頂点から50度に位置付けられ、毎時40キロメートルを表す第2の位置218は、頂点から40度に位置付けられ、毎時50キロメートルを表す第3の位置219は、頂点から30度に位置付けられる等である。しかし、ユーザ200が、毎時30キロメートルと毎時40キロメートルとの差が、毎時40キロメートルと毎時50キロメートルとの差よりも重要ではないと考えると、ユーザは、第1の位置216と第2の位置218との間は、例えば、5度で、第2の位置218と第3の位置219との間は15度でのマッピングを考え出してもよい。或いは、ユーザは、略望ましい速度で運転しているときには音を出さず、遅すぎる又は速すぎる場合にのみ速度の提示をするマッピングを指定してもよい。第2のマッピングM2は、例えば、温度計234の温度をマッピングすることが可能である。軌跡202において、第1の値206は、第1の位置216におけるギターのような音に対応し得る。また、第2の値208は、第2の位置218においてチャイムの音に対応し得る。マッピングユニット132は、スケール210の一部のみが、例えば、遅い速度のみが、軌跡202にマッピングされるよう構成されてもよい。例えば、毎時120キロメートルである臨界速度以下の速度は、より小さい値間角度を有する軌跡202の小さい部分にマッピングされ、毎時120キロメートル以上の速度は、より大きい値間角度とともにマッピングされ得る。更には、スケール210の一部はなくてもよい。ユーザ200は、軌跡202を、3次元空間のどこでも好きな場所に置くことが可能である。例えば、ユーザは、軌跡202が、自分の周りの水平面にあることを好むかもしれない。というのは、それが、彼にとってより自然であるか、又は、ユーザはこの方が速度差をより容易に判断することができるからである。オーディオ処理ユニット102の変形では、方位角のみがHRTFによって決定され、仮想音源222の高さは、オーディオ信号oの音程変更によりシミュレートされる。矢印220は、仮想音源222が聞かれる位置又は方向を示し、一種の仮想ポインタとなっている。空間における位置とは、仮想音源が、空間における良好に決定された点に正確に位置するのではなく、例えば、ユーザ200のオーディオ処理及び位置測定能力によって、空間の小さな領域252内にあるように思われる意味合いを含むものとする。
図3は、公称値を空間の領域にマッピングする方法を示す。例えば、測定装置325は、冷たいC、生ぬるいT、及び温かいWである3つの公称値のうちの1つを出力し得る。これらは、第1の領域302、第2の領域304、及び第3の領域306のそれぞれにおける仮想音源を有する第3のマッピングM3により表される。仮想音源を1つの領域に割当てすることは、仮想音源を、例えば、領域の中心である領域における位置330に割当てすることにより行われることが可能である。例えば、温度の場合におけるように、公称値に順序がある場合は、マッピングは、順序路315に従い得る。これは、例えば、ジグザグ路、スパイラル路、フラクタル路等といった利用可能な領域302、304を通る任意の経路であり得る。
或いは、コンピュータ320によって受信した電子メールは、「緊急」、「会社の電子メール」等の属性を有し得る。これらの属性も、第4のマッピングM4により、領域にマッピングされることが可能である。コンピュータ320は、これらの公称値をマッピングすることにより特定のコマンド又は警告信号を与え得る。
例えば、第1の列は、第2の領域304及び第3の領域306により構成され、第2の列は、第1の領域302及び第4の領域308により構成される等のように、領域302、308、…が、列として使用される場合、他のマッピングが実現可能である。例えば、スーパーマーケットでショッピングをするとき、列は、購入する製品のタイプを表すか、又は、作業環境では、家事を表し得る。例えば、領域306における毎時の音は、第1の列において2つの家事をやり残していることを示し、例えば、電子メールを送らなければならないことを示す。第1の領域302における音は、今日は一人だけに電話をかければよいことを示すことが可能である。
図4は、複数の深度を有する曲線の第2の軌跡400を示す。オーディオ信号oの振幅を用いて深度をシミュレートすることが可能であるが、他の特徴を、例えば、追加の反響のために使用することが可能である。このような第2の曲線の軌跡400は、例えば、電子メールが平易から緊急に変更するといったように、データ変数がユーザ200にとって幾らかの重要度を有する場合に有利である。
図5aは、データ変数pの第1及び第2のインスタンスを同時に提示する方法を示す。例えば、第1のデータ変数p1は時間であり、第2のデータ変数p2は伝わった距離である。ユーザ200が、様々なデータ変数提示を混同することを回避するために、第3の軌跡500を、例えば、ユーザ200の右側に、第4の軌跡510を、例えば、左側に提示し得る。このことは、2つの軌跡の仮想音源が、同様の音を発する場合に特に重要である。両方の音は、同じ時間インスタンスに、又は、時間的に交互に発せられることが可能である。両方の音は、それらが異なるように聞こえる限り、例えば、第1の曲線の軌跡202である同じ軌跡を横断可能である。また、それらは、異なる時間インスタンスに発せられることが好適である。
図5bは、様々なデータ変数pに対応する2つの軌跡が同時に提示される方法のもう1つの例を示す。軌跡は、異なるように聞こえる音がそれらの仮想音源のために使用される限り、複雑に織り交ぜられ得る。第1のデータ変数p1の値は、点線で示す3次元領域520、522、524等に提示され、第2のデータ変数p2の値は、破線で示す3次元領域540、542、544等に提示される。
入力オーディオ信号iを供給するよう構成されるオーディオ源114、116と、データ変数pの供給源104、124と、音生成装置112と、オーディオ信号oによりデータを提示するデータ提示装置100は共に、単一のシステムを形成し得る。その構成要素は、システムが携帯可能であるか又は室内若しくは自動車内に設置されるか否かに依存して、様々な可能な物理的組み合わせで実現され得る。信号接続は、任意の周知の技術によって有線又は無線で実現され得る。頭部追跡器が、ユーザ200の頭部の向きを追跡するために存在し得、オーディオ処理ユニットは、仮想音源222が空間において固定していると思われるように新しい向きに対してHRTFを再選択することを可能にする。ヘッドホンが音再生装置として使用される場合、安全上の理由から環境からの音を部分的に通すよう構成され得る。データ提示装置は、移動電話、ポータブルコンピュータ、ポータブルオーディオプレイヤ、家庭用コンピュータ、カーラジオ、テレビ受像機等の様々なタイプの装置において具現化され得る。
なお、上述した実施例は、本発明を制限するものではなく例示するものであり、当業者は、請求項の範囲から逸脱することなく代案を設計可能であろう。請求項において組み合わせられる本発明の素子の組み合わせ以外の当業者により考えられる本発明の範囲内の素子の他の組み合わせは、本発明に含まれる。任意の素子の組み合わせは、1つの専用素子において実現可能である。請求項の括弧内にある任意の参照符号は、請求項を制限するものではない。「有する」という用語は、請求項に記載する素子又は面以外の存在を排除するものではない。単数形で示される素子は、そのような素子が複数存在することを排除するものではない。
本発明は、ハードウェア、又は、コンピュータ上で実行されデータ担体上に予め格納されるか又は信号伝送システムを介して伝送されるソフトウェアにより実施可能である。
データ提示装置を概略的に示す図である。 データ変数分配器の一部の実施例を概略的に示す図である。 数値の測定値のマッピングの例を概略的に示す図である。 公称データ変数値のマッピングの例を概略的に示す図である。 複数の深度を有する仮想軌跡を概略的に示す図である。 2つの仮想軌跡の同時提示の例を示す図である。 2つの仮想軌跡の同時提示の例を示す図である。 データ担体を概略的に示す図である。 頭部伝達関数HRTFを概略的に示す図である。

Claims (11)

  1. 第1の値及び第2の値を有することが可能なポジションレスデータ変数に依存する特徴を有するオーディオ信号を供給するよう構成されるオーディオ処理ユニットを有する、該オーディオ信号によってデータを提示するデータ提示装置であって、
    前記データ提示装置は、前記データ変数の前記第1の値を、3次元空間における第1の位置に、また、前記データ変数の前記第2の値を、3次元空間における第2の位置にマッピングするよう構成されるマッピングユニットを有し、
    前記オーディオ処理ユニットは、前記オーディオ信号を聴くユーザに、前記オーディオ信号が、前記第1の値を有する前記データ変数に対しては前記第1の位置から、前記第2の値を有する前記データ変数に対しては前記第2の位置から発生しているように思えることをもたらすよう前記特徴を変更するよう構成されることを特徴とする装置。
  2. 前記オーディオ処理ユニットは、前記第1の位置及び前記第2の位置のそれぞれから発生しているように思える前記出力オーディオ信号を得るよう入力オーディオ信号に頭部伝達関数を適用するフィルタを有する請求項1記載のデータ提示装置。
  3. 測定装置からの測定値から導出可能な前記データ変数を、前記オーディオ処理ユニットに供給可能なデータ変数分配器を有する請求項1記載のデータ提示装置。
  4. 前記マッピングユニットは、前記データ変数の公称値の集まりを、3次元空間の所定領域にマッピングするよう構成される請求項1記載のデータ提示装置。
  5. 前記マッピングユニットは、前記データ変数の数値の集まりを、3次元空間における曲線の軌跡上の位置にマッピングするよう構成される請求項1記載のデータ提示装置。
  6. 前記マッピングユニットに対して好適なマッピングの指定を可能にするよう構成される指定手段を有する請求項1記載のデータ提示装置。
  7. 第1のタイプの前記オーディオ信号による第1のデータ変数値のセットの提示、及び、第2のタイプの前記オーディオ信号による第2のデータ変数値のセットの提示を可能にするよう構成される選択手段を有する請求項1記載のデータ提示装置。
  8. 入力オーディオ信号を供給するよう構成されるオーディオ源と、
    第1の値及び第2の値を有することの可能なデータ変数の供給源と、
    音生成装置と、
    前記データ変数に依存する特徴を有する前記オーディオ信号を前記音生成装置に供給するよう構成されるオーディオ処理ユニットを有する、該オーディオ信号によりデータを提示するデータ提示装置と、
    を有する、該オーディオ信号により該データを提示するシステムであって、
    前記データ提示装置は更に、前記データ変数の前記第1の値を、3次元空間における第1の位置に、また、前記データ変数の前記第2の値を、3次元空間における第2の位置にマッピングするよう構成されるマッピングユニットを有し、
    前記オーディオ処理ユニットは、前記オーディオ信号を聴くユーザに、前記オーディオ信号が、前記第1の値を有する前記データ変数に対しては前記第1の位置から、前記第2の値を有する前記データ変数に対しては前記第2の位置から発生しているように思えることをもたらすよう前記特徴を変更するよう構成されることを特徴とするシステム。
  9. 第1の値及び第2の値を有することが可能なデータ変数に依存する特徴を有するオーディオ信号を供給するオーディオ処理段階を有する、該オーディオ信号によりデータを提示する方法であって、
    前記データ変数の前記第1の値を、3次元空間における第1の位置に、また、前記データ変数の前記第2の値を、3次元空間における第2の位置にマッピングするマッピング段階が行われ、
    前記オーディオ処理段階は、前記オーディオ信号を聴くユーザに、前記オーディオ信号が、前記第1の値を有する前記データ変数に対しては前記第1の位置から、前記第2の値を有する前記データ変数に対しては前記第2の位置から発生しているように思えることをもたらすよう前記特徴を変更することを特徴とする方法。
  10. 請求項9に記載の方法をプロセッサが実行することを可能にする該プロセッサによる実行のためのコンピュータプログラム。
  11. 請求項10記載のコンピュータプログラムを格納するデータ担体。
JP2004552997A 2002-11-20 2003-11-13 オーディオに基づいたデータ提示装置及び方法 Ceased JP2006506884A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02080357 2002-11-20
EP02080570 2002-12-30
PCT/IB2003/005131 WO2004047489A1 (en) 2002-11-20 2003-11-13 Audio based data representation apparatus and method

Publications (1)

Publication Number Publication Date
JP2006506884A true JP2006506884A (ja) 2006-02-23

Family

ID=32327855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004552997A Ceased JP2006506884A (ja) 2002-11-20 2003-11-13 オーディオに基づいたデータ提示装置及び方法

Country Status (9)

Country Link
US (1) US20060072764A1 (ja)
EP (1) EP1566076B1 (ja)
JP (1) JP2006506884A (ja)
KR (1) KR20050085017A (ja)
CN (1) CN1714598B (ja)
AT (1) ATE503354T1 (ja)
AU (1) AU2003278517A1 (ja)
DE (1) DE60336499D1 (ja)
WO (1) WO2004047489A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1675432A1 (de) * 2004-12-27 2006-06-28 Siemens Aktiengesellschaft Mobiles Kommunikationsendgerät zum Erzeugen einer ortsfesten virtuellen Schallquelle
WO2006126844A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding an audio signal
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
TWI329462B (en) * 2006-01-19 2010-08-21 Lg Electronics Inc Method and apparatus for processing a media signal
JP5054035B2 (ja) * 2006-02-07 2012-10-24 エルジー エレクトロニクス インコーポレイティド 符号化/復号化装置及び方法
US8401210B2 (en) * 2006-12-05 2013-03-19 Apple Inc. System and method for dynamic control of audio playback based on the position of a listener
US9105187B2 (en) * 2009-05-14 2015-08-11 Woox Innovations Belgium N.V. Method and apparatus for providing information about the source of a sound via an audio device
CA2799738A1 (en) * 2010-05-17 2011-11-24 Jon Parsons System and method for multi-dimensional secretion of digital data
CH703501A2 (de) * 2010-08-03 2012-02-15 Stormingswiss Gmbh Vorrichtung und Verfahren zur Auswertung und Optimierung von Signalen auf der Basis algebraischer Invarianten.
US9522330B2 (en) 2010-10-13 2016-12-20 Microsoft Technology Licensing, Llc Three-dimensional audio sweet spot feedback
US20130208897A1 (en) * 2010-10-13 2013-08-15 Microsoft Corporation Skeletal modeling for world space object sounds
US9167368B2 (en) 2011-12-23 2015-10-20 Blackberry Limited Event notification on a mobile device using binaural sounds
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
CN104010265A (zh) * 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
EP2830335A3 (en) 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
US9473871B1 (en) * 2014-01-09 2016-10-18 Marvell International Ltd. Systems and methods for audio management
US11595775B2 (en) * 2021-04-06 2023-02-28 Meta Platforms Technologies, Llc Discrete binaural spatialization of sound sources on two audio channels

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE861305C (de) * 1948-10-02 1954-05-13 Atlas Werke Ag Akustisches, nach dem Echolotverfahren arbeitendes Blindenleitgeraet
US5729612A (en) * 1994-08-05 1998-03-17 Aureal Semiconductor Inc. Method and apparatus for measuring head-related transfer functions
FR2744871B1 (fr) * 1996-02-13 1998-03-06 Sextant Avionique Systeme de spatialisation sonore, et procede de personnalisation pour sa mise en oeuvre
TW411723B (en) * 1996-11-15 2000-11-11 Koninkl Philips Electronics Nv A mono-stereo conversion device, an audio reproduction system using such a device and a mono-stereo conversion method
US6173061B1 (en) * 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
GB9726338D0 (en) * 1997-12-13 1998-02-11 Central Research Lab Ltd A method of processing an audio signal
US6230047B1 (en) * 1998-10-15 2001-05-08 Mchugh David Musical listening apparatus with pulse-triggered rhythm
CN2413437Y (zh) * 1999-08-09 2001-01-03 陶成果 全功能耳包接收立体声发收录放装置
JP2003529825A (ja) * 2000-02-14 2003-10-07 ジオフェニックス, インコーポレイテッド グラフィカルプログラミングのための方法およびシステム
US7138575B2 (en) * 2002-07-29 2006-11-21 Accentus Llc System and method for musical sonification of data

Also Published As

Publication number Publication date
WO2004047489A1 (en) 2004-06-03
DE60336499D1 (de) 2011-05-05
KR20050085017A (ko) 2005-08-29
CN1714598B (zh) 2010-06-09
EP1566076B1 (en) 2011-03-23
CN1714598A (zh) 2005-12-28
ATE503354T1 (de) 2011-04-15
EP1566076A1 (en) 2005-08-24
AU2003278517A1 (en) 2004-06-15
US20060072764A1 (en) 2006-04-06

Similar Documents

Publication Publication Date Title
US20210321214A1 (en) Music Collection Navigation Device and Method
JP2006506884A (ja) オーディオに基づいたデータ提示装置及び方法
JP5285626B2 (ja) 音声空間化及び環境シミュレーション
KR101101385B1 (ko) 오디오 재생 장치, 피드백 시스템 및 방법
WO2020224322A1 (zh) 音乐文件的处理方法、装置、终端及存储介质
US11122384B2 (en) Devices and methods for binaural spatial processing and projection of audio signals
US9769585B1 (en) Positioning surround sound for virtual acoustic presence
CN110915240B (zh) 向用户提供交互式音乐创作的方法
JP3624805B2 (ja) 音像定位装置
US7327848B2 (en) Visualization of spatialized audio
Boren et al. I hear NY4D: Hybrid acoustic and augmented auditory display for urban soundscapes
Jenny et al. Can I trust my ears in VR? Literature review of head-related transfer functions and valuation methods with descriptive attributes in virtual reality
Rumsey Binaural audio and virtual acoustics
JP4426159B2 (ja) ミキシング装置
JP2005051801A (ja) 音像定位装置
WO2024014390A1 (ja) 音響信号処理方法、情報生成方法、コンピュータプログラム、及び、音響信号処理装置
EP4440159A2 (en) Method and system for rendering 3d audio
US20240284137A1 (en) Location Based Audio Rendering
Gröhn Application of spatial sound reproduction in virtual environments: experiments in localization, navigation, and orientation
Drossos et al. Gestural user interface for audio multitrack real-time stereo mixing
TW202424727A (zh) 音響處理裝置及音響處理方法
JP2024015980A (ja) 頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法、及び頭部伝達関数調整装置
Gross AES 142ND CONVENTION PROGRAM
JP2022128177A (ja) 音声生成装置、音声再生装置、音声再生方法、及び音声信号処理プログラム
GB2607556A (en) Method and system for providing a spatial component to musical data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080821

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081209

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090121

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090410

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20110222