JP2015156215A - 空間的聴覚合図を用いたデータ探索 - Google Patents

空間的聴覚合図を用いたデータ探索 Download PDF

Info

Publication number
JP2015156215A
JP2015156215A JP2015023464A JP2015023464A JP2015156215A JP 2015156215 A JP2015156215 A JP 2015156215A JP 2015023464 A JP2015023464 A JP 2015023464A JP 2015023464 A JP2015023464 A JP 2015023464A JP 2015156215 A JP2015156215 A JP 2015156215A
Authority
JP
Japan
Prior art keywords
spatial
list
database
spatial auditory
auditory cue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015023464A
Other languages
English (en)
Other versions
JP5902330B2 (ja
Inventor
ペイ・シャン
Pei Xiang
マニシュ・マハジャン
Mahajan Manish
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015156215A publication Critical patent/JP2015156215A/ja
Application granted granted Critical
Publication of JP5902330B2 publication Critical patent/JP5902330B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/64Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】限られたディスプレイ空間から効率よく所望の情報を検索する。【解決手段】空間的聴覚合図は、ユーザが記憶情報を求めてデータベースを探索する間に生成される。探索が進むにつれユーザの周囲の空間内の特定の物理ロケーションで認識されるサウンドを生成することで、空間的聴覚合図は、ユーザが記憶情報をすばやく探し当てることを手助けする。各ロケーションは、異なる情報と関連付られ、ユーザは特定の空間的聴覚合図で生成されたサウンドのロケーションを覚えることによって、より容易に記憶情報を呼び出すことができる。聴覚合図を生成する方法は、デバイスに含まれるユーザインターフェースで探索アクションを受信することと、探索アクションを空間内の特定のロケーションに対応する空間的聴覚合図に変換することと、空間的聴覚合図をオーディオ出力信号としてレンダリングすることとを含む。【選択図】図6

Description

米国特許法119条に基づく優先権の主張
本出願は、本出願の譲受人に譲渡される、2009年11月3日に出願された「DATA SEARCHING USING SPATIAL AUDITORY CUES」と題する米国仮出願61/257684号の優先権を主張する。
本開示は一般に電子情報探索に関し、さらに詳細には、聴覚インジケータに頼る探索インターフェースに関する。
通常、電子データベース探索は、視覚的に行われる。いくつかのデータベース・インターフェースにおいて、データベースのコンテンツはディスプレイ上に提示され、ユーザは、このデータベースに含まれる情報のインデックスを視覚的に探索または閲覧することができる。
データベースのインデックスは、階層的に編成されうる。階層的なデータベースの編成により、データベースのコンテンツを、フォルダ、ジャンル等の関連情報のグループに分類することができる。これにより、より効率的な探索が可能となる。しかしながら、分類化を用いたとしても、各カテゴリのアイテムの数は依然として極めて多数でありうるため、閲覧には不便である可能性がある。
デバイスがポータブルで小さい場合、すなわち、ディスプレイ空間が限られている場合、ユーザは、電子データベースから所望の情報またはコンテンツを検索するために、インデックス、メニュー、および/またはフォルダといった多くのレイヤをナビゲートする必要がある。これは、いくつかの状況において、時間がかかり、扱いにくくありうる。
探索能力を改善するために、本明細書に開示されるテクニックとデータベース・インターフェースは空間的聴覚合図(spatial auditory cue)を用いる。空間的聴覚合図は、ユーザが、記憶情報を求めてデータベースを探索する間に生成される。探索が進むにつれユーザの周囲の空間内の特定の物理ロケーションで認識されるサウンドを生成することで、空間的聴覚合図は、ユーザが記憶情報をすばやく探し当てることを手助けする。各ロケーションは、異なる情報と関連付けられうる。このように、本明細書に開示される方法、製品(article)、および/または装置を使用して、ユーザは、特定の空間的聴覚合図で生成されたサウンドのロケーションを覚えることによって、より容易に記憶情報を呼び出すことができる。加えて、より大きいデータベースでは、データベースのインデックス、メニュー、および/または、フォルダのレイヤの必要性が減らせられるか、あるいは、省かれうる。
データベースのコンテンツサイズが大きくなるにつれ、特に、デバイスのディスプレイが比較的小さい場合、多くのアイテムを有するインデックスを閲覧することが問題となる。制限された数のアイテムしか1つのスクリーン上に表示されない可能性がある。空間的聴覚テクノロジを使用すると、データベースアイテムの閲覧はより容易且つより直感的となり、さらに、視覚的な探索という従来のプロセスを向上させうる。
ある態様に従って、聴覚合図を生成する方法は、デバイスに含まれるユーザインターフェースで探索アクションを受信することと、探索アクションを、空間内のロケーションに対応する空間的聴覚合図に変換することと、空間的聴覚合図をオーディオ出力信号としてレンダリングすることとを含む。
別の態様に従って、データベースとインターフェースする方法は、データベースに記憶されたアイテムのスクロール可能なリストの少なくとも一部をデバイス上に視覚的に表示することと、そのアイテムのうちの少なくともいくつかを、既定の空間内のロケーションに対応する空間的聴覚合図にマッピングすることとを含む。空間的聴覚合図の各々は、空間内のそれぞれ別個のロケーションに対応する。このリストはスクロールされうる。リストをスクロールする結果として、空間的聴覚合図のうちの少なくとも1つは、オーディオ出力信号としてレンダリングされる。
別の態様に従って、装置は、探索アクションを受信するように構成されたユーザインターフェースと、この探索アクションを、空間内のロケーションに対応する空間的聴覚合図に変換するように構成された空間的合図ジェネレータと、空間的聴覚合図をオーディオ出力としてレンダリングするように構成されたオーディオ・レンダリング・エンジンとを含む。
さらなる態様に従って、装置は、探索アクションを受信するための手段と、この探索アクションを、空間内のロケーション対応する空間的聴覚合図に変換するための手段と、空間的聴覚合図をオーディオ出力信号としてレンダリングするための手段とを含む。
さらなる態様に従って、1または複数のプロセッサによって実行可能な命令のセットを組み込むコンピュータ可読媒体は、デバイスに含まれるユーザインターフェースで探索アクションを受信するためのコードと、この探索アクションを、空間内のロケーションに対応する空間的聴覚合図に変換するためのコードと、空間的聴覚合図をオーディオ出力としてレンダリングするためのコードとを含む。
別の態様、特徴、および、利点は、下の図面および詳細な説明の検証により、当業者には明白であるか、あるいは、明白となるであろう。そのような追加の特徴、態様、および利点の全てが、本明細書内に含まれうること、および、添付の請求項によって保護されうることが企図されうる。
図面が単に例示を目的としていることは理解されるべきである。さらに、図面のコンポーネントは、必ずしも原寸大に描かれているとは限らず、本明細書に記述さえる原理を示すことに重点が置かれている。複数の図面において、同様の参照番号は、異なる視点全体を通して対応部分を示す。
図1は、空間的聴覚合図を用いたデータベース探索のための例示的なシステムを示す図である。 図2は、ユーザを囲む空間に位置づけられた例示的な空間的聴覚合図の例示的な構成を示す上からの視点である。 図3は、ユーザを囲む空間に位置づけられた例示的な空間的聴覚合図の例示的な構成を示す上からの視点である。 図4は、ユーザを囲む空間に位置づけられた例示的な空間的聴覚合図の例示的な構成を示す上からの視点である。 図5は、空間的聴覚合図の例示的な構成の例をタグポイントとして示す図である。 図6は、ユーザの周囲の異なる空間的領域に位置づけられた空間的聴覚合図の例示的な構成の例を示す図である。 図7は、360度未満にわたる空間的領域の例示的な構成の例を示す図である。 図8は、ヘッドホンを用いて空間的聴覚合図を生成するための第1の例示的なシステムの特定のコンポーネントを示すブロック図である。 図9は、サラウンド・スピーカ・システムを用いて空間的聴覚合図を生成するための第2の例示的なシステムの特定のコンポーネントを示すブロック図である。 図10は、無線スピーカを用いて空間的聴覚合図を生成するための第3の例示的なシステムの特定のコンポーネントを示すブロック図である。 図11は、空間的聴覚合図を生成するための特定の例示的なソフトウェアコンポーネントおよびハードウェアコンポーネントを示すブロック図である。 図12は、空間的聴覚合図を生成するための例示的な方法を示すフローチャートである。
図面を参照し、図面を組み込む下の詳細な記述は、1または複数の特定の実施形態を記述および例示する。限定するためではなく、例示および教示するためだけに提供されるこれらの実施形態は、当業者が特許請求の範囲に示された内容を実施できるように十分詳細に表示および記述される。このように、簡潔さのため、本記述は、当業者に既知の特定の情報を省略しうる。
「例示的(exemplary)」という用語は、「実例、事例、例証として提供されること」を意味するために本開示の至る所で使用される。「例示的」として本明細書に記述されていることは、必ずしも他のアプローチまたは特徴より有利または優先されるとして解釈されるわけではない。
コンテンツにより明確に限定されていない限り、「結合された(coupled)」という用語は、直接的または間接的な、電気的または物理的な接続を示すために使用される。接続が間接的な場合、「結合され」ている構造の間に別のブロックまたはコンポーネントが存在することが、当業者によって十分に理解される。「構成(configuration)」という用語は、特定のコンテンツにより示されるように、方法、装置/デバイス、および/または、システムに関して使用されうる。本明細書および特許請求の範囲において「備える(comprising)」という用語が使用される場合、それは、別のエレメントまたは動作(operations)を除外しない。「〜に基づいて(based on)」(「AはBに基づく」という場合のように)という用語は、(i)「少なくとも〜に基づいて(例えば、「Aは少なくともBに基づく」)」という場合、および、特定のコンテンツで適切な場合は、(ii)「〜に等しい(equal to)」(例えば、「AはBに等しい」)を含む、この通常の意味のいずれかを示すために使用される。「AはBに基づく」が、「少なくとも〜に基づく」を含む場合(i)において、これは、「AはBに結合される」という構成を含みうる。「少なくとも1つの(at least one)」という用語は、「1または複数の(one or more)」を含む、この通常の意味のいずれかを示すために使用される。
「装置(apparatus)」および「device(デバイス)」とう用語は、特定のコンテンツによって別途示されていない限り、総称的、且つ、交換可能に使用される。別途示されていない限り、特定の特徴を有する装置の動作の任意の開示は、さらに、類似した特徴を有する方法を開示することが明白に企図され(逆もまた同様である)、特定の構成に従う装置の動作の任意の開示は、さらに、類似した構成に従う方法を開示することが明白に企図される(逆もまた同様である)。「方法(method)」、「プロセス(process)」、「手順(procedure)」、「テクニック(technique)」という用語は、特定のコンテンツによって別途示されていない限り、総称的、且つ、交換可能に使用される。「エレメント(element)」および「module(モジュール)」という用語は、典型的に、より大きい構成の一部を示すために使用される。
図1は、空間的聴覚合図を用いて探索を行うための例示的なシステム10を示す図である。システム10は、ヘッドセット14のようなオーディオ出力デバイスに結合されたポータブルデバイス12を含む。
ヘッドセット14は、ユーザ16の周囲の空間20内の異なる物理ロケーションでユーザ16によって認識されうるサウンドを生成するように構成された複数のスピーカを含む。例示的なヘッドセット14は、ユーザ16がヘッドセットを快適に装着できるように、2つのイヤホンと、ヘッドバンドのような少なくとも1つのサポートとを含む。示される例において、ヘッドセット14は、デバイス12とヘッドセット14との間でオーディオ信号を搬送するコンダクター(conductor)を有する有線のヘッドセットである。あるいは、ヘッドセット14は、デバイス12とヘッドセット14との間のオーディオ信号が、1または複数の無線ラジオ周波数(RF)または赤外線(IR)チャネルを通して搬送されるブルートゥース(登録商標)ヘッドセットのような無線のヘッドセットでありうる。ブルートゥース無線ヘッドセットとして実施された場合、ヘッドセット14およびデバイス12は、www.bluetooth.comで入手できるブルートゥース仕様によって定義されるようなコンポーネントおよび機能性を含むことができる。このブルートゥース仕様は、無線ヘッドセット機能性を提供するための特定のガイドラインを提供する。
ポータブルデバイス12は、オーディオ出力を生成し、本明細書に開示される機能性を行うことができる任意のデバイスでありうる。例えば、デバイス12は、例えば、セルラ電話、携帯情報端末(PDA)などの無線通信デバイスのようなハンドヘルドデバイスでありうる。ポータブルデバイス12は、さらに、MP3プレーヤ、ゲーミングデバイス、ラップトップコンピュータ、パーソナルステレオ等でありうる。図1ではポータブルデバイスとして示されているが、デバイス12は、代わりに、非ポータブルデバイスとして実施されうる。例えば、本明細書に記述される空間的聴覚合図テクニックは、さらに、ホームシアターシステムにおけるマルチチャネルスピーカと使用されうる。
ポータブルデバイス12は、この例において、1または複数のボタン、ディスプレイ18、および、ロッカー押しボタン(rocker push button)28を有するキーパッド17を備えるユーザインターフェース21を含む。ディスプレイ18は、液晶ディスプレイ(LCD)スクリーンのような、情報を視覚的に表示するための任意の適切なデバイスでありうる。図1に示されるように、ディスプレイ18は、とりわけ、データベースに記憶されたデータアイテムのスクロール可能なリスト19を提示することができる。ユーザインターフェース21は、データベースに記憶されたアイテムのリストを視覚的にスクロールするためにグラフィカルユーザインターフェースを提供しうる。この例において、リストは、アドレス帳の名前のコンタクトリストである。データベースは、名前に加えて、住所、電話番号など、この名前に関係する情報を記憶することができる。ユーザインターフェース21は、使用されうる可能なユーザインターフェースの一例でしかない。例えば、押しボタン28およびキーパッド17は、互いに統合されるか、実際のボタンというよりはむしろタッチスクリーンを用いて実施されうる。
図1のアドレス帳の例において、ユーザインターフェース21が実施されうる。この場合、押しボタンスイッチ28は、1つがリスト10を順方向にスクロールためのものであり、もう1つの位置がリスト19を逆方向にスクロールするためのものである2つの内蔵スイッチ(図示されない)を有しする瞬間接触のロッカー押しボタンスイッチである。ユーザ16がスイッチ28を瞬間的に揺すって、内蔵スイッチのうちの1つを押し下げた場合に、ユーザインターフェース21が、単一のステップのアイテム毎の正確なリスト19の閲覧、を提供し、内蔵スイッチが押される毎に、対応する空間的聴覚合図が提示されるようにユーザインターフェース21は構成されうる。あるいは、ユーザ16が、内蔵スイッチのいずれかを押圧および保持する場合、高速スクロールが開始され、それにより、視覚的に表示されたアイテムを非常に速くスクロールし、空間的聴覚合図によって引き起こされたサウンドに、空間20の周りを比較的速く移動させる。ユーザ16は、ユーザのヒアリングが空間的聴覚合図サウンドのロケーションに基づいて、探索ターゲットが近くにあることを彼/彼女に知らせるまで、スイッチを保持することができる。別のタイプのスイッチが押しボタン28に使用されうる。
ユーザ16は、押しボタン28を使用して、表示されたリスト19を上下にスクロールすることにより、リスト19を閲覧しうる。ユーザが表示されたリスト19をスクロールすると、ポータブルデバイス12は、空間的聴覚合図を生成する。空間的聴覚合図は、探索が進むにつれ、ユーザ16の周囲の空間20の異なる物理ロケーションで認識されるサウンドをヘッドセット14が生成することで、ユーザが記憶情報をすばやく探し当てることを手助けする。空間的聴覚合図は、リスナ(listener)に対して相対的な特定の物理ロケーションでサウンドを生成するオーディオ出力へとレンダリングされうる信号および/または情報でありうる。各ロケーションは、データベース内の特定の情報アイテムまたは記録と関連付けられうる。一般的に、本明細書で使用される場合、「空間的聴覚合図(spatial auditory cue)」という用語は、特定のロケーションから発せられるサウンドをリスナが認識するようにシステムによって生成された可聴サウンドを指すか、あるいは、代替として、そのようなサウンドを生成するために必要な電子データ/信号を指しうる。
システム10は、データベース内のアイテムの相対ロケーションを、ユーザ16の周囲の空間20内の対応する空間的ロケーションに2次元または3次元のいずれかでマッピングする。空間20は、オーディオ空間、聴覚空間、オーディオ探索空間、または、3D音波空間と呼ばれる空間的領域を含みうる。空間20は、別の名称またはラベルである可能性があり、空間20がユーザ16の周囲の空間的ロケーションを包含することは理解されるべきである。ディスプレイ18上で視覚的にデータベースコンテンツを線形に閲覧することは、空間20において、ユーザ16によって認識されるマッピング済みオーディオイベントと同時に起こりうる。かくして、ユーザは、ディスプレイ18上にリストされたアイテムを視覚的に見るだけではなく、データベースにインデックスされたオーディオ/ビデオコンテンツのサムネイル・ショート・オーディオ・クリップのようないくつかのサウンドを聞くことができ、さらに、空間20内の特定の物理ロケーションから発せられるサウンドを聞く。ある本が本棚のどこに位置づけられているかを覚えることと同様に、追加の空間的聴覚合図を用いた場合、データベースアイテムは、より容易に探索されうる。
示される例において、システム10は、コンタクト名を、ユーザ16の周囲の空間20の空間的ロケーションにマッピングする。ユーザは、さらに、リスナでありうる。粗いマッピングの例が、図1に示される。リスナの周囲の聴覚空間20において、各コンタクトがリスナの頭16の周囲のロケーションにマッピングされる。例えば、苗字が「A」で始まるコンタクトは、ユーザ16の右側後方で音声認識される「開始」ロケーション22にマッピングされうる。苗字が、例えば、「M」という文字など、アルファベットの中間の文字で始まるコンタクトは、ユーザ16の前方で音声認識される「中間」ロケーション26にマッピングされ、苗字が「Z」という文字で始まるコンタクトは、ユーザ16の左側後方で音声認識される「終了」ロケーション24にマッピングされうる。
視覚的に閲覧して、リスト19の特定のコンタクト名を見つける度に、現在選択されている名前が、強調されたテキストライン23でディスプレイ18上に視覚的に表示されうる。ユーザ16の観点から、例えば、クリックサウンド、オーディオクリップ等のショートサウンドイベントが生成され、空間20においてユーザ16によって認識される、このアイテムの指定空間的ロケーションでレンダリングされうる。アイテムのリスト19を素早くスクロールする場合、サウンドは、空間20を移動する、比較的連続的なストリームになりうる。高速スクロールの間、いくつかのユーザにとっては、スクロール中のテキストをディスプレイ18上で視覚的に追跡することは比較的難しいが、一般的に、空間20において移動するサウンドを聴覚的に追跡することはそれ程難しくない。データベースアイテムと関連付けられたロケーションでノイズを聞くことで、ユーザ16は、彼/彼女が、探索中のターゲットアイテムのおおよそ近辺にいるか否かを知ることができる。このように、ユーザ16が、が空間20内のアイテムの聴覚合図ロケーションに近づいている空間的聴覚出力を聞くと、彼/彼女は、スローダウンし、ディスプレイ18上で視覚的にアイテムごとに閲覧してターゲットを視覚的に見つけうる。この機能がしばしば使用されると、ユーザは、通常、特定のコンタクト名のおおよその空間的ロケーションを覚えることができるため、空間的聴覚合図と視覚的表示の組み合わせを使用して、正確な位置に、より迅速に到達することができる。
3D音波空間20に提示される空間的聴覚合図出力は、いくつかが当技術分野で知られている異なるテクニックを使用してレンダリングされうる。例えば、ヘッドホンを含むヘッドセット14について、ヘッド関連転送機能(HRTF)スタイルのフィルタが使用され、モノサウンドのソースを視覚的ロケーションにレンダリングすることができる。スピーカホンのユーザについて、仮想サラウンドサウンドは、さらに、例えば、リスナ16の前にある2つのスピーカなどのステレオスピーカを通して達成されうる。マルチチャネルスピーカのリスナについて、サウンドは、パン(pan)および混合され、それによって、それらは、物理的に、リスナ16の周囲の空間において異なる方向から発生される。
上に示されたアドレス帳の使用例は、聴覚空間へのデータインデックスの直接的なマッピングの一例にすぎない。リストされたアイテムを聴覚空間にマッピングする他の、あるいは、向上されたマッピングが実施されうる。例えば、リスト19のコンタクト名は、例えば、リスナ16が彼/彼女の左側後方で認識するサウンドを引き起こす空間的聴覚合図を生成するクラスメートカテゴリ、および、例えば、リスナ16が彼/彼女の中央前方で認識するサウンドを引き起こす空間的聴覚合図を生成する親族カテゴリといった、カテゴリ毎にグループ化されうる。
システム10は、ユーザ16によって行われている探索の速度に基づいて空間的聴覚合図を「スケーリング」するように構成されうる。スケーリングにより、空間的聴覚合図を表すオーディオ信号は、データベース内のリストされたアイテム毎に異なる量および/またはタイプのオーディオ情報を含むことができ、このオーディオ情報は、聴覚合図の対応空間的ロケーションで提示される。細かいスケールで、または、「ズームインされた(zoomed in)」スケールで、ユーザ16が、リスト19をゆっくりと閲覧する場合、空間的聴覚合図は、リスト19内の各アイテムのオーディオ抜粋(audio excerpts, すなわち、オーディオクリップ)を提示しうる。巨視的なスケールで、または「ズームアウトされた(zoom out)」スケールで、ユーザ16がリスト19を素早く閲覧する場合、空間的聴覚合図の各々は、1つの合成クリックといった、より抽象的なサウンドイベントで提示されうる。聴覚空間20におけるクリックサウンドのストリームのリスナ認識ロケーションの変化は、データベースを探索する間ユーザ16がどこにいるかを視覚的に示すデータベースインデックスを通してユーザ16をナビゲートする。追加の利益は、適切に定義された場合、各データベースアイテムに聴覚空間の特定のロケーションが割り当てられ、それによって、それは、それがどこにあるかについての物理合図を提供することである。そのおおよその空間的ロケーションを覚えることによって、ユーザ16は、次回、より容易に、それを見つけうる。この利益は、例えば、テキスト探索のためのテキスト文字列を入力する時間が比較的長くかかるハンドヘルドデバイスなど、ユーザ入力方法が限られている場合により顕著である。
システム10の利点は、それが、インデックスされたデータベースアイテムの探索に視覚的および聴覚的感覚の両方を使用する利点を組み合わせることである。視覚は、割り当て(detail)および決定(resolution)に非常に適しているが、大きいデータセットをスキャンする場合の速度が比較的遅く、さらに、個々に、より大きなフォーカスを要求する。オーディオ感覚は、一般的に、割り当ておよび決定にそれ程適していないが、比較的大量の情報を比較的短時間で粗く処理するために使用されうる。加えて、大部分の人は、視覚的イベントと共に発生するオーディオイベントに鋭く気づく。
図1によって示される例において、データベースは、コンタクト名のアドレス帳を記憶する。本明細書に開示されるテクニックが、任意の特定のタイプのデータベースまたは記憶コンテンツに限定されないことは理解されるべきである。開示される探索テクニック、方法、および、デバイスは、媒体ライブラリといった、別のタイプおよび配列の記憶情報、別の構造の関係データベースなどに対して使用されうる。
図2〜4は、リスナ16を囲む聴覚空間20のある例示的な構成を示す上からの視点である。図2〜4に示される例は、可能な聴覚空間構成のサブセットのみを表わす。
図2は、空間的聴覚合図を提示し、それによって、アイテムのリスト19が特定の方向にスクロールされるにつれ、リスナ16が、オーディオ出力を彼/彼女の回りの空間20を反時計回りに動くように認識するようにシステム10が構成される空間20を描写する。これは、オーディオ探索空間の線状構成である。例えば、リスナ16は、それぞれの歌のサムネイルオーディオ抜粋を聞き、次の曲の抜粋にジャンプすることによって、例えば、100曲以上の歌など、複数の歌を含むポータブルデバイス12にアクセス可能なフォルダを閲覧しうる。システム10は、フォルダ内の最初の歌のオーディオ抜粋がヘッドセット14によって出力され、それによって、最初の歌のロケーション40、リスナ16に対して左側後方付近で、リスナ16によって認識されるように構成されうる。閲覧中、リスナ16がリスト内の次の歌にスキップすると、リスナは、時計回り(または、反時計回り)の円形経路で徐々に変化するように、再生される歌の抜粋のそれぞれのロケーションを認識する。リスナ16が歌のリストを下方向に閲覧すると、抜粋の認識されるロケーションは、リストの最後の歌に到達するまで、歌のタイトル毎に移動する。この場合、認識されるロケーションは、図2に示されるリスナの位置に対して右側後方付近に位置付けされた最後の歌のロケーション42である。この方法では、歌の全フォルダは、円形状の本棚に置かれているアルバムに類似した方法で提示される。この場合、サウンドの認識されるロケーションは、リスナ16が、その歌が何であるか、および、それがフォルダリストのどこに位置付けされるかを思い出す手助けをする。図2の例示的な構成によって生成される空間的聴覚合図は、さらに、リスナ16によって実行される探索の速度に依存してスケーリングされうる。再生されるそれぞれの歌の認識されるロケーションは、時計回りまたは反時計回りのいずれかでありうることに注意されたい。
例によって、図2の構成を使用する間、リスナ16は、フォルダの終了付近を閲覧する、すなわち、空間的聴覚合図サウンドが、彼/彼女に対して空間の右側または右側後方から発せられる。歌のリストのこの部分を閲覧する間、リスナ16は、彼/彼女が聞くことを望みうる歌が彼/彼女の左側に位置することを覚えることができる。このイベントにおいて、リスナ16は、逆方向に素早く閲覧するために、ボタン28を押圧および保持しうる。ここで、それぞれの歌についての空間的聴覚合図がショートクリックとなるようにスケーリングされ、さらに、リスナ16がライブラリを素早く閲覧すると、リスナ16は、オーディオクリックのストリームが、円状の方法で彼/彼女の右側から彼/彼女の左側へと空間20を移動することを認識する。リスナ16が、おおよそ左側のロケーションで望まれる歌のオーディオクリックを認識すると、リスナ16は、ボタン28を放すことによって閲覧をスローダウンし、ボタン28を単一クリックして、よりゆっくりとリストをスクロールし、望みの歌が見つかるまで、オーディオクリックではなく、それぞれの歌のオーディオ抜粋を再度聞く。
あるいは、媒体コンテンツのようなデータベースアイテムは、アイテムによって示される情報のタイプまたはクラスなどの別の基準に従って、聴覚空間的ロケーションが割り当てられうる。図3および4は、聴覚空間20が、情報の異なるカテゴリに従って分割される例示的な聴覚空間構成を示す。例えば、図3に示されるように、音楽のライブラリは、ライブラリに含まれる歌のムードに従って、聴覚空間20に配列されうる。図3に示されるように、異なるムードの歌は、異なる対応空間的領域に置かれ、それによって、リスナ16が特定のムードの音楽を探索する場合、リスナは、望まれる特定のムードの音楽を求めて特定の聴覚空間を探索することができる。この例において、システム10は、一般的に図3に示されるリスナの位置の左側に認識される空間20の特定の領域54において、「悲しい歌」(これは、そのようにラベル付けされた電子フォルダに記憶されうる)についての空間的聴覚合図を生成するように構成される。システム10は、さらに、一般的に図3に示されるリスナの位置の前でリスナ16によって認識される空間20の異なる領域52において、「エキサイティングな歌(exciting songs)」(これは、そのようにラベル付けされた電子フォルダに記憶されうる)についての空間的聴覚合図を生成するように構成され、システム10は、さらに、一般的に図3に示されるリスナの位置の右側後方でリスナ16によって認識される空間20の第3の領域50において、「陽気な歌(upbeat song)」(これは、そのようにラベル付けされた電子フォルダに記憶されうる)についての空間的聴覚合図を生成するように構成されうる。
別の例示的な構成において、システム10は、データベースアイテムが、図4に示されるように、アイテムのジャンルに従って配列される空間的聴覚合図に対応できるように構成されうる。図4において、音楽ライブラリは、ライブラリに含まれる歌のタイプに従って、聴覚空間20で配列されうる。図4に示されるように、異なるジャンルの歌は、異なる対応空間的領域と関連付けられ、それによって、リスナは、リスナ16が特定のタイプの音楽を探索する場合に、望まれる特定のジャンルについて特定の聴覚空間内を探索することができる。図4の例において、システム10は、映画のサウンドドラック、ヘビーメタル、クラッシックなどについて、空間20の特定の領域において空間的聴覚合図を生成する。このように、図4の例において、リスナ16が、例えば、ディスプレイ18上で「エレクトロニカ」な歌を閲覧している場合、システム10は、リスナ16によって彼/彼女の前にあるとして認識される、例えば、歌の抜粋のような対応空間的聴覚合図を生成しうる。
図3〜4の例示的な構成によって生成される空間的聴覚合図は、さらに、リスナ16によって実行される探索の速度に依存してスケーリングされうる。
システム10は、さらに、データベース閲覧が、リスナ16を囲む3D空間の周りで発生可能なように構成されうる。この構成において、空間的聴覚合図は、リスナ16を囲む球状の空間全体を使用して、アイテムを表す。例えば、垂直な空間的領域は、カテゴリ内のサブカテゴリを閲覧するために使用されうる(図5および図6参照)。この構成において、カテゴリは、リスナ16の周りの対応する水平な空間的領域に位置付けられる。3D構成において、リスナ16は、例えば、「S」など、特定の文字で始まる特定の歌についてのほぼ水平な(左から右の)ロケーションを知りうる。この文字で始まる歌は、それ自体が、番号付けされ、文字「S」についての水平な空間的領域に対応する3D聴覚空間において垂直にサブカテゴリ化されうる(図5および図6にあるように)。
親カテゴリから子カテゴリ(サブカテゴリとも呼ばれる)に切り替える1つの方法は、タグポイントがプレイされると、水平な空間的領域から垂直な空間的領域に切り替えることである。同様に、カテゴリは、まず、垂直な空間的領域に位置づけられ、タグポイントに到達すると、リスナは、水平な空間的領域のサブカテゴリを聞きうる。水平または垂直な空間的領域は、空間においてプレーンでありうる。あるいは、水平および垂直な空間的領域の代わりに、軸外し(off-axis:水平軸または垂直軸である必要はない)空間的領域が使用されうることも認識されるべきである。例えば、第1の軸外し空間的領域はカテゴリを含み、タグポイントに到達すると、サブカテゴリのセットは、第1の軸外し空間的領域に垂直な第2の軸外し空間的領域に位置付けされる。タグポイントは、ユーザにより、探索基準を特定することによって事前にプログラムされるか、生成される。マルチモードのユーザインターフェースは、そのような基準を入力するために使用されうる。図5は、タグポイントとして空間的聴覚合図の例示的な構成の例を示す図である。タグポイントは、例えば、「お気に入り」とラベル付けされうる。探索基準はロバストでありうる。探索されているリスト内のアイテムが歌である場合、探索基準は、例えば、「長さが五(5)分以上の歌」または「1970年よりも古い歌」でありうる。探索基準の組み合わせも、タグポイントを生成するために使用されうる。ユーザはさらに、タグポイントの指示的な音質/音量を定義することに対する制御を有しうる。すなわち、タグポイントは、同じ空間的オリエンテーションの別のアイテムとは異なる周辺聴覚合図を有する。図5において、「お気に入り」は、高いピッチトーンを有するとして示される。
図6は、ユーザの周囲の異なる空間的領域に位置付けられる空間的聴覚合図の例示的な構成の例を示す図である。レイヤ1(ジャンル)の空間的領域は、水平な空間的領域でありうる。示されるように、レイヤ1のカテゴリは、「パンク」、「ワールド」、「ジャズ」、「エレクトニカ」、「クラッシック」などのジャンルでありうる。「クラッシック」というジャンルがタグポイントである場合、リスナ16は、空間的ロケーションにおいて、聴覚合図が、垂直な空間的領域からのものであると認識しうる。例えば、レイヤ2(クラッシック)は、垂直な空間的領域でありうる。「クラッシック」というカテゴリは、「ミニマリスト」、「バロック」、「20世紀」、「ロマンチシズム」などのサブカテゴリを有しうる。クラシックの「ロマンチシズム」というサブカテゴリ(レイヤ2のカテゴリ)がタグポイントである場合、リスナは、空間的ロケーションにおいて、聴覚合図が、別の水平な空間的領域(すなわち、レイヤ3(作曲者))からのものであると認識しうる。すなわち、レイヤ1およびレイヤ3は両方とも水平な空間的領域でありうるが、レイヤ3は、レイヤ1から空間的に垂直にオフセットされうる。レイヤ3の聴覚合図は、それらが、レイヤ1のものよりも高いまたは低い空間的プレーンに位置付けされているかのように認識されうる。あるいは、レイヤ1およびレイヤ3は、それらが、同じ空間的場所に位置付けされているかのように、すなわち、互いに空間的に垂直にオフセットされていないように認識されうる。同様に、レイヤ1およびレイヤ3が垂直な空間的領域である場合、それらは、互いに空間的に水平にオフセットされるか、同一の空間的ロケーションに位置付けられうる。
別の構成において、ユーザ16の周囲を三百六十(360)度未満にわたる領域で聴覚合図が聞かれうることに注意されたい。図7は、360度未満にわたる空間的領域の例示的な構成の例を示す図である。例えば、ユーザ16は、より狭い聴覚空間80を有することを好む。零(0)から三百六十(360)度までユーザ16を囲む聴覚合図を認識する代わりに、例として、ユーザ16は、零(0)度から百八十(180)度、あるいは、negative ten(−20)度から二百(200)度の聴覚合図だけを認識することを望みうる。度数の異なる空間的範囲を除いて、図7は、前に記述された全ての特徴および機能を含む。このように、レイヤ1、レイヤ2、または、レイヤ3は、同様に、360度未満の空間的範囲を有しうる。レイヤの間に同一の空間的範囲は要求されない。このように、レイヤ1およびレイヤ2は、360度の空間的領域を有し、レイヤ3は、より狭い範囲を有する。同様に、レイヤ1は、より狭い範囲を有し、レイヤ2またはレイヤ3のいずれかは、レイヤ1よりも広い空間的範囲を有する。
システム10の別のアプリケーションは、空間的ブックマークに適用するためのものである。リストのアイテムを探索する代わりに、ユーザ16の周囲の空間的領域において歌が再生されうる。例えば、歌は零(0)度で始まり、水平または垂直な領域において百八十(180)度で再生停止する。歌が一時停止されると、ユーザ16は、モバイルデバイスのディスプレイを見て歌の何パーセントが再生されたかを知る代わりに、歌の何パーセントが再生されたかを測定することができる。空間的ブックマークは、空間的領域において0から180度のどこかの空間的ロケーションにおける「歌のフェーディング」でありうる。空間的ブックマークは、さらに、空間的領域のロケーションにおいて「サイレンス」でありうる。空間的領域は、水平、垂直、または、軸外しでありうる。
図8は、ヘッドセット118を使用して空間的聴覚合図を生成するためのデバイス101を備える第1の例示的なシステム100の特定のコンポーネントを示すブロック図である。システム100は、図1〜7に関して上に記述されたシステム10の機能および特徴を実施するように構成されうる。
システム100は、デバイス101、ヘッドセット118、および、データベース104を含む。ヘッドセット118は、図1のヘッドセット14と同じでありうる。
データベース104は、メモリなど、情報のデータベースを記憶するための任意の適切な手段、例えば、RAM、ROM、EEPROM、CD−ROM、または、別の光学ディスク記憶装置、磁気ディスク記憶装置または別の磁気記憶デバイス、あるいは、デバイス101によってアクセスされることができるデータ構造の形で所望の情報を記憶するように構成されうる任意の別媒体を含む。データベース104に記憶された情報は、上で論述されたような媒体コンテンツ、コンタクト情報のような所望のタイプの情報、あるいは、データベースへと編成および収集されることが可能なその他でありうる。図8〜10では個別のコンポーネントとして示されているが、データベース104は、代替として、図8〜10に示されるデバイス101、201、301の各々に組み込まれうる。
データベース104は、少なくともデータベース・インデックス・リストをデバイス101に提供する。インデックスは、データベースに記憶されたアイテム(すなわち、記録)を識別する。例えば、インデックスリストは、リスト内の各データベースアイテムを、タイトルなど、アイテムについての別の情報と共に一意的に識別する番号または別のシンボルを含みうる。インデックスリストは、階層的に編成されるか、あるいは、それは、平坦でありうる。データベース104は、デバイス101によってさらに処理および/または出力されるように、記憶情報または媒体コンテンツのようなデータベースコンテンツ、例えば、音楽、をデバイス101に提供しうる。
デバイス101は、オーディオ出力を生成すること、および、本明細書に開示された機能を実行することが可能な任意のデバイスでありうる。例えば、デバイス101は、例えば、セルラ電話、携帯情報端末(PDA)といった無線通信デバイスなど、ソフトウェアプログラミングおよび/またはハードウェア設計を通して本明細書に記述された機能を実行するように構成されたハンドヘルドデバイスでありうる。デバイス101は、さらに、MP3プレーヤ、ゲーミングデバイス、ラップトップコンピュータ、PC、パーソナルステレオ、ステレオシステムなどでありうる。デバイス101は、ポータブルまたは非ポータブルでありうる。
例示的なデバイス101は、ヘッドセット118を駆動するために、ユーザインターフェース102、空間的聴覚合図(SAC)ジェネレータ106、記憶サウンドソース108、オーディオ・レンダリング・エンジン110、マルチチャネル・デジタル/アナログ変換器(DAC)112、および、左チャネル増幅器(AMP)114、右チャネル増幅器116を含む。増幅器114および116は、ヘッドホン高インピーダンス(HPH)増幅器でありうる。
示される例において、SACジェネレータ106、オーディオ・レンダリング・エンジン110、ユーザインターフェース102の少なくとも一部は、プログラミングコードを実行する1または複数のプロセッサ120によって実施されうる。プロセッサ120は、ARM7、デジタル信号プロセッサ(DSP)、1または複数の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、複合プログラマブル論理(logic)デバイス(CPLD)、ディスクリート論理(logic)、あるいは、それらのあらゆる適切な組み合わせといったマイクロプロセッサでありうる。
ユーザインターフェース102は、図1に関して記述されるユーザインターフェース21の特徴および機能を含みうる。ユーザインターフェース102は、入力として、インターフェース102のユーザ操作と、データベース104からのデータベース・インデックス・リストとを受信する。出力として、ユーザインターフェース102は、リストが、例えば、図1〜7のいずれかに関して記述されるように、閲覧、スクロール、または、他の方法で探索されるように、データベース・インデックス・リストを視覚的にユーザに表示する。ユーザインターフェース102は、さらに、ユーザの1または複数の探索アクションを示すメッセージを生成する。これらの探索アクションメッセージは、SACジェネレータ106に出力される。探索アクションは、ユーザがユーザインターフェース102を使用して、データベース104に記憶された情報を探索することに起因する。例えば、探索アクションは、例えば、押しボタンスイッチ28における1または複数のボタン押圧でありうる。ボタン押圧は、アイテム毎の単一ステップ順方向/逆方向探索、または、押圧および保持(push-and-hold)の高速スクローリング順方向/逆方向探索のいずれかでありうる。別のタイプのユーザ探索アクションは、ユーザインターフェース102を通して利用可能でありうる。
ユーザインターフェース102は、例えば、単一ステップ探索または押圧および保持(push-and-hold)探索という探索アクションのタイプと、例えば、表示されたデータベース・インデックス・リストを順方向または逆方向にスクロールすることなど、ユーザ探索の方向と、ユーザに表示されている現在選択中のデータベースアイテムとを決定するように構成される。ユーザインターフェース102は、ユーザが、探索アクションのタイプを決定するためにプッシュボタンスイッチを押し下げている時間の長さをモニタし、さらに、探索の方向を決定するために、そのスイッチのどちらをユーザが押しているかをモニタする。ユーザインターフェース102は、インターフェースディスプレイ上で現在選択されているアイテムを定義するユーザインターフェース・ディスプレイ・バッファに対応するアイテムインデックス識別子をモニタすることによって、現在表示されているデータベースアイテムを決定することができる。
探索アクションメッセージは、ユーザ探索アクションの結果として、SACジェネレータ106に送られる。探索アクションメッセージは、ユーザインターフェース102によって選択された(すなわち、閲覧された)データベースアイテム毎に送られうる。このように、ユーザが、表示されたアイテムのリストをスクロールするにつれ、探索アクションメッセージのシーケンスは、ユーザインターフェース102から出力されうる。なお、各メッセージは、異なるデータベースアイテムがユーザインターフェース102において現在選択されているアイテムとして表示される場合に、生成されている。
一般的に、探索アクションメッセージは、SACジェネレータ106が、ユーザ探索アクションを1または複数の空間的聴覚合図に変換することを可能にするのに十分なユーザインターフェース102からの情報を含む。例えば、各探索アクションメッセージは、1)ユーザインターフェースのディスプレイ上で現在選択されているデータベースアイテムのデータベースインデックス識別子、2)例えば、押圧および保持(push-and-hold)や単一アイテム探索などのユーザ探索アクションのタイプ、3)例えば、データベース・インデックス・リストを順方向または逆方向にスクロールすることなど、ユーザ探索の方向を示すデータフィールドを含むデジタル信号でありうる。探索アクションメッセージに対して別のフォーマットが使用されうる。
SACジェネレータ106は、ユーザインターフェースメッセージに含まれる探索アクションを、各々が、ヘッドセット118を通してシステム100によって出力される特定の聴覚合図についての特定のロケーション情報を定義する空間的聴覚合図に変換する。空間的聴覚合図は、オプション的に、特定のロケーションにおいて生成されるサウンドのタイプを定義しうる。例えば、聴覚合図サウンドのタイプは、実行中のユーザ探索の速度およびタイプに依存して、図1に関して上に記述されたように、ショートオーディオ抜粋であるか、あるいは、合成クリックサウンドでありうる。サウンドタイプがショートオーディオ抜粋の場合、このサウンドタイプは、現在選択されているデータベースアイテムを識別し、それによって、下にさらに詳細に論述されるように、オーディオ・レンダリング・エンジン110は、対応するオーディオファイルをサウンドソースデータベース108から検索することができる。SACジェネレータ106は、探索アクションメッセージの探索アクションタイプフィールドに基づいてサウンドタイプを決定するように構成されうる。サウンドタイプは、さらに、探索アクションメッセージがSACジェネレータ106によって受信される頻度に基づきうる。
SACジェネレータ106は、空間的聴覚合図の各々を、例えば、デジタル信号として出力し、それは、オーディオ・レンダリング・エンジン110に転送される。各空間的聴覚合図はロケーションを含み、オプション的に、デジタル信号のフィールドとして、サウンドタイプ情報を含みうる。空間的聴覚合図のシーケンスを表すデジタル出力信号のシーケンスは、ユーザ探索の結果として、SACジェネレータ106によって生成されうる。
探索アクションメッセージのための空間的聴覚合図を決定するために、SACジェネレータ106は、最初に、ユーザインターフェース102によって表示さている現在選択中のデータベースアイテムに対応する空間的聴覚合図を決定する。この決定は、探索アクションメッセージに含まれるデータベースインデックス識別子に基づいて行われうる。次に、例えば、メッセージによって示される探索アクションタイプが、押圧および保持(push-and-hold)操作である場合、探索アクションメッセージが変換され、それによって、空間的聴覚合図は、ショートクリックサウンドが出力聴覚合図として示されている状態で空間を一方向に進み(探索アクションメッセージの方向フィールドで示されるように)、且つ、移動し続ける。あるいは、例えば、メッセージによって示される探索アクションタイプが、単一ステップである場合、探索アクションメッセージは変換され、それにより、空間的聴覚合図は、探索アクションメッセージの方向フィールドによって示される方向に漸進的に、且つ、比較的ゆっくりと移動する。
SACジェネレータ106は、各データベースアイテムが、対応する空間的聴覚合図(すなわち、聴覚空間の特定のロケーション)にマッピングされる1対1のマッピングを実行するように構成されうる。あるいは、SACジェネレータ106は、複数のデータベースアイテムが、各空間的聴覚合図にマッピングされる多数から1のマッピングを実行し、それによって、聴覚空間の単一のロケーションが、1よりも多くのデータベースアイテムを表示するように構成されうる。
オーディオ・レンダリング・エンジン110は、空間的聴覚合図ロケーション、および、SACジェネレータ106によって生成されるオプションのサウンドタイプ情報に基づいて、オーディオ出力信号を生成する。オーディオ・レンダリング・エンジン100は、1または複数のHRTFフィルタを入力オーディオ信号に適用し、それらを処理することによって、オーディオ出力の空間的移動およびローカライゼーションを実施する。例えば、サウンドの連続的な移動は、サウンドをHRTFフィルタでフィルタリングし、時間の経過に応じて、異なるHRTF係数を素早く補間することによって実施されうる。空間的聴覚合図によって提供されるロケーション情報がHRTFフィルタに適用され、オーディオ出力が特定のロケーションから移動または発生するという認識を作成しうる。このように、SACジェネレータ106からの空間的聴覚合図は、データベースアイテムのリストが、ユーザインターフェース102を使用してスクロールされるにつれ、リスナが、ヘッドセット118からのオーディオ出力を既定の空間を通して移動するとして認識するようにレンダリングされうる。入力として、オーディオ・レンダリング・エンジン110は、サウンドソースデータベース108からオーディオ信号を、SACジェネレータ106から空間的聴覚合図を受信する。オーディオ・レンダリング・エンジン110は、左右のオーディオチャネル上でPCMオーディオをDAC 112に出力する。
記憶されたオーディオソース108は、入力オーディオ信号としてオーディオ・レンダリング・エンジン110に提供されるオーディオ抜粋、記録されたサウンド、合成サウンドなどのデータベースでありうる。サウンドソースは、MIDI、MP3、AAC、WAVファイルなどのような異なるオーディオ形式で記憶されうる。オーディオ・レンダリング・エンジン110は、サウンドソースを、ヘッドセット118で再生可能な適切な形式に変換することができる。サウンドソースの形式は、典型的に、オーディオ・レンダリング・エンジン110によって処理される前のPCM(uncompressed pulse code modulated)されたデータである。MIDI、MP3、AAC、WAVまたは別の形式のサウンドソースは、オーディオ・レンダリング・エンジン110によってPCMデータに復号されうる。PCMデータは、例えば、HRTFフィルタを使用して、オーディオ・レンダリング・エンジン110によってフィルタリングされる。出力サウンドソースがリスナによって認識される特定のロケーションは、空間的聴覚合図の設計によって決定される。
DAC 112は、左チャネルのDAC(図示されない)および右チャネルのDAC(図示されない)を含む。左チャネルのDACは、オーディオ・レンダリング・エンジン110からの左チャネルのデジタルオーディオ出力を左チャネルのアナログオーディオ信号に変換する。次に、左チャネルのアナログオーディオ信号は、左チャネルのオーディオ増幅器114によって増幅され、ヘッドセット118の左スピーカを駆動する。右チャネルのDACは、オーディオ・レンダリング・エンジン110からの右チャネルのデジタルオーディオ出力を右チャネルのアナログオーディオ信号に変換する。次に、右チャネルのアナログオーディオ信号は、右チャネルのオーディオ増幅器116によって増幅され、ヘッドセット118の右スピーカを駆動する。
当業者は、オーディオ増幅器114および116以外の追加アナログオーディオ処理回路(図示されない)が、デバイス101に含まれうることを理解するであろう。
左右のヘッドセットスピーカは、それぞれ増幅器114、115からの電子信号出力をサウンドに変換するための任意の適切なオーディオトランスデューサである。
図9は、サラウンド・スピーカ・システム206を用いて空間的聴覚合図を生成するためのデバイス201を備える第2の例示的なシステム200の特定のコンポーネントを示すブロック図である。システム200は、図1〜7に関して上に記述されたシステム10の機能を実施するために構成されうる。
システム200は、デバイス201、サラウンド・スピーカ・システム206、データベース104を含む。個別コンポーネントとして示されるが、別の構成において、データベース104および/またはサラウンド・スピーカ・システム206は、デバイス201に組み込まれうる。
デバイス201は、オーディオ出力を生成し、本明細書に開示される機能を実行することが可能な任意のデバイスでありうる。例えば、デバイス201は、例えば、セルラ電話、携帯情報端末(PDA)などの無線通信デバイスのような、ソフトウェアプログラミングおよび/またはハードウェア設計を通して本明細書に記述される機能を実行するように構成されたハンドヘルドデバイスでありうる。デバイス201は、さらに、MP3プレーヤ、ゲーミングデバイス、ラップトップコンピュータ、PC、パーソナルステレオ、ステレオシステムなどでありうる。デバイス201は、ポータブルまたは非ポータブルでありうる。
デバイス201は、ユーザインターフェース102、SACジェネレータ106、サウンドソース108、オーディオ・レンダリング・エンジン202、オーディオ信号をサラウンド・サウンド・スピーカ・システム206に出力するマルチチャネル・デジタル/アナログ変換器(DAC)および増幅器(AMP)204を含む。示される例において、SACジェネレータ106は、オーディオ・レンダリング・エンジン202、ユーザインターフェース102の少なくとも一部は、プログラミングコードを実行するプロセッサ120によって実施されうる。
オーディオ・レンダリング・エンジン202は、図8に示されるオーディオ・レンダリング・エンジン110の機能の大部分を実行する。オーディオ・レンダリング・エンジン110と202との主な違いは、図8のオーディオ・レンダリング・エンジン202が、ヘッドセット118のようなヘッドセットの代わりに、スピーカアレイ208〜218に対してオーディオ出力信号を生成することである。このように、図8のレンダリングエンジン202は、HRTFフィルタアルゴリズムに加えて、あるいは、それの代わりに、オーディオ出力を位置づけるために、ボリュームパナー(volume panner)、または、別のスピーカベースのアルゴリズムを含みうる。入力として、オーディオ・レンダリング・エンジン202は、サウンドソースデータベース108からオーディオ信号を、SACジェネレータ106から空間的聴覚合図を受信する。オーディオ・レンダリング・エンジン202は、DAC 204に、複数のオーディオチャネル上でPCMオーディオを出力する。
DAC&AMP 204は、出力オーディオチャネルの各々に対して複数のDACおよびオーディオ増幅器を含む。示される例において、スピーカ208〜218の各々に対して1つの、6つの出力オーディオ信号が存在する。任意の別の適切な数のオーディオチャネルおよびスピーカも使用されうる。各チャネルDACは、オーディオ・レンダリング・エンジン202からのデジタル化PCMオーディオ出力を、アナログオーディオ信号に変換し、それは、次に、対応するチャネル増幅器に提供される。オーディオ増幅器は、公に入手可能なオーディオ増幅器でありうる。各オーディオ増幅器は、サラウンド・スピーカ・システム206の対応スピーカ208〜218を駆動する。
当業者は、オーディオ増幅器以外の追加アナログオーディオ処理回路(図示されない)がデバイス201および/またはサラウンド・スピーカ・システム206に含まれうることを理解するであろう。
サラウンド・スピーカ・システム206は、リスナを物理的に囲む複数のスピーカ208〜218を提供する。スピーカ208〜218は、それぞれ、増幅器から出力される電子信号をサウンドに変換するための任意の適切なオーディオトランスデューサである。
図10は、無線スピーカデバイス306、308を用いて空間的聴覚合図を生成するためのデバイス301を備える第3の例示的なシステム300の特定のコンポーネントを示すブロック図である。システム300は、図1〜7に関して上に記述されたシステム10の機能を実施するように構成されうる。
システム300は、デバイス301、無線スピーカ306、308、データベース104を含む。個別コンポーネントとして示されるが、別の構成において、データベース104は、デバイス301に組み込まれうる。
デバイス301は、オーディオ出力を生成し、本明細書に開示される機能を行うことができる任意のデバイスでありうる。例えば、デバイス301は、例えば、セルラ電話、携帯情報端末(PDA)などの無線通信デバイスのような、ソフトウェアプログラミングおよび/またはハードウェア設計を通して、本明細書に記述させる機能を行うように構成されたハンドヘルドデバイスでありうる。デバイス301は、さらに、MP3プレーヤ、ゲーミングデバイス、ラップトップコンピュータ、PC、パーソナルステレオ、ステレオシステムなどでありうる。デバイス301は、ポータブルまたは非ポータブルでありうる。
デバイス301は、ユーザインターフェース102、SACジェネレータ106、サウンドソース108、オーディオ・レンダリング・エンジン202、および、1または複数の無線スピーカデバイス306、308にオーディオ信号を出力する無線オーディオインターフェース304を含む。示される例において、SACジェネレータ106、オーディオ・レンダリング・エンジン202、ユーザインターフェース102の少なくとも一部、無線オーディオインターフェース304の少なくとも一部は、プログラミングコードを実行するプロセッサ120によって実施されうる。
オーディオ・レンダリング・エンジン202は、PCMオーディオの2またはそれより多くチャネルを無線インターフェース304に出力する。
無線インターフェース304は、トランシーバを含み、無線スピーカデバイス306、308を備える無線通信を提供する。任意の適切な無線テクノロジはデバイス301と共に用いられることができるが、無線インターフェース304は、アンテナ、ブルートゥースRFトランシーバ、ベースバンドプロセッサ、プロトコルスタックから構成される少なくともブルートゥースコアシステムを提供する公に入手可能なブルートゥースモジュール、並びに、このモジュールを、オーディオ・レンダリング・エンジン202、および、必要ならば、デバイス301の別のコンポーネントに接続するためのハードウェアとソフトウェアインターフェースを含むことを好む。
PCMオーディオ信号は、例えば、www.bluetooth.comで入手可能なブルートゥース仕様によって定義されるようなプロトコルを使用して、無線チャネルを通してスピーカデバイス308、310に送信されることができる。ブルートゥース仕様は、オーディオ信号を送信するための特定のガイドラインを提供する。特に、ブルートゥース仕様は、ブルートゥースネットワーク上で高品質のステレオまたはモノオーディオを無線で配信するためのプロトコルおよび手順を定義するA2DP(Advanced Audio Distribution Profile)を提供する。A2DPは、システム300と共に使用されうる。
スピーカデバイス306、308は、公に利用可能なブルートゥーススピーカでありうる。各スピーカデバイス306、308は、デバイスの無線インターフェース304およびスピーカ310、312から送信されるオーディオ信号を受信するための無線インターフェース(図示されない)を含む。スピーカデバイス306および308の各々は、さらに、DAC、オーディオ増幅器(図示されない)、および、スピーカ310、312での出力用にPCMオーディオをアナログオーディオ信号に変換するための別のオーディオ処理回路を含む。任意の適切な数のスピーカデバイスが使用されうる。
図8〜10に示されるデバイス101、201、301の機能および特徴は、それぞれ、空間的オーディオ出力信号を、ヘッドセット118、サラウンド・サウンド・スピーカ・システム206、無線スピーカデバイス306、308に提供するための複数、且つ、オプション的に選択可能な、出力インターフェースが、それぞれレンダリングおよびフォーマットされるように構成される単一のデバイスへと組み合わせられうる。
図10は、空間的聴覚合図を生成するためのシステムアーキテクチャ400の特定のソフトウェアおよびハードウェアコンポーネントを示すブロック図である。システムアーキテクチャ400は、図1〜10に関して上に記述されたように、デバイス10、101、201,301のいずれか、あるいは、それらのあらゆる組み合わせの空間的オーディオ出力信号を生成することに必要な機能を実施するために使用されうる。
システムアーキテクチャ400は、1または複数のデジタルバス403によって、メモリ402、ユーザインターフェース(UI)ハードウェア401、無線インターフェース404、および、マルチチャネルDAC 406に接続されるプロセッサ120のような1または複数のプロセッサを含む。UIハードウェア401は、ディスプレイ18および押しボタン28、並びに、ユーザインターフェースを提供するための別のハードウェアを含みうる。マルチチャネルDAC 406の出力は、とりわけ、複数のオーディオ増幅器408、410に提供され、それは、次に空間的オーディオ出力を生成する。
図8に関して上に記述されたように、プロセッサ120は、ARM7、デジタル信号プロセッサ(DSP)、1または複数の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、複合プログラマブル論理デバイス(CPLD)、ディスクリート論理、または、それらの適切なあらゆる組み合わせのようなマイクロプロセッサでありうる。
メモリ402は、サウンドソース108、SACジェネレータ・ソフトウェア・コード414、オーディオ・レンダリング・エンジン・ソフトウェア・コード416、ユーザインターフェース・ソフトウェア・コード418、および、データベース・インターフェース・ソフトウェア・コード412を記憶する。示されないが、メモリ402は、さらに、データベース104を記憶し、加えて、システムの動作全体を制御するためのプロセッサ120によって実行可能なコントローラソフトウェアを記憶しうる。ソフトウェアコード412〜418は、プロセッサ120によって実行可能である。
データベース・ソフトウェア・コード412は、プロセッサ120によって実行されると、データベース104のコンテンツおよびそのアイテム・インデックス・リストへのアクセスを可能にするデータベース・インターフェースを提供する。データベースソフトウェア412は、表示および別の用途のために、インデックスリストをユーザインターフェース401に提供することができる。
SACジェネレータ・ソフトウェア・コード414は、プロセッサ120によって実行されると、SACジェネレータ106の機能性を提供する。
オーディオ・レンダリング・エンジン・ソフトウェア・コード416は、プロセッサ120によって実行されると、本明細書に記述されるオーディオ・レンダリング・エンジン110、202のいずれかの機能性を提供する。
ユーザ・インターフェース・ソフトウェア・コード418は、ユーザインターフェース(UI)ハードウェア401と共にプロセッサ120によって実行されると、本明細書に記述されるユーザインターフェース102の機能性を提供する。
図11では個別のソフトウェア・プログラムとして示されているが、ソフトウェア・コード412〜418は、より少ない数のソフトウェア・プログラムへと結合されうる。
マルチチャネルDAC 406は、各出力オーディオチャネルのためのDACを含む。各チャネルのDACは、デジタル化PCMオーディオ出力をアナログオーディオ信号に変換し、それは、次に、対応するチャネル増幅器408、410に提供される。オーディオ増幅器は、公に入手可能なオーディオ増幅器および/またはHPH増幅器でありうる。任意の適切な数のオーディオチャネル、DAC、AMPは、アーキテクチャ400に含まれうる。
当業者は、オーディオ増幅器以外の追加のアナログオーディオ処理回路(図示されない)がアーキテクチャ400に含まれうることを理解するであろう。
無線インターフェース404は、トランシーバを含み、無線スピーカデバイス306、308、あるいは、無線ヘッドセットのようなオーディオ出力デバイスとの無線通信を提供する。任意の適切な無線テクノロジが無線インターフェース404に用いられうるが、無線インターフェース404は、アンテナ、ブルートゥースRFトランシーバ、ベースバンドプロセッサ、プロトコルスタックから構成されるブルートゥースコアシステムを少なくとも提供する公に入手可能なブルートゥースモジュール、並びに、このモジュールを、プロセッサ120、および、要求される場合は、アーキテクチャ400の別のコンポーネントに接続するためのハードウェアとソフトウェアインターフェースを含むことを好む。
PCMオーディオ信号は、例えば、www.bluetooth.comで入手可能なブルートゥース仕様によって定義されるようなプロトコルを使用して無線インターフェース404を通して送信されうる。ブルートゥース仕様は、オーディオ信号を送信するための特定のガイドラインを提供する。特に、ブルートゥース仕様は、ブルートゥースネットワーク上で高品質のステレオまたはモノオーディオを無線で配信するためのプロトコルおよび手順を定義するA2DP(Advanced Audio Distribution Profile)を提供する。A2DPは、アーキテクチャ400と共に使用されうる。
図12は、空間的聴覚合図を生成する方法を示すフローチャート500である。ブロック502において、ユーザは、例えば、ユーザインターフェース21または102などのユーザインターフェースを使用して、例えばディスプレイ18などのディスプレイ上で、例えばリスト19などのリストをスクロールすることによってデータベースコンテンツを閲覧する。
ブロック504において、ユーザが閲覧した結果として生成される1または複数の探索アクションは、ユーザインターフェースからSACジェネレータ106に送られる。探索アクションは、図8に関して上で論述されたように、探索アクションメッセージに記述されうる。
ブロック506において、SACジェネレータ106は、探索アクションを空間的聴覚合図に変換する。各空間的聴覚合図は、リスナ空間20内の特定のロケーションに対応する。特定の探索アクションに対して選択される空間的聴覚合図は、リスナ空間内の複数のロケーションに対応する複数の空間的聴覚合図から選ばれる。空間的聴覚合図の各々は、リスナ空間内のそれぞれの別個ロケーションに対応する。
ブロック508において、例えば、オーディオ・レンダリング・エンジン110、202のいずれかのオーディオ・レンダリング・エンジンは、空間的聴覚合図対応するサウンドソースを取り出す。取り出された特定のサウンドソースは、空間的聴覚合図のサウンドタイプフィールドから決定されうる。
決定ブロック510において、レンダリングエンジンは、空間的オーディオ合図がレンダリングされるべきオーディオ出力デバイスのタイプを決定する。本明細書において開示される例において、オーディオ出力デバイスは、ヘッドセット、サラウンド・スピーカ・システム、あるいは、無線スピーカ・システムでありうる。
オーディオ出力デバイスがヘッドセットである場合、方法はブロック512に進み、オーディオ・レンダリング・エンジンは、空間的聴覚合図をヘッドホンベースの空間的オーディオ出力信号としてレンダリングする。ブロック514において、空間的オーディオ出力信号は、ヘッドセット内のヘッドホンスピーカに出力される。
オーディオ出力デバイスがサラウンド・サウンド・スピーカ・システムである場合、方法はブロック516に進み、オーディオ・レンダリング・エンジンは、空間的聴覚合図を、マルチチャネル空間的オーディオ出力信号としてレンダリングする。ブロック518において、空間的オーディオ出力信号は、サラウンド・サウンド・スピーカに出力される。
オーディオ出力デバイスが1または複数の無線オーディオスピーカである場合、方法はブロック520に進み、オーディオ・レンダリング・エンジンは、空間的聴覚合図を、1または複数の無線チャネル上での送信に適応したデジタル化空間的オーディオ出力信号としてレンダリングする。ブロック522において、デジタル化空間的オーディオ出力信号は、無線チャネルを通して出力される。
本明細書に記述されるシステム、デバイス、ヘッドセット、および、それらのそれぞれのコンポーネントの機能性、並びに、方法のステップおよびブロックは、ハードウェア、ソフトウェア、ファームウェア、あるいは、それらのあらゆる適切な組み合わせで実施されうる。ソフトウェア/ファームウェアは、マイクロプロセッサ、DSP、埋込みコントローラ、あるいは、IP(intellectual property)コアのような1または複数のデジタル回路によって実行可能な命令のセット(例えば、コードセグメント)を有するプログラムでありうる。ソフトウェア/ファームウェアで実施されると、その機能は、1または複数のコンピュータ可読媒体上の命令またはコードとして記憶または送信される。コンピュータ可読媒体は、コンピュータ記憶媒体と、ある箇所から別の箇所へのコンピュータプログラム移送を容易にする任意の媒体を含む通信媒体との両方を含む。記憶媒体は、コンピュータによりアクセスされることができる任意の利用可能な媒体である。それに制限されない例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光学ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、コンピュータによってアクセスされることができ、命令やデータ構造形で所望のプログラムコードを搬送または記憶するために使用される任意の別媒体を備えうる。また、任意の接続は適切にコンピュータ可読媒体と呼ばれる。例えば、同軸ケーブル、光ファイバーケーブル、撚線対、デジタル加入者回線(DSL)、または赤外線、無線、マイクロ波などの無線テクノロジを使用してウェブサイト、サーバ、または他のリモートソースからソフトウェアが送信されると、この同軸ケーブル、光ファイバーケーブル、撚線対、DSL、または、赤外線、無線、マイクロ派などの無線テクノロジは媒体の定義に含まれる。ディスク(disk)とディスク(disc)は、本明細書で使用される場合、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスク、ブルーレイ(登録商標)ディスクを含む。ディスク(disk)は通常磁気作用によってデータを再生し、ディスク(disc)はレーザーで光学的にデータを再生する。上記の組み合わせもコンピュータ可読媒体の範囲内に含まれるべきである。
特定の実施形態が記述されている。しかしながら、これらの実施形態への様々な変更が可能であり、本明細書に提示される原理は、別の実施形態にも適用されうる。例えば、本明細書で開示された原理は、本明細書に特に記述されたデバイス以外のデバイスに適用されうる。加えて、様々なコンポーネントおよび/または方法のステップ/ブロックは、特許請求の範囲を逸脱することなく、特に開示された配列とは異なる配列で実施されうる。このように、別の実施形態および変更は、これらの教示の観点から、当業者に容易に思い浮かぶであろう。従って、下の特許請求の範囲は、上の明細書および添付の図に関して見た場合、そのような実施形態および変更を全てカバーすることが企図される。
特定の実施形態が記述されている。しかしながら、これらの実施形態への様々な変更が可能であり、本明細書に提示される原理は、別の実施形態にも適用されうる。例えば、本明細書で開示された原理は、本明細書に特に記述されたデバイス以外のデバイスに適用されうる。加えて、様々なコンポーネントおよび/または方法のステップ/ブロックは、特許請求の範囲を逸脱することなく、特に開示された配列とは異なる配列で実施されうる。このように、別の実施形態および変更は、これらの教示の観点から、当業者に容易に思い浮かぶであろう。従って、下の特許請求の範囲は、上の明細書および添付の図に関して見た場合、そのような実施形態および変更を全てカバーすることが企図される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1] 1または複数の聴覚合図を生成するための方法であって、
デバイスに含まれるユーザインターフェースで探索アクションを受信することと、
前記探索アクションを、既定の空間内の既定のロケーションに対応する空間的聴覚合図に変換することと、なお、前記空間的聴覚合図は、前記既定の空間内の複数のロケーションに対応する複数の空間的聴覚合図から選択されており、前記空間的聴覚合図の各々は、前記既定の空間内のそれぞれの別個ロケーションに対応する、
前記空間的聴覚合図をオーディオ出力信号としてレンダリングすることと
を備える方法。
[C2] 前記探索アクションは、ユーザが、データベースに記憶されたアイテムを探索することにより生じる、C1に記載の方法。
[C3] 前記探索アクションを生成するために、データベースに記憶されたアイテムのリストをスクロールすることをさらに備える、C1に記載の方法。
[C4] データベースリスト内の複数のアイテムを複数の空間的聴覚合図にマッピングすることをさらに備える、C1に記載の方法。
[C5] 前記デバイスは無線通信デバイスである、C1に記載の方法。
[C6] 前記空間的聴覚合図に基づいて、複数のサウンドソースから聴覚合図を選択することをさらに備える、C1に記載の方法。
[C7] 前記オーディオ出力信号を受信するために、オーディオ出力デバイスのタイプを決定することをさらに備える、C1に記載の方法。
[C8] 少なくとも1つの空間的聴覚合図は、タグポイントである、C1に記載の方法。
[C9] 前記タグポイントは、選択されたアイテムのプロパティを示す異なるサウンドへとレンダリングされる、C8に記載の方法。
[C10] 前記既定の空間は、垂直な空間的領域、水平な空間的領域、および、軸外し空間的領域のうちの少なくとも1つを備える、C1に記載の方法。
[C11] 初期の空間的領域のリストにおいてカテゴリが閲覧され、前記カテゴリが選択されると、異なる空間的領域のリストにおいてサブカテゴリが閲覧される、C1に記載の方法。
[C12] 前記初期の空間的領域および前記異なる空間的領域は空間的にオフセットである、C11に記載の方法。
[C13] データベースとインターフェースするための方法であって、
前記データベースに記憶されたアイテムのスクロール可能なリストの少なくとも一部をデバイス上に視覚的に表示することと、
前記アイテムの少なくともいくつかを、既定の空間内の複数のロケーションに対応する複数の空間的聴覚合図にマッピングすることと、ここで、前記空間的聴覚合図の各々は、前記既定の空間内のそれぞれの別個ロケーションに対応し、
前記アイテムのリストをスクロールすることと、
前記スクロールの結果として、前記空間的聴覚合図のうちの少なくとも1つをオーディオ出力信号としてレンダリングすることと
を備える方法。
[C14] レンダリングすることは、前記アイテムのリストがスクロールされるにつれ、前記オーディオ出力が前記既定の空間を通って移動することをユーザが認識するように、前記複数の空間的聴覚合図をレンダリングすることを含む、C13に記載の方法。
[C15] マッピングすることは、複数の前記アイテムを各空間的聴覚合図にマッピングすることを含む、C13に記載の方法。
[C16] 装置であって、
探索アクションを受信するように構成されたユーザインターフェースと、
前記探索アクションを、既定の空間内の既定のロケーションに対応する空間的聴覚合図に変換するように構成された空間的聴覚合図ジェネレータと、
前記空間的聴覚合図をオーディオ出力としてレンダリングするように構成されたオーディオ・レンダリング・エンジンと
を備える装置。
[C17] 情報のデータベースをさらに備え、前記探索アクションは、ユーザが、前記データベースに記憶された情報を探索することにより生じる、C16に記載の装置。
[C18] 前記ユーザインターフェースは、前記探索アクションを生成するために、データベースに記憶されたアイテムのリストを視覚的にスクロールするためのグラフィカルインターフェースを含む、C16に記載の装置。
[C19] データベースリスト内の複数のアイテムを複数の空間的聴覚合図にマッピングするように構成されたプロセッサをさらに備える、C16に記載の装置。
[C20] 前記空間的聴覚合図に基づいて、複数のサウンドソースからオーディオ出力コンテンツを選択するように構成されたプロセッサをさらに備える、C16に記載の装置。
[C21] 前記オーディオ出力に反応するサラウンド・スピーカ・システムをさらに備える、C16に記載の装置。
[C22] 1または複数の無線チャネルを通して前記オーディオ出力を送信するように構成された無線インターフェースをさらに備える、C16に記載の装置。
[C23] 前記無線チャネルを通して送信された前記オーディオ出力に反応する少なくとも1つの無線スピーカデバイスをさらに備える、C22に記載の装置。
[C24] 少なくとも1つの空間的聴覚合図は、タグポイントである、C16に記載の装置。
[C25] 前記タグポイントは、選択されたアイテムのプロパティを示す異なるサウンドへとレンダリングされる、C16に記載の装置。
[C26] 初期の空間的領域においてリストでカテゴリが閲覧され、前記カテゴリが選択されると、異なる空間的領域のリストにおいてサブカテゴリが閲覧される、C16に記載の装置。
[C27] 前記初期の空間的領域および前記異なる空間的領域は空間的にオフセットである、C26に記載の装置。
[C28] 装置であって、
探索アクションを受信するための手段と、
前記探索アクションを、既定の空間内の既定のロケーションに対応する空間的聴覚合図に変換するための手段と、
前記空間的聴覚合図をオーディオ出力信号としてレンダリングするための手段と
を備える装置。
[C29] 情報を記憶するための手段をさらに備え、前記探索アクションは、ユーザが、前記記憶された情報を探索することにより生じる、C28に記載の装置。
[C30] 前記受信するための手段は、前記探索アクションを生成するために、データベースに記憶されたアイテムのリストを視覚的にスクロールするための手段を含む、C28に記載の装置。
[C31] データベースリスト内の複数のアイテムを複数の空間的聴覚合図にマッピングするための手段をさらに備える、C28に記載の装置。
[C32] 前記空間的聴覚合図に基づいて、複数のサウンドソースからオーディオ出力コンテンツを選択するための手段をさらに備える、C28に記載の装置。
[C33] 少なくとも1つの空間的聴覚合図は、タグポイントである、C28に記載の装置。
[C34] 前記タグポイントは、選択されたアイテムのプロパティを示す異なるサウンドへとレンダリングされる、C28に記載の装置。
[C35] 初期の空間的領域のリストにおいてカテゴリが閲覧され、前記カテゴリが選択されると、異なる空間的領域のリストにおいてサブカテゴリが閲覧される、C28に記載の装置。
[C36] 前記初期の空間的領域および前記異なる空間的領域は空間的にオフセットである、C28に記載の装置。
[C37] 1または複数のプロセッサによって実行可能な命令のセットを組み込むコンピュータ可読媒体であって、
デバイスに含まれるユーザインターフェースで探索アクションを受信するためのコードと、
前記探索アクションを、既定の空間内の既定のロケーションに対応する空間的聴覚合図に変換するためのコードと、
前記空間的聴覚合図をオーディオ出力としてレンダリングするためのコードと
を備えるコンピュータ可読媒体。
[C38] 情報を記憶するためのコードをさらに備え、前記探索アクションは、ユーザが、前記記憶された情報を探索することにより生じる、C37に記載のコンピュータ可読媒体。
[C39] 前記探索アクションを生成するために、データベースに記憶されたアイテムのリストを視覚的にスクロールするためのコードをさらに備える、C37に記載のコンピュータ可読媒体。
[C40] データベースリスト内の複数のアイテムを複数の空間的聴覚合図にマッピングするためのコードをさらに備える、C37に記載のコンピュータ可読媒体。
[C41] 前記空間的聴覚合図に基づいて、複数のサウンドソースから前記オーディオ出力コンテンツを選択するためのコードをさらに備える、C37に記載のコンピュータ可読媒体。
[C42] 少なくとも1つの空間的聴覚合図は、タグポイントである、C37に記載のコンピュータ可読媒体。
[C43] 前記タグポイントは、選択されたアイテムのプロパティを示す異なるサウンドへとレンダリングされる、C37に記載のコンピュータ可読媒体。
[C44] 初期の空間的領域のリストにおいてカテゴリが閲覧され、前記カテゴリが選択されると、異なる空間的領域のリストにおいてサブカテゴリが閲覧される、C37に記載のコンピュータ可読媒体。
[C45] 前記初期の空間的領域および前記異なる空間的領域は空間的にオフセットである、C37に記載のコンピュータ可読媒体。

Claims (45)

  1. 1または複数の聴覚合図を生成するための方法であって、
    デバイスに含まれるユーザインターフェースで探索アクションを受信することと、
    前記探索アクションを、既定の空間内の既定のロケーションに対応する空間的聴覚合図に変換することと、なお、前記空間的聴覚合図は、前記既定の空間内の複数のロケーションに対応する複数の空間的聴覚合図から選択されており、前記空間的聴覚合図の各々は、前記既定の空間内のそれぞれの別個ロケーションに対応する、
    前記空間的聴覚合図をオーディオ出力信号としてレンダリングすることと
    を備える方法。
  2. 前記探索アクションは、ユーザが、データベースに記憶されたアイテムを探索することにより生じる、請求項1に記載の方法。
  3. 前記探索アクションを生成するために、データベースに記憶されたアイテムのリストをスクロールすることをさらに備える、請求項1に記載の方法。
  4. データベースリスト内の複数のアイテムを複数の空間的聴覚合図にマッピングすることをさらに備える、請求項1に記載の方法。
  5. 前記デバイスは無線通信デバイスである、請求項1に記載の方法。
  6. 前記空間的聴覚合図に基づいて、複数のサウンドソースから聴覚合図を選択することをさらに備える、請求項1に記載の方法。
  7. 前記オーディオ出力信号を受信するために、オーディオ出力デバイスのタイプを決定することをさらに備える、請求項1に記載の方法。
  8. 少なくとも1つの空間的聴覚合図は、タグポイントである、請求項1に記載の方法。
  9. 前記タグポイントは、選択されたアイテムのプロパティを示す異なるサウンドへとレンダリングされる、請求項8に記載の方法。
  10. 前記既定の空間は、垂直な空間的領域、水平な空間的領域、および、軸外し空間的領域のうちの少なくとも1つを備える、請求項1に記載の方法。
  11. 初期の空間的領域のリストにおいてカテゴリが閲覧され、前記カテゴリが選択されると、異なる空間的領域のリストにおいてサブカテゴリが閲覧される、請求項1に記載の方法。
  12. 前記初期の空間的領域および前記異なる空間的領域は空間的にオフセットである、請求項11に記載の方法。
  13. データベースとインターフェースするための方法であって、
    前記データベースに記憶されたアイテムのスクロール可能なリストの少なくとも一部をデバイス上に視覚的に表示することと、
    前記アイテムの少なくともいくつかを、既定の空間内の複数のロケーションに対応する複数の空間的聴覚合図にマッピングすることと、ここで、前記空間的聴覚合図の各々は、前記既定の空間内のそれぞれの別個ロケーションに対応し、
    前記アイテムのリストをスクロールすることと、
    前記スクロールの結果として、前記空間的聴覚合図のうちの少なくとも1つをオーディオ出力信号としてレンダリングすることと
    を備える方法。
  14. レンダリングすることは、前記アイテムのリストがスクロールされるにつれ、前記オーディオ出力が前記既定の空間を通って移動することをユーザが認識するように、前記複数の空間的聴覚合図をレンダリングすることを含む、請求項13に記載の方法。
  15. マッピングすることは、複数の前記アイテムを各空間的聴覚合図にマッピングすることを含む、請求項13に記載の方法。
  16. 装置であって、
    探索アクションを受信するように構成されたユーザインターフェースと、
    前記探索アクションを、既定の空間内の既定のロケーションに対応する空間的聴覚合図に変換するように構成された空間的聴覚合図ジェネレータと、
    前記空間的聴覚合図をオーディオ出力としてレンダリングするように構成されたオーディオ・レンダリング・エンジンと
    を備える装置。
  17. 情報のデータベースをさらに備え、前記探索アクションは、ユーザが、前記データベースに記憶された情報を探索することにより生じる、請求項16に記載の装置。
  18. 前記ユーザインターフェースは、前記探索アクションを生成するために、データベースに記憶されたアイテムのリストを視覚的にスクロールするためのグラフィカルインターフェースを含む、請求項16に記載の装置。
  19. データベースリスト内の複数のアイテムを複数の空間的聴覚合図にマッピングするように構成されたプロセッサをさらに備える、請求項16に記載の装置。
  20. 前記空間的聴覚合図に基づいて、複数のサウンドソースからオーディオ出力コンテンツを選択するように構成されたプロセッサをさらに備える、請求項16に記載の装置。
  21. 前記オーディオ出力に反応するサラウンド・スピーカ・システムをさらに備える、請求項16に記載の装置。
  22. 1または複数の無線チャネルを通して前記オーディオ出力を送信するように構成された無線インターフェースをさらに備える、請求項16に記載の装置。
  23. 前記無線チャネルを通して送信された前記オーディオ出力に反応する少なくとも1つの無線スピーカデバイスをさらに備える、請求項22に記載の装置。
  24. 少なくとも1つの空間的聴覚合図は、タグポイントである、請求項16に記載の装置。
  25. 前記タグポイントは、選択されたアイテムのプロパティを示す異なるサウンドへとレンダリングされる、請求項16に記載の装置。
  26. 初期の空間的領域においてリストでカテゴリが閲覧され、前記カテゴリが選択されると、異なる空間的領域のリストにおいてサブカテゴリが閲覧される、請求項16に記載の装置。
  27. 前記初期の空間的領域および前記異なる空間的領域は空間的にオフセットである、請求項26に記載の装置。
  28. 装置であって、
    探索アクションを受信するための手段と、
    前記探索アクションを、既定の空間内の既定のロケーションに対応する空間的聴覚合図に変換するための手段と、
    前記空間的聴覚合図をオーディオ出力信号としてレンダリングするための手段と
    を備える装置。
  29. 情報を記憶するための手段をさらに備え、前記探索アクションは、ユーザが、前記記憶された情報を探索することにより生じる、請求項28に記載の装置。
  30. 前記受信するための手段は、前記探索アクションを生成するために、データベースに記憶されたアイテムのリストを視覚的にスクロールするための手段を含む、請求項28に記載の装置。
  31. データベースリスト内の複数のアイテムを複数の空間的聴覚合図にマッピングするための手段をさらに備える、請求項28に記載の装置。
  32. 前記空間的聴覚合図に基づいて、複数のサウンドソースからオーディオ出力コンテンツを選択するための手段をさらに備える、請求項28に記載の装置。
  33. 少なくとも1つの空間的聴覚合図は、タグポイントである、請求項28に記載の装置。
  34. 前記タグポイントは、選択されたアイテムのプロパティを示す異なるサウンドへとレンダリングされる、請求項28に記載の装置。
  35. 初期の空間的領域のリストにおいてカテゴリが閲覧され、前記カテゴリが選択されると、異なる空間的領域のリストにおいてサブカテゴリが閲覧される、請求項28に記載の装置。
  36. 前記初期の空間的領域および前記異なる空間的領域は空間的にオフセットである、請求項28に記載の装置。
  37. 1または複数のプロセッサによって実行可能な命令のセットを組み込むコンピュータ可読媒体であって、
    デバイスに含まれるユーザインターフェースで探索アクションを受信するためのコードと、
    前記探索アクションを、既定の空間内の既定のロケーションに対応する空間的聴覚合図に変換するためのコードと、
    前記空間的聴覚合図をオーディオ出力としてレンダリングするためのコードと
    を備えるコンピュータ可読媒体。
  38. 情報を記憶するためのコードをさらに備え、前記探索アクションは、ユーザが、前記記憶された情報を探索することにより生じる、請求項37に記載のコンピュータ可読媒体。
  39. 前記探索アクションを生成するために、データベースに記憶されたアイテムのリストを視覚的にスクロールするためのコードをさらに備える、請求項37に記載のコンピュータ可読媒体。
  40. データベースリスト内の複数のアイテムを複数の空間的聴覚合図にマッピングするためのコードをさらに備える、請求項37に記載のコンピュータ可読媒体。
  41. 前記空間的聴覚合図に基づいて、複数のサウンドソースから前記オーディオ出力コンテンツを選択するためのコードをさらに備える、請求項37に記載のコンピュータ可読媒体。
  42. 少なくとも1つの空間的聴覚合図は、タグポイントである、請求項37に記載のコンピュータ可読媒体。
  43. 前記タグポイントは、選択されたアイテムのプロパティを示す異なるサウンドへとレンダリングされる、請求項37に記載のコンピュータ可読媒体。
  44. 初期の空間的領域のリストにおいてカテゴリが閲覧され、前記カテゴリが選択されると、異なる空間的領域のリストにおいてサブカテゴリが閲覧される、請求項37に記載のコンピュータ可読媒体。
  45. 前記初期の空間的領域および前記異なる空間的領域は空間的にオフセットである、請求項37に記載のコンピュータ可読媒体。
JP2015023464A 2009-11-03 2015-02-09 空間的聴覚合図を用いたデータ探索 Active JP5902330B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US25768409P 2009-11-03 2009-11-03
US61/257,684 2009-11-03
US12/905,340 2010-10-15
US12/905,340 US8417703B2 (en) 2009-11-03 2010-10-15 Data searching using spatial auditory cues

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012537918A Division JP2013510372A (ja) 2009-11-03 2010-10-27 空間的聴覚合図を用いたデータ探索

Publications (2)

Publication Number Publication Date
JP2015156215A true JP2015156215A (ja) 2015-08-27
JP5902330B2 JP5902330B2 (ja) 2016-04-13

Family

ID=43926506

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012537918A Withdrawn JP2013510372A (ja) 2009-11-03 2010-10-27 空間的聴覚合図を用いたデータ探索
JP2015023464A Active JP5902330B2 (ja) 2009-11-03 2015-02-09 空間的聴覚合図を用いたデータ探索

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012537918A Withdrawn JP2013510372A (ja) 2009-11-03 2010-10-27 空間的聴覚合図を用いたデータ探索

Country Status (7)

Country Link
US (2) US8417703B2 (ja)
EP (1) EP2497038A1 (ja)
JP (2) JP2013510372A (ja)
KR (1) KR101386852B1 (ja)
CN (2) CN104361078B (ja)
TW (2) TWI467398B (ja)
WO (1) WO2011056640A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110109642A (zh) * 2012-02-29 2019-08-09 雷蛇(亚太)私人有限公司 头戴式耳机装置与装置配置文件管理系统及方法
CN104205212B (zh) 2012-03-23 2016-09-07 杜比实验室特许公司 用于减轻听觉场景中的讲话者冲突的方法和装置
US10203839B2 (en) * 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9269045B2 (en) 2014-02-14 2016-02-23 Qualcomm Incorporated Auditory source separation in a spiking neural network
US9782672B2 (en) 2014-09-12 2017-10-10 Voyetra Turtle Beach, Inc. Gaming headset with enhanced off-screen awareness
US10133544B2 (en) 2017-03-02 2018-11-20 Starkey Hearing Technologies Hearing device incorporating user interactive auditory display
WO2019123785A1 (ja) * 2017-12-18 2019-06-27 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、およびプログラム
EP3561660B1 (en) * 2018-04-27 2023-09-27 Sherpa Europe, S.L. Digital assistant
US10643637B2 (en) * 2018-07-06 2020-05-05 Harman International Industries, Inc. Retroactive sound identification system
US11625222B2 (en) * 2019-05-07 2023-04-11 Apple Inc. Augmenting control sound with spatial audio cues

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793367A (ja) * 1993-09-28 1995-04-07 Atsushi Matsushita 音声情報検索システム及び装置
WO2006095599A1 (ja) * 2005-03-08 2006-09-14 Pioneer Corporation 情報処理装置及び情報処理方法
JP2007200373A (ja) * 2006-01-23 2007-08-09 Sony Corp コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
JP2009044263A (ja) * 2007-08-06 2009-02-26 Sony Corp 情報処理装置、情報処理方法及びプログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0411288A (ja) * 1990-04-27 1992-01-16 Brother Ind Ltd 楽曲検索機能付きカラオケ装置
US6421446B1 (en) * 1996-09-25 2002-07-16 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis including elevation
US6011851A (en) * 1997-06-23 2000-01-04 Cisco Technology, Inc. Spatial audio processing method and apparatus for context switching between telephony applications
US6708172B1 (en) * 1999-12-22 2004-03-16 Urbanpixel, Inc. Community-based shared multiple browser environment
US6965770B2 (en) * 2001-09-13 2005-11-15 Nokia Corporation Dynamic content delivery responsive to user requests
CN1474407A (zh) * 2002-08-10 2004-02-11 宣 王 一种同步播放音频与图文的设备
US7386357B2 (en) * 2002-09-30 2008-06-10 Hewlett-Packard Development Company, L.P. System and method for generating an audio thumbnail of an audio track
US20080056517A1 (en) * 2002-10-18 2008-03-06 The Regents Of The University Of California Dynamic binaural sound capture and reproduction in focued or frontal applications
US20060292049A1 (en) * 2003-09-04 2006-12-28 Tetsuya Nagasaka Process for producing rutile
US7383174B2 (en) * 2003-10-03 2008-06-03 Paulin Matthew A Method for generating and assigning identifying tags to sound files
US7702599B2 (en) * 2004-10-07 2010-04-20 Bernard Widrow System and method for cognitive memory and auto-associative neural network based pattern recognition
US20070083323A1 (en) * 2005-10-07 2007-04-12 Outland Research Personal cuing for spatially associated information
US7684991B2 (en) * 2006-01-05 2010-03-23 Alpine Electronics, Inc. Digital audio file search method and apparatus using text-to-speech processing
US20070192699A1 (en) * 2006-02-13 2007-08-16 Research In Motion Limited Navigation tool with audible feedback on a handheld communication device having a reduced alphabetic keyboard
JP4788411B2 (ja) * 2006-03-09 2011-10-05 ソニー株式会社 検索キーワード入力装置、検索キーワード入力方法及び検索キーワード入力プログラム
US7516406B1 (en) * 2006-06-06 2009-04-07 Adobe Systems Incorporated Partial functionality indicator
US7844354B2 (en) * 2006-07-27 2010-11-30 International Business Machines Corporation Adjusting the volume of an audio element responsive to a user scrolling through a browser window
TWI302884B (en) * 2006-08-25 2008-11-11 Appro Technology Inc Apparatus with automotive/handheld integrated synchronous playback mechanism for combining monitoring recording apparatus and multimedia entertainment
CN100422999C (zh) * 2006-09-14 2008-10-01 浙江大学 基于内容相关性的跨媒体检索方法
US8037414B2 (en) * 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
WO2008062962A1 (en) * 2006-11-24 2008-05-29 University-Industry Cooperation Group Of Kyunghee University Space context copy/paste method and system, and space copier
US20100077002A1 (en) * 2006-12-06 2010-03-25 Knud Funch Direct access method to media information
JP4561766B2 (ja) * 2007-04-06 2010-10-13 株式会社デンソー 音データ検索支援装置、音データ再生装置、プログラム
US20090138332A1 (en) * 2007-11-23 2009-05-28 Dimitri Kanevsky System and method for dynamically adapting a user slide show presentation to audience behavior
JP5137188B2 (ja) * 2008-02-08 2013-02-06 アルパイン株式会社 情報検索方法及び装置
JP5794783B2 (ja) * 2008-03-13 2015-10-14 コーニンクレッカ フィリップス エヌ ヴェ 複数のアイテムからのアイテムの選択を可能にする方法及びデバイス
US20090327968A1 (en) * 2008-06-27 2009-12-31 Nokia Corporation Apparatus and method for enabling user input
US20100306657A1 (en) * 2009-06-01 2010-12-02 3Dlabs Inc., Ltd. Audio-Enhanced User Interface for Browsing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793367A (ja) * 1993-09-28 1995-04-07 Atsushi Matsushita 音声情報検索システム及び装置
WO2006095599A1 (ja) * 2005-03-08 2006-09-14 Pioneer Corporation 情報処理装置及び情報処理方法
JP2007200373A (ja) * 2006-01-23 2007-08-09 Sony Corp コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
JP2009044263A (ja) * 2007-08-06 2009-02-26 Sony Corp 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN104361078A (zh) 2015-02-18
CN102713900B (zh) 2014-12-10
US8417703B2 (en) 2013-04-09
CN102713900A (zh) 2012-10-03
KR20120088822A (ko) 2012-08-08
TW201137649A (en) 2011-11-01
CN104361078B (zh) 2018-11-06
WO2011056640A1 (en) 2011-05-12
KR101386852B1 (ko) 2014-04-17
EP2497038A1 (en) 2012-09-12
TW201514736A (zh) 2015-04-16
JP2013510372A (ja) 2013-03-21
JP5902330B2 (ja) 2016-04-13
TWI515586B (zh) 2016-01-01
US20130251155A1 (en) 2013-09-26
US20110106825A1 (en) 2011-05-05
TWI467398B (zh) 2015-01-01

Similar Documents

Publication Publication Date Title
JP5902330B2 (ja) 空間的聴覚合図を用いたデータ探索
US20200183972A1 (en) Dynamic Display of Filter Criteria
US20180226074A1 (en) Voice control of a media playback system
US9972297B2 (en) Sound processing device, sound data selecting method and sound data selecting program
CN101228582B (zh) 支持音频缩略图功能的音频再现方法及设备
JP4561766B2 (ja) 音データ検索支援装置、音データ再生装置、プログラム
US7783594B1 (en) System and method for enabling individuals to select desired audio
US20230029303A1 (en) Media program having selectable content depth
JP2007213040A (ja) オーディオファイル再生装置およびこれを利用したオーディオファイルナビゲーション方法
CN103327431B (zh) 检索音频信号的方法和再现音频信号的系统
US20200081681A1 (en) Mulitple master music playback
JP2001125767A (ja) 情報提示装置、情報提示方法、及び情報提示プログラムを記録したコンピュータで読取可能な記録媒体
JP2001290841A (ja) 情報提示装置、情報提示方法および情報提示プログラムを記録したコンピュータで読取可能な記録媒体
US20230104774A1 (en) Media Content Search In Connection With Multiple Media Content Services
KR20070066022A (ko) 휴대용 음원 재생기에서의 파일 정보 음성 출력 방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160309

R150 Certificate of patent or registration of utility model

Ref document number: 5902330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250