JP2001057700A - コンピュータ・ディスプレイ用の音声投射方法及びシステム - Google Patents
コンピュータ・ディスプレイ用の音声投射方法及びシステムInfo
- Publication number
- JP2001057700A JP2001057700A JP2000074090A JP2000074090A JP2001057700A JP 2001057700 A JP2001057700 A JP 2001057700A JP 2000074090 A JP2000074090 A JP 2000074090A JP 2000074090 A JP2000074090 A JP 2000074090A JP 2001057700 A JP2001057700 A JP 2001057700A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- display
- user
- computer system
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Stereophonic System (AREA)
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
(57)【要約】
【課題】 コンピュータ・システム・ディスプレイ画面
上に表示される情報の様々なアスペクトに関する情報を
供給するためにコンピュータ・システムを囲む空間で音
声を投射または提示する方法および実施コンピュータ・
システムを提供すること。 【解決手段】 コンピュータ・システム・ユーザは、ユ
ーザの頭またはコンピュータ・ディスプレイ画面などの
指定の原点に対する投射音声の発生源の認知位置を含
む、投射音声の所与の特性を認知することにより、長々
しいコンテキスト内の相対スクロール点など、表示情報
に関する所定の情報を確認することができる。
上に表示される情報の様々なアスペクトに関する情報を
供給するためにコンピュータ・システムを囲む空間で音
声を投射または提示する方法および実施コンピュータ・
システムを提供すること。 【解決手段】 コンピュータ・システム・ユーザは、ユ
ーザの頭またはコンピュータ・ディスプレイ画面などの
指定の原点に対する投射音声の発生源の認知位置を含
む、投射音声の所与の特性を認知することにより、長々
しいコンテキスト内の相対スクロール点など、表示情報
に関する所定の情報を確認することができる。
Description
【０００１】
【発明の属する技術分野】本発明は、一般に情報処理シ
ステムに関し、より詳細には、投射音響効果（audio ef
fects）をコンピュータ・ディスプレイの特性に関係付
けるための方法および実施に関する。
ステムに関し、より詳細には、投射音響効果（audio ef
fects）をコンピュータ・ディスプレイの特性に関係付
けるための方法および実施に関する。
【０００２】
【従来の技術】コンピュータ・システムおよびアプリケ
ーションが発展するにつれて、新しい機能および能力が
作成され、このような能力に関するインタフェースをシ
ステム・ユーザに対して目で見えるように提示するため
に様々な装置およびツールを開発する必要がある。ユー
ザ主導型コンピュータ・システムおよびアプリケーショ
ンのための主なコンピュータ・システム・インタフェー
スは、キーボードまたはマウスあるいはトラックボール
装置などのユーザ入力手段とともに、ディスプレイ装置
であった。他のワイヤレス入力装置も使用可能である。
ーションが発展するにつれて、新しい機能および能力が
作成され、このような能力に関するインタフェースをシ
ステム・ユーザに対して目で見えるように提示するため
に様々な装置およびツールを開発する必要がある。ユー
ザ主導型コンピュータ・システムおよびアプリケーショ
ンのための主なコンピュータ・システム・インタフェー
スは、キーボードまたはマウスあるいはトラックボール
装置などのユーザ入力手段とともに、ディスプレイ装置
であった。他のワイヤレス入力装置も使用可能である。
【０００３】ほとんどすべてのコンピュータ・システム
・ユーザ入力装置は、たとえば、マウス、トラックボー
ル、ジョイスティックなどのポインティング・デバイス
あるいはキーボードによりユーザ入力を可能にするため
に、ディスプレイ画面上に表された視覚標識に頼ってい
る。コンピュータ・システムが多数のアプリケーション
を実行している場合、この様々なアプリケーションは通
常、ディスプレイ上あるいは矩形フレームまたはウィン
ドウ内の対応するアイコンで表され、それによりユーザ
は表されている特定のプログラムを識別することができ
る。さらに、特定のプログラムの選択可能な機能上の特
徴のすべてもディスプレイ画面上の視覚指示によって表
され、それは選択した機能を呼び出すためにユーザが活
動化することができる。
・ユーザ入力装置は、たとえば、マウス、トラックボー
ル、ジョイスティックなどのポインティング・デバイス
あるいはキーボードによりユーザ入力を可能にするため
に、ディスプレイ画面上に表された視覚標識に頼ってい
る。コンピュータ・システムが多数のアプリケーション
を実行している場合、この様々なアプリケーションは通
常、ディスプレイ上あるいは矩形フレームまたはウィン
ドウ内の対応するアイコンで表され、それによりユーザ
は表されている特定のプログラムを識別することができ
る。さらに、特定のプログラムの選択可能な機能上の特
徴のすべてもディスプレイ画面上の視覚指示によって表
され、それは選択した機能を呼び出すためにユーザが活
動化することができる。
【０００４】ユーザが現行プログラムから他のプログラ
ムへの切換えを希望する場合、ユーザは、マウスまたは
他のポインティング・デバイスを使用してディスプレイ
画面上のプログラムのアイコンまたはウィンドウを「指
し示し」、ポインティング・デバイス上のボタンの１つ
を「クリックする」。その後、ユーザが稼働中のアプリ
ケーションの特定の機能の呼出しを希望する場合、ユー
ザは対応する可視画面領域を指し示し、クリックするこ
とになる。様々な選択可能視覚標識およびアイコンのす
べてがディスプレイ画面上に表されている場合、コンピ
ュータ画面は非常に混雑する可能性があり、マウス制御
ポインタが画面上のある選択可能領域または他の選択可
能領域を指し示しているかどうかを判定することが難し
くなる場合が多い。これは、視覚障害ユーザにとってさ
らに大きい問題である。ユーザがある選択領域を指し示
し、マウスをクリックして選択した機能を活動化する場
合、マウスをクリックしたときにポインタが実際には意
図しない近隣または隣接画面領域を指し示していれば、
間違った機能が実行され、壊滅的な結果になる場合が多
い。最良の場合でも、ユーザは、意図しない結果を取り
消し、所期の機能を再活動化する前に、意図しない機能
が完了するまで待たなければならない。
ムへの切換えを希望する場合、ユーザは、マウスまたは
他のポインティング・デバイスを使用してディスプレイ
画面上のプログラムのアイコンまたはウィンドウを「指
し示し」、ポインティング・デバイス上のボタンの１つ
を「クリックする」。その後、ユーザが稼働中のアプリ
ケーションの特定の機能の呼出しを希望する場合、ユー
ザは対応する可視画面領域を指し示し、クリックするこ
とになる。様々な選択可能視覚標識およびアイコンのす
べてがディスプレイ画面上に表されている場合、コンピ
ュータ画面は非常に混雑する可能性があり、マウス制御
ポインタが画面上のある選択可能領域または他の選択可
能領域を指し示しているかどうかを判定することが難し
くなる場合が多い。これは、視覚障害ユーザにとってさ
らに大きい問題である。ユーザがある選択領域を指し示
し、マウスをクリックして選択した機能を活動化する場
合、マウスをクリックしたときにポインタが実際には意
図しない近隣または隣接画面領域を指し示していれば、
間違った機能が実行され、壊滅的な結果になる場合が多
い。最良の場合でも、ユーザは、意図しない結果を取り
消し、所期の機能を再活動化する前に、意図しない機能
が完了するまで待たなければならない。
【０００５】
【発明が解決しようとする課題】最近、この問題は、米
国特許第５５３３１８２号等でも認識され、対処されて
いる。同特許では、ディスプレイ画面上の画面位置識別
子と当該位置の間の画面距離を示すために音声信号が供
給される。これは、画面ナビゲーションにおいて音声支
援を提供する際の主要な成果を表すものであるが、この
分野では、特に視覚障害コンピュータ・ユーザのため
に、インターネット・アプリケーションを含むディスプ
レイ画面主導型プログラムを操作する際により容易かつ
使いやすくするためにさらに努力が必要である。
国特許第５５３３１８２号等でも認識され、対処されて
いる。同特許では、ディスプレイ画面上の画面位置識別
子と当該位置の間の画面距離を示すために音声信号が供
給される。これは、画面ナビゲーションにおいて音声支
援を提供する際の主要な成果を表すものであるが、この
分野では、特に視覚障害コンピュータ・ユーザのため
に、インターネット・アプリケーションを含むディスプ
レイ画面主導型プログラムを操作する際により容易かつ
使いやすくするためにさらに努力が必要である。
【０００６】
【課題を解決するための手段】コンピュータ・システム
・ディスプレイ画面上に表示される情報の様々なアスペ
クトに関する情報を供給するためにコンピュータ・シス
テムを囲む空間で音声が投射する方法およびそれを実施
したコンピュータ・システムを提供する。表示情報に対
する所定の情報は、投射音声（projected audio）で伝
えられ、コンピュータ・システムから離れた点から発散
するように認知される。ユーザの頭またはコンピュータ
・ディスプレイ画面などの指定の原点に対する投射音声
の明らかな発生源の認知位置を含む、投射音声の所与の
特性を認知することにより、ディスプレイ画面上に表示
された画像の所与の特性を確認することができる。
・ディスプレイ画面上に表示される情報の様々なアスペ
クトに関する情報を供給するためにコンピュータ・シス
テムを囲む空間で音声が投射する方法およびそれを実施
したコンピュータ・システムを提供する。表示情報に対
する所定の情報は、投射音声（projected audio）で伝
えられ、コンピュータ・システムから離れた点から発散
するように認知される。ユーザの頭またはコンピュータ
・ディスプレイ画面などの指定の原点に対する投射音声
の明らかな発生源の認知位置を含む、投射音声の所与の
特性を認知することにより、ディスプレイ画面上に表示
された画像の所与の特性を確認することができる。
【０００７】
【発明の実施の形態】ここで論じる様々な方法は、ワー
クステーションまたはパーソナル・コンピュータを含む
可能性のある典型的なコンピュータ・システム内で実施
することができる。一般に、実施コンピュータ・システ
ムは、同様の複数システムからなるネットワーク内のマ
ルチバス・システムにおける複数のプロセッサを含むこ
とができる。しかし、例示的な一実施形態において本発
明を実施するワークステーションまたはコンピュータ・
システムは、一般に当技術分野で既知のものであり、や
はり一般に当業者には既知のものである電子コンポーネ
ントおよび回路から構成されるので、添付図面に示すも
のを超える回路詳細は、本発明の根元的概念の理解およ
び認識のため、ならびに本発明の教示を曖昧にしないた
めまたは本発明の教示からそれないために、図示の通り
必要と思われる以上に指定しない。
クステーションまたはパーソナル・コンピュータを含む
可能性のある典型的なコンピュータ・システム内で実施
することができる。一般に、実施コンピュータ・システ
ムは、同様の複数システムからなるネットワーク内のマ
ルチバス・システムにおける複数のプロセッサを含むこ
とができる。しかし、例示的な一実施形態において本発
明を実施するワークステーションまたはコンピュータ・
システムは、一般に当技術分野で既知のものであり、や
はり一般に当業者には既知のものである電子コンポーネ
ントおよび回路から構成されるので、添付図面に示すも
のを超える回路詳細は、本発明の根元的概念の理解およ
び認識のため、ならびに本発明の教示を曖昧にしないた
めまたは本発明の教示からそれないために、図示の通り
必要と思われる以上に指定しない。
【０００８】図１のコンピュータ・システム１０１は、
通常、コンピュータ・システム１０１の他のコンポーネ
ント装置およびサブシステムとともに１つまたは複数の
ＣＰＵ（中央演算処理装置）を収容するために配置され
た電子回路格納装置１０３を含む。コンピュータ・シス
テム１０１は、モニタまたはディスプレイ・ユニット１
０５と、キーボード１０７と、マウスまたはポインティ
ング・デバイス１０９も含み、そのすべてが図示のコン
ピュータ・システム内で相互接続されている。また、コ
ンピュータ・システム内のモデムまたは他のネットワー
ク接続部をこの例では電話回線などの通信回線に接続す
るために配置されたコネクタ１１１も示されている。本
発明は、コネクタ１１１なしにセルラー・システムで実
施することもできる。
通常、コンピュータ・システム１０１の他のコンポーネ
ント装置およびサブシステムとともに１つまたは複数の
ＣＰＵ（中央演算処理装置）を収容するために配置され
た電子回路格納装置１０３を含む。コンピュータ・シス
テム１０１は、モニタまたはディスプレイ・ユニット１
０５と、キーボード１０７と、マウスまたはポインティ
ング・デバイス１０９も含み、そのすべてが図示のコン
ピュータ・システム内で相互接続されている。また、コ
ンピュータ・システム内のモデムまたは他のネットワー
ク接続部をこの例では電話回線などの通信回線に接続す
るために配置されたコネクタ１１１も示されている。本
発明は、コネクタ１１１なしにセルラー・システムで実
施することもできる。
【０００９】システム１０１の主要コンポーネントの一
部を図２に示す。プロセッサ回路２０１は、どのような
ホスト・システム・バスにすることもできるシステム・
バス２０３に接続されている。ここに開示する処理方法
は多くの異なるバス構成またはネットワーク構成あるい
はその両方に適用されることに留意されたい。キャッシ
ュ・メモリ・デバイス２０５とシステム・メモリ・ユニ
ット２０７もバス２０３に接続されている。モデム２０
９は、コネクタ１１１（図１）により電話回線などの通
信回線への接続２１０のために配置されている。モデム
２０９は、この例では、選択的にコンピュータ・システ
ム１０１が通信リンクを確立し、他のコンピュータ・シ
ステムあるいはネットワークまたはデータベース・サー
バとの通信を開始できるようにする。
部を図２に示す。プロセッサ回路２０１は、どのような
ホスト・システム・バスにすることもできるシステム・
バス２０３に接続されている。ここに開示する処理方法
は多くの異なるバス構成またはネットワーク構成あるい
はその両方に適用されることに留意されたい。キャッシ
ュ・メモリ・デバイス２０５とシステム・メモリ・ユニ
ット２０７もバス２０３に接続されている。モデム２０
９は、コネクタ１１１（図１）により電話回線などの通
信回線への接続２１０のために配置されている。モデム
２０９は、この例では、選択的にコンピュータ・システ
ム１０１が通信リンクを確立し、他のコンピュータ・シ
ステムあるいはネットワークまたはデータベース・サー
バとの通信を開始できるようにする。
【００１０】システム・バス２０３は、入力インタフェ
ース回路２１１によりキーボード２１３およびマウスま
たはポインティング・デバイス２１５にも接続されてい
る。また、バス２０３は、個別のネットワーク・サブシ
ステム・インタフェース２１７およびディスケット・ド
ライブ・ユニット２１９にも結合されている。音声発生
サブシステム２２４はシステム・バス２０３に接続さ
れ、グラフィック・サブシステムを含む可能性のあるビ
デオ・サブシステム２２０はディスプレイ装置２２１に
接続されている。ハード・ドライブ・ユニットまたはＣ
ＤＲＯＭを含む可能性のある記憶装置２１８もバス２０
３に結合されている。ディスケット・ドライブ・ユニッ
ト２１９は、コンピュータ・システム１０１によって選
択的に実行するために、それによって個々のディスケッ
ト・プログラムをハード・ドライブ上にロードするかま
たは個々のディスケット・プログラムに直接アクセスす
ることができる手段を提供する。周知の通り、ディスケ
ット上の磁気標識によって表されるアプリケーション・
プログラムを含むプログラム・ディスケットあるいはロ
ーカル・ネットワークまたはワールド・ワイド・ウェブ
を介して取得したシステム・メモリ内のプログラムを読
み取って、プログラム信号を供給することができる。こ
のようなプログラム信号は、実行中のアプリケーション
・プログラムの機能上の流れに応じて、コンピュータ・
システムをしてディスプレイ装置の画面上に表示を提示
させ、ユーザ入力に応答させるために選択的に有効であ
る。
ース回路２１１によりキーボード２１３およびマウスま
たはポインティング・デバイス２１５にも接続されてい
る。また、バス２０３は、個別のネットワーク・サブシ
ステム・インタフェース２１７およびディスケット・ド
ライブ・ユニット２１９にも結合されている。音声発生
サブシステム２２４はシステム・バス２０３に接続さ
れ、グラフィック・サブシステムを含む可能性のあるビ
デオ・サブシステム２２０はディスプレイ装置２２１に
接続されている。ハード・ドライブ・ユニットまたはＣ
ＤＲＯＭを含む可能性のある記憶装置２１８もバス２０
３に結合されている。ディスケット・ドライブ・ユニッ
ト２１９は、コンピュータ・システム１０１によって選
択的に実行するために、それによって個々のディスケッ
ト・プログラムをハード・ドライブ上にロードするかま
たは個々のディスケット・プログラムに直接アクセスす
ることができる手段を提供する。周知の通り、ディスケ
ット上の磁気標識によって表されるアプリケーション・
プログラムを含むプログラム・ディスケットあるいはロ
ーカル・ネットワークまたはワールド・ワイド・ウェブ
を介して取得したシステム・メモリ内のプログラムを読
み取って、プログラム信号を供給することができる。こ
のようなプログラム信号は、実行中のアプリケーション
・プログラムの機能上の流れに応じて、コンピュータ・
システムをしてディスプレイ装置の画面上に表示を提示
させ、ユーザ入力に応答させるために選択的に有効であ
る。
【００１１】本発明の例示的な一動作を説明する際に、
パーソナル・コンピュータまたは「ＰＣ」上で動作する
ブラウザ・プログラムを参照するが、関係する原理は画
面表示から入力を受け取る可能性のあるどのコンピュー
タ・プログラムにも適用可能である。コンピュータ・シ
ステム１０１上でインターネット・アクセス・プログラ
ムまたはブラウザ・プログラムを実行する際に、このア
クセス・プログラムまたはブラウザ・プログラムは通
常、記憶装置２１８に記憶され、システムに最初に電源
投入したときにあるいはユーザがそのように希望した場
合は後で、選択的または自動的にしかも部分的または全
面的にシステム・メモリ２０７にロードされる。ブラウ
ザは、ここに記載するように、ディスケット・ドライブ
・ユニット２１９内のディスケットから直接またはハー
ド・ドライブ・ユニット２１８に記憶されたサイト選択
プログラムのコピーから直接、サイト選択プログラムに
アクセスしてそれを実行するように選択的に動作可能で
ある。プログラムが実行されると、プログラムの一部分
またはプログラム全体のいずれかをシステム・メモリ２
０７またはシステム・キャッシュ・メモリ２０５あるい
はその両方にロードすることができる。特定のプログラ
ム設計に応じて、システムは、記憶装置２１８、キャッ
シュ・メモリ２０５、システム・メモリ２０７内のデー
タベースからアクセスした情報またはディスケット・ド
ライブ２１９に装填したディスケットから直接アクセス
した情報を記憶することができる。ユーザがシステムを
始動し、たとえばメモリからブラウザ・プログラムを積
極的に実行すると想定すると、一連の画面がディスプレ
イ装置２２１上でユーザに表示されることになる。各画
面には通常、プログラム内を移動する際にユーザが行う
ための１つまたは複数の選択が設けられている。一般
に、ユーザは、キーボード２１３あるいはマウスまたは
ポインティング・デバイス２１５を使用してディスプレ
イ画面から選択を行うことになる。インターネット・オ
ペレーティング・プログラムでは、ユーザが行う選択
は、ユーザが「どこへ」すなわちどの「サイト」または
「ウェブページ」へ「行く」のかと、場合によっては選
択したサイトに到達するためにたどる通信リンクまたは
経路も決定することになる。さらに、マウス／ポインテ
ィング・デバイスによりユーザが行う追加の選択によっ
て、ブラウザ・プログラム内でプログラムをダウンロー
ドして実行することができる。図３は、インターネット
・オペレーティング・セッションにおける典型的なブラ
ウザ・プログラム画面表示３０１を示す。一般にブラウ
ザ画面は、「File」選択３０８および「Bookmarks」選
択３０４など、ユーザが選択可能な複数の異なるモード
または機能を表示する第１の行３０３を含む。ユーザが
ネットワーク・セッションにおいてドキュメント、サイ
ト、またはページ間を素早く移動するのを支援するた
め、ユーザが選択可能な様々な動作を提供するために他
の行３０５が表示される場合もある。画面上のＵＲＬ
（ユニフォーム・リソース・ロケータ）アドレスまたは
「Location」セクション３０７は、ユーザがキー入力で
きるようにするものであり、訪問すべきサイトまたは訪
問中のサイトのインターネット・アドレスの名前も表示
する。「What's New」または「Net Search」など他の選
択済みネットワーク・サービスまたはネットワーク機能
あるいはその両方に高速アクセスするために、画面上に
他のクイック・アクセス・ボタンを実現することができ
る。一般に、図示の項目はいずれも、マウス・デバイス
２１５とディスプレイ画面上で目に見えるカーソルまた
はポインタ標識３１３に関連する「ポイント・アンド・
クリック」（"point and click"）方法により選択する
ことができる。たとえば、リモート・サイトからのデー
タのダウンロードは、「Stop」ボタンをポイントし、指
定のマウス・ボタンをクリックすることにより、伝送中
に直ちに終了することができる。同様に、「Back」ボタ
ンおよび「Forward」ボタンを使用して、それぞれ最後
の画面表示またはウェブ・サイトに戻るかまたは次の画
面表示またはウェブ・サイトに進むことができる。通
常、選択可能な機能はいずれも、呼び出して、完了まで
実行するためにある程度の時間がかかる。したがって、
所望の選択可能画面領域内で正確にカーソルを検出して
配置できないために偶然に間違ったブロックを選択した
場合、ユーザは他のウェブ・サイトに送られる可能性が
あり、所望の機能を選択可能な所望のサイトに戻る際に
多くの時間が失われることになる。
パーソナル・コンピュータまたは「ＰＣ」上で動作する
ブラウザ・プログラムを参照するが、関係する原理は画
面表示から入力を受け取る可能性のあるどのコンピュー
タ・プログラムにも適用可能である。コンピュータ・シ
ステム１０１上でインターネット・アクセス・プログラ
ムまたはブラウザ・プログラムを実行する際に、このア
クセス・プログラムまたはブラウザ・プログラムは通
常、記憶装置２１８に記憶され、システムに最初に電源
投入したときにあるいはユーザがそのように希望した場
合は後で、選択的または自動的にしかも部分的または全
面的にシステム・メモリ２０７にロードされる。ブラウ
ザは、ここに記載するように、ディスケット・ドライブ
・ユニット２１９内のディスケットから直接またはハー
ド・ドライブ・ユニット２１８に記憶されたサイト選択
プログラムのコピーから直接、サイト選択プログラムに
アクセスしてそれを実行するように選択的に動作可能で
ある。プログラムが実行されると、プログラムの一部分
またはプログラム全体のいずれかをシステム・メモリ２
０７またはシステム・キャッシュ・メモリ２０５あるい
はその両方にロードすることができる。特定のプログラ
ム設計に応じて、システムは、記憶装置２１８、キャッ
シュ・メモリ２０５、システム・メモリ２０７内のデー
タベースからアクセスした情報またはディスケット・ド
ライブ２１９に装填したディスケットから直接アクセス
した情報を記憶することができる。ユーザがシステムを
始動し、たとえばメモリからブラウザ・プログラムを積
極的に実行すると想定すると、一連の画面がディスプレ
イ装置２２１上でユーザに表示されることになる。各画
面には通常、プログラム内を移動する際にユーザが行う
ための１つまたは複数の選択が設けられている。一般
に、ユーザは、キーボード２１３あるいはマウスまたは
ポインティング・デバイス２１５を使用してディスプレ
イ画面から選択を行うことになる。インターネット・オ
ペレーティング・プログラムでは、ユーザが行う選択
は、ユーザが「どこへ」すなわちどの「サイト」または
「ウェブページ」へ「行く」のかと、場合によっては選
択したサイトに到達するためにたどる通信リンクまたは
経路も決定することになる。さらに、マウス／ポインテ
ィング・デバイスによりユーザが行う追加の選択によっ
て、ブラウザ・プログラム内でプログラムをダウンロー
ドして実行することができる。図３は、インターネット
・オペレーティング・セッションにおける典型的なブラ
ウザ・プログラム画面表示３０１を示す。一般にブラウ
ザ画面は、「File」選択３０８および「Bookmarks」選
択３０４など、ユーザが選択可能な複数の異なるモード
または機能を表示する第１の行３０３を含む。ユーザが
ネットワーク・セッションにおいてドキュメント、サイ
ト、またはページ間を素早く移動するのを支援するた
め、ユーザが選択可能な様々な動作を提供するために他
の行３０５が表示される場合もある。画面上のＵＲＬ
（ユニフォーム・リソース・ロケータ）アドレスまたは
「Location」セクション３０７は、ユーザがキー入力で
きるようにするものであり、訪問すべきサイトまたは訪
問中のサイトのインターネット・アドレスの名前も表示
する。「What's New」または「Net Search」など他の選
択済みネットワーク・サービスまたはネットワーク機能
あるいはその両方に高速アクセスするために、画面上に
他のクイック・アクセス・ボタンを実現することができ
る。一般に、図示の項目はいずれも、マウス・デバイス
２１５とディスプレイ画面上で目に見えるカーソルまた
はポインタ標識３１３に関連する「ポイント・アンド・
クリック」（"point and click"）方法により選択する
ことができる。たとえば、リモート・サイトからのデー
タのダウンロードは、「Stop」ボタンをポイントし、指
定のマウス・ボタンをクリックすることにより、伝送中
に直ちに終了することができる。同様に、「Back」ボタ
ンおよび「Forward」ボタンを使用して、それぞれ最後
の画面表示またはウェブ・サイトに戻るかまたは次の画
面表示またはウェブ・サイトに進むことができる。通
常、選択可能な機能はいずれも、呼び出して、完了まで
実行するためにある程度の時間がかかる。したがって、
所望の選択可能画面領域内で正確にカーソルを検出して
配置できないために偶然に間違ったブロックを選択した
場合、ユーザは他のウェブ・サイトに送られる可能性が
あり、所望の機能を選択可能な所望のサイトに戻る際に
多くの時間が失われることになる。
【００１２】図３には、図示の通り、たとえば、強調表
示した「ＩＢＭ」というテキスト３２１など、「Hyperl
inks」を含む可能性のある部分テキスト・セクション３
２０も示されている。ハイパーリンクは通常、ボールド
体で示して下線を付け、認識しやすくするために対比色
で表示する場合も多い。ハイパーリンクは通常、ポイン
タの位置決めおよびクリックによってユーザが選択した
場合にそのリンクが示すページまたはサイトにアクセス
することになる記述ワードのグループを含む。機能アス
ペクトなしに単にテキストのみを表すページ上のプレー
ン・テキストとは異なり、ハイパーリンクは選択したサ
イトへのアクセス・プログラムを活動化する。ハイパー
リンクの使用により、ユーザは比較的迅速に、当該可能
なサイトを識別し、ハイパーリンクをクリックして現行
ページからそのサイトに直ちにアクセスすることができ
る。しかし、ハイパーリンクおよび他の可能な画面選択
は、このように容易にマークし、識別できるわけではな
い。たとえば、ディスプレイ画面３０１には、互いに視
覚的に明確に区別できない３つの可能な「アクティブ・
テキスト」選択３１７が示されている。したがって、
（ポインタ３１３が示すように）２つの選択間の領域で
ポイントし、望ましくない選択を呼び出すことが可能で
ある。このため、可聴標識は、異なる画面領域に対応し
てポインタがポイントしたときに様々な音声を発生する
ことにより、このような潜在的な問題を回避する際に有
用と思われる。
示した「ＩＢＭ」というテキスト３２１など、「Hyperl
inks」を含む可能性のある部分テキスト・セクション３
２０も示されている。ハイパーリンクは通常、ボールド
体で示して下線を付け、認識しやすくするために対比色
で表示する場合も多い。ハイパーリンクは通常、ポイン
タの位置決めおよびクリックによってユーザが選択した
場合にそのリンクが示すページまたはサイトにアクセス
することになる記述ワードのグループを含む。機能アス
ペクトなしに単にテキストのみを表すページ上のプレー
ン・テキストとは異なり、ハイパーリンクは選択したサ
イトへのアクセス・プログラムを活動化する。ハイパー
リンクの使用により、ユーザは比較的迅速に、当該可能
なサイトを識別し、ハイパーリンクをクリックして現行
ページからそのサイトに直ちにアクセスすることができ
る。しかし、ハイパーリンクおよび他の可能な画面選択
は、このように容易にマークし、識別できるわけではな
い。たとえば、ディスプレイ画面３０１には、互いに視
覚的に明確に区別できない３つの可能な「アクティブ・
テキスト」選択３１７が示されている。したがって、
（ポインタ３１３が示すように）２つの選択間の領域で
ポイントし、望ましくない選択を呼び出すことが可能で
ある。このため、可聴標識は、異なる画面領域に対応し
てポインタがポイントしたときに様々な音声を発生する
ことにより、このような潜在的な問題を回避する際に有
用と思われる。
【００１３】図３に示す例示的なページは、マウスおよ
びポインタ３１３によってポイントしクリックすること
により活動化可能な視覚的に認識可能な他のアクティブ
標識あるいは表示画像またはアイコンを含むウェブ・サ
イト・ページにすることができる。図３は領域３１５な
どの複数のグラフィック領域を含み、これはポイントし
選択可能な関連ページのテキストまたはＩＤを含むこと
ができる。ユーザがスクロール・バー３１９内の「上矢
印」または「下矢印」をポイントして、表示テキストよ
り長いドキュメント内を移動できるようにするために、
スクロール・バー３１９も示される。
びポインタ３１３によってポイントしクリックすること
により活動化可能な視覚的に認識可能な他のアクティブ
標識あるいは表示画像またはアイコンを含むウェブ・サ
イト・ページにすることができる。図３は領域３１５な
どの複数のグラフィック領域を含み、これはポイントし
選択可能な関連ページのテキストまたはＩＤを含むこと
ができる。ユーザがスクロール・バー３１９内の「上矢
印」または「下矢印」をポイントして、表示テキストよ
り長いドキュメント内を移動できるようにするために、
スクロール・バー３１９も示される。
【００１４】一実施形態では、本発明は、ドキュメント
の表示セクションがドキュメント全体に対してどこに位
置するかを示す可聴指示を提供するために、スクロール
・バーとともに実施される。これは、「原点マーク」機
能（"mark origin" function）の選択（図８）および使
用によって実施される。たとえばユーザがあるドキュメ
ントを読んでいるときに、そのドキュメント内の他の位
置に移動したいと希望すると、ユーザはそのテキスト・
ドキュメント内の現行位置をマークし、ドキュメント内
の他の位置に移動することができる。ユーザが原点マー
ク機能とともに３Ｄ拡張音響効果を選択した場合、この
拡張音声機能はコンピュータ画面から離れたところで
（選択した通りの）音声を発生することになる。ユーザ
が前にマークした点からさらに遠くまでスクロールする
と、選択した音声は（任意の基準点として）コンピュー
タ・ディスプレイから遠くへ移動しているように思われ
るだろう。この機能は、視覚的なスライド・バーに加
え、所与の時点でユーザがドキュメント内のマーク付き
原点からどのくらい離れているかを示す可聴指示をユー
ザに提供する。ドキュメントが非常に長く、ユーザが開
始点から何ページも離れたところにいる場合、選択した
音声ははるか遠方で聞こえることになる。
の表示セクションがドキュメント全体に対してどこに位
置するかを示す可聴指示を提供するために、スクロール
・バーとともに実施される。これは、「原点マーク」機
能（"mark origin" function）の選択（図８）および使
用によって実施される。たとえばユーザがあるドキュメ
ントを読んでいるときに、そのドキュメント内の他の位
置に移動したいと希望すると、ユーザはそのテキスト・
ドキュメント内の現行位置をマークし、ドキュメント内
の他の位置に移動することができる。ユーザが原点マー
ク機能とともに３Ｄ拡張音響効果を選択した場合、この
拡張音声機能はコンピュータ画面から離れたところで
（選択した通りの）音声を発生することになる。ユーザ
が前にマークした点からさらに遠くまでスクロールする
と、選択した音声は（任意の基準点として）コンピュー
タ・ディスプレイから遠くへ移動しているように思われ
るだろう。この機能は、視覚的なスライド・バーに加
え、所与の時点でユーザがドキュメント内のマーク付き
原点からどのくらい離れているかを示す可聴指示をユー
ザに提供する。ドキュメントが非常に長く、ユーザが開
始点から何ページも離れたところにいる場合、選択した
音声ははるか遠方で聞こえることになる。
【００１５】コンピュータ・ディスプレイ画面から発生
した音声の認知可能な「深さ」または「距離」を使用す
ることは、多くの有益な応用が可能である。ここに開示
する本発明は２次元または３次元の投射音声の使用を教
示するものであり、このような音声は一般に様々なコン
ピュータ画面機能およびカーソル位置に関係する可能性
がある。本開示では、「投射」という用語は、その音声
がコンピュータ・ユニットから投射され、コンピュータ
・ユニットから離れた点から発散しているとユーザによ
って認知されることを示すために使用する。認知された
発散点（emanation point）は、コンピュータ・ステー
ション上で動作しているプログラムの状況または条件に
関する情報をコンピュータ・ユーザに提供するようにプ
ログラミングされる。いくつかの例について論じるが、
例示した例は本発明を制限するものとして解釈すべきで
はなく、いくつかの典型的な動作を例示するための例で
あると解釈すべきである。明らかなように、典型的なコ
ンピュータ・プログラムは多くの異なるウィンドウ、機
能および動作を含み、そこからユーザはユーザが所望す
るどのような機能でも呼び出すことを選択することがで
きる。しかし、様々な機能および動作のすべては「ポイ
ント・アンド・クリック」方法などの視覚的識別技法に
よりアクセスまたは選択されるので、このような豊富な
コンピュータ・リソースは視覚障害ユーザには容易にア
クセスできないものである。しかも、さらに多くのイン
タフェース標識がコンピュータ・ディスプレイ画面上に
提示される場合、ユーザが所望する画面領域またはそれ
に隣接する望ましくない領域をポインタ・デバイスが指
し示す時期を判定することはさらに難しくなる。ポイン
ト・アンド・クリック活動化中に間違った画面領域が指
し示された場合、間違ったプログラムが偶然活動化さ
れ、この結果、正しいアイコンを立ち上げるために立上
げ点（launch point）まで戻る際に不必要な処理時間が
発生することになる。
した音声の認知可能な「深さ」または「距離」を使用す
ることは、多くの有益な応用が可能である。ここに開示
する本発明は２次元または３次元の投射音声の使用を教
示するものであり、このような音声は一般に様々なコン
ピュータ画面機能およびカーソル位置に関係する可能性
がある。本開示では、「投射」という用語は、その音声
がコンピュータ・ユニットから投射され、コンピュータ
・ユニットから離れた点から発散しているとユーザによ
って認知されることを示すために使用する。認知された
発散点（emanation point）は、コンピュータ・ステー
ション上で動作しているプログラムの状況または条件に
関する情報をコンピュータ・ユーザに提供するようにプ
ログラミングされる。いくつかの例について論じるが、
例示した例は本発明を制限するものとして解釈すべきで
はなく、いくつかの典型的な動作を例示するための例で
あると解釈すべきである。明らかなように、典型的なコ
ンピュータ・プログラムは多くの異なるウィンドウ、機
能および動作を含み、そこからユーザはユーザが所望す
るどのような機能でも呼び出すことを選択することがで
きる。しかし、様々な機能および動作のすべては「ポイ
ント・アンド・クリック」方法などの視覚的識別技法に
よりアクセスまたは選択されるので、このような豊富な
コンピュータ・リソースは視覚障害ユーザには容易にア
クセスできないものである。しかも、さらに多くのイン
タフェース標識がコンピュータ・ディスプレイ画面上に
提示される場合、ユーザが所望する画面領域またはそれ
に隣接する望ましくない領域をポインタ・デバイスが指
し示す時期を判定することはさらに難しくなる。ポイン
ト・アンド・クリック活動化中に間違った画面領域が指
し示された場合、間違ったプログラムが偶然活動化さ
れ、この結果、正しいアイコンを立ち上げるために立上
げ点（launch point）まで戻る際に不必要な処理時間が
発生することになる。
【００１６】前述の通り、ファイルまたはドキュメント
の一部分だけがディスプレイ画面上に提示される場合、
視覚障害者は広範囲にわたる画面提示または長々しいド
キュメント内を移動するのが困難である場合が多い。こ
こに開示するように音声拡張機能（aural enhancemen
t）は、ユーザが「Find」コマンドによって大きいコン
テキスト内で小さい活動化画面領域またはハイパーリン
クを見つけるのを支援するだけでなく、長々しいドキュ
メント・ファイル内のどこにカーソルがあるかという感
覚を提供することもできる。この状況では通常、２方向
またはそれ以上の「スクロール・バー」を使用する必要
がある。このようなスクロール・バーは通常、作業画面
上の多くのスペースを占有しないように設計されてお
り、したがって、関連ファイルまたはドキュメントを指
し示してそれを操作するには面倒なものである。本発明
によれば、コンピュータ・プログラム表示に関連する様
々な特性を区別し確認する際に使用するコンピュータ・
ユーザ音声環境が選択的に作成される。このような特性
としては、たとえば、ディスプレイ画面上に提示される
ウィンドウおよびアイコンの「層」ならびにユーザ画面
上に部分的にのみ表示可能なファイルまたはドキュメン
トの「深さ」を含むことができる。投射音声は、他の多
くの機能ならびにコンピュータ画面表示上に表されるタ
イプの表示活動化領域および機能領域とともに実施する
こともできる。
の一部分だけがディスプレイ画面上に提示される場合、
視覚障害者は広範囲にわたる画面提示または長々しいド
キュメント内を移動するのが困難である場合が多い。こ
こに開示するように音声拡張機能（aural enhancemen
t）は、ユーザが「Find」コマンドによって大きいコン
テキスト内で小さい活動化画面領域またはハイパーリン
クを見つけるのを支援するだけでなく、長々しいドキュ
メント・ファイル内のどこにカーソルがあるかという感
覚を提供することもできる。この状況では通常、２方向
またはそれ以上の「スクロール・バー」を使用する必要
がある。このようなスクロール・バーは通常、作業画面
上の多くのスペースを占有しないように設計されてお
り、したがって、関連ファイルまたはドキュメントを指
し示してそれを操作するには面倒なものである。本発明
によれば、コンピュータ・プログラム表示に関連する様
々な特性を区別し確認する際に使用するコンピュータ・
ユーザ音声環境が選択的に作成される。このような特性
としては、たとえば、ディスプレイ画面上に提示される
ウィンドウおよびアイコンの「層」ならびにユーザ画面
上に部分的にのみ表示可能なファイルまたはドキュメン
トの「深さ」を含むことができる。投射音声は、他の多
くの機能ならびにコンピュータ画面表示上に表されるタ
イプの表示活動化領域および機能領域とともに実施する
こともできる。
【００１７】ステレオ・サウンドおよび３次元または
「サラウンド・サウンド」の概念は周知のものであり、
一般大衆にとって入手可能な娯楽およびその他のシステ
ムですでに実施されている。３次元音声を実施するため
の詳細は、たとえば、米国特許第４８１７１４９号およ
び第５３３７３６３号に開示されているが、これらの特
許は参照により本明細書に含まれる。図６を参照する
と、ＰＣ６０３が部屋６０１内の机の上に配置された例
示的なコンピュータ環境が示されている。「Ｘ」軸また
は水平軸６０５と、「Ｙ」軸または垂直軸６０７と、
「Ｚ」軸または深さ軸（depth axis）６０９が所定の原
点に対して示されている。この例では、原点はＰＣ６０
３の中心に位置するように決定されているが、机６０３
に向かって座る可能性のあるユーザの頭を含む、どの位
置にも定義することができる。
「サラウンド・サウンド」の概念は周知のものであり、
一般大衆にとって入手可能な娯楽およびその他のシステ
ムですでに実施されている。３次元音声を実施するため
の詳細は、たとえば、米国特許第４８１７１４９号およ
び第５３３７３６３号に開示されているが、これらの特
許は参照により本明細書に含まれる。図６を参照する
と、ＰＣ６０３が部屋６０１内の机の上に配置された例
示的なコンピュータ環境が示されている。「Ｘ」軸また
は水平軸６０５と、「Ｙ」軸または垂直軸６０７と、
「Ｚ」軸または深さ軸（depth axis）６０９が所定の原
点に対して示されている。この例では、原点はＰＣ６０
３の中心に位置するように決定されているが、机６０３
に向かって座る可能性のあるユーザの頭を含む、どの位
置にも定義することができる。
【００１８】本開示によれば、音声はコンピュータ・デ
ィスプレイの特性に関係し、ディスプレイ画面のコンテ
ンツの確認を支援するためにユーザによって認知される
ようにコンピュータ・ステーション６０３から「投射」
される。投射音声は、単一平面内にあり、すなわち、コ
ンピュータ・ステーションの周りの２次元またはコンピ
ュータ・ステーションを取り囲む３次元空間内に位置す
ることができる。図示の通り、音声はコンピュータ６０
３から「投射」することができ、部屋６０１内の他の様
々な点から発散しているものとして認知することができ
る。たとえば、音声は、ユーザより高くしかもユーザの
左側にある点６１１から、またはユーザより低くしかも
ユーザの右側後方にある点６１５から、またはユーザと
同じ高さであるがユーザの前方右側で「Ｚ」軸に沿って
変位された点６１３から「発生している」ものとしてユ
ーザが認知するように発生することができる。本発明
は、音響効果または可聴信号音あるいはその両方の形で
多次元の音声位置フィードバックを提供することによ
り、ユーザがコンテキストのサイズおよびコンテンツ
と、そのコンテキスト内のコントロールおよびリンクな
どの画面活動化領域の相対位置を判定できるようにす
る。投射音声フィードバックは、表示中のコンテンツ領
域の現行サイズおよび位置に基づいて行われる。音声フ
ィードバックは、ヘッドホンまたは複数のスピーカと、
音声が各スピーカに到達するための短時間の遅延を利用
し、このため、ユーザの各耳を利用するものである。こ
れにより、ユーザの周りの様々な場所に位置するもので
あるとユーザが解釈するような音声が作成される。
ィスプレイの特性に関係し、ディスプレイ画面のコンテ
ンツの確認を支援するためにユーザによって認知される
ようにコンピュータ・ステーション６０３から「投射」
される。投射音声は、単一平面内にあり、すなわち、コ
ンピュータ・ステーションの周りの２次元またはコンピ
ュータ・ステーションを取り囲む３次元空間内に位置す
ることができる。図示の通り、音声はコンピュータ６０
３から「投射」することができ、部屋６０１内の他の様
々な点から発散しているものとして認知することができ
る。たとえば、音声は、ユーザより高くしかもユーザの
左側にある点６１１から、またはユーザより低くしかも
ユーザの右側後方にある点６１５から、またはユーザと
同じ高さであるがユーザの前方右側で「Ｚ」軸に沿って
変位された点６１３から「発生している」ものとしてユ
ーザが認知するように発生することができる。本発明
は、音響効果または可聴信号音あるいはその両方の形で
多次元の音声位置フィードバックを提供することによ
り、ユーザがコンテキストのサイズおよびコンテンツ
と、そのコンテキスト内のコントロールおよびリンクな
どの画面活動化領域の相対位置を判定できるようにす
る。投射音声フィードバックは、表示中のコンテンツ領
域の現行サイズおよび位置に基づいて行われる。音声フ
ィードバックは、ヘッドホンまたは複数のスピーカと、
音声が各スピーカに到達するための短時間の遅延を利用
し、このため、ユーザの各耳を利用するものである。こ
れにより、ユーザの周りの様々な場所に位置するもので
あるとユーザが解釈するような音声が作成される。
【００１９】したがって、たとえば、３Ｄ音声フィード
バックの場合、画面読取装置（screen reader）内の音
声の認知「位置」は、完全に理解できる状態を維持しな
がら、３Ｄ空間内を移動して、通常はユーザの頭または
ディスプレイ画面になると思われる指定の「原点」に対
する「オブジェクト」の相対位置を示すことができる。
位置は、任意の座標系またはベクトル系によって定義さ
れ、「深さ」に関するパラメータまたは寸法が追加され
る。相対「位置」は、同じメカニズム（たとえば、カー
ソル移動および操作コード）によって上下、左右、前後
の移動に関して示され、それにより、オブジェクト（た
とえば、所望の画面領域またはアイコン）がコンテキス
ト内のどこにあるかという優れた「感覚」をユーザにも
たらす。
バックの場合、画面読取装置（screen reader）内の音
声の認知「位置」は、完全に理解できる状態を維持しな
がら、３Ｄ空間内を移動して、通常はユーザの頭または
ディスプレイ画面になると思われる指定の「原点」に対
する「オブジェクト」の相対位置を示すことができる。
位置は、任意の座標系またはベクトル系によって定義さ
れ、「深さ」に関するパラメータまたは寸法が追加され
る。相対「位置」は、同じメカニズム（たとえば、カー
ソル移動および操作コード）によって上下、左右、前後
の移動に関して示され、それにより、オブジェクト（た
とえば、所望の画面領域またはアイコン）がコンテキス
ト内のどこにあるかという優れた「感覚」をユーザにも
たらす。
【００２０】フィードバック方法は、コントロールおよ
びリンクの持続的マッピングを含む。画面「ボタン」お
よび「コントロール」は、「オーディオ・グロー」効果
（"audio glow" effect）により３Ｄ空間内で投射音声
によって識別し、突き止めることができる。オーディオ
・グローのこのような実施の一例は、信号音または周波
数がコントロールのタイプに関係するような、持続時間
を構成可能な単一信号音だろう。たとえば、このような
実施では、「−１」という持続時間は「連続」を表し、
「０」という持続時間は「隠匿」を表すだろう。換言す
れば、異なるタイプのコントロール（たとえば、ボタ
ン、スクロールバー、ポップアップ・メニュー項目、ハ
イパーテキスト・リンク、「戻る」、「進む」、入力
行、「セッション終了」コマンド、「停止」、「検索」
など）は、特定のタイプに関連する異なる基本音声を有
する。この信号音は原点に対する位置に置かれる。「原
点」は構成可能であり、視覚情報を音声情報に変換する
ためのコンテキストの中心になるよう構成することがで
きる。ユーザがコンテキストの中心から「上へ」スクロ
ールすると、「原点」、すなわち、コンピュータ・ステ
ーションまたはユーザの頭から徐々に前進して離れるよ
うに「思われる」関連の投射音声が生成される。下方向
にスクロールすると、投射音声は指定の原点から徐々に
後退して離れるように思われる。
びリンクの持続的マッピングを含む。画面「ボタン」お
よび「コントロール」は、「オーディオ・グロー」効果
（"audio glow" effect）により３Ｄ空間内で投射音声
によって識別し、突き止めることができる。オーディオ
・グローのこのような実施の一例は、信号音または周波
数がコントロールのタイプに関係するような、持続時間
を構成可能な単一信号音だろう。たとえば、このような
実施では、「−１」という持続時間は「連続」を表し、
「０」という持続時間は「隠匿」を表すだろう。換言す
れば、異なるタイプのコントロール（たとえば、ボタ
ン、スクロールバー、ポップアップ・メニュー項目、ハ
イパーテキスト・リンク、「戻る」、「進む」、入力
行、「セッション終了」コマンド、「停止」、「検索」
など）は、特定のタイプに関連する異なる基本音声を有
する。この信号音は原点に対する位置に置かれる。「原
点」は構成可能であり、視覚情報を音声情報に変換する
ためのコンテキストの中心になるよう構成することがで
きる。ユーザがコンテキストの中心から「上へ」スクロ
ールすると、「原点」、すなわち、コンピュータ・ステ
ーションまたはユーザの頭から徐々に前進して離れるよ
うに「思われる」関連の投射音声が生成される。下方向
にスクロールすると、投射音声は指定の原点から徐々に
後退して離れるように思われる。
【００２１】音声情報を「示す」ためには、ワークステ
ーションまたはユーザより高くしかもその左側の空間内
にある場所から音声が放出されていると思われるように
するためにウィンドウの左上にあるコントロールが３Ｄ
音声で示されるように、原点をもう一度使用し、それが
コンピュータ・ワークステーションまたはユーザの頭の
位置になるように構成することになるだろう。他の例で
は、所望のウィンドウがディスプレイ画面上のウィンド
ウの最上部層の「下」にある場合、複数層のウィンドウ
を有する画面表示上のウィンドウ層の深さを表すため
に、音声は、ユーザより高くしかもユーザの左側の場所
から放出され、ワークステーションまたはユーザの前方
の距離または前進距離も増加すると思われるようにする
ために３Ｄ音声で示される。
ーションまたはユーザより高くしかもその左側の空間内
にある場所から音声が放出されていると思われるように
するためにウィンドウの左上にあるコントロールが３Ｄ
音声で示されるように、原点をもう一度使用し、それが
コンピュータ・ワークステーションまたはユーザの頭の
位置になるように構成することになるだろう。他の例で
は、所望のウィンドウがディスプレイ画面上のウィンド
ウの最上部層の「下」にある場合、複数層のウィンドウ
を有する画面表示上のウィンドウ層の深さを表すため
に、音声は、ユーザより高くしかもユーザの左側の場所
から放出され、ワークステーションまたはユーザの前方
の距離または前進距離も増加すると思われるようにする
ために３Ｄ音声で示される。
【００２２】複数の信号音が同時に再生された場合、複
数のユーザがそれを位置的に区別するのが難しい可能性
があるので、「コントロール」および「リンク」位置は
ユーザの裁量で一度に１つずつまたは複数ずつ循環され
る。３Ｄ空間で仮想カーソルまたはポインタが仮想オブ
ジェクトに接触すると、音声フィードバックが得られ
る。このようなフィードバックは、入力焦点を有するオ
ブジェクトに関してもたらされるフィードバックとは異
なるかまたはそれに追加されるものである（たとえば、
画面読取装置の機能であるボタンのラベルの「読取り」
の出力である可能性がある）。
数のユーザがそれを位置的に区別するのが難しい可能性
があるので、「コントロール」および「リンク」位置は
ユーザの裁量で一度に１つずつまたは複数ずつ循環され
る。３Ｄ空間で仮想カーソルまたはポインタが仮想オブ
ジェクトに接触すると、音声フィードバックが得られ
る。このようなフィードバックは、入力焦点を有するオ
ブジェクトに関してもたらされるフィードバックとは異
なるかまたはそれに追加されるものである（たとえば、
画面読取装置の機能であるボタンのラベルの「読取り」
の出力である可能性がある）。
【００２３】３Ｄ音声システム出力の他の実施では、ポ
インタは位置音声によってマッピングされる。したがっ
て、「モスキート・マウス」（"mosquito mouse"）は
「コメット・カーソル」と同等の第３の音声機能である
（すなわち、画面全域におけるサイズおよび強度が減少
するマウス・ポインタの移動を追跡し、それを追随して
突き止めやすいものにすること）。これは、音声および
音量の位置上の変動によって達成することができる。こ
の場合も、マウスオーバー事象（mouse-over events）
（すなわち、マウス制御ポインタがディスプレイ画面上
の特定の画面領域またはオブジェクト全域を移動する）
は、以下に説明する「識別」機能または「検出」機能な
ど、選択可能な要素または要求されたサブセット内の要
素と接触するために音声フィードバックをトリガするこ
とができる。
インタは位置音声によってマッピングされる。したがっ
て、「モスキート・マウス」（"mosquito mouse"）は
「コメット・カーソル」と同等の第３の音声機能である
（すなわち、画面全域におけるサイズおよび強度が減少
するマウス・ポインタの移動を追跡し、それを追随して
突き止めやすいものにすること）。これは、音声および
音量の位置上の変動によって達成することができる。こ
の場合も、マウスオーバー事象（mouse-over events）
（すなわち、マウス制御ポインタがディスプレイ画面上
の特定の画面領域またはオブジェクト全域を移動する）
は、以下に説明する「識別」機能または「検出」機能な
ど、選択可能な要素または要求されたサブセット内の要
素と接触するために音声フィードバックをトリガするこ
とができる。
【００２４】３Ｄ音声ディスプレイ画面を実施する他の
例示的な実施形態では、１組の「識別」コマンドがユー
ザに使用可能になる。「n」が一連の特定のタイプのコ
ントロールに対応する一連の様々なキーストロークであ
るような「Cntrl-n」などの所定のキーボード入力を実
行するか、または所定のマウスおよびマウス・ボタン操
作をユーザが実行すると、３Ｄ音声プログラムはディス
プレイ画面を「走査」し、様々な音声を放出させる。こ
のような音声は、たとえばユーザの頭に対して空間内の
様々な点から放出されているものと認知される３Ｄ音声
である。３Ｄ空間において発生した３Ｄ音声の音響認知
位置は、座標と画面深さの両方によって、選択したタイ
プのコントロールがディスプレイ画面上のどこに位置す
るかを正確にユーザに通知し、発生したその種の音声
（「ブザー」またはベルまたはホイッスルあるいは信号
音など）はどのような特定の種類のコントロール（リン
ク、カーソル移動用のコントロール、スクロール・コマ
ンドなど）が配置されているかをユーザに通知する。
例示的な実施形態では、１組の「識別」コマンドがユー
ザに使用可能になる。「n」が一連の特定のタイプのコ
ントロールに対応する一連の様々なキーストロークであ
るような「Cntrl-n」などの所定のキーボード入力を実
行するか、または所定のマウスおよびマウス・ボタン操
作をユーザが実行すると、３Ｄ音声プログラムはディス
プレイ画面を「走査」し、様々な音声を放出させる。こ
のような音声は、たとえばユーザの頭に対して空間内の
様々な点から放出されているものと認知される３Ｄ音声
である。３Ｄ空間において発生した３Ｄ音声の音響認知
位置は、座標と画面深さの両方によって、選択したタイ
プのコントロールがディスプレイ画面上のどこに位置す
るかを正確にユーザに通知し、発生したその種の音声
（「ブザー」またはベルまたはホイッスルあるいは信号
音など）はどのような特定の種類のコントロール（リン
ク、カーソル移動用のコントロール、スクロール・コマ
ンドなど）が配置されているかをユーザに通知する。
【００２５】一例では、そのリンクが焦点を有するオブ
ジェクトのコンテキスト内の選択可能な項目を表す場合
にユーザは「リンク識別」コマンドを開始することがで
きる。たとえば、ブラウザのコンテキストでは「リン
ク」は「ハイパーリンク」になり、デスクトップのコン
テキストでは「リンク」はアイコンになるはずである。
任意選択で、この機能を「オーディオ・グロー」と組み
合わせることができる。
ジェクトのコンテキスト内の選択可能な項目を表す場合
にユーザは「リンク識別」コマンドを開始することがで
きる。たとえば、ブラウザのコンテキストでは「リン
ク」は「ハイパーリンク」になり、デスクトップのコン
テキストでは「リンク」はアイコンになるはずである。
任意選択で、この機能を「オーディオ・グロー」と組み
合わせることができる。
【００２６】他の実施では、「コントロール識別」コマ
ンドが３Ｄ音声を発生して、ディスプレイ画面上での様
々な「コントロール」の位置を示すことになるだろう。
音声が生成される各コントロールごとにそれに関する相
対位置の感覚をユーザに与えるために、音声が何らかの
所定の順序で順に発生される。「コントロール」は、他
のオブジェクトまたは他の１組のオブジェクトまたはウ
ィジェットに対する効果を有するようなオブジェクトま
たはウィジェット（たとえば、ボタン、スライダ、メニ
ュー・バー、メニュー、ポップアップ・メニューなど）
である。任意選択で、これもオーディオ・グロー実施と
組み合わせることができる。さらに、画面表面に対して
様々なレベルまたは深さにあるコントロールは、様々な
オクターブを使用して区別することができる。他の例で
は、コンテナがコンテキスト内の他のオブジェクトを受
け入れるオブジェクトである場合にユーザは「コンテナ
識別」コマンドを開始することができる。ウィンドウな
どの「コンテナ」はグラフィックあるいはテキストまた
は他の提示あるいは表示画像を含むかまたは区切る手段
を意味し、これらのものはマウスの「クリック」で活動
化できる場合もあれば活動化できない場合もある。「コ
ンテキスト識別」コマンドまたは「検出」コマンドは、
ユーザが定義した独立２Ｄ画面領域を識別するための音
声を発生することになる。このコマンドは、「ズームし
た」解像度、すなわち、画面全体が音声提示されている
わけではなく、画面の一セクションだけが音声提示され
る場合に特に有用になるだろう。画面の音声表現の「解
像度」は、仮想音声空間のサイズによってそのサイズに
関して制御される。したがって、ディスプレイ画面に対
応する音声空間は、ユーザの周りの３Ｄ空間に関して画
面位置を識別する際の正確さの向上を可能にするように
実質的に無制限にすることができる。
ンドが３Ｄ音声を発生して、ディスプレイ画面上での様
々な「コントロール」の位置を示すことになるだろう。
音声が生成される各コントロールごとにそれに関する相
対位置の感覚をユーザに与えるために、音声が何らかの
所定の順序で順に発生される。「コントロール」は、他
のオブジェクトまたは他の１組のオブジェクトまたはウ
ィジェットに対する効果を有するようなオブジェクトま
たはウィジェット（たとえば、ボタン、スライダ、メニ
ュー・バー、メニュー、ポップアップ・メニューなど）
である。任意選択で、これもオーディオ・グロー実施と
組み合わせることができる。さらに、画面表面に対して
様々なレベルまたは深さにあるコントロールは、様々な
オクターブを使用して区別することができる。他の例で
は、コンテナがコンテキスト内の他のオブジェクトを受
け入れるオブジェクトである場合にユーザは「コンテナ
識別」コマンドを開始することができる。ウィンドウな
どの「コンテナ」はグラフィックあるいはテキストまた
は他の提示あるいは表示画像を含むかまたは区切る手段
を意味し、これらのものはマウスの「クリック」で活動
化できる場合もあれば活動化できない場合もある。「コ
ンテキスト識別」コマンドまたは「検出」コマンドは、
ユーザが定義した独立２Ｄ画面領域を識別するための音
声を発生することになる。このコマンドは、「ズームし
た」解像度、すなわち、画面全体が音声提示されている
わけではなく、画面の一セクションだけが音声提示され
る場合に特に有用になるだろう。画面の音声表現の「解
像度」は、仮想音声空間のサイズによってそのサイズに
関して制御される。したがって、ディスプレイ画面に対
応する音声空間は、ユーザの周りの３Ｄ空間に関して画
面位置を識別する際の正確さの向上を可能にするように
実質的に無制限にすることができる。
【００２７】本発明の投射音声の教示は、ディスプレイ
・インタフェースを含むどのようなコンピュータ・アプ
リケーションにも適用可能である。本発明は、作業用イ
ンターネット・セッションでブラウザ・プログラムとと
もに実施することができ、ワードプロセッサ、ワークシ
ート、データベース・アプリケーションなどの基本的な
スタンドアロン・アプリケーションでも使用することが
できる。さらに、ここに開示するようにコンピュータ・
ディスプレイ音声深さ投射（computer displaysound de
pth projection）は、建物および構造物の３次元イラス
トが図示され操作される建築アプリケーションなどの３
Ｄ関連アプリケーションとともに非常に有利に実施する
ことができる。３次元の変数を有する３Ｄワークシート
にとっても非常に有利である。図７および図８は、ウェ
ブサイト・ページ上に表示されたテキスト・ドキュメン
トで本発明を実施する方法の一例を示している。
・インタフェースを含むどのようなコンピュータ・アプ
リケーションにも適用可能である。本発明は、作業用イ
ンターネット・セッションでブラウザ・プログラムとと
もに実施することができ、ワードプロセッサ、ワークシ
ート、データベース・アプリケーションなどの基本的な
スタンドアロン・アプリケーションでも使用することが
できる。さらに、ここに開示するようにコンピュータ・
ディスプレイ音声深さ投射（computer displaysound de
pth projection）は、建物および構造物の３次元イラス
トが図示され操作される建築アプリケーションなどの３
Ｄ関連アプリケーションとともに非常に有利に実施する
ことができる。３次元の変数を有する３Ｄワークシート
にとっても非常に有利である。図７および図８は、ウェ
ブサイト・ページ上に表示されたテキスト・ドキュメン
トで本発明を実施する方法の一例を示している。
【００２８】図７に示すように、ドキュメント・ファイ
ルの一部分がディスプレイ画面７０１上に表示される。
このドキュメントは、テキスト領域７０３ならびに領域
７０５などのグラフィック領域と、７０６および７０７
などのハイパーテキスト領域を含む。グラフィック領域
７０５とハイパーテキスト領域７０６および７０７は、
マウス・デバイス・ポインタ７１３で指し示し、ユーザ
がクリックしたときに様々なサイトに移行するのに有効
な感応画面領域である。表示部分はより大きいドキュメ
ントの一部分のみを表し、ポインタ・デバイスとともに
垂直スクロール・バー７０９ならびに水平スクロール・
バー７１１を使用してドキュメントの他の領域へ移動す
ることができる。
ルの一部分がディスプレイ画面７０１上に表示される。
このドキュメントは、テキスト領域７０３ならびに領域
７０５などのグラフィック領域と、７０６および７０７
などのハイパーテキスト領域を含む。グラフィック領域
７０５とハイパーテキスト領域７０６および７０７は、
マウス・デバイス・ポインタ７１３で指し示し、ユーザ
がクリックしたときに様々なサイトに移行するのに有効
な感応画面領域である。表示部分はより大きいドキュメ
ントの一部分のみを表し、ポインタ・デバイスとともに
垂直スクロール・バー７０９ならびに水平スクロール・
バー７１１を使用してドキュメントの他の領域へ移動す
ることができる。
【００２９】この音声拡張機能方法は、図８の例に示す
ように図７の応用例で実施することができる。図８の
「Enhanced Audio」選択ブロック８０５は、そのプログ
ラムの他の選択可能機能（図示せず）とともにディスプ
レイ画面８０１上で使用可能になっている。「Enhanced
Audio」領域８０５を矢印８０７で指し示し、その領域
でマウス・ボタンをクリックすることによってユーザが
選択すると、ポップアップの「Audio Selections」ウィ
ンドウ８０９がディスプレイ８０１上に現れる。この選
択ウィンドウは「Effects」選択８１１を含み、そこで
ユーザは所望の音声拡張機能のタイプを選択することが
できる。この例のタイプとしては、通常の非投射音声と
２Ｄ投射音声、すなわち、ある平面内であるがコンピュ
ータ・ステーションを超えて投射された音声を含む。こ
の選択としては、図６に示す３通りの軸のすべてに音声
を投射するのに有効な「３Ｄ」音声８１７を含む。ユー
ザは、投射音声の音量ならびにコンピュータ画面表示画
像の音声投射が行われるコンピュータ・システムの周り
の空間の「解像度」を選択的に調整することもできる。
他の選択領域では、音声が適用されるコントロール８１
３ならびにコントロールあたりの特定の音声８１５をユ
ーザが選択することができる。たとえば、ユーザは、音
声によって拡張すべきいくつかの機能のうちのいずれで
も選択することができる。このような機能としてはスク
ロール機能を含み、これは、たとえば、スクロール・バ
ー７０９内のスライダ７１５の相対位置に関係する音声
を発生するものである。投射音声は、通常の「ディスプ
レイ内」音声にするか、あるいはユーザが選択可能な２
Ｄ投射音声または３Ｄ「深さ」投射音声にすることがで
きるだろう。他の選択により、ユーザは、カーソルまた
はマウス矢印が新しいウィンドウに入るたびに音声を発
生させることができる。「Menu」選択は、矢印がメニュ
ー項目の上にあるときに必ず他の選択可能音声を発生さ
せることになり、その時点でクリックすると画面上のメ
ニューが開くことを意味する。ユーザは、カーソルまた
は矢印が活動グラフィック画面領域またはハイパーテキ
スト領域などの「リンク」の上にあるときに必ずプログ
ラムに音声を発生させるような「Links」選択も選択す
ることができ、選択した「リンク」音声が聞こえたとき
にユーザがマウス・ボタンをクリックすれば、コンピュ
ータが他のウェブ・サイトにリンクされることを意味す
る。選択した各機能ごとに、ユーザは、選択した機能に
関連付けるべき信号音またはベル音などの所望の音声８
１５を選択することができる。ユーザが選択プロセスを
完了すると、ユーザは、「Apply」ボタン８２３をクリ
ックすることにより、自分の選択を作業中のプログラム
に適用することができる。ユーザが拡張音響効果を終了
したいと希望する場合、ユーザは音声画面８０９をポッ
プアップ表示して、「Terminate」ボタン８２５を選択
することができる。他の機能では、ユーザは、コントロ
ール・セクション８１３にリストされている可能性のあ
る特定のコントロールまたは特定のタイプの表示情報を
選択し、次に８２１を指し示して「Find」ボタン８１９
をクリックすることができる。その時点でプログラム
は、選択したコントロールを求めて表示画面を走査し、
選択したコントロールの１つが突き止められると必ず関
連音声を発生させることになる。この機能は、「使用
中」のコンテキストまたはドキュメントに埋め込まれた
コントロールまたはハイパーテキストを検出する際に特
に有用である。投射音声は、選択したコントロールが画
面上のどこにあるかをユーザに対して音響指示すること
になるだろう。たとえば、ユーザがドキュメントの末尾
にいるときにドキュメントの先頭にあるコントロールが
識別または「検出」され、ユーザまたはディスプレイ画
面原点より上にありしかもその前方にある点から発生し
ているように思われるように関連音声が投射されるだろ
う。次にユーザは、特定の機能ボタンがドキュメント内
のどこに位置するかを知り、選択した機能ボタンを表示
画面領域内に提示させるためにユーザが画面の中央で上
へスクロールする必要があることを知るだろう。他の例
では、長々しいドキュメント内のユーザの原点としてユ
ーザの現在の位置をマークするために、「Mark Origi
n」ボタン８３１を選択することができる。その後、ユ
ーザはドキュメント内を移動することができ、ユーザが
ユーザのマーク付き原点に対してドキュメント内のどこ
にいるかをユーザに意識させ続けるために、オーディオ
・グローまたはブザーあるいは他の背景音が発生され
る。３Ｄ拡張機能により、ユーザがマーク付き原点から
遠く離れているときにグロー位置音声が遠くで鳴り、ユ
ーザがマーク付き原点に向かってスクロールするにつれ
てディスプレイ画面またはユーザの頭により接近するか
のようにグローが鳴り、その結果、ディスプレイ画面の
特性を示す３Ｄ指示を行うように、「グロー」は、深さ
に関して、すなわち、「Ｚ」軸に沿って鳴ることになる
だろう。ドキュメント内のマーク付き開始点が２ページ
分しか離れていない場合、選択した音声は、それがコン
ピュータ・ステーションのすぐ近くにあるかのように鳴
るように、コンピュータによって投射される。「原点マ
ーク」機能は、その機能を使用した後、ユーザが選択メ
ニューに戻り、「原点マーク」機能を「オフ」状態に切
り替えることができるように、トグル・スイッチとして
実施することができる。その後、ユーザは、所望であれ
ば、新しい位置に移動し、新しい原点をマークすること
ができる。他の例示的な実施では、３Ｄ投射を備えたハ
イパーテキスト画面領域の音声は、ハイパーテキスト音
声、すなわち、カーソルがハイパーテキスト画面領域を
越えたときに発生される音声がリモート領域から発生さ
れているように思えるようにし、その結果、ハイパーテ
キスト活動化によってユーザがリモート・サイトまたは
ロケーションに移行することを示すことになるだろう。
ここに開示した音声投射および音声拡張機能を実施する
例示的な方法を図４に示す。図示の通り、４０１でプロ
セスが開始すると、４０２で３Ｄ音声オプションが選択
されたかどうかを判定するためのチェックを行う。選択
されていると、４０３で背景音声グローがオンになる。
４０４でカーソル移動が行われていると、４０５でカー
ソル位置を判定し、４０７でどのオブジェクトがカーソ
ル位置に置かれているかを判定する。４１３でプログラ
ムが終了するまで、カーソルがディスプレイ画面上を移
動するにつれて、４１１で対応する音声を発生し、４１
５でプログラムが終了する。もう１つの例示的な「検
出」または「識別」動作シーケンスを図５に示す。図示
の通り、５０１でプロセスを開始し、５０３で「検出」
コマンドが選択されていると、５０５で選択したコント
ロール・タイプを判定し、特定のコントロールを求めて
画面領域を走査する。５０９で検出した各コントロール
・タイプごとに、５１１でコントロール・タイプの関連
特性（たとえば、ドキュメント全体のコンテキストにお
けるコントロール・タイプの位置）を判定し、５１３で
ユーザ空間、すなわち、ユーザを取り囲む３Ｄ空間にお
いて、「検出した」コントロールのドキュメント・コン
テキスト内の点に対応する点に変換する。次に、５１５
でユーザの空間、すなわち、コンピュータ・システムを
取り囲む空間内の変換点から発生しているものと認知さ
れる音声をコンピュータから投射する。５１７で画面走
査が完了し、検出した画像のすべてが３Ｄ空間に示され
た後、５１９でプロセスが終了する。ユーザは、選択し
た表示画像タイプに対応する音声の提示の速度を調整す
るために選択画面サブメニュー（図示せず）に対して入
力を行うことができる。また、ユーザは、「検出」機能
に対する他の変数も入力することができる。たとえば、
ユーザは、選択した画面画像コンテナ・タイプについて
画面走査を繰り返すための回数を入力することができ
る。それぞれが異なる選択音声を有する場合にすべての
画像またはコンテナ・タイプを検索するか、または対応
する関連音声が提示される場合に１つの選択した特定の
コンテナまたは画像タイプだけを検索するように、図８
に示すすべての選択も「検出」機能で使用することがで
きる。
ように図７の応用例で実施することができる。図８の
「Enhanced Audio」選択ブロック８０５は、そのプログ
ラムの他の選択可能機能（図示せず）とともにディスプ
レイ画面８０１上で使用可能になっている。「Enhanced
Audio」領域８０５を矢印８０７で指し示し、その領域
でマウス・ボタンをクリックすることによってユーザが
選択すると、ポップアップの「Audio Selections」ウィ
ンドウ８０９がディスプレイ８０１上に現れる。この選
択ウィンドウは「Effects」選択８１１を含み、そこで
ユーザは所望の音声拡張機能のタイプを選択することが
できる。この例のタイプとしては、通常の非投射音声と
２Ｄ投射音声、すなわち、ある平面内であるがコンピュ
ータ・ステーションを超えて投射された音声を含む。こ
の選択としては、図６に示す３通りの軸のすべてに音声
を投射するのに有効な「３Ｄ」音声８１７を含む。ユー
ザは、投射音声の音量ならびにコンピュータ画面表示画
像の音声投射が行われるコンピュータ・システムの周り
の空間の「解像度」を選択的に調整することもできる。
他の選択領域では、音声が適用されるコントロール８１
３ならびにコントロールあたりの特定の音声８１５をユ
ーザが選択することができる。たとえば、ユーザは、音
声によって拡張すべきいくつかの機能のうちのいずれで
も選択することができる。このような機能としてはスク
ロール機能を含み、これは、たとえば、スクロール・バ
ー７０９内のスライダ７１５の相対位置に関係する音声
を発生するものである。投射音声は、通常の「ディスプ
レイ内」音声にするか、あるいはユーザが選択可能な２
Ｄ投射音声または３Ｄ「深さ」投射音声にすることがで
きるだろう。他の選択により、ユーザは、カーソルまた
はマウス矢印が新しいウィンドウに入るたびに音声を発
生させることができる。「Menu」選択は、矢印がメニュ
ー項目の上にあるときに必ず他の選択可能音声を発生さ
せることになり、その時点でクリックすると画面上のメ
ニューが開くことを意味する。ユーザは、カーソルまた
は矢印が活動グラフィック画面領域またはハイパーテキ
スト領域などの「リンク」の上にあるときに必ずプログ
ラムに音声を発生させるような「Links」選択も選択す
ることができ、選択した「リンク」音声が聞こえたとき
にユーザがマウス・ボタンをクリックすれば、コンピュ
ータが他のウェブ・サイトにリンクされることを意味す
る。選択した各機能ごとに、ユーザは、選択した機能に
関連付けるべき信号音またはベル音などの所望の音声８
１５を選択することができる。ユーザが選択プロセスを
完了すると、ユーザは、「Apply」ボタン８２３をクリ
ックすることにより、自分の選択を作業中のプログラム
に適用することができる。ユーザが拡張音響効果を終了
したいと希望する場合、ユーザは音声画面８０９をポッ
プアップ表示して、「Terminate」ボタン８２５を選択
することができる。他の機能では、ユーザは、コントロ
ール・セクション８１３にリストされている可能性のあ
る特定のコントロールまたは特定のタイプの表示情報を
選択し、次に８２１を指し示して「Find」ボタン８１９
をクリックすることができる。その時点でプログラム
は、選択したコントロールを求めて表示画面を走査し、
選択したコントロールの１つが突き止められると必ず関
連音声を発生させることになる。この機能は、「使用
中」のコンテキストまたはドキュメントに埋め込まれた
コントロールまたはハイパーテキストを検出する際に特
に有用である。投射音声は、選択したコントロールが画
面上のどこにあるかをユーザに対して音響指示すること
になるだろう。たとえば、ユーザがドキュメントの末尾
にいるときにドキュメントの先頭にあるコントロールが
識別または「検出」され、ユーザまたはディスプレイ画
面原点より上にありしかもその前方にある点から発生し
ているように思われるように関連音声が投射されるだろ
う。次にユーザは、特定の機能ボタンがドキュメント内
のどこに位置するかを知り、選択した機能ボタンを表示
画面領域内に提示させるためにユーザが画面の中央で上
へスクロールする必要があることを知るだろう。他の例
では、長々しいドキュメント内のユーザの原点としてユ
ーザの現在の位置をマークするために、「Mark Origi
n」ボタン８３１を選択することができる。その後、ユ
ーザはドキュメント内を移動することができ、ユーザが
ユーザのマーク付き原点に対してドキュメント内のどこ
にいるかをユーザに意識させ続けるために、オーディオ
・グローまたはブザーあるいは他の背景音が発生され
る。３Ｄ拡張機能により、ユーザがマーク付き原点から
遠く離れているときにグロー位置音声が遠くで鳴り、ユ
ーザがマーク付き原点に向かってスクロールするにつれ
てディスプレイ画面またはユーザの頭により接近するか
のようにグローが鳴り、その結果、ディスプレイ画面の
特性を示す３Ｄ指示を行うように、「グロー」は、深さ
に関して、すなわち、「Ｚ」軸に沿って鳴ることになる
だろう。ドキュメント内のマーク付き開始点が２ページ
分しか離れていない場合、選択した音声は、それがコン
ピュータ・ステーションのすぐ近くにあるかのように鳴
るように、コンピュータによって投射される。「原点マ
ーク」機能は、その機能を使用した後、ユーザが選択メ
ニューに戻り、「原点マーク」機能を「オフ」状態に切
り替えることができるように、トグル・スイッチとして
実施することができる。その後、ユーザは、所望であれ
ば、新しい位置に移動し、新しい原点をマークすること
ができる。他の例示的な実施では、３Ｄ投射を備えたハ
イパーテキスト画面領域の音声は、ハイパーテキスト音
声、すなわち、カーソルがハイパーテキスト画面領域を
越えたときに発生される音声がリモート領域から発生さ
れているように思えるようにし、その結果、ハイパーテ
キスト活動化によってユーザがリモート・サイトまたは
ロケーションに移行することを示すことになるだろう。
ここに開示した音声投射および音声拡張機能を実施する
例示的な方法を図４に示す。図示の通り、４０１でプロ
セスが開始すると、４０２で３Ｄ音声オプションが選択
されたかどうかを判定するためのチェックを行う。選択
されていると、４０３で背景音声グローがオンになる。
４０４でカーソル移動が行われていると、４０５でカー
ソル位置を判定し、４０７でどのオブジェクトがカーソ
ル位置に置かれているかを判定する。４１３でプログラ
ムが終了するまで、カーソルがディスプレイ画面上を移
動するにつれて、４１１で対応する音声を発生し、４１
５でプログラムが終了する。もう１つの例示的な「検
出」または「識別」動作シーケンスを図５に示す。図示
の通り、５０１でプロセスを開始し、５０３で「検出」
コマンドが選択されていると、５０５で選択したコント
ロール・タイプを判定し、特定のコントロールを求めて
画面領域を走査する。５０９で検出した各コントロール
・タイプごとに、５１１でコントロール・タイプの関連
特性（たとえば、ドキュメント全体のコンテキストにお
けるコントロール・タイプの位置）を判定し、５１３で
ユーザ空間、すなわち、ユーザを取り囲む３Ｄ空間にお
いて、「検出した」コントロールのドキュメント・コン
テキスト内の点に対応する点に変換する。次に、５１５
でユーザの空間、すなわち、コンピュータ・システムを
取り囲む空間内の変換点から発生しているものと認知さ
れる音声をコンピュータから投射する。５１７で画面走
査が完了し、検出した画像のすべてが３Ｄ空間に示され
た後、５１９でプロセスが終了する。ユーザは、選択し
た表示画像タイプに対応する音声の提示の速度を調整す
るために選択画面サブメニュー（図示せず）に対して入
力を行うことができる。また、ユーザは、「検出」機能
に対する他の変数も入力することができる。たとえば、
ユーザは、選択した画面画像コンテナ・タイプについて
画面走査を繰り返すための回数を入力することができ
る。それぞれが異なる選択音声を有する場合にすべての
画像またはコンテナ・タイプを検索するか、または対応
する関連音声が提示される場合に１つの選択した特定の
コンテナまたは画像タイプだけを検索するように、図８
に示すすべての選択も「検出」機能で使用することがで
きる。
【００３０】ここに開示した好ましい実施の形態に関連
して本発明の方法および装置について説明した。開示し
た方法は、ここで例示した所望の結果を達成するために
広範囲のシーケンス、メニュー、画面設計で実施するこ
とができる。その所与の変形形態とともに、本発明の一
実施の形態を示し、ここで詳細に説明したが、本発明の
教示を取り入れた他の多くの様々な実施の形態は、当業
者であれば容易に構築することができ、プロセッサまた
はＣＰＵあるいは他のより大規模なシステム集積回路ま
たはチップに含めるかまたは統合することもできる。開
示した方法は、ディスクまたはディスケット（携帯型ま
たは固定式）あるいは他のメモリ・デバイスに記憶され
たプログラム・コードで実施することもでき、そのプロ
グラム・コードはここに記載したように有益な結果を達
成するためにそこから実行することができる。したがっ
て、本発明はここに示した特定の形態に限定されるもの
ではなく、むしろ、本発明の精神および範囲に正当に含
めることができるような代替形態、修正形態、同等形態
を含むものである。
して本発明の方法および装置について説明した。開示し
た方法は、ここで例示した所望の結果を達成するために
広範囲のシーケンス、メニュー、画面設計で実施するこ
とができる。その所与の変形形態とともに、本発明の一
実施の形態を示し、ここで詳細に説明したが、本発明の
教示を取り入れた他の多くの様々な実施の形態は、当業
者であれば容易に構築することができ、プロセッサまた
はＣＰＵあるいは他のより大規模なシステム集積回路ま
たはチップに含めるかまたは統合することもできる。開
示した方法は、ディスクまたはディスケット（携帯型ま
たは固定式）あるいは他のメモリ・デバイスに記憶され
たプログラム・コードで実施することもでき、そのプロ
グラム・コードはここに記載したように有益な結果を達
成するためにそこから実行することができる。したがっ
て、本発明はここに示した特定の形態に限定されるもの
ではなく、むしろ、本発明の精神および範囲に正当に含
めることができるような代替形態、修正形態、同等形態
を含むものである。
【００３１】まとめとして、本発明の構成に関して以下
の事項を開示する。
の事項を開示する。
【００３２】（１）コンピュータ・システムのディスプ
レイ画面に関連して音響効果を提示するための方法にお
いて、前記ディスプレイ画面上の画面位置インジケータ
のインジケータ位置を判定するステップと、前記インジ
ケータ位置における表示画像の存在を検出するステップ
と、前記コンピュータ・システムから音声を投射するス
テップであって、前記音声が前記表示画像に関係し、前
記音声が前記コンピュータ・システムから空間的に変位
した発散点から発散するものとして認知できるように前
記音声が前記コンピュータ・システムから離れた点に投
射されるステップとを含む方法。 （２）前記発散点の位置が前記表示画像の所定の特性に
関係する、上記（１）に記載の方法。 （３）前記所定の特性が、前記ディスプレイ画面上の前
記表示画像の相対位置である、上記（２）に記載の方
法。 （４）前記音声が、前記コンピュータ・システムから３
次元に変位した発散点に投射される、上記（１）に記載
の方法。 （５）複数の表示画像の存在が検出される、上記（１）
に記載の方法。 （６）前記複数の表示画像が前記ディスプレイ画面上の
複数の位置に位置する、上記（５）に記載の方法。 （７）前記複数の表示画像が前記ディスプレイ画面上の
単一点でオーバレイされた少なくとも２つの表示画像を
含む、上記（５）に記載の方法。 （８）前記ディスプレイ画面上に複数のユーザ選択を提
示するステップであって、前記ユーザ選択が前記表示画
像に関係するステップと、前記ユーザによって行われた
選択を実施し、選択した音声を対応する選択済み表示画
像に関連付けるステップとをさらに含む、上記（１）に
記載の方法。 （９）前記ユーザ選択が、前記音声の前記投射を実施す
るための選択を含む、上記（８）に記載の方法。 （１０）前記ユーザ選択が特定のタイプの表示画像の選
択を含み、前記特定のタイプが関連の選択可能特定音声
に関係する、上記（８）に記載の方法。 （１１）前記特定のタイプの表示画像がテキストの表示
を含む、上記（１０）に記載の方法。 （１２）前記特定のタイプの表示画像がハイパーテキス
ト・リンクの表示を含む、上記（１０）に記載の方法。 （１３）前記特定のタイプの表示画像がスクロール・バ
ー機能標識（function indicium）の表示を含む、上記
（１０）に記載の方法。 （１４）前記特定のタイプの表示画像がディスプレイ・
コンテナ（display container）を含む、上記（１０）
に記載の方法。 （１５）前記ディスプレイ・コンテナがウィンドウ提示
（window presentation）を含む、上記（１４）に記載
の方法。 （１６）前記特定のタイプの表示画像がメニュー機能標
識の表示を含む、上記（１０）に記載の方法。 （１７）前記特定のタイプの表示画像がグラフィック画
像の表示を含む、上記（１０）に記載の方法。 （１８）前記グラフィック画像が実行可能機能を表す、
上記（１７）に記載の方法。 （１９）複数のタイプの表示画像を含む、上記（１０）
に記載の方法。 （２０）各選択済み特定タイプの表示画像に関連付ける
べき特定の音声を前記ユーザが選択できるようにするス
テップをさらに含む、上記（１９）に記載の方法。 （２１）機械可読コード化標識を含む記憶媒体におい
て、前記記憶媒体が読取装置に選択的に結合され、前記
読取装置がコンピュータ・システム内の処理回路に選択
的に結合され、前記読取装置が前記機械可読コード化標
識を読み取り、それを表すプログラム信号を供給するよ
うに選択的に動作可能であり、前記プログラム信号が前
記コンピュータ・システムのディスプレイ画面に関連し
て音響効果を提示するために効果的であり、前記プログ
ラム信号が、前記ディスプレイ画面上の画面位置インジ
ケータのインジケータ位置を判定するステップと、前記
インジケータ位置における表示画像の存在を検出するス
テップと、前記コンピュータ・システムから音声を投射
するステップであって、前記音声が前記表示画像に関係
し、前記音声が前記コンピュータ・システムから空間的
に変位した発散点から発散するものとして認知できるよ
うに前記音声が前記コンピュータ・システムから離れた
点に投射されるステップとを実施するように選択的に動
作可能である記憶媒体。 （２２）システム・バスと、前記システム・バスに結合
される音声発生サブシステムと、前記システム・バスに
接続されたプロセッサ装置と、前記システム・バスに接
続されたメモリと、ディスプレイ画面を含むディスプレ
イ装置を含み、前記ディスプレイ装置が前記システム・
バスに結合され、前記プロセッサ装置が、前記音声発生
サブシステムをしてコンピュータ・システムのディスプ
レイ画面に関連して音響効果を提示させるために前記メ
モリから受け取ったプログラム信号に応答し、前記プロ
グラム信号が、前記ディスプレイ画面上の画面位置イン
ジケータのインジケータ位置を判定するステップと、前
記インジケータ位置における表示画像の存在を検出する
ステップと、前記コンピュータ・システムから音声を投
射するステップであって、前記音声が前記表示画像に関
係し、前記音声が前記コンピュータ・システムから空間
的に変位した発散点から発散するものとして認知できる
ように前記音声が前記コンピュータ・システムから離れ
た点に投射されるステップとを実施するように選択的に
動作可能である、コンピュータ・システム。 （２３）コンピュータ・システムのディスプレイ画面に
関連して音響効果を提示するための方法において、所定
の表示画像に関するディスプレイ画面位置を判定するス
テップと、前記コンピュータ・システムから音声を投射
するステップであって、前記音声が前記表示画像に関係
し、前記音声が前記コンピュータ・システムから空間的
に変位した発散点から発散するものとして認知できるよ
うに前記音声が投射されるステップとを含む方法。
レイ画面に関連して音響効果を提示するための方法にお
いて、前記ディスプレイ画面上の画面位置インジケータ
のインジケータ位置を判定するステップと、前記インジ
ケータ位置における表示画像の存在を検出するステップ
と、前記コンピュータ・システムから音声を投射するス
テップであって、前記音声が前記表示画像に関係し、前
記音声が前記コンピュータ・システムから空間的に変位
した発散点から発散するものとして認知できるように前
記音声が前記コンピュータ・システムから離れた点に投
射されるステップとを含む方法。 （２）前記発散点の位置が前記表示画像の所定の特性に
関係する、上記（１）に記載の方法。 （３）前記所定の特性が、前記ディスプレイ画面上の前
記表示画像の相対位置である、上記（２）に記載の方
法。 （４）前記音声が、前記コンピュータ・システムから３
次元に変位した発散点に投射される、上記（１）に記載
の方法。 （５）複数の表示画像の存在が検出される、上記（１）
に記載の方法。 （６）前記複数の表示画像が前記ディスプレイ画面上の
複数の位置に位置する、上記（５）に記載の方法。 （７）前記複数の表示画像が前記ディスプレイ画面上の
単一点でオーバレイされた少なくとも２つの表示画像を
含む、上記（５）に記載の方法。 （８）前記ディスプレイ画面上に複数のユーザ選択を提
示するステップであって、前記ユーザ選択が前記表示画
像に関係するステップと、前記ユーザによって行われた
選択を実施し、選択した音声を対応する選択済み表示画
像に関連付けるステップとをさらに含む、上記（１）に
記載の方法。 （９）前記ユーザ選択が、前記音声の前記投射を実施す
るための選択を含む、上記（８）に記載の方法。 （１０）前記ユーザ選択が特定のタイプの表示画像の選
択を含み、前記特定のタイプが関連の選択可能特定音声
に関係する、上記（８）に記載の方法。 （１１）前記特定のタイプの表示画像がテキストの表示
を含む、上記（１０）に記載の方法。 （１２）前記特定のタイプの表示画像がハイパーテキス
ト・リンクの表示を含む、上記（１０）に記載の方法。 （１３）前記特定のタイプの表示画像がスクロール・バ
ー機能標識（function indicium）の表示を含む、上記
（１０）に記載の方法。 （１４）前記特定のタイプの表示画像がディスプレイ・
コンテナ（display container）を含む、上記（１０）
に記載の方法。 （１５）前記ディスプレイ・コンテナがウィンドウ提示
（window presentation）を含む、上記（１４）に記載
の方法。 （１６）前記特定のタイプの表示画像がメニュー機能標
識の表示を含む、上記（１０）に記載の方法。 （１７）前記特定のタイプの表示画像がグラフィック画
像の表示を含む、上記（１０）に記載の方法。 （１８）前記グラフィック画像が実行可能機能を表す、
上記（１７）に記載の方法。 （１９）複数のタイプの表示画像を含む、上記（１０）
に記載の方法。 （２０）各選択済み特定タイプの表示画像に関連付ける
べき特定の音声を前記ユーザが選択できるようにするス
テップをさらに含む、上記（１９）に記載の方法。 （２１）機械可読コード化標識を含む記憶媒体におい
て、前記記憶媒体が読取装置に選択的に結合され、前記
読取装置がコンピュータ・システム内の処理回路に選択
的に結合され、前記読取装置が前記機械可読コード化標
識を読み取り、それを表すプログラム信号を供給するよ
うに選択的に動作可能であり、前記プログラム信号が前
記コンピュータ・システムのディスプレイ画面に関連し
て音響効果を提示するために効果的であり、前記プログ
ラム信号が、前記ディスプレイ画面上の画面位置インジ
ケータのインジケータ位置を判定するステップと、前記
インジケータ位置における表示画像の存在を検出するス
テップと、前記コンピュータ・システムから音声を投射
するステップであって、前記音声が前記表示画像に関係
し、前記音声が前記コンピュータ・システムから空間的
に変位した発散点から発散するものとして認知できるよ
うに前記音声が前記コンピュータ・システムから離れた
点に投射されるステップとを実施するように選択的に動
作可能である記憶媒体。 （２２）システム・バスと、前記システム・バスに結合
される音声発生サブシステムと、前記システム・バスに
接続されたプロセッサ装置と、前記システム・バスに接
続されたメモリと、ディスプレイ画面を含むディスプレ
イ装置を含み、前記ディスプレイ装置が前記システム・
バスに結合され、前記プロセッサ装置が、前記音声発生
サブシステムをしてコンピュータ・システムのディスプ
レイ画面に関連して音響効果を提示させるために前記メ
モリから受け取ったプログラム信号に応答し、前記プロ
グラム信号が、前記ディスプレイ画面上の画面位置イン
ジケータのインジケータ位置を判定するステップと、前
記インジケータ位置における表示画像の存在を検出する
ステップと、前記コンピュータ・システムから音声を投
射するステップであって、前記音声が前記表示画像に関
係し、前記音声が前記コンピュータ・システムから空間
的に変位した発散点から発散するものとして認知できる
ように前記音声が前記コンピュータ・システムから離れ
た点に投射されるステップとを実施するように選択的に
動作可能である、コンピュータ・システム。 （２３）コンピュータ・システムのディスプレイ画面に
関連して音響効果を提示するための方法において、所定
の表示画像に関するディスプレイ画面位置を判定するス
テップと、前記コンピュータ・システムから音声を投射
するステップであって、前記音声が前記表示画像に関係
し、前記音声が前記コンピュータ・システムから空間的
に変位した発散点から発散するものとして認知できるよ
うに前記音声が投射されるステップとを含む方法。
【図１】本発明を実施可能なコンピュータ・システムを
示す図である。
示す図である。
【図２】図１に示すコンピュータ・システムの選択した
コンポーネントおよびサブシステムを示す簡易概略図で
ある。
コンポーネントおよびサブシステムを示す簡易概略図で
ある。
【図３】本発明の例示的な一動作を説明する際に有用な
ブラウザおよび他のコンピュータ・プログラムを実行し
ているコンピュータ・システム・ディスプレイ画面を示
す図である。
ブラウザおよび他のコンピュータ・プログラムを実行し
ているコンピュータ・システム・ディスプレイ画面を示
す図である。
【図４】本発明の一実施例における動作シーケンスの一
例を示す流れ図である。
例を示す流れ図である。
【図５】本発明の一実施例における動作シーケンスの他
の例を示す流れ図である。
の例を示す流れ図である。
【図６】コンピュータ環境におけるコンピュータ生成の
投射音声を説明する際に有用な図である。
投射音声を説明する際に有用な図である。
【図７】本発明の一実施例において投射音声に関係する
スクロール機能バーを含む典型的な画面表示を示す図で
ある。
スクロール機能バーを含む典型的な画面表示を示す図で
ある。
【図８】本発明に関連して実施可能な選択画面機能の例
示的な一動作を示す図である。
示的な一動作を示す図である。
４０１ 開始 ４０２ ３Ｄ音声オプションがオンであるか ４０３ 背景音声グローがオンになる ４０４ カーソル移動が行われたか ４０５ カーソル位置を判定する ４０７ カーソル位置にあるオブジェクトを判定する ４１１ カーソル位置にあるオブジェクトに対応する３
Ｄ音声を発生する ４１３ プログラムが終了したか ４１５ 終了
Ｄ音声を発生する ４１３ プログラムが終了したか ４１５ 終了
フロントページの続き (72)発明者 エドウィン・ジェームス・ヒルパート、ジ ュニア アメリカ合衆国テキサス州、ラウンド・ロ ック、クラブアップル・コーヴ2051 (72)発明者 マイケル・エイ・パオリニ アメリカ合衆国テキサス州、ラウンド・ロ ック、テンノ・ストリート1406
Claims (23)
- 【請求項１】コンピュータ・システムのディスプレイ画
面に関連して音響効果を提示するための方法において、 前記ディスプレイ画面上の画面位置インジケータのイン
ジケータ位置を判定するステップと、 前記インジケータ位置における表示画像の存在を検出す
るステップと、 前記コンピュータ・システムから音声を投射するステッ
プであって、前記音声が前記表示画像に関係し、前記音
声が前記コンピュータ・システムから空間的に変位した
発散点から発散するものとして認知できるように前記音
声が前記コンピュータ・システムから離れた点に投射さ
れるステップとを含む方法。 - 【請求項２】前記発散点の位置が前記表示画像の所定の
特性に関係する、請求項１に記載の方法。 - 【請求項３】前記所定の特性が、前記ディスプレイ画面
上の前記表示画像の相対位置である、請求項２に記載の
方法。 - 【請求項４】前記音声が、前記コンピュータ・システム
から３次元に変位した発散点に投射される、請求項１に
記載の方法。 - 【請求項５】複数の表示画像の存在が検出される、請求
項１に記載の方法。 - 【請求項６】前記複数の表示画像が前記ディスプレイ画
面上の複数の位置に位置する、請求項５に記載の方法。 - 【請求項７】前記複数の表示画像が前記ディスプレイ画
面上の単一点でオーバレイされた少なくとも２つの表示
画像を含む、請求項５に記載の方法。 - 【請求項８】前記ディスプレイ画面上に複数のユーザ選
択を提示するステップであって、前記ユーザ選択が前記
表示画像に関係するステップと、 前記ユーザによって行われた選択を実施し、選択した音
声を対応する選択済み表示画像に関連付けるステップと
をさらに含む、請求項１に記載の方法。 - 【請求項９】前記ユーザ選択が、前記音声の前記投射を
実施するための選択を含む、請求項８に記載の方法。 - 【請求項１０】前記ユーザ選択が特定のタイプの表示画
像の選択を含み、前記特定のタイプが関連の選択可能特
定音声に関係する、請求項８に記載の方法。 - 【請求項１１】前記特定のタイプの表示画像がテキスト
の表示を含む、請求項１０に記載の方法。 - 【請求項１２】前記特定のタイプの表示画像がハイパー
テキスト・リンクの表示を含む、請求項１０に記載の方
法。 - 【請求項１３】前記特定のタイプの表示画像がスクロー
ル・バー機能標識（function indicium）の表示を含
む、請求項１０に記載の方法。 - 【請求項１４】前記特定のタイプの表示画像がディスプ
レイ・コンテナ（display container）を含む、請求項
１０に記載の方法。 - 【請求項１５】前記ディスプレイ・コンテナがウィンド
ウ提示（window presentation）を含む、請求項１４に
記載の方法。 - 【請求項１６】前記特定のタイプの表示画像がメニュー
機能標識の表示を含む、請求項１０に記載の方法。 - 【請求項１７】前記特定のタイプの表示画像がグラフィ
ック画像の表示を含む、請求項１０に記載の方法。 - 【請求項１８】前記グラフィック画像が実行可能機能を
表す、請求項１７に記載の方法。 - 【請求項１９】複数のタイプの表示画像を含む、請求項
１０に記載の方法。 - 【請求項２０】各選択済み特定タイプの表示画像に関連
付けるべき特定の音声を前記ユーザが選択できるように
するステップをさらに含む、請求項１９に記載の方法。 - 【請求項２１】機械可読コード化標識を含む記憶媒体に
おいて、前記記憶媒体が読取装置に選択的に結合され、
前記読取装置がコンピュータ・システム内の処理回路に
選択的に結合され、前記読取装置が前記機械可読コード
化標識を読み取り、それを表すプログラム信号を供給す
るように選択的に動作可能であり、前記プログラム信号
が前記コンピュータ・システムのディスプレイ画面に関
連して音響効果を提示するために効果的であり、前記プ
ログラム信号が、 前記ディスプレイ画面上の画面位置インジケータのイン
ジケータ位置を判定するステップと、 前記インジケータ位置における表示画像の存在を検出す
るステップと、 前記コンピュータ・システムから音声を投射するステッ
プであって、前記音声が前記表示画像に関係し、前記音
声が前記コンピュータ・システムから空間的に変位した
発散点から発散するものとして認知できるように前記音
声が前記コンピュータ・システムから離れた点に投射さ
れるステップとを実施するように選択的に動作可能であ
る記憶媒体。 - 【請求項２２】システム・バスと、 前記システム・バスに結合される音声発生サブシステム
と、 前記システム・バスに接続されたプロセッサ装置と、 前記システム・バスに接続されたメモリと、 ディスプレイ画面を含むディスプレイ装置を含み、前記
ディスプレイ装置が前記システム・バスに結合され、前
記プロセッサ装置が、前記音声発生サブシステムをして
コンピュータ・システムのディスプレイ画面に関連して
音響効果を提示させるために前記メモリから受け取った
プログラム信号に応答し、前記プログラム信号が、 前記ディスプレイ画面上の画面位置インジケータのイン
ジケータ位置を判定するステップと、 前記インジケータ位置における表示画像の存在を検出す
るステップと、 前記コンピュータ・システムから音声を投射するステッ
プであって、前記音声が前記表示画像に関係し、前記音
声が前記コンピュータ・システムから空間的に変位した
発散点から発散するものとして認知できるように前記音
声が前記コンピュータ・システムから離れた点に投射さ
れるステップとを実施するように選択的に動作可能であ
る、コンピュータ・システム。 - 【請求項２３】コンピュータ・システムのディスプレイ
画面に関連して音響効果を提示するための方法におい
て、 所定の表示画像に関するディスプレイ画面位置を判定す
るステップと、 前記コンピュータ・システムから音声を投射するステッ
プであって、前記音声が前記表示画像に関係し、前記音
声が前記コンピュータ・システムから空間的に変位した
発散点から発散するものとして認知できるように前記音
声が投射されるステップとを含む方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/276387 | 1999-03-25 | ||
| US09/276,387 US6469712B1 (en) | 1999-03-25 | 1999-03-25 | Projected audio for computer displays |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001057700A true JP2001057700A (ja) | 2001-02-27 |
| JP3575598B2 JP3575598B2 (ja) | 2004-10-13 |
Family
ID=23056464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000074090A Expired - Fee Related JP3575598B2 (ja) | 1999-03-25 | 2000-03-16 | コンピュータ・ディスプレイ用の音声投射方法及びシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6469712B1 (ja) |
| JP (1) | JP3575598B2 (ja) |
| KR (1) | KR100391400B1 (ja) |
| TW (1) | TW535092B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366765A (ja) * | 2001-06-06 | 2002-12-20 | Bank Of Tokyo-Mitsubishi Ltd | 送金サービス提供システムおよび方法 |
| KR20140096747A (ko) * | 2013-01-29 | 2014-08-06 | 엘지전자 주식회사 | 전자 기기 |
Families Citing this family (202)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6741264B1 (en) * | 1999-05-11 | 2004-05-25 | Gific Corporation | Method of generating an audible indication of data stored in a database |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| JP3910537B2 (ja) * | 2001-03-26 | 2007-04-25 | 富士通株式会社 | マルチチャネル情報処理装置 |
| GB0110326D0 (en) * | 2001-04-27 | 2001-06-20 | Ibm | Method and apparatus for interoperation between legacy software and screen reader programs |
| US6864878B2 (en) * | 2002-03-29 | 2005-03-08 | Xerox Corporation | Tactile overlays for screens |
| US20030234763A1 (en) * | 2002-06-24 | 2003-12-25 | Xerox Corporation | System and method for audible feedback for touch screen displays |
| US6999066B2 (en) * | 2002-06-24 | 2006-02-14 | Xerox Corporation | System for audible feedback for touch screen displays |
| US20040051746A1 (en) * | 2002-09-13 | 2004-03-18 | Xerox Corporation | Embedded control panel for multi-function equipment |
| US7176898B2 (en) * | 2002-09-13 | 2007-02-13 | Xerox Corporation | Removable control panel for multi-function equipment |
| US20060241945A1 (en) * | 2005-04-25 | 2006-10-26 | Morales Anthony E | Control of settings using a command rotor |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US20070100883A1 (en) * | 2005-10-31 | 2007-05-03 | Rose Daniel E | Methods for providing audio feedback during the navigation of collections of information |
| US7693912B2 (en) | 2005-10-31 | 2010-04-06 | Yahoo! Inc. | Methods for navigating collections of information in varying levels of detail |
| US7770118B2 (en) * | 2006-02-13 | 2010-08-03 | Research In Motion Limited | Navigation tool with audible feedback on a handheld communication device having a full alphabetic keyboard |
| US20070192027A1 (en) * | 2006-02-13 | 2007-08-16 | Research In Motion Limited | Navigation tool with audible feedback on a wireless handheld communication device |
| US8209063B2 (en) * | 2006-02-13 | 2012-06-26 | Research In Motion Limited | Navigation tool with audible feedback on a handheld communication device |
| US7596765B2 (en) * | 2006-05-23 | 2009-09-29 | Sony Ericsson Mobile Communications Ab | Sound feedback on menu navigation |
| US7844354B2 (en) * | 2006-07-27 | 2010-11-30 | International Business Machines Corporation | Adjusting the volume of an audio element responsive to a user scrolling through a browser window |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8037414B2 (en) | 2006-09-14 | 2011-10-11 | Avaya Inc. | Audible computer user interface method and apparatus |
| US20080229206A1 (en) * | 2007-03-14 | 2008-09-18 | Apple Inc. | Audibly announcing user interface elements |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US8127235B2 (en) | 2007-11-30 | 2012-02-28 | International Business Machines Corporation | Automatic increasing of capacity of a virtual space in a virtual world |
| US20090164919A1 (en) | 2007-12-24 | 2009-06-25 | Cary Lee Bates | Generating data for managing encounters in a virtual world environment |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| JP5159375B2 (ja) | 2008-03-07 | 2013-03-06 | インターナショナル・ビジネス・マシーンズ・コーポレーション | メタバースにおけるオブジェクトの真贋判断システム、方法及びそのコンピュータ・プログラム |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8490026B2 (en) * | 2008-10-27 | 2013-07-16 | Microsoft Corporation | Painting user controls |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US9389829B2 (en) * | 2009-04-09 | 2016-07-12 | Aliphcom | Spatial user interface for audio system |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US8381107B2 (en) | 2010-01-13 | 2013-02-19 | Apple Inc. | Adaptive audio feedback system and method |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
| US9205328B2 (en) | 2010-02-18 | 2015-12-08 | Activision Publishing, Inc. | Videogame system and method that enables characters to earn virtual fans by completing secondary objectives |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US9682324B2 (en) | 2010-05-12 | 2017-06-20 | Activision Publishing, Inc. | System and method for enabling players to participate in asynchronous, competitive challenges |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| WO2012140525A1 (en) | 2011-04-12 | 2012-10-18 | International Business Machines Corporation | Translating user interface sounds into 3d audio space |
| GB2490479A (en) * | 2011-04-20 | 2012-11-07 | Nokia Corp | Use of a virtual sound source to enhance a user interface |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| US9301069B2 (en) * | 2012-12-27 | 2016-03-29 | Avaya Inc. | Immersive 3D sound space for searching audio |
| US9838824B2 (en) | 2012-12-27 | 2017-12-05 | Avaya Inc. | Social media processing with three-dimensional audio |
| US9892743B2 (en) | 2012-12-27 | 2018-02-13 | Avaya Inc. | Security surveillance via three-dimensional audio space presentation |
| US10203839B2 (en) | 2012-12-27 | 2019-02-12 | Avaya Inc. | Three-dimensional generalized space |
| US10137376B2 (en) | 2012-12-31 | 2018-11-27 | Activision Publishing, Inc. | System and method for creating and streaming augmented game sessions |
| CN113470640B (zh) | 2013-02-07 | 2022-04-26 | 苹果公司 | 数字助理的语音触发器 |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| WO2014144949A2 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | Training an at least partial voice command system |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| WO2014200728A1 (en) | 2013-06-09 | 2014-12-18 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| AU2014278595B2 (en) | 2013-06-13 | 2017-04-06 | Apple Inc. | System and method for emergency calls initiated by voice command |
| WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| EP3480811A1 (en) | 2014-05-30 | 2019-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US10286326B2 (en) | 2014-07-03 | 2019-05-14 | Activision Publishing, Inc. | Soft reservation system and method for multiplayer video games |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US11351466B2 (en) | 2014-12-05 | 2022-06-07 | Activision Publishing, Ing. | System and method for customizing a replay of one or more game events in a video game |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US10118099B2 (en) | 2014-12-16 | 2018-11-06 | Activision Publishing, Inc. | System and method for transparently styling non-player characters in a multiplayer video game |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10486068B2 (en) | 2015-05-14 | 2019-11-26 | Activision Publishing, Inc. | System and method for providing dynamically variable maps in a video game |
| US10315113B2 (en) | 2015-05-14 | 2019-06-11 | Activision Publishing, Inc. | System and method for simulating gameplay of nonplayer characters distributed across networked end user devices |
| US10286314B2 (en) | 2015-05-14 | 2019-05-14 | Activision Publishing, Inc. | System and method for providing continuous gameplay in a multiplayer video game through an unbounded gameplay session |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10086266B2 (en) | 2015-06-15 | 2018-10-02 | Activision Publishing, Inc. | System and method for uniquely identifying physical trading cards and incorporating trading card game items in a video game |
| US10471348B2 (en) | 2015-07-24 | 2019-11-12 | Activision Publishing, Inc. | System and method for creating and sharing customized video game weapon configurations in multiplayer video games via one or more social networks |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US11185784B2 (en) | 2015-10-08 | 2021-11-30 | Activision Publishing, Inc. | System and method for generating personalized messaging campaigns for video game players |
| US10099140B2 (en) | 2015-10-08 | 2018-10-16 | Activision Publishing, Inc. | System and method for generating personalized messaging campaigns for video game players |
| US10232272B2 (en) | 2015-10-21 | 2019-03-19 | Activision Publishing, Inc. | System and method for replaying video game streams |
| US10245509B2 (en) | 2015-10-21 | 2019-04-02 | Activision Publishing, Inc. | System and method of inferring user interest in different aspects of video game streams |
| US10376781B2 (en) | 2015-10-21 | 2019-08-13 | Activision Publishing, Inc. | System and method of generating and distributing video game streams |
| US10694352B2 (en) | 2015-10-28 | 2020-06-23 | Activision Publishing, Inc. | System and method of using physical objects to control software access |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US10300390B2 (en) | 2016-04-01 | 2019-05-28 | Activision Publishing, Inc. | System and method of automatically annotating gameplay of a video game based on triggering events |
| US10226701B2 (en) | 2016-04-29 | 2019-03-12 | Activision Publishing, Inc. | System and method for identifying spawn locations in a video game |
| US10175941B2 (en) * | 2016-05-24 | 2019-01-08 | Oracle International Corporation | Audio feedback for continuous scrolled content |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| US10179289B2 (en) | 2016-06-21 | 2019-01-15 | Activision Publishing, Inc. | System and method for reading graphically-encoded identifiers from physical trading cards through image-based template matching |
| US10573065B2 (en) | 2016-07-29 | 2020-02-25 | Activision Publishing, Inc. | Systems and methods for automating the personalization of blendshape rigs based on performance capture data |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10463964B2 (en) | 2016-11-17 | 2019-11-05 | Activision Publishing, Inc. | Systems and methods for the real-time generation of in-game, locally accessible heatmaps |
| US10709981B2 (en) | 2016-11-17 | 2020-07-14 | Activision Publishing, Inc. | Systems and methods for the real-time generation of in-game, locally accessible barrier-aware heatmaps |
| US10500498B2 (en) | 2016-11-29 | 2019-12-10 | Activision Publishing, Inc. | System and method for optimizing virtual games |
| US10055880B2 (en) | 2016-12-06 | 2018-08-21 | Activision Publishing, Inc. | Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US10861079B2 (en) | 2017-02-23 | 2020-12-08 | Activision Publishing, Inc. | Flexible online pre-ordering system for media |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US10818060B2 (en) | 2017-09-05 | 2020-10-27 | Activision Publishing, Inc. | Systems and methods for guiding motion capture actors using a motion reference system |
| US10974150B2 (en) | 2017-09-27 | 2021-04-13 | Activision Publishing, Inc. | Methods and systems for improved content customization in multiplayer gaming environments |
| US10561945B2 (en) | 2017-09-27 | 2020-02-18 | Activision Publishing, Inc. | Methods and systems for incentivizing team cooperation in multiplayer gaming environments |
| US11040286B2 (en) | 2017-09-27 | 2021-06-22 | Activision Publishing, Inc. | Methods and systems for improved content generation in multiplayer gaming environments |
| US10537809B2 (en) | 2017-12-06 | 2020-01-21 | Activision Publishing, Inc. | System and method for validating video gaming data |
| US10463971B2 (en) | 2017-12-06 | 2019-11-05 | Activision Publishing, Inc. | System and method for validating video gaming data |
| US10981051B2 (en) | 2017-12-19 | 2021-04-20 | Activision Publishing, Inc. | Synchronized, fully programmable game controllers |
| US10864443B2 (en) | 2017-12-22 | 2020-12-15 | Activision Publishing, Inc. | Video game content aggregation, normalization, and publication systems and methods |
| US10596471B2 (en) | 2017-12-22 | 2020-03-24 | Activision Publishing, Inc. | Systems and methods for enabling audience participation in multi-player video game play sessions |
| US11278813B2 (en) | 2017-12-22 | 2022-03-22 | Activision Publishing, Inc. | Systems and methods for enabling audience participation in bonus game play sessions |
| CN109189362B (zh) * | 2018-07-09 | 2022-07-12 | Oppo广东移动通信有限公司 | 发声控制方法、装置、电子设备及存储介质 |
| US11263670B2 (en) | 2018-11-19 | 2022-03-01 | Activision Publishing, Inc. | Systems and methods for dynamically modifying video game content based on non-video gaming content being concurrently experienced by a user |
| US11192028B2 (en) | 2018-11-19 | 2021-12-07 | Activision Publishing, Inc. | Systems and methods for the real-time customization of video game content based on player data |
| US11115712B2 (en) | 2018-12-15 | 2021-09-07 | Activision Publishing, Inc. | Systems and methods for indexing, searching for, and retrieving digital media |
| US11679330B2 (en) | 2018-12-18 | 2023-06-20 | Activision Publishing, Inc. | Systems and methods for generating improved non-player characters |
| US11305191B2 (en) | 2018-12-20 | 2022-04-19 | Activision Publishing, Inc. | Systems and methods for controlling camera perspectives, movements, and displays of video game gameplay |
| US11344808B2 (en) | 2019-06-28 | 2022-05-31 | Activision Publishing, Inc. | Systems and methods for dynamically generating and modulating music based on gaming events, player profiles and/or player reactions |
| US11097193B2 (en) | 2019-09-11 | 2021-08-24 | Activision Publishing, Inc. | Methods and systems for increasing player engagement in multiplayer gaming environments |
| US11423605B2 (en) | 2019-11-01 | 2022-08-23 | Activision Publishing, Inc. | Systems and methods for remastering a game space while maintaining the underlying game simulation |
| US11712627B2 (en) | 2019-11-08 | 2023-08-01 | Activision Publishing, Inc. | System and method for providing conditional access to virtual gaming items |
| US11537209B2 (en) | 2019-12-17 | 2022-12-27 | Activision Publishing, Inc. | Systems and methods for guiding actors using a motion capture reference system |
| US11420122B2 (en) | 2019-12-23 | 2022-08-23 | Activision Publishing, Inc. | Systems and methods for controlling camera perspectives, movements, and displays of video game gameplay |
| US11563774B2 (en) | 2019-12-27 | 2023-01-24 | Activision Publishing, Inc. | Systems and methods for tracking and identifying phishing website authors |
| US11524234B2 (en) | 2020-08-18 | 2022-12-13 | Activision Publishing, Inc. | Multiplayer video games with virtual characters having dynamically modified fields of view |
| US11351459B2 (en) | 2020-08-18 | 2022-06-07 | Activision Publishing, Inc. | Multiplayer video games with virtual characters having dynamically generated attribute profiles unconstrained by predefined discrete values |
| US11833423B2 (en) | 2020-09-29 | 2023-12-05 | Activision Publishing, Inc. | Methods and systems for generating level of detail visual assets in a video game |
| US11724188B2 (en) | 2020-09-29 | 2023-08-15 | Activision Publishing, Inc. | Methods and systems for selecting a level of detail visual asset during the execution of a video game |
| US11717753B2 (en) | 2020-09-29 | 2023-08-08 | Activision Publishing, Inc. | Methods and systems for generating modified level of detail visual assets in a video game |
| US11439904B2 (en) | 2020-11-11 | 2022-09-13 | Activision Publishing, Inc. | Systems and methods for imparting dynamic and realistic movement to player-controlled avatars in video games |
| US11794107B2 (en) | 2020-12-30 | 2023-10-24 | Activision Publishing, Inc. | Systems and methods for improved collision detection in video games |
| US11853439B2 (en) | 2020-12-30 | 2023-12-26 | Activision Publishing, Inc. | Distributed data storage system providing enhanced security |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4817149A (en) | 1987-01-22 | 1989-03-28 | American Natural Sound Company | Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization |
| JPH05113864A (ja) * | 1991-10-22 | 1993-05-07 | Canon Inc | マルチウインドウ動画表示方法及び装置 |
| US5982352A (en) * | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
| US5337363A (en) * | 1992-11-02 | 1994-08-09 | The 3Do Company | Method for generating three dimensional sound |
| US5533182A (en) * | 1992-12-22 | 1996-07-02 | International Business Machines Corporation | Aural position indicating mechanism for viewable objects |
| US5461399A (en) * | 1993-12-23 | 1995-10-24 | International Business Machines | Method and system for enabling visually impaired computer users to graphically select displayed objects |
| WO1995034186A1 (en) * | 1994-06-03 | 1995-12-14 | Apple Computer, Inc. | System for producing directional sound in computer-based virtual environments |
| US5801692A (en) * | 1995-11-30 | 1998-09-01 | Microsoft Corporation | Audio-visual user interface controls |
-
1999
- 1999-03-25 US US09/276,387 patent/US6469712B1/en not_active Expired - Lifetime
-
2000
- 2000-03-16 KR KR10-2000-0013302A patent/KR100391400B1/ko not_active IP Right Cessation
- 2000-03-16 JP JP2000074090A patent/JP3575598B2/ja not_active Expired - Fee Related
- 2000-03-22 TW TW089105198A patent/TW535092B/zh not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366765A (ja) * | 2001-06-06 | 2002-12-20 | Bank Of Tokyo-Mitsubishi Ltd | 送金サービス提供システムおよび方法 |
| KR20140096747A (ko) * | 2013-01-29 | 2014-08-06 | 엘지전자 주식회사 | 전자 기기 |
| KR102039425B1 (ko) * | 2013-01-29 | 2019-11-01 | 엘지전자 주식회사 | 전자 기기 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3575598B2 (ja) | 2004-10-13 |
| KR20000062913A (ko) | 2000-10-25 |
| TW535092B (en) | 2003-06-01 |
| KR100391400B1 (ko) | 2003-07-12 |
| US6469712B1 (en) | 2002-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3575598B2 (ja) | コンピュータ・ディスプレイ用の音声投射方法及びシステム | |
| US6404442B1 (en) | Image finding enablement with projected audio | |
| JP6993469B2 (ja) | 複数の表示モードを有するメディアアイテムをナビゲート、表示、及び編集するためのデバイス、方法、及びグラフィカルユーザインタフェース | |
| JP7072717B2 (ja) | 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース | |
| AU2021200102B2 (en) | Device, method, and graphical user interface for managing folders | |
| US8547348B2 (en) | Method and apparatus for providing finger touch layers in a user agent | |
| CN111339032B (zh) | 管理具有多页面的文件夹的设备、方法和图形用户界面 | |
| CN102763079B (zh) | 用自定义控件取代键盘的应用程序编程接口(api) | |
| US6643824B1 (en) | Touch screen region assist for hypertext links | |
| CN102754071B (zh) | 具有包含具有另一设备的显示分辨率的模式的多个应用程序显示模式的设备和方法 | |
| US8949746B2 (en) | Providing access for blind users on kiosks | |
| US20110087974A1 (en) | User interface controls including capturing user mood in response to a user cue | |
| JP2006163948A (ja) | 情報処理装置及びその方法 | |
| CN104471521A (zh) | 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面 | |
| JP2001195165A (ja) | Ｇｕｉ制御方法及び装置並びに記録媒体 | |
| JP2010049679A (ja) | 情報処理装置、情報処理方法、およびコンピュータプログラム | |
| CN101201718A (zh) | 可听计算机用户界面方法和装置 | |
| JP2006244353A (ja) | 情報処理装置、画像移動指示方法及びプログラム | |
| JPH08287288A (ja) | 対話式三次元グラフィックスにおける複数側面アノテーション及びホットリンク | |
| US20100306678A1 (en) | User interface controls including capturing user mood | |
| US7847677B2 (en) | Method and system for providing auditory feedback for the visually impaired when defining visual models | |
| JP2004054854A (ja) | ポインティングデバイスによる入力方法および入力システム | |
| CN110147194A (zh) | 信息发送方法及装置 | |
| AU2016203309B2 (en) | Device, method, and graphical user interface for managing folders | |
| JP2006260575A (ja) | 情報処理装置、画像移動指示方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040315 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040521 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040521 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040616 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040616 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20040616 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040630 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070716 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |