JP2007537610A - オーディオビジュアル通信向上方法及びシステム - Google Patents

オーディオビジュアル通信向上方法及びシステム Download PDF

Info

Publication number
JP2007537610A
JP2007537610A JP2006507623A JP2006507623A JP2007537610A JP 2007537610 A JP2007537610 A JP 2007537610A JP 2006507623 A JP2006507623 A JP 2006507623A JP 2006507623 A JP2006507623 A JP 2006507623A JP 2007537610 A JP2007537610 A JP 2007537610A
Authority
JP
Japan
Prior art keywords
signal
user
image
noise
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006507623A
Other languages
English (en)
Other versions
JP4649400B2 (ja
Inventor
アシュケナジ,アサフ
シュムエリー,ヨラム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elbit Systems Ltd
Original Assignee
Elbit Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elbit Systems Ltd filed Critical Elbit Systems Ltd
Priority claimed from PCT/IL2004/000398 external-priority patent/WO2004099851A2/en
Publication of JP2007537610A publication Critical patent/JP2007537610A/ja
Application granted granted Critical
Publication of JP4649400B2 publication Critical patent/JP4649400B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】環境に応じたユーザ通信を増強する新規な方法及びシステムを提供する。
【解決手段】本発明に係るオーディオ・ビジュアル通信向上システムは、ユーザの視線を決定する視線決定システムと、前記視線決定システムに接続する画像表示システムと、を備え、前記決定したユーザ視線に従って、前記画像表示システムが、目に対する補助画像を表示し、該補助画像及び風景画像の特性を制御する。
【選択図】図1

Description

本開示技術は、概してオーディオビジュアル・システム関し、特に、環境に従って通信を強化する方法及びシステムに関する。
戦闘機のパイロットは、任務に従事している間、同時に異なる業務を実行することで占められる。それは、例えば、操縦、航空機の飛行、ターゲットを狙い、撃ち、そして地上管制あるいは他のパイロットとの通信等である。
これらの作業を遂行する間にパイロットの負担を和らげ、パイロットの遂行レベルを増加させるための様々なシステム及び装置が開示されている。かかるシステムは、パイロットのヘルメットに組み込まれたり、パイロットに近接して設置されるのが一般的である。
スピッツァーによる米国特許第6384982号(発明の名称「眼鏡又他のヘッド・ボーン・フレーム用小型画像表示システム」)では、周囲の像を背景にして画像を表示する装置が示されている。
その装置は、画像源、メインレンズ、第1レンズ、第2レンズ及び挿入部分を備えている。前記メインレンズは、眼鏡の規範的なレンズである。前記挿入部分の第1部分は、第1屈折率を有し、その第2部分は、第2屈折率を有する。第1屈折率は、第2屈折率よりも大きい。前記挿入部分は、前記メインレンズの中に設置される。該メインレンズの屈折率は、第1屈折率に等しい。前記第1レンズは、前記画像源と前記メインレンズとの間に配置される。前記第1レンズ及び前記画像源は、第1軸に沿ってメインレンズのトップに配置される。前記第2レンズは、前記第1軸と垂直な第2軸に沿って、前記挿入部分とユーザの目との間に配置される。
前記画像源から放射される光線は、前記第1レンズ及び前記メインレンズを通過し、前記第1部分に突き当たる。前記第1屈折率及び前記第2屈折率の相対的な値は、前記光線が、前記挿入部分から全体的に内部で前記第2レンズへ反射され、ユーザの目に向かう、というようなものである。前記周囲の像から放射される他の光線は、前記挿入部分及び前記第2レンズを通過し、ユーザの目に届く。
前記装置は、更にヘッド・バンド、1又は2つのイヤー・キャップに取り付けられたトランスデューサ及びマイクロホンを備えることができる。前記マイクロホンには、異なるノイズを消去する処理(アレンジメント)が含まれる。
ケリーによる米国特許第5861994号(発明の名称「モジュラー式双眼鏡の電子画像システム」)では、眺めた風景に画像を重ねるポータブル双眼電子画像システムが示されている。該システムは、ユーザにステレオ音響を提供し、ビデオ記録並びに電子装置への入出力を可能にするものである。
前記ポータブル双眼電子画像システムは、コア・システムのハウジング、ディスプレイ・モジュール、デジタルカメラ・モジュール並びにバッテリー及びビデオ・カセット・レコーダ・モジュールを備える。前記コア・システムは、双眼ビューイング・サブシステム、ステレオスピーカー、電子システム制御サブシステム、入力/出力インターフェース、3つのモジュール・ポート及び入力キーパッドを備える。前記ディスプレイ・モジュールは、ディスプレイ・サブシステムを含んでいる。前記バッテリー及びビデオ・カセット・レコーダ・モジュールは、記録装置及び再生装置並びにバッテリーを備える。
前記双眼ビューイング・サブシステムは、映写レンズ、折り畳みミラー、結合収斂フレスネル(フレネル)レンズ、反射型ストライプ・プリズム・ビーム・スプリッティング・サーフィス及び眼レンズを備えている。前記電子システム制御サブシステムは、前記ステレオスピーカー、前記入力/出力インターフェース、前記入力キーパッド及び前記3つのモジュール・ポートに接続している。前記ディスプレイ・モジュール、デジタルカメラ・モジュール並びに前記バッテリー及びビデオ・カセット・レコーダー・モジュールは、前記ポータブル双眼電子画像システムに接続している。
前記折り畳みミラーは、前記眼レンズの側面に配置される。前記反射型ストライプ・プリズム・ビーム・スプリッティング・サーフィスは、前記折り畳みミラー及び眼レンズの前方に配置される。前記結合収斂フレネルレンズは、一方の側の前記反射型ストライプ・プリズム・ビーム・スプリッティング・サーフィスと、他方の側の前記折り畳みミラー及び眼レンズとの間に配置される。前記映写レンズは、前記折り畳みミラーと前記ディスプレイ・サブシステムとの間に配置される。
前記ディスプレイ・サブシステムは、前記映写レンズを介して前記折り畳みミラーに画像を投影する。そして、該折り畳みミラーは、前記結合収斂フレネルレンズ及び前記反射型ストライプ・プリズム・ビーム・スプリッティング・サーフィスに向かって画像を反射する。前記反射型ストライプ・プリズム・ビーム・スプリッティング・サーフィスは、前記画像を反射し、前記結合収斂フレネルレンズは前記画像を眼レンズに収束させる。また、その風景画像は、前記反射型ストライプ・プリズム・ビーム・スプリッティング・サーフィスを通過し、前記結合収斂フレネルレンズを通って眼レンズに到達する。
スピッツアーにより公開された米国特許6349001号(アイグラス・インターフェース・システム)には、ユーザが眺めた風景画像をキャプチャーし、ユーザにオーディオ通信を提供するアイグラスが示されている。
前記アイグラスは、第1テンプル、第2テンプル、第1レンズ、第2レンズ。カメラ・アセンブリ、ビーム・スプリッター・コーティング、ミラー・コーティング、第3レンズ、オーディオ入力サブシステム、オーディオ出力サブシステム、インターコネクション・サブシステム及び電源サブシステムを含んでいる。
前記第1テンプル及び第2テンプルは、それぞれ第1レンズ及び第2レンズに接続している。第1レンズ及び第2レンズは、ユーザの目の前に配置される。カメラ・アセンブリは、第1テンプルに接続している。カメラ・アセンブリは、ユーザの見つめている方向に照準を合わせる。ビーム・スプリッター・コーティング及びミラー・コーティングは、第1レンズ内に組み込まれる。第3レンズは、カメラ・アセンブリ及びミラー・コーティングとの間に配置される。
ビーム・スプリッター・コーティングは、風景画像それぞれの光線の部分、ミラー・コーティングの部分及びユーザの目の他の部分を反射する。ミラー・コーティングは、カメラ・アセンブリへ前記風景画像それぞれの光線を反射する。
リー等による米国特許第6456438号(発明の名称「可変浸水口径食ディスプレイ」)では、選択した方法で現実世界のイメージを背景にして、ユーザに対して生成画像を表示するヘッドマウント・ディスプレイ(HMD)が示されている。
前記HMDは、コンバイナ、可変伝達素子、ディスプレイ光学システム及びコントロール・モジュールを含んでいる。前記コンバイナは、ユーザの目と前記可変伝達素子との間に配置されている。前記コントロール・モジュールは、前記可変伝達素子に接続している。前記コンバイナは、前記ディスプレイ光学システムによって生成された光学データの焦点をユーザの目に合わせる。現実世界のイメージは、前記可変伝達素子及び前記コンバイナを通過して、ユーザの目に届く。前記HMDは、ユーザの視線方向と一致させるために、生成画像と共に前記現実世界のイメージを登録するアイ・トラッキング装置を含んでいる。
ラリソン等による米国特許第6160666号(発明の名称「パーソナル画像表示システム」)では、環境光を背景にしてユーザ用にビデオ画像を表示し、音を出力するHMDが示されている。
前記HMDは、右スピーカー、左スピーカー、右テンプル・ピース、左テンプル・ピース、ストラップ、前部ブレース、光学素子及びトラッキング装置を含んでいる。前記光学素子は、画像ジェネレーター、フィールド修正装置、折り畳みミラー及びコンバイナを含んでいる。前記右スピーカー及び左スピーカーは、それぞれ右テンプル・ピース及び左テンプル・ピースに取り付けられている。右テンプル・ピース、左テンプル・ピース、ストラップ及び前部ブレースは、一緒にして取り付けられている。
前記光学素子は、前部ブレースに取り付けられている。前記トラッキング装置は、前記右テンプル・ピース又は左テンプル・ピースの何れかに取り付けられている。折り畳みミラーは、前記画像ジェネレーターから受け取った画像の少なくとも一部分を前記コンバイナに向かって反射する。前記コンバイナは、前記折り畳みミラーから受け取った少なくとも画像の一部分をユーザの目に向けて反射する。
前記コンバイナが、少なくとも一部透過的である場合には、ユーザに周囲の状況及び生成画像の光景を同時に提供するために、前記画像と環境からの光とを合成する。前記トラッキング装置は、ユーザの頭の位置、姿勢、場所及び動作のそれぞれの情報を集める。該情報は、ユーザの目に対する生成画像を制御するために使用される。
マクガイア,ジュニアによる米国特許第5422653号(発明の名称「受動的バーチャル・リアリティ」)では、カメラマンの目の位置に従って、表示されるオブジェクト空間の一部を制御するシステムが示されている。
この特許では、「受動的ビューアー」という語は、下記の能動的知覚オブザーバの頭の軸又は視軸と同様に、頭の軸又は視軸は、身体に追従する、ということを意味する。「受動的ビューアー」という語は、1つの身体の活動又は影響(そこに映し出された画像の情報量に作用する制御信号を供給するために監視されている)を表現するために使われる。
前記システムは、光源、ビデオ・カメラ、アイ・ポジション・モニタ、第1の制御機器及びトランスミッタを含んでいる。受動的ビューアーのヘルメットは、レシーバー、第2の制御機器、画像源、光透過型液晶ディスプレイ、プリズム、第1の反射ミラー、第2の反射ミラー、三層”サンドイッチ”及び複数の音源を含んでいる。
三層”サンドイッチ”は、光バルブ、可変倍率レンズ及びリズリー・プリズムを含んでいる。アイ・ポジション・モニタは、撮影技師の目の上へ赤外線の不可視光(検出のために反射される)を導くオキュロメーターである。前記第1の反射ミラー及び第2の反射ミラーは、受動的ビューアーの右目及び左目の前にそれぞれ配置される。
前記アイ・ポジション・ミラーは、撮影技師(即ち、受動的ビューアー)の目の位置を監視し、前記第1の制御機器に制御信号を供給する。第1の制御機器は、ビデオ・カメラで高精度に撮像されたオブジェクト空間の一部を制御する。ビデオ・カメラは、第1の制御機器に画像情報を提供し、第1の制御機器は、前記画像情報を前記トランスミッタ及び前記レシーバーを介して前記第2の制御機器に伝達する。
前記第2の制御機器は、能動的ビューアーの目の視軸に従って、低い精度のコンポーネントに係るオブジェクト空間の高精度コンポーネントの位置を変化させるために前記画像源を制御する。受動的ビューアーの目は、画像源によって生成された画像を観察する
この方式では、前記システムは、撮像されたオブジェクト空間に係る高い精度のコンポーネントの位置の変化に従って、注視を変化させる受動的ビューアーを含んでいる。
前記光透過型液晶ディスプレイは、プリズムに画像を提供し、該プリズムは、三層”サンドイッチ”を介して、強度を50%低減させた画像を前記第1の反射ミラー及び第2の反射ミラーに伝達する。第1の反射ミラー及び第2の反射ミラーは、前記強度を低減した画像を受動的ビューアーの右目及び左目にそれぞれ反射する。音源は、前記受動的ビューアーにオールラウンドな音の効果を提供する。
ロンザーニ等による米国特許第6421031号(発明の名称「カメラ・ディスプレイ・システム」)では、ユーザのためにオーディオビジュアル通信を提供するヘッドマウント・ディスプレイ・システムが示されている。
前記システムは、ヘッドマウント・ディスプレイ、折り畳みキーボード、ヘッドマウント・コンピュータ、入力装置及び通信モジュールを含んでいる。前記ヘッドマウント・ディスプレイは、光学アセンブリ、コネクタ及びスピーカー・アセンブリを含んでいる。前記ヘッドマウント・ディスプレイは、前記コネクタを介して、リモート・ビデオ・ソース及び電源に接続している。前記入力装置は、アイ・トラッカーである。前記通信モジュールは、グローバル・ポジショニング・システム(GPS)及びワイヤレス・トランスデューサを含んでいる。
ヘッドマウント・コンピュータは、中央演算処理装置(CPU)、ビデオボード・モジュール、ディスク・ドライブ・モジュール、少なくとも1つの拡張モジュール及びバッテリー・モジュールを含んでいる。前記ヘッドマウント・コンピュータは、通信モジュール及び分散データ・ネットワークを介して、中央オペレーション・コンピュータと通信する。前記ワイヤレス・トランスデューサは、オーディオ、ビデオ及びデータ信号を送受信する。前記光学アセンブリは、ユーザの目にビデオ画像を提供する。
トラバース等による米国特許第5682172号(発明の名称「着用者にビデオ及びオーディオ信号を与えるヘッドセット」)では、ユーザにオーディオビジュアル情報を提供するヘッドセットが示されている。
前記ヘッドセットは、固定シェル、バイザー、スピーカー、補償器、選択的に膨らませる浮き袋及び襟首ストラップを含んでいる。前記固定シェルは、サポートビーム及び一組の固定アームを含んでいる。前記バイザーは、ユーザの目に画像を与えるビジュアル・ディスプレイを含んでいる。前記補償器は、オープンセル・フォーム・ベースを含んでいる。前記固定アームは、前記スピーカーを内蔵している。前記スピーカーは、前記補償器と協調する。前記一組の固定アームは、前記サポートビームから延び、前記バイザーは、該サポートビームの中心に取り付けられている。前記襟首ストラップは、前記固定アーム間に拡がっている。前記選択的に膨らませる浮き袋は、前記固定シェルの内部に配置されている。
本開示技術は、環境に応じたユーザ通信を増強する新規な方法及びシステムを提供することを目的とする。
本開示技術に係るオーディオビジュアル通信向上システムは、ユーザの目の視線を決定する視線決定システムと、該視線決定システムに接続する画像表示システムと、を備え、該画像表示システムは、前記決定したユーザ視線に従って、目のための補充画像を表示し、該補充画像及び風景画像の特性を制御する、ことを特徴とする。
本開示技術は、ユーザの視線(LOS)を決定し、補助画像を表示し、決定したLOSに従って、前記補助画像及び風景画像の特性を制御するシステムを提供することによって、従来技術の不利な点を克服した。また、前記システムは、前記決定したLOSに従って、ユーザのために多次元サウンドを生成し、ユーザからの音声命令を受け取り、風景のビデオ画像をキャプチャーする。また、前記システムは、種々のネットワークを介して、様々なコンピュータ(ユーザによって持ち運ばれたもの又は遠隔配置されているものの何れか)と通信できる。
以下、「ユーザ」とは、例えば、パイロットや他の乗組員等のエアクラフトで飛行中の人、宇宙船に居留している人、地上の乗り物内の人、船舶内の人、表面を歩いている人、スキューバダイバー等を示す。
図1A及び1Bを参照すると、図1Aは、本開示技術の一実施形態に従った構成及び動作に係るオーディオビジュアル通信向上システム100を示す概略図である。図1Bは、ヘッドマウント装置と併合したシステム100に類似するシステム160の概略図である。
システム100は、LOS決定システム102、画像表示システム104、多次元オーディオ・システム106、音声指示システム108、バックアップ測位システム110、プロセッサ112、指向性カメラ114、オーディオ通信ノイズ低減システム116、ネットワーク118、通信インターフェース120、個人エリア・ネットワーク122、複数個のウェアラブル・コンピュータ124及び126、ローカル・オンボード・コンピュータ128、リモート・オンボード・コンピュータ130、地上コンピュータ132及び衛星コンピュータ134を含んでいる。
LOS決定システム102は、ヘッド・トラッキング・システム136及びアイ・トラッカー138を含んでいる。画像表示システム104は、ディスプレイ・ユニット140及びアクティブ・バイザー142を含んでいる。
ヘッド・トラッキング・システム136は、大域座標系(例えば、エアクラフトの座標系)で、ヘッドマウント装置160の位置及び方向を決定するシステムである。アイ・トラッカー138は、ヘッドマウント装置160に係るユーザ(図示せず)の1つ以上の目162のLOSを決定する。アイ・トラッカー138と共にヘッド・トラッキング・システム136は、 大域座標系に係る目162のLOSを決定する。
ディスプレイ・ユニット140は、ブラウン管(CRT)、液晶ディスプレイ(LCD)、発光ダイオード(LED)、有機LED、レーザー、蛍光灯部材、白色光部材、フラット・パネル・ディスプレイ、赤外線カメラ(近赤外線、遠赤外線スチール画像カメラ又はビデオカメラの何れか)、可視光ビデオカメラ、スターライト・スコープ−SLS(即ち、検出したオブジェクトの光量を増幅する装置)等であり得る。
ディスプレイ・ユニット140は、目162用の1以上の補充画像(例えば、スピードや海抜といった、車両の機能状態、車両の動的パラメータ等)を表示する。ディスプレイ・ユニット140は、例えば、目162に関連する光量や位置等の前記補充画像の特性を目162のLOSに従って変更する。アクティブ・バイザー142は、ヘッドマウント装置160と併合し、目162によって検出されたオブジェクト164(例えば、風景)の光量を変更するバイザーである。
多次元オーディオ・システム106は、ユーザの頭の位置及び方向に対する音源の位置に従って、ユーザ用の音を生成するオーディオ・システムである。音声指示システム108は、ユーザのスピーチによって発生する音波の形状散逸を決めるコニカル・ボリュームの内部に実質的に配置されている指向性マイクロホンを含んでいる。
このように、前記指向性マイクロホンの出力の信号対雑音比(SNR)は、無指向性マイクロホンと比べると改善されている。
バックアップ測位システム110は、ヘッド・トラッキング・システム136の故障時にヘッド・トラッキング・システム136に取って代わることのできる位置及び方向決定システムである。バックアップ測位システム110は、三角測量によって、オブジェクトの位置及び方向を決定する、光学的、アコースティック的、電磁的なシステムである。指向性カメラ114は、現在の目162のLOSに従って、LOSが変化するカメラである。このため、指向性カメラ114は、現在の目162のLOSに従って、カメラ114のLOSを連続的に再調整するために1以上の移動機構(例えば、電子部品、機械部品又はそれらの組み合わせで構成される)を含んでいる。指向性カメラ114は、ビデオカメラ又はスチール画像カメラの何れかである。
さらに、指向性カメラ114は、指向性カメラ114によって生成されるオブジェクト164(目162のLOSにちょうど沿って位置している)の一部の分解能が、当該LOSに沿って位置していないが目162によって正常に検出されるオブジェクト164の他の部分の分解能より大きくなるように構成されている。
本システムに組み込まれ得る追加モジュール(例えば、発火系、ロボット用エレメント等)と同様に、各画像表示システム104、多次元オーディオ・システム106、音声指示システム108及びオーディオ通信ノイズ低減システムが、ヘッドマウント装置160の位置及び方向だけでなく目162のLOS従って動作する、ということを意味している。
従って、システム100は、実質的に正確な方法でユーザのオーディオビジュアル通信を可能にする。
オーディオ通信ノイズ低減システム116は、ユーザの音声をレシーバーに伝達する間、ユーザが位置する場所の環境雑音を低減する。また、オーディオ通信ノイズ低減システム116は、ユーザの近くの環境雑音がユーザに聞こえないように、所望する音(例えば、地上管制からの受信音声等)を生成する。また、オーディオ通信ノイズ低減システム116は、ユーザ近くの環境雑音を相殺し、ユーザに聞こえないようにすることができる。
各ウェアラブル・コンピュータ124及び126は、ユーザ身に付けているコンピュータである。ローカル・オンボード・コンピュータ128は、例えば、ユーザが乗っているエアクラフト、地上車等の乗り物(図示せず)に搭載されるコンピュータである。
リモート・オンボード・コンピュータ130は、他の乗り物(図示せず)に搭載されるコンピュータである。地上コンピュータ132は、実質的にユーザに対して固定のコンピュータである。衛星コンピュータ134は、宇宙船、宇宙ステーション、人工衛星等に搭載されるコンピュータである。
ネットワーク118は、ローカル・エリア・ネットワーク(LAN)、無線LAN(WLAN)、広域ネットワーク(WAN)、メトロポリタン・エリア・ネットワーク(WAN)、インターネット、イントラネット等である。
ヘッドマウント装置160は、ヘルメット、ヘッドホン、ヘッドバンド、フェイスマスク(即ち、ゴーグル、ガスマスク等)等である。
ヘッド・トラッキング・システム136、アイ・トラッカー138、ディスプレイ・ユニット140、多次元オーディオ・システム106、音声指示システム108、バックアップ測位システム110、プロセッサ112及びオーディオ通信ノイズ低減システム116は、ヘッドマウント装置160に取り付けられている。
アクティブ・バイザー142は、ヘッドマウント装置160の一部である。指向性カメラ114は、ヘッドマウント装置160又はユーザが乗っている乗り物の何れかに取り付けることができる。通信インターフェース 120は、ヘッドマウント装置160又はユーザが乗っている乗り物の何れかに取り付けることができる。
プロセッサ112は、LOS決定システム102、画像表示システム104、多次元オーディオシステム106、音声指示システム108、バックアップ測位システム110、指向性カメラ114、オーディオ通信ノイズ低減システム116及び通信インターフェース120に接続している。
個人エリア・ネットワーク122は、通信インターフェース120及びウェアラブル・コンピュータ124及び126に接続している。ネットワーク118は、ローカル・オンボード・コンピュータ128、リモート・オンボード・コンピュータ130、地上コンピュータ132、衛星コンピュータ134及び通信インターフェース120に接続している。プロセッサ112に接続する代わりに、指向性カメラ114は、LOS決定システム102に接続され得る。プロセッサ112との接続に加えて、指向性カメラ114は、LOS決定システム102とも接続できる。
プロセッサ112との接続の代わりに、画像表示システム104は、LOS決定システム102に接続できる。プロセッサ112との接続に加えて、画像表示システム104は、LOS決定システム102とも接続できる。プロセッサ112との接続の代わりに、多次元オーディオ・システム106は、LOS決定システム102に接続できる。プロセッサ112との接続に加えて、多次元オーディオ・システム106は、LOS決定システム102とも接続できる。プロセッサ112との接続の代わりに、音声指示システム108は、LOS決定システム102に接続できる。プロセッサ112との接続に加えて、音声指示システム108は、LOS決定システム102とも接続できる。
システム100は、ユーザが現在見つめているオブジェクトに関して、LOS決定システム102から受信したLOS情報のそれぞれの特定言語音を生成できる。例えば、ユーザが、ある建物(即ち、風景画像において)を見つめている時、LOS決定システム102は、目162のLOSを決定し、その間、ユーザは、音声指示システム108に対して、マイクロホン(図示せず)を用いて口頭で、その建物に係る情報の要求を問い合わせる(即ち、ユーザは音声指示システム108に対する口頭メッセージの入力を行う。)。
ユーザの前記入力に応じて、システム100は、例えば、スピーカーを介してその特定の建物の住所をユーザに提供する。その代わりに又は加えて、画像表示システム104は、その建物の位置に対するヘッドマウント装置160のバイザー上に補充画像を表示する。
画像表示システム104は、アイ・トラッカー138から受信した現在のLOSに従って、現在の目162のLOS上にあるバイザー上のある位置に補充画像を表示できる。この場合、そのLOSを変えている間に、目162は、補充画像を見ることができる。
その他、画像表示システム104は、建物を見ることのできるバイザー上のある位置に補充画像を表示できる(たとえ、ユーザの目162が、その方向で見つめていないとしても)。この場合、画像表示システム104は、その建物について、ヘッド・トラッキング・システム136から受信したデータとヘッドマウント装置160の位置及び方向に従って補充画像を大域座標系(例えば、乗り物の座標系)で表示する。
また、補充画像は、ユーザがその建物の方へ自分の頭を移動させる時にはいつでもバイザー上に表示される。また、ユーザは、そのオブジェクトを見つめている間に、オブジェクトの関連情報をシステム100のメモリ(図示せず)に格納(即ち、記録)できる。例えば、ユーザが建物を見つめている際、LOS決定システム102は、目162のLOSを決定する。そして、搭載カメラが、オブジェクト(即ち、見つめている建物)の画像を取得する間に、ユーザは、その取得した画像に関する、例えば、住所、階数、建物のタイプ等、その建物のそれぞれの言語情報のメモリへの格納(即ち、記録)をシステム100に指示できる。
さらに、ユーザは、目162のLOSに関係しない言語の無指向性命令(例えば、シートのイジェクト、燃料の船外排出、着陸装置の格納等)を与えるためにシステム100を使用することができる
ヘッド・トラッキング・システム136及びアイ・トラッカー138の一方又は両方は、プロセッサ112に接続され得る。
ヘッド・トラッキング・システム136及びアイ・トラッカー138の一方又は両方がプロセッサ112と接続する代わりに、ヘッド・トラッキング・システム136が、アイ・トラッカー138に接続され得る。ヘッド・トラッキング・システム136及びアイ・トラッカー138の一方又は両方がプロセッサ112と接続することに加えて、ヘッド・トラッキング・システム136が、アイ・トラッカー138に接続することもできる。
プロセッサ112は、LOS決定システム102、画像表示システム104、多次元オーディオ・システム106、音声指示システム108、バックアップ測位システム110、指向性カメラ114及びオーディオ通信ノイズ低減システム116の動作を通信インターフェース120からの受信信号に従って管理する。
このほかにも、プロセッサ112は、通信インターフェース120と接続せず、該通信インターフェース120からの信号によらずに、LOS決定システム102、画像表示システム104、多次元オーディオ・システム106、音声指示システム108、バックアップ測位システム110、指向性カメラ114及びオーディオ通信ノイズ低減システム116の動作を管理する。
アクティブ・バイザー142は、目162のLOS、プロセッサ112からの受信信号等に従って、通過する光の伝達率を変化させる。例えば、前記システムは、プロセッサに接続し、周辺の光量を検出する光検出器(図示せず)を含めることができる。アクティブ・バイザーは、その検出された周辺光の光量に従って、光の伝達率を変化させる。そのほかにも、アクティブ・バイザーは、マニュアル・コントローラ(図示せず)からの受信信号に従って、光の伝達率を変化させる。
続いて、多次元オーディオ・システム106の説明を行う。以下、「位置(ポジション)」とは、三次元の座標系におけるオブジェクトの場所、方向又は場所及び方向の何れかを示す。以下、「エアクラフト」とは、飛行機、ヘリコプター、水陸両用飛行機、気球、グライダー、無人機、宇宙船等を示す。
本開示技術は、例えば、地上車、船舶、エアクラフト・シミュレータ、地上車シミュレータ、船舶シミュレータ、バーチャル・リアリティ・システム、コンピュータゲーム、ホーム・シアター・システム、固定ユニット(例えば、管制塔など)、ポータブル・ウェアラブル・ユニット等のエアクラフト以外の装置と同様にエアクラフトに適用可能である。
例えば、本開示技術は、近くを飛行中の他のエアクラフト、走行中の車及び地上管制に関して、三次元オーディオ表示を飛行機の乗組員に提供することができる。同様に、本開示技術は、空中あるいは地上のエアクラフト、空港近くの様々な乗り物及び人々等に関して、三次元オーディオ表示を管制塔の航空管制官に提供することができる。
簡単な例を挙げると、飛行機の左翼上に位置するエアクラフトのコンポーネントに関連する警戒が、エアクラフトの左側に対応する空間位置にインビューされる。これは、要求した位置を乗組員に直ちに認識させ、集中させ得る。
他の例を挙げると、複数のエアクラフトが編隊飛行し、無線交信をしている時に、本開示技術に係るシステムは、受信側エアクラフトに対応する送信側エアクラフトの位置に基づいて、各オーディオ信号伝送のために受信した位置を結合させる。例えば、送信側エアクラフトが、受信側エアクラフトの右側上に位置する時、本システムは、受信側エアクラフトの乗組員に該乗組員の頭の位置及び方向にかかわりなく、あたかもエアクラフトの右側から来ているように音の伝達を提供する。
従って、乗組員が、エアクラフトの前方を見ている場合、本システムは、ヘルメットの右側で聞こえる音をもたらす。一方、乗組員が、エアクラフトの後方を見ている場合、本システムは、ヘルメットの左側で聞こえる音をもたらす。そのような空間的結合は、オーディオ信号を空間的位置の特性にインビューすることによって実行され、そのインビューされた空間的位置と現実の空間的位置又は好ましい空間的位置とを関連付けている。
現実の空間的位置は、受信側乗組員に対応する音源の位置に合致する。例えば、送信側エアクラフトが、受信側エアクラフトの右上を飛行している時、本開示技術に係るシステムは、受信側エアクラフトの乗組員の耳にその音を再生している間、送信側エアクラフトの現実の位置(即ち、右上)に送信側エアクラフトの乗組員の音をインビューする。好ましい空間的位置は、音源の優れた分離音の供給又は特定の音源を強調することで、ほぼ決められる。
例えば、エンジン・ファイア表示(シグナルS1)、広がった着陸装置表示(シグナルS2)、フラップ故障表示(シグナルS3)等の異なる警報が、エアクラフトの右翼で同時に発生すると、本開示技術に係るシステムは、これらの警告シグナルの各々の異なる空間的位置にインビューする。
右側の球面方向(j,q)が(0,0)で設計されていると、本開示技術に係るシステムは、シグナルS1、S2及びS3に対して、それぞれ方向(0,30°)、(0,−30°)及び(30°,0)にインビューする。この場合、乗組員は、これらの警告信号を簡単に識別することができる。
本開示技術は、乗組員の視線情報を使用することで、三次元空間のある特定位置に音を局部集中させる。人間の心は、左耳と右耳の間のオーディオ信号の相対的遅延及び周波数特性に基づいて、三次元のオーディオ位置でパフォームする。人工的にかかる遅延及び周波数特性を導入することで、空間的位置特性を持っているモノラル信号が、バイノーラル信号に変えられる。
空間オーディオ源の位置と各耳とを結び付ける遅延及び周波数特性は、頭部伝達関数(HRTF)モデルによって説明される。図示される本技術は、個人個人のHRTFモデルを構築し、様々な頭のサイズや形状を考慮することで精緻化され得る。両耳調による音源の空間的位置を検出する人間の能力は、様々な頭の方向で音を検出できるようにし、局部的効果を増加させる頭の移動によって増大する。
コックピット環境において、乗組員は、頭の方向を固定させずに、むしろ実行されるタスクに従って頭の方向を変化させる。本開示技術は、現在の源の位置と乗組員の頭の方向の両方に基づいた好適なHRTFモデルを決定することで、現在の乗組員の頭の方向を勘案している。乗組員の頭の方向は、ユーザ・ポジション・システムによって検出される。
ユーザ・ポジション・システムは、ユーザの位置(例えば、視線、耳の方向等)を検出するユニットを含んでいる。さらに、ユーザに関連するボリューム(例えば、車両、船舶、エアクラフト等)の位置を検出するための例えば、GPSユニット、レーダー等のユニットも含むことができる。ユーザ・ポジション・システムは、ユーザのヘッドマウント(例えば、ヘッドマウント装置に接続する、ヘルメット、ヘッドセット、ゴーグル、眼鏡等)又はユーザからのリモート(例えば、ユーザを監視する1以上カメラ、ソナー・システム等)であり得る。
前記ボリュームの位置を検出するユニットは、前記ボリュームに接続され(例えば、GPSユニット、オンボード・レーダー・ユニット等)るか、又は、前記ボリュームの外部に設置され得る(例えば、エアクラフトとの無線リンクを備えた地上IFFレーダー・ユニット等)。そのようなボリューム位置検出ユニットは、ユーザ位置検出ユニットに統合され得る。
ユーザ位置システムは、電磁的検出システム、光学的検出システム、ソナー・システム等の形式であり得る。
図2は、本開示技術の他の実施形態に従った構成及び動作を示すシステム1100の概略図である。システム1100は、オーディオ・オブジェクト・メモリ1102、ラジオ1104、信号インターフェース1106(例えば、信号マルチプレクサ等)、多重チャンネル・アナログ・デジタル・コンバータ(ADC)1108、ソース位置システム1110、エアクラフト位置システム1114、HRTFメモリ1116、ヘルメット位置システム1112、デジタル・シグナル・プロセッサ1118、デジタル・アナログ・コンバータ(DAC)1120、左チャンネル音声再生機1122及び右チャンネル音声再生機1124を含んでいる。
オーディオ・オブジェクト・メモリ1102は、複数の警報状態それぞれのオーディオ信号データ及び位置データを含んでいる。信号インターフェース1106は、オーディオ・オブジェクト・メモリ1102、ラジオ1104、デジタル・シグナル・プロセッサ1118及び多重チャンネルADC1108と接続している。また、多重チャンネルADC1108は、デジタル・シグナル・プロセッサ1118にも接続している。また、デジタル・シグナル・プロセッサ1118は、ソース位置システム1110、ヘルメット位置システム1112、エアクラフト位置システム1114、ソース・ロケーション(HRTF)メモリ1116及びDAC1120にも接続している。また、DAC1120は、左チャンネル音声再生機1122及び右チャンネル音声再生機1124にも接続している。
ラジオ1104は、アナログ又はデジタル形式の何れかの無線を受信し、信号インターフェース1106にその無線の音声(オーディオ)部分を供給する。信号インターフェース1106は、例えば、エアクラフト・コンポーネント、オンボード・レーダー・システム、IFFシステム等の警告指示源(図示せず)からアナログ又はデジタルの何れかの形式で警告指示を受信する。信号インターフェース1106は、オーディオ・オブジェクト・メモリ1102から警告指示それぞれのデジタル形式の音声データ及び空間的位置データを受信する。信号インターフェース1106によって受信された信号が、デジタル形式である場合、信号インターフェース1106は、これらのデジタル信号をデジタル・シグナル・プロセッサ1118に供給する。信号インターフェース1106によって受信された信号に、アナログ形式のものとデジタル形式のものとが含まれる場合、信号インターフェース1106は、デジタル信号をデジタル・シグナル・プロセッサ1118に供給し、アナログ信号を多重チャンネルADC1108に提供する。
多重チャンネルADC1108は、これらのアナログ信号をデジタル信号に変換し、異なるデジタル信号を多重化し、これらの多重化信号をデジタル・シグナル・プロセッサ1118に供給する。ソース位置システム1110は、ラジオ・ソース・ロケーションのそれぞれのデータをデジタル・シグナル・プロセッサ1118に供給する。ヘルメット位置システム1112は、乗組員のヘッメットの位置のそれぞれのデータをデジタル・シグナル・プロセッサ1118に供給する。エアクラフト位置システム1114は、現在のエアクラフトの位置のそれぞれのデータをデジタル・シグナル・プロセッサ1118に供給する。デジタル・シグナル・プロセッサ1118は、ラジオ・ソース・ロケーション、乗組員のヘルメットの位置及び現在のエアクラフトの配置のそれぞれのデータに基づくバーチャル・ソース・ロケーションを選択する。
次に、デジタル・シグナル・プロセッサ1118は、選択したバーチャル・ソース・ロケーションに基づいて、HRTFメモリ1116から好適なHRTFモデルを検索する。デジタル・シグナル・プロセッサ1118は、左チャンネル・デジタル信号及び右チャンネル・デジタル信号を生成するために、検索したHRTFモデルを使用してデジタル・オーディオ信号にフィルタをかける。デジタル・シグナル・プロセッサ1118は、フィルタをかけたデジタル・オーディオ信号をDAC1120に供給する。
DAC1120は、左チャンネル・オーディオ信号及び右チャンネル・オーディオ信号を生成するために、左チャンネル・デジタル信号及び右チャンネル・デジタル信号をアナログ形式に変換し、それぞれ、左チャンネル音声再生機1122及び右チャンネル音声再生機1124にそれぞれのオーディオ信号を供給する。
左チャンネル音声再生機1122及び右チャンネル音声再生機1124は、それぞれ、左チャンネル・オーディオ信号及び右チャンネル・オーディオ信号を再生する。警報又は危険の存在を検出すると、オーディオ・オブジェクト・メモリ1102は、関連するオーディオ警告を多重チャンネルADC1108に信号インターフェース1106を介して供給する。多重チャンネルADC1108は、アナログ・オーディオ信号をデジタル形式に変換し、そのデジタル信号をデジタル・シグナル・プロセッサ1118に供給する。ヘルメット位置システム1112は、乗組員のヘルメットの位置のそれぞれのデータをデジタル・シグナル・プロセッサ1118に提供する。エアクラフト位置システム1114は、現在のエアクラフトの位置のそれぞれのデータをデジタル・シグナル・プロセッサ1118に供給する。エアクラフト位置システム1114は、エアクラフトに接続している。
デジタル・シグナル・プロセッサ1118は、危険の存在、警報あるいは警戒空間位置、乗組員のヘルメットの位置及び現在のエアクラフトの配置のそれぞれのデータに基づくバーチャル・ソース・ロケーションを選択する。
それから、デジタル・シグナル・プロセッサ1118は、上述したように、選択したバーチャル・ソース・ロケーションに基づいて、HRTFメモリ1116から好適なHRTFモデルを検索する。
ヘルメット位置システム1112は、位置システム又は方向システムに取って代わることができる。例えば、送信側エアクラフトからのオーディオ信号を受信した時、ヘルメットの方向及び送信側エアクラフトに対する受信側エアクラフトの位置は、受信側エアクラフトのコックピット内のヘルメットの位置よりさらに重要である。この場合、受信側エアクラフトに対する送信側エアクラフトの位置は、グローバル・ポジショニング・システム(GPS)、レーダー・システム等によって決定され得る。
ラジオ1104は、エアクラフトとの通信で一般的に使用される電波受信器であり、様々な周波数及び変調方式を使用する複数のラジオを含み得る。また、危険な存在の識別及び警告の生成は、例えば、IFF(味方か敵かの識別)システム、地上警告システム等のシステム1100から分離した当該技術分野で周知のコンポーネントによって実行される。また、左チャンネル音声再生機1122及び右チャンネル音声再生機1124は、通常、乗組員のヘルメットに組み込まれたヘッドホンであるが、当該技術分野で周知の他のどのタイプの音声再生機(例えば、サラウンド・サウンド・スピーカー・システム、骨伝導タイプのヘッドホン等)であってもよい。
本開示技術の他の実施形態によれば、オーディオ・オブジェクト・メモリ1102は、
デジタル・シグナル・プロセッサ1118による処理前に、オーディオ信号をデジタル形式に変換する必要がないように、デジタル形式でオーディオ警告を記憶する。かかる実施形態において、オーディオ・オブジェクト・メモリ1102は、直接的にデジタル・シグナル・プロセッサ1118に接続している。
また、本開示技術のさらなる実施形態によれば、ラジオ1104は、デジタル・シグナル・プロセッサ1118による処理前に、オーディオ信号をデジタル形式に変換する必要がないように、デジタル形式のラジオであり得る。それ故、ラジオ1104は、直接、デジタル・シグナル・プロセッサ1118に接続する。
本開示技術の他の実施形態によれば、ヘルメット位置システム1112は、乗組員のヘルメット(図示せず)から分離した乗組員視線システム(図示せず)と取替可能である。それ故、乗組員は、ヘルメットを着用せずに本開示技術の利点を利用し得る。例えば、民間航空機の乗組員は、通常、ヘルメットを着用しない。かかる例では、乗組員視線システムは、視線情報を提供するためのそのような方法において、例えば、乗組員ヘッドホンを介して乗組員の頭に取り付けられ得る。
図3は、本公開技術の他の実施形態に従った構成及び動作に係る乗組員のヘルメット1200を示す概略図である。
乗組員のヘルメット1200は、ヘルメット本体1202、ヘルメット視線システム1204、左チャンネル音声再生機1206L、右チャンネル音声再生機(図示せず)及びデータ/オーディオ・コネクション1208を含んでいる。ヘルメット視線システム1204、左チャンネル音声再生機1206L、右チャンネル音声再生機及びデータ/オーディオ・コネクション1208は、ヘルメット本体1202に搭載されている。データ/オーディオ・コネクション1208は、ヘルメット視線システム1204、左チャンネル音声再生機1206L及び右チャンネル音声再生機に接続している。ヘルメット視線システム1204、左チャンネル音声再生機1206L及び右チャンネル音声再生機は、ヘルメット位置システム1112、左チャンネル音声再生機1122及び右チャンネル音声再生機1124(図2参照)にそれぞれ類似している。ヘルメット視線システム1204、左チャンネル音声再生機1206L及び右チャンネル音声再生機は、データ/オーディオ・コネクション1208を介して三次元サウンド画像システム・エレメント(図2のシステム1100のエレメントに相当)の後ろと接続している。
図4は、好適な仮想音源の配置例が示されたエアクラフト1300の概略図である。エアクラフト1300において、左翼仮想源配置1302、右翼仮想源配置1304、テール仮想源配置1306、底部仮想源配置1308及びコックピット仮想源配置1310が示されている。
一般に、受信ポイントに対する送信ポイントの位置及び方向のいかなる組み合わせも、デカルト座標、球座標等を使用して、エアクラフト周囲の送信ポイント用に決定され得る。左翼エレメントに係るアラート(例えば、左エンジン、左燃料タンク及び左側の危険検出)は、乗組員に伝達される前に、左翼仮想源配置1302にインビューされる。
さらなる例では、エアクラフトの後部に係るアラート(例えば、ラダー制御アラート、後部の危険検出及びアフターバーナーに関するアラート等)は、乗組員に伝達される前に、テール仮想音源配置1306にインビューされる。
この図示される仮想源配置は、単に本開示技術の本質を説明するために提供される仮想源配置の可能性の例であるに過ぎず、他の仮想源配置も、必要に応じ提供され得る。
図5は、異なるエアクラフトの乗組員間でオーディオ信号を通信するためにラジオリンクを使うエアクラフト・フォーメーション1400の概略図である。
エアクラフト・フォーメーション1400は、先頭エアクラフト1406、右側エアクラフト1408及び左側エアクラフト1410を含んでいる。エアクラフト・フォーメーション1400におけるエアクラフトは、第1のラジオリンク1402及び第2のラジオリンク1404を介して通信する。先頭エアクラフト1406及び右側エアクラフト1408は、第1のラジオリンクを介して通信する。先頭エアクラフト1406及び左側エアクラフト1410は、第2のラジオリンクを1404を介して通信する。
本開示技術によれば、先頭エアクラフト1406が、第1のラジオリンク1402を介して、右側エアクラフト1408からの無線を受信すると、その受信した無線は、先頭エアクラフト1406の乗組員にプレイバックされる前に右側後方の仮想源配置にインビューされる。
他の例では、左側エアクラフト1410が、第2のラジオリンク1404を介して先頭エアクラフト1406からの無線を受信すると、その受信した無線は、左側エアクラフト1410の乗組員にプレイバックされる前に右側前方の仮想源配置にインビューされる。
この図示される仮想構成は、単に本開示技術の本質を説明するために提供されるフォーメーション及びラジオリンクの可能性の例であるに過ぎず、異なる仮想源配置に対応する他のフォーメーション及びラジオリンクも、必要に応じ使用され得る。
図6は、視線測定結果に基づいて、本公開技術の他の実施形態に従った動作に係る3Dオーディオ画像処理方法を示す概略図である。
手続き1500では、警告指示が受信される。前記警告指示は、例えば、不良コンポーネントやミサイル接近等、イベントのそれぞれに存在する。図2を参照すると、デジタル・シグナル・プロセッサ1118は、例えば、燃料計、着陸装置位置インジケータ、煤煙濃度計等のエアクラフト・コンポーネント(図示せず)から警告指示を受信する。また、前記警告指示は、例えば、IFFシステム、燃料圧監視システム、構造的完全性監視システム、レーダー・システム等のオンボード検出システムからも受信される。例えば、地上施設では、本開示技術に係るアラーム・システムは、移動する人それぞれの警告指示を護衛者(ガード)に提供する。この場合、前記アラーム・システムは、護衛者の位置に対する、移動する人(例えば、泥棒等)の位置のそれぞれのアラート信号(例えば、サイレント・アラーム等)を提供する。従って、護衛者は、そのアラート信号からその人物を探すべき場所を判断できる。
手続き1502では、受信した警告指示のそれぞれの保存されているオーディオ信号及び警告位置が検索される。各警告指示のために、それぞれのオーディオ信号及び空間的位置は、メモリ・ユニットに保存される。例えば、右翼上での故障フラップ警告信号は、エアクラフトの右上部位置での200msec間隔で500msec持続する5kHzのビープ信号に関連する。図2及び図4を参照すると、デジタル・シグナル・プロセッサ1118は、エアクラフト1300の左翼内のロー燃料タンクのそれぞれのオーディオ信号を検索する。
また、自動追尾ミサイルに関する警告が、オンボード・レーダー・システムから受信されると、デジタル・シグナル・プロセッサ1118は、自動追尾ミサイルのアラートのそれぞれのオーディオ信号をオーディオ・オブジェクト・メモリ1102から検索する。前記システムは、ユーザに当該ミサイルの発射場所の概念を提供するために、オーディオ信号と、好適なHRTFを選択する時のようにオンボード・レーダー・システムによって提供されるミサイル位置と、の間を関連付ける。
手続き1504では、通信オーディオ信号が受信される。通信オーディオ信号は、一般に音声(例えば、通信ネットワーク内の他人の音声等)に関連する。図2を参照すると、ラジオ1104は、通信オーディオ信号を受信する。通信オーディオ信号は、同一のエアクラフト内の他の乗組員、同時に飛行している他のエアクラフト、受信側エアクラフトに対して実質的に固定なソース、例えば、船舶、航空管制官、地上車等から受信され得る。通信オーディオ信号源は、例えば、地上部隊の通信ラジオ(エアリアル・サポート)、UHF無線システム、VHF無線システム、衛星通信システム等であり得る。
手続き1506では、通信オーディオ信号源位置が検出される。この検出位置は、大域座標系での話している人間の位置を決定する。図2を参照すると、同じエアクラフトの乗組員からの通信オーディオ信号を受信した場合、ソース位置システム1110は、送信側乗組員のヘルメット位置を検出する。他のエアクラフト又は受信側エアクラフトに対して実質的に固定なソースからの通信オーディオ信号を受信すると、ソース位置システム1110は、送信側エアクラフト又は実質的に固定なソースの位置を検出する。ソース位置システム1110は、GPSシステム、レーダー・システム、IFFシステム等を使って、又は送信側ソースからの位置情報を受信することで、送信側エアクラフト又は実質的に固定なソースの位置を検出する。
手続き1508では、聴取位置が検出される。この検出位置は、リスナー(即ち、乗組員)の耳の位置を決定する。図3を参照すると、ヘルメット視線システム1204は、ヘルメット1200の位置を検出し、ヘルメット1200を着用しているユーザの耳の位置を決定する。警告指示が、受信されると(手続き1500)、ヘルメット視線システム1204は、ヘルメット1200の位置及び方向(即ち、受信側乗組員の視線)を検出する。同じエアクラフトの他の乗組員からの通信オーディオ信号を受信すると(手続き1504)、ヘルメット視線システム1204は、ヘルメット1200の位置及び方向を検出する。例えば、乗組員が、飛行中にエアクラフトを検査する時、ヘルメット視線システムは、乗組員の位置及び方向をいかなる瞬間でも検出する。他のエアクラフト又は実質的に固定なソースからの通信オーディオ信号を受信すれば(手続き1504)、ヘルメット視線システム1204は、受信側エアクラフトの座標系に関連する受信側乗組員のヘルメット1200の方向のみを十分に検出できる。
手続き1510では、エアクラフト位置が検出される。検出位置は、大域座標系におけるエアクラフトの位置を決定する。図2を参照すると、当該エアクラフト外部のソース(例えば、他のエアクラフト又は実質的に固定なソース)から通信オーディオ信号を受信すると、エアクラフト位置システム1114は、送信側エアクラフト又は実質的に固定なソースの位置に対する受信側エアクラフトの位置を検出する。エアクラフト位置システム1114は、GPSシステム、慣性航法システム、レーダー・システム等を使って、前記位置を検出する。また、前記位置情報は、前記外部ソースからも受信し得る。
手続き1512では、HRTFが選択される。該HRTFは、リスナーの耳及び送信源の関連する位置に対応して選択される。図2を参照すると、警告指示が受信されると(手続き1500)、デジタル・シグナル・プロセッサ1118は、検索した警告位置(手続き1502)及び検出した受信側乗組員の視線(手続き1508)に従って、HRTFモデルを選択する。同じエアクラフトの送信側乗組員からの通信オーディオ信号を受信すると、デジタル・シグナル・プロセッサ1118は、検出した送信側乗組員のヘルメット位置(手続き1506)及び検出した受信側乗組員の視線(位置及び方向)(手続き1508)に従って、HRTFモデルを選択する。他のエアクラフト又は実質的に固定なソースから通信オーディオ信号を受信すると、デジタル・シグナル・プロセッサ1118は、手続き1506で検出された位置、手続き1508で検出された視線及び手続き1510で検出された受信側エアクラフトの位置に従って、HRTFモデルを選択する。
手続き1514では、選択されたHRTFは、前記オーディオ信号に適用され、その結果、複数のオーディオ信号を生成する。これらのオーディオ信号の各々は、三次元空間の異なる位置のそれぞれである。図2を参照すると、デジタル・シグナル・プロセッサ1118は、手続き1512で選択されたHRTFモデルを受信した警告指示(手続き1500)、あるいは受信した通信オーディオ信号(手続き1504)に適用する。さらに、デジタル・シグナル・プロセッサ1118は、左チャンネル・オーディオ信号及び右チャンネル・オーディオ信号(即ち、ステレオ音響信号)を生成する。デジタル・シグナル・プロセッサ1118は、左チャンネル・オーディオ信号及び右チャンネル・オーディオ信号をそれぞれ、DAC1120を介して、左チャンネル音声再生機1122及び右チャンネル音声再生機1124に供給する。左チャンネル音声再生機1122及び右チャンネル音声再生機1124は、左チャンネル・オーディオ信号及び右チャンネル・オーディオ信号に従って、それぞれ左チャンネル・サウンド及び右チャンネル・サウンドを生成する(手続き1516)。左及び右チャンネル・オーディオ信号は、異なる周波数を有する複数のエレメントを含んでいる。これらのエレメントは、一般に、オリジナルのオーディオ信号をフィルタするために使用されるHRTFモデルに従った位相及び振幅の点で異なる(即ち、各周波数に対するHRTFのいくつかの構成)。
さらに、デジタル・シグナル・プロセッサは、4つの音声再生機のための4つのチャンネルの4つのオーディオ信号(4チャンネル・サウンド)、5つの音声再生機のための5つのチャンネルの5つのオーディオ信号(サラウンド・サウンド)又はいかなる数の音声再生機のためのそれに相当する数のオーディオ信号を生成できる。このように、再生音は多次元であり得る(即ち、2次元あるいは3次元の何れか)。
本開示技術のさらなる実施形態において、再生したオーディオ信号のボリュームは、受信信号に距離の特性を示すようにするために変更される。例えば、エアクラフトからの異なる距離に位置する、検出された2つの危険は、各危険の距離それぞれについて、異なるボリュームを使って乗組員にアナウンスされる。
本開示技術の他の実施形態では、音源の位置及び方向を感知するユーザの能力を高めるために、システムは、位置及び方向の各所定セット用に所定のエコーマスクを利用する。
さらに、本開示技術の他の実施形態では、放送の発信者に基づいて(即ち、スピーカーの識別、あるいはラジオリンクの機能)受信した放送のための仮想源配置が選択される。
従って、乗組員は、インビューされた仮想源配置に基づいて、スピーカーあるいはラジオリンクを識別し得る。乗組員が、2つのスピーカーを簡単に識別するのを可能にするために、例えば、司令官からの送信は、乗組員の真後ろの仮想源配置にインビューされ得るが、管制塔からの送信は、乗組員の真上の仮想源配置にインビューされ得る。
他の例では、地上支援チャンネルを介して受信した無線は、乗組員の真下の空間的位置にインビューされ得るが、専用通信チャンネルを介して受信した戦術通信は、乗組員の右側の仮想源配置にインビューされ得る。
上記の配置及びソースは、単に本開示技術の本質を説明するために提供される配置及びソースの可能性の例であるに過ぎず、他の仮想源配置及び通信源も、必要に応じ使用され得る。
本開示技術のさらなる実施形態(図6で説明される方法)では、各乗組員に特有のHRTFモデルを構築する予備手続きを更に含んでいる。従って、乗組員へのオーディオ・プレイバックをフィルタするために使用されるHRTFモデルは、乗組員がシステムに導入するメモリ装置からロードされる(例えば、個人のヘルメットに結合できるメモリ装置等)。そのようなHRTFモデルは、通常、予め構築され、要求時に使用される。
本開示技術のさらなる実施形態では、サラウンド・サウンド・スピーカーは、乗組員へのオーディオ信号再生のために使用される。各空間モデルは、エアクラフト内の個々のスピーカー及びそれらそれぞれの位置及び方向の特徴に一致する。従って、空間モデルは、スピーカーの数に対応する複数のオーディオ・チャンネルを決定する。しかしながら、オーディオ・チャンネルの数は、スピーカーの数より少ないかもしれない。
一般的に、これらのスピーカーは、固定配置であるので、空間モデルは、乗組員のLOS情報に従って選択されることはなく、スピーカーによって、決められそして囲まれたボリュームに係るソース位置及び方向に基づいてのみ選択される。
かかる実施形態では、何れの乗組員のためのLOS情報も要求することなしに、オーディオ信号は、エアクラフトの全ての乗組員に聞かれる。
続いて、オーディオ通信ノイズ低減システム116について説明する。以下、「音響電気トランスデューサ」とは、音響信号を電気信号に変換する装置をいう(例えば、マイクロホン等)。以下、「電気音響トランスデューサー」とは、電気信号を音響信号に変換する装置をいう(例えば、スピーカー等)。
音響電気トランスデューサは、電気力学、静電気学、圧電気現象、磁気歪、光ファイバー、カーボン粒子の刺激等の原則に基づいて動作させることができる。電気音響トランスデューサは、電気力学、磁気、圧電気現象、磁気歪、水力学等の原則に基づいて動作させることができる。
ここで、「電気(エレクトリック)」には、有線若しくは他の通信チャンネル又は無線で送信され得る、例えば、電気的、光学的、ラジオ等の全ての電磁信号が含まれるものとする。以下、「クワイエット・ゾーン」とは、環境雑音に対して約180°位相が異なった音(逆位相又はπラジアン異なった位相)が、環境雑音を相殺し、その結果、環境雑音が聞こえなくなる、鼓膜、耳あるいは外耳近くの領域をいう。以下、「耳の近く」の位置とは、近接し、前記クワイエット・ゾーンを示すものとする。以下、「音ノイズ」とは、実質的に、制限された周波数帯域あるいは範囲内に限定されたノイズ(例えば、ヘルコプターのローターによって生成されるノイズ等)をいう。
次に、図7A、7B及び7Cを参照する。図7Aは、本開示技術の他の実施形態に従った構成及び動作に係る、ノイズ・フリー・サウンド信号生成システム2100を示す概略図である。図7Bは、図7Aのシステムのオーディオ・コントローラの詳細を示す図である。図7Cは、ヘッドマウント装置2150と併合した図7Aのシステムの概略図である。
図7Aを参照すると、システム2100は、音響電気トランスデューサ2102及び2104並びにオーディオ・コントローラ2106を含んでいる。オーディオ・コントローラ2106は、音響電気トランスデューサ2102及び2104に接続している。オーディオ・コントローラ2106は、適応フィルタリング方法に従って、2つの入力信号を同じサンプリングレートで同時にサンプリングし、これら2つの入力信号の伝達関数を決定するデジタル・プロセッサである。オーディオ・コントローラ2106は、入力信号の1つに伝達関数を適応し、他の入力信号からその結果を差し引く。オーディオ・コントローラ2106は、その減算結果のそれぞれについて、出力信号を生成する。
音響電気トランスデューサ2102は、アコースティック・サウンドを検出する。このアコースティック・サウンドは、人間の声、機械による音声等であり得る。アコースティック・サウンドが、人(図示せず)の声の場合、音響電気トランスデューサ2102は、当該人の口(図示せず)の近傍に配置される。音響電気トランスデューサ2102は、人を取り巻く環境に存在するノイズ(即ち、望まれない音)のみならず所望の音(即ち、声)も検出する。
ノイズは、例えば、他人及び他の装置によって、例えば、エンジン、タービン、モーター、及び機械装置、ハイドロリックあるいはニューマチック装置(例えば、チュービング、アクチュエータ等)、電気機械装置(例えば、電気モータ等)、スピーカーを囲むラウドスピーカー、武器の発射、例えば、風、雨、波浪、雷等の環境要因や動物等によって生み出される。
音響電気トランスデューサ2104及び音響電気トランスデューサ2102は、吸音物質(図示せず)を音響電気トランスデューサ2102と2104との間に配置するか、又は、音響電気トランスデューサ2102と2104との間の単なる距離により、異なる音を検出する。このようにして、音響電気トランスデューサ2104は、ノイズを検出し、実質的に所望音を検出せず、一方、音響電気トランスデューサ2102は、所望の音及びノイズを検出する。
オーディオ・コントローラ2106は、音響電気トランスデューサ2102及び2104から、それぞれ信号2108及び2110を受信する。信号2108及び2110のそれぞれは、アナログ形式である。アナログ信号をデジタル信号に変換する、アナログ・デジタル・コンバータ(図示せず)及び以下のADCは、音響電気トランスデューサ2102及びオーディオ・コントローラ2106に接続している。他のADC(図示せず)は、音響電気トランスデューサ2104及びオーディオ・コントローラ2106に接続している。このようにして、オーディオ・コントローラ2106は、デジタル形式の信号2108及び2110を受信する。信号2108は、所望の音及びノイズそれぞれの情報を含む。信号2110は、ノイズそれぞれの情報を含む。
オーディオ・コントローラ2106は、信号2110に対し、SPLコンバータ(図示せず)を使って、強度低減した新規の音圧レベル(SPL)を決定する。SPLコンバータは、ハード・ワイヤードのルックアップ・テーブル、ソフトウェアのルックアップ・テーブル、ハード・ワイヤードの伝達関数、ソフトウェアの伝達関数、適応フィルタ等の形式となり得る。オーディオ・コントローラ2106は、信号2110に対応する信号2108のSPLから新規決定SPLを差し引く。音響電気トランスデューサ2102によって検出されたノイズは、音響電気トランスデューサ2104によって検出されたノイズと異なる。即ち、それは、通常、強度が低減され、位相が遅れている(音響電気トランスデューサ2102と2104との間の防音材又は防音距離のため)。このようにして、新規決定SPLは、信号2110のSPLの低減され、遅れたファンクションに対応する。
オーディオ・コントローラ2106は、上記減算操作の結果それぞれの信号2112を生成する。従って、信号2112は、実質的にノイズの除かれた所望の音それぞれの情報を含んでいる。SPLコンバータの形式及びパラメータは、ある物理的なパラメータ、例えば、人の聴覚特性、発声能力特性、装着されたヘッドセットの音吸収特性、ヘッドセットの大きさ、音響電気トランスデューサ2102と音響電気トランスデューサ2104との間の相対距離、音響電気トランスデューサ2102及び音響電気トランスデューサ2104を囲む環境の音響効果、音響電気トランスデューサ2102と音響電気トランスデューサ2104との間に配置される吸音材の音響効果等に従って決定される。
図7Bを参照すると、システム2100は、音響電気トランスデューサ2102及び2104、オーディオ・コントローラ2106並びにアナログ・デジタル・コンバータ2114及び2116を含んでいる。オーディオ・コントローラ2106は、適応フィルタ2118及び加算素子2120を含んでいる。ADC2114は、音響電気トランスデューサ2102及び加算素子2120に接続している。ADC2116は、音響電気トランスデューサ2104及び適応フィルタ2118に接続している。その他、ADC2114は、音響電気トランスデューサ2102又はオーディオ・コントローラ2106の何れかと一体化している。同様に、ADC2116は、音響電気トランスデューサ2104又はオーディオ・コントローラ2106と一体化し得る。
音響電気トランスデューサ2102は、アナログ信号2122を生成し、該アナログ信号2122をADC2114に送る。ADC2114は、アナログ信号2122をデジタル信号2124に変換し、該デジタル信号2124を加算素子2120に送る。そして、適応フィルタ2118は、信号2128に従って、信号1230を生成する。信号2130は、低減されたSPL(即ち、音響電気トランスデューサ2102近傍の環境雑音のSPL)で音響電気トランスデューサ2104によって検出された環境雑音のそれぞれである。加算素子2120は、信号2124から信号2130を差し引くことで信号2112を生成する。また、信号2112は、さらなる処理又は送信のためにインターフェース(図示せず)に供給される。
音響電気トランスデューサ2104は、アナログ信号2126を生成し、該アナログ信号2126をADC2116に送信する。ADC2116は、アナログ信号2126をデジタル信号2128に変換し、該デジタル信号2128を適応フィルタ2118に送る。加算素子2120からの信号2112は、フィードバック・ループ2132において、適応フィルタ2118にフィードバックされる。信号2112が、いくらかの残留ノイズを含んでいる場合、適応フィルタ2118は、この残留ノイズを検出し、それに応じて信号2130を調整する。加算素子2120は、信号2124からこの残留ノイズを差し引く。
図7Cを参照すると、音響電気トランスデューサ2102は、ヘッドマウント装置2150に組み込まれる。オーディオ・コントローラ2106は、音響電気トランスデューサ2102及び2104に接続している。ヘッドマウント装置2150は、ヘルメット、ヘッドセット等の形式である。音響電気トランスデューサ2102は、ユーザ(図示せず)の口(図示せず)に位置する。音響電気トランスデューサ2104は、ヘッドマウント装置2150の外側に位置し、又は外部から取り付けられるが、音響的に絶縁しているか、あるいはユーザの口から遠隔にある。ヘッドマウント装置2150は、例えば、ヘッド・アップ・ディスプレイ、バイザー、液晶ディスプレイ(LCD)、電界放出ディスプレイ(FED)、ミラー等の視覚装置(図示せず)を含み得る。加えて、ヘッドマウント2150は、1以上の電気音響トランスデューサを含み得る。
ヘッドマウント装置2150が、ヘルメット形式である場合、それは、ヘッドマウント装置2150は、例えば、ミネラルウール、ファイバーグラス等の吸音材を含み得る。この場合、音響電気トランスデューサ2102は、ユーザの声を検出する一方で、バックグラウンドノイズも検出する(但し、低減SPLで)。ヘッドマウント装置2150が、ヘッドセット形式である場合には、ユーザの口からの音響電気トランスデューサ2104の物理的距離のため、音響電気トランスデューサ2104は、環境雑音を検出し、ユーザの声を実質的に検出しない。
しかしながら、音響電気トランスデューサ2102は、ユーザの声及び環境雑音を検出する。周囲空気が、効果的に、音響上絶縁できると、ユーザの口と音響電気トランスデューサ2104は絶縁する。
ヘッドマウント装置2150が、パイロット(図示せず)が直用するヘルメットである場合、環境雑音は、エアクラフトのエンジン(即ち、パワー・プラント)、すぐ近くを飛行中の他のエアクラフトのエンジン、エアクラフト乗組員の声、雷の音、ウインドシールドにぶつかる氷の音、武器の発射音等によって生成されるノイズであり得る。音響電気トランスデューサ2102は、ヘッドマウント装置2150の内部で、パイロットの口の近くに取り付けられ、音響電気トランスデューサ2104は、ヘッドマウント装置2150の外部に取り付けられる。ヘッドマウント装置2150は、吸音材を含み、さらに音響電気トランスデューサ2104は、音響電気トランスデューサ2102よりもパイロットの口から離れている。従って、音響電気トランスデューサ2104は、ほとんどの環境雑音を検出し、実質的にパイロットの声を検出しない。
しかしながら、ヘッドマウント装置2150の吸音材が、音の部分のみを吸収するので、音響電気トランスデューサ2102は、低減SPLでの環境雑音に加えて、パイロットの声を検出する。このようにして、信号2108は、パイロットの声及び弱めた環境雑音レベルのそれぞれの情報を含む。一方、信号2110は、音響電気トランスデューサ2102による検出よりも高いSPLでの環境雑音のそれぞれの情報を含む。環境雑音の減衰レベルは、周波数に依存し得る。SPLコンバータのパラメータは、選択した周波数レンジでの、SPL値に対応する音に応じて及び予想される環境雑音の周波数レンジでの信号2108及び2110のSPL値を計測することで、経験的に決定され得る。これらの計測は、システム2100が使用されるエアクラフト内の同じ位置でのパイロットの声なしに実行される。これらの計測は、フライト前に”プレ・キャリブレーション”として、又は出発時刻でのスピーチ・ポーズ中に実行され得る。
加えて、オーディオ・コントローラ2106は、フライトの開始毎にシステム2100を校正する。その他、SPLコンバータのパラメータは、選択した周波数レンジでの環境雑音のSPL値の予測減衰を計算することで、解析的に決定され得る。さらに、音響電気トランスデューサ2102によって検出された環境雑音の減衰したSPL値は、音響電気トランスデューサ2102と2104間の物理的距離にも依存する。音響電気トランスデューサ2102と2104間の物理的距離及び与えられた音の速さの値によって、信号2108及び2110は、位相不一致となる環境雑音波形のそれぞれの情報を含み得る。信号2108から環境雑音波形の正しい部分を差し引くために、オーディオ・コントローラ2106は、それぞれのルックアップ・テーブル、伝達関数等を参照することで、この位相シフトを考慮にいれる。
本開示技術の他の観点では、ノイズ低減システムは、ユーザの耳の近くにノイズ・フリー・サウンドを生成するため、アクティブ・ノイズ低減(ANR)コントローラを使用する。ANRコントローラは、外部の音響電気トランスデューサによる環境雑音の検出から算出される環境雑音の逆位相信号を生成する。
次に、図8A、8B及び8Cを参照する。図8Aは、本公開技術の他の実施形態に従った構成及び動作に係るノイズ消去システム2170を示す概略図である。図8Bは、図8AのシステムのANRコントローラのアナログANRコントローラの詳細を示す図である。図8Cは、ヘッドマウント装置2214と併合した図8Aのシステムの概略図である。
図8Aを参照すると、システム2170は、ANRコントローラ2172、基準音響電気トランスデューサ2174、エラー音響電気トランスデューサ2176及び電気音響トランスデューサ2178を含んでいる。ANRコントローラ2172は、デジタルANRコントローラ2180、アナログANRコントローラ2182及びプライマリー加算素子2184を含んでいる。デジタルANRコントローラ2180は、低減SPLで入力信号に対する逆位相信号を生成する装置である。アナログANRコントローラ2182は、同一SPLで入力信号に対する逆位相信号を生成する装置である。デジタルANRコントローラ2180は、基準音響電気トランスデューサ2174、エラー音響電気トランスデューサ2176及びプライマリー加算素子2184に接続している。アナログANRコントローラ2182は、エラー音響電気トランスデューサ2176及びプライマリー加算素子2184に接続している。プライマリー加算素子2184は、電気音響トランスデューサ2178に接続している。
電気音響トランスデューサ2178及びエラー音響電気トランスデューサ2176は、ユーザ(図示せず)の耳2186の近くに配置される。基準音響電気トランスデューサ2174は、実質的に耳2186から離されて配置される。その他、吸音材(図示せず)が、一方の側では電気音響トランスデューサ2178とエラー音響電気トランスデューサ2176との間に配置され、他方の側では、電気音響トランスデューサ2178と基準音響電気トランスデューサ2174との間に配置される。何れにしても、基準音響電気トランスデューサ2174は、環境雑音を検出し、実質的に電気音響トランスデューサ2178によって生成される音は検出しない。同様に、エラー音響電気トランスデューサ2176は、電気音響トランスデューサ2178によって放出される音及び耳2186近辺の環境雑音を検出する。
次に、デジタルANRコントローラ2180、プライマリー加算素子2184、電気音響トランスデューサ2178及びエラー音響電気トランスデューサ2176によって形成されるループL1の説明を行う。デジタルANRコントローラ2180は、連続的に、基準音響電気トランスデューサ2174からの信号2188、音源(図示せず)からの環境雑音及び所望音のそれぞれの信号2192をサンプリングする。音源からの所望音は、人間の声、機械音、機械の音声、音響信号、アコースティック・サウンド(例えば、ラウド・スピーカー等)等であり得る。デジタルANRコントローラ2180は、オーディオ・コントローラ2106(図7C参照)に関して上述したようにSPLコンバータを使用して信号2188に対する低減SPLを決定する。信号2188に対する低減SPLは、耳2186近辺での環境雑音のSPLと一致する。
デジタルANRコントローラ2180は、低減SPLでの信号2188に対する逆位相信号(図示せず)を生成し、低減SPLでのかかる逆位相信号を信号2192に加える。その結果、信号2194が生成される。電気音響トランスデューサ2178は、信号2194に従った音を生成する。電気音響トランスデューサ2178によって放出される、耳2186のクワイエット・ゾーンでの環境雑音の逆位相音が、実質的に耳2186のクワイエット・ゾーンでの環境雑音と相殺されるように、エラー音響電気トランスデューサ2176は、耳2186の十分近くに配置される。エラー音響電気トランスデューサ2176は、電気音響トランスデューサ2178によって放出された音を検出するために、電気音響トランスデューサ2178の十分近くに配置される。
デジタルANRコントローラ2180は、電気音響トランスデューサ2178によって放出される音(所望音及び耳2186近くの環境雑音の逆位相を含む)及び耳2186近くの環境雑音それぞれの信号2190をエラー音響電気トランスデューサ2176から受信する。デジタルANRコントローラ2180は、耳2186近くの環境雑音の逆位相それぞれの信号2194の一部を信号2188、2190及び2192を処理することによって、修正する。また、信号2188及び2190は、アナログ形式なので、2つのアナログ・デジタル・コンバータ(図示せず)が、信号2188及び2190をデジタル形式に変換するために使用される。その他としては、これらのアナログ・デジタル・コンバータは、基準音響電気トンラスデューサ2174及びエラー音響電気トランスデューサ2176とそれぞれ一体化しているか、又は、デジタルANRコントローラ2180と一体化している。信号2192は、デジタル又はアナログの何れかである得る。信号2192がアナログ形式ならば、他のADC(図示せず)が、信号2192をデジタル形式に変換する。以下DACとして参照されるデジタル・アナログ・コンバータ(図示せず)は、信号2194をデジタル形式からアナログ形式に変換する。その他として、このDACは、デジタルANRコントローラ2180あるいはプライマリー加算素子2184の何れかと一体化している。
さらに図8Bを参照すると、アナログANRコントローラ2182は、デジタル・ポーション2228、アナログ・ポーション2230及び第2の加算素子2232を含んでいる。第2の加算素子2232は、デジタル・ポーション2228、アナログ・ポーション2230及びプライマリー加算素子2184に接続している。プライマリー加算素子2184は、電気音響トランスデューサ2178に接続している。アナログ・ポーション2230は、エラー音響電気トランスデューサ2176に接続している。アナログ・ポーション2230、プライマリー加算素子2184、第2の加算素子2232、電気音響トランスデューサ2178及びエラー音響電気トランスデューサ2176は、システム2170におけるフィードバック・ループL2を形成している。
続いて、フィードバック・ループL2の説明を行う。アナログ・ポーション2230は、エラー音響電気トランスデューサ2176から信号2190を受信し、信号2234を生成し、そして、該信号2234を第2の加算素子2232に伝達する。信号2234は、信号2190に対して、約180度位相が異なっている。アナログ・ポーション2230の動作及び電気音響トランスデューサ2178とアナログ・ポーション2230との間のゲイン・ロスにより、信号2234は、減衰する。
デジタル・ポーション2228は、減衰している信号2192から信号2236を生成し、該信号2236を第2の加算素子2232に伝達する。第2の加算素子2232は、信号2234と信号2236を加算することで信号2198を生成する。信号2234の所望音の部分は、信号2236に対して約180度位相が異なっているので、信号2234の所望音の部分及び信号2236は、実質的に第2の加算素子2232で相殺する。従って、信号2198は、実質的に耳2186近くの環境雑音の逆位相それぞれであるに過ぎない。プライマリー加算素子2184は、信号2194及び2198を加算することで信号2200生成する
電気音響トランスデューサ2178は、信号2194(所望音、耳2186近くの環境雑音に対する逆位相及び信号2190に従った修正を含む)と信号2198(耳2186近くの環境雑音に対するその他の逆位相を含む)を加算したそれぞれの音を放出する。ANRコントロ−ラは、基準音響電気トランスデューサ、エラー音響電気トランスデューサ及び電気音響トランスデューサに接続する唯一のデジタルANRコントローラを含み得る。従って、デジタルANRコントローラは、電気音響トランスデューサに伝達する信号をデジタルANRコントローラが、エラー音響電気トランスデューサから受信するエラー信号に従って修正する。この場合、デジタルANRコントローラは、主として音ノイズを低減する。
図8Aを参照すると、デジタルANRコントローラ2180は、アナログANRコントローラ2182よりも遅いレートで動作する。しかし、デジタルANRコントローラ2180は、音ノイズや実質的に高周波数でのノイズ用の逆位相信号を生成するのに実質的により効果的である。他方、アナログANRコントローラ2182は、実質的に低い周波数にもかかわらず、実質的に広い周波数帯域におけるノイズ用の逆位相信号を生成するのにより効果的である。
従って、ANRコントローラ2172のデジタルANRコントローラ2180及びアナログANRコントローラ2182が結合することで、システム2170は、低若しくは高周波数はもちろん、狭い(即ち音ノイズ)若しくは広い周波数帯域の両方で、存在するノイズ内の所望音を生成することが可能となる。デジタルANRコントローラ2180及びアナログコントローラ2182は、同一ノイズを減衰する。従って、信号2200内の減衰されたノイズは、デジタルANRコントローラ2180及びアナログANRコントローラ2182によって実行された減衰の加算と実質的に等しい。
図8Cを参照すると、システム2170は、ANRコントローラ2202、基準音響電気トランスデューサ2204及び2238、エラー音響電気トランスデューサ2206及び2208並びに電気音響トランスデューサ2210及び2212を含んでいる。ANRコントローラ2202は、ANRコントローラ2172(図8A参照)に類似している。エラー音響電気トランスデューサ2206及び2208は、エラー音響電気トランスデューサ2176に類似している。電気音響トランスデューサ2210及び2212は、電気音響トランスデューサ2178に類似している。エラー音響電気トランスデューサ2206及び2208並びに電気音響トランスデューサ2210及び2212は、ヘッドマウント装置2214に接続している。
基準音響電気トランスデューサ2204及び2238は、ヘッドマウント装置2214の外部に配置されているか、又は外面に実装されているが、音響的に絶縁されているか、又はエラー音響電気トランスデューサ2206及び2208並びに電気音響トランスデューサ2210及び2212と離れている。ヘッドマウント装置2214は、図7Cに関連して上述したようにヘッドマウント装置2150に類似している。エラー音響電気トランスデューサ2206、電気音響トランスデューサ2210及び基準音響電気トランスデューサ2238は、ユーザ(図示せず)の右耳(図示せず)の近傍に配置される。エラー音響電気トランスデューサ2208、電気音響トランスデューサ2212及び基準音響電気トランスデューサ2204は、ユーザの左耳(図示せず)の近傍に配置される。エラー音響電気トランスデューサ2206は、電気音響トランスデューサ2210によって放出される音、低減SPLでの環境雑音を検出し、電気音響トランスデューサ2212によって放出される音は実質的に検出しない。
エラー音響電気トランスデューサ2208は、電気音響トランスデューサ2212によって放出される音、低減SPLでの環境雑音を検出し、電気音響トランスデューサ2210によって放出される音は実質的に検出しない。基準音響電気トランスデューサ2204及び2238は、環境雑音を検出し、電気音響トランスデューサ2210及び2212によって放出される音は実質的に検出しない。ANRコントローラ2202は、基準音響電気トランスデューサ2204及び2238、エラー音響電気トランスデューサ2206及び2208並びに電気音響トランスデューサ2210及び2212に接続している。ANRコントローラ2202は、基準音響電気トランスデューサ2204から信号2216を、基準音響電気トランスデューサ2238から信号2240を、エラー音響電気トランスデューサ2206から信号2218を、エラー音響電気トランスデューサ2208から信号2220を、そして、音源(図示せず)からの信号2222を受信する。
信号2216及び2238は、信号2188(図8A参照)に類似している。信号2218及び2220は、信号2190に類似している。信号2224及び2226は、信号2200に類似し、信号2222は、信号2192に類似している。信号222は、単一チャンネル音信号(例えば、モノラル)又は多重チャンネル音信号(例えば、立体音響、4チャンネル、サラウンド・サウンド等)の何れかとなり得る。ANRコントローラ2202は、電気音響トランスデューサ2210用の信号2224及び電気音響トランスデューサ2212用の信号2226を生成する。ANRコントローラ2202は、ANRコントローラ2172(図8A参照)が、信号2200を生成するために信号2188、2192及びエラー音響電気トランスデューサ2176から受信した信号を処理する方式と同様にして、信号2216、2238、2218、2220及び2222を処理することで信号2224及び2226を生成する。電気音響トランスデューサ2210及び2212は、信号2222及び低減SPLでの環境雑音の逆位相それぞれの音を含む音を生成する
環境雑音の逆位相は、実質的にそれぞれの耳のクワイエット・ゾーンでの現実の環境雑音を相殺するので、ユーザには、ほとんど信号2222に対応する音が聞こえ、実質的に環境雑音は聞こえない。信号2222が、単一チャンネル音信号である場合、信号2224及び2226の各々は、信号2222及び低減SPLでの環境雑音の逆位相に従って生成される。従って、ユーザは、モノラル音声を聞くことができる。信号2222が、ステレオ方式である場合、信号2224及び2226は、例えば、それぞれ信号2222の右及び左チャンネルに従って、及び低減SPLでの環境雑音の逆位相に従って生成される。従って、ユーザは、環境雑音を聞かずに、ステレオ方式の信号2222に対応する音を聞くことができる。
代わりに、2つ以上の電気音響トランスデューサ及びそれぞれの音響電気トランスデューサが、ANRコントローラに接続し得る。この場合、信号2222が多重チャンネルならば、ユーザは、環境雑音を聞かずに、多次元方式の信号2222に対応する音を聞くことができる。
図8Aを参照すると、電気音響トランスデューサが、プライマリー加算素子に接続し、音響電気トランスデューサが、デジタルANRコントローラに接続している。デジタルANRコントローラは、所望音信号、ノイズ信号及びそれぞれの音響電気トランスデューサから受信したエラー信号を処理することで、電気音響トランスデューサの各々に対して信号を生成する。
また、図8Bを参照すると、電気音響トランスデューサが、プライマリー加算素子に接続し、音響電気トランスデューサが、アナログANRコントローラのアナログ・ポーションに接続している。所望音信号によれば、デジタル・ポーションは、リアルタイムで電気音響トランスデューサが生成する所望音のSPLを予測し、これらの予測した所望音信号を生成する。デジタル・ポーションは、各電気音響トランスデューサそれぞれの前記予測した所望音信号を第2の加算素子に伝達する。アナログ・ポーションは、音響電気トランスデューサから受信した各信号それぞれの逆位相信号を生成し、これらの逆位相信号を第2の加算素子に伝達する。第2の加算素子は、アナログ・ポーションから受信した各逆位相信号とデジタル・ポーションから受信した各信号を加算することで、各電気音響トランスデューサそれぞれの信号を生成する。プイライマリー加算素子は、デジタルANRコントローラから受信した各信号と第2の加算素子から受信した各信号を加算することで、各電気音響トランスデューサに対する信号を生成する。
代わりに、図8Aのノイズ消去システムは、所望音それぞれの信号を受信せず、ユーザの耳から離れて配置される基準音響電気トランスデューサが検出したノイズに従って、逆位相ノイズ音を生成するだけである。この場合、ノイズ消去システムは、デジタルANRコントローラ2180に類似するデジタルANRコントローラ、基準音響電気トランスデューサ及び電気音響トランスデューサを含んでいる。デジタルANRコントローラは、基準音響電気トランスデューサ及び電気音響トランスデューサに接続している。基準音響電気トランスデューサは、ユーザの耳から離れた雑音環境内に配置され、電気音響トランスデューサは、ユーザの耳近くに配置される。加えて、ノイズ消去システムは、デジタルANRコントローラに接続するエラー音響電気トランスデューサを含んでいる。
エラー音響電気トランスデューサは、ユーザの耳近くに配置され、電気音響トランスデューサによって放出された各音のエラー信号をデジタルANRコントローラに伝達する。 デジタルANRコントローラは、エラー信号及び基準ノイズ信号を処理し、電気音響トランスデューサに伝達する逆位相信号を修正する。加えて、前記ノイズ消去システムは、アナログANRコントローラ2182に類似するアナログANRコントローラ及び加算素子を含んでいる。アナログANRコントローラは、エラー音響電気トランスデューサ及び加算素子に接続し、該加算素子は、デジタルANRコントローラ及び電気音響トランスデューサに接続している。
アナログANRコントローラは、エラー信号に対して約180度位相が異なる逆位相ノイズ信号を生成する。加算素子は、デジタルANRコントローラ及びアナログANRコントローラによって生成された逆位相ノイズ信号を加算することで、電気音響トランスデューサ用の信号を生成する。代わりに、エラー音響電気トランスデューサは、デジタル・アクティブ・ノイズ低減コントローラに接続せず、アナログ・アクティブ・ノイズ低減コントローラのみに接続し得る。この場合、アナログ・アクティブ・ノイズ低減コントローラは、デジタル・アクティブ・ノイズ低減コントローラが電気音響トランスデューサに伝達する逆位相ノイズ信号を修正するだけである。
本開示技術の他の側面によれば、ノイズ低減システムは、ユーザの耳近くでノイズ・フリー・サウンドを生成し、ユーザの声に対応するノイズ・フリー信号を生成する。前記システムは、ノイズ基準信号に従って、ノイズ消去音又はノイズ消去信号を生成する。
続いて、図9A及び図9Bを参照する。図9Aは、本公開技術の他の実施形態に従った構成及び動作に係るノイズ低減システム2250を示す概略図である。図9Bは、ヘッドマウント装置2304と併合した図9Aのシステムの概略図である。
図9Aを参照すると、システム2250は、ノイズ・コントローラ2252、基準音響電気トランスデューサ2254、エラー音響電気トランスデューサ2256、ボイス音響電気トランスデューサ2258及び電気音響トランスデューサ2260を含んでいる。ノイズ・コントローラ2252は、ANRコントローラ2262及びオーディオ・コントローラ2264を含んでいる。ANRコントローラ2262は、ANRコントローラ2172(図8A参照)に類似し、オーディオ・コントローラ2264は、オーディオ・コントローラ2106(図7A参照)に類似している。ANRコントローラ2262は、基準音響電気トランスデューサ2254、エラー音響電気トランスデューサ2256及び電気音響トランスデューサ2260に接続している。オーディオ・コントローラ2264は、基準音響電気トランスデューサ2254及びボイス音響電気トランスデューサ2258に接続している。
電気音響トランスデューサ2260及びエラー音響電気トランスデューサ2256は、ユーザ(図示せず)の耳2266近くに配置され、ボイス音響電気トランスデューサ2258は、ユーザの口2268近辺に配置される。吸音材(図示せず)が、一方の側では、電気音響トランスデューサ2260、エラー音響電気トランスデューサ2256及びボイス音響電気トランスデューサ2258の間に配置され、他方の側では、電気音響トランスデューサ2260と基準音響電気トランスデューサ2254との間に配置され得る。かかる吸音材は、電気音響トランスデューサ2260及びエラー音響電気トランスデューサ2256を取り囲む耳覆い(イヤマフ)等であり得る。加えて、吸音材は、音響的に、電気音響トランスデューサ2260、エラー音響電気トランスデューサ2256及び耳2266とボイス音響電気トランスデューサ2258及び口2268とを絶縁する。従って、エラー音響電気トランスデューサ2256は、ユーザの声を検出せず、ボイス音響電気トランスデューサ2258は、電気音響トランスデューサ2260が放出する音を検出しない。従って、基準音響電気トランスデューサ2254は、環境雑音を検出し、実質的にユーザの声又は電気音響トランスデューサ2260が放出する音を検出しない。
基準音響電気トランスデューサ2254は、検出した環境雑音それぞれの信号2274をANRコントローラ2262及びオーディオ・コントローラ2264に伝達する。エラー音響電気トランスデューサ2256は、電気音響トランスデューサ2260が放出する音及び低減SPLでの環境雑音を検出し、各信号2276をANRコントローラ2262に伝達する。ボイス音響電気トランスデューサ2258は、口2268からのユーザ音声及び低減SPLでの環境雑音を検出し、各信号2278をオーディオ・コントローラ2264に伝達する。システム2250は、ヒアリング部とスピーキング部とに分割され得る。ヒアリング部は、ANRコントローラ2262、基準音響電気トランスデューサ2254、エラー音響電気トランスデューサ2256及び電気音響トランスデューサ2260で構成される。
スピーキング部は、オーディオ・コントローラ2264、基準音響電気トランスデューサ2254及びボイス音響電気トランスデューサ2258で構成される。基準音響電気トランスデューサ2254は、ヒアリング部及びスピーキング部と共通する。システム2250のヒアリング部は、図8Aに関して上述したシステム2170に類似している。ANRコントローラ2262は、低減SPLでの信号2274(即ち、耳2266のクワイエット・ゾーンでの環境雑音)に対する逆位相を決定する。ANRコントローラ2262は、音源(図示せず)からの信号2270及び低減SPLでの信号2274の逆位相に従って、所望音それぞれの信号2280を生成する。電気音響トランスデューサ2260は、信号2280に従った音を生成する。従って、ユーザには、所望音が聞こえ、実質的に環境雑音が聞こえない。ANRコントローラ2262は、信号2276に従って信号2280を修正する。代わりに、アクティブ・ノイズ低減コントローラは、所望音それぞれの信号を受信しない。
この場合、アクティブ・ノイズ消去コントローラは、ノイズ低減信号を電気音響トランスデューサに伝達し、別の電気音響トランスデューサが、所望音それぞれの信号に従って所望音を生成する。さらには、所望音は、電気音響トランスデューサ以外の音源(例えば、他人の声、機械の音声、機械音等)から耳に到達する。その他、音響電気トランスデューサは、ノイズ低減システムから取り除くことも可能である。この場合、アクティブ・ノイズ消去コントローラは、フィードバックのような如何なるエラー信号も必要とせず、基準ノイズ信号のみに従って、ノイズ低減信号を生成する。システム2250のスピーキング部は、図7Aに関して上述したシステム2100に類似している。
図9Bを参照すると、システム2250は、ノイズ・コントローラ2290、基準音響電気トランスデューサ2292、エラー音響電気トランスデューサ2294及び2296、ボイス音響電気トランスデューサ2298並びに電気音響トランスデューサ2300及び2302を含んでいる。ノイズ低減システム2290は、ノイズ低減システム2252(図9A参照)に類似している。ノイズ・コントローラ2290は、基準音響電気トランスデューサ2292、エラー音響電気トランスデューサ2294及び2296、ボイス音響電気トランスデューサ2298並びに電気音響トランスデューサ2300及び2303に接続している。エラー音響電気トランスデューサ2294及び2296、ボイス音響電気トランスデューサ2298並びに電気音響トランスデューサ2300及び2303は、ヘッドマウント装置2304内に配置されている。
基準音響電気トランスデューサ2292は、ヘッドマウント装置2304の外部に配置されるか、又は、外面に実装されているが、音響的に絶縁されているか、又は、ユーザの口、エラー音響電気トランスデューサ2294及び2296並びに電気音響トランスデューサ2300及び2302と離れている。エラー音響電気トランスデューサ2294及び電気音響トランスデューサ2300は、ユーザ(図示せず)の右耳(図示せず)付近に配置される。エラー音響電気トランスデューサ2296及び電気音響トランスデューサ2302は、ユーザの左耳(図示せず)付近に配置される。ボイス音響電気トランスデューサ2298は、ユーザの口(図示せず)付近に配置される。ノイズ・コントローラ2290は、基準音響電気トランスデューサ2292から、環境雑音それぞれの信号2306及び音源(図示せず)から、所望音それぞれの信号2308を受信する。ノイズ・コントローラ2290は、ボイス音響電気トランスデューサ2298から、ユーザの声及び低減SPLでの環境雑音それぞれの信号2310を受信する。
ノイズ・コントローラ2290、基準音響電気トランスデューサ2292、エラー音響電気トランスデューサ2294及び2296並びに電気音響トランスデューサ2300及び2302は、図9Aで説明したように、システム2250におけるヒアリング部を形成する。電気音響トランスデューサ2300及び2302は、信号2308によって伝達される所望音並びに信号2306に対する逆位相及び低減SPLでの他の音を含む音を生成する。従って、ユーザには、所望音が聞こえ、実質的に環境雑音は聞こえない。ノイズ・コントローラ2290、基準音響電気トランスデューサ2292及びボイス音響電気トランスデューサ2298は、図8Aで説明したように、システム2250におけるスピーキング部を形成する。従って、ノイズ・コントローラ2290は、信号2306及び2310に従って、ユーザの声のノイズ・フリー信号2312を生成する。
その他、システム2250は、基準音響電気トランスデューサ2292に類似し、ノイズ・コントローラ2290に接続する2つの基準音響電気トランスデューサを含み得る。これらの基準音響電気トランスデューサの各々は、基準音響電気トランスデューサ2204及び2238に関して説明した方式(図8C参照)と類似の方式で、ヘッドマウント装置2304の外部に配置される。
本開示技術の他の側面によれば、アクティブ・ノイズ低減システムは、基準ノイズ信号を受信するデジタル・フィードフォワード部及び耳のクワイエット・ゾーンでシステムによって生成された音それぞれの信号を受信するデジタル/アナログ・フィードバック部を含んでいる。フィードフォワード部は、所望音それぞれの信号を生成し、所望音信号及びフィードバック部からのフィードバックに従ったバックグラウンド・ノイズの逆位相を生成する。
次に、図10A、10B及び10Cを参照する。図10Aは、本公開技術の他の実施形態に従った構成及び動作に係るデジタル・ノイズ低減システム2320を示す概略図である。図10Bは、図10Aのシステムのフィードフォワード部を示す概略図である。図10Cは、図10Aのシステムのフィードバック部を示す概略図である。図10Aのシステム2320は、デジタルANRコントローラ2180(図8A参照)のようなデジタルANRコントローラを詳細に示したものである。
図10Aを参照すると、システム2320は、基準音響トランスデューサ2322、エラー音響電気トランスデューサ2324、電気音響トランスデューサ2326、プラント・レスポンス予測(EPR)素子2328及び2330、フィードフォワード素子2332、フィードバック素子2334並びに加算素子2336、2338及び2340を含んでいる。フィードフォワード素子2332、フィードバック素子2334、EPR素子2328及び2330並びに加算素子2336、2338及び2340は、共にデジタルANRコントローラ2180(図8A参照)と同等である。フィードフォワード素子2332は、EPR素子2342、適応フィルタ2344及び最小自乗(LMS)素子2346を含んでいる。フィードバック素子2334は、適応フィルタ2348、LMS素子2350及びEPR素子2352を含んでいる。
EPR素子は、予め決められた情報に従って2つの音信号の比率を予測し、該比率をEPR素子への入力信号に適用し、結果として出力信号を生成する素子である。これら2つの音信号の1つは、例えば、電気音響トランスデューサによって生成されるべき所望音それぞれになる得る。一方、他の音信号は、電気音響トランスデューサが、現実に生成する音それぞれである。LMS素子は、LMS適応フィルタリング方法に従って、適応フィルタの応答を更新する素子である。LMS素子及びEPR素子の組み合わせは、よく知られたフィルタ−X−LMS(FXLMS)素子と同等である。
電気音響トランスデューサ2326及びエラー音響電気トランスデューサ2324は、ユーザ(図示せず)の耳2354近くに配置される。吸音材(図示せず)は、一方の側では、電気音響トランスデューサ2326とエラー音響電気トランスデューサ2324との間に配置され、他方の側では、電気音響トランスデューサ2326と基準音響電気トランスデューサ2322との間に配置される。従って、基準音響電気トランスデューサ2322は、環境雑音を検出し、電気音響トランスデューサ2326が放出する音を検出しない。エラー音響電気トランスデューサ2324は、電気音響トランスデューサ2326が放出する音及び低減SPLでの環境雑音を検出する。適応フィルタ2344及び2348の各々は、原則として、図7Bに関して説明した適応フィルタ2118に類似している。
図10Bを参照すると、システム2320のデジタル・フィードフォワード部は、基準音響電気トランスデューサ2322、エラー音響電気トランスデューサ2324、電気音響トランスデューサ2326、フィードフォワード素子2332、加算素子2336及び2340並びにEPR素子2330を含んでいる。加算素子2336は、フィードフォワード素子2332、電気音響トランスデューサ2326及びEPR素子2330に接続している。加算素子2340は、フィードフォワード素子2332、エラー音響電気トランスデューサ2324及びEPR素子2330に接続している。基準音響電気トランスデューサ2322は、フィードフォワード素子2332に接続している。基準音響電気トランスデューサ2322は、環境雑音を検出し、フィードフォワード素子2332に各信号2356を伝達する。
フィードフォワード素子2332は、耳2354のクワイエット・ゾーンでの環境雑音の低減SPLを決定する。SPLの低減は、一般的には、信号2356の周波数に敏感に反応する。フィードフォワード素子2332は、低減SPLでの環境雑音信号2356に対して逆位相となる信号2358を決定し、該信号2358を加算素子2336に伝達する。加算素子2336は、信号2360に信号2358を加え、その加算結果それぞれの信号2362を生成する。信号2360は、音源(図示せず)からの所望音それぞれである。従って、信号2362は、所望音信号及び低減SPLでの環境雑音の逆位相を含んでいる。加算素子2336は、信号2362を電気音響トランスデューサ2326に伝達する。電気音響トランスデューサ2326は、信号2362に従って、ノイズ消去音に加えて所望音を生成する。
耳2354のクワイエット・ゾーンでの環境雑音の逆位相が、当該クワイエット・ゾーンでの環境雑音を相殺するので、ユーザには、所望音が聞こえ、実質的に環境雑音が聞こえない。エラー音響電気トランスデューサ2324は、電気音響トランスデューサ2326によって放出される音を検出し、該検出音それぞれの信号2364を加算素子2340に伝達する。EPR素子2330は、信号2360を受信し、耳2354のクワイエット・ゾーンで電気音響トランスデューサ2326によって放出された所望音の予測である信号2366を決定し、該信号2366を加算素子2340に伝達する。加算素子2340は、信号2366と2364を比較することで(例えば、信号2364から信号2366を差し引くことで)、エラー信号2368を生成し、該エラー信号2368をフィードフォワード素子2332及びフィードバック素子2334に伝達する。
エラー信号2368は、音源から受信したような所望音と耳2354のクワイエット・ゾーンで放出されたノイズ低減所望音との差を示す。フィードフォワード素子2332は、エラー信号2368に従って信号2358を修正し、該信号2358を加算素子2336に伝達する。
図10Cを参照すると、システム2320のフィードバック部は、電気音響トランスデューサ2326、エラー音響電気トランスデューサ2324、フィードバック素子2334、EPR素子2328及び2330並びに加算素子2336、2338及び2340を含んでいる。加算素子2336は、フィードバック素子2334、EPR素子2328及び2330並びに電気音響トランスデューサ2326に接続している。加算素子2338は、フィードバック素子2334、EPR素子2328及び加算素子2340に接続している。加算素子2340は、フィードバック素子2334、EPR素子2330、加算素子2338及びエラー音響電気トランスデューサ2324に接続している。加算素子2336は、フィードフォワード素子2332から受信する信号2358を音源から受信する信号2360に加算することで信号2362を生成する。従って、図10Bに関して上述したように、信号2362は、所望音信号及び低減SPLでの環境雑音の逆位相を含んでいる。
加算素子2336は、信号2362を電気音響トランスデューサ2326及びEPR素子2328に伝達する。電気音響トランスデューサ2326は、信号2362に従って、ノイズ消去音と共に所望音を生成する。耳2354のクワイエット・ゾーンでの環境雑音の逆位相が、当該クワイエット・ゾーンでの環境雑音を相殺するので、ユーザには、所望音が聞こえ、実質的に環境雑音が聞こえない。エラー音響電気トランスデューサ2324は、電気音響トランスデューサ2326によって放出される音を検出し、該検出音それぞれの信号2364を加算素子2340に伝達する。EPR素子2330は、信号2360を受信し、耳2354のクワイエット・ゾーンで放出された所望音の予測である信号2366を決定し、該信号2366を加算素子2340に伝達する。加算素子2340は、信号2366と2364を比較することで(例えば、信号2364から信号2366を差し引くことで)、エラー信号2368を生成し、該エラー信号2368をフィードバック素子2334、加算素子2338及びフィードフォワード素子2332に伝達する。
エラー信号2368は、音源から受信したような所望音と耳2354のクワイエット・ゾーンで放出されたノイズ低減所望音との差を示す。EPR素子2328は、電気音響トランスデューサ2326によって放出され、エラー音響電気トランスデューサ2324によって検出されたような音の予測である信号2370を生成する。EPR素子2328は、信号2362に従って信号2370を生成する。加算素子2338は、信号2366と2364を比較することで(例えば、信号2368から信号2370を差し引くことで)、エラー信号2372を生成し、該エラー信号2372をフィードバック素子2334に伝達する。フィードバック素子2334は、エラー信号2368及び2372を処理することで、エラー信号2374を生成し、該エラー信号2374を加算素子2336に伝達する。
加算素子2336は、エラー信号2374を信号2358(環境雑音消去信号用)及び信号2360(音源信号用)に加えることで信号2362を生成する。ノイズ低減システムは、複数の電気音響トランスデューサ及び各電気音響トランスデューサに対応する音響電気トランスデューサを含み得る。この場合、前記システムは、複数チャンネルで所望音を受信し、ユーザは、複合的な次元で所望音を聞くことができる。また、システム2320は、電気音響トランスデューサ(例えば、電気音響トランスデューサ2326)によって放出される音によって影響されない、音響電気トランスデューサ(例えば、基準音響電気トランスデューサ2322)から受信した信号に従い逆位相ノイズ信号を生成する。そして、当該電気音響トランスデューサによって放出される音それぞれの信号(例えば、信号2364)に従って、この逆位相ノイズ信号を適合させる。
システム2320のフィードフォワード部及びフィードバック部の動作は、類似している。この2つの部の相違は、フィードフォワード部への入力が、電気音響トランスデューサによって放出された音を全く含まない環境雑音である一方、フィードバック部への入力が、実際に電気音響トランスデューサによって放出された音である、ということである。
次に、図11Aを参照する。図11Aは、本公開技術の他の実施形態に従った動作に係る図7Aのシステムの操作方法を示す概略図である。手続き2400では、アコースティック・サウンド及びノイズを検出することで、ノイズ・ベアリング・サウンド信号が生成される。図7Aを参照すると、音響電気トランスデューサ2102は、アコースティック・サウンド及びノイズを検出し、検出したアコースティック・サウンド及びノイズそれぞれの信号2108をオーディオ・コントローラ2106に伝達する。
手続き2402では、ノイズを検出することで基準ノイズ信号が生成される。図7Aを参照すると、音響電気トランスデューサ2104は、ノイズを検出し、該ノイズそれぞれの信号2110をオーディオ・コントローラ2106に伝達する。
手続き2404では、基準ノイズ信号に従って、補正信号が決定される。図7Aを参照すると、オーディオ・コントローラ2106は、信号2110に対する低減SPLを決定する。
手続き2406では、補正信号及びノイズ・ベアリング・サウンド信号に従って、ノイズ・フリー信号が生成される。図7Aを参照すると、オーディオ・コントローラ2106は、信号2108から、低減SPLでの信号2110を差し引くことで信号2112を生成する。
次に、図11Bを参照する。図11Bは、本公開技術の他の実施形態に従った動作に係るノイズ消去システムの操作方法を示す概略図である。このノイズ消去システムでは、環境雑音を検出するために基準音響電気トランスデューサが使用されている。該基準音響電気トランスデューサは、ユーザの耳から離されて配置される。この基準音響電気トランスデューサによる環境雑音を検出する手続きは、図11A及び11Bに係る方法の両方で共通している。また、図11A及び11Bに係る方法は、以下、図12に関して説明する単一方法に一本化できる。
図11Bを参照すると、手続き2402に類似する手続き2408では、ノイズを検出することで基準ノイズ信号が生成される。基準音響電気トランスデューサは、環境雑音を検出することで基準ノイズ信号を生成する。
手続き2410では、基準ノイズ信号を処理することでノイズ消去信号が決定される。ANRコントローラ2172(図8A参照)に類似するANRコントローラは、基準ノイス信号を処理することで、ノイズ消去信号を決定する。ANRコントローラは、ユーザの耳近くの環境雑音のSPLに対応する基準ノイズ信号用の低減SPLを決定する。また、ANRコントローラは、基準ノイズ信号に対して約180度位相が異なるノイズ消去信号を決定する。電気音響トランスデューサ2178(図8A参照)に類似する電気音響トランスデューサが、決定したノイズ消去信号に従って、ノイズ消去音を生成する(手続き2412)。
次に、図12を参照する。図12は、本公開技術の他の実施形態に従った動作に係る図9Aのシステムの操作方法を示す概略図である。手続き2420では、音声及びノイズを検出することでノイズ音声信号が生成される。図9Aを参照すると、ボイス音響電気トランスデューサ2258は、低減SPLでの環境雑音に加え、口2268からのユーザの声を検出し、信号2278をオーディオ・コントローラ2264に伝達する。
手続き2422では、ノイズを検出することで基準ノイズ信号が生成される。図9Aを参照すると、基準音響電気トランスデューサ2254が、環境雑音を検出し、信号2274をオーディオ・コントローラ2264に伝達する。
手続き2424では、基準ノイズ信号に従って、補正信号が決定される。図9Aを参照すると、オーディオ・コントローラ2264は、信号2274用の低減SPLを決定する。
手続き2426では、補正信号及びノイズ音声信号に従って、ノイズ・フリー音声信号が生成される。図9Aを参照すると、オーディオ・コントローラ2264は、信号2278から、低減SPLでの信号2274を差し引くことで信号2272を生成する。
手続き2428では、オーディオ信号が受信される。図9Aを参照すると、ANRコントローラ2262は、音源から信号2270を受信する。
手続き2430では、耳近辺での音を検出することでエラー信号が生成される。図9Aを参照すると、エラー音響電気トランスデューサ2256が、耳2266近くの音を検出し、該検出音それぞれの信号2276をANRコントローラ2262に伝達する。
手続き2432では、基準ノイズ信号、オーディオ信号及びエラー信号に従って、オーディオ及びノイズ消去信号が決定される。図9Aを参照すると、ANRコントローラ2262は、信号2270、2274及び2276を処理することで、信号2280を決定する。
手続き2432では、決定したオーディオ及びノイズ消去信号に従って、オーディオ及びノイズ消去音が生成される。図9Aを参照すると、電気音響トランスデューサ2260が、信号2280に従った音を生成する。
以下、アイ・トラッカー138の説明を行う。図13は、本公開技術の他の実施形態に従った構成及び動作に係るシステム3100の正面概略図である。該システム3100は、ユーザの目3120に画像を表示し、さらに目3120を追跡する。瞳3134は、目3120内部にある。システム3100(例えば、後述する図18のアイ・トラッカー3534)は、カメラ・モジュール3102、画像プロセッサ3132、ビーム・スプリッタ3104、光源3106、3108及び3110、表示モジュール3112並びにコリメーティング・オプティカル・アセンブリ3114を含み、これらは、ヘルメット3116上に全て搭載されている。
ビーム・スプリッタ3104は、入射光の一部を伝達し、他の部分を反射する。例えば、ビーム・スプリッタ3104は、偏光ビーム・スプリッタ(PBS)であり得る。光源3106、3108及び3110は、非可視光を放射する。例えば、光源3106、3108及び3110の各々は、赤外線(IR)又は近赤外線(NIR)を放射し得る。光源3106、3108及び3110は、発光ダイオード(LED)、NIRフィルタ付き広帯域光源等であり得る。表示モジュール3112は、ユーザによって見られる画像を生成する(例えば、表示モジュール3112は、ブラウン管(CRT)、後部光源の液晶ディスプレイ(LCD)又は有機発光ダイオード(OLED)を含み得る)。
光源3110及び表示モジュール3112は、コリメーティング・オプティカル・アセンブリ3114に接続する。カメラ・モジュール3102は、ビーム・スプリッタ3104を介して通過する画像を受信する。カメラ・モジュール3102は、画像を検出するためにCCD、CMOS等のイメージ・センサを含んでいる、画像プロセッサ3132は、カメラ・モジュール3102、表示モジュール3112並びに光源3106、3108及び3110に接続する。本例では、画像プロセッサ3132は、ヘルメット3116上に取り付けられる。前記プロセッサは、一般的にはヘルメット上にあるが、ヘルメットの外又は部分的にヘルメット上に取り付けられていてもよい(例えば、前記プロセッサが、チップ・セットで構成されている場合等)。
画像プロセッサ3132は、カメラ3102から画像データを受信し、これらの画像データに従って目3120の視線を決定する。また、画像プロセッサ3132は、画像を記録し、外部ソース(例えば、ユーザ・インターフェース、周辺光検出器等)と通信し、表示モジュール3112並びに光源3106、3108及び3110を制御する。本例では、光源3106、3108及び3110は、実質的に同一の所定波長レンジ内で光を放射する。また、カメラ・モジュール3102は、光源3106、3108及び3110のような同一波長レンジ内の光を許可し、該レンジ外の光を除去するフィルタ(図示せず)を含んでいる。しかし、前記光源は、一般的には、異なる波長レンジを有する光を放射し、前記カメラは、様々なスペクトル検出を行う。
一般的に前記カメラが、光源3106、3108及び3110がもたらす光の反射を検出するのに必要な要件は、カメラ・モジュール3102の検出レンジと実質的なオーバーラップを有する光源3106、3108及び3110の発光スペクトルを結合させることである。光源3106は、非可視照射光線3122をビーム・スプリッタ3104に向けて放つ。ビーム・スプリッタ3104は、部分的に光線3122を目3120に向けて反射し、結果として目3120に光を当てることになる。照射光線3122は、カメラ・モジュール3102の光軸と同心となる。照射光線3122の一部は、目3120の瞳3134から、光線3124のように、カメラ・モジュール3102のイメージ・センサへ反射される。従って、瞳3134は、カメラ・モジュール3102によって検出された画像内の明るい点(ブライト・スポット)として現れる。これにより、画像プロセッサ3132は、瞳3134の中央部を決定する。
本開示技術の他の実施形態によれば、画像プロセッサ3132は、ヘッメット上あるいは、ヘルメットの外にあり得る周辺光検出器(図示せず)にも接続する。ある条件の下では、カメラ・モジュール3102は、ブライト・スポットとして瞳3134を検出し得ない。例えば、システム3100での周辺光は、高い強度レベルで到達する。瞳3134を見ることは、瞳とその周囲の不透明組織(即ち、虹彩)との間の最小限のコントラスト・レベルを必要とするため、周辺光の強度増大に応じて、光線3122の強度レベルも増大しなければならない。しかしながら、光線3122の強度は、安全閾値によって制限され得る。ブライト・スポットとして瞳3134を見るために必要とされる光線3122の強度が、安全閾値を超えている場合、周辺光検出器は、画像プロセッサ3132に信号を送ることができる。
画像プロセッサは、光源3106、3108及び3110に対して、目への照射を指示する。例えば、光源3106は、光線3122の強度を大きく低減させ得る。従って、瞳3134は、カメラ・モジュール3102によって検出された画像内に現れる。画像プロセッサ3132は、別の基準に従って瞳3134を検出する。例えば、”明るい瞳”を検出する基準は、特定の明るさの閾値を超えている画像部分を選択し得る。一方、”暗い瞳”を検出する基準は、”暗さ”閾値に足りない画像部分を選択し得る。光源3110は、非可視照射光線3128をコリメーティング・オプティカル・アセンブリ3114に向けて放つ。
表示モジュール3112は、可視画像を伝達する光線3130をコリメーティング・オプティカル・アセンブリ3114に向けて放つ。コリメーティング・オプティカル・アセンブリ3114は、光線3128及び3130を平行にし、該平行にした光線をユーザの目3120に導く。画像プロセッサ3132は、光線3128の角膜反射3138(即ち、角膜反射3138は、目3120の角膜からの光線3128の反射である。)を検出する。光線3128は、平行にされるので、光源3110の位置に対する角膜上の角膜反射3188の位置は、目3120の動きに対して不変である。本例では、角膜反射3138は、瞳3134のエリア外に位置している。しかしながら、角膜反射3138は、一般に、瞳3134のエリアに部分的又は完全に重なり得る。また、角膜反射3138の位置は、目3120の凝視にも依存する。
光源3108は、非可視照射光線3126をユーザの目3120及び瞼3136に向けて放つ。光線3128の一部(図示せず)は、カメラ・モジュール3102に向けて反射される。従って、カメラ・モジュール3102は、ユーザの目3120及び瞼3136の画像を検出する。光源3108は、単色光(即ち、強度、偏向、波長等)で顔の特定エリア(例えば、目及び瞼)に対する投光照明を生成するために構成され得る。例えば、ディフューザが、均一強度の照射を発生させるために使用され得る。
本開示技術のさらなる実施形態によれば、画像プロセッサ3132は、瞳3134及び角膜反射3138との間の相対位置に従ってユーザの視線を決定する。例えば、画像プロセッサ3132は、目の画像から瞳3134の中央の位置及び角膜反射3138の中央の位置を抽出する。従って、画像プロセッサは、瞳の中央及び角膜反射の中央との間の相対位置を算出することができる。画像プロセッサは、ユーザの視線を決定するため、この結果を予め決められたモデル・トランスフォーメーションを使用して変更する。モデル・トランスフォーメーションは、目の生理学上の知識に基づき、さらにユーザに関して予め取得されたデータに従って決定される。瞼3136の位置は、視線の計算精度を高めるために使用される。例えば、瞼の角はどれも、ユーザの顔に対して、通常、静止している。従って、瞳及び角膜反射に加えて、瞼3136の角は、さらなる基準点として使用され得る。
その他、瞼3136の位置は、ユーザの視線を算出するために使用され得る。他の基準点(即ち、瞳3134又は角膜反射3138)の1つの場合は、使用できない。例えば、特定条件の下では、角膜反射3138は、使用されない。従って、画像プロセッサは、瞳3134の中央及び瞼3136の角との間の相対位置従って、視線を決定する。画像プロセッサは、動的に視線を算出し得る。従って、画像プロセッサ3132は、最初に視線を算出し、目のその後のいかなる動きも視線の変化に結び付ける。
本公開技術の他の実施形態によれば、画像プロセッサ3132は、瞼3136又は瞳3134の何れか一方の位置及び動きに従って、ユーザの生理状態を決定する。例えば、瞼3136の位置及び瞳3134の動きは、ユーザの疲労状態を表すことができ、意識消失(LOC)等を確認する。例えば、画像プロセッサは、高いGロード(G−LOC)の下で、このようにして意識消失を確認することができる。この生理状態には、例えば、疲労、意識消失、斜視、乱視、目の損傷、目眩等があい得る。特定の生理学的状態が、検出されると、画像プロセッサ3132は、それに対する反応を示すことができる。
例えば、画像プロセッサは、ユーザが眠っていることを検出すると、画像プロセッサは、アラーム・システムに対して、警報音の出力、軽い電気ショックの発生、司令部への注意警告等を指示することができる。システム3100は、さらに半透明のバイザー又はコンバイナ(図示せず)を含んでいる。目3120とシステム3100の素子との間を光線が進む軌道は、概略的に示されているに過ぎない。光線3122、3124、3126、3128及び3130は、実際には、目3120又はカメラ・モジュール3102に到達する前に、バイザーから反射される。
次に、図14を参照する。図14は、システム3100(図13参照)の側面概略図である。バイザー3140は、コリメータ3114と目3120との間を通過する光線(即ち、図13の光線3128及び3130)だけでなく、目3120とカメラ3102との間を通過する光線(即ち、図13の光線3124)も反射する。表示モジュール3112及び光源3110の両方は、コリメータ3114を介して、バイザー/コンバイナ3140に光を伝達する。従って、システム3100は、目3120のLOSを決定し、目3120用の画像を表示する。一方、表示モジュール3112及び光源3110は、実質的に同じ光路を利用する。本例では、バイザー3140の表面は、球状である。しかしながら、バイザー3140の表面は、例えば、球状、非球面状、平面状等、様々な形状を有し得る。また、球面状のバイザーは、そこから反射された光線の軌道に影響を与えることなく、いくつかの回転角度を自由に有し得る。バイザー3140は、少なくとも部分的に可視光を伝達する。その結果、そこを通過するシーンをユーザは見ることができる。
バイザー3140は、さらに、照射光線3122、3126及び3128のような実質的に同一波長を有する光を除去し得る。例えば、バイザーは、これらの波長を有する光を吸収するピグメントを含み得る。従って、バイザー3140は、これらの波長を有する光が、通過し、バイザーとユーザの顔との間の空間に進入することを防止する。これは、実質的に、周辺光(例えば、太陽光)3150によって引き起こされるシステム3100への干渉を取り除く。バイザ3140は、内被3142でコーティングされている。内被3142は、バイザー3140の内側全体を覆い得る。
例えば、内被3142は、光線3122、3126及び3128並びに表示モジュール3112の波長域でのピーク反射反応を有する干渉ミラー・コーティングであり得る。従って、内被3142は、これらの波長を有する光が、バイザーの内部(即ち、バイザーとユーザの顔との間の空間)からバイザーの外側へ進行することを防止する。従って、バイザーとユーザの顔との間の空間は、事実上、これらの波長では光学的に絶縁されている。実質的に、光源3106、3108及び3110から発生する照射光線と同じ波長を有する全ての光は、カメラ・モジュール3102によって検出される。
従って、信号(即ち、光源の1つで引き起こされる光)対ノイズ(即ち、周辺光3150)比は、カメラ・モジュール3102によって受信された画像を解析するのに十分である。デブリーフィング・カメラは、システム3100と一体化し得る。かかるカメラは、飛行中でのヘルメットの位置及び方向に関するデータを提供できる。カメラ・モジュール3102からのデータと共に取得されたこれらのデータは、ユーザによって見られる景色に関する眼識を提供し得る。同様に、システムは、エアクラフトに係る位置及び方向センサ(例えば、図18に示される乗り物位置及び方向トラッカー3538)のみならず、ヘルメット3116上に搭載された位置及び方向センサとも一体化され得る。
本開示技術の他の実施形態によれば、ビューアーに対して表示される画像が、検出した視線に従って制御される。
次に、図15A及び15Bを参照する。図15Aは、本公開技術の他の実施形態において、ユーザが見ている第1の風景3200を示す概略図である。図15Bは、本公開技術の他の実施形態において、ユーザが見ている第2の風景3230を示す概略図である。図15A及び15Bに示される例では、ユーザは、エアクラフトを操縦している(例えば、ユーザは、航空機の乗組員である)。しかしながら、本公開技術は、システムとインターフェースをとるユーザの能力を伸ばすために様々なアプリケーション、例えば、戦車、潜水艦、様々なタイプのシミュレータ、組立ライン、身体障害者のための装置等、に適応され得る。
図15Aを参照すると、風景3200は、ターゲット3206を含んでいる。図15Aに示す例では、ターゲット3206は戦車である。ターゲット・マーキング3204は、風景3200に重ねられる。ターゲット・マーキング3204は、ビューアーの視線3202の周囲に表示される。視線3202は、説明の必要上、示しているのであってはユーザに対して表示されない。
視線は、角膜に対して垂直に瞳から伸び、かかる仮想線は、各目の視野の中央に正確に位置される単一ポイントである。本例では、ユーザは、ターゲット3206に狙いをつけて、武器(例えば、図18に示される武器3532)を当該ターゲットに導く。ターゲットを狙うために、ユーザは簡単にターゲットを見つめる。それにより、ターゲットの方向に視線をセットする。ターゲット周囲に表示されるターゲット・マーキング3204は、狙いが十分正確かどうかをユーザに決定させる手助けとなる。
狙いが十分正確な場合、ユーザは、ターゲットを狙撃することができる(例えば、手動ボタンを押したり、音声指令を与えたりすることによって)。ユーザが狙っている実際のターゲット位置を決定するため、本公開技術は、座標階層を実装する。従って、本公開技術は、ヘルメットの視線座標内で(即ち、ヘルメットの位置及び方向)瞳の視線座標をカスケード表示する(即ち、アイ・トラッキング)。また、エアクラフト位置が記憶される(例えば、レーダと結合したグローバル・ポジショニング・システム(GPS)及び方向(ジャイロスコープ)等)。本公開技術は、ユーザに、ユーザの視野内のいかなるポイントも含み得る狙いの領域を提供する。 また、ユーザの狙いのスピード及び安定は、実質的にユーザの目の生理的限界によってのみ制限される。
エアクラフトは、例えば、様々な方向での高重力(G)、バイブレイション、プレッシャー等の極限状態(例えば、戦闘中)の影響を受けやすい。人間の目は、前庭動眼反射によって、実質的に自然に自己安定化される。目をコンスタントにトラッキングし、視線を決定することによって、飛行機が、かかる極限状態にさらされているときであっても、本公開技術は、ユーザに狙いの安定性を提供する。従って、本公開技術は、頭のバイブレイションを補うために、目の自然な自己安定を使用する。
本開示技術の他の実施形態によれば、アイ・トラッキング・システムは、ビューアーの視線に従ったロジカル・ディプレイ・エレメントを登録する。従って、ユーザは、目を使用するディスプレイ・エレメントを選択することができる。
図15Bを参照すると、ディスプレイ・エレメントA(符号3234)及びB(符号3236)は、風景3230に重ねられる。各ディスプレイ・エレメント3234及び3236は、ユーザが選択することができるアクション(例えば、ミサイルの選択、シートのイジェクト、遭難信号の送信)を表す。アイ・トラッキング・システムは、ビューアーの視野と共に最初にロジカル・ディスプレイ・エレメントを登録する。従って、システムは、ユーザが、特定のロジカル・ディスプレイ・エレメントを見つめると、これを検出する。従って、ユーザは、当該エレメントを見つめ、選択を確認することで、ロジカル・ディスプレイ・エレメントを選択できる。本例では、ユーザは、オプションAを選択している。選択は、例えば、マニュアル確認、ロジカル・ディスプレイ・エレメントをわずかな時間見つめること、音声指示を与えること等、様々な確認メカニズムで確認され得る。
本開示技術の他の実施形態によれば、ユーザは、表示領域外のターゲットを選択できる。
次に、図15Cを参照する。図15Cは、本公開技術の他の実施形態において、ユーザが見ている第3の風景3260を示す概略図である。風景3260は、ターゲット3266を含んでいる。図15Cに示される例では、ターゲット3266は敵機である。符号3264で示されるシステムの表示領域は、システムがユーザに対して画像を表示できるエリアを表す。
表示領域3264は、主として、人間の目の視野より小さい。表示領域3264は、説明のために示されているのであって、実際には風景3260上に現れない。ターゲット3266は、表示領域3264の外に位置されているので、システムは、ターゲット3266の周囲にターゲット・マーキング(例えば、図15Aのターゲット・マーキング3204に類似する)を表示しない。システム3100のユーザは、ターゲットに向かって視野3262を導くことで(即ち、ターゲットを見ることで)、ターゲット3266をロックオンできる。
次に、図16を参照する。図16は、本公開技術の他の実施形態に従った動作に係る、ユーザの目に向かって画像を投影している間、該目をトラッキングする方法を示す図である。手続き3300では、瞳照射光線が、反射面に向かって放射される。かかる瞳照射光線は、照射する瞳及び該瞳の回りの組織に、前記瞳と組織との間のコントラストを強調する方法で導かれる。瞳照射光線は、間接的に反射面に到達し得る。従って、光線は、始めに少なくとも1つの光学素子に向かって放射され、次に、該光学素子は、光線を反射面に向かって導く。図13及び14を参照すると、光源3106は、光線3122をビーム・スプリッタ3104に向かって放射し、そこからバイザー3140の内被3142に向かう。
手続き3302では、瞼照射光線が、反射面に向かって放射される。かかる瞼照射光線は、照射する瞳及び瞼の全体に、前記瞼の位置をトラッキング可能にする方法で導かれる。図13及び14を参照すると、光源3108は、光線3126をバイザー3140の内被3142に向かって放射する。
手続き3304では、角膜照射光線が、反射面に向かって放射される。かかる角膜照射光線は、照射する目の角膜に導かれるので、反射光の可視ポイントが、目の角膜上に現れる。図13及び14を参照すると、光源3110は、コリメーティング・オプティカル・アセンブリ3114を介してバイザー3140の内被3142に向かうように光線3128を放射する。
手続き3306では、ディスプレイ光線が反射面に向かって放射される。前記ディスプレイ光線は、ユーザに見られる画像を伝達する。図13及び14を参照すると、光源3112は、コリメーティング・オプティカル・アセンブリ3114を介してバイザー3140の内被3142に向かうように光線3130を放射する。
手続き3308では、照射光線及びディスプレイ光線は、ユーザの目に向かって反射され、それにより、目を照射し、ユーザに対して表示画像を表示する。図13及び14を参照すると、バイザー3140の内被3142は、光線3122、3126、3128及び3130を目3120に向かって反射する。
手続き3310では、目から受信した光が、画像検出器に向かって反射され、その結果、目の画像を検出する。図13及び14を参照すると、バイザー3140の内被3142は、光線3122、3126及び3130の一部(図示せず)をビーム・スプリッタ3104を介してカメラ・モジュール3102に向かって反射する。
手続き3312では、目の画像が解析され、その結果、ユーザの生理的状態が決定する。図13を参照すると、画像プロセッサ3132が、目3120の画像を解析し、瞼の位置及び動きに従って、ユーザの疲労状態を決定する。
手続き3314では、目の画像が解析され、その結果、ユーザの視線が決定する。図13及び14を参照すると、画像プロセッサ3132は、カメラ・モジュール3102から受信した目3120の画像を解析し、瞳3134、角膜反射3138の関連位置並びに瞼3136の構造及び位置に従って、ユーザの視線を決定する。
手続き3316では、ディスプレイ光線が、ユーザの視線に従って制御される。図15Aを参照すると、ディスプレイ光源ビームが、ターゲット・マーキング3204を含む画像を投影する。ターゲット・マーキング3204は、ビューアーの視線3202の位置に従って、制御される。他のシステムでは、ユーザの視線に従って制御され得る。例えば、イジェクション・メカニズム、発射メカニズム、オペレーション・モード等が、視線に従って制御され得る。
手続き3318では、少なくとも1つの照射光源が、検出した周辺光に従って制御される。図13及び14で示される例では、周辺光検出器(図示せず)は、周辺光3150の強度レベルを検出し、それに応じて画像プロセッサに信号を供給する。強度レベルが、特定の閾値を超えている場合、画像プロセッサは、光源3106に実質的に照射光線3122の強度を低減させるよう(完全に取り除くよう)指示する。手続き3318は、手続き3300、3302及び3304の前に実行される。
本開示技術の他の実施形態によれば、装置は、ユーザに装着されず(例えば、ヘルメットに搭載されずに)、ユーザの前方に実装される。かかるシステムでは、ビューアーの視線は、様々な頭位置に対応して追跡される。頭を追跡するモジュールは、物理的に頭と一体化され得る(例えば、ヘルメットに装着される等)し、又は、ユーザ近辺で、視覚的に、リモート位置から頭位置を追跡する
次に、図17A及び17Bを参照する。図17Aは、本公開技術の他の実施形態に従った構成及び動作に係るシステム3500の側面概略図である。図17Bは、図17Aのシステムの正面概略図である。図17A及び17Bに示される例では、ユーザは、車両を運転している(例えば、前記ユーザは、車の運転者である。)。本公開技術の本実施形態は、あらゆるタイプの車両(例えば、バス、トラック、モーターサイクル、自転車等)、船舶(例えば、ボート又は潜水艦)若しくはエアクラフト(例えば、航空機、ヘリコプター、宇宙船等)又は固定施設内で適用し得る。
バイク、
図17Aを参照すると、システム3500は、アイ・トラッカー・モジュール3506、ドライブ・モジュール3510及びビデオ処理ユニット3508を含んでいる。アイ・トラッカー・モジュール3506は、ドライブ・モジュール3510及びビデオ処理ユニット3508に接続し、車両3504上に実装されている。車両3504は、運転者3502によって運転される。アイ・トラッカー・モジュール3506は、図13のシステム3100に類似したカメラ・モジュール、ビーム・スプリッタ、光源、表示モジュール及びコリメーティング・オプティカル・アセンブリ(全て図示せず)を含むコンポーネントを構成する。これらのユニットの機能性は、システム3100に係る対応ユニットに類似する。通常、アイー・トラッカー・モジュール3506は、照射光線及び表示光線を運転者3502の目に向かって放射し、その結果、目を照射し、運転者3502に対して画像を表示する。前記表示画像は、様々な特徴又は道路若しくは走行過程に関する指示を含み、確認メカニズムを動かすことで運転者3502のエレメント選択を可能にし得る。運転者3502の頭位置は、制限エリアに制約されないので、目の位置は、車両3504内の可能な限り広い範囲に存在し得る。
本開示技術のある側面によれば、ドライブ・モジュール3510は、アイ・トラッカー・モジュール3506を目の一般的位置に向かうよう導く。この導きは、ヘッドマウントMPS又はオフユーザ・カメラに従って決定され得る。
本開示技術の他の側面によれば、運転者の頭が移動できる全てのエリアをカバーする
複数のアイ・トラッカー・モジュール3506が存在する。
さらに、いつでも操作のために選択されるアイ・トラッカー・モジュール3506を決定するユニットも存在する。
本開示技術のさらなる側面によれば、ビデオ処理ユニット3508は、高解像検出器(例えば、CMOS撮像装置)を含んでいる。かかる高解像検出器は、大きな視野をカバーするワイド・アングル・オプティックスに接続する。
本開示技術のこれらの側面は、相互排他的でない。例えば、高解像検出器は、精度を高めるため、ドライブ・モジュール3510と共に使用され得る。ビデオ処理ユニット3508は、アイ・トラッカー・モジュール3506から運転者3502の目の画像を受信する。ビデオ処理ユニット3508は、前記目の画像を解析し、頭位置に対応する運転者3502の視線を決定する。ビデオ処理ユニット3508は、前記視線に従って、運転者3502に対して表示される画像を制御する。また、ビデオ処理ユニット3508は、運転者3502の生理的状態を決定するために目の画像を解析する。特定の生理学的状態が検出されると、システム3100に関して説明したように、ビデオ処理ユニット3508は、それに対する応答を指示する。
本開示技術の他の側面によれば、運転者3502は、車両3504の外のオブジェクト(即ち、風景画像)を見つめ、システム3500に当該オブジェクトに関する情報を問い合わせることができる。運転者3502は、システム3500にマイクロホン(図示せず)を使用して問い合わせることができる。アイ・トラッカー・モジュール3506は、運転者3502のLOSに従って、車両3504のフロントガラス上に当該対象それぞれの画像を表示する。この場合、アイ・トラッカー・モジュール3506は、運転者3502の現在のLOSに対応するフロントガラス上の位置に画像を表示する(即ち、フロントガラス上の画像位置は、運転者3502の見つめる方向に従って変化する。)。その他、アイ・トラッカー・モジュール3506は、車両3504に対する運転者3502の頭の位置に従って画像を表示する。この場合、アイ・トラッカー・モジュール3506は、運転者3502の現在の頭の位置に対応するフロントガラス上のある位置に画像を表示する(即ち、フロントガラス上の画像位置は、運転者3502の頭の位置に従って変化する。)。
次に、図17Bを参照する。図17Bは、システム3500(図17A)の正面概略図である。アイ・トラッカー・モジュール3506は、車両3504内の都合の良い位置にユーザに面するように実装される。また、光線は、レンズ表面(例えば、バイザー等)に反射されず、本開示技術の先の実施形態においては、むしろ光線と運転者3502の目との直接路となる。
次に、図18を参照する。図18は、ターゲットに向かって武器3532を導く、本公開技術の他の実施形態に従った構成及び動作に係るシステム3530の概略図である。システム3530は、アイ・トラッカー3534、ヘッド位置トラッカー3536、乗り物位置及び方向トラッカー3538、オーディオ・アセンブリ3540及びプロセッサ3542を含んでいる。武器3532は、アイ・トラッカー3534、ヘッド位置トラッカー3536、乗り物位置及び方向トラッカー3538及びオーディオ・アセンブリ3540は、プロセッサ3542に接続している。武器3532は、例えば、電気式アクチュエータ、油圧アクチュエータ、空気圧式アクチュエータ、圧電アクチュエータ等の移動メカニズム(図示せず)を含んでいる。プロセッサ3542は、移動メカニズムを使って、アイ・トラッカー3534、ヘッド位置トラッカー3536並びに乗り物位置及び方向トラッカー3538から受信したデータに従って、武器3532をターゲットに向けて狙いをつける。プロセッサ3542は、オーディオ・アセンブリ3540に、予め決められた状態又は武器3532のオペレーション・モードを指示するユーザ(図示せず)に対して、音響信号を鳴らすように指示する。
プロセッサ3542は、追加システム(図示せず)にも接続され得る。該追加システムは、例えば、物質解析(例えば、ターゲットが金属製である場合等)、形状解析(例えば、正しい位置に置かれた画像処理の形状に基づく)、活動分析(例えば、ターゲットから発せられる送信を検出する)等の特性の計測及び検出に基づいてターゲットの正体を確認する。
以下、アクティブ・バイザー142の説明を行う。可変偏光子の2色性レベルは、その時点での可変偏光子の偏光レベルを決定づける。2色性レベルは、可変偏光子の特定方向毎に定義される。例えば、Ax及びAyは、可変偏光子に進入する光線の電磁波それぞれのX及びY成分の振幅であると仮定すると、A'x及びA'yは、可変偏光子を抜け出る光線の電磁波の各成分のマグニチュードである。その時、2色レベルDxの計測は、X軸に対して次式のようにして与えられる。
Dx=(Tx−Ty)/(Tx+Ty) 式(1)
Ty=A'y/Ay 式(2)
Tx=A'x/Ax 式(3)
Tx>Ty≧0. 式(4)
Dy=(Ty−Tx)/(Tx+Ty) 式(5)
Ty>Tx≧0. 式(6)
以下の説明において、例えば、輝度、電界、電圧、2色性、偏光レベル、方向、配向角等の様々なパラメータの相対値及び絶対値は、おおよそであって正確なものではない。”光移相器”は、他の直線偏光成分又は基準光線に係る入射光線の少なくとも1つの直線偏光成分の位相を遅らせるか又は進ませるかの何れかを行う光学素子である。如何なる単色光線も、電磁場が直交方向で振動する2つの直線偏光成分の組み合わせとして表せ得る。位相の変化は、ゼロ(0)と2πラジアン間のあらゆる整数の倍数値で可能である。位相差板と呼ばれる、あるタイプの光移相器は、他の入射光線の直線偏光成分に対して、ある入射光線の直線偏光成分をわずかな波長(例えば、λ/8、λ/4、3λ/8、λ/n等)遅らせる。
λ/4位相差板は、かかる位相差板の一例であり、4分の1波長板としても知られている。λ/4位相差板は、他の入射光線の直線偏光成分に対して、特定波長λを有するある入射光線の直線偏光成分を波長λ/4の4分の1遅らせる。結果として、入射光線の直線偏光は、λ/4位相差板の軸に対して45度、直線的に偏光され、円偏光されて抜け出す。同様に、円偏光された入射光線は、λ/4位相差板の軸に対して45度直線偏光されて、λ/4位相差板を抜け出す。本開示技術は、多色光だけでなく単色光にも適用できる。位相差板は、通常、特定の波長λを対象としている。
しかしながら、位相差板は、λに近い波長に対しても略同一効果を与える。例えば、装置が太陽光を対象とするならば、550nm波長(即ち、太陽光スペクトルの略平均波長)を対象とする位相差板が、使用され得る。以下、”可変偏光子”は、加える電界を変化させることで、偏光レベルが、ゼロ(0)と予め決められた偏光レベルとの間で変化し得る光学素子を示すものとする。かかる可変偏光子は、光学作用物質及び異方性光吸収粒子の組み合わせである光影響物質を含む。以下の記載において、”光影響物質”は、異方性光吸収粒子が、並べられる方向(即ち、ディレクター)に依存する偏光レベルを入射光に適用する物質を示す。光学作用物質は、入射光の偏光方向又は成分に影響を及ぼし、実質的に入射光の強度に影響がない物質の1つである。
かかる光学作用物質は、例えば、液晶、液晶高分子、複屈折結晶、複屈折高分子、複屈折プラスティック等であり得る。異方性光吸収粒子は、例えば、2色性色素分子、2色性微結晶、多色性色素材料等であり得る。各2色性又は多色性色素は、大きな異方性吸光度を有する直鎖分子、ロッド状分子で構成され、異方性吸光度は、入射光及び入射光の偏光方向に対応するロッド状分子の方向に依存する。異方性光吸収粒子は、常に、前記方向(即ち、光学作用物質の分子方向)に沿って並べられる。好ましくは、液晶(即ち、ホスト)は、液晶相で色素を混合することで、2色性又は多色性色素(即ち、ゲスト)と一体となる。以下、これを”ゲスト−ホスト液晶(GHLC)相”と呼ぶ。 以下の記載では、ゲスト分子及びホスト分子は、ロッド状と見なす。
これらの色素分子が、ネマチック液層相で混合されると、色素分子は、液晶相のディレクターに沿って並べられる。その結果、色素分子は、切替可能な吸光度、切替可能な偏光及び切替可能な反射率若しくは透過率を示す。可変偏光子は、連続的に電力を供給されるデバイス又は断続的に電力を供給されるデバイスの何れかであり得る。電力を装置に連続供給する場合、ロッド状分子(即ち、色素分子)の方向は、予め決定された各値で電界に連続供給するので、予め決められた方向で示される。従って、電力を連続供給される装置は、予め決められた偏光レベルにセットされる。例えば、電界が加えられる場合、ロッド状分子は、可変偏光子の境界面に対して垂直に均一に並べられる(即ち、可変偏光子は、ホメオトロピック状態になる。)。
これに対して、電界が加えられない場合、ロッド状分子は、可変偏光子の境界面に沿って均一に並べられる(即ち、可変偏光子は、平面状態になる。)。従って、異なる電界を可変偏光子の光影響物質に加えることで、前記可変偏光子は、入射光に対して異なる偏光レベルを加える。ホメオトロピック配向レイヤは、ロッド状分子を可変偏光子の境界面に対して垂直方向に並べる。一方、平面配向レイヤは、ロッド状分子を可変偏光子の境界面に沿った方向に並べる。電力を装置に断続供給する場合、可変偏光子は、予め決められたパルス波形を有する電界パルスを瞬時に加えることで、ホメオトロピック、平面又は少なくとも1つの安定した中間状態にセットされ得る。マルチ安定液晶セルは、少なくとも2つの安定状態を有し、各安定状態は、予め決められた液晶構造を有する。
各構造は、予め決められた基底エネルギーを有する(即ち、エネルギー・ウエル)。従って、各予め決められたエネルギー・バリアを超える、予め決められた活性化エネルギーを電界に加えることで、マルチ安定セルは、ある構造から他の構造へ伝達する。マルチ安定セルは、混合された平面及びホメオトロピック面配向手続き(プロシージャ)を与えることで、製造され得る。各安定状態は、ロッド状分子の予め決められた束縛の強さに対応する(即ち、各安定状態でのロッド状分子は、予め決められた強度でセルの境界面に固定されている。)。光影響物質の構造が、ホメオトロピック状態である場合、入射光は、如何なる方法によっても影響を及ぼさずにそこを通過する。光影響物質の構造が、平面状態である場合、光の成分だけが、ロッド状分子の方向に直線的に偏光され、通過する。
”制御可能な光移相器”は、複数の位相ずれ状態(位相ずれなし状態(即ち、光に位相シフトを与えない)も含み得る)で操作できる装置である。制御可能な光移相器は、複数の安定状態(即ち、電界の適用又はその他のエネルギーなしで維持されている状態)を有するマルチ安定光移相器の方式であり得る。さらに、マルチ安定光移相器は、異なる電界を与えることで、複数の不安定状態で維持され得る。例えば、制御可能な光移相器は、TN液晶、双安定ポリマー安定化液晶、双安定面安定化液晶等の選択された厚さを有する双安定(即ち、2つの安定状態を有する)の方式であり得る。以下、これを”双安定光移相器”と呼ぶ。
双安定光移相器の構造は、予め決められた波形を有する電界を瞬時に加えることで、ねじられていない(又は均一の)状態とねじれ状態との間を切り替えることができる。双安定光移相器のタイプ(例えば、λ/4位相差板、λ/2位相差板等)は、その厚さに依存する。その他、制御可能な光移相器は、切替可能な光移相器の方式であり得る。以下、図4を参照して説明する。例えば、TN液晶の構造が、ねじられていない状態である場合、双安定光移相器は、λ/2位相差板として作動する。TN液晶の構造が、ねじれ状態である場合、双安定光移相器は、いかなる影響も受けずに、入射光を通過させる。TN液晶は、短時間、電界パルスを加えることで、ねじられていない状態からねじれ状態を切り替え、電界パルスをゆっくりと減少させるか、又は段階的に減少させることで、ねじれ状態からねじられていない状態に切り替え得る。
光影響物質の位相分布は、2つのクラスに分割される。クラス1(又は分散相)は、例えば、GHLC液滴又はGHLCミクロドメインのようなランダム分散及びランダム配向マイクロフェーズで構成される液相であり、ポリマーマトリクスに組まれている。クラス2(又は均一相)は、均一GHLC相で構成される他の液相であり、液晶材料並びにネマチック相、TN、STN、コレステリック、スメクチック相、他の相及びそれらの組み合わせ若しくは混合から引き出され得る。クラス1及びクラス2のGHLC相の各分配は、混合物又は化合物の何れかの方式であり得る。混合物の場合、2色性色素分子(即ち、ゲスト分子)は、低い濃度(約1〜3%)で液晶(即ち、ホスト分子)と混合される。化合物の場合、異方性光吸収粒子及び光影響物質分子は、例えば、共有結合、ファン・デル・ワールス結合、水素結合、静電結合、イオン結合等で化学結合される。
本公開技術で使用されるクラス1の光影響物質の様々なタイプには、ゲスト−ホスト高分子分散液晶(GH−PDLC)、2色性高分子分散液晶及び、例えば、高分子安定コレステリック・テクスチャ(PSCT)液晶及びネマチック・カーブ・配向高分子(NCAP)液晶等のそれらのサブクラスが含まれ得る。クラス1のGHLC構造は、通常、周囲の相に係る液晶相の異方性インデックス屈折のため、固有の光散乱を示す。従って、クラス1のGHLCでは、固有の光散乱が、特にバイザータイプへの適用のために、除去され、又はごくわずかなレベルまで低減されなけれなならない。これは、GHLC相を周囲の高分子相に近接している平均の液晶インデックスを有する小さな誘電異方性に基づいて、非常に小さな複屈折の液晶材料に適用することで達成され得る。
かかるケースでは、普通のインデックスと異常なインデックスとの間での異方性インデックス屈折は、実質的に小さい(例えば、0.1より小さい)ので、光散乱は、非常に低減される。また、光散乱の低減は、相互作用光の波長よりかなり短い微液滴又はミクロドメインのサイズを定義することによって達成され得る。システムは、顕著にアブソープション変調され、所望ADM及びVTO特性に至る。クラス1のGH−PDLCのミクロ相の構造又はクラス1のGH−PDLCの液滴分布は、例えば、楕円状、剪断形状、細長形状等、異方性形状を有する球形以外であるのが好ましい。この方法では、所望の方向性で、液滴内での液晶相を示すことが可能であり、
以下に記載されるように、可変偏光子の単一又はマルチ・レイヤのコントラストを増大するために、本開示技術のコンテキストで使用され得る。
クラス2の構造は、ホモジニアス・ネマチック相(Heilmeier)、コレステリック相(White-Taylor)、マルチ安定相等を組み込んだゲスト−ホスト(GH)2色性液晶であり得る。クラス2の可変偏光子では、2色性色素ゲストは、ホモジニアス液晶相ホストと混合される。これらの種類の物質を使用する媒体(メディア)は、通常、少しの光散乱もない、アブソープション変調された画像のプロパティを有する。常閉GHLCは、例えば、ポジティブな誘電異方性TN・GHLCセル内で適当な双極子モーメントの2色性色素を混合することで形成され得る。このセルは、常閉タイプの可変偏光子を実現する電界のない場合でのねじれた平面テクスチャ内の液晶相を有する。このセルは、ホメオトロピック相に対する電界の適用によって、切り替えられ得る。その結果、オープン状態をもたらす。
類似の方法で、ネガティブな誘電異方性のGHLCセル内の適当な2色性色素の混合は、常開タイプの可変偏光子をもたらすであろう。しかしながら、このタイプのセルは、通常、弱いコントラストをもたらし、その結果、前記電界の下で得られる液晶相が、純粋な平面テクスチャでない、という事実のため、いくつかのアプリケーションにとっては、非実用的である。そして、結果として、ごくわずかな偏光をもたらす。常開可変偏光子は、コレステリック液晶少量をネマチックGHLC混合物に加えることで構成され、混合ホメオトロピック及び平面配向プロセスを適用する。この面配向プロセスは、電界が液晶に加えられる時にロット状分子が実質的に同一方向に並ぶようにする(即ち、ゲスト−ホスト・ディレクターが、電界を加える時、うまく決められる。)。このようにして、常閉(開)VTOと共に、特に二重セル構造での重要なコントラストが得られる。
次に、図19A、19B、19C及び19Dを参照する。図19Aは、本公開技術の他の実施形態に従った構成及び動作に係る可変トランスミッタ4410の透視図である。図19Bは、図19Aの可変トランスミッタの側面図である。図19Cは、他の動作モードにおける図19Aの可変トランスミッタの透視図である。図19Dは、図19Cの可変トランスミッタの側面図である。可変トラスミッタ4410は、可変偏光子4412及び4414を含んでいる。各可変偏光子4412及び4414は、図1Aを参照して説明した可変偏光子102と類似する。各可変偏光子4412及び4414は、常開可変偏光子である。可変偏光子4412及び4414は、図19Cで後述するように、クロス偏光方式でお互いに対して位置している(即ち、偏光モードである場合、1つの偏光は、他の偏光に対して垂直となる。)。可変偏光子4412及び4414の偏光方向の相違は、任意の値であり得るが、最大のダイナミック・レンジを提供するためにπ/2ラジアンであるのが好ましい。
図19A及び19Bを参照すると、可変偏光子4412を横断する電界がない場合、ロッド状分子4416の方向は、Z軸に対して平行となる(即ち、可変偏光子4412の平面に対して垂直となる。)。同様に、可変偏光子4414を横断する電界がない場合、ロッド状分子4418の方向は、Z軸に対して平行となる(即ち、可変偏光子4414の平面に対して垂直となる。)。このようにして、可変偏光子4412及び4414の各々を横断する電界がない場合、各可変偏光子は、入射光を、それへの効果がないように及びその輝度に影響を与えずに、伝達する。可変偏光子4412及び4414は、輝度L1の値に左右されずに、輝度L1を有するオブジェクト4422の光線4420を伝達し、オブザーバ(図示せず)は、表示平面4426上のオブジェクト4422の画像4424を見る。
図19C及び19Dを参照すると、可変偏光子4412を横断する電界がある場合、ロッド状分子4416は、Y軸に沿って並ぶ傾向にあり、可変偏光子4412は、線状偏光子として動作し、入射光の輝度を低下させる。同様に、可変偏光子4414を横断する電界がある場合、ロッド状分子4418は、X軸に沿って並ぶ傾向にあり、可変偏光子4414は、線状偏光子として動作し、入射光の輝度を低下させる。可変偏光子4412は、Y軸に沿って直線状に光線4420を偏光し、結果として、可変偏光子4412から輝度L1より低い輝度L2の光線4428が出現する。光線4428の偏光方向は、矢印4430によって示されている。可変偏光子4414は、X軸に沿って直線状に光線4428を偏光し、結果として、可変偏光子4414から輝度L2より低い輝度L3の光線4432が出現する。オブザーバは、表示平面4426上のオブジェクト4422の画像4434を見る。該画像4434の輝度L3は、オブジェクト4422の輝度L1よりも低い。
可変トランスミッタ4410は、1組の導電層(図示せず)及び1組の絶縁層(図示せず)を含み得る。各々の導電層は、例えば、導電性高分子、インジウム−錫酸化物で覆われたガラス、錫酸化物、金属(例えば、金や銀等)等の薄く、透明な導電体でできている。各々の絶縁層は、例えば、ポリマー(高分子化合物)、無機二酸化ケイ素、酸化ケイ素、窒化ケイ素等の薄く、透明な絶縁体でできている。導電層の1つのペアは、可変偏光子4412を横断する電界を加え、導電層の他のペアは、可変偏光子4414を横断する電界を加える。導電層の各々のペアは、各可変偏光子に対して異なる電界を加えることができる。例えば、可変トランスミッタ4410は、保護層、導電層、絶縁層、可変偏光子等の一連の層を含み得る。その他、導電層の1つのペアは、可変偏光子4412及び4414を横断する電界を同時に加える。例えば、可変トランスミッタ4410は、保護層、導電層、絶縁層、可変偏光子、LC分離層、他の可変偏光子等の一連の層を含み得る。LC分離層は、例えば、ナイロン等の透明なポリマーでできていて、2つの隣接する可変偏光子を分離し、これら2つの可変偏光子のLC層の混合を防止する。
従って、コントローラ(図示せず)は、導電層に接続し、光電セル(図示せず)は、前記コントローラに接続する。さらに、可変偏光子4410は、例えば、眼鏡、ヘッメット・バイザー、溶接バイザー、潜望鏡、望遠鏡、顕微鏡、双眼鏡、地上の乗り物の窓、エアクラフトの窓、宇宙船の窓、海上の乗り物の窓、グレイジング(grazing)、温室の窓等の様々な光学素子で使用され得る。各々の可変偏光子が、双安定TN・GHLCセルの形である場合、停電中に予め決められた波形での電界が、可変偏光子に加えられる。それにより、可変トランスミッタは、最大強度で光を伝達できる。ユーザは、可変偏光子4412及び4414の偏光レベルを設定でき、それにより、画像4424のコントラスト・レベル及びブライトネスを設定する。
次に、図20を参照する。図20は、本公開技術の他の実施形態に従った構成及び動作に係る可変トランスミッタ4490を示す概略図である。可変トランスミッタ4490は、ヘルメット・バイザー、溶接バイザー等であり得る。可変トランスミッタ4490は、複数の伝達領域4492、4494及び4496を含んでいる。各々の領域4492、4494及び4496は、図19Aで説明した可変トランスミッタ410と類似する。従って、領域4492、4494及び4496に接続するコントローラ(図示せず)は、各領域において異なる輝度の入射光を伝達するために、加える電界を制御でき、それ故、領域4492、4494及び4496の各々を横断する電界を制御できる。かかるコントローラは、ユーザによって操作されるようにするために、カメラ、光センサ等にも接続し得る。
図20に示される例では、領域4492は、高い透過率となるように設定され、それ故、透明性の高いように見える。 領域4494及び4496は、低い透過率となるように設定され、それ故、領域4494及び4496は、領域4492よりかすんで見える。前方の可変偏光子の各領域4492、4494及び4496に類似する複数の領域に分割された前方の可変偏光子及び後方の可変偏光子の各々は、後方の可変偏光子の他の領域に空間的に対応する。コントローラは、後方の可変偏光子の各領域のように、前方の可変偏光子の1つの領域を同一偏光レベルに設定する。従って、コントローラは、可変トランスミッタが、選択された輝度で選択された領域を通る光を伝達できるようにする。次に、図21を参照する。図21は、本公開技術のその他の実施形態に従った構成及び動作に係る可変トランスミッタ4570を示す概略図である。
可変トランスミッタ4570は、可変偏光子4572、4574及び双安定光移相器4576を含んでいる。可変偏光子4572及び4574は、上述の可変偏光子4412及び4414(図19A参照)にそれぞれ類似している。各々の可変偏光子4572及び4574は、常閉可変偏光子である。従って、電界が、可変偏光子4572及び4574に加えられる場合、可変偏光子4572及び4574のロッド状分子4578及び4580は、それぞれ、Z軸に沿って並べられる。電界が、可変偏光子4572及び4574に加えられない場合、ロッド状分子4578は、Y軸に沿って並べられ、ロッド状分子4580は、X軸に沿って並べられる。移相器4576は、双安定光移相器であり、透明光学素子又は2分の1波長板の何れかとして動作できる。
可変偏光子4572及び4574は、図19Cに関して上述したように、クロス偏光方式でお互いに対して位置している(即ち、偏光モードである場合、1つの偏光は、他の偏光に対して垂直となる。)。双安定光移相器4576は、可変偏光子4572と4574との間に配置される。可変トランスミッタ4570の通常動作中、双安定光移相器4576は、透明光学素子として動作する。双安定光移相器4576は、可変トランスミッタ4570がオンになると、予め決められた形状のパルスを双安定光移相器4576に加えることで、透明状態に設定され得る。この動作モードでは、各々の可変偏光子4572及び4574は、各値の電界を加えることで、異なる偏光レベルに設定され得る。
停電で、可変偏光子4572及び4574が、閉モードに切り替えられると、予め決められたパルス形の電界が、双安定光移相器4576に加えられるので、双安定光移相器4576は、2分の1波長板として動作する。双安定光移相器4576は、ロッド状分子4578及びロッド状分子4580に対して45度の光軸方向を有する入射光の成分を遅らせる。双安定光移相器4576は、可変偏光子4572から受信した光の偏光角を回転し、この偏光した光を可変偏光子4574に伝達する。可変偏光子4574に突き当たる光の偏光角は、ロッド状分子4580の方向にマッチするので、当該光は、強度が低下することなく、可変偏光子4574を通過する。
従って、停電中、可変トランスミッタ4570は、可変偏光子4572の前方に位置するオブジェクト4582から到着した(非偏光)光の約50%を伝達する。
次に、図22を参照する。図22は、本公開技術の他の実施形態に従った動作に係る可変反射率での光伝達方法を示す図である。手続き4600では、入射面での電界が制御され、第1の偏光レベルを選択する。図19A及び19Cで示される例では、可変偏光子4416は、図19Aで示されるホメオトロピック状態(即ち、ゼロ偏光レベル)又は図19Cで示される平面状態(即ち、ゼロ以外の偏光レベル)の何れかに設定される。手続き4602では、中央面での電界が制御され、位相シフトを選択する。図21に示される例では、双安定光移相器4576は、透明光学素子(即ち、ゼロ位相シフトを加えること)又は2分の1波長板(即ち、πラジアンの位相シフトを加えること)の何れかとして動作できる。
手続き4604では、出射面での電界が制御され、出射面の第2の偏光レベルを選択する。図19A及び19Cで示される例では、可変偏光子4418は、図19Aで示されるホメオトロピック状態又は図19Cで示される平面状態に設定される。手続き4606では、選択した第1の偏光レベルによって光が偏光される。図19Aで示される例では、可変偏光子4416は、光線4420を伝達する(即ち、ゼロレベル偏光を与える)。図19Cで示される例では、可変偏光子4416は、光線4420をY軸の方向に偏光する(即ち、ゼロ以外のレベルの偏光を与える)
手続き4608では、2つの光の直線偏光成分間の各位相が選択された位相シフトによって、シフトされる。図21で示される例では、双安定光移相器4576は、透明光学素子(即ち、ゼロ位相シフトを加える)又は2分の1波長板(即ち、πラジアンで光の直線成分の1つの位相をシフトする)の何れかとして動作する。手続き4610では、選択した第2の偏光レベルで偏光される。図19Aに示される例では、可変偏光子4418は、光線4420を伝達する(即ち、ゼロレベル偏光を与える)。図19Cに示される例では、可変偏光子4418は、X軸の方向に光線4428を偏光する(即ち、ゼロ以外のレベルの偏光を与える)。
前記方法は、必ずしも手続き4602及び4608を適用しない。例えば、可変トランスミッタ4410(図19A)は、一連の手続き4600、4604、4606及び4610を適用することで動作し得る。また、続き4600、4602及び4604は、任意の順序又は同時に実行され得る。
本開示技術の他の側面によれば、可変偏光子は、液晶を取り囲む2つの保護層、ホメオトロピック面配向層及び絶縁層を含んでいる。前記保護層の1つは、互いにかみ合った一組の電極で覆われている。前記一組の電極を横断する電界がない場合、ホメオトロピック面配向層は、液晶のロッド状分子が、保護層の表面に対して垂直に並べられるようにする。可変偏光子は、入射光に対して偏光を加えない。一組の電極を横断する電界がある場合、電極間に発生する電界は、ロッド状分子が、発生電界に対して並べられるようにする。可変偏光子は、入射光に対して偏光を加える。
次に図23A、23B、23C、23D、23E、23F及び23Gを参照する。図23Aは、本公開技術の他の実施形態に従った構成及び動作に係る可変偏光子4630の拡大図である。図23Bは、保護層の一組の電極を横断する電界が生じない時の図23Aの可変偏光子の保護層の1つのI視(正面図)を示す概略図である。図23Cは、図23Aの可変偏光子の保護層の一組の電極を横断する電界が生じない時の組み立てフォームにおける図23Aの可変偏光子のII視(平面図)を示す概略図である。図23Dは、保護層の一組の電極を横断する電界が生じている時の図23Aの可変偏光子の保護層の1つのI視(正面図)を示す概略図である。図23Eは、図23Dの一組の電極の断面IIIを示す概略図である。図23Fは、正誘電異方性のLCマテリアル及び正光学異方性ゲスト・マテリアルを有し、図23Aの可変偏光子の保護層の一組の電極を横断する電界が生じている時の組み立てフォームにおける図23Aの可変偏光子のII視(平面図)を示す概略図である。図23Gは、本公開技術の他の実施形態に従った構成及び動作に係る、組み立てフォームにおける図23Aの可変偏光子に類似した可変偏光子4660のII視(平面図)を示す概略図である。
図23Aを参照すると、可変偏光子4630は、保護層4632及び4634、配向層4636並びに光影響物質(例えば、GHLC)を含んでいる。各々の保護層4632及び4634は、上述した保護層302(図5参照)に類似している。配向層4636は、例えば、二酸化ケイ素等の無機誘電体又は例えば、ポリビニル・アルコール、ポリイミド、光重合体等の有機誘電体でできている。これらのタイプの配向層の分子(図示せず)は、サイド・ブランチ(グラフト重合体のように)を有する。密集の結果(立体障害)として、それは、分子層の平面外に移動し、その結果、与えられたホメオトロピック効果が、この平面から配向層4636に飛び出る。光重合自己配向層は、配向層の分子を重合することで、構築され得る。その結果、ホメオトロピック又は平面配向層の何れかを形成する。
図23A、23B、23C、23D、23E、23F及び23Gで示される例では、配向層4646は、ホメオトロピック配向層である。液晶は、上述したように、クラス1(分散的)又はクラス2(均一的)の何れかであり、各クラスは、混合物又は化合物形式の何れかであり得る。配向層4636に面する保護層4632の表面4640は、図19Cに関して上述したような導電層に類似する導電性材及び透明材で覆われている。表面4640は、フォトリングラフィによって、一組の電極4642及び4644の形にエッチングされている。電極4642及び4644は、複数の突起4646及び4648を有し、該突起4646及び4648は、それぞれ混ざっている。
電極4642及び4644は、電源(図示せず)に接続し、該電源の出力は、コントローラ(図示せず)によって制御される。電極4642は、電源の一方の極に接続し、電極4644は、電源の他方の極に接続する。本方法における電極4642及び4644の配置を、以下、”面内配置”と呼ぶ。配向層4636は、保護層4632と4634との間に配置される。電極4642及び4644は、保護層4632の表面4640上に配置され、電極4642及び4644は、保護層4632と配向層4636との間に配置される。保護層4632及び4634並びに配向層4636のアセンブリ後、可変偏光素子4630のエッジ(図示せず)は、接着剤でふさがれ、保護層4632及び4634と配向層4636との間の隙間は、液晶又は適切なスペーサ材で満たされる。
図23B及び23Cを参照すると、電極4642及び4644を横断する電界が生じていない(即ち、電源が供給されていない状態)。配向層4636の存在のため、液晶のロッド状分子4650は、Z軸に沿って並べられる(即ち、表面4640及び可変偏光子4630の表面(図示せず)に対して垂直)。従って、電極4642及び4644を横断する電界がない場合、可変偏光子4630は、入射光を、それに影響を与えずに伝達する(即ち、可変偏光子4630は常開タイプである。)。この場合、異方性光吸収粒子(即ち、色素分子)は、光学作用物質(即ち、液晶分子)の分子方向に沿って整列し、少しも入射に影響を与えない。配向層4636が、ホメオトロピック配向層である場合、ホスト分子の誘電異方性は、正(ポジティブ)であり、ゲスト分子の光学異方性は正となり、可変偏光子4630は、常開(N.O.)である(即ち、可変偏光子4630は、電極4642及び4644を横断する電界が生じていない場合に、入射光を伝達する。)。
従って、ホメオトロピック配向及び正−正GHマテリアル・コンビネーションと併せて、面内電極配置を使用することは、N.O.(クリア)タイプの新しいセル・ドライビング・バリアントを与える。図23Dを参照すると、コントローラは、電極4642及び4644を横断する電圧V1を加える電源の動作を制御する(即ち、電源が供給されている場合)。図23Eを参照すると、電界が、各一組の隣接突起4646及び4648によって、−Xの方向に生成されている。図23Fを参照すると、正誘電異方性を有するロッド状分子4650が、生成電界に沿って並べられている(即ち、X軸に沿って、且つ、表面4640並びに保護層4632及び4634の表面に平行に)。従って、電極4642及び4644を横断する電界がある場合、可変偏光子4630は、加えた電界の値に対応するレベルで入射光に偏光を加える。
可変偏光子4630は、実質的にフラットであるのみならず、正曲率半径(即ち、凸面となる)、負曲率半径(即ち、凹面となる)、又は、正及び負曲率半径(即ち、任意の曲面)の何れかを有し得る。可変偏光子4630は、ガス環境のみならず、液体環境でも使用され得る。可変偏光子4630は、リジッドのみならずフレキシブルであり得る。可変偏光子4630の液晶は、マルチ安定GHLCであり得る。例えば、液晶は、双安定(即ち、2つの安定状態を有する)TN液晶、双安定ポリマー安定化液晶、双安定面安定化液晶等の方式であり得る。この場合、電極4642及び4644を横断する所定の電気パルスの適用が、ロッド状分子4650をZ軸又はZ軸の何れかに沿って並べるようにしている。一組の可変偏光子4630は、可変トランスミッタ4410(図19A参照)に類似する可変トランスミッタとして使用され得る。
この場合、異なる電圧が、2つの可変偏光子の電極を横断するように加えられ得る。それにより、可変トランスミッタを通過する入射光の強度制御が可能となる。また、これらの可変偏光子の各々は、常開タイプであるので、これらの可変偏光子を使用する可変トランスミッタは、フェイルセーフタイプの可変反射物又は可変トランスミッタである(即ち、停電時において、可変トランスミッタは、入射光をその強度に影響を与えずに伝達する。)。また、その電極が面内配置で配列される、可変偏光子のホスト分子(即ち、ロッド状分子)の誘電異方性は、正又は負の何れかとなり得る。同様に、ゲスト分子(即ち、2色性又は多色性色素分子)の光学異方性は、正又は負の何れかとなり得る。
ホスト分子及びゲスト分子の異なる組み合わせから可変偏光子が構築されることによって、可変偏光子は、表1に要約したように、以下の方法で動作することができる。以下、表1に要約したような平行面の動作モードについて、図24Aを参照して説明する。
表1は、2つの電極構造及び4つのGH異方性の組み合わせに対するホメオトロピック配列されるセル用GH−LCセル・パラメータを示す。
Figure 2007537610
LC−p及びLC−nの組み合わせは、それぞれ、液晶の正又は負の誘電異方性と呼ばれる。それに対して、G−p及びG−nの組み合わせは、それぞれ、ゲスト色素分子の正又は負の光学異方性と呼ばれる。ディレクターは、図23A及び以下で説明される図24Aで示される座標の軸に対応している。図23Gを参照すると、可変偏光子4660は、保護層4662及び4664並びに配向層4666を含んでいる。配向層4666は、ホメオトロピック配向層であり、保護層4662と4664との間に配置される。可変偏光子4660のホスト分子は、負の誘電異方性を有し、ゲスト分子は、正の光学異方性を有する。
電極4642(図23D)及び4644に類似する一組の電極を横断する電界がある場合、可変偏光子4660のロッド状分子4668が、Y方向に沿って配列される(上記表1の面内電極構造及びLC−n+G−p GHマテリアルを参照)。ロッド状分子4668は、電極4642及び4644に類似する一組の電極に沿って整列するので、可変偏光子4660が偏光する偏光画像(図示せず)のコントラストは、可変偏光子4630のコントラストよりも強くなる。上述した図23F及び23Gで示される両構成は、簡単な均一ホメオトロピック配向、電気的な統一を表し、生産において、再現性が高い。
可変偏光子4630は、可変偏光子4412及び4414の代わりに、可変トランスミッタ4410(図19A参照)と一体化し得る。
次に、図24A、24B、24C及び24Dを参照する。図24Aは、本公開技術の他の実施形態に従った構成及び動作に係る可変偏光子4670の拡大図である。図24Bは、図24Aの可変偏光子の保護層の互いにかみ合っている電極及び平電極を横断する電界が生じてない場合の図24Aの可変偏光子の断面IVを示す概略図である。図24Cは、面内モードで動作する場合における図24Aの可変偏光子の断面IVを示す概略図である。図24Dは、平行面モードで動作する場合における図24Aの可変偏光子の断面IVを示す概略図である。
図24Aを参照すると、可変偏光子4670は、保護層4672及び4674、絶縁層4676及び4678、配向層4680並びに光影響物質(図示せず)を含んでいる。各々の保護層4672及び4674は、画像を曲げることなく、光の大部分を透過する、例えば、ガラス、ポリマー、プラスティック等の透明材でできている。各々の絶縁層4676及び4678は、図19Cで説明した絶縁層に類似する。配向層4680は、上述の配向層4636(図23A)に類似している。図24A、24B、24C及び24Dで示される例では、配向層4680は、ホメオトロピック配向層である。図24A、24B、24C及び24Dで示される例では、LCホスト分子は、正の誘電異方性を有し、ゲスト分子は、正の光学異方性を有する。
光影響物質は、クラス1(分散的)又はクラス2(均一的)の何れかであり、各クラスは、上述したように、混合物又は化合物形式の何れかであり得る。保護層4672は、表面4686上の一組の互いにかみ合った電極4682及び4684で覆われている。互いにかみ合った電極4682及び4684は、上述したような、電極4642及び4644(図23A)の構造と類似した方法で構築される。互いにかみ合った電極4682及び4684は、それぞれ、複数の突起4688及び4690を含んでいる。保護層4674は、表面4694上の平電極4692で覆われている。平電極4692は、例えば、図19Cで説明した導電層のような導電材及び透明材でできている。絶縁層4676は、保護層4674と配向層4680との間に配置される。配向層4680は、絶縁層4676と絶縁層4678との間に配置される。絶縁層4678は、配向層4680と保護層4672との間に配置される。互いにかみ合った電極4682及び4684は、保護層4672の表面4686上に配置され、保護層4672と絶縁層4678との間に配置される。平電極4692は、保護層4674の表面4694上に配置され、保護層4674と絶縁層4676との間に配置される。
互いにかみ合った電極4682及び4684並びに平電極4692は、電源(図示せず)に接続し、該電源の出力は、コントローラ(図示せず)によって制御される。電源の両極と互いにかみ合った電極4682及び4684並びに平電極4692との間に接続する前記コントローラは、面内モード(図23Aに関連して説明したような)又は平行面モード(図19Cに関連して説明したような)の何れかでの可変偏光子4670の動作を可能にする。また、前記コントローラは、電源の出力電力も制御し、それにより、可変偏光子4670によって、様々な偏光レベル及び吸光度が入射光に加えられるようになっている。
図24Bを参照すると、互いにかみ合った電極4682及4684並びに平電極4692を横断する電界が生じてない。配向層4680が存在するため、光影響物質のロッド状分子4696は、Z軸(即ち、表面4686及び4694と垂直)に沿って配列される。従って、互いにかみ合った電極4682及4684並びに平電極4692を横断する電界が生じてない場合、可変偏光子4670は、入射光を、それに影響を与えずに伝達する(即ち、可変偏光子4670は常開タイプである。)。図24Cを参照すると、コントローラは、互いにかみ合った電極4682の突起4688を電源の一方の極に繋ぎ、互いにかみ合った電極4684の突起4690を電源の他方の極に繋ぐ。これにより、突起4688及び4690を横断する電圧V2を加える。この場合、可変偏光子4670は、図23Aで説明したように、面内モードで動作する。突起4688と4690との間で発生する電界により、ロッド状分子4696は、X軸に沿って配列する(上記表1における面内電極構造及びLC−p+G−p GHマテリアル)。
従って、可変偏光子4670は、偏光レベルを入射光に加え、閉状態に切り替える。図24Dを参照すると、コントローラは、互いにかみ合った電極4682及び4684と電源の一方の極を繋ぎ、平電極4692と電源の他方の極を繋ぐ。電源は、一方では、互いにかみ合った電極4682と4684との間に、他方では、平電極4692に電圧V3を与える。この場合、可変偏光子4670は、平行面モードで動作する。互いにかみ合った電極4682と4684との間に発生する一方の電界と、平電極4692に発生する他方の電解により、ロッド状分子4696は、Z軸に沿って配列する(上記表1における平行面電極構造及びLC−p+G−p GHマテリアル)。従って、可変偏光子4670は、開状態に戻る。
面内モードでの動作において電気出力を切ることで(即ち、図24B)、閉状態から開状態に切り替えるスイッチは、平行面モードでの動作において電気出力のスイッチを入れること(即ち、24D)より、大幅に時間がかかる。このスイッチング時間は、電界の大きさ、パルス波形、熱分子運動並びに可変偏光子4670の材料及びパラメータに依存する。スイッチング時間の管理は、平面配向(以下の表2参照)だけでなく、ホメオトロピック配向(表1参照)を有する可変偏光子でのホスト分子及びゲスト分子それぞれの誘電異方性及び光学異方性の他の組み合わせに適用する。可変偏光子4670における面内モード及び平行面モードでの動作の組み合わせは、よりフレキシブルな動作及び異なった照明レベル間のより迅速なスイッチングを可能にする。
さらに、可変偏光子4670における面内モード及び平行面モードでの動作の組み合わせは、改善されたコントラストを有する画像を提供し、より効率の良い空間分子異方性の制御を可能にする。加えて、面内及び平行面配置を同時に使用するマルチドライブ・スキームが、表1及び2から導き出される。表2は、平面配向及び2つの異なる電極配置と併せて、GHマテリアル異方性の様々な組み合わせの可能性を要約している(即ち、面内配置及び平行面配置)。
表2は、2つの電極構造及び4つのGH異方性の組み合わせに対する
平面配列されるセル用GH−LCセル・パラメータを示す。
Figure 2007537610
LC−p及びLC−nの組み合わせは、それぞれ、液晶の正又は負の誘電異方性と呼ばれる。それに対して、G−p及びG−nの組み合わせは、それぞれ、ゲスト色素分子の正又は負の光学異方性と呼ばれる。ディレクターは、図23A及び24Aで示される座標の軸に対応している。
次に、図25を参照する。図25は、本公開技術の他の実施形態に従った構成及び動作に係る可変偏光子の保護層4720を示す概略図である。保護層4720は、複数のセクション4722、4724及び4726に分割されている。一組の電極4728及び4730は、セクション4722にエッチングされている。一組の電極4732及び4734は、セクション4724にエッチングされている。一組の電極4736及び4738は、セクション4726にエッチングされている。電圧V4は、電極4728及び4730に加えられる。電圧V4は、電極4728及び4730に加えられる。電圧V6は、電極4736及び4738に加えられる。
保護層4720が、可変偏光子4630(図23A)に類似する可変偏光子(図示せず)に組み込まれている場合、電圧V4、V5及びV6は、個別に制御され得れ、可変偏光子の各セクション(例えば、セクション4722、4724及び4726)が、異なる偏光レベルを入射光に加える。保護層4720に類似する保護層は、可変偏光子4670に類似する可変偏光子に組み込まれ得る。保護層4674に類似する保護層は、平電極4692に類似する複数の分かれた平電極を含んでいる。コントローラは、一方では、電極4728及び4730に類似する一組の電極に対して電気出力のスイッチを切り替え、他方では、各平電極に対して電気出力のスイッチを切り替える。従って、可変偏光子により、セクション4722に類似する各セクションで、入射光に偏光レベルを加えることが可能になる。
この場合もまた、可変偏光子は、面内モード又は平行面モードの何れかで動作し得る。次に、図26を参照する。図26は、本公開技術の他の実施形態に従った構成及び動作に係る図1Aのヘッド・トラッキング・システムを示す概略図である。ヘッド・トラッキング・システム136は、位置及び方向プロセッサ5182、トランスミッタ・インターフェース5184、複数のルックアップ・テーブル・ユニット51861、51862及び51863、複数のデジタル・アナログ・コンバータ(DAC)51881、51882及び51883、アンプリファイア5190、トランスミッタ5192、複数のセンサ51941、51942、51943及び5194N(即ち、位置及び方向検出器)、複数のアナログ・デジタル・コンバータ(ADC)51961、51962、51963及び5196N並びにセンサ・インターフェース5198を含んでいる。
トランスミッタ・インターフェース5184は、位置及び方向プロセッサ5182並びにルックアップ・テーブル・ユニット51861、51862及び51863に接続している。DACユニット51881、51882及び51883は、ルックアップ・テーブル・ユニット51861、51862及び51863のそれぞれ1つとアンプリファイア5190に接続している。また、アンプリファイア5190は、トランスミッタ5192にも接続している。また、トランスミッタ5192は、TXで示されている。また、センサ51941、51942、51943及び5194Nは、それぞれ、RX1、RX2、RX3及びRXNで示されている。アナログ・デジタル・コンバータ(ADC)51961、51962、51963及び5196Nは、それぞれ、センサ51941、51942、51943及び5194N並びにセンサ・インターフェース5198に接続している。また、センサ・インターフェース5198は、位置及び方向プロセッサ5182にも接続している。
各々のルックアップ・テーブル・ユニット51861、51862及び51863は、周期的な連続数を生成し、それを順番に各アナログ信号に変換する各DACユニット51881、51882及び51883に提供する。各々のアナログ信号は、異なる空間軸のそれぞれである。本例では、ルックアップ・テーブル51861及びDACユニット51881は、X軸に対する信号を生成し、ルックアップ・テーブル51862及びDACユニット51882は、Y軸に対する信号を生成し、ルックアップ・テーブル51863及びDACユニット51883は、Z軸に対する信号を生成する。DACユニット51881、51882及び51883は、各アナログ信号をアンプリファイア5190に提供し、該アンプリファイア5190は、増幅し、該増幅信号をトランスミッタ5192に提供する。
トランスミッタ5192は、センサ51941、51942、51943及び5194Nによって検出され得る複数軸の電磁場を提供する。各々のセンサ51941、51942、51943及び5194Nは、電磁場を検出し、各電気アナログ信号を生成し、該信号をそれらに接続する各ADCユニット51961、51962、51963及び5196Nに提供する。各々のADCユニット51961、51962、51963及び5196Nは、そこへ送り込まれるアナログ信号をデジタル化し、それを連続数(シーケンス番号)に変換し、該連続数を、それを順番に位置及び方向プロセッサ5182に提供するセンサ・インターフェース5198に提供する。位置及び方向プロセッサ5182は、受信した連続数を解析し、各センサ51941、51942、51943及び5194Nの位置及び方向を決定する。また、位置及び方向プロセッサ5182は、ひずみイベントを決定し、それに応じて、ルックアップ・テーブル51861、51862及び51863を更新する。
本公開技術が、上記の詳細に示し、説明した事項に限定されないということは、当業者によって十分に理解されるであろう。本公開技術の範囲は、特許請求の範囲によってのみ決められる。
本公開技術の一実施形態に従った構成及び動作に係るオーディオビジュアル通信の改良システムを示す概略図である。 ヘッドマウント装置と併合した図1Aのシステムに類似するシステムの概略図である。 本公開技術の他の実施形態に係るシステムの構成及び動作を示すシステムの概略図である。 本公開技術の他の実施形態に従った構成及び動作に係る乗組員のヘルメットを示す概略図である。 好適な仮想音源の配置例が示されたエアクラフトの概略図である。 異なるエアクラフトの乗組員間でオーディオ信号を通信するためにラジオリンクを使うエアクラフト・フォーメーションの概略図である。 視線測定結果に基づいて、本公開技術の他の実施形態に従った動作に係る3Dオーディオ画像処理方法を示す概略図である。 本開示技術の他の実施形態に従った構成及び動作に係るノイズ・フリー・サウンド信号生成システムを示す概略図である。 図7Aのシステムのオーディオ・コントローラの詳細を示す図である。 ヘッドマウント装置と併合した図7Aのシステムの概略図である。 本公開技術の他の実施形態に従った構成及び動作に係るノイズ低減システムを示す概略図である。 図8AのシステムのANRコントローラのアナログANRコントローラの詳細を示す図である。 ヘッドマウント装置と併合した図8Aのシステムの概略図である。 本公開技術の他の実施形態に従った構成及び動作に係るノイズ低減システムを示す概略図である。 ヘッドマウント装置と併合した図9Aのシステムの概略図である。 本公開技術の他の実施形態に従った構成及び動作に係るデジタルノイズ低減システムを示す概略図である。 図10Aのシステムのフィードフォワード部を示す概略図である。 図10Aのシステムのフィードバック部を示す概略図である。 本公開技術の他の実施形態に従った動作に係る図7Aのシステムの操作方法を示す概略図である。 本公開技術の他の実施形態に従った動作に係るノイズ消去システムの操作方法を示す概略図である。 本公開技術の他の実施形態に従った動作に係る図9Aのシステムの操作方法を示す概略図である。 本公開技術の他の実施形態に従った構成及び動作に係るシステムの正面概略図である。 図13のシステムの側面概略図である 本公開技術の他の実施形態において、ユーザが見ている第1の風景を示す概略図である。 本公開技術の他の実施形態において、ユーザが見ている第2の風景を示す概略図である。 本公開技術の他の実施形態において、ユーザが見ている第3の風景を示す概略図である。 本公開技術の他の実施形態に従った動作に係る、ユーザの目に画像を投影している間、該目をトラッキングする方法を示す図である。 本公開技術の他の実施形態に従った構成及び動作に係るシステムの側面概略図である。 図17Aのシステムの正面概略図である。 ターゲットに向かって武器を導く、本公開技術の他の実施形態に従った構成及び動作に係るシステムの概略図である。 本公開技術の他の実施形態に従った構成及び動作に係る可変トランスミッタの透視図である。 図19Aの可変トランスミッタの側面図である。 他の動作モードにおける図19Aの可変トランスミッタの透視図である 図19Cの可変トランスミッタの側面図である。 本公開技術の他の実施形態に従った構成及び動作に係る可変トランスミッタを示す概略図である。 本公開技術のその他の実施形態に従った構成及び動作に係る可変トランスミッタを示す概略図である。 本公開技術の他の実施形態に従った動作に係る可変反射率での光伝達方法を示す図である。 本公開技術の他の実施形態に従った構成及び動作に係る可変偏光器の拡大図である。 保護層の一組の電極を越えて電界が生じない時の図23Aの可変偏光器の保護層の1つのI視(正面図)を示す概略図である。 図23Aの可変偏光器の保護層の一組の電極を越えて電界が生じない時の組み立てフォームにおける図23Aの可変偏光器のII視(平面図)を示す概略図である。 保護層の一組の電極を越えて電界が生じている時の図23Aの可変偏光器の保護層の1つのI視(正面図)を示す概略図である。 図23Dの一組の電極の断面IIIを示す概略図である。 組み立てフォームにおける図23Aの可変偏光器のII視(平面図)を示す概略図である。 本公開技術の他の実施形態に従った構成及び動作に係る、組み立てフォームにおける図23Aの可変偏光器に類似した可変偏光器のII視(平面図)を示す概略図である。 本公開技術の他の実施形態に従った構成及び動作に係る可変偏光器の拡大図である。 図24Aの可変偏光器の保護層の互いにかみ合っている電極及び平電極を越えて電界が生じない時の図24Aの可変偏光器の断面IVを示す概略図である。 面内モードで操作する場合における図24Aの可変偏光器の断面IVを示す概略図である。 平行面モードで操作する場合における図24Aの可変偏光器の断面IVを示す概略図である。 本公開技術の他の実施形態に従った構成及び動作に係る可変偏光器の保護層を示す概略図である。 本公開技術の他の実施形態に従った構成及び動作に係る図1Aのヘッド・トラッキング・システムを示す概略図である。

Claims (26)

  1. ユーザの少なくとも片方の目の視線を決定する視線決定システムと、
    該視線決定システムと接続する画像表示システムと、を備え、
    該画像表示システムは、前記決定したユーザ視線に従って、前記少なくとも片方の目用の少なくとも1つの補充画像を表示し、該少なくとも1つの補充画像及び風景画像の少なくとも1つの特性を制御する、
    ことを特徴とするオーディオビジュアル通信向上システム。
  2. 前記視線決定システムを備えた多次元オーディオ・システムを更に備え、
    ユーザの頭の位置及び方向に係る少なくとも1つの入力信号の位置に従って、前記多次元オーディオ・システムは、ユーザに聴かせるための多次元サウンドを生成する、
    ことを特徴とする請求項1に記載のオーディオビジュアル通信向上システム。
  3. 前記決定したユーザ視線に従ってユーザの音声を処理する音声指示システムを更に備えることを特徴とする請求項1に記載のオーディオビジュアル通信向上システム。
  4. マイクロホンが、ユーザからの前記風景画像それぞれの問い合わせ、ユーザが現在見つめている前記風景画像それぞれの問い合わせを受信する、
    ことを特徴とする請求項1に記載のオーディオビジュアル通信向上システム。
  5. 前記マイクロホンは、指向性があり、ユーザのスピーチによって発生する音波の形状散逸を決めるコニカル・ボリュームの内部に配置されている、
    ことを特徴とする請求項4に記載のオーディオビジュアル通信向上システム。
  6. ラウドスピーカーが、前記問い合わせに従って、前記風景画像それぞれの言語音及び前記決定したユーザ視線に関連するユーザ用の言語音を生成する、
    ことを特徴とする請求項4に記載のオーディオビジュアル通信向上システム。
  7. 前記画像表示システムは、前記問い合わせに従って、前記決定したユーザ視線に関連する前記風景画像それぞれの少なくとも1つの補充画像を、現在のユーザ視線及び前記風景画像上のヘッドマウント装置のバイザー上のある位置に表示する、
    ことを特徴とする請求項4に記載のオーディオビジュアル通信向上システム。
  8. 前記画像表示システムは、前記問い合わせに従って、前記風景画像並びにユーザの頭の位置及び方向、ヘッド・トラッキング・システムによって決められた位置及び方向に関連するそれぞれの前記少なくとも1つの補充画像を、実質的に前記位置及び方向並びに前記風景画像に足並みを揃えているヘッドマウント装置のバイザー上のある位置に表示する、
    ことを特徴とする請求項4に記載のオーディオビジュアル通信向上システム。
  9. 前記画像表示システムは、前記問い合わせに従って、前記風景画像及び前記決定したユーザ視線に関連するそれぞれの前記少なくとも1つの補充画像を、現在のユーザ視線及び風景画像上の車両のフロントガラス上のある位置に表示する、
    ことを特徴とする請求項4に記載のオーディオビジュアル通信向上システム。
  10. 前記画像表示システムは、前記問い合わせに従って、前記風景画像及び前記視線決定システムによって決められたユーザの頭の位置及び方向に関連するそれぞれの少なくとも1つの補充画像を、実質的に前記位置及び方向並びに前記風景画像に足並みを揃えている車両のフロントガラス上のある位置に表示する、
    ことを特徴とする請求項4に記載のオーディオビジュアル通信向上システム。
  11. ユーザが、前記風景画像を見つめている間、メモリが、マイクロホンを介してユーザによってもたらされる、前記風景画像及び前記決定したユーザ視線に関連するそれぞれの言語情報を記録する、
    ことを特徴とする請求項1に記載のオーディオビジュアル通信向上システム。
  12. 前記視線決定システムを有する指向性カメラと、
    該指向性カメラを有する少なくとも1つの移動機構と、を更に備え、
    該少なくとも1つの移動機構は、前記決定したユーザ視線に従って、前記指向性カメラを移動させる、
    ことを特徴とする請求項1に記載のオーディオビジュアル通信向上システム。
  13. 前記視線決定システムは、アイ・トラッカーを含み、
    該アイ・トラッカーは、ユーザのヘッドマウント装置に接続し、第1の座標内で前記ユーザ視線を決定する、
    ことを特徴とする請求項1に記載のオーディオビジュアル通信向上システム。
  14. 前記視線決定システムは、ヘッド・トラッキング・システムを含み、
    該ヘッド・トラッキング・システムは、前記アイ・トラッカー及び前記ヘッドマウント装置に接続し、第2の座標内でユーザの位置及び方向を決定し、
    前記アイ・トラッカーは、前記位置及び方向に従って、前記第2の座標内で前記ユーザ視線を決定する、
    ことを特徴とする請求項13に記載のオーディオビジュアル通信向上システム。
  15. バックアップ測位システムと、
    前記バックアップ測位システム、前記視線決定システム及び前記画像表示システムに接続するプロセッサと、を更に備え、
    前記バックアップ測位システムは、前記第2の座標内で前記位置及び方向を決定し、
    前記プロセッサは、前記視線決定システム及び前記画像表示システムの動作を制御する、
    ことを特徴とする請求項14に記載のオーディオビジュアル通信向上システム。
  16. バックアップ測位システムと、
    該バックアップ測位システム、前記視線決定システム及び前記画像表示システムに接続するプロセッサと、を更に備える、
    ことを特徴とする請求項14に記載のオーディオビジュアル通信向上システム。
  17. アコースティック・サウンドの実質的なノイズ・フリー信号を生成し、所望音及びノイズに関連する逆位相内に存在する逆位相ノイズ音を含んでいる少なくとも1つの音を生成し、
    前記アコースティック・サウンド及びノイズを検出することで、ノイズ・ベアリング・サウンド信号を生成する音響電気トランスデューサと、
    ノイズ環境において、前記ノイズを検出することで、基準ノイズ信号を生成する基準音響電気トランスデューサと、
    該基準音響電気トランスデューサと前記音響電気トランスデューサに接続するオーディオ・コントローラと、を備え、
    該オーディオ・コントローラは、前記基準ノイズ信号及び前記ノイズ・ベアリング・サウンド信号に従って、前記実質的なノイズ・フリー信号を生成する、構成からなるオーディオ通信ノイズ低減システムを更に備える、
    ことを特徴とする請求項1に記載のオーディオビジュアル通信向上システム。
  18. 前記オーディオ通信ノイズ低減システム、前記視線決定システム及び前記画像表示システムは、プロセッサを介して共に接続し、さらに、ヘッドマウント装置にも接続している、
    ことを特徴とする請求項1に記載のオーディオビジュアル通信向上システム。
  19. 前記プロセッサに接続する通信インターフェースと、
    該通信インターフェースに接続するネットワークと、
    該ネットワークに接続する少なくとも1つの固定コンピュータと、を備え、
    前記プロセッサが、前記通信インターフェースからの受信信号に従って、前記視線決定システム及び前記画像表示システムの動作を制御する、
    ことを特徴とする請求項1に記載のオーディオビジュアル通信向上システム。
  20. 前記少なくとも1つの固定コンピュータが、ローカル・オンボード・コンピュータ、リモート・オンボード・コンピュータ、地上コンピュータ及び衛星コンピュータからなるリストから選択される、
    ことを特徴とする請求項19に記載のオーディオビジュアル通信向上システム。
  21. 前記少なくとも1つの特性が、前記決定したユーザ視線に対する前記少なくとも1つの補充画像の場所、前記少なくとも1つの補充画像の光度及び前記風景画像の光度からなるリストから選択される、
    ことを特徴とする請求項1に記載のオーディオビジュアル通信向上システム。
  22. ユーザの少なくとも片方の目の視線を決定し、
    該少なくとも片方の目用の少なくとも1つの補充画像を表示し、
    前記決定したユーザ視線に従って、前記少なくとも1つの補充画像及び風景画像の少なくとも1つの特性を制御する、
    手続きからなるオーディオビジュアル通信向上方法。
  23. 発明の詳細な説明に記載した請求項1〜21の何れかに実質的に従うオーディオビジュアル通信向上システム。
  24. 何れかの図面に図示した請求項1〜21の何れかに実質的に従うオーディオビジュアル通信向上システム。
  25. 発明の詳細な説明に記載した請求項22に実質的に従うオーディオビジュアル通信向上方法。
  26. 何れかの図面に図示した請求項22に実質的に従うオーディオビジュアル通信向上方法。
JP2006507623A 2004-05-11 2004-05-11 オーディオビジュアル通信向上方法及びシステム Expired - Lifetime JP4649400B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IL2004/000398 WO2004099851A2 (en) 2003-05-12 2004-05-11 Method and system for audiovisual communication

Publications (2)

Publication Number Publication Date
JP2007537610A true JP2007537610A (ja) 2007-12-20
JP4649400B2 JP4649400B2 (ja) 2011-03-09

Family

ID=38935794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006507623A Expired - Lifetime JP4649400B2 (ja) 2004-05-11 2004-05-11 オーディオビジュアル通信向上方法及びシステム

Country Status (1)

Country Link
JP (1) JP4649400B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013238870A (ja) * 2013-07-01 2013-11-28 Sony Corp ノイズキャンセリングシステム
JP2015141312A (ja) * 2014-01-29 2015-08-03 株式会社東芝 表示装置及び視線推定装置
JP2016071373A (ja) * 2014-09-29 2016-05-09 ハネウェル・インターナショナル・インコーポレーテッド ヘッドアップディスプレイのコンバイナ上の二重像を抑制するための装置及び方法
JP2021507301A (ja) * 2017-12-21 2021-02-22 ビ−エイイ− システムズ パブリック リミテッド カンパニ−BAE SYSTEMS plc 頭部装着型ディスプレイのためのアイトラッキング

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251287A (ja) * 1993-02-23 1994-09-09 Mitsubishi Electric Corp 運転支援システム
JPH10246640A (ja) * 1997-03-03 1998-09-14 Honda Motor Co Ltd 車両用情報表示装置
US6384982B1 (en) * 1996-10-08 2002-05-07 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2003106840A (ja) * 2001-10-01 2003-04-09 Sony Corp 回転角検出装置、音声再生装置および頭部装着型ディスプレイ装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251287A (ja) * 1993-02-23 1994-09-09 Mitsubishi Electric Corp 運転支援システム
US6384982B1 (en) * 1996-10-08 2002-05-07 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
JPH10246640A (ja) * 1997-03-03 1998-09-14 Honda Motor Co Ltd 車両用情報表示装置
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2003106840A (ja) * 2001-10-01 2003-04-09 Sony Corp 回転角検出装置、音声再生装置および頭部装着型ディスプレイ装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013238870A (ja) * 2013-07-01 2013-11-28 Sony Corp ノイズキャンセリングシステム
JP2015141312A (ja) * 2014-01-29 2015-08-03 株式会社東芝 表示装置及び視線推定装置
US9823743B2 (en) 2014-01-29 2017-11-21 Kabushiki Kaisha Toshiba Devices for estimating gaze based on a state of an eyelid of a viewer
JP2016071373A (ja) * 2014-09-29 2016-05-09 ハネウェル・インターナショナル・インコーポレーテッド ヘッドアップディスプレイのコンバイナ上の二重像を抑制するための装置及び方法
US10509224B2 (en) 2014-09-29 2019-12-17 Honeywell International Inc. Apparatus and method for supressing double images on a combiner head-up display
JP2021507301A (ja) * 2017-12-21 2021-02-22 ビ−エイイ− システムズ パブリック リミテッド カンパニ−BAE SYSTEMS plc 頭部装着型ディスプレイのためのアイトラッキング
JP7187561B2 (ja) 2017-12-21 2022-12-12 ビ-エイイ- システムズ パブリック リミテッド カンパニ- 頭部装着型ディスプレイのためのアイトラッキング

Also Published As

Publication number Publication date
JP4649400B2 (ja) 2011-03-09

Similar Documents

Publication Publication Date Title
US7710654B2 (en) Method and system for improving audiovisual communication
US5572229A (en) Head-mounted projection display system featuring beam splitter and method of making same
US6222675B1 (en) Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
US6204974B1 (en) Compact image display system for eyeglasses or other head-borne frames
US6301050B1 (en) Image enhancement system for scaled viewing at night or under other vision impaired conditions
US7110013B2 (en) Augmented reality display integrated with self-contained breathing apparatus
CN105137598B (zh) 透明显示屏及其制备方法、光学系统和应用
JPH0339925A (ja) デイスプレイ装置に使用のヘルメットへの取着装置
JP2023509295A (ja) 中心窩適応ディスプレイシステム
EP2465003A2 (en) Display systems incorporating fourier optics
EP0382791A4 (en) Compact see-through night vision goggles
JP4614456B2 (ja) 再帰性反射材、投影装置、航空機、および航空機用シミュレータ
US10969675B1 (en) Optical assemblies having scanning reflectors for projecting augmented reality content
JPS61501946A (ja) ホログラフィックヘルメットに装着した両眼用ディスプレイ
JP2023509294A (ja) スイッチ可能なパンチャラトナム-ベリー位相格子積層体
KR20220118445A (ko) 도광 광학 엘리먼트와 연관된 광학 배열체를 사용하여 눈으로부터 광을 방향 전환시키는 것에 기초한 시선 추적을 위한 광학계 및 방법
JPH0519130B2 (ja)
JP4649400B2 (ja) オーディオビジュアル通信向上方法及びシステム
Melzer et al. Guidelines for HMD design
US5267061A (en) Non-interfering viewing systems for use in catadioptric projection systems
CA2094151C (en) Non-interfering color viewing system using spectral multiplexing
US11156832B1 (en) Systems and methods for multicolor display with large field of view
IL170714A (en) Method and system for improving audiovisual communication
Collinson Displays and man–machine interaction
JP2023519198A (ja) 一方向ミラーを伴う光学デバイス

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100730

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100906

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100913

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100927

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4649400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term