JP2023001105A - 音声キャンセルシステムおよび方法 - Google Patents

Abstract

【課題】音声コンテンツの品質が劣化させない応答を生成する音声キャンセルシステム、方法及び記録媒体を提供する。【解決手段】システムは、処理デバイスからの入力に応答して出力を生成するように動作する１つ以上の要素を備えたフィードバックデバイス７００と、１つ以上の音声入力を取得するマイクロホン７１０と、処理デバイスからフィードバックデバイスへの１つ以上の入力を検出する入力検出ユニット７２０と、入力および対応する出力に関連する部品とマイクロホンとの距離に応じて、検出された入力への応答を生成する応答生成ユニット７３０と、を備える。【選択図】図７

Description

本開示は、音声キャンセルシステムおよび方法に関する。

本開示の一般的なコンテクストを与えるために「背景技術」を述べる。この背景技術のセクションでは、出願時点での先行技術であると特に明記しない限り、本発明者による成果は、明示的にも暗示的にも本発明に対する先行技術とは認められない。

高速インターネット接続が増えるとともに、オンライン音声コミュニケーションの利用が広がっている。この数年、社会的要因（例えばＣｏｖｉｄ－１９パンデミックにより、人間同士が直接会う機会は減っている）と技術的要因の両方に起因して、オンライン音声コミュニケーションの利用が加速度的に増加している。近年増加するデバイスには、音声を取得するのに役立つ高品質マイクロホンが与えられている。こうしたデバイスの例に、ラップトップ、携帯電話、ゲーム端末（および／またはそれに関連するコントローラ）などがある。

オンライン音声コミュニケーションは、様々な目的（例えば、社交、仕事の会議など）で使われるが、特にゲームコミュニティとの関連が強い。これは、マルチプレーヤーゲームコンテクスト（競争相手および／またはチームメートとのコミュニケーション）と、ビデオゲームストリーミングコンテキスト（単独のプレーヤーが、ゲームをプレーしていない多くの人に対し、自分のゲームプレーを提供する。選択的には、オーディオコメンタリーを含む）の両方を含んでもよい。

しかしながら、こうした音声コミュニケーション用のマイクロホンの利用が増加するとともに、様々な課題が指摘されている。課題の１つは、マイクロホンが拾う周囲の音である。こうした周囲音はリスナーを悩ませ、および／または、いらいらさせるだけでなく、話者の声を聞くのを困難とする原因にもなる。既存の技術は、プッシュ・トゥ・トークの機能により、この問題を解決している。これにより、マイクロホンが動作する時間が短縮される。さらに、ソフトウェアベースのノイズリダクション技術が使われることもある。これは、拾われた音からユーザの声を分離する。

このような技術は、音声品質を制御する必要のあるユーザにとっては便利でなく、ノイズ抑制を実行することでシステムに過大な処理負荷を課す可能性もある。これにより、音声そのものの品質を維持しようとすると、音声コンテンツの品質が劣化する可能性がある（これにより、例えば、ユーザをいらいらさせたり、大きな時間遅延が生じたりする）。

本開示はこうした課題を解決することを目的とする。

本開示は、請求項１で定義される。

本開示のさらなる個別の態様は、添付の請求項で定義される。

前述の本発明の一般的な説明も、以下の詳細な説明も、説明を目的とし、本発明を限定することを目的としない。

添付図面を参照して以下の詳細な説明を読むことにより、本開示およびその多くの利点に関するより完全な理解が得られるだろう。
手持ちコントローラの模式図である。 処理システムの模式図である。 音声軽減方法の模式図である。 ユーザによる検出入力に対する応答の生成方法の模式図である。 処理デバイスによる検出入力に対する応答の生成方法の模式図である。 本開示の１つ以上の実施の形態を実現するシステムの模式図である。 本開示の１つ以上の実施の形態を実現するシステムの模式図である。 本開示の１つ以上の実施の形態を実現するシステムの模式図である。 伝達関数を生成する方法の模式図である。 伝達関数を生成するシステムの模式図である。

以下、図面を参照して本開示の実施の形態を説明する。複数の図面を通して、類似する符号は同一または対応するパーツを示す。

図１に、本開示の複数の実施の形態を実現するのに適したゲームコントローラ１００の例を示す。

ゲームコントローラ１００は、ユーザにより与えられた１つ以上の入力を処理デバイス（例えば、ゲームコンソール）に送信するように構成される。これらの入力は、ボタン１１０、トリガー１２０またはジョイスティック１３０のうちの１つ以上の操作を示す信号を含んでもよい。ゲームコントローラ１００はまた、ゲームコントローラ１００の動きを検知することのできる１つ以上のハードウェアモーション検知器（例えば、加速度計またはジャイロスコープ）を含んでもよい。ゲームコントローラ１００は、処理デバイス（および／または、例えばコンピュータゲームなど、当該デバイス上で動作する１つ以上のアプリケーション）の操作を制御するために、当該処理デバイスへの１つ以上の入力を生成してもよい。ゲームコントローラ１００は、マイクロホン１４０およびスピーカ１５０のいずれかまたは両方をさらに備えてもよい。これらにより、ユーザからの音声入力およびユーザへの音声出力がそれぞれ可能となる。

ゲームコントローラ１００はさらに、ユーザからの入力だけでなく、関連する処理デバイスからの入力を受信するように構成されてもよい。このような入力の例には、音声入力（ゲームコントローラに関連するスピーカからの出力に関する）または触覚入力（ランブル特性などの１つ以上の触覚フィードバック要素を制御するのに使われる）がある。

いくつかの実施の形態では、ゲームコントローラ１００は、ゲームコントローラ１００の機能を実現するために動作可能な１つ以上の処理ユニットを備えてもよい。これは、関連する処理デバイスに処理負荷が掛からず、信号を処理デバイスに送信するための遅延がないため、処理（例えば、入力検出）をより迅速に実行できる点で有利である。

もちろん、本開示の実施の形態の使用に適するように、コントローラは任意の構成を取ってもよい。デバイスがユーザからの入力を受信でき、コントローラの操作により音を生成できさえすればよい。

図２に、このようなコントローラが使われるシステムの例を模式的に示す。このシステムは、１つ以上のコントローラ１００と、処理デバイス２００と、ディスプレイ２１０と、を備える。図２に係るシステムの一例は、ユーザが入力を行うための複数のコントローラと、ユーザにゲームプレーを表示するディスプレイと、を備えたゲームコンソールである。同様に、処理デバイス２００として、ゲームコンソールの代わりにパーソナルコンピュータが与えられてもよい。この場合、１つ以上のコントローラ１００は、キーボードおよび／またはマウスその他の好適な入力デバイスを含んでもよい。

図２はシステムの各要素が別々のものを示すが、いくつかの実施の形態では、各要素の数より少数のデバイスの中に与えられてもよい。そのようなものの第１の例はラップトップである。ここでは、キーボード、処理ユニットおよびディスプレイが１つの物理的ユニットに内蔵されている。従ってこの場合、図２の各要素は、１つのデバイスに内蔵されている。同様に、手持ちゲームコンソールまたは形態もそのようなものの例である。携帯電話またはタブレットは、しばしば別体のゲームコントローラとともに使われる（有線または無線接続を介して）。このような構成は、別体のコントローラ１００とともに使われる、統合型処理デバイス２００およびディスプレイ２１０の例である。このような例に加えて、一体化されたコントローラ１００および処理デバイス２００に、別体のディスプレイが与えられる場合もある。そのようなものの例に、共有または割り当て機能を持つスクリーン（これにより、ディスプレイ装置を自由に選択できる）を与えるデバイスがある。例えば過去には、ユーザにゲーム機能を提供するために、テレビに直接接続可能な手持ちゲームコントローラ（処理要素を備える）があった。

上記の説明から明らかなように、図１に示されるゲームコントローラはゲームコンソールの傍らで使われるものだが、こうしたコンセプトはより広い分野のデバイスにも適用が可能である。

図３に、本開示の１つ以上の実施の形態に係る方法の例を模式的に示す。このような方法は、入力に関する音（ボタンの押下や触覚フィードバック）の、コントローラの環境内で取得された（例えば、コントローラ上もしくは処理デバイス上に設けられたマイクロホン、または別個のマイクロホン（コントローラのユーザが装着するヘッドセットなど）を用いて）音声の効果を緩和するために使われる。すなわちこうした方法は、取得された音声（ゲームプレーヤーのコメンタリー、処理デバイスを制御するための音声入力、友達の間の会話等）に対する、ボタン押下等の影響を緩和するために使うことができる。

ステップ３００で、コントローラに与えられる１つ以上の入力が検出される。これは、ユーザによって与えられる入力（例えば、１つ以上ボタンの操作（同時であっても、連続的であってもよい）、あるいは音声入力や触覚フィードバック生成入力などの関連する処理デバイスによって与えられる入力）を含んでもよい。この検出は、コントローラのボタン（等）の操作を検出すること基づいて行われる。一方、触覚フィードバック信号の生成は、処理デバイスまたはコントローラで検出される。こうした検出のさらなる例は、以下で議論される。

ステップ３１０で、検出された信号に関連する音声の効果が決定される。これは入力に関する任意の好適な方法で実行されてもよい。いくつかの実施の形態では、これは、ボタン押下を検出し、対応する音を特定するためのルックアップテーブル等を用いることにより実行されてもよい。代替的または追加的に、与えられる入力音はマイクロホンを用いて検出されてもよい。さらに代替的または追加的な例として、コントローラに与えられた信号に関係する音を決定するというものがある。これは例えば、触覚フィードバック生成信号と関連する触覚フィードバックに起因する音を決定するものであってもよい。

音声の影響の決定は、音源とコントローラおよび／またはユーザに関連するマイクロホンとの間の音の伝搬に関する情報を使うことを含んでもよい。例えば、音源とマイクロホンとの距離が、発信音と受信音との音声レベルの違いを表してもよい。同様に、伝播経路が異なると、音のピッチまたは大きさが変わってもよい。これは、コントローラ自体の構造に起因する場合もある。例えば、プラスティック部品を通して伝わる音の場合、発信音と受信音との違いは非常に大きい。従って、入力に関連する音声の影響を決定するのに、コントローラに関する情報（入力／出力素子の構造、材料、位置など）や事前試験に関する情報を使うと有用だろう。

ステップ３２０で、コントローラの環境でマイクロホンによって取得された音に対する音声の影響を低減する応答が生成される。いくつかの実施の形態では、これは、ノイズキャンセル機能を実行するための音声の影響の決定に合わせて、取得された音声信号に処理を適用することを含んでもよい。代替的または追加的に、コントローラに関連するスピーカは、マイクロホンが受信した信号を発するように制御されてもよい。このとき信号は、入力に関連する音声の影響に関するノイズキャンセル機能を実現するように決定されてもよい。

図３の方法では、コントローラの操作で生成された音声に関し、ノイズキャンセル・スタイル・プロセスの実行を可能とする構成が与えられてもよい。このような構成は、既存の知識（入力で発生した音など）を強化し、取得されたオーデイオストリーム内の望ましくない音の影響の低減処理をより効果的なものとすることができる点で有用である。このような構成はまた、（従来のノイズキャンセルのような音声再生プロセスでなく）音声取得プロセスとともに実行される点で有効である。すなわちこれにより、音声再生がより効率的となり、取得された音声がより高品質となる。なぜなら、音声取得プロセス中に、望ましくない音の量を低減できるからである。

前述のように、コントローラまたは入力自体の特性を事前に特定しておくことは、本開示に係る方法を効果的に実現するための助けになる。このような特性は、デバイスの造形（例えば、ボタン、マイクロホン、材料および／またはコントローラの形状）から導かれてもよい。あるいは入力が与えられ、これらの入力に関連する音声出力が記録される試験から導かれてもよい。このような特性は、取得された音声内で予測される（望まれない）音がどのようになるかを事前に決定できる点で有利である。

多くの場合、各要素に関して発せられる音は事前に決定することができる。これにより造形プロセスが可能となる。例えば、触覚フィードバックの異なるオペレーションモードは既知であってもよく、異なるボタン上の材料および力が決定されてもよい。音声の影響がコントローラまたは周辺要因を使うユーザに依存する場合、造形プロセスを使用することは有用である。例えば、握力が強かったり手が大きかったりするとコントローラを通じた音の伝達が悪くなるか、キーボードを使ったとき、当該キーボードが乗る面に応じて異なる音が発生するか（例えば、デスクのような硬い面では、ユーザの脚のような柔らかい面に比べてノイズが発生しやすい、等）、といった具合である。

このような特定は、要素ごとに与えられる場合もある。例えば、特定のボタンまたはトリガーの操作、あるいは特定の触覚フィードバック要素に関する情報が生成されてもよい。これは、特定の要素の位置がコントローラ内に固定されているとき（すなわち、識別のための空間的成分が一定のとき）に適するだろう。多くの別個の入力が存在するとき、特にこのようなアプローチが適用されてもよい。これにより、多くの可能なアクションが可能となる。なぜなら、これにより、より簡単に識別情報を示すことができるからである。

代替的または追加的に、特定はアクション（例えば、特定の入力操作）ごとに与えられてもよい。この例は、触覚フィードバック要素（例えば、特定の周波数および振幅で定義される特定のランブルパターン）またはボタン（例えば、複数の入力オプションを持つトリガーが、半押し動作および全押し動作に関して、異なる音を生成してもよい）の特定の操作であってもよい。このようなアプローチは、入力規則がこれらの入力のために（入力によって）生成された信号で決まる実施の形態を考えたときに、特に好適だろう。なぜなら、この場合アクションが簡単に決まるからである。

特定された特性を生成し記憶するためのさらなる代替的な（または追加的な）方法も適切だろう。従って上記の例は、本開示において限定と解釈されるべきではない。例えば、取得された音声に対する予測効果を修正するために使われるマイクロホンの位置に関する音声の影響の空間依存性の特定が実行されてもよい。

図４および５を用いて、本開示に係る実施の形態を実行するための２つの典型的な方法を説明する。前者は、ユーザ入力（ボタンの押下など）の提供に関する。後者は、コントローラへの入力（触覚フィードバックや音声入力など）に関する。それぞれの方法には違いがあるが、各々が他方に対し有用なバックグラウンドを与える。なぜなら、それぞれの方法には極めて類似する点があるからである。

図４に、検出されたユーザ入力に対する応答を生成するための方法を模式的に示す。この応答は、取得された音声を修正するのに使われる。検出された入力は、物理的要素（例えば、ボタン、キー、トリガー、タッチスクリーンおよび／またはトラックパッドなど）の操作を含んでもよい。

ステップ４００で、コントローラに関連するマイクロホンを用いて、１つ以上の音声入力が取得される。これらの音声入力は、例えばコントローラのユーザの発話を含んでもよい。しかしこれに限られず、任意の好適な音声が考慮されてもよい。

ステップ４１０で、ユーザからコントローラへの１つ以上の入力が検出される。この検出は、任意の好適な方法で実行されてもよい。第１の例では、これは音声検出により実行されてもよい。この場合、入力を与えるためにユーザによって操作される要素の音が検出される。第２の例では、ユーザの入力に応答してコントローラから出力される信号の解析がされる。これにより、特定のタイミングでどの入力が与えられたかを判定することができる。

ステップ４２０は、検出された入力に対する応答（これは、入力および少なくとも当該入力に関連する要素とマイクロホンとの距離に依存する）の生成を含む。例えば、特定の入力の検出を基に、当該入力に起因してマイクロホンの位置で予測される音が特定されてもよい。前述のように、入力を与えたことによる音声の影響もまた、少なくとも入力に関連する要素とマイクロホンとの距離に依存する。なぜなら、コントローラを通したときの減衰または透過が適切な要因となるからである。生成される応答は、音声データを修正するための所望の方法に依存する。

ステップ４３０は、ステップ４２０で生成された応答を出力するステップを含む。いくつかの実施の形態では、これは、出力スピーカに音声信号を与えるステップを含んでもよい。これにより、検出されたユーザ入力に関連する音声の影響を軽減することができる。このような場合、応答は、検出された入力に関連する音の逆の音声信号を含んでもよい。これは、入力、マイクロホン、および／または応答を出力するスピーカに関連する要素の相対的な位置に関する１つ以上のさらなる修正を伴ってもよい。

代替的または追加的に、応答を出力するステップは、取得された音声を直接修正するための情報を与えるステップを含んでもよい。これにより、検出されたユーザ入力に関連する音声の影響を低減するために、取得された音声を修正することができる。例えば、検出された入力に関連する音の逆の信号が生成されてもよい。あるいは、取得された音声から望ましくない音声（これは、ユーザ入力に相当する）をより有効に除去することのできる、時間、強度および／または周波数に関する情報が生成されてもよい。

図５に、検出された処理デバイスによる入力に対する応答を生成する方法を模式的に示す。この応答は、取得された音声を修正するために使われる。

ステップ５００で、コントローラに関連するマイクロホンによって、１つ以上の音声入力が検出される。これらの音声入力は、コントローラのユーザの発話を含んでもよい。しかしこれに限られず、任意の好適な音声が考慮されてもよい。

ステップ４１０で、処理デバイスからコントローラへの１つ以上の入力が検出される。これらの入力は、コントローラに関連してスピーカから出力される音声（例えば、ゲーム中のイベントに対応する音声の影響）または信号（例えば、触覚フィードバック信号）を含んでもよい。これらは、ステップ４１０で議論した検出と同様に、マイクロホンまたは処理デバイスから受信したデータの解析を用いて検出することができる。

ステップ５２０は、検出された入力に対する応答（これは、入力および少なくとも対応する出力（すなわち、検出された入力に基づいて生成される出力）に関連する要素（例えば、スピーカや触覚フィードバック要素）とマイクロホンとの距離に依存する）の生成を含む。例えば、特定の入力の検出を基に、当該入力に起因してマイクロホンの位置で予測される音が特定されてもよい。前述のように、入力を与えたことによる音声の影響もまた、少なくとも入力に関連する要素とマイクロホンとの距離に依存する。なぜなら、コントローラを通したときの減衰または透過が適切な要因となるからである。生成される応答は、音声データを修正するための所望の方法に依存する。

ステップ５３０は、ステップ５２０で生成された応答を出力するステップを含む。いくつかの実施の形態では、これは、出力スピーカに音声信号を与えるステップを含んでもよい。これにより、検出されたユーザ入力に関連する音声の影響を軽減することができる。このような場合、応答は、検出された入力に関連する音の逆の信号を含んでもよい。これは、入力、マイクロホン、および／または応答を出力するスピーカに関連する要素の相対的な位置に関する１つ以上のさらなる修正を伴ってもよい。

代替的または追加的に、応答を出力するステップは、取得された音声を直接修正するための情報を与えるステップを含んでもよい。これにより、検出されたユーザ入力に関連する音の音声の影響を低減するために、取得された音声を修正することができる。例えば、検出された入力に関連する音の逆の信号が生成されてもよい。あるいは、取得された音声から望ましくない音声（これは、処理デバイスによる入力に相当する）をより有効に除去することのできる、時間、強度および／または周波数に関する情報が生成されてもよい。

いくつかの実施の形態では、これらの処理デバイスによる入力は、事前に（例えば、ゲーム内のスクリプト化されたシーン中に）処理デバイスにより決定されてもよい。この場合応答は、入力自体と同時に出力されるように生成されてもよい。同様に処理デバイスは、入力を生成するときに、応答を自動的に生成するように構成されてもよい（例えば、使われるコントローラの特定に依存して）。例えば処理デバイスは、触覚フィードバック信号の音声の影響を軽減するために、触覚フィードバック信号をおよび応答を同時に（あるいは、同じプロセスの一部として）生成するように構成されてもよい。これは、応答生成プロセスの遅延を軽減する場合、特に処理デバイスが応答を実現する場合、有用となり得る。

上記の議論は主に、ユーザのコメンタリを録音するためのマイクロホンと一体化したコントローラ等に関するものだった。しかしマイクロホンは、ヘッドセットのような別個のデバイスに配置されてもよい。このような場合、コントローラ（すなわち、入力から音を生成するハードウェア）とマイクロホンとの距離は固定化されてもよい。このような場合、各デバイスの位置が追跡され、その後音声の影響に変化が決定されてもよい。例えば、デバイス間の距離の増加とともに音声の影響の強さが軽減されてもよい。任意の好適な追跡法が実行されてもよい。例えば、コントローラとヘッドセット（あるいは、ヘッドマウントマイクロホンの位置を定めるユーザの頭部）の両方が、カメラベースで追跡されてもよい。

図６に、本開示の１つ以上の実施の形態を実現するシステムを模式的に示す。このシステムは、入力デバイス６００と、マイクロホン６１０と、入力検出ユニット６２０と、応答生成ユニット６３０と、を備える。入力検出ユニット６２０および応答生成ユニット６３０は、１つ以上のデバイス（例えば、入力デバイス６００、関連する処理デバイスおよび／またはサーバ）に配置された中央処理ユニット等を用いて実現されてもよい。さらなる機能ユニットが与えられてもよいが、簡潔のため図示しない。例えば、入力デバイス６００のパラメータを保存するためのストレージ手段（ハードドライブ等）が与えられてもよく、マイクロホン６１０が取得した音の音声処理を実行するための処理ユニットが与えられてもよい。

入力デバイス６００は、処理デバイスへの入力を生成するためにユーザが操作可能な１つ以上の要素を備える。この処理デバイスは、ゲームコンソール等またはクラウドベースのサーバに関するものであってもよい。この要素は、１つ以上のボタン、キー、アナログスティック、タッチ入力および／またはトリガー等を備えてもよい。いくつかの実施の形態では、入力デバイス６００は、ゲームコントローラ、キーボードまたはタッチスクリーンデバイスとして形成されてもよい。従って、本明細書の他の部分でのコントローラに関する議論は、入力デバイス６００に適用することができる。代替的または追加的に、入力デバイス６００は、１つ以上の他のデバイスと一体に与えられてもよい。例えば、入力デバイス６００と、処理デバイスの出力を表示するための表示デバイスと、を備えたデバイスが与えられてもよい。この例として、ラップトップ、ポータブルゲームコンソール、携帯電話などがある。

マイクロホン６１０は、１つ以上の音声入力を取得するように動作することができる。いくつかの実施の形態では、マイクロホンは、入力デバイス６００の一部として与えられる。代替的または追加的に、マイクロホン６１０は、別個のハードウェア（例えば、ユーザが装着する処理デバイスと一体化されたヘッドセット、またはスタンドアロンユニット）として与えられてもよい。

入力検出ユニット６２０は、ユーザによる入力デバイス６００への１つ以上の入力を検出するように動作することができる。いくつかの実施の形態では、入力検出ユニット６２０は、図４のステップ４１０を参照して議論したように、取得された音声を用いて入力を検出するように動作することができる。この取得された音声はマイクロホン６１０を用いて取得されたものであってもよいし、他の代替的なマイクロホンを用いて取得されたものであってもよい。代替的または追加的に、入力検出ユニット６２０は、ユーザの入力に応答して入力デバイス６００が生成した制御信号に応じて、入力を検出するように動作可能であってもよい。

応答生成ユニット６３０は、入力および入力に関連する要素とマイクロホンとの距離に応じて、検出された入力に対する応答を生成するように動作することができる。応答生成ユニット６３０は、入力デバイス６００および関連する処理デバイス等のいずれか（または両方）に配置された、処理ユニットにより実現されてもよい。この応答は、検出された入力に関連する音の逆であって、追加的な音声の影響に対応するために修正が加えられた信号であってもよい。

いくつかの実施の形態では、応答生成ユニット６３０は、入力デバイス６００に関連するスピーカの出力のための音声応答を生成するように動作することができる。代替的または追加的に、応答生成ユニット６３０は、マイクロホン６１０が取得した音声入力を修正する音声処理ユニットへの出力のための応答を生成するように動作可能であってもよい。このような応答生成の例は、図４のステップ４２０および４３０を参照して議論した。

応答生成ユニット６３０は、入力に関連する要素とマイクロホン６１０（および／または他の要因）との距離だけではなく、入力デバイス６００の１つ以上の物理的特性に応じて、応答を生成するように動作可能であってもよい。こうした物理的特性の例は、入力デバイス６００のサイズ、形状、構造、材質および／または音声伝達性などを含む。これらの特性は、入力プロセス中に要素から発せられた音とマイクロホン６１０により検出された音との間の差異を推定または計算するのに使われてもよい。なぜなら、これらの特性は、入力デバイス６００を通した音声伝搬に影響を与えるからである。このような特性は、マイクロホン６１０が入力デバイス６００と一体化されていなくても重要となり得る。なぜなら、こうした場合にも、ユーザ入力により生成された音は、これらの特性の影響を受け得るからである。これは特に、コントローラのリアトリガーに当てはまる。例えばユーザが、ヘッドマウントマイクロホンを装着したときである。この場合もトリガーからの音は、コントローラを通して伝搬し、マイクロホンに到達する。

代替的または追加的なオプションとして、応答生成ユニット６３０は、入力デバイス６００の１つ以上の動作パラメータに応じて、応答を生成するように動作可能であってもよい。こうしたパラメータは、ユーザが入力デバイス６００をどのように持つかを含む。例えば、入力デバイス６００を握る力またはユーザの手のサイズを推定するために、入力デバイス６００の圧力センサが使われてもよい。別の動作パラメータは、使用中に入力デバイス６００が置かれる表面に関する情報を含んでもよい。動作パラメータは、配置の画像またはオーディオキュー（例えば、こうしたパラメータに起因する、予測される音と入力デバイス６００の操作において検出された音との間の差異を決定するもの）を用いて決定されてもよい。さらに動作パラメータは、マイクロホン６１０が取得した音への予測される音声の影響を修正するのに使われてもよい。

いくつかの実施の形態では、応答生成ユニット６３０は、入力デバイスおよび／または入力デバイスの１つ以上の要素（例えば、それぞれのボタン）に関して定義される１つ以上の伝達関数を用いて応答を生成するように構成されてもよい。これらは、例えば要素の構造およびコントローラ内における配置に関する情報に基づいて生成されてもよいし、コントローラを通した音の伝搬の分析に基づいて生成されてもよい。後者は例えば、標準化された音を与えておき、マイクロホンで測定された応答を当該音に関する情報と比較することにより実行されてもよい。標準化された音は、例えば予め録音された音であってもよいし、ボタンの操作に関する情報に基づいて推定されてもよい（例えば、いくつかのボタンがどの程度押しにくいかを検出することができ、これによりボタンを押すことによる音を予測することができる）。この比較に基づいて、時間遅延、減衰および／または周波数や周波数プロファイルの変化に関する情報を得ることができる。

いくつかのケースでは、これらの伝達関数は、ユーザのコントローラの握りに関する情報または入力デバイスの位置（例えばコントローラが固い表面上に位置するか、柔らかい表面上に位置するか）に関する情報に依存して定義されてもよい。これらの情報は、入力デバイスを通した音の伝搬に影響を与え得る。これは、握力の測定に基づいて決定することができる（例えば、入力デバイスの圧力センサを用いることにより、または推定することにより）。そしてこれを用いて、例えば音の伝搬の変化を予測または評価することができる。同様に、入力デバイスが環境の特定の表面上に置かれいるかを判断するのに、入力デバイスの空間的追跡を使ってもよい（固さその他の特性に関する情報を与える表面の特定とともに）。

上記の議論では、どのような音を拾うかに焦点を当てた。しかしこれに代えて（または追加的に）、入力デバイスを操作したときユーザに聞こえる音を表す伝達関数の決定を考察するのが有用な場合もある。このような伝達関数は、入力デバイスとユーザの頭部（より具体的には、耳）との相対位置に応じて予測されてもよい。さらに、ヘッドホン等を装着するユーザに起因する減衰等について考察してもよい。これらの伝達関数は、各入力要素（または、少なくとも選択された入力要素）や入力要素の群（例えば、コントローラのショルダーボタン）に関して決定されてもよいし、入力デバイスそのもの（いくつかの実施の形態では、これは入力デバイスに関する伝達関数とともに使われてもよい）に関する伝達関数を決定するのに足る考察がされてもよい。

このような実施の形態では、入力デバイスの少なくとも１つの特性および入力に関連する要素とマイクロホンとの距離に応じて、伝達関数を特定することのできる選択的な伝達関数特定ユニットが与えられてもよい。代替的に、入力デバイスから処理デバイスに与えられて特定された入力に応じて、既存の伝達関数が選ばれてもよい。例えば、ユーザが操作した特定のボタンまたは入力キーに関連する伝達関数が選ばれてもよい。この場合、応答生成ユニットは、入力に関連する要素とマイクロホンとの距離を明示的に利用せずに、入力および特定された伝達関数に応じて、検出された入力に対する応答を生成するように動作可能であってもよい。

応答出力ユニット６４０は、応答生成ユニット６３０により生成された応答を出力するように動作することができる。応答出力ユニット６４０は、特定の実施の形態に応じて適切に構成されてもよい。例えば、応答出力ユニット６４０が応答に応じて音を生成する処理ユニットおよびスピーカとして実現される場合もある。代替的に、応答出力ユニット６４０は、マイクロホン６１０によって取得された音を修正する音声処理ユニットに信号を与えるプロセッサとして実現されてもよい。いくつかの実施の形態では、応答出力ユニット６４０は、これらの特徴の各々を備えてもよい。これにより、適切なタイプの応答を出力することができる。例えばいくつかの実施の形態では、音声出力はある入力に最適なものであるが、音声処理は別の入力に最適なものであってもよい。これは、例えば特定の入力デバイス６００に最適となるように、入力ごとに決定されてもよい。

図６の構成は、処理デバイスへの入力を生成するためにユーザによって操作可能な１つ以上の要素および１つ以上の音声入力を取得可能なマイクロホンを備えた入力デバイスを備えたシステムとともに使われるプロセッサ（例えば、ゲームコンソールその他の任意のコンピューティングデバイスに配置されたＧＰＵおよび／またはＣＰＵ）の例である。プロセッサは、以下のように動作可能である。すなわち、
・１つ以上のユーザによる入力デバイスへの入力を検出可能とする。
・入力および入力に関連する要素とマイクロホンとの距離に応じて、検出した入力への応答を生成する。

図７に、本開示の１つ以上の実施の形態を実現するシステムを模式的に示す。このシステムは、フィードバックデバイス７００と、マイクロホン７１０と、入力検出ユニット７２０と、応答生成ユニット７３０と、を備える。入力検出ユニット７２０および応答生成ユニット７３０は、１つ以上のデバイス（例えば、フィードバックデバイス７００、関連する処理デバイスおよび／またはサーバ等）配置された中央処理ユニット等を用いて実現されてもよい。さらなる機能ユニットが与えられてもよいが、簡潔のため図示しない。例えば、フィードバックデバイス７００のパラメータを保存するためのストレージ手段（ハードドライブ等）が与えられてもよく、マイクロホン７１０が取得した音の音声処理を実行するための処理ユニットが与えられてもよい。

フィードバックデバイス７００は、処理デバイスからの入力に応答して出力を生成するように動作することができる１つ以上の要素を備える。これらの例は、音声出力（フィードバックデバイス７００に関連するスピーカを介した）および触覚フィードバックユニット（例えば、ランブル発生器）を介した触覚フィードバックを含む。上記の議論に従い、フィードバックデバイス７００は、ゲームコントローラ等の一部として実現されてもよい。しかしフィードバックデバイス７００がユーザ入力を可能とすることは必須ではない。言い換えれば、フィードバックデバイス７００は、処理デバイスからの入力に反応して出力を生成するように動作できることだけが要求される。好適なフィードバックデバイスの例は、ランブルモータ等を介して触覚フィードバックを与えるものを含む。従ってフィードバックデバイス７００は、触覚フィードバックを与えるヘッドマウントディスプレイとして実現されてもよい。あるいは、限られたユーザ入力機能で出力を与える他のウェアラブルデバイス（例えば、衝撃を模擬できるベスト、トルク生成を使って重さを模擬できるリストバンド等）であってもよい。

マイクロホン７１０は、１つ以上の音声入力を取得するように動作することができる。いくつかの実施の形態では、マイクロホンは、フィードバックデバイス７００の一部として与えられるが、別個のハードウェア（例えば、ユーザが装着する処理デバイスと一体化されたヘッドセット、またはスタンドアロンユニット）として与えられてもよい。

入力検出ユニット７２０は、ユーザによるフィードバックデバイス７００への１つ以上の入力を検出するように動作することができる。いくつかの実施の形態では、入力検出ユニット７２０は、取得された対応する出力を表す音声を用いて入力を検出するように動作することができる。すなわち入力は、取得された音声（これは、入力に応答して生成された出力の音を含む）から検出することができる。例えば、音声がランブル音を含む場合、触覚フィードバック信号がフィードバックデバイス７００に与えられることが推定される。

代替的または追加的に、入力検出ユニット７２０は、処理デバイスによってフィードバックデバイス７００に与えられた入力内の制御信号に応じて入力を検出するように動作可能であってもよい。このような検出は、どの出力命令されたかを判断するために、フィードバックデバイス７００への入力信号の分析を含んでもよい。あるいはさらに、これは、生成プロセスの一部として、制御信号の分析を含んでもよい。

応答生成ユニット７３０は、入力および入力に関連する要素とマイクロホンとの距離に応じて、検出された入力に対する応答を生成するように動作することができる。応答生成ユニット７３０は、フィードバックデバイス７００および関連する処理デバイス等のいずれか（または両方）に配置された、処理ユニットにより実現されてもよい。この応答は、検出された入力に関連して予測される出力の逆であって、追加的な音声の影響に対応するために修正が加えられた信号であってもよい。

いくつかの実施の形態では、応答生成ユニット７３０は、フィードバックデバイス７００に関連するスピーカの出力のための音声応答を生成するように動作することができる。代替的または追加的に、応答生成ユニット７３０は、マイクロホン７１０が取得した音声入力を修正する音声処理ユニットへの出力のための応答を生成するように動作可能であってもよい。このような応答生成の例は、図５のステップ５２０および５３０を参照して議論した。

応答生成ユニット７３０は、入力に関連する要素とマイクロホン７１０（および／または他の要因）との距離だけではなく、フィードバックデバイス７００の１つ以上の物理的特性に応じて、応答を生成するように動作可能であってもよい。こうした物理的特性の例は、フィードバックデバイス７００のサイズ、形状、構造、材質および／または音声伝達性などを含む。これらの特性は、入力プロセス中に要素から発せられた音とマイクロホン７１０により検出された音との間の差異を推定または計算するのに使われてもよい。なぜなら、これらの特性は、フィードバックデバイス７００を通した音声伝搬に影響を与えるからである。このような特性は、マイクロホン７１０がフィードバックデバイス７００と一体化されていなくても重要となり得る。なぜなら、こうした場合にも、ユーザ入力により生成された音は、これらの特性の影響を受け得るからである。これは特に、コントローラのリアトリガーに当てはまる。例えばユーザが、ヘッドマウントマイクロホンを装着したときである。この場合もトリガーからの音は、コントローラを通して伝搬し、マイクロホンに到達する。

代替的または追加的なオプションとして、応答生成ユニット７３０は、フィードバックデバイス７００の１つ以上の動作パラメータに応じて、応答を生成するように動作可能であってもよい。こうしたパラメータは、フィードバックデバイス７００をどのように持つかを含む。例えば、フィードバックデバイス７００を握る力またはユーザの手のサイズを推定するために、フィードバックデバイス７００の圧力センサが使われてもよい。別の動作パラメータは、使用中にフィードバックデバイス７００が置かれる表面に関する情報を含んでもよい。動作パラメータは、配置の画像またはオーディオキュー（例えば、こうしたパラメータに起因する、予測される音とフィードバックデバイス７００の操作において検出された音との間の差異を決定するもの）を用いて決定されてもよい。さらに動作パラメータは、マイクロホン７１０が取得した音への予測される音声の影響を修正するのに使われてもよい。

いくつかの実施の形態では、応答生成ユニット７３０は、フィードバックデバイス７００および／またはフィードバックデバイス７００の１つ以上の要素（例えば、特定の触覚フィードバック要素）に関して定義される１つ以上の伝達関数を用いて応答を生成するように構成されてもよい。これらは、例えば要素の構造およびコントローラ内における配置に関する情報に基づいて生成されてもよいし、コントローラを通した音の伝搬の分析に基づいて生成されてもよい。後者は例えば、標準化された音を与えておき、マイクロホンで測定された応答を当該音に関する情報と比較することにより実行されてもよい。標準化された音は、例えば所定の持続時間、周波数、強度、および／またはタイミングを持つ触覚フィードバックであってもよい。この比較に基づいて、時間遅延、減衰および／または周波数や周波数プロファイルの変化に関する情報を得ることができる。

いくつかのケースでは、これらの伝達関数は、ユーザのコントローラの握りに関する情報またはフィードバックデバイスの位置（例えばコントローラが固い表面上に位置するか、柔らかい表面上に位置するか）に関する情報に依存して定義されてもよい。これらの情報は、フィードバックデバイスを通した音の伝搬に影響を与え得る。これは、握力の測定に基づいて決定することができる（例えば、フィードバックデバイスの圧力センサを用いることにより、または推定することにより）。そしてこれを用いて、例えば音の伝搬の変化を予測または評価することができる。同様に、フィードバックデバイスの空間的追跡を、フィードバックデバイスが環境の特定の表面上に置かれいるかを判断するのに使うことができる（固さその他の特性に関する情報を与える表面の特定とともに）。

上記の議論では、どのような音を拾うかに焦点を当てた。しかしこれに代えて（または追加的に）、フィードバックデバイスを操作したときユーザに聞こえる音を表す伝達関数を決定することを検討するのが有用な場合もある。このような伝達関数は、フィードバックデバイスとユーザの頭部（より具体的には、耳）との相対位置に応じて予測してもよい。さらに、ヘッドホン等を装着するユーザに起因する減衰等について考察してもよい。これらの伝達関数は、各出力要素（または、少なくとも選択された出力要素）や出力要素の群（例えば、コントローラの振動要素）に関して決定されてもよいし、フィードバックデバイスそのもの（いくつかの実施の形態では、これはフィードバックデバイスに関する伝達関数とともに使われてもよい）に関する伝達関数を決定するのに足る考察がされてもよい。マイクロホンまたはユーザに対する全体的な音声の効果を決定するために、伝達関数および／または他の出力に関する情報を使える場合もある。例えば、フィードバックデバイスの各出力要素により生成された出力（例えば、コントローラのモータにより生成された複数の振動の各々など）が互いに干渉することを考慮する場合もある。

この干渉は、建設的だったり（これにより、音声の効果全体が増加する）、破壊的だったり（これにより、音声の効果全体が減少または完全に消滅する）、その組み合わせだったりする。これにより、出力の一部（例えば、特定の振動周波数）は増加するが、別の一部は減少する。従って、特定の出力に関して評価された出力要素の音声の効果全体が閾値を下回ったとしても、応答を生成しなくてよい場合もある。このような実施の形態では、フィードバックデバイスの少なくとも１つの特性および出力に関連する要素とマイクロホンとの距離に応じて、伝達関数を特定することのできる選択的な伝達関数特定ユニットが与えられてもよい。代替的に、処理デバイスからフィードバックデバイスに与えられて特定された入力に応じて、既存の伝達関数が選ばれてもよい。例えば、特定の振動要素に関連する伝達関数が選ばれてもよい。この場合、応答生成ユニットは、出力に関連する要素とマイクロホンとの距離を明示的に利用せずに、入力および特定された伝達関数に応じて、検出された入力に対する応答を生成するように動作可能であってもよい。

いくつかの実施の形態では、入力検出ユニット７２０は、処理デバイスに与えられ、入力がフィードバックデバイス７００に与えられる前にこの入力を検出するように動作することができる。このような場合、検出された入力への応答（応答生成ユニット７３０によって生成されたもの）は、検出された入力とともに、フィードバックデバイス７００に与えられてもよい。

応答出力ユニット７４０は、応答生成ユニット７３０により生成された応答を出力するように動作することができる。応答出力ユニット７４０は、特定の実施の形態に応じて適切に構成されてもよい。例えば、応答出力ユニット７４０が応答に応じて音を生成する処理ユニットおよびスピーカとして実現される場合もある。代替的に、応答出力ユニット７４０は、マイクロホン７１０によって取得された音を修正する音声処理ユニットに信号を与えるプロセッサとして実現されてもよい。いくつかの実施の形態では、応答出力ユニット７４０は、これらの特徴の各々を備えてもよい。これにより、適切なタイプの応答を出力することができる。例えばいくつかの実施の形態では、音声出力はある入力に最適なものであるが、音声処理は別の入力に最適なものであってもよい。これは、例えば特定のフィードバックデバイス７００に最適となるように、入力ごとに決定されてもよい。

図７の構成は、処理デバイスからの入力に応答して出力を生成するように動作可能な１つ以上の要素および１つ以上の音声入力を取得可能なマイクロホンを備えたフィードバックデバイスを備えたシステムとともに使われるプロセッサ（例えば、ゲームコンソールその他の任意のコンピューティングデバイスに配置されたＧＰＵおよび／またはＣＰＵ）の例である。プロセッサは、以下のように動作可能である。すなわち、
・１つ以上のユーザによる入力デバイスへの入力を検出可能とする。
・入力および出力に関連する要素とマイクロホンとの距離に応じて、検出した入力への応答を生成する。

図８に、本開示の１つ以上の実施の形態を実現するシステムを模式的に示す。図８の入力デバイスは、例えば図２のコントローラ１００として機能する。図８の例に従って、図６および図７の入力デバイス６００およびフィードバックデバイス７００が実装されてもよい。この場合、適切であれば、１つ以上の要素は選択的であってもよい。例えば、触覚フィードバックまたは音声入力が望まれる場合は、出力要素８１０は割愛されてもよい。および／または、処理機能が関連する処理デバイス（例えば、ゲームコンソール）により実行される場合は、処理ユニット８４０は割愛されてもよい。同様に、ユーザ入力が存在しない実施の形態（すなわち、フィードバック専用デバイスの場合）では、入力要素８００は割愛されてもよい。

入力要素８００は、コンピュータプログラムやゲームのようなプロセスに入力を与えるための、ユーザによる操作が可能な特性を備える。好適な入力要素の例は、ボタン、キー、スイッチ、アナログスティック、タッチ入力および／またはトリガーを含む。追加的な機能を与えるために、代替的（または追加的）な入力要素が与えられてもよい。例えば、モーション入力を与えるために、トラッカブル・インジケータ（色付きライトなど）、インサイドアウト・トラッキングカメラおよび／または加速度計やジャイロスコープのようなハードウェアモーション検知器が与えられてもよい。同様に、ユーザによる音声命令を可能とするために、入力要素としてマイクロホンが与えられてもよい。

出力要素８１０は、処理デバイスにより生成された信号に応じてユーザにフィードバックを与えるための任意の好適な要素を備える。

好適な要素の例は、振動またはランブルユニットや、ユーザに音声フィードバックを与えるスピーカなどの触覚フィードバック要素を含む。

マイクロホン８２０は、入力デバイスに関連する１つ以上のマイクロホンを含んでもよい。出力のための音声（例えば、ユーザによる音声コミュニケーション）を取得する単一のマイクロホンが与えられてもよい。図４および図５を参照して議論したように、これと同じマイクロホンが入力／出力の検出に使われてもよい。いくつかの実施の形態では、複数のマイクロホンが与えられてもよい。例えば、出力された音声を取得するために複数のマイクロホンを与えることができる。これにより、音源の局在化の精度を上げることができる。代替的または追加的に、入力／出力を検出するだけの目的で、さらなるマイクロホンを与えることができる。これらのマイクロホンは、出力音声（狭められた周波数帯域で動作するもの、あるいはより雑音の多い信号を生成するもの）を取得するものより低品質であってもよい。

入力デバイスと外部の処理デバイスとの間のコミュニケーションを容易にするために、送信器８３０（あるいは代替的に、別個の送信器および受信器）を与えることもできる。入力デバイスが処理デバイスと一体化されている場合は（例えば、ラップトップまたは手持ちゲームコンソール）、このような特性は割愛されてもよい。このユニット８３０は、入力デバイスと関連する処理デバイスとの間で入力および出力を伝達するために、有線または無線通信プロトコルを介した通信を送信および受信するように動作することができる。

処理ユニット８４０は、入力デバイスで任意の好適な処理が実行できるように与えられる。いくつかの実施の形態では、この処理ユニット８４０は、入力検出および／または応答生成プロセスを実行する（例えば、生成された音声に応答を適用する）のに使われてもよい。いくつかの実施の形態では、代替的にこのような処理ユニット８４０（または、少なくともその機能から選択したもの）は、関連する処理デバイスにより実現されてもよい。

スピーカ８５０は、音声出力を与えることができる１つ以上のスピーカを備えてもよい。いくつかの実施の形態では、ユーザに音声（例えば、ゲーム音声または音声コミュニケーションの音）を与えるための単一のスピーカが与えられてもよい。このスピーカは、ユーザまたは処理デバイスによる入力の音声の効果を軽減するための音声信号を生成するために再利用されてもよい。代替的に、周辺音および／または軽減された音声出力を生成するための専用スピーカの提供のために、複数のスピーカが与えられてもよい。上記のマイクロホン８２０での議論と同様に、適切な場合は、低品質のスピーカ（例えば、より周波数帯域の狭いものまたは音声出力を軽減するためにより低品質の音を出力するもの）が与えられてもよい。

上記ではシステム内の単一の入力デバイスの使用についてのみ述べたが、このような処理に適した複数のデバイスが与えられてもよい。入力デバイスの各々は、さらなる処理を行ってもよい。これにより、システム内の他の入力デバイスにより生成された音の音声の効果を軽減することができる。これにより本開示の利点を、マルチプレーヤーの構成、あるいは複数の入力デバイスが与えられた単一プレーヤーの構成に、効果的に拡大することができる。

このような構成では、各入力デバイスに関する操作情報（例えば、ユーザによる入力および／または処理デバイスから各入力デバイスへの出力に関する情報）を個別に生成することができる。また音声の効果の軽減処理が各入力デバイスで行われる場合は、これらの操作情報を入力デバイス間で共有することができる。代替的または追加的に、処理は、共通のデバイス（例えば、各入力デバイスが関連するゲームコンソール等）を用いて行われてもよい。この場合、送信が必要な情報量を低減することができる。さらなる有用な情報は、各入力デバイス間の距離である。これは、カメラベースのトラッキング手段または近接度検出等を用いて取得することができる。このような処理は、閾値ベースで実行されてもよい。例えば、互いに閾値を超える距離にある入力デバイスは、他の入力デバイスに対して無視できる程度の影響しか与えない（あるいは全く与えない）と判断することができる。閾値距離は、各入力／出力について決定されてもよい。なぜなら、各閾値距離は、異なる音量や音声効果によるからである。

本開示の教示は、ユーザに利点を与えるために、音を取得するマイクロホンが必須でない点に注意されたい。このようなノイズキャンセル（またはノイズ軽減）は、ユーザ自身の利益にとって望ましい。言い換えれば音声は、音声デバイスにより出力されてもよい。この場合、適切であれば、入力／出力の音声の影響を軽減することができる。例えば、触覚フィードバックに関連する音は、前述の技術を用いて軽減されてもよい。これによりユーザは、関連する音による深刻な断絶を受けることなく、フィードバックの利点の利益を得ることができる。

前述のように、マイクロホンで録音された音声に関する特定の入力または出力の操作による音声の影響をより正確に特定するために、音声キャンセルプロセスは伝達関数を用いてもよい。伝達関数は、最初の音（例えば、ボタンの押下やランブル）と特定のマイクロホンで取得された音との差を表すのに使ってもよい。例えば、特定の周波数の振動が原因で、入力デバイス内で異なる周波数の二次振動が発生することがある。これは、入力デバイスのシェルの共鳴に起因する。あるいは、入力／出力要素（ボタンや触覚フィードバック要素など）の距離に起因して、音量が変化することもある。

従って、このような考察を表す伝達関数の利用により、取得された音声の処理を改良し、これにより音声の影響を除去または軽減することが可能となり得る。例えば１つ以上の逆触覚信号をより効果的に生成することにより、触覚フィードバック要素の音声の影響を軽減することができる。従ってこのような伝達関数を考慮すことは、必須ではないが、本開示のいくつかの実施の形態では望ましいことである。

図９に、このような伝達関数を生成する方法を模式的に示す。これは、一般的な入力デバイスの文脈で議論される。前述のように、こうした入力デバイスは、ゲームコンソールで使うためのコントローラ、キーボード、統合入力デバイス（ポータブルゲームコンソール、ラップトップ入力デバイスなど）その他の処理デバイスの操作を制御するための入力を与えるデバイスであってもよい。この入力デバイスは、前述の入力デバイスおよびフィードバックデバイスいずれかに対応してもよく、入力および出力要素の両方を備えてもよい（この場合、これら両方の機能が実現される）。以下の方法は典型的なものであり、限定的ではない。従って、本開示の実施の形態に応じて、伝達関数を生成するために、任意の好適な方法が実行されてもよい。

例えば、伝達関数を生成するための１つの代替的な方法は、（前述のように）標準化された刺激（例えば、所与の触覚フィードバック、既知の圧力／持続時間のボタン押下など）を与えておき、刺激のマイクロホンでの音声の影響と刺激源における予測された（既知の）音声の影響との差異を決定することである。これは、出力（生成された）音声と取得された音声との効果的な比較となる。これは効果的ではあるが、不十分かもしれない。なぜなら、十分広い範囲の動作および構造パラメータを表すことのできる伝達関数の十分な組（または単一の伝達関数）を与えるために、大量の測定を実行することが必要な場合があるからである。

図９の方法を再び参照すると、ステップ９００は、１つ以上の入力デバイスのパラメータを決定するステップを含む。このパラメータは、入力デバイスに関連するマイクロホンの位置および入力デバイスに関連する１つ以上の入力／出力要素の位置を含む。これらのパラメータは、入力デバイスおよびその構成要素の特性と考えることができ、さらに入力デバイスがどの程度使われているかに関する情報とも考えることができる。なぜなら、これらは、入力デバイスを通した音声および振動の伝達を修正することのできる要因だからである。

他のパラメータの例は、環境での入力デバイスの位置、入力デバイスの動き、入力デバイスが置かれる表面の特定、ユーザが入力デバイスを持つか（持つ場合、どちらの手が使われ、どの程度の力で入力デバイスを握るか）、入力デバイスの形状および／または構造、デバイスの質量、入力／出力の操作パラメータ（特定のボタンが動作するか等）およびスイッチのタイプ（言い換えれば、ボタンがどのように実装されるか）を含む。コントローラへの任意の修正（機能的または装飾的修正、例えば、デバイスの外観を変更するためのボタンの代替的または追加的要素への置換）、周辺機器（プラグインキーボードまたはヘッドセット）の取り付け（これにより、入力デバイスを通した音声／振動の伝達度合いを変えることができる）が考慮されてもよい。

パラメータは、任意の好適な方法で決定されてもよい。例えば、あるパラメータはユーザにより入力されるが、他のパラメータは特定の入力デバイスに関する情報のデータベースから取られてもよい。代替的または追加的に、いくつかのパラメータは、取得された入力デバイスの画像（例えば、各ボタンの位置、入力デバイスの位置等）に基づいて特定されてよい。任意の好適な技術（例えば、画像、音声特性、入力デバイスの密度の決定など）を基に、入力デバイスを構成するのに使われる材料の特定が考慮される場合もある。パラメータを決定するのに、任意の好適なセンサ（例えば、カメラ、マイクロホン、慣性センサなど）からのデータが使われてもよい。

直接検出でなく、入力デバイスおよび／またはその利用のパラメータを推定した方がよい場合もある。例えば、入力デバイスが置かれる表面を明示的に決定するのではなく、入力デバイスが動かずに、特定の静止方向（例えば、水平の状態である、あるいは一端の上に立っている）を向くことを決定すれば十分であることもある。この決定では、入力デバイスが固い表面上に位置するかが考慮されてもよい。なぜなら、入力デバイスは、固定されていれば動かないだろうし、より柔らかい表面上にあれば異なる方向を向き（例えば傾斜し）、不規則な仕方表面上に沈み込むだろう。同様に、検出された入力デバイスの動きのパターンに基づいて、ユーザは入力デバイスを操作するときどちらの手を（あるいは両手を）使うかを決定することもできる。入力デバイス上のユーザの手を特定するためには、画像を分析することも、入力デバイスをどのように持つかをユーザに答えてもらうことも必須ではない。

ステップ９１０は、各入力／出力要素とマイクロホンとの間の音声伝達の１つ以上の特性を決定するステップを含む。この特性は、減衰、応答および／または各入力／出力要素に関連する音声の周波数プロファイルの変化のいずれかを含む。ここで音声伝達は、任意の入力および／または出力要素からの音声または振動（例えば、ボタンなどの操作音、振動要素を通した触覚フィードバック等）を指すと考えてよい。この決定は、入力デバイスを通した音声／振動の伝搬をモデル化することによって行われてもよい。例えば、ステップ９００で決定された特定のパラメータに基づいてモデルが生成されてもよいし、ステップ９００で決定されたパラメータに従って既存のモデルが適用されてもよい。

いくつかの実施の形態では、このステップは、音声伝達特性を完全に計算することに代えて、１つ以上のパラメータの音声伝達に対する影響を決定するステップを含んでもよい。例えば、特定の入力または出力要素に関連する音に関する減衰因子が計算されてもよい。あるいは、出力に共鳴する周波数が決定されてもよい。このような情報は、既存の伝達関数を適用することに使われてもよく、新たな伝達関数の生成に関する入力として使われてもよい。

ステップ９２０は、決定された音声特性に応じて、伝達関数（または、複数の伝達関数）を生成するステップを含む。前述のように、これは新たな伝達関数の全体的な生成を含んでもよいし、既存の伝達関数の修正を含んでもよい。例えば、入力デバイスがどのように持たれるかに関する情報（パラメータの例）およびその音響伝達に対する影響（特性の例）に応じて、入力デバイスの製造者によって定義される入力デバイスに関する「基本」伝達関数が修正されてもよい。一旦生成された伝達関数は、将来の使用のために保存されてもよい。代替的に、規則性（各プレイセッション、所定の時間後、１つ以上のパラメータにおける上記の閾値変化後）とともに、新たな伝達関数が生成されてもよい。

伝達関数は、所与の入力デバイスに関する任意の好適な組み合わせで定義されてもよい。いくつかの実施の形態では、入力デバイスに関して単一の伝達関数が定義されてもよい。これは、全体的な音声伝達の特性を示す。これは特に、簡単な構造の入力デバイスおよび使用中に生成された音声の影響にほとんど変化がないような配置に適する。代替的に、伝達関数は、入力デバイスおよび／または入力デバイスに関連する各入力／出力要素に関連する各マイクロホンに関し、定義されてもよい。この場合、各マイクロホン／入力または入力デバイスで特定された出力のペアに関し、個別に伝達関数を特定することができる。

選択的なステップ９３０は、生成された伝達関数に応じて、入力デバイスの１つ以上の入力／出力に対応する音声に関するノイズキャンセルプロセスを実行するステップを含む。このようなステップは選択的である。なぜなら、ステップ９２０における伝達関数の生成は、伝達関数が必用となる前に、使用する伝達関数の組を作るための校正プロセス等の一部として実行されてもよいからある。このノイズキャンセルプロセスは、図４および５を参照して説明した方法のいずれかに従って実行されてもよい。例えば、ステップ９２０で生成された伝達関数に応じて、応答が生成されてもよい。言い換えれば、ノイズキャンセルプロセスは、出力音声の生成および／または取得された音声（これは、入力デバイスの１つ以上の入力および／または出力に対応する音声を含む）の修正を含む。

複数の伝達関数が入力デバイスに関連する場合は、特定の音に対応するとして特定された入力または出力に応じて、適切な伝達関数を選ぶことが考慮されてもよい。例えば、入力デバイスの特定のボタンの操作が特定され、このボタンに対応する伝達関数が選ばれてもよい。

図１０に、処理デバイスに関連する入力デバイスの音声伝達特性を表す伝達関数を生成するシステムを模式的に示す。入力デバイスは、複数の入力および／または出力要素を含んでもよい。入力要素は、入力デバイスのユーザが操作可能な、１つ以上のボタン、キー、トリガー、ジョイスティックおよび／またはタッチパッドを含んでもよい。出力要素は、入力デバイスのユーザに出力を与える、１つ以上の触覚フィードバックユニットおよび／またはスピーカを含んでもよい。

このシステムは、パラメータ決定ユニット１０００と、音声特性決定ユニット１０１０と、伝達関数生成ユニット１０２０と、ノイズキャンセルユニット１０３０と、を含む。この構成は、任意の好適なデバイス（例えば、入力デバイスが関連するゲームコンソールに配置されたプロセッサ等）に関連する任意の好適な処理ユニット（例えば、ＣＰＵおよび／またはＧＰＵ）を用いて実現することができ、下記の機能を実現するのに使うことができる。図１０のシステムは、図９を参照して議論した方法を実行するように構成される。

パラメータ決定ユニット１０００は、入力デバイスの１つ以上のパラメータを決定するように構成される。これらのパラメータは、入力デバイスに関連するマイクロホンの位置および入力デバイスに関連する１つ以上の入力／出力要素の位置を含む。パラメータ決定ユニット１０００は、位置が決定された入力／出力要素の各々に関連する音声のパラメータを決定するように構成されてもよい。例えばこれは、特定の入力操作に関連する音もしくは音の範囲（例えば、ボタンを押すときの音）または特定の出力の周波数もしくは周波数範囲／プロファイル（例えば、触覚フィードバック要素に関連する周波数）の特性を決定することを含んでもよい。

いくつかの実施の形態では、パラメータ決定ユニット１０００は、入力デバイスのモデル、取得された入力デバイスの画像および／またはユーザが入力デバイスを操作している間に取得された情報に基づいて、パラメータを決定するように構成される。入力デバイスのモデルは、デバイスに関する任意の好適な情報を含んでもよい。例えば、形状、サイズ、要素の配置、材料情報、重さ、およびデバイスまたはその操作によって生成された音声に関係すると考えられる任意の他の情報、あるいは音声が入力デバイスを通してどの程度伝搬するか、などである。画像は、このような情報を導出するために使われてもよい（例えば、入力デバイスに使われるサイズおよび材料を決定するための画像を用いて）。

ユーザが入力デバイスを操作している間に取得された情報は、入力デバイスに関連するマイクロホン（または他のマイクロホン）により取得された音声を含んでもよい。これは、予測された音声と比較することができる。これにより、音声伝搬に関連する１つ以上のさらなるパラメータを導出することができる。さらなる情報は、握りの強さ、ユーザがどのように入力デバイスを持つか（手の数、および手が入力デバイスの上にどのように置かれるか）、入力デバイスの動き、入力デバイスを通した音声の伝搬に影響を与え得る任意の他の要因に関する情報、などを含んでもよい。

音声特性決定ユニット１０１０は、各入力／出力要素とマイクロホンとの間の音声伝達に関する、１つ以上のさらなる特性を決定するように構成される。この特性は、減衰、共鳴および／または各入力／出力要素に関連する音声の周波数プロファイルの変化を含む。音声特性決定ユニット１０１０は、入力デバイスおよび／またはユーザが入力デバイスを操作している間に取得された情報のモデルに基づいてパラメータを決定するように構成されてもよい。このモデルは、パラメータ決定ユニット１０００で説明したものと同じモデルおよび／または取得された情報であってもよい。

パラメータ決定ユニット１０００が、入力デバイスの位置および／または動きをパラメータとして決定するように構成される実施の形態では、音声特性決定ユニット１０１０は、入力デバイスの位置および動きに応じて、１つ以上の音声伝達特性を決定するように構成されてもよい。同様に、パラメータ決定ユニット１０００が、ユーザがどのように入力デバイスを持つかをパラメータとして決定するように構成される実施の形態では、音声特性決定ユニット１０１０は、ユーザがどのように入力デバイスを持つかに応じて、１つ以上の音声伝達特性を決定するように構成されてもよい。

伝達関数生成ユニット１０２０は、決定された音声特性に応じて、伝達関数を生成するように構成される。いくつかの実施の形態では、伝達関数生成ユニット１０２０は、入力デバイスに関連するマイクロホンに関し、それぞれの伝達関数を生成するように構成される。代替的または追加的に、伝達関数生成ユニット１０２０は、入力デバイスに関連する複数の入力および／または出力要素に関し、それぞれの伝達関数を生成するように構成されてもよい。

ノイズキャンセルユニット１０３０は、生成された伝達関数に応じて、入力デバイスの１つ以上の入力および／または出力に対応する音声に関するノイズキャンセル処理を実行するように構成される。このノイズキャンセルは、上記の任意の技術（例えば、図４および５を参照して説明した技術）を用いて実行されてもよい。ノイズキャンセル処理は、出力音声（または振動）を生成すること、および／または取得した音声（これは、入力デバイスの１つ以上の入力および／または出力に対応する音声を含む）を修正することを含んでもよい。これらはそれぞれ、音声の影響を軽減するための逆信号を出力すること、および取得された音声を処理することを表す。

いくつかの実施の形態では、入力デバイスの外的要因（例えば、入力デバイスに置かれる表面や入力デバイスの持ち方等）に起因して発生する音声伝搬内の振動を表す追加的な伝達関数を持つ入力デバイスに関する伝達関数を生成するために、伝達関数生成プロセスが使われてもよい。いくつかの実施の形態では、ノイズキャンセルユニット１０３０は、特定の音に関連する音声の影響をより正確に表現するために、２つ以上の伝達関数を選び、これらを組み合わせる（または、これらを連続的に適用する）ように構成されてもよい。

ノイズキャンセルプロセスは、入力デバイスそのもので生成された音声をキャンセルするとは限らない。例えば、入力デバイスの外部の音の音声伝搬を表すために、入力デバイスに関する伝達関数が生成されてもよい。これは、入力デバイスの外部のマイクロホン（例えば、第２入力デバイス、具体的には、他のプレーヤーのコントローラや同じプレーヤーが使う第２デバイスなど）に対する音声の影響を評価することに使うことができる。この情報は、デバイス間のノイズのキャンセルに使うことができる。これにより、外部の音源（例えば、他の入力デバイス）に関するより正確なノイズキャンセルを実現することができる。

図１０の構成は、処理デバイスに関連する入力デバイスの音声伝搬特性を表す伝達関数を生成し、ノイズキャンセルプロセスを実行するように動作可能なプロセッサ（例えば、ゲームコンソールその他のコンピュータデバイス内に配置されたＧＰＵおよび／またはＣＰＵ）の例である。このプロセッサは、特に以下のように動作可能である。
・入力デバイスの１つ以上のパラメータを決定する。このパラメータは、入力デバイスに関連するマイクロホンの位置および入力デバイスに関連する１つ以上の入力／出力要素のそれぞれの位置を含む。
・各入力／出力要素とマイクロホンとの間の音声伝達の１つ以上の特性を決定する。この特性は、各入力および／または出力要素に関連する音声の減衰、共鳴および／または周波数プロファイルの変化を含む。
・決定された音声特性に応じて、伝達関数を生成する。
・生成された伝達関数に応じて、入力デバイスの１つ以上の入力および／または出力に対応する音声のノイズキャンセルプロセスを実行する。

上記の技術は、ハードウェア、ソフトウェアまたはそれらの組み合わせにより実現されてもよい。ソフトウェアで制御されたデータ処理装置は、本実施の形態の１つ以上の態様を実現する。このようなソフトウェアおよびこうしたソフトウェアを保存した非一時的記録媒体もまた、本開示の実施の形態に含まれる。

従って上記で議論された開示および説明は、本発明の典型的な実施の形態である。当業者には理解されるように、本発明は、その思想または必須の特徴から外れることなく、別の実施の形態で実現することもできる。従って本発明の開示は説明を意図したものであり、発明または請求項の範囲の限定を意図したものではない。本開示は、容易に認識可能な変形を含み、部分的には請求項の文言を定義し、発明的主題を公衆に献呈するものではない。

本開示の実施の形態は、以下の条項に従って実現される。
条項１
処理デバイスからの入力に応答して出力を生成するように動作する１つ以上の要素を備えたフィードバックデバイスと、
１つ以上の音声入力を取得するマイクロホンと、
前記処理デバイスから前記フィードバックデバイスへの１つ以上の入力を検出する入力検出ユニットと、
前記入力および対応する出力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成する応答生成ユニットと、
を備えることを特徴とするシステム。
条項２
前記マイクロホンは、前記フィードバックデバイスの一部であることを特徴とする条項１に記載のシステム。
条項３
前記要素は、１つ以上のスピーカおよび／または触覚フィードバックユニットを備えることを特徴とする条項１または２に記載のシステム。
条項４
前記入力検出ユニットは、対応する出力に相当する取得された音声を用いて入力を検出することを特徴とする条項１から３のいずれかに記載のシステム。
条項５
前記入力検出ユニットは、前記処理デバイスによって前記フィードバックデバイスに与えられた入力の中の制御信号に応じて、入力を検出することを特徴とする条項１から４のいずれかに記載のシステム。

条項６
前記応答生成ユニットは、前記フィードバックデバイスに関連するスピーカを用いて、出力に関する音声応答を生成することを特徴とする条項１から５のいずれかに記載のシステム。
条項７
前記応答生成ユニットは、前記マイクロホンによって取得された音声入力を修正する音声処理ユニットへの出力に関する音声応答を生成することを特徴とする条項１から６のいずれかに記載のシステム。
条項８
前記応答生成ユニットは、前記フィードバックデバイスの１つ以上の物理的特性に応じて、音声応答を生成することを特徴とする条項１から７のいずれかに記載のシステム。
条項９
前記物理的特性は、サイズ、形状、構造、材料、音響伝導性のいずれかを含むことを特徴とする条項８に記載のシステム。
条項１０
前記応答生成ユニットは、前記フィードバックデバイスの１つ以上の操作パラメータに応じて応答を生成し、
前記操作パラメータは、ユーザがどのように前記フィードバックデバイスを持つかを表すことを特徴とする条項１から９のいずれかに記載のシステム。

条項１１
前記入力検出ユニットは、前記処理デバイスに与えられ、入力が前記フィードバックデバイスに与えられる前に前記入力を検出することを特徴とする条項１から１０のいずれかに記載のシステム。
条項１２
検出された入力に対する応答が、前記検出された入力とともにフィードバックデバイスに与えられることを特徴とする条項１１に記載のシステム。
条項１３
処理デバイスからの入力に応答して出力を生成するように動作する１つ以上の要素を備えたフィードバックデバイスと、１つ以上の音声入力を取得するマイクロホンと、を備えたシステムを使用する方法であって、
前記処理デバイスから前記フィードバックデバイスへの１つ以上の入力を検出するステップと、
前記入力および対応する出力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成するステップと、
を含むことを特徴とする方法。
条項１４
コンピュータによって実行されたとき、条項１３の方法を前記コンピュータに実行させるコンピュータソフトウェア。
条項１５
条項１４に記載のコンピュータソフトウェアを記録した非一時的記録媒体。

Claims (14)

1. 処理デバイスからの入力に応答して出力を生成するように動作する１つ以上の要素を備えたフィードバックデバイスと、
   １つ以上の音声入力を取得するマイクロホンと、
   前記処理デバイスから前記フィードバックデバイスへの１つ以上の入力を検出する入力検出ユニットと、
   前記入力および対応する出力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成する応答生成ユニットと、
   を備えることを特徴とするシステム。
2. 前記マイクロホンは、前記フィードバックデバイスの一部であることを特徴とする請求項１に記載のシステム。
3. 前記要素は、１つ以上のスピーカおよび／または触覚フィードバックユニットを備えることを特徴とする請求項１に記載のシステム。
4. 前記入力検出ユニットは、対応する出力に相当する取得された音声を用いて入力を検出することを特徴とする請求項１に記載のシステム。
5. 前記入力検出ユニットは、前記処理デバイスによって前記フィードバックデバイスに与えられた入力の中の制御信号に応じて、入力を検出することを特徴とする請求項１に記載のシステム。
6. 前記応答生成ユニットは、前記フィードバックデバイスに関連するスピーカを用いて、出力に関する音声応答を生成することを特徴とする請求項１に記載のシステム。
7. 前記応答生成ユニットは、前記マイクロホンによって取得された音声入力を修正する音声処理ユニットへの出力に関する音声応答を生成することを特徴とする請求項１に記載のシステム。
8. 前記応答生成ユニットは、前記フィードバックデバイスの１つ以上の物理的特性に応じて、音声応答を生成することを特徴とする請求項１に記載のシステム。
9. 前記物理的特性は、サイズ、形状、構造、材料、音響伝導性のいずれかを含むことを特徴とする請求項８に記載のシステム。
10. 前記応答生成ユニットは、前記フィードバックデバイスの１つ以上の操作パラメータに応じて応答を生成し、
    前記操作パラメータは、ユーザがどのように前記フィードバックデバイスを持つかを表すことを特徴とする請求項１に記載のシステム。
11. 前記入力検出ユニットは、前記処理デバイスに与えられ、入力が前記フィードバックデバイスに与えられる前に前記入力を検出することを特徴とする請求項１に記載のシステム。
12. 検出された入力に対する応答が、前記検出された入力とともにフィードバックデバイスに与えられることを特徴とする請求項１１に記載のシステム。
13. 処理デバイスからの入力に応答して出力を生成するように動作する１つ以上の要素を備えたフィードバックデバイスと、１つ以上の音声入力を取得するマイクロホンと、を備えたシステムを使用する方法であって、
    前記処理デバイスから前記フィードバックデバイスへの１つ以上の入力を検出するステップと、
    前記入力および対応する出力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成するステップと、
    を含むことを特徴とする方法。
14. コンピュータソフトウェアを記録した非一時的記録媒体であって、
    前記コンピュータソフトウェアは、コンピュータによって実行されたとき、前記コンピュータに、処理デバイスからの入力に応答して出力を生成するように動作する１つ以上の要素を備えたフィードバックデバイスと、１つ以上の音声入力を取得するマイクロホンと、を備えたシステムを使用する方法を実行させ、
    前記方法は、
    処理デバイスからの入力に応答して出力を生成するように動作する１つ以上の要素を備えたフィードバックデバイスと、１つ以上の音声入力を取得するマイクロホンと、を備えたシステムを使用する方法であって、
    前記処理デバイスから前記フィードバックデバイスへの１つ以上の入力を検出するステップと、
    前記入力および対応する出力に関連する部品と前記マイクロホンとの距離に応じて、検出された入力への応答を生成するステップと、
    を含むことを特徴とする非一時的記録媒体。

Images