JP2017521902A5 - - Google Patents

Claims (67)

1. ウェアラブルデバイスであって、
   互いにある距離を空けて位置する２又はそれ以上のマイクロフォンを具えるマイクロフォンアレイであって、それぞれの前記マイクロフォンが、電気信号に音響信号を変換するよう構成された、マイクロフォンアレイと、
   第１の到来方向を有する音響信号に対応する第１の方向特定音声信号に、１又はそれ以上の前記マイクロフォンにより出力された電気信号を変換するよう構成された指向性音声ストリーム発生器（ＤＡＳＧ）と、
   前記ウェアラブルデバイスの正面に向けられた視野を有する光センサ及び前記光センサにより取得した光情報を処理する光情報処理回路を具える光学追跡システム（ＯＴＳ）であって、前記ＯＴＳが、（ａ）前記センサの視野内で音源の少なくとも１の光学的に検出可能な態様を識別し、（ｂ）前記音源の相対的方向を推定し、（ｃ）前記ＤＡＳＧによって使用される少なくとも１の方向パラメータを発生して、前記第１の方向特定音声信号を発生するよう構成された、光学追跡システムと、
   を具えることを特徴とするウェアラブルデバイス。
2. 請求項１に記載のデバイスにおいて、
   前記ＤＡＳＧが音響ビーム形成回路を有することを特徴とするデバイス。
3. 請求項２に記載のデバイスにおいて、
   前記音響ビーム形成回路がアナログであることを特徴とするデバイス。
4. 請求項２に記載のデバイスにおいて、
   前記ＤＡＳＧが少なくとも１のアナログデジタル変換器を有しており、前記音響ビーム形成回路がデジタルであることを特徴とするデバイス。
5. 請求項１に記載のデバイスにおいて、
   前記マイクロフォンの少なくともいくつかが指向性であり、前記ＤＡＳＧがマイクロフォン選択回路を有することを特徴とするデバイス。
6. 請求項５に記載のデバイスにおいて、
   前記ＤＡＳＧが少なくとも１のアナログデジタル変換器及びデジタル信号組み合わせ回路を有することを特徴とするデバイス。
7. 請求項６に記載のデバイスにおいて、
   前記デジタル電気信号組み合わせ回路がビーム形成機能を有することを特徴とするデバイス。
8. 請求項７に記載のデバイスにおいて、
   前記電気信号組み合わせ回路が背景雑音除去処理を有することを特徴とするデバイス。
9. 請求項１に記載のデバイスにおいて、
   前記ＯＴＳが少なくとも１の前方監視カメラを有しており、
   前記光処理回路が態様識別処理を有して、前記デバイスの正面に存在する物体又は人間の１又はそれ以上の態様を識別することを特徴とするデバイス。
10. 請求項９に記載のデバイスにおいて、
    前記１又はそれ以上の態様が、人間の胴部、人間の顔、人間の唇、映像表示デバイス、音声表示デバイス、及び任意の潜在的な音響信号源から成る群から選択されることを特徴とするデバイス。
11. 請求項１０に記載のデバイスにおいて、
    前記ＯＴＳがさらに、前記１又はそれ以上の識別された態様に対応する方向を示す方向パラメータを評価するための処理を有することを特徴とするデバイス。
12. 請求項１に記載のデバイスにおいて、
    前記ＯＴＳが、前記デバイスの装着者の眼の位置を追跡するための視線追跡装置を有することを特徴とするデバイス。
13. 請求項１２に記載のデバイスにおいて、
    前記ＯＴＳがさらに、前記追跡された眼の位置に対応する方向を示す方向パラメータを評価するための処理を有することを特徴とするデバイス。
14. 請求項１に記載のデバイスにおいて、
    さらに、１又はそれ以上の音声スピーカを有する音声レンダリングアッセンブリと、前記１又はそれ以上のスピーカのそれぞれを駆動するよう構成された音声信号発生器とを具えることを特徴とするデバイス。
15. 請求項１４に記載のデバイスにおいて、
    前記音声信号発生器が、前記第１の方向特定音声信号に基づいて１又はそれ以上の音声信号を発生させるよう構成されていることを特徴とするデバイス。
16. 請求項１５に記載のデバイスにおいて、
    前記音声信号発生器が、２つのスピーカのそれぞれについて別々の音声信号を発生させるよう構成されており、
    前記別々の信号間の相対音量及び相対遅延が、前記第１の方向の音響信号の到来に基づいていることを特徴とするデバイス。
17. 請求項１４に記載のデバイスにおいて、
    前記音声信号発生器が、背景雑音抑制回路を有することを特徴とするデバイス。
18. 請求項１４に記載のデバイスにおいて、
    前記音声信号発生器が、特定の耳の周波数感度に基づいて音声信号に適応するよう構成された耳の特定信号カスタム回路を有することを特徴とするデバイス。
19. 請求項１に記載のデバイスにおいて、
    前記ＯＴＳが、
    （１）前記デバイスと識別された態様との間の相対的方向の変化を追跡し、
    （２）前記ＤＡＳＧによって使用される前記少なくとも１の方向パラメータを更新して、音声データの第１のストリームを発生させる、
    よう構成されていることを特徴とするデバイス。
20. 請求項１９に記載のデバイスにおいて、
    前記ＯＴＳが、２又はそれ以上の識別された態様を追跡し、前記２又はそれ以上の識別された態様のそれぞれについての別々の方向パラメータを発生させるよう構成されていることを特徴とするデバイス。
21. 請求項２０に記載のデバイスにおいて、
    さらに、識別された態様のいずれについて方向特定音声信号が発生するのかを装着者が選択し得るよう構成されたユーザインタフェース回路を具えることを特徴とするデバイス。
22. 請求項２１に記載のデバイスにおいて、
    前記インタフェース回路が、（１）機能的に関連するタッチスクリーン、及び（２）頭部装着型光ディスプレイから成る群から選択されるディスプレイを有することを特徴とするデバイス。
23. 音声取得デバイスであって、
    互いにある距離を空けて位置する２又はそれ以上のマイクロフォンを具えるマイクロフォンアレイであって、それぞれの前記マイクロフォンが、電気信号に音響信号を変換するよう構成された、マイクロフォンアレイと、
    第１の到来方向を有する音響信号に対応する第１の方向特定音声信号に、１又はそれ以上の前記マイクロフォンにより出力された電気信号を変換するよう構成された指向性音声ストリーム発生器（ＤＡＳＧ）と、
    光センサ及び前記光センサにより取得した光情報を処理する光情報処理回路を具える光学追跡システム（ＯＴＳ）であって、前記ＯＴＳが、（ａ）前記センサの視野内で音源の少なくとも１の光学的に検出可能な態様を識別し、（ｂ）前記音源の相対的方向を推定し、（ｃ）前記ＤＡＳＧによって使用される少なくとも１の方向パラメータを発生して、前記第１の方向特定音声信号を発生するよう構成された、光学追跡システムと、
    を具えることを特徴とする音声取得デバイス。
24. 請求項２３に記載のデバイスにおいて、
    前記ＤＡＳＧが音響ビーム形成回路を有することを特徴とするデバイス。
25. 請求項２４に記載のデバイスにおいて、
    前記音響ビーム形成回路がアナログであることを特徴とするデバイス。
26. 請求項２４に記載のデバイスにおいて、
    前記ＤＡＳＧが少なくとも１のアナログデジタル変換器を有しており、前記音響ビーム形成回路がデジタルであることを特徴とするデバイス。
27. 請求項２３に記載のデバイスにおいて、
    前記マイクロフォンの少なくともいくつかが指向性であり、前記ＤＡＳＧがマイクロフォン選択回路を有することを特徴とするデバイス。
28. 請求項２７に記載のデバイスにおいて、
    前記ＤＡＳＧが少なくとも１のアナログデジタル変換器及びデジタル信号組み合わせ回路を有することを特徴とするデバイス。
29. 請求項２８に記載のデバイスにおいて、
    前記デジタル電気信号組み合わせ回路がビーム形成機能を有することを特徴とするデバイス。
30. 請求項２９に記載のデバイスにおいて、
    前記電気信号組み合わせ回路が背景雑音除去処理を有することを特徴とするデバイス。
31. 請求項２３に記載のデバイスにおいて、
    前記ＯＴＳが少なくとも１の前方監視カメラを有しており、
    前記光処理回路が態様識別処理を有して、前記デバイスの正面に存在する物体又は人間の１又はそれ以上の態様を識別することを特徴とするデバイス。
32. 請求項３１に記載のデバイスにおいて、
    前記１又はそれ以上の態様が、人間の胴部、人間の顔、人間の唇、映像表示デバイス、音声表示デバイス、及び任意の潜在的な音響信号源から成る群から選択されることを特徴とするデバイス。
33. 請求項３２に記載のデバイスにおいて、
    前記ＯＴＳがさらに、前記１又はそれ以上の識別された態様に対応する方向を示す方向パラメータを評価するための処理を有することを特徴とするデバイス。
34. 請求項２３に記載のデバイスにおいて、
    前記ＯＴＳが、前記デバイスの装着者の眼の位置を追跡するための視線追跡装置を有することを特徴とするデバイス。
35. 請求項３４に記載のデバイスにおいて、
    前記ＯＴＳがさらに、前記追跡された眼の位置に対応する方向を示す方向パラメータを評価するための処理を有することを特徴とするデバイス。
36. 請求項２３に記載のデバイスにおいて、
    さらに、１又はそれ以上の音声スピーカを有する音声レンダリングアッセンブリと、前記１又はそれ以上のスピーカのそれぞれを駆動するよう構成された音声信号発生器とを具えることを特徴とするデバイス。
37. 請求項３６に記載のデバイスにおいて、
    前記音声信号発生器が、前記第１の方向特定音声信号に基づいて１又はそれ以上の音声信号を発生させるよう構成されていることを特徴とするデバイス。
38. 請求項３７に記載のデバイスにおいて、
    前記音声信号発生器が、２つのスピーカのそれぞれについて別々の音声信号を発生させるよう構成されており、
    前記別々の信号間の相対音量及び相対遅延が、前記第１の方向の音響信号の到来に基づいていることを特徴とするデバイス。
39. 請求項３６に記載のデバイスにおいて、
    前記音声信号発生器が、背景雑音抑制回路を有することを特徴とするデバイス。
40. 請求項２３に記載のデバイスにおいて、
    前記ＯＴＳが、
    （１）前記デバイスと識別された態様との間の相対的方向の変化を追跡し、
    （２）前記ＤＡＳＧによって使用される前記少なくとも１の方向パラメータを更新して、音声データの第１のストリームを発生させる、
    よう構成されていることを特徴とするデバイス。
41. 請求項４０に記載のデバイスにおいて、
    前記ＯＴＳが、２又はそれ以上の識別された態様を追跡し、前記２又はそれ以上の識別された態様のそれぞれについての別々の方向パラメータを発生させるよう構成されていることを特徴とするデバイス。
42. 請求項４１に記載のデバイスにおいて、
    さらに、識別された態様のいずれについて方向特定音声信号が発生するのかをユーザが選択し得るよう構成されたユーザインタフェース回路を具えることを特徴とするデバイス。
43. 請求項４２に記載のデバイスにおいて、
    前記インタフェース回路が、（１）機能的に関連するタッチスクリーン、及び（２）頭部装着型光ディスプレイから成る群から選択されるディスプレイを有することを特徴とするデバイス。
44. 音声取得デバイスであって、
    互いにある距離を空けて位置する２又はそれ以上のマイクロフォンを具えるマイクロフォンアレイであって、それぞれの前記マイクロフォンが、電気信号に音響信号を変換するよう構成された、マイクロフォンアレイと、
    第１の到来方向を有する音響信号に対応する第１の方向特定音声信号に、１又はそれ以上の前記マイクロフォンにより出力された電気信号を変換するよう構成された指向性音声ストリーム発生器（ＤＡＳＧ）と、
    （ａ）音源から反射した電磁エネルギを検出するよう構成されたセンサ及び（ｂ）検出に応答して前記センサにより発生した信号を処理する信号処理回路を具える追跡システムであって、前記追跡システムが、（ｉ）前記センサのカバー範囲内で音源の少なくとも１の態様を識別し、（ｉｉ）前記音源の相対的方向を推定し、（ｉｉｉ）前記ＤＡＳＧによって使用される少なくとも１の方向パラメータを発生して、前記第１の方向特定音声信号を発生するよう構成された、追跡システムと、
    を具えることを特徴とする音声取得デバイス。
45. 請求項４４に記載のデバイスにおいて、
    前記ＤＡＳＧが音響ビーム形成回路を有することを特徴とするデバイス。
46. 請求項４４に記載のデバイスにおいて、
    前記マイクロフォンの少なくともいくつかが指向性であり、前記ＤＡＳＧがマイクロフォン選択回路を有することを特徴とするデバイス。
47. 請求項４４に記載のデバイスにおいて、
    前記ＤＡＳＧがデジタル信号組み合わせ回路を有することを特徴とするデバイス。
48. 請求項４７に記載のデバイスにおいて、
    前記デジタル電気信号組み合わせ回路がビーム形成機能を有することを特徴とするデバイス。
49. 請求項４８に記載のデバイスにおいて、
    前記電気信号組み合わせ回路が背景雑音除去処理を有することを特徴とするデバイス。
50. 請求項４４に記載のデバイスにおいて、
    前記センサが少なくとも１の前方監視受信部を有しており、
    前記処理回路が態様識別処理を有して、前記デバイスの正面に存在する物体又は人間の１又はそれ以上の態様を識別することを特徴とするデバイス。
51. 請求項５０に記載のデバイスにおいて、
    前記１又はそれ以上の態様が、人間の胴部、及び人間の頭から成る群から選択されることを特徴とするデバイス。
52. 請求項４４に記載のデバイスにおいて、
    前記追跡システムが、
    （１）前記デバイスと識別された態様との間の相対的方向の変化を追跡し、
    （２）前記ＤＡＳＧによって使用される前記少なくとも１の方向パラメータを更新して、音声データの第１のストリームを発生させる、
    よう構成されていることを特徴とするデバイス。
53. 請求項４４に記載のデバイスにおいて、
    方向特定音声信号内の音声をテキストに変換するよう構成された音声テキスト変換エンジンを更に具えることを特徴とするデバイス。
54. ネットワーク化した音声取得システムであって、
    互いにある距離を空けて位置する２又はそれ以上のマイクロフォンを具えるマイクロフォンアレイであって、それぞれの前記マイクロフォンが、電気信号に音響信号を変換するよう構成された、マイクロフォンアレイと、
    第１の到来方向を有する音響信号に対応する第１の方向特定音声信号に、１又はそれ以上の前記マイクロフォンにより出力された電気信号を変換するよう構成された指向性音声ストリーム発生器（ＤＡＳＧ）と、
    （ａ）音源から反射した電磁エネルギを検出するよう構成されたセンサ及び（ｂ）検出に応答して前記センサにより発生した信号を処理する信号処理回路を具える追跡システムであって、前記追跡システムが、（ｉ）前記センサのカバー範囲内で音源の少なくとも１の態様を識別し、（ｉｉ）前記音源の相対的方向を推定し、（ｉｉｉ）前記ＤＡＳＧによって使用される少なくとも１の方向パラメータを発生して、前記第１の方向特定音声信号を発生するよう構成された、追跡システムと、
    前記第１の方向特定音声信号を外部のコンピューティングデバイスに送信するよう構成されたワイヤレスネットワーク回路と、
    を具えることを特徴とするネットワーク化した音声取得システム。
55. 請求項５４に記載のデバイスにおいて、
    前記ＤＡＳＧが音響ビーム形成回路を有することを特徴とするデバイス。
56. 請求項５４に記載のデバイスにおいて、
    前記マイクロフォンの少なくともいくつかが指向性であり、前記ＤＡＳＧがマイクロフォン選択回路を有することを特徴とするデバイス。
57. 請求項５４に記載のデバイスにおいて、
    前記ＤＡＳＧがデジタル信号組み合わせ回路を有することを特徴とするデバイス。
58. 請求項５７に記載のデバイスにおいて、
    前記デジタル電気信号組み合わせ回路がビーム形成機能を有することを特徴とするデバイス。
59. 請求項５８に記載のデバイスにおいて、
    前記電気信号組み合わせ回路が背景雑音除去処理を有することを特徴とするデバイス。
60. 請求項５４に記載のデバイスにおいて、
    前記センサが少なくとも１の前方監視レシーバを有しており、
    前記処理回路が態様識別処理を有して、前記デバイスの正面に存在する物体又は人間の１又はそれ以上の態様を識別することを特徴とするデバイス。
61. 請求項６０に記載のデバイスにおいて、
    前記１又はそれ以上の態様が、人間の胴部、及び人間の頭から成る群から選択されることを特徴とするデバイス。
62. 請求項５４に記載のデバイスにおいて、
    前記追跡システムが、
    （１）前記デバイスと識別された態様との間の相対的方向の変化を追跡し、
    （２）前記ＤＡＳＧによって使用される前記少なくとも１の方向パラメータを更新して、音声データの第１のストリームを発生させる、
    よう構成されていることを特徴とするデバイス。
63. 請求項５４に記載のデバイスにおいて、方向特定音声信号内の音声をテキストに変換するよう構成された音声テキスト変換エンジンを更に具えることを特徴とするデバイス。
64. 方向特定音声信号を発生する方法であって、
    音源から反射した電磁エネルギを検出するステップと、
    前記音源の相対的方向を推定するステップと、
    互いにある距離を空けて位置する２又はそれ以上のマイクロフォンにおいて、音響信号を電気信号に変換するステップと、
    変換された音響信号から方向特定音声信号を発生するのに用いられる少なくとも１の方向パラメータを発生するステップと、
    を具えることを特徴とする方法。
65. 請求項６４に記載の方法において、
    方向特定音声信号を発生するステップが、音響的にビーム形成するステップを有することを特徴とする方法。
66. 請求項６４に記載の方法において、
    方向特定音声信号を発生するステップが、指向性マイクロフォンのセットのなかから１又はそれ以上を選択するステップを有することを特徴とする方法。
67. 請求項６４に記載の方法において、
    方向特定音声信号内に存在する音声信号について音声テキスト変換を行うステップを更に具えることを特徴とする方法。