JP2016512364A - ジェスチャを使用して処理モードを切り替えるためのシステムおよび方法 - Google Patents
ジェスチャを使用して処理モードを切り替えるためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2016512364A JP2016512364A JP2016502091A JP2016502091A JP2016512364A JP 2016512364 A JP2016512364 A JP 2016512364A JP 2016502091 A JP2016502091 A JP 2016502091A JP 2016502091 A JP2016502091 A JP 2016502091A JP 2016512364 A JP2016512364 A JP 2016512364A
- Authority
- JP
- Japan
- Prior art keywords
- detected
- gesture
- acoustic waveform
- mode
- touchless
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000009471 action Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 88
- 230000008569 process Effects 0.000 claims description 55
- 230000015654 memory Effects 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000003139 buffering effect Effects 0.000 claims 2
- 230000000875 corresponding effect Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 14
- 230000003213 activating effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 229920001621 AMOLED Polymers 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
Description
102 ネットワークインターフェース構成要素
104 システムバス、バス
106 処理構成要素
108 システムメモリ構成要素、メモリ
110 内部メモリ構成要素、メモリ
112 外部またはスタティックメモリ、メモリ
114 ディスプレイ構成要素
116 入力およびナビゲーション制御構成要素、入力およびナビゲーション構成要素
118 マイクロフォン
120 ユーザ
122 ジェスチャ検出センサ、センサ
124 システムクロック
Claims (36)
- 検出された音響波形を第1のモードおよび第2のモードで処理するためのシステムであって、
音響波形を検出するように構成されたマイクロフォンと、
タッチレスジェスチャを検出するように構成されたジェスチャ検出センサと、
前記マイクロフォンによって検出された音響波形および前記ジェスチャ検出センサによって検出されたタッチレスジェスチャにタイムスタンプを提供するように構成されたシステムクロックと、
前記マイクロフォンによって検出された音響波形を、前記検出された音響波形のタイムスタンプおよび前記ジェスチャ検出センサによって検出されたタッチレスジェスチャのタイムスタンプがほぼ一致するときに、前記第2のモードで選択的に処理するように構成された1つまたは複数のプロセッサと
を含むシステム。 - 前記1つまたは複数のプロセッサは、検出された音響波形のタイムスタンプおよび検出されたタッチレスジェスチャのタイムスタンプが一致しないとき、またはジェスチャが検出されていないときに、検出された音響波形を前記第1のモードで処理するようにさらに構成される、請求項1に記載のシステム。
- 前記第1のモードで処理される検出された音響波形に関する第1の意味および前記第2のモードで処理されるいくつかの検出された音響波形に関する第2の意味を記憶するメモリをさらに含む、請求項1に記載のシステム。
- 前記第2の意味は、コマンド、句読点、およびアクションのうちの少なくとも1つを含む、請求項3に記載のシステム。
- 前記第1の意味は、検出された音響波形に関連するテキストを含む、請求項4に記載のシステム。
- 前記ジェスチャ検出センサは、カメラ、超音波トランスデューサ、影検出器、および赤外線センサのうちの少なくとも1つを含む、請求項1に記載のシステム。
- ディスプレイをさらに含み、前記ディスプレイは、前記検出された音響波形が前記第2のモードで処理されているときに示すフィードバックを表示するように構成される、請求項1に記載のシステム。
- 前記ジェスチャ検出センサは、少なくとも第1のタッチレスジェスチャおよび第2のタッチレスジェスチャを検出するように構成され、前記1つまたは複数のプロセッサは、
前記マイクロフォンによって検出された音響波形を、前記検出された音響波形のタイムスタンプおよび前記ジェスチャ検出センサによって検出された前記第1のタッチレスジェスチャのタイムスタンプがほぼ一致するときに、前記第2のモードで処理し、
前記マイクロフォンによって検出された音響波形を、前記検出された音響波形のタイムスタンプおよび前記ジェスチャ検出センサによって検出された前記第2のタッチレスジェスチャのタイムスタンプがほぼ一致するときに、第3のモードで処理する
ようにさらに構成される、請求項1に記載のシステム。 - 前記ジェスチャ検出センサは、複数のタッチレスジェスチャを検出するように構成され、前記複数のタッチレスジェスチャの各々は、複数のモードのそれぞれのモードに対応し、前記1つまたは複数のプロセッサは、前記マイクロフォンによって検出された音響波形を、前記検出された音響波形のタイムスタンプが前記ジェスチャ検出センサによって検出された前記複数のタッチレスジェスチャのうちの1つのジェスチャのタイムスタンプとほぼ一致するときに、選択的に処理するように構成され、前記選択的な処理は、前記1つのジェスチャに対応する前記複数のモードのうちのモードで処理することを含む、請求項1に記載のシステム。
- 前記検出された音響波形をバッファリングするように構成されたバッファをさらに含み、前記検出された音響波形は、前記ジェスチャ検出センサによって検出された前記タッチレスジェスチャに基づいて処理するために前記バッファから前記1つまたは複数のプロセッサに提供される、請求項1に記載のシステム。
- 前記1つまたは複数のプロセッサは、前記マイクロフォンが音響波形を検出したときに、前記ジェスチャ検出センサとともに使用するジェスチャ検出手順を有効にするように構成される、請求項1に記載のシステム。
- 前記ジェスチャ検出センサは、前記検出された音響波形が人間の音声であると判断されるまで非アクティブである、請求項11に記載のシステム。
- 検出された音響波形を第1のモードおよび第2のモードで処理するための方法であって、
マイクロフォンによって、音響波形入力を検出するステップと、
前記音響波形入力にタイムスタンプするステップと、
タッチレスジェスチャを検出するステップと、
前記検出されたタッチレスジェスチャにタイムスタンプするステップと、
前記マイクロフォンに結合された1つまたは複数のプロセッサによって、前記音響波形入力の前記タイムスタンプが前記検出されたタッチレスジェスチャの前記タイムスタンプとほぼ一致するときに、前記音響波形入力を前記第2のモードで選択的に処理するステップと
を含む方法。 - タッチレスジェスチャがこれ以上検出されなくなったときにタイムスタンプするステップと、
タッチレスジェスチャがこれ以上検出されなくなったときの前記タイムスタンプの頃から、前記音響波形入力を前記第1のモードで処理するステップと
をさらに含む、請求項13に記載の方法。 - タッチレスジェスチャが検出されていない場合に、前記音響波形入力を前記第1のモードで処理するステップ
をさらに含む、請求項13に記載の方法。 - 前記音響波形入力を第2のモードで処理するステップは、前記音響波形入力を、前記第1のモードに対応する第1の意味とは異なる意味と相関させるステップを含む、請求項13に記載の方法。
- 前記第1の意味とは異なる前記意味は、コマンド、句読点、およびアクションのうちの少なくとも1つを含む、請求項16に記載の方法。
- 前記第1の意味は、前記音響波形入力に関連するテキストを含む、請求項17に記載の方法。
- タッチレスジェスチャが実行されたかどうかを検出するステップは、タッチレスジェスチャがカメラ、超音波トランスデューサ、影検出器、および赤外線センサのうちの少なくとも1つを使用して実行されたかどうかを検出するステップを含む、請求項13に記載の方法。
- 前記音響波形入力を前記第2のモードで処理するステップは、前記音響波形入力が前記第2のモードで処理されていることを示す音響または視覚フィードバックを生成するステップを含む、請求項13に記載の方法。
- タッチレスジェスチャを検出するステップは、少なくとも第1のタッチレスジェスチャおよび第2のタッチレスジェスチャを検出するステップを含み、前記方法は、
前記音響波形入力の前記タイムスタンプが前記検出された第1のタッチレスジェスチャの前記タイムスタンプとほぼ一致するときに、前記音響波形入力を前記第2のモードで処理するステップと、
前記音響波形入力の前記タイムスタンプが前記検出された第2のタッチレスジェスチャの前記タイムスタンプとほぼ一致するときに、前記音響波形入力を第3のモードで処理するステップと
をさらに含む、請求項13に記載の方法。 - タッチレスジェスチャを検出するステップは、複数のタッチレスジェスチャのうちの1つのジェスチャを検出するステップを含み、前記複数のタッチレスジェスチャの各々は、複数のモードのそれぞれのモードに対応し、前記音響波形入力の前記タイムスタンプは、前記1つのジェスチャの前記タイムスタンプとほぼ一致し、選択的に処理するステップは、前記音響波形入力を、前記1つのジェスチャに対応する前記複数のモードのうちのモードで選択的に処理するステップを含む、請求項13に記載の方法。
- 前記音響波形入力をバッファリングするステップと、
前記タッチレスジェスチャが検出されたときに、前記バッファリングされた音響波形入力を提供するステップと
をさらに含む、請求項13に記載の方法。 - 前記マイクロフォンが前記音響波形入力を検出したことに応答して、ジェスチャ検出手順を有効にするステップをさらに含む、請求項13に記載の方法。
- 1つまたは複数のプロセッサによって実行されたときに、前記1つまたは複数のプロセッサに、検出された音響波形を第1のモードおよび第2のモードで処理するための方法を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記方法は、
音響波形入力を検出するステップと、
前記音響波形入力にタイムスタンプするステップと、
タッチレスジェスチャを検出するステップと、
前記検出されたタッチレスジェスチャにタイムスタンプするステップと、
前記音響波形入力の前記タイムスタンプが前記検出されたタッチレスジェスチャの前記タイムスタンプとほぼ一致するときに、前記音響波形入力を前記第2のモードで選択的に処理するステップと
を含む、非一時的コンピュータ可読媒体。 - 検出された音響波形を第1のモードおよび第2のモードで処理するためのシステムであって、
音響波形入力を検出し、前記音響波形入力にタイムスタンプするための手段と、
タッチレスジェスチャを検出し、前記検出されたタッチレスジェスチャにタイムスタンプするための手段と、
前記音響波形入力の前記タイムスタンプが前記検出されたタッチレスジェスチャの前記タイムスタンプとほぼ一致するときに、前記音響波形入力を前記第2のモードで選択的に処理するための手段と
を含むシステム。 - タッチレスジェスチャを検出するための前記手段は、タッチレスジェスチャが検出されなくなったときにタイムスタンプし、選択的に処理するための前記手段は、タッチレスジェスチャがこれ以上検出されなくなったときの前記タイムスタンプの頃から、前記音響波形入力を前記第1のモードで処理する、請求項26に記載のシステム。
- 選択的に処理するための前記手段は、タッチレスジェスチャが検出されていない場合に、前記音響波形入力を前記第1のモードで処理する、請求項26に記載のシステム。
- 選択的に処理するための前記手段は、前記音響波形入力を、前記第1のモードに対応する第1の意味とは異なる第2の意味と相関させることによって、前記音響波形入力を前記第2のモードで処理する、請求項26に記載のシステム。
- 前記第1の意味とは異なる前記第2の意味は、コマンド、句読点、およびアクションのうちの少なくとも1つを含む、請求項29に記載のシステム。
- 前記第1の意味は、前記音響波形入力に関連するテキストを含む、請求項30に記載のシステム。
- タッチレスジェスチャを検出するための前記手段は、カメラ、超音波トランスデューサ、影検出器、および赤外線センサのうちの少なくとも1つを含む、請求項26に記載のシステム。
- 選択的に処理するための前記手段は、前記音響波形入力が前記第2のモードで処理されていることを示す音響または視覚フィードバックを生成する、請求項26に記載のシステム。
- タッチレスジェスチャを検出するための前記手段は、少なくとも第1のタッチレスジェスチャおよび第2のタッチレスジェスチャを検出するための手段を含み、選択的に処理するための前記手段は、
前記音響波形入力の前記タイムスタンプが前記検出された第1のタッチレスジェスチャの前記タイムスタンプとほぼ一致するときに、前記音響波形入力を前記第2のモードで処理するための手段と、
前記音響波形入力の前記タイムスタンプが前記検出された第2のタッチレスジェスチャの前記タイムスタンプとほぼ一致するときに、前記音響波形入力を第3のモードで処理するための手段と
を含む、請求項26に記載のシステム。 - タッチレスジェスチャを検出するための前記手段は、複数のタッチレスジェスチャのうちの1つのジェスチャを検出するための手段を含み、前記複数のタッチレスジェスチャの各々は、複数のモードのそれぞれのモードに対応し、前記音響波形入力の前記タイムスタンプは、前記1つのジェスチャの前記タイムスタンプとほぼ一致し、選択的に処理するための前記手段は、前記音響波形入力を、前記1つのジェスチャに対応する前記複数のモードのうちのモードで選択的に処理するための手段を含む、請求項26に記載のシステム。
- 前記音響波形入力をバッファリングし、タッチレスジェスチャを検出するための前記手段がタッチレスジェスチャを検出したときに、前記バッファリングされた音響波形入力を、選択的に処理するための前記手段に提供するための手段
をさらに含む、請求項26に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/835,234 | 2013-03-15 | ||
US13/835,234 US9436287B2 (en) | 2013-03-15 | 2013-03-15 | Systems and methods for switching processing modes using gestures |
PCT/US2014/026273 WO2014151702A1 (en) | 2013-03-15 | 2014-03-13 | Systems and methods for switching processing modes using gestures |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016512364A true JP2016512364A (ja) | 2016-04-25 |
JP2016512364A5 JP2016512364A5 (ja) | 2016-12-15 |
JP6072344B2 JP6072344B2 (ja) | 2017-02-01 |
Family
ID=50514046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016502091A Expired - Fee Related JP6072344B2 (ja) | 2013-03-15 | 2014-03-13 | ジェスチャを使用して処理モードを切り替えるためのシステムおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9436287B2 (ja) |
EP (1) | EP2973549B1 (ja) |
JP (1) | JP6072344B2 (ja) |
KR (1) | KR101748316B1 (ja) |
CN (1) | CN105074817B (ja) |
WO (1) | WO2014151702A1 (ja) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US10163455B2 (en) * | 2013-12-03 | 2018-12-25 | Lenovo (Singapore) Pte. Ltd. | Detecting pause in audible input to device |
US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
KR20170014589A (ko) * | 2015-07-30 | 2017-02-08 | 삼성전자주식회사 | 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법 |
US9978370B2 (en) * | 2015-07-31 | 2018-05-22 | Lenovo (Singapore) Pte. Ltd. | Insertion of characters in speech recognition |
US9678954B1 (en) * | 2015-10-29 | 2017-06-13 | Google Inc. | Techniques for providing lexicon data for translation of a single word speech input |
JP2017117371A (ja) * | 2015-12-25 | 2017-06-29 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 制御方法、制御装置およびプログラム |
WO2018022597A1 (en) | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | Methods and apparatus for inferring user intent based on neuromuscular signals |
US20200073483A1 (en) | 2018-08-31 | 2020-03-05 | Ctrl-Labs Corporation | Camera-guided interpretation of neuromuscular signals |
US10489986B2 (en) | 2018-01-25 | 2019-11-26 | Ctrl-Labs Corporation | User-controlled tuning of handstate representation model parameters |
US11331045B1 (en) | 2018-01-25 | 2022-05-17 | Facebook Technologies, Llc | Systems and methods for mitigating neuromuscular signal artifacts |
US11337652B2 (en) | 2016-07-25 | 2022-05-24 | Facebook Technologies, Llc | System and method for measuring the movements of articulated rigid bodies |
US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
CN110312471B (zh) | 2016-07-25 | 2022-04-29 | 脸谱科技有限责任公司 | 从神经肌肉活动测量中导出控制信号的自适应系统 |
US11216069B2 (en) * | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
CN110300542A (zh) | 2016-07-25 | 2019-10-01 | 开创拉布斯公司 | 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置 |
JP2018074366A (ja) * | 2016-10-28 | 2018-05-10 | 京セラ株式会社 | 電子機器、制御方法およびプログラム |
CN106504755A (zh) * | 2016-11-08 | 2017-03-15 | 广东小天才科技有限公司 | 一种错误发音的识别方法及装置、用户终端 |
CN106886286B (zh) * | 2017-03-22 | 2023-11-24 | 广州幻境科技有限公司 | 一种基于光电感应的手势识别装置及方法 |
TWI653550B (zh) * | 2017-07-06 | 2019-03-11 | 鴻海精密工業股份有限公司 | 電子裝置及電子裝置的顯示控制方法 |
CN109213312B (zh) * | 2017-07-06 | 2022-01-25 | 富泰华工业(深圳)有限公司 | 电子装置及电子装置的显示控制方法 |
US20190013016A1 (en) * | 2017-07-07 | 2019-01-10 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Converting speech to text and inserting a character associated with a gesture input by a user |
CN107564526B (zh) * | 2017-07-28 | 2020-10-27 | 北京搜狗科技发展有限公司 | 处理方法、装置和机器可读介质 |
US11567573B2 (en) | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
US11069148B2 (en) | 2018-01-25 | 2021-07-20 | Facebook Technologies, Llc | Visualization of reconstructed handstate information |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
EP3742961A4 (en) | 2018-01-25 | 2021-03-31 | Facebook Technologies, Inc. | CALIBRATION TECHNIQUES FOR MODELING A HAND CONDITION USING NEUROMUSCULAR SIGNALS |
WO2019148002A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Techniques for anonymizing neuromuscular signal data |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US10460455B2 (en) | 2018-01-25 | 2019-10-29 | Ctrl-Labs Corporation | Real-time processing of handstate representation model estimates |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
EP3743790A4 (en) | 2018-01-25 | 2021-03-17 | Facebook Technologies, Inc. | RECONSTRUCTION OF HAND STATE ON THE BASIS OF MULTIPLE ENTRIES |
US10592001B2 (en) * | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
WO2019226259A1 (en) | 2018-05-25 | 2019-11-28 | Ctrl-Labs Corporation | Methods and apparatus for providing sub-muscular control |
WO2019231911A1 (en) | 2018-05-29 | 2019-12-05 | Ctrl-Labs Corporation | Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods |
CN112585600A (zh) | 2018-06-14 | 2021-03-30 | 脸谱科技有限责任公司 | 使用神经肌肉标记进行用户识别和认证 |
US11172293B2 (en) * | 2018-07-11 | 2021-11-09 | Ambiq Micro, Inc. | Power efficient context-based audio processing |
WO2020018892A1 (en) | 2018-07-19 | 2020-01-23 | Ctrl-Labs Corporation | Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device |
CN112566553A (zh) | 2018-08-13 | 2021-03-26 | 脸谱科技有限责任公司 | 实时尖峰检测和识别 |
CN112771478A (zh) | 2018-09-26 | 2021-05-07 | 脸谱科技有限责任公司 | 对环境中的物理对象的神经肌肉控制 |
CN112822992A (zh) | 2018-10-05 | 2021-05-18 | 脸谱科技有限责任公司 | 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互 |
CN113423341A (zh) | 2018-11-27 | 2021-09-21 | 脸谱科技有限责任公司 | 用于可穿戴电极传感器系统的自动校准的方法和装置 |
US10905383B2 (en) | 2019-02-28 | 2021-02-02 | Facebook Technologies, Llc | Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces |
CN110164440B (zh) * | 2019-06-03 | 2022-08-09 | 交互未来(北京)科技有限公司 | 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质 |
CN112309180A (zh) * | 2019-08-30 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 文本处理方法、装置、设备及介质 |
US20210225377A1 (en) * | 2020-01-17 | 2021-07-22 | Verbz Labs Inc. | Method for transcribing spoken language with real-time gesture-based formatting |
US11670293B2 (en) * | 2020-09-02 | 2023-06-06 | Google Llc | Arbitrating between multiple potentially-responsive electronic devices |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
US11908475B1 (en) * | 2023-02-10 | 2024-02-20 | Cephable Inc. | Systems, methods and non-transitory computer readable media for human interface device accessibility |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0883158A (ja) * | 1994-09-14 | 1996-03-26 | Canon Inc | 情報処理方法及び装置 |
JPH1173297A (ja) * | 1997-08-29 | 1999-03-16 | Hitachi Ltd | 音声とジェスチャによるマルチモーダル表現の時間的関係を用いた認識方法 |
WO2000019307A1 (fr) * | 1998-09-25 | 2000-04-06 | Hitachi, Ltd. | Procede et dispositif d'interaction de traitement |
JP2004510239A (ja) * | 2000-09-20 | 2004-04-02 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ディクテーションとコマンドの区別を向上させる方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7369997B2 (en) * | 2001-08-01 | 2008-05-06 | Microsoft Corporation | Controlling speech recognition functionality in a computing device |
US7716058B2 (en) | 2001-09-05 | 2010-05-11 | Voice Signal Technologies, Inc. | Speech recognition using automatic recognition turn off |
US7260529B1 (en) | 2002-06-25 | 2007-08-21 | Lengen Nicholas D | Command insertion system and method for voice recognition applications |
US8952895B2 (en) * | 2011-06-03 | 2015-02-10 | Apple Inc. | Motion-based device operations |
US8022989B2 (en) * | 2005-08-17 | 2011-09-20 | Palo Alto Research Center Incorporated | Method and apparatus for controlling data delivery with user-maintained modes |
US8886521B2 (en) | 2007-05-17 | 2014-11-11 | Redstart Systems, Inc. | System and method of dictation for a speech recognition command system |
DE102008051756A1 (de) * | 2007-11-12 | 2009-05-14 | Volkswagen Ag | Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen |
JP2012502325A (ja) | 2008-09-10 | 2012-01-26 | ジュンヒュン スン | デバイスインターフェイシングのための多重モード調音統合 |
US9123341B2 (en) * | 2009-03-18 | 2015-09-01 | Robert Bosch Gmbh | System and method for multi-modal input synchronization and disambiguation |
US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
JP5413673B2 (ja) | 2010-03-08 | 2014-02-12 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US20110311144A1 (en) * | 2010-06-17 | 2011-12-22 | Microsoft Corporation | Rgb/depth camera for improving speech recognition |
US20120239396A1 (en) | 2011-03-15 | 2012-09-20 | At&T Intellectual Property I, L.P. | Multimodal remote control |
WO2012135157A2 (en) * | 2011-03-31 | 2012-10-04 | Microsoft Corporation | Task driven user intents |
US8255218B1 (en) | 2011-09-26 | 2012-08-28 | Google Inc. | Directing dictation into input fields |
US8954330B2 (en) * | 2011-11-28 | 2015-02-10 | Microsoft Corporation | Context-aware interaction system using a semantic model |
US9931154B2 (en) * | 2012-01-11 | 2018-04-03 | Biosense Webster (Israel), Ltd. | Touch free operation of ablator workstation by use of depth sensors |
-
2013
- 2013-03-15 US US13/835,234 patent/US9436287B2/en active Active
-
2014
- 2014-03-13 EP EP14718492.3A patent/EP2973549B1/en not_active Not-in-force
- 2014-03-13 KR KR1020157028927A patent/KR101748316B1/ko active IP Right Grant
- 2014-03-13 JP JP2016502091A patent/JP6072344B2/ja not_active Expired - Fee Related
- 2014-03-13 CN CN201480013294.XA patent/CN105074817B/zh not_active Expired - Fee Related
- 2014-03-13 WO PCT/US2014/026273 patent/WO2014151702A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0883158A (ja) * | 1994-09-14 | 1996-03-26 | Canon Inc | 情報処理方法及び装置 |
JPH1173297A (ja) * | 1997-08-29 | 1999-03-16 | Hitachi Ltd | 音声とジェスチャによるマルチモーダル表現の時間的関係を用いた認識方法 |
WO2000019307A1 (fr) * | 1998-09-25 | 2000-04-06 | Hitachi, Ltd. | Procede et dispositif d'interaction de traitement |
JP2004510239A (ja) * | 2000-09-20 | 2004-04-02 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ディクテーションとコマンドの区別を向上させる方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6072344B2 (ja) | 2017-02-01 |
CN105074817A (zh) | 2015-11-18 |
WO2014151702A1 (en) | 2014-09-25 |
US9436287B2 (en) | 2016-09-06 |
KR101748316B1 (ko) | 2017-06-16 |
EP2973549B1 (en) | 2017-04-19 |
US20140278441A1 (en) | 2014-09-18 |
CN105074817B (zh) | 2018-11-27 |
EP2973549A1 (en) | 2016-01-20 |
KR20150127712A (ko) | 2015-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6072344B2 (ja) | ジェスチャを使用して処理モードを切り替えるためのシステムおよび方法 | |
US11430428B2 (en) | Method, apparatus, and storage medium for segmenting sentences for speech recognition | |
CN108255290B (zh) | 移动装置上的模态学习 | |
US9508342B2 (en) | Initiating actions based on partial hotwords | |
US20200265197A1 (en) | Language translation device and language translation method | |
JP6325626B2 (ja) | ハイブリッド性能スケーリングまたは音声認識 | |
CN109584868B (zh) | 用于虚拟个人助理系统的自然人-计算机交互 | |
US9128930B2 (en) | Method, device and system for providing language service | |
US20110264452A1 (en) | Audio output of text data using speech control commands | |
CA2977076A1 (en) | Word-level correction of speech input | |
KR20130133629A (ko) | 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법 | |
US20180286389A1 (en) | Conference system, conference system control method, and program | |
KR20210088467A (ko) | 음성 인터랙션 제어 방법, 장치, 전자기기, 저장매체 및 시스템 | |
WO2015062312A1 (en) | Method, device and system for providing language service | |
US20230223021A1 (en) | Enhancing signature word detection in voice assistants | |
JP6950708B2 (ja) | 情報処理装置、情報処理方法、および情報処理システム | |
US20210327419A1 (en) | Enhancing signature word detection in voice assistants | |
CA3143933A1 (en) | Enhancing signature word detection in voice assistants | |
WO2023154095A1 (en) | Altering a candidate text representation, of spoken input, based on further spoken input |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161026 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161026 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20161026 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20161121 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6072344 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |