JP2021114317A - 顔の幾何学的形状の歪みによるコンピュータの制御 - Google Patents
顔の幾何学的形状の歪みによるコンピュータの制御 Download PDFInfo
- Publication number
- JP2021114317A JP2021114317A JP2021070872A JP2021070872A JP2021114317A JP 2021114317 A JP2021114317 A JP 2021114317A JP 2021070872 A JP2021070872 A JP 2021070872A JP 2021070872 A JP2021070872 A JP 2021070872A JP 2021114317 A JP2021114317 A JP 2021114317A
- Authority
- JP
- Japan
- Prior art keywords
- user
- head
- computing device
- sensor
- symbolic value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 0 CCCC(CC(C1)C(CC*=C)C1=CCC(CCO)CC(C)*=C(CCCC=CC)C1)CC1(C)C1=C*(C)CC1 Chemical compound CCCC(CC(C1)C(CC*=C)C1=CCC(CCO)CC(C)*=C(CCCC=CC)C1)CC1(C)C1=C*(C)CC1 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Ophthalmology & Optometry (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本出願は、2015年1月31日に出願された同時係属仮出願第62/125,758号の出願日の利益を主張し、その全体の内容は参照により本明細書に組み込まれる。
ムはさらに、判定手段、量子化手段、変換手段、およびマッピング手段を含む第1のプロセッサと、処理手段を含む第2のプロセッサとを含むことができる。
本開示は、コンピュータ化されたデバイスおよび/またはそこで実行されるソフトウェアに値を通信および/または入力する手段として使用される、ユーザおよび/または他の1人もしくは複数の人間の頭、首、および/または上半身と関連付けられた幾何学的形状に対する変更を可能にするコンピュータシステムアーキテクチャおよび設計に関する。本開示は、そのような変化した形状、それらを引き起こす神経支配、および/またはそれらの結果(例えば、血流の局所的変化)の特定の部分または態様の検出および定量化を含む。一旦検出されると、全体の幾何学的構成のそのような特定の部分の各々が測定され、「スコア」と関連付けられる。個々のスコアのそれぞれは、コンピュータのプロセッサへの入力として直接使用することができるが、プロセッサが、例えば、ASCIIコードのように、コマンドまたはデータ値として解釈することができる単一のデジタル値にスコアの完全セットを変換することが一般に好ましい。
肉および/または筋肉群が収縮していると例示的なシステムが判断する程度は、2つ以上の数値、指数、および/またはそれらの等価物のうちの1つに量子化される。例示的なシステムが特定の実施形態および/またはアプリケーション固有の「値」に変換する包括的な「合成」値を生成するために、個々の量子化された筋肉固有番号が、所定の、および/または予め指定された方法で組み合わされる。 結果的に生じる「値」は、特定の英数字、特定の単語、絵文字、特定の色、テクスチャ、特定の音符、コード、および/またはトーンなどを表すことができる。
本明細書のシステムの例には、限定するものではないが、以下を含み、すなわち、
本明細書における本開示の例示的な実施形態のユーザが、
異なる目的のために両手を使用している、または、手および/または指が麻痺および/または欠損している、
システムの出力ディスプレイ以外の何か(存在する場合)を観察するために視覚を使用している、または、視覚的に障害のあるおよび/または盲目である、および、
システム以外の誰かまたは何かと通信するために声を使用している、または話す能力が欠けているか、または声を使用することを避けたい、
場合に、
そのユーザはまた、自身の顔、頭、首、および/または肩の適切な筋肉の選択的収縮によって、
例示的な実施形態のパラメータ、属性、および/または設定(例えば、色、次元、レート、テクスチャなど)を指定および/または制御すること、
(例えば、文書、テキストメッセージ、チャットユーティリティなどで使用するために)テキストを指定および/または構成すること、
(例えば、グラフィックアートおよび/または画像作成、および/または編集アプリケーションで使用するために)色を指定すること、
(例えば、音楽作成、編集、共有および/またはストリーミングアプリケーションで使用するために)音符、トーン、コード、テンポなどを指定すること、
顔の筋肉以外の身体の任意の筋肉を意識的に制御することができない、おそらく、人工呼吸器への依存のために生じた歪みのために口頭でそのようなコンピュータ化されたデバイスを制御するために十分なほど明確に話すことができない、四肢麻痺患者などによる、例示的な実施形態のディレクトリ構造をナビゲートすること、
が行われている間に生成、発見、および/またはコミュニケーションされる患者の症状、治療、測定値(例えば、温度)、診断、および/または予後に関するデータを例示的実施形態に送ること、
ロボットとして、特に、空想をシミュレートするユーザの能力を促進するよう設計されたロボットとして、音声または手作業による制御が空想をシミュレートするのに邪魔になる場合に音声または手作業による制御無しに機能する例示的な実施形態を制御すること、
ができる。
細胞膜を横切るイオンの交換が神経の少なくとも1つの軸索に沿って電流を伝達するとき、神経は「神経支配」される。
筋肉が収縮するとき、典型的にはその長さが短くなり、少なくとも筋肉内の断面積が増加し、筋肉が緊張する。筋肉は、適切な神経の神経支配に応答して収縮する。収縮は、カルシウムイオンの放出を伴い、筋電図によって検出することができるような電圧に関連する。
本開示の例示的な実施形態は、ユーザの顔、頭、首、および/または肩の構造および/または形状における変化を検出および測定する。これらの実施形態が監視し測定するユーザの顔、頭、首、および/または肩の部分は、ユーザが少なくとも1つの他の部分(すなわち「基準部分」)に対して転位することができる部分(すなわち、「ソース部分」)を含む。各ソース部分の転位は、少なくとも1つの対応する参照部分(すなわち、「相対転位」)に対して測定される。1つの実施形態によって監視および測定される部分は、1つまたは複数の他の実施形態によって監視される部分とは異なる場合がある。
本開示の例示的な実施形態は、ユーザの顔、頭、首、および/または肩の外的特徴を、ソース部分および基準部分として使用する。これらのソース特徴および対応する基準特徴には、以下のものが含まれるが、これらに限定されない。
本開示のいくつかの実施形態は、ユーザが所望のカーソル位置を見ることによって表示デバイス上のカーソルの位置を制御し、おそらく、任意の特定のカーソル位置でマウスボタンの模擬「クリック」を制御する「網膜追跡」システムとは異なる。そのような網膜追跡システムは、定義により、ユーザインターフェースの要素のユーザ制御を含む。また、制御するべきカーソルを表示するユーザインターフェースがない場合、網膜追跡システムの有用性および使用は不可能であろう。
本開示のいくつかの実施形態は、ユーザが、ユーザの検出された動作および/または加速度に関して、特に、ユーザのそれらの動作および/または加速度が、システムおよび/またはそのセンサに関する(すなわち、ユーザ自身には必ずしも関連しない)場合に、ユーザインターフェースを制御するシステムとは異なる。例えば、ユーザの頭および/または目の動きおよび/または加速度に応答して「仮想世界」内のユーザの視点を調整するようにディスプレイを修正するシステムは、(例えば、特別に備え付けられたゴーグルまたは眼鏡の内側からユーザの目に表示される画像を通してユーザが仮想世界の探索を使用することを容易にし、および/またはユーザの満足度を向上させるために)現実世界でのユーザの視線の変化を、仮想世界でのユーザの視線と合致させることによって動作する。し
かしながら、この場合、ユーザは、現実世界および仮想世界内の視点の同調性を達成するために、特定の筋肉媒介コードを生成していない。実際には、そのようなシステムのユーザは、その同期が実施されたメカニズムを認識してすらいない可能性があり、ましてや出力デバイスの視点の調整を担うシステムの部分にシステムセンサから送信される信号の知識、または意識的に変更するための手段も有していない可能性がある。
本開示のいくつかの実施形態は、ユーザが実行する「ジェスチャ」に応答するシステムとは異なる。そのようなジェスチャ動作は、典型的には、システムおよび/またはそのセンサに対する方向に関するそのようなシステムによって解釈される。
対照的に、本開示のいくつかの実施形態は、ユーザおよび/またはユーザの身体部分のいずれかの動きに関わらず、特定の筋肉および/または筋肉群の静的構成のみを検出し、それらに応答する。これらの例示的な実施形態において、番号を符号化する筋肉構成、およびそれらに関連する文脈固有値は、時間的に「瞬間」に定義される。そして定義上、動きは存在しなければならず、「瞬間」ではなく、時間の「間隔」に関連して検出されなければならない。
本開示のいくつかの実施形態は、手介在信号(すなわち、「アメリカ手話」(ASL)などの「手話」に特徴的な「サイン」によって)ユーザにより実行される「サイン」に応答するシステムとは異なる。対照的に、本開示のいくつかの実施形態は、顔、頭、首、および/または肩にのみ位置する特定の筋肉および/または筋肉群の構成を検出し、それらに応答する。これらの例示的な実施形態は、ユーザが、他の何らかの目的のために自身の手を自由に使用できるように、キーボード、マウス、ジョイスティックなどの操作を含むが、これに限定されない操作にユーザの手を全く関わらなくさせる。
本開示のいくつかの実施形態は、キーボード、タッチスクリーン、トラックボール、マウスなどの物理的デバイスおよび/または「周辺装置」の相互作用および/または操作によって値(例えば、英数字)を指定することをユーザに要求するシステムとは異なる。
本開示のいくつかの実施形態は、ユーザによって話される単語を検出し、解釈し、および/またはそれに応答するシステムとは異なる。本開示のいくつかの実施形態は、ユーザインターフェースがない場合、およびユーザとシステムとの間の物理的接触、例えば、ユーザがシステム上のキーをタッチする、または押すことがない場合に、個別値がシステムに入力され得るという点で、そのような口頭制御システムに類似している。しかしながら、これらの「口頭」システムとは異なり、これらの例示的な実施形態は、ユーザが話すことも、何らかの種類の音を出すことも必要とせず、多くの状況および多くの潜在的な使用に関して有利である。
ユーザが顔の表情により(すなわち、筋収縮、およびユーザの顔、頭、首、および/または肩の特徴の形状および/または相対位置に対する筋肉の介在による変化により)符号化された値を伝達することを可能にすることに加えて、本開示のいくつかの実施形態は、キーボード、マウス、タッチスクリーン、ユーザ音声の検出器などの追加の従来の入力チャネルを組み込むことができる。本開示の実施形態は、従来技術に記載されている「従来の」入力チャネルがない場合には動作する必要がない。逆に、それらは、ユーザがそれらの実施形態と対話することができる追加の(唯一ではなく)チャネルとして、実施形態に顔符号化された値の検出および変換を組み込むことができる。
本開示のいくつかの実施形態は、様々な方法で、および限定されるものではないが、以下を含む様々なセンサおよび/またはセンサタイプの使用を介して、標的筋肉および/または筋肉群の収縮を検出することができ、すなわち、
視覚的に、1つまたは複数のカメラによって、頭、顔、首、および/または肩の様々な表面特徴の、互いからの、および/または1つもしくは複数の(鼻の先端などの)「目印」特徴からの相対的距離の変化の検出を介して、
視覚的に、1つまたは複数のカメラによって、ユーザの頭、顔、首、および/または肩と関連した表面特徴および/または輪郭の、それらの特徴および/または輪郭の高さおよび/または形状の変化を示す、「陰影」の変化の検出を介して、
視覚的に、1つまたは複数のカメラから収集された画像データに基づいて構築される、ユーザの頭、顔、首、および/または肩の3次元形状の変化の検出を介して、
電気的に、筋肉の収縮の検出および/またはそれらの収縮を引き起こす神経支配の検出を介して、
伸張に応答するセンサによる形状、伸張、および/またはねじれの変化の検出を介して、
磁気的に、筋肉収縮および/またはそれらの収縮に関与する神経の神経支配に関連して生じる電場に関連する磁場の変化を検出および/または測定するセンサの使用を介して、および、
熱的に、赤外線波長に十分に敏感なカメラを用いてユーザの皮膚からの熱の放射照度の変化の視覚的な検出を介して、
検出することができる。
本明細書の例示的システムのユーザは、多くの縮小符号化値を例示的なシステムに、例えば、テキストや音楽を作成する場合に、伝達することができる。または、ユーザが単一の値を伝達する可能性もある。例えば、顔認識に基づくセキュリティシステムと組み合わせて使用される場合、例示的システムは、文字、番号、または色をユーザに表示することができ、そのユーザは、自身の顔、頭、首、および/または肩に必要な筋肉の適切な収縮を介して符号化することによりシステムにそのコードを「そのまま返す」可能性がある。これは、例示的な安全なシステムが、ユーザを、少なくとも部分的に識別するために使用されるユーザの顔の画像が、実際に本物であり、例示的システムのセキュリティを破り、真のユーザの金銭および/または識別情報を盗むためにハッカーによって送られた真のユーザの盗まれた画像ではないという信頼性をより強くすることを可能にする。
本開示のいくつかの実施形態は、差別的(すなわち、段階的に、可変的に、別個に、など)収縮した特定の筋肉、および/または筋肉群の瞬間構成を検出および解釈(すなわち、変換、変更、マッピング、など)する。そのような例示的な実施形態は、一連の「連続的」(すなわち、時間的に順序づけられ、および時間的に別個の)値固有構成の中で、筋肉収縮の各値固有構成を、これらに限定するものではないが、以下を含む、いくつかの異なる方法により、および/またはいくつかの異なる様式で、その時間的に隣接する(すなわち、前後の)構成から区別することができる。
本実施形態のカメラの少なくとも1つによって生成される一連の、または1ストリームの画像内の任意の特定の画像内で生じる顔、頭、首、および/または肩の筋肉の特定のセット内で検出、測定、および/または認識された収縮の各認識可能および有効な構成に応答し、および/または処理し(すなわち、一実施形態、および/またはアプリケーション状況固有値に変換する)、おそらく、新しい値が検出されたか、または有効値がないことが検出された後まで、収縮符号化値の重複処理を避ける。
少なくともある特定の最小期間(例えば、画像のストリーム内の特定の数の連続的画像の間)にユーザによって維持される顔、頭、首、および/または肩の筋肉の特定のセット内で検出、測定、および/または認識された収縮の各認識可能および有効な構成に応答し、および/または処理し(すなわち、一実施形態、および/またはアプリケーション状況固有値に変換する)、異なる、または無効な、収縮構成が検出、測定、および/または認識されるまで、同じ収縮符号化値への応答、および/またはそのような値の処理を繰り返さない。
以前の値の検出からある最小間隔の後(前ではない)に発生した顔、頭、首、および/または肩の筋肉の特定のセット内で検出、測定、および/または認識された収縮の各認識可能および有効な構成に応答し、および/または処理し(すなわち、一実施形態、および/またはアプリケーション−状況固有値に変換する)、だが、以前の値の検出からある最大間隔後にエラーをシグナリングする。
本明細書の本開示の例示的な実施形態は、限定するものではないが、以下を含む様々な方法でフィードバックを筋肉収縮符号化値を発行するユーザに提供することができ、すなわち、
出力デバイス画面上の、および/またはグラフィック表示の1つまたは複数の場所に、本実施形態によって検出された値(例えば、文字「e」、色「緑」など)を表示すること
によって、
可聴音符を発行するなどして、ユーザに検出可能な実施形態の変化または挙動を実行することによって、グラフィックディスプレイ上の、および/または投影画像上の1つまたは複数のピクセルの色を変更することによって、実施形態の(ユーザ、地球、および/または実施形態自体の一部に対する)位置、および/またはその一部分を変更することによって、
ユーザの顔、頭、首、および/または肩に有効な値が検出された場合に、および実施形態によって有効な値が受信された場合に、一色(例えば、緑)の目立たない光を1回または複数回点滅することによって、および、オプションとして、無効値および/または不適切な値の検出に応答して、別の色(例えば、赤)の光を点滅することによって、および、
例えば、「a」、「b」、「o」、「u」、「t」、「about」……または「8」、「0」、「5」、「4」(ユーザに代わって電話番号をダイアルする場合)などの検出された各値の可聴発音により、ユーザにオウム返しすることによって、
提供することができる。
出力デバイスの画面、および/またはグラフィカルディスプレイ上の1つまたは複数の位置で、メッセージ、状態インジケータ、アイコン、色、(特定の形状および/または色の)カーソル、または実施形態の準備ができていることを示す他のグラフィカル要素を表示することによって、
ビープ音またはバズ音などの、準備ができていることを示す可聴信号を出力することによって、および、
「準備完了」という単語(または、何か他の単語)を発することによって、
示すことができる。
以前の一連の値の検出および処理を終了すること、
新しい文書、音楽、グラフィックなどの構成を開始すること、
以前の値の1つまたは複数を削除すること、
ドラフト・メッセージを可聴的に発すること(例えば、オウム返しすること)、
最近編集された文書、音楽、グラフィックなどを保存すること、
最近作成されたテキストメッセージを送信すること、
電話を切る(すなわち、電話を終了する)ことなど、
を含む。
本開示の例示的な実施形態は、単一ユーザの顔、頭、首、および/または肩の筋肉収縮を介して符号化された値を探索し、検出し、処理することができる。これは、多くの実施形態(例えば、実施形態へのアクセスを許可する前に、ユーザIDを検証するために、収縮符号化値をパスワードおよび/またはパスフレーズに変換するもの)に適切な共通の制限である。
処理することができる。そのような実施形態は、それぞれの個々のユーザによって符号化された個々の値を、同時期に発生した値のグループに統合することができる。一実施形態は、各特定のユーザによって符号化された値を、特定の楽器に関連付けられた音符と関連付けることができる。このタイプの実施形態では、人々のグループは、様々な楽器の同時演奏に関連する音楽を生成することができる可能性がある。そのような実施形態は、各ユーザの関連する仮想楽器に関するシステムによって出力される音楽のピッチが、筋肉固有の収縮を介してユーザによって指定されることを可能にすることができる。それは、各ユーザの関連する仮想楽器に関するシステムによって出力される音楽のラウドネスが、各ユーザの右手がそれぞれの胸部から伸びる程度によって制御されることを可能にすることができる。そして、各ユーザが、そのユーザの左手が胸部から伸びる程度を調整することによって、コンサートに寄与する合成音楽の音色を調整することを可能にすることができる。
本開示の例示的な実施形態は、ユーザの、顔、頭、首、および/または肩についての、特定の筋肉および/または筋肉群の収縮または欠如を検出する。次に、これらの収縮を測定および量子化し、それにより、実質的に連続した距離の範囲に対する生のアナログ測定値を、筋肉固有の階調数の1つに変換する。例えば、ユーザの眉毛の「持ち上げ」は、実数(例えば、18.3mm、17.9ピクセル、4分など)として表された生の測定値を有することができるが、実施形態固有の、および/または筋肉固有の範囲内の整数(例えば、0〜3の範囲内の2)に量子化することができる。次いで、結果的に得られる各筋肉固有の収縮の程度は、(例えば、0〜107の、それぞれ、0から1、0から1、0から2、0から2、および0から2の範囲を有する4つの量子化された収縮測定値の組み合わせから得られる)そのような数の特定の範囲内の合成数を生成するように組み合わされる。
1.視野域がシステムのユーザを含むことができるカメラからの画像のストリームを受信する。
2.人の(すなわち、ユーザの)顔、頭、首、および/または肩を各画像内に配置することを試みる。
3.画像内で発見されたユーザの顔、頭、首、および/または肩の位置を特定する。
4.ユーザのコード化された値の指定に関連するユーザの顔、頭、首、および/または肩上の各点および/または特徴(すなわち、「標的筋肉」)の位置を特定する。
5.各標的筋肉が収縮する程度を測定する。実際の筋肉は直接見ることができないので、実施形態は、各標的筋肉または筋肉群に関して、ユーザの顔、頭、首、および/または肩の視認可能な特徴特性の対応する、および/または関連する変化を測定することができる。関連する筋肉が収縮した程度に対する代替として、一実施形態が測定することができる特徴のタイプ、および特徴固有属性は、これらに限定するものではないが、以下、すなわち、a)それらの筋肉の標的特徴(例えば、眉毛)とそれらの対応する基準特徴(例えば、各眼の外側隅)との間の距離が変化した程度、b)それらの筋肉の標的特徴(例えば、頭の矢状面)およびそれらの対応する基準特徴(例えば、肩を横切る横断面)の角度方向が変化した程度、および、c)それらの筋肉の標的特徴(例えば、小鼻の鼻孔)の断面積、容積、および/または形状が変化した程度、を含む。
できるが、これらに限定されない。a)例示的な実施形態のディスプレイにおいて(例えば、例示的な実施形態がグラフィック描画実施形態である場合)少なくとも1つのピクセルの値を変更することによって画像を更新するか、b)文書の内容を含むメモリ内の少なくとも1つの文字の値を(例えば、テキスト編集実施形態のランダムアクセスメモリ内で)変更または追加することによって文書を更新するか、または、c)本実施形態に付属する少なくとも1つのスピーカを介して、音符、コード、トーンなどを合成して出力する。
本開示に関して、異なるユーザは、顔、頭、首、および/または肩の筋肉および関連する特徴の動きに関して、異なる運動範囲を有する可能性がある。本開示の例示的な実施形態は、測定および/または量子化の一様な、および/または一定の規格を使用して、標的の顔面筋肉および特徴の収縮および動きを測定および変換することができる。他の例示的な実施形態は、実施形態に固有の筋肉および/または特徴に関して、それらの収縮および/または動きの範囲を示す機会をユーザに与えることができる。その場合、これらの例示的な実施形態は、これらのユーザ固有の範囲を、将来の収縮および/または動きの「相対的な」程度を測定する極致として使用することができる。
本開示は、特定の筋肉および/または筋肉群が収縮する程度の検出および変換について言及する。しかしながら、そのような各言及は、逆のことが明示されていない限り、ユーザの顔、頭、首、および/または肩の外表面上の特徴(例えば、眉)が、1つまたは複数の関係する筋肉および/または筋肉群の収縮により「安静時の」位置、形状、および/または容積から位置決めされ、転位され、位置を変えられ、曲げられ、膨張し、ならびに/もしくは容積的および/または幾何学的に変更される程度の検出および変換に全体的、または部分的に等しく適用可能であると考えられるべきであることが理解されるべきである。
a.測定可能な顔の特徴
表現力豊かな顔の特徴は、共に働く2つ以上の筋肉からもたらされることが多い。このため、比較的大きな顔の特徴の制御は、それらの特徴の動きを引き起こす個々の筋肉の制御よりも、人が習得し実行することがより容易である可能性が高い。
唇の形状(例えば、唇をすぼめる、または弛める)
口腔の形状(すなわち、口の開口部の形状)
「開いている」口の相対的な割合
上歯および/または下歯の相対露出
顎および/または下顎の相対的な縦方向の伸展
顎および/または下顎の相対的な横方向の伸展
舌の位置(例えば露出しているか否か)
顔の縦軸に対する口の角度方向
相対的なまぶたの位置(例えば、開いた状態または閉じた状態)
「開いている」目の相対的な割合
「注視」の相対的な向き(コンピュータにではなく、ユーザに対するもの)
鼻孔の相対的広がり
眉毛の相対位置(例えば、上がっている、安静時、または下げている)
額の皺の相対的な深さ
感情的な表情(幸せ、驚き、恐怖、怒り、悲しみ)
b.測定可能な頭および首の特徴
頭の相対的な向きおよび/または位置
さらに、ユーザの頭の位置をユーザの背後に見える垂直および/または水平のエッジ(例えば、出入口、壁、および/または窓)と比較することによって、(重力により規定される垂直方向に対する)ユーザの頭の絶対的な向きを使用して、さらに多くの情報を生成することが可能となる。「真の垂直」に対するユーザの頭の絶対的な向きはまた、スマートフォンまたはユーザの特徴を(例えばビデオによって)測定している他のコンピューティングデバイスの「重力」センサ、磁力計、および/または加速度計を用いて実現することができる。
頭の(すなわち、身体の前面に対する)左右の傾き
頭の(すなわち、身体の矢状面に対する)前方または後方の傾き
身体の(すなわち、身体の横断面に対する)垂直軸に対する頭の垂直軸
胴体に対する頭の回転(すなわち、左右を見る)
左肩および/または右肩の持ち上げは、たとえ僅かであっても、自動化されたシステムによって容易に識別することができ、したがって、ユーザが本明細書に開示されたデバイスのコンピュータプロセッサを直接制御できるように使用することができる。上半身の他の特徴(例えば、胸部を押し出す)も、本明細書で開示されるデバイスのための信号として使用することができる。
測定可能な顔の特徴および頭の向きの値を検出するカメラからのユーザの頭の距離を調整することによって、捕捉された画像および/またはビデオストリームにおけるユーザの頭の絶対的なサイズ(例えば、ピクセル単位)が変化する。例えば、ベースラインサイズに対する、ユーザの頭のサイズは、本明細書に開示される本発明のための情報の追加のビットを特定するために、ユーザによって使用することができる。例えば、ユーザが本発明の小型ハンドヘルドバージョンを使用していて、そのデバイスがユーザにより生成された特徴の動きを検出および測定するために「自撮り」カメラを使用していた場合、ユーザは、スマートフォンを、自身の身体の近くに移動したり、自身の身体から離したりして、測定画像内の自身の頭の絶対的なピクセルサイズと関連する「信号」を変更することができる。
意識的な制御の習熟を達成するために人の側でより多くの練習を必要とするかもしれず、さらに、それらの状態を判定し、それらの「値」を測定するために、より洗練された検出システムを必要とするかもしれないが、それにもかかわらず、ユーザが高精細入力値(すなわち、多ビット値)を生成することを可能にし、それによって本明細書で開示された本発明のプロセッサの高解像度制御を発揮することを可能にする、個々の顔面筋肉のユーザの制御された収縮の監視が提供される。
i.「上眼瞼挙筋」筋肉、
「上瞼板」筋、
を含むが、これらに限定されない、第3の(III)脳神経(すなわち、眼球運動神経)によって制御されるもの。
ii.以下を含むが、これらに限定されない第5の(V)脳神経(すなわち、「三叉神経」)によって制御されるもの。
「側頭筋」(すなわち、咀嚼筋の1つ)、
「内側翼突筋」(すなわち、咀嚼筋の1つ)、
「外側翼突筋」(すなわち、咀嚼筋の1つ)、
「鼓膜張筋」、
「口蓋帆張筋」、
「顎舌骨筋」、
「顎二腹筋上腹」、
を含むが、これらに限定されない、「下顎の」神経(すなわち、「V3」神経)によって制御されるもの。
1.限定するものではないが、
「後頭前頭筋」(すなわち、「後頭筋」)、
「後耳介筋」、
を含む、「後耳介」神経によって制御されるもの。
2.限定するものではないが、
「後頭前頭筋」(すなわち、「前頭筋」)、
「眼輪筋」(すなわち、眼窩および眼瞼部分)、
「皺眉筋」、
「鼻根筋」、
「前耳介筋」、
「上耳介筋」、
「頭蓋表筋」を含む、
「頭」神経によって制御されるもの。
3.限定するものではないが、
「眼輪筋」(すなわち、涙腺部分)、
「上唇挙筋」、
「大頬骨筋」
を含む、「頬骨」神経によって制御されるもの。
4.限定するものではないが、
「鼻筋」
「口角挙筋」
「大頬骨筋」
「小頬骨筋」
「口輪筋」
「笑筋」
「頬筋」
「鼻中隔下制筋」
「上唇鼻翼挙筋」
を含む、「頬」神経によって制御されるもの。
5.限定するものではないが、
「下唇下制筋」
「オトガイ筋」
「口角下制筋」
「オトガイ横筋」
を含む、「下顎」神経によって制御されるもの。
6.限定するものではないが、
「広頸筋」
を含む、「頸」神経によって制御されるもの。
「オトガイ舌筋」
「舌骨舌筋」
「茎突舌筋」
「オトガイ舌骨筋」
「甲状舌骨」
を含む、第12の(「XII」)脳神経(すなわち、「舌下神経」)によって制御されるもの。
f.測定可能な頭、首、および上半身の筋肉
人によって意識的に制御される可能性のある頭、首、および/または上半身の筋肉は、自動化されたビデオシステムによって容易に識別可能であり、したがって、人の頭の自発
的な傾きによるユーザによるコンピュータの直接制御のために有益である可能性があり、そのような筋肉は、限定するものではないが、以下を含む。
i.限定するものではないが、
「僧帽筋」
「胸鎖乳突筋」
を含む、第11の(「XI」)脳神経(すなわち、「副神経」)によって制御されるもの。
ii.限定するものではないが、
「上前鋸筋」
「中前鋸筋」
「下前鋸筋」
を含む、「長胸神経」によって制御されるもの。
iii.限定するものではないが、
「大菱形筋」
「小菱形筋」
を含む、「肩甲背神経」によって制御されるもの。
iv.限定するものではないが、
「前斜角筋」
を含む、「C5およびC6頸神経の前枝」によって制御されるもの。
v.限定するものではないが、
「中斜角筋」
を含む、「C3からC8頸神経の前枝」によって制御されるもの。
vi.限定するものではないが、
「後ろ斜角筋」
を含む、「C6からC8頸神経」によって制御されるもの。
vii.限定するものではないが、
「広背筋」
を含む、「胸背神経」によって制御されるもの。
viii.限定するものではないが、
「三角筋」
「小円筋」
を含む、「腋窩神経」によって制御されるもの。
ix.限定するものではないが、
「頭半棘筋」
を含む、「大後頭神経」によって制御されるもの。
x.限定するものではないが、
「頭板状筋」
を含む、「脊髄神経C3およびC4の後枝」によって制御されるもの。
xi.限定するものではないが、
「大後頭直筋」
を含む、「後頭下神経」(すなわち、C1の後枝)によって制御されるもの。
g.検出および測定方法論
上記の特徴および/または筋肉のそれぞれの動き、収縮、および/または他の変化は、以下を含むがそれらに限定されない多くの方法で検出および測定することができる。
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、(例えば、カメラを用いて)視覚的に検出および測定することができる。
コンピューティングデバイスには、1つまたは複数のビデオカメラおよび/または画像を取り込む他の手段が装備されており、それにより、デバイスのユーザおよび/または他
の人は、コンピュータと対話しながら、顔、頭、首、および上半身の画像を取得することができる。
適切な場合、前記カメラによって取得されたストリームまたは一連の画像は、関連する特徴の形状、向き、歪み、および/または外観の1つまたは複数の態様に関して分析される。
画像化された特徴の瞬間的な構成が測定され、および/または計算される。画像化された特徴の経時的な変化も測定および/または計算される。
結果的に得られる瞬間的特徴構成は、例えば、コンピュータコマンドとデータ、アプリケーションコマンドとデータなどの、コンピューティングデバイスへの定義された入力および/またはイネーブルされた入力の1つまたは複数のタイプおよび/または値にそれらがマッピングされるかどうかを判定するためにチェックされる。
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、電気的に検出および測定することができる。関与する筋肉の収縮は、場合によっては少なくとも、影響領域に重なる皮膚上の電圧および/またはキャパシタンスの変化によって検出することができる。
コンピューティングデバイスは、1つまたは複数の電圧、電流および/またはキャパシタンスセンサ、ならびに/もしくは1つまたは複数の「特徴」筋肉および/または上層の皮膚の電気的性質/特性を検出する他の手段を備える。それにより、コンピューティングデバイスは、デバイスのユーザおよび/または他の人がコンピュータと対話しながら、顔、頭、首、および/または上半身の筋肉の神経支配および/または筋肉の神経支配の変化に関連する電気的状態および/または変化を検出および監視することができる。
コンピューティングデバイスのユーザの瞬間的な筋肉関連電気特性の結果的に得られるストリームは、例えば、コンピュータコマンドとデータ、アプリケーションコマンドとデータなどの、コンピューティングデバイスへの定義された入力および/またはイネーブルされた入力の1つまたは複数のタイプおよび/または値にそれらがマッピングされるかどうかを判定するために、経時的にチェックおよび監視される。
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、磁気的に検出および測定することができる。上に示したように、動きおよび/または収縮は、電気的に検出および測定することができ、影響を受けた筋肉を支配する神経に現れるような電流は、検出することができる磁場を生成する。
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、関連する筋肉収縮の影響を受けた領域における血流への影響のために、分光学的に検出および測定することができる。
筋肉が収縮すると、その局所的な拡張は、筋肉の上にある皮膚に加わる圧力を増加させる。これらの収縮誘発性の圧力上昇は、影響領域の皮膚を通る血液の流れを妨げる。皮膚を通る血流の量のそのような変化は、分光学的に(すなわち、ユーザの皮膚の画像内で検出された色のスペクトルの解析を通じて(または、個々の「単一ピクセル」光検出器を用いて))測定することができる。
筋肉が収縮すると、局所的な「こぶ」が生じることがある。 そのこぶは、その筋肉だけでなく、それに隣接する組織、特に皮膚においても、血液を絞り出すことができる(すなわち、血液の流入に抵抗し、流出を促進する)。関連する筋肉および/または特徴の領域における血流の局所的な容積および/または速度のこの変化は、ユーザの皮膚のその領域の画像のスペクトル分析によって検出することができる。このような監視は、標準的なビデオカメラを用いて、ならびに他の方法によって、および他のセンサ技術を使用して、
実現することができる。
http://www.ccmtutorials.com/rs/oxygen/pagel7.htm
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、ユーザの皮膚の赤外線画像の捕捉および分析によって検出および測定される。
上記のように、筋収縮は、収縮した筋肉を覆う皮膚の領域を流れる血液量を減少させる。そして、収縮した筋肉を覆う皮膚温度の変化(例えば、低減)を検出することが可能であり、それらの温度変化の大きさは、筋肉収縮の大きさと相関するはずである。
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、関連する筋肉を覆う皮膚を通る血液のポンピングから生じる「脈拍」関連音の音量で起こる変化を通して検出および測定することができる。
上記のように、筋収縮は、収縮した筋肉を覆う皮膚の領域を流れる血液量を減少させる。
血流の減少は、脈動する血流の音の音量および特性を変化させる。
現在のところ、伸びおよび曲げを直接測定するために利用可能な多くの技術があり、特に、人間の表面に沿った伸びおよび曲げを測定するように設計されたものがある。また、人の顔、頭、首、および/または上半身の陰影および/または陰影の変化を分析して、そ
の人の顔、頭、首、および上半身の輪郭の変化を測定および監視することも可能である。さらに、2つ以上のビデオカメラを使用することにより、人の顔、頭、首、および/または上半身の3Dモデルを構築し、その変化を監視することが可能となり、したがって、関連する筋肉の収縮の相対的な程度の検出および/または監視が可能となる。
コンピューティングデバイスのユーザの瞬間的な顔面筋肉収縮の読取値の結果的に得られるストリームは、例えば、コンピュータコマンドとデータ、アプリケーションコマンドとデータなどの、コンピューティングデバイスへの定義された入力および/またはイネーブルされた入力の1つまたは複数のタイプおよび/または値にそれらがマッピングされるかどうかを判定するために、経時的にチェックおよび監視される。
a.本開示の例示的な実施形態は、ユーザの顔、頭、首、および肩の4つの特徴の位置、すなわち、眉毛の持ち上げまたは巻き上げの程度、頭部の冠状面内での傾きの程度、左右の目を部分的に閉じた程度、および頭の矢状面内での傾きの程度、の変化に応答する。
i.それぞれの目の内側の隅(すなわち、鼻の部分)に対する眉毛の平均的なおおよその垂直距離を検出する。それらの垂直眉毛状態は、5つの相対的な数字に量子化され、0は、完全に下げられた眉毛(両眉毛の中央部と鼻の部分との間の距離が最も短い)を表す、1.部分的に下げられた眉毛を表す、2.安静時のおよび/または自然な位置の眉毛を表す、3.部分的に持ち上げられた眉毛を表す、および、4.完全に持ち上げられた眉毛を表す。
いて7つの状態を提供し、利用可能な眼を細めた程度および組み合わせについて4つの状態を提供し、利用可能な頭の矢状方向への傾きについて7つの状態を提供する。したがって、これらの特徴固有状態の順列は、784個の複合状態の基礎を提供し、したがって、784個の実施形態固有のおよび/またはアプリケーション固有の値の基礎を提供する。
上述の好ましい特徴の第1のセットに関して説明したように、ユーザの身体上のそれぞれの目印に対するこれらの2つの特徴のユーザが行った転位は、頭の利用可能な頭頂部の傾斜の7つの状態、および、頭の利用可能な矢状方向の傾斜の7つの状態を提供する。したがって、これらの特徴固有状態の順列は、49個の複合状態の基礎を提供し、したがって、49個の実施形態固有および/またはアプリケーション固有の値の基礎を提供する。
a.本開示の例示的な実施形態は、変化する電圧に応答するセンサを使用して、特定の筋肉が収縮する程度を検出および測定する。この例示的な実施形態は、上記の第1の好ましい特徴セットに記載された実施形態(すなわち、眉毛とまぶたの相対位置の変化、および頭の相対的な冠状および矢状の傾きの変化に応答するもの)と同一であるが、1つの例外を伴う。この例示的な実施形態は、特徴固有の実施形態におけるそれぞれの特徴の転位に関与する筋肉が、それらの収縮に関連する差分電圧の検出によって、活性化される程度を検出し、測定し、量子化する。
なわち眼輪筋、に関連する電圧の測定および量子化による左まぶたおよび右まぶたを細めた程度を測定および量子化する。
a.本開示の例示的な実施形態は、変化する電圧に応答するセンサを使用して、特定の神経、および/またはそれらに対応する筋肉が神経支配される程度を検出および測定する。この実施形態は、上記の第1の好ましい特徴セットに記載された実施形態(すなわち、眉毛とまぶたの相対位置の変化、および頭の相対的な冠状および矢状の傾きの変化に応答するもの)と同一であるが、1つの例外を伴う。この例示的な実施形態は、特徴固有の実施形態におけるそれぞれの特徴の転位に関与する神経および筋肉が、それらの神経支配に関連する差分電圧の検出によって神経支配される程度を検出し、測定し、量子化する。
本開示の実施形態は、パーソナルコンピュータ、スマートフォン、ATM、POS端末、音楽シンセサイザ、自動運転車、ゲーミングコンソール、スマートテレビなどの、従来技術において既知の、多種多様な機能および/または多種多様なデバイスタイプに統合することができる。これらの既知のデバイスの本明細書に開示された新規システムへの変換は、ユーザの顔、頭、首、および/または肩、ならびに/もしくはその中の筋肉を監視する1つまたは複数のセンサ(例えば、カメラ)の追加を含む。
圧データの分析を介して)、動作可能に検出および測定する場合、本開示の実施形態に変形することができる。コンピュータコードのセットはまた、ユーザの顔、頭、首、および/または肩の特定の幾何学的構成を、デバイスのユーザによる使用および/または制御に適したデジタル値に変換することができる。
本開示の例示的な実施形態は、実施形態に値を伝達および/または指定するために、顔、頭、首、および/または肩のどの特徴をユーザが使用するかをユーザが指定することができる。本開示の別の例示的な実施形態は、実施形態に値を伝達および/または指定するために、顔、頭、首、および/または肩のどの筋肉をユーザが使用するかをユーザが指定することができる。本開示の別の例示的な実施形態は、実施形態に値を伝達および/または指定するために、顔、頭、首、および/または肩のどの神経をユーザが使用するかをユーザが指定することができる。
本発明の例示的な実施形態は、ユーザの顔、頭、首、および/または肩のどの特徴(すなわち、どの「部位コード」)が、実施形態に値を伝達および/または指定するためにユーザに利用可能であるかをユーザに伝達する。本発明の別の例示的な実施形態は、ユーザの顔、頭、首、および/または肩のどの筋肉が、実施形態に値を伝達および/または指定するためにユーザに利用可能であるかをユーザに伝達する。本発明の別の例示的な実施形態は、ユーザの顔、頭、首、および/または肩のどの神経が、実施形態に値を伝達および/または指定するためにユーザに利用可能であるかをユーザに伝達する。
本開示の1つまたは複数の実施形態による収縮符号化値のユーザの生成に関連する統計を時間(例えば、月、年、数十年)にわたって保存することによって、1つまたは複数の実施形態にコードを送信するそのユーザのペースおよび/または頻度の変化(特に、低減)を検出することが可能である。また、ユーザがその後に修正しなければならない誤りのあるコードを送信する頻度の変化(特に増加)および/または有効なコードを繰り返す頻度の変化を検出することも可能である(特に、そのような冗長性が、1つまたは複数の実施形態により無視され、したがって、修正を求められる明確な誤りと同じではない場合)。
実施形態は、少なくとも、顔、頭、首、および/または肩の変化した幾何学的構成をどれだけ多くサポートするかに関して異なっていてもよい。一部のものは、いくつかの幾何学的構成のみをサポートする。他のものは、多数の幾何学的構成をサポートする。
実施形態は、少なくとも、実施形態によってサポートされる利用可能な各シンボリック値を指定するために使用される幾何学的形状および/またはそれらの範囲をユーザが指定できるかどうかに関して異なっていてもよい。
実施形態は、少なくとも、実施形態によってサポートされる利用可能な各シンボリック値を指定するために使用される幾何学的形状および/またはそれらの範囲をアプリケーションデベロッパが指定できるかどうかに関して異なっていてもよい。
実施形態は、少なくとも、形成不良または実行不良な幾何学的形状をいかに正確に解釈(すなわち「修正」)できるかに関して異なっていてもよい。
実施形態は、少なくとも、それらがサポートすることができる幾何学的に符号化された信号の最大レート(すなわち、「ユーザがどれだけ速く信号を送信することができるか」)に関して異なっていてもよい。
実施形態は、少なくとも、それらが実施形態に伝達する幾何学的に符号化された信号がどのように処理されるか(すなわち、それらが何のために使用されるか)に関して異なっていてもよい。
一般的なコンピューティングプラットフォームとしてのスマートフォンの使用が増えている。また、スマートフォンおよびタブレットコンピュータなどの小型ハンドヘルドコンピューティングデバイスは、典型的には、物理キーボードの恩恵を受けずに動作する。したがって、これらのデバイスは、典型的には、手動制御の高解像度手段なしで操作および制御される。代わりに、これらのデバイスは、典型的には、他の任意のグラフィックと同様にこれらのデバイスの画面上に示されている「仮想」キーボードに頼っており、ユーザは所望の1つまたは複数の文字を覆う画面のその部分をタッチする必要がある。
その人は(あまりにも大声で)話している可能性があり、彼らが話している内容は面白さに欠ける可能性があり、彼らが話す言葉が耳や心に入り込んでくることを防ぐ術はほとんど、または全くない。その人は、デバイスの画面に夢中でタッチし、ある種のテキストメッセージ(たとえば、従来のテキストメッセージ、ツイッター(登録商標)投稿、FacebookやGoogleチャットなど)を作成しているかもしれない。視覚妨害は、たとえ周辺視野に隔離されていても、無視するのが難しい。
ユーザがパスワード「コード」を提出することを可能にする一方で、ユーザが証明する各コード固有の幾何学的形状の一意の属性(例えば、ユーザが、各特定のパスワード関連シンボリック値を実行するときに見える傷痕、血管、いぼなどの顔表面に見える詳細な画像、パスワード固有の幾何学的形状をユーザが実行する間に観測可能なユーザ固有の震え、コード関連の筋肉収縮をユーザが行っている間に現れる電気特性に関連するユーザ固有の特性など)をシステムが監視することを可能にする組み合わせによる。
多数の部位幾何学的形状の使用、および定義する極致間のより多くの中間幾何学的形状の識別(つまり、部位幾何学的形状あたりのより大きな範囲のシンボリック値)を使用す
ることによって、シンボリック値の大きなセットをユーザが利用可能にすることができる。値のより大きなセットは、ユーザが習得するためにより多くの時間を必要とするが、利益は、多数のユーザに対する、例えば、本開示の実施形態をそれらの主要な通信手段として使用することを選択する可能性のある四肢麻痺者に対する、コストを超える可能性がある。
本明細書で開示される発明は、現在の技術水準に関して人々が利用できない多くの利点を提供することができる。これらの利点には、以下のものが含まれるが、これらに限定されない。
本明細書に開示される発明は、ユーザが、自分のコンピュータを制御し、自分の手や指を使わずに、言葉のコマンドや情報を話すことなく、テキスト、文書、音楽などを構成することも可能にする。これは、ユーザが、コンピュータを片手で持ち、コンピュータへのデータ入力のセキュリティを保護することが懸念される混雑したおよび/または公共の場所でコンピュータを使用しようとする場合に特に便利である。
本発明はまた、慢性的で迅速な手の動きおよび/または可聴の発声されたコマンドおよびデータによって不満および/または怒りを抱く恐れのある付近にいる人を怒らせることなく、公共の場面で自分のコンピュータを制御し、および/または自分のコンピュータと対話することを可能にすることができる。
本明細書に開示される発明は、ユーザが公共の場でプライベートな会話をすることを可能にすることができる。顔の筋肉の意図的かつ協調的な収縮を介してメッセージを定式化することにより、ユーザは、誤ってまたは故意に近くの誰かが耳にする可能性のあることを、はっきりと発話する必要がない。実際には、本発明の2人のユーザは、ヘッドフォンを介して他方から受信したメッセージの合成された翻訳を聞きながら、特定の顔面筋肉の協調した収縮によって、相手に対するメッセージをそれぞれ生成することができる。
顔の表情を生じさせる顔の筋肉は、顔の右側のための各々の1つと、左側のための各々の1つの顔面神経(すなわち、脳神経VおよびVII)のペアによって神経支配される。舌の筋肉は、舌下神経によって神経支配される。そして、本発明の実施形態のための信号として働くことができる他の筋肉は、他の神経によって神経支配される。
特定のユーザで検出された顔の表情および/または身体の動きの種類および程度を経時
的に記録することによって、信号筋制御コンピュータは、様々な心理的病気、例えばうつ病に特徴的な動きおよび/または表現の相対頻度が増加していることをユーザに警告することができる。心理的病気と一致する動きおよび/または顔の表情の相対頻度が増加していることを検出するのを助けるだけでなく、信号筋制御コンピュータは、様々な心理的問題とは対極にある動きおよび/または顔の表情の大きさおよび/または持続時間の減少も検出することができる。例えば、笑顔の生成および/または持続時間の相対的な頻度および幸福と一致する他の表情の減少は、うつ病の発症を示す可能性がある。
信号筋制御コンピュータは、ユーザのボディランゲージおよび表情を検出し、分析し、分類し、定量化するので、および実施形態はまた、経時的にこれらの表現に関連する相対頻度、大きさ、および/または他のパラメータを記録することもできるので、コンピュータによって検出されたボディランゲージおよび表情の「質」に関するフィードバックを提供するのに、そのコンピュータまたはそのログを使用することが可能になる。ユーザのボディランゲージおよび/または表情が「普通」または「正常」である(おそらく、時間の経過とともに集められたユーザ固有の表現データの集約によって定義される)ものから逸脱する場合、そのような「異常」に関するフィードバックが、ユーザおよび/またはセラピストに提供され得る。
この種の顔面言語およびボディランゲージ監視能力はまた、任意の数の神経学的、心理的、発語、および/または他の健康関連状態に関してユーザにもたらされる治療および/または療法の効果に関して、ユーザまたはユーザの医者もしくはセラピストにフィードバックを提供することができる。
図1は、本開示の例示的な実施形態を示す図である。ユーザ160は、図4に示されて参照して説明した7つの信号特徴の動きのみを使用して、実施形態のオペレーティングシステム用または実施形態内で実行中のアプリケーション用のコマンドを生成している。
各カメラは、捕捉した各画像を符号器モジュール174に送る。符号器モジュール174は、このユーザ160がどの信号特徴を好み、実行時に最も熟達しているかを指定する「ユーザ構成」ファイル175で初期化される。この場合、ユーザ構成ファイル175は、このユーザ160が、図4にすでに示されて参照して説明した7つの信号特徴を使用することを好むことを示す。
この例では、「コンシューマ」は、アプリケーション、デバイスオペレーティングシステム、ネットワークインタフェースモジュールなどとすることができる。
図2は、人体の筋肉および他の特徴の相対的な位置ならびにそれらの特徴の転位の方向を定義および説明するために使用される矢状面、正面、および横断面の図である。
図3は、人の顔の幾何学的形状に対する顔の表情、動き、および変化を引き起こす筋肉の一部の図である。この図は、パブリックドメインにあり、1909年に出版された「Sobotta’s Atlas and Text−book Human Anatomy」で見られる。図は、K.HajekとA.Schmitsonとによって作成された。
図4は本開示の例示的な実施形態によって使用される7つのユーザ制御身体信号の図である。この図は、これらの信号を特徴付けることを意図したに過ぎないが、図が、実施形態に組み込まれた、または実施形態に接続されたカメラによって取り込まれる可能性のある画像の種類を表すものであると想像してもよい。
り、第7の部位信号値を生成する。
そのような生の部位信号値のセットを「合成」信号値に変換するアルゴリズムは任意である。例えば、部位信号値の順序は、合成信号値の任意の特定の解釈および/または適用に関して一貫している限り、任意である。同様に、多数の潜在的な部位信号のうちのどれをユーザから収集するか、またユーザが生成したどの合成信号値に基づくかの判定も任意である。(しかしながら、どの部位信号値が好ましいか、例えば、どの部位信号値が最も実行および/または覚えやすいかをユーザが自由に特定できることは便利である)。
対する因子固有の幾何学的変化の一意の組み合わせを定義する「変化シグネチャ」として働く「量子化因子測定値」のアレイ132に生センサ信号を変換する(例えば、量子化する)モジュール131によって分析される、(時間基準線130によって指定された)各瞬間に受信された信号は、メモリ129に格納される。次いで、変化シグネチャは、変換モジュール133によって、この図では特定の音楽コードである、対応する実施形態および/またはアプリケーション固有の「シンボリック値」134に変換される。次に、この例示的な実施形態は、シンセサイザモジュール135において、指示された楽音を合成して音声137としてスピーカ136で、出力することによって、ユーザ固有シンボリック値134を処理する。
したがって、図において、任意に選択された部位信号値の文脈内で、図に示されるユーザ120は、{0,1,1,0}の部位信号値のセットをデバイスに伝えている。
達しているかを指定する「ユーザ構成」ファイル144で初期化される。この場合、ユーザ構成ファイル144は、このユーザ140が、図4に示されて参照して説明した7つの信号特徴を使用することを好むことを示す。
形態では、少なくとも1つのセンサが、生成するために使用するユーザの部位特徴の「量子化された」状態を202で判定し、次いで、203で、部位特徴のセットに対して、「量子化された因子測定値」の対応するセット(すなわち、アレイ)を変換器モジュールに送信する、実施形態内のモジュールにそのデータを送信する。204で概ね示される実施形態では、変換器モジュールは、量子化された因子測定値のアレイ(すなわち、「変化シグネチャ」)を、実施形態固有および/またはアプリケーション固有のシンボリック値に変換する。205で概ね示される実施形態では、変換器モジュールは、シンボリック値を、適切な方法で、例えば、ユーザによって編集されている文書にシンボリック値によって指定される文字を追加することを介して、処理するため、実施形態および/またはアプリケーション内の適切な「コンシューマ」に送信する。
によって使用されるカメラおよび/または他のセンサに、ユーザ200によって符号化および伝達されるシンボリック値の独立性を示す。
示的な実施形態による、異なる値の指定を常にもたらす(どちらの構成でも有効なコードが指定されていない限り、どちらの場合でも同様に非現実的である)。
図14_1は、「頭部向き追跡」システム506の実施形態を示す。この実施形態は、ユーザへの仮想目印510aの提示を制御し、ユーザの頭500a、508aが受ける回転(すなわち、回転加速度)に一致するように提示された透視図を調整する。
ユーザ700aは、図示された上げられた眉毛701a、わずかに開いた口703a、および傾いていない頭720aの結果としてシンボリック値「F」を本開示の例示的実施
形態に伝達する。ユーザ700aは、この幾何学的形状を期間「t0」の間、保持する。
、サインの各ペアの間の間隔がほぼ一定であるため、それらを区別することができる。
トコメント、または合成された話し言葉を発行する。相手の回答は、イヤーカバー1130内のスピーカを介してユーザ1100は聞くことができる。
Claims (202)
- ユーザの顔、頭、首、および/または肩の一部の状態を測定するように構成される少なくとも1つのセンサと、
前記少なくとも1つのセンサによって生成された、状態の部分的な固有測定値の少なくとも1つを、少なくとも1つのシンボリック値に変換し、前記少なくとも1つのシンボリック値の少なくとも1つを、少なくとも1つのコンピューティングデバイスの少なくとも1つのコンポーネントおよび/または挙動を変更する少なくとも1つのプロセッサに入力するよう構成される変換回路と、
を備えるシステム。 - 前記変換回路が、「特定用途向け集積回路(ASIC)」である、請求項1に記載のシステム。
- 前記変換回路は、ルックアップテーブルを利用し、前記ルックアップテーブルから、前記対応するシンボリック値を検索するために各有効なセンサの状態測定値をキーとして使用する、請求項1に記載のシステム。
- 前記変換回路は、埋込プロセッサおよびメモリを使用して、各有効なセンサの状態測定値から、前記有効なセンサの状態測定値が発見された範囲内の有効なセンサの状態測定値の予め定義された部分的な範囲のインデックスを計算し、前記インデックスをキーとして使用して、前記対応するシンボリック値を、キーと値とのペアのテーブルから検索する、請求項1に記載のシステム。
- 前記少なくとも1つのプロセッサが、構成要素および/または動作を変更する前記少なくとも1つのコンピューティングデバイスの少なくとも1つのプロセッサである、請求項1に記載のシステム。
- 前記コンピューティングデバイスが、少なくともテキストエディタの機能を提供する、請求項1に記載のシステム。
- 前記コンピューティングデバイスが、少なくとも画像編集プログラムの機能を提供する、請求項1に記載のシステム。
- 前記コンピューティングデバイスが、少なくともオンラインマルチプレイヤーゲームの機能を提供する、請求項1に記載のシステム。
- 前記変換回路が、前記少なくとも1つのプロセッサを含むか、または前記少なくとも1つのプロセッサに含まれる、請求項1に記載のシステム。
- 前記変換回路が、前記センサ内に配置される、請求項1に記載のシステム。
- 前記少なくとも1つのセンサが、カメラである、請求項10に記載のシステム。
- 前記コンピューティングデバイスが、パーソナルコンピューティングデバイスである、請求項1に記載のシステム。
- 前記パーソナルコンピューティングデバイスが、スマートフォンである、請求項12に記載のシステム。
- 前記パーソナルコンピューティングデバイスが、ラップトップまたはタブレットコンピュータである、請求項12に記載のシステム。
- 前記センサが、前記シンボリック値の前記数値識別子を、例えば、Wi−Fiを介して、前記コンピューティングデバイスに無線で送信する、請求項10に記載のシステム。
- 前記センサが、ユーザの顔の一部の前記状態を測定するようにのみ構成される、請求項1に記載のシステム。
- 前記変換回路が、別個の瞬時に集められた状態測定値を繰り返し変換するよう構成される、請求項1に記載のシステム。
- 1つまたは複数のセンサの状態測定値の特定のセットに関して、1つまたは複数のセンサの状態測定値の前記同じセットが変換されるときはいつでも、前記変換回路によって生成される前記シンボリック値が同じである、請求項17に記載のシステム。
- 前記変換回路が、有効なシンボリック値を、同シンボリック値が少なくとも2回連続して生成された後に前記少なくとも1つのプロセッサのみに入力するよう構成される、請求項1に記載のシステム。
- 前記少なくとも2回は、少なくとも3回である、請求項19に記載のシステム。
- 前記少なくとも1つのセンサの少なくとも1つが、ほぼ一定の周波数によって特徴付けられる周期で測定値を生成する、請求項1に記載のシステム。
- 前記ほぼ一定の周波数が、少なくとも1つのカメラのフレームレートにほぼ等しい、請求項21に記載のシステム。
- 前記少なくとも1つのセンサが、少なくとも1つの画像を生成する少なくとも1つのカメラを含む、請求項1に記載のシステム。
- 前記少なくとも1つのカメラが、光を捕捉し、少なくとも1つの「赤外線」波長に対応する画像を生成する、請求項23に記載のシステム。
- 前記少なくとも1つのカメラが、撮影された物体の立体画像および/または3次元モデルを生成する、請求項23に記載のシステム。
- ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記ユーザの顔、頭、首、または肩の少なくとも1対の外部特徴の間の少なくとも1つの距離に関して測定される、請求項1に記載のシステム。
- 前記少なくとも1対の外部特徴の少なくとも1つは、それぞれ、左または右の眉毛ならびに左または右の眼角である、請求項26に記載のシステム。
- 前記少なくとも1対の外部特徴のうちの少なくとも1つは、それぞれ、左または右の上まぶた、および左または右の下まぶたである、請求項26に記載のシステム。
- 前記少なくとも1対の外部特徴のうちの少なくとも1つは、上唇および下唇である、請求項26に記載のシステム。
- ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の前記頭および身体の縦軸の公称アラインメントに対して、前記少なくとも1人のユーザの少なくとも1人の前記頭の左右の傾きにおける少なくとも1つの角度に対して測定される、請求項1に記載のシステム。
- ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の前記頭および身体の縦軸の公称アラインメントに対して、前記少なくとも1人のユーザの少なくとも1人の前記頭の前後の傾きにおける少なくとも1つの角度に対して測定される、請求項1に記載のシステム。
- ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭の前方方向に対して、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭の少なくとも1つの回転角度に対して測定される、請求項1に記載のシステム。
- ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の頬が膨らむか、または凹んだ程度の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
- ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの舌が前記少なくとも1人のユーザの前記少なくとも1人の前記口から突き出されている程度の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
- ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の肩が「すくめられている」程度の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
- ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザのうちの少なくとも1人の少なくとも1対の鼻孔の総断面積または平均断面面積の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
- ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの神経の神経支配の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
- ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの筋肉の収縮の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
- 前記少なくとも1つの筋肉が、前記少なくとも1人のユーザの少なくとも1人の前記顔、頭、首、および/または少なくとも一方の肩に少なくとも部分的にある、請求項38に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが英数字である、請求項1に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが数字である、請求項1に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが句読文字である、請求項1に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが音符またはコードである、請求項1に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つがデジタル画像である、請求項1に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが単語である、請求項1に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つがフレーズである、請求項1に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが、前記システムの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの識別子である、請求項1に記載のシステム。
- 前記少なくとも1つの挙動が、前記システムの出力デバイスのうちの少なくとも1つに表示される少なくとも1つのピクセルの色の変化である、請求項47に記載のシステム。
- 前記少なくとも1つの挙動が、前記システムの少なくとも1つのスピーカによる音の放出の変化である、請求項47に記載のシステム。
- 前記少なくとも1つの挙動が、少なくとも1つの文字の変更、または前記システムのディスプレイの少なくとも1つへの少なくとも1つの文字の追加である、請求項47に記載のシステム。
- 前記少なくとも1つの挙動が、少なくとも1つのデジタル画像もしくはグラフィックの変更、または前記システムのディスプレイの少なくとも1つへの少なくとも1つのデジタル画像もしくはグラフィックの追加である、請求項47に記載のシステム。
- 前記少なくとも1つの挙動が、少なくとも部分的に金融口座について記述する情報への前記ユーザのアクセスを可能にするために、前記デバイスの少なくとも1つのユーザインターフェースを変更することである、請求項47に記載のシステム。
- 前記少なくとも1つの挙動は、前記ユーザが金融取引を開始および/または完了することを可能にするために、前記デバイスの少なくとも1つのユーザインターフェースを変更することである、請求項47に記載のシステム。
- 前記少なくとも1つの挙動は、施錠された、または他の方法により安全な、ドアの解錠である、請求項47に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つは、前記システムで実行される少なくとも1つのアプリケーションの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの前記識別子である、請求項1に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つの色である、請求項1に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つのRGB値である、請求項1に記載のシステム。
- 少なくとも1つの必要条件が満たされている場合、および満たされている場合にのみ、前記少なくとも1つのシンボリック値が、前記少なくとも1つのプロセッサに入る、請求項1に記載のシステム。
- 前記少なくとも1つの必要条件の少なくとも1つが、前記最後の少なくとも1つのシンボリック値の少なくとも1つが処理されてから少なくとも最小限の時間が経過したことである、請求項58に記載のシステム。
- 前記少なくとも1つの必要条件の少なくとも1つが、少なくとも1つのシンボリック値が成功裏にマッピングされてから少なくとも最小限の時間が経過したことである、請求項58に記載のシステム。
- 前記少なくとも1つの必要条件の少なくとも1つが、前記少なくとも1つのシンボリック値の少なくとも1つと同じか、または同等の少なくとも1つのシンボリック値を処理してから少なくとも最小限の時間が経過したことである、請求項58に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更は、少なくとも1つのディスプレイの少なくとも1つの画面上の少なくとも1つのピクセルの変更を含む、請求項1に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、少なくとも1ビットの情報を少なくとも1つの他のコンピューティングデバイスに送信することを含む、請求項1に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、前記システム内の少なくとも1ビットのメモリを変更することを含む、請求項1に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、少なくとも1つの他のコンピューティングデバイス内の少なくとも1ビットのメモリを変更することを含む、請求項1に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、少なくとも1つの音声を放出することを含む、請求項1に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、前記システム内の少なくとも1つのパラメータを修正することを含む、請求項1に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、少なくとも1つの他のコンピューティングデバイス内の少なくとも1つのパラメータを修正することを含む、請求項1に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、少なくとも1つのシステム固有コマンドを実行す
ることを含む、請求項1に記載のシステム。 - 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、前記システムのメモリ内で少なくとも1つのパスワードを構成することを含む、請求項1に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、前記システムのメモリ内で少なくとも1つのパスフレーズまたは暗号化キーを構成することを含む、請求項1に記載のシステム。
- 前記少なくとも1つの測定値の少なくとも1つが不明確であると判定した場合、前記変換回路が、前記少なくとも1つのシンボリック値の前記システムの生成および/または入力を中止するよう構成される、請求項1に記載のシステム。
- 前記不明確性は、画像内の不鮮明さである、請求項72に記載のシステム。
- 少なくとも1つのセンサを使用して、ユーザの顔、頭、首、および/または肩の内に少なくとも部分的に位置する特定の筋肉が収縮する程度を測定し、それによって、複数の筋肉の固有測定値を導出することと、
前記筋肉の固有測定値のそれぞれを量子化することと、
前記量子化された筋肉の固有測定値を、量子化された筋肉収縮の各固有の組み合わせに対する固有の合成数に組み合わせることと、
前記合成数を状況固有シンボリック値に変換することと、
前記状況固有値を使用して、デジタル情報のファイルまたはバッファ内の少なくとも1ビットを修正し、および/または少なくとも1つのコンピューティングデバイスの挙動を修正することと、
を備える、方法。 - 前記少なくとも1つのセンサが、少なくとも1つのカメラである、請求項74に記載の方法。
- 前記少なくとも1つのセンサが、少なくとも1つの電圧センサである、請求項74に記載の方法。
- 前記量子化すること、前記組み合わせること、および前記変換することが、第1のプロセッサによって行われ、前記デジタル情報のファイルまたはバッファ内の少なくとも1つのビットを変更することが、第2のプロセッサによって行われる、請求項74に記載の方法。
- 前記第1のプロセッサがカメラ内に埋め込まれ、前記第2のプロセッサがコンピューティングデバイス内に一体化される、請求項77に記載の方法。
- 前記状況固有値は、文字、単語、フレーズ、特定のデジタル画像に関連付けられた識別子、特定の音符に関連付けられた識別子、少なくとも1つのコンピューティングデバイスの挙動の少なくとも1つの態様を変更することができるコマンドの識別子である、請求項74に記載の方法。
- 前記コンピューティングデバイスが、少なくともテキストエディタの機能を提供する、請求項74に記載の方法。
- 前記コンピューティングデバイスが、少なくとも画像編集プログラムの機能を提供する、請求項74に記載の方法。
- 前記コンピューティングデバイスが、少なくともオンラインマルチプレイヤーゲームの機能を提供する、請求項74に記載の方法。
- 前記変換が、前記センサ内で行われる、請求項74に記載の方法。
- 前記少なくとも1つのセンサが、カメラである、請求項74に記載の方法。
- 前記コンピューティングデバイスが、パーソナルコンピューティングデバイスである、請求項74に記載の方法。
- 前記パーソナルコンピューティングデバイスが、スマートフォンである、請求項85に記載の方法。
- 前記パーソナルコンピューティングデバイスが、ラップトップまたはタブレットコンピュータである、請求項85に記載の方法。
- 前記測定が、別々の瞬間に行われる、請求項74に記載の方法。
- 前記少なくとも1つのセンサ測定値に対して、同じ少なくとも1つのセンサ測定値が同じ測定値によって特徴付けられる場合はいつでも、生成された前記シンボリック値が同じである、請求項74に記載の方法。
- 前記少なくとも1つのセンサの少なくとも1つが、ほぼ一定の周波数によって特徴付けられる周期で測定値を生成する、請求項74に記載の方法。
- 前記ほぼ一定の周波数が、少なくとも1つのカメラのフレームレートにほぼ等しい、請求項90に記載の方法。
- 前記少なくとも1つのセンサが、少なくとも1つの画像を生成する少なくとも1つのカメラを含む、請求項74に記載の方法。
- 前記少なくとも1つのカメラが、光を捕捉し、少なくとも1つの「赤外線」波長に対応する画像を生成する、請求項92に記載の方法。
- 前記少なくとも1つのカメラが、撮影された前記物体の立体画像および/または3次元モデルを生成する、請求項92に記載の方法。
- 前記特定の筋肉が収縮する前記程度が、前記ユーザの顔、頭、首、および/または肩の少なくとも1対の外部特徴の間の少なくとも1つの距離に関して測定される、請求項74に記載の方法。
- 前記少なくとも1対の外部特徴の少なくとも1つは、それぞれ、左または右の眉毛ならびに左または右の眼角である、請求項95に記載の方法。
- 前記少なくとも1対の外部特徴のうちの少なくとも1つは、それぞれ、左または右の上まぶた、および左または右の下まぶたである、請求項95に記載の方法。
- 前記少なくとも1対の外部特徴のうちの少なくとも1つは、上唇および下唇である、請求項95に記載の方法。
- 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭および前記身体の縦軸の公称アライメントに関して、前記少なくとも1人のユーザの少なくとも1人の前記頭の左右の傾きの少なくとも1つの角度に対して測定される、請求項74に記載の方法。
- 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭および前記身体の縦軸の公称アライメントに関して、前記少なくとも1人のユーザの少なくとも1人の前記頭の前後の傾きの少なくとも1つの角度に対して測定される、請求項74に記載の方法。
- 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭の前方方向に対して、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭の少なくとも1つの回転角度に対して測定される、請求項74に記載の方法。
- 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の頬が膨らむか、または凹んだ程度の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
- 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの舌が前記少なくとも1人のユーザの前記少なくとも1人の前記口から突き出されている程度の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
- 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の肩が「すくめられている」程度の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
- 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1対の鼻孔の総断面積または平均断面積の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
- 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの神経の神経支配の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
- 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの筋肉の収縮の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
- 前記少なくとも1つのシンボリック値の少なくとも1つが英数字である、請求項74に記載の方法。
- 前記少なくとも1つのシンボリック値の少なくとも1つが数字である、請求項74に記載の方法。
- 前記少なくとも1つのシンボリック値の少なくとも1つが句読文字である、請求項74
に記載の方法。 - 前記少なくとも1つのシンボリック値の少なくとも1つが音符またはコードである、請求項74に記載の方法。
- 前記少なくとも1つのシンボリック値の少なくとも1つがデジタル画像である、請求項74に記載の方法。
- 前記少なくとも1つのシンボリック値の少なくとも1つが単語である、請求項74に記載の方法。
- 前記少なくとも1つのシンボリック値の少なくとも1つがフレーズである、請求項74に記載の方法。
- 前記少なくとも1つのシンボリック値の少なくとも1つは、前記システムの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの前記識別子である、請求項74に記載の方法。
- 前記少なくとも1つのシンボリック値の少なくとも1つは、前記システムで実行される少なくとも1つのアプリケーションの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの前記識別子である、請求項74に記載の方法。
- 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つの色である、請求項74に記載の方法。
- 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つのRGB値である、請求項74に記載の方法。
- 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、少なくとも1つの音声を放出することを含む、請求項74に記載の方法。
- 前記少なくとも1つのシンボリック値の少なくとも1つが音符またはコードである、請求項119に記載の方法。
- 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、前記システム内の少なくとも1つのパラメータを修正することを含む、請求項74に記載の方法。
- 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、少なくとも1つの他のコンピューティングデバイス内の少なくとも1つのパラメータを修正することを含む、請求項74に記載の方法。
- 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、少なくとも1つのシステム固有コマンドを実行することを含む、請求項74に記載の方法。
- 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、前記システムのメモリ内に少なくとも1つのパスワードを構成することを含む、請求項74に記載の方法。
- 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、前記システムのメモリ内に少なくとも1つのパスフレーズまたは暗号化キーを構成することを含む
、請求項74に記載の方法。 - 少なくとも1人のユーザの顔、頭、首、および/または肩の幾何学的形状における少なくとも1つの変化と同時に変化する少なくとも1つの因子に関連するデータの少なくとも1つのブロックを捕捉するように構成された少なくとも1つのセンサであって、少なくとも1つの幾何学的変化は、前記少なくとも1人のユーザによる、前記少なくとも1人のユーザの少なくとも1つの神経の神経支配を介して発現し、前記少なくとも1つの神経の前記神経支配は、少なくとも1つの筋肉の収縮をもたらし、前記少なくとも1つの筋肉の前記収縮は、少なくとも1人のユーザの顔、頭、首、および/または肩の前記幾何学的形状の前記少なくとも1つの変化の前記発現に、少なくとも部分的に、寄与する、センサと、
データの前記少なくとも1つのブロックの少なくとも1つの部分から少なくとも1つの因子固有測定値を判定する手段と、
少なくとも1つの「量子化因子尺度」を生成するために、前記少なくとも1人のユーザの少なくとも1人の前記少なくとも1つの因子固有測定値の各々を量子化する手段と、
前記少なくとも1つの量子化因子尺度を少なくとも1つのユーザ固有の「変化シグネチャ」に変換する手段と、
前記少なくとも1つの変化シグネチャを少なくとも1つの「シンボリック値」にマッピングする手段と、
前記少なくとも1つのシンボリック値を処理する手段と、
を備える、システム。 - 前記判定する手段、前記量子化する手段、前記変換する手段、および前記マッピングする手段を含む第1のプロセッサと、前記処理する手段を含む第2のプロセッサとをさらに備える、請求項126に記載のシステム。
- 前記第1および第2のプロセッサの両方がコンピューティングデバイス内にある、請求項127に記載のシステム。
- 前記第1のプロセッサがセンサ内にあり、前記第2のプロセッサがコンピューティングデバイス内にある、請求項127に記載のシステム。
- 前記センサが、カメラである、請求項129に記載のシステム。
- 前記コンピューティングデバイスが、スマートフォンである、請求項129に記載のシステム。
- 前記コンピューティングデバイスが、タブレットコンピュータまたはラップトップである、請求項129に記載のシステム。
- 前記少なくとも1つのセンサの前記少なくとも1つが、ほぼ一定の周波数によって特徴付けられる周期で測定値を生成する、請求項126に記載のシステム。
- 前記ほぼ一定の周波数が、少なくとも1つのカメラのフレームレートにほぼ等しい、請求項133に記載のシステム。
- 前記少なくとも1つのセンサが、少なくとも1つの画像を生成する少なくとも1つのカメラを含む、請求項126に記載のシステム。
- 前記少なくとも1つのカメラが、光を捕捉し、少なくとも1つの「可視」波長に対応する画像を生成する、請求項135に記載のシステム。
- 前記少なくとも1つのカメラが、光を捕捉し、少なくとも1つの「赤外線」波長に対応する画像を生成する、請求項135に記載のシステム。
- 前記少なくとも1つのカメラが、撮影された前記物体の立体画像および/または3次元モデルを生成する、請求項135に記載のシステム。
- 前記少なくとも1つのセンサが、少なくとも1つの電圧センサを含む、請求項126に記載のシステム。
- 前記少なくとも1つのセンサが、少なくとも1つの電流センサを含む、請求項126に記載のシステム。
- 前記少なくとも1つのセンサが、少なくとも1つのキャパシタンスセンサを含む、請求項126に記載のシステム。
- 前記少なくとも1つのセンサが、少なくとも1つの磁気センサを含む、請求項126に記載のシステム。
- 前記少なくとも1つのセンサが、少なくとも1つのねじれセンサを含む、請求項126に記載のシステム。
- 前記少なくとも1つのセンサが、少なくとも1つの伸びセンサを含む、請求項126に記載のシステム。
- 前記少なくとも1つのセンサが、少なくとも1つの加速度計を含む、請求項126に記載のシステム。
- 前記少なくとも1つのデータブロックの少なくとも1つがデジタル画像である、請求項126に記載のシステム。
- 前記少なくとも1つのデータブロックの少なくとも1つが電圧である、請求項126に記載のシステム。
- 前記少なくとも1つの因子の少なくとも1つが、前記ユーザの顔、頭、首、および/または肩の少なくとも1対の外部特徴の間の少なくとも1つの距離である、請求項126に記載のシステム。
- 前記少なくとも1対の外部特徴の少なくとも1つは、それぞれ、左または右の眉毛ならびに左または右の眼角である、請求項148に記載のシステム。
- 前記少なくとも1対の外部特徴のうちの少なくとも1つは、それぞれ、左または右の上まぶた、および左または右の下まぶたである、請求項148に記載のシステム。
- 前記少なくとも1対の外部特徴のうちの少なくとも1つは、上唇および下唇である、請求項148に記載のシステム。
- 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の前記頭および身体の縦軸の公称アラインメントに対して、前記少なくとも1人のユーザの少なくとも1人の前記頭の左右の傾きにおける少なくとも1つの角度である、
請求項126に記載のシステム。 - 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の前記頭および身体の縦軸の前記公称アラインメントに対して、前記少なくとも1人のユーザの少なくとも1人の前記頭の前後の傾きにおける少なくとも1つの角度である、請求項126に記載のシステム。
- 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザのうちの少なくとも1人の頭の前方方向に対して、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭の少なくとも1つの回転角度である、請求項126に記載のシステム。
- 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の頬が膨らむか、または凹んだ程度の少なくとも1つの尺度に対して測定される、請求項126に記載のシステム。
- 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの舌が前記少なくとも1人のユーザの前記少なくとも1人の口から突き出されている程度の少なくとも1つの尺度である、請求項126に記載のシステム。
- 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の肩が「すくめられている」程度の少なくとも1つの尺度に対して測定される、請求項126に記載のシステム。
- 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザのうちの少なくとも1人の少なくとも1対の鼻孔の総断面積または平均断面面積の少なくとも1つの尺度である、請求項126に記載のシステム。
- 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの神経の神経支配の少なくとも1つの尺度である、請求項126に記載のシステム。
- 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの筋肉の収縮の少なくとも1つの尺度である、請求項126に記載のシステム。
- 前記少なくとも1つの筋肉は、前記少なくとも1人のユーザの少なくとも1人の前記顔、頭、首、および/または少なくとも一方の肩に少なくとも部分的にある、請求項160に記載のシステム。
- 前記判定する手段が、少なくとも1つの因子分析モジュールを含む、請求項126に記載のシステム。
- 前記判定する手段が、少なくとも1つの画像分析モジュールを含む、請求項126に記載のシステム。
- 前記少なくとも1つの画像分析モジュールの少なくとも1つが、少なくとも1対の相補的な外部特徴の分離を判定する、請求項163に記載のシステム。
- 前記少なくとも1つの画像分析モジュールの少なくとも1つが、少なくとも1つのユーザの頭の前記左右の傾きを判定する、請求項163に記載のシステム。
- 前記少なくとも1つの画像分析モジュールの少なくとも1つが、少なくとも1つのユーザの頭の前後の傾きを判定する、請求項163に記載のシステム。
- 前記少なくとも1つの画像分析モジュールの少なくとも1つが、少なくとも1つのユーザの頭の縦軸の周りの回転を判定する、請求項163に記載のシステム。
- 因子固有測定を前記量子化することが、前記対応する量子化因子尺度を、前記因子固有測定値に対する少なくとも1つの因子固有微分値を含む因子固有微分値の少なくとも1つの範囲に対応する少なくとも1つのインデックスに等しく設定することを含む、請求項126に記載のシステム。
- 前記因子固有微分値が、それらが導出された前記因子固有測定値と等しい、請求項168に記載のシステム。
- 各因子固有微分値が、因子固有ベースライン測定値に対する元の前記因子固有測定値の比に等しい、請求項168に記載のシステム。
- 因子固有微分値の前記少なくとも1つの範囲が、全ての有効な同一の因子固有微分値を含む因子固有微分値の範囲の一部に対応する、請求項170に記載のシステム。
- 前記因子固有ベースライン測定値が、前記少なくとも1人のユーザのうちの少なくとも1人の特徴であり、前記少なくとも1人のユーザの少なくとも1人にカスタマイズされる、請求項170に記載のシステム。
- 前記少なくとも1つの変化シグネチャが、少なくとも1つの量子化された因子尺度の配列によって定義されるか、またはそれと同等である、請求項170に記載のシステム。
- 前記少なくとも1つの量子化因子尺度を少なくとも1つのユーザ固有の変化シグネチャに変換することが、前記少なくとも1つの変化シグネチャアレイ内の少なくとも1つの特定位置に少なくとも1つの特定因子固有の量子化因子尺度をコピーすることを含む、請求項173に記載のシステム。
- 前記マッピングが、前記少なくとも1つの変化シグネチャのうちの少なくとも1つと一致する、少なくとも1つの基準変化シグネチャの少なくとも1つのリスト内の、基準変化シグネチャの少なくとも1つのインデックスを判定することと、少なくとも1つのシンボリック値の少なくとも1つのリストから、同じ少なくとも1つのインデックスと関連する前記少なくとも1つのシンボリック値を検索することと、を含む、請求項126に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが英数字である、請求項126に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが数字である、請求項126に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが句読文字である、請求項126に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが音符またはコードである、請求項126に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つがデジタル画像である、請求項126に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが単語である、請求項126に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つがフレーズである、請求項126に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つは、前記システムの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの識別子である、請求項126に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つは、前記システムで実行される少なくとも1つのアプリケーションの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの前記識別子である、請求項126に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つの色である、請求項126に記載のシステム。
- 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つのRGB値である、請求項126に記載のシステム。
- 少なくとも1つの必要条件が満たされている場合、および満たされている場合にのみ、前記処理が行われる、請求項126に記載のシステム。
- 前記少なくとも1つの必要条件の少なくとも1つが、前記最後の少なくとも1つのシンボリック値の少なくとも1つが処理されてから少なくとも最小限の時間が経過したことである、請求項187に記載のシステム。
- 前記少なくとも1つの必要条件の少なくとも1つが、少なくとも1つのシンボリック値が成功裏にマッピングされてから少なくとも最小限の時間が経過したことである、請求項187に記載のシステム。
- 前記少なくとも1つの必要条件の少なくとも1つが、前記少なくとも1つのシンボリック値の少なくとも1つと同じか、または同等の少なくとも1つのシンボリック値を処理してから少なくとも最小限の時間が経過したことである、請求項187に記載のシステム。
- 前記処理が、少なくとも1つのディスプレイの少なくとも1つの画面上の少なくとも1つのピクセルの変更を含む、請求項126に記載のシステム。
- 前記処理が、少なくとも1ビットの情報を少なくとも1つの他のコンピューティングデバイスに送信することを含む、請求項126に記載のシステム。
- 前記処理が、前記システム内のメモリの少なくとも1ビットを変更することを含む、請求項126に記載のシステム。
- 前記処理が、少なくとも1つの他のコンピューティングデバイス内のメモリの少なくとも1ビットを変更することを含む、請求項126に記載のシステム。
- 前記処理は、少なくとも1つの音声を放出することを含む、請求項126に記載のシステム。
- 前記処理が、前記システム内の少なくとも1つのパラメータを修正することを含む、請求項126に記載のシステム。
- 前記処理が、少なくとも1つの他のコンピューティングデバイス内の少なくとも1つのパラメータを修正することを含む、請求項126に記載のシステム。
- 前記処理が、少なくとも1つのシステム固有コマンドを実行することを含む、請求項126に記載のシステム。
- 前記処理が、前記システムのメモリ内の少なくとも1つのパスワードを構成することを含む、請求項126に記載のシステム。
- 前記処理が、前記システムのメモリ内の少なくとも1つのパスフレーズまたは暗号化キーを構成することを含む、請求項126に記載のシステム。
- 前記判定する手段は、少なくとも1つのデータブロックの不明確性が、前記少なくとも1つのデータブロックが捕捉されていた間に変化した前記幾何学的形状の前記少なくとも1つの変化の少なくとも1つと一致すると判定した場合に、前記少なくとも1つのシンボリック値の少なくとも1つの前記システムによる生成および/または処理を中止するよう構成される、請求項126に記載のシステム。
- 前記判定する手段が、安定した幾何学的形状を示す前記因子固有測定値と、前記幾何学的形状に対する初期のおよび/または不完全な変化を示すものとを区別し、前記幾何学的形状が安定していない場合に前記少なくとも1つのシンボリック値の少なくとも1つの前記システムによる生成および/または処理を中止するよう構成される、請求項126に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023076997A JP2023100878A (ja) | 2015-01-31 | 2023-05-09 | 顔の幾何学的形状の歪みによるコンピュータの制御 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562125758P | 2015-01-31 | 2015-01-31 | |
US62/125,758 | 2015-01-31 | ||
JP2017559280A JP2018505505A (ja) | 2015-01-31 | 2016-02-01 | 顔の幾何学的形状の歪みによるコンピュータの制御 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017559280A Division JP2018505505A (ja) | 2015-01-31 | 2016-02-01 | 顔の幾何学的形状の歪みによるコンピュータの制御 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023076997A Division JP2023100878A (ja) | 2015-01-31 | 2023-05-09 | 顔の幾何学的形状の歪みによるコンピュータの制御 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021114317A true JP2021114317A (ja) | 2021-08-05 |
Family
ID=56544482
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017559280A Pending JP2018505505A (ja) | 2015-01-31 | 2016-02-01 | 顔の幾何学的形状の歪みによるコンピュータの制御 |
JP2021070872A Pending JP2021114317A (ja) | 2015-01-31 | 2021-04-20 | 顔の幾何学的形状の歪みによるコンピュータの制御 |
JP2023076997A Pending JP2023100878A (ja) | 2015-01-31 | 2023-05-09 | 顔の幾何学的形状の歪みによるコンピュータの制御 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017559280A Pending JP2018505505A (ja) | 2015-01-31 | 2016-02-01 | 顔の幾何学的形状の歪みによるコンピュータの制御 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023076997A Pending JP2023100878A (ja) | 2015-01-31 | 2023-05-09 | 顔の幾何学的形状の歪みによるコンピュータの制御 |
Country Status (5)
Country | Link |
---|---|
US (5) | US10234938B2 (ja) |
EP (1) | EP3251057A4 (ja) |
JP (3) | JP2018505505A (ja) |
CA (1) | CA2975124C (ja) |
WO (1) | WO2016123635A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016123635A1 (en) * | 2015-01-31 | 2016-08-04 | Brian Lee Moffat | Control of a computer via distortions of facial geometry |
US10504229B2 (en) * | 2016-10-28 | 2019-12-10 | Canon Medical Systems Corporation | Medical image processing apparatus and medical image processing method |
GB2560340A (en) * | 2017-03-07 | 2018-09-12 | Eyn Ltd | Verification method and system |
KR20180115599A (ko) * | 2017-04-13 | 2018-10-23 | 인하대학교 산학협력단 | 발화 개선을 위한 두경부 물리 특성 기반의 가이드 및 피드백 시스템 |
JP6298919B1 (ja) * | 2017-06-07 | 2018-03-20 | スマート ビート プロフィッツ リミテッド | データベースの構築方法及びデータベース |
US10300373B2 (en) * | 2017-09-08 | 2019-05-28 | Niantic, Inc. | Methods and systems for generating detailed datasets of an environment via gameplay |
US11273836B2 (en) * | 2017-12-18 | 2022-03-15 | Plusai, Inc. | Method and system for human-like driving lane planning in autonomous driving vehicles |
EP3611896B1 (de) * | 2018-08-13 | 2022-08-31 | Löwenstein Medical Technology S.A. | Sichere kommunikation zwischen einem server und einem beatmungssystem |
EP3640951A1 (en) * | 2018-10-15 | 2020-04-22 | Siemens Healthcare GmbH | Evaluating a condition of a person |
JP7240155B2 (ja) * | 2018-12-06 | 2023-03-15 | 日本光電工業株式会社 | 容態変化判別方法、容態変化判別装置、当該装置又は方法に用いられるプログラム及びコンピュータ可読媒体 |
US11099642B2 (en) * | 2019-08-01 | 2021-08-24 | International Business Machines Corporation | Display adaptation for visual impairment |
TWI727395B (zh) * | 2019-08-15 | 2021-05-11 | 亞東技術學院 | 語言發音學習系統及方法 |
US20230015224A1 (en) * | 2020-01-14 | 2023-01-19 | Hewlett-Packard Development Company, L.P. | Face orientation-based cursor positioning on display screens |
JP7266688B2 (ja) * | 2020-05-21 | 2023-04-28 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ユーザインタラクション方法、装置、機器および媒体 |
US11941161B2 (en) | 2020-07-03 | 2024-03-26 | Augmental Technologies Inc. | Data manipulation using remote augmented sensing |
KR102426792B1 (ko) * | 2020-09-16 | 2022-07-29 | 한양대학교 산학협력단 | 무음 발화 인식 방법 및 장치 |
KR20220118583A (ko) * | 2021-02-18 | 2022-08-26 | 삼성전자주식회사 | 안면 인장 데이터를 사용한 음성 인식 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009098901A (ja) * | 2007-10-16 | 2009-05-07 | Nippon Telegr & Teleph Corp <Ntt> | 表情検出方法及び装置及びプログラム |
JP2010134057A (ja) * | 2008-12-02 | 2010-06-17 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2013110662A (ja) * | 2011-11-24 | 2013-06-06 | Seiko Epson Corp | 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法 |
US20130300650A1 (en) * | 2012-05-09 | 2013-11-14 | Hung-Ta LIU | Control system with input method using recognitioin of facial expressions |
US20140139424A1 (en) * | 2012-11-22 | 2014-05-22 | Wistron Corporation | Facial expression control system, facial expression control method, and computer system thereof |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US234938A (en) * | 1880-11-30 | aston | ||
GB0103349D0 (en) * | 2001-02-10 | 2001-03-28 | Ibm | Facilitated user interface |
US6879709B2 (en) * | 2002-01-17 | 2005-04-12 | International Business Machines Corporation | System and method for automatically detecting neutral expressionless faces in digital images |
EP1394727B1 (en) | 2002-08-30 | 2011-10-12 | MVTec Software GmbH | Hierarchical component based object recognition |
US7391888B2 (en) * | 2003-05-30 | 2008-06-24 | Microsoft Corporation | Head pose assessment methods and systems |
US7554549B2 (en) * | 2004-10-01 | 2009-06-30 | Sony Corporation | System and method for tracking facial muscle and eye motion for computer graphics animation |
US8269834B2 (en) * | 2007-01-12 | 2012-09-18 | International Business Machines Corporation | Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream |
JP4823970B2 (ja) * | 2007-05-24 | 2011-11-24 | オリンパスイメージング株式会社 | 画像編集装置 |
AU2011318719B2 (en) | 2010-10-21 | 2015-07-02 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing an emotion of an individual based on facial action units |
CN102637071A (zh) * | 2011-02-09 | 2012-08-15 | 英华达(上海)电子有限公司 | 应用于多媒体输入设备的多媒体输入方法 |
US8922481B1 (en) * | 2012-03-16 | 2014-12-30 | Google Inc. | Content annotation |
US9031293B2 (en) | 2012-10-19 | 2015-05-12 | Sony Computer Entertainment Inc. | Multi-modal sensor based emotion recognition and emotional interface |
WO2014205422A2 (en) * | 2013-06-20 | 2014-12-24 | Parshionikar Uday | Systems, methods, apparatuses, computer readable medium for controlling electronic devices |
US9734410B2 (en) * | 2015-01-23 | 2017-08-15 | Shindig, Inc. | Systems and methods for analyzing facial expressions within an online classroom to gauge participant attentiveness |
WO2016123635A1 (en) * | 2015-01-31 | 2016-08-04 | Brian Lee Moffat | Control of a computer via distortions of facial geometry |
US10025972B2 (en) * | 2015-11-16 | 2018-07-17 | Facebook, Inc. | Systems and methods for dynamically generating emojis based on image analysis of facial features |
-
2016
- 2016-02-01 WO PCT/US2016/016024 patent/WO2016123635A1/en active Application Filing
- 2016-02-01 US US15/546,929 patent/US10234938B2/en active Active
- 2016-02-01 EP EP16744287.0A patent/EP3251057A4/en active Pending
- 2016-02-01 JP JP2017559280A patent/JP2018505505A/ja active Pending
- 2016-02-01 CA CA2975124A patent/CA2975124C/en active Active
-
2019
- 2019-01-29 US US16/260,568 patent/US10754424B2/en active Active
-
2020
- 2020-08-11 US US16/990,917 patent/US11275435B2/en active Active
-
2021
- 2021-04-20 JP JP2021070872A patent/JP2021114317A/ja active Pending
-
2022
- 2022-02-10 US US17/669,170 patent/US11928255B2/en active Active
-
2023
- 2023-05-09 JP JP2023076997A patent/JP2023100878A/ja active Pending
- 2023-12-12 US US18/537,776 patent/US20240134446A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009098901A (ja) * | 2007-10-16 | 2009-05-07 | Nippon Telegr & Teleph Corp <Ntt> | 表情検出方法及び装置及びプログラム |
JP2010134057A (ja) * | 2008-12-02 | 2010-06-17 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2013110662A (ja) * | 2011-11-24 | 2013-06-06 | Seiko Epson Corp | 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法 |
US20130300650A1 (en) * | 2012-05-09 | 2013-11-14 | Hung-Ta LIU | Control system with input method using recognitioin of facial expressions |
US20140139424A1 (en) * | 2012-11-22 | 2014-05-22 | Wistron Corporation | Facial expression control system, facial expression control method, and computer system thereof |
Also Published As
Publication number | Publication date |
---|---|
CA2975124C (en) | 2024-02-13 |
US20190243447A1 (en) | 2019-08-08 |
US20220229489A1 (en) | 2022-07-21 |
EP3251057A4 (en) | 2018-06-27 |
US10754424B2 (en) | 2020-08-25 |
US11275435B2 (en) | 2022-03-15 |
US20240134446A1 (en) | 2024-04-25 |
US10234938B2 (en) | 2019-03-19 |
EP3251057A1 (en) | 2017-12-06 |
US20180164879A1 (en) | 2018-06-14 |
US11928255B2 (en) | 2024-03-12 |
WO2016123635A1 (en) | 2016-08-04 |
JP2023100878A (ja) | 2023-07-19 |
US20200401215A1 (en) | 2020-12-24 |
CA2975124A1 (en) | 2016-08-04 |
JP2018505505A (ja) | 2018-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021114317A (ja) | 顔の幾何学的形状の歪みによるコンピュータの制御 | |
Marks | The unity of the senses: Interrelations among the modalities | |
KR101680995B1 (ko) | 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템 | |
JP7468356B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN107978303A (zh) | 智能钢琴的智能检测和反馈系统 | |
CN101821699B (zh) | 涉及脑计算机接口的改进 | |
CN109976513B (zh) | 一种系统界面设计方法 | |
US9401157B2 (en) | Customizable system and device for defining voice dimensions and methods of use | |
EP3605421A1 (en) | Communication analysis device, measurement/feedback device used therefor, and interaction device | |
WO2021090817A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2024012497A (ja) | コミュニケーション方法及びシステム | |
US9449521B2 (en) | Method for using virtual facial and bodily expressions | |
CN114514563A (zh) | 在电子设备上创建最佳工作、学习和休息环境 | |
Nakayama et al. | The sound of smile: Auditory biofeedback of facial EMG activity | |
JP7066115B2 (ja) | パブリックスピーキング支援装置、及びプログラム | |
Valenti et al. | Sonify your face: facial expressions for sound generation | |
US20190197126A1 (en) | Systems and methods to facilitate bi-directional artificial intelligence communications | |
CN113633870A (zh) | 情绪状态调节系统及方法 | |
Grond et al. | A supercollider class for vowel synthesis and its use for sonification | |
US20230386155A1 (en) | Virtual, augmented or mixed reality instrument teaching system and method | |
Sun | Real-time Sonification of muscle tension for piano players | |
Chen et al. | Experiential media systems–the biofeedback project | |
CN112634843A (zh) | 一种以声音方式表达数据的信息生成方法与装置 | |
JP2024051776A (ja) | プログラム、情報処理装置及び情報処理方法 | |
Del Piccolo | Multisensory feedback for interactive surfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210519 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210519 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230110 |