JP2021114317A - 顔の幾何学的形状の歪みによるコンピュータの制御 - Google Patents

顔の幾何学的形状の歪みによるコンピュータの制御 Download PDF

Info

Publication number
JP2021114317A
JP2021114317A JP2021070872A JP2021070872A JP2021114317A JP 2021114317 A JP2021114317 A JP 2021114317A JP 2021070872 A JP2021070872 A JP 2021070872A JP 2021070872 A JP2021070872 A JP 2021070872A JP 2021114317 A JP2021114317 A JP 2021114317A
Authority
JP
Japan
Prior art keywords
user
head
computing device
sensor
symbolic value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021070872A
Other languages
English (en)
Inventor
モファット,ブライアン,リー
Lee Moffat Brian
イン チェン,リン
Rin In Chen
イン チェン,リン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2021114317A publication Critical patent/JP2021114317A/ja
Priority to JP2023076997A priority Critical patent/JP2023100878A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】ユーザを視覚的注意をシステム以外のものに自由に集中させるシステム及び方法を提供する。【解決手段】1つまたは複数のセンサによって提供されるデータを用いて、顔、頭、首、および/または肩の部分の幾何学的形状のユーザの変化を検出するシステムであって、各変化の程度を判定し、それを各変化の可能な最大範囲に関して正規化して、各部分に固有の変化に、その程度を示す数値スコアを割り当てる。正規化された部分固有スコアは、同時実行された幾何学的変化の完全な集合を表す合成数値コードを生成するよう結合される。各合成コードは、実行されるアプリケーションによってか又はユーザによって、定義された適切なコンテキストに対して、翻訳又は解釈される。各合成コードは、特定の英数字、色、音符などと解釈されるか又ははそれらに割り当てられる。【選択図】なし

Description

(対応する記載無し)
(関連出願の相互参照)
本出願は、2015年1月31日に出願された同時係属仮出願第62/125,758号の出願日の利益を主張し、その全体の内容は参照により本明細書に組み込まれる。
今日、コンピュータ化されたデバイスが一般的である。そのようなデバイスには、書類の編集、口頭情報の交換(例えば「電話」)、デジタルグラフィックスおよび写真の作成および表示、金融取引(例えば、「現金自動預け払い機(ATM)」および「店舗販売時点情報管理(POS)ターミナル」)、インタラクティブゲームおよびマルチプレイヤゲームのプレイなどが含まれる。ユーザは、通常、物理的なデバイスの制御を介して、これらのコンピュータ化されたデバイスと対話し、制御し、データを送信する。例としては、ユーザが、物理キーボードのキーを押すこと、仮想キーボードが表示されている場合に画面をタッチすること、コンピュータマウスなどを手で動かすことなどが挙げられる。また、ユーザは、口頭のコマンドやデータを話すことによって、コンピュータ化されたデバイスと対話する。
(対応する記載無し)
本明細書で開示するシステムは、ユーザの顔、頭、首、および/または肩の一部の状態を測定するように構成された少なくとも1つのセンサと、少なくとも1つのセンサによって生成された状態の部分固有測定値の少なくとも1つを、少なくとも1つのシンボリック値に変換し、少なくとも1つのシンボリック値の少なくとも1つを、少なくとも1つのコンピューティングデバイスの少なくとも1つのコンポーネントおよび/または挙動を変更する少なくとも1つのプロセッサに入力するよう構成される変換回路と、を含むシステムである。
本明細書では、(a)少なくとも1人のユーザの顔、頭、首、および/または肩の幾何学的形状における少なくとも1つの変化と同時に変化する少なくとも1つの因子に関連するデータの少なくとも1つのブロックを捕捉するように構成された少なくとも1つのセンサであって、少なくとも1つの幾何学的変化は、少なくとも1人のユーザによる、少なくとも1人のユーザの少なくとも1つの神経の神経支配を介して発現し、少なくとも1つの神経の神経支配(神経分布)は、少なくとも1つの筋肉の収縮をもたらし、少なくとも1つの筋肉の収縮は、少なくとも1人のユーザの顔、頭、首、および/または肩の幾何学的形状の少なくとも1つの変化の発現に、少なくとも部分的に、寄与する、センサと、(b)データの少なくとも1つのブロックの少なくとも1つの少なくとも1つの部分から少なくとも1つの因子固有測定値を判定する手段と、(c)少なくとも1人のユーザの少なくとも1人の少なくとも1つの因子固有測定値の各々を量子化して、少なくとも1つの「量子化因子尺度」を生成する手段と、(d)少なくとも1つの量子化因子尺度を少なくとも1つのユーザ固有の「変化シグネチャ」に変換する手段と、(e)少なくとも1つの変化シグネチャを少なくとも1つの「シンボリック値」にマッピングする手段と、(f)少なくとも1つのシンボリック値を処理する手段と、を含むシステムを開示する。このシステ
ムはさらに、判定手段、量子化手段、変換手段、およびマッピング手段を含む第1のプロセッサと、処理手段を含む第2のプロセッサとを含むことができる。
さらに、本明細書は、少なくとも1つのセンサを使用して、ユーザの顔、頭、首、および/または肩の内に少なくとも部分的に位置する特定の筋肉が収縮する程度を測定し、それによって複数の筋肉の固有測定値を導出することと、筋肉の固有測定値のそれぞれを量子化することと、量子化された筋肉の固有測定値を、量子化された筋肉収縮の各固有の組み合わせに対して固有の合成数に組み合わせることと、合成数を状況固有シンボリック値に変換することと、状況固有値を使用して、デジタル情報のファイルまたはバッファ内の少なくとも1ビットを修正し、および/または少なくとも1つのコンピューティングデバイスの挙動を修正することと、を含む方法を開示する。
本明細書では、1つまたは複数のセンサによって提供されるデータを用いて、顔、頭、首、および/または肩の部分の幾何学的形状のユーザによる変化を検出するシステムを、さらに開示する。各変化の程度を判定し、各変化の可能な最大範囲に関して正規化して、各部分に固有の変化に、その程度を示す数値スコアを割り当てる。正規化された部分固有スコアは、同時実行された幾何学的変化の完全な集合を表す合成数値コードを生成するよう結合される。各合成コードは、実施形態によって、実施形態で実行されるアプリケーションによって、またはユーザによって、定義された適切なコンテキストに対して、翻訳または解釈される。たとえば、各合成コードは、特定の英数字、色、音符などと解釈され、またはそれらに割り当てられることがある。このシステムを使用することにより、ユーザは、データおよび/またはコマンドをコンピュータ化されたデバイスに通信し、一方、他のタスクのためにユーザの手および声を十分に使用し、視覚的注意をシステム以外のものに自由に集中させることができる。
本発明の性質および目的を完全に理解するために、添付図面に関連して以下の詳細な説明を参照すべきである。
本開示の例示的な実施形態を示す図である。ユーザは、顔、頭、首、および肩の曲がりのみを使用して、実施形態のオペレーティングシステム用または本実施形態内で動作するアプリケーション用のコマンドを生成している。 人体の筋肉および他の特徴の相対的な位置ならびにそれらの特徴の転位の方向を定義および説明するために使用される矢状面、正面、および横断面の図である。 人間の顔の幾何学的形状に対して表情、動き、および変化を引き起こす筋肉の一部の図である。この図は、1909年に出版された「Sobotta’s Atlas and Text−book of Human Anatomy」で見られる。図は、K.HajekとA.Schmitsonとによって作成された。 本開示の例示的な実施形態によって使用される7つのユーザ制御身体信号の図である。この図は、これらの信号を特徴付けることを意図したに過ぎないが、図が、実施形態に組み込まれた、または実施形態に接続されたカメラによって取り込まれる可能性のある画像の種類を表すものであると想像してもよい。 図4に示した同じユーザの図であり、そのユーザが例示的な実施形態に信号を通信し、信号値を生成している場合の図である。 本開示の例示的な実施形態を示す図である。ユーザは、4つの信号の動きのみを用いて音楽を生成している。ユーザが4つの信号を指定する筋肉収縮が検出され、皮膚に取り付けられたセンサで測定される。 本開示の例示的な実施形態を示す図である。ユーザは、自身の顔、頭、首、および肩の幾何学的形状の選択された部位の転位のみを用いてテキスト(例えば、テキストメッセージ)を生成している。 本開示の例示的な実施形態を使用するユーザの図であり、本デバイスは、サイズがスマートフォンと同様である。 本開示の例示的な実施形態によって実行されるステップのいくつかを示すフローチャートであり、ユーザがコマンドおよび/またはデータを本実施形態、そのオペレーティングシステム、および/または本実施形態の中で実行されているアプリケーションに(すなわち、「コンシューマ」に)「信号」の生成を通じて入力することを可能にする。その後、コンシューマは各合成信号値を処理する。 本開示の例示的な実施形態によって実行されるステップのいくつかを示すフローチャートであり、ユーザがコマンドおよび/またはデータを本実施形態、そのオペレーティングシステム、および/または本実施形態の中で実行されているアプリケーションに(すなわち、「コンシューマ」に)「信号」の生成を通じて入力することを可能にする。この実施形態では、ユーザは、ユーザの好みを指定する、例えば、ユーザが好む信号特徴を指定する、ファイルを用いて初期化することによって、符号器をカスタマイズすることができる。 「顔追跡」、「眼球追跡」、および/または「網膜追跡」システムと本開示との間の相違を示す図である。 「顔追跡」、「眼球追跡」、および/または「網膜追跡」システムと本開示との間の相違を示す図である。 「顔追跡」、「眼球追跡」、および/または「網膜追跡」システムと本開示との間の相違を示す図である。 「顔追跡」、「眼球追跡」、および/または「網膜追跡」システムと本開示との間の相違を示す図である。図11_1および図11_2に示すように、ユーザの顔、身体、および/または「凝視の方向」の向きの変化は、システムの視点からのユーザの外見の変化に応じて、システムに入力される値(例えば、カーソルの水平(y)スクリーン座標)を変更するのに十分である。 対照的に、図11_3および図11_4に示すように、ユーザの顔、身体、および/または「凝視の方向」の向きの変化は、ユーザの顔および/または身体の空間構成に対して本開示の例示的実施形態内で生成される値を変化させるのに充分ではなく、ユーザ自身に対する、ユーザの顔および/または身体の空間構成の変化のみが、符号化される値を変化させることができる。 「顔追跡」、「眼球追跡」、および/または「網膜追跡」システムと本開示との間の相違を示す図である。 「顔追跡」、「眼球追跡」、および/または「網膜追跡」システムと本開示との間の相違を示す図である。 「顔追跡」、「眼球追跡」、および/または「網膜追跡」システムと本開示との間の相違を示す図である。 「顔追跡」、「眼球追跡」、および/または「網膜追跡」システムと本開示との間の相違を示す図である。図12_1および図12_2に示すように、網膜追跡システムおよび/またはそのカメラに対するユーザの顔および/または身体の向きの変更は、「凝視の方向」の「補完的な」変更と一致する場合、同じ値(例えば、カーソルの水平(y)スクリーン座標)の指定をもたらすことができる。 対照的に、図12_3および図12_4に示されるように、ユーザの身体の固有の基準フレームに対する、ユーザの顔および/または身体部分の空間構成の変化は、本開示の例示的な実施形態による、異なる値の指定を常にもたらす(どちらの構成でも有効なコードが指定されていない限り、どちらの場合でも同様に非現実的である)。 ユーザが実施形態および/またはそのカメラに対して移動することに応答して、本開示の例示的な実施形態によって解釈される値における不変性を示す図である。 ユーザが実施形態および/またはそのカメラに対して移動することに応答して、本開示の例示的な実施形態によって解釈される値における不変性を示す図である。 ユーザが実施形態および/またはそのカメラに対して移動することに応答して、本開示の例示的な実施形態によって解釈される値における不変性を示す図である。 絶対的(すなわち地球に対する)または相対的(すなわち、実施形態、デバイス、および/またはそのカメラに対する)に、ユーザの加速度に応答して、本開示の例示的な実施形態によって解釈される値の不変性を示す図である。 絶対的(すなわち地球に対する)または相対的(すなわち、実施形態、デバイス、および/またはそのカメラに対する)に、ユーザの加速度に応答して、本開示の例示的な実施形態によって解釈される値の不変性を示す図である。図14_1に示すような「頭部方向追跡」システムは、ユーザ、ユーザの頭、ならびに/もしくはシステム、デバイス、および/またはそのカメラの加速度(絶対的および/または相対的)に応答して、システムに入力される値、および/またはそれらの値のシステムの解釈を変化させる。 対照的に、本開示の例示的な実施形態は、ユーザの本来の基準身体フレーム(単数または複数)に対してユーザによって生成された(顔、頭、身体などの)空間構成に応じてのみ入力を生成する。したがって、この例示的な実施形態に関して、ユーザ、ユーザの頭、ならびに/もしくは実施形態および/またはそのカメラの加速度(絶対的および/または相対的)は、ユーザの顔、頭、身体などの空間構成が一定のままである場合には、実施形態によって、生成される値もそれに続く解釈も変更しない。 本実施形態および/またはそのセンサに対する、ユーザ、ユーザの顔、またはユーザの任意の他の身体部分の動きに応答する(「往復」動作にも応答する)本開示の例示的な実施形態によって生成され、および/または解釈される値の不変性を示す図である。 本実施形態および/またはそのセンサに対する、ユーザ、ユーザの顔、またはユーザの任意の他の身体部分の動きに応答する(「往復」動作にも応答する)本開示の例示的な実施形態によって生成され、および/または解釈される値の不変性を示す図である。 本実施形態および/またはそのセンサに対する、ユーザ、ユーザの顔、またはユーザの任意の他の身体部分の動きに応答する(「往復」動作にも応答する)本開示の例示的な実施形態によって生成され、および/または解釈される値の不変性を示す図である。 本実施形態および/またはそのセンサに対する、ユーザ、ユーザの顔、またはユーザの任意の他の身体部分の動きに応答する(「往復」動作にも応答する)本開示の例示的な実施形態によって生成され、および/または解釈される値の不変性を示す図である。 本実施形態および/またはそのセンサに対する、ユーザ、ユーザの顔、またはユーザの任意の他の身体部分の動きに応答する(「往復」動作にも応答する)本開示の例示的な実施形態によって生成され、および/または解釈される値の不変性を示す図である。 本開示に関するユーザによる一連の値の生成を示す図である。 本開示の例示的な実施形態の有用性を示す図である。 「friend」という単語をアメリカ手話を用いて綴った文字の伝達を示す図である。図示された手話は、「静的」(すなわち、動かない、変化しない)手構成の提示によって生成され、伝達される。 アメリカ手話の使用による8つの異なる単語の伝達を示す図である。 アメリカ手話の使用による8つの異なる単語の伝達を示す図である。 アメリカ手話の使用による8つの異なる単語の伝達を示す図である。 アメリカ手話の使用による8つの異なる単語の伝達を示す図である。 アメリカ手話の使用による8つの異なる単語の伝達を示す図である。 アメリカ手話の使用による8つの異なる単語の伝達を示す図である。 アメリカ手話の使用による8つの異なる単語の伝達を示す図である。 アメリカ手話の使用による8つの異なる単語の伝達を示す図である。図示された手話は、任意の静的部分の提示がプロトコルに違反し、第三者によるその理解を妨げることが予想される「動的」(すなわち、動く、変化する)手構成の提示によって生成され、伝達される。 顧客が顔、頭、首、および/または肩の幾何学的形状の変化を介して、そのパスワードまたはその一部を実施形態に伝達する本開示のATM実施形態を示す図である。 顧客が顔、頭、首、および/または肩の幾何学的形状の変更を介して顧客自身によって符号化されたシンボリック値によって第三者(例えば、別の人物)と通信している、したがって、音声通信が第三者によって理解されない可能性があるほど騒々しい環境内からでも第三者に伝達することができる、本開示の実施形態を示す図である。 アーティストが、顔、頭、首、および/または肩の幾何学的形状を変更することによって、アーティスト自身によって符号化されたカラー値を実施形態に発行することによってデジタル画像を構成する実施形態を示す図である。アーティストはまた、仮想ペイントブラシの動きを同時に制御するためにジェスチャを使用している。 ゲーマが、顔、頭、首、および/または肩の幾何学的形状を変更することによって、ゲーム内のゲーマ自身の仮想プレーヤの制御に適したパラメータを調整している実施形態を示す図である。
A.序論
本開示は、コンピュータ化されたデバイスおよび/またはそこで実行されるソフトウェアに値を通信および/または入力する手段として使用される、ユーザおよび/または他の1人もしくは複数の人間の頭、首、および/または上半身と関連付けられた幾何学的形状に対する変更を可能にするコンピュータシステムアーキテクチャおよび設計に関する。本開示は、そのような変化した形状、それらを引き起こす神経支配、および/またはそれらの結果(例えば、血流の局所的変化)の特定の部分または態様の検出および定量化を含む。一旦検出されると、全体の幾何学的構成のそのような特定の部分の各々が測定され、「スコア」と関連付けられる。個々のスコアのそれぞれは、コンピュータのプロセッサへの入力として直接使用することができるが、プロセッサが、例えば、ASCIIコードのように、コマンドまたはデータ値として解釈することができる単一のデジタル値にスコアの完全セットを変換することが一般に好ましい。
本明細書に開示されるシステムは、ユーザの「個別」値のそのシステムへの「直接」入力を容易にする。従来技術に記載されたシステムとは異なり、本開示のいくつかの実施形態は、ユーザの手または音声の使用または関与無く、およびその実施形態に対するユーザの位置および/または動きに関わらず、そのような実施形態に個別の「ユーザが理解した」値および「ユーザが意図した」値を入力する能力をユーザに提供する。さらに、本開示のいくつかの実施形態は、そのような実施形態に個別値を入力する能力を、そのような値の、仕様、構成、および/または提出をサポートするため専用のユーザインターフェース(例えば、出力デバイスによって表示される「仮想」キーボード)へのユーザのアクセス、認知、および操作無しで、ユーザに提供する。
本明細書のシステムの例示的な実施形態に関して、ユーザの顔、頭、首、および/または肩の特定の筋肉および/または筋肉群の収縮および/または弛緩によって、ユーザによって意図的に明示された符号化信号が、例示的なシステムによって検出される。各標的筋
肉および/または筋肉群が収縮していると例示的なシステムが判断する程度は、2つ以上の数値、指数、および/またはそれらの等価物のうちの1つに量子化される。例示的なシステムが特定の実施形態および/またはアプリケーション固有の「値」に変換する包括的な「合成」値を生成するために、個々の量子化された筋肉固有番号が、所定の、および/または予め指定された方法で組み合わされる。 結果的に生じる「値」は、特定の英数字、特定の単語、絵文字、特定の色、テクスチャ、特定の音符、コード、および/またはトーンなどを表すことができる。
本開示のいくつかの実施形態は、ユーザが、コンピュータ化されたデバイスを介して、および/またはコンピュータ化されたデバイスを制御することおよび/またはコンピュータ化されたデバイスと対話することを可能にする、代替および/または追加のチャネルをユーザに提供する。これは、コンピュータ化されたシステムおよび/またはそこで実行される1つまたは複数のアプリケーションへのユーザ指定値の入力のための新規ユーザ制御チャネルである。
1.潜在的な実施形態
本明細書のシステムの例には、限定するものではないが、以下を含み、すなわち、
本明細書における本開示の例示的な実施形態のユーザが、
異なる目的のために両手を使用している、または、手および/または指が麻痺および/または欠損している、
システムの出力ディスプレイ以外の何か(存在する場合)を観察するために視覚を使用している、または、視覚的に障害のあるおよび/または盲目である、および、
システム以外の誰かまたは何かと通信するために声を使用している、または話す能力が欠けているか、または声を使用することを避けたい、
場合に、
そのユーザはまた、自身の顔、頭、首、および/または肩の適切な筋肉の選択的収縮によって、
例示的な実施形態のパラメータ、属性、および/または設定(例えば、色、次元、レート、テクスチャなど)を指定および/または制御すること、
(例えば、文書、テキストメッセージ、チャットユーティリティなどで使用するために)テキストを指定および/または構成すること、
(例えば、グラフィックアートおよび/または画像作成、および/または編集アプリケーションで使用するために)色を指定すること、
(例えば、音楽作成、編集、共有および/またはストリーミングアプリケーションで使用するために)音符、トーン、コード、テンポなどを指定すること、
実施形態が「現金自動預け払い機」(ATM)、「店舗販売時点情報管理」(POS)端末、自動空港チケットおよび/または搭乗券(ATB)ディスペンサなどの機能も提供する場合などに、例示的な実施形態へのアクセス権を獲得および/または維持するために使用されるパスワードおよび/またはパスフレーズを指定すること、
排他的ではないが特に、聴覚に障害のあるユーザがコミュニケーションしようとしている耳の聞こえる人または人々によるユーザの口頭によるコミュニケーションを容易にするために特定の単語を明確に話す携帯可能実施形態に、(聴力損失のために発音が上手くできない可能性のある)聴覚に障害のあるユーザなどによる、メッセージを指定すること、
例えば、例示的な実施形態が修正された電話機である場合、(例えば、電話の相手側にいる)他者に特定のメッセージの最大限理解可能な口頭表現を生成するために特定の単語を話す、声門装置(例えば、咽頭、舌など)の一部への損傷に苦しんでいる、および/またはそのような損傷から回復過程にある人などによるメッセージを指定すること、
両手を使用する必要があるツールを操作しているが、別の人またはシステムに、テキストおよび/または模擬口頭メッセージ、ならびに/もしくはそのようなメッセージのストリームを通信することが望まれるまたは必要な、雑音の多い環境にいる人などによるメッセージを指定すること、
視覚障害者および/または盲人などによってダイアルされる電話番号を指定し、それにより、電話の能力および機能を含む例示的な実施形態による通話を開始すること、
顔の筋肉以外の身体の任意の筋肉を意識的に制御することができない、おそらく、人工呼吸器への依存のために生じた歪みのために口頭でそのようなコンピュータ化されたデバイスを制御するために十分なほど明確に話すことができない、四肢麻痺患者などによる、例示的な実施形態のディレクトリ構造をナビゲートすること、
例えば、ユーザが車両のユーザ、ドライバ、および/または同乗者である場合に、車両の動作(例えば、ステアリング、スピード、ブレーキング)の全部または一部を制御する例示的実施形態へのコマンド(例えば、「減速」)、要求(例えば、「キャビン温度を下げるためにエアコンを使用する」)、命令(例えば、「燃料の保全を優先する」)、および/またはパラメータ(例えば、目的地)を発行すること、
例えば、ユーザが、特定のディレクトリおよび/または「フォルダ」へのバーチャルアクセス権を獲得すること、ならびに/もしくはファイルのオープンおよび/または編集を開始すること、ならびに/もしくはアプリケーションまたはプログラムを実行または開始すること、ならびに/もしくはメディアの再生および/または表示を制御すること、を可能にする、(実施形態が、パーソナルコンピュータ、コンピュータ化されたテレビ、ゲーミングシステム、データベース、サーバなどとしても動作する場合などに)例示的な実施形態のバーチャルおよび/またはシンボリックディレクトリ構造内およびそのような構造の間をナビゲートすること、
ユーザが建物の居住者である場合、例えば、ユーザの顔コードが例示的実施形態と、または例示的実施形態の一部と、通信する1つまたは複数のカメラによって視認可能である場合、および、例えば、例示的な実施形態が集中環境制御システムを構成し、カメラが建物の壁および/または天井に取り付けられた場合、例えば、ある居住者は、「暑すぎる」というメッセージを指定する顔コードを通信することによって周囲温度の上昇を要求することができ、別の居住者は、「明る過ぎる」というメッセージを指定する顔コードを通信することによって環境光レベルの低下を要求することができる、コマンドおよび/または要求を発行すること、
ユーザが同時に、自身の手でゲームプレイの態様を制御し、出力デバイス上でゲーム関連イベントを監視し、および口頭で他のゲームプレイヤに戦略的コメントを通信する間にゲーム環境の機能を提供する例示的実施形態におけるローカルおよび/またはプライベートセッティングを設定および/または構成すること、
ユーザによる顔コードの発行、およびその結果による符号化値の生成が、ゲームプレイおよび/または経験の不可欠な部分、例えば、音楽がユーザによって生成され品質およびオリジナリティに対してスコア付けされるゲームである例示的実施形態で実行するゲーム、および/または他のエンターテインメントプログラムを制御すること、
ユーザが医療従事者である場合などに、特に、毒性病原体(例えば、エボラウイルス)で汚染された領域の患者を治療している間などの、医療従事者が自身の手先や口の動きを妨げる防護服を着用している場合に、医療従事者によって患者の検査および/または治療
が行われている間に生成、発見、および/またはコミュニケーションされる患者の症状、治療、測定値(例えば、温度)、診断、および/または予後に関するデータを例示的実施形態に送ること、
ユーザが医療従事者である場合などに、予備的であるが潜在的に重大な観察についての早期開示により患者に警告することを避けるために、その患者の検査中に生成、発見、および/または通信される患者の症状、測定値、診断、および/または予後に関するデータを例示的実施形態に送ること、
ユーザが教室場面中の教師などである場合、教師による手作業の制御および/または発声コマンドの発行が、受けている授業に対する学生の集中力を散漫にし、妨げてしまう、例示的環境における、媒体、および/またはテキスト情報の動的な構成を制御すること、
ロボットとして、特に、空想をシミュレートするユーザの能力を促進するよう設計されたロボットとして、音声または手作業による制御が空想をシミュレートするのに邪魔になる場合に音声または手作業による制御無しに機能する例示的な実施形態を制御すること、
ロボットとして、特に、他の(おそらく危険な)物体の制御および操作に専念しなければならない手および注意を有するオペレータによって騒々しい環境(例えば、工場)内である距離から制御されなければならないロボットとして機能する例示的実施形態を制御すること、
ができる。
本開示の例示的な実施形態は、1つまたは複数のセンサを利用して、ユーザが自身の顔、頭、首、および/または肩の幾何学的形状の特定の態様を動かし、捻り、および/またはそれ以外で変更する程度を検出し、その程度を測定するための基礎を提供する。適切な神経の神経支配および適切な筋肉の収縮を介して、ユーザは、実施形態が認識し、測定し、さらに一意に識別することができる明確な信号を生成することができる。本実施形態は、認識できないあらゆる幾何学的形状を無視する。次いで、実施形態は、認識された各ユーザ固有信号を、実施形態の設計、(例えば、テキストエディタなどの)本実施形態のオペレーティングシステムと共に実行されるコンピュータコードの本体の動作、および/または実施形態のユーザが達成および/または完了しようとしている作業、に適したシンボリック値に変換する。
判定手段、量子化手段、変換手段、マッピング手段、および処理手段はそれぞれ、デジタルデータの専門的な操作を含み、それらの操作を達成することができる適切で特別なコンピュータ命令/コードを必要とする。それらのコンピュータコードは、単一のプロセッサ上で、例えば、シリアル方式で、実行することができる。または、2つ以上のプロセッサ上で実行することができ、その操作の一部または全部を並列に実行することができる可能性をもたらす(すなわち、データのストリームをプロセッサからプロセッサに移動させ、複数のストリームを同時に処理することができる)。
2.神経支配
細胞膜を横切るイオンの交換が神経の少なくとも1つの軸索に沿って電流を伝達するとき、神経は「神経支配」される。
3.筋肉収縮
筋肉が収縮するとき、典型的にはその長さが短くなり、少なくとも筋肉内の断面積が増加し、筋肉が緊張する。筋肉は、適切な神経の神経支配に応答して収縮する。収縮は、カルシウムイオンの放出を伴い、筋電図によって検出することができるような電圧に関連する。
4.「相対的な転位」の「シンボリック値」への変換
本開示の例示的な実施形態は、ユーザの顔、頭、首、および/または肩の構造および/または形状における変化を検出および測定する。これらの実施形態が監視し測定するユーザの顔、頭、首、および/または肩の部分は、ユーザが少なくとも1つの他の部分(すなわち「基準部分」)に対して転位することができる部分(すなわち、「ソース部分」)を含む。各ソース部分の転位は、少なくとも1つの対応する参照部分(すなわち、「相対転位」)に対して測定される。1つの実施形態によって監視および測定される部分は、1つまたは複数の他の実施形態によって監視される部分とは異なる場合がある。
本開示の例示的な実施形態は、ユーザがユーザの顔、頭、首、および/または肩の1つまたは複数の特定部分を転位する程度を判定する。これらの実施形態は、「値」を生成することによって、特定の瞬間にユーザの顔、頭、首、および/または肩を特徴付ける部分固有転位の特定の、特徴的なセットの特徴である測定値の収集の判定に応答する。
部分固有相対的転位測定値の特定の収集の本実施形態による判定および/または生成に応答してこれらの実施形態の1つによって生成された各値は、各実施形態の、および/または各実施形態で実行されるアプリケーションもしくはプログラムの、目的、機能、設計、および/またはユーティリティに特徴的な方式で、およびそれらに適切に、処理され、実行され、および/または応答される、シンボリックエンティティを表す。
部分固有相対的転位測定値の各固有の収集に関連する実施形態固有および/またはアプリケーション固有の「値」のセットは、これらに限定するものではないが、英数字、数字、色(例えば、RGBカラー値の仕様)、アイコングラフィック、実施形態固有および/またはアプリケーション固有コマンド(例えば、「セーブファイル」)、単語(例えば、「apple」)、フレーズ(例えば、「Best Regards, Joe Smith」)、または一実施形態によって処理することができる他の任意のデータ値を含むことができる。
しかしながら、例示的な実施形態が監視し測定することができるユーザの顔、頭、首、および/または肩の部分、およびユーザが特定できる実施形態固有および/またはアプリケーション固有の値の基礎を形成し、実施形態が後に処理する、相対的な転位は、一様ではない。
異なるユーザは、異なる顔、頭、首、および肩を有する。したがって、異なるユーザが同じ転位を行う場合、例えば、ユーザが眉毛を完全に引き上げると、相対的転位の結果としての測定値が異なる。言い換えると、異なるサイズ、幾何学的形状、および相対的な向きのソース部分および基準部分は、それらの相対的な転位の異なる尺度(大きさ)によって特徴付けられる。
したがって、「値」の生成の基礎を構成する部分固有相対転位測定値を標準化するために、本開示の例示的実施形態は、これらの測定値を「量子化」し、その結果、同じタイプの相対転位、例えば、「眉毛を完全に上に動かす」、「少し口を開ける」などは、同じ値の生成につながる部分固有相対転位測定値をもたらす。
5.測定可能な部分
本開示の例示的な実施形態は、ユーザの顔、頭、首、および/または肩の外的特徴を、ソース部分および基準部分として使用する。これらのソース特徴および対応する基準特徴には、以下のものが含まれるが、これらに限定されない。
Figure 2021114317
本開示の例示的な実施形態は、ユーザの顔、頭、首、および/または肩の筋肉を、ソース部分として使用する。転位は筋肉収縮の程度に対して測定されるので、基準部分は存在しない。
本開示の例示的な実施形態は、ユーザの顔、頭、首、および/または肩の神経を、ソース部分として使用する。転位は神経固有神経支配の程度に対して測定されるので、基準部分は存在しない。
6.網膜追跡との違い
本開示のいくつかの実施形態は、ユーザが所望のカーソル位置を見ることによって表示デバイス上のカーソルの位置を制御し、おそらく、任意の特定のカーソル位置でマウスボタンの模擬「クリック」を制御する「網膜追跡」システムとは異なる。そのような網膜追跡システムは、定義により、ユーザインターフェースの要素のユーザ制御を含む。また、制御するべきカーソルを表示するユーザインターフェースがない場合、網膜追跡システムの有用性および使用は不可能であろう。
対照的に、本開示のいくつかの実施形態は、ユーザインターフェースを必要としない。また、仮に本開示の実施形態がユーザインターフェースを制御するために使用された場合、及ぼされた制御が、定義が明確で、ユーザによって完全に理解され、ユーザによって意識的に生成された、ユーザによる個別の値(例えば、文字「a」、番号「81」、色「青」など)の仕様を介して仲介された程度までしかそれを行うことができないであろう。これは、網膜追跡(またはマウスの使用)によってカーソル位置を制御するユーザの経験に反しているが、そのユーザは、典型的には、皆無ではないにせよ、(表示デバイスの座標系の点から)現在のカーソル位置の座標が分からないし、ましてやカーソルを向けている表示デバイス上の位置の座標も分からない。
7.身体の動きの検出および解釈との違い
本開示のいくつかの実施形態は、ユーザが、ユーザの検出された動作および/または加速度に関して、特に、ユーザのそれらの動作および/または加速度が、システムおよび/またはそのセンサに関する(すなわち、ユーザ自身には必ずしも関連しない)場合に、ユーザインターフェースを制御するシステムとは異なる。例えば、ユーザの頭および/または目の動きおよび/または加速度に応答して「仮想世界」内のユーザの視点を調整するようにディスプレイを修正するシステムは、(例えば、特別に備え付けられたゴーグルまたは眼鏡の内側からユーザの目に表示される画像を通してユーザが仮想世界の探索を使用することを容易にし、および/またはユーザの満足度を向上させるために)現実世界でのユーザの視線の変化を、仮想世界でのユーザの視線と合致させることによって動作する。し
かしながら、この場合、ユーザは、現実世界および仮想世界内の視点の同調性を達成するために、特定の筋肉媒介コードを生成していない。実際には、そのようなシステムのユーザは、その同期が実施されたメカニズムを認識してすらいない可能性があり、ましてや出力デバイスの視点の調整を担うシステムの部分にシステムセンサから送信される信号の知識、または意識的に変更するための手段も有していない可能性がある。
8.「ジェスチャ」の検出および解釈との違い
本開示のいくつかの実施形態は、ユーザが実行する「ジェスチャ」に応答するシステムとは異なる。そのようなジェスチャ動作は、典型的には、システムおよび/またはそのセンサに対する方向に関するそのようなシステムによって解釈される。
対照的に、本開示のいくつかの実施形態は、ユーザおよび/またはユーザの身体部分のいずれかの動きに関わらず、特定の筋肉および/または筋肉群の静的構成のみを検出し、それらに応答する。これらの例示的な実施形態において、番号を符号化する筋肉構成、およびそれらに関連する文脈固有値は、時間的に「瞬間」に定義される。そして定義上、動きは存在しなければならず、「瞬間」ではなく、時間の「間隔」に関連して検出されなければならない。
9.「手話」の検出および解釈との違い
本開示のいくつかの実施形態は、手介在信号(すなわち、「アメリカ手話」(ASL)などの「手話」に特徴的な「サイン」によって)ユーザにより実行される「サイン」に応答するシステムとは異なる。対照的に、本開示のいくつかの実施形態は、顔、頭、首、および/または肩にのみ位置する特定の筋肉および/または筋肉群の構成を検出し、それらに応答する。これらの例示的な実施形態は、ユーザが、他の何らかの目的のために自身の手を自由に使用できるように、キーボード、マウス、ジョイスティックなどの操作を含むが、これに限定されない操作にユーザの手を全く関わらなくさせる。
また、ASLなどの手話で使用されるサインのいくつかは、反復動作を伴う。例えば、ASLでは、以下のサインは、定義的で特徴的な動きに依存し、そのような動きがない場合には伝えられない:「恐れ」、「悲しみ」、「してください」、「残念」、「もっと」、「こんにちは」、「さようなら」、「ありがとう」、「はい」、「いいえ」、「聞こえない」、「聞く」、「人」、「友人」、「彼/彼女ら」など。文字「j」と「z」、および曜日の名前(例:「月曜日」、「火曜日」など)は、特定の特徴的な手の動きがなければ正しく実行できない。対照的に、本開示のいくつかの実施形態は、ユーザおよび/またはユーザの身体部分のいずれかの動きに関わらず、特定の筋肉および/または筋肉群の静的構成のみを検出してそれらに応答する。
10.物理的に操作される入力デバイスとの違い
本開示のいくつかの実施形態は、キーボード、タッチスクリーン、トラックボール、マウスなどの物理的デバイスおよび/または「周辺装置」の相互作用および/または操作によって値(例えば、英数字)を指定することをユーザに要求するシステムとは異なる。
キーボード上のキーの押下および解放により、ユーザは特定の個別値(例えば、文字「g」、「r」、および「w」など)を入力することができる。ユーザが個別値を入力するためにキーボードを使用することは、フィードバックを提供するユーザインターフェースがない場合に行われる可能性がある。しかしながら、ユーザが、トラックボール、マウスなどのカーソル制御デバイスの使用および制御を介して、またはタッチスクリーンなどのカーソルの代替の使用を介して、個別値を入力するかどうかを、ユーザインターフェースが要求する。なぜなら、これらのデバイスでは、ユーザが、インターフェース画面上に表示される個別値を選択および/または「クリック」もしくは「タッチ」することを必要とするためである。
対照的に、本開示のいくつかの実施形態は、個別値を指定するためにユーザが物理デバイスまたは周辺装置を操作することを必要としない。これらの例示的な実施形態は、ユーザインターフェースの利用可能性または提供、または任意の種類のディスプレイもしくは出力デバイスも必要としない。
11.音声入力との違い
本開示のいくつかの実施形態は、ユーザによって話される単語を検出し、解釈し、および/またはそれに応答するシステムとは異なる。本開示のいくつかの実施形態は、ユーザインターフェースがない場合、およびユーザとシステムとの間の物理的接触、例えば、ユーザがシステム上のキーをタッチする、または押すことがない場合に、個別値がシステムに入力され得るという点で、そのような口頭制御システムに類似している。しかしながら、これらの「口頭」システムとは異なり、これらの例示的な実施形態は、ユーザが話すことも、何らかの種類の音を出すことも必要とせず、多くの状況および多くの潜在的な使用に関して有利である。
12.必ずしも排他的ではない、追加の入力チャンネル
ユーザが顔の表情により(すなわち、筋収縮、およびユーザの顔、頭、首、および/または肩の特徴の形状および/または相対位置に対する筋肉の介在による変化により)符号化された値を伝達することを可能にすることに加えて、本開示のいくつかの実施形態は、キーボード、マウス、タッチスクリーン、ユーザ音声の検出器などの追加の従来の入力チャネルを組み込むことができる。本開示の実施形態は、従来技術に記載されている「従来の」入力チャネルがない場合には動作する必要がない。逆に、それらは、ユーザがそれらの実施形態と対話することができる追加の(唯一ではなく)チャネルとして、実施形態に顔符号化された値の検出および変換を組み込むことができる。
13.収縮符号化信号の検出
本開示のいくつかの実施形態は、様々な方法で、および限定されるものではないが、以下を含む様々なセンサおよび/またはセンサタイプの使用を介して、標的筋肉および/または筋肉群の収縮を検出することができ、すなわち、
視覚的に、1つまたは複数のカメラによって、頭、顔、首、および/または肩の様々な表面特徴の、互いからの、および/または1つもしくは複数の(鼻の先端などの)「目印」特徴からの相対的距離の変化の検出を介して、
視覚的に、1つまたは複数のカメラによって、ユーザの頭、顔、首、および/または肩と関連した表面特徴および/または輪郭の、それらの特徴および/または輪郭の高さおよび/または形状の変化を示す、「陰影」の変化の検出を介して、
視覚的に、1つまたは複数のカメラから収集された画像データに基づいて構築される、ユーザの頭、顔、首、および/または肩の3次元形状の変化の検出を介して、
電気的に、筋肉の収縮の検出および/またはそれらの収縮を引き起こす神経支配の検出を介して、
伸張に応答するセンサによる形状、伸張、および/またはねじれの変化の検出を介して、
磁気的に、筋肉収縮および/またはそれらの収縮に関与する神経の神経支配に関連して生じる電場に関連する磁場の変化を検出および/または測定するセンサの使用を介して、および、
熱的に、赤外線波長に十分に敏感なカメラを用いてユーザの皮膚からの熱の放射照度の変化の視覚的な検出を介して、
検出することができる。
14.1つまたは複数の値
本明細書の例示的システムのユーザは、多くの縮小符号化値を例示的なシステムに、例えば、テキストや音楽を作成する場合に、伝達することができる。または、ユーザが単一の値を伝達する可能性もある。例えば、顔認識に基づくセキュリティシステムと組み合わせて使用される場合、例示的システムは、文字、番号、または色をユーザに表示することができ、そのユーザは、自身の顔、頭、首、および/または肩に必要な筋肉の適切な収縮を介して符号化することによりシステムにそのコードを「そのまま返す」可能性がある。これは、例示的な安全なシステムが、ユーザを、少なくとも部分的に識別するために使用されるユーザの顔の画像が、実際に本物であり、例示的システムのセキュリティを破り、真のユーザの金銭および/または識別情報を盗むためにハッカーによって送られた真のユーザの盗まれた画像ではないという信頼性をより強くすることを可能にする。
15.隣接値の差別化
本開示のいくつかの実施形態は、差別的(すなわち、段階的に、可変的に、別個に、など)収縮した特定の筋肉、および/または筋肉群の瞬間構成を検出および解釈(すなわち、変換、変更、マッピング、など)する。そのような例示的な実施形態は、一連の「連続的」(すなわち、時間的に順序づけられ、および時間的に別個の)値固有構成の中で、筋肉収縮の各値固有構成を、これらに限定するものではないが、以下を含む、いくつかの異なる方法により、および/またはいくつかの異なる様式で、その時間的に隣接する(すなわち、前後の)構成から区別することができる。
各一意の値
本実施形態のカメラの少なくとも1つによって生成される一連の、または1ストリームの画像内の任意の特定の画像内で生じる顔、頭、首、および/または肩の筋肉の特定のセット内で検出、測定、および/または認識された収縮の各認識可能および有効な構成に応答し、および/または処理し(すなわち、一実施形態、および/またはアプリケーション状況固有値に変換する)、おそらく、新しい値が検出されたか、または有効値がないことが検出された後まで、収縮符号化値の重複処理を避ける。
少なくともある特定の期間に存在する各値
少なくともある特定の最小期間(例えば、画像のストリーム内の特定の数の連続的画像の間)にユーザによって維持される顔、頭、首、および/または肩の筋肉の特定のセット内で検出、測定、および/または認識された収縮の各認識可能および有効な構成に応答し、および/または処理し(すなわち、一実施形態、および/またはアプリケーション状況固有値に変換する)、異なる、または無効な、収縮構成が検出、測定、および/または認識されるまで、同じ収縮符号化値への応答、および/またはそのような値の処理を繰り返さない。
少なくとも特定の待ち時間後に生じる各値
以前の値の検出からある最小間隔の後(前ではない)に発生した顔、頭、首、および/または肩の筋肉の特定のセット内で検出、測定、および/または認識された収縮の各認識可能および有効な構成に応答し、および/または処理し(すなわち、一実施形態、および/またはアプリケーション−状況固有値に変換する)、だが、以前の値の検出からある最大間隔後にエラーをシグナリングする。
16.システムからのフィードバック
本明細書の本開示の例示的な実施形態は、限定するものではないが、以下を含む様々な方法でフィードバックを筋肉収縮符号化値を発行するユーザに提供することができ、すなわち、
出力デバイス画面上の、および/またはグラフィック表示の1つまたは複数の場所に、本実施形態によって検出された値(例えば、文字「e」、色「緑」など)を表示すること
によって、
可聴音符を発行するなどして、ユーザに検出可能な実施形態の変化または挙動を実行することによって、グラフィックディスプレイ上の、および/または投影画像上の1つまたは複数のピクセルの色を変更することによって、実施形態の(ユーザ、地球、および/または実施形態自体の一部に対する)位置、および/またはその一部分を変更することによって、
ユーザの顔、頭、首、および/または肩に有効な値が検出された場合に、および実施形態によって有効な値が受信された場合に、一色(例えば、緑)の目立たない光を1回または複数回点滅することによって、および、オプションとして、無効値および/または不適切な値の検出に応答して、別の色(例えば、赤)の光を点滅することによって、および、
例えば、「a」、「b」、「o」、「u」、「t」、「about」……または「8」、「0」、「5」、「4」(ユーザに代わって電話番号をダイアルする場合)などの検出された各値の可聴発音により、ユーザにオウム返しすることによって、
提供することができる。
本開示の例示的な実施形態は、これらに限定するものではないが、以下を含む様々な方法で、筋肉収縮符号化値のユーザ表現を介して、ユーザによって発行された値および/または命令を検出および処理ならびに/もしくは実行する準備ができていることをユーザに示すことができ、すなわち、
出力デバイスの画面、および/またはグラフィカルディスプレイ上の1つまたは複数の位置で、メッセージ、状態インジケータ、アイコン、色、(特定の形状および/または色の)カーソル、または実施形態の準備ができていることを示す他のグラフィカル要素を表示することによって、
ビープ音またはバズ音などの、準備ができていることを示す可聴信号を出力することによって、および、
「準備完了」という単語(または、何か他の単語)を発することによって、
示すことができる。
特定の筋肉収縮符号化値は、本開示の例示的な実施形態を制御するのに役立つ可能性がある。例えば、限定するものではないが、以下を含む様々な実施形態の機能をユーザが「制御する」ことを可能にする例示的な実施形態に関して特定の値を定義することができ、すなわち、
以前の一連の値の検出および処理を終了すること、
新しい文書、音楽、グラフィックなどの構成を開始すること、
以前の値の1つまたは複数を削除すること、
ドラフト・メッセージを可聴的に発すること(例えば、オウム返しすること)、
最近編集された文書、音楽、グラフィックなどを保存すること、
最近作成されたテキストメッセージを送信すること、
電話を切る(すなわち、電話を終了する)ことなど、
を含む。
17.1人または複数のユーザ
本開示の例示的な実施形態は、単一ユーザの顔、頭、首、および/または肩の筋肉収縮を介して符号化された値を探索し、検出し、処理することができる。これは、多くの実施形態(例えば、実施形態へのアクセスを許可する前に、ユーザIDを検証するために、収縮符号化値をパスワードおよび/またはパスフレーズに変換するもの)に適切な共通の制限である。
しかしながら、本開示の別の例示的な実施形態は、できるだけ多くの複数ユーザの顔、頭、首、および/または肩の筋肉収縮を介して符号化された値を同時に探索し、検出し、
処理することができる。そのような実施形態は、それぞれの個々のユーザによって符号化された個々の値を、同時期に発生した値のグループに統合することができる。一実施形態は、各特定のユーザによって符号化された値を、特定の楽器に関連付けられた音符と関連付けることができる。このタイプの実施形態では、人々のグループは、様々な楽器の同時演奏に関連する音楽を生成することができる可能性がある。そのような実施形態は、各ユーザの関連する仮想楽器に関するシステムによって出力される音楽のピッチが、筋肉固有の収縮を介してユーザによって指定されることを可能にすることができる。それは、各ユーザの関連する仮想楽器に関するシステムによって出力される音楽のラウドネスが、各ユーザの右手がそれぞれの胸部から伸びる程度によって制御されることを可能にすることができる。そして、各ユーザが、そのユーザの左手が胸部から伸びる程度を調整することによって、コンサートに寄与する合成音楽の音色を調整することを可能にすることができる。
18.システムによって実行されるステップ
本開示の例示的な実施形態は、ユーザの、顔、頭、首、および/または肩についての、特定の筋肉および/または筋肉群の収縮または欠如を検出する。次に、これらの収縮を測定および量子化し、それにより、実質的に連続した距離の範囲に対する生のアナログ測定値を、筋肉固有の階調数の1つに変換する。例えば、ユーザの眉毛の「持ち上げ」は、実数(例えば、18.3mm、17.9ピクセル、4分など)として表された生の測定値を有することができるが、実施形態固有の、および/または筋肉固有の範囲内の整数(例えば、0〜3の範囲内の2)に量子化することができる。次いで、結果的に得られる各筋肉固有の収縮の程度は、(例えば、0〜107の、それぞれ、0から1、0から1、0から2、0から2、および0から2の範囲を有する4つの量子化された収縮測定値の組み合わせから得られる)そのような数の特定の範囲内の合成数を生成するように組み合わされる。
例えば、本開示の例示的な実施形態は、開示された機能を提供するために以下のステップを実行することができる。
1.視野域がシステムのユーザを含むことができるカメラからの画像のストリームを受信する。
2.人の(すなわち、ユーザの)顔、頭、首、および/または肩を各画像内に配置することを試みる。
3.画像内で発見されたユーザの顔、頭、首、および/または肩の位置を特定する。
4.ユーザのコード化された値の指定に関連するユーザの顔、頭、首、および/または肩上の各点および/または特徴(すなわち、「標的筋肉」)の位置を特定する。
5.各標的筋肉が収縮する程度を測定する。実際の筋肉は直接見ることができないので、実施形態は、各標的筋肉または筋肉群に関して、ユーザの顔、頭、首、および/または肩の視認可能な特徴特性の対応する、および/または関連する変化を測定することができる。関連する筋肉が収縮した程度に対する代替として、一実施形態が測定することができる特徴のタイプ、および特徴固有属性は、これらに限定するものではないが、以下、すなわち、a)それらの筋肉の標的特徴(例えば、眉毛)とそれらの対応する基準特徴(例えば、各眼の外側隅)との間の距離が変化した程度、b)それらの筋肉の標的特徴(例えば、頭の矢状面)およびそれらの対応する基準特徴(例えば、肩を横切る横断面)の角度方向が変化した程度、および、c)それらの筋肉の標的特徴(例えば、小鼻の鼻孔)の断面積、容積、および/または形状が変化した程度、を含む。
代替特徴および特徴固有属性の測定値は、これらに限定するものではないが、ミリメートルおよび/またはピクセル(分離の測定の場合)、角度(角度方向の測定の場合)、平方ミリメートル(面積の測定の場合)、および立方ミリメートル(容積の測定の場合)を含む、様々な単位で表される測定値に対応することができる。
6.各筋肉の固有測定値(または、眉毛などの、相関したおよび/または同等の標的筋肉または特徴の対に関して得られた測定値の平均)を量子化する。したがって、各筋肉固有の生の測定値は、筋肉および/または特徴固有の最小値と最大値との間の整数に変換(すなわち、量子化)される。例えば、ユーザの眉毛が、上に上げられ、および/または下に下げられ、ユーザの眼の各外側隅に関する、おそらくそれらの安静時位置の上または下の偏差のミリメートルに対応する、程度は、0から4の範囲にある値(眉毛のペアから平均した値)に量子化することができる。この例では、0は完全に下げられた眉毛に対応することができ、1は部分的またはわずかに下げられた眉毛に対応することができ、2は眉毛の安静時または弛緩位置に対応することができ、3は部分的またはわずかに上げられた眉毛に対応することができ、4は完全に上げられた眉毛に対応することができる。
7.個々の量子化された筋肉固有の数を合成数に組み合わせる。各合成数は、筋肉固有の量子化数の一意のオーダ固有セットに対応する。例えば、2つの特徴(例えば、眉毛および頭の向き)を有していると仮定する。眉毛の位置が0から4までの数に変換/量子化されると仮定する。頭は、左に傾けられるか、右に傾けられるか、または傾けられていなくてもよく、0から2までの数に変換/量子化される(0=左傾き、1=傾きなし、および2=右傾き)と仮定する。これらの2つの特徴により、ユーザは15の一意の値を指定することができる。これら15個の一意な合成値の定義を以下の表に示す。
Figure 2021114317
8.合成数を、実施形態の設計および/または所期の目的に適した「値」に、および/または実施形態で実行するアプリケーションの設計および/または所期の目的に適した「値」に変換する。例えば、実施形態が「グラフィック描画」システム(すなわち、グラフィック画像の合成)である場合、各合成値は、以下の表に示すように、対応する色に変換される。
Figure 2021114317
9.状況固有値に適切な方法で応答する。そのような応答は、以下のものを含むことが
できるが、これらに限定されない。a)例示的な実施形態のディスプレイにおいて(例えば、例示的な実施形態がグラフィック描画実施形態である場合)少なくとも1つのピクセルの値を変更することによって画像を更新するか、b)文書の内容を含むメモリ内の少なくとも1つの文字の値を(例えば、テキスト編集実施形態のランダムアクセスメモリ内で)変更または追加することによって文書を更新するか、または、c)本実施形態に付属する少なくとも1つのスピーカを介して、音符、コード、トーンなどを合成して出力する。
19.収縮のユーザ固有の較正
本開示に関して、異なるユーザは、顔、頭、首、および/または肩の筋肉および関連する特徴の動きに関して、異なる運動範囲を有する可能性がある。本開示の例示的な実施形態は、測定および/または量子化の一様な、および/または一定の規格を使用して、標的の顔面筋肉および特徴の収縮および動きを測定および変換することができる。他の例示的な実施形態は、実施形態に固有の筋肉および/または特徴に関して、それらの収縮および/または動きの範囲を示す機会をユーザに与えることができる。その場合、これらの例示的な実施形態は、これらのユーザ固有の範囲を、将来の収縮および/または動きの「相対的な」程度を測定する極致として使用することができる。
20.収縮、距離、面積、容積、角度など
本開示は、特定の筋肉および/または筋肉群が収縮する程度の検出および変換について言及する。しかしながら、そのような各言及は、逆のことが明示されていない限り、ユーザの顔、頭、首、および/または肩の外表面上の特徴(例えば、眉)が、1つまたは複数の関係する筋肉および/または筋肉群の収縮により「安静時の」位置、形状、および/または容積から位置決めされ、転位され、位置を変えられ、曲げられ、膨張し、ならびに/もしくは容積的および/または幾何学的に変更される程度の検出および変換に全体的、または部分的に等しく適用可能であると考えられるべきであることが理解されるべきである。
筋肉収縮の程度に関するそのような言及は、逆のことが明示されていない限り、1つまたは複数の関連した特徴が、身体の他の部分の、相対的なアラインメント(一列の並び)、配向および/またはアラインメント(一列の並び)の軸に関して変更される程度(例えば、頭の矢状面が肩の横断面に対して法線から回転した程度−図2参照)の検出および変換に全体的または部分的に等しく適用可能であると考えられるべきであることが理解されるべきである。
また、そのような各言及は、逆のことが明示されていない限り、神経支配標的筋肉および/または筋肉群が活性化される程度の検出および変換に全体的または部分的に等しく適用可能であると考えられるべきであることも理解されるべきである。特定の神経が神経支配(神経分布)される程度の検出は、これらに限定するものではないが、a)電気的特性(例えば、電圧、電流、キャパシタンスなど)、b)磁気的特性、を含む測定値を介して実現することができる。
そのような各言及は、逆のことが明示されていない限り、これらに限定するものではないが、(歪みゲージによって測定される)ユーザの顔、頭、首、および/または肩の皮膚が歪んでいる程度、ならびに光学特性(例えば、赤みの程度、陰影の程度、立体画像および/または陰影から構築された3Dモデルなど)を含む、筋肉収縮を示す代替種類の変化の検出および変換に全体的または部分的に等しく適用可能であると考えられるべきであることも理解すべきである。
21.頭、首、および上半身の測定可能な特徴
a.測定可能な顔の特徴
表現力豊かな顔の特徴は、共に働く2つ以上の筋肉からもたらされることが多い。このため、比較的大きな顔の特徴の制御は、それらの特徴の動きを引き起こす個々の筋肉の制御よりも、人が習得し実行することがより容易である可能性が高い。
人によって意識的に制御することができ、自動検出および測定システム(例えば、ビデオカメラからの画像ストリーミング分析に基づくものなど)によって容易に識別可能な、したがって、ユーザによって制御される(すなわち、自発的かつ意図的な表情による)コンピュータへの入力の生成にとって有益である可能性がある顔の特徴には、以下を含むが、これらに限定するものではない。
唇の形状(例えば、唇をすぼめる、または弛める)
口腔の形状(すなわち、口の開口部の形状)
「開いている」口の相対的な割合
上歯および/または下歯の相対露出
顎および/または下顎の相対的な縦方向の伸展
顎および/または下顎の相対的な横方向の伸展
舌の位置(例えば露出しているか否か)
顔の縦軸に対する口の角度方向
相対的なまぶたの位置(例えば、開いた状態または閉じた状態)
「開いている」目の相対的な割合
「注視」の相対的な向き(コンピュータにではなく、ユーザに対するもの)
鼻孔の相対的広がり
眉毛の相対位置(例えば、上がっている、安静時、または下げている)
額の皺の相対的な深さ
感情的な表情(幸せ、驚き、恐怖、怒り、悲しみ)
b.測定可能な頭および首の特徴
頭の相対的な向きおよび/または位置
ユーザの顔と首の両方が監視と評価に利用可能である場合(例えば、コンピュータのカメラで視認可能な場合)、(ユーザの首および/または肩によって確立されるような)身体の正面、矢状面、および横断面に対する頭の相対的な向きを使用して、更なる情報を生成することができる。
頭の絶対的な向きおよび/または位置
さらに、ユーザの頭の位置をユーザの背後に見える垂直および/または水平のエッジ(例えば、出入口、壁、および/または窓)と比較することによって、(重力により規定される垂直方向に対する)ユーザの頭の絶対的な向きを使用して、さらに多くの情報を生成することが可能となる。「真の垂直」に対するユーザの頭の絶対的な向きはまた、スマートフォンまたはユーザの特徴を(例えばビデオによって)測定している他のコンピューティングデバイスの「重力」センサ、磁力計、および/または加速度計を用いて実現することができる。
相対的および絶対的な頭部位置は、人によって意識的に制御され、自動化されたシステムによって容易に識別することができ、したがって、ユーザが本明細書に開示されたデバイスのコンピュータプロセッサを直接制御できるように使用することができる。これらの相対的および絶対的な頭部位置には、以下を含むがこれらに限定するものではない。
頭の(すなわち、身体の前面に対する)左右の傾き
頭の(すなわち、身体の矢状面に対する)前方または後方の傾き
身体の(すなわち、身体の横断面に対する)垂直軸に対する頭の垂直軸
胴体に対する頭の回転(すなわち、左右を見る)
c.上半身の測定可能な特徴
左肩および/または右肩の持ち上げは、たとえ僅かであっても、自動化されたシステムによって容易に識別することができ、したがって、ユーザが本明細書に開示されたデバイスのコンピュータプロセッサを直接制御できるように使用することができる。上半身の他の特徴(例えば、胸部を押し出す)も、本明細書で開示されるデバイスのための信号として使用することができる。
d.測定可能な角度スケール
測定可能な顔の特徴および頭の向きの値を検出するカメラからのユーザの頭の距離を調整することによって、捕捉された画像および/またはビデオストリームにおけるユーザの頭の絶対的なサイズ(例えば、ピクセル単位)が変化する。例えば、ベースラインサイズに対する、ユーザの頭のサイズは、本明細書に開示される本発明のための情報の追加のビットを特定するために、ユーザによって使用することができる。例えば、ユーザが本発明の小型ハンドヘルドバージョンを使用していて、そのデバイスがユーザにより生成された特徴の動きを検出および測定するために「自撮り」カメラを使用していた場合、ユーザは、スマートフォンを、自身の身体の近くに移動したり、自身の身体から離したりして、測定画像内の自身の頭の絶対的なピクセルサイズと関連する「信号」を変更することができる。
e.測定可能な顔面筋肉
意識的な制御の習熟を達成するために人の側でより多くの練習を必要とするかもしれず、さらに、それらの状態を判定し、それらの「値」を測定するために、より洗練された検出システムを必要とするかもしれないが、それにもかかわらず、ユーザが高精細入力値(すなわち、多ビット値)を生成することを可能にし、それによって本明細書で開示された本発明のプロセッサの高解像度制御を発揮することを可能にする、個々の顔面筋肉のユーザの制御された収縮の監視が提供される。
人によって意識的に制御され、自動化された「信号」検出および測定システムによって容易に識別され、したがって、ユーザが自発的な顔の表情によってコンピュータを直接制御することを可能にする顔面筋肉は、以下を含むが、これらに限定されるものではない。
i.「上眼瞼挙筋」筋肉、
「上瞼板」筋、
を含むが、これらに限定されない、第3の(III)脳神経(すなわち、眼球運動神経)によって制御されるもの。
ii.以下を含むが、これらに限定されない第5の(V)脳神経(すなわち、「三叉神経」)によって制御されるもの。
A.「咬筋」(すなわち、咀嚼筋の1つ)、
「側頭筋」(すなわち、咀嚼筋の1つ)、
「内側翼突筋」(すなわち、咀嚼筋の1つ)、
「外側翼突筋」(すなわち、咀嚼筋の1つ)、
「鼓膜張筋」、
「口蓋帆張筋」、
「顎舌骨筋」、
「顎二腹筋上腹」、
を含むが、これらに限定されない、「下顎の」神経(すなわち、「V3」神経)によって制御されるもの。
B.限定するものではないが、以下を含む、第7の(「VII」)脳神経(すなわち、「顔面神経」)によって制御されるもの。
1.限定するものではないが、
「後頭前頭筋」(すなわち、「後頭筋」)、
「後耳介筋」、
を含む、「後耳介」神経によって制御されるもの。
2.限定するものではないが、
「後頭前頭筋」(すなわち、「前頭筋」)、
「眼輪筋」(すなわち、眼窩および眼瞼部分)、
「皺眉筋」、
「鼻根筋」、
「前耳介筋」、
「上耳介筋」、
「頭蓋表筋」を含む、
「頭」神経によって制御されるもの。
3.限定するものではないが、
「眼輪筋」(すなわち、涙腺部分)、
「上唇挙筋」、
「大頬骨筋」
を含む、「頬骨」神経によって制御されるもの。
4.限定するものではないが、
「鼻筋」
「口角挙筋」
「大頬骨筋」
「小頬骨筋」
「口輪筋」
「笑筋」
「頬筋」
「鼻中隔下制筋」
「上唇鼻翼挙筋」
を含む、「頬」神経によって制御されるもの。
5.限定するものではないが、
「下唇下制筋」
「オトガイ筋」
「口角下制筋」
「オトガイ横筋」
を含む、「下顎」神経によって制御されるもの。
6.限定するものではないが、
「広頸筋」
を含む、「頸」神経によって制御されるもの。
C.限定するものではないが、
「オトガイ舌筋」
「舌骨舌筋」
「茎突舌筋」
「オトガイ舌骨筋」
「甲状舌骨」
を含む、第12の(「XII」)脳神経(すなわち、「舌下神経」)によって制御されるもの。
f.測定可能な頭、首、および上半身の筋肉
人によって意識的に制御される可能性のある頭、首、および/または上半身の筋肉は、自動化されたビデオシステムによって容易に識別可能であり、したがって、人の頭の自発
的な傾きによるユーザによるコンピュータの直接制御のために有益である可能性があり、そのような筋肉は、限定するものではないが、以下を含む。
i.限定するものではないが、
「僧帽筋」
「胸鎖乳突筋」
を含む、第11の(「XI」)脳神経(すなわち、「副神経」)によって制御されるもの。
ii.限定するものではないが、
「上前鋸筋」
「中前鋸筋」
「下前鋸筋」
を含む、「長胸神経」によって制御されるもの。
iii.限定するものではないが、
「大菱形筋」
「小菱形筋」
を含む、「肩甲背神経」によって制御されるもの。
iv.限定するものではないが、
「前斜角筋」
を含む、「C5およびC6頸神経の前枝」によって制御されるもの。
v.限定するものではないが、
「中斜角筋」
を含む、「C3からC8頸神経の前枝」によって制御されるもの。
vi.限定するものではないが、
「後ろ斜角筋」
を含む、「C6からC8頸神経」によって制御されるもの。
vii.限定するものではないが、
「広背筋」
を含む、「胸背神経」によって制御されるもの。
viii.限定するものではないが、
「三角筋」
「小円筋」
を含む、「腋窩神経」によって制御されるもの。
ix.限定するものではないが、
「頭半棘筋」
を含む、「大後頭神経」によって制御されるもの。
x.限定するものではないが、
「頭板状筋」
を含む、「脊髄神経C3およびC4の後枝」によって制御されるもの。
xi.限定するものではないが、
「大後頭直筋」
を含む、「後頭下神経」(すなわち、C1の後枝)によって制御されるもの。
g.検出および測定方法論
上記の特徴および/または筋肉のそれぞれの動き、収縮、および/または他の変化は、以下を含むがそれらに限定されない多くの方法で検出および測定することができる。
i.ビデオ監視
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、(例えば、カメラを用いて)視覚的に検出および測定することができる。
コンピューティングデバイスには、1つまたは複数のビデオカメラおよび/または画像を取り込む他の手段が装備されており、それにより、デバイスのユーザおよび/または他
の人は、コンピュータと対話しながら、顔、頭、首、および上半身の画像を取得することができる。
適切な場合、前記カメラによって取得されたストリームまたは一連の画像は、関連する特徴の形状、向き、歪み、および/または外観の1つまたは複数の態様に関して分析される。
画像化された特徴の瞬間的な構成が測定され、および/または計算される。画像化された特徴の経時的な変化も測定および/または計算される。
結果的に得られる瞬間的特徴構成は、例えば、コンピュータコマンドとデータ、アプリケーションコマンドとデータなどの、コンピューティングデバイスへの定義された入力および/またはイネーブルされた入力の1つまたは複数のタイプおよび/または値にそれらがマッピングされるかどうかを判定するためにチェックされる。
ii.電気的監視
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、電気的に検出および測定することができる。関与する筋肉の収縮は、場合によっては少なくとも、影響領域に重なる皮膚上の電圧および/またはキャパシタンスの変化によって検出することができる。
コンピューティングデバイスは、1つまたは複数の電圧、電流および/またはキャパシタンスセンサ、ならびに/もしくは1つまたは複数の「特徴」筋肉および/または上層の皮膚の電気的性質/特性を検出する他の手段を備える。それにより、コンピューティングデバイスは、デバイスのユーザおよび/または他の人がコンピュータと対話しながら、顔、頭、首、および/または上半身の筋肉の神経支配および/または筋肉の神経支配の変化に関連する電気的状態および/または変化を検出および監視することができる。
コンピューティングデバイスのユーザの瞬間的な筋肉関連電気特性の結果的に得られるストリームは、例えば、コンピュータコマンドとデータ、アプリケーションコマンドとデータなどの、コンピューティングデバイスへの定義された入力および/またはイネーブルされた入力の1つまたは複数のタイプおよび/または値にそれらがマッピングされるかどうかを判定するために、経時的にチェックおよび監視される。
iii.磁気監視
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、磁気的に検出および測定することができる。上に示したように、動きおよび/または収縮は、電気的に検出および測定することができ、影響を受けた筋肉を支配する神経に現れるような電流は、検出することができる磁場を生成する。
iv.分光監視
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、関連する筋肉収縮の影響を受けた領域における血流への影響のために、分光学的に検出および測定することができる。
筋肉が収縮すると、その局所的な拡張は、筋肉の上にある皮膚に加わる圧力を増加させる。これらの収縮誘発性の圧力上昇は、影響領域の皮膚を通る血液の流れを妨げる。皮膚を通る血流の量のそのような変化は、分光学的に(すなわち、ユーザの皮膚の画像内で検出された色のスペクトルの解析を通じて(または、個々の「単一ピクセル」光検出器を用いて))測定することができる。
筋肉が収縮すると、局所的な「こぶ」が生じることがある。 そのこぶは、その筋肉だけでなく、それに隣接する組織、特に皮膚においても、血液を絞り出すことができる(すなわち、血液の流入に抵抗し、流出を促進する)。関連する筋肉および/または特徴の領域における血流の局所的な容積および/または速度のこの変化は、ユーザの皮膚のその領域の画像のスペクトル分析によって検出することができる。このような監視は、標準的なビデオカメラを用いて、ならびに他の方法によって、および他のセンサ技術を使用して、
実現することができる。
例えば、「パルスオキシメータ」は、(人の心拍数を監視するために)人の心臓の鼓動に関連する血流の変化を監視することができるセンサである。これらの同じ種類のセンサまたは類似の技術を使用しても、ユーザの顔、頭、首、および/または上半身の各部分を通る血流の速度および/または容積を監視することができ、したがって、コンピューティングデバイスが間接的にユーザの少なくとも1つの筋肉における収縮の程度を監視することを可能にすることができる。
酸素化された血液は、660nm(赤色光)で光を吸収し、一方、脱酸素化血液は、940nm(赤外光)で優先的に光を吸収する。パルスオキシメータは、600nmおよび940nmの2つの発光ダイオードと、光線が横断する組織から出る赤い光と赤外光の量を測定する2つの光収集センサからなる。オキシヘモグロビン(HbO)およびデオキシヘモグロビンによる光の相対吸収は、デバイスによって処理され、酸素飽和レベルが報告される。デバイスは、脈動性動脈血に注意を向け、組織からの局所的なノイズを無視する。結果は、患者のオキシヘモグロビン状態の連続的な定性的測定値である。オキシメータは、脈拍数、酸素飽和度(SpO)、さらに心拍出量に関するデータをもたらす。
http://www.ccmtutorials.com/rs/oxygen/pagel7.htm
1つまたは複数の血流および/または血流速度センサを使用することにより、コンピューティングデバイスは、それにより、コンピュータと対話しながら、デバイスのユーザおよび/または他の人の顔、頭、首、および/または上半身の筋肉が収縮した程度、および/または収縮の程度が変化した程度を検出および監視することができる。
コンピューティングデバイスのユーザの瞬間的な顔面血流特性の結果的に得られるストリームは、例えば、コンピュータコマンドとデータ、アプリケーションコマンドとデータなどの、コンピューティングデバイスへの定義された入力および/またはイネーブルされた入力の1つまたは複数のタイプおよび/または値にそれらがマッピングされるかどうかを判定するために、経時的にチェックおよび監視される。
v.熱監視
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、ユーザの皮膚の赤外線画像の捕捉および分析によって検出および測定される。
上記のように、筋収縮は、収縮した筋肉を覆う皮膚の領域を流れる血液量を減少させる。そして、収縮した筋肉を覆う皮膚温度の変化(例えば、低減)を検出することが可能であり、それらの温度変化の大きさは、筋肉収縮の大きさと相関するはずである。
vi.音声監視
本発明のための信号として使用される特徴および/または筋肉の動きおよび/または収縮は、関連する筋肉を覆う皮膚を通る血液のポンピングから生じる「脈拍」関連音の音量で起こる変化を通して検出および測定することができる。
上記のように、筋収縮は、収縮した筋肉を覆う皮膚の領域を流れる血液量を減少させる。
血流の減少は、脈動する血流の音の音量および特性を変化させる。
vii.ねじれ/空間監視
現在のところ、伸びおよび曲げを直接測定するために利用可能な多くの技術があり、特に、人間の表面に沿った伸びおよび曲げを測定するように設計されたものがある。また、人の顔、頭、首、および/または上半身の陰影および/または陰影の変化を分析して、そ
の人の顔、頭、首、および上半身の輪郭の変化を測定および監視することも可能である。さらに、2つ以上のビデオカメラを使用することにより、人の顔、頭、首、および/または上半身の3Dモデルを構築し、その変化を監視することが可能となり、したがって、関連する筋肉の収縮の相対的な程度の検出および/または監視が可能となる。
これらの、ならびに/もしくは他の技術および/または方法を使用して、ユーザの顔、頭、首、および/または上半身の形状を監視し、それにより、その形状およびそれを支える筋肉の収縮の相対的な程度の変化を判定および/または監視することができる。
コンピューティングデバイスのユーザの瞬間的な顔面筋肉収縮の読取値の結果的に得られるストリームは、例えば、コンピュータコマンドとデータ、アプリケーションコマンドとデータなどの、コンピューティングデバイスへの定義された入力および/またはイネーブルされた入力の1つまたは複数のタイプおよび/または値にそれらがマッピングされるかどうかを判定するために、経時的にチェックおよび監視される。
22.例示的な特徴セット
a.本開示の例示的な実施形態は、ユーザの顔、頭、首、および肩の4つの特徴の位置、すなわち、眉毛の持ち上げまたは巻き上げの程度、頭部の冠状面内での傾きの程度、左右の目を部分的に閉じた程度、および頭の矢状面内での傾きの程度、の変化に応答する。
i.それぞれの目の内側の隅(すなわち、鼻の部分)に対する眉毛の平均的なおおよその垂直距離を検出する。それらの垂直眉毛状態は、5つの相対的な数字に量子化され、0は、完全に下げられた眉毛(両眉毛の中央部と鼻の部分との間の距離が最も短い)を表す、1.部分的に下げられた眉毛を表す、2.安静時のおよび/または自然な位置の眉毛を表す、3.部分的に持ち上げられた眉毛を表す、および、4.完全に持ち上げられた眉毛を表す。
ii.肩を通る横断面に対する「側方」方向(すなわち、冠状面内)の頭の角度の傾きを検出する。それらの相対的傾きの程度は、7つの相対的な数値に量子化され、0は、頭がユーザの左に約15度傾けられたこと表し、1は頭がユーザの左に約10度傾けられたことを表し、2は頭がユーザの左に約5度傾けられたことを表し、3は頭が垂直方向(非傾斜)であることを表し、4は頭がユーザの右に約5度傾けられたことを表し、5は頭がユーザの右に約10度傾けられたことを表し、6は頭がユーザの右に約15度傾けられたことを表す。
iii.頭の矢状面に平行な面内の軸に沿って、各眼の上下のまぶたの最大の分離に対して左まぶたおよび右まぶたが閉じられる程度を検出する。これらの相対的な分離度は、4つの数値に量子化され、0は両目が完全に開いていることを表し、1は、ユーザの右目が部分的に閉じられ(眼を細めている)、ユーザの左目が完全に開いていることを表し、2は、ユーザの左目が部分的に閉じられ、ユーザの右目が完全に開いていることを表し、4は両目が部分的に閉じていることを表す。
iv.ユーザの顎の胸からの分離を測定した場合に、冠状面に対する「前後」方向(すなわち、矢状面内)の頭部の角度の傾きを検出する。それらの相対的な傾きの程度は、7つの相対的な数値に量子化され、0は、頭が後方に約15度傾けられたことを表し、1は頭が後方に約10度傾けられたことを表し、2は頭が後方に約5度傾けられたことを表し、3は頭が垂直方向(非傾斜)にあることを表し、4は頭が前方へ約5度傾けられたことを表し、5は頭が前方に約10度傾けられたことを表し、6は頭が前方へ約15度傾けられたことを表す。
これらの4つの特徴のユーザにより行われた転位は、ユーザの身体のそれぞれの目印に対して、利用可能な眉毛位置について4つの状態を提供し、利用可能な頭頂部の傾きにつ
いて7つの状態を提供し、利用可能な眼を細めた程度および組み合わせについて4つの状態を提供し、利用可能な頭の矢状方向への傾きについて7つの状態を提供する。したがって、これらの特徴固有状態の順列は、784個の複合状態の基礎を提供し、したがって、784個の実施形態固有のおよび/またはアプリケーション固有の値の基礎を提供する。
この特徴セット、ならびに最大784の実施形態固有および/またはアプリケーション固有の値をユーザに提供することは、5つのASCII制御文字(例えば、キャリッジリターン、削除など)、27個の非英数字(例えば、「!」、「?」など)、10個の数字(例えば、「0」から「9」)、26個の大文字(「A」から「Z」)、および26個の小文字(「a」から「z」)、合計94個のASCII文字を特定するために充分な値をユーザにもたらす利点を有する。これには、さまざまな色、アプリケーション固有の動作(例えば、「新規ファイルの作成」、「ファイルの保存」など)、および/または頻繁に使用される特定の単語、フレーズ、頭語(例えば、「拝啓」)、結語(例えば、「敬具」)などに割り当てることができる更なる690個の値が残る。
b.本開示の別の例示的な実施形態は、ユーザの頭の2つの特徴の位置、すなわち、頭の冠状面内での傾きの程度、および頭の矢状面内での傾きの程度の変化に応答する。
上述の好ましい特徴の第1のセットに関して説明したように、ユーザの身体上のそれぞれの目印に対するこれらの2つの特徴のユーザが行った転位は、頭の利用可能な頭頂部の傾斜の7つの状態、および、頭の利用可能な矢状方向の傾斜の7つの状態を提供する。したがって、これらの特徴固有状態の順列は、49個の複合状態の基礎を提供し、したがって、49個の実施形態固有および/またはアプリケーション固有の値の基礎を提供する。
この特徴セット、ならびに最大49個の実施形態固有および/またはアプリケーション固有の値をユーザに提供することは、値固有のパラメータ指定および少なくとも10個の数字を介して比較的多種多様なパラメータを制御するのに十分な値をユーザに提供するという利点を有する。それは、比較的「軽い」ものであるという付加的な利点を有し、その値、およびそれらの生成に必要とされる顔、および/または身体の曲りが比較的迅速に学習されることを可能にする。
23.例示的な筋肉
a.本開示の例示的な実施形態は、変化する電圧に応答するセンサを使用して、特定の筋肉が収縮する程度を検出および測定する。この例示的な実施形態は、上記の第1の好ましい特徴セットに記載された実施形態(すなわち、眉毛とまぶたの相対位置の変化、および頭の相対的な冠状および矢状の傾きの変化に応答するもの)と同一であるが、1つの例外を伴う。この例示的な実施形態は、特徴固有の実施形態におけるそれぞれの特徴の転位に関与する筋肉が、それらの収縮に関連する差分電圧の検出によって、活性化される程度を検出し、測定し、量子化する。
i.この例示的な実施形態は、眉毛を上げ下げするための筋肉に関連する電圧の測定および量子化を介して眉毛の動きを測定および量子化し、そのような筋肉には、眉毛を上げる筋肉、すなわち、後頭前頭(前腹部)筋および側頭頭頂筋、ならびに眉毛を下げる筋肉、すなわち、皺眉筋および鼻根筋が含まれる。
ii.この例示的な実施形態は、そのような傾斜で頭を位置決めすることに関与する筋肉に関連する電圧の測定および量子化を通じて頭の左右の傾きを測定し、量子化し、そのような筋肉には、斜角筋、僧帽筋、および胸鎖乳突筋が含まれる。
iii.この例示的な実施形態は、2組の筋肉、すなわち、1)上まぶたを上げることに関与する筋肉、すなわち上眼瞼挙筋、および、2)目を閉じることに関与する筋肉、す
なわち眼輪筋、に関連する電圧の測定および量子化による左まぶたおよび右まぶたを細めた程度を測定および量子化する。
iv.この例示的な実施形態は、頭の前後の傾きを、そのような傾きで頭の位置を決めるための筋肉に関する電圧の測定および量子化により測定および量子化し、そのような筋肉には、胸鎖乳突筋、頭半棘筋、頸半棘筋、胸半棘筋、頭板状筋、頚板状筋、頭棘筋、および頭最長筋が含まれる。
24.例示的な神経
a.本開示の例示的な実施形態は、変化する電圧に応答するセンサを使用して、特定の神経、および/またはそれらに対応する筋肉が神経支配される程度を検出および測定する。この実施形態は、上記の第1の好ましい特徴セットに記載された実施形態(すなわち、眉毛とまぶたの相対位置の変化、および頭の相対的な冠状および矢状の傾きの変化に応答するもの)と同一であるが、1つの例外を伴う。この例示的な実施形態は、特徴固有の実施形態におけるそれぞれの特徴の転位に関与する神経および筋肉が、それらの神経支配に関連する差分電圧の検出によって神経支配される程度を検出し、測定し、量子化する。
i.この例示的な実施形態は、眉毛を持ち上げる筋肉を神経支配する顔面神経(脳神経VII)の側頭枝に関連する電圧、ならびに眉毛をひそめる筋肉を神経支配する顔面神経の頬枝に関連する電圧の測定および量子化により眉毛の動きを測定および量子化する。
ii.この例示的な実施形態は、頭を左右に傾ける筋肉の神経支配のための、頚神経5から8の部分および付随神経(脳神経XI)に関連する電圧の測定および量子化を通して、頭の左右の傾きを測定および量子化する。
iii.この例示的な実施形態は、2組の神経に関連する電圧の測定および量子化を介して左まぶたおよび右まぶたを細めた程度を測定および量子化し、そのような神経には、1)上まぶたの位置を変更する筋肉の神経支配に関するもの、すなわち、(三叉神経、CN Vの、眼枝、V1、からの)、滑車下神経、滑車上神経、眼窩上神経、および涙腺神経、ならびに、2)下まぶたの位置を変更する筋肉の神経支配に関するもの、すなわち、(三叉神経の上顎枝、V2、の)滑車下神経、および眼窩下神経の枝、が含まれる。
iv.この例示的な実施形態は、頭を前後に傾ける筋肉の神経支配に関する、副神経(脳神経XI)、大後頭神経、脳胸神経後枝C3からT6、脳神経後枝C3からC8と関連する電圧の測定および量子化を介して頭の前後の傾きを測定および量子化する。
25.商業化
本開示の実施形態は、パーソナルコンピュータ、スマートフォン、ATM、POS端末、音楽シンセサイザ、自動運転車、ゲーミングコンソール、スマートテレビなどの、従来技術において既知の、多種多様な機能および/または多種多様なデバイスタイプに統合することができる。これらの既知のデバイスの本明細書に開示された新規システムへの変換は、ユーザの顔、頭、首、および/または肩、ならびに/もしくはその中の筋肉を監視する1つまたは複数のセンサ(例えば、カメラ)の追加を含む。
いくつかの既存のコンピュータ化されたデバイスは、そのような各デバイスに、少なくとも1つのセンサ、例えば、カメラを追加することによって、およびデバイス内で動作することができるコンピュータコードの少なくとも1つのセットをインターネットからダウンロードすることによって、ならびに、ユーザの顔、頭、首、および/または肩に対する特定の幾何学的変化を直接的に(例えば、カメラによって生成される画像データの分析を介して)または間接的に(例えば、ユーザの皮膚に接触するセンサによって生成される電
圧データの分析を介して)、動作可能に検出および測定する場合、本開示の実施形態に変形することができる。コンピュータコードのセットはまた、ユーザの顔、頭、首、および/または肩の特定の幾何学的構成を、デバイスのユーザによる使用および/または制御に適したデジタル値に変換することができる。
26.コードのユーザカスタマイズ
本開示の例示的な実施形態は、実施形態に値を伝達および/または指定するために、顔、頭、首、および/または肩のどの特徴をユーザが使用するかをユーザが指定することができる。本開示の別の例示的な実施形態は、実施形態に値を伝達および/または指定するために、顔、頭、首、および/または肩のどの筋肉をユーザが使用するかをユーザが指定することができる。本開示の別の例示的な実施形態は、実施形態に値を伝達および/または指定するために、顔、頭、首、および/または肩のどの神経をユーザが使用するかをユーザが指定することができる。
27.実施形態固有コード
本発明の例示的な実施形態は、ユーザの顔、頭、首、および/または肩のどの特徴(すなわち、どの「部位コード」)が、実施形態に値を伝達および/または指定するためにユーザに利用可能であるかをユーザに伝達する。本発明の別の例示的な実施形態は、ユーザの顔、頭、首、および/または肩のどの筋肉が、実施形態に値を伝達および/または指定するためにユーザに利用可能であるかをユーザに伝達する。本発明の別の例示的な実施形態は、ユーザの顔、頭、首、および/または肩のどの神経が、実施形態に値を伝達および/または指定するためにユーザに利用可能であるかをユーザに伝達する。
本開示の例示的な実施形態は、どの特徴、筋肉、および/または神経が、実施形態の表示デバイス上でユーザに表示される1つまたは複数のグラフィックイラストにより実施形態に値を伝達および/または指定するためにユーザに利用可能であるかを伝達する。
本開示の別の例示的な実施形態は、どの特徴、筋肉、および/または神経が、実施形態に特徴符号化値、筋肉符号化値、および/または神経符号化値を送信するようユーザに促すことによって実施形態に値を伝達および/または指定するためにユーザに利用可能であるかを伝達する。本実施形態は、ユーザ提供の合成コードが全て必要な部分コードから構成されたかどうかを示す、有効か無効かの信号、例えば、光、ビープ音、または他の何らかのバイナリインジケータを生成することによって、各ユーザによる送信に応答する。次いで、ユーザは、実施形態を満足させた一組の部位コードを発見することができ、その後、個々の部位コードを除去して、除去された各部位コードが実際に実施形態との通信に必要かどうかをテストすることができる。
本開示の別の例示的な実施形態は、「入力タイプ」コード(例えば、業界標準コード)を介してどの部位コードの標準セットが実施形態によって使用されたかを示すことができる。そのような入力タイプコードは、複数の要素またはサブコードを含むことがある。1つのサブコードは、実施形態が監視し、変化を検出し、部位の量子化された数値に変換した特徴、筋肉、および/または神経のセットを示すことができる。別のサブコードは、関連する特徴、筋肉、および/または神経の全て、または代わりに各特徴、筋肉、および/または神経に関連する量子化値の「範囲」を示すことができる。
本開示の別の例示的な実施形態では、ユーザが、ユーザにとって好ましいコミュニケーション特徴、筋肉、および/または神経、ならびにそれぞれから導出される量子化値のユーザにとって好ましい「範囲」を指定するコード、値、データファイルなどを入力することができる。そのような実施形態は、ユーザ指定の量子化範囲に関して、その内部合成値をユーザ指定の特徴、筋肉、および/または神経にマッピングすることができる。
当業者には、どの特徴、筋肉、および/または神経が実施形態の通信および/または制御のために必要とされているかを実施形態がユーザに伝達することができる多くの方法、技術、プロトコルなどが存在することが明らかであろう。
28.疾病の検出
本開示の1つまたは複数の実施形態による収縮符号化値のユーザの生成に関連する統計を時間(例えば、月、年、数十年)にわたって保存することによって、1つまたは複数の実施形態にコードを送信するそのユーザのペースおよび/または頻度の変化(特に、低減)を検出することが可能である。また、ユーザがその後に修正しなければならない誤りのあるコードを送信する頻度の変化(特に増加)および/または有効なコードを繰り返す頻度の変化を検出することも可能である(特に、そのような冗長性が、1つまたは複数の実施形態により無視され、したがって、修正を求められる明確な誤りと同じではない場合)。
ユーザの効率および/または精度における上記の変化、特に低減のいくつかは、疾患、特に、神経学的特徴の発症を示す可能性がある。例示的実施形態が検出可能な疾患の一部は、これらに限定するものではないが、筋萎縮性側索硬化症(ALS)、ベル麻痺、脳腫瘍、脳萎縮(特に加齢関連形態)、クロイツフェルト・ヤコブ病(CJD)、認知症、糖尿病性神経障害(潜在的に未診断の糖尿病に関連する)、ハンチントン病、パーキンソン病(PD)、睡眠時無呼吸、および脳卒中を含む。
本開示のいくつかの実施形態は、ユーザの効率および精度に関連するメトリクスを記録し、ユーザならびに/もしくは1人または複数人の第三者(例えば、親、口座保有者、医療従事者など)に、ユーザの潜在的な健康問題ならびに関連性のある診断予備データを警告する。
29.例示的な実施形態
実施形態は、少なくとも、顔、頭、首、および/または肩の変化した幾何学的構成をどれだけ多くサポートするかに関して異なっていてもよい。一部のものは、いくつかの幾何学的構成のみをサポートする。他のものは、多数の幾何学的構成をサポートする。
実施形態は、少なくとも、任意の特定の幾何学的変更についてどれだけ多くのバリエーションを区別するかに関して異なっていてもよい。これは実際には、任意の特定の幾何学的変化に対して量子化された尺度がどれだけ生成されるかという点で異なる。例えば、一実施形態は、眉毛の持ち上げまたは下げに関連する変化の3つの部分領域(例えば、完全に上げられた、自然な状態、完全に下げられた)の間の区別のみを行う。別のものは、それらの変化の5つの部分範囲(例えば、完全に上げられた、部分的に上げられた、自然な状態、部分的に下げられた、完全に下げられた)を区別する。
実施形態は、少なくとも、幾何学的形状の変化が、どのようにして、例えば、カメラ、電圧センサ、加速度計で検出されるかに関して異なっていてもよく、変化した幾何学的形状の物理的属性のどれ(例えば、平面視(2D)、立体視(3D)、電気など)を測定するかに関して異なっていてもよい。
実施形態は、少なくとも、サポートされる幾何学的形状をユーザにどのように伝達するかに関して異なっていてもよい。
実施形態は、少なくとも、実施形態によってサポートされる利用可能な各シンボリック値を指定するために使用される幾何学的形状および/またはそれらの範囲をユーザが指定できるかどうかに関して異なっていてもよい。
実施形態は、少なくとも、実施形態によってサポートされる利用可能な各シンボリック値を指定するために使用される幾何学的形状および/またはそれらの範囲をアプリケーションデベロッパが指定できるかどうかに関して異なっていてもよい。
実施形態は、少なくとも、形成不良または実行不良な幾何学的形状をいかに正確に解釈(すなわち「修正」)できるかに関して異なっていてもよい。
実施形態は、少なくとも、それらがサポートすることができる幾何学的に符号化された信号の最大レート(すなわち、「ユーザがどれだけ速く信号を送信することができるか」)に関して異なっていてもよい。
実施形態は、少なくとも、それらが実施形態に伝達する幾何学的に符号化された信号がどのように処理されるか(すなわち、それらが何のために使用されるか)に関して異なっていてもよい。
a.スマートフォン
一般的なコンピューティングプラットフォームとしてのスマートフォンの使用が増えている。また、スマートフォンおよびタブレットコンピュータなどの小型ハンドヘルドコンピューティングデバイスは、典型的には、物理キーボードの恩恵を受けずに動作する。したがって、これらのデバイスは、典型的には、手動制御の高解像度手段なしで操作および制御される。代わりに、これらのデバイスは、典型的には、他の任意のグラフィックと同様にこれらのデバイスの画面上に示されている「仮想」キーボードに頼っており、ユーザは所望の1つまたは複数の文字を覆う画面のその部分をタッチする必要がある。
多くの人々は、スマートフォンを使用している人の非常に近くに座ったり、立ったりすることによって生じる可能性のある、集中力の乱れと苛立ちを経験したことがある。
その人は(あまりにも大声で)話している可能性があり、彼らが話している内容は面白さに欠ける可能性があり、彼らが話す言葉が耳や心に入り込んでくることを防ぐ術はほとんど、または全くない。その人は、デバイスの画面に夢中でタッチし、ある種のテキストメッセージ(たとえば、従来のテキストメッセージ、ツイッター(登録商標)投稿、FacebookやGoogleチャットなど)を作成しているかもしれない。視覚妨害は、たとえ周辺視野に隔離されていても、無視するのが難しい。
話された言葉によって引き起こされる騒音も、絶え間なく画面上をタップおよびスライドすることによって生じる視覚妨害の発生もなく、スマートフォンまたは他のコンピュータ媒介通信デバイスを介して、人が自分の友人および/または同僚と対話することを可能にする方法および/または技術が必要とされている。
b.セキュリティの課題
ユーザがパスワード「コード」を提出することを可能にする一方で、ユーザが証明する各コード固有の幾何学的形状の一意の属性(例えば、ユーザが、各特定のパスワード関連シンボリック値を実行するときに見える傷痕、血管、いぼなどの顔表面に見える詳細な画像、パスワード固有の幾何学的形状をユーザが実行する間に観測可能なユーザ固有の震え、コード関連の筋肉収縮をユーザが行っている間に現れる電気特性に関連するユーザ固有の特性など)をシステムが監視することを可能にする組み合わせによる。
幾何学的に符号化されたパスワードコードをユーザが実行することを監視する間にシステムが獲得することができる追加のユーザ固有情報は、盗人がシミュレートするのが困難な、一意ではないかもしれないが、非常に独特な指紋を提供することができる。
c.ディープコードセット
多数の部位幾何学的形状の使用、および定義する極致間のより多くの中間幾何学的形状の識別(つまり、部位幾何学的形状あたりのより大きな範囲のシンボリック値)を使用す
ることによって、シンボリック値の大きなセットをユーザが利用可能にすることができる。値のより大きなセットは、ユーザが習得するためにより多くの時間を必要とするが、利益は、多数のユーザに対する、例えば、本開示の実施形態をそれらの主要な通信手段として使用することを選択する可能性のある四肢麻痺者に対する、コストを超える可能性がある。
30.潜在的利益
本明細書で開示される発明は、現在の技術水準に関して人々が利用できない多くの利点を提供することができる。これらの利点には、以下のものが含まれるが、これらに限定されない。
a.サイレント・ハンズフリー入力
本明細書に開示される発明は、ユーザが、自分のコンピュータを制御し、自分の手や指を使わずに、言葉のコマンドや情報を話すことなく、テキスト、文書、音楽などを構成することも可能にする。これは、ユーザが、コンピュータを片手で持ち、コンピュータへのデータ入力のセキュリティを保護することが懸念される混雑したおよび/または公共の場所でコンピュータを使用しようとする場合に特に便利である。
本発明はまた、慢性的で迅速な手の動きおよび/または可聴の発声されたコマンドおよびデータによって不満および/または怒りを抱く恐れのある付近にいる人を怒らせることなく、公共の場面で自分のコンピュータを制御し、および/または自分のコンピュータと対話することを可能にすることができる。
b.サイレントおよびプライベートな「口で伝える」会話
本明細書に開示される発明は、ユーザが公共の場でプライベートな会話をすることを可能にすることができる。顔の筋肉の意図的かつ協調的な収縮を介してメッセージを定式化することにより、ユーザは、誤ってまたは故意に近くの誰かが耳にする可能性のあることを、はっきりと発話する必要がない。実際には、本発明の2人のユーザは、ヘッドフォンを介して他方から受信したメッセージの合成された翻訳を聞きながら、特定の顔面筋肉の協調した収縮によって、相手に対するメッセージをそれぞれ生成することができる。
そのような会話は、小さな手動キーボードまたは仮想キーボードを介して繰り返される高頻度の文字の選択に関連する不満と健康上のリスクをともなわず、コミュニケーションの「豊かさ」を高めるために利用可能な、顔で符号化されたコマンドおよび/または記号の補完において、優れてはないにしても、同等な解決策をもたらすであろう。
c.様々な神経への損傷の検出
顔の表情を生じさせる顔の筋肉は、顔の右側のための各々の1つと、左側のための各々の1つの顔面神経(すなわち、脳神経VおよびVII)のペアによって神経支配される。舌の筋肉は、舌下神経によって神経支配される。そして、本発明の実施形態のための信号として働くことができる他の筋肉は、他の神経によって神経支配される。
特定のユーザの信号筋において、特に横方向に相補的な信号筋(すなわち、ユーザの身体の各側に1つ)について検出された収縮、動き、および/または他の変化のタイプおよび程度を経時的に記録することによって、信号筋制御コンピュータは、1つまたは複数の神経によって支配される収縮および/または動きの活力の低下が検出されたことをユーザに警告することができる。そのような減少は、特に、それがユーザの身体の片側だけに特徴的である場合、各神経の損傷および/または疾患を示す可能性がある。
d.うつ病および他の心理的障害の検出
特定のユーザで検出された顔の表情および/または身体の動きの種類および程度を経時
的に記録することによって、信号筋制御コンピュータは、様々な心理的病気、例えばうつ病に特徴的な動きおよび/または表現の相対頻度が増加していることをユーザに警告することができる。心理的病気と一致する動きおよび/または顔の表情の相対頻度が増加していることを検出するのを助けるだけでなく、信号筋制御コンピュータは、様々な心理的問題とは対極にある動きおよび/または顔の表情の大きさおよび/または持続時間の減少も検出することができる。例えば、笑顔の生成および/または持続時間の相対的な頻度および幸福と一致する他の表情の減少は、うつ病の発症を示す可能性がある。
e.様々な健康関連の特性の監視
信号筋制御コンピュータは、ユーザのボディランゲージおよび表情を検出し、分析し、分類し、定量化するので、および実施形態はまた、経時的にこれらの表現に関連する相対頻度、大きさ、および/または他のパラメータを記録することもできるので、コンピュータによって検出されたボディランゲージおよび表情の「質」に関するフィードバックを提供するのに、そのコンピュータまたはそのログを使用することが可能になる。ユーザのボディランゲージおよび/または表情が「普通」または「正常」である(おそらく、時間の経過とともに集められたユーザ固有の表現データの集約によって定義される)ものから逸脱する場合、そのような「異常」に関するフィードバックが、ユーザおよび/またはセラピストに提供され得る。
このようにして、例えば、ユーザの言語療法士は、顔の神経、顔の筋肉、神経学的症状(例えば、痙攣、発作など)の健康についての貴重な洞察を得ることができ、ユーザの治療を導き、改善し、および/または加速することができる。
この種の顔面言語およびボディランゲージ監視能力はまた、任意の数の神経学的、心理的、発語、および/または他の健康関連状態に関してユーザにもたらされる治療および/または療法の効果に関して、ユーザまたはユーザの医者もしくはセラピストにフィードバックを提供することができる。
B.本開示の実施形態の詳細な説明
図1は、本開示の例示的な実施形態を示す図である。ユーザ160は、図4に示されて参照して説明した7つの信号特徴の動きのみを使用して、実施形態のオペレーティングシステム用または実施形態内で実行中のアプリケーション用のコマンドを生成している。
ユーザ160は、図5に示されて参照して説明した同じ非ゼロ信号構成を実行している。実施形態は、それぞれ異なる視点からユーザ160の画像172および173を取り込む2つのカメラ170および171を有する。そのような2つのカメラの実施形態は、スマートフォンの左上および右上隅に一対のカメラとして実装してもよい。各々は、ユーザの顔に対して一意の角度オフセットからユーザを見ることになる。カメラ170および171は、生成された画像172および173がユーザの立体視を捕捉するように配置される。そのような立体視は、ユーザの顔、頭、首、および上半身の部分的な3D再構成を生成することを可能にする。
ユーザの顔、首、頭、および上半身の3D再構成またはモデルは、筋肉の収縮または弛緩によって引き起こされるような容積変化、ならびに/もしくは他の信号特徴の相対的位置および/または向きの任意の変化(例えば、ユーザの頬の凹凸の変化)を比較的容易および正確に決定することを可能にする。
各カメラは、捕捉した各画像を符号器モジュール174に送る。符号器モジュール174は、このユーザ160がどの信号特徴を好み、実行時に最も熟達しているかを指定する「ユーザ構成」ファイル175で初期化される。この場合、ユーザ構成ファイル175は、このユーザ160が、図4にすでに示されて参照して説明した7つの信号特徴を使用することを好むことを示す。
ユーザ構成ファイル175で指定された好みを用いて、符号器モジュール174は、画像172および173を分析し、必要な7つの信号特徴を識別し、その状態を測定する。その分析の終わりに、符号器モジュール174は、部位信号値(すなわち、「量子化された因子測定値」)のアレイ176(すなわち、「変化シグネチャ」)を出力し、この部位信号構成(すなわち、図5に示したものと同じ)に対して{2,0,1,2,1,0,0}である。
この実施形態では、変換器モジュール177は、「アプリケーション構成」ファイル178で初期化される。また、この例では、このアプリケーション構成ファイルは、合成信号値を生成するために4つの最低4次信号値のみが使用されることを示す。変化シグネチャ176は、符号器モジュール174から変換器モジュール177に送られ、(この場合)状況固有合成信号値180が、アプリケーション構成ファイル178によって指定された切り捨て部分179から生成される。
この例では、最低次成分の信号値は{2,1,0,0}である。これらはベース3ビットなので、2100のこの合成信号値は63の10進数値、すなわち(2×27)+(1×9)+(0×3)+(0×1)=63に対応する。
変換器モジュール177は、数値63を「コンシューマ」181に送信し、それが解釈され、対応するコマンドが実行される。
この例では、「コンシューマ」は、アプリケーション、デバイスオペレーティングシステム、ネットワークインタフェースモジュールなどとすることができる。
図2は、人体の筋肉および他の特徴の相対的な位置ならびにそれらの特徴の転位の方向を定義および説明するために使用される矢状面、正面、および横断面の図である。
図3は、人の顔の幾何学的形状に対する顔の表情、動き、および変化を引き起こす筋肉の一部の図である。この図は、パブリックドメインにあり、1909年に出版された「Sobotta’s Atlas and Text−book Human Anatomy」で見られる。図は、K.HajekとA.Schmitsonとによって作成された。
図4は本開示の例示的な実施形態によって使用される7つのユーザ制御身体信号の図である。この図は、これらの信号を特徴付けることを意図したに過ぎないが、図が、実施形態に組み込まれた、または実施形態に接続されたカメラによって取り込まれる可能性のある画像の種類を表すものであると想像してもよい。
ユーザ100は、各部位信号値(上記の表1を参照)がゼロの値を有する弛緩した姿勢にある。ユーザ100は、ユーザの頭100を左または右に傾けること101によって、第1の部位信号値を生成する。ユーザ100は、それぞれの方向を見ているかのように、頭を左または右(身体の垂直の縦軸の回り)に回転させること102によって、第2の部位信号値を生成する。
ユーザ100は、左肩または右肩をすくめる(すなわち上げる)こと103によって、第3の部位信号値を生成する。ユーザ100は、自身の眉毛104を上げるか、または下げる(すなわち、しかめる)こと104によって、第4の部位信号値を生成する。ユーザ100は、左目または右目のいずれかを閉じること105によって、第5の部位信号値を生成する。(両眼を同時に閉じることを無視することにより、実施形態に対する偽の入力を生成することなく、ユーザは瞬きすることができる)。
ユーザ100は、自身の口を僅かにまたは大きく開くこと106によって、第6の部位信号値を生成する。また、ユーザ100は、自身の顎を左右に横にずらすこと107によ
り、第7の部位信号値を生成する。
図5は、図4に示された同じユーザ100の、そのユーザ110が非ゼロ合成信号値を生成している場合の図である。第1の部位信号値111の値は、頭が左右に傾いていないのでゼロである。第2の部位信号値112の値は、頭が左右のいずれにも回転していないのでゼロである。第3の部位信号値113Lおよび113Rの値は、ユーザの右肩が上がっている(ユーザの左肩が安静時状態である)ので1である。(ユーザの右肩が安静時状態、ユーザの左肩が上がっていた場合、信号の値は2になる)。
両方の眉毛が上がっているので、第4の部位信号値114の値は1である。ユーザの左まぶたが閉じており、右まぶたが開いているので、第5の部位信号値115の値は2である。ユーザの口が閉じているので、第6の部位信号値116の値はゼロである。また、第7の部位信号値117の値は、ユーザの顎がユーザの鼻の左の位置に横方向にずれているので、2である。
したがって、図5に示す部位信号構成は、{0,0,1,1,2,0,2}の部位信号値(すなわち、「量子化された因子測定値」)に対応する。
そのような生の部位信号値のセットを「合成」信号値に変換するアルゴリズムは任意である。例えば、部位信号値の順序は、合成信号値の任意の特定の解釈および/または適用に関して一貫している限り、任意である。同様に、多数の潜在的な部位信号のうちのどれをユーザから収集するか、またユーザが生成したどの合成信号値に基づくかの判定も任意である。(しかしながら、どの部位信号値が好ましいか、例えば、どの部位信号値が最も実行および/または覚えやすいかをユーザが自由に特定できることは便利である)。
各部位信号値に関連する異なる状態への値の割り当ても任意である。上記の例では、ゼロの値は、ユーザの安静時姿勢または自然な姿勢を表す状態に関連付けられている。しかしながら、各部位信号値の任意の状態(自然な状態を含む)には、任意の適切な値が割り当てられている可能性がある。この場合、各部位信号値に3つの潜在的な状態があり、適切な値は0から2までの範囲となる。
図6は、本開示の例示的な実施形態を示す図である。ユーザ120は、4つの信号の動きのみを用いて音楽を生成している。ユーザが4つの信号を指定する筋肉収縮が検出され、皮膚に取り付けられたセンサで測定される。
この例示的な実施形態は、「接触センサ」(121から126)によって生成された信号の使用を介してユーザの信号特徴の状態を検出および測定する。代替の実施形態は、神経の支配に関連する電気信号(電圧、キャパシタンス、および/または電流)を検出および測定する接触センサを使用する。他の代替実施形態は、筋肉の収縮に関連する電気信号(電圧、キャパシタンス、および/または電流)を検出および測定する接触センサを使用する。さらに他の代替の実施形態は、神経の支配および/または筋肉の収縮に関連し得るものなどの磁場の強さの変化を検出および測定する接触センサを使用する。さらに他の代替実施形態は、伸張および/または屈曲を検出および測定する接触センサを使用する。
その動作モードに関係なく、これらのセンサは、それぞれの各実施形態に入力値を伝達するコードを指定するためにユーザが使用するユーザの顔、頭、首、および/または肩の幾何学的形状の特定の変化を、直接的および/または間接的に検出および測定する。
図6の例示的な実施形態では、接触センサは、実施形態に接続された受信機128に無線127(例えば、Wi−Fi)により、それらの状態(例えば、検出している歪みおよび/または電気的活動の大きさ)を送信する。ユーザの顔、頭、首、および/または肩に
対する因子固有の幾何学的変化の一意の組み合わせを定義する「変化シグネチャ」として働く「量子化因子測定値」のアレイ132に生センサ信号を変換する(例えば、量子化する)モジュール131によって分析される、(時間基準線130によって指定された)各瞬間に受信された信号は、メモリ129に格納される。次いで、変化シグネチャは、変換モジュール133によって、この図では特定の音楽コードである、対応する実施形態および/またはアプリケーション固有の「シンボリック値」134に変換される。次に、この例示的な実施形態は、シンセサイザモジュール135において、指示された楽音を合成して音声137としてスピーカ136で、出力することによって、ユーザ固有シンボリック値134を処理する。
図6に示すユーザは、「ギター(コード)A#」のシンボリック値を指定し、実施形態に伝達している。ユーザは、対応する値固有コード「0,1,1,0」の自身の顔、頭、首、および肩の幾何学的形状の変化を介して、自身の指定を通じてこれを行っている。
ユーザ120は、自身の顔、頭、首、および肩の幾何学的形状に対する4つの固有の(すなわち、4つの因子固有の)変化を自身で行うことによって、0,1,1,0の値固有コードを指定した。幾何学的変化と、関連する因子固有コードとの対応は、以下の表に示すコードと一致する。
Figure 2021114317
第1の信号特徴は、上記の表の1行目、すなわち左肩または右肩のいずれかが上げられるか、またはいずれの肩も上げられないことを示す。2つの接触センサ121は、ユーザの左肩121Lおよび右肩121Rの持ち上げを検出する。この図では、ユーザの右肩が上げられ、一方、左肩は安静時状態である。上の表に示すように、これは(任意の定義に従って)信号値0に対応する。
第2の信号特徴は、上の表の2行目において、すなわち、眉毛の両方が上げられているか、もしくは、しかめられているか、または両方の眉毛が安静時状態にあるかで特定される。1つの接触センサ124は、ユーザの眉毛の上げ下げを検出する。図では、ユーザの眉が上げられている。上の表に示すように、これは(任意の定義に従って)信号値1に対応する。
第3の信号特徴は、上の表の3行目で、すなわち、一方の目または他方の目が閉じられている、または両方の目が開かれている(もしくは、閉じられている)ことで特定される。2つの接触センサ125は、ユーザの左まぶた124Lおよび右まぶた124Rの開閉を検出する。この図では、ユーザの右目が開かれ、左目が閉じられている。上の表に示すように、これは(任意の定義に従って)信号値1に対応する。
第4の、最後の、信号特徴は、上記表の4行目、すなわち、顎の左右への横方向のずれ、または安静時状態の、中心にある顎で指定される。2つの接触センサ126は、ユーザの顎のユーザの左126Lおよび右126Rへの動きを検出する。この図では、ユーザの顎がユーザの左に転位している。表1に示すように、これは(任意の定義に従って)信号値0に対応する。
したがって、図において、任意に選択された部位信号値の文脈内で、図に示されるユーザ120は、{0,1,1,0}の部位信号値のセットをデバイスに伝えている。
各接触センサ(121から126)は、その状態をデバイス内の受信モジュール128に連続的に送信する(127)。その受信モジュール128は、タイムスタンプ130によって示される現在の値を有する生の、場合によってはアナログの、センサ値129の現在のセットを、接触センサによって受信器に送信された生データを所定の部位信号値132に変換する符号器131に連続的に送信する。
符号器は、各部位信号に関連する潜在的な部位信号値のうちのどれが、各それぞれのセンサによって送信された生(おそらくはアナログ)値に最もよく一致するかを判定する。例えば、この図の実施形態では、各部位信号値は、生センサ値の3つの可能な範囲(例えば、「安静時状態」、「左」、および「右」)に対応する3つの可能な「符号化」値:0、1、および2を有する。この実施形態が、それぞれが5つの値、例えば、0から4の範囲を有する部位信号に基づいているとすると、符号化器は、各センサ(またはセンサの対応する対)の生の値を5つの部位信号値のうちの1つに変換しようと試みるであろう。
この実施形態では、所定の部位信号値132は、単一の合成信号値を生成する変換器133に伝達される。この場合、4つの3ステート値が変換器に伝達される。これは、合成信号値が最大3×3×3×3イコール81の固有値を有することができることを意味する。これは、基数3の4ビット値に対応する。これは、基数2、すなわち、6.34ビットの情報を有する2進数に対応する。
合成信号値132(すなわち、「変化シグネチャ」){0,1,1,0}に応答して変換器133によって生成され、シンセサイザ135に伝達されるシンボリック値134は、期せずしてギターコードA#を指定する。また、この符号化された部位信号値を変換器から受信すると、シンセサイザ135は、指定されたギターコードを生成し、それを指定された音137を出力するオーディオ出力モジュール136に送信する。
オーディオ出力モジュール136がヘッドフォンである場合、ユーザ120は、演奏を静かに作成し、自身が作成している音楽を聴くことができ、4つの(セットの)顔面特徴の動きのみを使用して音楽を生成し、そのときに近くにいる、その音楽を聴きたくないかもしれない人の邪魔をしない。
図7は、本開示の例示的な実施形態を示す図である。ユーザ140は、自身の顔、頭、首、および肩の幾何学的形状の7つの選択された部位(すなわち、図4に示すのと同じ7つの部位)の転位のみを用いてテキスト(例えば、テキストメッセージ)を生成している。
ユーザ140は、図5に示されて参照して説明した同じ非ゼロ信号構成を実行している。この実施形態は、ユーザの顔、頭、首、および上半身の画像142を連続的に捕捉するカメラ141を有する。カメラ141は、捕捉された各画像(例えば、ビデオの各フレーム)を符号器モジュール143に送信する。
符号器モジュール143は、このユーザ140がどの信号特徴を好み、実行時に最も熟
達しているかを指定する「ユーザ構成」ファイル144で初期化される。この場合、ユーザ構成ファイル144は、このユーザ140が、図4に示されて参照して説明した7つの信号特徴を使用することを好むことを示す。
ユーザ構成ファイル144で指定された好みを用いて、符号器モジュール143は、画像142を分析し、必要な7つの信号特徴を識別し、その状態を測定する。その分析の終わりに、符号器モジュール143は、量子化された因子測定値のアレイ145を出力し、その量子化された因子測定値は、この部位信号構成(すなわち、図5に示したものと同じ)に対して{2,0,1,2,1,0,0}である。
このユーザ信号特徴構成に対する部位信号値のシーケンスは、(図5に関連する部位信号値のセットに関連するシーケンスであった){1,0,0,0,2,2,2}ではなく、{2,0,1,2,1,0,0}であることに留意されたい。
この実施形態では、ユーザ構成ファイル144は、このユーザが使用することを好むWHICH信号特徴だけでなく、それらの信号特徴のランク付けされた順序も指定する。例えば、ユーザは、最も快適で熟達しているこれらの2つまたは3つの信号特徴を、最下位ビットとして使用することを選択することができる。ユーザはまた、最も快適でない1つまたは2つの信号特徴を最高位ビットとして使用することを選択することもできる。
図4および図5に示す信号特徴構成では、個々の特徴の(デフォルトの)ランク付けされた順序は、以下のようになる。
Figure 2021114317
この場合、ユーザは、図4および図5に示すものと同じ7つの信号特徴を使用することを選択した。しかしながら、図4および図5に示された例とは対照的に、このユーザ140は、これらの7つの信号特徴に異なるランク付けされた順序(すなわち好み)を割り当てることを選択した。また、これらの好みは、ユーザ構成ファイル144に格納され、そこから読み取られる。そして、それらは、符号器モジュールによって、カメラ141によりそれに送られた各画像142内のどの信号特徴を探索し、測定するかを選択するために使用される。したがって、このユーザの好みのために、部位信号値は以下の順序で出力される。
Figure 2021114317
ランク付けされ量子化された因子測定値の配列145は、符号器モジュール143から変換器モジュール146に送られ、ここで(この場合には)アプリケーション固有の合成信号値148が生成される。この実施形態では、変換器モジュール146は、「アプリケーション構成」ファイル147で初期化される。また、この例では、このアプリケーション構成ファイル147は、合成信号値149を生成するために4つの最低次信号値のみが使用されることを示す。
この例では、最低次成分の信号値は{2,1,0,0}である。これらはベース3ビットなので、2100のこの合成信号値は63の10進数値、すなわち(2×27)+(1×9)+(0×3)+(0×1)=63に対応する。なお、63は、ASCII文字「?」(すなわち、クエスチョンマーク)の数値である。
変換器モジュール146は、数値63(すなわちクエスチョンマークに対するASCII値)をテキスト編集モジュール150に送信し、そこでユーザ140が構成しているテキストに添付される。
図8は、本開示の例示的な実施形態191を使用するユーザ190の図であり、本実施形態は、サイズがスマートフォンと同様である。
ユーザ190は、デバイス実施形態191を顔の前に保持し、それにより、セルフィカメラが、顔、頭、首、および上半身の画像を捕捉することを可能にする。ユーザ190は、デバイス191によって生成された音声(もしあれば)をヘッドフォン192を介して耳に届けることにより、近くにいる任意の人がその音声を聞いてしまう可能性を無くし、および/または音声会話(例えば、ユーザ190が、「サイレント」(参加者には聞こえる)会話をしている相手からの発言)で開示される可能性のあるユーザの保有情報のいずれかにアクセスするのを防止する。
図9は、本開示の例示的な実施形態によって実行されるステップのいくつかを示すフローチャートであり、ユーザがコマンドおよび/またはデータを本実施形態、そのオペレーティングシステム、および/または本実施形態の中で実行されているアプリケーションに(すなわち、「コンシューマ」に)「信号」を生成することにより入力することを可能にする。その後、コンシューマは各合成信号値を処理する。
200で概ね示される実施形態は、ユーザの顔、頭、首、および/または肩、その中の筋肉、および/またはその中の神経の幾何学的形状に関するデータを取得するために、少なくとも1つのセンサ(すなわち、「検出器」)を使用する。201で概ね示される実施
形態では、少なくとも1つのセンサが、生成するために使用するユーザの部位特徴の「量子化された」状態を202で判定し、次いで、203で、部位特徴のセットに対して、「量子化された因子測定値」の対応するセット(すなわち、アレイ)を変換器モジュールに送信する、実施形態内のモジュールにそのデータを送信する。204で概ね示される実施形態では、変換器モジュールは、量子化された因子測定値のアレイ(すなわち、「変化シグネチャ」)を、実施形態固有および/またはアプリケーション固有のシンボリック値に変換する。205で概ね示される実施形態では、変換器モジュールは、シンボリック値を、適切な方法で、例えば、ユーザによって編集されている文書にシンボリック値によって指定される文字を追加することを介して、処理するため、実施形態および/またはアプリケーション内の適切な「コンシューマ」に送信する。
図10は、本開示の例示的な実施形態によって実行されるステップのいくつかを示すフローチャートであり、ユーザがコマンドおよび/またはデータを本実施形態、そのオペレーティングシステム、および/または本実施形態の中で実行されているアプリケーションに(すなわち、「コンシューマ」に)「信号」を生成することにより入力することを可能にする。この実施形態では、ユーザは、ユーザの好みを指定する、例えば、ユーザが好む信号特徴を指定する、ファイルを用いて初期化することによって、符号器モジュールをカスタマイズすることができる。符号器モジュールはまた、結果的に得られる部位信号値が変換器モジュールに送信される順序を、ユーザの好みによって順位付けするようにカスタマイズされる。
本明細書で示されるステップは、「アプリケーション構成」ファイルでの初期化により、符号器によって渡された合成信号値から、「コンシューマ」アプリケーションまたはオペレーティングシステムに適切な合成信号値を合成するよう変換器の挙動がカスタマイズされるという点で、図9のステップとは異なる。
300で概ね示される実施形態は、実施形態のユーザが好みを指定して、実施形態をカスタマイズし、それを自分で使用しやすくすることを可能にする。これらの好みは「ユーザ構成」ファイルに格納される。301で概ね示される実施形態は、実施形態のユーザに関連するユーザ構成ファイル内で指定された好みで符号器モジュールを初期化する。301で概ね示される実施形態は、ユーザが実施形態上で実行しているアプリケーションに関連する、好みおよび/または他のカスタマイズパラメータを含むファイルで変換器モジュールを初期化する。ステップ302から307は、図9で説明したステップ200から205と同一である。
図11は、「顔追跡」、「眼球追跡」、および/または「網膜追跡」システムと本開示との間の相違を示す図である。図11_1および図11_2に示すように、ユーザの顔、身体、および/または「凝視の方向」の向きの変化は、システムの視点からのユーザの外見の変化に応じて、システムに入力される値(例えば、カーソルの水平(y)スクリーン座標)を変更するのに十分である。
対照的に、図11_3および図11_4に示すように、ユーザの顔、身体、および/または「凝視の方向」の向きの変化は、ユーザの顔および/または身体の空間構成に対して本開示の例示的実施形態内で生成される値を変化させるのに充分ではなく、ユーザ自身に対する、ユーザの顔および/または身体の空間構成の変化のみが、符号化される値を変化させることができる。
図11は、例示的な実施形態に対するユーザの顔、身体、および/または身体の部分の向きから本開示の例示的な実施形態206に、ならびに/もしくは、ユーザの身体および/または身体の部分の空間構成および/または曲がりを検出するために例示的な実施形態
によって使用されるカメラおよび/または他のセンサに、ユーザ200によって符号化および伝達されるシンボリック値の独立性を示す。
図11_1は、「網膜追跡」コンピュータ化デバイスのディスプレイ206aおよび210a上のカーソル214aの位置を制御するユーザ200a、208a、および212aを示す。ディスプレイ206aおよび210aに取り付けられたカメラ207aおよび211aは、カメラの視線(ディスプレイ206aおよび210aの平面に対して垂直)に対するユーザの位置、ならびにユーザの凝視205a、209a、213aの方向を監視する。本デバイスは、ユーザが見ているディスプレイ210a上の位置にカーソル214aを移動させるために、ユーザの凝視の方向を、カメラおよびディスプレイに対するユーザの眼の位置と併せて解釈する。
図11_2は、ユーザ200b、208b、および212bがディスプレイ206bおよび210bに対して頭を再配向した結果を示す。ユーザの頭(200b、208b、および212b)およびその中の部分(201b、202b、および203b)の空間構成は、(図11_1の構成に関して)ユーザの身体基準フレームに対して変更されていない。しかしながら、図11_2のデバイスは、ユーザの変更された凝視方向(205b、209b、および213b)を、新しいカーソル位置214bのユーザ指定として解釈する。
図11_3は、本開示のコンピュータ化された顔面および/または身体復号化システムの例示的な実施形態のディスプレイ206cおよび210c上のテキスト214cを構成するユーザ200c、208c、および212cを示す。ディスプレイ206cおよび210cに取り付けられたカメラ207cおよび211cは、ユーザの顔200cおよび/または身体を監視する。本実施形態は、特定の文字(および/または単語やフレーズなどの他のテキスト要素)として、特定の二進値と関連付けられている、ユーザの顔および/または身体の部分(例えば、201c、202c、および203c)の空間構成を解釈する。この場合、本実施形態は、ユーザの顔構成201c、202c、および203cを文字「A」214cを指定するものとして解釈している。
図11_4は、ユーザ200d、208d、および212dがディスプレイ206dおよび210dに対して頭を再配向させることによって引き起こされる、本開示の例示的実施形態の挙動に影響がないことを示す。ユーザの頭(200b、208b、および212b)およびその中の部分(201b、202b、および203b)の空間構成は、(図11_3の構成に関して)ユーザの身体基準フレームに対して変更されていない。また、例示的な実施形態は、実施形態および/またはそのセンサに対して、ユーザの向きに関係なく、顔および/または身体的に符号化された値を解釈するので、実施形態に対する入力値およびそれに応答して生成されるテキストは、図11_3で生成されたものと同じである。代替実施形態は、第1の「A」214c文字のユーザの送信が完了したという介在指示がない場合に(例えば、十分長いポーズまたは遅延によって、「A」顔面構成のユーザの変更およびその後の作り直しなどによって)、第2の「A」214dを生成しない。
図12は、「顔追跡」、「眼球追跡」、および/または「網膜追跡」システムと本開示との間の相違を示す図である。図12_1および図12_2に示すように、網膜追跡システムおよび/またはそのカメラに対するユーザの顔および/または身体の向きの変更は、「凝視の方向」の「補完的な」変更と一致する場合、同じ値(例えば、カーソルの水平(y)スクリーン座標)の指定をもたらすことができる。
対照的に、図12_3および図12_4に示されるように、ユーザの身体の固有の基準フレームに対する、ユーザの顔および/または身体部分の空間構成の変化は、本開示の例
示的な実施形態による、異なる値の指定を常にもたらす(どちらの構成でも有効なコードが指定されていない限り、どちらの場合でも同様に非現実的である)。
図12_1は、「網膜追跡」コンピュータ化デバイスのディスプレイ306aおよび310a上のカーソル314aの位置を制御するユーザ300a、308a、および312aを示す。ディスプレイ306aおよび310aに取り付けられたカメラ307aおよび311aは、カメラの視線(ディスプレイ306aおよび310aの平面に対して垂直)に対するユーザの位置、ならびにユーザの凝視305a、309a、313aの方向を監視する。本デバイスは、ユーザが見ているディスプレイ310a上の位置にカーソル314aを移動させるために、ユーザの凝視の方向を、カメラおよびディスプレイに対するユーザの眼の位置と併せて解釈する。
図12_2は、ユーザ300b、308b、および312bがディスプレイ306bおよび310bに対して頭を再配向した結果を示す。しかしながら、図11_2に示す状況とは異なり、この場合、ユーザ300b、308b、および312bは、ユーザの修正された顔構造と組み合わせて、図12_1に示されるのと同じ入力値、すなわち、同じカーソル位置を指定するように、網膜追跡システムがユーザのカメラ固有の相対向きの新しい組み合わせを解釈するように、その「凝視の方向」を修正した。
図12_3は、本開示の例示的な実施形態のディスプレイ306cおよび310c上のテキスト314cを構成するユーザ300c、308c、および312cを示す。ディスプレイ306cおよび310cに取り付けられたカメラ307cおよび311cは、ユーザの顔300cおよび/または身体を監視する。本実施形態は、特定の文字(および/または単語やフレーズなどの他のテキスト要素)として、特定の二進値と関連付けられている、ユーザの顔および/または身体の部分(例えば、301c、302c、および303c)の空間構成を解釈する。この場合、本実施形態は、ユーザの顔構成301c、302c、および303cを文字「A」314cを指定するものとして解釈している。
図12_4は、ユーザ300d、308d、および312dがディスプレイ306dおよび310dに対して頭を再配向させることによって引き起こされる、本開示の例示的実施形態の挙動への影響を示す。ユーザの頭(300b、308b、および312b)およびその中の部分(301b、302b、および303b)の空間構成は、(図12_3の構成に関して)ユーザの身体基準フレームに対して変更される。また、例示的な実施形態は、実施形態および/またはそのセンサに対して、ユーザの向きに関係なく、顔および/または身体的に符号化された値を解釈するので、実施形態に対する入力値およびそれに応答して生成されるテキスト(すなわち、「B」)は、図12_3で生成された値、および対応するテキスト(すなわち、「A」)とは異なる。
図13は、ユーザが実施形態および/またはそのカメラに対して移動することに応答して、本開示の例示的な実施形態によって解釈される値における不変性を示す図である。例示的な実施形態は、実施形態および/またはそのカメラの視野域を通るユーザの移動にかかわらず、同じ値をユーザの顔に符号化された不変の空間構成と関連付ける。
図13_1は、本開示の例示的な実施形態406aのカメラ407aの最も左側の部分に位置するユーザ400a、408aを示す。ユーザは、速度417aでカメラの視野域を横切って左から右に移動している。ユーザ400aは、眉毛401a、まぶた402a、ならびに上唇および下唇403aによって符号化された信号を実施形態に伝達しながら、「正面方向」405aを見ている。ユーザの顔のこの幾何学的構成は、特定のシンボリック値、例えば、「V」の実施形態の生成および処理をもたらす。
図13_2は、本開示の例示的な実施形態406bのカメラ407bの中央部分に位置する同じユーザ400a、408a、ここでは、408b、401bを示す。ユーザは、速度417bでカメラの視野域を横切って左から右に依然として移動している。ユーザ400bは、眉毛401a、まぶた402a、ならびに上唇および下唇403aによって符号化された同じ信号を実施形態に伝達しながら、「正面方向」405bを依然として見ている。ユーザの顔のこの幾何学的構成は、図13_1で生成されたのと同じシンボリック値、例えば、「V」の実施形態の生成および処理をさらにもたらす。
図13_3は、本開示の例示的な実施形態406cのカメラ407cの最も右側の部分に位置する同じユーザ400a、408a、ここでは、408c、401cを示す。ユーザは、速度417cでカメラの視野域を横切って左から右に依然として移動している。ユーザ400cは、眉毛401a、まぶた402a、ならびに上唇および下唇403aによって符号化された同じ信号を実施形態に伝達しながら、「正面方向」405cを依然として見ている。ユーザの顔のこの幾何学的構成は、図13_1および図13_2で生成されたのと同じシンボリック値、例えば、「V」の実施形態の生成および処理をさらにもたらす。
図14は、絶対的(すなわち地球に対する)または相対的(すなわち、実施形態、デバイス、および/またはそのカメラに対する)に、ユーザ500bの加速度に応答して、本開示の例示的な実施形態506b、507bによって解釈される値の不変性を示す図である。図14_1に示すような「頭部方向追跡」システムは、ユーザ500a、ユーザの頭、ならびに/もしくはシステム、デバイス、および/またはそのカメラの加速度(絶対的および/または相対的)に応答して、システムに入力される値、および/またはそれらの値のシステムの解釈を変化させる。
対照的に、本開示の例示的な実施形態は、ユーザの本来の基準身体フレーム(単数または複数)に対してユーザによって生成された(顔、頭、身体などの)空間構成に応じてのみ入力を生成する。したがって、この例示的な実施形態に関して、ユーザ、ユーザの頭、ならびに/もしくは実施形態および/またはそのカメラの加速度(絶対的および/または相対的)は、ユーザの顔、頭、身体などの空間構成が一定のままである場合には、実施形態によって、生成される値もそれに続く解釈も変更しない。
図14_1は、「頭部向き追跡」システム506の実施形態を示す。この実施形態は、ユーザへの仮想目印510aの提示を制御し、ユーザの頭500a、508aが受ける回転(すなわち、回転加速度)に一致するように提示された透視図を調整する。
最初に、システム506a1は、仮想世界のビュー510a1を表示し、ユーザ512a1は、ディスプレイと対面する521a1ように、木514a1を見ることができる。このシステムは、カメラ511a1を有するが、ユーザ500aの眉毛501aにも他の顔面特徴の幾何学的形状にも応答しない。ユーザ500aは、カメラ507a1で直接的に見ている505a。
ユーザが自身の頭部508aを元の向き508a1から反時計回りに新しい向き508a2に回転させると、「頭部向き追跡」システム506a1の位置も同じ回転軸(すなわち、ユーザの縦軸)を中心に新しい位置507a2に向けて回転する。システムは、最初にビュー517a1、510a1をユーザ512a1に提示していたが、ユーザおよびシステムの回転後、システムは、ユーザ512a2にビュー517a2、510a2を提示している。この変更されたビュー510a2において、ユーザ512a2は、今は家520を見ることができ、提示されたビュー510a1の右側514a1に最初にあった木は、今はビュー510a2の左側の514a2にある。
対照的に、図14_2は、本開示の例示的な実施形態506b1を示す。この実施形態は、ユーザ500b、508bのテキストの構成(すなわち、テキストエディタ)を容易にする。
最初に、システム506b1は、編集中の文書のビュー510b1を表示し、単一の文字「A」514b1の追加を示す。この実施形態は、ユーザ500bの眉毛501bの少なくとも幾何学的形状を検出し、それに応答するカメラ511b1を有する。ユーザ500bは、カメラ507a1で直接的に見ている505b。
ユーザが自身の頭部508bを元の向き508b1から反時計回りに新しい向き508b2に回転させると、実施形態506b1の位置も同じ回転軸(すなわち、ユーザの縦軸)を中心に新しい位置507b2に向けて回転する。システムは、最初にビュー517b1、510b1をユーザ512b1に提示していたが、ユーザおよびシステムの回転後、システムは、今ではユーザ512b2に同じビュー517b2、510b2を提示している。この変更されたビュー510b2では、ユーザの顔500bの幾何学的形状が回転によって変更されずに残っていたので、ユーザが編集していた文書に今では追加文字「A」514b2が追加されている。
図15は、本実施形態および/またはそのセンサに対する、ユーザ600、ユーザの顔、またはユーザの任意の他の身体部分の動きに応答する(「往復」動作にも応答する)本開示の例示的な実施形態606によって生成され、および/または解釈される値の不変性を示す図である。
図15_1は、カメラからユーザの頭までの距離が「dA」であるユーザ608aに関する実施形態606aのカメラ607aを示す。ユーザの顔600aの法線604aは、カメラ607aの視野域の法線に平行である。ユーザ600aは、カメラを直接的に見ている605a。ユーザは、上げられた眉毛601a、完全に開いたまぶた602a、および僅かに開かれた上下の唇603aからなる顔の幾何学的形状を有する。ユーザの顔の幾何学的形状は、実施形態から特定のシンボリック値、例えば、「緑」を想起させるであろう。
図15_2および図15_3では、ユーザ600b、600cがカメラ607b、607cの方に直接移動する。処理中に、カメラからユーザの頭の距離を「dB」、次に「dC」に減少させる。しかしながら、ユーザの顔の幾何学的形状は変化しないままである。そして、本実施形態は、図15_1で生成されたのと同じシンボリック値、例えば、「緑」、を生成し続けるであろう。
図15_4および図15_5では、ユーザ600d、600eが、カメラ607d、607eから直接離れる。処理中に、カメラからユーザの頭の距離を「dC」から「dD」、次に「dE」に増加させる。しかしながら、この場合も、ユーザの顔の幾何学的形状は変化しないままである。そして、本実施形態は、図15_1から図15_3で生成されたのと同じシンボリック値、例えば、「緑」、を生成し続けるであろう。
実施形態のカメラに向かい、そして次に遠ざかるユーザ600の往復運動にかかわらず、生成されるシンボリック値は、その定義が往復運動全体にわたって変化しないままであるユーザの顔の幾何学的形状にのみ依存していたので、変化しないままであった。
図16は、本開示に関するユーザによる一連の値の生成を示す図である。
ユーザ700aは、図示された上げられた眉毛701a、わずかに開いた口703a、および傾いていない頭720aの結果としてシンボリック値「F」を本開示の例示的実施
形態に伝達する。ユーザ700aは、この幾何学的形状を期間「t0」の間、保持する。
次いで、ユーザ700は、期間「t1」にわたって、幾何学的形状700aから幾何学的形状700bに移行する721ab。期間「t2」中に、ユーザ700bは、幾何学的形状、すなわち、実施形態によってシンボリック値「A」714bとして解釈される、しかめられた眉毛701b、閉じた口703b、および右に傾いた首720bを保持する。
次いで、ユーザ700は、期間「t3」にわたって、幾何学的形状700bから幾何学的形状700cに移行する721bc。期間「t4」中に、ユーザ700cは、幾何学的形状、すなわち、実施形態によってシンボリック値「C」714cとして解釈される、自然な状態の眉毛701c、完全に開いた口703c、および左に傾いた首720cを保持する。
次いで、ユーザ700は、期間「t5」にわたって、幾何学的形状700cから幾何学的形状700dに移行する721cd。期間「t6」中に、ユーザ700dは、幾何学的形状、すなわち、実施形態によってシンボリック値「E」714dとして解釈される、上げられた眉毛701d、閉じた口703d、および傾いていない首720dを保持する。
次いで、ユーザ700は、期間「t7」にわたって、幾何学的形状700dから遷移し721de、700dと同じ幾何学的形状に戻る。期間「t8」中に、ユーザ7003は、この場合も、同じ幾何学的形状700d、すなわち、実施形態によってシンボリック値「E」714eとして解釈される、上げられた眉毛701e、閉じた口703e、および傾いていない首720eを保持する。
図17は、本開示の例示的な実施形態の有用性を示す図である。この例では、ユーザ800は、手822がブリーフケース824を保持しているので、自身のスマートフォン806にテキストを入力するために、自身の左手822もその指も使用することができない。ユーザは、自身の視野805が自身が観察している対象(ページの左)に固定されているので、自身のスマートフォン806にテキストを入力するために、自身の右手823もその指も使用することはできない。ユーザは、対象に自身の注意を向ける可能性があるので、彼が監視している対象に関するメッセージを発することはできない。そして、ユーザは対象を見ている805ので、電話806の画面807を見ることさえできない。
本開示は、ユーザが顔、頭および/または他の身体部分の筋肉の曲がりのパターンのみを使用して、テキストを入力することを可能にし、それにより、相手へのメッセージを構成することを可能にする。さらに、ユーザとその相手だけが知っている一意なコード(例えば、ASCII文字への身体的空間構成のマッピング)を使用することによって、ユーザの顔および/または身体的に符号化されたメッセージを見ることができる他の誰かがその意味を理解できないようにすることができる。
図18は、「friend」という単語をアメリカ手話(ASL)を用いて綴った文字の伝達を示す図である。図示された手話は、「静的」(すなわち、動かない、変化しない)手構成の提示によって生成され、伝達される。
文字「f」906は、手900によって示されるASL手形状を介して伝達される。同様に、文字「r」907、「i」908、「e」909、「n」910、および「d」911は、それぞれ手構成901から905によって示されるASL手形状を介して伝達される。そして、ASLが各文字から次の文字への適切な移行方法912から916をユーザに指示する方法もプロトコルも指定していないとしても、そのようなサインを解釈する者は、おそらく、それらが生成および表示されるペースがほぼ一定であるため、すなわち
、サインの各ペアの間の間隔がほぼ一定であるため、それらを区別することができる。
同様に、ユーザが顔、頭、首、および/または肩の値固有の幾何学的形状によって符号化されたシンボリック値を生成し、本開示の実施形態に伝達する場合、ユーザはコードが一定期間保持され、連続したコードの生成間の待ち時間が一貫しているコード生成サイクルを直感的に採用することが期待される。
図19は、アメリカ手話の使用による8つの異なる単語の伝達を示す図である。図示された手話は、任意の静的部分の提示がプロトコルに違反し、第三者によるその理解を妨げることが予想される「動的」(すなわち、動く、変化する)手構成の提示によって生成され、伝達される。
本開示の実施形態は、顔、頭、首、および/または肩の静的な(および「移動」しない)幾何学的形状に依存するため、ASLサイン(そのうちのいくつかは「動いている」およびユーザの手を利用する)は、その設計に適合せず、したがって、実施形態によって理解されない可能性がある。
図20は、顧客1000が顔、頭、首、および/または肩の幾何学的形状の変更を介して、そのパスワードまたはその一部を実施形態に伝達する本開示のATM実施形態1006を示す図である。この例では、ユーザ1000は、本実施形態に、上げられた眉毛1001、閉じた口1003、完全に開いた目を提示し、それにより、実施形態1006に、カメラ1007を介して、ユーザのパスワードおよび/またはパスフレーズの一部分を表すと考えられる1つのシンボリック値を伝達する。幾何学的に符号化された信号によるこのユーザのパスワードまたはその一部のこの伝達は、実施形態のキーボード1026上のキーを押すためにユーザの指1028を使用して、別のパスワードの入力、同じパスワードの一部の入力と併せて行うことができる。
ユーザがパスワードを伝達している間に、実施形態は、ユーザ1020aから1020dの代表的な画像に示される、ユーザの顔、頭、首、および肩の4つの幾何学的構成を検出し、分析し、変換する。ユーザの画像に取り込まれた幾何学的形状は、シンボリック値「p」1022a、「o」1022b、「G」1022c、および「0」(ゼロ)1022dに変換される。
実施形態によって正確であることが確認された場合、ユーザは金融取引を行うことが可能になるであろう。
図21は、作業者1100が、顔、頭、首、および/または肩の幾何学的形状の変化を介して作業者自身によって符号化されたシンボリック値によって第三者(例えば、別の人物)と通信している、したがって、音声通信が第三者によって理解されないほど騒々しい環境1141内からでも第三者に伝達することができる、本開示の実施形態1107を示す図である。
作業者1100は、両手1127Lおよび1127Rを用いて、ジャックハンマー1142を操作しており、ジャックハンマー1142は、上下1140に飛び跳ね、過剰なノイズ1141を生成する。作業者の聴覚を保護するために、作業者1100は、本開示の実施形態1107を介して話している当事者によって話された言葉を作業者が聞くことができるスピーカを含む防音イヤーカバー1130Lおよび1130Rを装着する。
実施形態1107は、作業者の顔および肩の画像1120を取得し、眉毛1101および唇1103に関するものなどの顔の幾何学的形状の特定の部位を変換し、相手にテキス
トコメント、または合成された話し言葉を発行する。相手の回答は、イヤーカバー1130内のスピーカを介してユーザ1100は聞くことができる。
ユーザは、自身の手1127Lおよび1127Rの両方を使用して、騒音を立てる道具1142を制御しなければならないので、自身の指および/またはスマートフォン上の仮想キーボードを使用してテキストメッセージを生成することができない。そして、ユーザの仕事の性質が危険であるために、ユーザは道具とその下の地面とを注意深く見なければならず、そのようなテキストメッセージを構成するためにスマートフォンのディスプレイを見ることができない。
本実施形態は、ユーザのメッセージ(テキストおよび/または合成音声)をセルタワーまたは他の互換性のある無線受信機に送信する1131。
図22は、アーティスト1200が、(実施形態によって、捕捉され、分析され、解釈される、代表的な画像1254に示されるように)自身の顔、頭、首、および/または肩の幾何学的形状の変更を介して、自身によって符号化されたカラー値を実施形態に発行することにより、実施形態のディスプレイ1210上のデジタル画像を構成する実施形態1207を示す。アーティストはまた、仮想ペイントブラシの動きを同時に制御するためにジェスチャを使用している。ユーザ1200は、この実施形態に関して色(例えば、RGBの値として指定される)である特定のユーザ選択シンボリック値を指定する幾何学的形状を特定するために、少なくともユーザの眉毛1201、まぶた1255、および唇1203の幾何学的形状を使用する。
この実施形態はまた、実施形態のカメラに向かって、および実施形態のカメラから離れて、それぞれの手1228Lおよび1228Rのそれぞれの適切な動きを介して、左手1227Lおよび右手1227Rでユーザによって実行される様々なジェスチャを理解し、検出および解釈する能力を組み込み、例えば、位置1253から位置1214への、カーソルの移動を制御する。
この実施形態はまた、ユーザの頭の回転1221に応答してユーザに表示される斜視図を変更する能力を組み込む。これにより、ユーザは、(ディスプレイデバイスの解像度で)1210L−1200R全体において、ディスプレイのサイズを超えるデジタル画像の任意の部分に注意を移すことができ、それにより、ディスプレイ上で利用可能なビューを全画像の選択部分1210cのみに制限する。
図23は、ゲーマ1300が、実施形態のカメラ1307によって捕捉された画像に基づいて、検出、分析、および解析される、自身の顔、頭、首、および/または肩の幾何学的形状への変化により、例えば、自身の眉毛1301およびまぶた1302の少なくとも幾何学的形状の変化により、おそらくはゲームの実施形態の画面1310に表示される、ゲーム内の自身のバーチャルプレイヤーを制御するのに適したパラメータを調節している実施形態1350、1306、1307を示す。
それらのコマンドが、自身のマイク1360を介して(例えばインターネット1331、1362を介して)、チームの他の協力メンバー全員に同時配信されるので、ユーザ1300は、自身のプライベートプレーヤー固有の設定および/またはプリファレンスを調整するために自身の声を使用することができない。
ユーザ1300は、自身の手1327L、1327Rがそれぞれのジョイスティック1361Lおよび1361Rの制御専用であるため、そのようなプレーヤ固有の設定および/またはプレファレンスを手動で調整するために手を使用することができない。
本発明は上記の好ましい実施形態および代替の実施形態に関して説明してきたが、上述の実施形態に対して多数の修正および/または追加を行えることが、当業者には容易に理解できるであろう。実施形態は、誰か、構成要素の任意のサブセットもしくは全て、ならびに/もしくはユーザによって実行される使用またはアセンブリの方法として、特定の構造的および/または機能的関係における1つまたは複数の構成要素のシステムとして、ならびに/もしくはサブアセンブリもしくはサブ方法として、定義することができる。本発明は、個々の構成要素の各々を別々に含むことができる。しかしながら、本発明の範囲は、そのような変更および/または追加の全てに及ぶこと、ならびに本発明の範囲は、本明細書に記載された請求項によってのみ限定されることを意図する。
本教示の特定の態様の個々の要素または特徴は、一般的に、その特定の態様に限定されないが、適用可能であれば、特に示されていないまたは記載されていなくても、交換可能であり、他の態様で使用することができる。それは、多くの方法で変化し得る。そのような変化は、本教示からの逸脱とみなされるべきではなく、そのような変化の全ては、本教示の範囲内に含まれることが意図される。
本明細書で使用する用語は、特定の例示的な実施形態のみを説明するためのものであり、限定することを意図するものではない。本明細書で使用する場合、単数形「a」、「an」、および「the」は、文脈で明白に示さない限り、複数形も含むことを意図することができる。「備える」、「備えている」、「含む」、および「有する」という用語は、包括的であり、したがって、記載された特徴、整数、ステップ、動作、要素、および/または構成要素の存在を特定するものであるが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそのグループの存在または追加を排除しない。本明細書に記載された方法ステップ、処理、および動作は、実行する順序として具体的に特定されない限り、必ずしも説明または図示された特定の順序で実行することを必要とすると解釈されるべきではない。付加的なまたは代替的なステップを用いることもできることも理解されたい。
第1、第2、第3などの用語は、様々な要素、構成要素、領域、層、および/または区分を説明するために本明細書で使用されるが、これらの要素、構成要素、領域、層、および/または区分は、これらの用語によって限定されるべきではない。これらの用語は、ある要素、構成要素、領域、層、または区分を、別の領域、層、または区分と区別するために使用することができる。「第1」、「第2」、および他の数値的な用語などの用語は、本明細書で使用される場合、文脈に明白に示されない限り、シーケンスまたは順序を意味しない。したがって、以下で説明する第1の要素、構成要素、領域、層、または区分は、本教示の態様から逸脱することなく、第2の要素、構成要素、領域、層、または区分と呼ぶことができる。
ある要素または層が、別の要素または層に、「上にある」、「係合している」、「接続されている」、または「結合している」と言及されている場合、直接的に他の要素または層上にあるか、係合しているか、接続しているか、もしくは結合していてもよく、または介在要素もしくは層が存在していてもよい。対照的に、ある要素が別の要素または層に「直接的に接する」、「直接的に係合している」、「直接的に接続されている」、または「直接的に結合している」と言及されている場合、介在する要素または層は存在しない。要素間の関係を説明するために使用される他の語は、同様のやり方で(例えば、「間」と「直接に間に」、「隣接」対「直接的に隣接」)解釈されるべきである。本明細書で使用される場合、「および/または」という用語は、1つまたは複数の関連する列挙項目の任意のおよび全ての組み合わせを含む。
「内側」、「外側」、「真下」、「下方」、「下側」、「上側」、「上部」、「上方」、「前方」、「後方」、「前側」および「後側」などの空間的な相対用語は、本明細書では、ある要素または特徴の別の要素または特徴との関係を説明するために説明を容易にするために使用するが、本開示は、図面に描かれている向きに加えて、使用または動作における器具の様々な向きを包含するものとする。例えば、図中の器具がひっくり返されている場合、他の要素または特徴の「下方」または「真下」と記載された要素は、他の要素または特徴の「上方」に向けられる。したがって、「下方」の例の用語は、上方および下方の両方の方向を含むことができる。このデバイスは、他の方向に向いていてもよく(90度回転されていてもよいし、他の向きであってもよい)、本明細書で使用される空間的に相対的な記述子はそれに応じて解釈される。
本願発明のシステムでは、ユーザは、データおよび/またはコマンドをコンピュータ化されたデバイスに通信し、一方、他のタスクのためにユーザの手および声を十分に使用し、視覚的注意をシステム以外のものに自由に集中させる。

Claims (202)

  1. ユーザの顔、頭、首、および/または肩の一部の状態を測定するように構成される少なくとも1つのセンサと、
    前記少なくとも1つのセンサによって生成された、状態の部分的な固有測定値の少なくとも1つを、少なくとも1つのシンボリック値に変換し、前記少なくとも1つのシンボリック値の少なくとも1つを、少なくとも1つのコンピューティングデバイスの少なくとも1つのコンポーネントおよび/または挙動を変更する少なくとも1つのプロセッサに入力するよう構成される変換回路と、
    を備えるシステム。
  2. 前記変換回路が、「特定用途向け集積回路(ASIC)」である、請求項1に記載のシステム。
  3. 前記変換回路は、ルックアップテーブルを利用し、前記ルックアップテーブルから、前記対応するシンボリック値を検索するために各有効なセンサの状態測定値をキーとして使用する、請求項1に記載のシステム。
  4. 前記変換回路は、埋込プロセッサおよびメモリを使用して、各有効なセンサの状態測定値から、前記有効なセンサの状態測定値が発見された範囲内の有効なセンサの状態測定値の予め定義された部分的な範囲のインデックスを計算し、前記インデックスをキーとして使用して、前記対応するシンボリック値を、キーと値とのペアのテーブルから検索する、請求項1に記載のシステム。
  5. 前記少なくとも1つのプロセッサが、構成要素および/または動作を変更する前記少なくとも1つのコンピューティングデバイスの少なくとも1つのプロセッサである、請求項1に記載のシステム。
  6. 前記コンピューティングデバイスが、少なくともテキストエディタの機能を提供する、請求項1に記載のシステム。
  7. 前記コンピューティングデバイスが、少なくとも画像編集プログラムの機能を提供する、請求項1に記載のシステム。
  8. 前記コンピューティングデバイスが、少なくともオンラインマルチプレイヤーゲームの機能を提供する、請求項1に記載のシステム。
  9. 前記変換回路が、前記少なくとも1つのプロセッサを含むか、または前記少なくとも1つのプロセッサに含まれる、請求項1に記載のシステム。
  10. 前記変換回路が、前記センサ内に配置される、請求項1に記載のシステム。
  11. 前記少なくとも1つのセンサが、カメラである、請求項10に記載のシステム。
  12. 前記コンピューティングデバイスが、パーソナルコンピューティングデバイスである、請求項1に記載のシステム。
  13. 前記パーソナルコンピューティングデバイスが、スマートフォンである、請求項12に記載のシステム。
  14. 前記パーソナルコンピューティングデバイスが、ラップトップまたはタブレットコンピュータである、請求項12に記載のシステム。
  15. 前記センサが、前記シンボリック値の前記数値識別子を、例えば、Wi−Fiを介して、前記コンピューティングデバイスに無線で送信する、請求項10に記載のシステム。
  16. 前記センサが、ユーザの顔の一部の前記状態を測定するようにのみ構成される、請求項1に記載のシステム。
  17. 前記変換回路が、別個の瞬時に集められた状態測定値を繰り返し変換するよう構成される、請求項1に記載のシステム。
  18. 1つまたは複数のセンサの状態測定値の特定のセットに関して、1つまたは複数のセンサの状態測定値の前記同じセットが変換されるときはいつでも、前記変換回路によって生成される前記シンボリック値が同じである、請求項17に記載のシステム。
  19. 前記変換回路が、有効なシンボリック値を、同シンボリック値が少なくとも2回連続して生成された後に前記少なくとも1つのプロセッサのみに入力するよう構成される、請求項1に記載のシステム。
  20. 前記少なくとも2回は、少なくとも3回である、請求項19に記載のシステム。
  21. 前記少なくとも1つのセンサの少なくとも1つが、ほぼ一定の周波数によって特徴付けられる周期で測定値を生成する、請求項1に記載のシステム。
  22. 前記ほぼ一定の周波数が、少なくとも1つのカメラのフレームレートにほぼ等しい、請求項21に記載のシステム。
  23. 前記少なくとも1つのセンサが、少なくとも1つの画像を生成する少なくとも1つのカメラを含む、請求項1に記載のシステム。
  24. 前記少なくとも1つのカメラが、光を捕捉し、少なくとも1つの「赤外線」波長に対応する画像を生成する、請求項23に記載のシステム。
  25. 前記少なくとも1つのカメラが、撮影された物体の立体画像および/または3次元モデルを生成する、請求項23に記載のシステム。
  26. ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記ユーザの顔、頭、首、または肩の少なくとも1対の外部特徴の間の少なくとも1つの距離に関して測定される、請求項1に記載のシステム。
  27. 前記少なくとも1対の外部特徴の少なくとも1つは、それぞれ、左または右の眉毛ならびに左または右の眼角である、請求項26に記載のシステム。
  28. 前記少なくとも1対の外部特徴のうちの少なくとも1つは、それぞれ、左または右の上まぶた、および左または右の下まぶたである、請求項26に記載のシステム。
  29. 前記少なくとも1対の外部特徴のうちの少なくとも1つは、上唇および下唇である、請求項26に記載のシステム。
  30. ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の前記頭および身体の縦軸の公称アラインメントに対して、前記少なくとも1人のユーザの少なくとも1人の前記頭の左右の傾きにおける少なくとも1つの角度に対して測定される、請求項1に記載のシステム。
  31. ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の前記頭および身体の縦軸の公称アラインメントに対して、前記少なくとも1人のユーザの少なくとも1人の前記頭の前後の傾きにおける少なくとも1つの角度に対して測定される、請求項1に記載のシステム。
  32. ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭の前方方向に対して、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭の少なくとも1つの回転角度に対して測定される、請求項1に記載のシステム。
  33. ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の頬が膨らむか、または凹んだ程度の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
  34. ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの舌が前記少なくとも1人のユーザの前記少なくとも1人の前記口から突き出されている程度の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
  35. ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の肩が「すくめられている」程度の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
  36. ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザのうちの少なくとも1人の少なくとも1対の鼻孔の総断面積または平均断面面積の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
  37. ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの神経の神経支配の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
  38. ユーザの顔、頭、首、および/または肩の一部の前記状態が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの筋肉の収縮の少なくとも1つの尺度に対して測定される、請求項1に記載のシステム。
  39. 前記少なくとも1つの筋肉が、前記少なくとも1人のユーザの少なくとも1人の前記顔、頭、首、および/または少なくとも一方の肩に少なくとも部分的にある、請求項38に記載のシステム。
  40. 前記少なくとも1つのシンボリック値の少なくとも1つが英数字である、請求項1に記載のシステム。
  41. 前記少なくとも1つのシンボリック値の少なくとも1つが数字である、請求項1に記載のシステム。
  42. 前記少なくとも1つのシンボリック値の少なくとも1つが句読文字である、請求項1に記載のシステム。
  43. 前記少なくとも1つのシンボリック値の少なくとも1つが音符またはコードである、請求項1に記載のシステム。
  44. 前記少なくとも1つのシンボリック値の少なくとも1つがデジタル画像である、請求項1に記載のシステム。
  45. 前記少なくとも1つのシンボリック値の少なくとも1つが単語である、請求項1に記載のシステム。
  46. 前記少なくとも1つのシンボリック値の少なくとも1つがフレーズである、請求項1に記載のシステム。
  47. 前記少なくとも1つのシンボリック値の少なくとも1つが、前記システムの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの識別子である、請求項1に記載のシステム。
  48. 前記少なくとも1つの挙動が、前記システムの出力デバイスのうちの少なくとも1つに表示される少なくとも1つのピクセルの色の変化である、請求項47に記載のシステム。
  49. 前記少なくとも1つの挙動が、前記システムの少なくとも1つのスピーカによる音の放出の変化である、請求項47に記載のシステム。
  50. 前記少なくとも1つの挙動が、少なくとも1つの文字の変更、または前記システムのディスプレイの少なくとも1つへの少なくとも1つの文字の追加である、請求項47に記載のシステム。
  51. 前記少なくとも1つの挙動が、少なくとも1つのデジタル画像もしくはグラフィックの変更、または前記システムのディスプレイの少なくとも1つへの少なくとも1つのデジタル画像もしくはグラフィックの追加である、請求項47に記載のシステム。
  52. 前記少なくとも1つの挙動が、少なくとも部分的に金融口座について記述する情報への前記ユーザのアクセスを可能にするために、前記デバイスの少なくとも1つのユーザインターフェースを変更することである、請求項47に記載のシステム。
  53. 前記少なくとも1つの挙動は、前記ユーザが金融取引を開始および/または完了することを可能にするために、前記デバイスの少なくとも1つのユーザインターフェースを変更することである、請求項47に記載のシステム。
  54. 前記少なくとも1つの挙動は、施錠された、または他の方法により安全な、ドアの解錠である、請求項47に記載のシステム。
  55. 前記少なくとも1つのシンボリック値の少なくとも1つは、前記システムで実行される少なくとも1つのアプリケーションの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの前記識別子である、請求項1に記載のシステム。
  56. 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つの色である、請求項1に記載のシステム。
  57. 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つのRGB値である、請求項1に記載のシステム。
  58. 少なくとも1つの必要条件が満たされている場合、および満たされている場合にのみ、前記少なくとも1つのシンボリック値が、前記少なくとも1つのプロセッサに入る、請求項1に記載のシステム。
  59. 前記少なくとも1つの必要条件の少なくとも1つが、前記最後の少なくとも1つのシンボリック値の少なくとも1つが処理されてから少なくとも最小限の時間が経過したことである、請求項58に記載のシステム。
  60. 前記少なくとも1つの必要条件の少なくとも1つが、少なくとも1つのシンボリック値が成功裏にマッピングされてから少なくとも最小限の時間が経過したことである、請求項58に記載のシステム。
  61. 前記少なくとも1つの必要条件の少なくとも1つが、前記少なくとも1つのシンボリック値の少なくとも1つと同じか、または同等の少なくとも1つのシンボリック値を処理してから少なくとも最小限の時間が経過したことである、請求項58に記載のシステム。
  62. 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更は、少なくとも1つのディスプレイの少なくとも1つの画面上の少なくとも1つのピクセルの変更を含む、請求項1に記載のシステム。
  63. 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、少なくとも1ビットの情報を少なくとも1つの他のコンピューティングデバイスに送信することを含む、請求項1に記載のシステム。
  64. 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、前記システム内の少なくとも1ビットのメモリを変更することを含む、請求項1に記載のシステム。
  65. 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、少なくとも1つの他のコンピューティングデバイス内の少なくとも1ビットのメモリを変更することを含む、請求項1に記載のシステム。
  66. 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、少なくとも1つの音声を放出することを含む、請求項1に記載のシステム。
  67. 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、前記システム内の少なくとも1つのパラメータを修正することを含む、請求項1に記載のシステム。
  68. 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、少なくとも1つの他のコンピューティングデバイス内の少なくとも1つのパラメータを修正することを含む、請求項1に記載のシステム。
  69. 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、少なくとも1つのシステム固有コマンドを実行す
    ることを含む、請求項1に記載のシステム。
  70. 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、前記システムのメモリ内で少なくとも1つのパスワードを構成することを含む、請求項1に記載のシステム。
  71. 前記少なくとも1つのコンピューティングデバイスの前記少なくとも1つのコンポーネントおよび/または挙動の前記変更が、前記システムのメモリ内で少なくとも1つのパスフレーズまたは暗号化キーを構成することを含む、請求項1に記載のシステム。
  72. 前記少なくとも1つの測定値の少なくとも1つが不明確であると判定した場合、前記変換回路が、前記少なくとも1つのシンボリック値の前記システムの生成および/または入力を中止するよう構成される、請求項1に記載のシステム。
  73. 前記不明確性は、画像内の不鮮明さである、請求項72に記載のシステム。
  74. 少なくとも1つのセンサを使用して、ユーザの顔、頭、首、および/または肩の内に少なくとも部分的に位置する特定の筋肉が収縮する程度を測定し、それによって、複数の筋肉の固有測定値を導出することと、
    前記筋肉の固有測定値のそれぞれを量子化することと、
    前記量子化された筋肉の固有測定値を、量子化された筋肉収縮の各固有の組み合わせに対する固有の合成数に組み合わせることと、
    前記合成数を状況固有シンボリック値に変換することと、
    前記状況固有値を使用して、デジタル情報のファイルまたはバッファ内の少なくとも1ビットを修正し、および/または少なくとも1つのコンピューティングデバイスの挙動を修正することと、
    を備える、方法。
  75. 前記少なくとも1つのセンサが、少なくとも1つのカメラである、請求項74に記載の方法。
  76. 前記少なくとも1つのセンサが、少なくとも1つの電圧センサである、請求項74に記載の方法。
  77. 前記量子化すること、前記組み合わせること、および前記変換することが、第1のプロセッサによって行われ、前記デジタル情報のファイルまたはバッファ内の少なくとも1つのビットを変更することが、第2のプロセッサによって行われる、請求項74に記載の方法。
  78. 前記第1のプロセッサがカメラ内に埋め込まれ、前記第2のプロセッサがコンピューティングデバイス内に一体化される、請求項77に記載の方法。
  79. 前記状況固有値は、文字、単語、フレーズ、特定のデジタル画像に関連付けられた識別子、特定の音符に関連付けられた識別子、少なくとも1つのコンピューティングデバイスの挙動の少なくとも1つの態様を変更することができるコマンドの識別子である、請求項74に記載の方法。
  80. 前記コンピューティングデバイスが、少なくともテキストエディタの機能を提供する、請求項74に記載の方法。
  81. 前記コンピューティングデバイスが、少なくとも画像編集プログラムの機能を提供する、請求項74に記載の方法。
  82. 前記コンピューティングデバイスが、少なくともオンラインマルチプレイヤーゲームの機能を提供する、請求項74に記載の方法。
  83. 前記変換が、前記センサ内で行われる、請求項74に記載の方法。
  84. 前記少なくとも1つのセンサが、カメラである、請求項74に記載の方法。
  85. 前記コンピューティングデバイスが、パーソナルコンピューティングデバイスである、請求項74に記載の方法。
  86. 前記パーソナルコンピューティングデバイスが、スマートフォンである、請求項85に記載の方法。
  87. 前記パーソナルコンピューティングデバイスが、ラップトップまたはタブレットコンピュータである、請求項85に記載の方法。
  88. 前記測定が、別々の瞬間に行われる、請求項74に記載の方法。
  89. 前記少なくとも1つのセンサ測定値に対して、同じ少なくとも1つのセンサ測定値が同じ測定値によって特徴付けられる場合はいつでも、生成された前記シンボリック値が同じである、請求項74に記載の方法。
  90. 前記少なくとも1つのセンサの少なくとも1つが、ほぼ一定の周波数によって特徴付けられる周期で測定値を生成する、請求項74に記載の方法。
  91. 前記ほぼ一定の周波数が、少なくとも1つのカメラのフレームレートにほぼ等しい、請求項90に記載の方法。
  92. 前記少なくとも1つのセンサが、少なくとも1つの画像を生成する少なくとも1つのカメラを含む、請求項74に記載の方法。
  93. 前記少なくとも1つのカメラが、光を捕捉し、少なくとも1つの「赤外線」波長に対応する画像を生成する、請求項92に記載の方法。
  94. 前記少なくとも1つのカメラが、撮影された前記物体の立体画像および/または3次元モデルを生成する、請求項92に記載の方法。
  95. 前記特定の筋肉が収縮する前記程度が、前記ユーザの顔、頭、首、および/または肩の少なくとも1対の外部特徴の間の少なくとも1つの距離に関して測定される、請求項74に記載の方法。
  96. 前記少なくとも1対の外部特徴の少なくとも1つは、それぞれ、左または右の眉毛ならびに左または右の眼角である、請求項95に記載の方法。
  97. 前記少なくとも1対の外部特徴のうちの少なくとも1つは、それぞれ、左または右の上まぶた、および左または右の下まぶたである、請求項95に記載の方法。
  98. 前記少なくとも1対の外部特徴のうちの少なくとも1つは、上唇および下唇である、請求項95に記載の方法。
  99. 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭および前記身体の縦軸の公称アライメントに関して、前記少なくとも1人のユーザの少なくとも1人の前記頭の左右の傾きの少なくとも1つの角度に対して測定される、請求項74に記載の方法。
  100. 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭および前記身体の縦軸の公称アライメントに関して、前記少なくとも1人のユーザの少なくとも1人の前記頭の前後の傾きの少なくとも1つの角度に対して測定される、請求項74に記載の方法。
  101. 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭の前方方向に対して、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭の少なくとも1つの回転角度に対して測定される、請求項74に記載の方法。
  102. 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の頬が膨らむか、または凹んだ程度の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
  103. 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの舌が前記少なくとも1人のユーザの前記少なくとも1人の前記口から突き出されている程度の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
  104. 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の肩が「すくめられている」程度の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
  105. 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1対の鼻孔の総断面積または平均断面積の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
  106. 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの神経の神経支配の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
  107. 前記特定の筋肉が収縮する前記程度が、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの筋肉の収縮の少なくとも1つの尺度に対して測定される、請求項74に記載の方法。
  108. 前記少なくとも1つのシンボリック値の少なくとも1つが英数字である、請求項74に記載の方法。
  109. 前記少なくとも1つのシンボリック値の少なくとも1つが数字である、請求項74に記載の方法。
  110. 前記少なくとも1つのシンボリック値の少なくとも1つが句読文字である、請求項74
    に記載の方法。
  111. 前記少なくとも1つのシンボリック値の少なくとも1つが音符またはコードである、請求項74に記載の方法。
  112. 前記少なくとも1つのシンボリック値の少なくとも1つがデジタル画像である、請求項74に記載の方法。
  113. 前記少なくとも1つのシンボリック値の少なくとも1つが単語である、請求項74に記載の方法。
  114. 前記少なくとも1つのシンボリック値の少なくとも1つがフレーズである、請求項74に記載の方法。
  115. 前記少なくとも1つのシンボリック値の少なくとも1つは、前記システムの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの前記識別子である、請求項74に記載の方法。
  116. 前記少なくとも1つのシンボリック値の少なくとも1つは、前記システムで実行される少なくとも1つのアプリケーションの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの前記識別子である、請求項74に記載の方法。
  117. 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つの色である、請求項74に記載の方法。
  118. 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つのRGB値である、請求項74に記載の方法。
  119. 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、少なくとも1つの音声を放出することを含む、請求項74に記載の方法。
  120. 前記少なくとも1つのシンボリック値の少なくとも1つが音符またはコードである、請求項119に記載の方法。
  121. 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、前記システム内の少なくとも1つのパラメータを修正することを含む、請求項74に記載の方法。
  122. 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、少なくとも1つの他のコンピューティングデバイス内の少なくとも1つのパラメータを修正することを含む、請求項74に記載の方法。
  123. 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、少なくとも1つのシステム固有コマンドを実行することを含む、請求項74に記載の方法。
  124. 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、前記システムのメモリ内に少なくとも1つのパスワードを構成することを含む、請求項74に記載の方法。
  125. 前記少なくとも1つのコンピューティングデバイスの前記挙動の前記修正は、前記システムのメモリ内に少なくとも1つのパスフレーズまたは暗号化キーを構成することを含む
    、請求項74に記載の方法。
  126. 少なくとも1人のユーザの顔、頭、首、および/または肩の幾何学的形状における少なくとも1つの変化と同時に変化する少なくとも1つの因子に関連するデータの少なくとも1つのブロックを捕捉するように構成された少なくとも1つのセンサであって、少なくとも1つの幾何学的変化は、前記少なくとも1人のユーザによる、前記少なくとも1人のユーザの少なくとも1つの神経の神経支配を介して発現し、前記少なくとも1つの神経の前記神経支配は、少なくとも1つの筋肉の収縮をもたらし、前記少なくとも1つの筋肉の前記収縮は、少なくとも1人のユーザの顔、頭、首、および/または肩の前記幾何学的形状の前記少なくとも1つの変化の前記発現に、少なくとも部分的に、寄与する、センサと、
    データの前記少なくとも1つのブロックの少なくとも1つの部分から少なくとも1つの因子固有測定値を判定する手段と、
    少なくとも1つの「量子化因子尺度」を生成するために、前記少なくとも1人のユーザの少なくとも1人の前記少なくとも1つの因子固有測定値の各々を量子化する手段と、
    前記少なくとも1つの量子化因子尺度を少なくとも1つのユーザ固有の「変化シグネチャ」に変換する手段と、
    前記少なくとも1つの変化シグネチャを少なくとも1つの「シンボリック値」にマッピングする手段と、
    前記少なくとも1つのシンボリック値を処理する手段と、
    を備える、システム。
  127. 前記判定する手段、前記量子化する手段、前記変換する手段、および前記マッピングする手段を含む第1のプロセッサと、前記処理する手段を含む第2のプロセッサとをさらに備える、請求項126に記載のシステム。
  128. 前記第1および第2のプロセッサの両方がコンピューティングデバイス内にある、請求項127に記載のシステム。
  129. 前記第1のプロセッサがセンサ内にあり、前記第2のプロセッサがコンピューティングデバイス内にある、請求項127に記載のシステム。
  130. 前記センサが、カメラである、請求項129に記載のシステム。
  131. 前記コンピューティングデバイスが、スマートフォンである、請求項129に記載のシステム。
  132. 前記コンピューティングデバイスが、タブレットコンピュータまたはラップトップである、請求項129に記載のシステム。
  133. 前記少なくとも1つのセンサの前記少なくとも1つが、ほぼ一定の周波数によって特徴付けられる周期で測定値を生成する、請求項126に記載のシステム。
  134. 前記ほぼ一定の周波数が、少なくとも1つのカメラのフレームレートにほぼ等しい、請求項133に記載のシステム。
  135. 前記少なくとも1つのセンサが、少なくとも1つの画像を生成する少なくとも1つのカメラを含む、請求項126に記載のシステム。
  136. 前記少なくとも1つのカメラが、光を捕捉し、少なくとも1つの「可視」波長に対応する画像を生成する、請求項135に記載のシステム。
  137. 前記少なくとも1つのカメラが、光を捕捉し、少なくとも1つの「赤外線」波長に対応する画像を生成する、請求項135に記載のシステム。
  138. 前記少なくとも1つのカメラが、撮影された前記物体の立体画像および/または3次元モデルを生成する、請求項135に記載のシステム。
  139. 前記少なくとも1つのセンサが、少なくとも1つの電圧センサを含む、請求項126に記載のシステム。
  140. 前記少なくとも1つのセンサが、少なくとも1つの電流センサを含む、請求項126に記載のシステム。
  141. 前記少なくとも1つのセンサが、少なくとも1つのキャパシタンスセンサを含む、請求項126に記載のシステム。
  142. 前記少なくとも1つのセンサが、少なくとも1つの磁気センサを含む、請求項126に記載のシステム。
  143. 前記少なくとも1つのセンサが、少なくとも1つのねじれセンサを含む、請求項126に記載のシステム。
  144. 前記少なくとも1つのセンサが、少なくとも1つの伸びセンサを含む、請求項126に記載のシステム。
  145. 前記少なくとも1つのセンサが、少なくとも1つの加速度計を含む、請求項126に記載のシステム。
  146. 前記少なくとも1つのデータブロックの少なくとも1つがデジタル画像である、請求項126に記載のシステム。
  147. 前記少なくとも1つのデータブロックの少なくとも1つが電圧である、請求項126に記載のシステム。
  148. 前記少なくとも1つの因子の少なくとも1つが、前記ユーザの顔、頭、首、および/または肩の少なくとも1対の外部特徴の間の少なくとも1つの距離である、請求項126に記載のシステム。
  149. 前記少なくとも1対の外部特徴の少なくとも1つは、それぞれ、左または右の眉毛ならびに左または右の眼角である、請求項148に記載のシステム。
  150. 前記少なくとも1対の外部特徴のうちの少なくとも1つは、それぞれ、左または右の上まぶた、および左または右の下まぶたである、請求項148に記載のシステム。
  151. 前記少なくとも1対の外部特徴のうちの少なくとも1つは、上唇および下唇である、請求項148に記載のシステム。
  152. 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の前記頭および身体の縦軸の公称アラインメントに対して、前記少なくとも1人のユーザの少なくとも1人の前記頭の左右の傾きにおける少なくとも1つの角度である、
    請求項126に記載のシステム。
  153. 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の前記頭および身体の縦軸の前記公称アラインメントに対して、前記少なくとも1人のユーザの少なくとも1人の前記頭の前後の傾きにおける少なくとも1つの角度である、請求項126に記載のシステム。
  154. 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザのうちの少なくとも1人の頭の前方方向に対して、前記少なくとも1人のユーザのうちの前記少なくとも1人の前記頭の少なくとも1つの回転角度である、請求項126に記載のシステム。
  155. 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の頬が膨らむか、または凹んだ程度の少なくとも1つの尺度に対して測定される、請求項126に記載のシステム。
  156. 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの舌が前記少なくとも1人のユーザの前記少なくとも1人の口から突き出されている程度の少なくとも1つの尺度である、請求項126に記載のシステム。
  157. 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の少なくとも一方の肩が「すくめられている」程度の少なくとも1つの尺度に対して測定される、請求項126に記載のシステム。
  158. 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザのうちの少なくとも1人の少なくとも1対の鼻孔の総断面積または平均断面面積の少なくとも1つの尺度である、請求項126に記載のシステム。
  159. 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの神経の神経支配の少なくとも1つの尺度である、請求項126に記載のシステム。
  160. 前記少なくとも1つの因子の少なくとも1つが、前記少なくとも1人のユーザの少なくとも1人の少なくとも1つの筋肉の収縮の少なくとも1つの尺度である、請求項126に記載のシステム。
  161. 前記少なくとも1つの筋肉は、前記少なくとも1人のユーザの少なくとも1人の前記顔、頭、首、および/または少なくとも一方の肩に少なくとも部分的にある、請求項160に記載のシステム。
  162. 前記判定する手段が、少なくとも1つの因子分析モジュールを含む、請求項126に記載のシステム。
  163. 前記判定する手段が、少なくとも1つの画像分析モジュールを含む、請求項126に記載のシステム。
  164. 前記少なくとも1つの画像分析モジュールの少なくとも1つが、少なくとも1対の相補的な外部特徴の分離を判定する、請求項163に記載のシステム。
  165. 前記少なくとも1つの画像分析モジュールの少なくとも1つが、少なくとも1つのユーザの頭の前記左右の傾きを判定する、請求項163に記載のシステム。
  166. 前記少なくとも1つの画像分析モジュールの少なくとも1つが、少なくとも1つのユーザの頭の前後の傾きを判定する、請求項163に記載のシステム。
  167. 前記少なくとも1つの画像分析モジュールの少なくとも1つが、少なくとも1つのユーザの頭の縦軸の周りの回転を判定する、請求項163に記載のシステム。
  168. 因子固有測定を前記量子化することが、前記対応する量子化因子尺度を、前記因子固有測定値に対する少なくとも1つの因子固有微分値を含む因子固有微分値の少なくとも1つの範囲に対応する少なくとも1つのインデックスに等しく設定することを含む、請求項126に記載のシステム。
  169. 前記因子固有微分値が、それらが導出された前記因子固有測定値と等しい、請求項168に記載のシステム。
  170. 各因子固有微分値が、因子固有ベースライン測定値に対する元の前記因子固有測定値の比に等しい、請求項168に記載のシステム。
  171. 因子固有微分値の前記少なくとも1つの範囲が、全ての有効な同一の因子固有微分値を含む因子固有微分値の範囲の一部に対応する、請求項170に記載のシステム。
  172. 前記因子固有ベースライン測定値が、前記少なくとも1人のユーザのうちの少なくとも1人の特徴であり、前記少なくとも1人のユーザの少なくとも1人にカスタマイズされる、請求項170に記載のシステム。
  173. 前記少なくとも1つの変化シグネチャが、少なくとも1つの量子化された因子尺度の配列によって定義されるか、またはそれと同等である、請求項170に記載のシステム。
  174. 前記少なくとも1つの量子化因子尺度を少なくとも1つのユーザ固有の変化シグネチャに変換することが、前記少なくとも1つの変化シグネチャアレイ内の少なくとも1つの特定位置に少なくとも1つの特定因子固有の量子化因子尺度をコピーすることを含む、請求項173に記載のシステム。
  175. 前記マッピングが、前記少なくとも1つの変化シグネチャのうちの少なくとも1つと一致する、少なくとも1つの基準変化シグネチャの少なくとも1つのリスト内の、基準変化シグネチャの少なくとも1つのインデックスを判定することと、少なくとも1つのシンボリック値の少なくとも1つのリストから、同じ少なくとも1つのインデックスと関連する前記少なくとも1つのシンボリック値を検索することと、を含む、請求項126に記載のシステム。
  176. 前記少なくとも1つのシンボリック値の少なくとも1つが英数字である、請求項126に記載のシステム。
  177. 前記少なくとも1つのシンボリック値の少なくとも1つが数字である、請求項126に記載のシステム。
  178. 前記少なくとも1つのシンボリック値の少なくとも1つが句読文字である、請求項126に記載のシステム。
  179. 前記少なくとも1つのシンボリック値の少なくとも1つが音符またはコードである、請求項126に記載のシステム。
  180. 前記少なくとも1つのシンボリック値の少なくとも1つがデジタル画像である、請求項126に記載のシステム。
  181. 前記少なくとも1つのシンボリック値の少なくとも1つが単語である、請求項126に記載のシステム。
  182. 前記少なくとも1つのシンボリック値の少なくとも1つがフレーズである、請求項126に記載のシステム。
  183. 前記少なくとも1つのシンボリック値の少なくとも1つは、前記システムの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの識別子である、請求項126に記載のシステム。
  184. 前記少なくとも1つのシンボリック値の少なくとも1つは、前記システムで実行される少なくとも1つのアプリケーションの少なくとも1つの挙動の少なくとも1つの態様を変更することができるコマンドの前記識別子である、請求項126に記載のシステム。
  185. 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つの色である、請求項126に記載のシステム。
  186. 前記少なくとも1つのシンボリック値の少なくとも1つが少なくとも1つのRGB値である、請求項126に記載のシステム。
  187. 少なくとも1つの必要条件が満たされている場合、および満たされている場合にのみ、前記処理が行われる、請求項126に記載のシステム。
  188. 前記少なくとも1つの必要条件の少なくとも1つが、前記最後の少なくとも1つのシンボリック値の少なくとも1つが処理されてから少なくとも最小限の時間が経過したことである、請求項187に記載のシステム。
  189. 前記少なくとも1つの必要条件の少なくとも1つが、少なくとも1つのシンボリック値が成功裏にマッピングされてから少なくとも最小限の時間が経過したことである、請求項187に記載のシステム。
  190. 前記少なくとも1つの必要条件の少なくとも1つが、前記少なくとも1つのシンボリック値の少なくとも1つと同じか、または同等の少なくとも1つのシンボリック値を処理してから少なくとも最小限の時間が経過したことである、請求項187に記載のシステム。
  191. 前記処理が、少なくとも1つのディスプレイの少なくとも1つの画面上の少なくとも1つのピクセルの変更を含む、請求項126に記載のシステム。
  192. 前記処理が、少なくとも1ビットの情報を少なくとも1つの他のコンピューティングデバイスに送信することを含む、請求項126に記載のシステム。
  193. 前記処理が、前記システム内のメモリの少なくとも1ビットを変更することを含む、請求項126に記載のシステム。
  194. 前記処理が、少なくとも1つの他のコンピューティングデバイス内のメモリの少なくとも1ビットを変更することを含む、請求項126に記載のシステム。
  195. 前記処理は、少なくとも1つの音声を放出することを含む、請求項126に記載のシステム。
  196. 前記処理が、前記システム内の少なくとも1つのパラメータを修正することを含む、請求項126に記載のシステム。
  197. 前記処理が、少なくとも1つの他のコンピューティングデバイス内の少なくとも1つのパラメータを修正することを含む、請求項126に記載のシステム。
  198. 前記処理が、少なくとも1つのシステム固有コマンドを実行することを含む、請求項126に記載のシステム。
  199. 前記処理が、前記システムのメモリ内の少なくとも1つのパスワードを構成することを含む、請求項126に記載のシステム。
  200. 前記処理が、前記システムのメモリ内の少なくとも1つのパスフレーズまたは暗号化キーを構成することを含む、請求項126に記載のシステム。
  201. 前記判定する手段は、少なくとも1つのデータブロックの不明確性が、前記少なくとも1つのデータブロックが捕捉されていた間に変化した前記幾何学的形状の前記少なくとも1つの変化の少なくとも1つと一致すると判定した場合に、前記少なくとも1つのシンボリック値の少なくとも1つの前記システムによる生成および/または処理を中止するよう構成される、請求項126に記載のシステム。
  202. 前記判定する手段が、安定した幾何学的形状を示す前記因子固有測定値と、前記幾何学的形状に対する初期のおよび/または不完全な変化を示すものとを区別し、前記幾何学的形状が安定していない場合に前記少なくとも1つのシンボリック値の少なくとも1つの前記システムによる生成および/または処理を中止するよう構成される、請求項126に記載のシステム。
JP2021070872A 2015-01-31 2021-04-20 顔の幾何学的形状の歪みによるコンピュータの制御 Pending JP2021114317A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023076997A JP2023100878A (ja) 2015-01-31 2023-05-09 顔の幾何学的形状の歪みによるコンピュータの制御

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562125758P 2015-01-31 2015-01-31
US62/125,758 2015-01-31
JP2017559280A JP2018505505A (ja) 2015-01-31 2016-02-01 顔の幾何学的形状の歪みによるコンピュータの制御

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017559280A Division JP2018505505A (ja) 2015-01-31 2016-02-01 顔の幾何学的形状の歪みによるコンピュータの制御

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023076997A Division JP2023100878A (ja) 2015-01-31 2023-05-09 顔の幾何学的形状の歪みによるコンピュータの制御

Publications (1)

Publication Number Publication Date
JP2021114317A true JP2021114317A (ja) 2021-08-05

Family

ID=56544482

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017559280A Pending JP2018505505A (ja) 2015-01-31 2016-02-01 顔の幾何学的形状の歪みによるコンピュータの制御
JP2021070872A Pending JP2021114317A (ja) 2015-01-31 2021-04-20 顔の幾何学的形状の歪みによるコンピュータの制御
JP2023076997A Pending JP2023100878A (ja) 2015-01-31 2023-05-09 顔の幾何学的形状の歪みによるコンピュータの制御

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017559280A Pending JP2018505505A (ja) 2015-01-31 2016-02-01 顔の幾何学的形状の歪みによるコンピュータの制御

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023076997A Pending JP2023100878A (ja) 2015-01-31 2023-05-09 顔の幾何学的形状の歪みによるコンピュータの制御

Country Status (5)

Country Link
US (5) US10234938B2 (ja)
EP (1) EP3251057A4 (ja)
JP (3) JP2018505505A (ja)
CA (1) CA2975124C (ja)
WO (1) WO2016123635A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016123635A1 (en) * 2015-01-31 2016-08-04 Brian Lee Moffat Control of a computer via distortions of facial geometry
US10504229B2 (en) * 2016-10-28 2019-12-10 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing method
GB2560340A (en) * 2017-03-07 2018-09-12 Eyn Ltd Verification method and system
KR20180115599A (ko) * 2017-04-13 2018-10-23 인하대학교 산학협력단 발화 개선을 위한 두경부 물리 특성 기반의 가이드 및 피드백 시스템
JP6298919B1 (ja) * 2017-06-07 2018-03-20 スマート ビート プロフィッツ リミテッド データベースの構築方法及びデータベース
US10300373B2 (en) * 2017-09-08 2019-05-28 Niantic, Inc. Methods and systems for generating detailed datasets of an environment via gameplay
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
EP3611896B1 (de) * 2018-08-13 2022-08-31 Löwenstein Medical Technology S.A. Sichere kommunikation zwischen einem server und einem beatmungssystem
EP3640951A1 (en) * 2018-10-15 2020-04-22 Siemens Healthcare GmbH Evaluating a condition of a person
JP7240155B2 (ja) * 2018-12-06 2023-03-15 日本光電工業株式会社 容態変化判別方法、容態変化判別装置、当該装置又は方法に用いられるプログラム及びコンピュータ可読媒体
US11099642B2 (en) * 2019-08-01 2021-08-24 International Business Machines Corporation Display adaptation for visual impairment
TWI727395B (zh) * 2019-08-15 2021-05-11 亞東技術學院 語言發音學習系統及方法
US20230015224A1 (en) * 2020-01-14 2023-01-19 Hewlett-Packard Development Company, L.P. Face orientation-based cursor positioning on display screens
JP7266688B2 (ja) * 2020-05-21 2023-04-28 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ユーザインタラクション方法、装置、機器および媒体
US11941161B2 (en) 2020-07-03 2024-03-26 Augmental Technologies Inc. Data manipulation using remote augmented sensing
KR102426792B1 (ko) * 2020-09-16 2022-07-29 한양대학교 산학협력단 무음 발화 인식 방법 및 장치
KR20220118583A (ko) * 2021-02-18 2022-08-26 삼성전자주식회사 안면 인장 데이터를 사용한 음성 인식

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098901A (ja) * 2007-10-16 2009-05-07 Nippon Telegr & Teleph Corp <Ntt> 表情検出方法及び装置及びプログラム
JP2010134057A (ja) * 2008-12-02 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013110662A (ja) * 2011-11-24 2013-06-06 Seiko Epson Corp 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法
US20130300650A1 (en) * 2012-05-09 2013-11-14 Hung-Ta LIU Control system with input method using recognitioin of facial expressions
US20140139424A1 (en) * 2012-11-22 2014-05-22 Wistron Corporation Facial expression control system, facial expression control method, and computer system thereof

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US234938A (en) * 1880-11-30 aston
GB0103349D0 (en) * 2001-02-10 2001-03-28 Ibm Facilitated user interface
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
EP1394727B1 (en) 2002-08-30 2011-10-12 MVTec Software GmbH Hierarchical component based object recognition
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
US7554549B2 (en) * 2004-10-01 2009-06-30 Sony Corporation System and method for tracking facial muscle and eye motion for computer graphics animation
US8269834B2 (en) * 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
JP4823970B2 (ja) * 2007-05-24 2011-11-24 オリンパスイメージング株式会社 画像編集装置
AU2011318719B2 (en) 2010-10-21 2015-07-02 Samsung Electronics Co., Ltd. Method and apparatus for recognizing an emotion of an individual based on facial action units
CN102637071A (zh) * 2011-02-09 2012-08-15 英华达(上海)电子有限公司 应用于多媒体输入设备的多媒体输入方法
US8922481B1 (en) * 2012-03-16 2014-12-30 Google Inc. Content annotation
US9031293B2 (en) 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
WO2014205422A2 (en) * 2013-06-20 2014-12-24 Parshionikar Uday Systems, methods, apparatuses, computer readable medium for controlling electronic devices
US9734410B2 (en) * 2015-01-23 2017-08-15 Shindig, Inc. Systems and methods for analyzing facial expressions within an online classroom to gauge participant attentiveness
WO2016123635A1 (en) * 2015-01-31 2016-08-04 Brian Lee Moffat Control of a computer via distortions of facial geometry
US10025972B2 (en) * 2015-11-16 2018-07-17 Facebook, Inc. Systems and methods for dynamically generating emojis based on image analysis of facial features

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098901A (ja) * 2007-10-16 2009-05-07 Nippon Telegr & Teleph Corp <Ntt> 表情検出方法及び装置及びプログラム
JP2010134057A (ja) * 2008-12-02 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013110662A (ja) * 2011-11-24 2013-06-06 Seiko Epson Corp 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法
US20130300650A1 (en) * 2012-05-09 2013-11-14 Hung-Ta LIU Control system with input method using recognitioin of facial expressions
US20140139424A1 (en) * 2012-11-22 2014-05-22 Wistron Corporation Facial expression control system, facial expression control method, and computer system thereof

Also Published As

Publication number Publication date
CA2975124C (en) 2024-02-13
US20190243447A1 (en) 2019-08-08
US20220229489A1 (en) 2022-07-21
EP3251057A4 (en) 2018-06-27
US10754424B2 (en) 2020-08-25
US11275435B2 (en) 2022-03-15
US20240134446A1 (en) 2024-04-25
US10234938B2 (en) 2019-03-19
EP3251057A1 (en) 2017-12-06
US20180164879A1 (en) 2018-06-14
US11928255B2 (en) 2024-03-12
WO2016123635A1 (en) 2016-08-04
JP2023100878A (ja) 2023-07-19
US20200401215A1 (en) 2020-12-24
CA2975124A1 (en) 2016-08-04
JP2018505505A (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
JP2021114317A (ja) 顔の幾何学的形状の歪みによるコンピュータの制御
Marks The unity of the senses: Interrelations among the modalities
KR101680995B1 (ko) 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템
JP7468356B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN107978303A (zh) 智能钢琴的智能检测和反馈系统
CN101821699B (zh) 涉及脑计算机接口的改进
CN109976513B (zh) 一种系统界面设计方法
US9401157B2 (en) Customizable system and device for defining voice dimensions and methods of use
EP3605421A1 (en) Communication analysis device, measurement/feedback device used therefor, and interaction device
WO2021090817A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2024012497A (ja) コミュニケーション方法及びシステム
US9449521B2 (en) Method for using virtual facial and bodily expressions
CN114514563A (zh) 在电子设备上创建最佳工作、学习和休息环境
Nakayama et al. The sound of smile: Auditory biofeedback of facial EMG activity
JP7066115B2 (ja) パブリックスピーキング支援装置、及びプログラム
Valenti et al. Sonify your face: facial expressions for sound generation
US20190197126A1 (en) Systems and methods to facilitate bi-directional artificial intelligence communications
CN113633870A (zh) 情绪状态调节系统及方法
Grond et al. A supercollider class for vowel synthesis and its use for sonification
US20230386155A1 (en) Virtual, augmented or mixed reality instrument teaching system and method
Sun Real-time Sonification of muscle tension for piano players
Chen et al. Experiential media systems–the biofeedback project
CN112634843A (zh) 一种以声音方式表达数据的信息生成方法与装置
JP2024051776A (ja) プログラム、情報処理装置及び情報処理方法
Del Piccolo Multisensory feedback for interactive surfaces

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230110