JP2017516140A - 顔の表情のトラッキング - Google Patents

顔の表情のトラッキング Download PDF

Info

Publication number
JP2017516140A
JP2017516140A JP2016565351A JP2016565351A JP2017516140A JP 2017516140 A JP2017516140 A JP 2017516140A JP 2016565351 A JP2016565351 A JP 2016565351A JP 2016565351 A JP2016565351 A JP 2016565351A JP 2017516140 A JP2017516140 A JP 2017516140A
Authority
JP
Japan
Prior art keywords
user
image
wearable smart
smart device
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016565351A
Other languages
English (en)
Other versions
JP6722590B2 (ja
JP2017516140A5 (ja
Inventor
チャン，チャ
チャン，チェンユー
パレデス，ベルナルディノ ロメラ
パレデス，ベルナルディノ ロメラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp, Microsoft Technology Licensing LLC filed Critical Microsoft Corp
Publication of JP2017516140A publication Critical patent/JP2017516140A/ja
Publication of JP2017516140A5 publication Critical patent/JP2017516140A5/ja
Application granted granted Critical
Publication of JP6722590B2 publication Critical patent/JP6722590B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G06T13/40—Three-dimensional [3D] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Eyeglasses (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

説明は顔のトラッキングに関する。一実施例は、ユーザの顔に対してウェアラブルスマートデバイスを配置するように構成される配向構造を含むことができる。実施例は、配向構造によってユーザの顔に平行又は低アングルで固定されて、ユーザの顔にわたる画像をキャプチャするカメラも含むことができる。実施例は、画像を受け取り、画像をアバターモデルに関連付けられるパラメータにマップするように構成されるプロセッサを更に含むことができる。

Description

様々なウェアラブルデバイスが特定の目的のために市場に出ている。例えばスマート眼鏡及び頭部装着ディスプレイは、ユーザが何を見ているかを決定することができる。しかしながら、これらのデバイスは、ユーザを背にしてデバイスが配置され、外側向きのカメラ及び／又はアイトラッキングのためにユーザの目に向けられるカメラを有するので、ユーザについての有益なビューを提供しない。本概念は、カメラがユーザの非常に近くに配置されるときもユーザの有益なビューを提供することによって、ウェアラブルデバイスに追加の機能を与えることができる。
本説明は、顔のトラッキングに関する。一例は、ユーザの顔との相対でウェアラブルデバイスを配置するように構成される配向構造を含むことができる。実施例は、配向構造によってユーザの顔に対して平行又は低アングルで固定されるカメラも含むことができ、ユーザの顔にわたる画像をキャプチャすることができる。この実施例は、画像を受け取り、この画像を、アバターモデルに関連付けられるパラメータにマップするように構成されるプロセッサも更に含むことができる。
上記で列挙した例は、読み手を助けるために簡易な参照を提供するように意図されており、本明細書で説明される概念の範囲を定義するようには意図されていない。
添付の図面は、本明細書で伝えられる概念の実装を図示する。図示される実装の特徴は、添付の図面とともに以下の説明を参照することによってより容易に理解され得る。実現可能であれば、様々な図で同様の参照番号を使用して同様の要素を指す。さらに、各参照番号の最も左の数字は、その参照番号が最初に紹介される図面及び関連する議論を示す。
本概念の一部の実装に係る、ウェアラブルスマートデバイスの例を示す図である。
本概念の一部の実装に係る、視覚化シナリオの例を示す図である。 本概念の一部の実装に係る、視覚化シナリオの例を示す図である。
本概念の一部の実装に係る、ウェアラブルスマートデバイスの例を示す図である。 本概念の一部の実装に係る、ウェアラブルスマートデバイスの例を示す図である。
本概念の一部の実装に係る、例示の視覚化プロセスを示す図である。
本概念の一部の実装に係る、例示の視覚化システムの態様をより詳細に示す図である。 本概念の一部の実装に係る、例示の視覚化システムの態様をより詳細に示す図である。 本概念の一部の実装に係る、例示の視覚化システムの態様をより詳細に示す図である。 本概念の一部の実装に係る、例示の視覚化システムの態様をより詳細に示す図である。 本概念の一部の実装に係る、例示の視覚化システムの態様をより詳細に示す図である。 本概念の一部の実装に係る、例示の視覚化システムの態様をより詳細に示す図である。 本概念の一部の実装に係る、例示の視覚化システムを示す図である。
概要
この説明は、ユーザに対して非常に近く、かつ／又は非常に低アングルで配置されるカメラから、顔の情報のようなユーザに関する有益な視覚的情報をキャプチャすることに関する。この概念は、低アングルカメラを用いる様々なウェアラブルスマートデバイスで実装され得る。
本概念の一態様は、ユーザの低アングル画像から有用な情報を導出する能力を含む。例えば１つ又は複数のカメラをユーザの近くに配置して、ユーザの顔に対してほぼ平行な画像をキャプチャすることができる。通常、そのような画像はほとんど価値がないであろう。本実装は、これらの画像から有益な情報を導出することができる。この有益な情報を、生きているようにユーザのアバターを制御すること等の様々な目的に使用することができる。
最初の図１は、幾つかのウェアラブルスマートデバイス１０２の例を図示している。この場合、ウェアラブルスマートデバイス１０２（１）はスマートハットとして現れ、ウェアラブルスマートデバイス１０２（２）はスマートヘッドバンドとして現れ、ウェアラブルスマートデバイス１０２（３）はスマート眼鏡として現れ、ウェアラブルスマートデバイス１０２（４）はスマートマイクロフォンとして現れている。当然、他の例も考えられる。ウェアラブルスマートデバイス１０２は１つ以上のセンサを含むことができる。この例では、センサは低アングルカメラ１０４、アイトラッキングカメラ１０６及び／又はマイクロフォン１０８として現れている。（ウェアラブルスマートデバイス１０２（１）及び１０２（３）は、低アングルカメラとアイトラッキングカメラの双方を含むことに留意されたい。これに対して、ウェアラブルスマートデバイス１０２（２）及び１０２（４）はアイトラッキングカメラを含まない。）カメラは、他の中でも特に、可視光カメラ及び／又は赤外カメラ及び／又は深度カメラとすることができる。これらの要素の機能は以下で説明される。ウェアラブルスマートデバイスは配向構造１１０も含むことができる。配向構造は、フレーム、バンド、ひさし（bill）、あるいはユーザに対するセンサの位置及び／又は向きを維持するのを助ける他の構造として現れることができる。上述のように、図示される実装の一部は、低アングルカメラ１０４とアイトラッキングカメラ１０６の双方を用いる。他の実装は、そうでなければ２つのカメラによって供給されるであろう、データをキャプチャすることができる、単一のカメラを用いることができる。例えば魚眼レンズを有する低アングルカメラ１０４を用いて、ユーザの顔の一部、例えば目、口、頬及び／又は顎等をキャプチャすることができる。
要約すると、ウェアラブルスマートデバイスはより一般的になってきている。ウェアラブルスマートデバイスはしばしばカメラを含む。しかしながら、カメラはユーザに非常に近くにあるか、かつ／又は一般的でない向きで配置されるため、カメラはユーザの有益な画像、特にユーザの顔の画像を提供することができない。本実装は、ユーザの顔の表情、口の動き、目のまばたき、目の注視の方向等に関する有益な情報を生成するやり方で、これらのカメラを配置してその画像を処理することができる。
図２は、ウェアラブルスマートデバイス１０２（１）を装着している「ユーザ１」、ウェアラブルスマートデバイス１０２（２）を装着している「ユーザ２」、２つのディスプレイデバイス２０２（１）及び２０２（２）を伴う使用ケースシナリオを示している。ユーザ１がディスプレイデバイス２０２（１）の近くの第１の位置に、ユーザ２が、第１の位置から幾らか離れた第２の位置におり、ユーザ２はディスプレイデバイス２０２（２）の近くにいると想定する。この例では、（図１に図示されるように）ウェアラブルスマートデバイス１０２（１）は、低アングルカメラ１０４（１）と、ユーザ１の目に向けられる別のカメラ（例えばアイトラッキングカメラ）１０６（１）を含む。ウェアラブルスマートデバイス１０２（２）は低アングルカメラ１０４（２）を含む。
このシナリオでは、ウェアラブルスマートデバイス１０２（１）は、ユーザ１の画像をキャプチャすることができる。これらの画像を使用してユーザ１の表現を制御することができる。この場合、ユーザ１の表現は、ユーザ１のアバター２０４（１）として現れ、アバター２０４（１）は、ユーザ２に近接するディスプレイデバイス２０２（２）上に提示される。同様に、ウェアラブルスマートデバイス１０２（２）は、ユーザ２の画像をキャプチャすることができる。これらの画像を使用して、ユーザ２の表現を制御することができる。この場合、ユーザ１の表現は、ユーザ２のアバター２０４（２）として現れ、アバター２０４（２）は、ユーザ１に近接するディスプレイデバイス２０２（１）上に提示される。このシナリオでは、ユーザは相互に通信することができ、それぞれのアバターは、そのユーザの目の動き、顔の表情、顎の動き及び／又は（発声によって生じるような）口の動きを他方のユーザに反映することができる。
アバター２０４は、漫画キャラクタやコンピュータ生成されるキャラクタ等のような任意の形式で現れることができ、目の動き、顔の表情及び／口の動きをキャプチャするが、必ずしもユーザに似ている必要はない。他の実装では、アバターは、ユーザの本物そっくりの表現（例えば強調した写真の本物そっくりの画像）であってもよい。ディスカッション中にそれぞれのアバターを見ることができる能力は、音声のみの通信よりも、よりロバストかつ楽しめるディスカッションを促進することができる。例えばディスカッション中に他のユーザのリアクションを見ることができる能力は、フェース・トゥー・フェースの会話に似たフィードバックを提供することができる。
図２のシナリオでは２人のユーザのみが関与しているが、他の実装では追加のユーザを伴うことができることにも留意されたい。さらに、低アングルカメラ１０４及び／又はアイトラッキングカメラ１０６はユーザの目をトラッキングすることができるので、実装は個々のユーザがどのユーザを見ているか（例えばユーザ１及びユーザ２がユーザ３のアバターを見ている）を区別することができる。この情報を、ユーザのアバターに反映することができ、フェース・トゥー・フェースのグループシナリオと同じように通信プロセスの有益な一部とすることができる。
図３は、図２の使用ケースシナリオに類似する別の使用ケースシナリオを図示している。この具体的な使用ケースシナリオは、２組のウェアラブルスマートデバイス１０２（３）（Ａ）及び１０２（３）（Ｂ）を伴う。明示的に図示されていないが、ウェアラブルスマートデバイスは、図２のユーザ１及びユーザ２によって装着されているものと想定する。図２に関連して上述した議論と同様に、ウェアラブルスマートデバイス１０２（３）（Ａ）は、ユーザ１の低アングル画像をキャプチャし、この画像データを使用して、ユーザ２に対して表示することができるユーザ１の表現（例えばアバター２０４（１））を制御することができる。同様に、ウェアラブルスマートデバイス１０２（３）（Ｂ）は、ユーザ２に関連して同じ機能を実行することができ、ユーザ１に対して表示することができるユーザ２の表現（例えばアバター２０４（２））を制御することができる。
したがって、ウェアラブルスマートデバイス１０２（３）（Ａ）は、該ウェアラブルスマートデバイス１０２（３）（Ａ）を通して見ているときに、ユーザ１がユーザ２のアバター２０４（２）を見ていることを表示し、ウェアラブルスマートデバイス１０２（３）（Ｂ）は、該ウェアラブルスマートデバイス１０２（３）（Ｂ）を通して見ているときに、ユーザ２がユーザ１のアバター２０４（１）を見ていることを表示する。要約すると、ウェアラブルスマートデバイス１０２（３）（Ａ）及び１０２（３）（Ｂ）は、ユーザ自身は表示されないが、ユーザ１及びユーザ２の視点から示される。ウェアラブルスマートデバイス１０２（３）（Ａ）及び１０２（３）（Ｂ）は、装着者に関する画像情報をキャプチャすることができ、この画像情報は装着者の（例えばユーザの）アバターを制御するのに使用される。アバターは、他のユーザのウェアラブルスマートデバイスによって表示され、該他のユーザのウェアラブルスマートデバイスは同時に、そのユーザのアバターを制御するための画像データをキャプチャする。提示される別の方法では、ユーザ２のアバター２０４（２）が、ウェアラブルスマートデバイス１０２（３）（Ａ）によってユーザ１のために表示される。同様に、ユーザ１のアバター２０４（１）は、ウェアラブルスマートデバイス１０２（３）（Ｂ）によってユーザ２のために表示される。したがって、この実装は、ビデオコール及び／又は他の使用を容易にするスタンドアロンのウェアラブルスマートデバイスを提供することができる。
図４及び図５は、それぞれ、ユーザ３の正面図及び側面図を示す。この場合において、「ユーザ３」は、ウェアラブルスマートデバイス１０２（３）（例えばスマート眼鏡）とウェアラブルスマートデバイス１０２（４）（例えばスマートクリップオンマイクロフォン）を装着している。この場合、ユーザ３は、説明の目的で、２つのウェアラブルスマートデバイスを装着している。あるいは、ユーザは、これらのウェアラブルスマートデバイスのうちのいずれかを使用し、他のものは使用しなくてもよい。図４〜図５は、本議論において「低アングルカメラ」が何を意味するかについての例を説明するのを助け得る基準面４０２も図示している。この実装において、基準面４０２はユーザの目及びユーザの口の正面を通るか、これを含む。
この例では、低アングルカメラ１０４を、基準面４０２に対して約＋／−４５度よりも小さいアングルで配向することができる（例えば低アングルカメラは、ユーザの顔の面に対して概ね平行に画像をキャプチャすることができる）。これに対して、スマートフォンやタブレット、ビデオ会議システムで採用されるような従来的なカメラは、基準面４０２に対して概ね垂直に配向されるように構成され、低アングルから有意な画像情報をキャプチャすることができない。
この例では、ウェアラブルスマートデバイス１０２（３）の低アングルカメラ１０４（３）は概して、基準面４０２内に又は基準面４０２の近くに配置され、基準面に沿うか、これに平行の方向で矢印４０４に表される画像をキャプチャするように構成される。同様に、ウェアラブルスマートデバイス１０２（４）の低アングルカメラ１０４（４）は概して、基準面４０２内に又は基準面４０２の近くに配置され、基準面に沿うか、これに平行の方向で矢印４０６に表される画像をキャプチャするように構成される。
図６は、本概念を達成するための例示の処理フロー６００を図示している。説明の目的のために、処理フロー６００をトレーニング段階６０２と展開段階６０４に分けることができる。トレーニング段階は、６０６においてユーザについてのアバターモデルを構築することができる。上述のように、アバターは、写真の本物そっくりな形又は何らかの他の形であってよい。アバターモデル６０８を介してユーザのアバターを定義することができる。アバターモデルは、例えば目の注視、口の動き等に対応するような、複数の顔のパラメータ又はアニメーションパラメータを含むことができる。さらに、処理は、６１０において、センサ入力とアバターアニメーションパラメータとの間の相関性についてトレーニングして、マッピング６１２を作成することができる。処理フローのこの部分は、ユーザをウェアラブルスマートデバイス（例えばウェアラブルスマートデバイス上のセンサ）、及び例えば赤青緑と深度（ＲＧＢＤ）カメラ等のような別の撮像デバイスとともに同時に記録することによって達成され得る。ＲＧＢＤカメラは、通常の（図４の面４０２に概ね垂直の）向きとすることができる。低アングルカメラ、マイクロフォン及び／又は他のセンサ（図１を参照されたい）等のウェアラブルスマートデバイスと、ＲＧＢＤカメラによって、ユーザアクションをキャプチャすることができる。マッピング６１２は、ユーザの特有のユーザアクションを、ＲＧＢＤカメラ及びウェアラブルスマートデバイスによってキャプチャされるような、特有のアバターアニメーションパラメータに結び付けることができる。
展開段階６０４は、ウェアラブルスマートデバイスのみを用いて達成され得る。この場合、様々なタイプのセンサデータ６１４をウェアラブルスマートデバイスによって収集することができる。この例では、センサデータ６１４は、ウェアラブルスマートデバイスのセンサ構成に応じて、他の中でも特に、ビデオデータ、オーディオデータ及び／又は接触データを含むことができる。（接触データは、皮膚の動きや筋肉の収縮等を感知する、ユーザの皮膚と接触するセンサによって、収集され得る。）センサデータ６１４を６１６において処理して、センサ入力６１８を導出することができる。トレーニング段階６０２からのアバターモデル６０８及びマッピング６１２を使用して、６２０において、センサ入力６１８をアバターアニメーションパラメータにマッピングすることができる。この態様は、展開段階６０４のためのアバターアニメーションパラメータ６２２を出力する。アバターアニメーションパラメータ６２０（及びアバターモデル６０８）を、リモートのアバターレンダリング及びアニメーションのために、６２６においてネットワーク６２４を介して送信することができる。処理フロー６００の特定の態様は、図７〜図１２に関連して以下で詳細に説明される。
要約すると、本発明は、身体装着型の内向き（例えばアイトラッキング）カメラ及び／又は低アングルカメラに基づいて、顔の表情をトラッキングするためのシステムを伴うことができる。ユーザが、リモートのパーティにおいてアニメーション化されたアバターで表現され得るように、これらのカメラからの画像を用いることができる。
図７は、ウェアラブルスマートデバイス１０２（３）からの完全な顔の表情トラッキングを提供することができる例示のシステム７００を図示している。（図７は、図６に対して幾らか重複するが、図６に関連して紹介される概念を説明するのを助ける異なる注目点を有する。）説明の目的のために、システム７００は、入力の段７０１（１）と出力の段７０１（２）に分けられる。
この場合において、システム７００は、可視光カメラ（例えば白黒又は赤緑青（ＲＧＢ））又は赤緑青＋深度（ＲＧＢＤ）カメラ７０２のような基準カメラを含む。そのような深度カメラの一例は、マイクロソフト（登録商標）社によって提供されるKinect（登録商標）ブランドの深度カメラである。ＲＧＢＤカメラ７０２を、通常のやり方でユーザの方に向けることができる（例えば図４〜図５に関連して上述した基準面に対して直角にユーザに向けられる）。（図７の図では、ユーザは前方を向いており、ＲＧＢＤカメラ７０２はユーザの横にあることに留意されたい。）ＲＧＢＤカメラは実際には、ユーザの正面にあるであろう（例えばユーザのフルフェイス画像をキャプチャするように配置される）。
トレーニング段階６０２の間に、ＲＧＢＤカメラ７０２は、フルフェイス画像７０４をキャプチャすることができる。同様に、ウェアラブルスマートデバイスの低アングルカメラ１０４（３）及びアイトラッキングカメラ１０６（３）は、ＲＧＢＤカメラ７０２に対して同時に、ユーザの画像７０６及び７０８をそれぞれキャプチャする。これらの要素を描くスケールは、図７では容易に区別可能ではないが、図１、図４及び図５において容易に明らかになることに留意されたい。低アングルカメラ１０４（３）及びアイトラッキングカメラ１０６（３）の限られた視野に起因して、各カメラ１０４（３）及び１０６（３）では、ユーザの顔の一部しか見えない。特に、低アングルカメラ１０４（３）は、画像７０６に示されるように、口と顎先の方へ向かって頬の下に向けられており、アイトラッキングカメラ１０６（３）は、画像７０８によって示されるようにユーザの目の方に向けられている。（図示される画像は説明の目的であり、限定するように意図されていないことに留意されたい。）さらに、低アングルカメラで採用されるレンズのタイプは、画像だけでなく、ユーザに対する向きのアングルにも影響を可能性がある。例えば魚眼レンズは、所与の向きでユーザの顔を通常のレンズよりも多くキャプチャすることができる。そのような実装では、画像７０６内の目と口をキャプチャするが、２つの画像セットは利用しない（例えば画像７０８又はこれらをキャプチャするカメラを利用しない）単一の低アングルカメラ１０４（３）を用いることができる。
更に別の実装では、他のセンサデータは、低アングルカメラ１０４（３）からの画像データを増補することができる。例えば画像（例えばビデオ）を超えて、オーディオデータ及び／又はユーザ接触データ等のような様々な他の形のセンサデータ６１４が利用され得ることを示す図６を思い出されたい。そのような場合、低アングルカメラ１０４（３）は、スマートウェアラブルデバイス上の唯一のカメラであり得る。低アングルカメラ１０４（３）は、例えばユーザの目及び頬をキャプチャするが、口はキャプチャしないことがある。そのような場合、マイクロフォン（例えば図１のマイクロフォン１０８を参照されたい）からのオーディオデータは、モデル構築６０６で使用することができるオーディオデータをキャプチャすることができる。例えばユーザが口に出す個々の音を、トレーニング段階６０２の間に、口の動き及び／又は顔の表情に関連する個々のアバターパラメータ値にマップすることができる。したがって、オーディオデータをアバターパラメータの一部に使用することができ、低アングルカメラ１０４（３）からの画像データを他のアバターパラメータに使用することができる。
図示される構成では、トレーニング段階６０２の間に、フルフェイス画像７０４に関して評価されるときに、ウェアラブルスマートデバイス１０２（３）の２つのカメラ１０４（３）及び１０６（３）からの部分的な顔画像ストリームを使用して、ユーザの顔全体の表情を推定することができる。複数の顔の表情パラメータを使用して、ユーザのアニメーション化されたアバター７１０を導出することができる。例えば一部の実装は、深度ベースの顔の表情トラッキングアルゴリズムを用いて、ユーザについてのトレーニングデータを自動的に収集することができる。次いで幾つかのマシン学習アルゴリズムを用いて、トレーニングデータからの顔の表情パラメータを推定するために、モデルを構築することができる。多くの可能性のある技術の中でも特に、リッジ回帰、マルチタスク特徴学習及び／又は畳み込みニューラルネットワークを用いることができる。
別の言い方をすると、トレーニング段階６０２の間に、ウェアラブルスマートデバイス１０２（３）によってキャプチャされるトレーニング画像（例えばビデオ）のセット及びＲＧＢＤカメラ７０２からの対応するグラウンドトゥルースの顔の表情（例えば画像７０４）を使用して、これらの関係を示すアバターモデル（図６の６０８）を構築することができる。この実装では、グラウンドトゥルース画像はＲＧＢＤカメラで取得されるが、他の実装では、他のタイプのセンサ又はカメラを使用することができることに留意されたい。例えばグラウンドトゥルース画像は、標準のＲＧＢカメラ、赤外カメラ及び／又は他のタイプのセンサを用いて取得され得る。展開段階６０４では、モデルを使用して、ウェアラブルスマートデバイスからの入力画像７０６（１）と７０８（１）（例えばビデオのペアのストリーム）を、顔の表情パラメータのセットにマップすることができ、これを使用してリモートのパーティでアバター７１０（１）を導出することができる。図６〜図７に関連して上記で紹介した特定の態様を以下で更に詳細に説明する。
データ取得
図４〜図５を思い出すと、この実装では、ウェアラブルスマートデバイス１０２（３）のカメラは、非対称に配置されている（例えば低アングルカメラ１０４（３）は、顔と平行に口の方へ向けられており、アイトラッキングカメラ１０６（３）はユーザの目に向けられている）。非対称とする１つの動機は、１つのカメラのみが余剰の顔の部分をキャプチャするのに使用されるが（例えば注視は、１つの目の位置によってほとんど説明され得る）、頬等のように非対称な顔の部分は双方のカメラによってキャプチャされることにある。当然、対称及び／又は非対称の構成における３つ以上のカメラのような他の構成も考えられる。
図７に戻ると、様々なアプローチを使用して、ＲＧＢＤカメラ入力（例えば画像７０４）からの顔の表情をトラッキングすることができる。他の中でも特に、例えばマイクロソフトのKinect（登録商標）のアバタートラッキングアルゴリズム等のＲＧＢＤトラッキングアルゴリズムを用いることができる。一部のＲＧＢＤトラッキングアルゴリズムの実装は、個人化されるメッシュモデルのセットを伴う仮定の下で作用し得る。B＝｛B0,…,Bn｝であり、ここで、B0は休憩ポーズ（rest pose）であり、Bi、ただしi＞0は、休憩ポーズと特定の顔の表情との間の差を表す付加的な変位（additive displacement）である。したがって、任意の顔の表情を次のように生成することができる：
Figure 2017516140
 ここで、yijは、ポーズMjについてのブレンディング加重（blending weight）である。
ＲＧＢＤトラッキングアルゴリズムは、４８個のブレンドシェイプのように、幾つかのブレンドシェイプを使用することができ、したがって、キャプチャされる各フレームについて、４８個のブレンディング加重を生成することになる。したがって、顔の表情を推定するタスクは、４８個の回帰関数を学習する問題へのリキャストとすることができ、これらの各々は、ウェアラブルスマートデバイス画像から受け取った情報を、対応するブレンドシェイプ加重にマッピングする。
以下の議論は、画像の事前処理を開始する、顔の表情トラッキングに関する。
一部の実装は、入力画像データについて事前処理を実行し、ユーザが異なる衣服を着ること、ウェアラブルスマートデバイスを身に着けるとき及び外すときの小さな動き、そしてユーザ間の相違に対してアルゴリズムのロバスト性を高めることができる。
第１のタイプの事前処理は、スキンフィルタリングに関連し得る。この処理は、３つの段階に基づくものとすることができる。第１に、簡単な分類子を用いて、各ピクセルが皮膚である可能性を推定することができる。特に背景内に四肢が現れるときに、幾つかの偽陽性ピクセルがスポットされる可能性があるので、ピクセル分類のみを用いるだけでは十分にロバストではない可能性がある。処理をよりロバストにするために、一部の実装は、画像のエッジを検出し、エッジの中で、皮膚と背景領域を分離する（潜在的に）最適なものを見つけることができる。
そのようにするために、これらの実装は、最初に全体の画像に対してキャニーエッジ（又は他の）検出器を適用することができる。検出器の感度は、多くのエッジのセットを検出して任意の有益なエッジがそのセット内に含まれるように高くなるよう設定され得る。最終的に、これらの実装は、以前の２つの処理で収集される情報を使用する動的なプログラミングアルゴリズムを使用することによって、（潜在的に）最適なエッジを見つけることができる。この方法は、例えば左から右へ、画像の列に対して反復され得る。各列に関連して、処理は、エッジに属する各ピクセルについて、そのピクセルが（潜在的に）最適なエッジの一部である可能性を計算することができる。これは、それの上又は下のピクセルが皮膚の可能性、並びに以前の反復で計算された左近傍ピクセルの尤度に基づいて計算することができる。
図８はそのような例を図示する。例１は、処理前の内向きのアイトラッキングカメラ１０６（３）（図４〜図５）からの画像８００（１）を示す。この説明は、線描写で説明することが難しいので、色を用いて説明を行う必要がある。例１において、網掛けで示されているエリア８０２は、隣接する皮膚８０４と類似する色の背景であり、したがって、区別することが難しい可能性がある。境界８０６を検出することができ、例２では、処理された画像８００（２）内の８０８で示されるように、背景領域の色が、対照的な色（この場合、斜線で表される白）へ変更される。
図９は、一部の実装によって用いられる第２のタイプの事前処理の例を示す。この第２のタイプの事前処理は、小さなカメラの動き又は異なるユーザ間の差に対処することができる。そのような場合、テンプレートマッチングに基づいて全ての画像（この場合は左画像９００（１）と右画像９００（２））の位置を調整する位置合わせ方法（registration method）を用いることができる。鼻と頬のしわ９０２及び右目の目尻９０４をそれぞれ左及び右のカメラ画像９００（１）及び９００（２）内で検索し、これに応じて、画像間の位置合わせの誤差を低減するように入力画像を調整する。実験結果に示されるように、この位置合わせステップは、新たなユーザをトレーニングするために非常に有益であり得る。
事前処理の後、入力画像の２つの形式、すなわち未加工ピクセルとローカルのバイナリパターン（ＬＢＰ：local binary pattern）の説明を用いることができる。
説明の目的のために、トレーニング入力データを、次元ｄを有するＮ個のトレーニングインスタンスを含む、行列
Figure 2017516140
 及び
Figure 2017516140
 トレーニングラベル（ＲＧＢＤトラッキングアルゴリズムから取得されるブレンドシェイプ加重）によって示す。ytは、Yのt番目の列を示すのに使用される。すなわちt番目のブレンドシェイプのついてのグラウンドトゥルース加重を示すのに使用され得る。マシン学習問題がマルチ出力回帰にあるとすると、３つのマシン学習アルゴリズム（リッジ回帰、マルチタスク特徴学習及び畳み込みニューラルネットワーク）を用いることができる。当然、他の実装では他のマシン学習アルゴリズムを用いることができる。
リッジ回帰
リッジ回帰（ＲＲ：Ridge Regression）は、以下の最適化問題を解くことによって、出力の各々について線形モデルを学習することができる：
Figure 2017516140
 ここで、wtは、ブレンドシェイプtについてのd次元の加重ベクトルである。上記の問題は、全てのブレンドシェイプについて独立に解かれることに留意されたい。
マルチタスク特徴学習
ブレンドシェイプ加重が一緒に顔の表情を示し、これらのブレンドシェイプが非直交であると考えると、これらは、線形的に相関されることが予測され得る。したがって、マルチタスク特徴学習（ＭＴＦＬ：multi-task feature learning）を現在のタスクに用いることができる。ＭＴＦＬは、全てのタスクを同時に学習することによって、ブレンドシェイプ加重間の共通性を利用しようとすることができる。ＭＴＦＬは、以下の最適化問題を解くように試みることができる：
Figure 2017516140
 ただし、
Figure 2017516140
 は、行列のフロベニウス（Frobenius）ノルムの二乗を示す、すなわち、その要素の二乗の合計を示す。図１０に図示されるように、入力に行列Ｄを掛けることによって形成される全てのタスクに対して共通層（common layer）が存在することができ、これは共有特徴１００２を表す。出力層１００４は次いで、共有特徴に行列Ｃを掛けることによって形成される。双方の層は線形である。
式（３）における問題は非凸である。代わりに、処理は、
Figure 2017516140
 によって与えられる、その等価な凸問題を最適化することができる。
ここで、Ｗ＝ＤＣであり、
Figure 2017516140
 は、行列のトレースノルム、すなわち、その特異値の合計を示す。
ニューラルネットワーク
図１１Ａ及び図１１Ｂは、２つの畳み込みニューラルネットワーク１１００（１）及び１１００（２）を示す。第１の畳み込みニューラルネットワーク１１００（１）は、入力画像１１０２（１）を畳み込み層（convolutional layer）１１０４（１）で受け取る。この例では、畳み込み層１１０４（１）は、サイズ３×３の１６個のカーネルを有する。畳み込み層の出力は、ドロップアウト（ＤＯ）可能であり、５０個のノードの層１１０６（１）に完全に接続される。５０ノード層からの出力は、次いで最終的な出力１１１０を生成する４８個のノードの出力層１１０８（１）に送信される。
第２の畳み込みニューラルネットワーク１１００（２）は、やはりサイズ３×３の１６個のカーネルの畳み込み層１１０４（２）である第１の層を含む。第１の畳み込み層１１０４（２）は、入力画像１１０２（２）を受け取る。第１の畳み込み層の出力は、第２の隠れ層（hidden layer）１１０６（２）に密に接続される。この例では、第２の隠れ層は２００個の隠れユニットを有する。第２の隠れ層の出力は、第３の層１１０８（２）に向けられる。この例では、第３の層は、完全接続層（fully connected layer）であり、やはり２００個の出力ノードを有する。この例では、最終層１１１２が、第３の層１１０８（２）からの出力を受け取り、最終出力１１１４を生成する。第３の層１１０８（２）は、４８個の出力を有する完全接続層であり得る。一部の実装では、修正線形ユニット（ＲｅＬＵ：rectified linear unit）の非線形性が、出力のものを除いて全ての畳み込み層及び完全接続層で使用される。加えて、ドロップアウトは、完全接続層の一部で可能である。
要約すると、上記の説明は、一般的でない向きで、例えばユーザの顔にほぼ平行に配置されるウェアラブルカメラ（例えばウェアラブルスマートデバイスのカメラ）からの顔の表情のトラッキングをどのように実行するかについて説明する。ウェアラブルスマートデバイスのカメラと同時に深度カメラを使用して、グラウンドトゥルースデータを取得することができる。深度ベースの顔の表情トラッキングアルゴリズムを使用して、グラウンドトゥルースデータにおける２つのカメラからの画像情報を相関させることができる。グラウンドトゥルースデータを使用して、顔のパラメータに関連付けられる回帰モデルをトレーニングすることができる。その後、回帰モデルを用いてウェアラブルスマートデバイスからの画像を処理して、ユーザのアバターを制御するためのパラメータを導出することができる。
図１２は、視覚化システム１２００を示す。説明の目的のために、システム１２００は、スマート眼鏡として現れる２つのウェアラブルスマートデバイス１０２（３）（Ａ）及び１０２（３）（Ｂ）を含む。これらの図示されるウェアラブルスマートデバイスは、２つのデバイス構成を表し、そのいずれかを、スマート眼鏡に加えて他のウェアラブルスマートデバイスに適用することができる。簡潔に言うと、ウェアラブルスマートデバイス１０２（３）（Ａ）は、オペレーティングシステム中心の構成を表し、ウェアラブルスマートデバイス１０２（３）（Ｂ）はシステムオンチップ構成を表す。これらの態様は以下でより詳細に説明される。システム１２００は、ウェアラブルスマートデバイスではないデバイス１２０２も含む。この場合、デバイス１２０２はスマートフォンとして現れているが、ウェアラブルスマートデバイスが通信することが可能な任意のタイプのデバイスを表すように意図される。システム１２００は更に、クラウドベースのリソースのように、ウェアラブルスマートデバイスがネットワーク１２０６を介して通信することができるリモートリソース１２０４を含む。デバイス１２０２及びリモートリソース１２０４のいずれか又は双方が、本概念を達成するようウェアラブルスマートデバイスと協調的に動作することができる。ウェアラブルスマートデバイス１０２（３）（Ａ）及び１０２（３）（Ｂ）、デバイス１２０２及び／又はリモートリソース１２０４のいずれかが、アバター制御コンポーネント１０２８をサポートするか、これを含むことができる。アバター制御コンポーネントは、ウェアラブルスマートデバイス１０２（３）（Ａ）及び１０２（３）（Ｂ）の他の要素の説明の後、以下で更に詳細に説明される。
説明の目的のために、ウェアラブルスマートデバイス１０２（３）（Ａ）は、アプリケーション１２１０、オペレーティングシステム１２１２及びハードウェア１２１４へと編成される。ウェアラブルスマートデバイス１０２（３）（Ｂ）は、共有リソース１２１６、専用リソース１２１８及びこれらの間のインタフェース１２２０へ編成される。
ウェアラブルスマートデバイス１０２（３）（Ａ）及び１０２（３）（Ｂ）は更に、配向構造１１０を含むことができ、配向構造１１０は、フレーム１２２２を含むことができ、テンプル１２２４に接続される。テンプルは、長軸に沿って（ｘ基準軸と平行に）伸び、イヤピース１２２７で終わる。フレームは、（１対の）レンズ１２２８をサポートすることができる。ウェアラブルスマートデバイスは更に、ストレージ１２３０、プロセッサ１２３２、バッテリ１２３４（又は他の電源）、センサ１２３６及び／又は通信コンポーネント１２３８を含むことができる。あるいはまた、ウェアラブルスマートデバイスは、ここでは簡潔性の目的で図示されておらず、説明されないが、入力／出力デバイス、バス、グラフィクスカード（例えばグラフィクス処理ユニット（ＧＰＵ））等のような他の要素を含むことができる。一構成では、バッテリ１２３４をイヤピース１２２６の一方に配置することができ、通信コンポーネント１２３８、ストレージ１２３０及びプロセッサ１２３２が他方に配置される。
この例では、センサ１２３６は、低アングルカメラ１０４、アイトラッキングカメラ１０６及びマイクロフォン１０８として現れる。本明細書で使用されるとき、カメラは、ユーザの特徴に関する情報をキャプチャすることができる任意のタイプのセンサと考えることができることに留意されたい。カメラは可視光又は他の波長であってよい。カメラは異なるタイプのレンズを用いることができる。例えばカメラは、他の中でも特に、凸レンズ、非球面レンズ及び／又は魚眼レンズを用いることができる。魚眼レンズは、他の方法ではキャプチャに２つのカメラの使用を要する可能性があるユーザの顔のより大きな部分を、単一のカメラがキャプチャすることを可能にすることができる。カメラに関する追加の詳細は、図１で開始して上記で説明されている。カメラは詳細に説明されているが、当然、他の実装は、代替又は追加として他のタイプのセンサ１２３６を使用することができる。
眼鏡のレンズ１２２８は矯正用であっても、非矯正用であってもよい。一部の実装では、レンズは、ユーザが見るよう画像を表示する能力を有することができる。この表示は、レンズ内に発光ダイオード又は他のコンポーネントを投影するか含めることによって達成することができる。
通信コンポーネント１２３８は、受信機及び送信機、並びに／あるいはセルラ、Wi-Fi（IEEE802.xx）Bluetooth（登録商標）等のような様々な技術と通信するための他の無線周波数回路を含むことができる。
アバター制御コンポーネント１２０８は、センサ１２３６からの入力を受け取ることができる。アバター制御コンポーネント１２０８は、アバターモデルを用いてセンサデータからアニメーションパラメータを導出し、ユーザのアバターを制御することができる。個々のウェアラブルスマートデバイス１０２（３）上のアバター制御コンポーネント１２０８は、センサデータを処理してアニメーションパラメータの値を決定するよう比較的ロバストであり得る。例えばウェアラブルスマートデバイス１０２（３）（Ａ）は、センサ１２３６（１）からアニメーションパラメータ値を決定することができる。ウェアラブルスマートデバイス１０２（３）（Ａ）は、ユーザ／アバターをアニメーション化して、そのアニメーションを別のデバイスに送信することができ、あるいはアニメーションパラメータ値を、実行のために別のデバイスに送信することができる。
例えばウェアラブルスマートデバイス１０２（３）（Ａ）に関連して、アバター制御コンポーネント１２０８（１）は、ウェアラブルスマートデバイス１０２（３）（Ｂ）等のようなリモートデバイスへの通信のために、アニメーションパラメータ値を、通信コンポーネント１２３８（１）に送信することができる。受信側デバイスのアバター制御コンポーネント１２０８（２）は、受け取ったアニメーションパラメータ値に基づいてユーザのアバターを制御することができる。同時に、リモートデバイスのアバター制御コンポーネント１２０８（２）は、センサ１２３６（２）からデータを受信し、センサデータを処理してアニメーションパラメータ値を決定し、アニメーションパラメータ値をウェアラブルスマートデバイス１０２（３）（Ａ）に送信することができる。
他の構成では、ウェアラブルスマートデバイス１０２（３）（Ａ）はあまりロバストではない可能性があり、センサデータの一部を、それぞれアバター制御コンポーネント１２０８（３）又は１２０８（４）による処理のためにデバイス１２０２又はリモートリソース１２０４へ送信してもよい。これらのアバター制御コンポーネント１２０８（３）又は１２０８（４）は、ウェアラブルスマートデバイス１０２（３）（Ａ）の代わりにアニメーションパラメータ値を決定して、これらの値をウェアラブルスマートデバイス１０２（３）（Ａ）の代わりにウェアラブルスマートデバイス１０２（３）（Ｂ）に通信することができる。
更に別の構成では、ウェアラブルスマートデバイス１０２（３）（Ａ）は、アニメーションパラメータ値をデバイス１２０２に送信することが可能である。デバイス１２０２は、ユーザの「通常」のビデオストリーム（例えばビデオコールの）をキャプチャすることができ、このビデオストリームをウェアラブルスマートデバイス１０２（３）（Ａ）に送信することができる。したがって、ウェアラブルスマートデバイス１０２（３）（Ａ）のユーザはデバイス１２０２のユーザの通常のビデオを見ることになり、デバイス１２０２のユーザは、ウェアラブルスマートデバイス１０２（３）（Ａ）のユーザのアニメーション化されたアバターを見るであろう。
ある視点から、ウェアラブルスマートデバイス１０２（３）（Ａ）及び１０２（３）（Ｂ）、デバイス１２０２及び／又はリモートリソース１２０４をコンピュータとして考えることができる。
本明細書で使用されるとき、「デバイス」、「コンピュータ」又は「コンピューティングデバイス」という用語は、幾らかの量の処理能力及び／又はストレージ能力を有する任意のタイプのデバイスを意味することができる。処理能力は、コンピュータ読取可能命令の形でデータを実行して機能を提供することができる１つ以上のプロセッサによって提供され得る。コンピュータ読取可能命令及び／又はユーザ関連データ等のデータを、ストレージ上に格納することができる。そのようなストレージは、コンピュータの内部であっても外部であってもよい。ストレージは、他の中でも特に、揮発性又は不揮発性メモリ、ハードドライブ、フラッシュストレージデバイス及び／又は光学ストレージデバイス（例えばＣＤ、ＤＶＤ等）、リモートストレージ（例えばクラウドベースのストレージ）のうちのいずれか１つ以上を含むことができる。本明細書で使用されるとき、「コンピュータ読取可能媒体」という用語は信号を含み得る。これに対して、「コンピュータ読取可能記憶媒体」という用語は信号を除外する。コンピュータ読取可能記憶媒体は「コンピュータ読取可能記憶デバイス」を含む。コンピュータ読取可能記憶デバイスの例は、他の中でも特に、ＲＡＭ等の揮発性記憶媒体、ハードドライブ、光学ディスク及びフラッシュメモリ等の不揮発性記憶媒体を含む。
デバイスの例は、パーソナルコンピュータ等の従来的なコンピューティングデバイス、デスクトップコンピュータ、ノートブックコンピュータ、携帯電話、スマートフォン、パーソナルデジタルアシスタント、パッドタイプのコンピュータ、デジタルホワイトボード、カメラ、スマート眼鏡等のウェアラブルデバイス、絶え間なく進化するかまた開発されるタイプの無数のコンピューティングデバイスのいずれかを含み得る。
上述のように、ウェアラブルスマートデバイス１０２（３）（Ｂ）は、システムオンチップ（ＳＯＣ）タイプの設計と考えることができる。そのような場合、デバイスによって提供される機能を、単一のＳＯＣ又は複数の結合されたＳＯＣ上に統合することができる。１つ以上のプロセッサが、メモリ、ストレージ等の共有リソース、及び／又はある特定の機能を実行するように構成されるハードウェアブロック等の１つ以上の専用のリソースと協調するように構成され得る。したがって、本明細書で使用されるとき、「プロセッサ」という用語は、中央処理ユニット（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）、コントローラ、マイクロコントローラ、プロセッサコア又は他のタイプの処理デバイスを指すこともできる。
一般に、本明細書で説明される機能のいずれかを、ソフトウェア、ファームウェア、ハードウェア（例えば固定の論理回路）、手動の処理又はこれらの実装の組合せを使用して実装することができる。本明細書で使用されるとき、「コンポーネント」という用語は、一般的に、ソフトウェア、ファームウェア、ハードウェア、デバイス又はネットワークの全体又はその組合せを表す。ソフトウェア実装の場合、例えばこれらは、プロセッサ（例えば１つ以上のＣＰＵ）で実行されるときに、指定のタスクを実行するプログラムコードを表すことができる。プログラムコードを、コンピュータ読取可能記憶媒体等のような１つ以上のコンピュータ読取可能メモリデバイスに格納することができる。コンポーネントの特徴及び技術はプラットフォーム独立であり、これは、これらの特徴及び技術が、様々な処理構成を有する様々な市販のコンピューティングプラットフォーム上で実装され得ることを意味する。
本実装のいずれかにおいて、ユーザのプライバシは、ユーザがその明確な同意を与えた後にのみ視覚化特徴を可能にすることによって保護され得る。全てのプライバシ及びセキュリティの手順は、ユーザを保護するように実装され得る。例えばユーザは認証を提供（かつ／又は認証の条件を定義）してもよい。ウェアラブルスマートデバイスは、認証の条件に従ってユーザの顔のトラッキングを進めるに過ぎない。あるいは、ユーザ情報を収集しない。同様に、ユーザは、視覚化データを含め、自身のデータの使用を定義することを許可され得る。視覚化データの全ての使用は、定義されたユーザの条件と整合性を有する必要がある。
結論
本実装は、ユーザの顔の部分的なビューのみをキャプチャする低アングルカメラ（及び／又は他のセンサ）から有益な情報を導出することができる。本実装は、マシン学習アルゴリズムを用いて、マイクロソフト（登録商標）社によって提供されるKinect（登録商標）ブランドの深度センサのような深度センサの支援により収集されるトレーニングデータに基づいて、顔の表情パラメータを推定することができる。本実装は、非常に限られたビューアングルのカメラからでも人々の顔の表情を確実にトラッキングすることができる。
説明される方法及び処理を、上述のシステム及び／又はデバイスによって、並びに／あるいは他のデバイス及び／又はシステムによって実行することができる。説明される方法の順序は、限定として解釈されるように意図されておらず、説明される任意の数の動作の任意の順序で組み合わせて方法又は代替的な方法を実装することができる。さらに、デバイスが方法を実施することができるように、その方法を、任意の適切なハードウェア、ソフトウェア、ファームウェア又はその組合せで実装することができる。ある場合には、コンピューティングデバイスのプロセッサによる実行が、コンピューティングデバイスに方法を実行させるように、方法を命令のセットとしてコンピュータ読取可能記憶媒体上に格納する。
視覚化情報に関する技術、方法、デバイス、システム等は、構造的特徴及び／又は方法的動作に特有の言語で説明されるが、添付の特許請求の範囲で定義される主題は、必ずしも説明される具体的な特徴又は動作に限定されない。むしろ、具体的な特徴及び動作は、特許請求に係る方法、デバイス、システム等を実装する例示の形で開示される。

Claims (15)

  1. スマート眼鏡であって：
    ユーザが見るように配置される１対のレンズを固定するフレームと；
    前記フレームに関連して固定され、ユーザの口の画像をキャプチャするように構成される少なくとも１つのセンサと；
    前記ユーザの口の前記画像から顔のパラメータを取得するように構成されるアバター制御コンポーネントと；
    を備える、スマート眼鏡。
  2. 前記フレーム上で前記ユーザの目の方へ向けられ、かつ前記少なくとも１つのセンサが前記ユーザの口の画像をキャプチャすることと同時に前記ユーザの目の他の画像をキャプチャするように構成される、少なくとも１つの異なるセンサを更に備え、前記アバター制御コンポーネントは、前記画像と前記他の画像の双方から顔のパラメータを取得するように構成される、
    請求項１に記載のスマート眼鏡。
  3. 前記センサ及び前記少なくとも１つの異なるセンサは、可視光カメラ又は赤外カメラを備える、
    請求項２の記載のスマート眼鏡。
  4. 前記少なくとも１つのセンサは、前記ユーザの口と、前記ユーザの目のうちの少なくとも１つとを、個々の画像内でキャプチャすることができる魚眼レンズを含む、
    請求項１に記載のスマート眼鏡。
  5. 前記フレームは、１対のテンプルを含み、前記少なくとも１つのセンサは、前記１対のテンプルの個々のテンプルの長軸に対して概ね垂直に向けられる、
    請求項１に記載のスマート眼鏡。
  6. 前記１対のテンプルは、それぞれのイヤピースで終わり、前記個々のテンプルの前記イヤピースは、バッテリ又は他の電源を更に含み、前記１対のテンプルのうちの他のテンプルの前記イヤピースは、通信コンポーネントを含む、
    請求項５に記載のスマート眼鏡。
  7. 前記通信コンポーネントは、Bluetooth（登録商標）送信機、Wi-Fi送信機又はセルラ送信機を備える、
    請求項６に記載のスマート眼鏡。
  8. ウェアラブルスマートデバイスであって：
    ユーザの顔に対して当該ウェアラブルスマートデバイスを配置するように構成される配向構造と；
    前記配向構造によって前記ユーザの顔に平行又は低アングルで固定されて、前記ユーザの顔にわたる画像をキャプチャするカメラと；
    前記画像を受け取り、前記画像をアバターモデルに関連付けられるパラメータにマップするように構成されるプロセッサと；
    を備える、ウェアラブルスマートデバイス。
  9. スマート眼鏡として現れ、前記配向構造はフレームを備える、
    請求項８に記載のウェアラブルスマートデバイス。
  10. 前記フレームによって支持される１対のレンズを更に備える、
    請求項９に記載のウェアラブルスマートデバイス。
  11. 前記スマート眼鏡は、前記１対のレンズの一方又は双方のレンズの上で画像を提示するように構成される、
    請求項１０に記載のウェアラブルスマートデバイス。
  12. 前記１対のレンズは、矯正レンズである、
    請求項１０に記載のウェアラブルスマートデバイス。
  13. スマートハットとして現れ、前記配向構造は前記スマートハットのひさしを備える、
    請求項１０に記載のウェアラブルスマートデバイス。
  14. 前記配向構造は、ヘッドバンドを備える、
    請求項８に記載のウェアラブルスマートデバイス。
  15. 前記配向構造は、フレームを備え、前記フレームを前記ユーザの衣服に固定するためのクリップを更に備える、
    請求項８に記載のウェアラブルスマートデバイス。
JP2016565351A 2014-04-29 2015-04-23 顔の表情のトラッキング Expired - Fee Related JP6722590B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/265,201 US9672416B2 (en) 2014-04-29 2014-04-29 Facial expression tracking
US14/265,201 2014-04-29
PCT/US2015/027188 WO2015167909A1 (en) 2014-04-29 2015-04-23 Facial expression tracking

Publications (3)

Publication Number Publication Date
JP2017516140A true JP2017516140A (ja) 2017-06-15
JP2017516140A5 JP2017516140A5 (ja) 2018-05-31
JP6722590B2 JP6722590B2 (ja) 2020-07-15

Family

ID=53059473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016565351A Expired - Fee Related JP6722590B2 (ja) 2014-04-29 2015-04-23 顔の表情のトラッキング

Country Status (10)

Country Link
US (1) US9672416B2 (ja)
EP (1) EP3137938B1 (ja)
JP (1) JP6722590B2 (ja)
KR (1) KR102390781B1 (ja)
CN (1) CN106255978B (ja)
AU (1) AU2015253557B2 (ja)
CA (1) CA2943424C (ja)
MX (1) MX360923B (ja)
RU (1) RU2679986C2 (ja)
WO (1) WO2015167909A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110323A1 (ja) * 2018-11-30 2020-06-04 株式会社ドワンゴ 動画合成装置、動画合成方法及び記録媒体
WO2020110322A1 (ja) * 2018-11-30 2020-06-04 株式会社ドワンゴ 動画合成装置、動画合成方法及び記録媒体
JP2020107123A (ja) * 2018-12-27 2020-07-09 株式会社コロプラ プログラム、情報処理装置、および方法

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013152453A1 (en) 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars
US9761032B2 (en) * 2014-07-25 2017-09-12 Intel Corporation Avatar facial expression animations with head rotation
CA2956508C (en) * 2014-08-04 2020-04-21 Facebook, Inc. Method and system for reconstructing obstructed face portions for virtual reality environment
US20160062987A1 (en) * 2014-08-26 2016-03-03 Ncr Corporation Language independent customer communications
US20170278302A1 (en) * 2014-08-29 2017-09-28 Thomson Licensing Method and device for registering an image to a model
WO2016101131A1 (en) 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
US20180107275A1 (en) * 2015-04-13 2018-04-19 Empire Technology Development Llc Detecting facial expressions
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
US10136856B2 (en) 2016-06-27 2018-11-27 Facense Ltd. Wearable respiration measurements system
US10113913B2 (en) 2015-10-03 2018-10-30 Facense Ltd. Systems for collecting thermal measurements of the face
US9968264B2 (en) 2015-06-14 2018-05-15 Facense Ltd. Detecting physiological responses based on thermal asymmetry of the face
US10136852B2 (en) 2015-06-14 2018-11-27 Facense Ltd. Detecting an allergic reaction from nasal temperatures
US10154810B2 (en) 2015-06-14 2018-12-18 Facense Ltd. Security system that detects atypical behavior
US10076270B2 (en) 2015-06-14 2018-09-18 Facense Ltd. Detecting physiological responses while accounting for touching the face
US10085685B2 (en) 2015-06-14 2018-10-02 Facense Ltd. Selecting triggers of an allergic reaction based on nasal temperatures
US10524696B2 (en) 2015-06-14 2020-01-07 Facense Ltd. Virtual coaching based on respiration signals
DE102016110903A1 (de) 2015-06-14 2016-12-15 Facense Ltd. Head-Mounted-Devices zur Messung physiologischer Reaktionen
US10523852B2 (en) 2015-06-14 2019-12-31 Facense Ltd. Wearable inward-facing camera utilizing the Scheimpflug principle
US10045699B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Determining a state of a user based on thermal measurements of the forehead
US10299717B2 (en) 2015-06-14 2019-05-28 Facense Ltd. Detecting stress based on thermal measurements of the face
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
US10045737B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Clip-on device with inward-facing cameras
US10130299B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Neurofeedback eyeglasses
US10080861B2 (en) 2015-06-14 2018-09-25 Facense Ltd. Breathing biofeedback eyeglasses
US10524667B2 (en) 2015-06-14 2020-01-07 Facense Ltd. Respiration-based estimation of an aerobic activity parameter
US10092232B2 (en) 2015-06-14 2018-10-09 Facense Ltd. User state selection based on the shape of the exhale stream
US10064559B2 (en) 2015-06-14 2018-09-04 Facense Ltd. Identification of the dominant nostril using thermal measurements
US10216981B2 (en) 2015-06-14 2019-02-26 Facense Ltd. Eyeglasses that measure facial skin color changes
US10130261B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Detecting physiological responses while taking into account consumption of confounding substances
US10130308B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Calculating respiratory parameters from thermal measurements
US10159411B2 (en) 2015-06-14 2018-12-25 Facense Ltd. Detecting irregular physiological responses during exposure to sensitive data
US10076250B2 (en) 2015-06-14 2018-09-18 Facense Ltd. Detecting physiological responses based on multispectral data from head-mounted cameras
US10151636B2 (en) 2015-06-14 2018-12-11 Facense Ltd. Eyeglasses having inward-facing and outward-facing thermal cameras
DE112016004437T5 (de) * 2015-09-29 2018-07-05 BinaryVR, Inc. Head-Mounted-Display mit Gesichtsausdruck-Erkennungsfähigkeit
WO2017101094A1 (en) * 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
US10217261B2 (en) * 2016-02-18 2019-02-26 Pinscreen, Inc. Deep learning-based facial animation for head-mounted display
GB2548154A (en) 2016-03-11 2017-09-13 Sony Computer Entertainment Europe Ltd Virtual reality
CN105867617B (zh) * 2016-03-25 2018-12-25 京东方科技集团股份有限公司 增强现实设备、系统、图像处理方法及装置
CN107305621A (zh) * 2016-04-17 2017-10-31 张翔宇 一种虚拟现实眼镜的图像捕获设备及图像合成系统
WO2017218306A1 (en) * 2016-06-13 2017-12-21 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
US10083347B2 (en) * 2016-07-29 2018-09-25 NTech lab LLC Face identification using artificial neural network
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
JP6964132B2 (ja) * 2016-09-28 2021-11-10 マジック リープ, インコーポレイテッドMagic Leap, Inc. ウェアラブルデバイスによる顔モデル捕捉
WO2018058557A1 (en) * 2016-09-30 2018-04-05 Intel Corporation Human search and identification in complex scenarios
EP4468061A3 (en) 2016-10-05 2025-01-15 Magic Leap, Inc. Periocular test for mixed reality calibration
US20180101989A1 (en) * 2016-10-06 2018-04-12 Google Inc. Headset removal in virtual, augmented, and mixed reality using an eye gaze database
GB2570247B (en) * 2016-10-14 2021-12-01 Facense Ltd Detecting physiological responses based on facial skin color changes
CN206387961U (zh) 2016-12-30 2017-08-08 孙淑芬 头戴显示设备
CN106686308B (zh) * 2016-12-28 2018-02-16 平安科技（深圳）有限公司 图像焦距检测方法和装置
WO2018128996A1 (en) * 2017-01-03 2018-07-12 Clipo, Inc. System and method for facilitating dynamic avatar based on real-time facial expression detection
CA2953752A1 (en) * 2017-01-06 2018-07-06 Libra At Home Ltd Virtual reality apparatus and methods therefor
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
US10515474B2 (en) 2017-01-19 2019-12-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
WO2018142228A2 (en) 2017-01-19 2018-08-09 Mindmaze Holding Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
CN110892408A (zh) 2017-02-07 2020-03-17 迈恩德玛泽控股股份有限公司 用于立体视觉和跟踪的系统、方法和装置
US10325396B2 (en) * 2017-02-14 2019-06-18 Linden Research, Inc. Virtual reality presentation of eye movement and eye contact
US20180247443A1 (en) * 2017-02-28 2018-08-30 International Business Machines Corporation Emotional analysis and depiction in virtual reality
US10438394B2 (en) * 2017-03-02 2019-10-08 Colopl, Inc. Information processing method, virtual space delivering system and apparatus therefor
US11042729B2 (en) * 2017-05-01 2021-06-22 Google Llc Classifying facial expressions using eye-tracking cameras
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10636193B1 (en) * 2017-06-29 2020-04-28 Facebook Technologies, Llc Generating graphical representation of a user's face and body using a monitoring system included on a head mounted display
US10636192B1 (en) 2017-06-30 2020-04-28 Facebook Technologies, Llc Generating a graphical representation of a face of a user wearing a head mounted display
CN107392213B (zh) * 2017-07-21 2020-04-07 西安电子科技大学 基于深度图模型特征学习的人脸画像合成方法
US10726627B2 (en) 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
US11568609B1 (en) 2017-07-25 2023-01-31 Meta Platforms Technologies, Llc Image sensor having on-chip compute circuit
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
TWI647631B (zh) * 2017-11-28 2019-01-11 承潔投資有限公司 工地管理系統及其穿戴裝置
HUE055188T2 (hu) * 2017-12-01 2021-11-29 Grifols Worldwide Operations Ltd Tartály fedéllel és eszköz tartály fedelek nyitására és zárására
KR102564854B1 (ko) 2017-12-29 2023-08-08 삼성전자주식회사 정규화된 표현력에 기초한 표정 인식 방법, 표정 인식 장치 및 표정 인식을 위한 학습 방법
KR102564855B1 (ko) 2018-01-08 2023-08-08 삼성전자주식회사 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
CN111868737B (zh) 2018-01-24 2025-01-24 苹果公司 使用神经网络的基于事件相机的注视跟踪
US11057581B2 (en) 2018-01-24 2021-07-06 Facebook Technologies, Llc Digital pixel array with multi-stage readouts
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3749172B2 (en) 2018-02-09 2025-01-01 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
JP7382387B2 (ja) 2018-07-24 2023-11-16 マジック リープ， インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
CN109145987B (zh) * 2018-08-21 2020-10-20 厦门美图之家科技有限公司 模型生成方法及装置
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
CN109474805A (zh) * 2018-11-08 2019-03-15 国网北京市电力公司 一种电子眼镜
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
EP3881525A4 (en) * 2018-12-20 2021-12-15 Sony Group Corporation PHOTO-VIDEO-BASED SPACE-TEMPORAL VOLUMETRIC CAPTURE SYSTEM
US10936178B2 (en) * 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
EP3912013A1 (en) 2019-01-16 2021-11-24 Pupil Labs GmbH Methods for generating calibration data for head-wearable devices and eye tracking system
US12250451B2 (en) 2019-03-11 2025-03-11 Nokia Technologies Oy Conditional display of object characteristics
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
WO2020204000A1 (ja) * 2019-04-01 2020-10-08 住友電気工業株式会社 コミュニケーション支援システム、コミュニケーション支援方法、コミュニケーション支援プログラム、および画像制御プログラム
WO2020244752A1 (en) 2019-06-05 2020-12-10 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
EP3987380B1 (en) 2019-06-18 2024-10-16 Pupil Labs GmbH Systems and methods for determining one or more parameters of a user's eye
US12108141B2 (en) 2019-08-05 2024-10-01 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US12141888B1 (en) 2019-12-18 2024-11-12 Meta Platforms Technologies, Llc Dynamic and hierarchical image sensing and processing
WO2021164867A1 (en) 2020-02-19 2021-08-26 Pupil Labs Gmbh Eye tracking module and head-wearable device
RU2764144C1 (ru) * 2020-07-27 2022-01-13 Самсунг Электроникс Ко., Лтд. Быстрый двухслойный нейросетевой синтез реалистичных изображений нейронного аватара по одному снимку
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US12400473B2 (en) 2020-05-15 2025-08-26 Cornell University Wearable facial movement tracking devices
EP4150520A4 (en) * 2020-05-15 2024-05-22 Cornell University WEARABLE DEVICES FOR FACIAL EXPRESSION RECOGNITION
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US12254062B2 (en) * 2020-08-26 2025-03-18 International Business Machines Corporation Domain adaptation
US12075175B1 (en) 2020-09-08 2024-08-27 Meta Platforms Technologies, Llc Programmable smart sensor with adaptive readout
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11908233B2 (en) 2020-11-02 2024-02-20 Pinscreen, Inc. Normalization of facial images using deep neural networks
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
CN112929619B (zh) * 2021-02-03 2022-04-19 广州工程技术职业学院 一种动画角色中面部特征点的跟踪显示结构
GB2607151B (en) * 2021-03-12 2024-06-05 Canon Kk Wearable image pickup apparatus, portable device and calibrator that communicate with image pickup apparatus, control methods therefor, and storage media
EP4080331A1 (fr) * 2021-04-19 2022-10-26 Dynamixyz Casque
US11614345B2 (en) 2021-06-16 2023-03-28 Microsoft Technology Licensing, Llc Surface sensing via resonant sensor
US12482113B2 (en) * 2021-06-18 2025-11-25 Meta Platforms Technologies, Llc Inferring user pose using optical data
GB2611154B (en) 2021-07-29 2025-10-08 Canon Kk Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
KR20230019016A (ko) 2021-07-30 2023-02-07 캐논 가부시끼가이샤 액션 카메라로서 사용되는 촬상장치
GB2611156B (en) 2021-07-30 2024-06-05 Canon Kk Image capture apparatus, control method, and program
GB2611157B (en) 2021-07-30 2025-01-08 Canon Kk Image pickup apparatus used as action camera, calibration system, control method for image pickup apparatus, and storage medium storing control program for...
US12159352B2 (en) * 2021-08-30 2024-12-03 Bsset Llc Extended reality movement platform
US12452517B2 (en) 2021-10-22 2025-10-21 Canon Kabushiki Kaisha Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
US12244936B2 (en) 2022-01-26 2025-03-04 Meta Platforms Technologies, Llc On-sensor image processor utilizing contextual data
US11726578B1 (en) 2022-02-11 2023-08-15 Meta Platforms Technologies, Llc Scrolling and navigation in virtual reality
US12320888B2 (en) 2022-05-12 2025-06-03 Microsoft Technology Licensing, Llc Controlling computer-generated facial expressions
KR102575097B1 (ko) 2022-11-09 2023-09-06 주식회사 플루언트 음성 기반 아바타 얼굴 표정 구현 방법 및 장치
CN118430034A (zh) * 2023-02-01 2024-08-02 宏达国际电子股份有限公司 面部跟踪系统和方法
CN119342200B (zh) * 2023-07-19 2025-11-04 北京小米移动软件有限公司 通信方法及装置、穿戴设备、存储介质
WO2025216484A1 (ko) * 2024-04-12 2025-10-16 삼성전자주식회사 아바타의 표시를 위한 방식을 변경하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2025254920A1 (en) * 2024-06-05 2025-12-11 Meta Platforms Technologies, Llc Pose-based facial expressions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5124145U (ja) * 1974-08-07 1976-02-21
WO2011042989A1 (ja) * 2009-10-09 2011-04-14 Kikuchi Kouichi 視認情景に対する視認者情感判定装置
WO2013070788A1 (en) * 2011-11-07 2013-05-16 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
WO2013085639A1 (en) * 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
JP2013175929A (ja) * 2012-02-24 2013-09-05 Nikon Corp 情報出力装置、及び情報出力方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886735A (en) 1997-01-14 1999-03-23 Bullister; Edward T Video telephone headset
US6774869B2 (en) 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US6493136B2 (en) * 2001-03-07 2002-12-10 General Scientific Corp. Clip-on optical mounting structure
NO315679B1 (no) * 2001-10-19 2003-10-06 Dmates As Rik kommunikasjon over internett
US20050208457A1 (en) * 2004-01-05 2005-09-22 Wolfgang Fink Digital object recognition audio-assistant for the visually impaired
US7606392B2 (en) 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US7991230B2 (en) * 2005-10-14 2011-08-02 Microsoft Corporation Modeling micro-structure for feature extraction
US8601379B2 (en) 2006-05-07 2013-12-03 Sony Computer Entertainment Inc. Methods for interactive communications with real time effects and avatar environment interaction
RU2493599C2 (ru) * 2007-02-02 2013-09-20 Конинклейке Филипс Электроникс Н.В. Медицинские системы и способы видеосвязи
US8068169B2 (en) * 2007-02-26 2011-11-29 General Scientific Corporation Clip-on video camera system for medical, surgical and dental applications
US8717447B2 (en) 2010-08-20 2014-05-06 Gary Stephen Shuster Remote telepresence gaze direction
KR20120018479A (ko) * 2010-08-23 2012-03-05 에스케이플래닛 주식회사 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법
KR101133225B1 (ko) * 2010-11-12 2012-04-05 홍익대학교 산학협력단 자세 추정을 이용한 얼굴 인식 시스템 및 방법
US8573866B2 (en) 2011-02-03 2013-11-05 Jason R. Bond Head-mounted face image capturing devices and systems
US9165404B2 (en) 2011-07-14 2015-10-20 Samsung Electronics Co., Ltd. Method, apparatus, and system for processing virtual world
WO2013077076A1 (ja) * 2011-11-24 2013-05-30 株式会社エヌ・ティ・ティ・ドコモ 表情出力装置及び表情出力方法
CN104170358B (zh) 2012-04-09 2016-05-11 英特尔公司 用于化身管理和选择的系统和方法
WO2013152453A1 (en) 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars
US9235968B2 (en) * 2013-03-14 2016-01-12 Otoy, Inc. Tactile elements for a wearable eye piece
WO2014194488A1 (en) * 2013-06-05 2014-12-11 Intel Corporation Karaoke avatar animation based on facial motion data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5124145U (ja) * 1974-08-07 1976-02-21
WO2011042989A1 (ja) * 2009-10-09 2011-04-14 Kikuchi Kouichi 視認情景に対する視認者情感判定装置
WO2013085639A1 (en) * 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
WO2013070788A1 (en) * 2011-11-07 2013-05-16 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
JP2013175929A (ja) * 2012-02-24 2013-09-05 Nikon Corp 情報出力装置、及び情報出力方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110323A1 (ja) * 2018-11-30 2020-06-04 株式会社ドワンゴ 動画合成装置、動画合成方法及び記録媒体
WO2020110322A1 (ja) * 2018-11-30 2020-06-04 株式会社ドワンゴ 動画合成装置、動画合成方法及び記録媒体
JP2020087277A (ja) * 2018-11-30 2020-06-04 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
JP2020087278A (ja) * 2018-11-30 2020-06-04 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
US11195302B2 (en) 2018-11-30 2021-12-07 Dwango Co., Ltd. Video synthesis device, video synthesis method and recording medium
US11367260B2 (en) 2018-11-30 2022-06-21 Dwango Co., Ltd. Video synthesis device, video synthesis method and recording medium
US11625858B2 (en) 2018-11-30 2023-04-11 Dwango Co., Ltd. Video synthesis device, video synthesis method and recording medium
JP2020107123A (ja) * 2018-12-27 2020-07-09 株式会社コロプラ プログラム、情報処理装置、および方法
JP7160669B2 (ja) 2018-12-27 2022-10-25 株式会社コロプラ プログラム、情報処理装置、および方法

Also Published As

Publication number Publication date
MX2016014091A (es) 2017-02-09
CA2943424A1 (en) 2015-11-05
EP3137938B1 (en) 2018-01-31
KR20160146861A (ko) 2016-12-21
CN106255978A (zh) 2016-12-21
CN106255978B (zh) 2019-09-03
AU2015253557A1 (en) 2017-03-09
RU2016141911A (ru) 2018-04-26
AU2015253557B2 (en) 2019-07-25
EP3137938A1 (en) 2017-03-08
US9672416B2 (en) 2017-06-06
JP6722590B2 (ja) 2020-07-15
MX360923B (es) 2018-11-22
US20150310263A1 (en) 2015-10-29
KR102390781B1 (ko) 2022-04-25
RU2016141911A3 (ja) 2018-12-10
CA2943424C (en) 2021-11-16
RU2679986C2 (ru) 2019-02-14
WO2015167909A1 (en) 2015-11-05

Similar Documents

Publication Publication Date Title
JP6722590B2 (ja) 顔の表情のトラッキング
KR102706553B1 (ko) 확장 현실 환경들에서의 이미지 캡처링
JP7490004B2 (ja) 機械学習を用いた画像カラー化
CN107408205B (zh) 用红外成像区分前景和背景
CN102959585B (zh) 属性确定方法、属性确定装置及属性确定系统
US20140176548A1 (en) Facial image enhancement for video communication
US11798204B2 (en) Systems and methods of image processing based on gaze detection
US10929982B2 (en) Face pose correction based on depth information
Hadiprakoso et al. Face anti-spoofing using CNN classifier & face liveness detection
CN119836650B (zh) 基于使用部分面部图像的三维面部建模的用户认证
WO2023017092A1 (en) Method and system performing selective image modification for protecting identities
CN111861956A (zh) 图片处理方法、装置、电子设备以及介质
WO2021134311A1 (zh) 拍摄对象切换方法及装置、图像处理方法及装置
TW202119263A (zh) 擬真虛擬人臉產生方法與系統，及應用其之人臉辨識方法與系統
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
WO2025174476A1 (en) System integrated machine-learning co-processing
WO2021024860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102939416B1 (ko) 인공지능 기반의 얼굴 랜드마크 검출 경량화를 이용한 맞춤형 포토부스 시스템
KR102808311B1 (ko) 영상 처리 방법 및 장치
JP2021089617A (ja) 画像処理方法
Xuan et al. SpecTracle: Wearable Facial Motion Tracking from Unobtrusive Peripheral Cameras
TW202503485A (zh) 管理進行虛擬遙現之裝置
KR20150025146A (ko) 원본 이미지 캡쳐 방지 장치 및 방법과 그 프로그램을 기록한 기록 매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180411

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R150 Certificate of patent or registration of utility model

Ref document number: 6722590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees