JP2021523437A - 顔面表情による遠隔アバターの操縦 - Google Patents
顔面表情による遠隔アバターの操縦 Download PDFInfo
- Publication number
- JP2021523437A JP2021523437A JP2020560922A JP2020560922A JP2021523437A JP 2021523437 A JP2021523437 A JP 2021523437A JP 2020560922 A JP2020560922 A JP 2020560922A JP 2020560922 A JP2020560922 A JP 2020560922A JP 2021523437 A JP2021523437 A JP 2021523437A
- Authority
- JP
- Japan
- Prior art keywords
- face
- user
- texture
- captured image
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
技術が発展するにつれて、人々は技術をコミュニケーションの一形態として利用し続けている。たとえば、技術によってコミュニケーションが単純な物理的な会話からリモートのリアルタイムでの会話へと発展することが可能になった。しかし、この発展に伴って、リモート形式のコミュニケーションは、概して、物理的な会話に含まれる表情および感情をつかむ能力が多少欠如している。たとえば、電子メールまたはテキスト会話から感情的文脈を解読することはしばしば困難であることが分かっている。これらの欠陥を克服するために、コミュニケーションの方法は、感情および表情を表現する方法を提供しようとしてきた。たとえば、テキストアプリケーションは、今では、気分、意見を表現したり、単に気まぐれな遊びを提供したりするために、幅広い絵文字およびアニメーションを含んでいる。人々はますますリアルタイムでの音声および映像接続を使用してコミュニケーションをとるようになっているので、これらのコミュニケーションチャネルの中にユーザの個性および性格を反映する方法に対する需要が高まっている。
本開示の一局面は、遠隔アバターを操縦するための方法を提供する。上記方法は、データ処理ハードウェアにおいて、第1の顔フレームワークと中立の顔面表情を有するユーザの顔の第1の取り込み画像とを受け取るステップを含む。上記第1の顔フレームワークは、第1のフレームにおける上記ユーザの上記顔に対応し、顔情報の第1の顔メッシュを含む。また、上記方法は、上記データ処理ハードウェアが、上記顔の上記第1の取り込み画像を上記第1の顔フレームワーク上に投影するステップと、上記データ処理ハードウェアが、上記投影された取り込み画像に基づいて、上記ユーザの上記顔に対応する顔テクスチャを判断するステップとを含む。上記方法は、上記データ処理ハードウェアにおいて、第2の顔フレームワークを受け取るステップも含み、上記第2の顔フレームワークは、第2のフレームにおける上記ユーザの上記顔に対応する。上記第2の顔フレームワークは、顔情報の第2の顔メッシュを含む。また、上記方法は、上記データ処理ハードウェアが、上記受け取られた第2の顔フレームワークに基づいて、上記顔テクスチャを更新するステップと、上記データ処理ハードウェアが、上記更新された顔テクスチャを三次元アバターとして表示するステップとを含む。上記三次元アバターは、上記ユーザの上記顔の仮想表現に対応する。
詳細な説明
図1は、アバター操縦環境100の一例である。アバター操縦環境100は、ユーザ10,10a−bがユーザデバイス110,110a−bを介してネットワーク120を通じて会話12を行う環境である。ネットワーク120は、ユーザデバイス110に関連付けられたアドレス間でデータをルーティングするように構成された任意のタイプの通信ネットワーク(たとえば、パケット交換網)を含む。
Claims (25)
- 方法(300)であって、
データ処理ハードウェア(154)において、第1の顔フレームワーク(144a)と中立の顔面表情(22)を有するユーザ(10)の顔(20)の第1の取り込み画像(130a)とを受け取るステップを備え、前記第1の顔フレームワーク(144a)は、第1のフレームにおける前記ユーザ(10)の前記顔(20)に対応し、顔情報(140)の第1の顔メッシュ(142a)を備え、前記方法(300)はさらに、
前記データ処理ハードウェア(154)が、前記顔の前記第1の取り込み画像(130a)を前記第1の顔フレームワーク(144a)上に投影するステップと、
前記データ処理ハードウェア(154)が、前記投影された第1の取り込み画像(130a)に基づいて、前記ユーザ(10)の前記顔(20)に対応する顔テクスチャ(212)を判断するステップと、
前記データ処理ハードウェア(154)において、第2の顔フレームワーク(144b)を受け取るステップとを備え、前記第2の顔フレームワーク(144b)は、第2のフレームにおける前記ユーザ(10)の前記顔(20)に対応し、顔情報(140)の第2の顔メッシュ(142b)を備え、前記方法(300)はさらに、
前記データ処理ハードウェア(154)が、前記受け取られた第2の顔フレームワーク(144b)に基づいて、前記顔テクスチャ(212)を更新するステップと、
前記データ処理ハードウェア(154)が、前記更新された顔テクスチャ(212)を三次元アバター(160)として表示するステップとを備え、前記三次元アバター(160)は、前記ユーザ(10)の前記顔(20)の仮想表現に対応する、方法(300)。 - 前記データ処理ハードウェア(154)において、前記ユーザ(10)の前記顔(20)の第2の取り込み画像(130b)を受け取るステップをさらに備え、前記第2の取り込み画像(130b)は、前記ユーザの顔面表情(22)として笑顔を取り込み、
前記データ処理ハードウェア(154)において、前記ユーザ(10)の前記顔(20)の第3の取り込み画像(130c)を受け取るステップをさらに備え、前記第3の取り込み画像(130c)は、前記ユーザの前記顔面表情(22)として両方の眉を上げた状態を取り込み、
前記データ処理ハードウェア(154)において、前記ユーザ(10)の前記顔(20)の第4の取り込み画像(130d)を受け取るステップをさらに備え、前記第4の取り込み画像(130d)は、前記ユーザの前記顔面表情(22)として笑顔および両方の眉を上げた状態を取り込み、
各々の取り込み画像について、前記データ処理ハードウェア(154)が、前記ユーザ(10)の前記顔(20)に対応する顔面表情(22)テクスチャを判断するステップと、
前記データ処理ハードウェア(154)が、前記受け取られた第2の顔フレームワーク(144b)に基づいて、各々の取り込み画像の前記顔面表情(22)テクスチャと前記更新された顔テクスチャ(212)とをブレンドして、ブレンドされた顔テクスチャ(212)を生成するステップと、
前記データ処理ハードウェア(154)が、前記ブレンドされた顔テクスチャ(212)により前記三次元アバター(160)をレンダリングするステップとをさらに備える、請求項1に記載の方法(300)。 - ブレンドするステップは、
各々の取り込み画像についてテクスチャベクトル(232)を判断するステップをさらに備え、前記テクスチャベクトル(232)は、前記中立の顔面表情(22)を有する前記第1の取り込み画像(130a)との差のベクトル表現に対応し、ブレンドするステップはさらに、
前記受け取られた第2の顔フレームワーク(144b)に基づいて、現在のテクスチャベクトル(232)を判断するステップと、
前記現在のテクスチャベクトル(232)と各々の取り込み画像の前記テクスチャベクトル(232)との間の差に基づいて、レンダリング重み(244)を割り当てるステップと、
前記レンダリング重み(244)に基づいて、前記ブレンドされた顔テクスチャ(212)により前記三次元アバター(160)をレンダリングするステップとを備える、請求項2に記載の方法(300)。 - 前記レンダリング重み(244)は、1に等しい合計を有する、請求項3に記載の方法(300)。
- 前記現在のテクスチャベクトル(232)および各々の取り込み画像の前記テクスチャベクトル(232)の各々は、52変数浮動ベクトルに対応する、請求項3または4に記載の方法(300)。
- 前記レンダリング重み(244)は、前記現在のテクスチャベクトル(232)と各々の取り込み画像の前記テクスチャベクトル(232)との間の前記差が増加するにつれて、大きさが小さくなる、請求項5に記載の方法(300)。
- 前記データ処理ハードウェア(154)において、前記第2のフレームにおける顔情報(140)の現在の顔面表情(22)メッシュを有する前記ユーザ(10)の前記顔(20)の取り込まれた現在の画像を受け取るステップと、
前記データ処理ハードウェア(154)が、前記受け取られた顔フレームワークおよび前記取り込まれた現在の画像に基づいて、前記顔テクスチャ(212)を更新するステップとをさらに備える、請求項1〜6のいずれか1項に記載の方法(300)。 - 前記受け取られた取り込まれた現在の画像は、減少させた分量の顔テクスチャ(212)に対応する、請求項7に記載の方法(300)。
- 前記データ処理ハードウェア(154)が、前記受け取られた取り込まれた現在の画像に基づいて、前記ユーザ(10)の前記顔(20)の遮られた部分を判断するステップと、
前記データ処理ハードウェア(154)が、前記ユーザ(10)の前記顔(20)の前記遮られた部分と、以前のフレームからの遮られていない取り込まれた画像から生成された顔テクスチャ(212)とをブレンドするステップとをさらに備える、請求項8に記載の方法(300)。 - 前記データ処理ハードウェア(154)が、前記ユーザの眼または口の描出を生成するステップをさらに備え、前記生成するステップは、
前記データ処理ハードウェア(154)が、前記眼または前記口のエッジを検出するステップと、
前記データ処理ハードウェア(154)が、前記眼または前記口の前記エッジに関連付けられた角度の合計が2π(360度)に対応することを判断するステップと、
前記データ処理ハードウェア(154)が、2πに対応する前記検出されたエッジに基づいて、前記眼または前記口の位置を近似するステップと、
前記データ処理ハードウェア(154)が、前記顔の前記取り込み画像から前記近似された位置における前記口または前記眼を抽出するステップと、
前記データ処理ハードウェア(154)が、前記近似された位置における前記抽出された口または前記抽出された眼をフィルでレンダリングするステップとによって行われる、請求項1〜9のいずれか1項に記載の方法(300)。 - 前記第1の取り込み画像(130a)は、携帯電話(100)からの赤、緑および青の(RGB)画像を備える、請求項1〜10のいずれか1項に記載の方法(300)。
- 前記三次元アバター(160)は、拡張現実(AR)デバイス(100)上に表示される、請求項1〜11のいずれか1項に記載の方法(300)。
- システム(100)であって、
データ処理ハードウェア(154)と、
前記データ処理ハードウェア(154)と通信するメモリハードウェア(156)とを備え、前記メモリハードウェア(156)は、命令を格納し、前記命令は、前記データ処理ハードウェア(154)上で実行されると、前記データ処理ハードウェア(154)にオペレーションを実行させ、前記オペレーションは、
第1の顔フレームワーク(144a)と中立の顔面表情(22)を有するユーザ(10)の顔(20)の第1の取り込み画像(130a)とを受け取るステップを備え、前記第1の顔フレームワーク(144a)は、第1のフレームにおける前記ユーザ(10)の前記顔(20)に対応し、顔情報(140)の第1の顔メッシュ(142a)を備え、前記オペレーションはさらに、
前記顔の前記第1の取り込み画像(130a)を前記第1の顔フレームワーク(144a)上に投影するステップと、
前記投影された第1の取り込み画像(130a)に基づいて、前記ユーザ(10)の前記顔(20)に対応する顔テクスチャ(212)を判断するステップと、
第2の顔フレームワーク(144b)を受け取るステップとを備え、前記第2の顔フレームワーク(144b)は、第2のフレームにおける前記ユーザ(10)の前記顔(20)に対応し、顔情報(140)の第2の顔メッシュ(142b)を備え、前記オペレーションはさらに、
前記受け取られた第2の顔フレームワーク(144b)に基づいて、前記顔テクスチャ(212)を更新するステップと、
前記更新された顔テクスチャ(212)を三次元アバター(160)として表示するステップとを備え、前記三次元アバター(160)は、前記ユーザ(10)の前記顔(20)の仮想表現に対応する、システム(100)。 - 前記オペレーションは、
前記ユーザ(10)の前記顔(20)の第2の取り込み画像(130b)を受け取るステップをさらに備え、前記第2の取り込み画像(130b)は、前記ユーザの顔面表情(22)として笑顔を取り込み、前記オペレーションはさらに、
前記ユーザ(10)の前記顔(20)の第3の取り込み画像(130c)を受け取るステップを備え、前記第3の取り込み画像(130c)は、前記ユーザの前記顔面表情(22)として両方の眉を上げた状態を取り込み、前記オペレーションはさらに、
前記ユーザ(10)の前記顔(20)の第4の取り込み画像(130d)を受け取るステップを備え、前記第4の取り込み画像(130d)は、前記ユーザの前記顔面表情(22)として笑顔および両方の眉を上げた状態を取り込み、前記オペレーションはさらに、
各々の取り込み画像について、前記ユーザ(10)の前記顔(20)に対応する顔面表情(22)テクスチャを判断するステップと、
前記受け取られた第2の顔フレームワーク(144b)に基づいて、各々の取り込み画像の前記顔面表情(22)テクスチャと前記更新された顔テクスチャ(212)とをブレンドして、ブレンドされた顔テクスチャ(212)を生成するステップと、
前記ブレンドされた顔テクスチャ(212)により前記三次元アバター(160)をレンダリングするステップとを備える、請求項13に記載のシステム(100)。 - ブレンドするステップは、
各々の取り込み画像についてテクスチャベクトル(232)を判断するステップをさらに備え、前記テクスチャベクトル(232)は、前記中立の顔面表情(22)を有する前記第1の取り込み画像(130a)との差のベクトル表現に対応し、ブレンドするステップはさらに、
前記受け取られた第2の顔フレームワーク(144b)に基づいて、現在のテクスチャベクトル(232)を判断するステップと、
前記現在のテクスチャベクトル(232)と各々の取り込み画像の前記テクスチャベクトル(232)との間の差に基づいて、レンダリング重み(244)を割り当てるステップと、
前記レンダリング重み(244)に基づいて、前記ブレンドされた顔テクスチャ(212)により前記三次元アバター(160)をレンダリングするステップとを備える、請求項14に記載のシステム(100)。 - 前記レンダリング重み(244)は、1に等しい合計を有する、請求項15に記載のシステム(100)。
- 前記現在のテクスチャベクトル(232)および各々の取り込み画像の前記テクスチャベクトル(232)の各々は、52変数浮動ベクトルに対応する、請求項15または16に記載のシステム(100)。
- 前記レンダリング重み(244)は、前記現在のテクスチャベクトル(232)と各々の取り込み画像の前記テクスチャベクトル(232)との間の前記差が増加するにつれて、大きさが小さくなる、請求項17に記載のシステム(100)。
- 前記オペレーションは、
前記第2のフレームにおける顔情報(140)の現在の顔面表情(22)メッシュを有する前記ユーザ(10)の前記顔(20)の取り込まれた現在の画像を受け取るステップと、
前記受け取られた顔フレームワークおよび前記取り込まれた現在の画像に基づいて、前記顔テクスチャ(212)を更新するステップとをさらに備える、請求項13〜18のいずれか1項に記載のシステム(100)。 - 前記受け取られた取り込まれた現在の画像は、減少させた分量の顔テクスチャ(212)に対応する、請求項19に記載のシステム(100)。
- 前記オペレーションは、
前記データ処理ハードウェア(154)が、前記受け取られた取り込まれた現在の画像に基づいて、前記ユーザ(10)の前記顔(20)の遮られた部分を判断するステップと、
前記データ処理ハードウェア(154)が、前記ユーザ(10)の前記顔(20)の前記遮られた部分と、以前のフレームからの遮られていない取り込まれた画像から生成された顔テクスチャ(212)とをブレンドするステップとをさらに備える、請求項20に記載のシステム(100)。 - 前記オペレーションは、前記ユーザの眼または口の描出を生成するステップをさらに備え、前記生成するステップは、
前記眼または前記口のエッジを検出するステップと、
前記眼または前記口の前記エッジに関連付けられた角度の合計が2π(360度)に対応することを判断するステップと、
2πに対応する前記検出されたエッジに基づいて、前記眼または前記口の位置を近似するステップと、
前記顔の前記取り込み画像から前記近似された位置における前記口または前記眼を抽出するステップと、
前記近似された位置における前記抽出された口または前記抽出された眼をフィルでレンダリングするステップとによって行われる、請求項13〜21のいずれか1項に記載のシステム(100)。 - 前記第1の取り込み画像(130)は、携帯電話(110)からの赤、緑および青の(RGB)画像を備える、請求項13〜22のいずれか1項に記載のシステム(100)。
- 前記三次元アバター(160)は、拡張現実(AR)デバイス(110)上に表示される、請求項13〜23のいずれか1項に記載のシステム(100)。
- 方法(300)であって、
データ処理ハードウェア(154)において、第1の顔フレームワーク(144a)と中立の顔面表情(22)を有するユーザ(10)の顔(20)の第1の取り込み画像(130a)とを受け取るステップを備え、前記第1の顔フレームワーク(144a)は、第1のフレームにおける前記ユーザ(10)の前記顔(20)に対応し、顔情報(140)の第1の顔メッシュ(142a)を備え、前記方法(300)はさらに、
前記データ処理ハードウェア(154)が、前記顔の前記第1の取り込み画像(130a)を前記第1の顔フレームワーク(144a)上に投影するステップと、
前記データ処理ハードウェア(154)が、前記投影された第1の取り込み画像(130a)に基づいて、前記ユーザ(10)の前記顔(20)に対応する顔テクスチャ(212)を判断するステップと、
前記データ処理ハードウェア(154)が、前記判断された顔テクスチャ(212)を三次元アバター(160)として表示するステップとを備え、前記三次元アバター(160)は、前記ユーザ(10)の前記顔(20)の仮想表現に対応する、方法(300)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862667767P | 2018-05-07 | 2018-05-07 | |
US62/667,767 | 2018-05-07 | ||
PCT/US2019/030218 WO2019217177A1 (en) | 2018-05-07 | 2019-05-01 | Puppeteering a remote avatar by facial expressions |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021523437A true JP2021523437A (ja) | 2021-09-02 |
JP7090178B2 JP7090178B2 (ja) | 2022-06-23 |
Family
ID=68467043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020560922A Active JP7090178B2 (ja) | 2018-05-07 | 2019-05-01 | 顔面表情による遠隔アバターの操縦 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11538211B2 (ja) |
EP (2) | EP4262193A3 (ja) |
JP (1) | JP7090178B2 (ja) |
CN (2) | CN115731294A (ja) |
WO (1) | WO2019217177A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6967610B2 (ja) | 2017-05-16 | 2021-11-17 | アップル インコーポレイテッドApple Inc. | 絵文字の記録及び送信 |
US11074753B2 (en) * | 2019-06-02 | 2021-07-27 | Apple Inc. | Multi-pass object rendering using a three- dimensional geometric constraint |
CN111583355B (zh) * | 2020-05-09 | 2024-01-23 | 维沃移动通信有限公司 | 面部形象生成方法、装置、电子设备及可读存储介质 |
AU2021290132C1 (en) | 2020-06-08 | 2024-04-18 | Apple Inc. | Presenting avatars in three-dimensional environments |
WO2022066450A1 (en) * | 2020-09-25 | 2022-03-31 | Sterling Labs Llc | Representation of users based on current user appearance |
WO2022066432A1 (en) * | 2020-09-25 | 2022-03-31 | Sterling Labs Llc | Progressive body capture of user body for building an avatar of user |
US11995776B2 (en) | 2021-01-19 | 2024-05-28 | Samsung Electronics Co., Ltd. | Extended reality interaction in synchronous virtual spaces using heterogeneous devices |
IL281554B2 (en) * | 2021-03-16 | 2023-02-01 | Emza Visual Sense Ltd | Apparatus and method for detecting and outputting three-dimensional objects |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002507033A (ja) * | 1998-03-11 | 2002-03-05 | エントロピック,インコーポレーテッド | 顔合成装置および顔合成方法 |
JP2011210118A (ja) * | 2010-03-30 | 2011-10-20 | Secom Co Ltd | 顔画像合成装置 |
US20150042743A1 (en) * | 2013-08-09 | 2015-02-12 | Samsung Electronics, Ltd. | Hybrid visual communication |
JP2017531242A (ja) * | 2014-08-29 | 2017-10-19 | トムソン ライセンシングThomson Licensing | 顔画像を編集する方法及びデバイス |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8893207B2 (en) * | 2002-12-10 | 2014-11-18 | Ol2, Inc. | System and method for compressing streaming interactive video |
JP4559092B2 (ja) * | 2004-01-30 | 2010-10-06 | 株式会社エヌ・ティ・ティ・ドコモ | 携帯通信端末及びプログラム |
US7176956B2 (en) * | 2004-05-26 | 2007-02-13 | Motorola, Inc. | Video enhancement of an avatar |
CA2621191C (en) * | 2005-08-29 | 2012-12-18 | Evryx Technologies, Inc. | Interactivity via mobile image recognition |
JP5773323B2 (ja) * | 2011-08-09 | 2015-09-02 | インテル・コーポレーション | 画像に基づくマルチビュー3d顔生成 |
US8933928B2 (en) * | 2011-11-22 | 2015-01-13 | Seiko Epson Corporation | Multiview face content creation |
CN104115503A (zh) * | 2011-12-29 | 2014-10-22 | 英特尔公司 | 使用化身的通信 |
WO2014036708A1 (en) * | 2012-09-06 | 2014-03-13 | Intel Corporation | System and method for avatar creation and synchronization |
US9317954B2 (en) * | 2013-09-23 | 2016-04-19 | Lucasfilm Entertainment Company Ltd. | Real-time performance capture with on-the-fly correctives |
US10334158B2 (en) * | 2014-11-03 | 2019-06-25 | Robert John Gove | Autonomous media capturing |
WO2016154800A1 (en) * | 2015-03-27 | 2016-10-06 | Intel Corporation | Avatar facial expression and/or speech driven animations |
WO2016161553A1 (en) * | 2015-04-07 | 2016-10-13 | Intel Corporation | Avatar generation and animations |
US20180158246A1 (en) * | 2016-12-07 | 2018-06-07 | Intel IP Corporation | Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays |
-
2019
- 2019-05-01 EP EP23195942.0A patent/EP4262193A3/en active Pending
- 2019-05-01 JP JP2020560922A patent/JP7090178B2/ja active Active
- 2019-05-01 CN CN202211535731.7A patent/CN115731294A/zh active Pending
- 2019-05-01 US US17/052,161 patent/US11538211B2/en active Active
- 2019-05-01 WO PCT/US2019/030218 patent/WO2019217177A1/en unknown
- 2019-05-01 EP EP19724319.9A patent/EP3791573B1/en active Active
- 2019-05-01 CN CN201980029370.9A patent/CN112042182B/zh active Active
-
2022
- 2022-11-23 US US18/058,621 patent/US11887235B2/en active Active
-
2023
- 2023-12-21 US US18/391,767 patent/US20240127523A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002507033A (ja) * | 1998-03-11 | 2002-03-05 | エントロピック,インコーポレーテッド | 顔合成装置および顔合成方法 |
JP2011210118A (ja) * | 2010-03-30 | 2011-10-20 | Secom Co Ltd | 顔画像合成装置 |
US20150042743A1 (en) * | 2013-08-09 | 2015-02-12 | Samsung Electronics, Ltd. | Hybrid visual communication |
JP2017531242A (ja) * | 2014-08-29 | 2017-10-19 | トムソン ライセンシングThomson Licensing | 顔画像を編集する方法及びデバイス |
Also Published As
Publication number | Publication date |
---|---|
WO2019217177A1 (en) | 2019-11-14 |
US20230088308A1 (en) | 2023-03-23 |
US20210056747A1 (en) | 2021-02-25 |
CN115731294A (zh) | 2023-03-03 |
EP4262193A2 (en) | 2023-10-18 |
EP3791573B1 (en) | 2023-10-18 |
EP4262193A3 (en) | 2023-11-29 |
JP7090178B2 (ja) | 2022-06-23 |
US11887235B2 (en) | 2024-01-30 |
US20240127523A1 (en) | 2024-04-18 |
CN112042182B (zh) | 2022-12-13 |
US11538211B2 (en) | 2022-12-27 |
EP3791573A1 (en) | 2021-03-17 |
CN112042182A (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7090178B2 (ja) | 顔面表情による遠隔アバターの操縦 | |
US11062494B2 (en) | Electronic messaging utilizing animatable 3D models | |
JP7110502B2 (ja) | 深度を利用した映像背景減算法 | |
JP7389840B2 (ja) | 画像画質補強方法、装置、機器および媒体 | |
JP2019012526A (ja) | 映像処理方法、コンピュータプログラムおよび記録媒体 | |
WO2022252866A1 (zh) | 一种互动处理方法、装置、终端及介质 | |
US20180295158A1 (en) | Displaying group expressions for teleconference sessions | |
US11487498B2 (en) | Volume control for audio and video conferencing applications | |
EP3744088A1 (en) | Techniques to capture and edit dynamic depth images | |
US12002139B2 (en) | Robust facial animation from video using neural networks | |
CN112470164A (zh) | 姿态校正 | |
US11741650B2 (en) | Advanced electronic messaging utilizing animatable 3D models | |
CN116071467A (zh) | 唇形驱动模型的生成方法、装置、电子设备及存储介质 | |
US20240054657A1 (en) | Frame rate up-conversion using optical flow | |
KR20230136109A (ko) | 기계 학습을 사용한 선택적 이미지 블러링 | |
JP2023022157A (ja) | コンピュータプログラム、方法及びサーバ装置 | |
CN117560542A (zh) | 视频处理方法、计算机设备及存储介质 | |
CN116917957A (zh) | 基于神经网络的鲁棒视频面部动画 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7090178 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |