JP2019145108A - 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置 - Google Patents

顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置 Download PDF

Info

Publication number
JP2019145108A
JP2019145108A JP2019030708A JP2019030708A JP2019145108A JP 2019145108 A JP2019145108 A JP 2019145108A JP 2019030708 A JP2019030708 A JP 2019030708A JP 2019030708 A JP2019030708 A JP 2019030708A JP 2019145108 A JP2019145108 A JP 2019145108A
Authority
JP
Japan
Prior art keywords
electronic device
avatar
face
attribute
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019030708A
Other languages
English (en)
Inventor
イ,ウヨン
Wooyong Lee
キム,ヨンギュ
Yonggyoo Kim
ミン,ビョンヒョン
Byunghyun Min
ソン,ドンイル
Dongil Son
ユン,チャンヒ
Chanhee Yoon
イ,キヒョク
Kihuk Lee
ジョン,チョルホ
Cheolho Cheong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019145108A publication Critical patent/JP2019145108A/ja
Priority to JP2024000538A priority Critical patent/JP2024028390A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/02Non-photorealistic rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】顔に対応する3次元(3D)アバターを用いて顔の動きが反映された3Dアバターを含むイメージを生成する電子装置を提供する。【解決手段】本発明による電子装置は、カメラ、ディスプレイ、及びプロセッサを備え、プロセッサは、カメラを用いて一つ以上の外部オブジェクトを含む第1のイメージを獲得し、一つ以上の外部オブジェクトのうちの顔に関連した属性に基づいて生成された3次元(3D)オブジェクトをディスプレイを通じて提供し、3Dオブジェクトに適用される複数のグラフィック属性のうちの少なくとも一つのグラフィック属性に基づいて顔に対する3Dアバターを生成し、3Dアバターを用いて所定の表情又は動きが反映された少なくとも一つのオブジェクトを含む第2のイメージを生成する。【選択図】図2

Description

本発明は、顔に対応する3次元(3D)アバターを用いて顔の動きが反映された3Dアバターを含むイメージを生成する電子装置に関する。
電子装置は、アバターを用いて多様なサービスを提供できる。電子装置は、多様なアプリケーションでユーザーの感情又は意思を表示するためにユーザーに対応する3Dアバターを利用する。
電子装置は、ユーザーにアバターを生成する機能を提供して自分のアバターを生成可能にする。
韓国公開特許第10−2017−0112406号公報
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、顔に対応するオブジェクトを含む2次元(2D)イメージに基づいて3Dアバターを提供する電子装置及びその動作方法を提供することにある。
また、本発明の目的は、ユーザーの顔に関連した属性に基づいてユーザーに対応する3Dアバターを生成する電子装置を提供することにある。
また、本発明の目的は、ユーザーを含む2Dイメージに基づいて生成した3Dアバターを用いて、アバターの表情、アバターのジェスチャー、及び背景画面又はアニメーション効果を多様に適用したオブジェクトを含む2Dイメージを生成する電子装置を提供することにある。
上記目的を達成するためになされた本発明の一態様による電子装置は、カメラ、ディスプレイ、及びプロセッサを備え、前記プロセッサは、前記カメラを用いて一つ以上の外部オブジェクトを含む第1のイメージを獲得し、前記一つ以上の外部オブジェクトのうちの顔に関連した属性に基づいて生成された3次元(3D)オブジェクトを前記ディスプレイを通じて提供し、前記3Dオブジェクトに適用可能な複数のグラフィック属性のうちの少なくとも一つのグラフィック属性に基づいて前記顔に対する3Dアバターを生成し、前記3Dアバターを用いて所定の表情又は動きが反映された少なくとも一つのオブジェクトを含む第2のイメージを生成することを特徴とする。
上記目的を達成するためになされた本発明の他の態様による電子装置は、カメラ及びプロセッサを備え、前記プロセッサは、前記カメラを用いて一つ以上の外部オブジェクトを含む第1のイメージを獲得し、前記一つ以上の外部オブジェクトのうちの顔に基づいて一つ以上の3次元(3D)アバターのうちの前記顔に対応する3Dアバターを選択し、前記顔に対応する表情が反映された前記3Dアバターを用いて生成した3Dオブジェクトを含む第2のイメージを生成することを特徴とする。
上記目的を達成するためになされた本発明のさらに他の態様による電子装置は、カメラ及びプロセッサを備え、前記プロセッサは、前記カメラを用いて一つ以上の外部オブジェクトを含む第1のイメージを獲得し、前記一つ以上の外部オブジェクトの中に顔が含まれるか否かを確認し、前記一つ以上の外部オブジェクトの中に前記顔が含まれる場合、前記顔に関連した属性に基づいて3次元(3D)アバターを生成し、前記一つ以上の外部オブジェクトの中に前記顔が含まれない場合、3Dアバターを生成しないことを特徴とする。
本発明によれば、カメラを利用して獲得した2Dイメージに含まれた外部オブジェクトに対応する3Dアバターを生成する電子装置を提供することができる。
また、本発明による電子装置は、アバターの表情、アバターのジェスチャー、背景画面、又はアニメーション効果が反映された3Dアバターを利用して生成したオブジェクトを含む2Dイメージを提供することができる。
さらに、ユーザーの顔を含む2Dイメージに基づいて生成した3Dアバターを活用する一つ以上のアプリケーションを提供することができる。
本発明の一実施形態によるネットワーク環境内の電子装置を示すブロック図である。 本発明の一実施形態による3Dアバターを生成する電子装置の動作方法を示すフローチャートである。 本発明の一実施形態による電子装置がユーザーに提供する3Dアバターを生成する動作の一例を示す図である。 本発明の一実施形態による電子装置によって生成された3Dグラフィックオブジェクト及び3Dグラフィックオブジェクトに適用されるグラフィック属性の例を示す図である。 本発明の一実施形態による電子装置によって生成された3Dグラフィックオブジェクト及び3Dグラフィックオブジェクトに適用されるグラフィック属性の例を示す図である。 本発明の一実施形態による電子装置によって生成された3Dグラフィックオブジェクト及び3Dグラフィックオブジェクトに適用されるグラフィック属性の例を示す図である。 本発明の一実施形態による電子装置が2Dイメージに基づいて3Dアバターを生成する動作の一例を示す図である。 本発明の一実施形態による電子装置が3Dアバターを用いて生成した少なくとも一つのオブジェクトを含む2Dイメージの例を示す図である。 本発明の一実施形態による電子装置によりアバターキャラクターを用いて写真を編集する機能を示す図である。 本発明の一実施形態による電子装置がアバターキャラクターのうちの選択されたオブジェクトをメッセージで伝送する機能の一例を示す図である。 本発明の一実施形態による電子装置がアバターキャラクターを用いて連絡先を編集する機能の一例を示す図である。 本発明の一実施形態による電子装置により動物の頭を含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。 本発明の一実施形態による電子装置によりキャラクターを含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。 本発明の一実施形態による電子装置により事物を含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。 本発明の一実施形態による顔に関連した表現属性の例を示す図である。 本発明の一実施形態による顔に関連した表現属性の例を示す図である。 本発明の一実施形態による電子装置により多様な3Dテンプレートを用いて生成された3Dアバターの例を示す図である。 本発明の一実施形態による電子装置により事物を含む2Dイメージに基づいて生成された3Dグラフィックオブジェクトに関連した属性の例を示す図である。 本発明の一実施形態による電子装置により事物を含む2Dイメージに基づいて生成された3Dグラフィックオブジェクトに関連した属性の例を示す図である。 本発明の一実施形態による電子装置により顔に対応する外部オブジェクト及び付加オブジェクトを含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。 本発明の一実施形態による電子装置が複数の外部オブジェクトに基づいて生成した複数の3Dアバターを含むイメージを生成する動作の一例を示す図である。 本発明の一実施形態による電子装置が複数の外部オブジェクトに基づいて生成した複数の3Dアバターを含むイメージを生成する動作の一例を示す図である。 本発明の一実施形態による3Dアバターに対する表現属性の例を示す図である。 本発明の一実施形態による電子装置がビデオ通話機能で3Dアバターを生成する動作の一例を示す図である。 本発明の一実施形態による電子装置がビデオ通話相手の電子装置と3Dアバターを共有する動作の一例を示す図である。
以下、本発明の望ましい実施形態を図面を参照しながら詳細に説明する。
図1は、本発明の一実施形態によるネットワーク環境100内の電子装置101を示すブロック図である。図1を参照すると、ネットワーク環境100内における電子装置101は、第1のネットワーク198(例えば、近距離無線通信)を介して外部の電子装置102と通信し、第2のネットワーク199(例えば、遠距離無線通信)を介して電子装置104又はサーバ108と通信する。一実施形態において、電子装置101は、サーバ108を介して電子装置104と通信する。
本発明の一実施形態による電子装置101は、プロセッサ120、メモリ130、入力装置150、音響出力装置155、ディスプレイ装置160、オーディオモジュール170、センサモジュール176、インターフェース177、ハプティックモジュール179、カメラモジュール180、電力管理モジュール188、バッテリー189、通信モジュール190、加入者識別モジュール196、及びアンテナモジュール197を含む。一部の実施形態において、電子装置101は、これらの構成要素のうちの少なくとも一つ(例えば、ディスプレイ装置160又はカメラモジュール180)が省略され、あるいは他の構成要素が追加される。一実施形態において、一部の構成要素は統合されて具現され得る。例えば、センサモジュール176(例えば、指紋センサ、紅彩センサ、又は照度センサ)は、ディスプレイ装置160(例えば、ディスプレイ)に組み込まれるように実装され得る。
プロセッサ120は、例えばソフトウェア(例えば、プログラム140)を実行してプロセッサ120に接続された電子装置101の少なくとも一つの他の構成要素(例えば、ハードウェア又はソフトウェア構成要素)を制御し、多様なデータ処理及び演算を実行する。プロセッサ120は、他の構成要素(例えば、センサモジュール176又は通信モジュール190)から受信した命令又はデータを揮発性メモリ132にロードして処理し、結果データを不揮発性メモリ134に格納する。不揮発性メモリ134は、内蔵メモリ136及び外部メモリ138を含む。
一実施形態において、プロセッサ120は、メインプロセッサ121(例えば、中央処理装置又はアプリケーションプロセッサ)と、メインプロセッサ121とは別にオペレーティングされて、追加的又は代替的にメインプロセッサ121よりも低消費電力であるか、又は所定の機能に特化した補助プロセッサ123(例えば、グラフィック処理装置、イメージシグナルプロセッサ、センサハブプロセッサ、又はコミュニケーションプロセッサ)とを含む。ここで、補助プロセッサ123は、メインプロセッサ121から分離して、又は組み込まれてオペレーティングされる。
補助プロセッサ123は、例えばメインプロセッサ121が非アクティブ(例えば、スリープ、低電力モード、待機モード)状態でメインプロセッサ121の代わりに、又はメインプロセッサ121がアクティブ(例えば、アプリケーションを実行)状態でメインプロセッサ121とともに、電子装置101の構成要素のうちの少なくとも一つの構成要素(例えば、ディスプレイ装置160、センサモジュール176、又は通信モジュール190)に関連した機能若しくは状態の少なくとも一部を制御する。一実施形態において、補助プロセッサ123(例えば、イメージシグナルプロセッサ又はコミュニケーションプロセッサ)は、機能的に関連した他の構成要素(例えば、カメラモジュール180又は通信モジュール190)の一部構成要素で実現される。
メモリ130は、電子装置101の少なくとも一つの構成要素(例えば、プロセッサ120又はセンサモジュール176)によって使用される多様なデータ、例えばソフトウェア(例えば、プログラム140)及びこれに関連した命令に対する入力データ又は出力データを格納する。メモリ130は、揮発性メモリ132又は不揮発性メモリ134を含む。
プログラム140は、メモリ130に格納されているソフトウェアであって、例えばオペレーティングシステム142、ミドルウェア144、又はアプリケーション146を含む。
入力装置150は、電子装置101の構成要素(例えば、プロセッサ120)に使用される命令又はデータを電子装置101の外部(例えば、ユーザー)から受信するための装置であって、例えばマイク、マウス、又はキーボードを含む。
音響出力装置155は、音響信号を電子装置101の外部に出力するための装置であって、例えばマルチメディア再生又は録音再生のような一般的な用途に使われるスピーカーと電話受信専用として使われるレシーバーとを含む。一実施形態において、レシーバーは、スピーカーと一体に又は分離して形成される。
ディスプレイ装置160は、電子装置101のユーザーに情報を視覚的に提供するための装置であって、例えばディスプレイ、ホログラム装置、又はプロジェクタと、該当装置を制御するための制御回路とを含む。一実施形態において、ディスプレイ装置160は、タッチ回路又はタッチによる圧力の強さを測定する圧力センサを含む。
オーディオモジュール170は、音と電気信号とを双方向に変換する。一実施形態において、オーディオモジュール170は、入力装置150を通じて音を獲得し、音響出力装置155又は電子装置101に有線又は無線で接続された外部の電子装置(例えば、外部の電子装置102(例えば、スピーカー又はヘッドホン))を通じて音を出力する。
センサモジュール176は、電子装置101の内部の作動状態(例えば、電力又は温度)、又は外部の環境状態に対応する電気信号又はデータ値を生成する。センサモジュール176は、例えばジェスチャーセンサ、ジャイロセンサ、気圧センサ、マグネチックセンサ、加速度センサ、グリップセンサ、近接センサ、カラーセンサ、IR(infrared)センサ、生体センサ、温度センサ、湿度センサ、又は照度センサを含む。
インターフェース177は、外部の電子装置(例えば、外部の電子装置102)に有線又は無線で接続される特定のプロトコルをサポートする。一実施形態において、インターフェース177は、HDMI(登録商標)(High Definition Multimedia Interface)、USB(Universal Serial bus)インターフェース、SDカードインターフェース、又はオーディオインターフェースを含む。
接続端子178は、電子装置101と外部の電子装置(例えば、外部の電子装置102)とを物理的に接続するコネクタ、例えばHDMI(登録商標)コネクタ、USBコネクタ、SDカードコネクタ、又はオーディオコネクタ(例えば、ヘッドホンコネクタ)を含む。
ハプティックモジュール179は、電気的信号をユーザーが触覚又は運動感覚を通じて認知可能な機械的な刺激(例えば、振動又は動き)又は電気的刺激に変換する。ハプティックモジュール179は、例えばモータ、圧電素子、又は電気刺激装置を含む。
カメラモジュール180は、静止画像及び動画像を撮影する。一実施形態において、カメラモジュール180は、一つ以上のレンズ、イメージセンサ、イメージシグナルプロセッサ、又はフラッシュを含む。
電力管理モジュール188は、電子装置101に供給される電力を管理するためのモジュールであって、例えばPMIC(Power Management Integrated Circuit)の少なくとも一部として構成される。
バッテリー189は、電子装置101の少なくとも一つの構成要素に電力を供給するための装置であって、例えば再充電不可能な1次電池、再充電可能な2次電池、又は燃料電池を含む。
通信モジュール190は、電子装置101と外部の電子装置(例えば、外部の電子装置102、外部の電子装置104、又はサーバ108)との間の有線又は無線通信チャンネルの確立、及び確立された通信チャンネルを介した通信実行をサポートする。通信モジュール190は、プロセッサ120(例えば、アプリケーションプロセッサ)とは別にオペレーティングされる有線通信又は無線通信をサポートする一つ以上のコミュニケーションプロセッサを含む。一実施形態において、通信モジュール190は、無線通信モジュール192(例えば、セルラー通信モジュール、近距離無線通信モジュール、又はGNSS(Global Navigation Satellite System)通信モジュール)、又は有線通信モジュール194(例えば、LAN(Local Area Network)通信モジュール、又は電力線通信モジュール)を含み、そのうち、対応する通信モジュールを用いて第1のネットワーク198(例えば、ブルートゥース(登録商標)、BLE(Bluetooth(登録商標) Low Energy)、WiFi(登録商標) Direct、又はIrDA(Infrared Data Association)のような近距離通信ネットワーク)、又は第2のネットワーク199(例えば、セルラーネットワーク、インターネット、又はコンピュータネットワーク(例えば、LAN又はWAN)のような遠距離通信ネットワーク)を介して外部の電子装置と通信する。このような多様なタイプの通信モジュール190は、一つのチップで実現されるか、又は各々別のチップで実現される。
無線通信モジュール192は、加入者識別モジュール196に格納されたユーザー情報を用いて通信ネットワーク内で電子装置101を区別及び認証する。
アンテナモジュール197は、信号又は電力を外部に送信し、また外部から受信するための一つ以上のアンテナを含む。一実施形態において、通信モジュール190(例えば、無線通信モジュール192)は、通信方式に適合したアンテナを介して信号を外部の電子装置に送信し、また外部の電子装置から受信する。
上記構成要素のうちの一部は、周辺機器間の通信方式(例えば、バス、GPIO(General Purpose Input/Output)、SPI(Serial Peripheral Interface)、又はMIPI(Mobile Industry Processor Interface))を介して相互に接続されて信号(例えば、命令又はデータ)を相互に交換する。
一実施形態において、命令又はデータは、第2のネットワーク199に接続されたサーバ108を通じて電子装置101と外部の電子装置104との間で送信又は受信される。外部の電子装置(102、104)は、それぞれ電子装置101と同一のタイプ又は異なるタイプの装置である。一実施形態において、電子装置101で実行される動作の全部又は一部は、他の一つ又は複数の外部の電子装置で実行される。一実施形態において、電子装置101が任意の機能又はサービスを自動で又は要請によって実行しなければならない場合、電子装置101は、機能又はサービスを自動的に実行させる代わりに又は追加的に、それに関連した少なくとも一部機能を外部の電子装置に要請する。この要請を受信した外部の電子装置は、要請機能又は追加機能を実行し、その結果を電子装置101に配信する。電子装置101は、受信した結果をそのまま又は追加的に処理して要請された機能やサービスを提供する。このために、例えばクラウドコンピュータ、分散コンピュータ、又はクライアント−サーバコンピューティング技術が利用される。
図2は、本発明の一実施形態による3Dアバターを生成する電子装置の動作方法を示すフローチャートである。
図2を参照すると、本発明の一実施形態による電子装置(例えば、図1の電子装置101又はプロセッサ120)は、ステップ210において、カメラ(例えば、図1のカメラモジュール180)を用いて一つ以上の外部オブジェクトに対する第1のイメージを獲得する。電子装置101は、2Dのカメラモジュール180を用いて2Dイメージを獲得し、第1のイメージは2Dイメージである。一つ以上の外部オブジェクトは、人、動物、又は事物を含む。例えば、電子装置101は、ユーザーの顔に対する2Dイメージを獲得する。電子装置101は、カメラモジュール180を用いて獲得した第1のイメージから顔に対応する外部オブジェクトを検出する。顔に対応する外部オブジェクトが検出されない場合、電子装置101は、顔が検出されないことを知らせるメッセージを提供する。
ステップ220において、電子装置101は、第1のイメージに含まれた一つ以上の外部オブジェクトのうちの顔に対応する外部オブジェクトに関連した属性に基づいて生成された3Dグラフィックオブジェクトをディスプレイ(例えば、図1のディスプレイ装置160)を通じて提供する。
外部オブジェクトに関連した属性は、顔に関連した多様な特徴に対して定義される。例えば、外部オブジェクトに関連した属性は、顔を構成する各要素(目、眉毛、鼻、頬骨、唇、歯、頬、あご、額、髪、ひげ、えくぼ、耳、後頭部、側頭部)の形態、色相、各要素間の相対的位置、各要素間の相対的サイズ比、又は頭部のアクセサリ(例えば、イヤリング、ピアシング、メガネ、鼻ピアス)のうちの少なくとも一つ以上を含む。
電子装置101は、顔又は頭部に対する3Dテンプレートに、顔に対応する外部オブジェクトに関連した属性のうちの少なくとも一つを配置して、3Dグラフィックオブジェクトを生成する。電子装置101は、第1のイメージにおいて顔に対応する外部オブジェクトから、この外部オブジェクトに関連した属性のうちの少なくとも一つを抽出し、抽出された属性値を3Dテンプレートに適用して3Dグラフィックオブジェクトを生成する。電子装置101は、例えば外部オブジェクトで、顔の長さ、顔の幅、顔型、顔色、眉間幅、目の大きさ、二重まぶたの有無、眉毛の色、鼻の長さ、鼻の位置、唇のサイズ、唇の位置、頬骨の位置、頬骨の大きさ、又はえくぼの有無に対する属性値のうちの少なくとも一つを3Dテンプレートに適用して3Dグラフィックオブジェクトを生成する。電子装置101は、3Dテンプレートに対して所定の属性値(default値)を用いて3Dグラフィックオブジェクトを生成する。電子装置101は、例えば第1のイメージから抽出されない属性である耳、髪、又は後頭部に関連した属性は、3Dテンプレートに対して定められた属性値をそのまま適用して3Dグラフィックオブジェクトを生成する。3Dグラフィックオブジェクトは、獲得した第1のイメージから抽出された顔に関連した属性値と3Dテンプレートに対して定められた属性値とを両方とも含む。顔又は頭部に対する3Dテンプレートは、データベースに格納される。データベースは、メモリ(例えば、図1のメモリ130)又はサーバ(例えば、図1のサーバ108)に含まれる。電子装置101は、顔に対応する外部オブジェクトに関連した属性及び3Dテンプレートのうちの少なくとも一つを変更して一つ以上の3Dグラフィックオブジェクトを生成する。電子装置101は、生成された一つ以上の3Dグラフィックオブジェクトのうちの少なくとも一つをディスプレイ(例えば、図1のディスプレイ装置160)に表示する。
ステップ230において、電子装置101は、3Dグラフィックオブジェクトに適用される複数のグラフィック属性のうちの選択された少なくとも一つのグラフィック属性、及び3Dグラフィックオブジェクトに基づいて、外部オブジェクトに対する3Dアバターを生成する。3Dグラフィックオブジェクトに適用される複数のグラフィック属性は、明るさ、色対比、唇色、眉毛色、ひげ、ヘアスタイル、又は顔に関連したアクセサリ(例えば、メガネ、帽子、イヤリング、ピアシングなど)を含む。
本発明の多様な実施形態において、3Dグラフィックオブジェクトに適用される複数のグラフィック属性は、顔の動きに対する動きパラメータを含む。動きパラメータは、顔の詳細部位(例えば、眉毛、まぶた、鼻、口元など)の各々の動きの方向及び大きさを含む。電子装置101は、顔に対応する外部オブジェクトに関連した属性に基づいて動きパラメータ値を設定する。例えば、電子装置101は、外部オブジェクトから抽出された口のサイズ又は形態に基づいて動きパラメータのうちの口元の動きに対する方向及び大きさを設定する。
電子装置101は、複数のグラフィック属性のうちの少なくとも一つを3Dグラフィックオブジェクトと共にディスプレイ(例えば、図1のディスプレイ装置160)を通じて提供する。電子装置101は、複数のグラフィック属性のうちのユーザー入力によって選択された少なくとも一つのグラフィック属性を3Dグラフィックオブジェクトに適用する。電子装置101は、例えば複数のグラフィック属性のうちの明るさをディスプレイ(例えば、図1のディスプレイ装置160)に表示し、明るさに対する入力を感知すると、3Dグラフィックオブジェクトに感知された明るさに対する入力値を適用する。電子装置101は、複数のグラフィック属性のうちの表示されたグラフィック属性に対するユーザーの入力に応答して、入力値を適用した3Dグラフィックオブジェクトに対するプレビューをディスプレイ(例えば、図1のディスプレイ装置160)を通じて提供する。
電子装置101は、3Dグラフィックオブジェクトに適用される属性を表示し、表示された属性に対する入力を受信することによってユーザーに3Dグラフィックオブジェクトを編集する機能を提供する。
電子装置101は、複数のグラフィック属性のうちの選択された少なくとも一つのグラフィック属性を3Dグラフィックオブジェクトに適用し、3Dアバターを生成する。電子装置101は、複数のグラフィック属性のうちの選択された少なくとも一つのグラフィック属性を3Dグラフィックオブジェクトに適用し、3Dグラフィックオブジェクトを再加工し、3Dアバターを生成する。電子装置101は、3Dグラフィックオブジェクトを再加工する動作の一部として、3Dグラフィックオブジェクトから不要な情報を削除し、単純化した情報を簡略にして3Dアバターを生成する。
3Dアバターは、メモリ(例えば、図1のメモリ130)又はサーバ(例えば、図1のサーバ108)に格納される。3Dアバターがサーバ(例えば、図1のサーバ108)に格納される場合、電子装置101は、通信モジュール190を通じて3Dアバターをサーバ(例えば、図1のサーバ108)に提供する。3Dアバターは、例えばglTF(gl transmission format)形式で格納される。
ステップ240において、電子装置101は、3Dアバターを用いて所定の表情又は動きが反映された少なくとも一つのオブジェクトを含む第2のイメージを生成する。例えば、電子装置101は、3Dアバターに一つ以上の予め指定された表情又は動きを反映させてオブジェクトを生成する。電子装置は、一つ以上のボディージェスチャーを反映させてオブジェクトを生成する。例えば、電子装置101は、画像(例えば、静止画像、動画像)から人物の身体形態(例えば、身体イメージの境界線を検出)と動きとを検出し、検出した身体形態と動きとが反映された(例えば、検出した身体形態と動きとに対応する骨格(skeleton)情報を生成し、この骨格情報をオブジェクトが類似度の高いボディージェスチャーを行うように身体各部分の形態や動きに反映させる)オブジェクトを生成する。
電子装置は、一つ以上の背景効果を反映させたオブジェクトを生成する。電子装置101は、表情、ボディージェスチャー、背景効果のうちの少なくとも一つに対して予め指定された表情又は動きを適用した3Dアバターに基づいて少なくとも一つのオブジェクトを生成し、少なくとも一つのオブジェクトに基づいて2Dイメージを生成する。電子装置101は、所定の個数の表情又は動きに基づいて、3Dアバターを用いて少なくとも一つのオブジェクトを含む第2のイメージを生成する。例えば、電子装置101は、アバター表情、アバタージェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つが変形された所定の表現セットに基づいて、3Dアバターに所定の表現セットを反映させて、その表現セットの個数に対応するオブジェクトを生成する。生成されたオブジェクトを含む第2のイメージは、アバターキャラクターである。第2のイメージは、少なくとも一つのオブジェクトを含む2Dイメージである。電子装置101は、第2のイメージを静止画像又は動画像に格納する。
多様な実施形態において、電子装置101は、アバターの表情、アバターのジェスチャー、アニメーション効果、及び背景効果のうちの少なくとも一つを反映させた3Dアバターを用いて第2のイメージを生成する。第2のイメージは、メモリ(例えば、図1のメモリ130)又はサーバ(例えば、図1のサーバ108)に格納される。第2のイメージがサーバ(例えば、図1のサーバ108)に格納される場合、電子装置101は、通信モジュール190を介して第2のイメージをサーバ(例えば、図1のサーバ108)に提供する。第2のイメージは、例えば動画像ファイル(例えば、mp4、AGIF等)フォーマットで格納される。
電子装置101は、生成したアバターキャラクターを活用した多様なアプリケーションを提供する。電子装置101は、アバターキャラクターをキーボードアプリケーションを通じて提供する。例えば、電子装置101は、キーボードアプリケーションに含まれたアバターキャラクターを用いてメッセージ送信アプリケーション、写真編集アプリケーション、又はビデオ通話アプリケーションを提供する。アバターキャラクタは、その他の多様なアプリケーションで提供される。
図3は、本発明の一実施形態による電子装置がユーザーに提供する3Dアバターを生成する動作の一例を示す図である。電子装置(例えば、図1の電子装置101)は、カメラモジュール(例えば、図1のカメラモジュール180)を用いて3Dアバターを生成する機能を提供する。電子装置101は、カメラモジュール180を作動させ、ディスプレイ(例えば、図1のディスプレイ装置160)を通じて3Dアバター生成のためのアイコンを含む実行画面を提供する。
図3の(a)を参照すると、実行画面は、イメージ撮影のためのプレビュー画面領域301、3Dアバター生成のためのアイコン302、3Dアバターリスト303、及びカメラ撮影のためのアイコン304を含む。電子装置101は、“アバター作成”のようなテキストを含むアイコン302を表示する。アバター生成のためのアイコン302が選択されると、電子装置101は、カメラモジュール180を用いてユーザーの顔イメージを獲得する。
図3の(b)を参照すると、電子装置101は、3Dアバターを生成しようとする顔を含むオブジェクトを撮影するためのプレビュー画面領域311及びカメラ撮影のためのアイコン312を提供する。カメラの撮影時に顔の多様な角度や表情に対応するイメージを得るために、頭の指向方向又は表情を指示するガイド情報(例えば、頭指向方向ガイド、感情表現模倣ガイドなど)をさらに表示する。カメラ撮影の際に動画像撮影により複数の撮影イメージを受信し得る。
図3の(c)を参照すると、電子装置101は、撮影された顔イメージ321を表示するための領域、アバターの生成時に性別を選択するためのアイコン322、及び選択完了を指示するアイコン323を提供する。電子装置101は、撮影された一つ以上の顔イメージの中の顔に関連した属性に基づいて一つ以上の3Dグラフィックオブジェクトを生成する。電子装置101は、顔イメージから顔に関連した属性を抽出し、顔に対応する3Dテンプレートに抽出した属性を適用してリアルな3Dグラフィックオブジェクトを生成する。電子装置101は、顔イメージから顔に関連した属性を抽出し、抽出した属性を一部変更して顔に対応する3Dテンプレートに適用して、補正された3Dグラフィックオブジェクトを生成する。顔に関連した属性は、例えば、顔を構成する各要素(目、眉毛、鼻、頬骨、唇、歯、頬、あご、額、ひげ、えくぼ、耳)の形態、各要素間の相対的位置、各要素間の相対的サイズ比、色相、及び動き方向のうちの少なくとも一つを含む。電子装置101は、生成された一つ以上の3Dグラフィックオブジェクトのうちの少なくとも一つをディスプレイ(例えば、図1のディスプレイ装置160)を通じて提供し、提供した少なくとも一つの3Dグラフィックオブジェクトのうちの選択された3Dグラフィックオブジェクトを画面に表示する。
図3の(d)を参照すると、電子装置101は、少なくとも一つの3Dグラフィックオブジェクトに対応する一つ以上のアイコン(332、333)及び選択された3Dグラフィックオブジェクトを表示するプレビュー画面領域331を提供する。例えば、電子装置101は、第1の3Dグラフィックオブジェクトに対応するアイコン332及び第2の3Dグラフィックオブジェクトに対応するアイコン333を表示し、選択された第1の3Dグラフィックオブジェクトをプレビュー画面領域331に表示する。電子装置101は、顔イメージ321から顔に関連した属性を抽出し、抽出された属性値を3Dテンプレートに適用して第1の3Dグラフィックオブジェクトを生成する。電子装置101は、顔イメージ321から顔に関連した属性を抽出し、抽出された属性値を3Dテンプレートに適用し、所定の条件に従って3Dテンプレートを補正して第2の3Dグラフィックオブジェクトを生成する。一実施形態において、3Dグラフィックオブジェクトの生成時に、顔に関連した属性からアクセサリ(例えば、メガネ、イヤリング)関連属性を抽出せず、あるいは除くことによって、メガネ属性が除かれた3Dグラフィックオブジェクトを生成する。電子装置101は、2Dイメージから獲得しにくい顔に関連した属性には、3Dテンプレートの所定の属性値(default値)を使用する。電子装置101は、3Dグラフィックオブジェクトに適用される複数のグラフィック属性のうちの少なくとも一つを3Dグラフィックオブジェクトと共に提供する。
電子装置101は、3Dグラフィックオブジェクトに対する肌色属性を調整する選択バー334を提供する。電子装置は、選択バー334を(−)側に移動させる入力に応じて肌色を暗く調整し、選択バー334を(+)側に移動させる入力に応じて肌色を明るく調整する。電子装置101は、入力に応答して、入力された肌色値を3Dグラフィックオブジェクトに適用したプレビューをプレビュー画面領域331に提供する。一実施形態において、選択バー334の初期位置は、電子装置101のカメラモジュール180を通じて受信したプレビュー画面領域311のイメージから抽出した顔領域の属性(例えば、色と明るさ)に従って決定される。このために顔領域の属性を判別するための追加動作を実行する。一例として、電子装置101は、センサモジュール176に含まれた照度センサを通じてカメラモジュール180による撮影時に周辺光の照度を測定し、測定された照度に基づいて抽出した顔領域の属性を補正する。
図3の(e)を参照すると、電子装置101は、ユーザー入力によって選択されたグラフィック属性及び3Dグラフィックオブジェクトに基づいて、ユーザーの顔に対する3Dアバターを生成する。電子装置101は、プレビュー領域に生成された3Dアバター341を表示する。電子装置101は、一つ以上の3Dアバターを表示するアバターリスト領域342を提供する。電子装置101は、生成された3Dアバター341に対応するアイコン343をアバターリスト領域342に追加して表示する。電子装置101は、3Dアバターを用いて所定の表情又は動きが反映された少なくとも一つのオブジェクトを含む2Dイメージを生成する。例えば、電子装置101は、笑う表情が適用された3Dアバターに基づいてオブジェクトを生成し、そのオブジェクトを含む2Dイメージを生成する。例えば、3Dアバターに既に抽出されたアクセサリ属性を用いてアバターリスト領域342にアクセサリアイコンを追加し、これを選択することで3Dアバターに含まれたオブジェクトを生成する。電子装置101は、2Dイメージを用いてアバターキャラクターを入力する機能を提供する。例えば、電子装置101はアバターキャラクターを入力する機能を含む写真編集を提供する。本発明の多様な実施形態において、電子装置101は、写真編集時に、2Dイメージに含まれた少なくとも一つのオブジェクトのうちの選択されたオブジェクトを写真に追加し、追加されたオブジェクトの位置、サイズ、又は方向を調整して写真を編集する機能を提供する。
図3の(f)を参照すると、電子装置101は、写真編集のための画面に、編集される写真を表示するための領域351、アバターキャラクターを入力する機能を提供するためのアイコン352、及び選択されたアバターキャラクターに含まれた一つ以上のオブジェクトを表示する領域353を表示する。アバターキャラクターに含まれた一つ以上のオブジェクトは、アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つを含む。電子装置101は、選択されたアバターキャラクターに含まれる一つ以上のオブジェクトのうちから選択された第1のオブジェクト354を編集するための写真を追加して、編集される写真を表示するための領域351に、オブジェクト355を含む写真を表示する。第1のオブジェクト354は、しかめる表情3541、両手で顔を覆うジェスチャー3542、及び頭上の雲の背景3543を含む。電子装置101は、ユーザー入力によって、編集される写真を表示するための領域351上に表示されたオブジェクト355の位置、大きさ、又は方向を変更する。
図4A〜図4Cは、本発明の一実施形態による電子装置によって生成された3Dグラフィックオブジェクト及び3Dグラフィックオブジェクトに適用可能なグラフィック属性の例を示す図である。
図4Aを参照すると、電子装置101は、ユーザーの顔イメージに基づいて生成された少なくとも一つの3Dグラフィックオブジェクトを含む画面(410、420)を表示する。電子装置101は、顔に関連した属性値を多様に適用して3Dグラフィックオブジェクトを多様に生成する。電子装置101は、ユーザーの顔イメージから抽出された目、鼻、及び口を3Dテンプレートに適用して、第1の3Dグラフィックオブジェクトを生成する。電子装置101は、所定の補正基準により、ユーザーの顔イメージから抽出された目、鼻、及び口を補正し、3Dテンプレートに適用して第2の3Dグラフィックオブジェクトを生成する。例えば、所定の補正基準は、ユーザーの顔イメージから抽出した目の大きさを所定値に変更し、鼻の位置及び形態を所定値に変更し、唇の形態及び色を所定値に変更するように設定する。
図4Aを参照すると、電子装置101は、第1の3Dグラフィックオブジェクトに対応する第1のアイコン411及び第2の3Dグラフィックオブジェクトに対応する第2のアイコン412を表示し、ユーザーの入力によって第1のアイコン411が選択されると、第1の3Dグラフィックオブジェクトを画面410に表示し、ユーザー入力によって第2のアイコン412が選択されると、第2の3Dグラフィックオブジェクトを画面420に表示する。
電子装置101は、3Dグラフィックオブジェクト及び3Dグラフィックオブジェクトに適用可能な属性を示すアイコンを共に表示する。図4Bを参照すると、電子装置101は、3Dグラフィックオブジェクトの肌色に対する属性を設定するためのアイコンとして選択バー413を表示し、選択バー413に対するユーザー入力によって肌色を暗くするか、又は明るくする。電子装置101は、肌色を暗くするユーザー入力に応答して3Dグラフィックオブジェクトに暗い肌色を適用した画面430を表示し、肌色を明るくするユーザー入力に応答して3Dグラフィックオブジェクトに明るい肌色を適用した画面440を表示する。
電子装置101は、3Dグラフィックオブジェクトに適用可能な一つ以上の属性をパラメータとして定義し、そのパラメータに所定の属性値(default値)を指定する。電子装置101は、2Dイメージから、3Dグラフィックオブジェクトに適用可能な一つ以上の属性に対応する属性値を抽出する。3Dグラフィックオブジェクトに適用可能な一つ以上の属性は、2Dイメージに含まれる外部オブジェクトに適用可能な一つ以上の属性に対応する。例えば、外部オブジェクトに適用可能な目、鼻、口、ヘアスタイル、又はメガネは、3Dグラフィックオブジェクトに適用される。電子装置101は、3Dテンプレートに対応して、3Dグラフィックオブジェクトに適用可能な一つ以上の属性に対して指定される属性値を選択する。電子装置101は、ユーザー入力に基づいて3Dグラフィックオブジェクトに適用可能な一つ以上の属性値を生成する。
例えば、図4Cを参照すると、電子装置101は、3Dグラフィックオブジェクトに適用可能なヘアスタイル属性を編集するための画面450、メガネアクセサリ属性を編集するための画面460、及び3Dアバター衣装属性を編集するための画面470を提供する。電子装置101は、3Dグラフィックオブジェクトに適用可能なヘアスタイル属性に対するヘアスタイルリスト451及びヘアカラーリスト452を提供する。電子装置101は、2Dイメージから抽出した属性又は3Dテンプレートに対応して設定された属性に基づいて、ヘアスタイルリスト451から選択された第1のヘアスタイルをまず適用して3Dグラフィックオブジェクトに表示する。例えば、電子装置101は、2Dイメージから抽出した顔型属性に基づいて、顔型属性にマッチングするヘアスタイルを、第1のヘアスタイルとして選択して優先的に適用する。電子装置101は、選択されたヘアスタイル及びヘアカラーが適用された3Dグラフィックオブジェクトを表示する。電子装置101は、3Dグラフィックオブジェクトに適用可能なメガネアクセサリリスト461を提供し、選択されたメガネアクセサリを3Dグラフィックオブジェクトに適用して表示する。電子装置101は、3Dグラフィックオブジェクトに適用可能な3Dアバター衣装リスト471を提供し、選択された3Dアバター衣装を適用した3Dグラフィックオブジェクトを表示する。
図5は、本発明の一実施形態による電子装置が2Dイメージに基づいて3Dアバターを生成する動作の一例を示す図である。
図5を参照すると、電子装置101は、一つ以上の外部オブジェクトを含む2Dイメージから顔に対応する外部オブジェクトを抽出する。具体的に、電子装置101は、ユーザーの顔を含む2Dイメージ510から顔に対応する外部オブジェクト511を抽出する。電子装置101は、顔検出アルゴリズムを用いて2Dイメージ510に顔が含まれるか否かを判定する。例えば、外部オブジェクトを抽出する方法の少なくとも一部は、規則基盤モデル(rule−based model)、又は機械学習、神経網(nerve network)、及び深層学習アルゴリズムのうちの少なくとも一つによって学習された人工知能モデルを利用する。電子装置101は、サーバから人工知能モデルを受信する。例えば、電子装置101は、MTCNN(Multi−Task Cascaded Neural Network)を用いて、2Dイメージ510から顔に対応する外部オブジェクト511を抽出する。
外部オブジェクト511は、顔に関連した属性を示す目(521、522)、鼻523、又は唇524を含む。電子装置101は、外部オブジェクト511に適用可能な属性をパラメータとして定義し、外部オブジェクト511から抽出された属性値をパラメータの値として指定する。外部オブジェクト511に適用可能な属性は、例えば性別、人種、年齢、魅力度、表情、ヘアカラー、分け目、髪の長さ、頬骨、顔型、肌色、目の位置、目の大きさ、眉毛の長さ、眉毛形、眉毛の大きさ、鼻の長さ、鼻の位置、鼻の形態、唇の形態、唇色、唇長さ、帽子、メガネ、イヤリング、ネックレス、リップカラー、及びネクタイスタイルのうちの少なくとも一つを含む。例えば、電子装置101は、性別(gender)に対するパラメータを定義し、女性又は男性の値を指定する。
電子装置101は、3Dアバターを生成するための3Dテンプレート530を決定する。3Dテンプレートは、生成される3Dアバターのタイプによって多様に変わる。例えば、電子装置101は、性別、人種、国籍、又は年齢に従って異なる3Dテンプレートを利用する。他の例として、電子装置101は、動物、キャラクター、又は事物に対して3Dアバターを生成し、動物の形状、キャラクターの形状、又は事物の形状に応じて多様な3Dテンプレートを利用する。電子装置101は、外部の電子装置から少なくとも一つの3Dテンプレートを受信する。電子装置101は、2Dイメージ510から抽出した外部オブジェクト511に関連した属性を3Dテンプレートに適用して3Dアバター540を生成する。電子装置101は、2Dイメージ510から抽出した外部オブジェクト511に関連した属性を3Dテンプレートに適用して生成した3Dグラフィックオブジェクト(図示せず)を提供する。外部オブジェクトに適用される属性は、3Dグラフィックオブジェクトに適用される。
電子装置101は、外部オブジェクトから抽出された属性及びユーザー入力によって選択された属性を反映させて3Dグラフィックオブジェクトを生成し、3Dグラフィックオブジェクトに基づいて3Dアバター540を生成する。電子装置101は、外部オブジェクト511の目521を3Dテンプレート530の目の領域に適用して3Dアバター540を生成する。電子装置101は、外部オブジェクト511から抽出されない属性、例えばヘアスタイルに対して、3Dテンプレート530に所定の属性値で3Dアバター540を生成する。電子装置101は、外部オブジェクトに適用可能な属性に対して一つ以上のサンプル属性をディスプレイ(例えば、図1のディスプレイ装置160)を通じてユーザーに提供する。電子装置101は、ユーザーの選択により、一つ以上のサンプル属性のうちの選択された属性を適用して3Dアバター540を生成する。電子装置101は、2Dイメージから抽出した属性又は所定の3Dテンプレートに基づいて、一つ以上のサンプル属性のうちの推薦属性を選択して提供する。電子装置101は、サンプル属性が反映された3Dグラフィックオブジェクトをディスプレイ(例えば、ディスプレイ装置160)を通じて提供し、ユーザーにプレビューを提供する。
図6は、本発明の一実施形態による電子装置が3Dアバターを用いて生成した少なくとも一つのオブジェクトを含む2Dイメージの例を示す図である。電子装置101は、3Dアバターに一つ以上の指定された表情又は動きを適用して一つ以上のオブジェクトを生成する。オブジェクトは、アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つに応じて決定される。例えば、一つ以上の指定された表情又は動きは、アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つに対して指定される。例えば、アバターの表情は、笑い表情、泣き表情、又は無心な表情が指定され、アバターのジェスチャーは、手でハートを作るジェスチャー、アバターの頭をうなずくジェスチャーが指定される。アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つは、動く動作として指定される。
電子装置101は、カメラ(例えば、図1のカメラモジュール180)を用いて獲得した2Dイメージから抽出した顔に対応する外部オブジェクトに対して生成したアバターを利用して、指定された表情又は動きを適用して少なくとも一つのオブジェクトを生成する。電子装置101は、所定個数の指定された表情又は動きを3Dアバターに適用して所定個数のオブジェクトを一度に生成する。例えば、電子装置101は、18タイプの所定の表現のセットを3Dアバターに適用して18タイプのオブジェクトを生成する。18タイプの指定された表現のセットは、アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つを変形して指定される。一つ以上のオブジェクトを含む2Dイメージはアバターキャラクターである。電子装置101は、アバターキャラクターをディスプレイ(図1のディスプレイ装置160)を通じて提供する。
電子装置101は、一つ以上の3Dアバターを用いて一つ以上のアバターキャラクターを生成し、3Dアバターキャラクターリストをディスプレイ(例えば、ディスプレイ装置160)を通じて提供する。例えば、電子装置101は、アバターキャラクター610をディスプレイ(例えば、ディスプレイ装置160)に表示し、アバターキャラクター610に含まれた一つ以上のオブジェクトを第1の領域611に表示する。第1の領域611は、アバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つが異なる複数のオブジェクトを含む。アバターキャラクター610に含まれた一つ以上のオブジェクトのうちの第1のオブジェクト620は、アバター621及び背景画面622を含む。第1のオブジェクト620のアバター621は、予め指定された表情又はジェスチャーによって生成され、第1のオブジェクト620の背景画面622は、付加オブジェクト623を含む。第1のオブジェクト620のアバター621又は背景画面622には、アニメーション効果が適用される。例えば、背景画面622の付加オブジェクト623は、左右に動く効果を有する。アバターキャラクターは、静止画像又は動画像である。アバターキャラクターが動画像である場合、オブジェクトのアバター表情、アバタージェスチャー、背景画面、及び付加オブジェクトのうちの少なくとも一つが動く。
図7は、本発明の一実施形態による電子装置がアバターキャラクターを用いて写真を編集する機能の一例を示す図である。
電子装置101は、写真編集画面710でアバターキャラクターのうちの選択されたオブジェクトを所定の第1の位置711に表示する。電子装置101は、ユーザー入力によってオブジェクトを第1の位置711から他の位置に移動させる。電子装置101は、オブジェクトが第2の位置721に移動した写真編集画面720を表示する。電子装置101は、ユーザー入力によってオブジェクトの大きさ又は方向を変更する。電子装置101は、大きさ又は方向が変更されたオブジェクト731を含む写真編集画面730を表示する。
図8は、本発明の一実施形態による電子装置がアバターキャラクターのうちの選択されたオブジェクトをメッセージで伝送する機能の一例を示す図である。電子装置101は、3Dアバターを用いて生成したアバターキャラクターをキーボードアプリケーションを通じて提供する。電子装置101は、キーボードアプリケーションに含まれたアバターキャラクターをメッセージ伝送アプリケーションを通じて提供する。例えば、図8の(a)に示すように、電子装置101は、メッセージを伝送するためのアプリケーションが実行される画面領域810を提供する。画面領域810は、メッセージ内容を表示する第1の領域811、メッセージ作成のためのアイテムリストを表示する第2の領域812、及びメッセージ作成のためのアイテムのうちの選択されたアイテムに含まれるオブジェクトを表示する第3の領域813を含む。メッセージ作成のためのアイテムは、文字入力アイテム、写真入力アイテム、ファイル添付アイテム、音声入力アイテム、位置伝送アイテム、又はアバターキャラクター入力アイテムを含む。
電子装置101は、カメラ(例えば、図1のカメラモジュール180)を用いて獲得した第1のイメージに含まれた外部オブジェクトに対応して生成された3Dアバターを用いて、所定の表情又は動きが反映された少なくとも一つのオブジェクトを含む第2のイメージをアバターキャラクターとして提供する。電子装置101が生成したアバターキャラクターを入力するためのアバターキャラクター入力アイテムは、メッセージ作成のためのアイテムに含まれる。電子装置101は、アバターキャラクター入力アイテム814を第2の領域812に含めて表示する。電子装置101は、表示されたアイテムリストのうちのアバターキャラクター入力アイテム814の選択に応答して、第3の領域813にアバターキャラクターを提供する。
電子装置101は、図8の(b)に示すように、メッセージを伝送するためのアプリケーションが実行された画面領域820で一つ以上のアバターキャラクターのうちの選択された第1のアバターキャラクター821に含まれる一つ以上のオブジェクトを第1の領域822に表示する。電子装置101は、一つ以上のアバターキャラクターをリストに提供する。第1のアバターキャラクター821に含まれる一つ以上のオブジェクトは、異なる表情又は動きを含む。例えば、第1のオブジェクト823は、笑いの表情を含む。
電子装置101は、図8の(c)に示すように、メッセージを伝送するためのアプリケーションが実行された画面領域830に表示された少なくとも一つのオブジェクトのうちの第1のオブジェクト831が選択されたことに応答して、メッセージの内容を表示する第1の領域835に、第1のオブジェクト831のプレビュー832及び送信ボタン833を表示する。電子装置101は、第1のオブジェクト831が動画像である場合、第1のオブジェクト831を再生してプレビュー832を提供する。電子装置101は、送信ボタン833がクリックされることに応答して、選択された第1のオブジェクト831をメッセージを通じて伝送する。
電子装置101は、図8の(d)に示すように、メッセージを伝送するためのアプリケーションが実行された画面領域840でアバターキャラクターのうちの選択された第1のオブジェクト842をメッセージの内容を表示する第1の領域841に表示して提供する。
図9は、本発明の一実施形態による電子装置がアバターキャラクターを用いて連絡先を編集する機能の一例を示す図である。電子装置101は、連絡先を格納及び管理するためのアプリケーション実行画面領域910に、写真アイテム911及び名前アイテム912を表示する。電子装置101は、アバターキャラクターに含まれた一つ以上のオブジェクトのうちの選択されたオブジェクトを連絡先の写真アイテム911に表示する。一実施形態において、電子装置101は、電話の受信に応答して、連絡先の写真アイテム及び名前アイテムをディスプレイ(例えば、図1のディスプレイ装置160)に提供し、連絡先の写真アイテムに格納されたオブジェクトを表示する。
図10は、本発明の一実施形態による電子装置により動物の頭を含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。電子装置101は、外部オブジェクトが動物である場合、動物に対応する3Dテンプレートを用いて3Dアバターを生成する。電子装置101は、ネズミの頭を含む2Dイメージ1001を獲得する。電子装置101は、ネズミの頭を含む2Dイメージ1001から頭に関連した属性を検出する。又は、電子装置101は外部の電子装置又はサーバに2Dイメージ1001を送信し、外部の電子装置又はサーバが頭に関連した属性を検出する。電子装置101、外部の電子装置、又はサーバは、頭に関連した属性に基づいてネズミの頭の属性に対応する3Dテンプレート1002を決定する。電子装置101は、ネズミに対応する3Dテンプレート1002を外部の電子装置又はサーバから受信する。電子装置101は、2Dイメージ1001から抽出したネズミの頭に関連した属性を3Dテンプレート1002に適用して3Dアバター1003を生成する。例えば、ネズミの頭に関連した属性は、頭を構成する各要素(目、眉毛、鼻、頬骨、唇、歯、頬、あご、額、毛、ひげ、耳、後頭)の形態、色、各要素間の相対的位置、及び各要素間の相対的サイズ比のうちの少なくとも一つ以上を含む。電子装置101は、2Dイメージ1001から動物の頭に対応する外部オブジェクトを抽出するために動物の頭の特徴を分析及び判断した情報を利用する。
図11は、本発明の一実施形態による電子装置によりキャラクターを含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。電子装置101は、外部オブジェクトがキャラクターである場合、キャラクターに対応する3Dテンプレートを用いて3Dアバターを生成する。電子装置101は、キャラクターに対応する3Dテンプレートを外部の電子装置又はサーバから受信する。電子装置101は、キャラクターを含む2Dイメージ1101を獲得する。例えば、キャラクターは、漫画キャラクター、動物キャラクター、植物キャラクター、特定人物に対するキャラクター、事物に対するキャラクター、及び映画ヒーローキャラクターのうちの少なくとも一つを含む。電子装置101は、キャラクターに対応する3Dテンプレート1102を決定する。電子装置101は、2Dイメージ1101から抽出したキャラクターに関連した属性を3Dテンプレート1102に適用して3Dアバター1103を生成する。例えば、キャラクターに関連した属性は、キャラクターを構成する各構成(頭、腕、脚、ボディー)の形態、色、各構成の相対的な位置、各構成の相対的な大きさ、及び各構成に適用されるアクセサリ(ヘアバンド、バック、メガネ、小品)のうちの一つ以上を含む。
図12は、本発明の一実施形態による電子装置により事物を含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。電子装置101は、コンセントを含む2Dイメージ1210を獲得する。電子装置101は、顔特徴抽出アルゴリズムを用いてコンセントから顔に関連した属性に対応する構成を抽出する。一実施形態において、電子装置101は、ユーザー入力によって2Dイメージ1210から顔に関連した属性を指定する。電子装置101は、ユーザー入力によって2Dイメージ1220のうちのコンセントの第1の構成1201を顔形態として指定し、コンセントの第2の構成1202を目として指定し、コンセントの第3の構成1203を口として指定する。電子装置101は、コンセントに対応する3Dアバターを生成するために3Dテンプレート1230を指定する。電子装置101は、一つ以上の3Dテンプレートのうちのコンセントに類似した3Dテンプレートを選択するか、又は所定の3Dテンプレートを利用する。電子装置101は、2Dイメージ1210に対して指定された顔に関連した属性値(1201、1202、1203)を、3Dテンプレート1230に適用して3Dアバターを生成する。電子装置101は、3Dアバターを利用して予め定められた表情に関連した表現属性を反映して一つ以上のオブジェクト(1241、1242、1243)を生成する。電子装置101は、一つ以上のオブジェクトを含む2Dイメージ1240を提供する。
図13及び図14は、本発明の一実施形態による顔に関連した表現属性の例を示す図である。電子装置(例えば、図1の電子装置101又はプロセッサ120)は、少なくとも顔に関連した表現属性を利用して3Dアバターの表情を多様に変更する。顔に関連した表現属性は、状況(circumstance)によって分類され、顔に含まれる構成要素によって定義される。
図13を参照すると、状況は、普通、笑い1、及び笑い2を含み、目に対応する表現属性は、形状により定義され、口に対応する表現属性は形状により定義される。電子装置101は、普通の状況では目に対する属性を指定せず、口に対する属性値は上方が丸い形態を有する半円形状として指定する。電子装置101は、普通の状況の3Dアバターを生成するために、2Dイメージから抽出された目に対する属性値をそのまま適用し、2Dイメージから抽出された口に対する属性値を表現属性によって半円形状に変更して適用する。電子装置101は、類似した状況を一つの状況として分類して指定する。
図12及び図13を参照すると、図12のコンセントは、図13で普通の状況に対応する表情を示す。一実施形態において、電子装置101は、カメラモジュール180を通じて受信した顔オブジェクトが含まれたイメージから顔構成要素の属性を検出し、検出された顔構成要素の属性に対応する表現属性を判別し、判別した表現属性に対応して3Dアバターを変形する。したがって、リアルタイムで受信される顔イメージから変化を感知し、これに対応して3Dアバター1230を変更し、これにより一つ以上のオブジェクト(1241、1242、1243)を変更する。
図14を参照すると、電子装置101は、一般状況、基本状況(デフォルト状況)、及び待機状況を一つの状況として分類し、目に対応する表現属性を表現属性セット1及び表現属性セット2として定義する。図14は、目に関連した複数の表現属性セットを示し、図示しないが、他の構成要素(例えば、鼻、口、耳など)も各々複数の表現属性セットを有する。一実施形態において、表現属性セットは異なる構成要素別に相関関係を有する。例えば、目の表現属性セット1は、口の表現属性セット1と相関関係を有し、目の表現属性セット2は、口の表現属性セット2と相関関係を有する。例えば、一つの属性グループは、相互に相関関係のある表現属性セットを含む。例えば、アバターキャラクター1の場合、これに対応する属性グループ1は、目の表現属性セット1と口の表現属性セット1とを含む相関関係を有する。
図15は、本発明の一実施形態による電子装置により多様な3Dテンプレートを用いて生成された3Dアバターの例を示す図である。電子装置101は、外部オブジェクトを含む2Dイメージに基づいて、3Dアバターを生成する。電子装置101は、2Dイメージ1510に含まれた外部オブジェクトが顔を含むか否かを判定し、顔を含む場合に顔を抽出する。電子装置101は、外部オブジェクトから耳、目、及び口を含む顔領域1520を抽出する。電子装置101は、顔領域1520の中で表現属性を適用する対象1530を選択する。例えば、電子装置101は、抽出された顔領域1520をディスプレイ(例えば、図1のディスプレイ装置160)を通じて提供し、ユーザー入力によって、表示された顔領域1520のうちの対象1530として目を選択する。電子装置101は、3Dアバターを生成するための3Dテンプレート1540を決定する。電子装置101は、2Dイメージ1510の顔に対応する外部オブジェクトとは異なる3Dテンプレート1540を選択する。例えば、電子装置101は、ユーザー入力によって3Dアバターに対応する3Dテンプレートを決定する。3Dテンプレート1540が顔に対応する構成を含まない場合、電子装置101は、3Dテンプレート1540に2Dイメージ1510から抽出した外部オブジェクトの顔を適用するために、3Dテンプレート1540のマッチング領域を選択する。電子装置101は、3Dテンプレート1550の第1の位置1551に外部オブジェクトの顔領域1520をマッチングさせるように決定する。このとき、電子装置101は、外部オブジェクトの顔領域1520が3Dテンプレート1550の上にマッチングする候補領域を表示し、これを選択する動作をさらに含む。例えば、候補領域は、3Dテンプレート1550の上に外部オブジェクトの顔領域1520が3Dテンプレート1550上に配置される条件(例えば、テンプレートのサイズ、形状)を満たす位置であるか否かを判定する動作)をさらに有する。一実施形態において、3Dテンプレート1550は、マッチングされる外部オブジェクトの顔領域1520に基づいて形状が変形する。例えば、電子装置101は、3Dテンプレート1540の第1の位置1551にマッチングしない顔領域1520の一部(例えば、耳)に合わせて変形され、類似度が高い他の3Dテンプレート(図示せず)を決定する。
電子装置101は、3Dテンプレート1540の第1の位置1551に顔領域1520の属性値を適用する。電子装置101は、3Dテンプレート1540に外部オブジェクト1510の属性を適用した3Dグラフィックオブジェクト1560を表示する。電子装置101は、3Dグラフィックオブジェクト1560のうちの表現属性を適用するために選択された対象に所定の表現属性を適用する。電子装置101は、3Dグラフィックオブジェクト1560のうちの選択された目1571に笑う表現属性を適用して、3Dアバター1570を生成する。一実施形態において、電子装置101は、3Dグラフィックオブジェクト1560のうちの表現属性を適用するために対象選択及び表現属性を選択するときに、カメラモジュール180を通じて追加的に受信した顔(例えば、人、動物、又はキャラクターの顔)イメージから顔構成要素の属性を検出し、この検出(例えば、属性変化検出)に基づいて、一つ以上の対象(例えば、外部の3Dグラフィックオブジェクト1560の構成要素(例えば、目1571))及び対象に対応する表現属性を決定し、3Dアバター1570を生成する。
図16及び図17は、本発明の一実施形態による電子装置により事物を含む2Dイメージに基づいて生成された3Dグラフィックオブジェクトに関連した属性の例を示す図である。電子装置101は、3Dグラフィックオブジェクトに適用されるグラフィック属性を生成する。
図16を参照すると、電子装置101は、3Dグラフィックオブジェクトに適用される事物を含む2Dイメージ1601を獲得する。電子装置101は、カメラ(例えば、図1のカメラモジュール180)を利用して獲得した2Dイメージに基づいて3Dグラフィックオブジェクトに適用する一つ以上の属性を生成する。3Dグラフィックオブジェクトに適用される一つ以上の属性は、例えば性別、人種、年齢、魅力度、表情、ヘアカラー、髪の分け目、髪の長さ、頬骨、顔型、肌色、目の位置、目のサイズ、眉毛長さ、眉毛形、眉毛サイズ、鼻の長さ、鼻の位置、鼻の形態、唇形、唇色、唇長さ、帽子、メガネ、イヤリング、ネックレス、リップカラー、及びネクタイスタイルのうちの少なくとも一つを含む。
電子装置101は、ディスプレイ(例えば、図1のディスプレイ装置160)を通じて3Dグラフィックオブジェクトに適用される一つ以上の属性を生成する動作を説明するためのガイド情報を提供する。例えば、電子装置101は、3Dグラフィックオブジェクトに適用される一つ以上の属性に対するリストをディスプレイ(例えば、ディスプレイ装置160)を通じて提供する。電子装置101は、ユーザー入力により選択された属性を生成するために、カメラ撮影に対するガイド情報をディスプレイ(例えば、ディスプレイ装置160)を通じて提供する。電子装置101は、例えばメガネ属性を生成するために“メガネを画面の中心に撮影してください。”のようなガイド情報を提供する。電子装置101は、カメラモジュール180を用いてメガネを含む2Dイメージ1601を獲得する。
電子装置101は、2Dイメージ1601から抽出したメガネに対応する3Dテンプレート1602を決定する。電子装置101は、2Dイメージ1601から抽出した事物に対応する3Dテンプレートを決定するために外部の電子装置又はサーバから、2Dイメージ1601から抽出した事物に関連した少なくとも一つの3Dテンプレートを要請及び受信する。例えば、電子装置101は、事物に対する名前を検索して3Dテンプレートを獲得する。電子装置101は、2Dイメージ1601から抽出されたメガネに基づいてメガネに関連した属性を抽出し、抽出したメガネの属性値を3Dテンプレート1602に適用してグラフィック属性1603を生成する。電子装置101は、生成されたグラフィック属性1603をグラフィック属性リスト領域に表示する。電子装置101は、ユーザーにプレビューを提供するために生成されたグラフィック属性1603を3Dグラフィックオブジェクト1604に適用して表示する。電子装置101は、生成されたグラフィック属性1603を修正又は削除する機能を提供する。電子装置101は、生成されたグラフィック属性1603を修正するために、カメラモジュール180を用いて他の2Dイメージを獲得する。電子装置101は、生成されたグラフィック属性1603を修正するためにメガネに対応する3Dテンプレート1602を変更する。
図17を参照すると、電子装置101は、3Dグラフィックオブジェクトに適用される属性を含む2Dイメージ1701を獲得する。電子装置101は、2Dイメージ1701から属性を抽出する。3Dグラフィックオブジェクトに適用される属性は、色、模様、又は形状を含む。例えば、属性は、赤い色のチェック柄である。電子装置101は、2Dイメージ1701から抽出した属性を適用する3Dテンプレート1702を選択する。電子装置101は、上着に対応する3Dテンプレート1702を選択し、抽出した属性を選択された3Dテンプレート1702に適用して、グラフィック属性1703を生成する。電子装置101は、生成したグラフィック属性1703をディスプレイ(例えば、ディスプレイ装置160)を通じて提供し、グラフィック属性1703が選択されると、3Dグラフィックオブジェクト1704にグラフィック属性1703を適用して表示する。
図18は、本発明の一実施形態による電子装置により顔に対応する外部オブジェクト及び付加オブジェクトを含む2Dイメージに基づいて生成された3Dアバターの例を示す図である。電子装置101は、2Dイメージ1810に含まれた一つ以上の外部オブジェクト(1811、1812、1813)を抽出する。電子装置101は、抽出した一つ以上の外部オブジェクト(1811、1812、1813)が顔に対応するか否かを判定する。例えば、電子装置101は、第1の外部オブジェクト1811及び第2の外部オブジェクト1812は、人の顔に対応すると判定し、第3の外部オブジェクト1813は、顔に対応しないと判定する。電子装置101は、顔に対応しない外部オブジェクトを含む3Dアバターを生成する。電子装置101は、一つ以上の外部オブジェクトが所定の付加オブジェクトに含まれるか否かを判定する。付加オブジェクトは、顔に対応しないが、3Dアバターに含まれるオブジェクトを示すもので、例えば、ランドマーク、キャラクター、又はユーザーが指定したオブジェクトである。電子装置101は、2Dイメージに含まれた一つ以上の外部オブジェクトがランドマーク、キャラクター、又はユーザーが指定したオブジェクトに対応する場合、外部オブジェクトを含む3Dアバターを生成する。
図18を参照すると、2Dイメージ1810は、二人の人物とエッフェル塔を含む。電子装置101は、エッフェル塔を付加オブジェクトと判定し、エッフェル塔を含む3Dアバターを生成する。電子装置101は、一つ以上の外部オブジェクト(1811、1812、1813)の中で顔に対応する第1の外部オブジェクト1811、顔に対応する第2の外部オブジェクト1812、及び付加オブジェクトに対応する外部オブジェクト1813を含む3Dアバター1820を生成する。電子装置101は、第1の外部オブジェクト1811、第2の外部オブジェクト1812、及び第3の外部オブジェクト1813に基づき、それぞれの3Dグラフィックオブジェクトを生成し、3Dグラフィックオブジェクトに適用されるグラフィック属性を決定して3Dアバター1820を生成する。電子装置101は、第1の外部オブジェクト1811、第2の外部オブジェクト1812、及び第3の外部オブジェクト1813のうちの少なくとも一つにアバターの表情、アバターのジェスチャー、背景画面、又はアニメーション効果を適用して3Dアバター1820を生成する。例えば、電子装置101は、第1の外部オブジェクト1811に驚く表情を適用するか、第2の外部オブジェクト1812に指ハートのボディージェスチャーを適用するか、あるいは第3の外部オブジェクト1813のサイズを調整する。
図19A及び図19Bは、本発明の一実施形態による電子装置が複数の外部オブジェクトに基づいて生成した複数の3Dアバターを含むイメージを生成する動作の一例を示す図である。図20は、本発明の一実施形態による3Dアバターに対する表現属性の例を示す図である。電子装置101は、複数の外部オブジェクトを含む2Dイメージに基づいて、顔に対応する一つ以上の外部オブジェクトを選択し、選択された外部オブジェクトに対応する3Dアバターを生成する。
まず、図19Aを参照すると、電子装置101は、三人の顔が含まれた2Dイメージ1910を獲得する。電子装置101は、2Dイメージ1910から一つ以上の外部オブジェクトを抽出し、抽出された外部オブジェクトが顔に対応するか否かを判定する。電子装置101は、抽出された顔に対応する外部オブジェクト(1911、1912、1913)を指示する識別子(例えば、点線の四角形)を2Dイメージ1920に表示する。電子装置101は、顔に対応する第1の外部オブジェクト1911、第2の外部オブジェクト1912、及び第3の外部オブジェクト1913に対して順次に3Dアバターを生成する。電子装置101は、複数の外部オブジェクトに対応する複数の3Dアバターを生成するために一つ以上の3Dアバターを利用する。電子装置101は、外部オブジェクトに対応する3Dアバターを選択するために、一つ以上の3Dアバターをディスプレイ(例えば、ディスプレイ装置160)を通じて提供し、ユーザー入力によって選択された3Dアバターを外部オブジェクトに対応させると決定する。電子装置101は、複数の外部オブジェクトのうち、入力装置150を介して受信したユーザー入力によって第1の外部オブジェクト1931が選択されたことに応答し、選択された第1の外部オブジェクト1931を指示する識別子(例えば、円形の図形)を2Dイメージ1930に表示する。電子装置101は、選択された第1の外部オブジェクト1931に対応する一つ以上の3Dアバター1935を表示する。一つ以上の3Dアバター1935は、カテゴリに応じて動物に関連した動物3Dセット19341及び女性ヒーローに関連した女性セット19352を含む。一つのカテゴリは、関連した各キャラクターの表現属性セットを含み、各キャラクターの表現属性セットは、キャラクターの構成要素(例えば、ボディー、目、鼻、口、手、足)の各々に対して、状況に対応する表現属性サブセット(例えば、表現属性セット(目))を含む。
電子装置101は、2Dイメージ1940で一つ以上の3Dアバターのうちの第1の外部オブジェクト1941に対応する第1の3Dアバター1942を選択して表示する。電子装置101は、第1の外部オブジェクト1911の顔とボディージェスチャーに関連した属性のうちの少なくとも一つに基づき、顔とボディージェスチャーのうちの少なくとも一つの状況に対応する表情が反映された第1の3Dアバターを生成する。
図20を参照すると、一つ以上の3Dアバターは、所定の状況によって表情に関連した所定の表現属性を含む。電子装置101は、一つ以上の状況を定義し、状況によって3Dアバターの表情に関連した表現属性を定義する。3Dアバターの表現属性は、顔に対応する目、鼻、又は口に対する形状及び動きを含み、顔以外の構成に対応する頭、耳、腕、脚、又は腹に対する形状及び動きを含む。例えば、電子装置101は、一般状況2011を定義し、一つ以上のアバターに対する表現属性(2021、2031)を定義する。
図19Bを参照すると、電子装置101は、第1の外部オブジェクト1951の笑い表情に応じて、笑い表情の属性を反映して第1の3Dアバターを生成する。電子装置101は、2Dイメージ1950のうちの第1の外部オブジェクト1951に対応して第1の3Dアバター1952が選択されることに対応し、他の外部オブジェクトに対応した3Dアバターを生成するために第1の3Dアバター1952と同一のカテゴリに属する3Dアバター1955を推薦する。例えば、第1の3Dアバター1952が動物に関連したカテゴリに属する場合、電子装置101は、動物3Dセットを含む3Dアバター1955を表示する。
電子装置101は、2Dイメージ1960から選択された第2の外部オブジェクト1961に対応して第2の3Dアバター1962を選択し、順に2Dイメージ1970から選択された第3の外部オブジェクト1971に対応して第3の3Dアバター1972を選択する。電子装置101は、複数の外部オブジェクト(1951、1961、1971)に対応して選択された複数の3Dアバター(1952、1962、1972)に複数の外部オブジェクトの顔に関連した属性に基づいて選択された表情属性を適用した3Dアバター(1981、1982、1983)を含むイメージ1980を生成する。
一実施形態において、電子装置101は、複数の外部オブジェクトがある場合、選択した外部オブジェクトの表情属性及び選択したアバターカテゴリによって、他の選択された外部オブジェクトのために推薦され表示される3Dアバター1955を決定する。例えば、第1の人物が笑う表情であり、第2の人物が泣く表情である場合、第3の人物に対応する外部オブジェクトを選択する場合、推薦される3Dアバター1955の表現特性は、同一のカテゴリに含まれるキャラクターのうちの笑い又は泣きに対応する3Dアバターを含む。
図21は、本発明の一実施形態による電子装置がビデオ通話機能で3Dアバターを生成する動作の一例を示す図であり、図22は、本発明の一実施形態による電子装置がビデオ通話相手の電子装置と3Dアバターを共有する動作の一例を示す図である。電子装置101は、ビデオ通話機能を提供し、ビデオ通話の画面に表示された外部オブジェクトのうち、顔に対応する外部オブジェクトに対して3Dアバターを生成する。電子装置101は、ビデオ通話をする相手の電子装置と3Dアバターを共有する。
図21の(a)を参照すると、電子装置101は、ビデオ通話機能を実行し、ビデオ通話が接続されると、ビデオ通話画面2101が表示する。電子装置101は、表示されたビデオ通話画面2101から一つ以上の外部オブジェクト(2110、2120)を抽出し、抽出された外部オブジェクトが顔に対応するか否かを判定する。電子装置101は、第1の外部オブジェクト2110及び第2の外部オブジェクト2120に対応して順次に3Dアバターを生成する。図21の(b)を参照すると、電子装置101は、第2の外部オブジェクト2120に対する選択に応答して一つ以上の3Dアバター2130を表示する。図21の(c)を参照すると、電子装置101は、ユーザーの入力によって選択された第1の3Dアバター2131を第2の外部オブジェクト2120に対応させると決定する。図21の(d)を参照すると、電子装置101は、第1の外部オブジェクト2110に対する選択に応答して、第1の3Dアバターに基づいて選択された一つ以上の3Dアバター2140を表示する。
電子装置101は、一つ以上の3Dアバター2140のうちの選択された第2の3Dアバター2132を第1の外部オブジェクト2110に対応させると決定する。一実施形態において、電子装置101は、第1の外部オブジェクト2110に対する選択に応答して、第1の3Dアバターに基づいて選択された一つ以上の3Dアバター2140を相手の電子装置に送信する。相手の電子装置は、電子装置101が送信した第1の3Dアバターに基づいて選択された一つ以上の3Dアバター2140を受信してビデオ通話画面2210に表示し、これらのうちの一つ(例えば、3Dアバター2132)を選択する動作を実行する。電子装置101は、相手の電子装置により選択された3Dアバター2132に対応する信号を受信する。
一実施形態において、電子装置101は、選択された外部オブジェクト2120に対応して選択された3Dアバター2131のカテゴリ又は表情属性に基づき、以後に選択された外部オブジェクト2110に対応して同一のカテゴリ又は表情属性の3Dアバター2130を決定して表示する。
図21の(e)を参照すると、電子装置101は、ビデオ通話画面で外部オブジェクトに対応する3Dアバター(2111、2121)を表示して提供する。
図22の(a)を参照すると、電子装置101は、相手の電子装置とビデオ通話をする場合、電子装置101のビデオ通話画面2210にユーザーに対応する外部オブジェクト2211及び相手に対応する外部オブジェクト2212を表示し、相手の電子装置のビデオ通話画面2220に相手に対応する外部オブジェクト2221及びユーザーに対応する外部オブジェクト2222を表示する。このとき、相手の電子装置も外部オブジェクトを選択し、これに対応する3Dアバターを表示して選択する動作を実行する。このために表示されるインジケータ及び3Dアバターを電子装置101が相手の電子装置に送信する。
図22の(b)を参照すると、電子装置101は、ユーザーに対応する外部オブジェクト2211及び相手に対応する外部オブジェクト2212に対応する3Dアバターを生成する。電子装置101は、ビデオ通話画面2230に生成した3Dアバター(2231、2232)を表示し、相手の電子装置に3Dアバター(2231、2232)を送信する。相手の電子装置は、受信した3Dアバター(2241、2242)をビデオ通話画面2240に表示する。
本発明の一実施形態による電子装置(例えば、図1の電子装置101)は、カメラ(例えば、図1のカメラモジュール180))、ディスプレイ(例えば、図1のディスプレイ装置160)、及びプロセッサ(例えば、図1のプロセッサ120)を備え、プロセッサ120は、カメラモジュール180を用いて、一つ以上の外部オブジェクトに対する第1のイメージを獲得し、第1のイメージに含まれた一つ以上の外部オブジェクトのうちの顔に対応する外部オブジェクトに関連した属性に基づいて生成された3Dグラフィックオブジェクトをディスプレイ装置160を通じて提供し、3Dグラフィックオブジェクトに適用される複数のグラフィック属性のうちの選択された少なくとも一つのグラフィック属性及び3Dグラフィックオブジェクトに少なくとも基づいて、外部オブジェクトに対する3Dアバターを生成し、3Dアバターを用いて指定された表情又は動作が反映された少なくとも一つのオブジェクトを含む第2のイメージを生成する。
一実施形態において、プロセッサ120は、3Dグラフィックオブジェクトを生成する動作の少なくとも一部として、外部オブジェクトに対応する少なくとも一つの属性を含む3Dテンプレートを決定し、第1のイメージから外部オブジェクトに関連した属性を抽出し、抽出された属性を3Dテンプレートの対応する少なくとも一つの属性に適用させて3Dグラフィックオブジェクトを生成する。一実施形態において、プロセッサ120は、第1のイメージから外部オブジェクトに関連した属性を抽出する動作の少なくとも一部として、第1のイメージから顔を構成する少なくとも一つの要素を抽出し、各要素の形態、色、各要素間の相対的位置、各要素間の相対的サイズ比、又は各要素のアクセサリに対する属性値を確認する。一実施形態において、プロセッサ120は、抽出された属性と関係ない3Dテンプレートの属性に対して、3Dテンプレートに所定の属性を適用して3Dグラフィックオブジェクトを生成する。一実施形態において、プロセッサ120は、顔に対応する外部オブジェクトと異なる3Dテンプレートを決定する。一実施形態において、オブジェクトは、アバターの表情、アバターのジェスチャー、背景画面、又はアニメーション効果に対応して決定され、プロセッサ120は、3Dアバターを用いて指定された表情又は動きが反映された少なくとも一つのオブジェクトを含む第2のイメージを生成する動作の少なくとも一部として、3Dアバターを用いてアバターの表情、アバターのジェスチャー、背景画面、及びアニメーション効果のうちの少なくとも一つに対して指定された値が反映された少なくとも一つのオブジェクトを生成する。一実施形態において、プロセッサ120は、一つ以上の外部オブジェクトのうちの第1の外部オブジェクトに対して、ユーザー入力によって顔に対応する少なくとも一つの構成を第1の外部オブジェクトの構成に対応させる。一実施形態において、プロセッサ120は、一つ以上の外部オブジェクトのうちの所定の条件を満たす第1の外部オブジェクトに基づいてグラフィック属性を生成する。一実施形態において、プロセッサ120は、第1の外部オブジェクトに対応する3Dテンプレート又はユーザー入力によって所定の3Dテンプレートを決定し、決定された3Dテンプレートに第1の外部オブジェクトの属性を適用してグラフィック属性を生成する。一実施形態において、プロセッサ120は、一つ以上の外部オブジェクトのうちの顔に対応しない付加オブジェクトを選択し、選択された付加オブジェクトを含んで3Dアバターを生成する。一実施形態において、プロセッサ120は、生成された第2のイメージを外部電子装置に伝送する。一実施形態において、第1のイメージは2Dイメージに対応し、第2のイメージは静止画像又は動画像の2Dイメージに対応する。
本発明の一実施形態による電子装置(例えば、図1の電子装置101)は、カメラ(例えば、図1のカメラモジュール180)及びプロセッサ(例えば、図1のプロセッサ120)を備え、プロセッサ120は、カメラモジュール180を用いて一つ以上の外部オブジェクトに対する第1のイメージを獲得し、第1のイメージに含まれた一つ以上の外部オブジェクトのうちの顔に対応する外部オブジェクトに基づいて、一つ以上の3Dアバターのうちの外部オブジェクトに対応する3Dアバターを選択し、外部オブジェクトの顔に対応する表情が反映された3Dアバターを用いて生成したオブジェクトを含む第2のイメージを生成する。本実施形態による電子装置は、通信モジュール(例えば、図1の通信モジュール190)をさらに含み、プロセッサ120は、通信モジュール190を通じて一つ以上の3Dアバターを受信する。一実施形態において、プロセッサ120は、一つ以上の状況に対応して所定の顔の表情に関連した表現属性のうちの外部オブジェクトの顔に対応する表情に基づいて選択された第1の表現属性を3Dアバターに反映する。一実施形態において、一つ以上の状況に対応して所定の顔表情に関連した表現属性は、目、鼻、又は口に対応して定義される。一実施形態において、オブジェクトは、アバターの表情、アバターのジェスチャー、背景画面、又はアニメーション効果を含む。一実施形態において、プロセッサは、相手とのビデオ通話が開始されることに基づいて相手の3Dアバターを含むビデオデータを受信し、ビデオ通話中に3Dアバター及び相手の3Dアバターを一つの画面に表示する。
本発明の一実施形態による電子装置(例えば、図1の電子装置101)は、カメラ(例えば、図1のカメラモジュール180)、及びプロセッサ(例えば、図1のプロセッサ120)を備え、プロセッサ120は、カメラモジュール180を用いて一つ以上の外部オブジェクトに対する第1のイメージを獲得し、第1のイメージに含まれた一つ以上の外部オブジェクトのうちの顔に対応する外部オブジェクトを含むか否かを確認する。その結果、プロセッサ120は、顔に対応する外部オブジェクトを含む場合、外部オブジェクトに関連した属性に基づいて3Dアバターを生成し、顔に対応する外部オブジェクトを含まない場合、3Dアバターを生成する動作をしないように設定する。本実施形態による電子装置は、ディスプレイ(例えば、図1のディスプレイ装置160)をさらに含み、プロセッサ120は、ディスプレイ160を通じて一つ以上の外部オブジェクトのうちの顔に対応する外部オブジェクトが含まれるか否かを提供する。
以上、本発明の詳細な説明において、具体的な実施形態に関して説明したが、本発明の技術範囲を逸脱しない範囲内で、様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。したがって、本発明は、上述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められる。
100 ネットワーク環境
101、102、104 電子装置
108 サーバ
120 プロセッサ
121 メインプロセッサ
123 補助プロセッサ
130 メモリ
132 揮発性メモリ
134 不揮発性メモリ
136 内蔵メモリ
138 外部メモリ
140 プログラム
142 オペレーティングシステム
144 ミドルウェア
146 アプリケーション
150 入力装置
155 音響出力装置
160 ディスプレイ装置
170 オーディオモジュール
176 センサモジュール
177 インターフェース
178 接続端子
179 ハプティックモジュール
180 カメラモジュール
188 電力管理モジュール
189 バッテリー
190 通信モジュール
192 無線通信モジュール
194 有線通信モジュール
196 加入者識別モジュール
197 アンテナモジュール
198 第1のネットワーク
199 第2のネットワーク
301、311、331 プレビュー画面領域
302、304、312、322、323、332、333、343、352、411、412 アイコン
303 3Dアバターリスト
321 顔イメージ
334、413 選択バー
341、540、1003、1103、1570、1820、1935、1942、1952、1955、1962、1972、1981、1982、1983、2111、2121、2130、2131、2132、2140、2231、2232、2241、2242 3Dアバター
342 アバターリスト領域
351、353、611、811、812、813、822、835、841 領域
354、355、620、731、823、831、842、1241、1242、1243 オブジェクト
410、420、430、440、450、460、470 画面
451 ヘアスタイルリスト
452 ヘアカラーリスト
461 メガネアクセサリリスト
471 3Dアバター衣装リスト
510、1001、1101、1210、1220、1240、1510、1601、1701、1810、1910、1920、1930、1940、1950、1960、1970 2Dイメージ
511、1510、1811、1812、1813、1911、1912、1913、1931、1941、1951、1961、1971、2110、2120、2211、2212、2222 外部オブジェクト
521、522、1571 目
523 鼻
524 唇
530、1002、1102、1230、1540、1550、1602、1702 3Dテンプレート
610、821 アバターキャラクター
621 アバター
622 背景画面
623 付加オブジェクト
710、720、730 写真編集画面
711、721、1551 位置
810、820、830、840 画面領域
814 アバターキャラクター入力アイテム
832 プレビュー
833 送信ボタン
910 アプリケーション実行画面領域
911 写真アイテム
912 名前アイテム
1201、1202、1203 構成(属性値)
1520 顔領域
1530 対象
1560、1604、1704 3Dグラフィックオブジェクト
1603、1703 グラフィック属性
1980 イメージ
2011 一般状況
2021、2031 表現属性
2101、2210、2220、2230、2240 ビデオ通話画面
3541 しかめる表情
3542 ジェスチャー
3543 雲の背景
19341 動物3Dセット
19352 女性セット

Claims (20)

  1. カメラ、ディスプレイ、及びプロセッサを備え、
    前記プロセッサは、
    前記カメラを用いて一つ以上の外部オブジェクトを含む第1のイメージを獲得し、
    前記一つ以上の外部オブジェクトのうちの顔に関連した属性に基づいて生成された3次元(3D)オブジェクトを前記ディスプレイを通じて提供し、
    前記3Dオブジェクトに適用可能な複数のグラフィック属性のうちの少なくとも一つのグラフィック属性に基づいて前記顔に対する3Dアバターを生成し、
    前記3Dアバターを用いて所定の表情又は動きが反映された少なくとも一つのオブジェクトを含む第2のイメージを生成することを特徴とする電子装置。
  2. 前記プロセッサは、
    前記顔に対応する少なくとも一つの属性を含む3Dテンプレートを決定し、
    前記第1のイメージから前記顔に関連した属性を抽出し、
    前記抽出された属性を前記3Dテンプレートの対応する前記少なくとも一つの属性に適用させて前記3Dオブジェクトを生成することを特徴とする請求項1に記載の電子装置。
  3. 前記プロセッサは、
    前記第1のイメージから顔を構成する少なくとも一つの要素を抽出し、前記各要素の形態、色、各要素間の相対的位置、各要素間の相対的サイズ比、又は各要素のアクセサリに対する属性値を確認することを特徴とする請求項2に記載の電子装置。
  4. 前記プロセッサは、前記抽出された属性とは関係しない前記3Dテンプレートの属性に対して、前記3Dテンプレートに所定の属性を適用して前記3Dオブジェクトを生成することを特徴とする請求項2に記載の電子装置。
  5. 前記プロセッサは、前記顔と異なる3Dテンプレートを決定することを特徴とする請求項2に記載の電子装置。
  6. 前記オブジェクトは、前記アバターの表情、前記アバターのジェスチャー、背景画面、又はアニメーション効果に対応して決定され、
    前記プロセッサは、
    前記3Dアバターを用いて前記アバターの表情、前記アバターのジェスチャー、背景画面、又はアニメーション効果のうちの少なくとも一つに対して所定の値が反映された少なくとも一つのオブジェクトを生成することを特徴とする請求項1に記載の電子装置。
  7. 前記プロセッサは、前記一つ以上の外部オブジェクトのうちの第1の外部オブジェクトに対して、ユーザー入力によって顔に対応する少なくとも一つの構成を前記第1の外部オブジェクトの構成に対応させることを特徴とする請求項1に記載の電子装置。
  8. 前記プロセッサは、前記一つ以上の外部オブジェクトのうちの所定の条件を満たす第1の外部オブジェクトに基づいて前記グラフィック属性を生成することを特徴とする請求項1に記載の電子装置。
  9. 前記プロセッサは、前記第1の外部オブジェクトに対応する3Dテンプレート又はユーザー入力によって定められた3Dテンプレートを決定し、前記決定された3Dテンプレートに前記第1の外部オブジェクトの属性を適用して前記グラフィック属性を生成することを特徴とする請求項8に記載の電子装置。
  10. 前記プロセッサは、前記一つ以上の外部オブジェクトのうちの顔に対応しない付加オブジェクトを選択し、前記選択された付加オブジェクトを含んで前記3Dアバターを生成することを特徴とする請求項1に記載の電子装置。
  11. 前記プロセッサは、前記生成された第2のイメージを外部電子装置に伝送することを特徴とする請求項1に記載の電子装置。
  12. 前記第1のイメージは2次元(2D)イメージであり、前記第2のイメージは静止画像又は動画像の2Dイメージであることを特徴とする請求項1に記載の電子装置。
  13. 前記プロセッサは、
    相手とのビデオ通話が開始されることに基づいて前記相手の3Dアバターを含むビデオデータを受信し、
    前記ビデオ通話中に前記3Dアバター及び前記相手の3Dアバターを一つの画面に表示することを特徴とする請求項1に記載の電子装置。
  14. カメラ及びプロセッサを備え、
    前記プロセッサは、
    前記カメラを用いて一つ以上の外部オブジェクトを含む第1のイメージを獲得し、
    前記一つ以上の外部オブジェクトのうちの顔に基づいて一つ以上の3次元(3D)アバターのうちの前記顔に対応する3Dアバターを選択し、
    前記顔に対応する表情が反映された前記3Dアバターを用いて生成した3Dオブジェクトを含む第2のイメージを生成することを特徴とする電子装置。
  15. 通信モジュールをさらに含み、
    前記プロセッサは、前記通信モジュールを通じて前記一つ以上の3Dアバターを受信することを特徴とする請求項14に記載の電子装置。
  16. 前記プロセッサは、一つ以上の状況に対応して所定の顔の表情に関連した表現属性のうちの前記顔に対応する表情に基づいて選択された第1の表現属性を前記3Dアバターに反映することを特徴とする請求項14に記載の電子装置。
  17. 前記一つ以上の状況に対応して所定の顔表情に関連した表現属性は、顔を構成する少なくとも一つの要素に対して各要素の形態、色、各要素間の相対的位置、各要素間の相対的サイズ比、又は各要素のアクセサリに対する属性値のうちの少なくとも一つ以上を含むことを特徴とする請求項16に記載の電子装置。
  18. 前記オブジェクトは、アバターの表情、アバターのジェスチャー、背景画面、又はアニメーション効果を含むことを特徴とする請求項14に記載の電子装置。
  19. カメラ及びプロセッサを備え、
    前記プロセッサは、
    前記カメラを用いて一つ以上の外部オブジェクトを含む第1のイメージを獲得し、
    前記一つ以上の外部オブジェクトの中に顔が含まれるか否かを確認し、
    前記一つ以上の外部オブジェクトの中に前記顔が含まれる場合、前記顔に関連した属性に基づいて3次元(3D)アバターを生成し、
    前記一つ以上の外部オブジェクトの中に前記顔が含まれない場合、前記3Dアバターを生成しないことを特徴とする電子装置。
  20. ディスプレイをさらに含み、
    前記プロセッサは、前記ディスプレイを通じて前記一つ以上の外部オブジェクトの中に顔が含まれるか否かを提供することを特徴とする請求項19に記載の電子装置。
JP2019030708A 2018-02-23 2019-02-22 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置 Pending JP2019145108A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024000538A JP2024028390A (ja) 2018-02-23 2024-01-05 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0022262 2018-02-23
KR1020180022262A KR102661019B1 (ko) 2018-02-23 2018-02-23 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024000538A Division JP2024028390A (ja) 2018-02-23 2024-01-05 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置

Publications (1)

Publication Number Publication Date
JP2019145108A true JP2019145108A (ja) 2019-08-29

Family

ID=65576184

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019030708A Pending JP2019145108A (ja) 2018-02-23 2019-02-22 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置
JP2024000538A Pending JP2024028390A (ja) 2018-02-23 2024-01-05 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024000538A Pending JP2024028390A (ja) 2018-02-23 2024-01-05 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置

Country Status (6)

Country Link
US (3) US10977873B2 (ja)
EP (2) EP4109408A1 (ja)
JP (2) JP2019145108A (ja)
KR (2) KR102661019B1 (ja)
CN (1) CN111742351A (ja)
WO (1) WO2019164266A1 (ja)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021051757A (ja) * 2018-05-07 2021-04-01 アップル インコーポレイテッドApple Inc. クリエイティブカメラ
US11061372B1 (en) 2020-05-11 2021-07-13 Apple Inc. User interfaces related to time
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11165949B2 (en) 2016-06-12 2021-11-02 Apple Inc. User interface for capturing photos with different camera magnifications
US11178335B2 (en) 2018-05-07 2021-11-16 Apple Inc. Creative camera
US11204692B2 (en) 2017-06-04 2021-12-21 Apple Inc. User interface camera effects
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11223771B2 (en) 2019-05-06 2022-01-11 Apple Inc. User interfaces for capturing and managing visual media
JP2022011032A (ja) * 2020-06-29 2022-01-17 グリー株式会社 情報処理プログラム、情報処理方法、情報処理装置
JP2022020054A (ja) * 2020-11-09 2022-01-31 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 3次元アバタ生成方法、装置、電子機器及び記憶媒体
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11330184B2 (en) 2020-06-01 2022-05-10 Apple Inc. User interfaces for managing media
US11350026B1 (en) 2021-04-30 2022-05-31 Apple Inc. User interfaces for altering visual media
US11380077B2 (en) 2018-05-07 2022-07-05 Apple Inc. Avatar creation user interface
US11481988B2 (en) 2010-04-07 2022-10-25 Apple Inc. Avatar editing environment
JP2022185096A (ja) * 2021-10-29 2022-12-13 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 仮想アイドルの生成方法、装置及び電子機器
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
WO2023139961A1 (ja) * 2022-01-21 2023-07-27 株式会社Nttドコモ 情報処理装置
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
JP7407494B1 (ja) 2022-12-26 2024-01-04 インタラクト カンパニー リミテッド Xrコンテンツを用いた訓練システム、方法、および装置
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US12033296B2 (en) 2023-04-24 2024-07-09 Apple Inc. Avatar creation user interface

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
JP6967610B2 (ja) 2017-05-16 2021-11-17 アップル インコーポレイテッドApple Inc. 絵文字の記録及び送信
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
KR102661019B1 (ko) * 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
KR102002863B1 (ko) * 2018-04-13 2019-07-24 라인플러스 주식회사 사람의 얼굴을 이용한 동물 형상의 아바타를 생성하는 방법 및 시스템
EP3782124A1 (en) * 2018-04-18 2021-02-24 Snap Inc. Augmented expression system
US10607065B2 (en) * 2018-05-03 2020-03-31 Adobe Inc. Generation of parameterized avatars
KR102481333B1 (ko) * 2018-05-08 2022-12-23 그리 가부시키가이샤 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
CN114915827A (zh) 2018-05-08 2022-08-16 日本聚逸株式会社 动态图像分发系统及其方法和记录介质
US11128932B2 (en) 2018-05-09 2021-09-21 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of actors
US11044535B2 (en) 2018-08-28 2021-06-22 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
CN109447895B (zh) * 2018-09-03 2021-06-08 腾讯科技(武汉)有限公司 图片生成方法和装置、存储介质及电子装置
US10817365B2 (en) 2018-11-09 2020-10-27 Adobe Inc. Anomaly detection for incremental application deployments
KR20200084395A (ko) * 2018-12-20 2020-07-13 삼성전자주식회사 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법
CN111514584B (zh) * 2019-02-01 2022-07-26 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质
KR20200101014A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 아바타 추천 및 다운로드를 지원하는 전자 장치
DK201970531A1 (en) 2019-05-06 2021-07-09 Apple Inc Avatar integration with multiple applications
CN112784621B (zh) * 2019-10-22 2024-06-18 华为技术有限公司 图像显示方法及设备
CN110827378B (zh) * 2019-10-31 2023-06-09 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、终端及存储介质
CN111144252B (zh) * 2019-12-17 2023-09-05 北京深测科技有限公司 一种用于人流分析的监控预警方法
US11138781B1 (en) * 2020-04-01 2021-10-05 International Business Machines Corporation Creation of photorealistic 3D avatars using deep neural networks
CN111541950B (zh) * 2020-05-07 2023-11-03 腾讯科技(深圳)有限公司 表情的生成方法、装置、电子设备及存储介质
KR20210138240A (ko) * 2020-05-12 2021-11-19 라인플러스 주식회사 아바타용 아이템 생성 방법, 컴퓨터 프로그램 및 컴퓨팅 장치
CN111738934B (zh) * 2020-05-15 2024-04-02 西安工程大学 基于mtcnn的红眼自动修复方法
KR102180576B1 (ko) * 2020-05-18 2020-11-18 주식회사 일루니 사용자의 플레잉에 기초하여 재프로그래밍되는 인터랙티브 콘텐츠 제공 방법 및 장치
USD947243S1 (en) * 2020-06-19 2022-03-29 Apple Inc. Display screen or portion thereof with graphical user interface
USD956068S1 (en) * 2020-09-14 2022-06-28 Apple Inc. Display screen or portion thereof with graphical user interface
US11663764B2 (en) 2021-01-27 2023-05-30 Spree3D Corporation Automatic creation of a photorealistic customized animated garmented avatar
CN116762103A (zh) * 2021-01-13 2023-09-15 三星电子株式会社 电子装置及在该电子装置中运行化身视频服务的方法
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
CN115469735A (zh) * 2021-05-28 2022-12-13 北京字节跳动网络技术有限公司 基于手势的交互方法、装置和客户端
US11769346B2 (en) 2021-06-03 2023-09-26 Spree3D Corporation Video reenactment with hair shape and motion transfer
US11836905B2 (en) 2021-06-03 2023-12-05 Spree3D Corporation Image reenactment with illumination disentanglement
US11854579B2 (en) 2021-06-03 2023-12-26 Spree3D Corporation Video reenactment taking into account temporal information
KR20230173503A (ko) * 2022-06-17 2023-12-27 삼성전자주식회사 컨텍스트 정보에 기초하여 아바타를 제공하는 전자 장치 및 그 동작 방법
KR20240065355A (ko) * 2022-11-03 2024-05-14 삼성전자주식회사 미디어 콜 서비스를 수행하기 위한 방법 및 장치
CN117095092A (zh) * 2023-09-01 2023-11-21 安徽圣紫技术有限公司 一种用于视觉艺术的动画制作系统和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236186A (ja) * 2003-01-31 2004-08-19 Ntt Docomo Inc 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体
JP2008263297A (ja) * 2007-04-10 2008-10-30 Ntt Docomo Inc 通信制御装置および通信端末
WO2009133710A1 (ja) * 2008-04-30 2009-11-05 株式会社アクロディア キャラクタ表示用データの生成装置および方法
JP2011515736A (ja) * 2008-02-27 2011-05-19 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
WO2011155068A1 (ja) * 2010-06-11 2011-12-15 株式会社アルトロン キャラクタ生成システム、キャラクタ生成方法及びプログラム
JP2015118142A (ja) * 2013-12-17 2015-06-25 カシオ計算機株式会社 画像表示装置、画像表示プログラム及び画像表示方法
JP2015531098A (ja) * 2012-06-21 2015-10-29 マイクロソフト コーポレーション デプスカメラを使用するアバター構築

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735566B1 (en) * 1998-10-09 2004-05-11 Mitsubishi Electric Research Laboratories, Inc. Generating realistic facial animation from speech
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
KR100372811B1 (ko) * 2000-12-19 2003-02-26 (주) 웹씨인터미디어 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법
US8555164B2 (en) * 2001-11-27 2013-10-08 Ding Huang Method for customizing avatars and heightening online safety
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
US6925438B2 (en) * 2002-10-08 2005-08-02 Motorola, Inc. Method and apparatus for providing an animated display with translated speech
JP2006520055A (ja) * 2003-03-06 2006-08-31 アニメトリックス,インク. 2次元画像からの3次元オブジェクトの不変視点検出および識別
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
KR101068941B1 (ko) 2005-01-13 2011-09-30 엘지전자 주식회사 이동 통신 단말기의 개인 캐릭터 서비스 방법 및 그 이동통신 단말기
KR101362768B1 (ko) * 2007-11-23 2014-02-14 삼성전자주식회사 객체 검출 방법 및 장치
US8553973B2 (en) * 2009-07-07 2013-10-08 University Of Basel Modeling methods and systems
JP5423379B2 (ja) * 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
TWI439960B (zh) * 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8814363B2 (en) * 2010-04-08 2014-08-26 Disney Enterprises, Inc. Trackable projection surfaces using hidden marker tracking
JP5659228B2 (ja) 2010-06-11 2015-01-28 株式会社アルトロン キャラクタ生成システム、キャラクタ生成方法及びプログラム
US8830226B2 (en) * 2010-09-28 2014-09-09 Apple Inc. Systems, methods, and computer-readable media for integrating a three-dimensional asset with a three-dimensional model
US8682041B2 (en) * 2011-01-28 2014-03-25 Honeywell International Inc. Rendering-based landmark localization from 3D range images
US8922553B1 (en) * 2011-04-19 2014-12-30 Disney Enterprises, Inc. Interactive region-based linear 3D face models
KR101558202B1 (ko) * 2011-05-23 2015-10-12 한국전자통신연구원 아바타를 이용한 애니메이션 생성 장치 및 방법
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
CN104115503A (zh) * 2011-12-29 2014-10-22 英特尔公司 使用化身的通信
CN104170358B (zh) * 2012-04-09 2016-05-11 英特尔公司 用于化身管理和选择的系统和方法
KR102004287B1 (ko) * 2012-10-17 2019-07-26 에스케이플래닛 주식회사 이모티콘 생성 장치 및 이모티콘 생성 방법
US20150091815A1 (en) * 2013-10-01 2015-04-02 Avaya Inc. Method and Apparatus to Support Visually Impaired Users of Touchscreen Based User Interfaces
US9508197B2 (en) 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
US9867546B2 (en) * 2015-06-14 2018-01-16 Facense Ltd. Wearable device for taking symmetric thermal measurements
KR101743763B1 (ko) * 2015-06-29 2017-06-05 (주)참빛솔루션 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치
KR20170112406A (ko) 2016-03-31 2017-10-12 한국전자통신연구원 증강 현실 아바타 사진 촬영 장치 및 방법
US10559111B2 (en) * 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
WO2017223530A1 (en) * 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
FR3053509B1 (fr) * 2016-06-30 2019-08-16 Fittingbox Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe
US20180047200A1 (en) * 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
EP3538946B1 (en) * 2016-11-11 2023-02-15 Magic Leap, Inc. Periocular and audio synthesis of a full face image
JP6967610B2 (ja) 2017-05-16 2021-11-17 アップル インコーポレイテッドApple Inc. 絵文字の記録及び送信
KR102661019B1 (ko) * 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236186A (ja) * 2003-01-31 2004-08-19 Ntt Docomo Inc 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体
JP2008263297A (ja) * 2007-04-10 2008-10-30 Ntt Docomo Inc 通信制御装置および通信端末
JP2011515736A (ja) * 2008-02-27 2011-05-19 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
WO2009133710A1 (ja) * 2008-04-30 2009-11-05 株式会社アクロディア キャラクタ表示用データの生成装置および方法
WO2011155068A1 (ja) * 2010-06-11 2011-12-15 株式会社アルトロン キャラクタ生成システム、キャラクタ生成方法及びプログラム
JP2015531098A (ja) * 2012-06-21 2015-10-29 マイクロソフト コーポレーション デプスカメラを使用するアバター構築
JP2015118142A (ja) * 2013-12-17 2015-06-25 カシオ計算機株式会社 画像表示装置、画像表示プログラム及び画像表示方法

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481988B2 (en) 2010-04-07 2022-10-25 Apple Inc. Avatar editing environment
US11869165B2 (en) 2010-04-07 2024-01-09 Apple Inc. Avatar editing environment
US11165949B2 (en) 2016-06-12 2021-11-02 Apple Inc. User interface for capturing photos with different camera magnifications
US11962889B2 (en) 2016-06-12 2024-04-16 Apple Inc. User interface for camera effects
US11641517B2 (en) 2016-06-12 2023-05-02 Apple Inc. User interface for camera effects
US11245837B2 (en) 2016-06-12 2022-02-08 Apple Inc. User interface for camera effects
US11687224B2 (en) 2017-06-04 2023-06-27 Apple Inc. User interface camera effects
US11204692B2 (en) 2017-06-04 2021-12-21 Apple Inc. User interface camera effects
JP2021051757A (ja) * 2018-05-07 2021-04-01 アップル インコーポレイテッドApple Inc. クリエイティブカメラ
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11178335B2 (en) 2018-05-07 2021-11-16 Apple Inc. Creative camera
US11682182B2 (en) 2018-05-07 2023-06-20 Apple Inc. Avatar creation user interface
US11380077B2 (en) 2018-05-07 2022-07-05 Apple Inc. Avatar creation user interface
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11895391B2 (en) 2018-09-28 2024-02-06 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11669985B2 (en) 2018-09-28 2023-06-06 Apple Inc. Displaying and editing images with depth information
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11223771B2 (en) 2019-05-06 2022-01-11 Apple Inc. User interfaces for capturing and managing visual media
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US12008230B2 (en) 2020-05-11 2024-06-11 Apple Inc. User interfaces related to time with an editable background
US11822778B2 (en) 2020-05-11 2023-11-21 Apple Inc. User interfaces related to time
US11061372B1 (en) 2020-05-11 2021-07-13 Apple Inc. User interfaces related to time
US11442414B2 (en) 2020-05-11 2022-09-13 Apple Inc. User interfaces related to time
US11330184B2 (en) 2020-06-01 2022-05-10 Apple Inc. User interfaces for managing media
US11617022B2 (en) 2020-06-01 2023-03-28 Apple Inc. User interfaces for managing media
JP7234187B2 (ja) 2020-06-29 2023-03-07 グリー株式会社 情報処理プログラム、情報処理方法、情報処理装置
JP2022011032A (ja) * 2020-06-29 2022-01-17 グリー株式会社 情報処理プログラム、情報処理方法、情報処理装置
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
JP2022020054A (ja) * 2020-11-09 2022-01-31 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 3次元アバタ生成方法、装置、電子機器及び記憶媒体
US11587300B2 (en) 2020-11-09 2023-02-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for generating three-dimensional virtual image, and storage medium
JP7212741B2 (ja) 2020-11-09 2023-01-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 3次元アバタ生成方法、装置、電子機器及び記憶媒体
US11350026B1 (en) 2021-04-30 2022-05-31 Apple Inc. User interfaces for altering visual media
US11418699B1 (en) 2021-04-30 2022-08-16 Apple Inc. User interfaces for altering visual media
US11416134B1 (en) 2021-04-30 2022-08-16 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
JP2022185096A (ja) * 2021-10-29 2022-12-13 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 仮想アイドルの生成方法、装置及び電子機器
WO2023139961A1 (ja) * 2022-01-21 2023-07-27 株式会社Nttドコモ 情報処理装置
JP7407494B1 (ja) 2022-12-26 2024-01-04 インタラクト カンパニー リミテッド Xrコンテンツを用いた訓練システム、方法、および装置
US12033296B2 (en) 2023-04-24 2024-07-09 Apple Inc. Avatar creation user interface

Also Published As

Publication number Publication date
US11798246B2 (en) 2023-10-24
KR102661019B1 (ko) 2024-04-26
KR20240063071A (ko) 2024-05-09
US10977873B2 (en) 2021-04-13
US20230394775A1 (en) 2023-12-07
WO2019164266A1 (en) 2019-08-29
EP4109408A1 (en) 2022-12-28
US20190266807A1 (en) 2019-08-29
CN111742351A (zh) 2020-10-02
JP2024028390A (ja) 2024-03-04
US20210192858A1 (en) 2021-06-24
EP3531377A1 (en) 2019-08-28
KR20190101835A (ko) 2019-09-02

Similar Documents

Publication Publication Date Title
US11798246B2 (en) Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same
KR102530264B1 (ko) 아바타에 대응하는 속성에 따른 아이템을 제공하는 방법 및 장치
WO2018153267A1 (zh) 群组视频会话的方法及网络设备
CN111726536A (zh) 视频生成方法、装置、存储介质及计算机设备
US11733769B2 (en) Presenting avatars in three-dimensional environments
CN113569614A (zh) 虚拟形象生成方法、装置、设备及存储介质
KR102667064B1 (ko) 전자 장치 및 이를 이용한 카메라 기능과 연동하여 이모지 편집을 위한 사용자 인터페이스를 제공하는 방법
KR102667547B1 (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
CN112148404B (zh) 头像生成方法、装置、设备以及存储介质
US11989348B2 (en) Media content items with haptic feedback augmentations
KR20180118669A (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
US20240184372A1 (en) Virtual reality communication interface with haptic feedback response
US20220300728A1 (en) True size eyewear experience in real time
WO2022147450A1 (en) Communication interface with haptic feedback response
CN116320721A (zh) 一种拍摄方法、装置、终端及存储介质
CN112446821B (zh) 一种图像处理方法、装置及电子设备
CN114004922B (zh) 骨骼动画显示方法、装置、设备、介质及计算机程序产品
US11922587B2 (en) Dynamic augmented reality experience
CN109167723B (zh) 图像的处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230529

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240207

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240315