CN111586318A - 用于提供基于虚拟角色的拍摄模式的电子装置及操作方法 - Google Patents

用于提供基于虚拟角色的拍摄模式的电子装置及操作方法 Download PDF

Info

Publication number
CN111586318A
CN111586318A CN202010101365.9A CN202010101365A CN111586318A CN 111586318 A CN111586318 A CN 111586318A CN 202010101365 A CN202010101365 A CN 202010101365A CN 111586318 A CN111586318 A CN 111586318A
Authority
CN
China
Prior art keywords
image
external object
preview image
electronic device
virtual character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010101365.9A
Other languages
English (en)
Inventor
李宇镛
白昇协
朴赞敏
姜慧真
李姃恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111586318A publication Critical patent/CN111586318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据实施方式的电子装置可包括：相机模块、显示器以及处理器，其中处理器可配置成：使用相机模块获得与外部对象对应的预览图像；基于获得的预览图像确定外部对象的属性；基于外部对象的属性，将预览图像与虚拟角色图像进行合成；通过显示器输出合成的预览图像。可以提供其他的实施方式。

Description

用于提供基于虚拟角色的拍摄模式的电子装置及操作方法
技术领域
本公开的一个或多个实施方式概况地涉及提供基于虚拟角色的拍摄模式的电子装置及其操作方法。
背景技术
电子通信行业的最近发展已经引起了便携式电子装置的激增。例如，便携式电子装置可以包括各种便携式电子装置，诸如个人数字助理(PDA)，智能电话，平板PC，MP3播放器，膝上型个人计算机(膝上型PC)，数码相机，可佩戴装置等，以及移动通信终端。
这些电子装置之一即可提供各种复杂的功能。例如，这样一个电子装置可以使用相机模块获得关于外部对象的信息(例如，图像信息)，并且可通过利用这些信息向用户提供各种功能。
在另一个示例中，用户可以通过使用电子装置的通信服务，诸如社交网络服务/站点(SNS)，信使服务等，与他人共享他或她的日常生活的数据。
以上信息仅作为背景信息呈现以帮助理解本公开。关于上述任何内容是否可适合作为与本公开相关的现有技术，没有做出任何判断或判定。
发明内容
根据某些实施方式，电子装置可以通过相机模块获得关于用户的面部特征或面部表情的信息，并且可以提供类似于用户的面部特征的虚拟角色图像或模拟用户的面部表情的虚拟角色图像，从而吸引用户对社交网络服务或信使服务的兴趣。
然后，电子装置可以以各种方式利用虚拟角色图像，并与其他用户共享包括模拟面部或面部表情的虚拟角色图像。
解决方案
根据各种实施方式的电子装置可以包括：相机模块；显示器；以及处理器，其中所述处理器可以被配置为：使用所述相机模块获得与外部对象对应的预览图像；基于获得的预览图像确定外部对象的属性；基于所述外部对象的属性，将所述预览图像与虚拟角色图像进行合成；以及通过显示器输出合成的预览图像。
一种输出电子装置的虚拟角色图像的方法，可包括：使用相机模块获得与外部对象对应的预览图像；处理器基于获得的预览图像确定外部对象的属性；处理器基于外部对象的属性将预览图像与虚拟角色图像进行合成；以及通过显示器输出合成的预览图像。
在下文中将部分地阐述本公开的其它方面，这些方面将部分地从说明书中变得显而易见，或可通过实践该申请的实施方式来获知。
有益效果
根据某些实施方式的电子装置及其操作方法可以通过各种相机拍摄功能来提供各种用户体验以吸引用户的兴趣。
根据某些实施方式的电子装置及其操作方法可以自动地向用户建议适于当前拍摄状态的特定拍摄功能，其中，特定拍摄功能是从与虚拟角色图像相关的多个拍摄功能中选择的。该选择可基于通过相机模块获得的预览图像实现。
通过在提供模拟用户的虚拟角色图像时采用适于当前拍摄状态的最佳对象跟踪方法，根据某些实施方式的电子装置及其操作方法可有效执行一些功能。
附图说明
为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中相似的附图标记表示相似的部件：
图1是根据各种实施方式的网络环境中的电子装置101的框图；
图2是示出根据各种实施方式的相机模块的框图200；
图3A是示出根据实施方式的电子装置的配置的框图；
图3B是示出根据实施方式的在电子装置中输出化身图像的方法的流程图；
图3C是示出根据实施方式的产生化身(avatar)图像(即，虚拟角色图像)的方法的流程图；
图4是示出根据实施方式的关于虚拟角色的产生的用户界面的图；
图5是示出根据实施方式的在电子装置中输出虚拟角色图像的用户界面屏幕的图；
图6是示出根据实施方式的在电子装置中输出虚拟角色图像的用户界面屏幕的图；
图7是示出根据实施方式的在电子装置中输出虚拟角色图像的用户界面屏幕的图；以及
图8是示出根据实施方式的在电子装置中输出虚拟角色图像的用户界面屏幕的图。
具体实施方式
图1是示出根据各种实施方式的网络环境100中的电子装置101的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施方式，电子装置101可经由服务器108与电子装置104进行通信。根据实施方式，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施方式中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施方式中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施方式，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施方式，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施方式，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施方式，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施方式，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施方式，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施方式，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施方式，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施方式，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施方式，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施方式，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施方式，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施方式，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施方式，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施方式，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施方式，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施方式，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施方式，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施方式，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据各种实施方式的相机模块180的框图200。
参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。根据实施方式，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施方式，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施方式，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施方式，图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据实施方式，可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示装置160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施方式，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机模块180之外的外部部件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施方式，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施方式，电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可形成例如广角相机，并且所述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地，所述多个相机模块180中的至少一个相机模块180可形成例如前置相机，并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。
图3A是示出根据实施方式的电子装置的配置的框图。
根据实施方式，电子装置300(例如图1中的电子装置101)可包括相机模块380(例如图1中的相机模块180)、显示器360(例如图1中的显示装置160)、输入模块350(例如图1中的输入装置150)和处理器320(例如图1中的处理器120)。处理器320可包括微处理器或任何合适类型的处理电路，诸如一个或多个通用处理器(例如，基于ARM的处理器)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、视频卡控制器等。此外，可以理解，当通用计算机访问用于实现本文中示出的处理的代码时，这些代码的执行将通用计算机转换为用于执行在本文中示出的处理的专用计算机。在附图中提供的某些功能和步骤可以用硬件、软件或两者的组合来实现，并且可以在计算机的编程指令内全部或部分地执行。
根据实施方式，处理器320可以控制相机模块380以获得至少一个图像。例如，相机模块380可以获得对应于外部对象的预览图像。在该示例中进一步地，如果从用户接收到用于请求拍摄的输入，或者如果从用户接收到用于执行与相机模块380相关的应用的请求，则电子装置300可以通过相机模块380获得预览图像，并且可以将该预览图像输出到显示器360。例如，相机模块380可以通过显示器360输出实时获得的预览图像，并且当电子装置接收到用于执行拍摄的用户输入时，相机模块380可以将获得的图像存储在存储器(例如，图1中的存储器130或图2中的存储器250)中。在一个示例中，存储在存储器中的图像可以是对应于输出预览图像的高分辨率图像。
参照图3A，根据实施方式的处理器320可包括图像处理模块321、用户界面(UI)处理模块322、化身(例如，虚拟角色)图像产生模块323、跟踪级别确定模块324和拍摄模式确定模块325。
根据实施方式，图像处理模块321可以包括与相机模块380相关的各种图像处理器(例如，图2中的图像信号处理器260、中央处理单元、图形处理器或数字处理器)。
图像处理模块321可执行一些功能，以处理相机模块380获得的预览图像并通过显示器360输出该预览图像。例如，图像处理模块321可以将预览图像与特定的虚拟角色图像(例如，化身图像)合成，从而产生将通过显示器360输出的复合预览图像。
根据实施方式的图像处理模块321可以分析特定外部对象与通过相机模块380获得的预览图像的区别特征，以确定外部对象的属性(例如，人的身份和脸部等)，并且可检测包括外部对象的图像区域。例如，图像处理模块321可从预览图像中检测身体区域，并且可从身体区域获得对应于面部、眼睛、手臂、腿、手指、面部表情和/或舌的信息。
根据实施方式，当通过显示器360输出相机模块380获得的预览图像、或包括虚拟角色图像的复合预览图像时，用户界面(UI)处理模块322可输出与输出图像相关的用户界面以及该图像。因此，电子装置300可基于用户界面处理模块322在显示器360上输出的用户界面并通过输入模块350接收特定的用户输入。然后，电子装置300可以执行与接收到的用户输入对应的功能。
例如，如果请求执行与虚拟角色(例如，化身)图像相关的功能，则用户界面处理模块322可通过显示器360输出预览图像，并且可在显示器360的输出屏幕上输出用于接收与虚拟角色图像的类型相关的用户输入的用户界面以及该虚拟角色图像。在该示例中，用户界面可以允许用户在虚拟现实(VR)和增强现实(AR)模式之间选择。在VR模式中，虚拟角色可显示在生成的虚拟背景图像上，而在AR模式中，虚拟角色可被复合到实际的实况预览图像上。
作为另一个示例，用户界面处理模块322可输出用于改变显示在显示器360上的虚拟角色的详细图像特征的用户界面。
根据实施方式，拍摄模式确定模块325可基于与使用相机模块380获得的外部对象对应的预览图像来确定用于获得虚拟角色图像的拍摄模式。根据实施方式的拍摄模式确定模块325可以包括用于检测与人对应的区别特征的人检测模块325a，用于检测与人的面部对应的区别特征的面部检测模块325b，用于检测与人的手对应的区别特征的手检测模块325c，和/或用于检测与人的身体对应的区别特征的身体检测模块325d中的至少一个。
根据实施方式的拍摄模式确定模块325可确定预览图像中的外部对象的属性。例如，拍摄模式确定模块325可以通过应用对象识别或对象检测算法和/或纹理识别算法来识别所获得的图像中的至少一个图像区域。例如，拍摄模式确定模块325可以使用各种识别算法来识别至少一个图像区域，并且可以通过应用机器学习或深度学习来使用识别算法来识别至少一个图像区域(例如，面部区域、对象区域等)。拍摄模式确定模块325可以识别图像中的外部对象是否包括人、脸部、手或身体。这样，拍摄模式确定模块325可以从预览图像中识别特定图像区域，并且可以提取与预览图像中的外部对象对应的区别特征，从而确定与区别特征对应的外部对象的属性。
根据实施方式，拍摄模式确定模块325可以确定外部对象是否是人，并且可以根据外部对象是否是人来确定不同的拍摄模式。例如，如果外部对象不是人的话，拍摄模式确定模块325可以确定第一拍摄模式(例如，小雕像模式)，如图8示出的。再次，可以基于外部对象的属性确定外部对象是否是人。例如，拍摄模式确定模块325可以确定所提取的区别特征是否对应于人，从而确定外部对象是否是人。作为另一示例，拍摄模式确定模块325可以确定所提取的区别特征是否对应于面部，并且如果外部对象包括面部，则可以确定外部对象是人。根据实施方式，在小雕像模式中，在与预览图像中的外部对象中包括的平面区域812对应的图像区域中显示特定的虚拟角色图像811。
根据实施方式，基于外部对象的属性，如果外部对象是人，则拍摄模式确定模块325可以提供用于显示预览屏幕的第二拍摄模式，在预览屏幕中，虚拟角色图像511、611或711模拟人的面部表情或动作，如图5至7示出的。例如，电子装置300可以跟踪与该人对应的区别特征，并且可以基于该跟踪信息来产生并显示虚拟角色图像(例如，化身图像)。
根据实施方式，即使在外部对象被识别为人的情况下，拍摄模式确定模块325也可以根据外部对象是否包括面部，手，脚或全身和/或根据包括面部、手、脚或身体的图像区域的尺寸来确定不同的拍摄模式并提供不同的功能。
例如，可以基于与预览图像中的面部对应的图像区域的尺寸来确定面部区域具有预定或更大的尺寸或预定或更大的比率。如果是，则拍摄模式确定模块325可以确定如图6所示的2-1st拍摄模式(例如，蒙板模式)。在该模式中，拍摄模式确定模块325可以显示替换预览图像的面部区域的虚拟角色图像611。
根据实施方式，可以基于例如预览图像中对应于人的上身或全身的图像区域的尺寸来确定身体区域具有预定或更大的尺寸或预定或更大的比率。如果是，则拍摄模式确定模块325可以确定如图5示出的2-2nd拍摄模式(例如，虚拟现实(VR)模式)。在该模式中，拍摄模式确定模块325可以在虚拟背景区域513上显示模拟人的特征(例如，面部表情或用户身体的动作)的虚拟角色图像511。
根据实施方式，可以基于例如预览图像中对应于人的上身或全身的图像区域的尺寸来确定身体区域具有预定或更大的尺寸或预定或更大的比率。如果是，则拍摄模式确定模块325可以确定如图7示出的2-3rd拍摄模式(例如，“迷你我(mini-me)”模式)。在该模式中，拍摄模式确定模块325可以在预览图像中的背景区域713上显示模拟人的特征(例如，面部表情或用户身体的动作)的虚拟角色图像711以及人的图像712(即，外部对象)。根据实施方式，在“迷你我”模式中，虚拟角色图像与预览图像合成，使得虚拟角色图像711的背景是预览图像。
根据实施方式，可以确定对应于预览图像的外部对象的属性被改变。如果是，则拍摄模式确定模块325可以实时地改变拍摄模式，或者可以基于通过用户界面输入的用户输入来改变拍摄模式。例如，拍摄模式确定模块325可以确定外部对象最初不是人，并最初提供小雕像模式作为拍摄模式。然后，拍摄模式确定模块325可以在小雕像模式期间继续实时检查外部对象是否是人。根据实施方式，如果在提供小雕像模式时从预览图像中检测到人，则拍摄模式确定模块325可以将拍摄模式改变为VR模式或“迷你我”模式。根据另一个实施方式，如果当拍摄模式确定模块325在VR模式或“迷你我”模式下操作时，作为外部对象的人的面部尺寸被改变为预定或更大的尺寸，则拍摄模式确定模块325可以将拍摄模式改变为蒙板模式。
根据实施方式，跟踪级别确定模块324可以基于外部对象的属性从预览图像确定用于跟踪对应于外部对象的区别特征的级别。
根据实施方式，为了产生模拟预览图像中的外部对象的特征的虚拟角色(例如，化身)，电子装置300可以跟踪预览图像中的外部对象的特征改变，并且可以产生反映该外部对象的特征改变的虚拟角色图像(例如，化身图像)。
例如，电子装置300可以基于外部对象的属性来变化用于跟踪外部对象的特征改变的级别。例如，电子装置300可以基于外部对象的属性来更具体地跟踪或粗略地跟踪外部对象的各种区别特征。
根据实施方式，跟踪级别确定模块324可以使用用于跟踪与人的身体动作对应的区别特征的身体动作跟踪模块324a，用于跟踪与手对应的区别特征的手跟踪模块324b，用于跟踪与手指对应的区别特征的手指跟踪模块324c，用于跟踪与脸部的眼睛、鼻子和嘴或脸部轮廓对应的区别特征的面部表情跟踪模块324d，用于跟踪与眼睛或瞳孔(例如，虹膜或用户的注视方向)对应的区别特征的眼睛跟踪模块324e，和/或用于跟踪与舌对应的区别特征的舌跟踪模块324f中的至少一个来确定用于跟踪外部对象的级别。例如，眼睛跟踪模块324e可以跟踪用户的注视，并且舌跟踪模块324f可以跟踪舌的动作(例如，在用户以嬉戏姿势伸出他/她的舌或者当发音"th"的情况下)。
根据实施方式，跟踪级别确定模块324可以根据由拍摄模式确定模块325确定的拍摄模式的类型或者基于用户输入来确定跟踪级别。例如，如果确定外部对象包括手，则跟踪级别确定模块324可以确定使用手跟踪模块324b和/或手指跟踪模块324c来跟踪外部对象。作为另一个示例，如果确定外部对象包括面部，则跟踪级别确定模块324可以使用面部表情跟踪模块324d、眼睛跟踪模块324e和/或舌跟踪模块324f来跟踪外部对象。作为另一个示例，如果确定外部对象包括身体(例如，人的全身或上身)，则跟踪级别确定模块324可以使用身体动作跟踪模块324a、手跟踪模块324b、手指跟踪模块324c、面部表情跟踪模块324d、眼睛跟踪模块324e和/或舌跟踪模块324f来跟踪外部对象。
根据实施方式，跟踪级别确定模块324可以基于由相机模块380拍摄的外部对象和电子装置300之间的距离来确定外部对象的跟踪级别。根据实施方式，电子装置300可以使用包括在相机模块380中的距离传感器或深度传感器(例如，飞行时间(ToF)传感器)来获得关于到外部对象的距离的信息，并且可以基于所获得的信息来确定跟踪级别。例如，如果外部对象位于接近电子装置的预定距离或更短的距离处，则跟踪级别确定模块324可以配置跟踪级别以便更精细地跟踪外部对象。这样，所有的多个跟踪模块324a、324b、324c、324d、324e和324f都可以用于跟踪各种区别特征。根据另一个实施方式，当没有距离或深度传感器时，可以基于通过相机模块380获得的图像中的对象(例如面部)的尺寸来确定关于外部对象的距离信息。
根据实施方式，跟踪级别确定模块324可以确定预览图像中对应于外部对象的图像区域的尺寸，并且可以基于图像区域的尺寸来确定外部对象的跟踪级别。例如，如果确定预览图像中对应于外部对象的图像区域(例如面部区域或手区域)的尺寸超过预定参考尺寸，则跟踪级别确定模块324可以确定跟踪级别以便更精细地跟踪外部对象。例如，当用户通过放大用户的面部部分来生成预览图像时，电子装置300可以获得关于用户的放大面部部分的更具体的跟踪信息，并且可以提供更精确地模拟用户面部的虚拟角色图像(例如，化身图像)。
根据实施方式，如果确定到外部对象(例如，用户身体)的距离大于或等于预定参考距离，或者确定对应于外部对象的图像区域的尺寸小于或等于拍摄的预览图像中的参考尺寸，则电子装置300可以仅使用身体动作跟踪模块324a来更粗略地跟踪外部对象的区别特征，而不是驱动用于具体跟踪对象的模块，诸如面部表情跟踪模块324d，眼睛跟踪模块324e和/或手指跟踪模块324c，从而最小化不必要的资源使用。
根据实施方式，跟踪级别确定模块324可以基于预览图像中对应于外部对象的图像区域的尺寸与预览图像的整个区域的尺寸之间的相对比率来确定跟踪级别。
根据实施方式，化身图像产生模块323可以从图像中提取用户面部的区别特征，并且可以将所提取的区别特征反映在预存储的虚拟角色的基本面部模型中，从而产生类似于用户面部的虚拟角色。
根据实施方式，化身图像产生模块323可以产生使用预产生的虚拟角色执行预定动作的第一虚拟角色图像，并且可以将其存储在存储器(例如，图1或图2中的存储器130或250)中。例如，如果在预览图像中确定外部对象不是人，则电子装置300可以在显示器360上显示用于将第一虚拟角色图像与预览图像复合的用户界面。
根据实施方式，化身图像产生模块323可以跟踪预览图像中对应于外部对象的区别特征，并且可以基于通过跟踪获得的跟踪信息来产生第二虚拟角色图像。例如，第二虚拟角色图像可以包括这样的动作，其中先前基于预览图像产生的虚拟角色执行与外部对象执行的动作类似的动作。
根据实施方式，化身图像产生模块323可以使用由用户从各种类型的虚拟角色中选择的特定虚拟角色来产生虚拟角色图像(即，化身图像)。
根据实施方式的电子装置300可以包括：相机模块(例如图3A中的相机模块380)；显示器(例如图3A中的显示器360)；以及处理器(例如图3A中的处理器320)，其中所述处理器可被配置为：使用所述相机模块获得对应于外部对象的预览图像；基于获得的预览图像确定外部对象的属性；基于所述外部对象的属性，将所述预览图像与虚拟角色图像合成；通过显示器输出合成的预览图像。
根据实施方式，处理器可以被配置为：基于外部对象的属性，跟踪所获得的预览图像中的外部对象的区别特征；基于区别特征产生虚拟角色图像；将预览图像与产生的虚拟角色图像合成；通过显示器输出合成的预览图像。
根据实施方式，处理器可以被配置为：基于外部对象的属性，当外部对象是人时，跟踪人的区别特征，并且基于人的区别特征产生虚拟角色图像。
根据实施方式，处理器可以被配置为关于外部对象来确定的跟踪级别，并且基于所确定的跟踪级别来跟踪外部对象的区别特征。
根据实施方式，可以基于电子装置和外部对象之间的距离来确定跟踪级别。
根据实施方式，可以基于在预览图像中与外部对象对应的图像区域的尺寸来确定跟踪级别。
根据实施方式，所跟踪的区别特征可以对应于包括在外部对象中的面部轮廓，瞳孔，嘴，手，手指和/或身体。
根据实施方式，处理器可以被配置为将预览图像与虚拟角色图像合成，使得虚拟角色图像与对应于预览图像的外部对象的图像一起显示在预览图像的背景区域中。
根据实施方式，处理器可以被配置为识别预览图像中的外部对象的面部区域，并且将预览图像与虚拟角色图像合成，使得至少虚拟角色图像的面部部分替换预览图像的面部区域。
根据实施方式，当外部对象不是人时，处理器可以被配置为基于外部对象的属性，检测预览图像中的平面区域，并将预览图像与虚拟角色图像合成，使得虚拟角色图像显示在对应于平面区域的位置处。
根据实施方式，处理器可以被配置为输出用于改变虚拟角色图像的至少一个方面的用户界面(例如，虚拟角色图像可以基于接收到用户输入或者在预定时间间隔内未接收到用户输入来改变)。
图3B是示出根据实施方式的在电子装置中输出化身图像的方法的流程图。
根据实施方式，在操作331中，电子装置300(或电子装置300的处理器320)可以基于用户输入来确定拍摄模式。例如，电子装置101可以从用户接收关于是否执行虚拟角色的拍摄的用户输入，或者关于利用虚拟角色的多个拍摄模式中的用于拍摄的拍摄模式的用户输入。
根据实施方式，电子装置300可以识别电子装置101的当前状态。如果当前状态对应于预定条件，则电子装置300可以自动确定适合当前状态的拍摄模式，或者可以向用户提供用于建议合适的拍摄模式的用户界面，而不是执行操作331。
例如，如果接收到利用虚拟角色进入拍摄模式的用户输入，或者在使用相机模块380执行拍摄时执行与虚拟角色相关的特定应用，则电子装置300可以执行用于产生虚拟角色图像的操作。
根据实施方式，电子装置300可以基于来自用户的用户输入来确定是以VR模式还是AR模式执行拍摄。例如，如果在VR模式中，电子装置300可以在虚拟背景屏幕上显示模拟外部对象的虚拟角色图像。可替代地，在AR模式中，电子装置300可以在作为预览图像的真实背景屏幕上显示模拟外部对象的虚拟角色图像。
根据实施方式的电子装置300可以在AR模式下支持多个拍摄模式。例如，该多个拍摄模式可以包括通过用虚拟角色图像替换面部部分(或上身)来显示外部对象(例如，人)的蒙板模式，将外部对象和模拟外部对象的虚拟角色一起显示的“迷你我”模式，和/或在预览图像中包括的特定平面区域中的特定的虚拟角色执行特定动作的小雕像模式。例如，电子装置300可以使用输入模块350接收用于选择多个拍摄模式之一的用户输入，并且可以进入对应的拍摄模式。
在操作332中，电子装置300可以使用相机模块380获得对应于外部对象的预览图像。例如，预览图像可以通过相机模块380获得，然后通过显示器360实时输出。当通过显示器360实时显示预览图像时，电子装置300可以接收用户输入，从而利用虚拟角色进入拍摄模式。
在操作333中，电子装置300可以确定预览图像中的外部对象。例如，电子装置300可以基于预览图像来确定外部对象的属性。例如，外部对象的属性可以包括以下中的至少一个：外部对象是否是人，外部对象是否包括面部，外部对象是否包括手，外部对象是否包括平面区域，和/或外部对象与电子装置之间的距离。
在操作334中，电子装置300可以基于对外部对象的确定来将预览图像与虚拟角色图像(例如，化身图像)合成。
例如，如果基于外部对象的属性确定外部对象不是人，则电子装置300可以将预览图像与预产生的虚拟角色图像合成。作为另一个示例，电子装置300可以基于外部对象的属性将使用与外部对象对应的虚拟角色产生的虚拟角色图像或者基于用户输入选择的虚拟角色与预览图像合成。
在操作335中，电子装置300可以通过显示器360输出在操作334中合成的预览图像。
图3C是示出根据实施方式的产生化身图像(即，虚拟角色图像)的方法的流程图。
根据实施方式，在操作341中，电子装置300(或电子装置300的处理器320)可以使用预览图像来确定外部对象的属性。
在操作342中，电子装置300可以基于所确定的外部对象的属性来跟踪外部对象。例如，如果确定外部对象是人，则电子装置300可以使用实时获得的预览图像来跟踪外部对象的动作。
根据实施方式，电子装置300可以跟踪外部对象的图像区域的区别特征，并且可以基于该跟踪获得跟踪信息。根据实施方式，基于外部对象的属性，如果外部对象不是人，则电子装置300可以输出指示没有对象要跟踪的屏幕，而不是跟踪外部对象。
在操作343中，电子装置300可以基于在操作342中通过跟踪获得的信息来产生虚拟角色图像(即，化身图像)。例如，电子装置300可以产生虚拟角色图像，使得虚拟角色使用对应于外部对象的预存储的虚拟角色或基于用户输入选择的预存储的虚拟角色来模拟外部对象的动作。
根据实施方式的输出电子装置300的虚拟角色图像的方法可以包括：使用相机模块(例如图3A中的相机模块380)获得对应于外部对象的预览图像；处理器(例如图3A中的处理器320)基于所获得的预览图像来确定外部对象的属性；基于所述外部对象的属性，将所述预览图像与虚拟角色图像合成；以及通过显示器(例如图3A中的显示器360)输出合成的预览图像。
根据实施方式，将预览图像与特定的虚拟角色图像合成可以包括：基于外部对象的属性，跟踪所获得的预览图像中的外部对象的区别特征，基于区别特征产生虚拟角色图像，以及由处理器将预览图像与所产生的虚拟角色图像合成。
根据实施方式，该方法可以包括：基于外部对象的属性，当外部对象是人时，跟踪该人的区别特征；并基于人的区别特征产生虚拟角色图像。
根据实施方式，该方法可以包括：确定关于外部对象的跟踪级别；以及基于所确定的跟踪级别来跟踪所述外部对象的区别特征。
根据实施方式，可以基于电子装置和外部对象之间的距离来确定跟踪级别。
根据实施方式，可以基于与预览图像中的外部对象对应的图像区域的尺寸来确定跟踪级别。
根据实施方式，跟踪的区别特征可以对应于包括在外部对象中的面部轮廓，瞳孔，嘴，手，手指和/或身体。
根据实施方式，预览图像与虚拟角色图像的合成可以包括合成预览图像与虚拟角色图像，使得虚拟角色图像与对应于预览图像的外部对象的图像一起显示在预览图像的背景区域中。
根据实施方式，预览图像与虚拟角色图像的合成可以包括从预览图像中识别外部对象的面部区域，并且将预览图像与虚拟角色图像合成，使得虚拟角色图像的至少面部部分替换预览图像的面部区域。
根据实施方式，预览图像与虚拟角色图像的合成可以包括，基于外部对象的属性，当外部对象不是人时，从预览图像检测平面区域，并将预览图像与虚拟角色图像合成，使得虚拟角色图像显示在对应于平面区域的位置。
根据实施方式，该方法可以进一步包括输出用于改变虚拟角色图像的至少一个方面的用户界面(例如，虚拟角色图像可以基于接收到用户输入或者在预定时间间隔内未接收到用户输入来改变)。
图4是示出根据实施方式的关于虚拟角色的产生的用户界面的图。
参照图4，根据实施方式的电子装置300(例如，电子装置300的处理器320)可以将通过相机模块380获得的图像作为预览图像413输出到显示器360，如屏幕示例410示出的。例如，当电子装置300接收到对拍摄按钮415的用户输入时，电子装置300可以获得并存储用户图像421。
电子装置300可以提取用户面部的区别特征，以便从所获得的用户图像421中产生虚拟角色。例如，电子装置300可以通过将所提取的区别特征反映到虚拟角色的基本脸部模型来产生具有与用户脸部类似的特征的虚拟角色。
电子装置300可以基于用户输入使用所获得的用户图像421来确定是产生男性虚拟角色还是女性虚拟角色，如屏幕示例420示出的。例如，电子装置300可以输出用于接收关于性别的用户输入的图标(例如，男性图标423、女性图标425和确认图标427)。根据实施方式，电子装置300可以基于其他用户输入来确定虚拟角色的年龄，种族等。
如屏幕示例430示出的，电子装置300可以产生并输出虚拟角色433，并且可以输出用于改变虚拟角色433的各种属性信息(例如，眼睛的形状或尺寸、鼻子、嘴、毛发颜色、毛发风格、面部类型和/或皮肤颜色)的选择项435。例如，电子装置300可以基于用户输入来确定虚拟角色433的毛发风格。
电子装置300可以从用户接收对虚拟角色项的选择(例如，对衣服项的选择)，从而将其应用到虚拟角色443，如屏幕示例440示出的。例如，电子装置300可以输出用于选择或改变项的选择项445，并且可以接收用户输入。
根据实施方式，电子装置300可以将与所产生的虚拟角色相关的信息存储在存储器(例如，图1或图2中的存储器130或250)中，并且可以在进入利用虚拟角色的拍摄模式时使用该预存储的虚拟角色信息来产生虚拟角色图像。
图5是示出根据实施方式的在电子装置中输出虚拟角色图像的用户界面屏幕的图。
屏幕示例510可以示出根据实施方式的电子装置300中的VR模式下的拍摄屏幕的示例。例如，在接收到以VR模式执行拍摄的用户输入时，电子装置300可以将使用相机模块380获得的预览图像转换为虚拟角色图像，并且可以将其实时的显示在拍摄的屏幕上。
根据实施方式，电子装置300可以在VR模式下基于预览图像产生虚拟角色图像511，并且可以将虚拟角色图像511显示在虚拟背景513上。例如，基于使用预览图像获得的外部对象的跟踪信息，虚拟角色图像511可以模拟外部对象的动作。根据实施方式，在接近电子装置300对外部对象(例如脸部)拍摄的情况下，电子装置300可以增加外部对象的跟踪级别，以获得更详细的跟踪信息，并将其反映到虚拟角色图像511。
根据实施方式，用户可以通过按压(例如，触摸)拍摄按钮515来存储虚拟角色图像。
电子装置300可以显示界面521以用于改变虚拟角色的类型，如屏幕示例520示出的，并且可以使用基于用户输入选择的虚拟角色来实时地产生和输出虚拟角色图像。
图6是示出根据实施方式的在电子装置中输出虚拟角色图像的用户界面屏幕的图。
屏幕示例610可以示出根据实施方式的电子装置300中的蒙板模式下的拍摄屏幕的示例。
参照图6，根据实施方式的电子装置300可以基于预览图像在蒙板模式下产生虚拟角色图像611，并且可以将预览图像与所产生的虚拟角色图像611合成，从而将其输出到屏幕。例如，在蒙板模式中拍摄的屏幕可以使用从预览图像获得的实际图像来显示外部对象的除了面部部分之外的图像区域(例如，背景613和用户身体部分612)，并且可以显示被虚拟角色图像611替换的面部部分。因此，电子装置300可以输出这样的图像，其中在蒙板模式下仅预览图像中的面部区域被以模拟面部区域的虚拟角色图像所替换。
根据实施方式，在屏幕示例610，在蒙板模式下用户可以通过按压(例如触摸)拍摄按钮615来以存储所拍摄的图像，并且在屏幕示例620中通过界面621选择在面部区域中输出的虚拟角色图像中的角色的类型，以改变的虚拟角色的类型。
图7是示出根据实施方式的在电子装置中输出虚拟角色图像的用户界面屏幕的图。
根据实施方式，图7可以示出根据实施方式的电子装置300所支持的在“迷你我”模式下的拍摄屏幕的示例。
根据实施方式，电子装置300可以在“迷你我”模式下跟踪预览图像的外部对象712，并且可以将基于跟踪产生的虚拟角色图像711以及预览图像的背景713和外部对象712一起输出。例如，在“迷你我”模式下电子装置300可拍摄外部对象712以及拍摄模拟该外部对象712的动作的虚拟角色711。
根据实施方式，用户可将“迷你我”模式下、使用屏幕示例710中的拍摄按钮715拍摄的图像存储起来，并且在屏幕示例720中，可以使用用于改变虚拟角色的类型的界面721来选择模拟外部对象的动作的虚拟角色的类型。
如屏幕示例730示出的，虚拟角色可以模拟外部对象的动作，并且可以基于虚拟角色的预定属性，将虚拟角色显示为在其毛发风格或服装项中不同于外部对象。
图8是示出根据实施方式的在电子装置中以小雕像模式输出虚拟角色图像的用户界面屏幕的图。
根据实施方式，如果确定预览图像中的外部对象不是人(或不包括脸部)，则电子装置300可以以小雕像模式执行拍摄。例如，电子装置300可以检测预览图像中的外部对象的平面区域812，并且可以输出显示在对应于平面区域812的位置处的特定的虚拟角色图像811的拍摄屏幕。
根据实施方式，在屏幕示例810中，用户可以在小雕像模式下使用拍摄按钮815存储所拍摄的图像，并且在屏幕示例820中可以使用用于改变虚拟角色的类型的界面821来选择模拟外部对象的动作的虚拟角色的类型。
根据实施方式，在小雕像模式下，基于在显示虚拟角色图像811的拍摄屏幕上接收的预定用户输入或者在预定时间间隔内未接收到用户输入，电子装置300可以输出用于虚拟角色图像811的用户界面以执行动作。例如，如屏幕示例830示出的，如果用户在小雕像模式下对触摸屏进行触摸，电子装置300可以输出虚拟角色811正在跳舞的虚拟角色811。
根据各种实施方式的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施方式，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施方式以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施方式，而是包括针对相应实施方式的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施方式，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施方式实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施方式，可在计算机程序产品中包括和提供根据本公开的各种实施方式的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施方式，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施方式，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施方式，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施方式，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
本公开的某些上述实施方式能够用硬件，固件或经由软件或能够存储在记录介质中，所述记录介质诸如CD ROM，数字多功能盘(DVD)，磁带，RAM，软盘，硬盘或磁光盘的计算机代码或者最初存储在远程记录介质或非暂时性机器可读介质上的并且将被存储在本地记录介质的网络下载的计算机代码的执行来实现，使得可以经由使用通用计算机，或专用处理器或可编程或专用硬件(诸如ASIC或FPGA)存储在记录介质上的这类软件来呈现本文所述的方法。如本领域所理解的，计算机，处理器，微处理器控制器或可编程硬件包括存储器组件，例如RAM,ROM，闪存等，它们可以存储或接收软件或计算机代码，当被计算机，处理器或硬件访问和执行时，它们实现这里描述的处理方法。
虽然已经参考本公开的各种实施方式示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同限定的本公开的情况下，可以在形式和细节上进行各种改变。

Claims (17)

1.一种电子装置，包括：
相机模块；
显示器；以及
处理器，
其中所述处理器配置为：
使用所述相机模块获得与外部对象对应的预览图像；
基于所获得的预览图像确定所述外部对象的属性；
基于所述外部对象的属性，将所述预览图像与虚拟角色图像进行合成；以及
通过所述显示器输出合成的预览图像。
2.根据权利要求1所述的电子装置，其中所述处理器进一步配置成：
基于所述外部对象的属性，跟踪所获得的预览图像中所述外部对象的区别特征；
基于所述区别特征对角色图像虚拟化；
将所述预览图像与所产生的虚拟角色图像进行合成；以及
通过所述显示器输出合成的预览图像。
3.根据权利要求2所述的电子装置，其中所述处理器进一步配置成：
当所述外部对象为人时，基于所述外部对象的属性跟踪所述人的区别特征；以及
基于所述人的区别特征产生所述虚拟角色图像。
4.根据权利要求2所述的电子装置，其中所述处理器进一步配置成：
确定关于所述外部对象的跟踪级别；以及
基于所确定的跟踪级别来跟踪所述外部对象的所述区别特征。
5.根据权利要求4所述的电子装置，其中，基于所述电子装置与所述外部对象之间的距离和/或所述预览图像中对应于所述外部对象的图像区域的尺寸来确定所述跟踪级别。
6.根据权利要求4所述的电子装置，其中，所跟踪的区别特征对应于包括在所述外部对象中的面部轮廓、瞳孔、嘴、手、手指和/或身体。
7.根据权利要求1所述的电子装置，其中所述处理器进一步配置成：
将所述预览图像与所述虚拟角色图像合成，使得所述虚拟角色图像与所述预览图像的外部对象所对应的图像一起显示在所述预览图像的背景区域中，或者
将所述预览图像与所述虚拟角色图像合成，使得所述虚拟角色图像的至少面部部分替换所述预览图像的面部区域。
8.根据权利要求1所述的电子装置，其中所述处理器进一步配置成：
当所述外部对象不是人时，基于所述外部对象的属性检测所述预览图像中的平面区域；以及
将所述预览图像与所述虚拟角色图像进行合成，使得所述虚拟角色图像显示在与所述平面区域对应的位置。
9.根据权利要求1所述的电子装置，其中所述处理器进一步配置成输出用于改变所述虚拟角色图像的至少一个方面的用户界面。
10.一种输出电子装置的虚拟角色图像的方法，所述方法包括：
使用相机模块获得与外部对象对应的预览图像；
基于所获得的预览图像，确定所述外部对象的属性；
基于所述外部对象的属性，将所述预览图像与虚拟角色图像进行合成；以及
通过显示器输出合成的预览图像。
11.根据权利要求10所述的方法，其中将所述预览图像与所述虚拟角色图像进行合成进一步包括：
基于所述外部对象的属性，跟踪所获得的预览图像中所述外部对象的区别特征；
基于所述区别特征产生所述虚拟角色图像；以及
将预览图像与产生的虚拟角色图像进行合成。
12.根据权利要求11所述的方法，进一步包括：
当所述外部对象为人时，基于所述外部对象的属性跟踪所述人的区别特征；以及
基于所述人的区别特征产生虚拟角色图像。
13.根据权利要求11所述的方法，进一步包括：
确定关于所述外部对象的跟踪级别；以及
基于所确定的跟踪级别来跟踪所述外部对象的所述区别特征。
14.根据权利要求13所述的方法，其中基于所述电子装置与所述外部对象之间的距离和/或所述预览图像中对应于所述外部对象的图像区域的尺寸来确定所述跟踪级别，
其中，所跟踪的区别特征对应于包括在所述外部对象中的面部轮廓、瞳孔、嘴、手、手指和/或身体。
15.根据权利要求10所述的方法，其中将所述预览图像与所述虚拟角色图像进行合成进一步包括：
将所述预览图像与所述虚拟角色图像进行合成，使得所述虚拟角色图像与所述预览图像的外部对象所对应的图像一起显示在所述预览图像的背景区域中；
将所述预览图像与所述虚拟角色图像合成，使得所述虚拟角色图像的至少面部部分替换所述预览图像的面部区域；或者
将所述预览图像与虚拟角色图像合成，使得所述虚拟角色图像显示在所述预览图像中与平面区域对应的位置。
16.一种电子装置，包括：
相机模块，配置为获得与外部对象对应的预览图像；以及
处理器，配置为：
基于所获得的预览图像确定所述外部对象的属性；以及
基于所述外部对象的属性，将所述预览图像与虚拟角色图像进行合成。
17.一种输出电子装置的虚拟角色图像的方法，包括：
获得与外部对象对应的预览图像；
基于所获得的预览图像，确定所述外部对象的属性；以及
基于所述外部对象的属性，将所述预览图像与虚拟角色图像进行合成。
CN202010101365.9A 2019-02-19 2020-02-19 用于提供基于虚拟角色的拍摄模式的电子装置及操作方法 Pending CN111586318A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190019526A KR102664688B1 (ko) 2019-02-19 2019-02-19 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
KR10-2019-0019526 2019-02-19

Publications (1)

Publication Number Publication Date
CN111586318A true CN111586318A (zh) 2020-08-25

Family

ID=69723783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010101365.9A Pending CN111586318A (zh) 2019-02-19 2020-02-19 用于提供基于虚拟角色的拍摄模式的电子装置及操作方法

Country Status (5)

Country Link
US (2) US11138434B2 (zh)
EP (2) EP3700190A1 (zh)
KR (1) KR102664688B1 (zh)
CN (1) CN111586318A (zh)
WO (1) WO2020171540A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915744A (zh) * 2020-08-31 2020-11-10 深圳传音控股股份有限公司 增强现实图像的交互方法、终端和存储介质
CN113325951A (zh) * 2021-05-27 2021-08-31 百度在线网络技术（北京）有限公司 基于虚拟角色的操作控制方法、装置、设备以及存储介质
CN114374815A (zh) * 2020-10-15 2022-04-19 北京字节跳动网络技术有限公司 图像采集方法、装置、终端和存储介质
WO2024041394A1 (zh) * 2022-08-26 2024-02-29 华为技术有限公司 拍摄方法及相关装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108187343B (zh) * 2018-01-16 2020-03-03 腾讯科技（深圳）有限公司 数据交互方法和装置、存储介质及电子装置
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
JPWO2020262261A1 (zh) * 2019-06-28 2020-12-30
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
KR102395083B1 (ko) * 2020-11-18 2022-05-10 주식회사 에스알유니버스 인공지능을 활용한 가상 얼굴 생성 방법 및 장치
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11450051B2 (en) * 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11335069B1 (en) * 2020-11-30 2022-05-17 Snap Inc. Face animation synthesis
KR20220078192A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 플랙서블 전자 장치 및 이의 아바타 서비스 운용 방법
KR20220158521A (ko) 2021-05-24 2022-12-01 남성준 인공지능 가상인물과 그의 초상 저작권을 기반으로 하는 마케팅 시스템 및 그 방법
WO2024071590A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090074957A (ko) * 2008-01-03 2009-07-08 삼성디지털이미징 주식회사 디지털 영상 처리 장치 및 그 제어 방법
CN101957981A (zh) * 2009-07-13 2011-01-26 三星电子株式会社 基于虚拟对象的图像处理的方法和设备
CN102004897A (zh) * 2009-08-31 2011-04-06 索尼公司 用于处理图像的装置、方法和程序
US20130100140A1 (en) * 2011-10-25 2013-04-25 Cywee Group Limited Human body and facial animation systems with 3d camera and method thereof
US20150325029A1 (en) * 2013-11-14 2015-11-12 Intel Corporation Mechanism for facilitaing dynamic simulation of avatars corresponding to changing user performances as detected at computing devices

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101477182B1 (ko) 2007-06-01 2014-12-29 삼성전자주식회사 단말 및 그의 이미지 촬영 방법
JP4466702B2 (ja) * 2007-09-12 2010-05-26 カシオ計算機株式会社 撮像装置、及び撮像制御プログラム
KR101450580B1 (ko) * 2008-11-19 2014-10-14 삼성전자주식회사 이미지 합성 방법 및 장치
KR20100064873A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 단말기 및 그 제어 방법
TWI439960B (zh) * 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8830226B2 (en) * 2010-09-28 2014-09-09 Apple Inc. Systems, methods, and computer-readable media for integrating a three-dimensional asset with a three-dimensional model
US8910082B2 (en) * 2012-08-10 2014-12-09 Modiface Inc. Method and system for modification of digital images through rotational cascading-effect interface
US8867786B2 (en) 2012-10-31 2014-10-21 Microsoft Corporation Scenario-specific body-part tracking
KR102093647B1 (ko) * 2013-02-22 2020-03-26 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 촬영장치 및 방법
KR102063915B1 (ko) * 2013-03-14 2020-01-08 삼성전자주식회사 사용자 기기 및 그 동작 방법
US20150033192A1 (en) * 2013-07-23 2015-01-29 3M Innovative Properties Company Method for creating effective interactive advertising content
US10121273B2 (en) 2013-08-08 2018-11-06 University Of Florida Research Foundation, Incorporated Real-time reconstruction of the human body and automated avatar synthesis
JP6370056B2 (ja) 2014-02-20 2018-08-08 オリンパス株式会社 撮像装置、通信機器、及び撮像方法
US20150277686A1 (en) * 2014-03-25 2015-10-01 ScStan, LLC Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format
US20160134840A1 (en) 2014-07-28 2016-05-12 Alexa Margaret McCulloch Avatar-Mediated Telepresence Systems with Enhanced Filtering
JP6152125B2 (ja) 2015-01-23 2017-06-21 任天堂株式会社 プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法
US20170069124A1 (en) * 2015-04-07 2017-03-09 Intel Corporation Avatar generation and animations
CN107851299B (zh) * 2015-07-21 2021-11-30 索尼公司 信息处理装置、信息处理方法以及程序
KR102279063B1 (ko) 2016-03-31 2021-07-20 삼성전자주식회사 이미지 합성 방법 및 그 전자장치
JP6448869B2 (ja) * 2016-08-05 2019-01-09 株式会社オプティム 画像処理装置、画像処理システム、及びプログラム
US20180047200A1 (en) * 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
US10636175B2 (en) * 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
US10515108B2 (en) * 2016-12-30 2019-12-24 Facebook, Inc. Dynamically ranking media effects based on user and device characteristics
DK179948B1 (en) * 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
KR102585858B1 (ko) * 2017-05-16 2023-10-11 애플 인크. 이모지 레코딩 및 전송
CN110036412A (zh) 2017-05-16 2019-07-19 苹果公司 表情符号录制和发送
DK180859B1 (en) * 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10296080B2 (en) * 2017-06-19 2019-05-21 Disney Enterprises, Inc. Systems and methods to simulate user presence in a real-world three-dimensional space
WO2019040669A1 (en) * 2017-08-22 2019-02-28 Silicon Algebra, Inc. METHOD FOR DETECTING EXPRESSIONS AND FACIAL EMOTIONS OF USERS
CN110135226B (zh) * 2018-02-09 2023-04-07 腾讯科技（深圳）有限公司 表情动画数据处理方法、装置、计算机设备和存储介质
US10375313B1 (en) * 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870374A1 (en) * 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US11074753B2 (en) * 2019-06-02 2021-07-27 Apple Inc. Multi-pass object rendering using a three- dimensional geometric constraint

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090074957A (ko) * 2008-01-03 2009-07-08 삼성디지털이미징 주식회사 디지털 영상 처리 장치 및 그 제어 방법
CN101957981A (zh) * 2009-07-13 2011-01-26 三星电子株式会社 基于虚拟对象的图像处理的方法和设备
CN102004897A (zh) * 2009-08-31 2011-04-06 索尼公司 用于处理图像的装置、方法和程序
US20130100140A1 (en) * 2011-10-25 2013-04-25 Cywee Group Limited Human body and facial animation systems with 3d camera and method thereof
US20150325029A1 (en) * 2013-11-14 2015-11-12 Intel Corporation Mechanism for facilitaing dynamic simulation of avatars corresponding to changing user performances as detected at computing devices

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915744A (zh) * 2020-08-31 2020-11-10 深圳传音控股股份有限公司 增强现实图像的交互方法、终端和存储介质
CN114374815A (zh) * 2020-10-15 2022-04-19 北京字节跳动网络技术有限公司 图像采集方法、装置、终端和存储介质
CN114374815B (zh) * 2020-10-15 2023-04-11 北京字节跳动网络技术有限公司 图像采集方法、装置、终端和存储介质
CN113325951A (zh) * 2021-05-27 2021-08-31 百度在线网络技术（北京）有限公司 基于虚拟角色的操作控制方法、装置、设备以及存储介质
CN113325951B (zh) * 2021-05-27 2024-03-29 百度在线网络技术（北京）有限公司 基于虚拟角色的操作控制方法、装置、设备以及存储介质
WO2024041394A1 (zh) * 2022-08-26 2024-02-29 华为技术有限公司 拍摄方法及相关装置

Also Published As

Publication number Publication date
US11138434B2 (en) 2021-10-05
WO2020171540A1 (en) 2020-08-27
US20200265234A1 (en) 2020-08-20
KR102664688B1 (ko) 2024-05-10
EP3700190A1 (en) 2020-08-26
EP4199529A1 (en) 2023-06-21
KR20200101206A (ko) 2020-08-27
US20210383119A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US11138434B2 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
US11636641B2 (en) Electronic device for displaying avatar corresponding to external object according to change in position of external object
KR102659357B1 (ko) 아바타 애니메이션을 제공하기 위한 전자 장치 및 그에 관한 방법
US11216999B2 (en) Electronic device and method for providing avatar based on emotion state of user
US11995750B2 (en) Electronic device and method of providing user interface for emoji editing while interworking with camera function by using said electronic device
US11048923B2 (en) Electronic device and gesture recognition method thereof
CN112840634B (zh) 用于获得图像的电子装置及方法
US11509815B2 (en) Electronic device and method for processing image having human object and providing indicator indicating a ratio for the human object
US11284020B2 (en) Apparatus and method for displaying graphic elements according to object
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
US20200077019A1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
CN108921815A (zh) 拍照交互方法、装置、存储介质及终端设备
US11587205B2 (en) Method and device for generating avatar on basis of corrected image
CN115066882A (zh) 用于执行自动对焦的电子装置和方法
CN112351188B (zh) 根据对象显示图形元素的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination