CN101051392A - 实时的自动面部特征替换 - Google Patents

实时的自动面部特征替换 Download PDF

Info

Publication number
CN101051392A
CN101051392A CNA200710090756XA CN200710090756A CN101051392A CN 101051392 A CN101051392 A CN 101051392A CN A200710090756X A CNA200710090756X A CN A200710090756XA CN 200710090756 A CN200710090756 A CN 200710090756A CN 101051392 A CN101051392 A CN 101051392A
Authority
CN
China
Prior art keywords
facial characteristics
feature
image
target image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200710090756XA
Other languages
English (en)
Inventor
保罗·麦卡尔平
拉维·普纳蒂
肯·埃尔贝斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Logitech Europe SA
Original Assignee
Logitech Europe SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Logitech Europe SA filed Critical Logitech Europe SA
Publication of CN101051392A publication Critical patent/CN101051392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

一种用于基于源图像的选定区域来修改目标图像的选定区域的方法。在一个实施例中，从来自网络相机的视频图像中检测面部特征。选择所述面部特征中的一个或一个以上面部特征并将其叠加在所述目标图像上。使用重新调整尺寸和α混合技术来将源部分混合到目标图像中。举例来说，这可产生娱乐效果，例如移动蒙娜丽莎的图像的眼睛和嘴唇。

Description

实时的自动面部特征替换
相关参考案的交叉申请
如果申请案资料页(ADS)中包括优先权资料，那么此部分就不需要。然而，包括此部分以并入其它参考。
如果对此部分添加文本，那么就去除“不适用”。
同一转让人的相关申请案是2005年7月14日申请的题为“Facial Features-Localizedand Global Real-Time Video Morphing”的第11/183,179号专利申请案和2004年1月28日申请的题为“Use of Multimedia Data for Emoticons In Instant Messaging”的公开案号为2005/0163379的第10/767,132号专利申请案，这些申请案以全文引用的方式并入本文。
技术领域
本发明涉及实时修改图像，特定来说涉及通过移动嘴唇和眼睛来改变人的图像的特征。
背景技术
用于修改图像(例如人的面部)的软件已存在一定的时间。第5,825,941号美国专利是允许病人在建议的整形手术之前看见其效果的软件的实例。其它软件允许用户(例如)通过改变面部的特征或将两个面部变形合在一起来修改可保存和打印的静态图片。第20050026685号美国公开申请案展示了用于变形视频游戏人物的系统。第20040201666号美国公开申请案展示了使用用户语音或其它输入来修改虚拟人物。
有多种应用旨在修改与即时消息传递一起使用的化身(avatar)。这些应用允许用户将代表用户的化身图像个性化。举例来说，第20030043153号美国公开申请案展示了根据网络相机视频馈送来确定面部表情并将那些表情映射到化身。将动画向量映射到目标混合向量。
Jay Leno完成了一个程式，其中他的嘴在一位名人的图像上移动。这是通过将Jay在说话的视频与所述图像对准并将两者混合以将他的嘴唇叠加到图像上来完成的。Jay坐在相机前方的适当位置来实现此过程。
第6,580,811号美国专利描述检测现场视频中的面部特征并使用那些面部特征来使化身活动。活动的面部图像可基于人的真实照片模型、卡通人物或与用户完全无关的面部。如12-13列中所述，使用许多常用技术中的一种来使化身活动：(1)关键帧和几何插值，(2)直接参数化，(3)假肌肉模型，(4)基于肌肉的模型，(5)2D和3D变形和(6)控制点和有限元模型。
Seiko Epson的第5,850,463号专利描述通过变化坐标值以略微移动一个或一个以上特征区域中的特定点(例如，眼睛、鼻子、眉毛或嘴)，来改变合成面部图像的表情。可通过界定描述面部图像中的哪些点移动且在什么方向上移动的表情数据(见17列，20-33行)来改变表情。
Taarna Studios的第6,163,322号专利描述一种使用基本姿势的数据库来使合成身体部分活动的方法。
发明内容
本发明提供一种基于源图像的选定区域来修改目标图像的选定区域的方法。在一个实施例中，在来自网络相机的视频图像中检测面部特征。选择所述面部特征中的一个或一个以上面部特征并将其叠加在目标图像上。使用重新调整尺寸和α混合技术来将源部分混合到目标图像中。举例来说，这可产生娱乐效果，例如移动蒙娜丽莎的图像的眼睛和嘴唇。
在一个实施例中，通过相机驱动程序将来自网络相机的视频馈送(例如USB视频馈送)提供到特征识别软件。定位视频中人的图像(源图像)，且接着定位选定的特征。特征识别软件还定位目标图像中的特征。将两个图像的特征的位置提供到单独的特征替换软件模块。特征替换软件模块执行重新调整尺寸和α混合，接着通过将对应于特征的一组像素从源图像替代到目标图像中来执行特征替换。
附图说明
图1是说明并入有本发明的特征替换部件的系统的实施例中软件的系统层和用户层的图。
图2是并入有本发明的特征替换部件的系统的实施例的方框图。
图3A和3B是本发明一个实施例中的悬停对话框和下拉菜单的图。
图4是用于选择特征替换的用户界面屏幕的实施例的图。
图5是并入有本发明的面部特征替换部件的即时消息发送器应用程序的实施例的屏幕快照。
图6A-6D是说明根据本发明实施例的对蒙娜丽莎的眼睛和嘴的修改的屏幕快照。
图7是本发明实施例的流程图。
具体实施方式
系统
图1说明本发明一个实施例的操作。将传入的视频100提供到视频管102，其由本发明的特征替换引擎104接收。可将视频管直接提供到应用程序106，如箭头108指示，或可提供到特征替换引擎。特征替换引擎将经修改的视频管提供到应用程序，如箭头110指示。
在一个实施例中，经修改的视频管110实际上是静止图像(又称为“背景图像”或“目标图像”)，其中某些特征是移动的，例如眼睛和嘴。举例来说，可提供蒙娜丽莎的背景图像。接着可用从USB网络相机(所述网络相机将指向任意说话者的面部)获得的视频流(又称为“前景视频”或“源视频”)中自动检索出来的蒙娜丽莎某些面部特征(例如：眼睛和嘴)的移动对应部分来替换这些面部特征。
在另一实施例中，经修改的视频管110实际上是含有从任意源传入的一个或多个面部的视频(又称为“背景视频”或“目标视频”)，其中所述背景视频上的某些面部特征由从不同源(例如，USB网络相机)传入的视频(也含有面部)的对应部分(也是移动的)替换。后一种视频又称为“前景视频”。接着自动地局部化背景和前景视频中的面部特征。一旦完成这一步骤，就用来自前景视频的面部特征替换背景视频中的面部特征。
举例来说，用户正观看关于James Bond的DVD电影。用户将网络相机指向其面部。用户可自由移动(当特征跟踪引擎跟踪视场中的特征时，不要求保持静止在某一位置)。在DVD视频帧上局部化的James Bond的面部特征由用户的面部特征替换(后者是从网络相机视频流中自动检索出来的)。将用户的面部特征适当改变尺寸、旋转和α混合以提供真实和可信的结果。
在另一实施例中，可用来自前景视频的面部替换来自背景图像或背景视频的整个面部。
任何使用图像输入的应用程序均可使用经修改的视频管。这包括即时消息传递应用程序(MSN Messenger、Yahoo Messenger、AOL messenger等)以及视频捕获应用程序(当(例如)艺术家正将视频捕获到磁盘上时)。这意味着可在将视频捕获到磁盘上并存储之前或在将其发送到通信通道另一侧的对话者之前应用特征替换。这是因为特征替换引擎集成在软件的系统级部分中，这使其对于位于系统层以上在用户层处的使用视频流的应用程序来说是透明的。由此，本发明是一般性的，即，其可与任何视频应用程序共存且根据快速助手(quick assistant)上的设置来修改其输入。
图2是并入有本发明的特征替换的系统实施例的方框图。网络相机10通过USB总线12连接到计算机14。USB总线12充当从相机到计算机的视频馈送。或者，可提供无线USB馈送，或可使用其它任何总线或接口来提供视频。另外，除网络相机以外还可使用相机。
计算机14包括相机驱动程序16，其接收现场视频并将其提供到特征识别软件模块18。特征识别模块18可为任何从视频图像中提取关于面部特征的信息的软件，例如NevenVision(在California的Santa Monica有办事处的机器视觉技术公司)出品的软件。
将检测到的关于面部特征的信息提供到特征替换模块20。特征替换模块响应于用户输入来选择面部特征、确定特征替换的类型并应用特征替换。用户输入可通过任何外围设备来提供，例如具有相关的键盘驱动程序26和鼠标驱动程序28的键盘22或鼠标24。在应用特征替换之后，将视频馈送或图像提供到应用程序软件30。所述应用程序软件可为即时消息发送器应用程序、视频会议应用程序或其它任何使用视频或图像的应用程序。在一个实施例中，由使用特征识别和特征替换软件导致的延迟小于一个视频帧。
特征替换模块含有尺寸改变模块和α混合模块。尺寸改变模块将用相机捕获的用户特征(源图像)的尺寸调整为目标图像中将被替换的相应特征的尺寸。接着对图像进行α混合以将源图像块边缘附近像素的颜色调整成目标图像上将被替换的特征周围的像素。此α混合技术对于所属领域的技术人员来说是众所周知的。另外，还可调整替换特征的角度及其亮度以将其匹配或混合到目标图像中。
特征替换快速助手
图3A展示悬停的对话框32，其为当请求现场视频时将打开并出现在屏幕上的快速助手。此自动激活由相机或视频驱动程序软件完成，其检测从应用程序(例如，即时消息发送器应用程序)进行视频馈送的请求的时间。快速助手将出现在靠近要求现场视频的程序窗口的地方，因此其将看起来仿佛是所述应用程序的一部分。图5中展示即时消息传递的实例。这提供的优点在于允许特征替换应用程序与使用视频馈送的第三方应用程序合作，且无需修改以适应特征替换引擎。用户通常将假设快速助手是所述第三方应用程序的一部分。这增加了新技术的使用便利性和接受度。
图3B说明快速助手对话框32的下拉菜单34。图中展示选项的实例，其它选项可在其它实施例中提供。用户可打开或关闭面部跟踪，且可启用对多个面部的跟踪。特征识别模块可能需要或可能不需要面部跟踪。用户可点击Video Effect Selection且另一对话框将出现，例如图4中列出的实例。菜单可包括并非特征替换部件的一部分但用户可能同时期望修改的选项，例如相机位置。选项可允许用户启用视频特征替换效果、选择效果，或连接到因特网以下载更多效果。
效果选择
图4是用于选择特定表情的用户界面屏幕60的实施例的图。提供下拉菜单62。用户可选择期望的特定一者。举例来说，选择63为替换蒙娜丽莎的眼睛和嘴，而选择64为仅替换蒙娜丽莎的眼睛。作为文字描述的替代或补充，还可使用图标或图片。微笑面部65和小丑面部66是实例。它们可与说明替换哪些特征的文字组合，或可通过加粗、使用不同颜色、使其移动等来突出显示将替换的特征。举例来说，一个微笑的面部可能具有移动的眼睛，其显示如果选中这个面部，就将仅替换眼睛。另一面部可能具有红色或加粗的眼睛和嘴，其指示如果选中所述图标或图像，就将替换眼睛和嘴。接着软件对面部的各个特征自动应用适当的调整。
每一特征选择都具有与其相关联的元数据，所述元数据识别存储器中将替换特征的图像和图像中那些特征的坐标。
在一个实施例中，除替换特征以外，还可将特征放置在图像上的任何地方。举例来说，可将用户的左眼或嘴唇放置在蒙娜丽莎前额的中间。
预览屏幕
图5说明预览屏幕的一个实施例。图中展示即时消息发送器窗口70和视频窗口72。它们旁边是悬停的对话框或快速助手32。快速助手旁边的下拉菜单74突出显示正显示的效果。在图示的实例中，显示名人效果“蒙娜丽莎”，其中用户的眼睛和嘴替换了蒙娜丽莎图像的眼睛和嘴。
图6A-6D是说明根据本发明实施例对蒙娜丽莎的眼睛和嘴的修改的屏幕快照。
图7是本发明一个实施例的流程图，其展示对静止目标图像80(例如，蒙娜丽莎)和来自网络相机或其它源的视频序列86的处理。目标图像80经过处理，且软件将面部特征(例如，眼睛和嘴唇)局部化。此处理一次性完成。接着提取特征的坐标以及子图像特性(84)。
对于视频序列86，对每一帧完成相同的局部化过程(88)。获得移动特征坐标以及特征子图像特性。接着对移动特征重新调整尺寸(92)以配合静止目标图像的尺寸。还根据需要对从视频中提取的特征进行重新定向(例如，倾斜)，并与静止图片的特性进行α混合以产生组合帧。接着替代视频帧而显示每一组合帧(94)。
变化
在一个实施例中，应用于面部的特征替换将随主体一起移动。在本发明的实施例中，将头部和特征的3D位置局部化，且将替换从正面位置调整到用户的实际位置。因此，即使面部不在正面，当主体旋转其头部时也会维持特征替换，因此嘴唇或其它特征将仍然看上去较为自然。这是通过针对每一特征存储和修改3D图像或通过使用运行中的3D调整的算法来完成的。
在一个实施例中，本发明能够对运行中的现场视频应用修改而仅有小于一帧的延迟。这是可能的，因为仅修改某些(或全部)面部特征(或整个面部)而不是整个帧。在一个实施例中，修改少于20％或少于10％的视频。这限制了必需的处理量，且增加了可完成特征替换的速度。
在另一实施例中，用户在将视频馈送到应用程序软件程序之前选择将应用的特征替换。在另一实施例中，用户还可(例如)在即时消息发送器对话中间进行运行中调整、特征替换或改变视频图像。
在一个实施例中，本发明集成在视频管中，使其对于任何应用程序来说都是透明的。应用程序不需要经修改以适应在视频馈送的驱动程序级应用的本发明。
在另一实施例中，存储流行的特征替换的组合。在用户可访问的网站上提供这些组合，且用户可创建其自身的特征替换组合并将其上载到网站上以便与其它用户共享。
在一个实施例中，例如对于有多人存在的电话会议，可独立地应用特征替换。
所属领域的技术人员将了解，可在不脱离本发明的本质特性的情况下以其它特殊形式实施本发明。举例来说，可将特征替换应用于宠物(例如，狗)的面部或其它任何图像的特征。可使特征替换模块在使用静止图片的应用程序开始(例如，从手机发送快照)时出现。可使特征替换引擎在应用程序(或仅对于某些类型的应用程序)请求视频馈送的任何时候出现。面部特征也可为整个面部。因此，应参考陈述所主张的本发明的范围的随附权利要求书。

Claims (18)

1.一种用于修改图像的方法，其包含：
接收人的面部的源图像；
从所述源图像中检测至少第一面部特征；
从所述源图像中提取所述第一面部特征；
将所述第一面部特征应用于目标图像的一部分，以产生经修改的目标图像；和
将所述经修改的目标图像提供到应用程序。
2.根据权利要求1所述的方法，其包含：
由用户选择目标图像和至少所述第一面部特征；
检测所述目标图像中对应于所述第一面部特征的目标面部特征；
用所述第一面部特征替换所述目标面部特征。
3.根据权利要求1所述的方法，其中所述源图像为来自现场视频馈送的视频图像。
4.根据权利要求1所述的方法，其中所述目标图像为静止图像。
5.根据权利要求1所述的方法，其中所述应用程序为即时消息传递程序。
6.根据权利要求1所述的方法，其进一步包含：
在检测到所述源图像时显示图形用户界面，其指示所述目标图像的可用性。
7.根据权利要求1所述的方法，其进一步包含：
检测到所述应用程序时显示图形用户界面，其指示所述目标图像的可用性。
8.根据权利要求1所述的方法，其进一步包含：
对所述面部特征重新调整大小以配合在所述目标图像内；和
对所述面部特征进行α混合。
9.根据权利要求1所述的方法，其中所述面部特征为整个面部。
10.根据权利要求1所述的方法，其中将所述面部特征应用于所述目标图像中除相应面部特征的位置以外的其它位置。
11.一种用于修改图像的设备，其包含：
视频输入馈送，其包括人的面部的图像；
特征检测软件模块，其经配置以从所述视频馈送中检测多个面部特征；
特征替换软件模块，其经配置以从所述特征检测软件接收检测到的面部特征的指示，并能够：选择所述面部特征中的至少第一面部特征；选择将应用所述第一面部特征的目标图像；及向目标图像应用所述第一面部特征以产生经修改的视频馈送；和
经修改的视频馈送输出，其被引导到应用程序。
12.根据权利要求11所述的设备，其中所述视频输入馈送为现场视频馈送。
13.根据权利要求11所述的设备，其中所述特征替换软件模块修改少于百分之二十的所述视频输入馈送。
14.根据权利要求11所述的设备，其进一步包含用于存取所述特征替换软件模块的快速助手。
15.根据权利要求14所述的设备，其中所述快速助手经配置以悬停在使用所述视频馈送的所述应用程序附近。
16.根据权利要求11所述的设备，其进一步包含：
重新调整尺寸模块，其用于对所述面部特征重新调整大小以配合在所述目标图像内；和
α混合模块，其用于对所述面部特征进行α混合。
17.一种用于修改视频图像的设备，其包含：
现场视频输入馈送，其包括人的面部的图像；
特征检测软件模块，其经配置以从所述视频馈送中检测多个面部特征；
特征替换软件模块，其经配置以从所述特征检测软件接收检测到的面部特征的指示，并能够：选择所述面部特征中的至少第一面部特征；选择针对所述第一面部特征的修改；及向目标图像应用所述修改以产生经修改的视频馈送；
所述特征替换软件模块包括重新调整尺寸模块和α混合模块；
其中所述特征替换软件模块修改少于百分之二十的所述目标图像；
快速助手，其用于存取所述特征替换软件，所述快速助手经配置以悬停在使用所述视频馈送的应用程序附近；和
经修改的视频馈送输出，其被引导到所述应用程序。
18.一种用于修改图像的系统，其包含：
视频相机，其提供包括人的面部的图像的视频输入馈送；和
计算机，其包括
特征检测软件模块，其经配置以从所述视频馈送中检测多个面部特征；
特征替换软件模块，其经配置以从所述特征检测软件接收检测到的面部特征的指示，并能够：选择所述面部特征中的至少第一面部特征；选择将应用所述第一面部特征的目标图像；及向目标图像应用所述第一面部特征以产生经修改的视频馈送；和
经修改的视频馈送输出，其被引导到应用程序。
CNA200710090756XA 2006-04-04 2007-04-02 实时的自动面部特征替换 Pending CN101051392A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/398,506 US20070230794A1 (en) 2006-04-04 2006-04-04 Real-time automatic facial feature replacement
US11/398,506 2006-04-04

Publications (1)

Publication Number Publication Date
CN101051392A true CN101051392A (zh) 2007-10-10

Family

ID=38542506

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200710090756XA Pending CN101051392A (zh) 2006-04-04 2007-04-02 实时的自动面部特征替换

Country Status (3)

Country Link
US (1) US20070230794A1 (zh)
CN (1) CN101051392A (zh)
DE (1) DE102007014020B4 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360491A (zh) * 2011-10-25 2012-02-22 深圳市万兴软件有限公司 一种基于电子终端的图片处理方法和装置
CN102509320A (zh) * 2011-10-25 2012-06-20 深圳市万兴软件有限公司 一种基于电子终端的图片处理方法和装置
CN102761705A (zh) * 2011-04-25 2012-10-31 奥林巴斯映像株式会社 图像记录装置、图像编辑装置以及摄像装置
WO2013143380A1 (zh) * 2012-03-29 2013-10-03 腾讯科技（深圳）有限公司 一种视频模拟形象的通信方法和装置
CN104115160A (zh) * 2011-12-19 2014-10-22 诺基亚公司 用于创建和显示脸部略图化身的方法和装置
CN104170374A (zh) * 2012-03-14 2014-11-26 谷歌公司 在视频会议期间修改参与者的外观
CN104657974A (zh) * 2013-11-25 2015-05-27 腾讯科技（上海）有限公司 一种图像处理方法及装置
CN105278950A (zh) * 2014-07-17 2016-01-27 宏达国际电子股份有限公司 用于执行视频通话增强功能的方法及其电子装置
CN106331569A (zh) * 2016-08-23 2017-01-11 广州华多网络科技有限公司 即时视频画面中人物脸部变换方法以及系统
CN109658480A (zh) * 2018-12-04 2019-04-19 深圳市子瑜杰恩科技有限公司 短视频眼镜叠加方法及相关产品
CN111274602A (zh) * 2020-01-15 2020-06-12 腾讯科技（深圳）有限公司 一种图像特征信息替换方法、装置、设备及介质
CN111937357A (zh) * 2018-05-07 2020-11-13 苹果公司 使用补充内容修改图像以进行消息传送
CN114004922A (zh) * 2021-10-29 2022-02-01 腾讯科技（深圳）有限公司 骨骼动画显示方法、装置、设备、介质及计算机程序产品
US11889229B2 (en) 2018-05-07 2024-01-30 Apple Inc. Modifying video streams with supplemental content for video conferencing

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8572642B2 (en) * 2007-01-10 2013-10-29 Steven Schraga Customized program insertion system
TW200838228A (en) * 2007-03-14 2008-09-16 Imagetech Co Ltd Virtual camera system and real-time communication method thereof
GB2447976B (en) * 2007-03-30 2011-04-27 Sony Uk Ltd Apparatus and method of image capture
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
US8266536B2 (en) * 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
US20100153847A1 (en) * 2008-12-17 2010-06-17 Sony Computer Entertainment America Inc. User deformation of movie character images
WO2011030263A1 (en) * 2009-09-11 2011-03-17 Koninklijke Philips Electronics N.V. Image processing system
US8839118B2 (en) * 2010-06-30 2014-09-16 Verizon Patent And Licensing Inc. Users as actors in content
KR20130014774A (ko) * 2011-08-01 2013-02-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9088426B2 (en) 2011-12-13 2015-07-21 Google Inc. Processing media streams during a multi-user video conference
CN106961621A (zh) * 2011-12-29 2017-07-18 英特尔公司 使用化身的通信
CN107257403A (zh) 2012-04-09 2017-10-17 英特尔公司 使用交互化身的通信
US9158963B2 (en) 2012-10-04 2015-10-13 Adobe Systems Incorporated Fitting contours to features
US9202138B2 (en) 2012-10-04 2015-12-01 Adobe Systems Incorporated Adjusting a contour by a shape model
US9640218B2 (en) 2012-12-07 2017-05-02 Intel Corporation Physiological cue processing
WO2014153689A1 (en) 2013-03-29 2014-10-02 Intel Corporation Avatar animation, social networking and touch screen applications
KR102127351B1 (ko) * 2013-07-23 2020-06-26 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
EP3063731B1 (en) * 2013-10-28 2020-03-04 Google LLC Image cache for replacing portions of images
US10114532B2 (en) * 2013-12-06 2018-10-30 Google Llc Editing options for image regions
KR20160057867A (ko) * 2014-11-14 2016-05-24 삼성전자주식회사 디스플레이 장치 및 그에 의한 이미지 처리 방법
CN104407893B (zh) * 2014-11-25 2017-11-03 广州酷狗计算机科技有限公司 展示动画的方法及装置
US9830728B2 (en) 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation
CN105049778A (zh) * 2015-08-25 2015-11-11 中国联合网络通信集团有限公司 一种实现视频通信的方法及装置
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
WO2017137947A1 (en) * 2016-02-10 2017-08-17 Vats Nitin Producing realistic talking face with expression using images text and voice
US20190289225A1 (en) * 2018-03-19 2019-09-19 Panasonic Intellectual Property Management Co., Ltd. System and method for generating group photos
CN108713313B (zh) * 2018-05-31 2021-10-15 阿里巴巴（中国）有限公司 多媒体数据处理方法、装置和设备/终端/服务器
US11089238B2 (en) * 2019-01-18 2021-08-10 Snap Inc. Personalized videos featuring multiple persons
US11074733B2 (en) 2019-03-15 2021-07-27 Neocortext, Inc. Face-swapping apparatus and method
US11341179B1 (en) * 2019-09-30 2022-05-24 Amazon Technologies, Inc. Media authenticity analysis service
CN111340688B (zh) * 2020-02-24 2023-08-11 网易（杭州）网络有限公司 一种闭眼图像的生成方法和装置
US11128636B1 (en) 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
CN114466240A (zh) * 2022-01-27 2022-05-10 北京精鸿软件科技有限公司 视频处理方法、装置、介质及电子设备

Family Cites Families (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2739505A (en) * 1952-02-04 1956-03-27 Gillette Edwin Method and means for producing composite talking pictures
US4809247A (en) * 1972-10-24 1989-02-28 Discovision Associates Video disc head tracking apparatus
US3941925A (en) * 1975-03-10 1976-03-02 Sarkes Tarzian, Inc. Digital soft edge video transition system
US4021847A (en) * 1976-07-15 1977-05-03 The United States Of America As Represented By The Secretary Of The Army Compensation circuit for pyroelectric vidicon system
US4206965A (en) * 1976-08-23 1980-06-10 Mcgrew Stephen P System for synthesizing strip-multiplexed holograms
US4267561A (en) * 1977-11-02 1981-05-12 Karpinsky John R Color video display for audio signals
US4160263A (en) * 1978-05-15 1979-07-03 George R. Cogar Dual or multiple objective video microscope for superimposing spaced images
US4255764A (en) * 1979-08-20 1981-03-10 Eastman Kodak Company Film scanner employing optical splice technique for frame-rate conversion
FR2465284A1 (fr) * 1979-09-11 1981-03-20 Rabeisen Andre Systeme de communication televisuelle permettant une creation graphique
US4337482A (en) * 1979-10-17 1982-06-29 Coutta John M Surveillance system
US4340905A (en) * 1980-09-12 1982-07-20 Balding George H Photographic printer and color film analyzer apparatus
US4383279A (en) * 1980-12-01 1983-05-10 North American Philips Corporation Reproduction of special purpose information on a video disc
US4491868A (en) * 1981-05-06 1985-01-01 Inspection Technology Inc. Video image compensator for inspection apparatus
US4445140A (en) * 1981-12-29 1984-04-24 Honeywell Inc. Electronic image stabilization system
JPS58182718A (ja) * 1982-04-20 1983-10-25 Datsuku Eng Kk 位置合わせ装置
US4602280A (en) * 1983-12-05 1986-07-22 Maloomian Laurence G Weight and/or measurement reduction preview system
NL8401416A (nl) * 1984-05-03 1985-12-02 Thomassen & Drijver Inrichting voor het opsporen van houders met een afwijkende eigenschap.
JPS615686A (ja) * 1984-06-20 1986-01-11 Sanyo Electric Co Ltd ビデオａｇｃ回路
US4673995A (en) * 1984-07-06 1987-06-16 Kennedy Company Cartridge tape drive with friction roller to open cartridge door
US4600281A (en) * 1985-03-29 1986-07-15 Bloomstein Richard W Altering facial displays in cinematic works
US4731666A (en) * 1985-05-13 1988-03-15 Csesznegi's Art World Unlimited, Inc. Kaleidoscope recording apparatus
JPS6290087A (ja) * 1985-10-15 1987-04-24 Minolta Camera Co Ltd 一眼レフレツクスタイプの電子スチ−ルカメラ
US4823285A (en) * 1985-11-12 1989-04-18 Blancato Vito L Method for displaying hairstyles
US4731743A (en) * 1985-11-12 1988-03-15 Combputer Images, Inc. Method and apparatus for displaying hairstyles
US4795261A (en) * 1985-12-24 1989-01-03 Hitachi, Ltd. Reduction projection type aligner
US4815845A (en) * 1986-04-16 1989-03-28 Westinghouse Electric Corp. Axial alignment aid for remote control operations and related method
JPH071428B2 (ja) * 1986-09-29 1995-01-11 株式会社アスキ− 表示制御装置
US4800432A (en) * 1986-10-24 1989-01-24 The Grass Valley Group, Inc. Video Difference key generator
GB8625602D0 (en) * 1986-10-25 1986-11-26 Coneglio R Removal of fibrous material
US4804983A (en) * 1986-11-19 1989-02-14 Thayer Jr Donald O Photography booth and method
US4896175A (en) * 1986-11-19 1990-01-23 Thayer Jr Donald O Photography booth and method
US5198305A (en) * 1986-12-25 1993-03-30 Asahi Kasei Kogyo Kabushiki Kaisha Optical element substrate
US4844475A (en) * 1986-12-30 1989-07-04 Mattel, Inc. Electronic interactive game apparatus in which an electronic station responds to play of a human
US4727416A (en) * 1987-03-05 1988-02-23 Fuji Optical Systems, Inc. Electronic video dental camera
US4795253A (en) * 1987-04-24 1989-01-03 Mobay Corporation Remote sensing gas analyzer
JP2634410B2 (ja) * 1987-07-03 1997-07-23 富士写真フイルム株式会社 帯状プリント写真
US4934773A (en) * 1987-07-27 1990-06-19 Reflection Technology, Inc. Miniature video display system
DE3850925T2 (de) * 1987-09-24 1994-12-01 Fuji Photo Film Co Ltd Verfahren und Vorrichtung zur Herstellung photographischer Abzüge.
US5127032A (en) * 1987-12-03 1992-06-30 Johns Hopkins University Multi-directional x-ray imager
US4897827A (en) * 1987-12-12 1990-01-30 U.S. Philips Corporation Video disc player with rapid track access means
US5012274A (en) * 1987-12-31 1991-04-30 Eugene Dolgoff Active matrix LCD image projection system
US5300942A (en) * 1987-12-31 1994-04-05 Projectavision Incorporated High efficiency light valve projection system with decreased perception of spaces between pixels and/or hines
US4999586A (en) * 1988-05-26 1991-03-12 North American Philips Corp Wideband class AB CRT cathode driver
DE3831630A1 (de) * 1988-09-17 1990-03-22 Ulrich M Landwehr Verfahren und vorrichtung zur ermittlung der abmessungen eines gegenstandes auf photographischem wege
EP0362737B1 (de) * 1988-10-05 1994-05-18 Josef Wolf Audio-Visuals Gerät und Verfahren für das Umwandeln von Bildern oder Abbildern in Videosignale
DE3833823C1 (zh) * 1988-10-05 1990-02-22 Arnold & Richter Cine Technik Gmbh & Co Betriebs Kg, 8000 Muenchen, De
US4899921A (en) * 1988-10-28 1990-02-13 The American Optical Corporation Aligner bonder
US5036472A (en) * 1988-12-08 1991-07-30 Hallmark Cards, Inc. Computer controlled machine for vending personalized products or the like
US5005148A (en) * 1989-01-12 1991-04-02 Atari Games Corporation Driving simulator with moving painted dashboard
US5724519A (en) * 1989-02-17 1998-03-03 Hitachi, Ltd. Complementary transistor circuit and amplifier and CRT display device using the same
US5086354A (en) * 1989-02-27 1992-02-04 Bass Robert E Three dimensional optical viewing system
US5206629A (en) * 1989-02-27 1993-04-27 Texas Instruments Incorporated Spatial light modulator and memory for digitized video display
US4937665A (en) * 1989-06-29 1990-06-26 Autovision Associates Apparatus for promoting the vigilance of a vehicle operator using monocular display
JPH0353212A (ja) * 1989-07-21 1991-03-07 Minolta Camera Co Ltd 光ビーム走査装置
US5025320A (en) * 1989-09-07 1991-06-18 Buhl Industries, Inc. Video imaging podium
US4995068A (en) * 1989-10-02 1991-02-19 S&S Inficon, Inc. Radiation therapy imaging apparatus
US4991005A (en) * 1989-10-27 1991-02-05 Smith Ethel L Glass frame viewing assembly and method of use
JP2920653B2 (ja) * 1990-03-15 1999-07-19 アイシン精機株式会社 車載撮像装置
US5117283A (en) * 1990-06-25 1992-05-26 Eastman Kodak Company Photobooth compositing apparatus
JP2993063B2 (ja) * 1990-07-05 1999-12-20 ソニー株式会社 ミラーマザーｖｔｒの記録回路
JP2764761B2 (ja) * 1990-07-19 1998-06-11 松下電器産業株式会社 映像信号平均輝度レベル検出装置
US5027138A (en) * 1990-07-23 1991-06-25 Gandrud S Garfield Dental camera system
JP3216722B2 (ja) * 1990-09-27 2001-10-09 株式会社ナムコ 画像合成装置、方法及びこれを用いた射撃ゲーム装置
US5277499A (en) * 1990-10-04 1994-01-11 Canon Kabushiki Kaisha Dynamic pressure bearing apparatus
US5196949A (en) * 1990-10-10 1993-03-23 Xerox Corporation Vestigial sideband scophony imaging modulator
US5117285A (en) * 1991-01-15 1992-05-26 Bell Communications Research Eye contact apparatus for video conferencing
US5613056A (en) * 1991-02-19 1997-03-18 Bright Star Technology, Inc. Advanced tools for speech synchronized animation
US5317405A (en) * 1991-03-08 1994-05-31 Nippon Telegraph And Telephone Corporation Display and image capture apparatus which enables eye contact
FR2676284B1 (fr) * 1991-05-07 1994-12-02 Peugeot Procede de detection d'obstacles presents devant un vehicule automobile et dispositif pour la mise en óoeuvre d'un tel procede.
US5301030A (en) * 1991-08-13 1994-04-05 Samsung Electronics Co., Ltd. Optical illumination apparatus for a display unit with efficient light source polarization
US5414521A (en) * 1991-09-12 1995-05-09 Ansley; David A. Dynamic distortion correction apparatus and method
US5189490A (en) * 1991-09-27 1993-02-23 University Of Hartford Method and apparatus for surface roughness measurement using laser diffraction pattern
JP2745926B2 (ja) * 1992-01-27 1998-04-28 富士写真フイルム株式会社 モニタ画面付きビデオプロジェクタ
KR950011005B1 (ko) * 1992-02-29 1995-09-26 삼성전자주식회사 투영광학장치
US5218626A (en) * 1992-05-01 1993-06-08 Picker International, Inc. Solid state photo sensor with adjustable viewing means
US5311568A (en) * 1992-05-01 1994-05-10 Picker International, Inc. Optical alignment means utilizing inverse projection of a test pattern/target
US5299274A (en) * 1992-06-25 1994-03-29 Hughes Aircraft Company Optical fiber laser fusion splicer
US5424838A (en) * 1993-03-01 1995-06-13 Siu; Bernard Microelectronics inspection system
US5603617A (en) * 1992-07-24 1997-02-18 Light; James H. Sports trainer
US5612716A (en) * 1992-08-24 1997-03-18 Casio Computer Co., Ltd. Image display device
US5303043A (en) * 1992-09-01 1994-04-12 Florida Atlantic University Projection television display utilizing Bragg diffraction cell for producing horizontal scan
US5283433A (en) * 1992-10-05 1994-02-01 The Regents Of The University Of California Scanning confocal microscope providing a continuous display
US5394198A (en) * 1992-12-22 1995-02-28 At&T Corp. Large-screen display system
US5309496A (en) * 1992-12-23 1994-05-03 Winsor Robin W Filmless X-ray apparatus and method of using the same
US5380206A (en) * 1993-03-09 1995-01-10 Asprey; Margaret S. Personalizable animated character display clock
US5392080A (en) * 1993-04-28 1995-02-21 Sony Electronics, Inc. Method and apparatus for an integrating sphere lamphouse
US5398082A (en) * 1993-05-20 1995-03-14 Hughes-Jvc Technology Corporation Scanned illumination for light valve video projectors
US5717454A (en) * 1993-07-14 1998-02-10 Lifetouch Portrait Studios, Inc. Method and apparatus for creating posing masks on video screen
JP3799633B2 (ja) * 1995-06-16 2006-07-19 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
AU3639699A (en) * 1998-04-13 1999-11-01 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6206750B1 (en) * 1998-10-30 2001-03-27 Mattel, Inc. Personalized toys and methods for manufacturing and delivering the same
US7062454B1 (en) * 1999-05-06 2006-06-13 Jarbridge, Inc. Previewing system and method
US6903756B1 (en) * 1999-10-14 2005-06-07 Jarbridge, Inc. Merged images viewed via a virtual storage closet
JP4310916B2 (ja) * 2000-11-08 2009-08-12 コニカミノルタホールディングス株式会社 映像表示装置
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US6876364B2 (en) * 2001-08-13 2005-04-05 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
WO2004004139A2 (en) * 2002-06-26 2004-01-08 Yahoo Inc. System and method for communicating images between intercommunicating users
US7053915B1 (en) * 2002-07-30 2006-05-30 Advanced Interfaces, Inc Method and system for enhancing virtual stage experience
GB2417874A (en) * 2003-05-13 2006-03-08 Electronic Arts Inc Customizing players in a video game using morphing from morph targets and other elements
US7212664B2 (en) * 2003-08-07 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Constructing heads from 3D models and 2D silhouettes

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761705A (zh) * 2011-04-25 2012-10-31 奥林巴斯映像株式会社 图像记录装置、图像编辑装置以及摄像装置
CN102761705B (zh) * 2011-04-25 2015-07-22 奥林巴斯映像株式会社 图像记录装置、图像编辑装置以及摄像装置
CN102509320B (zh) * 2011-10-25 2014-06-04 深圳万兴信息科技股份有限公司 一种基于电子终端的图片处理方法和装置
CN102360491B (zh) * 2011-10-25 2013-07-31 深圳万兴信息科技股份有限公司 一种基于电子终端的图片处理方法和装置
CN102360491A (zh) * 2011-10-25 2012-02-22 深圳市万兴软件有限公司 一种基于电子终端的图片处理方法和装置
CN102509320A (zh) * 2011-10-25 2012-06-20 深圳市万兴软件有限公司 一种基于电子终端的图片处理方法和装置
CN104115160A (zh) * 2011-12-19 2014-10-22 诺基亚公司 用于创建和显示脸部略图化身的方法和装置
CN104170374A (zh) * 2012-03-14 2014-11-26 谷歌公司 在视频会议期间修改参与者的外观
WO2013143380A1 (zh) * 2012-03-29 2013-10-03 腾讯科技（深圳）有限公司 一种视频模拟形象的通信方法和装置
CN104657974A (zh) * 2013-11-25 2015-05-27 腾讯科技（上海）有限公司 一种图像处理方法及装置
WO2015074476A1 (zh) * 2013-11-25 2015-05-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置和存储介质
CN105278950A (zh) * 2014-07-17 2016-01-27 宏达国际电子股份有限公司 用于执行视频通话增强功能的方法及其电子装置
CN105278950B (zh) * 2014-07-17 2019-01-18 宏达国际电子股份有限公司 用于执行视频通话增强功能的方法及其电子装置
CN106331569A (zh) * 2016-08-23 2017-01-11 广州华多网络科技有限公司 即时视频画面中人物脸部变换方法以及系统
CN111937357A (zh) * 2018-05-07 2020-11-13 苹果公司 使用补充内容修改图像以进行消息传送
US11336600B2 (en) 2018-05-07 2022-05-17 Apple Inc. Modifying images with supplemental content for messaging
US11736426B2 (en) 2018-05-07 2023-08-22 Apple Inc. Modifying images with supplemental content for messaging
US11889229B2 (en) 2018-05-07 2024-01-30 Apple Inc. Modifying video streams with supplemental content for video conferencing
CN109658480A (zh) * 2018-12-04 2019-04-19 深圳市子瑜杰恩科技有限公司 短视频眼镜叠加方法及相关产品
CN111274602A (zh) * 2020-01-15 2020-06-12 腾讯科技（深圳）有限公司 一种图像特征信息替换方法、装置、设备及介质
CN114004922A (zh) * 2021-10-29 2022-02-01 腾讯科技（深圳）有限公司 骨骼动画显示方法、装置、设备、介质及计算机程序产品
CN114004922B (zh) * 2021-10-29 2023-11-24 腾讯科技（深圳）有限公司 骨骼动画显示方法、装置、设备、介质及计算机程序产品

Also Published As

Publication number Publication date
DE102007014020B4 (de) 2010-08-12
DE102007014020A1 (de) 2007-10-31
US20070230794A1 (en) 2007-10-04

Similar Documents

Publication Publication Date Title
CN101051392A (zh) 实时的自动面部特征替换
US7397932B2 (en) Facial feature-localized and global real-time video morphing
Billinghurst et al. Collaborative augmented reality
US8279254B2 (en) Method and system for video conferencing in a virtual environment
US20160163084A1 (en) Systems and methods for creating and distributing modifiable animated video messages
US20130101164A1 (en) Method of real-time cropping of a real entity recorded in a video sequence
US11887235B2 (en) Puppeteering remote avatar by facial expressions
US11842442B2 (en) Camera reprojection for faces
GB2487039A (en) Visualizing Illustrated Books And Comics On Digital Devices
CN111638784A (zh) 人脸表情互动方法、互动装置以及计算机存储介质
CN110572717A (zh) 视频编辑方法和装置
US11887249B2 (en) Systems and methods for displaying stereoscopic rendered image data captured from multiple perspectives
WO2023244320A1 (en) Generating parallax effect based on viewer position
WO2023076648A1 (en) Extraction of user representation from video stream to a virtual environment
Billinghurst et al. The magazine archive includes every article published in Communications of the ACM for over the past 50 years.
US20240005579A1 (en) Representing two dimensional representations as three-dimensional avatars
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20240078745A1 (en) Generation of a virtual viewpoint image of a person from a single captured image
US20240098213A1 (en) Modifying digital content transmitted to devices in real time via processing circuitry
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023205145A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039885A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
CN115968544A (zh) 浏览器中的实时虚拟远程传送

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20071010