CN1522425A - 在原始图像上叠加用户图像的方法和设备 - Google Patents

在原始图像上叠加用户图像的方法和设备 Download PDF

Info

Publication number
CN1522425A
CN1522425A CNA02813446XA CN02813446A CN1522425A CN 1522425 A CN1522425 A CN 1522425A CN A02813446X A CNA02813446X A CN A02813446XA CN 02813446 A CN02813446 A CN 02813446A CN 1522425 A CN1522425 A CN 1522425A
Authority
CN
China
Prior art keywords
performer
image
static model
personnel
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA02813446XA
Other languages
English (en)
Inventor
S��V��R��������
S·V·R·古塔
÷
A·科尔梅纳雷斯
ά
M·特拉科维克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1522425A publication Critical patent/CN1522425A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明揭示了一种图像处理系统，使一个用户可以参与一个给定的内容选择或者替代这个内容选择中的任何演员或角色。用户可以通过用相应用户(或者一个所选的第三方)的图像替换演员的图像来修改一个图像。对每个帧估计出与需替换的演员关联的各个参数。得出用户(或者所选的第三方)的一个静态模型。用一种面部综合技术按照所估计的与所选的演员关联的参数修改用户模型。在视频集成阶段将经修改的用户模型叠加到原始图像序列中的演员上，产生在原来演员的位置上含有用户(或所选的第三方)的一个输出视频序列。

Description

在原始图像上叠加用户图像的方法和设备
技术领域
本发明与图像处理技术有关，具体地说，与修改一个图像序列使用户可以参与这个图像序列的方法和设备有关。
背景技术
消费市场提供各式各样的媒体和娱乐选择。例如，有各种支持各种媒体格式的媒体播放机，可以为用户带来数量几乎不受限制的媒体内容。此外，可得到各种支持各种格式的视频游戏系统，使用户可以进行数量几乎不受限制的电视游戏。然而，许多用户可能很快就会对这样的传统媒体和娱乐选项失去兴趣。
虽然可能有大量的内容选项，但一个给定的内容选择通常具有固定的演员阵容或动画角色。因此，许多用户常常会失去兴趣去观看在一个给定的内容选择中的演员或角色阵容，特别是在演员或者角色是用户所陌生的时侯。此外，许多用户愿意参与一个给定的内容选择或者观看演员或角色被替换了的内容选择。然而，当前还没有一种机制使一个用户可以参与一个给定的内容选择或者替代内容选择中的任何演员或角色。
因此需要有一种可以将一个图像序列修改成包含一个用户的图像的方法和设备。还需要有一种可以将一个图像序列修改成使一个用户可以参与这个图像序列的方法和设备。
发明内容
概括地说，本发明揭示了一种图像处理系统，使一个用户可以参与一个给定的内容选择或者替代这个内容选择中的任何演员或角色。本发明使一个用户可以通过用一个相应的用户(或一个所选的第三方)的图像代替在原始图像序列中的一个演员的图像来修改一个图像或图像序列。
首先对原始图像序列进行分析，对于每个帧，估计与需替换的演员关联的各个参数，诸如演员的头部姿势、面部表情和照明特性之类。还得出用户(或所选的第三方)的一个静态模型。面部综合技术按照与所选演员关联的估计参数修改用户模型，因此如果演员具有一个给定的头部姿势和面部表情，就按此修改静态的用户模型。视频集成阶段将经修改的用户模型叠加到原始图像序列中的演员上，产生在原来演员的位置上含有用户(或所选的第三方)的一个输出视频序列。
从以下结合附图所作的详细说明中可以更全面地理解本发明，看到本发明的其他特征和优点。在这些附图中：
附图说明
图1例示了按照本发明设计的一个图像处理系统；
图2例示了按照本发明执行的操作的总体示意图；
图3为说明图1的面部分析过程的一个示范性实现的流程图；
图4为说明图1的面部面部综合过程的一个示范性实现的流程图；以及
图5为说明图1的视频集成过程的一个示范性实现的流程图。
具体实施方式
图1例示了按照本发明设计的图像处理系统100。按照本发明的一个方面，图像处理系统100通过用相应用户的图像(或者部分图像，例如用户的面部)代替原始图像序列中的一个演员的图像(或者部分图像，例如演员的面部)使一个或多个用户可以加入一个图像或图像序列，诸如一个视频序列或视频游戏序列之类。需替换的演员可以由用户从图像序列中选择，也可以是预先确定或者动态确定的。在一个变形中，图像处理系统100可以对输入图像序列进行分析，根据例如演员出现的帧数或者演员具有特写镜头的帧数对输入图像序列中所包括的这些演员排名。
首先，对原始图像序列进行分析，对于每个帧，估计与需替换的演员关联的各个参数，诸如演员的头部姿势，面部表情和照明特性之类。此外，还得出用户(或者一个第三者)的静态模型。用户(或者第三者)的静态模型可以从一个面部数据库得到，或者可以从用户头部的二或三维图像得到。例如，可用市售的CyberScan技术公司(CyberScan Technologies of Newtown，PA)的Cyberscan光学测量系统来得到静态模型。然后用面部综合技术按照与所选演员关联的估计参数修改用户模型。具体地说，用演员参数驱动用户模型，因此如果演员具有一个给定的头部姿势和面部表情，就按此修改静态的用户模型。最后，视频集成阶段将经修改的用户模型覆盖或叠加到原始图像序列中的演员上，产生一个用户处在原来演员的位置上的输出视频序列。
图像处理系统100可以体现为任何含有一个诸如中央处理单元(CPU)之类的处理器150和诸如RAM和ROM之类的存储器160的计算设备，诸如个人计算机或工作站之类。在另一个实施例中，在这里所揭示的图像处理系统100可以实现为一个专用集成电路(ASIC)，例如作为一个图像处理系统或数字电视的一部分。如图1所示和下面分别结合图3至5进一步说明的那样，图像处理系统100的存储器160包括一个面部分析过程300、一个面部综合过程400和一个视频集成过程500。
概括地说，面部分析过程300对原始图像序列110进行分析，估计与需替换的演员关联的所关注的参数，诸如演员头部姿势、面部表情和照明特性之类。面部综合过程400按照面部分析过程300产生的参数修改用户模型。最后，视频集成过程500将经修改的用户模型叠加到原始图像序列110中的演员上，产生用户处在原来演员的位置上的一个输出视频序列180。
如在该技术领域内所知的，在这里所说明的方法和设备可以作为一种本身包括一个体现为计算机可读代码装置的计算机可读媒体的制品分销。这个计算机可读程序代码装置可与一个计算机系统配合工作，实现执行在这里所说明的方法的所有或一些步骤或者创建在这里所说明的设备。计算机可读媒体可以是可记录媒体(例如：软盘，硬盘驱动器，光盘，或者存储卡)，也可以是传输媒体(例如：包括光纤的网络，万维网，电缆，或者采用时分多址、码分多址的无线信道或其他射频信道)。任何可以存储适合与计算机系统一起使用的信息的已知或已开发的媒体都可以使用。计算机可读代码装置是任何使计算机可以读取诸如在磁媒体上磁性变化或光盘表面上高度变化之类的指令和数据。
存储器160将处理器150配置成可以实现在这里所揭示的方法、步骤和功能。存储器160可以是分布式的或本机的，处理器可以是分布式的或单一的。存储器160可以实现为一个电、磁或光存储器，也可以是这些或其他类型的存储装置的任何组合。所谓“存储器”应该广义地理解为足以容纳处理器150能从可寻址空间读出的或写入可寻址空间的任何信息。按此，网络上的信息仍然是在图像处理系统100的存储器160内，因为处理器150可以从网络中提取这信息。
图2例示了由本发明执行的操作的总体示意图。如图2所示，首先，由面部分析过程300如下面将结合图3所说明的那样分析原始图像序列210的每个帧，估计需替换的演员的各个所关注的参数，诸如演员的头部姿势、面部表情和照明特性之类。此外，从例如对准用户的摄像机220-1或面部数据库220-2得到用户(或第三方)的静态模型230。产生静态模型230的方式下面在“头部/面部的三维模型”这节中还要说明。
此后，下面将结合图4说明的面部综合过程400按照面部分析过程300产生的演员参数修改用户模型230。因此，用演员参数驱动用户模型230，从而如果演员具有一个给定的头部姿势和面部表情，就按此修改静态的用户模型。如所示图2，视频集成过程500将经修改的用户模型230′叠加到原始图像序列210中的演员上，产生用户处在原来演员的位置上的一个输出视频序列250。
图3为说明面部分析过程300的一个示范性实现的流程图。如上面所指出的，面部分析过程300对原始图像序列110进行分析，估计出与需替换的演员关联的各个所关注的参数，诸如演员的头部姿势、面部表情和照明特性。
如图3所示，面部分析过程300首先在步骤310期间接收到用户对需替换的演员的选择。如上面所指出的，可以采用一个默认的演员选择，或者需替换的演员可以根据例如图像序列110内出现的频率自动选择。此后，面部分析过程300在步骤320期间执行对当前图像帧的面部检测，标识图像内的所有演员。面部检测可以按照在例如转让给本发明的受让方的国际专利WO9932959“基于姿势的选项选择的方法和系统”(“Method and System for Gesture Based OptionSelection”)、Damian Lyons和Daniel Pelletiet的“识别人体特征的行扫描计算机视觉算法”(“A Line-Scan Computer VisionAlgorithm for Identifying Human Body Features”，Gesture′99，85-96 France(1999))、Ming-HsuanYang和Narendra Ahuja的“检测彩色图像内人的面部”(“Detecting Human Faces in ColorImages”，Proc.of the 1998 IEEE Int′1 Conf.on ImageProcessing(ICIP，98)，Vol.1，127-130，(October，1998))和I.Haritaoglu、D.Harwood、L.Davis的“Hydra操作系统：利用轮廓的多人检测和跟踪”(“Hydra：Multiple People Detectionand Tracking Using Silhouettes”，Computer Vision and PatternRecognition，Second Workshop of Video Surveillance(CVPR，1999))中所揭示的原理执行，这些文献在这里都列为参考予以引用。
此后，在步骤330期间对在上一步骤中检测到的面部之一运用面部识别技术。面部识别可以按照在例如在这里列为参考予以引用的Antonio Colmenarez和Thomas Huang的“最大似然面部检测”(“Maximum Likelihood Face Detection”，2nd Int′1 Conf.onFace and Gesture Recognition，307-311 Killinglon，Vermont(October 14-16，1996))或Srinivas Gutta等人的“应用混合分类器的面部和姿势识别”(“Face and Gesture Recognition UsingHybrid Classifiers”，2d Int′1 Conf.on Face and GestureRecognition，164-169，Killington，Vermont(October 14-16，1996))中所揭示的原理执行。
在步骤340期间执行测试，确定所识别的面部是否符合需替换的演员。如果在步骤340期间确定当前的面部不符合需替换的演员，就在步骤350期间执行另一个测试，确定是否在需测试的图像内有检测到的另一个演员。如果在步骤350期间确定在需测试的图像内有检测到的另一个演员，程序控制就返回到步骤330，以上面所述的方式处理检测到的另一个面部。然而，如果在步骤350期间确定在需测试的图像内没有检测到的其他演员，于是程序控制结束。
如果在步骤340期间确定当前的面部符合需替换的演员，于是在步骤360期间估计演员的头部姿势，在步骤370期间估计面部表情，以及在步骤380期间估计照明。演员的头部姿势可以在步骤360期间例如按照在这里列为参考予以引用的Srinivas Gutts等人的“人面部的性别、民族和姿势的混合专家分类”(“Mixture of Experts forClassification of Gender、Ethnic Origin and Pose of HumanFaces”，IEEE Transactions on Neural Networks，11(4)，948-960(July 2000))中所揭示的原理估计。演员的面部表情可以在步骤370期间例如按照在这里列为参考予以引用的Antonio Colmenarez等人的“植入的面部和面部表情识别的概率准则”(“A ProbabilisticFramework for Embedded Face and Facial ExpressionRecognition”，Vol.1，592-597，IEEE Conference on ComputerVision and Pattern Recognition，Fort Collins，Colorado(June23-25，1999))中所揭示的原理估计。演员的照明可以在步骤380期间例如按照在这里列为参考予以引用的J.Stander的“基于三维对象的分析综合编码的照明估计方法”(“An IlluminationEstimation Method for 3D-Object-Based Analysis-SynthesisCoding”，COST 211 European Workshop on New Techniques forCoding of Video Signals at Very Low Bitrates，Hanover，Germany，4.5.1-4.5.6(December 1-2，1993))中所揭示的原理估计。
头部/面部的三维模型
如上面所指出的，用户(或第三方)的静态模型230从例如对准用户的摄像机220-1或面部数据库220-2得到。对于产生三维用户模型的更详细的讨论可参见例如在这里列为参考予以引用的LawrenceS.Chen和Jorn Osterman的“采用个性化三维头部模型的赋有生气的说话头部”(“Animated Talking Head with Personalized 3D HeadModel”，Proc.of 1997 Workshop of Multimedia SignalProcessing，274-279，Princeton，NJ(June 23-25，1997))。此外，如上面所指出的，可用市售的CyberScan技术公司(CyberScanTechnologies of Newtown，PA)的Cyberscan光学测量系统来得到静态模型。
概括地说，用一个几何模型截获用户的头部在三维空间内的形状。几何模型通常呈距离数据的形式。用一个外观模型截获用户头部表面的纹理和颜色。外观模型通常呈彩色数据的形式。最后，用一个表示模型截获传送面部表情的用户面部非刚性变形、嘴唇活动和其他信息。
图4为说明面部综合过程400的一个示范性实现的流程图。如上面所指出的，面部综合过程400按照面部分析过程300产生的参数修改用户模型230。如图4所示，面部综合过程400首先在步骤410期间提取面部分析过程300产生的参数。
此后，面部综合过程400在步骤420期间用头部姿势参数旋转、转换和/或重新缩放静态模型230，以适合在输入图像序列110内需替换的演员的位置。面部综合过程400然后在步骤430期间用面部表情参数使静态模型230变形，以符合输入图像序列110内需替换的演员的面部表情。最后，面部综合过程400在步骤440期间用照明参数调整静态模型230的图像的若干特征，诸如颜色、强度、对比度、噪声和阴影，以符合输入图像序列110的特性。此后，程序控制结束。
图5为说明视频集成过程500的一个示范性实现的流程图。如上面所指出的，视频集成过程500将经修改的用户模型叠加到原始图像序列110中的演员上，产生用户处在原来演员所处的位置上的一个输出视频序列180。如图5所示，视频集成过程500首先在步骤510期间获取原始图像序列110。视频集成过程500然后在步骤520期间从面部综合过程400获取经修改的用户静态模型230。
视频集成过程500此后在步骤530期间将经修改的用户静态模型230叠加到原始图像110内演员的图像上，产生含有处在演员的位置上具有演员的姿势和面部表情的用户的输出图像序列180。此后，程序控制结束。
应理解的是，在这里所示出和说明的这些实施例和变形只是为了例示本发明的原理，熟悉该技术领域的人员在不背离本发明的专利保护范围和精神的情况下可以作出各种修改。

Claims (12)

1.一种用一个第二人员的一个图像替换一个原始图像(210)内的一个演员的方法，所述方法包括下列步骤：
分析所述原始图像(210)，确定所述演员的至少一个参数；
获得所述第二人员的一个静态模型(230)；
按照所述所确定的参数修改所述静态模型(230)；以及
将所述经修改的静态模型(230)叠加在所述图像内所述演员的至少一个相应部分上。
2.权利要求1的方法，其中所述经叠加的图像(250)在所述演员的位置含有所述第二人员的至少一个相应部分。
3.权利要求1的方法，其中所述参数包括一个所述演员的头部姿势。
4.权利要求1的方法，其中所述参数包括一个所述演员的面部表情。
5.权利要求1的方法，其中所述参数包括一些所述原始图像(210)的照明特性。
6.权利要求1的方法，其中所述静态模型(230)是从一个面部数据库(220-2)中获得的。
7.权利要求1的方法，其中所述静态模型(230)是从一个或多个所述第二人员的图像中得出的。
8.一种用一个第二人员的图像替换一个原始图像(210)内的一个演员的方法，所述方法包括下列步骤：
分析所述原始图像(210)，确定所述演员的至少一个参数；以及
用第二人员的一个静态模型(230)替换所述图像内所述演员的至少一个部分，其中所述静态模型(230)按照所述所确定的至少一个参数修改。
9.一种用一个第二人员的一个图像替换一个原始图像(210)内的一个演员的系统(100)，所述系统包括：
一个存储计算机可读代码的存储器(160)；以及
一个与所述存储器(160)连接的处理器(150)，所述处理器(150)配置成实现所述计算机可读代码，所述计算机可读代码配置成
分析所述原始图像(210)，确定所述演员的至少一个参数，
获得所述第二人员的一个静态模型(230)，
按照所述所确定的参数修改所述静态模型(230)，以及
将所述经修改的静态模型(230)叠加在所述图像内所述演员的至少一个相应部分上。
10.一种用一个第二人员的一个图像替换一个原始图像(210)内的一个演员的系统(100)，所述系统包括：
一个存储计算机可读代码的存储器(160)；以及
一个与所述存储器(160)连接的处理器(150)，所述处理器(150)配置成实现所述计算机可读代码，所述计算机可读代码配置成
分析所述原始图像(210)，确定所述演员的至少一个参数，以及
用第二人员的一个静态模型(230)替换所述图像内所述演员的至少一个部分，其中所述静态模型(230)按照所述所确定的参数修改。
11.一种用一个第二人员的一个图像替换一个原始图像(210)内的一个演员的制品，所述制品包括：
一个具有计算机可读代码装置的计算机可读媒体，所述计算机可读程序代码装置包括
一个分析所述原始图像(210)以确定所述演员的至少一个参数的步骤，
一个获得所述第二人员的一个静态模型(230)的步骤，
一个按照所述所确定的参数修改所述静态模型(230)的步骤，以及
一个将所述经修改的静态模型(230)叠加在所述图像内所述演员的至少一个相应部分上的步骤。
12.一种用一个第二人员的一个图像替换一个原始图像(210)内的一个演员的制品，所述制品包括：
一个具有计算机可读代码装置的计算机可读媒体，所述计算机可读程序代码装置包括
一个分析所述原始图像(210)以确定所述演员的至少一个参数的步骤，以及
一个用第二人员的一个静态模型(230)替换所述图像内所述演员的至少一个部分的步骤，其中所述静态模型(230)按照所述所确定的参数修改。
CNA02813446XA 2001-07-03 2002-06-21 在原始图像上叠加用户图像的方法和设备 Pending CN1522425A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/898,139 2001-07-03
US09/898,139 US20030007700A1 (en) 2001-07-03 2001-07-03 Method and apparatus for interleaving a user image in an original image sequence

Publications (1)

Publication Number Publication Date
CN1522425A true CN1522425A (zh) 2004-08-18

Family

ID=25409000

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA02813446XA Pending CN1522425A (zh) 2001-07-03 2002-06-21 在原始图像上叠加用户图像的方法和设备

Country Status (6)

Country Link
US (1) US20030007700A1 (zh)
EP (1) EP1405272A1 (zh)
JP (1) JP2004534330A (zh)
KR (1) KR20030036747A (zh)
CN (1) CN1522425A (zh)
WO (1) WO2003005306A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051515B (zh) * 2006-04-04 2010-06-09 索尼株式会社 图像处理设备及图像显示方法
CN102196245A (zh) * 2011-04-07 2011-09-21 北京中星微电子有限公司 一种角色互动的视频播放方法和视频播放装置
CN102447869A (zh) * 2011-10-27 2012-05-09 天津三星电子有限公司 一种角色替代方法
CN103702024A (zh) * 2013-12-02 2014-04-02 宇龙计算机通信科技(深圳)有限公司 图像处理装置和图像处理方法
CN103927161A (zh) * 2013-01-15 2014-07-16 国际商业机器公司 实况视频的实时照片修饰
WO2016011834A1 (zh) * 2014-07-23 2016-01-28 邢小月 一种图像处理方法及系统
CN107316020A (zh) * 2017-06-26 2017-11-03 司马大大（北京）智能系统有限公司 人脸替换方法、装置及电子设备
CN108966017A (zh) * 2018-08-24 2018-12-07 太平洋未来科技（深圳）有限公司 视频生成方法、装置及电子设备
CN109936775A (zh) * 2017-12-18 2019-06-25 东斓视觉科技发展（北京）有限公司 宣传影片的制作方法及设备
WO2022083504A1 (en) * 2020-10-23 2022-04-28 Huawei Technologies Co., Ltd. Machine-learning model, methods and systems for removal of unwanted people from photographs

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1370075B1 (en) * 2002-06-06 2012-10-03 Accenture Global Services Limited Dynamic replacement of the face of an actor in a video movie
US7734070B1 (en) * 2002-12-31 2010-06-08 Rajeev Sharma Method and system for immersing face images into a video sequence
US7528890B2 (en) * 2003-05-02 2009-05-05 Yoostar Entertainment Group, Inc. Interactive system and method for video compositing
US7212664B2 (en) * 2003-08-07 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Constructing heads from 3D models and 2D silhouettes
JP2008544604A (ja) * 2005-06-08 2008-12-04 トムソン ライセンシング 代替画像／映像挿入方法、装置及びシステム
US20080052161A1 (en) * 2005-07-01 2008-02-28 Searete Llc Alteration of promotional content in media works
US20090235364A1 (en) * 2005-07-01 2009-09-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for promotional content alteration
US20080028422A1 (en) * 2005-07-01 2008-01-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Implementation of media content alteration
US20070005422A1 (en) * 2005-07-01 2007-01-04 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Techniques for image generation
US20090151004A1 (en) * 2005-07-01 2009-06-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for visual content alteration
US20100154065A1 (en) * 2005-07-01 2010-06-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for user-activated content alteration
US8126190B2 (en) * 2007-01-31 2012-02-28 The Invention Science Fund I, Llc Targeted obstrufication of an image
US20070294720A1 (en) * 2005-07-01 2007-12-20 Searete Llc Promotional placement in media works
US20090300480A1 (en) * 2005-07-01 2009-12-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media segment alteration with embedded markup identifier
US9230601B2 (en) 2005-07-01 2016-01-05 Invention Science Fund I, Llc Media markup system for content alteration in derivative works
US20090037243A1 (en) * 2005-07-01 2009-02-05 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Audio substitution options in media works
US20070266049A1 (en) * 2005-07-01 2007-11-15 Searete Llc, A Limited Liability Corportion Of The State Of Delaware Implementation of media content alteration
US20080052104A1 (en) * 2005-07-01 2008-02-28 Searete Llc Group content substitution in media works
US7860342B2 (en) * 2005-07-01 2010-12-28 The Invention Science Fund I, Llc Modifying restricted images
US8126938B2 (en) * 2005-07-01 2012-02-28 The Invention Science Fund I, Llc Group content substitution in media works
US9065979B2 (en) * 2005-07-01 2015-06-23 The Invention Science Fund I, Llc Promotional placement in media works
US9583141B2 (en) * 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
US20090150444A1 (en) * 2005-07-01 2009-06-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for audio content alteration
US8203609B2 (en) * 2007-01-31 2012-06-19 The Invention Science Fund I, Llc Anonymization pursuant to a broadcasted policy
US9092928B2 (en) * 2005-07-01 2015-07-28 The Invention Science Fund I, Llc Implementing group content substitution in media works
US20070276757A1 (en) * 2005-07-01 2007-11-29 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Approval technique for media content alteration
US20090150199A1 (en) * 2005-07-01 2009-06-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Visual substitution options in media works
US20090204475A1 (en) * 2005-07-01 2009-08-13 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for promotional visual content
US20080086380A1 (en) * 2005-07-01 2008-04-10 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Alteration of promotional content in media works
US20070263865A1 (en) * 2005-07-01 2007-11-15 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Authorization rights for substitute media content
US20090210946A1 (en) * 2005-07-01 2009-08-20 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for promotional audio content
US20080013859A1 (en) * 2005-07-01 2008-01-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Implementation of media content alteration
KR101348521B1 (ko) 2005-09-16 2014-01-06 플릭서, 인크. 비디오의 개인화
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
US8781162B2 (en) * 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
US8572642B2 (en) * 2007-01-10 2013-10-29 Steven Schraga Customized program insertion system
US20080180539A1 (en) * 2007-01-31 2008-07-31 Searete Llc, A Limited Liability Corporation Image anonymization
US20080244755A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Authorization for media content alteration
US9215512B2 (en) 2007-04-27 2015-12-15 Invention Science Fund I, Llc Implementation of media content alteration
US8139899B2 (en) 2007-10-24 2012-03-20 Motorola Mobility, Inc. Increasing resolution of video images
US20090132371A1 (en) * 2007-11-20 2009-05-21 Big Stage Entertainment, Inc. Systems and methods for interactive advertising using personalized head models
SG152952A1 (en) * 2007-12-05 2009-06-29 Gemini Info Pte Ltd Method for automatically producing video cartoon with superimposed faces from cartoon template
US7977612B2 (en) 2008-02-02 2011-07-12 Mariean Levy Container for microwaveable food
US20100209069A1 (en) * 2008-09-18 2010-08-19 Dennis Fountaine System and Method for Pre-Engineering Video Clips
JP5423379B2 (ja) * 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8693789B1 (en) * 2010-08-09 2014-04-08 Google Inc. Face and expression aligned moves
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
US8923392B2 (en) 2011-09-09 2014-12-30 Adobe Systems Incorporated Methods and apparatus for face fitting and editing applications
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
KR102013331B1 (ko) * 2013-02-23 2019-10-21 삼성전자 주식회사 듀얼 카메라를 구비하는 휴대 단말기의 이미지 합성 장치 및 방법
WO2014139118A1 (en) * 2013-03-14 2014-09-18 Intel Corporation Adaptive facial expression calibration
KR102047704B1 (ko) * 2013-08-16 2019-12-02 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9878828B2 (en) * 2014-06-20 2018-01-30 S. C. Johnson & Son, Inc. Slider bag with a detent
KR101726844B1 (ko) * 2015-03-25 2017-04-13 네이버 주식회사 만화 데이터 생성 시스템 및 방법
US10373343B1 (en) * 2015-05-28 2019-08-06 Certainteed Corporation System for visualization of a building material
WO2017088340A1 (zh) * 2015-11-25 2017-06-01 腾讯科技（深圳）有限公司 图像信息处理方法、装置和计算机存储介质
CN105477859B (zh) * 2015-11-26 2019-02-19 北京像素软件科技股份有限公司 一种基于用户颜值的游戏控制方法及装置
US10437875B2 (en) 2016-11-29 2019-10-08 International Business Machines Corporation Media affinity management system
KR101961015B1 (ko) * 2017-05-30 2019-03-21 배재대학교 산학협력단 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법
US11195324B1 (en) 2018-08-14 2021-12-07 Certainteed Llc Systems and methods for visualization of building structures
CN109462922A (zh) * 2018-09-20 2019-03-12 百度在线网络技术（北京）有限公司 照明设备的控制方法、装置、设备及计算机可读存储介质
CN110969673B (zh) * 2018-09-30 2023-12-15 西藏博今文化传媒有限公司 一种直播换脸交互实现方法、存储介质、设备及系统
KR102477703B1 (ko) * 2019-06-19 2022-12-15 (주) 애니펜 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN110933503A (zh) * 2019-11-18 2020-03-27 咪咕文化科技有限公司 视频处理方法、电子设备及存储介质
US11425317B2 (en) * 2020-01-22 2022-08-23 Sling Media Pvt. Ltd. Method and apparatus for interactive replacement of character faces in a video device
KR102188991B1 (ko) * 2020-03-31 2020-12-09 (주)케이넷 이엔지 얼굴 이미지 변환 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
US5553864A (en) * 1992-05-22 1996-09-10 Sitrick; David H. User image integration into audiovisual presentation system and methodology
EP0725364B1 (en) * 1995-02-02 2006-11-15 Matsushita Electric Industrial Co., Ltd. Image processing apparatus
EP0729271A3 (en) * 1995-02-24 1998-08-19 Eastman Kodak Company Animated image presentations with personalized digitized images
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US6283858B1 (en) * 1997-02-25 2001-09-04 Bgk International Incorporated Method for manipulating images
NL1007397C2 (nl) * 1997-10-30 1999-05-12 V O F Headscanning Werkwijze en inrichting voor het met een gewijzigd uiterlijk weergeven van tenminste een deel van het menselijk lichaam.
EP1107166A3 (en) * 1999-12-01 2008-08-06 Matsushita Electric Industrial Co., Ltd. Device and method for face image extraction, and recording medium having recorded program for the method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051515B (zh) * 2006-04-04 2010-06-09 索尼株式会社 图像处理设备及图像显示方法
CN102196245A (zh) * 2011-04-07 2011-09-21 北京中星微电子有限公司 一种角色互动的视频播放方法和视频播放装置
CN102447869A (zh) * 2011-10-27 2012-05-09 天津三星电子有限公司 一种角色替代方法
CN103927161A (zh) * 2013-01-15 2014-07-16 国际商业机器公司 实况视频的实时照片修饰
CN103702024A (zh) * 2013-12-02 2014-04-02 宇龙计算机通信科技(深圳)有限公司 图像处理装置和图像处理方法
WO2016011834A1 (zh) * 2014-07-23 2016-01-28 邢小月 一种图像处理方法及系统
CN107316020A (zh) * 2017-06-26 2017-11-03 司马大大（北京）智能系统有限公司 人脸替换方法、装置及电子设备
CN109936775A (zh) * 2017-12-18 2019-06-25 东斓视觉科技发展（北京）有限公司 宣传影片的制作方法及设备
CN108966017A (zh) * 2018-08-24 2018-12-07 太平洋未来科技（深圳）有限公司 视频生成方法、装置及电子设备
WO2020037681A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 视频生成方法、装置及电子设备
CN108966017B (zh) * 2018-08-24 2021-02-12 太平洋未来科技（深圳）有限公司 视频生成方法、装置及电子设备
WO2022083504A1 (en) * 2020-10-23 2022-04-28 Huawei Technologies Co., Ltd. Machine-learning model, methods and systems for removal of unwanted people from photographs
US11676390B2 (en) 2020-10-23 2023-06-13 Huawei Technologies Co., Ltd. Machine-learning model, methods and systems for removal of unwanted people from photographs

Also Published As

Publication number Publication date
WO2003005306A1 (en) 2003-01-16
EP1405272A1 (en) 2004-04-07
JP2004534330A (ja) 2004-11-11
KR20030036747A (ko) 2003-05-09
US20030007700A1 (en) 2003-01-09

Similar Documents

Publication Publication Date Title
CN1522425A (zh) 在原始图像上叠加用户图像的方法和设备
Hertzmann et al. Image analogies
Borgo et al. State of the art report on video‐based graphics and video visualization
CN106462744B (zh) 基于规则的视频重要性分析
US9615082B2 (en) Image sequence enhancement and motion picture project management system and method
Matern et al. Gradient-based illumination description for image forgery detection
JP4335449B2 (ja) 表情の３ｄジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム
Marques Practical image and video processing using MATLAB
US8780756B2 (en) Image processing device and image processing method
US7904815B2 (en) Content-based dynamic photo-to-video methods and apparatuses
US8311336B2 (en) Compositional analysis method, image apparatus having compositional analysis function, compositional analysis program, and computer-readable recording medium
Camurri et al. Kansei analysis of dance performance
US20240087610A1 (en) Modification of objects in film
Borgo et al. A survey on video-based graphics and video visualization.
US20220398795A1 (en) Enhanced system for generation of facial models and animation
US11887232B2 (en) Enhanced system for generation of facial models and animation
CN101682765A (zh) 确定用于光场数据结构的图像分布的方法
KR20130120175A (ko) 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
Achanta et al. Modeling intent for home video repurposing
CN116261009B (zh) 智能转化影视受众的视频检测方法、装置、设备及介质
Yang et al. An interactive facial expression generation system
Hsu et al. A hybrid algorithm with artifact detection mechanism for region filling after object removal from a digital photograph
EP4322115A1 (en) Finding the semantic region of interest in images
Wondimu et al. Interactive Video Saliency Prediction: The Stacked-convLSTM Approach.
WO2004068414A1 (ja) 注目物体の出現位置表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication