CN102037496A - 照片拟真头部特写创建、内容创建以及分布系统和方法 - Google Patents

照片拟真头部特写创建、内容创建以及分布系统和方法 Download PDF

Info

Publication number
CN102037496A
CN102037496A CN2009801163910A CN200980116391A CN102037496A CN 102037496 A CN102037496 A CN 102037496A CN 2009801163910 A CN2009801163910 A CN 2009801163910A CN 200980116391 A CN200980116391 A CN 200980116391A CN 102037496 A CN102037496 A CN 102037496A
Authority
CN
China
Prior art keywords
head portion
photo
proper head
portion feature
intend
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801163910A
Other languages
English (en)
Inventor
肖恩·A·史密斯
罗伯塔·简·史密斯
彼得·盖特利
尼古拉斯·安特克扎克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avaworks Inc
Original Assignee
Avaworks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avaworks Inc filed Critical Avaworks Inc
Publication of CN102037496A publication Critical patent/CN102037496A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • G10L2021/105Synthesis of the lips movements from speech, e.g. for talking heads

Abstract

用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法,其包括服务器和各种通信设备以及软件套装,通信设备包括蜂窝电话和其他便携式无线设备,其中软件套装能够使用户通过创建、使用和共享包括与文本、音频、照片和视频内容组合的照片拟真头部特写动画的多媒体内容来相互通信。该内容被上传至远程服务器,并经由诸如蜂窝电话、桌上型计算机、膝上型计算机和个人数字助理的各种设备被访问。包括内容的展示可被媒体播放器在诸如互联网社交网站和聊天室的各种环境下经由网络浏览器应用程序或与集成到数字设备的操作系统中的应用程序观看,并且经由互联网、蜂窝无线网络和其他适当的网络被分布。

Description

照片拟真头部特写创建、内容创建以及分布系统和方法
本申请要求于2008年3月9日提交的美国临时申请第61/035,022号的权益,其全部内容结合于此作为参考。上述参考文献不被承认为相对于本发明的现有技术。
技术领域
本发明大体上涉及头部特写(talking head),更具体地,涉及用于对照片拟真头部特写、照片拟真头部展示(head shows)以及用于照片拟真头部展示的内容进行创建、分布和观看的系统和方法。
背景技术
数字通信是当今世界的重要部分。个人和企业经由各种类型的网络彼此通信,其中网络包括无线蜂窝网络和互联网,每一种网络通常都受到带宽限制。个人计算机、手持设备、个人数字助理(PDA)、具有上网功能的蜂窝电话、电子邮件和即时消息服务、PC电话、视频会议以及其他合适的装置被用于在用户之间传送信息,并经由无线和硬接线的网络满足他们的通信需求。随着朝向有生命的人类的趋势,信息以具有视频和音频内容的基于动画制作和文本的格式进行传送,这能够表达身份、表达对话中的强调点,并添加情感内容。
已经将各种方法用于生成头部特写的动画图像,例如,其产生了新闻广播员更加个性化的外表,然而,这些动画图像通常缺乏传达个人身份、传达对话中的强调点、以及添加情感内容所需的照片拟真品质,并且这些动画图像通常是模糊的,具有较差的口形同步,其需要的带宽比通常可用于大多数当今的网络和/或互联网上的带宽更宽,并且创建难度大且耗时。在大多数情况下,具有动作的真人的照片拟真图像已经被限制和/或低质量,因此这种人工制品在被压缩以减少文件大小以及被流化以减少下载时间时使得视频图像模糊。
新闻广播是电子通信媒体的基本组成,新闻广播员的大小尺寸通过与新闻报道相关联的图形和画面来放大,具有照片拟真品质且产生个性化外表的头部特写的动画图像的使用是可使用这种头部特写的多种应用中的一种。
已经公开了用于产生、创建和处理电子图像(尤其与头部、头部构建技术和/或人体相关联)的不同方法和装置。然而,这些方法和装置都不能充分满足对于利用手持设备、蜂窝电话、个人数字助理、智能电话等的上述需求。
美国专利第6,919,892号(Cheiky等人)公开了一种照片拟真头部特写创建系统和方法,包括:模板;摄像机,具有对象的图像输出信号;混合器,用于将模板和对象的图像输出信号混合为合成图像,以及表示合成图像的输出信号;提示器,在摄像机和对象之间具有部分反射镜以及用于接收表示合成图像的混合器的输出信号的输入端,部分反射镜用于使摄像机收集通过该部分反射镜的对象的图像,以及使对象观看合成图像并将对象的图像与模板对准;存储装置,具有用于接收表示对象的所收集图像的摄像机的输出图像信号的输入端,并存储基本上与模板对准的对象的图像。
美国专利第7,027,054号(Cheiky等人)公开了自助照片拟真头部特写创建系统和方法,包括:模板;摄像机,具有对象的图像输出信号;计算机,具有混合器程序,该程序用于将模板和对象的图像输出信号混合为合成图像,以及表示合成图像的输出信号;计算机,用于将合成图像信号传送到监控器,用于在监控器上显示作为合成图像的对象;监控器和摄像机用于使摄像机收集通过其的对象图像,以及使对象观看合成图像并将对象的图像与模板对准;存储装置,具有用于接收表示对象的所收集图像的摄像机的输出图像信号的输入端,并存储基本上与模板对准的对象的图像。
然而,在当今世界,通信设备变得越来越小且更加便于携带,向普通大众提供了彼此进行全球通信的能力。因此,需要用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法,其可被用于使用充分小的便携设备(诸如蜂窝电话或其他无线设备)创建照片拟真头部特写库。用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法,具体地,用于创建、分布和观看照片拟真头部特写、照片拟真头部展示以及用于照片拟真头部展示的内容的系统和方法是必要的。用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法可包括:服务器和各种通信设备(包括蜂窝电话和其他便携式无线设备),以及软件组,该软件组能够使用户通过创建、使用和共享多媒体内容(包括与文本、音频、照片和视频内容组合的照片拟真头部特写动画)来相互通信。内容应该能够被上传到至少一个远程服务器,并能够经由诸如蜂窝电话、桌面计算机、膝上型计算机、个人数字助理和蜂窝智能电话的大范围设备对其进行访问。包括内容的展示应该能够经由网络浏览器应用程序或集成到数字设备的操作系统的应用程序在诸如互联网社交网站和聊天室的多种环境下利用媒体播放器来观看,并经由互联网、蜂窝无线网络和其他适合的网络而分布。
因此,需要用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法,具体地,用于创建、分布和观看照片拟真头部特写、照片拟真头部展示以及用于照片拟真头部展示的内容的系统和方法,其使得用户快速、容易且方便地生成头部特写的照片拟真动画图像、头部特写展示以及头部特写展示内容。用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法应该产生具有对于传达个人身份、传达谈话中的强调点以及添加情感内容所要求的照片拟真品质的图像,清楚确切地显示具有高质量口形同步的动画照片拟真图像,并需要比在大多数目前的网络和/或互联网上通常可用的带宽小的带宽,并且能够被各种手持和便携设备所使用。
用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法应该能够在包括了无线蜂窝网络、互联网、WiFi网络、WiMax网络、内联网和其他适当网络的各种网络上使用。
用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法应该能够捕获真人画面,并以不同的角坐标创建照片拟真头部特写库。然后,例如,照片拟真头部特写库可由使用在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法的工具的用户或真人创建动画性能,用于创建照片拟真头部展示和展示内容。
人类或用户应该能够开发他或她自己的具有传达个人身份、强调会话中的点、以及添加情感内容所需的照片拟真品质的照片拟真头部特写展示。动画照片拟真图像应该以高质量口形同步来清楚明显地展示动画头部特写,并需要比在大多数目前的网络和/或互联网上通常可用的带宽小的带宽。
照片拟真头部特写库应该能够通过具有普通计算机技能的人快速、容易且有效地进行构造,并使得创建时间最少,使用标记和/或向导,其可以被用作用于以不同的角坐标混合和对准真人图像的模板。
应该提供不同的标记库和/或向导库的库,标记库和/或向导库的每一个均在其中具有不同的标记和/或向导,标记和/或向导的每一个均用于不同的角坐标。标记库和/或向导库的每一个均应该与用户的不同角坐标的面部特征相关联,并且彼此不同,由此允许用户从具有接近于用户的面部特征和特点的不同的标记库和/或向导库的库中选择标记库和/或向导库。
头部特写应该能够用于与新闻报道相关联的新闻广播员的大小尺寸,具有照片拟真品质并产生个性化外表的头部特写动画图像的使用被用于各种应用。
可选地,用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法还能够根据来自真人的数字录像带尺长创建基于计算机的二维图像库。用户应该能够使用个人计算机软件处理标记库和/或3D表示向导图像库或混合的模板,并显示在计算机监控器或其他适当的设备上以提供用于头部规则运动的模板。对象或新闻广播员应该能够使用标记和/或向导以保持正确的姿势对准,同时完成一系列面部表情、眨眼、扬眉以及说出包括目标音位或嘴形的短语。可选地,会话应该能够被连续记录在高清晰数字录像带上。可选地,用户应该能够使用所选择的各个视频帧(包含不同头部位置、面部表情和嘴形的阵列,其逐帧可以与对象的参考源视频帧进行比较)利用图像编辑软件来集合头部特写库。利用用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法所生成的输出应该能够代替各种应用中的实际视频和个人计算机上、PDA或蜂窝电话上的显示来使用。可选地,自助照片拟真头部特写创建系统还应该能够根据脚本命令构建头部特写表示。
用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法应该能够被便携式设备和便携式无线设备所使用。这些便携式设备和便携式无线设备应该包括数字通信设备、便携式数字助理、蜂窝电话、笔记本计算机、视频电话、具有摄像机和视频显示器的数字通信设备以及其他适当的设备。
便携式设备和便携式无线设备应该为手持设备,并且便携式无线设备应该能够无线地发送和接收信号。
人对象应该能够利用这种设备的摄像机捕获他或她自身的图像,并在设备的视频显示器上观看所捕获图像的实况视频。
人对象的标记和/或向导图像应该能够叠加在自助照片拟真头部特写创建系统的便携式设备和/或便携式无线设备的显示器上。
这种设备的每一个显示器均应该能够显示人对象的收集图像与所选择对准模板的合成图像。显示器和摄像机应该使得摄像机收集人对象的图像,使人对象观看合成图像,并以与指定对准模板头部角坐标基本相同的角坐标来将他或她头部的图像与对准模板头部对准。
这种便携式设备和/或便携式无线设备应该能够经由有线或无线连接而连接至个人计算机,和/或经由对于支持实时视频流和/或适当信号的传输足够的带宽网络连接至远程服务器。典型的网络包括蜂窝网络、无线网络、无线数字网络、分布式网络(诸如互联网、全球网、广域网、城域网或局域网)以及其他适当的网络。
多于一个的用户应该能够在任何特定的时间连接至远程服务器。所捕获的视频流和/或静态图像应该能够被传送至计算机和/或服务器,用于将其处理为照片拟真头部特写库,或者可选地,处理应该能够在设备自身中执行。
软件应用和/或硬件应该能够驻留在这些设备、计算机和/或远程服务器中,以分析人对象的收集图像与对准模板的合成信号,并确定与标记和/或向导图像的对准精度。
用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法应该能够使用通过综合生成的声音、实际记录的人声音或经由活人技术顾问所创建的声音提示,并实时地传送至人对象,以在对准处理期间帮助用户,并且可选地和/或附加地使用视频提示。然后,人对象可以按照提示中的信息来调整他或她的位置,并且当适当对准时启动捕获处理的说出短语部分。声音和/或视频提示也可被用于在其他任务(诸如当重复序列时,如果在捕获和/或对准处理期间可能丢失适当的对准,和/或何时开始和/或停止会话)中帮助人对象。
已知用于产生、创建和处理电子图像(尤其与头部、头部构造技术和/或人体相关联)的不同方法和装置。然而,这些方法和装置都不能够充分满足上述需求。
已知用于在一台显示器上同时显示多于一个的图像的不同装置和方法,以及图像混合、组合、重叠、调配和合并装置和方法。然而,这些方法和装置都不能够充分满足上述需求。
已知用于产生、创建和分布内容的不同方法和装置。然而,这些方法和装置都不能够充分满足上述需求。
由于上述原因,需要用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法,其允许用户快速、容易且方便地生成头部特写的照片拟真动画图像。用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法应该产生具有对于传送个人身份、强调会话中的点、以及添加情感内容所需的照片拟真品质的图像,以高质量口形同步来清楚明显地展示动画照片拟真图像,并需要比在大多数目前的网络和/或互联网通常可用的带宽小的带宽。
用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法可包括:服务器和各种通信设备(包括蜂窝电话和其他便携式无线设备);以及软件组,其能够使用户通过创建、使用和共享多媒体内容(包括与文本、音频、照片和视频内容组合的照片拟真头部特写动画)来相互通信。内容应该能够被上传到至少一个远程服务器,并经由诸如蜂窝电话、桌面计算机、膝上型计算机、个人数字助理和蜂窝智能电话的大范围设备对其进行访问。包括内容的展示应该能够经由网络浏览器应用程序或集成到数字设备的操作系统的应用程序在诸如互联网社交网站和聊天室的多种环境下利用媒体播放器来观看,并经由互联网、蜂窝无线网络和其他适合的网络而分布。
发明内容
本发明涉及用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法,包括:服务器和各种通信设备(包括蜂窝电话和其他便携式无线设备);以及软件组,其能够使用户通过创建、使用和共享多媒体内容(包括与文本、音频、照片和视频内容组合的照片拟真头部特写动画)来相互通信。内容被上传到至少一个远程服务器,并经由诸如蜂窝电话、桌面计算机、膝上型计算机、个人数字助理和蜂窝智能电话的大范围设备对其进行访问。包括内容的展示可以经由网络浏览器应用程序或集成到数字设备的操作系统的应用程序在诸如互联网社交网站和聊天室的多种环境下利用媒体播放器来观看,并经由互联网、蜂窝无线网络和其他适合的网络而分布。
用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法产生具有对于传送个人身份、强调会话中的点、以及添加情感内容所需的照片拟真品质的图像,以高质量口形同步来清楚明显地展示动画照片拟真图像,并需要比在大多数目前的网络和/或互联网上通常可用的带宽小的带宽。
用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的系统和方法可被用于使用诸如蜂窝电话、个人数字助理、智能电话、手持设备的便携式无线设备和其他无线设备来创建照片拟真头部特写库,并且能够在各种网络(包括无线蜂窝网络、互联网、WiFi网络、WiMax网络、IP语音(VOIP)网络、内联网和其他适当网络)上使用。
便携式无线设备包括数字通信设备、便携式数字助理、蜂窝电话、笔记本计算机、视频电话、智能电话、具有摄像机和视频显示器的数字通信设备以及其他适当的设备,具体地,便携式无线设备能够无线地发送和接收信号。典型的网络包括蜂窝网络、无线网络、无线数字网络、分布式网络(诸如互联网、全球网、广域网、城域网、局域网、WiFi网、WiMax网、IP语音(VOIP))和其他适当的网络。
人类或用户能够开发他或她自己的具有对于传达个人身份、强调会话中的点、以及情感内容所需的照片拟真品质的照片拟真头部特写展示(包括展示内容)。动画照片拟真图像以高质量口形同步来清楚明显地展示动画头部特写,并需要比在大多数目前的网络和/或互联网上通常可用的带宽小的带宽。
照片拟真头部特写库能够由具有普通计算机技能的人快速、容易且有效地进行构造,并使得创建时间最少,使用标记和/或向导,其可以被用作用于以不同的角坐标混合和对准真人图像的模板。人对象的标记和/或向导图像能够被叠加在便携式设备和/或便携式无线设备的显示器上。
可以提供不同的标记库和/或向导库的库,标记库和/或向导库的每一个均在其中具有不同的标记和/或向导组,标记和/或向导组的每一个均用于不同的角坐标。标记库和/或向导库的每一个均与用户的不同角坐标的面部特征相关联,并且彼此不同,由此允许用户从具有接近于用户的面部特征和特点的不同标记库和/或向导库的库中选择标记库和/或向导库。
手持设备和其他适当设备的显示器均能够显示人对象的收集图像和所选择的标记和/或所选择的对准模板的合成图像。显示器和摄像机使得摄像机收集人对象的图像,使人对象观看合成图像,并将他或她的图像与标记和/或对准模板对准。标记和/或向导可以在对准处理期间从远程服务器得到,但是可选地,其可驻留在无线手持设备或其他适当设备内。
可使用无线手持设备创建照片拟真头部展示和相关内容。
头部特写能够用于与新闻报道相关联的新闻广播员大小尺寸,具有照片拟真品质并产生个性化外表的头部特写动画影像的使用被用于各种应用。
人对象或用户能够利用这种设备的摄像机捕获他或她自身的图像,并在设备的视频显示器上观看所捕获图像的实况视频。人对象或用户能够构造包括与照片拟真头部特写展示相关联的内容的照片拟真头部特写展示。
附图说明
参照以下描述、所附权利要求和附图,本发明的这些和其他特征、方面和优点将变得更加容易理解,其中:
图1是根据本发明的用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的方法的步骤的示意图;
图2是照片拟真头部特写库的示意图;
图3是用作对准模板的向导的示图;
图4是将被结合到图2的照片拟真头部特写库的对象的示图;
图5是与图3的向导对准的图4的对象的合成图;
图6A是从图3的向导水平移动的图4的对象的合成图;
图6B是从图3的向导垂直移动的图4的对象的合成图;
图6C是图4的对象和图3的向导接近于对准的合成图;
图7示出了处于特定角坐标的图2的照片拟真头部特写库的一个放大的所选图像以及所选图像的特定角坐标处的不同眼部特征的放大图和不同嘴部特征的放大图,其也均来自图2的照片拟真头部特写库;
图8示出了处于图7的特定角坐标的图2的照片拟真头部特写库的所选图像的典型图像、通过具有图7的特定角坐标处眼睛闭合和睁开的对象所获得的不同眼部特征的典型图像以及通过对象嘴部选择声音所获得的图7的特定角坐标处不同嘴部特征的典型图像;
图9示出了用于获得图8的不同眼部特征中的一个和不同嘴部特征中的典型一个的对象的典型眼部区域和典型嘴部区域;
图10示出了具有倾斜、旋转和摆动矢量的坐标系统;
图11示出了可用于可选标签的可选命名规定;
图12是向导库的示意图;
图13A是向导的丝网模型的示图;
图13B是具有补色渲染的图13A的向导的丝网模型的示图;
图13C是具有补色渲染的、利用期望的头部特写或优选新闻广播员的画面映射照片的图13B的向导的示图;
图14A是示出典型面部特征的另一向导的示图;
图14B是示出其他典型面部特征的另一向导的示图;
图14C是示出其他典型面部特征的另一向导的示图;
图14D是示出其他典型面部特征的另一向导的示图;
图14E是示出其他典型面部特征的图3的向导的另一示图;
图14F是示出其他典型面部特征的另一向导的示图;
图15是与图14A至图14F的向导相关联的向导库的库的示意图;
图16是构造本发明的照片拟真头部特写的方法的示意图;
图17是构造图14的照片拟真头部特写的方法的附加可选步骤的示意图;
图18A是示出了对准对象的示图,该对象示出了可被用于可选地与向导或图3的对准模板对准的标记;
图18B是示出当对象没有完全对准时标记外观的未对准的图18A的对象的示图;
图18C是示出对准的对象从图18A的角度具有角度偏移的图18A的对象的示图;
图19是根据本发明构造的自助照片拟真头部特写创建系统的示意图;
图20是自助照片拟真头部特写创建系统的可选实施方式的部分框图和示意图;
图21是与图19的自助照片拟真头部特写创建系统的服务器进行无线通信的图19的自助照片拟真头部特写创建系统的示意图;
图22是与图20的自助照片拟真头部特写创建系统的服务器进行无线通信的图20的自助照片拟真头部特写创建系统的示意图;
图23是具有多个与图21的自助照片拟真头部特写创建系统的服务器进行无线通信的蜂窝电话的自助照片拟真头部特写创建系统的示意图;
图24是具有多个与图22的自助照片拟真头部特写创建系统的服务器进行无线通信的蜂窝电话的自助照片拟真头部特写创建系统的示意图;
图25是具有多个与图21的自助照片拟真头部特写创建系统的服务器进行无线通信的个人数字助理的自助照片拟真头部特写创建系统的示意图;
图26是具有多个经由互联网与服务器进行通信的蜂窝电话的自助照片拟真头部特写创建系统的示意图;
图27是具有多个通过无线蜂窝网络经由互联网与图21的自助照片拟真头部特写创建系统的服务器进行无线通信的蜂窝电话的自助照片拟真头部特写创建系统的示意图;
图28是具有多个通过无线蜂窝网络经由互联网与图22的自助照片拟真头部特写创建系统的服务器进行无线通信的蜂窝电话的自助照片拟真头部特写创建系统的示意图;
图29是具有经由连接至互联网的蜂窝网络和/或普通老式电话系统与自助照片拟真头部特写创建系统的服务器进行无线通信的多个蜂窝电话和其他设备的自助照片拟真头部特写创建系统的示意图;
图30是无线连接至互联网和无线蜂窝网络(两者均连接至服务器)的自助照片拟真头部特写创建系统的示意图;
图31是构造本发明的照片拟真头部特写的可选方法的示意图;
图32是构造图31的照片拟真头部特写的方法的附加可选步骤的示意图;
图33是构造图31的照片拟真头部特写的方法的附加可选步骤的示意图;
图34是视频捕获设备的框图;
图35是根据本发明构造的自助照片拟真头部特写创建系统的可选实施方式的框图;
图36是根据本发明构造的自助照片拟真头部特写创建系统的可选实施方式的框图;
图37是展示内容创建和上传方法的示意图;
图38是可被照片拟真头部特写应用程序使用的所选设备平台的示意图;
图39是用于呼叫者个性化品牌布置的示意图;
图40是展示内容创建方法的示意图;
图41是用于创建用于聊天、博客或多媒体应用的照片拟真头部特写内容的示意图;
图42是用于创建用于电话或语音邮箱应用的照片拟真头部特写内容的示意图;
图43是照片拟真头部特写电话应用的示意图;
图44是照片拟真头部特写语音邮箱应用的示意图;
图45用于嵌入口形同步数据的处理的示意图;
图46是用于通过使与用户的参数和偏爱以及与接收者的参数和偏爱相关联的词相匹配来插入品牌的处理的示意图;
图47是分布式网应用网络的示意图;
图48是另一分布式网应用网络的示意图;
图49是嵌入口形同步系统和方法的示意图;
图50是照片拟真头部特写电话的示意图;
图51是移动信息设备上的嵌入口形同步系统和方法的示意图;
图52是语音驱动个性化品牌布置系统的示意图;
图53是照片拟真头部特写语音邮箱的示意图;
图54是可替换地被称为照片拟真头部特写网络应用的设备平台和远程服务器系统;
图55是展示片段编辑应用的示意图;
图56是展示编译编辑应用的示意图;
图57是本地资源库的目录结构的示意图;
图58是加密资源库的目录结构的示意图;
图59是本地资源库的图形资源部分的目录结构的示意图;
图60是本地资源库的声音库部分的目录结构的示意图;
图61是声音分析和口形同步应用的示意图;
图62是可替换地被称为照片拟真头部特写内容产生系统的本地计算机(全版本)系统的示意图;
图63是声音分析和口形同步应用的图形用户界面的示意图;
图64是生产片段编辑应用的图形用户界面的示意图;
图65是展示编译编辑应用的图形用户界面的示意图;
图66是聊天应用的图形用户界面的示意图;
图67是博客应用的图形用户界面的示意图;
图68是语音邮箱应用的图形用户界面的示意图;
图69是另一语音邮箱应用的图形用户界面的示意图;
图70是多媒体和/或电视/广播应用的图形用户界面的示意图;
图71是用于用户设备的多媒体帮助应用的图形用户界面的示意图;
图72是用于个人银行的多媒体个人金融中心的图形用户界面的示意图;
图73是具有个人金融中心内的虚拟ATM的个人金融中心的多媒体子类的图形用户界面的示意图;
图74是多媒体消息中心的图形用户界面的示意图;
图75是多媒体游戏开始菜单的图形用户界面的示意图;
图76是处于比赛模式的多媒体游戏的图形用户界面的示意图;
图77是多媒体小游戏的图形用户界面的示意图;
图78是多媒体评论家评论的图形用户界面的示意图;
图79是多媒体个人导航的图形用户界面的示意图;
图80是个人导航的多媒体加油站位置子类的图形用户界面的示意图;
图81是另一多媒体评论家评论的图形用户界面的示意图;以及
图82是评论家评论的多媒体电影评论子类的图形用户界面的示意图。
具体实施方式
现在将参照图1至图82描述本发明的优选实施方式。各个附图中的相同元件以相同的参考标号表示。
I.概述
图1是根据本发明的用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的方法10的步骤的示意图。
用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的方法10包括:在步骤100中开始用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的方法10;在步骤200中创建照片拟真头部特写库,并将照片拟真头部特写库存储在本发明的照片拟真头部特写系统上;在步骤300中创建内容并将该内容上传到照片拟真头部特写系统;在步骤350中创建用于品牌的简档;在步骤750中将内容和简档存储在照片拟真头部特写系统上;在步骤760中接收请求照片拟真头部特写系统将内容发送至接收方的请求;在步骤800中通过照片拟真头部特写系统插入品牌并将内容发送至接收方;以及在步骤1000中结束用于在网络上创建、分布和观看基于照片拟真头部特写的多媒体内容的方法10。
II.创建照片拟真头部特写库
在用于创建、分布和观看照片拟真头部特写的方法10的步骤200中创建照片拟真头部特写库12。
在图2至图36中示出了照片拟真头部特写库12和用于创建照片拟真头部特写库12的方法。图19至图36示出了用于创建照片拟真头部特写的可替换实施方式。
照片拟真头部特写可用于具有摄像机和显示器(在创建照片拟真头部特写库12期间其可被对象用于将他或她自身与标记和/或向导对准)的各种便携式无线设备(诸如蜂窝电话、手持设备等),并显示照片拟真头部特写。
图2示出了照片拟真头部特写库12,其由处于不同角坐标44的对象26的所选图像42、处于每一个角坐标44的不同的眼部特征46以及不同的嘴部特征48构成。
图3示出了向导20,其被用作用于将图4所示的对象26与图5所示的合成输出图像38进行对准的对准模板。
图6A至图6C示出了处于对象26与向导20的对准的不同阶段的合成输出图像38。图6A示出了从向导20水平移动的对象26;图6B示出了从向导20垂直移动的对象26;以及图6C示出了对象26和向导20接近于对准。图5示出了与向导20对准的对象26。
分别根据图10和图11的坐标系统和可选命名规定,如图2所示,照片拟真头部特写库12由处于不同角坐标44的所选图像42、处于每一个角坐标44的不同的眼部特征46以及不同的嘴部特征48构成。图7示出了处于图2的特定角坐标的一个放大的所选图像42以及所选图像42的特定角坐标处的不同眼部特征46和不同嘴部特征48。图8示出了处于图7的特定角坐标的所选图像42的一个典型图像、通过对象26具有图7的特定角坐标处的眼睛闭合和睁开所获得的典型的不同眼部特征46以及通过对象26发出所选声音而获得的处于图7的特定角坐标处的典型的不同嘴部特征48。一旦对象26在特定的角坐标处将他或她自身与向导20对准,对象26就执行眼部的闭合和睁开,并发出一组声音(包括所选的音位)。可选地,对象26还执行诸如微笑和/或皱眉的附加面部表情。图9示出了对象26的典型眼部区域50和典型嘴部区域52,用于分别获得通过使对象26具有图7的特定角坐标处的眼睛闭合和睁开所获得的不同眼部特征46以及处于图7的特定角坐标处的典型的不同嘴部特征48。
图10示出了坐标系统54,其具有用于与照片拟真头部特写库12的所选图像42相关联的不同的眼部特征46和不同的嘴部特征48、对象26、向导20、以及所选图像42的倾斜56、旋转58和摆动60矢量。倾斜56、旋转58和摆动60矢量的每一个均指定自中点62的方向和角坐标,在图10中示出了典型的角度和方向,尽管还可以使用其他适当的角度和方向。旋转58矢量使用方位角坐标(左到右)作为其角度分量,摆动60矢量使用仰角角坐标(上或下)作为其角度分量。倾斜56矢量朝向摆动60矢量的任一侧有角度地向左上或右上。
图11示出了与照片拟真头部特写库12的所选图像42相关联的不同的眼部特征46和不同的嘴部特征48、对象26、向导20、以及所选图像42的倾斜56、旋转58和摆动60矢量相关的可选命名规定64。可以使用其他适当的可选命名规定或实际的矢量方向和角度。可选命名规定64使用连续的编号方案,其中,倾斜56矢量从负方向到正方向针对每个指定的方向和角度单一地从01向上增加;因此,对于倾斜56的典型角度-2.5°、0°和+2.5°,可选命名规定64分别使用01、02和03来指定典型角度-2.5°、0°和+2.5°。可选命名规定64使用连续编号方案,其中,旋转58和摆动60矢量从负方向到正方向针对每个指定的方向和角度单一地从00向上增加;因此,对于旋转58和摆动60的典型角度-10°、-5°、0°、+5°和+10°,可选命名规定64分别使用00、01、02、03和04来指定典型角度-10°、-5°、0°、+5°和+10°。可以使用用于倾斜56的除典型角度-2.5°、0°和+2.5°之外的适当角度,和/或用于旋转58和摆动60的除典型角度-10°、-5°、0°、+5°和+10°之外的适当角度;然而,仍然可以使用单一增加地连续编号方案,对于从负到零度到正角度的其他方向和角度,对于倾斜56从01开始以及对于旋转58和摆动60从00开始。名称66使用头、嘴和眼作为可选标签或指定符,其中头用于所选图像42、对象26或向导20,眼用于眼部特征46以及嘴用于嘴部特征48。因此,例如,对于图10中所示的典型角度,Head020301表示所选图像42分别具有0°倾斜56、+5°旋转58和5°摆动60。
图12示出了向导库68,其具有根据图10的坐标系统54示出的处于不同角坐标70的向导20以及图11的可选命名规定64。图12的每个向导20均用于构造与向导库68的每个向导20的角坐标70相对应的处于对应的一个角坐标44的对应一个所选图像42以及处于对应的一个角坐标44的不同眼部特征46和不同嘴部特征48。因此,对象26在每个均处于不同的角坐标70的合成输出图像38中将他或她自身与向导20对准,以构造每个所选图像42,睁开或闭合他或她的眼睛以构造处于每个对准的所选图像42的特定角坐标处的每一个不同眼部特征46,并且重复处于对应于每个角坐标70的对准所选图像42的每一个的特定角坐标处的每一个不同嘴部特征48,由此构造图2的照片拟真头部特写库12。
图13A至图13C示出了开发一个向导20的典型阶段的示意性表示。然而,应该注意,其他适当的技术可被用于开发向导20。典型地,每个向导20均是中等解析度成型的头部,其类似期望的头部特写、优选新闻广播员或不同角坐标中的普通头部特写或新闻广播员,在图13C中示出了一个典型的向导20,每个向导20均被用作在所选的不同角坐标处将对象26与其对准的模板。每个向导20均可以使用适当的技术(诸如激光扫描、艺术成型或其他适当的技术)来构造,其结果通常是向导20的每一个均是具有大约5000个多边形的3D模型头部。成型软件(诸如3D成型软件或其他适当的软件)可被用于创建向导20。可用于创建向导20的典型的商业3D成型软件包为:3D Studio Max、Lightwave、Maya和SoftImage,尽管还可以使用其他适当的成型软件。首先,创建如图13A所示的基础丝网模型72。通常向丝网模型72添加补色渲染,以创建如图13B所示的阴影模型74,其具有实线外观。然后,具有实线外观的阴影模型74通常利用期望头部特写、优选新闻广播员或普通的头部特写或新闻广播员的画面映射照片,以创建图13C的向导20,其类似期望的头部特写、优选新闻广播员或普通的头部特写或新闻广播员。利用对应于照片拟真头部特写库12的所选图像42的期望头部特征库姿势的左右、上下和侧面旋转的阵列,以特定的头部姿势来表示向导20,因此向导库68具有处于不同角坐标的向导20,每一个向导均用作每一个不同的角坐标处的对准模板。通常,每个向导20均被存储为位图图像,通常具有512×384或以下的像素,通常具有透明的背景颜色,以及通常利用根据图10的坐标系统54和图11的可选命名规定64的可视标志来索引,尽管可以使用其他合适的标志和存储器。
对象26在监控器39上看到他或她的图像与向导20的图像的叠加,并将他或她的图像与向导20的图像对准,如图5、图6A、图6B和图6C中所示的对准的不同阶段。
再次,利用对应于照片拟真头部特写库12的所选图像42的期望头部特写库姿势的左右、上下和侧面旋转的阵列,以特定的头部姿势来表示向导20,使得向导库68具有处于不同角坐标的向导20,每一个向导均用作每一个不同角坐标处的对准模板。
照片拟真头部特写库12能够由具有普通计算机技能的人快速、容易且有效地构造,并使用向导20(其可被用作用于混合和对准不同角坐标的真人的图像的模板)使得制造时间最小化。
提供了不同向导库68的库75,每个向导库68均在其中具有不同的向导20,每个向导20针对不同的角坐标。每个向导库68均具有彼此不同的面部特征,由此允许用户从具有接近于用户的面部特征和特点的库75中选择向导库68。
图14A至图14F示出了具有不同面部特征的典型向导20。当使用各种关键面部特征和肩部特征以利于对准时,实现对象26与向导20的适当对准。如图15所示,对象26可以选择不同向导库68的库75,并选择相对于他或她面部特征的最佳匹配。
瞳孔77之间的距离76、鼻子79的长度78、嘴81的宽度80、头发83的风格82、头顶85和下巴86之间的距离84、肩膀88的形状87以及可选的眼镜89是典型对准特征,其为对象26提供目标以帮助他或她本身与向导20对准。向导20在尺寸、外观、比例、面部特征和肩部特征方面与对象26越接近,对准就越好,因此所得到的照片拟真头部特写库12越好。
图16示出了构造照片拟真头部特写的方法90的步骤,其至少包括以下步骤:91,利用摄像机或其他设备收集对象的图像;92,将对象的收集图像与向导或模板的图像混合,由此创建对象和向导或模板的合成图像;93,将合成图像传送到监控器或电视,用于向对象显示,监控器或电视用于帮助对象将对象的图像与向导或模板的图像对准;94,将对象的图像与向导或模板的图像对准;以及95,存储对准对象的图像。将对象的收集图像与向导或模板的图像混合,由此创建对象和向导或模板的合成图像的步骤92优选地在其中具有混合程序的计算机中执行,混合程序用于根据收集图像和模板图像来创建合成图像,尽管还可以使用其他适当的技术。如图17所示,构造照片拟真头部特写的方法90可具有附加可选步骤,包括:96,捕获面部特征;其包括:97,捕获嘴部形状;98,捕获眼睛形状;99,可选地捕获其他面部特征。
图18A、图18B和图18C示出了代替使用图3的向导或对准模板使用用于对准的标记104、106、108、110和112的对准对象102的可替换方法。
标记104、106、108、110和112用于对准关键的面部特征,诸如眼睛、鼻尖和嘴角,尽管还可以使用其他适当的面部特征。标记104、106、108、110和112通常被用作图3向导20的替代物,但是可选地,可以与向导20组合使用。
图18A示出了分别针对2°倾斜、2°旋转和2°摆动角度与标记104、106、108、110和112对准的对象102。
图18B示出了分别针对2°倾斜、2°旋转和2°摆动角度没有与标记104、106、108、110和112对准的对象102。
图18C是以分别从图18A示出对准对象的2°倾斜、2°旋转和2°摆动角度进行角度偏移的对象的图18A的对象视图。
图19至图30示出了使用便携式设备和便携式无线设备的自助照片拟真头部特写创建系统的可替换实施方式。这些便携式设备和便携式无线设备包括:数字通信设备、便携式数字助理、蜂窝电话、笔记本计算机、视频电话、手持设备以及其他适当的设备。便携式设备和便携式无线设备包括:具有摄像机和视频显示器(尤其是内置摄像机和视频显示器)的数字通信设备。
例如,人对象可利用这种设备的摄像机捕获他或她自身的图像,并在设备的视频显示器上观看所捕获图像的实况视频。
人对象的标记和/或向导图像被叠加在图19至图36的自助照片拟真头部特写创建系统的便携式设备和/或便携式无线设备的显示器上。
这种设备的每一个显示器均显示如上所述的人对象的收集图像和所选择对准模板(包括标记和/或向导)的合成图像,显示器和摄像机用于使得摄像机收集人对象的图像,使人对象观看合成图像,并使人对象以与特定对准模板头部角坐标基本相同的角坐标来将人对象的图像与对准模板头部对准。
例如,这种便携式设备和/或便携式无线设备可经由有线或无线连接与服务器通信,和/或经由对于支持实时视频流和/或适当信号的传输足够带宽的网络连接至远程服务器。典型的网络包括蜂窝网络,诸如互联网、全球网、广域网、城域网或局域网、WiFi、WiMax、IP语音(VOIP)的分布式网络,和其他适当的网络。
多于一个的用户可在任何特定时间连接至远程服务器。所捕获的视频流和/或静态图像可被传送至服务器,用于将其处理为照片拟真头部特写库,或者可选地,该处理可以在设备自身中执行。
软件应用和/或硬件可驻留在这些设备、计算机和/或远程服务器中,以分析人对象的收集图像和对准模板的合成信号,并确定与标记和/或向导图像的对准精度。
可通过综合生成的声音、实际记录的人声或经由活人技术顾问创建声音提示,并实时地传送至人对象,以在对准处理期间帮助用户。可以可替换地和/或可选地使用视频提示。然后,人对象可以按照提示中的信息来调整他或她的位置,并且当适当对准时启动捕获处理的说出语言部分。声音和/或视频提示也可被用于在其他任务(诸如当重复序列时,如果在捕获和/或对准处理期间可能丢失适当的对准,和/或何时开始和/或停止会话)中帮助人对象。
便携式设备和/或无线手持设备可以是具有摄像机和显示器或其他适当的相机和显示器的蜂窝电话、个人数字助理(PDA)、具有上网功能的电话、便携电话、个人计算机、膝上型计算机、桌上型计算机、视频电话、电视、手持电视、无线数字相机、无线录像机、电子邮件设备、即时消息设备、PC电话、视频会议设备、移动电话、手持设备、无线设备、无线手持设备和其他适当的设备。
图19和图20分别示出了自助照片拟真头部特写创建系统120和自助照片拟真头部特写创建系统130。自助照片拟真头部特写创建系统120和自助照片拟真头部特写创建系统130均具有蜂窝电话132、每个电话132均具有摄像机134和显示器136。
图19的自助照片拟真头部特写创建系统120具有服务器142(其通常为远程服务器),服务器142具有软件混合器144、存储器146和标记150,标记150基本上与标记104、106、108、110和112相同,或者可以使用其他适当的标记。
可选地,图20的自助照片拟真头部特写创建系统130具有服务器152(其通常也为远程服务器),服务器152具有软件混合器154、存储器156和向导158。
应该注意,标记150通常优于向导158,原因在于标记104、106、108、110和112或其他适当的标记通常在小型设备(诸如蜂窝电话)、其他小型无线设备或手持设备上比向导158或向导20更加容易看到,更加容易与对象区别开来,并且更加容易用于对准。
向导158基本上与向导20相同。向导158或向导20作为对准模板的使用(用于使用图5所示的合成输出图像38对准对象)可能会更加难以在诸如蜂窝电话的小型设备、其他小型无线设备或手持设备上使用,但是可以为较大设备(诸如具有较大显示器或监控器的计算机)或者具有对于容易地区别合成图像的特征来说足够大的显示器的膝上型计算机的使用提供可接受的方式。与使用向导20相比,预计使用标记104、106、108、110和112或其他适当标记会在对准处理期间减少眼部疲劳。
通过图19的自助照片拟真头部特写创建系统120的蜂窝电话132的摄像机134来收集对象160的图像。服务器142的软件混合器144创建对象160的收集图像与显示在显示器136上的标记150的合成图像。对象160将他或她的关键面部特征(诸如眼睛、鼻尖和嘴角)与标记150对准,然后存储器146可用于存储所选择的图像。
可替换地,可通过图20的自助照片拟真头部特写创建系统130的蜂窝电话132的摄像机134来收集对象160的图像。服务器152的软件混合器154创建对象160的收集图像与显示在显示器136上的向导158(其可通过对象160彼此对准)的合成图像,然后存储器156可用于存储所选择的图像。
优选地,摄像机134是高清晰度数码摄像机,其可以产生在质量和分辨率方面可与数码相机相比的数字视频帧,尽管还可以使用其他适当的相机和/或电子图像收集装置。
存储器146或156可以为光学存储介质和/或磁性存储介质,或者可以使用其他适当的存储器。
标记150、向导158和软件混合器14(其可以为计算机程序),其可以载入和/或存储在服务器142或服务器152中,尽管还可以使用其他适当的标记、向导和/或混合器。
图19的自助照片拟真头部特写创建系统120可以被描述为:
用于构造照片拟真人类头部特写的装置,包括:
手持设备;
网络;
服务器;
手持设备和服务器经由网络彼此通信;
对准模板库;
服务器包括对准模板库,
每个对准模板彼此不相同,并包括与用于特定头部角坐标的对象的面部特征相关联的多个标记,该头部角坐标包括头部倾斜、头部俯仰和头部旋转分量,
每个对准模板头部角坐标彼此不同;
控制器,
服务器包括控制器,
控制器从对应于指定的对准模板头部角坐标的对准模板库中选择对准模板,并具有表示对准模板的图像输出信号;
摄像机,
手持设备包括摄像机,
摄像机收集具有头部的人对象的图像,其具有包括了人对象头部倾斜、人对象头部俯仰和人对象头部旋转分量的人对象头部角坐标,
摄像机具有表示人对象的收集图像的输出信号,
手持设备经由网络将表示人对象的收集图像的摄像机的输出信号传送至服务器;
服务器,
服务器具有接收表示人对象的收集图像的摄像机的输出信号输入端,
服务器具有混合器,
服务器从控制器接收所选的对准模板图像输出信号,并将所选的对准模板图像输出信号和所接收的人对象的收集图像信号传送至混合器,
混合器接收所选的对准模板图像输出信号和所传送的人对象的收集图像信号,并将它们彼此混合成表示人对象的收集图像和所选对准模板的合成图像的输出信号,并将人对象的收集图像和所选对准模板的合成图像信号传送至服务
器,服务器具有表示从混合器接收的表示人对象的收集图像和所选对准模板的合成图像信号的输出信号,
服务器经由网络将表示人对象的收集图像和所选对准模板的合成图像信号的输出信号传送至手持设备;
显示器,
手持设备包括显示器,
显示器具有接收表示人对象的收集图像和所选对准模板的合成图像信号的输出信号的输入端,
显示器和摄像机用于使得摄像机收集人对象的图像,并使得人对象观看合成图像,以及使得人对象将人对象的头部图像与对准模板的标记对准;
存储装置存储人对象的收集图像库,其中对象的头部处于不同的人对象头部角坐标,
服务器包括存储装置,
服务器将所接收的人对象的收集图像信号传送至存储装置,
当人对象具有基本上与对准模板的标记对准的人对象的头部时,存储装置接收并存储所接收的人对象的收集图像信号作为人对象的存储图像,
人对象的存储图像具有基本上与指定的对准模板头部角坐标相同的人对象头部角坐标,
收集图像库中的每个存储图像彼此不同,
每个存储图像人对象头部角坐标彼此不同,
收集图像库中的每个存储图像人对象头部角坐标对应于并基本上与对准模板库的所选对准模板相同并且与其对准;
每个存储图像均表示照片拟真头部特写的不同帧。
图20的自助照片拟真头部特写创建系统130可以被描述为:
用于构造照片拟真人类头部特写的装置,包括:
手持设备;
网络;
服务器;
手持设备和服务器经由网络彼此通信;
对准模板库;
服务器包括对准模板库,
每个对准模板彼此不相同,并代表具有对准模板头部角坐标(包括模板头部倾斜、模板头部俯仰和模板头部旋转分量)的照片拟真头部特写的对准模板帧,
每个对准模板帧彼此不同,
每个对准模板头部角坐标彼此不同,
控制器,
服务器包括控制器,
控制器从对应于指定的对准模板头部角坐标的对准模板库中选择对准模板,并具有表示对准模板的图像输出信号;
摄像机,
手持设备包括摄像机,
摄像机收集具有头部的人对象的图像,其具有包括了人对象头部倾斜、人对象头部俯仰和人对象头部旋转分量的人对象头部角坐标,
摄像机具有表示人对象的收集图像的输出信号,
手持设备经由网络将表示人对象的收集图像的摄像机的输出信号传送至服务器;
服务器,
服务器具有接收表示人对象的收集图像的摄像机的输出信号的输入端,
服务器具有混合器,
服务器从控制器接收所选的对准模板图像输出信号,并将所选的对准模板图像输出信号和所接收的人对象的收集图像信号传送至混合器,
混合器接收所选的对准模板图像输出信号和所传送的人对象的收集图像信号,并将它们彼此混合成表示人对象的收集图像和所选对准模板的合成图像的输出信号,并将人对象的收集图像与所选对准模板的合成图像信号传送至服务器,服务器具有表示从混合器接收的表示人对象的收集图像与所选对准模板的合成图像信号的输出信号,
服务器经由网络将表示人对象的收集图像与所选对准模板的合成图像信号的输出信号传送至手持设备;
显示器,
手持设备包括显示器,
显示器具有接收表示人对象的收集图像与所选对准模板的合成图像信号的输出信号的输入端,
显示器和摄像机用于使得摄像机收集人对象的图像,并使得人对象观看合成图像,以及使得人对象在基本上处于与指定的对准模板头部角坐标相同的角坐标处将人对象的头部图像与对准模板头部对准;
存储装置存储人对象的收集图像库,其中对象的头部处于不同的人对象头部角坐标,
服务器包括存储装置,
服务器将所接收的人对象的收集图像信号传送至存储装置,
当人对象具有基本上与对准模板头部对准的人对象的头部时,存储装置接收并存储所接收的人对象的收集图像信号作为人对象的存储图像,
人对象的存储图像具有基本上与指定的对准模板头部角坐标相同的人对象头部角坐标,
收集图像库中的每个存储图像彼此不同,
每个存储的人对象头部角坐标彼此不同,
收集图像库中的每个存储的人对象头部角坐标对应于并基本上与对准模板库的所选对准模板相同并且与其对准;
每个存储图像均表示照片拟真头部特写的不同帧。
图21和图22分别示出了与服务器142和152分别进行无线通信的自助照片拟真头部特写创建系统120和130的蜂窝电话132。蜂窝电话132通常经由天线170与服务器142和152(其可以位于一个或多个无线蜂窝网络或其他适合的网络中)进行无线通信。
图23和图24分别示出了基本上与自助照片拟真头部特写创建系统120和130相同的自助照片拟真头部特写创建系统172和174,除了自助照片拟真头部特写创建系统172和174具有分别经由蜂窝网络176与服务器142和152通信的多个蜂窝电话132。每个蜂窝电话132均经由天线170与蜂窝网络176进行无线通信。
图25示出了基本上与自助照片拟真头部特写创建系统172相同的自助照片拟真头部特写创建系统178,除了自助照片拟真头部特写创建系统178具有多个个人数字助理(PDA)180,每个PDA均具有摄像机182和显示器184。
图25示出了基本上与自助照片拟真头部特写创建系统120相同的自助照片拟真头部特写创建系统186,除了自助照片拟真头部特写创建系统186连接至与服务器190连接的互联网188。服务器190具有软件混合器144、标记150和存储器146,或者服务器190可替换地和/或附加地具有软件混合器154、向导158和存储器156。
图27和图28分别示出了基本上分别与自助照片拟真头部特写创建系统172和174相同的自助照片拟真头部特写创建系统192和194,除了自助照片拟真头部特写创建系统192和194经由蜂窝网络196和蜂窝网络硬件198连接至互联网188。
图29示出了基本上与自助照片拟真头部特写创建系统192相同的自助照片拟真头部特写创建系统210,除了自助照片拟真头部特写创建系统210具有经由天线170无线连接至无线蜂窝网络196的膝上型计算机212。无线蜂窝网络196和普通老式电话系统(POTS)214均连接至互联网188,互联网连接至服务器142。可使用的便携式无线设备216包括蜂窝电话、个人数字助理(PDA)、手持无线设备、其他适当的便携式无线设备、膝上型计算机、个人计算机和其他计算机。
图30示出了基本上与自助照片拟真头部特写创建系统172相同的自助照片拟真头部特写创建系统218,除了自助照片拟真头部特写创建系统218无线连接至互联网188和无线蜂窝网络196,这两者又均连接至服务器142。
图31示出了使用图19至图30所示的一个或多个自助照片拟真头部特写创建系统构造照片拟真头部特写的方法220的步骤,包括:222,经由网络将无线设备无线地连接至服务器;226,将对准对象的图像传送至服务器;238,将对准对象的图像存储在服务器上;以及240,将图像传送回对象或用户。
更加详细地,构造照片拟真头部特写的方法220包括以下步骤:222,经由网络将无线设备无线地连接至服务器;224,利用诸如蜂窝电话摄像机、个人数字助理(PDA)摄像机或其他适当的设备收集对象的图像;226,将对象的收集图像传送至服务器;228,优选地,将对象的收集图像与标记混合,或可替换地与模板图像混合;230,将合成图像传送至便携式无线设备,更具体地,传送至便携式无线设备的显示器;232,将对象的图像与标记的图像或可替换图像对准;234,将对准对象的图像传送至服务器;238,将对准对象的图像存储在服务器238上;以及240,将对准对象的图像传送回对象或用户。
图32示出了构造照片拟真头部特写的方法220的附加可选步骤242,包括以下步骤:244,针对任何对准差异分析对准对象的图像;以及246,使用提示(诸如音频、声音提示和/或视频提示),以帮助对象实现更加精确的对准。
构造照片拟真头部特写的方法220可具有附加可选步骤,包括:248,在步骤240之后和/或在步骤246之后,捕获面部特征,其基本上与图17所示的附加可选步骤相同,并且为了清楚和理解在图33中进行了重复。
如图33所示,构造照片拟真头部特写的方法220可具有附加可选步骤,包括248,捕获面部特征,其包括:250,捕获嘴部形状;252,捕获眼睛形状;以及254,可选地捕获其他面部特征。
图34是诸如个人数字助理(PDA)或其他适当设备的视频捕获设备256的框图,其具有摄像机258、显示器260、存储器262、麦克风264和扬声器268,其可以被本发明的上述各种实施方式使用。
图35是根据本发明构造的自助照片拟真头部特写创建系统270的可替换实施方式的框图,具有:摄像机272、显示器260、软件混合器276、标记278、存储器280、麦克风282和扬声器284。
图35的自助照片拟真头部特写创建系统270包括封装成单个便携式设备的自助照片拟真头部特写创建系统的所有必需设备。
自助照片拟真头部特写创建系统270可以是具有摄像机272、显示器260、软件混合器276、标记278或可替换地和/或附加地向导、存储器280、麦克风282和扬声器284的个人数字助理(PDA)或其他适当的设备。
基本上与先前描述的图19至图30的任意图所示的自助照片拟真头部特写创建系统相同,可通过摄像机272收集对象的图像。基本上与先前描述的图19至图30的任意图所示的自助照片拟真头部特写创建系统相同,软件混合器276创建对象的收集图像与显示在显示器260上的标记278或可替换地和/或附加地向导的合成图像,对象可利用标记或可替换地和/或附加地向导来与他或她本身对准,然后存储器280可被用于存储所选图像。
图36示出了基本上与自助照片拟真头部特写创建系统270相同的自助照片拟真头部特写创建系统286的可替换实施方式,除了自助照片拟真头部特写创建系统286具有标记控制软件290,该软件可被用于单独控制标记292和/或控制标记库294。自助照片拟真头部特写创建系统286可选地和/或附加地具有向导控制软件,该软件可被用于单独控制向导和/或控制向导库。
图36的自助照片拟真头部特写创建系统286基本上包括了封装成单个便携式设备的整体自助照片拟真头部特写创建系统的所有设备。
III.创建照片拟真头部特写内容以及在照片头部特写内容中结合品牌
图2至图29示出了用于创建照片拟真头部特写内容以及在照片拟真头部特写内容中结合品牌的系统和方法。
品牌可被认为是与产品、服务、人、简档、特征、属性或任何其他制品或实体相关和/或与其连接的联想、符号、偏爱和/或表达的集合。
品牌成为当今社会环境、文化和经济的重要部分,并且有时被称为“个人价值观”和/或“文化附属品”。
品牌可以是在人的意识中创建的符号结构,并且可包括与产品、个体、实体和/或服务相关联的所有信息和预期。
品牌可以与属性、特征、描述、简档和/或其他联想相关联,其描述和/或将品牌与“个人价值观”、喜欢、不喜欢、偏爱、人口统计、关系以及个体、商业和/实体的其他特征相关。
然后,例如,品牌可被用于将广告结合到信息和/或内容(诸如传送至个体、商业和/实体的照片拟真头部特写内容)中。
A.创建照片头部特征内容
本发明的照片拟真头部特写系统包括:照片拟真头部特写库创建装置、照片拟真头部特写库创建服务器设备、照片拟真头部特写内容创建装置、照片拟真头部特写内容创建服务器设备、品牌关联服务器设备、以及内容分布服务器设备。
可替换地,照片拟真头部特写库创建装置和照片拟真头部特写库创建服务器设备在描述和/或附图中可被称为照片拟真头部特写服务器,并且直接涉及照片拟真头部特写库的创建。
可替换地,照片拟真头部特写内容创建装置和照片拟真头部特写内容创建服务器设备在描述和/附图中可被称为生产服务器,并且直接涉及照片拟真头部特写内容的创建。
可替换地,内容分布服务器设备在描述和/附图中可被称为展示服务器,并且直接涉及品牌内容到接收方的分布。
图37、图38以及图40至图65示出了创建照片拟真内容的各个方面。
图37是示出展示内容创建和上传的展示内容创建和上传方法(300)的示意图。用户选择设备平台(320)。用户选择他或她的品牌偏爱(350),选择内容创建方法(400),并使用照片拟真头部特写聊天(502)、照片拟真头部特写博客(504)、照片拟真头部特写多媒体(506)、照片拟真头部特写电话(560)或照片拟真头部特写语音邮箱应用(570)来创建照片拟真头部特写展示,用户手动地调整展示(650),然后登录到适当的服务器,诸如照片拟真头部特写聊天室服务器(702)、照片拟真头部特写博客服务器(704)或能够进行照片拟真头部特写的社交网络服务器(706)。如果使用照片拟真头部特写电话或语音邮箱应用,则通过软件程序进行调整(675),然后内容未被调整地发送至适当的服务器,诸如电信网络服务器(760)或语音邮箱服务器(770)。
图38是可被照片拟真头部特写应用使用的所选设备平台(320)的示意图,其示出了用于照片拟真头部特写应用的所选设备平台,包括但不限于:蜂窝电话(325)、互联网计算机(330)、特殊应用设备(335)或集中设备(340)。特殊应用设备是用于特殊任务的任何设备,无论是消费品或商业设备。特殊应用设备的实施例为无线访问至服务器的手持存货跟踪设备。集中设备可包括:蜂窝接入、Wifi/WiMax型访问、全键盘或标准键盘、电子邮件访问、多媒体播放器、摄像机和相机或其他适当的设备。
图39是用于呼叫者个性化品牌布置的处理(350)的示意图,包括示出的呼叫者个性化品牌布置。询问用户是否已初始化参数和偏爱(355)。参数是用户设置的用户个人品牌参数。偏爱是用户为组织和/或个体给出的标识符。如果答案为否,则询问用户是否希望修改任何参数和偏爱(360)。如果(355)或(360)的答案为是,则用户创建或改变一个或多个参数和偏爱(365)。在完成(365)之后或(360)的答案为否时,用户针对他们参与的特定事件选择品牌偏爱简档(370)。然后,用户将该改变、创建和事件简档(370)保存至服务器。
图40是展示内容创建方法(400)的示意图。用户可以利用经由远程服务器系统(410)的创造性辅助,或者利用本地计算机系统(全版本)(420)和/或可适于创建照片拟真头部特写系统的其他适当的系统和/或方法使用任何设备(320)或其他适当的设备产生内容。
图41是创建用于聊天、博客或多媒体应用的照片拟真头部特写内容的处理(500)的示意图。在用户选择并发起照片拟真头部特写应用(502)、(504)、(506)中的一个(450)之后,用户选择他们的个人照片拟真头部特写或其他特征作为他们的具体体现(510),记录有声音频文件(520),可选地分配动画行为(530),其可以是所存储的与照片拟真头部特写库相关联的脚本动作,可选地分配背景图像(535),可选地分配文本和/或图像(540),以及可选地分配幻灯片和/或声道音乐(545)。
图42是用于创建用于电话或语音邮箱应用的照片拟真头部特写内容的处理(550)的示意图。用户选择照片拟真头部特写库以将其用作他们的具体体现(552),然后发起电话呼叫(554)。在设置电话呼叫之后,发生接收方是否应答电话呼叫的分支(556)。如果接收方应答了呼叫,则电话应用开始,如果接收方没有应答,则语音邮箱应用开始。
图43是照片拟真头部特写电话应用(560)的示意图。用户说话(561),用户语音数据被发送至服务器作为语音数据(562)。应用使得照片拟真头部特写和语音数据同步(563),对展示进行任意调整(564),基于偏爱和参数插入广告(565),并将所有数据发送至接收方(566)。电话呼叫在该循环中可以继续,直到电话呼叫结束(567)。
图44是照片拟真头部特写语音邮箱应用(570)的示意图。用户说话(571),用户语音数据进而被发送至服务器作为语音数据(573)。应用使得照片拟真头部特写和语音数据同步(575),照片拟真头部特写语音数据被保存在服务器上(577)用于接收方稍后拾取,进而电话呼叫结束(579)。
图45用于嵌入口形同步数据的处理(520)的示意图。在已记录了有声音频之后,用户经由互联网连接将音频文件发送至生产服务器(522)。生产服务器上的有声分析和口形同步应用分析音频文件并将音位定时信息嵌入音频文件(524)。然后,口形同步增强音频文件被存储在生产服务器资源库中(526),并经由互联网发送回用户(528)。然后,用户可以利用嵌入的音位定时信息驱动口形同步照片拟真头部特写动画(529)。
图46是用于通过使与用户的参数和偏爱和接收者的参数和偏爱相关联的词相匹配来插入品牌的处理(800)的示意图,其示出了通过使与用户的参数和偏爱和接收者的参数和偏爱相关联的词相匹配来插入品牌(广告、个人品牌等)的处理。利用语音识别应用来在服务器中分析用户的声音频道信号(810)。语音-文本结果被反馈到关键词匹配算法(812)。应用进行检查以确定词语是否为遗留的(813)。如果是的话,则应用进行检查以查看该词语是否在关键词数据库中(814)。如果不是,则其丢弃该词语(816)。用户和接收方参数用于使关键词与品牌相匹配(818)。品牌数据被发送至呼叫接收方的设备上的品牌队列(820)。品牌历史与用户的接触信息和会话相关联(824)。呼叫接收方点击品牌队列,以查看与会话上下文相关的品牌信息(824)。如果存在多个语音-文本结果,则应用下载下一个品牌(826)。
图47是分布式网应用网络(1400)的示意图。各种设备(320)包括:蜂窝电话(360)、互联网计算机(370)、特殊应用设备(380)和集中设备(390),它们在互联网或其他网络(1402)上联网至服务器系统(1405),该服务器系统包括但不限于包含网页(1430)的展示服务器(1410)、包含网页应用的虚拟实例(1450)和用户资源(1455)的生产服务器(1460)以及包含照片拟真头部特写应用(1475)的照片拟真头部特写服务器(1470)。用户使用基于嵌入网页(1490)的轻量前端网络工具客户端(1492)的网络浏览器(1485),以与生产服务器、展示服务器和照片拟真头部特写服务器交互。
图48是另一分布式网应用网络(1401)的示意图。各种设备(320)包括:蜂窝电话(360)、互联网计算机(370)、特殊应用设备(380)和集中设备(390),它们在互联网(1402)和/或蜂窝电话网络(606)上联网至服务器系统(1405),服务器系统包括但不限于包含网页(1430)的展示服务器(1410)、包含网页应用的虚拟实例(1450)和用户资源(1455)的生产服务器(1460)以及包含照片拟真头部特写应用(1475)的照片拟真头部特写服务器(1470)。用户使用基于嵌入网页(1490)的轻量前端网络工具客户端(1492)的网络浏览器(1485),以与生产服务器、展示服务器和照片拟真头部特写服务器交互。
本发明的照片拟真头部特写系统包括:照片拟真头部特写库创建装置、照片拟真头部特写库创建服务器设备、照片拟真头部特写内容创建装置、照片拟真头部特写内容创建服务器设备、品牌关联服务器设备、以及内容分布服务器设备。
可替换地,照片拟真头部特写库创建装置和照片拟真头部特写库创建服务器设备在描述和/或附图中可被称为照片拟真头部特写服务器,并且直接涉及照片拟真头部特写库的创建。
可替换地,照片拟真头部特写内容创建装置和照片拟真头部特写内容创建服务器设备在描述和/或附图中可被称为生产服务器,并且直接涉及照片拟真头部特写内容的创建。
可替换地,内容分布服务器设备在描述和/或附图中可被称为展示服务器,并且直接涉及品牌内容到接收方的分布。
图49是嵌入口形同步系统和方法(1700)的示意图。用户使用麦克风(1740)来利用展示创建工具记录他或她的声音(1730)。音频数据(1750)经由互联网(1402)被发送至生产服务器(1770)上的自动声音分析和口形同步应用(1780)。利用语音识别软件来分析音频数据,并且所提取的音位/持续时间信息被并入音频文件的元数据部分,以在一个多口形同步映射音频文件(1785)中创建包含音位/持续时间数据、音位-视位映射表和音频数据的文件格式。多口形同步映射音频文件在发送回用户计算机(1795)之前被存储在生产服务器资源库(1790)中,以针对在播放器(1798)上观看的展示驱动口形同步。
图50是照片拟真头部特写电话(2200)的示意图。来自呼叫者和接收方的音频(2230)被驻留在生产服务器(2200)(其是电信网络的一部分)上的声音分析和口形同步应用(2260)分析。展示被编译(2310),语音-文本分析的输出(2340)经由数据信道与展示资源(2350)一起被发送,然后在各个播放器中用于呼叫者和接收方的照片拟真头部特写的口形同步。
图51是移动信息设备上的嵌入口形同步系统和方法(1800)的示意图。用户使用麦克风(1810)来利用展示创建工具(1830)记录他们的声音(1730)。音频数据(1850)经由电信网络(1860)被发送至生产服务器(1870)上的声音分析和口形同步应用(1880)。利用语音识别软件来分析音频数据,并且所提取的音位/持续时间信息被并入音频文件的元数据部分,以在一个多口形同步映射音频文件(1885)中创建包含音位/持续时间数据、音位-视位映射表和音频数据的文件格式。多口形同步音频文件在发送回用户的网络浏览器之前被存储在生产服务器资源库(1890)中,以针对在播放器(1894)上观看的展示驱动口形同步。
图52是语音驱动个性化品牌布置系统(1900)的示意图。呼叫者使用其设备(1910)以在生产服务器(1980)上的数据库(2030)中设置一系列个人标记参数和接收者偏爱,其表明各种品牌类别中的大体购买偏爱。当用户进行语音呼叫时,他们的声音被驻留在生产服务器(其是电信网络或主公司的一部分)上的声音分析和口形同步应用(1990)分析。语音-文本分析的输出(2000)与关键词(2020)的列表进行比较,其中,关键词的列表与服务器上的品牌数据库(2050)中的广告相关联。与关键词列表中的条目不匹配的词语被去除,留下品牌关键词(2040)的列表。然后,发送者的个人品牌参数被关键词使用以选择特定品牌(1970),以发送至接收方的设备(2060)。品牌的标题或结尾语显示在照片拟真头部特写播放器(1960)下方的品牌队列(1940)窗口中。然后,品牌列表被保存在接触列表(1950)中,并与发送者的简档相关联。在任何时刻,呼叫的接收方都可以点击广告队列,以查看品牌列表并选择一个在播放器中展示。
图53是照片拟真头部特写语音邮箱(2100)的示意图。使用设备的用户在接收方的语音邮箱上记录消息。消息被驻留在生产服务器(1980)(其是电信或互联网或其他类型的网络或互联网的一部分)上的声音分析和口形同步应用(1990)分析。语音-文本分析的输出被添加至音频文件的元数据,然后用于发送者的照片拟真头部特写的口形同步。当接收方点击语音消息列表(2145)中的消息时,播放器(2120)播放所记录的声音消息,并且呼叫者的照片拟真头部特写被激活,且口形与消息同步。
图54是可替换地被称为照片拟真头部特写网络应用(1500)的设备平台和远程服务器系统。网络内容制作者在网络内容制作者的计算机(1520)(其通过内容创建处理引导网络内容制作者)上启动基于互联网浏览器的网络应用(1510)。网络内容制作者使用视频记录器(1530)来针对一系列有序头部位置的每一个记录他们在屏幕上可视的动作,从肩头抬高说出词“army u.f.o’s”,眨眼,扬眉以及表达各种情感。根据3D人物特征表现的预制造向导库用于帮助网络内容制作者对准他们的头部。视频数据被保存并经由互联网发送至生产服务器(1670),在那里该数据被照片拟真头部特写内容创建系统(1660)的视频识别应用(1690)分析。表示所选视位的各个视频帧经由从视频文件提取的、来自视频识别应用的音位和定时数据来识别,使用像素数据比较算法彼此对准,并且裁剪为仅包括表示该位置(诸如嘴、眼睛或头)的运动极端的部分。所得到的照片拟真头部特写库文件(1740)被保存在生产服务器资源库(1730)中。网络内容制作者经由音频记录器(1540)记录他/她的声音消息。来自音频记录器的音频数据(1590)被保存并经由互联网被发送至生产服务器,该数据在服务器被声音分析和口形同步应用(1680)使用语音识别引擎分析。所得到的音位定时与形成映射信息的适当口形一起被复制到音频文件的元数据部分并在生产服务器资源库中被保存为口形同步映射音频文件(1720)。网络内容制作者可以使用文本编辑器(1550)来向展示添加文本或标题图形。文本编辑器输出是文本数据(1600),其经由互联网被发送至生产服务器,在生产服务器资源库中被保存为文本文件。生产服务器资源可以为但不限于文本文件、音频文件、口形同步映射音频文件、由照片拟真头部特写创建系统生成的照片拟真头部特写文件、由其他特征创建系统(1650)生成的其他原始或许可特征文件(1610)。用于创建图像文件(1620)(诸如背景图像、电影、布景或其他环境)的外部图像创建系统(1570)被设计为在展示期间构成照片拟真头部特写或其他特征。这些生产服务器资源是用于创建展示的原始材料,并且可以在展示创建程序中的各个点处被访问,以及通过展示编译器(1700)结合到展示中。片段编辑器(1640)用于指定和激活展示脚本(1790)中所使用的资源。各种资源(1770)进入本地资源库(1650),并使用脚本对象行为和一系列命令沿着时间线激活以限定场面和动画。该展示信息从展示片段编辑器发送至展示编译器,然后创建展示脚本,对其进行加密,以及将展示结合到网络内容制作者的网页中。完成的展示被存储在展示服务器(1800)上的展示内容库(1810)中。然后,展示脚本可以在互联网上被其他用户的设备(1820)所访问,并经由网络浏览器(1830)利用播放器(1840)进行观看或者嵌入到操作系统(1835)中。
图55是展示片段编辑器应用(2400)的示意图。诸如照片拟真头部特写库、有声音频文件、背景图像和小道具的展示资源(2420)进入展示资源列表(2430)。各个展示资源(2450)被拖到时间线编辑器(2510)的跟踪ID部分。展示资源行为(2460)被预定义,诸如头部运动、眼部运动、手臂运动、身体运动或这些运动的其他组合的动画的可再用序列在时间序列中沿着时间线被放置,以定义展示动画。修改展示资源特征界面(2490)提供了用于调整展示资源参数(诸如位置、跟踪顺序)以及预览特定行为或声音文件的方法。展示被输出并在本地资源库(2410)中保存为展示片段(2440)。
图56是展示编译编辑器应用(2600)的示意图。在展示编译编辑器(2610)中,展示探测器(2635)被用于将展示片段(2640)拖放到展示创作器(2660)中,以创建更长、完整的展示脚本(2670)。展示可以在预览播放器(2650)中预览。一旦制作者满意展示的内容,完成的展示脚本就可以利用展示加密器(2680)来加密以使得他们仅利用播放器可见,和/或他们可以输入至电影制作器(2690)并用于创建电影(2750),用于利用标准数字媒体播放器进行查看。展示被保存在本地资源库(2730)中并在互联网(2740)上利用ftp上传向导(2710)上传到远程网络服务器。地址簿(2720)存储用于可用展示服务器(2760)的URL、登录和密码信息。
图57是本地资源库(2800)的目录结构的示意图。本地资源库包括文件夹,其包含展示脚本(2810)、图形(2820)、声音(2830)、下载资源(2840)以及诸如图标、按钮图像和网页背景图像的网页组合资源(2850)。本地资源库的整体内容还以加密形式被保存在本地资源库内的加密资源库(2860)中。
图58是加密资源库(2860)的目录结构的示意图。加密资源库包括文件夹,其包含:加密展示脚本(2870)、加密图形(2880)、加密声音(2890)、加密下载资源(2900)以及网页组成资源(2910)。
图59是本地资源库(3000)的图形资源部分的目录结构的示意图。图形资源库包括文件夹,其包含:照片拟真头部特写库(3010)、其他头部特写库(3020)、背景图像(3030)、小道具(3040)、布景(3050)、智能图形(3060)、开场/结尾图形(3070)和错误消息图形(3080)。
图60是本地资源库的声音库部分(3100)的目录结构的示意图。声音库包括文件夹,其包含:有声音频文件(3110)、口形同步定时文件(3120)、计算机生成的有声模型(3130)、MIDI文件(3140)和记录的音效(3150)。
图61是声音分析和口形同步应用(900)的示意图。制作者可以使用任何适当的音频记录应用(930)来记录他们的声音并将其保存为音频文件(970),并将对应的词输入任何适当的文本编辑器(920),然后将它们保存为文本文件(960)。文本从现有保存的文本文件或者从最新在便笺式存储器(1000)中键入的文本被输入至文本界面(990)。然后,文本数据被发送至文本-语音引擎(940),在其中对于音调、音位和持续时间数据(1010)进行分析。音调、音位和持续时间值被发送至持续时间/音调图表界面(1030)。对应的有声音频文件(970)也被发送至持续时间/音调图表界面。音调/音位/持续时间值沿着时间线被表示为可移动节点的字符串。垂直值表示音频的改变,而水平值表示音位之间的持续间隔的改变。音位与声音文件的同步精度可通过同时监听根据音频/音位/持续时间数据创建的计算机生成的声音和人声音有声文件来测试。两个文件的视觉比较可以在音频/视觉波形比较器(1040)中进行。一旦制作者满意计算机声音和人声音之间的同步,音调和持续时间值就被发送至输出脚本编辑器(1090),在其中有效的各个短语被拼接到一起以形成完整的声音脚本(1100)。然后,声音脚本被分离成各个短语,基于短语中的词给出名字并顺序编号。计算机声音编辑器(1070)可用于通过调整控制声音质量的各种参数(诸如性别、头部尺寸、呼吸、语速、语调等)来创建新唯一声音的计算机生成的特征声音。新创建的计算机生成的特征声音可以被添加到现有的计算机特征声音列表(1080)。音调升降曲线编辑器(1020)可用于创建自定义音调序列,用于将声调和音调调整添加到计算机生成的特征声音对话中。这些自定义音调升降曲线或者基础升降曲线可以保存在基础升降曲线列表(1050)中用于再利用。音位列表(1060)包含每个可用音位和可被监听为参考的词语中的典型用法的样本。
图62是可替换地被称为照片拟真头部特写内容产生系统(1200)的本地计算机(全版本)系统的示意图。制作者(其是使用工具创建内容的用户)经由音频记录器(1210)来记录他或她的声音消息。来自音频记录器的音频文件(1220)被保存并输入至本地资源库(1310),本地资源库是制作者或终端用户的计算机上的存储室,其包含通过播放器在脚本中调用并用于创建展示的所有文件。制作者的消息脚本(包含当创建声音消息时发出的词语序列)被输入至文本编辑器(1230)。文本编辑器输出是保存在本地资源库中的文本文件(1270)。在声音分析和口形同步应用(1320)中,消息脚本文本文件被输入然后利用文本-语音引擎进行分析,以将文本转换为对应于所写词的音位及其相关联的持续时间值。然后,音位定时信息被手动或自动地与制作者的原始记录声音文件同步,并在本地资源库中被保存为口形同步定时文件(1325)。本地资源库包含驻留在制作者的计算机上、可在展示创建程序中的各个点被访问的文件。本地资源可以为但不限于:文本文件、音频文件、口形同步定时文件、由根据当前专利申请(部分地作为继续基础)照片拟真头部特写创建系统(1240)生成的照片拟真头部特写文件(1280)、由其他特征创建系统(1250)生成的其他原始或许可特征文件(1290)、外部创建的图像资源(1300)(诸如背景图像、电影、布景或被设计为在展示期间构造照片拟真头部特写或所使用的其他特征的其他环境)。这些展示资源(1330)是用于创建展示的原始材料。展示片段编辑器(1340)用于创建展示片段(1350)。资源文件从本地资源库输入至片段编辑器,并使用脚本对象行为和一系列命令将其激活以定义场景和动画。展示编译编辑器(1370)是用于将展示片段(诸如可再用开场、结尾和新创建的唯一片段)集合成较长、完整的展示脚本(1380)的应用。完成的展示存储在本地资源库中,并且可以利用预览播放器(1360)进行观看,预览播放器是可读取脚本并显示还没有加密的展示且嵌入在制作者的计算机上的片段编辑器和展示编译编辑器中的播放器的版本。片段编辑器还能够对展示脚本进行加密,使得他们仅可以利用播放器(1394)在远程用户的计算机(1392)上观看,该播放器是可以仅读取已经被展示编译编辑器加密的展示的播放器。制作者可以使用上传向导(1390),其是用于一旦命令,则手动或自动地经由互联网(1402)将展示脚本和展示资源上传到指定远程网络服务器(1340)上的展示内容库(1330)的工具。
图63是声音分析和口形同步应用的图形用户界面(3200)的示意图。该图形用户界面可以与资源文本编辑器(990)、便笺式存储器(1000)、音位序列(1010)、音调升降曲线编辑器(1020)、持续时间/音调编辑器(1030)、音频/视觉波形比较器(1040)、计算机生成的特征声音列表(1080)和音位样本列表(1060)结合使用。
图64是生产片段编辑器应用的图形用户界面(3300)的示意图。该图形用户界面可以与展示资源列表(2430)、展示资源(2450)、资源行为(2460)、预览播放器(2500)、时间线编辑器(2510)、声音定时文件转换器(3310)和行为图标列表(3320)结合使用。
图65是展示编译编辑应用的图形用户界面(3400)的示意图。该图形用户界面可以与展示预览播放器(2650)、展示创作者(2660)、展示探测器和地址簿结合使用。
B.将品牌结合到照片头部特写内容中
图37、图39、图43、图46至图48、图50、图52、图54和图62示出了先前已经讨论的将品牌结合到照片拟真头部内容中的各个方面。
IV.分布照片头部特写内容
图37、图43、图44、图47至图54、图56和图62示出了先前已经讨论的分布照片拟真头部内容的各个方面。
V.查看照片头部特写内容
图47至图54、图62、图66和图82示出了先前已经讨论的查看照片拟真头部内容的各个方面。
VI.附加细节
照片拟真头部特写创建、内容创建的方法以及分布系统和方法可以至少部分地被认为:
在包括用于创建照片拟真头部特写库、创建照片拟真头部特写内容、将品牌插入内容以及将包括分布式网络上的品牌的内容从至少一个通信设备分布到至少一个其他通信设备的照片拟真头部特写系统的硬件设备上执行的处理包括以下步骤,其中照片拟真头部特写系统包括照片拟真头部特写库创建装置、照片拟真头部特写库创建服务器设备、照片拟真头部特写内容创建装置、照片拟真头部特写内容创建服务器设备、品牌关联服务器设备以及内容分布服务器设备:
(a)在照片拟真头部特写库创建装置中创建照片拟真头部特写的库;
(b)在照片拟真头部特写库创建服务器设备中存储照片拟真头部特写的库;
(c)在照片拟真头部特写内容创建装置中创建照片拟真头部特写内容;
(d)在照片拟真头部特写内容创建服务器设备中存储照片拟真头部特写内容;
(e)在照片拟真头部特写内容创建装置中创建至少一个简档;
(f)在品牌关联服务器设备中使至少一个简档与照片拟真头部特写内容彼此关联;
(g)在品牌关联服务器设备中存储至少一个简档和识别至少一个简档与照片拟真头部特征内容之间关联的信息;
(h)在照片拟真头部特写系统中从至少一个通信设备接收至少一个指令,以将所存储的照片拟真头部特写内容传送到至少一个其他通信设备;
(i)在照片拟真头部特写内容创建服务器设备中检索照片拟真头部特写内容;
(j)在品牌关联服务器设备中检索识别至少一个简档与照片拟真头部特写内容之间的关联的信息,并检索至少一个简档;
(k)在品牌关联服务器设备中检索与至少一个简档关联的至少一个所存储的品牌;
(l)在照片拟真头部特写内容创建服务器设备中将与至少一个简档和照片拟真头部特写内容关联的至少一个所存储的品牌结合至照片拟真头部特写内容;
(m)将包括与至少一个简档和照片拟真头部特写内容关联的至少一个所存储的品牌的照片拟真头部特写内容从照片拟真头部特写内容分布服务器设备传送到至少一个其他通信设备。
至少一个简档可包括与至少一个通信设备的至少一个用户关联的至少一个简档,和/或至少一个简档包括与至少一个其他通信设备的至少一个用户关联的至少一个简档。
然后,至少一个简档可包括与至少一个通信设备的至少一个用户关联的至少一个第一简档,以及与至少一个其他通信设备的至少一个用户关联的至少一个第二简档。
与至少一个简档和照片拟真头部特写内容关联的至少一个所存储的品牌可包括与至少一个简档关联的至少一个广告。
与至少一个简档和照片拟真头部特写内容关联的至少一个所存储的品牌可包括与至少一个第一简档和至少一个第二简档关联的至少一个广告。
品牌关联服务器设备可包括至少一个数据库,其包括与至少一个简档关联的至少一个所存储的品牌。
步骤(a),在照片拟真头部特写库创建装置中创建照片拟真头部特写的库至少包括以下步骤:
通过控制器从对准模板库中选择对准模板,
照片拟真头部特写库创建装置包括控制器,
每个对准模板均彼此不同,并表示具有对准模板头部角坐标(包括模板头部倾斜、模板头部俯仰和模板头部旋转分量)的照片拟真人头部特写的对准模板帧,
每个对准模板帧均彼此不同,
每个对准模板头部角坐标均彼此不同,
利用摄像机收集人对象的图像,
手持设备包括摄像机,
照片拟真头部特写库创建装置包括具有摄像机的手持设备;
通过手持设备将人对象的收集图像传送至混合器,
照片拟真头部特写库创建装置包括混合器;
通过混合器将人对象的收集图像与所选对准模板的图像在混合器中进行混合,由此创建人对象与所选对准模板的合成图像;
将合成图像从混合器传送至包括显示器(其用于向人对象进行显示)的手持设备,该显示器用于帮助人对象将人对象的头部的图像与所选对准模板的图像对准;
以与所选对准模板头部角坐标基本相同的角坐标,充分地将人对象的头部与所选对准模板头部的图像对准,其中,人对象具有包括了人对象头部倾斜、人对象头部俯仰和人对象头部旋转分量的人对象角坐标;
通过手持设备收集基本对准的人对象的图像;
通过手持设备将基本对准的人对象的图像传送至照片拟真头部特写库创建服务器设备;
其中,步骤(b),在照片拟真头部特写创建服务器设备中存储照片拟真头部特写的库包括:通过照片拟真头部特写库创建服务器设备在所收集图像的库中存储基本对准的人对象的图像,
每个收集图像均具有不同的人对象角坐标,其基本上与所选对准模板头部角坐标相同,
每个存储图像均表示照片拟真头部特写头部的不同帧。
照片拟真头部特写内容来自由以下内容所组成的组:照片拟真头部特写内容、与人对象的所发声音同步的照片拟真头部特写、照片拟真头部特写、照片拟真头部特写的至少一部分、描述人对象的动画行为的照片拟真头部特写、人对象图像的至少一帧、人对象图像的至少一帧的至少一部分、人对象图像的多个图像帧、人对象图像的至少一帧的多个部分、人对象图像的多个图像的多个帧的多个部分、表示动画照片拟真头部特写的人对象的多个图像的多个帧、表示动画照片拟真头部特写的照片拟真头部特写库的多个帧、文本、至少一个图像、多个图像、至少一个背景图像、多个背景图像、至少一个视频、多个视频、音频、音乐、多媒体内容以及它们中的一个或多个的任何组合。
照片拟真头部特写库包括多个存储图像,多个存储图像的每个存储图像均表示照片拟真头部特写库的人对象的图像的不同帧,步骤(a)在照片拟真头部特写库创建装置中创建照片拟真头部特写的库还包括:
将表示照片拟真头部特写库的人对象图像的不同帧的多个存储图像的每个存储图像与多个不同音位中的不同音位相关联;
步骤(b)在照片拟真头部特写创建服务器设备中存储照片拟真头部特写的库还包括:
在照片拟真头部特写库创建服务器设备中存储识别表示与多个不同音位的不同音位相关联的照片拟真头部特写库的人对象图像的不同帧的多个存储图像的每个相关联存储图像的相关性的信息,并存储多个不同音位的不同音位。
在照片拟真头部特写库创建服务器设备中存储识别表示与多个不同音位的不同音位相关联的照片拟真头部特写库的人对象图像的不同帧的多个存储图像的每个相关联存储图像的相关性的信息包括:
在至少一个数据库中存储识别表示与多个不同音位的不同音位相关联的照片拟真头部特写库的人对象图像的不同帧的多个存储图像的每个相关联存储图像的相关性的信息。
紧接以上所描述的,步骤(c)在照片拟真头部特写内容创建装置中创建照片拟真头部特写内容至少包括以下步骤:
在照片拟真头部特写内容创建装置中接收代表人对象的声音的至少一个音位;
在照片拟真头部特写内容创建装置中确定基本上与代表人对象的声音的至少一个音位相匹配的、存储在照片拟真头部特写内容创建装置中的多个不同音位的至少一个最匹配的音位;
在照片拟真头部特写内容创建装置中检索识别与至少一个最匹配的音位相对应的至少一个音位和表示照片拟真头部特写库的人对象的图像的不同帧的多个存储图像的每个相关联存储图像之间的相关性的信息;
在照片拟真头部特写内容创建装置中将与对应于至少一个最匹配音位的至少一个音位相对应的照片拟真头部特写库的人对象的图像的不同帧结合为照片拟真头部特写内容。
步骤(c)在照片拟真头部特写内容创建装置中创建照片拟真头部特写内容可以至少包括以下步骤:
在照片拟真头部特写内容创建装置中接收代表人对象的声音的至少两个音位;
在照片拟真头部特写内容创建装置中确定基本上与代表人对象的声音的至少两个音位相匹配的、存储在照片拟真头部特写内容创建装置中的多个不同音位的至少两个最匹配的音位;
在照片拟真头部特写内容创建装置中检索识别与至少两个最匹配的音位相对应的至少两个音位和表示照片拟真头部特写库的人对象的图像的不同帧的多个存储图像的至少两个相关联的存储图像之间的相关性的信息;
在照片拟真头部特写内容创建装置中将与对应于至少两个最匹配音位的至少两个音位相对应的照片拟真头部特写库的人对象的图像的不同帧结合为照片拟真头部特写内容。
紧接以上所描述的,至少两个音位可包括多个音位的序列。
照片拟真头部特写库包括多个存储图像,多个存储图像的每个存储图像均表示照片拟真头部特写库的人对象的图像的不同帧,步骤(a)在照片拟真头部特写库创建装置中创建照片拟真头部特写的库还包括:
将表示照片拟真头部特写库的人对象图像的不同帧的多个存储图像的每个存储图像与多个不同音位的不同音位相关联;
步骤(b)在照片拟真头部特写创建服务器设备中存储照片拟真头部特写的库还包括:
在照片拟真头部特写库创建服务器设备中存储识别表示与多个不同音位的不同音位相关联的照片拟真头部特写库的人对象图像的不同帧的多个存储图像的每个相关联存储图像的相关性的信息,并存储多个不同音位的不同音位。
紧接以上所述,步骤(c)在照片拟真头部特写内容创建装置中创建照片拟真头部特写内容至少包括以下步骤:
在照片拟真头部特写内容创建装置中接收代表人对象的声音的至少一个音位;
在照片拟真头部特写内容创建装置中确定基本上与代表人对象的声音的至少一个音位相匹配的、存储在照片拟真头部特写内容创建装置中的多个不同音位的至少一个最匹配的音位;
在照片拟真头部特写内容创建装置中检索识别与至少一个最匹配的音位相对应的至少一个音位和表示照片拟真头部特写库的人对象的图像的不同帧的多个存储图像的每个相关联的存储图像之间的相关性的信息;
在照片拟真头部特写内容创建装置中将与对应于至少一个最匹配音位的至少一个音位相对应的照片拟真头部特写库的人对象的图像的不同帧结合为照片拟真头部特写内容。
再次,至少一个简档可包括与至少一个通信设备的至少一个用户相关联的至少一个简档。
再次,至少一个简档可包括与至少一个其他通信设备的至少一个用户相关联的至少一个简档。
再次,至少一个简档包括与至少一个通信设备的至少一个用户相关联的至少一个第一简档以及与至少一个其他通信设备的至少一个用户相关联的至少一个第二简档。
再次,与至少一个简档和照片拟真头部特写内容相关联的至少一个所存储的品牌包括与至少一个简档相关联的至少一个广告。
根据以上所述,与至少一个简档和照片拟真头部特写内容相关联的至少一个所存储的品牌包括与至少一个第一简档和至少一个第二简档相关联的至少一个广告。
根据以上所述,品牌关联服务器设备包括至少一个数据库,其包括与至少一个简档相关联的至少一个存储品牌。
再次,步骤(c)在照片拟真头部特写内容创建装置中创建照片拟真头部特写内容可以至少包括以下步骤:
在照片拟真头部特写内容创建装置中接收代表人对象的声音的至少两个音位;
在照片拟真头部特写内容创建装置中确定基本上与代表人对象的声音的至少两个音位相匹配的、存储在照片拟真头部特写内容创建装置中的多个不同音位的至少两个最匹配的音位;
在照片拟真头部特写内容创建装置中检索识别与至少两个最匹配的音位相对应的至少两个音位和表示照片拟真头部特写库的人对象的图像的不同帧的多个存储图像的至少两个相关联的存储图像之间的相关性的信息;
在照片拟真头部特写内容创建装置中将与对应于至少两个最匹配音位的至少两个音位相对应的照片拟真头部特写库的人对象的图像的不同帧结合为照片拟真头部特写内容。
尽管已经参照特定的优选形式详细描述了本发明,但其他形式也是可以的。因此,所附权利要求的精神和范围不应限于本文包含的优选形式的描述。

Claims (26)

1.一种在硬件设备上执行的方法,其中,所述硬件设备包括用于创建照片拟真头部特写库、创建照片拟真头部特写内容、将品牌插入所述内容以及在分布式网络上将包括品牌的内容从至少一个通信设备分布到至少一个其他通信设备的照片拟真头部特写系统,所述照片拟真头部特写系统包括照片拟真头部特写库创建装置、照片拟真头部特写库创建服务器设备、照片拟真头部特写内容创建装置、照片拟真头部特写内容创建服务器设备、品牌关联服务器设备以及内容分布服务器设备,所述方法包括以下步骤:
(a)在所述照片拟真头部特写库创建装置中创建照片拟真头部特写库;
(b)在所述照片拟真头部特写库创建服务器设备中存储所述照片拟真头部特写库;
(c)在所述照片拟真头部特写内容创建装置中创建所述照片拟真头部特写内容;
(d)在所述照片拟真头部特写内容创建服务器设备中存储所述照片拟真头部特写内容;
(e)在所述照片拟真头部特写内容创建装置中创建至少一个简档;
(f)在所述品牌关联服务器设备中使所述至少一个简档与所述照片拟真头部特写内容彼此关联;
(g)在所述品牌关联服务器设备中存储所述至少一个简档和识别所述至少一个简档与所述照片拟真头部特写内容之间关联的信息;
(h)在所述照片拟真头部特写系统中从所述至少一个通信设备接收至少一个指令,以将所存储的照片拟真头部特写内容传送至所述至少一个其他通信设备;
(i)在所述照片拟真头部特写内容创建服务器设备中检索所述照片拟真头部特写内容;
(j)在所述品牌关联服务器设备中检索识别所述至少一个简档与所述照片拟真头部特写内容之间的关联的信息,并检索所述至少一个简档;
(k)在所述品牌关联服务器设备中检索与所述至少一个简档相关联的至少一个所存储的品牌;
(l)在所述照片拟真头部特写内容创建服务器设备中将与所述至少一个简档以及所述照片拟真头部特写内容相关联的所述至少一个所存储的品牌结合至所述照片拟真头部特写内容;
(m)将包括与所述至少一个简档和所述照片拟真头部特写内容相关联的所述至少一个所存储的品牌的所述照片拟真头部特写内容从所述照片拟真头部特写内容分布服务器设备传送至所述至少一个其他通信设备。
2.根据权利要求1所述的在硬件设备上执行的方法,其中,所述至少一个简档包括与所述至少一个通信设备的至少一个用户相关联的至少一个简档。
3.根据权利要求1所述的在硬件设备上执行的方法,其中,所述至少一个简档包括与所述至少一个其他通信设备的至少一个用户相关联的至少一个简档。
4.根据权利要求1所述的在硬件设备上执行的方法,其中,所述至少一个简档包括与所述至少一个通信设备的至少一个用户相关联的至少一个第一简档以及与所述至少一个其他通信设备的至少一个其他用户相关联的至少一个第二简档。
5.根据权利要求1所述的在硬件设备上执行的方法,其中,与所述至少一个简档和所述照片拟真头部特写内容相关联的所述至少一个所存储的品牌包括与所述至少一个简档相关联的至少一个广告。
6.根据权利要求5所述的在硬件设备上执行的方法,其中,与所述至少一个简档和所述照片拟真头部特写内容相关联的所述至少一个所存储的品牌包括与所述至少一个第一简档和所述至少一个第二简档相关联的至少一个广告。
7.根据权利要求1所述的在硬件设备上执行的方法,其中,所述品牌关联服务器设备包括至少一个数据库,所述至少一个数据库包括与所述至少一个简档相关联的所述至少一个所存储的品牌。
8.根据权利要求1所述的在硬件设备上执行的方法,其中,所述步骤(a)在所述照片拟真头部特写库创建装置中创建所述照片拟真头部特写库至少包括以下步骤:
通过控制器从对准模板库中选择对准模板,
所述照片拟真头部特写库创建装置包括所述控制器,
每个所述对准模板均彼此不同,并表示具有对准模板头部角坐标的照片拟真人类头部特写的对准模板帧,所述对准模板头部角坐标包括模板头部倾斜、
模板头部俯仰和模板头部旋转分量,
每个所述对准模板帧均彼此不同,
每个所述对准模板头部角坐标均彼此不同;
利用摄像机收集人对象的图像,
手持设备包括所述摄像机,
所述照片拟真头部特写库创建装置包括所述手持设备,所述手持设备包括所述摄像机;
通过所述手持设备将所述人对象的所述收集图像传送至混合器,
所述照片拟真头部特写库创建装置包括所述混合器;
通过所述混合器将所述人对象的所述收集图像与所选的对准模板的图像在所述混合器中进行混合,由此创建所述人对象与所选的对准模板的合成图像;
将所述合成图像从所述混合器传送至所述手持设备,其中,所述手持设备包括用于向所述人对象进行显示的显示器,所述显示器用于帮助所述人对象将所述人对象的头部图像与所选的对准模板的图像对准;
以与所选的对准模板头部角坐标基本相同的角坐标来基本将所述人对象的头部与所选的对准模板头部的图像对准,其中,所述人对象具有人对象头部角坐标,所述人对象头部角坐标包括人对象头部倾斜、人对象头部俯仰和人对象旋转分量;
通过所述手持设备收集基本对准的所述人对象的图像;
通过所述手持设备将基本对准的所述人对象的图像传送至所述照片拟真头部特写库创建服务器设备;
其中,所述步骤(b)在所述照片拟真头部特写库创建服务器设备中存储所述照片拟真头部特写库包括:
通过所述照片拟真头部特写库创建服务器设备在收集的图像库中存储基本对准的所述人对象的图像,
每个收集的所述图像均具有不同的人对象角坐标,
所述人对象角坐标基本上与所选的对准模板头部角坐标相同,
每个存储的所述图像均表示照片拟真人类头部特写的不同帧。
9.根据权利要求1所述的在硬件设备上执行的方法,其中,所述照片拟真头部特写内容来自由以下内容所组成的组:照片拟真头部特写内容、与人对象的说话声音同步的照片拟真头部特写、照片拟真头部特写、照片拟真头部特写的至少一部分、描述人对象的动画行为的照片拟真头部特写、人对象的图像的至少一帧、人对象的图像的至少一帧的至少一部分、人对象的图像的多个帧、人对象的图像的至少一帧的多个部分、人对象的多个图像的多个帧的多个部分、表示动画照片拟真头部特写的人对象的多个图像的多个帧、表示动画照片拟真头部特写的照片拟真头部特写库的多个帧、文本、至少一个图像、多个图像、至少一个背景图像、多个背景图像、至少一个视频、多个视频、音频、音乐、多媒体内容以及它们中的一个或多个的任何组合。
10.根据权利要求1所述的在硬件设备上执行的方法,其中,所述照片拟真头部特写库包括多个存储图像,所述多个存储图像中的每个存储图像均表示所述照片拟真头部特写库的人对象的图像的不同帧,所述步骤(a)在所述照片拟真头部特写库创建装置中创建所述照片拟真头部特写库还包括:
将表示所述照片拟真头部特写库的人对象的图像的不同帧的所述多个存储图像的每个存储图像与多个不同音位的不同音位相关联;
所述步骤(b)在所述照片拟真头部特写库创建服务器设备中存储所述照片拟真头部特写库还包括:
在所述照片拟真头部特写库创建服务器设备中存储对于表示与所述多个不同音位的不同音位相关联的所述照片拟真头部特写库的人对象的图像的不同帧的所述多个存储图像的每个相关联存储图像的关联进行识别的信息,并存储所述多个不同音位中的所述不同音位。
11.根据权利要求10所述的在硬件设备上执行的方法,其中,在所述照片拟真头部特写库创建服务器设备中存储对于表示与所述多个不同音位的不同音位相关联的所述照片拟真头部特写库的人对象的图像的不同帧的所述多个存储图像的每个相关联存储图像的关联进行识别的信息包括:
在至少一个数据库中存储对于表示与所述多个不同音位的不同音位相关联的所述照片拟真头部特写库的人对象的图像的不同帧的所述多个存储图像的每个相关联存储图像的关联进行识别的信息。
12.根据权利要求10所述的在硬件设备上执行的方法,其中,所述步骤(c)在所述照片拟真头部特写内容创建装置中创建所述照片拟真头部特写内容至少包括以下步骤:
在所述照片拟真头部特写内容创建装置中接收代表人对象的声音的至少一个音位;
在所述照片拟真头部特写内容创建装置中确定基本上与代表所述人对象的声音的所述至少一个音位相匹配的、存储在所述照片拟真头部特写内容创建装置中的所述多个不同音位的至少一个最匹配的音位;
在所述照片拟真头部特写内容创建装置中检索对于与所述至少一个最匹配的音位相对应的所述至少一个音位和表示所述照片拟真头部特写库的人对象的图像的不同帧的所述多个存储图像的每个相关联的存储图像之间的关联进行识别的信息;
在所述照片拟真头部特写内容创建装置中将与对应于所述至少一个最匹配音位的所述至少一个音位相对应的所述照片拟真头部特写库的人对象的图像的不同帧结合至所述照片拟真头部特写内容。
13.根据权利要求10所述的在硬件设备上执行的方法,其中,所述步骤(c)在所述照片拟真头部特写内容创建装置中创建所述照片拟真头部特写内容至少包括以下步骤:
在所述照片拟真头部特写内容创建装置中接收代表人对象的声音的至少两个音位;
在所述照片拟真头部特写内容创建装置中确定基本上与代表所述人对象的声音的所述至少两个音位相匹配的、存储在所述照片拟真头部特写内容创建装置中的多个不同音位的至少两个最匹配的音位;
在所述照片拟真头部特写内容创建装置中检索对于与所述至少两个最匹配的音位相对应的至少两个音位和表示所述照片拟真头部特写库的人对象的图像的不同帧的所述多个存储图像的至少两个相关联的存储图像之间的关联进行识别的信息;
在所述照片拟真头部特写内容创建装置中将与对应于所述至少两个最匹配音位的所述至少两个音位相对应的所述照片拟真头部特写库的人对象的图像的不同帧结合至所述照片拟真头部特写内容。
14.根据权利要求13所述的在硬件设备上执行的方法,其中,所述至少两个音位包括多个音位的序列。
15.根据权利要求8所述的在硬件设备上执行的方法,其中,所述照片拟真头部特写库包括多个存储图像,所述多个存储图像的每个存储图像均表示所述照片拟真头部特写库的人对象的图像的不同帧,所述步骤(a)在所述照片拟真头部特写库创建装置中创建所述照片拟真头部特写库还包括:
将表示所述照片拟真头部特写库的人对象的图像的不同帧的所述多个存储图像的每个存储图像与多个不同音位中的不同音位相关联;
所述步骤(b)在所述照片拟真头部特写库创建服务器设备中存储所述照片拟真头部特写库还包括:
在所述照片拟真头部特写库创建服务器设备中存储对于表示与所述多个不同音位中的不同音位相关联的所述照片拟真头部特写库的人对象的图像的不同帧的所述多个存储图像的每个相关联存储图像的关联进行识别的信息,并存储所述多个不同音位中的所述不同音位。
16.根据权利要求15所述的在硬件设备上执行的方法,其中,所述步骤(c)在所述照片拟真头部特写内容创建装置中创建所述照片拟真头部特写内容至少包括以下步骤:
在所述照片拟真头部特写内容创建装置中接收代表人对象的声音的至少一个音位;
在所述照片拟真头部特写内容创建装置中确定基本上与代表所述人对象的声音的至少一个音位相匹配的、存储在所述照片拟真头部特写内容创建装置中的所述多个不同音位中的至少一个最匹配的音位;
在所述照片拟真头部特写内容创建装置中检索对于与所述至少一个最匹配的音位相对应的至少一个音位和表示所述照片拟真头部特写库的人对象的图像的不同帧的所述多个存储图像的每个相关联的存储图像之间的关联进行识别的信息;
在所述照片拟真头部特写内容创建装置中将与对应于所述至少一个最匹配音位的至少一个音位相对应的所述照片拟真头部特写库的人对象的图像的不同帧结合至所述照片拟真头部特写内容。
17.根据权利要求16所述的在硬件设备上执行的方法,其中,所述至少一个简档包括与所述至少一个通信设备的至少一个用户相关联的至少一个简档。
18.根据权利要求16所述的在硬件设备上执行的方法,其中,所述至少一个简档包括与所述至少一个其他通信设备的至少一个用户相关联的至少一个简档。
19.根据权利要求16所述的在硬件设备上执行的方法,其中,所述至少一个简档包括与所述至少一个通信设备的至少一个用户相关联的至少一个第一简档以及与所述至少一个其他通信设备的至少一个其他用户相关联的至少一个第二简档。
20.根据权利要求16所述的在硬件设备上执行的方法,其中,与所述至少一个简档和所述照片拟真头部特写内容相关联的所述至少一个存储的品牌包括与所述至少一个简档相关联的至少一个广告。
21.根据权利要求20所述的在硬件设备上执行的方法,其中,与所述至少一个简档和所述照片拟真头部特写内容相关联的所述至少一个存储的品牌包括与所述至少一个第一简档和所述至少一个第二简档相关联的至少一个广告。
22.根据权利要求16所述的在硬件设备上执行的方法,其中,所述品牌关联服务器设备包括至少一个数据库,所述至少一个数据库包括与所述至少一个简档相关联的所述至少一个存储的品牌。
23.根据权利要求15所述的在硬件设备上执行的方法,其中,所述步骤(c)在所述照片拟真头部特写内容创建装置中创建所述照片拟真头部特写内容至少包括以下步骤:
在所述照片拟真头部特写内容创建装置中接收代表人对象的声音的至少两个音位;
在所述照片拟真头部特写内容创建装置中确定基本上与代表所述人对象的声音的所述至少两个音位相匹配的、存储在所述照片拟真头部特写内容创建装置中的多个不同音位中的至少两个最匹配的音位;
在所述照片拟真头部特写内容创建装置中检索对于与所述至少两个最匹配的音位相对应的至少两个音位和表示所述照片拟真头部特写库的人对象的图像的不同帧的所述多个存储图像的至少两个相关联的存储图像之间的关联进行识别的信息;
在所述照片拟真头部特写内容创建装置中将与对应于所述至少两个最匹配音位的至少两个音位相对应的所述照片拟真头部特写库的人对象的图像的不同帧结合至所述照片拟真头部特写内容。
24.一种硬件系统,包括用于创建照片拟真头部特写库、创建照片拟真头部特写内容、将品牌插入所述内容以及在分布式网络上将包括品牌的内容从至少一个通信设备分布到至少一个其他通信设备的照片拟真头部特写系统,所述照片拟真头部特写系统包括照片拟真头部特写库创建装置、照片拟真头部特写库创建服务器设备、照片拟真头部特写内容创建装置、照片拟真头部特写内容创建服务器设备、品牌关联服务器设备以及内容分布服务器设备,所述硬件系统包括:
(a)用于在所述照片拟真头部特写库创建装置中创建所述照片拟真头部特写库的装置;
(b)用于在所述照片拟真头部特写库创建服务器设备中存储所述照片拟真头部特写库的装置;
(c)用于在所述照片拟真头部特写内容创建装置中创建所述照片拟真头部特写内容的装置;
(d)用于在所述照片拟真头部特写内容创建服务器设备中存储所述照片拟真头部特写内容的装置;
(e)用于在所述照片拟真头部特写内容创建装置中创建至少一个简档的装置;
(f)用于在所述品牌关联服务器设备中使所述至少一个简档与所述照片拟真头部特写内容彼此相关联的装置;
(g)用于在所述品牌关联服务器设备中存储所述至少一个简档和识别所述至少一个简档与所述照片拟真头部特写内容之间关联的信息的装置;
(h)用于在所述照片拟真头部特写系统中从所述至少一个通信设备接收至少一个指令,以将所存储的照片拟真头部特写内容传送至所述至少一个其他通信设备的装置;
(i)用于在所述照片拟真头部特写内容创建服务器设备中检索所述照片拟真头部特写内容的装置;
(j)用于在所述品牌关联服务器设备中检索对于所述至少一个简档与所述照片拟真头部特写内容之间的关联进行识别的信息,并检索所述至少一个简档的装置;
(k)用于在所述品牌关联服务器设备中检索与所述至少一个简档相关联的至少一个所存储的品牌的装置;
(l)用于在所述照片拟真头部特写内容创建服务器设备中将与所述至少一个简档以及所述照片拟真头部特写内容相关联的所述至少一个所存储的品牌结合至所述照片拟真头部特写内容的装置;
(m)用于将包括与所述至少一个简档和所述照片拟真头部特写内容相关联的所述至少一个所存储的品牌的所述照片拟真头部特写内容从所述照片拟真头部特写内容分布服务器设备传送至所述至少一个其他通信设备的装置。
25.一种硬件计算机可读存储介质,包括用于创建照片拟真头部特写库、创建照片拟真头部特写内容、将品牌插入所述内容以及在分布式网络上将包括品牌的内容从至少一个通信设备分布到至少一个其他通信设备的计算机可执行指令的照片拟真头部特写系统,所述照片拟真头部特写系统包括照片拟真头部特写库创建装置、照片拟真头部特写库创建服务器设备、照片拟真头部特写内容创建装置、照片拟真头部特写内容创建服务器设备、品牌关联服务器设备以及内容分布服务器设备,所述硬件计算机可存储介质使得一个或多个计算机:
(a)在所述照片拟真头部特写库创建装置中创建所述照片拟真头部特写库;
(b)在所述照片拟真头部特写库创建服务器设备中存储所述照片拟真头部特写库;
(c)在所述照片拟真头部特写内容创建装置中创建所述照片拟真头部特写内容;
(d)在所述照片拟真头部特写内容创建服务器设备中存储所述照片拟真头部特写内容;
(e)在所述照片拟真头部特写内容创建装置中创建至少一个简档;
(f)在所述品牌关联服务器设备中使所述至少一个简档与所述照片拟真头部特写内容彼此相关联;
(g)在所述品牌关联服务器设备中存储所述至少一个简档和识别所述至少一个简档与所述照片拟真头部特写内容之间关联的信息;
(h)在所述照片拟真头部特写系统中从所述至少一个通信设备接收至少一个指令,以将所存储的照片拟真头部特写内容传送至所述至少一个其他通信设备;
(i)在所述照片拟真头部特写内容创建服务器设备中检索所述照片拟真头部特写内容;
(j)在所述品牌关联服务器设备中检索对于所述至少一个简档与所述照片拟真头部特写内容之间的关联进行识别的信息,并检索所述至少一个简档;
(k)在所述品牌关联服务器设备中检索与所述至少一个简档相关联的至少一个所存储的品牌;
(l)在所述照片拟真头部特写内容创建服务器设备中将与所述至少一个简档以及所述照片拟真头部特写内容相关联的所述至少一个所存储的品牌结合至所述照片拟真头部特写内容;
(m)将包括与所述至少一个简档和所述照片拟真头部特写内容相关联的所述至少一个所存储的品牌的所述照片拟真头部特写内容从所述照片拟真头部特写内容分布服务器设备传送至所述至少一个其他通信设备。
26.一种硬件装置,包括用于创建照片拟真头部特写库、创建照片拟真头部特写内容、将品牌插入所述内容以及在分布式网络上将包括品牌的内容从至少一个通信设备分布到至少一个其他通信设备的照片拟真头部特写系统,所述照片拟真头部特写系统包括照片拟真头部特写库创建装置、照片拟真头部特写库创建服务器设备、照片拟真头部特写内容创建装置、照片拟真头部特写内容创建服务器设备、品牌关联服务器设备以及内容分布服务器设备,所述硬件装置包括:
(a)照片拟真头部特写库创建器,用于在所述照片拟真头部特写库创建装置中创建所述照片拟真头部特写库;
(b)照片拟真头部特写库存储器,用于在所述照片拟真头部特写库创建服务器设备中存储所述照片拟真头部特写库;
(c)照片拟真头部特写内容创建器,用于在所述照片拟真头部特写内容创建装置中创建所述照片拟真头部特写内容;
(d)照片拟真头部特写内容存储器,用于在所述照片拟真头部特写内容创建服务器设备中存储所述照片拟真头部特写内容;
(e)照片拟真头部特写简档创建器,用于在所述照片拟真头部特写内容创建装置中创建至少一个简档;
(f)关联器,用于在所述品牌关联服务器设备中使所述至少一个简档与所述照片拟真头部特写内容彼此关联;
(g)品牌插入存储器,用于在所述品牌关联服务器设备中存储所述至少一个简档和对于所述至少一个简档与所述照片拟真头部特写内容之间关联进行识别的信息;
(h)接收器,用于在所述照片拟真头部特写系统中从所述至少一个通信设备接收至少一个指令,以将所存储的照片拟真头部特写内容传送至所述至少一个其他通信设备;
(i)照片拟真头部特写内容检索器,用于在所述照片拟真头部特写内容创建服务器设备中检索所述照片拟真头部特写内容;
(j)品牌关联检索器,用于在所述品牌关联服务器设备中检索对于所述至少一个简档与所述照片拟真头部特写内容之间的关联进行识别的信息,并检索所述至少一个简档;
(k)品牌检索器,用于在所述品牌关联服务器设备中检索与所述至少一个简档相关联的至少一个存储的品牌;
(l)结合器,用于在所述照片拟真头部特写内容创建服务器设备中将与所述至少一个简档以及所述照片拟真头部特写内容相关联的所述至少一个所存储的品牌结合至所述照片拟真头部特写内容;
(m)通信器,用于将包括与所述至少一个简档和所述照片拟真头部特写内容相关联的所述至少一个所存储的品牌的所述照片拟真头部特写内容从所述照片拟真头部特写内容分布服务器设备传送至所述至少一个其他通信设备。
CN2009801163910A 2008-03-09 2009-03-09 照片拟真头部特写创建、内容创建以及分布系统和方法 Pending CN102037496A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US3502208P 2008-03-09 2008-03-09
US61/035,022 2008-03-09
PCT/US2009/036586 WO2009114488A1 (en) 2008-03-09 2009-03-09 Photo realistic talking head creation, content creation, and distribution system and method

Publications (1)

Publication Number Publication Date
CN102037496A true CN102037496A (zh) 2011-04-27

Family

ID=41065543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801163910A Pending CN102037496A (zh) 2008-03-09 2009-03-09 照片拟真头部特写创建、内容创建以及分布系统和方法

Country Status (7)

Country Link
EP (1) EP2263212A1 (zh)
JP (1) JP2011519079A (zh)
KR (1) KR20100134022A (zh)
CN (1) CN102037496A (zh)
AU (1) AU2009223616A1 (zh)
CA (1) CA2717555A1 (zh)
WO (1) WO2009114488A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10904488B1 (en) 2020-02-20 2021-01-26 International Business Machines Corporation Generated realistic representation of video participants
CN113269066B (zh) * 2021-05-14 2022-10-04 网易(杭州)网络有限公司 说话视频生成方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1317756A (zh) * 2000-03-01 2001-10-17 索尼国际(欧洲)股份有限公司 用户轮廓数据的管理
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
CN1918571A (zh) * 2004-10-29 2007-02-21 松下电器产业株式会社 信息检索装置
US7253817B1 (en) * 1999-12-29 2007-08-07 Virtual Personalities, Inc. Virtual human interface for conducting surveys
US20070239518A1 (en) * 2006-03-29 2007-10-11 Chung Christina Y Model for generating user profiles in a behavioral targeting system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
EP1984898A4 (en) * 2006-02-09 2010-05-05 Nms Comm Corp PROGRESSIVE MORPHING BETWEEN AVATARS OF VIDEO CALL

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7253817B1 (en) * 1999-12-29 2007-08-07 Virtual Personalities, Inc. Virtual human interface for conducting surveys
CN1317756A (zh) * 2000-03-01 2001-10-17 索尼国际(欧洲)股份有限公司 用户轮廓数据的管理
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
CN1918571A (zh) * 2004-10-29 2007-02-21 松下电器产业株式会社 信息检索装置
US20070239518A1 (en) * 2006-03-29 2007-10-11 Chung Christina Y Model for generating user profiles in a behavioral targeting system

Also Published As

Publication number Publication date
JP2011519079A (ja) 2011-06-30
AU2009223616A1 (en) 2009-09-17
KR20100134022A (ko) 2010-12-22
CA2717555A1 (en) 2009-09-17
WO2009114488A1 (en) 2009-09-17
EP2263212A1 (en) 2010-12-22

Similar Documents

Publication Publication Date Title
US20100085363A1 (en) Photo Realistic Talking Head Creation, Content Creation, and Distribution System and Method
US10867416B2 (en) Harmonizing composite images using deep learning
US10347028B2 (en) Method for sharing emotions through the creation of three-dimensional avatars and their interaction
CN108876877B (zh) 表情符号人偶化
JP5866728B2 (ja) 画像認識システムを備えた知識情報処理サーバシステム
US20020007276A1 (en) Virtual representatives for use as communications tools
US11423652B2 (en) Adding beauty products to augmented reality tutorials
CN105684038A (zh) 用于替换图像的部分的图像缓存
JP2003529975A (ja) 個人化されたメディアの自動作成システム
CN113542624A (zh) 生成商品对象讲解视频的方法及装置
JP2024513640A (ja) 仮想対象のアクション処理方法およびその装置、コンピュータプログラム
JP4218637B2 (ja) 情報端末装置
CN102037496A (zh) 照片拟真头部特写创建、内容创建以及分布系统和方法
KR101165300B1 (ko) 패턴애니메이션을 기반으로 하는 ucc서비스 시스템
KR20190002386A (ko) 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치
CN115393484A (zh) 虚拟形象动画的生成方法、装置、电子设备和存储介质
KR20190005144A (ko) 캐릭터 서비스 시스템, 그 시스템에서의 캐릭터 서비스를 제공하기 위한 방법 및 장치
CN111443794A (zh) 一种阅读互动方法、装置、设备、服务器及存储介质
US20240129437A1 (en) Selecting avatar for videoconference
CN116708899B (zh) 应用于合成虚拟形象的视频处理方法、装置及存储介质
US20220217430A1 (en) Systems and methods for generating new content segments based on object name identification
KR102080614B1 (ko) Vr 컨텐츠 제공 전문포탈 서비스 시스템 및 그 구동방법
KR101935519B1 (ko) 캐릭터 서비스 시스템, 그 시스템에서의 캐릭터 서비스를 제공하기 위한 방법 및 장치
US20230251767A1 (en) Messaging system for resurfacing content items
KR20100012525A (ko) Ria 기반 인터페이스를 이용하여 캐릭터 동영상을생성하는 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110427