CN103918010A - 用于生成与多媒体内容相关联的动画图像的方法、装置和计算机程序产品 - Google Patents

用于生成与多媒体内容相关联的动画图像的方法、装置和计算机程序产品 Download PDF

Info

Publication number
CN103918010A
CN103918010A CN201280054345.4A CN201280054345A CN103918010A CN 103918010 A CN103918010 A CN 103918010A CN 201280054345 A CN201280054345 A CN 201280054345A CN 103918010 A CN103918010 A CN 103918010A
Authority
CN
China
Prior art keywords
content
multimedia
image
movability
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280054345.4A
Other languages
English (en)
Other versions
CN103918010B (zh
Inventor
P·米施拉
R·坎南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN103918010A publication Critical patent/CN103918010A/zh
Application granted granted Critical
Publication of CN103918010B publication Critical patent/CN103918010B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8193—Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

依据示例实施例，提供了一种方法、装置和计算机程序产品。该方法包括促成从多媒体内容中的多个对象选择至少一个对象。该方法还包括访问与该至少一个对象相关联的对象移动性内容。该对象移动性内容指示该多媒体内容中的该多个对象的运动。基于选择该至少一个对象和与该至少一个对象相关联的该对象移动性内容来生成与该多媒体内容相关联的动画图像。

Description

用于生成与多媒体内容相关联的动画图像的方法、装置和计算机程序产品
技术领域
各种实施方式总体上涉及用于从多媒体内容生成动画图像的方法、装置和计算机程序产品。
背景技术
近年来，已经针对多媒体内容的数字化和进一步处理研发了各种技术。多媒体内容的示例可以包括但并不局限于电影视频、视频镜头等。多媒体内容的数字化使用数字化的多媒体内容在多媒体内容的复杂操控方面有所促进以增强用户体验。例如，多媒体内容可以被操控和处理以生成可以在各种应用中加以利用的动画图像。动画图像包括被封装在图像文件内的一系列图像。该一系列图像可以被顺序显示，由此创建动画图像中的对象的运动假象(illusion)。
发明内容
权利要求中给出了示例实施例的示例的各个方面。
在第一方面，提供了一种方法，该方法包括：促成从多媒体内容中的多个对象选择至少一个对象；访问与该至少一个对象相关联的对象移动性内容，该对象移动性内容指示多媒体内容中的多个对象的运动；以及基于选择该至少一个对象和与该至少一个对象相关联的对象移动性内容来生成与该多媒体内容相关联的动画图像。
在第二方面，提供了一种装置，该装置包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码被配置为与该至少一个处理器一起使得该装置至少执行：促成从多媒体内容中的多个对象选择至少一个对象；访问与该至少一个对象相关联的对象移动性内容，该对象移动性内容指示多媒体内容中的多个对象的运动；以及基于选择该至少一个对象和与该至少一个对象相关联的对象移动性内容来生成与该多媒体内容相关联的动画图像。
在第三方面，提供了一种包括至少一个计算机可读存储介质的计算机程序产品，该计算机可读存储介质包括一组指令，当被一个或多个处理器执行时，该指令使得装置至少执行：促成从多媒体内容中的多个对象选择至少一个对象；访问与该至少一个对象相关联的对象移动性内容，该对象移动性内容指示多媒体内容中的多个对象的运动；以及基于选择该至少一个对象和与该至少一个对象相关联的对象移动性内容来生成与该多媒体内容相关联的动画图像。
在第四方面，提供了一种装置，该装置包括：用于促成从多媒体内容中的多个对象选择至少一个对象的装置；用于访问与该至少一个对象相关联的对象移动性内容的装置，该对象移动性内容指示多媒体内容中的多个对象的运动；以及用于基于选择该至少一个对象和与该至少一个对象相关联的对象移动性内容来生成与该多媒体内容相关联的动画图像的装置。
在第五方面，提供了一种包括程序指令的计算机程序，当被装置执行时，该程序指令使得该装置：促成从多媒体内容中的多个对象选择至少一个对象；访问与该至少一个对象相关联的对象移动性内容，该对象移动性内容指示多媒体内容中的多个对象的运动；以及基于选择该至少一个对象和与该至少一个对象相关联的对象移动性内容来生成与该多媒体内容相关联的动画图像。
附图说明
在附图的图中，通过示例而非通过限制来图示各个实施例，其中：
图1图示了依据示例实施例的设备；
图2图示了依据示例实施例的用于生成与多媒体内容相关联的动画图像的装置；
图3A和图3B图示了用于在依据示例实施例的装置中生成与多媒体内容相关联的动画图像的用户界面(UI)；
图4A、图4B和图4C图示了用于在依据另一个示例实施例的装置中生成与多媒体内容相关联的动画图像的示例性用户界面(UI)；
图5是描绘依据示例实施例的用于生成与多媒体内容相关联的动画图像的示例方法的流程图；以及
图6是描绘依据另一个示例实施例的用于生成与多媒体内容相关联的动画图像的示例方法的流程图。
具体实施方式
示例实施例及其可能的效果通过参考附图的图1至图6B而被理解。
图1图示了依据示例实施例的设备100。然而，应当理解的是，如所图示并且在随后描述的设备100仅是可能从各个实施例获益的一种类型的设备的说明，因此不应当被理解为限制实施例的范围。正因如此，应当意识到的是，以下结合设备100所描述的组件中的至少一些组件可以是任选的，并且因此在示例实施例中可以包括与结合图1的示例实施例所描述的那些组件相比更多、更少或不同的组件。设备100可以是任意多种类型的移动电子设备，例如便携式数字助理(PDA)、传呼机、移动电视、游戏设备、蜂窝电话、所有类型的计算机(例如，膝上计算机、移动计算机或台式机)、相机、音频/视频播放器、无线电广播、全球定位系统(GPS)设备、媒体播放器、移动数字助理，或者前述各项的任意组合以及其它类型的通信设备。
设备100可以包括与发送器104和接收器106可操作通信的天线102(或多个天线)。设备100可以进一步包括诸如控制器108或者其分别往来于发送器104和接收器106而提供和接收信号的其它处理设备之类的装置。信号可以包括依据可应用蜂窝系统的空中接口标准的信令信息，并且/或者还可以包括对应于用户语音的数据、接收的数据和/或用户生成的数据。在这点上，设备100可以能够使用一个或多个空中接口标准、通信协议、调制类型和访问类型来操作。通过图示，设备100可以能够依据多种第一、第二、第三和/或第四代通信协议中的任意一种等来操作。例如，设备100可以能够依据第二代(2G)无线通信协议IS-136(时分多址(TDMA))、GSM(全球移动通信系统)和IS-95(码分多址(CDMA))来操作，或者依据诸如通用移动电信系统(UMTS)、CDMA1000、宽带CDMA(WCDMA)和时分同步CDMA(TD-SCDMA)之类的第三代(3G)无线通信协议来操作，依据诸如演进通用陆地无线接入网(E-UTRAN)之类的3.9G无线通信协议来操作，依据第四代(4G)无线通信协议来操作，等等。作为备选(或者除此之外)，设备100可以能够依据非蜂窝通信机制来操作。例如，诸如互联网、局域网、广域网等的计算机网络；诸如包括网络、网络、电气与电子工程师协会(IEEE)802.11x网络等的短距离无线通信网络；诸如公共交换电话网络(PSTN)之类的有线电信网络。
除其它之外，控制器108可以包括实施设备100的音频和逻辑功能的电路。例如，控制器108可以包括但并不局限于一个或多个数字信号处理器设备、一个或多个微处理器设备、具有(多个)伴随数字信号处理器的一个或多个处理器、不具有(多个)伴随数字信号处理器的一个或多个处理器、一个或多个专用计算机芯片、一个或多个现场可编程门阵列(FPGA)、一个或多个控制器、一个或多个专用集成电路(ASIC)、一个或多个计算机、各种模数转换器、数模转换器和/或其它支持电路。设备100的控制和信号处理功能根据其相应能力在这些设备之间分配。控制器108因此还可以包括用于在调制和传输之前对消息和数据进行卷积编码和交错的功能。控制器108还可以包括内部语音编码器，并且可以包括内部数据调制解调器。另外，控制器108可以包括用于对可以存储在存储器中的一个或多个软件程序进行操作的功能。例如，控制器108可以能够操作诸如常规Web浏览器之类的连接程序。该连接程序随后可以允许设备100根据无线应用协议(WAP)、超文本传输协议(HTTP)等发送和接收诸如基于位置的内容和/或其它网页内容之类的Web内容。在示例实施例中，控制器108可以表现为诸如双核或四核处理器之类的多核处理器。然而，控制器108中可以包括任意数量的处理器。
设备100还可以包括用户界面，该用户界面包括诸如响铃110、耳机或扬声器112、麦克风114、显示器116之类的输出设备以及可以耦合至控制器108的用户输入接口。允许设备100接收数据的用户输入接口可以包括允许设备100接收数据的若干设备中的任一设备，诸如小键盘118、触摸显示器、麦克风或其它输入设备。在包括小键盘118的实施例中，小键盘118可以包括数字(0-9)和相关按键(#、*)，以及用于操作设备100的其它硬按键和软按键。可替换地或除此之外，小键盘118可以包括常规的QWERTY小键盘布置。小键盘118还可以包括具有相关联的功能的各种软按键。除此之外或可替换地，设备100可以包括诸如操纵杆或其它用户输入接口之类的接口设备。设备100进一步包括诸如振动电池组之类的电池120，用于对用来操作设备100的各种电路供电以及可选地提供机械振动作为可检测的输出。
在示例实施例中，设备100包括与控制器108通信的媒体捕捉部件，诸如相机、视频和/或音频模块。媒体捕捉部件可以是用于捕捉图像、音频和/或视频以供存储、显示或传输的任意装置。在媒体捕捉部件是相机模块122的示例实施例中，相机模块122可以包括能够从所捕捉的图像形成数字图像文件的数字相机。正因如此，相机模块122包括诸如镜头或其它(多个)光学组件之类的所有硬件以及用于从所捕捉的图像创建数字图像文件的软件。可替换地，相机模块122可以包括观看图像所需的硬件，而设备100的存储器设备则以软件的形式存储供控制器108执行的指令，用于从所捕捉的图像创建数字图像文件。在示例实施例中，相机模块122可以进一步包括处理部件，诸如在处理图像数据时辅助控制器108的协处理器以及用于压缩和/或解压缩图像数据的编码器和/或解码器。编码器和/或解码器可以根据JPEG标准格式或另一类似格式编码和/或解码。对于视频而言，编码器和/或解码器可以采用例如与H.261、H.262/MPEG-2、H.263、H.264、H.264/MPEG-4、MPEG-4等相关联的标准的多种标准格式中的任意一种。在一些情况下，相机模块122可以向显示器116提供现场图像数据。此外，在示例实施例中，显示器116可以位于设备100的一侧，并且相机模块122可以包括位于设备100的相对于显示器116的相对侧的透镜，以使得相机模块122能够捕捉在设备100的一侧的图像并且向位于设备100的另一侧的用户呈现这样的图像的视图。
设备100可以进一步包括用户识别模块(UIM)124。UIM124可以是具有内建处理器的存储器设备。UIM124例如可以包括订户识别模块(SIM)、通用集成电路卡(UICC)、通用订户识别模块(USIM)、可移除用户识别模块(R-UIM)或者任意其它智能卡。UIM124通常存储与移动订户相关的信息要素。除了UIM124之外，设备100还可以配备存储器。例如，设备100可以包括易失性存储器126，诸如包括用于数据的临时存储的高速缓存区域的易失性随机存取存储器(RAM)。设备100还可以包括其它非易失性存储器128，其可以是嵌入式的和/或可移除的。非易失性存储器128可以另外地或可替换地包括电可擦除可编程只读存储器(EEPROM)、闪存、硬盘驱动器等。存储器可以存储由设备100用来实施设备100的功能的任意条数的信息和数据。
图2图示了依据示例实施例的用于生成与多媒体内容相关联的动画图像的装置200。在一个实施例中，多媒体内容是例如持续大约3-4秒的突发模式的视频录像或视频镜头。多媒体内容的示例可以包括电视节目或视频镜头的视频呈现、由多媒体捕捉设备拍摄的电影短片等。在实施例中，多媒体内容可以由媒体捕捉设备(例如设备100)所捕捉。多媒体捕捉设备的示例可以包括但并不局限于相机、具有多媒体捕捉功能的移动电话等。在实施例中，多媒体内容可以通过使用3D相机、2D相机等来捕捉。
装置200可以用于例如在图1的设备100中生成与多媒体内容相关联的动画图像。然而，应当注意的是，装置200也可以在各种其它移动设备和固定设备上使用，并且因此实施例不应当局限于在诸如图1的设备100之类的设备上的应用。可替换地，实施例可以在例如包括以上所列出的那些设备在内的设备的组合上使用。因此，各个实施例可以整体地在单个设备(例如，设备100)上实现或者以设备组合的方式实现。此外，应当注意的是，以下所描述的设备或部件可以不是强制性的，并且因此一些设备或部件在某些实施例中可以被省略。
装置200包括至少一个处理器202和至少一个存储器204，或者以其它方式与它们通信。该至少一个存储器204的示例包括但并不局限于易失性和/或非易失性存储器。易失性存储器的一些示例包括但并不局限于随机存取存储器、动态随机存取存储器、静态随机存取存储器等。非易失性存储器的一些示例包括但并不局限于硬盘、磁带、光盘、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、闪存等。存储器204可以被配置为存储信息、数据、应用、指令等，以使得装置200能够依据各个示例实施例来执行各种功能。例如，存储器204可以被配置为缓冲包括用于由处理器202处理的媒体内容的输入数据。除此之外或可替换地，存储器204可以被配置为存储用于由处理器202执行的指令。
处理器202的示例可以包括控制器108。处理器202可以以若干不同的方式来实现。处理器202可以被实现为多核处理器、单核处理器；或者多核处理器和单核处理器的组合。例如，处理器202可以被实现为各种处理装置(诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有伴随DSP的处理电路，或者包括例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等的集成电路在内的各种其它处理设备)中的一种或多种。在示例实施例中，多核处理器可以被配置为执行存储在存储器204中或者以其它方式对处理器202可访问的指令。除此之外或可替换地，处理器202可以被配置为执行硬编码功能。正因如此，无论通过硬件方法或软件方法还是通过其组合来配置，处理器202都可以表示例如物理上以电路实现的、能够在被相应地配置时执行根据各个实施例的操作的实体。例如，如果处理器202被实现为ASIC、FPGA等中的两个或更多，则处理器202可以是被特别配置的、用于进行这里所描述的操作的硬件。可替换地，作为另一个示例，如果处理器202被实现为软件指令的执行器，则该指令可以专门地配置处理器202，以在指令被执行时实施这里所描述的算法和/或操作。然而，在一些情况下，处理器202可以是具体设备(例如适于通过由用于执行这里所描述的算法和/或操作的指令对处理器202的进一步配置来采用实施例的移动终端或网络设备)的处理器。除其它之外，处理器202可以包括被配置为支持处理器202的操作的时钟、算术逻辑单元(ALU)和逻辑门。
用户界面206可以与处理器202通信。用户界面206的示例包括但并不局限于输入界面和/或输出用户界面。输入界面被配置为接收用户输入的指示。输出用户界面向用户提供可听的、视觉的、机械的或其它输出和/或反馈。输入界面的示例包括但并不局限于键盘、鼠标、操纵杆、小键盘、触摸屏、软按键等。输出界面的示例可以包括但并不局限于诸如发光二极管显示器、薄膜晶体管(TFT)显示器、液晶显示器、有源矩阵有机发光二极管(AMOLED)显示器之类的显示器、麦克风、扬声器、响铃、振动器等。在示例实施例中，除其它设备或部件之外，用户界面206可以包括扬声器、麦克风、显示器以及键盘、触摸屏等中的任意一个或全部。就此而言，例如，处理器202可以包括被配置为控制用户界面206的一个或多个部件(例如扬声器、响铃、麦克风、显示器等)的至少一些功能的用户界面电路。处理器202和/或包括处理器202的用户界面电路可以被配置为通过计算机程序指令(例如存储在对处理器202可访问的存储器(例如该至少一个存储器204等)上的软件和/或固件)来控制用户界面206的一个或多个部件的一个或多个功能。
在示例实施例中，装置200可以包括电子设备。电子设备的一些示例包括通信设备、具有通信能力的媒体捕捉设备、计算设备等。通信设备的一些示例可以包括移动电话、个人数字助理(PDA)等。计算设备的一些示例可以包括膝上计算机、个人计算机等。在示例实施例中，通信设备可以包括用户界面(例如UI206)，该用户界面具有被配置为促成用户通过使用显示器来控制通信设备的至少一种功能并且进一步被配置为对用户输入作出响应的用户界面电路和用户界面软件。在示例实施例中，通信设备可以包括被配置为显示通信设备的用户界面的至少一部分的显示电路。显示器和显示电路可以被配置为促成用户控制通信设备的至少一种功能。
在示例实施例中，通信设备可以被实现为包括收发器。该收发器可以是依据软件操作的任意设备或电路，或者以其它方式以硬件或者硬件和软件的组合来实现。例如，在软件控制下操作的处理器202或者被实现为被专门配置为执行这里所描述的操作的ASIC或FPGA的处理器202或者其组合由此配置装置或电路以执行收发器的功能。该收发器可以被配置为接收媒体内容。媒体内容的示例可以包括音频内容、视频内容、数据及其组合。
在示例实施例中，通信设备可以被实现为包括图像传感器(诸如图像传感器208)。图像传感器208可以与处理器202和/或装置200的其它组件通信。图像传感器208可以与其它成像电路和/或软件通信，并且被配置为捕捉数字图像或者形成视频或其它图形媒体文件。组合在一起的图像传感器208和其它电路可以是设备100的相机模块122的示例。
在示例实施例中，通信设备可以被实现为包括惯性/位置传感器210。惯性/位置传感器210可以与处理器202和/或装置200的其它组件通信。惯性/位置传感器210可以与其它成像电路和/或软件通信，并且被配置为追踪装置200从一个位置到另一位置的移动/导航。
这些组件(202-210)可以经由集中电路系统212互相通信，以执行与多媒体内容相关联的场景的3D图像的捕捉。集中电路系统212可以是各种设备，除其它之外，其被配置为提供或使能装置200的组件(202-210)之间的通信。在某些实施例中，集中电路系统212可以是中央印刷电路板(PCB)(诸如母板、主板、系统板或逻辑板)。集中电路系统312还可以(或者可替换地)包括其它印刷电路组件(PCA)或通信信道介质。
在示例实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200生成与多媒体内容相关联的动画图像。在一个实施例中，多媒体内容可以被预先记录并且存储在装置(例如装置200)中。在另一个实施例中，多媒体内容可以通过利用设备来捕捉，并且被存储在设备的存储器中。在又另一个实施例中，设备100可以从诸如装置200的硬盘驱动器、随机存取存储器(RAM)之类的内部存储器，或者从诸如DVD、紧致盘(CD)、闪存驱动器、存储卡之类的外部存储介质，或者通过互联网、等从外部存储位置接收多媒体内容。装置200还可以从存储器204接收多媒体内容。
在示例实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200捕捉多媒体内容，以从该多媒体内容生成动画图像。在实施例中，多媒体内容可以与场景相关联。在实施例中，多媒体内容可以通过将装置200布置在至少一个方向上来捕捉。例如，装置200(诸如相机)可以从左向右的方向或者从右向左的方向或者从上向下的方向或者从下向上的方向等围绕场景来移动。在一些实施例中，装置200可以被配置为至少部分并且在一些条件下自动地确定移动方向，并且向用户提供指导以在所确定的方向上移动装置200。在实施例中，装置200可以是媒体捕捉设备的示例，例如相机。在一些实施例中，装置200可以包括位置传感器(例如位置传感器210)，用于引导装置200的移动以确定装置用于捕捉多媒体内容的移动方向。
在实施例中，多媒体内容可以包括静止部分和移动部分。多媒体内容的移动部分可以包括多个对象。例如，多媒体内容可以包括大象摇动其尾巴并且扇动其耳朵的场景。在该场景中，静止部分可以包括大象除了尾巴和耳朵以外的身体，而所捕捉的场景中的移动部分则可以包括尾巴和耳朵。
在示例实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200生成与多媒体内容的至少一个对象的运动相关联的深度图(depth map)。如这里所使用的，术语“深度图”可以指包括场景中各个对象的深度测量结果的图像。深度测量结果可以提供从二维(2D)图像获得的三维(3D)信息。在可替换实施例中，可以基于媒体捕捉设备或装置200的移动来生成深度图。在某些其它实施例中，可以根据可替换技术(例如3D相机、光学传感器和深度传感器等)来生成深度图。在示例实施例中，处理装置可以被配置为生成多媒体内容的深度图。该处理装置的示例可以包括处理器202，其可以是控制器108的示例。
深度图可以促成将多媒体内容分割成前景(foreground)部分和后景(background)部分。在实施例中，分割可以是指将多媒体内容(诸如图像)划分成多个分段的过程。在实施例中，分割(segmentation)可以被用来检测多媒体内容中的各个对象之间的边界或轮廓，由此促成多媒体内容中的多个不同对象的检测。多媒体内容中深度的连续形成了对象，而不连续则被用来分割对象。在实施例中，多媒体内容基于深度图被分割成后景部分和前景部分。在实施例中，所捕捉的多媒体内容可以包括静止的后景部分和移动的前景部分。在另一个实施例中，所捕捉的多媒体内容可以包括移动的后景部分和静止的前景部分。在一些其它实施例中，所捕捉的多媒体内容可以包括移动的后景部分和移动的前景部分。在示例实施例中，处理装置可以被配置为基于深度图执行多个对象的分割以确定多个对象的运动。该处理装置的示例可以包括处理器202，其可以是控制器108的示例。在可替换实施例中，分割可以通过除了基于“深度图”确定以外的方法来完成。例如，用户可以选择脸部部分作为对象，并且可以分割该对象。在实施例中，可以以类似于二维分割方法的方式来执行分割。
在实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200生成指示多媒体内容中的多个对象的运动的对象移动性内容。在实施例中，对象移动性内容包括与多媒体内容的静止部分相关联的第一图像、与多媒体内容的对象的移动部分相关联的多个第二图像、该至少一个对象的图像以及与多媒体内容中的至少一个对象的位置相关联的位置信息。在一些实施例中，多个第二图像包括对应于多媒体内容的多个对象中的一个或多个相应对象的不同的第二图像。在各个其它实施例中，多个第二图像包括与多个对象中的每个对象的运动相关联的相应图像序列的不同图像。在实施例中，基于深度图生成第一图像和第二图像。例如，多媒体内容的帧可以基于从深度图得出的深度信息而被划分成后景部分和前景部分，由此将多媒体内容分类成前景部分和后景部分。
在实施例中，后景部分和前景部分之一可以与多媒体内容的静止部分相关联，而后景部分和前景部分的另一个则与多媒体内容的移动部分相关联。例如，在具有站立在移动的列车前面的人的场景中，后景部分(例如列车)是移动的，而前景(例如人)是静止的。在具有站在门前并且摆手的人的场景的另一个示例中，后景部分(例如门)是静止的，而前景(例如人的手)是移动的。
在实施例中，其中后景部分是静止的而前景部分处于运动中，第一图像可以包括与后景部分相关联的图像，而多个第二图像可以包括与前景部分中的移动对象的运动相关联的图像序列。在本实施例中，可以通过从与多媒体内容中的至少一个对象的运动相关联的图像序列提取后景部分的至少一部分来生成第一图像。从图像序列提取的后景部分的该至少一部分可以被混合在一起以生成后景部分。在实施例中，混合后景部分被执行以便考虑可能在多媒体内容的捕捉期间所引起的照明变化。在本实施例中，可以通过记录与多媒体内容的前景部分中的至少一个对象的运动相关联的图像序列来生成多个第二图像。
在另一个实施例中，其中后景部分处于运动中而前景部分是静止的，第一图像可以包括与后景部分的运动相关联的图像序列，而第二图像则可以包括与前景部分相关联的静止图像。在本实施例中，通过记录与后景部分中的至少一个对象的运动相关联的图像序列来生成第一图像(例如(运动中的)后景图像)。可以通过捕捉静止的前景部分的图像来生成第二图像。
在又另一个实施例中，多媒体内容的后景部分可以处于运动中，而前景部分可以是静止的。例如，在行人在繁忙的道路上行走的情况下，行人可以是移动对象，而行人的后景部分中的繁忙道路上的交通也处于运动中。在本实施例中，为了生成动画图像，由于后景部分以及前景部分处于运动中，所以后景部分或第一图像可以被拒绝并且可以被静止图像所替代。该静止图像可以以媒体捕捉设备的相机模式来捕捉。可替换地，该静止图像可以是诸如存储在计算设备中的图像之类的存储图像，或者从互联网下载的图像，或者通过扫描另一图像而生成的图像。该静止图像也可以从除这里所提到的那些源以外的任意源来重新得到而并不背离该技术的范围。在本实施例中，多个第二图像可以被生成为与多媒体内容的前景部分中的至少一个对象的运动相关联的图像序列。在实施例中，该图像序列可以被存储在存储器(例如装置200的存储器204)中。在一些示例实施例中，图像序列可以以任意格式被存储在存储器中，该格式包括但并不局限于图形交换格式(Gif)格式、PNG格式、视频格式等。
在实施例中，对象移动性内容包括位置图信息。在实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使装置200生成与多媒体内容中的至少一个对象的位置相关联的位置图信息。例如，对于具有互相间隔开来的多棵树的多媒体内容而言，位置图信息可以包括关于多棵树中的每棵树的位置的信息。在可替换实施例中，对象图信息可以包括多棵树之间的相对距离。在一些实施例中，位置图信息可以包括多个对象与基准位置或基准点的距离差。
在实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200存储对象移动性内容。在实施例中，对象移动性内容可以被存储在存储器(例如存储器204)中。
在实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200接收从多媒体内容生成动画图像的请求。在示例实施例中，处理装置可以被配置为接收生成动画图像的请求。该处理装置的示例可以包括处理器202，其可以是控制器108的示例。在实施例中，从用户接收请求。在实施例中，该请求可以在用户界面(例如用户界面206)上接收。结合图3解释用于接收生成动画图像的请求的用户界面的示例表示。
在实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200促成从多个对象选择至少一个对象以生成动画图像。在实施例中，所选择的至少一个对象可以是动画图像中的移动对象，而未选择的对象可以是静止的。对象的选择可以在各个可替换实施例中被交换。例如，在一些可替换实施例中，所选择的对象可以是静止的，而未选择的对象在动画图像中可以是移动的。结合图3A和图3B更为详细地讨论了移动对象和静止对象的选择。在实施例中，至少一个对象的选择由用户动作来执行。在实施例中，用户动作可以包括鼠标点击、用户界面的显示器上的触摸、用户的注视等。在实施例中，所选择的至少一个对象可以在用户界面上显示为高亮。结合图4A、图4B和图4C详细描述用于显示多个对象的用户界面、用户界面上所选择的和取消选择的对象以及用于促成对象和/或选项的选择的各种选项。
在实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200基于至少一个对象的选择而选择多媒体内容中的静止(或恒定)部分。该静止部分指示第一图像。在实施例中，该静止部分可以形成动画图像的后景部分。在实施例中，该静止部分可以基于至少一个对象的移动性被掩蔽在与图像序列相关联的所有图像中。
在实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200访问与所选择的至少一个对象相关联的对象移动性内容。在实施例中，处理装置可以被配置为访问与所选择的至少一个对象相关联的对象移动性内容。该处理装置的示例可以包括处理器202，其可以是控制器108的示例。
在实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200基于至少一个对象的选择以及与至少一个对象相关联的对象移动性内容而生成与多媒体内容相关联的动画图像。例如，在前景部分中具有两个对象的多媒体内容中，用户可以仅选择一个对象在动画图像中处于运动中。在这种情况下，可以访问与所选择的对象相关联的对象移动性信息，以促成所选择的对象在动画图像中处于运动中而其它对象则可以保持静止。而且，可以访问与动画图像的后景部分相关联的第一图像并且可以生成动画图像。
在实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200促成与至少一个对象相关联的模式的选择。在实施例中，该模式指示与多媒体内容相关联的动画图像中的至少一个对象的运动速度水平。在实施例中，该模式可以包括作为在动画图像中是静止的或者处于运动中的关于对象的移动方式的信息。在另一个实施例中，该方式可以包括动画图像中的移动对象的速度信息。例如，在前景部分中具有两个对象的多媒体内容中，当一个对象被选择为处于运动中而另一个对象被选择为静止时，则可以访问该模式以确定所选择的对象的运动速度。在实施例中，所选择的对象的运动速度水平可以从甚高速、高速、中速、低速、甚低速、零速等而不同。运动速度可以基于模式来调节。
在一些实施例中，该模式可以包括多媒体内容中对象的运动方向。在一些其它实施例中，该模式可以指示对象的重复运动或非重复运动。例如，人的动画图像可以包括人在街道上行走的场景。这里，该动画图像可以显示人的脚步在向前的方向上行进并且此后在相反的方向上向后返回。作为示例性情形，脚步在向前的方向上的运动例如可以在第1帧直到第10帧中被捕捉。随后，可以通过选择向前-向后模式而在动画图像中重构向前运动和向后运动的整个序列，其中最初可以播放第1帧至第10帧，并且此后可以播放第10帧至第1帧。以这种方式，以向前的顺序并且随后以相反的顺序播放的帧的重复(或者图像序列)可以给出行走的人的假象。在实施例中，该模式还可以促成对象的重复运动和/或非重复运动的选择。包括对象在多于一个方向上的运动的动画图像可以增强在访问该动画图像时的用户体验。在实施例中，处理装置可以被配置为促成在动画图像中包括至少一个对象在多于一个方向上的运动。该处理装置的示例可以包括处理器202，其可以是控制器108的示例。
在实施例中，该模式可以由用户输入来提供。在实施例中，用户输入可以通过使用用户界面(例如用户界面206)来提供。在实施例中，针对模式的用户输入可以由鼠标点击、触摸屏和用户注视之一来促成。例如，当用户可能注视动画图像中的对象时，该对象可以至少部分并且在某些情况下自动地开始移动，反之亦然。结合图4A、图4B和图4C解释通过用户界面促成用户输入以选择模式的各种方法的示例表示。
在实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200显示动画多媒体内容。在实施例中，动画多媒体内容可以在用户界面上显示。在实施例中，动画图像可以被存储在存储器(例如存储器204)中。在实施例中，动画图像可以通过显示第一图像并且在至少一个对象不存在的区域中将与第二图像相关联的第一多个像素渲染为透明的来显示。而且，与至少一个对象相关联的第二多个像素被渲染为半透明的，由此显示动画图像。
在实施例中，处理器202被配置为使用存储器204的内容并且可选地使用这里所描述的其它组件来使得装置200至少部分并且在某些情况下自动地生成动画图像。在一些示例实施例中，该动画图像可以基于对象检测而生成。例如，当在多媒体内容中检测到脸部部分时，该脸部部分可以至少部分并且在某些情况下自动地被选择为动画图像中的静止部分或移动部分。在另一个示例中，前方的对象可以被选择为静止的，而其余的对象则可以被选择为移动的，反之亦然。将要理解的是，用于自动生成动画图像的各种实施例是可能的，而并不背离该技术的精神和范围。在图3A至图6B中进一步描述了从多媒体内容生成动画图像的各个实施例。
图3A和图3B图示了依据示例实施例的用于在装置(例如装置200)中从多媒体内容生成动画图像的用户界面(UI)300。在实施例中，UI300可以包括用于图示多媒体内容并且促成从其生成动画图像的取景器模式。在另一个实施例中，该UI可以包括用于图示多媒体内容并且促成从其生成动画图像的相机模式。
在实施例中，动画图像可以包括多个对象，其中至少一个对象可以是移动对象并且至少一个对象可以是静止的。例如，如图3A中所图示的，对象302可以处于运动中而对象304和对象306则可以是静止的。多个对象的各种示例可以包括车辆、道路、行人、建筑物、街灯柱等。在另一个示例中，多个对象可以包括动物(例如大象)的各个部分，其中一些身体部分可以是移动的而其余的身体部分则可以是静止的。例如，大象的尾巴、躯干和耳朵可以是移动的，而诸如腿、头、眼睛之类的其余的身体部分则可以是静止的。在不限制本技术的范围的情况下，多个对象的示例可以包括可以由图像捕捉设备捕捉的任意物品(article)、物项(item)、制品(artifact)等。
在图3A中，示出了UI300，其可以是装置200的用户界面206的示例。在如图3A所示的示例实施例中，使用户界面300显示场景区域310和选项显示区域320。在示例实施例中，场景区域310显示装置200的图像捕捉和动画图像生成应用的取景器。例如，随着装置200在一个方向上移动，由装置200的相机聚焦的当前场景的预览也变化并且同时被显示在屏幕区域310中，并且屏幕区域310上所显示的预览可以被装置200瞬时捕捉。在另一个实施例中，屏幕区域310可以显示装置200的预先记录的多媒体内容。
在示例实施例中，选项显示区域320促成提供用于选择至少一个对象以便生成动画图像的各种选项。在选项显示区域320中，可以显示多个选项。在实施例中，多个选项可以通过各种选项标签(诸如选择标签(示为“选择”)322、交换选择标签(示为“交换选择”)324、保存标签(示为“保存”)326、模式选择标签(示为“模式”)328以及选择撤销标签(示为“撤销”)330)来显示。在一些实施例中，选择标签322可以促成从UI300上的多个对象选择至少一个对象以生成动画图像。在实施例中，选择标签322可以促成选择可以被示为在动画图像中处于运动中的多个对象。
在实施例中，当操作选项显示区域320中的选择标签322时，可以选择可能期望处于运动中的各种对象。例如，当操作选择标签322时，在屏幕区域310中基于用户输入来选择至少一个对象(例如对象302)。在实施例中，可以选择可能要求在动画图像中静止的至少一个对象。
在实施例中，操作交换选择标签324促成交换通过操作选择标签322而选择的对象的选择和/或运动(参考图3B)。例如，如果在操作选择标签322时，对象304被选择为处于运动中而对象302是静止的，则在选择交换选择标签324时，所选择的对象304变为静止的而对象302则变为在动画图像中是移动的。在实施例中，可以通过将诸如鼠标之类的指点设备指向UI300上的至少一个对象来选择至少一个对象，而甚至无需操作选择标签322。在各个其它实施例中，该选择可以通过使用触摸屏用户界面、用户注视选择等来执行。
在实施例中，诸如选择标签322和交换选择标签324的操作之类的一个或多个选项的选择可以被保存以基于该选择来生成动画图像。在实施例中，可以通过操作选项显示区域320中的“保存”标签326来保存该选择。在实施例中，模式选择标签328促成多媒体内容中的至少一个对象的运动模式的选择。该模式指示与多媒体内容相关联的动画图像中的至少一个对象的运动速度。在实施例中，该模式可以包括关于对象在动画图像中为静止的或者处于运动中的移动模式的信息。在另一个实施例中，该模式可以包括移动的对象在动画图像中的速度信息。在实施例中，UI300可以包括滑动条(例如滑动条332)以基于针对至少一个对象所选择的模式来播放动画图像。
在各种实施例中，选择“撤销”标签330促使撤销最新选择的和/或保存的选项。例如，当选择对象(诸如对象302)时，用户可能决定取消选择对象302并且取而代之选择对象304。在实施例中，可以操作撤销标签328以撤销对象302的选择，并且此后可以通过操作选项显示屏幕320中的选择标签322来选择对象304。
在实施例中，各个标签(例如选择标签322、交换选择标签324、保存标签326、模式选择标签328和选择撤销标签330)的选择可以通过用户动作来促成。而且，如这里在各个实施例中所公开的，在选项显示区域中所显示的各个选项由标签来表示。然而，将要理解的是，这些选项可以通过诸如按钮和用户可选择的布置之类的各种其它手段在各种设备中显示或表示。在实施例中，至少一个对象以及UI(例如UI300)中的各种其它选项的选择例如可以通过鼠标点击、触摸屏用户界面、用户注视的检测等来执行。结合图4A、图4B和图4C描述各个实施例，该各个实施例描述UI中的对象和/或选项的选择。
图4A、图4B和图4C图示了依据各个示例实施例的用于执行选择以生成动画图像的各个实施例。例如，图4A图示了通过鼠标选择至少一个对象和/或选项。如图4A所示，对象(例如对象304)通过鼠标(例如鼠标402)的点击来选择。在可替换实施例中，鼠标也可以被任意其它指点设备(例如操纵杆以及其它类似设备)所替代。如所图示的，由鼠标对对象的选择可以通过指针(例如用户界面300上的箭头指针404)呈现给用户。在一些实施例中，鼠标还可以被配置为选择用户界面300上的选项和/或多个对象。
在另一个示例实施例中，图4B图示了通过与UI300相关联的触摸屏界面来选择至少一个对象和/或选项。如图4B中的示例表示中所图示的，至少一个对象(例如对象306)可以通过使用用户的手(例如，手408)的指尖(例如，指尖406)触碰在UI300的显示屏幕上显示的该至少一个对象而被选择。
在又另一个实施例中，图4C图示了通过用户412的注视(表示为410)来选择至少一个对象和/或选项。例如，如图4C所示，用户可以注视在用户界面(例如UI300)的显示屏上显示的至少一个对象。在实施例中，基于用户412的注视410，该至少一个对象可以被选择为在动画图像中处于运动中。在可替换实施例中，可以基于用户412的注视412选择各种其它的对象和/或选项。在实施例中，装置(例如装置200)可以包括用于检测用户的注视或视网膜以执行基于注视的选择的传感器和其它注视检测装置。
图5是描绘依据示例实施例的用于在多媒体内容中生成动画图像的示例方法的流程图。以流程图描绘的方法例如可以由图2的装置200来执行。在实施例中，多媒体内容包括例如持续大约3-4秒的突发模式的视频录像或视频镜头。在实施例中，多媒体内容可以包括静止部分和移动部分。多媒体内容的移动部分可以包括其中至少一个对象处于运动中的多个对象。
在块502，促成从多媒体内容中的多个对象选择至少一个对象。在实施例中，该多媒体内容可以在选择至少一个对象之前被捕捉。在实施例中，该多媒体内容可以由多媒体捕捉设备(诸如设备100)来捕捉。多媒体捕捉设备的示例可以包括但并不局限于相机、具有多媒体捕捉功能的移动电话等。在实施例中，多媒体内容可以通过使用3D相机、2D相机来捕捉。
在块504，访问与至少一个对象相关联的对象移动性内容。在实施例中，对象移动性内容指示多媒体内容中的多个对象的运动。在实施例中，对象移动性内容包括第一图像、多个第二图像以及与多媒体内容相关联的位置图信息。在实施例中，第一图像与静止部分相关联，而多个第二图像可以包括多媒体内容的移动部分。在实施例中，所捕捉的多媒体内容可以包括静止的后景部分和移动的前景部分。在另一个实施例中，所捕捉的多媒体内容可以包括移动的后景部分和静止的前景部分。在又另一个实施例中，所捕捉的媒体内容可以包括移动的后景部分和移动的前景部分。
在实施例中，促成选择至少一个对象的模式。在实施例中，该模式指示与多媒体内容相关联的动画图像中的至少一个对象的运动速度。在实施例中，该模式可以包括至少一个对象应当是静止的还是处于运动中的信息。在另一个实施例中，该模式可以包括动画图像中的移动对象的速度信息。例如，在前景部分中具有两个对象的多媒体内容中，当一个对象被选择为处于运动中而另一个对象被选择为静止时，然后可以访问概念(notion)信息以确定所选择的对象的运动速度。在实施例中，所选择的对象的运动速度可以从高速到中速再到低速而变化。在实施例中，对象的运动速度可以基于该模式在动画图像中来调节。
在块506，基于选择至少一个对象和与至少一个对象相关联的对象移动性内容来生成与多媒体内容相关联的动画图像。例如，在前景部分中具有两个对象的多媒体内容中，用户可以仅选择一个对象在动画图像中处于运动中。在这种情况下，可以访问与所选择的对象相关联的对象移动性信息，并且另一个对象可以保持静止。而且，可以访问与动画图像的后景部分相关联的第一图像，并且可以生成动画图像。
图6是描绘依据另一个示例实施例的用于生成与多媒体内容相关联的动画图像的示例方法600的流程图。以流程图描绘的方法800例如可以由图2的装置200来执行。流程图的操作以及流程图中操作的组合可以通过各种手段(诸如硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其它设备)来实施。例如，各个实施例中所描述的一个或多个过程可以通过计算机程序指令来实现。在示例实施例中，各个实施例中所描述的实现该过程的计算机程序指令可以由装置的至少一个存储器设备来存储并且由装置中的至少一个处理器来执行。任何这样的计算机程序指令可以被加载到计算机或其它可编程装置(例如，硬件)上以生产机器，以使得产生的计算机或其它可编程装置实现用于实施流程图中指定的操作的装置。这些计算机程序指令还可以存储在计算机可读存储存储器(其与诸如载波或电磁信号之类的传输介质相反)中，其可以指导计算机或其它可编程装置以特定方式工作，以使得存储在计算机可读存储器中的指令产生其执行实施流程图中指定的操作的制造品。计算机程序指令还可以被加载到计算机或其它可编程装置上，以使得一系列操作在计算机或其它可编程装置上执行而产生计算机实施的处理，以使得在计算机或其它可编程装置上执行的指令提供操作以实施流程图中的操作。借助于装置200描述方法600的操作。然而，该方法的操作可以通过使用任意其它装置来描述和/或实践。
在块602，可以捕捉多媒体内容。在实施例中，该多媒体内容是例如持续大约3-4秒的突发模式的视频录像或视频镜头。多媒体内容的示例可以包括电视节目或视频镜头的视频表示、由多媒体捕捉设备拍摄的电影短片等。在实施例中，多媒体内容可以由媒体捕捉设备(诸如设备100)来捕捉。多媒体捕捉设备的示例可以包括但并不局限于相机、具有多媒体捕捉功能的移动电话等。在实施例中，多媒体内容可以通过使用3D相机、2D相机等来捕捉。
在实施例中，多媒体内容可以包括静止部分和移动部分。多媒体内容的移动部分可以包括其中至少一个对象处于运动中的多个对象。例如，视频录像可以包括(静止的或静态的)墙壁前面的树，以使得树的多片树叶由于微风而处于运动中。在实施例中，多媒体内容可以通过在至少一个方向上移动媒体捕捉设备来捕捉。例如，诸如相机之类的媒体捕捉设备可以以从左到右的方向或者从右到左的方向或者从上到下的方向或者从下到上的方向等围绕场景移动。在实施例中，媒体捕捉设备可以被配置为至少部分地并且在某些情况下自动地确定移动方向，并且向用户提供指导以在所确定的方向上移动媒体捕捉设备。
在块604，生成多媒体内容的深度图。“深度图”可以提供深度测量结果，例如与多媒体内容相关联的3D信息。在实施例中，深度图可以基于媒体捕捉设备的移动来生成。在另一个实施例中，深度图可以从例如3D相机、光学传感器和深度传感器等可替换技术来生成。
在块606，基于深度图执行多个对象的分割以确定至少一个对象的运动。深度图可以促成将多媒体内容分割成前景部分和后景部分。在实施例中，分割可以指将多媒体内容(诸如图像)划分成多个分段以定位多媒体内容中的不同对象从而简化动画图像中的对象的表示的过程。在实施例中，分割可以被用来检测多媒体内容中的各个对象之间的边界或轮廓，从而促成多媒体内容中的不同对象的检测。在实施例中，深度图可以促成将多媒体内容分割成后景部分和至少前景部分。在可替换实施例中，可以通过除基于“深度图”确定以外的方法来完成分割。例如，用户可以选择脸部部分作为对象，并且可以分割该对象。在实施例中，可以以类似于二维分割方法的方式来执行分割。
在块608，生成与多媒体内容相关联的对象移动性内容。在实施例中，该对象移动性内容指示多媒体内容中的多个对象的运动。在实施例中，对象移动性内容包括第一图像、多个第二图像以及位置图信息。在实施例中，第一图像与静止部分相关联，而多个第二图像包括多媒体内容的对象的移动部分。在实施例中，多媒体内容的移动部分可以包括与对象的移动性相关联的相应的图像序列。在实施例中，多媒体内容可以包括静止的后景部分和移动的前景部分。在另一个实施例中，多媒体内容可以包括移动的后景部分和静止的前景部分。在又另一个实施例中，多媒体内容可以包括移动的后景部分和移动的前景部分。
在实施例中，位置图信息与多媒体内容中的至少一个对象的位置相关联。在实施例中，基于深度图生成第一图像和第二图像。例如，多媒体内容的帧可以基于从深度图得出的深度信息而被划分成后景部分和前景部分，由此将多媒体内容分类成前景部分和后景部分。考虑示例性说明，对于与具有多棵互相间隔开来的树的场景相关联的多媒体内容而言，位置图信息可以包括关于多棵树中的每棵树的位置的信息。在另一个示例中，位置图信息可以包括多棵树之间的相对距离。
在实施例中，后景部分和前景部分之一可以与多媒体内容的静止部分相关联，而另一个则与多媒体内容的移动部分相关联。在实施例中，其中后景部分是静止的而前景部分处于运动中，第一图像可以包括与后景的运动相关联的图像序列。在本实施例中，第一图像通过从与多媒体内容中的至少一个对象的运动相关联的图像序列提取后景部分的至少一部分来生成。从图像序列所提取的后景部分的各部分可以被混合在一起以生成至少一个对象的后景部分。在实施例中，后景部分的各部分可以混合，以便考虑可能在多媒体内容的捕捉期间引起的照明变化。
在实施例中，第二图像包括与相应对象的运动相关联的图像序列。该图像序列可以被记录并存储在存储器(例如装置200的存储器204)中。在一些示例实施例中，该图像序列可以以任意格式(包括但并不局限于Gif格式、PNG格式、视频格式等)存储在存储器中。在实施例中，可以分析深度图并且可以利用深度图从多媒体内容的一个帧到另一帧的连续性以确定对象的运动。
在另一个实施例中，多媒体内容的后景部分可以处于运动中而前景部分可以是静止的。例如，在行人在繁忙的道路上行走的情况下，行人可以是对象，而行人的后景中的繁忙道路上的交通也处于运动中。在本实施例中，为了生成动画图像，后景部分或第一图像可以被拒绝并且可以被静止图像所替代。该静止图像可以以媒体捕捉设备的相机模式来捕捉。可替换地，该静止图像可以是存储图像(诸如存储在计算设备中的图像)，或者从互联网下载的图像，或者通过扫描另一图像而生成的图像。该静止图像也可以从除这里所提到的那些源以外的任意源来获取而并不背离该技术的范围。在本实施例中，第二图像可以被生成为与多媒体内容的前景部分中的对象的运动相关联的图像序列。
在块610，存储与多个对象相关联的对象移动性内容。在实施例中，对象移动性内容被存储在存储器(例如存储器204)中。在块612，可以确定是否要至少部分地或者在某些情况下自动地生成与多媒体相关联的动画图像。如果在块612确定将不自动地生成动画图像，则在块614，确定是否接收到生成动画的请求，直至在块614接收到生成动画图像的请求。
在实施例中，可以在块614确定接收到从多媒体内容生成动画图像的请求。在实施例中，该请求可以通过使用用户界面(例如UI206)来接收。结合图3A和图3B解释了用于接收该请求的示例性UI。在实施例中，如果在块614确定接收到生成动画图像的请求，则在块616促成从多个对象选择至少一个对象。在实施例中，可以使得所选择的至少一个对象是移动的，而可以使得未选择的对象在动画图像中是静止的。在可替换实施例中，可以交换至少一个对象的选择。例如，在可替换实施例中，可以使得所选择的对象是静止的，而可以使得未选择的对象在动画图像中假设为移动配置。在实施例中，至少一个对象的选择由用户动作来执行。在实施例中，用户动作可以包括鼠标点击、在用户界面的显示器上的触摸、用户的注视等。在实施例中，所选择的至少一个对象可以在UI300上表现为高亮显示。结合图4A、图4B和图4C解释用于促成至少一个对象的选择的示例性UI。
在实施例中，多媒体内容的静止部分指示第一图像。在实施例中，静止部分可以形成动画图像的后景部分。在实施例中，静止部分可以被掩蔽在与动画图像中的图像序列相关联的所有图像中。在块618，访问与所选择的至少一个对象相关联的对象移动性内容。在实施例中，对象移动性内容可以包括包含有后景部分的第一图像、包含有图像序列的第二图像以及与多媒体内容中所选择的至少一个对象相关联的位置信息。
在块620，可以促成选择与至少一个对象相关联的模式。在实施例中，该模式指示在与多媒体内容相关联的动画图像中的至少一个对象的运动速度。在实施例中，该模式可以包括至少一个对象在动画图像中应当是静止的还是处于运动中的信息。在另一个实施例中，该模式可以包括动画图像中移动对象的速度信息。例如，在前景部分中具有两个对象的多媒体内容中，当一个对象被选择为处于运动中而另一个对象被选择为静止时，则可以访问运动信息以确定所选择的对象的运动速度。在实施例中，所选择的对象的运动速度可以从高速向中速再向低速变化。运动速度可以基于模式来调节。在一些实施例中，该模式可以指示对象的重复运动和/或非重复运动。在该实施例中，图像序列可以包括至少一个对象在一个方向上的移动，并且对象在另一个方向上的移动可以通过在逆向方向上播放图像序列来重新创建。例如，人的动画图像可以包括人在街道上行走的场景。这里，脚部在向前的方向上的运动可以以图像序列(也就是说以第1帧至第10帧)来捕捉，并且可以通过在逆向方向上播放图像序列来重新构建脚部的向后运动。
在各个实施例中，该模式可以通过用户输入来提供。在实施例中，用户输入可以通过利用用户界面来提供。在实施例中，用于调节/输入该模式的用户输入可以由鼠标点击、触摸屏和用户注视之一来促成。结合图4A、图4B和图4C解释通过用户界面促成用户输入以选择模式的各种方法的示例表示。
在块622，基于选择至少一个对象、对象移动性内容以及与至少一个对象相关联的模式来生成与多媒体内容相关联的动画图像。例如，在前景部分中具有两个对象的多媒体内容中，用户可以仅选择一个对象在动画图像中处于运动中。在这种情况下，可以访问与所选择的对象相关联的对象移动性信息，而其它对象可以保持静止。而且，可以访问与动画图像的后景部分相关联的第一图像，并且可以生成动画图像。
在实施例中，在块622所生成的动画图像可以在块624被存储。在实施例中，动画图像可以存储在存储器(例如存储器204)中。在存储了动画图像之后，在块626确定是否要生成另一个动画图像，直至确定要生成另一个动画图像。如果在块626确定要生成另一个动画图像，则可以在块616执行多个对象中的至少另一个对象的选择，并且可以通过遵循块616至块626来生成另一个动画图像。
然而，如果在块612确定要至少部分地并且在某些情况下自动地执行动画图像的生成，则在块628至少部分地或者在某些情况下自动地生成动画图像。在某些实施例中，至少部分地并且在某些情况下自动地生成动画图像可以基于设备100和/或装置200的先前设置来执行。在各个其它实施例中，先前设置可以基于用户输入来调节。在一些示例实施例中，动画图像可以基于至少一个对象的检测来生成。例如，基于装置的先前设置，无论何时在多媒体内容中检测到移动的手部或移动的手臂，该移动的手部/手臂就可以至少部分地并且在某些情况下自动地被选择为动画图像中的静止部分或移动部分之一。在另一个示例中，前方的对象可以被选择为静止的而多媒体内容中其余的对象(例如，后景部分中的那些对象)则可以被选择为移动的，反之亦然。将要理解的是，用于自动生成动画图像的许多其它示例和实施例是可能的而不背离该技术的精神和范围。
在块624，存储所生成的动画图像。在实施例中，所生成的动画图像可以存储在存储器(例如存储器204)中。在实施例中，在生成动画图像时，可以在块626确定是否要生成另一个动画图像。如果在块626确定要生成另一个动画图像，则可以在块616执行多个对象中的至少另一个对象的选择，并且可以通过遵循块616至块622来生成另一个动画图像。
在实施例中，可以显示在块622所生成的动画图像。在实施例中，可以通过采用用户界面(例如UI206)来显示动画图像。在实施例中，显示动画图像可以包括显示第一图像，并且将与其中至少一个对象不存在的区域中的第二图像相关联的第一多个像素渲染为透明的。而且，与至少一个对象相关联的第二多个像素被渲染为半透明的。
在示例实施例中，处理装置可以被配置为执行以下步骤中的一些或者全部：促成从多媒体内容中的多个对象选择至少一个对象；访问与至少一个对象相关联的对象移动性内容，对象移动性内容指示多媒体内容中的多个对象的运动；并且基于选择至少一个对象和与至少一个对象相关联的对象移动性内容来生成与多媒体内容相关联的动画图像。处理装置的示例可以包括处理器202，其可以是控制器108的示例。
为了促成图6的方法600的讨论，某些操作在这里被描述为构成以某种顺序执行的不同步骤。这样的实施方式是示例性的和非限制性的。某一操作可以被分组在一起并且在单个操作中执行，并且某些操作可以以与这里给出的示例中所采用的顺序不同的顺序来执行。
此外，方法600的某些操作以自动方式执行。这些操作基本上不涉及与用户的交互。方法600的其它操作可以通过以人工方式或半自动方式执行。这些操作经由一个或多个用户界面表示(如图3A、图3B、图4A、图4B和图4C中所描述的)而涉及与用户的交互。
在不以任何方式限制以下出现的权利要求的范围、解释或应用的情况下，这里所公开的一个或多个示例实施例的技术效果是要促成从多媒体内容生成动画图像。动画图像通过分割多媒体内容以确定多媒体内容中的多个静止部分和移动部分来生成。在实施例中，多媒体内容中的各个移动对象可以被确定，并且与移动对象的运动相关联的帧可以被存储为图像序列。而且，静止对象可以例如被存储以被用作动画图像中的静止的后景部分。在实施例中，无论何时要生成动画图像，针对被期望处于运动中的对象以及静止的后景部分重新得到所存储的图像序列，并且从其生成动画。在另一个实施例中，可以通过调节相应对象的模式来生成动画图像中的对象的运动。在实施例中，模式指示相应对象的速度，其可以从零(零速)变化到最大可能速度。由于该方法促成了选择可能静止的对象和/或可能在动画图像中移动的对象，所以该方法在生成动画图像方面提供了灵活性，由此增强了用户体验。在另一个实施例中，动画图像可以至少部分地或者在某些情况下自动地生成。该方法可以找到在生成动画全景图像方面的应用。
以上所描述的各个实施例可以以软件、硬件、应用逻辑或者软件、硬件和应用逻辑的组合来实施。软件、应用逻辑和/或硬件可以驻留在至少一个存储器、至少一个处理器、装置或者计算机程序产品上。在示例实施例中，应用逻辑、软件或指令集合被保持在各种常规计算机可读介质中的任意一种介质上。在本文档的上下文中，“计算机可读介质”可以是能够包含、存储、传输、传播或传送指令以供诸如计算机之类的指令执行系统、装置或设备使用或者与之相结合的任意介质或装置，具有在图1和/或图2中描述和描绘的装置的一个示例。计算机可读介质可以包括计算机可读存储介质，其可以是能够包含或存储指令以供诸如计算机之类的指令执行系统、装置或设备使用或者与之相结合的任意介质或装置。
如果需要，这里所讨论的不同功能可以以不同顺序执行和/或彼此同时地执行。此外，如果需要，以上所描述的功能中的一个或多个功能可以是任选的或者可以被组合。
虽然独立权利要求中提出了实施例的各个方面，但是其它方面包括来自所描述的实施例和/或具有独立权利要求的特征的从属权利要求的特征的其它组合，并且不仅是权利要求中明确提出的组合。
这里还要注意到，虽然以上描述了本发明的示例实施例，但是这些描述不应当以限制性的意义来看待。相反，存在可以进行的若干变化和修改，而并不背离如所附权利要求中所限定的本公开的范围。

Claims (43)

1.一种方法，包括：
促成从多媒体内容中的多个对象选择至少一个对象；
访问与所述至少一个对象相关联的对象移动性内容，所述对象移动性内容指示所述多媒体内容中的所述多个对象的运动；以及
基于选择所述至少一个对象和与所述至少一个对象相关联的所述对象移动性内容来生成与所述多媒体内容相关联的动画图像。
2.根据权利要求1所述的方法，进一步包括将被选择的至少一个对象显示为处于运动中，并且将所述多个对象中的未被选择的对象显示为静止的。
3.根据权利要求1所述的方法，进一步包括将被选择的至少一个对象显示为静止的，并且将所述多个对象中的未被选择的对象显示为处于运动中。
4.根据权利要求1所述的方法，其中所述多媒体内容包括视频内容。
5.根据权利要求1所述的方法，进一步包括：
生成所述多媒体内容的深度图；
基于所述深度图分割所述多个对象以确定所述多个对象的运动。
6.根据权利要求1或5所述的方法，进一步包括生成所述对象移动性内容，所述对象移动性内容包括：
与所述多媒体内容的后景部分相关联的第一图像，以及
与所述多个对象中的对象相关联的多个第二图像，所述多个第二图像包括与所述多个对象的所述对象的运动相关联的相应图像序列。
7.根据权利要求6所述的方法，其中生成所述第一图像包括：
从所述图像序列提取所述后景部分的至少一部分；以及
混合从所述图像序列提取的所述后景部分的至少所述部分以生成所述第一图像。
8.根据权利要求4所述的方法，其中所述对象移动性内容进一步包括与所述多媒体内容中的所述至少一个对象的位置相关联的位置图信息。
9.根据权利要求1或5所述的方法，进一步包括促成选择与所述至少一个对象相关联的模式，所述模式指示与所述多媒体内容相关联的所述动画图像中的所述至少一个对象的运动的速度水平和方向中的至少一项。
10.根据权利要求1所述的方法，其中所述选择基于用户输入来执行，所述用户输入由鼠标点击、触摸屏和用户注视之一来促成。
11.根据权利要求1至10中任一项所述的方法，进一步包括存储用于生成所述动画图像的所述对象移动性内容。
12.根据权利要求1至10中任一项所述的方法，进一步包括在用户界面上显示所述动画图像。
13.根据权利要求12所述的方法，其中显示所述动画图像包括：
显示所述第一图像；
将与其中所述至少一个对象不存在的区域中的所述第二图像相关联的第一多个像素渲染为透明的；以及
将与所述至少一个对象相关联的第二多个像素渲染为半透明的。
14.一种装置，包括：
至少一个处理器；以及
包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行：
促成从多媒体内容中的多个对象选择至少一个对象；
访问与所述至少一个对象相关联的对象移动性内容，所述对象移动性内容指示所述多媒体内容中的所述多个对象的运动；并且
基于选择所述至少一个对象和与所述至少一个对象相关联的所述对象移动性内容来生成与所述多媒体内容相关联的动画图像。
15.根据权利要求14所述的装置，其中进一步使得所述装置至少部分地：将所选择的至少一个对象显示为处于运动中，并且将所述多个对象中的未被选择的对象显示为静止的。
16.根据权利要求14所述的装置，其中进一步使得所述装置至少部分地：将所选择的至少一个对象显示为静止的，并且将所述多个对象中的未被选择的对象显示为处于运动中。
17.根据权利要求14所述的装置，其中所述多媒体内容包括视频内容。
18.根据权利要求14所述的装置，其中进一步使得所述装置至少部分地：
生成所述多媒体内容的深度图；
基于所述深度图分割所述多个对象以确定所述多个对象的运动。
19.根据权利要求14或18所述的装置，其中进一步使得所述装置至少部分地生成所述对象移动性内容，所述对象移动性内容包括：
与所述多媒体内容的后景部分相关联的第一图像，以及
与所述多个对象中的对象相关联的多个第二图像，所述多个第二图像包括与所述多个对象的所述对象的运动相关联的相应图像序列。
20.根据权利要求19所述的装置，其中为了生成所述第一图像，进一步使得所述装置至少部分地：
从所述图像序列提取所述后景部分的至少一部分；以及
混合从所述图像序列提取的所述后景部分的至少所述部分以生成所述第一图像。
21.根据权利要求19所述的装置，其中所述对象移动性内容进一步包括与所述多媒体内容中的所述至少一个对象的位置相关联的位置图信息。
22.根据权利要求14或18所述的装置，其中进一步使得所述装置至少部分地促成选择与所述至少一个对象相关联的模式，所述模式指示与所述多媒体内容相关联的所述动画图像中的所述至少一个对象的运动的速度水平和方向中的至少一项。
23.根据权利要求14所述的装置，其中进一步使得所述装置至少部分地基于用户输入来执行所述选择，所述用户输入由鼠标点击、触摸屏和用户注视之一来促成。
24.根据权利要求14至23中任一项所述的装置，其中进一步使得所述装置至少部分地存储用于生成所述动画图像的所述对象移动性内容。
25.根据权利要求14至23中任一项所述的装置，其中进一步使得所述装置至少部分地在用户界面上显示所述动画图像。
26.根据权利要求25所述的装置，其中进一步使得所述装置至少部分地执行：
显示所述第一图像；
将与其中所述至少一个对象不存在的区域中的所述第二图像相关联的第一多个像素渲染为透明的；以及
将与所述至少一个对象相关联的第二多个像素渲染为半透明的。
27.根据权利要求14所述的装置，其中所述装置包括通信设备，所述通信设备包括：
用户界面电路和用户界面软件，被配置为促成用户通过使用显示器来控制所述通信设备的至少一种功能，并且进一步被配置为对用户输入作出响应；以及
显示电路，被配置为显示所述通信设备的用户界面的至少一部分，所述显示器和所述显示电路被配置为促成所述用户控制所述通信设备的至少一种功能。
28.根据权利要求27所述的装置，其中所述通信设备包括移动电话。
29.一种包括一组指令的计算机程序，所述指令当被一个或多个处理器执行时使得装置至少执行：
促成从多媒体内容中的多个对象选择至少一个对象；
访问与所述至少一个对象相关联的对象移动性内容，所述对象移动性内容指示所述多媒体内容中的所述多个对象的运动；以及
基于选择所述至少一个对象和与所述至少一个对象相关联的所述对象移动性内容来生成与所述多媒体内容相关联的动画图像。
30.根据权利要求29所述的计算机程序，其中进一步使得所述装置至少部分地：将所选择的至少一个对象显示为处于运动中，并且将所述多个对象中的未被选择的对象显示为静止的。
31.根据权利要求29所述的计算机程序，其中进一步使得所述装置至少部分地：将所选择的至少一个对象显示为静止的，并且将所述多个对象中的未被选择的对象显示为处于运动中。
32.根据权利要求29所述的计算机程序，其中所述多媒体内容包括视频内容。
33.根据权利要求29所述的计算机程序，其中进一步使得所述装置至少部分地执行：
生成所述多媒体内容的深度图；
基于所述深度图分割所述多个对象以确定所述多个对象的运动。
34.根据权利要求29或33所述的计算机程序，其中进一步使得所述装置至少部分地执行：生成所述对象移动性内容，所述对象移动性内容包括：
与所述多媒体内容的后景部分相关联的第一图像，以及
与所述多个对象中的对象相关联的多个第二图像，所述多个第二图像包括与所述多个对象的所述对象的运动相关联的相应图像序列。
35.根据权利要求34所述的计算机程序，其中进一步使得所述装置至少部分地通过以下步骤来执行生成所述第一图像：
从所述图像序列提取所述后景部分的至少一部分；以及
混合从所述图像序列提取的所述后景部分的至少所述部分以生成所述第一图像。
36.根据权利要求34所述的计算机程序，其中所述对象移动性内容进一步包括与所述多媒体内容中的所述至少一个对象的位置相关联的位置图信息。
37.根据权利要求29或33所述的计算机程序，其中进一步使得所述装置至少部分地执行促成选择与所述至少一个对象相关联的模式，所述模式指示与所述多媒体内容相关联的所述动画图像中的所述至少一个对象的运动的速度水平和方向中的至少一项。
38.根据权利要求29所述的计算机程序，其中进一步使得所述装置至少部分地执行基于用户输入来执行所述选择，所述用户输入由鼠标点击、触摸屏和用户注视之一来促成。
39.根据权利要求29至38中任一项所述的计算机程序，进一步包括存储用于生成所述动画图像的所述对象移动性内容。
40.根据权利要求29至38中任一项所述的计算机程序，进一步包括在用户界面上显示所述动画图像。
41.根据权利要求40所述的计算机程序，其中进一步使得所述装置至少部分地通过以下步骤来显示所述动画图像：
显示所述第一图像；
将与其中所述至少一个对象不存在的区域中的所述第二图像相关联的第一多个像素渲染为透明的；以及
将与所述至少一个对象相关联的第二多个像素渲染为半透明的。
42.根据权利要求41中任一项所述的计算机程序，其中所述计算机程序包括在计算机程序产品中。
43.一种装置，包括：
用于促成从多媒体内容中的多个对象选择至少一个对象的装置；
用于访问与所述至少一个对象相关联的对象移动性内容的装置，所述对象移动性内容指示所述多媒体内容中的所述多个对象的运动；以及
用于基于选择所述至少一个对象和与所述至少一个对象相关联的所述对象移动性内容来生成与所述多媒体内容相关联的动画图像的装置。
CN201280054345.4A 2011-11-24 2012-10-25 用于生成与多媒体内容相关联的动画图像的方法、装置和计算机程序产品 Expired - Fee Related CN103918010B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN4042/CHE/2011 2011-11-24
IN4042CH2011 2011-11-24
PCT/FI2012/051025 WO2013076359A1 (en) 2011-11-24 2012-10-25 Method, apparatus and computer program product for generation of animated image associated with multimedia content

Publications (2)

Publication Number Publication Date
CN103918010A true CN103918010A (zh) 2014-07-09
CN103918010B CN103918010B (zh) 2017-06-30

Family

ID=48469195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280054345.4A Expired - Fee Related CN103918010B (zh) 2011-11-24 2012-10-25 用于生成与多媒体内容相关联的动画图像的方法、装置和计算机程序产品

Country Status (4)

Country Link
US (1) US20140218370A1 (zh)
EP (1) EP2783349A4 (zh)
CN (1) CN103918010B (zh)
WO (1) WO2013076359A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025286A (zh) * 2014-05-02 2015-11-04 钰创科技股份有限公司 图像处理装置
CN113923301A (zh) * 2016-09-23 2022-01-11 苹果公司 用于在多种模式下捕获和录制媒体的设备、方法和图形用户界面

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140351723A1 (en) * 2013-05-23 2014-11-27 Kobo Incorporated System and method for a multimedia container
WO2015009750A1 (en) 2013-07-15 2015-01-22 Fox Broadcasting Company Providing bitmap image format files from media
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
CN104023172A (zh) * 2014-06-27 2014-09-03 深圳市中兴移动通信有限公司 动态影像的拍摄方法和拍摄装置
US10386996B2 (en) * 2015-06-11 2019-08-20 Microsoft Technology Licensing, Llc Communicating emotional information via avatar animation
US10163245B2 (en) * 2016-03-25 2018-12-25 Microsoft Technology Licensing, Llc Multi-mode animation system
CN108810597B (zh) * 2018-06-25 2021-08-17 百度在线网络技术（北京）有限公司 视频特效处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140724A (ja) * 2000-11-01 2002-05-17 Konami Co Ltd 表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体、ならびに、表示制御装置および方法
US20090096796A1 (en) * 2007-10-11 2009-04-16 International Business Machines Corporation Animating Speech Of An Avatar Representing A Participant In A Mobile Communication
CN101751220A (zh) * 2008-12-05 2010-06-23 索尼株式会社 信息处理装置和信息处理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081278A (en) * 1998-06-11 2000-06-27 Chen; Shenchang Eric Animation object having multiple resolution format
MXPA02004015A (es) * 1999-10-22 2003-09-25 Activesky Inc Un sistema de video orientado a los objetos.
US7085259B2 (en) * 2001-07-31 2006-08-01 Comverse, Inc. Animated audio messaging
US20050070257A1 (en) * 2003-09-30 2005-03-31 Nokia Corporation Active ticket with dynamic characteristic such as appearance with various validation options
US20070121146A1 (en) * 2005-11-28 2007-05-31 Steve Nesbit Image processing system
US7609271B2 (en) * 2006-06-30 2009-10-27 Microsoft Corporation Producing animated scenes from still images
FR2906056B1 (fr) * 2006-09-15 2009-02-06 Cantoche Production Sa Procede et systeme d'animation d'un avatar en temps reel a partir de la voix d'un interlocuteur.
CN101436312B (zh) * 2008-12-03 2011-04-06 腾讯科技（深圳）有限公司 一种生成视频动画的方法及装置
JP4752921B2 (ja) * 2009-01-28 2011-08-17 ソニー株式会社 情報処理装置、アニメーション付加方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140724A (ja) * 2000-11-01 2002-05-17 Konami Co Ltd 表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体、ならびに、表示制御装置および方法
US20090096796A1 (en) * 2007-10-11 2009-04-16 International Business Machines Corporation Animating Speech Of An Avatar Representing A Participant In A Mobile Communication
CN101751220A (zh) * 2008-12-05 2010-06-23 索尼株式会社 信息处理装置和信息处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025286A (zh) * 2014-05-02 2015-11-04 钰创科技股份有限公司 图像处理装置
CN105025286B (zh) * 2014-05-02 2019-12-10 钰立微电子股份有限公司 图像处理装置
CN113923301A (zh) * 2016-09-23 2022-01-11 苹果公司 用于在多种模式下捕获和录制媒体的设备、方法和图形用户界面
CN113923301B (zh) * 2016-09-23 2023-09-26 苹果公司 用于在多种模式下捕获和录制媒体的设备和方法

Also Published As

Publication number Publication date
WO2013076359A1 (en) 2013-05-30
CN103918010B (zh) 2017-06-30
US20140218370A1 (en) 2014-08-07
EP2783349A1 (en) 2014-10-01
EP2783349A4 (en) 2015-05-27

Similar Documents

Publication Publication Date Title
CN103918010B (zh) 用于生成与多媒体内容相关联的动画图像的方法、装置和计算机程序产品
US11094131B2 (en) Augmented reality apparatus and method
US9563977B2 (en) Method, apparatus and computer program product for generating animated images
JP5843207B2 (ja) 直観的コンピューティング方法及びシステム
CN108713322A (zh) 具有可选标记覆盖辅助图片的视频
US20160125633A1 (en) Method, apparatus and computer program product to represent motion in composite images
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US10003743B2 (en) Method, apparatus and computer program product for image refocusing for light-field images
KR20230107844A (ko) 개인화된 아바타 실시간 모션 캡처
US20130300750A1 (en) Method, apparatus and computer program product for generating animated images
CN108491804B (zh) 一种棋局展示的方法、相关装置及系统
US20140359447A1 (en) Method, Apparatus and Computer Program Product for Generation of Motion Images
KR20120075487A (ko) 센서-기반 모바일 검색, 관련 방법들 및 시스템들
KR20220001969A (ko) 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법
CN102157006A (zh) 生成能够与图像进行交互的角色的动态效果的方法和装置
CN108632555A (zh) 动态图像处理装置、动态图像处理方法以及记录介质
US9269158B2 (en) Method, apparatus and computer program product for periodic motion detection in multimedia content
CN112118397A (zh) 一种视频合成的方法、相关装置、设备以及存储介质
CN103930900A (zh) 用于对象的分类的方法、装置和计算机程序产品
US20130107008A1 (en) Method, apparatus and computer program product for capturing images
CN114237800A (zh) 文件处理方法、文件处理装置、电子设备及介质
US20150103142A1 (en) Method, apparatus and computer program product for blending multimedia content
CN115278041B (zh) 图像处理方法、装置、电子设备以及可读存储介质
US20240212250A1 (en) Image processing method and apparatus, electronic device and readable storage medium
WO2018002800A1 (en) Method and apparatus for creating sub-content within a virtual reality content and sharing thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160218

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170630

Termination date: 20181025

CF01 Termination of patent right due to non-payment of annual fee