CN101193250B - 产生运动图像的帧信息的系统和方法 - Google Patents

产生运动图像的帧信息的系统和方法 Download PDF

Info

Publication number
CN101193250B
CN101193250B CN2007101693784A CN200710169378A CN101193250B CN 101193250 B CN101193250 B CN 101193250B CN 2007101693784 A CN2007101693784 A CN 2007101693784A CN 200710169378 A CN200710169378 A CN 200710169378A CN 101193250 B CN101193250 B CN 101193250B
Authority
CN
China
Prior art keywords
frame
moving image
attribute
objects
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101693784A
Other languages
English (en)
Other versions
CN101193250A (zh
Inventor
郑知惠
朴珉圭
李蕙汀
李荣范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101193250A publication Critical patent/CN101193250A/zh
Application granted granted Critical
Publication of CN101193250B publication Critical patent/CN101193250B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

描述一种播放包括各种内容对象的运动图像的系统、方法和介质。所述系统包括：脚本解析器，识别形成运动图像的多种对象；播放时间计算单元，从运动图像的总播放时间中确定帧合成时间位置；和帧信息记录单元，记录存在于帧合成时间位置的对象的属性。

Description

产生运动图像的帧信息的系统和方法
本申请要求于2006年11月27日在韩国知识产权局提交的第10-2006-0117796号韩国专利申请的优先权，该公开包含于此，以资参考。 
技术领域
本发明的一个或者多个实施例一般涉及播放运动图像，更具体地说，涉及播放包括多种内容对象的运动图像的系统、方法和介质。 
背景技术
通常，使用幻灯片来显示多种内容，诸如，照片、图片、图像或者视频。在这样的幻灯片中，显示预定的内容，并且在过去预定时间间隔之后显示下一内容。这里，由于幻灯片以停止状态显示内容预定时间段，所以内容被静态地表现，从而用户不能基于他/她的记忆或偏好构建内容。因此，这样的幻灯片方案不能满足用户创建他们自己的内容展示以动态地表现他们自己的需要。 
此外，因为幻灯片逐个显示内容，所以用户难于直观地识别出当前显示的内容、已经显示的内容和下一阶段将被显示的内容之间的相关性，此外，因为幻灯片静态地显示图像，所以存在不能以多种不同的方式来表现图像的缺点。另外，因为幻灯片在预定时间段内静态地显示预定的内容，因此，用户难于直观地识别出多个内容之间的相关性，例如，甚至是诸如相同地点拍摄的照片的内容之间的相关性。 
因此，为了消除幻灯片的单调性，已经将诸如便签和标题的附加效果添加到内容，并且已经将诸如缩放(zoom)、左右移动(pan)和上下移动(tilt)的各种动态效果添加到内容。然而，幻灯片仍然一如既往地单调，并且显示的内容保持相同的普通的风格，从而不可能满足各种用户的需求。 
尽管现在正在积极推广使用私人内容的图像制作，但是使用传统工具的图像制作需要技术知识，并且将制作的图像转换为适用于各种设备的格式以在图像制作之后能够发送或者与多个设备共享制作的图像需要很大的工作 量。为了解决这些问题，已经开发了多种技术以使用户容易地通过使用内容来制作运动图像。凭借这些技术，用户可通过收集多种内容来制作运动图像，从而能够通过发送和共享运动图像的处理在本地服务器等中应用运动图像。 
尽管用户对此并不清楚，然而，为了制作这种运动图像，需要这样的操作，即，允许将内容构建为运动图像以满足用户的需求，并添加适用于该运动图像的效果。 
图1是示出传统的运动图像播放设备10的操作的示图。设备10通过组合多种内容(所述多种内容包括：场景11a和11b、剪辑13a到13c、图像14a到14f、声音15等)显示运动图像。场景11a和11b基于一个背景图像屏幕被确定，并且其中可包括不同内容。剪辑13a到13c基于运动改变，并且其中可包括多种内容。例如，当剪辑旋转时，其中包括的内容也相应旋转。 
设备10参照每个内容的播放开始点(由虚线指示)来播放运动图像。即，从重放开始点开始显示内容预定持续时间。此外，可向每个内容添加动态效果。因此，尽管能在每个播放开始点访问运动图像，但不能在随机时间点访问运动图像。例如，在图1中，“t1”对应于用户能随机访问的时间点，而“t2”对应于用户不能随机访问的时间点。此外，即使能在t2随机访问，也不能在该位置显示用应用了动态效果的对象所构建的场景。 
如图2中所示执行传统视频播放设备20的视频帧播放过程。在此使用的术语“视频”区别于运动图像。例如，运动图像包括多个内容，可单独控制每一个所述内容。相反，视频包括具有多个图像的多个视频帧21到25，然而，所述图像仅包括像素信息，并不能被单独控制。事实上，除了已经描述的诸如照片、图像和声音的内容以外，视频也属于可包括在运动图像中的内容的类型。作为运动图像的示例，有一种由Macromedia公司的名为“FLASH”的软件制作的ShockWave Flash(SWF)文件。 
参照图2，视频帧21到25基于帧速率(即，基于每秒显示的帧的数量)在一个时间间隔被连续显示。例如，当帧速率是30时，以每帧1/30秒连续显示视频帧。因此，用户可如愿随机访问所有视频帧中期望的视频帧。根据视频编码模式，所述帧可被分为可被任意访问的帧(例如，帧I，MPEG)和不可被任意访问的帧(帧P和B，MPEG)。然而，当搜索期望的场景时，这可能不是一个严重的问题。 
因此，本发明的发明人确定期望开发一种能够随机访问运动图像中的用 户期望的位置的方法。 
发明内容
因此，本发明的一个或者多个实施例已经开发以解决出现在现有技术中的上述问题，本发明的各方法允许对播放包括各种独立内容的运动图像进行简单控制。 
本发明的一个或者多个实施例还可不考虑播放运动图像的装置的性能地使动态效果流畅实现。 
本发明的一个或者多个实施例还提供容易地对运动图像进行视频编码的方法。 
本发明的另外的方面和/或优点将在下面的描述中被部分地阐述，并且部分地根据描述将变得明显，或者可通过实施本发明而了解。 
为了实现至少上述和/或其他方面和优点，本发明的实施例包括一种创建运动图像的帧信息的系统，所述系统包括：脚本解析器，识别形成运动图像的多种对象；播放时间计算单元，从运动图像的总播放时间中确定帧合成时间位置；和帧信息记录单元，记录存在于帧合成时间位置的对象的属性。 
为了实现至少上述和/或其他方面和优点，本发明的实施例包括一种播放运动图像的系统，所述系统包括：帧信息解析器，读取逐帧地记录的对象的属性；对象载入器，载入存储的对象中的记录的对象；和播放单元，通过应用与载入的对象相应的属性来创建帧图像，并显示创建的帧图像。 
为了实现至少上述和/或其他方面和优点，本发明的实施例包括一种创建运动图像的帧信息的方法，所述方法包括：识别形成运动图像的多种对象；从运动图像的总播放时间中确定帧合成时间位置；和记录存在于帧合成时间位置的对象的属性。 
为了实现至少上述和/或其他方面和优点，本发明的实施例包括一种播放运动图像的方法，所述方法包括：读取逐帧地记录的对象的属性；载入存储的对象中的记录的对象；通过应用与载入的对象相应的属性来创建帧图像；和显示创建的帧图像。 
为了实现至少上述和/或其他方面和优点，本发明的实施例包括一种运动图像播放系统，所述系统包括：帧信息解析器，产生帧元数据，所述帧元数据包括包括在相应帧中的对象的标识符和属性；和播放控制器，使用由帧信 息解析器产生的帧元数据逐帧地播放运动图像。 
附图说明
通过以下结合附图对实施例的描述，这些和/或其他方面和优点将变得更加清楚并更容易理解，其中： 
图1示出了传统运动图像播放设备的操作； 
图2示出了传统视频帧播放步骤； 
图3示出了根据本发明实施例的运动图像创建系统； 
图4示出了根据本发明实施例的动态效果的动画效果； 
图5示出了根据本发明实施例的动态效果的过渡(transition)效果； 
图6示出了根据本发明实施例的脚本； 
图7示出了根据本发明实施例的对象的深度(depth)； 
图8示出了根据本发明实施例的帧信息创建系统； 
图9示出了根据本发明实施例的帧合成(framing)运动图像的概念； 
图10示出了根据本发明实施例的逐帧计算对象属性的方案； 
图11示出了根据本发明实施例的帧元数据； 
图12示出了根据本发明实施例的具有包括三个独立对象和一个从属对象的结构的场景； 
图13示出了根据本发明实施例的对象的从属性(dependency)； 
图14示出了根据本发明实施例的运动图像播放系统的配置；和 
图15示出了根据本发明实施例的用于使用户向播放控制器输入用户命令的用户接口的示例。 
具体实施方式
现在将详细阐述实施例，其示例在附图中被示出，其中，相同的标号始终表示相同的组件。以下对实施例进行描述，以通过参照附图说明本发明。根据本发明的系统可包括图3所示的运动图像创建系统100、图8所示的帧信息创建系统200和图14所示的运动图像播放系统300。 
图3示出了根据本发明实施例的运动图像创建系统100。运动图像创建系统100可由多种对象创建运动图像，并创建其产品，即，脚本30和运行模块40。在本发明中，术语“对象”表示运动图像的构成部分，并且可包括： 例如，照片、图片、声音、视频序列、背景图像、便签或者文本(例如，标题)。共享相同背景的运动图像的部分被称为场景，可允许用户逐个观看场景。一个场景可包括用户的照片、装饰组件(诸如便签和标题)以及动态效果。术语“对象”还可包括根据背景图像屏幕改变的场景和具有与内部对象的属性相同的属性(例如，相同运动、相同透明度等)的剪辑。 
例如，运动图像创建系统100可包括脚本创建单元110、动态效果应用单元120、对象布置单元130、对象存储单元140和用户接口150。 
用户接口150可接收用户命令以根据用户的品味创建运动图像。这种用户接口150可包括至少一个预定义的模板。所述模板可被当作布置多种对象的工具。因为该模板预定义了对象的布置及其动态效果，因此，用户可容易地通过从模板选择被用作对象的内容来创建运动图像。 
例如，这种动态效果可包括：过渡，通过对象的出现或消失显示屏幕过渡效果；动画，根据时间以不同的速度改变对象的位置和大小；和摄影操作，显示摄像机(而不是对象)仿佛运动的效果。 
例如，对象存储单元140可包括：存储器和/或数据库，存储用作运动图像的构成部分的多个对象，在本实施例中，优选地包括诸如硬盘或者闪速存储器的非易失性存储介质。 
对象布置单元130和动态效果应用单元120可用于根据经用户接口150输入的用户命令来布置形成运动图像的对象并将动态效果应用到布置的对象。 
对象布置单元130可将运动图像划分为多个场景(例如，见图1)并根据模板或者根据直接的用户命令逐场景地布置存储在对象存储单元140中的对象。因为一个运动图像可包括多个场景，所以能通过单独编辑和控制每个场景来编辑和控制运动图像。 
对象布置单元130可布置可视对象，也可布置与可视对象同步的可听对象(例如，背景声音、效果声音等)。 
动态效果应用单元120可对根据每个场景布置的对象应用动态效果(诸如，过渡、动画、摄影操作等)。 
图4和图5示出了动态效果的示例。参照图4，一个场景60可包括背景图像61。包括在场景60中的对象62可从初始位置运动、旋转或放大；或者可同时运动、旋转和放大。不同的动态效果可同时发生或者在不同时间发生。 还例如，参照图5，包括在场景60中的对象72可在从初始位置移动到另一位置的同时改变其透明度。这里，当对象72的透明度为1(100％)时，或者当对象72的持续时间到期时，不显示对象72。 
由于由动态效果应用单元120实现的对象的动态效果，所以从用户的视点来说播放运动图像可被当作播放普通视频。 
运动图像创建系统100的最终产品可包括：可定义形成运动图像的对象和每个对象的属性的脚本30、以及可在被关联(couple)到脚本30的同时对定义的对象的动态效果进行定义的运行模块40。 
可使用标记语言(诸如超文本标记语言(HTML)、可扩展标记语言(XML)等)来表达脚本30，并且可使用Adobe公司(Macromedia)的SWF文件实现运行模块40。 
运行模块40可对每个使用的对象(例如，场景、背景图像、便签、文本等)进行模块化，并将每个对象构建为一个独立文件。在本实施例中，用于场景的运行模块可以被构建为包括用于包括在该场景中的对象的运行模块。 
脚本创建单元110可以以脚本30的形式记录已由对象布置单元130根据每一场景确定的对象和对象的属性。 
图6是脚本30的示例。例如，脚本30可包括多个场景：场景#1、场景#2和场景#3。在一个场景中，可记录识别多个对象的标识符“Id”和所述对象的属性。当从对象存储单元140载入特定对象时，所述标识符可被用于识别特定对象，并且可以以例如代码或者序列号来表示。 
术语“属性”可表示在特定时刻指示对象特性的量化值。例如，属性可包括相应对象的X坐标、Y坐标、深度、旋转角、宽度、高度和透明度。X坐标和Y坐标可基于形成场景的背景图像的左上点。例如，图4的对象62示出一个示例，其中，对象62的X坐标、Y坐标、旋转角、宽度和高度可改变，图5的对象72显示了一个示例，其中，对象72的X坐标、Y坐标和透明度可改变。 
对象的“深度”可指示代表当多个对象占用相同空间(例如，在显示的图像中)时对象的显示顺序的值。例如，在图7中，图片对象71的深度具有最低值(即，屏幕上显示的最高优先级)，而便签对象73和74具有最高值(即，屏幕上显示的最低优先级)。因此，如果图片对象71和便签对象73和74应当占用显示的图像中的相同空间，则基于各自的显示优先级，图片对象71可 显示为不透明，并且将所述便签对象模糊到一定程度。 
对象的ID和各个属性的初始值可被记录在脚本30中，并且改变的对象属性可被记录在运行模块40中。 
图8示出了根据本发明实施例的帧信息创建系统200。所述帧信息创建系统200可通过帧合成(framing)运动图像来根据每一帧创建帧信息。这里，术语“帧合成”不是一般表示的将运动图像转换为真实视频帧，而是通常表示将包括在运动图像中的对象和所述对象的属性记录在每一帧的位置。基于记录的对象及其属性，可在将来每当存在需要时从运动图像中提取单个图像。基于这点，例如，帧信息创建系统200可包括：脚本解析器210、播放时间计算单元220和帧信息记录单元230。 
脚本解析器210可解析由运动图像创建系统100创建的脚本30，并可识别包括在运动图像中的场景、包括在所述场景中的对象以及所述对象的属性。 
播放时间计算单元220可对运行模块40进行解析来计算播放运动图像的总的播放时间，所述运行模块40表示由脚本解析器210解析的对象的动态效果。总的播放时间可被计算为形成运动图像的场景的持续时间之和，可通过对属于相应场景的对象的持续时间进行解析来识别每个场景的持续时间。 
然而，根据包括在一个场景中的对象的属性，可影响以至于改变其他对象的播放时间。例如，通常，显示时间可基于包括在场景中的内容(用户输入的对象)数量、内容的属性和应用的效果被确定。例如，当在使用应用的效果已经全部显示属于第一场景的对象之后执行到下一场景的过渡时，即使还有用于相应对象的显示时间，第一场景的显示也可结束。 
此外，播放时间计算单元220可基于总的计算的播放时间确定用于帧合成运动图像的帧速率。所述帧速率可以被确定为用户输入的值或者预定的默认值。例如，可通过将总的播放时间除以固定数来确定帧速率，或者可不考虑总的播放时间将帧速率确定为恒定的帧速率。前者可允许运动图像具有与总的播放时间成比例的帧数，而后者可允许运动图像具有恒定的帧数而不管总的播放时间。 
帧信息记录单元230可基于确定的帧速率来根据每一帧记录需要的对象(例如，对象ID)和所述对象的属性，从而创建帧元数据50。例如，当存在被定义为如图9中所示将被播放的运动图像80时，帧信息记录单元230可根据每帧的位置记录需要的对象的ID和属性。 
在图9中，可以理解：帧f2包括对象a、对象b和声音对象；帧f4包括对象b和声音对象；帧f12仅包括声音对象。此外，因为运行模块40可存储对象的动态效果，所以可以计算特定帧中每个对象的属性。例如，当假设对象85具有从坐标(0，0)(坐标(0，0)表示X坐标和Y坐标的值都是0)移动到坐标(5，7)的动态效果，对象85的移动时间对应于3个帧间隔(这里，帧间隔表示帧速率的倒数)时，位于帧fn+1的位置的对象85的坐标可被计算为(5/3，7/3)，位于帧fn+2的位置的对象85的坐标可被计算为(10/3，14/3)。通过这个方法，可以估计属于每个帧位置的对象85的全部的属性。 
例如，可以以图11中所示的格式来记录图9中所示的运动图像80的帧元数据50。关于帧f2的帧信息可包括对象a的ID和属性、对象b的ID和属性以及声音对象的ID和属性。关于帧f4的帧信息可包括对象b的ID和属性以及声音对象的ID和属性。关于帧f12的帧信息可包括声音对象的ID和属性。与可视对象不同，声音对象通常不包括动态效果，从而声音对象的属性通常仅包括在每个相应帧位置的时间信息(例如，同步信息)。这是因为，已经可以根据特定时间信息随机访问声音对象。 
同时，尽管在原则上动态效果被单独地应用于包括在一个场景中的对象，但是当在对象间存在从属性时，在运行模块40中，动态效果也可仅被分配到高等级(high-level)对象。图12示出了一个场景90的示例，该场景90包括三个独立对象a、b和c以及一个从属对象d。运行模块40可为独立对象a、b和c的每一个分配动态效果，并且可不为对象d分配任何动态效果。在这种情况下，因为对象d对于对象a的从属性，对象d可没有任何改变地继承对象a的动态效果。 
例如，在图13中，假设对象91和对象92之间不具有从属性，对象93和对象94之间具有从属性，对象91可被分配旋转的动态效果，对象93可被分配移动的动态效果。随后，尽管可不为对象94分配单独的动态效果，但是对象94也可与对象93一起移动。相反，对象91的旋转不会使对象92受到任何影响。 
因此，当帧信息记录单元230根据每一帧创建帧元数据时，可能有必要检查属于每个相关帧的对象之间是否存在从属性，并利用从属对象的高等级对象的属性记录从属对象的属性。 
尽管帧信息创建系统200基于其功能被描述为单独的系统，但是帧信息 创建系统200也可被包括在运动图像创建系统100中。 
图14示出了根据本发明实施例的运动图像播放系统300。所述运动图像播放系统300可使用由帧信息创建系统200创建的帧信息逐帧地播放运动图像。即，运动图像播放系统300可根据在每一帧位置的对象的属性显示单一的图像，所述单一的图像通过布置包括在运动图像中的对象而被创建。由此，例如，运动图像播放系统300可包括：脚本解析器310、显示单元320、播放单元330、对象载入器340、对象存储单元350、播放控制器360、帧信息解析器370和视频编码器380。 
脚本解析器310可对由运动图像创建系统100创建的脚本30进行解析，从而识别包括在运动图像中的场景和包括在场景中的对象，即，识别运动图像的结构。 
对象存储单元350可包括存储用作运动图像构成部分的各个对象的存储器和/或数据库，并且，在本实施例中优选地包括诸如硬盘或闪速存储器的非易失性存储介质。 
对象载入器340可从对象存储单元350读取播放单元330请求的对象，并将读取的对象载入到主存储器。所述主存储器可包括诸如随机存取存储器(RAM)的易失性存储介质。在这种情况下，对象载入器340可首先将用于形成场景的背景图像对象载入相应场景，然后将包括的其他对象载入相应场景。 
播放控制器360可提供根据用户命令控制播放单元330的播放操作的接口。播放操作的控制可包括正常播放、停止、暂停、快进、快退、随机访问等。图15示出了用于使用户将用户命令输入到播放控制器360的用户接口95以及用于运动图像的播放屏幕96的示例。用户可通过这样的接口95命令播放控制器360执行相应运动图像的各种控制操作。 
如上所述，播放控制器360可从用户接收命令，还可将由播放单元330执行的当前播放状态输出给用户。为了从用户接收命令并输出播放状态，播放控制器360可提供各种应用程序接口(API)函数。 
帧信息解析器370可对播放单元330请求的帧的帧元数据50进行解析，并将解析的帧元数据50提供给播放控制器360。具体来说，帧信息解析器370可读取包括在相应帧中的对象的ID和属性，并将所述对象的ID和属性提供给播放控制器360。 
播放单元330可根据播放控制器360的控制逐帧播放所述运动图像。由此，播放单元330可请求帧信息解析器370提供每一帧的帧元数据50，并从帧信息解析器370接收每一相应帧的帧元数据50。所述帧元数据50可包括包括在相应帧中的对象的ID和属性。播放单元330可通过向对象载入器340请求对象的ID来读取相应的对象，并通过将相应于读取的对象的属性应用到相应帧来创建一帧图像(例如，静止图像)。在预定帧间隔期间，创建的帧可通过显示单元320被提供并显示，所述预定帧间隔对应于相应帧速率的倒数。如上所述，播放单元330可将包括多个对象的运动图像分为多个帧，从而播放单元330可根据每一帧基于各种控制执行由播放控制器360请求的操作。播放单元330可包括声音对象播放功能，从而播放单元330可在帧合成并播放可视对象时通过扬声器与可视对象同步输出声音对象。 
视频编码器380是运动图像播放系统300的附加组件。视频编码器380可对由播放单元330创建的帧应用预定编解码器或者压缩算法(诸如，MPEG、H.264等)，从而容易地创建压缩的视频。 
如上所述，根据本发明实施例的运动图像播放系统300可逐帧地控制包括各种对象的运动图像。与仅包括像素信息的视频序列不同，运动图像可没有任何改变地保持关于其组件的信息。因此，即使使用相对小的存储容量也可能实现组件的各种布置和动态效果，以避免复杂的编码和解码过程。与具有难于或者不可能逐帧控制运动图像的问题的传统运动图像不同，本发明的实施例能够在保持有运动图像本身的优点的同时逐帧地进行播放控制(即，播放控制(play control))。 
图3、图8和图14显示的组件可被实施为软件(诸如，在存储器的预定区域内执行的任务、类、子例程、进程、对象、运行线程和程序)或者硬件(诸如，现场可编程门阵列(FPGA)和专用集成电路(ASIC))。此外，所述组件还可被实现为软件和硬件的组合。 
除上述实施例外，还可通过介质(例如，计算机可读介质)中/上的计算机可读代码/指令来实现本发明实施例，以控制至少一个处理组件实施上述任何实施例。所述介质可对应于允许存储和/或传输计算机可读代码的任何介质。 
所述计算机可读代码可以以多种方式记录在/传输至介质上，例如，所述介质的例子包括记录介质和传输介质，所述记录介质诸如：磁存储介质(例 如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM或者DVD)，所述传输介质诸如经互联网的载波。因此，根据本发明实施例，所述介质还可是信号，诸如组合信号或者比特流。所述介质还可是分布式网络，从而可以以分布方式来存储/传输和执行计算机可读代码。此外，仅作为示例，处理组件可包括处理器或者计算机处理器，并且所述处理组件可分布于和/或包括在单个装置中。 
根据本发明的一个或者多个实施例，用户可实时逐帧控制运动图像，所述运动图像包括具有各种属性(诸如，时间、压缩方案、文件类型等)的多个对象。此外，这种基于帧的控制方案可被应用于创建或者播放运动图像的系统，以及将运动图像编码为视频序列并发送和分发该视频序列的系统。 
尽管已经示出并描述了若干实施例，但是本领域技术人员应当理解，在不脱离本发明的原则和精神的情况下，可对这些实施例进行改变，本发明的范围由权利要求及其等同物限定。 

Claims (11)

1.一种创建运动图像的帧信息的系统，所述系统包括：
脚本解析器，识别形成运动图像的多个对象，其中，所述多个对象中的每一个表示运动图像的构成部分；
播放时间计算单元，从运动图像的总播放时间中确定帧合成时间位置，其中，帧合成表示将包括在运动图像中的对象和所述对象的属性记录在每一帧的位置；和
帧信息记录单元，记录存在于帧合成时间位置的对象的属性，其中，属性表示在特定时刻指示所述多个对象中的每一个对象的特性的量化值。
2.如权利要求1所述的系统，其中，所述播放时间计算单元基于预定的帧速率确定所述帧合成时间位置。
3.如权利要求1所述的系统，其中，所述帧信息记录单元逐帧记录所述对象的属性。
4.如权利要求1所述的系统，其中，所述帧信息记录单元记录相应高等级对象的属性，而不记录对象中具有从属性的对象的属性。
5.如权利要求1所述的系统，其中，从定义运动图像的动态效果的运行模块获得所述对象的属性。
6.如权利要求1所述的系统，其中，所述属性包括：从包括每个对象的水平位置、垂直位置、宽度、高度、深度、旋转角和透明度的组中选择的至少一个。
7.如权利要求1所述的系统，其中，所述对象包括：从包括图片、声音、视频序列、背景图像、便签和标题的组中选择的至少两个。
8.一种创建运动图像的帧信息的方法，所述方法包括：
识别形成运动图像的多个对象，其中，所述多个对象中的每一个表示运动图像的构成部分；
从运动图像的总播放时间中确定帧合成时间位置，其中，帧合成表示将包括在运动图像中的对象和所述对象的属性记录在每一帧的位置；和
记录存在于帧合成时间位置的对象的属性，其中，属性表示在特定时刻指示所述多个对象中的每一个对象的特性的量化值。
9.如权利要求8所述的方法，其中，基于预定帧速率确定所述帧合成时间位置。
10.如权利要求8所述的方法，其中，逐帧地记录所述对象的属性。
11.如权利要求8所述的方法，其中，在记录的步骤中，记录相应高级对象的属性，而不记录对象中具有从属性的对象的属性。
CN2007101693784A 2006-11-27 2007-11-26 产生运动图像的帧信息的系统和方法 Expired - Fee Related CN101193250B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2006-0117796 2006-11-27
KR1020060117796 2006-11-27
KR1020060117796A KR101317204B1 (ko) 2006-11-27 2006-11-27 동적 영상물의 프레임 정보를 생성하는 방법 및 이를이용한 장치

Publications (2)

Publication Number Publication Date
CN101193250A CN101193250A (zh) 2008-06-04
CN101193250B true CN101193250B (zh) 2012-05-02

Family

ID=39145205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101693784A Expired - Fee Related CN101193250B (zh) 2006-11-27 2007-11-26 产生运动图像的帧信息的系统和方法

Country Status (5)

Country Link
US (1) US8559792B2 (zh)
EP (2) EP1926105A1 (zh)
JP (1) JP5522894B2 (zh)
KR (1) KR101317204B1 (zh)
CN (1) CN101193250B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101349227B1 (ko) * 2010-03-29 2014-02-11 한국전자통신연구원 멀티미디어 시스템에서 객체 정보 제공 장치 및 방법
JP2012217144A (ja) * 2011-03-30 2012-11-08 Panasonic Corp 画像編集装置、画像編集方法、およびプログラム
CN103177465B (zh) * 2011-12-26 2016-04-13 腾讯科技（深圳）有限公司 动画控制方法及系统
CN102682461B (zh) * 2012-04-28 2015-12-09 Tcl集团股份有限公司 一种动画渲染方法、系统及动画播放器
KR102069538B1 (ko) * 2012-07-12 2020-03-23 삼성전자주식회사 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법
KR102127351B1 (ko) * 2013-07-23 2020-06-26 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
CN103475882B (zh) * 2013-09-13 2017-02-15 北京大学 监控视频的编码、识别方法和监控视频的编码、识别系统
JP2015060211A (ja) * 2013-09-20 2015-03-30 カシオ計算機株式会社 投影装置、プログラム及び投影制御方法
WO2016024782A1 (ko) * 2014-08-11 2016-02-18 서장원 터치입력에 반응하는 3d 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법 및 동영상을 재생하면서 애니메이션을 추가하는 방법
KR101595663B1 (ko) * 2014-11-04 2016-02-18 서장원 터치입력에 반응하는 ３ｄ 인터랙티브 무비 뷰어를 이용하여 동영상을 재생하면서 애니메이션을 추가하는 방법
KR101750060B1 (ko) * 2015-08-13 2017-06-22 이철우 반응형 영상 생성방법 및 생성프로그램
JP5946007B1 (ja) * 2015-12-17 2016-07-05 森田　孝 小画像集合体プログラム
KR102051981B1 (ko) * 2016-09-07 2019-12-04 이철우 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
EP3310053A1 (en) * 2016-10-12 2018-04-18 Thomson Licensing Method and apparatus for coding transparency information of immersive video format
CN106331834B (zh) * 2016-10-20 2020-02-07 腾讯音乐娱乐（深圳）有限公司 一种多媒体数据处理方法及其设备
CN106649541A (zh) * 2016-10-26 2017-05-10 广东小天才科技有限公司 一种动画播放、生成方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1397139A (zh) * 2000-12-01 2003-02-12 皇家菲利浦电子有限公司 用于从各种数据中合成视频景像的方法和设备
JP2005322097A (ja) * 2004-05-11 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 対象物像モデルのアニメーション表示装置、対象物像モデルのアニメーション表示方法および対象物像モデルのアニメーション表示プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121263A (ja) 1992-10-08 1994-04-28 Sony Corp 映像信号の記録方法
JP4214425B2 (ja) 1997-09-30 2009-01-28 ソニー株式会社 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体
JP4154047B2 (ja) * 1998-11-06 2008-09-24 キヤノン株式会社 映像処理装置及び映像処理方法
JP2001309369A (ja) * 2000-04-21 2001-11-02 Toshiba Corp 動画合成表示システム及び方法並びに記憶媒体
JP2002335442A (ja) 2001-05-11 2002-11-22 Nippon Hoso Kyokai <Nhk> シーン記述プログラム
KR20030025771A (ko) 2001-09-21 2003-03-29 주식회사 자이닉스 인터넷상의 교육용 컨텐츠 제공 시스템 및 그 방법
US7432940B2 (en) 2001-10-12 2008-10-07 Canon Kabushiki Kaisha Interactive animation of sprites in a video production
AU2003221185A1 (en) 2002-04-12 2003-10-27 Mitsubishi Denki Kabushiki Kaisha Meta data edition device, meta data reproduction device, meta data distribution device, meta data search device, meta data reproduction condition setting device, and meta data distribution method
JP4003940B2 (ja) * 2002-06-07 2007-11-07 日本放送協会 映像関連コンテンツ生成装置、映像関連コンテンツ生成方法及び映像関連コンテンツ生成プログラム
JP3971346B2 (ja) * 2002-06-24 2007-09-05 株式会社東芝 動画像再生装置、スケジュール・データ、動画像再生方法、及びプログラム
JP2004145650A (ja) 2002-10-24 2004-05-20 Sharp Corp コンテンツ生成データのデータ構造、コンテンツ生成装置、コンテンツ生成システム、コンテンツ生成方法、およびコンテンツ生成プログラム
KR20040079490A (ko) 2003-03-07 2004-09-16 김효한 멀티미디어전자책용 파일제작방법
KR20050108677A (ko) 2004-05-13 2005-11-17 주식회사 한국인터넷데이터센터 플래시를 동적으로 생성 및 관리하기 위한 방법 및 이를위한 기록매체
JP2006014008A (ja) 2004-06-28 2006-01-12 Ricoh Co Ltd 呼出システム及び呼出方法
KR20040072522A (ko) 2004-07-19 2004-08-18 박광현 동영상 컨텐츠를 이용한 카테고리별 동영상 카드메일(e-mail), 모바일(핸드폰) 동영상 SMS 서비스와합성동영상 카드 메일(e-mail), 모바일(핸드폰) 동영상SMS 서비스 및 이를 활용한 동영상 스튜디오 기기 서비스및 동영상 컨텐츠 클립 다운로드 서비스 방법
JP4552005B2 (ja) 2006-05-31 2010-09-29 株式会社ヤッパ 電子新聞表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1397139A (zh) * 2000-12-01 2003-02-12 皇家菲利浦电子有限公司 用于从各种数据中合成视频景像的方法和设备
JP2005322097A (ja) * 2004-05-11 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 対象物像モデルのアニメーション表示装置、対象物像モデルのアニメーション表示方法および対象物像モデルのアニメーション表示プログラム

Also Published As

Publication number Publication date
EP2154685A2 (en) 2010-02-17
KR101317204B1 (ko) 2013-10-10
JP5522894B2 (ja) 2014-06-18
JP2008136213A (ja) 2008-06-12
EP1926105A1 (en) 2008-05-28
US8559792B2 (en) 2013-10-15
EP2154685A3 (en) 2010-12-08
CN101193250A (zh) 2008-06-04
US20080124045A1 (en) 2008-05-29
KR20080047845A (ko) 2008-05-30

Similar Documents

Publication Publication Date Title
CN101193250B (zh) 产生运动图像的帧信息的系统和方法
JP7446468B2 (ja) ビデオ特殊効果の処理方法、装置、電子機器及びコンピュータプログラム
JP5205393B2 (ja) ビデオファイルを素早く理解できるようにするビデオ・セグメントの同時提示
CN101193298A (zh) 播放运动图像的系统、方法和介质
CN101207717A (zh) 组织产生运动图像的模板的系统、方法和介质
JPH11512902A (ja) インタラクティブディジタルメディアプログラム内でメディア内容を用いる装置
JP2010092246A (ja) 情報処理装置および情報処理方法
CN101095130B (zh) 用于为远程平台编辑说明内容的方法和设备
JP6765558B1 (ja) コンテンツ配信装置、コンテンツ配信方法、コンテンツ配信システム、および、コンテンツ配信プログラム
US20180136814A1 (en) Systems and methods for multi-dimensional augmented and virtual reality digital media integration
JP5376442B2 (ja) 動画配信サービスのクライアント端末及びコンピュータプログラム
JP6078476B2 (ja) メディアアセットに関する説明情報の表示をカスタマイズする方法
KR101703321B1 (ko) 복합 컨텐츠의 제공 방법 및 장치
EP4016994A1 (en) Information processing device and information processing method
KR102316822B1 (ko) 영상과 관련된 사용자 반응에 기반하여 컨텐츠를 제공하는 방법, 장치, 및 컴퓨터 프로그램
CN101401130B (zh) 提供视频帧序列的设备和方法，提供场景模型的设备和方法，场景模型，创建菜单结构的设备和方法，以及计算机程序
Bassbouss et al. Interactive 360 video and storytelling tool
JP6248943B2 (ja) 情報処理装置、情報処理方法、およびプログラム、並びに情報処理システム
KR101328270B1 (ko) 스마트 ｔｖ의 비디오 어노테이션 및 증강 방법 및 그 시스템
KR101221540B1 (ko) 인터랙티브 미디어 매핑 시스템 및 그 방법
US10110847B2 (en) Program image creation method and apparatus of the same
KR20140056806A (ko) 광고 저작 서비스 시스템 및 그 방법, 그리고 이에 적용되는 장치 및 그 동작 방법
KR20170015447A (ko) 복합 컨텐츠의 제공 방법 및 장치
WO2021087411A1 (en) Audio and video stream rendering modification based on device rotation metric
JP2006505049A (ja) メディアシーケンスの構成方法及びメディア表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120502

Termination date: 20211126

CF01 Termination of patent right due to non-payment of annual fee