CN113424230A - 生成动画序列的方法、系统以及非瞬时计算机可读存储介质 - Google Patents
生成动画序列的方法、系统以及非瞬时计算机可读存储介质 Download PDFInfo
- Publication number
- CN113424230A CN113424230A CN201980091913.XA CN201980091913A CN113424230A CN 113424230 A CN113424230 A CN 113424230A CN 201980091913 A CN201980091913 A CN 201980091913A CN 113424230 A CN113424230 A CN 113424230A
- Authority
- CN
- China
- Prior art keywords
- target object
- camera
- animation sequence
- attribute information
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000000694 effects Effects 0.000 claims abstract description 48
- 230000008859 change Effects 0.000 claims abstract description 38
- 230000009471 action Effects 0.000 claims abstract description 24
- 230000003190 augmentative effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000009877 rendering Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000282376 Panthera tigris Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
根据本发明的一个侧面，提供一种生成动画序列的方法，包括：基于与相机的位置和姿态中的至少一个相关的变化信息，确定与目标对象的动作和效果中的至少一个相关的属性信息的步骤；以及参照确定的所述属性信息，生成与所述目标对象相关的动画序列的步骤。
Description
技术领域
本发明涉及一种生成动画序列的方法、系统以及非瞬时计算机可读存储介质。
背景技术
近年来，对于即使在个人计算机或移动终端装置等数字设备的二维屏幕上也能以三维方式表现的内容的需求不断增加。此外，随着单人直播平台和内容创作平台等的活跃，想要直接创作和使用3D内容的普通用户越来越多。
然而，以往此类3D内容的创作都是使用内容创作工具进行的，而一般的动画创作工具复杂且难以使用，因此通常只有熟练的专业人士才能使用。
因此，本申请的发明人旨在提出一种技术，使得即使是非专家也能够基于与相机的位置和姿态中的至少一个相关的变化信息，容易地创作3D动画。
现有技术文献
韩国注册专利公报第1575092号(2015.12.01)
发明内容
发明要解决的问题
本发明的一个目的是解决上述现有技术的所有问题。
此外，本发明的另一个目的是从相机拍摄的内容或源内容中获取目标对象，并与与相机的位置和姿态中的至少一个相关的变化信息联动，容易地创建与目标对象相关的动画。
此外，本发明的另一个目的是支持非专家也能够轻松地创作3D内容。
解决问题的方案
用于实现上述目的的本发明的代表性方案如下。
根据本发明的一个侧面，提供一种生成动画序列的方法，包括：基于与相机的位置和姿态中的至少一个相关的变化信息，确定与目标对象的动作和效果中的至少一个相关的属性信息的步骤；以及参照确定的所述属性信息，生成与所述目标对象相关的动画序列的步骤。
根据本发明的另一侧面，提供一种用于生成动画序列的系统，包括：属性信息确定部，用于基于与相机的位置和姿态中的至少一个相关的变化信息，确定与目标对象的动作和效果中的至少一个相关的属性信息；以及动画序列生成部，用于参照确定的所述属性信息，生成与所述目标对象相关的动画序列。
除此之外，本发明还提供了用于实现本发明的另一种方法、另一种系统以及一种用于记录用于执行所述方法的计算机程序的非瞬时计算机可读存储介质。
发明效果
根据本发明，从相机拍摄的内容或源内容中获取目标对象，并且与与相机的位置和姿态中的至少一个相关的变化信息联动，能够容易地生成与该目标对象相关的动画。
此外，本发明可以支持非专家也能够轻松地创作3D内容。
附图说明
图1是根据本发明的一个实施例的创作系统的内部结构的示例图。
图2至图5是根据本发明的一个实施例的生成动画序列的过程图。
图6和图7是根据本发明的另一个实施例的生成动画序列的过程图。
图8和图9是根据本发明的又一个实施例的生成动画序列的过程图。
附图标记说明：
100：创作系统
110：目标对象获取部
120：属性信息确定部
130：动画序列生成部
140：通信部
150：控制部
200：真实世界的对象
300：虚拟对象
具体实施方式
以下参照附图，以可以实施本发明的特定实施例为例，对本发明进行详细说明。对这些实施例进行详细的说明，以便本领域技术人员能够充分实施本发明。应当理解，本发明的各种实施例虽然是不同的，但不必相互排斥。例如，在不脱离本发明的精神和范围的情况下，本说明书所记载的特定形状、结构以及特征可以从一个实施例变化到另一个实施例从而实现。此外，应当理解，在不脱离本发明的精神和范围的情况下，各实施例内的个别构成要素的位置或布置也可以发生变化。从而，下述的详细说明不应被视为限制性的，本发明的范围应被视为涵盖权利要求书中各项权利要求所请求保护的范围及其所有等同的范围。在附图中，贯穿各个侧面，相似的附图标记表示相同或相似的构成要素。
在本说明书中，内容是指由文字、符号、语音、声音、图像、视频等组成的数字信息或个别信息要素的总称。这样的内容可以包括诸如文本、图像、视频、音频、链接(例如，网络链接)等的数据或这些数据中的至少两个的组合。
以下，为了使本领域的普通技术人员能够容易地实施本发明，参照附图对本发明的多个优选实施例进行详细说明。
创作系统的构成
以下，说明创作系统100的各构成要素的功能，这些构成要素执行对于本发明的实施而言重要的功能。
图1是根据本发明的一个实施例的创作系统100的内部结构的示例图。
根据本发明的一个实施例的创作系统100可以包括：目标对象获取部110、属性信息确定部120、动画序列生成部130、通信部140以及控制部150。根据本发明的一个实施例，目标对象获取部110、属性信息确定部120、动画序列生成部130、通信部140以及控制部150中的至少一部分可以是与外部系统进行通信的程序模块。这些程序模块可以以操作系统、应用程序模块或其他程序模块的形式包括在创作系统100中，并且可以物理性地存储在各种已知的存储装置中。此外，这些程序模块可以分别存储在能够与创作系统100进行通信的远程存储装置中。另一方面，这样的程序模块包括根据本发明执行下述的特定任务或执行特定抽象数据类型的例程、子例程、程序、对象、组件、数据结构等，但不限于此。
另一方面，虽然上文关于创作系统100进行了说明，但该说明是示例性的，并且对于本领域技术人员显而易见的是，根据需要，创作系统100的构成要素或功能中的至少一部分可以在服务器系统(未图示)或用户所拥有、携带或穿戴的装置400内实施，或者包括于这些服务器系统或装置400内。此外，在某些情况下，创作系统100的所有功能和所有构成要素可以完全在服务器系统或装置400内实施或者全部包括在服务器系统或装置400内。
根据本发明的一个实施例，装置400是配备有存储器并搭载有微处理器具有运算能力的数字设备，可以是诸如智能眼镜、智能手表、智能手环、智能戒指、智能项链(smartnecklace)、智能耳挂式耳机、智能耳机、智能耳环(smart earring)等的可穿戴装置；或者可以包括若干传统装置，如智能手机、智能平板、台式电脑、笔记本电脑、工作站、掌上电脑(PDA)、网络平板、移动电话、遥控器等。装置400不限于上述列举的示例，并且可以在能够实现本发明的目的的范围内尽可能多地进行改变。此外，根据本发明的一个实施例，装置400可以包括获取与文本、图像或影像等相关的内容的相机，以及测量与相机的位置和姿态相关的变化信息的传感器(例如，速度传感器、加速度传感器、GPS传感器等)或用于显示动画的显示装置(例如，显示器)。
一方面，根据本发明的一个实施例，装置400可以包括支持根据本发明的动画序列生成的应用程序。该应用程序可以从外部的应用程序分发服务器(未图示)下载。另一方面，该应用程序的特征整体上与下文所述的创作系统100的目标对象获取部110、属性信息确定部120、动画序列生成部130、通信部140和控制部150相似。这里，根据需要，应用程序的至少一部分可以被能够执行与其实质上相同或等效的功能的硬件装置或固件装置所代替。
首先，根据本发明的一个实施例，目标对象获取部110可以通过参照由相机拍摄的内容或源内容中的至少一个来执行获取目标对象的功能。根据本发明的一个实施例，应该从最广泛的意义上解释目标对象，其不仅包括诸如事物或生命体等能够清楚地指定形状或形式的对象，还包括诸如区域或空间等不能清楚地指定形状或形式的对象(例如，背景)。
例如，目标对象获取部110可以获取由相机拍摄的影像或图像、或者从源影像或图像中获取的多个真实世界(real world)对象中的至少一个对象作为目标对象。
更具体而言，当相机拍摄到包括人形在内的多个真实世界对象的图像时，目标对象获取部110将拍摄到的图像中的上述人形转换为虚拟对象(该虚拟对象可以是二维或三维对象)，并且可以获取该虚拟对象作为本发明中的目标对象。根据本发明的一个实施例，该虚拟对象可以具有与真实世界对象，即人形相同或相似的形状或颜色。此外，当相机拍摄到包括天空(例如，包括云)在内的多个真实世界对象的图像时，目标对象获取部110将被拍摄的图像中的上述天空(例如，包括云)转换为虚拟对象(该虚拟对象可以是二维或三维对象)，并且可以获取该虚拟对象作为本发明中的目标对象。另一方面，根据本发明的一个实施例的目标对象获取部110，在获取上述目标对象的过程中，可以利用众所周知的三维(3D)扫描技术、三维建模技术或三维渲染(rendering)技术。
又例如，目标对象获取部110将在创作系统100(或装置400)内部存储的图像或从外部系统(未图示)提供的图像，作为源内容来参照，从而获取目标对象。
接下来，根据本发明的一个实施例，属性信息确定部120可以基于与相机的位置和姿态中的至少一个相关的变化信息，确定与目标对象的动作和效果中的至少一个相关的属性信息。根据本发明的一个实施例，与上述相机的位置相关的变化信息，可以基于相机的绝对坐标(例如，GPS坐标等地理坐标)或相对坐标(例如，以由相机指定的预定点作为基准，相机所在的坐标)指定，例如可以包括相机的移动距离、移动方向、移动速度以及加速度中的至少一个。此外，与相机的姿态相关的变化信息可以包括与相机的倾斜、角速度以及角加速度中的至少一个相关的信息。此外，与目标对象的动作相关的属性信息可以包括与目标对象中作为移动对象的至少一个部位(例如，手、头、脚等)、该部位所移动的方向以及该部位所移动的程度(例如，移动距离、速度、加速度、角速度、角加速度、倾斜产生时间等)等相关的信息；与目标对象的效果相关的属性信息可以包括与作为效果对象的区域(或部位)、其效果类型(例如，雨、雪、闪电等)、其效果的感官类型(例如，视觉、触觉、听觉等)、其效果发生的程度(例如，发生的持续时间等)等相关的信息。
例如，目标对象是一个由头部和身体构成的人形，并且将与相机的位置和姿态相关的变化信息确定为该相机以人形为中心以预定角度和预定速度反复左右移动并进行摇摄(panning)时，属性信息确定部120可以对应上述变化信息将上述人形的头部确定为动作将要发生的部位，并根据上述变化信息(具体而言，配合相机的摇摄角度和摇摄速度)确定与目标对象的动作相关的属性信息，使得上述人形的头部左右移动。
再举一个例子，当目标对象是一个由头部、身体、手臂和腿构成的机器人，并且相机向特定方向加速移动为与相机的位置和姿态相关的变化信息时，属性信息确定部120可以对应上述变化信息，将与目标对象的动作相关的属性信息确定为上述机器人向上述特定方向加速奔跑(也可以包括上述机器人的手臂和腿前后移动)。
再举一个例子，目标对象是一个由头部、身体、手臂和腿构成的机器人，并且相机以预定点为基准从左向右(或者，相机的位置坐标从(x1，y1，z1)向(x2，y2，z2))以预定速度等速移动为与相机的位置和姿态相关的变化信息时，属性信息确定部120可以将上述机器人从与上述左侧对应的坐标行走到与上述右侧对应的坐标(或者，从(x1，y1，z1)行走到(x2，y2，z2))确定为与目标对象的动作相关的属性信息。另一方面，根据本发明的一个实施例，上述坐标可以是在以根据本发明的创作系统100、装置400或上述相机拍摄的预定点(或区域)为中心而定义的基准坐标系(或基准平面)中指定的坐标。
又例如，当目标对象是天空，并且相机以预定角度反复上下倾斜(tilting)为与相机的位置和姿态相关的变化信息时，属性信息确定部120可以将包括上述目标对象的预定区域确定为产生效果的区域，并对应上述变化信息(具体而言，相机的倾斜速度)，将上述预定区域中下雨或下雪确定为与目标对象的效果相关的属性信息。
另一方面，属性信息确定部120也可以参照与上述变化信息相关联的与目标对象的动作和效果相关的属性信息的数据库或查找表，确定与上述目标对象的动作和效果中的至少一个相关的属性信息。上述数据库或查找表可以预先设置或动态更新。
此外，属性信息确定部120也可以参照与上述相机的位置相关联的状况信息(例如，与地区的天气或场所相关联的主题)，确定与目标对象的动作和效果中的至少一个相关的属性信息。
例如，当相机所在地区的天气为下雪或下雨时，属性信息确定部120可将与目标对象的动作和效果相关的属性信息确定为与雪或雨相关。更具体而言，可以将目标对象打着伞并且周围在下雪或下雨确定为与目标对象的动作和效果相关的属性信息。
作为另一示例，当相机所在的场所是滑冰场时，属性信息确定部120可将与目标对象的动作和效果相关的属性信息确定为与滑冰相关。更具体而言，可将与目标对象的动作和效果相关的属性信息确定为目标对象穿着滑冰鞋移动或奔跑并且其周围在下雪。
另一方面，属性信息确定部120可以进一步基于与上述变化信息相关联的用户产生的输入动作信息，来确定与上述目标对象的动作和效果中的至少一个相关的属性信息。
例如，当与上述变化信息相关联的用户对包括上述相机的装置(例如，智能手机)进行按钮(或触摸)输入时，也可以对应上述按钮输入，确定与上述目标对象的动作和效果中的至少一个相关的属性信息。
接下来，根据本发明的一个实施例的动画序列生成部130可以参照由上述属性信息确定部120确定的属性信息，生成与目标对象相关的动画序列。
例如，动画序列生成部130可以将属性信息确定部120所确定的与动作和效果相关的属性信息与与相机相关联的时间序列进行匹配，从而生成与目标对象相关的动画序列。根据本发明的一个实施例，在时间序列中可以存在至少一个容器组(pod)，即由属性信息确定部120确定的与动作和效果相关的属性信息所匹配的点(或时间点)。
此外，动画序列生成部130可以通过渲染与目标对象相关的动画序列，从而生成与目标对象相关的动画。
例如，动画序列生成部130可以将与目标对象相关的动画序列与由相机拍摄的真实世界影像或混合现实影像相结合进行渲染，从而生成增强现实(AR；Augmented Reality)影像。
更具体而言，动画序列生成部130使用SLAM(同步定位和映射)技术追踪由相机拍摄的真实世界影像的坐标并提取3D映射(3D Mapping)坐标，通过参照上述被追踪的真实世界影像的坐标以及上述被提取的3D映射坐标的信息，可以确定与目标对象相关的动画序列将要在上述真实世界影像中显示的坐标，并基于该要显示的坐标，将与目标对象相关的动画序列与真实世界影像相结合，从而生成增强现实影像。
又例如，动画序列生成部130也可以将与目标对象相关的动画序列与虚拟现实影像相结合进行渲染，从而生成与目标对象相关的动画。
接下来，根据本发明的一个实施例，通信部140能够执行在目标对象获取部110、属性信息确定部120和动画序列生成部130之间往来的数据的发送/接收功能。
最后，根据本发明的一个实施例，控制部150能够执行在目标对象获取部110、属性信息确定部120、动画序列生成部130和通信部140之间控制数据流的功能。即，根据本发明的控制部150控制去往/来自创作系统100的外部的数据流或创作系统100的各构成要素之间的数据流，从而可以控制目标对象获取部110、属性信息确定部120、动画序列生成部130和通信部140分别执行各自固有的功能。
以下示例性地描述通过上述说明的创作系统100生成动画序列的过程。
第一实施例
图2至图4是根据本发明的一个实施例的生成动画序列的示例性过程图。
参照图2至图4，可以假设根据本发明的一个实施例的创作系统100被包括在智能手机400(即，根据本发明的装置400)中。
首先，可以基于智能手机400的相机所拍摄的内容(例如，图像)获取目标对象300。
例如，参照图2，可以利用智能手机400的相机拍摄210、220包括真实世界对象200的图像，并且基于所拍摄的图像获取目标对象300。在这种情况下，为了执行对真实世界对象200的3D扫描，可以以真实世界对象200为中心，以左右210或上下220的角度旋转，从而进行拍摄。
随后，可以在智能手机400的相机正在拍摄的影像内，虚拟地生成上述被获取的目标对象300。
例如，参照图3，可以在上述智能手机400的相机正在拍摄的背景310内，虚拟地布置上述被获取的目标对象300。
然后，可以基于与上述智能手机400的相机的位置和姿态中的至少一个相关的变化信息，确定与目标对象300的动作和效果中的至少一个相关的属性信息。
例如，参照图4，当上述智能手机400的相机以目标对象300为中心沿预定路径410移动时，可以针对与相机相关联的时间序列中每隔预定周期(或每当发生预定事件时(例如，每当相机动作的变化大于预定水平时))指定的至少一个容器组(pod)401、402、403，匹配与上述变化信息相对应的与目标对象300的动作和效果相关的属性信息。
更具体而言，在第一容器组401中，当上述变化信息为相机从右向左移动同时相机摆动多次的情况时，可以确定与目标对象300的动作相关的属性信息为，目标对象300在从右向左行走的同时手在摆动。另外，在第二容器组402中，当相机靠近目标对象300为上述变化信息时，可以确定与目标对象300的效果相关的属性信息为，以目标对象300为中心在视觉或听觉上产生焰火效果。另外，在第三容器组403中，当相机以2m/s以上的速度远离目标对象300移动为上述变化信息时，可以确定与目标对象300的动作和效果相关的属性信息为，以目标对象300为中心在视觉上或听觉上产生闪电效果，同时目标对象300向后奔跑。
然后，可以基于上述所确定的与动作和效果相关的属性信息，来生成与目标对象相关的动画序列。
另一方面，可以在创作系统100中配置图形用户界面(GUI)，以支持针对与目标对象相关的动画序列的至少一个动作或至少一种效果进行添加、修改和删除中的至少一种。
例如，可以支持：以已确定的容器组(pod)420、421(具体而言，在时间上比上文讨论的容器组(pod)401、402、403更早确定的容器组)或上文讨论的容器组(pod)401、402、403为基准，执行上述至少一个动作或者上述至少一种效果的添加、修改和删除。
图5示例性地示出了根据本发明的一个实施例生成的动画序列在真实世界背景中动作的画面。
参照图5，根据本发明的一个实施例，目标对象300可以被增强并放置在由上述智能手机400的相机所拍摄的场所(即，厨房)中，可以生成上述目标对象300在从厨房的右侧行走到左侧的同时手在摆动，之后以目标对象300为中心在视觉或听觉上产生焰火效果，并在以目标对象300为中心在视觉或听觉上产生闪电效果的同时目标对象300向后侧(即，水槽)奔跑的增强现实影像。
第二实施例
图6是根据本发明的另一实施例的生成动画序列的示例性过程图。
参照图6，可以假设根据本发明的一个实施例的创作系统100被包括在头戴式显示器(HMD；Head Mounted Display)600(即，根据本发明的装置400)中。这样的头戴式显示器600既可以包括相机，也可以包括例如谷歌公司的谷歌眼镜(Google Glass)、VergenceLabs公司的智能(Epiphany)眼镜、Vuzix公司的M100眼镜等的一些特性。
首先，可以基于头戴式显示器600中存储的源内容(例如，图像)获取目标对象(例如，老虎(图7中的701))。
然后，可以基于与上述头戴式显示器600的相机的位置和姿态中的至少一个相关的变化信息，确定与目标对象701的动作和效果中的至少一个相关的属性信息。
例如，当上述头戴式显示器600的相机沿预定路径(例如，箭头)移动时，可以针对与相机相关联的时间序列中每隔预定周期(或每当发生预定事件时(例如，每当相机动作的变化大于预定水平时))指定的至少一个容器组601、602、603，匹配与上述变化信息相对应的与目标对象的动作和效果相关的属性信息。更具体而言，在第一容器组601中，当上述变化信息为相机从走廊外部窗户(即，图像上的左侧窗户)处移动到走廊内部窗户(即，图像上的右侧窗户)处时，可以将与上述目标对象701的动作相关的属性信息确定为目标对象701从与走廊外部窗户对应的坐标处加速移动到与走廊内部窗户对应的坐标处。另外，在第二容器组602中，当上述变化信息为相机左右旋转时，可以将与上述目标对象701的动作相关的属性信息确定为上述目标对象701在左右旋转头部的同时环顾四周。另外，在第三容器组603中，当上述变化信息为相机从走廊内部窗户处移动到走廊尽头而其移动速度为等速时，可以将与目标对象701的动作相关的属性信息确定为目标对象701以一定的速度在摆动手臂的同时从与走廊内部窗户对应的坐标处行走到与走廊尽头对应的坐标处。
然后，可以基于确定的上述与动作和效果相关的属性信息，生成与目标对象701相关的动画序列。
然后，可以将上述与目标对象701相关的动画序列与由上述相机拍摄的真实世界影像相结合，从而生成增强现实(AR)影像。另一方面，可以将上述与目标对象701相关的动画序列与在上述头戴式显示器600上显示的影像相组合，从而生成虚拟现实影像或混合现实影像。
图7示例性地示出了根据本发明的另一实施例生成的上述动画序列在真实世界背景中动作的画面。
参照图7，根据本发明的一个实施例，可以以上述头戴式显示器600的相机拍摄的地点(即，走廊)为中心增强并布置目标对象701，并生成如下的增强现实影像：目标对象701从走廊外部窗户处加速奔跑到走廊内部窗户处，并在走廊内部窗户处转头环顾四周，然后在摆动手臂的同时从走廊内部窗户处匀速行走到走廊尽头。
第三实施例
图8是根据本发明的又一实施例的生成动画序列的示例性过程图。
参照图8，可以假设根据本发明的一个实施例的创作系统100被包括在智能手机400(即，根据本发明的装置400)中。
首先，可以基于智能手机400中存储的源内容(例如，视频、图像等)获取目标对象(例如，钢铁侠角色(图9中的901))。
然后，可以基于与上述智能手机400的相机的位置和姿态中的至少一个相关的变化信息，确定与目标对象901的动作和效果中的至少一个相关的属性信息。
例如，当上述智能手机400的相机沿预定路径(例如，箭头方向)移动时，可以针对与相机相关联的时间序列中每隔预定周期(或每当发生预定事件(例如，每当相机动作的变化大于预定水平)时)指定的至少一个容器组(pod)801、802，匹配与上述变化信息相对应的与目标对象的动作和效果相关的属性信息。
更具体而言，在第一容器组801中，当上述变化信息为相机从桌子左侧减速平行移动到右侧时，可以将与目标对象901的动作相关的属性信息确定为目标对象901从与桌子的左侧对应的坐标减速奔跑到与桌子的右侧对应的坐标。此外，在第二容器组802中，当上述变化信息为相机相对于平行移动的方向以预定角度向上侧加速移动时，可以将与目标对象901的动作和效果相关的属性信息确定为目标对象901相对于平行移动的方向以预定角度向上侧飞行，同时以目标对象901为中心产生闪电效果。
然后，可以基于上述确定的与动作和效果相关的属性信息，生成与目标对象901相关的动画序列。
然后，可以将上述与目标对象901相关的动画序列与由上述相机拍摄的真实世界影像相结合，从而生成增强现实(AR)影像。
图9示例性地示出了根据本发明的另一实施例生成的上述动画序列在真实世界背景中动作的画面。
参照图9，根据本发明的又一个实施例，可以以上述智能手机400的相机拍摄的地点(即，桌子上方)为中心增强并布置目标对象901，并生成如下的增强现实影像：目标对象901减速从桌子的左侧奔跑到右侧，并相对于平行移动的方向以预定角度向上侧飞行同时产生闪电效果。
上文主要说明了目标对象是有形对象的情况，但是即使目标对象是无形对象，也可以通过与上述说明的过程相同的过程来生成动画序列。
上文所述的根据本发明的实施例，可以以通过各种计算机组件执行的程序指令的形式来实现，并记录在计算机可读存储介质中。上述计算机可读存储介质可以包括单独或组合的程序指令、数据文件、数据结构等。记录在上述计算机可读存储介质中的程序指令，可以是为本发明专门设计和配置的，也可以是计算机软件领域的技术人员已知并可使用的。计算机可读存储介质的示例包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光存储介质、诸如软盘(floptical disk)的磁光介质(magneto-optical medium)以及诸如ROM、RAM、闪存等的用于存储和执行程序指令的硬件装置。程序指令的示例不仅包括诸如由编译器生成的机器代码，还包括可以由计算机使用解释程序等执行的高级语言代码。硬件装置可以转换为一个以上的软件模块以执行根据本发明的处理，反之亦然。
以上，已经结合具体构成要素等具体事项、限定实施例以及附图对本发明进行了说明，但提供这些内容是为了帮助更全面地理解本发明，本发明并不限于上述实施例，本发明所属领域的普通技术人员可以根据这些记载进行各种修改和改变。
因此，本发明的精神不应限于上述说明的实施例，不仅下述的权利要求范围，与该权利要求范围等同或等价变换的所有范围都落入本发明的精神范围内。
Claims (11)
1.一种生成动画序列的方法，包括：
基于与相机的位置和姿态中的至少一个相关的变化信息，确定与目标对象的动作和效果中的至少一个相关的属性信息的步骤；以及
参照确定的所述属性信息，生成与所述目标对象相关的动画序列的步骤。
2.根据权利要求1所述的方法，其特征在于，
通过参照由所述相机拍摄的内容和源内容中的至少一个获取所述目标对象。
3.根据权利要求2所述的方法，其特征在于，
所述目标对象为在由所述相机拍摄的内容和所述源内容中指定的多个对象中的至少一个。
4.根据权利要求1所述的方法，其特征在于，
所述方法还包括：将与所述目标对象相关的动画序列与由所述相机拍摄的真实世界影像相结合，从而生成增强现实影像的步骤。
5.根据权利要求1所述的方法，其特征在于，
所述方法提供图形用户界面，以支持针对与所述目标对象相关的动画序列的至少一个动作或至少一种效果进行添加、修改和删除中的至少一种。
6.一种非瞬时计算机可读存储介质，其特征在于，
所述非瞬时计算机可读存储介质存储有用于执行根据权利要求1所述的方法的计算机程序。
7.一种生成动画序列的系统，包括：
属性信息确定部，其基于与相机的位置和姿态中的至少一个相关的变化信息，确定与目标对象的动作和效果中的至少一个相关的属性信息；以及
动画序列生成部，其参照确定的所述属性信息，生成与所述目标对象相关的动画序列。
8.根据权利要求7所述的系统，其特征在于，
所述系统还包括目标对象获取部，其参照由所述相机拍摄的内容和源内容中的至少一个获取所述目标对象。
9.根据权利要求8所述的系统，其特征在于，
所述目标对象为在由所述相机拍摄的内容和所述源内容中指定的多个对象中的至少一个。
10.根据权利要求7所述的系统，其特征在于，
所述动画序列生成部将与所述目标对象相关的动画序列与由所述相机拍摄的真实世界影像相结合，从而生成增强现实影像。
11.根据权利要求7所述的系统，其特征在于，
所述系统提供图形用户界面，以支持针对与所述目标对象相关的动画序列的至少一个动作或至少一种效果进行添加、修改和删除中的至少一种。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20180165686 | 2018-12-19 | ||
| KR10-2018-0165686 | 2018-12-19 | ||
| PCT/KR2019/018138 WO2020130692A1 (ko) | 2018-12-19 | 2019-12-19 | 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113424230A true CN113424230A (zh) | 2021-09-21 |
| CN113424230B CN113424230B (zh) | 2024-03-05 |
Family
ID=71100730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980091913.XA Active CN113424230B (zh) | 2018-12-19 | 2019-12-19 | 生成动画序列的方法、系统以及非瞬时计算机可读存储介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11645802B2 (zh) |
| JP (2) | JP7478740B2 (zh) |
| KR (2) | KR102361728B1 (zh) |
| CN (1) | CN113424230B (zh) |
| WO (1) | WO2020130692A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220012203A (ko) * | 2020-07-22 | 2022-02-03 | (주) 애니펜 | 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
| CN116134041A (zh) | 2020-07-31 | 2023-05-16 | 株式会社Lg化学 | 制造烷氧基硅烷化合物的方法 |
| WO2023022373A1 (en) * | 2021-08-19 | 2023-02-23 | Samsung Electronics Co., Ltd. | Method and system for generating an animation from a static image |
| CN117321637A (zh) | 2021-08-19 | 2023-12-29 | 三星电子株式会社 | 用于从静态图像生成动画的方法和系统 |
| WO2023224250A1 (ko) * | 2022-05-16 | 2023-11-23 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103270537A (zh) * | 2011-10-27 | 2013-08-28 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
| CN104662587A (zh) * | 2012-07-27 | 2015-05-27 | 日本电气方案创新株式会社 | 三维用户界面装置以及三维操作方法 |
| CN107408026A (zh) * | 2015-03-31 | 2017-11-28 | 索尼公司 | 信息处理设备、信息处理方法和计算机程序 |
| CN108292358A (zh) * | 2015-12-15 | 2018-07-17 | 英特尔公司 | 用于识别系统的合成三维对象图像的生成 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009169471A (ja) | 2008-01-10 | 2009-07-30 | Namco Bandai Games Inc | プログラム、情報記憶媒体、及び画像生成システム |
| GB201208088D0 (en) | 2012-05-09 | 2012-06-20 | Ncam Sollutions Ltd | Ncam |
| KR20140095414A (ko) | 2013-01-24 | 2014-08-01 | (주) 애니펜 | 애니메이션의 모션 시퀀스를 생성하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| KR101692335B1 (ko) * | 2015-02-25 | 2017-01-03 | 이은미 | 증강현실 영상표시 시스템 및 증강현실 영상표시 방법 |
| US10360728B2 (en) * | 2015-05-19 | 2019-07-23 | Hand Held Products, Inc. | Augmented reality device, system, and method for safety |
| KR20170067673A (ko) | 2015-12-08 | 2017-06-16 | 스타십벤딩머신 주식회사 | 애니메이션 생성 방법 및 애니메이션 생성 장치 |
| US20190004639A1 (en) * | 2017-06-29 | 2019-01-03 | Microsoft Technology Licensing, Llc | Providing living avatars within virtual meetings |
| KR101909994B1 (ko) | 2017-08-09 | 2018-10-22 | 서영철 | 나노블럭을 이용한 3d 증강현실 서비스 제공 방법 |
| KR101910931B1 (ko) | 2017-08-09 | 2018-10-23 | 서영철 | 고유코드를 이용한 푸드 3d 증강현실 서비스 제공 방법 |
| KR102009031B1 (ko) | 2018-09-07 | 2019-08-08 | 네이버랩스 주식회사 | 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템 |
-
2019
- 2019-12-19 US US17/416,146 patent/US11645802B2/en active Active
- 2019-12-19 WO PCT/KR2019/018138 patent/WO2020130692A1/ko active Application Filing
- 2019-12-19 CN CN201980091913.XA patent/CN113424230B/zh active Active
- 2019-12-19 JP JP2021536365A patent/JP7478740B2/ja active Active
- 2019-12-19 KR KR1020190171212A patent/KR102361728B1/ko active IP Right Grant
-
2021
- 2021-07-28 KR KR1020210099507A patent/KR102523601B1/ko active IP Right Grant
-
2024
- 2024-03-06 JP JP2024034340A patent/JP2024061774A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103270537A (zh) * | 2011-10-27 | 2013-08-28 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
| CN104662587A (zh) * | 2012-07-27 | 2015-05-27 | 日本电气方案创新株式会社 | 三维用户界面装置以及三维操作方法 |
| CN107408026A (zh) * | 2015-03-31 | 2017-11-28 | 索尼公司 | 信息处理设备、信息处理方法和计算机程序 |
| CN108292358A (zh) * | 2015-12-15 | 2018-07-17 | 英特尔公司 | 用于识别系统的合成三维对象图像的生成 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220076473A1 (en) | 2022-03-10 |
| KR102523601B1 (ko) | 2023-04-20 |
| JP2022516029A (ja) | 2022-02-24 |
| KR20200076647A (ko) | 2020-06-29 |
| KR102361728B1 (ko) | 2022-02-11 |
| JP2024061774A (ja) | 2024-05-08 |
| US11645802B2 (en) | 2023-05-09 |
| CN113424230B (zh) | 2024-03-05 |
| JP7478740B2 (ja) | 2024-05-07 |
| WO2020130692A1 (ko) | 2020-06-25 |
| KR20210100048A (ko) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11532102B1 (en) | Scene interactions in a previsualization environment | |
| JP7002684B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
| CN113424230B (zh) | 生成动画序列的方法、系统以及非瞬时计算机可读存储介质 | |
| JP7246352B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
| US20180190022A1 (en) | Dynamic depth-based content creation in virtual reality environments | |
| CN111602104B (zh) | 用于与所识别的对象相关联地呈现合成现实内容的方法和设备 | |
| EP3788464B1 (en) | Moving about a computer simulated reality setting | |
| CN112639685A (zh) | 模拟现实（sr）中的显示设备共享和交互 | |
| CN111602391B (zh) | 用于根据物理环境定制合成现实体验的方法和设备 | |
| JP6554139B2 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
| JP6856572B2 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
| US11645797B1 (en) | Motion control for an object | |
| US20240273835A1 (en) | Communication devices, adapting entity and methods for augmented/mixed reality communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |