CN116235208A - 用于制作动画的方法、系统及非暂时性计算机可读记录介质 - Google Patents

用于制作动画的方法、系统及非暂时性计算机可读记录介质 Download PDF

Info

Publication number
CN116235208A
CN116235208A CN202180063892.8A CN202180063892A CN116235208A CN 116235208 A CN116235208 A CN 116235208A CN 202180063892 A CN202180063892 A CN 202180063892A CN 116235208 A CN116235208 A CN 116235208A
Authority
CN
China
Prior art keywords
world object
virtual
real world
feature information
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180063892.8A
Other languages
English (en)
Inventor
田载雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anipen Co ltd
Original Assignee
Anipen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anipen Co ltd filed Critical Anipen Co ltd
Publication of CN116235208A publication Critical patent/CN116235208A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

根据本发明的一方式，提供一种用于制作动画的方法，其包括如下步骤：从输入影像获得与现实世界客体的外观及运动有关的特征信息的步骤；参考与所述现实世界客体的外观有关的特征信息来决定与所述现实世界客体相关的虚拟客体，并参考与所述现实世界客体的运动有关的特征信息来决定与所述现实世界客体相关的虚拟运动的步骤；及根据所述虚拟客体及所述虚拟运动生成动画序列的步骤。

Description

用于制作动画的方法、系统及非暂时性计算机可读记录介质
技术领域
本发明涉及一种用于制作动画的方法、系统及非暂时性计算机可读记录介质。
背景技术
近年来，针对在个人电脑或移动终端装置等数字器件的二维画面上也能够三维地表现的内容(contents)的需求逐渐增加。并且，随着个人媒体平台、内容创作者平台等的活跃，想要直接制作三维内容来使用的一般人用户逐渐增加。
但是，以往为了制作这样的三维内容，利用了内容制作用工具(tool)，但通常的动画制作用工具其使用方法复杂且难度高，一般只有熟练的专家才能使用。
因此，本发明人等提出如下的新型且进步的技术：能够根据从输入影像确定的与现实世界客体的外观及运动有关的特征信息来决定虚拟客体及虚拟运动，并基于该虚拟客体及虚拟运动生成动画序列。
现有技术文献
专利文献
专利文献1：韩国公开专利公报第2014-0070915号(2014.06.11)
发明内容
发明要解决的技术课题
本发明的目的在于解决前述的以往技术的所有技术问题点。
并且，本发明的另一目的在于支援任何人都能够利用摄影影像轻松简便地制作动画。
并且，本发明的又一目的在于在与动画制作相关的平台上由用户购买并持有的虚拟客体之中决定具有与现实世界客体的外观相似规定水平以上的外观的虚拟客体，在与动画制作相关的平台上由用户购买并持有的虚拟运动之中决定与现实世界客体的运动相似规定水平以上的虚拟运动，利用所决定的虚拟客体及虚拟运动生成动画序列。
用于解决技术课题的手段
用于实现所述目的的本发明的代表性构成如下。
根据本发明的一方式，提供一种用于制作动画的方法，其包括如下步骤：从输入影像获得与现实世界客体的外观及运动有关的特征信息的步骤；参考与所述现实世界客体的外观有关的特征信息来决定与所述现实世界客体相关的虚拟客体，并参考与所述现实世界客体的运动有关的特征信息来决定与所述现实世界客体相关的虚拟运动的步骤；及根据所述虚拟客体及所述虚拟运动生成动画序列的步骤。
根据本发明的另一方式，提供一种用于制作动画的系统，其包括：特征信息获得部，从输入影像获得与现实世界客体的外观及运动有关的特征信息；决定部，参考与所述现实世界客体的外观有关的特征信息来决定与所述现实世界客体相关的虚拟客体，并参考与所述现实世界客体的运动有关的特征信息来决定与所述现实世界客体相关的虚拟运动；及序列生成部，根据所述虚拟客体及所述虚拟运动生成动画序列。
此外，还提供用于实现本发明的其他方法、其他系统及记录用于执行所述方法的计算机程序的非暂时性计算机可读记录介质。
发明效果
根据本发明，任何人都能够利用摄影影像轻松简便地制作动画。
并且，根据本发明，能够在与动画制作相关的平台上由用户购买并持有的虚拟客体之中，决定具有与现实世界客体的外观相似规定水平以上的外观的虚拟客体，在与动画制作相关的平台上由用户购买并持有的虚拟运动之中，决定与现实世界客体的运动相似规定水平以上的虚拟运动，利用所决定的虚拟客体及虚拟运动生成动画序列。
附图说明
图1是表示用于根据本发明的一实施例制作动画的整体系统的概略结构的图。
图2是详细地表示基于本发明的一实施例的动画制作系统的内部结构的图。
图3至图10是表示根据本发明的一实施例例示地表示制作动画的过程的图。
符号说明：100-通信网，200-动画制作系统，210-特征信息获得部，220-决定部，230-序列生成部，240-共享管理部，250-通信部，260-控制部，300-器件
具体实施方式
后述的关于本发明的详细说明中参考将能够实施本发明的特定实施例作为例示而示出的附图。对这样的实施例充分详细地进行说明，以便本领域技术人员能够实施本发明。本发明的多种实施例互不相同，但应该理解，该多种实施例无需相互排他。例如，本说明书中所记载的特定形状、结构及特性在不脱离本发明的精神和范围的情况下可以由一实施例变更为其他实施例来实现。并且，应该理解，各个实施例中的个别构成要素的位置或配置在不脱离本发明的精神和范围的情况下也可以进行变更。因此，后述的详细说明不是作为限定性的含义而进行的，而应该接受为本发明的范围包括权利要求范围的权利要求项所请求的范围和与其均等的所有范围。在图中相似的参考符号在各个侧面表示相同或相似的构成要素。
以下，为了使在本发明所属技术领域中具有通常知识的人员能够容易地实施本发明，参考附图对本发明的若干个优选实施例进行详细说明。
整体系统的结构
图1是表示用于根据本发明的一实施例制作动画的整体系统的概略结构的图。
如图1所示，基于本发明的一实施例的整体系统可以包含通信网(100)、动画制作系统(200)及器件(300)而构成。
首先，基于本发明的一实施例的通信网(100)可以不区分有线通信或无线通信之类的通信方式而构成，可以由局域网(LAN；Local Area Network)、城域网(MAN；Metropolitan Area Network)、广域网(WAN；Wide Area Network)等多种通信网构成。优选地，在本说明书中所说的通信网(100)可以为公知的互联网或万维网(WWW；World WideWeb)。但是，通信网(100)无需一定局限于此，也可以在其至少一部分中包含公知的有线/无线数据通信网、公知的电话网或公知的有线/无线电视网。
例如，通信网(100)可以是无线数据通信网，且在其至少一部分中实现无线电频率(RF；Radio Frequency)通信、WiFi通信、蜂窝(LTE等)通信、蓝牙通信(更具体而言，是低功耗蓝牙(BLE；Bluetooth Low Energy)通信)、红外线通信、超声波通信等以往的通信方法。
接着，基于本发明的一实施例的动画制作系统(200)可以是具备存储器单元并且搭载微处理器而具备运算能力的数字器件。例如，这样的动画制作系统(200)可以是服务器系统。
基于本发明的一实施例的动画制作系统(200)能够执行如下功能：从输入影像获得与现实世界客体的外观及运动有关的特征信息，参考与现实世界客体的外观有关的特征信息来决定与现实世界客体相关的虚拟客体，参考与现实世界客体的运动有关的特征信息来决定与现实世界客体相关的虚拟运动，并根据虚拟客体及虚拟运动生成动画序列。
基于本发明的一实施例的输入影像可以指由至少一个相机模块(例如，RG B相机、红外线相机、紫外线相机、TOF(Time-of-Flight)相机等)或至少一个扫描仪模块(例如，激光雷达(LiDAR)传感器、雷达(radar)传感器等)实时拍摄或在规定期间内拍摄的影像。并且，如上所述的输入影像可以包括二维影像或三维影像。另一方面，需明确，基于本发明的一实施例的输入影像并不一定仅限于上述举出的相机模块(或相机模块的种类)或扫描仪模块(或扫描仪模块的种类)，可以在能够实现本发明的目的的范围内可以各种各样地进行变更。
并且，基于本发明的一实施例的现实世界客体可以是统称能够利用上述的至少一个相机模块或至少一个扫描仪模块确定的现实世界中的人、事物等所有类型的对象的概念。
以下，更详细地了解一下基于本发明的动画制作系统(200)的结构和功能。另一方面，关于动画制作系统(200)，如上所述那样进行了说明，但这样的说明仅为例示，对动画制作系统(200)所要求的功能或构成要素的至少一部分根据需要可以在后述的器件(300)或外部系统(未图示)内实现，或者可以包含于器件(300)或外部系统中，这对本领域技术人员而言是自知之明的。
接着，基于本发明的一实施例的器件(300)是具有能够通过通信网(100)连接于动画制作系统(200)之后进行通信的功能的数字设备，像智能手机、平板PC等那样，只要具备存储器单元并且搭载微处理器而具备运算能力的能够携带的数字设备，就可以作为基于本发明的器件(300)而采用。并且，根据本发明的一实施例，器件(300)中还可以包含用于获得输入影像的至少一个相机模块或至少一个扫描仪模块、用于播放动画的显示器模块(例如，LCD、LED显示器、OLED显示器等)。
另一方面，基于本发明的一实施例的器件(300)中还可以包含用于支援基于本发明的动画制作功能的应用程序。这样的应用程序可以从动画制作系统(200)或外部的应用程序分发服务器(未图示)下载。
动画制作系统的结构
以下，了解一下为了实现本发明而执行重要功能的动画制作系统(200)的内部结构及各构成要素的功能。
图2是详细地表示基于本发明的一实施例的动画制作系统(200)的内部结构的图。
如图2所示，可以包含特征信息获得部(210)、决定部(220)、序列生成部(230)、共享管理部(240)、通信部(250)及控制部(260)而构成。根据本发明的一实施例，特征信息获得部(210)、决定部(220)、序列生成部(230)、共享管理部(240)、通信部(250)及控制部(260)中的至少一部分可以是与外部的系统进行通信的程序模块。这样的程序模块可以以操作系统、应用程序模块或其他程序模块的方式包含于动画制作系统(200)中，且可以物理地存储于各种公知的存储装置中。并且，这样的程序模块也可以存储于能够与动画制作系统(200)进行通信的远程存储装置中。另一方面，这样的程序模块包括根据本发明执行后述的特定业务或执行特定抽象数据类型的例行程序(routine)、子程序(subroutine)、程序(program)、对象(obje ct)、组件(component)、数据结构等，但并不限于此。
首先，基于本发明的一实施例的特征信息获得部(210)能够执行从输入影像获得与现实世界客体的外观及运动有关的特征信息的功能。基于本发明的一实施例的与现实世界客体的外观有关的特征信息中可以包含与现实世界客体(具体而言，在现实世界客体中确定的各区域或各部位)的大小、高度、宽度、形状、颜色、位置、温度、连接关系等有关的信息，基于本发明的一实施例的与现实世界客体的运动有关的特征信息中可以包含与现实世界客体(具体而言，在现实世界客体中特定的各区域或各部位)的移动速度、移动路径、移动角度、加速度、角速度等有关的信息。
例如，特征信息获得部(210)能够从输入影像确定现实世界客体的种类(例如，人、动物、植物、事物等)，并参考该种类提取与现实世界客体的外观及运动有关的特征信息。更具体而言，若现实世界客体的种类被确定为人，则特征信息获得部(210)能够参考与人的身体结构(例如，头、脸、眼睛、鼻子、嘴、手臂及腿的位置、形状及连接关系)及动作(例如、头、脸、眼睛、鼻子、嘴、手臂及腿的可动范围及方向)有关的模型来确定人的各身体部位的属性，并能够基于该确定的各身体部位的属性来提取与人的外观(例如，性别、身高、发型、打扮、脸的各部位的位置及大小等)及运动(例如，人或人的各身体部位的移动路径、移动速度、移动方向等)有关的特征信息。并且，若现实世界客体的种类被确定为公交车，则特征信息获得部(210)能够参考与公交车的结构(例如，车身、车轮及车窗的位置、形状及方向)及动作(例如，车轮的可动范围及方向)有关的模型来确定公交车的各构成要素的属性，并能够基于该确定的各构成要素的属性来提取与公交车的外观及运动有关的特征信息。
举出另一例，特征信息获得部(210)利用用于识别现实世界客体(或现实世界客体的种类)或用于提取现实世界客体的特征的客体分析模型分析输入影像中的现实世界客体，由此能够识别现实世界客体为什么客体或为什么种类的客体或者提取与现实世界客体的外观及运动有关的特征信息。在此，客体分析模型可以是利用多个现实世界客体及与和该多个现实世界客体相关的外观(例如，在各现实世界客体中确定的各区域或各部位的大小、高度、宽度、形状、颜色、位置、温度、连接关系等)及运动(例如，在各现实世界客体中确定的各区域或各部位的移动速度、移动路径、移动角度、加速度、角速度等)有关的特征信息进行了学习的模型(在该情况下，还可以考虑在输入影像中确定的现实世界客体的位置、现实世界客体的方向及至现实世界客体为止的距离中的至少一个而进行针对多个现实世界客体及与和该多个现实世界客体相关的外观及运动有关的特征信息的学习)。这样的学习可以基于朴素贝叶斯(Naiv e Bayes)分类、支持向量机(Support Vector Machine；SVM)、人工神经网络(Artificial Neural Network；ANN)、隐马尔可夫模型(Hidden MarkovModel；HMM)等算法来进行。并且，特征信息获得部(210)可以利用一个客体分析模型来识别现实世界客体(或现实世界客体的种类)或者提取与该现实世界客体的外观及运动有关的特征信息，但也可以分别构成用于识别现实世界客体(或现实世界客体的种类)的第1客体分析模型、用于提取与现实世界客体的外观有关的特征信息的第2客体分析模型及用于提取与现实世界客体的运动有关的特征信息的第3客体分析模型，并利用该各个模型来识别现实世界客体为什么客体或者提取与现实世界客体的外观及运动有关的特征信息。
更具体而言，特征信息获得部(210)可以利用用于识别现实世界客体(或现实世界客体的种类)的第1客体分析模型从输入影像识别该输入影像中的现实世界客体为什么客体或为什么种类的客体(在该情况下，可以将输入影像或与输入影像中的现实世界客体有关的数据输入到第1客体分析模型中并执行检测(detect)、分类(classification)、细分(segmentation)及辨识(recognition)过程来识别现实世界客体(或现实世界客体的种类))。并且，特征信息获得部(210)可以利用用于提取与现实世界客体的外观有关的特征信息的第2客体分析模型来提取与现实世界客体的外观有关的特征信息(在该情况下，可以将输入影像或与输入影像中的现实世界客体有关的数据输入到第2客体分析模型中并执行检测、分类、细分及辨识过程来提取与现实世界客体的外观有关的特征信息)。并且，特征信息获得部(210)可以利用用于提取与现实世界客体的运动有关的特征信息的第3客体分析模型来提取与现实世界客体的运动有关的特征信息(在该情况下，可以将输入影像或与输入影像中的现实世界客体有关的数据输入到第3客体分析模型中并执行检测、分类、细分及识别过程来提取与现实世界客体的运动有关的特征信息)。另一方面，这样的第3客体分析模型还可以包含用于探测出现实世界客体的骨架(骨骼)并连接骨架点(例如，当现实世界客体为人时是关节点)的学习模型(例如，用于进行骨骼作业的学习模型)、根据骨骼探测现实世界客体的行动的学习模型、用于探测与现实世界客体相关的状况的学习模型等模型。
并且，特征信息获得部(210)从输入影像还可以获得与现实世界客体的情绪有关的特征信息。基于本发明的与现实世界客体的情绪有关的特征信息中可以包含与情绪的种类(例如，高兴、生气、悲伤、愉快、幸福、厌烦等)及强弱(或强度)有关的信息。
例如，特征信息获得部(210)能够从输入影像确定现实世界客体的种类(例如，人、动物、植物、事物等)，并参考该种类获得与现实世界客体的情绪有关的特征信息。更具体而言，若现实世界客体的种类被确定为人，则特征信息获得部(210)能够参考与人的身体结构(例如，头、脸、眼睛、鼻子、嘴、手臂及腿的位置、形状及连接关系)及动作(例如，头、脸、眼睛、鼻子、嘴、手臂及腿的可动范围及方向)有关的模型来确定人的各身体部位的属性，并能够基于该确定的各身体部位的属性来提取与人情绪有关的特征信息。
举出另一例，特征信息获得部(210)能够参考用于从现实世界客体提取与情绪有关的特征的客体分析模型分析输入影像中的现实世界客体来提取与现实世界客体的情绪有关的特征信息。这样的客体分析模型其结构及方式的至少一部分可以与在前面了解的用于提取与外观或运动有关的特征信息的客体分析模型相似。
举出又一例，特征信息获得部(210)能够根据与现实世界客体的外观及运动中的至少一个有关的特征信息来提取与现实世界客体的情绪有关的特征信息。更具体而言，例如，当现实世界客体为人时，特征信息获得部(210)能够根据与人的外观及运动有关的特征信息确定眼睛的位置、嘴的位置、形状及动作，以此为基准决定人情绪的种类，或者，根据与人的外观及运动有关的特征信息确定手和腿(或脚)的动作、移动路径及移动速度，以此为基准决定人情绪的种类(例如，当在特定地点徘徊时可以确定为是焦躁的情绪)。并且，例如，当现实世界客体为人时，特征信息获得部(210)能够根据与人的外观及运动有关的特征信息确定眼睛的位置、嘴的位置、形状及动作的变化或持续时间，以此为基准决定人情绪的强度，或者根据与人的运动有关的特征信息确定手或腿或脚的动作、移动路径的变化、移动速度的变化及持续时间，以此为基准决定人情绪的强度。
另一方面，需明确，基于本发明的一实施例的与现实世界客体的情绪有关的特征信息无需一定要与现实世界客体的运动有关的特征信息区分，根据需要可以包含于与现实世界客体的运动有关的特征信息中。
接着，基于本发明的一实施例的决定部(220)能够执行如下功能：参考与现实世界客体的外观有关的特征信息来决定与现实世界客体相关的虚拟客体，并参考与现实世界客体的运动有关的特征信息来决定与现实世界客体相关的虚拟运动。
例如，在多个虚拟客体之中，决定部(220)能够以与现实世界客体的外观有关的特征信息为基准将具有与现实世界客体的外观相似规定水平以上的外观的客体决定为与现实世界客体相关的虚拟客体，在多个虚拟运动之中，以与现实世界客体的运动有关的特征信息为基准将与现实世界客体的运动相似规定水平以上的运动决定为与现实世界客体相关的虚拟运动。在此，多个虚拟客体及多个虚拟运动可以根据与虚拟客体及虚拟运动有关的数据库(这样的数据库可以包含于基于本发明的动画制作系统(200)中或者存在于外部系统中)已设定，或者在与基于本发明的动画制作相关的平台上由用户购买并持有(在该情况下，多个虚拟客体及多个虚拟运动可以根据用户而不同)。
另一方面，决定部(220)决定与现实世界客体的运动相似的虚拟运动的方式可以根据现实世界客体的骨架的有无而不同。
例如，当现实世界客体具有骨架时，能够以与现实世界客体的骨骼变化有关的信息(这样的信息可以属于与现实世界客体的运动有关的特征信息中)为基准决定与该现实世界客体的运动相似规定水平以上的虚拟运动，当现实世界客体不具有骨架时，能够以按单位时间或单位区域分割的与现实世界客体的运动有关的特征信息(即，与现实世界客体的运动有关的多个单位特征信息)为基准决定与该现实世界客体的运动相似规定水平以上的虚拟运动。另一方面，需明确，根据本发明的一实施例决定与现实世界客体的运动相似的虚拟运动的方式并不一定限于上述的方式，可以在能够实现本发明的目的的范围内进行任意变更。
并且，决定部(220)还可以参考用户的个人信息来决定虚拟客体及虚拟运动中的至少一个。基于本发明的一实施例的用户的个人信息中可以包含与用户的年龄、性别、人种、地区、所喜好的虚拟客体、所喜好的运动等有关的信息。
例如，决定部(220)能够根据与动画制作相关的用户(或器件(300)的持有者)的个人信息来确定该用户所喜好的虚拟客体及虚拟运动，并能够对多个虚拟客体及多个虚拟运动之中该用户所喜好的虚拟客体及虚拟运动赋予比其他虚拟客体及虚拟运动高的加权值。即，在决定虚拟客体及虚拟运动中的至少一个时，还可以考虑用户对所确定的虚拟客体及虚拟运动的喜好。
接着，基于本发明的一实施例的序列生成部(230)能够执行根据虚拟客体及虚拟运动生成动画序列的功能。
例如，序列生成部(230)能够以动画序列生成虚拟客体进行规定时间(例如，这样的时间可以与在前面了解的现实世界客体进行运动的时间相同)的虚拟运动。更具体而言，序列生成部(230)能够以动画序列生成虚拟客体按照与现实世界客体的动线相同或相似的动线移动的同时进行虚拟运动。
并且，序列生成部(230)能够将根据虚拟客体及虚拟运动而生成的动画序列与现实世界影像结合而生成增强现实(Augmented Reality；AR)影像及混合现实(MixedReality；MR)影像中的至少一个。
例如，序列生成部(230)能够以输入影像为背景结合动画序列而生成增强现实影像。更具体而言，序列生成部(230)能够以从输入影像中去除了现实世界客体的影像为背景而生成虚拟客体按照与现实世界客体相同或相似的动线移动的同时进行虚拟运动的增强现实影像。
接着，基于本发明的一实施例的共享管理部(240)能够使多个用户之间共享通过序列生成部(230)生成的动画序列或与该动画序列结合而生成的影像(例如，增强现实影像或混合现实影像)。
例如，共享管理部(240)能够使动画序列或与该动画序列结合而生成的增强现实影像通过与动画制作相关的用户(或器件(300)的持有者)的社交网络服务(SNS)、云、网页服务器等而与其他用户共享(例如，实时共享)。
另一方面，共享管理部(240)能够提供用于能够使其他用户追加或修正上述的共享的动画序列的虚拟客体及虚拟运动中的至少一个或者将其变更为其他虚拟客体或虚拟运动的用户界面。即，上述的共享的动画序列的虚拟客体或虚拟运动能够由其他用户追加、修正或变更。
接着，基于本发明的一实施例的通信部(250)能够执行实现从特征信息获得部(210)、决定部(220)、序列生成部(230)及共享管理部(240)/向特征信息获得部(210)、决定部(220)、序列生成部(230)及共享管理部(240)的数据收发的功能。
最后，基于本发明的一实施例的控制部(260)能够执行控制特征信息获得部(210)、决定部(220)、序列生成部(230)、共享管理部(240)及通信部(250)之间的数据流的功能。即，基于本发明的一实施例的控制部(260)能够通过控制来自动画制作系统(200)的外部/向动画制作系统(200)的外部的数据流或动画制作系统(200)的各构成要素之间的数据流来控制成在特征信息获得部(210)、决定部(220)、序列生成部(230)、共享管理部(240)及通信部(250)中分别执行固有功能。
图3至图10是例示地表示根据本发明的一实施例制作动画的过程的图。
第1实施例
可以假定基于本发明的一实施例的动画制作系统(200)包含于用户智能手机(300)中的状况。
首先，参考图3，根据本发明的一实施例，能够通过用户智能手机(300)的摄影模块获得穿着西装的人(310)从1号地点奔向2号地点的影像作为输入影像。
接着，根据本发明的一实施例，能够从上述的所获得的输入影像获得与人(即，现实世界客体)(310)的外观、运动及情绪有关的特征信息。
例如，能够参考至少一个客体分析模型(这样的客体分析模型可以是针对现实世界客体及与和该现实世界客体相关的外观、运动及情绪有关的特征信息执行深度学习而生成的模型)从上述的输入影像确定现实世界客体(310)的种类为人，并能够获得与现实世界客体(310)的外观、运动及情绪有关的特征信息。
更具体而言，能够提取发蜡发型的身高180cm的男性穿着衬衫及西装裤，打着领带，脸中的眼睛、鼻子及嘴的位置存在于规定位置(例如，从脸的发际线至眉毛底部的长度、从眉毛底部至鼻根的长度及从鼻根至下巴尖的长度相同，脸的横向长度为一只眼睛横向长度的5倍)作为与现实世界客体(310)的外观有关的特征信息。并且，能够提取以80度弯曲的双肘以规定速度反复进行前后动作，双膝以规定速度反复进行弯曲和伸展作为与现实世界客体(310)的运动有关的特征信息。并且，能够提取低强度的笑声(例如，这样的强度根据情绪的强度可区分为几个或几十个阶段的等级)作为与现实世界客体(310)的情绪有关的特征信息。
接着，根据本发明的一实施例，能够参考与现实世界客体(310)的外观有关的特征信息来决定与现实世界客体(310)相关的虚拟客体，参考与现实世界客体(310)的运动有关的特征信息来决定与现实世界客体(310)相关的虚拟运动，并参考与现实世界客体(310)的情绪有关的特征信息来决定与现实世界客体(310)相关的虚拟情绪。
例如，参考图4，在存储于用户智能手机或外部系统中或者由该用户在与动画制作相关的平台上购买并持有的多个虚拟客体(参考图4的(a))之中，能够以与现实世界客体(310)的外观有关的特征信息为基准将具有与现实世界客体(310)的外观相似规定水平以上的外观的客体决定为虚拟客体(410)。并且，在存储于用户智能手机或外部系统中或者由该用户在动画制作平台上购买并持有的多个虚拟运动(参考图4的(b))之中，能够以与现实世界客体(310)的运动有关的特征信息为基准将与现实世界客体(310)的运动相似规定水平以上的运动决定为虚拟运动(420)。并且，在存储于用户智能手机或外部系统中或者由该用户在动画制作平台上购买并持有的多个虚拟情绪之中，能够以与现实世界客体(310)的情绪有关的特征信息为基准将与现实世界客体(310)的情绪相似规定水平以上的情绪决定为虚拟情绪。
接着，根据如上述那样决定的虚拟客体(410)、虚拟运动(420)及虚拟情绪，能够生成动画序列。
例如，参考图5，能够以动画序列生成虚拟客体(510)以表现出虚拟情绪的状态按照与现实世界客体(310)的动线(320)相同或相似的动线(520)移动的同时进行虚拟运动(420)。
接着，根据本发明的一实施例，能够将上述的所生成的动画序列与通过智能手机(300)获得的输入影像结合而生成增强现实影像(参考图6)。
第2实施例
可以假定基于本发明的一实施例的动画制作系统(200)与用户的增强现实眼镜(300)通过通信网(100)相互联动的状况。
首先，参考图7，根据本发明的一实施例，能够利用用户的增强现实眼镜(300)获得现实世界客体即蓝色公交车(710)从3号地点向4号地点行驶的影像作为输入影像。
接着，根据本发明的一实施例，能够从上述的所获得的输入影像确定输入影像中的现实世界客体(710)的种类为公交车，并能够提取与现实世界客体(710)的外观及运动有关的特征信息。
接着，在多个虚拟客体之中，能够以与现实世界客体(710)的种类及外观有关的特征信息为基准将该种类及外观相似规定水平以上的客体即“蓝色TA YO形象的公交车”决定为虚拟客体。并且，在多个虚拟运动之中，能够以将与现实世界客体(710)的运动有关的特征信息按单位时间或单位区域分割而被确定的与现实世界客体(710)的运动有关的多个单位特征信息为基准(例如，连续比较)将与该运动相似规定水平以上的运动即“加速行驶运动”决定为虚拟运动。
接着，参考图8，能够以动画序列生成上述的决定为虚拟客体的蓝色TAYO形象的公交车从3号地点向4号地点移动的同时，在规定时间(例如，这样的时间可以与在前面了解的现实世界客体即蓝色公交车(710)进行与其相关的运动的时间相同)内反复执行上述的决定为虚拟运动的加速行驶运动。
第3实施例
可以假定通过社交网络与其他用户共享利用基于本发明的一实施例的动画制作系统(200)生成的动画序列或增强现实影像的状况。
首先，参考图9，根据本发明的一实施例，能够由第1用户以动画序列生成蓝色公交车在5号地点与6号地点之间反复移动。
接着，根据第1用户的请求，能够通过社交网络服务与第2用户共享上述的所生成的动画序列。
接着，参考图10，能够将用于修正上述的共享的动画序列的用户界面提供给第2用户，第2用户使用这样的用户界面，能够在上述的动画序列中将蓝色公交车在5号及6号地点反复移动修正为红色摩托车在5号、6号、7号及8号地点反复移动。即，在共享的动画序列中能够变更虚拟客体，并能够变更该虚拟客体所进行的虚拟运动。
以上说明的基于本发明的实施例可以以能够通过多种计算机构成要素执行的程序指令的方式实现并记录在计算机可读记录介质中。所述计算机可读记录介质可以单独或组合地包含程序指令、数据文件、数据结构等。记录在所述计算机可读记录介质中的程序指令可以是为了本发明而特别设计和构成的程序指令，或者是能够由计算机软件领域的技术人员公知使用的程序指令。计算机可读记录介质的例子中包括硬盘、软盘及磁带之类的磁介质、CD-ROM及DVD之类的光记录介质、光磁软盘(floptical disk)之类的磁-光介质(magneto-opt ical medium)以及ROM、RAM、闪存等为了存储并执行程序指令而特别构成的硬件装置。程序指令的例子不仅可以包括编译器(compiler)制作的机器语言代码，还可以包括使用解释器(interpreter)等能够由计算机执行的高级语言代码。硬件装置可以为了执行基于本发明的处理而被变更为一个以上的软件模块，反之亦然。
以上，利用具体的构成要素等特定事项和限定的实施例及附图对本发明进行了说明，但其只不过是为了帮助更全面地理解本发明而提供的，本发明并不限于所述实施例，只要是本发明所属技术领域中具有通常技术的人员，就能够根据这样的记载进行多种修正和变更。
因此，本发明的思想不应该局限在上述说明的实施例而规定，不仅是后述的权利要求范围，与该权利要求范围等同或由其等效地变更的所有范围均属于本发明的思想范畴内。

Claims (19)

1.一种用于制作动画的方法，其包括如下步骤：
从输入影像获得与现实世界客体的外观及运动有关的特征信息的步骤；
参考与所述现实世界客体的外观有关的特征信息来决定与所述现实世界客体相关的虚拟客体，并参考与所述现实世界客体的运动有关的特征信息来决定与所述现实世界客体相关的虚拟运动的步骤；及
根据所述虚拟客体及所述虚拟运动生成动画序列的步骤。
2.根据权利要求1所述的方法，其中，
在所述获得步骤中，通过利用客体分析模型分析所述输入影像中的现实世界客体来提取与所述现实世界客体的外观及运动有关的特征信息，
所述客体分析模型为利用多个现实世界客体及与和所述多个现实世界客体相关的外观及运动有关的特征信息进行了学习的模型。
3.根据权利要求1所述的方法，其中，
在所述获得步骤中，参考在所述输入影像中确定的所述现实世界客体的种类来提取与所述现实世界客体的外观及运动有关的特征信息。
4.根据权利要求1所述的方法，其中，
在所述获得步骤中，从所述输入影像还获得与所述现实世界客体的情绪有关的特征信息。
5.根据权利要求1所述的方法，其中，
在所述决定步骤中，
在多个虚拟客体之中，根据与所述现实世界客体的外观有关的特征信息将具有与所述现实世界客体的外观相似规定水平以上的外观的客体决定为所述虚拟客体，
在多个虚拟运动之中，根据与所述现实世界客体的运动有关的特征信息将与所述现实世界客体的运动相似规定水平以上的运动决定为所述虚拟运动。
6.根据权利要求5所述的方法，其中，
所述多个虚拟客体及所述多个虚拟运动是参考与在动画制作相关的平台上的购买履历来确定的。
7.根据权利要求1所述的方法，其中，
在所述生成步骤中，将所述动画序列与现实世界影像结合而生成增强现实影像及混合现实影像中的至少一个。
8.根据权利要求1所述的方法，其中，
使多个用户之间共享所述生成的动画序列。
9.根据权利要求8所述的方法，其中，
提供用于能够使所述多个用户中的至少一个用户在所述共享的动画序列中修正所述虚拟客体及所述虚拟运动中的至少一个的用户界面。
10.一种非暂时性计算机可读记录介质，其记录用于执行基于权利要求1的方法的计算机程序。
11.一种用于制作动画的系统，其包括：
特征信息获得部，从输入影像获得与现实世界客体的外观及运动有关的特征信息；
决定部，参考与所述现实世界客体的外观有关的特征信息来决定与所述现实世界客体相关的虚拟客体，并根据与所述现实世界客体的运动有关的特征信息来决定与所述现实世界客体相关的虚拟运动；及
序列生成部，根据所述虚拟客体及所述虚拟运动生成动画序列。
12.根据权利要求11所述的系统，其中，
所述特征信息获得部通过利用客体分析模型分析所述输入影像中的现实世界客体来提取与所述现实世界客体的外观及运动有关的特征信息，
所述客体分析模型为利用多个现实世界客体及与和所述多个现实世界客体相关的外观及运动有关的特征信息进行了学习的模型。
13.根据权利要求11所述的系统，其中，
所述特征信息获得部参考在所述输入影像中确定的所述现实世界客体的种类来提取与所述现实世界客体的外观及运动有关的特征信息。
14.根据权利要求11所述的系统，其中，
所述特征信息获得部从所述输入影像还获得与所述现实世界客体的情绪有关的特征信息。
15.根据权利要求11所述的系统，其中，
在多个虚拟客体之中，所述决定部根据与所述现实世界客体的外观有关的特征信息将具有与所述现实世界客体的外观相似规定水平以上的外观的客体决定为所述虚拟客体，在多个虚拟运动之中，根据与所述现实世界客体的运动有关的特征信息将与所述现实世界客体的运动相似规定水平以上的运动决定为所述虚拟运动。
16.根据权利要求15所述的系统，其中，
所述多个虚拟客体及所述多个虚拟运动是参考在与动画制作相关的平台上的购买履历来确定的。
17.根据权利要求11所述的系统，其中，
所述序列生成部将所述动画序列与现实世界影像结合而生成增强现实影像及混合现实影像中的至少一个。
18.根据权利要求11所述的系统，其还包括使多个用户之间共享所述生成的动画序列的共享管理部。
19.根据权利要求18所述的系统，其中，
所述共享管理部提供用于能够使所述多个用户中的至少一个用户在所述共享的动画序列中修正所述虚拟客体及所述虚拟运动中的至少一个的用户界面。
CN202180063892.8A 2020-07-22 2021-07-22 用于制作动画的方法、系统及非暂时性计算机可读记录介质 Pending CN116235208A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20200091310 2020-07-22
KR10-2020-0091310 2020-07-22
PCT/KR2021/009515 WO2022019692A1 (ko) 2020-07-22 2021-07-22 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Publications (1)

Publication Number Publication Date
CN116235208A true CN116235208A (zh) 2023-06-06

Family

ID=79729643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180063892.8A Pending CN116235208A (zh) 2020-07-22 2021-07-22 用于制作动画的方法、系统及非暂时性计算机可读记录介质

Country Status (5)

Country Link
US (1) US20230274483A1 (zh)
JP (1) JP2023537233A (zh)
KR (2) KR20220012203A (zh)
CN (1) CN116235208A (zh)
WO (1) WO2022019692A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224250A1 (ko) * 2022-05-16 2023-11-23 삼성전자주식회사 전자 장치 및 이의 제어 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140070915A (ko) 2012-11-30 2014-06-11 인크로스 주식회사 웹 어플리케이션의 애니메이션 에디팅 방법 및 그 장치
EP3371778A4 (en) * 2015-11-06 2019-06-26 Mursion, Inc. CONTROL SYSTEM FOR VIRTUAL FIGURES
JP7066116B2 (ja) * 2017-11-27 2022-05-13 地方独立行政法人東京都立産業技術研究センター 人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラム
CN109377539B (zh) * 2018-11-06 2023-04-11 北京百度网讯科技有限公司 用于生成动画的方法和装置
US11645802B2 (en) * 2018-12-19 2023-05-09 Anipen Co., Ltd. Method, system, and non-transitory computer-readable recording medium for generating animation sequence
KR20200052812A (ko) * 2019-06-20 2020-05-15 (주)셀빅 가상 환경에 활동 캐릭터를 생성하기 위한 가상환경의 활동캐릭터 생성 방법

Also Published As

Publication number Publication date
US20230274483A1 (en) 2023-08-31
KR20220012203A (ko) 2022-02-03
JP2023537233A (ja) 2023-08-31
WO2022019692A1 (ko) 2022-01-27
KR20230173638A (ko) 2023-12-27

Similar Documents

Publication Publication Date Title
US11790589B1 (en) System and method for creating avatars or animated sequences using human body features extracted from a still image
US11836862B2 (en) External mesh with vertex attributes
US20230343007A1 (en) Controlling interactive fashion based on voice
US11673054B2 (en) Controlling AR games on fashion items
US11983826B2 (en) 3D upper garment tracking
US11900506B2 (en) Controlling interactive fashion based on facial expressions
CN117916776A (zh) 利用物理模拟的适配身体的配件
US11854069B2 (en) Personalized try-on ads
KR20230173638A (ko) 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11544885B2 (en) Augmented reality experience based on physical items

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination