CN116671117A - 反应型图像制作方法、反应型图像服务提供方法及利用该方法的程序 - Google Patents

反应型图像制作方法、反应型图像服务提供方法及利用该方法的程序 Download PDF

Info

Publication number
CN116671117A
CN116671117A CN202180086360.6A CN202180086360A CN116671117A CN 116671117 A CN116671117 A CN 116671117A CN 202180086360 A CN202180086360 A CN 202180086360A CN 116671117 A CN116671117 A CN 116671117A
Authority
CN
China
Prior art keywords
image
user
reaction type
reaction
type image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180086360.6A
Other languages
English (en)
Inventor
李铁佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Moen Di Co ltd
Original Assignee
Moen Di Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Moen Di Co ltd filed Critical Moen Di Co ltd
Publication of CN116671117A publication Critical patent/CN116671117A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种反应型图像制作方法、反应型图像服务提供方法及利用该方法的程序，尤其，根据本发明的一实施例的基于反应型图像的服务提供方法可以包括如下步骤：根据第一用户的请求上传第一反应型图像；接收第二用户对第一反应型图像的操作；生成用于将所述第二用户的操作应用于第一反应型图像的反应生成数据；以及若请求应用根据第二用户操作的反应生成数据的反应实现，则将所述反应生成数据应用于所述第一反应型图像而再现图像。

Description

反应型图像制作方法、反应型图像服务提供方法及利用该方 法的程序
技术领域
本发明涉及一种多反应型图像制作方法、多反应型图像服务提供方法及利用该方法的程序，更具体地、涉及一种根据观看图像的用户的输入操作而生成可变动再现的图像的多反应型图像制作方法、多反应型图像服务提供方法及利用该方法的程序。
背景技术
最近图像拍摄技术得到了很大的发展。除了摄像机、数码相机之外，智能电话等移动终端也可以拍摄高分辨率的图像。并且，已经出现了360度相机、3D图像相机等。
图像由图像拍摄装置拍摄并以特定的格式进行存储，通过可再现的终端被再现。图像再现在没有与观看者的交互(Interaction)的情况下单方面地按时间顺序提供。即，观看者仅可以通过再现的图像感受到视觉感觉。
发明内容
技术问题
本发明的目的在于提供一种基于存储有一般视频或多个图像帧的图像数据库(例如，基础图像)制作根据用户的操作执行多种条件再现的多反应型图像的多反应型图像制作方法。
并且，本发明的目的在于提供一种能够基于多个基础图像提供针对多个输入操作的输出图像并通过压缩来减小容量而生成多反应型图像的方法。
并且，本发明的目的在于提供一种生成及使用如下的多反应型图像的方法，即，同时反应多个输入操作而能够通过单独操作或同时操作生成多种输出图像。
并且，本发明的目的在于提供一种如下的多反应型图像生成文件实现方法以及程序，即，所述多反应型图像生成文件实现方法以及程序提供了在一般视频或二维或三维图像数据库应用特定条件而实现应用了多种功能的多反应型图像的多反应型图像生成文件。
并且，本发明的目的在于提供一种如下的基于多反应型图像的用户关心度分析方法，即，所述基于多反应型图像的用户关心度分析方法获取用户的多反应型图像操作来计算用户对图像中的对象体的关心度。
并且，本发明的目的在于提供一种如下的多反应型图像生成方法，所述多反应型图像生成方法追加图像内的事件(Event)轴(例如，追加以事件为单位控制图像)来生成能够通过用户的操作调节图像输出的方向或顺序的多反应型资料结构，由此克服以往限制于按时间顺序再现视频的内容的限制。
本发明所要解决的技术问题不限于以上提及的技术问题，普通技术人员可以从以下记载明确理解未提及的其他技术问题。
技术方案
根据本发明的一实施例的基于反应型图像的服务方法包括如下步骤：根据第一用户的请求上传第一反应型图像；接收第二用户对第一反应型图像的操作；生成用于将所述第二用户的操作应用于第一反应型图像的反应生成数据；以及若请求应用根据第二用户操作的反应生成数据的反应实现，则将所述反应生成数据应用于所述第一反应型图像而再现图像。
根据本发明的另一实施例的基于反应型图像的服务方法包括如下步骤：服务服务器从多个用户接收针对特定反应型图像的用户操作；以及提供对反应型图像的操作统计分析结果。
根据本发明的又一实施例的反应型图像再现方法包括如下步骤：服务服务器从用户客户端获取反应型图像的操作位置；服务服务器将操作位置的地址传送到用户客户端且所述地址是在客户端需要输出的帧信息的地址传送步骤；以及用户客户端通过与所述地址对应的图像处理来实时输出图像。
技术效果
根据如上所述的本发明，具有如下所述的多种效果。
第一，通过将根据用户操作的多种再现条件应用于多反应型图像，与单纯地受时间轴限制的现有媒体不同，可以向用户提供根据事件(Event)输出多种不同的输出的多反应型图像。据此，通过引导用户的用于确认多种结果的反复尝试，从而提高用户对包括在多反应型图像中的对象体(即，物体)的关心度。即，通过多反应型图像生成文件对图像执行特定的条件设置，从而可以向用户提供应用了多种事件(Event)的多反应型图像。
第二，通过将多反应型图像生成文件与一般视频或多个图像帧集合一同再现，可以应用多种动作(即，反应)。
第三，由于对视频帧应用图像分割或裁剪，因此具有能够基于拍摄的一个图像来实现多个动作的效果。
第四，可以通过记录特定用户对多反应型图像的操作历史来掌握用户对图像的反应。例如，可以掌握用户对多反应型图像的触摸操作次数、执行触摸操作的帧和帧内对象体等，从而可以掌握用户的关心对象、关心度，并且可以掌握对用户的用户关心度。
并且，各个事件可以与多种输入方式的条件结合而完全包含现实世界现象的多种属性(例如，重力和力的作用、重量感、电阻值、环境方面和事物方面的表面质感、弹性、密度、大小、形状、与对象体的距离及声音等)，从而使真实感最大化并创建可以直接以多种方式交互的丰富的体验内容。
并且，利用根据本发明的实施例生成的多反应型图像，可以累积及分析用户的对多反应型图像内容的交互数据而掌握用户的意图和需求，并且可以执行基于数据分析结果来掌握用户特征的超个性化。
附图说明
图1是针对根据本发明的一实施例的多反应型图像生成方法的流程图。
图2是根据本发明的一实施例的根据用户操作提供作为对象体的面部的颈部方向及表情变化的示例图。
图3是根据本发明的一实施例的包括多个事件以能够对应于由用户输入的操作实现不同的结果的基础图像的示例图。
图4是根据本发明的一实施例的用于实现根据用户的各个触摸操作位置的对象体体位置变化的基础图像的示例图。
图5是示出根据本发明的一实施例的压缩图像的堆栈结构的示例图。
图6是示出针对根据本发明的一实施例的基于多反应型图像的服务提供系统的网络结构的图。
图7a至图7d是示出根据本发明的一实施例而实现的多反应型图像的一示例的图。
图8是示出针对根据本发明的一实施例的用于提供基于多反应型图像的服务的服务服务器的构成的图。
图9是针对根据本发明的一实施例的基于多反应型图像的服务提供方法的流程图。
具体实施方式
以下，参照附图对本发明的优选实施例进行详细说明。参照结合附图详细后述的实施例，就会明确了解本发明的优点、特征及用于达到目的之方法。然而，本发明并非局限于以下公开的实施例，其可以由互不相同的多样的形态实现，提供本实施例仅仅旨在使本发明的公开得以完整并用于将本发明的范围完整地告知本发明所属的技术领域中具备基本知识的人员，本发明仅由权利要求记载的内容来定义。贯穿整个说明书，相同的附图标记指代相同的构成要素。
只要没有不同的定义，本说明书中所使用的所有术语(包括技术术语和科学术语)可以用作本发明所属技术领域中具有基本知识的技术人员通常能够理解的含义。并且，只要没有明确地特别定义，则通常使用的词典中定义的术语不被过于理想或过度地解释。
本说明书中使用的术语用于说明实施例而非旨在限定本发明。在本说明书中，除非特别说明，否则单数型在语句中也包括复数型。说明书中使用的术语“包括(comprises)”和/或“包含(comprising)”不排除除了所提及的构成要素之外的一个以上的其他构成要素的存在或附加。
在本说明书中，多反应型图像表示图像以与观看图像的用户(即，观看者)的特定输入操作相对应的形态改变或再现的图像。例如，图像可以表示通过连接与拍摄的原始图像的特定运动对应的用户的输入操作，来如图像中的物体根据用户的操作而运动一样再现的图像。
在本说明书中，“计算机”包括所有能够执行计算处理的多种装置。例如，计算机不仅可以是台式PC、笔记本(Note Book)，而且可以是智能电话(Smart phone)、平板PC、蜂窝电话(Cellular phone)、个人通信服务电话(PCS phone：Personal CommunicationService phone)、同步/异步国际移动电信-2000(IMT-2000：International MobileTelecommunication-2000)的移动终端、掌上PC(Palm Personal Computer)、个人数字助理(PDA：Personal Digital Assistant)等。并且，计算机也可以是从客户端接收信息的服务器计算机。以下，在本说明书中，计算机也可以表现为终端。
在本说明书中，“输入操作”表示通过再现多反应型图像的计算机的输入单元接收的用户的针对图像的操作。例如，所述输入操作可以包括能够通过诸如鼠标或触摸屏之类的输入单元向图像内的特定点或区域输入的操作(例如，点击操作、拖动操作、特定时间以上的接触触摸操作、力触摸操作(即，向触摸屏或触摸板施加特定压力的触摸操作)等)。并且，例如，所述输入操作可以包括能够以计算机(或终端)配备的传感器(例如，加速度传感器、陀螺仪传感器等)作为输入单元获取的终端本身的布置状态或运动等。
在本说明书中，“对象体”表示将被用户操作的物体。例如，在通过拍摄用户用手触摸特定物体的动作而获得的图像的情况下，所述对象体表示被用户触摸的物体。并且，在通过拍摄特定的人的运动而获得的图像的情况下，所述对象体可以是图像中的人。
在本说明书中，“操作体”表示在图像内对对象体执行操作的主体。例如，在图像内用手触摸或按压包或枕头的情况下，操作体表示触摸包或枕头的手。
在本说明书中，“基础图像”表示未被实现为反应型的图像。即，基础图像对应于一般拍摄方式生成的视频或按照空间中的对象体位置存储图像帧的多个图像帧的组合。
在本说明书中，“压缩图像”表示为了将基础图像实现为反应型图像而以最小运动单元压缩的图像。例如，在基础图像中重复地包括相同的运动的情况下，压缩图像是删除重复运动而仅保留一个运动的图像。并且，例如，在基础图像包括从第一位置到第二位置的运动和从第二位置到第一位置的运动的情况下，压缩图像可以是仅保留从第一位置到第二位置的运动的基础图像，从第二位置到第一位置的运动可以将保留的基础图像反向再现。
在本说明书中，“多反应型图像生成文件”是多个基础图像被压缩而生成的，其表示能够根据用户的操作而再现多个动作的图像文件，或者能够通过与一个以上基础图像一同再现而实现为多反应型图像的元数据。
以下，参照附图，对根据本发明的实施例的多反应型图像生成方法进行说明。
图1是针对根据本发明的一实施例的多反应型图像生成方法的流程图。
计算机获取基础图像(S200)。所述基础图像是包括期望被实现为根据用户的操作反应型的对象体的运动的原始图像。
计算机可以加载已经生成并存储的基础图像，并且也可以通过实时获取图像帧来生成基础图像(即，在驱动包括多反应型图像生成功能的程序或应用之后，通过该程序或应用激活相机功能而立即拍摄基础图像)。
反应型图像制作者(例如，内容提供商或个人用户)拍摄包括期望被实现为反应型的动作的图像。
作为具体的实施例，计算机可以在从用户获取针对同一对象体的各个运动的图像之后生成为多反应型图像的形态。例如，在对象体是用户的手的情况下，计算机获取在用户的食指展开的状态下在各个方向上运动或弯曲的多个图像。
并且，例如，如图2所示，在用户期望制作作为根据特定操作的反应而向上下左右旋转本人的头部或者提供面部表情变化的反应型图像的情况下，用户拍摄包括期望的颈部运动和面部表情的图像。
并且，在用户期望生成水气球根据用户输入的操作而爆裂或从地板弹起的反应型图像的情况下，用户依次地拍摄相同颜色和尺寸的水气球掉落并爆裂的第一图像和水气球没有爆裂而弹起的第二图像。
并且，在执行特定运动之后，获取发生不同事件而不是重复现有运动的一个基础图像。即，计算机获取针对对象体发生多个事件的图像作为基础图像。例如，如图3所示，计算机获取包括水气球向下移动的运动的事件(第一事件)和水气球碰撞地面后爆裂的事件(第二事件)的基础图像。并且，例如，获取包括树枝弯曲的事件(第一事件)和树枝折断的事件(第二事件)的图像作为基础图像。并且，计算机获取包括填充有空气的气球被按压而凹陷的事件(第一事件)和气球爆裂的事件(第二事件)的图像作为基础图像。
并且，如图4所示，在期望实现能够以多个方向或多个高度夹起盛放在器皿中的意大利面的动作的反应型图像的情况下，用户可以拍摄重复夹起意大利面的动作或将盛放在器皿中的意大利面夹起并移动到三维空间中的多个位置的图像。
并且，计算机可以在获取利用操作体使对象体变形的图像之后将执行了删除操作体的校正的图像存储为基础图像。
计算机基于所述基础图像生成压缩图像(S400：压缩图像生成步骤)。所述压缩图像为反应型，仅包括根据用户操作的期望被实现的对象体的运动。
以下，对关于生成压缩图像的方式进行详细的说明。
作为一实施例，计算机从基础图像中删除实现为反应型的过程中不必要的图像区间。例如，在用户期望实现能够多反应的图像而拍摄对象体的多种运动的情况下，基础图像可以包括在第一运动获取与第二运动获取之间的不会被实现为反应型的图像帧。计算机可以分离并删除不会被实现为反应型的图像区间。
例如，计算机可以识别包括在基础图像中的全部帧，之后将对象体运动的相似度差异较大的帧自动分离为可删除的，然后将其去除。并且，例如，计算机可以自动地将基础图像分割成多个区间，在从用户接收不会被实现为反应型的图像区间之后将其删除。作为具体的示例，计算机可以以对象体运动单位(例如，向右侧转动颈部的运动、向左侧转动颈部的运动等)将基础图像划分为图像区间，并且删除多个对象体运动单位之间的图像区间。
并且，作为另一实施例，在基础图像所包括的多个运动图像中包括重复的图像的情况下，计算机可以删除重复的区间。例如，在第一基础图像、第二基础图像及第三基础图像在最初布置于相同的手指位置的状态下向不同的方向运动的情况下，计算机只保留布置于相同位置的一个图像帧。之后，若第一基础图像和第二基础图像保持相同的运动，而第三基础图像执行另一运动，则计算机只保留第一基础图像和第二基础图像的相应时间点的一个帧，并单独存储针对第三基础图像的帧。
并且，例如，在对象体生成相同的运动之后实现不同结果的第一基础图像和第二基础图像的情况下(例如，在将气球掉落到地面的多个图像中，由于速度差而掉落之后结果不同的情况下)，沿相同路径运动的区间可以仅保留一个，在结果中分别仅保留与第一基础图像和第二基础图像的反应结果相对应的区间。为此，计算机可以将第一基础图像和第二基础图像进行比较，分离具有相同的对象体运动的区间而仅保留一个重复区间，并且分离为重复图像区间、第一结果图像和第二结果图像并进行存储。
并且，例如，在整个基础图像内，对象体在相同区间反复移动的情况下(例如，在向左右旋转颈部的情况下)，由于反复第一区间图像以及第二区间图像，因此计算机去除与第一区间图像重复的部分和与第二区间图像重复的部分，其中，第一区间图像为在看向前面的状态下看向左侧，之后返回到前面，第二区间图像为在看向前面的状态下看向右侧，之后返回到前面。
并且，例如，在从第一位置移动到第二位置之后再次返回到第一位置的情况下，计算机可以仅保留从第一位置移动到第二位置的第一区间图像并删除从第二位置返回到第一位置的第二区间图像，来执行压缩。由于第二区间图像可以通过反向再现第一区间图像来输出，因此计算机删除第二区间图像并在压缩图像中仅保留第一区间图像。例如，在基础图像中作为对象体的人看向前面后向左侧转动颈部，返回到前面的情况下，计算机可以仅保留从前面看向左侧的第一区间图像。为此，计算机在基础图像中搜索对象体的运动在相同路径上往复进行的部分，在以运动方向开始变更的帧(例如，从向第一方向的运动开始变更为向相反的第二方向的运动的帧)为基准分割图像之后，执行仅保留第一区间图像的过程。
并且，可以将在执行特定运动之后发生不同事件而不是反复现有运动的区间的一个基础图像(例如，在水气球从空中掉落之后爆裂的图像)分割并存储为多个事件来生成压缩图像。
具体地讲，在所述压缩图像生成步骤中，在所述基础图像包括在特定基准时间点前后对象体的外形变化不同的第一事件区间和第二事件区间的情况下，设置在正向再现所述第一事件区间之后继续再现所述第二事件区间的第一再现类型以及在正向再现所述第一事件区间之后执行反向再现的第二再现类型。在后述的多反应型图像生成条件接收步骤中，可以基于特定的基准操作强度、基准移动长度(即，在触摸显示器上施加滑动操作的长度)、基准操作速度或基准操作时间长度(即，在特定位置连续施加触摸操作的时间长度)将相同的用户操作类型分为第一操作和第二操作，并与所述第一再现类型及所述第二类型连接。
以下，对计算机利用包括多个事件的一个基础图像生成能够实现反应型图像的压缩图像的方式进行说明。
在期望生成根据用户输入的操作而使水气球爆裂或从地板弹起的反应型图像的情况下，用户可以仅拍摄水气球掉落而爆裂的第一图像，之后将对应于一个事件的第一图像分为第一事件区间和第二事件区间，然后生成第一再现和第二再现，其中，第一再现为仅正向再现第一事件区间，之后执行反向再现第一事件区间，而第二再现为正向再现第一事件区间，之后再现第一事件区间。计算机可以将第一再现和第二再现分别连接到不同的用户操作，从而根据用户输入的用户操作进行再现。
作为一例，如图3所示，在使水气球掉落并使水气球爆裂的图像用作基础图像的情况下，计算机获取水气球掉落并爆裂之前的基准时间点，并以基准时间点为中心分割成第一事件区间和第二事件区间。计算机也可以从生成反应型图像的用户接收基准时间，也可以通过经深度学习训练的学习模型自动计算基准时间。例如，也可以通过搜索对象体的外形发生基准值以上的变形的时间点的学习模型来自动识别。据此，计算机可以根据第一用户操作(例如，使作为对象体的水气球以特定的基准速度以下的速度运动的较弱的滑动操作)而实现第一再现以及根据第二用户操作(例如，使作为对象体的水气球以超过特定的基准速度的速度运动的较强的滑动操作)而实现第二再现，所述第一再现在正向再现使水气球掉落的第一事件区间之后反向再现第一事件区间，所述第二再现在正向再现使水气球掉落的第一事件区间之后继续再现第二事件区间。
并且，即使在对象体以特定的基准速度以下的速度掉落的情况下，也可以根据与用户的滑动操作对应的速度对不同的事件(Event)进行分类。例如，如后文所述，在沿水气球的移动方向连接用户操作之后，计算机可以根据触摸操作的强度设置第一事件区间的反向再现开始的时间点。由于根据气球掉落的速度，气球在与地面接触之后变形的程度存在差异，因此用户操作的强度越弱，计算机可以在作为与第二事件的分割基准的基准时间点开始再现越长的时间，然后开始反向再现。
并且，作为另一示例，在将折断树枝的拉拽而弯曲后折断的图像用作基础图像的情况下，计算机将树枝折断的时间点设置为基准时间点，并分割为第一事件区间和第二事件区间。所述基准时间点可以由制作反应型图像的用户输入而被设置，也可以通过自动计算对象体外形发生基准以上的变化(即，树枝折断的改变)的时间点来设置。并且，为了通过执行正向再现和反向再现第一事件而生成相比最初开始运动的位置向后的图像，在第一事件区间的运动中将中心位置设置为压缩图像的开始时间点。所述开始时间点也可以由生成反应型图像的用户来设置，也可以由计算机计算在基础图像中对象体移动的路径，之后将作为路径的中心位置的帧设置为开始时间点。并且，可以根据在第一事件区间内用户输入的用户操作级别(例如，输入到触摸显示器的滑动操作的长度)来不同地设置从开始时间点执行正向再现后开始反向再现的时间点。
因此，计算机可以利用一个基础图像来生成能够实现根据用户操作生成多个反应的反应型图像的压缩图像。计算机可以实现如下的第一再现类型：针对第一事件区间而言从开始时间点开始正向再现图像帧，之后继续再现基准时间点之后的第二事件区间。并且，可以实现如下的第二再现类型，即，在从第一事件区间内的开始时间点开始进行正向再现直到特定的第一停止时间点，之后反向再现到开始时间点，并且在从开始时间点开始向基础图像的初始时间点方向反向再现到第二停止时间点，之后再次向开始时间点进行正向再现。计算机在第二再现时重复将第一停止时间点和第二停止时间点逐渐减小到接近开始时间点的再现，从而可以实现当树枝振动时振动幅度逐渐减小而停止的逼真的反应型图像。
所述第二停止时间点可以对应于第一停止时间点而设置。例如，将第二停止时间点设置为如下的图像帧的时间点：对象体从开始位置朝初始图像内的初始位置方向相隔预定值，所述预定值和对象体的开始位置与所述第一停止时间点上的对象体位置之间的差值相同，或者所述预定值为该差值减小特定比率的值，其中，所述开始位置为开始时间点的帧上的对象体位置。
并且，计算机可以将第二再现类型根据第一停止时间点的位置划分为详细再现类型(例如，第2-1再现类型、第2-2再现类型等)。即，可以将从对象体的基准位置向正向变形后进行振动运动的程度划分为详细类型。
如后文所述，计算机可以在第一再现类型和第二再现类型连接不同的用户操作。例如，在连接针对对象体滑动的用户操作的情况下，计算机可以根据用户的请求将超过特定基准速度或特定基准长度的滑动操作与第一再现类型连接，并且将特定基准速度或特定基准长度以下的滑动操作与第二再现类型连接。并且，计算机可以划分所述基准速度或基准长度而与第二再现类型的详细类型依次连接。
并且，作为另一示例，计算机可以将充满了空气的气球被按压而凹陷的变形之后气球爆裂的图像用作基础图像，将气球爆裂之前的时间点设置为基准时间点。计算机将基准时间点之前设置为第一事件区间，将基准时间点之后设置为第二事件区间。据此，计算机设置在再现第一事件区间之后继续再现第二事件区间的第一再现类型和执行正向再现和反向再现第一事件区间的第二再现类型。如后文所述，计算机将超过特定的力触摸强度或超过特定的输入触摸操作的时间长度的用户操作与第一再现类型连接，将特定的力触摸强度以下或特定的输入触摸操作的时间长度以下的用户操作与第二再现类型连接。
为了生成反应型图像而将基础图像生成为压缩图像的方式不限于此，可以应用多种方式。
计算机对多个基础图像执行如上所述的图像帧或图像区间提取过程。据此，计算机可以最小化由一个对象体执行运动的多个基础图像制作多反应型图像的过程中所需的图像帧。
并且，针对对包含在多个基础图像内的多个帧，计算机划分各个帧内的区域使得将多个图像帧中重复存储的区域处理为不会重复存储。
例如，在利用作为不同地运动食指的图像的多个基础图像(例如，第一基础图像、第二基础图像及第三基础图像)生成多反应型图像的情况下，计算机提取除了作为对象体的手指之外的背景区域。由于背景区域是针对食指运动的多个图像中公共的部分，因此计算机将提取的背景区域设置为公共区域。此时，计算机可以从多个基础图像中仅提取并收集不显示作为对象体的手指而是保持为背景的区域，从而提取为背景区域。作为又一示例，计算机可以基于在对象体的运动过程中露出的背景信息及背景的周围图像来生成填充到手指所在的部分的背景图像。据此，计算机可以减少用于存储包括在所有帧中作为背景的部分的容量。
并且，计算机通过在多个基础图像中划分而存储对象体区域(例如，用户的手)来减少数据容量。例如，在第一基础图像和第二基础图像仅运动手指而手背区域保持在相同位置的情况下，计算机可以分离手背区域并针对第一基础图像和第二基础图像的特定的一个以上的帧而仅存储一个，并且分别存储执行运动的手指部分。此后，在再现多反应型图像的情况下，计算机可以提取再现用户的输入操作所请求的特定的基础图像所需的多个区域(例如，背景区域、手背区域和符合于各个帧的多个手指区域)，并输出图像。
计算机接收针对压缩图像的多反应型图像生成条件(S600)。所述多反应型图像生成条件是与能够从所述压缩图像生成的反应对应的多个操作输入。即，计算机将与能够通过压缩图像实现的多种对象体的运动连接的多个用户操作与各个图像区间或帧匹配而获取。
所述多反应型图像生成条件的一实施例表示使基础图像反应于用户的触摸操作(即，实时地提供符合用户的触摸操作的图像帧)的条件。据此，用户可以在视觉上识别根据本人输入的操作生成图像内的运动(例如，按符合用户的触摸操作的方式发生操作体或对象体的运动)。
并且，计算机在执行获取并压缩用于生成多反应型图像的多个基础图像的过程之后，执行将用户的输入操作类型连接到多反应型图像的过程。例如，计算机将用户的各个输入操作与压缩图像内的特定区间图像或一个以上图像帧连接。例如，计算机在生成多反应型图像的过程中按符合输入操作提供位置、输入操作的种类、力触摸形态的情况下所施加的强度、按压的角度、拖拽动作的情况下运动方向等的方式连接区间图像或图像帧。
例如，计算机可以将由用户输入的从右侧向左侧滑动屏幕的操作与作为对象体的面部从朝向前面的状态变为朝向左侧的区间图像进行匹配，由于用户操作从右侧向左侧移动，连接到作为对象体的面部从前面向左侧旋转。
并且，例如，在第一基础图像是在其他手指被折叠的状态下食指向左侧运动的图像，第二基础图像是食指向右侧运动的图像的情况下，计算机从制作者客户端获取触摸食指区域并向左侧拖动的输入操作并将其与第一区间图像进行匹配，获取触摸食指区域并向右侧拖动的输入操作并将其与第二区间图像匹配。计算机根据基础图像的形态接收多种输入操作，之后进行匹配并存储。
并且，作为一实施例，计算机可以被实现我根据输入操作的加压方式不同地提供通过深度信息变化而提供的图像帧。即，计算机可以被实现为根据加压的角度提供不同的图像帧，从而用户可以确认实际上反映加压角度的反应。
并且，多反应型图像生成条件的另一实施例表示当特定的输入操作达到特定的条件时再现基础图像中包括的特定部分的图像(即，发生动作)的条件。并且，作为另一实施例，表示以通过一个基础图像将帧内的多个区域单独地或同时地反应的方式生成多反应型图像的条件。
在多反应型图像生成条件是用于将基础图像实现为根据用户操作反应的多反应型图像的条件的情况下，可以根据基础图像的类型以不同的方式接收将要存储在多反应型图像生成文件中的生成条件。
作为一实施例，在基础图像是以一般方式拍摄的视频(即，通过相机按时间顺序获取并存储帧的一般视频)的情况下，计算机为了将其实现为多反应型图像而接收设置特定的再现范围及帧内的区域的数据。此时，计算机可以运行多反应型图像生成文件生成程序而从用户接收条件数据。
具体而言，计算机从用户接收指定特定的再现范围的输入。即，在多个详细图像被存储在一个文件内而生成根据用户的操作移动到期望位置的多反应型图像的情况下，计算机可以从用户接收针对基础图像的特定开始帧(即，将被制作为多反应型图像的时间区域的最初帧)到最终帧(即，将被制作为多反应型图像的时间区域的最后帧)的选择，并且当特定输入条件达到期望条件时将其进行再现。
之后，计算机从用户接收将被连接到所述再现范围内帧的整个区域或特定区域的特定输入操作，或者分析图像内的操作体的运动来应用与操作体的运动符合的输入操作。即，计算机可以接收或指定与指定的再现范围内的物体运动符合的输入操作。
并且，作为将基础图像或压缩图像的再现范围(或区间图像)与输入操作连接的方式可以应用多种方式。
作为连接再现范围与特定输入操作的方式的一实施例，计算机可以应用在指定的再现范围内的各个帧的整个区域或特定区域生成虚拟层的方式。虚拟层可以表示能够接收用户的输入而在外观上不会显示在屏幕上且覆盖在所述帧上的层。即，计算机从用户获取用于在帧上生成由特定数量的详细单元构成的虚拟层的条件(即，将要生成虚拟层的时间范围或帧数量、帧上的范围等)。当再现多反应型图像时，计算机基于包括在多反应型图像生成文件中的虚拟层生成条件，向基础图像提供分割为特定数量的详细单元而生成的虚拟层。所述虚拟层分割成的详细单元的数量可以根据包括在虚拟层生成条件中的将被匹配的图像帧数量来确定。例如，在用户期望生成多反应型图像以根据多反应型图像生成条件(即，虚拟层生成条件)而可变地再现(即，操作再现)n个帧的情况下，计算机可以将特定区域分割为n个详细单元。
并且，作为另一实施例，在基础图像为按对象体的空间上的位置存储了图像帧的多个图像帧组合的情况下，计算机从用户接收用于将特定的帧匹配于触摸屏上的各个点的条件设置。
具体而言，计算机从用户接收在基础图像内的多个图像帧中设置将生成为反应型的区域的输入。作为一实施例，计算机从用户接收在特定的图像帧中设置反应型区域的输入。例如，计算机可以提取基础图像内的特定的图像帧并将其提供于屏幕上，并且从用户接收对象体的范围。由于相机及对象体的位置在基础图像中固定，因此计算机可以在提供任意的图像帧之后通过触摸操作接收对象体的区域。并且，在另一实施例中，计算机从用户接收并执行用于提取相同地存在于基础图像内的多个帧中的对象体图像并将其实现为反应型生成区域的命令。并且，在另一实施例中，计算机从用户接收用于跟踪操作体(例如，手)的运动而将包括操作体(例如，手)的移动路径的范围实现为反应型生成区域的命令。
之后，计算机从用户接收要输入触摸操作的密度设置。即，计算机接收将与反应型区域匹配的帧数量。例如，在基础图像由L(时间帧数量)×M(事件帧数量)×N(深度帧数量)构成的情况下，可以将小于或等于其的帧密度应用于反应型生成区域。据此，当再现多反应型图像时，计算机基于所述设置的密度来分割反应型生成区域，并将与构成反应型生成区域的多个详细单元对应的图像帧匹配于各个详细单元，从而实现多反应型图像。
并且，作为另一实施例，在设置为提供与用户的操作对应的帧的情况下，计算机从用户接收特定的再现条件。所述再现条件表示实现为当达到条件时继续再现或者再现移动至特定时间点而再现。
例如，计算机接收特定的输入条件的选择。即，接收针对特定点的按压操作、针对特定范围的拖动操作或挤压操作。之后，计算机接收当达到相应输入条件时发生的再现条件。计算机可以设置为再现特定的再现范围(即，移动至特定的图像帧而再现，再现从特定的第一图像帧至第二图像帧的区间)，当达到输入条件时提供特定的链接。并且，计算机可以将特定再现范围的帧内的整个区域或一部分区域设置为与其他图像结合或替换。
并且，作为另一实施例，计算机可以将多个多反应型图像提供于一个屏幕，并且在多反应型图像之间形成连接关系。例如，在两个多反应型图像之间形成连接关系的情况下，计算机形成结合第一多反应型图像与第二多反应型图像的最终多反应型图像，并且当用户针对特定的多反应型图像进行操作时，不仅在对应的多反应型图像中发生反应(即，动作)，并且在其它多反应型图像中也发生根据连接关系的动作。具体而言，在第一多反应型图像是针对用户的面部图像的图像，第二多反应型图像是仅表现包括在用户的面部的一部分皮肤区域的图像的情况下，若计算机从用户重复地接收到诸如将彩妆涂抹到第二多反应型图像上的拖动操作，则计算机再现与第二多反应型图像连接的第一多反应型图像而实现对皮肤进行化妆的动作(例如，顺序地再现从未进行彩妆的面部图像变为进行彩妆的面部图像的视频)。并且，在第一多反应型图像及第二多反应型图像中生成的动作的种类可以根据输入到第二多反应型图像的操作的类型而不同。
然而，可以形成连接关系的多反应型图像的数量不受限制，并且一个多反应型图像可以形成与多个多反应型图像的连接关系。例如，计算机可以在一个屏幕中以16分割提供16个单独的多反应型图像，并且可以形成各个多反应型图像之间的连接关系。
计算机以多种方式设置多反应型图像生成条件(例如，针对多反应型图像的输入条件和再现条件)。作为一实施例，计算机直接接收能够在多个反应型图像中实现反应的条件函数。即，计算机可以直接从用户接收实现反应的功能代码。例如，在将包括多个图像的帧集提供于屏幕的情况下(即，在结合第一多反应型图像与第二多反应型图像的情况下)，计算机从用户接收两种多反应型图像函数。
并且，作为另一实施例，计算机通过利用多反应型图像生成文件实现程序将用户输入的多反应型图像生成条件直接输入到基础图像中来实现多反应型图像。计算机可以驱动多反应型图像生成文件实现程序并通过用户的操作加载特定的基础图像。之后，计算机从用户接收与要实现为多反应型图像的生成条件(即，输入条件、再现条件等)对应的操作，并且多反应型图像生成程序或生成应用生成实现该生成条件的函数。
如后文所述，在与一个以上基础图像一同再现的多反应型图像生成文件单独存在的情况下，计算机通过生成文件实现程序将用户输入的生成条件存储于多反应型图像生成文件内。例如，计算机将对应于生成条件的多反应型图像实现函数代码存储为单独的文件。计算机可以接收对基础图像的操作(例如，触摸操作、鼠标操作等)，并且可以将与其对应的条件(例如，动作类型、将要被输入动作的再现范围、当达到条件时执行的动作等)记录在多反应型图像生成文件中。
并且，作为另一实施例，在多反应型图像生成条件是当特定输入操作达到特定条件时再现特定动作(例如，包括在基础图像中的特定部分的图像)的条件的情况下，计算机从用户接收特定输入操作类型、当达到条件时发生的动作类型(例如，在基础图像内移动的再现时间点)、要达到的条件值。
并且，作为另一实施例，在多反应型图像生成条件是通过一个基础图像以帧内的多个区域单独或同时地反应的方式生成多反应型图像的条件的情况下，计算机从用户接收将要执行分割或裁剪的再现范围，并且接收在相应的再现范围内将要执行分割或裁剪的区域。之后，计算机从用户接收要在执行分割或裁剪的区域中单独再现的图像信息。例如，在基础图像是将水依次倒入布置于左右的杯子的图像的情况下，可以以划分两个杯子的分割线为基准来区分帧，并且两侧独立地实现为反应型。据此，可以通过一个基础图像来实现多种多反应型图像，从而可以减少多反应型图像的容量，并且也可以简化用于实现多反应型图像的基础图像的拍摄。
计算机将所述生成条件应用于所述压缩图像而生成多反应型图像(S800)。计算机应用多反应型图像生成条件并存储为多反应型图像数据。
作为一实施例，计算机反映获取多个基础图像的压缩和针对各个基础图像的输入操作的获取结果来生成最终多反应型图像文件。即，计算机根据用户的输入操作合并被压缩的多个区域而将文件构建为能够在多反应型图像中再现特定操作的形态。
并且，作为另一实施例，在从用户以函数形态直接接收多反应型图像生成条件的情况下，计算机将所输入的函数形态原样地存储在与一个以上基础图像一同使用的多反应型图像生成文件内。作为另一实施例，在利用多反应型图像生成文件制作程序(或生成程序)直接从用户接收对基础图像的特定输入操作的情况下，计算机生成并存储与该输入操作对应的函数。即，计算机可以从用户针对基础图像输入的多反应型图像生成条件中提取帧、该帧内的范围、反应(即，动作)类型等的数据，并存储为函数形态。
据此，用户可以利用存储有多反应型图像生成条件的多反应型图像生成文件而方便地将特定图像实现为多反应型图像。即，在用户想要再现基础图像本身的情况下，可以排除多反应型图像生成文件并执行再现，在用户想要实现多反应型图像的情况下，可以通过一同再现基础图像文件和多反应型图像生成文件来再现多反应型图像。
并且，还包括计算机基于压缩图像内的区间图像之间的关系来生成堆栈结构的存储形式。例如，计算机可以将在压缩过程中获取的帧或多个区域构建为堆栈(Stack)结构。即，计算机在基础图像的帧范围(即，二维范围)内将为了图像压缩而生成的多个区域堆叠成一个以上堆栈而生成多反应型图像文件。
具体地讲，计算机将当用户施加输入操作时需要提供的特定提取区域的位置的集合设置为对应提取区域的显示范围。例如，由于背景区域必须在提供输入操作的所有位置显示，因此计算机将整个帧设置为背景区域的显示范围。并且，计算机可以在各个位置将根据力触摸强度或时间的变化分别堆叠并存储为堆栈。
并且，在一个多反应型图像内的不同位置实现多个动作的情况下，计算机形成针对在多个位置实现的各个动作的堆栈。据此，在用户再现多反应型图像并一次性输入用于实现多个动作的输入操作的情况下，计算机可以从被施加各个输入操作的堆栈中提取提取区域并合并该提取区域，从而输出同时反映根据多个输入操作的运动的图像。
例如，在包括张开嘴的第一操作和使食物移动到嘴中的第二操作的多反应型图像的情况下，若用户同时输入用于张开嘴的第一输入操作(例如，通过两个手指触摸上嘴唇位置和下嘴唇位置之后张开嘴的操作)和触摸食物并拖动到嘴中的第二操作，则计算机可以合并从张开嘴的操作被输入的位置的堆栈中提取的第一提取区域，并且合并从使食物移动的操作被输入的位置的堆栈中提取的第二提取区域，从而生成输出图像。
因此，计算机可以根据第一输入操作和第二操作的输入程度来提供不同的输出图像。例如，若仅输入第一输入操作，则计算机提供张开嘴的输出图像，若仅输入第二输入操作，则计算机提供使食物向嘴侧移动的输出图像，若同时输入第一输入操作和第二输入操作，则计算机提供张开嘴并将食物放入嘴的输出图像。并且，计算机也可以根据施加第一输入操作和第二输入操作的模式来提供不同的输出图像。
并且，如图5所示，各个提取区域(第一提取区域和第二提取区域)可以包括针对不同事件的多个堆栈。例如，由实线表示的第一堆栈和由虚线表示的第二堆栈可以包括于各个提取区域。计算机可以实现为基于用户向各个提取区域输入初始操作的位置来确定在第一堆栈和第二堆栈中执行的堆栈。
并且，如图5所示，各个提取区域内，第一事件和第二事件可以包括重叠的像素，并且计算机可以仅保留在针对第一事件的堆栈和针对第二事件的堆栈中重叠的像素中的一个。即使压缩图像仅包括针对特定提取区域内的重叠像素的一个数据，也可以根据用户的下一操作(例如，触摸操作的运动方向或施加的压力强度的变化)来确定第一事件和第二事件中的一个的堆栈。据此，计算机可以仅通过最小的数据来生成压缩图像。
以下，对用户利用多反应型图像的方式进行说明。
根据本发明的一实施例的多反应型图像再现及利用方法包括以下步骤：客户端加载特定的多反应型图像；接收针对所述多反应型图像的用户操作；计算根据所述用户操作的反应并输出(反应输出步骤)。
在所述反应输出步骤中，计算机(即，再现多反应型图像的客户端装置)计算施加到显示器的触摸操作的移动方向、速度、相对屏幕的输入角度、输入时间长度、压力强度等。
例如，在再现多反应型图像的用户(以下，称为第二用户)垂直地向再现多反应型图像的客户端(以下，称为第二客户端)的屏幕施加压力的情况与倾斜地向再现多反应型图像的客户端(以下，称为第二客户端)的屏幕施加压力的情况，可以选择并提供不同的详细单元。诸如实际对象体沿垂直方向被按压时沿垂直方向凹陷并沿倾斜方向被按压时沿对角线方向凹陷，为了在反应型图像中也向第二用户提供真实感，即使在相同的点施加压力，也需要根据按压的方式再现不同的图像帧来实现对象体的不同运动。
为此，第二客户端可以通过多种方式区分加压方式。例如，第二客户端可以基于手指在屏幕上接触的截面形态(例如，接触于手指的像素数量和像素分布)来判断加压方式。
并且，例如，第二客户端可以基于施加到屏幕上的压力分布来判断加压方式。即，第二客户端可以根据在输入触摸操作的范围中施加的压力强度整体均匀还是施加的压力强度按部分不同来判断用户施加到屏幕的加压方式。
并且，例如，第二客户端可以当通过操作体(例如，手指)对屏幕进行加压时测量手指在屏幕上的细微运动而确定加压方向。
若判断加压方式为倾斜地按压对象体，则第二客户端根据深度信息变更提供在施加压力的方向上变更的二维空间上的位置的帧。具体而言，在沿倾斜方向按压屏幕的情况下，第二客户端提供第二用户的手指触摸的地点的图像帧，之后提取并提供施加到屏幕上的压力越高与手指倾斜的方向的延长线方向越对应的详细单元。
并且，本发明的另一实施例还包括以下步骤：若接收到针对基础图像的再现请求，则计算机一同加载多反应型图像生成文件而实现多反应型图像。例如，若存储有基础图像的文件夹内一同包括多反应型图像生成文件或者数据库内匹配有相应的多反应型图像生成文件，则计算机可以在再现基础图像时一同再现多反应型图像生成文件而实现多反应型图像。
并且，本发明的另一实施例还包括以下步骤：计算机获取用户针对多反应型图像输入的操作次数、帧内操作范围、施加于帧内的压力强度等数据。例如，计算机记录通过多反应型图像生成文件输入到多反应型图像的输入操作历史。据此，将多反应型图像用于营销用途的公司可以确认多反应型图像内的针对对象体的营销效果。
并且，作为另一实施例，在用户使用多反应型图像并输入输入操作的情况下，计算机存储用户从特定的多反应型图像提供的输入操作模式。并且，计算机可以将根据输入操作的输出图像数据和输入操作模式一同匹配并存储。据此，计算机可以通过在深度学习中输入各个用户的输入操作和输出图像数据来掌握用户的倾向。例如，可以通过用户对多反应型图像内的哪个对象体输入了大量输入操作、以什么模式输入了输入操作等来掌握用户对特定对象体的关心度等。
具体地讲，基于输入到多反应型图像的用户的输入操作来分析用于理解用户行为的交互数据的方法的具体示例如下所述。例如，计算机可以在与猫相关的内容中区分重复利用作用体“重复进行缓慢施加较弱的力并绘制轨迹”与“以较短的时间差快速重复较强的力”，从而区分用户对对象体具有喜爱地抚摸还是具有排斥感或负面的心理地抚摸。据此，可以掌握用户的意图和需求。并且，由于可以提供根据用户反映各自特征的用户操作模式而实现个性化，因此计算机可以使用用户的操作模式(即，交互数据)作为能够区分用户的识别数据(例如，操作模式指纹)。并且，这可以用作反映用户情绪的手势方式的运动反射。
并且，作为另一实施例，还可以包括计算机根据用户请求提供反应型图像内容的步骤。计算机从元数据接收针对图像数据内能够交互的区间的信息并转换为多反应型图像。计算机可以根据输入到多反应型图像数据的用户操作的形态(例如，施加用户操作的角度的差异等)来输出不同的反应。并且，计算机可以实时分析及预测与内容交互作用的作用体的多个轨迹(例如，用户的操作形态、类型等)来掌握行为的含义，并且将相应事件匹配到与此对应的反应形态并输出。并且，计算机可以基于根据反应形态的事件实时重新布置映射数据。
以下，将记载针对根据本发明的一实施例的基于反应型图像的服务提供方法的详细说明。
图6是示出针对根据本发明的一实施例的基于多反应型图像的服务提供系统的网络结构的图。以下，说明图6的同时参照图7a至7d进行说明。
参照图6，根据本发明的一实施例的基于多反应型图像的服务提供系统10包括服务服务器100、第一用户终端200以及第二用户终端300而构成。然而，为了便于说明将第一用户终端200以及第二用户终端300分别图示为一个，但可以分别由多个构成，并不限于此。
第一用户终端200作为想要向第二用户终端300提供多反应型图像的用户的终端，为了利用基于多反应型图像的服务而拍摄包含特定对象体的至少一个基础图像，并发送到服务服务器100。此时，当第一用户终端200发送至少一个基础图像时，第一用户终端200可以通过在每个基础图像内的多个图像帧中设置要生成为反应型的区域(对象体的区域)并发送，来请求基于该区域的多反应型图像的生成。
若服务服务器100从第一用户终端200接收到至少一个基础图像，则服务服务器100基于该至少一个基础图像根据第一用户终端200的请求来生成并上传多反应型图像，若服务服务器100从第二用户终端300接收到基于该多反应型图像的操作输入信息，则服务服务器100基于该操作输入信息再现与反应映射数据匹配的反应型图像并将其提供给第二用户终端300。
为此，多反应型图像可以包括校正图像数据、反应映射(Map)数据以及反应生成数据中的至少一个。
具体地讲，校正图像数据作为包括针对为了实现为反应型图像而通过分割或校正生成的图像的组合的信息的数据，可以对应于压缩数据(即，上述的压缩图像)。例如，校正图像数据可以对应于上述的堆栈结构数据等，也可以基于人工智能自动生成。
并且，反应映射数据(Response Map Data)作为包括用于结合于校正图像数据的特定区域而实现多反应型图像的信息的数据，可以包括上述的多反应型图像生成条件。该反应映射数据起到连接构成校正图像数据的图像帧和显示器上的操作位置的作用，并且可以包括用于匹配特定操作位置或范围与图像帧(或图像信息)的数据。例如，反应映射数据将特定图像帧的识别值(例如，住址或地址)连接到屏幕上的范围或位置。
并且，反应图像数据作为包含针对输入到多反应型图像的用户操作的信息的数据，可以对应于上述的操作输入信息。
若该校正图像数据和反应映射数据结合，则生成能够根据用户操作输出反应的多反应型图像，若该校正图像数据和反应生成数据结合，则生成输出特定反应的图像。
并且，多反应型图像还包括反应脚本(Response Script)数据。该反应脚本数据是针对根据第二用户的操作提供的图像信息的条件的数据。即，反应脚本数据可以对应于由多反应型图像制作者设定的反应条件。在多反应型图像与校正图像数据、反应映射数据以及反应脚本数据结合的情况下，反应型图像可以根据用户输入操作而达到的条件来实现不同的反应。
具体地讲，当服务服务器100基于从第一用户终端200接收的至少一个基础图像来生成多反应型图像时，生成基于至少一个基础图像的仅包含对象体的动作的校正图像数据(压缩图像)。例如，假如接收到包括相同对象体的第一基础图像及第二基础图像时，若包含在两个图像中的对象体包括针对相同的路径的运动，则从第一基础图像及第二基础图像中取出包括相同的路径的运动的区间图像，将取出的区间图像确定为重复区间图像，只保留包括在第一基础图像及第二基础图像中的一个的重复区间图像。
此后，服务服务器100在各基础图像中确认对象体的运动，生成并存储将借由第二用户的特定的操作位置或范围与图像帧匹配的反应映射数据(多反应型图像生成条件)。此时，服务服务器100对于在两个基础图像中相互相反的动作不另行生成数据，而是通过再现或反再现来实现。因此，通过将反应映射数据结合到压缩图像来生成多反应型图像。
之后，若服务服务器100从第二用户终端300接收到基于上述多反应型图像的操作输入信息(反应生成数据)，则服务服务器100基于该操作输入信息再现与反应映射数据匹配的反应型图像，从而提供给第二用户终端300。
并且，多反应型图像利用多点触控(multi touch)、多动作(multi actions)、多目标(multi objects)、多场景(multi scenes)、多结果(multi outcomes)以及多反应(multireactions)中的至少一个形态而构成。
具体地讲，多点触控形态的图像作为为了对多个接触进行反应而构成的反应型图像，若用户基于显示在其终端上的多反应型图像输入包括多个接触的用户操作，则可以实现对应于该操作的反应型图像。例如，如图7a所示，若用户将手指分别接触在被分成两半的汉堡的每个部分，并输入如朝着彼此相反方向分开的用户操作，则将再现被分成两半的汉堡被分开的反应型图像。
并且，多动作形态的图像作为为了对多个用户操作进行反应而构成的反应型图像，提供与多个用户操作中的每一个对应的动作。例如，如图7b所示，若用户基于显示在其终端上的多反应型图像输入在触摸拉链部分的状态下向下拉拽的用户操作，则将再现基础图像内的对象体拉拽拉链的反应型图像，若用户输入在触摸基础图像内的对象体的手部分的状态下向上拉起的用户操作，则将再现对象体举手的反应型图像。
并且，如图7c所示，多目标(multi objects)形态的图像是构成为对包括在多反应型图像内的多个对象体中的每个单独反应的反应型图像。
并且，多场景(multi scenes)形态的图像是针对用户操作包括多个场景而提供的反应型图像。例如，如图7d所示，若用户基于基础图像并输入在触摸瓶子前端的状态下向下拉动的用户操作，则再现包括瓶子倾斜而使饮料倒出的图像和在杯子中装满饮料的图像的反应型图像。
并且，多结果(multi outcomes)形态的图像是根据用户操作而选择性地提供与预设的条件对应的彼此不同的结构的反应型图像。例如，如图3所示，若用户基于基础图像并输入在触摸气球的状态下向上举起的用户操作，则再现如下的反应型图像：气球在被抬起至最大值后或解除触摸后气球掉落，并根据用户输入抬起气球的用户操作时的速度，气球爆炸或气球不爆炸并撞击地面而弹起。
并且，多反应(multi reactions)形态的图像是根据用户操作并以与预设的条件对应的方式在该基础图像内的对象体提供彼此不同的反应的反应型图像。这可以提供为如图2所示。即，根据用户以基础图像内的对象体作为对象进行何种用户操作，再现用户做出将头转向上下左右中的任一方向的反应的反应型图像同时，并还根据该用户操作的速度，再现对象体的表情有所不同的反应型图像。
即，多反应型图像提供了一种对应于用户操作而匹配的反应型图像，若服务服务器100从第二用户终端300接收作为针对用户操作的信息的包括操作次数、操作强度、移动长度、操作速度、操作时间长度、操作方向以及操作位置中的至少一个操作输入信息，则服务服务器100基于此考虑参考值来确认用户操作，并将针对与该用户操作匹配的反应型图像的再现信息发送至第二用户终端300。因此，第二用户终端300可以根据再现信息实现反应型图像。
当服务服务器100提供多反应型图像时，多反应型图像还可以包括引导用户操作的引导点。由此，用户可以基于多反应型图像来确认自己可以执行哪些操作。
另外，服务服务器100可以累积从第二用户终端300接收的操作输入信息并存储，服务服务器100可以通过分析该累积的操作输入信息将反映至少一个用户关心的分析结果提供给针对商品或服务的广告主客户端(可以是利用服务的第一用户、想要利用服务的用户等)。
此时，分析结果不仅可以包括针对操作统计的信息，还可以包括针对用户偏爱的操作模式等信息。通过这种方式，利用基于该多反应型图像的服务的企业或个人可以通过考虑其分析结果来制作针对自己销售的物品或服务的广告(宣传)内容，从而可以提高其广告效果。
具体地讲，服务服务器100可以将针对各反应型图像的热图数据作为分析结果数据提供给广告主客户端。例如，在一个反应型图像内包括多个操作的情况下，广告主客户端可以通过热图来了解用户关心针对商品或服务的哪些操作以及用户高度关心的操作模式等。
另外，若服务服务器100接收针对特定的广告用反应型图像的剪辑保存请求时，则服务服务器100可以将该广告用反应型图像可确认地连接在用户的应用程序中。
第二用户终端300作为实现多反应型图像而接收的第二用户的终端，第二用户终端300可以通过自己的终端执行单独的应用或访问网站来接收多反应型图像。即，若第二用户基于显示在第二用户终端300上的多反应型图像来执行用户操作，则第二用户终端300基于该输入的用户操作来生成操作输入信息并发送到服务服务器100。
图8是示出针对根据本发明的一实施例的用于提供基于多反应型图像的服务的服务服务器构成的图。
参照图8，用于提供基于多反应型图像的服务的服务服务器100可以包括通信模块110、存储模块130以及控制模块150而构成。
通信模块110与第一用户终端200以及第二用户终端300收发至少一个信息或数据。并且，该通信模块110也可以执行与其他装置的通信，从而根据无线互联网技术在通信网络中收发无线信号。
作为无线互联网技术示例有无线局域网(WLAN：Wireless LAN)、无线网络通信直连(Wi-Fi Direct：Wireless-Fidelity Direct)、数字生活网络联盟(DLNA：DigitalLiving Network Alliance)、无线宽带接入(WiBro：Wireless Broadband)、全球微波接入互操作性(WiMAX：World Interoperability for Microwave Access)、高速下行链路分组接入(HSDPA：High Speed Downlink Packet Access)、高速上行链路分组接入(HSDPA：HighSpeed Uplink Packet Access)、长期演进(LTE：Long Term Evolution)、长期演进技术升级版(LTE-A：Long Term Evolution-Advanced)等，服务服务器100在包括前面没有罗列的互联网技术在内的范围内，根据至少一个无线互联网技术收发数据。
为了近距离通信(Short range communication)可以利用蓝牙(BluetoothTM)、无线射频识别(RFID：Radio Frequency Identification)、红外线数据协议(IrDA：InfraredData Association)、超宽频(UWB：Ultra Wideband)、紫蜂协议(zigbee)、近场通讯(NFC：Near Field Communication)、无线网络通信技术(Wi-Fi：Wireless-Fidelity)、无线网络通信直连(Wi-Fi Direct：Wireless-Fidelity Direct)、无线通用串行总线(WirelessUSB：Wireless Universal Serial Bus)技术中的至少一种来支持近距离通信。这种近距离无线通信网络(Wireless Area Networks)可以支持服务服务器100与第一用户终端200之间、服务服务器100与第二用户终端300之间的无线通信。此时，近距离无线通信网络可以是近距离无线个人通信网络(Wireless Personal Area Networks)。
存储模块130为了提供基于多反应型图像的服务而存储有必要的至少一个程序。不仅如此，存储模块130还可以存储用于执行除此之外的其他操作的程序，但不限于此。
存储模块130可以存储支持服务服务器100的多种功能的数据。存储模块130可以存储在服务服务器100中驱动的多数的应用程序(application program)或应用(application)以及用于服务服务器100的操作的数据、指令。这些应用程序中至少一部分可以为服务服务器100的基本功能而存在。另外，应用程序可以存储在存储模块130并设置在服务服务器100上，从而可以以借由控制模块150而执行服务服务器100的操作(或功能)的方式驱动。
尤其，存储模块130存储从第一用户终端200接收的至少一个基础图像以及基于此生成的多反应型图像。此时，多反应型图像生成文件可以一同包括在存储有基础图像的文件夹中，或者在数据库内可以匹配有相应的多反应型图像生成文件。由此，在再现基础图像时可以同时再现多反应型图像生成文件而实现为多反应型图像。
控制模块150除了可以控制与应用程序相关联的动作之外，还通常可以控制服务服务器100的整体的操作。控制模块150可以通过上述的构成要素来处理输入或输出的信号、数据、信息等或者驱动存储在存储模块130中的应用程序，从而可以为用户提供或处理适当的信息或功能。
若控制模块150从第一用户终端200接收至少一个基础图像，则控制模块150基于该接收到的至少一个基础图像生成压缩图像，并在每个基础图像中确认对象体的移动，从而生成特定操作位置或范围与图像帧匹配的多反应型生成条件来生成多反应型图像。
此后，控制模块150可以上传该多反应型图像并通过第二用户终端300能够进行确认，并且若控制模块150从第二用户终端300接收基于所上传的多反应型图像的操作输入信息，则控制模块150将该操作输入信息应用于多反应型图像来再现图像。
另外，控制模块150将从第二用户终端300(即，至少一个第二用户)接收到的操作输入信息累积并存储到存储模块130。根据预先设定的周期或请求分析该存储的操作输入信息，并将该分析结果提供给第一用户终端200(即，至少一个第一用户)。
另外，针对上传的多反应型图像可以借由第二用户追加设置多反应型生成条件，若控制模块150从第二用户终端300输入到或接收请求信息，则控制模块150基于该请求信息获取要素图像，并生成基于人工智能对获取的要素图像进行变形的多个反应图像。此时，由于无法获取对象体(例如，特定的登场人物)的所有反应(例如，表情或动作)，因此基于包括可获取的一部分反应的要素图像而进行变形来实现更多的反应。在此，请求信息作为包括针对第二用户基于多反应型图像所要再现的图像形态的请求信息，可以以评论形态存储在社交网络服务(SNS：Social Networking Services)等。
例如，在提供一人能够与粉丝沟通的SNS服务的情况下，艺人或经纪公司在SNS服务中生成针对艺人的反应型图像并上传，相当于粉丝的第二用户在通过用户客户端提供的反应型图像中输入本人想要的操作。控制模块150从第二用户终端接收用户操作本身或图像生成数据与SNS上的评论一同存储。若其他SNS用户或艺人选择相当于第二用户的图像生成数据的标签，则可以提供在SNS上的反应型图像适用图像生成数据的图像。
由此，可以生成按至少一个第二用户定制的多反应型图像。
图9是针对根据本发明的一实施例的基于多反应型图像的服务提供方法的流程图。
首先，若从第一用户终端200接收到至少一个基础图像(S210)，则基于该接收到的至少一个基础图像生成压缩图像(S220)。
此后，在每个基础图像中确认对象体的移动来生成匹配特定操作位置或范围与图像帧的多反应型生成条件(S230)，在S220步骤中生成的压缩图像中应用在步骤S230中生成的多反应型生成条件来生成多反应型图像之后上传该多反应型图像(S240)。此时，多反应型图像可以是特定平台、SNS、应用程序等。
此后，若从第二用户终端300接收到基于多反应型图像的操作输入信息(S250)，则通过在多反应型图像中应用该操作输入信息来再现图像(S260)。根据本发明的一实施例的基于反应型图像的服务提供方法包括如下步骤：根据第一用户的请求上传第一反应型图像；接收针对第一反应型图像的第二用户的操作；生成用于将所述第二用户的操作应用于第一反应型图像的反应生成数据；以及若根据第二用户操作接收到应用反应生成数据的反应实现请求，则将所述反应生成数据应用到所述第一反应型图像中进行再现。
计算机(例如，服务服务器)根据第一用户的请求上传第一反应型图像。所述第一反应型图像可以是实现为第一用户能够实现特定对象体操作的图像。例如，所述第一反应型图像可以是能够通过输入触摸艺人的脸等的操作来实现反应的图像。
计算机接收针对第一反应型图像的第二用户的操作。计算机可以从各用户将各自意图的操作输入到第一反应型图像。例如，在第二用户想要输入针对第一反应型图像的操作的情况下，服务服务器向第二用户的客户端装置提供第一反应型图像数据。针对在用户客户端中处理第一反应型图像的过程的说明将进行详细后述。作为接收第二用户的操作的方式的一示例，在第一反应型图像是能够对艺人的脸进行操作的图像的情况下，第二用户操作可以是作为粉丝触摸艺人的脸的操作。
计算机生成或接收用于将所述第二用户的操作应用于第一反应型图像的反应生成数据。所述反应生成数据存储有针对反应型图像的用户操作，随着与反应型图像一起再现，根据存储的操作再现反应型图像。例如，若第二用户在提供至用户客户端的第一反应型图像中输入操作，则服务服务器接收第二用户的操作来生成反应生成数据，或者接收在所述用户客户端中生成的反应生成数据。
若请求应用根据第二用户操作的反应生成数据的反应实现，则计算机将所述反应生成数据应用于所述第一反应型图像而再现。例如，若从特定的用户接收到将借由第二用户生成的反应生成数据应用于第一反应型图像的请求时，服务服务器可以在第一反应型图像中应用第二图像生成数据来传送再现的图像。
具体地讲，在提供艺人能够与粉丝沟通的SNS服务的情况下，艺人或经纪公司在SNS服务中生成并上传针对艺人的反应型图像，相当于粉丝的第二用户在通过用户客户端提供的反应型图像中输入本人想要的操作。服务服务器从第二用户的用户客户端接收用户操作本身或图像生成数据，并与SNS上的评论一同存储。若其他SNS用户或艺人选择与第二用户的图像生成数据相对应的标签，则可以提供在SNS上的反应型图像中应用图像生成数据的图像。
根据本发明的又一实施例的基于反应型图像的服务提供方法包括如下步骤：服务服务器从多个用户接收针对特定的反应型图像的用户操作；以及提供针对所述反应型图像的操作统计分析结果。
由于随着反应型图像输出根据用户的操作输入的反应而通过用户经验提供广告效果，因此，反应型图像可以制作成针对商品或服务的广告用内容。此时，服务服务器需要向针对商品或服务的广告主提供关于用户所关心的分析数据。
服务服务器可以将针对各反应型图像的热图数据作为分析结果数据提供给广告主客户端。例如，在一个反应型图像中包含各种操作的情况下，广告主可以通过热图数据来了解用户关心针对商品或服务的哪些操作。并且，例如，广告主可以了解用户关心的操作模式。
并且，服务服务器可以向广告主提议能够提高用户的关心度的反应型图像制作方向。
并且，根据本发明的又一实施例的基于反应型图像的服务提供方法包括如下步骤：服务服务器接收针对特定的广告用反应型图像的剪辑保存请求；以及服务服务器将广告用反应型图像可确认地连接在用户的应用程序中。
并且，根据本发明的又一实施例的基于反应型图像的服务提供方法包括如下步骤：服务服务器获取访问特定的反应型图像的用户信息；提取基于所述用户信息的交互数据；以及选择根据所述交互数据的反应生成数据并应用于反应型图像。
为了根据用户自动地输出不同的反应，服务服务器获取访问特定的反应型图像的用户信息。用户信息可以相当于用户的用户账号。
之后，服务服务器提取基于所述用户信息的交互数据。所述交互数据是表示包括在反应型图像中的对象体与用户的交互作用水准的数据。例如，在反应型图像内的对象体是人的情况下，所述交互数据可以包括用户与反应型图像内的登场人物之间的关系、相互间的线上/线下交互作用频率等。
服务服务器选择根据所述交互数据的反应生成数据并应用于反应型图像。提取用于实现与反应型图像中的对象体与用户之间的交互对应的反应的反应生成数据并应用于反应型图像。例如，在所述反应型图像是实现奶奶的表情和移动的图像且用户是孙子的情况下，基于孙子和奶奶的好感度高的交互数据，可以提取实现笑的表情等的积极的反应的反应生成数据并应用于反应型图像。
并且，作为另一实施例，还包括如下步骤：服务服务器获取用于实现对特定的对象体的反应型图像的要素图像；以及服务服务器基于人工智能生成将要素图像变形的多个反应图像。由于服务服务器无法获取对象体(例如，特定的登场人物)的所有反应(例如，表情或动作)，因此，基于包含一部分可获取的反应的要素图像进行变形来实现更多的反应。
以下，记载针对根据本发明的一实施例的反应型图像的结构的说明。
根据本发明的一实施例的反应型图像包括校正图像数据、反应映射(Map)数据以及反应生成数据。
所述校正图像数据对应于为了实现反应型图像而通过分割或校正生成的图像的组合。例如，校正图像数据可以对应于上述的堆栈结构的数据等。
所述反应映射数据(Response Map Data)是结合于校正图像数据的特定区域中而实现反应型的数据。所述反应映射数据起到连接构成所述校正图像数据的图像帧和显示器上的操作位置的作用。
具体地讲，反应映射(Map)数据匹配特定的操作位置或范围与图像帧(或图像信息)。例如，反应映射数据连接屏幕上的范围或位置与特定图像帧的识别值(例如，住址或地址)。
所述反应生成数据(Response Trigger Data)是针对输入在反应型图像中的用户操作的数据。
若校正图像数据与反应映射图像结合，则生成能够根据用户操作输出反应的反应型图像，若校正图像数据与反应生成数据结合，则生成输出特定反应的图像。
并且，反应型图像还可以包括反应脚本(Response Script)数据。所述反应脚本数据是针对根据用户操作提供的图像信息的条件的数据。即，反应脚本数据可以对应于由反应型图像制作者设定的反应条件。在所述反应型图像与校正图像数据、反应映射数据以及反应脚本数据结合的情况下，反应型图像可以根据用户输入操作而达成的条件来实现不同的反应。
以下，说明根据本发明的一实施例的反应型图像再现方法。
根据本发明的一实施例的反应型图像再现方法包括如下步骤：服务服务器从用户客户端获取反应型图像的操作位置；服务服务器将针对操作位置的地址传送到用户客户端，其中，所述地址是应从客户端输出的帧信息；以及用户客户端通过与所述地址对应的图像处理来实时输出。
如果用户客户端原样地存储反应型图像，则存在反应型图像本身将被泄露的忧虑，因此，需要提高安全性的方案。为此，在用户客户端可以仅存储构成反应型图像的多个图像信息。例如，用户客户端无需原样地存储反应型图像，而是在压缩构成反应型图像的帧的过程中进行分割并变更各帧的存储顺序，从而可以提高安全性。但是，当用户客户端以这种方式存储图像信息时，需要用于根据用户的操作输出反应型图像的方案。
首先，服务服务器从用户客户端获取反应型图像的操作位置。即，服务服务器从用户客户端接收用户输入了用于将哪个部分输出为反应型的操作。例如，服务服务器接收用户客户端的触摸显示器上的操作位置数据。
之后，服务服务器将针对操作位置的地址传送到用户客户端。所述地址是在客户端中存储的地址中需要输出的帧信息(即，帧的识别值)。
之后，用户客户端通过与所述地址对应的图像处理来实时输出。
并且，在所述操作位置获取步骤中，还可以获取输入用户操作的时间数据或压力强度。由于根据用户进行操作的压力强度或时间可能需要输出不同的帧，因此，服务服务器可以从用户终端与操作位置(xy坐标)一起接收操作时间长度或压力强度。
并且，根据本发明的另一实施例的基于反应型图像的服务提供方法实现为计算机根据视频再现时间移动反应映射数据。由此，在视频再现的过程中输入用户的操作来实现反应。
例如，在再现人走路的视频中，根据用户输入操作的位置来实现再现不同的帧(例如，登场人物摔倒的位置根据操作位置而不同地再现)。
为此，计算机可以设置成反应映射数据的位置随着时间的推移而变更，也可以根据操作时间点(即，视频中的再现时间)不同地设置与反应映射数据上的每个分割区域匹配的帧。即，计算机可以对用户操作被输入的反应映射数据上的分割区域值和输入操作的时间值的组合匹配不同的图像信息。
根据以上所述的本发明的一实施例的多反应型图像生成文件生成方法可以为了与作为硬件的计算机结合并实施而实现为程序(或应用)，并且存储于介质。
所述程序为了使所述计算机读取程序并实施以程序体现的所述方法，可以包括以所述计算机的处理器(CPU)可以通过所述计算机的设备界面读取的C、C++、JAVA、机器语言等计算机语言进行编码的代码(Code)。这种代码可以包括与定义实施所述方法所需功能的函数等相关的功能性代码(Functional Code)，可以包括使所述计算机的处理器按既定步骤运行所述功能所需的运行步骤相关控制代码。另外，这种代码可以还包括针对所述计算机处理器运行所述功能所需的追加信息或媒体应在所述计算机的内部或外部存储器的哪个位置(地址号)参照的存储器参照相关代码。另外，当所述计算机的处理器为了运行所述功能而需要与远程(Remote)的某个其他计算机或服务器等通信时，代码可以还包括针对应利用所述计算机的通信模块而与远程的哪个其他计算机或服务器等如何通信、通信时应发送接收何种信息或媒体等的通信相关代码。
所述进行存储的介质不是诸如寄存器、高速缓冲存储器、存储器等在短瞬间存储数据的介质，而是意味着半永久性存储数据并可被机器读取(reading)的介质。具体而言，作为所述进行存储的介质的示例，有只读存储器(ROM)、随机存取存储器(RAM)、只读光盘驱动器(CD-ROM)、磁带、软盘、光数据存储装置等，但不限于此。即，所述程序可以存储于所述计算机可访问的多样服务器上的多样记录介质或使用者的所述计算机上的多样记录介质。另外，所述介质可分布于通过网络连接的计算机系统，以分布方式存储计算机可读代码。
第一，通过将多反应型图像生成文件与一般视频或多个图像帧集合一同再现，可以应用多种动作(即，反应)。
第二，由于通过多反应型图像生成文件对图像执行特定的条件设置，因此与单纯地受时间轴限制的现有媒体不同，可以向用户提供根据事件(Event)应用了各自不同输出的多反应型图像。
第三，由于对视频帧应用图像分割或裁剪，因此具有能够基于拍摄的一个图像来实现多个动作的效果。
第四，通过反应型图像生成文件记录特定用户对图像的操作历史，因此能够掌握用户对图像的反应。例如，可以掌握用户对多反应型图像的触摸操作次数、执行触摸操作的帧和帧内对象体等。
以上，虽然参照附图对本发明的实施例进行了说明，但是在本发明所属技术领域中具有普通知识的人员能够理解，在不改变本发明的其技术思想或必要特征的前提下能够实施为其他具体形态。因此，以上描述的实施例应当在所有方面均被理解为示例性的，而并非限定性的。

Claims (13)

1.一种基于反应型图像的服务提供方法，作为借由装置执行的多反应型图像生成方法，其特征在于，包括如下步骤：
压缩图像生成步骤，若从第一用户终端接收至少一个基础图像，则基于所述至少一个基础图像生成压缩图像，所述压缩图像仅包括将被实现为根据第二用户的操作的对象体的运动，其中，至少一个基础图像是包括将被实现为根据用户的操作的反应型的对象体的运动的原始图像；多反应型图像生成条件生成步骤，所述多反应型图像生成条件为与在所述压缩图像中能够生成的反应对应的多个操作输入；
多反应型图像生成及上传步骤，将所述多反应型图像生成条件应用于所述压缩图像；以及
再现图像步骤，若随着第二用户在所述多反应型图像中输入操作而接收操作输入信息，则将所述操作输入信息应用与所述多反应型图像而再现图像，
所述压缩图像是包括针对分割或校正所述至少一个基础图像而生成的图像的组合的信息的堆栈结构的数据，
所述多反应型生成条件是包括用于与所述压缩图像的特定区域结合而实现反应型的信息的数据，
所述操作输入信息包括基于所述多反应型图像的包含针对用户操作的信息的数据。
2.根据权利要求1所述的基于反应型图像的服务提供方法，其特征在于，
在所述上传步骤之后，
若从所述第二用户终端接收基于所述多反应型图像的请求信息，则基于所述请求信息获取要素图像，并基于人工智能生成对所述获取的要素图像进行变形的多个反应图像。
3.根据权利要求1所述的基于反应型图像的服务提供方法，其特征在于，
在所述上传步骤之后，
若从所述第二用户终端接收基于所述多反应型图像的反应脚本信息，则在所述多反应型图像进一步结合所述反应脚本信息，并根据之后输入的操作输入信息来实现反应。
4.根据权利要求1所述的基于反应型图像的服务提供方法，其特征在于，
在所述压缩图像生成步骤中，
通过图像区间分割或图像帧的相似度识别而从所述至少一个基础图像中删除不会被实现为反应型的图像帧。
5.根据权利要求1所述的基于反应型图像的服务提供方法，其特征在于，
在所述压缩图像生成步骤中，
在包括相同对象体的第一基础图像及第二基础图像包括所述对象体相对于相同路径的运动的情况下，
从所述第一基础图像及所述第二基础图像中提取包括相同路径的运动的区间图像，在所述第一基础图像及所述第二基础图像中的一个保留所包括的重复区间图像。
6.根据权利要求1所述的基于反应型图像的服务提供方法，其特征在于，
所述多个操作输入是多点触控、多功能、多目标、多场景、多结果以及多反应中的至少一个形态。
7.一种基于反应型图像的服务提供装置，其特征在于，包括：
通信模块；
存储模块，为了提供基于多反应型图像的服务而存储必要的至少一个程序；
控制模块，基于所述至少一个程序而控制用于提供所述基于多反应型图像的服务的操作，
其中，所述控制模块配备为如下：
若从第一用户终端接收至少一个基础图像，则基于所述至少一个基础图像生成压缩图像，所述压缩图像仅包括将被实现为根据第二用户的操作的对象体的运动，其中，至少一个基础图像是包括将被实现为根据用户的操作的反应型的对象体的运动的原始图像，生成作为与在所述压缩图像中能够生成的反应对应的多个操作输入的多反应型图像生成条件，将所述多反应型生成条件应用于所述压缩图像来生成多反应型图像而上传，若随着所述第二用户在所述多反应型图像中输入操作而接收操作输入信息，则将所述操作输入信息应用与所述多反应型图像而再现图像，
所述压缩图像是包括针对分割或校正所述至少一个基础图像而生成的图像的组合的信息的堆栈结构的数据，
所述多反应型生成条件是包括用于与所述压缩图像的特定区域结合而实现反应型的信息的数据，
所述操作输入信息包括基于所述多反应型图像的包含针对用户操作信息的数据。
8.根据权利要求7所述的基于反应型图像的服务提供装置，其特征在于，
所述控制模块在进行所述上传时，若从所述第二用户终端接收基于所述多反应型图像的请求信息，则基于所述请求信息获取要素图像，并基于人工智能生成对所述获取的要素图像进行变形的多个反应图像。
9.根据权利要求7所述的基于反应型图像的服务提供方法，其特征在于，
所述控制模块在进行所述上传时，若从所述第二用户终端接收基于所述多反应型图像的反应脚本信息，则在所述多反应型图像进一步结合所述反应脚本信息，并根据之后输入的操作输入信息来实现反应。
10.根据权利要求7所述的基于反应型图像的服务提供装置，其特征在于，
所述控制模块在生成所述压缩图像时，通过图像区间分割或图像帧的相似度识别而从所述至少一个基础图像中删除不会被实现为反应型的图像帧。
11.根据权利要求7所述的基于反应型图像的服务提供装置，其特征在于，
所述控制模块在生成所述压缩图像时，在包括相同对象体的第一基础图像及第二基础图像包括所述对象体相对于相同路径的运动的情况下，从所述第一基础图像及所述第二基础图像中提取包括相同路径的运动的区间图像，在所述第一基础图像及所述第二基础图像中的一个保留所包括的重复区间图像。
12.根据权利要求7所述的基于反应型图像的服务提供装置，其特征在于，
所述多个操作输入是多点触控、多功能、多目标、多场景、多结果以及多反应中的至少一个形态。
13.一种反应型图像提供程序，所述程序与作为硬件的计算机结合，并且为了执行根据权利要求1所述的方法而存储于计算机可读记录介质。
CN202180086360.6A 2020-10-23 2021-10-22 反应型图像制作方法、反应型图像服务提供方法及利用该方法的程序 Pending CN116671117A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063104984P 2020-10-23 2020-10-23
US63/104,984 2020-10-23
PCT/KR2021/014975 WO2022086299A1 (ko) 2020-10-23 2021-10-22 반응형영상 제작 및 서비스 제공방법 및 이를 이용한 프로그램

Publications (1)

Publication Number Publication Date
CN116671117A true CN116671117A (zh) 2023-08-29

Family

ID=81256739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180086360.6A Pending CN116671117A (zh) 2020-10-23 2021-10-22 反应型图像制作方法、反应型图像服务提供方法及利用该方法的程序

Country Status (5)

Country Link
US (2) US11706503B2 (zh)
EP (1) EP4236333A4 (zh)
KR (1) KR20230098817A (zh)
CN (1) CN116671117A (zh)
WO (1) WO2022086299A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100681833B1 (ko) * 2000-03-31 2007-02-12 삼성테크윈 주식회사 디지털 기록 시스템에서의 데이터 압축 장치 및 그 제어방법
EA201492099A1 (ru) * 2012-05-14 2015-04-30 Лука Россато Разложение остаточных данных при кодировании, декодировании и реконструкции сигнала в многоуровневой иерархии
US9195880B1 (en) * 2013-03-29 2015-11-24 Google Inc. Interactive viewer for image stacks
KR101750060B1 (ko) * 2015-08-13 2017-06-22 이철우 반응형 영상 생성방법 및 생성프로그램
KR20180039321A (ko) * 2016-10-10 2018-04-18 이철우 반응형영상 제작방법, 반응형영상 생성파일 제작방법, 반응형영상 기반의 광고효과 분석방법 및 이를 이용한 프로그램
US20210390937A1 (en) * 2018-10-29 2021-12-16 Artrendex, Inc. System And Method Generating Synchronized Reactive Video Stream From Auditory Input
KR102363554B1 (ko) * 2019-04-26 2022-02-16 이철우 다중 반응형영상 제작방법, 다중 반응형영상 메타데이터 생성방법, 인간 행동을 이해하기 위한 상호 작용 데이터 분석 방법 및 이를 이용한 프로그램

Also Published As

Publication number Publication date
US20220132225A1 (en) 2022-04-28
WO2022086299A1 (ko) 2022-04-28
KR20230098817A (ko) 2023-07-04
US11706503B2 (en) 2023-07-18
EP4236333A1 (en) 2023-08-30
EP4236333A4 (en) 2024-04-10
US20230319375A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
KR102363554B1 (ko) 다중 반응형영상 제작방법, 다중 반응형영상 메타데이터 생성방법, 인간 행동을 이해하기 위한 상호 작용 데이터 분석 방법 및 이를 이용한 프로그램
KR102225802B1 (ko) 반응형 영상 생성방법 및 생성프로그램
CN112232425B (zh) 图像处理方法、装置、存储介质及电子设备
JP2023517211A (ja) 表情トランスファーモデルの訓練方法、表情トランスファー方法及び装置並びにコンピュータ装置及びプログラム
US9747495B2 (en) Systems and methods for creating and distributing modifiable animated video messages
JP6662876B2 (ja) アバター選択機構
US20230400965A1 (en) Media content player on an eyewear device
KR20220054570A (ko) 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
CN111882625A (zh) 生成动态图的方法、装置、电子设备及存储介质
US11782577B2 (en) Media content player on an eyewear device
CN116671117A (zh) 反应型图像制作方法、反应型图像服务提供方法及利用该方法的程序
US20080122867A1 (en) Method for displaying expressional image
CN114009058B (zh) 多反应型图像生成方法及其存储介质
CN111915744A (zh) 增强现实图像的交互方法、终端和存储介质
CN113325946A (zh) 一种基于增强现实的虚拟礼物交互方法以及相关装置
KR102537492B1 (ko) 다중 반응형 영상 생성 방법
CN114398858A (zh) 一种文档显示的方法、相关装置、设备以及存储介质
US20230393730A1 (en) User interface including multiple interaction zones
WO2023229896A1 (en) Unlocking sharing destinations in an interaction system
CN113448466A (zh) 动画显示方法、装置、电子设备及存储介质
KR20220019614A (ko) 메이크업 이펙트가 선택적으로 적용된 이미지의 포스팅에 대한 리워드 제공 시스템
CN114819928A (zh) 虚拟资源的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination