CN110521213B - 故事影像制作方法及系统 - Google Patents

故事影像制作方法及系统 Download PDF

Info

Publication number
CN110521213B
CN110521213B CN201780088803.9A CN201780088803A CN110521213B CN 110521213 B CN110521213 B CN 110521213B CN 201780088803 A CN201780088803 A CN 201780088803A CN 110521213 B CN110521213 B CN 110521213B
Authority
CN
China
Prior art keywords
story
image
images
information
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780088803.9A
Other languages
English (en)
Other versions
CN110521213A (zh
Inventor
陈正焕
金星旭
崔相晧
朴炳宣
李元孝
郑圣烨
咸努儿
金志珉
申亨培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snow Corp
Original Assignee
Snow Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snow Corp filed Critical Snow Corp
Publication of CN110521213A publication Critical patent/CN110521213A/zh
Application granted granted Critical
Publication of CN110521213B publication Critical patent/CN110521213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Abstract

本发明提供一种故事影像制作方法及系统。根据一个实施例的故事影像制作方法，通过确定适合于收集的影像的故事的主题(Thema)，并按照与所述主题关联的各模板帧分别选择和分配适合的影像，从而能够制作特定的故事影像。

Description

故事影像制作方法及系统
技术领域
下面的说明涉及故事影像制作方法及系统，以及存储在计算机可读记录介质中的计算机程序和记录介质，用于与计算机结合并在计算机中执行故事影像制作方法。
背景技术
在现有技术中，收集用户的影像，编辑收集的影像以生成和提供动画或视频等。例如，在这种现有技术中，用户从存储于终端中的影像或备份在网络上的影像中选择一部分，组合所选择的影像，并进一步组合语音或影像效果等从而生成并提供动画或视频等。例如，韩国公开专利第10-2010-0001270号涉及一种幻灯片视频生成装置及方法，公开了将拍摄的规定数量的影像按照拍摄顺序组合而生成一个视频文件的技术。
但是，这种现有技术只是单纯地将存储的影像中由用户选择的影像或在规定的条件下拍摄的影像按照规定的顺序(例如，用户选择影像的顺序或影像拍摄顺序、影像存储顺序或者根据影像的文件名或拍摄时间排列的顺序等)组合而生成动画或视频，而不能根据特定的故事筛选影像以生成故事影像或者提供适合现存影像的故事。
发明内容
(一)要解决的技术问题
本发明提供一种故事影像制作方法及系统，通过确定适合于收集的影像的故事的主题(thema)，并按照与所述主题关联的各模板帧选择和分配适合的影像，从而能够制作特定的故事影像。
本发明提供一种故事影像制作方法及系统，通过生成适合于收集的影像的故事或从已定义的故事中选择适合于收集的影像的故事，并按照与生成或选择的故事对应的各模板帧选择和分配适合的影像，从而能够制作适合于生成或选择的故事的故事影像。
(二)技术方案
提供一种故事影像制作方法，其特征在于，包括以下步骤：收集多个影像；从收集的所述多个影像中的每一个提取说明文字信息和元信息；基于提取的所述说明文字信息和所述元信息对收集的所述多个影像进行分类，并基于分类的所述影像确定要制作的故事的主题；从与确定的所述故事的主题关联的至少一个模板中选择一个，所述至少一个模板的每一个包括用于分配影像的多个帧，所述多个帧的每一个对应于用于要分配的影像的至少一个关键词或至少一个句子；将与所述多个帧的每一个对应的至少一个关键词或至少一个句子与提取的所述说明文字信息和所述元信息进行比较，并从收集的所述多个影像中选择用于选择的所述模板所包括的多个帧的每一个的影像；以及将选择的所述影像分配给所述多个帧的每一个以生成故事影像。
提供一种故事影像制作方法，其特征在于，包括以下步骤：收集多个影像；从收集的所述多个影像中的每一个提取说明文字信息和元信息；基于提取的所述说明文字信息和所述元信息生成故事或从已定义的故事中选择一个；生成与生成或选择的所述故事对应的模板，生成的所述模板包括用于分配影像的多个帧，所述多个帧的每一个对应于与生成或选择的故事关联的至少一个关键词或句子；将与所述多个帧对应的至少一个关键词或句子与提取的所述说明文字信息和所述元信息进行比较，并从收集的所述多个影像中选择用于生成的所述模板所包括的多个帧的每一个的影像；以及将选择的所述影像分配给所述多个帧的每一个以生成故事影像。
提供一种计算机可读记录介质，其特征在于，记录有用于使计算机执行所述故事影像制作方法的计算机程序。
提供一种计算机程序，存储在计算机可读记录介质中，以与计算机结合并在计算机中执行所述故事影像制作方法。
提供一种故事影像制作系统，其特征在于，包括至少一个处理器以用于执行计算机可读指令，所述至少一个处理器被配置成：收集多个影像；从收集的所述多个影像中的每一个提取说明文字信息和元信息；基于提取的所述说明文字信息和所述元信息对收集的所述多个影像进行分类，并基于分类的所述影像确定要制作的故事的主题；从与确定的所述故事的主题关联的至少一个模板中选择一个，所述至少一个模板的每一个包括用于分配影像的多个帧，所述多个帧的每一个对应于用于要分配的影像的至少一个关键词或至少一个句子；将与所述多个帧的每一个对应的至少一个关键词或至少一个句子与提取的所述说明文字信息和所述元信息进行比较，并从收集的所述多个影像中选择用于选择的所述模板所包括的多个帧的每一个的影像；以及将选择的所述影像分配给所述多个帧的每一个以生成故事影像。
提供一种故事影像制作系统，其特征在于，包括至少一个处理器以用于运行计算机可读指令，所述至少一个处理器被配置成：收集多个影像；从收集的所述多个影像中的每一个提取说明文字信息和元信息；基于提取的所述说明文字信息和所述元信息生成故事或从已定义的故事中选择一个；生成与生成或选择的所述故事所对应的模板，生成的所述模板包括用于分配影像的多个帧，所述多个帧的每一个对应于与生成或选择的故事关联的至少一个关键词或句子；将与所述多个帧对应的至少一个关键词或句子与提取的所述说明文字信息和所述元信息进行比较，并从收集的所述多个影像中选择用于生成的所述模板所包括的多个帧的每一个的影像；以及将选择的所述影像分配给所述多个帧的每一个以生成故事影像。
(三)有益效果
通过确定适合于收集的影像的故事的主题(thema)，并按照与所述主题关联的各模板帧选择和分配适合的影像，从而能够制作特定的故事影像。
通过生成适合于收集的影像的故事或从已定义的故事中选择适合于收集的影像的故事，并按照与生成或选择的故事对应的各模板帧选择和分配适合的影像，从而能够制作适合于生成或选择的故事的故事影像。
附图说明
图1是示出根据本发明的一个实施例的网络环境的示例的图。
图2是用于说明本发明的一个实施例中的电子设备和服务器的内部配置的框图。
图3是示出本发明的一个实施例中的故事影像制作环境的示例的图。
图4是示出根据本发明的一个实施例的服务器的处理器可以包括的组件的示例的框图。
图5是示出根据本发明的一个实施例的服务器可以执行的故事影像制作方法的示例的流程图。
图6是示出本发明的一个实施例中确定故事主题的过程的示例的图。
图7是示出本发明的一个实施例中选择将要分配到模板所包括的各帧中的影像的示例的图。
图8是示出根据本发明的一个实施例的服务器的处理器可以包括的组件的示例的框图。
图9是示出根据本发明的一个实施例的服务器可以执行的故事影像制作方法的示例的流程图。
图10是示出本发明的一个实施例中生成故事的示例的图。
最佳实施方式
下面，参照附图对本发明的实施例进行详细说明。
根据本发明的故事影像制作系统可以通过后述的电子设备或服务器来实现，根据本发明的故事影像制作方法可以通过所述电子设备或服务器来执行。其中，电子设备或服务器中可以安装并驱动本发明的一个实施例的计算机程序，电子设备或服务器可以根据驱动的计算机程序的控制执行本发明的一个实施例的故事影像制作方法。所述计算机程序可以存储在计算机可读记录介质中，以与由计算机实现的电子设备或服务器结合并在计算机中执行故事影像制作方法。
在本发明的实施例中，“影像”可以以包括照片、视频、动画等视觉内容的含义使用。
图1是示出根据本发明的一个实施例的网络环境的示例的图。图1的网络环境表示为包括多个电子设备110、120、130、140、多个服务器150、160和网络170的示例。所述图1作为用于说明发明的一个示例，电子设备的数量或服务器的数量不限定于图1所示的数量。
多个电子设备110、120、130、140可以是由计算机装置实现的固定终端或移动终端。作为多个电子设备110、120、130、140的示例，有智能手机(smart phone)、手机、导航仪、计算机、笔记本电脑、数字广播终端、个人数字助理(Personal Digital Assistants，PDA)、便携式多媒体播放器(Portable Multimedia Player，PMP)、平板PC等。作为一个示例，在图1中作为电子设备一110的一个示例示出智能手机的形状，但在本发明的实施例中，电子设备一110 可以表示实际利用无线或有线通信方式可通过网络170与其它电子设备120、130、140和/或服务器150、160通信的多种物理装置中的一个。
对通信方式不作限定，通信方式不仅可以包括利用网络170所能够包括的通信网(例如移动通信网、有线互联网、无线互联网、广播网)的通信方式，而且还可以包括设备之间的近场通信。例如，网络170可以包括个人局域网(personal area network，PAN)、局域网(local area network，LAN)、校园网(campus area network，CAN)、城域网(metropolitanarea network，MAN)、广域网(wide area network，WAN)、宽带网(broadband network，BBN)、互联网等网络中的一个以上的任意网络。另外，网络170可以包括包含总线网络、星形网络、环形网络、网状网络、星形-总线网络、树状或分层(hierarchical)网络等的网络拓扑中的任意一个以上，对此不作限定。
服务器150、160可以分别由通过网络170与电子设备110、 120、130、140通信以提供指令、代码、文件、内容、服务等的计算机装置或多个计算机装置实现。例如，服务器150可以是向通过网络170接入的多个电子设备110、120、130、140提供第一服务的系统，而服务器160同样可以是向通过网络170接入的多个电子设备 110、120、130、140提供第二服务的系统。作为更具体的示例，服务器150可以通过作为在电子设备110、120、130、140中安装并驱动的计算机程序的应用程序，来将相应应用程序的目标服务(例如故事影像制作服务、短信服务、邮件服务、内容传送服务等)作为第一服务提供。作为另一个示例，服务器160可以将向多个电子设备 110、120、130、140分发用于安装和驱动所述应用程序的文件的服务作为第二服务提供。
图2是用于说明本发明的一个实施例中的电子设备和服务器的内部配置的框图。图2中说明电子设备的示例电子设备一110以及服务器150的内部配置。另外，其它电子设备120、130、140或服务器 160可以具有与所述电子设备一110或服务器150相同或相似的内部配置。
电子设备一110和服务器150可以包括存储器211、221、处理器212、222、通信模块213、223以及输入输出接口214、224。存储器211、221作为计算机可读介质可以包括诸如随机存取存储器 (random access memory，RAM)、只读存储器(read only memory， ROM)和诸如磁盘驱动器的非易失性大容量记录装置(permanent mass storage device)。其中，诸如ROM和磁盘驱动器的非易失性大容量记录装置作为区别于存储器211、221的单独的永久存储装置，也可以包括在电子设备一110或服务器150中。另外，存储器211、 221中可以存储操作系统和至少一个程序代码(例如，用于为提供在电子设备一110中安装并驱动的浏览器或者特定服务而在电子设备一110中安装的应用程序等的代码)。这些软件组件可以从与存储器 211、221分开的计算机可读记录介质加载。这种单独的计算机可读记录介质可以包括软盘驱动器、磁盘、磁带、DVD/CD-ROM驱动器、存储卡等计算机可读记录介质。在其它实施例中，软件组件可以通过通信模块213、223而非计算机可读记录介质加载到存储器 211、221中。例如，至少一个程序可以基于计算机程序(例如，所述应用程序)加载到存储器211、221中，其中所述计算机程序通过由开发者或分发应用程序的安装文件的文件分发系统(例如，所述服务器160)通过网络170提供的文件安装。
处理器212、222可以被配置为通过执行基本的算法、逻辑和输入输出运算来处理计算机程序的指令。指令可以由存储器211、221 或通信模块213、223提供给处理器212、222。例如，处理器212、 222可以被配置为执行根据存储在诸如存储器211、221的记录装置中的程序代码接收的指令。
通信模块213、223可以提供用于通过网络170使电子设备一110 与服务器150互相通信的功能，还可以提供用于电子设备一110和/ 或服务器150与其它电子设备(例如电子设备二120)或其它服务器 (例如服务器160)通信的功能。例如，电子设备一110的处理器212 根据存储器211等记录装置中存储的程序代码生成的请求可以根据通信模块213的控制通过网络170传送到服务器150。反过来，根据服务器150的处理器222的控制而提供的控制信号或指令、内容、文件等可以经由通信模块223和网络170并通过电子设备一110的通信模块213由电子设备一110接收。例如，通过通信模块213接收的服务器150的控制信号或指令、内容、文件等可以传送到处理器212或存储器211，内容或文件等可以存储在电子设备一110还可以包括的存储介质(所述永久存储装置)中。
输入输出接口214可以是用于与输入输出装置215接口的装置。例如，输入装置可以包括诸如键盘或鼠标等的装置，输出装置可以包括诸如显示器、扬声器等的装置。作为其它示例，输入输出接口 214也可以是用于与例如触摸屏的输入和输出功能为一体的装置接口的装置。输入输出装置215也可以与电子设备一110构成为一个装置。另外，服务器150的输入输出接口224可以是用于与服务器150 连接的或者服务器150可以包括的用于输入或输出的装置(未示出) 接口的装置。作为更具体的示例，在电子设备一110的处理器212处理加载在存储器211中的计算机程序的指令时，利用由服务器150或电子设备二120提供的数据而配置的服务画面或内容可以通过输入输出接口214显示在显示器上。
另外，在其它实施例中，电子设备一110和服务器150也可以包括比图2的组件更多的组件。但是，大部分现有技术的组件没有必要明确地在图中表示出来。例如，电子设备一110可以包括所述输入输出装置215中的至少一部分，或者还可以包括诸如收发器(transceiver)、全球定位系统(Global Positioning System，GPS)模块、摄像头、各种传感器、数据库等的其它组件。作为更具体的示例，当电子设备一110为智能手机时，电子设备一110中还可以包括智能手机一般包括的加速度传感器或陀螺仪传感器、摄像头模块、各种物理按钮、利用触摸屏的按钮、输入输出端口、用于振动的振动器等多种组件。
图3是示出本发明的一个实施例中的故事影像制作环境的示例的图。图3中表示故事影像制作服务器310向N个客户端320提供故事影像制作服务的实施例。例如，故事影像制作服务器310可以根据N个客户端320中的特定客户端(例如客户端一)的请求，为相应客户端生成故事影像，并提供给相应客户端。根据实施例，故事影像制作服务器310也可以在没有来自客户端的单独的请求的情况下任意生成故事影像并向相应客户端推荐。其中，故事影像制作服务器310可以对应于前面说明的服务器150，特定客户端可以对应于前面说明的多个电子设备110、120、130、140中的一个。
所生成的故事影像可以利用与特定客户端关联的影像中的至少一部分而生成。例如，可以利用安装特定客户端的用户终端所包括的本地存储区中存储的影像中的至少一部分和/或与相应客户端的用户的社交网络服务的账号关联地存储在网络(web)上的影像中的至少一部分，来为相应客户端生成故事影像。为此，故事影像制作服务器310可以收集所需要的多个影像。例如，存储在本地存储区中的影像可以通过客户端自动在故事影像制作服务器310的数据库中备份。在这种情况下，故事影像制作服务器310可以利用存储在数据库中的影像为相应客户端生成故事影像。
在图3的实施例中说明了服务器-客户端环境中制作故事影像的示例，在其它实施例中，也可以实现为能够包括用于用户的终端中存储的客户端直接制作故事影像的功能。例如，客户端可以包括所述功能，即，利用终端所包括的本地存储区中存储的影像中的至少一部分或与用户的社交网络服务的账号关联地存储在网络上的影像中的至少一部分来制作故事影像。
图4是示出根据本发明的一个实施例的服务器的处理器可以包括的组件的示例的框图，图5是示出根据本发明的一个实施例的服务器可以执行的故事影像制作方法的示例的流程图。
根据本发明的实施例的故事影像制作系统可以以前面说明的例如服务器150的计算机装置的形式实现。另外，如图4所示，服务器 150的处理器222可以包括影像收集单元410、信息提取单元420、主题确定单元430、模板选择单元440、影像选择单元450和故事影像生成单元460，作为用于实现故事影像制作系统的组件。这种处理器222和处理器222的组件可以执行图5的故事影像制作方法所包括的步骤510至560。其中，处理器222和处理器222的组件可以实现为能够执行基于存储器221所包括的操作系统的代码或至少一个程序的代码的控制指令(instruction)。其中，处理器222的组件可以是根据服务器150中存储的代码所提供的控制指令而由处理器222执行的处理器222的彼此不同的功能(differentfunctions)的表现。例如，可以使用影像收集单元410作为处理器222根据所述控制指令控制服务器150以收集影像的处理器222的功能表现。
在步骤510中，影像收集单元410可以收集多个影像。多个影像可以包括用户终端所包括的本地存储区中存储的影像和与用户的社交网络服务(Social Network Service，SNS)的账号关联地存储在网络上的影像中的一个。例如，用户终端可以对应于已安装用于客户端的计算机程序的电子设备一110，服务器150可以通过网络170收集存储在电子设备一110的本地存储区中的影像。作为其它示例，服务器150也可以基于用户的SNS账户通过网络170从相应SNS收集影像。作为更具体的示例，用户在SNS上上传的影像可以与用户的账号关联地公布于网络(web)上，服务器150可以收集通过相应的SNS公布的影像中与用户账号关联地公布的影像。
在步骤520中，信息提取单元420可以从收集的多个影像中的每一个提取说明文字信息和元信息。
其中，说明文字信息可以包括通过基于从输入的图像生成与图像关联的文本的机器学习的图像分析技术获取的文本信息。本领域技术人员可以通过已广泛周知的技术容易地理解从输入的图像中获取与图像相关的文本信息的技术。例如，张量流图(TensorFlow)是谷歌(Google)公司开发的机器学习(machine learning)引擎。作为检索、语音识别、翻译等谷歌应用程序中使用的机器学习用引擎，利用这种张量流图来从图像中提取作为说明文字信息的文本信息的技术已经存在。信息提取单元420可以利用这种广泛周知的技术从收集的影像中提取说明文字信息。
另外，元信息可以包括收集的影像所包括的相应影像的生成时间和生成位置相关的信息。例如，利用智能手机所包括的摄像头拍摄照片而所生成的影像文件中可以包括相应照片的拍摄时间和相应照片拍摄时间点的智能手机的地理位置(例如GPS坐标)。即，信息提取单元420可以从收集的影像中提取这种收集的信息所包括的生成时间信息和生成位置信息作为元信息。
提取的说明文字信息和元信息可以与相应的影像关联地进行管理。例如，收集的影像的标识符和相应影像的说明文字信息及元信息可以彼此相关联地存储在数据库中。
在步骤530中，主题确定单元430可以基于提取的说明文字信息和元信息对收集的多个影像进行分类，并基于分类的影像确定要制作的故事的主题。例如，在步骤530中，主题确定单元430可以利用说明文字信息所包括的文本信息、影像的生成时间和影像的生成位置中的至少两个将收集的多个影像分类为多个类别，并将基于各类别的影像的数量而选择的类别的主题确定为故事的主题。
例如，主题确定单元430可以将通过生成位置确认的位置为商场A周围且生成时间在规定时间间隔以内的影像分类为“购物”类别。作为其它示例，主题确定单元430可以将生成位置为体育场B 周围且生成时间在规定时间间隔以内的影像分类为“观看比赛”类别。
另外，根据需要，用户的注册个人资料或平时对用户收集的个人信息也可以进一步应用于这种影像的分类中。例如，主题确定单元430可以利用用户的个人资料中存储的住址信息，将生成位置为通过住址信息所特定的位置周围且生成时间在规定时间间隔以内的影像分类为“日常”类别。作为其它示例，可以将生成位置为从通过住址信息特定的位置脱离预设定距离以上的区域且生成时间在规定时间间隔以内(例如两天以上的时间间隔)的影像分类为“旅行”类别。
在这种利用用户的个人信息的情况下，可以实现更加多样的类别的分类。例如，当可以特定用户A的家庭位置和学校位置以及用户的上学时间和放学时间等时，将影像分类为“上学路上”或“放学路上”的类别也是可能的。
另外，将利用影像的说明文字信息提取的是与滑雪相关的文本信息且生成位置为滑雪场周围的影像分类为“滑雪”类别；将利用影像的说明文字信息提取的是与火车相关的文本信息且生成位置为火车站周围的影像分类为“火车旅行”类别。
另外，类别可以选择预先设置的类别中相似度最高的一个类别，作为其它实施例，也可以通过经由说明文字信息或元信息提取的关键词(前面说明的“商场A”、“体育场B”、“滑雪”、“火车”等)来生成没有预先设置的新的类别。
如此，本领域技术人员可以容易地理解，可以利用说明文字信息和元信息来分类多种类别。
另外，如上所述，主题确定单元430可以基于分类的影像确定故事的主题。例如，可以将各类别影像的数量最多的类别的主题确定为故事的主题。作为其它示例，也可以将各类别影像的数量在阈值以上的类别的主题中的一个确定为故事的主题。作为更具体的示例，可以向用户提供各类别影像的数量在阈值以上的类别的主题的列表，用户通过列表选择的主题被确定为故事的主题。为此，服务器150可以通过网络170将主题的列表传送给电子设备一110。在这中情况下，电子设备一110可以接收主题的列表并显示在画面中，并向用户提供可以从列表中选择主题的功能。这种显示主题的列表或选择主题的功能可以通过电子设备一110中安装的计算机程序的控制来实现。另外，由用户选择的主题相关的信息可以通过网络170 传送给服务器150。
在步骤540中，模板选择单元440可以从与确定的故事的主题关联的至少一个模板中选择一个。其中，至少一个模板的每一个可以包括用于分配影像的多个帧，多个帧的每一个可以对应于用于要分配的影像的至少一个关键词和/或至少一个句子。
例如，预先设置的类别可以预先生成或设置与相应类别的主题关联的至少一个模板。其中，模板选择单元440可以与所确定的故事的主题关联地选择预先生成和设置的模板中的一个。或者，用户可以与所确定的故事的主题关联地直接生成和设置模板。在这种情况下，电子设备一110中安装的计算机程序可以提供用于生成和设置这种模板的功能。例如，计算机程序可以接收输入的要生成的模板所包括的帧的数量和与各帧对应的关键词和/或句子。作为更具体的示例，为了生成与“旅行”主题关联的模板，指定帧的数量为5，并且向用户提供用于输入通过所述5的指定而生成的5个帧的每一个的关键词和/或句子的功能。这里，与帧对应的关键词和/或句子可以用于选择向相应帧分配的影像。
在步骤550中，影像选择单元450可以将与多个帧的每一个对应的至少一个关键词或至少一个句子与提取的说明文字信息和元信息进行比较，并从收集的多个影像中选择用于选择的模板所包括的多个帧的每一个的影像。例如，影像选择单元450可以将与多个帧中的第一帧对应的关键词和/或句子与通过分类为选择的类别的影像的文本信息和/或元信息提取的关键词进行比较，从分类为选择的类别的影像中选择用于分配到第一帧的影像。
作为更具体的示例，当与第一帧对应的句子为“滑雪”，作为第一影像的说明文字信息所包括的文本信息为“男子滑雪”，通过第一影像的生成位置识别的位置为“滑雪场A”时，选择第一影像作为用于第一帧的影像。
在步骤560中，故事影像生成单元460可以将选择的影像分配给多个帧的每一个以生成故事影像。例如，当针对5个帧的每一个选择5个影像时，可以将选择的5个影像分别分配到相应的帧，并可以通过所述影像生成故事影像。这时，由于根据模板具有的故事的顺序为各个帧选择了5个影像，因此可以提供比仅根据存储顺序或拍摄顺序组合的影像更完整的故事影像。
如上所述，根据另一实施例的故事影像制作系统可以以例如前面说明的电子设备一110的计算机装置的形式实现。在这种情况下，作为前面说明的组件的影像收集单元410、信息提取单元420、主题确定单元430、模板选择单元440、影像选择单元450和故事影像生成单元460可以包括在电子设备一110的处理器212中，通过这种电子设备一110的处理器212及其组件可以执行图5的故事影像制作方法。例如，在步骤510中，影像收集单元410可以收集存储在电子设备一110的本地存储区中的影像，或者也可以利用电子设备一 110的用户的SNS账号从SNS收集影像。
图6是示出本发明的一个实施例中确定故事主题的过程的示例的图。图6表示n个影像610分类为m个预先设置的类别620的示例。如上所述，可以基于从n个影像610中提取的说明文字信息和元信息增加新的类别，但为了说明的便利，此处仍说明n个影像610分类为m个预先设置的类别620的示例。
这时，图6的实施例表示将分类的影像数量为15的最多的类别一621的主题确定为故事的主题的示例。如上所述，故事影像制作系统也可以将影像数量在阈值以上的类别的主题的列表提供给用户，并从用户接收从列表中选择的主题作为故事的主题。
在确定故事的主题后，可以选择与确定的主题关联的模板，并可以选择要分配到模板所包括的帧的影像。其中，虽然要分配到相应帧的影像可以从收集的全部影像中选择，但为了减少运算量，也可以从分类为作为选择的类别的“类别一”的影像中选择。
图7是示出本发明的一个实施例中选择将要分配到模板所包括的各帧中的影像的示例的图。图7表示分类的影像数为15的类别一 621的主题确定为故事A710的主题(主题B)的示例。其中，可以选择与主题B关联的模板C720。
模板C720可以为针对主题B预先生成和设置的模板中的一个，根据实施例，也可以为由用户与主题B关联地直接生成的模板。
图7的实施例中说明选择的模板C720包括帧a721、帧b722和帧c723的示例。本领域技术人员可以容易理解，一个模板所包括的帧的数量不需要特别限制，根据需要可以设置适当的数量。
故事影像制作系统可以从分类为类别一621的15个影像中选择要分配到所述帧a721、帧b722和帧c723的每一个的影像。根据实施例，将要分配到帧的影像也可以从所收集的全部影像中选择，但为了进一步提高与故事的关联性和减少运算量，可以如图7的实施例所示地从选择的类别(类别一621)中选择。
在选择要分配到各帧的影像后，故事影像制作系统通过将影像分配到所述各帧来生成故事影像730。这时，由于分配的影像是根据故事并按照各帧选择的影像，因此可以制作比仅根据拍摄顺序或存储顺序等排列的影像更完整的故事影像。
为此，模板所包括的帧可以包括根据故事的进展的关键词和/或句子。根据故事的进展的关键词和/或句子可以利用已制作的(特别是通过人的编辑制作的)故事影像的主题和从影像中提取的说明文字信息和元信息来选择。例如，当已制作的故事影像的主题为“旅行”并且从故事影像的影像中提取的说明文字信息按照影像的顺序为“人购物”→“人坐在飞机座位上”→“人在吃食物”→“人站在海边”→“人坐在床上”时，可以在5个帧生成与所述5个说明文字信息的句子对应的模板(故事情节(plot))。
将要分配到与单个帧对应的关键词或句子的影像的选择可以通过根据影像的说明文字信息和/或元信息提取的关键词或句子来实现。所述影像的选择的示例已在前面作了详细的说明。
以上，对通过收集的影像的主题选择和利用关联的模板而生成故事影像的实施例进行了说明。以下，对利用收集的影像首先生成或选择故事并通过生成和利用与生成或选择的故事对应的模板来生成故事影像的实施例进行说明。换言之，在之前的实施例中选择适合于选择的主题的影像以生成故事影像，而在之后的实施例中可以根据影像生成或选择故事后，选择适合于生成或选择的故事的影像以生成故事影像。
图8是示出根据本发明的一个实施例的服务器的处理器可以包括的组件的示例的框图，图9是示出根据本发明的一个实施例的服务器可以执行的故事影像制作方法的示例的流程图。
根据本发明的实施例的故事影像制作系统可以以前面说明的例如服务器150的计算机装置的形式实现。另外，如图8所示，服务器 150的处理器222可以包括影像收集单元810、信息提取单元820、故事单元830、模板生成单元840、影像选择单元850和故事影像生成单元860，作为用于实现故事影像制作系统的组件。这种处理器 222和处理器222的组件可以执行图9的故事影像制作方法所包括的步骤910至960。其中，处理器222和处理器222的组件可以实现为能够执行基于存储器221所包括的操作系统的代码或至少一个程序的代码的控制指令(instruction)。其中，处理器222的组件可以是根据服务器150中存储的代码所提供的控制指令而由处理器222执行的处理器222的彼此不同的功能(different functions)的表现。例如，可以使用影像收集单元810作为处理器222根据所述控制指令控制服务器150以收集影像的处理器222的功能表现。
在步骤910中，影像收集单元810可以收集多个影像。如上所述，多个影像可以包括用户终端所包括的本地存储区中存储的影像和与用户的社交网络服务(Social NetworkService，SNS)的账号关联地存储在网络上的影像中的一个。例如，用户终端可以对应于已安装用于客户端的计算机程序的电子设备一110，服务器150可以通过网络170收集存储在电子设备一110的本地存储区中的影像。作为其它示例，服务器150也可以基于用户的SNS账户通过网络170从相应SNS收集影像。作为更具体的示例，用户在SNS上上传的影像可以与用户的账号关联地公布于网络上，服务器150可以收集通过相应的SNS公布的影像中与用户账号关联地公布的影像。
在步骤920中，信息提取单元820可以从收集的多个影像中的每一个提取说明文字信息和元信息。
其中，说明文字信息可以包括通过基于从输入的图像生成与图像关联的文本的机器学习的图像分析技术获取的文本信息。本领域技术人员可以通过已广泛周知的技术容易地理解从输入的图像中获取与图像相关的文本信息的技术。例如，张量流图(TensorFlow)是谷歌(Google)公司开发的机器学习(machine learning)引擎。作为检索、语音识别、翻译等谷歌应用程序中使用的机器学习用引擎，利用这种张量流图来从图像中提取作为说明文字信息的文本信息的技术已经存在。信息提取单元820可以利用这种广泛周知的技术从收集的影像中提取说明文字信息。
另外，元信息可以包括收集的影像所包括的相应影像的生成时间和生成位置相关的信息。例如，利用智能手机所包括的摄像头拍摄照片而所生成的影像文件中可以包括相应照片的拍摄时间和相应照片拍摄时间点的智能手机的地理位置(例如GPS坐标)。即，信息提取单元820可以从收集的影像中提取这种收集的信息所包括的生成时间信息和生成位置信息作为元信息。
提取的说明文字信息和元信息可以与相应的影像关联地进行管理。例如，收集的影像的标识符和相应影像的说明文字信息及元信息可以彼此相关联地存储在数据库中。
在步骤930中，故事单元830可以基于提取的说明文字信息和元信息生成故事或从已定义的故事中选择一个。例如，故事单元830 可以利用说明文字信息所包括的文本信息、元信息所包括的生成时间和生成位置中的至少两个将收集的多个影像分类为多个类别，并利用基于各类别的影像的数量而选择的类别的主题和文本信息所包括的至少一个关键词来定义新的故事。作为其它示例，故事单元830 可以将基于各类别的影像的数量而选择的类别的主题和文本信息所包括的至少一个关键词与已定义的故事进行比较，以从已定义的故事中选择一个故事。换言之，可以重新制作适合于收集的影像的故事，或者从预先生成的故事中选择适合于收集的影像的故事。
例如，当从在收集的影像中生成时间在一定时间间隔以内存在的影像中提取的说明文字信息按照生成时间的顺序为“人购物”→“人坐在飞机座位上”→“人在吃食物”→“人站在海边”→“人坐在床上”时，所述说明文字信息可以被定义为新的故事。或者，可以从已定义的故事中选择具有与所述说明文字信息类似顺序的信息的故事。
或者，基于影像的生成时间顺序的生成位置中提取例如“大韩民国/首尔”→“大韩民国/仁川机场”→“日本/成田机场”的关键词时，所述基于生成时间的顺序的关键词可以被定义为新的故事。
在步骤940中，模板生成单元840可以生成与生成或选择的故事对应的模板。其中，生成的模板包括用于分配影像的多个帧，多个帧的每一个可以对应于与生成或选择的故事关联的至少一个关键词或句子。在上述关键词的示例中，模板生成单元840可以生成包括与“大韩民国/首尔/地铁”对应的帧一和与“大韩民国/仁川机场”对应的帧二以及与“日本/成田机场”对应的帧三的模板。
在步骤950中，影像选择单元850可以将与多个帧的每一个对应的至少一个关键词或至少一个句子与提取的说明文字信息和元信息进行比较，并从收集的多个影像中选择用于选择的模板所包括的多个帧的每一个的影像。例如，影像选择单元850可以将与多个帧中的第一帧对应的关键词和/或句子与通过分类为选择的类别的影像的文本信息和/或元信息提取的关键词进行比较，从分类为选择的类别的影像中选择用于分配到第一帧的影像。
作为更具体的示例，当与第一帧对应的关键词为“大韩民国/仁川机场”时，可以从分类为选择的类别的影像(或收集的影像)中选择与相应关键词关联的影像。所述影像选择可以通过关键词“大韩民国/仁川机场”与通过影像的说明文字信息和元信息提取的关键词之间的比较来实现。
在步骤960中，故事影像生成单元860可以将选择的影像分配给多个帧的每一个以生成故事影像。例如，当针对5个帧的每一个选择5个影像时，可以将选择的5个影像分别分配到相应的帧，并可以通过所述影像生成故事影像。其中，由于根据模板所具有的故事的顺序为各帧选择了5个影像，因此可以提供比仅根据存储顺序或拍摄顺序组合的影像更完整的故事影像。另外，在本实施例中，由于故事本身是基于收集的影像生成(或者从已定义的故事中选择类似的故事)的，因此可以提供更完整的故事影像。
已经说明了故事影像制作方法可以通过安装在电子设备的计算机程序的功能来执行。
图10是示出本发明的一个实施例中生成故事的示例的图。图10 表示从按照生成时间顺序排列的K个影像1010的每一个中提取包括生成位置和说明文字信息的信息1020并基于其中的生成位置将说明文字信息按照地区分类的信息1030。在本实施例中，故事影像制作系统基于按照所述生成时间顺序排列并按照地区分类的说明文字信息，按照地区提取至少一个关键词和/或至少一个句子，以按照地区生成故事。图10中说明了单纯地根据时间和地区生成故事的示例，本领域技术人员可以容易理解，可以按照多种分类提取关键词或句子的序列而生成故事。另外，可以利用提取的关键词或句子的序列从已定义的故事中选择和使用类似的故事。
如上所述，根据本发明的实施例，可以通过确定适合于收集的影像的故事的主题(thema)并按照与所述主题关联的模板的帧选择和分配适合的影像，来制作特定的故事影像。另外，可以通过生成适合于收集的影像的故事或从已定义的故事中选择适合于收集的影像的故事，并为与生成或选择的故事对应的模板的各帧选择和分配适合的影像，从而制作适合于生成或选择的故事的故事影像。
上面说明的系统或装置可以通过硬件组件、软件组件和/或硬件组件与软件组件的组合来实现。例如，在实施例中说明的装置和组件可以利用诸如处理器、控制器、算术逻辑单元(arithmetic logic unit，ALU)、数字信号处理器(digital signal processor)、微型计算机、现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑单元(programmable logic unit，PLU)、微处理器或者可以运行和响应指令(instruction)的其它某种装置的一个以上的通用计算机或专用计算机来实现。处理装置可以执行在操作系统(OS)及在所述操作系统上执行的一个以上的软件应用程序。另外，处理装置可以响应软件的运行并对数据进行访问、存储、操作、处理及生成。虽然为便于理解，被描述为使用一个处理装置，但本发明所属技术领域的普通技术人员可以知晓，处理装置可以包括多个处理元件 (processing element)和/或多种类型的处理元件。例如，处理装置可以包括多个处理器或者包括一个处理器和一个控制器。另外，类似并行处理器(parallel processor)的其它处理配置(processing configuration)也是可能的。
软件可以包括计算机程序(computer program)、代码(code)、指令(instruction)或者这些中一个以上的组合，并且配置处理装置以使其根据需要操作，或者独立地或结合地(collectively)命令处理装置。为了通过处理装置进行解析或向处理装置提供指令或数据，软件和/或数据可以在某种类型的机器、组件(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置中具体化 (embody)。软件还可以分布在通过网络连接的计算机系统上，并以分布的方法存储或运行。软件和数据可以存储在一个以上的计算机可读记录介质中。
根据实施例的方法可以以能够通过多种计算机装置执行的程序指令的形式实现并记录在计算机可读介质中。所述计算机可读介质可以单独地或组合地包括程序指令、数据文件、数据结构等。记录在所述介质中的程序指令是为实施例而特别设计和配置的，或者可以是计算机软件领域技术人员公知并可以使用的。计算机可读记录介质的示例可以包括：磁介质(magnetic media)，如硬盘、软盘和磁带；光记录介质(optical media)，如CD-ROM、DVD；磁光介质 (magneto-optical media)，如光盘(floptical disk)；以及特别配置为存储和执行程序指令的硬件装置，如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。所述记录介质可以为单个或多个硬件结合的形式的多种记录装置或存储装置，对直接连接于某种计算机系统的介质不作限定，并且也可以分布在网络上。程序指令的示例不仅包括例如通过编译器编制的机器语言代码，而且包括利用解释器等而可以由计算机执行的高级语言代码。
具体实施方式
如上所述，虽然通过限定的实施例和图说明了实施例，但本发明所属技术领域的普通技术人员能够通过上述记载内容进行多种修改和变形。例如，即使所说明的技术以与说明的方法不同的顺序执行，和/或说明的系统、结构、装置、回路等组件以与说明的方法不同的形式结合或组合，或者被其它组件或等同物代替或置换，也可以达到适当的结果。
因而，其它实施方式、其它实施例和与权利要求书等同的方案也属于权利要求书的范围。

Claims (18)

1.一种故事影像制作方法，其特征在于，包括以下步骤：
收集多个影像；
从收集的所述多个影像中的每一个提取说明文字信息和元信息；
基于提取的所述说明文字信息和所述元信息对收集的所述多个影像进行分类，并基于分类的所述影像确定要制作的故事的主题；
从与确定的所述故事的主题关联的至少一个模板中选择一个，所述至少一个模板的每一个包括用于分配影像的多个帧，所述多个帧的每一个对应于用于要分配的影像的至少一个关键词或至少一个句子；
将与所述多个帧的每一个对应的至少一个关键词或至少一个句子与提取的所述说明文字信息和所述元信息进行比较，并从收集的所述多个影像中选择用于选择的所述模板所包括的多个帧的每一个的影像；以及
将选择的所述影像分配给所述多个帧的每一个以生成故事影像，
在确定所述故事的主题的步骤中，
利用所述元信息所包括的影像的生成时间和生成位置，将所述多个影像分类为多个类别，并将基于各类别的影像的数量而选择的类别的主题确定为故事的主题。
2.根据权利要求1所述的故事影像制作方法，其特征在于，
收集的所述多个影像包括用户终端所包括的本地存储区中存储的影像和与所述用户的社交网络服务的账号关联地存储在网络上的影像中的一个。
3.根据权利要求1所述的故事影像制作方法，其特征在于，
所述说明文字信息包括通过基于从输入的图像生成与所述图像关联的文本的机器学习的图像分析技术获取的文本信息。
4.根据权利要求3所述的故事影像制作方法，其特征在于，
在确定所述故事的主题的步骤中，还利用所述文本信息，将收集的所述多个影像分类为多个类别。
5.根据权利要求1所述的故事影像制作方法，其特征在于，
在所述选择步骤中，将与所述多个帧中的第一帧对应的关键词或句子与通过分类为选择的所述类别的影像的文本信息和元信息提取的关键词中的至少一个进行比较，从分类为选择的所述类别的影像中选择用于分配到所述第一帧的影像。
6.一种故事影像制作方法，其特征在于，包括以下步骤：
收集多个影像；
从收集的所述多个影像中的每一个提取说明文字信息和元信息；
基于提取的所述说明文字信息和所述元信息生成故事或从已定义的故事中选择一个；
生成与生成或选择的所述故事对应的模板，生成的所述模板包括用于分配影像的多个帧，所述多个帧的每一个对应于与生成或选择的故事关联的至少一个关键词或句子；
将与所述多个帧对应的至少一个关键词或句子与提取的所述说明文字信息和所述元信息进行比较，并从收集的所述多个影像中选择用于生成的所述模板所包括的多个帧的每一个的影像；以及
将选择的所述影像分配给所述多个帧的每一个以生成故事影像，
在所述生成故事或从已定义的故事中选择一个的步骤中，
利用所述元信息所包括的影像的生成时间和生成位置，将所述多个影像分类为多个类别，并将基于各类别的影像的数量而选择的类别的主题确定为故事的主题。
7.根据权利要求6所述的故事影像制作方法，其特征在于，
所述说明文字信息包括通过基于从输入的图像生成与所述图像关联的文本的机器学习的图像分析技术获取的文本信息。
8.根据权利要求7所述的故事影像制作方法，其特征在于，
在将所述选择的类别的主题确定为所述故事的主题的步骤中，
还利用所述文本信息，将收集的所述多个影像分类为多个类别，
在所述生成故事或从已定义的故事中选择一个的步骤中，
利用所述主题和所述文本信息所包括的至少一个关键词来定义新的故事，或者将已定义的故事与所述主题和所述至少一个关键词进行比较，以从所述已定义的故事中选择一个故事。
9.根据权利要求6所述的故事影像制作方法，其特征在于，
在所述选择步骤中，将与所述多个帧中的第一帧对应的关键词或句子与通过分类为选择的所述类别的影像的文本信息和元信息提取的关键词中的至少一个进行比较，从分类为选择的所述类别的影像中选择用于分配到所述第一帧的影像。
10.根据权利要求6所述的故事影像制作方法，其特征在于，
所述已定义的故事是基于从已生成的故事影像所包括的影像中提取的说明文字信息生成的。
11.一种计算机可读记录介质，其特征在于，记录有用于使计算机执行权利要求1至10中任一项所述的方法的计算机程序。
12.一种故事影像制作系统，其特征在于，
包括至少一个处理器以用于运行计算机可读指令，
所述至少一个处理器被配置成：
收集多个影像；
从收集的所述多个影像中的每一个提取说明文字信息和元信息；
基于提取的所述说明文字信息和所述元信息对收集的所述多个影像进行分类，并基于分类的所述影像确定要制作的故事的主题；
从与确定的所述故事的主题关联的至少一个模板中选择一个，所述至少一个模板的每一个包括用于分配影像的多个帧，所述多个帧的每一个对应于用于要分配的影像的至少一个关键词或至少一个句子；
将与所述多个帧的每一个对应的至少一个关键词或至少一个句子与提取的所述说明文字信息和所述元信息进行比较，并从收集的所述多个影像中选择用于选择的所述模板所包括的多个帧的每一个的影像；以及
将选择的所述影像分配给所述多个帧的每一个以生成故事影像，
为了确定所述故事的主题，所述至少一个处理器利用所述元信息所包括的影像的生成时间和生成位置，将所述多个影像分类为多个类别，并将基于各类别的影像的数量而选择的类别的主题确定为故事的主题。
13.根据权利要求12所述的故事影像制作系统，其特征在于，
所述说明文字信息包括通过基于从输入的图像生成与所述图像关联的文本的机器学习的图像分析技术获取的文本信息。
14.根据权利要求13所述的故事影像制作系统，其特征在于，
所述至少一个处理器还利用所述文本信息，将收集的所述多个影像分类为多个类别。
15.根据权利要求12所述的故事影像制作系统，其特征在于，
所述至少一个处理器将与所述多个帧中的第一帧对应的关键词或句子与通过分类为选择的所述类别的影像的文本信息和元信息提取的关键词中的至少一个进行比较，从分类为选择的所述类别的影像中选择用于分配到所述第一帧的影像。
16.一种故事影像制作系统，其特征在于，
包括至少一个处理器以用于执行计算机可读指令，
所述至少一个处理器被配置成：
收集多个影像；
从收集的所述多个影像中的每一个提取说明文字信息和元信息；
基于提取的所述说明文字信息和所述元信息生成故事或从已定义的故事中选择一个；
生成与生成或选择的所述故事所对应的模板，生成的所述模板包括用于分配影像的多个帧，所述多个帧的每一个对应于与生成或选择的故事关联的至少一个关键词或句子；
将与所述多个帧对应的至少一个关键词或句子与提取的所述说明文字信息和所述元信息进行比较，并从收集的所述多个影像中选择用于生成的所述模板所包括的多个帧的每一个的影像；以及
将选择的所述影像分配给所述多个帧的每一个以生成故事影像，
为了生成所述故事或从已定义的故事中选择一个，所述至少一个处理器利用所述元信息所包括的影像的生成时间和生成位置，将所述多个影像分类为多个类别，并将基于各类别的影像的数量而选择的类别的主题确定为故事的主题。
17.根据权利要求16所述的故事影像制作系统，其特征在于，
所述说明文字信息包括通过基于从输入的图像生成与所述图像关联的文本的机器学习的图像分析技术获取的文本信息。
18.根据权利要求17所述的故事影像制作系统，其特征在于，
为了将所述选择的类别的主题确定为所述故事的主题，所述至少一个处理器还利用所述文本信息，将收集的所述多个影像分类为多个类别，
为了生成所述故事或从已定义的故事中选择一个，所述至少一个处理器利用所述主题和所述文本信息所包括的至少一个关键词来定义新的故事，或者将已定义的故事与所述主题和所述至少一个关键词进行比较，以从所述已定义的故事中选择一个故事。
CN201780088803.9A 2017-03-23 2017-03-23 故事影像制作方法及系统 Active CN110521213B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/003117 WO2018174314A1 (ko) 2017-03-23 2017-03-23 스토리영상 제작 방법 및 시스템

Publications (2)

Publication Number Publication Date
CN110521213A CN110521213A (zh) 2019-11-29
CN110521213B true CN110521213B (zh) 2022-02-18

Family

ID=63585712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780088803.9A Active CN110521213B (zh) 2017-03-23 2017-03-23 故事影像制作方法及系统

Country Status (5)

Country Link
US (2) US11704355B2 (zh)
JP (1) JP6902108B2 (zh)
KR (1) KR102275194B1 (zh)
CN (1) CN110521213B (zh)
WO (1) WO2018174314A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11705120B2 (en) * 2019-02-08 2023-07-18 Samsung Electronics Co., Ltd. Electronic device for providing graphic data based on voice and operating method thereof
KR102152430B1 (ko) * 2020-05-20 2020-09-04 (주)다우씨엔디테크 디지털 비디오 파일의 보안 강화 디스플레이 시스템 및 방법
US20230274481A1 (en) * 2022-02-28 2023-08-31 Storyfile, Inc. Digital image annotation and retrieval systems and methods
WO2024063238A1 (en) * 2022-09-21 2024-03-28 Samsung Electronics Co., Ltd. Method and electronic device for creating continuity in a story
KR102521904B1 (ko) * 2022-11-28 2023-04-17 (주)비디오몬스터 오토 라벨링 활용과 디자인 요소 삽입을 통한 영상 자동 편집 시스템 및 그 방법
KR102521905B1 (ko) * 2022-11-28 2023-04-17 (주)비디오몬스터 영상 자동 편집 및 편집 영상과 동기화된 지도 서비스 제공 시스템 및 그 방법
KR102521903B1 (ko) * 2022-11-28 2023-04-17 (주)비디오몬스터 오토 라벨링을 활용한 영상 자동 편집 시스템 및 그 방법
KR102523438B1 (ko) * 2022-11-29 2023-04-19 (주)비디오몬스터 오토 라벨링 활용과 가상 템플릿 자동 선정을 통한 영상 자동 편집 시스템 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101584001A (zh) * 2006-12-20 2009-11-18 伊斯曼柯达公司 多输出产品的自动产生
CN104735468A (zh) * 2015-04-03 2015-06-24 北京威扬科技有限公司 一种基于语义分析将图像合成新视频的方法及系统
CN105224581A (zh) * 2014-07-03 2016-01-06 北京三星通信技术研究有限公司 在播放音乐时呈现图片的方法和装置
WO2016157150A1 (en) * 2015-04-02 2016-10-06 Littlesea S.R.L. Method and system for automatic generation of video from non-visual information
CN106528751A (zh) * 2016-10-28 2017-03-22 北京光年无限科技有限公司 一种用于智能机器人的图像数据采集处理方法及机器人

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187029A (ja) * 2002-12-04 2004-07-02 Toshiba Corp 要約映像追いかけ再生装置
JP3973572B2 (ja) * 2003-02-07 2007-09-12 日本電信電話株式会社 データ分析装置及びデータ分析プログラム
US7646895B2 (en) * 2005-04-05 2010-01-12 3Vr Security, Inc. Grouping items in video stream images into events
US8166010B2 (en) * 2005-07-26 2012-04-24 Taptu Limited Processing and sending search results over a wireless network to a mobile device
WO2007073347A1 (en) * 2005-12-19 2007-06-28 Agency For Science, Technology And Research Annotation of video footage and personalised video generation
US7996772B2 (en) * 2006-07-06 2011-08-09 Samsung Electronics Co., Ltd. Apparatus, method, and medium for providing guideline for arranging images with story
JP4320673B2 (ja) * 2006-12-08 2009-08-26 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20080215984A1 (en) * 2006-12-20 2008-09-04 Joseph Anthony Manico Storyshare automation
US20080155422A1 (en) * 2006-12-20 2008-06-26 Joseph Anthony Manico Automated production of multiple output products
WO2008136466A1 (ja) * 2007-05-01 2008-11-13 Dep Co., Ltd. 動画編集装置
US20080306995A1 (en) * 2007-06-05 2008-12-11 Newell Catherine D Automatic story creation using semantic classifiers for images and associated meta data
US8934717B2 (en) 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
KR101382501B1 (ko) * 2007-12-04 2014-04-10 삼성전자주식회사 동영상 촬영 편집 장치 및 방법
KR101047201B1 (ko) * 2008-01-09 2011-07-06 에스케이 텔레콤주식회사 사용자 선호에 기반한 영상 정보 서비스 방법 및 시스템
KR20100001270A (ko) 2008-06-26 2010-01-06 삼성디지털이미징 주식회사 슬라이드 동영상 생성 장치 및 방법
US20100191715A1 (en) * 2009-01-29 2010-07-29 Shefali Kumar Computer Implemented System for Providing Musical Message Content
KR101633824B1 (ko) * 2009-11-13 2016-06-28 삼성전자주식회사 배경 화면 설정 방법 및 이를 이용한 휴대 단말기
JP5697139B2 (ja) * 2009-11-25 2015-04-08 Kddi株式会社 ２次コンテンツ提供システムおよび方法
US8655111B2 (en) * 2010-05-13 2014-02-18 Shutterfly, Inc. System and method for creating and sharing photo stories
US20120082401A1 (en) * 2010-05-13 2012-04-05 Kelly Berger System and method for automatic discovering and creating photo stories
US8971639B2 (en) * 2012-09-27 2015-03-03 Hewlett-Packard Development Company, L.P. Semantic theme based shape collage representation for an image collection
US9460123B1 (en) * 2012-12-12 2016-10-04 Amazon Technologies, Inc. Systems and methods for generating an arrangement of images based on image analysis
CN103902889A (zh) * 2012-12-26 2014-07-02 腾讯科技（深圳）有限公司 一种恶意消息云检测方法和服务器
KR20140141408A (ko) * 2013-05-29 2014-12-10 한양대학교 산학협력단 영상 및 자막 정보를 이용한 스토리 북 제작 방법
KR20150011651A (ko) * 2013-07-23 2015-02-02 주식회사 케이티 스토리텔링 컨텐츠를 제작하는 장치 및 방법
US9836984B2 (en) * 2013-09-16 2017-12-05 Disney Enterprises, Inc. Storytelling environment: story and playgroup creation
JP6093289B2 (ja) * 2013-12-10 2017-03-08 株式会社フレイ・スリー 映像処理装置、映像処理方法およびプログラム
EP2955686A1 (en) * 2014-06-05 2015-12-16 Mobli Technologies 2010 Ltd. Automatic article enrichment by social media trends
CN106687902B (zh) * 2014-07-02 2020-03-17 百可德罗德公司 基于内容分析的图像显示、可视化和管理
KR102290419B1 (ko) * 2015-01-13 2021-08-18 삼성전자주식회사 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
US20160366330A1 (en) * 2015-06-11 2016-12-15 Martin Paul Boliek Apparatus for processing captured video data based on capture device orientation
KR20170009037A (ko) * 2015-07-15 2017-01-25 삼성전자주식회사 영상 컨텐츠 제공 장치 및 영상 컨텐츠 제공 방법
US10073861B2 (en) * 2015-09-03 2018-09-11 Disney Enterprises, Inc. Story albums
US9781392B2 (en) * 2015-09-16 2017-10-03 Intel Corporation Facilitating personal assistance for curation of multimedia and generation of stories at computing devices
US10372981B1 (en) * 2015-09-23 2019-08-06 Evernote Corporation Fast identification of text intensive pages from photographs
JP5903187B1 (ja) * 2015-09-25 2016-04-13 株式会社グロリアス 映像コンテンツ自動生成システム
US9875429B2 (en) * 2015-10-06 2018-01-23 Adobe Systems Incorporated Font attributes for font recognition and similarity
US9875258B1 (en) * 2015-12-17 2018-01-23 A9.Com, Inc. Generating search strings and refinements from an image
JP6629678B2 (ja) * 2016-06-16 2020-01-15 株式会社日立製作所 機械学習装置
CN106445106A (zh) * 2016-08-29 2017-02-22 宇龙计算机通信科技(深圳)有限公司 太空虚拟场景体验方法及系统
CN106528702A (zh) * 2016-10-26 2017-03-22 朱育盼 日记生成方法和装置
KR102330744B1 (ko) * 2016-11-04 2021-11-25 딥마인드 테크놀로지스 리미티드 신경망을 이용한 장면 이해 및 생성
US10083162B2 (en) * 2016-11-28 2018-09-25 Microsoft Technology Licensing, Llc Constructing a narrative based on a collection of images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101584001A (zh) * 2006-12-20 2009-11-18 伊斯曼柯达公司 多输出产品的自动产生
CN105224581A (zh) * 2014-07-03 2016-01-06 北京三星通信技术研究有限公司 在播放音乐时呈现图片的方法和装置
WO2016157150A1 (en) * 2015-04-02 2016-10-06 Littlesea S.R.L. Method and system for automatic generation of video from non-visual information
CN104735468A (zh) * 2015-04-03 2015-06-24 北京威扬科技有限公司 一种基于语义分析将图像合成新视频的方法及系统
CN106528751A (zh) * 2016-10-28 2017-03-22 北京光年无限科技有限公司 一种用于智能机器人的图像数据采集处理方法及机器人

Also Published As

Publication number Publication date
JP2020512759A (ja) 2020-04-23
KR102275194B1 (ko) 2021-07-09
CN110521213A (zh) 2019-11-29
KR20190122860A (ko) 2019-10-30
US20200019812A1 (en) 2020-01-16
US11954142B2 (en) 2024-04-09
JP6902108B2 (ja) 2021-07-14
US20230297608A1 (en) 2023-09-21
WO2018174314A1 (ko) 2018-09-27
US11704355B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
CN110521213B (zh) 故事影像制作方法及系统
CN107251006B (zh) 具有共享兴趣的消息的图库
US9143573B2 (en) Tag suggestions for images on online social networks
US11043032B2 (en) Visual display systems and method for manipulating images of a real scene using augmented reality
US20190005332A1 (en) Video understanding platform
KR101787248B1 (ko) 메신저 서비스를 이용한 키워드 검색 방법 및 시스템
CN110431514B (zh) 用于情境驱动智能的系统和方法
CN113366489A (zh) 检测增强现实目标
CN109274999A (zh) 一种视频播放控制方法、装置、设备及介质
JP2021068455A (ja) 写真に基づいてユーザの顔を認識して活用する方法およびコンピュータシステム
KR20200014416A (ko) 위치 데이터가 포함된 컨텐츠를 이용한 추천 방법 및 그 시스템
JP7393487B2 (ja) プロフィール写真を推薦する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体
KR20200099427A (ko) 인공지능을 이용한 문맥 파악 기반의 동영상 편집 방법 및 시스템
KR20200096935A (ko) 다중 프로필을 제공하는 방법 및 시스템
KR102550305B1 (ko) 머신 러닝 기반의 영상 자동 편집 방법 및 시스템
KR20200014108A (ko) 대화 내용에서 텍스트를 이용하여 비텍스트를 검색하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
US20190377753A1 (en) Composable templates for managing disturbing image and sounds
KR102407665B1 (ko) 이미지에서 추출된 키워드를 이용하여 이미지를 필터링하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
US11082379B2 (en) Methods, systems, devices, and non-transitory computer readable record media for filtering images using keywords
KR102485811B1 (ko) 이미지에서 추출된 키워드를 이용하여 이미지를 필터링하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
KR20160124055A (ko) 지도 상에서의 드로잉을 통한 개인 경로의 생성 및 공유
KR102526254B1 (ko) 반응형 포스터 콘텐츠의 생성 및 이의 상호작용 제공 방법, 장치 및 시스템
KR102147485B1 (ko) 촬영 가이드 방법 및 시스템
US20230316428A1 (en) System and method for tailoring user experiences
Ferracani Exploiting Digital Traces and Human Factors to Design and Improve HCI Systems for Online, Outdoor and Indoor Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant