CN115619891A - 分镜脚本生成方法和系统 - Google Patents

分镜脚本生成方法和系统 Download PDF

Info

Publication number
CN115619891A
CN115619891A CN202110802626.4A CN202110802626A CN115619891A CN 115619891 A CN115619891 A CN 115619891A CN 202110802626 A CN202110802626 A CN 202110802626A CN 115619891 A CN115619891 A CN 115619891A
Authority
CN
China
Prior art keywords
split
script
mirror
generating
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110802626.4A
Other languages
English (en)
Inventor
申子宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hode Information Technology Co Ltd
Original Assignee
Shanghai Hode Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hode Information Technology Co Ltd filed Critical Shanghai Hode Information Technology Co Ltd
Priority to CN202110802626.4A priority Critical patent/CN115619891A/zh
Priority to PCT/CN2022/100864 priority patent/WO2023284517A1/zh
Publication of CN115619891A publication Critical patent/CN115619891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles

Abstract

本申请实施例提供了一种分镜脚本生成方法,所述方法包括:获取用于分镜脚本绘制的参考图像;获取所述参考图像的元素和所述元素的元素矢量信息;获取与所述元素匹配的矢量元素;及根据所述元素矢量信息,将所述矢量元素设置于指定画布上,以生成所述分镜脚本。本申请实施例提供的分镜脚本生成方法,通过识别参考图像中的元素,并将匹配的矢量元素对应的设置到指定画布中,以得到矢量图形式的分镜脚本,使得制作分镜脚本更加高效和容易,有效提高用户体验。

Description

分镜脚本生成方法和系统
技术领域
本申请实施例涉及计算机技术领域,尤其涉及一种分镜脚本生成方法、系统、计算机设备及计算机可读存储介质。
背景技术
随着视频拍摄门槛的降低,越来越多的用户成为创作者,对视频进行拍摄创作。要拍摄出时间较长或内容较丰富的视频,一般需要创作者提前对拍摄内容进行构思及设立,例如绘制分镜脚本以记录和整理构思等。但是,对于没有学习过专业拍摄技术的普通用户,绘制分镜脚本困难且效率低下,从而影响用户体验。
发明内容
本申请实施例的目的是提供一种分镜脚本生成方法、系统、计算机设备及计算机可读存储介质,用于解决以下问题:绘制分镜脚本困难且效率低下,影响用户体验。
本申请实施例的一个方面提供了一种分镜脚本生成方法,所述方法包括:
获取用于分镜脚本绘制的参考图像;
获取所述参考图像的元素和所述元素的元素矢量信息;
获取与所述元素匹配的矢量元素;及
根据所述元素矢量信息,将所述矢量元素设置于指定画布上,以生成所述分镜脚本。
可选的,所述获取与所述元素匹配的矢量元素,包括:
根据所述元素的元素属性,从矢量元素素材库中获取与所述元素属性关联的所述矢量元素。
可选的,所述元素矢量信息包括所述元素的尺寸、姿态以及所述元素在所述参考图像中的相对位置;所述根据所述元素矢量信息,将所述矢量元素设置于指定画布上,以生成所述分镜脚本,包括:
根据所述元素的尺寸、姿态以及所述相对位置,将所述矢量元素设置于所述指定画布中。
可选的,还包括:
识别所述参考图像的场景属性;及
根据所述场景属性,从画布素材库中获取与所述场景属性关联的所述指定画布。
可选的,所述分镜脚本包括可编辑矢量图;所述方法还包括:
响应于矢量化修改信息,对所述分镜脚本进行矢量化修改。
可选的,所述方法还包括:
根据用户偏好信息,调整所述矢量元素在所述指定画布中的布置,以得到所述分镜脚本。
可选的,所述方法还包括:
响应于用户请求,根据用户偏好信息将相应的分镜脚本返回至用户的客户端。
可选的,所述参考图像为视频关键帧;和/或所述参考图像为用户上传的图像。
可选的,所述方法还包括:
若所述参考图像为用户上传的图像,则评估所述分镜脚本的质量;及
若所述分镜脚本的质量大于预设值,则将所述分镜脚本存储于矢量化脚本库中。
可选的,所述方法还包括:
获取输入信息,所述输入信息包括关键词;
从所述矢量化脚本库中获取与所述关键词关联的参考分镜脚本;及
响应于矢量化修改信息,对所述参考分镜脚本进行矢量化修改,以生成分镜脚本。
本申请实施例的一个方面又提供了一种分镜脚本生成系统,包括:
第一获取模块,用于获取用于分镜脚本绘制的参考图像;
第二获取模块,用于获取所述参考图像的元素和所述元素的元素矢量信息;
第三获取模块,用于获取与所述元素匹配的矢量元素;及
生成模块,用于根据所述元素矢量信息,将所述矢量元素设置于指定画布上,以生成所述分镜脚本。
本申请实施例的一个方面又提供了一种分镜脚本生成方法,所述方法包括:
获取输入信息,所述输入信息包括关键词;及
从矢量化脚本库中获取与所述关键词关联的参考分镜脚本,所述矢量化脚本库包括多个候选分镜脚本,所述多个候选分镜脚本根据权利要求1至9任意一项所述的方法生成。
可选的,所述方法还包括:
响应于矢量化修改信息,对所述参考分镜脚本进行矢量化修改,以生成分镜脚本。
本申请实施例的一个方面又提供了一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上述分镜脚本生成方法的步骤。
本申请实施例的一个方面又提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行所述计算机程序时实现如上述分镜脚本生成方法的步骤。
本申请实施例提供的分镜脚本生成方法、系统、设备及计算机可读存储介质,通过识别参考图像中的元素,并将匹配的矢量元素对应的设置到指定画布中,以得到矢量图形式的分镜脚本,使得制作分镜脚本更加高效和容易,有效提高用户体验。
附图说明
图1示意性示出了根据本申请实施例的分镜脚本生成方法的应用环境图;
图2示意性示出了根据本申请实施例一的分镜脚本生成方法的流程图;
图3为图2中步骤S204的子步骤流程图;
图4为图2中步骤S206的子步骤流程图;
图5至图9示意性示出了根据本申请实施例一的分镜脚本生成方法的新增步骤流程图;
图10示意性示出了基于实施例一的分镜脚本的绘制过程;
图11示意性示出了根据本申请实施例二的分镜脚本生成方法的流程图;
图12示意性示出了基于实施例二的分镜脚本的绘制过程;
图13示意性示出了根据本申请实施例三的分镜脚本生成系统的框图;
图14示意性示出了根据本申请实施例四的分镜脚本生成系统的框图;及
图15示意性示出了根据本申请实施例五的适于实现分镜脚本生成方法的计算机设备的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
要拍摄出时间较长或内容较丰富的视频,一般都需要进行分镜脚本的绘制,其优势如下:一方面,在拍摄过程中,通过分镜脚本可以对前期规划的内容更好把握;另一方面,随着多人协助的视频创作的发展,当剧本绘制、拍摄视频、剪辑视频需要多人开展时,清晰的分镜脚本是顺利协作完成高质量视频拍摄的重要保证。
分镜脚本的绘制当前主要在具有专业画者的专业的影视团队中被应用,由于绘画门槛,影视创作基础等限制条件,一般的创作者经常会因为绘制高质量分镜脚本,耗费精力过大,门槛过高而不愿意对其拍摄的内容进行分镜脚本绘制。但是,在拍摄过程中,尤其需要较长,或内容较为丰富的视频创作过程中,其最终拍摄结果和前期的预设构想经常出现较大出入,其主要原因就是无法在拍摄过程中准确的复现前期规划的视频创作。因此,越好的视频,其创作门槛也就越高。
有鉴于此,本申请旨在提出基于视频分析框架的分镜脚本生成方案,通过智能化手段为用户初始化分镜脚本,并矢量化脚本内容,降低用户使用难度,提升分镜脚本绘制的体验,从而提高起视频创作的效率,以协助拍摄出高质量视频。例如:
通过人工智能对图像中的各种内容(如,物体、场景、人物)进行检测,并矢量化相关信息(如,位置、大小、姿态),并生成可编辑的矢量图及画布。一方面,可以根据用户输入的场景及信息,在分镜脚本库中搜索最能匹配用户需求的矢量图,作为初始化分镜脚本提供给用户。用户可以对矢量化内容进行修改,也可以添加额外的矢量化元素。另一方面,可以支持用户上传真实图像,对其内容进行分析,并在脚本库中搜索真实图像中出现的同类要素,在线生成符合该图像内容的个性化矢量图。本方案能够有效的降低用户使用分镜脚本的门槛,使其更方便,快捷的绘制手稿,从而帮助其更好的进行视频创作的前期规划和故事创作。
本申请提供了多个实施例进一步介绍分镜脚本生成方案,具体参照下文。
在本申请的描述中,需要理解的是,步骤前的数字标号并不标识执行步骤的前后顺序,仅用于方便描述本申请及区别每一步骤,因此不能理解为对本申请的限制。
以下为本申请的术语解释:
分镜脚本(storyboard script),是指电影,动画,电视剧,广告,MTV等各种影像媒体,在实际拍摄前,以故事图格的方式来说明影像的构成,将连续的画面以一次运镜作为单位分解,并标注运镜方式,时间长度,对白,特效等。以此方式在拍摄前期对所需拍摄内容进行简要记录,供拍摄过程中,对各个分镜进行提醒。
图1示意性示出了根据本申请实施例的环境应用示意图。如图1所示:
计算机设备10000可以通过网络20000连接客户端30000。
计算机设备10000可以提供服务,如生成分镜脚本,或返回分镜脚本给客户端30000等。
计算机设备10000可以位于诸如单个场所之类的数据中心,或者分布在不同的地理位置(例如,在多个场所)中。计算机设备10000可以经由一个或多个网络20000提供服务。网络20000包括各种网络设备,例如路由器,交换机,多路复用器,集线器,调制解调器,网桥,中继器,防火墙,代理设备和/或类似。网络20000可以包括物理链路,例如同轴电缆链路,双绞线电缆链路,光纤链路,其组合等。网络20000可以包括无线链路,诸如蜂窝链路,卫星链路,Wi-Fi链路等。
计算机设备10000可以由一个或多个计算节点实现。一个或多个计算节点可以包括虚拟化的计算实例。虚拟化的计算实例可以包括虚拟机,例如计算机系统,操作系统,服务器等的仿真。计算节点可以基于虚拟映像和/或定义用于仿真的特定软件(例如,操作系统,专用应用程序,服务器)的其他数据,由计算节点加载虚拟机。随着对不同类型的处理服务的需求改变,可以在一个或多个计算节点上加载和/或终止不同的虚拟机。可以实现管理程序来管理同一计算节点上不同虚拟机的使用。
客户端30000可以被配置为访问计算机设备10000的内容和服务。客户端30000可以包括任何类型的电子设备,诸如移动设备、平板设备、膝上型计算机、工作站、虚拟现实设备,游戏设备、机顶盒、数字流媒体设备、车辆终端、智能电视、机顶盒等。
客户端30000可以将分镜脚本等输出(例如,显示、渲染、呈现)给用户。
以下将通过多个实施例介绍分镜脚本生成方案。该方案可以通过计算机设备10000实施。
实施例一
图2示意性示出了根据本申请实施例一的分镜脚本生成方法的流程图。
如图2所示,该分镜脚本生成方法可以包括步骤S200~S206,其中:
步骤S200,获取用于分镜脚本绘制的参考图像。
所述参考图像可以是视频关键帧、可以是用户上传的图像,或其他图像。
所述视频关键帧可以是一些优秀影视作品中的精彩影视画面。
在本实施例中,一个画面是否为视频关键帧,可以根据该视频关键帧的弹幕数量判断,通过人工智能(如训练好的神经网络模型)判断,或通过其他方式判断。
步骤S202,获取所述参考图像的元素和所述元素的元素矢量信息。
所述元素可以包括人物、物体等。
所述元素矢量信息包括所述元素的尺寸、姿态以及所述元素在所述参考图像中的相对位置等。
作为示例,可以通过人工智能识别所述参考图像中的元素或其姿态,例如:
(1)可以检测所述参考图像中的人物,如基于训练好的联合头部和人体的人物识别模型;
(2)可以检测人体的姿态,如基于训练好的用于人体姿势估计的分布感知坐标表示模型;
(3)可以检测所述参考图像中的物体,如高质量的对象检测和实例分割的卷积网络;
以上列举了人物、物体等几种元素。需要说明的是,人物可以被进一步细分和识别,如小孩、老人等,物体亦可以被进一步细分和识别,如杨树、柳树、马车、牛等。
步骤S204,获取与所述元素匹配的矢量元素。
可以根据所述元素的相关信息来匹配所述矢量元素,如元素属性。
作为示例,如图3所示,所述步骤S204可以包括步骤S300:根据所述元素的元素属性,从矢量元素素材库中获取与所述元素属性关联的所述矢量元素。在本实施例中,通过元素属性可以有效地查找到匹配的矢量元素。所述元素属性可以包括元素类别等。所述矢量元素素材库用于存储和管理大量的矢量元素,以供使用。
步骤S206,根据所述元素矢量信息,将所述矢量元素设置于指定画布上,以生成所述分镜脚本。
将所述矢量元素设置于指定画布,得到一个矢量图,所述矢量图即所述分镜脚本。
本申请实施例一提供的分镜脚本生成方法,包括以下优势:
通过识别参考图像中的元素,并将匹配的矢量元素对应的设置到指定画布中,以得到矢量图形式的分镜脚本,使得制作分镜脚本更加高效和容易,有效提高用户体验。
当所述参考图像为视频关键帧,可以基于优秀影视作品的构图生成相应的分镜脚本。
当所述参考图像为用户上传的图像,可以根据用户自己的构思高效地生成相应的分镜脚本。
以下提供几个可选地实施例,以进行优化所述分镜脚本生成方法,具体如下:
作为示例,所述元素矢量信息包括所述元素的尺寸、姿态以及所述元素在所述参考图像中的相对位置;如图4所示,步骤S206可以包括步骤S400:根据所述元素的尺寸、姿态以及所述相对位置,将所述矢量元素设置于所述指定画布中。举例而言:根据所述元素的尺寸,确定所述矢量元素在所述指定画布中的尺寸;根据所述元素的姿态,确定所述矢量元素在所述指定画布中的姿态;根据所述元素在所述参考图像中的相对位置,确定所述矢量元素在所述指定画布中的相对位置。在本实施例中,可以将参考图像中的元素高效且精确地映射到所述指定画布上。
作为示例,如图5所示,所述分镜脚本生成方法还可以包括步骤S500~S502,其中:步骤S500,识别所述参考图像的场景属性;及步骤S502,根据所述场景属性,从画布素材库中获取与所述场景属性关联的所述指定画布。所述场景属性可以包括场景类别等。所述画布素材库用于存储和管理大量的画布,以供使用。在本实施例中,可以将所述参考图像中的场景高效地布置和映射到所述分镜脚本中。
作为示例,所述分镜脚本包括可编辑矢量图。如图6所示,所述分镜脚本生成方法还可以包括步骤S600:响应于矢量化修改信息,对所述分镜脚本进行矢量化修改;所述矢量化修改包括以下至少一项:修改所述矢量元素的尺寸、修改所述矢量元素的姿态、修改所述矢量元素在所述指定画布中的相对位置,删除所述矢量元素或添加新矢量元素。本实施例使得用户可以进行个性化绘制所述分镜脚本。
作为示例,如图7所示,所述分镜脚本生成方法还可以包括步骤S700:根据用户偏好信息,自动调整所述矢量元素在所述指定画布中的布置,以得到所述分镜脚本。在本实施例中,通过分析用户的个性化绘制习惯和用户画像等,可以更准确地生成符合用户绘制习惯的分镜脚本,更进一步的提高脚本创作效率,及用户黏性。需要说明的是,所述用户偏好信息可以包括根据用户画像所得到的偏好信息。根据用户偏好信息,如用户运镜偏好,自动调整所述矢量元素的位置、大小等。
作为示例,如图8所示,所述分镜脚本生成方法还可以包括步骤S800:响应于用户请求,根据用户偏好信息将相应的分镜脚本返回至用户的客户端。在本实施例中,通过分析用户的个性化绘制习惯和用户画像等,可以更准确地推送符合用户绘制习惯的分镜脚本,从而更进一步的提高脚本创作效率,及用户黏性。
例如,对用户的绘制习惯进行分析,分析该用户平时创作倾向于选择创作的场景、人物数量、姿态、站位等信息。在获取用户的创作习惯和内容后,为用户推荐相似场景,拍摄相似人或物的分镜脚本,例如:拍摄汽车测评,推荐脚本中会包含其他拍摄车的分镜脚本,方便用户了解如何完成车辆,讲解交替的连贯视频内容。
作为示例,如图9所示,所述分镜脚本生成方法还可以包括步骤S900~S902,其中,步骤S900,若所述参考图像为用户上传的图像,则评估所述分镜脚本的质量;及步骤S902,若所述分镜脚本的质量大于预设值,则将所述分镜脚本存储于矢量化脚本库中。通过对优秀的分镜脚本进行筛选,可以扩充矢量化脚本库,提高复用性。
对于优秀脚本,可以通过以下方式进行质量评估:衡量所述分镜脚本与冷启动库内具有的专业影视拍摄作品解构的脚本之间的相似度。相似度越高,脚本质量越高。
作为示例,所述分镜脚本生成方法还可以包括如下步骤:获取输入信息,所述输入信息包括关键词;从所述矢量化脚本库中获取与所述关键词关联的参考分镜脚本;及响应于矢量化修改信息,对所述参考分镜脚本进行矢量化修改,以生成分镜脚本。在本实施例中,通过用户输入的关键词等输入信息,并将匹配的分镜脚本作为参考分镜脚本,在该参考分镜脚本的基础上进行矢量化修改,使得制作分镜脚本更加高效和容易,有效提高用户体验。
为方便理解,以下结合图10提供一个操作示例:
S1000:获取参考图像,如视频关键帧或用户上传的图像;
S1002:执行物体检测,以识别物体(即,元素);
S1004:执行人物检测,以识别人物(即,元素);
S1006:执行场景检测,以识别场景;
S1008:获取各元素的类别、位置、尺寸等矢量信息;
S1010:获取所述场景的场景类别;
S1012:根据各个元素的元素类型,从矢量元素素材库获取与所述各个元素一一匹配的矢量元素;
S1014:根据场景类别,从画布素材库获取与所述场景匹配的指定画布;
S1016:根据所述各元素的位置、尺寸等矢量信息,将与所述各个元素一一匹配的矢量元素绘制到所述指定画布中,以生成包括多个矢量元素的可编辑分镜脚本。
绘制过程:图10示出了分镜脚本的绘制过程。在该流程中,视频关键帧的内容(如元素、元素矢量信息)可以通过人工智能算法进行识别及估计。在该流程中,可以识别出物体、人物、场景等,并对物体、人物等的矢量化信息进行估计,例如相对位置、尺寸、姿态等。基于上述信息,可以执行以下操作:基于各元素的类别从矢量元素素材库搜索到匹配的矢量元素(例如,相同类别的矢量元素);基于所述场景的类别从画布素材库搜索匹配的画布(例如,办公室背景的画布),并将该画布作为分镜脚本的指定画布;然后,基于各个元素的矢量化信息,对各个矢量元素在所述指定画布上进行相应的自动布置以生成分镜脚本。需要说明的是,多个分镜脚本可以构成用于指示整个视频制作的指示内容。
与用户交互和迭代:
(1)用户可以在冷启动提供的基于优秀视频关键帧生成的分镜脚本下进行视频创作,也可以在此基础上,对分镜脚本进行矢量化修改,如修改矢量元素的位置、尺寸、添加及删除矢量元素,以此方式来协助用户进行个性化的分镜脚本绘制。用户也可以上传个人的分镜脚本,计算机设备10000在接收到该分镜脚本的基础上,对优秀的分镜脚本进行筛选,以扩充矢量化脚本库。一方面用户可更好、更多的获取分镜脚本,另一方面,在分析用户的个性化绘制习惯后,用户可以被推荐符合其绘制习惯的分镜脚本,进一步提高分镜脚本制作效率及用户黏性。
需要说明的是,对分镜脚本进行矢量化修改可以通过选择、拖动或修改等指令操作。
(2)用户可以上传个人认为更匹配其需求的图像。计算机设备10000可以对用户上传的图像进行在线分析,根据分析结果从并在矢量元素素材库中匹配矢量要素及满足其场景识别结果下的画布,生成个性化的分镜脚本,供用户直接使用。
实施例二
本实施例提供了另一种分镜脚本生成方法,其技术细节和效果可参考上文。
图11示意性示出了根据本申请实施例二的分镜脚本生成方法的流程图。
如图11所示,该分镜脚本生成方法可以包括步骤S1100~S1104,其中:
步骤S1100,获取输入信息,所述输入信息包括关键词。
步骤S1102,从矢量化脚本库中获取与所述关键词关联的参考分镜脚本。
所述矢量化脚本库包括多个候选分镜脚本,所述多个候选分镜脚本实施例一所述的方法生成。
可选的,步骤S1104,响应于矢量化修改信息,对所述参考分镜脚本进行矢量化修改,以生成分镜脚本。
本申请实施例二提供的分镜脚本生成方法,包括以下优势:通过用户输入的关键词等输入信息,并将匹配的分镜脚本作为参考分镜脚本,在该参考分镜脚本的基础上进行矢量化修改,使得制作分镜脚本更加高效和容易,有效提高用户体验。
所述输入信息可以包括分镜脚本的整体、相关内容等。
作为示例,计算机设备10000可以根据相似标签等为用户搜索出最为匹配参考分镜脚本。用户可以直接使用该参考脚本,或进行内容调整,使之满足拍摄内容。
例如,矢量化素材库预先存储有各个脚本的主题以及拍摄的内容。用户只用输入关键字,提供想要拍摄的主题,内容等信息,即可在矢量化素材库中找到相同(相似)标签的拍摄內容或脚本,例如:通过关键字“家中”、“拍摄”、“口红”和测评”,可以获取在家中的环境画布,以及具有口红内容,测评内容的相关脚本。
为方便理解,以下结合图12提供一个操作示例:
S1200,用户输入所需脚本的题材。
S1202,根据题材检索矢量化解构脚本库。
矢量化解构脚本库:是一个故事的整个创作脚本。每一个脚本包含了多张矢量化解构图像。例如拍摄化妆品测评,可以包括以下多张矢量化解构图像:主播半身讲解的矢量化解构图像,主播嘴部特写的矢量化解构图像,化妆品特写的矢量化解构图像等。脚本包括多张具有时间顺序的,排列起来的解矢量化解构图像。
S1204,用户上传真实图像。其中,基于真实图像亦可以生成相应的矢量化解构图像。
S1206,基于S1202或S1204,得到矢量化解构图像。
该矢量化解构图像,可以包括矢量元素、大小、位置(以上信息可以通过坐标、像素数、物体标签等进行描述)。用户根据矢量化解构图像,即可粗略进行画像重构。
S1208,用户对矢量化解构图像中的矢量化要素进行修改添加删除。
S1210,基于S1208得到最终的矢量化解构图像,即分镜脚本。
S1212,基于S1208得到的分镜脚本,可以保存于矢量化素材库中。
实施例三
图13示意性示出了根据本申请实施例三的分镜脚本生成系统的框图,该分镜脚本生成系统可以被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,以下描述将具体介绍本申请实施例中各程序模块的功能。
如图13所示,该分镜脚本生成系统1300可以包括第一获取模块1310、第二获取模块1320、第三获取模块1330和生成模块1340,其中:
第一获取模块1310,用于获取用于分镜脚本绘制的参考图像;
第二获取模块1320,用于获取所述参考图像的元素和所述元素的元素矢量信息;
第三获取模块1330,用于获取与所述元素匹配的矢量元素;及
生成模块1340,用于根据所述元素矢量信息,将所述矢量元素设置于指定画布上,以生成所述分镜脚本。
作为示例,所述第二获取模块1320,还用于:
根据所述元素的元素属性,从矢量元素素材库中获取与所述元素属性关联的所述矢量元素。
作为示例,所述元素矢量信息包括所述元素的尺寸、姿态以及所述元素在所述参考图像中的相对位置;所述生成模块1340,还用于:
根据所述元素的尺寸、姿态以及所述相对位置,将所述矢量元素设置于所述指定画布中。
作为示例,所述分镜脚本生成系统1300还可以包括第四获取模块,用于:
识别所述参考图像的场景属性;及
根据所述场景属性,从画布素材库中获取与所述场景属性关联的所述指定画布。
作为示例,所述分镜脚本包括可编辑矢量图;所述分镜脚本生成系统1300还可以包括修改模块,用于:
响应于矢量化修改信息,对所述分镜脚本进行矢量化修改。
作为示例,所述分镜脚本生成系统1300还可以包括调整模块,用于:
根据用户偏好信息,调整所述矢量元素在所述指定画布中的布置,以得到所述分镜脚本。
作为示例,所述分镜脚本生成系统1300还可以包括返回模块,用于:
响应于用户请求,根据用户偏好信息将相应的分镜脚本返回至用户的客户端。
作为示例,所述参考图像为视频关键帧;或所述参考图像为用户上传的图像。
作为示例,所述分镜脚本生成系统1300还可以包括存储模块,用于:
若所述参考图像为用户上传的图像,则评估所述分镜脚本的质量;及
若所述分镜脚本的质量大于预设值,则将所述分镜脚本存储于矢量化脚本库中。
作为示例,所述生成模块1340,还用于:
获取输入信息,所述输入信息包括关键词;
从所述矢量化脚本库中获取与所述关键词关联的参考分镜脚本;及
响应于矢量化修改信息,对所述参考分镜脚本进行矢量化修改,以生成分镜脚本。
实施例四
图14示意性示出了根据本申请实施例四的分镜脚本生成系统的框图,该分镜脚本生成系统可以被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,以下描述将具体介绍本申请实施例中各程序模块的功能。
如图14所示,该分镜脚本生成系统1400可以包括第一获取模块1410、第二获取模块1420和生成模块1440,其中:
第一获取模块1410,用于获取输入信息,所述输入信息包括关键词。
第二获取模块1420,用于从矢量化脚本库中获取与所述关键词关联的参考分镜脚本,所述矢量化脚本库包括多个候选分镜脚本,所述多个候选分镜脚本根据实施例一所述的方法生成。
可选的,生成模块1430,用于:响应于矢量化修改信息,对所述参考分镜脚本进行矢量化修改,以生成分镜脚本。
实施例五
图15示意性示出了根据本申请实施例五的适于实现分镜脚本生成方法的计算机设备10000的硬件架构示意图。本实施例中,计算机设备10000是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。例如,可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图15所示,计算机设备10000至少包括但不限于:可通过系统总线相互通信链接存储器10010、处理器10020、网络接口10030。其中:
存储器10010至少包括一种类型的计算机可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器10010可以是计算机设备10000的内部存储模块,例如该计算机设备10000的硬盘或内存。在另一些实施例中,存储器10010也可以是计算机设备10000的外部存储设备,例如该计算机设备10000上配备的插接式硬盘,智能存储卡(Smart Media Card,简称为SMC),安全数字(Secure Digital,简称为SD)卡,闪存卡(Flash Card)等。当然,存储器10010还可以既包括计算机设备10000的内部存储模块也包括其外部存储设备。本实施例中,存储器10010通常用于存储安装于计算机设备10000的操作系统和各类应用软件,例如分镜脚本生成方法的程序代码等。此外,存储器10010还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器10020在一些实施例中可以是中央处理器(Central Processing Unit,简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器10020通常用于控制计算机设备10000的总体操作,例如执行与计算机设备10000进行数据交互或者通信相关的控制和处理等。本实施例中,处理器10020用于运行存储器10010中存储的程序代码或者处理数据。
网络接口10030可包括无线网络接口或有线网络接口,该网络接口10030通常用于在计算机设备10000与其他计算机设备之间建立通信链接。例如,网络接口10030用于通过网络将计算机设备10000与外部终端相连,在计算机设备10000与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication,简称为GSM)、宽带码分多址(Wideband Code Division Multiple Access,简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是,图15仅示出了具有部件10010-10030的计算机设备,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本实施例中,存储于存储器10010中的分镜脚本生成方法还可以被分割为一个或者多个程序模块,并由一个或多个处理器(本实施例为处理器10020)所执行,以完成本申请实施例。
实施例六
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质其上存储有计算机程序,计算机程序被处理器执行时实现实施例中的分镜脚本生成方法的步骤。
本实施例中,计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,计算机可读存储介质可以是计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,计算机可读存储介质也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,简称为SMC),安全数字(Secure Digital,简称为SD)卡,闪存卡(Flash Card)等。当然,计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件,例如实施例中分镜脚本生成方法的程序代码等。此外,计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然,本领域的技术人员应该明白,上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (15)

1.一种分镜脚本生成方法,其特征在于,所述方法包括:
获取用于分镜脚本绘制的参考图像;
获取所述参考图像的元素和所述元素的元素矢量信息;
获取与所述元素匹配的矢量元素;及
根据所述元素矢量信息,将所述矢量元素设置于指定画布上,以生成所述分镜脚本。
2.根据权利要求1所述的分镜脚本生成方法,其特征在于,所述获取与所述元素匹配的矢量元素,包括:
根据所述元素的元素属性,从矢量元素素材库中获取与所述元素属性关联的所述矢量元素。
3.根据权利要求1所述的分镜脚本生成方法,其特征在于,所述元素矢量信息包括所述元素的尺寸、姿态以及所述元素在所述参考图像中的相对位置;所述根据所述元素矢量信息,将所述矢量元素设置于指定画布上,以生成所述分镜脚本,包括:
根据所述元素的尺寸、姿态以及所述相对位置,将所述矢量元素设置于所述指定画布中。
4.根据权利要求1所述的分镜脚本生成方法,其特征在于,还包括:
识别所述参考图像的场景属性;及
根据所述场景属性,从画布素材库中获取与所述场景属性关联的所述指定画布。
5.根据权利要求1至4任意一项所述的分镜脚本生成方法,其特征在于,所述分镜脚本包括可编辑矢量图;所述方法还包括:
响应于矢量化修改信息,对所述分镜脚本进行矢量化修改。
6.根据权利要求1至4任意一项所述的分镜脚本生成方法,其特征在于,所述方法还包括:
根据用户偏好信息,调整所述矢量元素在所述指定画布中的布置,以得到所述分镜脚本。
7.根据权利要求1至4任意一项所述的分镜脚本生成方法,其特征在于,所述方法还包括:
响应于用户请求,根据用户偏好信息将相应的分镜脚本返回至用户的客户端。
8.根据权利要求1至4任意一项所述的分镜脚本生成方法,其特征在于:
所述参考图像为视频关键帧;和/或
所述参考图像为用户上传的图像。
9.根据权利要求1至4任意一项所述的分镜脚本生成方法,其特征在于,所述方法还包括:
若所述参考图像为用户上传的图像,则评估所述分镜脚本的质量;及
若所述分镜脚本的质量大于预设值,则将所述分镜脚本存储于矢量化脚本库中。
10.根据权利要求9所述的分镜脚本生成方法,其特征在于,所述方法还包括:
获取输入信息,所述输入信息包括关键词;
从所述矢量化脚本库中获取与所述关键词关联的参考分镜脚本;及
响应于矢量化修改信息,对所述参考分镜脚本进行矢量化修改,以生成分镜脚本。
11.一种分镜脚本生成系统,其特征在于,包括:
第一获取模块,用于获取用于分镜脚本绘制的参考图像;
第二获取模块,用于获取所述参考图像的元素和所述元素的元素矢量信息;
第三获取模块,用于获取与所述元素匹配的矢量元素;及
生成模块,用于根据所述元素矢量信息,将所述矢量元素设置于指定画布上,以生成所述分镜脚本。
12.一种分镜脚本生成方法,其特征在于,所述方法包括:
获取输入信息,所述输入信息包括关键词;及
从矢量化脚本库中获取与所述关键词关联的参考分镜脚本,所述矢量化脚本库包括多个候选分镜脚本,所述多个候选分镜脚本根据权利要求1至9任意一项所述的方法生成。
13.根据权利要求12所述的分镜脚本生成方法,其特征在于,所述方法还包括:
响应于矢量化修改信息,对所述参考分镜脚本进行矢量化修改,以生成分镜脚本。
14.一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时用于实现权利要求1至10、12-13中任意一项所述的分镜脚本生成方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行权利要求1至10、12-13中任意一项所述的分镜脚本生成方法的步骤。
CN202110802626.4A 2021-07-15 2021-07-15 分镜脚本生成方法和系统 Pending CN115619891A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110802626.4A CN115619891A (zh) 2021-07-15 2021-07-15 分镜脚本生成方法和系统
PCT/CN2022/100864 WO2023284517A1 (zh) 2021-07-15 2022-06-23 分镜脚本生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110802626.4A CN115619891A (zh) 2021-07-15 2021-07-15 分镜脚本生成方法和系统

Publications (1)

Publication Number Publication Date
CN115619891A true CN115619891A (zh) 2023-01-17

Family

ID=84855837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110802626.4A Pending CN115619891A (zh) 2021-07-15 2021-07-15 分镜脚本生成方法和系统

Country Status (2)

Country Link
CN (1) CN115619891A (zh)
WO (1) WO2023284517A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175864B1 (en) * 1997-06-30 2001-01-16 Netscape Communications Corporation Method and apparatus for storyboard scripting of application programs running on a computer system
JP4109185B2 (ja) * 2003-12-01 2008-07-02 日本電信電話株式会社 映像シーン区間情報抽出方法,映像シーン区間情報抽出装置,映像シーン区間情報抽出プログラムおよびそのプログラムを記録した記録媒体
CN1704943A (zh) * 2004-05-27 2005-12-07 杭州草莓资讯有限公司 多层次计算机动画分镜脚本
CN103839562A (zh) * 2014-03-17 2014-06-04 杨雅 一种视频创作系统
CN111667557B (zh) * 2020-05-20 2023-07-21 完美世界(北京)软件科技发展有限公司 动画制作方法及装置、存储介质、终端
CN111641869B (zh) * 2020-06-04 2022-01-04 虎博网络技术(上海)有限公司 视频分镜方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
WO2023284517A1 (zh) 2023-01-19

Similar Documents

Publication Publication Date Title
US10657652B2 (en) Image matting using deep learning
US10867416B2 (en) Harmonizing composite images using deep learning
US10311913B1 (en) Summarizing video content based on memorability of the video content
CN109803180B (zh) 视频预览图生成方法、装置、计算机设备及存储介质
KR20190116199A (ko) 영상 데이터 처리 방법, 장치 및 판독 가능 저장 매체
Yang et al. Semantic portrait color transfer with internet images
US20140176803A1 (en) Method for producing a blended video sequence
CN111708941A (zh) 内容推荐方法、装置、计算机设备和存储介质
US11157773B2 (en) Image editing by a generative adversarial network using keypoints or segmentation masks constraints
CN113204659B (zh) 多媒体资源的标签分类方法、装置、电子设备及存储介质
Mejjati et al. Look here! a parametric learning based approach to redirect visual attention
CN116595438A (zh) 图片创作方法、装置、设备及存储介质
US20090109236A1 (en) Localized color transfer
JP6498674B2 (ja) マルチメディア資産の中のオブジェクトを注釈付けするための方法
CN116977774A (zh) 图像生成方法、装置、设备和介质
KR101947553B1 (ko) 객체 기반 동영상 편집 장치 및 방법
CN115619891A (zh) 分镜脚本生成方法和系统
Tsai et al. An intelligent recommendation system for animation scriptwriters’ education
US20230419997A1 (en) Automatic Non-Linear Editing Style Transfer
CN114627211A (zh) 视频名片生成方法、装置、计算机设备和存储介质
US20240127412A1 (en) Iteratively modifying inpainted digital images based on changes to panoptic segmentation maps
US20240127411A1 (en) Generating and providing a panoptic inpainting interface for generating and modifying inpainted digital images
WO2023284469A1 (zh) 视频拍摄信息获取方法,及视频拍摄和处理指示方法
US20240127452A1 (en) Learning parameters for neural networks using a semantic discriminator and an object-level discriminator
Zhou et al. Magic Mirror Stealth: Interactive Automatic Picture Editing System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination