CN111429341B - 一种视频处理方法、设备及计算机可读存储介质 - Google Patents

一种视频处理方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111429341B
CN111429341B CN202010232142.6A CN202010232142A CN111429341B CN 111429341 B CN111429341 B CN 111429341B CN 202010232142 A CN202010232142 A CN 202010232142A CN 111429341 B CN111429341 B CN 111429341B
Authority
CN
China
Prior art keywords
image
cartoon
frame
target
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010232142.6A
Other languages
English (en)
Other versions
CN111429341A (zh
Inventor
赵琦
杜欧杰
王科
颜忠伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MIGU Culture Technology Co Ltd
Original Assignee
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MIGU Culture Technology Co Ltd filed Critical MIGU Culture Technology Co Ltd
Priority to CN202010232142.6A priority Critical patent/CN111429341B/zh
Publication of CN111429341A publication Critical patent/CN111429341A/zh
Application granted granted Critical
Publication of CN111429341B publication Critical patent/CN111429341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频处理方法、设备及计算机可读存储介质，涉及视频处理技术领域，以解决现有基于视频素材创作漫画的方式创作效率较低且人工成本较高的问题。该方法包括：获取待处理视频；对所述待处理视频进行关键帧提取，得到至少一帧关键图像；分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像；将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品。本发明实施例可通过上述自动化地过程完成视频的漫画创作，而无需人工参与，从而可提高漫画创作效率，并节省人工成本。

Description

一种视频处理方法、设备及计算机可读存储介质
技术领域
本发明涉及视频处理技术领域，尤其涉及一种视频处理方法、设备及计算机可读存储介质。
背景技术
漫画作为一种广为流传的艺术表现形式，受到越来越多人的喜欢，特别是年轻人。但现有漫画的创作门槛又相对较高，它需要创作者拥有较好的绘画能力、构图能力、叙事能力等，与此同时漫画的创作也是一项非常耗费时间的工作，一页手绘漫画通常需要创作者花费数小时的时间才能完成。
目前，漫画创作仍然是靠创作者手绘漫画的方式进行漫画创作，并使用一些计算机软件来辅助创作。而随着用户对各类视频的观看兴趣递增，尤其是对一些体育赛事类视频，如足球赛事视频，使得视频逐渐成为创作者们进行漫画创作的素材，但由于视频更新较为频繁，从而视频的产生速度超过漫画的创作速度，进而导致相应漫画的更新频率不高，与此同时人工创作漫画的成本也相对较高。
可见，现有基于视频素材创作漫画的方式存在创作效率较低且人工成本较高的问题。
发明内容
本发明实施例提供一种视频处理方法、设备及计算机可读存储介质，以解决现有基于视频素材创作漫画的方式创作效率较低且人工成本较高的问题。
第一方面，本发明实施例提供了一种视频处理方法，包括：
获取待处理视频；
对所述待处理视频进行关键帧提取，得到至少一帧关键图像；
分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像；
将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品。
可选的，所述将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品之前，所述方法还包括：
在所述关键图像的数量大于1时，对所述关键图像进行分类处理，得到至少一类相关帧图像；
所述将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品，包括：
分别为每类相关帧图像分配漫画页面；
分别对每个漫画页面进行区域分割；
将第一类相关帧图像的预处理漫画图像，分别布局在第一漫画页面中的不同区域；
其中，所述第一类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，所述第一漫画页面为所述第一类相关帧图像所分配的漫画页面。
可选的，所述对所述关键图像进行分类处理，得到至少一类相关帧图像之前，所述方法还包括：
确定所述待处理视频中的至少一个目标视频片段，其中，所述目标视频片段为所述待处理视频中对应目标镜头的视频片段，所述目标镜头为包括预设事件的镜头；
分别确定每个目标视频片段的目标帧图像，得到至少一帧目标帧图像，其中，所述目标帧图像为目标视频片段中精彩度最高的图像帧，所述目标帧图像用于对所述至少一帧关键图像进行分类。
可选的，所述分别确定每个目标视频片段的目标帧图像，得到至少一帧目标帧图像之前，所述方法还包括：
采用监督学习算法，并以用户反馈数据为监督学习标签，生成每个目标视频片段的精彩度曲线；
其中，所述用户反馈数据包括所述每个目标视频片段的视频点击率和完播率中的至少一项，所述每个目标视频片段的精彩度曲线用于指示对应目标视频片段中的每一帧图像对应的精彩度；
所述分别确定每个目标视频片段的目标帧图像，包括：
分别将所述每个目标视频片段的精彩度曲线中的峰值对应的图像，确定为对应目标视频片段中的目标帧图像。
可选的，所述对所述关键图像进行分类处理，得到至少一类相关帧图像，包括：
从所述至少一帧关键图像中，分别确定与每帧目标帧图像相关联的N帧图像，其中，N为大于或等于1的整数；
分别将所述每帧目标帧图像及与其相关联的N帧图像归为一类，得到至少一类相关帧图像。
可选的，所述分别对每个漫画页面进行区域分割之前，所述方法还包括：
在第二类相关帧图像的数量大于M的情况下，确定所述第二类相关帧图像中与目标帧图像的相关度满足预设条件的M-1帧非目标帧图像；
删除所述第二类相关帧图像中除目标帧图像和所述M-1帧非目标帧图像外的其他帧图像，得到更新图像数量后的至少一类相关帧图像；
其中，所述第二类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，M为预设数量。
可选的，所述分别对每个漫画页面进行区域分割，包括：
在第三类相关帧图像的数量小于M的情况下，将第二漫画页面分割成与所述第三类相关帧图像的数量一致的L个区域；
在所述第三类相关帧图像的数量等于M的情况下，将所述第二漫画页面分割成M个区域；
其中，所述第三类相关帧图像为所述更新图像数量后的至少一类相关帧图像中的任一类相关帧图像，所述第二漫画页面为所述第三类相关帧图像所分配的漫画页面。
可选的，所述将第一类相关帧图像的预处理漫画图像，分别布局在第一漫画页面中的不同区域，包括：
将所述第一类相关帧图像中的目标帧图像的预处理漫画图像，布局在所述第一漫画页面中的目标区域，其中，所述目标区域为所述第一漫画页面上面积最大的区域；
将所述第一类相关帧图像中的非目标帧图像的预处理漫画图像，分别布局在所述第一漫画页面中除所述目标区域外的其他区域。
可选的，所述将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品，包括：
将所述至少一张预处理漫画图像分别布局在至少一个漫画页面；
在目标预处理漫画图像所布局的漫画页面中，与所述目标预处理漫画图像的目标图像特征关联的目标位置生成对话框，得到对应的漫画作品；
其中，所述目标预处理漫画图像为所述至少一张预处理漫画图像中的一张。
可选的，所述对所述待处理视频进行关键帧提取，得到至少一帧关键图像，包括：
对所述待处理视频进行镜头分割，得到至少一个视频片段，其中，每个视频片段对应一个镜头；
分别对每个视频片段进行关键帧提取，得到至少一帧关键图像。
可选的，所述分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像，包括：
分别从每帧关键图像中截取关键区域，得到至少一个关键区域图像，其中，所述关键区域为包括预设图像特征的区域；
分别对每个关键区域图像进行漫画风格化处理，得到至少一张预处理漫画图像。
可选的，所述分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像，包括：
采用基于生成对抗网络(Generative Adversarial Networks，简称GAN)的图像漫画特效算法，分别将每帧关键图像转换为漫画风格的图像，得到对应的至少一张预处理漫画图像。
第二方面，本发明实施例还提供一种视频处理设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器，用于读取存储器中的程序实现如前述任一项所述的视频处理方法中的步骤。
第三方面，本发明实施例还提供一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器执行时实现如前述任一项所述的视频处理方法中的步骤。
在本发明实施例中，通过对待处理视频进行关键帧提取，以及对提取的关键图像进行漫画风格化处理，并对处理后得到的预处理漫画图像按预设规则进行排布，从而得到对应的漫画作品。这样，由于本发明实施例可通过上述自动化地过程完成视频的漫画创作，而无需人工参与，从而可提高漫画创作效率，并节省人工成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的视频处理方法的流程图；
图2是本发明实施例提供的关键区域的截取示意图；
图3a是本发明实施例提供的在漫画页面中布局椭圆型对话框的示意图；
图3b是本发明实施例提供的在漫画图像中布局放射型对话框的示意图；
图4a是本发明实施例提供的漫画页面的水平分割示意图；
图4b是本发明实施例提供的漫画页面的垂直分割示意图；
图5是本发明实施例提供的相关帧的筛选示意图；
图6是本发明实施例提供的视频处理装置的结构图；
图7是本发明实施例提供的视频处理设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的视频处理方法的流程图，如图1所示，包括以下步骤：
步骤101、获取待处理视频。
在本发明实施例中，上述待处理视频可以是任意需要转换为漫画作品的视频，特别地，可以是体育赛事类视频，如足球比赛视频、篮球比赛视频等。
上述获取待处理视频可以是读取、下载需要处理的视频文件。
步骤102、对所述待处理视频进行关键帧提取，得到至少一帧关键图像。
该步骤中，可以采用关键帧提取算法从所述待处理视频中提取若干关键帧，得到至少一帧关键图像，以将其作为后续生成漫画的素材，具体地，可以采用双阈值比较法、灰度值判断、I帧P帧提取、深度学习、像素帧平均法等方式从所述待处理视频中提取能够反应视频主要内容的关键帧，其中，所提取的关键帧之间具备较大的差异，即各关键帧之间的像素变化程度均较大，以保证排除一些包括冗余信息的图像帧。
以足球比赛视频为例，由于足球比赛的特殊性，比赛中存在大量的乏味时刻，在相应比赛视频中即体现为渐变帧，而比赛中的精彩时刻一般出现在突变帧，在创作足球比赛漫画作品中，可将这些突变帧作为主要漫画素材，因此可采用双阈值比较法对足球比赛视频进行渐变帧和突变帧判断。具体地，可使用较高阈值M1进行帧像素检测，将所有潜在帧进行标记；使用较低阈值M2检测潜在镜头，用开始帧和其后的每一帧进行比较，并计算帧间差值；若帧间差大于较低阈值M2，则取此帧为突变帧；若帧间差值小于较低阈值M2，但累计的帧间差值大于较高阈值M1时，则取此帧为结束帧，且从开始帧到结束帧之间的所有帧为渐变帧；最后可提取所有的突变帧，所提取的突变帧即为关键图像。
可选的，所述对所述待处理视频进行关键帧提取，得到至少一帧关键图像，包括：
对所述待处理视频进行镜头分割，得到至少一个视频片段，其中，每个视频片段对应一个镜头；
分别对每个视频片段进行关键帧提取，得到至少一帧关键图像。
通常一个完整的视频往往是由多个不同的镜头组成的，例如，一个足球比赛视频中可以包括有远景镜头、中景镜头和近景特写镜头，因此，为了保证更好地从所述待处理视频中提取出更能反应视频主要内容的关键帧，可以先将所述待处理视频按镜头分割成若干个视频片段，再对分割后的每个视频片段进行关键帧提取，其中，每个视频片段中可以分别提取出一帧或多帧关键图像。
在对所述待处理视频进行镜头分割时，可以是根据所述待处理视频中各相邻帧之间的像素变化程度来分割各不同镜头，具体可以采用镜头边缘检测算法，如帧间差算法来实现，例如，可以通过计算所述待处理视频中各相邻帧之间的总帧差，当总帧差低于预设阈值时，判断这相邻两帧属于同一镜头，当总帧差大于预设阈值时，则判断这相邻两帧属于不同镜头，并可以此来分割不同镜头，即这相邻两帧的前一帧为上一镜头的结束帧，这相邻两帧的后一帧为下一镜头的起始帧。
这样，通过对所述待处理视频进行镜头分割，再对分割的各镜头片段进行关键帧提取，可较为容易地提取到能够反应所述待处理视频的主要内容的关键帧图像。
步骤103、分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像。
对于提取到的所述至少一帧关键图像，可以分别对其中每帧关键图像进行漫画风格化处理，以将每帧关键图像分别转换成漫画图像，得到至少一张预处理漫画图像。其中，所述漫画风格化处理可以是采用漫画风格化相关算法来实现。
可选的，所述分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像，包括：
采用基于生成对抗网络GAN的图像漫画特效算法，分别将每帧关键图像转换为漫画风格的图像，得到对应的至少一张预处理漫画图像。
即该实施方式中，可以采用基于生成对抗网络(Generative AdversarialNetworks，简称GAN)的图像漫画特效算法，来实现对所述至少一帧关键图像的漫画风格化处理，将每帧关键图像分别转换为漫画风格的图像。具体地，可以是先利用训练数据训练好用于生成漫画图像的GAN网络，再将所述至少一帧关键图像输入训练好的GAN网络中，通过GAN网络生成每帧关键图像对应的漫画风格图像，进而得到至少一张预处理漫画图像。
其中，GAN网络包括判别器和生成器，其基本原理为通过二者的互相博弈学习产生相当好的输出，训练GAN网络的过程可以是训练其生成器的结构参数，使其能够生成足够真的漫画图像，具体训练过程可以是：将用户创作的某图像对应的真实漫画图像和生成器中生成的该图像对应的漫画图像分别输入判别器中，通过判别器对二者进行真假判断，在判别器判别真实漫画图像为真，判别生成的漫画图像为假的情况下，对生成器的结构参数进行调整，再重复上述生成和判断的过程，直至生成器能够生成使判别器无法判别真假的漫画图像，也即可生成足够以假乱真的漫画图像。
这样，通过训练好的GAN网络中的生成器来对所述至少一帧关键图像生成相应的漫画图像，可保证获得较为逼真的漫画风格化效果。
可选的，所述分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像，包括：
分别从每帧关键图像中截取关键区域，得到至少一个关键区域图像，其中，所述关键区域为包括预设图像特征的区域；
分别对每个关键区域图像进行漫画风格化处理，得到至少一张预处理漫画图像。
考虑到视频中的每帧图像通常会包括大量的画面信息，而对于漫画创作而言，往往只需使用其中较为关键的部分图像信息来生成相应的漫画图像即可，因此，可以在生成漫画图像前，预先从每帧关键图像中分别截取关键区域用于生成漫画图像即可。
具体地，可以采用深度学习算法、图像分割算法等对每帧关键图像中的关键区域进行提取，这些关键区域可以是包括预设图像特征的区域，例如，以足球比赛视频为例，所述预设图像特征可以是预先定义的人脸、足球、球框等与赛事较为相关的图像特征，从而在提取关键区域时，可以先识别所述每帧关键图像中包括预设图像特征的关键区域，并对这些关键区域进行截取，进而得到至少一个关键区域图像。
然后，再对每个关键区域图像分别进行漫画风格化处理，具体地处理方式可以参见前述实施方式中的相关介绍，从而得到至少一张预处理漫画图像。
以图2所示的一帧球员进球镜头图像20为例，只需提取其中该球员的人脸部位21、脚22和足球23的图像特征即可，再对提取的人脸图像，生成相应的漫画图像。
这样，通过对每帧关键图像分别截取关键区域，再对截取的关键区域图像进行漫画风格化处理，从而可通过去除原图像中不重要的图像信息，减轻对图像进行漫画风格化处理过程中的工作量，加快漫画图像的生成速度。
步骤104、将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品。
在得到所述至少一张预处理漫画图像后，便可以按预设规则对所述至少一张预处理漫画图像进行排布，以得到完整的漫画作品，其中，所述预设规则可以包括排列顺序、漫画页面的布局数量、布局方式等方面的规则。例如，可以将每张预处理漫画图像，按照各自对应的关键图像在所述待处理视频中的播放顺序进行先后排布，形成连续的具备故事情节的漫画作品；或者，还可以分别将若干张预处理漫画图像按一定规则布局在一个漫画页面，并对各个漫画页面按序进行编号，最终形成完整的漫画作品。
可选的，所述将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品，包括：
将所述至少一张预处理漫画图像分别布局在至少一个漫画页面；
在目标预处理漫画图像所布局的漫画页面中，与所述目标预处理漫画图像的目标图像特征关联的目标位置生成对话框，得到对应的漫画作品；
其中，所述目标预处理漫画图像为所述至少一张预处理漫画图像中的一张。
该实施方式中，在进行漫画布局时，可以将所述至少一张预处理漫画图像分别布局在至少一个漫画页面，具体可以是将所述至少一张预处理漫画图像中分别选取若干张预处理漫画图像布局在一个漫画页面，即每个漫画页面可以分别布局有一张或多张预处理漫画图像，更具体地，可以是将所述至少一张预处理漫画图像中存在关联的一类预处理漫画图像分别布局在一个漫画页面，使得最终生成的漫画作品更具可读性。
且还可以进一步对布局后的各漫画图像生成相应的对话框，使得生成的漫画作品更具可读性和趣味性，具体地，可以在各预处理漫画图像所布局的漫画页面中的目标位置生成对话框，该目标位置可以是与各预处理漫画图像的目标图像特征关联的位置，例如，可以在人物漫画图像的嘴角位置生成对话框。
更具体地，在生成对话框时，可以使用预先设定好的漫画脚本来实现，该漫画脚本中可以设定有对话框的类型和使用规则，以及写有各对话框中的对话内容，例如，如图3a和图3b所示，对于人物对话型的漫画图像30，可以选用椭圆型对话框31，并将该椭圆型对话框31设定在人物嘴角边，对于近景镜头中进球、射中门框等类型的漫画图像32，可以选用放射型对话框33，并将该放射型对话框33设定在人物嘴角边，各对话框中的对话内容则可以根据漫画脚本中写入的对话内容进行填充。
其中，各漫画图像的对话框中的对话内容可以是基于其对应的关键图像的镜头语言生成的，例如，由于不同的足球镜头代表不同的镜头语言，从而可基于不同的镜头语言来辅助生成相应的漫画语言，如球员的特写镜头，可以辅助生成对应漫画图像中球员的内容独白等。
这样，通过对所述至少一张预处理漫画图像进行漫画页面布局，以及生成相应的对话框，可获得较为完整且具备可读性的漫画作品。
可选的，所述步骤104之前，所述方法还包括：
在所述关键图像的数量大于1时，对所述关键图像进行分类处理，得到至少一类相关帧图像；
所述将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品，包括：
分别为每类相关帧图像分配漫画页面；
分别对每个漫画页面进行区域分割；
将第一类相关帧图像的预处理漫画图像，分别布局在第一漫画页面中的不同区域；
其中，所述第一类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，所述第一漫画页面为所述第一类相关帧图像所分配的漫画页面。
该实施方式中，为保证按照各帧关键图像之间的相关性来进行漫画布局，以得到可读性较强的漫画作品，可以在从所述待处理视频中提取得到至少一帧关键图像后，先对所述至少一帧关键图像进行分类处理，以将其分成至少一类相关帧图像，例如，可以采用聚类算法来完成分类处理，分别将所述至少一帧关键图像中相关联的关键图像聚为一类。
然后，可依据分类结果进行漫画布局，将每类相关帧图像分别布局在一个漫画页面，也即可以为所述每类相关帧图像分别分配一个漫画页面，而由于每类相关帧图像可能包括一帧或多帧图像，对应便生成有一张或多张预处理漫画图像，故为保证能够在一个漫画页面布局一张或多张预处理漫画图像，需分别对每个漫画页面进行区域分割，即将各漫画页面分割成一个或多个区域。
其中，一种区域分割方式可以是直接将每类相关帧图像对应分配的漫画页面分割成与该类相关帧图像数量一致的若干个区域，例如，对于包括3帧图像的一类相关帧图像，可以将其分配的漫画页面分割成3个区域，对于包括4帧图像的一类相关帧图像，可以将其分配的漫画页面分割成4个区域；另一种区域分割方式可以是在某类相关帧图像的数量不超过最大区域阈值K的情况下，将其分配的对应漫画页面分割成与该类相关帧图像数量一致的若干个区域，而在某类相关帧图像的数量超过最大区域阈值K的情况下，将其分配的对应漫画页面分割成K个区域，例如，K取4，对于包括3帧图像的一类相关帧图像，可以将其分配的漫画页面分割成3个区域，对于包5帧图像的一类相关帧图像，可以将其分配的漫画页面分割成4个区域。
且在对每个漫画页面进行区域分割时，还可以采用垂直分割或水平分割的布局方法来实现，例如，如图4a或图4b所示，可以采用垂直分割方法将一漫画页面40分割成如图4a所示的包括4个区域的漫画页面布局效果，或者，也可以采用水平分割方法将一漫画页面40分割成如图4b所示的包括4个区域的漫画页面布局效果。
在完成对各漫画页面的区域分割后，可以将每类相关帧图像的预处理漫画图像，分别布局在对应分配的漫画页面中的不同区域，例如，对于所述至少一类相关帧图像中的第一类相关帧图像，可以将其对应的4张预处理漫画图像分别布局在为其分配的第一漫画页面中的4个不同区域，也即所述第一漫画页面中的每个区域分别布局有一张预处理漫画图像。
具体地，由于分割后的各漫画页面中的各区域的形状大小和位置不同，故在各漫画页面中布局对应的预处理漫画图像时，可以先确定各预处理漫画图像在对应漫画页面中的布局区域，再根据各区域的形状和大小，对各预处理漫画图像进行适应的裁剪，以保证裁剪后的各预处理漫画图像能够适应对应区域布局，进而保证布局有预处理漫画图像后的各漫画页面具备较好的视觉观看效果。
可选的，所述对所述关键图像进行分类处理，得到至少一类相关帧图像之前，所述方法还包括：
确定所述待处理视频中的至少一个目标视频片段，其中，所述目标视频片段为所述待处理视频中对应目标镜头的视频片段，所述目标镜头为包括预设事件的镜头；
分别确定每个目标视频片段的目标帧图像，得到至少一帧目标帧图像，其中，所述目标帧图像为目标视频片段中精彩度最高的图像帧，所述目标帧图像用于对所述至少一帧关键图像进行分类。
该实施方式中，在获得所述待处理视频后，还可以确定所述待处理视频中的目标帧图像，也即确定其中的重要镜头帧，以便后续根据重要镜头帧来完成对所述至少一帧关键图像的分类。
具体地，可以先确定所述待处理视频中的至少一个目标视频片段，也即确定其中目标镜头对应的视频片段，所述目标镜头可以为包括预设事件的镜头，以足球比赛视频为例，所述预设事件可以是射门、进球、角球、任意球、红牌、黄牌、庆祝等精彩事件，所述目标镜头则为包括有其中任一精彩事件的镜头。因此，可以通过识别所述待处理视频中对应这些目标镜头的视频片段，来确定所述待处理视频中的至少一个目标视频片段。
对于所述至少一个目标视频片段，可以分别确定其中每个目标视频片段的目标帧图像，也即确定每个目标视频片段中精彩度最高的图像帧，具体可以通过分别计算每个目标视频片段中的每帧图像的精彩度来确定，所述精彩度可以基于用户的反馈数据确定，如可通过获取各目标视频片段的播放率，获取用户对各目标视频片段的点评信息等，并基于对这些数据的分析计算来确定其中各帧图像的精彩度。
其中，需说明的是，在预先对所述待处理视频进行了镜头分割处理的情况下，上述确定所述待处理视频中的至少一个目标视频片段，可以是基于已经分割后的各镜头对应的视频片段，来进一步确定其中的目标镜头对应的目标视频片段，而无需再对所述待处理视频进行镜头分割。
可选的，所述分别确定每个目标视频片段的目标帧图像，得到至少一帧目标帧图像之前，所述方法还包括：
采用监督学习算法，并以用户反馈数据为监督学习标签，生成每个目标视频片段的精彩度曲线；
其中，所述用户反馈数据包括所述每个目标视频片段的视频点击率和完播率中的至少一项，所述每个目标视频片段的精彩度曲线用于指示对应目标视频片段中的每一帧图像对应的精彩度；
所述分别确定每个目标视频片段的目标帧图像，包括：
分别将所述每个目标视频片段的精彩度曲线中的峰值对应的图像，确定为对应目标视频片段中的目标帧图像。
具体地，为了确定所述每个目标视频片段中每帧图像的精彩度，以得到各目标视频片段中精彩度最高的目标帧图像，可以采用监督学习算法，并以用户反馈数据为监督学习标签，来分别绘制所述每个目标视频片段的精彩度曲线，依据该精彩度曲线，可以确定所述每个目标视频片段中每帧图像对应的精彩度，并且可确定所述每个目标视频片段的精彩度曲线中的峰值对应的图像帧即为精彩度最高的图像帧。
其中，所述用户反馈数据可包括所述每个目标视频片段的视频点击率和完播率中的至少一项，具体可通过将所述待处理视频拆分后的每个目标视频片段资源分别发布在视频播放网站，然后通过统计用户对各目标视频片段的视频点击率、完播率等数据，来获得所述用户反馈数据，从而可保证依据所述用户反馈数据所绘制的精彩度曲线能够较为准确地反应用户对各目标视频片段的真实观看感受。
仍以足球比赛视频为例，在进球事件中，可以足球射进球门为起始点，向前推进到足球传入最后一个持球人脚下，向后推进到足球射进球门的慢动作回放结束时刻，以此为一个完整的进球镜头时刻，绘制该进球镜头对应的视频片段的精彩度曲线，此精彩度曲线的绘制一般可采用深度学习算法，以视频点击率、完播率等为监督学习标签，来绘制最能体现观众感受的视频精彩度曲线，并可选择精彩度曲线的最高点即峰值对应的图像帧为重要镜头帧，即目标帧图像。
可选的，所述对所述关键图像进行分类处理，得到至少一类相关帧图像，包括：
从所述至少一帧关键图像中，分别确定与每帧目标帧图像相关联的N帧图像，其中，N为大于或等于1的整数；
分别将所述每帧目标帧图像及与其相关联的N帧图像归为一类，得到至少一类相关帧图像。
该实施方式中，在确定每个目标视频片段的目标帧图像后，可以基于所述每个目标视频片段的目标帧图像，来对所提取的所述至少一帧关键图像进行分类，具体可以是采用基于聚类的方法，从所述至少一帧关键图像中分别筛选出与每帧目标帧图像相关联的N帧图像，并将筛选后的每帧目标帧图像及与其相关联的N帧图像分别归为一类，从而可将所述至少一帧关键图像按目标帧图像分为若干类，即得到的分类数量与所述至少一帧目标帧图像的数量一致。
其中，需说明的是，在对所述待处理视频进行关键帧提取时，得到的所述至少一帧关键图像中可能已经包括有目标帧图像，故在进行上述分类处理时，可以是将所述至少一帧关键图像中的目标帧图像先筛选出来，再从剩余的关键图像中，分别筛选出与各目标帧图像相关联的图像，进而完成对所述至少一帧关键图像的分类处理。
这样，通过采用上述方式对所述至少一帧关键图像进行分类，可以保证将所述至少一帧关键图像按内容的精彩程度进行均匀分布，进而可保证后续按类进行排布后的漫画作品的故事情节更为连贯且条理清晰。
可选的，所述分别对每个漫画页面进行区域分割之前，所述方法还包括：
在第二类相关帧图像的数量大于M的情况下，确定所述第二类相关帧图像中与目标帧图像的相关度满足预设条件的M-1帧非目标帧图像；
删除所述第二类相关帧图像中除目标帧图像和所述M-1帧非目标帧图像外的其他帧图像，得到更新图像数量后的至少一类相关帧图像；
其中，所述第二类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，M为预设数量。
在对所述至少一帧关键图像分类完成后，由于需要将同一类相关帧图像的预处理漫画图像布局在同一漫画页面上，而漫画页面受页面大小的限制，不宜布局过多张预处理漫画图像，故可以设定每个漫画页面可布局的最大漫画图像数量，如不超过M张。基于此，可以对所述至少一类相关帧图像中的每类相关帧图像分别进行图像数量判断，在其中任一类相关帧图像的数量大于M的情况下，可以选择其中M张图像进行保留，而去除其中剩余的图像，以保证每类相关帧图像中的图像数量均不超过M。
具体地，可以基于每类相关帧图像中的各非目标帧图像与目标帧图像的相关度，来确定该类相关帧图像中与其目标帧图像的相关度满足预设条件的M-1帧非目标帧图像，其中，所述预设条件可以是相关度排名前M-1，所述非目标帧图像可以是每类相关帧图像中除目标帧图像外的其他帧图像，所述相关度可以通过计算两帧图像之间的帧间差或图像灰度值来确定。然后，可以删除每类相关帧图像中除目标帧图像和所确定的对应M-1帧非目标帧图像外的其他帧图像，使得更新图像数量后的每类相关帧图像的数量均不超过M。
可选的，所述分别对每个漫画页面进行区域分割，包括：
在第三类相关帧图像的数量小于M的情况下，将第二漫画页面分割成与所述第三类相关帧图像的数量一致的L个区域；
在所述第三类相关帧图像的数量等于M的情况下，将所述第二漫画页面分割成M个区域；
其中，所述第三类相关帧图像为所述更新图像数量后的至少一类相关帧图像中的任一类相关帧图像，所述第二漫画页面为所述第三类相关帧图像所分配的漫画页面。
在按前述实施方式更新完每类相关帧图像的数量后，可以进一步依据更新后的每类相关帧图像的数量，对各自分配的对应漫画页面进行相应数量的区域分割，也即可以对更新数量后的每类相关帧图像，按各自的实际图像帧数进行区域分割，具体地，若某类相关帧图像的数量小于M，则可以将其分配的漫画页面分割成与该类相关帧图像的数量一致的若干个区域；而若某类相关帧图像的数量等于M，则可以将其分配的漫画页面分割成M个区域。
这样，可保证分割后的各漫画页面的区域与其所需布局的漫画图像数量相吻合，而不会存在区域浪费或区域不够的问题。
下面结合图5所示的相关帧筛选示意图，对确定所述至少一类相关帧图像和确定每类相关帧图像的数量的方式进行举例说明：
首先，可以从所述至少一帧关键图像中筛选出目标帧图像，并计算其中目标帧图像的图像灰度值，如共有T帧关键图像，筛选出目标帧图像R1，且设定每类相关帧图像数量不超过4；
其次，可以利用聚类公式，如P(Ri∩Rj)＝True，对所述T帧关键图像中的任意帧图像进行聚合，即对所述T帧关键图像按目标帧图像进行分类，并在聚合完成时停止聚合；其中，Ri和Rj分别表示所述T帧关键图像中的第i帧图像和第j帧图像，且1≤i,j≤T,i≠j，P(Ri∩Rj)表示第i帧图像与第j帧图像的交集的概率，P(Ri∩Rj)＝True则表示第i帧图像与第j帧图像的交集的概率为真，若第i帧图像与第j帧图像的重合部分越大，则表示二者的相关性越大，也即二者满足P(Ri∩Rj)＝True的关系，故可使用该公式来判断第i帧图像与第j帧图像是否为相关帧，进行完成聚类操作。例如，通过聚合可筛选出目标帧图像R1的相关帧包括R2、R3和R4，R4的相关帧又包括R5和R6。
最后，当聚合后的某类相关帧图像的总帧数少于或等于4时，可以根据其实际帧数进行漫画布局，即可将该类相关帧图像所分配的漫画页面按实际帧数进行区域分割和布局；当聚合后的某类相关帧图像的总帧数大于4时，可以分别计算该类相关帧图像中每帧图像的图像灰度值，并可采用k近邻算法，选择该类相关帧图像中与其目标帧图像的图像灰度值最为相邻也即最为接近的3帧图像，而舍弃该类相关帧图像中的其他图像，使得该类相关帧图像的总帧数为4，并可按照更新后的帧数进行漫画布局，即可将该类相关帧图像所分配的漫画页面分割成4个区域并进行相应布局。
可选的，所述将第一类相关帧图像的张预处理漫画图像，分别布局在第一漫画页面中的不同区域，包括：
将所述第一类相关帧图像中的目标帧图像的预处理漫画图像，布局在所述第一漫画页面中的目标区域，其中，所述目标区域为所述第一漫画页面上面积最大的区域；
将所述第一类相关帧图像中的非目标帧图像的预处理漫画图像，分别布局在所述第一漫画页面中除所述目标区域外的其他区域。
在按照目标帧图像对所述至少一帧关键图像进行分类完成后，对所述至少一类相关帧图像中每类相关帧图像的预处理漫画图像进行漫画页面布局时，可以将每类相关帧图像中的目标帧图像的预处理漫画图像，布局在该类相关帧图像所分配的漫画页面中的目标区域，如面积最大的区域，以及将每类相关帧图像中的非目标帧图像的预处理漫画图像，分别布局在该类相关帧图像所分配的漫画页面中除目标区域外的其他区域，其中，所述非目标帧图像可以是每类相关帧图像中除目标帧图像外的其他帧图像。
例如，可在图4a所示的区域3或在图4b所示的区域2中布局某类相关帧图像中的目标帧图像也即重要帧图像，而在图4a所示的区域1、2和4中或在图4b所示的区域1、3和4中分别布局该类相关帧图像中的非目标帧图像。
这样，通过将每类相关帧图像中的目标帧图像的预处理漫画图像，布局在对应漫画页面中面积最大的区域，可保证各目标帧图像的预处理漫画图像均位于其漫画页面中的较为显著的位置，从而可便于用户直观地读取漫画作品中比较重要的漫画信息。
本发明实施例的视频处理方法，通过对待处理视频进行关键帧提取，以及对提取的关键图像进行漫画风格化处理，并对处理后得到的预处理漫画图像按预设规则进行排布，从而得到对应的漫画作品。这样，由于本发明实施例可通过上述自动化地过程完成视频的漫画创作，而无需人工参与，从而可提高漫画创作效率，并节省人工成本。
本发明实施例还提供了一种视频处理装置。参见图6，图6是本发明实施例提供的视频处理装置的结构图。由于视频处理装置解决问题的原理与本发明实施例中视频处理方法相似，因此该视频处理装置的实施可以参见方法的实施，重复之处不再赘述。
如图6所示，视频处理装置600包括：
获取模块601，用于获取待处理视频；
提取模块602，用于对所述待处理视频进行关键帧提取，得到至少一帧关键图像；
图像处理模块603，用于分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像；
布局模块604，用于将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品。
可选的，视频处理装置600还包括：
分类模块，用于在所述关键图像的数量大于1时，对所述关键图像进行分类处理，得到至少一类相关帧图像；
布局模块604包括：
分配单元，用于分别为每类相关帧图像分配漫画页面；
区域分割单元，用于分别对每个漫画页面进行区域分割；
第一布局单元，用于将第一类相关帧图像的预处理漫画图像，分别布局在第一漫画页面中的不同区域；
其中，所述第一类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，所述第一漫画页面为所述第一类相关帧图像所分配的漫画页面。
可选的，视频处理装置600还包括：
第一确定模块，用于确定所述待处理视频中的至少一个目标视频片段，其中，所述目标视频片段为所述待处理视频中对应目标镜头的视频片段，所述目标镜头为包括预设事件的镜头；
第二确定模块，用于分别确定每个目标视频片段的目标帧图像，得到至少一帧目标帧图像，其中，所述目标帧图像为目标视频片段中精彩度最高的图像帧，所述目标帧图像用于对所述至少一帧关键图像进行分类。
可选的，视频处理装置600还包括：
第一生成模块，用于采用监督学习算法，并以用户反馈数据为监督学习标签，生成每个目标视频片段的精彩度曲线；
其中，所述用户反馈数据包括所述每个目标视频片段的视频点击率和完播率中的至少一项，所述每个目标视频片段的精彩度曲线用于指示对应目标视频片段中的每一帧图像对应的精彩度；
所述第二确定模块用于分别将所述每个目标视频片段的精彩度曲线中的峰值对应的图像，确定为对应目标视频片段中的目标帧图像。
可选的，所述分类模块包括：
确定单元，用于从所述至少一帧关键图像中，分别确定与每帧目标帧图像相关联的N帧图像，其中，N为大于或等于1的整数；
归类单元，用于分别将所述每帧目标帧图像及与其相关联的N帧图像归为一类，得到至少一类相关帧图像。
可选的，视频处理装置600还包括：
第三确定模块，用于在第二类相关帧图像的数量大于M的情况下，确定所述第二类相关帧图像中与目标帧图像的相关度满足预设条件的M-1帧非目标帧图像；
删除模块，用于删除所述第二类相关帧图像中除目标帧图像和所述M-1帧非目标帧图像外的其他帧图像，得到更新图像数量后的至少一类相关帧图像；
其中，所述第二类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，M为预设数量。
可选的，所述区域分割单元包括：
第一区域分割子单元，用于在第三类相关帧图像的数量小于M的情况下，将第二漫画页面分割成与所述第三类相关帧图像的数量一致的L个区域；
第二区域分割子单元，用于在所述第三类相关帧图像的数量等于M的情况下，将所述第二漫画页面分割成M个区域；
其中，所述第三类相关帧图像为所述更新图像数量后的至少一类相关帧图像中的任一类相关帧图像，所述第二漫画页面为所述第三类相关帧图像所分配的漫画页面。
可选的，所述第一布局单元包括：
第一布局子单元，用于将所述第一类相关帧图像中的目标帧图像的预处理漫画图像，布局在所述第一漫画页面中的目标区域，其中，所述目标区域为所述第一漫画页面上面积最大的区域；
第二布局子单元，用于将所述第一类相关帧图像中的非目标帧图像的预处理漫画图像，分别布局在所述第一漫画页面中除所述目标区域外的其他区域。
可选的，所述布局模块包括：
第二布局单元，用于将所述至少一张预处理漫画图像分别布局在至少一个漫画页面；
第二生成模块，用于在目标预处理漫画图像所布局的漫画页面中，与所述目标预处理漫画图像的目标图像特征关联的目标位置生成对话框，得到对应的漫画作品；
其中，所述目标预处理漫画图像为所述至少一张预处理漫画图像中的一张。
可选的，提取模块602包括：
镜头分割单元，用于对所述待处理视频进行镜头分割，得到至少一个视频片段，其中，每个视频片段对应一个镜头；
提取单元，用于分别对每个视频片段进行关键帧提取，得到至少一帧关键图像。
可选的，图像处理模块603包括：
截取单元，用于分别从每帧关键图像中截取关键区域，得到至少一个关键区域图像，其中，所述关键区域为包括预设图像特征的区域；
图像处理单元，用于分别对每个关键区域图像进行漫画风格化处理，得到至少一张预处理漫画图像。
可选的，图像处理模块603用于采用基于生成对抗网络GAN的图像漫画特效算法，分别将每帧关键图像转换为漫画风格的图像，得到对应的至少一张预处理漫画图像。
本发明实施例提供的视频处理装置600，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
本发明实施例的视频处理装置600，通过对待处理视频进行关键帧提取，以及对提取的关键图像进行漫画风格化处理，并对处理后得到的预处理漫画图像按预设规则进行排布，从而得到对应的漫画作品。这样，由于本发明实施例可通过上述自动化地过程完成视频的漫画创作，而无需人工参与，从而可提高漫画创作效率，并节省人工成本。
本发明实施例还提供了一种视频处理设备。由于视频处理设备解决问题的原理与本发明实施例中视频处理方法相似，因此该视频处理设备的实施可以参见方法的实施，重复之处不再赘述。如图7所示，本发明实施例的视频处理设备，包括：处理器700，用于读取存储器720中的程序，执行下列过程：
获取待处理视频；
对所述待处理视频进行关键帧提取，得到至少一帧关键图像；
分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像；
将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品。
其中，在图7中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器700代表的一个或多个处理器和存储器720代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器700负责管理总线架构和通常的处理，存储器720可以存储处理器700在执行操作时所使用的数据。
处理器700还用于读取所述计算机程序，执行如下步骤：
在所述关键图像的数量大于1时，对所述关键图像进行分类处理，得到至少一类相关帧图像；
分别为每类相关帧图像分配漫画页面；
分别对每个漫画页面进行区域分割；
将第一类相关帧图像的预处理漫画图像，分别布局在第一漫画页面中的不同区域；
其中，所述第一类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，所述第一漫画页面为所述第一类相关帧图像所分配的漫画页面。
处理器700还用于读取所述计算机程序，执行如下步骤：
确定所述待处理视频中的至少一个目标视频片段，其中，所述目标视频片段为所述待处理视频中对应目标镜头的视频片段，所述目标镜头为包括预设事件的镜头；
分别确定每个目标视频片段的目标帧图像，得到至少一帧目标帧图像，其中，所述目标帧图像为目标视频片段中精彩度最高的图像帧，所述目标帧图像用于对所述至少一帧关键图像进行分类。
处理器700还用于读取所述计算机程序，执行如下步骤：
采用监督学习算法，并以用户反馈数据为监督学习标签，生成每个目标视频片段的精彩度曲线；
其中，所述用户反馈数据包括所述每个目标视频片段的视频点击率和完播率中的至少一项，所述每个目标视频片段的精彩度曲线用于指示对应目标视频片段中的每一帧图像对应的精彩度；
分别将所述每个目标视频片段的精彩度曲线中的峰值对应的图像，确定为对应目标视频片段中的目标帧图像。
处理器700还用于读取所述计算机程序，执行如下步骤：
从所述至少一帧关键图像中，分别确定与每帧目标帧图像相关联的N帧图像，其中，N为大于或等于1的整数；
分别将所述每帧目标帧图像及与其相关联的N帧图像归为一类，得到至少一类相关帧图像。
处理器700还用于读取所述计算机程序，执行如下步骤：
在第二类相关帧图像的数量大于M的情况下，确定所述第二类相关帧图像中与目标帧图像的相关度满足预设条件的M-1帧非目标帧图像；
删除所述第二类相关帧图像中除目标帧图像和所述M-1帧非目标帧图像外的其他帧图像，得到更新图像数量后的至少一类相关帧图像；
其中，所述第二类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，M为预设数量。
处理器700还用于读取所述计算机程序，执行如下步骤：
在第三类相关帧图像的数量小于M的情况下，将第二漫画页面分割成与所述第三类相关帧图像的数量一致的L个区域；
在所述第三类相关帧图像的数量等于M的情况下，将所述第二漫画页面分割成M个区域；
其中，所述第三类相关帧图像为所述更新图像数量后的至少一类相关帧图像中的任一类相关帧图像，所述第二漫画页面为所述第三类相关帧图像所分配的漫画页面。
处理器700还用于读取所述计算机程序，执行如下步骤：
将所述第一类相关帧图像中的目标帧图像的预处理漫画图像，布局在所述第一漫画页面中的目标区域，其中，所述目标区域为所述第一漫画页面上面积最大的区域；
将所述第一类相关帧图像中的非目标帧图像的预处理漫画图像，分别布局在所述第一漫画页面中除所述目标区域外的其他区域。
处理器700还用于读取所述计算机程序，执行如下步骤：
将所述至少一张预处理漫画图像分别布局在至少一个漫画页面；
在目标预处理漫画图像所布局的漫画页面中，与所述目标预处理漫画图像的目标图像特征关联的目标位置生成对话框，得到对应的漫画作品；
其中，所述目标预处理漫画图像为所述至少一张预处理漫画图像中的一张。
处理器700还用于读取所述计算机程序，执行如下步骤：
对所述待处理视频进行镜头分割，得到至少一个视频片段，其中，每个视频片段对应一个镜头；
分别对每个视频片段进行关键帧提取，得到至少一帧关键图像。
处理器700还用于读取所述计算机程序，执行如下步骤：
分别从每帧关键图像中截取关键区域，得到至少一个关键区域图像，其中，所述关键区域为包括预设图像特征的区域；
分别对每个关键区域图像进行漫画风格化处理，得到至少一张预处理漫画图像。
处理器700还用于读取所述计算机程序，执行如下步骤：
采用基于生成对抗网络GAN的图像漫画特效算法，分别将每帧关键图像转换为漫画风格的图像，得到对应的至少一张预处理漫画图像。
本发明实施例提供的视频处理设备，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
此外，本发明实施例的计算机可读存储介质，用于存储计算机程序，所述计算机程序可被处理器执行实现以下步骤：
获取待处理视频；
对所述待处理视频进行关键帧提取，得到至少一帧关键图像；
分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像；
将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品。
可选的，所述计算机程序可被处理器执行实现以下步骤：
在所述关键图像的数量大于1时，对所述关键图像进行分类处理，得到至少一类相关帧图像；
分别为每类相关帧图像分配漫画页面；
分别对每个漫画页面进行区域分割；
将第一类相关帧图像的预处理漫画图像，分别布局在第一漫画页面中的不同区域；
其中，所述第一类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，所述第一漫画页面为所述第一类相关帧图像所分配的漫画页面。
可选的，所述计算机程序可被处理器执行实现以下步骤：
确定所述待处理视频中的至少一个目标视频片段，其中，所述目标视频片段为所述待处理视频中对应目标镜头的视频片段，所述目标镜头为包括预设事件的镜头；
分别确定每个目标视频片段的目标帧图像，得到至少一帧目标帧图像，其中，所述目标帧图像为目标视频片段中精彩度最高的图像帧，所述目标帧图像用于对所述至少一帧关键图像进行分类。
可选的，所述计算机程序可被处理器执行实现以下步骤：
采用监督学习算法，并以用户反馈数据为监督学习标签，生成每个目标视频片段的精彩度曲线；
其中，所述用户反馈数据包括所述每个目标视频片段的视频点击率和完播率中的至少一项，所述每个目标视频片段的精彩度曲线用于指示对应目标视频片段中的每一帧图像对应的精彩度；
分别将所述每个目标视频片段的精彩度曲线中的峰值对应的图像，确定为对应目标视频片段中的目标帧图像。
可选的，所述计算机程序可被处理器执行实现以下步骤：
从所述至少一帧关键图像中，分别确定与每帧目标帧图像相关联的N帧图像，其中，N为大于或等于1的整数；
分别将所述每帧目标帧图像及与其相关联的N帧图像归为一类，得到至少一类相关帧图像。
可选的，所述计算机程序可被处理器执行实现以下步骤：
在第二类相关帧图像的数量大于M的情况下，确定所述第二类相关帧图像中与目标帧图像的相关度满足预设条件的M-1帧非目标帧图像；
删除所述第二类相关帧图像中除目标帧图像和所述M-1帧非目标帧图像外的其他帧图像，得到更新图像数量后的至少一类相关帧图像；
其中，所述第二类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，M为预设数量。
可选的，所述计算机程序可被处理器执行实现以下步骤：
在第三类相关帧图像的数量小于M的情况下，将第二漫画页面分割成与所述第三类相关帧图像的数量一致的L个区域；
在所述第三类相关帧图像的数量等于M的情况下，将所述第二漫画页面分割成M个区域；
其中，所述第三类相关帧图像为所述更新图像数量后的至少一类相关帧图像中的任一类相关帧图像，所述第二漫画页面为所述第三类相关帧图像所分配的漫画页面。
可选的，所述计算机程序可被处理器执行实现以下步骤：
将所述第一类相关帧图像中的目标帧图像的预处理漫画图像，布局在所述第一漫画页面中的目标区域，其中，所述目标区域为所述第一漫画页面上面积最大的区域；
将所述第一类相关帧图像中的非目标帧图像的预处理漫画图像，分别布局在所述第一漫画页面中除所述目标区域外的其他区域。
可选的，所述计算机程序可被处理器执行实现以下步骤：
将所述至少一张预处理漫画图像分别布局在至少一个漫画页面；
在目标预处理漫画图像所布局的漫画页面中，与所述目标预处理漫画图像的目标图像特征关联的目标位置生成对话框，得到对应的漫画作品；
其中，所述目标预处理漫画图像为所述至少一张预处理漫画图像中的一张。
可选的，所述计算机程序可被处理器执行实现以下步骤：
对所述待处理视频进行镜头分割，得到至少一个视频片段，其中，每个视频片段对应一个镜头；
分别对每个视频片段进行关键帧提取，得到至少一帧关键图像。
可选的，所述计算机程序可被处理器执行实现以下步骤：
分别从每帧关键图像中截取关键区域，得到至少一个关键区域图像，其中，所述关键区域为包括预设图像特征的区域；
分别对每个关键区域图像进行漫画风格化处理，得到至少一张预处理漫画图像。
可选的，所述计算机程序可被处理器执行实现以下步骤：
采用基于生成对抗网络GAN的图像漫画特效算法，分别将每帧关键图像转换为漫画风格的图像，得到对应的至少一张预处理漫画图像。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种视频处理方法，其特征在于，包括：
获取待处理视频；
对所述待处理视频进行关键帧提取，得到至少一帧关键图像；
分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像；
将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品；
所述将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品之前，所述方法还包括：
在所述关键图像的数量大于1时，对所述关键图像进行分类处理，得到至少一类相关帧图像；
所述将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品，包括：
分别为每类相关帧图像分配漫画页面；
分别对每个漫画页面进行区域分割；
将第一类相关帧图像的预处理漫画图像，分别布局在第一漫画页面中的不同区域；
其中，所述第一类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，所述第一漫画页面为所述第一类相关帧图像所分配的漫画页面。
2.根据权利要求1所述的方法，其特征在于，所述对所述关键图像进行分类处理，得到至少一类相关帧图像之前，所述方法还包括：
确定所述待处理视频中的至少一个目标视频片段，其中，所述目标视频片段为所述待处理视频中对应目标镜头的视频片段，所述目标镜头为包括预设事件的镜头；
分别确定每个目标视频片段的目标帧图像，得到至少一帧目标帧图像，其中，所述目标帧图像为目标视频片段中精彩度最高的图像帧，所述目标帧图像用于对所述至少一帧关键图像进行分类。
3.根据权利要求2所述的方法，其特征在于，所述分别确定每个目标视频片段的目标帧图像，得到至少一帧目标帧图像之前，所述方法还包括：
采用监督学习算法，并以用户反馈数据为监督学习标签，生成每个目标视频片段的精彩度曲线；
其中，所述用户反馈数据包括所述每个目标视频片段的视频点击率和完播率中的至少一项，所述每个目标视频片段的精彩度曲线用于指示对应目标视频片段中的每一帧图像对应的精彩度；
所述分别确定每个目标视频片段的目标帧图像，包括：
分别将所述每个目标视频片段的精彩度曲线中的峰值对应的图像，确定为对应目标视频片段中的目标帧图像。
4.根据权利要求2所述的方法，其特征在于，所述对所述关键图像进行分类处理，得到至少一类相关帧图像，包括：
从所述至少一帧关键图像中，分别确定与每帧目标帧图像相关联的N帧图像，其中，N为大于或等于1的整数；
分别将所述每帧目标帧图像及与其相关联的N帧图像归为一类，得到至少一类相关帧图像。
5.根据权利要求4所述的方法，其特征在于，所述分别对每个漫画页面进行区域分割之前，所述方法还包括：
在第二类相关帧图像的数量大于M的情况下，确定所述第二类相关帧图像中与目标帧图像的相关度满足预设条件的M-1帧非目标帧图像；
删除所述第二类相关帧图像中除目标帧图像和所述M-1帧非目标帧图像外的其他帧图像，得到更新图像数量后的至少一类相关帧图像；
其中，所述第二类相关帧图像为所述至少一类相关帧图像中的任一类相关帧图像，M为预设数量。
6.根据权利要求5所述的方法，其特征在于，所述分别对每个漫画页面进行区域分割，包括：
在第三类相关帧图像的数量小于M的情况下，将第二漫画页面分割成与所述第三类相关帧图像的数量一致的L个区域；
在所述第三类相关帧图像的数量等于M的情况下，将所述第二漫画页面分割成M个区域；
其中，所述第三类相关帧图像为所述更新图像数量后的至少一类相关帧图像中的任一类相关帧图像，所述第二漫画页面为所述第三类相关帧图像所分配的漫画页面。
7.根据权利要求4所述的方法，其特征在于，所述将第一类相关帧图像的预处理漫画图像，分别布局在第一漫画页面中的不同区域，包括：
将所述第一类相关帧图像中的目标帧图像的预处理漫画图像，布局在所述第一漫画页面中的目标区域，其中，所述目标区域为所述第一漫画页面上面积最大的区域；
将所述第一类相关帧图像中的非目标帧图像的预处理漫画图像，分别布局在所述第一漫画页面中除所述目标区域外的其他区域。
8.根据权利要求1所述的方法，其特征在于，所述将所述至少一张预处理漫画图像按预设规则进行排布，得到对应的漫画作品，包括：
将所述至少一张预处理漫画图像分别布局在至少一个漫画页面；
在目标预处理漫画图像所布局的漫画页面中，与所述目标预处理漫画图像的目标图像特征关联的目标位置生成对话框，得到对应的漫画作品；
其中，所述目标预处理漫画图像为所述至少一张预处理漫画图像中的一张。
9.根据权利要求1所述的方法，其特征在于，所述对所述待处理视频进行关键帧提取，得到至少一帧关键图像，包括：
对所述待处理视频进行镜头分割，得到至少一个视频片段，其中，每个视频片段对应一个镜头；
分别对每个视频片段进行关键帧提取，得到至少一帧关键图像。
10.根据权利要求1所述的方法，其特征在于，所述分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像，包括：
分别从每帧关键图像中截取关键区域，得到至少一个关键区域图像，其中，所述关键区域为包括预设图像特征的区域；
分别对每个关键区域图像进行漫画风格化处理，得到至少一张预处理漫画图像。
11.根据权利要求1所述的方法，其特征在于，所述分别对每帧关键图像进行漫画风格化处理，得到对应的至少一张预处理漫画图像，包括：
采用基于生成对抗网络GAN的图像漫画特效算法，分别将每帧关键图像转换为漫画风格的图像，得到对应的至少一张预处理漫画图像。
12.一种视频处理设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至11中任一项所述的方法中的步骤。
13.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的方法中的步骤。
CN202010232142.6A 2020-03-27 2020-03-27 一种视频处理方法、设备及计算机可读存储介质 Active CN111429341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010232142.6A CN111429341B (zh) 2020-03-27 2020-03-27 一种视频处理方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010232142.6A CN111429341B (zh) 2020-03-27 2020-03-27 一种视频处理方法、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111429341A CN111429341A (zh) 2020-07-17
CN111429341B true CN111429341B (zh) 2023-08-18

Family

ID=71549079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010232142.6A Active CN111429341B (zh) 2020-03-27 2020-03-27 一种视频处理方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111429341B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914118B (zh) * 2020-07-22 2021-08-27 珠海大横琴科技发展有限公司 基于大数据的视频分析方法、装置、设备及存储介质
CN113301268A (zh) * 2021-04-30 2021-08-24 南京大学 基于风格迁移与语音识别的视频自动生成连环画的方法
CN113542610A (zh) * 2021-07-27 2021-10-22 上海传英信息技术有限公司 拍摄方法、移动终端及存储介质
CN117252966B (zh) * 2023-11-20 2024-01-30 湖南快乐阳光互动娱乐传媒有限公司 动态漫画生成方法及装置、存储介质及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1142194A (zh) * 1994-12-30 1997-02-05 世雅企业股份有限公司 连环漫画模拟游戏用图像游戏设备
CN1305620A (zh) * 1998-06-11 2001-07-25 普里赞特.Com 自视频产生动画的方法
JP2003085572A (ja) * 2001-09-11 2003-03-20 Nippon Hoso Kyokai <Nhk> 漫画生成装置及び漫画生成プログラム
CN101783886A (zh) * 2009-01-20 2010-07-21 索尼公司 信息处理设备、信息处理方法和程序
CN101963899A (zh) * 2009-07-24 2011-02-02 华中师范大学 一种逻辑动漫平台系统
KR20130107895A (ko) * 2012-03-23 2013-10-02 김지찬 2차원 코믹 콘텐츠의 이펙트 적용에 의한 애니코믹 제작 방법 및 2차원 코믹 콘텐츠의 이펙트 적용에 의한 애니코믹 제작 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
CN109087380A (zh) * 2018-08-02 2018-12-25 咪咕文化科技有限公司 一种漫画动图生成方法、装置及存储介质
CN109636711A (zh) * 2018-10-30 2019-04-16 北京奇虎科技有限公司 漫画册生成方法、装置及计算机可读存储介质
CN109816011A (zh) * 2019-01-21 2019-05-28 厦门美图之家科技有限公司 生成人像分割模型的方法和视频关键帧提取方法
CN109859095A (zh) * 2018-12-18 2019-06-07 大连理工大学 一种漫画自动生成系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1142194A (zh) * 1994-12-30 1997-02-05 世雅企业股份有限公司 连环漫画模拟游戏用图像游戏设备
CN1305620A (zh) * 1998-06-11 2001-07-25 普里赞特.Com 自视频产生动画的方法
JP2003085572A (ja) * 2001-09-11 2003-03-20 Nippon Hoso Kyokai <Nhk> 漫画生成装置及び漫画生成プログラム
CN101783886A (zh) * 2009-01-20 2010-07-21 索尼公司 信息处理设备、信息处理方法和程序
CN101963899A (zh) * 2009-07-24 2011-02-02 华中师范大学 一种逻辑动漫平台系统
KR20130107895A (ko) * 2012-03-23 2013-10-02 김지찬 2차원 코믹 콘텐츠의 이펙트 적용에 의한 애니코믹 제작 방법 및 2차원 코믹 콘텐츠의 이펙트 적용에 의한 애니코믹 제작 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
CN109087380A (zh) * 2018-08-02 2018-12-25 咪咕文化科技有限公司 一种漫画动图生成方法、装置及存储介质
CN109636711A (zh) * 2018-10-30 2019-04-16 北京奇虎科技有限公司 漫画册生成方法、装置及计算机可读存储介质
CN109859095A (zh) * 2018-12-18 2019-06-07 大连理工大学 一种漫画自动生成系统及方法
CN109816011A (zh) * 2019-01-21 2019-05-28 厦门美图之家科技有限公司 生成人像分割模型的方法和视频关键帧提取方法

Also Published As

Publication number Publication date
CN111429341A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111429341B (zh) 一种视频处理方法、设备及计算机可读存储介质
JP5420199B2 (ja) 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム
CN110020437B (zh) 一种视频和弹幕相结合的情感分析及可视化方法
US8195038B2 (en) Brief and high-interest video summary generation
EP2568429A1 (en) Method and system for pushing individual advertisement based on user interest learning
US20210406549A1 (en) Method and apparatus for detecting information insertion region, electronic device, and storage medium
CN111405360B (zh) 视频处理方法、装置、电子设备和存储介质
CN110832583A (zh) 用于从多个图像帧生成概要故事板的系统和方法
CN111209897B (zh) 视频处理的方法、装置和存储介质
Wang et al. Affection arousal based highlight extraction for soccer video
CN110502664A (zh) 视频标签索引库创建方法、视频标签生成方法及装置
US20230027412A1 (en) Method and apparatus for recognizing subtitle region, device, and storage medium
CN111836118B (zh) 视频处理方法、装置、服务器及存储介质
CN109408672A (zh) 一种文章生成方法、装置、服务器及存储介质
CN111586466A (zh) 一种视频数据处理方法、装置及存储介质
Husa et al. HOST-ATS: automatic thumbnail selection with dashboard-controlled ML pipeline and dynamic user survey
CN115376054B (zh) 一种目标检测方法、装置、设备及存储介质
KR20170048736A (ko) 문자 중계 데이터로부터 이벤트 정보를 추출하는 이벤트 정보 추출 방법 및 그 방법을 수행하는 사용자 단말
CN111986259A (zh) 颜文字检测模型的训练、视频数据的审核方法及相关装置
CN116109911A (zh) 一种三维场景审核方法、装置及计算机存储介质
CN115278300A (zh) 视频处理方法、装置、电子设备、存储介质和程序产品
CN115379290A (zh) 视频处理方法、装置、设备及存储介质
Premaratne et al. Improving event resolution in cricket videos
Marvaniya et al. Real-time video summarization on mobile
CN114422851B (zh) 视频剪辑方法、装置、电子设备和可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant