CN111798371A - 一种视频风格迁移的方法及设备 - Google Patents

一种视频风格迁移的方法及设备 Download PDF

Info

Publication number
CN111798371A
CN111798371A CN202010647397.9A CN202010647397A CN111798371A CN 111798371 A CN111798371 A CN 111798371A CN 202010647397 A CN202010647397 A CN 202010647397A CN 111798371 A CN111798371 A CN 111798371A
Authority
CN
China
Prior art keywords
data
clustering
cluster
image
clustered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010647397.9A
Other languages
English (en)
Other versions
CN111798371B (zh
Inventor
邹俊杰
刘岩
李驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202010647397.9A priority Critical patent/CN111798371B/zh
Publication of CN111798371A publication Critical patent/CN111798371A/zh
Application granted granted Critical
Publication of CN111798371B publication Critical patent/CN111798371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种视频风格迁移的方法及设备，该方法包括：从视频流中提取至少一帧图像，将至少一帧图像的像素点数据作为当前待聚类数据，并触发聚类指令；响应于聚类指令，将当前待聚类数据聚为K个聚类，在任一聚类的像素点数据不满足聚类要求时，将该聚类作为当前待聚类数据并重新触发聚类指令，K为预设的聚类数；确定当前各聚类满足聚类要求时，根据当前各聚类的聚类中心数据，对视频流中各帧图像的像素点数据分别进行聚类；利用得到的各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，得到风格迁移后的视频流。本发明提供的视频风格迁移的方法及设备，解决了现有视频风格迁移方法存在的风格迁移过程复杂耗时或风格迁移效果差等问题。

Description

一种视频风格迁移的方法及设备
技术领域
本发明涉及计算机技术领域，特别涉及一种视频风格迁移的方法及设备。
背景技术
图像风格迁移(IST，Image Style Transfer)研究的是自然图像之间的风格转换，通过以原始图像的内容为基础，将参考图像的风格迁移上去，得到风格化图像。同样的，视频风格迁移就是指把一种视频风格转变为另一种视频风格，通过以原始视频的内容为基础，将参考视频的风格迁移上去，或者根据参考视频的风格特征，对原始视频进行风格调整，得到风格化视频。
目前，通常采用基于迭代优化的描述性方法或基于深度学习的生成式方法来实现视频风格迁移。基于迭代优化的描述性方法的基本思想是：首先建模并分别提取风格图像的风格信息和内容图像的内容信息，然后在目标图像中将两种信息结合，通过不断迭代优化生成风格化图像，能够得到视觉效果良好的结果。但是该方法在迭代优化过程中的计算量十分巨大，非常耗时，还存在随机初始化和损失函数的局部极小值容易使输出结果质量较差的问题。
基于深度学习的生成式方法解决了基于迭代优化的描述性方法存在的速度和计算量的问题，通过预训练指定风格的深度神经网络模型，在测试阶段只需前向传播一次就可以产生对应的风格化图像。但是该方法属于图像风格迁移算法，将其应用于视频风格迁移中时，处理的视频中前后两帧图像之间微弱的亮度变化、噪声以及运动等信息，都会在风格迁移过程中产生巨大的差异，导致风格化视频存在闪烁和不连续等问题，视频风格迁移效果较差。
综上，目前基于图像的风格迁移已有较为优秀的方法，但是基于视频的风格迁移方法还不成熟，存在风格迁移过程复杂耗时或风格迁移效果差等问题。
发明内容
本发明提供了一种视频风格迁移的方法及设备，用以解决现有视频风格迁移方法存在的风格迁移过程复杂耗时或风格迁移效果差等问题。
根据本发明实施例的第一方面，提供一种视频风格迁移的方法，该方法包括：
从视频流中提取至少一帧图像，并将所述至少一帧图像的像素点数据作为当前待聚类数据，并触发聚类指令；
响应于聚类指令，将当前待聚类数据聚为K个聚类，在任一聚类的像素点数据不满足聚类要求时，将该聚类作为当前待聚类数据并重新触发聚类指令，所述K为预设的聚类数；
确定当前各聚类满足聚类要求时，根据当前各聚类的聚类中心数据，对视频流中各帧图像的像素点数据分别进行聚类；
利用得到的各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，得到风格迁移后的视频流。
可选地，所述从视频流中提取至少一帧图像，包括：
以随机抽取方式，从所述视频流中不同位置抽取预设数目的图像帧；或者
采用等间隔抽取方式，从所述视频流中抽取预设数目的图像帧。
可选地，采用如下方式确定聚类的像素点数据是否满足聚类要求，包括：
确定属于同一聚类的像素点数据的数量低于预设阈值时，确定该聚类的像素点数据满足聚类要求；和/或
确定属于同一聚类的像素点数据服从高斯分布时，确定该聚类的像素点数据满足聚类要求。
可选地，所述将当前待聚类数据聚为K个聚类，包括：
将当前待聚类数据，采用K均值聚类方法确定K个聚类中心；
根据确定的各聚类中心，确定当前待聚类数据所属的聚类。
可选地，所述K为2。
可选地，所述当前待聚类数据为将图像中像素点转换到颜色空间中像素点的分量数据，所述利用各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，包括：
对于颜色空间中不同分量，利用该分量对应的各聚类的聚类中心数据，替换图像中属于该聚类的像素点的分量数据；
对于颜色空间中各分量，完成像素点的分量数据替换时，根据替换后的像素点在不同分量对应的分量数据，得到对应的像素点数据。
可选地，所述颜色空间中不同分量包括如下任一种：
HSV颜色空间中的色调、饱和度和明度；
RGB颜色空间中的红色、绿色和蓝色。
根据本发明实施例的第二方面，提供一种视频风格迁移的设备，包括：
数据获取模块，用于从视频流中提取至少一帧图像，并将所述至少一帧图像的像素点数据作为当前待聚类数据，并触发聚类指令；
第一聚类模块，用于响应于聚类指令，将当前待聚类数据聚为K个聚类，在任一聚类的像素点数据不满足聚类要求时，将该聚类作为当前待聚类数据并重新触发聚类指令，所述K为预设的聚类数；
第二聚类模块，用于确定当前各聚类满足聚类要求时，根据当前各聚类的聚类中心数据，对视频流中各帧图像的像素点数据分别进行聚类；
风格迁移模块，用于利用得到的各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，得到风格迁移后的视频流。
可选地，所述数据获取模块从视频流中提取至少一帧图像，包括：
以随机抽取方式，从所述视频流中不同位置抽取预设数目的图像帧；或者
采用等间隔抽取方式，从所述视频流中抽取预设数目的图像帧。
可选地，所述第一聚类模块采用如下方式确定聚类的像素点数据是否满足聚类要求，包括：
确定属于同一聚类的像素点数据的数量低于预设阈值时，确定该聚类的像素点数据满足聚类要求；和/或
确定属于同一聚类的像素点数据服从高斯分布时，确定该聚类的像素点数据满足聚类要求。
可选地，所述第一聚类模块将当前待聚类数据聚为K个聚类，包括：
将当前待聚类数据，采用K均值聚类方法确定K个聚类中心；
根据确定的各聚类中心，确定当前待聚类数据所属的聚类。
可选地，所述K为2。
可选地，所述当前待聚类数据为将图像中像素点转换到颜色空间中像素点的分量数据，所述风格迁移模块利用各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，包括：
对于颜色空间中不同分量，利用该分量对应的各聚类的聚类中心数据，替换图像中属于该聚类的像素点的分量数据；
对于颜色空间中各分量，完成像素点的分量数据替换时，根据替换后的像素点在不同分量对应的分量数据，得到对应的像素点数据。
可选地，所述颜色空间中不同分量包括如下任一种：
HSV颜色空间中的色调、饱和度和明度；
RGB颜色空间中的红色、绿色和蓝色。
根据本发明实施例的第三方面，提供一种视频风格迁移的设备，包括：存储器和处理器；其中：
所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
从视频流中提取至少一帧图像，并将所述至少一帧图像的像素点数据作为当前待聚类数据，并触发聚类指令；
响应于聚类指令，将当前待聚类数据聚为K个聚类，在任一聚类的像素点数据不满足聚类要求时，将该聚类作为当前待聚类数据并重新触发聚类指令，所述K为预设的聚类数；
确定当前各聚类满足聚类要求时，根据当前各聚类的聚类中心数据，对视频流中各帧图像的像素点数据分别进行聚类；
利用得到的各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，得到风格迁移后的视频流。
可选地，所述处理器从视频流中提取至少一帧图像，包括：
以随机抽取方式，从所述视频流中不同位置抽取预设数目的图像帧；或者
采用等间隔抽取方式，从所述视频流中抽取预设数目的图像帧。
可选地，所述处理器采用如下方式确定聚类的像素点数据是否满足聚类要求，包括：
确定属于同一聚类的像素点数据的数量低于预设阈值时，确定该聚类的像素点数据满足聚类要求；和/或
确定属于同一聚类的像素点数据服从高斯分布时，确定该聚类的像素点数据满足聚类要求。
可选地，所述处理器将当前待聚类数据聚为K个聚类，包括：
将当前待聚类数据，采用K均值聚类方法确定K个聚类中心；
根据确定的各聚类中心，确定当前待聚类数据所属的聚类。
可选地，所述K为2。
可选地，所述当前待聚类数据为将图像中像素点转换到颜色空间中像素点的分量数据，所述处理器利用各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，包括：
对于颜色空间中不同分量，利用该分量对应的各聚类的聚类中心数据，替换图像中属于该聚类的像素点的分量数据；
对于颜色空间中各分量，完成像素点的分量数据替换时，根据替换后的像素点在不同分量对应的分量数据，得到对应的像素点数据。
可选地，所述颜色空间中不同分量包括如下任一种：
HSV颜色空间中的色调、饱和度和明度；
RGB颜色空间中的红色、绿色和蓝色。
根据本发明实施例的第四方面，提供一种芯片，所述芯片与设备中的存储器耦合，使得所述芯片在运行时调用所述存储器中存储的程序指令，实现本申请实施例上述各个方面以及各个方面涉及的任一可能设计的方法。
根据本发明实施例的第五方面，提供一种计算机可读存储介质，该计算机存储介质存储有程序指令，当其在计算机上运行时，使得计算机执行本发明实施例上述各个方面以及各个方面涉及的任一可能设计的方法。
根据本发明实施例的第六方面，提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本申请实施例上述各个方面以及各个方面涉及的任一可能设计的方法。
利用本发明提供的视频风格迁移的方法及设备，具有以下有益效果：
本发明提供的视频风格迁移的方法，通过从视频流中提取至少一帧图像，先对提取的至少一帧图像进行聚类，确定得到的各聚类满足聚类要求时，再根据得到的各聚类的聚类中心，对视频流中各帧图像的像素点数据进行聚类，然后将得到的各聚类中的像素点数据替换为该聚类的聚类中心数据，得到风格迁移后的视频流。能够将视频流中各帧图像的像素点数据作为整体进行风格迁移处理，快速生成高质量的风格化视频，解决了现有视频风格迁移方法存在的风格迁移过程复杂耗时或风格迁移效果差等问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中提供的一种视频风格迁移的方法示意图；
图2为本发明实施例中提供的一种基于改进的K均值聚类方法进行视频风格迁移的方法示意图；
图3为本发明实施例中提供的一种视频风格迁移的方法流程示意图；
图4为本发明实施例中提供的一种视频风格迁移的设备示意图；
图5为本发明实施例中提供的一种视频风格迁移的设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为了方便理解，下面对本发明实施例中涉及的名词进行解释：
K均值聚类：是一种迭代求解的聚类分析方法，是将数据集中在某些方面相似的数据对象进行分类的过程，其步骤是则随机选取待聚类数据中K个对象作为初始的聚类中心，然后计算每个对象与各个聚类中心之间的距离，把每个对象分配给距离最近的聚类中心，聚类中心以及分配给它的对象就代表一个聚类；其中，每分配一个对象，聚类的聚类中心会根据聚类中现有的对象被重新计算，这个过程将不断重复直到满足某个终止条件；终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类、没有(或最小数目)聚类中心再发生变化、误差平方和局部最小等。
实施例1
本发明实施例提供一种视频风格迁移的方法，应用于对视频数据进行卡通化/动画风格迁移的场景。如图1所示，该方法包括：
步骤S101，从视频流中提取至少一帧图像，并将所述至少一帧图像的像素点数据作为当前待聚类数据，并触发聚类指令；
对于卡通风格的视频来说，其所使用的颜色种类一般较少，因此，本发明实施例中采用改进的K均值聚类算法，根据卡通风格视频的这一特性，将视频采用的颜色聚类为K个类别，每个类别的颜色设置为本类别的聚类中心值，达到将视频数据转化为卡通风格的效果。
本发明实施例中，首先获取待进行风格化迁移的视频流数据，然后从获取的视频流中提取至少一帧图像，根据提取的至少一帧图像自适应的确定对视频流中各帧图像的像素数据进行聚类的聚类中心数。
作为一种可选的实施方式，从视频流中提取至少一帧图像时，以随机抽取方式，从所述视频流中不同位置抽取预设数目的图像帧。
作为另一种可选的实施方式，从视频流中提取至少一帧图像时，采用等间隔抽取方式，从所述视频流中抽取预设数目的图像帧。具体的，抽取图像帧时，将视频流中图像帧总数量整除该预设数目的结果确定为M1，将视频流中图像帧总数量对该预设数目求余的结果确定为M2。若得到的求余结果M2为0，说明视频流中图像帧总数量为该预设数目的整数倍，则将整除结果M1确定为抽取图像帧的间隔，将视频流中第一个至第M1个图像帧中的任一个图像帧作为第一个提取的图像帧，然后按照M1对应的间隔，从视频流中提取之后的图像帧；若得到的求余结果M2不为0，说明视频流中图像帧总数量不是该预设数目的整数倍，则将整除结果M1确定为抽取图像帧的间隔，将视频流中第一个至第M1+M2个图像帧中的任一个图像帧作为第一个提取的图像帧，然后按照M1对应的间隔，从视频流中提取之后的图像帧。
本发明实施例中，上述预设数据为5。
从视频流中提取至少一帧图像后，将提取的至少一帧图像作为当前待聚类数据，同时触发产生聚类指令。
步骤S102，响应于聚类指令，将当前待聚类数据聚为K个聚类，在任一聚类的像素点数据不满足聚类要求时，将该聚类作为当前待聚类数据并重新触发聚类指令，所述K为预设的聚类数；
上述触发产生聚类指令后，将当前待聚类数据，采用K均值聚类方法确定K个聚类中心，根据确定的各聚类中心，确定当前待聚类数据所属的聚类，从而将当前待聚类数据聚为K个聚类，然后确定聚类后各聚类的像素点数据是否满足聚类要求。其中，K为预设聚类数，本发明实施例中，K为2。其中，将当前待聚类数据聚为K个聚类之前，首先确定当前待聚类数据是否满足聚类要求，若是，则执行将当前待聚类数据聚为K个聚类，否则，确定当前各聚类满足聚类要求。
具体的，确定当前待聚类数据是否满足聚类要求时，对当前待聚类的数据，采用K均值聚类方法进行K＝1的聚类，得到一个聚类及对应的聚类中心，然后确定该聚类的像素点数据是否满足聚类要求，若是，则停止对该聚类中像素点数据的进一步聚类，否则，将该聚类作为当前待聚类数据并触发聚类指令，对该聚类中像素点数据，采用K均值聚类方法进行K＝2的聚类，得到两个聚类及对应的两个聚类中心，然后分别对每个聚类的像素点数据，判断是否满足聚类要求，若满足，则停止对该聚类中像素点数据的进一步聚类，否则，将该聚类作为当前待聚类数据并触发聚类指令，其中，若得到的两个聚类均不满足聚类要求，则将两个聚类的像素点数据分别作为当前待聚类数据，若得到的两个聚类中仅一个聚类不满足聚类要求，则将不满足聚类要求的这一个聚类的像素点数据作为当前待聚类数据。依此类推，至得到的所有聚类均满足聚类要求时，停止聚类，并确定聚类的像素点数据未被作为当前待聚类数据进行上述处理的各聚类的聚类数N，其中，K为K均值聚类中心的数量，取值为整数，N取值为整数。
步骤S103，确定当前各聚类满足聚类要求时，根据当前各聚类的聚类中心数据，对视频流中各帧图像的像素点数据分别进行聚类；
本发明实施例中，确定聚类后任一聚类的像素点数据是否满足聚类要求时，通过如下至少一个方式确定聚类的像素点数据是否满足聚类要求：
1)确定属于同一聚类的像素点数据的数量低于预设阈值时，确定该聚类的像素点数据满足聚类要求；
对采用K均值聚类得到的每个聚类，通过与预设阈值比较，判断该聚类的像素点数据的数据量是否足够小，若聚类中像素点数据的数量低于预设阈值，则确定满足聚类要求。其中，该预设阈值可根据经验通过估计确定，或者根据历史数据实验结果估计确定。
作为一种可选的实施方式，上述预设阈值设置为80。
2)确定属于同一聚类的像素点数据服从高斯分布时，确定该聚类的像素点数据满足聚类要求。
对采用K均值聚类得到的每个聚类，判断该聚类中像素点数据的分布是否服从高斯分布，若聚类中像素点数据的分布服从高斯分布，则确定满足聚类要求。
其中，上述判断像素点数据是否服从高斯分布，通过在一定置信水平下进行假设检验确定，该置信水平为根据经验或判断精度需求设定的值，本发明实施例中，该置信水平为99.9％。
根据上述方式1)和/或方式2)确定当前各聚类均满足要求时，确定得到的聚类的数量N为对视频流中各帧图像的像素点数据进行K均值聚类的K值，即取K＝N，将得到的各聚类的聚类中心确定为对视频流中图像的像素点数据进行K均值聚类的K个聚类中心，然后根据上述K个聚类中心对视频流中各帧图像的像素点数据组成的集合的数据进行聚类，对应得到N个聚类。
步骤S104，利用得到的各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，得到风格迁移后的视频流。
上述步骤对视频流中各帧图像的像素点数据组成的集合的数据进行聚类，对应得到N个聚类后，对得到的N个聚类，利用每个聚类的聚类中心数据，替换图像中属于该聚类的像素点数据。
作为一种可选的实施方式，本发明实施例中，当前待聚类数据为将图像中像素点转换到颜色空间中像素点的分量数据，上述在利用各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据时，对于颜色空间中不同分量，利用该分量对应的各聚类的聚类中心数据，替换图像中属于该聚类的像素点的分量数据；对于颜色空间中各分量，完成像素点的分量数据替换时，根据替换后的像素点在不同分量对应的分量数据，得到对应的像素点数据。
具体的，获取视频流后，先对视频流中各帧图像进行颜色空间转换，然后对转换的颜色空间中每个分量对应的像素点数据分别单独进行本实施例上述的视频风格迁移方法，分别对颜色空间中各分量对应的视频流中各帧图像的像素点数据进行聚类；聚类结束后，分别将各分量对应得到的各聚类中的像素点数据，替换为该聚类的聚类中心数据，得到风格迁移后的视频流。
颜色空间是在某些标准下用通常可接受的方式对彩色加以说明，常用的颜色空间包括HSV(Hue-Saturation-Value，色调-饱和度-明度)颜色空间、RGB(Red-Green-Blue，红色-绿色-蓝色)颜色空间、CMY/CMYK(Cyan-Magenta-Yellow-Klack，青-品红-黄-黑)颜色空间、HIS(Hue-Saturation-Intensity，色调-饱和度-强度)颜色空间、YUV(Luma-Chroma，亮度-色度)颜色空间、Lab(Lab color space)，颜色对立)颜色空间等。
本发明实施例中，可将视频流中各帧图像转换成上述任一种颜色空间后，分别对颜色空间中各参考分量对应的数据进行本发明实施例上述提供的风格迁移方法。
作为一种可选的实施方式，可以将视频流中图像转换为HSV颜色空间。HSV颜色空间是根据颜色的直观特性建立的，包含三个分量，分别为：色调、饱和度、明度。在将视频流中各帧图像转换为HSV颜色空间后进行风格迁移时，分别对色调、饱和度、明度对应的每一组数据，进行本实施例上述的风格迁移方法。
作为另一种可选的实施方式，可以将视频流中图像转换为HSV颜色空间。RGB颜色空间是依据人眼识别的颜色定义出的空间，可表示大部分颜色，包含红色、绿色和蓝色三个分量。在将视频流中各帧图像转换为RGB颜色空间后进行风格迁移时，分别对红色、绿色和蓝色对应的每一组数据，进行本实施例上述的风格迁移方法。
参照图2，为本发明实施例提供的一种基于改进的K均值聚类方法进行视频风格迁移的方法示意图。如图所示，获取待进行风格迁移的视频流数据后，将视频流中图像数据转换为设定的颜色空间，此处为HSV颜色空间；然后从视频流中提取预设数目的图像帧，分别将颜色空间每个分量对应提取的图像帧的像素点数据组合得到数据集合。
如图2所示，转换的颜色空间为HSV颜色空间时，假设分量饱和度对应的提取的图像帧中像素点组成数据集合G1，对数据集合G1中数据进行K＝1的K均值聚类，得到对应的聚类中心C1。确定数据集合G1中像素点数据是否满足聚类要求，若是，则停止聚类，将视频流中各帧图像的像素点数据聚类到当前聚类的聚类中心C1，并将聚类中的像素点数据替换为该聚类中心C1；否则，对数据集合G1中数据进行K＝2的K均值聚类，得到两个聚类，即将数据集合G1分为两个数据集合G1-1和G1-2，对应的聚类中心分别为C1-1和C1-2。然后分别对G1-1和G1-2进行上述是否满足聚类要求的判断及后续处理。例如，若G1-1和G1-2均不满足聚类要求，则分别对数据集合G1-1和G1-2中数据进行K＝2的K均值聚类，将G1-1分为两个数据集合G1-1-1和G1-1-2，其对应的聚类中心分别为C1-1-1和C1-1-2，将G1-2分为两个数据集合G1-2-1和G1-2-2，其对应的聚类中心分别为C1-2-1和C1-2-2。由此进行递归，至得到的聚类均满足聚类要求时停止，得到至少一个聚类。然后将视频流中各帧图像的像素点数据聚类到得到的各聚类的聚类中心，聚类后再将得到的各聚类中的像素点数据替换为该聚类的聚类中心数据，进而得到风格迁移后的视频流。
本发明实施例提供的上述视频风格迁移的方法，将K均值聚类方法应用到视频风格迁移中，并通过对K均值聚类方法进行改进，先从视频流中提取至少一帧图像，对提取的至少一帧图像进行聚类，确定得到的各聚类满足聚类要求时，将得到的聚类的数目作为K均值聚类的聚类数，再采用该聚类数对应的K均值聚类方法，将视频流中各帧图像的像素点数据聚类至得到的聚类中心。能够自适应的确定对视频流中像素点进行K均值聚类的聚类数，并通过K均值聚类进行视频风格迁移，解决了现有视频风格迁移方法存在的风格迁移过程复杂耗时或风格迁移效果差等问题。
实施例2
参照图3，为本发明实施例提供的一种视频风格迁移的方法流程示意图，如图所示，该方法流程包括：
步骤S301，获取需要进行风格迁移的视频流数据，其中该视频流数据共包括n帧图像；
步骤S302，将视频流中各帧图像转换为HSV颜色空间，包括色调、饱和度和亮度三个分量；
步骤S303，从视频流中等间隔提取预设数目的图像，并分别将每个分量对应的提取的图像中像素点混合组成一个数据集合，作为当前待聚类数据；
步骤S304，对当前待聚类数据，进行K＝1的K均值聚类，得到一个聚类及聚类中心；
步骤S305，确定得到的该聚类中像素点数据是否满足聚类要求；若是，执行步骤S309，否则，执行步骤S306；
步骤S306，将该聚类中像素点数据作为待聚类数据，按照K＝2的K均值聚类分为两个聚类及聚类中心；
步骤S307，分别确定得到的两个聚类中像素点数据是否满足聚类要求；若是，执行步骤S309，否则，执行步骤S308；
步骤S308，分别将不满足聚类要求的聚类中像素点数据作为当前待聚类数据；并执行步骤S304；
步骤S309，确定当前得到的各聚类中像素点数据均满足聚类要求时，根据当前各聚类的聚类中心数据，对视频流中各帧图像的像素点数据分别进行聚类；
将上述视频流中的n帧图像帧中的像素点数据作为一个数据集合，将当前得到的各聚类的聚类中心设定为K均值聚类的聚类中心，采用K均值聚类方法将数据集合中数据聚类到设定的聚类中心。
步骤S310，利用聚类后得到的各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，得到风格迁移后的视频流。
本实施例中上述提供的进行视频风格迁移的方法流程仅作为一种示例，上述各步骤的具体实施方式，可以参见前述视频风格迁移的方法的具体实施例，重复之处不再赘述。
实施例3
以上对本发明中一种视频风格迁移的方法进行说明，以下对执行上述视频风格迁移的方法的设备进行说明。
请参阅图4，本发明实施例提供一种视频风格迁移的设备，包括：
数据获取模块401，用于从视频流中提取至少一帧图像，并将所述至少一帧图像的像素点数据作为当前待聚类数据，并触发聚类指令；
第一聚类模块402，用于响应于聚类指令，将当前待聚类数据聚为K个聚类，在任一聚类的像素点数据不满足聚类要求时，将该聚类作为当前待聚类数据并重新触发聚类指令，所述K为预设的聚类数；
第二聚类模块403，用于确定当前各聚类满足聚类要求时，根据当前各聚类的聚类中心数据，对视频流中各帧图像的像素点数据分别进行聚类；
风格迁移模块404，用于利用得到的各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，得到风格迁移后的视频流。
可选地，所述数据获取模块从视频流中提取至少一帧图像，包括：
以随机抽取方式，从所述视频流中不同位置抽取预设数目的图像帧；或者
采用等间隔抽取方式，从所述视频流中抽取预设数目的图像帧。
可选地，所述第一聚类模块采用如下方式确定聚类的像素点数据是否满足聚类要求，包括：
确定属于同一聚类的像素点数据的数量低于预设阈值时，确定该聚类的像素点数据满足聚类要求；和/或
确定属于同一聚类的像素点数据服从高斯分布时，确定该聚类的像素点数据满足聚类要求。
可选地，所述第一聚类模块将当前待聚类数据聚为K个聚类，包括：
将当前待聚类数据，采用K均值聚类方法确定K个聚类中心；
根据确定的各聚类中心，确定当前待聚类数据所属的聚类。
可选地，所述K为2。
可选地，所述当前待聚类数据为将图像中像素点转换到颜色空间中像素点的分量数据，所述风格迁移模块利用各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，包括：
对于颜色空间中不同分量，利用该分量对应的各聚类的聚类中心数据，替换图像中属于该聚类的像素点的分量数据；
对于颜色空间中各分量，完成像素点的分量数据替换时，根据替换后的像素点在不同分量对应的分量数据，得到对应的像素点数据。
可选地，所述颜色空间中不同分量包括如下任一种：
HSV颜色空间中的色调、饱和度和明度；
RGB颜色空间中的红色、绿色和蓝色。
上面从模块化功能实体的角度对本申请实施例中的视频风格迁移的设备进行了描述，下面从硬件处理的角度对本申请实施例中的视频风格迁移的设备进行描述。
实施例4
请参阅图5，本申请实施例中视频风格迁移的设备的另一个实施例包括：
处理器501、存储器502、收发器509以及总线系统511；
所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
从视频流中提取至少一帧图像，并将所述至少一帧图像的像素点数据作为当前待聚类数据，并触发聚类指令；
响应于聚类指令，将当前待聚类数据聚为K个聚类，在任一聚类的像素点数据不满足聚类要求时，将该聚类作为当前待聚类数据并重新触发聚类指令，所述K为预设的聚类数；
确定当前各聚类满足聚类要求时，根据当前各聚类的聚类中心数据，对视频流中各帧图像的像素点数据分别进行聚类；
利用得到的各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，得到风格迁移后的视频流。
图5是本发明实施例提供的一种视频风格迁移的设备的结构示意图，该设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(英文全称：central processing units，英文简称：CPU)501(例如，一个或一个以上处理器)和存储器502，一个或一个以上存储应用程序504或数据506的存储介质503(例如一个或一个以上海量存储设备)。其中，存储器502和存储介质503可以是短暂存储或持久存储。存储在存储介质503的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地，处理器501可以设置为与存储介质503通信，在设备500上执行存储介质503中的一系列指令操作。
设备500还可以包括一个或一个以上电源510，一个或一个以上有线或无线网络接口507，一个或一个以上输入输出接口508，和/或，一个或一个以上操作系统505，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等。
可选地，所述处理器从视频流中提取至少一帧图像，包括：
以随机抽取方式，从所述视频流中不同位置抽取预设数目的图像帧；或者
采用等间隔抽取方式，从所述视频流中抽取预设数目的图像帧。
可选地，所述处理器采用如下方式确定聚类的像素点数据是否满足聚类要求，包括：
确定属于同一聚类的像素点数据的数量低于预设阈值时，确定该聚类的像素点数据满足聚类要求；和/或
确定属于同一聚类的像素点数据服从高斯分布时，确定该聚类的像素点数据满足聚类要求。
可选地，所述处理器将当前待聚类数据聚为K个聚类，包括：
将当前待聚类数据，采用K均值聚类方法确定K个聚类中心；
根据确定的各聚类中心，确定当前待聚类数据所属的聚类。
可选地，所述K为2。
可选地，所述当前待聚类数据为将图像中像素点转换到颜色空间中像素点的分量数据，所述处理器利用各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，包括：
对于颜色空间中不同分量，利用该分量对应的各聚类的聚类中心数据，替换图像中属于该聚类的像素点的分量数据；
对于颜色空间中各分量，完成像素点的分量数据替换时，根据替换后的像素点在不同分量对应的分量数据，得到对应的像素点数据。
可选地，所述颜色空间中不同分量包括如下任一种：
HSV颜色空间中的色调、饱和度和明度；
RGB颜色空间中的红色、绿色和蓝色。
本发明实施例还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述实施例提供的视频风格迁移的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种视频风格迁移的方法，其特征在于，包括：
从视频流中提取至少一帧图像，并将所述至少一帧图像的像素点数据作为当前待聚类数据，并触发聚类指令；
响应于聚类指令，将当前待聚类数据聚为K个聚类，在任一聚类的像素点数据不满足聚类要求时，将该聚类作为当前待聚类数据并重新触发聚类指令，所述K为预设的聚类数；
确定当前各聚类满足聚类要求时，根据当前各聚类的聚类中心数据，对视频流中各帧图像的像素点数据分别进行聚类；
利用得到的各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，得到风格迁移后的视频流。
2.根据权利要求1所述的方法，其特征在于，所述从视频流中提取至少一帧图像，包括：
以随机抽取方式，从所述视频流中不同位置抽取预设数目的图像帧；或者
采用等间隔抽取方式，从所述视频流中抽取预设数目的图像帧。
3.根据权利要求1所述的方法，其特征在于，采用如下方式确定聚类的像素点数据是否满足聚类要求，包括：
确定属于同一聚类的像素点数据的数量低于预设阈值时，确定该聚类的像素点数据满足聚类要求；和/或
确定属于同一聚类的像素点数据服从高斯分布时，确定该聚类的像素点数据满足聚类要求。
4.根据权利要求1所述的方法，其特征在于，所述将当前待聚类数据聚为K个聚类，包括：
将当前待聚类数据，采用K均值聚类方法确定K个聚类中心；
根据确定的各聚类中心，确定当前待聚类数据所属的聚类。
5.根据权利要求1～4任一所述的方法，其特征在于，所述K为2。
6.根据权利要求1所述的方法，其特征在于，所述当前待聚类数据为将图像中像素点转换到颜色空间中像素点的分量数据，所述利用各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，包括：
对于颜色空间中不同分量，利用该分量对应的各聚类的聚类中心数据，替换图像中属于该聚类的像素点的分量数据；
对于颜色空间中各分量，完成像素点的分量数据替换时，根据替换后的像素点在不同分量对应的分量数据，得到对应的像素点数据。
7.根据权利要求1所述的方法，其特征在于，所述颜色空间中不同分量包括如下任一种：
HSV颜色空间中的色调、饱和度和明度；
RGB颜色空间中的红色、绿色和蓝色。
8.一种视频风格迁移的设备，其特征在于，包括：
数据获取模块，用于从视频流中提取至少一帧图像，并将所述至少一帧图像的像素点数据作为当前待聚类数据，并触发聚类指令；
第一聚类模块，用于响应于聚类指令，将当前待聚类数据聚为K个聚类，在任一聚类的像素点数据不满足聚类要求时，将该聚类作为当前待聚类数据并重新触发聚类指令，所述K为预设的聚类数；
第二聚类模块，用于确定当前各聚类满足聚类要求时，根据当前各聚类的聚类中心数据，对视频流中各帧图像的像素点数据分别进行聚类；
风格迁移模块，用于利用得到的各聚类的聚类中心数据，替换图像中属于该聚类的像素点数据，得到风格迁移后的视频流。
9.一种视频风格迁移的设备，其特征在于，包括：存储器和处理器；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，实现如权利要求1～7任一所述方法的步骤。
10.一种计算机程序介质，其特征在于，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～7任一所述方法的步骤。
CN202010647397.9A 2020-07-07 2020-07-07 一种视频风格迁移的方法及设备 Active CN111798371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010647397.9A CN111798371B (zh) 2020-07-07 2020-07-07 一种视频风格迁移的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010647397.9A CN111798371B (zh) 2020-07-07 2020-07-07 一种视频风格迁移的方法及设备

Publications (2)

Publication Number Publication Date
CN111798371A true CN111798371A (zh) 2020-10-20
CN111798371B CN111798371B (zh) 2023-11-10

Family

ID=72811217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010647397.9A Active CN111798371B (zh) 2020-07-07 2020-07-07 一种视频风格迁移的方法及设备

Country Status (1)

Country Link
CN (1) CN111798371B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN104050722A (zh) * 2014-06-06 2014-09-17 北京航空航天大学 一种图像内容驱动的室内三维场景布局与颜色迁移生成方法
US20160171954A1 (en) * 2014-12-15 2016-06-16 Flipboard, Inc. Determining a Dominant Color of an Image Based on Pixel Components
CN110310222A (zh) * 2019-06-20 2019-10-08 北京奇艺世纪科技有限公司 一种图像风格迁移方法、装置、电子设备及存储介质
CN110914834A (zh) * 2017-08-01 2020-03-24 3M创新有限公司 用于图像变型和识别的神经风格迁移

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN104050722A (zh) * 2014-06-06 2014-09-17 北京航空航天大学 一种图像内容驱动的室内三维场景布局与颜色迁移生成方法
US20160171954A1 (en) * 2014-12-15 2016-06-16 Flipboard, Inc. Determining a Dominant Color of an Image Based on Pixel Components
CN110914834A (zh) * 2017-08-01 2020-03-24 3M创新有限公司 用于图像变型和识别的神经风格迁移
CN110310222A (zh) * 2019-06-20 2019-10-08 北京奇艺世纪科技有限公司 一种图像风格迁移方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111798371B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
JP6553692B2 (ja) 動画像背景除去方法及び動画像背景除去システム
JP6408314B2 (ja) カラービデオ処理システムおよび方法、ならびに対応するコンピュータプログラム
CN108694719B (zh) 图像输出方法和装置
CN110717953B (zh) 基于cnn-lstm组合模型的黑白图片的着色方法和系统
CN105139421B (zh) 电力系统基于互信息量的视频关键帧提取方法
CN108509917A (zh) 基于镜头类相关性分析的视频场景分割方法和装置
CN109859236B (zh) 运动物体检测方法、系统、计算设备及存储介质
Hristova et al. Style-aware robust color transfer.
CN111325661B (zh) 一种名为msgan的图像的季节风格转换模型及方法
US11347792B2 (en) Video abstract generating method, apparatus, and storage medium
CN113344836B (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
WO2023000895A1 (zh) 图像风格转换方法、装置、电子设备和存储介质
CN113301409B (zh) 视频合成方法、装置、电子设备和可读存储介质
CN113436105A (zh) 模型训练和图像优化方法、装置、电子设备及存储介质
CN112907457A (zh) 图像处理方法、图像处理装置及计算机设备
CN111179276B (zh) 一种图像处理方法和装置
CN104584556B (zh) 用于对视频序列的图像的色彩进行聚类的方法和色彩聚类设备
WO2008124029A1 (en) Systems and methods for segmenting an image based on perceptual information
CN111798371B (zh) 一种视频风格迁移的方法及设备
JP2013182330A (ja) 画像処理装置および画像処理方法
CN112118494B (zh) 一种视频数据处理方法、装置及存储介质
WO2022156196A1 (zh) 图像处理方法和图像处理装置
CN107464273B (zh) 图像风格刷的实现方法与装置
CN114782688A (zh) 一种基于张量子空间聚类的自然图像分割方法和系统
CN113613024A (zh) 视频预处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant