CN116600066A - 一种沙画视频的生成方法、装置、设备以及存储介质 - Google Patents

一种沙画视频的生成方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN116600066A
CN116600066A CN202310479416.5A CN202310479416A CN116600066A CN 116600066 A CN116600066 A CN 116600066A CN 202310479416 A CN202310479416 A CN 202310479416A CN 116600066 A CN116600066 A CN 116600066A
Authority
CN
China
Prior art keywords
picture
displayed
sand painting
sand
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310479416.5A
Other languages
English (en)
Inventor
严蕤
朱世新
梁永昕
李嘉豪
郭怡适
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imagedt Co ltd
Original Assignee
Imagedt Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imagedt Co ltd filed Critical Imagedt Co ltd
Priority to CN202310479416.5A priority Critical patent/CN116600066A/zh
Publication of CN116600066A publication Critical patent/CN116600066A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种沙画视频的生成方法、装置、设备以及存储介质，所述方法包括：对于图片序列中的每一待显示图片，分析得到所述各物体的位置信息和类别信息；将所述待显示图片进行沙画化，计算得到沙画化后的待显示图片中各像素点所对应的沙画化像素值；根据所述各物体的类别信息，在预设的素材库中提取与所述各物体的类别相同的物体图片；获取所述各物体图片所对应的像素点的沙画化像素值；根据所述各物体图片所对应的像素点的沙画化像素值，生成所述各待显示图片所对应的沙画子视频；将所述所有待显示图片的沙画子视频按各待显示图片在图片序列中的排序顺序，依次进行拼接，生成沙画视频。通过本发明可以提高沙画视频的生成效率。

Description

一种沙画视频的生成方法、装置、设备以及存储介质
技术领域
本发明涉及AI技术领域，尤其涉及一种沙画视频的生成方法、装置、设备以及存储介质。
背景技术
现有的沙画视频主要通过人工绘画的方式得到，一般先是按照单张图片中各个物体的绘画顺序，将单张图片人工绘画的过程视频化，再同时将多张图片的绘画视频有效的拼接起来，形成一个沙画视频。即目前主要是通过人工绘制的方法得到沙画视频，并没有相应的方案能将多幅图片直接自动生成一个沙画视频。而这种人工绘画得到沙画视频的方式，耗时较长且无法大规模生成沙画视频，沙画视频的生成效率较低。因此亟需一种沙画视频的生成方法，可以根据多幅图片自动生成沙画视频，提高沙画视频的生成效率。
发明内容
本发明提供了一种沙画视频的生成方法、装置、设备以及存储介质，以解决现有的人工绘画得到沙画视频的方法，耗时较长且无法大规模生成沙画视频，沙画视频的生成效率较低的技术问题。
为了解决上述技术问题，本发明实施例提供了一种沙画视频的生成方法，包括：
获取一图片序列；
对于所述图片序列中的每一待显示图片，提取所述待显示图片中各物体的像素点属性信息；
根据所述像素点属性信息，分析得到所述各物体的位置信息和类别信息；
将所述待显示图片进行沙画化，计算得到沙画化后的待显示图片中各像素点所对应的沙画化像素值；
根据所述各物体的类别信息，在预设的素材库中提取与所述各物体的类别相同的物体图片；
根据所述各物体的位置信息以及所述待显示图片中各像素点所对应的沙画化像素值，获取所述各物体图片所对应的像素点的沙画化像素值；
根据所述各物体图片所对应的像素点的沙画化像素值，生成所述各待显示图片所对应的沙画子视频；
将所述所有待显示图片的沙画子视频按各待显示图片在图片序列中的排序顺序，依次进行拼接，生成沙画视频。
作为优选方案，所述根据所述各物体图片所对应的像素点的沙画化像素值，生成所述各待显示图片所对应的沙画子视频，包括：
对于所述各待显示图片，判断所述待显示图片是否为图片序列中的第一张图片；
若是，则根据所述待显示图片的各物体图片所对应的像素点的沙画化像素值，将所述各物体图片依次进行显示，生成所述待显示图片所对应的沙画子视频；
若否，则获取当前待显示图片的前一张待显示图片的各物体的像素点属性信息，依次计算所述两张待显示图片中各物体的图片相似度，并将所述图片相似度与预设的阈值进行比对，当检测到所述图片相似度大于预设的阈值时，将前一张待显示图片中所对应的物体作为相似物体，根据所述相似物体的像素点的沙画化像素值，生成当前待显示图片所对应的沙画子视频的初始背景，继而根据当前显示图片的各物体图片所对应的像素点的沙画化像素值，在所述初始背景下将所述各物体图片依次进行显示，生成所述待显示图片所对应的沙画子视频。
作为优选方案，所述根据当前显示图片的各物体图片所对应的像素点的沙画化像素值，在所述初始背景下将所述各物体图片依次进行显示，包括：
将前一张待显示图片中所对应的的相似物体作为所述当前待显示图片的沙画子视频的初始背景，并根据所述当前待显示图片中所对应物体的像素点的沙画化像素值，对所述相似物体的像素值进行修改；
根据所述待显示图片的其余物体图片所对应的像素点的沙画化像素值，将所述其余物体图片依次进行显示。
作为优选方案，所述提取所述待显示图片中各物体的像素点属性信息，包括：
根据全景分割算法将所述待显示图片进行全景分割，得到所述待显示图片中的每一物体，继而根据所述各物体提取各物体对应的像素点属性信息。
作为优选方案，所述全景分割算法，包括：语义分割算法和密集边界框预测算法；
根据全景分割算法将所述待显示图片进行全景分割，得到所述待显示图片中的每一物体，继而根据所述各物体提取各物体对应的像素点属性信息，包括：
根据所述语义分割算法对所述待显示图片中各像素点的语义类别概率进行预测；
根据所述密集边界框预测算法对所述待显示图片中各像素点的边界框集合进行预测；
根据所述待显示图片中各像素点的语义类别概率和边界框集合，得到所述待显示图片中的每一物体，继而根据所述各物体提取各物体对应的像素点属性信息。
作为优选方案，所述将所述待显示图片进行沙画化，包括：
将所述待显示图片输入预设的风格迁移模型，以使所述风格迁移模型对所述待显示图片进行沙画化，输出所述待显示图片的沙画化图片；
其中，所述风格迁移模型基于若干沙画风格的图片，对预设的神经网络模型进行模型训练而成。
在上述实施例的基础上，本发明另一实施例提供了一种沙画视频的生成装置，其特征在于，包括：图片序列获取模块、像素点信息提取模块、物体信息分析模块、图片沙画化模块、物体图片提取模块、沙画化像素值获取模块、沙画子视频生成模块以及沙画视频生成模块；
所述图片序列获取模块，用于获取一图片序列；
所述像素点信息提取模块，用于对于所述图片序列中的每一待显示图片，提取所述待显示图片中各物体的像素点属性信息；
所述物体信息分析模块，用于根据所述像素点属性信息，分析得到所述各物体的位置信息和类别信息；
所述图片沙画化模块，用于将所述待显示图片进行沙画化，计算得到沙画化后的待显示图片中各像素点所对应的沙画化像素值；
所述物体图片提取模块，用于根据所述各物体的类别信息，在预设的素材库中提取与所述各物体的类别相同的物体图片；
所述沙画化像素值获取模块，用于根据所述各物体的位置信息以及所述待显示图片中各像素点所对应的沙画化像素值，获取所述各物体图片所对应的像素点的沙画化像素值；
所述沙画子视频生成模块，用于根据所述各物体图片所对应的像素点的沙画化像素值，生成所述各待显示图片所对应的沙画子视频；
所述沙画视频生成模块，用于将所述所有待显示图片的沙画子视频按各待显示图片在图片序列中的排序顺序，依次进行拼接，生成沙画视频。
在上述实施例的基础上，本发明又一实施例提供了一种沙画视频的生成设备，所述设备包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的沙画视频的生成方法。
在上述实施例的基础上，本发明又一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的沙画视频的生成方法。
相比于现有技术，本发明实施例具有如下有益效果：
相比于现有技术通过人工绘制的方法得到沙画视频，在本发明中对于图片序列中的每一待显示图片，提取所述待显示图片中各物体的像素点属性信息；根据所述像素点属性信息，分析得到所述各物体的位置信息和类别信息；将所述待显示图片进行沙画化，计算得到沙画化后的待显示图片中各像素点所对应的沙画化像素值；根据所述各物体的类别信息，在预设的素材库中提取与所述各物体的类别相同的物体图片；根据所述各物体的位置信息以及所述待显示图片中各像素点所对应的沙画化像素值，获取所述各物体图片所对应的像素点的沙画化像素值；根据所述各物体图片所对应的像素点的沙画化像素值，生成所述各待显示图片所对应的沙画子视频；将所述所有待显示图片的沙画子视频按各待显示图片在图片序列中的排序顺序，依次进行拼接，生成沙画视频。通过本发明可以根据待生成沙画视频的图片序列自动生成沙画视频，提高沙画视频的生成效率。
附图说明
图1是本发明一实施例提供的一种沙画视频的生成方法的流程示意图；
图2是本发明一实施例提供的全景分割的输入示意图；
图3是本发明一实施例提供的全景分割的输出示意图
图4是本发明一实施例提供的风格迁移动漫画化模型的输出示意图；
图5是本发明一实施例提供的风格迁移算法的示意图；
图6是本发明一实施例提供的一种沙画视频的生成装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，为本发明一实施例提供的一种沙画视频的生成方法的流程示意图，包括如下具体步骤：
S1、获取一图片序列；
获取一个待生成沙画视频的图片序列，根据所述图片序列来自动生成所述待生成沙画视频。
S2、对于所述图片序列中的每一待显示图片，提取所述待显示图片中各物体的像素点属性信息；
优选的，所述提取所述待显示图片中各物体的像素点属性信息，包括：根据全景分割算法将所述待显示图片进行全景分割，得到所述待显示图片中的每一物体，继而根据所述各物体提取各物体对应的像素点属性信息。
优选的，所述全景分割算法，包括：语义分割算法和密集边界框预测算法；根据全景分割算法将所述待显示图片进行全景分割，得到所述待显示图片中的每一物体，继而根据所述各物体提取各物体对应的像素点属性信息，包括：根据所述语义分割算法对所述待显示图片中各像素点的语义类别概率进行预测；根据所述密集边界框预测算法对所述待显示图片中各像素点的边界框集合进行预测；根据所述待显示图片中各像素点的语义类别概率和边界框集合，得到所述待显示图片中的每一物体，继而根据所述各物体提取各物体对应的像素点属性信息。
对于所述图片序列中的每一待显示图片，首先根据全景分割算法将待显示图片进行全景分割，分割出待显示图片中的每一物体，继而提取各物体对应的像素点属性信息。在一个具体的实施例中对全景分割算法进行说明，请参照图2，为本发明一实施例提供的全景分割的输入示意图，使用全景分割算法对所输入的图2进行全景分割；请参照图3，为本发明一实施例提供的全景分割的输出示意图，对所述图2进行全景分割之后，分割出图2中的各个物体，得到图3。
其中，使用全景分割算法对图片进行全景分割的具体过程如下：
假设给定由C个语义类的预定集合编码为：C＝{0,1,……,C-1},全景分割算法需要将图像的每个像素点(x,y)映射到一对P(x,y)＝(c,k)∈L×N，其中c表示像素点(x,y)的语义类，k表示其实例id，将同一类的像素分组为不同的片段。
全景分割算法包含了语义分割分支和密集边界框预测分支，在语义分割分支中，对每个像素点都去预测它的语义类别概率p(x,y,c)，p表示像素点(x,y)属于语义c类的概率；在密集边界框预测分支中，对每个像素点预测一个边界框集合B(x,y)＝(xmin,ymin,xmax,ymax,c)，其中(xmin,ymin)表示边界框左上角坐标，(xmax,ymax)表示边界框右下角坐标，c为对应边界框的预测类别I D。
根据语义分割分支和密集边界框预测分支的结果，可以生成最终全景分割的结果：首先利用非极大值抑算法将密集边界框预测分支的结果简化，得到新的候选边界框集合其中K表示NMS后边界框预测的个数；然后构建一个全局mask概率图：对于每个一候选边界框B(x,y,i)概率图对应的值为：
M(x,y,i)＝p(x,y,ci)×IOU(B(x,y,i),B(x,y))
根据所述全局mask概率图，设定阈值，即可以得到全局分割的结果，分割出图像中的各个物体。
S3、根据所述像素点属性信息，分析得到所述各物体的位置信息和类别信息。
使用全景分割算法得到所述待显示图片中各物体的像素点属性信息之后，对各物体的像素点属性信息进行分析，分析图片中各个类别物体的位置分布、占面积的比例、与中心点的距离以及各个物体之间的位置关系等，继而分析得到所述各物体的位置信息和类别信息。
S4、将所述待显示图片进行沙画化，计算得到沙画化后的待显示图片中各像素点所对应的沙画化像素值。
优选的，所述将所述待显示图片进行沙画化，包括：将所述待显示图片输入预设的风格迁移模型，以使所述风格迁移模型对所述待显示图片进行沙画化，输出所述待显示图片的沙画化图片；其中，所述风格迁移模型基于若干沙画风格的图片，对预设的神经网络模型进行模型训练而成。
对于所述图片序列中的每一待显示图片，同时将所述各待显示图片输入预设的风格迁移模型，以使所述风格迁移模型对所述待显示图片进行沙画化，输出所述待显示图片的沙画化图片。在一个具体的实施例中，请参照图4，为本发明一实施例提供的风格迁移动漫画化模型的输出示意图，可以使用漫画化的形式来进行图片沙画化的显示，将图片输入预设的漫画风格迁移模型，以使所述风格迁移模型对所述待显示图片进行漫画化，得到如图4所示的漫画化图片，来表示图片沙画化的效果。
其中，风格迁移的基本思想为：图像经过卷积层后得到的特征图的协方差矩阵可以很好地表征图像的纹理特征，但是会损失位置信息。不过在风格迁移的任务中，我们可以忽略位置信息损失这个缺点，只需要找到一个方法可以表征图像的纹理信息，并把这些纹理信息迁移到需要被风格迁移的图像中，就可以完成风格迁移的任务。所述协方差矩阵可以通过定义Gram matrix来代替：
其中，l表示神经网络的层，表示第i个卷积核在第j个位置的特征。
请参照图5，为本发明一实施例提供的风格迁移算法的示意图，如图5框内部分所示，低层级特征更关注像素信息(a,b,c)，能很容易还原原始像素；而高层级特征(d,e)更关注内容和位置，但不会非常限制于确切像素值。
为了将艺术品a的风格转移到照片p上，合成一个新的图像，同时匹配p的内容表示和f的风格表示，需要共同最小化白噪声图像的特征表示与照片在一层的内容表征和卷积神经网络的若干层上定义的绘画风格表示的距离。其中我们最小化的损失函数为：
L(a,p,f)＝α×Lstyle(p,f)+β×Lcontent(a,f)
所述损失函数由两个部分组成：内容损失Lcontent和风格损失Lstyle,其中α和β分别是内容和风格重建的加权系数；
风格损失为：
其中，Fi,j表示内容图经过某一层卷积层得到的特征图，Pi,j表示生成图经过卷积层生成的特征图。
内容损失为：
其中，Nl表示特征图的数量，Ml表示特征图的尺寸，和/>分别代表生成图和风格图经过卷积层得到特征图之后自相关得到的Gram matrix，可以使用平方误差作为损失函数来使两者接近。
基于所述风格迁移算法，可以选择若干相应的沙画化风格的图片，对预设的神经网络模型进行模型训练，生成风格迁移模型，在所述风格迁移模型使用阶段即可将输入图片转化为沙画风格，即图片沙画化。
S5、根据所述各物体的类别信息，在预设的素材库中提取与所述各物体的类别相同的物体图片。
因为在沙画视频中所绘制出来的各物体图片都属于抽象化的图片，因此在生成沙画视频之前可以通过素材库中所预设的抽象化的物体图片，来替换所述待显示图片中类别相同的物体图片，例如当待显示图片中经过全景分割之后分割出来树时，可以将所述待显示图片中的树替换为素材库中抽象化的树，以此来提高最终生成的沙画视频的视觉显示效果。
S6、根据所述各物体的位置信息以及所述待显示图片中各像素点所对应的沙画化像素值，获取所述各物体图片所对应的像素点的沙画化像素值。
根据所述各物体在待显示图片中的位置以及待显示图片中各像素点所对应的沙画化像素值，获取各物体所对应的像素点的沙画化像素值。在进行显示时，需要将显示图片中的各物体替换为素材库中所提取的物体图片，即将物体图片按照所替换的物体所对应的像素点的沙画化像素值进行显示。
S7、根据所述各物体图片所对应的像素点的沙画化像素值，生成所述各待显示图片所对应的沙画子视频。
优选的，所述根据所述各物体图片所对应的像素点的沙画化像素值，生成所述各待显示图片所对应的沙画子视频，包括：对于所述各待显示图片，判断所述待显示图片是否为图片序列中的第一张图片；若是，则根据所述待显示图片的各物体图片所对应的像素点的沙画化像素值，将所述各物体图片依次进行显示，生成所述待显示图片所对应的沙画子视频；若否，则获取当前待显示图片的前一张待显示图片的各物体的像素点属性信息，依次计算所述两张待显示图片中各物体的图片相似度，并将所述图片相似度与预设的阈值进行比对，当检测到所述图片相似度大于预设的阈值时，将前一张待显示图片中所对应的物体作为相似物体，根据所述相似物体的像素点的沙画化像素值，生成当前待显示图片所对应的沙画子视频的初始背景，继而根据当前显示图片的各物体图片所对应的像素点的沙画化像素值，在所述初始背景下将所述各物体图片依次进行显示，生成所述待显示图片所对应的沙画子视频。
优选的，所述根据当前显示图片的各物体图片所对应的像素点的沙画化像素值，在所述初始背景下将所述各物体图片依次进行显示，包括：将前一张待显示图片中所对应的的相似物体作为所述当前待显示图片的沙画子视频的初始背景，并根据所述当前待显示图片中所对应物体的像素点的沙画化像素值，对所述相似物体的像素值进行修改；根据所述待显示图片的其余物体图片所对应的像素点的沙画化像素值，将所述其余物体图片依次进行显示。
在生成每一张待显示图片所对应的沙画子视频时，根据所述待显示图片中各物体图片所对应的像素点的沙画化像素值，以及画图模块中所定义的各个物体的画图方式(例如对于某一物体来说，其画图方式可能为：先描绘其物体外轮廓部分再对其内部进行填充，或者先描绘其中心点再逐层向外进行描绘等)，将所述各物体图片依次进行显示，生成所述待显示图片所对应的沙画子视频。
但是在人工绘制沙画时，完成一张图片的绘制之后，在进行下一张图片的绘制之前，会结合前后两张图片之间的关系，留取前一张沙画图片的部分物体作为下一张图片的起始背景，在此基础上完成下一张图片的沙画，以此实现前后两张图片的有效拼接。
为了模拟这个前后相邻图片之间的有效拼接过程，在生成每一张待显示图片所对应的沙画子视频时，首先判断所述待显示图片是否为图片序列中的第一张图片；若是，则直接根据所述待显示图片的各物体图片所对应的像素点的沙画化像素值，将所述各物体图片依次进行显示，生成所述待显示图片所对应的沙画子视频。若否，则获取当前待显示图片的前一张待显示图片的各物体的像素点属性信息，根据前后两张待显示图片的各物体的像素点属性信息，依次计算前后两张待显示图片中各物体的图片相似度，并将所述图片相似度与预设的阈值进行比对，当检测到所述图片相似度大于预设的阈值时，将前一张待显示图片中所对应的物体作为相似物体，根据所述相似物体的像素点的沙画化像素值，生成当前待显示图片所对应的沙画子视频的初始背景，并根据所述当前待显示图片中所对应物体的像素点的沙画化像素值，对所述相似物体的像素值进行修改；再根据所述待显示图片的其余物体图片所对应的像素点的沙画化像素值，将所述其余物体图片依次进行显示，生成所述待显示图片所对应的沙画子视频。
其中，在将所述图片相似度与预设的阈值进行比对时，若是没有检测到有图片相似度大于预设的阈值，则不需要生成当前待显示图片所对应的沙画子视频的初始背景，即所述当前待显示图片在生成沙画子视频时，开始所显示的是一个没有背景物体的白板，然后再根据所述待显示图片的各物体图片所对应的像素点的沙画化像素值，将所述各物体图片依次进行显示。
S8、将所述所有待显示图片的沙画子视频按各待显示图片在图片序列中的排序顺序，依次进行拼接，生成沙画视频。
在生成所述待生成沙画视频的图片序列中所有待显示图片的沙画子视频之后，直接按照各待显示图片在图片序列中的排序顺序，依次进行拼接，即可生成所述图片序列的沙画视频。
由此可见，本发明提供了一种沙画视频的生成方法，所述方法可以根据待生成沙画视频的图片序列自动生成沙画视频，提高沙画视频的生成效率。
实施例二
请参照图6，为本发明一实施例提供的一种沙画视频的生成装置的结构示意图，该装置包括：图片序列获取模块、像素点信息提取模块、物体信息分析模块、图片沙画化模块、物体图片提取模块、沙画化像素值获取模块、沙画子视频生成模块以及沙画视频生成模块；
所述图片序列获取模块，用于获取一图片序列；
所述像素点信息提取模块，用于对于所述图片序列中的每一待显示图片，提取所述待显示图片中各物体的像素点属性信息；
所述物体信息分析模块，用于根据所述像素点属性信息，分析得到所述各物体的位置信息和类别信息；
所述图片沙画化模块，用于将所述待显示图片进行沙画化，计算得到沙画化后的待显示图片中各像素点所对应的沙画化像素值；
所述物体图片提取模块，用于根据所述各物体的类别信息，在预设的素材库中提取与所述各物体的类别相同的物体图片；
所述沙画化像素值获取模块，用于根据所述各物体的位置信息以及所述待显示图片中各像素点所对应的沙画化像素值，获取所述各物体图片所对应的像素点的沙画化像素值；
所述沙画子视频生成模块，用于根据所述各物体图片所对应的像素点的沙画化像素值，生成所述各待显示图片所对应的沙画子视频；
所述沙画视频生成模块，用于将所述所有待显示图片的沙画子视频按各待显示图片在图片序列中的排序顺序，依次进行拼接，生成沙画视频。
实施例三
相应地，本发明实施例提供了一种沙画视频的生成设备，所述设备包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的沙画视频的生成方法。
实施例四
相应地，本发明实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的沙画视频的生成方法。
综上所述，本发明提供了一种沙画视频的生成装置、设备以及存储介质，通过本发明可以根据待生成沙画视频的图片序列自动生成沙画视频，提高沙画视频的生成效率。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
所述领域的技术人员可以清楚地了解到，为的方便和简洁，上述描述的装置的具体工作过程，可参考前述方法实施例中对应的过程，在此不再赘述。
设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述设备可包括，但不仅限于，处理器、存储器。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述存储介质为计算机可读存储介质，所述计算机程序存储在所述计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种沙画视频的生成方法，其特征在于，包括：
获取一图片序列；
对于所述图片序列中的每一待显示图片，提取所述待显示图片中各物体的像素点属性信息；
根据所述像素点属性信息，分析得到所述各物体的位置信息和类别信息；
将所述待显示图片进行沙画化，计算得到沙画化后的待显示图片中各像素点所对应的沙画化像素值；
根据所述各物体的类别信息，在预设的素材库中提取与所述各物体的类别相同的物体图片；
根据所述各物体的位置信息以及所述待显示图片中各像素点所对应的沙画化像素值，获取所述各物体图片所对应的像素点的沙画化像素值；
根据所述各物体图片所对应的像素点的沙画化像素值，生成所述各待显示图片所对应的沙画子视频；
将所述所有待显示图片的沙画子视频按各待显示图片在图片序列中的排序顺序，依次进行拼接，生成沙画视频。
2.如权利要求1所述的沙画视频的生成方法，其特征在于，所述根据所述各物体图片所对应的像素点的沙画化像素值，生成所述各待显示图片所对应的沙画子视频，包括：
对于所述各待显示图片，判断所述待显示图片是否为图片序列中的第一张图片；
若是，则根据所述待显示图片的各物体图片所对应的像素点的沙画化像素值，将所述各物体图片依次进行显示，生成所述待显示图片所对应的沙画子视频；
若否，则获取当前待显示图片的前一张待显示图片的各物体的像素点属性信息，依次计算所述两张待显示图片中各物体的图片相似度，并将所述图片相似度与预设的阈值进行比对，当检测到所述图片相似度大于预设的阈值时，将前一张待显示图片中所对应的物体作为相似物体，根据所述相似物体的像素点的沙画化像素值，生成当前待显示图片所对应的沙画子视频的初始背景，继而根据当前显示图片的各物体图片所对应的像素点的沙画化像素值，在所述初始背景下将所述各物体图片依次进行显示，生成所述待显示图片所对应的沙画子视频。
3.如权利要求2所述的沙画视频的生成方法，其特征在于，所述根据当前显示图片的各物体图片所对应的像素点的沙画化像素值，在所述初始背景下将所述各物体图片依次进行显示，包括：
将前一张待显示图片中所对应的的相似物体作为所述当前待显示图片的沙画子视频的初始背景，并根据所述当前待显示图片中所对应物体的像素点的沙画化像素值，对所述相似物体的像素值进行修改；
根据所述待显示图片的其余物体图片所对应的像素点的沙画化像素值，将所述其余物体图片依次进行显示。
4.如权利要求1所述的沙画视频的生成方法，其特征在于，所述提取所述待显示图片中各物体的像素点属性信息，包括：
根据全景分割算法将所述待显示图片进行全景分割，得到所述待显示图片中的每一物体，继而根据所述各物体提取各物体对应的像素点属性信息。
5.如权利要求4所述的沙画视频的生成方法，其特征在于，所述全景分割算法，包括：语义分割算法和密集边界框预测算法；
根据全景分割算法将所述待显示图片进行全景分割，得到所述待显示图片中的每一物体，继而根据所述各物体提取各物体对应的像素点属性信息，包括：
根据所述语义分割算法对所述待显示图片中各像素点的语义类别概率进行预测；
根据所述密集边界框预测算法对所述待显示图片中各像素点的边界框集合进行预测；
根据所述待显示图片中各像素点的语义类别概率和边界框集合，得到所述待显示图片中的每一物体，继而根据所述各物体提取各物体对应的像素点属性信息。
6.如权利要求1所述的沙画视频的生成方法，其特征在于，所述将所述待显示图片进行沙画化，包括：
将所述待显示图片输入预设的风格迁移模型，以使所述风格迁移模型对所述待显示图片进行沙画化，输出所述待显示图片的沙画化图片；
其中，所述风格迁移模型基于若干沙画风格的图片，对预设的神经网络模型进行模型训练而成。
7.一种沙画视频的生成装置，其特征在于，包括：图片序列获取模块、像素点信息提取模块、物体信息分析模块、图片沙画化模块、物体图片提取模块、沙画化像素值获取模块、沙画子视频生成模块以及沙画视频生成模块；
所述图片序列获取模块，用于获取一图片序列；
所述像素点信息提取模块，用于对于所述图片序列中的每一待显示图片，提取所述待显示图片中各物体的像素点属性信息；
所述物体信息分析模块，用于根据所述像素点属性信息，分析得到所述各物体的位置信息和类别信息；
所述图片沙画化模块，用于将所述待显示图片进行沙画化，计算得到沙画化后的待显示图片中各像素点所对应的沙画化像素值；
所述物体图片提取模块，用于根据所述各物体的类别信息，在预设的素材库中提取与所述各物体的类别相同的物体图片；
所述沙画化像素值获取模块，用于根据所述各物体的位置信息以及所述待显示图片中各像素点所对应的沙画化像素值，获取所述各物体图片所对应的像素点的沙画化像素值；
所述沙画子视频生成模块，用于根据所述各物体图片所对应的像素点的沙画化像素值，生成所述各待显示图片所对应的沙画子视频；
所述沙画视频生成模块，用于将所述所有待显示图片的沙画子视频按各待显示图片在图片序列中的排序顺序，依次进行拼接，生成沙画视频。
8.一种沙画视频的生成设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的沙画视频的生成方法。
9.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的沙画视频的生成方法。
CN202310479416.5A 2023-04-28 2023-04-28 一种沙画视频的生成方法、装置、设备以及存储介质 Pending CN116600066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310479416.5A CN116600066A (zh) 2023-04-28 2023-04-28 一种沙画视频的生成方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310479416.5A CN116600066A (zh) 2023-04-28 2023-04-28 一种沙画视频的生成方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN116600066A true CN116600066A (zh) 2023-08-15

Family

ID=87607174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310479416.5A Pending CN116600066A (zh) 2023-04-28 2023-04-28 一种沙画视频的生成方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN116600066A (zh)

Similar Documents

Publication Publication Date Title
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
US10019655B2 (en) Deep-learning network architecture for object detection
CN110874594A (zh) 基于语义分割网络的人体外表损伤检测方法及相关设备
CN110443140B (zh) 文本定位的方法、装置、计算机设备及存储介质
JP2022531639A (ja) ビデオへの情報埋め込み方法、コンピュータ機器及びコンピュータプログラム
CN113344932B (zh) 一种半监督的单目标视频分割方法
CN111401293A (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
CN112529913A (zh) 图像分割模型训练方法、图像处理方法及装置
CN117078790B (zh) 图像生成方法、装置、计算机设备和存储介质
CN112102929A (zh) 医学图像标注方法、装置、存储介质及电子设备
CN117058271A (zh) 用于生成商品主图背景的方法及计算设备
CN110969641A (zh) 图像处理方法和装置
CN112598687B (zh) 图像分割方法和装置、存储介质、电子设备
EP4075381B1 (en) Image processing method and system
CN113411550B (zh) 视频上色方法、装置、设备及存储介质
CN114332553A (zh) 图像处理方法、装置、设备以及存储介质
CN115345895B (zh) 用于视觉检测的图像分割方法、装置、计算机设备及介质
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN114494929A (zh) 视频处理方法及装置
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN116600066A (zh) 一种沙画视频的生成方法、装置、设备以及存储介质
CN112149745B (zh) 确定难例样本的方法、装置、设备及存储介质
CN116862920A (zh) 一种人像分割方法、装置、设备及介质
Way et al. A video painterly stylization using semantic segmentation
CN116962817B (zh) 视频处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination